[发明专利]一种支持大规模动态图数据查询的并行处理框架的设计方法

摘要

本发明提供一种支持大规模动态图数据查询的并行处理框架及设计方法，设计方法如下：该并行处理框架结合了MapReduce框架和BSP框架，以Hadoop框架为底层基础，采取“MapReduce+BSP”模式来满足图计算数据量大和多次迭代的需求，同时该并行处理框架通过构建迭代控制模块、构建实时监听模块、Map阶段功能设计、Reduce阶段功能设计来实现实时监控功能来检查图文件的动态变化。本发明设计出的框架将MapReduce框架和BSP框架的优势合二为一，在解决BSP框架无法实现高吞吐量计算的同时，避免了MapReduce框架无法进行多次迭代计算的缺点。

主权项

一种支持大规模动态图数据查询的并行处理框架，其特征在于：该并行处理框架结合了MapReduce框架和BSP框架，以Hadoop框架为底层基础，采取“MapReduce+BSP”模式来满足图计算数据量大和多次迭代的需求，在HDFS分布式文件系统的基础上对Hadoop核心源码包进行部分修改，保留了Hadoop框架原有的分布式文件系统、主从集群架构模式、RPC通信机制、容错控制机制、任务调度机制，同时该并行处理框架通过构建迭代控制模块JobTracker、构建实时监听模块、Map阶段功能设计、Reduce阶段功能设计来实现实时监控功能来检查图文件的动态变化以及实现BSP迭代控制、Hadoop实时监听、MapReduce框架优化。