[发明专利]海量数据下并行Skyline处理方法及系统

摘要

本公开提出了海量数据下并行Skyline处理方法及系统，包括：分配web数据到worker节点：将web数据上传到HDFS中，通过Hadoop的文件系统HDFS将数据进行切分，将切分的数据块分配到worker节点，以进行并行计算；worker节点进行Skyline计算：通过本地Skyline计算阶段得到本地候选Skyline服务，然后将每个本地Skyline候选服务通过网络传送到master主节点，经过master节点Skyline计算，最终得到全局Skyline服务；master节点Skyline计算：汇总所有worker节点的候选Skyline服务，再次通过改进的Skyline算法，将所有的数据分成4个区域，这样得到全局Skyline服务。将传统的Skyline算法进行改进，将服务集合进行区域划分，大量减少了不具有支配关系的数据点，节省了内存的占用，并将改进的Skyline算法通过Spark平台实现了并行化。

主权项

1.海量数据下并行Skyline处理方法，其特征是，包括：分配web数据到worker节点：将web数据上传到HDFS中，通过Hadoop的文件系统HDFS将数据进行切分，将切分的数据块分配到worker节点，以进行并行计算；worker节点进行Skyline计算：通过本地Skyline计算阶段得到本地候选Skyline服务，然后将每个本地Skyline候选服务通过网络传送到master主节点，经过master节点Skyline计算，最终得到全局Skyline服务；master节点Skyline计算：汇总所有worker节点的候选Skyline服务，再次通过改进的Skyline算法，将所有的数据分成4个区域，将区域1和区域3的数据点进行合并，通过Spark算子将Bitmap算法逻辑写入，计算区域1和区域3最终Skyline point，这样得到全局Skyline服务。