[发明专利]具有合并处理方法的大数据支撑平台

摘要

本发明提供了一种具有合并处理方法的大数据支撑平台，包括：服务器以及用户终端，服务器内存储有计算包，计算包包括数据源读写算子、数据预处理算子、特征工程算子、模型算子以及合并处理算子，合并处理算子包括合并处理开始分算子以及合并处理结束分算子，当用户在用户终端上建立任务流程中需要使用相同流程段对两不同数据集进行处理时，合并处理开始分算子用于建立在所述流程段之前，且合并处理结束分算子用于建立在所述流程段之后。该具有合并处理方法的大数据支撑平台解决现有技术中因需建立两个相同的流程段分别对两个不同数据集进行处理而导致同一个流程段被调用两次的问题。

主权项

一种具有合并处理方法的大数据支撑平台，其特征在于，包括：分布式存储计算集群、服务器以及用户终端，分布式存储计算集群内存储有计算包，计算包包括数据源读写算子、数据预处理算子、特征工程算子、模型算子以及合并处理算子，合并处理算子包括合并处理开始分算子以及合并处理结束分算子，当用户在用户终端上建立任务流程中需要使用相同流程段对两不同数据集进行处理时，合并处理开始分算子用于建立在所述流程段之前，且合并处理结束分算子用于建立在所述流程段之后，其中，流程段中包含的算子为数据源读写算子、数据预处理算子、特征工程算子以及模型算子的一种或多种；服务器解析用户在用户终端上建立的任务流程时包括以下步骤：S11、服务器从用户终端上获取任务流程并生成最终可执行队列；S12、服务器根据最终可执行队列依次调用分布式存储计算集群中的算子对待分析数据进行处理，以得到最终分析结果，其中，当遇到合并处理算子时处理步骤如下：S121、服务器调用合并处理开始分算子，将两不同数据集合并为待处理数据串；S122、服务器依次调用流程段中各个算子处理待处理数据串并得到处理后数据串；S123、服务器调用合并处理结束分算子，将处理后数据串分隔为与两不同数据集对应的两处理结果。