[发明专利]分布式数据处理方法及数据中心

摘要

本发明公开了一种分布式数据处理方法和装置，该方法包括：数据中心解析获取的原始数据，以获取该原始数据的数据参数；数据中心根据数据参数和数据中心性能，将对原始数据进行切片的任务划分为多个子切片任务；数据中心将子切片任务中预设比例的外调子切片任务分配给分布式数据系统中数据中心之外的数据节点；数据中心执行子切片任务中未分配的自留子切片任务，保存对应的第一切片数据，并控制数据节点执行外调子切片任务并保存对应的第二切片数据。本发明避免仅靠数据中心单端对原始数据进行数据切片，缩短了对原始数据进行数据切片处理的时间，避免因数据切片处理而耽误分布式数据系统的其它进程的正常运行，保证了分布式数据系统的工作效率。

主权项

1.一种分布式数据处理方法，其特征在于，所述分布式数据处理方法包括：数据中心解析获取的原始数据，以获取该原始数据的数据参数；数据中心包括至少一个服务器，数据中心通过服务器获取原始数据，原始数据是用户通过网络连接或本地连接上传的文件或数据包，数据参数包括原始数据的数据量、数据类型、版本信息、是否支持切片处理，数据量表示原始数据的容量大小，数据类型包括图片数据类型、文字数据类型、视频数据类型，版本信息表示原始数据所支持的数据切片方式和版本；数据中心根据所述数据参数和数据中心性能，将对原始数据进行切片的任务划分为多个子切片任务；数据中心根据原始数据的数据参数，判断原始数据是否支持数据切片处理，若支持数据切片处理，则继续获取数据中心在数据切片方面的性能和原始数据的数据量，然后根据数据中心性能和数据中心的数据量，将原始数据的切片任务划分为多个子切片任务；每个子切片任务的任务量相同；数据中心将所述子切片任务中预设比例的外调子切片任务分配给分布式数据系统中数据中心之外的数据节点；预设比例根据数据中心能够承担的切片任务量决定；数据中心执行所述子切片任务中未分配的自留子切片任务，保存对应的第一切片数据，并控制数据节点执行所述外调子切片任务并保存对应的第二切片数据；数据中心实时公布第一切片数据和第二切片数据，以供分布式数据系统的客户端访问；当分布式数据系统实时带宽大于预设带宽时，当提取所述第二切片数据的频率大于设定频率时，数据中心接收数据节点传输的所述第二切片数据。