[发明专利]基于流式计算的海量数据清洗的方法

摘要

本发明基于流式计算的海量数据清洗的方法，包括如下步骤：异构数据源通过数据接入模块统一接入数据，并以统一的格式推送入消息队列Kafka中，等待数据清洗，并将接入情况反馈给调度中心；配置清洗算子和设计算子流程图；计算集群中的计算节点与调度中心通信，调用算子流程图，按照设计的算子流程图的流程进行清洗操作，并将清洗运行情况反馈给调度中心。本发明采用分布式消息队列Kafka统一接入数据，通过Kafka将数据源格式进行统一，方便数据清洗统一处理。多个计算节点采用分布式并列形式部署，能够根据需求动态横向扩展，面对大批量数据有很强的鲁棒性。通过拖拽式设计清洗流程可以满足大部分清洗流程工作，具有很强的通用性。