[发明专利]一种实时流式数据处理分析方法及系统

摘要

本发明公开了一种实时流式数据处理分析方法及系统，所述方法包括采集原始数据存入原始数据缓存队列，数据处理拓扑提取原始数据进行解析转码处理并将处理后的原始数据与合并汇总数据进行一一比对，得到实时分析统计结果处理信息，并更新合并汇总数据，实时统计拓扑提取实时分析统计结果处理信息并更新实时统计数据单元的实时统计数据，用户查询实时统计数据单元以获得需求信息；所述方法及系统采用大数据分布式架构，系统的横向扩展能力强，可以很容易通过集群服务器的扩展，提升系统集群的数据处理性能，以应对大数据量的冲击；同时系统集群中数据冗余存储，避免了单点故障问题，整个系统集群稳定性能好，容错能力优量。

主权项

一种实时流式数据处理分析方法，所述方法包括：步骤1，将采集的原始数据存入原始数据缓存队列中；步骤2，数据处理拓扑提取原始数据缓存队列中的逐条原始数据进行解析转码处理；步骤3，数据处理拓扑提取合并汇总数据单元的合并汇总数据，将解析转码后的数据的每个字段与合并汇总数据相应的字段进行一一比对，同时得到实时分析统计结果处理信息；步骤4，将实时分析统计结果处理信息存入中间结果缓存队列，并将实时分析统计结果处理信息更新到合并汇总数据单元中；所述更新是指用实时分析统计结果处理信息替换合并汇总数据单元中的对应数据；步骤5，实时统计拓扑提取中间结果缓存队列汇总的实时分析统计结果处理信息，并将所述实时分析统计结果处理信息更新实时统计数据单元中的实时统计数据；步骤6，查询实时统计数据单元，得到实时统计数据对应的数据信息。