[发明专利]一种大数据实时计算处理系统及方法

摘要

本发明公开了一种大数据实时计算处理系统，包括存储单元、数据实时收集模块、数据实时治理模块、SQL函数编辑模块、SQL与STORM方言解析模块以及STORM执行引擎，数据实时收集模块用于实时收集各种类型的业务数据，并将业务数据实时存储到存储单元或实时推送至数据实时治理模块，数据实时治理模块基于主动数据治理的方式对业务数据进行数据治理，SQL函数编辑模块用于根据预选定义的SQL标准规则编辑数据实时计算处理过程中所需的SQL函数，SQL与STORM方言解析模块用于根据SQL标准规则将SQL函数转换为STORM程序，STORM执行引擎用于执行STORM程序并返回结果；本发明还公开了一种大数据实时计算处理方法。本发明基于标准SQL，能够实现秒级别或者毫秒级别的实时流计算，处理速度快，低延迟响应。

主权项

一种大数据实时计算处理系统，其特征在于：包括存储单元、数据实时收集模块、数据实时治理模块、SQL函数编辑模块、SQL与STORM方言解析模块以及STORM执行引擎，所述数据实时收集模块用于实时收集各种类型的业务数据，并将业务数据实时存储到存储单元或实时推送至所述数据实时治理模块，所述数据实时治理模块基于主动数据治理的方式，根据预先建立的数据治理规则和数据模板对业务数据进行数据治理，获得新纪录的业务数据并存储到所述存储单元，所述SQL函数编辑模块用于根据预选定义的SQL标准规则编辑数据实时计算处理过程中所需的SQL函数，所述SQL与STORM方言解析模块用于根据SQL标准规则将SQL函数转换为STORM程序，所述STORM执行引擎用于执行STORM程序并返回结果。