[发明专利]一种基于流式计算引擎的实时数据处理方法及装置在审
申请号: | 201510089780.6 | 申请日: | 2015-02-27 |
公开(公告)号: | CN104615777A | 公开(公告)日: | 2015-05-13 |
发明(设计)人: | 徐正礼;魏金雷;赵明超;臧勇真;牛硕 | 申请(专利权)人: | 浪潮集团有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 济南信达专利事务所有限公司 37100 | 代理人: | 李世喆 |
地址: | 250100 山东*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明提供一种基于流式计算引擎的实时数据处理方法及装置,方法包括:创建Storm的消息队列;将数据存入数据库中,并备份至所述Storm的消息队列;Storm中的Spout实时监听所述消息队列,在监听到有数据被存入所述Storm的消息队列时,拉取所述Storm的消息队列中当前被存入的数据,并将拉取的数据发送给Storm中的Bolt;Bolt根据预先获取的逻辑规则,对所述拉取的数据进行逻辑处理,以将逻辑处理后的数据更新到所述数据库中。根据本方案,至少能够实现数据处理的实时性。 | ||
搜索关键词: | 一种 基于 计算 引擎 实时 数据处理 方法 装置 | ||
【主权项】:
一种基于流式计算引擎的实时数据处理方法,其特征在于,包括:创建Storm的消息队列;将数据存入数据库中,并备份至所述Storm的消息队列;Storm中的Spout实时监听所述消息队列,在监听到有数据被存入所述Storm的消息队列时,拉取所述Storm的消息队列中当前被存入的数据,并将拉取的数据发送给Storm中的Bolt;Bolt根据预先获取的逻辑规则,对所述拉取的数据进行逻辑处理,以将逻辑处理后的数据更新到所述数据库中。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浪潮集团有限公司;,未经浪潮集团有限公司;许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201510089780.6/,转载请声明来源钻瓜专利网。