[发明专利]一种flink state状态迁移方案在审
申请号: | 202011378098.6 | 申请日: | 2020-11-30 |
公开(公告)号: | CN112379887A | 公开(公告)日: | 2021-02-19 |
发明(设计)人: | 尹春光;王全福;曹劼;吴晓兵 | 申请(专利权)人: | 天翼电子商务有限公司 |
主分类号: | G06F8/41 | 分类号: | G06F8/41;G06F8/71 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 102200 北京市昌平*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种flink state状态迁移方案,本发明中一次flink state迁移的步骤主要分为以下三步:1.让flink作业完成state持久化到hdfs;2.在flink job代码中加入flink state数据,格式化输出到外部存储的代码;Flink支持从指定的版本的数据进行恢复,这里仅仅使用flink的程序加载指定版本的数据,只在job在初始化的时候完成将state数据格式化输出到外部存储;3.在新的版本的flink作业中进行加载对应的task的状态数据本方案提出flink运行时dump计算状态,状态恢复时加载自定义的数据结构来支持计算拓扑变化,计算状态类型变化等方案,从而保证数据计算的一致性。 | ||
搜索关键词: | 一种 flink state 状态 迁移 方案 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于天翼电子商务有限公司,未经天翼电子商务有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202011378098.6/,转载请声明来源钻瓜专利网。