[发明专利]一种海量实时舱位运价结果数据快速差异更新存储的方法

摘要

本发明涉及一种海量实时舱位运价结果数据快速差异更新存储的方法，其步骤：1）由GDS主动推送的海量舱位及运价结果数据经负载分发后，进行GDS主动推送数据更新；2）主动查询GDS舱位数据经内网分发后，进行主动查询GDS数据更新；3）自主运价计算数据经内网分发后，进行自主运价计算数据更新；4）经更新后的GDS主动推送数据、主动查询GDS舱位数据和自主运价计算数据存入持久化数据库后，并存入缓存和历史数据库中，完成海量实时舱位运价结果数据快速差异更新存储。本发明对历史数据进行增量变化存储，使数据可还原，易于描绘变化趋势。

主权项

1.一种海量实时舱位运价结果数据快速差异更新存储的方法，其特征在于包括以下步骤：1）由GDS主动推送的海量舱位及运价结果数据经负载分发后，进行GDS主动推送数据更新；GDS主动推送数据更新方法如下：（1）在与各GDS网络通讯状况良好稳定的节点建立数据中转服务，该数据中转服务接收GDS主动推送的数据后对接收到的数据进行并行读取，并按照负载分发策略进行特征分发；（2）在负载分发策略下将数据分发至存储服务器，由存储服务器将接收到的海量数据转换成有共同特点的数据后，再分发至后台若干台业务服务器内；（3）采用每台服务器均对接收到的数据进行特征检测，采用bloom filter对数据进行过滤，判断数据特征是否存在，即判断数据是否有变化，若数据无变化，则在bloom filter中命中已加入的数据特征，判断为无变化，结束更新；如果数据有变化，则由bloom filter过滤出来，进入下一步进行数据更新；（4）首先更新数据持久化部分，采用非关系结构化数据库，然后更新数据缓存部分：从数据持久化部分读取最近的数据，根据数据的时间戳判断已存储的数据与即将存储的数据哪个比较新，如果已存储的数据比即将存储的数据新，则抛弃当前操作，结束更新；如果即将存储的数据比已存储的数据新，则将即将存储的数据存入持久化数据库，并存入缓存；（5）判断数据更新过程是否成功，若更新成功，则将最新的数据存入历史数据库；若更新失败，则数据回滚并抛弃当前操作，结束更新；2）主动查询GDS舱位数据经内网分发后，进行主动查询GDS舱位数据更新；3）自主运价计算数据经内网分发后，进行自主运价计算数据更新；4）经更新后的GDS主动推送数据、主动查询GDS舱位数据和自主运价计算数据存入持久化数据库后，并存入缓存和历史数据库中，完成海量实时舱位运价结果数据快速差异更新存储。