[发明专利]数据处理方法及装置在审
申请号: | 201910363333.3 | 申请日: | 2019-04-30 |
公开(公告)号: | CN111858516A | 公开(公告)日: | 2020-10-30 |
发明(设计)人: | 贺广南 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F16/176 | 分类号: | G06F16/176;G06F16/172;G06F16/16;G06F16/18 |
代理公司: | 北京清源汇知识产权代理事务所(特殊普通合伙) 11644 | 代理人: | 冯德魁;窦晓慧 |
地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 | ||
本申请公开了一种数据处理方法及装置,该方法包括:获得目标事务日志;在重放区域中对目标事务日志进行重放处理,获得目标数据,重放区域用于存储对事务日志进行重放处理后得到的数据。通过使用该方法,可避免在共享缓冲区中生成大量不被查询的、且占用共享缓冲区的存储空间的数据页,提高数据库服务器的查询性能;并且,在重放区域对事务日志进行重放处理,使得共享缓冲区中的进程减少,降低对数据库服务器的性能影响。
技术领域
本申请涉及计算机技术领域,具体涉及数据处理方法。本申请同时涉及数据处理装置以及电子设备。
背景技术
数据库集群服务需要考虑高可用和高性能,为了确保高可用,数据库集群大多采用一主多从架构。在一主多从的架构下,从数据库服务器要跟主数据库服务器保持数据同步。现有的数据同步方式一般通过物理复制完成,即,从数据库服务器通过共享缓冲区重放主数据库服务器的事务日志来保持数据同步。
然而,现有的主、从数据库服务器的物理复制方法存在以下不足:
在共享缓冲区中对事务日志进行重放处理,可在共享缓冲区中生成大量不被查询的数据页,占用共享缓冲区的存储空间,然而,共享缓冲区的空间是有限的,在共享缓冲区的存储空间达到下限时,需要多次执行数据页淘汰算法,并需要多次将数据页刷出到磁盘,会影响数据库服务器的查询性能;并且,由于数据库服务器运行时需要的隔离性和MVCC一致性,因此,在共享缓冲区中响应数据查询和对事务日志进行重放处理时需要加各种不同类型的锁,响应数据查询和对事务日志进行重放处理的进程越多,对数据库服务器的性能影响就会越大。
发明内容
本申请提供一种数据处理方法,以解决现有在共享缓冲区中对事务日志进行重放处理,影响数据库服务器的性能的问题。本申请另外提供一种数据处理装置以及一种电子设备。本申请还提供一种数据处理方法、一种数据处理装置以及一种电子设备。本申请还提供一种数据处理方法、一种数据处理装置以及一种电子设备。本申请另外提供一种数据处理方法、一种数据处理装置以及一种电子设备。
本申请提供一种数据处理方法,包括:
获得目标事务日志;
在重放区域中对所述目标事务日志进行重放处理,获得目标数据,所述重放区域用于存储对事务日志进行重放处理后得到的数据。
可选的,所述目标事务日志记录有数据处理信息;
所述在重放区域中对所述目标事务日志进行重放处理,获得目标数据,包括:
获得所述重放区域中的页面;
基于所述页面,按照所述数据处理信息进行数据处理,获得所述目标数据。
可选的,所述基于所述页面,按照所述数据处理信息进行数据处理,获得所述目标数据,包括:在所述页面上按照所述数据处理信息进行数据处理,生成目标数据页。
可选的,所述目标事务日志记录有数据处理信息;
所述方法还包括:判断共享缓冲区中是否存储有所述数据处理信息对应的数据;
所述在重放区域中对所述目标事务日志进行重放处理,获得目标数据,包括:如果所述共享缓冲区中未存储有所述数据处理信息对应的数据,则在重放区域中对所述目标事务日志进行重放处理,获得目标数据。
可选的,所述判断共享缓冲区中是否存储有所述数据处理信息对应的数据,包括:判断所述共享缓冲区中是否存储有所述数据处理信息对应的数据页;
所述如果所述共享缓冲区中未存储有所述数据处理信息对应的数据,则在重放区域中对所述目标事务日志进行重放处理,获得目标数据,包括:如果所述共享缓冲区中未存储有所述数据处理信息对应的数据页,则在重放区域中对所述目标事务日志进行重放处理,生成目标数据页。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910363333.3/2.html,转载请声明来源钻瓜专利网。