[发明专利]文件合并方法和装置

摘要

本发明实施例提供一种文件合并方法和装置，包括根据用户数据的键值信息对集群系统中各节点所负责的区间分别进行分区；对于每一个节点，确定节点满足第一触发条件，从节点的磁盘中读取至少两个第一文件至节点的缓存中，根据各第一文件中存储的各用户对应的数据的键值分别确定各键值所属的目标分区；将具有相同键值的数据进行合并，并将合并后各键值对应的数据存储在对应的目标分区内。通过对节点内区间进行分区，经过一次数据合并，将具有相同键值的数据存储在同一分区内。在查询时，根据键值确定数据所在的分区，然后扫描分区内各文件，由于分区内的文件个数较少，只需要从较少的文件中进行数据筛选，从而达到读性能提升。

主权项

一种文件合并方法，其特征在于，包括：根据用户数据的键值信息对集群系统中各节点所负责的区间分别进行分区；对于每一个节点，确定所述节点满足第一触发条件，从所述节点的磁盘中读取至少两个第一文件至所述节点对应的缓存中，所述各第一文件未进行过合并，所述各第一文件中存储有至少一个用户对应的数据，每个用户对应的数据的键值不同；根据所述各第一文件中各用户对应的数据的键值分别确定所述各键值所属的目标分区；根据所述各键值对所述各第一文件中具有相同键值的数据进行合并，并将合并后所述各键值对应的数据存储在对应的目标分区内；其中，同一个用户对应的数据的键值相同，不同用户对应的数据的键值不同。