[发明专利]一种用于去中心云环境的重复数据删除系统及方法

摘要

本发明公开了一种用于去中心云环境的重复数据删除系统及方法，该系统由进行文件操作的客户端、存储数据块和管理元数据的存储节点共同构成，客户端包括文件预处理模块、局部重删模块、第一元数据管理模块、数据传输模块，存储节点包括重删模块、第二元数据管理模块、存储模块；该方法针对去中心云环境中存在的冗余数据，从客户端和存储节点共同执行重复数据删除操作，先删除重复的文件，再删除重复的数据块，从而降低了去中心云环境中数据的冗余性。

主权项

1.一种用于去中心云环境的重复数据删除系统，其特征在于，该系统包括若干客户端和若干存储节点，各存储节点逻辑构成Chord环，所述客户端包括文件预处理模块、局部重删模块、第一元数据管理模块、数据传输模块，存储节点包括重删模块、第二元数据管理模块、存储模块；所述文件预处理模块用于对本地待上传文件进行分类；所述局部重删模块用于对分类后的文件计算其指纹值，并将待上传文件的指纹值与本地已上传的同类型文件的指纹值进行比较，若指纹值相同，则不上传该文件，否则，将待上传文件的指纹值经数据传输模块上传到指纹值对应的存储节点；所述第一元数据管理模块用于记录客户端已上传文件的指纹值及文件其他基本属性信息；所述重删模块用于通过Chord算法查找待上传文件的指纹值，若找到，则通过数据传输模块通知客户端不用上传该文件，否则，告知客户端待上传文件为非重复文件；所述局部重删模块还用于将非重复文件切分成数据块，并计算各数据块的指纹值，将各数据块的指纹值经数据传输模块上传到指纹值对应的存储节点；所述重删模块还用于通过Chord算法查找数据块的指纹值，若找到，则通知客户端不用上传该数据块，否则，将该数据块上传到对应存储节点的存储模块；所述第二元数据管理模块用于记录落在存储节点的各文件的指纹值，及构成文件的各数据块的元数据信息。