[发明专利]一种基于文件和数据块两级粒度的副本替换方法及系统

摘要

本发明提供一种基于文件和数据块两级粒度的副本替换方法及系统，所述系统包含：文件管理子系统和数据块管理子系统；所述文件管理子系统，用于处理替换系统内部的文件请求并生成与其相连接的文件缓存单元的文件副本替换策略；所述数据块管理子系统，用于处理数据块请求、进行访问统计并生成与其相连的数据块缓存单元的数据块副本替换策略；其中，所述数据块管理子系统向所述文件管理子系统报告数据块的使用状态信息；所述文件管理子系统和数据块管理子系统之间是一对多的关系。本发明考虑大型文件尺寸条件下广域分布式系统中，对访问分布于文件的不同位置、替换代价不同等特征，提供一种策略，用于提高基于内容的服务系统的文件读取的命中率。

主权项

一种基于文件和数据块两级粒度的副本替换系统，该系统用于为广域的基于内容分布式的系统提供一种数据副本替换策略，所述系统包含：文件管理子系统和数据块管理子系统；所述文件管理子系统，用于处理替换系统内部的文件请求并生成与其相连接的文件缓存单元的文件副本替换策略；所述数据块管理子系统，用于处理数据块请求、进行访问统计并生成与其相连的数据块缓存单元的数据块副本替换策略；其中，所述数据块管理子系统向所述文件管理子系统报告数据块的使用状态信息；所述文件管理子系统和数据块管理子系统之间是一对多的关系；上述文件管理子系统进一步包含：文件进入缓存单元：该单元在有对文件的读写请求时，从外部文件源处得到该文件；文件副本替换退出策略生成单元，该单元首先将文件进入缓存单元得到的最新文件替换位于文件缓存单元上的被引用为否的文件；其次在LIRS机制的基础上，将引用距离和最近性之外的文件热度指标作为文件是否退出文件缓存单元的依据，即当有若干个文件满足引用距离和最近性指标退出文件缓存单元的条件时，要进一步选择文件热度低的文件作为最终退出文件缓存单元的文件；和基于数据块信息更新文件状态信息的单元，该单元从数据块管理子系统接收数据块统计信息，将数据块的使用次数累加到对应数据块的访问次数，且当数据块退出数据块管理子系统时，对该数据块的被引用计数减1，当被引用计数值为0时，表示没有数据块管理子系统缓存或访问该数据块；依据各数据块的访问次数，更新文件热度；依据各数据块的被引用计数，更新文件被引用状态；其中，所述数据块统计信息包括数据块的使用次数、数据块退出所述数据块管理子系统所连接的缓存单元的时刻。