[发明专利]源代码文件克隆邻接表合并检测方法

摘要

本发明涉及一种源代码文件克隆邻接表合并检测方法，对工程项目文件以文件为单位，对代码每行以固定行数进行扫描为粒度，用MD5构造指纹Chunk并建立指纹库。指纹库保存在MySQL数据库中，以指纹所在的开源项目id和Chunk的Hash值作为索引进行检测算法，能实现克隆0到3类检测。即提出基于分布式索引的源代码文件克隆邻接表合并检测方案及算法。该检测算法的检测实现能在时间复杂度为O(nm)，空间复杂度为O(nm)内检测出克隆的代码文件，实现海量检测。

主权项

源代码文件克隆邻接表合并检测方法，其特征在于包括以下步骤：步骤一，构造开源项目指纹库，并进行指纹库索引建立和存储；步骤二，针对邻接表合并检测；步骤三，相似度计算；单个源文件中所有规范化后的Token，从第一个开始，每固定个数被转换为一个Chunk，这样，每个代码文件转换后会生成很多Chunk，然后将每个Chunk都存储到HBase中。