[发明专利]基于语义分析与多重Simhash的文本近似重复检测方法

摘要

本发明公开了一种基于语义分析与多重Simhash的文本近似重复检测方法，本发明引入语法、句法、语义等信息，首先根据多因素综合考虑词的重要性而获得文章的关键词，然后创新地提出以关键词前后一定数目的词为文章特征，并以此计算SimHash，在处理语义的问题上，通过同义词替换的方法来消除同义词，然而这种方法比较激进，因此一定程度上降低了准确率，因此采用二重SimHash的方法，即只有在一定范围内才会使用这种激进的计算方式，结果表明改进的检测方法要比传统的SimHash、Shingling等方法效果更优。

主权项

1.一种基于语义分析与多重Simhash的文本近似重复检测方法，其特征在于，该方法包括以下步骤：(1)对中文文章进行预处理：将原始文本进行分词、去除停用词处理，余下的词称为文章的实义词；(2)选取关键词：以tfidf、词性、词长、词首次出现的位置计算每个实义词的权重，选取权重最高的N₁个词作为关键词；N₁的取值范围为[5，15]；词的权重计算方式为：其中w_i表示文档中第i个词，tfidf_i表示这个词的tfidf，len(w_i)表示文档中第i个词的长度，len(d)表示文档的长度，pos_i表示词首次出现的位置，pro_i表示词性的权重指标，pro_i的取值范围为[0，1]；λ₁～λ₄为不同指标的权重，且满足λ₁＞λ₂＞λ₄＞λ₃；(3)选取关键词每次出现位置前后各N₂个词作为文本特征，若关键词出现位置前或后不足N₂个词，则取到文首或文尾为止；N₂的取值范围为[6，14]；(4)预先统计好常用的同义词，并对词进行编码，同一个含义的词编码相同，不同含义的词编码不同，但编码长度相同；找到特征中所有有同义词的词，并将其替换为对应的编码；(5)根据文章的全部实义词计算Simhash记为simhash_1，根据文本特征计算Simhash记为simhash_2；(6)计算两篇文章的simhash_1的海明距离，记为D1，计算两篇文章的simhash_2的海明距离记为D2；若D1≤k₁，或k₁＜D1≤k₂且D2≤k₁，则认为两篇文章近似重复；其中k₁的取值范围为[1，3]，k₂的取值范围为[5，7]。