[发明专利]大型语料库上的快速文本聚类方法

摘要

本发明属于关系数据库技术领域，具体为一种大型语料库上的快速文本聚类方法。由于文本数据通常具有高维和稀疏的特征，单纯基于数据相似度的聚类方法难以获得较好的效果，而基于生成模型的方法如狄利克雷多项混合模型在表现上更加突出。本发明通过使用狄利克雷分布的对称先验和构造索引来进行优化，使总时间仅依赖于文档中不同单词的个数，从而在篇幅较长的文档中也能高效运行。

主权项

1.一种大型语料库上的快速文本聚类的方法，其特征在于，具体步骤如下：(1)给定由大量文档组成的文本数据集D，首先为后续的连乘计算构建索引；在索引中，第i个元素a_i的值为建立了这样一类索引后，的值通过单次除法完成(2)由用户给出超参数α，β以及聚类过程中的总分类数K，使用基于吉布斯采样的狄利克雷多项混合模型，对每个文档所属的类别编号进行推断，具体过程为：(2.1)对于语料库中的任一文档为其随机分配一个类别编号z_i；(2.2)、对于所有文档进行遍历，并且根据语料库中其它文档的当前分类情况，根据狄利克雷后验分布公式，采样更新文档i所属的类别，其服从的分布为：分布公式经简化后的结果如下：(2.3)针对需要采样的分布p(x)，选取更易采样且满足如下性质的提案分布q(x)：若对于第i步以q(xi|xi‑1)的转移概率构建的马尔可夫链，其转移足够多步之后各状态的概率分布收敛于p(x)；(2.4)采样获得初始样本x0～q(x)；(2.5)采样获得xcand～q(xcand|xi‑1)，计算接受概率为：并以上述概率接受这个采样结果，即令xi为xcand，不接受，则令xi为xi‑1；(2.6)重复步骤(2.5)至指定次数；(2.7)返回当前的xi作为采样结果；(2.8)重复步骤(2.2‑2.7)，直至收敛；(2.9)以每一文档被分配的类别编号作为标准给出聚类结果；公式中所用的符号及含义如下：