[发明专利]面向专业领域的在线主题检测方法

摘要

本发明公开了一种面向专业领域的在线主题检测方法，得到预处理的文本集的文本向量矩阵，并从文本集中提取词典；对文本向量矩阵进行建模；计算文本d对主题θk的混合权重p(θk|d)和每个主题主题θk中特征词出现的频率p(ω|θk)；得到两文本di,dj之间相似度，文本间基于主题模型的主题距离定义为文本向量的相对熵距离，计算相似度矩阵；压缩文本集，得到新文本样本集；计算新文本样本集的相似度矩阵，并根据此相似度矩阵选择偏向参数p；对上述聚类结果合并处理，产生新的聚类结果；计算原文本集中所有文本与压缩后已经分类出的文本的距离，进行分类；输出文本集主题以及最终聚类结果。与现有技术相比，本发明于采用更优化的聚类算法，提高了聚类结果准确率和效率。

主权项

一种面向专业领域的在线主题检测方法，其特征在于，该方法包括以下步骤：步骤一、对文本集进行包括文本分词、过滤停用词、计算TF/IDF值、文本特征向量化、标准化在内的预处理操作，得到文本集的文本向量矩阵A，A＝(Wtw，d)，其中Wtw，d表示单词w在文本d中的权重，并在文本切分词的时候从文本集中提取词典；步骤二、通过LDA主题模型对文本向量矩阵进行建模，建模的数学表示如下：文本集是M个文本的集合，表示成D＝{d1,d2,d3,...,di}，其中i∈M，di表示其中第i篇文本；文本是K个主题的集合，表示成di＝{θ1，θ2，θ3，…，θn}，其中n∈K，θn表示其中的第n个主题；主题是t个单词的集合，表示成θn＝{w1，w2，w3，…，wt}，其中wt表示主题里的第t个词；将包含上万个单词的文本转换成文本在主题上的映射和主题在单词上的映射；步骤三、通过Gibbs采样来估计参数主题‑词语分布和文本‑主题分布θ，得到文本d对主题θk的混合权重p(θk|d)和主题θk中特征词ω出现的频率p(ω|θk)，；对于每一个单一的样本，可以按下式估算和θ，如公式(1)、公式(2)所示：φw(z=j)=nj(w)+βnj+Vβ---(1)]]>θz=j(d)=njd+αnd+Tα---(2)]]>其中，表示主题j中单词w的概率，nj(w)表示单词w被分配给主题j的次数，nj表示分配给主题j的所有次数，V表示语料库中所有单词的个数，表示文本d中主题j的概率，njd表示文本d中分配给主题j的次数，nd表示文本d中所有被分配了主题的次数，T表示主题总数，α和β表示按时间顺序变化控制和的超参数；步骤四、使用主题距离的度量公式计算文本相似度矩阵，文本间基于主题模型的主题距离定义为文本向量的相对熵距离，任意两个文本di和dj之间的相似度计算如下式所示：D(di,dj)=Σk=1Kp(θk|di)ln(p(θk|di)p(θk|dj))]]>步骤五、使用CVM压缩算法对文本集中大规模的文本数据集进行压缩，得到新的文本样本集；步骤六、根据公式(3)计算新的文本样本集的相似度矩阵，并根据此相似度矩阵选择偏向参数p，偏向参数空间为[‑∞,0]，首先将偏向参数的值设为‑1，即p＝‑1，在AP算法的迭代过程中不断优化聚类结果；步骤七、对步骤六得到的相似度矩阵利用AP算法进行聚类，得到新的样本文本集的聚类中心和聚类结果；步骤八、选择参数T，调用基于距离的merge过程对步骤七的聚类结果进行合并处理，产生新的聚类中心和聚类结果；步骤九、计算原文本集中所有文本与压缩后已经分类出的文本的距离，距离哪个文本最近，则将其与这个文本归为一类；步骤十、输出文本集的主题以及最终聚类结果。