[发明专利]基于组合凸线性感知器的两类文本分类方法

摘要

本发明公开了一种基于组合凸线性感知器的两类文本的分类方法。本发明包括：收集文本数据集，将其划分为训练集和测试集；预处理数据集；提取总词表并统计词频；对训练样本集进行特征选取，得到特征向量表；将数据集中的所有样本特征项赋权值表示成向量；将所有数据降维到低维特征空间，得到组合凸线性感知器最终处理的数据；利用SMA算法构造组合凸线性感知器，从而判断测试样本的类别。本发明结合tf*idf特征提取法和PCA降维方法，使用SMA算法进行两类文本分类，这是首次将组合凸线性感知器应用到文本分类领域，非常具有独创意义。

主权项

1.一种基于组合凸线性感知器的两类文本的分类方法，其特征在于包括以下步骤：步骤一，收集文本数据集，将收集得到的文本数据集分为训练样本集和测试样本集；步骤二，预处理数据集，方法如下：对文本数据样本进行分词，实现单词字符小写化、去停用词以及删除标点符号的初步处理，同时，统计每个测试样本以及训练样本的词频；步骤三，对训练样本集，提取出总词表，方法如下：对于总词表中的每一个词项，统计包含该词项的正类样本个数和负类样本个数，过滤掉训练样本集中所有正、负类文档频率均小于3的词项，得到总词表；步骤四，对训练样本集进行特征选取，得到特征向量表；具体方法如下：对于步骤三得到的总词表中的每一个词项，计算词项t对于文本类别c_i的χ²统计值χ²(t,c_i)；若χ²统计值越高，说明它与该类之间的相关性越大，同时携带的类别信息也比较多，计算公式如下：其中，N表示训练样本集中的文本总数，A表示属于c_i类且包含t的文档频数，B表示不属于c_i类但是包含t的文档频数，C表示属于c_i类但是不包含t的文档频数，D是既不属于c_i也不包含t的文档频数；步骤五，为数据集中所有样本特征项赋权值，得到每个样本的向量表示；采用tf·idf的赋权值方法，其中tf是词频，idf是逆向文件频率；对于词项t_k，令文本d关于t_k的权值为ω_k，产生文本d的向量表示d＝(ω₁,ω₂，…ω_k…,ω_n)；根据tf·idf计算权值ω_k的公式为：ω_k＝tf_k·idf_k其中，tf_k表示词项t_k在文档d中的出现频率，已由步骤二得到，idf_k值的计算方法如下：其中，N表示训练样本集中的文本总数，df_k表示包含t_k的所有文档数目；步骤六，对步骤五得到的所有样本向量组，包括训练集与测试集的所有数据，采用主成分分析对文本特征信息进行降维；这里，将训练样本集处理得到k维向量集合称为T1，将测试样本集处理得到k维向量集合称为T2；其中，T2即最终的测试样本集合；步骤七，对T2每一个测试样本t，利用SMA算法构造组合凸线性感知器，从而判断测试样本的类别；其中，判断测试样本类别的具体步骤如下：(1)输入由步骤六得到的训练样本集合T1和测试样本集合T2；(2)将T1分为正类样本集合X'和负类样本集合Y'，P为正类文本个数，F为负类文本个数：X'＝{x_i,1≤i≤P},Y'＝{y_j,1≤j≤F}；(3)根据SMA算法构造X'关于Y'组合凸线器，其构造步骤如下：①找到当前X'关于Y'最近的两个样本，即对X'中的任意向量样本x_i，对Y'中的任意向量样本y_j，计算x_i与y_j的距离d_ij＝d(x_i,y_j)，公式如下：比较所有d_ij的值，得到当前所有d_ij的最小值d_min，即d_min＝min{d_ij,1≤i≤P,1≤j≤F}；如果d_min＜ε，ε取值0.000001，则输出“X'和Y'不可分”，停止并退出；②使用I和J分别用于存储X'和Y'的指标，即I＝{i,1≤i≤P},J＝{j,1≤j≤F}；g用于存贮凸线器的组别数，l_g存贮第g组凸线器含有的线性判别函数的个数，g、l_g初值均赋为1，即g＝1，l_g＝1；③分配数据空间J₁用于存贮J的子集，并把J赋给J₁，即J₁＝J；④分配数据空间I₁用于存贮I的子集，并把I赋给I₁，即I₁＝I；⑤找到当前I₁关于J₁最近的两个样本x_m和y_n，m和n的值计算公式如下：(m,n)＝argmin{d_ij,i∈I₁,j∈J₁}；⑥得到第g组的第l_g个线性判别函数计算公式如下：其中，⑦使用上一步得到的线性判别函数将I₁中已正确划分类别的数据去除，形成新的I₁集，即从I₁中删除所有满足条件的指标i，I₁更新为：⑧如果I₁仍存在数据未正确划分类别，那么继续求第g组的下一个线性判别函数，先更新l_g，l_g的值增加1，再求当前J₁中单个点距整个新I₁集的最近点对，即计算m＝argmin{d_in,i∈I₁}，返回步骤⑥；否则，用L_g存贮l_g的当前值，显然，L_g表示X'关于Y'的组合凸线器中的第g组线性判别函数的总个数；⑨将J₁中已正确划分类别的数据去除，即从J₁中删除所有满足条件的指标j，J₁更新为：⑩如果J₁中仍存在数据未正确划分类别，那么继续求下一组凸线器，先更新g，g的值增加1，再返回步骤⑤；否则，用变量G存贮g的当前值，显然，G表示X'关于Y'的组合凸线器包含的线性判别函数的总组数；(4)得到X'关于Y'的组合凸线器MCLP，即其中：(5)根据该组合凸线器MCLP，由决策函数判断T2中每一个测试样本t的类别，具体决策函数如下：其中，+1表示正类，‑1表示负类。