[发明专利]一种基于卷积神经网络与随机森林的短文本分类方法

摘要

本发明公开了一种基于卷积神经网络与随机森林的短文本分类方法，属于文本分类与深度学习领域。针对采用Softmax作为卷积神经网络分类器导致泛化能力不足的问题，提出了一种结合卷积神经网络与随机森林的短文本分类算法(CNN‑RF)。本方法首先提出一种双重词向量卷积神经网络用来充分提取短文本高阶特征，然后采用随机森林作为高阶特征分类器，从而提高短文本分类效果。在三个公开实验数据集上的结果表明，与其他算法相比CNN‑RF在多个评价指标上均有明显优势。

主权项

一种基于卷积神经网络与随机森林的短文本分类方法，其特征在于：该方法包括以下步骤：步骤1：对待分类语料库中所有中文文本进行分词，分别使用word2vec和glove词向量训练工具得到语料库的两组词向量，将文本表示为两个维度相等的矩阵；分别对两个矩阵进行二维卷积操作，得到两个卷基层特征图；步骤2：卷积操作之后，分别对两个卷基层特征图进行池化操作，得到两个池化层特征矩阵；对该池化层特征矩阵进行非线性sigmod变换，得到两个池化层特征图；步骤3：对步骤2的得到的两个池化层特征图进行卷积操作，得到最终的单个全连接层特征图；步骤4：将步骤3得到的全连接特征图作为随机森林层的输入数据集，对该集合进行Boostrap采样，Bootstrap采样是一种统计学上的抽样方法，对于有m个样本的数据集D，进行m次有放回采样得到新数据集D′，明显D与D′大小相同，而且放回采样使得D′中有重复出现的样本，也有样本没有出现；步骤5：对多个Boostrap样本集分别使用Gini系数法建立分类与回归树CART，Gini系数用于特征选择，用该特征将特征空间进行划分，划分之后从特征集合中去除此特征，对左右子树分别递归执行特征选取与特征划分操作直到满足停止条件；此外为防止决策树过拟合现象的发生，本方法采用预剪枝操作；将多个决策树组合起来，共同为样本的类别进行决策，通常采用投票法。