[发明专利]网络信息搜索与分类服务系统

摘要

本发明属于信息处理领域，尤其涉及网络信息搜索与分类服务系统。该系统包括：用于下载用户选择的网站或网页的网络信息抓取模块；用于将上述网络信息抓取模块下载下来的网页抽取成纯文本的网页内容抽取模块；用于管理用于算法学习和特征提取的各个领域的训练文档集的语料库维护模块；用于维护用于词条切分和词频统计的主词典和同义词典的词典管理模块；用于对训练文档进行词条切分和词频统计，并根据词频分布提取出代表文档类的特征项集及相应权值，生成相应的类模型的机器学习模块；用于根据词频分布，提取出待分类文档的代表向量，并计算各文档类特征向量的相似度，符合一定的阈值条件则将其归属到相应的类别中的文档分类模块。

主权项

网络信息搜索与分类服务系统，其特征在于，包括以下模块：信息抓取模块，网页内容抽取模块，预料库维护模块，词典管理模块，机器学习模块以及文档分类模块；所述的信息抓取模块，其用于下载用户选择的网站或网页；所述的网页内容抽取模块，其用于将上述网络信息抓取模块下载下来的网页抽取成纯文本；所述的语料库维护模块，其用于管理用于算法学习和特征提取的各个领域的训练文档集；所述的词典管理模块，其用于维护用于词条切分和词频统计的主词典和同义词典；所述的机器学习模块，其用于对训练文档进行词条切分和词频统计，并根据词频分布提取出代表文档类的特征项集及相应权值，生成相应的类模型；所述的文档分类模块，其用于根据词频分布，提取出待分类文档的代表向量，并计算各文档类特征向量的相似度，如符合上述的阈值条件则将其归属到相应的类别中。