[发明专利]一种从社区问答网站自动获取知识领域短文本的方法

摘要

本发明提供一种从社区问答网站自动获取知识领域短文本的方法，能够爬取社区问答网站知识领域相应领域下每个主题的问题网页和作者网页，获取数据全面系统，方便用户学习和使用。其包括如下步骤：步骤1，爬取社区问答网站中知识领域的Web页面；步骤2，抽取网页数据集中的知识领域短文本；步骤3，构建领域主题树；步骤4，领域主题树的存储。其能够从社区问答网站半结构化数据中自动抽取知识领域短文本，通过爬取社区问答网站知识领域相应领域下每个主题的问题网页和作者网页，构建了知识领域的网页数据集，然后自动抽取其中的知识领域短文本并发现其中的父子关系，从而构建了领域主题树并实现了领域主题树的存储，最终方便用户学习和使用。

主权项

1.一种从社区问答网站自动获取知识领域短文本的方法，其特征在于，包括如下步骤：步骤1，爬取社区问答网站中知识领域的Web页面；按照领域的不同，基于深度优先遍历算法爬取社区问答网站的动态网页，解析得到含有知识领域知识的网页中的主题页面、问题页面和作者页面的基本信息，构建包含这三类页面的集合，形成知识领域的网页数据集；步骤2，抽取网页数据集中的知识领域短文本；通过使用HTML解析工具分别对网页数据集中的主题页面、问题页面和作者页面进行解析，得到每类页面包含的知识领域短文本，构建短文本数据集；步骤3，构建领域主题树；通过分析短文本数据集，得到每个领域对应主题下的短文本及其父子关系，构建多棵以领域名为树根和以知识领域短文本为树节点的树，将其命名为领域主题树；步骤4，领域主题树的存储；首先将领域主题树中的节点信息存入相应的树节点集合中，然后根据领域分别设计得到对应的领域表格；其次将树节点集合的信息存入领域表格的对应列中，补全每张领域表格的信息，构建用于存储每个领域所有短文本的知识领域数据库；步骤2中抽取网页数据集中的知识领域短文本，具体包括如下步骤；2.1解析每个领域对应的的网页数据集，包括主题页面、问题页面和作者页面这三类页面的HTML结构，根据页面HTML标签定位相应的逻辑块，逻辑块中的每段短文本表示一个实体；定义短文本数据集TFS＝{domainc}s，其中s表示网页数据集中的领域数量，domainc表示网页数据集中的第c个领域；如果一段文本隶属于另外一段文本，则称它们之间存在父子关系；2.2解析主题页面，依据HTML标签定位并解析主题块，得到主题短文本及所属领域，所属领域与主题短文本集合形成父子关系集，并将其加入短文本数据集TFS；2.3二次解析主题页面，依据HTML标签定位并解析问题块，得到描述问题的短文本，得到所有问题短文本的集合，即问题集合；主题短文本与问题块中的问题短文本集合形成父子关系集，并将其加入短文本数据集TFS；2.4解析问题页面，解析问题页面的HTML标签，得到问题的评论数和投票数，得到所有问题的评论数和投票数的集合；问题集合与问题的评论数集和投票数集分别形成父子关系集，并将其加入短文本数据集TFS；2.5二次解析问题页面，解析问题页面的HTML标签，得到问题的回答，得到所有回答的集合；问题与回答集合形成父子关系集，将其加入短文本数据集TFS；2.6三次解析问题页面，解析问题页面的HTML标签，得到答案的评论数和投票数，得到所有评论数和投票数的集合；回答集合与回答的评论数集和投票数的集合分别形成父子关系集，将其加入短文本数据集TFS；2.7解析作者页面，解析作者页面的HTML标签，得到作者的姓名；解析HTML标签得到作者的粉丝数；解析HTML标签得到作者擅长领域；得到所有作者信息，包括分别构成的作者姓名集合、作者粉丝数集合和作者擅长领域集合；回答集合与回答的作者信息集形成父子关系集并将其加入短文本数据集TFS。