[发明专利]一种分布式互联网数据快速采集系统及采集方法

摘要

本发明公开了一种分布式互联网数据快速采集系统，包括种子网站设置节点，超链接采集层，实时队列，网页下载与解析层，网页数据存储层五个层；种子网站设置节点用于设置存储数据源的各项参数及抽取规则；超链接采集层用于对数据源的超链接列表网页进行请求并提取目标网页的超链接；实时队列用于存取超链接采集层提取的URL超链接及其对应的抽取规则及已访问过的URL超链接；网页下载与解析层用于请求并解析实时队列中未访问过的URL超链接并格式化提取特定数据；网页数据存储层用于存储网页下载与解析层格式化抽取的目标数据。本发明采用分布式分层协作方式进行数据采集，能够应对数据采集量大、数据来源多、实时性要求高的系统应用需求。

主权项

1.一种基于分布式网络数据快速采集方法，基于分布式网络数据快速采集系统，其特征在于，所述分布式网络数据快速采集系统包括种子网站设置节点，超链接采集层，实时队列，网页下载与解析层，网页数据存储层五个层；/n所述种子网站设置节点用于设置存储数据源的各项参数及抽取规则，为单一节点；/n所述超链接采集层用于对数据源的超链接列表网页进行请求并提取目标网页的超链接；/n所述实时队列用于存取超链接采集层提取的URL超链接、该超链接对应的抽取规则及已访问过的URL超链接；/n所述网页下载与解析层用于请求并解析实时队列中未访问过的URL超链接并格式化提取特定数据；/n所述网页数据存储层用于存储网页下载与解析层格式化抽取的目标数据；/n具体步骤如下：/n步骤1，种子网站设置节点设置所有种子URL、抽取规则、网站编码信息；/n步骤2，超链接采集层中的节点定时读取数据源信息并采集数据源特定列表页的URL，格式化后并同对应的结构化抽取规则存入实时队列；/n步骤3，网页下载与解析层中的节点实时读取实时队列中的网页超链接请求下载并结合伴随传递的抽取规则结构化提取数据，若正文数据提取成功则直接存入网页数据存储层中，否则采用通用正文抽取的方法进行正文提取，然后存入网页数据存储层中；/n步骤1具体为：用户通过web系统添加所有需要采集的目标网站，这些目标网站中包含用户感兴趣的多个目标版块，然后进行如下设置：/n第一步，设置的网站信息包括当前网站的域名、名称、类型、页面编码、该网站通用目标URL过滤正则表达式以及通用信息抽取规则，该网站当前设置的信息适用于该网站下所有采集版块；/n第二步，设置网站的版块信息，包括版块的名称、种子URL，若版块的域名、目标URL过滤正则表达式及信息抽取规则与该网站的通用设置不同，则在对应的位置个性化设置该处信息；/n步骤2具体为：超链接采集层中的节点定时读取步骤1设置的网站及版块信息，以版块为基本单位进行格式化处理，对于每一个采集版块该过程详细描述为：/n第一步，继承当前版块所属网站的所有信息；/n第二步，若域名、URL过滤正则表达、页面信息抽取规则版块进行了设置，该版块将使用自身个性化设置替代从网站设置中继承来的相应设置信息；/n第三步，请求版块种子URL页面，使用当前版块的URL过滤正则表达式提取目标网页的URL集合，每个版块采集得到一个URL集合；/n第四步，以当前的每个URL集合中的单个元素为目标URL，使用当前版块设置的域名拼接完整的目标URL结合对应第二步中设置好的版块信息形成新的多元组，多元组中的信息包括了该目标URL的页面编码、网站名称、版块名称、页面编码、标题抽取规则、作者抽取规则、正文抽取规则、发布时间抽取规则、网站类型；最后将设置好的多元组压入实时队列中，这个过程将目标URL与抽取规则绑定，做到一一对应。/n