[发明专利]一种基于遗传算法的智能聚焦爬虫系统在审
| 申请号： | 201910072237.3 | 申请日： | 2019-01-25 |
| 公开（公告）号： | CN109815388A | 公开（公告）日： | 2019-05-28 |
| 发明（设计）人： | 王磊;倪林 | 申请（专利权）人： | 东华大学 |
| 主分类号： | G06F16/953 | 分类号： | G06F16/953;G06F16/955 |
| 代理公司： | 上海申汇专利代理有限公司 31001 | 代理人： | 翁若莹;柏子雵 |
| 地址： | 201600 上*** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种基于遗传算法的智能聚焦爬虫系统，其特征在于，包括：初始化模块；主题相似性判断模块，用于确定种子URL集中各被浏览网页的网页主题，计算网页主题与用户查找主题相关性；任务模块，将主题相似性判断模块获得的网页适应度值较高的网页的链接存储到URL结果集中，并根据URL结果集生成待爬取任务；爬虫模块。本发明将智能算法应用到爬虫系统中，使爬虫系统自适应能力增强，提高爬取信息的准确度。本发明提供的智能聚焦爬虫系统弥补了传统爬虫的不足，它是一种面向特定主题的爬虫系统。智能聚焦爬虫系统能够有目的的提取互联网中用户所需要的资源。 | ||
| 搜索关键词： | 聚焦爬虫 爬虫系统 智能 主题相似性 判断模块 网页主题 遗传算法 网页 初始化模块 自适应能力 准确度 爬虫 链接存储 爬虫模块 任务模块 用户查找 智能算法 浏览网页 结果集 适应度 互联网 应用 | ||
【主权项】：
1.一种基于遗传算法的智能聚焦爬虫系统，其特征在于，包括：初始化模块，根据用户提交的查找主题在互联网上搜索起始网页集生成种子URL集，确定交叉概率Pc、遗传概率Pm、爬虫深度d以及网页适应度值的阈值；主题相似性判断模块，用于确定种子URL集中各被浏览网页的网页主题，计算网页主题与用户查找主题相关性，并计算网页适应度值，根据将计算得到的网页适应度值与初始化模块设定的网页适应度值的阈值相比较，得到网页适应度值较高的网页；任务模块，将主题相似性判断模块获得的网页适应度值较高的网页的链接存储到URL结果集中，并根据URL结果集生成待爬取任务爬虫模块，利用初始化模块确定的爬虫深度d初始化后，不断从URL结果集获取任务模块生成的待爬取任务，然后发送http请求，下载指定的网页链接到本地抓取相应网页数据直到URL结果集为空时，终止整个循环。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于东华大学，未经东华大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910072237.3/，转载请声明来源钻瓜专利网。
