[发明专利]一种网页中渲染数据收录的方法和装置

摘要

本发明实施例提供了一种网页中渲染数据收录的方法和装置，其中所述方法包括：判断当前抓取的网页页面是否存在有效的渲染数据；若判定所述网页页面存在有效的渲染数据，则收录所述有效的渲染数据。本发明实施例可以提高了有渲染能力的网络爬虫的收录能力，提高网页信息的完整性。

主权项

1.一种网页中渲染数据收录的方法，包括：判断当前抓取的网页页面是否存在有效的渲染数据；若判定所述网页页面存在有效的渲染数据，则收录所述有效的渲染数据；其中，所述判断当前抓取的网页页面是否存在有效的渲染数据的步骤包括：抓取网页页面，所述网页页面为经过渲染的页面；获取所述网页页面的原始页面，所述原始页面为没有经过渲染的页面；基于所述网页页面以及所述原始页面，判断所述网页页面是否存在有效的渲染数据；所述基于所述网页页面以及所述原始页面，判断所述网页页面是否存在有效的渲染数据的步骤包括：比较所述网页页面以及所述原始页面，获得一个或多个差异链接数据；基于所述一个或多个差异链接数据，生成模式信息；基于所述模式信息，判断所述网页页面是否存在有效的渲染数据；所述比较所述网页页面以及所述原始页面，获得一个或多个差异链接数据的步骤包括：提取所述网页页面中的一个或多个第一链接数据；提取所述原始页面中的一个或多个第二链接数据；分别提取所述第一链接数据，遍历所述一个或多个第二链接数据；若在第二链接数据中不存在与所述第一链接数据匹配的数据，则将所述第一链接数据作为差异链接数据;所述基于所述一个或多个差异链接数据，生成模式信息的步骤包括：判断所述差异链接数据中是否存在共性部分；若所述差异链接数据中存在共性部分，则基于所述共性部分生成模式信息;所述基于所述模式信息，判断所述网页页面是否存在有效的渲染数据的步骤包括：获取所述差异链接数据中符合所述模式信息的链接的数量；若所述数量大于或等于预设阈值，则判定所述网页页面存在有效的渲染数据。