[发明专利]一种网页内容自动提取方法及装置

摘要

本发明提供了一种网页内容自动提取方法及装置，其中方法包括：对目标网页提取区域结构体，对所述区域结构体进行划分得到主结构体；提取所述主结构体的有序链接组作为标准链接组；提取所述主结构体中每条数据信息所在的最小结构体，利用所述最小结构体生成信息结构体集合；基于所述主结构体的根路径Rpath、标准链接组相对于主结构体的根路径Rpath以及信息结构体相对于主结构体的根路径Rpath生成信息提取范式；根据所述信息提取范式进行网页内容的自动提取。本发明实施例所提供的一种网页内容自动提取的方法及装置，能够实现对网页内容的自动提取，并且能够适应通用网页内容进行提取，适用性广。

主权项

1.一种网页内容自动提取方法，其特征在于，包括：/n对目标网页提取区域结构体，对所述区域结构体进行划分得到主结构体；/n提取所述主结构体的有序链接组作为标准链接组；/n提取所述主结构体中每条数据信息所在的最小结构体，利用所述最小结构体生成信息结构体集合；/n基于所述主结构体的根路径Rpath、标准链接组相对于主结构体的根路径Rpath以及信息结构体相对于主结构体的根路径Rpath生成信息提取范式；/n根据所述信息提取范式进行网页内容的自动提取；/n所述对目标网页提取区域结构体之前，包括：/n对目标网页进行预处理，并建立标签树；/n基于所述标签树提取目标网页的结构体，基于所述结构体生成区域结构体；/n所述基于所述结构体生成区域结构体，包括：/n计算所述目标网页中所包含的链接的根路径Rpath；/n对所述根路径Rpath相同的链接进行筛选和组合，生成链接组；/n针对所包含链接的数目大于或等于目标参数值M的链接组，计算出其各个链接的分支路径Ipath，将该组中所有链接的分支路径Ipath的最大公共部分作为该链接组确定的最小结构体路径；/n将最小结构体路径相同的结构体进行合并，计算每个结构体包含的字符数，然后计算合并后的字符总数，筛选出字符总数大于页面总数的一半的结构体组成结构体集合，并将所述结构体集合中字符总数最小的结构体作为区域结构体。/n