[发明专利]一种网页信息提取系统及提取方法

摘要

本发明公开了一种网页信息提取系统及提取方法，属于网络信息提取技术领域，系统包括网页信息捕捉单元；网址过滤单元，连接网页信息捕捉单元；网页信息提取单元，分别连接网页信息捕捉单元和网址过滤单元；方法包括预设多个标准网址信息；获取网页的网址信息和网页编码信息；将匹配于标准网址信息的网址信息标记为有效网址信息；提取网页编码信息，转换网页编码信息的编码类型并保存；用空白信息替代网页编码信息中的超文本标签；将网页编码信息划分为多个信息块，并计算信息块中的字节密度；提取密度骤升与密度骤降的信息块之间的网页编码信息并输出；上述技术方案的有益效果是剔除无用信息，解决兼容性问题，提升信息获取精确性。

主权项

一种网页信息提取系统，其特征在于，包括：网页信息捕捉单元，用于在浏览器侧下载预设的网页，并捕捉所述网页的网址信息和网页编码信息；网址过滤单元，连接所述网页信息捕捉单元，预设有多个标准网址信息，并用于根据预设的所述标准网址信息对所述网址信息进行匹配，以获得匹配于所述标准网址信息的有效网址信息；网页信息提取单元，分别连接所述网页信息捕捉单元和所述网址过滤单元，用于提取对应所述有效网址信息的所述网页编码信息，并将所述网页编码信息分为多个信息块，查找到字节密度骤升的所述信息块和字节密度骤降的所述信息块；所述网页信息提取单元将位于字节密度骤升的所述信息块和字节密度骤降的所述信息块之间的所述网页编码信息确定为网页信息，并输出所述网页信息；所述网址过滤单元包括：网址分割模块，用于接收所述网页信息捕捉单元捕获的网址信息，并将所述网址信息分割为域名信息、URL路径信息以及URL实体信息；标准网址存储模块，保存有所述标准网址信息，所述标准网址信息包括标准域名信息和标准URL路径信息；网址匹配模块，分别连接所述网址分割模块和所述标准网址存储模块，用于将所述域名信息与所述标准域名信息进行匹配，以及将所述URL路径信息与所述标准URL路径信息匹配，并将匹配成功的所述网址信息标记为有效网址信息；所述网页信息提取单元中包括：编码转换模块，用于根据所述网页编码信息的编码类型选择相应的解码方式，以将所述网页编码信息的编码类型转换成对应的UTF‑8编码UTF‑8编码类型；编码存储模块，连接所述编码转换模块，用于保存经过转换的所述网页编码信息；第一符号转换模块，连接所述编码存储模块，采用空白信息替代所述编码存储模块中保存的所述网页编码信息中的超文本标签；信息密度计算模块，连接所述第一符号转换模块，用于将经过替代后的所述网页编码信息分割为多个行数相等的连续的信息块，并计算每个所述信息块的字节密度；网页信息提取模块，连接所述信息密度计算模块，用于根据所述信息块的字节密度的变化趋势，提取位于字节密度骤升的所述信息块和字节密度骤降的所述信息块之间的所述网页编码信息，并将被提取的所述网页编码信息作为网页信息输出。