[发明专利]一种测试爬虫数据质量的方法

摘要

本发明公开了一种测试爬虫数据质量的方法，包括步骤：表字段规则库配置，配置字段依赖关系，爬虫数据抽样，在被测数据源中随机抽取指定数量的数据样本，规则调用，判断是否有字段依赖关系，判断当前字段是否存在规则依赖，字段依赖校验，字段依赖校验模块根据字段A的值验证字段B的值，字段比对，字段比对模块验证对应的字段是否满足规则库中对应的规则，质量结果输出，质量结果输出模块错误样本供分析，该测试爬虫数据质量的方法高效，速度快，成本低。

主权项

1.一种测试爬虫数据质量的方法，其特征在于，包括如下步骤：步骤1，表字段规则库配置，从而构成表、字段、正则的匹配关系；步骤2，配置字段依赖关系；步骤3，爬虫数据抽样，在被测数据源中随机抽取指定数量的数据样本；步骤4，规则调用，循环每一条样本数据，然后判断步骤1中表里的字段对应的值是否满足规则；步骤5，判断是否有字段依赖关系，判断当前字段是否存在规则依赖，即步骤2中的依赖关系里是否包含该字段；步骤6，字段依赖校验，字段依赖校验模块根据字段A的值验证字段B的值；步骤7，字段比对，字段比对模块验证对应的字段是否满足规则库中对应的规则；步骤8，质量结果输出，质量结果输出模块输出错误样本供分析。