[发明专利]一种面向电力大数据的数据质量分析评价模型

摘要

本发明公开了一种面向电力大数据的数据质量分析评价模型，其核心功能是通过对基础模型中采集计划及约束规则处理，经由数据质量控制模型调用实现检查分析的后台存储，并在实体库中执行检查、形成查询结果，由分析程序进行分析、计算、分类、汇总，生成反映计划完成情况与数据质量量化指标结果,将结果存储到分析结果表中，由前台调用该分析结果表，可生成一份详尽的反映数据质量问题各类量化指标的数据质量分析评估报告。本发明提高了数据质量分析与评价的自动化水平，实现数据质量的智能管控，满足大批量数据质量控制需要，实现了对数据完整性、及时性、准确性、一致性等关键指标的量化分析及评价。

主权项

一种面向电力大数据的数据质量分析评价模型，其特征在于：包括基础模型、数据质量定义模型、数据质量控制模型、数据质量评价模型以及数据质量辅助管理模型；基础模型，其是整个模型框架的支撑，是其他质量模型的定义和标准，主要包括映射、定义数据采集标准，同时纳入了约束规则定义规范、控制规则定义规范、模板定义规范，其中，数据标准囊括了直接映射应用中的标准及新增应用库和项目库标准的定义规范,包括代码定义标准、数据项定义标准、值域定义标准的建立规范，约束规则定义规范主要描述质量定义模型中的语法构成，控制规则定义规范针对后台执行过程的控制方式使用说明；数据质量定义模型，其是数据质量分析评价的依据和基础，实现对数据质量统一规范的定义，可使用质量特性描述，其特性可归纳为数据的一致性、数据的准确性、数据的完整性、数据的及时性4个关键特性，此外还包括数据的时效性、有用性、合法性，其中，数据的一致性是指不同系统之间数据差异和相互矛盾的一致性，包括源系统之间同一数据是否一致,源数据与抽取的数据是否一致，数据中心内部各处理环节数据是否一致，主要用来检查数据直接勾稽关系是否正确，数据的准确性主要是指数据的来源是否正确，是对数据的描述语言应该满足准确和简介的标准，包括数据源是否准确、数据值域是否符合业务规则和客观事实、编码映射关系是否准确、处理逻辑是否准确，要求必须具备准确性和可靠性，有效反映实际情况，数据的及时性是指数据提取、传送、处理、装载、展现的及时和快速性，包括数据处理的及时性、数据异常检测的及时性、数据处理更新的及时性，数据的完整性是指确保相关数据的完整无缺失，包括数据源是否完整、数据取值是否完整、实体类型、属性特征、记录、字段值是否完整，数据合法性主要指格式、类型、值域和业务规则的有效性，时效性是判断数据是否满足用户需求的重要标准，描述数据的时间特性对应用的满足程度，有用性主要指数据本身的利用价值以及它的使用带来的利益程度，此外，还应包括安全问题，即数据的使用权应该受到一定的限制，以确保数据的保密性；数据质量控制模型，其以数据质量定义模型为基础，按照定义的检查范围和时间以自动或手工方式完成对数据质量的检查工作，可通过数据质量的关键特性和指标反映出来，包括对数据检查对象、数据检查频度、数据检查时间、数据检查方式的控制，其中，数据检查对象指根据采集计划设定需要检查的用户、专业数据表、数据库实体，数据检查频度指根据数据表的采集计划和实际发生的频度，设定存储过程的检查执行频率，数据检查时间指根据每日生产应用的密集时间以及数据发生到采集入库的密集时间,综合设定一个检查开始执行的时刻，数据检查方式指执行检查过程的方式可由后台过程自动控制的定时自检或由人工干预的手动检查；数据质量评价模型，其以数据质量定义模型为依据，由数据质量控制模型操控执行，根据反馈的质量检查结果表对数据质量进行评价，实现对数据质量的量化诊断和评价；数据质量辅助管理模型，其包括报告模版管理、权限管理、数据库资源占用情况。