[发明专利]一种数据清理、索引方法

摘要

本发明公开了一种数据清理、索引方法，属于数据检索领域，具体流程为：1）数据清理、导入：包括对于结构化数据的清理及对于非结构化数据的清理；2）元数据的建立：(1)元数据获取，通过元数据获取流程整合数据中心多个源中的不同元数据，使用数据库作为元数据知识库进行统一存储管理；(2)元数据发布，建立一套元数据的发布流程来管理元数据的发布；(3)元数据访问，建立一套元数据访问权限的授予、管理流程机制，控制合法用户对元数据资料的有效访问；3）索引构建：通过元数据访问，得出数据中心的分布式数据集群上的数据属性。本发明整体的数据属性非常清晰，结构化和非结构化数据区分的很明确，针对不同数据结构类型，有针对性选择清洗工具，使其达到最好的清洗转换效果，大大的提高了数据整合转换效率。

主权项

一种数据清理、索引方法，其特征在于：具体流程如下：1）数据清理、导入：对于结构化数据的清理，通过清理工具利用在线同步的方式同步到数据中心的分布式数据库集群上或者通过文件等方式传送到数据中心的分布式数据库集群中或者通过接口实时调用；对于非结构化数据的清理，通过清理工具层进行交换处理，存放于数据中心的分布式文件系统中，指定冗余度，同时实现统一存储管理和冗余备份；2）元数据的建立：(1)元数据获取，通过元数据获取流程整合数据中心多个源中的不同元数据，并使用数据库作为元数据知识库进行统一存储管理；(2)元数据发布，建立一套元数据的发布流程来管理元数据的发布，元数据发布后，用户能通过元数据报表来查询各种元数据的内容，使用关联影响分析、依赖分析、血统分析方法来分析元数据间的关系，通过搜索功能对元数据对象进行精确或模糊查询，以XML标准进行元数据交换，并提供API接口和WebService接口接入，使得用户的查询请求得到及时有效的反馈；(3)元数据访问，建立一套元数据访问权限的授予、管理流程机制，控制合法用户对元数据资料的有效访问；3）索引构建：通过元数据访问，得出数据中心的分布式数据集群上的数据属性，其中对于与表有关的数据库结构采用数据库索引，对于存储在介质上的位置数据信息的描述采用空间索引，对于姓名、手机号和地址信息的描述采用关系索引，在关系型数据中，对数据中心的所有要素都要进行匹配的时候，采用全文索引。