[发明专利]数据抽取装置和方法

摘要

本发明提供了一种数据抽取装置，包括：开关状态载入单元，用于载入控制开关在本次抽取数据时的开关状态，并保存控制开关在上次抽取数据时的开关状态；数据抽取控制器，用于根据载入的开关状态，判断本次抽取数据的类型是全量抽取类型还是增量抽取类型；当本次抽取数据的类型是增量抽取类型时，分别计算需要抽取、筛选与归档指定的数据；数据抽取单元，用于根据计算得到的需要抽取、过滤和归档指定的数据，进行数据抽取。本发明还提供了一种数据抽取方法。通过本发明的技术方案，可以在现有的数据抽取方式基础上，充分利用单对象类型完成多对象类型的数据抽取，建立多对象类型参与的数据抽取的通用、统一抽取思路。

主权项

1.一种数据抽取装置，其特征在于，包括：开关状态载入单元，用于载入控制开关在本次抽取数据时的开关状态，并保存控制开关在上次抽取数据时的开关状态；数据抽取控制器，用于根据载入的开关状态，判断本次抽取数据的类型是全量抽取类型还是增量抽取类型；当本次抽取数据的类型是增量抽取类型时，分别计算需要抽取、筛选与归档指定的数据；所述数据抽取控制器，具体包括：抽取类型判断模块，用于根据载入的开关状态，判断本次抽取数据的类型是全量抽取类型还是增量抽取类型；数据计算模块，用于当本次抽取数据的类型是增量抽取类型时，分别计算需要抽取、筛选与归档指定的数据；数据抽取单元，用于根据计算得到的需要抽取、过滤和归档指定的数据，进行数据抽取；所述数据抽取单元，具体包括：初始化全量抽取模块，用于根据计算得到的需要抽取、过滤和归档指定的数据，进行数据的初始化全量抽取；日常增量抽取模块，用于根据初始化全量抽取的数据，进行数据的日常增量抽取；所述初始化全量抽取模块进行数据的初始化全量抽取的操作，进一步包括：⑴装载开关的当前状态到上次抽取状态；⑵按全量方式控制数据抽取；⑶全量抽取业务数据，做数据仓库的初始化操作；和/或，所述日常增量抽取模块进行数据的日常增量抽取的操作，进一步包括：(1)装载本次开关状态到本次抽取状态位；⑵通过本次与上次抽取的状态计算出需要增量数据抽取的时间点，其中比对原则如下：本次开关打开，数据需要重新对应抽取和归档；本次开关关闭，当上次开关是打开的，需要重新抽取对应数据并归档；本次开关关闭，上次也关闭，但中间曾经打开过，需要重新抽取对应数据并归档；或当开关在打开、最新关闭或被重新打开后又被关闭的三种情况下对对应的数据做重新抽取，筛选与归档；⑶根据计算得到的数据抽取时间，增量抽取、过滤装载数据；⑷将当前开关状态数据转存到上次抽取状态位置，方便下次抽取时使用。