[发明专利]一种基于Web的ETL设计数据接入方法及数据接入模块

说明书

本发明公开了一种基于Web的ETL设计数据接入方法及数据接入模块，方法包括以下步骤：通过Flow类定义每条流程；将各个流程的每个流程环节用不同FlowLink类进行表示，形成组件；每一个FlowLink类中记录了该组件所需要的参数信息、所属组件和下一个组件的ID；在可视化界面通过将不同组件进行组合连接，形成一个链式的流程，以配置较为复杂的数据接入过程；参数信息采用Json字符串的方式进行存储；所属组件表示FlowLink类中进行数据处理的组件；下一个组件的ID用于将FlowLink串成一条完整的Flow。本发明可配置处理较为复杂的数据接入，适用于各种业务场景，实现大数据的分批读取和复杂处理，以提高数据处理性能，最大限度地保障数据完整准确的接入。

技术领域

本发明涉及大数据接入领域，尤其涉及一种基于Web的ETL设计数据接入方法。

背景技术

数据接入服务（Data Ingestion Service，简称DIS），在大数据平台落地的过程中，数据接入是必不可少的一个关键环节。面对各种来源、各种类型的数据，需要通过数据接入将这些零散的数据整合在一起，纳入统一的大数据平台。从数据类型的角度，数据接入主要包括结构化数据（数据库）的接入、日志数据的接入、IoT数据的接入和文件的接入。数据接入面临的业务场景较多，数据来源的方式种类均未知；另外，数据接入时可能存在数据量反复变化的情况，因此，数据接入的稳定将会影响系统的性能。

ETL(Extract Transform Load，数据仓库技术)是数据抽取(Extract)、转换(Transform)、装载 (Load)的过程，其是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗转换，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。

在专利申请号为 CN201310738771.6的专利中公开了一种通用的数据接入方法及装置，该方法首先响应接收到的数据接入接口通过Web Service接口服务发送的接入请求，获取监测设备提供的监测数据中与接入请求相对应的目的监测数据，然后通过调用WebService接口服务，分批发送目的监测数据，并将分批发送的各个部分目的监测数据写入实时/历史数据库中，使得各个厂家的监测设备均可直接通过该方案提供的方法及装置将监测数据接入实时/历史数据库，且在接入过程中通过使用Web Service接口服务，避免了需要直接调用实时/历史数据库底层API的问题。但是该方案对复杂数据的接入效率不高，从而影响整个系统的性能。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于Web的ETL设计数据接入方法及数据接入模块。

本发明的目的是通过以下技术方案来实现的：

一种基于Web的ETL设计数据接入方法，包括以下步骤：

通过Flow类定义每条流程；

将各个流程的每个流程环节用不同FlowLink类进行表示，形成组件；每一个FlowLink类中记录了该组件所需要的参数信息、所属组件和下一个组件的ID；

在可视化界面通过将不同组件进行组合连接，形成一个链式的流程，以配置较为复杂的数据接入过程。

进一步的，所述参数信息采用Json字符串的方式进行存储。

进一步的，所述所属组件表示FlowLink类中进行数据处理的组件。

进一步的，所述下一个组件的ID用于将FlowLink串成一条完整的Flow。

进一步的，所述每条流程包括一个输入源节点、N个数据转换节点和一个输出源节点；所述输入源节点用于实现数据的读取；所述数据转换节点用于实现数据内容的处理；所述输出源节点用于数据的入库保存。