[发明专利]一种基于Web的ETL设计数据接入方法及数据接入模块

权利要求书

1.一种基于Web的ETL设计数据接入方法，其特征在于，包括以下步骤：

通过Flow类定义每条流程；

将各个流程的每个流程环节用不同FlowLink类进行表示，形成组件；每一个FlowLink类中记录了该组件所需要的参数信息、所属组件和下一个组件的ID；

在可视化界面通过将不同组件进行组合连接，形成一个链式的流程，以配置较为复杂的数据接入过程。

2.根据权利要求1所述的基于Web的ETL设计数据接入方法，其特征在于，所述参数信息采用Json字符串的方式进行存储。

3.根据权利要求1所述的基于Web的ETL设计数据接入方法，其特征在于，所述所属组件表示FlowLink类中进行数据处理的组件。

4.根据权利要求1所述的基于Web的ETL设计数据接入方法，其特征在于，所述下一个组件的ID用于将FlowLink串成一条完整的Flow。

5.根据权利要求1所述的基于Web的ETL设计数据接入方法，其特征在于，所述每条流程包括一个输入源节点、N个数据转换节点和一个输出源节点；所述输入源节点用于实现数据的读取；所述数据转换节点用于实现数据内容的处理；所述输出源节点用于数据的入库保存。

6.一种采用权利要求1~5任意一项所述的基于Web的ETL设计数据接入方法的数据接入模块，其特征在于，包括Web-ETL设计器和Web-ETL执行器；所述Web-ETL设计器为用户提供可视化界面，可通过对组件的拖拉进行组合，根据需求场景配置数据处理的中间过程，形成完整的复杂数据接入流程；所述Web-ETL执行器根据Web-ETL设计器配置的结果创建数据接入任务，对需要接入数据进行读取、清洗、转换、过滤、筛选和入库。