[发明专利]文件数据源入库解析接入方法

说明书

本发明公开了一种文件数据源入库解析接入方法、装置、设备及存储介质，该方法包括获取待接入数据文件，构建设计器和执行器，以使设计器和执行器满足待接入数据文件的文件解析入库及文件保留不入库；一方面，利用设计器，根据待接入数据配置接入信息和处理信息；另一方面，利用执行器，根据所述配置接入信息和处理信息对待接入数据文件进行数据读取、数据处理和数据写入。本发明所提供的方法采用了设计器与执行器分离，数据获取与数据入库分离，再加上Kafka消息中间件的方式进行实现。旨在解决现有技术中存在的在面临的业务场景较多，数据来源的方式种类均未知，数据接入时可能存在数据量反复变化等情况时，数据接入效率低依旧不能很好解决的技术问题。

技术领域

本发明涉及数据库技术领域，尤其涉及一种文件数据源入库解析接入方法、装置、设备及存储介质。

背景技术

目前，把数据从源数据库中转移到目的数据库中进行存储或计算时，需要使用数据接入工具来进行转移。当使用多种源数据库时，就需要使用多种接入工具将多种源数据库中的数据接入至目标数据库。

传统技术中，目标数据库从不同的源数据库中接入数据时，其根据不同的数据库以及实时还是离线的情况，可以选择使用不同的接入工具来分别接入数据。例如：使用DataX和Sqoop等数据接入工具，可以离线接入Mysql、Oracle等数据库中的数据；使用Canal等数据接入工具可以接入实时增量数据等。

但是上述数据接入方法在接入数据时，数据接入面临的业务场景较多，数据来源的方式种类均未知，另外，数据接入时可能存在数据量反复变化的情况，且用户对每个接入工具的配置信息非常熟悉，其对用户专业知识要求较高，用户操作体验不佳。

专利公开号为CN109669977A的中国专利公开了一种跨数据库的数据接入方法、装置、计算机设备及存储介质，但该专利技术方案在面临的业务场景较多，数据来源的方式种类均未知，数据接入时可能存在数据量反复变化等情况时，依旧不能得到很好的解决。

因此，如何提高多数据来源和数据量反复变化的数据接入的用户操作体验，是一个亟需解决的技术问题。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种文件数据源入库解析接入方法、装置、设备及存储介质，旨在解决现有技术中存在的在面临的业务场景较多，数据来源的方式种类均未知，数据接入时可能存在数据量反复变化等情况时，数据接入效率低依旧不能很好解决的技术问题。

为实现上述目的，本发明提出文件数据源入库解析接入方法，包括以下步骤：

获取待接入数据文件，根据所述待接入数据文件构建所述待接入数据文件对应的设计器和执行器，以使所述设计器和执行器满足所述待接入数据文件的文件解析入库及文件保留不入库；

利用所述待接入数据文件对应的设计器，根据所述待接入数据配置接入信息和处理信息；

利用所述待接入数据文件对应的执行器，根据所述配置接入信息和处理信息对所述待接入数据文件进行数据读取、数据处理和数据写入。

可选的，获取待接入数据文件，根据所述待接入数据文件构建所述待接入数据文件对应的设计器和执行器，以使所述设计器和执行器满足所述待接入数据文件的文件解析入库及文件保留不入库步骤之前，还包括：

获取待接入数据文件并识别所述数据文件类型；

调用数据类型适配器，利用所述数据类型适配器将所述待接入数据文件转换为所需数据类型。

可选的，调用数据类型适配器，利用所述数据类型适配器将所述待接入数据文件转换为所需数据类型步骤，具体包括：

利用所述数据类型适配器，将所述待接入数据文件在包括Oracle、万里开源、DB2、Mysql、达梦、HBase、Hive或人大金仓中的任意两种类型之间进行转换。