[发明专利]数据处理方法、装置及电子设备

说明书

本发明实施例提供一种数据处理方法、装置及电子设备。所述方法包括：接收代理接口发送的sql请求，根据所述sql请求确定待处理数据表和所述待处理数据表对应的数据属性信息；从预先建立的数据表加载记录库中查找是否存在所述待处理数据表的加载记录；若存在，确定所述数据属性信息是否存在于所述待处理数据表的加载记录中；若存在，根据所述sql请求对所述待处理数据表进行处理，并返回处理结果。所述方法采用多个分布式内存数据库来进行数据的处理，通过数据表加载记录库记录加载过的数据，使相同数据在内存数据库中无需二次加载，减少加载的数据量，提高数据处理的效率，提高了数据处理速率，同时减少了服务器负的负载压力。

技术领域

本发明涉及计算机通信领域，尤其涉及一种数据处理方法、装置及电子设备。

背景技术

随着电力行业的不断发展以及业务量的不断增加，产生了海量的数据需要企业相关人员进行计算和分析。然而，在实现本发明的过程中，发明人发现相关技术中至少存在如下问题，由于企业内部电力资产相关的数据量巨大且计算公式复杂，采用现有数据库进行数据处理时，需要经过访问数据库、抽取大量相关数据并生成报表等一系列步骤，而这些均依赖于硬盘进行数据的存取，硬盘、内存及CPU之间的数据传输导致数据处理速度大大减慢、整个过程耗费的时间较长，企业需求不能及时的得到响应，数据处理效率较低。

发明内容

本发明实施例提供的数据处理方法、装置及电子设备，用以至少解决现有技术中的上述问题。

本发明实施例的第一个方面提供一种数据处理方法，包括：

接收代理接口发送的sql请求，根据所述sql请求确定待处理数据表和所述待处理数据表对应的数据属性信息，其中，所述代理接口中存储有各数据表与内存数据库的对应关系；从预先建立的数据表加载记录库中查找是否存在所述待处理数据表的加载记录；若存在所述待处理数据表的加载记录，确定所述数据属性信息是否存在于所述待处理数据表的加载记录中；若所述数据属性信息存在于所述待处理数据表的加载记录中，根据所述sql请求对所述待处理数据表进行处理，并返回处理结果。

可选地，所述方法还包括：若不存在所述待处理数据表的加载记录，根据所述数据属性信息，确定所述待处理数据表中的待加载数据；从磁盘数据库中加载所述待处理数据表中的待加载数据；在所述数据表记载记录库中记录所述待处理数据表的属性信息和所述待处理数据表对应的数据属性信息。

可选地，所述方法还包括：若至少一个所述数据属性信息不存在于所述待处理数据表的加载记录中，根据不存在于所述待处理数据表的加载记录中的至少一个所述数据属性信息，确定所述待加载数据；从磁盘数据库中加载所述待处理数据表中的待加载数据；在所述数据表记载记录库中更新所述待处理数据表的属性信息和所述待处理数据表对应的数据属性信息。

可选地，所述方法还包括：在所述数据表记载记录库中更新所述待处理数据表的属性信息。

可选地，所述方法还包括：确定所述内存数据库中存储的数据表和所述数据表中存储的数据；监测在磁盘数据库所述数据表中的所述数据是否发生更新；若所述数据表中的所述数据发生更新，将所述更新同步到所述内存数据库中存储的所述数据表中。

本发明实施例的第二个方面提供一种数据处理装置，包括：

接收模块，用于接收代理接口发送的sql请求，根据所述sql请求确定待处理数据表和所述待处理数据表对应的数据属性信息，其中，所述代理接口中存储有各数据表与内存数据库的对应关系；查找模块，用于从预先建立的数据表加载记录库中查找是否存在所述待处理数据表的加载记录；第一确定模块，用于若存在所述待处理数据表的加载记录，确定所述数据属性信息是否存在于所述待处理数据表的加载记录中；处理模块，用于若所述数据属性信息存在于所述待处理数据表的加载记录中，根据所述sql请求对所述待处理数据表进行处理，并返回处理结果。