[发明专利]基于Hadoop平台的物联网任务订制方法及系统

摘要

本发明公开了一种基于Hadoop平台的物联网任务订制方法及系统。该方法包括：数据采集模块采集预设日志格式的物联网日志并发送给数据存储模块；数据存储模块采用Spark对物联网日志进行解析，以获取与Hive存储表的数据格式相匹配的第一转换日志数据并存储在Hive存储表中，第一转换日志数据包括独有字段内容；任务订制前端模块接收开发者输入的任务订制指令，将任务订制指令发送给所述任务管理模块；任务订制指令包括订制指标；任务管理模块接收任务订制指令，基于任务订制指令采用Spark‑sql从Hive存储表中获取与订制指标对应的第一转换日志数据，并对第一转换日志数据进行处理，以完成订制任务。该方法可显著降低磁盘的I/O强度，无需耗费大量的I/O，可显著提高运行效率。

主权项

一种基于Hadoop平台的物联网任务订制方法，其特征在于，包括：数据采集模块采集预设日志格式的物联网日志，并将所述物联网日志发送给数据存储模块；所述预设日志格式包括数据结构可变的独有属性名称和独有属性内容；数据存储模块接收所述物联网日志，采用Spark对所述物联网日志进行解析，以获取与Hive存储表的数据格式相匹配的第一转换日志数据，并将所述第一转换日志数据存储在Hive存储表中；所述第一转换日志数据包括与所述预设日志格式相匹配的独有字段名称和独有字段内容；任务订制前端模块接收开发者输入的任务订制指令，将所述任务订制指令发送给所述任务管理模块；所述任务订制指令包括订制指标；任务管理模块接收所述任务订制指令，基于所述任务订制指令采用Spark‑sql从所述Hive存储表中获取与所述订制指标对应的第一转换日志数据，并对所述第一转换日志数据进行任务处理，以完成订制任务。