[发明专利]一种基于配置的大数据监控方法及装置

摘要

本发明涉及一种基于配置的大数据监控方法及装置。该方法包括：获取离散的非结构化的原生态的原始数据；对原始数据进行预处理；确定预处理后数据中的结构项；根据配置文件对结构项进行结构拼接，形成统一数据结构的最终数据；发布最终数据。本发明对原始数据进行预处理，确定预处理后数据中的结构项，根据配置文件对结构项进行结构拼接，形成统一数据结构的最终数据，发布最终数据，实现将不同应用场景，不同数据类型的源数据转化为同一数据结构的数据进行发布的功能，对于发布数据的使用者，不需要对数据进行任何处理，实现数据的全面覆盖。

主权项

1.一种基于配置的大数据监控方法，其特征在于，所述方法包括：101，获取离散的非结构化的原生态的原始数据；102，对所述原始数据进行预处理；103，确定预处理后数据中的结构项；104，根据配置文件对所述结构项进行结构拼接，形成统一数据结构的最终数据；105，发布所述最终数据；步骤103具体包括：103‑1，确定预处理后数据的数据项总数量L；103‑2，根据如下公式确定预处理后数据中的各数据项的结构概率P；其中，W_n为第n个数据项的权重值，i为第i个数据项，f_n为预处理后数据中第n个数据项的有效数据量，L为预处理后数据的数据项总数量；103‑3，将结构概率大于预设阈值的数据项确定为结构项。