[发明专利]移动智能设备流式大数据实时处理方法

摘要

本发明提供一种针对移动智能设备的流式大数据的实时处理方法，包括：来自移动客户端的流式数据传送至服务端后，服务端通过并发内容匹配、条件过滤和转换传送方式降低数据量，最后将处理后得到的数据用于后续应用。本发明所述的方法可以使初始获得的海量数据量大幅度地减少，从而大幅度地提升计算的速度和效率，最终使得在特定场景下有效、有意义的数据能够被后端应用或服务实时处理。本发明还提供了能完成所述的数据处理方法的系统。

主权项

一种来自移动智能设备的流式大数据的实时处理方法，具体包括以下步骤：1)消息接收处理从移动智能设备收集到的包括地理位置信息的海量数据，通过发布、订阅消息中间件传送至服务端；2)并发内容匹配在所述的服务端，以大数据并发计算平台作为实时计算引擎，将步骤1)传送来的实时数据流分成1/2～1秒一个批次；3)条件过滤3.1)根据场景需要，定义基于地理信息的目标范围规则，保留目标范围内的数据，过滤掉目标范围外的无意义数据；3.2)将步骤3.1)保留的数据分类，并将相同场景中相关度权重排在前50％的类别信息相融合，进一步降低待处理的数据量；4、采样转换对经过步骤3)处理后的数据进行传送方式的转换，所述的传送方式的转换包括以下三种方式中的任意一种或两种以上的组合：4.1)降低数据传送频率；4.2)仅传送发生变化的数据；或者4.3)根据预设规则划分数据子群并仅传送处理成本相对低的子群数据。5、将步骤4)处理后的数据集提交给后续的应用。