[发明专利]一种网络流数据的归并方法

摘要

本发明公开了一种网络流数据的归并方法。本方法为1）设置归并业务,并为每一归并业务设置相应的归并指标及归并项，设置N级时间粒度；2）利用归并器对每一业务的网络流数据按时间粒度分别进行归并处理；其中对实时网络流数据，按归并业务分别进行最小归并时间粒度的归并处理，若达到完成时间则进行下一最小时间粒度的数据归并，并将当前归并结果文件存入指定位置；对于第n级时间粒度归并后的归并结果文件，检查当前时刻是否需要对各归并业务进行第n+1级时间粒度的数据归并处理，如果需要，则读取归并业务的第n级时间粒度归并结果文件进行数据归并处理，并将归并结果文件缓存到内存或外存中。本发明灵活性强，提高了归并效率与准确性。

主权项

一种网络流数据的归并方法，其步骤为：1)设置归并业务,并为每一归并业务设置相应的归并指标以及归并项，设置从小到大N级时间粒度；N为大于1的整数；2)利用归并器对每一归并业务的网络流数据按时间粒度分别进行归并处理；其中：对实时网络流数据，按归并业务分别进行最小归并时间粒度的归并处理，并不断检查当前阶段的最小时间粒度归并处理是否达到完成时间；若达到完成时间则进行下一最小时间粒度的实时网络流数据归并，并将各个归并业务的当前归并结果文件存入指定位置；对于已进行第n级时间粒度归并后的归并结果文件，检查当前时刻是否需要对各个归并业务进行第n+1级时间粒度的数据归并处理，如果需要，则读取归并业务的第n级时间粒度归并结果文件进行第n+1级时间粒度的数据归并处理，并将归并结果文件缓存到内存或外存中，1≤n﹤N；其中，每一归并业务设有N级归并器，第n级归并器进行第n级时间粒度归并处理；对于需要暂存在内存中的归并结果文件，将其内存数据地址加入到相关文件链表A中，并给链表项增加一个时间戳字段；对于需要暂存在外存中的归并结果文件，将其输出到指定的外存文件中，并为归并结果文件的文件名增加一个时间戳后缀；每次归并生成第n级时间粒度的归并结果文件后，第n级归并器将进行第n+1级时间粒度的归并结果文件时间戳标记写入到一消息通知文件中供第n+1级归并器查询；第n+1级归并器将消息通知文件中的时间戳与当前时刻进行比较，确定是否需要对各个归并业务进行第n+1级时间粒度的数据归并处理。