[发明专利]一种确定大数据流中的特殊数据项的方法及装置

摘要

本发明提供确定大数据流中的特殊数据项的方法及装置，涉及计算机领域，能够比较准确确定大数据流中的特殊数据项。包括在采样周期内获取采样的n个数据项，用先获取的k个均不相同的数据项形成队列；若k个均不相同的数据项后获取的第m个数据项与队列的一数据项相同，则对该数据项计数后移至队列的队首；若第m个数据项与队列的数据项均不同，则将队列队尾的数据项换为第m个数据项，并对该数据项计数后移至队列的队首；每经过预设时间根据k个计数器的值、前次估算的k个数据项的出现频率和计算公式，估算k个数据项的出现频率；数据流采样周期后，根据最终估算的k个数据项的出现频率，确定出现频率满足预设阈值的数据项为特殊数据项。

主权项

1.一种确定大数据流中的特殊数据项的方法，其特征在于，包括：在数据流采样周期内，依次获取采样数据流中的n个数据项，并采用所述n个数据项中最先获取到的k个均不相同的数据项形成数据项队列，所述k个均不相同的数据项一一对应k个均不相同的计数器，所述k个均不相同的计数器中的每个计数器用于统计形成所述数据项队列之前与该计数器对应的数据项的出现次数，n为正整数，k为正整数，k≤n；若所述n个数据项中在所述k个均不相同的数据项之后获取的数据项中的第m个数据项与前一次更新后的数据项队列中的第一数据项相同，则将与所述第一数据项对应的第一计数器加i，并将所述第一数据项和所述第一计数器移动至所述前一次更新后的数据项队列的队首，所述第一数据项为所述前一次更新后的数据项队列中的任意一个数据项，其中，当m＝k+1时，所述前一次更新后的数据项队列为形成后的数据项队列，m的值依次从k+1取到n，m为整数，i为正整数；若所述第m个数据项与所述前一次更新后的数据项队列中的各个数据项均不相同，则将所述前一次更新后的数据项队列中的第二数据项替换为所述第m个数据项，并将与所述第m个数据项对应的第二计数器设置为i，以及将所述第m个数据项和所述第二计数器移动至所述前一次更新后的数据项队列的队首，所述第二数据项为位于所述前一次更新后的数据项队列的队尾的数据项，其中，当m＝k+1时，所述前一次更新后的数据项队列为形成后的数据项队列，m的值依次从k+1取到n，m为整数，i为正整数；每经过预设时间后，根据所述k个均不相同的计数器的值、前一次估算的所述k个均不相同的数据项的出现频率和预设的计算公式，估算所述k个均不相同的数据项的出现频率，所述预设时间小于或等于所述数据流采样周期，其中，第一次估算所述k个均不相同的数据项的出现频率时采用的所述前一次估算的所述k个均不相同的数据项的出现频率为0；在所述数据流采样周期后，根据最后一次估算的所述k个均不相同的数据项的出现频率，确定所述k个均不相同的数据项中出现频率满足预设阈值的至少一个数据项为特殊数据项。