[发明专利]一种大数据挖掘系统

说明书

本发明涉及一种大数据挖掘系统，包括大数据存储模块、数据提取模块、数据有效性筛选模块和数据挖掘模块。在数据挖掘之前，通过与预设的数据有效性上限阈值和数据有效性下限阈值进行比较，对提取到的数据信息进行有效性筛选，只有满足有效性筛选条件才能够进行后续的数据挖掘，防止其他无效数据或者噪音数据的干扰，能够提升数据挖掘的可靠性；采用两种不同的挖掘算法分别对有效的数据信息行挖掘分析，分别得到第一初始数据挖掘结果和第二初始数据挖掘结果，通过对第一初始数据挖掘结果和第二初始数据挖掘结果进行加权求和，获得最终数据挖掘结果，能够提升数据挖掘结果的准确性和可靠性。

技术领域

本发明涉及一种大数据挖掘系统。

背景技术

大数据一般是指无法在一定时间范围内用传统的计算机技术进行处理的海量数据集。数据挖掘是指从大量的、有噪声的、随机的数据中提取潜在的、有效的、新颖的、有用的模式或信息，用于使用。近年来，随着网络技术的迅猛发展，海量数据不断增长，数据挖掘引起了信息产业界的极大关注。现有的数据挖掘方法的数据挖掘过程比较简单，导致可靠性较低。

发明内容

本发明的目的在于提供一种大数据挖掘系统，用于解决现有的数据挖掘方法的可靠性较低的问题。

为了解决上述问题，本发明采用以下技术方案：

一种大数据挖掘系统，包括：大数据存储模块、数据提取模块、数据有效性筛选模块和数据挖掘模块；

所述大数据存储模块用于存储数据信息；

所述数据提取模块用于根据用户需求从所述大数据存储模块中提取相关的数据信息，并将提取到的数据信息传输至所述数据有效性筛选模块；

所述数据有效性筛选模块用于对提取到的数据信息按照如下有效性筛选策略进行有效性筛选：预设有数据有效性上限阈值和数据有效性下限阈值，比对所述提取到的数据信息与所述有效性上限阈值和数据有效性下限阈值的大小关系，若所述提取到的数据信息大于或者等于所述数据有效性下限阈值，且小于或者等于所述有效性上限阈值，则判定所述提取到的数据信息有效；

所述数据有效性筛选模块将有效的数据信息传输给所述数据挖掘模块，所述数据挖掘模块用于采用两种不同的挖掘算法分别对有效的数据信息进行挖掘分析，分别得到第一初始数据挖掘结果和第二初始数据挖掘结果，所述第一初始数据挖掘结果和第二初始数据挖掘结果分别具有相应的权重值，根据所述权重值，对所述第一初始数据挖掘结果和第二初始数据挖掘结果进行加权求和，获得最终数据挖掘结果。

可选地，所述大数据挖掘系统还包括第一显示模块、第二显示模块和第三显示模块，所述第一显示模块用于显示所述第一初始数据挖掘结果，所述第二显示模块用于显示所述第二初始数据挖掘结果，所述第三显示模块用于显示所述最终数据挖掘结果。

可选地，所述两种不同的挖掘算法分别为决策树挖掘分类算法和K-Means聚类算法。

可选地，所述大数据存储模块包括内存数据库和磁盘数据库，数据信息先存储至所述内存数据库中，当所述内存数据库中的数据信息存储量大于预设存储量阈值时，比较所述内存数据库中的数据信息的存储时长与预设存储时长，若存储时长大于所述预设存储时长，则将所述内存数据库中的数据信息转移至所述磁盘数据库。

本发明的有益效果为：在数据挖掘之前，通过与预设的数据有效性上限阈值和数据有效性下限阈值进行比较，对提取到的数据信息进行有效性筛选，只有满足有效性筛选条件才能够进行后续的数据挖掘，防止其他无效数据或者噪音数据的干扰，能够提升数据挖掘的可靠性；采用两种不同的挖掘算法分别对有效的数据信息行挖掘分析，分别得到第一初始数据挖掘结果和第二初始数据挖掘结果，通过对第一初始数据挖掘结果和第二初始数据挖掘结果进行加权求和，获得最终数据挖掘结果，能够提升数据挖掘结果的准确性和可靠性。

附图说明