[发明专利]一种基于weka接口的分布式机器学习方法

摘要

本发明公开了一种基于weka接口的分布式机器学习方法及其实现装置，属于互联网技术领域。所述方法包括数据预处理、特征提取和weka格式文件的本地训练，最后云计算平台进行线上海量数据分布式测试，生成最终检测结果。所述的实现装置包括解析模块、训练模块和测试模块。所述的解析模块包括数据预处理子模块和特征提取子模块。本发明采用机器学习分布式处理，缩短了整个机器学习过程的时间；扩展了weka的应用范围，实现了从单机模式到分布式模式的转变；本发明将机器学习过程和扩展到分布式模式的weka巧妙结合，达到良好的机器学习的效果。

主权项

1.一种基于weka接口的分布式机器学习方法，其特征在于：包括如下步骤，第一步，数据预处理：web日志文件被切分成n个小文件，提取出统一资源标识符，对统一资源标识符进行包括静态文件过滤、大写转小写，将连续的斜线”/”转换为一个斜线以及解码操作；所述的Web日志文件是在线上服务器中产生并直接存储到云计算平台，所述数据预处理基于mapreduce框架并行处理，对于每一个小文件Mappers阶段会启动一个Map()函数来处理；第二步，特征提取；对步骤一中预处理后的uri采取分割取字段、根据uri的组成类型、是否含特殊字符、长度、关键字出现个数和一定规则的权值计算得出所要提取的21个特征，以向量的形式输出特征向量；并对特征向量采用log函数进行量化和合并处理，生成结果文件；结果文件的文件格式是weka所要求的arff格式；第三步，weka格式文件的本地训练；本地训练时调用weka接口，运用weka接口里面已封装好的随机森林算法，生成模型文件RandomForest.model，上传到云计算平台；第四步，云计算平台进行线上海量数据分布式测试，将Web日志文件与模型文件进行匹配，生成最终检测结果；所述的云计算平台是基于hadoop、spark或storm大数据处理的框架组成的集群系统。