[发明专利]一种基于分布式计算的互联网信息投放渠道优化系统

摘要

本发明提供了一种基于分布式计算的互联网信息投放渠道优化系统，其中数据收集模块收集用户行为；数据预处理模块进行数据清理、集成、归约，将收集到的用户行为信息简单化，规范化；训练模块针对训练集中的数据，用类E‑M算法进行迭代运算，得到概率累加模型中的参数；再将测试集中的数据带入概率累加模型，从而完成对各个投放渠道的贡献预测以及对于用户是否转化的预测；对贡献度高的网站或推荐类型进行信息投放，并投放给那些最有可能发生转化的用户。同时，本发明使用Hadoop平台进行分布式计算，将消耗大量资源的复杂计算通过分布到多节点上进行计算，从而实现了多节点并行处理。

主权项

一种基于分布式计算的互联网信息投放渠道优化系统，该系统包括：数据收集模块，该模块通过web服务器收集用户行为数据：将收集到的用户行为分为两部分，一部分记录了某些用户的全部浏览行为，另一部分记录了同一信息不同渠道的访问特征；数据预处理模块，该模块是对web服务器收集的用户行为数据进行处理，首先进行数据清理，采取忽略元祖及去除冗余的方法；随后进行数据集成，对所收集到的数据的单位进行统一化处理；最后进行数据规约，将点击时间转化为模型参数，并最终形成包含用户ID、信息投放渠道、时间和点击这四个域的数据集；再将此数据集中的一部分提取出来，作为训练集；其余数据集中的数据作为测试集；训练模块，该模块用类E‑M算法对训练集进行迭代运算，迭代至概率累加模型中的用户影响强度因子α和影响随时间衰减的因子ω收敛，从而得到参数α，ω；信息投放渠道贡献度预测模块，该模块的输入为测试集，采用训练模块训练出来的不同渠道对用户影响强度因子α和影响随时间衰减的因子ω作为模型参数，构建投放渠道m贡献度，再根据每个投放渠道m的所属网站或类型进行加和，得出各网站和各类型的贡献度；最后根据各网站和各类型的贡献度，由高到低进行排序，选用排名靠前的网站或类型来进行信息投放，以此来优化互联网信息投放效果；转化率预测模块，该模块的输入为测试集，首先，建立生存函数Su(t)，然后利用1‑Su(t)给每一个用户进行评分，预测出最有可能转化的用户，并向这部分用户推送信息。