[发明专利]一种数据感知的Spark配置参数自动优化方法

摘要

本发明属于电子信息、大数据、云计算等技术领域，特别涉及本一种数据感知的Spark配置参数自动优化方法，通过事先确定Spark应用程序以及影响Spark性能的参数，随机配置参数得到训练集，将训练集通过随机森林算法构建性能模型，通过遗传算法搜索出最优配置参数。本发明不要求用户理解Spark运行机制、参数意义作用和取值范围，以及应用程序特点和输入集的情况下，能为用户找到运行在特定集群环境下特定应用程序的最优配置参数，较之以前的参数配置方法更简单快捷本发明使用的随机森林算法结合了机器学习和统计推理的长处，能够使用较少训练集，达到较高精度。

主权项

一种数据感知的Spark配置参数自动优化方法，其特征在于，包括如下步骤：收集数据；所述收集数据具体包括：选定Spark应用程序，进一步确定上述应用程序中影响Spark性能的参数，确定上述参数的取值范围；在取值范围内随机生成参数，并生成配置文件配置Spark，配置后运行应用程序并收集数据；所述数据包括但不限于：Spark运行时间、输入数据集、配置参数值；构建性能模型；将收集的Spark运行时间、输入数据集、配置参数值数据构成横向量，多个向量构成训练集，通过随机森林算法对上述训练集进行建模；搜索最优配置参数；使用构建好的性能模型，通过遗传算法搜索最优配置参数。