[发明专利]一种批量流式计算系统参数动态配置方法

摘要

本发明公开了一种批量流式计算系统参数动态配置方法，包括：样本收集、模型构建、最优方案生成、在线匹配和参数优化；其中，样本收集、模型构建和最优方案生成在后台阶段完成；在线匹配和参数优化于在线阶段完成。本方法根据每种参数与数据处理响应延迟的皮尔森相关显著性大小，选取对应用性能影响较大的核心参数集；在参数约简的前提下，选取支持向量回归方法构建应用性能模型，该模型可量化评估给定数据到达速率和相关参数配置下，数据处理的响应延迟性能；在性能建模的基础上，选取启发式遗传算法，在较大的解空间中快速搜索优化配置方案。

主权项

1.一种批量流式计算系统参数动态配置方法，其特征在于：分为六个步骤：核心参数选取、样本收集、模型构建、最优方案生成、在线匹配和参数优化；其中，核心参数选取在应用运行之前模拟测试；样本收集、模型构建和最优方案生成步骤在后台阶段完成；在线匹配和参数优化步骤于在线阶段完成；做如下假设：1)外部数据源的数据到达符合泊松分布；2)网络带宽足够，设收集样本的批次数的阈值Nb_max、预测函数拟合次数阈值Ct_max、种群中个体数阈值Np_max、进化次数阈值Cp_max、样本收集周期t；具体为：(1)核心参数选取选取对批量流式计算系统性能影响较大的参数集合；1.1)令核心参数集合为PC，初始化在批量流式计算系统的所有参数中筛选得到备选参数集合PA，PA＝{pa_i|1≤i≤n}；1.2)选取低、中、高三种数据到达速率，分别表示为λ_l、λ_m、λ_h。对于每一个pa_i∈PA，执行步骤1.2.1)～1.2.4)；1.2.1)在pa_i取值范围内随机选取k个值，表示为V＝{v_j|1≤j≤k}。其余参数在缺省的情况下，分别在数据到达速率为λ_l、λ_m、λ_h下，依次选取V中的数值v_j进行k次流式应用模拟实验，获取相应的数据处理响应延迟集合LL＝{ll_j|1≤j≤k}、LM＝{lm_j|1≤j≤k}、LH＝{lh_j|1≤j≤k}；1.2.2)利用公式(1)～(3)，分别计算λ_l、λ_m、λ_h三种数据到达速率下，pa_i与批量流式计算系统性能的皮尔森相关系数r_l、r_m、r_h；1.2.3)利用公式(4)计算pa_i的平均皮尔森相关系数1.2.4)若且显著性检验的p值小于0.05，则设置PC←PC∪{pa_i}；(2)样本收集2.1)依据步骤(1)选取的核心参数集合PC＝{pc_i|1≤i≤N}，令样本表S表示为S＝{s_m|s_m＝(λ_m，v_1m，v_2m，...，v_Nm，tc_m)，tc_m＝l_m‑tb_m，1≤m≤D}，其中，m为样本数据编号，D为样本数据总数，λ_m为第m个样本的数据到达速率，v_1m，v_2m，...，v_Nm为第m个样本对应核心参数pc₁，pc₂，...pc_N的值，tc_m为第m个样本的数据计算时间，是由数据处理响应延迟l_m减去批次划分间隔tb_m得到的；2.2)令Nb为批量流式计算系统当前收集样本的批次数，设置Nb＝0；2.3)从批量流式计算系统既有组件采集流式应用当前批次的数据到达速率、核心参数pc₁，pc₂，...pc_N的值、数据处理响应延迟和批次划分间隔，分别表示为λ′、v₁′v₂′...，v_N′、l′、tb′；2.4)遍历样本表S，若满足λ_m＝λ′，v_1m，v_2m，...，v_Nm＝v₁′，v₂′，...，v_N′，则利用公式(5)求取两个样本数据计算时间的均值并设置否则，设置S←S∪{(λ′，v₁′，v₂′，...，v_N′，l′‑tb′)}；2.5)Nb←Nb+1，若Nb＝Nb_max，则执行步骤(3)；否则，执行步骤2.3)；其中，Nb_max为批量流式计算系统收集样本的批次数的阈值；(3)模型构建3.1)定义训练样本集T，初始化定义测试样本集F，初始化对每一个s_m∈S中的λ_m、v_1m，v_2m，...，v_Nm作Z‑score标准化处理，处理后得到的数值构成新的元组(λz_m，vz_1m，vz_2m，...，vz_Nm)。对于每一个元组(λz_m，vz_1m，vz_2m，...，vz_Nm)，在(0，10]内随机生成正整数r，若r≤8，设置T←T∪{(λz_m，vz_1m，vz_2m，...，vz_Nm)，tc_m}；否则，设置F←F∪{(λ_m，v_1m，v_2m，...，v_Nm)，tc_m}；3.2)构建的性能模型表示为f：(λ，pc₁，pc₂，...pc_N)→tc。对T中样本(x₁，y₁)，(x₂，y₂)，...，(x_|T|，y_|T|)，x_i＝(λz_i，vz_1i，vz_2i，...，vz_Ni)(1≤i≤|T|)，y_i＝tc_i(1≤i≤|T|)，设回归函数为式(6)。其中，w和b是待确定的参数，φ(x)表示一个非线性变换。令Ct为性能模型当前训练次数，设置Ct←0；f(x)＝w^Tφ(x)+b                  (6)3.3)利用支持向量回归方法解决上述回归预测问题，等价于求解式(7)。其中，C为大于0的常数，ξ_i、ξ_i^*为松弛变量。利用拉格朗日函数和对偶原理，可以得到式(8)的对偶问题。其中，Q_i，j＝φ^T(x_i)φ(x_j)，I＝[1，...，1]^T，α、α^*为拉格朗日乘子。求解此二次型规划可求得α的值，同时求得利用KKT(Karush‑Kuhn‑Tucker)条件计算出常值偏差b，即根据上述推导可得回归函数f(x)的表达式为式(11)。其中，K(x，x_i)＝φ^T(x)φ(x_i)为一个核函数。利用式(12)径向基函数核函数实现；K(x_i，x_j)＝exp(‑γ||x_i‑x_j||²)，γ＞0                      (12)3.4)对F中样本，(x₁，y₁)，(x₂，y₂)，...，(x_|F|，y_|F|)，x_l＝(λ_l，v_1l，v_2l，...，v_Nl)(1≤l≤|F|)，y_l＝tc_l(1≤l≤|F|)，利用公式(13)计算平均误差3.5)若则模型构建成功，执行步骤4.1)；否则，执行步骤3.7)；3.6)Ct←Ct+1，若Ct＞Ct_max，则构建失败，执行步骤(7)；否则，执行步骤3.7)；其中，Ct_max为预测函数拟合次数阈值；3.7)调整核函数参数γ，设置f(x)中γ←0.9γ，执行步骤3.4)；(4)最优方案生成4.1)令性能预测表为R，初始化令最优参数配置方案表为B，初始化4.2)令流式应用的数据到达速率最小值为λ_l，最大值为λ_h，选取速率步长为step_λ，则选取的离散化数据到达速率集合如式(14)；4.3)对核心参数集合PC＝{pc_i|1≤i≤N}中每一个pc_i，令参数取值范围为[dl_i，dh_i]，选取步长step_i，则选取的核心参数pc_i的离散化取值集合如式(15)；4.4)对于每一个λ_i∈Λ，遍历所有的核心参数取值的组合形如d₁，d₂，...，d_N(d_i∈D_i)，利用步骤(3)构建的性能模型求取在该核心参数设置下的数据处理时间设置4.5)给定数据到达速率，生成最优参数配置方案的目标函数可被定义如公式(16)；其中约束条件定义为处理响应延迟限制，tb为批次划分间隔，；min(tb+tc)s.t.tc≤tb≤1.2tc                               (16)4.6)利用遗传算法解决上述问题，对于每一个选取的数据到达速率离散值λ_i∈Λ；(5)在线匹配5.1)定义参数配置方案为C，初始化5.2)当批量流式计算应用的一个批次结束后，从既有组件采集数据到达速率λ_c；5.3)令λ_c除以step_λ向下取整的值为v，令u＝λ_c％step_λ，其中step_λ为数据到达速率选取步长。利用公式(19)，将λ_c映射到离散值λ_d；5.4)若满足λ_i＝λ_d，C←(b_1i，b_2i，...，b_Ni)；否则，执行步骤(7)。