[发明专利]一种基于深度CG-LSTM神经网络的软件可靠性预测方法

摘要

本发明公开了一种基于深度CG‑LSTM神经网络的软件可靠性预测模型，属于计算机软件技术领域。本发明包括模型训练和模型预测两部分，模型训练部分：对软件失效数据集进行数据归一化处理；利用归一化处理后的软件失效数据集训练基于深度CG‑LSTM神经网络的软件可靠性预测模型，获得预测模型。模型预测部分：获取当前软件失效数据并采进行数据归一化处理，然后输入获得的预测模型进行未来的软件失效预测，得到预测结果。本发明克服基于传统神经网络的软件可靠性预测模型的梯度消失问题、泛化能力差问题，模型预测精度更高、适用性更广。

主权项

一种基于深度CG‑LSTM神经网路的软件可靠性预测模型，包括模型训练和模型预测两部分，其特征在于，所述模型训练部分包括以下步骤：步骤一 对软件失效数据集进行数据归一化处理，所述的软件失效数据集来源于软件数据采集系统，数据集中包括软件失效时间Xi，软件失效时间经过数据归一化处理为Mi；提取软件失效数据集中的软件失效时间最大值Xmax；提取软件失效数据集中的软件失效时间最小值Xmin；使用min‑max标准化方法对软件失效数据集数据进行归一化的处理，具体公式如(1)所示：Mi=Xi-XminXmax-Xmin---(1)]]>步骤二利用归一化处理后的软件失效数据集训练基于深度CG‑LSTM神经网络的软件可靠性预测模型，获得预测模型；CG‑LSTM神经网络输入数据为归一化处理后的t时刻的软件失效时间Xt,输出数据为预测的t+1时刻的软件失效时间CG‑LSTM神经网络由输入层、输出层、隐含层组成；隐含层由CG‑LSTM单元构成，CG‑LSTM单元是在多层全连接的标准LSTM单元基础上改进而来；标准LSTM单元包括输入门(inputgate)、记忆门(forgetgate)、输出门(outputgate)和cell单元；设输入序列为(x1,x2,…,xt)，则在t时刻input门、forget门、output门、cell单元、标准LSTM单元输出计算公式如下所示：it＝sigmoid(Wi*[ct‑1,ht‑1,xt]+bi)  (2)ft＝sigmoid(Wf*[ct‑1,ht‑1,xt]+bf)  (3)ot＝sigmoid(Wo*[ct,ht‑1,xt]+bo)  (4)ct＝ft*ct‑1+it*tanh(Wc*[ht‑1,xt])  (5)ht＝ot*tanh(ct)  (6)其中it表示t时刻input门的输出；Wi表示输入和input门之间的权重；ct‑1表示t‑1时刻cell单元输出；ht‑1表示t‑1时刻标准LSTM单元输出；xt表示经过归一化处理后的软件失效时间；bi表示input门偏置；ft表示t时刻forget门输出；Wf表示输入和forget门之间的权重；bf表示forget门偏置；ot表示t时刻output门输出；Wo表示输入和output门的权重；ct表示t时刻cell单元输出；bo表示output门偏置；Wc表示输和cell单元之间的权重；ht表示t时刻标准LSTM单元输出；sigmoid与tanh为两种神经网络常用的神经元激活函数；考虑到各个时段之间的时序关联，t时段的同一时刻邻近的两层LSTM单元之间添加一个控制门(Control Gate)，通过控制同一时刻低层LSTM的记忆单元向邻近高层记忆单元的信息流传输实现；t时刻第L+1层隐含单元与第L层隐含单元之间连接的控制门计算公式如下：dt(L+1)=σ(bd(L+1)+Wxd(L+1)*xt(L+1)+ωld(L+1)*ct(L))---(7)]]>其中，上标L+1表示第L+1层的操作，表示控制门的输出，是控制门的偏置，是将控制门与其输入层相关联的权重矩阵，权重向量将该层的当前记忆单元与前记忆单元连接，权重向量连接上一层的记忆单元；控制门也可以用于连接第一层隐含层状态与输入值在这种情况下，当L＝0时，对于控制门的计算如下所示：t时刻第L+1层记忆单元的输出计算公式如下所示：ct(L+1)=dt(L+1)*ct(L)+ftL+1*ct-1(L+1)+it(L+1)*tanh(Wc(L+1)[xt(L+1),ht-1(L+1)])---(9)]]>训练CG‑LSTM神经网络的目标是使得网络的实际输出Xt+1和预测输出相等，定义网络的损失函数J如公式(10)所示：其中，Num表示预测次数，通过梯度下降法最小化J可以得到网络中的权值和偏置，得到预测模型；所述模型预测部分包括以下步骤：步骤三：获取软件的最近一次的失效时间数据Tt，以及最近一次时间以前的失效时间数据Tt‑1,Tt‑2,…,Tt‑N；步骤四：利用步骤一中方法，对Tt,Tt‑1,Tt‑2,…,Tt‑N进行数据的归一化处理；步骤五，将经过归一化处理过的Tt,Tt‑1,Tt‑2,…,Tt‑N数据输入到步骤二所获得的预测模型，得到预测结果进行反归一化后，得到下一次的软件失效时间反归一化如公式(11)所示:其中Tmin表示软件失效数据中失效时间的最小值，Tmax表示软件失效数据中是失效时间最大值。