[发明专利]稀疏数据过程建模方法

摘要

本发明涉及应用过程神经网络模型建立稀疏数据过程预测模型的方法。在对稀疏的样本数据进行预处理的基础上，应用基于离散Walsh变换的学习算法，提高过程神经网络的学习效率和建模精度。为使建立的过程预测模型能够及时修正预测偏差，根据稀疏数据过程的特点，采用了数据采样周期间网络滚动学习的方法，通过最新的采样数据及时对预测网络模型进行在线修正，从而进一步提高了预测模型的准确性。本发明为解决一类稀疏数据过程的建模问题提供了一条有效的途径。

主权项

1.一种稀疏数据过程的建模方法，包括数据预处理、过程神经网络建模和在线滚动学习三个步骤，其特征在于：所述的数据处理包括伪数据的修正和稀疏数据的填充；伪数据的修正是对采样数据中存在的伪数据进行平滑修正、处理，并对平滑后的数据进行归一化处理；稀疏数据的填充是对稀疏数据进行扩充，弥补已知时刻的未知数据，得到适当时间间隔的密集数据；所述的过程神经网络建模是应用过程神经元组成双隐层过程神经网络模型，应用预处理数据训练神经网络模型，得到符合精度要求的过程神经网络模型；过程神经元由加权，聚合和激励三部分组成；输入和权值是随时间变化的函数；网络由输入层、过程神经元隐层、非时变一般神经元隐层和输出层组成，采用基于离散Walsh变换的方法对网络进行学习训练；x1(t)，x2(t)，…，xn(t)为过程神经元输入函数；w1(t)，w2(t)，…，wn(t)为相应的权函数；K(t)为过程神经元的时间聚合基函数；f(·)为激励函数，可取线性函数、或Sigmoid函数、或Gauss型函数等；过程神经元的输入与输出之间的关系为：Y＝f((W(t)X(t))K(·)-θ) (1)这里θ为过程神经元输出阈值，y为过程神经元的输出值，表示某种空间聚合运算，表示某种时间(过程)聚合运算；这里取空间聚合运算为加权和，时间聚合运算为积分；以过程神经元为基础，构造一种四层结构的过程神经元网络模型，拓扑结构为n-m-K-1，网络输入层有n个节点，过程神经元隐层有m个节点，非时变一般神经元隐层有K个节点，输出层有1个节点；过程神经元隐层完成对输入信息过程模式特征的提取和对时间的聚合运算，非时变一般神经元隐层用于提高网络对系统输入输出之间复杂关系的影射能力；过程神经网络输入输出之间的关系为：y=Σk=1Kμkg(Σj=1mvjkf(∫0TΣi=1nwij(t)xi(t))dt-θj(1))-θk(2))---(2) 模型的输入为X(t)＝(x1(t)，x2(t)，…，xn(t))，模型输出为y，[0，T]为时间采样区间，wij(t)为输入层与第1隐层的连接权函数，vjk为第1隐层与第2隐层的连接权值，μk为第2隐层到输出层的连接权值，θj (1)为第1隐层第j个过程神经元的输出阈值，θk (2)为第2隐层第k个过程神经元的输出阈值，f为第1隐层的激励函数，g为第2隐层的激励函数；取各层的激励函数均为Sigmoid函数，即f(u)=g(u)=11+e-u---(3) 将随时间变化的离散采样数据进行Walsh变换，使之直接作为神经网络的输入，减少中间的拟合过程，消除拟合误差，则变换过程为：给定Q个序列长度为2p的学习样本，若离散序列长度不为2p，可通过平滑插值得到：(xq1(tl)，xq2(tl)，…，xqn(tl)，dq)，其中 q＝1，2，…，Q，l＝0，1，…，N-1，N＝2p，p是满足插值精度要求的自然数，di为期望输出；对学习样本实施Walsh变换，得(wal(xq1(tl))，wal(xq2(tl))，…，wal(xqn(tl))，dq)；离散数据经过Walsh变换作为网络的输入，于是网络的输入输出关系为yq=Σk=1Kμkg(Σj=1mvjkf(Σi=1nΣl=1N-1wal(wij(tl))wal(xqi(tl))-θj(1))-θk(2))---(4) 其中 wal(wij(tl))=Σl=0N-1wij(l)wal(l,sN), s＝1，2，…，N网络的误差函数为E=Σq=1Q(Σk=1Kμkg(Σj=1mvjkf(Σi=1nΣl=1N-1wal(wij(tl))wal(xqi(tl))-θj(1))-θk(2))-dq)2---(5) 上述过程神经网络模型应用误差反向传播的BP算法进行离线训练，得到预期的网络逼近精度。学习算法如下式：μk=μk+α(-∂E/∂μk)vjk=vjk+β(-∂E/∂vjk)wij(l)=wij(l)+γ(-∂E/∂wij(l))θj=θj+η(-∂E/∂θj)θk=θk+λ(-∂E/∂θk)---(6) 其中α，β，γ，η，λ为网络学习速率；所述的在线滚动学习是在采样时刻间隙，当检测到预测值不正确时，则对已有的实际数据进行处理，采用处理后的数据重新训练网络，使网络在训练过程中学到新的信息；在第k个采样时刻，将预测值与采样值相比较，若误差超过精度要求，则对已采集数据进行处理后在线进行网络学习，否则保持网络模型的输出；在k+1时刻，重复上述检测与学习过程。