[发明专利]一种基于尺度变换激活函数的超限学习机的改进方法

摘要

本发明公开了一种基于尺度变换激活函数的超限学习机的改进方法。本发明包含以下步骤1、随机产生隐藏层节点参数(wi,bi),i＝1,2,…,L；2、用训练数据集的所有训练样本构建隐藏层数据矩阵V；3、将V中的(N×L)个元素按升序排列成(N×L)维隐藏层数据向量vasc；4、给出原激活函数g(·)及其期望输出的区间5、由构建输出向量6、设计需要求解的激活函数尺度变换参数为s和t，计算出最小时对应的s和t；7、以新的尺度变换激活函数g(s·V+t)求其隐藏层的输出矩阵H，输出权重β，得到训练模型完成训练。本发明能够自适应的调整隐藏层中激活函数的参数，使得隐藏层输出能够均匀的分布在期望的输出区间内，此时，隐藏层输出数据的信息熵达到最大，从而提高超限学习机的泛化性能。

主权项

一种基于尺度变换激活函数的超限学习机的改进方法，其特征在于包括如下步骤：步骤1、随机产生隐藏层节点参数(W,b)，其中，wi是连接第i个隐藏层节点和输入神经元的输入权重，bi是第i个隐藏层节点的偏差，L是隐藏层节点个数；步骤2、给定一个训练的数据集{(xi,ti)|xi∈Rd,ti∈Rm,i＝1,2,...,N}，其中，xi是训练数据向量；ti是每一个样本的目标；d是每一个输入样本的特征向量维数；m是输出向量的维数；经过隐藏层节点参数(W,b)，变换所得隐藏层数据矩阵V：步骤3、将隐藏层数据矩阵V中的N×L个元素按照从小到大的顺序排列成N×L维向量vasc，即：vasc＝[v1,…,vk,…,vN×L]T   公式3步骤4、给定一个激活函数g(·)，并确定隐藏层的期望输出区间为且步骤5、将区间平均分成N×L‑1个子区间，以所有子区间的端点构建期望输出向量步骤6、计算尺度变换参数s和t，用来调整向量vasc，使得调整后的向量经过激活函数g(·)映射后的数据在隐藏层的期望的输出区间上服从均匀分布，即向量vasc经过g(s·vasc+t)映射后，隐藏层输出均匀地分布在区间上；通过计算最小时对应的尺度变换参数s和t，求得s和t所对应的尺度变换激活函数g(v,s,t)，从而保证g(vasc,s,t)中的元素在上服从均匀分布；步骤7、以尺度变换激活函数g(v,s,t)求其隐藏层的输出矩阵H，并求得输出权重其中T为训练样本的目标矩阵；步骤8、对于未知的测试样本xp，可得到h＝g(W·xp+b,s,t)，进而求得输出其中s和t为步骤6求出的尺度变换参数，W,b为训练过程中已经确定的随机隐藏层节点参数，h为隐藏层的输出，Op为网络的输出。