[发明专利]基于自适应掩膜和分组线性变换的轻量级语音识别方法

权利要求书

1.基于自适应掩膜和分组线性变换的轻量级语音识别方法，其特征在于：该方法包括以下步骤：

S1：基于自适应掩膜注意力机制的编码；

S2：基于分组线性变换；

所述S1具体为：

对于长度为T，维度为d为的语音特征序列X＝[x₁,x₂,…,x_t,…,x_T]^T，其中定义α为缩放点积多头自注意力机制，用于捕获特征序列之间的全局依赖关系；定义β为局部注意力机制，用于获取特征序列的局部关联性；通过自适应掩膜，对β各个表示子空间中的注意力权值作用范围进行动态地学习适配：

其中，W_θ∈[0,W]为可学习的网络参数，其能够控制允许信息反向传播的注意力作用范围；自适应掩膜参数m(t,i)∈[0,1]用于计算最终的注意力权值B_t,j；score_t,j为原始注意力得分；abs(·)表示取绝对值，R是用于缓冲的超参数；将B_t,j作用于各表示子空间中自X映射的值向量即得到约束后的表示子空间输出序列

随后，将各表示子空间的输出序列按维度拼接，得到自适应掩膜注意力机制的输出序列；自适应掩膜注意力机制将根据自注意力机制的输出结果，对语音序列进行局部特征提取；并通过耦合叠加的方式，融合全局和局部两种不同层次的信息；最后将提取的特征通过含有两层全连接网络的前馈网络以丰富网络的表达能力；

所述S2具体为：

构建分组切分操作，将输入和输出分成g^l组，l为解码网络的层数；然后使用混合器将分组的输入和输出混合，形成扩张和收缩两个阶段的“缩放单元”；

在扩张阶段，分组组数随着网络深度的加深而变多，神经元数量也会变多，反之亦然；

在收缩阶段，“缩放单元”中配置5个配置参数：深度N、宽度因子m_w、输入维度d_m、输出维度d_o、最大组数g_max；在扩张阶段，该单元将维度为d_m的输入序列映射到更高维度，限制最高维度d_max＝m_wd_m，同时各层层数将会线性地增加到层；在收缩阶段，将维度为d_max的向量线性地降低到d_o维度，收缩阶段将使用剩余的层：

其中，Y^l为一个“缩放单元”中某一层l的输出，π为分组线性变换，π的输入为输入特征序列X或者中间层输出结果γ(X,Y^l-1)；

过程1：函数γ首先将对Y^l-1进行切分，然后使用混合器将切分结果与输入特征序列X的切分结果进行合并，过程1为一个分组线性变换；各层组数的划分依据为：

为进一步实现网络的轻量化，除考虑构筑块内的特征序列维度的扩张和收缩外，还考虑构筑块之间的堆叠所造成的影响；在各个构筑块间引入不同的深度和宽度因子约束：

其中，N^b和为第b块“缩放单元”的深度和宽度因子，B表示总块数，N_min与N_max为超参数，为设定的最小深度和最大深度；每个块中，在“缩放单元”之后级联自注意力机制、互注意力机制和前馈网络，形成解码网络。