[发明专利]一种基于Transformer模型的机器翻译模型优化方法

权利要求书

1.一种基于Transformer模型的机器翻译模型优化方法，其特征在于，包括如下步骤：

S1、初始化具有多个不同结构和参数的Transformer模型的种群作为父代模型种群，具体方式为：

S11、在随机范围内分别随机选择多个所述Transformer模型中编码器和解码器中的候选块；

S12、依次随机选择所述步骤S11中编码器的一个候选块，并按照所选择的候选块的顺序连接形成新的编码器，其中每个候选块中的参数均为随机生成；

S13、依次随机选择所述步骤S11中解码器的一个候选块，并按照所选择的候选快的顺序连接形成新的解码器，其中每个候选块中的参数均为随机生成；

S14、将步骤S12中所形成的新的编码器及步骤S13中所形成的新的解码器按照Transformer模型构架的方式重新连接形成新的Transformer模型；

S15、重复步骤S11-14形成具有多个不同结构和参数的Transformer模型的种群；

S2、利用BLEU算法计算所述父代模型种群中的每个Transformer模型词向量学习能力评估指标，具体方式为：

S21、获取通过步骤S15所形成的多个Transformer模型的预测译文以及与之对应的参考译文；

S22、将每个Transformer模型所生成的预测译文中多个单词进行组合形成多个预测元组，并将参考译文中多个单词进行组合形成多个参考元组，所述预测元组中所选择的单词数量与所述参考元组中所选择的单词数量保持一致且重复选择多次不同数量的单词；

S23、判断同数量单词数条件下参考译文中的元组在每个Transformer模型的预测译文中出现的次数，根据次数的多少计算每个Transformer模型词向量学习能力评估指标；

S3、根据步骤S2的词向量学习能力评估指标大小从父代模型种群中选择父代个体，并使用交叉变异算子生成子代个体种群，同时利用BLEU算法计算子代个体种群中每个模型的词向量学习能力评估指标，

S4、对所述父代个体和子代个体进行环境选择生成新的模型种群，并根据所述步骤S2和步骤S3进行多轮迭代进化，直至满足迭代终止条件，具体方式为：

S41、根据父代模型种群和子代模型种群中的每个Transformer模型词向量学习能力评估指标高低选择排名高于设定阈值的Transformer模型直接放入下一代模型种群中；

S42、对剩余的Transformer模型使用轮盘赌算法选取多个个体放入下一代模型种群中；

S43、重复步骤S3直至满足迭代终止条件；

S5、选择最后一代中的最优个体进行机器翻译任务。

2.根据权利要求1所述的基于Transformer模型的机器翻译模型优化方法，其特征在于，所述步骤S23中每个Transformer模型词向量学习能力评估指标计算方式表示为：

其中，N表示元组中的词组个数，W_n为n个词组阶别的加权系数，P_n为n个词组阶别下参考译文中的元组出现在预测译文中的个数；

BP为短句惩罚系数，c为预测译文长度，r为参考译文长度。

3.根据权利要求2所述的基于Transformer模型的机器翻译模型优化方法，其特征在于，所述步骤S3具体为：

S31、从父代模型种群中随机选择两个个体，并选择其中词向量学习能力评估指标更高的个体作为第一父代个体，并采用同样的方法选择出第二父代个体；

S32、随机生成0-1之间的一个数，判定该数是否落在交叉概率之内；

S33、若步骤S32所生成的数在交叉概率之内，则直接将步骤S31所选择的两个父代个体作为下一代种群中个体；若不在交叉概率之内，则对步骤S31所选择的两个父代个体使用交叉操作生成下一代种群个体；

S34、重复步骤S31-S33生成下一代种群的所有个体，使用变异算子对其中的每一个个体进行变异操作得到子代个体。