[发明专利]一种基于Transformer模型的机器翻译模型优化方法

说明书

本发明公开了一种基于Transformer模型的机器翻译模型优化方法，通过设计变长编码和候选块让Transformer个体具有不同的结构和参数，为词向量的学习提供多种候选模型；而后设计了交叉变异策略让Transformer个体能够进行信息交流，让处理词向量的优秀结构或参数可以遗传给下一代；之后设计了环境选择策略产生下一代Transformer个体，淘汰学习词向量效果相对较差的模型，保留学习词向量效果较为优秀的模型；之后不断迭代演化搜索找到学习词向量效果最优的Transformer模型，用于最终解决机器翻译任务，使得Transformer模型能够更好的学习机器翻译任务中的词向量表达，提高机器翻译任务的精度。

技术领域

本发明涉及演化计算领域，具体涉及一种基于Transformer模型的机器翻译模型优化方法。

背景技术

Transformer是由谷歌再2017年提出的用于解决机器翻译任务的一种序列到序列，在Transformer提出之前，机器翻译模型可以分为两类：基于回馈式神经网络的模型或者基于卷积的序列回归模型。基于回馈式神经网络的模型大多由RNN或LSTM结构组成,模型中每一层中的输入都依赖于前一层的输出状态，这种顺序计算约束导致基于回馈式神经网络的模型在训练和预测过程中都需要耗费大量的时间和计算资源；基于卷积的网络模型由多层卷积神经网络构成，这种模型在计算长距离信息的关系时卷积操作数会迅速增长，例如在ByteNet中是指数级增长。

Transformer利用多头注意力机制(MHA)和前馈式神经网络(FFN)解决了上述两个模型的缺点，可以通过更少的计算资源学习机器翻译中的词向量，获取更高的翻译精度。虽然Transformer模型已经在机器翻译中取得了很好地效果，但是其仍存在几点问题：1.具有不同网络层数的Transformer模型中MHA层和FFN层的排列模式是固定的，已有研究表明Transformer不同的层排列模式在其他自然语言处理任务上拥有比基础Transformer模型更好的性能。2.Transformer模型每个层都拥有相同的参数。当使用Transformer执行机器翻译任务时，编码器的较低层倾向于从词向量中学习更多的语法知识，而较高的层则倾向于从词向量中学习更多的语义。每个层设置成同样的参数去学习不同角度的信息不符合神经网络设计的一般准则。3.Transformer模型的层数和超参数都是通过专家结合领域知识进行设置，如果非专业人员想要使用Transformer模型解决机器翻译任务时很难独立设计一个符合预期的模型。

针对上述问题，本方案设计了使用演化策略自动搜索Transformer模型参数和结构的方案，让Transformer模型能够更好的学习机器翻译任务中的词向量表达，提高机器翻译任务的精度。在机器翻译任务中，本方案构造的Transformer模型超过了现有的标准Transformer的性能。

发明内容

针对现有技术中的上述不足，本发明提供了一种基于Transformer模型的机器翻译模型优化方法。

为了达到上述发明目的，本发明采用的技术方案为：

一种基于Transformer模型的机器翻译模型优化方法，包括如下步骤：

S1、初始化具有多个不同结构和参数的Transformer模型的种群作为父代模型种群；

S2、利用BLEU算法计算所述父代模型种群中的每个Transformer模型词向量学习能力评估指标；

S3、根据步骤S2的词向量学习能力评估指标大小从父代模型种群中选择父代个体，并使用交叉变异算子生成子代个体种群，同时利用BLEU算法计算子代个体种群中每个模型的词向量学习能力评估指标；

S4、对所述父代个体和子代个体进行环境选择生成新的模型种群，并根据所述步骤S2和步骤S3进行多轮迭代进化，直至满足迭代终止条件；

S5、选择最后一代中的最优个体进行机器翻译任务。