[发明专利]建立阅读理解模型的方法、阅读理解方法及对应装置

说明书

本公开公开了建立阅读理解模型的方法、阅读理解方法及对应装置，涉及自然语言处理和深度学习等人工智能技术。获取训练样本，训练样本包括问题样本、段落样本以及对段落样本中标注的问题样本对应的答案标签；利用训练样本训练阅读理解模型，其中，将同一训练样本中的问题样本和段落样本进行拼接后得到的拼接文本输入预训练子模型，由预训练子模型输出拼接文本中各元素的隐向量构成的隐向量序列；第一分类子模型利用隐向量序列，输出答案在段落样本中的位置区间信息；第二分类子模型利用隐向量序列，基于自注意力机制得到语义交互向量序列，并利用语义交互向量序列输出段落样本中答案所在句的信息。本公开自动、高效地实现了对段落的阅读理解。

技术领域

本公开涉及计算机应用技术领域，尤其涉及自然语言处理和深度学习等人工智能技术。

背景技术

近年来深度学习技术快速发展，并已在图像识别、语音识别等领域超越了人类水平。作为人工智能核心技术之一的自然语言处理(Natural Language Processing,NLP)也是当下研究最热的一个领域。机器阅读理解(Machine Reading Comprehension,MRC)是一种利用算法使计算机理解段落语义并回答相关问题的技术。由于段落和问题均采用人类语言的形式，因此机器阅读理解属于自然语言处理的范畴，也是其中最新最热门的研究课题之一。

随着各行各业文本数据的大量产生，传统的人工处理方式因为处理速度慢，开销巨大等因素成为产业发展的瓶颈。因此，自动、高效的机器阅读理解技术成为相关产业内的重要需求。

发明内容

本公开提供了一种建立阅读理解模型的方法、阅读理解方法及对应装置，以便于自动、高效地实现对文本段落的阅读理解。

根据本公开的第一方面，提供了一种建立阅读理解模型的方法，包括：

获取训练样本，每一个训练样本包括问题样本、段落样本以及对所述段落样本中标注的所述问题样本对应的答案标签；

利用所述训练样本训练阅读理解模型，所述阅读理解模型包括预训练子模型、第一分类子模型和第二分类子模型；

其中，将同一训练样本中的问题样本和段落样本进行拼接后得到的拼接文本输入所述预训练子模型，由所述预训练子模型输出所述拼接文本中各Token的隐向量构成的隐向量序列；所述第一分类子模型利用所述隐向量序列，输出所述答案在所述段落样本中的位置区间信息；所述第二分类子模型利用所述隐向量序列，基于自注意力机制得到语义交互向量序列，并利用所述语义交互向量序列输出所述段落样本中答案所在句的信息；

训练目标为最小化所述第一分类子模型和所述第二分类子模型的输出与所述答案标签之间的差异。

根据本公开的第二方面，提供了一种阅读理解方法，包括：

将问题和段落进行拼接后得到的拼接文本输入阅读理解模型，根据所述阅读理解模型的输出从所述段落中确定答案；

其中，所述阅读理解模型包括预训练子模型、第一分类子模型和第二分类子模型；

所述预训练子模型利用所述拼接文本，输出所述拼接文本中各元素Token的隐向量构成的隐向量序列；所述第一分类子模型利用所述隐向量序列，输出答案在所述段落中的位置区间信息；所述第二分类子模型利用所述隐向量序列，基于自注意力机制得到语义交互向量序列，并利用所述语义交互向量序列输出所述段落中答案所在句的信息。

根据本公开的第三方面，提供了一种建立阅读理解模型的装置，包括：

样本获取单元，用于获取训练样本，每一个训练样本包括问题样本、段落样本以及对所述段落样本中标注的所述问题样本对应的答案标签；