[发明专利]一种基于情感体系的人机交互方法、装置和交互系统

说明书

技术领域

本发明涉及智能服务技术领域，具体地说，涉及一种基于情感体系的人机交互方法、装置和交互系统。

背景技术

智能问答机器人属于人工智能和自然语言处理的交叉领域，可以通过自然语言的方式与用户交流，并通过表情、动作等方式展示机器人的情感。情感是人对客观事物是否满足自己的需要而产生的体验态度，是人机对话过程中传递的重要信息。人机交互过程中，情感识别是交互系统的重要部分。情感状态影响着信息表达的方式和信息传递的效果。

情感表达的模态包括言语、文字、面部表情和肢体动作等等。其中，面部表情通过采集人脸图像获得，语言情感从带有情感的语音信号中提取，肢体动作较直接地表达了人们的情感。有研究认为，在人机交互过程中面部表情的作用最大，其对情感表达的贡献超过五成；语言表达情感的作用次之，贡献大概不到四成。

现有的情感识别技术通常是单一模态的表情情感识别或者语音情感识别，不能对多种模态识别到的情感进行融合处理。因此，问答机器人不能同时识别用户输入的语音、表情和肢体动作，不能准确辨识用户情感。

因此，亟需一种能够在问答过程中同时识别多种模态情感特征，并进行反馈的人机交互方法和装置。

发明内容

本发明的目的之一在于解决现有的人机问答系统不能同时识别用户输入的语音、表情和肢体动作中的情感特征的技术缺陷。

本发明的实施例首先提供

一种基于情感体系的人机交互方法，包括以下步骤：

采集语音情感参数、表情情感参数和肢体情感参数；

根据所述语音情感参数计算获得待定语音情感，从预设语音情感中选择与待定语音情感最接近的作为语音情感分量；

根据所述表情情感参数计算获得待定表情情感，从预设表情情感中选择与待定表情情感最接近的作为表情情感分量；

根据所述肢体情感参数计算获得待定肢体情感，从预设肢体情感中选择与待定肢体情感最接近的作为肢体情感分量；

对所述语音情感分量、表情情感分量和肢体情感分量进行融合确定情感识别结果；

针对所述情感识别结果输出多模态的反馈信息。

优选地，在从预设语音情感中选择与待定语音情感最接近的作为语音情感分量的步骤中包括：

采用PCA方法对语音样本进行建模获得投影矩阵，以该投影矩阵为基础，从预设语音情感中选择与待定语音情感最接近的作为语音情感分量。

优选地，在从预设表情情感中选择与待定表情情感最接近的作为表情情感分量的步骤中包括：

将预设表情情感映射到特征脸空间，在特征脸空间中计算待定表情情感与预设表情情感之间的距离，选择距离最小的预设表情情感作为表情情感分量。

优选地，在所述对所述语音情感分量、表情情感分量和肢体情感分量进行融合确定情感识别结果的步骤中包括：

对所述语音情感分量、表情情感分量和肢体情感分量分别赋予权重，依据权重对所述语音情感分量、表情情感分量和肢体情感分量进行加权处理确定所述情感识别结果。

优选地，在针对所述情感识别结果输出多模态的反馈信息的步骤中包括：

根据所述情感识别结果在语音反馈信息、表情反馈信息和肢体反馈信息中选择至少一种进行输出。

一种基于情感体系的人机交互装置，包括：

参数采集单元，其配置为采集语音情感参数、表情情感参数和肢体情感参数；

语音情感识别单元，其配置为根据所述语音情感参数计算获得待定语音情感，从预设语音情感中选择与待定语音情感最接近的作为语音情感分量；

表情情感识别单元，其配置为根据所述表情情感参数计算获得待定表情情感，从预设表情情感中选择与待定表情情感最接近的作为表情情感分量；

肢体情感识别单元，其配置为根据所述肢体情感参数计算获得待定肢体情感，从预设肢体情感中选择与待定肢体情感最接近的作为肢体情感分量；

融合单元，其配置为对所述语音情感分量、表情情感分量和肢体情感分量进行融合确定情感识别结果；

反馈单元，其配置为针对所述情感识别结果输出多模态的反馈信息。

优选地，所述语音情感处理单元具体用于：

采用PCA方法对语音样本进行建模获得投影矩阵，以该投影矩阵为基础，从预设语音情感中选择与待定语音情感最接近的作为语音情感分量。

优选地，所述表情情感处理单元具体用于：

将预设表情情感映射到特征脸空间，在特征脸空间中计算待定表情情感与预设表情情感之间的距离，选择距离最小的预设表情情感作为表情情感分量。