[发明专利]一种基于情感体系的人机交互方法、装置和交互系统

权利要求书

1.一种基于情感体系的人机交互方法，其特征在于，包括以下步骤：

采集语音情感参数、表情情感参数和肢体情感参数；

根据所述语音情感参数计算获得待定语音情感，从预设语音情感中选择与待定语音情感最接近的作为语音情感分量；

根据所述表情情感参数计算获得待定表情情感，从预设表情情感中选择与待定表情情感最接近的作为表情情感分量；

根据所述肢体情感参数计算获得待定肢体情感，从预设肢体情感中选择与待定肢体情感最接近的作为肢体情感分量；

对所述语音情感分量、表情情感分量和肢体情感分量进行融合确定情感识别结果；

针对所述情感识别结果输出多模态的反馈信息。

2.如权利要求1所述的人机交互方法，其特征在于，在从预设语音情感中选择与待定语音情感最接近的作为语音情感分量的步骤中包括：

采用PCA方法对语音样本进行建模获得投影矩阵，以该投影矩阵为基础，从预设语音情感中选择与待定语音情感最接近的作为语音情感分量。

3.如权利要求1所述的人机交互方法，其特征在于，在从预设表情情感中选择与待定表情情感最接近的作为表情情感分量的步骤中包括：

将预设表情情感映射到特征脸空间，在特征脸空间中计算待定表情情感与预设表情情感之间的距离，选择距离最小的预设表情情感作为表情情感分量。

4.如权利要求1所述的人机交互方法，其特征在于，在所述对所述语音情感分量、表情情感分量和肢体情感分量进行融合确定情感识别结果的步骤中包括：

对所述语音情感分量、表情情感分量和肢体情感分量分别赋予权重，依据权重对所述语音情感分量、表情情感分量和肢体情感分量进行加权处理确定所述情感识别结果。

5.如权利要求1所述的人机交互方法，其特征在于，在针对所述情感识别结果输出多模态的反馈信息的步骤中包括：

根据所述情感识别结果在语音反馈信息、表情反馈信息和肢体反馈信息中选择至少一种进行输出。

6.一种基于情感体系的人机交互装置，其特征在于，包括：

参数采集单元，其配置为采集语音情感参数、表情情感参数和肢体情感参数；

语音情感识别单元，其配置为根据所述语音情感参数计算获得待定语音情感，从预设语音情感中选择与待定语音情感最接近的作为语音情感分量；

表情情感识别单元，其配置为根据所述表情情感参数计算获得待定表情情感，从预设表情情感中选择与待定表情情感最接近的作为表情情感分量；

肢体情感识别单元，其配置为根据所述肢体情感参数计算获得待定肢体情感，从预设肢体情感中选择与待定肢体情感最接近的作为肢体情感分量；

融合单元，其配置为对所述语音情感分量、表情情感分量和肢体情感分量进行融合确定情感识别结果；

反馈单元，其配置为针对所述情感识别结果输出多模态的反馈信息。

7.如权利要求6所述的人机交互装置，其特征在于，所述语音情感处理单元用于：

采用PCA方法对语音样本进行建模获得投影矩阵，以该投影矩阵为基础，从预设语音情感中选择与待定语音情感最接近的作为语音情感分量。

8.如权利要求6所述的人机交互装置，其特征在于，所述表情情感处理单元用于：

将预设表情情感映射到特征脸空间，在特征脸空间中计算待定表情情感与预设表情情感之间的距离，选择距离最小的预设表情情感作为表情情感分量。

9.如权利要求6所述的人机交互装置，其特征在于，所述融合单元用于：

对所述语音情感分量、表情情感分量和肢体情感分量分别赋予权重，依据权重对所述语音情感分量、表情情感分量和肢体情感分量进行加权处理确定所述情感识别结果。

10.如权利要求6所述的人机交互装置，其特征在于，所述反馈单元用于：

根据所述情感识别结果在语音反馈信息、表情反馈信息和肢体反馈信息中选择至少一种进行组合输出所述多模态的反馈信息。

11.一种人机交互系统，其特征在于，包括：

语音传感装置，其用于采集语音信号；

视觉传感装置，其用于采集表情信号和肢体信号；

如权利要求6-10中任一项所述的人机交互装置，其用于识别语音信号、表情信号和肢体信号表达的情感，并输出所述多模态的反馈信息；

输出驱动装置，其用于根据所述多模态的反馈信息驱动表情单元、语音单元以及/或者动作单元进行动作。