[发明专利]基于语音和面部表情的双模态情感融合的识别方法及系统有效
| 申请号： | 201610352750.4 | 申请日： | 2016-05-25 |
| 公开（公告）号： | CN105976809B | 公开（公告）日： | 2019-12-17 |
| 发明（设计）人： | 刘振焘;吴敏;曹卫华;陈鑫;潘芳芳;徐建平;张日;丁学文 | 申请（专利权）人： | 中国地质大学(武汉) |
| 主分类号： | G10L15/02 | 分类号： | G10L15/02;G10L15/06;G10L15/08;G10L25/63 |
| 代理公司： | 11212 北京轻创知识产权代理有限公司 | 代理人： | 杨立 |
| 地址： | 430074 湖北省武汉市洪山区鲁磨路3*** | 国省代码： | 湖北;42 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种基于语音和面部表情的双模态情感融合的识别方法，包括以下步骤：获取待识别对象的音频数据和视频数据；从视频数据中提取人脸表情图像，并进行眼睛、鼻子、嘴巴区域的分割；从三个区域的图像中提取每个区域图像中的面部表情特征；S4、对语音情感特征和面部表情特征进行PCA分析降维；将两种模态样本进行朴素贝叶斯的情感语音分类，并将条件概率进行决策级融合，得到最终情感识别结果。本发明采用决策级融合方法对语音情感特征和面部表情特征进行融合，能够为下一步进行相应条件概率的计算提供了更加准确的数据，使得本发明的方法能够更准确的得出受测对象的情感状态，从而提高情感识别的准确性和可靠性。 | ||
| 搜索关键词： | 基于 语音 面部 表情 双模 情感 融合 识别 方法 系统 | ||
【主权项】：
1.基于语音和面部表情的双模态情感融合的识别方法，其特征在于，包括以下步骤：/nS1、获取待识别对象的音频数据和视频数据；/nS2、对所述音频数据进行预处理得到情感语音信号；从所述视频数据中提取人脸表情图像，并进行眼睛、鼻子、嘴巴区域的分割，预处理后得到统一标准的三个区域的图像；/nS3、从所述情感语音信号中提取语音情感特征；从所述三个区域的图像中提取每个区域图像中的面部表情特征；/nS4、对所述语音情感特征和所述面部表情特征进行PCA分析降维，获得最终语音情感特征和最终面部表情特征，并将最终语音情感特征作为语音模态样本，将最终面部表情特征作为面部表情模态样本；/nS5、将所述语音模态样本进行朴素贝叶斯的情感语音分类，得到语音模态样本在不同情感状态下的第一条件概率集合；将所述面部表情模态样本进行基于朴素贝叶斯的人脸表情分类，得到面部表情模态样本在不同情感状态下的第二条件概率集合；/nS6、将所述第一条件概率集合和所述第二条件概率集合进行决策级融合，得到待识别对象的最终情感识别结果；/n所述步骤S5中分别使用语音模态样本和面部表情模态样本进行朴素贝叶斯情感分类的具体步骤为：/nS5.1、设分别有m个语音模态样本，设语音模态样本为x
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国地质大学(武汉)，未经中国地质大学(武汉)许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201610352750.4/，转载请声明来源钻瓜专利网。
- 上一篇：连续镀镍层和金层基材
- 下一篇：一种电解槽氯气冷却装置
