[发明专利]基于多模态对齐与多向量表征的人格检测方法有效
| 申请号： | 202010070066.3 | 申请日： | 2020-01-21 |
| 公开（公告）号： | CN111259976B | 公开（公告）日： | 2023-05-23 |
| 发明（设计）人： | 陈承勃;权小军 | 申请（专利权）人： | 中山大学 |
| 主分类号： | G06V10/764 | 分类号： | G06V10/764;G06V10/82;G06N3/0464;G06N3/08 |
| 代理公司： | 广州粤高专利商标代理有限公司 44102 | 代理人： | 林丽明 |
| 地址： | 510275 广东*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开一种基于多模态对齐与多向量表征的人格检测方法，包括将语音和视频模态数据按每个epoch进行重采样；将数个样本及其文本模态数据输入模态内表征模块进行独立编码，得到语音序列、视频序列和文本序列；将语音序列、视频序列和文本序列输入模态间对齐表征模块以两两对齐交互后拼接，得到增强后的语音表征、视频表征和文本表征；将所有语音表征、所有视频表征和所有文本表征分别拼接得到语音向量、视频向量和文本向量，输入卷积神经网络转化为至少两类人格向量；将至少两类人格向量分别线性化后通过sigmoid函数映射得到至少两类人格特点的预测概率。本发明通过3个模态数据的两两交互增强模态表征，提高模型的辨别能力，得到更为精准的预测结果。 | ||
| 搜索关键词： | 基于 多模态 对齐 多向 表征 人格 检测 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中山大学，未经中山大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202010070066.3/，转载请声明来源钻瓜专利网。
