[发明专利]一种视频人物行为语义识别方法在审
| 申请号： | 201810236363.3 | 申请日： | 2018-03-21 |
| 公开（公告）号： | CN108509880A | 公开（公告）日： | 2018-09-07 |
| 发明（设计）人： | 陈志;高翔;岳文静;杨天明;陈璐;掌静 | 申请（专利权）人： | 南京邮电大学 |
| 主分类号： | G06K9/00 | 分类号： | G06K9/00;G06N3/04;G06N3/08 |
| 代理公司： | 南京瑞弘专利商标事务所(普通合伙) 32249 | 代理人： | 沈廉 |
| 地址： | 210046 江*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种视频人物行为语义识别方法，该方法以识别视频中的人物行为语义与社交关系为目标，首先利用卷积神经网络并行地抽取每个视频场景中的人物身份、人物行为和上下文三个方面的中层语义特征，接着通过两层循环神经网络来融合这三个方面的语义信息，最后完成视频中人物行为语义的识别，该方法有效的弥补的了视频场景的底层特征与高层语义之间的鸿沟，提取了全方位的视频特征包括人物脸部特征、人物行为特征以及上下文特征，提高了语义识别的准确率。本发明通过建立底层特征和高层语义之间的中层特征解决了低层特征对真实场景下的复杂行为建模困难的问题，能够达到解决底层特征与高层语义之间的鸿沟的目的。 | ||
| 搜索关键词： | 底层特征 高层语义 语义识别 视频 语义 视频场景 中层 卷积神经网络 循环神经网络 上下文特征 低层特征 复杂行为 人物脸部 人物身份 社交关系 视频特征 行为特征 语义特征 语义信息 真实场景 准确率 建模 两层 并行 抽取 融合 | ||
【主权项】：
1.一种视频人物行为语义识别方法，其特征在于，该方法是一种基于深度学习的视频场景语义识别方法，包括以下步骤：步骤1)：对视频图像底层特征描述与提取：包括人物身份底层特征描述与提取，人物行为底层特征描述与提取，上下文底层特征描述与提取；步骤2)：基于预训练的卷积神经网络CNN的中层语义特征提取：包括人物身份中层特征提取，人物行为中层特征提取，上下文中层特征提取；步骤3)：基于长短期记忆网络LSTM的视频人物行为语义识别：包括建立基于LSTM的视频人物行为语义识别模型，基于LSTM的语义序列识别；步骤4)：融合提取的人物身份特征、人物行为特征以及上下文特征，将融合后的特征输入到基于LSTM的视频语义识别模型中，进行视频语义识别。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于南京邮电大学，未经南京邮电大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810236363.3/，转载请声明来源钻瓜专利网。
- 上一篇：一种实现信息处理的方法及装置
- 下一篇：一种无切分的脱机手写汉字文本识别方法
