[发明专利]利用帧-字幕自监督进行多模态视频问答的方法有效
| 申请号： | 202110017595.1 | 申请日： | 2021-01-07 |
| 公开（公告）号： | CN112860945B | 公开（公告）日： | 2022-07-08 |
| 发明（设计）人： | 张宏达;胡若云;沈然;叶上维;丁麒;王庆娟;陈金威;熊剑峰;丁莹;赵洲;陈哲乾;李一夫;丁丹翔;姜伟昊 | 申请（专利权）人： | 国网浙江省电力有限公司;国网浙江省电力有限公司营销服务中心;浙江大学;杭州一知智能科技有限公司 |
| 主分类号： | G06F16/783 | 分类号： | G06F16/783;G06V10/80;G06V10/82;G06V10/771;G06K9/62;G06N3/08 |
| 代理公司： | 杭州华鼎知识产权代理事务所(普通合伙) 33217 | 代理人： | 项军 |
| 地址： | 310000*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明属于视频问答领域，具体涉及利用帧‑字幕自监督进行多模态视频问答的方法。包括以下步骤：提取视频帧特征、问答特征、字幕特征、字幕建议特征；得到带注意力帧特征、带注意力字幕特征，得到融合特征；基于融合特征计算得到时间注意力得分；利用时间注意力得分计算得到问题的时间边界；利用融合特征与时间注意力得分计算得到问题答案；利用问题的时间边界和问题答案训练神经网络；优化神经网络的网络参数，利用最优神经网络进行视频问答并划定时间边界。本发明没有使用标注代价昂贵的时间标注，而是根据自行设计的时间注意分数生成问题相关的时间边界。另外本发明通过挖掘字幕与对应视频内容之间的联系，得到更为精准的答案。 | ||
| 搜索关键词： | 利用 字幕 监督 进行 多模态 视频 问答 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于国网浙江省电力有限公司;国网浙江省电力有限公司营销服务中心;浙江大学;杭州一知智能科技有限公司，未经国网浙江省电力有限公司;国网浙江省电力有限公司营销服务中心;浙江大学;杭州一知智能科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110017595.1/，转载请声明来源钻瓜专利网。
- 上一篇：一种家用车顶置休闲亭
- 下一篇：一种碳刷端面弧度研磨装置
