[发明专利]一种基于跨模态数据增广的连续手语识别方法

摘要

本发明公开了一种基于跨模态数据增广的连续手语识别方法，通过对原始视频‑文本数据进行随机删除、插入、替换等操作，生成一系列带有标注的伪视频‑文本数据，对现有数据集进行扩增，从而达到扩大数据规模的目的。基于原始数据和增广数据，本发明设计了全新的多目标优化函数，旨在进行弱监督视频‑文本对齐学习的同时，缩小视频与对应文本之间的跨模态距离，同时使网络能够区分真实数据与增广伪数据之间的差异。通过跨模态数据增广与多任务学习，提升连续手语识别性能。