[发明专利]基于时间演化建模和多示例学习的视频动作检测方法

摘要

本发明提供了一种基于时间演化建模和多示例学习的动作检测方法，包括特征提取、制作训练样本并统计动作长度分布、对训练样本进行时间演化建模并训练多示例学习神经网络、对测试视频进行检测四个过程；首先，通过滑动窗口的方法来切分训练视频得到训练动作片段；然后将训练动作片段进行时间演化建模作为网络的输入特征；再然后使用多任务损失函数来训练网络；最后使用训练好的网络对测试视频上的动作片段提议进行分类和边界估计，得到测试视频上的动作检测结果。

主权项

1.一种基于时间演化建模和多示例学习的视频动作检测方法，其特征在于，包括：特征提取、制作训练样本并统计动作长度分布、对训练样本进行时间演化建模并训练多示例学习神经网络、对测试视频进行检测四个过程；其中(1)特征提取过程包括以下步骤：步骤101，把训练视频以及测试视频中每一个16帧的视频片段输入到C3D网络中，提取网络的fc6层的输出作为特征；步骤102，将步骤101中得到特征使用主成分分析进行降维；步骤103，将步骤102中降维后的特征使用L2范数对特征进行归一化；(2)制作训练样本并统计动作长度分布包括以下步骤：步骤201，使用滑动窗口法在训练视频上按照重叠率剪切动作片段；步骤202，统计步骤201中得到动作片段的长度分布，即每个动作类中不同滑动窗口长度的训练样本所占的比率；(3)对训练样本进行时间演化建模并训练多示例学习神经网络包括以下步骤：步骤301，将步骤201得到的每个训练动作片段均分为三段，同时加上片段前后的32帧片段，一共五段，每段取步骤103中每个16帧的特征的均值，拼接为片段特征；步骤302，用全连接和MIL pooling层构建多示例学习神经网络，输入为301得到的片段特征，输出为片段的动作类别以及片段的前后偏移量，损失函数为多任务损失，训练神经网络；(4)对测试视频进行检测包括以下步骤：步骤401，用现有的生成动作片段提议方法得到测试视频上的动作片段提议；步骤402，将步骤401的动作片段提议按照步骤301得到片段特征，输入到步骤302中训练好的多示例学习神经网络中，得到动作类别，以及片段前后的偏移；将片段的前后偏移加到原始片段上，构成新的片段，再按照步骤301得到片段特征，输入到步骤302中训练好的多示例学习神经网络中，如此循环三次，得到最终输出的片段动作类别，动作得分，以及片段的边界；步骤403，使用步骤202中得到的长度分布对步骤402中的最终的片段动作得分进行调整；步骤404，使用步骤403中得到的动作片段提议新的动作得分进行非极大值抑制算法计算，去除冗余检测得到动作检测结果。