[发明专利]基于视频的行为识别方法及装置

摘要

本发明适用于计算机科学技术领域，提供了基于视频的行为识别方法及装置，包括：提取所有采样时刻视频帧的深度特征，所述深度特征包括所述采样时刻视频帧中行为的高层语义特征和细节特征；基于所述采样时刻视频帧的细节特征，获取用于表达当前时刻视频帧的行为的时空特征；将所述时空特征与所述高层语义特征一同输入LSTM模型，以对所述当前时刻视频帧进行行为识别。本发明使时空特征和高层语义特征互补协作，以增强RNN识别复杂行为的能力。

主权项

1.一种基于视频的行为识别方法，其特征在于，包括：提取所有采样时刻视频帧的深度特征，所述深度特征包括所述采样时刻视频帧中行为的高层语义特征和细节特征；基于所述采样时刻视频帧的细节特征，获取用于表达当前时刻视频帧的行为的时空特征；将所述时空特征与所述高层语义特征一同输入LSTM模型，以对所述当前时刻视频帧进行行为识别；所述基于所述采样时刻视频帧的细节特征，获取用于表达当前时刻视频帧的行为的时空特征，包括：以长短时记忆神经网络LSTM上一时刻的隐藏状态为引导，基于所有采样视频帧的所述特征立方体，估计各个空间位置的特征向量对于当前第t时刻视频帧行为识别的重要性：其中，是CV^*(n,k)对于当前第t时刻视频帧重要性的未归一化空间权重分数，CV^*(n,k)是第n个时刻视频帧的所述特征立方体的第k个位置的特征向量，n＝1,…,T，k＝1,…,K²，是空间注意机制的模型参数；针对第n个时刻视频帧的所述特征立方体，对进行归一化处理：其中，γ_α是控制空间注意机制分数分布的形状参数；通过将外形流和运动流的空间权重分数取最大值，以融合不同流的空间重要性：并计算所述当前时刻视频帧在外形流与运动流的行为的空间特征：在得到关于所述当前时刻视频帧的T个空间特征后，以为引导，分别估计各个空间特征对于所述当前时刻视频帧重要性的时间权重分数：并对其进行归一化得到：是时间注意机制的模型参数；通过将外形流和运动流的时间权重分数取最大值，以融合不同流的时间重要性：并将与带入为外形流和运动流分别计算时空特征