[发明专利]一种基于关系图分析的群体行为识别方法

说明书

一种基于关系图分析的群体行为识别方法，包括以下步骤：S1对包含群体行为事件的视频序列进行稀疏抽样得到视频抽样帧，作为对视频事件的代表；S2通过目标检测网络和降维运算得到单帧抽样帧人物目标特征；S3根据个体之间的外貌和位置关系构建图模型以及利用图卷积神经网络提取单帧群体行为表述特征；以及S4通过对多帧群体行为特征进行融合得到整段视频群体行为表述特征。本发明方法，相比于传统的基于循环神经网络模型的视频行为动态描述方法，本发明提出的方法同时处理多张抽样视频帧，提高了算法运行的时间效率，取得了领先的检测水平。

技术领域

本发明涉及机器学习方法和视频行为分析技术领域，具体涉及到一种基于关系图分析的群体行为识别方法。

背景技术

近年来，随着深度学习技术在图像分析和理解领域取得的巨大成功，越来越多的人开始用深度神经网络处理视频行为分析所面临的问题，例如视频行为分类，视频行为时间轴或空间轴-时间轴定位。现阶段，深度神经网络所处理的视频行为分析问题涉及到的多是简单的视频行为，例如跳高、跳远等单人体育运动，刷牙、梳头等日常生活中的行为。然而现实生活中发生的行为经常有多人参与，描述这类群体行为不仅要描述场景中单个个体的行为，还要考虑到他们之间的交互关系。目前，已有的方法多用预先指定的图模型来刻画个体之间的交互关系，这样做缺乏灵活性，对于不同的事件，需要预先设计不同的关系模型；其次，为了描述运动的动态特性，多使用循环神经网络(Recurrent Neural Network,RNN)来处理连续抽样的样本，这样做计算复杂度高，且需要依次顺序处理输入视频帧，计算时间成本相应也高。

发明内容

本发明的目的是提供一种基于关系图分析的群体行为识别方法，给定一段多人视频序列作为输入，设计关系图模型来建模成对个体之间的外貌和位置关系，利用图卷积神经网络模型来对单帧的多人行为进行特征提取；同时使用视频时间轴抽样的方法融合单帧多人行为特征来表征群体行为的动态特性，实现对群体行为的分类识别目的。

本发明提供的技术方案如下：

根据本发明的一个方面，提供了一种基于关系图分析的群体行为识别方法，包括以下步骤：S1对包含群体行为事件的视频序列进行稀疏抽样得到视频抽样帧，作为对视频事件的代表；S2通过目标检测网络和降维运算得到单帧抽样帧人物目标特征；S3根据个体之间的外貌和位置关系构建图模型以及利用图卷积神经网络提取单帧群体行为表述特征；以及S4通过对多帧群体行为特征进行融合得到整段视频群体行为表述特征。

优选地，在上述基于关系图分析的群体行为识别方法中，在步骤S1中，按照时间顺序随机抽样或者均匀抽样从视频序列稀疏抽取若干帧。

优选地，在上述基于关系图分析的群体行为识别方法中，在步骤S2中，使用目标检测网络对抽样帧P_s中的人物目标提取特征，提取特征过程即为把P_s输入到目标检测网络进行前向计算，提取人物目标所在区域所对应最后一个卷积层的特征，作为人物目标的特征，记为F_a；然后使用一个全连接层，对F_a进行降维运算。

优选地，在上述基于关系图分析的群体行为识别方法中，在步骤S3中，对于抽样帧P_s经过步骤S2处理完成后得到的视频抽样帧的人物目标外貌特征和位置坐标：构建关系网络图，其中即为降维后的特征l_i为人物目标所在区域中心坐标(x_i，y_i)，

具体地，对于N个人物目标，计算一个N*N的关系网络图G，其中和h_l(l_i，l_j)分别代表外貌和位置相似度，定义如下：

其中，(x_i，y_i)为人物目标所在区域中心坐标；以及