[发明专利]一种基于关系图分析的群体行为识别方法

权利要求书

1.一种基于关系图分析的群体行为识别方法，其特征在于，包括以下步骤：

S1：对包含群体行为事件的视频序列进行稀疏抽样得到视频抽样帧，作为对视频事件的代表；

S2：通过目标检测网络和降维运算得到单帧抽样帧人物目标特征，使用目标检测网络对抽样帧P_s中的人物目标提取特征，提取特征过程即为把P_s输入到目标检测网络进行前向计算，提取所述人物目标所在区域所对应最后一个卷积层的特征，作为人物目标的特征，记为F_a；然后使用一个全连接层，对F_a进行降维运算；

S3：根据个体之间的外貌和位置关系构建图模型，对于所述抽样帧P_s经过步骤S2处理完成后得到的所述视频抽样帧的人物目标外貌特征和位置坐标：构建关系网络图，其中即为降维后的特征l_i为人物目标所在区域中心坐标(x_i,y_i)，

具体地，对于N个人物目标，计算一个N*N的关系网络图G，其中和h_l(l_i,l_j)分别代表外貌和位置相似度，定义如下：

其中，(x_i,y_i)为人物目标所在区域中心坐标；以及

使用Softmax函数来归一化目标i相对于目标j的关系，定义如下：

S4：利用图卷积神经网络提取单帧群体行为表述特征；以及

S5：通过对多帧群体行为特征进行融合得到整段视频群体行为表述特征。

2.根据权利要求1所述的基于关系图分析的群体行为识别方法，其特征在于，在步骤S1中，按照时间顺序随机抽样或者均匀抽样从所述视频序列稀疏抽取若干帧。

3.根据权利要求1所述的基于关系图分析的群体行为识别方法，其特征在于，在所述步骤S3中，N个人物目标间的关系网络图构建完成后，使用图卷积神经网络对单个人物目标特征进行加权融合，所述图卷积神经网络接收降维后特征和关系网络图作为输入，输出对单个人物目标加权融合特征，记为F_g，通过对抽样帧P_s所有N个人物目标特征F_g取平均操作，可以得到P_s的单帧群体行为表述特征，记为

4.根据权利要求1所述的基于关系图分析的群体行为识别方法，其特征在于，在所述步骤S5中，通过加和操作，将所有抽样帧的群体行为表述特征进行按位求和，得到整段视频的群体行为表述特征，记为F_v，以及F_v通过全连接层进行行为类别划分，可以得到对整段视频的分类结果，进行结果输出。

5.根据权利要求4所述的基于关系图分析的群体行为识别方法，其特征在于，其中，所述类别划分中的分类损失函数定义如下：

其中，y^G为视频群体行为类别真实值，为模型行为类别预测值，L₁为交叉熵损失函数。

6.一种基于关系图分析的群体行为识别系统，其特征在于，包括单帧群体行为表述特征提取模块和多帧行为表述特征融合与分类模块，以及所述群体行为识别系统用于实现如权利要求如权利要求1-5中任一项所述的群体行为识别方法，其中，

所述单帧群体行为表述特征提取模块，用于对稀疏抽样得到的视频帧提取群体行为表述特征；以及

所述多帧行为表述特征融合与分类模块，用于对多张视频抽样帧提取的群体行为表述特征进行多帧融合和构建分类器来对视频行为进行分类。