[发明专利]一种基于生成对抗网络的多姿态行人图像合成算法

权利要求书

1.一种基于生成对抗网络的多姿态行人图像合成算法，其特征在于，包括以下步骤：

S1：通过行人重识别任务数据集Market-1501中获取训练数据集和测试数据集；

S2：根据预设方法通过所述训练数据集构建生成对抗网络模型，具体包括以下步骤：

S21：生成器的构建，通过预设方法构建所述生成器，具体包括以下步骤：

S211：通过三层卷积核和一条跳跃连接构成残差模块，并设定m为所述残差模块的输入；

S212：编码器通过三层卷积在瓶颈处生成特征向量F(m)，并设定m+F(m)为所述残差模块的输出；

S213：在解码器的中间层抽取特征，并通过一个卷积层输出原图四分之一的图片；

S22：分类器的构建，在所述生成器的瓶颈处，添加一个基于softmax多分类的卷积神经网络，将所述特征向量F(f)针对个体进行多分类；

用于所述生成器输出的判别器的分辨率为原图大小，用于所述原图四分之一大小图片的判别器的分辨率为小分辨率，且用于小分辨率的所述判别器层数比用于原图的所述判别器层数少两层；

S23：判别器的构建，设计两组判别器，分别用于对所述残差模块输出和所述原图四分之一大小图片的判断；

S3：采用预设方法向所述生成对抗网络模型输入中加入姿态信息潜码，具体包括以下步骤：

S31：利用OpenPose模型对姿态信息潜码进行提取，具体包括以下步骤：

S311：将所述训练数据集中的图片作为反向传播网络的输入，由反向传播网络同时预测：身体部位位置的一组二维置信度图以及用于编码身体部分关联程度的相邻亲和力的一组二维向量；

S312：基于相邻亲和场进行身体部位的聚合；

S313：基于贪心推理，进行人与人之间姿态信息的分割

S32：根据预设方法将提取的所述姿态信息潜码加入所述生成对抗网络模型输入中，具体包括以下步骤：

S321：通过OpenPose库提取各个关键点的坐标信息，并生成一张黑色背景，以半径为5的白色圆形表达关键点的图片；

S322：将含有姿态信息的图像作为第四通道与原有的RGB图像进行叠加，并作为输入的第四个通道；

S4：基于所述姿态信息潜码构建所述生成对抗网络模型的目标函数，并利用带有所述目标函数的生成对抗网络模型合成多姿态的行人图像；

具体包括以下步骤：

S41：设定I_A指某张姿态为A的行人图像，I_B是姿态为B的目标图像,将目标图像的姿态P_B与I_A相加并作为生成器G的输入，输出为具有目标姿态P_B的合成图像小分辨率、原分辨率判别器分别以D₁,D₂指代；

S42：构建生成对抗网络损失函数；

所述S42中构建生成对抗网络损失函数具体包括以下步骤：

S421：构建生成对抗网络的目标函数表达式：其中，D表示判别器，G(Z，C)表示生成器，C表示潜码，I(C；G(Z，C))表示共同信息项；

S422：定义辅助分布Q(c|x)逼近P(c|x)，从而获取一个下界：

S423：构建生成对抗网络部分的损失函数表达式：

其中E表示分布函数的期待值，P_date表示真实数据的分布；

S43：构建L₁距离损失函数；

其中，所述S43中构建L₁距离损失函数具体包括以下步骤：构建两个分辨率下的损失函数表达式：其中，G_mid(I_A，P_B)是生成器中间层的输出，C_S是将生成器中间层生成为小分辨率图像的小型卷积神经网络，L_L1为原分辨率图像的L1损失函数，为小分辨率图像的L1损失函数；

S44：构建图片块损失函数；

其中，所述S44中构建图片块损失函数具体包括以下步骤：构建基于patch的损失函数表达式：其中，表示图片中的第i个patch，并将原图与生成图像的对应位置的patch进行对比，H、W表示的是当前图像的基于patch的高度和宽度，L_patch和分别表示原分辨率下、小分辨率下的基于patch的损失函数；

S45：构建交叉熵损失函数；

其中，S45中构建交叉熵损失函数具体包括以下步骤：

S451：在所述生成器的瓶颈处，所述分类器基于softmax分类层进行训练：z_i＝Ψ(m_bottleneck)，其中，z_i表示在瓶颈处的卷积神经网络Ψ的输出，m_bottleneck表示在生成器瓶颈处的特征向量；

S452：设softmax层前的输出为一个向量V，v_j代表v中第j个元素，则该元素的softmax值为：

S453：构建基于softmax的分类器的损失函数为：

S46：构建所述生成对抗网络模型的目标函数：

S5：根据合成的所述多姿态行人图像进行实验结果分析。