[发明专利]基于卷积神经网络的多尺度表达的目标跟踪方法

摘要

本发明属于图像处理技术领域，提供基于卷积神经网络的多尺度表达的目标跟踪方法，包括：多尺度卷积神经网络结构预训练；利用多尺度特征表达构建多示例分类器；改进多示例在线跟踪；多步差模型更新。该算法利用卷积神经网络的自动学习深层特征的能力，可以获取涉及语义信息的深层图像表达，同时利用拉普拉斯金字塔构建图像的多尺度表达，训练多尺度的卷积神经网络结构。结合改进的多示例学习算法，构建在线跟踪器，实现目标的稳定跟踪。

主权项

1.一种基于卷积神经网络的多尺度表达的目标跟踪方法，其特征在于以下步骤：第一步，多尺度卷积神经网络模型预训练对图像做拉普拉斯变换，构建图像的金字塔空间，提取拉普拉斯金字塔的三种尺度下的图像作为网络模型的输入；利用Lasagne深度学习框架搭建多尺度卷积神经网络模型，构成网络模型池；每一个网络模型包括三个卷积层，两个全连接层以及一个softmax层；同时采用VGG‑net的浅层结构初始化网络参数；在预训练过程中，跟踪数据集，并不断优化网络参数；每种尺度图像分别对应粗尺度网络、中间尺度网络和精细尺度网络；不同尺度间网络共享参数，尺度由粗到细进行训练；针对不同类别视频集构建不同的网络，用于获取不同类别物体信息；网络间除最后一层外共享网络参数迭代训练，用于捕获不同类别物体的共性特征；在训练过程中，采用交叉熵作为损失函数L，其定义形式为：L＝‑∑_it_ilog(p_i)     (1)其中，t_i为第i个图像块的真实标记，即目标或者背景；p_i为第i个图像块的预测概率；在训练过程中使用梯度下降法SGD不断优化网络参数，直到所有样本得到充分训练，最后保留三种尺度的网络参数，得到预训练好的多尺度卷积神经网络模型；第二步，利用多尺度特征表达构建多示例分类器移除预训练好的多尺度卷积模型的最后一层，重新添加一个随机初始化的softmax层，利用图像第一帧给定的目标对网络参数进行微调；然后从三种尺度的网络中分别提取卷积三层的特征图作为卷积特征；同时提取精细尺度网络的卷积二层的特征共同组成外观模型的多尺度表达；采用最大池化对卷积二层特征图进行降维，减小特征的数据维度；将所有卷积特征连接构成目标的多尺度外观模型；将得到的卷积特征作为特征池，利用多示例学习算法学习一个二分类器；采用增强学习的方式，最大化目标函数即对数似然函数，依次选择k个弱分类器，并将各个弱分类器加权求和，构建多示例分类器；第三步，改进多示例在线跟踪在多示例学习算法中，每个示例的似然概率表示为：p(y|x)＝σ(H(x))       (2)其中，x为图像的特征空间表达，y为一个二分变量，用于指示图像中是否存在目标，H(x)为多个弱分类组成的强分类器，σ(x)为Sigmoid函数，即在Sigmoid函数中引入一个惩罚因子减缓函数饱和，改进后的Sigmoid函数为：其中，k为组成强分类器的弱分类器个数；第四步，在跟踪过程中，采用多步差模型更新多尺度卷积神经网络模型对于粗尺度网络模型，采用快更新的方式来更新网络模型参数，以及时适应模型的外观变化；对于精细尺度网络模型，采用慢更新的方式更新网络模型参数，避免模型改变引入的误差噪音和错误更新；对于中间尺度网络模型，更新频率介于二者之间；通过这种方式，使得模型能够及时适应目标的外观变化，同时能够抵制错误跟踪对模型更新的影响；当有新的一帧图像输入时，在上一帧目标位置的周围选取n个候选目标框{x₁，...，x_n}，根据p(y|x)＝σ(H(x))，选择似然概率的最大响应位置为此帧的目标结果，如公式(5)所示：