[发明专利]一种基于低空航拍红外视频的行人跟踪方法

摘要

本发明公开一种基于低空航拍红外视频的行人跟踪方法，结合Lucas‑Kanade光流法和局部区域二次检测来实现持续稳定的行人跟踪：1、离线训练航拍红外行人支持向量机(SVM)分类器；2、确定行人目标初始位置；3、利用LK光流法对行人目标进行初步跟踪，计算出行人目标在下一帧的位置；4、在预测的行人目标位置周围设定搜索区域；在搜索区域内利用离线训练好的SVM分类器对红外行人进行二次检测，更新行人目标位置；5、将在搜索区域内检测到的行人目标中心作为下一次LK光流法的输入坐标，重复步骤(3)～(5)即可。本发明可实现对红外行人目标持续稳定的跟踪，并可以处理路灯遮挡等问题。

主权项

1.一种基于低空航拍红外视频的行人跟踪方法，其特征在于：具体包括以下步骤：步骤1：离线训练航拍红外行人支持向量机分类器；A、建立航拍红外图像行人和非行人训练数据集：利用无人机携带热红外摄像头采集红外行人视频，从所采集的红外行人视频中选取一部分视频帧图像，随后从图像中提取行人和非行人训练样本；B、对行人和非行人样本图像提取并融合梯度方向直方图特征描述子和局部离散余弦变换特征描述子：1)梯度方向直方图特征描述子提取；梯度方向直方图特征属于图像局部特征，它刻画了图像的局部梯度幅值和边缘方向信息，提取步骤如下：1.1、对行人和非行人样本图像的颜色空间进行归一化，并采用中心对称的一维点模版[‑1,0,1]进行卷积运算，得到行人和非行人样本图像上每个像素点的X、Y方向的梯度幅值G_x、G_y，则像素点的梯度大小梯度方向为D＝arctan(G_y/G_x)；1.2、对行人和非行人样本图像进行单元格划分，单元格划分成相同大小，单元格数量依单元格的尺寸而定；在每一个单元格内按照梯度方向统计一维梯度方向直方图，方法为：每个单元格内的每个像素均有梯度大小值和梯度方向值与之对应，将单元格内每个像素的梯度方向0°～180°按照20°的间隔划分为9个区间，即：0°～20°，20°～40°，依次类推；统计单元格内的所有像素，确定各个像素所在区间，并将各像素的梯度值加在对应的区间上，构成梯度方向直方图向量H_i＝[h₁,h₂,…h₈,h₉]，是9维的，9个区间，其中h_i为每个区间的权值；1.3、将行人和非行人样本图像划分成包含多个相邻单元格的矩形区块，将区块内所有单元格的一维梯度方向直方图向量H_i串联起来构成串联向量[H₁,H₂,...,H_n]，采用L2‑Norm方式对串联向量[H₁,H₂,...,H_n]进行归一化处理构成区块特征向量n为区块个数；1.4、将行人和非行人样本图像内所有的区块特征向量串联起来构成样本图像的HOG描述子V_HOG；2)、局部离散余弦变换特征描述子提取；离散余弦变换具有“能量集中特性”，图像大部分的信息都存储在DCT变换后系数矩阵的左上角，即低频部分，利用这样的特性，对检测到的行人感兴趣区域提取DCT描述子，用来对目标与非目标进行分类，局部DCT描述子提取步骤如下：2.1将行人和非行人样本图像分别归一化至24×24像素大小，确定滑动窗口的大小和滑动步距；2.2在每个窗口区域内按下式分别进行离散余弦变换，设f(x,y)为M×N的数字图像矩阵中坐标(x,y)像素点的灰度值，其离散余弦变换表示为：其中：F(u,v)为离散余弦变换后的系数矩阵；C(u)、C(v)为系数；2.3、利用zigzag扫描方式获取系数矩阵的前21个低频系数作为对应区块的描述向量，将所有区块的描述向量串联起来并进行Min‑Max归一化处理构成整幅图像的局部DCT特征描述子V_DCT；C、融合梯度方向直方图和局部离散余弦变换特征描述子；具体为：将由行人和非行人样本图像提取的HOG特征描述子V_HOG与DCT特征描述子V_DCT进行自适应加权串联，形成最终的行人和非行人样本图像的融合特征描述子V_Fusion＝[αV_HOG,βV_DCT]；α选取为10，β为3；随后对行人样本图像的融合描述子标注为1，非行人样本图像的融合描述子标注为‑1，输入线性支持向量机分类器进行训练；步骤2：利用步骤1中训练得到的航拍红外行人支持向量机分类器，确定行人目标在第i帧图像中的位置；首先对航拍红外图像利用滑动窗口法进行行人扫描检测，对每一个窗口提取步骤1中所述的融合特征描述子，之后采用训练好的红外行人支持向量机分类器对扫描窗口进行分类判别，若输出为1，则当前扫描窗口内包含了行人目标，随后将行人目标所在的扫描窗口的中心作为行人目标的中心坐标，从而确定行人目标的位置,作为初始位置；步骤3：根据步骤2中得到的第i帧图像中行人目标的位置P_i，作为LK光流法的输入坐标，利用LK光流法计算出行人目标在第i+1帧中的位置P_(i+1)；步骤4：以第i+1帧图像中的行人目标位置为中心设定搜索区域，在搜索区域内利用训练的航拍红外行人支持向量机分类器，对搜索区域内行人目标位置进行二次检测，得到第i+1帧图像中精确的行人目标位置；具体方式为：首先以行人目标在下一帧图像中的位置点P_(i+1)为中心，人为设定矩形搜索区域，其大小视拍摄高度而定，但不超过行人目标大小的2倍；随后利用滑动窗口法遍历矩形搜索区域，对每一个窗口提取步骤1中所述的融合特征描述子，利用训练好的红外行人支持向量机分类器进行判定；若分类结果为1，则对应窗口的中心位置即为行人目标的精确位置，并将此中心点坐标点P‘_(i+1)作为行人目标的位置点精确坐标值；步骤5：将步骤4中得到的行人目标位置作为LK光流法的输入坐标，重复步骤3～5。