[发明专利]一种基于超分辨率重建的目标跟踪方法

摘要

本发明公开了一种基于超分辨率重建的目标跟踪方法，该方法首先提出一种非线性迭代算法对目标图像序列的低分辨率图像进行超分辨率重建；其次，对超分辨率重建后的图像进行标准化并确定期望的运动目标区域；最后，结合变模板方法，在期望的运动目标区域中对目标进行检测与跟踪。本发明基于超分辨率重建的目标跟踪方法，较好解决了目标运动中形变造成的检测困难，检测与跟踪效果良好。

主权项

1.一种基于超分辨率重建的目标跟踪方法，其特征在于，包括如下步骤：步骤1，利用非线性迭代算法对输入的低分辨率图像序列进行超分辨率重建，得到超分辨率图像序列；步骤2，对超分辨率图像序列以及初始模板进行标准化处理，并确定期望的目标运动区域；所述确定期望的目标运动区域的具体过程包括如下步骤：步骤2‑1，设定阈值通过如下公式获得反映运动目标可能存在区域的图像M_k，步骤2‑2，将每帧图像M_k中灰度值为0的像素点去除，灰度值不为0的像素点保留，得到不规则区域S_l，l＝1,2,…,L，L≤N，将不规则区域S_l所在图像M_k中能将S_l包含在内的最小外接矩形作为可能的目标运动区域MR_l，L为所有可能的目标运动区域个数；步骤2‑3，若可能的目标运动区域MR_l的长小于η倍标准化后初始模板的长或者可能的目标运动区域MR_l的宽小于η倍标准化后初始模板的宽，则将满足上述条件的区域去除，0<η<1；步骤2‑4，以步骤2‑3剩下区域中的第一个区域的中心为圆心，α||V||(α≥1)为半径画圆，将剩下区域中与该圆有交点或者包含在圆内的区域作为期望的目标运动区域；当没有期望的目标运动区域时，以剩下区域中的第二个区域的中心为圆心，增加α的值，以α||V||为半径画圆，再次判断有无期望的目标运动区域；以此类推，直到至少有一个期望的目标运动区域存在；上述步骤中，z′_k(i,j)表示标准化后的超分辨率图像序列中第k帧图像的灰度值，N为低分辨率图像序列的总帧数，Down、Up分别表示能将S_l包含在内的最小外接矩形垂直投影的下、上边界，Right、Left分别表示能将S_l包含在内的最小外接矩形垂直投影的右、左边界；步骤3，对期望的目标运动区域，利用变模板匹配方法对目标进行检测跟踪；具体过程包括如下步骤：步骤3‑1，对任意一个期望的目标运动区域，利用如下方法进行模板更新：将在第d‑1个区域中匹配到的目标区域记为R_d‑1，并以第d‑1个区域时的匹配位置为中心，以第d‑1个区域的匹配模板T_d‑1的长宽在该区域对应的标准化后超分辨率图像上截取子图像SR_d‑1；根据目标匹配相关系数法分别计算R_d‑1与T′_d‑1的相关系数最大值RT_1,d和SR_d‑1与T_d‑1的相关系数RT_2,d；计算ΔRT_2,d＝RT_2,d‑1‑RT_2,d，当差值ΔRT_2,d大于给定的阈值ΔR且RT_2,d<0.95时，第d个区域的匹配模板为否则，第d个区域的匹配模板为T_d‑1；其中，T′_d‑1的求取方法如下：设R_d‑1为m₁×n₁的图像，T_d‑1为k₁×l₁的图像，取M₁＝max{m₁,k₁}，N₁＝max{n₁,l₁}，将T_d‑1扩展成M₁×N₁的图像T′_d‑1，扩展部分的灰度值设置为0；步骤3‑2，对任意一个期望的目标运动区域，利用对应的模板进行目标检测；第一种情况，当前区域采用前一个区域的模板进行检测，预先设定分辨率a及该分辨率对应的阈值若相关系数最大值则认为检测到目标，停止搜索；若则在大于预设分辨率的分辨率下进行检测，如果检测到目标，则停止搜索；若则认为当前区域不存在目标；如果上述过程未检测到目标且各个分辨率下RT_1,d的最大值大于等于则更新模板后重复上述搜索过程；第二种情况，当前区域采用更新后的模板进行检测，预先设定分辨率a及该分辨率对应的阈值若相关系数最大值则认为检测到目标，停止搜索；若则在大于预设分辨率的分辨率下进行检测，如果检测到目标，则停止搜索；若则认为当前区域不存在目标；如果上述两种情况均未检测到目标，则跳至下一个区域并重复上述两种情况，直至检测到目标。