[发明专利]直线移动PTZ相机辅助双目PTZ视觉系统的主从跟踪方法

摘要

本发明公开了一种直线移动PTZ相机辅助双目PTZ视觉系统的主从跟踪方法，包括步骤：一、构建直线移动PTZ相机辅助双目PTZ视觉系统的数据获取平台；二、固定主监控PTZ相机控制直线移动PTZ相机锁定嫌疑目标，两相机均在短焦距下对嫌疑目标进行持续跟踪；三、分别对固定主监控PTZ相机和直线移动PTZ相机中的嫌疑目标前景区域进行估计；四、获取嫌疑目标前景区域的绝对深度值；五、调节嫌疑目标深度估计的精确度；六、估计固定从监控PTZ相机的控制参数并实现长焦距下嫌疑目标的主动跟踪。本发明在双目PTZ视觉系统的基础上，引入直线移动的PTZ相机，由粗到精的对嫌疑目标前景区域深度进行估计，并估计固定从监控PTZ相机的控制参数，实现双目PTZ视觉系统的主从跟踪。

主权项

1.直线移动PTZ相机辅助双目PTZ视觉系统的主从跟踪方法，其特征在于，该方法包括以下步骤：步骤一、构建直线移动PTZ相机辅助双目PTZ视觉系统的数据获取平台：在竖板(5)上等高位置处安装第一固定监控PTZ相机(1)和第二固定监控PTZ相机(2)，在竖板(5)上位于第一固定监控PTZ相机(1)和第二固定监控PTZ相机(2)下侧安装滑轨(4)，滑轨(4)长度方向的中轴线与第一固定监控PTZ相机(1)和第二固定监控PTZ相机(2)中心连线平行，在滑轨(4)上安装直线移动PTZ相机(3)，第一固定监控PTZ相机(1)、第二固定监控PTZ相机(2)和直线移动PTZ相机(3)均与计算机连接，第一固定监控PTZ相机(1)、第二固定监控PTZ相机(2)和直线移动PTZ相机(3)的摄像机坐标系的X轴、Y轴、Z轴分别相互平行；第一固定监控PTZ相机(1)、第二固定监控PTZ相机(2)、直线移动PTZ相机(3)、滑轨(4)、竖板(5)和所述计算机构成直线移动PTZ相机辅助双目PTZ视觉系统的数据获取平台；在直线移动PTZ相机辅助双目PTZ视觉系统的数据获取平台中第一固定监控PTZ相机(1)和第二固定监控PTZ相机(2)中任一一台相机作为固定主监控PTZ相机，另外一台相机作为固定从监控PTZ相机；步骤二、固定主监控PTZ相机控制直线移动PTZ相机锁定嫌疑目标，两相机均在短焦距下对嫌疑目标进行持续跟踪，过程如下：步骤201、离线采样固定主监控PTZ相机图像坐标和直线移动PTZ相机(3)的初始控制参数，并以数据表格的形式存储在计算机；控制参数包括相机的pan转动参数、tilt转动参数和zoom焦距参数；步骤202、在固定主监控PTZ相机监控界面上选择嫌疑目标，计算机查询数据表格，将控制参数反馈给直线移动PTZ相机(3)，从而使直线移动PTZ相机(3)在短焦距下锁定嫌疑目标；步骤203、固定主监控PTZ相机利用均值漂移算法在短焦距下持续跟踪嫌疑目标，并逐帧计算嫌疑目标质心与图像边界的距离，若嫌疑目标质心与图像边界的距离小于像素阈值，则利用公式对固定主监控PTZ相机的pan转动参数和tilt转动参数进行更新，从而使嫌疑目标锁定在固定主监控PTZ相机的图像中心位置，并持续利用均值漂移算法在短焦距下对嫌疑目标进行跟踪，其中，(x₁,y₁)为嫌疑目标质心坐标，(u₁,v₁)为固定主监控PTZ相机的图像中心坐标，f₁为固定主监控PTZ相机的等效焦距，Δp₁为固定主监控PTZ相机pan转动参数需要改变的绝对夹角，Δt₁为固定主监控PTZ相机tilt转动参数需要改变的绝对夹角，(p₁,t₁)为固定主监控PTZ相机pan转动参数和tilt转动参数改变前的数据，(p′₁,t′₁)为固定主监控PTZ相机pan转动参数和tilt转动参数改变后的数据；步骤204、直线移动PTZ相机(3)在短焦距下持续对嫌疑目标进行跟踪，跟踪方法与固定主监控PTZ相机在短焦距下持续对嫌疑目标进行跟踪的方法一致；步骤三、分别对固定主监控PTZ相机和直线移动PTZ相机中的嫌疑目标前景区域进行估计，过程如下：步骤301、对固定主监控PTZ相机获取的邻近帧图像和的背景区域的对应点建立相似变换关系，即为图像的背景区域的点坐标，为图像的背景区域对应的点坐标，和均为齐次坐标，为相似变换模型，c_x和d_x为固定主监控PTZ相机获取的邻近帧图像水平方向上的变换参数，c_y和d_y为固定主监控PTZ相机获取的邻近帧图像垂直方向上的变换参数；步骤302、将图像在水平方向上n等分，得到图像在水平方向上的块图像集合图像在水平方向上的每个块图像的尺寸均为(W,h)，其中，W为图像的长度尺寸，h为每个块图像的高度尺寸且H为图像的高度尺寸；构建图像对应的水平方向子图像集合图像对应的水平方向子图像集合中每个子图像尺寸为(W,2h)，即以此类推根据公式计算图像对应的水平方向每个子图像的平均灰度向量i为每个子图像水平方向上的像素编号，j为每个子图像垂直方向上的像素编号；步骤303、构建图像对应的水平方向子图像集合以及图像对应的水平方向每个子图像的平均灰度向量过程与构建图像对应的水平方向子图像集合的过程一致；步骤304、在邻近帧图像对应位置子图像的平均灰度向量对中，遍历搜索灰度局部极值，其中，k为子图像编号；根据公式获取图像子图像上灰度局部极值和图像子图像上灰度局部极值和构成一对横坐标对应关系，其中，为图像子图像上灰度局部极值对应的横坐标，为图像子图像上灰度局部极值对应的横坐标，dis(·)为两坐标之间的距离函数；步骤305、多次重复步骤304，遍历邻近帧图像的所有子图像对的对应横坐标的对应关系集合；然后利用Hough变换去除邻近帧图像的所有子图像对的对应横坐标的对应关系集合中的外点，得到内点集合r为内点编号且r＝1,2，...，M；M为内点集合中的对应点数目；根据内点集合构建方程组利用最小二乘算法求解内点集合构建的方程组，得到相似变换模型中固定主监控PTZ相机获取的邻近帧图像水平方向上的变换参数c_x和d_x的最优估计值；步骤306、将图像和在垂直方向上均匀切分，计算每个子图像的平均灰度向量，估计灰度局部极值的对应关系，从而得到相似变换模型中固定主监控PTZ相机获取的邻近帧图像垂直方向上的变换参数c_y和d_y的最优估计值，其过程与图像和在水平方向上的过程一致；进而估计出相似变换模型；步骤307、利用相似变换模型，对图像进行相似变换，得到临时图像然后将图像与图像进行像素级差分运算，灰度差分结果不为0且位于嫌疑目标跟踪矩形框内的像素区域，即为固定主监控PTZ相机的嫌疑目标前景区域；步骤308、对直线移动PTZ相机中的嫌疑目标前景区域进行估计，估计方法与固定主监控PTZ相机的嫌疑目标前景区域的估计方法一致；步骤四、获取嫌疑目标前景区域的绝对深度值，过程如下：步骤401、利用球面立体校正算法对固定主监控PTZ相机、直线移动PTZ相机(3)的嫌疑目标前景区域进行立体校正，然后利用动态规划立体匹配算法估计嫌疑目标前景区域的深度图；步骤402、对所述深度图计算深度平均值，从而得到嫌疑目标前景区域的绝对深度值步骤五、调节嫌疑目标深度估计的精确度，过程如下：步骤501、根据公式计算嫌疑目标深度估计的精确度其中，ε为常数，为固定主监控PTZ相机和直线移动PTZ相机(3)的zoom焦距参数的初始值，为直线移动PTZ相机(3)初始位置的中心至固定主监控PTZ相机的中心的距离；步骤502、根据公式判断嫌疑目标深度估计的精确度是否满足要求，当时，执行步骤六；否则，执行步骤503；其中，λ_Δ为精确度阈值；步骤503、根据公式调节直线移动PTZ相机(3)在滑轨(4)上的位置，使直线移动PTZ相机(3)的中心至固定主监控PTZ相机的中心的距离为其中，α和β均为根据监控场景实验测定的常数；步骤504、更新直线移动PTZ相机的控制参数，过程如下：步骤5041、利用当前时刻嫌疑目标前景区域的绝对深度值以及固定主监控PTZ相机成像模型，计算嫌疑目标在固定主监控PTZ相机的三维坐标步骤5042、根据公式计算直线移动PTZ相机(3)到达指定位置后，嫌疑目标在直线移动PTZ相机(3)的三维坐标其中，为直线移动PTZ相机(3)到达指定位置处，嫌疑目标在直线移动PTZ相机(3)三维坐标系中X轴上的坐标值，为直线移动PTZ相机(3)到达指定位置处，嫌疑目标在直线移动PTZ相机(3)三维坐标系中Y轴上的坐标值，为直线移动PTZ相机(3)到达指定位置处，嫌疑目标在直线移动PTZ相机(3)三维坐标系中Z轴上的坐标值；步骤5043、根据公式计算直线移动PTZ相机(3)更新后的pan转动参数和更新后的tilt转动参数步骤505、计算机将直线移动PTZ相机(3)更新后的pan转动参数和更新后的tilt转动参数反馈给直线移动PTZ相机(3)，从而使嫌疑目标重新锁定在直线移动PTZ相机(3)的图像中心位置，并继续利用均值漂移算法在短焦距下进行跟踪，并循环步骤203，直至嫌疑目标深度估计的精确度满足要求，此时，嫌疑目标前景区域的最终绝对深度值为步骤六、估计固定从监控PTZ相机的控制参数并实现长焦距下嫌疑目标的主动跟踪，过程如下：步骤601、利用当前时刻嫌疑目标前景区域的最终绝对深度值为以及固定主监控PTZ相机成像模型，计算嫌疑目标在固定主监控PTZ相机的三维坐标步骤602、根据公式计算嫌疑目标在固定从监控PTZ相机的三维坐标其中，b₁₃为固定主监控PTZ相机和固定从监控PTZ相机之间的距离，为嫌疑目标在固定从监控PTZ相机的三维坐标系中X轴上的坐标值，为嫌疑目标在固定从监控PTZ相机的三维坐标系中Y轴上的坐标值，为嫌疑目标在固定从监控PTZ相机的三维坐标系中Z轴上的坐标值；步骤603、根据公式计算固定从监控PTZ相机的pan转动参数和tilt转动参数步骤604、根据具体监控场景赋予固定从监控PTZ相机的zoom焦距参数为长焦距下的实际数值；步骤605、计算机将固定从监控PTZ相机的pan转动参数tilt转动参数和zoom焦距参数反馈给固定从监控PTZ相机，从而实现长焦距下嫌疑目标的主动跟踪。