[发明专利]一种面向异步双目视觉系统的快速运动物体轨迹估计方法

摘要

本发明提供来一种面向异步双目视觉系统的快速运动物体轨迹估计方法，通过对快速运动物体的轨迹模型和摄像机的投影模型进行联合建模，并利用LM迭代优化算法对快速运动物体的轨迹参数和异步双目视觉系统的时间参数进行辨识，在得到快速运动物体轨迹模型的同时，得到一部双目视觉系统的异步信息，解决了当双目视觉系统存在异步情况时，无法对快速运动物体的轨迹进行估计的难题。

主权项

一种面向异步双目视觉系统的快速运动物体轨迹估计方法，其特征在于：在双目视觉系统中，左摄像机和右摄像机组成异步双目摄像机，左、右摄像机中的第一摄像机采样频率恒定且已知，第二摄像机采样频率恒定但未知；左、右两个摄像机的投影模型都满足以下模型：假设在世界坐标系下有一点P，齐次坐标为其通过摄像机投影，在图像坐标系上的齐次坐标为满足等式其中$H=A\left[\begin{array}{cc}R& T\\ 0^T& 1\end{array}\right],$$K=\left[\begin{array}{cccc}0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& T\\ 0^T& 1\end{array}\right],$A是摄像机内参矩阵，包含了摄像机从三维空间到二维图像投影映射的所有参数，R、T是摄像机外参矩阵，包含了摄像机自身坐标系与世界坐标系之间的相对关系，R是表示坐标系旋转关系的旋转矩阵，T是表示坐标系平移关系的平移矩阵；快速运动物体的轨迹模型针对模型可建的运动，所述轨迹模型为：Q(t)＝（X(t),Y(t),Z(t))^T，其中X(t)、Y(t)、Z(t)为关于时间t的任意方程式，假设X(t)包含n_X个未知数，假设Y(t)包含n_Y个未知数，假设Z(t)包含n_Z个未知数，则Q(t)包含总的未知数个数n＝n_X+n_Y+n_Z；所述快速运动物体轨迹估计方法包括以下步骤：步骤一，将两个摄像机当成是双目同步采样的，结合各自的摄像机投影模型，通过对运动中连续s个目标点的三角测量定位和轨迹的拟合，辨识得到快速运动物体的轨迹模型参数的初始值这些参数包含了运动物体初始位置和初始速度；假设第一摄像机相邻两帧采样的时间间隔为t₁，第二摄像机相邻两帧采样的时间间隔为t₂，其初始值设为第一和第二摄像机采样第一帧的采样时间差t_1,2的初始值设为令所有需要求解的参数为E，其初始值为步骤二，在时间轴上设定滑动窗口，其长度为CB，在滑动窗口的时间内，根据两个摄像机各自的采样时间点，对快速运动物体的轨迹进行采样，每个采样点满足：$\left\{\begin{array}{c}{\tilde{m}}_1^i=\frac{H_1^i\tilde{Q}((i-1)\×t_1)}{K_1^i\tilde{Q}((i-1)\×t_1)},(i=\mathrm{1,2,3},\mathrm{\Λ},p)\\ {\tilde{m}}_2^j=\frac{H_2^j\tilde{Q}(t_{\mathrm{1,2}}+(j-1)\×t_2)}{K_2^j\tilde{Q}(t_{\mathrm{1,2}}+(j-1)\×t_2)},(j=\mathrm{1,2,3},\mathrm{\Λ},q)\end{array}\right.$其中，在时刻t_i，快速运动物体的位置是Q(t_i)，其通过第一摄像机投影模型映射后的图像坐标的齐次坐标为在时刻t_j，快速运动物体的位置是Q(t_j)，其通过第二摄像机投影模型映射后的图像坐标的齐次坐标为t_i＝(i‑1)×t₁是第一摄像机在滑动窗口内的采样时间点，t_j＝t_1，2+(j‑1)×t₂是第二摄像机在滑动窗口内的采样时间点，p是在滑动窗口内第一摄像机所能采样到的快速运动物体的图像坐标数，q是在滑动窗口内第二摄像机所能采样到的快速运动物体的图像坐标数，是第一摄像机的参数H、K在t_i时刻的数值，是第二摄像机的参数H、K在t_j时刻的数值；步骤三，通过Levenberg‑Marquardt(LM)方法对参数E的初始值进行迭代优化，求解得到E在滑动窗口内的值为E_CB，其中LM方法的目标函数为：$\arg {\mathrm{Min}}_E(\underset{i=1}{\overset{p}{\mathrm{\Σ}}}{\left|\right|{\hat{m}}_1^i-m_1^i\left|\right|}^2+\underset{j=1}{\overset{q}{\mathrm{\Σ}}}{\left|\right|{\hat{m}}_2^j-m_2^j\left|\right|}^2),$是第一摄像机在时刻t_i观测到的快速运动物体的图像坐标，是第二摄像机在时刻t_j观测到的快速运动物体的图像坐标；；步骤四，随着滑动窗口的滑动，采用迭代优化的方法，将步骤三优化得到的参数作为初始值，即代入步骤三，不断循环步骤三和步骤四，直到前后两次求解结果的差小于一定值；得到快速运动物体的运动轨迹。