[发明专利]一种基于光流的无人机自动降落引导方法

摘要

本发明提出一种基于光流的无人机自动降落引导方法，在降落过程中通过对光流模块的相机拍摄的实时图像进行处理，确定标志物，估计标志物相对无人机的位置和姿态；将相对位置、姿态信息发送给飞行控制器，从而控制无人机逐步逼近降落目标，最终实现无人机全自主降落。由于无人机在自主飞行和降落过程中，使用下视的光流传感器实现自身的定位，所以能够在无GPS情况下完成自身的视觉定位。而且在GPS失效的情况下，使用光流模块进行辅助定位，能够保证无人机准确的找到降落场地，从而提高无人机降落的可靠性，该方法设计合理，能够在不同情况下实现准确降落，适用性广泛。

主权项

1.一种基于光流的无人机自动降落引导方法，其特征在于：包括以下步骤：步骤1：无人机根据自身飞行高度判断是否需要降低飞行高度，以满足无人机机载相机清晰拍摄降落场地图像要求；当无人机飞行高度满足要求后，无人机机载相机持续拍摄降落场地图像，并将拍摄的图像转换为灰度图；步骤2：根据相邻两帧灰度图像，利用以下方法得到光流场方向和速度：利用SAD算法对相邻两帧灰度图像进行匹配，以n*n的像素区域作为研究区域，选择若干对研究区域中匹配度最好的一对研究区域；再对得到的该对匹配度最好的研究区域中的每对对应像素点的位置作矢量运算，得到像素点的运动方向，对所有像素点的运动方向进行统计，将统计值最大的运动方向作为光流场方向；在相机坐标系下的光流场速度vx及vy利用以下公式得到：其中：Tx、Ty、Tz为世界坐标系下，相邻两帧灰度图像中运动方向为光流场方向的匹配像素点p的运动平移分量，所述世界坐标系以降落场所所在平面作为XY平面，垂直该平面的轴为Z轴；x、y为像平面上的点p在相机坐标系下的坐标，Z为相机成像平面距离降落点的垂直高度，f为相机焦距，ωx、ωy、ωz为点p的运动角速度；步骤3：根据步骤2得到的光流场方向和速度确定无人机的运动方向和速度，其中无人机的运动方向与光流场方向相反，无人机在世界坐标系下的速度Vx、Vy根据以下公式得到：无人机按照确定的运动方向和速度飞行；步骤4：循环进行步骤2和步骤3，直至无人机机载相机拍摄的图像中出现降落场地地标，进入步骤5；步骤5：所述降落场地地标包括外部标记和内部标记；所述内部标记嵌套在外部标记内；当无人机机载相机拍摄图像出现清晰完整外部标记时，无人机进入第一进近域，无人机机载相机持续拍摄图像，根据图像中的外部标记确定无人机降落场地方位和无人机的位姿，调整无人机的飞行方向；无人机根据得到的飞行方向减速下降飞行；当无人机机载相机拍摄图像出现清晰完整内部标记时，无人机进入第二进近域，无人机机载相机持续拍摄图像，根据图像中的内部标记确定无人机降落场地方位和无人机的位姿，调整无人机的飞行方向；无人机根据得到的飞行方向减速降落；其中当无人机进入第一进近域后，无人机机载相机持续拍摄图像，根据图像中的外部标记确定无人机降落场地方位和无人机的位姿，调整无人机的飞行方向的过程为：1)、将拍摄的图像转化为灰度图，并得到二值化的边缘分布图；然后提取边缘分布图的轮廓树信息；2)、根据轮廓树信息，滤除面积小于2/3外部标记面积的轮廓，以及所有无子轮廓的轮廓，在剩余轮廓中选择凸四边形作为候选的外部标记轮廓；3)、对每个候选的外部标记轮廓进行如下处理：将候选的外部标记轮廓图像信息映射到方形区域，所述方形区域为由N*N个完全相同的方格构成的正方形区域；当方格内不少于2/3的像素点为黑色，则判定该方格为黑色；得到方形区域中所有方格颜色；若方形区域最外圈方格不全为黑色，则将该候选外部标记轮廓丢弃，否则按照设定的规则根据方形区域的方格颜色和方向得到二进制码值；4)、将二进制码值中的ID信息与无人机内部存储的ID信息进行对比，得到对比一致的ID信息对应的外部标记，并根据该外部标记的二进制码值中的方位信息确定无人机降落场地方位；5)、依据4)中外部标记最外圈方格的4个角点在相机坐标系中的坐标，结合无人机机载相机参数，利用PnP算法解算得到相机的姿态；根据无人机与无人机机载相机的相对位置关系，得到无人机位姿。