[发明专利]基于SOPC的适合人机交互的视线跟踪系统

摘要

本发明中公开了基于SOPC的适合人机交互的视线跟踪系统，包括模拟摄像头，红外光源，SOPC平台。摄像头将采集到的模拟图像输入到SOPC平台，利用解码芯片保存为数字图像，采用硬件逻辑模块实现基于haar特征的Adaboost检测算法，对所图像进行人眼区域的检测；在检测到的人眼区域的基础上，进一步利用随机抽样一致性椭圆拟合法进行瞳孔精确定位，进而得到视线向量，再将视线向量信号通过USB传输给计算机，实现人机交互。本发明通过硬件实现人眼区域检测和瞳孔中心提取，最终实现人机交互，具有良好的准确性和实时性，实现了装置的小型化。

主权项

基于SOPC的适合人机交互的视线跟踪系统，其特征在于该系统包括模拟摄像头，红外光源，SOPC平台；其中SOPC平台包括：视频捕获模块、Adaboost人眼检测模块、RANSAC椭圆拟合模块、片上处理器和USB控制器；所述模拟摄像头用于采集用户的正面人脸图像，采集人脸图像时红外光源打开并位于模拟摄像头右侧，在人眼的角膜上形成一个反射亮斑；所述视频捕获模块用于对采集的人脸图像通过视频捕获模块转换成数字图像；所述Adaboost人眼检测模块用于对人脸图像进行人眼区域的定位；所述RANSAC椭圆拟合模块用于在所定位的人眼区域中，对瞳孔精确定位，得到瞳孔中心；同时提取亮斑中心，该中心即红外光源在人眼角膜上形成的反射亮斑的中心位置，对亮斑中心到瞳孔中心的P‑CR向量，采用二维多项式映射得到视线向量，即用户在屏幕的注视点；所述片上处理器负责对上述的视频捕获模块、Adaboost人眼检测模块、RANSAC椭圆拟合模块各进行调度，并通过USB控制器将视线向量传输到计算机作为人机交互的控制信号；所述RANSAC椭圆拟合模块对瞳孔精确定位通过如下步骤实现：(1)瞳孔轮廓预提取：在定位的人眼区域中，使用边缘检测算法提取瞳孔轮廓，生成瞳孔轮廓点集；(2)从瞳孔轮廓点集中随机抽取四个点，生成最小子集；(3)利用所抽取的四个点进行椭圆拟合，确定椭圆参数：椭圆可由方程Ax2+By2+Cx+Dy＝1进行描述，利用四个点的坐标即可求出椭圆参数A,B,C,D；(4)计算瞳孔轮廓点集在步骤(3)求得的椭圆参数下的误差；(5)对步骤(2)至(4)进行重复多次计算，选取误差最小的四个点及其对应的椭圆参数；所述的RANSAC椭圆拟合模块包括以下子模块：伪随机数生成器模块：负责生成伪随机数，从瞳孔轮廓点集中提取最小子集，以线性反馈位移寄存器法实现；矩阵快速逆运算模块：采用基于LU分解的矩阵求逆法，以24位的定点数法实现，在分解过程中根据数据类型采用不同的定点位长；基于代数距离的误差累计模块：代数距离将误差定义为方程在给定样本点下的偏差，也就是拟合误差或残差，椭圆方程如下：F(x,y)＝Ax2+By2+Cx+Dy‑1＝0，对于瞳孔轮廓点集中的一点pi＝{xi,yi}，把坐标值代入方程得到F(xi,yi)，即该点到椭圆的代数距离，也就是把瞳孔轮廓点集中的每个点到椭圆的代数距离的绝对值累加起来，作为衡量最小子集拟合结果的评判标准，其绝对值越小，则误差越小，拟合结果越佳；上述Adaboost人眼检测模块采用Adaboost算法的人眼区域定位步骤包括：首先对待检测图像进行缩放，以检测不同尺寸的人眼，然后以固定尺寸的子窗口对图形进行遍历，计算每个候选子窗口的积分图，按顺序进行分类器检测，计算分类器中每个Haar特征的特征值，并与特征阈值比较，选择累计因子，当前分类器中所有特征累计因子的和即为人眼的相似度，如果相似度大于该分类器的阈值则进入下一级检测，否则该候选子窗口被淘汰并重新选择下一个子窗口，直至完成所有子窗口的检测，通过全部级数检测的子窗口即为人眼窗口，所述瞳孔精确定位的步骤包括：(1)瞳孔图像预处理，提取轮廓：采用边缘检测法提取瞳孔的大致轮廓，生成一个瞳孔轮廓点集，(2)从瞳孔轮廓点集中随机抽取四个点，生成最小子集：随机数由伪随机数生成器产生，本方法中伪随机数生成器采用线性反馈移位寄存器来实现，共16级寄存器，其特征多项式为p(x)＝x^16+x^12+x^3+x+1；(3)由选取的四个点进行椭圆拟合，确定椭圆参数：在人眼图像中瞳孔是呈水平方向的椭圆，因而在平面直角坐标系中可以用以下方程描述：Ax2+By2+Cx+Dy＝1采用(2)中随机抽取的四个点，可构成以下线性方程组：通过基于LU分解的矩阵求逆法解出A,B,C,D四个参数；(4)计算瞳孔轮廓点集在步骤(3)求得的椭圆参数下的误差：基于代数距离的误差累计模块作为随机样本拟合结果的评价标准，它对矩阵逆运算模块的系数结果进行校验， 本发明采用基于代数距离的误差基准；代数误差将误差距离定义为方程在给定样本点下的偏差，也就是拟合误差或残差；由于代数距离可为负值，对原始定义的代数距离进行了绝对值修正，若瞳孔轮廓点集中的点个数为m，则对于给定系数[A,B,C,D]的误差定义为：(5)重复步骤(2)至(4)迭代，选取最优集及其对应的椭圆参数：选择F(a)最小时对应的椭圆参数，根据椭圆参数计算出瞳孔中心位置。