[发明专利]一种基于眉部和眼部关键点信息的疲劳检测方法

摘要

本发明公开了一种基于眉部和眼部关键点信息的疲劳检测方法，包括步骤：一、驾驶员人脸图像的采集；二、驾驶员眉部和眼部之间开合度的获取；三、驾驶员疲劳状态的判断。本发明方法步骤简单，结合眉部和眼部特征点，得到驾驶员眉部和眼部之间开合度，并对眉部和眼部之间开合度进行判断，实现眼睛开闭状态的检测，可有效提高眼睛开闭状态检测的准确性，进而实现驾驶员疲劳状态检测的准确性，实用性强。

主权项

1.一种基于眉部和眼部关键点信息的疲劳检测方法，该方法所采用的装置包括微处理器(1)以及与微处理器(1)相接的液晶触摸屏(7)和用于采集驾驶员人脸图像的摄像头(2)，所述微处理器(1)的输入端接有报警模式选择按键(3)、手动开补光按键(4)、手动关补光按键(5)和自动补光按键(12)，以及用于检测驾驶脸部所处环境光照度的光照度传感器(6)，所述微处理器(1)的输出端接有语音报警模块(8)、闪烁灯报警模块(9)和补光灯(10)，其特征在于，该方法包括以下步骤：步骤一、驾驶员人脸图像的采集：摄像头(2)按照预先设定的采样时间对驾驶过程中的驾驶员人脸图像进行采集，并将每一个采样时刻所采集到的驾驶过程中的驾驶员人脸图像称作疲劳测试图像，则将疲劳测试图像发送至微处理器(1)；步骤二、驾驶员眉部和眼部之间开合度的获取：微处理器(1)按照采样时间先后顺序对步骤一中各个采样时刻所采集到的疲劳测试图像分别进行处理，获取驾驶员眉部和眼部之间开合度，且对各个采样时刻所采集到的疲劳测试图像分别进行处理获取驾驶员眉部和眼部之间开合度的方法均相同，任一个采样时刻所采集的疲劳测试图像进行处理时，包括以下步骤：步骤201、微处理器(1)调取级联分类器模块对当前采样时刻所采集到的疲劳测试图像进行人脸检测，当前采样时刻所采集到的疲劳测试图像中不存在人脸图像区域时，执行步骤202；当前采样时刻所采集到的疲劳测试图像中存在人脸图像区域时，执行步骤203；步骤202、重复步骤201对下一个采样时刻所采集到的疲劳测试图像进行人脸检测；步骤203、微处理器(1)对当前采样时刻所采集到的疲劳测试图像进行处理，具体过程如下：步骤2031、微处理器(1)根据基于点分布模型的主动形状模型算法对当前采样时刻所采集到的疲劳测试图像进行人脸特征点提取，并获取人脸特征点；其中，人脸特征点中包括人脸整体区域的特征点、左眉特征点、右眉特征点、鼻子特征点、左眼特征点和右眼特征点和嘴部特征点，且左眉特征点和右眉特征点的数量均为5个，左眼特征点中左眼上眼睑的特征点和左眼下眼睑的特征点以及右眼特征点中右眼上眼睑的特征点和左眼下眼睑的特征点的数量均为2个；步骤2032、微处理器(1)调用眼部提取模块对步骤2031中的人脸特征点进行眼部特征点提取，获得左眼特征点和右眼特征点；并采用微处理器(1)调用像素坐标模块对左眼特征点的像素坐标和右眼特征点的像素坐标提取，获得左眼特征点的像素坐标和右眼特征点的像素坐标；步骤2033、微处理器(1)调用眉部提取模块对步骤2031中的人脸特征点进行眉部特征点提取，获得左眉特征点和右眉特征点；并采用微处理器(1)调用像素坐标模块对左眉特征点的像素坐标和右眉特征点的像素坐标提取，获得左眉特征点的像素坐标和右眉特征点的像素坐标；步骤2034、微处理器(1)将左眉中部特征点的像素坐标记作P_zm,i(u_zm,i,v_zm,i)，微处理器(1)将右眉中部特征点的像素坐标记作P_ym,i(u_ym,i,v_ym,i)；其中，i表示当前采样时刻所采集到的疲劳测试图像的序号，且i为正整数；步骤2035、微处理器(1)将左眼上眼睑上的两个特征点的像素坐标分别记作和微处理器(1)将左眼下眼睑上的两个特征点的像素坐标分别记作和微处理器(1)将右眼上眼睑上的两个特征点的像素坐标分别记作和微处理器(1)将右眼下眼睑上的两个特征点的像素坐标分别记作和步骤2036、微处理器(1)根据公式得到左眼上眼睑中部的像素坐标P_zsz,i(u_zsz,i,v_zsz,i)，微处理器(1)根据公式得到左眼下眼睑中部的像素坐标P_zxz,i(u_zxz,i,v_zxz,i)；微处理器(1)根据公式得到右眼上眼睑中部的像素坐标P_ysz,i(u_ysz,i,v_ysz,i)，微处理器(1)根据公式得到右眼下眼睑中部的像素坐标P_yxz,i(u_yxz,i,v_yxz,i)；步骤2037、微处理器(1)根据公式得到左眉距左眼上眼睑的距离d_zs,i，微处理器(1)根据公式得到左眼上下眼睑的距离d_zx,i；微处理器(1)并根据公式得到当前采样时刻所采集到的疲劳测试图像中左眉与左眼之间的开合度λ_z,i；步骤2038、微处理器(1)根据公式得到右眉距右眼上眼睑的距离d_ys,i，微处理器(1)根据公式得到右眼上下眼睑的距离d_yx,i；微处理器(1)并根据公式得到当前采样时刻所采集到的疲劳测试图像中右眉与右眼之间的开合度λ_y,i；步骤三、驾驶员疲劳状态的判断：步骤301、微处理器(1)根据判断条件进行判断，当成立，执行步骤302；否则，执行步骤303；其中，λ_zbs表示左眼闭眼设定值，λ_ybs表示右眼闭眼设定值；步骤302、当成立，说明驾驶员闭眼，则闭眼次数N_b加1；其中，闭眼次数N_b的初始值为零；步骤303、微处理器(1)根据判断条件进行判断，当成立，执行步骤304；否则，执行步骤305；其中，λ_zzs表示左眼睁眼设定值，λ_yzs表示右眼睁眼设定值，且λ_zbs>λ_zzs，λ_ybs>λ_yzs；步骤304、当成立，说明驾驶员睁眼，则睁眼次数N_z加1；其中，睁眼次数N_z的初始值为零；步骤305、微处理器(1)对下一帧疲劳测试图像中左眉与左眼之间的开合度λ_z,i+1和下一帧疲劳测试图像中右眉与右眼之间的开合度λ_y,i+1进行判断，直至达到预先设定的判断时间，获得判断时间内睁眼总次数N_zc和闭眼总次数N_bc；步骤306、微处理器(1)根据判断条件进行判断，当成立时，执行步骤307；否则，执行步骤308；步骤307、当成立时，说明驾驶员闭眼处于疲劳状态，微处理器(1)控制语音报警模块(8)进行语音报警，同时，微处理器(1)控制闪烁灯报警模块(9)闪烁报警；步骤308、微处理器(1)对下一个判断时间内睁眼总次数与闭眼总次数之比进行判断；步骤一中采集驾驶过程中的驾驶员人脸图像之前，先获取左眼闭眼设定值λ_zbs和右眼闭眼设定值λ_ybs、以及左眼睁眼设定值λ_zzs和右眼睁眼设定值λ_yzs，其中，获取左眼闭眼设定值λ_zbs和右眼闭眼设定值λ_ybs的具体过程如下：步骤A、驾驶员正常闭眼人脸图像的采集及上传：摄像头(2)按照预先设定的采样时间对驾驶员坐在驾驶位置时驾驶员正常闭眼的人脸图像进行采集，并将每一个采样时刻所采集到的驾驶员正常闭眼的人脸图像称作正常闭眼图像，则将正常闭眼图像发送至微处理器(1)；其中，驾驶员正常闭眼的时间为2秒；步骤B、直至摄像头(2)采集到的正常闭眼图像的帧数达到预先设定的正常闭眼图像设定总帧数M_b；步骤C、驾驶员正常闭眼时眉部和眼部之间开合度的获取：微处理器(1)对步骤A中各帧正常闭眼图像分别进行处理，获取驾驶员正常闭眼时眉部和眼部之间开合度，且对各帧正常闭眼图像分别进行处理获取驾驶员正常闭眼时眉部和眼部之间开合度的方法均相同，任一帧正常闭眼图像进行处理时，包括以下步骤：步骤C01、按照步骤201至步骤203所述的方法，对正常闭眼图像进行处理，得到驾驶员正常闭眼时左眉与左眼之间的开合度和驾驶员正常闭眼时右眉与右眼之间的开合度其中，j表示正常闭眼图像按照采样时间先后顺序的帧数序号，且j为1～M_b的正整数；步骤C02、多次重复步骤C01，获得多个驾驶员正常闭眼时左眉与左眼之间的开合度和驾驶员正常闭眼时右眉与右眼之间的开合度；步骤D、左眼闭眼开合度均值和右眼闭眼开合度均值的获取：步骤D01、微处理器(1)根据公式得到左眼闭眼开合度均值微处理器(1)根据公式得到右眼闭眼开合度均值步骤D02、微处理器(1)根据公式得到左眼闭眼设定值λ_zbs，微处理器(1)根据公式得到右眼闭眼设定值λ_ybs；其中，β_b表示闭眼因子，且0.8≤β_b<1；其中，获取左眼睁眼设定值λ_zzs和右眼睁眼设定值λ_yzs的具体过程如下：步骤Ⅰ、驾驶员正常睁眼人脸图像的采集及上传：摄像头(2)按照预先设定的采样时间对驾驶员坐在驾驶位置时驾驶员正常睁眼的人脸图像进行采集，并将每一个采样时刻所采集到的驾驶员正常睁眼的人脸图像称作正常睁眼图像，则将正常睁眼图像发送至微处理器(1)；其中，驾驶员正常睁眼的时间为2秒；步骤Ⅱ、直至摄像头(2)采集到的正常睁眼图像的帧数达到预先设定的正常睁眼图像设定总帧数M_z；步骤Ⅲ、驾驶员正常睁眼时眉部和眼部之间开合度的获取：微处理器(1)对步骤Ⅰ中各帧正常睁眼图像分别进行处理，获取驾驶员正常睁眼时眉部与眼部之间开合度，且对各帧正常睁眼图像分别进行处理获取驾驶员正常睁眼时眉部与眼部之间开合度的方法均相同，任一帧正常睁眼图像进行处理时，包括以下步骤：步骤Ⅲ‑1、按照步骤201至步骤203所述的方法，对正常睁眼图像进行处理，得到驾驶员正常睁眼时左眉与左眼之间的开合度和驾驶员正常睁眼时右眉与右眼之间的开合度其中，j′表示正常睁眼图像按照采样时间先后顺序的帧数序号，且j′为1～M_z的正整数；步骤Ⅲ‑2、多次重复步骤Ⅲ‑1，获得多个驾驶员正常睁眼时左眉与左眼之间的开合度和驾驶员正常睁眼时右眉与右眼之间的开合度；步骤Ⅳ、左眼睁眼开合度均值和右眼睁眼开合度均值的获取：步骤Ⅳ‑1、微处理器(1)根据公式得到左眼睁眼开合度均值微处理器(1)根据公式得到右眼睁眼开合度均值步骤Ⅳ‑2、微处理器(1)根据公式得到左眼睁眼设定值λ_zzs，微处理器(1)根据公式得到右眼睁眼设定值λ_yzs；其中，β_b表示睁眼因子，且1≤β_z<1.2；其中，