[发明专利]基于视频序列识别的无接触式鼠标控制方法

摘要

本发明公开了一种基于视频序列识别的无接触式鼠标控制方法，包括以下步骤：视频采集、人脸检测、人脸图像预处理、嘴唇定位、提取舌头行为特征向量、舌头行为识别并激发鼠标操作。本发明利用嘴部和舌头动作识别来控制鼠标操作，帮助无手残疾人实现对鼠标的控制。使用本发明，操作人员的头部和眼睛可以自由动作，不受限制，为日常使用电脑提供便利。现有的利用自适应增强AdaBoost算法实现的人脸检测技术，图像检测速率只能达到15帧/秒，不能满足图像检测领域中的实时要求。本发明采用摄像头采集图像大小可调节策略，在小图像上实现人脸检测，提高检测速率，检测速率可提高至25帧/秒。

主权项

一种基于视频序列识别的无接触式鼠标控制方法，其特征在于：包括以下步骤：A、视频采集：使用摄像头采集人脸视频；B、人脸检测：利用自适应增强AdaBoost算法对摄像头采集到的视频序列进行实时检测，定位人脸并保存人脸图像；采用类海尔Haar‑like特征作为人脸图像分类的依据，采用自适应增强AdaBoost算法将多个弱分类器组合生成一个强分类器，采用摄像头采集图像大小可调节方法，利用小图像实现快速实时人脸检测；C、人脸图像预处理：采用快速视网膜皮层Retinex算法进行图像增强，能够提高人脸图像的局部对比度，有效显示淹没在阴影区域中的细节；所述快速视网膜皮层Retinex算法，模拟人类视觉系统全局和局部自适应性，首先对图像进行全局亮度调整，然后对亮度分量进行视网膜皮层Retinex区域自适应增强；D、嘴唇定位：根据人脸结构特征先验知识将人脸图像分割，获取嘴部区域；定义采集到的人脸图像尺寸为W*H，即宽度为W，高度为H，则在人脸图像的下半部分区域即1/2*H的区域进行嘴部检测；检测方法采用灰度投影法；水平灰度投影的极小投影值定位嘴唇所在行；利用人脸结构先验知识定位嘴唇位置；利用垂直灰度投影对嘴唇的定位结果进行二次确认，并保存嘴唇图像；然后对嘴唇图像进行边缘检测，去噪，获取嘴唇形状及位置图像；E、提取舌头行为特征向量：采用步骤D中获取的嘴唇形状及位置图像中的不同区域中像素数目作为特征值向量；采集舌头动作图像，包括舌头左伸、舌头右伸、舌头前伸和嘴部闭合四类图像；F、舌头行为识别：采用训练好的舌头动作分类器来判断舌头行为，如果为舌头左伸，则在当前坐标位置激发鼠标左击事件；如果为舌头右伸，则在当前坐标点激发鼠标右击事件；如果是舌头前伸，则定义中心点，以中心点移动设定鼠标移动；如果嘴部闭合，则保持鼠标位置不动，不激发鼠标任何操作；所述舌头动作分类器采用学习向量量化LVQ神经网络，其训练方式如下：共采集100组嘴部动作图像，每组包括舌头左伸、舌头右伸、舌头前伸和嘴部闭合四类图像；通过嘴唇定位算法，得到每幅图像的嘴唇形状及位置图像并提取特征向量；选择其中70组图像的特征向量输入舌头动作分类器作为正训练样本，对学习向量量化LVQ网络进行训练，30组作为测试样本；分类器输入值为特征向量，输出为四类图像的某一类标识，从而实现识别上述四类图像；G、运行程序：将利用上述步骤编制的鼠标控制系统程序安装到支持Windows XP以上操作系统的电脑中运行。