[发明专利]基于光流特征的笑脸识别系统及方法

摘要

本发明揭示了一种基于光流特征的笑脸识别系统及方法，所述系统包括特征提取模块、分类识别模块；特征提取模块与分类识别模块连接；特征提取模块包括人脸检测单元、光流计算单元、光流特征生成单元；所述人脸检测单元用于在输入的图像中如果存在人脸区域，则检测出人脸，确定所有人脸的大小、位置和位姿；光流计算单元用于进行光流的计算；所述光流特征生成单元用以获取图像的光流场；分类识别模块用以训练和识别笑脸；在训练和识别中，均要用到特征提取模块得到的特征向量。本发明提出的基于光流特征的笑脸识别系统及方法，结合人脸检测、五官定位等相关技术，采用有效的特征提取方法，取得更加有效的信息，从而提高笑脸识别的准确性。

主权项

一种基于光流特征的笑脸识别系统，其特征在于，所述系统包括：数据库模块、预处理模块、特征提取模块、分类识别模块；所述预处理模块包括图像预处理模块；所述图像预处理模块包括图像平滑单元、尺寸归一化单元、灰度均衡单元；所述图像平滑单元用以利用邻域平均法消除图像噪声；用几个像素灰度的平均值来代替每个像素的灰度；假定有一幅N×N个像素的图像f(x,y)，平滑处理后得到一幅图像为g(x,y)；g(x,y)由下式决定：式中x,y＝0,1,2,……,N－1；S是(x，y)点邻域中点的坐标的集合，但其中不包括(x，y)点，M是集合内坐标点的总数；式(1)说明，平滑化的图像g(x，y)中的每个像素的灰度值均由包含在(x，y)的预定邻域中的f(x，y)几个像素的灰度值的平均值来决定；以(x，y)点为中心，取单位距离构成一个邻域，其中点的坐标集合为S＝{(x，y+1)，(x，y－1)，(x+1，y)，(x－1，y)}  (2)所述图像平滑单元还采用阈值法减少由于邻域平均所产生的模糊效应；当一些点和它的邻域内的点的灰度平均值的差不超过规定的阈值T时，就仍然保留其原灰度值不变，如果大于阈值T时就用它们的平均值来代替该点的灰度值；以减少模糊的程度；其基本方法由下式决定其中，T为规定的非负阈值；所述尺寸归一化单元用以通过尺度校正、平移、旋转的方法去除图像中的结构变形，使人脸图像标准化；所述灰度均衡单元用以减少光照对人脸图像灰度分布的影响，对人脸样本图像进行直方图均衡化；直方图均衡化处理是把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布；所述特征提取模块包括人脸检测单元、光流计算单元、光流特征生成单元；所述特征提取模块用以采用光流特征提取方法；提取光流特征就是对两幅图像做以下 操作：1)输入图像；输入图像为两幅图像，用以测试某一幅表情图像是否是笑脸图像；2)人脸检测；光流特征提取严格针对人脸区域，采用的Jaffe数据库中的图像需要进行人脸检测，剔除周围不相关的区域，得到准确的人脸区域，将人脸区域从图像中提取出来，并进行归一化；所述人脸检测单元在输入的图像中如果存在人脸区域，则检测出人脸，确定所有人脸的大小、位置和位姿；采用Haar‑Like特征与级联的Adaboost学习算法相结合的方法；具体步骤如下：第一步、对人脸进行Haar‑Like特征计算，运用“积分图”算法快速提取特征；目标的特征通常是对待分类目标进行研究后得到的知识进行编码来取得的，用来编码的知识通常很难从原始图像的像素中直接获到；在人脸图像的模型建立过程中，运用人脸的特征能够使得人脸跟非人脸这两个类别的类内距离得到大大的降低；将人脸特征经过不断的延展之后得到新的特征，将此新特征叫做“矩形特征”；表示矩形特征的值通常被人们叫做“特征值”；将训练窗口的规模初始化为W*H个像素点；W代表特征原型长度具有的像素个数，h代表特征原型宽度具有的像素个数；令：X＝(～W)/w，."～"表示对数值取整；一个大小为w*h的特征原型在一个大小为W*H的搜索窗中得到的矩形特征的个数常常用下面的公式的计算结果来表示；利用新的图像表示方法——积分图像，计算矩形特征的特征值，只与此特征矩形的端点的积分图有关，所以不管此特征矩形的尺度变换如何，特征值的计算所消耗的时间都是常量；这样只要遍历图像一次，求得所有子窗口的特征值；积分图的定义为：其中，I(x'，y')为图像在点(x'，y')处的像素值；为了节约时间，减少重复计算，则图像I的积分图按如下递推公式计算：这样就能进行2种运算：第一种运算方法，对任意矩形区域内像素积分；由图像的积分图可方便快速地计算图像中任意矩形内所有像素灰度积分；第二种运算方法，特征值计算；矩形特征的特征值是两个不同的矩形区域像素和之差，由(1)式计算任意矩形特征的特征值；运用积分图快速计算给定的矩形之所有象素值之和Sum(r)；假设r＝(x，y，w，h)，那么此矩形内部所有元素之和等价于下面积分图中下面这个式子：Sum(r)＝ii(x+w，y+h)+ii(x‑1，y‑1)‑ii(x+w，y‑1)‑ii(x‑1，y+h)  (15)第二步、根据AdaBoost算法提取最有效的Haar‑Like特征，经过多次迭代确定各个弱分类器的权值；AdaBoost算法同时进行训练分类器和特征选择的工作，这是它的一个非常重要的特点；AdaBoost算法中的每个弱分类器都与某个特征对应，弱分类器的个数等于矩形特征数；训练过程中从大量的弱分类器中选出一个在当前样本权重分布情况下具有最小分类错误率的弱分类器作为本轮的最优弱分类器，进行T轮训练以后，最终得出T个最具代表性的特征，对应了T个弱分类器，最后根据每个特征的不同权值加权后连接得到一个非常强大的分类器；令X为训练样本空间，Y＝{0，1}中包含了训练样本可能来自的类别的记号；1代表正的样本点，即人脸样本，0代表负的样本点，即非人脸样本；假设一共有K个矩形特征；w_t,j代表第t轮迭代过程中的第j个样本点所具有的权重；算法的具体实现通常包含下面的4个重要环节：(1)已知训练样本集X＝{(x₁,y₁),(x₂,y₂),…,(x_n,y_n)}；式中x_i∈X；假定训练集中共包含l个人脸样本点，m个非人类样本点，l+m＝n；(2)给每个样本点一个起始权重；(3)对于t＝l，…，T；T为循环次数；①对样本所具有的权重执行归一化操作；②针对每一个特征j，在已知的样本权重分布情况下训练得到弱分类器h_t,j(x)，通过计算得到每个弱分类器对样本集的分类错误率，其中j＝1,2，…，n  (16)③确定第t轮迭代的最优弱分类器h_t(x)，令k＝argminε_t,j，并将样本集的分类错误率取为ε_t＝ε_t,k；④根据获得的最优弱分类器修改样本的权重：其中β_t＝ε_t/(1‑ε_t)；ei＝0，表示x_i被正确分类，ei＝1表示x_i被错误分类；(4)最后得到的强分类器为：式中：第三步、将训练得到的弱分类器进行级联，组成完整的人脸检测系统；为了能够改善人脸检测的时间性能，利用新的分类器结构：分层的级联分类器，分类器包括多层分类器，通过这样的一种分类器组织方式使得人脸检测过程随着层数的递增得到更高的精度；上述的级联分类器的判决过程与经过退化的决策树的判定过程相似，若第i层将搜索子窗判定为“是”，那么这个可能会包含人脸图像的搜索子窗便会被继续派发到第i+1层分类器，同时诱发第i+1层的分类器进行分类工作，如此逐级检测；这种检测方法首先副除巨量的不包含人脸图像的搜索子窗，从而使得人脸检测的时间性能得到优化；Adaboost分类器的训练过程包括：利用光流计算单元计算光流；采用Horn‑Schunck算法进行光流(u,v)的计算，设定搜索窗口为1，计算得到的光流特征向量维数为(100/2)*(100/2)＝2500；Horn‑Schunck算法核心思想是：图像上每一点的光流之间都有联系，光流在整个图像范围内应该是平滑变化的，所以引入了平滑性约束，使平滑约束项极小化；设平滑性约束项为极小化：结合基本等式，要求极小化：E_c＝∫∫(I_xu+I_yv+I_t)²dxdy  (19) 结合式18和式19可知，最后求得的光流应满足式20：这里λ的取值要考虑噪声情况，噪声较强，则说明图像数据本身具有较低的置信度，这时便需要更多的依赖加入的光流约束，λ取较小的值；反之，若噪声较弱，λ取较大的值；此时，问题将转化为求解Lagrangian最小化问题；对形如式20的形式变分问题min{∫∫F(u,v,u_x,u_y,v_x,v_y)dxdy}  (21) 的解释对应Euler方程21的解式21中对应的Euler方程为其中，▽²是Laplace算子；实际计算过程中，处理对象为离散化的坐标，相应的，要对式23进行离散化处理：离散化为(I_xu+I_yv+I_t)²离散化为c_ij＝(I_xu_ij+I_yv_ij+I_t)²  (26) 极小化目标函数为此时，对其求关于u_kl和v_kl的偏导，并令其为0，有其中，和分别是u_kl和v_kl的四邻域平均，于是得到迭代过程对I_x，I_y和I_t进行离散化，代入式中求解光流；如果设定迭代初始值(u⁰,v⁰)＝(0,0)，则根据中性图像，利用Horn‑Schunck计算出表情图像中每一点的光流矢量，所有点的光流矢量共同构成这幅表情图像的光流特征；所述系统中的Horn‑Schunck算法计算的是稠密光流的速度场，即，将图像中的每个像素都与速度关联，针对每个像素分别计算光流向量的u和v两个分量；所述光流特征生成单元用以获取图像Horn‑Schunck光流场，图像Horn‑Schunck光流场的获取需要四个步骤：(1)计算像素点的光流分量；计算的依据是Horn‑Schunck算法中的光流(u，v)迭代公式(式29、30、31)；(2)设定搜索窗口大小；经过多次设定搜索窗口的大小，通过笑脸识别的结果，得出本系统中最合适的窗口大小为2*2，即设定winsize＝1；(3)计算窗口中的光流特征值；在每一个2*2的窗口中，含有4个像素点，对这4个像素点的u和v分量进行加法运算，得到该窗口的(u，v)分量，根据计算光流特征值；(4)获取图像的光流特征向量；将所有窗口计算所得的光流特征值串联起来，组成整幅图像的光流特征向量；所述分类识别模块用以训练和识别笑脸；在训练和识别中，均要用到特征提取模块得到的特征向量；训练的目的是通过对大量训练样本的特征向量进行机器学习，得到能够最大限度地区分出笑脸和非笑脸的分类器；识别过程是将测试样本通过特征提取模块之后得到的特征向量，送入训练得到的笑脸分类器，通过一系列对比和划分，最终得到测试样本所属的类别；在分类识别模块采用随机森林的分类方法，随机森林RF是一种联合分类器，每棵决策树都是一个基础分类器，多个决策树共同构成随机森林；决策树在每个节点随机从属性集中选取若干候选属性，根据Gini系数最小原则选择分类属性和阈值；每一棵树都依赖于独立抽样，并与森林中所有树具有相同分布的随机向量的值；采用随机森林分类RFC时，每棵树都投票并返回得票最多的类；决策树与流程图的树结构相类似，其中，每个内部节点都是一个分裂问题，每个分支代表该测试的一个输出，而每个树叶节点存放一个类标号；树的最顶层节点是根节点；决策树构建的基本步骤如下：(1)开始，所有记录看作一个节点；(2)遍历每个变量的每一种分割方式，找到最好的分割点；(3)分割成两个节点N₁和N₂；(4)对N₁和N₂分别继续执行2‑3步，直到每个节点足够“纯”为止；采用Gini系数：来对决策树进行量化纯度；如果记录被分为n类，每一类的比例P(i)＝第i类的数目/总数目；Gini系数值越大，表示越“不纯”，越小表示越“纯”；纯度差为：其中，I代表不纯度(也就是上面三个公式的任意一种)，K代表分割的节点数，一般K＝2；v_j表示子节点中的记录数目；上面公式实际上就是当前节点的不纯度减去子节点不纯度的加权平均数，权重由子节点记录数与当前节点记录数的比例决定；决策树的构建过程是一个递归的过程，所以需要确定停止条件，否则过程将不会结束；当前节点中的记录数低于一个最小的阈值，那么就停止分割，将max(P(i))对应的分类作为当前叶节点的分类；决策树T构建好后，需要估计预测准确率；直观说明，比如N条测试数据，X预测正 确的记录数，那么可以估计acc＝X/N为T的准确率；但是，这样不是很科学；因为我们是通过样本估计的准确率，很有可能存在偏差；所以，比较科学的方法是估计一个准确率的区间，这里就要用到统计学中的置信区间；设T的准确率p是一个客观存在的值，X的概率分布为X～B(N,p)，即X遵循概率为p，次数为N的二项分布(Binomial Distribution)，期望E(X)＝N*p，方差Var(X)＝N*p*(1‑p)；由于当N很大时，二项分布可以近似有正太分布(Normal Distribution)计算，一般N会很大，所以X～N(np,n*p*(1‑p))；算出，acc＝X/N的期望E(acc)＝E(X/N)＝E(X)/N＝p，方差Var(acc)＝Var(X/N)＝Var(X)/N²＝p*(1‑p)/N，所以acc～N(p,p*(1‑p)/N)；这样，就通过正太分布的置信区间的计算方式计算执行区间；正太分布的置信区间求解如下：(1)将acc标准化，即(2)选择置信水平α＝95％，或其他值，这取决于你需要对这个区间有多自信；一般来说，α越大，区间越大；(3)求出α/2和1‑α/2对应的标准正太分布的统计量Z_a/2和Z_1‑a/2，Z_a/2和Z_1‑a/2均为常量；然后解下面关于p的不等式；acc由样本估计得出；即可以得到关于p的执行区间采用的随机森林，由两种随机算法共同构建，这两种随机算法分别是装袋法，和基于输入的构建方法；装袋法bagging是一个统计重采样的组合技术，利用有放回的随机重采样来生成多个版本的预测器，然后把这些分类器融合，通常情况下，组合的分类器与单一分类器相比，其分类效果更好，原因是在最终解决问题时，结合了所有单独分类器的特点；利用bagging方法来生成训练集，其具体思想及操作步骤是：原始训练集D中，由于抽取样本的随机性，每个样本未被抽取的概率为(1‑1/N)^N，其中N为原始训练集D中的样本个数；当N足够大时，(1‑1/N)^N将收敛于1/e≈0.368，也就是说，在原始样本集D中，将会有接近37％的样本在抽样时不会出现在bootstrap的样本中，这些未被抽取的数据称为袋外OOB数据，使用袋外数据来估计模型性能的方法称为OOB估计；由于使用OOB估计和使用相同样本容量的测试集的精度一样，就没有必要再使用测试集； 采用的识别率统计由OOB估计来代替；采用Forests‑RI构建随机森林；Forests‑RI构建方法是对输入变量进行随机分组，例如，给定d个样本的训练集D，目的是为组合分类器产生k棵决策树，过程如下：首先，对于每次迭代i(i＝1,2,…,k)，使用有放回抽样，由D产生d个样本的训练集D_i，使得某些样本可能在D_i出现多次，而另一些可能不出现；设F是用来在每个节点决定划分的属性数，其中F远小于可用属性数；为了构造决策树分类器M_i，在每个节点随机选择F个属性作为该节点划分的候选属性；树增长到最大规模，并且不剪枝。