[发明专利]一种通过人脸深度预测进行多模态人脸识别的方法

摘要

本发明公开了一种通过人脸深度预测进行多模态人脸识别的方法，其步骤为：数据提取；Depth模态数据人脸分割及尺度化：级联网络模型训练：人脸识别网络训练；模型融合；测试阶段。本发明中网络模型所预测出的人脸Depth图像不仅和真实的人脸Depth图像相近，而且级联的分类网络增加了预测出的Depth图像的类间距离，使得预测出的人脸Depth图像具有更丰富的身份信息。通过人脸RGB模态来预测人脸的Depth模态，增加了人脸模态数据的多样性，可以在不改变现有RGB相机硬件前提下实现多模态人脸识别。RGB模态结合预测出的Depth模态，多模态人脸识别准确率高于单一使用RGB模态数据的人脸识别准确率。

主权项

1.一种通过人脸深度预测进行多模态人脸识别的方法，其特征在于：所述方法的整体步骤为：步骤一、数据提取阶段：利用人脸检测引擎对人脸RGB图像进行人脸检测和关键点定位，裁切出人脸区域并将人脸区域保存为256x256像素大小的图像；步骤二、Depth模态数据人脸分割及尺度化：a、获取crop出的人脸Depth数据的直方图；b、对直方图做平滑处理，消除存在的噪声；c、在平滑后的直方图上进行Depth模态数据人脸分割，确定人脸的深度范围；d、将人脸深度范围映射到阈值[0,255]，做尺度化处理；步骤三、级联网络模型训练：采用人脸深度预测网络和分类网络级联的网络模型进行训练；步骤四、人脸识别网络训练；人脸的RGB模态数据和预测出的Depth模态数据分别训练出各自的模型M1和M2；待人脸识别网络模型训练完成后，提取网络结构中loss1/fc层的向量作为人脸的特征向量；人脸的相似度度量采用特征向量的cosine距离，假设RGB模态数据集上的人脸识别率为r1，Depth模态数据集上的人脸识别率为r2；步骤五、模型融合；在相似度度量层级上进行模型融合，在测试阶段，RGB模态的相似度为s1，预测出的Depth模态的相似度为s2，则融合后的相似度计算如下：步骤六、测试阶段；a、通过RGB单模态相机获取RGB模态数据，并裁切出人脸区域；送入模型M1提取RGB模态的人脸特征并分别与注册集中的RGB模态人脸特征计算consine距离作为相似度度量；b、将步骤a得到的人脸RGB模态图像送入深度预测网络模型中，预测出对应的Depth模态人脸图像，送入模型M2提取Depth模态的人脸特征并与注册集中的Depth模态人脸特征计算consine距离作为相似度度量；c、利用步骤五提出的相似度融合方法进行两种模态的人脸相似度融合，融合结果作为多模态人脸识别的相似度。