[发明专利]一种面向大数据处理的人脸识别训练方法脸识别方法

摘要

本发明公开了一种面向大数据处理的人脸识别训练方法脸识别方法，其特征在于，依次经过输入图像、人脸特征提取、对训练集进行随机洗牌、划分训练集、计算归纳及标准化特征差、对分布在不同节点的特征差进行线性分类、在测试集上评估FVB和生成ROC曲线。本发明的创新之处1)实现了一个分布式SVM训练器，并在进程级、线程级和指令级上都作了高效的并行调优，同时该训练器在几百个节点上呈现良好的线性可扩展性；2)能支持包含几千万个样本对和几万个特征参数的训练集，并能利用它们提高模型精度；3)训练了一个大小为3MB、使用时计算开销为SMFlops、但人脸验证率为92.2％的人脸模型，是目前同等大小的模型中精度最高的。

主权项

一种面向大数据处理的人脸识别训练方法脸识别方法，其特征在于，依次经过输入图像、人脸特征提取、对训练集进行随机洗牌、划分训练集、计算归纳及标准化特征差、对分布在不同节点的特征差进行线性分类、在测试集上评估FVB和生成ROC曲线，具体方法步骤如下：输入图像：将人脸信息输入FRGC‑204数据库中；人脸特征提取：从FRGC‑204数据库中的原始训练集与测试集中提取人脸特征，它首先根据人脸特征坐标点(Facial Landmarks)检测出输入图像中的人脸，然后将这些人脸归一化为标准大小的图像，最后从这些标准化的人脸中提取特征，由于每张图像的特征都是独立提取的，因此整个提取过程可以并行处理；对训练集进行随机洗牌：将FRGC‑204数据库中的原始训练集进行随机洗牌，以确保划分到各个节点的数据均匀一致；划分训练集：首先在分布式文件系统上将随机洗牌后的训练集按一定的策略划分成数据块，然后将这些数据块分别写入每个节点的本地文件中，而且对训练集中不同的样本提供不同的划分策略：（1）对负样本对，将它们划分成相同大小的数据块，平均分配给每个节点；（2）对正样本对，由于它们的数量远小于负样本对，因此采用Bootstrap重采样方法将它们分配给每个节点，而且为了获得更好的I/O吞吐率，数据划分器采用并行批量写的方法将数据块写入每个节点；计算归纳及标准化特征差：首先在每个节点上，根据公式计算出其子训练集中所有样本对的特征差，并找出本地最大与最小特征差，然后通过全局归约操作得出全局最大与最小特征差，并将它们广播给每个节点，最后每个节点将其所有本地特征差归一化为标准大小，而且每个节点的特征差计算和归一化处理都可并行执行，全局的归约和广播操作可由MPI编程模型实现；对分布在不同节点的特征差进行线性分类：对分布在不同节点的特征差进行高效的线性分类，解决单机无法存放整个数据集的问题；其次对算法中的热路径进行线程级和指令级优化，以提高单机计算性能从而减少模型训练时间；在测试集上评估FVB和生成ROC曲线：在测试集上评估训练模型的FVRat0.1%FAR，并自动生成ROC曲线。