[发明专利]基于区域卷积神经网络的第一视角手势识别与交互方法

摘要

本发明公开了一种基于区域卷积神经网络的第一视角手势识别与交互方法，该方法包括如下步骤：S1、获取训练数据；S2、设计一个基于区域神经网络，在用于手部检测的同时，也用于手势分类与指尖检测，使得神经网络输入为三通道RGB图像，输出为手势区域的外接矩阵左上角坐标和右下角坐标，以及手势类别、手势骨架关键点；S3，判断手势类别，根据不同交互需求输出相应的交互结果。本发明提供了一种完整的第一视角手势识别与交互方法，通过单模型训练与部分网络共享，提高了第一视角下手势识别的识别速度与准确性。

主权项

1.基于区域卷积神经网络的第一视角手势识别与交互方法，其特征在于，包括以下步骤：S1、获取包括多种不同第一视角下的手势的训练数据，人工标定训练数据的标签，所述训练数据的标签包括手势区域的外接矩阵左上角坐标和右下角坐标、人工标定的手势类别、人工标定的关键骨架的坐标点；S2、设计一个基于区域卷积的神经网络，使得神经网络输入为三通道RGB图像，输出为手势区域的外接矩阵左上角坐标和右下角坐标，以及手势类别、手势骨架关键点；S3、判断手势类别，根据不同需求输出相应的交互结果；S4、利用手势判别结果进行指令判别，作出相应指令；步骤S2所述基于区域卷积的神经网络包括两部分，第一部分为包括卷积层‑池化层‑卷积层‑池化层‑卷积层‑池化层‑全连接层的卷积神经网络CNN模型，用于训练手部检测，第一部分的输入为RGB图像，训练输出为手势区域外接矩阵左上角坐标和右下角坐标；第二部分为包括ROI池化层‑卷积层‑池化层‑卷积层‑池化层‑全连接层的卷积神经网络CNN模型，输入为第一部分的最后一个池化层图像，并通过第一部分输出手势区域外接矩阵左上角坐标和右下角坐标，在ROI池化层作一致化处理，训练输出为手势类别及关键骨架的坐标位置。