[发明专利]一种基于手势识别技术的3D虚拟交互方法及系统

摘要

本发明提出一种基于手势识别技术的人与计算机3D虚拟交互的方法及系统。用一组摄像头动态捕捉人左手的运动轨迹，用另一组摄像头采集人右手的手势，通过对左手运动方位的分析控制场景中视角的变化，并对右手位置和右手手势进行分析，得到右手在场景中对应虚拟手的三维位置信息，进而不断更新场景中虚拟手的位置和手势。采用基于形状特征的方法识别手势动作，通过手势动作去控制真实人与显示在计算机桌面中的虚拟环境进行交互，能够控制虚拟手完成相应的动作，并随着左手的移动切换3D场景，同时伴随不同的动作发出不同的声音，可实现真实的人与虚拟3D环境之间的沉浸式交互，使得人机虚拟交互更加生动、直观和真实。

主权项

一种基于手势识别的3D虚拟交互方法，其特征在于，所述方法包括以下步骤：步骤一、图像采集模块分别采集左、右手图像；其中，右手图像包括右手左视图和右手右视图，图像采集模块包括拍摄左手图像的左摄像头，以及分别拍摄右手左视图和右手右视图的右摄像头1和右摄像头2；步骤二、主处理器分别对左、右手图像进行分割，获取左、右手分割信息；步骤三、主处理器利用左手分割信息获得虚拟场景视角变化信息，基于右手分割信息进行手势识别获得手势姿态信息，并分别计算右手图像的目标位置和采集位置偏差的实际转化值；其中，目标位置为右手图像中心位置，采集位置为分割后的手部区域中心位置。步骤四、协处理器基于每个循环周期从主处理器发送的所述右手图像的目标位置和采集位置偏差的实际转化值，获取当前循环周期各步进电机的位置和步进值，其中，步进电机包括右摄像头1的左水平步进电机、左垂直步进电机，和右摄像头2的右水平步进电机、右垂直步进电机；并根据右摄像头1和右摄像头2的转角获取右手的空间坐标；步骤五，主处理器根据所述右手的空间坐标值、右手的手势姿态信息以及虚拟场景视角变化信息，进行3D场景更新。