[发明专利]基于虚拟现实和手势检测的乘坐公交车训练系统

摘要

本发明公开了一种虚拟现实和手势检测的乘坐公交车训练系统，包括控制模块、显示模块、设置模块、检测模块和数据库，其中：显示模块包括虚拟现实显示模块、声音播放模块和监控模块；设置模块用于设置训练任务、任务的难度、噪音水平、奖励效果和训练阶段；检测模块包括位置检测模块、手势检测模块和触发检测模块，其中位置检测模块用于检测受训者的移动，手势检测模块用于获得受训者的手部信息，触发检测模块用于探测场景中的物品是否进入预定的区域；数据库包括场景模型库、物品模型库、人物模型库、运动轨迹库、动画及动作库、声音库、奖励效果库和训练信息库；控制模块用于控制整个训练流程、调用其余模块的信息以及控制其余模块。

主权项

1.一种虚拟现实和手势检测的乘坐公交车训练系统，针对需要接受乘坐公交车训练的自闭症和智障人士，所述训练系统包括控制模块、显示模块、设置模块、检测模块和数据库，其特征在于：/n显示模块包括虚拟现实显示模块、声音播放模块和监控模块；/n设置模块用于设置训练任务、任务的难度、噪音水平、奖励效果和训练阶段；/n检测模块包括位置检测模块、手势检测模块和触发检测模块，其中位置检测模块用于检测受训者的移动，手势检测模块用于获得受训者的手部信息，触发检测模块用于探测场景中的物品是否进入预定的区域；/n数据库包括场景模型库、物品模型库、人物模型库、运动轨迹库、动画及动作库、声音库、奖励效果库和训练信息库；/n控制模块用于控制整个训练流程；/n乘坐公交车训练共分为六个训练阶段的子任务，每个阶段针对不同的内容做出相应的训练，可以选择整体训练或对每个阶段分步训练，这六个阶段分别是：第一阶段、乘车任务下达；第二阶段、排队上车；第三阶段、买票；第四阶段、找座位或抓扶手；第五阶段、下车；第六阶段排队集合，其中第一阶段不单独出现；教师或训练员可以通过设置模块选择进入整体训练或者分步训练，在乘车类型这一训练变量选择了老师带学生出游以外的情况下，则没有第六阶段；每一训练阶段启动后，控制模块会加载相应的模型：首先控制模块根据设置模块中的难度、噪音水平、和训练阶段，从数据库的场景模型库中调用相应的场景，再从物品模型库和人物模型库中调用相应的物品和人物模型，安置在事先设定的位置，并通过虚拟现实显示模块进行显示，然后通过调用动画动作库和运动轨迹库，控制物品和人物按事先设定好的轨迹和动作运动，之后通过奖励效果这一信息从奖励效果库和声音库中加载奖励需要用到的动画效果和声音，以便需要播放奖励时可以随时调用；/n所述的训练系统，其中：如果公交车内有一个空位，在简单难度下，控制模块调用数据库中的物品、声音，通过语音播放模块语音提示受训者要坐到该位置，并在位置上方显示提示信息；在中等难度下仅进行语言提示，困难难度下不提示，如果公交车内有多个空位，则属于泛化难度，不进行提示，如果公交车内没有空位，在简单难度下，控制模块调用数据库中的物品、声音，通过语音播放模块语音提示受训者要抓住某根扶手，并将该扶手发光显示，在中等难度下仅进行语言提示，困难难度下不提示，当位置检测模块检测到受训者移动到空座位前方，并且向下移动，则判断受训者正确坐在了位置上，并反馈给控制模块找座位正确的信息，如果检测到受训者坐在有人坐的位置上，则控制模块调用数据库中的人物、声音信息，通过显示模块播放一个不能坐在他人身上的提示，如果多次检测到受训者坐在有人坐的位置上，则算任务失败，显示模块显示坐在他人身上字样，系统记录本次训练信息并退出训练；/n设置模块用于设置任务的难度、噪音水平、奖励效果和阶段，并将设置的这些信息传输给控制模块，控制模块根据这些信息的不同展现不同的训练，难度分为简单、中等、困难、泛化四个级别，简单难度即对所需要做的动作进行具体的语音以及位置提示，中等难度即对所需要完成的动作进行语音提示，困难级别的难度即不对动作进行任何提示，泛化级别下，允许教师或训练员改变训练变量：乘车类型及故事情节、公交车类型、公交车颜色、座位类型、空位数、公交路线、出发地、目的地、上车人数、同行人和买票位置，如果教师或训练员未进行任何设置，则第一次训练时这些训练变量都表现为其初始值，在此后训练系统自动调整训练变量的至以适应受训者的能力，如果教师或训练员选择选择简单、中等或困难的难度，则训练变量都表现为初始值，训练变量的初始值为：老师带学生出游情节，只乘坐一辆固定形状、颜色和路数的公交车，公交车的路线和车上的物品固定，上车人物固定，只有一个空位或没有空位，上车站点和目的地只相距一至二站；背景噪音水平有四个可选的级别，分别是无噪声、30％噪声、60％噪声和正常噪声；奖励效果共有十几种，可以多选，也可以选择无奖励；/n训练的第三、四阶段启动后：控制模块控制手势检测模块启动，根据采集到的图像识别出当前手势检测模块在可靠检测范围内出现的手掌坐标、方向和指尖位置的信息，并传输给控制模块，控制模块决定使用多少双手的数据，然后控制模块调用人物模型库中预先设置的手的模型，并将获取的手的信息与手的模型加以关联，并通过虚拟现实显示模块显示手的模型，当受训者的手势发生变化，显示的手部模型相应发生变化，从而实现手势检测；/n在第五训练阶段：控制模块根据公交车路线、出发地点、目的地这三个训练变量，调取运动轨迹库中相应的公交车移动轨迹，控制公交车进行相应移动，并在公交车路线包含的站点进行停靠，每次停靠，控制模块随机抽取角色，通过运动轨迹库和动画动作库控制所述角色走下车，控制语音播放模块播放一次当前的站名。/n