[发明专利]一种无标记运动捕捉及场景重建方法及装置

摘要

本发明提出一种基于多手持深度相机的无标记运动捕捉及场景重建方法及装置，其中该方法包括步骤：提供人体模型和地板模型；通过多个深度相机手持地拍摄；将相机返回的深度图进行空间变换得到三维点云集合；从对同一深度相机的相邻帧的彩色图中提取场景特征点；根据人体模型中的表面网格点、地板模型中的地板点和三维空间的场景特征点的信息，定义联合优化模型；将三维点云点与表面网格点进行匹配；和将匹配结果对引入联合优化模型进行求解和变换，得到运动捕捉结果和场景重建结果。本发明的方法，无需借助笨重的标志物，能够更加灵活便捷地进行运动捕捉和场景重建，具有运动参数准确鲁棒、场景复原程度高、算法运行速度快、系统成本低的优点。

主权项

一种基于多手持深度相机的无标记运动捕捉及场景重建方法，其特征在于，包括以下步骤：A.提供人体模型和地板模型；B.提供多个深度相机，以非固定的手持方式进行拍摄，获得包括多帧深度图的深度视频和包括多帧彩度图的彩色视频；C.根据所述深度图和所述深度相机的内参矩阵，进行空间变换得到三维点云集合，并将三维点云点记为P；D.对同一所述深度相机的相邻帧的所述彩色图进行匹配，提取二维空间的场景特征点，并在所述三维点云集合中找到对应的三维空间的场景特征点S；E.根据所述人体模型中的表面网格点V、所述地板模型中的地板点G和所述三维空间的场景特征点S的信息，定义联合优化模型；F.根据所述深度图和所述彩色图的信息，将三维点云点P与表面网格点V进行匹配，得到P‑V匹配结果；和G.将所述P‑V匹配结果对引入所述联合优化模型，进行求解和变换，得到运动捕捉结果和场景重建结果。