[发明专利]多视环境中基于水平集函数演化的非刚性目标场景流估计方法

摘要

本发明公开了多视环境中基于水平集函数演化的非刚性目标场景流估计，具体按照以下步骤实施：步骤1：多视环境设置及预处理；步骤2：获取静态目标三维外形；步骤3：构建时间序列上的关于水平集函数的能量泛函；步骤4：获取动态非刚性目标三维外形及其场景流。本发明用水平集函数的演化模拟非刚性目标的运动，在时空颜色相关性约束、投影区域一致性约束下有效地驱动非刚性目标初始外形曲面向目标曲面演化，而水平集函数自身特点的约束，使的水平集函数演化后仍为水平集函数，避免了水平集函数重新初始化的问题，解决了现在估计非刚性目标的场景流时，由于环境因素，计算方法不当，往往会使得场景流不够连续、不平滑或存在空洞的问题。

主权项

1.多视环境中基于水平集函数演化的非刚性目标场景流估计方法，其特征在于，具体按照以下步骤实施：步骤1：多视环境设置及预处理；具体为：将nCamNum个摄像机环绕观测场景放置，并使用张氏标定法获取摄像机的内、外参数；然后使用nCamNum个摄像机采集不包含目标的背景图像{Back₁,Back₂,...,Back_j,...,Back_nCamNum}；之后将动态非刚性目标O置于观测场景中，多个摄像机同步采集目标的运动视频，在时刻t、时刻t+1，同步采集到的视频帧分别为{I_1，t，I_2，t，...，I_j，t，...，I_nCamNum，t}{I_1，t+1，I_2，t+1，...，I_j，t+1，...，I_{nCamNum，t+1}}，最后使用背景减法获取目标O的侧影轮廓，即目标图像，在时刻t和时刻t+1，分别使用多视图像帧减去背景图像，从而获取目标图像：{Silhouette_1,t,...,Silhouette_j,t,...,Silhouette_nCamNum,t}、{Silhouette_1,t+1,...,Silhouette_j,t+1,...,Silhouette_nCamNum,t+1}；步骤2：获取静态目标三维外形；具体为：将多视摄像机的公共观测区域离散化为一个三维体素空间Ω；首先，使用{Silhouette_1,t,...,Silhouette_j,t,...,Silhouette_nCamNum,t}，基于体素着色法重建目标三维外形的体素模型Shape_Data_t，其中，然后，重建目标三维外形，及初始化场景流估计所需的水平集函数：Step1：初始化水平集函数φ(x)：在Ω内，靠近Ω边缘的区域构造一个足够大的封闭初始曲面Γ(0)，确保其能够包括Shape_Data的所有体素，构造初始水平集函数φ₀(x)：其中c₀为一预先给定的正整数；Step2：构造关于水平集函数φ(x)的能量函数E(φ)：其中，α、β和γ为比例系数，g(x)为在Ω中计算距离场为：g(x)＝dist(x,Shape_Data)，其中，x∈Ω，dist(x,Shape_Data)表示体素x到三维外形Shape_Data的最短距离，δ为Dirac函数；P(φ)为惩罚项为：为：A(φ)为加速项为：H(x)是Heaviside函数，η是偏移程度，当g＜η时，加速项失效，从而可确保曲面不会穿过空洞；对于能量函数E(φ)，其相应的梯度下降流，即水平集函数的演化速度为：Step3：令更新水平集函数：φⁿ⁺¹(x)＝φⁿ(x)+δτ·D(φⁿ(x))            (7)n表示迭代次数，δτ为时间步长；Step4：判断是否小于阈值来判断是否收敛，若不收敛，则按照式(7)计算φⁿ⁺¹(x)的值，并转至Step4，若收敛，则结束；令f^t(x)＝φⁿ⁺¹(x)，作为时刻t目标三维外形的水平集函数表示；步骤3：构建时间序列上的关于水平集函数的能量泛函；具体为：将多视环境获取的非刚性目标运动视频提供的信息作为约束条件，构建关于水平集函数的能量泛函E(f^t+1,V_t)：①时空颜色相关性约束项时间颜色相关性是指在时刻t目标三维外形上的某一体素以速度运动，在时刻t+1对应的目标三维外形上的体素为vox，其运动前后的颜色保持一致；时间颜色相关性为：nVisNum表示对体素vox可见的视点个数，pro_j(vox)表示体素vox在视点j的二维投影，photo(X,t+1)为时刻t+1像素X对应的像素颜色值，反映了目标三维外形上的体素运动前后在多视图像中投影的颜色相关性：越小，颜色相关性越大；空间颜色相关性φ_space(vox,t+1)是指时刻t+1目标三维外形上体素vox与其周围的体素具有颜色一致性；空间颜色相关性φ_space(vox,t+1)为：其中：将时间颜色相关性和空间颜色相关性结合，得出时空颜色相关性约束项：其中，表示时刻t体素是否被判断为目标三维外形上的体素且已被着色，其取值方式为：此时，Ω中所有体素的时空颜色相关性约束对应的能量函数为：②投影区域一致性约束项投影区域一致性约束项对应的能量函数为：其中in_Silhouette(vox)表示体素vox在多视图像中的投影是否都落入目标的侧影轮廓中：③水平集函数规整项水平集函数规整项对应的能量函数P(f)为：在上述约束项和规整项的基础上，能量泛函E(f^t+1,V_t)为：E(f^t+1,V_t)＝κgE_color(f^t+1,V_t)+λgE_region(f^t+1)+μgP(f^t+1)   (14)其中，μ＞0为常量参数，用于控制f偏离符号距离函数后的惩罚效应，κ、λ表示权重系数；步骤4：获取动态非刚性目标三维外形及其场景流。