[发明专利]基于运动周期性分析的视频修复方法

说明书

技术领域

本发明属于图像处理领域，具体涉及一种基于运动周期性分析的视频修复方法。

背景技术

视频修复是对视频上信息缺损区域进行填充的过程，其目的是填充缺损的图像，并使观察者无法察觉视频曾经缺损并且已被修复。随着数字图像处理技术的发展，越来越多的领域期望能够对视频进行一定的修补，并且达到人眼觉察不出来的效果。因此，数字视频修复技术成为当前计算机图形学和计算机视觉中的一个研究热点，在文物保护、影视特技制作、多余目标物体剔除(如视频图像中删除字幕、台标等)、视频通信的错误隐匿等方面有着广泛的应用前景。

目前，数字图像修复技术主要分为两类：第一类逐帧修复，Kokaram等人通过对这些区域进行插值计算修复视频中的斑点和划痕，Bertalmio等人提出基于Navier-Stokes流体模型视频修复方法，该方法逐帧的图像单独进行修复，没有考虑前后帧之间的连续性，导致了修复大块区域时的闪烁失真的情况。Yan等人使用BSCB方法对视频进行修复，将视频拆分为单幅图像分别进行处理，这类方法也没有充分利用视频的时间冗余信息，而只是简单的应用图像修复技术来处理视频数据，相邻各帧之间的连续性很难得到保持。

为了克服上述逐帧修复方法的不足Patwardhan等人先后利用对视频中物体的运动估计对镜头固定和镜头移动的视频进行了修复。Kokaram采用了基于光流估计的时空信息来纠正在修复视频序列上的噪声，他的方法仅适用于小的缺损区域。Tourapis等人提出了一种基于区域分析的方法，通过计算各区域的运动矢量，分割区域，然后结合运动补偿以及时空间滤波对视频进行修复。但是，上述视频修复方法采用的是分块进行的方式，因此它们的修复结果在播放易出现虚影。

发明内容

为了解决现有视频修复技术中存在的上述技术问题，本发明提供一种基于运动周期性分析的视频修复方法，本发明可以明显提高修复结果视频的质量，达到理想的实用效果。

本发明解决上述技术问题的技术方案包括以下步骤：

1)使用帧间差的方法将视频每一帧中的运动物体与视频的背景分离；

2)提取步骤1中每一帧中的运动前景的骨骼；

3)对步骤2)中得到的每一帧的运动前景的骨骼进行相似性匹配，找出视频前景运动目标的运动周期性；

4)利用运动周期性对整个视频的前景运动目标的运动情况进行预测，根据预测来修复视频。

上述的基于运动周期性分析的视频修复方法中，所述步骤3)包括以下步骤：

a)使用第一帧前景目标的骨骼作为参照；

b)将其后每一帧的骨骼与其进行相似度匹配，第一帧到最相似帧之间的所有运动前景目标被定义为前景运动周期。

上述的基于运动周期性分析的视频修复方法中，所述步骤4)包括以下步骤：

a)找到与受损视频帧向邻的前后两个完好帧作为参照；

b)在运动周期中分别寻找与视频前后两帧向对应的帧；

c)将步骤b)中找到的两帧之间的所有帧整体的替换到受损视频帧中。

本发明的效果在于：与现有方法相比，本发明采用的运动周期性分析技术能够极大地减少复杂图像背景的干扰，更加准确的提取视频中的运动信息。本发明充分考虑了视频运动目标的连贯性，注重修复结果的视觉完整性，从而取得更好的视频修复效果。本发明的基于前景运动目标周期性分析的视频修复方法能够充分提高图像修复的性能，对于视频的后续制作有重要的意义和实用价值。

下面结合附图和具体实施例对本发明作进一步的说明。

附图说明

图1为本发明的流程图。

图2为本发明的修复示例。

具体实施方式

参见图1，图1为本发明采用基于前景运动目标周期性分析的视频修复的流程图。其具体修复步骤如下：

(1)对输入视频进行前景背景分离

输入的待修复视频由两部分组成：静止的背景和运动的前景。F_t为视频的第t帧t∈1，2，…，K，计算所有帧的平均值得到视频背景F_b。计算方式如下：