[发明专利]结合数据学习和物理先验的图像去雾方法

摘要

本发明属于图像处理领域，公开了一种结合数据学习和物理先验的图像去雾方法。首先，基于包含雾图估计透射率和准确透射率的数据库训练残差网络；其次，对于一张有雾图像，用边缘限制的方法估计其透射率并用其初始化网络先验，且对于网络其后每一层，都以上一层输出结果作为其先验，经过多层迭代卷积和非线性激活后输出较为精准的透射率估计；最后，将最终透射率代入除雾物理模型中求解出除雾图像。优点：建立了一种全新的去雾霾深度网络，用较少的训练数据得到更精确的估计结果；将物理规律引入到深度学习框架中来，辅助深度模型刻画透射率的传输过程，弥补了领域知识与训练数据之间的差距；在真实数据上获得了较好的结果，有效去除较浓雾霾。

主权项

一种结合数据学习和物理先验的图像去雾方法，包括以下步骤，步骤1.估计雾图的大气光参数A，雾图成像物理模型如下：I＝Jt+A(1‑t)，  (1)其中I为有雾图像，J为无雾图像，t为图像透射率，A表示全局大气光参数，为一个1×3向量，三个值分别对应有雾图像I的红、绿、蓝三个通道；包括以下子步骤：步骤1‑1输入一张有雾图像I；步骤1‑2对I的三个通道分别进行最小值滤波，取其结果的最大值，得到大气光参数A，即Ac＝max(minfilter(Ic))，  (2)其中c∈{r,g,b}，代表红、绿、蓝三个通道，Ac代表在不同通道A的取值，Ic表示有雾图像I在不同通道的分量；步骤2.估计有雾图像I的初始透射率t0，包括以下子步骤：步骤2‑1输入一张有雾图像I，由式(2)求其初始透射率t0：t0=T[0,1](maxc(IAcC1-Ac,IAcC0-Ac)),---(3)]]>其中c∈{r,g,b}表示红、绿、蓝颜色通道，为每个颜色通道上大气光观测形式的变形，C0和C1是与给定图像相关的两个常数向量；T[0,1]表示将t0约束在0～1范围之间；步骤3.利用DPATN网络对t0进行迭代优化；包括以下子步骤：步骤3‑1由已知的S张无雾图像和其对应景深由透射率模型ts*=e-βsds---(4)]]>合成网络学习的目标，即准确透射率式中s为图片标号，ds为有雾图像Is的景深，即图中物体到相机的距离，βs为光衰减系数；将准确透射率和无雾图像代入雾图成像模型(1)中合成有雾图像得到网络训练数据步骤3‑2构建由L层残差模型串联起来的聚合残差网络，以将有雾图像I映射到相应的透射率t；通过聚合数据驱动模块D(·)和先验驱动模块P(·)来定义网络，在网络的输入和输出之间建立连接如下：tsL=ts0+(Σl=0L-1D(tsl;WDl)+λ~PP(Is)),---(5)]]>这里表示每一层的D(·)的传播参数，是先验P(I)的权重参数，是对进行迭代优化时的中间估计；每一层的数据驱动模块如式(6)所示：其中表示非线性激活函数，为高斯径向奇函数，K表示每一层的过滤器总数，k为过滤器标号，表示卷积运算符，是每次进行非线性激活之后和激活之前的卷积过滤器对，由将旋转180°获得；每一层的滤波器半径为r,滤波器数量和激活函数个数为r2‑1；而先验驱动模块表示为：P(Is)=ts0,---(7)]]>其中为合成有雾图像Is的初始透射率，计算方法与步骤2相同；步骤3‑3通过最小化下式的网络传输能量来训练网络；mintLLD(tsL;{WDl}l=0L-1)+λ~P2||tsL-P(Is)||2,---(8)]]>其中LD表示沿负梯度方向传播的网络能量；定义二次训练成本函数F(·)来测量DPATN网络的输出与准确透射率之间的差异F(tsL,ts*;{Wl}l=1L)=12||tsL-ts*||22,---(9)]]>其中为对应训练数据中准确透射率的网络输出，是每一层网络中通过学习得到的参数，且先验的权重参数在这里使用标准链式法则计算每个阶段训练成本F(·)相对于参数Wl的梯度，以最小化传输能量；训练完成后得到学习到的参数Wl；步骤3‑4为使卷积过滤器更好地作用于图片，将步骤2得到的待恢复雾图的t0的每个边界向外扩展r+1个像素点，用镜像反射来填充t0，记为以作为网络输入，经DPATN网络的迭代优化后得到输出透射率tL；步骤3‑5为避免除数为零，取最终透射率t＝max(tL,ε)，  (10)其中ε≥0是一个常数；步骤4.将步骤1计算得到的大气光参数A及步骤3得到的透射率t代入雾图成像模型，由J＝A+(I‑A)/t  (11)求得除雾后的结果J。