[发明专利]基于CFA图像多方向边缘插值的方法

摘要

本发明公开了一种基于CFA图像多方向边缘插值的方法，该方法步骤为：(1)、输入一幅CFA图像；(2)、计算CFA图像多方向边缘；(3)、预测CFA图像多方向边缘丢失的绿色成分的插值方向；(4)、分别计算待插值更新像素位置处的东、南、西、北方向边缘局部梯度值；(5)、对CFA图像多方向边缘丢失的绿色成分进行初始插值；(6)、计算多方向的边缘增强梯度值，计算更新插值后的绿色成分值；(7)、对CFA图像多方向边缘丢失的蓝色成分和红色成分进行插值。该方法能够准确的预测丢失的绿色成分的插值方向，降低插值出来的丢失成分与原始真实成分之间的差距，有效的改善插值后的图像质量，插值方法容易实现。

主权项

一种基于CFA图像多方向边缘插值的方法，包括以下步骤：(1)、输入一幅CFA图像；(2)、计算CFA图像多方向边缘，得到CFA图像的多方向边缘阵列W，包含如下步骤：(2‑1)、设置CFA图像的矩形窗，以CFA图像的第1行第1列为原点，取3行3列CFA图像的矩形窗；(2‑2)、在上述的3行3列CFA图像的矩形窗中，以第二行第二列所在位置作为插值像素处，计算插值像素处左上角与右下角斜对角方向的单一方向边缘阵列元素值，计算方法为：$S_1=\frac{|G_{11}-G_{33}|}{2}$其中，S₁表示待插值像素处左上角与右下角斜对角方向的单一方向边缘阵列元素值，G₁₁表示3行3列CFA图像的矩形窗中的第1行第1列的位置处的绿色像素值，G₃₃表示3行3列CFA图像的矩形窗中的第3行第3列的位置处的绿色像素值；(2‑3)、在上述的3行3列CFA图像的矩形窗中，以第二行第二列所在位置作为插值像素处，计算插值像素处右上角与左下角斜对角方向的单一方向边缘阵列元素值，计算方法为：$S_2=\frac{|G_{13}-G_{31}|}{2}$其中，S₂表示待插值像素处右上角与左下角斜对角方向的单一方向边缘阵列元素值，G₁₃表示3行3列CFA图像的矩形窗中的第1行第3列的位置处的绿色像素值，G₃₁表示3行3列CFA图像的矩形窗中的第3行第1列的位置处的绿色像素值；(2‑4)、在上述的3行3列CFA图像的矩形窗中，以第二行第二列所在位置作为插值像素处，计算插值像素处上一行与下一行竖直方向的单一方向边缘阵列元素值，计算方法为：S₃＝|R₁₂‑R₃₂|其中，S₃表示待插值像素处上一行与下一行竖直方向的单一方向边缘阵列元素值，R₁₂表示3行3列CFA图像的矩形窗中的第1行第2列的位置处的红色像素值，R₃₂表示3行3列CFA图像的矩形窗中的第3行第2列的位置处的红色像素值；(2‑5)、在上述的3行3列CFA图像的矩形窗中，以第二行第二列所在位置作为插值像素处，计算插值像素处前一列与后一列水平方向的单一方向边缘阵列元素值，计算方法为：S₄＝|B₂₃‑B₂₁|其中，S₄表示待插值像素处前一列与后一列水平方向的单一方向边缘阵列元素值，B₂₃表示3行3列CFA图像的矩形窗中的第2行第3列的位置处的蓝色像素值，B₂₁表示3行3列CFA图像的矩形窗中的第2行第1列的位置处的蓝色像素值；(2‑6)、在上述的3行3列CFA图像的矩形窗中，以第二行第二列所在位置作为插值像素处，计算插值像素与上、下、左、右四个方向的像素的多方向边缘阵列元素值，计算方法为：$S_5=\frac{|4\×G_{22}-R_{12}-R_{32}-B_{21}-B_{23}|}{4}$其中，S₅表示待插值像素与上、下、左、右四个方向的像素的多方向边缘阵列元素值，G₂₂表示3行3列CFA图像的矩形窗中的第2行第2列的位置处的绿色像素值，R₁₂表示3行3列CFA图像的矩形窗中的第1行第2列的位置处的红色像素值，R₃₂表示3行3列CFA图像的矩形窗中的第3行第2列的位置处的红色像素值，B₂₁表示3行3列CFA图像的矩形窗中的第2行第1列的位置处的蓝色像素值，B₂₃表示3行3列CFA图像的矩形窗中的第2行第3列的位置处的蓝色像素值；(2‑7)、计算上述的3行3列CFA图像的矩形窗中的第2行第2列所在位置处的多方向边缘阵列元素值，计算方法为：W₂₂＝S₁+S₂+S₃+S₄+S₅其中，W₂₂表示在CFA图像中第2行第2列的位置处的多方向边缘阵列元素值，S₁表示待插值像素处左上角与右下角斜对角方向的单一方向边缘阵列元素值，S₂表示待插值像素处右上角与左下角斜对角方向的单一方向边缘阵列元素值，S₃表示待插值像素处上一行与下一行竖直方向的单一方向边缘阵列元素值，S₄表示待插值像素处前一列与后一列水平方向的单一方向边缘阵列元素值，S₅表示待插值像素与上、下、左、右四个方向的像素的多方向边缘阵列元素值；(2‑8)、将步骤(2‑1)中所述的CFA图像的第1行第1列的原点的位置在CFA图像内逐行逐列移动，原点位置每移动一次，重复步骤(2‑2)至步骤(2‑7)，得到CFA图像中待插值像素位置处的多方向边缘阵列元素值，直到原点位置遍历CFA图像中每个像素位置为止；(2‑9)、将步骤(2‑8)中原点每移动一次得到一个多方向边缘阵列元素值，按照与CFA图像对应的位置处，排列到一个矩阵阵列当中，得到CFA图像的多方向边缘阵列W；(3)、利用步骤(2)中CFA图像多方向边缘阵列W，预测CFA图像多方向边缘丢失的绿色成分的插值方向；包含如下步骤：(3‑1)、计算水平方向上多方向边缘阵列滤波后增强边缘，记作H_i,j，其计算公式如式3.1：其中，i表示待插值像素处在CFA图像中所在的行数，j表示待插值像素处在CFA图像中所在的列数，H表示在水平方向上多方向边缘阵列经过滤波后增强边缘，W表示步骤(2‑9)中得到的CFA图像的多方向边缘阵列，p表示滤波窗在水平方向上的范围，p的范围为{‑2,‑1,0,1,2}，q表示滤波窗在竖直方向上的范围，q的范围为{‑2,‑1,0,1}；(3‑2)、计算竖直方向上多方向边缘阵列滤波后增强边缘，记作V_i,j，其计算公式如式3.2：其中，i表示待插值像素处在CFA图像中所在的行数，j表示待插值像素处在CFA图像中所在的列数，V表示在竖直方向上多方向边缘阵列经过滤波后增强边缘，W表示步骤(2‑9)中得到的CFA图像的多方向边缘阵列，p表示滤波窗在水平方向上的范围，p的范围为{‑2,‑1,0,1}，q表示滤波窗在竖直方向上的范围，q的范围为{‑2,‑1,0,1,2}；(3‑3)、在待插值丢失的绿色成分位置处预测丢失的绿色成分的插值方向，将步骤(3‑1)中得到的滤波增强后的边缘与步骤(3‑2)中得到的滤波增强后的边缘比较，若步骤(3‑1)中得到的滤波增强后的边缘小于步骤(3‑2)中得到的滤波增强后的边缘，则待插值丢失的绿色成分的插值方向为水平方向，转步骤(5)；若步骤(3‑1)中得到的滤波增强后的边缘大于步骤(3‑2)中得到的滤波增强后的边缘，则预测待插值丢失的绿色成分的插值方向为竖直方向，转步骤(5)；(4)、利用步骤(2)中CFA图像多方向边缘阵列W，分别计算待插值更新像素位置处的东、南、西、北方向边缘局部梯度值，包含如下步骤：(4‑1)、设CFA图像的多方向边缘阵列W的第1行第1列为原点，取3行4列CFA图像的矩形窗；(4‑2)、在上述的3行4列CFA图像的矩形窗中，计算待插值更新像素位置处的东方向的多方向边缘的局部梯度值，其计算公式如式4.1：其中，Z_E表示东方向的局部梯度值，a的取值范围为{‑1,0,1}，W表示步骤(2)中得到的CFA图像多方向边缘阵列，i表示所在的行数，j表示所在的列数，C表示小于0.001的正数；(4‑3)、在上述的3行4列CFA图像的矩形窗中，计算待插值更新像素位置处的南方向的多方向边缘局部梯度值，其计算方法如式4.2：其中、南方向的局部梯度值为Z_S，a的取值范围为{‑1,0,1}，W表示步骤(2)中得到的CFA图像多方向边缘阵列，i表示所在的行数，j表示所在的列数，C表示小于0.001的正数；(4‑4)、在上述的3行4列CFA图像的矩形窗中，计算待插值更新像素位置处的西方向的多方向边缘局部梯度值，其计算方法如式4.3：其中、西方向的局部梯度值为Z_W，a的取值范围为{‑1,0,1}，W表示步骤(2)中得到的CFA图像多方向边缘阵列，i表示所在的行数，j表示所在的列数，C表示小于0.001的正数；(4‑5)、在3行4列CFA图像的矩形窗中，计算待插值更新像素位置处的北方向的多方向边缘局部梯度值，其计算方法如公式4.4：其中，Z_N表示待插值更新像素位置处的北方向的局部梯度值，a的取值范围为{‑1,0,1}，W表示步骤(2)中得到的CFA图像多方向边缘阵列，i表示所在的行数，j表示所在的列数，C表示小于0.001的正数；(5)、利用步骤(3)中预测CFA图像多方向边缘丢失的绿色成分的插值方向，对丢失的绿色成分进行初始插值，其具体如下：当步骤(3)中预测的插值方向为竖直方向时，计算丢失的绿色成分的插值其计算方法如式5.1：其中，i表示待插值像素处在CFA图像中所在的行数，j表示待插值像素处在CFA图像中所在的列数，i‑1、i+1分别表示待插值像素处的上一行、下一行在CFA图像中所在的行数，表示在像素位置为(i,j)处插值出的丢失的绿色成分值，A表示在待插值像素位置处的原始成分值，原始成分值表示红色成分或蓝色成分，根据待插值像素处在CFA图像中具体的位置确定，表示在待插值像素处绿色成分在竖直方向的估计值，的计算方法如式5.2：其中，i表示待插值像素处在CFA图像中所在的行数，j表示待插值像素处在CFA图像中所在的列数，i‑2、i‑1、i+1、i+2分别表示待插值像素处的上两行、上一行、下一行、下两行在CFA图像中所在的行数，表示在待插值像素处绿色成分在竖直方向的估计值，G表示原始成分为绿色成分值，A表示在待插值像素位置处的原始成分值，原始成分值表示红色成分或蓝色成分，根据待插值像素处在CFA图像中具体的位置确定，表示在待插值像素处原始成分在竖直方向的估计值，的计算方法如式5.3：其中，i表示待插值像素处在CFA图像中所在的行数，j表示待插值像素处在CFA图像中所在的列数，i‑2、i‑1、i+1、i+2分别表示待插值像素处的上两行、上一行、下一行、下两行在CFA图像中所在的行数，表示在待插值像素处原始成分在竖直方向的估计值，原始成分表示红色成分或蓝色成分，根据待插值像素处在CFA图像中具体的位置确定，G表示原始成分为绿色成分值，A表示在待插值像素位置处的原始成分值，原始成分值表示红色成分或蓝色成分，根据待插值像素处在CFA图像中具体的位置确定；当步骤(3)中预测丢失的绿色成分的插值方向为水平方向时，计算丢失的绿色成分的插值，其计算方法如式5.4：其中，i表示待插值像素处在CFA图像中所在的行数，j表示待插值像素处在CFA图像中所在的列数，j‑1、j+1分别表示待插值像素处的前一列、后一列在CFA图像中所在的列数，表示在像素位置为(i,j)处插值出的丢失的绿色成分值，A表示在待插值像素位置处的原始成分值，原始成分值表示红色成分或蓝色成分，根据待插值像素处在CFA图像中具体的位置确定，表示在待插值像素处绿色成分在水平方向的估计值，的计算方法如式5.5：其中，i表示待插值像素处在CFA图像中所在的行数，j表示待插值像素处在CFA图像中所在的列数，j‑2、j‑1、j+1、j+2分别表示待插值像素处的前两列、前一列、后一列、后两列在CFA图像中所在的列数，表示在待插值像素处绿色成分在水平方向的估计值，G表示原始成分为绿色成分值，A表示在待插值像素位置处的原始成分值，原始成分值表示红色成分或蓝色成分，根据待插值像素处在CFA图像中具体的位置确定，表示在待插值像素处原始成分在水平方向的估计值，的计算方法如式5.6：其中，i表示待插值像素处在CFA图像中所在的行数，j表示待插值像素处在CFA图像中所在的列数，j‑2、j‑1、j+1、j+2分别表示待插值像素处的前两列、前一列、后一列、后两列在CFA图像中所在的列数，表示在待插值像素处原始成分在水平方向的估计值，原始成分表示红色成分或蓝色成分，根据待插值像素处在CFA图像中具体的位置确定，G表示原始成分为绿色成分值，A表示在待插值像素位置处的原始成分值，原始成分值表示红色成分或蓝色成分，根据待插值像素处在CFA图像中具体的位置确定；(6)、利用步骤(4)中得到的待插值更新像素位置处的多方向边缘局部梯度值，计算多方向的边缘增强梯度值，对步骤(5)中所述的CFA图像多方向边缘对丢失的绿色成分初始插值后的绿色成分进行更新插值，计算更新插值后的绿色成分值，包含如下步骤：(6‑1)、利用步骤(4)中所述的计算得到的待插值更新像素位置处的东、南、西、北四个方向的局部多方向梯度值Z_E、Z_S、Z_W、Z_N，计算东、南、西、北四个方向的多方向边缘增强梯度值L₁、L₂、L₃、L₄，计算方法如式6.1：其中，L₁表示为东方向的多方向边缘增强梯度值，L₂表示为南方向的多方向边缘增强梯度值，L₃表示为西方向的多方向边缘增强梯度值，L₄表示为北方向的多方向边缘增强梯度值，Z_E、Z_S、Z_W、Z_N分别表示东、南、西、北四个方向的局部多方向梯度值；(6‑2)、利用步骤(6‑1)中得到的东、南、西、北四个方向的多方向边缘增强梯度值L₁、L₂、L₃、L₄，计算多方向增强梯度值L_T，计算方法如式6.2：L_T＝L₁+L₂+L₃+L₄  式6.2其中，L_T表示多方向增强梯度值；(6‑3)、利用步骤(6‑1)和(6‑2)中得到多方向的边缘增强梯度值和多方向增强梯度值，对步骤(4)中所述的CFA图像多方向边缘丢失的绿色成分初始插值后的绿色成分进行更新插值，计算方法如式6.3：其中，i表示待插值像素处在CFA图像中所在的行数，j表示待插值像素处在CFA图像中所在的列数，i‑2表示待插值像素处的上两行在CFA图像中所在的行数；j‑2表示待插值像素处的前两列在CFA图像中所在的列数；i+2表示待插值像素处的下两行在CFA图像中所在的行数、j+2表示待插值像素处的后两列在CFA图像中所在的列数，表示CFA图像多方向边缘对丢失的绿色成分更新插值后的绿色成分值，A表示在待插值像素位置处的原始成分值，原始成分值表示红色成分或蓝色成分，根据待插值像素处在CFA图像中具体的位置确定，Q表示0到1之间的自适应性加权因子，L_T表示多方向增强梯度值，L₁表示为东方向的多方向边缘增强梯度值，L₂表示为南方向的多方向边缘增强梯度值，L₃表示为西方向的多方向边缘增强梯度值，L₄表示为北方向的多方向边缘增强梯度值；(7)、利用步骤(6)中所述的更新插值后的绿色成分，对CFA图像多方向边缘丢失的蓝色成分和红色成分进行插值，包含如下步骤：(7‑1)、计算CFA图像多方向边缘的绿色成分在左斜对角方向上的边缘梯度值，计算方法如式7.1：其中，i表示待插值像素处在CFA图像中所在的行数，j表示待插值像素处在CFA图像中所在的列数，i‑2、i‑1、i+1、i+2分别表示待插值像素处的上两行、上一行、下一行、下两行在CFA图像中所在的行数，j‑2、j‑1、j+1、j+2分别表示待插值像素处的前两列、前一列、后一列、后两列在CFA图像中所在的列数，P₁表示绿色成分在左斜对角方向上的边缘梯度值，表示CFA图像多方向边缘丢失的绿色成分更新插值后的绿色成分值，C表示小于0.001的正数；(7‑2)、计算CFA图像多方向边缘的绿色成分在右斜对角方向上的边缘梯度值，计算方法如式7.2：其中，i表示待插值像素处在CFA图像中所在的行数，j表示待插值像素处在CFA图像中所在的列数，i‑2、i‑1、i+1、i+2分别表示待插值像素处的上两行、上一行、下一行、下两行在CFA图像中所在的行数，j‑2、j‑1、j+1、j+2分别表示待插值像素处的前两列、前一列、后一列、后两列在CFA图像中所在的列数，P₂表示绿色成分在右斜对角方向上的边缘梯度值，表示CFA图像多方向边缘丢失的绿色成分更新插值后的绿色成分值，C表示小于0.001的正数；(7‑3)、利用步骤(7‑1)所述的CFA图像多方向边缘的绿色成分在左斜对角方向上的边缘梯度值P₁和步骤(7‑2)所述的CFA图像多方向边缘的绿色成分在右斜对角方向上的边缘梯度值P₂，在原始成分为红色成分的位置处，对丢失的蓝色成分插值，计算方法如式7.3：其中，i表示待插值像素处在CFA图像中所在的行数，j表示待插值像素处在CFA图像中所在的列数，i‑1、i+1分别表示待插值像素处的上一行、下一行在CFA图像中所在的行数，j‑1、j+1分别表示待插值像素处的前一列、后一列在CFA图像中所在的列数，表示在原始成分为红色成分的位置处插值出的蓝色成分，表示对CFA图像多方向边缘丢失的绿色成分更新插值后的绿色成分，B表示在由其下标确定的行数和列数的位置处的原始蓝色成分；(7‑4)、在CFA图像多方向边缘原始成分为绿色成分的位置处的坐标的行数和列数都是奇数时，对CFA图像多方向边缘丢失的蓝色成分进行插值，插值的计算方法如式7.4：其中，i表示待插值像素处在CFA图像中所在的行数中的奇数行，j表示待插值像素处在CFA图像中所在的列数中的奇数列，j‑1、j+1分别表示待插值像素处的前一列、后一列在CFA图像中所在的列数，表示在原始成分为红色成分的位置处插值出的蓝色成分，G表示在插值位置处原始绿色成分值，表示对CFA图像多方向边缘丢失的绿色成分更新插值后的绿色成分，B表示在由其下标确定的行数和列数的位置处的原始蓝色成分；(7‑5)、在CFA图像多方向边缘原始成分为绿色成分的位置处的坐标行数和列数都是偶数时，对CFA图像多方向边缘丢失的蓝色成分进行插值，插值的计算方法如式7.5：其中，i表示待插值像素处在CFA图像中所在的行数中的偶数行，j表示待插值像素处在CFA图像中所在的列数中的偶数列，i‑1、i+1分别表示待插值像素处的上一行、下一行在CFA图像中所在的行数，表示在原始成分为红色成分的位置处插值出的蓝色成分，G表示在插值位置处原始绿色成分值，表示对CFA图像多方向边缘丢失的绿色成分更新插值后的绿色成分，B表示在由其下标确定的行数和列数的位置处的原始蓝色成分；(7‑6)、利用步骤(7‑1)所述的CFA图像多方向边缘的绿色成分在左斜对角方向上的边缘梯度值P₁和步骤(7‑2)所述的CFA图像多方向边缘的绿色成分在右斜对角方向上的边缘梯度值P₂，在原始成分为蓝色成分的位置处，对丢失的红色成分插值，计算方法如式7.6：其中，i表示待插值像素处在CFA图像中所在的行数，j表示待插值像素处在CFA图像中所在的列数，i‑1、i+1分别表示待插值像素处的上一行、下一行在CFA图像中所在的行数，j‑1、j+1分别表示待插值像素处的前一列、后一列在CFA图像中所在的列数，表示在原始成分为红色成分的位置处插值出的红色成分，表示对CFA图像多方向边缘丢失的绿色成分更新插值后的绿色成分，R表示在由其下标确定的行数和列数的位置处的原始红色成分；(7‑7)、在CFA图像多方向边缘原始成分为绿色成分的位置处的坐标的行数和列数都是偶数时，对CFA图像多方向边缘丢失的红色成分进行插值，插值的计算方法如式7.7：其中，i表示待插值像素处在CFA图像中所在的行数中的偶数行，j表示待插值像素处在CFA图像中所在的列数中的偶数列，j‑1、j+1分别表示待插值像素处的前一列、后一列在CFA图像中所在的列数，表示在原始成分为红色成分的位置处插值出的红色成分，等式右边的G表示在插值位置处原始绿色成分值，表示对CFA图像多方向边缘丢失的绿色成分更新插值后的绿色成分，R表示在由其下标确定的行数和列数的位置处的原始红色成分；(7‑8)、在CFA图像多方向边缘原始成分为绿色成分的位置处的坐标行数和列数都是奇数时，对CFA图像多方向边缘丢失的红色成分进行插值，插值的计算方法如式7.8：其中，i表示待插值像素处在CFA图像中所在的行数中的奇数行，j表示待插值像素处在CFA图像中所在的列数中的奇数列，i‑1、i+1分别表示待插值像素处的上一行、下一行在CFA图像中所在的行数，表示在原始成分为红色成分的位置处插值出的红色成分，G表示在插值位置处原始绿色成分值，表示对CFA图像多方向边缘丢失的绿色成分更新插值后的绿色成分，R表示在由其下标确定的行数和列数的位置处的原始红色成分。