CN102663719B - 基于非局部均值的Bayer型CFA图像去马赛克方法 - Google Patents

Abstract

本发明公开了一种基于非局部均值的Bayer型CFA图像去马赛克方法，主要解决了现有技术对图像细小边缘部分插值效果不佳的问题。其实现步骤是：(1)输入一幅Bayer型CFA图像；(2)估计亮度；(3)逐像素取图像块作为当前待去马赛克的图像块；(4)提取三组图像块集合；(5)计算图像块的权重；(6)相似图像块加权平均；(7)对当前待去马赛克图像块插值；(8)判断是否完成所有像素的插值，若完成，则执行步骤(9)，否则转入步骤(3)；(9)边缘修正；(10)色度修正；(11)输出彩色图像。本发明能够很好地恢复图像的细小边缘区域的信息，有效抑制了虚假颜色效应，尤其适用于纹理较多的CFA图像。

Description

基于非局部均值的Bayer型CFA图像去马赛克方法

技术领域

本发明属于图像处理技术领域，更进一步涉及图像恢复技术领域的基于非局部均值的Bayer型CFA图像去马赛克方法。本发明可用于恢复单传感芯片相机中CFA图像的完整彩色信息，从而弥补由于减少相机硬件成本所带来的图像彩色信息的丢失；同时，也可用于计算机中对相机以“Raw Mode”方式保存的原始数据进行处理，从而获得高质量的彩色图像。

背景技术

单传感相机采用单片CCD或CMOS传感芯片，通过在传感器前覆盖一个颜色滤波阵列(color filer array，CFA)来捕获图像。这种方式所捕获的CFA图像为一种马赛克图像，每个像素点只有三基色中的一个颜色值，而另外两个颜色值则需要根据其邻域信息来插值，这一颜色插值技术被称为“去马赛克”(demosaicing)。

现有的CFA图像去马赛克技术可以简单地分为线性插值技术和非线性插值技术。线性插值最简单也最具代表性的有双线性插值和双立方插值。双线性插值和双立方插值技术的优点在于其实现简单，速度快；但其缺点也是显而易见的：在图像中会产生严重的人工痕迹(如彩色镶边，即虚假颜色效应)，尤其在图像的高频部分更为突出。相对地，非线性插值技术更复杂，由于考虑了RGB通道间的相关性，其插值效果明显要优于线性插值技术。这一类技术有很多，例如，Wenmain Lu和Yap-peng Tan在文章中“Color filter array demosaicing：new method and performance measures”(IEEETrans.Image Process.，vol.12，no.10，pp.1194-1210，Oct.2003)中提出的去马赛克方法。非线性插值技术虽然可以获得优质彩色图像，但其复杂度高，计算代价大。

微软公司提出的专利申请“用于彩色图像去马赛克的优质梯度校正线性插值”(申请日：2005年03月15日，申请号：200510055929.5，公开号：CN1722852)中公开了一种用于彩色图像去马赛克的梯度校正线性插值方法和系统。该方法和系统首先使用现有的线性插值技术如双线性插值技术来估算所需颜色的值，然后通过计算当前像素上所需色彩的梯度来计算校正项，最后线性组合该插值和校正项以产生像素上遗漏色彩值。该方法直接使用梯度来影响和校正由现有插值技术估计的色彩值。但不足之处是：仅仅利用了梯度来校正双线性插值的结果，虽然比双线性插值有了很大改进，但对图像细节部分处理效果仍然不太理想，虚假颜色效应依然严重。

西安电子科技大学提出的专利“基于边缘方向插值的CFA图像去马赛克方法”(申请日：2011年07月22日，申请号：201110207617.7，公开号：CN102254301)中提出一种基于边缘方向插值的去马赛克方法。该方法根据图像的边缘走向来插值，使得图像的边缘部分的插值效果有了明显提高。该方法的不足之处是：该方法是通过梯度来判断边缘方向，对于大的边缘能获得较好的插值结果，但是对于细小的边缘则无法判断边缘方向，所以该方法对细小边缘和纹理区域插值结果不理想。

发明内容

本发明针对现有去马赛克算法对图像的细小边缘和纹理区域插值效果不佳的缺陷，提出了一种基于非局部均值的Bayer型CFA图像去马赛克方法，本发明采用了非局部均值的思想，将图像分块处理，在当前图像块的邻域中搜索相似图像块，利用图像的结构相似性对当前图像块进行插值，使得图像的高频部分的插值结果有显著的提高，有效抑制了虚假颜色效应。

为实现上述目的，本发明包括如下主要步骤：

(1)输入一幅待去马赛克的Bayer型CFA图像；

(2)采用亮度公式估计亮度；

(3)在输入待去马赛克的Bayer型CFA图像中逐像素取一个5×5像素大小的图像块作为当前待去马赛克的图像块；

(4)在当前待去马赛克图像块的33×33像素大小的邻域中提取三组图像块集合；

(5)计算图像块的权重

5a)采用高斯核距离公式计算三组图像块集合中每个图像块与当前待去马赛克图像块的高斯核距离；

5b)在三组图像块集合中的每组图像块集合内，按高斯核距离由小到大对该组所有图像块进行排序，取前5个图像块作为相似图像块，舍弃其余图像块；

5c)采用权重计算公式计算每组图像块集合中5个相似图像块的权重；

(6)采用加权平均公式对三组图像块集合中的相似图像块进行加权平均；

(7)将加权图像块中的值按像素空间位置一一对应地插入到当前待去马赛克图像块中；

(8)判断是否完成所有像素的插值，若完成，则执行步骤(9)，否则转入步骤(3)；

(9)用边缘修正方法对插值后图像进行边缘修正；

(10)色度修正

10a)采用颜色空间转换公式将边缘修正后的图像从RGB空间转换到YUV空间；

10b)在YUV空间中对图像的色度矩阵U和V分别进行3×3窗口的中值滤波；

10c)将图像从YUV空间转换到RGB空间，并将每个像素中不需要插值的颜色值替换为CFA图像中对应的原有颜色值；

10d)判断是否完成了三次色度矩阵U和V的中值滤波，若完成，则执行步骤(11)，否则转入步骤10a)；

(11)输出彩色图像。

本发明与现有的技术相比具有以下优点：

第一，本发明采用非局部均值的思想，利用图像自身的冗余性来搜索相似图像块，并依据精确估计的亮度来计算权重，利用相似图像块的结构相似性对当前图像块进行插值，能够避免现有技术跨边缘插值所造成的颜色效应，使得本发明尤其适用于处理纹理较多的图像。

第二，本发明针对现有技术对图像的细小边缘区域插值效果不佳的缺陷，对非局部均值插值后的图像进行了边缘修正，使得图像的高频部分的插值效果有明显提高，提高了对细小边缘的插值效果；

第三，本发明对边缘修正后的图像进行了色度修正，对图像两个色度矩阵进行了三次中值滤波，改善了现有技术在插值过程中易造成小部分像素色度偏差的缺点，有效抑制了虚假颜色的出现。

附图说明

图1为本发明的流程图；

图2为现有技术与本发明的去马赛克仿真效果图。

具体实施方式

下面结合附图1，对本发明实现的步骤作进一步的详细描述：

步骤1，输入一幅待去马赛克的CFA图像I_s，其中待去马赛克的CFA图像为Bayer模式的CFA图像，图像中每个像素点仅存在红、绿、蓝三基色中一个颜色值，该颜色值不需要插值，另外两个颜色值缺失，需要采用去马赛克方法进行插值。

步骤2，估计亮度，计算公式如下：

$L=A{(H^T{\mathrm{\σ}}^{-1}H+{\mathrm{\λ}}_1{M}_1^T{M}_1+{\mathrm{\λ}}_2{M}_2^T{M}_2)}^{-1}{H}^T{\mathrm{\σ}}^{-1}{I}_s$

其中，L为所需估计的亮度矩阵，A为RGB彩色图像转化为亮度矩阵的转换矩阵，H为RGB彩色图像采样成Bayer形式CFA图像的采样因子，T为矩阵转置运算符，上标-1为矩阵求逆运算符，σ，λ₁和λ₂为常数，其值分别为：σ＝0.00001，λ₁＝0.0008，λ₂＝0.02，M₁和M₂为滤波矩阵，

I₃为3×3大小单位矩阵，S₁为高通滤波器[0.2，-0.5，0.65，-0.5，0.2]，

表示克罗内克(Kronecker)算子，M₂由下式运算得到：

$M_2=\left(\begin{array}{ccc}1.547& -0.577& -0.577\\ -0.577& 1.547& -0.577\\ -0.577& -0.577& 1.547\end{array}\right)\⊗S_2$

S₂为高通滤波器[-0.5，1，-0.5]，I_s为输入的CFA图像。

步骤3，在输入图像中，从第17行第17列的像素起，到倒数第17行倒数第17列的像素为止，逐个像素以该像素点为中心取大小为5×5像素的图像块作为当前待去马赛克的图像块；

步骤4，在当前待去马赛克图像块33×33像素大小的邻域中提取三组图像块集合

4a)以当前待去马赛克的图像块的中心像素点为中心取一个大小为33×33像素的搜索窗；

4b)在搜索窗中自第3行第4列的像素开始，分别沿行方向和列方向每隔一个像素取一个像素点作为中心像素点，以该像素点为中心取一个5×5像素大小的图像块，总共得到15×14共210个图像块，将这些图像块作为第一组图像块集合；

4c)在搜索窗中自第4行第3列的像素开始，分别沿行方向和列方向每隔一个像素取一个像素点作为中心像素点，以该像素点为中心取一个5×5像素大小的图像块，总共得到14×15共210个图像块，将这些图像块作为第二组图像块集合；

4d)在搜索窗中从第4行第4列的像素开始，分别沿行方向和列方向每隔一个像素取一个像素点作为中心像素点，以该像素点为中心取一个5×5像素大小的图像块，总共得到14×14共196个图像块，将这些图像块作为第三组图像块集合；

步骤5，计算图像块权重

5a)采用高斯核距离公式计算三组图像块集合中每个图像块与当前待去马赛克图像块的高斯核距离，计算公式如下：

$d_{k,i}={\left|\right|G\·(y_{k,i}^L-y_0^L)\left|\right|}_2^2$

其中，d_k，i第k组图像块集合中第i个图像块与当前待去马赛克图像块之间的距离，k为图像块集合序号k＝1，2，3，i表示图像块集合中图像块的索引，表示二范数的平方，G为高斯核矩阵，·表示点乘运算，

为第k组图像块集合中第i个图像块亮度的矢量表示，上标L表示图像块的亮度，

为当前待去马赛克图像块亮度的矢量表示。

5b)在三组图像块集合中的每组图像块集合内，按高斯核距离由小到大对该组所有图像块进行排序，取前5个图像块作为相似图像块，舍弃其余图像块；

5c)采用权重计算公式计算每组图像块集合中5个相似图像块的权重，计算公式如下：

$w_{k,j}=\frac{1}{Z(k,j)}\exp (-\frac{d_{k,j}}{h^2}),$ $Z(k,j)=\underset{j}{\mathrm{\Σ}}\exp (-\frac{d_{k,j}}{h^2})$

其中，w_k，j为第k组图像块集合中第j个相似图像块的权重，k为相似图像块集合序号k＝1，2，3，j表示相似图像块集合中5个相似图像块的索引j＝1，2，3，4，5，Z(k，j)为归一化系数，d_k，j为第k组图像块集合中第j个相似图像块与当前待去马赛克图像块之间的高斯核距离，常数h为平滑参数，取值为10，∑表示累加操作。

步骤6，采用加权平均公式对三组图像块集合中的相似图像块进行加权平均，得到三个加权后的图像块，它们的矢量表示为

和

${\stackrel{\‾}{y}}_k=\underset{j}{\mathrm{\Σ}}{w}_{k,j}{y}_{k,j}$

其中，为第k组相似图像块集合的加权后图像块，k为相似图像块集合序号k＝1，2，3，∑表示累加操作，j表示图像块集合中5个相似图像块的索引j＝1，2，3，4，5，w_k，j为第k组相似图像块集合中第j个相似图像块的权重，y_k，j为第k组相似图像块集合中第j个相似图像块的矢量表示。

步骤7，利用三个加权图像块对当前待去马赛克图像块进行插值，当前待去马赛克图像块y₀与加权图像块

均为5×5图像块，将加权图像块

中的值按像素空间位置一一对应地插入到当前待去马赛克图像块y₀中，得到一个5×5×4的三维矩阵，其中每个像素都具有一个红色值、两个绿色值和一个蓝色值。在此三维矩阵中，同一空间位置上每个像素最终的绿色值取二者的均值，得到一个彩色图像块，从而完成了对当前中心图像块的插值。

步骤8，判断是否完成所有像素的插值，若完成则执行步骤(9)，否则转入步骤(3)；

步骤9，边缘修正

9a)根据下式计算插值后整个绿色通道的水平和垂直梯度：

$\left\{\begin{array}{c}{\mathrm{\ΔH}}_g(i,j)=|G(i,j-1)-G(i,j+1)|+\frac{1}{2}|2G(i,j)-G(i,j-1)-G(i,j+1)|\\ {\mathrm{\ΔV}}_g(i,j)=|G(i-1,j)-G(i+1,j)|+\frac{1}{2}|2G(i,j)-G(i-1,j)-G(i+1,j)|\end{array}\right.$

其中，ΔH_g(i，j)为插值后绿色通道像素点(i，j)的水平梯度值，(i，j)为像素点位置索引，G(i，j)为插值后绿色通道像素点(i，j)的绿色值，ΔV_g(i，j)为插值后绿色通道像素点(i，j)的垂直梯度值；

9b)对于CFA图像中已知红色值的像素点，这些像素点中所插入的绿色值是根据如下公式进行修正的：

$\tilde{G}(i,j)=r(i,j)+\left\{\begin{array}{cc}\frac{w_2(g(i-1,j)-R(i-1,j))+w_7(g(i+1,j)-R(i+1,j))}{w_2+w_7},& {\mathrm{\&Delta;H}}_g(i,j)>{\mathrm{\&Delta;V}}_g(i,j)\\ \frac{w_4(g(i,j-1)-R(i,j-1))+w_5(g(i,j+1)-R(i,j+1))}{w_4+w_5},& {\mathrm{\&Delta;H}}_g(i,j)<{\mathrm{\&Delta;V}}_g(i,j)\\ \frac{\underset{k=1}{\overset{8}{\mathrm{\&Sigma;}}}{w}_k(g(i+m_k,j+n_k)-R(i+m_k,j+n_k))}{\underset{k=1}{\overset{8}{\mathrm{\&Sigma;}}}{w}_k},& {\mathrm{\&Delta;H}}_g(i,j)={\mathrm{\&Delta;V}}_g(i,j)\end{array}\right.$

其中，

$w_k=\frac{1}{{[1+{(r(i,j)-r(i+m_k,j+n_k))}^2]}^{1/2}}$

为像素点(i，j)修正后的绿色值，(i，j)为像素点位置索引，r(i，j)为像素点(i，j)已知的红色值，w_k为权值，k为w_k，m_k和n_k中的取值序号，k＝1，2...8，g(i-1，j)为像素点(i-1，j)已知的绿色值，R(i-1，j)像素点(i-1，j)中所插入的红色值，ΔH_g(i，j)为绿色通道像素点(i，j)的水平梯度值，ΔV_g(i，j)为绿色通道像素点(i，j)的垂直梯度值，∑表示累加操作，m_k和n_k为整数，m_k∈{-2，-2，-2，0，0，2，2，2}，n_k∈{-2，0，2，-2，2，-2，0，2}；

9c)对于CFA图像中已知蓝色值的像素点，这些像素中所插入的绿色值是根据如下公式进行修正的：

$\tilde{G}(i,j)=b(i,j)+\left\{\begin{array}{cc}\frac{w_2(g(i-1,j)-B(i-1,j))+w_7(g(i+1,j)-B(i+1,j))}{w_2+w_7},& {\mathrm{\&Delta;H}}_g(i,j)>{\mathrm{\&Delta;V}}_g(i,j)\\ \frac{w_4(g(i,j-1)-B(i,j-1))+w_5(g(i,j+1)-B(i,j+1))}{w_4+w_5},& {\mathrm{\&Delta;H}}_g(i,j)<{\mathrm{\&Delta;V}}_g(i,j)\\ \frac{\underset{k=1}{\overset{8}{\mathrm{\&Sigma;}}}{w}_k(g(i+m_k,j+n_k)-B(i+m_k,j+n_k))}{\underset{k=1}{\overset{8}{\mathrm{\&Sigma;}}}{w}_k},& {\mathrm{\&Delta;H}}_g(i,j)={\mathrm{\&Delta;V}}_g(i,j)\end{array}\right.$

其中，

$w_k=\frac{1}{{[1+{(b(i,j)-b(i+m_k,j+n_k))}^2]}^{1/2}}$

为像素点(i，j)修正后的绿色值，(i，j)为像素点位置索引，b(i，j)为像素点(i，j)已知的蓝色值，w_k为权值，k为w_k，m_k和n_k中的取值序号，k＝1，2...8，g(i-1，j)为像素点(i-1，j)已知的绿色值，B(i-1，j)为像素点(i-1，j)所插入的蓝色值，ΔH_g(i，j)为绿色通道像素点(i，j)的水平梯度值，ΔV_g(i，j)为绿色通道像素点(i，j)的垂直梯度值，∑表示累加操作，m_k和n_k为整数，m_k∈{-2，-2，-2，0，0，2，2，2}，n_k∈{-2，0，2，-2，2，-2，0，2}；

9d)对所插入的全部的红色值是根据下式进行修正的：

$\tilde{R}(i,j)=\tilde{G}(i,j)+\frac{\underset{k=1}{\overset{8}{\mathrm{\&Sigma;}}}{w}_k(R(i+m_k,j+n_k)-\tilde{G}(i+m_k,j+n_k))}{\underset{k=1}{\overset{8}{\mathrm{\&Sigma;}}}{w}_k}$

其中，

$w_k=\frac{1}{{[1+{(\tilde{G}(i,j)-\tilde{G}(i+m_k,j+n_k))}^2]}^{1/2}}$

为像素点(i，j)修正后的红色值，

为像素点(i，j)修正后的绿色值，∑表示累加操作，w_k为权值，k为w_k，m_k和n_k中的取值序号，k＝1，2...8，R(i+m_k，j+n_k)为像素点(i+m_k，j+n_k)中所插入的红色值，m_k和n_k为整数，m_k∈{-2，-2，-2，0，0，2，2，2}，n_k∈{-2，0，2，-2，2，-2，0，2}；

9e)对所插入的全部的蓝色值是根据下式进行修正的：

$\tilde{B}(i,j)=\tilde{G}(i,j)+\frac{\underset{k=1}{\overset{8}{\mathrm{\&Sigma;}}}{w}_k(B(i+m_k,j+n_k)-\tilde{G}(i+m_k,j+n_k))}{\underset{k=1}{\overset{8}{\mathrm{\&Sigma;}}}{w}_k}$

其中，

$w_k=\frac{1}{{[1+{(\tilde{G}(i,j)-\tilde{G}(i+m_k,j+n_k))}^2]}^{1/2}}$

为像素点(i，j)修正后的蓝色值，

为像素点(i，j)修正后的绿色值，∑表示累加操作，w_k为权值，k为w_k，m_k和n_k中的取值序号，k＝1，2...8，B(i+m_k，j+n_k)为像素点中所插入(i+m_k，j+n_k)的蓝色值，m_k和n_k为整数，m_k∈{-2，-2，-2，0，0，2，2，2}，n_k∈{-2，0，2，-2，2，-2，0，2}。

步骤10，色度修正

10a)采用颜色空间转换公式将边缘修正后的图像从RGB空间转换到YUV空间，颜色空间转换公式为：

$\left\{\begin{array}{c}Y=0.299R+0.587G+0.114B\\ U=R-Y\\ V=B-Y\end{array}\right.$

其中，Y为整幅图像YUV空间的亮度矩阵，R、G和B为整幅图像RGB空间的红、绿、蓝三个通道矩阵，U和V为整幅图像YUV空间的两个色度矩阵。

10b)在YUV空间中对图像的色度矩阵U和V分别进行3×3窗口的中值滤波，即每个像素点上的色度值取该像素点3×3窗口中9个值的中值；

10c)将图像从YUV空间转换到RGB空间，并将每个像素中不需要插值的颜色值替换为CFA图像中对应的原有颜色值，颜色空间转换公式为：

$\left\{\begin{array}{c}R=U+Y\\ B=V+Y\\ G=(Y-0.299R-0.114B)/0.587\end{array}\right.$

其中，R、G和B为整幅图像RGB空间的红、绿、蓝三个通道矩阵，Y为整幅图像YUV空间的亮度矩阵，U和V为整幅图像YUV空间的两个色度矩阵。

10d)判断是否完成了三次色度矩阵U和V的中值滤波，若完成，则执行步骤(11)，否则转入步骤10a)。

步骤11，输出彩色图像。

下面结合附图2对本发明的仿真效果做进一步说明。

1.仿真数据

仿真所使用的测试图像为Kodak标准彩色图像库中第19幅彩色图像，图像大小为768×512像素，具有红、绿、蓝三个通道，每个通道灰度级为256。

2.仿真评价指标

评价CFA图像去马赛克效果的方法是对一幅清晰干净的图像采样成Bayer型的CFA图像，然后再进行去马赛克仿真，得到去马赛克后的彩色图像，最后通过与原图对比进行评价。

CFA图像去噪克效果的评价分为主观和客观两个方面。在主观上评价一幅图像去噪效果的优劣主要是通过人眼的视觉特性来衡量，如果结果图像细节保持好，出现的虚假色较少，则说明该去马赛克方法效果好，反之效果较差。在客观上评价一幅图像的去马赛克效果好坏，本发明采用常用的彩色峰值信噪比(CPSNR)来衡量。

令真实彩色图像为I，图像大小为m×n×3，去马赛克后的彩色图像为

。则彩色峰值信噪比按如下公式计算：

$\mathrm{CPSNR}=10{\log }_{10}\frac{{255}^2}{\frac{1}{3\mathrm{mn}}\underset{k=1}{\overset{3}{\mathrm{\&Sigma;}}}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{(\hat{I}(i,j,k)-I(i,j,k))}^2}$

其中，CPSNR为所需计算的评价指标值，m为图像的行数，n为图像的列数，k为图像的通道索引，i和j为像素的行和列的索引，∑表示累加操作，

为去马赛克后的彩色图像，I为原彩色图像。

3.仿真结果与分析

附图2是现有技术与本发明的去马赛克效果图，其中，附图2(a)为原图；附图2(b)为基于边缘方向插值的CFA图像去马赛克方法的效果图；附图2(c)为本发明的去马赛克效果图。附图2(b)的图像来源于专利“基于边缘方向插值的CFA图像去马赛克方法”(申请日：2011年07月22日，申请号：201110207617.7，公开号：CN102254301)。

对比附图2中的三幅子图，可以看出基于边缘方向插值的CFA图像去马赛克方法对图像的平滑区域和粗的边缘区域插值效果很好，但在图中篱笆密集处出现了一小块原图中没有的黄色斑块；本发明则很好地恢复了原图的信息，并没有出现虚假的颜色块和失真，对细小边缘的插值效果依然很好。在客观评价方面，采用评价指标的计算公式，计算得到现有技术基于边缘方向插值的CFA图像去马赛克方法的CPSNR值为40.75dB，本发明的CPSNR值为41.16dB。本发明的客观评价指标CPSNR高于现有技术的CPSNR，说明本发明去马赛克效果要好。对比两幅结果图及其评价指标，可以看出本发明对图像纹理区域的恢复的效果非常好，克服了一般去马赛克方法在图像细小边缘处容易出现虚假色的缺点，尤其适用于纹理较多的CFA图像。

Claims (9)

1.一种基于非局部均值的Bayer型CFA图像去马赛克方法，包括如下步骤：

(1)输入一幅待去马赛克的Bayer型CFA图像；

(2)采用亮度公式估计亮度；

(3)在输入待去马赛克的Bayer型CFA图像中逐像素取一个5×5像素大小的图像块作为当前待去马赛克的图像块；

(4)在当前待去马赛克图像块的33×33像素大小的邻域中提取三组图像块集合；

所述的提取图像块集合的具体方法如下：

4a)以当前待去马赛克的图像块的中心像素点为中心取一个大小为33×33像素的搜索窗；

4b)在搜索窗中自第3行第4列的像素开始，分别沿行方向和列方向每隔一个像素取一个像素点作为中心像素点，以该像素点为中心取一个5×5像素大小的图像块，总共得到15×14共210个图像块，将这些图像块作为第一组图像块集合；

4c)在搜索窗中自第4行第3列的像素开始，分别沿行方向和列方向每隔一个像素取一个像素点作为中心像素点，以该像素点为中心取一个5×5像素大小的图像块，总共得到14×15共210个图像块，将这些图像块作为第二组图像块集合；

4d)在搜索窗中从第4行第4列的像素开始，分别沿行方向和列方向每隔一个像素取一个像素点作为中心像素点，以该像素点为中心取一个5×5像素大小的图像块，总共得到14×14共196个图像块，将这些图像块作为第三组图像块集合；

(5)计算图像块的权重

5a)采用高斯核距离公式计算三组图像块集合中每个图像块与当前待去马赛克图像块的高斯核距离；

5b)在三组图像块集合中的每组图像块集合内，按高斯核距离由小到大对该组所有图像块进行排序，取前5个图像块作为相似图像块，舍弃其余图像块；

5c)采用权重计算公式计算每组图像块集合中5个相似图像块的权重；

(6)采用加权平均公式对三组图像块集合中的相似图像块进行加权平均；

(7)将加权图像块中的值按像素空间位置一一对应地插入到当前待去马赛克图像块中；

(8)判断是否完成所有像素的插值，若完成，则执行步骤(9)，否则转入步骤(3)；

(9)用边缘修正方法对插值后图像进行边缘修正；

(10)色度修正

10a)采用颜色空间转换公式将边缘修正后的图像从RGB空间转换到YUV空间；

10b)在YUV空间中对图像的色度矩阵U和V分别进行3×3窗口的中值滤波；

10c)将图像从YUV空间转换到RGB空间，并将每个像素中不需要插值的颜色值替换为CFA图像中对应的原有颜色值；

10d)判断是否完成了三次色度矩阵U和V的中值滤波，若完成，则执行步骤(11)，否则转入步骤10a)；

(11)输出彩色图像。

2.根据权利要求1所述的基于非局部均值的Bayer型CFA图像去马赛克方法，其特征在于：步骤(1)中所述的Bayer型CFA图像为一种马赛克图像，图像中每个像素点仅存在红、绿、蓝三基色中一个颜色值，该颜色值不需要插值，另外两个颜色值缺失，需要采用去马赛克方法进行插值。

3.根据权利要求1所述的基于非局部均值的Bayer型CFA图像去马赛克方法，其特征在于：步骤(2)中所述的亮度估计公式如下：

$L=A{(H^T{\mathrm{\&sigma;}}^{-1}H+{\mathrm{\&lambda;}}_1{M}_1^T{M}_1+{\mathrm{\&lambda;}}_2{M}_2^T{M}_2)}^{-1}{H}^T{\mathrm{\&sigma;}}^{-1}{I}_S$

其中，L为所需估计的亮度矩阵，A为RGB彩色图像转化为亮度矩阵的转换矩阵，H为RGB彩色图像采样成Bayer形式CFA图像的采样因子，T为矩阵转置运算符，上标-1为矩阵求逆运算符，σ，λ₁和λ₂为常数，其值分别为：σ=0.00001，λ₁=0.0008，λ₂=0.02，M₁和M₂为滤波矩阵，

，I₃为3×3大小单位矩阵，S₁为高通滤波器[0.2，-0.5，0.65，-0.5，0.2]，

表示克罗内克(Kronecker)算子，M₂由下式运算得到：

$M_2=\left(\begin{array}{ccc}1.547& -0.577& -0.577\\ -0.577& 1.547& -0.577\\ -0.577& -0.577& 1.547\end{array}\right)\&CircleTimes;S_2$

S₂为高通滤波器[-0.5，1，-0.5]，I_s为输入的CFA图像。

4.根据权利要求1所述的基于非局部均值的Bayer型CFA图像去马赛克方法，其特征在于：步骤(3)中所述的逐像素取图像块的方法为：从第17行第17列的像素起，到倒数第17行倒数第17列的像素为止，对每个像素点均以该像素点为中心取大小为5×5像素大小的图像块作为当前待去马赛克的图像块。

5.根据权利要求1所述的基于非局部均值的Bayer型CFA图像去马赛克方法，其特征在于：步骤5a)中所述的高斯核距离公式为：

$d_{k,i}={\left|\right|G\&CenterDot;(y_{k,i}^L-y_0^L)\left|\right|}_2^2$

其中，d_k，i第k组图像块集合中第i个图像块与当前待去马赛克图像块之间的距离，k为图像块集合序号k=1，2，3，i表示图像块集合中图像块索引，

表示二范数的平方，G为高斯核矩阵，·表示点乘运算，为第k组图像块集合中第i个图像块亮度的矢量表示，上标L表示图像块的亮度，

为当前待去马赛克图像块亮度的矢量表示。

6.根据权利要求1所述的基于非局部均值的Bayer型CFA图像去马赛克方法，其特征在于：步骤5c)中所述的权重计算公式为：

$w_{k,j}=\frac{1}{Z(k,j)}\exp (-\frac{d_{k,j}}{h^2}),Z(k,j)=\underset{j}{\mathrm{\&Sigma;}}\exp (-\frac{d_{k,j}}{h^2})$

其中，w_k,j为第k组图像块集合中第j个相似图像块的权重，k为相似图像块集合序号k=1，2，3，j表示相似图像块集合中5个相似图像块的索引j=1，2，3，4，5，Z(k,j)为归一化系数，d_k,j为第k组图像块集合中第j个相似图像块与当前待去马赛克图像块之间的高斯核距离，常数h为平滑参数，取值为10，∑表示累加操作。

7.根据权利要求1所述的基于非局部均值的Bayer型CFA图像去马赛克方法，其特征在于：步骤(6)中所述的加权平均公式为：

${\stackrel{\&OverBar;}{y}}_k=\underset{j}{\mathrm{\&Sigma;}}{w}_{k,j}{y}_{k,j}$

其中，

为第k组相似图像块集合的加权后图像块，k为相似图像块集合序号k=1，2,3，∑表示累加操作，j表示图像块集合中5个相似图像块的索引j=1，2，3，4，5，w_k,j为第k组相似图像块集合中第j个相似图像块的权重，y_k,j为第k组相似图像块集合中第j个相似图像块的矢量表示。

8.根据权利要求1所述的基于非局部均值的Bayer型CFA图像去马赛克方法，其特征在于：步骤(7)中所述的对当前待去马赛克图像块插值的方法为：将加权图像块中的值按像素位置一一对应地插入到当前待去马赛克图像块中，得到一个5×5×4的三维矩阵，其中每个像素都具有一个红色值、两个绿色值和一个蓝色值；每个像素最终的绿色值取两个绿色值的均值，得到插值后的彩色图像块。

9.根据权利要求1所述的基于非局部均值的Bayer型CFA图像去马赛克方法，其特征在于：步骤(9)中所述的边缘修正方法为：对绿色通道中插入的像素点分别计算水平和垂直梯度，如果水平梯度小于垂直梯度，则对此像素的绿色值进行水平邻域加权修正，如果水平梯度大于垂直梯度，则对此像素的绿色值进行垂直邻域加权修正，如果水平梯度等于垂直梯度，对此像素的绿色值进行水平和垂直邻域加权修正；对插值像素点的红色值和蓝色值均进行水平和垂直邻域加权修正。

Images