CN101150731B - 用于数字成像的彩色滤波阵列及其成像方法 - Google Patents

Abstract

本发明涉及一种用于数字成像的彩色滤波阵列及其成像方法，该阵列包括多个中性照度单元和多个彩色滤波单元，其特征在于：中性照度单元占大多数，而彩色滤波单元占少数；彩色滤波单元排列成沿行、列方向重复的彩色滤波小区，每个彩色滤波小区内至少含有三个三原色彩色单元，分别与三原色红绿蓝或者青品黄对应。本发明涉及的彩色成像方法是首先分别根据中性单元计算出黑白图像，根据彩色单元计算出彩色图像；然后将彩色图像变换到一个照度—色度空间；最后用黑白图像替换变换后图像中的照度成份而成为新的彩色图像。基于该发明的数字成像设备具有以下优点：一是高分辨率，二是光灵敏度高，三是彩色失真小。

Description

用于数字成像的彩色滤波阵列及其成像方法

技术领域

本发明涉及一种用于数字成像的彩色滤波阵列及其成像方法。

背景技术

一个颜色通常可由三原色来表达。在使用单片固体成像传感器(CCD或CMOS器件)进行彩色照相时，每个成像单元被设计成只探测三原色中的一种。决定某个单元探测哪种颜色的是传感器前面的彩色滤波阵列(Color filter array)，而一个单元处另外两个颜色成份需要通过插值算法来推算，其计算工作是由数字成像设备中的计算机对数字化的信号处理完成。在最常用的Bayer阵列中(见图1)，红(R)绿(G)蓝(B)单元交错排列，绿单元占全部传感单元的50％，而红和蓝各占25％。安排绿色单元占多数的原因是：光照度对图像分辩率起最重要的作用，而人的视觉系统对绿色的感知最接近对光照度的感知。这从电视信号中的光强信号计算公式可以看出(Y＝0.59G+0.3R+0.11B)，绿色分量对照度的贡献最大，大于红色和蓝色。然而，50％绿、25％红、25％蓝的分配并非是适合人视觉系统的最佳组合，一些专利还提出了绿色占多于50％的彩色滤波阵列，如美国专利5374956阵列中的绿色占了75％。但是不管怎样，绿色分量并不等于照度。对于红色或蓝色丰富的画面，这些阵列往往造成较大失真。

美国专利5323233提出了一种彩色滤波阵列，其中含有50％的中性单元用于直接探测照度，而输出信号中的色度信号则来自于剩余的彩色滤波单元。该阵列的特点是中性滤波单元与各彩色单元均匀混合在一起交错排列。这样造成各彩色单元之间相隔较远。这样的排列会产生较严重的颜色失真，尤其是在边缘处。下面用一个例子说明这种颜色失真。

黑白边缘	100  100  100  40  40  40	100  100  100  40  40  40
			采样阵列	AR：x    x    1    x   x   1G：x    x    1    x   x   1B：x    x    1    x   x   1	BR：x    x    1    x   x   1G：1    x    x    1   x   xB：x    1    x    x   1   x
采样数据	R：x    x    100  x   x   40G：x    x    100  x   x   40B：x    x    100  x   x   40	R：x    x    100  x   x   40G：100  x    x    40  x   xB：x    100  x    x   40  x
			计算结果	R：100  100  100  80  60  40G：100  100  100  80  60  40B：100  100  100  80  60  40	R：100  100  100  80  60  40G：100  80   60   40  40  40B：100  100  80   60  40  40

假设用两个彩色滤波阵列A和B对一个黑白边缘(图像值从100跳变为40)进行采样。阵列A和B拥有相同的采样频率(每隔3点采样)，但不同的排列。采样阵列中的1表示在此点采样，x表示在此点不采样。使用阵列A时，红绿蓝采样在同一象素处，而使用阵列B时，红绿蓝错开一个象素采样。假设在每一颜色层中分别用简单的线性插值方法来估算没有被采到的象素(标记为x)，计算结果可见上表，带下划的数值表示它们是由采样数据复制而来，它们之间的象素是通过插值计算而来。

可以看到由阵列A和B得到的结果有两点不同。一是有误差的象素个数(A为2个象素，B为4个象素)，这些象素用粗斜体字标出。第二个差别是人视觉系统对误差的接受程度，由A得到结果是由白到灰再到黑，这种渐变给视觉系统的只是一个有点模糊的黑白边缘(图像值由100渐变为80，60而最终40)，而由B得到的结果则是一个带彩色失真的边缘(在边缘处每个象素的红绿蓝值不相同)。这一个例子说明了，要减小失真，要减少人视觉系统敏感的失真，三原色滤波单元应尽量靠近。而美国专利5323233中彩色单元散落在中性单元之间则会造成较严重彩色失真。如果在这样的阵列中设计更多的中性单元，彩色单元之间将间隔更远，彩色失真将更严重。

发明内容

本发明的目的是提供一种用于数字成像的彩色滤波阵列，该阵列的排列方式具有对照度信息的采样频率高且光能收集效率高的特点，而对色度信息则具有采样率低但采样集中的特点；通过在照度—色度颜色空间中将照度信息和色度信息合成，可得到高分辨率、低彩色失真、高灵敏度的彩色图像。本发明还提供基于该彩色滤波阵列的数字成像方法。

本发明所述的用于数字成像的彩色滤波阵列，包括多个中性照度单元和多个彩色滤波单元(参见图2)，其特征在于：中性照度单元占大多数，一般大于55％，特殊应用中可高达92％，而彩色滤波单元占少数；彩色滤波单元排列成沿行、列方向重复的彩色滤波小区，每个彩色滤波小区内至少含有三个三原色彩色单元，分别与三原色红绿蓝或者青品黄对应。

所述的用于数字成像的彩色滤波阵列，其特征在于：彩色滤波小区在行和列方向上每间隔3个或4个，甚至更多单元重复出现，彩色滤波小区的重复排列为网格形式、或者为交错形式；每一个彩色滤波小区由三个三原色彩色单元、或者由三个三原色彩色单元和三原色之一的彩色单元组成。

减色混合的三原色—青(C)品(M)黄(Y)在一些数码相机中也有应用，如Kodak DCS620X数码相机。为保证色彩的真实性，有时青品黄还与绿色配合使用，如Canon PowerShot G1。同理，本发明所述的彩色滤波阵列还可以由减色混合的三原色—青品黄构成。

彩色滤波单元的光谱透过特性分别与现行的彩色滤波阵列中的单元相同。中性照度单元对光谱没有选择性，可为中性密度滤波器(即只对光强衰减性透过)或完全透明。

关于基于本发明所述的彩色滤波阵列的数字处理方法，具体步骤的如下(参见图3)：

(1)由本发明中的彩色滤波阵列决定了图像传感器中大多数的单元用于探测入射图像的照度，而剩余的少数单元用于探测红绿蓝、或者青品黄三种颜色成份。传感器的信号经数字化后由计算机进行处理。

(2)中性单元的工作方式如同黑白照相机，而被彩色单元所占据的部分可通过插值方法，如简单的线性插值法、或者复杂的多项式插值法估算出来而形成完整的黑白图像。

因为红绿蓝色系中的绿色和青品黄色系中的黄色，对照度信号贡献较大，在一些彩色滤波器设计中，它们被近似当作照度，这些彩色单元(绿或黄)的信号也可被利用于黑白图像的插值，但彩色单元的利用不是必须的。由众多的中性单元计算出的黑白图像可达到高分辨率。

(3)彩色单元的工作方式如同彩色照相机，被中性单元占据的部分也可通过插值方法由彩色单元计算出彩色图像。前一步中所得到的黑白图像含有较准确的图像信息，故也可以用于彩色图像的估算，但不是必要的。

(4)将步骤(3)所得到的彩色图像变换到某一个照度—色度空间(如Lab或HSB)成为另一中间结果。照度—度空间是相对与RGB，CMY，XYZ等三原色空间而言，用一个照度分量和两个色度分量表示颜色。

(5)将步骤(4)所得到的中间结果图像的照度分量(如Lab中的L分量，或HSB中的B分量)替换为(2)步骤所得到的黑白图像，而得到新的彩色图像。

在步骤(3)所得到的彩色图像的分辨率将是较低的，但在步骤(2)所得到的黑白图像的分辨率将是较高的。经过在照度—色度空间内的重新组合后，由于人的视觉系统对色度误差不敏感，最终输出图像的质量仍会是相当高的。根据需要，可将图像变换到所需要的色度空间再输出。

本发明涉及的彩色成像方法是基于和目前数码成像设备相同的硬件系统，即包括彩色滤波阵列，单片图像传感器，和处理计算机。而本发明的核心在于一种新的含有中性单元的彩色滤波阵列和相应的一种数字处理方法。

本发明具有以下优点：

一是高分辨率，是由于阵列中安排了占多数的中性单元来采集照度信息，而照度信息是决定图像分辨率最重要的因素。这种安排符合人的视觉系统的特点，将有限的采样频率较多地分配给了决定图像分辨率的照度通道。所需要的照度采样率可以很容易地通过安排中性单元的数量来实现。尽管对色度信息的采样率低，但由于在视觉上色度对空间分辨率的贡献较少，所以和照度信息合成后的最终效果优于使用现行滤波阵列拍摄的图像。其道理与JPEG图像压缩技术的原理相似，JPEG压缩技术对色度成份采用失真大，压缩比大，而亮度成份采用失真小，压缩比小的策略。

二是光灵敏度高，即使是在光线较暗的情况下也可获得满意的图像。这是由于中性单元对光谱没有选择性，光透过率可大大高于彩色滤波单元，甚至完全透明。在光照微弱的情况下，仍可保证对图像的最重要成份--照度的采集达到高的信噪比。通常彩色数码相机的光灵敏度比使用同样图像传感器的黑白相机低许多，这是因为彩色滤波阵列对光能的衰减很大。

三是彩色失真小，由于彩色单元汇聚为一个个小区而不是均匀分布大大降低了低采样率可能带来的彩色失真。

本发明特别适用于制造高感光度的数码相机和数码摄像机，尤其适合用于一些不便于配备强大闪光灯的数字相机，如手机上的照相机，另外它还适于制造监控用的彩色/黑白两用摄像机。即使是在光照很低的情况下，仍可得到低噪声的图像。

附图说明

图1是现有的Bayer彩色滤波阵列排列图。

图2是基于本发明的一些彩色滤波阵列排列图(并非全部)。

图2a是每个彩色滤波小区包含红绿蓝三原色和一个绿色共4个单元、彩色滤波小区沿行列方向分别间隔4个单元重复排列的示意图。中性照度单元占75％。

图2b是由图2a演变而来，偶数列小区向下错开两行。

图2c是每个彩色滤波小区包含红绿蓝三原色共3个单元，彩色滤波小区沿行列方向分别间隔3个单元重复排列的示意图。其中性照度单元占67％。

图2d：由图2c演变而来，偶数列小区向下错开一行。

图2e：每个彩色滤波小区包含红绿蓝三原色共3个单元，彩色滤波小区沿行列方向分别间隔6个单元重复排列。其中性照度单元占92％。

图2f：排列方式与由图2a类似，只是每个彩色滤波小区包含青品黄三原色和一个绿色共4个单元。中性照度单元占75％。

图2g：排列方式与由图2c类似，只是每个彩色滤波小区包含青品黄三原色共3个单元。中性照度单元占67％。

图2h是每个彩色滤波小区包含红绿蓝三原色和一个绿色共4个单元，彩色滤波小区沿行列方向分别间隔3个单元重复排列的示意图。其中性照度单元占56％。

图3是本发明的彩色数字成像的技术步骤示意图。关于图中标注的各步骤的说明见发明内容中的叙述。

图4是解释实施例一所用的示意图。

图4a是由中性单元计算黑白图像的示意图。

图4b是由彩色单元计算彩色图像的示意图。

图5是解释实施例二所用的示意图。

图5a是由中性单元计算黑白图像的示意图。

图5b是由彩色单元计算彩色图像的示意图。

图6是解释实施例三所用的示意图。

具体实施方式

实施例一：参见图2a和图4，该阵列包括75％的中性照度单元和25％的彩色滤波单元，每个彩色滤波小区包含红(R)绿(G)蓝(B)三原色和一个绿色共4个单元、彩色滤波小区沿行列方向分别间隔4个单元重复排列。

首先根据中性单元计算黑白图像。如图4a所示，L11...L44等为中性单元，这些单元处的照度是直接探测到的，X1，X2，X3，和X4为彩色单元占据的像素，这些单元处的照度需要根据周围的单元估算出来。运用简单的线性插值法，计算公式如下：

X1＝(L21+(L24-L21)/3+L12+(L42-L12)/3)/2

X2＝(L21+(L24-L21)*2/3+L13+(L43-L13)/3)/2

X3＝(L31+(L34-L31)/3+L12+(L42-L12)*2/3)/2

X4＝(L31+(L34-L31)*2/3+L13+(L43-L13)*2/3)/2

然后根据彩色单元计算彩色图像(中间结果)。如图4b所示，将中性单元略去而把彩色滤波小区拼接成常见的Bayer阵列形式(参见图1)，然后运用现行的各种插值算法(如名称为“数码相机中色彩滤镜阵列的色彩重建方法”专利申请号为02116750.8的中国发明专利申请公开说明书)计算出彩色图像。再将彩色图像放大到与黑白图像的大小一致。

这时所得到的彩色图像中间结果是由红绿蓝三色值表示的。将其变换到Lab(或HSB)空间，然后将变换后的照度分量(Lab中的L分量，或HSB中的B分量)替换为前面所得到黑白图像，以得到新的彩色图像。

实施例二：参见图2e和图5，该阵列包括92％的中性照度单元和8％的彩色滤波单元，每个彩色滤波小区包含红(R)绿(G)蓝(B)三原色，彩色滤波小区沿行列方向分别间隔6个单元重复排列；

首先根据中性单元计算黑白图像。如图5a所示，L11...L44等为中性单元，这些单元处的照度是直接探测到的，X1，X2，和X3为彩色单元占据的像素，这些单元处的照度需要根据周围的单元估算出来。运用简单的线性插值法，计算公式如下：

X1＝(L21+(L24-L21)/3+L12+(L42-L12)/3)/2

X2＝(L21+(L24-L21)*2/3+L13+(L33-L13)/2)/2

X3＝(L31+(L33-L31)/2+L12+(L42-L12)*2/3)/2

然后根据彩色单元计算彩色图像(中间结果)。如图5b所示，将滤波小区内的三个彩色单元的采样值直接当做一个像素的三个颜色分量。这样，一个彩色滤波小区将产生一个图像像素，将这些像素排列成一幅彩色图象，而得到的彩色图像的宽和高只有原始采样图像六分之一。经过简单的图像放大，可将彩色图像放大到与黑白图像的大小一致。

这时所得到的彩色图像中间结果是由红绿蓝三色值表示的。将其变换到Lab(或HSB)空间，然后将变换后的照度分量(Lab中的L分量，或HSB中的B分量)替换为前面所得到黑白图像，以得到新的彩色图像。

实施例三：参见图2f和图6，该阵列包括75％的中性照度单元和25％的彩色滤波单元，每个彩色滤波小区包含青(C)品(M)黄(Y)三原色和一个绿色(G)共4个单元、彩色滤波小区沿行列方向分别间隔4个单元重复排列。

首先根据中性单元计算黑白图像，方法与实施例一中的相同。

然后根据彩色单元计算彩色图像(中间结果)。如图6所示，将中性单元略去而把彩色滤波小区拼接成如Canon PowerShot G1中的CMYG阵列，然后可以运用简单的线性插值算法计算出每一个单元处的青品黄绿四个值。为得到红绿蓝空间的图像，需要将青品黄绿四个值组成一个4x1的矢量，然后与一个3x4变换矩阵相乘。这个变换矩阵可能因不同的相机而不同，下面是通过实验求得的Canon PowerShot G1相机的矩阵。

-3.0392     0.83419    0.26809    1.7322

-0.56315    -1.0344    1.0755     0.49573

-1.414      0.19671    1.645      -0.36067

这时所得到的彩色图像中间结果是由红绿蓝三色值表示的。将其变换到Lab(或HSB)空间，然后将变换后的照度分量(Lab中的L分量，或HSB中的B分量)替换为前面所得到黑白图像，以得到新的彩色图像。

按照本发明提供的排列方式，采用红绿蓝或青品黄三原色还可以直接推导出多个实施例，如基于图2h所示的含有56％的中性单元的滤波阵列等，不一一列举。以上实施例中计算黑白图像和中间结果彩色图像的具体技术不属于本发明的创新部分，而本发明的核心为：中性单元占多数的彩色滤波阵列，以及在照度—色度空间将黑白图像和中间结果彩色图像合成的方法。

Claims (3)

1.用于数字成像的彩色滤波阵列，包括多个中性照度单元和多个彩色滤波单元，其特征在于：中性照度单元占大多数，大于55％，特殊应用中可高达92％，而彩色滤波单元占少数；彩色滤波单元排列成沿行、列方向重复的彩色滤波小区，每个彩色滤波小区内至少含有三个三原色彩色单元，分别与三原色红绿蓝或者青品黄对应。

2.根据权利要求1所述的用于数字成像的彩色滤波阵列，其特征在于：彩色滤波小区在行和列方向上每间隔3个或更多单元重复出现，彩色滤波小区的重复排列为网格形式、或者为交错形式；每一个彩色滤波小区可以从RGB三原色和一个绿色4单元、CMY三原色和一个绿色4单元这两种彩色滤波小区组成方式的共性所得到。

3.用于数字成像的彩色滤波阵列的成像方法，其步骤如下：

(1)彩色滤波阵列决定了图像传感器中大于55％的中性单元用于探测入射图像的照度，而剩余的少数彩色单元用于探测红绿蓝、或者青品黄三原色，图像传感器的信号经数字化后由计算机进行处理；

(2)中性单元的工作方式如同黑白照相机，而被彩色单元所占据的部分可通过插值方法估算出来而形成完整的黑白图像；

(3)彩色单元的工作方式如同彩色照相机，被中性单元占据的部分也可通过插值方法由彩色单元计算出彩色图像；

(4)将步骤(3)所得到的彩色图像变换到Lab或HSB空间，成为另一中间结果；照度-色度空间是相对于RGB、CMY三原色空间而言，用一个照度分量和两 个色度分量表示颜色；

(5)将步骤(4)所得到的中间结果的照度分量，Lab中的L分量或HSB中的B分量替换为(2)步骤所得到的黑白图像，而得到新的彩色图像。 

Images