CN101785319A - 具有带有全色棋盘图案的彩色滤光器阵列的图像传感器 - Google Patents

Abstract

一种用于捕获彩色图像的图像传感器，包括具有多个最小重复单元的二维像素阵列，其中每个重复单元由八个的像素构成，这八个像素包括四个全色像素、两个具有相同颜色响应的像素以及两个具有不同颜色响应的像素，所述具有不同颜色响应的像素与具有相同颜色响应的像素不同，其中平铺所述最小重复单元以使得图像传感器的每一行或每一列具有单色的彩色像素或者使得每一行或每一列具有仅两种颜色的彩色像素。

Description

具有带有全色棋盘图案的彩色滤光器阵列的图像传感器

技术领域

本发明涉及带有具有改善的光灵敏度的全色像素的二维彩色图像传感器。

背景技术

电子成像系统依赖于电子图像传感器来创建视觉图像的电子表示。这样的电子图像传感器的实例包括电荷耦合器件(CCD)图像传感器和有源像素传感器(APS)装置(APS装置因为能够以互补金属氧化物半导体工艺来制造它们而通常被称为CMOS传感器)。典型地，这些图像传感器包括通常以行和列的规则图案布置的多个光敏像素。为了捕获彩色图像，通常将滤光器的图案制造在像素的图案上，其中使用不同滤光器材料来使各个像素仅对一部分可见光谱敏感。彩色滤光器必定会降低到达每个像素的光量，并且因此降低每个像素的光灵敏度。持续需要改善电子彩色图像传感器的光灵敏度或照相速度以便准许在较低光级下捕获图像或者允许以较短的曝光时间来捕获较高光级的图像。

图像传感器或者是线性的或者是二维的。一般来说，这些传感器具有两种不同类型的应用。二维传感器通常适合于诸如数字照相机、蜂窝电话的图像捕获设备和其它应用。线性传感器通常用于扫描文件。在任何一种情况下，当采用彩色滤光器时，图像传感器都具有降低的灵敏度。

由Eastman Kodak公司制造的线性图像传感器KLI-4104包括四个线性、单像素宽的像素阵列，其中将彩色滤光器应用于它们中的三个阵列以使得每个阵列完全对红色、绿色或蓝色敏感，并且没有彩色滤光器阵列应用于第四阵列；此外，这三个彩色阵列具有较大的像素以补偿因为彩色滤光器而导致的光灵敏度的降低，并且第四阵列具有较小的像素以捕获高分辨率亮度图像。当使用这样的图像传感器捕获图像时，图像被表现为高分辨率、高照相灵敏度亮度图像，伴随有三个具有大致相同的照相灵敏度的较低分辨率的图像，并且这三个图像中的每一个对应于来自图像的红光、绿光或者蓝光；因此，电子图像上的每个点都包括亮度值、红色值、绿色值和蓝色值。然而，因为这是线性图像传感器，所以它需要图像传感器和图像之间的相对机械运动，以便跨越四个线性像素阵列扫描图像。这限制了扫描图像的速度，并且排除了在手持照相机中或在捕获包括运动物体的场景时使用该传感器。

本领域还已知Akira Muramatsu的美国专利4,823,186中所描述的包括两个传感器的电子成像系统，其中每个传感器都包括二维像素阵列，但是一个传感器不具有彩色滤光器而另一个传感器包括彩色滤光器的图案(所述彩色滤光器是像素所具有的)，并且还包括有光学分束器以便为每个图像传感器提供图像。因为彩色传感器具有所应用的彩色滤光器图案，所以彩色传感器中的每个像素仅提供单一颜色。当利用该系统捕获图像时，电子图像中的每个点都包括亮度值和一个颜色值，并且彩色图像在从附近的颜色被插值的每个像素位置处肯定有遗漏的颜色。尽管该系统相比于单个传统的图像传感器改善了光灵敏度，但是系统的整体复杂性、大小和成本都因为需要两个传感器和分束器而较大。此外，分束器仅将一半的光从图像引导到每个传感器，从而限制了照相速度的改善。

除了上面提到的线性图像传感器之外，本领域还已知具有二维像素阵列的图像传感器，其中像素包括没有将彩色滤光器应用于其上的像素。例如，见Sato等人的美国专利4,390,895、Yamagami等人的美国专利5,323,233、Gindele等人的美国专利6,476,865以及Frame的美国专利申请2003/0210332。在所引用的每个专利中，与亮度或未滤光的像素的采样布置相比，彩色像素的采样布置有利于亮度图像超过有利于彩色图像，或者反之，或者以其它方式提供彩色和亮度像素的次优布置。

因此，存在对改善使用具有二维像素阵列的单个传感器的电子捕获设备的光灵敏度的不断需求。

发明内容

本发明致力于提供具有二维彩色和全色像素阵列的图像传感器，所述二维彩色和全色像素阵列提供高灵敏度并且在产生全颜色图像方面是有效的。

简言之，根据本发明的一个方面，本发明提供用于捕获彩色图像的图像传感器，所述图像传感器包括具有多个最小重复单元的二维像素阵列，其中每个重复单元由八个像素构成，这八个像素包括四个全色像素、两个具有相同颜色响应的像素以及两个具有不同颜色响应，所述具有不同颜色响应的像素与具有相同颜色响应的像素不同，其中平铺最小重复单元以使得图像传感器的每一行或每一列具有单色的彩色像素。

本发明的另一个方面是用于捕获彩色图像的图像传感器，所述图像传感器包括具有多个最小重复单元的二维像素阵列，其中每个重复单元由八个像素构成，这八个像素包括四个全色像素、两个具有相同颜色响应的像素以及两个具有不同颜色响应，所述具有不同颜色响应的像素与具有相同颜色响应的像素不同，其中平铺最小重复单元以使得图像传感器的每一行和每一列具有仅两种颜色的彩色像素。

根据本发明的图像传感器特别适合于低水平照明条件，其中这样的低水平照明条件是低场景照明、短曝光时间、小孔径或对到达传感器的光的其它限制的结果。它们具有广泛的应用并且许多类型的图像捕获设备可以有效地使用这些传感器。此外，根据本发明的图像传感器便于处理所捕获的图像以便产生最终的完全彩色渲染的图像。

通过下面对优选实施例的详细描述和所附权利要求的评述，并且通过参考附图，将会更清楚地理解和认识本发明的这些和其它方面、目标、特征和优点。

附图说明

图1是可以使用传统传感器和处理方法或本发明的传感器和处理方法的传统数字静止照相机系统的框图；

图2(现有技术)是示出最小重复单元和非最小重复单元的传统Bayer彩色滤光器阵列图案；

图3提供红色、绿色和蓝色像素的代表性光谱量子效率曲线以及更宽光谱全色量子效率，所有都乘以了红外截止滤光器的传输特性；

图4(现有技术)是具有全色像素和彩色像素的彩色滤光器阵列图案的最小重复单元；

图5A-5B示出了本发明的彩色滤光器阵列图案的变形的最小重复单元；

图6A-6B示出了平铺图5A的最小重复单元的两种方式；

图7A-7B示出了本发明的包括具有两个灵敏度的全色像素的最小重复单元；以及

图8A-8C示出了图5A的最小重复单元以及旋转四十五度的图6A-6B的平铺布置；

图9A-9C示出红色、绿色和蓝色像素的不同布置。

具体实施方式

因为已公知使用用于信号捕获和校正以及用于曝光控制的相关电路和成像设备的数字照相机，所以本说明书将特别涉及形成根据本发明的方法和装置的一部分或者更直接地与根据本发明的方法和装置合作的元件。在此处没有具体示出或描述的元件是从本领域中已知的那些中选择的。要描述的实施例的某些方面以软件提供。假定在下列材料中根据本发明所示和所述的系统，在此处没有具体示出、描述或建议的对实施本发明有帮助的软件是常规的并且处于该领域的普通技术内。

现在转向图1，示出了被示出为体现本发明的数字照相机的图像捕获设备的框图。尽管现在将解释数字照相机，但是本发明可以清楚地应用于其它类型的图像捕获设备。在所公开的照相机中，来自对象场景的光10被输入到成像级11，在成像级11处，光由透镜12聚焦以在固态图像传感器20上形成图像。图像传感器20将入射光转换成用于每个图像元素(像素)的电信号。优选实施例的图像传感器20是电荷耦合器件(CCD)类型或有源像素传感器(APS)类型(APS装置因为能够以互补金属氧化物半导体工艺来制造它们而通常被称为CMOS传感器)。如果其它类型的具有二维像素阵列的图像传感器采用本发明的图案，则可以使用这样的图像传感器。本发明还使用具有二维彩色和全色像素阵列的图像传感器20，如在图1的描述之后稍后在本说明书中将变得清楚的那样。尽管可以在图5A-5B、图6A-6B、图7A-7B和图8A-8C中看到用于图像传感器20的本发明的彩色和全色像素的图案的实例，但是在本发明的精神内可以使用其它图案。

改变孔径的虹彩光圈(iris)块14和包括插入光路中的一个或多个中性密度(ND)滤光器的ND滤光器块13调节到达传感器20的光量。而且，调节整体光级的是快门块18打开的时间。到达传感器20的光量还由快门块18打开的时间来调节。曝光控制器块40响应于由亮度传感器块16计量的场景中可用的光量并且控制所有这三个调节功能。

对于本领域的技术人员来说对特定照相机配置的该描述将是熟悉的，并且显而易见的是存在许多变形和附加特征。例如，添加自动聚焦，或者透镜是可拆卸的并且可互换。应当理解，本发明适用于任何类型的数字照相机，其中相似的功能有可替换的部件提供。例如，数字照相机是相对简单的傻瓜(point and shoot)数字照相机，其中快门18是相对简单的可移动叶片快门等等，而不是更复杂的焦平面布置。本发明还可以在包括在非照相机设备(例如移动电话和机动车辆)中的成像部件上实行。

来自图像传感器20的模拟信号被模拟信号处理器22处理，并且被施加到模数(A/D)转换器24。定时生成器26产生用以选择行和像素的各种时钟信号，并且使模拟信号处理器22与A/D转换器24的操作同步。图像传感器级28包括图像传感器20、模拟信号处理器22、A/D转换器24和定时生成器26。图像传感器级28的部件是分别制造的集成电路，或者它们被制造成单一集成电路，像通常利用CMOS图像传感器所完成的那样。来自A/D转换器24的所得到的数字像素值流被存储在与数字信号处理器(DSP)36相关联的存储器32中。

除了系统控制器50和曝光控制器40之外，数字信号处理器36是本实施例中的三个处理器或控制器中的一个。尽管在多个控制器和处理器之间的照相机功能控制的这样的划分是典型的，但是可以在不影响照相机的功能操作和本发明的应用的情况下以各种方式来组合这些控制器或处理器。这些控制器或处理器可以包括一个或多个数字信号处理器设备、微控制器、可编程逻辑器件或其它数字逻辑电路。尽管已经描述了这样的控制器或处理器的组合，但是显而易见的是，可以指定一个控制器或处理器来执行所有所需的功能。所有这些变形可以执行相同的功能并且都落入本发明的范围中，并且术语“处理级”将根据需要被用来将所有这样的功能包括在一个短语中，例如图1中的处理级38中。

在所说明的实施例中，DSP 36根据永久存储在程序存储器54中并且复制到存储器32以便在图像捕获期间执行的软件程序来处理其存储器32中的数字图像数据。DSP 36执行实行图1所示的图像处理所必需的软件。存储器32包括任何类型的随机存取存储器，诸如SDRAM。包括用于地址和数据信号的通道的总线30将DSP 36连接到其相关的存储器32、A/D转换器24和其它相关的设备。

系统控制器50基于存储在程序存储器54中的软件程序控制照相机的整个操作，该程序存储器54可以包括闪速电可擦写可编程只读存储器(Flash EEPROM)或其它非易失性存储器。该存储器还可以被用来存储图像传感器校准数据、用户设置选择和在照相机关闭时必须被保存的其它数据。系统控制器50通过引导曝光控制器40操作之前描述的透镜12、ND滤光器13、虹彩光圈14和快门18，引导定时生成器26操作图像传感器20和相关的元件，以及引导DSP 36处理所捕获的图像数据，来控制图像捕获序列。在图像被捕获和处理之后，存储在存储器32中的最终图像文件经由主机接口57传输到主机计算机，存储在移动存储卡64或其它存储设备上，并且为用户显示在图像显示器88上。

总线52包括用于地址、数据和控制信号的通道，并且将系统控制器50连接到DSP 36、程序存储器54、系统存储器56、主机接口57、存储卡接口60和其它相关设备。主机接口57提供到个人计算机(PC)或其它主机计算机的高速连接以便传输图像数据用于显示、存储、处理或打印。该接口是IEEE1394或USB2.0串行接口或任何其它适合的数字接口。存储卡64通常是插入到插口62中和经由存储卡接口60连接到系统控制器50的紧凑闪存(Compact Flash，CF)。所使用的其它类型的存储装置包括但不限于PC卡、多媒体卡(MMC)或安全数字(SD)卡。

所处理的图像被复制到系统存储器56中的显示缓冲器，并且经由视频编码器80被连续地读出以产生视频信号。直接从照相机输出该信号以便在外部监视器上显示，或者由显示控制器82处理该信号且呈现在图像显示器88上。该显示器通常是有源矩阵彩色液晶显示器(LCD)，但是也可以使用其它类型的显示器。

用户控制和接口状态68包括取景器显示器70、曝光显示器72、状态显示器76和图像显示器88以及用户输入74的所有或任何组合，并且由在曝光控制器40和系统控制器50上执行的软件程序的组合来控制。用户输入74通常包括按钮、摇杆式开关、操纵杆、旋转式拨盘或触摸屏的某组合。曝光控制器40操作测光、曝光模式、自动聚焦和其它曝光功能。系统控制器50管理呈现在一个或多个显示器上(例如在图像显示器88上)的图形用户界面(GUI)。GUI通常包括用于进行各种选项选择的菜单和用于检查所捕获的图像的回看模式。

曝光控制器40接受选择曝光模式、透镜孔径、曝光时间(快门速度)和曝光指数或ISO速度等级的用户输入，并且相应地引导透镜和快门以便进行随后的捕获。使用亮度传感器16来测量场景的亮度并且为用户提供曝光计功能以便指出何时手动设置ISO速度等级、孔径和快门速度。在这种情况下，当用户改变一个或多个设置时，呈现在取景器显示器70上的光度计指示器告诉用户图像将被过度曝光或曝光不足到什么程度。在自动曝光模式中，用户改变一个设置，则曝光控制器40自动改变另一个设置以便维持正确的曝光，例如对于给定的ISO速度等级来说，当用户减小透镜孔径时，曝光控制器40自动增加曝光时间以便维持相同的整体曝光。

ISO速度等级是数字静止照相机的重要属性。曝光时间、透镜孔径、透镜透射比、场景照明的等级和光谱分布以及场景反射系数确定数字静止照相机的曝光等级。当使用不足曝光从数字静止照相机获得图像时，通常可以通过增大电子或数字增益来维持正确的色调重现，但是图像将包含不能接受的噪声量。当曝光增加时，增益降低，并且因此图像噪声通常可以被减小到可接受的等级。如果过度地增加曝光，则在图像的明亮区域中的所产生的信号可以超过图像传感器或照相机信号处理的最大信号电平容量。这可以使图像高亮被削减从而形成均一明亮的区域，或者使图像高亮发展到图像的周围区域。指导用户设置正确的曝光很重要。ISO速度等级旨在作为这样的指导。为了使摄影师容易地理解，数字静止照相机的ISO速度等级应该直接与照相胶片照相机的ISO速度等级相关。例如，如果数字静止照相机具有ISO 200的ISO速度等级，则相同的曝光时间和孔径应该适合于ISO 200标定胶片(film)/处理系统。

ISO速度等级旨在与胶片ISO速度等级相协调。然而，排除精确相等的电子成像系统和基于胶片的成像系统之间存在差异。数字静止照相机可以包括可变增益，并且可以在图像数据被捕获之后提供数字处理，从而使得能够在照相机曝光范围上获得色调重现。因此数字静止照相机具有速度等级范围是有可能的。该范围被定义为ISO速度范围(latitude)。为了防止混淆，信号值被指定为固有ISO速度等级，其中ISO速度范围上限和下限指示速度范围，即包括不同于固有ISO速度等级的有效速度等级的范围。要记住，固有ISO速度是根据在数字静止照相机的焦平面处提供以产生特定照相机输出信号特性的曝光而计算出的数值。固有速度通常是对于常规场景的给定照相机系统产生最高图像质量的曝光指数值，其中曝光指数是与提供给图像传感器的曝光成反比的数值。

前面对数字照相机的描述对本领域技术人员来说是熟悉的。显而易见的是，存在该实施例的许多可能的变形，并且选择许多变形来降低成本、添加特征或改善照相机的性能。下面的描述将详细公开根据本发明的用于捕获图像的该照相机的操作。尽管该描述是参考数字照相机而进行的，但是将会理解本发明适用于带有具有彩色和全色像素的图像传感器的任何类型的图像捕获设备。

图1中示出的图像传感器20通常包括制造在硅衬底上的二维光敏像素阵列，其提供将每个像素处的入射光转换成被测电信号的方式。当传感器暴露于光时，自由电子被生成并且被捕获在每个像素处的电子结构内。捕获这些自由电子一定时间段，并且然后测量所捕获的电子的数目或者测量生成自由电子的速率，从而测量每个像素处的光级。在前面的情况中，所累积的电荷被移出像素阵列到电荷到电压(charge tovoltage)测量电路(如在电荷耦合器件(CCD)中)，或者靠近每个像素的区域包含电荷到电压测量电路(如在有源像素传感器(APS或CMOS传感器)中)的元件。

当在下面的描述中对图像传感器进行统一指代时，应该理解为表示图1的图像传感器20。进一步应该理解，在该说明书中公开的本发明的图像传感器体系结构和像素图案的所有实例和它们的等同物都用于图像传感器20。

在图像传感器的背景中，像素(“图像元素”的缩写)指的是离散光感测区域和与该光感测区域相关联的电荷移位或电荷测量电路。在数字彩色图像的背景中，术语像素通常指的是具有相关颜色值的图像中的特定位置。

为了产生彩色图像，图像传感器中的像素阵列通常具有置于它们之上的彩色滤光器图案。图2示出了通常使用的红色、绿色和蓝色彩色滤光器的图案。如在US 3,971,065中所公开的，该特定图案因为其发明人Bryce Bayer而通常被称为Bayer彩色滤光器阵列(CFA)。该图案在具有二维彩色像素阵列的图像传感器中被有效地使用。结果，每个像素具有特定的颜色光响应，在这种情况下，该特定的光响应是对红色、绿色或蓝色光的主要灵敏度。另一些有用的各种颜色光响应是对品红色、黄色或青色光的主要灵敏度。在每种情况下，特定的颜色光响应对可见光谱的某部分具有高灵敏度，而且同时对可见光谱的其它部分具有低灵敏度。术语彩色像素是指具有颜色光响应的像素。

所选择的用于传感器中的一组颜色光响应通常具有三种颜色，如在Bayer CFA中所示的那样，但是它还可以包括四种或更多的颜色。如此处所使用的那样，全色光响应指具有比在所选择的那组颜色光响应中所表现出的那些光谱灵敏度更宽的光谱灵敏度的光响应。全色光响应可以具有跨越整个可见光谱的高灵敏度。术语全色像素将指具有全色光响应的像素。尽管全色像素通常具有比那组颜色光响应更宽的光谱灵敏度，但是每个全色像素可以具有相关联的滤光器。这样的滤光器或者是中性密度滤光器或者是彩色滤光器。

当彩色和全色像素的图案在图像传感器的表面上时，每个这样的图案都具有重复单元，所述重复单元是作为基本构建块的邻近像素子阵列。通过将重复单元的多个副本并列布置，产生整个传感器图案。在对角线方向以及水平和垂直方向来完成重复单元的多个副本的并列布置。

最小重复单元是使得没有其它的重复单元具有更少的像素的重复单元。例如，图2中的CFA包括最小重复单元，该最小重复单元是由图2中的像素块100示出的两个像素乘以两个像素。该最小重复单元的多个副本被平铺以覆盖图像传感器中的整个像素阵列。最小重复单元被示为在右上角具有绿色像素，但是通过使粗线勾勒的区域向右移动一个像素、向下移动一个像素或者沿对角线向右和向下移动一个像素可以容易地识别三个可替换的最小重复单元。尽管像素块102是重复单元，但是它不是最小重复单元，因为像素块100是重复单元并且块100具有比块102少的像素。

使用具有带有图2的CFA的二维阵列的图像传感器捕获的图像在每个像素处仅具有一种颜色。为了产生全颜色图像，存在许多在每个像素处推断或插值缺少的颜色的技术。这些CFA插值技术是本领域中熟知的并且参考下面的专利：US 5,506,619、US 5,629,734和US 5,652,621。

图3示出了在典型照相机应用中具有红色、绿色和蓝色彩色滤光器的像素的相对光谱灵敏度。图3的X轴表示以纳米计的光波长，并且Y轴表示效率。在图3中，曲线110表示用于阻挡红外光和紫外光到达图像传感器的典型滤光器的光谱透射特性。需要这样的滤光器是因为用于图像传感器的彩色滤光器通常不会阻挡红外光从而像素不能区别红外光和在它们相关的彩色滤光器的通带内的光。曲线110示出的红外截止特性防止红外光破坏可见光信号。具有所应用的红色、绿色和蓝色滤光器的典型硅传感器的光谱量子效率(即被捕获并且转换成可测量的电信号的入射光子的比例)被乘以由曲线110表示的红外截止滤光器的光谱透射特性，以产生由用于红色的曲线114、用于绿色的曲线116以及用于蓝色的曲线118表示的组合的系统量子效率。从这些曲线可以理解，每个颜色光响应仅对可视光谱的一部分敏感。与此相对照，曲线112示出了不具有所应用的彩色滤光器(但是包括红外截止滤光器特性)的相同硅传感器的光响应；这是全色光响应的实例。通过将颜色光响应曲线114、116和118与全色光响应曲线112进行比较，显然全色光响应对宽光谱光要比任何一种颜色光响应更灵敏度三到四倍。尽管不同类型的另一种传感器可以具有不同于图3示出的光响应，但是显然更宽阔的全色响应将总是比任何一种颜色光响应对宽光谱光更灵敏。

在图3中示出的更大的全色灵敏度准许通过混合包括彩色滤光器的像素和不包括彩色滤光器的像素来改善图像传感器的整体灵敏度。然而，彩色滤光器像素比全色像素明显较不灵敏。在这种情况下，如果全色像素被适当地暴露于光而使得来自场景的光强范围覆盖全色像素的全部测量范围，则彩色像素将明显曝光不足。因此，调整彩色滤光器像素的灵敏度以使得他们具有与全色像素大致相同的灵敏度是有利地。例如通过增加彩色像素相对于全色像素的大小，来增加彩色像素的灵敏度，其中空间像素具有相关的减少。

在包括全色像素和彩色像素的图像捕获设备中，像素阵列中的全色和彩色像素的布置影响图像捕获设备的空间采样特性。在全色像素代替彩色像素的情况下，颜色采样的频率被减小。例如，如果将图2的最小重复单元100中的一个绿色像素用全色像素来代替，如在Gindele等人的美国专利6,476,865中那样，则绿色采样频率被减小，这是因为，存在如图2示出的原始图案中的一半之多的绿色像素。在该特定的情况下，全色像素的采样频率和每个彩色像素的采样频率相同。

因为全色像素通常比彩色像素更灵敏，所以期望全色像素比任何一个彩色像素具有更高的采样频率，由此提供图像的鲁棒的、更高灵敏度的全色表示，以便为随后的图像处理和在每个像素处插值缺少的颜色提供基础。例如，Yamagami等人在美国专利5,323,233中示出了具有50％的全色像素、25％的绿色像素以及红色像素和蓝色像素各12.5％的图案。在图4中示出了该图案的最小重复单元。使绿色像素为两种彩色像素中的任何一种彩色像素的两倍之多是与广泛使用的Bayer图案一致的，但是这在与如Yamagami所示的鲁棒全色采样布置组合时并不一定提供优点。减小绿色采样布置以能和其它颜色相比，将不会对完全处理的图像产生显著的不利影响。

图5A示出了本发明的最小重复单元，该最小重复单元具有被均匀的布置在整个最小重复单元上的四个全色像素以及一个红色像素(R)、两个绿色像素(G)和一个蓝色像素。

图5B示出了本发明的另一个最小重复单元。除了分别用品红色、黄色和青色像素来代替红色、绿色和蓝色像素之外，图5B与图5A相似，从而表明本发明可以用于任何一组四个不同的光谱灵敏度。

图5A的最小重复单元被平铺以便以一些方式提供更大的像素阵列而没有缺少的像素。图6A示出了以下平铺布置：其中图5A的最小重复单元按行和列被均匀地平铺。图6B示出了以下平铺布置：其中最小重复单元的每一行相对于上面的行向右移位两个像素；换句话说，图5B的最小重复单元按行被均匀地平铺，其中每行相对于上面相邻的行向右移位最小重复单元的一半。

在图6A示出的图5A的平铺布置提供其中每一列具有全色像素和单色的彩色像素的像素阵列。将图6A的布置旋转90度提供了本发明的可替换像素阵列。在该旋转的情况下，像素阵列的每一行具有全色像素和单色的彩色像素。

在图6B示出的图5A的平铺布置提供其中每一列和每一行具有全色像素和两种颜色的彩色像素的像素阵列。将图6B的布置旋转90度提供了本发明的可替换像素阵列。在该旋转的情况下，像素阵列的每一行和每一列具有全色像素和两种颜色的彩色像素。

图6A和6B的平铺布置是本发明的两个实施例。注意，这两个平铺布置都提供像素的全色棋盘，其中每个全色像素与四个其它全色像素对角相邻。还注意，彩色像素的这两个布置提供不同的颜色采样特性。例如，图6A的颜色采样具有比水平频率更高的垂直频率。可替换地，图6B的颜色采样具有相等的垂直频率和水平频率。在像素为矩形并且长且窄的情况下，图6A的不同的颜色采样频率是有用的；在像素是方形的情况下，图6B的相等的颜色采样频率是有用的。

一般来说，根据本发明的图像传感器可以具有下面的最小重复单元：

P    B    P    C

A    P    B    P

其中P表示全色像素，并且A、B和C表示具有不同颜色响应的像素。在一个布置中，A、B和C表示具有分别从红色、绿色或蓝色颜色响应中选择的颜色响应的像素。在特定的布置中，A表示具有红色颜色响应的像素，B表示具有绿色颜色响应的像素，并且C表示具有蓝色颜色响应的像素。可替换地，A、B和C可以表示具有分别从青色、黄色或品红色响应中选择的颜色响应的像素。在特定的布置中，A表示具有青色颜色响应的像素，B表示具有黄色颜色响应的像素，并且C表示具有品红色颜色响应的像素。

本发明的图案中的全色像素在灵敏度上没必要一样。例如，图7A示出了与图5A相似的最小重复单元，其中所述两个全色像素被用具有不同于原始全色像素的照相速度的全色像素代替。具有不同全色灵敏度的全色像素被用来捕获更宽范围的光级。图7B示出了带有具有两个不同照相速度的全色像素的可替换布置的另一最小重复单元。

注意，旋转图5A、图7A、图7B中的任何阵列或旋转任何其它之前描述的本发明实施例都完全落在本发明的范围内。例如，图8A示出了等同于将图5A的最小重复单元逆时针方向旋转四十五度的八角形像素的布置的最小重复单元。图8B示出了平铺图8A的最小重复单元以形成等同于图6A的四十五度逆时针方向旋转的图案。图8C示出了平铺图8A的最小重复单元以形成等同于图6B的四十五度逆时针方向旋转的图案。在这些旋转布置的情况下，并且以与最小重复单元和平铺布置的旋转一致的方式，像素的行和列被认为是经旋转的。

为了某些目的，从传感器产生较低分辨率的图像是有利的，例如以便为视频捕获提供更高的帧速率或者在显示屏上提供活动的预览图像。在图1中，DSP 36提供从由传感器和成像子系统提供的未处理图像的经处理的图像。为了以视频帧速率提供经处理的图像系列，在很多情况下DSP 36提供硬连线的图像处理路径(与可编程的图像处理路径相反)。这样的硬连线图像处理路径通常需要传感器数据与图2的Bayer滤光器图案一致。因此，有利的是提供从本发明的传感器便利地读取降低分辨率的Bayer图像的能力。

参考图9A，示出了本发明的彩色和全色像素的布置。图9A与图6B类似，其中添加了每个像素的指数以帮助示出从本发明的图像传感器产生降低分辨率的Bayer图像。在图9A中，最小重复单元120被示出为与图5A示出的最小重复单元相同。图9B示出了仅包括来自图9A的彩色像素的像素布置。这与Bayer布置接近，除了奇数和偶数行像素被水平偏移之外。图9C的降低分辨率的Bayer布置是从图9B的彩色像素产生的，如下所示。在没有修改的情况下，在图9C中使用图9B中的蓝色像素(B₁₄、B₁₈、B₃₄、B₃₈、B₅₄、B₅₈、B₇₄、B₇₈)和图9B中在前述蓝色像素的相同行上的绿色像素(G₁₂、G₁₆、G₃₂、G₃₆、G₅₂、G₅₆、G₇₂、G₇₆)。从图9B的对应行中的绿色像素和红色像素插值图9C中剩余的绿色像素(G₂₄’、G₂₈’、G₄₄’、G₄₈’、G₈₄’、G₈₈’)和红色像素(R₂₂’、R₂₆’、R₄₂’、R₄₆’、R₆₂’、R₆₆’、R₈₂’、R₈₆’)。R₂₂’的示例插值被给出为：R₂₂’＝(3*R₂₁+1*R₂₅)/4。可以使用本领域技术人员熟知的其它形式的插值，例如双三次插值和自适应性插值。图9C的Bayer图像具有图9A的原始图像的1/2的水平分辨率和全垂直分辨率。另外，该结果图像可以进一步被抽取以用于VGA(640行乘以480列)输出或任何其它尺寸的形式的输出。

例如可以通过组合像素中的电荷、通过平均所采样的电压或通过组合像素信号的数字表示来完成图9B中示出的像素的插值以便获得图9C中示出的像素。

部件列表

10来自对象场景的光

11成像级

12透镜

13中性密度滤光器

14虹彩光圈

16亮度传感器

18快门

20图像传感器

22模拟信号处理器

24模数(A/D)转换器

26定时生成器

28图像传感器级

30数字信号处理器(DSP)总线

32数字信号处理器(DSP)存储器

36数字信号处理器(DSP)

38处理级

40曝光控制器

50系统控制器

52系统控制器总线

54程序存储器

56系统存储器

57主机接口

60存储卡接口

62存储卡插口

64存储卡

68用户控制和状态接口

70取景器显示器

72曝光显示器

74用户输入

76状态显示器

80视频编码器

82显示控制器

88图像显示器

100Bayer图案的最小重复单元

102Bayer图案的不是最小的重复单元

110红外截止滤光器的光谱透射曲线

112传感器的未滤光的光谱光响应曲线

114传感器的红色光响应曲线

116传感器的绿色光响应曲线

118传感器的蓝色光响应曲线

120本发明的最小重复单元

Claims (14)

1.一种用于捕获彩色图像的图像传感器，包括具有多个最小重复单元的二维像素阵列，其中每个重复单元由八个像素构成，这八个像素包括四个全色像素、两个具有相同颜色响应的像素以及两个具有不同颜色响应的像素，所述具有不同颜色响应的像素与具有相同颜色响应的像素不同，其中所述最小重复单元被平铺以使得像素阵列的每一行或每一列具有单色的彩色像素。

2.根据权利要求1所述的图像传感器，其中所述全色像素为棋盘图案的形式。

3.根据权利要求1所述的图像传感器，具有下面的最小重复单元：

P    B    P    C

A    P    B    P

其中P表示全色像素，并且A、B和C表示具有不同颜色响应的像素。

4.根据权利要求3所述的图像传感器，其中A、B和C表示具有分别选自红色、绿色或蓝色颜色响应的颜色响应的像素。

5.根据权利要求3所述的图像传感器，其中A表示具有红色颜色响应的像素，B表示具有绿色颜色响应的像素，并且C表示具有蓝色颜色响应的像素。

6.根据权利要求3所述的图像传感器，其中A、B和C表示具有分别选自青色、黄色或品红色响应的颜色响应的像素。

7.根据权利要求3所述的图像传感器，其中A表示具有青色颜色响应的像素，B表示具有黄色颜色响应的像素，并且C表示具有品红色颜色响应的像素。

8.一种用于捕获彩色图像的图像传感器，包括具有多个最小重复单元的二维像素阵列，其中每个重复单元由八个像素构成，这八个像素包括四个全色像素、两个具有相同颜色响应的像素以及两个具有不同颜色响应的像素，所述具有不同颜色响应的像素与具有相同颜色响应的像素不同，其中所述最小重复单元被平铺以使得像素阵列的每一行和每一列具有仅两种颜色的彩色像素。

9.根据权利要求8所述的图像传感器，其中所述全色像素为棋盘图案的形式。

10.根据权利要求8所述的图像传感器，具有下面的最小重复单元：

P    B    P    C

A    P    B    P

其中P表示全色像素，并且A、B和C表示具有不同颜色响应的像素。

11.根据权利要求10所述的图像传感器，其中A、B和C表示具有分别选自红色、绿色或蓝色颜色响应的颜色响应的像素。

12.根据权利要求10所述的图像传感器，其中A表示具有红色颜色响应的像素，B表示具有绿色颜色响应的像素，并且C表示具有蓝色颜色响应的像素。

13.根据权利要求10所述的图像传感器，其中A、B和C表示具有分别选自青色、黄色或品红色响应的颜色响应的像素。

14.根据权利要求10所述的图像传感器，其中A表示具有青色颜色响应的像素，B表示具有黄色颜色响应的像素，并且C表示具有品红色颜色响应的像素。

Images