CN103106927A

CN103106927A - 坏点修正方法与装置

Info

Publication number: CN103106927A
Application number: CN2011103619471A
Authority: CN
Inventors: 蔡易霖; 彭源智
Original assignee: Himax Imaging Ltd
Current assignee: Himax Imaging Ltd
Priority date: 2011-11-15
Filing date: 2011-11-15
Publication date: 2013-05-15

Abstract

本发明实施例揭露一种坏点修正方法，其适用于互补金属氧化物半导体图像传感器，包括：检测所述互补金属氧化物半导体图像传感器的多个坏点区域，每个所述坏点区域包含至少一个坏点；将每个所述坏点区域的中心像素的坐标储存于单次烧录存储器；从所述单次烧录存储器读取所述中心像素的坐标；产生每个所述中心像素的多个周围像素的坐标；读取所述互补金属氧化物半导体图像传感器所撷取的图像；以及对所述图像中与所述中心像素以及所述周围像素的坐标相符的多个像素进行坏点修正。

Description

坏点修正方法与装置

技术领域

本发明涉及坏点修正方法，且特别是涉及互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)图像传感器的坏点修正方法。

背景技术

互补金属氧化物半导体图像传感器(CMOS Image Sensor)是由阵列式的感光像素所构成，通常藉由彩色滤波器阵列(Color Filter Array)撷取图像，因此每一像素只记录一种颜色的信息。藉由内插法等算法可以重建遗失的颜色，但在重建之前，必须对原始图像进行降低噪声与修正坏点等相关前置处理，以避免后端的图像信号处理器(Image Signal Processor)在解读和处理原始图像时发生错误。

在互补金属氧化物半导体图像传感器的工艺中，像素阵列中可能有部分像素是有缺陷的，会造成所撷取的图像上有些像素的信息有误，这些有缺陷的像素即为坏点(Bad pixel)。因此，在前置处理中，需要通过算法进行坏点修正。一般而言，若坏点修正的算法是对图像的整张画面进行坏点修正，则可能会降低图像质量。因此，在坏点修正中，若能让算法先存储互补金属氧化物半导体图像传感器的坏点坐标，再根据所存储的坏点坐标进行坏点修正，则能将对图像质量的影响降到最低。

发明内容

有鉴于此，本发明的目的在于提供一种互补金属氧化物半导体图像传感器的坏点修正方法，用以在尽量不影响图像质量的情况下进行坏点修正。

本发明实施例揭露一种坏点修正方法，其适用于互补金属氧化物半导体图像传感器，包括：检测该互补金属氧化物半导体图像传感器的多个坏点区域，每个该坏点区域包含至少一个坏点；将每个该坏点区域的中心像素的坐标储存于单次烧录存储器；从该单次烧录存储器读取该中心像素的坐标；产生每个该中心像素的多个周围像素的坐标；读取该互补金属氧化物半导体图像传感器所撷取的图像；以及对该图像中与该中心像素以及该周围像素的坐标相符的多个像素进行坏点修正。

本发明实施例揭露一种坏点修正装置，其适用于互补金属氧化物半导体图像传感器，包括：单次烧录存储器，储存该互补金属氧化物半导体图像传感器的多个坏点区域的中心像素的坐标，其中每个该坏点区域包含至少一个坏点；以及坏点修正处理单元，包括：第一坐标产生单元，从该单次烧录存储器读取该中心像素的坐标，产生每个该中心像素的多个周围像素的坐标，传送该中心像素与该周围像素的坐标至该坐标比较单元；第二坐标产生单元，产生该互补金属氧化物半导体图像传感器所撷取的图像的多个像素坐标；坐标比较单元，接收并比较该像素坐标以及该中心像素与该周围像素的坐标；以及坏点修正单元，耦接该坐标比较单元，接收该图像的信号，对该图像中与该中心像素以及该周围像素的坐标相符的多个像素进行坏点修正。

附图说明

图1所示为依据本发明实施例的坏点修正装置的示意图；

图2所示为依据本发明实施例的坏点修正方法的流程图；

图3(a)至3(f)所示为依据本发明实施例的坏点示意图；

图4所示为依据本发明实施例的中心坐标与周围坐标的示意图；

图5所示为依据本发明实施例的坏点修正的示意图；

图6所示为依据本发明实施例的坏点修正的示意图。

具体实施方式

以下叙述将结合附图详细说明本发明的实施例。其目的是要举例说明本发明一般性的原则，不应视为对本发明的限制。

图1所示为依据本发明实施例的坏点修正装置10的示意图。坏点修正装置10包括单次烧录存储器110与坏点修正处理单元120。单次烧录存储器110储存互补金属氧化物半导体图像传感器的坏点区域的中心像素的坐标，其中每个坏点区域包含至少一个坏点。参考图3，(a)到(f)为一些坏点区域的例子，(a)到(f)中的白色部分为坏点区域，每个坏点区域包含至少一个坏点，例如图3(b)的坏点区域包含二个坏点，而Nc为坏点区域的中心像素，斜线部分为正常像素。在本实施例中，围绕中心像素的坏点区域的大小范围以不超过九像素的正方形像素区域为例。随着时间或者温度的不同，围绕中心像素的坏点区域的分布可能会有变化，例如温度低时，可能只有中心像素Nc为坏点，如图3(a)，随着温度增加时，可能的坏点数目就会变化或增加，如图3(b)到3(f)。

坏点修正处理单元120包括第一坐标产生单元121、第二坐标产生单元122、坐标比较单元123、坏点修正单元124以及缓冲存储装置125。其中单次烧录存储器110耦接至第一坐标产生单元121，第一坐标产生单元121与第二坐标产生单元122耦接至坐标比较单元123，坐标比较单元123耦接至坏点修正单元124，坏点修正单元124耦接至缓冲存储装置125。第二坐标产生单元122接收垂直同步信号vsync、水平同步信号hsync以及频率信号clk。坏点修正单元124接收相同的垂直同步信号vsync、水平同步信号hsync以及频率信号clk，另外，坏点修正单元124接收互补金属氧化物半导体图像传感器所撷取的图像IS的信号。

图2所示为依据本发明实施例的坏点修正方法的流程图。以下将结合图1的硬件结构说明坏点修正方法的各个步骤。于步骤S201，检测互补金属氧化物半导体图像传感器的多个坏点区域。举例而言，在全黑的环境下利用软件取得互补金属氧化物半导体图像传感器的原始图像数据，则图像中亮点的部分即为坏点；或是在光亮的环境下取得图像传感器的原始图像数据，则图像中暗点的部分即为坏点，另外尚有其它检测坏点的方式，于此不再赘述。接着，于步骤S202，将每个坏点区域的中心像素Nc的坐标储存于单次烧录存储器110。步骤S201与步骤S202的动作可在互补金属氧化物半导体图像传感器出厂前执行，并将记录中心像素Nc坐标的单次烧录存储器110与互补金属氧化物半导体图像传感器整合在一起。

在步骤S203中，第一坐标产生单元121从单次烧录存储器110读取中心像素Nc的坐标。于步骤S204，第一坐标产生单元121产生每个中心像素Nc的周围像素的坐标。在本实施例中，如图4所示，每个中心像素Nc的周围像素为位于中心像素Nc的左上、上、右上、左、右、左下、下、右下的8个像素Np-1～Np-8。举例而言，若原本单次烧录存储器110记录5个中心像素Nc，则经过步骤S204后第一坐标产生单元121总共会产生45个像素坐标，包含5个中心像素Nc的坐标与40个周围像素坐标。在其它实施例中，第一坐标产生单元121产生的周围像素坐标或范围并不限于此。

接着，于步骤S205，读取互补金属氧化物半导体图像传感器所撷取的图像，然后在步骤S206中，对图像中与中心像素以及周围像素的坐标相符的像素进行坏点修正。举例而言，坏点修正单元124根据垂直同步信号vsync、水平同步信号hsync以及频率信号clk依左上至右下的顺序扫描互补金属氧化物半导体图像传感器所撷取的图像IS并依左上至右下的顺序将图像IS各像素的信号输入至坏点修正单元124。第二坐标产生单元122根据垂直同步信号vsync、水平同步信号hsync以及频率信号clk依左上至右下的顺序产生图像IS各像素的坐标，也就是正输入至坏点修正单元124的像素的坐标。坐标比较单元123比较第一坐标产生单元121所产生的所有坐标与第二坐标产生单元122所产生的坐标。当第二坐标产生单元122依左上至右下的顺序产生图像IS各像素的坐标时，若第二坐标产生单元122所产生的坐标等于第一坐标产生单元121所产生的所有坐标之一，则坐标比较单元123输出致能信号至坏点修正单元124，使坏点修正单元124对位于第二坐标产生单元122所产生的坐标的像素进行坏点修正。

图5用来说明步骤S206的一个坏点修正的一个例子，其为互补金属氧化物半导体图像传感器藉由拜耳图样(Bayer Pattern)的彩色滤波器阵列所撷取的原始图像的示意图，其中像素G0、G1、G2、G3、G4、G5、G6具有绿色的信息，像素B0、B1、B2、B3、B4、B5具有蓝色的信息，像素R0、R1具有红色的信息。第二坐标产生单元122根据垂直同步信号vsync、水平同步信号hsync以及频率信号clk依序产生像素B0、G0、B1、G1、B2、G2......的坐标，同时坏点修正单元124也依序接收像素B0、G0、B1、G1、B2、G2......的信号。假设当第二坐标产生单元122扫描到像素B4时，坐标比较单元123比较出像素B4的坐标为第一坐标产生单元121所产生的所有坐标之一，则坏点修正单元124根据位于像素B4附近且同颜色的像素B0、B1、B2、B3的亮度值修正像素B4的亮度值。举例而言，坏点修正单元124根据预设的权重组合计算像素B0、B1、B2、B3的亮度值的加权平均数L_mod，若像素B4的亮度值大于加权平均数L_mod加上一亮度噪声容度th，则坏点修正单元124将像素B4的亮度值修正为加权平均数L_mod，否则像素B4的亮度值维持不变，如以下程序代码所示：

其中W₀、W₁、W₂、W₃为权重且W₀+W₁+W₂+W₃＝1；L_B0、L_B1、L_B2、L_B3、L_B4分别为像素B0、B1、B2、B3、B4的亮度值；权重W₀、W₁、W₂、W₃可根据使用者的需求调整，例如若像素B0、B1、B2、B3的亮度值中有一个像素的亮度值与其它三者差很多，则该像素亮度值的可信度可能较低，因此将该像素的权重设为较低的权重。另外的实施例中，权重可以依据与像素B4的距离而得，例如越近者权重越高。

如上所示，在对像素B4进行坏点修正时必须使用到像素B4所在的列L0以及前两列L1与L2的信息，由于列L0的信息目前正输入于坏点修正单元124中，因此需要将前两列L1与L2的信息储存于缓冲存储装置125，缓冲存储装置125耦接至坏点修正单元124，以使坏点修正单元124存取前两列L1与L2的信息以进行坏点修正。在本例子中缓冲存储装置125由二个线缓冲器所构成，用以储存前两列L1与L2的信息。最后坏点修正单元124输出已修正过坏点的图像C_IS以供后续图像处理。

图6用来说明步骤S206的坏点修正的另一个例子，其为互补金属氧化物半导体图像传感器藉由拜耳图样的彩色滤波器阵列所撷取的图像的示意图，其中像素G0到G11具有绿色的信息，像素B0到B8具有蓝色的信息，像素R0到R4具有红色的信息。第二坐标产生单元122根据垂直同步信号vsync、水平同步信号hsync以及频率信号clk依序产生像素B0、G0、B1、G1、B2、G2......的坐标，同时坏点修正单元124也依序接收像素B0、G0、B1、G1、B2、G2......的信号。假设当第二坐标产生单元122扫描到像素B7时，坐标比较单元123比较出像素B7的坐标为第一坐标产生单元121所产生的所有坐标之一，则坏点修正单元124根据位于像素B7附近且同颜色的像素B0到B6的亮度值修正像素B4的亮度值。举例而言，坏点修正单元124计算像素B0到B6的亮度值的平均值AVG，并以权重比例组合平均值AVG与像素B7的亮度值L_B7并取代像素B7的亮度值，如以下程序代码所示：

其中L_Bi为像素Bi的亮度值，th为亮度噪声容度，count用以决定组合平均值AVG与像素B7亮度值L_B7的权重比例。若count越接近0则像素B7的亮度与像素B0到B6的亮度值越接近，因此权重偏重于像素B7原本的亮度值；若count越接近7则像素B7的亮度相较于像素B0到B6越亮，因此像素B7越有可能是坏点，所以权重偏重于平均值AVG。如上所示，在对像素B7进行坏点修正时必须使用到像素B7所在的列L0以及前四列L1到L4的信息，由于列L0的信息目前正输入于坏点修正单元124中，因此需要将前四列L1到L4的信息储存于缓冲存储装置125，缓冲存储装置125耦接至坏点修正单元124，以使坏点修正单元124存取四列L1到L4的信息以进行坏点修正。在本例子中缓冲存储装置125由四个线缓冲器所构成，用以储存前四列L1到L4的信息。最后坏点修正单元124输出已修正过坏点的图像C_IS以供后续图像处理。

综上所述，由于存储器仅储存坏点区域的中心像素Nc的坐标，因此可节省存储器的空间。除此之外，以上所述的实施例依据中心像素Nc而定义可能的坏点区域，且仅对坏点区域的像素进行坏点修正而不是对图像的整张画面进行坏点修正，因此可以节省计算量并将对图像质量的影响降到最低。可能的坏点区域的数目并不限定于上述实施例的数目，在其它实施例，可能的坏点区域的数目可以与温度有关，例如随着温度越高则将可能的坏点区域扩大，温度低则可以将可能的坏点区域缩小。

本发明的方法与系统，或特定型态或其部分，可以以程序代码的型态包含于实体媒体，如软盘、光盘片、硬盘、或是任何其它机器可读取(如计算机可读取)储存媒体，其中，当程序代码被机器，如计算机加载且执行时，此机器变成用以参与本发明的装置。本发明的方法与装置也可以以程序代码型态通过一些传送媒体，如电线或电缆、光纤、或是任何传输型态进行传送，其中，当程序代码被机器，如计算机接收、加载且执行时，此机器变成用以参与本发明的装置。当在一般用途处理单元(general-purposeprocessing unit)运作时，程序代码结合处理器提供操作类似于应用特定逻辑电路的独特装置。

虽然本发明已以优选实施例揭露如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可做些许更动与润饰，因此本发明的保护范围当视后附的权利要求所界定者为准。

Claims

1.一种坏点修正方法，适用于互补金属氧化物半导体图像传感器，包括：

检测所述互补金属氧化物半导体图像传感器的多个坏点区域，每个所述坏点区域包含至少一个坏点；

将每个所述坏点区域的中心像素的坐标储存于单次烧录存储器；

从所述单次烧录存储器读取所述中心像素的坐标；

产生每个所述中心像素的多个周围像素的坐标；

读取所述互补金属氧化物半导体图像传感器所撷取的图像；以及

对所述图像中与所述中心像素以及所述周围像素的坐标相符的多个像素进行坏点修正。

2.如权利要求1所述的坏点修正方法，其中每个所述坏点区域的范围不超过九像素的正方形像素区域，每个所述中心像素的所述周围像素包括位于所述中心像素的上、下、左、右、左上、左下、右上、右下的像素。

3.如权利要求2所述的坏点修正方法，还包括：

依序读取所述图像的多个像素；

当读取每个所述多个像素时，确认所述像素的坐标是否与所述中心像素以及所述周围像素的坐标相符；以及

若相符，则对所述像素进行坏点修正。

4.如权利要求3所述的坏点修正方法，其中坏点修正的步骤包括：

读取所述像素的亮度值；

读取分别位于所述像素左方、左上方、上方与右上方、离所述像素最近并与所述像素相同色域的四个像素的亮度值；以及

根据所述四个像素的亮度值修正所述像素的亮度值。

5.如权利要求4所述的坏点修正方法，其中坏点修正的步骤还包括：

根据预设的权重组合计算所述四个像素的亮度值的加权平均数；以及

若所述像素的亮度值大于所述加权平均数加上亮度噪声容度，则将所述像素的亮度值修正为所述加权平均数，否则所述像素的亮度值维持不变。

6.如权利要求1所述的坏点修正方法，其中每个所述坏点区域的大小与温度有关，温度越高则每个所述坏点区域的大小越大。

7.一种坏点修正装置，适用于互补金属氧化物半导体图像传感器，包括：

单次烧录存储器，储存所述互补金属氧化物半导体图像传感器的多个坏点区域的中心像素的坐标，其中每个所述坏点区域包含至少一个坏点；以及

坏点修正处理单元，包括：

第一坐标产生单元，从所述单次烧录存储器读取所述中心像素的坐标，产生每个所述中心像素的多个周围像素的坐标，传送所述中心像素与所述周围像素的坐标至所述坐标比较单元；

第二坐标产生单元，产生所述互补金属氧化物半导体图像传感器所撷取的图像的多个像素坐标；

坐标比较单元，接收并比较所述像素坐标以及所述中心像素与所述周围像素的坐标；以及

坏点修正单元，耦接所述坐标比较单元，接收所述图像的信号，对所述图像中与所述中心像素以及所述周围像素的坐标相符的多个像素进行坏点修正。

8.如权利要求7所述的坏点修正装置，其中每个所述坏点区域的范围不超过九像素的正方形像素区域，每个所述中心像素的所述周围像素包括位于所述中心像素的上、下、左、右、左上、左下、右上、右下的像素。

9.如权利要求8所述的坏点修正装置，其中所述坏点修正单元还接收垂直同步信号、水平同步信号与频率信号，所述坏点修正单元藉由所述垂直同步信号、所述水平同步信号与所述频率信号依序读取所述图像的多个像素；其中所述第二坐标产生单元接收所述垂直同步信号、所述水平同步信号与所述频率信号，所述第二坐标产生单元藉由所述垂直同步信号、所述水平同步信号与所述频率信号依序产生所述图像的所述像素坐标。

10.如权利要求9所述的坏点修正装置，其中当所述坏点修正单元读取每个所述多个像素时，所述第二坐标产生单元将所述像素的坐标传送至所述坐标比较单元，所述坐标比较单元确认所述像素的坐标是否与所述中心像素以及所述周围像素的坐标相符，若相符，则所述坏点修正单元对所述像素进行坏点修正。

11.如权利要求10所述的坏点修正装置，其中当进行坏点修正时，所述坏点修正单元读取所述像素的亮度值，读取分别位于所述像素左方、左上方、上方与右上方、离所述像素最近并与所述像素相同色域的四个像素的亮度值，并根据所述四个像素的亮度值修正所述像素的亮度值。

12.如权利要求11所述的坏点修正装置，其中所述坏点修正单元根据预设的权重组合计算所述四个像素的亮度值的加权平均数，若所述像素的亮度值大于所述加权平均数加上亮度噪声容度，则所述坏点修正单元将所述像素的亮度值修正为所述加权平均数，否则所述像素的亮度值维持不变。

13.如权利要求12所述的坏点修正装置，其中所述坏点修正处理单元还包括缓冲存储装置，其耦接至所述坏点修正单元，储存所述图像的像素以供坏点修正单元存取。

14.如权利要求7所述的坏点修正装置，其中每个所述坏点区域的大小与温度有关，温度越高则每个所述坏点区域的大小越大。