CN102970459B - 图像处理设备、摄像设备和图像处理方法 - Google Patents

Abstract

公开了一种图像处理设备、摄像设备和图像处理方法，其使得能够抑制在针对RAW图像的图像恢复处理中所发生的着色。对该RAW图像的预定的基准颜色成分执行像素插值处理。针对除该基准颜色成分以外的各颜色成分，使用该颜色成分的像素值和像素插值处理之后基准颜色成分的相应像素值来获得第一色差。在对各颜色成分应用图像恢复处理之后，以与第一色差相同的方法获得第二色差，并且根据在图像恢复处理之前和之后所确定的第一色差和第二色差之间的差异来校正像素值。

Description

图像处理设备、摄像设备和图像处理方法

技术领域

本发明涉及一种图像处理设备、摄像设备和图像处理方法，尤其涉及使用图像恢复处理的图像校正技术。

背景技术

通过利用摄像设备拍摄被摄体所获得的图像的图像质量特别是由于光学摄像系统的像差而劣化。例如，图像的模糊表示由于光学摄像系统的球面像差、彗星像差、像场弯曲和像散等而引起的图像质量劣化。通过忽略作为光波的特性的衍射的影响，来自被摄体的一点的光束由不具有像差的光学摄像系统会聚于摄像面上相同大小的一点(聚光点)。然而，除了衍射的影响以外，该聚光点实际还由于光学摄像系统的像差而扩散。

光学摄像系统的点扩散函数(PSF)表示聚光点附近的强度分布、即由于光学摄像系统的衍射和像差而引起的图像的模糊，因此被称为模糊成分。该模糊成分不表示由于离焦状态而引起的模糊，而表示即使在聚焦状态下也由光的衍射和光学摄像系统的像差所引起的模糊。

由于光学摄像系统的轴上色像差、彩色球面像差和彩色彗星像差而引起的彩色图像的色边(color fringing)可能是由与光的波长相对应的模糊程度的变化所造成的。由于光学系统的倍率色像差而引起的横方向上的颜色偏差可以表示由于与光的波长相对应的摄像倍率的变化而引起的位置不对准或相位偏移。

通过对点扩散函数(PSF)进行傅立叶变换所获得的光学传递函数(OTF)用作像差的频率成分信息，并且由复数来表示。将光学传递函数(OTF)的绝对值、即振幅成分称为MTF(调制传递函数)，并且将相位成分称为PTF(相位传递函数)。MTF和PTF是由于像差而引起的图像劣化的振幅成分和相位成分的频率特性。通过以下将相位成分PTF表示为相位角。

PTF=tan^-1(Im(OTF)/Re(OTF))                ...(1)

其中，Re(OTF)和Im(OTF)分别表示光学传递函数的实部和虚部。

如上所述，由于光学摄像系统的光学传递函数使图像的振幅成分和相位成分这两者都劣化，因此与发生彗星像差的情况相同，被摄体图像的各点相对于聚光点不对称地模糊。

倍率色像差表示成像位置由于依赖于光的波长的成像倍率的变化而偏移的现象。图像传感器通常设置有RGB颜色马赛克滤波器，并且各像素用于获得R、G和B颜色成分的其中一个。除了R波长、G波长和B波长之间成像位置的不对准以外，在所获得的各颜色成分内发生针对各波长的成像位置的不对准、即由于相位偏移而引起的图像的扩散。尽管倍率色像差无法准确表示由于简单的平行移位所引起的颜色偏差，但除非另外说明，在本说明书中将颜色偏差和倍率色像差用作同义词。

已知有被称为图像恢复方法或图像复原方法的如下方法，其中该方法用于使用光学摄像系统的光学传递函数的信息来校正振幅成分(MTF)和相位成分(PTF)的劣化。因此，以下将用于使用光学摄像系统的光学传递函数的信息来校正图像的劣化的处理称为图像恢复处理。

现在将说明图像恢复处理的概述。设g(x,y)是劣化图像，f(x,y)是原始图像，并且h(x,y)是通过对光学摄像系统的光学传递函数进行逆傅立叶变换所获得的点扩散函数。因而，

g(x,y)=h(x,y)*f(x,y)                ...(2)

其中，运算符“*”表示卷积并且(x,y)表示图像上的坐标。

对等式(2)进行傅立叶变换以获得二维频率面上的显示形式，从而得出如由以下所表示的各频率的积的形式。

G(u,v)=H(u,v)·F(u,v)                ...(3)

其中，H表示通过对点扩散函数进行傅立叶变换所获得的光学传递函数，并且(u,v)表示二维频率面上的坐标、即频率。

为了根据所拍摄的劣化图像获得原始图像，如由以下所示，仅需将等式(3)的两边除以H。

G(u,v)/H(u,v)=F(u,v)                 ...(4)

通过对F(u,v)进行逆傅立叶变换以返回至实面来获得原始图像f(x,y)作为恢复图像。

设以上等式中的1/H是已经过了逆傅立叶变换的R。然后，如由以下所示，可以通过对实面上的图像执行卷积处理来获得原始图像。

g(x,y)*R(x,y)=f(x,y)                 ...(5)

将R(x,y)称为图像恢复滤波器。要应用于二维图像的图像恢复滤波器通常是具有与图像的各像素相对应的抽头(单元)的二维滤波器。此外，随着图像恢复滤波器的抽头数(单元数)增加，恢复精度通常提高。实际的抽头数是根据所要求的图像质量、图像处理能力和像差特性等来设置的。由于图像恢复滤波器是基于反映了光学摄像系统的像差特性的光学传递函数的，因此可以高精度地对频率成分和相位成分的劣化进行校正。这种图像恢复滤波器与如在水平方向和垂直方向各自上具有三个抽头的边缘增强滤波器(高通滤波器)那样的二维滤波器完全不同。

例如，日本特许第3532368号公报公开了如下方法，其中该方法用于在由用于观察生物体的内部的荧光内窥镜所拍摄的图像的除聚焦范围以外的部分中，使用与要使用的荧光波长相对应的点扩散函数来消除图像的模糊。

注意，由于实际图像包括噪声成分，因此使用通过获得光学传递函数的完全倒数所创建的图像恢复滤波器导致该噪声成分放大，由此无法获得高质量的恢复图像。通过获得光学传递函数的完全倒数所创建的图像恢复滤波器通过校正(增加)光学摄像系统的MTF以使得该MTF对于所有频率都为1，来恢复因光学摄像系统所引起的振幅劣化。如果图像的振幅成分已添加有噪声的振幅，则噪声的功率谱随着MTF的增加而增大，由此根据MTF的恢复程度(恢复增益)不期望地使噪声放大。

众所周知有如下方法，其中该方法使用如维纳(Wiener)滤波器那样的、用于根据图像信号和噪声信号之间的强度比对图像的高频侧的恢复率进行抑制的图像恢复滤波器，来抑制恢复图像中的噪声。例如，可以通过校正模糊成分以使得图像的各颜色成分的模糊量均匀来对图像的色边成分的劣化进行校正。注意，由于光学传递函数根据诸如光学摄像系统的变焦位置或光圈直径等的拍摄状态而改变，因此可以使用与拍摄状态相对应的图像恢复滤波器来实现高精度的图像恢复处理。

众所周知有如下技术，其中该技术通过对所拍摄图像进行使用光学摄像系统的点扩散函数的图像恢复处理以校正各种像差，来提高图像质量。

然而，在实际拍摄操作中，输入图像的拍摄状态与要应用的图像恢复滤波器的状态可能并非最佳地一致。

例子是立体被摄体的所拍摄图像。由于摄像设备通过利用自动调焦功能或手动调焦而聚焦于被摄体空间内的一个平面来进行摄像，因此可以相对锐利地拍摄到位于焦平面内的被摄体。利用与相对于焦平面的距离相对应的模糊量对(包括同一被摄体的位于不同于焦平面的位置处的部分的)其它被摄体进行摄像。

在与被摄体距离有关的信息仅包括相对于焦平面的距离的情况下，选择或生成对于被摄体距离和视角而言最佳的图像恢复滤波器以供使用。结果，由于将最佳的图像恢复滤波器应用于聚焦物体，因此可以获得这种物体的期望恢复结果。然而，由于该图像恢复滤波器对于离焦物体而言并非最佳，因此对于这种物体，在某种程度上获得了恢复效果但无法消除模糊。

另一方面，作为用于产生被摄体的立体感或表现关注物体的方法，使用照片中被摄体的模糊。例如，存在使用景深浅的远摄镜头以聚焦于主被摄体、并且有意使背景模糊的摄影技术。考虑到存在这种摄影技术，使聚焦被摄体更锐利并且离焦被摄体保持模糊的上述图像恢复处理可能是适当的。

然而，在使用对于聚焦距离的被摄体而言最佳但对于离焦距离的被摄体而言并非最佳的图像恢复滤波器来执行图像恢复处理的情况下，在离焦距离的被摄体中可能发生着色(coloring)。这里的着色表示以下：由于图像恢复处理之前的图像的各颜色成分的模糊程度与图像恢复处理之后的有所不同，因此图像恢复处理之后的图像中的离焦距离的被摄体(离焦被摄体)的边缘部出现该被摄体不具有的颜色(伪色)。

这种着色还可能在除拍摄立体被摄体的操作以外的操作中发生。与被摄体是否聚焦无关，在摄像时的像差的状态不同于要应用的图像恢复滤波器所进行校正的像差的状态的情况下，必然发生着色。例如，这可能是由光学摄像系统的制造偏差和摄像时光源频谱的变化所引起的。

作为用于减少这种着色的方法，提供了用于基于图像恢复处理之前的图像的颜色信息来校正图像恢复处理之后的图像的颜色的方法。即，该方法用于通过判断图像的各像素中由于图像恢复处理所引起的颜色的变化来减少由于图像恢复处理所引起的着色。

在图像传感器具有拜尔(Bayer)阵列的颜色滤波器的情况下，该图像传感器所获得的图像是各像素具有R、G和B颜色成分之一的RAW图像。考虑针对这种RAW图像的两个图像恢复处理。第一个方法对RAW图像应用颜色插值处理以使得各像素具有所有的R、G和B颜色成分，然后对各R、G和B平面应用图像恢复滤波器。第二个方法在无需应用颜色插值处理的情况下对各像素具有一个颜色成分的RAW图像应用图像恢复滤波器。

在对各颜色平面应用图像恢复滤波器的方法中，与对RAW图像应用图像恢复滤波器的方法相比，要应用图像恢复处理的像素数和图像恢复滤波器的抽头数大，由此导致图像恢复处理的负荷显著增加。因此，在要求低处理负荷的情况下，使用对RAW图像应用图像恢复处理的方法。即使在对RAW图像应用图像恢复处理的情况下，如果摄像时的像差的状态不同于要应用的图像滤波器所进行校正的像差的状态，则在通过对RAW图像应用包括颜色插值处理的所谓的显影处理所获得的输出图像中也可能发生着色。为了提高输出图像的图像质量而对RAW图像执行的图像恢复处理中所发生的着色导致无法忽略的图像质量劣化，并且需要充分抑制该着色。

然而，由于如上所述、RAW图像的各像素仅具有一个颜色成分，因此不存在对图像恢复处理之前和之后的颜色变化进行测量所需的颜色信息。因此，无法基于图像恢复处理之前的图像的颜色信息来原样应用对图像恢复处理之后的图像的颜色进行校正的上述方法。

日本特许第3532368号公报所公开的方法尝试通过对所拍摄图像的离焦范围执行图像恢复处理来补偿光学摄像系统的浅的景深。在日本特许第3532368号公报所述的图像恢复处理中，尽管可以提高离焦范围的锐度，但无法充分抑制应用于RAW图像的图像恢复处理中所发生的着色。

发明内容

本发明是考虑到传统技术的上述问题而作出的，并且提供使得能够抑制针对RAW图像的图像恢复处理中所发生的着色的图像处理设备、摄像设备和图像处理方法。

根据本发明的方面，提供一种图像处理设备，用于校正由于摄像设备的光学摄像系统的像差而引起的所述摄像设备所拍摄到的RAW图像的图像质量的劣化，其中所述RAW图像中的各像素具有一个颜色成分，所述图像处理设备包括：第一像素插值部件，用于对所述RAW图像的预定的基准颜色成分执行像素插值处理；第一获得部件，用于针对所述RAW图像的除所述基准颜色成分以外的各颜色成分，使用该颜色成分的像素值和所述像素插值处理之后所述基准颜色成分的像素值来获得第一色差；图像恢复处理部件，用于对所述RAW图像的各颜色成分应用基于表示所述光学摄像系统的像差的函数的图像恢复滤波器；第二像素插值部件，用于对应用了所述图像恢复滤波器的RAW图像的所述基准颜色成分执行像素插值处理；第二获得部件，用于针对应用了所述图像恢复滤波器的RAW图像的除所述基准颜色成分以外的各颜色成分，使用该颜色成分的像素值以及所述第二像素插值部件所进行的像素插值处理之后所述基准颜色成分的像素值来获得第二色差；以及像素值校正部件，用于根据所述第一色差和所述第二色差之间的差异，对应用了所述图像恢复滤波器的RAW图像的像素值进行校正。

根据本发明的另一方面，提供一种摄像设备，包括：光学摄像系统，用于使被摄体的光学图像成像；图像传感器，用于对所述光学图像摄像；以及图像处理设备，用于校正由于所述摄像设备的所述光学摄像系统的像差而引起的所述摄像设备所拍摄到的RAW图像的图像质量的劣化，其中所述RAW图像中的各像素具有一个颜色成分，所述图像处理设备包括：第一像素插值部件，用于对所述RAW图像的预定的基准颜色成分执行像素插值处理；第一获得部件，用于针对所述RAW图像的除所述基准颜色成分以外的各颜色成分，使用该颜色成分的像素值和所述像素插值处理之后所述基准颜色成分的像素值来获得第一色差；图像恢复处理部件，用于对所述RAW图像的各颜色成分应用基于表示所述光学摄像系统的像差的函数的图像恢复滤波器；第二像素插值部件，用于对应用了所述图像恢复滤波器的RAW图像的所述基准颜色成分执行像素插值处理；第二获得部件，用于针对应用了所述图像恢复滤波器的RAW图像的除所述基准颜色成分以外的各颜色成分，使用该颜色成分的像素值以及所述第二像素插值部件所进行的像素插值处理之后所述基准颜色成分的像素值来获得第二色差；以及像素值校正部件，用于根据所述第一色差和所述第二色差之间的差异，对应用了所述图像恢复滤波器的RAW图像的像素值进行校正。

根据本发明的又一方面，提供一种图像处理方法，用于校正由于摄像设备的光学摄像系统的像差而引起的所述摄像设备所拍摄到的RAW图像的图像质量的劣化，其中所述RAW图像中的各像素具有一个颜色成分，所述图像处理方法包括以下步骤：第一像素插值步骤，用于对所述RAW图像的预定的基准颜色成分执行像素插值处理；第一获得步骤，用于针对所述RAW图像的除所述基准颜色成分以外的各颜色成分，使用该颜色成分的像素值和所述像素插值处理之后所述基准颜色成分的相应像素值来获得第一色差；图像恢复处理步骤，用于对所述RAW图像的各颜色成分应用基于表示所述光学摄像系统的像差的函数的图像恢复滤波器；第二像素插值步骤，用于对应用了所述图像恢复滤波器的RAW图像的所述基准颜色成分执行像素插值处理；第二获得步骤，用于针对应用了所述图像恢复滤波器的RAW图像的除所述基准颜色成分以外的各颜色成分，使用该颜色成分的像素值以及所述第二像素插值步骤中所进行的像素插值处理之后所述基准颜色成分的相应像素值来获得第二色差；以及像素值校正步骤，用于根据所述第一色差和所述第二色差之间的差异，对应用了所述图像恢复滤波器的RAW图像的像素值进行校正。

通过以下参考附图对实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出作为根据本发明实施例的图像处理设备的示例的摄像设备的结构示例的框图；

图2是示出根据本发明第一实施例的图像恢复处理单元的功能结构的框图；

图3是示出根据本发明第一实施例的图像恢复处理的流程图；

图4A~4E是用于说明具有拜尔阵列的原色滤波器的图像传感器所获得的RAW图像的图；

图5A~5K是用于说明根据本发明第一实施例的图像恢复处理的像素插值处理的图；

图6A和6B是用于说明根据本发明第一实施例的图像恢复滤波器的图；

图7A和7B是示意性示出要应用于各像素仅具有一个颜色成分的RAW图像的图像恢复滤波器的图；

图8是示出根据本发明实施例的点光源的图；

图9A和9B是用于说明根据本发明第一实施例的图像恢复处理的作用和效果的图；

图10A~10D是各自示出根据本发明实施例的摄像设备的光学摄像系统的MTF以及应用图像恢复滤波器之后的MTF的空间频率特性的示例的图；

图10E是示出根据本发明实施例的摄像设备的通过应用图像恢复滤波器所获得的MTF的增/减率(恢复增益)的图；

图11是示出根据本发明第一实施例的图像恢复处理单元的另一功能结构的框图；

图12A~12D是用于说明根据本发明实施例的图像恢复处理的实空间和频率空间的特性的图；

图13A和13B是用于说明考虑到倍率色像差的图像恢复滤波器的生成的图；

图14A和14B是用于说明根据本发明实施例的倍率色像差校正数据生成方法的图；

图15是示出根据本发明第二实施例的图像恢复处理单元的功能结构的框图；

图16是示出根据本发明第二实施例的图像恢复处理的流程图；

图17A~17E是用于说明根据本发明第二实施例的图像恢复处理的图；

图18A和18B是用于说明根据本发明第二实施例的图像恢复处理的图；以及

图19A和19B是用于说明根据本发明第二实施例的图像恢复处理的作用和效果的图。

具体实施方式

现在将根据附图来详细说明本发明的实施例。

摄像设备的结构

图1是示出作为根据本发明实施例的图像处理设备的示例的摄像设备的结构的框图。在本实施例中，将说明应用了本发明的、包括光学摄像系统和图像传感器的摄像设备的情况。然而，在本发明中，诸如光学摄像系统和图像传感器等的用于生成所拍摄图像的组件并非是必须的。

光学摄像系统101使被摄体(未示出)的光学图像在图像传感器102上成像。图像传感器102将该图像转换成电信号，其中该电信号由A/D转换器103转换成数字信号并被输入至图像处理单元104。图像处理单元104包括图像恢复处理单元111、以及用于执行除图像恢复处理以外的图像处理的其它图像处理单元112。图像恢复处理单元111从状态检测单元107获得摄像设备的拍摄状态信息。状态检测单元107可以从系统控制器110直接获得摄像设备的拍摄状态信息，或者可以从光学摄像系统控制单元106获得与光学摄像系统101相关联的拍摄状态信息。

然后，图像恢复处理单元111例如从存储单元108选择与拍摄状态相对应的图像恢复滤波器，并对输入至图像处理单元104的图像执行倍率色像差校正处理和图像恢复滤波器应用处理。后面将详细说明图像恢复处理单元111。存储单元108可以保持生成图像恢复滤波器所需的信息(例如，与点扩散函数或光学传递函数有关的信息)来代替该图像恢复滤波器。在这种情况下，图像恢复处理单元111从存储单元108选择关于与拍摄状态相对应的点扩散函数或光学传递函数的信息以生成与拍摄状态相对应的图像恢复滤波器，并使用所生成的图像恢复滤波器来执行图像恢复处理。其它图像处理单元112对图像恢复处理之后的图像执行诸如伽玛校正和颜色平衡调整等的预定图像处理，由此生成诸如JPEG文件等的图像文件。

系统控制器110将图像处理单元104处理后的输出图像以预定格式存储在图像记录介质109中。显示单元105可以显示通过对图像恢复处理之后的图像执行显示用的预定处理所获得的图像、或者没有经过图像恢复处理或已经过了简单的恢复处理的图像。

系统控制器110进行一系列的控制操作，并且光学摄像系统106响应于来自系统控制器110的指示来机械地驱动光学摄像系统101(光圈101a、调焦透镜101b和光学变焦等)。系统控制器110例如是诸如CPU或MPU等的可编程控制器，并且通过执行存储在存储单元108中的程序来实现摄像设备的总体操作。注意，尽管图像处理单元104可以由硬件来实现，但图像处理单元104的至少一部分还可以由系统控制器110以软件方式来实现。

将光圈101a的直径控制为F数的拍摄状态设置。调焦透镜101b的位置由自动调焦(AF)机构或手动调焦机构(未示出)来控制以根据被摄体距离进行焦点调整。光学摄像系统101可以包括诸如低通滤波器或红外截止滤波器等的光学元件。注意，在使用诸如低通滤波器等的对光学传递函数的特性产生影响的元件的情况下，在创建图像恢复滤波器时考虑由于光学元件而引起的光学传递函数的变化。红外截止滤波器还对作为光谱波长的点扩散函数的积分值的各R、G和B通道的点扩散函数产生影响。特别是对于R通道的点扩散函数，存在该情况。因而，在创建图像恢复滤波器时，优选考虑由于红外截止滤波器而引起的点扩散函数的变化。

尽管在图1中示出光学摄像系统101作为摄像设备的一部分，但光学摄像系统101可以具有如镜头可更换型照相机那样的可更换结构。

图像恢复处理单元111

图2是示出图像恢复处理单元111的功能结构的框图。图3是用于说明图像恢复处理单元111中的图像恢复处理的流程图。

将如图4A所示的各像素具有一个颜色成分的RAW图像输入至图像恢复处理单元111。如图4B~4D所示，各颜色成分仅在一部分像素中具有值。对图4B、4C或4D所示的各颜色成分(颜色平面)执行图像恢复处理单元111的处理。尽管图4B~4D示出利用各颜色成分来输入RAW图像的情况，但RAW图像可以通过分离成各颜色平面来输入，或者可以通过从存储有RAW图像的存储器仅读出所需颜色成分来进行处理。

在图3的步骤S201中，第一像素插值单元1001对G成分(图4B)应用像素插值处理以获得与不具有G成分值的像素相对应的G成分值。利用该像素插值处理，如图4E所示，确保了各像素均具有G成分值。

在步骤S202中，恢复前色差计算单元(R)1002基于像素插值处理之后的G成分(图4E)和没有经过像素插值的R成分(图4C)来获得图像恢复处理之前的色差信息。同样，恢复前色差计算单元(B)1003基于像素插值处理之后的G成分(图4E)和没有经过像素插值的B成分(图4D)来获得图像恢复处理之前的色差信息。

在本实施例中，将色差定义为相对于基准颜色成分(在这种情况下为G)的信号值的差。通过以下来分别计算除基准颜色成分以外的R成分和B成分相对于G成分的色差C1r和C1b。

C1r(x,y)=R1(x,y)-G1(x,y)            ...(6)

C1b(x,y)=B1(x,y)-G1(x,y)                ...(7)

其中，(x,y)表示图像上的坐标值。

注意，由于如上所述、R成分和B成分没有经过像素插值，因此在步骤S202中计算出色差的像素仅是具有除基准颜色成分以外的R成分或B成分的值的像素。即，恢复前色差计算单元(R)1002计算仅针对图4C中具有“R”的像素的C1r(x,y)，并且恢复前色差计算单元(B)1003计算仅针对图4D中具有“B”的像素的C1b(x,y)。

如上所述，在第一像素插值单元1001对基准颜色成分(G成分)进行像素插值的情况下，可以在无需对其它颜色成分(R成分和B成分)进行像素插值的情况下获得着色抑制处理所需的、图像恢复滤波器应用之前的色差信息。已公开了针对由具有拜尔阵列的颜色滤波器的图像传感器所获得的RAW图像的传统的各种像素插值技术，并且第一像素插值单元1001可以使用已知的任意方法。例如，可以通过使用周围像素的其它颜色成分的值所确定的插值方法来获得对象像素的特定颜色成分的值。即，在通过插值处理生成给定像素的G成分的值的情况下，使用周围像素的R成分和B成分的值来确定针对G成分的插值方法。与简单地对相邻的相同颜色成分的值进行线性插值的方法相比，这种自适应方法可以抑制由于插值处理而引起的伪色的发生或锐度的下降。

将参考图5A~5K来进一步说明自适应像差插值方法的示例。图5A示出在与图像的非彩色边缘垂直的方向上排列的像素值的示例。由于该边缘为非彩色，因此图像传感器的各像素的R、G和B成分的值彼此相等。如图5B所示，图像由(R,G，B)=(100,100,100)的像素和(R,G，B)=(200,200,200)的像素构成。由于由拜尔阵列的图像传感器所拍摄的RAW图像的各像素实际具有一个颜色成分，因此通过提取各颜色成分的值来获得图5C~5E所示的排列。在图5C~5E中，黑色像素表示需要插值的像素。在这种情况下，显而易见，像素插值处理之后的各颜色成分的值理想为如图5B所示。

在下文，分别由G(x,y)、R(x,y)和B(x,y)来描述图5C~5E所示的像素排列。注意，x表示水平方向上的坐标并且y表示垂直方向上的坐标。如图5C~5E所示，左上角的像素具有坐标值(0,0)并且右下角的像素具有坐标值(4,4)。

如上所述，在步骤S201中，第一像素插值单元1001对G成分执行像素插值处理。以下将说明使用周围的其它颜色成分的像素信息来自适应地生成图5C所示的各黑色像素的G成分的值的像素插值处理的示例。

例如，对于获得如G(1,2)那样的、具有R成分的值的像素的G成分的值的情况：

H_DIFF=(R(x,y)-R(x-2,y))

+(R(x,y)-R(x+2,y))                    ...(8)

V_DIFF=(R(x,y)-R(x,y-2))

+(R(x,y)-R(x,y+2))                    ...(9)

在|H_DIFF|>|V_DIFF|的情况下：

G(x,y)=(G(x,y-1)+G(x,y+1))/2          ...(10)

在|H_DIFF|≤|V_DIFF|的情况下：

G(x,y)=(G(x-1,y)+G(x+1,y))/2          ...(11)

如上所述，针对对象像素的颜色成分获得基于周围像素值已计算出的水平方向上的像素值的变化量H_DIFF和垂直方向上的像素值的变化量V_DIFF，并且确定变化量的绝对值较小的方向。然后，对一对相同颜色成分的像素值进行插值(在该例子中，进行平均)，由此获得对象像素的颜色成分的值，其中，在该对相同颜色成分的像素值之间存在该对象像素。图5I示出这种自适应像素插值处理的结果。图5F~5H各自示出在无需应用参考等式8~11所述的自适应图像插值处理的情况下、通过简单地对周围的相同颜色成分的像素值进行平均来进行插值的像素插值处理的结果。通过将对G像素进行像素插值处理所获得的图5I和5F相互比较，显而易见，与执行线性插值处理的情况相比，执行自适应像素插值处理的情况的锐度并未下降。

已说明了对具有R成分的值的像素生成G成分的值的情况。如G(2,1)那样，可以同样地对具有B成分的值的像素生成G成分的值。

上述的像素插值方法仅是示例。作为第一像素插值单元1001所使用的像素插值方法，可以采用包括简单的线性插值方法的其它方法。

返回参考图3，在步骤S203中，恢复滤波器应用单元(G)1004、恢复滤波器应用单元(R)1005和恢复滤波器应用单元(B)1006选择适合摄像条件的图像恢复滤波器。此时，可以根据需要对所选择的图像恢复滤波器进行校正。这与如下操作相对应，其中该操作用于通过准备离散的拍摄状态数据从而减少预先在存储单元108中准备的图像恢复滤波器的数据量，来在执行图像恢复处理时根据实际的拍摄状态对图像恢复滤波器进行校正。此外，代替选择图像恢复滤波器，可以基于与生成图像恢复滤波器所需的光学传递函数有关的信息，根据拍摄状态来生成图像恢复滤波器。

在步骤S204中，恢复滤波器应用单元(G)1004、恢复滤波器应用单元(R)1005和恢复滤波器应用单元(B)1006使用步骤S203中选择或生成的图像恢复滤波器，以针对输入图像的各颜色成分对各像素执行卷积处理。该卷积处理的详细内容如以上参考等式5所述。这样使得能够校正由于光学摄像系统101的像差而引起的点扩散分布函数的不对称性，由此去除或减少图像的模糊成分。

如上所述，在将图像恢复滤波器应用于二维图像的情况下，该图像恢复滤波器被形成为具有与像素相对应的抽头的二维滤波器，并且可以基于光学摄像系统的像差特性和所要求恢复精度来确定抽头数。图6A示意性示出如下的图像恢复滤波器作为示例，其中该图像恢复滤波器被形成为具有11×11个抽头、即水平方向和垂直方向上分别为11个抽头的二维滤波器。注意，图6A所示的图像恢复滤波器是应用于各像素具有R、G和B颜色成分的图像的各颜色平面的图像恢复滤波器的示例。

使用图6A所示的具有100个以上的抽头的二维滤波器作为图像恢复滤波器，可以使光学摄像系统的诸如球面像差、彗星像差和轴上色像差和轴外色耀斑等的相对于成像位置大幅扩散的像差恢复。

尽管图6A没有示出各抽头的值(系数值)，但图6B示出图像恢复滤波器的一条水平线的抽头系数的分布示例。图像恢复滤波器的抽头的值(系数值)的分布用于使由于光学摄像系统的像差而在空间上扩散的点扩散函数返回至理想的原始一个点(衍射的影响被忽略的情况)。

将图像恢复滤波器的抽头系数值用于图像恢复处理的步骤中针对各像素所执行的卷积处理(卷积积分运算、积和运算)。在该卷积处理中，使要处理的像素与图像恢复滤波器的中心抽头一致，以对要处理的像素的信号值应用图像恢复处理。在图像恢复滤波器的各抽头位置处，获得相应像素信号值与抽头系数值的积，并利用这些积的总和来替换要处理的像素的信号值。

可以通过如上所述计算或测量光学摄像系统的光学传递函数、并对该光学传递函数的逆函数进行逆傅立叶变换来获得这种图像恢复滤波器。注意，由于实际图像包括噪声成分，因此使用通过获得光学传递函数的完全逆数所创建的图像恢复滤波器导致该噪声成分放大，由此导致更加难以获得高质量的恢复图像。众所周知有使用如(后面要说明的)Wiener滤波器那样的如下图像恢复滤波器来抑制恢复图像中的噪声的方法，其中该图像恢复滤波器用于根据图像信号和噪声信号之间的强度比来抑制图像的高频侧的恢复率。

此外，除了光学摄像系统以外，光学传递函数还可以包括用以针对输入至图像处理单元104的图像使光学传递函数劣化的因素。例如，低通滤波器对光学传递函数的频率特性中的高频成分进行了抑制。此外，图像传感器的像素开口的形状和开口率对频率特性产生影响。光源的光谱特性和各种波长滤波器的光谱特性也对光学传递函数产生影响。因此，期望基于包括各种因素的广义上的光学传递函数来创建图像恢复滤波器。

在图像是RGB格式的彩色图像的情况下，仅需创建分别与R、G和B颜色成分相对应的三个图像恢复滤波器。由于各颜色成分的模糊程度因光学摄像系统的色像差而彼此不同，因此各图像恢复滤波器也根据对象颜色成分而具有不同的特性。更具体地，图6B所示的抽头值的分布针对各颜色成分而不同。图像恢复滤波器的水平方向和垂直方向上的抽头数无需彼此相等，并且可以在能够进行卷积处理的范围内任意改变。

与要应用于各像素具有R、G和B颜色成分的图像的各颜色平面的图像恢复滤波器相对地，图7A和7B示出要应用于各像素仅具有一个颜色成分的RAW图像的图像恢复滤波器的示例。与具有对象颜色成分的像素相对应的抽头具有系数。图7A示意性示出针对G成分所提供的图像恢复滤波器。图7B示意性示出要应用于R成分和B成分的图像恢复滤波器。在图7A和7B中，黑色抽头具有抽头系数(抽头系数非0)，并且白色抽头不具有抽头系数(抽头系数为0)。

恢复滤波器应用单元(G)1004对图4B所示的(没有经过像素插值的)G成分应用使用图7A所示的图像恢复滤波器的卷积处理。此外，恢复滤波器应用单元(R)1005和恢复滤波器应用单元(B)1006分别对图4C所示的R成分和图4D所示的B成分应用使用图7B所示的图像恢复滤波器的卷积处理。

在图3的步骤S205中，第二像素插值单元1007对应用了图像恢复滤波器的G成分应用像素插值处理。这是与步骤S201中第一像素插值单元1001所执行的处理相同的处理。该像素插值处理使图4B所示的状态改变为图4E所示的各像素均具有G成分的值的状态。

在步骤S206中，恢复后色差计算单元(R)1008和恢复后色差计算单元(B)1009获得色差信息。这里所进行的色差计算与步骤S202中恢复前色差计算单元(R)1002和恢复前色差计算单元(B)1003所进行的色差计算相同，并且根据以下等式来获得R成分和B成分相对于基准颜色成分G的差。即，通过以下来定义R成分和B成分相对于G成分的色差C2r和C2b。

C2r(x,y)=R(x,y)-G(x,y)              ...(12)

C2b(x,y)=B(x,y)-G(x,y)              ...(13)

如上所述，通过在第二像素插值单元1007中仅对G成分进行像素插值，可以获得着色抑制处理所需的、图像恢复滤波器应用之后的色差信息。

在步骤S207中，像素值调整单元(R)1010基于色差信息C2r和C2b来判断是否需要对R成分进行用于抑制着色的像素值调整，并且像素值调整单元(B)1011基于色差信息C1r和C1b来判断是否需要对B成分进行用于抑制着色的像素值调整。这些判断处理可以基于如以下将说明的、色差是否增大或者色差的符号是否反转来进行。

像素值调整单元(R)1010或像素值调整单元(B)1011对各像素的R成分或B成分进行以下判断。在满足以下条件中的任一个的情况下，判断为需要对相应颜色成分的值进行用于抑制着色的像素值调整。

●像素值调整单元(R)1010所进行的针对R的判断

判断条件1：

C1r(x,y)和C2r(x,y)具有相同符号并且|C 1r(x,y)|<|C2r(x,y)|。

判断条件2：

C1r(x,y)和C2r(x,y)具有不同符号。

●像素值调整单元(B)1011所进行的针对B的判断

判断条件1：

C1b(x,y)和C2b(x,y)具有相同符号并且|C1b(x,y)|<|C2b(x,y)|。

判断条件2：

C1b(x,y)和C2b(x,y)具有不同符号。

在步骤S208中，像素值调整单元(R)1010或像素值调整单元(B)1011对作为判断结果已判断为需要进行像素值调整的像素应用用于抑制着色的像素值调整。如以下将说明的，该像素值调整处理在色差增大的情况下可以使用图像恢复处理之前的色差，并且在色差的符号反转的情况下将色差设置为0。

●像素值调整单元(R)1010所进行的针对R的像素值调整

在满足判断条件1的情况下(色差增大)：

R2(x,y)=G2(x,y)+k×C1r(x,y)(0<k≤1)        ...(14)

在满足判断条件2的情况下(色差的符号反转)：

R2(x,y)=G2(x,y)                             ...(15)

●像素值调整单元(B)1011所进行的针对B的像素值调整

在满足判断条件1的情况下(色差增大)：

B2(x,y)=G2(x,y)+k×C 1b(x,y)(0<k≤1)        ...(16)

在满足判断条件2的情况下(色差的符号反转)：

B2(x,y)=G2(x,y)                             ...(17)

在步骤S209中，应用图像恢复滤波器，并且第三像素插值单元1012对已经过了用于抑制着色的像素值调整处理的各R、G和B颜色成分执行像素插值处理。第三像素插值单元1012对G成分所应用的自适应像素插值处理可以与第一像素插值单元1001或第二像素插值单元1007所执行的处理相同。

另一方面，可以如下执行针对R成分和B成分的自适应像素插值处理方法。现在将说明如下的自适应插值的情况，其中该自适应插值用于针对图5D所示的不具有像素插值之前的R成分的值的像素，使用具有其它颜色成分的周围像素的信息来生成R成分的值。

第三像素插值单元1012可以如下根据存在各自具有R成分的值的相邻像素的方向，使用预先进行了插值的G成分的值来执行针对R像素的自适应像素插值处理。

在左右两侧的相邻像素具有值的情况下(例如，R(2,0))：

Cr=(R(x-1,y)-G(x-1,y)

+R(x+1,y)-G(x+1,y))/2             ...(18)

R(x,y)=G(x,y)+Cr                  ...(19)

在上下两侧的相邻像素具有值的情况下(例如，R(1,1))：

Cr=(R(x,y-1)-G(x,y-1)

+R(x,y+1)-G(x,y+1))/2             ...(20)

R(x,y)=G(x,y)+Cr                ...(21)

在对角方向的相邻像素具有值的情况下(例如，R(2,1))：

Cr=(R(x-1,y-1)-G(x-1,y-1)

+R(x+1,y-1)-G(x+1,y-1)

+R(x-1,y+1)-G(x-1,y+1)

+R(x+1,y+1)-G(x+1,y+1))/4       ...(22)

R(x,y)=G(x,y)+Cr                ...(23)

如上所述，根据存在具有相同颜色成分的值的相邻像素的方向，通过对针对相邻像素所获得的色差信息(R-G)进行插值来执行自适应像素插值处理。

对于针对图5E所示的B成分的像素插值处理，与上述针对R成分的处理相同，根据存在具有相同颜色成分的值的相邻像素的方向，通过对针对相邻像素所获得的色差信息(R-B)进行插值来执行自适应像素插值处理。

图5I~5K示出通过应用这种自适应像素插值处理所获得的各颜色成分的值的示例。此外，图5F~5H示出通过代替自适应像素插值处理而应用一般的线性像素插值处理所获得的各颜色成分的值的示例。在该线性插值处理中，生成除100和200以外的值，并且锐度相对于图5B所示的理想像素排列下降。相反，在应用自适应像素插值处理的情况下，各像素的R、G和B成分的值彼此相等，并且各像素排列与图5B所示的像素排列一致。当获得给定像素的颜色成分时，可以通过根据该给定像素周围的具有其它颜色成分的像素的信息自适应地进行像素插值来抑制或防止由于插值所引起的锐度下降。

注意，这里所述的像素插值方法仅是示例。作为第三像素插值单元1012所使用的像素插值方法，可以采用包括简单的线性插值方法的其它方法。

根据图3所示的流程图的处理执行图像处理单元104(图像恢复处理单元111)中的图像恢复处理。注意，由于光学摄像系统101的光学传递函数即使在一个拍摄状态的情况下也根据该光学摄像系统的像高而改变，因此期望针对与像高相对应地分割得到的各区域(例如，图14A的各区域h1~h8)改变和执行上述的图像恢复处理。更具体地，仅需使图像恢复滤波器在执行卷积处理的情况下对图像进行扫描，由此针对各区域顺次改变滤波器。即，针对各对象像素执行步骤S203的处理。

注意，为了简便以及容易理解本实施例，假定图像恢复滤波器的应用=图像恢复处理。该图像恢复处理可以包括诸如失真校正处理、周边光量校正处理和噪声降低处理等的其它校正处理作为其一部分。

将参考图9A和9B来说明步骤S202、S204、S206和S208中所进行的图像恢复处理之前和之后的色差信息的获得、图像恢复滤波器的应用以及用于抑制着色的像素值调整的作用和效果的示例。

图9A和9B是各自示出如下像素值的示例的示意图，其中这些像素值为图8所示的通过对周边部处存在点光源的视野进行摄像所获得的输入中的、该点光源处及其周围的水平方向上的像素值。在图9A和9B各自中，上部示出R成分和G成分的像素值，并且下部示出上部所示的R成分和G成分的值之间的差、即色差。

图9A示出聚焦状态。图9A的9A-a示出没有应用图像恢复处理的状态，并且各像差残留在图像中。因此，对于G成分和R成分这两者都发生模糊，并且由于G成分和R成分的模糊程度不同还发生色边。在这种情况下，色差在左右两侧的各边缘部分中具有正值。

另一方面，图9A的9A-b示出已对RAW图像应用了图像恢复处理的状态，并且已对像差进行了校正以去除模糊成分。在图9A的9A-b中，并未由于聚焦状态时的图像恢复处理而发生着色。在这种情况下，在本实施例中，判断为无需进行用于抑制着色的像素值调整。

图9B示出离焦状态。与图9A的9A-a相同，图9B的9B-a示出没有应用图像恢复处理的状态，并且各像差残留在图像中。尽管对于G成分和R成分这两者都发生模糊，但G成分和R成分的模糊程度彼此相等，因此色差对于整个区域为0。另一方面，图9B的9B-b示出已对RAW图像应用了图像恢复处理的状态，并且已对像差进行了校正以减少模糊成分。然而，由于G成分和R成分的模糊程度彼此不同，因此已发生色边。在这种情况下，色差在左右两侧的各边缘部分中具有负值。

在图像恢复处理的应用时发生的这种色边是本实施例中要抑制的着色。图9B的9B-c示出在本实施例的步骤S208中已执行了用于抑制着色的像素值调整处理的状态。由于图像恢复处理而引起的着色已被适当抑制，并且与图9B的9B-a相同，色差对于整个区域为0。

如上所述，在本实施例中，即使在对RAW图像执行图像恢复处理的情况下，也可以高效地抑制图像恢复滤波器的应用时发生的着色。将参考图10A~10E来说明图9A所示的聚焦状态时和图9B所示的离焦状态时、图像恢复滤波器的应用之前和之后G成分和R成分各自的模糊程度之间的差异。图10A~10D是各自示意性示出光学摄像系统101的MTF以及应用图像恢复滤波器之后这些MTF的空间频率特性的图。图10E是示意性示出通过应用图像恢复滤波器所获得的MTF的增/减率(恢复增益)的图。

图10A示出聚焦状态时光学摄像系统101的MTF，其中，与G成分相比，R成分劣化。在图9A的9A-a中，G成分和R成分的模糊程度不同，并且在点光源部分中，与G成分相比，R成分的像素值的变化扩散。

图10B示出聚焦状态时应用图像恢复滤波器之后的MTF，其中已对G成分和R成分的MTF进行了适当校正并且G成分和R成分彼此一致。这是通过将图10A所示的MTF分别乘以图10E所示的恢复增益来获得的。由于图像恢复滤波器已被设计成对聚焦物体执行最佳的图像恢复处理，因此在聚焦状态时执行适当的图像恢复处理。因此，在图9A的9A-b所示的应用图像恢复处理之后的状态中，G成分和R成分的模糊已被适当去除并且色边也被去除。

另一方面，图10C示出离焦状态时光学摄像系统101的MTF，其中与图10A所示的聚焦状态相比，G成分和R成分劣化并且彼此一致。在图9B的9B-a中，G成分和R成分的模糊程度彼此相等，并且大于图9A的9A-a所示的聚焦状态时的模糊程度。

图10D示出离焦状态时应用图像恢复处理之后的MTF，其中，已对G成分和R成分的MTF进行了校正，但是与R成分相比，G成分劣化。这是通过将图10C所示的MTF分别乘以图10E所示的恢复增益来获得的。由于图像恢复滤波器已被设计成对聚焦物体执行最佳的图像恢复处理，因此在离焦状态时可能无法获得期望的图像恢复结果。在图9B的9B-b所示的应用图像恢复处理之后的状态中，G成分和R成分的模糊量已减少，但是与R成分相比，G成分扩散。

注意，本实施例的图像恢复处理单元111被配置成如下：将输入RAW图像的G成分原样输入至针对G成分的恢复滤波器应用单元(G)1004，并将来自恢复滤波器应用单元(G)1004的输出原样输入至第三像素插值单元1012。然而，如图11所示，第一像素间隔剔除单元1013可以对来自第一像素插值单元1001的输出进行间隔剔除以将其输入至恢复滤波器应用单元(G)1004，并且第二像素间隔剔除单元1014可以对来自第二像素插值单元1007的输出进行间隔剔除以将其输出至第三像素插值单元1012。

在图2所示的结构中，需要如下存储器，其中该存储器用以将第一像素插值单元1001和第二像素插值单元1007已生成的像素插值处理之后的G成分与拜尔阵列的G成分分开保持。然而，在图11所示的结构中，由于在像素插值处理之后、第一像素间隔剔除单元1013和第二像素间隔剔除单元1014对通过该插值处理所创建的像素值进行间隔剔除以恢复为拜尔阵列的G成分的状态，因此不需要用以保持像素插值处理之后的G成分的存储器。

如上所述，在执行本实施例所述的处理时，可以保持各时间点的处理中的图像数据。例如，可以针对各颜色成分保持要输入至恢复滤波器应用单元1004~1006的颜色成分，或者可以(在无需分离成颜色平面的情况下)保持拜尔阵列本身。如图2所示的结构那样，可以将第一像素插值单元1001和第二像素插值单元1007所生成的G成分与拜尔阵列的G成分分开保持。用于保持数据的方法仅需根据系统的存储器容量等来适当确定。

如上所述，根据本实施例，仅RAW图像的G成分经过了像素插值，以针对R成分和G成分的像素获得图像恢复处理之前和之后的颜色信息。因此，即使在由于应用于RAW图像的图像恢复处理而发生着色的情况下，也可以基于在图像恢复处理之前和之后所获得的颜色信息来有效地抑制着色，由此使得能够获得高质量的图像恢复处理结果。此外，由于仅对G成分进行像素插值，因此处理负荷的增加较小。

第二实施例

以下将说明本发明的第二实施例。除了图像恢复处理单元的结构和操作以外，根据本实施例的图像处理设备可以与第一实施例所述的摄像设备相同。以下将说明图像恢复处理单元的操作。

首先将说明本实施例中所使用的不具有倍率色像差校正成分的图像恢复滤波器以及倍率色像差的校正。

●不具有倍率色像差校正成分的图像恢复滤波器

将参考图12A~12D来说明图像恢复处理的实空间和频率空间中的特性。图12A示出图像恢复处理之前的点扩散函数，并且图12B示出该恢复处理之后的点扩散函数。参考图12C，附图标记401表示图像恢复处理之前的MTF；并且附图标记402表示图像恢复处理之后的MTF。参考图12D，附图标记403表示图像恢复处理之前的PTF；并且附图标记404表示图像恢复处理之后的PTF。如根据图12A显而易见，图像恢复处理之前的点扩散函数不对称地扩散，这导致相应的PTF具有非零值(由图12D的附图标记403来表示)。由于图像恢复处理使MTF如由图12C的MTF402所示放大、并使PTF如由图12D的PTF 404所示校正为零，因此如图12B所示，图像恢复处理之后的点扩散函数对称并且锐利。

可以通过对基于光学摄像系统的光学传递函数的逆函数(1/H)已设计的函数进行逆傅立叶变换来获得图像恢复滤波器。尽管可以使用上述的Wiener滤波器作为图像恢复滤波器，但可以使用其它滤波器。在使用Wiener滤波器的情况下，可以通过对下式进行逆傅立叶变换来创建卷积处理要使用的实空间的图像恢复滤波器。

$M(u,v)=\frac{1}{H(u,v)}\frac{{\left|H(u,v)\right|}^2}{{\left|H(u,v)\right|}^2+{\mathrm{SNR}}^2}---\left(24\right)$

接着将说明考虑到倍率色像差的图像恢复滤波器的生成。图13A的曲线502表示在通过以曲线501的成像位置作为基准进行平移所获得的位置处、作为形状与曲线501的形状相同的点扩散函数进行成像得到的两个颜色成分。图13B示出此时的PTF。图13B的直线601和602与图13A的曲线501和502相对应。直线602表示相位具有斜率。由于原始的光学传递函数包括如图13B所示的线性PTF和如图12D的PTF 403那样的非线性PTF，因此如由图13B的直线601所示，图像恢复滤波器可以对这些PTF进行校正。

可以通过基于预先已从PTF去除了线性成分的光学传递函数而生成图像恢复滤波器，来生成不对倍率色像差的平移成分进行校正的图像恢复滤波器。另一方面，在实空间内去除了倍率色像差的成分的情况下，可以通过生成图13A的曲线502已平移至曲线501的位置以减少颜色成分之间的差异的点扩散函数、并对所生成的点扩散函数进行傅立叶变换，来生成倍率色像差的成分已被去除的光学传递函数。由于曲线501的点扩散函数的形状实际不同于曲线502的点扩散函数的形状，因此可以使用使曲线的重心彼此一致的方法或者使曲线501和502之间的差的均方根值最小的方法来使这些曲线对准，由此减少颜色成分之间的差异。通过基于光学传递函数生成图像恢复滤波器，可以生成如下的图像恢复滤波器，其中该图像恢复滤波器对球面像差、彗星像差、像场弯曲和像散中的至少一个的成分进行校正，但不对倍率色像差的平移成分进行校正。

通过应用不对倍率色像差的成分进行校正的图像恢复滤波器，可以独立于图像恢复处理来对倍率色像差进行处理。即，可以通过使针对各颜色成分的不对称像差的校正和锐化与针对作为倍率色像差的平移成分的颜色偏差的校正相分离来进行处理。

注意，由于即使在相同的拍摄状态(相同的变焦位置和相同的光圈直径)下、光学传递函数也根据光学摄像系统的像高(图像的位置)而改变，因此期望根据像高来改变和使用图像恢复滤波器。

倍率色像差的检测和校正

如上所述，可以基于诸如PTF的线性成分和点扩散函数的形状等的光学摄像系统的设计值来计算倍率色像差的校正量。由于如上所述、在本说明书中将颜色偏差和倍率色像差用作彼此的同义词，因此可以将倍率色像差作为R成分或B成分相对于G成分的偏移量来处理。

以下将说明本实施例中用于校正倍率色像差的方法。

由于倍率色像差而引起的颜色偏差量通常根据表示相对于光学摄像系统的光学中心的距离的像高而改变。使用针对像高L的颜色偏差量D，将相对于像高的颜色偏差率M定义为如下。

M=D/L                    ...(25)

如图14B所示，基于像高(在该例子中，图14A所示的区域h1~h8)和颜色偏差率来计算表示像高l和颜色偏差率M之间的关系的高阶多项近似式F(l)，并且使用该高阶多项近似式F(l)作为校正数据。图14B示出通过由以下所示的三阶多项式来计算校正数据的情况。

M=F(l)=al³+bl²+cl                ...(26)

其中，a、b和c分别表示系数。

通过使对象颜色成分的像素位置偏移来校正颜色偏差。更具体地，例如，以下方法可以校正颜色偏差。

在要校正的平面(R平面、B平面)的像素(X,Y)处，基于像素(X,Y)的像高L和校正数据来获得像素(X,Y)处的颜色偏差率M。假定与光学中心相对应的像素具有坐标(0,0)。

M=F(L)                 ...(27)

通过以下来获得通过颜色偏差校正要生成的像素的坐标(X 1,Y 1)。

X1=M×X                ...(28)

Y1=M×Y                ...(29)

要校正的平面中的与坐标(X1,Y1)相对应的像素值是通过一般的插值处理所生成的，并被设置为像素(X,Y)的像素值。对所有像素执行这些操作，由此进行颜色偏差校正。因而，校正了倍率色像差。

图15是示出作为根据本发明第二实施例的图像处理设备的示例的摄像设备中的图像恢复处理单元111″的功能结构的框图。参考图15，利用相同的附图标记来表示与根据第一实施例的图像恢复处理单元111相同的功能块。如通过将图2和15相互比较显而易见，本实施例的特征在于具有两个针对G成分的恢复滤波器应用单元、倍率色像差校正单元(R)1015和倍率色像差校正单元(B)1016。

将参考图16所示的流程图来说明图像恢复处理单元111″的操作。

在步骤S 301中，倍率色像差校正单元(R)1015和倍率色像差校正单元(B)1016分别校正R成分和B成分的倍率色像差。

如图4C和4D所示，所输入的R成分和B成分仅在有限的像素处具有值。然而，通过利用仅使用具有值的像素的插值处理使像素位置偏移，可以校正RAW图像本身的倍率色像差。

针对G成分的像素插值处理(S201)和恢复前色差信息获得处理(S202)如第一实施例所述。

在步骤S 304中，恢复滤波器应用单元1005、1006、1017和1018选择适合摄像条件的图像恢复滤波器。注意，对于本实施例中所使用的图像恢复滤波器，倍率色像差的校正所用的平移成分已被去除。即，图像恢复滤波器不包括倍率色像差校正成分，因而对像差的扩散和不对称性进行校正以使图像锐化但不对倍率色像差的平移成分进行校正。如上所述，使用这种图像恢复滤波器使得能够独立于图像恢复处理来对倍率色像差进行处理。即，可以通过使针对各颜色成分的不对称像差的校正和锐化与针对作为倍率色像差的平移成分的颜色偏差的校正相分离来进行处理。

此外，在步骤S304中，可以根据需要对所选择的图像恢复滤波器进行校正。这与如下操作相对应，其中该操作通过准备离散的拍摄状态数据从而减少预先在存储单元108中准备的图像恢复滤波器的数据数量，来在执行图像恢复处理时根据实际拍摄状态对图像恢复滤波器进行校正。此外，代替选择图像恢复滤波器，可以基于与生成图像恢复滤波器所需的光学传递函数有关的信息，根据拍摄状态来生成图像恢复滤波器。

在步骤S305中，恢复滤波器应用单元1005、1006、1017和1018对所拍摄的输入图像的各颜色成分应用步骤S304中所选择或生成的图像恢复滤波器。这样使得能够对由于光学摄像系统101的像差而引起的点扩散函数的不对称性进行校正，由此去除或减少图像的模糊成分。

在本实施例中，如图17A、17D和17E所示，将RAW图像的G成分进一步分离成以拜尔阵列的G1和G2这两个成分，其中恢复滤波器应用单元(G1)1017和恢复滤波器应用单元(G2)1018分别对G1和G2这两个成分应用图像恢复滤波器。更具体地，将从在水平方向上与输出R成分的信号的像素相邻的像素输出的G成分的信号设置为G1成分的信号，并将从在水平方向上与输出B成分的信号的像素相邻的像素输出的G成分的信号设置为G2成分的信号。

即，将图17B~17E所示的R、B、G1和G2成分作为图像恢复成分来处理，其中恢复滤波器应用单元1005、1006、1017和1018对这些图像恢复成分单独应用图像恢复处理(卷积处理)。

将说明通过将G成分进一步分离成G1和G2这两个成分来进行处理的含义。图18A和18B各自是示出具有拜尔阵列的原色滤波器的图像传感器中各颜色成分的像素排列的空间频率特性的图。

对于(x,y)的预定范围，获得阵列m_G(x,y)，其中在G成分的像素中，将能够检测光的像素(白色)设置为“1”并将无法检测光的像素(黑色)设置为“0”。针对R、B、G1和G2成分也获得了分别由m_R(x,y)、m_B(x,y)、m_G1(x,y)和m_G2(x,y)所表示的相同阵列。通过对m_G(x,y)、m_R(x,y)、m_B(x,y)、m_G1(x,y)和m_G2(x,y)进行傅立叶变换所获得的结果与图18A和18B所示的频率特性相对应。

图18A示出仅在由“●”所表示的位置处存在“1”的梳状函数(comb function)，并且该梳状函数表示包括G1成分和G2成分这两者的G成分、即图17A所示的频率特性。图18A所示的G成分的频率特性不同于示出图17B和17C分别所示的R成分和B成分的频率特性的图18B的。另一方面，通过将G成分分离成G1成分和G2成分，如R成分和B成分那样，获得了如图18B所示的频率特性。

由于拜尔阵列的原色滤波器包括相当于R成分或B成分的两倍多的G成分，因此如图18A和18B所示，G成分的频率特性不同于R成分或B成分的频率特性。因此，在没有将G成分分离成G 1成分和G2成分的状态下对R、G和B成分这三个颜色成分应用图像恢复滤波器的情况下，仅使G成分恢复为高频带。在仅使R、G和B成分中的G成分恢复为高频带的情况下，在包括高频成分的图像区域中可能发生原本不存在的伪色。这是由于图像的高频带内R、G和B成分的频率特性之间的关系在图像恢复处理之前和之后发生改变所引起的。

如上所述，在要经过图像恢复处理的成分的频率特性不同的情况下，图像恢复处理导致发生伪色。该伪色不同于由于针对拜尔阵列的图像的像素插值而发生的伪色，并且是由于图像传感器所获得的像素值本身的变化而发生的。因此，用于抑制由于像素插值而引起的伪色的发生的方法无法抑制由于图像恢复处理而发生的伪色。

通过将G成分分离成G1成分和G2成分，R、G1、G2和B这四个图像恢复成分的像素排列表现出相同的空间频率特性，由此使得能够抑制由于图像恢复处理而引起的伪色的发生。注意，即使在没有将G成分分离成G1成分和G2成分的情况下，根据用于创建要应用于G成分的图像恢复滤波器的方法，要校正的G成分的频带也可以与R成分或B成分的频带一致。然而，在这种情况下，要恢复的频带与将G成分分离成G1成分和G2成分的情况等同。

后续处理与第一实施例中的步骤S205~S209的处理相同。在步骤S305中通过将G成分分离成G1成分和G2成分来应用图像恢复处理之后，通过采用一个G成分来执行后续处理。

已说明了根据本实施例的图像恢复处理单元111″的结构和图像恢复处理。将参考图19A和19B来说明本实施例中、步骤S301的倍率色像差的校正以及步骤S305的不具有倍率色像差校正成分的图像恢复滤波器的应用的作用和效果的示例。

图19A和19B是各自示出如下像素值的示例的示意图，其中这些像素值为图8所示的通过对周边部处存在点光源的视野进行摄像所获得的输入中的、该点光源处及其周围的水平方向上的像素值。在图19A和19B各自中，上部示出R成分和B成分的像素值，并且下部示出上部所示的R成分和B成分的值之间的差、即色差。

图19A是用于说明离焦状态时使用不具有倍率色像差校正成分的图像恢复滤波器的作用和效果的图。图19A的19A-a示出既未进行倍率色像差校正处理也未进行使用不具有倍率色像差校正成分的图像恢复滤波器的图像恢复处理的状态，并且各像差残留在图像中。对于G成分和R成分这两者发生了模糊，由于倍率色像差还发生了色边，因此在左右两侧的各边缘处发生了色差。然而，G成分和R成分的模糊程度彼此相等。

图19A的19A-b示出仅应用了倍率色像差校正处理的情况。尽管对于G成分和R成分发生了模糊，但通过倍率色像差校正处理已消除了颜色偏差。由于G成分和R成分的模糊程度原本彼此相等，因此色差对于整个区域为0。

图19A的19A-c示出如下情况：除了倍率色像差校正处理以外，还应用了使用不具有倍率色像差校正成分的图像恢复滤波器的图像恢复处理。由于该图表示离焦状态，因此模糊已减少，但由于实际拍摄状态下的像差的状态不同于图像恢复滤波器要处理的像差的状态，因此已发生着色。在本实施例中要抑制该着色。如上所述，在本实施例中，基于与已校正了倍率色像差的状态相对应的b所示的色差和与已应用了图像恢复滤波器的状态相对应的c所示的色差之间的差异来判断是否需要进行用于抑制着色的像素值调整处理(像素值的校正)。

由于在图19A的19A-b所示的状态中色差对于整个区域为0，因此判断为通过应用图像恢复滤波器而色差已增大，因而判断为需要进行用于抑制着色的像素值调整。图19A的19A-d示出执行用于抑制着色的像素值调整处理之后的状态，其中由于图像恢复处理而发生的着色已被适当抑制，并且与b所示的状态相同，色差对于整个区域为0。

另一方面，图19B示出离焦状态时使用具有倍率色像差校正成分的图像恢复滤波器的情况。图19B的19B-a与图19A的19A-a相同，并且示出既未执行倍率色像差校正处理也未执行使用图像恢复滤波器的图像恢复处理的状态。

图19B的19B-b示出如下状态，其中在上述状态中，已应用了具有倍率色像差校正成分的图像恢复滤波器以执行倍率色像差校正处理和图像恢复处理。尽管颜色偏差已被去除并且模糊已减少，但通过应用图像恢复滤波器而已发生着色。该状态与图19A的19A-c所示的状态相同。

在使用具有倍率色像差校正成分的图像恢复滤波器的情况下，基于应用图像恢复滤波器之前的图19B的19B-a中的色差与应用图像恢复滤波器之后的图19B的19B-b中的色差之间的差异来判断是否需要进行用于抑制着色的像素值校正。在这种情况下，由于在左侧边缘的一部分中色差的符号反转，因此判断为需要进行用于抑制着色的像素值校正。然而，由于在右侧边缘处色差并未增大并且色差的符号并未反转，因此判断为无需进行像素值校正。

图19B的19B-c示出已执行了用于抑制着色的像素值调整处理的状态，其中左侧边缘处的着色已被抑制但右侧边缘处的着色未被抑制因而残留。

如上所述，在本实施例中，除了第一实施例的效果以外，可以通过在图像恢复处理之前执行倍率色像差校正处理、并应用不具有倍率色像差校正成分的图像恢复滤波器以执行图像恢复处理，来高精度地抑制着色。

此外，通过将G成分分离成G1成分和G2成分以应用图像恢复处理，RAW图像的各成分的频率特性彼此相等，由此使得能够进一步抑制由于图像恢复处理而引起的着色。

注意，在本实施例中，已说明了如下的图像恢复处理单元111″，其中该图像恢复处理单元111″包括用于将基准的G颜色成分分离成G 1成分和G2成分的结构、以及倍率色像差校正与不具有倍率色像差校正成分的图像恢复滤波器的组合。然而，在其它实施例中，可以使用这些构成元件中的任一个或它们的组合，由此获得各效果。

在又一实施例中，以与参考图11所述的第一实施例的变形例类似的方式，可以使用包括像素间隔剔除单元的结构。

其它实施例

还可以通过读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法来实现本发明的各方面，其中，系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的各步骤。由于该原因，例如经由网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。

注意，附图中的诸如“单元”和“部”等的各功能块可以由硬件(即，离散电路、ASIC、可编程逻辑装置等)、软件(即，软件与诸如CPU和MPU等的执行该软件的处理器的组合)、或者这两者的组合来实现。此外，注意，多个功能块可以由单个硬件实体来实现。此外，注意，被描述为由CPU来进行的多个处理中的至少一个可以由其它的专有或非专有硬件来进行。

尽管已经参考实施例说明了本发明，但是应该理解，本发明不限于所公开的实施例。

Claims (11)

1.一种图像处理设备，用于校正由于摄像设备的光学摄像系统的像差而引起的所述摄像设备所拍摄到的RAW图像的图像质量的劣化，其中所述RAW图像中的各像素具有预定的颜色成分中的一个颜色成分，所述图像处理设备的特征在于，包括：

第一像素插值部件，用于对所述RAW图像的预定的基准颜色成分执行像素插值处理，其中所述预定的基准颜色成分是所述预定的颜色成分中的一个颜色成分；

第一获得部件，用于针对与所述RAW图像的除所述基准颜色成分以外的其它颜色成分相对应的各像素，使用对应的颜色成分的值和所述第一像素插值部件通过像素插值处理所获得的像素的所述基准颜色成分的值来获得第一色差；

图像恢复处理部件，用于对所述RAW图像的各颜色成分应用基于所述光学摄像系统的点扩散函数的图像恢复滤波器；

第二像素插值部件，用于对应用了所述图像恢复滤波器的RAW图像的所述基准颜色成分执行像素插值处理；

第二获得部件，用于针对与应用了所述图像恢复滤波器的RAW图像的除所述基准颜色成分以外的其它颜色成分相对应的各像素，使用对应的颜色成分的值以及所述第二像素插值部件通过像素插值处理所获得的像素的所述基准颜色成分的值来获得第二色差；以及

校正部件，用于根据所述第一色差和所述第二色差之间的差异，对应用了所述图像恢复滤波器的RAW图像进行校正。

2.根据权利要求1所述的图像处理设备，其中，所述校正部件还针对与应用了所述图像恢复滤波器的RAW图像的除所述基准颜色成分以外的其它颜色成分相对应的各像素，根据所述第一色差和所述第二色差之间的差异，判断是否需要对除所述基准颜色成分以外的颜色成分的值进行校正。

3.根据权利要求1所述的图像处理设备，其中，所述图像处理设备还包括：

倍率色像差校正部件，用于针对所述RAW图像的除所述基准颜色成分以外的各颜色成分校正所述光学摄像系统的倍率色像差，

其中，所述第一获得部件针对校正了所述倍率色像差的各颜色成分获得所述第一色差，以及

所述图像恢复处理部件应用不校正倍率色像差的图像恢复滤波器。

4.根据权利要求1所述的图像处理设备，其中，

所述RAW图像是由具有拜尔阵列的原色滤波器的图像传感器所拍摄的，以及

所述基准颜色成分是G成分。

5.根据权利要求4所述的图像处理设备，其中，所述图像恢复处理部件还将所述G成分分离成G1成分和G2成分，并对所述G1成分和所述G2成分分别应用所述图像恢复滤波器。

6.根据权利要求1所述的图像处理设备，其中，所述图像处理设备还包括：

第三像素插值部件，用于在对所述校正部件所输出的除所述基准颜色成分以外的颜色成分、以及应用了所述图像恢复滤波器的所述基准颜色成分进行像素插值之后输出。

7.根据权利要求6所述的图像处理设备，其中，所述第一像素插值部件、所述第二像素插值部件和所述第三像素插值部件至少之一使用如下插值方法对要插值的像素的特定颜色成分的值执行像素插值处理，其中所述插值方法是基于从该要插值的像素的周围像素获取的、除所述特定颜色成分以外的颜色成分的值来确定的。

8.根据权利要求1所述的图像处理设备，其中，所述图像恢复滤波器是基于所述光学摄像系统的如下点扩散函数来生成的：通过使给定颜色成分的点扩散函数平移至其它颜色成分的点扩散函数的位置，减少了该点扩散函数的颜色成分之间的差异。

9.根据权利要求1所述的图像处理设备，其中，所述图像恢复滤波器是基于所述光学摄像系统的如下光学传递函数来生成的：从该光学传递函数的相位的频率特性中去除了线性成分。

10.一种摄像设备，包括：

光学摄像系统，用于使被摄体的光学图像成像；以及

图像传感器，用于对所述光学图像摄像，

所述摄像设备的特征在于，还包括：

图像处理设备，用于校正由于所述摄像设备的所述光学摄像系统的像差而引起的所述摄像设备所拍摄到的RAW图像的图像质量的劣化，其中所述RAW图像中的各像素具有预定的颜色成分中的一个颜色成分，所述图像处理设备包括：

第一像素插值部件，用于对所述RAW图像的预定的基准颜色成分执行像素插值处理，其中所述预定的基准颜色成分是所述预定的颜色成分中的一个颜色成分；

第一获得部件，用于针对与所述RAW图像的除所述基准颜色成分以外的其它颜色成分相对应的各像素，使用对应的颜色成分的值和所述第一像素插值部件通过像素插值处理所获得的像素的所述基准颜色成分的值来获得第一色差；

图像恢复处理部件，用于对所述RAW图像的各颜色成分应用基于所述光学摄像系统的点扩散函数的图像恢复滤波器；

第二像素插值部件，用于对应用了所述图像恢复滤波器的RAW图像的所述基准颜色成分执行像素插值处理；

第二获得部件，用于针对与应用了所述图像恢复滤波器的RAW图像的除所述基准颜色成分以外的其它颜色成分相对应的各像素，使用对应的颜色成分的值以及所述第二像素插值部件通过像素插值处理所获得的像素的所述基准颜色成分的值来获得第二色差；以及

校正部件，用于根据所述第一色差和所述第二色差之间的差异，对应用了所述图像恢复滤波器的RAW图像进行校正。

11.一种图像处理方法，用于校正由于摄像设备的光学摄像系统的像差而引起的所述摄像设备所拍摄到的RAW图像的图像质量的劣化，其中所述RAW图像中的各像素具有预定的颜色成分中的一个颜色成分，所述图像处理方法的特征在于，包括以下步骤：

第一像素插值步骤，用于对所述RAW图像的预定的基准颜色成分执行像素插值处理，其中所述预定的基准颜色成分是所述预定的颜色成分中的一个颜色成分；

第一获得步骤，用于针对与所述RAW图像的除所述基准颜色成分以外的其它颜色成分相对应的各像素，使用对应的颜色成分的值和所述第一像素插值处理步骤中所获得的像素的所述基准颜色成分的值来获得第一色差；

图像恢复处理步骤，用于对所述RAW图像的各颜色成分应用基于所述光学摄像系统的点扩散函数的图像恢复滤波器；

第二像素插值步骤，用于对应用了所述图像恢复滤波器的RAW图像的所述基准颜色成分执行像素插值处理；

第二获得步骤，用于针对与应用了所述图像恢复滤波器的RAW图像的除所述基准颜色成分以外的其它颜色成分相对应的各像素，使用对应的颜色成分的值以及所述第二像素插值步骤中所获得的像素的所述基准颜色成分的值来获得第二色差；以及

校正步骤，用于根据所述第一色差和所述第二色差之间的差异，对应用了所述图像恢复滤波器的RAW图像进行校正。