CN103907134B - 图像处理装置、图像处理方法和摄像装置 - Google Patents

Abstract

图像处理装置(21)具有：噪声抑制处理部(23)，其对输入图像(Is)中的包含关注像素在内的参照范围内的多个像素执行空间滤波，生成噪声降低图像(NRs)；以及失真校正处理部(24)，其以与噪声降低图像(NRs)的局部畸变失真量对应的倍率(R)进行局部的放大或缩小，来对畸变失真进行校正。根据倍率(R)动态地变更所述参照范围。此外，倍率(R)越大，则将所述参照范围控制为越小。

Description

图像处理装置、图像处理方法和摄像装置

技术领域

本发明涉及抑制图像信号中的噪声成分的图像处理技术，尤其涉及对表示变形图像的图像信号中的噪声成分进行抑制和对该图像的失真进行校正的图像处理技术。

背景技术

为了抑制图像信号中的噪声成分，广泛采用从图像信号中提取噪声成分以外的空间频率成分的低通滤波器，但是，低通滤波器具有也会抑制图像信号中的被摄体图像的边缘成分的缺点。例如，在日本特开2007-188346号公报(专利文献1)中，公开了能够保持被摄体图像的边缘成分并抑制图像信号中的噪声成分的图像处理装置。

图1是示出专利文献1中公开的图像处理装置100的结构的功能框图。如图1所示，图像处理装置100具有对输入图像信号执行滤波的低通滤波器101、102、103、差分器104、105、106、基底噪声限幅电路107、108、109和加法器110。差分器104输出输入图像信号与低通滤波器101的输出之间的差分，差分器105输出低通滤波器101与102的输出之间的差分，差分器106输出低通滤波器102、103的输出之间的差分。低通滤波器101、102、103参照以关注像素为中心的彼此不同范围的像素来执行滤波，因此，差分器104、105、106可输出彼此不同的空间频率成分的信号。基底噪声限幅电路107、108、109将这些差分器104、105、106的输出信号作为输入，在输入值处于由阈值(限幅电平)规定的规定范围内时，分别输出恒定值。并且，加法器110对这些基底噪声限幅电路107、108、109的输出进行加法运算，生成与关注像素对应的像素。通过适当地设定基底噪声限幅电路107、108、109中的限幅电平，既能够保持被摄体图像的边缘成分，又能够有效地抑制输入图像信号中的噪声成分。

现有技术文献

专利文献

专利文献1：日本特开2007-188346号公报(图1，段落0009～0022)

发明内容

发明要解决的问题

然而，在数字照相机中，有时会因镜头等摄像光学系统的畸变像差等而使摄像图像产生畸变失真(失真)。该畸变失真是由于在由摄像光学系统成像的像中视角中心轴附近与其周边部的成像倍率(尤其是，横向倍率)不同而产生的。在产生了畸变像差的情况下，在摄像图像中，随着从图像中心(与摄像光学系统的视角中心轴相当的像素)朝向周边部，畸变失真量存在变大的趋势。因此，通过以与该畸变失真量对应的倍率使摄像图像局部地放大或缩小，能够进行失真校正。

但是，当在摄像图像中叠加有噪声的情况下执行这样的失真校正时，存在该噪声被扩展而使图像质量劣化这样的问题。例如，在使用鱼眼镜头(超广角镜头)作为摄像光学系统的情况下，通过使摄像图像的周边部相比于其中心部更加放大，能够校正由鱼眼镜头的畸变像差引起的畸变失真。在该情况下，将放大倍率设定为随着从图像中心朝向该周边部而增大。在此，从图像中心起的放射线方向(径向)上的畸变失真量与同心圆方向(周向)上的畸变失真量不同，因此，用于失真校正的放射线方向上的放大倍率与同心圆方向上的放大倍率之间产生差异。因此，在摄像图像中叠加有噪声时，因失真校正而使该噪声朝特定方向扩展，而生成好像被摄体图像的背景在流动这样的视觉上不自然的校正图像。

即使在上述专利文献1的图像处理装置100的情况下，在对输出图像信号执行失真校正时，也有可能使叠加噪声扩展而使图像质量劣化。

基于上述情况，本发明的目的在于提供一种能够抑制因失真校正使叠加在具有畸变失真的图像中的噪声发生扩展而引起的图像质量劣化的图像处理装置、摄像装置、图像处理方法、计算机程序和计算机可读取的记录介质。

用于解决问题的手段

本发明的第1方式的图像处理装置的特征在于，该图像处理装置具有：噪声抑制部，其对输入图像中的包含关注像素在内的参照范围内的多个像素执行空间滤波，生成噪声降低图像；失真校正处理部，其以与所述噪声降低图像的局部的畸变失真量对应的倍率使所述噪声降低图像局部地变形，由此对所述噪声降低图像的畸变失真进行校正；以及滤波控制部，其根据所述倍率，动态地变更所述参照范围的大小，所述倍率越大，则所述滤波控制部使所述参照范围越小。

本发明的第2方式的摄像装置的特征在于包含所述第1方式的图像处理装置。

本发明的第3方式的图像处理方法的特征在于，所述图像处理方法具有如下步骤：对输入图像中的包含关注像素在内的参照范围内的多个像素执行空间滤波，生成噪声降低图像；以与所述噪声降低图像的局部的畸变失真量对应的倍率使所述噪声降低图像局部地变形，由此对所述噪声降低图像的畸变失真进行校正；以及根据所述倍率，动态地变更所述参照范围的大小，在动态地变更所述参照范围的相应步骤中，所述倍率越大，则使所述参照范围越小，由此来动态地变更所述参照范围。

本发明的第4方式的计算机程序的特征在于，该计算机程序被从存储器中读出，使处理器执行所述第3方式的图像处理方法包含的步骤。

本发明的第5方式的记录介质是计算机可读取的记录介质，其中，该计算机可读取的记录介质记录有所述第4方式的计算机程序。

发明效果

根据本发明的第1方式～第5方式，畸变失真量越大，则参照范围被变更得越小，因此，能够抑制因失真校正使叠加在具有畸变失真的图像中的噪声发生扩展而引起的图像质量劣化。

附图说明

图1是示出专利文献1中公开的图像处理装置的结构的功能框图。

图2是概略地示出本发明的实施方式1的图像处理装置的结构的功能框图。

图3是示出输出图像的图像中心与处理对象像素之间的关系的图。

图4的(A)是示出畸变失真量α与距图像中心的距离L之间的关系的一例的曲线图，图4的(B)是用于说明通过线性插值法来计算畸变失真量的方法的图。

图5是用于说明利用线性插值法来以加权平均方式对参照坐标(x₀，y₀)的像素值进行插值的方法的图。

图6是示出输入图像中的关注像素与图像中心之间的关系的图。

图7是概略地示出参数运算处理部的处理顺序的流程图。

图8是概略地示出实施方式1的噪声抑制处理部的基本结构的功能框图。

图9的(A)和图9的(B)是例示了基准参照范围SA的图。

图10是示出实施方式1的基底噪声限幅处理部的输入/输出特性的一例的图。

图11是示出实施方式1的高限幅处理部的输入/输出特性的一例的图。

图12是概略地示出实施方式1的噪声抑制处理部的一例的功能框图。

图13的(A)～(E)是示出应该应用于低通滤波器的3×3像素的候选参照范围的图。

图14的(A)～(C)是示出应该应用于候选参照范围的加权系数(滤波器系数)的例子的图。

图15的(A)～(I)是示出应该应用于低通滤波器的候选参照范围的图。

图16的(A)～(I)是示出应该应用于低通滤波器的候选参照范围的图。

图17是示出用于选择应该应用于低通滤波器的参照范围的查询表的一例的图。

图18是示出用于选择应该应用于低通滤波器的参照范围的查询表的另一例的图。

图19是示出方向参数s、t与角度θ之间的关系的图。

图20是概略地示出本发明的实施方式2的基准参照范围的一例的图。

图21是概略地示出本发明的实施方式3的噪声抑制处理部的结构的图。

图22是示出实施方式3的查询表的图。

图23是示出本发明的实施方式4的摄像装置的概略结构的框图。

具体实施方式

以下，参照附图，对本发明的实施方式进行说明。

实施方式1.

图2是概略地示出本发明的实施方式1的图像处理装置21的结构的功能框图。如图2所示，图像处理装置21具有参数运算处理部22、噪声抑制处理部23和失真校正处理部24。

噪声抑制处理部23具有如下功能：使用从参数运算处理部22提供的噪声抑制参数R、s、t，通过对输入图像Is执行空间滤波、限幅处理和噪声抑制强度调节处理，来降低输入图像Is中的噪声成分。参数运算处理部22根据构成输入图像Is的像素的坐标位置信息，计算噪声抑制参数R、s、t。

失真校正处理部24从噪声抑制处理部23接收噪声降低图像NRs。失真校正处理部24具有如下功能：以与该噪声降低图像NRs的局部的畸变失真量α对应的倍率R，使噪声降低图像NRs局部地变形(放大或缩小)，由此对噪声降低图像NRs的畸变失真进行校正。倍率R是噪声抑制参数之一。如后所述，s、t表示矢量(s，t)的值(方向参数)，其中，所述矢量(s，t)示出了倍率R的适用方向。

在本实施方式中，输入图像Is是通过使固体摄像元件对由摄像装置的摄像光学系统成像的光学图像进行光电转换而得到的数字图像。畸变失真量α是由于摄像光学系统的畸变像差而产生的，且是根据距摄像光学系统的视角中心的像高和摄影条件而预先测定出的。畸变失真量α的数据保存在失真校正处理部24的内部或者外部的非易失性存储器(未图示)中，失真校正处理部24能够参照该非易失性存储器，取得与关注像素的坐标位置对应的畸变失真量α。

如图3所示，失真校正处理部24首先将作为校正了畸变失真后的理想图像的输出图像DR_s的各像素分别设为关注像素，计算该关注像素与和视角中心对应的图像中心之间的距离L。距离L是与距摄像光学系统的视角中心的理想像高(没有畸变像差的情况下的像高)对应的量。在图3中，输出图像DR_s中的任意像素的坐标是由相对于原点坐标(0，0)的水平方向的X坐标和垂直方向的Y坐标的组合给出的。在设该关注像素的坐标为(x，y)、图像中心的坐标为(X_C，Y_C)时，根据下式(1)计算出距离L。

[数式1]

$L=\sqrt{{(x-X_C)}^2+{(y-Y_C)}^2}...\left(1\right)$

接下来，失真校正处理部24取得与计算出的距离L对应的畸变失真量α作为该关注像素的畸变失真量。图4的(A)是示出畸变失真量α与距图像中心的距离L之间的关系的一例的曲线图。图4的(A)示出了越远离视角中心则畸变失真量α越小的例子。如图4的(A)所示，作为畸变失真量α，给出了与单位距离为n的离散的点(坐标)的距离L₀(＝0)、L₁、L₂、L₃、…分别对应的离散值α₀、α₁、α₂、α₃、…。与离散的点和点之间的任意的点对应的畸变失真量α能够通过插值来计算。例如在使用线性插值法的情况下，与距离为L_k、L_k+1的点之间的内分点的距离L对应的畸变失真量α＝α(k，k+1，Δ)由下式(2)给出。

[数式2]

$\mathrm{\α}(k,k+1,\mathrm{\Δ})=\frac{{\mathrm{\α}}_k\·(n-\mathrm{\Δ})+{\mathrm{\α}}_{k+1}\·\mathrm{\Δ}}{n}...\left(2\right)$

在上式(2)中，Δ是距离为L的点与距离为L_k的点之间的距离，n-Δ是距离为L的点与距离为L_k+1的点之间的距离(图4的(B))。此外，也可以代替上述方法，而使用N次插值多项式(N为2以上的整数)来计算与任意的点对应的畸变失真量α。

接下来，失真校正处理部24为了计算该关注像素的像素值，计算噪声降低图像NRs内的应该参照的像素的参照坐标(x₀，y₀)。在校正了畸变失真后的输出图像DR_s的坐标(x，y)与实际拍摄到的噪声降低图像NRs的参照坐标(x₀，y₀)之间，产生由畸变像差引起的偏差。在本实施方式中，假定畸变像差仅取决于与摄像光学系统的视角中心的距离(像高)。使用与该坐标(x，y)对应的畸变失真量α，通过下式(3)计算出参照坐标(x₀，y₀)。

[数式3]

$\left\{\begin{array}{c}{x}_0=\mathrm{\α}\·(x-X_C)+X_C\\ y_0=\mathrm{\α}\·(y-Y_C)+Y_C\end{array}\right....\left(3\right)$

参照坐标的值x₀、y₀不一定与噪声降低图像NRs内实际存在的像素的坐标值一致。换言之，参照坐标的值x₀、y₀并非必须为整数值。因此，失真校正处理部24对应该参照的像素或其周边像素的像素值进行采样，执行使用了采样得到的像素值的插值处理，由此，能够计算出输出图像DRs的关注像素的像素值G(x，y)。图5是用于说明利用线性插值法来以加权平均方式对参照坐标(x₀，y₀)的像素值进行插值的方法的图。如图5所示，可以使用与参照坐标(x₀，y₀)对应的周边像素的坐标(i，j)、(i+1，j)、(i，j+1)、(i+1，j+1)的像素值，对参照坐标(x₀，y₀)的像素值即关注像素的像素值进行插值。参照坐标(x₀，y₀)设为在水平方向上与左上的坐标(i，j)离开δx，在垂直方向上与坐标(i，j)离开δy。在将噪声降低图像NRs中的任意坐标(p，q)的像素值表示为g(p，q)、将输出图像DRs中的关注像素的像素值表示为G(x，y)时，关注像素的像素值G(x，y)可使用下式(4)计算出。

[数式4]

G(x，y)＝g(x₀，y₀)＝g(i，j)·(1-δx)·(1-δy)+g(i+1，j)·δx·(1-δy)

+g(i，j+1)·(1-δx)·δy+g(i+1，j+1)·δx·δy…(4)

如上所述，失真校正处理部24通过以与畸变失真量α对应的倍率使噪声降低图像NRs局部地变形(放大或缩小)，能够对噪声降低图像NRs的畸变失真进行校正。此处，如果将噪声降低图像NRs中的与关注像素的图像中心的距离表示为H，则该距离H是与实像高对应的量，且可由与理想像高对应的距离L和与其对应的畸变失真量α之积给出(即，H＝α×L)。如上所述，在本实施方式中，假定畸变像差仅取决于与摄像光学系统的视角中心的距离(像高)，因此，距离H可以表现为以距离L为独立变量的函数H＝f(L)。因此，当用R表示用于对畸变失真进行校正的局部变形(放大或缩小)倍率时，倍率R可以表现为与L相关的H的1次微分的倒数。此时，倍率R由下式(5)给出。

[数式5]

$R={\left(\frac{\mathrm{dH}}{\mathrm{dL}}\right)}^{-1}={\left(\frac{d(\mathrm{\α}\·L)}{\mathrm{dL}}\right)}^{-1}...\left(5\right)$

此处，R＝1的情况表示等倍、即既不进行放大也不进行缩小的情况。R的值大于1的情况表示以关注像素中心的局部的像素区域因失真校正处理而被放大，R的值小于1的情况表示以关注像素为中心的局部的像素区域因失真校正处理而被缩小。

接下来，对参数运算处理部22的动作进行说明。

首先，如图6所示，参数运算处理部22计算输入图像Is中的关注像素与图像中心之间的距离Li。在设关注像素的坐标为(xi，yi)、图像中心的坐标为(X_C，Y_C)时，能够根据下式(6)计算出距离Li。

[数式6]

$\mathrm{Li}=\sqrt{{(\mathrm{xi}-X_C)}^2+{(\mathrm{yi}-Y_C)}^2}...\left(6\right)$

接下来，参数运算处理部22根据计算出的距离Li，计算倍率R，并计算出表示倍率R的适用方向(产生放大或缩小的方向)的矢量(s，t)的矢量值s、t。

另外，倍率R可以表现为与上式(5)相同的下式(7)。

[数式7]

$R={\left(\frac{\mathrm{dLi}}{\mathrm{dL}}\right)}^{-1}={\left(\frac{d(\mathrm{\α}\·L)}{\mathrm{dL}}\right)}^{-1}...\left(7\right)$

因此，如果以距离L为独立变量的多项式函数等函数Li＝f(L)给出距离Li，则可以使用其一次微分函数来计算倍率R。或者，可以使用上式(7)的近似式来计算倍率R。如图4所例示的那样，在作为畸变失真量α而给出了离散的值α₀、α₁、α₂、…的情况下，由于单位距离n很小，因此，在L＝L_k(＝n×k)时，能够根据上式(7)导出以下的近似式。

[数式8]

$R={\left(\frac{f(L+\mathrm{dL})-f\left(L\right)}{\mathrm{dL}}\right)}^{-1}\≅{\left(\frac{f\left(L_{k+1}\right)-f\left(L_k\right)}{n}\right)}^{-1}={\left(\frac{{\mathrm{\α}}_{k+1}\·(k+1)n-{\mathrm{\α}}_k\·\mathrm{kn}}{n}\right)}^{-1}$

由此，能够导出以下的近似式(7a)。

[数式9]

$R\≅\frac{1}{{\mathrm{\α}}_{k+1}\·(k+1)-{\mathrm{\α}}_k\·k}...\left(7a\right)$

图7是示出使用近似式(7a)来计算倍率R的顺序的流程图。如图7所示，参数运算处理部22首先将变量k设定为“1”(步骤S11)，判定距离Li是否小于与距离L_k对应的失真校正前的距离α_k·L_k(步骤S12)。在距离Li不小于距离α_k·L_k的情况下(步骤S12：否)，参数运算处理部22使变量k加1(步骤S13)，然后，返回到步骤S12的处理。在距离Li小于距离α_k·L_k的情况下(步骤S12：是)，检测出最先满足式子Li＜α_k·L_k的距离L_k。此时，根据上式(7a)，计算出倍率R(步骤S14)。

另一方面，参数运算处理部22能够根据下式(8)，计算出表示倍率R的适用方向(放大或缩小产生的方向)的矢量(s，t)的矢量值s、t。

[数式10]

$\left\{\begin{array}{c}s=(\mathrm{xi}-X_C)/\mathrm{Li}\\ t=(\mathrm{yi}-Y_C)/\mathrm{Li}\end{array}\right....\left(8\right)$

此外，计算倍率R与矢量值s、t的顺序也可以相反。参数运算处理部22将计算出的倍率R和矢量(s，t)提供给噪声抑制处理部23。

接下来，对噪声抑制处理部23的动作进行说明。图8是概略地示出噪声抑制处理部23的基本结构的功能框图。如图8所示，噪声抑制处理部23具有滤波控制部29和噪声抑制部30。

噪声抑制部30包含由低通滤波器31₁～31_Q(Q为3以上的整数)构成的空间滤波部31、差分器32₁～32_Q、基底噪声限幅电路33₁～33_Q、高限幅处理部34₁～34_Q和噪声抑制强度调节部35₁～35_Q+1。

低通滤波器31₁～31_Q分别对包含输入图像Is中的关注像素在内的参照范围(采样范围)内的多个像素执行空间滤波。在本实施方式中，执行平滑化(低通滤波)作为空间滤波。低通滤波器31₁～31_Q具有彼此不同大小的基准设定范围，滤波控制部29能够以该基准设定范围为基准，可变地设定参照范围。

图9的(A)、图9的(B)是示出基准参照范围SA的图。如图9的(A)和图9的(B)所示，基准参照范围SA由以坐标为(x，y)的关注像素Pc(x，y)为中心的(2M+1)×(2N+1)个像素的矩阵状排列构成。此处，N、M是1以上的整数。低通滤波器31₁～31_Q具有彼此不同大小的基准参照范围，因此针对每个低通滤波器，N、M的值不同。低通滤波器31₁～31_Q分别对基准参照范围SA内的像素值g(x-i，y-j)乘以加权系数(滤波器系数)K(i，j)，并针对基准参照范围SA内的全部像素，对其乘法运算结果g(x-i，y-j)×K(i，j)进行相加，由此，计算出滤波图像的像素值D(x，y)。具体而言，根据下式(9)，能够计算出与关注像素Pc(x，y)对应的滤波图像的像素值D(x，y)。

[数式11]

$D(x,y)=\underset{i=-M}{\overset{+M}{\mathrm{\Σ}}}\underset{j=-N}{\overset{+N}{\mathrm{\Σ}}}g(x-i,y-j)\·K(i,j)...\left(9\right)$

其中，加权系数K(i，j)的值均为正值，加权系数K(i，j)的总和为1。此外，应该与关注像素Pc(x，y)的像素值g(x，y)相乘的加权系数K(0，0)被设定为具有大于其它加权系数的值。

滤波控制部29能够通过改变加权系数K(i，j)的设定值，来变更低通滤波器31₁～31_Q的参照范围。例如，在加权系数K(i，j)的全部的值均为非零时，使参照范围与基准参照范围SA一致，参照范围的大小为最大。通过将加权系数K(i，j)中的几个值设为零，能够使参照范围的大小小于基准参照范围SA。低通滤波器31₁～31_Q的参照范围的大小彼此不同。在本实施方式中，低通滤波器31q的滤波器编号q越大，则低通滤波器31₁～31_Q的参照范围被设定为越大。换言之，对于任意两个低通滤波器31_r、31_s(r＜s)，滤波器编号大的低通滤波器31_s的参照范围大于滤波器编号小的低通滤波器31_r的参照范围。因此，低通滤波器31₁～31_Q的输出(滤波图像)的空间频率成分不相同。

差分器32₁从输入图像Is中去除由低通滤波器31₁输出的滤波图像的空间频率成分，生成差分图像D₁，并将该差分图像D₁提供给基底噪声限幅处理部33₁。其它差分器32₂～32_Q分别从由低通滤波器31₁～31_Q-1输出的滤波图像中，去除由低通滤波器31₂～31_Q输出的滤波图像的空间频率成分，生成差分图像D₂～D_Q。这些差分图像D₂～D_Q分别被提供给基底噪声限幅处理部33₂～33_Q。即，第m差分器32_m(m为2以上且Q以下的正整数)从由第m-1低通滤波器31_m-1输出的滤波图像中，去除由第m低通滤波器31_m输出的滤波图像的空间频率成分，生成差分图像D_m，并将该差分图像D_m提供给第m基底噪声限幅处理部33_m。

基底噪声限幅处理部33₁～33_Q分别具有将正阈值THb以下的振幅范围内的输入信号电平转换为低于该阈值THb的振幅的输出信号电平的限幅处理功能。由此，能够从由低通滤波器31₁～31_Q和差分器32₁～32_Q按频带分离出的信号中，去除振幅较小的信号成分，进行噪声成分的抑制。图10是示出基底噪声限幅处理部33₁～33_Q的输入/输出特性的一例的图。如图10所示，通过将输入信号振幅为阈值THb以下的低振幅范围内的输入信号电平(-THb～+THb的信号电平范围内的输入信号电平)转换为零，能够进行噪声成分的抑制。此外，能够分别对基底噪声限幅处理部33₁～33_Q单独地设定阈值THb。

高限幅处理部34₁～34_Q具有如下的限幅处理功能：将基底噪声限幅处理部33₁～33_Q的输出分别作为输入，将大于阈值THb的阈值THh以上的振幅范围内的输入信号电平转换为固定振幅的输出信号电平。这样，通过对固定的振幅以上的信号进行限幅，能够在特定的频带中进行强度较强的噪声抑制。图11是示出高限幅处理部34₁～34_Q的输入/输出特性的一例的图。如图11所示，将输入信号振幅为阈值THh以上的高振幅范围内的输入信号电平分别转换为固定的输出信号电平。即，+THh以上的信号电平范围内的输入信号电平被转换为固定的输出信号电平(＝+Ms)，-THh以下的信号电平范围内的输入信号电平被转换为固定的输出信号电平(＝-Ms)。此外，能够分别对高限幅处理部34₁～34_Q单独地设定阈值THh。

噪声抑制强度调节部35₁～35_Q具有将高限幅处理部33₁～33_Q的输出分别作为输入、并对高限幅处理部33₁～33_Q的输出分别乘以校正系数的功能。另一方面，噪声抑制强度调节部35_Q+1具有对低通滤波器31_Q的输出乘以校正系数的功能。这样，针对由低通滤波器31₁～31_Q和差分器32₁～32_Q按频带分离出的信号，分别应用校正系数，由此，能够在特定的频带进行强度较强的噪声抑制。并且，加法运算器36对噪声抑制强度调节部35₁～35_Q+1的Q+1个输出进行相加，由此生成噪声降低图像NRs。

滤波控制部29具有如下功能：上述倍率R越大，则单独地使低通滤波器31₁～31_Q的参照范围(采样范围)越小，且使该参照范围在与倍率R的适用方向(s，t)平行的方向上越小。图2的失真校正处理部24通过对噪声降低图像NRs中的与该参照范围相当的像素范围进行变形(放大或缩小)，能够对该像素范围的畸变失真进行校正。滤波控制部29针对各个低通滤波器31₁～31_Q，与关注像素的位置无关地，以使变形后的该像素范围的大小与基准参照范围的大小大致相等的方式，设定该参照范围。这是为了使失真校正处理后的噪声特性均匀化。

此外，滤波控制部29具有表示噪声抑制参数R、s、t的值的组合与低通滤波器31₁～31_Q的候选参照范围之间的对应关系的查询表，参照这些查询表，能够从多个候选参照范围的中动态选择出与噪声抑制参数R、s、t的当前值对应的参照范围。

以下，对低通滤波器31₁～31_Q的个数为3个的情况下的噪声抑制处理部23的结构进行说明。图12是概略地示出具有由3个低通滤波器31₁～31₃构成的空间滤波部31的噪声抑制处理部23的结构的图。

图13的(A)～(E)是示出应该应用于图12的低通滤波器31₁的3×3像素的候选参照范围SA11、SA12、SA13、SA14、SA15的图。图13的(A)的候选参照范围SA11是低通滤波器31₁的基准参照范围，是在畸变失真为零的情况下选择的参照范围。在图13的(A)～(E)中，相对于关注像素P(x，y)，由斜线绘成阴影的区域表示被从参照范围中去除的像素区域。图14的(A)～(C)是示出应该应用于候选参照范围SA11、SA12、SA13的加权系数(滤波器系数)的例子的图。接下来，图15的(A)～(I)，是示出应该适用于图12的低通滤波器31₂的候选参照范围SA21、SA22、SA23、SA24、SA25、SA26、SA27、SA28、SA29的图，图16的(A)～(I)是示出应该适用于图12的低通滤波器31₃的候选参照范围SA31、SA32、SA33、SA34、SA35、SA36、SA37、SA38、SA39的图。此处，候选参照范围SA21是低通滤波器31₂的基准参照范围，候选参照范围SA31是低通滤波器31₃的基准参照范围。在畸变失真为零的情况下，选择这些候选参照范围SA21、SA31。在图14的(A)～(I)和图15的(A)～(I)中，相对于关注像素P(x，y)，由斜线绘成阴影的区域表示被从参照范围中去除的像素区域。

图17是示出为了选择应该适用于图12的低通滤波器31₁的参照范围而预先准备的查询表的一例的图。此外，图18是示出为了选择应该适用于图12的低通滤波器31₂、31₃这双方的参照范围而预先准备的查询表的一例的图。此处，如图19所示，θ是在XY正交坐标系中描绘矢量值s、t时，以X轴正方向为0°、以逆时针旋转的角度为正、在-180°～180°的范围内表示坐标(s，t)相对于原点的角度的值。在图17和图18的查询表中，记载有图13的(A)～(E)、图15的(A)～(I)和图16的(A)～(I)中的候选参照范围的标号。

图12的滤波控制部29能够参照图17和图18的查询表，从多个候选参照范围中动态选择与噪声抑制参数R、s、t的当前值的组合对应的参照范围。此外，如图17和图18的查询表所示，倍率R越大，则低通滤波器31₁～31₃的参照范围(采样范围)分别阶段性地变小。例如，如图17所示，在-180°＜θ＜-157.5°的范围内，关于低通滤波器31₁的适用范围，在R≤2.0时选择适用范围SA11，在R＞2.0时选择小于适用范围SA11的适用范围SA12。此外，已知，在倍率R增大时，低通滤波器31₁～31₃的参照范围主要在与倍率R的适用方向(s，t)平行的方向上阶段性地变小。例如，如图18所示，在以θ＝0°为中心的-22.5°＜θ＜+22.5°的范围内，倍率R越大，则低通滤波器31₂的参照范围从基准参照范围SA21切换到候选参照范围SA22或者从候选参照范围SA22切换到候选参照范围SA23，θ＝0°的角度方向(±X轴方向)阶段性地变小。

接下来，对实施方式1的效果进行说明。

如上所述，在本实施方式的图像处理装置21中，滤波控制部29根据倍率R动态地变更空间滤波部31的参照范围(采样范围)的大小，倍率R越大，参照范围越小。由此，能够针对图像噪声容易在视觉上变得醒目的倍率R较大的部分，局部地提高噪声抑制处理的强度。因此，在通过图2的失真校正处理部24进行失真校正处理的情况下，也能够有效地抑制因失真校正处理使叠加在具有畸变失真的输入图像Is中的噪声发生扩展而引起的图像质量劣化。而且，滤波控制部29主要在与倍率R的适用方向(矢量(s，t)的方向)平行的方向上使参照范围变小，因此，能够防止噪声成分在特定方向上扩展而具有在视觉上变得不自然的特性。

图2的失真校正处理部24通过对噪声降低图像NRs中的与该参照范围相当的像素范围进行变形(放大或缩小)，来对该像素范围的畸变失真进行校正，滤波控制部29能够分别针对各个低通滤波器31₁～31_Q，与关注像素的位置无关地，以使得变形后的该像素范围的大小与基准参照范围的大小大致相等的方式设定该参照范围。尤其是，滤波控制部29使参照范围的大小变小，使得在与失真校正处理部24的变形方向平行的方向上，成为倍率R的倒数的倍率。由此，能够有效地抑制由于失真校正处理而使各像素在以倍率R变形的方向上变得不同而引起的不自然的噪声的产生。因此，能够使失真校正处理后的噪声特性均匀化。

实施方式2.

接下来，对本发明的实施方式2进行说明。本实施方式的图像处理装置的结构除了图8的滤波控制部29的一部分动作以外，与实施方式1的图像处理装置21的结构相同。因此，参照图2和图8，对实施方式2进行说明。在上述实施方式1中，滤波控制部29参照查询表，动态地决定低通滤波器31₁～31_Q的参照范围，但是，本实施方式的滤波控制部29将倍率R和方向参数s、t作为输入，通过运算处理计算出决定低通滤波器31₁～31_Q的参照范围的像素位置。

图20是概略地示出本实施方式的基准参照范围SA的一例的图。该基准参照范围SA由以关注像素Pc为中心的(2M+1)×(2N+1)个像素的矩阵状排列构成。此处，M、N是1以上的整数。与实施方式1的情况同样，低通滤波器31₁～31_Q彼此具有不同的基准参照范围，因此，对于各低通滤波器，N、M的值不同。此外，图20对各像素示出了局部的坐标。关注像素Pc的坐标为(0，0)。

滤波控制部29针对各个低通滤波器31₁～31_Q，根据下面的转换式(10)，将基准参照范围SA内的全部像素的坐标(a，b)(a是-M～+M的范围内的整数，b是-N～+N的范围内的整数)转换为坐标(p，q)。

[数式12]

$\begin{array}{c}\left(\begin{array}{c}p\\ q\end{array}\right)=R(-\mathrm{\θ})\·S(1/R)\·R\left(\mathrm{\θ}\right)\·\left(\begin{array}{c}a\\ b\end{array}\right)\\ =\left(\begin{array}{cc}s,& -t\\ t,& s\end{array}\right)\left(\begin{array}{cc}1/R,& 0\\ 0,& 1\end{array}\right)\left(\begin{array}{cc}s,& t\\ -t,& s\end{array}\right)\left(\begin{array}{c}a\\ b\end{array}\right)\end{array}...\left(10\right)$

在式(10)中，R(θ)是以放大缩小的方向与X轴一致的方式进行坐标旋转的旋转矩阵，S(1/R)是在X轴方向上以倍率R的逆倍率1/R改变坐标位置的矩阵，R(-θ)是R(θ)的逆矩阵。

整理上式(10)后，得到下式(10a)。

[数式13]

$\left(\begin{array}{c}p\\ q\end{array}\right)=\left(\begin{array}{c}\frac{s^2\·a+s\·t\·b}{R}+(t^2\·a-s\·t\·b)\\ \frac{s\·t\·a+t^2\·b}{R}+(-s\·t\·a+s^2\·b)\end{array}\right)...\left(10a\right)$

滤波控制部29使用上式(10a)，将由计算出的坐标的集合{(p，q)}确定的范围指定为参照范围。由此，滤波控制部29能够根据倍率R和方向参数s、t，动态地变更空间滤波部31的参照范围(采样范围)的宽度，倍率R越大，则使参照范围越小。

此外，滤波控制部29能够在与失真校正处理部24的变形方向垂直的方向上对参照范围不进行变形，而在与倍率R的适用方向(矢量(s，t)的方向)平行的方向上使参照范围变小。并且，图2的失真校正处理部24在通过对噪声降低图像NRs中的与该参照范围相当的像素范围进行变形(放大或缩小)来对该像素范围的畸变失真进行校正时，滤波控制部29能够针对各个低通滤波器31₁～31_Q，与关注像素的位置无关地，以使变形后的该像素范围的大小与基准参照范围的大小大致相等的方式设定其参照范围。

因此，在实施方式2中，能够与实施方式1的情况同样地，抑制因失真校正处理使叠加于具有畸变失真的图像的噪声发生扩展而引起的图像质量劣化。

此外，由于使用转换式(10a)动态地决定参照范围，因此具有如下优点：不需要像实施方式1的情况那样，预先准备并保存查询表的数据。

实施方式3.

接下来，对本发明的实施方式3进行说明。图21是概略地示出实施方式3的噪声抑制处理部23B的结构的图。本实施方式的图像处理装置的结构除了噪声抑制处理部23B的结构以外，与上述实施方式1的图像处理装置21的结构相同。

如图21所示，噪声抑制处理部23B与上述实施方式1的噪声抑制处理部23同样，具有滤波控制部29和噪声抑制部30。噪声抑制处理部23B还具有噪声抑制控制部37。该噪声抑制控制部37具有如下功能：根据倍率R，动态地变更基底噪声限幅处理部33₁～33_Q和高限幅处理部34₁～34_Q中的阈值THb、THh，并动态地变更噪声抑制强度调节部35₁～35_Q+1中的校正系数。

图22是示出查询表的图，该查询表示出了在Q＝3的情况下的、倍率R与基底噪声限幅阈值THb、高限幅阈值THh和校正系数的组合之间的对应关系。在图22中，示出了基底噪声限幅电路33₁～33₃、高限幅处理部34₁～34₃和噪声抑制强度调节部35₁～35₄的标号。噪声抑制控制部37能够参照图22的查询表，得到与倍率R的当前值对应的基底噪声限幅阈值THb、高限幅阈值THh和校正系数。根据图22，与基底噪声限幅处理部33₁、33₂、33₃对应的基底限幅阈值THb随着倍率R增大而阶段性地提高。此外，与高限幅处理部34₁、34₂、34₃对应的高限幅阈值THh随着倍率R增大而阶段性地降低。与噪声抑制强度调节部35₁、35₂、35₃对应的校正系数随着倍率R增大而阶段性地减小，与噪声抑制强度调节部35₄对应的校正系数为固定值(＝1.0)，与倍率R的值无关。

如上所述，在实施方式3中，根据倍率R的当前值改变噪声抑制处理的参数，由此，针对图像噪声容易在视觉上变得醒目的倍率R较大的部分，能够局部地增大噪声抑制处理的强度，提高失真校正处理后的输出图像DRs的图像质量。

实施方式4.

接下来，对本发明的实施方式4进行说明。图23是示出实施方式4的摄像装置1的概略结构的框图。如图23所示，摄像装置1具有摄像光学系统(镜头机构)11、CCD图像传感器12、前端部13、A/D转换器(ADC)14和控制电路2。控制电路2具有信号处理部20、图像处理部21B、控制部40、存储器41和外部接口部(外部I/F部)42。这些处理模块20、21B、40、41、42，经由总线43相互连接。控制部40是对控制电路2的整体动作进行控制的MPU(Micro Processing Unit：微处理单元)。图像处理部21B具有与上述实施方式1～3的图像处理装置中的任意一个相同的结构。

摄像光学系统(镜头机构)11具有前侧镜头110、孔径光阑111和后侧镜头112。CCD图像传感器12是单板式的固体摄像元件，具有单一的滤色片阵列121和单一的CCD元件122。滤色片阵列121可以是使彼此不同的N个波长范围的颜色的光分别透过的N种滤色片(N为2以上的正整数)周期性且呈面状排列而成的滤色片阵列。在本实施方式中，可以使用原色系的拜耳排列作为滤色片阵列121的滤色片排列，但是并非限定于此，也可以使用补色系的拜耳排列。此外，可以使用CMOS图像传感器等其它固体摄像元件来替代CCD图像传感器。

定时发生器16产生驱动定时信号并提供给驱动电路15。驱动电路15根据从定时发生器16输出的驱动定时信号，生成用于驱动CCD图像传感器12的驱动信号。CCD图像传感器12根据该驱动信号，进行光电转换和电荷传输。

摄像光学系统11使被摄体的光学像在CCD图像传感器12的摄像面上对焦。由CCD图像传感器12进行光电转换而得到的摄像信号被传输到前端部13。前端部13对摄像信号执行相关双采样(CDS：Correllated Double Sampling)处理和可编程增益放大(PGA：Programmable Gain Amplification)，并将其最终得到的模拟信号输出到ADC14。此处，CDS处理是从CCD图像传感器12输出的摄像信号中去除噪声等不需要的成分的处理。ADC14将前端部13的输出信号转换为数字信号，并将该数字信号提供给控制电路2的信号处理部20。

信号处理部20将对ADC14的输出信号实施色同步处理、灰度校正处理、降噪处理、轮廓校正处理、白平衡调节处理、信号振幅调节处理和颜色校正处理等而得到的影像信号输出到总线43。总线43受控制部40的控制，能够将该影像信号传输到存储器41的RAM(Random Access Memory：随机存取存储器)41B。图像处理部21B能够从RAM41B中读出影像信号，执行上述空间滤波、限幅处理和噪声抑制强度调节处理。

此外，上述图像处理部21B的全部或者一部分功能可以由硬件结构来实现，或者，也可以由微处理器执行的计算机程序来实现。例如，具有微处理器的MPU40能够通过从作为非易失性存储器的ROM(Read Only Memory：只读存储器)41A中加载计算机程序并执行，来实现图像处理部21B的功能。

实施方式1～4的变形例.

以上，参照附图，对本发明的各种实施方式进行了叙述，但是这些只是本发明的示例，也可以采用上述以外的各种方式。例如，可以使用查询表电路来替代基底噪声限幅处理部33₁～33_Q和高限幅处理部34₁～34_Q。

此外，在上述实施方式1～3中，畸变失真量α是如图4所例示那样作为与距离L对应的值而给出的，但是也可以代之以作为与X坐标值和Y坐标值的组对应的值而给出。

标号说明

1摄像装置；2控制电路；11摄像光学系统；12CCD图像传感器；13前端部(模拟信号处理部)；14A/D转换器(ADC)；15驱动电路；16定时发生器；20信号处理部；21、21B图像处理装置；22参数运算处理部；23噪声抑制处理部；24失真校正处理部；29滤波控制部；30噪声抑制部；31空间滤波部；31₁～31_Q低通滤波器；32₁～32_Q差分器；33₁～33_Q基底噪声限幅处理部；34₁～34_Q高限幅处理部；35₁～35_Q+1噪声抑制强度调节部；36加法器；37噪声抑制控制部。

Claims (17)

1.一种图像处理装置，其特征在于，该图像处理装置具有：

噪声抑制部，其对输入图像中的包含关注像素在内的参照范围内的多个像素执行空间滤波，生成噪声降低图像；

失真校正处理部，其以与所述噪声降低图像的局部的畸变失真量对应的倍率使所述噪声降低图像局部地变形，由此对所述噪声降低图像的畸变失真进行校正；以及

滤波控制部，其根据所述倍率，动态地变更所述参照范围的大小，

所述倍率越大，则所述滤波控制部使所述参照范围在所述倍率的适用方向、即从所述输入图像的图像中心延伸的径向上越小。

2.根据权利要求1所述的图像处理装置，其特征在于，

在所述畸变失真量为零时所述参照范围被设定为规定的基准参照范围，

所述失真校正处理部通过对所述噪声降低图像中的与所述参照范围对应的像素范围进行变形，来对所述像素范围的畸变失真进行校正，

所述滤波控制部以使得该变形后的像素范围的大小与所述基准参照范围的大小相等的方式来决定所述参照范围。

3.根据权利要求1或2所述的图像处理装置，其特征在于，

所述图像处理装置还具有查询表，该查询表示出了所述倍率的多个值与多个候选参照范围之间的对应关系，

所述滤波控制部参照所述查询表，从所述多个候选参照范围中，选择与所述倍率的当前值对应的候选参照范围作为所述参照范围。

4.根据权利要求1或2所述的图像处理装置，其特征在于，

所述滤波控制部根据所述倍率的当前值，通过运算处理来计算决定所述参照范围的像素位置。

5.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置还具有查询表，该查询表示出了多个组与多个候选参照范围之间的对应关系，该多个组是所述倍率的值和表示所述适用方向的方向参数的值的组，

所述滤波控制部参照所述查询表，从所述多个候选参照范围中，选择与所述倍率的当前值和该当前值的适用方向的组对应的候选参照范围作为所述参照范围。

6.根据权利要求1所述的图像处理装置，其特征在于，

所述滤波控制部根据所述倍率的当前值和该当前值的适用方向，通过运算处理来计算决定所述参照范围的像素位置。

7.根据权利要求1所述的图像处理装置，其特征在于，

所述参照范围是由大小彼此不同的第1参照范围～第Q参照范围构成的，其中，Q为3以上的正整数，

所述噪声抑制部具有：

第1空间滤波器～第Q空间滤波器，它们针对所述第1参照范围～所述第Q参照范围，分别执行所述空间滤波，从而分别生成第1滤波图像～第Q滤波图像；

第1差分器，其从所述输入图像中去除所述第1滤波图像的空间频率成分，生成第1差分图像；

第2差分器～第Q差分器，它们从所述第1滤波图像～第Q-1滤波图像中分别去除所述第2滤波图像～所述第Q滤波图像的空间频率成分，分别生成第2差分图像～第Q差分图像；

第1限幅处理部～第Q限幅处理部，它们执行限幅处理，分别生成第1限幅图像～第Q限幅图像，在该限幅处理中，将所述第1差分图像～所述第Q差分图像中指定的振幅范围内的输入信号电平分别转换为固定振幅的输出信号电平；以及

加法器，其对所述第1限幅图像～所述第Q限幅图像与所述第Q滤波图像进行相加，生成所述噪声降低图像。

8.根据权利要求7所述的图像处理装置，其特征在于，

所述第1参照范围～所述第Q参照范围的大小被设定为按该从1到Q的顺序依次增大。

9.根据权利要求7或8所述的图像处理装置，其特征在于，

所述第1限幅处理部～所述第Q限幅处理部分别包含基底限幅处理部，该基底限幅处理部将所述振幅范围中的第1阈值以下的低振幅范围内的输入信号电平转换为振幅低于所述第1阈值的第1输出信号电平。

10.根据权利要求9所述的图像处理装置，其特征在于，

所述第1限幅处理部～所述第Q限幅处理部还分别包含高限幅处理部，该高限幅处理部将所述振幅范围中的第2阈值以上的高振幅范围内的输入信号电平转换为固定振幅的第2输出信号电平，其中，所述第2阈值大于所述第1阈值。

11.根据权利要求7或8所述的图像处理装置，其特征在于，

所述图像处理装置还具有噪声抑制控制部，该噪声抑制控制部根据所述倍率，动态地变更所述限幅处理部中的所述振幅范围。

12.根据权利要求11所述的图像处理装置，其特征在于，

所述图像处理装置还具有噪声抑制强度调节部，该噪声抑制强度调节部分别对所述第1限幅图像～所述第Q限幅图像的信号和所述第Q滤波图像的信号乘以校正系数，

所述噪声抑制控制部根据所述倍率，动态地变更所述校正系数。

13.根据权利要求1所述的图像处理装置，其特征在于，

所述空间滤波是低通滤波。

14.根据权利要求1所述的图像处理装置，其特征在于，

所述输入图像是对通过摄像光学系统成像的光学像进行光电转换而得到的图像，

所述畸变失真量是由所述摄像光学系统的畸变像差引起的。

15.一种摄像装置，其特征在于，

所述摄像装置包含权利要求1所述的图像处理装置。

16.一种图像处理方法，其特征在于，所述图像处理方法包含如下步骤：

对输入图像中的包含关注像素在内的参照范围内的多个像素执行空间滤波，生成噪声降低图像；

以与所述噪声降低图像的局部的畸变失真量对应的倍率使所述噪声降低图像局部地变形，由此对所述噪声降低图像的畸变失真进行校正；以及

根据所述倍率，动态地变更所述参照范围的大小，

在该动态地变更所述参照范围的步骤中，所述倍率越大，则使所述参照范围在所述倍率的适用方向、即从所述输入图像的图像中心延伸的径向上越小，由此来动态地变更所述参照范围。

17.根据权利要求16所述的图像处理方法，其特征在于，所述图像处理方法包含如下步骤：

在所述畸变失真量为零时把所述参照范围设定为规定的基准参照范围，

在该校正所述畸变失真的步骤中，通过对所述噪声降低图像中的与所述参照范围对应的像素范围进行变形，来对所述像素范围的畸变失真进行校正，

在该动态地变更所述参照范围的步骤中，以使得该变形后的像素范围与所述基准参照范围相等的方式来确定所述参照范围。