CN106575434A - 图像处理装置、摄像装置、图像处理方法以及程序 - Google Patents

Abstract

图像处理装置具备对被输入的输入图像信息进行模糊处理的模糊处理部，所述图像处理装置的特征在于，具备：饱和度判定部，计算所述输入图像信息的饱和像素的饱和度；第一灰度变换部，基于由所述饱和度判定部计算出的饱和度来变换所述输入图像信息的灰度；所述模糊处理部，对由所述第一灰度变换部进行了灰度变换的图像信息进行模糊处理；和第二灰度变换部，将进行了模糊处理的图像信息的饱和区域的灰度作为饱和像素来变换灰度。

Description

图像处理装置、摄像装置、图像处理方法以及程序

技术领域

本发明涉及图像处理技术。

背景技术

现在，作为拍摄数字图像的装置，数字照相机正在普及。用户通过对希望拍摄的被摄体自动或者手动进行对焦并进行摄影操作，从而获取图像。被对焦了的被摄体被清楚地拍摄，未被对焦的被摄体被模糊拍摄。模糊的程度根据摄像装置而决定，用户能够通过改变光圈来进行调整。但是，在安装于智能手机等的照相机模块、紧凑式数字照相机等中，由于不能调整光圈或者景深较深，因此存在不能得到用户所希望的模糊量的情况。

因此，通过图像处理来使主要被摄体的背景模糊，从而得到模糊程度比摄影图像大的图像的技术正在被开发。例如，通过连续拍摄焦点位置不同的多个图像，判定各被摄体的聚焦程度来推断距离，使与聚焦的主要被摄体的距离分离的被摄体平均化，从而生成使背景模糊的图像。

然而，由于对拍摄的图像进行伽马校正处理，与亮度的关系为非线性，因此若直接使摄影图像平均化，则成为亮度与使实际的被摄体模糊而拍摄时不同的模糊图像。此外，在被摄体明亮的情况下，摄影图像的灰度值可能饱和，若直接使摄影图像平均化，则成为亮度与使实际的被摄体模糊而拍摄时不同的模糊图像。

因此，作为进行高画质的模糊处理的方法，提出了在变换摄影图像的灰度值之后进行平均化处理的技术，例如，存在专利文献1。在专利文献1中，在各像素中的背景图像数据的值较高的情况下，进行放大该像素中的背景图像数据的变换，在进行模糊处理之后进行上述变换的逆变换。由此，实现强调了高灰度部分的亮度的模糊处理。

在先技术文献

专利文献

专利文献1：日本特开2009-218704号公报

发明内容

-发明要解决的课题-

但是，上述方法具有以下的课题。

在专利文献1中公开的技术中，若进行模糊处理，则生成过度强调了高灰度的图像，根据场景，画质可能劣化。

例如，在专利文献1中，由于不仅放大饱和区域还放大高灰度区域，因此甚至不使被摄体饱和而能够拍摄的正常的区域会变亮，成为过于明亮的模糊图像。进一步地，由于成为仅取决于关注像素的灰度的变换，因此在灰度饱和的区域，不考虑实际的被摄体的亮度而成为一样的变换。换句话说，在最大灰度为255的图像，将使希望将灰度值设为511来进行拍摄的像素饱和到255的像素、和使希望将灰度值设为256来进行拍摄的像素饱和到255的像素变换为相同的灰度值，可能成为与被摄体不同的不自然的生成图像。

此外，在专利文献1中，也进行中灰度区域以及低灰度区域的灰度变换，因此使亮度与实际的被摄体不同的被摄体模糊来进行拍摄，因此可能生成不自然的图像。

进一步地，专利文献1的逆变换由于进行将灰度值扩展的变换的逆变换，因此不能生成进行了充分的亮度的模糊处理的图像。例如，在将8比特的数据变换为12比特的数据的情况下，饱和的像素即灰度值255的像素被变换为灰度值4095。然后，若进行模糊处理即平均化处理，则饱和的像素一定成为4095以下。若对该像素进行逆变换，则成为至少255以下的像素。换句话说，饱和的像素通过模糊处理变成不饱和区域，可能无法得到作为目的的高亮度的模糊图像。

本发明的目的在于，提供一种即使在进行模糊处理的区域存在饱和像素，也进行与被摄体的亮度对应的自然的模糊处理的图像。

-解决课题的手段-

根据本发明的一观点，提供一种图像处理装置，其具备对被输入的输入图像信息进行模糊处理的模糊处理部，所述图像处理装置的特征在于，所述图像处理装置具备：饱和度判定部，计算所述输入图像信息的饱和像素的饱和度；第一灰度变换部，基于由所述饱和度判定部计算出的饱和度来变换所述输入图像信息的灰度；所述模糊处理部针对由所述第一灰度变换部进行了灰度变换的图像信息进行模糊处理；和第二灰度变换部，将进行了模糊处理的图像信息的饱和区域的灰度作为饱和像素来变换灰度。

本说明书包含作为本申请的优先权的基础的日本专利申请号2014-209593号的公开内容。

-发明效果-

根据本发明的图像处理装置以及图像摄像装置，能够通过图像处理来合成使实际的被摄体模糊来进行拍摄那样的自然画质的模糊图像。

附图说明

图1是表示基于本发明的实施方式的图像处理装置的一构成例的功能框图。

图2是表示关注像素和周边像素的灰度值的例子的图。

图3是表示关注像素和周边像素的灰度值的例子的图。

图4是表示灰度变换特性的例子的图。

图5是表示灰度变换特性的例子的图。

图6是表示灰度变换特性的例子的图。

图7是表示像素位置与灰度的关系的图。

图8是表示像素位置与灰度的关系的图。

图9是表示像素位置与灰度的关系的图。

图10是表示像素位置与灰度的关系的图。

图11是表示图像信息的例子的图。

图12是表示与图像信息对应的距离信息的例子的图。

图13是表示灰度变换特性的例子的图。

图14是表示灰度变换特性的例子的图。

图15是表示像素位置与灰度的关系的图。

图16是表示像素位置与灰度的关系的图。

图17是表示灰度变换特性的例子的图。

图18是表示基于本实施方式的图像处理方法的流程图的一个例子的图。

图19是表示基于本发明的第2实施方式的图像处理方法的流程图的一个例子的图。

图20是表示基于本发明的第3实施方式的图像处理方法的流程图的一个例子的图。

图21是表示基于本发明的第4实施方式的图像处理方法的流程图的一个例子的图。

图22是表示基于本发明的第5实施方式的图像处理方法的流程图的一个例子的图。

图23是表示基于本发明的第7实施方式的图像摄像装置的一构成例的图。

具体实施方式

以下，使用附图来对本发明的实施方式详细进行说明。另外，各图中的表现存在为了容易理解而夸张记载、与实际的情况不同的情况。

(实施方式1)

图1是表示基于本实施方式的图像处理装置的一构成例的功能框图。图18是表示图像处理方法的处理的流程的流程图。本实施方式的图像处理装置100具备：饱和度判定部101、第一灰度变换部102、模糊处理部103和第二灰度变换部104。将输入图像信息输入到图像处理装置100，将进行了图像处理的结果作为输出图像信息而输出。饱和度判定部101对输入图像信息的饱和像素的饱和度进行判定。第一灰度变换部102基于由饱和度判定部101判定的结果，进行输入图像信息的灰度变换。模糊处理部103对由第一灰度变换部102进行了灰度变换的图像信息进行模糊处理。第二灰度变换部104进行由模糊处理部103进行了模糊处理的图像信息的灰度变换并作为输出图像信息而输出。

在步骤S1中，获取输入图像信息。在步骤S2中，饱和度判定部101计算针对饱和像素的饱和度。饱和度是对饱和像素的饱和程度进行判定的值，饱和度越大饱和程度越大。在步骤S3中，第一灰度变换部102使用计算出的饱和度来进行第一灰度变换。进行变换以使得饱和度越大则通过变换而输出的灰度值越大。在步骤S4中，模糊处理部103对进行了第一灰度变换的图像信息进行模糊处理。模糊处理通过在特定范围内使关注像素和周边像素平均化而实现。此外，通过使特定范围根据聚焦被摄体与模糊被摄体的距离而变化，能够进行与距离相应的自然的模糊处理。在步骤S5中，第二灰度变换部104对进行了模糊处理的图像信息进行灰度变换。进行灰度变换，以使得饱和区域的像素饱和到输出图像信息的最大灰度值。在步骤S6中，输出进行了图像处理的图像信息(图18)。

图像处理装置100的各部能够通过基于CPU(Central Processing Unit，中央处理单元)或GPU(Graphics Processing Unit，图形处理单元)的软件处理、基于ASIC(Application Specific Integrated Circuit，专用集成电路)或FPGA(FieldProgrammable Gate Array，现场可编程门阵列)的硬件处理来实现。

被输入的图像信息通过饱和度判定部101，对各像素的饱和像素的饱和程度进行判定。例如，若是作为8比特数据的0至255灰度的图像信息，则255灰度的像素为饱和像素。其中，在根据摄影条件、保存条件导致饱和的灰度值不同的情况下，也可以将能够视为饱和的灰度值的灰度值适当地设定为饱和灰度值。例如，在噪声较大等情况下，能够将254设为饱和灰度值，若是使用16至235的灰度值的图像信息，则能够将235设为饱和灰度值。

饱和度判定部101所判定的饱和程度是表示饱和像素的灰度值本来是什么程度的亮度的被摄体的亮度程度。也就是说，对于饱和灰度值255，判定是本来为256灰度的像素少量地饱和为255的像素，还是本来为511灰度的像素较大地饱和为255的像素。

优选不仅利用关注像素是否饱和，还利用周围的像素的亮度来判定关注像素的饱和程度。例如，将关注像素的周围的像素的饱和像素的数量、包含关注像素的特定区域的平均灰度值作为饱和度来进行计算，能够判定饱和程度。换句话说，将明亮的被摄体的面积较大的被摄体推断为更明亮的被摄体来判定饱和程度。

图2是表示关注像素和周边像素的灰度值的例子，在图2(a)中，被配置于中央的关注像素的灰度值以255饱和，被配置于关注像素的周边的周边像素的饱和像素是8个像素中的4个像素。另一方面，在图2(b)中，被配置于中央的关注像素的灰度值以255饱和，被配置于关注像素的周边的8个周边像素也是全部像素为饱和像素。

此时，图2(b)的图像的饱和度比图2(a)的图像的饱和度高，能够判定为实际的被摄体的亮度明亮。这是由于，因为明亮的被摄体的周边部分结合来自其他被摄体的光，亮度降低，因此能够推断为明亮的被摄体的中央部分比周边明亮。因此，由于图2(b)的周边像素比图2(a)的周边像素明亮且饱和，因此能够推断为图2(b)是比图2(a)明亮的被摄体。周边像素的亮度的计算能够通过计算周边像素的饱和像素的数量，或者计算周边像素的灰度值的和，或者计算周边像素的灰度值的平均值来进行计算。这里，各周边像素的亮度的计算中也可以包含关注像素的值。

此外，图3是表示关注像素与周边像素的灰度值的另一个例子，周边像素的范围与图2不同。图3(a)与图2(b)同样地，被配置于中央的关注像素的灰度值以255饱和，被配置于关注像素的周边的周边像素之中，被配置于附近的8个像素是饱和像素，其他16个像素之中，11个像素为饱和像素。另一方面，在图3(b)中，被配置于中央的关注像素的灰度值以255饱和，被配置于关注像素的周边的24个周边像素也是全部像素为饱和像素。

此时，图3(b)的饱和度比图3(a)高，能够判定为实际的被摄体的亮度明亮。这是由于，图3(b)比图3(a)更宽范围地配置饱和像素。因此，根据图2和图3的关系，通过改变周边像素的范围，也能够判定关注像素的饱和度。也就是说，能够判定为图3(b)的饱和度比图3(a)或者图2(b)的饱和度高，图3(a)或者图2(b)的饱和度比图2(a)的饱和度高。这样计算出的饱和度被传递至第一灰度变换部102。

在第一灰度变换部102中，考虑由饱和度判定部101判定出的饱和度来进行灰度变换。

灰度变换例如根据通过图4所示的特性来进行。这里，图4中的输入图像信息的灰度值是0至255，由饱和度判定部101计算出的饱和度设为0至7这8个等级。在输入图像信息的关注像素的灰度值是255的情况下，计算饱和度，在本实施方式的一个例子中，将灰度值255与饱和度相加来设为灰度变换的输入灰度。例如，在饱和度是5的情况下，灰度变换的输入灰度为260。通过这样的处理，能够得到反映出推断饱和像素的亮度所得的结果的输入图像信息的灰度值。虽然输出灰度值设为0至4095，这是为了提高基于模糊处理的灰度值的精度，也可以是其他灰度范围。这种灰度变换能够通过将输入灰度值与输出灰度值建立关联的LUT(Look Up Table，查询表)来实现。此外，虽然在上述中，将输入图像信息的灰度值与饱和度相加得到的值作为输入来变换灰度，但即使0至254使用图4的对应区域，在灰度值为255的情况下根据饱和度来分配输出灰度值，也成为同样的结果。

这里，若被摄体的亮度与图像信息的灰度值的关系是线性，则优选图4的变换，但例如在将JPEG(Joint Photographic Experts Group，联合图形专家小组)文件等被压缩的图像信息设为输入图像信息的情况下，进行伽马校正，被摄体的亮度与图像信息的灰度值的关系可能不是线性。在该情况下，通过第一灰度变换部102来进行灰度变换，以使得被摄体的亮度与图像信息的灰度值的关系为线性。图5中表示灰度变换的例子。在输入灰度值为0至254的情况下，将伽马校正设为逆校正来进行使亮度与灰度值成为线性的变换处理。在输入图像信息的伽马校正不明确等情况下，也能够假定输入图像信息是sRGB来进行。

进一步地，在进行与伽马校正对应的变换时，在输入图像信息的低灰度部分，由于量子化的影响，分辨率可能降低。此时，如图6所示，低灰度部分通过进行线性关系的灰度变换，能够防止灰度的劣化。

通过第一灰度变换部102而被进行灰度变换的图像信息的饱和像素根据被摄体的亮度而被推断。图7(a)是输入图像信息，图7(b)表示由第一灰度变换部102进行了灰度变换的图像信息的例子，输入图像信息的灰度值与被摄体的亮度是线性关系。在图7(a)中，图像的亮度一部分饱和。另一方面，在图7(b)中，针对图7(a)中饱和的区域，推断被摄体的亮度而被付与灰度值。这是由于，通过饱和度判定部101，根据特定范围的饱和像素的数量等来计算饱和度。

图8表示通过现有的方法来对图7(a)的状态进行灰度变换时的状态，图8(a)表示进行根据输入图像信息的灰度值来扩展灰度值的变换的情况，图8(b)表示进行仅扩展饱和像素的变换的情况。在图8(a)中，由于仅基于输入图像信息的灰度值来变换灰度，因此0至254的亮度与灰度值的关系变形，饱和像素保持饱和。另一方面，在图8(b)中，由于是仅扩展饱和像素的灰度的灰度变换，因此仅饱和像素变得过于明亮，饱和像素也保持饱和。通过如本实施方式那样，根据饱和度来进行灰度变换，能够如图7(b)那样，将被摄体的亮度作为平滑自然的灰度来推断饱和像素的灰度值。

图9中表示与图7不同的图像信息的灰度值的例子。图9(a)与图7(a)相比，饱和像素的范围变窄。图9(b)表示由第一灰度变换部102进行了灰度变换的图像信息。由于图9(a)的饱和像素的范围较窄，因此由饱和度判定部101计算出的饱和度不是最大，灰度变换后的灰度值也不是最大，因此作为自然的亮度变化，能够推断被摄体的亮度。

图10中表示通过现有的方法来对图9(a)的状态进行灰度变换时的状态，图10(a)表示进行根据输入图像信息的灰度值来扩展灰度值的变换的情况，图10(b)表示进行仪扩展饱和像素的变换的情况。在图10(a)中，由于仅基于输入图像信息的灰度值来变换灰度，因此0至254的亮度与灰度值的关系变形，饱和像素保持饱和。另一方面，在图10(b)中，由于是仅扩展饱和像素的灰度的灰度变换，因此仅饱和像素变得过于明亮，饱和像素也保持饱和。

因此，通过如本实施方式那样，根据饱和度来进行灰度变换，能够如图9(b)那样，将被摄体的亮度作为平滑自然的灰度来推断饱和像素的灰度值。

由第一灰度变换部102进行了灰度变换的图像信息通过模糊处理部103而被进行模糊处理。模糊处理能够通过关注像素与周边像素的平均化来实现。作为平均化处理，能够适当地选择使各像素的权重相同的方法、根据距关注像素的距离来进行加权的方法等。

能够通过使平均化的范围变化来调整与进行什么程度的模糊处理有关的模糊处理的强度。在平均化的范围较大的情况下，模糊强度变大，在平均化的范围较小的情况下，模糊强度变小。

此外，关于模糊的形状，基于平均化的范围的形状，例如通过调整四角形、六角形、八角形等平均化的范围的形状，也能够使模糊的形状变化。因此，若将模糊的形状设定为用户能够进行调整，则能够得到用户希望的模糊的形状。

图11是图像信息的例子，按照距离拍摄的场所由近到远的顺序，以被摄体A、被摄体B、被摄体C的顺序而被配置。

图12是表示与图11所示的图像信息对应的距离信息的图。在图12中，通过浓淡来表示的距离信息能够通过现有的技术来获取，例如，能够根据TOF(Time Of Flight，飞行时间)、立体照相机等来进行计算。此外，距离信息也能够根据在不同焦点位置拍摄的图像来进行计算，通过对关注像素中的各图像的聚焦度进行比较，能够计算距离信息。这种距离信息与输入图像信息对应地，与图像信息一起输入到图像处理装置100。

模糊处理部103基于距离信息来进行模糊处理。例如，在使作为近景聚焦区域的被摄体A聚焦并使背景模糊的情况下，基于被摄体A的距离与各被摄体的距离的差，使模糊强度变化，来进行模糊处理。换句话说，被摄体A不进行模糊处理，被摄体B进行模糊处理，被摄体C以比被摄体B大的模糊强度进行模糊处理。这里，存在多个模糊处理强度的情况下的处理方法可以基于距离信息来使平均化范围变化，以使得距离越远范围越广，来进行平均化处理，也可以生成平均化范围不同的图像，基于距离信息，来从平均化范围不同的图像之中选择像素。

也能够使与被摄体A不同的另一被摄体聚焦来进行模糊处理，例如，在使被摄体B聚焦并使另一被摄体模糊的情况下，基于被摄体B的距离与另一被摄体的距离的差，使模糊处理的模糊强度变化，来进行模糊处理。因此，若用户能够指定聚焦的被摄体，则能够得到进行了用户希望的模糊处理的图像。

另外，在本实施方式中，说明了基于距离信息来进行模糊处理的例子，但也能够使用其他的模糊处理。例如，也能够进行使用户所指定的区域、或者用户未指定的区域模糊的模糊处理。

在模糊处理部103中进行了模糊处理的图像信息被传递到第二灰度变换部104并进行灰度变换。例如，能够基于图13的特性来进行灰度变换处理。示例了如下情况：利用图4的特性来进行第一灰度变换，接下来进行模糊处理的图像信息的灰度值为0至4095，将来自图像处理装置100的输出图像信息设为0至255的灰度进行输出。

由于在图像处理装置100的输入图像信息中，图13中的输入灰度值为1023以上的灰度是饱和像素，因此将1023至4095的灰度设为255进行输出。小于1023的灰度被保持线性关系地变换为0至255之间的灰度。

另外，在考虑伽马校正来对输出图像信息进行输出的情况下，如图14所示的特性那样，在对小于1023的值进行变换时，进行考虑了伽马校正的变换即可。进一步地，在第一灰度变换部102中，根据图6的特性来进行灰度变换的情况下，以线性关系变换的低灰度区域通过保持线性关系地进行变换，在其他的区域设为考虑了伽马校正的变换，能够生成与输入图像信息的亮度对应的输出图像。通过进行这样的变换，能够维持输出图像信息相对于输入图像信息的亮度的关系，能够输出进行了自然的模糊处理的图像信息。

由第二灰度变换部104进行了灰度变换的图像信息在被输入到图像处理装置100时，将作为饱和像素的灰度输出为饱和像素。

图15(a)是被输入到第二灰度变换部104的图像信息，图15(b)表示从第二灰度变换部104输出的图像信息的例子，图像信息的灰度值与被摄体的亮度是线性关系。在图15(a)中，存在具有与饱和像素的灰度值对应的1023以上的灰度值的像素。另一方面，在图15(b)中，被变换为255以下的灰度值并且具有大于1023的灰度的像素被饱和变换为255的灰度值。由此，被摄体的亮度根据饱和度而被推断并扩展的灰度值被进行恢复到扩展前的灰度的变换，能够输出与输入图像信息的亮度对应的输出图像信息。

图16中表示使用现有的方法来，仅基于灰度值来进行灰度变换的情况的例子。例如，通过图8、图10那样的现有方法来进行灰度变换后进行了模糊处理的结果是图16(a)，仅基于灰度值来进行图8以及图10的逆变换的情况为图16(b)。如图16(b)所示，在扩展灰度的灰度变换之前是饱和像素的区域在成为输出图像信息时不为饱和像素，图像变暗。换句话说，在现有的方法中，不能输出与输入图像信息的亮度对应的输出图像信息。这样，通过进行图15的变换，能够输出与输入图像信息的亮度对应的输出图像信息。

如上述说明的那样，根据本实施方式，对输入图像信息的饱和像素的饱和度进行计算，在进行了灰度变换之后进行模糊处理，从而能够得到考虑了被摄体的亮度的自然的模糊图像。进一步地，通过考虑输入图像的饱和灰度来对模糊图像进行灰度变换，能够得到与输入图像信息的亮度对应的输出图像信息。

在上述实施方式中，说明了1张图像信息的处理，但通过输入为连续的图像信息，使各图像信息与帧对应，也能够应用为动画的图像处理。

(实施方式2)

由于本实施方式中的图像处理装置100的构成与实施方式1相同，因此省略共用的各部的详细说明。

本实施方式中的图像处理装置100与实施方式1的图像处理装置100相比，第一灰度变换部102中的灰度变换的方法不同。实施方式2中的输入图像信息将彩色图像设为对象，将第一灰度变换部102中的灰度变换以白色下的饱和与特定颜色下的饱和设为不同的处理。

图19是表示实施方式2中的处理的流程的流程图，是与图18对应的图。步骤S1的处理与图18相同。

例如，在由红色、绿色、蓝色这3个通道构成的彩色图像中，白色的饱和是红色、绿色、蓝色的灰度饱和的状态，特定颜色的饱和是红色、绿色、蓝色之中的至少1个通道的灰度饱和、至少1个通道不饱和的状态。

饱和像素的灰度值的推断能够通过白色的饱和以及颜色的饱和这两个来进行，但由于白色的饱和是比颜色的饱和更明亮的被摄体，因此需要推断为不同的亮度。换句话说，分别计算白色的饱和度和颜色的饱和度来计算灰度变换。

在饱和度判定部101中，能够通过与实施方式1相同的动作来实现，分别根据白色饱和像素和颜色饱和像素来计算饱和度(步骤S12)。例如，若计算关注像素的通道的最小灰度值，最小灰度值以255饱和，则作为白色饱和像素来进行处理，若不是白色饱和像素，并且计算关注像素的通道的最大灰度值，最大灰度值以255饱和，则作为颜色饱和像素来进行处理。通过这样定义饱和像素，能够计算出白色饱和与颜色饱和的饱和度。

基于由饱和度判定部101计算出的饱和度，在第一灰度变换部102中进行灰度变换(步骤S13)。

图17表示第一灰度变换部102的灰度变换的特性的例子。图17(a)是白色饱和像素的灰度变换的特性，图17(b)是颜色饱和像素的灰度变换的特性。由于若白色饱和像素比颜色饱和像素更明亮则推断为是被摄体，因此在图17中，为了与被摄体的亮度对应，使灰度变换的最大值在白色饱和像素的情况与颜色饱和像素的情况下不同。图17(a)根据白色饱和像素的灰度变换特性，将输出灰度值的最大值设为4095。另一方面，图17(b)根据颜色饱和像素的灰度变换特性，将输出灰度值的最大值设为2047，以使得即使饱和度相同也变得比白色饱和像素暗。从第一灰度变换部102输出的图像信息与实施方式1同样地，在模糊处理部103(步骤S14)和第二灰度变换部104(步骤S15)中被处理并被设为输出图像信息(步骤S16)。各部中的处理能够通过按照每个通道独立地进行处理来实现。换句话说，若是红色，则在红色的通道内被平均化，将输入图像信息中饱和的灰度区域在红色的通道中作为饱和像素来进行灰度变换并输出。其他的通道也同样。

通过进行以上说明的处理，能够针对饱和像素根据被摄体的亮度来实现自然的模糊处理，并且通过在白色饱和像素与颜色饱和像素中进行不同的灰度变换，能够得到白色饱和比颜色饱和明亮并且与被摄体的亮度对应的输出图像。

这里，在本实施方式中，通过图17(a)以及图17(b)这两种灰度变换特性进行了说明，但例如也可以将饱和像素设为白色饱和、2个通道颜色饱和、1个通道颜色饱和这3种，将灰度变换特性设为3种。换句话说，进行灰度变换以使得推断为按照白色饱和、2个通道颜色饱和、1个通道颜色饱和的顺序被摄体的亮度从大到小。

此外，由于两种灰度变换特性的输入灰度在0至254共用，因此也可以使用白色饱和的灰度特性来计算颜色饱和区域的变换值。例如，在图17(a)中，计算作为饱和像素的最小值的1023与根据饱和度而被付与的变换值的差，将其1/2与作为饱和像素的最小值的1023相加来设为颜色饱和像素的灰度变换值。此时，颜色饱和像素的灰度变换值的最大值为2559。换句话说，根据白色饱和的灰度特性来计算变换值，基于该值，小于白色饱和的值被变换为变换值。

根据本实施方式，在彩色图像中，按照每个通道来计算输入图像信息的饱和像素的饱和度，在按照每个通道进行了灰度变换之后进行模糊处理，从而在彩色图像中，得到考虑了被摄体的亮度和颜色的更自然的模糊图像。进一步地，通过考虑输入图像的饱和灰度来对模糊图像进行灰度变换，能够得到与输入图像信息的亮度对应的输出图像信息。

(实施方式3)

本实施方式中的图像处理装置100的构成与实施方式1相同，省略共用的各部的详细说明。

图20是表示实施方式3中的处理的流程的流程图，是与图18对应的图。将步骤S3的处理设为步骤S23的处理。

本实施方式中的图像处理装置100与实施方式1的图像处理装置100相比，根据模糊处理部103中的平均化的范围，使第一灰度变换部的灰度变换不同(步骤S23)。

在实施方式1中，说明了若使进行平均化的范围不同则模糊强度变化。此时，根据饱和像素的亮度推断值的大小，模糊处理后的图像的亮度变化。这是因为，若平均化的范围不同则饱和像素的影响程度变化。例如，在饱和像素是一个，灰度值从255变换为4095时，根据平均化的范围是3×3的9个像素的范围还是9×9的81个像素的范围，影响程度不同。在9个像素中的1个像素被扩展的灰度的情况下与81个像素中的1个像素被扩展的灰度的情况下，前者的平均化的值更大。

因此，由于若饱和像素的推断值过大，则可能过于明亮且模糊，因此如果在平均化的范围变小的情况下，缩小由第一灰度变换部102变换的灰度值的最大值，在平均化的范围变大的情况下，增大由第一灰度变换部102变换的灰度值的最大值，则能够进行适当的模糊处理。

这样，在本实施方式中，在基于与图像信息对应的距离信息来进行模糊处理时，基于聚焦被摄体与模糊对象的被摄体的距离而平均化的范围变化，因此通过根据距离来使灰度变换的最大值变化，能够进行适当的模糊处理。

(实施方式4)

由于本实施方式中的图像处理装置100的构成与实施方式1相同，因此省略共用的各部的详细说明。

图21是表示实施方式4中的处理的流程的流程图，是与图18对应的图。将步骤S3的处理作为步骤S33的处理。

本实施方式中的图像处理装置100根据模糊处理部103的模糊强度进行调整以使得第一灰度变换部102的灰度变换值的最大值不同(步骤S33)。模糊处理部103的模糊强度表示模糊处理的强度，强度越强模糊越大，强度越弱模糊越小。此外，存在模糊强度根据输入图像信息的场景、到聚焦被摄体的距离、从近景被摄体到远景被摄体的距离等来自动设定的情况、和用户在拍摄前或者拍摄后手动设定的情况。

为了使模糊强度变化，对根据各距离而设定的平均化的范围进行调整。例如，在使模糊强度较强的情况下，将基于从聚焦被摄体到对象被摄体的距离而设定的平均化的范围分别设定得宽1等级。另一方面，在使模糊强度较弱的情况下，将基于从聚焦被摄体到对象被摄体的距离而设定的平均化的范围分别设定得窄1等级。

这里，如实施方式3中所说明的那样，若基于平均化的范围使灰度变换值的最大值变化，则能够以自然亮度进行模糊处理。因此，如果是使模糊处理的强度较强的设定，则平均化范围被设定为更广，因此增大变换灰度值的最大值，如果是使模糊处理的强度较弱的设定，则平均化范围被设定为更窄，因此减小变换灰度值的最大值。例如，在模糊强度较强的情况下，如图17(a)那样将变换灰度值的最大值设为4095，在模糊强度较弱的情况下，如图17(b)那样将变换灰度值的最大值设为2047。这样，根据被设定的模糊强度使灰度变换值的最大值变化，从而能够以适当的亮度进行自然的模糊处理。

(实施方式5)

由于本实施方式中的图像处理装置100的构成与实施方式1相同，因此省略共用的各部的详细说明。

图22是表示实施方式5中的处理的流程的流程图，是与图18对应的图。将步骤S3的处理设为步骤S43的处理。

本实施方式中的图像处理装置100根据输入图像信息的分辨率进行调整以使得第一灰度变换部102的灰度变换值的最大值不同(步骤S43)。在模糊处理部103中，为了模糊处理而进行平均化的范围在以被摄体为基准的范围内被设定。换句话说，关于以相同的视角对相同的场景进行拍摄的情况下的任意的平均化的范围的像素数，相比于分辨率较低的图像上，分辨率较高的图像信息较多。这是由于相同的被摄体的范围的像素分辨率不同。因此，在对分辨率较高的输入图像信息进行模糊处理的情况下，相比于对分辨率较低的输入图像信息进行模糊处理的情况，平均化的关注像素与周边像素的合计像素数更多。

这里，如实施方式3中说明的那样，若基于平均化的范围来使灰度变换值的最大值变化，则能够以自然的亮度进行模糊处理。因此，通过在输入图像信息的分辨率较高的情况下，增大由第一灰度变换部102进行灰度变换的灰度变换输出值的最大值，在输入图像信息的分辨率较低的情况下，减小由第一灰度变换部102进行灰度变换的灰度变换输出值的最大值，从而能够以自然的亮度进行模糊处理。例如，在输入图像信息的分辨率较大的情况下，设为图17(a)那样的灰度变换特性，在输入图像信息的分辨率较小的情况下，设为图17(b)那样的灰度变换特性，从而能够实现。

(实施方式6)

在本实施方式中，将如图18至图22那样实现上述实施方式所示的功能的图像处理方法，例如将实现功能的图像处理方法作为程序来记录于存储介质。通过由计算机读取记录于存储介质的程序并使其执行，从而能够实现。作为存储介质，能够使用光盘、磁盘、闪存等。此外，也能够利用互联网等网络线路来提供上述程序。进一步地，也能够将图像处理方法作为能够由FPGA使用的电路信息来进行记录。电路信息经由记录介质、网络而被提供，下载到FPGA来实现图像处理。

通过上述图18至图22的流程，能够实现本实施方式的图像处理方法，能够得到与被摄体的亮度对应且进行了自然的模糊处理的图像信息。

(实施方式7)

本实施方式的图像摄像装置200具备图像处理装置100，省略与实施方式1共用的各部的详细说明。

图23中表示本实施方式中的图像摄像装置200的构成例。图像摄像装置200在图像处理装置100的基础上，还具备：摄像部201、存储部202、图像显示部203。摄像部201拍摄被摄体并获取图像信息，将图像信息输入到图像处理装置100。此时，也输入与图像信息对应的距离信息。距离信息也可以通过摄像部201，利用TOF等距离传感器来获取，也可以拍摄立体图像，计算视差信息来计算距离信息，还可以根据在不同焦点位置拍摄到的多个图像，计算聚焦度，来计算距离信息。

在图像处理装置100中，在判定饱和像素的饱和度并进行了灰度变换之后，进行模糊处理。从图像处理装置100输出的图像信息以任意的形式被保存于存储部202。此外，进行了图像处理的图像信息能够显示于图像显示部。

如以上所说明的那样，通过具备图像处理装置100的图像摄像装置200，即使在被摄体饱和并被拍摄的情况下，也能够实现根据饱和像素的饱和度来推断被摄体的亮度、能够获取与被摄体的亮度对应且进行了自然的模糊处理的图像信息的图像摄像装置。

处理以及控制能够通过基于CPU或GPU的软件处理、基于ASIC或FPGA的硬件处理来实现。

此外，在上述的实施方式中，关于添加附图中图示的构成等，并不限定于这些，在发挥本发明的效果的范围内能够适当地变更。另外，只要在不脱离本发明的目的的范围，能够适当地变更并实施。

此外，本发明的各构成要素能够任意地取舍选择，具备取舍选择的构成的发明也包含于本发明。

此外，也可以将用于实现本实施方式中说明的功能的程序记录于计算机可读取的记录介质，使计算机系统读取记录于该记录介质的程序并执行，从而进行各部的处理。另外，这里所谓的“计算机系统”，包含OS、周边设备等硬件。

此外，如果是利用WWW系统的情况，则“计算机系统”也包含主页提供环境(或者显示环境)。

此外，所谓“计算机可读取的记录介质”，是指软盘、光磁盘、ROM、CD-ROM等可移动介质、内置于计算机系统的硬盘等存储装置。进一步地，所谓“计算机可读取的记录介质”，也包含：如经由互联网等网络、电话线路等通信线路来发送程序的情况下的通信线那样，在短时间内动态保持程序的介质；如作为该情况下的服务器、客户端的计算机系统内部的挥发性存储器那样，在一定时间内保持程序的介质。此外，上述程序可以是用于实现所述功能的一部分的程序，进一步地，也可以是能够通过与已经记录于计算机系统的程序的组合来实现所述功能的程序。功能的至少一部分也可以通过集成电路等硬件来实现。

-符号说明-

100 图像处理装置

101 饱和度判定部

102 第一灰度变换部

103 模糊处理部

104 第二灰度变换部

200 图像摄像装置

201 摄像部

202 存储部

203 图像显示部

本说明书中引用的全部发行刊物、专利以及专利申请是通过直接引用来组合到本说明书中的。

Claims (13)

1.一种图像处理装置，其具备对被输入的输入图像信息进行模糊处理的模糊处理部，所述图像处理装置的特征在于，

所述图像处理装置具备：

饱和度判定部，计算所述输入图像信息的饱和像素的饱和度；和

第一灰度变换部，基于由所述饱和度判定部计算出的饱和度来变换所述输入图像信息的灰度，

所述模糊处理部对由所述第一灰度变换部进行了灰度变换的图像信息进行模糊处理，

所述图像处理装置还具备：第二灰度变换部，将进行了模糊处理的图像信息的饱和区域的灰度作为饱和像素来变换灰度。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述饱和度是基于关注像素的周边像素的亮度来计算的。

3.根据权利要求1所述的图像处理装置，其特征在于，

所述饱和度是基于关注像素的周边像素之中饱和的像素的数量来计算的。

4.根据权利要求1所述的图像处理装置，其特征在于，

所述饱和度是基于关注像素的周边像素的灰度值之和来计算的。

5.根据权利要求1或者2所述的图像处理装置，其特征在于，

所述第一灰度变换部按照由所述饱和度判定部计算出的饱和度越大则通过变换而输出的灰度值越大的方式来进行变换。

6.根据权利要求1或者2所述的图像处理装置，其特征在于，

按照所述输入图像信息的分辨率越大则所述第一灰度变换部的输出灰度值的最大值越大的方式进行变化。

7.根据权利要求1或者2所述的图像处理装置，其特征在于，

所述第一灰度变换部使所述输入图像信息的白色饱和像素与颜色饱和像素的灰度变换不同。

8.根据权利要求7所述的图像处理装置，其特征在于，

按照在所述饱和度是相同程度的情况下所述白色饱和像素的输出灰度值比所述颜色饱和像素的输出灰度值大的方式，来进行灰度变换。

9.根据权利要求1或者2所述的图像处理装置，其特征在于，

所述模糊处理部根据被设定的模糊强度来使模糊处理的强度变化，

按照所述模糊强度越强则所述第一灰度变换部的输出灰度值的最大值越大的方式来进行变化。

10.根据权利要求1或者2所述的图像处理装置，其特征在于，

所述模糊处理部基于与所述输入图像信息对应的距离信息，来使进行模糊处理的范围变化，按照所述模糊处理的范围越广则所述第一灰度变换部的输出灰度值的最大值越大的方式进行变化。

11.一种摄像装置，其具备获取图像信息的摄像部，该摄像装置的特征在于，

具备权利要求1至权利要求10的任意一项所述的图像处理装置。

12.一种图像处理方法，其具备对被输入的输入图像信息进行模糊处理的模糊处理步骤，该图像处理方法的特征在于，

所述图像处理方法具备：

饱和度判定步骤，计算所述输入图像信息的饱和像素的饱和度；和

第一灰度变换步骤，基于通过所述饱和度判定步骤而计算出的饱和度来变换所述输入图像信息的灰度，

所述模糊处理步骤针对通过所述第一灰度变换步骤进行了灰度变换的图像信息来进行模糊处理，

所述图像处理方法还具备：第二灰度变换步骤，将进行了模糊处理的图像信息的饱和区域的灰度作为饱和像素来变换灰度。

13.一种程序，用于使计算机执行权利要求12所述的图像处理方法。