CN108965646B - 图像处理装置、图像处理方法 - Google Patents

Abstract

本发明涉及图像处理装置、图像处理方法和存储介质。图像处理装置包括：获取单元，其被构造为获取图像；图像处理单元，其被构造为对所获取的图像进行图像处理；以及输出单元，其被构造为将经过了图像处理的图像输出到输出目的地。图像处理单元能够进行替换处理，所述替换处理用于基于所获取的图像中的预定图像部分的颜色，用从多个预定不同颜色中选择的颜色来替换所述预定图像部分的颜色。输出单元能够将所获取的经过了替换处理的图像输出到输出目的地，并且能够将未经过替换处理的图像输出到输出目的地。

Description

图像处理装置、图像处理方法

技术领域

本公开总体涉及图像处理，并且更具体地涉及图像处理装置、图像处理方法、存储介质以及用于以预定颜色单色化包括在图像中的相似颜色部分的技术。

背景技术

近年来，具有高级信息处理功能的便携式终端(诸如智能电话和平板个人电脑(PC))的数量已经增加。这些便携式终端配设有照相机和图像拍摄功能(照相机功能)。通常，这样的便携式终端的用户使用照相机功能来拍摄写有文本的纸面或白板表面的图像，并将该图像作为图像数据存储在便携式终端的存储器中。

与使用具有原稿给送器或原稿定位板的扫描器的原稿扫描不同，通过使用便携式终端的照相机功能进行的图像拍摄受到变化的环境条件(诸如图像拍摄方向和光源条件)的影响。因此，由于在倾斜方向上拍摄图像，原稿图像可能在几何上失真，或者除了纸张表面或白板表面以外的不需要的对象可能被包括在拍摄图像中。传统上，将纸张表面上的区域或白板表面上的区域从拍摄图像中剪切，然后对被剪切区域进行失真校正(有时称为梯形校正)。因此，原稿区域中的几何失真图像被校正为矩形形状。

日本特开第2017-22620号公报讨论了一种用于估计拍摄图像中的阴影分量(由于环境光和拍摄图像中所包括的阴影的影响引起的亮度不均匀性)并且基于关于估计的阴影分量的信息从拍摄图像中去除阴影分量的技术。

日本特开第2017-22620号公报中讨论的技术使得可以从拍摄图像中去除阴影分量。然而，即使是经过了阴影分量去除处理的图像也可能包括在原稿上原本是相同颜色的不同前景颜色。然而，另一方面，因为例如在保持微小的颜色差异的同时重视原稿的原始性(外观与原稿的相似性)的情况下，不期望对这样的前景部分进行单色化，因此图像处理技术的改进将是有益的。

发明内容

因此，通过本公开可以实现图像处理技术的改进，其中，通过将具有预定颜色范围内的颜色(例如，浅红色)的前景部分替换或单色化为预定颜色(例如，仅具有红色分量的颜色)，即，将具有相似颜色的前景部分统一为单一颜色，而可以实现提高可视性。本公开中的图像处理技术的改进部分地基于上述情况而设计，并且总体涉及使得可以将经过了预定替换处理的图像输出到输出目的地并且可以将没有经过预定替换处理的图像输出到输出目的地。

根据本公开的一个或多个方面，图像处理装置包括：获取单元，其被构造为获取图像；图像处理单元，其被构造为对所获取的图像进行图像处理；以及输出单元，其被构造为将经过了图像处理的图像输出到输出目的地。图像处理单元能够进行替换处理，该替换处理用于基于所获取的图像中的预定图像部分的颜色，用从多个预定不同颜色中选择的颜色来替换所述预定图像部分的颜色。输出单元能够将所获取的经过了替换处理的图像输出到输出目的地，并且能够将未经过替换处理的图像输出到输出目的地。

根据参照附图对示例性实施例的以下描述，本公开的其他特征将变得清楚。

附图说明

图1A和图1B是例示根据第一示例性实施例的便携式终端的总体视图。

图2是例示根据第一示例性实施例的便携式终端的整体构造的框图。

图3是例示根据第一示例性实施例的处理过程的流程图。

图4A、图4B和图4C例示根据第一示例性实施例的帧检测处理、帧指定和失真校正处理。

图5是例示根据第一示例性实施例的图像校正处理的流程图。

图6例示根据第一示例性实施例的图像校正处理结果的示例。

图7是例示根据第二示例性实施例的图像校正处理的流程图。

图8例示根据第二示例性实施例的图像校正处理结果的示例。

具体实施方式

下面将参照附图描述用于实施本公开的示例性实施例。

<便携式终端的构造>

图1A和图1B例示根据第一示例性实施例的便携式终端(图像处理装置和信息处理装置)101的外观。图1A例示便携式终端101的正面的外观，该便携式终端101的正面包括触摸面板显示器102和操作按钮103。图1B例示便携式终端101的背面的外观，该便携式终端101的背面包括照相机104。照相机104配备有使得能够测量焦距和被摄体距离的自动对焦机构(未例示)。

本示例性实施例适用于具有图像拍摄功能(照相机功能)的便携式终端。例如，本示例性实施例不仅适用于具有图像拍摄功能(照相机功能) 的智能电话(移动电话)、平板终端和个人计算机(PC)，而且适用于具有触摸面板显示器的数字照相机。本示例性实施例也可应用于与照相机有线或无线连接的PC。便携式终端或PC可以从存储照相机拍摄的图像的存储设备(诸如存储卡等)中读取图像，并进行根据本示例性实施例的处理。

在图2中例示了便携式终端101的硬件构造。然而，该构造是用于实施本示例性实施例的示例构造，并且硬件构造不限于此。

参照图2，中央处理单元(CPU)201、随机存取存储器(RAM)202 和只读存储器(ROM)203可以经由数据总线209发送并接收程序和数据。存储单元204、数据发送/接收单元205、摄像单元206、显示单元207 和操作单元208可以连接到数据总线209。CPU 201、RAM 202和ROM 203 也可以相互发送并接收程序和数据。

存储单元204可以是用于存储图像以及用于实现流程图的各种程序 (如下所述)的闪存。

数据发送/接收单元205可以包括无线局域网(LAN)控制器，以实现与外部装置(诸如外部服务器和外部打印机)的数据发送和接收。

摄像单元206是拍摄白板以获取拍摄图像的照相机104。所获取的拍摄图像的数据被提供有包括制造商名称、型号名称、图像分辨率、光圈值(f值)和焦距的报头信息(headerinformation)，并且如下所述地被发送到各个单元。

作为触摸面板显示器102的显示器的显示单元207在通过使用照相机功能拍摄白板时显示实时取景图像。

包括触摸面板显示器102的触摸面板和操作按钮103的操作单元208 从用户接收操作并将关于该操作的信息发送到各个单元。

可以包括一个或更多个处理器和一个或更多个存储器的CPU 201可以通过执行存储在ROM 203或存储单元204中的计算机程序来控制便携式终端101中的这些组件。

本公开描述的单元是用于实现本公开中描述的处理的示例性和/或优选模块。这里使用的术语“单元”通常可以指用于实现目的的固件、软件、硬件或诸如电路等的其他组件，或其任何组合。模块可以是硬件单元(例如电路、固件、现场可编程门阵列、数字信号处理器、专用集成电路等)和/或软件模块(例如计算机可读程序等)。以上没有穷举用于实现各种步骤的模块。然而，只要有进行特定处理的步骤，就有用于实现同一处理的对应的功能模块或单元(由硬件和/或软件实现)。通过所描述的步骤以及与这些步骤对应的单元的所有组合的技术方案被包括在本公开中。

<参照流程图对本示例性实施例的详细描述>

图3是例示根据本示例性实施例由便携式终端101进行的处理过程的流程图。图4A、图4B和图4C例示用于从拍摄图像剪切白板表面的区域的处理的流程，作为将白板表面作为被摄体拍摄的示例情况。当便携式终端101的CPU 201(计算机)将存储在ROM 203中的处理程序加载到 RAM 202中并执行该程序时，CPU 201可以用作用于对图3例示的流程图的各个步骤进行处理的处理单元。当经由数据发送/接收单元205从外部获取的处理程序被存储在存储单元204中、被加载到RAM 202中并且然后被执行时，CPU 201可以用作处理单元。假设本示例性实施例用于如下的应用：用户通过该应用操作便携式终端101，以拍摄作为被摄体的纸面和白板表面，从拍摄图像中仅剪切被摄体区域，校正被剪切区域并将校正后的图像输出到由用户指定的输出目的地。输出目的地可以由用户预先指定，或者可以在步骤S308(在下面描述)中接收到结束指令之后由用户指定。

在步骤S301中，CPU 201获取由用户选择或拍摄的图像作为输入图像。在选择输入图像的情况下，CPU 201经由数据总线209获取用户经由操作单元208从存储单元204或存储卡中存储的图像当中选择的图像。在拍摄输入图像的情况下，CPU 201经由数据总线209获取由摄像单元 206响应于用户经由操作单元208发出的图像拍摄指令而拍摄的图像。图 4A例示包括白板表面401的输入图像。

在步骤S302中，CPU 201进行用于从步骤S301中获取的输入图像中识别，指示白板表面401的四边形区域的区域识别处理。通过检测作为白板表面401的各个边的候选的候选线段组(候选边组)并且评估由候选线段组的组合构成的四边形来实现区域识别处理。用于检测候选线段组的方法和用于评估四边形的方法可以是已知的方法。例如，通过使用Hough变换算法来检测候选线段组，在该Hough变换算法中，将从输入图像检测到的边缘信息投影到极坐标上以检测直线。可以基于包括相对边的长度的比、内角的大小和长宽比的几何信息来评估四边形，并且可以基于例如内部和外部之间的色彩和分散的比较的图像信息来评估构成四边形的线段。尽管在本示例性实施例中识别白板表面的区域，但是在被摄体是纸面的情况下可以识别纸面的区域。

在步骤S303中，CPU 201以将在步骤S302中检测到的四边形区域叠加在上述输入图像上的方式显示上述输入图像，并且进行区域指定处理，在该区域指定处理中，从用户接收用于改变(校正)所显示的四边形区域的形状的操作。图4B例示了叠加有识别的四边形区域的输入图像。所识别的矩形区域的边402、403、404和405充当用于从用户接收边位置指令的边处理程序(handler)。所识别的矩形区域的顶点406、407、408 和409充当用于从用户接收顶点位置指令的顶点处理程序。用户可以通过选择并操作边处理程序和顶点处理程序来改变四边形区域的形状。

在步骤S304中，根据在步骤S303中指定的四边形区域，CPU 201提取输入图像的一部分(包括在四边形区域中的图像)，然后进行失真校正处理(几何校正处理)以校正所提取的图像的失真来获取矩形图像。考虑到四边形区域失真成非梯形形状的情况，通过使用投影变换来进行失真校正。可以使用已知方法，基于关于输入图像中的四边形区域的顶点信息(顶点406、407、408和409)以及关于输出图像的四个角410、411、 412和413的坐标信息，来计算投影变换矩阵。在处理速度优先的情况下，可以计算仿射变换矩阵或简单倍率作为放大参数。图4C例示了由失真校正得到的图像。

在步骤S305中，CPU 201对在步骤S304中获得的、经过了失真校正的图像进行图像校正处理。以下将参照图5和图6详细描述图像校正处理。

在步骤S306中，CPU 201在显示单元207上显示在步骤S305中获得的、由图像校正得到的图像。

在步骤S307中，CPU 201经由操作单元208从用户接收图像校正模式指令(用于选择图像校正的类型的指令)或结束指令(用于使图像校正的结果结束的指令)。

在步骤S308中，CPU 201确定在步骤S307中是接收到图像校正模式指令还是结束指令。在CPU 201确定在步骤S307中接收到图像校正模式指令的情况下(步骤S308中为“模式指令”)，处理返回到步骤S305。在步骤S305中，CPU 201再次进行图像校正处理。另一方面，在CPU 201 确定在步骤S307中接收到结束指令的情况下(步骤S308中为“结束指令”)，CPU 201将经过了图像校正处理的图像输出到由用户指定的输出目的地(存储单元204中的指定文件夹、指定的外部服务器或指定的外部打印机)。然后，处理结束。在要将图像输出到外部装置的情况下，CPU 201经由数据发送/接收单元205输出图像。

<图像校正处理(S305)的详细描述>

下面将参照图5详细描述图像校正处理。作为该流程图的处理目标的输入图像是在步骤S304中经过了失真校正处理的图像。

在步骤S501中，CPU 201获取图像校正模式以确定当前模式。在CPU 201在图3所示的步骤S304之后执行步骤S501的情况下，CPU 201获取预设图像校正模式(例如，第一图像校正模式)。在这种情况下，CPU 201 可以不获取预设图像校正模式，而是获取在本应用的上次执行中进行的图像校正模式。另一方面，在CPU 201在图3所示的步骤S308之后执行步骤S501的情况下，CPU 201获取在步骤S307中接收到的图像校正模式。在所获取的图像校正模式是第一图像校正模式(步骤S501中为“第一图像校正模式”)的情况下，处理进行到步骤S502。另一方面，在所获取的图像校正模式是第二图像校正模式(步骤S501中为“第二图像校正模式”)的情况下，处理进行到步骤S504。

步骤S502和S503中例示的处理是第一图像校正模式的校正处理，并且步骤S504至S506中例示的处理是第二图像校正模式的校正处理。

在步骤S502中，CPU 201进行用于从输入图像去除照明不均匀性和诸如阴影的亮度不均匀性的阴影去除处理。通过生成根据输入图像而估计照明不均匀性和诸如阴影的亮度不均匀性的阴影分量图像(在输入图像表面内的像素值校正信息)并根据输入图像和阴影分量图像之间的差值校正输入图像，来实现阴影去除处理。为了根据输入图像生成阴影分量图像，CPU 201将输入图像分割成块并分析各个块的辉度值(亮度信息)。CPU 201计算各个块内具有最大辉度值的像素的红色(R)、绿色(G) 和蓝色(B)分量的像素值作为代表像素值。根据本示例性实施例，输入图像被分割成32×32块。在块中包括背景区域(例如，纸原稿或白板的白色区域)的情况下，可以正确地获取阴影分量。另一方面，当在诸如照片和图的大对象的影响下，在块中不包括背景区域的情况下，难以获取正确的阴影分量。因此，对于与周边块相比非常暗的块，通过使用周边块的代表值来校正像素值。例如，在通过从邻近块中的像素的最大辉度值减去特定块中的像素的最大辉度值而获得的值等于或大于预定值的情况下，CPU 201以这样的方式进行校正：使用邻近块的代表像素值作为特定块的代表像素值。以这种方式，针对输入图像的各个块获得一个代表像素值。仅由所计算的各块的代表像素值构成的图像是输入图像的缩小版本，该图像具有由分割块的数量限定的像素数。

根据本示例性实施例，获得具有32×32块的各代表像素值的32×32 像素的图像。然后，CPU 201对该缩小图像进行放大处理，使得图像包括与输入图像相同数量的像素，从而生成阴影分量图像。然后，CPU 201 基于阴影分量图像和输入图像来校正输入图像的像素值。例如，CPU 201 将输入图像的像素值除以阴影分量图像的像素值，将该商乘以表示白色的像素值(辉度值)255，并将所得值设置为校正的像素值。可选地，CPU 201也可以将输入图像的像素值除以基于阴影分量图像的像素值与输入图像的像素值之间的差而获得的值，将所得值乘以255，并将所得值设置为校正的像素值。如上所述，通过分析输入图像表面内的亮度信息来获得阴影分量图像(图像表面内的像素值校正信息)，并且基于阴影分量图像校正输入图像的各个像素值。

在步骤S503中，CPU 201对在步骤S502中获得的、经过了阴影去除处理的图像进行锐化处理。已知的锐化处理是适用的。例如，通过以下系数(3×3矩阵)实现的8邻域滤波器被应用于经过了阴影去除处理的图像的各个像素。

如上所述，在该步骤中获得的图像是第一校正模式中的校正结果。

在步骤S504中，CPU 201进行用于从输入图像中去除照明不均匀性和诸如阴影的亮度不均匀性的阴影去除处理。尽管该步骤中的阴影去除处理可以与步骤S502中的处理相似，但是根据本示例性实施例CPU 201 进行阴影去除处理以使得更容易使图像变白。根据本示例性实施例，在类似于步骤S502中的处理的阴影去除处理过程中，CPU 201将输入图像分割为具有比步骤S502中的块大小更小的块，即128×128块。这使得更容易估计浓度快速变化的背景区域中的阴影分量。此外，CPU 201使用上凸的色调曲线进行色调曲线校正处理，以获得阴影去除背景区域的辉度比在步骤S502中获得的阴影去除图像的辉度更高的阴影去除图像。

在步骤S505中，CPU 201进行用于从输入图像中提取诸如文本部分等的前景区域的前景提取处理。CPU 201通过对输入图像进行灰度转换，然后使用阈值映射(map)图像(该阈值映射图像用于将用于输入图像的各个像素的二值化阈值的排列表示为图像)进行二值化处理，来实施前景提取处理。类似于步骤S504中的阴影去除处理，阈值映射图像使用根据输入图像估计的阴影分量图像。步骤S505中的阴影分量图像与步骤 S504中的阴影分量图像的不同之处在于，使用辉度表示形式而不是红色、绿色和蓝色(RGB)表示形式。用于生成阈值映射的方法不限于上述方法，并且可应用已知的方法。例如，可以使用通过Otsu方法获得的针对整个图像表面的统一阈值作为阈值映射。为了描述起见，假定灰度图像和阈值映射二者由各自由8位表示的像素值构成，并且像素值0表示黑色且像素值255表示白色。输出二值图像由各自由1位表示的像素值构成，并且像素值0表示白色且像素值1表示黑色。在坐标(x，y)的情况下，灰度图像的像素值由g(x，y)表示，阈值映射的像素值由t(x， y)表示，并且输出二值图像的像素值由b(x，y)表示。CPU 201将在坐标(x，y)的情况下，灰度图像的像素值g(x，y)与阈值映射的像素值t(x，y)进行比较，以确定二值图像的像素值b(x，y)是0还是1，然后生成二值图像。

当g(x，y)≥t(x，y)时，b(x，y)＝0(白色像素)。当g(x，y) <t(x，y)时，b(x，y)＝1(黑色像素)。

以这种方式获得的二值图像中由黑色像素表示的区域是表示文本部分或照片部分(photographic portion)的前景区域。

在步骤S506中，CPU 201进行前景校正处理，以对在步骤S505中提取的前景区域当中的文字部分进行例如替换处理或单色化(用单一颜色替换部分的颜色)。CPU 201通过使用在步骤S505中获得的二值图像来识别在步骤S504中经过了阴影去除处理的图像中的文本部分。更具体地， CPU 201对作为前景部分提取的黑色像素进行标记处理，以提取邻近的黑色像素组作为具有相同标记的一个区域(标记区域)。然后，CPU 201 进行属性确定以确定各个区域是文本部分还是非文本部分(例如，照片部分)。

用于属性确定的已知技术是适用的。例如，CPU 201计算与标记区域相对应的、在步骤S504中经过了阴影去除处理的图像区域中的像素的YUV颜色空间中的色散(例如，U值的方差值和V值的方差值)。当色散值小于阈值时(当满足预定颜色条件时)，CPU 201确定标记区域(和经过了阴影去除处理的对应图像部分)是文本部分。更具体地，CPU 201 识别在经过了阴影去除处理的图像中相似颜色占主导的图像部分(具有相对较多数量的相似颜色的图像部分)。作为另一种属性确定方法，例如， CPU 201针对与标记区域相对应的、经过了阴影去除处理的图像区域中的像素，计数具有相似色差值的像素的数量(具有在阈值范围内的差的U 值和V值)。像素数量与标记区域中的像素总数量的比超过阈值的情况下 (当满足预定颜色条件时)，CPU 201可以确定标记区域是文本部分。

然后，CPU 201可以替换或单色化在属性确定处理中确定为文本部分的标记区域。更具体地，CPU 201进行诸如替换处理或单色化处理等的处理，替换处理或单色化处理用于用多个准备的替换颜色(多个预定不同颜色)中的一个颜色替换经过了阴影去除处理的图像当中的、相似颜色占主导的图像部分的颜色。根据本示例性实施例，多个预定颜色包括黑色(R＝G＝B＝0)，红色(R＝255，G＝B＝0)，蓝色(B＝255，R＝ G＝0)，和绿色(G＝255，R＝B＝0)，它们是白板标志的代表性颜色。不包括这四种颜色中的任一者的相似颜色区域可以用该区域的平均颜色替换或单色化。为了确定该替换颜色，CPU 201使用与各个标记区域相对应的、经过了阴影去除处理的图像部分在YUV颜色空间中的平均颜色。更具体地，YUV颜色空间中的黑色、红色、蓝色和绿色的范围是预定的。如果与各个标记区域相对应的、经过了阴影去除处理的图像部分的平均颜色满足四个指定标记颜色的范围中的任何一个，则CPU201将四种颜色中的一种颜色设置为替换颜色。另一方面，如果平均颜色不满足四个指定标记颜色的范围中的任何一个，则CPU 201将图像部分的平均颜色设置为替换颜色。CPU 201可以用以此方式确定的替换颜色替换或单色化标记区域，并且可以将替换或单色化的标记区域重写到在步骤 S504中获得的、经过了阴影去除处理的图像上。更具体地，经过了阴影去除处理的图像当中的、与标记区域对应的图像部分可以被替换或单色化。该处理使得更容易区分文本部分的颜色，并且用单一颜色统一原本以相同颜色表示的多个文本的颜色。通过仅对文本部分的轮廓部分(替换或单色化部分)进行平滑处理，CPU 201可以获得经过了阴影去除处理和仅对文本部分的替换或单色化的图像，作为第二图像校正模式的校正结果。

下面将参照图6来描述第一图像校正模式和第二图像校正模式的图像校正处理的效果。

图像601和602是图5所示的流程图中描述的输入图像(图3所示的步骤S304中获得的经过了失真校正的图像)。输入图像601是作为被摄体的表单原稿的拍摄图像的示例。输入图像601包括以灰度表示的公司徽标607和非白色的背景区域608和609。输入图像602是作为被摄体的白板的拍摄图像的示例。输入图像602包括用黑色标志绘制的文本部分 616，用红色标志绘制的文本部分617和用蓝色标志绘制的文本部分618。

图像603和604是作为图5所示的步骤S503中的处理的结果获得的第一图像校正模式的输出图像。输出图像603和604分别表示对输入图像601和602进行输出的结果。输出图像605和606是作为图5所示的步骤S506中的处理的结果获得的第二图像校正模式的输出图像。输出图像605和606分别表示对输入图像601和602进行输出的结果。

在第一图像校正模式中，不能被校正为白色的背景区域(例如背景区域622)可能出现在包括急剧浓度差的图像中。然而，在保持非白色背景区域611和612的辉度的同时，可以去除图像中包括的辉度不均匀性。由于不进行文本替换或单色化，因此可以在保持以灰度表现的公司徽标 610与原稿的相似性并保持公司徽标610的可见性的同时进行校正处理。

在第二图像校正模式中，可以通过前景提取来替换或单色化文本部分，如徽标613所示，以灰度表现的区域被替换或单色化。这意味着，与输出图像603中的徽标610相比，徽标613的外观在很大程度上不同于徽标607。另一方面，用不同颜色标志绘制的文本部分623，624和625 被统一为适用的单一颜色，因此与文本部分619，620和621相比可以在很大程度上提高可视性。当进行阴影去除处理以增加背景区域的辉度时，甚至非白色背景区域614和615可以被校正为白色。然而，如背景区域 626所示，即使在背景部分包括急剧浓度差的图像中，也可以适当地校正背景区域。

根据本示例性实施例，在对拍摄图像进行校正时，可以根据用户指令来选择替换或单色化或者不替换或单色化前景部分。这使得可以将被替换或单色化的图像输出到输出目的地，将未被替换或单色化的图像输出到输出目的地。

尽管在本示例性实施例中，用户指令确定被替换或单色化图像或者未被替换或单色化的图像中的哪一者将被输出到输出目的地，但是可以将两个图像都输出到输出目的地。在这种情况下，用户只需要在之后删除任一个不必要的图像。重要的是，根据本示例性实施例的便携式终端能够将两个图像都输出到输出目的地。

根据第一示例性实施例，CPU 201在进行前景替换或单色化(开)与不进行前景替换或单色化(OFF)之间改变操作。根据本示例性实施例， CPU 201不仅进行用于开启或关闭前景替换或单色化的处理，而且还进行用于在开启替换或单色化时改变用于提取前景部分的方法的处理。以下仅描述与第一示例性实施例的不同之处。

<根据第二示例性实施例的图像校正处理(S305)的详细描述>

图7是例示根据本示例性实施例的作为图3所示的步骤S305中的图像校正处理进行的处理过程的流程图。

在步骤S701中，CPU 201获取图像校正模式以确定当前模式。在所获取的图像校正模式是第一图像校正模式(步骤S701中为“第一图像校正模式”)的情况下，处理进行到步骤S702。另一方面，在所获取的图像校正模式是第二图像校正模式或第三图像校正模式(步骤S701中为“第二图像校正模式/第三步校正模式”)的情况下，处理进行到步骤S704。

步骤S702至S704中的处理与图5中所示的步骤S502至S504中的处理类似。

在步骤S705中，CPU 201获取图像校正模式以确定当前模式。在所获取的图像校正模式是第二图像校正模式(步骤S705中为“第二图像校正模式”)的情况下，处理进行到步骤S706。另一方面，在所获取的图像校正模式是第三校正模式(步骤S705中为“第三图像校正模式”)的情况下，处理进行到步骤S707。CPU 201确定用户关于前景替换或单色化的指定是第一指定还是第二指定。

在步骤S706中，CPU 201进行与图5中所示的步骤S505类似的处理。

在步骤S707中，CPU 201进行用于从输入图像(经过了失真校正的图像)提取诸如文本部分的前景部分的前景提取处理。步骤S707中的前景提取处理与步骤S706中的前景提取处理(步骤S505)的不同之处在于要使用的阈值映射。在步骤S707中，为了提取具有与阈值映射的像素值接近的像素值的淡文本作为前景部分，CPU 201使用如下阈值映射：其中，在步骤S706中使用的阈值映射的像素值被统一递增5。这使得可以提取比步骤S706中更多数量的区域作为前景部分。例如，在步骤S706 中未提取的淡文本部分将被提取为前景部分。可以仅需要根据该步骤中使用的阈值映射而获得与步骤S706中的前景提取结果不同的前景提取结果。因此，阈值映射的像素值不一定需要从在步骤S706中使用的阈值映射的像素值统一递增5。在步骤S706中用于前景提取的阈值映射的阈值可以统一减小，或者可以使用通过与步骤S706中的算法不同的算法获得的阈值映射。更具体地，根据本示例性实施例的便携式装置可以通过实施步骤S706和S707来提供可变化的前景提取水平。

步骤S708中的处理与图5中所示的步骤S506中的处理类似。

只要通过用户经由操作单元208发出的指令来改变阈值映射，就可以不必根据校正模式来改变在步骤S705至S707中实施的前景提取中要使用的阈值映射。例如，还可以通过使用滑动条从基准值接收指定的阈值调整量，并且在进行前景提取之前根据指定的调整量来调整阈值映射。

下面将参照图8描述根据本示例性实施例的第三图像校正模式的图像校正处理的效果。

图像801是图3所示的步骤S304中获得的经过了失真校正的图像，并且是经过了图像校正处理的输入图像。输入图像801是作为被摄体的白板的拍摄图像的示例，并且包括用淡标志绘制的文本部分805。图像 802是作为图7中所示的步骤S703中的处理的结果而获得的第一图像校正模式的输出图像。图像803和804分别是当在图7所示的步骤S705中获取第二图像校正模式和第三图像校正模式时，作为步骤S708中的处理的结果而获得的输出图像。

如文本部分806所示，在第一图像校正模式中，具有与背景区域的辉度接近的辉度的淡文本部分在阴影去除处理后颜色变淡。如文本部分807 所示，在第二图像校正模式中，通过二值化的前景提取可能失败。然而，在第三图像校正模式中，通过使用于前景提取的阈值映射的像素值统一递增，可以提取与背景区域具有小的辉度差的淡文本部分作为前景部分。

如上所述，根据第二示例性实施例，不仅可以通过开启或关闭前景替换或单色化，而且可以根据用户的指定，通过改变针对前景提取的二值化阈值参数，来改变经过替换或单色化的前景提取的结果。这使得也给用户提供，针对与背景区域具有小的辉度差的前景部分(诸如用淡笔或标志绘制的文本部分)的、改善可视性的图像。

其他实施例

实施例也可以通过如下实现：一种系统或装置的计算机，该系统或装置读出并执行在存储介质(其也可被更充分地称为“非暂态计算机可读存储介质”)上记录的计算机可执行指令(例如，一个或更多个程序)，以执行上述实施例中的一个或更多个的功能，并且/或者，该系统或装置包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路 (例如，专用集成电路(ASIC))；以及由该系统或者装置的计算机执行的方法，例如，从存储介质读出并执行计算机可执行指令，以执行上述实施例中的一个或更多个的功能，并且/或者，控制所述一个或更多个电路以执行上述实施例中的一个或更多个的功能。所述计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或存储介质被提供给计算机。例如，存储介质可以包括如下中的一个或更多个：硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(例如，压缩盘(CD)、数字多功能光盘(DVD)或蓝光光盘(BD)^TM)、闪速存储器装置、存储卡，等等。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU) 读出并执行程序的方法。

虽然针对示例性实施例描述了本发明，但是，应该理解，本发明不限于公开的示例性实施例。权利要求的范围应当被赋予最宽的解释，以便涵盖所有这类变型例以及等同的结构和功能。

Claims (9)

1.一种图像处理装置，所述图像处理装置包括：

获取单元，其被构造为获取图像；

图像处理单元，其被构造为在设置了第一模式的情况下对所获取的图像进行第一图像处理并且被构造为在设置了第二模式的情况下对所获取的图像进行第二图像处理；以及

输出单元，其被构造为在设置了第一模式的情况下将经过了第一图像处理的图像输出，并且被构造为在设置了第二模式的情况下将经过了第二图像处理的图像输出，

其中，第一图像处理包括：

第一去除处理，其用于从所获取的图像去除照明不均匀性和/或亮度不均匀性；以及

锐化处理，其用于对经过了第一去除处理的图像进行锐化，并且

其中，第二图像处理包括：

第二去除处理，其用于从所获取的图像去除照明不均匀性和/或亮度不均匀性；

前景提取处理，其用于通过对经过了第二去除处理的图像进行二值化处理来提取前景区域；以及

替换处理，其用于从所提取的前景区域中识别文本部分和照片部分，并且如果与所识别的文本部分相对应的颜色满足从多个预定不同颜色中选择的一种颜色的范围，则在经过了第二去除处理的图像上，基于与所识别的文本部分相对应的颜色，用从所述多个预定不同颜色中选择的所述一种颜色来替换与所识别的文本部分相对应的颜色，其中对经过了第二去除处理的图像上的所识别的照片部分不进行替换，并且其中如果与所识别的文本部分相对应的颜色不满足所述多个预定不同颜色中的范围中的任一范围，则替换处理进一步在经过了第二去除处理的图像上，用所识别的文本部分的平均颜色替换与所识别的文本部分相对应的颜色。

2.根据权利要求1所述的图像处理装置，其中，基于用户指令设置第一模式或第二模式。

3.根据权利要求1所述的图像处理装置，其中，预定不同颜色是白板标志的代表性颜色。

4.根据权利要求3所述的图像处理装置，其中，代表性颜色包括黑色、红色、蓝色和绿色。

5.根据权利要求1所述的图像处理装置，其中，所述输出目的地是由用户指定的输出目的地。

6.根据权利要求1所述的图像处理装置，

其中，基于通过将所获取的图像分割成块并且分析各个块的亮度信息而获取的像素值校正信息，对所获取的图像进行第一去除处理和第二去除处理，并且其中在第二去除处理中分割的块的大小小于在第一去除处理中分割的块的大小。

7.根据权利要求6所述的图像处理装置，所述图像处理装置还包括几何校正单元，所述几何校正单元被构造为对要处理的图像的一部分进行几何校正，其中，对经过了几何校正的图像进行第一图像处理或第二图像处理。

8.根据权利要求1所述的图像处理装置，

其中，图像处理装置包括拍摄被摄体的图像的照相机单元，并且

其中，所获取的图像是由照相机单元拍摄的图像。

9.一种图像处理方法，所述图像处理方法包括：

获取步骤，获取图像；

第一图像处理步骤，在设置了第一模式的情况下对所获取的图像进行第一图像处理；

第一输出步骤，在设置了第一模式的情况下将经过了第一图像处理的图像输出；

第二图像处理步骤，在设置了第二模式的情况下对所获取的图像进行第二图像处理；

第二输出步骤，在设置了第二模式的情况下将经过了第二图像处理的图像输出，

其中，第一图像处理包括：

第一去除处理，其用于从所获取的图像去除照明不均匀性和/或亮度不均匀性；以及

锐化处理，其用于对经过了第一去除处理的图像进行锐化，并且

其中，第二图像处理包括：

第二去除处理，其用于从所获取的图像去除照明不均匀性和/或亮度不均匀性；

前景提取处理，其用于通过对经过了第二去除处理的图像进行二值化处理来提取前景区域；以及

替换处理，其用于从所提取的前景区域中识别文本部分和照片部分，并且如果与所识别的文本部分相对应的颜色满足从多个预定不同颜色中选择的一种颜色的范围，则在经过了第二去除处理的图像上，基于与所识别的文本部分相对应的颜色，用从所述多个预定不同颜色中选择的所述一种颜色来替换与所识别的文本部分相对应的颜色，其中对经过了第二去除处理的图像上的所识别的照片部分不进行替换，并且其中如果与所识别的文本部分相对应的颜色不满足所述多个预定不同颜色中的范围中的任一范围，则替换处理进一步在经过了第二去除处理的图像上，用所识别的文本部分的平均颜色替换与所识别的文本部分相对应的颜色。

Images