CN1622589A - 图像处理方法以及图像处理装置 - Google Patents

Abstract

本发明提供图像处理方法以及图像处理装置。提供一种求在多灰度图像的局部区域中的适宜的阈值，使用该阈值可以得到能够从背景中高精度分离对象的2值化图像的图像处理方法。用图像全体制成直方图，在求在最大频度中的参照亮度值和参照阈值的比后，把图像分割为局部区域，制成在各局部区域中的直方图，求解最大频度中的亮度值，通过在此值上乘以参照亮度值和参照阈值的比求在局部区域中的阈值，使用该阈值进行局部区域内的2值化。

Description

图像处理方法以及图像处理装置

技术领域

本发明在图像处理方法中，特别涉及把采用一般的数字照相机拍摄等得到的具有多灰度的图像数据变更为2值图像数据的，进行2值化处理的图像处理方法以及图像处理装置。

背景技术

例如作为OCR(光学字符阅读器)的前处理，在用照相机和扫描仪等把写在纸上的文字作为具有大于等于3个灰度的多灰度的图像数据，即浓淡图像读取后，需要将文字区域和背景区域进行分离的2值化处理。在这种情况下，有这样的方法，即，把某一定的阈值作为基准，把比阈值大的灰度值，即具有明亮的值的部分作为成为背景的纸区域变换为1这一值，把此值以下的灰度值，即具有暗的值的部分作为文字区域变换为0这一值。但是，在此方法中有因照明的不均匀等，存在将背景部分局部变为0被作为文字区域识别，不能准确地读取文字等的问题。

另外，通过这样将多灰度图像进行2值化处理，从背景区域分离对象图像的方法，还被用于从显微镜图像中分离细菌等的摄影对象，求摄影对象的位置和数量等中。图2是分别展示用数字照相机拍摄显微镜图像得到的具有多灰度的元图像201、想通过2值化此元图像201取得的，作为目的的2值化图像205、使用以往的固定阈值的方法2值化上述元图像201的结果得到的2值化图像206。

元图像201是每一象素具有256灰度的多值灰度的图像。在此图像中，因照明的不均匀致使纸面右侧部分变暗。在此元图像201中拍摄有细菌202～204，如可以求它们的位置和数量那样的图像，即2值图像205所示，其目的是得到分离为细菌和背景的2值图像。但是，当使用固定的阈值2值化上述元图像201的情况下，例如在阈值中使用“128”，在元图像201的各象素中，当把比“128”大的置换为白，把小于等于“128”的转换为黑的情况下，得到的图像成为2值化图像206所示的图像。

在此2值化图像206中，细菌203小于等于阈值128，并且因为其周边比阈值128大，所以可以正常地检测。但是，因为图像的纸面右侧部分暗，所以在图像右侧上背景是阈值以下的值，和细菌一样背景也是黑色，细菌204被埋在背景中。相反地，因为细菌在照明强时成为比阈值大的值，为白色。其结果，把细菌等的拍摄对象从背景中分离，准确地求它们的位置和数量是困难的。

作为解决这样的问题的方法，提出了把图像分割为局部区域，把此局部区域的平均值作为基础，独立决定每个局部区域的阈值的方法(例如，参照专利文献1(专利第3240389号说明书))。

以往的图像处理方法如上述那样构成，为了消除在2值化时使用单一的阈值产生的异常，采用在每个局部区域上独立决定阈值的方法，但因为以在局部区域上的亮度的平均值为基础确定阈值，所以例如即使是必须以同样的亮度设置成同样的阈值的情况下，因为在想从背景中分离的对象物的密度高的部分中亮度平均值小，所以不能得到使阈值设定得低一些等适宜的阈值，存在有可能不能得到作为目的的2值化图像的问题。

发明内容

本发明就是为了消除上述的问题而提出的，其目的在于提供一种求多灰度图像的局部区域中的适宜的阈值，用该阈值可以得到能够从背景中高精度分离对象物的2值化图像的图像处理方法、以及图像处理装置。

本发明的技术方案1的图像处理方法是从成为元图像的浓淡图像中生成2值化图像的图像处理方法，包括：生成元图像的全体或者一部分区域内的灰度直方图的步骤；基于该直方图求解第1参照亮度值以及2值化时成为阈值的参照阈值，把第1参照亮度值和参照阈值的比作为亮度比进行存储的步骤；在元图像的局部区域中生成局部直方图的步骤；基于该局部直方图求解第2参照亮度值，通过第2参照亮度值和上述亮度值比的运算求解2值化的阈值，用该阈值将元图像的上述局部区域附近区域的图像进行2值化的步骤。

另外，本发明的技术方案2的图像处理方法在上述图像处理方法中，用和上述第1参照亮度值相同的处理来求得基于上述局部直方图所求解的上述第2参照亮度值。

另外，本发明的技术方案3的图像处理方法在上述图像处理方法中，上述第1参照亮度值以及第2参照亮度值设置成表示各直方图的最大值的点的亮度值。

另外，本发明的技术方案4的图像处理方法在上述图像处理方法中，上述第1参照亮度值以及第2参照亮度值设置成对各直方图施加了低通滤波后所得到的表示最大值的点上的亮度值。

另外，本发明的技术方案5的图像处理方法在上述图像处理方法中，把上述参照阈值设置成与上述元图像的全体或者一部分区域内的直方图的最大值相邻的凹部分中的亮度值。

另外，本发明的技术方案6的图像处理方法在上述图像处理方法中，当与上述直方图的最大值相邻的凹部分不存在的情况下，把上述直方图的拐点的亮度值作为上述参照阈值。

另外，本发明的技术方案7的图像处理方法在上述图像处理方法中，作为上述参照阈值求解与上述元图像的全部或者一部分区域中的直方图的最大值相邻的局部凸部分中的亮度值和该直方图表示最大值的点的亮度值，使用包含在两亮度值之间的值。

另外，本发明的技术方案8的图像处理方法在上述图像处理方法中，在上述元图像的全体或者一部分区域内的直方图的最大值附近，把上述参照阈值设置成对于该最大值具有预先确定的比率的值的位置上的亮度值。

另外，本发明的技术方案9的图像处理方法在上述图像处理方法中，在上述元图像的全体或者一部分区域内的直方图的最大值附近，把成为对于该最大值具有预先确定的比率的值的位置上的亮度值作为参考亮度值求解，把上述最大值的亮度值作为中心，将上述参照阈值设置成在和上述所求得的参考亮度值对称的位置上的亮度值。

另外，本发明的技术方案10的图像处理方法在上述图像处理方法中，把上述元图像全体分割为多个局部区域，在每个区域上独立设置阈值并进行2值化。

另外，本发明的技术方案11的图像处理方法在上述图像处理方法中，把上述图像全体分割为多个局部区域，在每个局部区域上独立设置阈值，当阈值和接近的局部区域的阈值相比存在与预先确定的值相比差异大的局部区域的情况下，通过使用接近的其它局部区域的阈值的计算再设定此局部区域的阈值。

另外，本发明的技术方案12的图像处理方法在上述图像处理方法中，在求解上述亮度比时，从第1参照亮度值和参照阈值中分别减去基于背景特性的不需要的值。

另外，本发明技术方案13的图像处理装置是从成为元图像的浓淡图像中生成2值化图像的图像处理装置，其特征在于包括：存储上述浓淡图像的多灰度的图像数据，把该存储的图像数据的全体或者特定的区域作为对象图像数据进行输出的存储装置；生成上述对象图像数据的灰度直方图的直方图生成装置；基于该直方图求解第1参照亮度值以及2值化时成为阈值的参照阈值，把该第1参照亮度值和该参照阈值的比作为参照亮度比输出的参照亮度比生成装置；在把上述对象图像数据分割为多个局部区域并输出的同时，输出对上述对象图像数据的分割信息的图像分割装置；在各局部区域中生成局部直方图的局部直方图生成装置；基于该局部直方图求解第2参照亮度值的局部区域参照亮度值生成装置；通过上述第2参照亮度值和上述参照亮度比的运算求解2值化阈值的阈值生成装置；用上述2值化阈值基于上述分割信息在上述每一局部区域上把上述对象图像数据进行2值化，生成上述对象图像数据的2值化图像数据的2值化装置。

另外，本发明的技术方案14的图像处理装置，在技术方案13所述的图像处理装置中其特征在于：上述直方图生成装置，以及上述局部直方图生成装置用同样的处理求解上述第1参照亮度值以及上述第2参照亮度值。

另外，本发明的技术方案15的图像处理装置，在技术方案14所述的图像处理装置中其特征在于：上述第1参照亮度值以及上述第2参照亮度值设置表示各直方图的最大值的点的亮度值。

另外，本发明的技术方案16的图像处理装置，在技术方案14所述的图像处理装置中其特征在于：上述第1参照亮度值以及上述第2参照亮度值设置在表示在对各直方图实施低通滤波后所得到的最大值的点上的亮度值。

另外，本发明的技术方案17的图像处理装置，在技术方案13所述的图像处理装置中其特征在于：上述参照亮度比生成装置把与在上述对象图像数据中的直方图的最大值相邻的凹部分中的亮度值设置成上述参照阈值。

另外，本发明的技术方案18的图像处理装置，在技术方案17所述的图像处理装置中其特征在于：当在上述直方图的最大值中不存在凹部分的情况下，把在上述直方图的拐点的亮度值作为上述参照阈值。

另外，本发明的技术方案19的图像处理装置，在技术方案13所述的图像处理装置中其特征在于：上述参照亮度比生成装置求解与在上述对象图像数据中的直方图的最大值相邻的局部凸部分中的亮度值和该直方图表示最大值的点的亮度值，把包含在两亮度值之间的值作为上述参照阈值。

另外，本发明的技术方案20的图像处理装置，在技术方案13所述的图像处理装置中其特征在于：上述参照亮度比生成装置在上述对象图像数据中的直方图的最大值附近，把处于对该最大值预先确定的比率的值的位置上的亮度值作为上述参照阈值。

另外，本发明的技术方案21的图像处理装置，在技术方案13所述的图像处理装置中其特征在于：上述参照亮度比生成装置在上述对象图像数据中的直方图最大值附近，把处于对该最大值预先确定的比率值的位置上的亮度值作为参考亮度值，把上述最大值中的亮度值作为中心，把处于和上述求得的参考亮度值对称位置上的亮度值作为上述参照阈值。

另外，本发明的技术方案22的图像处理装置，在技术方案13所述的图像处理装置中其特征在于：上述阈值生成装置具备：存储各局部区域阈值的阈值存储器；把被存储在上述阈值存储器中的特定的局部区域的阈值和在周围局部区域上的阈值进行比较的阈值比较单元；在上述阈值比较单元中比较后的上述特定局部区域的阈值与上述周围的局部区域中的阈值进行比较，当具有大于等于预先确定的值的差的情况下，把上述特定局部区域的阈值置换为在上述周围的局部区域中的阈值的平均值的阈值判断变更装置。

另外，本发明的技术方案23的图像处理装置，在技术方案13所述的图像处理装置中其特征在于：被用于照相机内置型手机的名片读取装置。

如果采用本发明的技术方案1的图像处理方法，则是从成为元图像的浓淡图像中生成2值化图像的图像处理方法，因为包含：生成元图像的全体或者一部分区域内的灰度直方图的步骤；基于该直方图求解第1参照亮度值以及2值化时成为阈值的参照阈值，把第1参照亮度值和参照阈值的比作为亮度比进行存储的步骤；在元图像的局部区域中生成局部直方图的步骤；基于该局部直方图求解第2参照亮度值，通过第2参照亮度值和上述亮度值比的运算求解2值化的阈值，用该阈值将元图像的上述局部区域附近区域的图像进行2值化的步骤，所以具有以下效果，在图像全体上制成直方图，求在最大频度中的参照亮度值和参照阈值的比后，把图像分割成局部区域，制成在各局部区域上的直方图，统计在最大频度中的亮度值，通过在此值上乘以参照亮度值和参照阈值的比求在局部区域中的阈值，通过使用此阈值进行局部区域内的2值化，求在多灰度图像局部区域上的适宜的阈值，可以得到使用该阈值能够从背景中高精度分离对象物的2值化图像。

另外，如果采用本发明技术方案2的图像处理方法，则在技术方案1所述的图像处理方法中，因为用和上述第1参照亮度值相同的处理来求得基于上述局部直方图所求解的上述第2参照亮度值，所以求用于得到能够从背景中高精度分离对象物的2值化图像的，在多灰度图像的局部区域中适宜的阈值。

另外，如果采用本发明技术方案3的图像处理方法，则在技术方案2所述的图像处理方法中，因为上述第1参照亮度值以及第2参照亮度值设置成表示各直方图的最大值的点的亮度值，所以可以求得用于得到能够从背景中高精度分离对象物的2值化图像的，在多灰度图像的局部区域中适宜的阈值。

另外，如果采用本发明技术方案4的图像处理方法，则在技术方案2所述的图像处理方法中，因为上述第1参照亮度值以及第2参照亮度值设置成对各直方图施加了低通滤波后所得到的表示最大值的点上的亮度值，所以可以求得用于得到能够从背景中高精度分离对象物的2值化图像的，在多灰度图像的局部区域中的适宜的阈值。

另外，如果采用本发明技术方案5的图像处理方法，则在技术方案1所述的图像处理方法中，因为把上述参照阈值设置成与上述元图像的全体或者一部分区域内的直方图的最大值相邻的凹部分中的亮度值，所以可以求用于得到能够从背景中高精度分离对象物的2值化图像的，多灰度图像的局部区域中的适宜的阈值。

另外，如果采用本发明技术方案6的图像处理方法，则在技术方案5所述的图像处理方法中，因为当与上述直方图的最大值相邻的凹部分不存在的情况下，把上述直方图的拐点的亮度值作为上述参照阈值，所以可以求用于得到能够从背景中高精度分离对象物的2值化图像的，在多灰度图像的局部区域中的适宜的阈值。

另外，如果采用本发明技术方案7的图像处理方法，则在技术方案1所述的图像处理方法中，作为上述参照阈值求解与上述元图像的全部或者一部分区域中的直方图的最大值相邻的局部凸部分中的亮度值和该直方图表示最大值的点的亮度值，使用包含在两亮度值之间的值，所以可以求用于得到能够从背景中高精度分离对象物的2值化图像的，在多灰度图像的局部区域中的适宜的阈值。

另外，如果采用本发明技术方案8的图像处理方法，则在技术方案1所述的图像处理方法中，因为在上述元图像的全体或者一部分区域内的直方图的最大值附近，把上述参照阈值设置成对于该最大值具有预先确定的比率的值的位置上的亮度值，所以可以求用于得到能够从背景中高精度分离对象物的2值化图像的，在多灰度图像的局部区域中的适宜的阈值。

另外，如果采用本发明技术方案9的图像处理方法，则在技术方案1所述的图像处理方法中，因为在上述元图像的全体或者一部分区域内的直方图的最大值附近，把成为对于该最大值具有预先确定的比率的值的位置上的亮度值作为参考亮度值求解，把上述最大值的亮度值作为中心，将上述参照阈值设置成在和上述所求得的参考亮度值对称的位置上的亮度值，所以可以求用于得到能够从背景中高精度分离对象物的2值化图像的，在多灰度图像的局部区域中的适宜的阈值。

另外，如果采用本发明技术方案10的图像处理方法，则在技术方案1所述的图像处理方法中，因为把上述元图像全体分割为多个局部区域，在每个区域上独立设置阈值并进行2值化，所以可以求用于得到能够从背景中高精度分离对象物的2值化图像的，在多灰度图像的局部区域中适宜的阈值。

另外，如果采用本发明技术方案11的图像处理方法，则在技术方案10所述的图像处理方法中，因为把上述图像全体分割为多个局部区域，在每个局部区域上独立设置阈值，当阈值和接近的局部区域的阈值相比存在与预先确定的值相比差异大的局部区域的情况下，通过使用接近的其它局部区域的阈值的计算再设定此局部区域的阈值，所以可以求用于得到能够从背景中高精度分离对象物的2值化图像的，在多灰度图像的局部区域中适宜的阈值。

另外，如果采用本发明技术方案12的图像处理方法，则在技术方案1所述的图像处理方法中，因为在求解上述亮度比时，从第1参照亮度值和参照阈值中分别减去基于背景特性的不需要的值，所以可以求用于得到能够从背景中高精度分离对象物的2值化图像的，在多灰度图像的局部区域中适宜的阈值。

另外，如果采用本发明技术方案13的图像处理装置，则是从成为元图像的浓淡图像中生成2值化图像的图像处理装置，因为包含：存储上述浓淡图像的多灰度的图像数据，把该存储的图像数据的全体或者特定的区域作为对象图像数据进行输出的存储装置；生成上述对象图像数据的灰度直方图的直方图生成装置；基于该直方图求解第1参照亮度值以及2值化时成为阈值的参照阈值，把该第1参照亮度值和该参照阈值的比作为参照亮度比输出的参照亮度比生成装置；在把上述对象图像数据分割为多个局部区域并输出的同时，输出对上述对象图像数据的分割信息的图像分割装置；在各局部区域中生成局部直方图的局部直方图生成装置；基于该局部直方图求解第2参照亮度值的局部区域参照亮度值生成装置；通过上述第2参照亮度值和上述参照亮度比的运算求解2值化阈值的阈值生成装置；用上述2值化阈值基于上述分割信息在上述每一局部区域上把上述对象图像数据进行2值化，生成上述对象图像数据的2值化图像数据的2值化装置，所以具有求在多灰度图像的局部区域中的适宜的阈值，用该阈值可以得到从背景中高精度分离对象物的2值化图像的效果。

另外，如果采用本发明技术方案14的图像处理装置，则在技术方案13所述的图像处理装置中，因为上述直方图生成装置，以及上述局部直方图生成装置用同样的处理求解上述第1参照亮度值以及上述第2参照亮度值，所以可以求用于得到能够从背景中高精度分离对象物的2值化图像的，在多灰度图像的局部区域中适宜的阈值。

另外，如果采用本发明技术方案15的图像处理装置，则在技术方案14所述的图像处理装置中，因为上述第1参照亮度值以及上述第2参照亮度值设置表示各直方图的最大值的点的亮度值，所以可以求得用于得到能够从背景中高精度分离对象物的2值化图像的，在多灰度图像的局部区域中适宜的阈值。

如果采用本发明的技术方案16的图像处理装置，则在技术方案14所述的图像处理装置中，因为上述第1参照亮度值以及上述第2参照亮度值设置在表示在对各直方图实施低通滤波后所得到的最大值的点上的亮度值，所以可以求用于得到能够从背景中高精度分离对象物的2值化图像的，在多灰度图像的局部区域中适宜的阈值。

如果采用本发明的技术方案17的图像处理装置，则在技术方案13所述的图像处理装置中，因为上述参照亮度比生成装置把与在上述对象图像数据中的直方图的最大值相邻的凹部分中的亮度值设置成上述参照阈值，所以可以求用于得到能够从背景中高精度分离对象物的2值化图像的，在多灰度图像的局部区域中适宜的阈值。

如果采用本发明的技术方案18的图像处理装置，则在技术方案17所述的图像处理装置中，因为当在上述直方图的最大值中不存在凹部分的情况下，把在上述直方图的拐点的亮度值作为上述参照阈值，所以可以求用于得到能够从背景中高精度分离对象物的2值化图像的，在多灰度图像的局部区域中适宜的阈值。

如果采用本发明的技术方案19的图像处理装置，则在技术方案13所述的图像处理装置中，因为上述参照亮度比生成装置求解与在上述对象图像数据中的直方图的最大值相邻的局部凸部分中的亮度值和该直方图表示最大值的点的亮度值，把包含在两亮度值之间的值作为上述参照阈值，所以可以求用于得到能够从背景中高精度分离对象物的2值化图像的，在多灰度图像的局部区域中适宜的阈值。

如果采用本发明的技术方案20的图像处理装置，则在技术方案13所述的图像处理装置中，因为上述参照亮度比生成装置在上述对象图像数据中的直方图的最大值附近，把处于对该最大值预先确定的比率的值的位置上的亮度值作为上述参照阈值，所以可以求用于得到能够从背景中高精度分离对象物的2值化图像的，在多灰度图像的局部区域中适宜的阈值。

如果采用本发明的技术方案21的图像处理装置，则在技术方案13所述的图像处理装置中，因为上述参照亮度比生成装置在上述对象图像数据中的直方图最大值附近，把处于对该最大值预先确定的比率值的位置上的亮度值作为参考亮度值，把上述最大值中的亮度值作为中心，把处于和上述求得的参考亮度值对称位置上的亮度值作为上述参照阈值，所以可以求用于得到能够从背景中高精度分离对象物的2值化图像的，在多灰度图像的局部区域中适宜的阈值。

另外，如果采用本发明的技术方案22的图像处理装置，则在技术方案13所述的图像处理装置中，因为上述阈值生成装置具备：存储各局部区域阈值的阈值存储器；把被存储在上述阈值存储器中的特定的局部区域的阈值和在周围局部区域上的阈值进行比较的阈值比较单元；在上述阈值比较单元中比较后的上述特定局部区域的阈值与上述周围的局部区域中的阈值进行比较，当具有大于等于预先确定的值的差的情况下，把上述特定局部区域的阈值置换为在上述周围的局部区域中的阈值的平均值的阈值判断变更装置，所以可以求用于得到能够从背景中高精度分离对象物的2值化图像的，在多灰度图像的局部区域中适宜的阈值。

另外，如果采用本发明的技术方案23的图像处理装置，则在技术方案13所述的图像处理装置中，因为被用于照相机内置型手机的名片读取装置，所以用内置的照相机拍摄名片，读取名片的文字，可以实现数据库的功能。

附图说明

图1表示本发明实施方式1中的图像处理方法的流程图。

图2是用于说明以往的图像处理方法的图。

图3是展示用于说明本发明的实施方式1中的图像处理方法的，元图像和各部分中的直方图形状的图。

图4是用于说明本发明实施方式1中的图像处理方法的变形例子的图。

图5是用于说明本发明实施方式1中的图像处理方法的变形例子的图。

图6是用于说明本发明实施方式1中的图像处理方法的变形例子的图。

图7是本发明实施方式2中的图像处理装置的方框图。

图8是表示在本发明的实施方式2中的照相机内置型手机的名片读取功能的方框图。

图9是用于说明本发明实施方式2中的阈值判断变更单元的动作的图。

具体实施方式

(实施方式1)

图3是用于说明本发明实施方式1的图像处理方法原理的图，是表示大于等于3个灰度的多灰度的元图像300，即具有浓淡的元图像和在其各区域中的直方图的图。作为元图像使用拍摄了细菌的图像。直方图303是元图像300的局部区域301中的亮度值的直方图。

此直方图303是把包含在局部区域301中的全部象素的亮度值用其频度表示的图，在纸面左面取暗的象素，即亮度值0，在纸面右面取亮的象素，即亮度值255，把表示各自的亮度值的象素数作为纵轴。在局部区域301中因为背景部分具有最大的面积，所以在直方图303中背景的亮度A附近的象素数最多。另外，具有亮度B的亮度的细菌部分作为小的峰值显现。在局部区域301中，通过把亮度C作为阈值可以分解细菌和背景。

同样，直方图304是在元图像300的局部区域302中的亮度值的直方图。局部区域302与局部区域310相比因为全体暗，所以此直方图304与直方图303相比则具有靠近纸面左侧的形状。即使在局部区域302中，也是因为背景部分也具有最大的面积，所以在直方图304中背景的亮度D附近的象素数最多。另外，具有亮度E的亮度的细菌部分作为小的峰值显现。在局部区域302中，通过把亮度值F设置为阈值，可以分离细菌和背景。

直方图305是元图像300整体亮度值的直方图。此直方图305因为是补足以局部区域301、302为首的全部区域的直方图的图，所以各峰值是不陡的峰值，在背景部分最多象素的亮度G部分，和在细菌部分的最多象素的亮度H部分上分别显现峰值。亮度I是区分背景和细菌部分的亮度，但当把此值作为图像全体的阈值2值化的情况下，因为由于此值I在直方图303所示的亮度B以下，因而在局部区域301中把细菌部分判断为背景，所以不能进行正常的处理。

因此，假设通过在每个局部区域上分别使用适宜的阈值2值化，可以从背景图像中得到对象物，在此得到可以高精度地分离细菌的图像的2值化图像，在确定此阈值时，解析每个局部区域的物理性质。例如，对于所给予的光假设背景部分具有50％的反射率，细菌部分具有10％的反射率。于是如果设给予局部区域301的光强度是X，则具有亮度A是A＝0.5X，亮度B是B＝0.1X这一关系。如果把阈值设置为亮度A和亮度B的中间值C，则是具有亮度C是C＝(0.5X+0.1X)/2＝0.3X这一值的值。如果从A和C的关系中删除X，则具有C＝0.6A这一关系。同样对于在局部区域302中的亮度D和阈值F的关系，也是F＝0.6D这一关系，在全部的局部区域中的阈值作为在背景部分的亮度上乘以同样系数的阈值被给出。进而，用同样的方法，在局部区域中的阈值也可以通过在细菌部分的亮度上乘以相同的系数来求得，但如本图像所示当背景部分的区域大的情况下，因为可以最稳定地求得背景部分的亮度，所以假设在背景部分的亮度上乘以系数求阈值。

另外，所乘的系数在元图像300的全体的直方图305、或者以它为基准的大的区域的直方图中，可以通过取得成为背景的峰值部分G和阈值I的比稳定地求得。

依据以上所述，以下用图1说明采用本实施方式1的图像处理方法的对元图像进行2值化的顺序。图1是涉及本实施方式1的图像处理方法的处理流程的图。进而，在此，说明对具有1000×1000象素大小、各象素具有白黑256灰度的细菌的显微镜图像(元图像)201(参照图2)进行2值化并得到2值图像205的处理时的各步骤。

首先，在步骤S101中，制成在图像全体中的亮度的直方图。在此假设是图像全体，但在图像周边部分暗等的情况下，可以是只切下中央部分的图像中的亮度直方图。这些直方图因为由于干扰等的影响在分布上有离散，所以在步骤S102的处理中在直方图中加入低通滤波。在实际的处理中，通过取前后5个亮度部分的频度的平均值来实现。

在步骤S103中，在加入了低通滤波的直方图中，求表示最大频度的亮度值。以下把它称为参照亮度值。此值意味上述图3中的背景部分的亮度值G。在步骤S104中，从在步骤S103中求得的参照亮度值中在沿着亮度低的方向检索表示极小值的亮度。此部分与图3的亮度I对应，意味用于2值化的阈值。以下称为参照阈值。

在步骤S105中求参照阈值和参照亮度值的比I/G，把它作为J存储。在步骤S106中把元图像201分割为100×100象素的局部区域。局部区域存在纵横10×10个。在步骤S107中在1个局部区域中制成亮度直方图。在此，例如，如果把关注的局部区域认为是图3的局部区域301，则制作直方图303。另外，当把局部区域分割为非常小的区域的情况下，为了提高对干扰的精度，也可以在以局部区域为中心的更大的范围中制成直方图。

在步骤S108中，在各局部区域的直方图中加入低通滤波。在步骤S109中，在加入了低通滤波的直方图中，求解表示最大频度的亮度值。此值相当于图3中的背景部分的亮度值A。在步骤S110中，通过在表示局部区域最大频度的亮度值上乘以上述的J，求解在此局部区域中的阈值。例如如果考虑局部区域301，则通过在亮度值A上乘以J，可以求在区域301中的阈值。在步骤S111中，对全部的局部区域重复从步骤S107至步骤S110的处理。在步骤S112中，对元图像300的全部象素，在每个局部区域上使用对各区域求得的阈值进行2值化，得到最终的2值图像205。

另外，在步骤S104中，从在步骤S103中求得的参照亮度值中沿着亮度值低的方向搜索表示极小值的亮度，用极小值求参照阈值，但如果从直方图305的低亮度一侧搜索极大值，则因为求得的极大值表示细菌的亮度，所以也可以把此亮度值和在步骤S103中求得的背景亮度值的中央值作为参照阈值。

另外，在以上的方法中，在处理步骤104中，是利用极小值和极大值求参照阈值，当根据图像，在这些极大值和极小值不存在的情况下也可以。另外，在采用上述的处理步骤S110的阈值计算方法中，也有用细菌的所在不均匀不能计算正确的阈值的情况。以下，说明这样情况下的参照阈值，以及阈值的计算方法的变形例子。

首先，说明查找参照阈值的计算处理的变形例子。

图4是用于说明在本实施方式1的图像处理方法中的，求参照阈值的处理的变形例的图，展示某一图像的直方图400。在此例子中，因为在元图像内照度变化大，所以背景的亮度分布和细菌的亮度分布重合，在两者之间不存在极大值和极小值。因而，在处理步骤S104中，在从表示最大频度的参照亮度值402沿着亮度低的方向搜索极小值后，当搜索范围内不存在极小值的情况下，把拐点的亮度作为参照阈值403使用。

另外，因为也有不能稳定地求得拐点的情况，所以用图5说明求这种情况下的参照阈值的其它方法。在图5中，把表示直方图500的最大频度501(直方图上的峰值)的亮度值设置为参照亮度值504。在沿着亮度低的方向搜索对此时的频度501预先赋与的值，例如小于等于40％的比率的频度502的亮度。把其结果求得的亮度作为参照阈值503。在此方法中，当知道某一程度的直方图形状的情况下，不太会受到干扰的影响可以可靠地求参照阈值。

另外，上述方法是在低亮度一侧求具有小于等于最大频度501的40％的比率的值的频度502的亮度，但此点因为受细菌数的影响，所以通过利用高亮度一侧求参照阈值，可以排除这种影响。例如，在图6中把表示直方图600的最大频度604(直方图上的峰值)的亮度值作为参照亮度值603。在沿着亮度高的方向上搜索对此时的频度604预先赋予的值，例如小于等于40％比率的频度605。其结果对于求得的亮度601，把与参照亮度603处于对称的位置的亮度作为参照阈值602。例如，亮度603具有150这一值，当亮度值601具有180这一值的情况下，参照阈值602为120。

以下，展示在局部区域中的阈值的计算方法的变形例子。在处理步骤S110中，因为只利用直方图的最大值求局部区域的阈值，所以即使在局部区域不包含细菌的情况等下，也可以准确地求阈值。但是，当在特定的局部区域上细菌集中，直方图的最大值表示细菌的区域的情况下不能求正常的阈值。为了避免此现象，在图1所示的处理步骤S111后，把每一局部区域的阈值和周围的局部区域中的阈值比较，在具有大于等于预先确定的值的差的局部区域中，废弃现在的阈值，插补周围的阈值求新的阈值，由此可以求适宜的阈值。

另外，在处理步骤S110中，通过把在图1的处理步骤S105中计算出的作为参照阈值和参照亮度的比I/G的J乘以背景部分的亮度值A，求解在局部阈值中的阈值，但用CCD等的器件拍摄元图像的情况下，因为在亮度值上重叠基于CCD特性的暗电流值，所以为了求更准确的阈值，需要除去暗电流的影响。这种情况下，如果把由暗电流重叠的亮度成分设置为Z，则参照阈值和参照亮度值的比可以用J＝(I-Z)/(G-Z)求得，通过用J×(A-Z)+Z计算局部区域中的阈值，可以求更准确的阈值。

如上所述，如果采用本实施方式1的图像处理方法，则生成在元图像的全体或者一部分区域内的灰度直方图，基于该直方图求相当于2值化的阈值的参照阈值和第1参照亮度值，把两者的比作为亮度比存储，在元图像的局部区域上生成局部直方图，基于局部直方图求第2参照亮度值，用它和上述亮度比的计算求2值化阈值，用该阈值对元图像的局部区域附近的区域的图像进行2值化。换句话说，用图像全体制成直方图，在求解在最大频度中的参照亮度值和参照阈值的比后，把图像分割在局部区域上，制成在各局部区域上的直方图，寻求在最大频度中的亮度值，在此阈值上通过乘以参照亮度和参照阈值的比求解在局部区域中的阈值，使用此阈值进行局部区域内的2值化。由此，可以求在多灰度图像的局部区域中的适宜的阈值，可以得到使用此阈值能够从背景中高精度地分离对象物的2值化图像。

(实施方式2)

图7是用于实现本发明实施方式1所述的图像处理方法的，采用本实施方式2的图像处理装置的方框图。

在图7中，用照相机700拍摄的图像被存储在帧存储器701中。在此拍摄图像是1000×1000象素，假设各象素是256灰度的白黑图像。帧存储器701把存储着的拍摄图像的全部区域或者拍摄图像的一部分作为图像数据输出，在此假设输出帧存储器701的拍摄图像全区域。

以下，全体直方图制成单元702如在实施方式1中所示的步骤S101～S102所示，制成帧存储器701输出的图像数据全体的亮度直方图。

参照亮度比制成单元703如实施方式1的步骤S103～A105所示，求表示在全体直方图制成单元702中所生成的亮度直方图的最大频度的亮度值，把它作为参照亮度值G，另外同时从参照亮度值G沿着亮度低的方向搜索表示极小值的亮度并把它作为参照阈值I，把用参照亮度值G除算参照阈值I的值J作为参照亮度比求得并输出。

另一方面，图像分割单元704如实施方式1的步骤S106所示，把帧存储器701输出的图像数据分割为例如纵10个，横10个的局部区域。此时，1个小区域具有100×100象素的大小。而后，把表示用怎样的大小分割帧存储器701输出的图像数据的分割信息输出到2值化单元708。

局部直方图制成单元705如实施方式1的步骤S107～S108所示，在图像分割单元704输出的被分割的图像数据的每个局部区域上制成局部直方图。

峰值亮度检测单元706如实施方式1的步骤S109所示，求解在局部直方图制成单元705中所生成的表示局部直方图的最大频度的亮度值，把它作为局部区域的背景亮度值A输出。

阈值计算单元707如实施方式1的步骤S110所示，通过乘算参照亮度比生成单元703输出的参照亮度比J和峰值亮度检测单元706输出的背景亮度值A，求解在局部区域中的2值化的阈值。

2值化单元708如步骤S112所示，对帧存储器701输出的图像数据，基于来自图像分割单元704的分割信息在每个局部区域上重复进行使用在阈值计算单元707中求得的阈值的2值化处理，最终进行帧存储器701输出的图像数据全体的2值化后输出图像数据的2值化图像。

进而，阈值计算单元707其构成也可以具备：存储各局部区域阈值的阈值存储器；把被存储在阈值存储器中的某一局部区域的阈值与在周围的局部区域中的阈值进行比较的阈值比较单元；当在阈值比较单元中比较后的阈值具有大于等于预先确定的值的差值的情况下，把该局部区域的阈值置换为周围阈值的平均值的阈值判断变更单元。

以下，使用图9说明上述构成的阈值判断变更单元。图9展示被存储在阈值存储器中的不同区域的阈值。901～935是在阈值存储器内的各区域，用粗字表示各个阈值的值。在用网线表示的区域913上因为灰尘进入，所以假设存储以阈值是“21”这一和原本不同的值。在阈值判断变更单元中，对于全部区域，比较关注区域的阈值和其周围区域的阈值，当它们有大的差异的情况下，例如当差异大于等于“20”的情况下，用周围区域的阈值插补再设定关注区域的阈值。例如，当把区域902作为关注区域的情况下，此区域的阈值是65。另外，与区域902连接的区域是901、911、912、913、903，它们具有的阈值分别是61、64、67、21、73。因而，比较65和61、64、76、21、73。这种情况下的差分别是4、1，2、44、8，超过“20”的只有1个。这种情况下，因为比较的5个值中小于等于一半个数中只有1个超过“20”，所以原封不动地利用区域902的阈值65。

另一方面，当把区域913作为关注区域的情况下，此阈值是21。另外与区域913连接的区域是902、903、904、914、924、923、922、912，它们具有的阈值分别是65、73、82、82、85、79、75、67。因而，比较“21”和这些值。这种情况下的差值别是44、52、61、61、64、58、54、46，超过“20”的有8个。这种情况下，因为在比较的8个值中大于等于一半个数中的8个超过“20”，所以区域13的阈值“21”用插补再生设定。插补通过求周围阈值的平均值进行。在这种情况下，是(65+73+82+82+85+79+75+67)/8＝76，区域913的阈值被再设定为76。

如果采用这样的构成，则即使某一局部区域阈值因灰尘混入等局部直方图变形出现异常值，也可以求适宜的阈值。

以下，展示把本发明的图像处理装置应用到照相机内置型手机的名片读取功能的例子。图8是内置有采用本发明的实施方式2的图像处理装置的，带名片读取功能手机构成的构成图。本手机用内置的照相机拍摄名片，具有读取名片的文字并将其进行数据库化的功能。

在图8中，801是手机，将名片802进行拍摄并进行文字识别后，存储在数据库中。对名片802用内置在手机801中的照相机803进行摄影，作为图像数据存储。此图像在图像处理装置804中被2值化，背景区域用“1”表示，文字区域用“0”表示。用图像处理装置804进行2值化后的图像在文字识别单元805中实施文字区域的图像选配，抽出文字正文。而后，被抽出的文字正文存储在名片数据库806中。

在此，用照相机803拍摄的图像因摄影时的照度不均匀等，时带发生背景的一部分暗等，背景区域和文字区域的亮度不均匀的情况。即使在这种情况下，也可以用本发明的图像处理装置804准确地分离背景区域和文字区域，文字识别单元805可以进行稳定的文字识别处理。

进而，在此说明了照相机内置型手机，但如果是扫描仪和数字照相机等可以拍摄数字图像的机器，则通过安装本发明的图像处理装置可以得到同样的效果。

如上所述，如果采用本实施方式2的图像处理装置，则可以简易地构成实施方式1的图像处理方法。

本发明的图像处理装置，对于多灰度的图像作为用于从背景图像中识别对象图像所进行的2值化处理的方法是有用的，特别适用于利用作为印刷物的文字读取的前处理的2值化法，以及在进行在显微镜图像中的观察对象的自动计数时的前处理的2值化方法等的用途中。

Claims (23)

1、一种图像处理方法，是从成为元图像的浓淡图像中生成2值化图像的图像处理方法，其特征在于包括：

生成元图像的全体或者一部分区域内的灰度直方图的步骤；

基于该直方图求解第1参照亮度值以及2值化时成为阈值的参照阈值，把第1参照亮度值和参照阈值的比作为亮度比进行存储的步骤；

在元图像的局部区域中生成局部直方图的步骤；

基于该局部直方图求解第2参照亮度值，通过第2参照亮度值和上述亮度值比的运算求解2值化的阈值，用该阈值将元图像的上述局部区域附近区域的图像进行2值化的步骤。

2、根据权利要求1所述的图像处理方法，其特征在于：

用和上述第1参照亮度值相同的处理来求得基于上述局部直方图所求解的上述第2参照亮度值。

3、根据权利要求2所述的图像处理方法，其特征在于：

上述第1参照亮度值以及第2参照亮度值设置成表示各直方图的最大值的点的亮度值。

4、根据权利要求2所述的图像处理方法，其特征在于：

上述第1参照亮度值以及第2参照亮度值设置成对各直方图施加了低通滤波后所得到的表示最大值的点上的亮度值。

5、根据权利要求1所述的图像处理方法，其特征在于：

把上述参照阈值设置成与上述元图像的全体或者一部分区域内的直方图的最大值相邻的凹部分中的亮度值。

6、根据权利要求5所述的图像处理方法，其特征在于：

当与上述直方图的最大值相邻的凹部分不存在的情况下，把上述直方图的拐点的亮度值作为上述参照阈值。

7、根据权利要求1所述的图像处理方法，其特征在于：

作为上述参照阈值求解与上述元图像的全部或者一部分区域中的直方图的最大值相邻的局部凸部分中的亮度值和该直方图表示最大值的点的亮度值，使用包含在两亮度值之间的值。

8、根据权利要求1所述的图像处理方法，其特征在于：

在上述元图像的全体或者一部分区域内的直方图的最大值附近，把上述参照阈值设置成对于该最大值具有预先确定的比率的值的位置上的亮度值。

9、根据权利要求1所述的图像处理方法，其特征在于：

在上述元图像的全体或者一部分区域内的直方图的最大值附近，把成为对于该最大值具有预先确定的比率的值的位置上的亮度值作为参考亮度值求解，把上述最大值的亮度值作为中心，将上述参照阈值设置成在和上述所求得的参考亮度值对称的位置上的亮度值。

10、根据权利要求1所述的图像处理方法，其特征在于：

把上述元图像全体分割为多个局部区域，在每个区域上独立设置阈值并进行2值化。

11、根据权利要求10所述的图像处理方法，其特征在于：

把上述图像全体分割为多个局部区域，在每个局部区域上独立设置阈值，当阈值和接近的局部区域的阈值相比存在与预先确定的值相比差异大的局部区域的情况下，通过使用接近的其它局部区域的阈值的计算再设定此局部区域的阈值。

12、根据权利要求1所述的图像处理方法，其特征在于：

在求解上述亮度比时，从第1参照亮度值和参照阈值中分别减去基于背景特性的不需要的值。

13、一种图像处理装置，是从成为元图像的浓淡图像中生成2值化图像的图像处理装置，其特征在于包括：

存储上述浓淡图像的多灰度的图像数据，把该存储的图像数据的全体或者特定的区域作为对象图像数据进行输出的存储装置；

生成上述对象图像数据的灰度直方图的直方图生成装置；

基于该直方图求解第1参照亮度值以及2值化时成为阈值的参照阈值，把该第1参照亮度值和该参照阈值的比作为参照亮度比输出的参照亮度比生成装置；

在把上述对象图像数据分割为多个局部区域并输出的同时，输出对上述对象图像数据的分割信息的图像分割装置；

在各局部区域中生成局部直方图的局部直方图生成装置；

基于该局部直方图求解第2参照亮度值的局部区域参照亮度值生成装置；

通过上述第2参照亮度值和上述参照亮度比的运算求解2值化阈值的阈值生成装置；

用上述2值化阈值基于上述分割信息在上述每一局部区域上把上述对象图像数据进行2值化，生成上述对象图像数据的2值化图像数据的2值化装置。

14、根据权利要求13所述的图像处理装置，其特征在于：

上述直方图生成装置，以及上述局部直方图生成装置用同样的处理求解上述第1参照亮度值以及上述第2参照亮度值。

15、根据权利要求14所述的图像处理装置，其特征在于：

上述第1参照亮度值以及上述第2参照亮度值设置表示各直方图的最大值的点的亮度值。

16、根据权利要求14所述的图像处理装置，其特征在于：

上述第1参照亮度值以及上述第2参照亮度值设置在表示在对各直方图实施低通滤波后所得到的最大值的点上的亮度值。

17、根据权利要求13所述的图像处理装置，其特征在于：

上述参照亮度比生成装置把与在上述对象图像数据中的直方图的最大值相邻的凹部分中的亮度值设置成上述参照阈值。

18、根据权利要求17所述的图像处理装置，其特征在于：

当在上述直方图的最大值中不存在凹部分的情况下，把在上述直方图的拐点的亮度值作为上述参照阈值。

19、根据权利要求13所述的图像处理装置，其特征在于：

上述参照亮度比生成装置求解与在上述对象图像数据中的直方图的最大值相邻的局部凸部分中的亮度值和该直方图表示最大值的点的亮度值，把包含在两亮度值之间的值作为上述参照阈值。

20、根据权利要求13所述的图像处理装置，其特征在于：

上述参照亮度比生成装置在上述对象图像数据中的直方图的最大值附近，把处于对该最大值预先确定的比率的值的位置上的亮度值作为上述参照阈值。

21、根据权利要求13所述的图像处理装置，其特征在于：

上述参照亮度比生成装置在上述对象图像数据中的直方图最大值附近，把处于对该最大值预先确定的比率值的位置上的亮度值作为参考亮度值，把上述最大值中的亮度值作为中心，把处于和上述求得的参考亮度值对称位置上的亮度值作为上述参照阈值。

22、根据权利要求13所述的图像处理装置，其特征在于：

上述阈值生成装置具备：

存储各局部区域阈值的阈值存储器；

把被存储在上述阈值存储器中的特定的局部区域的阈值和在周围局部区域上的阈值进行比较的阈值比较单元；

在上述阈值比较单元中比较后的上述特定局部区域的阈值与上述周围的局部区域中的阈值进行比较，当具有大于等于预先确定的值的差的情况下，把上述特定局部区域的阈值置换为在上述周围的局部区域中的阈值的平均值的阈值判断变更装置。

23、根据权利要求13所述的图像处理装置，其特征在于：

被用于照相机内置型手机的名片读取装置。

Images