JP6173542B1 - 画像処理装置、画像処理方法、および、プログラム - Google Patents

Abstract

【課題】画素の階調値順序に応じた包含関係を表す連結成分の階層構造に基づいて、ＯＣＲ処理を行わずに、前景である文字領域の高精度な二値画像を取得できる画像処理装置、画像処理方法、および、プログラムを提供することを課題とする。【解決手段】本発明は、入力画像において、階調値毎に、当該階調値以上または以下の画素が隣接して連結した連結成分を特定し、連結成分から構成される階層構造の階層構造データを生成し、階層構造データに基づいて、文字らしさの特徴を満たす連結成分を文字らしい領域として抽出し、文字らしい領域のみに用いる二値化の閾値を取得し、文字らしい領域を二値化した補正領域を取得し、補正領域以外の入力画像中の領域に含まれる画素の階調値を背景となる階調値に変更した背景領域を取得し、補正領域と背景領域とから構成される二値画像の二値画像データを取得する。【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、および、プログラムに関する。

従来から、画像中の文字列を抽出する技術が開示されている。

ここで、濃度値を所定範囲毎に区切って、当該所定範囲において画像から抽出された連結成分の成分ツリーを生成し、成分ツリーの接続関係に基づいて、テキスト抽出を行う技術が開示されている（特許文献１を参照）。

特開２０１５−２６２９０号公報

しかしながら、従来の文字認識装置（特許文献１）においては、文字列抽出のため、連結成分に対してＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）処理を実施して、候補文字の確からしさを求める必要があるという問題点を有していた。

本発明は、上記問題点に鑑みてなされたもので、画素の階調値順序に応じた包含関係を表す連結成分の階層構造に基づいて、ＯＣＲ処理を行わずに、前景である文字領域の高精度な二値画像を取得できる画像処理装置、画像処理方法、および、プログラムを提供することを目的とする。

このような目的を達成するため、本発明に係る画像処理装置は、入力画像において、階調値毎に、当該階調値以上または以下の画素が隣接して連結した連結成分を特定し、前記連結成分から構成される階層構造の階層構造データを生成する階層構造生成手段と、前記階層構造データに基づいて、前記連結成分が、文字らしさの特徴を満たすか否かを判定し、前記文字らしさの特徴を満たす前記連結成分を文字らしい領域として抽出する領域抽出手段と、前記文字らしい領域に含まれる画素の最大階調値と最小階調値とに基づいて、前記文字らしい領域のみに用いる二値化の閾値を取得し、当該二値化の閾値に基づいて、前記文字らしい領域を二値化した補正領域を取得する補正手段と、前記補正領域以外の前記入力画像中の領域に含まれる画素の階調値を背景となる階調値に変更した背景領域を取得し、前記補正領域と前記背景領域とから構成される二値画像の二値画像データを取得する画像取得手段と、を備えたことを特徴とする。

また、本発明に係る画像処理方法は、入力画像において、階調値毎に、当該階調値以上または以下の画素が隣接して連結した連結成分を特定し、前記連結成分から構成される階層構造の階層構造データを生成する階層構造生成ステップと、前記階層構造データに基づいて、前記連結成分が、文字らしさの特徴を満たすか否かを判定し、前記文字らしさの特徴を満たす前記連結成分を文字らしい領域として抽出する領域抽出ステップと、前記文字らしい領域に含まれる画素の最大階調値と最小階調値とに基づいて、前記文字らしい領域のみに用いる二値化の閾値を取得し、当該二値化の閾値に基づいて、前記文字らしい領域を二値化した補正領域を取得する補正ステップと、前記補正領域以外の前記入力画像中の領域に含まれる画素の階調値を背景となる階調値に変更した背景領域を取得し、前記補正領域と前記背景領域とから構成される二値画像の二値画像データを取得する二値画像取得ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、入力画像において、階調値毎に、当該階調値以上または以下の画素が隣接して連結した連結成分を特定し、前記連結成分から構成される階層構造の階層構造データを生成する階層構造生成ステップと、前記階層構造データに基づいて、前記連結成分が、文字らしさの特徴を満たすか否かを判定し、前記文字らしさの特徴を満たす前記連結成分を文字らしい領域として抽出する領域抽出ステップと、前記文字らしい領域に含まれる画素の最大階調値と最小階調値とに基づいて、前記文字らしい領域のみに用いる二値化の閾値を取得し、当該二値化の閾値に基づいて、前記文字らしい領域を二値化した補正領域を取得する補正ステップと、前記補正領域以外の前記入力画像中の領域に含まれる画素の階調値を背景となる階調値に変更した背景領域を取得し、前記補正領域と前記背景領域とから構成される二値画像の二値画像データを取得する二値画像取得ステップと、をコンピュータに実行させることを特徴とする。

この発明によれば、文字領域抽出をベースとする二値化手法を実施することにより、撮影環境または撮影装置に依存せずに、高い文字認識性を持つ二値画像を生成することができる。

また、この発明によれば、文字認識性を向上させることで、高いＯＣＲ精度を実現することができる。

図１は、本実施形態に係る画像処理装置の構成の一例を示すブロック図である。 図２は、本実施形態の画像処理装置における処理の一例を示すフローチャートである。 図３は、本実施形態における入力画像の一例を示す図である。 図４は、本実施形態における連結成分の階層構造の一例を示す図である。 図５は、本実施形態における連結成分の一例を示す図である。 図６は、本実施形態における連結成分の一例を示す図である。 図７は、本実施形態における連結成分の一例を示す図である。 図８は、本実施形態における連結成分の一例を示す図である。 図９は、本実施形態における連結成分の一例を示す図である。 図１０は、本実施形態の画像処理装置における処理の一例を示すフローチャートである。 図１１は、本実施形態における入力画像の一例を示す図である。 図１２は、本実施形態における文字らしい領域の一例を示す図である。 図１３は、本実施形態における補正領域の一例を示す図である。 図１４は、本実施形態における面積の累積度数分布に基づく閾値設定の一例を示すグラフである。 図１５は、本実施形態における入力画像の一例を示す図である。 図１６は、本実施形態における二値画像の一例を示す図である。 図１７は、本実施形態における入力画像の一例を示す図である。 図１８は、本実施形態における二値画像の一例を示す図である。 図１９は、本実施形態における入力画像の一例を示す図である。 図２０は、本実施形態における二値画像の一例を示す図である。 図２１は、本実施形態における入力画像の一例を示す図である。 図２２は、本実施形態における二値画像の一例を示す図である。

以下に、本発明に係る画像処理装置、画像処理方法、および、プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本発明が限定されるものではない。

［本実施形態の構成］
以下、本発明の実施形態に係る画像処理装置１００の構成の一例について図１を参照して説明し、その後、本実施形態の処理等について詳細に説明する。図１は、本実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。

但し、以下に示す実施形態は、本発明の技術思想を具体化するための画像処理装置１００を例示するものであって、本発明をこの画像処理装置１００に特定することを意図するものではなく、請求の範囲に含まれるその他の実施形態の画像処理装置１００にも等しく適用し得るものである。

また、本実施形態で例示する画像処理装置１００における機能分散の形態は以下に限られず、同様の効果や機能を奏し得る範囲において、任意の単位で機能的または物理的に分散・統合して構成することができる。

図１に示すように、画像処理装置１００は、概略的に、制御部１０２と、記憶部１０６と、を備えて構成される。また、これら画像処理装置１００の各部は任意の通信路を介して通信可能に接続されている。

ここで、画像処理装置１００は、更に、入出力部を備えて構成されてもよい。ここで、入出力部は、データの入出力（Ｉ／Ｏ）を行う。

また、入出力部は、例えば、キー入力部、タッチパネル、コントロールパッド（例えば、タッチパッド、および、ゲームパッド等）、マウス、キーボード、および／または、マイク等の入力部であってもよい。

また、入出力部は、アプリケーション等の表示画面を表示する表示部（例えば、液晶または有機ＥＬ等から構成されるディスプレイ、モニタ、および、タッチパネル等）、および／または、音声情報を音声として出力する音声出力部（例えば、スピーカ等）等の出力部であってもよい。

また、画像処理装置１００は、更に、インターフェース部を備えていてもよい。ここで、画像処理装置１００は、インターフェース部を介して、外部装置（例えば、画像読取装置等）と相互に通信可能に接続されていてもよい。

また、インターフェース部は、通信回線および／または電話回線等に接続されるアンテナおよび／またはルータ等の通信装置に接続されるインターフェース（ＮＩＣ等）であってもよく、画像処理装置１００とネットワークとの間における通信制御を行う通信インターフェースであってもよい。

ここで、ネットワークは、有線通信および／または無線通信（例えば、ＷｉＦｉ等）の遠隔通信等を含む。また、インターフェース部は、画像読取装置等と制御部１０２との間の入出力制御を行う入出力インターフェースであってもよい。

なお、制御部１０２は、インターフェース部、および、入出力部を制御してもよい。

記憶部１０６は、各種のデータベース、テーブル、および／または、ファイルなどを格納する。また、記憶部１０６は、各種アプリケーションプログラム（例えば、ユーザアプリケーション等）を記憶していてもよい。

また、記憶部１０６は、ストレージ手段であり、例えばＲＡＭ・ＲＯＭ等のメモリ、ハードディスクのような固定ディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フレキシブルディスク、および／または、光ディスク等の有形の記憶装置、または、記憶回路を用いることができる。

記憶部１０６には、コントローラ等に命令を与え各種処理を行うためのコンピュータプログラム等が記録されている。

これら記憶部１０６の各構成要素のうち、画像データファイル１０６ａは、画像データを記憶する。ここで、画像データは、カラー画像データ、グレースケール画像データ、二値画像データ、または、入力画像データ等であってもよい。

また、制御部１０２は、画像処理装置１００を統括的に制御するＣＰＵ、メニーコアＣＰＵ、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、および／または、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等を含む有形のコントローラ、または、制御回路から構成されてもよい。

制御部１０２は、制御プログラムと各種の処理手順等を規定したプログラムと所要データとを格納するための内部メモリを有し、これらプログラムに基づいて種々の処理を実行するための情報処理を行う。

ここで、制御部１０２は、大別して、階層構造生成部１０２ａ、領域抽出部１０２ｂ、補正部１０２ｃ、画像取得部１０２ｄ、および、画像表示部１０２ｅを備える。

階層構造生成部１０２ａは、入力画像において、階調値毎に、当該階調値以上または以下の画素が隣接して連結した連結成分を特定し、連結成分から構成される階層構造の階層構造データを生成する。

ここで、階層構造生成部１０２ａは、入力画像において、階調値毎に、当該階調値以上または以下の画素が隣接して連結した連結成分を特定し、全階調値の連結成分から構成される階層構造の階層構造データを生成してもよい。

ここで、全階調値は、３２、６４、１２８、または、２５６階調等における全ての階調値であってもよい。

また、階層構造生成部１０２ａは、入力画像において、階調値毎に、当該階調値以上または以下の画素が隣接して連結した連結成分を特定し、階調幅に基づく階層構造の階層構造データを生成してもよい。

ここで、階調幅に基づく階層構造とは、例えば、２５６階調の場合、１階調毎の２５６階層構造等であってもよい。

領域抽出部１０２ｂは、階層構造データに基づいて、連結成分が、文字らしさの特徴を満たすか否かを判定し、文字らしさの特徴を満たす連結成分を文字らしい領域として抽出する。

ここで、領域抽出部１０２ｂは、階層構造データに基づいて、連結成分が、文字らしいシャープネス性を満たすか否かを判定し、文字らしいシャープネス性を満たす連結成分を文字らしい領域として抽出してもよい。

また、領域抽出部１０２ｂは、階層構造データに基づいて、連結成分が、文字らしいコントラストを満たすか否かを判定し、文字らしいコントラストを満たす連結成分を文字らしい領域として抽出してもよい。

また、領域抽出部１０２ｂは、階層構造データに基づいて、連結成分が、文字らしい面積を満たすか否かを判定し、文字らしい面積を満たす連結成分を文字らしい領域として抽出してもよい。

また、領域抽出部１０２ｂは、階層構造データに基づいて、連結成分の面積と当該連結成分に階層構造上で隣接する連結成分の面積との差を被除数とし、当該隣接する連結成分の面積を除数とした場合の商が、文字らしいシャープネス性の閾値を満たすか否かを判定し、商が文字らしいシャープネス性の閾値を満たすと判定した場合、連結成分を文字らしい領域として抽出してもよい。

また、領域抽出部１０２ｂは、階層構造データに基づいて、連結成分に含まれる画素の最大階調値と最小階調値との差が、文字らしいコントラストの閾値を満たすか否かを判定し、差が文字らしいコントラストの閾値を満たすと判定した場合、連結成分を文字らしい領域として抽出してもよい。

また、領域抽出部１０２ｂは、階層構造データに基づいて、連結成分の面積が、文字らしい面積の閾値を満たすか否かを判定し、連結成分の面積が文字らしい面積の閾値を満たすと判定した場合、連結成分を文字らしい領域として抽出してもよい。

補正部１０２ｃは、文字らしい領域に含まれる画素の最大階調値と最小階調値とに基づいて、文字らしい領域のみに用いる二値化の閾値を取得し、当該二値化の閾値に基づいて、文字らしい領域を二値化した補正領域を取得する。

ここで、補正部１０２ｃは、文字らしい領域に含まれる画素の最大階調値と最小階調値との差に、所定のパラメータを乗じた値を、文字らしい領域のみに用いる二値化の閾値として取得し、当該二値化の閾値に基づいて、文字らしい領域を二値化した補正領域を取得してもよい。

また、補正部１０２ｃは、文字らしい領域に含まれる、最小階調値の画素から最大階調値の画素までの面積の累積度数分布を作成し、累積度数分布において相対累積度数が所定の割合となる階調値を、文字らしい領域のみに用いる二値化の閾値として取得し、当該二値化の閾値に基づいて、文字らしい領域を二値化した補正領域を取得してもよい。

画像取得部１０２ｄは、画像データを取得する。ここで、画像取得部１０２ｄは、二値画像の二値画像データを取得してもよい。

また、画像取得部１０２ｄは、補正領域以外の入力画像中の領域に含まれる画素の階調値を背景となる階調値に変更した背景領域を取得し、補正領域と背景領域とから構成される二値画像の二値画像データを取得してもよい。

また、画像取得部１０２ｄは、入力画像の入力画像データを取得してもよい。ここで、入力画像は、カラー画像、または、グレースケール画像等の多値画像であってもよい。また、画像取得部１０２ｄは、画像データを画像データファイル１０６ａに格納してもよい。

画像表示部１０２ｅは、画像データを表示させる。ここで、画像表示部１０２ｅは、画像データを入出力部を介して表示させてもよい。

［本実施形態の処理］
上述した構成の画像処理装置１００で実行される処理の一例について、図２から図２２を参照して説明する。図２は、本実施形態の画像処理装置１００における処理の一例を示すフローチャートである。

図２に示すように、まず、画像取得部１０２ｄは、画像データファイル１０６ａに記憶された、多値画像である入力画像の入力画像データを取得する（ステップＳＡ−１）。

ここで、図３を参照して、本実施形態における入力画像の一例について説明する。図３は、本実施形態における入力画像の一例を示す図である。

図３に示すように、本実施形態においては、例えば、１１×１１画素サイズの４階調値の画素から構成される多値画像を入力画像としてもよい。

図２に戻り、階層構造生成部１０２ａは、入力画像において、階調値毎に、当該階調値以下の画素が隣接して連結した連結成分を特定し、全階調値の連結成分から構成される、階調幅に基づく階層構造の階層構造データを生成する（ステップＳＡ−２）。

ここで、図４から図９を参照して、本実施形態における連結成分の一例について説明する。図４は、本実施形態における連結成分の階層構造の一例を示す図である。図５から図９は、本実施形態における連結成分の一例を示す図である。

図４に示すように、本実施形態においては、図３に示す２５６階調における４階調値（Ｌｅｖｅｌ１−４）の画素から構成される入力画像における連結成分から、リンクとノードとを用いた階層構造（Ｃｏｎｎｅｃｔｅｄ Ｃｏｍｐｏｎｅｎｔ Ｔｒｅｅ）の階層構造データを生成してもよい。

なお、図４において、０から２５５まで縦に並ぶ２５６個の丸は、各階調値を示している。

ここで、図４において、隣接した連結関係にない連結成分Ｃと連結成分Ｅと連結成分Ｆとは、２５６階調において、最大階調値が等しい関係にある。

また、図４に示すように、本実施形態においては、最大階調値が異なる連結成分について、階調値の順序に応じた包含関係、すなわち、隣接し連結関係にある最大階調値の高い連結成分が最大階調値の低い連結成分を包含する関係を表す階層構造データを生成してもよい。

すなわち、本実施形態において、階層構造上、親ノードに該当する連結成分は、子ノード、および／または、孫ノードの連結成分を含む関係にある。

例えば、図４に示すように、本実施形態においては、階層構造上、連結成分Ｂは、子ノードとなる連結成分Ｃおよび連結成分Ｄ、ならびに、孫ノードとなる連結成分Ｅを含む関係にある。

また、図４に示すように、本実施形態においては、２５６階調の入力画像の階調幅と同じ刻みとなる２５６階層の階層構造の階層構造データを生成してもよい。

このように、本実施形態においては、２５６階調等の刻みが細かい階層構造とすることで、連結成分の精密な切り分けが可能となる。

そして、図５に示すように、本実施形態においては、Ｌｅｖｅｌ３以下の画素が隣接して連結した領域を、連結成分Ａ（１１×１１画素の白背景画像：２５５階調値）の下位の階層となる連結成分Ｂと特定してもよい。

また、図６に示すように、本実施形態においては、Ｌｅｖｅｌ２以下の画素が隣接して連結した領域を、連結成分Ａの下位の階層となり、連結成分Ｂの下位の階層となる連結成分Ｃと特定してもよい。

また、図７に示すように、本実施形態においては、Ｌｅｖｅｌ２以下の画素が隣接して連結した領域を、連結成分Ａの下位の階層となり、連結成分Ｂの下位の階層となる連結成分Ｅと特定してもよい。

また、図８に示すように、本実施形態においては、Ｌｅｖｅｌ２以下の画素が隣接して連結した領域を、連結成分Ａの下位の階層となる連結成分Ｆと特定してもよい。なお、本実施形態において、連結成分Ｆは、画像中のノイズである。

また、図９に示すように、本実施形態においては、Ｌｅｖｅｌ１以下の画素が隣接して連結した領域を、連結成分Ａの下位の階層となり、連結成分Ｂの下位の階層となり、連結成分Ｃの下位の階層となる連結成分Ｄ（０階調値）と特定してもよい。

図２に戻り、領域抽出部１０２ｂは、階層構造データに基づいて、各階調値の連結成分が、文字らしさの特徴を満たすか否かを判定し、文字らしさの特徴を満たす連結成分を文字らしい領域として抽出する（ステップＳＡ−３）。

ここで、図１０を参照して、本実施形態における文字らしい領域抽出処理の一例について説明する。図１０は、本実施形態の画像処理装置１００における処理の一例を示すフローチャートである。

図１０に示すように、まず、領域抽出部１０２ｂは、階層構造データに基づいて、各階調値の連結成分の面積と当該連結成分に階層構造上で隣接する連結成分の面積との差を被除数とし、当該隣接する連結成分の面積を除数とした場合の商が、文字らしいシャープネス性の閾値を満たすか否かを判定し、商が文字らしいシャープネス性の閾値を満たすと判定した場合、処理をステップＳＢ−２に移行させる（ステップＳＢ−１）。

ここで、本実施形態における文字らしいシャープネス性判定は、下記数式１に表される指標を用いてもよい。

例えば、図４の階層構造において、λ＝ｌｅｖｅｌ３である場合、数式１における画素値λに該当する領域とは、連結成分Ｂであってもよい。

そして、本実施形態においては、シャープネス性判定として、階層構造上の各ノード（連結成分）について、数式１に対する閾値を設定して判定することで、閾値以下の領域をシャープネス性を満たすノードとして抽出してもよい。

また、本実施形態においては、抽出されたノードについて、階層構造上接合関係にあるノード間について、最も上位層に該当するノードのみを抽出してもよい。

具体的には、本実施形態においては、数式１を用いて下記のように、閾値を０．４に設定し、閾値より小さいか否かを判定するシャープネス性判定を行ってもよい。

そして、領域抽出部１０２ｂは、階層構造データに基づいて、文字らしいシャープネス性の閾値を満たす連結成分に含まれる画素の最大階調値と最小階調値との差が、文字らしいコントラストの閾値を満たすか否かを判定し、差が文字らしいコントラストの閾値を満たすと判定した場合、処理をステップＳＢ−３に移行させる（ステップＳＢ−２）。

ここで、本実施形態における文字らしいコントラスト判定は、下記数式２に表されるように、抽出された連結成分毎の最大画素値と最小画素値との差を指標として用いてもよい。

具体的には、本実施形態においては、数式２を用いて下記のように、閾値を５０に設定し、閾値より大きいか否かを判定するコントラスト判定を行ってもよい。

そして、領域抽出部１０２ｂは、階層構造データに基づいて、文字らしいコントラストの閾値を満たすと判定した連結成分の面積が、文字らしい面積の閾値を満たすか否かを判定し、連結成分の面積が文字らしい面積の閾値を満たすと判定した場合、連結成分を文字らしい領域として抽出し（ステップＳＢ−３）、処理を終了する。

ここで、本実施形態における文字らしい面積判定は、下記数式３に表されるように、抽出された連結成分の面積を指標として用いてもよい。

具体的には、本実施形態においては、数式３を用いて下記のように、最小閾値を５、および、最大閾値を２００００に設定し、閾値内におさまるか否かを判定する面積判定を行ってもよい。

なお、一般的な画像データにおいて、文字らしい領域は、文字らしいシャープネス性、文字らしいコントラスト（領域内の画素の階調値の最大値と最小値との差）、および、文字らしい領域の面積に関する特徴を有するため、本実施形態においては、文字らしい領域の抽出基準としてこれらの特徴を採用した。

図２に戻り、補正部１０２ｃは、文字らしい領域に含まれる画素の最大階調値と最小階調値とに基づいて、文字らしい領域のみに用いる二値化の閾値を取得し、当該二値化の閾値に基づいて、文字らしい領域を二値化した補正領域を取得する（ステップＳＡ−４）。

ここで、図１１から図１４を参照して、本実施形態における文字認識性補正の一例について説明する。図１１は、本実施形態における入力画像の一例を示す図である。図１２は、本実施形態における文字らしい領域の一例を示す図である。図１３は、本実施形態における補正領域の一例を示す図である。図１４は、本実施形態における面積の累積度数分布に基づく閾値設定の一例を示すグラフである。

本実施形態においては、抽出した文字らしい領域について、文字認識性が向上するように補正をかけている。

例えば、本実施形態において、図１１に示す明朝体フォントの「典」という文字の画像を入力画像とした場合、図１２に示すように、文字らしい領域は、文字認識性が低い画像として抽出される。

そこで、本実施形態においては、文字認識性が低い文字らしい領域に対する補正を行うために、文字らしい領域内のみの情報に基づき、下記数式４を用いて二値化の閾値を算出してもよい。

そして、本実施形態においては、数式４を用いて算出された閾値により、図１２に示す文字らしい領域の二値化を実施することにより、図１３に示す補正領域を取得することで、文字認識性を向上させている。

ここで、本実施形態においては、数式４に示すｒａｔｉｏ＝１．０の場合、図１２に示す無補正の文字らしい領域が補正領域として取得される。

また、本実施形態においては、数式４に示すｒａｔｉｏ＝０．７５の場合、図１３に示す補正領域が取得される。

また、本実施形態においては、パラメータに依存せずに、二値化の閾値を算出してもよい。

例えば、本実施形態においては、図１２に示す文字らしい領域内の最小階調値の画素から最大階調値の画素までの面積の累積度数分布を算出し、図１４に示すグラフを作成している。

ここで、各種フォントについて、文字らしい領域の面積は、文字認識性の高い補正領域の面積の２倍程度となるケースが多いため、図１４に示すグラフにおいては、二値化の閾値を相対累積度数が５０％（０．５）となる階調値に設定している。

この閾値を採用することにより、本実施形態においては、図１２に示す文字らしい領域から、文字認識性が向上した補正領域を取得することができた。

図２に戻り、画像取得部１０２ｄは、補正領域以外の入力画像中の領域に含まれる画素の階調値を背景となる階調値に変更した背景領域を取得し、補正領域と背景領域とから構成される二値画像の二値画像データを取得し（ステップＳＡ−５）、処理を終了する。

ここで、画像表示部１０２ｅは、更に、画像取得部１０２ｄにより取得された二値画像データを入出力部を介して表示させ、ユーザに確認させてもよい。

このように、本実施形態においては、補正領域とそれ以外の領域とを二分する二値画像を生成する。

なお、本実施形態においては、補正領域が黒（例えば、グレースケールの場合、階調値：０）の場合、それ以外の領域を白（例えば、グレースケールの場合、階調値：２５５）として二値画像を生成し、補正領域が白の場合、それ以外の領域を黒として二値画像を生成する。

ここで、図１５から図２２を参照して、本実施形態における二値化処理の一例について説明する。図１５、図１７、図１９および図２１は、本実施形態における入力画像の一例を示す図である。図１６、図１８、図２０および図２２は、本実施形態における二値画像の一例を示す図である。

図１５に示す画質劣化要因が生じていない画像に対して、本二値化処理を適用した場合、画質劣化要因が無いため、本実施形態においては、図１６に示すように、高精度の二値画像を得ることができる。

そこで、図１７に示すモバイルカメラで撮影された低コントラストの画質劣化要因が生じている画像に対して、本二値化処理を適用した場合であっても、本実施形態においては、図１８に示すように、高精度の二値画像を得ることができる。

また、図１９に示すモバイルカメラで撮影された輝度ムラの画質劣化要因が生じている画像に対して、本二値化処理を適用した場合であっても、本実施形態においては、図２０に示すように、文字部分に関しては画質劣化要因が無い場合と同様の高精度の二値画像を得ることができる。

また、図２１に示すモバイルカメラで撮影されたボケの画質劣化要因が生じている画像に対して、本二値化処理を適用した場合であっても、本実施形態においては、図２２に示すように、文字領域が少し収縮（Ｅｒｏｓｉｏｎ）しているものの、高精度の二値画像を得ることができる。

このように、本実施形態においては、各種画質劣化要因が生じている画像であっても、文字領域を大きく変化させずに、ロバストに文字領域のみ抽出し、二値化させることができる。

なお、特許文献１記載の発明により取得された二値画像データに対してＯＣＲ処理を行った場合、ＯＣＲ精度が平均８８％であったのに対し、本実施形態における二値化処理により取得された二値画像データに対してＯＣＲ処理を行った場合、ＯＣＲ精度が平均９８％まで向上した。

従来から、モバイルカメラデバイスの高解像度化により、カメラ画像データに対するＯＣＲの実施が可能となっている。例えば、個人認証のために、本人確認カード（運転免許証、マイナンバーカード、および、在留カード等）を気軽にカメラスキャンし、ＯＣＲの実施がされている。

しかしながら、カメラ画像においては、スキャナ画像と異なり、被写体の撮影環境、および、デバイス起因の画質劣化要因（輝度ムラ、ノイズ、ボケ、または、低コントラスト等）が画像内に多分に含まれてしまうという問題があった。

これらの画質劣化要因により、従来の二値化手法による二値画像には、ＯＣＲ誤認識の原因となる文字切れ、および、ノイズ等が生じてしまうため、高いＯＣＲ精度を達成することができなかった。

そこで、本実施形態においては、画素の階調値順序に応じた包含関係を表す連結成分の階層的データ構造から、前景である文字領域を抽出し、抽出された領域から二値画像を生成している。

すなわち、本実施形態においては、階調値毎に、当該階調値以上または以下の画素が隣接して連結関係にある、当該階調値以上または以下の画素を連結成分（Ｃｏｎｎｅｃｔｅｄ Ｃｏｍｐｏｎｅｎｔ）として特定している。

そして、本実施形態においては、連結成分間の階調値の順序に応じた包含関係を表す領域の階層構造（Ｃｏｎｎｅｃｔｅｄ Ｃｏｍｐｏｎｅｎｔ Ｔｒｅｅ）を表すデータを作成している。

そして、本実施形態においては、生成されたデータから、文字らしい領域を抽出し、抽出された文字らしい領域において、文字認識性を補正し、補正された領域とそれ以外の領域とを二分する二値画像を生成している。

なお、従来から、階層構造から文字らしい領域を抽出する技術は、存在していたが、文字らしい領域の抽出にとどまり、文字認識性、特に、光学的文字認識（ＯＣＲ）において高精度に認識可能な形状となるような領域に補正する処理は存在しなかった。

一方、本実施形態においては、文字らしい領域を抽出した上で、文字認識性が向上するよう、抽出された文字らしい領域を補正することを実施している。

また、本実施形態においては、文字認識性を向上させた領域を二値画像として取得することで、多様な用途として使用することができるようにしている。

ここで、多様な用途として使用することができる画像データとしては、カラー画像データと比べてデータ容量の少ない画像データ、または、多くのＯＣＲエンジンが読取に必要とするレベルの画像データ等であってもよい。

［他の実施形態］
さて、これまで本発明の実施形態について説明したが、本発明は、上述した実施形態以外にも、請求の範囲に記載した技術的思想の範囲内において種々の異なる実施形態にて実施されてよいものである。

例えば、画像処理装置１００は、スタンドアローンの形態で処理を行ってもよく、クライアント端末（画像処理装置１００とは別筐体である）からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するようにしてもよい。

また、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。

このほか、明細書中および図面中で示した処理手順、制御手順、具体的名称、各処理の登録データもしくは検索条件等のパラメータを含む情報、画面例、または、データベース構成については、特記する場合を除いて任意に変更することができる。

また、画像処理装置１００に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。

例えば、画像処理装置１００の各装置が備える処理機能、特に制御部１０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵおよび当該ＣＰＵにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。

なお、プログラムは、後述する、コンピュータに本発明に係る方法を実行させるためのプログラム化された命令を含む、一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じて画像処理装置１００に機械的に読み取られる。すなわち、ＲＯＭまたはＨＤＤなどの記憶部１０６などには、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）と協働してＣＰＵに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部を構成する。

また、このコンピュータプログラムは、画像処理装置１００に対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。

また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ、および、Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ等の任意の「可搬用の物理媒体」を含むものとする。

また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳに代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。

記憶部１０６に格納される各種のデータベース等は、ＲＡＭもしくはＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および／または、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および／または、ウェブページ用ファイル等を格納してもよい。

また、画像処理装置１００は、既知のパーソナルコンピュータ等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、画像処理装置１００は、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。

更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。

以上のように、画像処理装置、画像処理方法、および、プログラムは、産業上の多くの分野、特に画像を扱う画像処理分野で実施することができ、極めて有用である。

１００ 画像処理装置
１０２ 制御部
１０２ａ 階層構造生成部
１０２ｂ 領域抽出部
１０２ｃ 補正部
１０２ｄ 画像取得部
１０２ｅ 画像表示部
１０６ 記憶部
１０６ａ 画像データファイル

Claims (13)

1. 入力画像において、階調値毎に、当該階調値以上または以下の画素が隣接して連結した連結成分を特定し、前記連結成分から構成される階層構造の階層構造データを生成する階層構造生成手段と、
   前記階層構造データに基づいて、前記連結成分が、文字らしさの特徴を満たすか否かを判定し、前記文字らしさの特徴を満たす前記連結成分を文字らしい領域として抽出する領域抽出手段と、
   前記文字らしい領域に含まれる画素の最大階調値と最小階調値とに基づいて、前記文字らしい領域のみに用いる二値化の閾値を取得し、当該二値化の閾値に基づいて、前記文字らしい領域を二値化した補正領域を取得する補正手段と、
   前記補正領域以外の前記入力画像中の領域に含まれる画素の階調値を背景となる階調値に変更した背景領域を取得し、前記補正領域と前記背景領域とから構成される二値画像の二値画像データを取得する画像取得手段と、
   を備えたことを特徴とする、画像処理装置。
2. 前記階層構造生成手段は、
   前記入力画像において、前記階調値毎に、当該階調値以上または以下の画素が隣接して連結した前記連結成分を特定し、全階調値の前記連結成分から構成される前記階層構造の前記階層構造データを生成する、請求項１に記載の画像処理装置。
3. 前記階層構造生成手段は、
   前記入力画像において、前記階調値毎に、当該階調値以上または以下の画素が隣接して連結した前記連結成分を特定し、階調幅に基づく前記階層構造の前記階層構造データを生成する、請求項１または２に記載の画像処理装置。
4. 前記領域抽出手段は、
   前記階層構造データに基づいて、前記連結成分が、文字らしいシャープネス性を満たすか否かを判定し、前記文字らしいシャープネス性を満たす前記連結成分を前記文字らしい領域として抽出する、請求項１から３のいずれか一つに記載の画像処理装置。
5. 前記領域抽出手段は、
   前記階層構造データに基づいて、前記連結成分が、文字らしいコントラストを満たすか否かを判定し、前記文字らしいコントラストを満たす前記連結成分を前記文字らしい領域として抽出する、請求項１から３のいずれか一つに記載の画像処理装置。
6. 前記領域抽出手段は、
   前記階層構造データに基づいて、前記連結成分が、文字らしい面積を満たすか否かを判定し、前記文字らしい面積を満たす前記連結成分を前記文字らしい領域として抽出する、請求項１から３のいずれか一つに記載の画像処理装置。
7. 前記補正手段は、
   前記文字らしい領域に含まれる画素の最大階調値と最小階調値との差に、所定のパラメータを乗じた値を、前記文字らしい領域のみに用いる二値化の閾値として取得し、当該二値化の閾値に基づいて、前記文字らしい領域を二値化した補正領域を取得する、請求項１から６のいずれか一つに記載の画像処理装置。
8. 前記補正手段は、
   前記文字らしい領域に含まれる、前記最小階調値の画素から前記最大階調値の画素までの面積の累積度数分布を作成し、前記累積度数分布において相対累積度数が所定の割合となる階調値を、前記文字らしい領域のみに用いる二値化の閾値として取得し、当該二値化の閾値に基づいて、前記文字らしい領域を二値化した補正領域を取得する、請求項１から６のいずれか一つに記載の画像処理装置。
9. 前記領域抽出手段は、
   前記階層構造データに基づいて、前記連結成分の面積と当該連結成分に前記階層構造上で隣接する連結成分の面積との差を被除数とし、当該隣接する連結成分の面積を除数とした場合の商が、前記文字らしいシャープネス性の閾値を満たすか否かを判定し、前記商が前記文字らしいシャープネス性の閾値を満たすと判定した場合、前記連結成分を前記文字らしい領域として抽出する、請求項４に記載の画像処理装置。
10. 前記領域抽出手段は、
    前記階層構造データに基づいて、前記連結成分に含まれる画素の最大階調値と最小階調値との差が、前記文字らしいコントラストの閾値を満たすか否かを判定し、前記差が前記文字らしいコントラストの閾値を満たすと判定した場合、前記連結成分を前記文字らしい領域として抽出する、請求項５に記載の画像処理装置。
11. 前記領域抽出手段は、
    前記階層構造データに基づいて、前記連結成分の面積が、前記文字らしい面積の閾値を満たすか否かを判定し、前記連結成分の面積が前記文字らしい面積の閾値を満たすと判定した場合、前記連結成分を前記文字らしい領域として抽出する、請求項６に記載の画像処理装置。
12. 入力画像において、階調値毎に、当該階調値以上または以下の画素が隣接して連結した連結成分を特定し、前記連結成分から構成される階層構造の階層構造データを生成する階層構造生成ステップと、
    前記階層構造データに基づいて、前記連結成分が、文字らしさの特徴を満たすか否かを判定し、前記文字らしさの特徴を満たす前記連結成分を文字らしい領域として抽出する領域抽出ステップと、
    前記文字らしい領域に含まれる画素の最大階調値と最小階調値とに基づいて、前記文字らしい領域のみに用いる二値化の閾値を取得し、当該二値化の閾値に基づいて、前記文字らしい領域を二値化した補正領域を取得する補正ステップと、
    前記補正領域以外の前記入力画像中の領域に含まれる画素の階調値を背景となる階調値に変更した背景領域を取得し、前記補正領域と前記背景領域とから構成される二値画像の二値画像データを取得する二値画像取得ステップと、
    を含むことを特徴とする、画像処理方法。
13. 入力画像において、階調値毎に、当該階調値以上または以下の画素が隣接して連結した連結成分を特定し、前記連結成分から構成される階層構造の階層構造データを生成する階層構造生成ステップと、
    前記階層構造データに基づいて、前記連結成分が、文字らしさの特徴を満たすか否かを判定し、前記文字らしさの特徴を満たす前記連結成分を文字らしい領域として抽出する領域抽出ステップと、
    前記文字らしい領域に含まれる画素の最大階調値と最小階調値とに基づいて、前記文字らしい領域のみに用いる二値化の閾値を取得し、当該二値化の閾値に基づいて、前記文字らしい領域を二値化した補正領域を取得する補正ステップと、
    前記補正領域以外の前記入力画像中の領域に含まれる画素の階調値を背景となる階調値に変更した背景領域を取得し、前記補正領域と前記背景領域とから構成される二値画像の二値画像データを取得する二値画像取得ステップと、
    をコンピュータに実行させるためのプログラム。