JP2022167414A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】文字部分にロゴマーク等が重なっている文書を読み取って得られた文書画像からでも、高精度に文字情報を抽出できるようにする。【解決手段】文書を読み取った文書画像に対し二値化処理を行って、基準よりも濃い色を表す第１画素と基準よりも薄い色を表す第２画素とで構成される二値画像を生成する。そして、生成された二値画像における第１画素のうち、文書画像における対応画素の色が文書内の文字オブジェクトの色とは異なる画素を第２画素に変更して、文書画像において文字オブジェクトに重なる背景オブジェクトを除去した二値画画像を生成する。【選択図】図３

Description

本発明は、文書画像を補正する画像処理技術に関する。

近年、レシートや帳票といった文書のスキャン画像（文書画像）に対して光学文字認識処理（以下、「ＯＣＲ処理」と表記）を行って文字情報を抽出することにより、会計業務の効率化を図るシステムが利用されるようになっている。文書画像から抽出される文字情報としては日付や合計金額、企業名などが挙げられ、各項目の名称、単位、形式を基に、特定の項目（キー）に対応する値（バリュー）として取得される。ここで、文書画像によってはロゴマークや印影などが文字部分と重なっていることがある。このような文書画像では文字の背景になっているロゴマーク等の色が邪魔をしてＯＣＲ処理が上手く機能せず、文字情報を正確に抽出できない場合がある。この点、特許文献１には、文字部分がカラーマーカーで塗り潰されているようなケースにおいて、文書画像から文字情報を抽出可能にする技術が開示されている。具体的には、文書画像に対して二値化処理を行った結果において、文字領域と判定された領域のうち背景と文字とが分離困難な領域に対して再度二値化処理を行うことで、文字情報を抽出可能にしている。

特開２０１８－１３９４５７号公報

上記特許文献１の技術は、文字領域と判定された領域を処理対象とするところ、文字と重なっているロゴマーク等の領域のサイズやアスペクト比が凡そ文字領域とは判定されないようなものであった場合は、当該領域において文字と背景とを分離することができない。本開示に係る技術は上記課題に鑑みてなされたものである。

本開示に係る画像処理装置は、文書を読み取った文書画像に対し二値化処理を行って、前記文書画像において基準レベルよりも濃い色を表す第１画素と、前記基準レベルよりも薄い色を表す第２画素とで構成された二値画像を生成する二値化手段と、前記二値化手段によって生成された前記二値画像に含まれる前記第１画素のうち、前記文書画像における対応画素の色が前記文書内の文字オブジェクトの色とは異なる画素を前記第２画素に変更することで、前記文書画像において前記文字オブジェクトに重なる背景オブジェクトを除去した二値画像を生成する背景除去手段と、を備えたことを特徴とする。

本開示の技術によれば、文字部分にロゴマーク等の背景が重なっていても、高精度に文字情報を抽出することができる。

情報処理システムの全体構成を示す図。 実施形態１に係る、カラー背景除去処理を実現するための機能を示すブロック図。 実施形態１に係る、カラー背景除去処理の流れを示すフローチャート。 カラー背景除去処理の適用例を示す図。 実施形態１に係る、除去候補抽出処理の詳細を示すフローチャート。 実施形態１に係る、除去対象決定処理の詳細を示すフローチャート。 実施形態２に係る、カラー背景除去処理を実現するための機能を示すブロック図。 実施形態２に係る、カラー背景除去処理の流れを示すフローチャート。 カラー背景除去処理の適用例を示す図。 実施形態２に係る、除去候補抽出処理の詳細を示すフローチャート。 実施形態２に係る、除去対象決定処理の詳細を示すフローチャート。

以下、本発明を実施するための形態について図面を用いて説明する。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

［実施形態１］
＜システム構成＞
図１は、本実施形態に係る、情報処理システムの全体構成を示す図である。情報処理システムは、ＭＦＰ１００と、ＰＣ１１０とを有している。ＭＦＰ１００は、スキャナ１０１と、プリンタ１０２と、通信部１０３とを有している。スキャナ１０１は、レシートや帳票といった文書のスキャンを行い、スキャン画像を生成する。プリンタ１０２は、ＰＣ１１０から送られてくる印刷用画像やスキャナ１０１で生成されたスキャン画像に基づき、用紙に画像を形成して出力する。通信部１０３は、ネットワークを介してＰＣ１１０を含む外部装置と通信を行う。

画像処理装置であるＰＣ１１０は、ＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３、ＨＤＤ１１４、表示部１１５、入力部１１６、通信部１１７を有している。ＣＰＵ１１１は、ＰＣ１１０を統括的に制御する演算装置であり、ＲＯＭ１１２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ１１３は、ＣＰＵ１１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ１１４は、各種データや各種プログラム等を記憶する大容量記憶装置である。なお、後述するＰＣ１１０の機能や処理は、ＣＰＵ１１１がＲＯＭ１１２又はＨＤＤ１１４に格納されているプログラムを読み出してＲＡＭ１１３に展開してこれを実行することにより実現されるものである。通信部１１７は、ネットワークを介してＭＦＰ１００を含む外部装置との通信処理を行う。表示部１１５は、各種情報を表示する。入力部１１６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。なお、表示部１１５と入力部１１６は、タッチパネルのように一体に設けられていてもよい。また、表示部１１５は、プロジェクタによる投影を行うものであってもよく、入力部１１６は、投影された画像に対する指先の位置を、カメラで認識するものであってもよい。

本実施形態においては、ＭＦＰ１００のスキャナ１０１にて帳票等の文書をスキャンして得られた画像（以下、「文書画像」と表記）のデータが、通信部１０３によりＰＣ１１０に送信される。そして、ＰＣ１１０の通信部１１７によって受信された文書画像のデータはＨＤＤ１１４に格納されると、ＯＣＲ処理に先立って、当該文書画像内の文字に重なったカラー背景を除去する処理が実行されることになる。

＜カラー背景除去処理＞
図２は、本実施形態に係る、ＰＣ１１０に入力された文書画像に対して、文字オブジェクトに重なったカラー背景オブジェクトを除去する処理（カラー背景除去処理）を実現するための機能部を示すブロック図である。また、図３は、本実施形態に係るカラー背景除去処理の流れを示すフローチャートである。以下、図２のブロック図と図３のフローチャートを参照して、本実施形態のカラー背景除去処理について説明する。なお、以下の説明において記号「Ｓ」はステップを意味する。

Ｓ３０１では、二値化部２０１が、入力された文書画像に対して二値化処理を行なう。二値化処理は、例えば各画素がＲＧＢそれぞれ２５６階調（８ビット）の色値を持つフルカラーの文書画像を、輝度を基準として白と黒の２階調に変換する処理である。具体的には、まず、各画素のＲＧＢ値を所定の変換式（例えば０．２９９×Ｒ ＋ ０．５８７×Ｇ ＋ ０．１１４×Ｂ）によって変換する。そして、変換後の値が閾値より大きい場合（基準レベルよりも濃い色の場合）は画素値＝「１」の黒画素に、変換後の値が閾値より小さい場合（基準レベルよりも薄い色の場合）は画素値＝「０」の白画素にする処理を行う。ここでの閾値は、入力された文書画像全体における輝度のヒストグラムを基に決定すればよい。二値化処理によって得られた画像（以下、「二値画像」と呼ぶ。）は、ＲＡＭ１１３またはＨＤＤ１１４に格納される。ここで、具体例を用いて説明する。図４において画像４００は、入力された文書画像を示しており、画像４１０は文書画像４００に対して二値化処理をして得られた二値画像を示している。いま、文書画像４００は、金額、日付、会社名、電話番号、文書ＩＤにそれぞれ対応する黒色の文字領域４０１～４０５と、４つのロゴマークにそれぞれ対応する赤色の非文字領域４０６ａ～４０６ｄと、余白に対応する薄い黄色の余白領域４０７で構成されている。文書画像４００と二値画像４１０との比較から明らかなように、文書画像４００内の黒の文字領域４０１～４０５や赤の非文字領域４０６は、輝度が低いことから、二値画像４１０において黒画素領域４１１となる。一方、文書画像４００内の余白領域４０７は輝度が高いことから、二値画像４１０において白画素領域４１２となる。なお、二値化処理の内容は上述の例に限定されるものではなく、文書画像の各画素の色を白又は黒の二値に変換することができればよい。

次に、Ｓ３０２では、除去候補抽出部２０２が、文書画像内における背景オブジェクトのうち除去対象の候補となる背景オブジェクトを抽出する処理（以下、「除去候補抽出処理」と呼ぶ。）を行う。図５は、除去候補抽出処理の詳細を示すフローチャートである。以下、図５のフローチャートに沿って説明する。

≪除去候補抽出処理≫
まず、Ｓ５０１では、本フローの結果として出力される除去候補となる背景オブジェクトを示す画像（以下、「除去候補画像」と表記）が初期化される。具体的にはＳ３０１にて生成された二値画像と同じサイズの画像であって、全ての画素が白を表す画素値を持つ白地の画像が、除去候補画像の初期値としてＲＡＭ１０３内に生成される。

次に、Ｓ５０２では、Ｓ３０１にて生成された二値画像を構成する全画素の中から注目する画素が決定される。注目画素の決定方法は任意であり、例えば二値画像の左上隅の画素から順に注目画素として決定していけばよい。続くＳ５０３では、Ｓ５０２で決定した注目画素が黒画素であるか否かが判定される。注目画素の画素値が、黒を表す「１」であればＳ５０４へ進み、白を表す「０」であればＳ５０７へ進む。

注目画素が黒画素の場合のＳ５０４では、注目画素と同位置に存在する、文書画像における対応画素の色情報（例えば、ＲＧＢ値或いはＲＧＢ値を変換したＨＳＶ値）が取得される。

続くＳ５０５では、Ｓ５０４にて取得した対応画素の色情報に基づき、対応画素が文字色以外の色を有する画素であるか否かが判定される。判定の結果、対応画素の色情報が示す色が文字色以外の色であればＳ５０６へ進む。一方、対応画素の色情報が示す色が文字色と同じ色であればＳ５０７へ進む。いま、文字色は黒であるものとする。この場合、対応画素の色情報が示す色が、黒以外の色であればＳ５０６へ進み、黒であればＳ５０７へ進むことになる。なお、文字色は黒に限定されるものではなく、ユーザは任意の色を文字色として指定可能である。

Ｓ５０６では、上記「文書画像における対応画素」と同位置に存在する、現在の除去候補画像における対応画素が黒画素に変更される。

Ｓ５０７では、二値画像を構成する全画素について処理が完了したか否かが判定される。全画素の処理が完了していれば本処理を抜ける。一方、未処理の画素があればＳ５０２に戻って次の注目画素を決定して処理が続行される。

以上が、除去候補抽出処理の内容である。これにより、文書画像を二値化処理して得られた二値画像内の黒画素のうち、文字を構成する画素のみを白画素化した二値画像である除去候補画像が得られる。上述の図４における画像４２０が、文書画像４００と二値画像４１０とに基づき得られる除去候補画像を示している。本実施形態では、除去候補画像を、除去対象のカラーの背景領域を黒画素、その他の領域を白画素の２値で表しているが、カラーの背景領域を白画素、その他の領域を黒画素としてもよい。また、除去候補画像としては二値画像以外の画像形式でもよく、２５６階調よりも低い階調の多値画像やグレースケール画像を用いてもよい。生成された除去候補画像のデータは、ＲＡＭ１１３に格納される。

図３のフローチャートの説明に戻る。

次に、Ｓ３０３では、除去判定部２０３が、Ｓ３０２にて生成された除去候補画像を解析し、除去候補画像内の黒画素塊単位の位置及びサイズを示す情報（以下、「単位領域情報」と呼ぶ。）を取得する。本実施形態では、除去候補画像に含まれる黒画素のうち、縦、横、斜め方向で互いに隣接する黒画素の集合体を黒画素塊と定義する。また、隣接する黒画素塊までの最短距離が数画素程度しかない複数の黒画素塊や、ある一定サイズの領域に包含される複数の黒画素塊についてはマージして一つの単位領域とする。例えば、上述の図４に示す除去候補画像４２０の場合、破線の枠４２１ａ～４２１ｄで囲まれた各領域が単位領域となる。また、本実施形態では、単位領域を外接矩形で表しており、包含される黒画素塊の最左部と最上部の位置座標、および包含される黒画素塊の幅、高さによって単位領域を規定することとする。なお、除去候補画像内の黒画素塊の位置や大きさを把握できるのであれば、別の方法で単位領域情報を定義してもよい。こうして取得された、除去候補画像内の各黒画素塊を示す単位領域情報はＲＡＭ１１３に格納される。

次に、Ｓ３０４では、除去判定部２０３が、Ｓ３０３で取得された単位領域情報に基づき、Ｓ３０２で生成された除去候補画像内の黒画素塊のうち実際に除去する黒画素塊を単位領域毎に決定する処理（除去対象決定処理）を行う。図６は、本実施形態に係る、除去対象決定処理の詳細を示すフローチャートである。以下、図６のフローチャートに沿って説明する。

≪除去対象決定処理≫
Ｓ６０１では、取得された単位領域情報に基づき、除去候補画像内に存在する全ての単位領域のうち注目する単位領域が決定される。次に、Ｓ６０２では、Ｓ６０１で決定した単位領域に対応する文書画像内の領域を対象として、当該領域内に存在する文字色と同じ色を有する画素（以下、「文字色画素」と呼ぶ。）がカウントされる。ここで、具体例を用いて説明する。上述の図４において、除去候補画像４２０における４つの単位領域４２１ａ～４２１ｄのうち単位領域４２１ａが注目単位領域であったとする。いま、文字色は黒色なので、このケースでは、文書画像４００の対応領域内に存在する「金」の文字を構成する黒色の画素の数がカウントされることになる。

次に、Ｓ６０３では、Ｓ６０２でカウントした文字色画素数が閾値より少ないかどうかが判定される。この場合の閾値は、入力対象となる文書画像の解像度や、ＯＣＲ処理で認識対象となり得る最小文字サイズなどに基づき、文字色の画素が単位領域内にどの程度存在しているとそれが文字を表す画素となり得るかを考慮して予め決定しておけばよい。カウント画素数が閾値より少ない場合は注目単位領域には文字が存在しないと判定して、Ｓ６０４へ進む。一方、カウント画素数が閾値以上の場合は注目単位領域には文字が存在すると判定して、Ｓ６０５へ進む。

Ｓ６０４では、除去候補画像から注目単位領域内の黒画素塊を削除する処理が行われる。具体的には、注目単位領域内の黒画素を白画素に置き換える処理が行われることになる。前述の例では、文書画像４００内の対応する領域のうち、枠４２１ａ、４２１ｂ、４２１ｄに対応する各領域は何らかの文字を含んでおり、各領域内の文字色画素数は閾値を上回ることになる。よって、これらに対応する除去候補画像４２０内の単位領域４２１ａ、４２１ｂ、４２１ｄの黒画素塊は削除されることなく残ることになる。一方、枠４２１ｃに対応する文書画像４００内の領域には文字を含んでおらず、文字色画素数が閾値を下回るため、除去候補画像４２０から単位領域４２１ｃの黒画素塊が削除されることになる。その結果、図４に示す除去対象画像４３０が得られる。

Ｓ６０５では、取得された単位領域情報が示す全ての単位領域について処理が完了したか否かが判定される。全ての単位領域について処理が完了していれば本処理を抜ける。一方、未処理の単位領域があればＳ６０１に戻って次の注目単位領域を決定して処理を続行する。

以上が、除去対象決定処理の内容である。なお、例えば文書画像４００において文書ＩＤを表す文字“No.001”だけが他の文字とは異なり、ロゴマーク４０６と同じ色であったとする。この場合、本実施形態の手法では、当該文字部分を構成する画素領域も除去候補の対象となってしまう。そこで、このような場合は各単位領域について文字領域なのか非文字領域なのかの判定を追加的に行い、文字領域と判定された単位領域の黒画素塊を除去候補画像から削除するようにすればよい。これにより除去対象となるロゴマーク等と同じ色の文字が文書内に含まれているようなケースでも、当該文字部分を除去後二値画像に残すことができる。

図３のフローチャートの説明に戻る。

次に、Ｓ３０５では、背景処理部２０４が、Ｓ３０４にて生成された除去対象画像によって特定される除去対象の背景領域を、Ｓ３０１にて生成された二値画像から除去する処理を行う。本実施形態の場合、Ｓ３０１にて得られた二値画像内の黒画素のうち、除去対象画像における同位置の黒画素を白画素に変換する処理が行われる。前述の図４の例では、二値画像４１０から除去対象画像４３０の黒画素の部分が除去される結果、除去後二値画像４４０が得られることになる。この例では、４つあったロゴマークに対応する単位領域４２１ａ～４２１ｄのうち、単位領域４２１ｃの黒画素塊が除去候補画像４２０から削除される。よって、除去後二値画像４４０には、４つのロゴマークのうち単位領域４２１ｃに対応するロゴマークを表す黒画素塊だけが残り、他のロゴマークを表す黒画素塊は消えることになる。こうして、文字に重なったロゴマーク等が消去された除去後二値画像に対してＯＣＲ処理を行うことで、高精度に文字情報を抽出することが可能になる。

以上が、本実施形態に係る、文書画像から文字オブジェクトに重なるカラー背景オブジェクトを除去する処理の内容である。なお、本実施形態の趣旨を逸脱しない範囲で上記と同様の効果を得ることができる改変は本実施形態の範疇に属するものである。

以上のとおり本実施形態によれば、文書画像の二値画像から、文書内の文字部分に重なったカラー背景を表す画素領域を取り除くことができる。その結果、文字の背景にカラーのロゴマーク等がなっている文書画像からでも高精度に文字情報を抽出することができる。

［実施形態２］
実施形態１では、文書画像内の黒色の文字部分にカラーのロゴマーク等が背景として重なっているようなケースを想定し、黒文字部分に重なっているカラー背景を除去していた。しかしながら、文書画像内に複数の色の文字オブジェクト（例えば黒色の文字と青色の文字）が存在し、それらに赤色のロゴマーク等が背景オブジェクトとして重なるというケースも考えられる。このように、文書画像内に黒文字とは別にカラー文字が存在する場合において、当該カラー文字部分に重なっているカラー背景についても適切に除去して高精度なＯＣＲ処理を可能にする態様を、実施形態２として説明する。なお、基本的なシステム構成など実施形態１と共通する内容については説明を省略し、以下では差異点を中心に説明を行うこととする。

＜カラー背景除去処理＞
図７は、本実施形態に係る、カラー背景除去処理を実現するための機能部を示すブロック図である。また、図８は、本実施形態に係るカラー背景除去処理の流れを示すフローチャートである。以下、図７のブロック図と図８のフローチャートを参照して、本実施形態のカラー背景除去処理について説明する。

Ｓ８０１は、実施形態１のＳ３０１と同じであり、二値化部２０１が、入力された文書画像に対して二値化処理を行なう。ここで、具体例を用いて説明する。図９において画像４００’は、入力された文書画像を示しており、画像４１０’は文書画像４００’に対して二値化処理をして得られた二値画像を示している。図４に示す文書画像４００と図９に示す文書画像４００’との違いは、会社名と電話番号を表す文字オブジェクトが、黒色ではなく青色であるという点である。以下、標準的な文字の色である黒色を「基準文字色」と呼ぶこととする。なお、基準文字色は黒色以外のユーザが指定した色であってもよい。また、二値化処理の結果である二値画像４１０には文字色の違いは現れない。

続くＳ８０２では、除去候補抽出部２０２’が、文書画像内における基準文字色を有する文字部分を除いた背景領域のうち除去対象の候補となる背景領域を抽出する除去候補抽出処理を行う。図１０は、本実施形態に係る、除去候補抽出処理の詳細を示すフローチャートである。以下、図１１のフローチャートに沿って説明する。

≪除去候補抽出処理≫
Ｓ１００１～Ｓ１００４は、実施形態１の図５のフローチャートにおけるＳ５０２～Ｓ５０５にそれぞれ対応する。すなわち、Ｓ８０１にて生成された二値画像を構成する全画素の中から注目画素がまず決定される（Ｓ１００１）。次に、決定した注目画素が黒画素であるか否かが判定され（Ｓ１００２）、注目画素の画素値が黒を表す「１」であればＳ１００４へ進み、白を表す「０」であればＳ１００８へ進む。注目画素が黒画素の場合は、注目画素と同位置に存在する、文書画像における対応画素の色情報が取得され（Ｓ１００３）、取得した対応画素の色情報に基づき、対応画素が基準文字色以外の色を有する画素であるか否かが判定される（Ｓ１００４）。判定の結果、対応画素の色情報が示す色が基準文字色以外の色であればＳ１００５へ進み、基準文字色と同じ色であればＳ１００８へ進む。いま、基準文字色は黒色なので、対応画素が、青色の文字領域に属する画素の場合や赤色のカラー背景領域に属する画素の場合はＳ１００５に進み、黒色の文字領域に属する画素の場合はＳ１００８に進むことになる。

Ｓ１００５では、対応画素の色情報が示す色が、既出の色であるか否かが判定される。具体的には、直近のルーチンまでのＳ１００６にてＲＡＭ１１３に保持された色情報が示す色の中に、対応画素の色情報が示す色と同じ色が存在するかどうかがチェックされる。対応画素の色情報が示す色が既出の色である場合はＳ１００７へ進み、既出の色でない場合はＳ１００６へ進む。

Ｓ１００６では、基準文字色以外の色と判定された色を持つ対応画素の色情報をＲＡＭ１１３に保持すると共に、当該対応画素の色情報が示す色と関連付けた除去候補画像の初期化が行われる。例えば、対応画素の色情報が示す色が赤であった場合は赤色用に初期化された除去候補画像が生成され、対応画素の色情報が示す色が青であった場合は青色用に初期化された除去候補画像が生成されることになる。

そして、Ｓ１００７では、対応画素の色情報が示す色と関連付けられている除去候補画像の画素のうち、上記「対応画素」と同位置に存在する画素が黒画素に変更される。例えば、対応画素の色情報が示す色が赤であった場合は赤と関連付けられた除去候補画像内の画素が黒画素に変換され、対応画素の色情報が示す色が青であった場合は青と関連付けられた除去候補画像内の画素が黒画素に変換されることになる。

Ｓ１００８では、二値画像を構成する全画素について処理が完了したか否かが判定される。全画素の処理が完了していれば本処理を抜ける。一方、未処理の画素があればＳ１００１に戻って次の注目画素を決定して処理が続行される。

以上が、本実施形態に係る、除去候補抽出処理の内容である。これにより、基準文字色以外の色に対応した１以上の除去候補画像が生成される。前述の図９の例では、赤色に関連付けられた画像４２０ａと青色に関連付けられた画像４２０ｂの２つが除去候補画像として生成されることになる。なお、上記の手法以外に、例えば二値画像にて黒画素である文書画像における対応画素の色情報を抽出・集計し、クラスタリングなどの手法を用いて複数のクラスターに分類後、各クラスターに対応した除去候補画像を生成する手法によってもよい。こうして生成された１以上の除去候補画像のデータは、ＲＡＭ１１３に格納される。

図８のフローチャートの説明に戻る。

次に、Ｓ８０３では、除去判定部２０３’が、Ｓ８０２にて生成された１以上の除去候補画像をそれぞれ解析し、各除去候補画像内の黒画素塊単位の位置及びサイズを示す単位領域情報を取得する。各除去候補画像から単位領域情報を取得する方法については、実施形態１で説明したとおりである。

次に、Ｓ８０４では、文字領域特定部７０１が、Ｓ８０３にて取得された単位領域情報に基づき、それぞれの単位領域情報が表す領域が文字領域であるのか非文字領域であるのかを特定して単位領域情報毎にラベル付けを行う。文字領域特定部７０１は、領域サイズ、画素密度、領域形状について予め設定した条件を、単位領域情報が表す領域が満たしている場合に文字領域であると特定する。そして、文字領域であると特定された場合の単位領域情報には文字オブジェクトであることを示す「文字ラベル」を付与し、文字領域ではないと特定された場合の単位領域情報には文字オブジェクトではないことを示す「非文字ラベル」を付与する。なお、文字オブジェクトであるか非文字オブジェクトであるかの特定には他の手法を用いてもよく、例えば簡易的なＯＣＲ処理を用いて文字認識できるかどうかによって特定してもよい。このような処理を文字領域特定部７０１は除去候補画像毎に行う。

次に、Ｓ８０５では、除去判定部２０３’が、Ｓ８０３で取得された単位領域情報に基づき、各除去候補画像内の黒画素塊のうち実際に除去する黒画素塊を単位領域毎に決定する除去対象決定処理を行う。図１１は、本実施形態に係る、除去対象決定処理の詳細を示すフローチャートである。以下、図１１のフローチャートに沿って説明する。

≪除去対象決定処理≫
Ｓ１１０１では、Ｓ８０２にて生成された１以上の除去候補画像の中から注目する除去候補画像が決定される。次に、Ｓ１１０２では、注目除去候補画像に関して取得された単位領域情報に基づき、当該除去候補画像内に存在する全ての単位領域のうち注目する単位領域が決定される。

次に、Ｓ１１０３では、Ｓ１１０２で決定した注目単位領域に対応する文書画像内の領域を対象として、当該領域内に存在する基準文字色と同じ色を有する基準文字色画素がカウントされる。

次に、Ｓ１１０４では、Ｓ１１０３でカウントした基準文字色画素数が閾値より少ないかどうかが判定される。カウント画素数が閾値より少ない場合はＳ１１０５へ進み、閾値以上の場合はＳ１１０８へ進む。

Ｓ１１０５では、注目単位領域が文字領域であるかどうかが、その単位領域情報に付与されたラベルに基づき判定される。文字ラベルが付与されている場合はＳ１２０７へ進み、非文字ラベルが付与されている場合はＳ１１０６へ進む。

Ｓ１１０６では、注目単位領域が他の文字領域と重なっているかどうかが判定される。具体的には、注目単位領域と重なりのある他の領域が存在するかどうかをまず探索し、存在する場合に当該他の領域の単位領域情報に付与されているラベルが文字ラベルであるかどうかを確認する。重なっている他の領域が存在し、かつ、文字ラベルが付与されている場合は注目単位領域が他の文字領域と重なっていると判定し、Ｓ１１０８へ進む。一方、重なっている他の領域が存在しない、又は、存在するが非文字ラベルが付与されている場合は注目単位領域が他の文字領域と重なっていないと判定し、Ｓ１１０７へ進む。

Ｓ１１０７では、除去候補画像から注目単位領域内の黒画素塊を削除する処理が行われる。具体的には、注目単位領域内の黒画素を白画素に置き換える処理が行われることになる。

Ｓ１１０８では、注目除去候補画像に関して取得された単位領域情報が示す全ての単位領域について処理が完了したか否かが判定される。全ての単位領域について処理が完了していれば本処理を抜ける。一方、未処理の単位領域があればＳ１１０２に戻って次の注目単位領域を決定して処理を続行する。

Ｓ１１０９では、Ｓ８０２にて生成された全ての除去候補画像について処理が完了したか否かが判定される。全ての除去候補画像について処理が完了していれば本処理を抜ける。一方、未処理の除去候補画像があればＳ１１０１に戻って次の注目除去候補画像を決定して処理を続行する。

以上が、本実施形態に係る、除去対象決定処理の内容である。ここまでの処理を前述の図９の具体例を参照して説明する。まず、赤色と関連付けられた除去候補画像４２０ａの場合、文書画像４００’内の対応する領域のうち、枠４２１ａ、４２１ｂ、４２１ｄに対応する各領域は何らかの文字を含んでいる。よって、各領域内の基準文字色画素数は閾値を上回ることになり（Ｓ１１０４でＮｏ）、これらに対応する除去候補画像４２０ａ内の単位領域４２１ａ、４２１ｂ、４２１ｄの黒画素塊は削除されることなく残ることになる。一方、枠４２１ｃに対応する文書画像４００内の対応する領域には文字を含んでおらず、文字色画素数が閾値を下回り（Ｓ１１０４でＹｅｓ）、文字領域でもなく（Ｓ１１０５でＮｏ）、文字領域と重なってもいない（Ｓ１１０６でＮｏ）。したがって、除去候補画像４２０ａから単位領域４２１ｃの黒画素塊が削除されることになる（Ｓ１１０７）。次に、青色と関連付けられた除去候補画像４２０ｂの場合、文書画像４００’内の対応する領域のうち、枠４２２に対応する領域内の基準文字色画素数は閾値を下回るものの（Ｓ１１０４でＹｅｓ）、文字領域である（Ｓ１１０５でＹｅｓ）。したがって、除去候補画像４２０ｂから単位領域４２２の黒画素塊が削除されることになる（Ｓ１１０７）。こうして得られた結果を統合すると、実施形態１の図４における除去対象画像４３０と同様の除去対象画像４３０’が得られることになる。

以上のとおり本実施形態によれば、文書画像内に黒文字とは別にカラー文字が存在する場合において、当該カラー文字部分に重なっているカラー背景についても適切に除去することができる。これによりカラー背景が重なった黒文字とカラー文字の双方について高精度にＯＣＲ処理を行うことができ、文書画像から適切に文字情報を抽出することが可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (16)

1. 文書を読み取った文書画像に対し二値化処理を行って、前記文書画像において基準レベルよりも濃い色を表す第１画素と、前記基準レベルよりも薄い色を表す第２画素とで構成された二値画像を生成する二値化手段と、
   前記二値化手段によって生成された前記二値画像に含まれる前記第１画素のうち、前記文書画像における対応画素の色が前記文書内の文字オブジェクトの色とは異なる画素を前記第２画素に変更することで、前記文書画像において前記文字オブジェクトに重なる背景オブジェクトを除去した二値画像を生成する背景除去手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記背景除去手段は、
   前記二値化手段によって生成された前記二値画像に基づき、前記文書画像において前記文字オブジェクトの色とは異なる色の前記文字オブジェクトに重なる背景オブジェクトであって除去の候補となる背景オブジェクトを表す除去候補画像を生成する生成手段と、
   前記除去候補画像における単位領域毎に、除去の対象とするか否かを判定する判定手段と、
   前記判定手段によって前記除去の対象とすると判定された前記単位領域に対応する前記二値画像に含まれる前記第１画素を前記第２画素に変更する処理手段と、
   を有することを特徴とした請求項１に記載の画像処理装置。
3. 前記生成手段は、前記二値化手段によって生成された前記二値画像を構成する画素のうち前記第１画素に対応する前記文書画像における画素の色情報を取得し、当該取得した色情報が示す色が前記文字オブジェクトの色以外の色である場合、当該対応する位置の画素を除去の候補となる背景オブジェクトを構成する画素として、前記除去候補画像を生成する、ことを特徴とする請求項２に記載の画像処理装置。
4. 前記文字オブジェクトの色として複数の色がある場合、
   前記生成手段は、当該複数の色のうち基準文字色とは異なる色の背景オブジェクトを除去の候補とした、前記除去候補画像を生成する、ことを特徴とした請求項２又は３に記載の画像処理装置。
5. 前記生成手段は、前記背景オブジェクトの色として前記基準文字色とは異なる色が複数ある場合、当該異なる色それぞれに関連付けて、複数の前記除去候補画像を生成することを特徴とする請求項４に記載の画像処理装置。
6. 前記生成手段は、前記二値化手段によって生成された前記二値画像を構成する画素のうち前記第１画素に対応する、前記文書画像における画素の色情報を取得し、クラスタリングの手法を用いて複数のクラスターに分類して、複数の色それぞれに対応した複数の前記除去候補画像を生成することを特徴とする請求項５に記載の画像処理装置。
7. 前記判定手段は、
   前記単位領域に対応する前記文書画像における対応領域内の前記文字オブジェクトの色とは異なる色を有する画素の数をカウントし、
   カウント画素数が閾値より少ない場合、前記単位領域を除去の対象としないと決定する、
   ことを特徴とした請求項２乃至６のいずれか一項に記載の画像処理装置。
8. 前記判定手段は、前記単位領域が文字領域であるのか非文字領域であるのかをさらに判定し、文字領域であると判定された前記単位領域を除去の対象としないと決定する、ことを特徴とした請求項７に記載の画像処理装置。
9. 前記判定手段は、前記除去候補画像の前記単位領域のうち非文字領域であると判定された前記単位領域が、他の文字領域と重なるかどうかをさらに判定し、重なっていないと判定された前記単位領域を除去の対象としないと決定する、ことを特徴とした請求項８に記載の画像処理装置。
10. 前記単位領域は、前記除去候補画像に含まれる前記背景オブジェクトを表す画素のうち互いに隣接する画素の集合体に対応する領域であることを特徴とする請求項２乃至９のいずれか一項に記載の画像処理装置。
11. 前記生成手段は、カラー、グレースケール、二値のいずれかの画像形式で前記除去候補画像を生成すること特徴とした請求項２乃至１０のいずれか一項に記載の画像処理装置。
12. 前記文字オブジェクトの色は黒色、若しくは、ユーザが指定した色であることを特徴とした請求項１乃至３のいずれか一項に記載の画像処理装置。
13. 前記基準文字色は黒色、若しくは、ユーザが指定した色であることを特徴とした請求項４又は５に記載の画像処理装置。
14. 前記文字オブジェクトに重なる背景オブジェクトが除去された二値画像に対してＯＣＲ処理を行って、前記文書画像の文字情報を取得する取得手段をさらに備えたことを特徴とする請求項１乃至１３のいずれか一項に記載の画像処理装置。
15. 文書を読み取った文書画像に対し二値化処理を行って、前記文書画像において基準レベルよりも濃い色を表す第１画素と、前記基準レベルよりも薄い色を表す第２画素とで構成された二値画像を生成する二値化ステップと、
    前記二値化ステップにて生成された前記二値画像に含まれる前記第１画素のうち、前記文書画像における対応画素の色が前記文書内の文字オブジェクトの色とは異なる画素を前記第２画素に変更することで、前記文書画像において前記文字オブジェクトに重なる背景オブジェクトを除去した二値画像を生成する背景除去手ステップと、
    を含むことを特徴とする画像処理方法。
16. コンピュータを、請求項１乃至１４のいずれか一項に記載の画像処理装置として機能するためのプログラム。

Images