JP4366011B2

JP4366011B2 - 文書処理装置及び方法

Info

Publication number: JP4366011B2
Application number: JP2000388887A
Authority: JP
Inventors: 知俊金津
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2000-12-21
Filing date: 2000-12-21
Publication date: 2009-11-18
Anticipated expiration: 2020-12-21
Also published as: US7170647B2; JP2002190957A; US20020085243A1

Description

【０００１】
【発明の属する技術分野】
本発明は、文書の電子化処理を行うための文書処理装置及び方法に関し、特に文書の電子化処理に際して実行される像域分離処理に関する。
【０００２】
【従来の技術】
近年、情報の電子化が進み、文書を紙ではなく電子化して保存、あるいは送信するという需要が高まっている。特に、蓄積メディアの低価格化、および通信帯域の増大により、電子化の対象となる文書は白黒２値のものから、フルカラーの文書へと広がりつつある。
【０００３】
ここでいう文書の電子化とは、単に紙文書をスキャナなどにより光電変換し、画像データ化することのみにとどまらず、記載されている内容を認識して、文書を構成するテキスト、記号、図、写真、表などそれぞれ性質の異なる領域に分割し、文字部は文字コード情報、図はベクトルデータ、写真は画像データ、表は構造データ、といったように各々最も適した形態でデータ化する処理のことを指す。
【０００４】
そのような文書の電子化処理の第１段階として行われるのが、１頁の文書画像に書かれた内容を分析し、文字や図、写真、表など異なる性質の部分要素に分割する処理、すなわち領域分割処理である。図２５は領域分割の一例を示す図である。
【０００５】
このような領域分割処理の実現例としては、米国特許第５６８０４７８号の“Methodand Apparatus for character recognition”（Shin-Ywangら／CanonK.K）などが挙げられる。この例では、文書画像中の黒画素の８連結輪郭塊、白画素の４連結輪郭塊の集合を抽出し、その形状、大きさ、集合状態などから、文字領域、絵や図、表、枠、線といった文書に特徴的な領域を抽出している。図２５の例では、文字領域（ブロック１、３、４、６）、絵や図領域（ブロック２）、表領域（ブロック５）、枠、線（７）といった文書に特徴的な領域を抽出している。
【０００６】
ここで、黒画素の８連結輪郭塊（以下、黒画素塊）とは、図１４のように、ある黒画素から８方向のいずれかで連結している黒画素の集合体である。また、白画素の４連結輪郭塊（以下、白画素塊）とは、図１６のようにある白画素から４方向のいずれかで連結している白画素の集合体を指す。
【０００７】
上述の領域分割処理は、その動作原理より、入力となる文書画像が白黒２値であることが前提となる。従って、この技術を利用してカラー文書の領域分割を行うためには、あらかじめ文書画像の２値化を行う必要がある。一般にカラー画像の２値化は、画素の輝度分布から閾値を求め、画像の各画素を、前出の輝度閾値を境に白又は黒の画素へと変換することで行われる。
【０００８】
【発明が解決しようとする課題】
カラー画像の２値化のための閾値の求め方には、全画面単一で求める方法と、領域毎に求める方法が考えられる。本出願人による特願平１１−２３８５８１号にて提案されている２値化方法では、入力原稿の内容に応じて、領域毎に動的に最適な閾値を求め、これを用いることで領域毎に最適な２値化が行われる。特に低輝度下地上の高輝度文字と、高輝度下地上の低輝度文字が混在するカラー画像から、それらすべてが白地上の黒文字に自動的に変換されるような２値化を可能とし、領域分割処理の入力として最適な２値画像を得ることが可能である。
【０００９】
図２４は先に提案された２値化手法によって色付きの下地を含む文書に領域分離を行った様子を説明する図である。図２４において、カラーの文書２３０１は、下半分に濃い色付の下地領域があり、その上に薄い色の文字が載っているものとし、それ以外は薄い色の下地に濃い色の文字となっているものとする。この様な文書においては、上半分と下半分は意味的に分離しているであろうことが理解できる。
【００１０】
文書２３０１のようなカラー文書に対して、前述の２値化方式で２値化を行うと、図２４の２３０２で示されるような２値画像が生成される。２値画像２３０２では、下地は除去されてすべて白画素になり、文字はすべて黒画素になっている。このとき、２値画像２３０２に対し従来通り領域分割処理を行うと、図２４中２３０３のような結果が得られる、画面の下半分に存在した下地付の領域の情報が欠落しているために、本来ＴＥＸＴ１およびＴＥＸＴ２はそれぞれ中央で２つに分離すべきなのにもかかわらず、結合してしまっている。
【００１１】
つまり、本来カラー画像の持っている下地色による文字領域の範囲指定情報は２値化の際に失われてしまう。
【００１２】
本発明は上記の問題に鑑みてなされたものであり、色によって表された領域の区別を維持した領域分割を可能にすることを目的とする。
【００１３】
【課題を解決するための手段】
上記の目的を達成するための本発明の一態様による文書処理装置は、
輝度画像を２値化するための閾値を複数決定する第１決定手段と、
前記第１決定手段で決定された複数の閾値それぞれを用いて前記輝度画像を２値化することにより、複数の２値画像を取得する取得手段と、
前記取得手段で取得した複数の２値画像それぞれに含まれる黒画素の連結成分の領域に基づいて、下地の輝度が異なる各領域の位置と大きさとを示す領域情報を生成する生成手段と、
前記輝度画像における前記領域情報で示される各領域について、輝度値の反転を行うか否かを決定する第２決定手段と、
前記輝度画像における前記領域情報で示される各領域について、当該各領域を２値化するための閾値をそれぞれ設定する設定手段と、
前記輝度画像における前記領域情報で示される各領域について、前記第２決定手段で反転を行うと決定された領域に関しては、輝度値を反転した前記輝度画像内の対応する領域を、前記設定手段で当該領域に対して設定された閾値で２値化することにより２値部分画像を取得し、一方、前記第２決定手段で反転を行わないと決定された領域に関しては、輝度値を反転していない前記輝度画像内の対応する領域を、前記設定手段で当該領域に対して設定された閾値で２値化することにより２値部分画像を取得する２値部分画像取得手段と、
前記輝度画像の全面を所定閾値で２値化して得られる２値画像における対応する領域に、前記２値部分画像取得手段で取得した各領域の２値部分画像を上書きすることにより、前記輝度画像に関する第２の２値画像を得る２値化手段と、
前記２値化手段で得られた第２の２値画像から文書要素を抽出し、前記生成手段で生成された領域情報で示される各領域を枠の要素とし、前記文書要素と枠の要素とに基づいて木構造を得て、当該木構造に基づいて前記輝度画像の領域分割を行う分割処理手段とを備え、
前記分割処理手段で得る木構造は、前記抽出した文書要素のうち前記領域情報で示される各領域に含まれる文書要素を当該各領域に対応する枠の要素の子孫にした木構造である。
【００１４】
また、上記の目的を達成するための本発明の文書処理方法は、
第１決定手段が、輝度画像を２値化するための閾値を複数決定する第１決定工程と、
取得手段が、前記第１決定工程で決定された複数の閾値それぞれを用いて前記輝度画像を２値化することにより、複数の２値画像を取得する取得工程と、
生成手段が、前記取得工程で取得した複数の２値画像それぞれに含まれる黒画素の連結成分の領域に基づいて、下地の輝度が異なる各領域の位置と大きさとを示す領域情報を生成する生成工程と、
第２決定手段が、前記輝度画像における前記領域情報で示される各領域について、輝度値の反転を行うか否かを決定する第２決定工程と、
設定手段が、前記輝度画像における前記領域情報で示される各領域について、当該各領域を２値化するための閾値をそれぞれ設定する設定工程と、
２値部分画像取得手段が、前記輝度画像における前記領域情報で示される各領域について、前記第２決定工程で反転を行うと決定された領域に関しては、輝度値を反転した前記輝度画像内の対応する領域を、前記設定工程で当該領域に対して設定された閾値で２値化することにより２値部分画像を取得し、一方、前記第２決定工程で反転を行わないと決定された領域に関しては、輝度値を反転していない前記輝度画像内の対応する領域を、前記設定工程で当該領域に対して設定された閾値で２値化することにより２値部分画像を取得する２値部分画像取得工程と、
２値化手段が、前記輝度画像の全面を所定閾値で２値化して得られる２値画像における対応する領域に、前記２値部分画像取得工程で取得した各領域の２値部分画像を上書きすることにより、前記輝度画像に関する第２の２値画像を得る２値化工程と、
分割処理手段が、前記２値化工程で得られた第２の２値画像から文書要素を抽出し、前記生成工程で生成された領域情報で示される各領域を枠の要素とし、前記文書要素と枠の要素とに基づいて木構造を得て、当該木構造に基づいて前記輝度画像の領域分割を行う分割処理工程とを有し、
前記分割処理工程で得る木構造は、前記抽出した文書要素のうち前記領域情報で示される各領域に含まれる文書要素を当該各領域に対応する枠の要素の子孫にした木構造である。
【００１５】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な実施形態を説明する。
【００１６】
図１は本実施形態による文書処理装置の装置概観を示す図である。図１において、１０１はコンピュータ装置であり、添付のフローチャートを参照して以下で説明する処理を実現するためのプログラムを含む、文書の電子化処理プログラムを実行する。コンピュータ装置１０１は、ユーザに状況や画像を表示するためのディスプレイ装置１０２、およびユーザの操作を受け付けるキーボードやマウス等のポインティングデバイスを含んで構成される入力装置１０３が付随する。ディスプレイ１０２表示デバイスとしては、ＣＲＴやＬＣＤ等が用いられる。１０４はスキャナ装置であり、文書画像を光学的に読み取り、電子化し、得られた画像データをコンピュータ装置１０１に送る。本実施形態では、カラースキャナを用いる。
【００１７】
図２は本実施形態による文書処理装置の構成を示すブロック図である。図１において、２０１はＣＰＵであり、ＲＯＭ２０２或いはＲＡＭ２０３に格納された制御プログラムを実行することにより、後述の電子化処理を含む各種機能を実現する。２０２はＲＯＭであり、ＣＰＵ２０１によって実行される各種制御プログラムやデータが格納される。２０３はＲＡＭであり、ＣＰＵ２０１によって実行される各種制御プログラムを格納したり、ＣＰＵ２０１が各種処理を実行するのに必要な作業領域を提供する。２０４は外部記憶装置であり、添付のフローチャートを参照して説明する処理をＣＰＵ１０１によって実現するための制御プログラムや、画像入力装置１０４を読み取って得られた文書画像データ等を格納する。２０５はコンピュータバスであり、上述の各構成を接続する。
【００１８】
図３は本実施形態の文書処理装置による文書の電子化処理の概要を示す図である。本実施形態による電子化処理の流れは、まず入力部３０１において電子化の対象とするカラー文書をスキャナ１０４を用いて読み込み、文書を画像データとして外部記憶装置２０４に格納する。次に、２値化部３０２において、後段の領域分割処理のために外部記憶装置２０４に格納された文書画像データに対して２値化処理を施す。領域分割部３０３では、２値化部３０２で得られた２値画像から、文字、図、表、枠、線などの要素を抽出し、各領域に分割する。電子化文書作成部３０４は、分割された各要素毎の属性に基づいて文字認識データや用いたり表構造データを用いたりして電子化文書を作成する。出力部３０５は生成された電子化文書を外部記憶装置２０４に格納する。なお、出力部３０５における出力の形態は外部記憶装置２０４への格納に限られるものではなく、ディスプレイ１０２へ表示出力したり、不図示のネットワークインターフェースを介してネットワーク上の他の装置へ出力したり、不図示のプリンタへ出力したりすることも可能である。
【００１９】
以下、図３に示した２値化部３０２の動作について図面参照して説明する。図４は本実施形態による２値化処理を説明するフローチャートである。また、図５は本実施形態の説明に用いるカラー文書画像の例を示す図である。なお、図５に示すカラー文書画像は、３つの下地色（下地Ａ５０１、下地Ｂ５０２、下地Ｃ５０３）を含み、下地Ａ５０１の部分が白、下地Ｂ５０２の部分が黄色、下地Ｃ５０３の部分が青であるとする。一方、文字色は、文字列Ａ５０４，文字列Ｂ５０５が共に黒、文字列Ｃ５０６は白である。
【００２０】
まず、ステップＳ４０１にて処理対象のカラー文書画像を輝度画像に変換する。ここでは一般的に元画像のカラー形式をＲＧＢ形式、輝度画像は１画素あたり０〜２５５のグレイスケール形式とし、各画素の輝度Ｙは元画像の画素値Ｒ，Ｇ，Ｂに対し、Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂによって求めることにするが、他の形式／変換式を用いてもよいことはもちろんである。これにより図５の下地色Ａ５０１，下地色Ｂ５０２，下地色Ｃ５０３の各部分の輝度はそれぞれ２５５，２００，４０（実際は紙面状態や光電変換時のばらつきによって、同じ下地色であっても位置によって輝度値がばらつく。したがって、図６のようなヒストグラム曲線の山は、ある程度の幅を有することになる）へと変換される。
【００２１】
次に、ステップＳ４０２にて、ステップＳ４０１で得られた輝度画像データのヒストグラムをとる。図６は図５に示したカラー画像から得られる輝度値のヒストグラムを示す図である。ヒストグラムが得られたならば、ステップＳ４０３において、そのヒストグラムから複数の閾値を決定する。例えば図６に示したヒストグラムからは、ｔ１，ｔ２の２個の閾値が抽出される。
【００２２】
この複数の閾値ｔ１，ｔ２は例えば以下のような手順で決定できる。ヒストグラムの輝度値２５５（白）から０（黒）まで参照する。参照した輝度値から閾値を選択する条件は、例えば、以下の各条件を設定する。
【００２３】
条件１：当該ヒストグラム曲線において、現在の参照点と、その参照点から横軸の輝度値の大きい方向に例えば１０画素分だけさかのぼった点との間に含まれる合計度数（面積）が、所定の第１の値より大きい。
【００２４】
条件２：当該ヒストグラム曲線における縦軸の度数の急激な減少が発生（例えば「所定の第１の傾きより大」が１回、または「所定の第２の傾きより大」が連続して２回発生）。
【００２５】
条件３：当該ヒストグラム曲線の緩い減少、または上昇が発生（所定の第３の傾きより小）。
【００２６】
本実施形態において、図６に示すｔ１、ｔ２の各点は、上記の各条件のうち、「条件１」が満足された後に「条件２」が満足され、その後更に「条件３」が満足された結果として検出した。尚、参照点は、当該ヒストグラム曲線を所定の間隔で参照するようにしてもよい。また、本実施形態では以上のような条件を用いたが、閾値の決定はこれに限るものではない。例えば更に以下のような条件４〜６を同時に満たす場合を閾値として選択しても良い。
【００２７】
条件４：当該ヒストグラム曲線において、現在の参照点と、その参照点から横軸の輝度値の大きい方向に例えば４０画素さかのぼった点との間に含まれる合計度数（面積）が、所定の第２の値より大きい。
【００２８】
条件５：当該ヒストグラム曲線上の現在の参照点における縦軸の度数が、所定の第３の値より小さい。
【００２９】
条件６：当該ヒストグラム曲線において、現在の参照点と、その参照点から横軸の輝度値の大きい方向に例えば２０画素さかのぼった点におけるヒストグラム値が、所定の第４の値より大きい。
【００３０】
ステップＳ４０４にて、各閾値から複数の２値画像を作成する。これらはテンポラリの２値画像である。本例では、閾値ｔ１で２値化することにより、図７の（ａ）に示す２値画像７０１が、閾値ｔ２で２値化することにより図７の（ｂ）に示す２値画像７０２が生成される。ここで、領域７０３及び７０４はそれぞれ図５に示す下地Ｂ５０２、Ｃ５０３の領域である。閾値ｔ１では下地Ｂ５０２と下地Ｃ５０３の部分も黒となり、閾値ｔ２では、下地５０２の部分は白となり、下地Ｃ５０３の部分は黒となる。
【００３１】
次に、ステップＳ４０５にて、ステップＳ４０４で得られた各２値画像中の黒領域を抽出し、これを下地色の異なる領域を示す領域情報として記録する。これは、２値画像上の黒画素の連結成分を追跡して、一定の大きさ以上となる四角形の領域を抽出する処理である。図７の例では、２値画像７０１より領域７０３が、２値画像７０２より領域７０４がそれぞれ抽出される。
【００３２】
次に、ステップＳ４０６にて、ステップＳ４０５で抽出した各領域内の解析を行う。ここでは、ステップＳ４０１で得られた輝度画像より、ステップＳ４０５で抽出された各領域の範囲を切り出し、各範囲毎に輝度値のヒストグラムをとり、このヒストグラムから各領域について輝度値の反転が必要か否か判断し、必要な場合は輝度値を反転する。更に、このヒストグラムから各領域内に最適な２値化閾値を、図６と同様にして求める（ただし、対象とする領域の大きさが小さくなるので判断に用いる所定の値は異なる）。求められた２値化閾値及び反転情報は、各領域情報に付随するように出力される。尚、反転が必要か否かは、例えば以下に示す計算式により、ヒストグラムの平均値(average)とそのスキュー(skew)とを求めて判断できる。
【００３３】
(average)＝Σip(i),
σ²＝Σ(i-av)²p(i),
(skew)＝1/σ²Σ(i-av)³p(i),
但し、Σip(i)は、ip(i)のi＝０からi＝２５５までの場合の総和、p(i)は確率密度、avは平均値を表わす。
【００３４】
このスキューの絶対値がしきい値より大きいときには、その領域は文字を含むと判断し、更に文字を含むと判断されて且つスキューが正のときには、領域の画像を反転すべきと判断して反転フラグがyesになる。
【００３５】
本例では、領域７０３より図８に示されるヒストグラムが求められて反転必要なしと判断されて該ヒストグラムから閾値ｔ２１が求められる。さらに、領域７０４より図９に示されるヒストグラムが求められて反転必要ありと判断され、図９のヒストグラムを反転して閾値ｔ２２が求められる（尚、図９は反転前のヒストグラムを表し、閾値ｔ２２は反転前のヒストグラムの対応する値として示している）。そして、図１０に示すように、それぞれの領域毎に、座標値と２値化閾値、反転情報を１組とした領域情報が記憶される。
【００３６】
本例では、領域７０３に対する領域情報１００１は、座標値として矩形の左端のｘ座標ｌ１、右端のｘ座標ｒ１、上端のｔ１、下端のｂ１を、２値化閾値として図８のヒストグラムから求まった閾値ｔ２１を、反転情報として反転無し（ｎｏ）を有する。同様に、領域７０４に対する領域情報１００２は、座標値として矩形の左端のｘ座標ｌ２、右端のｘ座標ｒ２、上端のｔ２、下端のｂ２を、２値化閾値として図９のヒストグラムから求まった閾値ｔ２２を、反転情報として反転有り（ｙｅｓ）を有する。
【００３７】
次いで、ステップＳ４０７にて、ステップＳ４０６で得られた領域情報を基に、ステップＳ４０１で得た輝度画像から最終的な２値画像を生成する。本例によれば、
（１）全面を閾値ｔ１で２値化して２値画像７０１を得る。
（２）２値画像７０１上の領域７０３の部分の輝度画像について、領域情報１００１の内容にしたがって処理（この場合閾値（ｔ２１）で２値化）を行い、得られた画像を領域７０３の部分に上書きする。この結果、２値画像７０２が得られる。
（３）領域７０４については、対応する領域情報１００２が反転有りを示すので、領域７０４の部分の輝度画像について反転処理を行い、閾値ｔ２２を用いて２値化して得られた画像を領域７０４の部分に上書きする。この結果、図５に示したカラー画像から図１１に示すような最終２値画像が得られることになる。
【００３８】
次に、以上のようにして２値化部３０２によって得られた２値画像と領域情報を用いて、領域分割部３０３が領域分割を行う。以下、領域分割部３０３の処理について説明する。
【００３９】
図１２は本実施形態の領域分割処理を説明するフローチャートである。領域分割部３０３では、ステップＳ１２０１にて、２値化部３０２により得られた２値化された文書画像から文書要素が抽出され、それらの木構造表現が作られる。このステップＳ１２０１の処理の詳細について図１３のフローチャートを用いて説明する。図１３は図１２のステップＳ１２０１の要素抽出及び木構造化の処理を説明するフローチャートである。
【００４０】
ステップＳ１３０１では、２値化画像からすべての黒画素塊を抽出する。なお、黒画素塊とは、上述したように黒画素の８連結輪郭塊であり、図１４に示すように、縦横斜めに接触した画素で作られた輪郭を持つ黒画素の集合のことである。続くステップＳ１３０２では、抽出した黒画素塊が、予め予想される最大文字高さおよび幅（予め実験的に求めた値）に対し定められた閾値以下の大きさを有するかどうかを判定し、閾値以下である場合はステップＳ１３０８に進み、当該黒画素塊を文字要素と判定する。これを“CHAR”と呼ぶ。
【００４１】
ステップＳ１３０３では、抽出した黒画素が一定比率以上で縦長あるいは横長であるかどうかを判断する。当該黒画素塊が一定比率以上で縦長あるいは横長であった場合は、ステップＳ１３０９において“ＬＩＮＥ”と判定する。また、ステップＳ１３０４では、抽出した黒画素塊中の黒画素のなす輪郭に注目し、その形状が細い斜めの線状であった場合は、ステップＳ１３０９へ進み、当該黒画素塊を“ＬＩＮＥ”と判定する。
【００４２】
ステップＳ１３０５では、黒画素塊の輪郭形状が四角形かどうかを調べる。図１５は、（ａ）黒画素塊の輪郭が四角形の場合と、（ｂ）黒画素塊の輪郭が非四角形である場合の例を示す図である。ステップＳ１３０５において、黒画素塊の輪郭形状が四角形でなければ、ステップＳ１３１２へ進み、当該黒画素塊を“PICTURE”と判定する。
【００４３】
一方、黒画素塊が四角形ならばステップＳ１３０６へ進む。ステップＳ１３０６では、黒画素塊の内部に存在する白画素の４連結輪郭塊を抽出する。白画素の４連結輪郭塊とは、図１６のように、縦横のみに接触した画素で作られた輪郭を持つ白画素の集合のことである。以降この集合を白画素塊と呼ぶ。
【００４４】
ステップＳ１３０７では、ステップＳ１３０６で黒画素塊から抽出された白画素塊の形状がすべて四角形であり、かつ黒画素塊内を所定の間隔で隙間なく埋めているかどうかを判定する。この判定の結果がＹＥＳであった場合は、ステップＳ１３１１へ進み、当該黒画素塊を“FRAME”と判定する。図１７は、枠（FRAME）と図（PICTURE）における内部白画素塊の配置例を示す図である。ステップＳ１３０７の判定によれば、（ａ）、（ｂ）はステップＳ１３０７の判定条件を満たすので、ステップＳ１３１１で枠（FRAME）であると判定されることになる。
【００４５】
また、図１７の（ｃ）に示した白画素塊の配列は、「黒画素塊から抽出された白画素塊の形状がすべて四角形であり、かつ黒画素塊内を隙間なく埋めている」という条件を満たしておらず、ステップＳ１３１２において図（PICTURE）と判定されることになる。結局、ステップＳ１３１２では、ステップＳ１３０７までの条件のいずれにもあてはまらない黒画素塊を、“PICTURE”としている。
【００４６】
さて、本実施形態では、各要素の親となる要素“GROUND”を導入する。画面全体をひとつの“GROUND”とすると、これまで画像から抽出された各要素は、すべてその子供の要素として表現される。そして、“FRAME”と判定された黒画素塊の内部から抽出された白画素塊のひとつひとつをそれぞれ“GROUND”とし、更にこの白画素の内部で、上述したステップＳ１３０１〜Ｓ１３１２の処理を行って子供となる要素を抽出する（ステップＳ１３１３）。なお、“FRAME”の内部で更に“FRAME”が抽出されたときには、これをGROUNDとしてさらに再帰的に処理を行う。
【００４７】
すべての再帰的内部探索が終了した時点で、画像から抽出された要素は木構造を構成することになる。図１８は、文書画像の例と、これをステップＳ１２０１の要素抽出、木構造化によって処理して得られる木構造の例を示す図である。図１８の（ａ）に示されるように、文書画像１８０１は、テキスト列（CHAR）１８０２、１８０７、１８０８と、フレーム（FRAME）１８０４と、図（PICTURE）１８０３、１８０９とを有する。
【００４８】
この文書画像１８０１を上述の処理によって木構造化すると、図１８の（ｂ）のようになる。GROUND１８２１は文書画像１８０１の全体を示し、その要素の一つであるFRAME１８２４は文書画像１８０１中のフレーム１８０４に対応する。更にフレーム１８０４は２つのフレームに分けられ、木構造上では、それぞれGROUND１８２５、１８２６として示されている。
【００４９】
以上のようにして、図１２のステップＳ１２０１で文書画像要素の木構造を得ると、ステップＳ１２０２において、ステップＳ４０６で取得した領域情報を木構造に当てはめる。即ち、２値化部３０２による２値化処理の際に記録された領域情報を参照して、ステップＳ３０１で得られた木構造を変更する。このステップＳ１２０２の処理について、図１９のフローチャートを用いて説明する。
【００５０】
ステップＳ１９０１では、領域情報が存在するかどうかを調べる。領域情報がなければ、そのまま本処理を終了する。領域情報が存在する場合は、ステップＳ１９０２へ進み、領域を仮想的に“FRAME”および“GROUND”の組と考えて要素の木構造の適当な箇所に挿入する。すなわち、領域を内包する“GROUND”を親とする位置に、その領域情報が表す矩形に対応する新たな“FRAME”を挿入し、その子として新たな“GROUND”を置く。
【００５１】
ステップＳ１９０３では、ステップＳ１９０２で挿入した“FRAME”と同じ親（GROUND）を持つ兄弟のうち、当該領域内部に位置する要素をすべて自分の子孫、すなわち新たな“GROUND”の子供へと移動する。
【００５２】
図２０は、上述した木構造変更処理の例を説明する図である。文書画像２００１は色付きの下地領域２００２を有する。２値化部３０２はこの文書画像２００１を２値化して２値画像２０１０を生成するとともに、領域２００２に対応する領域情報２０２０を生成する（図４）。領域分割部３０３は、２値画像２０１０について図１３のフローチャートで説明した処理を施すことにより、画像全体をGROUND２０３１とする木構造２０３０を生成する（Ｓ１２０１）。そして、木構造２０３０に、領域情報２０２０を当てはめて、木構造を変更し、木構造２０４０を得る。
【００５３】
より具体的には、GROUND２０３１を親として、領域２００２に相当する枠（FRAME）を挿入して、その子としてGROUND２０４１を置く。そして、領域２００２に含まれる各要素（Ａ，Ｂ，Ｃ，図形）をGROUND２０４１の子として配置することにより、木構造を変更する。
【００５４】
以上のようにして、ステップＳ１２０２の処理を終えたならば、ステップＳ１２０３へ進む。ステップＳ１２０３では、文字要素をグループ化して行および文字領域を作成する。ステップＳ１２０３の処理について、図２１のフローチャートを用いて説明する。図２１はステップＳ１２０３における文字領域の作成処理を説明するフローチャートである。
【００５５】
ステップＳ２１０１では、各“CHAR”に対し、それぞれ隣り合う“CHAR”との水平距離が閾値内にあるもの同志をグループ化する。このグループを“TEXTLINE”と呼ぶ。但し、これらのグループ化は、同じ親を持つ“CHAR”間のみで行われる。
【００５６】
次に、ステップＳ２１０２において、更にこの“TEXTLINE”同志で、それぞれ隣り合う垂直距離が閾値内にあるもの同志をグループ化する。こうして得られた“TEXTLINE”のグループを“TEXT”あるいは文字領域と呼ぶ。但し、これらのグループ化は同じ親をもつ“CHAR”からなる“TEXTLINE”の間のみで行う。
【００５７】
以上の処理で、文書画像は文字領域である“TEXT”、線の画像部分である“ＬLINE”、図や写真の領域である“PICTURE”、表や枠の領域である“FRAME”という各要素に分割される。
【００５８】
なお、ステップＳ２１０３における文字領域作成時のグループ化は、木構造を意識して行われるので、例えば図２２のように、２値画像上の実線の枠＝“FRAME１”がある場合、“FRAME1”内外それぞれの文字は必ず異なるグループとなる。すなわち、“TEXT1”と“TEXT3”、“TEXT2”と“TEXT4”のように異なる文字領域にグループ化される。
【００５９】
同様に、図２３におけるようなカラー画像の処理の場合、２値化処理後の画像上では枠となるような情報がなくても、ステップＳ１２０２における処理により、２値化処理時に得られた領域情報が領域分割に反映され、色下地上の文字は他と異なる文字領域となり、図２２と同様な正しい領域分割結果が得られる。即ち、２値化処理部３０２によって、文書画像２３０１の２値画像２３１０が得られるとともに領域情報２３２０が得られる。２値画像２３１０を領域分割する際に、ステップＳ１２０２の処理により、領域情報２３２０が反映されて、２３３０に示す如く領域分割結果が得られる。
【００６０】
もし、ステップＳ１２０２の処理を行わないで領域分割処理を行った場合は、下地の情報が反映されることがないので、図２４のように誤った文字領域が得られることになる。
【００６１】
以上説明したように、本実施形態によれば、カラー画像を２値化して領域分割処理を行う際に、２値化処理時に記憶された色付下地の領域情報を用いて領域分割処理の解析内容を変更するので、カラー画像の分割処理に際して２値化の際に失われてしまった情報をも正しく反映した文字領域の抽出が可能になり、より高精度な領域分割処理が可能になる。
【００６２】
なお、上記実施形態によれば、２値化部３０２が保存する領域情報、および領域分割部３０３が処理する“FRAME”領域は四角形に限定していたが、これは矩形の任意連接体、あるいは円、楕円などの領域を対象とするようにしてもよい。この場合でも、カラー画像にあって、２値化の際に失われてしまった情報をも正しく反映した文字領域の抽出が可能になり、より高精度な領域分割処理が可能になる。
【００６３】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００６４】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６５】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６６】
【発明の効果】
以上説明したように、本発明によれば、色によって表された領域の区別を維持した領域分割が可能となる。
【図面の簡単な説明】
【図１】本実施形態による文書処理装置の装置概観を示す図である。
【図２】本実施形態による文書処理装置の構成を示すブロック図である。
【図３】本実施形態の文書処理装置による文書の電子化処理の概要を示す図である。
【図４】本実施形態による２値化処理を説明するフローチャートである。
【図５】本実施形態の説明に用いるカラー文書画像の例を示す図である。
【図６】図５に示したカラー画像から得られる輝度値のヒストグラムを示す図である。
【図７】（ａ）は図５に示したカラー画像を図６に示す閾値ｔ１で２値化した画像を示し、（ｂ）は閾値ｔ２で２値化した画像を示す図である。
【図８】図７の領域７０３における輝度値のヒストグラムを示す図である。
【図９】図７の領域７０４における輝度値のヒストグラムを示す図である。
【図１０】領域情報を示す図である。
【図１１】図５に示したカラー画像の最終的な２値画像を示す図である。
【図１２】本実施形態の領域分割処理を説明するフローチャートである。
【図１３】図１２のステップＳ１２０１の要素抽出及び木構造化の処理を説明するフローチャートである。
【図１４】黒画素の８連結輪郭塊の例を示す図である。
【図１５】（ａ）黒画素塊の輪郭が四角形の場合と、（ｂ）黒画素塊の輪郭が非四角形である場合の例を示す図である。
【図１６】白画素の４連結輪郭塊の例を示す図である。
【図１７】枠（FRAME）と図（PICTURE）における内部白画素塊の配置例を示す図である。
【図１８】文書画像の例と、これをステップＳ１２０１の要素抽出、木構造化によって処理して得られる木構造の例を示す図である。
【図１９】図１２のステップＳ１２０２による木構造の変更処理を説明するフローチャートである。
【図２０】上述した木構造変更処理の例を説明する図である。
【図２１】ステップＳ１２０３における文字領域の作成処理を説明するフローチャートである。
【図２２】枠領域を持つ文書の領域分割処理例を示す図である。
【図２３】本実施形態により色付き下地領域を持つカラー文書が正しく領域分割される様子を示す図である。
【図２４】一般的な手法により色付きの下地領域を持つカラー文書に領域分割を行った様子を説明する図である。
【図２５】領域分割の一例を示す図である。

Claims

輝度画像を２値化するための閾値を複数決定する第１決定手段と、
前記第１決定手段で決定された複数の閾値それぞれを用いて前記輝度画像を２値化することにより、複数の２値画像を取得する取得手段と、
前記取得手段で取得した複数の２値画像それぞれに含まれる黒画素の連結成分の領域に基づいて、下地の輝度が異なる各領域の位置と大きさとを示す領域情報を生成する生成手段と、
前記輝度画像における前記領域情報で示される各領域について、輝度値の反転を行うか否かを決定する第２決定手段と、
前記輝度画像における前記領域情報で示される各領域について、当該各領域を２値化するための閾値をそれぞれ設定する設定手段と、
前記輝度画像における前記領域情報で示される各領域について、前記第２決定手段で反転を行うと決定された領域に関しては、輝度値を反転した前記輝度画像内の対応する領域を、前記設定手段で当該領域に対して設定された閾値で２値化することにより２値部分画像を取得し、一方、前記第２決定手段で反転を行わないと決定された領域に関しては、輝度値を反転していない前記輝度画像内の対応する領域を、前記設定手段で当該領域に対して設定された閾値で２値化することにより２値部分画像を取得する２値部分画像取得手段と、
前記輝度画像の全面を所定閾値で２値化して得られる２値画像における対応する領域に、前記２値部分画像取得手段で取得した各領域の２値部分画像を上書きすることにより、前記輝度画像に関する第２の２値画像を得る２値化手段と、
前記２値化手段で得られた第２の２値画像から文書要素を抽出し、前記生成手段で生成された領域情報で示される各領域を枠の要素とし、前記文書要素と枠の要素とに基づいて木構造を得て、当該木構造に基づいて前記輝度画像の領域分割を行う分割処理手段とを備え、
前記分割処理手段で得る木構造は、前記抽出した文書要素のうち前記領域情報で示される各領域に含まれる文書要素を当該各領域に対応する枠の要素の子孫にした木構造であることを特徴とする文書処理装置。
前記生成手段は、前記複数の２値画像それぞれに含まれる黒画素の連結成分の領域が所定サイズより大きい領域を、前記下地の輝度が異なる領域と判断して、当該下地の輝度が異なる領域の位置と大きさとを表す領域情報を生成する
ことを特徴とする請求項１に記載の文書処理装置。
前記設定手段は、前記輝度画像における前記領域情報で示される各領域のヒストグラムに基づいて、当該各領域を２値化するための閾値をそれぞれ設定する
ことを特徴とする請求項１または２に記載の文書処理装置。
前記第２決定手段は、前記輝度画像における前記領域情報で示される各領域のヒストグラムに基づいて、当該各領域について輝度値の反転を行うか否かを決定する
ことを特徴とする請求項１乃至３のいずれか１項に記載の文書処理装置。
前記分割処理手段は、
前記２値化手段で得られた第２の２値画像から前記文書要素を抽出して木構造を形成する形成手段と、
前記形成手段で形成した木構造の中に前記領域情報で示される各領域を枠の要素として挿入し、前記抽出された文書要素のうち前記領域情報で示される各文書要素を当該各領域に対応する枠の要素の子孫に移動することにより、前記木構造を変更する変更手段とを備え、
前記変更手段で変更された木構造に基づいて領域分割を行う
ことを特徴とする請求項１乃至４のいずれか１項に記載の文書処理装置。
カラー画像を前記輝度画像に変換する変換手段を更に備えることを特徴とする請求項１乃至５のいずれか１項に記載の文書処理装置。
前記第１決定手段は、前記輝度画像のヒストグラムをとり、当該ヒストグラムから前記複数の閾値を決定することを特徴とする請求項１乃至６のいずれか１項に記載の文書処理装置。
第１決定手段が、輝度画像を２値化するための閾値を複数決定する第１決定工程と、
取得手段が、前記第１決定工程で決定された複数の閾値それぞれを用いて前記輝度画像を２値化することにより、複数の２値画像を取得する取得工程と、
生成手段が、前記取得工程で取得した複数の２値画像それぞれに含まれる黒画素の連結成分の領域に基づいて、下地の輝度が異なる各領域の位置と大きさとを示す領域情報を生成する生成工程と、
第２決定手段が、前記輝度画像における前記領域情報で示される各領域について、輝度値の反転を行うか否かを決定する第２決定工程と、
設定手段が、前記輝度画像における前記領域情報で示される各領域について、当該各領域を２値化するための閾値をそれぞれ設定する設定工程と、
２値部分画像取得手段が、前記輝度画像における前記領域情報で示される各領域について、前記第２決定工程で反転を行うと決定された領域に関しては、輝度値を反転した前記輝度画像内の対応する領域を、前記設定工程で当該領域に対して設定された閾値で２値化することにより２値部分画像を取得し、一方、前記第２決定工程で反転を行わないと決定された領域に関しては、輝度値を反転していない前記輝度画像内の対応する領域を、前記設定工程で当該領域に対して設定された閾値で２値化することにより２値部分画像を取得する２値部分画像取得工程と、
２値化手段が、前記輝度画像の全面を所定閾値で２値化して得られる２値画像における対応する領域に、前記２値部分画像取得工程で取得した各領域の２値部分画像を上書きすることにより、前記輝度画像に関する第２の２値画像を得る２値化工程と、
分割処理手段が、前記２値化工程で得られた第２の２値画像から文書要素を抽出し、前記生成工程で生成された領域情報で示される各領域を枠の要素とし、前記文書要素と枠の要素とに基づいて木構造を得て、当該木構造に基づいて前記輝度画像の領域分割を行う分割処理工程とを有し、
前記分割処理工程で得る木構造は、前記抽出した文書要素のうち前記領域情報で示される各領域に含まれる文書要素を当該各領域に対応する枠の要素の子孫にした木構造であることを特徴とする文書処理方法。
コンピュータを、
輝度画像を２値化するための閾値を複数決定する第１決定手段、
前記第１決定手段で決定された複数の閾値それぞれを用いて前記輝度画像を２値化することにより、複数の２値画像を取得する取得手段と
前記取得手段で取得した複数の２値画像それぞれに含まれる黒画素の連結成分の領域に基づいて、下地の輝度が異なる各領域の位置と大きさとを示す領域情報を生成する生成手段、
前記輝度画像における前記領域情報で示される各領域について、輝度値の反転を行うか否かを決定する第２決定手段、
前記輝度画像における前記領域情報で示される各領域について、当該各領域を２値化するための閾値をそれぞれ設定する設定手段、
前記輝度画像における前記領域情報で示される各領域について、前記第２決定手段で反転を行うと決定された領域に関しては、輝度値を反転した前記輝度画像内の対応する領域を、前記設定手段で当該領域に対して設定された閾値で２値化することにより２値部分画像を取得し、一方、前記第２決定手段で反転を行わないと決定された領域に関しては、輝度値を反転していない前記輝度画像内の対応する領域を、前記設定手段で当該領域に対して設定された閾値で２値化することにより２値部分画像を取得する２値部分画像取得手段、
前記輝度画像の全面を所定閾値で２値化して得られる２値画像における対応する領域に、前記２値部分画像取得手段で取得した各領域の２値部分画像を上書きすることにより、前記輝度画像に関する第２の２値画像を得る２値化手段、
前記２値化手段で得られた第２の２値画像から文書要素を抽出し、前記生成手段で生成された領域情報で示される各領域を枠の要素とし、前記文書要素と枠の要素とに基づいて木構造を得て、ここで、前記木構造は、前記抽出した文書要素のうち前記領域情報で示される各領域に含まれる文書要素を当該各領域に対応する枠の要素の子孫にした木構造であり、当該木構造に基づいて前記輝度画像の領域分割を行う分割処理手段、
として機能させるためのプログラムを格納した、コンピュータ読取り可能な記憶媒体。