JP4830763B2 - 画像処理システムおよび画像処理プログラム - Google Patents

Description

本発明は、画像処理システムおよび画像処理プログラムに関する。

近年、携帯電話やＰＤＡの普及によって、携帯可能な情報処理装置が多くなってきている。その情報処理装置の表示装置は、携帯性を重視するため、一般的にサイズの小さいものが多い。これらの表示装置にスキャナ等により入力した文書を表示させると、操作者が本来読みたい部分が小さくなり、読みにくくなるということが生じている。
これらに関する技術として、例えば、特許文献１には、静止画や動画に文字を重ねて表示する際に視認性を向上させることを課題とし、ＣＰＵは、撮影した静止画像や動画像、フラッシュメモリに記録されている静止画像、動画像などを再生する際に、音声認識処理部により変換され、テキスト分割処理部により分割されたテキストを、表示装置に再生中の静止画像や動画像上に重ねて表示し、このとき、テキスト長が画面サイズより小さい場合には、そのままセンタリング表示や縦書き表示し、また、テキスト長が画面サイズより大きい（画面に入りきらない）場合には、テキスト文字のフォントを小さいものに変換したり、テキストの語彙を短縮語彙に変換したり、スクロールしたりするなどして表示することが開示されている。
特開２００４−３５７０９２号公報

本発明は、このような背景技術の状況の中でなされたもので、全体を表示するとその内容が判読しにくくなるような画面であっても、絵柄領域と文字領域を重ね合わせて表示することができるようにした画像処理システムおよび画像処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
［１］ 画像を文字が含まれる文字領域と絵柄が含まれる絵柄領域に分離する領域分離手段と、
前記領域分離手段によって分離された絵柄領域を表示し、該絵柄領域の表示の上に前記領域分離手段によって分離された文字領域を重ねて表示する表示手段と、
前記領域分離手段によって分離された絵柄領域が複数ある場合は、該絵柄領域の中から表示する絵柄領域を選択する絵柄領域選択手段と、
前記領域分離手段によって分離された文字領域に対して文字認識を行う文字認識手段と、
文字と該文字が表す内容である画像の画像特徴量とを対応して記憶する特徴量記憶手段
を具備し、
前記絵柄領域選択手段は、前記文字認識手段による認識結果である文字に対応する画像の画像特徴量を前記特徴量記憶手段から抽出し、前記絵柄領域の画像特徴量を抽出し、該特徴量記憶手段から抽出した画像特徴量と該絵柄領域の画像特徴量を比較して、文字領域の文字に対応した絵柄領域を選択し、
前記表示手段は、前記絵柄領域選択手段によって選択された絵柄領域を表示する
ことを特徴とする画像処理システム。

［２］ 前記表示手段は、前記領域分離手段によって分離された絵柄領域を表示し、該絵柄領域の表示の上に前記文字認識手段によって認識を行った文字を重ねて表示する
ことを特徴とする［１］に記載の画像処理システム。

［３］ 前記表示手段は、絵柄領域の上に文字領域を重ねて表示する場合に、該絵柄領域に応じて該文字領域を変形して表示する
ことを特徴とする［１］に記載の画像処理システム。

［４］ 前記表示手段は、絵柄領域の上に文字を重ねて表示する場合に、該絵柄領域に応じて該文字を変形して表示する
ことを特徴とする［２］に記載の画像処理システム。

［５］ 前記表示手段は、文字の変形として、
（１）文字が黒以外の文字であれば、該文字が前記絵柄領域の中央付近に位置したときに、該文字を変形する処理、
（２）スクロール表示している文字列が前記絵柄領域の中央付近に位置したときに、その文字列を変形する処理、
（３）予め記憶されている文字と同じ文字を表示しようとした場合に、該文字を変形する処理、
（４）前記絵柄領域の色と表示しようとする文字の色が類似している場合は、異なる色に変更する処理、
（５）文字列の高さ又は幅をそろえる変形をする処理、
のいずれかの処理を行うことを特徴とする［４］に記載の画像処理システム。

［６］ コンピュータに、
画像を文字が含まれる文字領域と絵柄が含まれる絵柄領域に分離する領域分離機能と、
前記領域分離機能によって分離された絵柄領域を表示し、該絵柄領域の表示の上に前記領域分離機能によって分離された文字領域を重ねて表示する表示機能と、
前記領域分離機能によって分離された絵柄領域が複数ある場合は、該絵柄領域の中から表示する絵柄領域を選択する絵柄領域選択機能と、
前記領域分離機能によって分離された文字領域に対して文字認識を行う文字認識機能と、
文字と該文字が表す内容である画像の画像特徴量とを対応して記憶する特徴量記憶機能
を実現させ、
前記絵柄領域選択機能は、前記文字認識機能による認識結果である文字に対応する画像の画像特徴量を前記特徴量記憶機能から抽出し、前記絵柄領域の画像特徴量を抽出し、該特徴量記憶機能から抽出した画像特徴量と該絵柄領域の画像特徴量を比較して、文字領域の文字に対応した絵柄領域を選択し、
前記表示機能は、前記絵柄領域選択機能によって選択された絵柄領域を表示する
ことを特徴とする画像処理プログラム。

請求項１の画像処理システムによれば、本構成を有していない場合に比較して、全体を表示するとその内容が判読しにくくなるような画面であっても、絵柄領域と文字領域を重ね合わせて表示することができる。例えば、具体的には、絵柄領域の上に文字領域を半透明にしてスクロールしながら表示することができるようになり、操作者にとって視認性が向上する。そして、絵柄領域が複数あっても、その中の絵柄領域を選択して表示することができる。さらに、文字領域の文字と絵柄領域の内容が対応した絵柄領域を選択することができるようになる。

請求項２の画像処理システムによれば、本構成を有していない場合に比較して、全体を表示するとその内容が判読しにくくなるような画面であっても、絵柄領域と文字を重ね合わせて表示することができる。例えば、具体的には、絵柄領域の上に文字を半透明にして文字ごとの処理を施してスクロールしながら表示することができるようになり、操作者にとって視認性が向上する。

請求項３の画像処理システムによれば、本構成を有していない場合に比較して、請求項１の画像処理システムによる効果に加えて、該絵柄領域に応じた文字領域を表示することになるので、操作者にとって視認性が更に向上する。

請求項４の画像処理システムによれば、本構成を有していない場合に比較して、請求項２の画像処理システムによる効果に加えて、該絵柄領域に応じた文字を表示することになるので、操作者にとって視認性が更に向上する。

請求項５の画像処理システムによれば、絵柄領域の上に文字を重ねて表示する場合に、閲覧者の注意を引くように表示することができるようになる。

請求項６の画像処理プログラムによれば、本構成を有していない場合に比較して、全体を表示するとその内容が判読しにくくなるような画面であっても、絵柄領域と文字領域を重ね合わせて表示することができる。例えば、具体的には、絵柄領域の上に文字領域を半透明にしてスクロールしながら表示することができるようになり、操作者にとって視認性が向上する。そして、絵柄領域が複数あっても、その中の絵柄領域を選択して表示することができる。さらに、文字領域の文字と絵柄領域の内容が対応した絵柄領域を選択することができるようになる。

以下、図面に基づき本発明の好適な一実施の形態を説明する。
各図は一実施の形態を示している。図１は、本発明の一実施の形態の概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはプログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、プログラム、システムおよび方法の説明をも兼ねている。また、モジュールは機能にほぼ一対一に対応しているが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散または並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続を含む。
また、システムとは、複数のコンピュータ、ハードウェア、装置等がネットワーク等で接続されて構成されるほか、１つのコンピュータによって実現される場合も含まれる。

本実施の形態は、図１に示すように、画像入力モジュール１１０、領域分離モジュール１２０、文字認識モジュール１３０、文字整形モジュール１４０、表示モジュール１５０、キーワードＤＢ１６０を有している。さらに、表示モジュール１５０内には、絵柄領域選択モジュール１５１、文字変形モジュール１５２、スクロール表示モジュール１５３を有している。
画像入力モジュール１１０は、図１に示すように、領域分離モジュール１２０と接続されており、対象とする画像を入力する。そして、入力した画像を領域分離モジュール１２０へ渡す。より具体的には、画像を電子的イメージとして入力するものにスキャナ、ファックス等が該当する。また、アプリケーション作成文書を入力するものとして、文書データベース等の記憶装置からの読み出しモジュール、通信回線を介して、他のシステムから受信する受信モジュール等が該当する。ここで、入力する画像は１枚の画像であってもよいし、複数ページからなる画像であってもよい。

領域分離モジュール１２０は、図１に示すように、画像入力モジュール１１０、文字認識モジュール１３０、表示モジュール１５０と接続されており、画像入力モジュール１１０によって入力された画像から領域を分離する。そして、分離した領域を文字認識モジュール１３０、表示モジュール１５０へ渡す。領域の分離は、画像から空白等で区切られた領域を抽出することによって行われる。もちろん他の既存の方法で領域を分離してもよい。
また、その領域の属性として、文字が含まれている文字領域、絵柄が含まれている絵柄領域を少なくとも識別する。また、この他に、表が含まれている表領域等も識別してもよい。なお、絵柄領域には、文字領域以外であって、写真等の自然画が含まれている写真領域、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）により描かれる図形等が含まれる図形領域などが含まれる。領域の属性の識別は、領域ごとに特徴抽出を行い、その特徴空間において、その属性の特徴を典型的に表すモデルとの距離に応じて、属性を定めることによって行う。特徴抽出以外に、他の既存の方法を用いてもよい。

文字認識モジュール１３０は、図１に示すように、領域分離モジュール１２０、文字整形モジュール１４０と接続されており、領域分離モジュール１２０によって分離された領域のうち、文字領域に対して文字認識を行う。その文字認識結果を文字整形モジュール１４０へ渡す。なお、文字認識モジュール１３０は、文字認識を行わずに、領域分離モジュール１２０から受け取った文字領域の画像をそのまま文字整形モジュール１４０へ渡すようにしてもよい。
文字整形モジュール１４０は、図１に示すように、文字認識モジュール１３０、表示モジュール１５０と接続されており、文字認識モジュール１３０によって認識された文字を整形処理する。その整形した文字を表示モジュール１５０へ渡す。
また、文字認識モジュール１３０が文字認識を行わなかった場合、文字を行毎に分ける、または文字毎に分けることを行い、その文字画像に対して整形処理を行う。以下に説明する整形処理において、文字または文字列とは、文字認識処理後の文字（テキスト）または文字列の他に、文字画像または文字列画像をも含むものとする。
ここで、整形処理とは、以下のような処理をいう。
（１）文字列の横幅が絵柄領域の幅よりも長い場合には、その絵柄領域の幅以内に収まるように、文字の大きさを縮小する（文字がテキストの場合は、文字のポイントを小さくする）。
（２）文字列の縦長が絵柄領域の縦よりも長い場合には、その絵柄領域の幅以内に収まるように、文字の大きさを縮小する（文字がテキストの場合は、文字のポイントを小さくする）。
（３）文字列の横幅が絵柄領域の幅よりも長い場合には、その絵柄領域の幅以内に収まるように、文字列を複数列に分ける（文字がテキストの場合は、改行を挿入する）。

表示モジュール１５０は、図１に示すように、領域分離モジュール１２０、文字整形モジュール１４０、キーワードＤＢ１６０と接続されており、領域分離モジュール１２０によって分離された絵柄領域を表示し、その絵柄領域の表示の上面に文字整形モジュール１４０によって整形処理された文字を重ねて表示する。
また、文字認識モジュール１３０が文字認識を行わなかった場合、文字毎または行毎の文字画像を文字または文字列として扱うことができる。ここで説明する表示モジュール１５０内の処理において、文字または文字列とは、文字認識処理後の文字（テキスト）または文字列の他に、文字画像または文字列画像をも含むものとする。

表示モジュール１５０内には、絵柄領域選択モジュール１５１、文字変形モジュール１５２、スクロール表示モジュール１５３の各モジュールがある。文字変形モジュール１５２はキーワードＤＢ１６０と接続されている。
絵柄領域選択モジュール１５１は、領域分離モジュール１２０によって分離された領域のうち、絵柄領域が複数ある場合に、その絵柄領域の中から表示する絵柄領域を選択する。選択の基準として、例えば、そのページの中で最大の大きさの絵柄領域を選択するようにしてもよい。
文字変形モジュール１５２は、スクロール表示モジュール１５３と連携しており、文字をスクロール表示する場合に、以下のような文字の変形処理を行う。この処理によって、重要な言葉（キーワード）の場合は、閲覧者の注意を引くことができるようになる。
（１）元の文字が黒以外（例えば、赤等）の文字であれば、その文字が絵柄領域のほぼ中央に位置したときに、この文字を変形する。変形には、拡大、色変更、スタイル変更、フォント変更、縁取り等の処理を含む。以下、同じである。
（２）スクロール表示している文字列が絵柄領域のほぼ中央に位置したときに、その文字列を変形する。
（３）キーワードＤＢ１６０に格納されている文字と同じ文字（テキストの場合）を表示しようとした場合に、その文字を変形する。なお、キーワードＤＢ１６０はサーバーとして、通信回線を介して、遠隔地にあるものであってもよい。
（４）絵柄領域の色と表示しようとする文字の色が類似している場合は、異なる色に変更する。スクロールしているので、絵柄領域内でも表示する位置（背景色）によって、色を変更することもできる。
（５）文字列の高さをそろえる変形をする。または、文字列の幅をそろえる変形をする。

スクロール表示モジュール１５３は、絵柄領域選択モジュール１５１で選択された絵柄領域をディスプレイに表示し、その表示された絵柄領域の上に、文字変形モジュール１５２で変形された文字をスクロール表示する。つまり、絵柄領域を固定し、その固定した絵柄領域の上面に文字を下方向から上方向へ向けてスクロールしながら表示する。また、スクロール量は、文字のフォントの大きさに合わせて定めるようにしてもよい。

次に作用・働き（動作）を説明する。
図２は文字認識モジュール１３０によって文字認識処理を行った場合の処理であり、図３は文字認識モジュール１３０がない場合または文字認識モジュール１３０によって文字認識処理が行われなかった場合の処理である。
図２に示したフローチャートについて、図５、図６を用いて説明する。
ステップＳ２００では、画像入力モジュール１１０が対象とする画像（原稿）を入力する。例えば、図５に示した画像５００をスキャナ等を用いて入力する。

ステップＳ２０２では、領域分離モジュール１２０がステップＳ２００で入力した画像から文字領域、絵柄領域、その他の領域に分離する。例えば、図５の画像５００を、文字領域５０１と絵柄領域５０２とに分離する。なお、領域分離モジュール１２０による領域分離の結果は、図４に示すようなテーブルに格納する。領域テーブル４００は、ＩＤ欄４０１、左上座標欄４０２、右下座標欄４０３、属性欄４０４、文字認識結果欄４０５を有しており、ＩＤ欄４０１は領域をそのページ内で一意に識別できる識別子を、左上座標欄４０２、右下座標欄４０３は領域のそのページ内における位置を、属性欄４０４はその領域が文字領域であるか、絵柄領域であるか、その他の領域であるかの別を、文字認識結果欄４０５はその領域が文字領域であるならば、文字認識モジュール１３０による認識結果を、それぞれ記憶する。なお、ここでは、領域を矩形領域としているが、任意の形状であってもよい。任意の形状である場合、その形状を切り取るためのマスクとしての画像（ファイル）を左上座標欄４０２または右下座標欄４０３が記憶する。また、データ構造は、テーブル構造ではなく、リンク構造等であってもよい。

ステップＳ２０４では、文字認識モジュール１３０がステップＳ２０２で分離した文字領域に対して文字認識を行う。図５の例では、文字領域５０１を対象として文字認識を行う。その認識結果は、図４の文字認識結果欄４０５に記憶させる。また、認識結果の文字量が多い場合は、ファイルに記憶し、そのファイル名を文字認識結果欄４０５に記憶するようにしてもよい。
ステップＳ２０６では、絵柄領域選択モジュール１５１が複数の絵柄領域の中から表示する絵柄領域を選択する。図５の例では、絵柄領域は１つであるので、絵柄領域５０２が選択される。なお絵柄画像が複数あった場合には、画像サイズが一番大きい絵柄画像を選択してもよいし、操作者が選択するようにしてもよい。また、文字領域の文字の内容と絵柄画像の内容が一致した絵柄画像を選択してもよい。文字領域の文字の内容と絵柄画像の内容が一致した画像を選択するとは、絵柄画像に対して画像認識処理を行って抽出した、色の分布、エッジの強さ、エッジの方向などの前記絵柄画像の画像特徴量と前記文字領域の文字の内容に対応する画像の特徴量が登録されているデータベースの画像特徴量から、前記文字領域の文字の内容に対応する画像の特徴量と前記絵柄画像の画像特徴量が一番近い画像を選択することをいう。
ステップＳ２０８では、スクロール表示モジュール１５３がステップＳ２０４での認識結果とステップＳ２０６で選択した絵柄領域とを合成する。つまり、文字を表示するための画像を作成し、その文字画像と絵柄領域の画像との論理和合成、文字画像を薄くした上での論理和合成、文字画像と絵柄領域の画像との排他的論理和合成、文字部分のみの書き込み（つまり、背景部分は透明）等を行う。
ステップＳ２１０では、スクロール表示モジュール１５３がステップＳ２０８で作成した合成画像をディスプレイに表示する。表示している例を図６に示す。絵柄領域５０２の上面に（つまり、絵柄領域５０２を背景にして）文字領域５０１を合成してスクロール表示している例である。文字色を白色にして、文字部分のみの書き込みを行い、下から上へ文字領域５０１がスクロールしている。
このようにすることによって、ディスプレイが携帯電話に用いられているような小さな画面であっても、絵柄領域を判別できる程度に表示することができ、文字についてはスクロール表示するようにしているので、より多くの情報量を得ることができるようになる。

図３に示したフローチャートは、文字認識を行わずに文字画像として扱う場合であり、図２のフローチャートと同様のステップは、そのことのみを示す。
ステップＳ３００は、ステップＳ２００と同様である。
ステップＳ３０２は、ステップＳ２０２と同様である。
ステップＳ３０４は、ステップＳ２０６と同様である。
ステップＳ３０６では、ステップＳ３０４で選択された絵柄領域とステップＳ３０２で分離された文字領域とを画像として合成する。また、文字画像から文字列または文字毎の画像を取り出すこともできるので、合成処理としてはステップＳ２０８と同様の処理ができる。
ステップＳ３０８は、ステップＳ２１０と同様である。

図７を参照して、本実施の形態の画像処理システムのハードウェア構成例について説明する。図７に示す構成は、コンピュータによって構成される画像処理システムであり、スキャナ等のデータ読み取り部７１７と、プリンタなどのデータ出力部７１８を備えたハード構成例を示している。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７０１は、上述の実施の形態において説明した各種のモジュール、すなわち、領域分離モジュール１２０、文字認識モジュール１３０、文字整形モジュール１４０、表示モジュール１５０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムに従った処理を実行する制御部である。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７０２は、ＣＰＵ７０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７０３は、ＣＰＵ７０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス７０４により相互に接続されている。

ホストバス７０４は、ブリッジ７０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス７０６に接続されている。

キーボード７０８、マウス等のポインティングデバイス７０９は、操作者により操作される入力デバイスである。ディスプレイ７１０は、液晶表示装置またはＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などから成り、各種情報をテキストやイメージ情報として表示する。

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）７１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ７０１によって実行するプログラムや情報を記録または再生させる。ハードディスクは、入力された画像や領域分離モジュール１２０、文字認識モジュール１３０の結果データなどが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

ドライブ７１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体７１３に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース７０７、外部バス７０６、ブリッジ７０５、およびホストバス７０４を介して接続されているＲＡＭ７０３に供給する。リムーバブル記録媒体７１３も、ハードディスクと同様のデータ記録領域として利用可能である。

接続ポート７１４は、外部接続機器７１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート７１４は、インタフェース７０７、および外部バス７０６、ブリッジ７０５、ホストバス７０４等を介してＣＰＵ７０１等に接続されている。通信部７１６は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部７１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部７１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。

なお、図７に示す画像処理システムのハードウェア構成は、１つの構成例を示すものであり、本実施の形態の画像処理システムは、図７に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えばＡＳＩＣ等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図７に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（多機能複写機とも呼ばれ、スキャナ、プリンタ、複写機、ファックス等の機能を有している）、携帯電話、ＰＤＡ、ゲーム機、ナビゲーションシステムなどに組み込まれていてもよい。

なお、説明したプログラムについては、記録媒体に格納することも可能であり、また、そのプログラムを通信手段によって提供することもできる。その場合、例えば、上記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えることもできる。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去および書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等が含まれる。
そして、上記のプログラムまたはその一部は、上記記録媒体に記録して保存や流通等させることが可能である。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにはこれらの組合せ等の伝送媒体を用いて伝送することが可能であり、また、搬送波に乗せて搬送することも可能である。
さらに、上記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。

本実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示すフローチャートである。 領域分離した場合の処理結果のデータ構造例を示す説明図である。 本実施の形態が処理対象とする文書例を示す説明図である。 本実施の形態によって処理された画面表示例を示す説明図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

符号の説明

１１０…画像入力モジュール
１２０…領域分離モジュール
１３０…文字認識モジュール
１４０…文字整形モジュール
１５０…表示モジュール
１５１…絵柄領域選択モジュール
１５２…文字変形モジュール
１５３…スクロール表示モジュール
１６０…キーワードＤＢ

Claims (6)

1. 画像を文字が含まれる文字領域と絵柄が含まれる絵柄領域に分離する領域分離手段と、
   前記領域分離手段によって分離された絵柄領域を表示し、該絵柄領域の表示の上に前記領域分離手段によって分離された文字領域を重ねて表示する表示手段と、
   前記領域分離手段によって分離された絵柄領域が複数ある場合は、該絵柄領域の中から表示する絵柄領域を選択する絵柄領域選択手段と、
   前記領域分離手段によって分離された文字領域に対して文字認識を行う文字認識手段と、
   文字と該文字が表す内容である画像の画像特徴量とを対応して記憶する特徴量記憶手段
   を具備し、
   前記絵柄領域選択手段は、前記文字認識手段による認識結果である文字に対応する画像の画像特徴量を前記特徴量記憶手段から抽出し、前記絵柄領域の画像特徴量を抽出し、該特徴量記憶手段から抽出した画像特徴量と該絵柄領域の画像特徴量を比較して、文字領域の文字に対応した絵柄領域を選択し、
   前記表示手段は、前記絵柄領域選択手段によって選択された絵柄領域を表示する
   ことを特徴とする画像処理システム。
2. 前記表示手段は、前記領域分離手段によって分離された絵柄領域を表示し、該絵柄領域の表示の上に前記文字認識手段によって認識を行った文字を重ねて表示する
   ことを特徴とする請求項１に記載の画像処理システム。
3. 前記表示手段は、絵柄領域の上に文字領域を重ねて表示する場合に、該絵柄領域に応じて該文字領域を変形して表示する
   ことを特徴とする請求項１に記載の画像処理システム。
4. 前記表示手段は、絵柄領域の上に文字を重ねて表示する場合に、該絵柄領域に応じて該文字を変形して表示する
   ことを特徴とする請求項２に記載の画像処理システム。
5. 前記表示手段は、文字の変形として、
   （１）文字が黒以外の文字であれば、該文字が前記絵柄領域の中央付近に位置したときに、該文字を変形する処理、
   （２）スクロール表示している文字列が前記絵柄領域の中央付近に位置したときに、その文字列を変形する処理、
   （３）予め記憶されている文字と同じ文字を表示しようとした場合に、該文字を変形する処理、
   （４）前記絵柄領域の色と表示しようとする文字の色が類似している場合は、異なる色に変更する処理、
   （５）文字列の高さ又は幅をそろえる変形をする処理、
   のいずれかの処理を行うことを特徴とする請求項４に記載の画像処理システム。
6. コンピュータに、
   画像を文字が含まれる文字領域と絵柄が含まれる絵柄領域に分離する領域分離機能と、
   前記領域分離機能によって分離された絵柄領域を表示し、該絵柄領域の表示の上に前記領域分離機能によって分離された文字領域を重ねて表示する表示機能と、
   前記領域分離機能によって分離された絵柄領域が複数ある場合は、該絵柄領域の中から表示する絵柄領域を選択する絵柄領域選択機能と、
   前記領域分離機能によって分離された文字領域に対して文字認識を行う文字認識機能と、
   文字と該文字が表す内容である画像の画像特徴量とを対応して記憶する特徴量記憶機能
   を実現させ、
   前記絵柄領域選択機能は、前記文字認識機能による認識結果である文字に対応する画像の画像特徴量を前記特徴量記憶機能から抽出し、前記絵柄領域の画像特徴量を抽出し、該特徴量記憶機能から抽出した画像特徴量と該絵柄領域の画像特徴量を比較して、文字領域の文字に対応した絵柄領域を選択し、
   前記表示機能は、前記絵柄領域選択機能によって選択された絵柄領域を表示する
   ことを特徴とする画像処理プログラム。

Images