JPH11187231A - 画像検索装置及び画像検索方法 - Google Patents

Abstract

(57)【要約】 【課題】 所望する画像を容易に且つ迅速に検索可能な
画像検索装置及び画像検索方法の提供。 【解決手段】 所定のデータ構造を有するブロック情報
の「属性」の項目を参照し、そのブロック情報（以下、
ＢＩ）が表であるかを判断する(S42)。属性が表のとき
には、該ＢＩの大きさが、原画像の全体の大きさの５０
％以上を占めるかを判定する(S43)。具体的には、該Ｂ
Ｉの領域の大きさを、該ＢＩに含まれるブロック枠の横
幅（ＢＷ）及び長さ（ＢＬ）により算出し、原画像の全
体の大きさをＲＡＭ内の（ｘ，ｙ）により算出する。そ
して、これらの算出値の比に基づいて判定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、入力画像
に含まれる所望する画像を検索する画像検索装置及び画
像検索方法に関する。

【０００２】

【従来の技術】近年、画像処理技術及びコンピュータ技
術の発達により、例えば、イメージスキャナやデジタル
カメラ等を利用して複数の原画像の画像データを生成
し、その画像データを画像データファイルとしてパーソ
ナルコンピュータの記録装置等に格納することにより、
それらの画像データファイルを、一般のユーザでも容易
に編集、印刷等が行えるようになりつつある。

【０００３】このような機能を有するソフトウエア或い
は画像処理装置においては、ユーザが所望する画像を検
索する場合、記録装置等に格納している画像データファ
イルを基にそのデータファイルが表わす画像をディスプ
レイに縮小して一覧表示することによって検索を容易に
したり、或いは、登録している画像データファイル毎に
ユーザに予めキーワード等を登録させ、そのキーワード
に従って所望する画像を検索するように構成されてい
る。

【０００４】

【発明が解決しようとする課題】しかしながら、上記の
ような機能では、前者の縮小画像の一覧表示する例で
は、検索の自動化を図ることがでず、また、後者のキー
ワードを利用する例では、画像データファイルに適切な
キーワードをつけるのは意外に難しいため、後になって
実際にキーワードによる検索を行っても、所望する画像
を迅速に選び出すことは容易ではない。

【０００５】そこで、本発明は、所望する画像を容易に
且つ迅速に検索可能な画像検索装置及び画像検索方法の
提供を目的とする。

【０００６】

【課題を解決するための手段】上記の目的を達成するた
め、本発明に係る画像検索装置は以下の構成を備えるこ
とを特徴とする。

【０００７】即ち、入力画像を複数の画像領域に分割
し、それらの画像領域のそれぞれについて、少なくとも
該画像領域の属性情報及び大きさに関する情報を生成す
る領域分割手段と、前記領域分割手段により生成した各
画像領域の属性情報及び大きさに関する情報に基づい
て、所望する画像領域を検索する検索手段と、を備える
ことを特徴とする。

【０００８】また、例えば前記検索手段は、前記所望す
る画像領域について入力された属性情報及び大きさに関
する情報に適合する画像領域を、前記入力画像の大きさ
に関する情報と、前記各画像領域の属性情報及び大きさ
に関する情報に基づいて検索することを特徴とする。

【０００９】または、上記の目的を達成するため、本発
明に係る画像検索方法は以下の構成を備えることを特徴
とする。

【００１０】即ち、入力画像を複数の画像領域に分割
し、それらの画像領域のそれぞれについて、少なくとも
該画像領域の属性情報及び大きさに関する情報を生成す
る領域分割工程と、前記領域分割工程にて生成した各画
像領域の属性情報及び大きさに関する情報に基づいて、
所望する画像領域を検索する検索工程と、を有すること
を特徴とする。

【００１１】

【発明の実施の形態】以下、本発明の画像検索装置の好
適な実施形態を、図面を参照して詳細に説明する。本実
施形態では、本発明を、画像検索装置としてのコンピュ
ータに適用して説明する。

【００１２】図１は、本発明の一実施形態としての画像
検索装置の概略構成を示すブロック図である。

【００１３】図中、１０は、本実施形態における画像検
索装置としてのコンピュータを示している。１は、外部
装置から原画像（原稿文書等）の画像データを入力する
画像入力部である。画像入力部１の具体的な例として
は、原画像を光学的に読み取るスキャナ、外部装置から
画像データ自体を受信するモデム等の装置が有る。

【００１４】２は、例えばハードディスク等の記憶装置
であり、画像入力部１が入手した画像データを画像デー
タファイルとして格納したり、画像分割処理プログラム
及び画像検索処理プログラム等が格納されている。ここ
で、演算処理用の中央処理装置（以下、ＣＰＵ）３にて
実行される画像分割処理プログラム及び画像検索処理プ
ログラムについてが移設すれば、画像分割処理プログラ
ムは、画像入力部１を介して画像検索装置１に入力され
た画像データをＲＡＭ５に一時記憶し、その画像データ
に含まれるテキスト、表、図、絵等の所定の属性を有す
る領域（ブロック）に分割して取り出し、その領域毎に
属性や大きさ等のデータを有するブロック情報を記憶装
置２に記憶する機能を有する。また、画像検索処理プロ
グラムは、領域分割処理において判別された各領域の属
性及び大きさに基づいて、所望する画像の検索する機能
を有する（詳細は後述する）。

【００１５】また、４は、ＲＯＭであり、所定のブート
プログラム等が予め格納されている。５は、ＲＡＭであ
り、ＣＰＵ３のワークエリアとして使用されると共に、
記憶装置２より入力された画像データを一時記憶する領
域、後述する領域分割処理で判別された領域の位置、大
きさを記憶する領域等を有する。

【００１６】６は、ＣＲＴ等の表示部であり、検索され
た画像及び画像内の領域を表示する。７は、例えばプリ
ンタ１００等の外部の出力装置とのインターフェース制
御を行うインタフェースである。

【００１７】そして、画像検索装置１０が有するこれら
の構成は、ＣＰＵ３よりのデータバス、アドレスバス及
び制御信号バス等のシステムバス９により相互に接続さ
れており、ＣＰＵ３は、記憶装置２に予め格納されたプ
ログラムに従って画像検索装置１の全体を制御する。

【００１８】［画像分割処理及び画像検索処理］次に、
記憶装置２に予め記憶されたプログラムに従ってＣＰＵ
３が実行する動作について説明する。

【００１９】図２は、本発明の一実施形態としての画像
検索装置の処理を示すフローチャートである。

【００２０】＜ステップＳ３１＞ステップＳ３１におい
て、ＣＰＵ３は、原画像の画像データファイルを記憶装
置２または画像入力部から読み出し、ＲＡＭ５に記憶す
る。

【００２１】＜ステップＳ３２＞次に、ステップＳ３２
において、ＣＰＵ３は、ＲＡＭ５に記憶している画像デ
ータに対して、所定の領域分割処理を施すことにより、
その画像データが表わす原画像に含まれるテキスト、
図、表、絵、罫線等の属性を有する領域（ブロック）を
検出する。その検出した結果、テキストの属性を有する
ブロックである場合には、更にそのブロック内に含まれ
る画像データに一般的な文字認識処理を行うものとす
る。文字認識処理の方法としては、対象となる画像に含
まれる特徴ベクトルを抽出し、その抽出された特徴ベク
トルと予め辞書として登録しておいた特徴ベクトルとの
マッチングにより文字認識を行う一般的な方法を採用す
ればよい。

【００２２】ステップＳ３２において行う領域分割処理
に採用する方法は、現在では一般的であるため、詳細な
説明は省略するが、例えば、斎藤の特開平０６−０９６
２７５号に開示されている方法を採用すればよい。ここ
で、その手法について簡単に説明する。

【００２３】まず、原画像を縦方向及び横方向のそれぞ
れについて、例えば１／８に縮小した間引き画像を作成
する。原画像を縮小するときには、例えば、８画素×８
画素の小さいエリア内に、黒画素が１つでも有れば１点
の黒画素のとして間引く。

【００２４】次に、間引いた画像に含まれる黒画素にお
いて、所定のしきい値より大きく且つ連続する黒画素の
塊をピクチャ（絵）と判定する。そして、図４のＡＴＴ
Ｒに２０を設定し、当該黒画素の塊が外接する４角形の
左上の座標のＸ座標をＢＸ、Ｙ座標をＢＹ、幅をＢＷ、
高さをＢＬ、左上のアドレスをＡＤＰ、そしてシーケン
シャル番号をＢＩＤに設定し、これらの値をＲＡＭ５等
のメモリに記憶する。

【００２５】次に、残った黒画素の塊、即ちピクチャ
（絵）とは判定できなかった黒画素の塊について、上記
の所定のしきい値より小さいしきい値を用いて連結する
ことにより、テキストの行を抽出する。そして、抽出さ
れた行において、横書きであれば高さ、縦書きであれば
幅が大きい行をタイトルテキストと判定し、ＡＴＴＲに
１０を設定する。その他の情報もピクチャと同様に設定
する。

【００２６】次に、残りの行については、本文テキスト
と判定し、ＡＴＴＲに１１を設定する。

【００２７】本ステップによる領域分割処理により、図
４及び図５に示すデータ構造を有するブロック情報が、
当該処理により検出されたブロック毎に生成され、記憶
装置２またはＲＡＭ５に記憶される。

【００２８】図４は、本発明の一実施形態としてのブロ
ック情報の構造を示す図である。図５は、本発明の一実
施形態としての実データの構造を示す図である。また、
図６は、本発明の一実施形態としてのブロック情報の変
数を説明する図である。

【００２９】図４において、ＢＩＤ（ブロックＩＤ）
は、領域分割処理で検出されたブロックに任意の順番で
重複しないようにつけた識別番号である。ＡＴＴＲは、
属性を区別するためのコードであり、例えば１０は、タ
イトルテキスト、１１は本文テキスト、２０はピクチャ
（絵）を表わすものとする。

【００３０】次に、図４のＢＸ（ブロック枠Ｘ座標
値）、ＢＹ（ブロック枠Ｙ座標値）、ＢＷ（ブロック枠
の横幅）、ＢＬ（ブロック枠の長さ）のデータは、それ
ぞれ図６に示す関係にある。即ち、現在ＲＡＭ５にある
画像データ（原画像）の最左上の角の点を原点（０，
０）とする座標系Ｘ−Ｙ座標において、（ＢＸ，ＢＹ）
はブロック枠の左上角点の座標である。ＢＷ，ＢＬは、
各々ブロック枠のＸ方向の幅、Ｙ方向の長さを意味す
る。

【００３１】実データポインタ（ＡＤＰ）は、記憶装置
２またはＲＡＭ５に記憶する実データの先頭アドレスで
ある。ここで、実データとは、対象としているブロック
の属性がピクチャ（絵）の場合、原画像を表わす画像デ
ータから該ピクチャに対応する部分の画像を取り出した
ビットマップ画像である。また、テキストの場合、実デ
ータとは、文字認識処理の結果得られたテキストデータ
である。実データが有するデータ構造を、図５に示す。

【００３２】図５に示す実データの構造において、ＡＤ
Ｌは、データ長さを表わす。ＴＹＰＥは、データの種類
を表わす。例えば、ＴＹＰＥが１ならビットマップ画像
を、２ならばテキストデータを意味する。そしてＡＤＤ
には、ＡＴＴＲ（属性）に応じて、ビットマップ画像デ
ータやテキストデータのコードが格納される。

【００３３】また、本ステップにおいて、ＣＰＵ３は、
座標系Ｘ−Ｙ座標における原画像の大きさ（ｘ，ｙ）も
ＲＡＭ５に記憶するものとする。

【００３４】＜ステップＳ３３＞次に、ステップＳ３３
において、ＣＰＵ３は、ユーザが不図示のキーボード等
によって指定した領域（ブロック）の「属性」と、その
ブロックの「大きさに関するデータ」に基づいて、記憶
装置２またはＲＡＭ５に図４及び図５のデータ構造で記
憶されている各ブロック情報を検索し、その検索結果を
ＲＡＭ５に記憶する（詳細は後述する）。

【００３５】＜ステップＳ３４＞次に、ステップＳ３４
において、ＣＰＵ３は、検索対象の全ブロックを処理し
たか判定し、未処理のブロックが有ればステップＳ３１
に戻って検索を続行する。一方、全ブロックの検索が完
了しているときにはステップＳ３５に進む。

【００３６】＜ステップＳ３５＞次に、ステップＳ３５
において、ＣＰＵ３は、検索結果を表示部６に表示す
る。

【００３７】図３は、本発明の一実施形態としての図２
のステップＳ３３の画像検索処理の詳細を示すフローチ
ャートである。同図は、一例として、ユーザが検索しよ
うとしているブロックの「属性」が「表」であって、そ
のブロックの枠（以下、ブロック枠）の「大きさに関す
るデータ」が原画像の大きさの５０％以上の大きさであ
る場合について示している。

【００３８】＜ステップＳ４１＞ステップＳ４１におい
て、ＣＰＵ３は、記憶装置２またはＲＡＭ５に図４及び
図５のデータ構造で記憶されている各ブロック情報の中
から１つを選択する。

【００３９】＜ステップＳ４２＞ステップＳ４２におい
て、ＣＰＵ３は、ステップＳ４１で選択したブロック情
報のＡＴＴＲ（属性）の項目を参照し、そのブロック情
報が表であるか否かを判断し、属性が表ではないときに
はステップＳ４５に進む。一方、属性が表のときには、
ステップＳ４３に進む。

【００４０】＜ステップＳ４３＞ステップＳ４３におい
て、ＣＰＵ３は、現在選択されているブロック情報（属
性が表のブロック情報）のブロック枠の大きさが、ステ
ップＳ３１で読み込んだ原画像の全体の大きさの５０％
以上を占めるかどうか判定する。具体的には、現在選択
されているブロック情報の領域の大きさを、ブロック枠
の横幅（ＢＷ）と長さ（ＢＬ）との積により算出し、原
画像の全体の大きさをＲＡＭ５の座標値（ｘ，ｙ）にお
けるｘとｙとの積により算出する。そして、これらの算
出値の比が０．５（５０％）以上か否かを判定すればよ
い。

【００４１】ステップＳ４３の判断において、ＮＯのと
き（５０％より小さい）にはステップＳ４５に進む。

【００４２】＜ステップＳ４４＞一方、ステップＳ４３
でＹＥＳのとき（５０％以上）には、現在選択されてい
るブロック情報が、ユーザが探しているブロック情報で
あると判定する。

【００４３】＜ステップＳ４５＞ステップＳ４５におい
て、ＣＰＵ３は、全てのブロック情報について検索を行
ったか否かを判断し、ＮＯのときにはステップＳ４１に
戻って他のブロック情報について上述した検索処理を行
う。一方、全てのブロック情報について検索が完了した
ときには、図２のステップＳ３５に進む。

【００４４】図７は、本発明の一実施形態としての画像
検索結果を示す表示例を示す図である。

【００４５】図中、２１は、ステップＳ３５で表示部６
に表示するイメージウィンドウの一例である。イメージ
ウィンドウ２１の内部には、ステップＳ３２の領域分割
処理の結果を示すブロック枠２２及びその枠内には文字
認識処理が施されてテキストデータ化されたテキストが
表示されている。また、ステップＳ３３の検索処理の結
果「表」と判定された画像データを含むブロック枠２３
が表示されている。

【００４６】ここで、イメージウィンドウ２１の内部
に、ステップＳ３３の検索処理の結果だけでなく、ステ
ップＳ３２の領域分割処理の結果の一部をも表示するの
は、ユーザが複数の検索結果から所望する表を探し出す
のを容易にするためである。また、ユーザが所望する画
像エリアのコピー等の操作を、クリップボード等を介し
て容易に行えるようにするためである。

【００４７】尚、イメージウィンドウ２１には、ステッ
プＳ３３の検索処理の結果だけを表示してもよいことは
言うまでもない。

【００４８】また、プリンタ１００より画像等を出力す
る処理については説明を省略している。

【００４９】また、上述した実施形態では、画像検索装
置としてのパーソナルコンピュータ等のコンピュータに
本発明を適用した例を説明したが、これに限られるもの
ではなく、領域分割処理や検索処理部等の専用のハード
ウエアを有する装置に適用してもよいことは言うまでも
ない。

【００５０】以上説明したように、本実施形態では、ス
テップＳ３２の領域分割処理によって原画像に含まれる
様々な属性を有する画像領域（ブロック）を検出し、そ
れらの各ブロックを図４及び図５のデータ構造を有する
ブロック情報としてＲＡＭ５等に記憶した。そして、ス
テップＳ３３の検索処理では、記憶した複数のブロック
情報からユーザが所望する画像を、その画像の「属性」
と「大きさに関するデータ」とに基づいて検索した。こ
れにより、ユーザが所望する画像を、容易に且つ迅速に
検索することができる。特に、本発明の画像検索装置
は、検索の対象となる画像が多い場合に大きな効果を得
られることは言うまでもない。

【００５１】尚、上述した実施形態では、図３のステッ
プＳ３２において、領域の分割を行っているが、原画像
が予め画像検索装置１内に読み込まれ、且つ領域分割さ
れており、その結果、各画像領域のブロック情報が記憶
装置２等に格納されている場合には、ステップＳ３３以
降の処理だけで装置を構成してもよいことは言うまでも
ない。

【００５２】

【他の実施形態】尚、本発明は、複数の機器（例えばホ
ストコンピュータ，インタフェイス機器，リーダ，プリ
ンタ等）から構成されるシステムに適用しても、一つの
機器からなる画像検索装置に適用してもよい。

【００５３】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、上記の装置またはシステム、装置、
或いはコンピュータに供給し、その装置等のＣＰＵやＭ
ＰＵが記憶媒体に格納されたプログラムコードを読み出
し実行することによっても、達成されることは言うまで
もない。

【００５４】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【００５５】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭ等
を用いることができる。

【００５６】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）等が実際の処理の一部または全部
を行い、その処理によって前述した実施形態の機能が実
現される場合も含まれることは言うまでもない。

【００５７】更に、記憶媒体から読出されたプログラム
コードが、コンピュータに挿入された機能拡張ボードや
コンピュータに接続された機能拡張ユニットに備わるメ
モリに書込まれた後、そのプログラムコードの指示に基
づき、その機能拡張ボードや機能拡張ユニットに備わる
ＣＰＵ等が実際の処理の一部または全部を行い、その処
理によって前述した実施形態の機能が実現される場合も
含まれることは言うまでもない。

【００５８】

【発明の効果】以上説明したように、本発明によれば、
所望する画像を容易に且つ迅速に検索可能な画像検索装
置及び画像検索方法の提供が実現する。

【００５９】

【図面の簡単な説明】

【図１】本発明の一実施形態としての画像検索装置の概
略構成を示すブロック図である。

【図２】本発明の一実施形態としての画像検索装置の処
理を示すフローチャートである。

【図３】本発明の一実施形態としてのステップＳ３３の
詳細を示すフローチャートである。

【図４】本発明の一実施形態としてのブロック情報の構
造を示す図である。

【図５】本発明の一実施形態としての実データの構造を
示す図である。

【図６】本発明の一実施形態としてのブロック情報の変
数を説明する図である。

【図７】本発明の一実施形態としての画像検索結果を示
す表示例を示す図である。

【符号の説明】 １：画像入力部， ２：記憶装置， ３：ＣＰＵ， ４：ＲＯＭ， ５：ＲＡＭ， ６：表示部， ７：インタフェース， １０：コンピュータ（画像検索装置）， １１：システムバス １００：プリンタ，

Claims (7)

【特許請求の範囲】
1. 【請求項１】 入力画像を複数の画像領域に分割し、そ
   れらの画像領域のそれぞれについて、少なくとも該画像
   領域の属性情報及び大きさに関する情報を生成する領域
   分割手段と、 前記領域分割手段により生成した各画像領域の属性情報
   及び大きさに関する情報に基づいて、所望する画像領域
   を検索する検索手段と、を備えることを特徴とする画像
   検索装置。
2. 【請求項２】 前記検索手段は、前記所望する画像領域
   について入力された属性情報及び大きさに関する情報に
   適合する画像領域を、前記入力画像の大きさに関する情
   報と、前記各画像領域の属性情報及び大きさに関する情
   報に基づいて検索することを特徴とする請求項１記載の
   画像検索装置。
3. 【請求項３】 前記入力画像の大きさに関する情報は、
   前記入力画像の縦方向及び横方向の長さであり、且つ、
   前記各画像領域の大きさに関する情報は、各画像領域の
   縦方向及び横方向の長さであって、 前記検索手段は、前記入力画像及び前記各画像領域につ
   いて、縦方向の長さと横方向の長さとの積を算出し、そ
   の算出した前記入力画像の積と前記各画像領域の積との
   比に基づいて、前記所望する画像領域を検索することを
   特徴とする請求項２記載の画像検索装置。
4. 【請求項４】 入力画像を複数の画像領域に分割し、そ
   れらの画像領域のそれぞれについて、少なくとも該画像
   領域の属性情報及び大きさに関する情報を生成する領域
   分割工程と、 前記領域分割工程にて生成した各画像領域の属性情報及
   び大きさに関する情報に基づいて、所望する画像領域を
   検索する検索工程と、を有することを特徴とする画像検
   索方法。
5. 【請求項５】 前記検索工程では、前記所望する画像領
   域についての属性情報及び大きさに関する情報に適合す
   る画像領域を、前記入力画像の大きさに関する情報と、
   前記各画像領域の属性情報及び大きさに関する情報に基
   づいて検索することを特徴とする請求項４記載の画像検
   索方法。
6. 【請求項６】 前記入力画像の大きさに関する情報は、
   前記入力画像の縦方向及び横方向の長さであり、且つ、
   前記各画像領域の大きさに関する情報は、各画像領域の
   縦方向及び横方向の長さであって、 前記検索工程では、前記入力画像及び前記各画像領域に
   ついて、縦方向の長さと横方向の長さとの積を算出し、
   その算出した前記入力画像の積と前記各画像領域の積と
   の比に基づいて、前記所望する画像領域を検索すること
   を特徴とする請求項５記載の画像検索方法。
7. 【請求項７】 画像検索プログラムを格納したコンピュ
   ータ読み取りが可能な記憶媒体であって、その記憶媒体
   により、コンピュータを、 入力画像を複数の画像領域に分割し、それらの画像領域
   のそれぞれについて、少なくとも該画像領域の属性情報
   及び大きさに関する情報を生成する領域分割手段と、 前記領域分割手段により生成した各画像領域の属性情報
   及び大きさに関する情報に基づいて、所望する画像領域
   を検索する検索手段として動作させることを特徴とする
   記憶媒体。