JPH10340272A - 類似画像検索装置及び方法 - Google Patents

Abstract

(57)【要約】 【課題】類似した画像、もしくは関連している画像を複
数画像で提示することで、目的とする画像を含む候補画
像を効率的に絞り込むことができるようにする。 【解決手段】画像入力部１により入力した画像を画像蓄
積部２に蓄積する際に、利用者指定に応じてキャッシュ
メモリ４２に登録する。このキャッシュメモリ４２に登
録されている画像の一覧を画像提示部４により画像表示
部３に表示して、その中から利用者指定の画像を選択
し、その選択した画像を対象とする利用者からの検索要
素領域の指定の受け付けを行うと、その指定領域の情報
等をキャッシュメモリ４２内の該当する画像に付加す
る。画像提示部４では、画像表示部３に表示している画
像一覧から、検索要素領域が設定済みの利用者指定の複
数の画像を画像検索条件定義用に選択し、その選択した
複数の画像の各検索要素領域をもとに画像検索部５が画
像蓄積部２から類似画像を検索する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、主に大量の画像の
中から、目的とする画像を効率的に検索するのに好適な
類似画像検索装置及び方法に関する。

【０００２】

【従来の技術】近年、マルチメディア情報関連のコンピ
ュータシステムが個人ベースで使われるようになってき
ており、メディアとして従来からのテキストに加え、音
声、図形、カラー画像、映像などといった素材を手軽に
取り扱えるようになってきている。このような画像素材
は、インターネットのワールド・ワイド・ウエブ（ＷＷ
Ｗ）上の各サイトのフリーのものや、有料の画像データ
ベース上などに多数存在する。この大量の画像素材（画
像データ）から、各個人が自身の必要とする画像、例え
ば各個人の好みや間隔に合った画像を検索する作業は大
変負担がかかるものである。

【０００３】そこで従来は、画像検索作業を容易にする
ために、１画面上に縮小した検索対象画像を複数枚同時
表示して利用者に選択させたり、利用者が検索しようと
する画像の特徴を表すスケッチ画像を検索条件として利
用者の操作で提示可能としたり、或いは目的とする画像
に類似した画像を検索条件として利用者の操作で１枚提
示可能とする手法が適用されていた。

【０００４】

【発明が解決しようとする課題】しかしながら従来の検
索手法、例えば縮小した画像を複数枚画面上に同時に表
示してその中から利用者に選択させる、いわゆるマルチ
画像表示を用いた手法では、対象となる画像データ数が
ある程度以上になってしまうと、表示画面の枚数が増え
てしまい、途端に検索効率が落ちてしまう。更に、縮小
画面数が増えてくると、縮小画面を切り替えて長時間見
ながら検索しなければならないという不具合もある。

【０００５】次に、簡単なスケッチ画像で類似画像を提
示する手法においては、絵を描くセンスがある程度ない
と、的確な提示が難しく、そういった絵柄を描くこと
は、スケッチ画といっても手間がかかるという問題があ
る。

【０００６】一方、目的とする画像に類似した画像を１
枚提示する手法は、上記の２つの手法に比べて手軽な手
法である。ところで、類似画像の検索とはいっても、は
っきりとした特定の画像を検索するわけではなく、例え
ば利用者が所望の画像素材を選択するために、利用者自
身の感覚的趣向に沿った画像をそのまま提示して、その
画像に類似した画像群を検索させて、その類似画像群の
中から、より感覚的にマッチする画像を得たい場合があ
る。このような場合にも、上記１枚の画像を提示する手
法が適用できるならば便利である。しかし、１枚の画像
の提示による検索操作では、ある程度の類似画像群を検
索することは可能であるものの、例えば、画像の左側に
緑の木立があり、そして右上に真っ赤な夕日のある画像
といったように、複数の検索要素で検索しようとした場
合には、指定する検索要素を順次切り替えながら操作を
何段階も行う複雑な操作となってしまう。

【０００７】本発明は上記事情を考慮してなされたもの
でその目的は、大量の画像素材を取り扱うシステムにお
いて、類似した画像、もしくは関連している画像を複数
画像で提示することにより、目的とする画像を含む候補
画像を効率的に絞り込むことができる類似画像検索装置
及び方法を提供することにある。

【０００８】

【課題を解決するための手段】本発明は、画像を蓄積し
ておくための画像蓄積手段と、利用者の指定した画像を
選択し、その選択した画像において画像検索キーとなる
領域またはオブジェクトを利用者の指定に応じて検索要
素領域または検索要素として設定する検索要素設定手段
と、この検索要素設定手段により検索要素領域または検
索要素が設定された利用者指定の複数の画像を利用者の
指定に応じて画像検索条件定義用に設定する検索条件設
定手段と、この検索条件設定手段により画像検索条件定
義用に設定された複数の画像の各検索要素領域または検
索要素をもとに上記画像蓄積手段から類似画像を検索す
る画像検索手段とを備えたことを特徴とする。

【０００９】このような構成においては、利用者の指定
した複数の画像のそれぞれについて、利用者の指定に応
じて検索要素領域または検索要素が設定され、その検索
要素領域または検索要素が設定された利用者指定の複数
の画像を利用者指定に応じて画像検索条件定義用に用い
ることで、利用者の感覚によりマッチした画像検索条件
を設定することが可能となるため、利用者が意図した複
数の検索要素での検索が簡単な操作で効率的に行える。

【００１０】特に、画像を入力する画像入力手段を設け
て、当該画像入力手段により入力された画像を画像蓄積
手段に蓄積しておくと共に、その入力画像または画像蓄
積手段に蓄積されている画像の中から、画像検索のキー
となり得る画像を利用者の指定に応じて複数登録してお
くための検索キー候補画像登録手段とを設け、ここに登
録されている複数の画像を画像一覧提示手段により利用
者に提示して、画像検索キーとして使用するために検索
要素領域または検索要素を設定する画像を利用者により
選択指定可能な構成とするならば、画像検索キーとして
使用する画像を利用者が容易に選択可能なようにするこ
とができる。

【００１１】また、検索要素領域または検索要素の設定
と、画像検索条件定義用の設定とを分離し、画像検索条
件定義用の設定とは無関係に、予め検索要素領域または
検索要素を設定しておくことが可能な構成としてもよ
い。この場合、検索キー候補画像登録手段における画像
のデータ登録構造として、検索要素領域または検索要素
が設定済みであるか否かと、設定済みの場合にはその設
定検索要素領域または検索要素が識別可能な構造を適用
するとよい。また、画像提示手段による画像一覧提示の
際にも、検索要素領域または検索要素が設定済みである
か否かと、設定済みの場合にはその設定検索要素領域ま
たは検索要素自体が利用者から視認可能なように、ハイ
ライト表示、或いは特定色表示などで表現するとよい。

【００１２】このようにすると、検索キー候補画像登録
手段に登録されている画像を対象に、任意の時期に検索
要素領域または検索要素を設定することが可能となる。
また利用者は、提示された画像一覧から、検索要素領域
または検索要素が設定済みであるか否かと、設定済みの
場合にはその設定検索要素領域または検索要素を視認で
きるため、画像検索条件定義のための指定が容易に行え
る。

【００１３】また、上記画像検索手段に、上記検索条件
設定手段により画像検索条件定義用に設定された複数の
画像の各検索要素領域または検索要素を利用者指定の論
理演算子で結合して複数の要素からなる検索条件式を生
成する機能を持たせ、その検索条件式に基づいて類似画
像の検索を行う構成とするとよい。特に、検索要素領域
または検索要素に対する所定の論理演算の対象となる利
用者指定の画像を設定するための、それぞれ論理演算種
類を異にする複数の論理演算ボックスを画面表示する機
能を上記検索条件設定手段に持たせ、画像検索手段で
は、上記各論理演算ボックスに設定された利用者指定の
画像の検索要素領域または検索要素に対して当該（利用
者の選択した）ボックスに固有の論理演算（即ち利用者
の選択した論理演算）を施し、その各論理演算結果をも
とに複数の要素からなる検索条件式を生成する構成とす
ることで、利用者による複数画像を用いた検索条件設定
操作の簡略化を図り、優れたユーザインタフェースを実
現することが可能となる。

【００１４】また、検索条件設定手段により画像検索条
件定義用に設定された複数の画像の各検索要素領域また
は検索要素の特徴を色情報で抽出し、この色情報を画像
検索手段による類似画像検索の画像検索条件に用いるこ
とで、画像検索処理の簡略化を図ることも可能である。
ここで、上記色情報を少なくとも色相、彩度、明度の各
成分に分解し、そのうちの予め定められた成分或いは利
用者指定の成分を組み合わせて画像検索条件に用いるな
らば、画像検索処理の簡略化を図りながら、利用者の感
覚によりマッチした画像検索条件を設定することが可能
となる。この際、各画像をｎ×ｍのブロックに分割し
て、検索要素領域または検索要素に対応する全ブロック
についてブロック単位で代表的な色情報（例えば、上記
各成分毎の平均値、中間値、または最大値）を抽出し、
このブロック単位の代表色情報を用いて検索要素領域ま
たは検索要素全体の類似度を求めるようにするとよい。
また、画像蓄積手段に蓄積されている全ての画像につい
て、ｎ×ｍの全ブロックの代表色情報を予め抽出して、
当該画像に対応付けて記憶しておき、検索に際しては、
検索要素領域または検索要素に対応する各ブロックの代
表色情報を取り出して利用する構成とすることも可能で
ある。

【００１５】

【発明の実施の形態】以下、本発明の実施の形態につき
図面を参照して説明する。図１は本発明の一実施形態に
係る類似画像検索装置の全体構成を示すブロック図であ
る。

【００１６】図１において、画像人力部１は、利用者の
操作に従ってインターネットを経由した画像、または他
の画像データベースからの画像を取り込む。画像入力部
１により取り込まれた画像は、例えば後述する画像検索
部５を介して画像蓄積部２に蓄積される。画像の取り込
みは一括取り込みの場合、またはインターネット上をネ
ットサーフィンしながらの取り込みの場合のいずれでも
構わない。

【００１７】さて、画像入力部１により取り込まれた画
像は、画像提示部４を介して画像表示部３に表示され
る。利用者は、画像表示部３に表示された取り込み画像
の中から、特徴となる画像、印象に残る画像、或いは利
用しようとするオブジェクトがある画像を、例えばマウ
ス等のポインティングデバイスを操作して選択指定する
ことができる。

【００１８】画像提示部４は、画像表示部３を介して利
用者と対話するためのユーザインタフェース４１と、類
似画像の検索条件として利用可能な画像を記憶するため
のキャッシュメモリ４２とを有している。画像提示部４
は、ユーザインタフェース４１を通して利用者の画像選
択操作を検出すると、その選択操作で指定された画像を
キャッシュメモリ４２に登録する。ここでキャッシュメ
モリ４２が満杯（ＦＵＬＬ）の場合には、既登録の画像
の中から一度も使用されたことのない画像を削除して、
その領域に利用者指定の画像を新規登録する。また、全
ての画像が一度は使用されている場合には、最も以前に
使用された画像を削除して、その領域に利用者指定の画
像を新規登録する。この他、削除する画像を利用者に選
択させるようにしても構わない。また、キャッシュメモ
リ４２からの既登録画像の削除は、画像の新規登録とは
独立に行うことも可能である。なお、画像蓄積部２に既
に蓄積されている画像を画像表示部３を通して利用者に
提示し、その中から利用者の選択した画像をキャッシュ
メモリ４２に登録するようにしても構わない。

【００１９】画像提示部４は、キャッシュメモリ４２に
登録された画像を利用者に提示し、ユーザインタフェー
ス４１を用いて画像表示部３を介して利用者との対話を
行うことで、利用者の意図した類似画像を検索するため
の利用者指定の類似画像検索条件の受け付けを行う。そ
のために画像提示部４は、キャッシュメモリ４２に登録
された画像を利用者に提示する画像一覧提示機能と、提
示した画像を対象とする利用者指定の画像の要素を検索
キーとなり得る画像要素（検索要素）として受け付ける
（設定する）検索要素設定機能と、利用者の意図した類
似画像を検索するための類似画像検索式（検索条件）の
生成に必要な利用者指定の検索要素を持つ画像を複数提
示すると共に各提示画像（内の検索要素）間を結合する
ための論理演算種別の受け付けが可能な検索条件設定
（定義）機能とを有している。

【００２０】画像検索部５は、画像提示部４の持つ検索
条件設定機能を通して提示された利用者指定の検索要素
を持つ画像と、利用者指定の論理演算種別をもとに、類
似画像検索のための検索式を生成し、その検索式に従っ
て画像蓄積部２に蓄積されている大量画像に対して検索
をかけ、その結果を画像表示部３に表示する。

【００２１】システム制御部６は、上記画像入力部１、
画像蓄積部２、画像表示部３、画像提示部４及び画像検
索部５の各部の制御、及び各部間の管理制御を司る。次
に、図１の構成の動作を、図２乃至図７を参照して説明
する。

【００２２】まず、図１の装置に対して利用者の操作に
より類似画像検索に関する動作が要求されたものとす
る。この場合、システム制御部６は画像提示部４を起動
する。すると画像提示部４（内のユーザインタフェース
４１）は、画像表示部３に、図２に示すような画像一覧
提示エリア２１、検索要素設定エリア２２、及び検索条
件設定エリア２３を持つ画像提示・検索条件設定画面２
０を表示する（図５ステップＳ１）。ここで画像一覧提
示エリア２１には、キャッシュメモリ４２に登録されて
いる画像群が例えば縮小して表示される。なお、キャッ
シュメモリ４２に登録されている画像の数が多いため
に、画像一覧提示エリア２１に一度に表示しきれない場
合には、スクロールにより或いは画面切り替えにより分
割して表示される。画像一覧提示エリア２１の例えば左
側には検索要素設定エリア２２が設けられている。

【００２３】利用者は、画像一覧提示エリア２１に表示
されている画像群の中に、検索に利用可能な画像要素と
して定義したい未定義の画像がある場合に、その画像を
検索要素設定エリア２２までブラウズする操作を行う。
これにより画像提示部４は、画像一覧提示エリア２１上
の利用者指定の画像を検索要素設定エリア２２に表示
し、当該指定画像に対する対象領域（検索要素領域）の
指定の受け付けを行う（図５ステップＳ２〜Ｓ４）。検
索要素設定エリア２２の例えば下側には、「設定」ボタ
ン２２１と「全体」ボタン２２２が配置されている。

【００２４】利用者は、検索要素設定エリア２２にまで
ブラウズした画像の全体を検索要素領域として設定する
場合には、マウスやペン等で「全体」ボタン２２２をク
リックした後、「設定」ボタン２２１をクリックする。
また、画像内の所望のオブジェクト（が存在する領域）
を設定する場合には、マウスやペン等で当該オブジェク
トを囲む形で設定し、「設定」ボタン２２１をクリック
する。

【００２５】画像提示部４（内のユーザインタフェース
４１）は、「設定」ボタン２２１がクリックされたのを
検出すると、検索要素設定エリア２２上の画像を、元の
画像一覧提示エリア２１上の位置に戻す。このとき画像
提示部４は、「全体」ボタン２２２がクリックされた場
合、即ち画像全体が検索要素領域として指定された場合
であれば、画像枠を所定の色、例えば赤色でマーキング
し、画像内のオブジェクトが存在する領域が検索要素領
域として指定された場合であれば、利用者指定の領域、
即ちマウスやペン等で囲んだ軌跡を所定の色（ここで
は、全体指定の場合と同様に赤色）でマーキングする
（図５ステップＳ５）。

【００２６】このようにすることで、利用者は、画像一
覧提示エリア２１に表示されている画像群の中で、検索
に利用可能な検索要素として定義されている画像と未定
義の画像とを簡単に視認できる。しかも、定義画像につ
いては、全体または部分（オブジェクト）のいずれが検
索要素領域として設定されているものであるか、部分
（オブジェクト）の場合には画像上のどの領域が設定さ
れているかが視認できる。

【００２７】上記の定義画像と未定義画像、及び定義画
像における検索要素領域は、キャッシュメモリ４２上で
識別できる必要がある。そこで画像提示部４は、検索要
素設定エリア２２上の「設定」ボタン２２１がクリック
されて、当該エリア２２にまでブラウズされた画像の全
体または利用者指定領域を検索要素領域として設定（定
義）することが指示された場合、該当するキャッシュメ
モリ４２内の画像（のデータ）に、図４に示すような、
その画像が定義画像であることを示すフラグ情報（定義
／未定義識別フラグ）４１と、検索要素領域が画像全体
であるか或いは部分（オブジェクト）であるかを示すフ
ラグ情報（検索要素範囲識別フラグ）４２と、検索要素
領域が部分の場合にその領域を示す領域情報４３とを付
加している（図５ステップＳ６）。ここでの付加は、論
理的な付加も含み、対応する画像データとポインタ等に
よりリンクされるものであっても構わない。

【００２８】本実施形態において、上記検索要素領域の
領域情報４３は、利用者指定の領域、即ち利用者がマウ
スやペン等で囲んだ領域それ自体を示すものではなく、
画像提示部４により次のようにして生成されたものであ
る。即ち本実施形態では、検索要素領域が定義された画
像全体をｎ×ｎ（ｎは１以上の整数）のブロックに分割
し、そのうちの利用者がマウスやペン等で囲んだ領域に
一部または全部が含まれるブロックの位置（を表すブロ
ック番号）のリストを検索要素領域の領域情報としてい
る。以降の説明での検索要素領域は、このブロック位置
のリストで表される領域を指す場合と、利用者がマウス
やペン等で囲んだ領域それ自体を指す場合とがある。

【００２９】さて本実施形態では、検索条件設定エリア
２３上で複数の提示画像をもとにした類似画像の検索条
件が設定できるようになっている。この検索条件設定エ
リア２３で利用可能な画像は、画像一覧提示エリア２１
上の提示画像群のうちの定義画像、即ち検索要素設定エ
リア２２で設定された画像だけである。つまり本実施形
態では、画像一覧提示エリア２１上の提示画像群のうち
の定義画像は利用者の選択指定操作に応じて検索条件設
定エリア２３の指定位置にブラウズできるものの（図６
ステップＳ１１〜Ｓ１３）、未定義の提示画像は検索条
件設定エリア２３にはブラウズできないようにしてい
る。

【００３０】検索条件設定エリア２３では、予め検索式
（検索論理式）用のフォーマットが決められている。こ
の例では、図２に示すように、論理積ボックス２３１と
論理和ボックス２３２が用意され、その間に「ＯＲ」ボ
タン２３３、「ＡＮＤ」ボタン２３４が配置されてい
る。両ボックス２３１，２３２は括弧で括られており、
論理積ボックス２３１での設定内容に従う部分的な検索
式と、論理和ボックス２３２での設定内容に従う部分的
な検索式とを、「ＯＲ」ボタン２３３または「ＡＮＤ」
ボタン２３４のうちクリックされているボタンの示す論
理演算子で結合した検索式が設定可能なようになってい
る。ここでは、「ＯＲ」ボタン２３３または「ＡＮＤ」
ボタン２３４がクリックされた場合、そのボタンに所定
の表示修飾が施され、そのボタンがクリックされたこと
が明示される（図６ステップＳ１４，Ｓ１５）。

【００３１】また、検索条件設定エリア２３には、「検
索」ボタン２３５が配置されている。本実施形態では、
「検索」ボタン２３５をクリックすることで（図６ステ
ップＳ１６）、検索条件設定エリア２３での設定内容に
基づく検索式の生成動作（図６ステップＳ１８）と、生
成した検索式に基づく類似画像の検索動作（図６ステッ
プＳ１９）とが開始される。

【００３２】そこでまず、検索条件設定エリア２３を利
用した検索式生成動作について説明する。画像提示部４
は、検索条件設定エリア２３内の「検索」ボタン２３５
がクリックされた場合、その「検索」ボタン２３５に所
定の表示修飾を施して当該ボタン２３５がクリックされ
たことを示すと共に（図６ステップＳ１７）、画像検索
部５に制御を渡す。このとき、検索条件設定エリア２３
の論理積ボックス２３１には、図２中の画像一覧提示エ
リア２１から図３に示すように画像Ａと画像Ｂの２つの
定義画像がブラウズされているものとする。画像Ａで
は、当該画像Ａ内の左下の例えば緑色の木立の領域が検
索要素領域３１として設定され、画像Ｂでは、当該画像
Ｂ内の右上にある例えばオレンジ色の夕日の領域が検索
要素領域３２として設定されている。

【００３３】一方、検索条件設定エリア２３の論理和ボ
ックス２３２には、図２中の画像一覧提示エリア２１か
ら図３に示すように画像Ｃだけがブラウズされているも
のとする。この画像Ｃは例えば湖に赤いモータボートが
浮かんでいる画像であり、当該赤いモータボートの領域
が検索要素領域３３として設定されている。

【００３４】本実施形態では、画像検索部５での検索処
理の簡略化のために、各検索要素領域を（領域内のオブ
ジェクトの形状ではなくて）画像の色情報で取り扱うよ
うにしている。そのため画像検索部５は、上記ステップ
Ｓ１８での検索式生成処理では、検索条件設定エリア２
３の論理積ボックス２３１及び論理和ボックス２３２に
ブラウズされた各画像について、設定された検索要素領
域をなす各ブロックを単位に、そのブロックの代表的な
色情報を決定する（図７ステップＳ２１）。即ち画像検
索部５は、対象となるブロック内の全画素の各画素デー
タ（ＲＧＢデータ）を、例えば色相（Ｈ）、彩度
（Ｓ）、明度（Ｉ）の３つの色属性（成分）に分解し
て、各属性別に平均値、中間値（最小値と最大値との間
の中間値）、或いは最大値のうちの予め定められた値を
算出し、この属性別に算出した値を当該ブロックにおけ
るその属性の代表値とする。つまり画像検索部５は、設
定された検索要素領域をなす各ブロックを単位に、色相
（Ｈ）、彩度（Ｓ）、明度（Ｉ）の属性別に代表値を求
める。したがって図３の例では、画像Ａの検索要素領域
３１をなす各ブロックと、画像Ｂの検索要素領域３２を
なす各ブロックと、画像Ｃの検索要素領域３３をなす各
ブロックについて、それぞれ色相（Ｈ）、彩度（Ｓ）、
明度（Ｉ）の属性別に代表値が抽出される。

【００３５】画像検索部５は、「検索」ボタン２３５が
クリックされると、論理積ボックス２３１に設定されて
いる各画像Ａ，Ｂの検索要素領域３１，３２をなす各ブ
ロックを単位に色相（Ｈ）、彩度（Ｓ）、明度（Ｉ）の
属性別に代表値を抽出し（図７ステップＳ２１）、その
抽出した属性値のブロックを持つ画像Ａ，Ｂに「ＡＮ
Ｄ」処理を適用することで、論理積ボックス２３１の設
定内容に従う部分的な検索式を生成する（図７ステップ
Ｓ２２）。ここでは、説明の簡略化のために属性の代表
値に代えて代表色を用い、検索要素領域３１，３２をな
す全ブロックがそれぞれ緑色，オレンジ色であるものと
すると、画素Ａの木立ちのある検索要素領域３１に相当
する領域が緑色で、画像Ｂの夕日のある検索要素領域３
２に相当する領域がオレンジ色の画像を検索することを
示す部分的な検索式が生成される。

【００３６】また画像検索部５は、論理和ボックス２３
２に設定されている画像Ｃの検索要素領域３３をなす各
ブロックを単位に色相（Ｈ）、彩度（Ｓ）、明度（Ｉ）
の属性別に代表値を抽出し（図７ステップＳ２１）、そ
の抽出した属性値のブロックを持つ画像Ｃに「ＯＲ」処
理を適用することで、論理和ボックス２３２の設定内容
に従う部分的な検索式を生成する（図７ステップＳ２
２）。ここでは、説明の簡略化のために属性の代表値に
代えて代表色を用い、検索要素領域３３をなす全ブロッ
ク（の代表色）がそれぞれ赤色であるものとすると、画
素Ｃのモーターボートのある検索要素領域３３に相当す
る領域が赤色の画像を検索することを示す部分的な検索
式が生成される。

【００３７】画像検索部５は、ボックス２３１，２３２
の設定内容に従う部分的な検索式を生成すると、その部
分的な検索式にボックス２３１，２３２の間にある「Ｏ
Ｒ」ボタン２３３または「ＡＮＤ」ボタン２３４のうち
クリックされているボタンの示す論理演算処理を適用す
ることで、検索条件設定エリア２３の設定内容に従う検
索式を生成する（図７ステップＳ２３）。図３の例で
は、「ＯＲ」ボタン２３３が所定の表示修飾を施された
状態となっている。これは、「ＯＲ」ボタン２３３がク
リックされた状態にあることを示している。

【００３８】この場合、画像検索部５により生成される
検索式は、論理積ボックス２３１で示される「ＡＮＤ」
条件を満足する画像、または論理和ボックス２３２で示
される「ＯＲ」条件を満足する画像を検索するための検
索条件を示す。したがって、ここに、先の簡略化した説
明の例を適用すると、画像Ａの木立ちのある検索要素領
域３１に相当する領域が緑色で、且つ画像Ｂの夕日のあ
る検索要素領域３２に相当する領域がオレンジ色の画
像、または画像Ｃのモーターボートのある検索要素領域
３３に相当する領域が赤色の画像を検索することを示す
検索式が生成されることになる。即ち図３の検索条件設
定エリア２３の例では、緑色の検索要素領域３１とオレ
ンジ色の検索要素領域３２にそれぞれ位置並びに色が類
似した２つの領域が存在する画像、または赤色の検索要
素領域３３に位置並びに色が類似した領域が存在する画
像を検索するための検索条件を設定したことになる。

【００３９】これに対し、もし図３において、ボックス
２３１，２３２の間にある２つのボタン２３３，２３４
のうちの「ＡＮＤ」ボタン２３４がクリックされている
ならば、緑色の検索要素領域３１に位置並びに色が類似
した領域と、オレンジ色の検索要素領域３２に位置並び
に色が類似した領域と、赤色の検索要素領域３３に位置
並びに色が類似した領域とが全て存在する画像を検索す
るための検索条件を設定したことになる。

【００４０】画像検索部５は、検索条件設定エリア２３
の設定に従って検索式を生成すると、その検索式の示す
検索条件に合致する画像を画像蓄積部２から検索する画
像検索処理（図６ステップＳ１９）を次のように行う。

【００４１】まず画像検索部５は、画像蓄積部２から画
像を１つ検索対象画像として選択し、その画像全体をｎ
×ｎのブロックに分割して、そこから（検索条件設定エ
リア２３を通して設定された）検索条件をなす各画像の
検索要素領域をマスク領域として当該マスク領域内の全
ブロックを切り出す。次に画像検索部５は、切り出した
各ブロックを単位に、そのブロックの代表的な色情報
（ここでは、Ｈ，Ｓ，Ｉの３つの色属性の代表値）とし
て、平均値、中間値、或いは最大値のうちの予め定めら
れた値を求める。次に画像検索部５は、検索条件をなす
各画像の検索要素領域内の各ブロックを単位に求めてお
いた色情報と、その検索要素領域をマスク領域として検
索対象画像から各ブロックを単位に求めた色情報とか
ら、その領域毎の類似度を算出する。次に領域毎の類似
度を先に生成した検索式に適用することで、画像全体の
類似度を求める。

【００４２】このとき、Ｈ，Ｓ，Ｉを固定的に利用する
のではなく、任意の組み合わせを利用者が選択指定可能
なようにしてもよい。また、Ｈ，Ｓ，Ｉの各色属性毎の
類似度に重み付けをし、個々の重みを利用者から指定可
能なようにするとよい。この他、画素データ（ＲＧＢデ
ータ）を、色相（Ｈ）、彩度（Ｓ）、明度（Ｉ）、複雑
度（Ｃ）の４つの色属性に分解して扱うようにしてもよ
い。

【００４３】画像検索部５は、以上の処理を画像蓄積部
２に格納されている全ての画像（但し、検索キーとなる
画像は除くようにしても構わない）について繰り返し、
所定の閾値以上の類似度が得られた画像を類似画像とし
て選択して画像表示部３に表示する。

【００４４】このように、検索条件設定エリア２３の設
定に従って生成した検索式による条件で、画像蓄積部２
を対象に画像検索を行うことにより、利用者の目的とし
た画像の感覚に沿った類似した画像群を候補として効率
的に絞り込んで抽出して、画像表示部３を通して利用者
に提示できる。この利用者に提示した候補画像群は最初
目的とした画像の感覚に類似したものであり、この中か
ら最終的に最も感覚的に合った画像を選択することがで
きる。これは、本実施形態で適用した画像検索における
曖昧性を考慮した効果である。

【００４５】なお、以上の実施形態では、画像検索部５
は画像蓄積部２から画像検索の対象となる画像を取り出
す都度、マスク領域内のブロックを単位とする代表的な
色情報を求めるものとして説明したが、これに限るもの
ではない。例えば、画像蓄積部２に格納される全ての画
像について、予めその画像全体をｎ×ｎのブロックに分
割してブロック単位に代表的な色情報を求めて、その画
像に対応付けて画像蓄積部２に格納しておくようにして
も構わない。この場合、画像検索部５による画像検索に
際し、検索対象画像のマスク領域内の各ブロック毎の代
表的な色情報を極めて高速に取得することができる。

【００４６】またｎの値は、固定であっても可変であっ
ても構わないが、例えば利用者の指定に応じて任意に設
定可能なようにすると、例えばｎの値を大きくすること
で形状表現をより高精度にしたり、ｎの値を小さくする
ことで処理速度をより高速化することができる。また、
ｎ×ｎではなくて、ｎ×ｍ（但し、ｎ，ｍは相異なる１
以上の整数）のブロックに分割するものであっても構わ
ない。

【００４７】また、以上の実施形態では、利用者が検索
要素設定エリア２２上で検索要素領域を直接位置（領
域）指定する場合について説明したが、検索要素とした
いオブジェクトを表す（例えばモーターボートといっ
た）単語情報をキーボード等から、或いは音声により入
力するようにしてもよい。但し、この場合には、入力さ
れた単語情報の示すオブジェクトを検索要素設定エリア
２２上の画像から認識し、その認識したオブジェクトの
領域を検索要素領域として設定する形状認識部を設ける
必要がある。このように、利用者の指定したオブジェク
トの形状を認識する方式を適用すると、その形状から決
定される検索要素領域を画像内の固定位置とする必要は
なく、相対的な位置関係で対処できるため、より効率的
に検索処理を行うことが可能となる。この場合、形状だ
けが類似した画像を検索するだけでもよく、必ずしもブ
ロック単位の代表色を求める必要はない。

【００４８】また、以上の実施形態では、利用者の指示
により検索条件設定エリア２３に複数画像を提示した場
合について説明したが、論理積ボックス２３１または論
理和ボックス２３２のいずれかに１枚の画像のみを提示
する場合にも対応可能である。

【００４９】また、以上の実施形態では、検索条件設定
エリア２３に提示した各画像に対して、利用者が１つの
検索要素（を含む検索要素領域）を指定する場合につい
て説明したが、複数の検索要素を設定することも可能で
ある。例えば、１枚の提示画像内に緑の木立領域とオレ
ンジ色の夕日の領域が存在していれば、当該両領域をい
ずれも検索要素として登録することができる。

【００５０】また、以上の実施形態では、検索要素とし
て画像内のオブジェクト、即ち画像情報それ自体を用
い、画像情報の比較（ここでは色情報の比較）により画
像検索を行う場合について説明したが、検索目的に応じ
て他の検索手段、または検索要素との組み合わせによっ
て、より効率的な検索を行うことも可能である。例え
ば、人間は時系列で情報を整理することで容易に記憶を
呼び起こせることから、検索要素として、画像蓄積部２
への画像登録日などのカレンダー情報を利用して日付範
囲を用いることによって、検索候補数を適度に絞り込む
と共に、より感覚に合った画像候補を検索することがで
きる。

【００５１】また、以上の実施形態では、検索条件の設
定に用いられる検索条件設定エリア２３では、検索式
（検索論理式）用のフォーマットが予め定められている
ものとして説明したが、検索式定義用フォーマットは画
像検索用途によって変更可能とした方が便利であること
から、複数種類の検索式定義用フォーマットのパターン
をテンプレートの形式で用意しておき、利用者がその中
から選択できるようにするとよい。

【００５２】以上の実施形態で適用した類似画像検索装
置における処理手順は、プログラム読み取り可能なパー
ソナルコンピュータ等のコンピュータに、当該処理手順
を実行させるためのプログラムを記録したＣＤ−ＲＯ
Ｍ、ＤＶＤ−ＲＯＭ、フロッピーディスク、メモリカー
ド等の記録媒体に記録されているプログラムを当該コン
ピュータで読み取り実行させることにより実現される。
なお、プログラムを記録した記録媒体の内容が、通信回
線等を介してコンピュータにダウンロードされるもので
あっても構わない。

【００５３】

【発明の効果】以上詳述したように本発明によれば、利
用者とのインタラクティブなユーザインタフェースによ
り、利用者の指定した複数の画像のそれぞれについて、
利用者の指定に応じて検索要素領域または検索要素を設
定し、その検索要素領域または検索要素が設定された利
用者指定の複数の画像を利用者指定に応じて画像検索条
件定義用に用いることで、利用者の感覚によりマッチし
た画像検索条件を設定することができるため、利用者が
意図した複数の検索要素での検索を簡単な操作で効率的
に行うことができる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る類似画像検索装置の
全体構成を示すブロック図。

【図２】同実施形態で適用される画像提示・検索条件設
定画面の一例を示す図。

【図３】図２中の検索条件設定エリアを利用した検索条
件設定例を示す図。

【図４】検索要素領域設定時に該当する画像に付加され
る情報の一例を示す図。

【図５】同実施形態の動作を説明するためのフローチャ
ートの一部を示す図。

【図６】同実施形態の動作を説明するためのフローチャ
ートの残りを示す図。

【図７】図６中のステップＳ１８の検索式生成処理の詳
細な手順を示すフローチャート。

【符号の説明】

１…画像入力部 ２…画像蓄積部 ３…画像表示部 ４…画像提示部（画像一覧提示手段、検索要素設定手
段、検索条件設定手段） ５…画像検索部 ６…システム制御部 ２０…画像提示・検索条件設定画面 ２１…画像一覧提示エリア ２２…検索要素設定エリア ２３…検索条件設定エリア ４１…ユーザインタフェース ４２…キャッシュメモリ（検索キー候補画像登録手段） ２３１…論理積ボックス ２３２…論理和ボックス

Claims (9)

【特許請求の範囲】
1. 【請求項１】画像を蓄積しておくための画像蓄積手段
   と、 利用者の指定した画像を選択し、その選択した画像にお
   いて画像検索キーとなる領域またはオブジェクトを利用
   者の指定に応じて検索要素領域または検索要素として設
   定する検索要素設定手段と、 前記検索要素設定手段により検索要素領域または検索要
   素が設定された利用者指定の複数の画像を利用者の指定
   に応じて画像検索条件定義用に設定する検索条件設定手
   段と、 前記検索条件設定手段により画像検索条件定義用に設定
   された複数の画像の各検索要素領域または検索要素をも
   とに前記画像蓄積手段から類似画像を検索する画像検索
   手段とを具備することを特徴とする類似画像検索装置。
2. 【請求項２】 画像を入力する画像入力手段と、 前記画像入力手段により入力された画像を蓄積しておく
   ための画像蓄積手段と、 前記画像入力手段により入力された画像または前記画像
   蓄積手段に蓄積されている画像の中から画像検索のキー
   となり得る画像を利用者の指定に応じて複数登録してお
   くための検索キー候補画像登録手段と、 前記検索キー候補画像登録手段に登録されている複数の
   画像を利用者に提示する画像一覧提示手段と、 前記画像一覧提示手段により提示された画像の中から利
   用者の指定した画像を選択し、その選択した画像におい
   て画像検索キーとなる領域またはオブジェクトを利用者
   の指定に応じて検索要素領域または検索要素として設定
   する検索要素設定手段と、 前記検索要素設定手段により検索要素領域または検索要
   素が設定された画像のうち、利用者指定の複数の画像を
   利用者の指定に応じて画像検索条件定義用に設定する検
   索条件設定手段と、 前記検索条件設定手段により画像検索条件定義用に設定
   された複数の画像の各検索要素領域または検索要素をも
   とに前記画像蓄積手段から類似画像を検索する画像検索
   手段とを具備することを特徴とする類似画像検索装置。
3. 【請求項３】 前記画像検索手段は、前記検索条件設定
   手段により画像検索条件定義用に設定された複数の画像
   の各検索要素領域または検索要素を利用者指定の論理演
   算子で結合して複数の要素からなる検索条件式を生成
   し、その検索条件式に基づいて前記画像蓄積手段から類
   似画像を検索することを特徴とする請求項１または請求
   項２記載の類似画像検索装置。
4. 【請求項４】 前記検索条件設定手段は、前記検索要素
   領域または検索要素に対する所定の論理演算の対象とな
   る利用者指定の画像を設定するための、それぞれ論理演
   算種類を異にする複数の論理演算ボックスを画面表示
   し、 前記画像検索手段は、前記各論理演算ボックスに設定さ
   れた利用者指定の画像の前記検索要素領域または検索要
   素に対して当該ボックスに固有の論理演算を施し、その
   各論理演算結果をもとに複数の要素からなる検索条件式
   を生成することを特徴とする請求項１または請求項２記
   載の類似画像検索装置。
5. 【請求項５】 前記画像検索手段は、前記検索条件設定
   手段により画像検索条件定義用に設定された複数の画像
   の各検索要素領域または検索要素の特徴を色情報で抽出
   し、この色情報を画像検索条件に用いることを特徴とす
   る請求項１乃至請求項４のいずれかに記載の類似画像検
   索装置。
6. 【請求項６】 前記画像検索手段は、前記色情報を少な
   くとも色相、彩度、明度の各成分に分解し、そのうちの
   予め定められた成分或いは利用者指定の成分を組み合わ
   せて画像検索条件に用いることを特徴とする請求項５記
   載の類似画像検索装置。
7. 【請求項７】 前記検索要素設定手段は、前記設定した
   検索要素領域または検索要素の情報を、前記検索キー候
   補画像登録手段内の対応する画像に付加することを特徴
   とする請求項２記載の類似画像検索装置。
8. 【請求項８】 画像蓄積手段に蓄積されている画像群の
   中から、利用者の意図した画像に類似した画像を検索す
   る類似画像検索方法において、 利用者の指定した画像を選択し、その選択した画像にお
   いて画像検索キーとなる領域またはオブジェクトを利用
   者の指定に応じて検索要素領域または検索要素として設
   定するステップと、 前記検索要素領域または検索要素が設定された利用者指
   定の複数の画像を利用者の指定に応じて画像検索条件定
   義用に設定するステップと、 前記画像検索条件定義用に設定された複数の画像の各検
   索要素領域または検索要素をもとに前記画像蓄積手段か
   ら類似画像を検索するステップとを具備することを特徴
   とする類似画像検索方法。
9. 【請求項９】 画像蓄積手段に蓄積されている画像群の
   中から、利用者の意図した画像に類似した画像を検索す
   るプログラムを記録したコンピュータ読取り可能な記録
   媒体であって、 利用者の指定した画像を選択し、その選択した画像にお
   いて画像検索キーとなる領域またはオブジェクトを利用
   者の指定に応じて検索要素領域または検索要素として設
   定するステップと、 前記検索要素領域または検索要素が設定された利用者指
   定の複数の画像を利用者の指定に応じて画像検索条件定
   義用に設定するステップと、 前記画像検索条件定義用に設定された複数の画像の各検
   索要素領域または検索要素をもとに前記画像蓄積手段か
   ら類似画像を検索するステップとをコンピュータに実行
   させるプログラムを記録したコンピュータ読取り可能な
   記録媒体。