JP2008217117A - 画像検索方法及び画像検索システム - Google Patents

Abstract

【課題】目的とする画像に短時間で辿り着くことが可能な画像検索方法及び画像検索システムを提供する。
【解決手段】パーソナルコンピュータ１０には、ＣＰＵ２０、メモリ２１、モニタ２２、操作部２３、画像データベース２５、キーワードデータベース２６が設けられている。メモリ２１に記憶されている画像検索プログラムＰＧを起動させると、ＣＰＵ２０は、ブラウザ制御部２９、関連キーワード検索部３０、画像検索部３１として機能し、操作部２３の操作により検索キーワードが入力されると、関連キーワード検索部３０は、キーワードデータベース２６から関連するキーワードを検索し、画像検索部３１は、検索キーワード及び関連キーワードに対応する画像データを画像データベースから検索し、ブラウザ制御部２９は検索キーワード及び関連キーワードとともに対応する画像データのサムネイル画像をモニタ２２に表示させる。
【選択図】図１

Description

本発明は、蓄積された画像データベースから画像を検索する画像検索方法及び画像検索システムに関するものである。

写真やイラスト等の画像を多数蓄積して画像データベースに保存し、画像を閲覧したり、また必要な画像を読み出して加工したりすることが一般的となっている。このような画像データベースに蓄積された多数の画像の中からユーザーのイメージに近似する画像を短時間で検索することが望まれており、たとえば、特許文献１記載のイメージ検索方法では、キーワードベースの画像検索と、コンテンツベースの類似画像検索とを組み合わせており、これらの検索結果から、キーワードが一致した画像、色、テクスチャ、形状などが類似すると判断された画像について、それぞれ割り当てられた係数で重み付けし、これらの重み付けに応じて関連性の高い画像と、関連性の低い画像とがユーザーに識別できるようにフィードバックする。

また、特許文献２では、画像の持つ色、特徴量を検索キーとして類似画像を検索する画像検索方法が記載されており、画像検索者が検索キーとなる画像とキーワードを指定することで、予め画像に付与されたキーワード、あるいは画像を分類したカテゴリと対照し、類似するキーワードまたは画像特徴量を持つ画像を検索することができる。
特開２００２−１９７１１７号公報 特開２００２−６３１７２号公報

しかしながら、ユーザーが画像検索の際に目的となる画像のイメージが既に決まっているときは、上記特許文献ように、目的画像を示すキーワードや形状の選択などを用いて検索し、絞り込むことが有効であるが、ユーザーが所望する画像のイメージがまだ漠然としている場合には、目的画像を的確に示すキーワードや形状なども決まらず、上記特許文献のような検索方法では、目的の画像に辿り着くまで時間が掛かったり、また多数の画像を閲覧してもイメージが連想できず、画像に辿り着けない可能せいもある。

本発明は上記事情を考慮してなされたものであり、画像検索を行うユーザーのイメージを喚起させ、目的とする画像に短時間で辿り着くことが可能な画像検索方法及び画像検索システムを提供することを目的とする。

本発明の画像検索方法では、複数の画像データを蓄積した画像データベースから画像を検索する画像検索方法において、入力された検索キーワードに関連する関連キーワードをキーワードデータベースから検索する第１の関連キーワード検索ステップと、前記検索キーワード及び前記関連キーワードに対応付けされた画像を前記画像データベースから検索する第１の画像検索ステップと、この画像検索ステップで検索された複数の画像のサムネイル画像を表示手段に表示する第１の画像表示ステップとを備えたことを特徴とする。

なお、前記第１の画像表示ステップで、検索キーワードに対応する画像を中心に、関連キーワードに対応する画像をその周囲に配置することが好ましい。前記第１の画像表示ステップの後、前記表示手段に表示された前記画像の中から１つの画像が選択されたときに、その選択された画像のキーワードに関連する関連キーワードをキーワードデータベースから検索する第２の関連キーワード検索ステップと、前記関連キーワードが対応付けされた画像を前記画像データベースから検索する第２の画像検索ステップと、１つの選択画像及び前記関連キーワードが対応付けられた複数の画像を表示手段に表示する第２の画像表示ステップとを備えたことが好ましい。あるいは、前記第１の画像表示ステップの後、前記表示手段に表示された画像の中から１つの画像が選択されたときに、その選択された画像と同じキーワードが対応付けされた画像を前記データベースから検索する第３の画像検索ステップと、これらの同じキーワードが対応付けられた複数の画像を表示手段に表示する第３の画像表示ステップとを備えたことが好ましい。

また、前記画像データベースに蓄積された画像には、複数の項目に関する情報データがそれぞれ付加されており、前記画像表示ステップで、前記情報データの項目を示す複数の評価軸が表示画面に設定されており、これらの評価軸に沿って前記画像を情報データの順に行列状に配置するとともに、前記第１又は第２の画像表示ステップの後に、表示された前記画像の中から１つの画像が選択されたときに、その画像を中心とする表示画面にスクロールする表示スクロールステップとを備えたことが好ましい。さらにまた、前記画像データベースに蓄積された画像には、複数の項目に関する情報データがそれぞれ付加されており、これらの情報データに関する絞り込み条件が入力されたときに、前記絞り込み条件に適合する画像データのみを検索の対象とする絞り込み検索ステップとを備えたことが好ましい。

請求項７記載の画像検索システムでは、複数の画像を蓄積した画像データベースと、前記画像に対応付けされたキーワードを蓄積したキーワードデータベースと、検索キーワードを入力する入力手段と、入力された検索キーワードを用いて前記画像データベースの中から検索した画像を表示する表示手段とを備えた画像検索システムにおいて、前記キーワードは、予め別のキーワードとの関連付けがなされており、前記検索キーワードが入力されたとき、前記キーワードデータベースから前記検索キーワードに関連する関連キーワードを検索する関連キーワード検索手段と、前記検索キーワード及びその関連キーワードに対応付けされた画像を前記画像データベースから検索する画像検索手段と、前記画像検索手段で検索された画像を配置した第１の画像表示画面を前記表示手段に表示させる表示制御手段とを備えたことを特徴とする。

前記第１の画像表示画面は、検索キーワードに対応する画像を中心に、関連キーワードに対応する画像をその周囲に配置することが好ましい。前記第１の画像表示画面の中から１つの画像が選択される選択入力手段を備え、前記関連キーワード検索手段は、前記選択入力手段で選択された画像のキーワードに関連する関連キーワードをキーワードデータベースから検索し、前記画像検索手段は、前記関連キーワードが対応付けされた画像を前記画像データベースから検索し、前記表示制御手段は、１つの選択画像及び前記関連キーワードが対応付けられた複数の画像を配置した第２の画像表示画面を前記表示手段に表示させることが好ましい。あるいは、前記第１の画像表示画面の中から１つの画像が選択される選択入力手段を備え、前記画像検索手段は、前記選択入力手段で選択された画像と同じキーワードが対応付けされた前記画像データベースから検索し、前記表示制御手段は、同じキーワードが対応付けられた複数の画像を配置した第３の画像表示画面を前記表示手段に表示させることが好ましい。

また、前記画像データベースに蓄積された画像には、複数の項目に関する情報データがそれぞれ付加されており、前記画像表示画面では、前記情報データの項目を示す複数の評価軸が設定されており、前記表示制御手段は、前記評価軸に沿って前記情報データの順に前記画像を行列状に配置させるとともに、前記画像表示画面の中から１つの画像が選択されたときに、その画像を中心とするスクロール表示を行わせることが好ましい。さらにまた、前記画像データベースに蓄積された画像には、複数の項目に関する情報データがそれぞれ付加されており、前記情報データに関する絞り込み条件を入力する絞り込み条件入力手段と、前記画像検索手段は、前記絞り込み条件に適合する画像データのみを検索の対象にする絞り込み検索を行うことが好ましい。

本発明の画像検索方法及び検索システムは、入力された検索キーワードに関連する関連キーワードをキーワードデータベースから検索し、検索キーワード及び関連キーワードに対応付けされた画像を画像データベースから検索した複数の画像のサムネイル画像を表示手段に表示するので、画像検索するユーザーのイメージを喚起させ、目的とする画像に短時間で辿り着くことができる。

以下、図面を用いて本発明の第１実施形態を説明する。図１は本発明を適用した画像検索システムとしてのパーソナルコンピュータ（ＰＣ）１０の一例である。ＰＣ１０は、ＰＣ１０は、ＣＰＵ２０により全体を統括的に制御される。ＣＰＵ２０には、メモリ２１、モニタ２２、操作部２３、画像データベース２５、キーワードデータベース２６などが接続されている。

メモリ２１は、半導体メモリや磁気ディスクなどからなり、ＰＣ１０の起動時に必要なオペレーティングシステムやデータ、後述する画像検索プログラムＰＧなどの各種プログラムが記憶されている。また、メモリ２１には、画像データベース２５、キーワードデータベース２６から読み出した画像データ、キーワードデータが一時記憶される。

モニタ２２は、ＬＣＤやＣＲＴなどが使用され、画像検索プログラムＰＧ起動時の各実行画面を表示する。操作部２３は、キーボード２４ａやマウス２４ｂなどからなる。ＣＰＵ２０は、この操作部２３の操作に応答して、ＰＣ１０の各部の動作を制御する。

操作部１３の操作により画像処理プログラムＰＧを起動すると、ＣＰＵ２０は、ブラウザ制御部２９の他、関連キーワード検索部３０、画像検索部３１、及び類語辞書３２などの処理機能が生成される。ブラウザ制御部２９は、図２に示すようなＧＵＩ(Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ)としての画像表示ブラウザ３０をモニタ２２の画面上に表示する。

画像表示ブラウザ３０には、検索用のキーワード入力を行うための入力スペース３２ａと、検索された画像のサムネイル画像３３を表示するサムネイルウィンドウ３２ｂと、選択画像３４を表示するメインウィンドウ３２ｃとが設けられている。選択画像３４は、サムネイル画像３３にカーソル３６を合わせ、マウス２４ｂのクリックボタンをクリックすることでメインウィンドウ３２ｃに表示される。選択画像３４は、サムネイル画像よりも大きく表示され、画像の内容が認識し易くなっている。また、カーソル３６は、マウス２４ｂの動きに連動して動くポインタである。

本実施形態では、キーワードデータベース２６に蓄積されているキーワードデータは、図３に示す構造となっており、検索キーワードと照合させるキーワードと、このキーワードに関連する関連キーワードとがタグ付けされて保存されている。また、キーワードデータには、使用頻度に応じて重み付けされる使用頻度データが付加されており、この使用頻度データは、それぞれのキーワードが検索で一致するごとに重み付けの値が更新される。

さらに、画像データベースに蓄積されている画像データは、キーワードデータベースに蓄積されている全てのキーワードと関連付けされており、例えば、図４に示すように、画像データに付帯されるタグ情報にキーワードが書き込まれている。また、本実施形態では、画像データのタグ情報には、使用頻度に応じて重み付けされる使用頻度データ、撮影情報を示す情報データなどか書き込まれている。さらにまた、画像データを縮小したサムネイル画像データが付加されている。

関連キーワード検索部３０は、キーワードデータベース２６にアクセスして、操作部２３で入力された検索キーワードと一致するキーワードを照合し、一致したキーワードデータをキーワードデータベース２６から読み出して検索キーワードに関連する関連キーワードを検索する。さらに、本実施形態では、後述するようにサムネイルウィンドウ３２ｂに表示された複数の画像から１つの画像が選択された場合、この画像に対応するキーワードに関連付けされた関連キーワードを検索する。

画像検索部３１は、画像データベース２５にアクセスして、検索キーワード、及びキーワードデータベース２６で検索した関連キーワードに対応付けられた画像を検索する。

次に上記構成を有するＰＣ１０で画像検索プログラムＰＧ実行時の処理手順を図５のフローチャートに沿って説明する。先ずユーザーが操作部２３を操作して画像検索プログラムＰＧが起動すると（ｓｔ１）、ＣＰＵ２０にブラウザ制御部２９、関連キーワード検索部３０、画像検索部３１、及び類語辞書３２などが生成され、ブラウザ制御部２９により、図２に示した画像検索ブラウザ３０が、モニタ２２の画面上に表示される。次に操作部２３による入力操作で、検索キーワードウィンドウ３２ａに表示された入力スペースに検索キーワードを入力する（ｓｔ２）。

そして、検索キーワードが入力されると、関連キーワード検索部３０が機能して、入力された検索キーワードに関連するキーワードを検索する（ｓｔ３）。なお、このとき、検索キーワード及び関連キーワードはメモリ２３に一時保存される。

次に検索により引き出された関連キーワードが所定数、本実施形態では８以下か否かを判定する（ｓｔ４）。なお、このとき判定される関連キーワードの個数は、サムネイルウインドウ３２ｃに表示するサムネイル画像の数より１つ少ない数であればよく、これに限るものではない。

関連キーワードが８個より少ない場合には、類語辞書３３が機能して検索キーワードに類似する類似キーワードを検索する（ｓｔ５）。この類似キーワードには、予め使用頻度に応じた重み付けを示す使用頻度データが付加されており、この使用頻度データに基づいて使用頻度上位の類似キーワードを選択し、上述した関連キーワードの個数８に不足する分をこれらの類似キーワードを関連キーワードとして補充する（ｓｔ６）。

一方、関連キーワードが８個以上のとき、ＣＰＵ２０は関連キーワードの使用頻度データに基づいて使用頻度を判定し、使用頻度上位の関連キーワード８個を決定する（ｓｔ７）。

そして、８個の関連キーワードが決定、もしくは類似キーワードによる補充が完了すると、画像検索部３１が機能して検索キーワード及び関連キーワードに対応する画像を検索する。このとき、キーワードに対応する画像は複数あるため、ＣＰＵ２０は、それぞれの画像データの使用頻度データに基づいて使用頻度を判定し、使用頻度最上位の画像データを決定する（ｓｔ８）。

検索キーワード及び関連キーワードに対応し、且つそれぞれ使用頻度最上位の画像が決定すると、ブラウザ制御部２９が機能して、画像データに付加されたサムネイル画像データを読み出し、各キーワードとともにサムネイル表示ウインドウ３２ｂにこれらのサムネイル画像３３を配置した第１の画像表示画面４１（図６（Ａ）参照）を表示する（ｓｔ９）。なお、この図6は、「明るい」という検索キーワードに対応する画像を中心に配置して、使用頻度上位の関連キーワードである「さわやか」、「楽しい」、「海」、「空」、「笑顔」、「光」、「夏」、「オレンジ」に対応する画像をその周囲に配置する第１の画像表示画面４１の一例を示すものである。

そして第１の画像表示画面内４１の９つのサムネイル画像から操作部２３を操作して１つを選択すると、この選択画像３４がメインウインドウ３２ｃに表示される。選択画像が決定されると、ＣＰＵ２０は、図７に示す検索続行するか否かの質問画面４6を別のウィンドウで表示、あるいは、メインウインドウ３２ｃを図７に示すような質問画面に切り替える（ｓｔ１０）。検索続行しないことを選択すると画像検索処理が終了して、選択画像の保存、またはその画像を用いての加工が可能な別のプログラムが動作する。

一方、検索続行を選択した場合、関連キーワード検索部３０が機能し、選択画像のキーワードに関連する関連キーワードの検索を開始する（ｓｔ１１）。そして関連キーワードが検索されると、上記のプロセス（ｓｔ３〜ｓｔ７）と同様に使用頻度上位の関連キーワードに対応する画像を検索し、それらの複数の画像に付加されたサムネイル画像３３を配置した第２の画像表示画面４２をサムネイルウィンドウ３２ｂに表示する（図６（Ｂ）参照）。なお、図７においては、第１の画像表示画面４１である図６（Ａ）の状態のサムネイルウィンドウ３２ｂの中から「笑顔」のサムネイル画像３３を選択し、「笑顔」という検索キーワードに対して、使用頻度上位の関連キーワードである「うれしい」、「誕生日」、「恋」、「子供」、「幸福」、「休日」、「表情」「仲良し」の画像が検索され、それぞれのサムネイル画像３３をサムネイルウィンドウ３２ｂに配置した第２の画像表示画面４２である図６（Ｂ）の状態に切り替わったことを示す。このようにして画像が選択されると、そのキーワードに関連する関連キーワード、そして関連キーワードに対応する画像を検索して画像を表示し、選択画像が確定されるまでこれが繰り返される。

上述のようにして１つのキーワードに関連付けられた関連キーワードに対応する複数の画像を配置した画面を表示し、さらに複数の画像の中から選択された選択画像のキーワードに関連付けられた関連キーワードに対応する複数の画像が配置された画面の表示が繰り返されていくので、関連するキーワード及び画像が繋がりあっていくうちにユーザーのイメージが喚起され、画像やキーワードが徐々に確定していくため目的とする画像に短時間で辿り着くことが可能となる。

なお、上記第１実施形態では、検索キーワード及びこの検索キーワードに関連する関連キーワードに対応する複数のサムネイル画像を配置した第１の画像表示画面を表示した後、１つの選択画像のキーワードに関連付けられた関連キーワードに対応する複数の画像を配置した第２の画像表示画面に切り替わる構成としているが本発明はこれに限るものではなく、以下で説明する本発明の第２実施形態では、第１の画像表示画面の表示後、選択画像のキーワードに対応する別の複数の画像を配置した第２の画像表示画面を表示する。なお、この第２実施形態を適用した画像検索装置としてのパーソナルコンピュータは、上記第１実施形態と同様の部品構成であり、本実施形態を適用した画像検索方法を図８のフローチャートに沿って説明する。画像検索プログラムが起動すると（ｓｔ１）、画像検索ブラウザ３０を表示し、検索キーワードが入力されると（ｓｔ２）、関連キーワード検索部３０が機能してキーワードデータベース２６から関連キーワードを検索する。さらに画像検索部３１が機能して検索キーワード及び関連キーワードに対応する画像を画像データベース２５から検索して画像を決定すると（ｓｔ３〜ｓｔ８）、画像データに付加されたサムネイル画像データを読み出して、各キーワードとともにサムネイル表示ウインドウ３２ｂにこれらのサムネイル画像３３を配置した第１の画像表示画面５１（図１０（Ａ）参照）を表示する（ｓｔ９）。

そして、第１の画像表示画面内５１の９つのサムネイル画像から操作部２３を操作して１つを選択すると、この選択画像３４がメインウインドウ３２ｃに表示される。選択画像が決定後、検索続行しないことを選択すると画像検索処理が終了して、画像の保存、またはその画像を用いての加工が可能な別のプログラムが動作する。

一方、検索続行を選択した場合、本実施形態では、画像検索部３１が機能し、選択画像３４と同じキーワードが対応付けられた画像データを検索し（ｓｔ１０）、キーワードが一致した画像の中から使用頻度上位の９個の画像データを判定する（ｓｔ１１）。このようにして同じキーワードの使用頻度上位９個、すなわち、先程の選択画像３４は使用頻度最上位であり、この選択画像３４に加えて２〜９番目の使用頻度の画像が決定すると、ブラウザ制御部２９が機能して、画像データに付加されたサムネイル画像データを読み出し、各キーワード及び使用頻度の順位とともにサムネイルウインドウ３２ｂにこれらのサムネイル画像３３を配置した第３の画像表示画面５３（図１０（Ｂ）参照）を表示する（ｓｔ１２）。なお、図１０においては、第１の画像表示画面５１である図１０（Ａ）の状態のサムネイルウィンドウ３２ｂの中から「笑顔」のサムネイル画像３３を選択し、「笑顔」に対応付けられた使用頻度上位９個の画像が検索され、それぞれのサムネイル画像３３をサムネイルウィンドウ３２ｂに表示した第３の画像表示画面５３である図１０（Ｂ）の状態に切り替わったことを示す。また、第３の画像表示画面５３で表示するキーワード（笑顔）には使用頻度の順位を示す数字が添えられている。そして、第３の画像表示画面５３内の９つのサムネイル画像から操作部２３を操作して１つを選択すると、この選択画像がメインウインドウ３２ｃに表示される。選択が確定すると画像検索が終了する。

上述のように、検索キーワードに関連付けられた関連キーワードに対応する複数の画像を配置した第１の画像表示画面を表示し、さらに、複数の画像の中から選択された選択画像と同じキーワードに対応する複数の画像が配置された第３の画像表示画面が表示されるので、１つのキーワードからユーザーがイメージするキーワード及び画像が決定し、さらに同じキーワードの複数の画像を閲覧することでさらにイメージが確定するから、短時間で目標の画像に到達することが可能となる。

上記第１及び第２実施形態は、それぞれの構成を組み合わせることもできる。すなわち、第１の画像表示画面が表示されるまでは同じプロセスであり、この第１の画像表示画面から選択画像を決定する選択操作のとき、例えば一方は単にマウスで通常のクリック、他方はマウスでクリックした状態を保持（ボタンを長く押圧したままの状態）あるいはダブルクリックするなど、それぞれ異なる操作を設定し、その操作の違いによって、一方の操作では第１実施形態のように第２の画像表示画面に進むプロセスとなり、他方の操作では第２実施形態のように第３の画像表示画面に進むプロセスにすることができる。また、第１の画像表示画面から第２の画像表示画面へと切り替わり、さらにこの第２の画像表示画面から選択画像を決定したときに第３の画像表示画面に切り替える構成とするもできる。これによって、上記第１及び第２の実施形態と同様の効果が得られるとともに、画像検索方法の選択肢が増加する。また、上記第２実施形態では、第１の画像表示画面から第３の画像表示画面に完全に切り替える構成としているが、これに限らず、例えば、第１の画像表示画面から選択画像を決定したときに、選択画像のサムネイル画像があった箇所のみを分割して第３の画像表示画面（すなわち選択画像と同じキーワードのサムネイル画像）を縮小して表示するようにしてもよい。

また、上記第１及び第２の実施形態では、検索キーワード又は関連キーワードが一致する画像を検索して、使用頻度上位の画像を配置する構成としているが、以下で説明する本発明の第３実施形態では、キーワードの照合に加えて情報データによる評価軸を設定して画像を検索する構成を例示する。なおこの第３実施形態では、画像データに付加されるデータとして画像が撮影されたときの撮影情報データ、例えば、撮影日、レンズの種類、露出値、絞り値などが関連付けて保存されている。また、画像データから抽出した情報、例えば、色の濃淡に関する濃度データなどを予め数値化して画像データとともに保存する。 なお、この第３実施形態を適用した画像検索装置は、上記第１及び第２実施形態と同様の部品構成であり、本実施形態を適用した画像検索方法を図１０のフローチャートに沿って説明する。画像検索プログラムＰＧが起動すると（ｓｔ１）、画像検索ブラウザ３０を表示し、検索キーワードが入力されると、関連キーワード検索部が機能して関連キーワードを検索する（ｓｔ２）。さらに検索キーワード及び関連キーワードに対応する画像を画像データベース２５から検索して画像を決定すると、画像データに付加されたサムネイル画像データを読み出して、各キーワードとともにサムネイル表示ウインドウ３２ｂにこれらのサムネイル画像を配置した第１の画像表示画面を表示する（ｓｔ３〜ｓｔ９）。

そして、第１の画像表示画面内の９つのサムネイル画像から操作部２３を操作して１つが選択されると、この選択画像をメインウインドウ３２ｃに表示する。選択画像が決定されると、ＣＰＵ２０は、検索続行するか否かの質問画面の表示を行わせる。画像検索を続行しないことを選択する、画像の保存、またはその画像を用いての加工が可能な別のプログラムなどが動作する。

一方、検索続行を選択した場合、本実施形態では、画像検索部３１が機能し、選択画像と同じキーワードが対応付けられた画像データを評価軸の設定に合わせて検索する（ｓｔ１２）。このとき、キーワードが一致した画像の中から、選択画像３４のサムネイル画像３３ｅを中心にして、上述した評価軸に沿って周囲の画像を決定して図１１に示す画像表示画面６１をサムネイルウインドウ３２ｂに表示する。本実施形態では、Ｘ軸は撮影日を示す評価軸なので、Ｘ軸で選択画像３４のサムネイル画像３３ｅと同じ位置にある画像３３ｂ，３３ｈは、選択画像３４と同じ撮影日または近い日付のものであり、Ｘ軸の正方向に進む（画像３３ｃ，３３ｆ，３３ｉの位置）と徐々に日付が新しいものに、さらに負方向に進む（画像３３ａ，３３ｄ，３３ｇの位置）と古いものとなるように配置され、またＹ軸は画像の濃度を示す評価軸なので、Ｙ軸で選択画像３４のサムネイル画像３３ｅと同じ位置にある画像３３ｄ，３３ｆは、選択画像と同じ又は近似する明るさ（画像の濃度）で、Ｙ軸の正方向に進む（画像３３ａ，３３ｂ，３３ｃの位置）と徐々に明るい（濃度が低い）ものに、さらに負方向に進む（画像３３ｇ，３３ｈ，３３ｉの位置）と暗い（濃度が高い）ものを配置する。

このようにして同じキーワードに対応付けられた９個の画像を決定すると、ブラウザ制御部２９が機能して、画像データに付加されたサムネイル画像データを読み出し、各キーワード及び撮影情報データとともにサムネイルウインドウ３２ｃにこれらのサムネイル画像３３ａ〜３３ｉを配置した第３の画像表示画面６１を表示する（ｓｔ１３）。

このとき、第３の画像表示画面６１では、上述したようにＸ、Ｙ軸が設定され、撮影日及び画像の明るさの順に行列状に配置されており、第３の画像表示画面内６１の９つのサムネイル画像３３ａ〜３３ｉから１つが選択されると、この選択画像をメインウインドウ３２ｃに表示する。そして検索続行か否かが選択され、検索続行が選択されると、画像検索部３１及びブラウザ制御部２９が機能して、先程選択された選択画像が中心に位置し、その選択画像に対してＸ，Ｙ軸に沿って他の画像が配列するので、結果的に画面がスクロールする（ｓｔ１３〜ｓｔ１５）。すなわち、中心の画像に対してＸ軸の正負方向に進む位置の画像を選択すれば、撮影日が徐々に新しい又は古い画像に切り替わり、Ｙ軸の正負方向に進む位置の画像を選択すれば露出値が徐々に大きい又は小さい画像に切り替わるようにスクロールする。そしてこれ以降、画像を選択するごとにＸ、Ｙ軸に沿って表示画面が切り替わって画像がスクロールする。

このようにして、キーワードが一致する画像を検索して、さらに、撮影情報データによる評価軸に沿って画像をスクロールさせながら検索することが可能であり、キーワードとともに別の情報も加味することができるので、画像、キーワード、及び各種情報からユーザーにイメージを喚起させることが可能であり、短時間で目標の画像に到達することが可能となる。

また、上記第３実施形態においては、評価軸を設定する画像表示画面の例として同じキーワードに対応する複数の画像を配置する第３の画像表示画面に適用した場合を例に上げているが、本発明はこれに限らず、第１実施形態で説明した第２の画像表示画面、すなわち選択画像と、この選択画像のキーワードに関連付けされたキーワードに対応する画像とが配置される場合でも、上記第３実施形態と同様に、表示画面に評価軸を設定してその評価軸に沿って画像を配置し、画像表示画面の画像が選択されたときには、その選択画像を中心にして画像がスクロールされるように配置してもよい。

さらにまた、上記第３実施形態においては、評価軸が縦横（Ｘ，Ｙ軸）の２軸のみが設定されているが、本発明はこれに限るものではなく、縦横に加えて斜め方向の３軸又は４軸の方向に評価軸を設定して、その評価軸に沿って画像を配置し、またその評価軸の方向に画像が選択された場合には、縦横及び斜めに画像をスクロールさせるようにすればよい。

また、上記実施形態で検索を行ったとき、目標に近似する画像が複数個見つかる場合もある。そこで、上記第１〜３実施形態の構成に加えてさらに画像を絞り込むことが可能な本発明の第４実施形態について以下に説明する。なお、この第４実施形態を適用した画像検索装置は、上記第１及び第２実施形態と同様の部品構成であり、説明を省略する。

画像データには、撮影情報データが付加されている。なお撮影情報データの一例としてＥＸＩＦ規格に沿ったデータを使用する。さらに、本実施形態では、後述する絞り込み検索を短時間で行うことができるように、画像データベース２５に画像データを保存する際に、撮影情報データを予め定義した検索条件に当てはめた検索条件データに変換して画像データとともに保存する。

この撮影情報データから検索条件への変換の例としては、撮影情報データの撮影年月日が「１９９０〜１９９９年」、「４〜６月」、「１２月２４日」のものは、それぞれ「１９９０年代」、「春」、「クリスマスイブ」などの検索条件データに変換されて、画像データのタグ情報エリアなどに書き込まれている。また、同様に撮影情報データの撮影時間では、「午前５〜７時」及び「午後５〜７時」が、「朝」及び「夕方」に変換され、撮影レンズの種類では「２０〜３０ｍｍ」及び「２００〜３００ｍｍ」（焦点距離）が、それぞれ「広角」及び「望遠」に変換され、撮影解像度では、「１００万画素」及び「１０００万画素」（撮影時の有効画素数）が、「低解像度」及び「高解像度」に、撮影絞りでは、「ｆ１．４〜２．８」及び「ｆ１１〜１６」（絞り値）が、「浅い」及び「深い」（被写界深度）に、シャッタスピード「１／５００〜１／２０００」及び「１／４〜１」（秒）が、「早い」及び「遅い」という検索条件に変換されている。

また、検索条件データとしては、上述した撮影情報データに限るものではなく、画像データから抽出した、色、形状の特徴量から形成するようにしてもよい。例えば、画像の色彩の特徴量、すなわち、画像に含まれるそれぞれの色彩の割合などを予め数値化して画像データとともに保存する。あるいは、形状の特徴量、すなわち、画像に含まれる代表的な形状を予め抽出し、その形状データを画像データとともに保存する。形状の抽出としては、例えば複数のテンプレートと、画像内の形状をマッチングさせて、一致したものあるいは類似する形状が含まれている場合、そのテンプレートを示すデータを形状データとして保存する。

さらに、本実施形態では、画像プログラムＰＧを起動したときの画像表示ブラウザは図１２に示すように、検索条件入力ウィンドウ７０が設けられており、この検索条件入力ウィンドウには、撮影情報データ選択欄７１と、色彩入力欄７２と、形状入力欄７３と、絞り込み検索ボタン７４が設けられている。撮影情報データ選択欄７１は、各選択肢をクリックすることで入力可能となっている。また、色彩入力欄７２は、カラーパレット７６の中から、所望の色彩をクリックすると入力することができ、複数の色彩を同時に選択もすることも可能となっている。さらにまた、形状入力欄７３は、周知の手書き入力パレット７７となっており、マウス操作をすることでパレット内に手書きのようにして形状を描いて入力することができる。

上記構成の作用について説明する。例えば上記第１〜第３実施形態で最初のキーワードを入力するときに、本実施形態の絞り込み検索を組み合わせることができる。すなわち、上記第１〜第３実施形態で、画像検索プログラムＰＧ起動後、検索キーワードを入力するとともに、絞り込み検索の検索条件を入力し、絞り込み検索ボタンをクリックすると、画像検索部３１が機能して、絞り込み検索を開始する。絞り込み検索ではまず、画像データベースに保存された画像の中から検索条件データが、先程入力された検索条件と一致する画像を検索する。これによって、検索対象が画像データベースの一部分の画像に絞り込まれる。

次にＣＰＵは、関連キーワード検索手段を動作させて関連キーワードを検索する。そして、画像検索部３１が機能して検索キーワード及び関連キーワードに対応する画像を画像データベース２５から検索する。このとき、上述した絞り込み検索によって総数が絞り込まれた画像の中からキーワードが一致する画像を決定すると、画像データに付加されたサムネイル画像データを読み出して、各キーワードとともにサムネイル表示ウインドウにこれらのサムネイル画像を配置した第１の画像表示画面を表示する。以降は、第２及び第３の画面表示へと切り替わるプロセス、あるいは、１つの画像を決定するプロセスが実行され、画像検索が行われる。

上述したように、画像データに付加された検索条件データを用いて画像データベースの画像を絞り込んだ後に、検索キーワードを用いた検索を行っているので、検索時間が短縮され、目的の画像に短時間で辿り着くことが可能となる。

なお、上記第１〜第４実施形態においては、画像データベース及びキーワードデータベースをＰＣ１０に内蔵し、このＰＣ１０内でデータベースにアクセスしてキーワード及び画像を検索する構成としているが、本発明の画像検索システムはこれに限るものではなく、通信Ｉ／Ｆを備えたＰＣとインターネットを介して接続するサーバーとからなる画像検索システムに、本発明を適用することができる。すなわち、ＰＣ１０１で画像検索プログラムを実行し、関連キーワード検索部が機能するときには、通信Ｉ／Ｆによりインターネットと接続してキーワードデータベースから関連キーワードを検索し、画像検索部が機能するときには、通信Ｉ／Ｆによりインターネットと接続して画像データベースから画像を検索する。検索によって引き出されたキーワードデータ及び画像データはメモリに保存する。このようにしてキーワード検索及び画像検索を行うことができ、上記実施形態と同様の効果を得ることができる。

本発明を適用した画像検索装置の概略的な構成を示すブロック図である。 画像検索を実行するときの表示ブラウザを示す説明図である。 キーワードデータの構造の一例を示す説明図である。 画像データの構造の一例を示す説明図である。 第１実施形態を適用した画像検索を実行するときのシーケンスを示すフローチャートである。 第１実施形態を適用した画像検索を実行するときの画像表示画面を示す説明図である。 検索続行するか否かを質問する質問画面を示す説明図である。 第２実施形態を適用した画像検索を実行するときのシーケンスを示すフローチャートである。 第２実施形態を適用した画像検索を実行するときの画像表示画面を示す説明図である。 第３実施形態を適用した画像検索を実行するときのシーケンスを示すフローチャートである。 第３実施形態を適用した画像検索を実行するときの画像表示画面を示す説明図である。 第４実施形態を適用した画像検索を実行するときの表示ブラウザを示す説明図である。

符号の説明

１０ パーソナルコンピュータ（画像検索システム）
２０ ＣＰＵ
２２ モニタ（表示手段）
２３ 操作部
２５ 画像データベース
２６ キーワードデータベース
３０ 関連キーワード検索部
３１ 画像検索部
３２ 類語辞書

Claims (12)

1. 複数の画像データを蓄積した画像データベースから画像を検索する画像検索方法において、
   入力された検索キーワードに関連する関連キーワードをキーワードデータベースから検索する第１の関連キーワード検索ステップと、前記検索キーワード及び前記関連キーワードに対応付けされた画像を前記画像データベースから検索する第１の画像検索ステップと、この画像検索ステップで検索された複数の画像のサムネイル画像を表示手段に表示する第１の画像表示ステップとを備えたことを特徴とする画像検索方法。
2. 前記第１の画像表示ステップで、検索キーワードに対応する画像を中心に、関連キーワードに対応する画像をその周囲に配置することを特徴とする請求項１記載の画像検索方法。
3. 前記第１の画像表示ステップの後、前記表示手段に表示された前記画像の中から１つの画像が選択されたときに、その選択された画像のキーワードに関連する関連キーワードをキーワードデータベースから検索する第２の関連キーワード検索ステップと、前記関連キーワードが対応付けされた画像を前記画像データベースから検索する第２の画像検索ステップと、１つの選択画像及び前記関連キーワードが対応付けられた複数の画像を表示手段に表示する第２の画像表示ステップとを備えたことを特徴とする請求項１又は２記載の画像検索方法。
4. 前記第１の画像表示ステップの後、前記表示手段に表示された画像の中から１つの画像が選択されたときに、その選択された画像と同じキーワードが対応付けされた画像を前記データベースから検索する第３の画像検索ステップと、これらの同じキーワードが対応付けられた複数の画像を表示手段に表示する第３の画像表示ステップとを備えたことを特徴とする請求項１ないし３いずれか記載の画像検索方法。
5. 前記画像データベースに蓄積された画像には、複数の項目に関する情報データがそれぞれ付加されており、前記画像表示ステップで、前記情報データの項目を示す複数の評価軸が表示画面に設定されており、これらの評価軸に沿って前記画像を情報データの順に行列状に配置するとともに、前記第１又は第２の画像表示ステップの後に、表示された前記画像の中から１つの画像が選択されたときに、その画像を中心とする表示画面にスクロールする表示スクロールステップとを備えたことを特徴とする請求項１ないし４いずれか記載の画像検索方法。
6. 前記画像データベースに蓄積された画像には、複数の項目に関する情報データがそれぞれ付加されており、これらの情報データに関する絞り込み条件が入力されたときに、前記絞り込み条件に適合する画像データのみを検索の対象とする絞り込み検索ステップとを備えたことを特徴とする請求項１ないし５いずれか記載の画像検索方法。
7. 複数の画像を蓄積した画像データベースと、前記画像に対応付けされたキーワードを蓄積したキーワードデータベースと、検索キーワードを入力する入力手段と、入力された検索キーワードを用いて前記画像データベースの中から検索した画像を表示する表示手段とを備えた検索システムにおいて、
   前記キーワードは、予め別のキーワードとの関連付けがなされており、前記検索キーワードが入力されたとき、前記キーワードデータベースから前記検索キーワードに関連する関連キーワードを検索する関連キーワード検索手段と、前記検索キーワード及びその関連キーワードに対応付けされた画像を前記画像データベースから検索する画像検索手段と、前記画像検索手段で検索された画像を配置した第１の画像表示画面を前記表示手段に表示させる表示制御手段とを備えたことを特徴とする画像検索システム。
8. 前記第１の画像表示画面は、検索キーワードに対応する画像を中心に、関連キーワードに対応する画像をその周囲に配置することを特徴とする請求項７記載の画像検索システム。
9. 前記第１の画像表示画面の中から１つの画像が選択される選択入力手段を備え、前記関連キーワード検索手段は、前記選択入力手段で選択された画像のキーワードに関連する関連キーワードをキーワードデータベースから検索し、前記画像検索手段は、前記関連キーワードが対応付けされた画像を前記画像データベースから検索し、前記表示制御手段は、１つの選択画像及び前記関連キーワードが対応付けられた複数の画像を配置した第２の画像表示画面を前記表示手段に表示させることを特徴とする請求項７又は８記載の画像検索システム。
10. 前記第１の画像表示画面の中から１つの画像が選択される選択入力手段を備え、前記画像検索手段は、前記選択入力手段で選択された画像と同じキーワードが対応付けされた前記画像データベースから検索し、前記表示制御手段は、同じキーワードが対応付けられた複数の画像を配置した第３の画像表示画面を前記表示手段に表示させることを特徴とする請求項７又は８記載の画像検索システム。
11. 前記画像データベースに蓄積された画像には、複数の項目に関する情報データがそれぞれ付加されており、前記画像表示画面では、前記情報データの項目を示す複数の評価軸が設定されており、前記表示制御手段は、前記評価軸に沿って前記情報データの順に前記画像を行列状に配置させるとともに、前記画像表示画面の中から１つの画像が選択されたときに、その画像を中心とするスクロール表示を行わせることを特徴とする請求項７ないし１０いずれか記載の画像検索システム。
12. 前記画像データベースに蓄積された画像には、複数の項目に関する情報データがそれぞれ付加されており、前記情報データに関する絞り込み条件を入力する絞り込み条件入力手段と、前記画像検索手段は、前記絞り込み条件に適合する画像データのみを検索の対象にする絞り込み検索を行うことを特徴とする請求項７ないし１１いずれか記載の画像検索システム。

Images