JP2009217828A - 画像検索装置 - Google Patents

Abstract

【課題】対象画像を効率よく迅速に検索することができる画像検索方法及び装置を提供し、また検索精度の高い検索方法及び装置を提供する。
【解決手段】パソコン１０は、１又は複数のフォルダから構成されるディレクトリ構造をもった画像データベース内より、検索対象画像に類似の画像を検索し、検索された画像を表示する表示画面を有するので、かかるディレクトリ構造を利用することにより、効率よく画像を検索することができる。
【選択図】図１

Description

本発明は、画像データベースに含まれている画像を効率よく検索する技術に関する。

デジタルスチルカメラやスキャナを用いて取得した画像を、電子アルバムなどの画像データベースに保存することが行われている。ところで、文字データベースの場合には、キーワードを用いて検索ができるため、膨大な量のデータであっても、比較的短時間で検索が可能である。これに対し、画像データベースの場合には、検索対象が画像となるために、文字のごとく一致検索ができないという検索上の問題がある。

これに対し、例えば特開平１０−２７５１６１号においては、画像に対応づけて記憶したキーワードを用いて、画像の検索を効率よく行う技術が開示されている。しかしながら、かかる従来技術によれば、画像を画像データベースに登録する際に、対応するキーワードも登録する必要がある。従って、例えば膨大な量の画像が既に存在する場合には、画像データベースに登録する前に、ユーザがこれを分類し、画像毎に適切なキーワードを付与するという非常に手間のかかる作業が必要となる。

一方、検索対象画像に類似する画像を検索する技術は、例えば特開平１０−２６０９８３号に開示されている。かかる従来技術によれば、画像をブロック毎に分け、それぞれの特徴量を行列として類似度を決定している。しかしながら、画像をブロック毎に分け、各々特徴量を見つけているため、計算量が膨大となり、時間がかかるという問題がある。

更に、特開平１０−２５４９０１号には、予め画像の一部を指定し、その属性を検出して画像の類似度を求める技術が開示されている。しかしながら、属性を検出するためには複雑な計算が必要で手間がかかるという問題がある。また、画像を検索するためには、画像データベース内の全ての画像の各部位において予め属性が検出されていることが前提となるので、その手間がかかるという問題もある。加えて、検索対象画像の属性が判っていない場合に、これを求める手間もかかる。

本発明の主たる目的は、かかる従来技術の問題点に鑑み、画像データベースに含まれている画像を効率よく検索する画像検索装置、画像検索方法及び、特定の画像を表示できる画像表示装置を提供することにある。

より具体的に、本発明の第１の目的は、対象画像を効率よく迅速に検索することができる画像検索方法及び装置を提供し、また検索精度の高い検索方法及び装置を提供することにある。

更に、本発明の第２の目的は、画像検索、閲覧などの作業を通して、ユーザの嗜好に沿った検索内容を学習させ、より正確な検索ができる画像検索方法及び装置を提供することにある。

更に、本発明の第３の目的は、例えばインターネットなどのネット上での画像検索を容易にし、また、画像検索によって抽出された画像データのアップロードを容易にすることができる技術を提供することにある。

更に、本発明の第４の目的は、検索しようとするものが、検索対象画像があいまいでも、画像データベース内から該当する素早く検索でき、また画像データベースの分類情報の利用を容易にし、画像に関するコメントやキーワードを入力しやすくする技術を提供することにある。

更に、本発明の第５の目的は、画像データベース内の画像の概要を素早く閲覧することができ、画像データベース内からあいまいな画像を素早く検索する技術を提供することにある。

かかる目的を達成するため、本発明の画像検索装置は、１又は複数のフォルダから構成されるディレクトリ構造をもった画像データベース内より、検索対象画像に類似の画像を検索する検索手段と、検索された画像を表示する表示手段とを有することを特徴とする。

本発明の画像検索装置は、画像データベース内より、画像を検索する検索手段と、検索された画像を表示する表示手段とを有し、前記検索手段は、同一あるいは時間軸上で近いフォルダ内の画像で、画像の端部の類似度が高い画像を検索し、前記表示手段は、画像の端部を重ねて複数の画像をつなぎ合わせることによって得られる合成画像を表示することを特徴とする。

本発明の画像検索装置は、画像データベース内より、検索対象画像に類似の画像を検索する検索手段と、検索された画像を表示する表示手段とを有し、前記検索手段は、画像を選択した頻度を特徴量の１つとして類似画像を検索することを特徴とする。

本発明の画像検索方法は、画像データベース内における画像の選択頻度を記憶するステップと、画像を選択した頻度を特徴量の１つとして、検索対象画像に類似する画像を検索するステップとを有することを特徴とする。

本発明の画像検索装置は、画像データベース内より、検索対象画像に類似の画像を検索する検索手段と、検索された画像を表示する表示手段と、表示された画像の履歴を記録して、１度表示された画像の表示を制限する表示制御手段とを有することを特徴とする。

本発明の画像検索方法は、画像データベース内における検索対象画像に類似する画像を検索するステップと、検索された画像を候補画像として表示するステップと、表示された画像の履歴を記録して、１度表示された画像を候補画像から除外するステップとを有することを特徴とする。

本発明の画像検索装置は、画像データベース内の画像をカテゴリに分類する手段と、画像データベース内よりカテゴリ情報をもとに、検索対象画像に類似の画像を検索する検索手段と、検索された画像を表示する表示手段とを有し、前記表示手段は、前記検索手段により検索された画像を表示する前に、それぞれのカテゴリを代表する画像を表示することを特徴とする。

本発明の画像検索方法は、画像データベース内の画像をカテゴリ毎に分類するステップと、前記カテゴリを代表する画像を表示するステップとを有することを特徴とする。

本発明の画像検索装置は、画像データベース内より、検索対象画像に類似の画像を検索する検索手段と、検索された画像を表示する表示手段とを有し、前記表示手段は、色を表す画像を表示可能となっており、前記検索手段は、前記表示手段により表示された画像に対応する色に類似の色を含んだ画像を検索することを特徴とする。

本発明の画像検索方法は、色を表す画像を表示するステップと、画像データベースの中から、表示された画像に対応する色に類似する色を含んだ画像を検索するステップと、検索された画像を表示するステップとを有することを特徴とする。

本発明の画像検索装置は、画像データベース内より、検索対象画像に類似の画像を検索する検索手段と、検索された画像を表示する表示手段とを有し、前記表示手段は、前記画像データベースに含まれていない画像を取得して表示し、前記検索手段は、前記表示手段により表示された画像に類似する画像を検索することを特徴とする。

本発明の画像検索方法は、画像を取得して表示するステップと、画像データベースの中から、取得した画像に類似の画像を検索するステップと、検索された画像を表示するステップとを有することを特徴とする。

本発明の画像検索装置は、画像データベース内より、検索対象画像に類似の画像を検索する検索手段と、表示された画像を一括してレタッチするレタッチ手段とを有することを特徴とする。

本発明の画像検索方法は、画像データベース内の画像を検索するステップと、検索された画像を一括してレタッチするステップとを有することを特徴とする。

本発明の画像検索装置は、画像を表示する表示手段と、前記表示手段において表示された画像上において、位置指定が行われた場合に、指定された位置を記憶する記憶手段と、前記記憶手段に記憶された位置に基づいて、画像データベース内の画像を検索する検索手段とを有することを特徴とする。

本発明の画像検索装置は、画像データベース内の画像についてハードコピーに関する情報を記憶する記憶手段と、前記ハードコピーに関する情報に基づいて、画像を検索する検索手段とを有することを特徴とする。

本発明の画像検索装置は、文字キーワードを入力可能な入力手段と、前記入力手段により入力された文字キーワードに基づいて、画像の特徴量とそのキーワードに関連するネットワークアドレスを設定する設定手段とを有することを特徴とする。

本発明の画像検索装置は、特定画像の特徴量を抽出する抽出手段と、前記抽出手段が抽出した特徴量を含む文字キーワードを決定する決定手段と、決定された文字キーワードに関連するネットワークアドレスから画像を取得する手段と、取得された画像の特徴量を抽出して、特定画像の特徴を含むか否かを判定する判定手段とを有することを特徴とする。

本発明の画像検索装置は、画像データベース内の画像を検索する際に、同一カテゴリ内の画像を優先的に検索する画像検索装置であって、１又は複数の画像に共通するカテゴリを追加する追加手段を有することを特徴とする。

本発明の画像検索装置は、画像データベースの画像に音情報を付随させる付随手段と、前記音情報に基づいて画像を検索する検索手段とを有することを特徴とする。本発明の画像表示装置は、画像データベース内の画像を選択する選択手段と、選択された画像を筆頭に、画像データベース内の画像を順序づける順序づけ手段と、順序づけに従い画像を表示する表示手段とを有することを特徴とする。

本発明の画像検索装置によれば、１又は複数のフォルダから構成されるディレクトリ構造をもった画像データベース内より、検索対象画像に類似の画像を検索する検索手段と、検索された画像を表示する表示手段とを有するので、かかるディレクトリ構造を利用することにより、効率よく画像を検索することができる。本発明の画像検索装置によれば、画像データベース内より、画像を検索する検索手段と、検索された画像を表示する表示手段とを有し、前記検索手段は、同一あるいは時間軸上で近いフォルダ内の画像で、画像の端部の類似度が高い画像を検索し、前記表示手段は、画像の端部を重ねて複数の画像をつなぎ合わせることによって得られる合成画像を表示するので、例えば画像データベースの画像を用いてパノラマ画像を合成したい場合、検索手段が自動的につながる画像を検索するため、効率的に画像を合成することができる。

本発明の画像検索装置によれば、画像データベース内より、検索対象画像に類似の画像を検索する検索手段と、検索された画像を表示する表示手段とを有し、前記検索手段は、画像を選択した頻度を特徴量の１つとして類似画像を検索するので、例えば画像データベースの画像の内、良く利用された画像は共通する特徴を有すると考えられるため、その頻度を利用すれば、より効率的に画像を検索することができる。

本発明の画像検索方法によれば、画像データベース内における画像の選択頻度を記憶するステップと、画像を選択した頻度を特徴量の１つとして、検索対象画像に類似する画像を検索するステップとを有するので、例えば画像データベースの画像の内、良く利用された画像は共通する特徴を有すると考えられるため、その頻度を利用すれば、より効率的に画像を検索することができる。

本発明の画像検索装置によれば、画像データベース内より、検索対象画像に類似の画像を検索する検索手段と、検索された画像を表示する表示手段と、表示された画像の履歴を記録して、１度表示された画像の表示を制限する表示制御手段とを有するので、表示手段が１度表示した画像は、ユーザが既に考慮外としている画像とみなすことで、より効率的な画像検索を可能としている。

本発明の画像検索方法によれば、画像データベース内における検索対象画像に類似する画像を検索するステップと、検索された画像を候補画像として表示するステップと、表示された画像の履歴を記録して、１度表示された画像を候補画像から除外するステップとを有するので、１度表示された画像は、ユーザが既に考慮外としている画像とみなすことで、より効率的な画像検索を可能としている。本発明の画像検索装置によれば、画像データベース内の画像をカテゴリに分類する手段と、画像データベース内よりカテゴリ情報を元に、検索対象画像に類似の画像を検索する検索手段と、検索された画像を表示する表示手段とを有し、前記表示手段は、前記検索手段により検索された画像を表示する前に、それぞれのカテゴリを代表する画像を表示するので、表示された画像を見ることによって、その画像が含まれるカテゴリがいかなるものかユーザは直ちに認識でき、それにより効率的な画像検索を可能にしている。

本発明の画像検索方法によれば、画像データベース内の画像をカテゴリ毎に分類するステップと、前記カテゴリを代表する画像を表示するステップとを有するので、表示された画像を見ることによって、その画像が含まれるカテゴリがいかなるものかユーザは直ちに認識でき、それにより効率的な画像検索を可能にしている。

本発明の画像検索装置によれば、画像データベース内より、検索対象画像に類似の画像を検索する検索手段と、検索された画像を表示する表示手段とを有し、前記表示手段は、色を表す画像を表示可能となっており、前記検索手段は、前記表示手段により表示された画像に対応する色に類似の色を含んだ画像を検索するので、色を用いることにより効率的な画像検索を可能としている。

本発明の画像検索方法によれば、色を表す画像を表示するステップと、画像データベースの中から、表示された画像に対応する色に類似する色を含んだ画像を検索するステップと、検索された画像を表示するステップとを有するので、色を用いることにより効率的な画像検索を可能としている。

本発明の画像検索装置によれば、画像データベース内より、検索対象画像に類似の画像を検索する検索手段と、検索された画像を表示する表示手段とを有し、前記表示手段は、前記画像データベースに含まれていない画像を取得して表示し、前記検索手段は、前記表示手段により表示された画像に類似する画像を検索するので、例えば検索しようとする画像の特徴をユーザが指摘できない場合でも、画像データベース外によく似た画像があれば、これを用いることにより、より効率的な画像検索が可能となる。

本発明の画像検索方法によれば、画像を取得して表示するステップと、画像データベースの中から、取得した画像に類似の画像を検索するステップと、検索された画像を表示するステップとを有するので、例えば検索しようとする画像の特徴をユーザが指摘できない場合でも、画像データベース外によく似た画像があれば、これを用いることにより、より効率的な画像検索が可能となる。

本発明の画像検索装置によれば、画像データベース内より、検索対象画像に類似の画像を検索する検索手段と、表示された画像を一括してレタッチするレタッチ手段とを有するので、レタッチが必要な類似画像を一括してレタッチできる。本発明の画像検索方法によれば、画像データベース内の画像を検索するステップと、検索された画像を一括してレタッチするステップとを有するので、レタッチが必要な類似画像を一括してレタッチできる。

本発明の画像検索装置によれば、画像を表示する表示手段と、前記表示手段において表示された画像上において、位置指定が行われた場合に、指定された位置を記憶する記憶手段と、前記記憶手段に記憶された位置に基づいて、画像データベース内の画像を検索する検索手段とを有するので、例えば人物画像の顔など指定された位置を利用して、より効率的な検索が可能となる。

本発明の画像検索装置によれば、画像データベース内の画像についてハードコピーに関する情報を記憶する記憶手段と、前記ハードコピーに関する情報に基づいて、画像を検索する検索手段とを有するので、例えばハードコピー回数の多少により画像を分けて、より効率的に検索ができる。

本発明の画像検索装置によれば、文字キーワードを入力可能な入力手段と、前記入力手段により入力された文字キーワードに基づいて、画像の特徴量とそのキーワードに関連するネットワークアドレスを設定する設定手段とを有するので、文字キーワードを利用してより効率的な画像検索が可能となる。

本発明の画像検索装置によれば、特定画像の特徴量を抽出する抽出手段と、前記抽出手段が抽出した特徴量を含む文字キーワードを決定する決定手段と、決定された文字キーワードに関連するネットワークアドレスから画像を取得する手段と、取得された画像の特徴量を抽出して、特定画像の特徴を含むか否かを判定する判定手段とを有するので、予め画像に文字キーワードが付加されていなくても、前記決定手段が文字キーワードを決定するので、それにより、より効率的な画像検索が可能となる。

本発明の画像検索装置によれば、画像データベース内の画像を検索する際に、同一カテゴリ内の画像を優先的に検索する画像検索装置であって、１又は複数の画像に共通するカテゴリを追加する追加手段を有するので、例えばユーザがお気に入りの画像をひとまとめにして同一カテゴリに納め、かかるカテゴリを追加すれば、以降の検索を効率的に行うことができる。

本発明の画像検索装置によれば、画像データベースの画像に音情報を付随させる付随手段と、前記音情報に基づいて画像を検索する検索手段とを有するので、例えば画像に付随して、「ジンブツ」、「フウケイ」など関連する音声を吹き込んでおけば、これを利用して、より効率的な画像検索が可能となる。

本発明の画像表示装置によれば、画像データベース内の画像を選択する選択手段と、選択された画像を筆頭に、画像データベース内の画像を順序づける順序づけ手段と、順序づけに従い画像を表示する表示手段とを有するので、選択された画像に関連する度合いの高い画像が順次表示され、より効率的に画像を閲覧可能となる。

本発明によれば、画像データベースに含まれている画像を効率よく検索することができる。

本実施の形態を説明するための図である。 本実施の形態のディレクトリ構造の一例を示す図である。 ディレクトリ構造の変形例を示す図である。 図１のパソコン１０の画面表示例を示す図である。 図４の左上の画像をキー画像として選択した場合に、その類似画像を表示した画面例を示す図である。 画像取り込みボタンを設けた表示画面の例を示す図である。 レタッチボタンを設けた表示画面の例を示す図である。 検索座標でクラスタリングされた例を示す図である。 画像における位置指定を行った例としての表示画面を示す図である。 検索された画像が表示された例を示す図である。 検索マップを示す図である。 パソコン１０の表示画面を示す図である。 検索キーワードと、画像の特徴量と、関連するＵＲＬと対応付けを示す図である。 画像ファイルを用いた画像検索の例を示す図である。 表示画面上で、画像が表示される例を示した図である。 第６の実施の形態を説明するための図である。

以下、本発明による実施の形態を、図面を参照して説明する。

図１は、本実施の形態を説明するための図である。図１において、パソコン１０は、ネットワークＮを介して大記憶容量のサーバー２０に接続されている。一方、例えばラボなどに設置されているフィルムスキャナ３０も、ネットワークＮを介してサーバー２０に接続されている。サーバー２０には、画像データベースが構築されている。尚、画像データベースは必ずしもサーバー２０に構築される必要はなく、パソコン１０のハードディスク内に構築されても良い。かかる場合、フィルムスキャナ３０からの画像データは、ＣＤ−Ｒなどの記憶媒体を介して、パソコン１０に入力されうる。

サーバー２０の画像データベースに画像を登録する態様について説明する。ラボにおいて、ユーザが銀塩カメラで撮影することによって得られたネガフィルムを、フィルムスキャナ３０により画像データに変換する。かかる画像データは、ネットワークＮを介してサーバー２０に送信され、画像として画像データベースに登録されることとなる。

ここで、画像を登録する際に、そのまま保存するのでは、後から特定の画像を検索する手間がかかる。そこで、本実施の形態においては、ディレクトリ構造を形成して、画像に係るデータを階層的に記憶するようにしている。

図２は、かかるディレクトリ構造の一例を示す図である。図２において、上層ディレクトリには、例えば「１９９８０１０１．００１」という名称のディレクトリが形成される。これは、かかる名称が（西暦年号４文字）＋（月２文字）＋（日２文字）＋（数字３文字）から構成され、すなわち１９９８年１月１日に読み取られた１番目のネガフィルムであることを示している。

従って、このディレクトリ名から、画像の登録日を読み取ることができる。同一ネガフィルム中の画像にかかる各フォルダ（ＫＮ００１００１．ＪＰＧ〜）は、このディレクトリ中に全て格納される。

尚、デジタルスチルカメラなどにより撮像された画像も、同様の態様で、かかるディレクトリ構造内に記憶することが可能である。かかる場合、ネガフィルムに対応するのが、メモリカードなどの記録媒体であるから、そのメモリカード毎に上層ディレクトリが一つ形成されることとなる。このような上層ディレクトリにおける各ディレクトリを、以下ロットと称する。

更に、このディレクトリには、グルーピングした画像の一覧を示すＨＴＭＬファイルを置くディレクトリ（ＨＴＭＬ）が形成されている。本実施の形態においては、画像フォーマットはｊｐｅｇ、ＦｌａｓｈＰｉｘに対応している。

図３は、ディレクトリ構造の変形例を示す図である。図３による例の場合には、上層ディレクトリには、「Ａｌｂｕｍ＿０１Ｂ」、「Ａｌｂｕｍ＿０４Ｂ」、Ａｌｂｕｍ＿１６Ｂ」なる名称のディレクトリが形成されており、これは、それぞれ１Ｂａｓｅ、４Ｂａｓｅ、１６Ｂａｓｅの画像を格納していることを意味している。それより下層のディレクトリは、図２に示すものと同様である。

次に、このようにして構築されている画像データベース内から、特定の画像を検索する態様について説明する。図４は、図１のパソコン１０の画面表示例を示す図である。ユーザが画像検索ソフトウエアを起動すると、初期画面として図４に示す表示が画面に現れるようになっている。

ここで表示される複数枚の画像は、例えば画像データベース内の画像をあらかじめ決められたクラスタ数になるように統計的に分類し、各クラスタを代表する画像である。代表する画像は、例えば各ロットの１番目の画像としても良い。

ユーザは、自分が探したい画像に類似している（例えば、風景で山が写っているとか、人物が写ってるなど）と思われる画像を選択し、マウス（不図示）などを用いてかかる画像をクリックする。このとき、選択された画像を今後キー画像と呼ぶ。

パソコン１０は、キー画像に類似する画像を画像データベース内から探索する。より具体的には、選択された画像に対応する特徴量と、他の画像の特徴量の相対距離を求めて類似度を計算する。ここで、距離が短いほど類似度は高くなるように座標軸が設定される。画像の特徴量のデータファイルは、パソコン１０のハードディスク等に記録される。特徴量は、色、周波数分布等の一般的な特徴の他に、時間を表す量として、例えばデータベース上での位置、あるいは日付に相当するフォルダ名を取り入れ、画像が登録された日時、あるいは画像が撮影された日時、場合によっては画像が修正された日時も検索の際の考慮にいれる。すなわち、選択された画像を撮影したあるいは、登録した日時等に近い画像ほど優先的に検索されるようになる。

これは、電子アルバムで検索する場合、時間のファクターがキーとなる場合が多いためである。キー画像と同一ロットの画像の内、類似度の高い順番に所定の枚数は、とくに類似度を高くすると、より時間のファクターが大きくなるという傾向がある。

パソコン１０は、類似度の高い順番にサムネール画像をディスプレイに表示する。図４において、画像の右側の［Ｌｏｔ］のボタンＢＬをクリックすると、パソコン１０は、画面を切り替えて同一ロットの画像をすべて表示することができる。かかる場合、同一ロット内で類似度を調べて、類似度の高い順に画像を並べ替えて表示しても良い。これにより、ユーザーはより早く探したい画像に到達することができる。

図４の左上の画像をキー画像として選択した場合に、その類似画像を表示した画面例を図５に示す。図５の例においては、パソコン１０は、画像データベースの中から、主要被写体として二人の人物が撮影された画像を類似画像として探索している。

１度目の検索で、ユーザの所望する画像が得られなかった場合、更に、ユーザは検索を続行できる。例えば図５に示す例において、右下の画像をクリックすることによって選択すると、それに類似する画像（例えば海の風景画像を含んだもの）が、同様に画面上に表示されることとなる。

この際、パソコン１０は、画像が表示された履歴を保存しておき、検索の過程で１度表示された画像は、表示されないようにすることもできる。ユーザが１度閲覧したにもかかわらず、選択しなかった画像は、検索対象画像でないとみなして、再度表示されることを防止し、それにより迅速な検索を達成するのである。探したい画像が見つかるまで同様の動作を繰り返せば良い。かかる履歴は、不図示のリセットボタンをクリックすることにより、リセットされるようにしても良い。

その他の機能として、パソコン１０に、以下のような機能を付加することが考えられる。いずれも、検索しやすすくするための補助機能である。

（１）画像の右側の［Ｉｎｆｏ］のボタンＢＩをクリックするとサムネールではなく、その元画像が大きく表示され、併せて、撮影日時、大きさ等の画像に関する情報がテキストで表示される。これらの情報は、例えば画像がＩＸ２４０カートリッジ入りフィルム（いわゆるＡＰＳフィルム）に記録されたものであれば、フィルムの磁気記録層に書き込まれた情報から得られるし、画像ファイルのへッダーに書き込まれた情報からも得られる。

（２）［キー画像履歴表示］ボタンＢＫをクリックすると、これまでに選択したキー画像のー覧が表示され、その時の状態に戻ることができる。

（３）［カテゴリー表示］ボタンＢＣをクリックすると、初期画面に戻ることができる。

（４）［ロット代表表示］ボタンＢＰをクリックすると、スタート画面として、ロットを代表する数枚の画像が時系列的に表示される。

このように、本実施の形態によれば、時間軸上の位置を特徴量に加えているために、高速的に探したい画像を検索することができる。また、画像データベースが時間軸に対応したディレクトリ構造となっているため、時間軸上の位置を簡単に求めることができる。

更に、本実施の形態によれば、ユーザが探索しようとする画像を具体的に特定できなくても、例えば確か同じ頃撮影した画像があったとか、あるいは人物が３人で写っていたとか、山をバックに撮影したはずだとか曖昧な情報でも、パソコン１０が、画像データベース中から類似画像を検索することができるため、効率の良い検索が可能となっている。また、そのような検索を行う上で、予め画像に属性等を付与する必要がないという利点もある。

尚、記録媒体上の画像データをディレクトリ構造ごと、パソコン上のハードディスクにコピーして使用すると、アクセススピードが上がり、検索スピードを上げることができる。

更に、画像データベースの作成は、ラボのサービスを利用することに限られるわけではなく、画像検索のソフトウェアを利用して、ユーザー個人が自宅のパソコンを用いて同様な構造をもったデータベースを作成することも可能である。

本実施の形態の変形例として、図４に示す初期画面で［カテゴリー表示］ボタンＢＣをクリックするとメニューバーが表示され、初期画面に表示される代表画像を変えることができるようにすることが考えられる。

かかる場合、デフォルトとして、上述した実施の形態のごとく、統計的に分類された各クラスタの代表画像を表示し、［カラー画像］を選択すると、カラーピッカー（不図示）が初期画面に表示され、ユーザーが探したい画像の中で支配的な色を選択することができるようにしても良い。

例えば、一般的に夏山の風景では、「緑」色が支配的と考えられ、海の風景では、「青」色が支配的と考えられる。従って、色を選択することによって、ある程度画像の絞り込みが可能となる。このように、色に関する特徴量を利用して検索を行い、選択した色の支配率の高い程（すなわち、選択した色の割合が高いほど）類似度が高いと判断し、その結果が画面上に表示される。

上述の変形例では、カラーピッカーを用いて色を選択しているが、その代わりに［山］［海］等の画像の内容を表す言葉を選択できるようにして、それぞれの言葉を代表する画像が表示されるようにしても良い。また、あらかじめキーワードが付加されている場合は、対応する画像を表示すればよいし、［山］［海］を代表する画像をあらかじめ決めておき、その画像と類似度の高い画像を表示してもかまわない。尚、パソコン１０は、画像の内容、又はキーワードが画像に付されていればかかるキーワードに基づいて、画像が属すべきカテゴリを決定することができる。

このように本変形例によれば、ユーザーが自分が探したい画像に最もマッチした初期画面を選択することができるため、より早く所望の画像を見つけることができる。

別な変形例としては、図４に示す初期画面に表示される画像として、データべースに登録されていない画像を取り込めるようにすることも考えられる。例えば、図６に示すような［画像取り込み］のボタンＢＴを設け、このボタンＢＴをクリックすると画像選択のダイアログボックスが表示され、データベース外の画像（インターネットを介して得ても良い）を選択するようにする。また、この画像のサムネール画像がない場合は、自動的にサムネールを作成するか、また一部をトリミングして選択された画像を表示できるようにすれば良い。

本変形例によれば、スタート画像の選択肢として、データベース外の画像を選択できることで、ユーザーが自分が探したい画像に最もマッチした初期画面を選択することができるため、より早く見つけることができる。

次に、第２の実施の形態について説明する。まず、パソコン１０で画像検索ソフトを起動すると、図７に示す初期画面が表示される。ユーザが［レタッチ］ボタンＢＲをクリックすると、メニューバーが表示され、「パノラマ」「赤目補正」等の項目が表示される（不図示）。ここでユーザが「パノラマ」を選択すると、パソコン１０は以下のような処理を行う。

パソコン１０は、同一ロット（ロットが異なると撮影場所も異なる可能性が高い）内で、画像の上下左右の端部のエッジに関する特徴量の類似度の高い画像の組み合わせを検索する。この際、対象画像の左端とそれ以外の画像の右端との類似度、右端と左端、上端と下端、下端と上端との類似度をそれぞれ求め、類似度が所定のしきい値よりも高い画像を、パノラマ画像を構成する画像として検索する。

パソコン１０は、類似度の高い端部について、パターンマッチングを行い、重なり合う位置を求めて、２枚の画像をつなぎ合わせることによって合成する。パターンマッチングについては、既に公知であるため、その詳細は省略する。合成された画像は、画面上に表示される。

一方、ユーザが「赤目補正」を選択した場合には、パソコン１０は以下のような処理を行う。まず、ユーザーはデータベースの中から赤目になっている画像を１枚検索する。次に、ユーザが「赤目補正」を選択すると、パソコン１０は、赤目の画像に対して類似度の高い画像について、更に赤目が存在するかどうか判断し、赤目であると判断した場合は赤目を補正する。更に、パソコン１０は、赤目を補正した画像を表示する。

このように、本実施の形態によれば、選択した処理が必要な画像を自動で検索し、一括して処理することができる。尚、画像の一括処理は、赤目に限らず、例えば撮影された人物の衣服の色を統一するように変えたりすることも可能である。

次に、第３の実施の形態について説明する。かかる実施の形態においては、画像をクリックするユーザの操作に従って、かかる画像におけるユーザにとって特徴あると考えられる部位を判別し、以降の検索にこれを利用する。より具体的には、まずユーザに、キー画像において重要と思われる部位をクリックさせ、その場所を重点情報としてファイルとともに保存しておく。キー画像は何回も選択でき、次第にユーザの所望する画像に近づけるようにする。更に、画像の特徴量を抽出するためには、画像の複雑さと色分布などを用いる。

まず、第１のステップとして、パソコン１０はキー画像を表示する。既に画像データベース中にある画像をクラスタリングし、そのなかで代表的な画像を表示する。図８は、検索座標上にプロットされ、クラスタリングされた画像の関係を示すものであり、縦軸に画像の色味、横軸に画像の複雑さをとって示している。画像の複雑さは、ある特定の空間周波数成分で評価でき、画像の色味は色相で評価できる。各画像を分析して、色味と複雑さとを求め、検索座標上でプロットすると、例えば５つのグループに分けられる。

このようにすることで、画像データベース内の画像を分析することによって、クラスタリングが可能となり、新たな画像をデータベースに登録する場合でも、同様なクラスタリングに従えば良く、新たな属性入力をしなくてもすむ。ここで、属性とは、花、人、撮影データ、などのことを指す。

次に、第２のステップとして、画像の指定を行う。具体的には、ユーザにもっとも重要と考える部位を指定させる。この例では、一番最初の画面の人の顔を指定している。図９の画像上に表示される×印がその位置である。

この処理は、キー画像（ユーザの所望する画像にもっとも近い画像）の指定と兼用することで、効率的に学習ができる。もちろん兼用せずに別の登録モードで順に注目点を指定することも可能である。

更に、第３のステップとして、座標の記録を行う。この画像に対するｘｙ座標は取り込まれ、記録される。この結果はそのファイルのデータに付け加えられるか、または、別ファイルに記録される。尚、位置指定された画像に対応づけて、パソコン１０は、自動的に、使用目的、使用者、使用アカウントなどの情報を記憶するようにしても良い。

繰り返し指定された場合には、ｘｙ座標が複数発生するが、それらはすべて記録される。この結果、複数の画像の集中度合いは画像の中の重要度を示すことになる。もし、複数の位置データが近接していれば、注目範囲は狭いものと考えられる。また、分散していれば広いものと考えられる。

第３の実施の形態の変形例として、画像内の特殊な場所（例えば隅）を指定した場合には、重点位置という認識を与える代わりに、別な情報を与えることもできる。例えば、隅を指定したときには、画面全体を注目範囲とし、中央のある範囲内であれば、注目範囲を画面のサイズの半分とするというように決めれば、より便利に検索ができる。

更に、第４のステップとして、座標周辺画像の特性を調査し、結果を表示する。注目点の周囲の画像の分析を行い、指定した部位の周囲の色や複雑さを調べる。同じ被写体であっても、例えば、広角レンズで撮影して脇に写っている場合と、望遠レンズで撮影して中央に大きく写っている場合とでは、被写体が異なって見える場合もあるが、このような処理により、同一被写体の認識を容易にし、検索をしやすくしている。

図１０は、検索された画像が表示された例を示す図である。各画像において、すでに注目画素が指定された位置が、☆（スター）印で示されている。使用者はさらに同じ場所を指定しても、別の場所を指定してもよい。同じ位置であれば、その画像の注目点はその場所であることが明確になり、違う位置であれば画像全体を見ていると判断できる。

第５のステップとして、検索の繰り返しを行うことができる。図１０で表示された画像の中で、ユーザは、まず自分の考えている画像を選び、位置を指定しながら、次第に自分の所望する画像に近づくようにし、最終的にその画像に到達できるようにすると良い。かかる場合、現在どこら辺りを探索しているのか、ユーザに知らせるために、検索マップを用いることができる。

図１１は、検索マップを示す図である。例えば、最初のキー画像をＧ１とし、次のキー画像をＧ２とし、更に次のキー画像をＧ３とし、更に次のキー画像をＧ４とし、各画像を矢印で結ぶと、この矢印は、検索マップ上、ある画像ＧＴの周囲を取り巻くようになることがある。かかる場合、ユーザが所望する画像は、矢印で囲われた領域内に収まっている可能性が高いことが判る。一方、全画像を検索していないにも関わらず、キー画像が重複するような場合には、検索が閉ループに入ってしまったものとして、警告表示することができる。

本実施の形態の変形例としては、画像のハードコピー回数を記録に残すことが考えられる。画像検索は、最終的にはハードコピーを得るために行うことが多いので、例えばハードコピー回数の多い画像はユーザにとって重要な画像であると考えられ、それを記録に残せば、より効率的に検索を行うことができる可能性が高まる。また、ハードコピーしたものは、検索対象として優先度を低めるというようなこともでき、表示順序を変更することで、検索時にユーザの至便性を図れる。

更に、画像の作成、または修正時刻の情報を用いて、常に近い時間の画像も表示するようにすると、ユーザは記憶がよみがえりやすくなり、検索を効率的に進めることができる。これには、画像が一回の撮影（フイルム１本分、または、デジタルカメラで一回のメモリ分）分でデイレクトリ構造にすることが考えられる。

このように、本実施の形態によれば、画像において位置指定した内容により検索を行うため、使用するうちに次第に精度の高い検索を行うことができる。また、ユーザに画像中の重要と思われる箇所を指定させることにより、画像中の注目点が明確になり、精度の高い検索を行うことができる。

更に、画像検索のキー画像の指定とともに、位置指定を行うため、特別な手間がいらないため検索の簡便化を図れる。すでに注目点を指定した画像ではその情報を同時に表示することで、ユーザは注目点が複数ある場合、２番目の注目点を指定することができる。また、すでに注目したかどうかを画面を閲覧・検索中にユーザは把握することができる。

かかる実施の形態によれば、複数の人間、または、複数の目的で検索を行うときに、それぞれにあった画像検索ができる。また、検索に用いるキー画像の座標を表示することで、ユーザはどのように検索しているかを視覚的に把握することができる。更に、ハードコピーした記録を残すことにより、ハードコピーのための検索を容易にし、必要な画像だけハードコピーすることができるようになる。加えて、画像の検索精度を向上させることができる。

次に、第４の実施の形態について説明する。図１２は、パソコン１０の表示画面を示す図であり、検索キーワードを用いて、サーバー２０の「画像データベース」フォルダ内の画像を検索する例を示している。パソコン１０は、検索キーワードを、図１３に示すように、その特徴量と関連するＵＲＬとに対応づけて記憶している。図１３に示す例では、「空」というキーワードに対し、Ｌ^＊，ａ^＊，ｂ^＊の色についての特徴と、その色が存在する場所についての特徴を与えている。ＵＲＬは、「空」に関連するインターネット上のホームページを検索するために用いる。図１３の例では、Ｌ^＊＝７５、ａ^＊＝−７，ｂ^＊＝３５、画像の縦方向の上部３０％・横方向に１００％領域を表している。

ユーザにより検索ボタンが押されると、パソコン１０は、「画像データベース」フォルダ内の画像データを解析し、図１３の特徴量を満たす画像領域が存在するかを判定する。その条件を満たす画像は、順次画面に表示される。「空」に関連するＵＲＬが下段に表示される。ユーザがこの表示を選択すると、パソコン１０は、そのＵＲＬに接続しＨＴＭＬファイル・画像データなどをダウンロードし、画像を図示しない別のウィンドウに表示するか、または下段に表示する。

閲覧画面で、ユーザがＵＲＬボタンを選択すると、パソコン１０は、表１のＵＲＬに順番に接続し、画像データをダウンロードする。更にダウンロードされた画像に対し、特徴量の条件を満たす画像を検索し、画面に表示する。また、下段には同様に図１３に登録されたＵＲＬを表示する。

ダウンロードの際に、パソコン１０は、そのＵＲＬ名のついたフォルダを作成し、そこにＨＴＭＬファイル・画像データ等を保存する。そして、このフォルダ内の画像に対し検索を行う。

図１４は、画像ファイルを用いた画像検索の例を示す図である。まず、パソコン１０は、サーバー２０から初期画像データを読み込み画面に表示する。ここでユーザが検索ボタンを押すとその画像の特徴量を抽出し、登録されているキーワードの特徴量と照合する。その特徴量を含むキーワードのＵＲＬから画像データをダウンロードし、検索を行い画面表示する。

検索フォルダが選択されたときは、パソコン１０は、そのフォルダ内の画像から特徴量を抽出し、初期画像の特徴量を含む画像を画面に表示する。初期画像の一部分を選択し、その選択された部分の特徴量（色、座標）を使い検索することも可能である。

尚、図１３に示す例のごときテンプレートを予めいくつか用意し、ユーザーが編集できるようにすることも可能である。また、図１３のＵＲＬに替えて、ＩＰアドレスなどのネットワークアドレスを設定することも可能である。更に、特徴量は設定した数値に対し、その前後に幅をもたせることも可能である。

このように本実施の形態によれば、ユーザの要求に応じ、インタネットから画像データをダウンロードして、これを利用することができるため、より広範囲な検索が可能となる。

次に、第５の実施の形態について説明する。検索の過程で、パソコン１０にはキー画像に類似する画像が順次表示されることとなるが、例えば同じような画像が多数存在する場合に、これらが類似画像として次々に検索され、狭い画面上に表示されると、なかなか目的の画像に到達せず、検索に手間取ることも予想される。第５の実施の形態においては、かかる問題を以下のようにして緩和する。

尚、本実施の形態においても、上述した実施の形態と同様に、キー画像に類似する画像を、画像データべースから順次選んで複数個表示し、その中から１つの画像を選択することで次に表示される複数の画像が決定する。これを、すべての画像が表示されるまで繰り返すものとする。

パソコン１０は、画像の表示順序を、以下のようにして決定する。まだ表示されていないデータべース中の画像の、選択された画像に対する類似度を求め、類似度の高い順に並べたときに、互いに類似画像は表示しないようにするため、例えば２つおきというように画像を間引いて表示する。つまり、例えば同一場所で続けて撮影した画像のように、ほとんど同じ画像は、そのうち１枚のみが表示されるため、それにより高速閲覧が可能となる。類似度の計算には、上述した実施の態様のごとく、画像内容の色、周波数特性、構造、撮影時間などを用いることができる。

更に、パソコン１０は、例えばディレクトリ名などから、データベース内の画像をカテゴリ分けし、カテゴリごとにまとめて表示することができる。順次画像を表示していて、探したい画像に似た画像が表示されたときに、その画像を基に画像検索モードに切り替えることも可能である。そのときには、以前に表示した画像も含めて検索を行うことで、見過ごした画像も検索される。

また、パソコン１０は、表示画面を以下のように切り替えることができる。例えば、複数の画像を表示し、画像をクリックするごとにその画像を基準とした複数の画像が表示されるようにできる。更に、任意の時間ごとに次々と画像が切り替わり表示されるようにしたり（図１５（ａ）参照）、１度にすべてが切り替わるようにしたり、画像が流れるように表示される（図１５（ｂ）参照）ようにもできる。このような表示は、Ｊａｖａ（登録商標）によっても実現することが可能である。

この場合、表示間隔はユーザが任意に調整でき、また表示を一時止めたり、前の画像や後の画像にコマ送り表示することも可能である。図１５に示すように、表示がどこまで進んだかがわかるように画像の表示番号を、画像の右下に付加的に表示することもできる。かかる番号は、画像に対応づけて履歴として保存しても良い。また、画像の下方にスクロールバーなどを設けて、全体の画像の内、現在閲覧している画像は、どの辺りか表示しても良い。更に、画像の一部を重ねて、横や縦にずらして表示することも可能である。加えて、最後に表示される画像には、例えば「ＬＡＳＴ」という表示を行って、最後であることをユーザに認識させるようにしても良い。

本実施の形態によれば、画像データベース内の画像を素早く閲覧できると共に、ユーザが閲覧し易い表示を提供でき、よりユーザフレンドリーなものとなっている。

ところで、画像データベースにおいて、画像に付随してキーワードなどを付せば、より効率的に画像の検索が可能となる。しかしながら、キーワードなどの入力は、画像が多く存在する場合には入力の手間が相当にかかり、またキーワードの内容自体も撮影者本人でなければ判らない場合もある。更に、行き当たりばったりのキーワードを付しても、後の検索で使えないこともある。また、キーボードを用いて入力することは、キーボードに不慣れな人にとっては通常困難な作業であり、時間がかかるという問題もある。そこで、以下に述べる第６の実施の形態においては、かかる問題を以下のようにして緩和している。

図１６は、第６の実施の形態を説明するための図である。図１６にしめすように、パソコン１０は、画像データベース内から、複数の画像を選択して表示する。その画像は、画像情報の特徴量でクラスタリングされた画像の中から１つずつ表示したり、例えば１週間おきとか撮影時間を一定期間毎にずらした画像を表示したり、乱数などを用いて適当な画像を表示することでもよい。

次に、ユーザは、表示画像の中の気に入った画像にチェックマークをいれる。より具体的には、表示されている画像の中から、ユーザーが考えたテーマ（例えば、「年賀状の候補」や「旅行中のスナップ」などの任意のテーマ）にあった画像、いわゆる「お気に入り」画像の右横のチェックボックスＣＢに、マウスなどを用いてクリックしてチェックマークをつける。図１６の例では、中央下の画像と右下の画像にチェックマークが付されている。パソコン１０は、かかる画像を選択カテゴリーへ登録する。更に、高速閲覧で用いた表示順に画像を表示することでも良い。

更に、ユーザは、表示している画像のなかから、テーマに近い画像をクリックして、パソコン１０に、その画像に対する類似度の高い画像や、時間の近い画像などを複数表示させたり、ランダムに新たな画像を表示させたりできる。このようなステップを繰り返して、お気に入り画像、テーマにあう画像をチェックしていくことができる。

尚、チェックした画像を確認するために、パソコン１０はユーザの要求に応じて、画像の一覧を表示したり、画像の削除や追加登録などもできる。ユーザは、このカテゴリーに分別された画像に関して、一括してコメントやキーワード、音声情報などにより登録する。また、画像に個別に、例えば「年賀状」などとユーザが吹き込んだ音声を登録しても良い。

音声情報は、マイク（不図示）により入力することができ、またパソコン１０内で文字に変換され、画像データベースにおいて画像と共に記録されることもできるし、音声自体を画像と共に記録しても良い。かかる場合、画像の類似度は、記録された音声を周波数分析し、その周波数特性が類似しているか否かで判別できる。

画像検索の際には、上述のようにしてユーザーが新たに作成したカテゴリも、画像検索の１つのカテゴリとして利用することができる。例えば、カテゴリの同じ画像を近似度の１つの指標とする検索機能の場合は、選択カテゴリー内の画像も近似度の１つの指標とするのである。

また、複数の選択カテゴリにまたがって登録されている画像は、ユーザーが重要と考えていて、その利用価値は高い可能性があるので、カテゴリ情報に基づいた検索の優先度をあげるようにすると良い。選択カテゴリとして、特定の人物の顔を登録した場合、同一又は類似の顔を含む画像をそのカテゴリに登録し、人物別のカテゴリ（すなわちアルバム）ができあがることとなる。

このように、本実施の形態によれば、画像データベース内の画像を、パソコン１０が自動的に決定したカテゴリーに加え、ユーザが新たにカテゴリーを追加できるため、個々のユーザにとってより検索のしやすいものとなっている。

以上、本発明を実施の形態を参照して説明してきたが、本発明は上記実施の形態に限定して解釈されるべきではなく、適宜変更・改良が可能であることはもちろんである。例えば、上述した実施の形態による画像検索方法を実行する画像検索ソフトは、ＦＤやＣＤなどの記録媒体に記録されて、パソコン１０にインストールすることができる。

１０ パソコン
２０ サーバー
３０ フィルムスキャナ

Claims (69)

1. １又は複数のフォルダから構成されるディレクトリ構造をもった画像データベース内より、検索対象画像に類似の画像を検索する検索手段と、検索された画像を表示する表示手段とを有することを特徴とする画像検索装置。
2. 前記検索手段は、画像を検索する際に、検索対象画像からの時間軸上の相対位置を求める手段を有し、前記相対位置を特徴量の１つとして類似画像を検索することを特徴とする請求項１に記載の画像検索装置。
3. 検索対象画像からの時間軸上の相対位置を、フォルダ名、画像を登録した時間、画像を撮影した時間、画像を修正した時間の少なくとも一つより求めることを特徴とする請求項２に記載の画像検索装置。
4. 検索対象画像からの時間軸上の相対位置は、１又は複数の記録媒体に記憶されたデータより、ネットワークを介して得られることを特徴とする請求項２又は３に記載の画像検索装置。
5. 前記検索手段は、画像を検索する際に、同一あるいは時間軸上で近いフォルダに含まれる画像のすべてもしくは一部を類似画像の候補とすることを特徴とする請求項２乃至４のいずれかに記載の画像検索装置。
6. 前記表示手段は、類似画像の候補となった画像と、同一あるいは時間軸上で近いフォルダに含まれる画像を表示することを特徴とする請求項２乃至５のいずれかに記載の画像検索装置。
7. フォルダに含まれる画像から複数の代表画像を抽出する手段を有し、検索の第一ステップとして、この代表画像との類似度を求め、類似度が高い場合は、第二ステップとして、フォルダ内のすべての画像について類似度を求めて検索することを特徴とする請求項１乃至６のいずれかに記載の画像検索装置。
8. 画像データベース内より、画像を検索する検索手段と、
   検索された画像を表示する表示手段とを有し、
   前記検索手段は、同一あるいは時間軸上で近いフォルダ内の画像で、画像の端部の類似度が高い画像を検索し、
   前記表示手段は、画像の端部を重ねて複数の画像をつなぎ合わせることによって得られる合成画像を表示することを特徴とする画像検索装置。
9. 画像データベース内より、検索対象画像に類似の画像を検索する検索手段と、
   検索された画像を表示する表示手段とを有し、
   前記検索手段は、画像を選択した頻度を特徴量の１つとして類似画像を検索することを特徴とする画像検索装置。
10. 画像データベース内における画像の選択頻度を記憶するステップと、
    画像を選択した頻度を特徴量の１つとして、検索対象画像に類似する画像を検索するステップとを有することを特徴とする画像検索方法。
11. 画像データベース内より、検索対象画像に類似の画像を検索する検索手段と、
    検索された画像を表示する表示手段と、
    表示された画像の履歴を記録して、１度表示された画像の表示を制限する表示制御手段とを有することを特徴とする画像検索装置。
12. 前記表示制御手段は、前記履歴をリセットする機能を有することを特徴とする請求項１１に記載の画像検索装置。
13. 画像データベース内における検索対象画像に類似する画像を検索するステップと、
    検索された画像を候補画像として表示するステップと、
    表示された画像の履歴を記録して、１度表示された画像を候補画像から除外するステップとを有することを特徴とする画像検索方法。
14. 前記履歴をリセットするステップを更に有することを特徴とする請求項１３に記載の画像検索方法。
15. 画像データベース内の画像をカテゴリに分類する手段と、
    画像データベース内よりカテゴリ情報をもとに、検索対象画像に類似の画像を検索する検索手段と、
    検索された画像を表示する表示手段とを有し、
    前記表示手段は、前記検索手段により検索された画像を表示する前に、それぞれのカテゴリを代表する画像を表示することを特徴とする画像検索装置。
16. 前記表示手段は、統計的に分類されたクラスタをカテゴリとすることを特徴とする請求項１５に記載の画像検索装置。
17. 前記表示手段は、画像に付加されたキーワードに基づき、画像をカテゴリ毎に分類することを特徴とす請求項１５又は１６に記載の画像検索装置。
18. 前記表示手段は、画像の内容に基づき、画像をカテゴリ毎に分類することを特徴とする請求項１５乃至１７のいずれかに記載の画像検索装置。
19. 画像データベース内の画像をカテゴリ毎に分類するステップと、
    前記カテゴリを代表する画像を表示するステップとを有することを特徴とする画像検索方法。
20. 統計的に分類されたクラスタをカテゴリとするステップを有することを特徴とする請求項１９に記載の画像検索方法。
21. 画像に付加されたキーワードに基づき、画像をカテゴリ毎に分類するステップを有することを特徴とする請求項１９又は２０に記載の画像検索方法。
22. 画像の内容に基づき、画像をカテゴリ毎に分類することを特徴とする請求項１９乃至２１のいずれかに記載の画像検索方法。
23. 画像データベース内より、検索対象画像に類似の画像を検索する検索手段と、
    検索された画像を表示する表示手段とを有し、
    前記表示手段は、色を表す画像を表示可能となっており、前記検索手段は、前記表示手段により表示された画像に対応する色に類似の色を含んだ画像を検索することを特徴とする画像検索装置。
24. 前記表示手段は、色を表す画像としてカラーピッカーを表示することを特徴とする請求項２３に記載の画像検索装置。
25. 色を表す画像を表示するステップと、
    画像データベースの中から、表示された画像に対応する色に類似する色を含んだ画像を検索するステップと、
    検索された画像を表示するステップとを有することを特徴とする画像検索方法。
26. 色を表す画像としてカラーピッカーを表示するステップを有することを特徴とする請求項２５に記載の画像検索方法。
27. 画像データベース内より、検索対象画像に類似の画像を検索する検索手段と、
    検索された画像を表示する表示手段とを有し、
    前記表示手段は、前記画像データベースに含まれていない画像を取得して表示し、前記検索手段は、前記表示手段により表示された画像に類似する画像を検索することを特徴とする画像検索装置。
28. 前記表示手段は、取得した画像を縮小、あるいはトリミングして表示することを特徴とする請求項２７に記載の画像検索装置。
29. 画像を取得して表示するステップと、
    画像データベースの中から、取得した画像に類似の画像を検索するステップと、
    検索された画像を表示するステップとを有することを特徴とする画像検索方法。
30. 入力した画像を縮小、あるいはトリミングして表示するステップを有することを特徴とする請求項２９に記載の画像検索方法。
31. 画像データベース内より、検索対象画像に類似の画像を検索する検索手段と、
    表示された画像を一括してレタッチするレタッチ手段とを有することを特徴とする画像検索装置。
32. 画像データベース内の画像を検索するステップと、
    検索された画像を一括してレタッチするステップとを有することを特徴とする画像検索方法。
33. 画像を表示する表示手段と、
    前記表示手段において表示された画像上において、位置指定が行われた場合に、指定された位置を記憶する記憶手段と、
    前記記憶手段に記憶された位置に基づいて、画像データベース内の画像を検索する検索手段とを有することを特徴とする画像検索装置。
34. 指定される前記位置は、前記表示手段に表示された画像を観察する観察者が注目する部位であり、
    更に、指定された位置の座標を求めて記憶する座標決定手段を有することを特徴とする請求項３３に記載の画像検索装置。
35. 指定される前記位置は、前記表示手段により、前記画像上に示されることを特徴とする請求項３３又は３４に記載の画像検索装置。
36. 位置が指定された画像に対応づけて、使用目的、使用者、使用アカウントの少なくとも一つを記憶することを特徴とする請求項３３乃至３５のいずれかに記載の画像検索装置。
37. 過去に指定した画像が、検索空間の座標中のいずれの位置に対応するかを図示することを特徴とする請求項３３乃至３６のいずれかに記載の画像検索装置。
38. 画像データベース内の画像についてハードコピーに関する情報を記憶する記憶手段と、
    前記ハードコピーに関する情報に基づいて、画像を検索する検索手段とを有することを特徴とする画像検索装置。
39. ハードコピーしていない画像を優先的に表示する表示手段を有することを特徴とする請求項３８に記載の画像検索装置。
40. 画像データベース内の画像は、画像の作成または修正時刻が近い順にグループ化されていることを特徴とする請求項３３乃至３９のいずれかに記載の画像検索装置。
41. 文字キーワードを入力可能な入力手段と、
    前記入力手段により入力された文字キーワードに基づいて、画像の特徴量とそのキーワードに関連するネットワークアドレスを設定する設定手段とを有することを特徴とする画像検索装置。
42. 特定画像の特徴量を抽出する抽出手段と、
    前記抽出手段が抽出した特徴量を含む文字キーワードを決定する決定手段と、
    決定された文字キーワードに関連するネットワークアドレスから画像を取得する手段と、
    取得された画像の特徴量を抽出して、特定画像の特徴を含むか否かを判定する判定手段とを有することを特徴とする画像検索装置。
43. 前記画像の特徴量は、画像における色及び領域に関する情報を含むことを特徴とする請求項４１又は４２に記載の画像検索装置。
44. 画像データベース内の画像を検索する際に、同一カテゴリ内の画像を優先的に検索する画像検索装置であって、
    １又は複数の画像に共通するカテゴリを追加する追加手段を有することを特徴とする画像検索装置。
45. 前記追加手段は、１又は複数の画像を選択することにより、新たなカテゴリを形成することを特徴とする請求項４４に記載の画像検索装置。
46. 画像の内容を判断して、画像をカテゴリ毎に分別する分別手段を有することを特徴とする請求項４４又は４５に記載の画像検索装置。
47. 同一カテゴリの画像を表示する表示手段を有することを特徴とする請求項４４乃至４６のいずれかに記載の画像検索装置。
48. 前記表示手段により表示された同一カテゴリ内の画像を選択することにより、新たにカテゴリが形成されることを特徴とする請求項４４乃至４７のいずれかに記載の画像検索装置。
49. 同一カテゴリの画像にコメントを付加する付加手段を有することを特徴とする請求項４４乃至４８のいずれかに記載の画像検索装置。
50. 異なるカテゴリに共通した画像が含まれている場合、その画像の検索の優先度を増大させることを特徴とする請求項４４乃至４９のいずれかに記載の画像検索装置。
51. 画像に人物が含まれている場合、特定の人物の顔画像を含む画像は、同一カテゴリに分別されることを特徴とする請求項４４乃至５０のいずれかに記載の画像検索装置。
52. 前記特定の人物の顔画像に類似する顔画像を含む画像も、前記同一カテゴリに含まれることを特徴とする請求項５１に記載の画像検索装置。
53. 画像データベースの画像に音情報を付随させる付随手段と、前記音情報に基づいて画像を検索する検索手段とを有することを特徴とする画像検索装置。
54. 前記検索手段は、前記音情報を文字キーワードに変換して、画像を検索することを特徴とする請求項５３に記載の画像検索装置。
55. 前記検索手段は、前記音情報に含まれる周波数特性の近似度に基づいて、画像を検索することを特徴とする請求項５３又は５４に記載の画像検索装置。
56. 画像を選択する選択手段を有し、
    前記付随手段は、前記選択手段により選択された画像に、共通した音情報を付随させることを特徴とする請求項５３乃至５５のいずれかに記載の画像検索装置。
57. 画像データベース内の画像を選択する選択手段と、
    選択された画像を筆頭に、画像データベース内の画像を順序づける順序づけ手段と、
    順序づけに従い画像を表示する表示手段とを有することを特徴とする画像表示装置。
58. 前記順序づけ手段は、選択された画像に対して類似度の高い画像ほど、選択された画像に近づけた順序とすることを特徴とする請求項５７に記載の画像表示装置。
59. 前記順序づけ手段は、選択された画像に対して撮影時間の近い画像ほど、選択された画像に近づけた順序とすることを特徴とする請求項５７又は５８に記載の画像表示装置。
60. 前記順序づけ手段は、選択された画像に対して内容の近似した画像ほど、選択された画像に近づけた順序とすることを特徴とする請求項５７乃至５９のいずれかに記載の画像表示装置。
61. 前記表示手段は、前記順序づけ手段が順序づけた画像を、所定順位毎に表示することを特徴とする請求項５７乃至６０のいずれかに記載の画像表示装置。
62. 前記表示手段は、１度表示した画像は表示しないことを特徴とする請求項５７乃至６１のいずれかに記載の画像表示装置。
63. 前記表示手段は、順序づけされた画像を所定時間間隔で順次表示することを特徴とする請求項５７乃至６２のいずれかに記載の画像表示装置。
64. 前記所定時間間隔を変更する変更手段を有することを特徴とする請求項６３に記載の画像表示装置。
65. 画像の順次表示を中断する中断手段を有することを特徴とする請求項６３又は６４に記載の画像表示装置。
66. 前記表示手段は、表示されている画像と、これから表示される画像との関係を示す情報を表示することを特徴とする請求項５７乃至６５のいずれかに記載の画像表示装置。
67. 前記表示手段により表示されている画像を元に、類似する画像を検索する検索手段を有することを特徴とする請求項５７乃至６６のいずれかに記載の画像表示装置。
68. 最後に順序づけられた画像が表示されたことを知らせる手段を有することを特徴とする請求項５７乃至６７のいずれかに記載の画像表示装置。
69. 前記表示手段により表示された画像の表示順を記憶する記憶手段を有することを特徴とする請求項５７乃至６９のいずれかに記載の画像表示装置。

Images