JP4353503B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP4353503B2 JP4353503B2 JP2003125813A JP2003125813A JP4353503B2 JP 4353503 B2 JP4353503 B2 JP 4353503B2 JP 2003125813 A JP2003125813 A JP 2003125813A JP 2003125813 A JP2003125813 A JP 2003125813A JP 4353503 B2 JP4353503 B2 JP 4353503B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- comparison
- information
- feature information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000605 extraction Methods 0.000 claims description 82
- 239000000284 extract Substances 0.000 claims description 20
- 238000013139 quantization Methods 0.000 claims description 9
- 238000003672 processing method Methods 0.000 claims description 6
- 238000009825 accumulation Methods 0.000 claims description 5
- 238000013517 stratification Methods 0.000 claims 1
- 235000019557 luminance Nutrition 0.000 description 217
- 238000000034 method Methods 0.000 description 120
- 230000008569 process Effects 0.000 description 84
- 238000010586 diagram Methods 0.000 description 17
- 239000011159 matrix material Substances 0.000 description 17
- 238000004458 analytical method Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 13
- 239000003086 colorant Substances 0.000 description 7
- 230000010365 information processing Effects 0.000 description 6
- 230000001174 ascending effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
Landscapes
- Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、検索条件となる比較元画像と、その比較先画像との類似度に基づいて行う類似画像検索処理、及び類似画像検索対象となる画像の画像登録処理を行う画像処理技術に関するものである。
【０００２】
【従来の技術】
従来、色情報や輝度情報を画像特徴量として用いる類似画像検索が多く提案されている。色情報を利用した類似画像検索（以下、色情報検索）では、類似画像検索対象となる画像の登録処理時及び検索条件となる画像を用いた画像検索時には色情報の抽出を行っている。また、輝度情報を利用した類似画像検索（輝度情報検索）では、類似画像検索対象となる画像の登録処理時及び検索条件となる画像を用いた画像検索時には色情報の抽出を行っている。つまり、色情報検索と輝度情報検索は、それぞれ独立した系で実現されている。
また、特許文献１では、画像をブロック分割し、その各ブロックの画素を色空間上の部分領域（色ビン）へ投影し、最頻色を得て画像特徴量を算出する構成が開示されている。
【特許文献１】
特開平８−２４９３４９号公報
【０００３】
【発明が解決しようとする課題】
しかしながら、例えば、色情報検索による検索対象画像がモノクロやグレースケール画像である場合、その検索対象画像の色を表現する色空間上においてグレースケール方向の領域は色空間上の白から黒に至る線の領域でしかない。そのため、より正確な色情報を抽出するために画像を細分化したブロック毎の各色ヒストグラムを生成する場合には、グレースケール方向の白から黒に至る線の領域に割り当てられるブロックは、色空間の他の領域に割り当てられるブロック数に比べると非常に少なくなる。このような条件で、モノクロやグレースケール画像を登録した場合には、その色情報の情報量は必然的に少なくなるので、検索時の検索精度の低下が激しいものとなる。
【０００４】
一方、輝度情報検索による検索対象画像がカラー画像である場合、その検索対象画像の輝度を表現する色空間上においてグレースケール方向の領域は色空間上の白から黒に至る線の領域でしかなく、その輝度情報も、多くて８ビット表現までである。これに対し、カラー情報は２４ビット表現が可能であり、カラー画像の輝度は同じ輝度でも、その輝度を示す色の組み合わせは無数にあるので、輝度情報検索によるカラー画像の検索で、その検索条件画像の色に一致する画像を正確に検索することは不可能である。
【０００５】
以上のように、輝度情報検索と色情報検索の両者の短所を補い、かつ両者の長所を生かした検索技術は存在しなかった。
【０００６】
本発明は上記の課題を解決するためになされたものであり、画像の種類に依存することなく精度良く画像を検索することが可能な画像処理技術を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
複数の比較先画像に対してそれぞれの輝度特徴情報と色特徴情報とを対応付けて登録した蓄積部から、検索条件となる比較元画像に類似する比較先画像の検索を行う画像処理装置であって、
前記比較元画像に占める所定の色情報の割合を解析し、当該解析した色情報の割合と予め定められた閾値とを比較した結果に基づいて前記比較元画像の色情報が十分であるか不十分であるかを判定する判定手段と、
前記判定手段で前記比較元画像の色情報が不十分であると判定された場合、前記比較元画像の輝度特徴情報を抽出する輝度特徴情報抽出手段と、
前記判定手段で前記比較元画像の色情報が十分であると判定された場合、前記比較元画像の色特徴情報を抽出する色特徴情報抽出手段と、
前記判定手段で前記比較元画像の色情報が十分であると判定された場合、前記色特徴情報抽出手段で抽出された前記比較元画像の色特徴情報と、前記蓄積部に登録されている前記複数の比較先画像それぞれの色特徴情報との類似比較を行い、一方、前記判定手段で前記比較元画像の色情報が不十分であると判定された場合、前記輝度特徴情報抽出手段で抽出された前記比較元画像の輝度特徴情報と、前記蓄積部に登録されている前記複数の比較先画像それぞれの輝度特徴情報との類似比較を行う比較手段と、
前記比較手段の類似比較結果に基づいて、前記比較元画像に類似すると判定された比較先画像を出力する出力手段と
を備える。
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【０００９】
＜＜実施形態１＞＞
図１は本発明の実施形態１の画像処理装置のプロック構成図である。
【００１０】
本発明では、画像を登録する画像登録処理、登録されている画像群から所望の画像を検索する画像検索処理について順に説明する。
【００１１】
画像登録処理は、登録対象の画像を入力し、その入力画像の画像特徴量を抽出して、その入力画像と画像特徴量とを対応づけて記憶する処理である。
【００１２】
また、画像検索処理は、いわゆる類似画像検索処理であり、検索条件となる比較元画像の画像特徴量の抽出（あるいは登録済みの画像を比較元画像とする場合は、その画像に対応する画像特徴量の読出）を実行し、その画像特徴量と登録済みの画像特徴量との比較を行い、その比較結果に基づいて、比較元画像に類似する画像を検索する。
【００１３】
尚、画像登録処理時の画像特徴量の抽出は、実施形態１では、処理対象画像を複数の領域に分割し、各領域ごとに画像特徴量を抽出するが、その領域の縦横ブロック数は、処理対象画像のアスペクト比や大きさに関わらず同一とする。また、同様に、画像検索処理時の画像特徴量の抽出も、画像登録処理時の画像特徴量の抽出と同様の条件とする。また、ここでいう画像特徴量は、画像の色に関する色特徴情報、画像の輝度に関する輝度特徴情報の両方を含む。
【００１４】
図１において、１０１はユーザインターフェース（ＵＩ）部であり、本発明に係る画像登録処理及び画像検索処理を含む各種処理を実行するためのユーザインターフェースである。このユーザインタフェースは、例えば、グラフィックユーザインターフェース及び入力デバイスによって実現される。ユーザは、このＵＩ部１０１によって、画像登録処理及び画像検索処理を適宜実行することができる。
【００１５】
１０２は画像入力処理部であり、画像登録処理による登録対象の画像を入力する。１０３は画像蓄積処理部であり、入力した画像を画像蓄積部１０３ａに蓄積する。１０４は画像管理情報処理部であり、入力した画像を管理するための管理情報を生成する。１０５は輝度特徴情報抽出処理部であり、入力した画像の輝度に関する輝度特徴情報を抽出し、抽出した輝度特徴情報を輝度特徴情報インデックステーブル１０５ａに登録する。１０６は色特徴情報抽出処理部であり、入力した画像の色に関する色特徴情報を抽出、抽出した色特徴情報を色特徴情報インデックステーブル１０６ａに登録する。
【００１６】
１０７は比較元画像入力部処理部であり、画像検索処理による検索条件となる画像（類似画像検索での比較元画像）を入力する。１０８は判定処理部であり、入力した比較元画像の色情報が十分であるか否かを判定する。１０９は色特徴情報比較処理部であり、色特徴情報による比較元画像と比較先画像との類似比較を行う。１０９は色特徴情報比較処理部であり、色特徴情報による比較元画像と比較先画像との類似比較を行う。１１０は輝度特徴情報比較処理部であり、輝度特徴情報による比較元画像と比較先画像との類似比較を行う。１１１は検索結果表示処理部であり、色特徴情報比較処理部１０９あるいは輝度特徴情報比較処理部１１０の処理結果に基づいて、検索結果となる画像を表示する。また、この検索結果表示処理部１１１においては、検索結果となる画像をプリンタによって印刷するように構成しても良い。特に、検索結果となる画像が１つだけで、その画像を印刷したい場合には、処理の迅速化を図ることができる。
【００１７】
尚、画像処理装置を構成する各種構成要素が実行する処理の詳細については、以下順に説明して行く。
【００１８】
また、画像処理装置は、汎用コンピュータに搭載される標準的な構成要素（例えば、ＣＰＵ、メモリ（ＲＡＭ、ＲＯＭ）、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等）を有している。
【００１９】
更に、図１に示される各種構成要素のすべてあるいはその一部は、専用のハードウエアで実現されても良いし、ＣＰＵに制御によって実行されるソフトウェアで実現されても良い。
【００２０】
まず、ＵＩ部１０１を介して画像登録処理を実行する場合について説明する。
【００２１】
［画像登録処理］
画像登録処理では、まず、画像入力処理部１０２で、登録対象の画像を入力する。この登録対象の画像の入力は、例えば、スキャナ等の入力デバイスを用いて行ったり、外部記憶装置に記憶されている画像を読み込むことで実現される。入力した画像は、一旦、メモリ上に記憶され、このメモリに記憶された画像のデータフォーマットから、その画像の種類が、カラー、モノクロ、グレースケール画像のいずれであるかを判定することができる。
【００２２】
次に、画像蓄積処理部１０３は、メモリ上の画像を画像蓄積部１０３ａへ記憶格納し、その画像とのファイル名を対応づけて記憶する。
【００２３】
次に、画像管理情報処理部１０４は、画像に対して固有の画像ＩＤを発番し、その画像ＩＤとその画像のファイル名（その格納先（アドレス）を示すフルパス情報を含むファイル名）、画像入力時の日付を対応づけた情報を管理情報として画像管理データベース（ＤＢ）１０４ａに記憶する。
【００２４】
尚、画像管理ＤＢ１０４ａの構成の一例を示すと、図２のようになる。
【００２５】
次に、輝度特徴情報抽出処理部１０５で、画像の輝度に関する輝度特徴情報を抽出し、その抽出した輝度特徴情報と画像ＩＤとを対応づけて輝度特徴情報インデックステーブル１０５ａに登録する。また、色特徴情報抽出処理部１０６で、画像の色に関する色特徴情報を抽出し、その抽出した色特徴情報と画像ＩＤとを対応づけて色特徴情報インデックステーブル１０６ａに登録する。
【００２６】
尚、輝度特徴情報インデックステーブル１０５ａ及び色特徴情報インデックステーブル１０６ａの構成の一例を示すと、それぞれ図３及び図４のようになる。これらのインデックステーブルでは、各種特徴情報と画像ＩＤとを対にして記憶管理することで、画像管理ＤＢ１０４ａのレコードと、画像ＩＤを仲立ちにして対応をとることが可能となっている。
【００２７】
また、色特徴情報抽出処理部１０６では、処理対象画像の種類がモノクロあるいはグレースケール画像である場合でも、その色特徴情報を抽出する。これは、特に、比較元画像がカラー画像である場合には、その色特徴情報を用いた類似画像検索処理を実行することになるが、その際に比較先画像がモノクロあるいはグレースケール画像のような色情報がない場合には、そのことを示す色特徴情報も極めて重要な情報となり得るからである。例えば、比較元画像が、薄い色、例えば、パステルカラー等で構成される場合には、比較先画像がモノクロ、グレースケール画像であるとしても、比較元画像の色特徴情報と比較先画像（検索対象画像）の色特徴情報との間で高い類似度が算出される期待があるからである。
【００２８】
次に、輝度特徴情報抽出処理部１０５が実行する処理の詳細について説明する。
【００２９】
輝度特徴情報抽出処理部１０５では、以下の３種類の輝度特徴情報抽出方法を適宜選択して実行することが可能である。
【００３０】
＜輝度特徴情報抽出方法１＞
この方法１では、処理対象画像を複数のブロックに分割した各ブロックの輝度ヒストグラム中の最頻輝度に対応する輝度階級と各ブロックの位置情報を対応付けた情報を輝度特徴情報として抽出する。
【００３１】
以下、この処理の詳細について、図５を用いて説明する。
【００３２】
図５は本発明の実施形態１の第１の輝度特徴情報抽出処理の詳細を示すフローチャートである。
【００３３】
まず、ステップＳ５０１で、処理対象画像がカラー画像であるか否かを判定する。
【００３４】
この判定は、処理対象画像のデータフォーマットに基づいて実行する。
【００３５】
例えば、マイクロソフト社が提供するオペレーティングシステムであるＷｉｎｄｏｗｓ（登録商標）で用いられる汎用的な画像データフォーマットであるＤＩＢフォーマットにおいては、データヘッダ中の構造体ＢＩＴＭＡＰＩＮＦＯＨＥＡＤＥＲのメンバーであるｂｉＢｉｔＣｏｕｎｔは、画像中の１ピクセルを表現するのに用いるビット数を示している。
【００３６】
特に、このｂｉＢｉｔＣｏｕｎｔが２４である場合にはフルカラー画像を示し、ｂｉＢｉｔＣｏｕｎｔが１の場合にはモノクロ２値画像を示し、ｂｉＢｉｔＣｏｕｎｔが８の場合には２５６色カラーあるいはグレースケール画像を示している。
【００３７】
また、ｂｉＢｉｔＣｏｕｎｔが８の場合には、データヘッダ中の構造体ＢＩＴＭＡＰＩＮＦＯのメンバーｂｍｉＣｏｌｏｒｓの内容を参照することで、画像が２５６色カラーあるいはグレースケール画像であるかを判定することができる。つまり、メンバーｂｍｉＣｏｌｏｒｓでは、その内容として、グレースケール表現のカラーパレットであるか、２５６色に減色するカラーパレットであるかが示されているので、その内容に基づいて、画像が２５６色カラーあるいはグレースケール画像であるかを判定することができる。
【００３８】
ステップＳ５０１において、処理対象画像がカラー画像でない場合（ステップＳ５０１でＮＯ）、ステップＳ５０３に進む。一方、処理対象画像がカラー画像である場合（ステップＳ５０１でＹＥＳ）、ステップＳ５０２に進み、カラー画像をグレースケール画像（８ビット：２５６階調）に変換する。
【００３９】
尚、この変換は、公知のＲＧＢカラーマトリックスを用いて実行する。例えば、ＹＣｂＣｒ色空間を用いると、グレースケール値を示す輝度Ｙの値と、ＲＧＢ値（各８ビットの計２４ビット）との関係は、
Ｙ＝0.29900＊Ｒ＋0.58700＊Ｇ＋0.11400＊Ｂ （１）
と表現される。従って、（１）式により、輝度Ｙの値を算出することができる。
【００４０】
次に、ステップＳ５０３で、画像を複数のブロックに分割する。
【００４１】
尚、実施形態１では、図６に示すように、画像を縦横それぞれ９ブロックに分割する。特に、実施形態１では、表記の都合上９×９＝８１ブロックに分割している例を示しているが、実際には、８から１５ブロック前後が好ましい。
【００４２】
次に、ステップＳ５０４で、処理対象となる着目ブロックを左上端のブロックに設定する。尚、この着目ブロックの設定は、例えば、図７に示すように、予め処理順序が決定された順序決定テーブルを参照して行う。
【００４３】
ステップＳ５０５で、未処理の着目ブロックの有無を判定する。未処理の着目ブロックがない場合（ステップＳ５０５でＮＯ）、処理を終了する。一方、未処理の着目ブロックがある場合（ステップＳ５０５でＹＥＳ）、ステップＳ５０６に進む。
【００４４】
ステップＳ５０６で、着目ブロックの全画素の輝度ヒストグラムを生成する。ステップＳ５０７で、図８の輝度階級テーブルを参照して、輝度ヒストグラムの最頻輝度範囲となる輝度階級ＩＤをその着目ブロックの代表輝度として決定し、その着目ブロックとその位置に対応づけて輝度特徴情報インデックステーブル１０５ａに記憶する。この処理は、換言すれば、輝度ヒストグラムを階級化（あるいは量子化）し、その階級化されたヒストグラムから最頻輝度を有する輝度階級を代表輝度として決定することに相当する。
【００４５】
尚、図８の輝度階級テーブルは、８ビットの輝度信号を、所定輝度範囲毎に階級を設定した場合の例を示している。
【００４６】
ステップＳ５０８で、図７の順序決定テーブルを参照して、次の処理対象となる着目ブロックを設定する。その後、ステップＳ５０５に戻り、未処理の着目ブロックがなくなるまで、ステップＳ５０５〜ステップＳ５０８の処理を再帰的に繰り返す。
【００４７】
以上の処理によって、処理対象画像のブロック毎の代表輝度と各ブロックの位置情報が対応付けられた情報を輝度特徴情報として抽出することができる。
【００４８】
＜輝度特徴情報抽出方法２＞
この方法２では、処理対象画像を複数のブロックに分割した各ブロックの画素の平均輝度と各ブロックの位置情報を対応付けた情報を輝度特徴情報として抽出する。
【００４９】
以下、この処理の詳細について、図９を用いて説明する。
【００５０】
図９は本発明の実施形態１の第２の輝度特徴情報抽出処理の詳細を示すフローチャートである。
【００５１】
尚、図９のステップＳ９０１〜ステップＳ９０５及びステップＳ９０８は、図５のステップＳ５０１〜ステップＳ５０５及びステップＳ５０８にそれぞれ対応するので、その詳細については省略する。
【００５２】
図９では、ステップＳ９０６で、着目ブロック内の全画素の輝度の平均輝度を算出する。ステップＳ９０７で、算出した平均輝度を、その着目ブロックとその位置に対応づけて輝度特徴情報インデックステーブル１０５ａに記憶する。
【００５３】
以上の処理によって、処理対象画像のブロック毎の平均輝度と各ブロックの位置情報が対応付けられた情報を輝度特徴情報として抽出することができる。
【００５４】
＜輝度特徴情報抽出方法３＞
この方法３では、処理対象画像を複数のブロックに分割した各ブロックにおける画素の平均輝度（輝度特徴情報）を算出し、その平均輝度に対応する図８における輝度階級と各ブロックの位置情報を対応付けた情報を輝度特徴情報として抽出する。
【００５５】
以下、この処理の詳細について、図１０を用いて説明する。
【００５６】
図１０は本発明の実施形態１の第３の輝度特徴情報抽出処理の詳細を示すフローチャートである。
【００５７】
尚、図１０のステップＳ１００１〜ステップＳ１００５及びステップＳ１００８は、図５のステップＳ５０１〜ステップＳ５０５及びステップＳ５０８にそれぞれ対応するので、その詳細については省略する。
【００５８】
図１０では、ステップＳ１００６で、着目ブロック内の全画素の輝度の平均輝度を算出する。ステップＳ１００７で、図８の輝度階級テーブルを参照して、平均輝度に対応する輝度階級ＩＤをその着目ブロックの代表輝度として決定し、その着目ブロックとその位置に対応づけて輝度特徴情報インデックステーブル１０５ａに記憶する。
【００５９】
以上の処理によって、処理対象画像のブロック毎の平均輝度に対応する代表輝度と各ブロックの位置情報が対応付けられた情報を輝度特徴情報として抽出することができる。
【００６０】
次に、色特徴情報抽出処理部１０６が実行する処理の詳細について説明する。
【００６１】
色特徴情報抽出処理部１０６では、以下の３種類の色特徴情報抽出方法を適宜実行する。
【００６２】
尚、色特徴情報抽出は、直感的には、上述の輝度特徴情報抽出を３次元に拡張したものと考えればよい。例えば、輝度特徴情報抽出では、図８の１次元の輝度階級テーブルを用いて、各着目ブロックの代表輝度を決定したが、色特徴情報抽出では、図１１のようなＲＧＢ色空間を立体的に複数の部分空間（いわゆる、色ビン）に分割し、この色ビン毎に色特徴情報を抽出することになる。
【００６３】
＜色特徴情報抽出方法１＞
この方法１では、処理対象画像を複数のブロックに分割した各ブロックの色ヒストグラム中の最頻色を有する色と各ブロックの位置情報を対応づけた情報を色特徴情報として抽出する。
【００６４】
以下、この処理の詳細について、図１２を用いて説明する。
【００６５】
図１２は本発明の実施形態１の第１の色特徴情報抽出処理の詳細を示すフローチャートである。
【００６６】
まず、ステップＳ１２０１で、処理対象画像がカラー画像であるか否かを判定する。尚、この判定は、図５のステップＳ５０１と同様にして行う。
【００６７】
ステップＳ１２０１において、処理対象画像がカラー画像である場合（ステップＳ１２０１でＹＥＳ）、ステップＳ１２０３に進む。一方、処理対象画像がカラー画像でない場合（ステップＳ１２０１でＮＯ）、ステップＳ１２０２に進み、グレースケール画像をカラー画像に変換する。
【００６８】
尚、この変換は、例えば、輝度値ａの画素を、ＲＧＢ値（ａ，ａ，ａ）とし、ＤＩＢフォーマットのバディングを考慮してデータ並びを整えればよい。このパディングとは、ＷＩＮＤＯＷＳ（登録商標）のＤＩＢフォーマット（ファイルとして実在するのはビットマップファイル（＊.ＢＭＰ））におけるカラー画像データを格納する際の画像データ表現仕様である。
【００６９】
次に、ステップＳ１２０３で、画像を複数のブロックに分割する。実施形態１では、図６に示すように、画像を縦横をそれぞれ９ブロックに分割する。特に、実施形態１では、表記の都合上９×９＝８１ブロックに分割している例を示しているが、実際には、１５×１５＝２２５ブロック程度であることが好ましい。
【００７０】
次に、ステップＳ１２０４で、処理対象となる着目ブロックを左上端のブロックに設定する。尚、この着目ブロックの設定は、図５のステップＳ１２０４と同様にして行う。
【００７１】
ステップＳ１２０５で、未処理の着目ブロックの有無を判定する。未処理の着目ブロックがない場合（ステップＳ１２０５でＮＯ）、処理を終了する。一方、未処理の着目ブロックがある場合（ステップＳ１２０５でＹＥＳ）、ステップＳ１２０６に進む。
【００７２】
ステップＳ１２０６で、着目ブロックの全画素の各濃度値を、図１１の色空間を分割して作った部分空間である色ビンへ射影し、色ビンに対する色ヒストグラムを生成する。
【００７３】
尚、実施形態１では、図１１に示すように、ＲＧＢ色空間を３×３×３＝２７に分割した色ビンへ着目ブロックの全画素の濃度値を射影する場合を示しているが、実際には、ＲＧＢ色空間を６×６×６＝２１６に分割した色ビンへ着目ブロックの全画素の濃度値を射影するほうが好ましい。
【００７４】
ステップＳ１２０７で、色ヒストグラムの最頻色ビンの色ビンＩＤをその着目ブロックの代表色と決定し、その着目ブロックとその位置に対応づけて色特徴情報インデックステーブル１０６ａに記憶する。
【００７５】
ステップＳ１２０８で、図７の順序決定テーブルを参照して、次の処理対象となる着目ブロックを設定する。その後、ステップＳ１２０５に戻り、未処理の着目ブロックがなくなるまで、ステップＳ１２０５〜ステップＳ１２０８の処理を再帰的に繰り返す。
【００７６】
以上の処理によって、処理対象画像のブロック毎の代表色と各ブロックの位置情報が対応付けられた情報を色特徴情報として抽出することができる。
【００７７】
＜色特徴情報抽出方法２＞
この方法２では、処理対象画像を複数のブロックに分割した各ブロックの画素の平均色と各ブロックの位置情報を対応付けた情報を色特徴情報として抽出する。
【００７８】
以下、この処理の詳細について、図１３を用いて説明する。
【００７９】
図１３は本発明の実施形態１の第２の色特徴情報抽出処理の詳細を示すフローチャートである。
【００８０】
尚、図１３のステップＳ１３０１〜ステップＳ１３０５及びステップＳ１３０８は、図１２のステップＳ１２０１〜ステップＳ１２０５及びステップＳ１２０８にそれぞれ対応するので、その詳細については省略する。
【００８１】
図１２では、ステップＳ１２０６で、着目ブロック内の全画素の色の平均色を算出する。ステップＳ１２０７で、算出した平均色を、その着目ブロックとその位置に対応づけて色特徴情報インデックステーブル１０６ａに記憶する。
【００８２】
以上の処理によって、処理対象画像のブロック毎の平均色と各ブロックの位置情報が対応付けられた情報を色特徴情報として抽出することができる。
【００８３】
＜色特徴情報抽出方法３＞
この方法３では、処理対象画像を複数のブロックに分割した各ブロックの画素の平均色を算出し、その平均色に対応する色ビンＩＤと各ブロックの位置情報を対応付けた情報を色特徴情報として抽出する。
【００８４】
以下、この処理の詳細について、図１４を用いて説明する。
【００８５】
図１４は本発明の実施形態１の第３の色特徴情報抽出処理の詳細を示すフローチャートである。
【００８６】
尚、図１４のステップＳ１４０１〜ステップＳ１４０５及びステップＳ１４０８は、図１２のステップＳ１２０１〜ステップＳ１２０５及びステップＳ１２０８にそれぞれ対応するので、その詳細については省略する。
【００８７】
図１４では、ステップＳ１４０６で、着目ブロック内の全画素の色の平均色を算出する。ステップＳ１４０７で、平均色に対応する色ビンＩＤをその着目ブロックの代表色として決定し、その着目ブロックとその位置に対応づけて色特徴情報インデックステーブル１０６ａに記憶する。
【００８８】
以上の処理によって、処理対象画像のブロック毎の平均色に対応する色ビンＩＤと各ブロックの位置情報が対応付けられた情報を色特徴情報として抽出することができる。
【００８９】
以上説明したように、実施形態１では、輝度特徴情報抽出方法及び色特徴情報抽出方法はそれぞれ３種類存在するが、これらの方法を画像登録処理時に利用する場合には、これらの方法を任意に組み合わせて実行して良いわけではない。
【００９０】
例えば、上記例において、階級／量子化の概念のある輝度特徴情報抽出方法１及び３、階級の概念のある色特徴情報抽出方法１及び３の組み合わせに関して、輝度特徴情報としての代表輝度の階級数あるいは量子化ステップ数が、色特徴情報を記述する色ビンのグレースケール方向のビン数よりも少ない場合、輝度情報検索と色情報検索の弱点を補い、両者の長所を生かした検索を実現することは困難となるので注意が必要である。
【００９１】
もちろん、非均等階級化や非線形量子化を用いることにより実効的な効率が、実際の階級数或いは量子化ステップ数以上に良い場合にはその限りではない。
【００９２】
次に、ＵＩ部１０１を介して画像検索処理を実行する場合について説明する。
【００９３】
［画像検索処理］
画像検索処理では、まず、比較元画像入力部１０７で、検索条件となる比較元画像を入力する。この比較元画像の入力は、例えば、例えば、スキャナ等の入力デバイスを用いて行ったり、外部記憶装置に記憶されている画像を読み込むことで実現される。入力した画像は、一旦、メモリ上に記憶され、このメモリに記憶された画像のデータフォーマットから、その画像の種類が、カラー画像、モノクロ、グレースケール画像のいずれであるかを判定することができる。
【００９４】
尚、実施形態１の画像検索処理は、比較元画像の色情報が十分であるかどうかだけに着目し、比較元画像の色情報が十分である場合には、その色特徴情報で比較先画像の色特徴情報との類似比較を行い、一方、比較元画像の色情報が不十分である場合には、その輝度特徴情報と比較先画像の輝度特徴情報との類似比較を行う類似画像検索を行う場合を例に挙げて説明する。
【００９５】
そこで、まず、判定処理部１０８で、メモリ上の画像の色情報が十分であるか否かを判定する。
【００９６】
色情報が十分である場合、色特徴情報比較処理部１０９で、比較元画像の色特徴情報を用いて、画像蓄積部１０３ａに記憶されている検索対象画像の色特徴情報との比較を行うことで類似画像検索を行う。
【００９７】
一方、色情報が不十分である場合、輝度特徴情報比較処理部１１０で、比較元画像の輝度特徴情報を用いて、画像蓄積部１０３ａに記憶されている検索対象画像の輝度特徴情報との比較を行うことで類似画像検索を行う。
【００９８】
これにより、比較元画像の画像の種類（モノクロやグレースケール画像、あるいはカラー画像）に適した方法で類似比較処理を行うことができる。
【００９９】
尚、判定処理部１０８の判定は、最も簡単な方法としては、上述の画像登録処理で説明した方法と同様な方法で、比較元画像のデータフォーマットを解析し、比較元画像がモノクロあるいはグレースケール画像である場合には、色情報はないので、比較元画像の色情報が不十分であると判定する。
【０１００】
一方、比較元画像がカラー画像である場合には、その比較元画像の色情報が十分であると判定すれば良いが、データフォーマット自体はカラー画像であるのに、その中はグレースケール画像である場合もある。そこで、このような場合には、データフォーマットがカラー画像である場合でも、比較元画像の色情報が十分であるか否かを厳密に判定する必要があり、その判定方法としては、比較元画像の色に関する解析を利用する方法がある。
【０１０１】
この解析の趣旨は、比較元画像に占める色情報の割合を解析するものであり、比較元画像に占める色情報の割合が予め定められた閾値以上である場合に色情報が十分であると判定し、閾値未満である場合に色情報が不十分であると判定する。
【０１０２】
ここで、判定処理部１０８において、比較元画像に占める色情報の割合を解析する解析方法には、２種類存在する。
【０１０３】
＜色解析方法１＞
図１５は本発明の実施形態１の第１の色解析方法を示すフローチャートである。
【０１０４】
まず、ステップＳ１５０１で、比較元画像がカラー画像であるか否かを判定する。比較元画像がカラー画像でない場合（ステップＳ１５０１でＮＯ）、ステップＳ１５０２に進み、比較元画像の色情報が不十分であると判定する。一方、比較元画像がカラー画像である場合（ステップＳ１５０１でＹＥＳ）、ステップＳ１５０３に進む。
【０１０５】
ステップＳ１５０３で、比較元画像の画素数が閾値以上であるか否かを判定する。閾値未満である場合（ステップＳ１５０３でＮＯ）、ステップＳ１５０９に進む。一方、閾値以上である場合（ステップＳ１５０３でＹＥＳ）、ステップＳ１５０４に進む。
【０１０６】
ステップＳ１５０４で、総画素数をその数より少ない所定値に近くなるような相似比（縮小率）を算出する。
【０１０７】
例えば、目的の画素数をＧｐ、比較元画像の縦サイズをＨ、横サイズをＷとすると、
相似比Ｓ＝Ｉｎｔ（sqrt（Ｈ＊Ｗ／Ｇｐ））
となる。
【０１０８】
但し、関数Int（ｘ）は、ｘより大きく、かつ整数と成る値を選ぶものを意味する。
【０１０９】
従って、比較元画像の縮小画像は、縦Ｈ２＝Ｈ／Ｓ［画素］、横Ｗ２＝Ｗ／Ｓ［画素］となる。
【０１１０】
次に、ステップＳ１５０５で、比較元画像の画素サイズ縦横Ｓ×Ｓブロックの処理対象ブロックの平均色を算出し、これを縮小画像の対応する画素の画素値とし、以降、縦横Ｓ×Ｓブロックの処理対象ブロックが重ならないように移動して、この処理を繰り返すことにより比較元画像の縮小画像を生成する。
【０１１１】
尚、ステップＳ１５０５で比較元画像の縮小画像を生成する理由は、以下のステップＳ１５０６で比較元画像の色ヒストグラムを生成する場合に、処理対象画像の画素数が非常に大きいと色ヒストグラムを生成する処理の負荷が大きくなるので、処理の負荷が軽減されるように、比較元画像の画素数を所望の数にするためである。もちろん、処理対象画像の画素数が少ない場合には、そのまま色ヒストグラムを生成するようにしても良い。
【０１１２】
次に、ステップＳ１５０６で、縮小画像を構成する全画素の各濃度値を、図１１の色空間を分割して作った部分空間である色ビンへ射影し、色ビンに対する色ヒストグラムを生成する。
【０１１３】
次に、ステップＳ１５０７で、各色ビンに対するヒストグラム情報からグレースケール方向の色ビンに属する画素数をカウントする。ステップＳ１５０８で、縮小画像の全画素数に対するグレースケール方向の色ビンに属する画素数の割合を算出する。
【０１１４】
ステップＳ１５１２で、算出された割合が予め定められた閾値以上であるか否かを判定する。閾値以上である場合（ステップＳ５１２でＹＥＳ）、ステップＳ１５０２に進む。一方、閾値未満である場合（ステップＳ５１２でＮＯ）、ステップＳ１５１３に進み、比較元画像の色情報が十分であると判定する。
【０１１５】
一方、ステップＳ１５０３において、比較元画像の画素数が閾値未満である場合には、ステップＳ１５０９で、縮小画像を構成する全画素の各濃度値を、図１１の色空間を分割して作った部分空間である色ビンへ射影し、色ビンに対する色ヒストグラムを生成する。ステップＳ１５１０で、各色ビンに対するヒストグラム情報からグレースケール方向の色ビンに属する画素数をカウントする。ステップＳ１５１１で、縮小画像の全画素数に対するグレースケール方向の色ビンに属する画素数の割合を算出する。その後、ステップＳ１５１２に進む。
【０１１６】
＜色解析方法２＞
図１６は本発明の実施形態１の第２の色解析方法を示すフローチャートである。
【０１１７】
まず、ステップＳ１６０１で、比較元画像がカラー画像であるか否かを判定する。比較元画像がカラー画像でない場合（ステップＳ１６０１でＮＯ）、ステップＳ１６０２に進み、比較元画像の色情報が不十分であると判定する。一方、比較元画像がカラー画像である場合（ステップＳ１６０１でＹＥＳ）、ステップＳ１６０３に進む。
【０１１８】
ステップＳ１６０３で、比較元画像を構成する全画素の色の平均色を算出する。ステップＳ１６０４で、平均色を輝度成分と色差成分に変換する。次に、ステップＳ１６０５で、輝度成分値に対する色差成分値の割合Ｒを算出する。
【０１１９】
ここで、色を輝度成分と色差成分に分離する分離方法については、公知の方法を用いる。
【０１２０】
例えば、ＹＣｂＣｒ色空間を用いると、２４ビットＲＧＢ値との関連は、
Ｙ ＝0.29900＊Ｒ＋0.58700＊Ｇ＋0.11400＊Ｂ
Ｃｂ＝-0.16874＊Ｒ−0.33126＊Ｇ＋0.50000＊Ｂ＋128
Ｃｒ＝0.50000＊Ｒ−0.41869＊Ｇ＋（-0.08131）＊Ｂ＋128 （２）
と表現される。
【０１２１】
式（２）に従って、算出した平均色を輝度成分Ｙaveと色差成分Ｃｂave及びＣｒaveに分離し、
割合Ｒ＝sqrt（Ｃｂave＊Ｃｂave＋Ｃｒave＊Ｃｒave）／Ｙave （３）
を計算する。
【０１２２】
そして、ステップＳ１６０６で、この割合Ｒが予め定めた閾値以上であるか否かを判定する。閾値以上である場合（ステップＳ１６０６でＹＥＳ）、ステップＳ１６０２に進む。一方、閾値未満である場合（ステップＳ１６０６でＮＯ）、ステップＳ１６０７に進み、比較元画像の色情報が十分であると判定する。
【０１２３】
次に、色特徴情報比較処理部１０９が実行する処理の詳細について説明する。
【０１２４】
色特徴情報比較処理部１０９では、以下の３種類の色特徴情報比較方法を適宜選択して実行することが可能である。
【０１２５】
尚、色特徴情報比較処理部１０９では、比較元対象画像の色特徴情報を抽出するために、上述の色特徴情報抽出方法１乃至３のいずれか１つを用いる。
【０１２６】
そこで、まず、色特徴抽出方法１を用いた場合の色特徴情報比較方法１について説明する。
【０１２７】
＜色特徴情報比較方法１＞
図１７は本発明の実施形態１の第１の色特徴情報比較処理の詳細を示すフローチャートである。
【０１２８】
まず、ステップＳ１７０１で、図１２のフローチャートで説明した処理によって、比較元画像の色特徴情報をブロック毎に抽出する。但し、比較元画像が既に画像蓄積部１０３ａに登録済みの画像である場合には、対応する色特徴情報を色特徴インデックステーブル１０６ａから読み出す。
【０１２９】
次に、ステップＳ１７０２で、比較元画像と未比較の比較先画像（画像蓄積部１０３ａに蓄積されている）の有無を判定する。未比較の比較先画像がない場合（ステップＳ１７０２でＮＯ）、ステップＳ１７１１に進む。一方、未比較の比較先画像がある場合（ステップＳ１７０２でＹＥＳ）、ステップＳ１７０３に進む。
【０１３０】
ステップＳ１７０３で、色特徴情報インデックステーブル１０６ａを参照して、処理対象画像の画像ＩＤと各ブロックの色特徴情報を読み出す。ステップＳ１７０４で、処理対象とする画像中の着目ブロックを先頭に設定する。ステップＳ１７０５で、比較元画像の色特徴情報と、比較対象の色特徴情報の類似度を示す類似距離を０にリセットする。
【０１３１】
ステップＳ１７０６で、未比較の着目ブロックの有無を判定する。未比較の着目ブロックがない場合（ステップＳ１７０６でＮＯ）、ステップＳ１７１０に進む。一方、未比較の着目ブロックがある場合（ステップＳ１７０６でＹＥＳ）、ステップＳ１７０７に進む。
【０１３２】
ステップＳ１７０７で、比較元画像と比較先画像のそれぞれの色特徴情報から、それぞれの着目ブロックの色ビンＩＤを取得する。
【０１３３】
ステップＳ１７０８で、図１８の色ビンペナルティマトリックスを参照して、取得した色ビンＩＤ間に対応する着目ブロックの局所的類似距離を取得し、これを直前の処理で取得している類似距離に累積加算する。そして、この類似距離はメモリに記憶する。
【０１３４】
ここで、色ビンペナルティマトリックスについて、図１８を用いて説明する。
【０１３５】
図１８は本発明の実施形態１の色ビンペナルティマトリックスの構成を示す図である。
【０１３６】
色ビンペナルティマトリックスは、色ビンＩＤ同士の局所的類似距離を管理するマトリックスである。図１８によれば、色ビンペナルティマトリックスは、同一色ビンＩＤではその類似距離は０となり、色ビンＩＤ同士の差が大きくなるほど、つまり、類似度が低くなるほど、その類似距離は大きくなるように構成されている。また、同一色ビンＩＤの対角位置は全て、その類似距離は０で、それを境に対象性を持っている。
【０１３７】
このように、実施形態１では、色ビンペナルティマトリックスを参照するだけで、色ビンＩＤ同士の類似距離を取得することができるので、処理の高速化を図ることができる。
【０１３８】
そして、ステップ１７０９で、次の処理対象となる着目ブロックを設定する。
【０１３９】
一方、ステップＳ１７０６で、未比較の着目ブロックがない場合（ステップＳ１７０６でＮＯ）、ステップＳ１７１０に進み、メモリに記憶されている類似距離を画像ＩＤに対応づけてメモリに記憶する。
【０１４０】
そして、ステップＳ１７０２で、未比較の画像がない場合（ステップＳ１７０２でＮＯ）、ステップＳ１７１１に進み、メモリに記憶されている各画像ＩＤに対応する類似距離の昇順で、画像ＩＤをソートし、ソートした画像ＩＤと類似距離の対を検索結果として出力する。
【０１４１】
次に、色特徴抽出方法２を用いた場合の色特徴情報比較方法２について説明する。
【０１４２】
＜色特徴情報比較方法２＞
図１９は本発明の実施形態１の第２の色特徴情報比較処理の詳細を示すフローチャートである。
【０１４３】
尚、図１９のステップＳ１９０２〜ステップＳ１９０６、ステップＳ１９１０及びステップＳ１９１１は、図１７のステップＳ１７０２〜ステップＳ１７０６、ステップＳ１７１０及びステップＳ１７１１にそれぞれ対応するので、その詳細については省略する。
【０１４４】
まず、ステップＳ１９０１で、図１３のフローチャートで説明した処理によって、比較元画像の色特徴情報として平均色をブロック毎に抽出する。但し、比較元画像が既に画像蓄積部１０３ａに登録済みの画像である場合には、対応する色特徴情報を色特徴インデックステーブル１０６ａから読み出す。
【０１４５】
ステップＳ１９０２〜ステップＳ１９０６の処理を経て、ステップＳ１９０７で、比較元画像と比較先画像それぞれの着目ブロックの平均色を取得する。次に、ステップＳ１９０８で、類似距離としてＲＧＢチャンネルのユークリッド距離を算出する。
【０１４６】
ここで、比較元画像の着目ブロックの色平均値（Ｒ0，Ｇ0，Ｂ0）、比較先画像の着目ブロックの色平均値（Ｒ1，Ｇ1，Ｂ1）、着目ブロック間の類似距離ｄとすると、
ｄ＝sqrt（（Ｒ0−Ｒ1）＊（Ｒ0−Ｒ1）＋（Ｇ0−Ｇ1）＊（Ｇ0−Ｇ1）＋（Ｂ0−Ｂ1）＊（Ｂ0−Ｂ1）） （４）
となる。この算出した類似距離ｄを直前の処理で算出している類似距離に累積加算する。そして、この類似距離はメモリに記憶する。
【０１４７】
次に、色特徴抽出方法３を用いた場合の色特徴情報比較方法３について説明する。
【０１４８】
＜色特徴情報比較方法３＞
図２０は本発明の実施形態１の第３の色特徴情報比較処理の詳細を示すフローチャートである。
【０１４９】
尚、図２０のステップＳ２００１以外のステップ２００２〜ステップＳ２０１１は、図１７のステップＳ１７０２〜ステップＳ１７１１にそれぞれ対応するので、その詳細については省略する。
【０１５０】
まず、ステップＳ２００１で、図１４のフローチャートで説明した処理によって、比較元画像の平均色をブロック毎に算出する。そして、各ブロックの平均色に対応する色ビンＩＤを色特徴情報として抽出する。
【０１５１】
次に、輝度特徴情報比較処理部１１０が実行する処理の詳細について説明する。
【０１５２】
輝度特徴情報比較処理部１１０では、以下の３種類の色特徴情報比較方法を適宜選択して実行することができる。
【０１５３】
尚、輝度特徴情報比較処理部１１０では、比較元対象画像の色特徴情報を抽出するために、上述の輝度特徴情報抽出方法１乃至３のいずれか１つを用いる。
【０１５４】
そこで、まず、輝度特徴抽出方法１を用いた場合の輝度特徴情報比較方法１について説明する。
【０１５５】
＜輝度特徴情報比較方法１＞
図２１は本発明の実施形態１の第１の輝度特徴情報比較処理の詳細を示すフローチャートである。
【０１５６】
まず、ステップＳ２１０１で、図５のフローチャートで説明した処理によって、比較元画像の輝度特徴情報として輝度階級ＩＤを抽出する。但し、比較元画像が既に画像蓄積部１０３ａに登録済みの画像である場合には、対応する輝度特徴情報を輝度特徴インデックステーブル１０５ａから読み出す。
【０１５７】
次に、ステップＳ２１０２で、比較元画像と未比較の比較先画像（画像蓄積部１０３ａに蓄積されている）の有無を判定する。未比較の比較先画像がない場合（ステップＳ２１０２でＮＯ）、ステップＳ２１１１に進む。一方、未比較の比較先画像がある場合（ステップＳ２１０２でＹＥＳ）、ステップＳ２１０３に進む。
【０１５８】
ステップＳ２１０３で、輝度特徴情報インデックステーブル１０５ａを参照して、処理対象画像の画像ＩＤと各ブロックの輝度特徴情報を読み出す。ステップＳ２１０４で、処理対象とする画像中の着目ブロックを先頭に設定する。ステップＳ２１０５で、比較元画像の輝度特徴情報と、比較対象の輝度特徴情報の類似度を示す類似距離を０にリセットする。
【０１５９】
ステップＳ２１０６で、未比較の着目ブロックの有無を判定する。未比較の着目ブロックがない場合（ステップＳ２１０６でＮＯ）、ステップＳ２１１０に進む。一方、未比較の着目ブロックがある場合（ステップＳ２１０６でＹＥＳ）、ステップＳ２１０７に進む。
【０１６０】
ステップＳ２１０７で、比較元画像と比較先画像のそれぞれの輝度特徴情報から、着目ブロックの輝度に関する輝度階級ＩＤを取得する。
【０１６１】
ステップＳ２１０８で、図２２の輝度階級ＩＤペナルティマトリックスを参照して、取得した輝度階級ＩＤ間に対応する着目ブロックの局所的類似距離を取得し、これを直前の処理で取得している類似距離に累積加算する。そして、この類似距離はメモリに記憶する。
【０１６２】
ここで、輝度階級ＩＤペナルティマトリックスについて、図２２を用いて説明する。
【０１６３】
図２２は本発明の実施形態１の輝度階級ＩＤペナルティマトリックスの構成を示す図である。
【０１６４】
輝度階級ＩＤペナルティマトリックスは、輝度階級ＩＤ同士の局所的類似距離を管理するマトリックスである。図２２によれば、輝度階級ＩＤペナルティマトリックスは、同一輝度階級ＩＤではその類似距離は０となり、輝度階級ＩＤ同士の差が大きくなるほど、つまり、類似度が低くなるほど、その類似距離は大きくなるように構成されている。また、同一輝度階級ＩＤの対角位置は全て、その類似距離は０で、それを境に対象性を持っている。
【０１６５】
このように、実施形態１では、輝度階級ＩＤペナルティマトリックスを参照するだけで、輝度階級ＩＤ同士の類似距離を取得することができるので、処理の高速化を図ることができる。
【０１６６】
そして、ステップＳ２１０９で、次の処理対象となる着目ブロックを設定する。
【０１６７】
一方、ステップＳ２１０６で、未比較の着目ブロックがない場合（ステップＳ２１０６でＮＯ）、ステップＳ２１１０に進み、メモリに記憶されている類似距離を画像ＩＤに対応づけてメモリに記憶する。
【０１６８】
そして、ステップＳ２１０２で、未比較の画像がない場合（ステップＳ２１０２でＮＯ）、ステップＳ２１１１１に進み、メモリに記憶されている各画像ＩＤに対応する類似距離の昇順で、画像ＩＤをソートし、ソートした画像ＩＤと類似距離の対を検索結果として出力する。
【０１６９】
次に、輝度特徴抽出方法２を用いた場合の輝度特徴情報比較方法２について説明する。
【０１７０】
＜輝度特徴情報比較方法２＞
図２３は本発明の実施形態１の第２の輝度特徴情報比較処理の詳細を示すフローチャートである。
【０１７１】
尚、図２３のステップＳ２３０２〜ステップＳ２３０６、ステップＳ２３１０及びステップＳ２３１１は、図２１のステップＳ２１０２〜ステップＳ２１０６、ステップＳ２１１０及びステップＳ２１１１にそれぞれ対応するので、その詳細については省略する。
【０１７２】
まず、ステップＳ２３０１で、図９のフローチャートで説明した処理によって、比較元画像の輝度特徴情報として平均輝度をブロック毎に抽出する。但し、比較元画像が既に画像蓄積部１０３ａに登録済みの画像である場合には、対応する輝度特徴情報を輝度特徴インデックステーブル１０５ａから読み出す。
【０１７３】
ステップＳ２３０２〜ステップＳ２３０６の処理を経て、ステップＳ２３０７で、比較元画像と比較先画像それぞれの着目ブロックの平均輝度を取得する。次に、ステップＳ２３０８で、類似距離として平均輝度の輝度差の絶対値を算出する。
【０１７４】
ここで、比較元画像の着目ブロックの平均輝度Ｙ0、比較先画像の着目ブロックの平均輝度Ｙ1、着目ブロック間の類似距離ｄとすると、
ｄ＝abs（Ｙ0−Ｙ1） （５）
となる。この算出した類似距離ｄを直前の処理で算出している類似距離に累積加算する。そして、この類似距離はメモリに記憶する。
【０１７５】
次に、輝度特徴抽出方法３を用いた場合の輝度特徴情報比較方法３について説明する。
【０１７６】
＜輝度特徴情報比較方法３＞
図２４は本発明の実施形態１の第３の輝度特徴情報比較処理の詳細を示すフローチャートである。
【０１７７】
尚、図２４のステップＳ２４０１以外のステップ２４０２〜ステップＳ２４１１は、図２１のステップＳ２１０２〜ステップＳ２１１１にそれぞれ対応するので、その詳細については省略する。
【０１７８】
まず、ステップＳ２４０１で、図１０のフローチャートで説明した処理によって、比較元画像の平均輝度をブロック毎に算出する。そして、各ブロックの平均輝度に対応する輝度階級ＩＤを輝度特徴情報として抽出する。
【０１７９】
以上説明した画像登録処理と画像検索処理を実行することにより、比較先画像の種類がモノクロやグレースケールであっても、あるいはカラー画像であっても、その画像の種類に適した画像特徴量を用いて、画像を登録あるいは画像を検索することができる。
【０１８０】
次に、検索結果表示部処理部１１１が実行する検索結果表示処理について説明する。
【０１８１】
［検索結果表示処理］
検索結果表示処理では、類似度が高い順、即ち、類似距離の昇順に画像ＩＤとその類似度の対がソートされた情報を元に、画像管理ＤＢ１０４ａを参照し、該当するレコードから画像の格納先であるファイルフルパス情報を取得して、画像蓄積部１０３ａから対応する画像を読み出し、表示する。
【０１８２】
以下、検索結果表示処理について、図２５を用いて説明する。
【０１８３】
図２５は本発明の実施形態１の検索結果表示処理を示すフローチャートである。
【０１８４】
ステップＳ２５０１で、画像検索処理によって得られた検索結果数である検索ヒット個数Ｍと、比較元画像と検索結果として得られる比較先画像との類似度が高い順、即ち、類似距離の昇順に対応する画像ＩＤとその類似度の対を取得する。
【０１８５】
次に、ステップＳ２５０２で、表示画面の表示可能な画像の個数Ｎを取得する。
【０１８６】
尚、この個数Ｎは、検索結果として表示する画像の縮小画像のサイズと、表示画面上の検索結果表示領域のサイズによって決定される。
【０１８７】
ステップＳ２５０３で、検索ヒット個数Ｍと個数Ｎの小さいほうを画像表示個数Ｒに設定する。
【０１８８】
ステップＳ２５０４で、検索結果として表示する画像の順位（読出画像順位）を示す変数Ｋを１に初期化する。ステップＳ２５０５で、Ｋ≦Ｒであるか否かを判定する。Ｋ≦Ｒでない場合（ステップＳ２５０５でＮＯ）、処理を終了する。一方、Ｋ≦Ｒである場合（ステップＳ２５０６でＹＥＳ）、ステップＳ２５０６に進む。
【０１８９】
ここで、ステップＳ２５０６〜ステップＳ２５０８の処理は、類似画像検索結果である画像を表示画面に表示する処理となる。
【０１９０】
ここで、類似画像検索結果の表示例について、図２６を用いて説明する。
【０１９１】
図２６は本発明の実施形態１の類似画像検索結果の表示例を示す図である。
【０１９２】
図２６に示されるように、表示画面上の検索結果表示領域には、検索結果とする画像の縮小画像を類似距離の昇順に左上端から順に右隣へ順に並べて表示し、右上端まで到達したら、次の行の左端に移り、そこからまた右隣に順に右端まで並べて表示したら、以下、同様に、検索結果表示領域の終わりとなる右下端まで並べて表示して行く。また、表示する縮小画像の下には、対応する類似距離を併せて表示する。
【０１９３】
ステップＳ２５０６で、読出画像順位Ｋにより、表示対象の画像の表示位置を決定する。ステップＳ２５０７で、読出画像順位Ｋの画像ＩＤに対応する画像のアドレス情報（フルパス情報）を画像管理ＤＢ１０４ａから取得する。ステップＳ２５０８で、アドレス情報で示される画像を読み出し、決定した表示位置にその縮小画像を表示する。その後、変数Ｋを１インクリメントして、ステップＳ２５０５に進む。
【０１９４】
尚、実施形態１の画像検索処理では、比較元画像の色情報が十分であるかどうかだけに着目し、比較元画像の色情報が十分である場合にはその色特徴情報で比較先画像の色特徴情報との類似比較を行い、比較元画像の色情報が不十分である場合にはその輝度特徴情報と比較先画像の輝度特徴情報との類似比較を行う類似画像検索の例を示したが、これに限定されない。
【０１９５】
例えば、比較先画像の色情報が十分であるか否かについても考慮し、比較する画像の双方の色情報が十分である場合に、双方の色特徴情報で類似比較を行い、どちらか片方あるいは双方の色情報が不十分である場合に、双方の輝度特徴情報で類似比較を行う類似画像検索を行うようにしても良い。
【０１９６】
また、画像登録処理は、画像入力処理、画像蓄積処理、画像管理情報処理、輝度特徴情報抽出処理、色特徴情報抽出処理の順番で処理を行ったが、画像入力処理以降の処理に関してはその順序は問わない。
【０１９７】
一方、画像検索処理においては、比較元画像が既に画像蓄積部１０３ａへ登録済みの画像であるならば、既にその色特徴情報及び輝度特徴情報も登録されているので、かかる画像に対する色特徴情報抽出処理及び輝度特徴情報抽出処理は不要となる。
【０１９８】
また、画像管理ＤＢ１０４ａ、輝度特徴情報インデックステーブル１０５ａ、色特徴情報インデックステーブル１０６ａを別々に構成し、画像ＩＤを仲立ちとして互いの情報に対応を取る構成例を示したが、これらのＤＢ及びテーブル群を一体にして構成しても良い。
【０１９９】
また、処理対象となる着目ブロックの設定は、図７の順序決定テーブルで示される走査順序に限定されるものではなく、水平走査及び垂直走査あるいはジグザグ走査等の他の走査順序、つまり、画像の各ブロックを着目ブロックとして設定できるような走査順序であれば、どのような走査順序であっても良い。
【０２００】
以上説明したように、実施形態１によれば、処理対象画像（比較先画像及び比較元画像）の種類に応じて、適応的に検索方法を切り替えて類似画像検索を実行するので、従来より存在する色情報検索と輝度情報検索の両者の短所を補い、かつ両者の長所を生かした類似画像検索を実現することができる。
【０２０１】
＜＜実施形態２＞＞
実施形態２は実施形態１の変形例である。特に、実施形態２では、図２７に示すように、実施形態１の図１の判定処理部１０８の処理を画像登録処理時に実行する点と、検索条件となる比較先画像を既に画像蓄積部１０３ａから入力する点と、新たな構成要素として追加した比較特徴量決定処理部１１２の処理を画像検索処理時に処理を実行する点にある。
【０２０２】
以下、実施形態２では、実施形態１の処理と異なる部分について説明する。
【０２０３】
まず、実施形態２の判定処理部１０８では、入力した比較先画像の色情報が十分であるか否かを判定する。この判定方法は、実施形態１と同様であるが、実施形態２では、その判定結果を示す色情報フラグ（色情報が十分である場合：１、色情報が不十分である場合：０）を、登録対象の画像ＩＤとその画像のファイル名、画像入力時の日付を対応づけて画像管理ＤＢ１０４ａに記憶する。
【０２０４】
尚、この場合の画像管理ＤＢ１０４ａの構成の一例を示すと、図２８のようになる。
【０２０５】
一方、実施形態２の画像検索処理を行う場合には、比較元画像入力処理部１０７は、検索条件となる比較元画像をＵＩ部１０１によって提供される操作画面を介して指定する。
【０２０６】
次に、比較特徴量決定処理部１１２で、画像管理ＤＢ１０４ａを参照して、指定された比較元画像の色情報フラグを取得し、色情報フラグが１である場合、色特徴情報比較処理部１０９の処理を実行することを決定する。一方、色情報フラグが０である場合、輝度特徴情報比較処理部１１０の処理を実行することを決定する。以下、この決定に従って、実施形態１で説明した色特徴情報比較処理部１０９あるいは輝度特徴情報比較処理部１１０の処理を実行することになる。
【０２０７】
但し、実施形態２では、色特徴情報比較処理部１０９及び輝度特徴情報比較処理部１１０それぞれで行う色特徴情報抽出処理及び輝度特徴情報抽出処理は、単に、画像管理ＤＢ１０４ａに記憶されている処理対象画像の色特徴情報及び輝度特徴情報を読み出すことで完了する。
【０２０８】
尚、実施形態２の画像検索処理では、比較元画像の色情報が十分であるかどうかだけに着目し、画像管理ＤＢ１０４ａの比較元画像の色情報フラグを参照して、その色情報が十分である場合にはその色特徴情報で比較先画像の色特徴情報との類似比較を行い、比較元画像の色情報量が不十分である場合にはその輝度特徴情報と比較先画像の輝度特徴情報との類似比較を行う類似画像検索の例を示したが、これに限定されない。
【０２０９】
例えば、比較先画像の色情報が十分であるか否かについても考慮し、比較する画像の双方の色情報が十分である場合に、双方の色特徴情報で類似比較を行い、どちらか片方あるいは双方の色情報が不十分である場合に、双方の輝度特徴情報で類似比較を行う類似画像検索を行うようにしても良い。
【０２１０】
また、画像登録処理、画像入力処理、画像蓄積処理、画像管理情報処理、判定処理、輝度特徴情報抽出処理、色特徴情報抽出処理の順番で処理を行ったが、画像入力処理以降の処理に関してはその順序は問わない。
【０２１１】
また、画像管理ＤＢ１０４ａ、輝度特徴情報インデックステーブル１０５ａ、色特徴情報インデックステーブル１０６ａを別々に構成し、画像ＩＤを仲立ちとして互いの情報に対応を取る構成例を示したが、これらのＤＢ及びテーブル群を一体にして構成しても良い。
【０２１２】
以上説明したように、実施形態２によれば、実施形態１で説明した効果に加えて、画像登録処理時に登録対象画像の色情報が十分であるか否かを示す色情報フラグをその登録対象画像と伴に予め記憶しておき、画像検索処理時には、登録済みの画像を検索条件とする比較元画像として利用し、かつその色情報フラグを利用して比較元画像の色情報が十分であるか否かを判定することができるので、実施形態１に比べてより効率的に処理を実行することができる。
【０２１３】
以上説明した実施形態１及び２における、画像処理装置は、パーソナルコンピュータ等の情報処理装置でもって実現できるし、その機能を実現する手順としての方法の発明として捉えることができる。また、コンピュータにより実現できるわけであるから、本発明はそれぞれの装置で実行されるコンピュータプログラム、更には、そのコンピュータプログラムを格納し、コンピュータが読み込めるＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体にも適用できるのは明らかであろう。
【０２１４】
従って、上記実施形態１及び２に係る実施態様を列挙すると、次の通りである。すなわち、画像処理装置及びその方法、プログラムは、次のようになる。
【０２１５】
＜実施態様１＞ 検索条件となる比較元画像と、その比較先画像との類似度に基づいて、類似画像検索を行う画像処理装置であって、
処理対象画像の輝度に関する輝度特徴情報を抽出する輝度特徴情報抽出手段と、
処理対象画像の色に関する色特徴情報を抽出する色特徴情報抽出手段と、
処理対象画像の色情報が十分であるか否かを判定する判定手段と、
前記判定手段の判定の結果、前記比較元画像の色情報が十分である場合、その色特徴情報で前記比較先画像の色特徴情報との類似比較を行い、一方、前記比較元画像の色情報が不十分である場合、その輝度特徴情報と前記比較先画像の輝度特徴情報との類似比較を行う比較手段と、
前記比較手段の比較結果に基づいて、検索結果となる画像を出力する出力手段と
を備えることを特徴とする画像処理装置。
【０２１６】
＜実施態様２＞ 前記比較手段は、前記判定手段の判定の結果、前記比較元画像及び前記比較先画像それぞれの色情報が十分である場合、該比較元画像及び該比較先画像の双方の色特徴情報で類似比較を行い、一方、前記比較元画像及び前記比較先画像の少なくとも一方の色情報が不十分である場合、該比較元画像及び該比較先画像の双方の輝度特徴情報で類似比較を行う
ことを特徴とする実施態様１に記載の画像処理装置。
【０２１７】
＜実施態様３＞ 前記判定手段は、前記比較元画像の画素の色を解析する解析手段を備え、
前記解析手段の解析結果に基づいて、前記比較元画像の色情報が十分であるか否かを判定する
ことを特徴とする実施態様１に記載の画像処理装置。
【０２１８】
＜実施態様４＞ 前記判定手段は、前記比較元画像のデータフォーマットが、カラー画像である場合には、該比較元画像の色情報が不十分であると判定し、一方、モノクロあるいはグレースケール画像である場合には、該比較元画像の色情報が不十分であると判定する
ことを特徴とする実施態様１に記載の画像処理装置。
【０２１９】
＜実施態様５＞ 前記解析手段は、前記比較元画像に占める色情報の割合を解析する
ことを特徴とする実施態様３に記載の画像処理装置。
【０２２０】
＜実施態様６＞ 前記解析手段は、前記比較元画像あるいはその縮小画像を構成する全画素の平均色平均色における輝度成分値に対する色差成分値の比率を解析する
ことを特徴とする実施態様３に記載の画像処理装置。
【０２２１】
＜実施態様７＞ 前記解析手段は、前記比較元画像あるいはその縮小画像を構成する全画素の各濃度値を、色空間を分割して作った部分空間である色ビンへ射影し、色ビンに対する色ヒストグラムを生成する生成手段と、
前記比較元画像の全画素数に対するグレースケール方向の色ビンに属する画素数の割合を算出する算出手段と
を備えることを特徴とする実施態様３に記載の画像処理装置。
【０２２２】
＜実施態様８＞ 前記輝度特徴情報は、前記比較元画像を複数のブロックに分割した各ブロックにおける輝度ヒストグラム中の最頻輝度に対応する輝度階級と、各ブロックの位置情報とを対応づけた情報である
ことを特徴とする実施態様１に記載の画像処理装置。
【０２２３】
＜実施態様９＞ 前記輝度特徴情報は、前記比較元画像を複数のブロックに分割した各ブロックにおける平均輝度と、各ブロックの位置情報とを対応づけた情報である
ことを特徴とする実施態様１に記載の画像処理装置。
【０２２４】
＜実施態様１０＞ 前記輝度特徴情報は、前記比較元画像を複数のブロックに分割した各ブロックにおける平均輝度に対応する輝度階級と、各ブロックの位置情報とを対応づけた情報である
ことを特徴とする実施態様１に記載の画像処理装置。
【０２２５】
＜実施態様１１＞ 前記色特徴情報は、前記比較元画像を複数のブロックに分割した各ブロックにおける色ヒストグラム中の最頻色に対応する色ビンＩＤと、各ブロックの位置情報とを対応づけた情報である
ことを特徴とする実施態様１に記載の画像処理装置。
【０２２６】
＜実施態様１２＞ 前記色特徴情報は、前記比較元画像を複数のブロックに分割した各ブロックにおける平均色と、各ブロックの位置情報とを対応づけた情報である
ことを特徴とする実施態様１に記載の画像処理装置。
【０２２７】
＜実施態様１３＞ 前記色特徴情報は、前記比較元画像を複数のブロックに分割した各ブロックにおける平均色に対応する色ビンＩＤと、各ブロックの位置情報とを対応づけた情報である
ことを特徴とする実施態様１に記載の画像処理装置。
【０２２８】
＜実施態様１４＞ 前記輝度特徴情報抽出手段は、前記輝度特徴情報を、前記比較元画像を複数のブロックに分割した各ブロックの輝度ヒストグラムを階級化あるいは量子化したヒストグラムに基づいて抽出し、
前記色特徴情報抽出手段は、前記色特徴情報を複数のブロックに分割した各ブロックを構成する全画素の各濃度値を、色空間を分割して作った部分空間である色ビンへ射影して得られる色ビンに対する色ヒストグラムに基づいて抽出し、
前記輝度特徴情報抽出手段による階級化あるいは量子化での階級数あるいは量子化ステップ数は、前記色特徴情報抽出手段における色ビンのグレースケール方向のビン数よりも多い
ことを特徴とする実施態様１に記載の画像処理装置。
【０２２９】
＜実施態様１５＞ 前記色特徴情報抽出手段は、処理対象画像である前記比較元画像がモノクロあるいはグレースケール画像である場合でも、該比較元画像の色に関する色特徴情報を抽出する
ことを特徴とする実施態様１に記載の画像処理装置。
【０２３０】
＜実施態様１６＞ 前記比較先画像となる画像を画像蓄積部に登録する登録手段を更に備え、
前記色特徴情報抽出手段は、処理対象画像である前記比較先画像がモノクロあるいはグレースケール画像である場合、該比較先画像をカラー画像へ変換した変換画像の色に関する色特徴情報を抽出する
ことを特徴とする実施態様１に記載の画像処理装置。
【０２３１】
＜実施態様１７＞ 前記輝度特徴情報抽出手段は、処理対象画像を複数のブロックに分割した各ブロック毎に前記輝度特徴情報を抽出し、その分割する縦横ブロック数は、前記処理対象画像のアスペクト比や大きさに関わらず同一である
ことを特徴とする実施態様１に記載の画像処理装置。
【０２３２】
＜実施態様１８＞ 前記色特徴情報抽出手段は、処理対象画像を複数のブロックに分割した各ブロック毎に前記色特徴情報を抽出し、その分割する縦横ブロック数は、前記処理対象画像のアスペクト比や大きさに関わらず同一である
ことを特徴とする実施態様１に記載の画像処理装置。
【０２３３】
＜実施態様１９＞ 色情報が十分であるか否かを示す色情報フラグと対応付けられている画像を記憶する記憶手段を更に備え、
前記判定手段は、前記比較先画像が前記記憶手段に記憶されている画像である場合、該比較先画像に対応する色情報フラグに基づいて、該比較先画像の色情報が十分であるか否かを判定する
ことを特徴とする実施態様１に記載の画像処理装置。
【０２３４】
＜実施態様２０＞ 前記比較先画像を前記記憶手段に記憶されている画像から指定する指定手段を更に備える
ことを特徴とする実施態様１９に記載の画像処理装置。
【０２３５】
＜実施態様２１＞ 類似画像検索の検索対象となる画像の画像登録処理を行う画像処理装置であって、
画像を入力する入力手段と、
前記画像を管理するための管理情報を生成する生成手段と、
前記画像の輝度に関する輝度特徴情報を抽出する輝度特徴情報抽出手段と、
前記画像の色に関する色特徴情報を抽出する色特徴情報抽出手段と、
前記画像、前記管理情報、前記輝度特徴情報及び前記色特徴情報を対応づけて記憶する記憶手段と
を備えることを特徴とする画像処理装置。
【０２３６】
＜実施態様２２＞ 前記画像の色情報が十分であるか否かを判定する判定手段を更に備え、
前記記憶手段は、更に、前記判定手段の判定結果によって得られる色情報が十分であるか否かを示す色情報フラグを対応づけて記憶する
ことを特徴とする実施態様２１に記載の画像処理装置。
【０２３７】
＜実施態様２３＞ 検索条件となる比較元画像と、その比較先画像との類似度に基づいて、類似画像検索を行う画像処理方法であって、
処理対象画像の輝度に関する輝度特徴情報を抽出する輝度特徴情報抽出工程と、
処理対象画像の色に関する色特徴情報を抽出する色特徴情報抽出工程と、
処理対象画像の色情報が十分であるか否かを判定する判定工程と、
前記判定工程の判定の結果、前記比較元画像の色情報が十分である場合、その色特徴情報で前記比較先画像の色特徴情報との類似比較を行い、一方、前記比較元画像の色情報が不十分である場合、その輝度特徴情報と前記比較先画像の輝度特徴情報との類似比較を行う比較工程と、
前記比較工程の比較結果に基づいて、検索結果となる画像を出力する出力工程と
を備えることを特徴とする画像処理方法。
【０２３８】
＜実施態様２４＞ 類似画像検索の検索対象となる画像の画像登録処理を行う画像処理方法であって、
画像を入力する入力工程と、
前記画像を管理するための管理情報を生成する生成工程と、
前記画像の輝度に関する輝度特徴情報を抽出する輝度特徴情報抽出工程と、
前記画像の色に関する色特徴情報を抽出する色特徴情報抽出工程と、
前記画像、前記管理情報、前記輝度特徴情報及び前記色特徴情報を対応づけて記憶媒体に記憶する記憶工程と
を備えることを特徴とする画像処理方法。
【０２３９】
＜実施態様２５＞ 検索条件となる比較元画像と、その比較先画像との類似度に基づいて、類似画像検索を行う画像処理を実現するプログラムであって、
処理対象画像の輝度に関する輝度特徴情報を抽出する輝度特徴情報抽出工程のプログラムコードと、
処理対象画像の色に関する色特徴情報を抽出する色特徴情報抽出工程のプログラムコードと、
処理対象画像の色情報が十分であるか否かを判定する判定工程のプログラムコードと、
前記判定工程の判定の結果、前記比較元画像の色情報が十分である場合、その色特徴情報で前記比較先画像の色特徴情報との類似比較を行い、一方、前記比較元画像の色情報が不十分である場合、その輝度特徴情報と前記比較先画像の輝度特徴情報との類似比較を行う比較工程のプログラムコードと、
前記比較工程の比較結果に基づいて、検索結果となる画像を出力する出力工程のプログラムコードと
を備えることを特徴とするプログラム。
【０２４０】
＜実施態様２６＞ 類似画像検索の検索対象となる画像の画像登録処理を行う画像処理を実現するプログラムであって、
画像を入力する入力工程のプログラムコードと、
前記画像を管理するための管理情報を生成する生成工程のプログラムコードと、
前記画像の輝度に関する輝度特徴情報を抽出する輝度特徴情報抽出工程のプログラムコードと、
前記画像の色に関する色特徴情報を抽出する色特徴情報抽出工程のプログラムコードと、
前記画像、前記管理情報、前記輝度特徴情報及び前記色特徴情報を対応づけて記憶媒体に記憶する記憶工程のプログラムコードと
を備えることを特徴とするプログラム。
【０２４１】
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０２４２】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０２４３】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０２４４】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【０２４５】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０２４６】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０２４７】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０２４８】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０２４９】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【０２５０】
【発明の効果】
以上説明したように、本発明によれば、画像の種類に依存することなく精度良く画像を検索することが可能な画像処理技術を提供できる。
【図面の簡単な説明】
【図１】本発明の実施形態１の画像処理装置のプロック構成図である。
【図２】本発明の実施形態１の画像管理ＤＢの構成の一例を示す図である。
【図３】本発明の実施形態１の輝度特徴情報テーブルの構成の一例を示す図である。
【図４】本発明の実施形態１の色特徴情報テーブルの構成の一例を示す図である。
【図５】本発明の実施形態１の第１の輝度特徴情報抽出処理の詳細を示すフローチャートである。
【図６】本発明の実施形態１の画像ブロック分割の一例を示す図である。
【図７】本発明の実施形態１の順序決定テーブルの一例を示す図である。
【図８】本発明の実施形態１の輝度階級テーブルの一例を示す図である。
【図９】本発明の実施形態１の第２の輝度特徴情報抽出処理の詳細を示すフローチャートである。
【図１０】本発明の実施形態１の第３の輝度特徴情報抽出処理の詳細を示すフローチャートである。
【図１１】本発明の実施形態１の色空間上の色ビンの構成の一例を示す図である。
【図１２】本発明の実施形態１の第１の色特徴情報抽出処理の詳細を示すフローチャートである。
【図１３】本発明の実施形態１の第２の色特徴情報抽出処理の詳細を示すフローチャートである。
【図１４】本発明の実施形態１の第３の色特徴情報抽出処理の詳細を示すフローチャートである。
【図１５】本発明の実施形態１の第１の色解析方法を示すフローチャートである。
【図１６】本発明の実施形態１の第２の色解析方法を示すフローチャートである。
【図１７】本発明の実施形態１の第１の色特徴情報比較処理の詳細を示すフローチャートである。
【図１８】本発明の実施形態１の色ビンペナルティマトリックスの構成の一例を示す図である。
【図１９】本発明の実施形態１の第２の色特徴情報比較処理の詳細を示すフローチャートである。
【図２０】本発明の実施形態１の第３の色特徴情報比較処理の詳細を示すフローチャートである。
【図２１】本発明の実施形態１の第１の輝度特徴情報比較処理の詳細を示すフローチャートである。
【図２２】本発明の実施形態１の輝度階級ＩＤペナルティマトリックスの構成の一例を示す図である。
【図２３】本発明の実施形態１の第２の輝度特徴情報比較処理の詳細を示すフローチャートである。
【図２４】本発明の実施形態１の第３の輝度特徴情報比較処理の詳細を示すフローチャートである。
【図２５】本発明の実施形態１の検索結果表示処理を示すフローチャートである。
【図２６】本発明の実施形態１の類似画像検索結果の表示例を示す図である。
【図２７】本発明の実施形態２の画像処理装置のブロック構成図である。
【図２８】本発明の実施形態２の画像管理ＤＢの構成の一例を示す図である。
【符号の説明】
１０１ ユーザインタフェース部
１０２ 画像入力処理部
１０３ 画像蓄積処理部
１０３ａ 画像蓄積部
１０４ 画像管理情報処理部
１０４ａ 画像管理ＤＢ
１０５ 輝度特徴情報抽出処理部
１０５ａ 輝度特徴情報インデックステーブル
１０６ 色特徴情報抽出処理部
１０６ａ 色特徴情報インデックステーブル
１０７ 比較元画像入力部処理部
１０８ 判定処理部
１０９ 色特徴情報比較処理部
１１０ 輝度特徴情報比較処理部
１１１ 検索結果表示処理部
１１２ 比較特徴量決定処理部
【発明の属する技術分野】
本発明は、検索条件となる比較元画像と、その比較先画像との類似度に基づいて行う類似画像検索処理、及び類似画像検索対象となる画像の画像登録処理を行う画像処理技術に関するものである。
【０００２】
【従来の技術】
従来、色情報や輝度情報を画像特徴量として用いる類似画像検索が多く提案されている。色情報を利用した類似画像検索（以下、色情報検索）では、類似画像検索対象となる画像の登録処理時及び検索条件となる画像を用いた画像検索時には色情報の抽出を行っている。また、輝度情報を利用した類似画像検索（輝度情報検索）では、類似画像検索対象となる画像の登録処理時及び検索条件となる画像を用いた画像検索時には色情報の抽出を行っている。つまり、色情報検索と輝度情報検索は、それぞれ独立した系で実現されている。
また、特許文献１では、画像をブロック分割し、その各ブロックの画素を色空間上の部分領域（色ビン）へ投影し、最頻色を得て画像特徴量を算出する構成が開示されている。
【特許文献１】
特開平８−２４９３４９号公報
【０００３】
【発明が解決しようとする課題】
しかしながら、例えば、色情報検索による検索対象画像がモノクロやグレースケール画像である場合、その検索対象画像の色を表現する色空間上においてグレースケール方向の領域は色空間上の白から黒に至る線の領域でしかない。そのため、より正確な色情報を抽出するために画像を細分化したブロック毎の各色ヒストグラムを生成する場合には、グレースケール方向の白から黒に至る線の領域に割り当てられるブロックは、色空間の他の領域に割り当てられるブロック数に比べると非常に少なくなる。このような条件で、モノクロやグレースケール画像を登録した場合には、その色情報の情報量は必然的に少なくなるので、検索時の検索精度の低下が激しいものとなる。
【０００４】
一方、輝度情報検索による検索対象画像がカラー画像である場合、その検索対象画像の輝度を表現する色空間上においてグレースケール方向の領域は色空間上の白から黒に至る線の領域でしかなく、その輝度情報も、多くて８ビット表現までである。これに対し、カラー情報は２４ビット表現が可能であり、カラー画像の輝度は同じ輝度でも、その輝度を示す色の組み合わせは無数にあるので、輝度情報検索によるカラー画像の検索で、その検索条件画像の色に一致する画像を正確に検索することは不可能である。
【０００５】
以上のように、輝度情報検索と色情報検索の両者の短所を補い、かつ両者の長所を生かした検索技術は存在しなかった。
【０００６】
本発明は上記の課題を解決するためになされたものであり、画像の種類に依存することなく精度良く画像を検索することが可能な画像処理技術を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
複数の比較先画像に対してそれぞれの輝度特徴情報と色特徴情報とを対応付けて登録した蓄積部から、検索条件となる比較元画像に類似する比較先画像の検索を行う画像処理装置であって、
前記比較元画像に占める所定の色情報の割合を解析し、当該解析した色情報の割合と予め定められた閾値とを比較した結果に基づいて前記比較元画像の色情報が十分であるか不十分であるかを判定する判定手段と、
前記判定手段で前記比較元画像の色情報が不十分であると判定された場合、前記比較元画像の輝度特徴情報を抽出する輝度特徴情報抽出手段と、
前記判定手段で前記比較元画像の色情報が十分であると判定された場合、前記比較元画像の色特徴情報を抽出する色特徴情報抽出手段と、
前記判定手段で前記比較元画像の色情報が十分であると判定された場合、前記色特徴情報抽出手段で抽出された前記比較元画像の色特徴情報と、前記蓄積部に登録されている前記複数の比較先画像それぞれの色特徴情報との類似比較を行い、一方、前記判定手段で前記比較元画像の色情報が不十分であると判定された場合、前記輝度特徴情報抽出手段で抽出された前記比較元画像の輝度特徴情報と、前記蓄積部に登録されている前記複数の比較先画像それぞれの輝度特徴情報との類似比較を行う比較手段と、
前記比較手段の類似比較結果に基づいて、前記比較元画像に類似すると判定された比較先画像を出力する出力手段と
を備える。
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【０００９】
＜＜実施形態１＞＞
図１は本発明の実施形態１の画像処理装置のプロック構成図である。
【００１０】
本発明では、画像を登録する画像登録処理、登録されている画像群から所望の画像を検索する画像検索処理について順に説明する。
【００１１】
画像登録処理は、登録対象の画像を入力し、その入力画像の画像特徴量を抽出して、その入力画像と画像特徴量とを対応づけて記憶する処理である。
【００１２】
また、画像検索処理は、いわゆる類似画像検索処理であり、検索条件となる比較元画像の画像特徴量の抽出（あるいは登録済みの画像を比較元画像とする場合は、その画像に対応する画像特徴量の読出）を実行し、その画像特徴量と登録済みの画像特徴量との比較を行い、その比較結果に基づいて、比較元画像に類似する画像を検索する。
【００１３】
尚、画像登録処理時の画像特徴量の抽出は、実施形態１では、処理対象画像を複数の領域に分割し、各領域ごとに画像特徴量を抽出するが、その領域の縦横ブロック数は、処理対象画像のアスペクト比や大きさに関わらず同一とする。また、同様に、画像検索処理時の画像特徴量の抽出も、画像登録処理時の画像特徴量の抽出と同様の条件とする。また、ここでいう画像特徴量は、画像の色に関する色特徴情報、画像の輝度に関する輝度特徴情報の両方を含む。
【００１４】
図１において、１０１はユーザインターフェース（ＵＩ）部であり、本発明に係る画像登録処理及び画像検索処理を含む各種処理を実行するためのユーザインターフェースである。このユーザインタフェースは、例えば、グラフィックユーザインターフェース及び入力デバイスによって実現される。ユーザは、このＵＩ部１０１によって、画像登録処理及び画像検索処理を適宜実行することができる。
【００１５】
１０２は画像入力処理部であり、画像登録処理による登録対象の画像を入力する。１０３は画像蓄積処理部であり、入力した画像を画像蓄積部１０３ａに蓄積する。１０４は画像管理情報処理部であり、入力した画像を管理するための管理情報を生成する。１０５は輝度特徴情報抽出処理部であり、入力した画像の輝度に関する輝度特徴情報を抽出し、抽出した輝度特徴情報を輝度特徴情報インデックステーブル１０５ａに登録する。１０６は色特徴情報抽出処理部であり、入力した画像の色に関する色特徴情報を抽出、抽出した色特徴情報を色特徴情報インデックステーブル１０６ａに登録する。
【００１６】
１０７は比較元画像入力部処理部であり、画像検索処理による検索条件となる画像（類似画像検索での比較元画像）を入力する。１０８は判定処理部であり、入力した比較元画像の色情報が十分であるか否かを判定する。１０９は色特徴情報比較処理部であり、色特徴情報による比較元画像と比較先画像との類似比較を行う。１０９は色特徴情報比較処理部であり、色特徴情報による比較元画像と比較先画像との類似比較を行う。１１０は輝度特徴情報比較処理部であり、輝度特徴情報による比較元画像と比較先画像との類似比較を行う。１１１は検索結果表示処理部であり、色特徴情報比較処理部１０９あるいは輝度特徴情報比較処理部１１０の処理結果に基づいて、検索結果となる画像を表示する。また、この検索結果表示処理部１１１においては、検索結果となる画像をプリンタによって印刷するように構成しても良い。特に、検索結果となる画像が１つだけで、その画像を印刷したい場合には、処理の迅速化を図ることができる。
【００１７】
尚、画像処理装置を構成する各種構成要素が実行する処理の詳細については、以下順に説明して行く。
【００１８】
また、画像処理装置は、汎用コンピュータに搭載される標準的な構成要素（例えば、ＣＰＵ、メモリ（ＲＡＭ、ＲＯＭ）、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等）を有している。
【００１９】
更に、図１に示される各種構成要素のすべてあるいはその一部は、専用のハードウエアで実現されても良いし、ＣＰＵに制御によって実行されるソフトウェアで実現されても良い。
【００２０】
まず、ＵＩ部１０１を介して画像登録処理を実行する場合について説明する。
【００２１】
［画像登録処理］
画像登録処理では、まず、画像入力処理部１０２で、登録対象の画像を入力する。この登録対象の画像の入力は、例えば、スキャナ等の入力デバイスを用いて行ったり、外部記憶装置に記憶されている画像を読み込むことで実現される。入力した画像は、一旦、メモリ上に記憶され、このメモリに記憶された画像のデータフォーマットから、その画像の種類が、カラー、モノクロ、グレースケール画像のいずれであるかを判定することができる。
【００２２】
次に、画像蓄積処理部１０３は、メモリ上の画像を画像蓄積部１０３ａへ記憶格納し、その画像とのファイル名を対応づけて記憶する。
【００２３】
次に、画像管理情報処理部１０４は、画像に対して固有の画像ＩＤを発番し、その画像ＩＤとその画像のファイル名（その格納先（アドレス）を示すフルパス情報を含むファイル名）、画像入力時の日付を対応づけた情報を管理情報として画像管理データベース（ＤＢ）１０４ａに記憶する。
【００２４】
尚、画像管理ＤＢ１０４ａの構成の一例を示すと、図２のようになる。
【００２５】
次に、輝度特徴情報抽出処理部１０５で、画像の輝度に関する輝度特徴情報を抽出し、その抽出した輝度特徴情報と画像ＩＤとを対応づけて輝度特徴情報インデックステーブル１０５ａに登録する。また、色特徴情報抽出処理部１０６で、画像の色に関する色特徴情報を抽出し、その抽出した色特徴情報と画像ＩＤとを対応づけて色特徴情報インデックステーブル１０６ａに登録する。
【００２６】
尚、輝度特徴情報インデックステーブル１０５ａ及び色特徴情報インデックステーブル１０６ａの構成の一例を示すと、それぞれ図３及び図４のようになる。これらのインデックステーブルでは、各種特徴情報と画像ＩＤとを対にして記憶管理することで、画像管理ＤＢ１０４ａのレコードと、画像ＩＤを仲立ちにして対応をとることが可能となっている。
【００２７】
また、色特徴情報抽出処理部１０６では、処理対象画像の種類がモノクロあるいはグレースケール画像である場合でも、その色特徴情報を抽出する。これは、特に、比較元画像がカラー画像である場合には、その色特徴情報を用いた類似画像検索処理を実行することになるが、その際に比較先画像がモノクロあるいはグレースケール画像のような色情報がない場合には、そのことを示す色特徴情報も極めて重要な情報となり得るからである。例えば、比較元画像が、薄い色、例えば、パステルカラー等で構成される場合には、比較先画像がモノクロ、グレースケール画像であるとしても、比較元画像の色特徴情報と比較先画像（検索対象画像）の色特徴情報との間で高い類似度が算出される期待があるからである。
【００２８】
次に、輝度特徴情報抽出処理部１０５が実行する処理の詳細について説明する。
【００２９】
輝度特徴情報抽出処理部１０５では、以下の３種類の輝度特徴情報抽出方法を適宜選択して実行することが可能である。
【００３０】
＜輝度特徴情報抽出方法１＞
この方法１では、処理対象画像を複数のブロックに分割した各ブロックの輝度ヒストグラム中の最頻輝度に対応する輝度階級と各ブロックの位置情報を対応付けた情報を輝度特徴情報として抽出する。
【００３１】
以下、この処理の詳細について、図５を用いて説明する。
【００３２】
図５は本発明の実施形態１の第１の輝度特徴情報抽出処理の詳細を示すフローチャートである。
【００３３】
まず、ステップＳ５０１で、処理対象画像がカラー画像であるか否かを判定する。
【００３４】
この判定は、処理対象画像のデータフォーマットに基づいて実行する。
【００３５】
例えば、マイクロソフト社が提供するオペレーティングシステムであるＷｉｎｄｏｗｓ（登録商標）で用いられる汎用的な画像データフォーマットであるＤＩＢフォーマットにおいては、データヘッダ中の構造体ＢＩＴＭＡＰＩＮＦＯＨＥＡＤＥＲのメンバーであるｂｉＢｉｔＣｏｕｎｔは、画像中の１ピクセルを表現するのに用いるビット数を示している。
【００３６】
特に、このｂｉＢｉｔＣｏｕｎｔが２４である場合にはフルカラー画像を示し、ｂｉＢｉｔＣｏｕｎｔが１の場合にはモノクロ２値画像を示し、ｂｉＢｉｔＣｏｕｎｔが８の場合には２５６色カラーあるいはグレースケール画像を示している。
【００３７】
また、ｂｉＢｉｔＣｏｕｎｔが８の場合には、データヘッダ中の構造体ＢＩＴＭＡＰＩＮＦＯのメンバーｂｍｉＣｏｌｏｒｓの内容を参照することで、画像が２５６色カラーあるいはグレースケール画像であるかを判定することができる。つまり、メンバーｂｍｉＣｏｌｏｒｓでは、その内容として、グレースケール表現のカラーパレットであるか、２５６色に減色するカラーパレットであるかが示されているので、その内容に基づいて、画像が２５６色カラーあるいはグレースケール画像であるかを判定することができる。
【００３８】
ステップＳ５０１において、処理対象画像がカラー画像でない場合（ステップＳ５０１でＮＯ）、ステップＳ５０３に進む。一方、処理対象画像がカラー画像である場合（ステップＳ５０１でＹＥＳ）、ステップＳ５０２に進み、カラー画像をグレースケール画像（８ビット：２５６階調）に変換する。
【００３９】
尚、この変換は、公知のＲＧＢカラーマトリックスを用いて実行する。例えば、ＹＣｂＣｒ色空間を用いると、グレースケール値を示す輝度Ｙの値と、ＲＧＢ値（各８ビットの計２４ビット）との関係は、
Ｙ＝0.29900＊Ｒ＋0.58700＊Ｇ＋0.11400＊Ｂ （１）
と表現される。従って、（１）式により、輝度Ｙの値を算出することができる。
【００４０】
次に、ステップＳ５０３で、画像を複数のブロックに分割する。
【００４１】
尚、実施形態１では、図６に示すように、画像を縦横それぞれ９ブロックに分割する。特に、実施形態１では、表記の都合上９×９＝８１ブロックに分割している例を示しているが、実際には、８から１５ブロック前後が好ましい。
【００４２】
次に、ステップＳ５０４で、処理対象となる着目ブロックを左上端のブロックに設定する。尚、この着目ブロックの設定は、例えば、図７に示すように、予め処理順序が決定された順序決定テーブルを参照して行う。
【００４３】
ステップＳ５０５で、未処理の着目ブロックの有無を判定する。未処理の着目ブロックがない場合（ステップＳ５０５でＮＯ）、処理を終了する。一方、未処理の着目ブロックがある場合（ステップＳ５０５でＹＥＳ）、ステップＳ５０６に進む。
【００４４】
ステップＳ５０６で、着目ブロックの全画素の輝度ヒストグラムを生成する。ステップＳ５０７で、図８の輝度階級テーブルを参照して、輝度ヒストグラムの最頻輝度範囲となる輝度階級ＩＤをその着目ブロックの代表輝度として決定し、その着目ブロックとその位置に対応づけて輝度特徴情報インデックステーブル１０５ａに記憶する。この処理は、換言すれば、輝度ヒストグラムを階級化（あるいは量子化）し、その階級化されたヒストグラムから最頻輝度を有する輝度階級を代表輝度として決定することに相当する。
【００４５】
尚、図８の輝度階級テーブルは、８ビットの輝度信号を、所定輝度範囲毎に階級を設定した場合の例を示している。
【００４６】
ステップＳ５０８で、図７の順序決定テーブルを参照して、次の処理対象となる着目ブロックを設定する。その後、ステップＳ５０５に戻り、未処理の着目ブロックがなくなるまで、ステップＳ５０５〜ステップＳ５０８の処理を再帰的に繰り返す。
【００４７】
以上の処理によって、処理対象画像のブロック毎の代表輝度と各ブロックの位置情報が対応付けられた情報を輝度特徴情報として抽出することができる。
【００４８】
＜輝度特徴情報抽出方法２＞
この方法２では、処理対象画像を複数のブロックに分割した各ブロックの画素の平均輝度と各ブロックの位置情報を対応付けた情報を輝度特徴情報として抽出する。
【００４９】
以下、この処理の詳細について、図９を用いて説明する。
【００５０】
図９は本発明の実施形態１の第２の輝度特徴情報抽出処理の詳細を示すフローチャートである。
【００５１】
尚、図９のステップＳ９０１〜ステップＳ９０５及びステップＳ９０８は、図５のステップＳ５０１〜ステップＳ５０５及びステップＳ５０８にそれぞれ対応するので、その詳細については省略する。
【００５２】
図９では、ステップＳ９０６で、着目ブロック内の全画素の輝度の平均輝度を算出する。ステップＳ９０７で、算出した平均輝度を、その着目ブロックとその位置に対応づけて輝度特徴情報インデックステーブル１０５ａに記憶する。
【００５３】
以上の処理によって、処理対象画像のブロック毎の平均輝度と各ブロックの位置情報が対応付けられた情報を輝度特徴情報として抽出することができる。
【００５４】
＜輝度特徴情報抽出方法３＞
この方法３では、処理対象画像を複数のブロックに分割した各ブロックにおける画素の平均輝度（輝度特徴情報）を算出し、その平均輝度に対応する図８における輝度階級と各ブロックの位置情報を対応付けた情報を輝度特徴情報として抽出する。
【００５５】
以下、この処理の詳細について、図１０を用いて説明する。
【００５６】
図１０は本発明の実施形態１の第３の輝度特徴情報抽出処理の詳細を示すフローチャートである。
【００５７】
尚、図１０のステップＳ１００１〜ステップＳ１００５及びステップＳ１００８は、図５のステップＳ５０１〜ステップＳ５０５及びステップＳ５０８にそれぞれ対応するので、その詳細については省略する。
【００５８】
図１０では、ステップＳ１００６で、着目ブロック内の全画素の輝度の平均輝度を算出する。ステップＳ１００７で、図８の輝度階級テーブルを参照して、平均輝度に対応する輝度階級ＩＤをその着目ブロックの代表輝度として決定し、その着目ブロックとその位置に対応づけて輝度特徴情報インデックステーブル１０５ａに記憶する。
【００５９】
以上の処理によって、処理対象画像のブロック毎の平均輝度に対応する代表輝度と各ブロックの位置情報が対応付けられた情報を輝度特徴情報として抽出することができる。
【００６０】
次に、色特徴情報抽出処理部１０６が実行する処理の詳細について説明する。
【００６１】
色特徴情報抽出処理部１０６では、以下の３種類の色特徴情報抽出方法を適宜実行する。
【００６２】
尚、色特徴情報抽出は、直感的には、上述の輝度特徴情報抽出を３次元に拡張したものと考えればよい。例えば、輝度特徴情報抽出では、図８の１次元の輝度階級テーブルを用いて、各着目ブロックの代表輝度を決定したが、色特徴情報抽出では、図１１のようなＲＧＢ色空間を立体的に複数の部分空間（いわゆる、色ビン）に分割し、この色ビン毎に色特徴情報を抽出することになる。
【００６３】
＜色特徴情報抽出方法１＞
この方法１では、処理対象画像を複数のブロックに分割した各ブロックの色ヒストグラム中の最頻色を有する色と各ブロックの位置情報を対応づけた情報を色特徴情報として抽出する。
【００６４】
以下、この処理の詳細について、図１２を用いて説明する。
【００６５】
図１２は本発明の実施形態１の第１の色特徴情報抽出処理の詳細を示すフローチャートである。
【００６６】
まず、ステップＳ１２０１で、処理対象画像がカラー画像であるか否かを判定する。尚、この判定は、図５のステップＳ５０１と同様にして行う。
【００６７】
ステップＳ１２０１において、処理対象画像がカラー画像である場合（ステップＳ１２０１でＹＥＳ）、ステップＳ１２０３に進む。一方、処理対象画像がカラー画像でない場合（ステップＳ１２０１でＮＯ）、ステップＳ１２０２に進み、グレースケール画像をカラー画像に変換する。
【００６８】
尚、この変換は、例えば、輝度値ａの画素を、ＲＧＢ値（ａ，ａ，ａ）とし、ＤＩＢフォーマットのバディングを考慮してデータ並びを整えればよい。このパディングとは、ＷＩＮＤＯＷＳ（登録商標）のＤＩＢフォーマット（ファイルとして実在するのはビットマップファイル（＊.ＢＭＰ））におけるカラー画像データを格納する際の画像データ表現仕様である。
【００６９】
次に、ステップＳ１２０３で、画像を複数のブロックに分割する。実施形態１では、図６に示すように、画像を縦横をそれぞれ９ブロックに分割する。特に、実施形態１では、表記の都合上９×９＝８１ブロックに分割している例を示しているが、実際には、１５×１５＝２２５ブロック程度であることが好ましい。
【００７０】
次に、ステップＳ１２０４で、処理対象となる着目ブロックを左上端のブロックに設定する。尚、この着目ブロックの設定は、図５のステップＳ１２０４と同様にして行う。
【００７１】
ステップＳ１２０５で、未処理の着目ブロックの有無を判定する。未処理の着目ブロックがない場合（ステップＳ１２０５でＮＯ）、処理を終了する。一方、未処理の着目ブロックがある場合（ステップＳ１２０５でＹＥＳ）、ステップＳ１２０６に進む。
【００７２】
ステップＳ１２０６で、着目ブロックの全画素の各濃度値を、図１１の色空間を分割して作った部分空間である色ビンへ射影し、色ビンに対する色ヒストグラムを生成する。
【００７３】
尚、実施形態１では、図１１に示すように、ＲＧＢ色空間を３×３×３＝２７に分割した色ビンへ着目ブロックの全画素の濃度値を射影する場合を示しているが、実際には、ＲＧＢ色空間を６×６×６＝２１６に分割した色ビンへ着目ブロックの全画素の濃度値を射影するほうが好ましい。
【００７４】
ステップＳ１２０７で、色ヒストグラムの最頻色ビンの色ビンＩＤをその着目ブロックの代表色と決定し、その着目ブロックとその位置に対応づけて色特徴情報インデックステーブル１０６ａに記憶する。
【００７５】
ステップＳ１２０８で、図７の順序決定テーブルを参照して、次の処理対象となる着目ブロックを設定する。その後、ステップＳ１２０５に戻り、未処理の着目ブロックがなくなるまで、ステップＳ１２０５〜ステップＳ１２０８の処理を再帰的に繰り返す。
【００７６】
以上の処理によって、処理対象画像のブロック毎の代表色と各ブロックの位置情報が対応付けられた情報を色特徴情報として抽出することができる。
【００７７】
＜色特徴情報抽出方法２＞
この方法２では、処理対象画像を複数のブロックに分割した各ブロックの画素の平均色と各ブロックの位置情報を対応付けた情報を色特徴情報として抽出する。
【００７８】
以下、この処理の詳細について、図１３を用いて説明する。
【００７９】
図１３は本発明の実施形態１の第２の色特徴情報抽出処理の詳細を示すフローチャートである。
【００８０】
尚、図１３のステップＳ１３０１〜ステップＳ１３０５及びステップＳ１３０８は、図１２のステップＳ１２０１〜ステップＳ１２０５及びステップＳ１２０８にそれぞれ対応するので、その詳細については省略する。
【００８１】
図１２では、ステップＳ１２０６で、着目ブロック内の全画素の色の平均色を算出する。ステップＳ１２０７で、算出した平均色を、その着目ブロックとその位置に対応づけて色特徴情報インデックステーブル１０６ａに記憶する。
【００８２】
以上の処理によって、処理対象画像のブロック毎の平均色と各ブロックの位置情報が対応付けられた情報を色特徴情報として抽出することができる。
【００８３】
＜色特徴情報抽出方法３＞
この方法３では、処理対象画像を複数のブロックに分割した各ブロックの画素の平均色を算出し、その平均色に対応する色ビンＩＤと各ブロックの位置情報を対応付けた情報を色特徴情報として抽出する。
【００８４】
以下、この処理の詳細について、図１４を用いて説明する。
【００８５】
図１４は本発明の実施形態１の第３の色特徴情報抽出処理の詳細を示すフローチャートである。
【００８６】
尚、図１４のステップＳ１４０１〜ステップＳ１４０５及びステップＳ１４０８は、図１２のステップＳ１２０１〜ステップＳ１２０５及びステップＳ１２０８にそれぞれ対応するので、その詳細については省略する。
【００８７】
図１４では、ステップＳ１４０６で、着目ブロック内の全画素の色の平均色を算出する。ステップＳ１４０７で、平均色に対応する色ビンＩＤをその着目ブロックの代表色として決定し、その着目ブロックとその位置に対応づけて色特徴情報インデックステーブル１０６ａに記憶する。
【００８８】
以上の処理によって、処理対象画像のブロック毎の平均色に対応する色ビンＩＤと各ブロックの位置情報が対応付けられた情報を色特徴情報として抽出することができる。
【００８９】
以上説明したように、実施形態１では、輝度特徴情報抽出方法及び色特徴情報抽出方法はそれぞれ３種類存在するが、これらの方法を画像登録処理時に利用する場合には、これらの方法を任意に組み合わせて実行して良いわけではない。
【００９０】
例えば、上記例において、階級／量子化の概念のある輝度特徴情報抽出方法１及び３、階級の概念のある色特徴情報抽出方法１及び３の組み合わせに関して、輝度特徴情報としての代表輝度の階級数あるいは量子化ステップ数が、色特徴情報を記述する色ビンのグレースケール方向のビン数よりも少ない場合、輝度情報検索と色情報検索の弱点を補い、両者の長所を生かした検索を実現することは困難となるので注意が必要である。
【００９１】
もちろん、非均等階級化や非線形量子化を用いることにより実効的な効率が、実際の階級数或いは量子化ステップ数以上に良い場合にはその限りではない。
【００９２】
次に、ＵＩ部１０１を介して画像検索処理を実行する場合について説明する。
【００９３】
［画像検索処理］
画像検索処理では、まず、比較元画像入力部１０７で、検索条件となる比較元画像を入力する。この比較元画像の入力は、例えば、例えば、スキャナ等の入力デバイスを用いて行ったり、外部記憶装置に記憶されている画像を読み込むことで実現される。入力した画像は、一旦、メモリ上に記憶され、このメモリに記憶された画像のデータフォーマットから、その画像の種類が、カラー画像、モノクロ、グレースケール画像のいずれであるかを判定することができる。
【００９４】
尚、実施形態１の画像検索処理は、比較元画像の色情報が十分であるかどうかだけに着目し、比較元画像の色情報が十分である場合には、その色特徴情報で比較先画像の色特徴情報との類似比較を行い、一方、比較元画像の色情報が不十分である場合には、その輝度特徴情報と比較先画像の輝度特徴情報との類似比較を行う類似画像検索を行う場合を例に挙げて説明する。
【００９５】
そこで、まず、判定処理部１０８で、メモリ上の画像の色情報が十分であるか否かを判定する。
【００９６】
色情報が十分である場合、色特徴情報比較処理部１０９で、比較元画像の色特徴情報を用いて、画像蓄積部１０３ａに記憶されている検索対象画像の色特徴情報との比較を行うことで類似画像検索を行う。
【００９７】
一方、色情報が不十分である場合、輝度特徴情報比較処理部１１０で、比較元画像の輝度特徴情報を用いて、画像蓄積部１０３ａに記憶されている検索対象画像の輝度特徴情報との比較を行うことで類似画像検索を行う。
【００９８】
これにより、比較元画像の画像の種類（モノクロやグレースケール画像、あるいはカラー画像）に適した方法で類似比較処理を行うことができる。
【００９９】
尚、判定処理部１０８の判定は、最も簡単な方法としては、上述の画像登録処理で説明した方法と同様な方法で、比較元画像のデータフォーマットを解析し、比較元画像がモノクロあるいはグレースケール画像である場合には、色情報はないので、比較元画像の色情報が不十分であると判定する。
【０１００】
一方、比較元画像がカラー画像である場合には、その比較元画像の色情報が十分であると判定すれば良いが、データフォーマット自体はカラー画像であるのに、その中はグレースケール画像である場合もある。そこで、このような場合には、データフォーマットがカラー画像である場合でも、比較元画像の色情報が十分であるか否かを厳密に判定する必要があり、その判定方法としては、比較元画像の色に関する解析を利用する方法がある。
【０１０１】
この解析の趣旨は、比較元画像に占める色情報の割合を解析するものであり、比較元画像に占める色情報の割合が予め定められた閾値以上である場合に色情報が十分であると判定し、閾値未満である場合に色情報が不十分であると判定する。
【０１０２】
ここで、判定処理部１０８において、比較元画像に占める色情報の割合を解析する解析方法には、２種類存在する。
【０１０３】
＜色解析方法１＞
図１５は本発明の実施形態１の第１の色解析方法を示すフローチャートである。
【０１０４】
まず、ステップＳ１５０１で、比較元画像がカラー画像であるか否かを判定する。比較元画像がカラー画像でない場合（ステップＳ１５０１でＮＯ）、ステップＳ１５０２に進み、比較元画像の色情報が不十分であると判定する。一方、比較元画像がカラー画像である場合（ステップＳ１５０１でＹＥＳ）、ステップＳ１５０３に進む。
【０１０５】
ステップＳ１５０３で、比較元画像の画素数が閾値以上であるか否かを判定する。閾値未満である場合（ステップＳ１５０３でＮＯ）、ステップＳ１５０９に進む。一方、閾値以上である場合（ステップＳ１５０３でＹＥＳ）、ステップＳ１５０４に進む。
【０１０６】
ステップＳ１５０４で、総画素数をその数より少ない所定値に近くなるような相似比（縮小率）を算出する。
【０１０７】
例えば、目的の画素数をＧｐ、比較元画像の縦サイズをＨ、横サイズをＷとすると、
相似比Ｓ＝Ｉｎｔ（sqrt（Ｈ＊Ｗ／Ｇｐ））
となる。
【０１０８】
但し、関数Int（ｘ）は、ｘより大きく、かつ整数と成る値を選ぶものを意味する。
【０１０９】
従って、比較元画像の縮小画像は、縦Ｈ２＝Ｈ／Ｓ［画素］、横Ｗ２＝Ｗ／Ｓ［画素］となる。
【０１１０】
次に、ステップＳ１５０５で、比較元画像の画素サイズ縦横Ｓ×Ｓブロックの処理対象ブロックの平均色を算出し、これを縮小画像の対応する画素の画素値とし、以降、縦横Ｓ×Ｓブロックの処理対象ブロックが重ならないように移動して、この処理を繰り返すことにより比較元画像の縮小画像を生成する。
【０１１１】
尚、ステップＳ１５０５で比較元画像の縮小画像を生成する理由は、以下のステップＳ１５０６で比較元画像の色ヒストグラムを生成する場合に、処理対象画像の画素数が非常に大きいと色ヒストグラムを生成する処理の負荷が大きくなるので、処理の負荷が軽減されるように、比較元画像の画素数を所望の数にするためである。もちろん、処理対象画像の画素数が少ない場合には、そのまま色ヒストグラムを生成するようにしても良い。
【０１１２】
次に、ステップＳ１５０６で、縮小画像を構成する全画素の各濃度値を、図１１の色空間を分割して作った部分空間である色ビンへ射影し、色ビンに対する色ヒストグラムを生成する。
【０１１３】
次に、ステップＳ１５０７で、各色ビンに対するヒストグラム情報からグレースケール方向の色ビンに属する画素数をカウントする。ステップＳ１５０８で、縮小画像の全画素数に対するグレースケール方向の色ビンに属する画素数の割合を算出する。
【０１１４】
ステップＳ１５１２で、算出された割合が予め定められた閾値以上であるか否かを判定する。閾値以上である場合（ステップＳ５１２でＹＥＳ）、ステップＳ１５０２に進む。一方、閾値未満である場合（ステップＳ５１２でＮＯ）、ステップＳ１５１３に進み、比較元画像の色情報が十分であると判定する。
【０１１５】
一方、ステップＳ１５０３において、比較元画像の画素数が閾値未満である場合には、ステップＳ１５０９で、縮小画像を構成する全画素の各濃度値を、図１１の色空間を分割して作った部分空間である色ビンへ射影し、色ビンに対する色ヒストグラムを生成する。ステップＳ１５１０で、各色ビンに対するヒストグラム情報からグレースケール方向の色ビンに属する画素数をカウントする。ステップＳ１５１１で、縮小画像の全画素数に対するグレースケール方向の色ビンに属する画素数の割合を算出する。その後、ステップＳ１５１２に進む。
【０１１６】
＜色解析方法２＞
図１６は本発明の実施形態１の第２の色解析方法を示すフローチャートである。
【０１１７】
まず、ステップＳ１６０１で、比較元画像がカラー画像であるか否かを判定する。比較元画像がカラー画像でない場合（ステップＳ１６０１でＮＯ）、ステップＳ１６０２に進み、比較元画像の色情報が不十分であると判定する。一方、比較元画像がカラー画像である場合（ステップＳ１６０１でＹＥＳ）、ステップＳ１６０３に進む。
【０１１８】
ステップＳ１６０３で、比較元画像を構成する全画素の色の平均色を算出する。ステップＳ１６０４で、平均色を輝度成分と色差成分に変換する。次に、ステップＳ１６０５で、輝度成分値に対する色差成分値の割合Ｒを算出する。
【０１１９】
ここで、色を輝度成分と色差成分に分離する分離方法については、公知の方法を用いる。
【０１２０】
例えば、ＹＣｂＣｒ色空間を用いると、２４ビットＲＧＢ値との関連は、
Ｙ ＝0.29900＊Ｒ＋0.58700＊Ｇ＋0.11400＊Ｂ
Ｃｂ＝-0.16874＊Ｒ−0.33126＊Ｇ＋0.50000＊Ｂ＋128
Ｃｒ＝0.50000＊Ｒ−0.41869＊Ｇ＋（-0.08131）＊Ｂ＋128 （２）
と表現される。
【０１２１】
式（２）に従って、算出した平均色を輝度成分Ｙaveと色差成分Ｃｂave及びＣｒaveに分離し、
割合Ｒ＝sqrt（Ｃｂave＊Ｃｂave＋Ｃｒave＊Ｃｒave）／Ｙave （３）
を計算する。
【０１２２】
そして、ステップＳ１６０６で、この割合Ｒが予め定めた閾値以上であるか否かを判定する。閾値以上である場合（ステップＳ１６０６でＹＥＳ）、ステップＳ１６０２に進む。一方、閾値未満である場合（ステップＳ１６０６でＮＯ）、ステップＳ１６０７に進み、比較元画像の色情報が十分であると判定する。
【０１２３】
次に、色特徴情報比較処理部１０９が実行する処理の詳細について説明する。
【０１２４】
色特徴情報比較処理部１０９では、以下の３種類の色特徴情報比較方法を適宜選択して実行することが可能である。
【０１２５】
尚、色特徴情報比較処理部１０９では、比較元対象画像の色特徴情報を抽出するために、上述の色特徴情報抽出方法１乃至３のいずれか１つを用いる。
【０１２６】
そこで、まず、色特徴抽出方法１を用いた場合の色特徴情報比較方法１について説明する。
【０１２７】
＜色特徴情報比較方法１＞
図１７は本発明の実施形態１の第１の色特徴情報比較処理の詳細を示すフローチャートである。
【０１２８】
まず、ステップＳ１７０１で、図１２のフローチャートで説明した処理によって、比較元画像の色特徴情報をブロック毎に抽出する。但し、比較元画像が既に画像蓄積部１０３ａに登録済みの画像である場合には、対応する色特徴情報を色特徴インデックステーブル１０６ａから読み出す。
【０１２９】
次に、ステップＳ１７０２で、比較元画像と未比較の比較先画像（画像蓄積部１０３ａに蓄積されている）の有無を判定する。未比較の比較先画像がない場合（ステップＳ１７０２でＮＯ）、ステップＳ１７１１に進む。一方、未比較の比較先画像がある場合（ステップＳ１７０２でＹＥＳ）、ステップＳ１７０３に進む。
【０１３０】
ステップＳ１７０３で、色特徴情報インデックステーブル１０６ａを参照して、処理対象画像の画像ＩＤと各ブロックの色特徴情報を読み出す。ステップＳ１７０４で、処理対象とする画像中の着目ブロックを先頭に設定する。ステップＳ１７０５で、比較元画像の色特徴情報と、比較対象の色特徴情報の類似度を示す類似距離を０にリセットする。
【０１３１】
ステップＳ１７０６で、未比較の着目ブロックの有無を判定する。未比較の着目ブロックがない場合（ステップＳ１７０６でＮＯ）、ステップＳ１７１０に進む。一方、未比較の着目ブロックがある場合（ステップＳ１７０６でＹＥＳ）、ステップＳ１７０７に進む。
【０１３２】
ステップＳ１７０７で、比較元画像と比較先画像のそれぞれの色特徴情報から、それぞれの着目ブロックの色ビンＩＤを取得する。
【０１３３】
ステップＳ１７０８で、図１８の色ビンペナルティマトリックスを参照して、取得した色ビンＩＤ間に対応する着目ブロックの局所的類似距離を取得し、これを直前の処理で取得している類似距離に累積加算する。そして、この類似距離はメモリに記憶する。
【０１３４】
ここで、色ビンペナルティマトリックスについて、図１８を用いて説明する。
【０１３５】
図１８は本発明の実施形態１の色ビンペナルティマトリックスの構成を示す図である。
【０１３６】
色ビンペナルティマトリックスは、色ビンＩＤ同士の局所的類似距離を管理するマトリックスである。図１８によれば、色ビンペナルティマトリックスは、同一色ビンＩＤではその類似距離は０となり、色ビンＩＤ同士の差が大きくなるほど、つまり、類似度が低くなるほど、その類似距離は大きくなるように構成されている。また、同一色ビンＩＤの対角位置は全て、その類似距離は０で、それを境に対象性を持っている。
【０１３７】
このように、実施形態１では、色ビンペナルティマトリックスを参照するだけで、色ビンＩＤ同士の類似距離を取得することができるので、処理の高速化を図ることができる。
【０１３８】
そして、ステップ１７０９で、次の処理対象となる着目ブロックを設定する。
【０１３９】
一方、ステップＳ１７０６で、未比較の着目ブロックがない場合（ステップＳ１７０６でＮＯ）、ステップＳ１７１０に進み、メモリに記憶されている類似距離を画像ＩＤに対応づけてメモリに記憶する。
【０１４０】
そして、ステップＳ１７０２で、未比較の画像がない場合（ステップＳ１７０２でＮＯ）、ステップＳ１７１１に進み、メモリに記憶されている各画像ＩＤに対応する類似距離の昇順で、画像ＩＤをソートし、ソートした画像ＩＤと類似距離の対を検索結果として出力する。
【０１４１】
次に、色特徴抽出方法２を用いた場合の色特徴情報比較方法２について説明する。
【０１４２】
＜色特徴情報比較方法２＞
図１９は本発明の実施形態１の第２の色特徴情報比較処理の詳細を示すフローチャートである。
【０１４３】
尚、図１９のステップＳ１９０２〜ステップＳ１９０６、ステップＳ１９１０及びステップＳ１９１１は、図１７のステップＳ１７０２〜ステップＳ１７０６、ステップＳ１７１０及びステップＳ１７１１にそれぞれ対応するので、その詳細については省略する。
【０１４４】
まず、ステップＳ１９０１で、図１３のフローチャートで説明した処理によって、比較元画像の色特徴情報として平均色をブロック毎に抽出する。但し、比較元画像が既に画像蓄積部１０３ａに登録済みの画像である場合には、対応する色特徴情報を色特徴インデックステーブル１０６ａから読み出す。
【０１４５】
ステップＳ１９０２〜ステップＳ１９０６の処理を経て、ステップＳ１９０７で、比較元画像と比較先画像それぞれの着目ブロックの平均色を取得する。次に、ステップＳ１９０８で、類似距離としてＲＧＢチャンネルのユークリッド距離を算出する。
【０１４６】
ここで、比較元画像の着目ブロックの色平均値（Ｒ0，Ｇ0，Ｂ0）、比較先画像の着目ブロックの色平均値（Ｒ1，Ｇ1，Ｂ1）、着目ブロック間の類似距離ｄとすると、
ｄ＝sqrt（（Ｒ0−Ｒ1）＊（Ｒ0−Ｒ1）＋（Ｇ0−Ｇ1）＊（Ｇ0−Ｇ1）＋（Ｂ0−Ｂ1）＊（Ｂ0−Ｂ1）） （４）
となる。この算出した類似距離ｄを直前の処理で算出している類似距離に累積加算する。そして、この類似距離はメモリに記憶する。
【０１４７】
次に、色特徴抽出方法３を用いた場合の色特徴情報比較方法３について説明する。
【０１４８】
＜色特徴情報比較方法３＞
図２０は本発明の実施形態１の第３の色特徴情報比較処理の詳細を示すフローチャートである。
【０１４９】
尚、図２０のステップＳ２００１以外のステップ２００２〜ステップＳ２０１１は、図１７のステップＳ１７０２〜ステップＳ１７１１にそれぞれ対応するので、その詳細については省略する。
【０１５０】
まず、ステップＳ２００１で、図１４のフローチャートで説明した処理によって、比較元画像の平均色をブロック毎に算出する。そして、各ブロックの平均色に対応する色ビンＩＤを色特徴情報として抽出する。
【０１５１】
次に、輝度特徴情報比較処理部１１０が実行する処理の詳細について説明する。
【０１５２】
輝度特徴情報比較処理部１１０では、以下の３種類の色特徴情報比較方法を適宜選択して実行することができる。
【０１５３】
尚、輝度特徴情報比較処理部１１０では、比較元対象画像の色特徴情報を抽出するために、上述の輝度特徴情報抽出方法１乃至３のいずれか１つを用いる。
【０１５４】
そこで、まず、輝度特徴抽出方法１を用いた場合の輝度特徴情報比較方法１について説明する。
【０１５５】
＜輝度特徴情報比較方法１＞
図２１は本発明の実施形態１の第１の輝度特徴情報比較処理の詳細を示すフローチャートである。
【０１５６】
まず、ステップＳ２１０１で、図５のフローチャートで説明した処理によって、比較元画像の輝度特徴情報として輝度階級ＩＤを抽出する。但し、比較元画像が既に画像蓄積部１０３ａに登録済みの画像である場合には、対応する輝度特徴情報を輝度特徴インデックステーブル１０５ａから読み出す。
【０１５７】
次に、ステップＳ２１０２で、比較元画像と未比較の比較先画像（画像蓄積部１０３ａに蓄積されている）の有無を判定する。未比較の比較先画像がない場合（ステップＳ２１０２でＮＯ）、ステップＳ２１１１に進む。一方、未比較の比較先画像がある場合（ステップＳ２１０２でＹＥＳ）、ステップＳ２１０３に進む。
【０１５８】
ステップＳ２１０３で、輝度特徴情報インデックステーブル１０５ａを参照して、処理対象画像の画像ＩＤと各ブロックの輝度特徴情報を読み出す。ステップＳ２１０４で、処理対象とする画像中の着目ブロックを先頭に設定する。ステップＳ２１０５で、比較元画像の輝度特徴情報と、比較対象の輝度特徴情報の類似度を示す類似距離を０にリセットする。
【０１５９】
ステップＳ２１０６で、未比較の着目ブロックの有無を判定する。未比較の着目ブロックがない場合（ステップＳ２１０６でＮＯ）、ステップＳ２１１０に進む。一方、未比較の着目ブロックがある場合（ステップＳ２１０６でＹＥＳ）、ステップＳ２１０７に進む。
【０１６０】
ステップＳ２１０７で、比較元画像と比較先画像のそれぞれの輝度特徴情報から、着目ブロックの輝度に関する輝度階級ＩＤを取得する。
【０１６１】
ステップＳ２１０８で、図２２の輝度階級ＩＤペナルティマトリックスを参照して、取得した輝度階級ＩＤ間に対応する着目ブロックの局所的類似距離を取得し、これを直前の処理で取得している類似距離に累積加算する。そして、この類似距離はメモリに記憶する。
【０１６２】
ここで、輝度階級ＩＤペナルティマトリックスについて、図２２を用いて説明する。
【０１６３】
図２２は本発明の実施形態１の輝度階級ＩＤペナルティマトリックスの構成を示す図である。
【０１６４】
輝度階級ＩＤペナルティマトリックスは、輝度階級ＩＤ同士の局所的類似距離を管理するマトリックスである。図２２によれば、輝度階級ＩＤペナルティマトリックスは、同一輝度階級ＩＤではその類似距離は０となり、輝度階級ＩＤ同士の差が大きくなるほど、つまり、類似度が低くなるほど、その類似距離は大きくなるように構成されている。また、同一輝度階級ＩＤの対角位置は全て、その類似距離は０で、それを境に対象性を持っている。
【０１６５】
このように、実施形態１では、輝度階級ＩＤペナルティマトリックスを参照するだけで、輝度階級ＩＤ同士の類似距離を取得することができるので、処理の高速化を図ることができる。
【０１６６】
そして、ステップＳ２１０９で、次の処理対象となる着目ブロックを設定する。
【０１６７】
一方、ステップＳ２１０６で、未比較の着目ブロックがない場合（ステップＳ２１０６でＮＯ）、ステップＳ２１１０に進み、メモリに記憶されている類似距離を画像ＩＤに対応づけてメモリに記憶する。
【０１６８】
そして、ステップＳ２１０２で、未比較の画像がない場合（ステップＳ２１０２でＮＯ）、ステップＳ２１１１１に進み、メモリに記憶されている各画像ＩＤに対応する類似距離の昇順で、画像ＩＤをソートし、ソートした画像ＩＤと類似距離の対を検索結果として出力する。
【０１６９】
次に、輝度特徴抽出方法２を用いた場合の輝度特徴情報比較方法２について説明する。
【０１７０】
＜輝度特徴情報比較方法２＞
図２３は本発明の実施形態１の第２の輝度特徴情報比較処理の詳細を示すフローチャートである。
【０１７１】
尚、図２３のステップＳ２３０２〜ステップＳ２３０６、ステップＳ２３１０及びステップＳ２３１１は、図２１のステップＳ２１０２〜ステップＳ２１０６、ステップＳ２１１０及びステップＳ２１１１にそれぞれ対応するので、その詳細については省略する。
【０１７２】
まず、ステップＳ２３０１で、図９のフローチャートで説明した処理によって、比較元画像の輝度特徴情報として平均輝度をブロック毎に抽出する。但し、比較元画像が既に画像蓄積部１０３ａに登録済みの画像である場合には、対応する輝度特徴情報を輝度特徴インデックステーブル１０５ａから読み出す。
【０１７３】
ステップＳ２３０２〜ステップＳ２３０６の処理を経て、ステップＳ２３０７で、比較元画像と比較先画像それぞれの着目ブロックの平均輝度を取得する。次に、ステップＳ２３０８で、類似距離として平均輝度の輝度差の絶対値を算出する。
【０１７４】
ここで、比較元画像の着目ブロックの平均輝度Ｙ0、比較先画像の着目ブロックの平均輝度Ｙ1、着目ブロック間の類似距離ｄとすると、
ｄ＝abs（Ｙ0−Ｙ1） （５）
となる。この算出した類似距離ｄを直前の処理で算出している類似距離に累積加算する。そして、この類似距離はメモリに記憶する。
【０１７５】
次に、輝度特徴抽出方法３を用いた場合の輝度特徴情報比較方法３について説明する。
【０１７６】
＜輝度特徴情報比較方法３＞
図２４は本発明の実施形態１の第３の輝度特徴情報比較処理の詳細を示すフローチャートである。
【０１７７】
尚、図２４のステップＳ２４０１以外のステップ２４０２〜ステップＳ２４１１は、図２１のステップＳ２１０２〜ステップＳ２１１１にそれぞれ対応するので、その詳細については省略する。
【０１７８】
まず、ステップＳ２４０１で、図１０のフローチャートで説明した処理によって、比較元画像の平均輝度をブロック毎に算出する。そして、各ブロックの平均輝度に対応する輝度階級ＩＤを輝度特徴情報として抽出する。
【０１７９】
以上説明した画像登録処理と画像検索処理を実行することにより、比較先画像の種類がモノクロやグレースケールであっても、あるいはカラー画像であっても、その画像の種類に適した画像特徴量を用いて、画像を登録あるいは画像を検索することができる。
【０１８０】
次に、検索結果表示部処理部１１１が実行する検索結果表示処理について説明する。
【０１８１】
［検索結果表示処理］
検索結果表示処理では、類似度が高い順、即ち、類似距離の昇順に画像ＩＤとその類似度の対がソートされた情報を元に、画像管理ＤＢ１０４ａを参照し、該当するレコードから画像の格納先であるファイルフルパス情報を取得して、画像蓄積部１０３ａから対応する画像を読み出し、表示する。
【０１８２】
以下、検索結果表示処理について、図２５を用いて説明する。
【０１８３】
図２５は本発明の実施形態１の検索結果表示処理を示すフローチャートである。
【０１８４】
ステップＳ２５０１で、画像検索処理によって得られた検索結果数である検索ヒット個数Ｍと、比較元画像と検索結果として得られる比較先画像との類似度が高い順、即ち、類似距離の昇順に対応する画像ＩＤとその類似度の対を取得する。
【０１８５】
次に、ステップＳ２５０２で、表示画面の表示可能な画像の個数Ｎを取得する。
【０１８６】
尚、この個数Ｎは、検索結果として表示する画像の縮小画像のサイズと、表示画面上の検索結果表示領域のサイズによって決定される。
【０１８７】
ステップＳ２５０３で、検索ヒット個数Ｍと個数Ｎの小さいほうを画像表示個数Ｒに設定する。
【０１８８】
ステップＳ２５０４で、検索結果として表示する画像の順位（読出画像順位）を示す変数Ｋを１に初期化する。ステップＳ２５０５で、Ｋ≦Ｒであるか否かを判定する。Ｋ≦Ｒでない場合（ステップＳ２５０５でＮＯ）、処理を終了する。一方、Ｋ≦Ｒである場合（ステップＳ２５０６でＹＥＳ）、ステップＳ２５０６に進む。
【０１８９】
ここで、ステップＳ２５０６〜ステップＳ２５０８の処理は、類似画像検索結果である画像を表示画面に表示する処理となる。
【０１９０】
ここで、類似画像検索結果の表示例について、図２６を用いて説明する。
【０１９１】
図２６は本発明の実施形態１の類似画像検索結果の表示例を示す図である。
【０１９２】
図２６に示されるように、表示画面上の検索結果表示領域には、検索結果とする画像の縮小画像を類似距離の昇順に左上端から順に右隣へ順に並べて表示し、右上端まで到達したら、次の行の左端に移り、そこからまた右隣に順に右端まで並べて表示したら、以下、同様に、検索結果表示領域の終わりとなる右下端まで並べて表示して行く。また、表示する縮小画像の下には、対応する類似距離を併せて表示する。
【０１９３】
ステップＳ２５０６で、読出画像順位Ｋにより、表示対象の画像の表示位置を決定する。ステップＳ２５０７で、読出画像順位Ｋの画像ＩＤに対応する画像のアドレス情報（フルパス情報）を画像管理ＤＢ１０４ａから取得する。ステップＳ２５０８で、アドレス情報で示される画像を読み出し、決定した表示位置にその縮小画像を表示する。その後、変数Ｋを１インクリメントして、ステップＳ２５０５に進む。
【０１９４】
尚、実施形態１の画像検索処理では、比較元画像の色情報が十分であるかどうかだけに着目し、比較元画像の色情報が十分である場合にはその色特徴情報で比較先画像の色特徴情報との類似比較を行い、比較元画像の色情報が不十分である場合にはその輝度特徴情報と比較先画像の輝度特徴情報との類似比較を行う類似画像検索の例を示したが、これに限定されない。
【０１９５】
例えば、比較先画像の色情報が十分であるか否かについても考慮し、比較する画像の双方の色情報が十分である場合に、双方の色特徴情報で類似比較を行い、どちらか片方あるいは双方の色情報が不十分である場合に、双方の輝度特徴情報で類似比較を行う類似画像検索を行うようにしても良い。
【０１９６】
また、画像登録処理は、画像入力処理、画像蓄積処理、画像管理情報処理、輝度特徴情報抽出処理、色特徴情報抽出処理の順番で処理を行ったが、画像入力処理以降の処理に関してはその順序は問わない。
【０１９７】
一方、画像検索処理においては、比較元画像が既に画像蓄積部１０３ａへ登録済みの画像であるならば、既にその色特徴情報及び輝度特徴情報も登録されているので、かかる画像に対する色特徴情報抽出処理及び輝度特徴情報抽出処理は不要となる。
【０１９８】
また、画像管理ＤＢ１０４ａ、輝度特徴情報インデックステーブル１０５ａ、色特徴情報インデックステーブル１０６ａを別々に構成し、画像ＩＤを仲立ちとして互いの情報に対応を取る構成例を示したが、これらのＤＢ及びテーブル群を一体にして構成しても良い。
【０１９９】
また、処理対象となる着目ブロックの設定は、図７の順序決定テーブルで示される走査順序に限定されるものではなく、水平走査及び垂直走査あるいはジグザグ走査等の他の走査順序、つまり、画像の各ブロックを着目ブロックとして設定できるような走査順序であれば、どのような走査順序であっても良い。
【０２００】
以上説明したように、実施形態１によれば、処理対象画像（比較先画像及び比較元画像）の種類に応じて、適応的に検索方法を切り替えて類似画像検索を実行するので、従来より存在する色情報検索と輝度情報検索の両者の短所を補い、かつ両者の長所を生かした類似画像検索を実現することができる。
【０２０１】
＜＜実施形態２＞＞
実施形態２は実施形態１の変形例である。特に、実施形態２では、図２７に示すように、実施形態１の図１の判定処理部１０８の処理を画像登録処理時に実行する点と、検索条件となる比較先画像を既に画像蓄積部１０３ａから入力する点と、新たな構成要素として追加した比較特徴量決定処理部１１２の処理を画像検索処理時に処理を実行する点にある。
【０２０２】
以下、実施形態２では、実施形態１の処理と異なる部分について説明する。
【０２０３】
まず、実施形態２の判定処理部１０８では、入力した比較先画像の色情報が十分であるか否かを判定する。この判定方法は、実施形態１と同様であるが、実施形態２では、その判定結果を示す色情報フラグ（色情報が十分である場合：１、色情報が不十分である場合：０）を、登録対象の画像ＩＤとその画像のファイル名、画像入力時の日付を対応づけて画像管理ＤＢ１０４ａに記憶する。
【０２０４】
尚、この場合の画像管理ＤＢ１０４ａの構成の一例を示すと、図２８のようになる。
【０２０５】
一方、実施形態２の画像検索処理を行う場合には、比較元画像入力処理部１０７は、検索条件となる比較元画像をＵＩ部１０１によって提供される操作画面を介して指定する。
【０２０６】
次に、比較特徴量決定処理部１１２で、画像管理ＤＢ１０４ａを参照して、指定された比較元画像の色情報フラグを取得し、色情報フラグが１である場合、色特徴情報比較処理部１０９の処理を実行することを決定する。一方、色情報フラグが０である場合、輝度特徴情報比較処理部１１０の処理を実行することを決定する。以下、この決定に従って、実施形態１で説明した色特徴情報比較処理部１０９あるいは輝度特徴情報比較処理部１１０の処理を実行することになる。
【０２０７】
但し、実施形態２では、色特徴情報比較処理部１０９及び輝度特徴情報比較処理部１１０それぞれで行う色特徴情報抽出処理及び輝度特徴情報抽出処理は、単に、画像管理ＤＢ１０４ａに記憶されている処理対象画像の色特徴情報及び輝度特徴情報を読み出すことで完了する。
【０２０８】
尚、実施形態２の画像検索処理では、比較元画像の色情報が十分であるかどうかだけに着目し、画像管理ＤＢ１０４ａの比較元画像の色情報フラグを参照して、その色情報が十分である場合にはその色特徴情報で比較先画像の色特徴情報との類似比較を行い、比較元画像の色情報量が不十分である場合にはその輝度特徴情報と比較先画像の輝度特徴情報との類似比較を行う類似画像検索の例を示したが、これに限定されない。
【０２０９】
例えば、比較先画像の色情報が十分であるか否かについても考慮し、比較する画像の双方の色情報が十分である場合に、双方の色特徴情報で類似比較を行い、どちらか片方あるいは双方の色情報が不十分である場合に、双方の輝度特徴情報で類似比較を行う類似画像検索を行うようにしても良い。
【０２１０】
また、画像登録処理、画像入力処理、画像蓄積処理、画像管理情報処理、判定処理、輝度特徴情報抽出処理、色特徴情報抽出処理の順番で処理を行ったが、画像入力処理以降の処理に関してはその順序は問わない。
【０２１１】
また、画像管理ＤＢ１０４ａ、輝度特徴情報インデックステーブル１０５ａ、色特徴情報インデックステーブル１０６ａを別々に構成し、画像ＩＤを仲立ちとして互いの情報に対応を取る構成例を示したが、これらのＤＢ及びテーブル群を一体にして構成しても良い。
【０２１２】
以上説明したように、実施形態２によれば、実施形態１で説明した効果に加えて、画像登録処理時に登録対象画像の色情報が十分であるか否かを示す色情報フラグをその登録対象画像と伴に予め記憶しておき、画像検索処理時には、登録済みの画像を検索条件とする比較元画像として利用し、かつその色情報フラグを利用して比較元画像の色情報が十分であるか否かを判定することができるので、実施形態１に比べてより効率的に処理を実行することができる。
【０２１３】
以上説明した実施形態１及び２における、画像処理装置は、パーソナルコンピュータ等の情報処理装置でもって実現できるし、その機能を実現する手順としての方法の発明として捉えることができる。また、コンピュータにより実現できるわけであるから、本発明はそれぞれの装置で実行されるコンピュータプログラム、更には、そのコンピュータプログラムを格納し、コンピュータが読み込めるＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体にも適用できるのは明らかであろう。
【０２１４】
従って、上記実施形態１及び２に係る実施態様を列挙すると、次の通りである。すなわち、画像処理装置及びその方法、プログラムは、次のようになる。
【０２１５】
＜実施態様１＞ 検索条件となる比較元画像と、その比較先画像との類似度に基づいて、類似画像検索を行う画像処理装置であって、
処理対象画像の輝度に関する輝度特徴情報を抽出する輝度特徴情報抽出手段と、
処理対象画像の色に関する色特徴情報を抽出する色特徴情報抽出手段と、
処理対象画像の色情報が十分であるか否かを判定する判定手段と、
前記判定手段の判定の結果、前記比較元画像の色情報が十分である場合、その色特徴情報で前記比較先画像の色特徴情報との類似比較を行い、一方、前記比較元画像の色情報が不十分である場合、その輝度特徴情報と前記比較先画像の輝度特徴情報との類似比較を行う比較手段と、
前記比較手段の比較結果に基づいて、検索結果となる画像を出力する出力手段と
を備えることを特徴とする画像処理装置。
【０２１６】
＜実施態様２＞ 前記比較手段は、前記判定手段の判定の結果、前記比較元画像及び前記比較先画像それぞれの色情報が十分である場合、該比較元画像及び該比較先画像の双方の色特徴情報で類似比較を行い、一方、前記比較元画像及び前記比較先画像の少なくとも一方の色情報が不十分である場合、該比較元画像及び該比較先画像の双方の輝度特徴情報で類似比較を行う
ことを特徴とする実施態様１に記載の画像処理装置。
【０２１７】
＜実施態様３＞ 前記判定手段は、前記比較元画像の画素の色を解析する解析手段を備え、
前記解析手段の解析結果に基づいて、前記比較元画像の色情報が十分であるか否かを判定する
ことを特徴とする実施態様１に記載の画像処理装置。
【０２１８】
＜実施態様４＞ 前記判定手段は、前記比較元画像のデータフォーマットが、カラー画像である場合には、該比較元画像の色情報が不十分であると判定し、一方、モノクロあるいはグレースケール画像である場合には、該比較元画像の色情報が不十分であると判定する
ことを特徴とする実施態様１に記載の画像処理装置。
【０２１９】
＜実施態様５＞ 前記解析手段は、前記比較元画像に占める色情報の割合を解析する
ことを特徴とする実施態様３に記載の画像処理装置。
【０２２０】
＜実施態様６＞ 前記解析手段は、前記比較元画像あるいはその縮小画像を構成する全画素の平均色平均色における輝度成分値に対する色差成分値の比率を解析する
ことを特徴とする実施態様３に記載の画像処理装置。
【０２２１】
＜実施態様７＞ 前記解析手段は、前記比較元画像あるいはその縮小画像を構成する全画素の各濃度値を、色空間を分割して作った部分空間である色ビンへ射影し、色ビンに対する色ヒストグラムを生成する生成手段と、
前記比較元画像の全画素数に対するグレースケール方向の色ビンに属する画素数の割合を算出する算出手段と
を備えることを特徴とする実施態様３に記載の画像処理装置。
【０２２２】
＜実施態様８＞ 前記輝度特徴情報は、前記比較元画像を複数のブロックに分割した各ブロックにおける輝度ヒストグラム中の最頻輝度に対応する輝度階級と、各ブロックの位置情報とを対応づけた情報である
ことを特徴とする実施態様１に記載の画像処理装置。
【０２２３】
＜実施態様９＞ 前記輝度特徴情報は、前記比較元画像を複数のブロックに分割した各ブロックにおける平均輝度と、各ブロックの位置情報とを対応づけた情報である
ことを特徴とする実施態様１に記載の画像処理装置。
【０２２４】
＜実施態様１０＞ 前記輝度特徴情報は、前記比較元画像を複数のブロックに分割した各ブロックにおける平均輝度に対応する輝度階級と、各ブロックの位置情報とを対応づけた情報である
ことを特徴とする実施態様１に記載の画像処理装置。
【０２２５】
＜実施態様１１＞ 前記色特徴情報は、前記比較元画像を複数のブロックに分割した各ブロックにおける色ヒストグラム中の最頻色に対応する色ビンＩＤと、各ブロックの位置情報とを対応づけた情報である
ことを特徴とする実施態様１に記載の画像処理装置。
【０２２６】
＜実施態様１２＞ 前記色特徴情報は、前記比較元画像を複数のブロックに分割した各ブロックにおける平均色と、各ブロックの位置情報とを対応づけた情報である
ことを特徴とする実施態様１に記載の画像処理装置。
【０２２７】
＜実施態様１３＞ 前記色特徴情報は、前記比較元画像を複数のブロックに分割した各ブロックにおける平均色に対応する色ビンＩＤと、各ブロックの位置情報とを対応づけた情報である
ことを特徴とする実施態様１に記載の画像処理装置。
【０２２８】
＜実施態様１４＞ 前記輝度特徴情報抽出手段は、前記輝度特徴情報を、前記比較元画像を複数のブロックに分割した各ブロックの輝度ヒストグラムを階級化あるいは量子化したヒストグラムに基づいて抽出し、
前記色特徴情報抽出手段は、前記色特徴情報を複数のブロックに分割した各ブロックを構成する全画素の各濃度値を、色空間を分割して作った部分空間である色ビンへ射影して得られる色ビンに対する色ヒストグラムに基づいて抽出し、
前記輝度特徴情報抽出手段による階級化あるいは量子化での階級数あるいは量子化ステップ数は、前記色特徴情報抽出手段における色ビンのグレースケール方向のビン数よりも多い
ことを特徴とする実施態様１に記載の画像処理装置。
【０２２９】
＜実施態様１５＞ 前記色特徴情報抽出手段は、処理対象画像である前記比較元画像がモノクロあるいはグレースケール画像である場合でも、該比較元画像の色に関する色特徴情報を抽出する
ことを特徴とする実施態様１に記載の画像処理装置。
【０２３０】
＜実施態様１６＞ 前記比較先画像となる画像を画像蓄積部に登録する登録手段を更に備え、
前記色特徴情報抽出手段は、処理対象画像である前記比較先画像がモノクロあるいはグレースケール画像である場合、該比較先画像をカラー画像へ変換した変換画像の色に関する色特徴情報を抽出する
ことを特徴とする実施態様１に記載の画像処理装置。
【０２３１】
＜実施態様１７＞ 前記輝度特徴情報抽出手段は、処理対象画像を複数のブロックに分割した各ブロック毎に前記輝度特徴情報を抽出し、その分割する縦横ブロック数は、前記処理対象画像のアスペクト比や大きさに関わらず同一である
ことを特徴とする実施態様１に記載の画像処理装置。
【０２３２】
＜実施態様１８＞ 前記色特徴情報抽出手段は、処理対象画像を複数のブロックに分割した各ブロック毎に前記色特徴情報を抽出し、その分割する縦横ブロック数は、前記処理対象画像のアスペクト比や大きさに関わらず同一である
ことを特徴とする実施態様１に記載の画像処理装置。
【０２３３】
＜実施態様１９＞ 色情報が十分であるか否かを示す色情報フラグと対応付けられている画像を記憶する記憶手段を更に備え、
前記判定手段は、前記比較先画像が前記記憶手段に記憶されている画像である場合、該比較先画像に対応する色情報フラグに基づいて、該比較先画像の色情報が十分であるか否かを判定する
ことを特徴とする実施態様１に記載の画像処理装置。
【０２３４】
＜実施態様２０＞ 前記比較先画像を前記記憶手段に記憶されている画像から指定する指定手段を更に備える
ことを特徴とする実施態様１９に記載の画像処理装置。
【０２３５】
＜実施態様２１＞ 類似画像検索の検索対象となる画像の画像登録処理を行う画像処理装置であって、
画像を入力する入力手段と、
前記画像を管理するための管理情報を生成する生成手段と、
前記画像の輝度に関する輝度特徴情報を抽出する輝度特徴情報抽出手段と、
前記画像の色に関する色特徴情報を抽出する色特徴情報抽出手段と、
前記画像、前記管理情報、前記輝度特徴情報及び前記色特徴情報を対応づけて記憶する記憶手段と
を備えることを特徴とする画像処理装置。
【０２３６】
＜実施態様２２＞ 前記画像の色情報が十分であるか否かを判定する判定手段を更に備え、
前記記憶手段は、更に、前記判定手段の判定結果によって得られる色情報が十分であるか否かを示す色情報フラグを対応づけて記憶する
ことを特徴とする実施態様２１に記載の画像処理装置。
【０２３７】
＜実施態様２３＞ 検索条件となる比較元画像と、その比較先画像との類似度に基づいて、類似画像検索を行う画像処理方法であって、
処理対象画像の輝度に関する輝度特徴情報を抽出する輝度特徴情報抽出工程と、
処理対象画像の色に関する色特徴情報を抽出する色特徴情報抽出工程と、
処理対象画像の色情報が十分であるか否かを判定する判定工程と、
前記判定工程の判定の結果、前記比較元画像の色情報が十分である場合、その色特徴情報で前記比較先画像の色特徴情報との類似比較を行い、一方、前記比較元画像の色情報が不十分である場合、その輝度特徴情報と前記比較先画像の輝度特徴情報との類似比較を行う比較工程と、
前記比較工程の比較結果に基づいて、検索結果となる画像を出力する出力工程と
を備えることを特徴とする画像処理方法。
【０２３８】
＜実施態様２４＞ 類似画像検索の検索対象となる画像の画像登録処理を行う画像処理方法であって、
画像を入力する入力工程と、
前記画像を管理するための管理情報を生成する生成工程と、
前記画像の輝度に関する輝度特徴情報を抽出する輝度特徴情報抽出工程と、
前記画像の色に関する色特徴情報を抽出する色特徴情報抽出工程と、
前記画像、前記管理情報、前記輝度特徴情報及び前記色特徴情報を対応づけて記憶媒体に記憶する記憶工程と
を備えることを特徴とする画像処理方法。
【０２３９】
＜実施態様２５＞ 検索条件となる比較元画像と、その比較先画像との類似度に基づいて、類似画像検索を行う画像処理を実現するプログラムであって、
処理対象画像の輝度に関する輝度特徴情報を抽出する輝度特徴情報抽出工程のプログラムコードと、
処理対象画像の色に関する色特徴情報を抽出する色特徴情報抽出工程のプログラムコードと、
処理対象画像の色情報が十分であるか否かを判定する判定工程のプログラムコードと、
前記判定工程の判定の結果、前記比較元画像の色情報が十分である場合、その色特徴情報で前記比較先画像の色特徴情報との類似比較を行い、一方、前記比較元画像の色情報が不十分である場合、その輝度特徴情報と前記比較先画像の輝度特徴情報との類似比較を行う比較工程のプログラムコードと、
前記比較工程の比較結果に基づいて、検索結果となる画像を出力する出力工程のプログラムコードと
を備えることを特徴とするプログラム。
【０２４０】
＜実施態様２６＞ 類似画像検索の検索対象となる画像の画像登録処理を行う画像処理を実現するプログラムであって、
画像を入力する入力工程のプログラムコードと、
前記画像を管理するための管理情報を生成する生成工程のプログラムコードと、
前記画像の輝度に関する輝度特徴情報を抽出する輝度特徴情報抽出工程のプログラムコードと、
前記画像の色に関する色特徴情報を抽出する色特徴情報抽出工程のプログラムコードと、
前記画像、前記管理情報、前記輝度特徴情報及び前記色特徴情報を対応づけて記憶媒体に記憶する記憶工程のプログラムコードと
を備えることを特徴とするプログラム。
【０２４１】
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０２４２】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０２４３】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０２４４】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【０２４５】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０２４６】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０２４７】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０２４８】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０２４９】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【０２５０】
【発明の効果】
以上説明したように、本発明によれば、画像の種類に依存することなく精度良く画像を検索することが可能な画像処理技術を提供できる。
【図面の簡単な説明】
【図１】本発明の実施形態１の画像処理装置のプロック構成図である。
【図２】本発明の実施形態１の画像管理ＤＢの構成の一例を示す図である。
【図３】本発明の実施形態１の輝度特徴情報テーブルの構成の一例を示す図である。
【図４】本発明の実施形態１の色特徴情報テーブルの構成の一例を示す図である。
【図５】本発明の実施形態１の第１の輝度特徴情報抽出処理の詳細を示すフローチャートである。
【図６】本発明の実施形態１の画像ブロック分割の一例を示す図である。
【図７】本発明の実施形態１の順序決定テーブルの一例を示す図である。
【図８】本発明の実施形態１の輝度階級テーブルの一例を示す図である。
【図９】本発明の実施形態１の第２の輝度特徴情報抽出処理の詳細を示すフローチャートである。
【図１０】本発明の実施形態１の第３の輝度特徴情報抽出処理の詳細を示すフローチャートである。
【図１１】本発明の実施形態１の色空間上の色ビンの構成の一例を示す図である。
【図１２】本発明の実施形態１の第１の色特徴情報抽出処理の詳細を示すフローチャートである。
【図１３】本発明の実施形態１の第２の色特徴情報抽出処理の詳細を示すフローチャートである。
【図１４】本発明の実施形態１の第３の色特徴情報抽出処理の詳細を示すフローチャートである。
【図１５】本発明の実施形態１の第１の色解析方法を示すフローチャートである。
【図１６】本発明の実施形態１の第２の色解析方法を示すフローチャートである。
【図１７】本発明の実施形態１の第１の色特徴情報比較処理の詳細を示すフローチャートである。
【図１８】本発明の実施形態１の色ビンペナルティマトリックスの構成の一例を示す図である。
【図１９】本発明の実施形態１の第２の色特徴情報比較処理の詳細を示すフローチャートである。
【図２０】本発明の実施形態１の第３の色特徴情報比較処理の詳細を示すフローチャートである。
【図２１】本発明の実施形態１の第１の輝度特徴情報比較処理の詳細を示すフローチャートである。
【図２２】本発明の実施形態１の輝度階級ＩＤペナルティマトリックスの構成の一例を示す図である。
【図２３】本発明の実施形態１の第２の輝度特徴情報比較処理の詳細を示すフローチャートである。
【図２４】本発明の実施形態１の第３の輝度特徴情報比較処理の詳細を示すフローチャートである。
【図２５】本発明の実施形態１の検索結果表示処理を示すフローチャートである。
【図２６】本発明の実施形態１の類似画像検索結果の表示例を示す図である。
【図２７】本発明の実施形態２の画像処理装置のブロック構成図である。
【図２８】本発明の実施形態２の画像管理ＤＢの構成の一例を示す図である。
【符号の説明】
１０１ ユーザインタフェース部
１０２ 画像入力処理部
１０３ 画像蓄積処理部
１０３ａ 画像蓄積部
１０４ 画像管理情報処理部
１０４ａ 画像管理ＤＢ
１０５ 輝度特徴情報抽出処理部
１０５ａ 輝度特徴情報インデックステーブル
１０６ 色特徴情報抽出処理部
１０６ａ 色特徴情報インデックステーブル
１０７ 比較元画像入力部処理部
１０８ 判定処理部
１０９ 色特徴情報比較処理部
１１０ 輝度特徴情報比較処理部
１１１ 検索結果表示処理部
１１２ 比較特徴量決定処理部
Claims (17)
- 複数の比較先画像に対してそれぞれの輝度特徴情報と色特徴情報とを対応付けて登録した蓄積部から、検索条件となる比較元画像に類似する比較先画像の検索を行う画像処理装置であって、
前記比較元画像に占める所定の色情報の割合を解析し、当該解析した色情報の割合と予め定められた閾値とを比較した結果に基づいて前記比較元画像の色情報が十分であるか不十分であるかを判定する判定手段と、
前記判定手段で前記比較元画像の色情報が不十分であると判定された場合、前記比較元画像の輝度特徴情報を抽出する輝度特徴情報抽出手段と、
前記判定手段で前記比較元画像の色情報が十分であると判定された場合、前記比較元画像の色特徴情報を抽出する色特徴情報抽出手段と、
前記判定手段で前記比較元画像の色情報が十分であると判定された場合、前記色特徴情報抽出手段で抽出された前記比較元画像の色特徴情報と、前記蓄積部に登録されている前記複数の比較先画像それぞれの色特徴情報との類似比較を行い、一方、前記判定手段で前記比較元画像の色情報が不十分であると判定された場合、前記輝度特徴情報抽出手段で抽出された前記比較元画像の輝度特徴情報と、前記蓄積部に登録されている前記複数の比較先画像それぞれの輝度特徴情報との類似比較を行う比較手段と、
前記比較手段の類似比較結果に基づいて、前記比較元画像に類似すると判定された比較先画像を出力する出力手段と
を備えることを特徴とする画像処理装置。 - 前記判定手段は、前記比較元画像に占める所定の色情報の割合を解析する前に前記比較元画像のデータフォーマットを解析し、
前記比較元画像のデータフォーマットがモノクロあるいはグレースケール画像である場合には、該比較元画像の色情報が不十分であると判定する一方、
前記比較元画像のデータフォーマットがカラー画像である場合には、更に、前記比較元画像に占める所定の色情報の割合を解析して、当該解析した色情報の割合が予め定められた閾値以上である場合は前記比較元画像の色情報が十分であると判定し、当該解析した色情報の割合が予め定められた閾値未満である場合は前記比較元画像の色情報が不十分であると判定する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記判定手段は、前記比較元画像を構成する全画素の平均色における輝度成分値に対する色差成分値の割合を、前記比較元画像に占める所定の色情報の割合として解析し、
当該解析した色情報の割合が前記予め定められた閾値以上である場合は前記比較元画像の色情報が十分であると判定し、当該解析した色情報の割合が前記予め定められた閾値未満である場合は前記比較元画像の色情報が不十分であると判定する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記判定手段は、前記比較元画像あるいはその縮小画像を構成する全画素の各濃度値を、色空間を分割して作った部分空間である色ビンへ射影し、色ビンに対する色ヒストグラムを生成し、前記比較元画像あるいはその縮小画像を構成する全画素数に対するグレースケール方向の色ビンに属する画素数の割合を、前記比較元画像に占める所定の色情報の割合として解析し、
当該解析した色情報の割合が前記予め定められた閾値未満である場合は前記比較元画像の色情報が十分であると判定し、当該解析した色情報の割合が前記予め定められた閾値以上である場合は前記比較元画像の色情報が不十分であると判定する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記輝度特徴情報は、前記比較元画像を複数のブロックに分割した各ブロックにおける輝度ヒストグラム中の最頻輝度に対応する輝度階級と、各ブロックの位置情報とを対応づけた情報である
ことを特徴とする請求項１に記載の画像処理装置。 - 前記輝度特徴情報は、前記比較元画像を複数のブロックに分割した各ブロックにおける平均輝度と、各ブロックの位置情報とを対応づけた情報である
ことを特徴とする請求項１に記載の画像処理装置。 - 前記輝度特徴情報は、前記比較元画像を複数のブロックに分割した各ブロックにおける平均輝度に対応する輝度階級と、各ブロックの位置情報とを対応づけた情報である
ことを特徴とする請求項１に記載の画像処理装置。 - 前記色特徴情報は、前記比較元画像を複数のブロックに分割した各ブロックにおける色ヒストグラム中の最頻色に対応する色ビンＩＤと、各ブロックの位置情報とを対応づけた情報である
ことを特徴とする請求項１に記載の画像処理装置。 - 前記色特徴情報は、前記比較元画像を複数のブロックに分割した各ブロックにおける平均色と、各ブロックの位置情報とを対応づけた情報である
ことを特徴とする請求項１に記載の画像処理装置。 - 前記色特徴情報は、前記比較元画像を複数のブロックに分割した各ブロックにおける平均色に対応する色ビンＩＤと、各ブロックの位置情報とを対応づけた情報である
ことを特徴とする請求項１に記載の画像処理装置。 - 前記輝度特徴情報抽出手段が、前記比較元画像を複数のブロックに分割した各ブロックの輝度ヒストグラムを階級化あるいは量子化したヒストグラムに基づいて、前記輝度特徴情報を抽出するものであり、
前記色特徴情報抽出手段が、複数のブロックに分割した各ブロックを構成する全画素の各濃度値を、色空間を分割して作った部分空間である色ビンへ射影して得られる色ビンに対する色ヒストグラムに基づいて、前記色特徴情報を抽出するものである場合、
前記輝度特徴情報抽出手段による階級化あるいは量子化での階級数あるいは量子化ステップ数は、前記色特徴情報抽出手段における色ビンのグレースケール方向のビン数よりも多い
ことを特徴とする請求項１に記載の画像処理装置。 - 前記比較先画像となる画像を入力する入力手段と、
前記入力手段で入力された前記比較先画像となる画像に対して、当該比較先画像となる画像の輝度特徴情報と色特徴情報とを対応付けて前記蓄積部に登録する登録手段を更に備える
ことを特徴とする請求項１に記載の画像処理装置。 - 前記輝度特徴情報抽出手段は、前記比較元画像を複数のブロックに分割した各ブロック毎に前記輝度特徴情報を抽出し、その分割する縦横ブロック数は、前記前記比較元画像のアスペクト比や大きさに関わらず同一である
ことを特徴とする請求項１に記載の画像処理装置。 - 前記色特徴情報抽出手段は、前記比較元画像を複数のブロックに分割した各ブロック毎に前記色特徴情報を抽出し、その分割する縦横ブロック数は、前記比較元画像のアスペクト比や大きさに関わらず同一である
ことを特徴とする請求項１に記載の画像処理装置。 - 色情報が十分であるか否かを示す色情報フラグと対応付けられている画像を記憶する記憶手段と、
前記比較元画像を前記記憶手段に記憶されている画像から指定する指定手段とを更に備え、
前記指定手段で前記比較元画像が指定された場合、前記判定手段は、当該指定された比較元画像に対応する色情報フラグを前記記憶手段から取得し、当該取得した色情報フラグに基づいて、該比較元画像の色情報が十分であるか否かを判定する
ことを特徴とする請求項１に記載の画像処理装置。 - 複数の比較先画像に対してそれぞれの輝度特徴情報と色特徴情報とを対応付けて登録した蓄積部から、検索条件となる比較元画像に類似する比較先画像の検索を行う画像処理方法であって、
判定手段が、前記比較元画像に占める所定の色情報の割合を解析し、当該解析した色情報の割合と予め定められた閾値とを比較した結果に基づいて前記比較元画像の色情報が十分であるか不十分であるかを判定する判定工程と、
輝度特徴情報抽出手段が、前記判定工程で前記比較元画像の色情報が不十分であると判定された場合、前記比較元画像の輝度特徴情報を抽出する輝度特徴情報抽出工程と、
色特徴情報抽出手段が、前記判定工程で前記比較元画像の色情報が十分であると判定された場合、前記比較元画像の色特徴情報を抽出する色特徴情報抽出工程と、
比較手段が、前記判定工程で前記比較元画像の色情報が十分であると判定された場合、前記色特徴情報抽出工程で抽出された前記比較元画像の色特徴情報と、前記蓄積部に登録されている前記複数の比較先画像それぞれの色特徴情報との類似比較を行い、一方、前記判定工程で前記比較元画像の色情報が不十分であると判定された場合、前記輝度特徴情報抽出工程で抽出された前記比較元画像の輝度特徴情報と、前記蓄積部に登録されている前記複数の比較先画像それぞれの輝度特徴情報との類似比較を行う比較工程と、
出力手段が、前記比較工程の類似比較結果に基づいて、前記比較元画像に類似すると判定された比較先画像を出力する出力工程と
を備えることを特徴とする画像処理方法。 - 複数の比較先画像に対してそれぞれの輝度特徴情報と色特徴情報とを対応付けて登録した蓄積部から、検索条件となる比較元画像に類似する比較先画像の検索を行う画像処理をコンピュータに機能させるためのプログラムであって、
前記コンピュータを、
前記比較元画像に占める所定の色情報の割合を解析し、当該解析した色情報の割合と予め定められた閾値とを比較した結果に基づいて前記比較元画像の色情報が十分であるか不十分であるかを判定する判定手段、
前記判定手段で前記比較元画像の色情報が不十分であると判定された場合、前記比較元画像の輝度特徴情報を抽出する輝度特徴情報抽出手段、
前記判定手段で前記比較元画像の色情報が十分であると判定された場合、前記比較元画像の色特徴情報を抽出する色特徴情報抽出手段、
前記判定手段で前記比較元画像の色情報が十分であると判定された場合、前記色特徴情報抽出手段で抽出された前記比較元画像の色特徴情報と、前記蓄積部に登録されている前記複数の比較先画像それぞれの色特徴情報との類似比較を行い、一方、前記判定手段で前記比較元画像の色情報が不十分であると判定された場合、前記輝度特徴情報抽出手段で抽出された前記比較元画像の輝度特徴情報と、前記蓄積部に登録されている前記複数の比較先画像それぞれの輝度特徴情報との類似比較を行う比較手段、
前記比較手段の類似比較結果に基づいて、前記比較元画像に類似すると判定された比較先画像を出力する出力手段、
として機能させるためのプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003125813A JP4353503B2 (ja) | 2003-04-30 | 2003-04-30 | 画像処理装置 |
| US10/828,175 US7305151B2 (en) | 2003-04-30 | 2004-04-21 | Image processing apparatus and method therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003125813A JP4353503B2 (ja) | 2003-04-30 | 2003-04-30 | 画像処理装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004334335A JP2004334335A (ja) | 2004-11-25 |
| JP2004334335A5 JP2004334335A5 (ja) | 2006-06-22 |
| JP4353503B2 true JP4353503B2 (ja) | 2009-10-28 |
Family
ID=33308182
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003125813A Expired - Fee Related JP4353503B2 (ja) | 2003-04-30 | 2003-04-30 | 画像処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7305151B2 (ja) |
| JP (1) | JP4353503B2 (ja) |
Families Citing this family (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7916794B2 (en) | 2001-04-28 | 2011-03-29 | Microsoft Corporation | System and process for broadcast and communication with very low bit-rate bi-level or sketch video |
| US7136066B2 (en) * | 2002-11-22 | 2006-11-14 | Microsoft Corp. | System and method for scalable portrait video |
| US7864221B2 (en) * | 2004-10-15 | 2011-01-04 | Lifesize Communications, Inc. | White balance for video applications |
| KR101167243B1 (ko) * | 2005-04-29 | 2012-07-23 | 삼성전자주식회사 | 효과적으로 히스토그램을 디스플레이하기 위한 디지털 영상처리 장치의 제어 방법, 및 이 방법을 사용한 디지털 영상처리 장치 |
| JP4892868B2 (ja) * | 2005-05-20 | 2012-03-07 | 富士通株式会社 | 集合間関連性判定プログラム及び集合間関連性判定装置 |
| US7657089B2 (en) * | 2006-02-21 | 2010-02-02 | Microsoft Corporation | Automatic classification of photographs and graphics |
| JP2007286767A (ja) * | 2006-04-13 | 2007-11-01 | Canon Inc | 画像検索システム、及び、画像検索サーバ及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 |
| US20070242154A1 (en) * | 2006-04-18 | 2007-10-18 | Sony Ericsson Mobile Communications Ab | System and method of controlling a feature of a portable electronic device |
| GB2455025A (en) * | 2006-09-15 | 2009-06-03 | Nielsen Co | Methods and apparatus to identify images in print advertisements |
| JP4850652B2 (ja) | 2006-10-13 | 2012-01-11 | キヤノン株式会社 | 画像検索装置及びその制御方法、プログラム、記憶媒体 |
| JP4900941B2 (ja) * | 2006-12-14 | 2012-03-21 | キヤノン株式会社 | 情報処理装置、その制御方法、プログラム及び情報処理システム |
| US8131083B2 (en) * | 2007-04-09 | 2012-03-06 | Sharp Kabushiki Kaisha | Image processing apparatus, image forming apparatus, image processing system, and image processing method having storage section, divided into a plurality of regions, for storing identification information for identifying reference image |
| DE102007051612B4 (de) * | 2007-10-24 | 2009-06-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und Vorrichtung zum automatisierten Vergleichen zweier Sätze von Messwerten |
| BRPI0800754A2 (pt) | 2008-03-25 | 2020-09-24 | Sicpa Holding S.A. | Sistema de controle de produção integrado por meio de processamento de imagem e codificação automatizada |
| US8069081B2 (en) * | 2008-09-23 | 2011-11-29 | Microsoft Corporation | Targeted advertising using object identification |
| TWI479428B (zh) | 2008-10-14 | 2015-04-01 | Sicpa Holding Sa | 用於物品識別之方法及系統 |
| US8630489B2 (en) * | 2009-05-05 | 2014-01-14 | Microsoft Corporation | Efficient image matching |
| US8370282B1 (en) * | 2009-07-22 | 2013-02-05 | Google Inc. | Image quality measures |
| WO2011141991A1 (ja) | 2010-05-10 | 2011-11-17 | 富士通株式会社 | 画像処理装置および画像処理プログラム |
| US8977629B2 (en) | 2011-05-24 | 2015-03-10 | Ebay Inc. | Image-based popularity prediction |
| US8750613B2 (en) | 2011-12-13 | 2014-06-10 | The Nielsen Company (Us), Llc | Detecting objects in images using color histograms |
| US8897553B2 (en) | 2011-12-13 | 2014-11-25 | The Nielsen Company (Us), Llc | Image comparison using color histograms |
| US8897554B2 (en) | 2011-12-13 | 2014-11-25 | The Nielsen Company (Us), Llc | Video comparison using color histograms |
| US9135718B2 (en) * | 2012-03-30 | 2015-09-15 | Canon Kabushiki Kaisha | Image processing apparatus and control method therefor |
| US20130329043A1 (en) * | 2012-06-11 | 2013-12-12 | Motorola Solutions, Inc. | Transmissions of images in a remote recognition system |
| CN102999802A (zh) * | 2012-10-09 | 2013-03-27 | 成都因纳伟盛科技股份有限公司 | 过期证件管理方法 |
| CN103870828B (zh) * | 2012-12-17 | 2018-06-15 | 富泰华工业（深圳）有限公司 | 图像相似度判断系统及方法 |
| CN104424230B (zh) | 2013-08-26 | 2019-10-29 | 阿里巴巴集团控股有限公司 | 一种网络商品推荐方法及装置 |
| US9769446B1 (en) * | 2015-03-10 | 2017-09-19 | Lentix, Inc. | Digital image dynamic range processing apparatus and method |
| CN105374036A (zh) * | 2015-11-04 | 2016-03-02 | 玉溪师范学院 | 一种图片处理方法及装置 |
| CN105808645B (zh) * | 2016-02-26 | 2019-05-10 | 北京金山安全软件有限公司 | 一种图片处理方法、装置及电子设备 |
| US10896345B2 (en) * | 2017-06-02 | 2021-01-19 | Fujitsu Limited | Feature vector generation and encryption |
| WO2019040049A1 (en) * | 2017-08-22 | 2019-02-28 | Halliburton Energy Services, Inc. | NEW INDEPENDENT POROSITY METHODOLOGY FOR PERMEABILITY PREDICTION BASED ON MICRO-RESISTIVITY IMAGES AND LATEROLOGICAL RESISTIVITIES |
| US11699094B2 (en) * | 2018-10-31 | 2023-07-11 | Salesforce, Inc. | Automatic feature selection and model generation for linear models |
| CN113989207B (zh) * | 2021-10-21 | 2025-03-14 | 江苏智库智能科技有限公司 | 一种基于图像处理的物资盘点方法 |
| CN114397929B (zh) * | 2022-01-18 | 2023-03-31 | 中山东菱威力电器有限公司 | 一种可以改善冲洗水初始温度的智能马桶盖控制系统 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5579471A (en) * | 1992-11-09 | 1996-11-26 | International Business Machines Corporation | Image query system and method |
| US6246804B1 (en) * | 1994-11-15 | 2001-06-12 | Canon Kabushiki Kaisha | Image retrieval method and apparatus using a compound image formed from a plurality of detected regions |
| JP3199976B2 (ja) | 1995-03-14 | 2001-08-20 | 正夫 坂内 | 画像データベース装置 |
| US5917940A (en) * | 1996-01-23 | 1999-06-29 | Nec Corporation | Three dimensional reference image segmenting method and device and object discrimination system |
| EP1153366B1 (en) | 1999-02-05 | 2007-04-25 | Samsung Electronics Co., Ltd. | Color image processing method and apparatus thereof |
| JP3738631B2 (ja) * | 1999-09-27 | 2006-01-25 | 三菱電機株式会社 | 画像検索システムおよび画像検索方法 |
| US6594383B1 (en) * | 1999-11-16 | 2003-07-15 | International Business Machines Corporation | Method and apparatus for indexing and retrieving images from an images database based on a color query |
| JP2001257862A (ja) | 2000-03-09 | 2001-09-21 | Ricoh Co Ltd | 画像形成装置 |
| CN1329323A (zh) | 2001-07-31 | 2002-01-02 | 郭根龙 | 证件自动扫描识别与管理方法及其系统 |
| CN1190125C (zh) | 2002-11-28 | 2005-02-23 | 浙江大学 | 雏鸡性别自动化鉴别方法和系统 |
-
2003
- 2003-04-30 JP JP2003125813A patent/JP4353503B2/ja not_active Expired - Fee Related
-
2004
- 2004-04-21 US US10/828,175 patent/US7305151B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20040218837A1 (en) | 2004-11-04 |
| US7305151B2 (en) | 2007-12-04 |
| JP2004334335A (ja) | 2004-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4353503B2 (ja) | 画像処理装置 | |
| JP4850652B2 (ja) | 画像検索装置及びその制御方法、プログラム、記憶媒体 | |
| US8600153B2 (en) | System and method for normalization and codification of colors for dynamic analysis | |
| US7376263B2 (en) | Content-based multimedia retrieval system and method thereof | |
| US6907141B1 (en) | Image data sorting device and image data sorting method | |
| US10915571B2 (en) | Reduction of search ambiguity with multiple media references | |
| CN101300575B (zh) | 图像处理 | |
| US20080162469A1 (en) | Content register device, content register method and content register program | |
| KR101289085B1 (ko) | 객체 기반 영상 검색시스템 및 검색방법 | |
| US6647141B1 (en) | User interface of query by color statistics | |
| JP3948249B2 (ja) | 類似性判定装置及び類似性判定方法並びにプログラム | |
| JP5518301B2 (ja) | 情報処理装置 | |
| CN110910175B (zh) | 一种旅游门票产品画像生成方法 | |
| Schneidewind et al. | Pixnostics: Towards measuring the value of visualization | |
| CN101292259A (zh) | 用于混合介质环境中的图像匹配的方法和系统 | |
| JP2007286767A (ja) | 画像検索システム、及び、画像検索サーバ及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 | |
| US20060274081A1 (en) | Image retrieving apparatus, image retrieving method, program, and storage medium | |
| US20110179003A1 (en) | System for Sharing Emotion Data and Method of Sharing Emotion Data Using the Same | |
| CN108921016B (zh) | 一种基于图像识别的图书评分获取方法、电子设备及存储介质 | |
| JP2009134735A (ja) | 画像分類装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| Gunduz et al. | A better way of extracting dominant colors using salient objects with semantic segmentation | |
| KR100955181B1 (ko) | 이미지 검색방법 및 검색 시스템 | |
| CN106446241A (zh) | 使用书籍的isbn条码检索播放对应音频的方法及系统 | |
| US20050213811A1 (en) | Recognizing or reproducing a character's color | |
| JP2006023834A (ja) | 画像処理装置及びその制御方法、プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060501 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060501 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090408 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090413 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090611 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090724 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090727 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4353503 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120807 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120807 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130807 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |