JP2011043870A - 画像処理方法、プログラム、及び、画像処理装置 - Google Patents

Abstract

【課題】画像データからの特徴量の算出を、組み込み機器のような比較的リソースの少ない環境へ実装することが可能で、しかも、高速な処理が可能な画像処理方法を提供する。
【解決手段】画像処理装置である画像印象判定装置１００を、画像データ及びその属性情報を関連付けて記憶する記憶部２と、制御部１０、画像データの特徴量を算出する特徴量算出部３０、画像の印象判定を行う評価処理部４０及びその結果を出力する判定結果出力部５０を有する処理部１と、入力部３と、出力部４とから構成する。特徴量算出部３０は、記憶部２から画像データを読み出し、この画像データからＹＣｂＣｒ成分を抽出し、このＹＣｂＣｒ成分を基に当該画像のＹＣｂＣｒヒストグラムを作成し、このＹＣｂＣｒヒストグラムを量子化し、この量子化されたヒストグラムをＨａａｒ変換して特徴量のベクトルを出力するよう構成されている。
【選択図】図１

Description

本発明は、画像処理方法、プログラム、及び、画像処理装置に関する。

画像データから当該画像の特徴量を算出し、この特徴量に基づいて画像の分類、表示の有無判定、画像の印象判定、画像の類似判定等の各種画像評価を行うシステムが開示されている（例えば、特許文献１参照）。

特開２００８−２７８３４４号公報

しかしながら、従来の特徴量算出方法を用いた画像評価システムでは、デジタルカメラのような組み込み環境へ実装する際には、ネットワークサーバなどの環境下とは異なり、リソースが限定されているため、処理速度の観点からこのような処理の実装は困難であるという課題があった。

本発明はこのような課題に鑑みてなされたものであり、画像データから特徴量を算出し画像評価等を行う際に、組み込み機器のような比較的リソースの少ない環境へ実装することが可能で、しかも、高速な処理が可能な画像処理方法、プログラム、及び、画像処理装置を提供することを目的とする。

前記課題を解決するために、本発明に係る画像処理方法は、コンピュータを用いて、画像データから特徴量を算出する画像処理方法であって、画像データからＹＣｂＣｒ成分を抽出するステップと、画像データを複数のブロック領域に分割し、当該ブロック毎に画像データのＹＣｂＣｒヒストグラムを作成するステップと、ＹＣｂＣｒヒストグラムに対して頻度値の非線形量子化を行うステップと、非線形量子化後のデータに対してＨａａｒ変換を行って特徴量のベクトルとして算出するステップと、を有する。

このような画像処理方法において、特徴量は、画像データにおける領域全体若しくはブロック領域の色に関するものであることが好ましい。あるいは特徴量は、画像データにおける領域全体若しくはブロック領域のエッジに関するものであることが好ましい。

また、本発明に係るプログラムは、画像データが記憶された記憶部が接続されたコンピュータに、上述の画像処理方法のいずれかを実行させるものである。

さらに、本発明に係る画像処理装置は、画像データが記憶された記憶部と、この記憶部から画像データを読み出して、上述の画像処理方法のいずれかにより当該画像データの特徴量を算出する処理部と、を有する。

本発明に係る画像処理方法、プログラム、及び、画像処理装置を以上のように構成すると、画像データから特徴量を算出して印象判定等の各種画像評価を行う処理を、組み込み機器のような比較的リソースの少ない環境にも実装することが可能で、しかも、高速な処理が可能となる。

画像処理装置である画像印象判定装置の構成を示すブロック図である。 学習結果記憶部における学習結果テーブルのデータ構造を示すデータ構造図である。 画像印象判定装置における画像の印象判定処理を示すフローチャートである。 特徴量算出部における特徴量の算出処理を示すフローチャートである。 ＹＣｂＣｒ色空間を表す模式図であり、（ａ）はＹＣｂＣｒ色空間のＹ成分を８プレーンに分割した状態を表す模式図で、（ｂ）はＣｂＣｒ平面を表す模式図で、（ｃ）はＹＣｒ平面を表す模式図である。 デジタルカメラを横にして画像を撮影した際の画像の左上がどのように認識されるかを説明するための説明図であって、（ａ）は画像の回転情報が認識できず、誤った位置が左上と認識された場合を示し、（ｂ）は回転情報が認識され、画像の本来の左上が正しく認識された場合を示す。 印象判定処理部を有する画像データベースシステムの構成を示すブロック図である。

以下、本発明の好ましい実施形態について図面を参照して説明する。まず、図１を用いて本実施形態に係る画像処理方法が実行される画像処理装置である画像印象判定装置１００の構成について説明する。この画像印象判定装置１００は、印象判定を行って画像を評価する画像評価装置である。この画像印象判定装置１００は、ＣＰＵやメインメモリ等を有する処理部（コンピュータ）１と、ハードディスクやフラッシュメモリ等からなり画像データ等が記憶される記憶部２と、キーボードやマウス等からなりユーザからの指示を受け付ける入力部３と、ディスプレイやプリンタ等からなり評価結果等が出力される出力部４とから構成される。処理部１は、当該処理部１全体の制御を行う制御部１０と、後述の方法により特徴量を計算する特徴量計算部３０と、算出された特徴量をもとに画像の印象判定を行う評価処理部４０と、評価の各種処理の結果を出力する判定結果出力部５０と、を有して構成される。なお、この制御部１０、特徴量計算部３０、評価処理部４０、及び、判定結果出力部５０は、例えば、処理部（コンピュータ）１で実行されるプログラムとして構成することができる。

また、図１では、評価処理部４０が一個のみが記載されているが、実際にはこの評価処理部４０は、予め設定された複数の印象ラベルの各々に対して一つずつ設けられており、評価画像の判定においてどの評価処理部４０を使用するか（どの印象ラベルについて評価を行うか）を選択することが可能となっている。この、印象ラベルとしては、例えば、”美しい”、”鮮やかな”、”落ち着いた”などが設定されている。

なお、特徴量算出部３０で算出される評価画像の特徴量Ｘは、本実施形態ではＭＰＥＧ７で規格化されている、スケーラブルカラー（Scalable Color）を用いたｎ次元のベクトルとして定義されている。

記憶部２は、評価対象すなわち特徴量の算出対象となる画像データが記憶された評価画像記憶部２１と、学習画像を基に算出された学習結果が予め記憶された学習結果記憶部２２と、を有している。評価画像記憶部２１に記憶された評価画像は、デジタル画像とその属性情報とが関連付けられて記憶されたＥｘｉｆ形式の画像データである。学習結果記憶部２２は、予め決められた複数の領域（以下、「部分領域」と呼ぶ）に分割された学習画像の、各部分領域について学習された結果が記憶されている。

学習結果記憶部２２は、上述の複数の印象ラベル毎に、学習結果テーブル２２１を有して構成されている。各学習結果テーブル２２１は、図２に示すように、学習ステップ（ｔ）が記憶された学習回数フィールド２２１ａと、選択された部分領域における特徴量の所定の部分ベクトルの重み付き平均値が記憶された平均値フィールド２２１ｂと、部分領域の番号（ｉ）が記憶された部分領域フィールド２２１ｃと、部分ベクトルの番号（ｋ）が記憶された部分ベクトルフィールド２２１ｄと、から構成されている。ここで、画像データは複数の部分領域に分割され、さらに、その部分領域毎に複数の部分ベクトルで構成される特徴量を有することから、部分領域をｉで特定し、その部分領域ｉに含まれる部分ベクトルをｋで特定する。この学習結果テーブル２２１は、ＡｄａＢｏｏｓｔの手法により、複数の学習サンプル（学習画像）を用いて所定の学習が行われた学習結果が記憶されており、評価画像の印象を判定するための１つの強識別器Ｈ（Ｘ）が構築されている（後述する式（４））。なお、この学習結果記憶部２２を作成するための学習処理において、学習画像から特徴量を算出する際に、本願の画像処理方法を用いても良く、学習処理の高速化や高精度化をも図ることができる。

以下、このような画像印象判定装置１００を用いて、画像の印象判定を行う手順について図３及び図４のフローチャートを併せて用いて説明する。この画像印象判定装置１００では、本実施形態に係る画像処理方法によって特徴量算出部３０が評価画像からスケーラブルカラー特徴量を算出し、この算出されたスケーラブルカラー特徴量と、学習結果記憶部２２に記憶された学習結果とに基づいて、評価処理部４０が当該評価画像の印象判定を行って、この評価画像を評価するものである。

具体的には、まず、入力端末３から評価を行う評価画像が指示されると、図３のフローチャートに示すように、制御部１０の制御により、特徴量算出部３０は評価画像記憶部２１から当該評価画像の画像データを取得し、学習画像を用いて学習したときに、この学習画像を分割したのと同じ複数の部分領域に分割する（ステップＳ１００）。なお、ここでは、画像データを評価画像記憶部２１から取得しているが、例えばネットワークを介して送信された画像データを取得するように構成しても良い。そして、制御部１０の制御により、特徴量算出部３０は、この画像データの色空間の変換処理を行って、スケーラブルカラー特徴量のベクトルＸを算出する（ステップＳ１１０）。この変換処理及びスケーラブルカラー特徴量の算出処理を、図４に示すフローチャートを用いて以下に説明する。

ここで、ＭＰＥＧ７での定義では、通常スケーラブルカラー特徴量で扱う色空間はＨＳＶ空間である。しかし、デジタルカメラに蓄積された画像データはＹＣｂＣｒフォーマットであり、ＹＣｂＣｒ色空間からＨＳＶ空間に変換するには、ＹＣｂＣｒ色空間をＲＧＢ空間に変換した後、このＲＧＢ空間をＨＳＶ空間に変換するといった２段階の変換を行わなくてはならず、計算コストやそれに伴い記憶領域のコストがかかることとなる。そこで、本実施形態では、特徴量算出部３０が、ＨＳＶ空間への変換を行わずにＹＣｂＣｒ色空間のデータをそのまま用いて特徴量を算出することで、色空間の変換処理のステップ数を少なくして処理速度の向上を図っている。

具体的には、図４に示すように、上記ステップＳ１００で読み出されて、部分領域に分割された画像データ（評価画像）が特徴量算出部３０に入力されると（ステップＳ１１０１）、特徴量算出部３０は、当該画像データの全体領域もしくは部分領域を取得し（ステップＳ１１０２）、次に、部分領域毎に当該画像データからＹＣｂＣｒ成分を抽出し、メモリに格納する（ステップＳ１１０３）。このＹＣｂＣｒ成分は、図５（ａ）に示すように、複数のブロック領域（このブロック領域は「ｂｉｎ」とも呼ばれる）に区分されたＹＣｂＣｒ色空間上にプロットされている。特徴量算出部３０は、このＹＣｂＣｒ色空間において、各ブロック領域毎にプロットされた個数をカウントする事により３次元のＹＣｂＣｒヒストグラムを生成する（ステップＳ１１０４）。

この図５（ａ）は、Ｙ成分を８プレーンに分割した場合のＹＣｂＣｒ色空間の例を示したものである。この図５（ａ）のプレーンのうち、下から３番目のプレーンのＣｂＣｒ平面を表したものを図５（ｂ）に示す。また、Ｃｒ成分を８プレーンに分割した場合のＹＣｂＣｒ色空間において、所定のプレーンのＹＣｂ平面を表したものを図５（ｃ）に示す。また、図５（ｂ）は、ＣｂＣｒ平面を縦横８×８ブロックの領域に分割したものであり（ＲＧＢからＹＣｂＣｒへの変換を行い、該当する領域は色づけ及び分割線を表示しているが、該当しない領域は白色かつ分割線は非表示としている）、中央付近と周辺付近とでは、色の分布密度が異なる。つまり、中央付近は色分布が密となり、周辺付近は疎となる。この色分布特性から、本発明者は、領域分布を中央付近は細かく、周辺付近は粗くすることにより、各平面を分割した際のブロック数を少なくできることを知見した。すなわち、例えば、図５（ｂ）において、ＣｂＣｒ平面を等分割した場合、１６×１６＝２５６個のブロック数になるが、図５（ｂ）に示した分割線のように、周辺付近のブロックをまとめる（すなわち、粗くする）ことにより、８×８＝６４個のブロック数に減少させることができる（情報量の圧縮）。この結果、後述する計算回数が減少し、演算の高速化が可能となる。更に、周辺付近の色分布は疎になっていることから、この周辺付近のブロックをまとめても、ブロック単位での色情報に大差はなく、そのため計算誤差も少なくなり精度の良い演算が可能となる。

図５（ａ）に示すように、ＹＣｂＣｒ色空間は、上述のようにＹＣｂＣｒ各軸とも８分割されているため、ＹＣｂＣｒ色空間を分割した際の分割数（以下「ｂｉｎ数」と呼ぶ）は、ｂｉｎ数＝８³＝５１２ｂｉｎである。しかし、スケーラブルカラーの仕様上特徴量の次元数は２５６次元である。また、次元数がＨＳＶの時のスケーラブルカラーと比べて２倍になるので、高速化の観点から望ましくない。したがってＹ軸については４分割してまとめることで４×８²＝２５６ｂｉｎへ次数を下げることができる。すなわち、作成されるＹＣＣヒストグラムは２５６ｂｉｎのヒストグラムとなる。このＹＣｂＣｒヒストグラム作成後、特徴量算出部３０は、この２５６個に分割されたＹＣｂＣｒ色空間を基に、通常のスケーラブルカラーにおける演算と同様に、頻度値の非線形量子化及びＨａａｒ変換を行い（ステップＳ１１０５〜Ｓ１１０６）、その計算結果を最終的に得られた特徴量（部分領域における特徴量の部分ベクトル（ｘ））として出力し、制御部１０に戻り値として通知する（ステップＳ１１０７）。なお、算出された特徴量を記憶部２等に記憶しても良い。

次に、評価処理部４０では、上記で算出されたスケーラブルカラー特徴量を用いて、学習結果記憶部２２に記憶された学習結果に基づいて、以下のようにして評価画像の評価を行う。まず、繰り返し回数ｔに初期値として”１”を設定し、この繰り返し回数ｔが、予め決められた回数（Ｔｍａｘ）より大きくなるまで次の処理（ステップＳ１４０〜ステップＳ１６０）を繰り返す（ステップＳ１３０）。

ステップＳ１４０では、学習結果記憶部２２の学習結果テーブル２２１の平均値フィールド２２１ｂからｔ回目の学習における部分領域ｉにおけるｋ番目の部分ベクトルの陽性サンプル及び陰性サンプルの重み付き平均値を取得する。この学習画像の陽性サンプルの部分領域ｉの特徴量のｋ番目の部分ベクトルの重み付き平均値は、学習画像を用いて予め学習されて学習結果テーブル２２１に記憶されたものである。ここで、陽性サンプルとは、当該の印象ラベルに割り当てられている学習画像のことを言い、反対に陰性サンプルとは、当該印象ラベルに割り当てられていない学習画像のことを言う。なお、部分ベクトルの添え字の上側の文字は、”Ｙｅｓ”が陽性サンプルに対するものであることを示し、”Ｎｏ”が陰性サンプルに対するものであることを示す。

そして、ステップＳ１５０では、ステップＳ１１０で算出した画像データ（評価画像）の特徴量のベクトルＸのうち、部分領域ｉにおけるｋ番目の部分ベクトル（ｘ）と、ステップＳ１４０で取得した学習画像の部分領域ｉのｋ番目の部分ベクトルの重み付き平均値とから、次式（１）〜（３）により弱識別器ｈ（ｘ，ｔ）の値を求める（ステップＳ１５０）。ここで、部分領域ｉについては、スケーラブルカラー特徴量を抽出した部分領域のことである。したがって、印象判定で扱う部分領域は特徴量を抽出した部分領域のことである。

まず、特徴量の部分ベクトルの平均値と、各学習画像の特徴量の部分ベクトルとのユークリッド距離を次式（１）及び（２）により算出する。式（１）において、ｆ₁（ｘ）は、第ｉ番目の領域のｋ番目の部分ベクトルと陽性サンプルの特徴量のｋ番目の部分ベクトルの平均値とのユークリッド距離を示し、式（２）において、ｆ₂（ｘ）は、第ｉ番目の領域のｋ番目の部分ベクトルと陰性サンプルの特徴量のｋ番目の部分ベクトルの平均値とのユークリッド距離を示している。ただし、距離計算は１ノルムなど別のノルムでも代用できる。また、特徴量の部分ベクトルの平均値の添え字のうち、最初のｔは、ｔ回目の学習ステップであることを示す。

そして、上記式（１）及び（２）で算出された距離ｆ₁（ｘ），ｆ₂（ｘ）を用いて、第ｉ番目の部分領域のｋ番目の部分ベクトルにおいて印象が陽性か陰性かを判定する弱識別器ｈ_i,k（ｘ，ｔ）を次式（３）により構築する。ここで、”１”が陽性で、”−１”が陰性を表す。すなわち、次式（３）で表される弱識別器ｈ_i,k（ｘ，ｔ）は、画像データ（評価画像）の特徴量の部分ベクトルと学習画像より得られた部分ベクトルの重み付き平均値との距離が、陽性サンプルと近いときに陽性（１）と判断され、陽性及び陰性サンプルとの距離が等しいか若しくは陰性サンプルと近いときに陰性（−１）と判断するものである。

そして、ステップＳ１６０ではｔに１を加算する。以上の処理を繰り返すことにより、Ｔｍａｘ個の弱識別器ｈ（ｘ，ｔ）の結果が出ると、最後に、学習結果テーブル２２１からＴｍａｘ個の重みα_tの値を読み出し（ステップＳ１７０）、次式（４）により、強識別器Ｈ（Ｘ）の値を算出する（ステップＳ１８０）。なお、次式（４）において、Ｘは強識別器Ｈで評価される画像の特徴量（ベクトル量）であり、ｘは、特徴量Ｘのうち、ｔ回目の学習において弱識別器ｈ（ｘ，ｔ）が選択された部分領域に対応する部分ベクトルである。

以上のような構成によると、評価処理部４０は、画像データ（評価画像）が、この評価処理部４０に対応付けられた印象ラベルに相当する印象を有するか否かを数値として算出することができる。上述のように弱識別器ｈ（ｘ，ｔ）は”１”か”−１”の値が出力されるため、強識別器Ｈ（Ｘ）の値が正の値であれば当該印象を有し、０より小さい値であれば当該印象を有しないと判断することができる。あるいは、所定の閾値を設定し、この閾値以上の値であれば当該印象を有し、閾値より小さければ当該印象を有しないと判断することもできる。すなわち、この評価処理部４０においては、強識別器Ｈ（Ｘ）の値は、印象を有する／有しない（”１”か”−１”か）ではなく、Ｔｍａｘ個の弱識別器と重みα_tとの積の総和（線形結合）であるため、印象の度合いを数値として表現することが可能である。そのため、複数の印象ラベルが設定された評価処理部４０の各々の演算結果（Ｈ（Ｘ））を比較して、どの印象が最も強いのかというような比較や、順位付けも行うことが可能である。

なお、このような画像印象判定装置１００において、判定結果出力部５０は、複数の印象ラベルのそれぞれに対応付けられた評価処理部４０からの判定結果（強識別器Ｈ（Ｘ）の値）から、最も大きな値を、その評価画像の印象（印象ラベル）として表示しても良いし、複数の印象ラベルの値の各々をグラフとして表示しても良い。また、制御部１０による選択により、評価画像を判定する評価処理部４０、すなわち、判定を行う印象ラベルを選択するように構成することも可能である。

以上、本実施形態に係る画像印象判定装置１００の画像処理方法では、画像データの基本的な色空間であるＹＣｂＣｒ色空間をそのまま用いて画像の特徴量を算出しているため、色空間の変換処理の複雑なステップを省き、画像印象判定全体の処理速度を速め、しかも高精度な処理が可能となる。

また、上記画像印象判定装置１００において、評価画像の印象判定の結果、陽性となったシーン（印象）を、この評価画像の画像データに含まれる属性情報の１つであるＥｘｉｆのシーン情報と照合し、両者の結果が一致するとき、または少なくとも一方で該当シーンと判定された場合に、該当シーンの画像であると判定しても良い。

また、夜景のシーンを判定する場合、ＥｘｉｆのＥｖ値（露出値：Exposure Value）を用いても良い。この場合、このＥｖ値が所定の閾値以上であるときには、露出の値が高く暗い背景ではないことが考えられるので、シーン判定を行う前に、夜景のシーンではない（即ち、昼間のシーンである）と判定することができ、画像印象判定の迅速化が可能となる。

また、上記実施形態では、画像の特徴量Ｘは、スケーラブルカラー（Scalable Color）を用いたｎ次元のベクトルとして定義されているが、本願はこれに限定されることはなく、特徴量Ｘは、エッジヒストグラム（Edge Histogram）を用いたｎ次元のベクトルとして定義されてたものであっても良い。この場合も、エッジにはＹを直接使えるので、ＹＣｂＣｒ色空間をそのまま用いて特徴量を算出することで、処理速度の向上を図ることができる。あるいは、これら２集類の特徴量を同時に使うことも可能である。

ここで、デジタルカメラなどで撮影した画像は、必ずしも全て同じ傾きであるとは限らず、入力される画像の傾き角度は、縦方向、横方向、斜め方向のように様々であることが多い。そのため、エッジヒストグラムで特徴量が定義される場合、画像データからの特徴量の抽出の際に、この画像の傾きによって算出される特徴量が大きく異なり、画像評価の精度に影響を及ぼすことがある。このような不具合を解消するため、まず画像の回転情報を得て、その傾き角度（回転角度）を補正した後、画像処理及び特徴量を計算することが好ましい。以下、その回転角度の補正方法について、３つの方法を説明する。

まず、第１の方法としては、Ｅｘｉｆで定義された画像データの属性領域から、回転情報を取得する。この回転情報を基に、画像の左上がどこかを検出して、画像の向きを把握する。この方法では、画像の傾きが０度、９０度、１８０度、及び、２７０度の４通りの方向を検出することができる。この画像の向きを把握した上で画像の向きを補正し、前述と同様の方法でＹＣｂＣｒ色空間から特徴量の算出を行うことで、高精度で高速な処理が可能となる。

なお、図６（ａ）に、デジタルカメラを横にして画像を撮影した際に、回転情報（傾き情報）が認識できない場合の例を示し、図６（ｂ）に回転情報が認識できた場合の例を示す。この図６（ａ）の場合は、縦長画像であるため本来はＡが画像の左上であるが、回転情報が認識できていないため、横長画像であると認識された結果、Ａ′部分が画像の左上と誤認識された。その結果、特徴量の算出精度、特にエッジヒストグラムを用いた特徴量の場合に影響を及ぼしてしまう。これに対して、図６（ｂ）では、Ｅｘｉｆの回転情報より画像が９０度傾いていることが認識できるため、本来の画像の左上であるＡが正しく認識され、特徴量の算出を高精度に行うことができる。

また、第２の方法としては、デジタル画像における特徴量抽出方法の１つであるハフ変換を用いる。このハフ変換によって、画像の主要被写体などの直線成分を検出し、その傾きを推定する。この方法では、０度から３６０度まで任意の方向を検出することができる。この場合も、画像の向きを把握した上で画像の向きを補正し、その後特徴量の算出を行うことで、高精度で高速な処理が可能となる。

次に、第３の方法としては、デジタルカメラなどの撮影装置に内蔵された、傾きを検出するセンサなどによって得られる情報を用いる。このセンサによって、画像の撮影時の撮影装置の傾きが検出され、撮影された画像が記憶されるのと同時にこの傾きが関連付けられて記憶部に記憶される。この場合も、０度から３６０度まで任意方向を検出することができ、特徴量の算出を高精度で高速に行うことが可能となる。

また、以上では画像処理方法を画像印象判定装置１００で実行した実施形態を示したが、本願の画像処理方法を類似画像検出装置で実行しても良い。この類似画像検出装置で類似画像検出を行う際、類似画像の特徴量によるクラスタリングを行う前に、Ｅｘｉｆのシーン情報が異なるものは類似画像のグループとして分類しないようにする。そして、本願の画像処理方法を用いて特徴量を算出し、この特徴量を基に類似検査を行うことにより、比較的リソースの少ない環境であっても、類似画像検出を迅速に行うことができる。

それでは、以上のような画像印象判定装置（印象判定処理部）１００を用いたシステムの実施例として、登録された画像を印象ラベルにより検索することができる画像データベースについて図７を用いて説明する。この画像データベース６０は、上述の印象判定処理部１００と、画像データを記憶する画像データベース６１と、登録する画像データを入力する登録端末６２と、この登録端末６２から入力された画像データを画像データベース６１に登録する画像データ蓄積部６３と、キーワード（印象ラベル）に基づいて画像データベース６１から画像データを検索する画像データ検索部６４と、から構成される。画像データ蓄積部６３は、登録端末６２から登録する画像データを受信すると、印象判定処理部１００に判定画像として渡して判定を行い、その結果として当該画像が持つ印象を印象ラベルとして受け取る。なお、印象判定処理部１００には、予め印象ラベル及び学習画像が登録され、上述の方法によりこれらの学習画像を用いて学習が行われて学習結果が記憶されているものとする。また、この印象判定処理部１００から返される印象ラベルは、強判定器の結果が最も大きい印象ラベルのみであっても良いし、強判定器の結果が所定の閾値以上のものであっても良い。また、印象ラベルのみ画像データ蓄積部６３に返しても良いし、強判定器の値も合わせて返しても良い。そして、画像データ蓄積部６３は、画像データと印象ラベルとを対応付けて画像データベース６１に記憶する。

一方、画像データ検索部６４は、外部の検索端末７０から、検索のためのキーワードとしての印象ラベルを受信すると、その印象ラベルをキーにして画像データベース６１を検索し、当該印象ラベルを有する画像データを取得して検察端末７０に検索結果として返すように構成されている。なおこのときも、上述の印象判定処理部１００による判定結果（強識別器の値）も合わせて画像データベース６１に登録されている場合には、その値も一緒に検索端末７０に返しても良いし、キーワードに対して複数の画像データが抽出された場合には、判定結果（強識別器の値）でソートして（例えば、判定結果の大きい順、すなわち、その印象ラベルの持つ印象を強く持っている順）に並べて検索端末７０に返すように構成しても良い。

以上のような画像印象判定装置（印象判定処理部）１００を用いた画像データベースによれば、内蔵された画像処理装置により特徴量の算出を迅速に行うことができ、計算処理のためのリソースが少ない環境でも学習画像の印象を与えている部分領域と特徴量の部分ベクトルを学習によって特定し、それらの情報を用いて識別器を構築することができる。また、この識別器を用いることにより、例えば、印象ラベルを指定するだけで、所望の画像を高速に検索することができる。

なお、以上の説明において、本実施形態に係る画像処理方法を、ＣＵＰ等を有する処理部１で実行されるプログラムとして実装した場合について説明したが、このブログラムは、例えばフレキシブルディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等の記憶媒体または記憶装置に格納される。また、ネットワークなどを介してディジタル信号として配信される場合もある。このとき、中間的な処理結果はメインメモリ等の記憶装置に一時保管される。あるいは、このプログラムの処理手順を論理回路で構成して、専用のＩＣチップ（例えば、ＡＳＩＣ等）として実装することも可能である。

１ 処理部（コンピュータ） ２ 記憶部
１００ 画像印象判定装置（画像処理装置）

Claims (5)

1. コンピュータを用いて、画像データから特徴量を算出する画像処理方法であって、
   前記画像データからＹＣｂＣｒ成分を抽出するステップと、
   前記画像データを複数のブロック領域に分割し、当該ブロック毎に前記画像データのＹＣｂＣｒヒストグラムを作成するステップと、
   前記ＹＣｂＣｒヒストグラムに対して頻度値の非線形量子化を行うステップと、
   前記非線形量子化後のデータに対してＨａａｒ変換を行って前記特徴量のベクトルとして算出するステップと、
   を有する画像処理方法。
2. 前記特徴量は、前記画像データにおける領域全体若しくはブロック領域の色に関するものである請求項１に記載の画像処理方法。
3. 前記特徴量は、前記画像データにおける領域全体若しくはブロック領域のエッジに関するものである請求項１に記載の画像処理方法。
4. 画像データが記憶された記憶部が接続されたコンピュータに、請求項１〜３いずれか一項に記載の画像処理方法を実行させるためのプログラム。
5. 画像データが記憶された記憶部と、
   前記記憶部から前記画像データを読み出して、請求項１〜３いずれか一項に記載の画像処理方法により当該画像データの特徴量を算出する処理部と、を有する画像処理装置。

Images