JP3899523B2 - 画像類似度算出システムおよび画像検索システム - Google Patents

Description

本発明は、複数の画像の類似度を算出する画像類似度算出システム、画像類似度算出方法および画像類似度算出用プログラムならびに問合せ画像に類似した画像を検索する画像検索システムに関し、特に、加工処理が施された画像と元画像との類似度を算出する画像類似度算出システム、画像類似度算出方法および画像類似度算出用プログラムならびに加工処理が施された問合せ画像に類似した画像を検索する画像検索システムに関する。

比較している２つの画像の類似度を算出する画像類似度算出方法は、一般に、登録された検索対象の画像群の中から、問合せ画像と類似する画像を検索する画像検索において、問合せ画像と検索対象画像との類似度を算出するために用いられている。

従来の画像検索方法の一例が特許文献１に記載されている。特許文献１に記載されている画像検索方法では、画像を複数のブロックに分割し、各ブロックの特徴量を算出する。さらに、各ブロックについて取得された特徴量に応じて各ブロックにラベルを付与し、ラベルを所定の順序で並べてラベル行列を生成する。そして、問合せ画像と検索対象画像の画像類似度を、それぞれの画像から得られるラベル列の類似度として算出し、検索においては画像類似度が閾値を超える検索対象画像を検索結果として出力する。

また、問合せ画像と部分的に類似した画像の検索を行う画像検索方法が、特許文献２に記載されている。特許文献２に記載されている画像検索方法では、問合せ画像を入力するとともに、問合せ画像内の検索の対象とする領域を問合せ領域として入力する。そして、問合せ画像をブロック分割し、各ブロックと問合せ領域とが重なる面積に応じて設定した重みで各ブロックの特徴量を重み付けして特徴量を算出する。検索対象の画像に対しても同様に特徴量を算出し、双方の特徴量を比較して画像類似度を算出する。検索においては、画像類似度が高い画像を検索結果として出力する。

また、ユーザの検索の意図を反映した画像検索方法が、特許文献３に記載されている。特許文献３に記載されている画像検索方法では、問合せ画像および検索対象の画像を複数の領域に分け、ユーザが各分割領域に異なる重みを設定する。問合せ画像と検索対象の画像との間で各分割領域ごとに特徴量を比較して得られる類似度に対して、各分割領域に設定された重みを作用させることで画像類似度を算出する。ユーザが検索の際に重要視したい領域を指定できるため、ユーザの検索の意図を反映した画像検索を行うことができる。

特開平１１−３１２２４８号公報（段落００１２−００１３、図９、図１３） 特開２０００−１６３５７６号公報（段落００１７−００２０、図７、図８） 特開２００１−１３４７６５号公報（段落００２８−００３１、図１１）

しかし、特許文献１に記載されている方法では、問合せ画像と検索対象の画像の同一性を前提としている。このため、画像にテロップ重畳、画像の一部の切り抜き・切り出しなどの各種加工処理が施されて画像の絵柄が部分的に変化した画像と、加工前の元画像との間の画像類似度は低い値として算出される。よって、加工処理が施された画像から元画像を判定や検索するのに十分な性能が得られないという問題点がある。

また、特許文献２に記載されている方法では、部分的に絵柄の異なる加工画像に対応できるものの、検索の対象とする領域をあらかじめ指定する必要がある。特許文献３に記載されている方法でも、同様に、画像の領域ごとに重み値を設定することにより、検索の際に重要視したい領域をユーザが指定する必要がある。このため、加工処理が施された画像から、加工前の元画像を判定したり検索したりする目的で画像類似度を算出するために、ユーザがあらかじめ加工処理の施されてない領域を指定する必要がある。よって、ユーザに大きな負担になるという問題点がある。

本発明は、上記の問題点を解決するためになされたものであり、領域を指定するという負担をユーザに課すことなく、加工処理が施されて部分的に絵柄の変化した画像から加工前の元画像を精度よく判定したり検索したりするために、加工処理が施された画像と加工前の元画像との間の画像類似度を高い値として算出することができる画像類似度算出システム、画像検索システム、画像類似度算出方法および画像類似度算出用プログラムを提供することを目的とする。

本発明による画像類似度算出システム、画像類似度算出方法および画像類似度算出用プログラムは、画像に加工処理が施される確率モデルを考慮しながら、問合せ画像の分割された小領域ごとの特徴量と参照画像の分割された小領域ごとの特徴量とを比較して、問合せ画像と参照画像の画像類似度を算出するように構成されていることを特徴とする。

本発明による他の態様の画像類似度算出システム、画像類似度算出方法および画像類似度算出用プログラムは、問合せ画像の分割された小領域ごとの特徴量と参照画像の分割された小領域ごとの特徴量とを、領域ごとに画像に加工処理が施される確率モデルを考慮しながら比較して、問合せ画像と参照画像の画像類似度を算出するように構成されていることを特徴とする。

本発明によるさらに他の態様の画像類似度算出システム、画像類似度算出方法および画像類似度算出用プログラムは、問合せ画像の分割された小領域ごとの特徴量と参照画像の分割された小領域ごとの特徴量とを比較したのち、画像に加工処理が施される確率モデルを考慮して問合せ画像と参照画像の画像類似度を算出するように構成されていることを特徴とする。

本発明によるさらに他の態様の画像類似度算出システム、画像類似度算出方法および画像類似度算出用プログラムは、問合せ画像の分割された小領域ごとの特徴量と参照画像の分割された小領域ごとの特徴量とを、領域ごとに画像に加工処理が施される確率モデルを考慮しながら比較したのち、確率モデルを考慮して問合せ画像と参照画像の画像類似度を算出するように構成されていることを特徴とする。

本発明による画像類似度算出システムの好ましい一態様は、例えば、領域ごとに画像に加工処理が施される確率にもとづいて画像の領域ごとの重み値を算出する局所領域重み値算出手段と、問合せ画像の分割された小領域ごとの特徴量と参照画像の分割された小領域ごとの特徴量とを比較して小領域ごとの特徴量の類似度を算出する小領域類似度算出手段と、算出された小領域ごとの類似度に領域ごとの重み値を作用させて問合せ画像と参照画像の画像類似度を算出する画像類似度算出手段とを備えた構成である。このような構成を採用し、画像の領域ごとの加工確率を考慮して画像類似度を算出することにより、画像の類似度の判定において加工処理が施された確率の高い領域の影響を排除することができるため、加工処理が施された画像と元画像間の画像類似度を高い値として算出することができる。

本発明による画像類似度算出システムの好ましい一態様は、例えば、領域ごとに画像に加工処理が施される確率にもとづいて画像間の一致を判定するしきい値を算出する一致判定しきい値算出手段と、問合せ画像の分割された小領域ごとの特徴量と参照画像の分割された小領域ごとの特徴量とを比較して小領域ごとの特徴量の類似度を算出する小領域類似度算出手段と、算出された小領域ごとの類似度から画像全体の類似度を算出したのち一致を判定するしきい値を用いて画像全体の類似度を修正して問合せ画像と参照画像の画像類似度を算出する画像類似度算出手段とを備えた構成である。このような構成を採用し、画像に加工処理が施される確率モデルにもとづいて画像間の類似度の確率分布を推定することにより、比較する２つの画像が一致するか否かを判定する最適なしきい値を算出し、前記しきい値を用いて画像間の類似度を修正することにより、加工処理が施された画像と元画像間の画像類似度を高い値として算出することができ、全く無関係の２つの画像間の画像類似度を低い値として算出することができ、加工処理が施された問合せ画像が参照画像から生成されたものか否かを判定するのに適した画像類似度を算出することができる。

本発明による画像検索システムの好ましい一態様は、例えば、入力として与えられる学習画像または機器特性から画像の局所領域ごとに加工処理が施される確率を局所領域加工確率として算出する加工確率モデル推定手段と、局所領域加工確率にもとづいて画像の局所領域ごとの重み値を局所領域重み値として算出する局所領域重み値算出手段と、入力として与えられる加工処理が施された問合せ画像を小領域に分割する画像分割手段と、分割された小領域から各小領域の特徴量を問合せ画像小領域特徴量として抽出する小領域特徴量抽出手段と、事前に登録された複数の参照画像からなる参照画像群におけるそれぞれの参照画像の小領域特徴量を記憶する参照画像群小領域特徴量記憶部と、参照画像群小領域特徴量記憶部に記憶された各参照画像の小領域特徴量と、問合せ画像小領域特徴量とを比較して、各参照画像に対する小領域ごとの特徴量の類似度を小領域類似度として算出する小領域類似度算出手段と、小領域類似度算出手段が算出した各参照画像に対する小領域類似度に局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをして問合せ画像と参照画像群の各参照画像との画像類似度を算出する画像類似度算出手段と、画像類似度算出手段が算出した各参照画像に対する画像類似度にもとづいて、参照画像群の中から問合せ画像に対する検索結果を出力する検索結果出力手段とを備えた構成である。このような構成を採用し、画像の領域ごとの加工確率を考慮して画像類似度を算出することにより、画像の類似度の判定において加工処理が施された確率の高い領域の影響を排除することができるため、加工処理が施された画像と類似度が高い参照画像を抽出することができる。

本発明の第１の効果は、加工処理が施された画像と元画像間の画像類似度を高い値として算出することができることにある。その理由は、画像に加工処理が施される確率モデルを考慮しながら画像類似度を算出することにより、画像類似度の算出において加工処理が施された確率の高い領域の影響を排除することができるためである。

本発明の第２の効果は、加工処理が施された画像から元画像を精度よく検索することができることにある。その理由は、加工処理が施された画像と元画像間の画像類似度を高い値として算出できる第１の効果を有する画像類似度の算出方法を利用して画像の検索を行うためである。

以下、本発明を実施するための最良の形態について図面を参照して詳細に説明する。

（第１の実施の形態）
本発明の第１の実施の形態について図面を参照して説明する。図１のブロック図に示すように、本発明の画像類似度算出システムの第１の実施の形態は、機能上、特徴量抽出部１１と、画像類似度算出部１２と、加工確率モデル推定手段（加工確率算出手段の一例）１３と、局所領域重み値算出手段１４とを備えている。

特徴量抽出部１１は、機能上、画像分割手段１１１と、小領域特徴量抽出手段１１２とを含む。

画像分割手段１１１は、加工処理が施された問合せ画像が入力されると、問合せ画像を小領域に分割し、小領域に分割された問合せ画像を小領域特徴量抽出手段１１２に出力する。加工処理とは、画像の絵柄を部分的に変化させる処理のことをいう。加工処理の例として、画像に対するテロップ・字幕やキャラクターなどの重畳オブジェクトのオーバーレイ、画像の一部の切り抜き・切り出し、画像の一部に対するモザイク処理・ぼかし処理などがある。小領域に分割する方法は任意である。小領域に分割する方法の例として、画像を同一の大きさの矩形に分割する方法、画像を不均一な大きさの矩形に分割する方法、画像を円形や三角形などの矩形以外の任意の形状・任意の大きさに分割する方法などがあるが、これらの分割方法に限ったものではない。また、小領域の一部が重複するように分割してもよい。また、画像全体を小領域に分割する必要もなく、画像の一部のみを小領域に分割してもよい。

小領域特徴量抽出手段１１２は、画像分割手段１１１から入力される小領域に分割された問合せ画像から各小領域の特徴量を抽出し、抽出された問合せ画像の小領域特徴量を小領域類似度算出手段１２１に出力する。抽出する小領域特徴量の例として、色情報、エッジ情報、テクスチャ情報、形状情報、動き情報などがあるが、これらに限ったものではない。

色情報の小領域特徴量の例として、各小領域内の全画素値の平均値、最頻値、メディアン値などの代表値や、画素値の出現ヒストグラムなどがある。画素値とはＲＧＢ表色空間、ＨＳＶ表色空間、ＹＵＶ表色空間、ＹＩＱ表色空間、ＹＣｂＣｒ表色空間、Ｌ＊ａ＊ｂ＊表色空間、ＸＹＺ表色空間などの各種表色空間系の座標値のことである。また、国際標準規格ＩＳＯ／ＩＥＣ １５９３８−３に規定されているDominant Color、Color Layout、Scalable Color、Color Structureなどの色情報に関する特徴量を用いてもよい。

エッジ情報の小領域特徴量の例として、各小領域の大局的なエッジパターンを、複数あるエッジパターンの中の最も合致するパターンとして記述する特徴量（以後、エッジ要素特徴量と呼ぶ。）を用いてもよいし、各章領域内の局所的なエッジパターンの出現ヒストグラムを用いてもよい。また、ＩＳＯ／ＩＥＣ １５９３８−３に規定されているEdge Histogramを用いてもよい。テクスチャ情報の特徴量の例としては、ＩＳＯ／ＩＥＣ １５９３８−３に規定されているHomogeneous TextureやTexture Browsingなどがある。形状情報の特徴量の例としては、ＩＳＯ／ＩＥＣ １５９３８−３に規定されているRegion Shape、Contour Shape、Shape 3Dなどがある。

また、問合せ画像が動画像のフレーム画像である場合は、小領域特徴量として動き情報を用いてもよい。動き情報の特徴量の例としては、ＩＳＯ／ＩＥＣ １５９３８−３に規定されているParametric MotionやMotion Activityなどがある。

加工確率モデル推定手段１３は、入力として与えられる加工処理が施された学習画像または加工処理を施す機器の特性から、画像の局所領域ごとに加工処理が施される確率を局所領域加工確率として算出し、算出された局所領域加工確率を局所領域重み値算出手段１４に出力する。局所領域は、画像分割手段１１１において分割される小領域と対応するのが望ましいが、画像分割手段１１１において分割される小領域を更に小さい複数の領域に分割したものでもよいし、画像の各画素を局所領域としてもよい。また、画像分割手段１１１における小領域分割方法とは異なる任意の形状や大きさに分割した領域を局所領域としてもよい。

学習画像とは、加工確率モデル推定手段１３が局所領域加工確率を算出するための元になる１つまたは複数の加工処理が施された画像である。例えば、本発明が、映像編集装置に適用される場合には、加工処理が施された任意の映像を構成するフレーム画像を学習画像として用いることができる。また、学習画像は１種類に限られず、例えば、ニュース番組として使用されるニュース画像、スポーツ番組として使用されるスポーツ画像、バラエティ番組として使用されるバラエティ画像など、画面においてテロップ挿入などの加工処理が施される場所に特徴があると想定される種別ごとに分類されていてもよい。例えば、スポーツ画像については、画面における周辺部分に加工処理が施される可能性が高いと想定され、バラエティ番組画像については、画面における中央部分に加工処理が施される可能性が高いと想定される場合などに、スポーツ画像用の学習画像と、バラエティ番組画像用の学習画像とを使い分ければよい。この場合には、加工確率モデル推定手段１３は、種別毎の局所領域加工確率を算出する。なお、ユーザが問合せ画像の種別を指定することにより、問合せ画像の種別に対応した局所領域加工確率を使用することができる。

加工処理が施された学習画像が入力として与えられる場合は、学習画像において加工処理が施された領域を特定し、局所領域加工確率を計測する。加工処理が施された領域を特定する方法としては、人手によって行ってもよいし、例えば特開２００３−１７９８８８号公報に記載されているような画像情報と文字情報とを分離する方法（以下、テロップ検出方法という。）などの加工処理を自動的に検出する方法を用いてもよい。加工処理を施す機器の特性が入力として与えられる場合は、当該機器が画像に対して施す加工パターンおよび各加工パターンの使用頻度の情報に基づいて、局所領域加工確率を計測する方法がある。

機器特性の一例として、加工処理を施す機器が画像に対して施す加工のパターンおよび各加工パターンの使用頻度の情報がある。例えば、本発明が、映像編集装置に適用される場合には、ある映像編集装置を用いたときに画面における特定の１つまたは複数の領域に加工処理が施される可能性が高いと想定され、他の映像編集装置を用いたときに画面における別の特定の１つまたは複数の領域に加工処理が施される可能性が高いと想定される場合に、それらの領域を加工処理が施される領域として示す情報を、加工のパターンを示す情報として使用することができる。また、例えば、スポーツ画像については、画面における周辺領域に加工処理が施される可能性が高いと想定され、バラエティ番組画像については、画面における中央領域に加工処理が施される可能性が比較的高いと想定される場合などに、それらの領域を加工処理が施される領域として示す情報を加工のパターンを示す情報として使用することができる。つまり、本来的な意味での機器の特性だけでなく、一の機器（例えばテロップ挿入装置）が用いられる場合でも画像の種別に応じて加工のパターンを変えるときには、それぞれの加工パターンおよび各加工パターンの使用頻度の情報は、機器特性に含まれる。

局所領域重み値算出手段１４は、加工確率モデル推定手段１３から入力される局所領域加工確率にもとづいて、画像の各局所領域から抽出される特徴量が画像全体の類似度の算出にどの程度有効であるかを数値化した重み値を局所領域重み値として算出し、算出された局所領域重み値を画像類似度算出手段１２２に出力する。局所領域重み値は、当該局所領域の局所領域加工確率が低いほど、高い値に設定するのが有効である。局所領域重み値の算出方法の一例として、
局所領域重み値＝１−局所領域加工確率
とする方法があるが、これに限ったものではなく、局所領域重み値を、局所領域加工確率が高い場合には低い値、局所領域加工確率が低い場合には高い値とするなど、画像類似度算出処理において、加工処理が施された確率の高い領域の影響を排除することができる他の算出方法を用いてもよい。

局所領域は、加工確率モデル推定手段１３における局所領域と同様に、画像分割手段１１１において分割される小領域と対応するのが望ましいが、画像分割手段１１１において分割される小領域を更に小さい複数の領域に分割したものでもよいし、画像の各画素を局所領域としてもよい。また、画像分割手段１１１における小領域分割方法とは異なる任意の形状や大きさに分割した領域を局所領域としてもよい。

画像類似度算出部１２は、機能上、小領域類似度算出手段１２１と、画像類似度算出手段１２２とを含む。

小領域類似度算出手段１２１は、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域の特徴量と、入力として与えられる参照画像の小領域特徴量とを比較し、小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段１２２に出力する。小領域類似度の算出方法は、使用する小領域特徴量に応じて任意に定められる。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域特徴量として用いた場合には、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域特徴量として用いる場合には、ヒストグラム間の類似度を算出する方法がある。

また、ＩＳＯ／ＩＥＣ １５９３８−３に規定されているDominant Color、Color Layout、Scalable Color、Color Structure、Edge Histogram、Homogeneous Texture、Texture Browsing、Region Shape、Contour Shape、Shape 3D、Parametric Motion、Motion Activityなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。

また、類似度を１、０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、入力として与えられる参照画像の小領域特徴量に関する小領域は、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量に関する小領域と対応しているのが望ましい。対応する小領域を直接比較することができるためである。

画像分割方法が異なるために、問合せ画像の小領域と参照画像の小領域とが対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像の小領域特徴量に関する小領域が、問合せ画像の小領域特徴量に関する小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。また、参照画像の小領域特徴量に関する小領域分割方法が、問合せ画像の小領域特徴量に関する小領域分割方法と全く異なる形状や大きさの分割方法である場合には、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。

画像類似度算出手段１２２は、小領域類似度算出手段１２１から入力される小領域類似度に対して、局所領域重み値算出手段１４から入力される局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをする。さらに、求められた重み付けされた小領域類似度から画像全体の類似度を画像類似度として算出し、算出された画像類似度を出力する。画像類似度の算出方法として、重み付けされた小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。

局所領域重み値算出手段１４から入力される局所領域重み値を持つ局所領域が、小領域類似度算出手段１２１から入力される小領域類似度を持つ小領域と対応する場合には、局所領域重み値を直接小領域ごとの重み値として用いることができる。小領域類似度を持つ小領域と、局所領域重み値を持つ局所領域が対応していない場合には、局所領域重み値を用いて小領域類似度を持つ小領域に対応した重み値を補完すればよい。例えば、局所領域重み値を持つ局所領域が、小領域類似度を持つ小領域をより小さい複数の領域に分割したものであるならば、複数の局所領域重み値の平均値を算出することで、小領域類似度を持つ小領域に対応した重み値を生成することができる。また、局所領域重み値に関する局所領域分割方法が、小領域類似度に関する小領域分割方法と全く異なる形状や大きさの分割方法である場合には、小領域と重複する複数の局所領域の重み値を、重複する面積に比例した重み付けをして総和することで、小領域類似度を持つ小領域に対応した重み値を生成することができる。

なお、画像類似度算出システムは、コンピュータで実現可能であり、画像類似度算出システムを構成する各構成要素、すなわち、特徴量抽出部１１、画像類似度算出部１２、加工確率モデル推定手段１３および局所領域重み値算出手段１４は、コンピュータの処理装置（ＣＰＵ）に上述した機能を実現させるためのプログラムとして実現可能である。画像類似度算出システムを構成する各構成要素がコンピュータで実現可能であること、およびプログラムとして実現可能であることは、第１の実施の形態に限らず、後述する他の実施の形態でも同様である。

次に、図１のブロック図および図２のフローチャートを参照して、第１の実施の形態の動作について説明する。

学習画像または機器特性が入力として与えられると（ステップＡ１）、加工確率モデル推定手段１３は、入力された学習画像または機器特性から、画像の局所領域ごとに加工処理が施される確率を局所領域加工確率として算出する（ステップＡ２）。

図３は、加工確率モデル推定手段１３による局所領域加工確率の算出の仕方を説明する説明図である。図３に示す例では、画像データに対応する画像の領域は１６個の局所領域に分けられている。加工確率モデル推定手段１３は、複数の学習画像のそれぞれの局所領域について加工処理が施されている場合には「１」とし、施されていない場合には「０」として、局所領域ごとに平均をとるなどの処理によって、局所領域ごとに加工処理が施される確率を算出する。すなわち、局所領域加工確率を示す確率モデルを推定する。なお、ここで説明した確率モデルの推定方法は一例であり、他の方法を用いてもよい。

そして、加工確率モデル推定手段１３は、算出した局所領域加工確率を局所領域重み値算出手段１４に出力する。次に、局所領域重み値算出手段１４は、局所領域加工確率にもとづいて画像の局所領域ごとの重み値を局所領域重み値として算出する（ステップＡ３）。

また、加工処理が施された問合せ画像が入力として与えられると（ステップＡ４）、画像分割手段１１１は、入力された問合せ画像を小領域に分割し、小領域に分割された画像を小領域特徴量抽出手段１１２に出力する（ステップＡ５）。小領域特徴量抽出手段１１２は、小領域に分割された画像の各小領域の特徴量を問合せ画像小領域特徴量として抽出し、抽出された問い合わせ画像小領域特徴量を小領域類似度算出手段１２１に出力する（ステップＡ６）。次いで、参照画像の小領域特徴量が入力として与えられると（ステップＡ７）、小領域類似度算出手段１２１は、入力された参照画像の小領域特徴量と問合せ画像小領域特徴量を比較して小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段１２２に出力する（ステップＡ８）。次いで、画像類似度算出手段１２２は、小領域類似度に対して、ステップＡ３において局所領域重み値算出手段１４で算出された局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをして問合せ画像と参照画像の画像類似度を算出する（ステップＡ９）。このようにして、局所領域重み値を用いることから、加工処理が施された確率の高い領域の影響を排除することができる。最後に、画像類似度算出手段１２２は、算出された画像類似度を出力する（ステップＡ１０）。

本発明の第１の実施の形態では、画像の分割された小領域ごとの類似度に対して、画像に加工処理の施される確率モデルを考慮して算出した重み付けを施して画像類似度を算出している。このため、画像類似度の算出において加工処理が施された確率の高い領域の影響を排除し、問合せ画像の加工前の状態と参照画像との類似度を正しく測定ができ、加工処理が施された画像と元画像間の画像類似度を高い値として算出することができる。また、本発明の第１の実施の形態では、問合せ画像から加工処理が施された領域を検出する処理を必要とせず、また学習画像または機器特性から局所領域重み値を算出しているため、あらかじめ別処理において局所領域重み値を求めておくことができ、画像類似度の算出を高速に行うことができる。

また、この実施の形態では、画像類似度算出手段１２２が、加工確率モデル推定手段１３が推定した画像に加工処理が施される確率モデル、具体的には、局所領域ごとに画像に加工処理が施される確率モデルを考慮して画像類似度を算出したが、小領域類似度算出手段１２１が、確率モデルを考慮しながら、入力された参照画像の小領域特徴量と問合せ画像小領域特徴量を比較して小領域ごとの特徴量の類似度を小領域類似度として算出するようにしてもよい。例えば、加工処理が施される確率が高い小領域に対して小領域類似度を低めに調整する等の処理を施すようにしてもよい。なお、小領域類似度算出手段１２１が、確率モデルを考慮しながら小領域類似度を算出してもよいことは、以下の実施の形態でも同様である。

なお、加工確率モデル推定手段１３は、問合わせ画像の入力のそれぞれに対応したタイミングで局所領域加工確率を算出するという必要はない。例えば、本発明が適用される装置またはシステムの設置時や、その後の定期的な時期等に局所領域加工確率の算出処理を行えばよい。そして、加工確率モデル推定手段１３は、算出結果を保持し、問合わせ画像が入力されると、保持している局所領域加工確率を局所領域重み値算出手段１４に出力する。また、このことは、以下の各実施の形態における加工確率モデル推定手段についても同様である。

従って、あらかじめ局所領域加工確率を算出し、算出された局所領域加工確率をＲＯＭ等の記憶手段に格納してもよい。図４は、加工確率モデル推定手段１３に代えて、局所領域加工確率を記憶する記憶手段が設けられている第１の実施の形態の変形例を示すブロック図である。

図４に示す構成において、加工確率モデル記憶手段１３９は、局所領域加工確率を記憶している。局所領域は、画像分割手段１１１において分割される小領域と対応するのが望ましいが、画像分割手段１１１において分割される小領域を更に小さい複数の領域に分割したものでもよいし、画像の各画素を局所領域としてもよい。また、画像分割手段１１１における小領域分割方法とは異なる任意の形状や大きさに分割した領域を局所領域としてもよい。局所領域加工確率として、全ての画像に対して共通に使用する値を記憶しておいてもよいし、ニュース画像、スポーツ画像、バラエティ画像など、使用される画像の種別ごとに異なる値を記憶しておいてもよい。後者の場合において、ユーザが問合せ画像の種別を指定することにより、問合せ画像の種別に対応した局所領域加工確率を使用することができる。

図５は、加工確率モデル記憶手段１３９に記憶される局所領域加工確率の一例を示す説明図である。この例では、ニュース画像、スポーツ画像、バラエティ画像の各種別に応じて、画像の分割された局所領域ごとに加工処理が施される確率が記憶されている。ニュース画像やスポーツ画像では、画像の左上、右上、下部に加工処理が施される確率が高いため、該当する局所領域の局所領域加工確率の値が高くなっている。またバラエティ画像では、画像の中央部に加工処理が施される確率も高くなっている。

なお、図４に示す加工確率モデル記憶手段１３９以外の各ブロックの構成および動作は、図１に示された各ブロックの構成および動作と同じである。このような変形例によれば、演算機能を持つ加工確率モデル推定手段１３を備える必要がなくなる。

また、局所領域加工確率をフラッシュメモリなどの書き換え可能な記憶手段に記憶させ、局所領域加工確率が変更可能になるように構成してもよい。図６は、加工確率モデル推定手段１３に代えて、局所領域加工確率を記憶する書き換え可能な記憶手段が設けられている第１の実施の形態の他の変形例を示すブロック図である。

図６に示す構成において、加工確率モデル推定手段１３は、随時追加で入力される加工処理が施された学習画像または加工処理を施す機器の特性から、画像の局所領域ごとに加工処理が施される確率を局所領域加工確率として算出し、算出された局所領域加工確率を加工確率モデル更新手段１４９に出力する。なお、加工確率モデル推定手段１３には、例えば、定期的に、または、加工確率モデルが大きく変わる可能性がある何らかの事象が生じたときなどに学習画像または加工処理を施す機器の特性が入力される。

加工確率モデル更新手段１４９は、加工確率モデル記憶手段１３９にあらかじめ記憶されている局所領域加工確率を読み込み、加工確率モデル記憶手段１３９から読み込んだ局所領域加工確率と、加工確率モデル推定手段１３から入力される局所領域加工確率とを用いて、局所領域加工確率を更新し、更新した局所領域加工確率を加工確率モデル記憶手段１３９に記憶させる。また、加工確率モデル更新手段１４９は、加工確率モデル記憶手段１３９から読み込んだ新たな局所領域加工確率を、そのまま加工確率モデル記憶手段１３９に記憶させることによって、局所領域加工確率を更新するようにしてもよい。

なお、図６に示す加工確率モデル更新手段１４９および加工確率モデル記憶手段１３９以外の各ブロックの構成および動作は、図１に示された各ブロックの構成および動作と同じである。このような変形例によれば、加工確率モデル記憶手段１３９に記憶されている局所領域加工確率を、適切な内容に維持することができる。

（第２の実施の形態）
本発明の第２の実施の形態について図面を参照して説明する。図７のブロック図に示すように、本発明の画像類似度算出システムの第２の実施の形態は、図１に示された第１の実施の形態における画像類似度算出部１２が、画像類似度算出部２２に置き換わり、また、参照画像群小領域特徴量記憶部２５と検索結果出力手段２６を有する点が第１の実施の形態とは異なる。なお、この実施の形態のように参照画像群小領域特徴量記憶部２５と検索結果出力手段２６を有する画像類似度算出システムは、画像検索システムを実現する。

参照画像群小領域特徴量記憶部２５は、事前に登録された複数の参照画像の小領域特徴量を記憶している。参照画像群小領域特徴量記憶部２５に記憶されている各参照画像の小領域特徴量に関する小領域は、画像分割手段１１１において分割される問合せ画像の小領域と対応しているのが望ましいが、問合せ画像の小領域とは異なる形状や大きさに分割されたものでもよい。

画像類似度算出部２２は、機能上、小領域類似度算出手段２２１と、画像類似度算出手段２２２とを含む。

小領域類似度算出手段２２１は、参照画像群小領域特徴量記憶部２５から複数の参照画像の小領域特徴量を１画像分ずつ読み込み、読み込んだ各参照画像の小領域特徴量と、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量を比較し、小領域ごとに特徴量の類似度を小領域類似度として算出する。算出された参照画像群の各参照画像に対する小領域類似度を画像類似度算出手段２２２に出力する。

小領域類似度の算出方法は、使用する小領域特徴量に応じて任意に定められる。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。

また、国際標準規格ＩＳＯ／ＩＥＣ １５９３８−３に規定されているDominant Color、Color Layout、Scalable Color、Color Structure、Edge Histogram、Homogeneous Texture、Texture Browsing、Region Shape、Contour Shape、Shape 3D、Parametric Motion、Motion Activityなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。

また、類似度を１、０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量に関する小領域と、参照画像群小領域特徴量記憶部２５から読み込んだ参照画像の小領域特徴量に関する小領域が、画像分割方法が異なるために対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像の小領域特徴量に関する小領域が、問合せ画像の小領域特徴量に関する小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。

また、参照画像の小領域特徴量に関する小領域分割方法が、問合せ画像の小領域特徴量に関する小領域分割方法と全く異なる形状や大きさの分割方法である場合には、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。

画像類似度算出手段２２２は、小領域類似度算出手段２２１から入力される参照画像群の各参照画像に対する小領域類似度に対して、局所領域重み値算出手段１４から入力される局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをし、求められた重み付けされた小領域類似度から画像全体の類似度を画像類似度として算出する。そして、算出された参照画像群の各参照画像に対する画像類似度を検索結果出力手段２６に出力する。

画像類似度の算出方法として、重み付けされた小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。局所領域重み値算出手段１４から入力される局所領域重み値を持つ局所領域が、小領域類似度算出手段１２１から入力される小領域類似度を持つ小領域と対応する場合には、局所領域重み値を直接小領域ごとの重み値として用いることができる。小領域類似度を持つ小領域と、局所領域重み値を持つ局所領域が対応していない場合には、局所領域重み値を用いて小領域類似度を持つ小領域に対応した重み値を補完すればよい。例えば、局所領域重み値を持つ局所領域が、小領域類似度を持つ小領域をより小さい複数の領域に分割したものであるならば、複数の局所領域重み値の平均値を算出することで、小領域類似度を持つ小領域に対応した重み値を生成することができる。

また、局所領域重み値に関する局所領域分割方法が、小領域類似度に関する小領域分割方法と全く異なる形状や大きさの分割方法である場合には、小領域と重複する複数の局所領域の重み値を、重複する面積に比例した重み付けをして総和することで、小領域類似度を持つ小領域に対応した重み値を生成することができる。

検索結果出力手段２６は、画像類似度算出手段２２２から入力される参照画像群の各参照画像に対する画像類似度にもとづいて、参照画像群の中から問合せ画像に対する検索結果を出力する。検索として、参照画像群の全参照画像の中から、最も画像類似度が大きい値を持つ参照画像を出力する方法がある。また参照画像群の各参照画像に対する画像類似度と、あらかじめ設定した閾値を比較し、画像類似度が閾値以上である参照画像を全て出力してもよい。

次に、図２のブロック図および図７のフローチャートを参照して、第２の実施の形態の動作について説明する。

学習画像または機器特性が入力として与えられると（ステップＢ１）、加工確率モデル推定手段１３は、入力された学習画像または機器特性から、画像の局所領域ごとに加工処理が施される確率を局所領域加工確率として算出し、算出された局所領域加工確率を局所領域重み値算出手段１４に出力する（ステップＢ２）。局所領域重み値算出手段１４は、局所領域加工確率にもとづいて画像の局所領域ごとの重み値を局所領域重み値として算出する（ステップＢ３）。

加工処理が施された問合せ画像が入力として与えられると（ステップＢ４）、画像分割手段１１１は、入力された問合せ画像を小領域に分割し、小領域分割された画像を小領域特徴量抽出手段１１２に出力する（ステップＢ５）。小領域特徴量抽出手段１１２は、小領域分割された画像の各小領域の特徴量を問合せ画像小領域特徴量として抽出し、抽出された問い合わせ画像小領域特徴量を小領域類似度算出手段２２１に出力する（ステップＢ６）。次に、参照画像群小領域特徴量記憶部２５から、１画像分の参照画像の小領域特徴量を読み込む（ステップＢ７）。

小領域類似度算出手段２２１は、読み込まれた１画像分の参照画像の小領域特徴量と問合せ画像小領域特徴量を比較して小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段２２２に出力する（ステップＢ８）。次に、画像類似度算出手段２２２は、小領域類似度に対して、ステップＢ３において局所領域重み値算出手段１４で算出された局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをして読み込まれた１画像分の参照画像と問合せ画像の画像類似度を算出する（ステップＢ９）。次に、参照画像群小領域特徴量記憶部２５に記憶されている全ての参照画像に対する画像類似度を算出したか否かを調べる（ステップＢ１０）。画像類似度を算出していない参照画像が残っている場合には、ステップＢ７へ戻る。全ての参照画像に対する画像類似度が算出されている場合には、ステップＢ１１へ進む。最後に、検索結果出力手段２６は、全ての参照画像に対する画像類似度にもとづいて、参照画像群の中から問合せ画像に対する検索結果を出力する（ステップＢ１１）。

本発明の第２の実施の形態では、本発明の第１の実施の形態の効果を有する画像類似度の算出方法を利用して画像の検索を行う。従って、加工処理が施された確率の高い領域の影響を排除して算出した画像類似度を用いて画像の検索を行うため、加工処理が施された画像から元画像を精度よく検索することができる。また、第１の実施の形態と同様に、問合せ画像から加工領域を検出する処理を必要とせず、あらかじめ局所領域重み値を求めておくことができるため、画像検索を高速に行うことができる。

なお、第２の実施の形態でも、第１の実施の形態についての各変形例を適用することができる。すなわち、加工確率モデル推定手段１３に代えて加工確率モデル記憶手段１３９を設けてもよいし、加工確率モデル更新手段１４９と加工確率モデル記憶手段１３９とを設けてもよい。

（第３の実施の形態）
本発明の第３の実施の形態について図面を参照して説明する。図９のブロック図に示すように、本発明の画像類似度算出システムの第３の実施の形態は、特徴量抽出部１１と、画像類似度算出部３２と、加工領域検出手段（加工確率算出手段の一例）３３と、局所領域重み値算出手段３４とを備えている。特徴量抽出部１１は、第１の実施の形態において備えられていたものと同じものである。

加工領域検出手段３３は、入力として与えられる加工処理が施された問合せ画像に対して、テロップ検出方法などの加工領域を自動的に検出する方法により、問合せ画像の局所領域ごとに加工処理が施された確率を局所領域加工確率として算出し、算出された局所領域加工確率を局所領域重み値算出手段３４に出力する。局所領域加工確率の確率値は、任意の値であってもよいし、１、０の２値であってもよい。また、局所領域は、画像分割手段１１１で分割される小領域を更に小さい複数の領域に分割したものでもよいし、画像の各画素を局所領域としてもよい。また、画像分割手段１１１における小領域分割方法とは異なる任意の形状や大きさに分割した領域を局所領域としてもよい。

局所領域重み値算出手段３４は、加工領域検出手段３３から入力される局所領域加工確率にもとづいて、画像の各局所領域から抽出される特徴量が画像全体の類似度の算出にどの程度有効であるかを数値化した重み値を局所領域重み値として算出する。そして、算出された局所領域重み値を画像類似度算出手段３２２に出力する。局所領域は、画像分割手段１１１において分割される小領域と対応するのが望ましいが、画像分割手段１１１において分割される小領域を更に小さい複数の領域に分割したものでもよいし、画像の各画素を局所領域としてもよい。また、画像分割手段１１１における小領域分割方法とは異なる任意の形状や大きさに分割した領域を局所領域としてもよい。局所領域重み値の算出方法の一例として、
局所領域重み値＝１−局所領域加工確率
とする方法があるが、これに限ったものではなく、画像類似度算出処理において、加工処理が施された確率の高い領域の影響を排除することができる他の算出方法を用いてもよい。また、加工領域検出手段３３から入力される局所領域加工確率が１、０の２値の確率値として与えられる場合には、複数の局所領域を統合した領域を新たな局所領域とし、局所領域重み値を統合後の局所領域内に含まれる局所領域加工確率がである統合前の局所領域の面積の割合として求める方法がある。

画像類似度算出部３２は、機能上、小領域類似度算出手段３２１と、画像類似度算出手段３２２とを含む。

小領域類似度算出手段３２１は、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量と、入力として与えられる参照画像の小領域特徴量を比較し、小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段３２２に出力する。小領域類似度の算出方法は、使用する小領域特徴量に応じて任意に定められる。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域特徴量として用いた場合には、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。

色やエッジ要素の出現ヒストグラムを小領域特徴量として用いる場合には、ヒストグラム間の類似度を算出する方法がある。またＩＳＯ／ＩＥＣ １５９３８−３に規定されているDominant Color、Color Layout、Scalable Color、Color Structure、Edge Histogram、Homogeneous Texture、Texture Browsing、Region Shape、Contour Shape、Shape 3D、Parametric Motion、Motion Activityなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。

また、類似度を１、０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合には、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、入力として与えられる参照画像の小領域特徴量に関する小領域は、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量に関する小領域と対応しているのが望ましい。対応する小領域を直接比較することができるためである。問合せ画像の小領域と参照画像の小領域が画像分割方法が異なるために対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像の小領域特徴量に関する小領域が、問合せ画像の小領域特徴量に関する小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。

また、参照画像の小領域特徴量に関する小領域分割方法が、問合せ画像の小領域特徴量に関する小領域分割方法と全く異なる形状や大きさの分割方法である場合には、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。

画像類似度算出手段３２２は、小領域類似度算出手段３２１から入力される小領域類似度に対して、局所領域重み値算出手段３４から入力される局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをし、求められた重み付けされた小領域類似度から画像全体の類似度を画像類似度として算出し、算出された画像類似度を出力する。画像類似度の算出方法として、重み付けされた小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。

局所領域重み値算出手段３４から入力される局所領域重み値を持つ局所領域が、小領域類似度算出手段３２１から入力される小領域類似度を持つ小領域と対応する場合には、局所領域重み値を直接小領域ごとの重み値として用いることができる。小領域類似度を持つ小領域と、局所領域重み値を持つ局所領域が対応していない場合には、局所領域重み値を用いて小領域類似度を持つ小領域に対応した重み値を補完すればよい。例えば、局所領域重み値を持つ局所領域が、小領域類似度を持つ小領域をより小さい複数の領域に分割したものであるならば、複数の局所領域重み値の平均値を算出することで、小領域類似度を持つ小領域に対応した重み値を生成することができる。

また、局所領域重み値に関する局所領域分割方法が、小領域類似度に関する小領域分割方法と全く異なる形状や大きさの分割方法である場合には、小領域と重複する複数の局所領域の重み値を、重複する面積に比例した重み付けをして総和することで、小領域類似度を持つ小領域に対応した重み値を生成することができる。

第３の実施の形態では、第１の実施の形態と同様に、加工処理が施された確率の高い領域の影響を排除して画像類似度を算出するが、局所領域重み値を問合せ画像から直接算出した局所領域加工確率にもとづいて算出している。学習画像または機器特性から学習的に局所領域重み値を平均値として求める第１の実施の形態とは異なり、問合せ画像ごとに局所領域重み値を算出するため、加工処理が施された画像と元画像間の画像類似度をより高い値として算出することができる。また本実施の形態では、学習画像または機器特性の入力を必要としない。

（第４の実施の形態）
本発明の第４の実施の形態について図面を参照して説明する。図１０のブロック図に示すように、本発明の画像類似度算出システムの第４の実施の形態は、図９に示された第３の実施の形態における画像類似度算出部３２が、画像類似度算出部４２に置き換わり、また、参照画像群小領域特徴量記憶部２５と検索結果出力手段２６を有する点で第３の実施の形態とは異なる。参照画像群小領域特徴量記憶部２５および検索結果出力手段２６は、第２の実施の形態において備えられていたものと同じものである。

画像類似度算出部４２は、機能上、小領域類似度算出手段４２１と、画像類似度算出手段４２２とを含む。

小領域類似度算出手段４２１は、参照画像群小領域特徴量記憶部２５から複数の参照画像の小領域特徴量を１画像分ずつ読み込み、読み込んだ各参照画像の小領域特徴量と、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量を比較し、小領域ごとに特徴量の類似度を小領域類似度として算出する。算出された参照画像群の各参照画像に対する小領域類似度を画像類似度算出手段４２２に出力する。小領域類似度の算出方法は、使用する小領域特徴量に応じて任意に定められる。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域特徴量として用いた場合には、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。

色やエッジ要素の出現ヒストグラムを小領域特徴量として用いる場合には、ヒストグラム間の類似度を算出する方法がある。また、国際標準規格ＩＳＯ／ＩＥＣ １５９３８−３に規定されているDominant Color、Color Layout、Scalable Color、Color Structure、Edge Histogram、Homogeneous Texture、Texture Browsing、Region Shape、Contour Shape、Shape 3D、Parametric Motion、Motion Activityなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。

また、類似度を１、０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合には、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量に関する小領域と、参照画像群小領域特徴量記憶部２５から読み込んだ参照画像の小領域特徴量に関する小領域が、画像分割方法が異なるために対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像の小領域特徴量に関する小領域が、問合せ画像の小領域特徴量に関する小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。

また、参照画像の小領域特徴量に関する小領域分割方法が、問合せ画像の小領域特徴量に関する小領域分割方法と全く異なる形状や大きさの分割方法である場合には、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。

画像類似度算出手段４２２は、小領域類似度算出手段４２１から入力される参照画像群の各参照画像に対する小領域類似度に対して、局所領域重み値算出手段３４から入力される局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをし、求められた重み付けされた小領域類似度から画像全体の類似度を画像類似度として算出する。算出された参照画像群の各参照画像に対する画像類似度を検索結果出力手段２６に出力する。

画像類似度の算出方法として、重み付けされた小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。局所領域重み値算出手段３４から入力される局所領域重み値を持つ局所領域が、小領域類似度算出手段４２１から入力される小領域類似度を持つ小領域と対応する場合には、局所領域重み値を直接小領域ごとの重み値として用いることができる。小領域類似度を持つ小領域と、局所領域重み値を持つ局所領域が対応していない場合には、局所領域重み値を用いて小領域類似度を持つ小領域に対応した重み値を補完すればよい。例えば、局所領域重み値を持つ局所領域が、小領域類似度を持つ小領域をより小さい複数の領域に分割したものであるならば、複数の局所領域重み値の平均値を算出することで、小領域類似度を持つ小領域に対応した重み値を生成することができる。

また、局所領域重み値に関する局所領域分割方法が、小領域類似度に関する小領域分割方法と全く異なる形状や大きさの分割方法である場合には、小領域と重複する複数の局所領域の重み値を、重複する面積に比例した重み付けをして総和することで、小領域類似度を持つ小領域に対応した重み値を生成することができる。

検索結果出力手段２６は、第２の実施の形態の場合と同様に、検索結果を出力する。

第４の実施の形態では、第３の実施の形態の効果を有する画像類似度の算出方法を利用して画像の検索を行う。また、第２の実施の形態とは異なり、問合せ画像ごとに局所領域重み値を算出するため、加工処理が施された画像から元画像をより高精度に検索することができる。また、第３の実施の形態と同様に、本実施の形態では学習画像または機器特性の入力を必要としない。

（第５の実施の形態）
本発明の第５の実施の形態について図面を参照して説明する。図１１のブロック図に示すように、本発明の画像類似度算出システムの第５の実施の形態は、特徴量抽出部１１と、画像類似度算出部５２と、加工確率モデル推定手段５３と、一致判定閾値算出手段５４とを備えている。特徴量抽出部１１は、本発明の第１の実施の形態において備えられていたものと同じものである。

加工確率モデル推定手段（加工確率算出手段の一例）５３は、入力として与えられる加工処理が施された学習画像、または加工処理を施す機器の特性から、画像の局所領域ごとに加工処理が施される確率である局所領域加工確率、または画像に加工処理が施される局所領域数の確率分布である加工局所領域数確率分布を算出し、算出された局所領域加工確率または加工局所領域数確率分布を一致判定閾値算出手段５４に出力する。

機器特性の一例として、加工処理を施す機器が画像に対して施す加工のパターンおよび各加工パターンの使用頻度の情報がある。局所領域は、画像分割手段１１１において分割される小領域と対応するのが望ましいが、画像分割手段１１１において分割される小領域を更に小さい複数の領域に分割したものでもよいし、画像の各画素を局所領域としてもよい。また、画像分割手段１１１における小領域分割方法とは異なる任意の形状や大きさに分割した領域を局所領域としてもよい。

加工処理が施された学習画像が入力として与えられる場合には、学習画像において加工処理が施された領域を特定し、局所領域加工確率を計測する。加工処理が施された領域を特定する方法として、人手によって行ってもよいし、テロップ検出方法などの加工処理を自動的に検出する方法を用いてもよい。加工処理を施す機器の特性が入力として与えられる場合には、当該機器が画像に対して施す加工パターンおよび各加工パターンの使用頻度の情報にもとづいて、局所領域加工確率を計測する方法がある。

一致判定閾値算出手段５４は、加工確率モデル推定手段５３から入力される局所領域加工確率または加工局所領域数確率分布にもとづいて、後述する画像類似度算出手段５２２で求められる画像全体の類似度に対して、比較している２つの画像が一致するか否かを判定する最適な閾値を一致判定閾値として算出し、算出された一致判定閾値を画像類似度算出手段５２２に出力する。最適な閾値の算出方法として、局所領域加工確率または加工局所領域数確率分布にもとづいて加工処理が施され部分的に絵柄の変化した加工画像と元の画像間で、画像類似度算出手段５２２において画像の小領域ごとの類似度から求められる画像全体の類似度の生起確率分布を推定し、推定された画像全体の類似度の生起確率分布にもとづいて加工画像と元画像を不一致と判定する確率が十分に小さいと判断できる閾値に設定する方法がある。画像全体の類似度の生起確率分布を推定する際に、加工処理による絵柄の変化の影響の他に、画像の再エンコードに起因するノイズ発生による特徴量の変動の影響も考慮してもよい。

画像類似度算出部５２は、機能上、小領域類似度算出手段５２１と、画像類似度算出手段５２２とを含む。

小領域類似度算出手段５２１は、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量と、入力として与えられる参照画像の小領域特徴量を比較し、小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段５２２に出力する。小領域類似度の算出方法は、使用する小領域特徴量に応じて任意に求めてよい。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域特徴量として用いた場合には、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。

色やエッジ要素の出現ヒストグラムを小領域特徴量として用いる場合には、ヒストグラム間の類似度を算出する方法がある。またＩＳＯ／ＩＥＣ １５９３８−３に規定されているDominant Color、Color Layout、Scalable Color、Color Structure、Edge Histogram、Homogeneous Texture、Texture Browsing、Region Shape、Contour Shape、Shape 3D、Parametric Motion、Motion Activityなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。

また、類似度を１、０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合には、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、入力として与えられる参照画像の小領域特徴量に関する小領域は、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量に関する小領域と対応しているのが望ましい。対応する小領域を直接比較することができるためである。問合せ画像の小領域と参照画像の小領域が画像分割方法が異なるために対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像の小領域特徴量に関する小領域が、問合せ画像の小領域特徴量に関する小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。

また、参照画像の小領域特徴量に関する小領域分割方法が、問合せ画像の小領域特徴量に関する小領域分割方法と全く異なる形状や大きさの分割方法である場合には、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。

画像類似度算出手段５２２は、小領域類似度算出手段５２１から入力される小領域類似度から画像全体の類似度を算出し、算出された画像全体の類似度を一致判定閾値算出手段５４から入力される一致判定閾値を用いて修正し、修正された類似度を画像類似度として出力する。画像全体の類似度の算出方法として、小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。画像全体の類似度を一致判定閾値を用いて修正する方法として、画像全体の類似度が一致判定閾値以上であれば類似度を１に、画像全体の類似度が一致判定閾値未満であれば類似度を０に修正する方法がある。

次に、図１１のブロック図および図１２のフローチャートを参照して、第５の実施の形態の動作について説明する。

学習画像または機器特性が入力として与えられると（ステップＣ１）、加工確率モデル推定手段５３は、入力された学習画像または機器特性から、画像の局所領域ごとに加工処理が施される確率である局所領域加工確率または画像に加工処理が施される局所領域数の確率分布である加工局所領域数確率分布を算出し、算出された局所領域加工確率または加工局所領域数確率分布を一致判定閾値算出手段５４に出力する（ステップＣ２）。次に、一致判定閾値算出手段５４は、局所領域加工確率または加工局所領域数確率分布にもとづいて画像間の一致を判定する閾値を一致判定閾値として算出する（ステップＣ３）。

加工処理が施された問合せ画像が入力として与えられると（ステップＣ４）、画像分割手段１１１は、入力された問合せ画像を小領域に分割し、小領域分割された画像を小領域特徴量抽出手段１１２に出力する（ステップＣ５）。小領域特徴量抽出手段１１２は、小領域分割された画像の各小領域の特徴量を問合せ画像小領域特徴量として抽出し、抽出された問い合わせ画像小領域特徴量を小領域類似度算出手段５２１に出力する（ステップＣ６）。次に、参照画像の小領域特徴量が入力として与えられる（ステップＣ７）。小領域類似度算出手段５２１は、入力された参照画像の小領域特徴量と問合せ画像小領域特徴量を比較して小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段５２２に出力する（ステップＣ８）。画像類似度算出手段５２２は、小領域類似度から画像全体の類似度を算出し、ステップＣ３において一致判定閾値算出手段５４で算出された一致判定閾値を用いて画像全体の類似度を修正して問合せ画像と参照画像の画像類似度を算出する（ステップＣ９）。最後に、画像類似度算出手段５２２は、算出された画像類似度を出力する（ステップＣ１０）。

第５の実施の形態では、画像に加工処理が施される確率モデルにもとづいて、比較する２つの画像が一致するか否かを判定する最適な閾値を算出し、この閾値にもとづいて画像間の類似度を修正して画像類似度を算出する。画像が一致するか否かを判定する閾値にもとづいて類似度を修正するため、本実施の形態は、加工処理が施された問合せ画像が参照画像から生成されたものか否かを判定するのに適した画像類似度を算出することができる。また、第５の実施の形態では、問合せ画像から加工処理が施された領域を検出する処理を必要とせず、また学習画像または機器特性から一致判定閾値を算出しているため、あらかじめ別処理において一致判定閾値を求めておくことができ、画像類似度の算出を高速に行うことができる。

なお、第５の実施の形態でも、第１の実施の形態についての各変形例を適用することができる。すなわち、加工確率モデル推定手段５３に代えて加工確率モデル記憶手段を設けてもよいし、加工確率モデル更新手段と加工確率モデル記憶手段とを設けてもよい。

（第６の実施の形態）
本発明の第６の実施の形態について図面を参照して説明する。図１３のブロック図に示すように、本発明の画像類似度算出システムの第６の実施の形態は、図１１示された第５実施の形態における画像類似度算出部５２が、画像類似度算出部６２に置き換わり、また、参照画像群小領域特徴量記憶部２５と検索結果出力手段２６を有する点で第５実施の形態とは異なる。参照画像群小領域特徴量記憶部２５および検索結果出力手段２６は、第２の実施の形態において備えられていたものと同じものである。

画像類似度算出部６２は、機能上、小領域類似度算出手段６２１と画像類似度算出手段６２２とを含む。

小領域類似度算出手段６２１は、参照画像群小領域特徴量記憶部２５から複数の参照画像の小領域特徴量を１画像分ずつ読み込み、読み込んだ各参照画像の小領域特徴量と、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量を比較し、小領域ごとに特徴量の類似度を小領域類似度として算出する。算出された参照画像群の各参照画像に対する小領域類似度を画像類似度算出手段６２２に出力する。小領域類似度の算出方法は、使用する小領域特徴量に応じて任意に定められる。

例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域特徴量として用いた場合には、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域特徴量として用いる場合には、ヒストグラム間の類似度を算出する方法がある。

また、国際標準規格ＩＳＯ／ＩＥＣ １５９３８−３に規定されているDominant Color、Color Layout、Scalable Color、Color Structure、Edge Histogram、Homogeneous Texture、Texture Browsing、Region Shape、Contour Shape、Shape 3D、Parametric Motion、Motion Activityなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。

また、類似度を１、０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合には、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量に関する小領域と、参照画像群小領域特徴量記憶部２５から読み込んだ参照画像の小領域特徴量に関する小領域が、画像分割方法が異なるために対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像の小領域特徴量に関する小領域が、問合せ画像の小領域特徴量に関する小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。

また、参照画像の小領域特徴量に関する小領域分割方法が、問合せ画像の小領域特徴量に関する小領域分割方法と全く異なる形状や大きさの分割方法である場合には、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。

画像類似度算出手段６２２は、小領域類似度算出手段６２１から入力される参照画像群の各参照画像に対する小領域類似度から画像全体の類似度を算出し、算出された画像全体の類似度を一致判定閾値算出手段５４から入力される一致判定閾値を用いて修正する。修正された参照画像群の各参照画像に対する類似度を画像類似度として検索結果出力手段２６に出力する。画像全体の類似度の算出方法として、小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。画像全体の類似度を一致判定閾値を用いて修正する方法として、画像全体の類似度が一致判定閾値以上であれば類似度を１に、画像全体の類似度が一致判定閾値未満であれば類似度に修正する方法がある。

検索結果出力手段２６は、第２の実施の形態の場合と同様に、検索結果を出力する。

次に、図１３のブロック図および図１４のフローチャートを参照して、第６の実施の形態の動作について説明する。

学習画像または機器特性が入力として与えられると（ステップＤ１）、加工確率モデル推定手段５３は、入力された学習画像または機器特性から、画像の局所領域ごとに加工処理が施される確率である局所領域加工確率または画像に加工処理が施される局所領域数の確率分布である加工局所領域数確率分布を算出し、算出された局所領域加工確率または加工局所領域数確率分布を一致判定閾値算出手段５４に出力する（ステップＤ２）。一致判定閾値算出手段５４は、局所領域加工確率または加工局所領域数確率分布にもとづいて画像間の一致を判定する閾値を一致判定閾値として算出する（ステップＤ３）。

加工処理が施された問合せ画像が入力として与えられると（ステップＤ４）、画像分割手段１１１は、入力された問合せ画像を小領域に分割し、小領域分割された画像を小領域特徴量抽出手段１１２に出力する（ステップＤ５）。小領域特徴量抽出手段１１２は、小領域分割された画像の各小領域の特徴量を問合せ画像小領域特徴量として抽出し、抽出された問い合わせ画像小領域特徴量を小領域類似度算出手段６２１に出力する（ステップＤ６）。次に、参照画像群小領域特徴量記憶部２５から、１画像分の参照画像の小領域特徴量を読み込む（ステップＤ７）。小領域類似度算出手段６２１は、読み込まれた１画像分の参照画像の小領域特徴量と問合せ画像小領域特徴量を比較して小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段６２２に出力する（ステップＤ８）。

画像類似度算出手段６２２は、小領域類似度から画像全体の類似度を算出し、ステップＤ３において一致判定閾値算出手段５４で算出された一致判定閾値を用いて画像全体の類似度を修正して読み込まれた１が増分の参照画像と問合せ画像の画像類似度を算出する（ステップＤ９）。次に、参照画像群小領域特徴量記憶部２５に記憶されている全ての参照画像に対する画像類似度を算出したか否かを調べる（ステップＤ１０）。画像類似度を算出していない参照画像が残っている場合には、ステップＤ７へ戻る。全ての参照画像に対する画像類似度が算出されている場合には、ステップＤ１１へ進む。最後に、検索結果出力手段２６は、全ての参照画像に対する画像類似度にもとづいて、参照画像群の中から問合せ画像に対する検索結果を出力する（ステップＤ１１）。

第６の実施の形態では、加工処理が施された問合せ画像が参照画像から生成されたものか否かを判定するのに適した画像類似度を算出する第５の実施の形態を利用して、画像の検索を行う。このため、本実施の形態では、加工処理が施された問合せ画像の元画像が参照画像群の中に複数登録されている場合においても、加工済みの問合せ画像の元画像であると判定される全ての画像を正確に検索することができる。また、第５の実施の形態と同様に、問合せ画像から加工領域を検出する処理を必要とせず、あらかじめ一致判定閾値を求めておくことができるため、画像検索を高速に行うことができる。

なお、第６の実施の形態でも、第１の実施の形態についての各変形例を適用することができる。すなわち、加工確率モデル推定手段５３に代えて加工確率モデル記憶手段を設けてもよいし、加工確率モデル更新手段と加工確率モデル記憶手段とを設けてもよい。

（第７の実施の形態）
本発明の第７の実施の形態について図面を参照して説明する。図１５のブロック図に示すように、本発明の画像類似度算出システムの第７の実施の形態は、機能上、特徴量抽出部１１と、画像類似度算出部７２と、加工領域検出手段７３と、一致判定閾値算出手段７４とを備えている。特徴量抽出部１１は、本発明の第１の実施の形態において備えられていたものと同じものである。

加工領域検出手段７３は、入力として与えられる加工処理が施された問合せ画像に対して、テロップ検出方法などの加工領域を自動的に検出する方法により、問合せ画像の局所領域ごとに加工処理が施される確率である局所領域加工確率、または問合せ画像に加工処理が施された局所領域数の確率分布である加工局所領域数確率分布を算出し、算出された局所領域加工確率または加工局所領域数確率分布を一致判定閾値算出手段７４に出力する。局所領域加工確率の確率値は、任意の値であってもよいし、１，０の２値であってもよい。また、局所領域は、画像分割手段１１１で分割される小領域を更に小さい複数の領域に分割したものでもよいし、画像の各画素を局所領域としてもよい。また、画像分割手段１１１における小領域分割方法とは異なる任意の形状や大きさに分割した領域を局所領域としてもよい。

一致判定閾値算出手段７４は、加工領域検出手段７３から入力される局所領域加工確率または加工局所領域数確率分布にもとづいて、後述する画像類似度算出手段７２２で求められる画像全体の類似度に対して、比較している２つの画像が一致するか否かを判定する最適な閾値を一致判定閾値として算出し、算出された一致判定閾値を画像類似度算出手段７２２に出力する。最適な閾値の算出方法として、局所領域加工確率または加工局所領域数確率分布にもとづいて加工処理が施され部分的に絵柄の変化した加工画像と元の画像間で、画像類似度算出手段５２２において画像の小領域ごとの類似度から求められる画像全体の類似度の生起確率分布を推定し、推定された画像全体の類似度の生起確率分布にもとづいて加工画像と元画像を不一致と判定する確率が十分に小さいと判断できる閾値に設定する方法がある。画像全体の類似度の生起確率分布を推定する際に、加工処理による絵柄の変化の影響の他に、画像の再エンコードに起因するノイズ発生による特徴量の変動の影響も考慮してもよい。

画像類似度算出部７２は、機能上、小領域類似度算出手段７２１と、画像類似度算出手段７２２とを含む。

小領域類似度算出手段７２１は、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量と、入力として与えられる参照画像の小領域特徴量を比較し、小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段７２２に出力する。小領域類似度の算出方法は、使用する小領域特徴量に応じて任意に定められる。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域特徴量として用いた場合には、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域特徴量として用いる場合には、ヒストグラム間の類似度を算出する方法がある。

また、ＩＳＯ／ＩＥＣ １５９３８−３に規定されているDominant Color、Color Layout、Scalable Color、Color Structure、Edge Histogram、Homogeneous Texture、Texture Browsing、Region Shape、Contour Shape、Shape 3D、Parametric Motion、Motion Activityなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。

また、類似度を１、０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合には、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、入力として与えられる参照画像の小領域特徴量に関する小領域は、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量に関する小領域と対応しているのが望ましい。対応する小領域を直接比較することができるためである。問合せ画像の小領域と参照画像の小領域が画像分割方法が異なるために対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像の小領域特徴量に関する小領域が、問合せ画像の小領域特徴量に関する小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。

また、参照画像の小領域特徴量に関する小領域分割方法が、問合せ画像の小領域特徴量に関する小領域分割方法と全く異なる形状や大きさの分割方法である場合には、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。

画像類似度算出手段７２２は、小領域類似度算出手段７２１から入力される小領域類似度から画像全体の類似度を算出し、算出された画像全体の類似度を一致判定閾値算出手段７４から入力される一致判定閾値を用いて修正し、修正された類似度を画像類似度として出力する。画像全体の類似度の算出方法として、小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。画像全体の類似度を一致判定閾値を用いて修正する方法として、画像全体の類似度が一致判定閾値以上であれば類似度を１に、画像全体の類似度が一致判定閾値未満であれば類似度を０に修正する方法がある。

第７の実施の形態では、第５の実施の形態と同様に、加工処理が施された問合せ画像が参照画像から生成されたものか否かを判定するのに適した画像類似度を算出するが、一致判定閾値を問合せ画像から直接算出した局所領域加工確率にもとづいて算出している。学習画像または機器特性から学習的に一致判定閾値を平均値として求める第５の実施の形態とは異なり、問合せ画像ごとに一致判定値を算出するため、加工処理が施された問合せ画像が参照画像から生成されたものか否かを判定するのに適した画像類似度をより正確に求めることができる。また本実施の形態では、学習画像または機器特性の入力を必要としない。

（第８の実施の形態）
本発明の第８の実施の形態について図面を参照して説明する。図１６のブロック図に示すように、本発明の画像類似度算出システムの第８の実施の形態は、図１５示された第７実施の形態における画像類似度算出部７２が、画像類似度算出部８２に置き換わり、また、参照画像群小領域特徴量記憶部２５と検索結果出力手段２６を有する点で異なる。参照画像群小領域特徴量記憶部２５および検索結果出力手段２６は、本発明の第２の実施の形態において備えられていたものと同じものである。

画像類似度算出部８２は、機能上、小領域類似度算出手段８２１と、画像類似度算出手段８２２とを含む。

小領域類似度算出手段８２１は、参照画像群小領域特徴量記憶部２５から複数の参照画像の小領域特徴量を１画像分ずつ読み込み、読み込んだ各参照画像の小領域特徴量と、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量を比較し、小領域ごとに特徴量の類似度を小領域類似度として算出する。算出された参照画像群の各参照画像に対する小領域類似度を画像類似度算出手段８２２に出力する。小領域類似度の算出方法は、使用する小領域特徴量に応じて任意に求めてよい。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域特徴量として用いた場合には、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域特徴量として用いる場合には、ヒストグラム間の類似度を算出する方法がある。

また、国際標準規格ＩＳＯ／ＩＥＣ １５９３８−３に規定されているDominant Color、Color Layout、Scalable Color、Color Structure、Edge Histogram、Homogeneous Texture、Texture Browsing、Region Shape、Contour Shape、Shape 3D、Parametric Motion、Motion Activityなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。

また、類似度を１、０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合には、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量に関する小領域と、参照画像群小領域特徴量記憶部２５から読み込んだ参照画像の小領域特徴量に関する小領域が、画像分割方法が異なるために対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像の小領域特徴量に関する小領域が、問合せ画像の小領域特徴量に関する小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。

また、参照画像の小領域特徴量に関する小領域分割方法が、問合せ画像の小領域特徴量に関する小領域分割方法と全く異なる形状や大きさの分割方法である場合には、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。

画像類似度算出手段８２２は、小領域類似度算出手段８２１から入力される参照画像群の各参照画像に対する小領域類似度から画像全体の類似度を算出し、算出された画像全体の類似度を一致判定閾値算出手段７４から出力される一致判定閾値を用いて修正する。修正された参照画像群の各参照画像に対する類似度を画像類似度として検索結果出力手段２６に出力する。画像全体の類似度の算出方法として、小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。画像全体の類似度を一致判定閾値を用いて修正する方法として、画像全体の類似度が一致判定閾値以上であれば類似度を１に、画像全体の類似度が一致判定閾値未満であれば類似度を０に修正する方法がある。

検索結果出力手段２６は、第２の実施の形態の場合と同様に、検索結果を出力する。

第８の実施の形態では、第７の実施の形態の効果を有する画像類似度の算出方法を利用して画像の検索を行う。第６の実施の形態とは異なり、問合せ画像ごとに一致判定閾値を算出するため、参照画像群の中から加工処理が施された問合せ画像の全ての元画像をより正確に検索することができる。また、第７の実施の形態と同様に、本実施の形態では学習画像または機器特性の入力を必要としない。

（第９の実施の形態）
本発明の第９の実施の形態について図面を参照して説明する。図１７のブロック図に示すように、本発明の画像類似度算出システムの第９の実施の形態は、機能上、特徴量抽出部１１と、画像類似度算出部９２と、加工確率モデル推定手段９３と、局所領域重み値算出手段９４と、一致判定閾値算出手段９５とを備えている。特徴量抽出部１１は、本発明の第１の実施の形態において備えられていたものと同じものである。局所領域重み値算出手段９４と一致判定閾値算出手段９５とを、１つの重み値および一致判定閾値算出手段として構成してもよい。

加工確率モデル推定手段９３は、入力として与えられる加工処理が施された学習画像または加工処理を施す機器の特性から、画像の局所領域ごとに加工処理が施される確率を局所領域加工確率として算出し、算出された局所領域加工確率を局所領域重み値算出手段９４に出力する。

機器特性の一例として、加工処理を施す機器が画像に対して施す加工のパターンおよび各加工パターンの使用頻度の情報がある。局所領域は、画像分割手段１１１において分割される小領域と対応するのが望ましいが、画像分割手段１１１において分割される小領域を更に小さい複数の領域に分割したものでもよいし、画像の各画素を局所領域としてもよい。また、画像分割手段１１１における小領域分割方法とは異なる任意の形状や大きさに分割した領域を局所領域としてもよい。

加工処理が施された学習画像が入力として与えられる場合には、学習画像において加工処理が施された領域を特定し、局所領域加工確率を計測する。加工処理が施された領域を特定する方法として、人手によって行ってもよいし、テロップ検出方法などの加工処理を自動的に検出する方法を用いてもよい。加工処理を施す機器の特性が入力として与えられる場合には、当該機器が画像に対して施す加工パターンおよび各加工パターンの使用頻度の情報にもとづいて、局所領域加工確率を計測する方法がある。

局所領域重み値算出手段９４は、加工確率モデル推定手段９３から入力される局所領域加工確率にもとづいて、画像の各局所領域から抽出される特徴量が画像全体の類似度の算出にどの程度有効であるかを数値化した重み値を局所領域重み値として算出し、算出された局所領域重み値を画像類似度算出手段９２２および一致判定閾値算出手段９５に出力する。局所領域重み値は、当該局所領域の局所領域加工確率が低いほど、高い値に設定するのが有効である。局所領域重み値の算出方法の一例として、
局所領域重み値＝１−局所領域加工確率
とする方法があるが、これに限ったものではなく、画像類似度算出処理において、加工処理が施された確率の高い領域の影響を排除することができる他の算出方法を用いてもよい。

局所領域は、加工確率モデル推定手段９３における局所領域と同様に、画像分割手段１１１において分割される小領域と対応するのが望ましいが、画像分割手段１１１において分割される小領域を更に小さい複数の領域に分割したものでもよいし、画像の各画素を局所領域としてもよい。また、画像分割手段１１１における小領域分割方法とは異なる任意の形状や大きさに分割した領域を局所領域としてもよい。

一致判定閾値算出手段９５は、局所領域重み値算出手段９４から入力される局所領域重み値にもとづいて、後述する画像類似度算出手段９２２で求められる画像全体の類似度に対して、比較している２つの画像が一致するか否かを判定する最適な閾値を一致判定閾値として算出し、算出された一致判定閾値を画像類似度算出手段９２２に出力する。画像類似度算出手段９２２は、局所領域重み値から求められる小領域ごとの重み値により小領域ごとの類似度を重み付けして、加工処理の影響を排除したうえで画像全体の類似度を算出しているので、一致判定閾値を画像類似度算出手段９２２は、一致判定閾値を局所領域重み値を考慮して算出する。最適な閾値の算出方法として、加工処理が施された画像と元の画像間で、画像類似度算出手段９２２において局所領域重み値を作用させて加工処理の影響を排除して求められる画像全体の類似度の推定値を、局所領域重み値にもとづいて算出し、推定された画像全体の類似度にもとづいて、加工画像と元画像を不一致と判定する可能性が十分に低いと判断できる閾値に設定する方法がある。またこの際に、画像の再エンコードに起因するノイズ発生による特徴量の変動の影響も考慮してもよい。

画像類似度算出部９２は、機能上、小領域類似度算出手段９２１と、画像類似度算出手段９２２とを含む。

小領域類似度算出手段９２１は、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量と、入力として与えられる参照画像の小領域特徴量を比較し、小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段９２２に出力する。小領域類似度の算出方法は、使用する小領域特徴量に応じて任意に求めてよい。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域特徴量として用いた場合には、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域特徴量として用いる場合には、ヒストグラム間の類似度を算出する方法がある。

また、ＩＳＯ／ＩＥＣ １５９３８−３に規定されているDominant Color、Color Layout、Scalable Color、Color Structure、Edge Histogram、Homogeneous Texture、Texture Browsing、Region Shape、Contour Shape、Shape 3D、Parametric Motion、Motion Activityなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。

また、類似度を１、０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合には、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、入力として与えられる参照画像の小領域特徴量に関する小領域は、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量に関する小領域と対応しているのが望ましい。対応する小領域を直接比較することができるためである。問合せ画像の小領域と参照画像の小領域が画像分割方法が異なるために対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像の小領域特徴量に関する小領域が、問合せ画像の小領域特徴量に関する小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。

また、参照画像の小領域特徴量に関する小領域分割方法が、問合せ画像の小領域特徴量に関する小領域分割方法と全く異なる形状や大きさの分割方法である場合には、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。

画像類似度算出手段９２２は、小領域類似度算出手段９２１から入力される小領域類似度に対して、局所領域重み値算出手段９４から入力される局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをし、求められた重み付けされた小領域類似度から画像全体の類似度を算出し、算出された画像全体の類似度を一致判定閾値算出手段９５から入力される一致判定閾値を用いて修正し、修正された類似度を画像類似度として出力する。画像全体の類似度の算出方法として、重み付けされた小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。

局所領域重み値算出手段９４から入力される局所領域重み値を持つ局所領域が、小領域類似度算出手段９２１から入力される小領域類似度を持つ小領域と対応する場合には、局所領域重み値を直接小領域ごとの重み値として用いることができる。小領域類似度を持つ小領域と、局所領域重み値を持つ局所領域が対応していない場合には、局所領域重み値を用いて小領域類似度を持つ小領域に対応した重み値を補完すればよい。例えば、局所領域重み値を持つ局所領域が、小領域類似度を持つ小領域をより小さい複数の領域に分割したものであるならば、複数の局所領域重み値の平均値を算出することで、小領域類似度を持つ小領域に対応した重み値を生成することができる。

また、局所領域重み値に関する局所領域分割方法が、小領域類似度を持つ小領域分割方法と全く異なる形状や大きさの分割方法である場合には、小領域と重複する複数の局所領域の重み値を、重複する面積に比例した重み付けをして総和することで、小領域類似度を持つ小領域に対応した重み値を生成することができる。また、画像全体の類似度を一致判定閾値を用いて修正する方法として、画像全体の類似度が一致判定閾値以上であれば類似度を１に、画像全体の類似度が一致判定閾値未満であれば類似度を０に修正する方法がある。

第９の実施の形態は、第１の実施の形態および第５の実施の形態の効果を併せ持ち、加工処理が施された問合せ画像が参照画像から生成されたものか否かを判定するのに適した画像類似度を、加工処理の施される確率の高い領域の影響を排除して算出できる。本実施の形態では、局所領域重み値算出手段９４において算出される局所領域重み値が一致判定閾値算出手段９５へ供給される。この構成により、一致判定閾値算出手段９５は、一致判定閾値を算出する際に参照する局所領域重み値を、加工確率モデル推定手段９３から出力される局所領域加工確率から再度算出する必要がないため、演算量を抑えることができる。また、第９の実施の形態では、問合せ画像から加工処理が施された領域を検出する処理を必要とせず、また学習画像または機器特性から局所領域重み値および一致判定閾値を算出しているため、あらかじめ別処理において局所領域重み値および一致判定閾値を求めておくことができ、画像類似度の算出を高速に行うことができる。

なお、第９の実施の形態でも、第１の実施の形態についての各変形例を適用することができる。すなわち、加工確率モデル推定手段９３に代えて加工確率モデル記憶手段を設けてもよいし、加工確率モデル更新手段と加工確率モデル記憶手段とを設けてもよい。

（第１０の実施の形態）
本発明の第１０の実施の形態について図面を参照して説明する。図１８のブロック図に示すように、本発明の画像類似度算出システムの第１０の実施の形態は、図１７に示された第９の実施の形態における画像類似度算出部９２が、画像類似度算出部１０２０に置き換わり、また、参照画像群小領域特徴量記憶部２５と検索結果出力手段２６とを有する点で第９の実施の形態とは異なる。参照画像群小領域特徴量記憶部２５および検索結果出力手段２６は、第２の実施の形態において備えられていたものと同じものである。

画像類似度算出部１０２０は、機能上、小領域類似度算出手段１０２１と、画像類似度算出手段１０２２とを含む。

小領域類似度算出手段１０２１は、参照画像群小領域特徴量記憶部２５から複数の参照画像の小領域特徴量を１画像分ずつ読み込み、読み込んだ各参照画像の小領域特徴量と、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量を比較し、小領域ごとに特徴量の類似度を小領域類似度として算出する。算出された参照画像群の各参照画像に対する小領域類似度を画像類似度算出手段１０２２に出力する。小領域類似度の算出方法は、使用する小領域特徴量に応じて任意に求めてよい。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域特徴量として用いた場合には、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域特徴量として用いる場合には、ヒストグラム間の類似度を算出する方法がある。

また、国際標準規格ＩＳＯ／ＩＥＣ １５９３８−３に規定されているDominant Color、Color Layout、Scalable Color、Color Structure、Edge Histogram、Homogeneous Texture、Texture Browsing、Region Shape、Contour Shape、Shape 3D、Parametric Motion、Motion Activityなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。

また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合には、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量に関する小領域と、参照画像群小領域特徴量記憶部２５から読み込んだ参照画像の小領域特徴量に関する小領域が、画像分割方法が異なるために対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像の小領域特徴量に関する小領域が、問合せ画像の小領域特徴量に関する小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。

また、参照画像の小領域特徴量に関する小領域分割方法が、問合せ画像の小領域特徴量に関する小領域分割方法と全く異なる形状や大きさの分割方法である場合には、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。

画像類似度算出手段１０２２は、小領域類似度算出手段１０２１から入力される参照画像群の各参照画像に対する小領域類似度に対して、局所領域重み値算出手段９４から入力される局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをし、求められた重み付けされた小領域類似度から画像全体の類似度を算出し、算出された画像全体の類似度を一致判定閾値算出手段９５から入力される一致判定閾値を用いて修正する。修正された参照画像群の各参照画像に対する類似度を画像類似度として検索結果出力手段２６に出力する。画像全体の類似度の算出方法として、重み付けされた小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。

局所領域重み値算出手段９４から入力される局所領域重み値を持つ局所領域が、小領域類似度算出手段１０２１から入力される小領域類似度を持つ小領域と対応する場合には、局所領域重み値を直接小領域ごとの重み値として用いることができる。小領域類似度を持つ小領域と、局所領域重み値を持つ局所領域が対応していない場合には、局所領域重み値を用いて小領域類似度を持つ小領域に対応した重み値を補完すればよい。例えば、局所領域重み値を持つ局所領域が、小領域類似度を持つ小領域をより小さい複数の領域に分割したものであるならば、複数の局所領域重み値の平均値を算出することで、小領域類似度を持つ小領域に対応した重み値を生成することができる。

また、局所領域重み値に関する局所領域分割方法が、小領域類似度に関する小領域分割方法と全く異なる形状や大きさの分割方法である場合には、小領域と重複する複数の局所領域の重み値を、重複する面積に比例した重み付けをして総和することで、小領域類似度を持つ小領域に対応した重み値を生成することができる。また、画像全体の類似度を一致判定閾値を用いて修正する方法として、画像全体の類似度が一致判定閾値以上であれば類似度を１に、画像全体の類似度が一致判定閾値未満であれば類似度を０に修正する方法がある。

検索結果出力手段２６は、第２の実施の形態の場合と同様に、検索結果を出力する。

第１０の実施の形態では、第９の実施の形態の効果を有する画像類似度の算出方法を用いて画像の検索を行う。また、第９の実施の形態と同様に、問合せ画像から加工領域を検出する処理を必要とせず、あらかじめ局所領域重み値および一致判定閾値を求めておくことができるため、画像検索を高速に行うことができる。

なお、第１０の実施の形態でも、第１の実施の形態についての各変形例を適用することができる。すなわち、加工確率モデル推定手段９３に代えて加工確率モデル記憶手段を設けてもよいし、加工確率モデル更新手段と加工確率モデル記憶手段とを設けてもよい。

（第１１の実施の形態）
本発明の第１１の実施の形態について図面を参照して説明する。 図１９のブロック図に示すように、本発明の画像類似度算出システムの第１１の実施の形態は、機能上、特徴量抽出部１１と、画像類似度算出部１１２０と、加工領域検出手段１１３と、局所領域重み値算出手段１１４と、一致判定閾値算出手段１１５とを備えている。特徴量抽出部１１は、本発明の第１の実施の形態において備えられていたものと同じものである。

加工領域検出手段１１３は、入力として与えられる加工処理が施された問合せ画像に対して、テロップ検出方法などの加工領域を自動的に検出する方法により、問合せ画像の局所領域ごとに加工処理が施された確率を局所領域加工確率として算出し、算出された局所領域加工確率を局所領域重み値算出手段１１４に出力する。局所領域加工確率の確率値は、任意の値であってもよいし、１，０の２値であってもよい。また、局所領域は、画像分割手段１１１で分割される小領域を更に小さい複数の領域に分割したものでもよいし、画像の各画素を局所領域としてもよい。また、画像分割手段１１１における小領域分割方法とは異なる任意の形状や大きさに分割した領域を局所領域としてもよい。

局所領域重み値算出手段１１４は、加工領域検出手段１１３から入力される局所領域加工確率にもとづいて、画像の各局所領域から抽出される特徴量が画像全体の類似度の算出にどの程度有効であるかを数値化した重み値を局所領域重み値として算出し、算出された局所領域重み値を画像類似度算出手段１１２２および一致判定閾値算出手段１１５に出力する。

局所領域は、画像分割手段１１１において分割される小領域と対応するのが望ましいが、画像分割手段１１１において分割される小領域を更に小さい複数の領域に分割したものでもよいし、画像の各画素を局所領域としてもよい。また、画像分割手段１１１における小領域分割方法とは異なる任意の形状や大きさに分割した領域を局所領域としてもよい。局所領域重み値の算出方法の一例として、
局所領域重み値＝１−局所領域加工確率
とする方法があるが、これに限ったものではなく、画像類似度算出処理において、加工処理が施された確率の高い領域の影響を排除することができる他の算出方法を用いてもよい。

また、加工領域検出手段１１３から入力される局所領域加工確率が１，０の２値の確率値として与えられる場合には、複数の局所領域を統合した領域を新たな局所領域とし、局所領域重み値を統合後の局所領域内に含まれる局所領域加工確率である統合前の局所領域の面積の割合として求める方法がある。

一致判定閾値算出手段１１５は、局所領域重み値算出手段１１４から入力される局所領域重み値にもとづいて、後述する画像類似度算出手段１１２２で求められる画像全体の類似度に対して、比較している２つの画像が一致するか否かを判定する最適な閾値を一致判定閾値として算出し、算出された一致判定閾値を画像類似度算出手段１１２２に出力する。画像類似度算出手段１１２２は、局所領域重み値から求められる小領域ごとの重み値により小領域ごとの類似度を重み付けして、加工処理の影響を排除したうえで画像全体の類似度を算出しているので、一致判定閾値算出手段１１５は、一致判定閾値を局所領域重み値を考慮して算出する。最適な閾値の算出方法として、加工処理が施された画像と元の画像間で、画像類似度算出手段１１２２において局所領域重み値を作用させて加工処理の影響を排除して求められる画像全体の類似度の推定値を、局所領域重み値にもとづいて算出し、推定された画像全体の類似度にもとづいて、加工画像と元画像を不一致と判定する可能性が十分に低いと判断できる閾値に設定する方法がある。またこの際に、画像の再エンコードに起因するノイズ発生による特徴量の変動の影響も考慮してもよい。

画像類似度算出部１１２０は、機能上、小領域類似度算出手段１１２１と、画像類似度算出手段１１２２とを含む。

小領域類似度算出手段１１２１は、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量と、入力として与えられる参照画像の小領域特徴量を比較し、小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段１１２２に出力する。小領域類似度の算出方法は、使用する小領域特徴量に応じて任意に求めてよい。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域特徴量として用いた場合には、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域特徴量として用いる場合には、ヒストグラム間の類似度を算出する方法がある。

また、ＩＳＯ／ＩＥＣ １５９３８−３に規定されているDominant Color、Color Layout、Scalable Color、Color Structure、Edge Histogram、Homogeneous Texture、Texture Browsing、Region Shape、Contour Shape、Shape 3D、Parametric Motion、Motion Activityなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。

また、類似度を１、０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合には、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、入力として与えられる参照画像の小領域特徴量に関する小領域は、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量に関する小領域と対応しているのが望ましい。対応する小領域を直接比較することができるためである。問合せ画像の小領域と参照画像の小領域が画像分割方法が異なるために対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像の小領域特徴量に関する小領域が、問合せ画像の小領域特徴量に関する小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。

また、参照画像の小領域特徴量に関する小領域分割方法が、問合せ画像の小領域特徴量に関する小領域分割方法と全く異なる形状や大きさの分割方法である場合には、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。

画像類似度算出手段１１２２は、小領域類似度算出手段１１２１から入力される小領域類似度に対して、局所領域重み値算出手段１１４から入力される局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをし、求められた重み付けされた小領域類似度から画像全体の類似度を算出し、算出された画像全体の類似度を一致判定閾値算出手段１１５から入力される一致判定閾値を用いて修正し、修正された類似度を画像類似度として出力する。画像類似度の算出方法として、重み付けされた小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。

局所領域重み値算出手段１１４から入力される局所領域重み値を持つ局所領域が、小領域類似度算出手段１１２１から入力される小領域類似度を持つ小領域と対応する場合には、局所領域重み値を直接小領域ごとの重み値として用いることができる。小領域類似度を持つ小領域と、局所領域重み値を持つ局所領域が対応していない場合には、局所領域重み値を用いて小領域類似度を持つ小領域に対応した重み値を補完すればよい。例えば、局所領域重み値を持つ局所領域が、小領域類似度を持つ小領域をより小さい複数の領域に分割したものであるならば、複数の局所領域重み値の平均値を算出することで、小領域類似度を持つ小領域に対応した重み値を生成することができる。

また、局所領域重み値に関する局所領域分割方法が、小領域類似度を持つ小領域分割方法と全く異なる形状や大きさの分割方法である場合には、小領域と重複する複数の局所領域の重み値を、重複する面積に比例した重み付けをして総和することで、小領域類似度を持つ小領域に対応した重み値を生成することができる。また、画像全体の類似度を一致判定閾値を用いて修正する方法として、画像全体の類似度が一致判定閾値以上であれば類似度を１に、画像全体の類似度が一致判定閾値未満であれば類似度をに修正する方法がある。

第１１の実施の形態では、第９の実施の形態と同様に、加工処理が施された問合せ画像が参照画像から生成されたものか否かを判定するのに適した画像類似度を加工処理が施される確率の高い領域の影響を排除して算出するが、局所領域重み値および一致判定閾値を問合せ画像から直接算出した局所領域加工確率にもとづいて算出している。学習画像または機器特性から学習的に局所領域重み値および一致判定閾値を平均値として求める第９の実施の形態とは異なり、問合せ画像ごとに局所領域重み値および一致判定値を算出するため、加工処理が施された問合せ画像が参照画像から生成されたものか否かを判定するのに適した画像類似度をより正確に求めることができる。また、本実施の形態では、学習画像または機器特性の入力を必要としない。また、第９の実施の形態と同様に、局所領域重み値算出手段１１４において算出される局所領域重み値が一致判定閾値算出手段１１５へ供給されるため、一致判定閾値算出手段１１５は、一致判定閾値を算出する際に参照する局所領域重み値を、加工確率モデル推定手段１１３から出力される局所領域加工確率から再度算出する必要がないため、演算量を抑えることができる。

（第１２の実施の形態）
本発明の第１２の実施の形態について図面を参照して説明する。図２０のブロック図に示すように、本発明の画像類似度算出システムの第１２の実施の形態は、図１９に示された第１１の実施の形態における画像類似度算出部１１２が、画像類似度算出部１２２０に置き換わり、また、参照画像群小領域特徴量記憶部２５と検索結果出力手段２６とを有する点で第１１の実施の形態とは異なる。参照画像群小領域特徴量記憶部２５は、本発明の第２の実施の形態において備えられていたものと同じものである。

画像類似度算出部１２２０は、機能上、小領域類似度算出手段１２２１と、画像類似度算出手段１２２２とを含む。

小領域類似度算出手段１２２１は、参照画像群小領域特徴量記憶部２５から複数の参照画像の小領域特徴量を１画像分ずつ読み込み、読み込んだ各参照画像の小領域特徴量と、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量を比較し、小領域ごとに特徴量の類似度を小領域類似度として算出する。算出された参照画像群の各参照画像に対する小領域類似度を画像類似度算出手段１２２２に出力する。小領域類似度の算出方法は、使用する小領域特徴量に応じて任意に求めてよい。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域特徴量として用いた場合には、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域特徴量として用いる場合には、ヒストグラム間の類似度を算出する方法がある。

また、国際標準規格ＩＳＯ／ＩＥＣ １５９３８−３に規定されているDominant Color、Color Layout、Scalable Color、Color Structure、Edge Histogram、Homogeneous Texture、Texture Browsing、Region Shape、Contour Shape、Shape 3D、Parametric Motion、Motion Activityなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。

また、類似度を１、０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合には、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量に関する小領域と、参照画像群小領域特徴量記憶部２５から読み込んだ参照画像の小領域特徴量に関する小領域が、画像分割方法が異なるために対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像の小領域特徴量に関する小領域が、問合せ画像の小領域特徴量に関する小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。また、参照画像の小領域特徴量に関する小領域分割方法が、問合せ画像の小領域特徴量に関する小領域分割方法と全く異なる形状や大きさの分割方法である場合には、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。

画像類似度算出手段１２２２は、小領域類似度算出手段１２２１から入力される参照画像群の各参照画像に対する小領域類似度に対して、局所領域重み値算出手段１１４から入力される局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをし、求められた重み付けされた小領域類似度から画像全体の類似度を算出し、算出された画像全体の類似度を一致判定閾値算出手段１１５から出力される一致判定閾値を用いて修正する。修正された参照画像群の各参照画像に対する類似度を画像類似度として検索結果出力手段２６に出力する。画像全体の類似度の算出方法として、重み付けされた小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。

局所領域重み値算出手段１１４から入力される局所領域重み値を持つ局所領域が、小領域類似度算出手段１２２１から入力される小領域類似度を持つ小領域と対応する場合には、局所領域重み値を直接小領域ごとの重み値として用いることができる。小領域類似度を持つ小領域と、局所領域重み値を持つ局所領域が対応していない場合には、局所領域重み値を用いて小領域類似度を持つ小領域に対応した重み値を補完すればよい。例えば、局所領域重み値を持つ局所領域が、小領域類似度を持つ小領域をより小さい複数の領域に分割したものであるならば、複数の局所領域重み値の平均値を算出することで、小領域類似度を持つ小領域に対応した重み値を生成することができる。

また、局所領域重み値に関する局所領域分割方法が、小領域類似度に関する小領域分割方法と全く異なる形状や大きさの分割方法である場合には、小領域と重複する複数の局所領域の重み値を、重複する面積に比例した重み付けをして総和することで、小領域類似度を持つ小領域に対応した重み値を生成することができる。また、画像全体の類似度を一致判定閾値を用いて修正する方法として、画像全体の類似度が一致判定閾値以上であれば類似度を１に、画像全体の類似度が一致判定閾値未満であれば類似度を０に修正する方法がある。

検索結果出力手段２６は、第２の実施の形態の場合と同様に、検索結果を出力する。

第１２の実施の形態では、第１１の実施の形態の効果を有する画像類似度の算出方法を利用して画像の検索を行う。第１の実施の形態等とは異なり、問合せ画像ごとに局所領域重み値および一致判定閾値を算出するため、参照画像群の中から加工処理が施された問合せ画像の全ての元画像をより正確に検索することができる。また、第１１の実施の形態と同様に、本実施の形態では学習画像または機器特性の入力を必要としない。

本発明は、複数の画像の類似度を算出する画像類似度算出システム、画像類似度算出方法および画像類似度算出用プログラムならびに問い合わせ画像に類似した画像を検索する画像検索システム等の用途に適用できる。

本発明の第１の実施の形態の構成を示すブロック図である。 本発明の第１の実施の形態の動作を示すフローチャートある。 局所領域加工確率の算出の仕方を説明する説明図である。 第１の実施の形態の変形例を示すブロック図である。 加工確率モデル記憶手段に記憶される局所領域加工確率の一例を示す説明図である。 第１の実施の形態の他の変形例を示すブロック図である。 本発明の第２の実施の形態の構成を示すブロック図である。 本発明の第２の実施の形態の動作を示すフローチャートある。 本発明の第３の実施の形態の構成を示すブロック図である。 本発明の第４の実施の形態の構成を示すブロック図である。 本発明の第５の実施の形態の構成を示すブロック図である。 本発明の第５の実施の形態の動作を示すフローチャートある。 本発明の第６の実施の形態の構成を示すブロック図である。 本発明の第６の実施の形態の動作を示すフローチャートある。 本発明の第７の実施の形態の構成を示すブロック図である。 本発明の第８の実施の形態の構成を示すブロック図である。 本発明の第９の実施の形態の構成を示すブロック図である。 本発明の第１０の実施の形態の構成を示すブロック図である。 本発明の第１１の実施の形態の構成を示すブロック図である。 本発明の第１２の実施の形態の構成を示すブロック図である。

符号の説明

１１ 特徴量抽出部
１１１ 画像分割手段
１１２ 小領域特徴量抽出手段
１２ 画像類似度算出部
１２１ 小領域類似度算出手段
１２２ 画像類似度算出手段
１３ 加工確率モデル推定手段
１３９ 加工確率モデル記憶手段
１４ 局所領域重み値算出手段
２２ 画像類似度算出部
２２１ 小領域類似度算出手段
２２２ 画像類似度算出手段
２５ 参照画像群小領域特徴量記憶部
２６ 検索結果出力手段
３２ 画像類似度算出部
３２１ 小領域類似度算出手段
３２２ 画像類似度算出手段
３３ 加工領域検出手段
３４ 局所領域重み値算出手段
４２ 画像類似度算出部
４２１ 小領域類似度算出手段
４２２ 画像類似度算出手段
５２ 画像類似度算出部
５２１ 小領域類似度算出手段
５２２ 画像類似度算出手段
５３ 加工確率モデル推定手段
５４ 一致判定閾値算出手段
６２ 画像類似度算出部
６２１ 小領域類似度算出手
６２２ 画像類似度算出手段
７２ 画像類似度算出部
７２１ 小領域類似度算出手段
７２２ 画像類似度算出手段
７３ 加工領域検出手段
７４ 一致判定閾値算出手段
８２ 画像類似度算出部
８２１ 小領域類似度算出手段
８２２ 画像類似度算出手段
９２ 画像類似度算出部
９２１ 小領域類似度算出手段
９２２ 画像類似度算出手段
９３ 加工確率モデル推定手段
９４ 局所領域重み値算出手段
９５ 一致判定閾値算出手段
１０２０ 画像類似度算出部
１０２１ 小領域類似度算出手段
１０２２ 画像類似度算出手段
１１２０ 画像類似度算出部
１１２１ 小領域類似度算出手段
１１２２ 画像類似度算出手段
１１３ 加工領域検出手段
１１４ 局所領域重み値算出手段
１１５ 一致判定閾値算出手段
１２２０ 画像類似度算出部
１２２１ 小領域類似度算出手段
１２２２ 画像類似度算出手段

Claims (34)

1. 学習画像または機器特性から局所領域ごとに画像に加工処理が施される確率を算出する加工確率算出手段と、
   問合せ画像の分割された小領域ごとの特徴量と参照画像の分割された小領域ごとの特徴量とを、前記局所領域ごとに画像に加工処理が施される確率にもとづいて算出された画像の領域ごとの重み値を作用させて比較して、前記問合せ画像と前記参照画像の画像類似度を算出する画像類似度算出部とを備えたことを特徴とする画像類似度算出システム。
2. 加工処理が施された問合せ画像から局所領域ごとに画像に加工処理が施された確率を算出する加工確率算出手段と、
   問合せ画像の分割された小領域ごとの特徴量と参照画像の分割された小領域ごとの特徴量とを、前記局所領域ごとに画像に加工処理が施される確率にもとづいて算出された画像の領域ごとの重み値を作用させて比較して、前記問合せ画像と前記参照画像の画像類似度を算出する画像類似度算出部とを備えたことを特徴とする画像類似度算出システム。
3. 学習画像または機器特性から局所領域ごとに画像に加工処理が施される確率または画像に加工処理が施される局所領域数の確率分布を算出する加工確率分布算出手段と、
   問合せ画像の分割された小領域ごとの特徴量と参照画像の分割された小領域ごとの特徴量とを比較して画像全体の類似度を算出したのち、前記局所領域ごとに画像に加工処理が施される確率または画像に加工処理が施される局所領域数の確率分布にもとづいて算出された画像間の一致を判定する閾値を用いて前記類似度を修正して前記問合せ画像と前記参照画像の画像類似度を算出する画像類似度算出部とを備えたことを特徴とする画像類似度算出システム。
4. 加工処理が施された問合せ画像から局所領域ごとに画像に加工処理が施される確率または画像に加工処理が施される局所領域数の確率分布を算出する加工確率算出手段と、
   問合せ画像の分割された小領域ごとの特徴量と参照画像の分割された小領域ごとの特徴量とを比較して画像全体の類似度を算出したのち、前記局所領域ごとに画像に加工処理が施される確率または画像に加工処理が施される局所領域数の確率分布にもとづいて算出された画像間の一致を判定する閾値を用いて前記類似度を修正して前記問合せ画像と前記参照画像の画像類似度を算出する画像類似度算出部とを備えたことを特徴とする画像類似度算出システム。
5. 学習画像または機器特性から局所領域ごとに画像に加工処理が施される確率を算出する加工確率算出手段と、
   問合せ画像の分割された小領域ごとの特徴量と、参照画像の分割された小領域ごとの特徴量とを、前記局所領域ごとに画像に加工処理が施される確率にもとづいて算出された画像の領域ごとの重み値を作用させて比較して画像全体の類似度を算出したのち、前記局所領域ごとに画像に加工処理が施される確率にもとづいて算出された画像間の一致を判定する閾値を用いて前記類似度を修正して前記問合せ画像と前記参照画像の画像類似度を算出する画像類似度算出部とを備えたことを特徴とする画像類似度算出システム。
6. 加工処理が施された問合せ画像から局所領域ごとに画像に加工処理が施された確率を算出する加工確率算出手段と、
   問合せ画像の分割された小領域ごとの特徴量と、参照画像の分割された小領域ごとの特徴量とを、前記局所領域ごとに画像に加工処理が施される確率にもとづいて算出された画像の領域ごとの重み値を作用させて比較して画像全体の類似度を算出したのち、前記局所領域ごとに画像に加工処理が施される確率にもとづいて算出された画像間の一致を判定する閾値を用いて前記類似度を修正して前記問合せ画像と前記参照画像の画像類似度を算出する画像類似度算出部とを備えたことを特徴とする画像類似度算出システム。
7. 入力として与えられる学習画像または機器特性から画像の局所領域ごとに加工処理が施される確率を局所領域加工確率として算出する加工確率モデル推定手段と、
   前記局所領域加工確率にもとづいて画像の局所領域ごとの重み値を局所領域重み値として算出する局所領域重み値算出手段と、
   入力として与えられる加工処理が施された問合せ画像を小領域に分割する画像分割手段と、
   前記分割された小領域から各小領域の特徴量を問合せ画像小領域特徴量として抽出する小領域特徴量抽出手段と、
   入力として与えられる参照画像の事前に用意された小領域特徴量である参照画像小領域特徴量と前記問合せ画像小領域特徴量とを比較して小領域ごとの特徴量の類似度を小領域類似度として算出する小領域類似度算出手段と、前記小領域類似度に前記局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをして前記問合せ画像と前記参照画像の画像類似度を算出する画像類似度算出手段とを備えたことを特徴とする画像類似度算出システム。
8. 入力として与えられる加工処理が施された問合せ画像から画像の局所領域ごとに加工処理が施された確率を局所領域加工確率として算出する加工領域検出手段と、
   前記局所領域加工確率にもとづいて画像の局所領域ごとの重み値を局所領域重み値として算出する局所領域重み値算出手段と、
   前記問合せ画像を小領域に分割する画像分割手段と、
   前記分割された小領域から各小領域の特徴量を問合せ画像小領域特徴量として抽出する小領域特徴量抽出手段と、
   入力として与えられる参照画像の事前に用意された小領域特徴量である参照画像小領域特徴量と前記問合せ画像小領域特徴量とを比較して小領域ごとの特徴量の類似度を小領域類似度として算出する小領域類似度算出手段と、
   前記小領域類似度に前記局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをして前記問合せ画像と前記参照画像の画像類似度を算出する画像類似度算出手段とを備えたことを特徴とする画像類似度算出システム。
9. 入力として与えられる学習画像または機器特性から画像の局所領域ごとに加工処理が施される確率である局所領域加工確率または画像に加工処理が施される局所領域数の確率分布である加工局所領域数確率分布を算出する加工確率モデル推定手段と、
   前記局所領域加工確率または加工局所領域数確率分布にもとづいて画像間の一致を判定する閾値を一致判定閾値として算出する一致判定閾値算出手段と、
   入力として与えられる加工処理が施された問合せ画像を小領域に分割する画像分割手段と、
   前記分割された小領域から各小領域の特徴量を問合せ画像小領域特徴量として抽出する小領域特徴量抽出手段と、
   入力として与えられる参照画像の事前に用意された小領域特徴量である参照画像小領域特徴量と前記問合せ画像小領域特徴量とを比較して小領域ごとの特徴量の類似度を小領域類似度として算出する小領域類似度算出手段と、
   前記小領域類似度から画像全体の類似度を算出し前記一致判定閾値を用いて前記類似度を修正して前記問合せ画像と前記参照画像の画像類似度を算出する画像類似度算出手段とを備えたことを特徴とする画像類似度算出システム。
10. 入力として与えられる加工処理が施された問合せ画像から画像の局所領域ごとに加工処理が施された確率である局所領域加工確率または画像に加工処理が施された局所領域数の確率分布である加工局所領域数確率分布を算出する加工領域検出手段と、
    前記局所領域加工確率または加工局所領域数確率分布にもとづいて画像間の一致を判定する閾値を一致判定閾値として算出する一致判定閾値算出手段と、
    前記問合せ画像を小領域に分割する画像分割手段と、
    前記分割された小領域から各小領域の特徴量を問合せ画像小領域特徴量として抽出する小領域特徴量抽出手段と、
    入力として与えられる参照画像の事前に用意された小領域特徴量である参照画像小領域特徴量と前記問合せ画像小領域特徴量とを比較して小領域ごとの特徴量の類似度を小領域類似度として算出する小領域類似度算出手段と、
    前記小領域類似度から画像全体の類似度を算出し前記一致判定閾値を用いて前記類似度を修正して前記問合せ画像と前記参照画像の画像類似度を算出する画像類似度算出手段とを備えたことを特徴とする画像類似度算出システム。
11. 前記一致判定閾値算出手段は、前記局所領域加工確率または前記加工局所領域数確率分布にもとづいて加工処理が施される画像と元の画像間で、画像の小領域ごとの類似度から求められる画像全体の類似度の生起確率分布を推定することによって、前記一致判定閾値の最適値を算出する請求項３、４、９、及び１０のうちのいずれか１項に記載の画像類似度算出システム。
12. 前記一致判定閾値算出手段は、前記局所領域重み値を作用させて求められる画像全体の類似度を局所領域重み値にもとづいて推定することによって、前記一致判定閾値の最適値を算出する請求項５または６記載の画像類似度算出システム。
13. 前記局所領域重み値算出手段は、前記局所領域重み値を、前記局所領域加工確率が高い場合には低い値、前記局所領域加工確率が低い場合には高い値とする請求項１、２、５、６、７、８、及び１２のうちのいずれか１項に記載の画像類似度算出システム。
14. 前記局所領域重み値算出手段は、前記局所領域重み値を、１と前記局所領域加工確率の差として算出する請求項１３記載の画像類似度算出システム。
15. 前記加工確率算出手段は、前記局所領域加工確率を、前記加工処理が施された領域を自動的に検出する方法によって前記加工処理が施された領域を特定したうえで算出する請求項１〜６のうちのいずれか１項に記載の画像類似度算出システム。
16. 前記加工確率モデル推定手段は、前記局所領域加工確率を、前記加工処理が施された領域を自動的に検出する方法によって前記加工処理が施された領域を特定したうえで算出する請求項７または９記載の画像類似度算出システム。
17. 前記加工領域検出手段は、前記局所領域加工確率を、前記加工処理が施された領域を自動的に検出する方法によって前記加工処理が施された領域を特定したうえで算出する請求項８または１０記載の画像類似度算出システム。
18. 入力として与えられる学習画像または機器特性から画像の局所領域ごとに加工処理が施される確率を局所領域加工確率として算出する加工確率モデル推定手段と、
    前記局所領域加工確率にもとづいて画像の局所領域ごとの重み値を局所領域重み値として算出する局所領域重み値算出手段と、
    入力として与えられる加工処理が施された問合せ画像を小領域に分割する画像分割手段と、
    前記分割された小領域から各小領域の特徴量を問合せ画像小領域特徴量として抽出する小領域特徴量抽出手段と、
    事前に登録された複数の参照画像からなる参照画像群におけるそれぞれの参照画像の小領域特徴量を記憶する参照画像群小領域特徴量記憶部と、
    前記参照画像群小領域特徴量記憶部に記憶された各参照画像の小領域特徴量と、前記問合せ画像小領域特徴量とを比較して、各参照画像に対する小領域ごとの特徴量の類似度を小領域類似度として算出する小領域類似度算出手段と、
    前記小領域類似度算出手段が算出した前記各参照画像に対する小領域類似度に前記局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをして前記問合せ画像と前記参照画像群の各参照画像との画像類似度を算出する画像類似度算出手段と、
    前記画像類似度算出手段が算出した各参照画像に対する画像類似度にもとづいて、前記参照画像群の中から前記問合せ画像に対する検索結果を出力する検索結果出力手段とを備えたことを特徴とする画像検索システム。
19. 入力として与えられる加工処理が施された問合せ画像から画像の局所領域ごとに加工処理が施された確率を局所領域加工確率として算出する加工領域検出手段と、
    前記局所領域加工確率にもとづいて画像の局所領域ごとの重み値を局所領域重み値として算出する局所領域重み値算出手段と、
    前記問合せ画像を小領域に分割する画像分割手段と、
    前記分割された小領域から各小領域の特徴量を問合せ画像小領域特徴量として抽出する小領域特徴量抽出手段と、
    事前に登録された複数の参照画像からなる参照画像群におけるそれぞれの参照画像の小領域特徴量を記憶する参照画像群小領域特徴量記憶部と、
    前記参照画像群小領域特徴量記憶部に記憶された各参照画像の小領域特徴量と、前記問合せ画像小領域特徴量とを比較して、各参照画像に対する小領域ごとの特徴量の類似度を小領域類似度として算出する小領域類似度算出手段と、
    前記小領域類似度算出手段が算出した前記各参照画像に対する小領域類似度に前記局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをして前記問合せ画像と前記参照画像群の各参照画像との画像類似度を算出する画像類似度算出手段と、
    前記画像類似度算出手段が算出した各参照画像に対する画像類似度にもとづいて、前記参照画像群の中から前記問合せ画像に対する検索結果を出力する検索結果出力手段とを備えたことを特徴とする画像検索システム。
20. 入力として与えられる学習画像または機器特性から画像の局所領域ごとに加工処理が施される確率である局所領域加工確率または画像に加工処理が施される局所領域数の確率分布である加工局所領域数確率分布を算出する加工確率モデル推定手段と、
    前記局所領域加工確率または加工局所領域数確率分布にもとづいて画像間の一致を判定する閾値を一致判定閾値として算出する一致判定閾値算出手段と、
    入力として与えられる加工処理が施された問合せ画像を小領域に分割する画像分割手段と、
    前記分割された小領域から各小領域の特徴量を問合せ画像小領域特徴量として抽出する小領域特徴量抽出手段と、
    事前に登録された複数の参照画像からなる参照画像群におけるそれぞれの参照画像の小領域特徴量を記憶する参照画像群小領域特徴量記憶部と、
    前記参照画像群小領域特徴量記憶部に記憶された参照画像群の各参照画像の小領域特徴量と、前記問合せ画像小領域特徴量とを比較して、各参照画像に対する小領域ごとの特徴量の類似度を小領域類似度として算出する小領域類似度算出手段と、
    前記小領域類似度算出手段が算出した前記各参照画像に対する小領域類似度から画像全体の類似度を算出し前記一致判定閾値を用いて前記類似度を修正して前記問合せ画像と前記参照画像群の各参照画像との画像類似度を算出する画像類似度算出手段と、
    前記画像類似度算出手段が算出した各参照画像に対する画像類似度にもとづいて、前記参照画像群の中から前記問合せ画像に対する検索結果を出力する検索結果出力手段とを備えたことを特徴とする画像検索システム。
21. 入力として与えられる加工処理が施された問合せ画像から画像の局所領域ごとに加工処理が施された確率である局所領域加工確率または画像に加工処理が施された局所領域数の確率分布である加工局所領域数確率分布を算出する加工領域検出手段と、
    前記局所領域加工確率または加工局所領域数確率分布にもとづいて画像間の一致を判定する閾値を一致判定閾値として算出する一致判定閾値算出手段と、
    前記問合せ画像を小領域に分割する画像分割手段と、前記分割された小領域から各小領域の特徴量を問合せ画像小領域特徴量として抽出する小領域特徴量抽出手段と、
    事前に登録された複数の参照画像からなる参照画像群におけるそれぞれの参照画像の小領域特徴量を記憶する参照画像群小領域特徴量記憶部と、
    前記参照画像群小領域特徴量記憶部に記憶された参照画像群の各参照画像の小領域特徴量と、前記問合せ画像小領域特徴量とを比較して、各参照画像に対する小領域ごとの特徴量の類似度を小領域類似度として算出する小領域類似度算出手段と、
    前記小領域類似度算出手段が算出した前記各参照画像に対する小領域類似度から画像全体の類似度を算出し前記一致判定閾値を用いて前記類似度を修正して前記問合せ画像と前記参照画像群の各参照画像との画像類似度を算出する画像類似度算出手段と、
    前記画像類似度算出手段が算出した各参照画像に対する画像類似度にもとづいて、前記参照画像群の中から前記問合せ画像に対する検索結果を出力する検索結果出力手段とを備えたことを特徴とする画像検索システム。
22. 前記一致判定閾値算出手段は、前記局所領域加工確率または前記加工局所領域数確率分布にもとづいて加工処理が施される画像と元の画像間で、画像の小領域ごとの類似度から求められる画像全体の類似度の生起確率分布を推定することによって、前記一致判定閾値の最適値を算出する請求項２０または２１記載の画像検索システム。
23. 前記一致判定閾値算出手段は、前記局所領域重み値を作用させて求められる画像全体の類似度を前記局所領域重み値にもとづいて推定することによって、前記一致判定閾値の最適値を算出する請求項２０または２１記載の画像検索システム。
24. 前記局所領域重み値算出手段は、前記局所領域重み値を、前記局所領域加工確率が高い場合には低い値、前記局所領域加工確率が低い場合には高い値とする請求項１８、１９、及び２３のうちのいずれか１項に記載の画像検索システム。
25. 前記局所領域重み値算出手段は、前記局所領域重み値を、１と前記局所領域加工確率の差として算出する請求項２４記載の画像検索システム。
26. 前記加工確率モデル推定手段は、前記局所領域加工確率を、前記加工処理が施された領域を自動的に検出する方法によって前記加工処理が施された領域を特定したうえで算出する請求項１８または２０記載の画像検索システム。
27. 前記加工領域検出手段は、前記局所領域加工確率を、前記加工処理が施された領域を自動的に検出する方法によって前記加工処理が施された領域を特定したうえで算出する請求項１９または２１記載の画像検索システム。
28. 前記局所領域が、前記問合せ画像または前記参照画像における小領域と対応するように分割された領域である請求項１８〜２５のうちのいずれか１項に記載の画像検索システム。
29. 前記問合せ画像または前記参照画像における小領域が、画像を同一の大きさの矩形に分割した領域である請求項１８〜２５、及び２８のうちのいずれか１項に記載の画像検索システム。
30. 前記問合せ画像または前記参照画像における小領域が、領域の一部が重複するように分割した領域である請求項１８〜２５及び２８のうちのいずれか１項に記載の画像検索システム。
31. 前記問合せ画像または前記参照画像における小領域が、画像の一部のみを分割して得られた領域である請求項１８〜２５及び２８のうちのいずれか１項に記載の画像検索システム。
32. 前記特徴量が、色情報、エッジ情報、テクスチャ情報、形状情報、動き情報のうちの少なくとも１つの情報による特徴量である請求項１８〜３１のうちのいずれか１項に記載の画像検索システム。
33. 前記特徴量が、ＲＧＢ表色空間、ＨＳＶ表色空間、ＹＵＶ表色空間、ＹＩＱ表色空間、ＹＣｂＣｒ表色空間、Ｌ＊ａ＊ｂ＊表色空間、ＸＹＺ表色空間のいずれかの表色空間系により規定される色座標の平均値、最頻値、メディアン値、国際標準規格ＩＳＯ／ＩＥＣ １５９４０−３に規定されているDominant Color、Color Layout、Scalable Color、Color Structure、Edge Histogram、Homogeneous Texture、Texture Browsing、Contour Shape、Shape 3Dのうちの少なくとも１つの特徴量である請求項１８〜３２のうちのいずれか１項に記載の画像検索システム。
34. 前記加工処理が、画像に対するテロップの重畳処理、画像に対する字幕の重畳処理、画像に対するキャラクターの重畳処理、画像に対するオブジェクトの重畳処理、画像の一部の切り抜き処理、画像の一部の切り出し処理、画像の一部に対するモザイク処理、画像の一部に対するぼかし処理のうちの少なくとも１つの処理である請求項１８〜３２のうちのいずれか１項に記載の画像検索システム。

Images