JP2007257470A - 類似判別装置および方法並びにプログラム - Google Patents

Abstract

【課題】類似判別の処理を効果的に行う。
【解決手段】ヒストグラム算出部３２が、類似判別を行う２つの画像のヒストグラムを算出する。特徴量算出部３４が、２つのヒストグラムを所定数の領域に分割して各領域の代表値を算出し、２つのヒストグラムの対応する領域毎に、領域の相関を表す特徴量を算出する。判別部３６が、特徴量に基づいて２つの画像の類似判別を行う。
【選択図】図１

Description

本発明は、２つの画像が類似するか否かを判別する類似判別装置および方法、並びに類似判別方法をコンピュータに実行させるためのプログラムに関するものである。

従来より、複数の画像を、各画像に付与された撮影時刻や撮影場所の情報に基づいて、複数のグループに分類することが行われている（特許文献１参照）。また、複数の画像のそれぞれについて、色、明るさ、周波数情報およびエッジ情報等の特徴量を算出し、この特徴量を重みづけして総合的な特徴量を算出し、これを画像間において比較して複数の画像を互いに類似する複数の画像からなるグループに分類する手法が提案されている（特許文献１，２参照）。さらに、あらかじめ類似する画像を学習パターンとして用いて学習を行い、この学習結果を用いて与えられた２つの画像が類似するか否かを判別する手法も提案されている（特許文献３参照）。また、類似判別の対象となる２つの画像の直交変換係数を求め、直交変換係数に含まれる色毎の出現頻度を表す色ヒストグラムを求め、色ヒストグラムを比較することにより類似判別を行う手法も提案されている（特許文献４参照）。さらに、類似判別の対象となる２つの画像の部分領域のヒストグラムを求め、ヒストグラムの類似度を求めて２つの画像の類似判別を行う手法も提案されている（特許文献５参照）。このようにヒストグラムを用いることにより、少ない演算量により簡易に２つの画像の類似判別を行うことができる。
特開２０００−１１２９９７号公報 特開２０００−４８１８１号公報 特開２０００−９０１１３号公報 特開２００２−８２９８５号公報 特開２００２−１６３６５３号公報

しかしながら、上記特許文献４，５に記載されたヒストグラムを用いて類似判別を行う手法においては、ヒストグラムにおける対応する値（すなわちヒストグラムの横軸の値）同士でヒストグラムの相関を求めることにより類似判別を行っているため、２つの画像の色や明るさがわずかに相違するのみでヒストグラムにおける対応する領域の相関が低くなる。このため、上記特許文献４，５に記載されたようなヒストグラムを用いて類似判別を行う手法によっては、人間が見れば類似すると判別するような２つの画像について、類似していないと判別してしまうおそれがある。

本発明は上記事情に鑑みなされたものであり、類似判別の処理を効果的に行うことを目的とする。

本発明による類似判別装置は、２つの画像が類似するか否かを判別する類似判別装置において、
前記２つの画像の色相のヒストグラムを算出するヒストグラム算出手段と、
前記２つのヒストグラムを所定数の領域に分割して該各領域の頻度の代表値を算出し、前記２つのヒストグラムの対応する領域毎に、前記代表値の相関を表す特徴量を算出する特徴量算出手段と、
前記各領域の特徴量に基づいて前記２つの画像の類似判別を行う判別手段とを備えたことを特徴とするものである。

なお、本発明による類似判別装置においては、前記特徴量算出手段を、前記特徴量を算出するに際し、前記対応する領域の近傍の領域の前記ヒストグラムの頻度を参照して、前記特徴量を算出する手段としてもよい。

また、本発明による類似判別装置においては、前記判別手段を、前記各領域の特徴量を所定の重み係数により重みづけ加算することにより総合特徴量を算出し、該総合特徴量に基づいて前記類似判別を行う手段としてもよい。

この場合、前記所定の重み係数を、類似することが分かっている２つのサンプル画像からなる多数の正解データから得た前記特徴量と、類似しないことが分かっている２つのサンプル画像からなる多数の不正解データから得た前記特徴量とをあらかじめ学習することにより得られた、前記特徴量を重みづけする重み係数としてもよい。

学習としては、例えばマシンラーニング（machine learning）の手法を用いることができる。マシンラーニングの手法としては、例えば、ニューラルネットワーク、ブースティング等の既知の手法を用いることができる。

本発明による類似判別方法は、２つの画像が類似するか否かを判別する類似判別方法において、
前記２つの画像の色相のヒストグラムを算出し、
前記２つのヒストグラムを所定数の領域に分割して該各領域の頻度の代表値を算出し、
前記２つのヒストグラムの対応する領域毎に、前記代表値の相関を表す特徴量を算出し、
前記各領域の特徴量に基づいて前記２つの画像の類似判別を行うことを特徴とするものである。

なお、本発明による類似判別方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、２つの画像の色相のヒストグラムが算出され、２つのヒストグラムが所定数の領域に分割されて各領域の代表値が算出される。そして、２つのヒストグラムの対応する領域毎に代表値の相関を表す特徴量が算出され、算出された各領域の相関特徴量に基づいて２つの画像の類似判別が行われる。このように、本発明においては、２つのヒストグラムの相関を表す特徴量を算出する際に、各領域の代表値を算出するようにしたため、特徴量の算出の際に２つの画像の色のわずかな変化を吸収できることとなる。したがって、ヒストグラムの相関を見れば類似しないと判別されるような、わずかに色が異なる２つの画像についても類似すると判別することができ、これにより画像の変化に強い類似判別を行うことができる。

また、特徴量を算出する際に、特徴量を算出する領域のみならず、その領域の近傍の領域のヒストグラムの頻度を参照して特徴量を算出することにより、特徴量の算出の際に、２つの画像の色の変化をさらに吸収できることとなる。したがって、画像の変化により強い類似判別を行うことができる。

また、特徴量を所定の重み係数により重みづけ加算することにより総合特徴量を算出し、総合特徴量に基づいて類似判別を行う際に、あらかじめ学習することにより得られた重み係数を用いることにより、実在する画像に適した重み係数を用いて類似判別を行うことができる。したがって、画像の類似判別をより効果的に行うことができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による類似判別装置の構成を示す概略ブロック図である。図１に示すように本実施形態による類似判別装置１は、画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、ＣＰＵ１２を動作させるプログラム、画像を閲覧するためのビューアソフトおよび各種定数が記録されているＲＯＭおよびＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、種々の指示を装置１に対して行うためのキーボードおよびマウス等からなる入力部１６と、各種表示を行う液晶モニタ等からなる表示部１８とを備える。

また、類似判別装置１は、画像データを記録したメモリカード２から画像データを読み出したり、メモリカード２に画像データを記録したりするためのカードスロット２０と、画像データをＪＰＥＧに代表される手法で圧縮したり、圧縮した画像データを解凍する圧縮解凍部２２と、画像データやＣＰＵ１２が実行する各種プログラム等を記録するハードディスク２４と、システムメモリ１４、カードスロット２０およびハードディスク２４を制御するメモリ制御部２６と、表示部１８の表示を制御する表示制御部２８とを備える。

また、類似判別装置１は、低周波画像作成部３０、ヒストグラム算出部３２、特徴量算出部３４および判別部３６を備える。

次いで、低周波画像作成部３０、ヒストグラム算出部３２、特徴量算出部３４および判別部３６が行う処理について説明する。図２は本実施形態において行われる処理を示すフローチャートである。なお、類似判別を行う２つの画像はメモリカード２から読み出されてハードディスク２４に保存されているものとする。ユーザが類似判別の指示を入力部１６から行うことによりＣＰＵ１２が処理を開始し、低周波画像作成部３０が、類似判別を行う２つの画像のそれぞれについて、低周波成分を表す低周波画像を作成する（ステップＳＴ１）。

具体的には、低周波画像作成部３０は、画像に対してウェーブレット変換を施したり、画像を構成する画素を間引いて縮小したりすることにより、処理前の画像よりも低い所定の解像度を有する低周波画像を作成する。ここで、ウェーブレット変換を用いた場合には、ウェーブレット変換により得られるＬＬ成分を低周波画像として用いる。なお、画像を縮小する場合には、単純に線形変換により縮小するよりも、Cubicスプライン等の高次の補間演算式を用いて縮小することにより、画像の高周波成分を効果的に除去できるため、類似判別におけるノイズの影響を除去できる。また、低周波画像作成部３０は、２つの画像の解像度が異なる場合には、２つの画像の解像度が一致するように低周波画像を作成する。また、後の処理を容易に行うために、画像を正方形となるように変形してもよい。

次いで、ヒストグラム算出部３２が、画像を構成する各画素における色相を算出する（ステップＳＴ２）。さらに、ヒストグラム算出部３２は、２つの画像のそれぞれについて、色相の値を横軸に、色相の出現数を縦軸にプロットすることにより、色相のヒストグラムを算出する（ステップＳＴ３）。具体的には、色相は０〜３５９度の値をとることから、横軸のスケールを０〜３５９度に設定し、１度刻みで出現数をプロットすることにより色相のヒストグラムを算出する。

次いで、特徴量算出部３４が、ヒストグラム算出部３２が算出した２つの画像についての色相のヒストグラムをそれぞれ所定数の領域に分割する（ステップＳＴ４）。

図３は色相のヒストグラムにおける領域の分割を説明するための図である。図３に示すように、特徴量算出部３４は、色相のヒストグラムＨ０を所定数の領域（ここでは８個）に分割する。なお、分割数は８分割に限定されるものではなく、４分割、１６分割、３２分割等、適宜設定すればよい。

また、特徴量算出部３４は、分割した領域毎に出現頻度の平均値を算出する（ステップＳＴ５）。具体的には、２つのヒストグラムのそれぞれについて、分割により得られた複数の領域Ｃｋ（ｋ＝１〜ｎ、ｎは分割数）毎に頻度の総和を求め、これを領域内の刻み数にて除算することにより、分割した領域Ｃｋ毎に頻度の平均値Ｍｋを算出する。図４は分割した領域毎の平均値のヒストグラムを示す図である。なお、ヒストグラムは０〜３５９度の１度刻みで作成されているため、分割数を８とした場合、各領域Ｃｋ内の刻み数は４５となる。なお、平均値Ｍｋに代えて各領域Ｃｋにおける頻度の総和、中央値、最大値または最小値等を用いてもよい。

さらに、特徴量算出部３４は、領域Ｃｋ毎の平均値Ｍｋを平坦化する（ステップＳＴ６）。具体的には、下記の式（１）により、領域Ｃｋの平均値Ｍｋを隣接する２つの領域Ｃk-1，Ｃk+1の平均値Ｍk-1，Ｍk+1と重みづけ加算することにより、領域Ｃｋ毎の平均値Ｍｋを平坦化して平坦化平均値Ｍｋ′を算出する。

Ｍｋ′＝ａ・Ｍk-1＋ｂ・Ｍk＋ｃ・Ｍk+1 （１）
但し、ａ，ｂ，ｃは重み係数であり、ａ＋ｂ＋ｃ＝１となるように例えば、ａ＝ｃ＝０．２５、ｂ＝０．５の値を用いる。

ここで、色相は０〜３５９度の値をとり、色相の値はループしているため、平坦化平均値Ｍ１′については、下記の式（２）に示すように平均値Ｍｎを用いて算出することができる。また、平坦化平均値Ｍｎ′については、下記の式（３）に示すように平均値Ｍ１を用いて算出することができる。

Ｍ１′＝ａ・Ｍn＋ｂ・Ｍ1＋ｃ・Ｍ2 （２）
Ｍｎ′＝ａ・Ｍn-1＋ｂ・Ｍn＋ｃ・Ｍ1 （３）
なお、ここでは平均値Ｍｉを平坦化する際に平坦化平均値を算出する領域に隣接する２つの領域の平均値を用いているが、さらに多くの隣接する領域の平均値を用いて平坦化を行ってもよい。例えば、下記の式（４）に示すように、隣接する４つの領域の平均値を用いてもよい。

Ｍｋ′＝ａ・Ｍk-2＋ｂ・Ｍk-1＋ｃ・Ｍk＋ｄ・Ｍk+1＋ｅ・Ｍk+2（４）
但し、ａ，ｂ，ｃ，ｄ，ｅは重み係数であり、ａ＋ｂ＋ｃ＋ｄ＋ｅ＝１である。

さらに、特徴量算出部３４は、２つのヒストグラムにおける対応する領域間において、平坦化平均値Ｍｋ′の差の絶対値の逆数を算出することにより、２つのヒストグラムの相関を表す特徴量Ｔｋを算出する（ステップＳＴ７）。ここで、特徴量Ｔｋは、２つのヒストグラムの領域Ｃｋ間の相関を表すものであり、値が大きいほど領域Ｃｋ同士が類似する度合いが高いことを表すものとなる。

続いて、判別部３６が、２つの画像について算出した複数の特徴量Ｔｋを、下記の式（４）により重みづけ加算して総合類似度を算出する（ステップＳＴ８）。

総合類似度Ｓｍ１＝ΣαｋＴｋ （４）
ここで、αｋは特徴量Ｔｋを重みづける重み係数である。重み係数αｋは、類似することが分かっている２つのサンプル画像からなる多数の正解データから得た特徴量と、類似しないことが分かっている２つのサンプル画像からなる多数の不正解データから得た特徴量とを、例えばマシンラーニングの手法を用いて、あらかじめ学習することにより求められるものである。

なお、学習の際に、ヒストグラムの分割数を８分割、１６分割および３２分割等の種々の分割数に設定しておくことにより、色領域の分割数に応じた重み係数αｋを求めておくことができる。また、サンプル画像として、風景画像、人物画像、テンプレート画像等の各種タイプの画像を用いて学習を行うことにより、画像のタイプに応じた重み係数αｋを求めておくことができる。これにより、類似判別を行う画像のタイプをあらかじめ設定しておけば、画像のタイプに応じた最適な重み係数αｋを用いて総合類似度Ｓｍ１を算出することができる。

また、ユーザ毎に学習を行うことにより、類似判別を行う画像を取得したユーザに最適な重み係数αｋを求めておくことができるため、ユーザの撮影傾向に応じた重み係数αｋを用いて総合類似度Ｓｍ１を算出することができる。

そして、判別部３６は総合類似度Ｓｍ１が所定のしきい値Ｔｈ１以上であるか否かを判定し（ステップＳＴ９）、ステップＳＴ９が肯定されると２つの画像は類似すると判定し（ステップＳＴ１０）、処理を終了する。ステップＳＴ９が否定されると２つの画像は類似しないと判定し（ステップＳＴ１１）、処理を終了する。

このように本実施形態においては、２つのヒストグラムの相関を表す特徴量Ｔｋを算出する際に、ヒストグラムの各領域Ｃｋの平均値Ｍｋを算出するようにしたため、特徴量Ｔｋの算出の際に、２つの画像の色のわずかな変化を吸収できることとなる。したがって、ヒストグラムの相関を見れば類似しないと判別されるような、わずかに特徴量が異なる２つの画像についても類似すると判別することができ、これにより画像の変化に強い類似判別を行うことができる。

また、分割した各領域の近傍の領域のヒストグラムの頻度を参照して特徴量Ｔｋを算出することにより、特徴量Ｔｋの算出の際に、２つの画像の色のわずかな変化をさらに吸収でき、これにより、画像の変化により強い類似判別を行うことができる。

また、特徴量を重みづける重み係数αｋをあらかじめ学習しておくことにより、実在する画像に適した重み係数を用いて類似判別を行うことができるため、画像の類似判別をより効果的に行うことができる。

また、上記実施形態においては、重み係数αｋを学習により求めているが、あらかじめ人為的に設定した重み係数αｋを用いてもよい。

以上、本発明の実施形態に係る装置について説明したが、コンピュータを、低周波画像作成部３０、ヒストグラム算出部３２、特徴量算出部３４および判別部３６に対応する手段として機能させ、図２に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も本発明の実施形態の１つである。また、このようなプログラムを、画像を閲覧するためのビューアソフトに組み込むようにしてもよい。

本発明の実施形態による類似判別装置の構成を示す概略ブロック図 本実施形態において行われる処理を示すフローチャート 色相のヒストグラムにおける領域の分割を示す図 分割した領域毎の平均値のヒストグラムを示す図

符号の説明

１ 類似判別装置
２ メモリカード
１２ ＣＰＵ
１４ システムメモリ
１６ 入力部
１８ 表示部
２０ カードスロット
２２ 圧縮解凍部
２４ ハードディスク
２６ メモリ制御部
２８ 表示制御部
３０ 低周波画像作成部
３２ 色ヒストグラム算出部
３４ 特徴量算出部
３６ 判別部

Claims (6)

1. ２つの画像が類似するか否かを判別する類似判別装置において、
   前記２つの画像の色相のヒストグラムを算出するヒストグラム算出手段と、
   前記２つのヒストグラムを所定数の領域に分割して該各領域の頻度の代表値を算出し、前記２つのヒストグラムの対応する領域毎に、前記代表値の相関を表す特徴量を算出する特徴量算出手段と、
   前記各領域の特徴量に基づいて前記２つの画像の類似判別を行う判別手段とを備えたことを特徴とする類似判別装置。
2. 前記特徴量算出手段は、前記特徴量を算出するに際し、前記対応する領域の近傍の領域の前記ヒストグラムの頻度を参照して、前記特徴量を算出する手段であることを特徴とする請求項１記載の類似判別装置。
3. 前記判別手段は、前記各領域の特徴量を所定の重み係数により重みづけ加算することにより総合特徴量を算出し、該総合特徴量に基づいて前記類似判別を行う手段であることを特徴とする請求項１または２記載の類似判別装置。
4. 前記所定の重み係数は、類似することが分かっている２つのサンプル画像からなる多数の正解データから得た前記特徴量と、類似しないことが分かっている２つのサンプル画像からなる多数の不正解データから得た前記特徴量とをあらかじめ学習することにより得られた、前記特徴量を重みづけする重み係数であることを特徴とする請求項３記載の類似判別装置。
5. ２つの画像が類似するか否かを判別する類似判別方法において、
   前記２つの画像の色相のヒストグラムを算出し、
   前記２つのヒストグラムを所定数の領域に分割して該各領域の頻度の代表値を算出し、
   前記２つのヒストグラムの対応する領域毎に、前記代表値の相関を表す特徴量を算出し、
   前記各領域の特徴量に基づいて前記２つの画像の類似判別を行うことを特徴とする類似判別方法。
6. ２つの画像が類似するか否かを判別する類似判別方法をコンピュータに実行させるためのプログラムにおいて、
   前記２つの画像の色相のヒストグラムを算出する手順と、
   前記２つのヒストグラムを所定数の領域に分割して該各領域の頻度の代表値を算出する手順と、
   前記２つのヒストグラムの対応する領域毎に、前記代表値の相関を表す特徴量を算出する手順と、
   前記各領域の特徴量に基づいて前記２つの画像の類似判別を行う手順とを有することを特徴とするプログラム。

Images