JP3812161B2 - Image comparison apparatus, image comparison method, and recording medium - Google Patents
Image comparison apparatus, image comparison method, and recording medium Download PDFInfo
- Publication number
- JP3812161B2 JP3812161B2 JP21885498A JP21885498A JP3812161B2 JP 3812161 B2 JP3812161 B2 JP 3812161B2 JP 21885498 A JP21885498 A JP 21885498A JP 21885498 A JP21885498 A JP 21885498A JP 3812161 B2 JP3812161 B2 JP 3812161B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- similarity
- computer
- search target
- reference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【0001】
【発明の属する技術分野】
この発明は、一の画像と他の画像との比較を行う技術に関し、特に複数の検索対象の画像の中から特定の画像(以下「キー画像」という)と類似する画像を検索する技術に関する。
【0002】
【従来の技術】
近年、情報処理分野の発展はめざましく、特にパーソナルコンピュータ等の性能の向上により、ビジネス分野や特定用途に限らず、一般のユーザーやコンシューマーにおいても、画像データベースや電子ファイリングの技術が普及している。例えば、画像や文書を入力機器で取り込んで、キーワード等の付加情報と共に蓄積・管理を行い、必要に応じて出力装置によって印刷することが行われている。
【0003】
しかし、大量の画像データベース内において、画像を検索しようとする場合、画像に適切なキーワード等の付加情報が付加されていないと迅速性に劣り、実用上不便である。
【0004】
かかる画像の検索において、複数の画像からキー画像に類似する画像を検索する技術として、画像の特徴量を比較する方法を採用するものがある。例えば色やテクスチャの特徴量として、それぞれ彩度、エッジの強さを求め、その値がキー画像と近い画像を複数の画像から検索される。かかる技術については、例えば Exculibur社の検索ソフトウエアであるVisual RetrievalWareや、Virage社の検索ソフトウエアであるVIR Image Engineが公知である。
【0005】
【発明が解決しようとする課題】
しかし、これらの公知の類似画像検索技術においては、各特徴量についての重み付け(以下「ウェイト」という)として、固定されたデフォルト値あるいはユーザーが設定した値を採用し、このウェイトに基づいて比較を行っていた。よって、ある特徴量についてウェイトを高めたり低くした検索を行った後、満足した検索結果が得られなければ、更に他の特徴量のウェイトを増加または減少させて再度の検索が必要となる。
【0006】
このため、ユーザーが所望の画像を検索するには、キー画像のどの特徴量に着目して検索すべきか(即ちどの特徴量にウェイトを置くべきか)を予め知っておくことが望ましい。
【0007】
本願は上記の事情に鑑み、キー画像の特徴量のウェイトを自動的に設定し、ユーザーの検索時の操作性を高める技術を提供するものである。
【0008】
【課題を解決するための手段】
この発明のうち請求項1にかかるものは、複数の検索対象画像と、基準画像との比較を行う画像比較装置であって、複数の特徴量を、前記検索対象画像及び前記基準画像について求める特徴量算出手段と、前記基準画像の前記複数の特徴量から、前記複数の特徴量の各々についての重み付けを設定する重み付け設定手段と、前記基準画像に対する前記検索対象画像の類似度を、前記複数の特徴量ごとに求める類似度算出手段と、前記類似度及び前記重み付けから、前記基準画像に対する前記検索対象画像の総合類似度を求める総合類似度算出手段とを備え、前記重み付け設定手段は、前記複数の特徴量のいずれもが所定値よりも低い場合において、前記重み付けをいずれの前記複数の特徴量に対しても等しく設定する。
【0009】
この発明のうち請求項2にかかるものは、請求項1記載の画像比較装置であって、前記総合類似度と所定のしきい値とを比較して、前記基準画像に類似した類似画像を前記検索対象画像から求める比較手段を更に備える。
【0011】
この発明のうち請求項3にかかるものは、請求項1または2に記載の画像比較装置であって、前記重み付け設定手段によって設定された前記重み付けを表示する重み付け表示手段と、前記重み付けを外部から修正する重み付け修正手段とを更に備える。
【0012】
この発明のうち請求項4にかかるものは、コンピュータにより、複数の検索対象画像と、基準画像との比較を行う画像比較方法であって、(a)前記コンピュータが、複数の特徴量を、前記検索対象画像及び前記基準画像について求め、特徴量格納部に保存する工程と、(b)前記コンピュータが、前記基準画像の前記複数の特徴量を前記特徴量格納部からロードし、前記複数の特徴量の各々についての重み付けを設定する工程と、(c)前記コンピュータが、前記基準画像に対する類似度を、前記複数の特徴量ごとに求める工程と、(d)前記コンピュータが、前記類似度及び前記重み付けから、前記基準画像に対する前記検索対象画像の総合類似度を求める工程とを備え、前記工程(b)において、前記コンピュータは、前記複数の特徴量のいずれもが所定値よりも低い場合には、前記重み付けをいずれの前記複数の特徴量に対しても等しく設定する。
【0013】
この発明のうち請求項5にかかるものは、請求項4に記載の画像比較方法であって、(e)前記コンピュータが、前記総合類似度と所定のしきい値とを比較して、前記基準画像に類似した類似画像を前記検索対象画像から求める工程を更に備える。
【0015】
この発明のうち請求項6にかかるものは、請求項4または5に記載の画像比較方法であって、(f)前記コンピュータが、前記工程(b)によって設定された前記重み付けを表示部に表示する工程と、(g)前記コンピュータが、前記重み付けに対するユーザからの設定変更を受け付ける工程とを、前記工程(b)と工程(d)の間で更に備える。
【0016】
この発明のうち請求項7にかかるものは、コンピュータに、複数の検索対象画像と、基準画像との比較を行わせるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記プログラムは、前記コンピュータに、(a)複数の特徴量を、前記検索対象画像及び前記基準画像について求め、特徴量格納部に保存する工程と、(b)前記基準画像の前記複数の特徴量を前記特徴量格納部からロードし、前記複数の特徴量の各々についての重み付けを設定する工程と、(c)前記基準画像に対する前記検索対象画像の類似度を、前記複数の特徴量ごとに求める工程と、(d)前記類似度及び前記重み付けから、前記基準画像に対する前記検索対象画像の総合類似度を求める工程とを実行させ、前記工程(b)において、前記プログラムは、前記コンピュータに、前記複数の特徴量のいずれもが所定値よりも低い場合には、前記重み付けをいずれの前記複数の特徴量に対しても等しく設定させる。
【0018】
【発明の実施の形態】
図1はこの発明のある実施の形態である、類似画像検出システムを実現することができる構成を示す概念図である。
【0019】
当該システムは、CPUを中心として構成されてシステム全体を制御するコンピュータ1と、文字等を含めた画像を表示するディスプレイ2と、指示や操作を入力するキーボード3及びマウス4と、データが保存される媒体であるフレキシブルディスクをドライブするフレキシブルディスクドライバ5と、ハードディスクドライバ6と、画像データあるいは画像を編成して得られた図面などを出力するプリンタ7と、画像データを取り込むスキャナー8及びデータが保存される媒体であるCD−ROMをドライブするCD−ROMドライバ9と、音声を含めた音響を出力するスピーカー10と、音響を入力するマイクロフォン11とを備えている。これらはコンピュータ1を中心として相互に接続されており、データの授受が行われる。
【0020】
図2はコンピュータ1の構成と、その周辺機器2〜11との接続の概略を示すブロック図である。コンピュータ1は例えばインテル社製の品番i80486DX等のCPU201、CPU201及び後述する種々の制御回路のクロック信号を供給するクロック発生回路202と、データバス220とを備えている。更にいずれもデータバス220に接続され、本システムを制御するプログラム等が格納されるROM203、データやプログラムを記憶するRAM204、ディスプレイ2の動作を制御する表示制御回路205、キーボード3からの入力の転送を制御するキーボード制御回路206、マウス4からの入力の転送を制御するマウス制御回路207、フレキシブルディスクドライバ5の動作を制御するフレキシブルディスクドライバ制御回路208、ハードディスクドライバ6の動作を制御するハードディスクドライバ制御回路209、プリンタ7への出力を制御するプリンタ制御回路210、スキャナー8の動作を制御するスキャナー制御回路211、CD−ROMドライバ9の動作を制御するCD−ROMドライバ制御回路212、スピーカー10への出力を制御するスピーカー制御回路213、マイクロフォン11からの入力を制御するマイクロフォン制御回路214も備えられている。更に、拡張ボードを接続するための拡張スロット215もデータバス220に接続されて設けられている。拡張スロット215にSCSIIボードを接続し、これを介してフレキシブルディスクドライバ5、ハードディスクドライバ6、スキャナー8、CD−ROMドライバ9を接続することもできる。
【0021】
検索対象となる複数の画像や、キー画像はフレキシブルディスクや、ハードディスクに格納されている。あるいは更にMO媒体等の情報記憶装置を採用し、これに画像を格納してもよい。勿論、新たにスキャナー8や、CD−ROMから画像を取り込んで、これらの媒体に格納することもできるし、図示されないデジタルカメラ等を採用して画像を取り込むことができる。
【0022】
図3は、図1及び図2で示されたシステムにおける情報処理プログラムのメインルーチンを示すフローチャートである。本プログラムは、この実施の形態において説明される類似画像検索に関係の無いステップを含んでいても良い。
【0023】
ステップS1において初期設定が行われる。具体的には例えば情報処理に必要なフラグの初期化、画面表示の初期化(例えば情報処理の種類を示すメニューを表示する)等が挙げられる。その後ステップS2へ進み、どのような情報処理を行うかのメニューを選択する入力を待つ。選択が行われなければステップS2は繰り返し実行される。
【0024】
入力された選択に応じて、ここでは3つの経路が例示されている。経路#1は画像の特徴量を算出する処理に進み、経路#2は類似画像を検索する処理に進み、経路#3はその他の情報処理に進む。画像の特徴量の算出という情報処理が選択された場合には、経路#1を経由してステップS3に進み、特徴量の算出が行われる。類似画像の検索という情報処理が選択された場合には、経路#2を経由してステップS4に進み、類似画像の検索が行われる。その他の情報処理が選択された場合には、経路#3を経由してステップS5に進み、当該情報処理が行われる。そして、いずれの経路#1〜#3を経由する場合もステップS6でその他の情報処理が行われる。上述のように、ステップS5,S6はこの実施の形態において説明される類似画像検索に関係の無い処理であっても良い。
【0025】
図4は、コンピュータ1が実現する機能の概念を示すブロック図である。コンピュータ1を用いることなく、この図でブロックとして示される機能を発揮する装置を用いても本実施の形態を実現することができるのはいうまでもない。
【0026】
データ格納部V0は画像データを格納する画像データ格納部V1と、画像の特徴量を格納する特徴量格納部V2とを備えており、画像と当該画像から得られる特徴量とは、互いに対応つけて格納される。データ格納部V0は例えばフレキシブルディスクドライバ5及びハードディスクドライバ6により実現できる。特徴量算出部V3は、画像データ格納部V1から画像データを得てステップS3の処理を実行する。類似画像検索部V4は、画像を指定し、この画像についての画像データ及びその特徴量をデータ格納部V0から得てステップS4の処理を実行する。特徴量算出部V3、類似画像検索部V4は、いずれもコンピュータ1の機能により実現することができる。
【0027】
図5はステップS3の詳細を示すフローチャートである。まずステップS301において画像データをロードする。そしてロードされた画像データについてステップS302においてサイズの正規化を行う。その後、ステップS3の中心となる特徴量の計算をステップS303で行う。この特徴量はステップS304において保存される。
【0028】
図6は機能の概念を示すブロックである特徴量算出部V3の詳細を示すブロック図である。画像データロード部V31、画像サイズ正規化部V32、特徴量計算部V33は、それぞれステップS301,S302,S303を実行する。ステップS304は図4に示されたデータ格納部V0によって実行される。
【0029】
ステップS303において計算される特徴量としては、例えば色の特徴量、テクスチャの特徴が公知である。色の特徴量としては彩度の平均値Cが例示できる。彩度の平均値Cは画像データから、その示す画像の画素のRGB値をHSV値に変換し、彩度のヒストグラムを求めれば計算できる。平均値Cは一般に0〜1の間の値に正規化される。また、テクスチャの特徴量としては、スペクトラム画像のピーク値Pや、エッジの強さEを挙げることができる。スペクトラム画像のピーク値Pは、テクスチャの周期性の強さに対応し、画像データに対して離散的フーリエ変換を施して得られるスペクトラム画像のピークとして求められる。ピーク値Pは、例えば0〜255の間の値として求められる。またエッジの強さEは、画像をモノクローム化し、各画素において近傍の画素との差分の総和を計算して求める。エッジの強さEは一般に0〜1の間の値に正規化される。
【0030】
図7はステップS4の詳細を示すフローチャートであり、図8は類似画像検索部V4の詳細と、その周辺のブロックとの接続とを示すブロック図である。類似画像検索部V4は、ウェイト設定部V41と、類似度算出部V42と、総合類似度算出部V43と、比較部V44とを備えている。ウェイト設定部V41は、例えばディスプレイ2で実現できる表示部V5、キーボード3及びマウス4で実現できる入力部V6、並びにデータ格納部V0と接続されたキー画像特徴量入力部V41aと、データ格納部V0に接続されたウェイト算出部V41bとから構成されている。また比較部V44には総合類似度算出部から出力される総合類似度Ra(後に詳述する)についての比較基準となるしきい値THが入力される。しきい値THは例えばデータ格納部V0に記憶させておくことができる。
【0031】
まずステップS401においてキー画像を指定する。これは入力部V6に対してユーザーが操作することにより、キー画像特徴量入力部V41aにキー画像指定命令A1をデータ格納部V0に与えさせることで実現できる。キー画像の選択に際し、表示部V5に複数の画像を表示させ、ユーザーがこれらの画像の中から指定する手順をとってもよい。その場合にはキー画像指定命令A1がデータ格納部V0に与えられる前に、予めデータ格納部V0から複数の画像の、例えば縮小画像等のカタログ表示を表示部V5に行わせることも望ましい態様の一つである。
【0032】
次にステップS402において指定されたキー画像についての特徴量がロードされ、更にステップS403においてキー画像についての特徴量から各特徴量に対するウェイトが算出される。これはデータ格納部V0からウェイト算出部V41bへとキー画像についての特徴量A2が入力され、ウェイト算出部V41bが例えば色のウェイトWcとテクスチャのウェイトWtとを出力することで実現できる。ステップS402を行うことに鑑み、図3で示されたフローチャートにおいてステップS4の実行に先立ち、予めステップS3を実行しておくことが望ましい。
【0033】
例えばキー画像についての特徴量A2が彩度の平均値C0 、スペクトラム画像のピーク値P0 、エッジの強さE0 で構成されていた場合、色のウェイトWcとテクスチャのウェイトWtとは、例えばWc=1+Kc・C0 ,Wt=1+Kp・P0 +Ke・E0 として決定される。従って、キー画像の彩度の平均値C0 が大きいほど色のウェイトWcは大きく、キー画像のスペクトラム画像のピーク値P0 、エッジの強さE0 が大きいほどテクスチャのウェイトWtは大きく設定される。つまりウェイトの比Wc/Wtを採れば、テクスチャの周期性やエッジの強さはさほど強くないが彩度が高いキー画像では大きくなり、逆に彩度が高くないがテクスチャの周期性やエッジの強さが強いキー画像では小さくなる。係数Kc,Kp,Keは適宜設定され、特徴量の値のダイナミックレンジを調整する。
【0034】
次にステップS404に進み、ウェイトの表示が行われる。これを視認したユーザーはそのウェイトを採用するか、あるいはこれを参考にして任意の値に設定し直すかの選択の自由がある。これはウェイトWc,Wtが表示部V5に伝えられ、入力部V6によってウェイトWc,Wtの了承あるいは設定変更を行うことで実現できる。
【0035】
次にステップS405に進み、検索対象となる画像を格納している記憶領域のレコードポインタを先頭に移動させる。これ以降、検索対象の画像について逐次に類似度を求め、キー画像との類否を調べるのである。これは図8で言えば、データ格納部V0におけるレコードポインタの初期化に相当する。
【0036】
次にステップS406において検索対象の画像の特徴量をロードする。これはデータ格納部V0から、検索対象の画像の特徴量A3を類似度算出部V42に入力することで実現できる。そしてステップS407において、キー画像の特徴量A2と、検索対象の画像の特徴量A3とから類似度を算出する。このため、類似度算出部V42にはキー画像の特徴量A2も入力される。
【0037】
類似度は公知の手法により、例えば色の類似度Rcとテクスチャの類似度Rtとが、それぞれ別個に求められる。色の類似度Rcは例えばキー画像の彩度の平均値C0 と検索対象の画像の彩度の平均値Cj (j=1,2,…)とから求められ、テクスチャの類似度Rtは例えばキー画像のスペクトラム画像のピーク値P0 、エッジの強さE0 と検索対象の画像のスペクトラム画像のピーク値Pj 、エッジの強さEj とから求められる。
【0038】
ステップS408に進み、総合類似度算出が行われる。総合類似度とは、色の類似度、テクスチャの類似度など、複数の類似度に基づいて得られる単一の指標であり、その際にはステップS403で求められたウェイトが考慮される。即ち、ウェイトの高い類似度ほど総合類似度に対する寄与率は高い。例えば総合類似度は、Ra=Σ(Wk・Rk)/ΣWkとして定義される。ここでkは類似度の種類を表し、Wkはキー画像についての第kの特徴量についてのウェイトを、Rkはキー画像と検索対象の画像との第kの特徴量についての類似度を表し、Σはパラメタkについての総和を表している。
【0039】
これは総合類似度算出部V43において色のウェイトWc及びテクスチャのウェイトWt、並びに色の類似度Rcとテクスチャの類似度Rtから、総合類似度Raを(WcRc+WtRt)/(Wc+Wt)として求めることで実現できる。
【0040】
ステップS409においては総合類似度が所定のしきい値よりも大きいか否かの判断を行い、大きい場合にはキー画像と検索対象の画像とが類似していると判断してステップS410において検索対象の画像を表示する。これはしきい値THと総合類似度Raとを比較部V44が比較し、Ra>THの場合に表示命令D1を表示部V5に与えて実現することができる。但し、図8では繁雑を避けるため、画像データがデータ格納部V0から表示部V5へと伝達される経路は省略している。
【0041】
ステップS409において総合類似度が所定のしきい値以下であれば、ある3いはステップS410が実行されれば、ステップS411へ進み次に検索対象となる画像が有るか否かが判断され、有ればステップS412においてレコードポインタをインクリメントする。これはしきい値THと総合類似度Raとを比較部V44が比較し、Ra≦THの場合、あるいは表示命令D1を表示部V5に与えた場合に、検索命令D2をデータ格納部V0に与え、データ格納部V0から新たな画像データについての特徴量A3を類似度算出部V42に入力させることで実現できる。
【0042】
ステップS411でもはや全ての検索対象の画像についての検索が終了していればステップS4の処理は終了する。
【0043】
以上のようにして本発明では、キー画像の特徴量に基いて特徴量のウェイトがキー画像に固有に求められる一方、検索対象の画像毎にキー画像との類似度が特徴量毎に求められる。そしてキー画像の特徴量に固有のウェイトと、検索対象の画像のキー画像に対する特徴量の類似度とに基づいて、総合類似度が求められる。この故、ユーザーがウェイトを試行錯誤で設定する必要がなく、少ない検索回数で所望の類似画像を検索することができる。
【0044】
上記説明において、ステップS403は省略してウェイト設定を全く自動的に行うこともでき、あるいはステップS406以下に進む前にしきい値をユーザーが設定できるステップを追加してもよい。
【0045】
また、ウエイトに関しては以下のように設定してもよい。即ち、
Wc=Kc・C0 (Kc・C0 >1),
Wc=1 (Kc・C0 <1),
Wt=Kp・P0 +Ke・E0 (Kp・P0 +Ke・E0 >1),
Wt=1 (Kp・P0 +Ke・E0 <1)
である。
【0046】
上記のように設定すれば、ある程度特徴量が大きい場合に限り重み付けを行う一方、いずれの特徴量C0 ,P0 ,E0 も小さい場合には、Wc=Wt=1とし、ウエイト同士に差を生じさせない。よって特徴量が小さく画像の特徴量が画像の特徴を表しているとは言えない場合において、意味のない重み付けをすることがなく、ひいては意図しない画像が検索されるという可能性を回避することもできる。
【0047】
また、上記実施の形態では、総合類似度と所定のしきい値とを比較して画像を検索したが、総合類似度の高い画像から順にすべての画像を表示してもよい。図9はかかる動作を示すフローチャートである。図7に示されたフローチャートと比較して、ステップS409,S410の代わりにステップS413を設け、ステップS411において「NO」と判断された場合に実行されるステップS414が追加されている。
【0048】
ステップS413は総合類似度を格納する処理を行う。よってステップS411において「NO」と判断されるまでに、ステップS408で求められる総合類似度が検索対象の画像の全てについて格納される。ステップS414は検索対象の画像を総合類似度順に、例えば総合類似度のより高いものを優先的に表示する処理を行う。
【0049】
図10は図9に示されたフローチャートを実現するための機能を示すブロック図である。類似画像検索部V4はステップS413を実行するためにデータ格納部V0に総合類似度を与える。データ格納部V0は、総合類似度を、その求める基礎となった特徴量を有する画像データと対応付けて格納する。総合類似度は、フレキシブルディスクドライバ5及びハードディスクドライバ6で実現できるデータ格納部V0以外に、例えばRAM204に格納することもできる。
【0050】
また類似画像検索部V4はステップS414を実行するために、表示すべき画像を指定する代わりに、総合類似度を指定する。データ格納部V0は指定された総合類似度に対応する画像データを表示部V5における表示に供する。
【0051】
図11は図10に示された類似画像検索部V4の詳細と、その周辺のブロックとの接続とを示すブロック図である。図8に示された構成に対し、比較部V44を総合類似度指定部V45で置換した構成を有している。総合類似度指定部V45は総合類似度を指定する命令D3をデータ格納部V0に与える。この際、総合類似度指定部V45自身が例えばRAM204等において予め検索対象の画像の全てについての総合類似度を格納しておき、これを大きい方から順に並べ替えて順次に命令D3を出力することもできる。あるいはまた、所定のステップで順次減少する総合類似度を命令D3として出力し、これに最も近い総合類似度を有する画像データをデータ格納部V0から引き出しても良い。いずれの場合も対応する画像データを表示させるために表示命令D1が表示部V5へと与えられる。
【0052】
また、表示される検索対象の画像は所定個数に限ってもよいし、全てを表示しても良い。ステップS414の処理のように、ある指標に基づいて画像データを並び替えて表示させる処理は公知の技術であるので、その詳細はここでは示していない。
【0053】
なお、上記説明において示されたフローチャートは、ROM203に記憶されているプログラムに基づいてコンピュータ1が各機能を果たすことによって実現されるが、フレキシブルディスクなどの記録媒体に記録されたプログラムがフレキシブルディスクドライバ5を介してコンピュータ1に読み込まれ、コンピュータ1が各機能を果たすことによって実現されてもよい。更に、記録媒体に記録されたプログラムは、上記フローチャートの全てをコンピュータに実現させるものではなく、その一部を実現させるプログラムであってもよい。既にコンピュータ1に読み込まれたプログラムと連携して動作しても上記フローチャートは実現できるからである。
【0054】
【発明の効果】
この発明のうち請求項1にかかる画像比較装置及び請求項4にかかる画像比較方法によれば、基準画像の特徴量に基いて特徴量の重み付けが基準画像に固有に求められる一方、検索対象画像毎に基準画像との類似度が特徴量毎に求められる。よって基準画像の特徴量に固有の重み付けと、検索対象画像の基準画像に対する特徴量の類似度とに基づいて、総合類似度が求められるので、ユーザーが重み付けを試行錯誤で設定する必要がなく、基準画像と検索対象画像の比較を行うことができる。
また、特徴量に際だった特徴が無い場合には全ての特徴量について均等に検索することができる。
【0055】
この発明のうち請求項2にかかる画像比較装置及び請求項5にかかる画像比較方法によれば、少ない検索回数で所望の類似画像を検索することができる。
【0057】
この発明のうち請求項3にかかる画像比較装置及び請求項6にかかる画像比較方法によれば、自動的に設定された重み付けを参考にしつつも、ユーザーが重み付けを改めて設定することができるので、検索条件の自由度が増す。
【0058】
この発明のうち請求項7にかかる記録媒体によれば、コンピュータによって、基準画像の特徴量に基いて特徴量の重み付けが基準画像に固有に求められる一方、検索対象画像毎に基準画像との類似度が特徴量毎に求められる。したがって、コンピュータによって、基準画像の特徴量に固有の重み付けと、検索対象画像の基準画像に対する特徴量の類似度とに基づいて、総合類似度が求められるので、ユーザーが重み付けを試行錯誤で設定する必要がなく、画像の類否の効率的な決定に資することができる。
また、特徴量に際だった特徴が無い場合には、コンピュータに、全ての特徴量について均等に検索させることができる。
【図面の簡単な説明】
【図1】 この発明にかかる類似画像検出システムの構成を示す概念図である。
【図2】 この発明にかかる実施の形態の構成を説明するブロック図である。
【図3】 この発明にかかる実施の形態の動作を示すフローチャートである。
【図4】 この発明にかかる実施の形態の構成を説明するブロック図である。
【図5】 この発明にかかる実施の形態の動作を示すフローチャートである。
【図6】 この発明にかかる実施の形態の構成を説明するブロック図である。
【図7】 この発明にかかる実施の形態の動作を示すフローチャートである。
【図8】 この発明にかかる実施の形態の構成を説明するブロック図である。
【図9】 この発明にかかる実施の形態の変形の動作を示すフローチャートである。
【図10】 この発明にかかる実施の形態の変形の構成を説明するブロック図である。
【図11】 この発明にかかる実施の形態の変形の構成を説明するブロック図である。
【符号の説明】
V0 データ格納部、V3 特徴量算出部、V33 特徴量計算部、V4 類似画像検索部、V41 ウェイト設定部、V42 類似度算出部、V43 総合類似度算出部、V44 比較部、V45 総合類似度指定部、V5 表示部、V6 入力部、Wc 色のウェイト、Wt テクスチャのウェイト、Rc 色の類似度、Rt テクスチャの類似度、Ra 総合類似度、TH しきい値。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a technique for comparing one image with another image, and more particularly to a technique for searching for an image similar to a specific image (hereinafter referred to as “key image”) from a plurality of search target images.
[0002]
[Prior art]
In recent years, the development of the information processing field has been remarkable, and with the improvement in performance of personal computers and the like, image databases and electronic filing techniques have become widespread not only in the business field and specific applications, but also in general users and consumers. For example, an image or document is captured by an input device, stored and managed together with additional information such as a keyword, and printed by an output device as necessary.
[0003]
However, when searching for an image in a large amount of image databases, it is inferior in speed and inconvenient in practice unless additional information such as an appropriate keyword is added to the image.
[0004]
In such an image search, as a technique for searching for an image similar to a key image from a plurality of images, there is a technique that employs a method of comparing feature amounts of images. For example, saturation and edge strength are obtained as feature quantities of color and texture, respectively, and images having values close to the key image are searched from a plurality of images. As such technology, for example, Visual RetrievalWare, which is a search software of Exculibur, and VIR Image Engine, which is a search software of Virage, are known.
[0005]
[Problems to be solved by the invention]
However, in these known similar image retrieval techniques, a fixed default value or a value set by the user is adopted as a weighting (hereinafter referred to as “weight”) for each feature amount, and comparison is performed based on this weight. I was going. Therefore, after performing a search with a higher or lower weight for a certain feature amount, if a satisfactory search result is not obtained, another search is required by increasing or decreasing the weight of another feature amount.
[0006]
For this reason, in order for a user to search for a desired image, it is desirable to know in advance which feature amount of the key image is to be searched (that is, which feature amount should be weighted).
[0007]
In view of the above circumstances, the present application provides a technique for automatically setting a weight of a feature amount of a key image and improving operability at the time of a user's search.
[0008]
[Means for Solving the Problems]
According to a first aspect of the present invention, there is provided an image comparison device for comparing a plurality of search target images with a reference image, wherein a plurality of feature amounts are obtained for the search target image and the reference image. An amount calculation unit; a weight setting unit configured to set a weight for each of the plurality of feature amounts from the plurality of feature amounts of the reference image; and a degree of similarity of the search target image with respect to the reference image. Similarity calculation means for each feature quantity, and total similarity calculation means for obtaining a total similarity of the search target image with respect to the reference image from the similarity and the weighting.The weight setting unit sets the weight equally for any of the plurality of feature amounts when all of the plurality of feature amounts are lower than a predetermined value.
[0009]
A second aspect of the present invention is the image comparison apparatus according to the first aspect, wherein the total similarity is compared with a predetermined threshold value, and a similar image similar to the reference image is determined. Comparing means obtained from the search target image is further provided.
[0011]
Claim of the invention3According to claim 1Or 2The image comparison apparatus according to
[0012]
Claim of the invention4The thing concerningBy computerAn image comparison method for comparing a plurality of search target images with a reference image, comprising: (a)The computer isA plurality of feature amounts are obtained for the search target image and the reference image.Save to the feature storageAnd (b)The computer isThe plurality of feature amounts of the reference imageIs loaded from the feature quantity storage unit.Setting a weight for each of the plurality of feature quantities; and (c)The computer isObtaining a similarity to the reference image for each of the plurality of feature amounts; and (d)The computer isObtaining a total similarity of the search target image with respect to the reference image from the similarity and the weighting.In the step (b), when all of the plurality of feature amounts are lower than a predetermined value, the computer sets the weighting equally for any of the plurality of feature amounts.
[0013]
Claim of the invention5The claim is4A method for comparing images as described in (e)The computer isThe method further includes the step of comparing the total similarity with a predetermined threshold value to obtain a similar image similar to the reference image from the search target image.
[0015]
Claim of the invention6The claim is4 or5InAn image comparison method as described in (f)The computer isThe weight set by the step (b) isOn the displayA step of displaying; (g)The computer isWeightingSetting change from userTheAcceptProcess and,Further provided between the step (b) and the step (d).
[0016]
Claim of the invention7The thing concerningA computer-readable recording medium that records a program that causes a computer to compare a plurality of search target images with a reference image, wherein the program includes (a) a plurality of feature amounts, Obtaining the search target image and the reference image and storing them in a feature amount storage unit; and (b) loading the plurality of feature amounts of the reference image from the feature amount storage unit, and for each of the plurality of feature amounts (C) a step of obtaining the similarity of the search target image with respect to the reference image for each of the plurality of feature amounts; and (d) from the similarity and the weighting to the reference image. Obtaining a total similarity of the search target images, and in the step (b), the program causes the computer to execute the plurality of special features. If none of the quantity is lower than a predetermined value, equal to also set for the plurality of feature quantities of any of the weighting.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a conceptual diagram showing a configuration capable of realizing a similar image detection system according to an embodiment of the present invention.
[0019]
The system is composed of a CPU and controls the
[0020]
FIG. 2 is a block diagram showing an outline of the configuration of the
[0021]
A plurality of images and key images to be searched are stored on a flexible disk or a hard disk. Alternatively, an information storage device such as an MO medium may be further used to store an image. Of course, a new image can be captured from the scanner 8 or CD-ROM and stored in these media, or a digital camera (not shown) can be employed to capture the image.
[0022]
FIG. 3 is a flowchart showing a main routine of the information processing program in the system shown in FIGS. This program may include steps that are not related to the similar image search described in this embodiment.
[0023]
Initial setting is performed in step S1. Specifically, for example, initialization of flags necessary for information processing, initialization of screen display (for example, displaying a menu indicating the type of information processing), and the like can be mentioned. Thereafter, the process proceeds to step S2 and waits for an input for selecting a menu for what kind of information processing is performed. If no selection is made, step S2 is repeatedly executed.
[0024]
Three routes are illustrated here depending on the input selection. The
[0025]
FIG. 4 is a block diagram illustrating the concept of functions realized by the
[0026]
The data storage unit V0 includes an image data storage unit V1 that stores image data and a feature amount storage unit V2 that stores image feature amounts. The image and the feature amount obtained from the image are associated with each other. Stored. The data storage unit V0 can be realized by the
[0027]
FIG. 5 is a flowchart showing details of step S3. First, in step S301, image data is loaded. In step S302, the size of the loaded image data is normalized. After that, the feature quantity that is the center of step S3 is calculated in step S303. This feature amount is stored in step S304.
[0028]
FIG. 6 is a block diagram showing details of the feature quantity calculation unit V3, which is a block showing the concept of functions. The image data load unit V31, the image size normalization unit V32, and the feature amount calculation unit V33 execute steps S301, S302, and S303, respectively. Step S304 is executed by the data storage unit V0 shown in FIG.
[0029]
As the feature amount calculated in step S303, for example, a color feature amount and a texture feature are known. An example of the color feature amount is an average value C of saturation. The average value C of the saturation can be calculated by converting the RGB value of the pixel of the image indicated by the image data into an HSV value and obtaining a saturation histogram. The average value C is generally normalized to a value between 0 and 1. Further, examples of the feature amount of the texture include a peak value P of the spectrum image and an edge strength E. The peak value P of the spectrum image corresponds to the strength of the periodicity of the texture, and is obtained as the peak of the spectrum image obtained by performing discrete Fourier transform on the image data. The peak value P is obtained as a value between 0 and 255, for example. Also, the edge strength E is obtained by making an image monochrome and calculating the sum of differences from neighboring pixels in each pixel. The edge strength E is generally normalized to a value between 0 and 1.
[0030]
FIG. 7 is a flowchart showing details of step S4, and FIG. 8 is a block diagram showing details of the similar image search unit V4 and connections with peripheral blocks. The similar image search unit V4 includes a weight setting unit V41, a similarity calculation unit V42, an overall similarity calculation unit V43, and a comparison unit V44. The weight setting unit V41 includes, for example, a display unit V5 that can be realized by the
[0031]
First, in step S401, a key image is designated. This can be realized by causing the key image feature input unit V41a to give the key image designation command A1 to the data storage unit V0 by the user operating the input unit V6. When selecting a key image, a procedure may be used in which a plurality of images are displayed on the display unit V5, and the user designates from these images. In this case, it is also desirable to cause the display unit V5 to display a catalog of a plurality of images, for example, reduced images, in advance from the data storage unit V0 before the key image designation command A1 is given to the data storage unit V0. One.
[0032]
In step S402, the feature amount for the specified key image is loaded, and in step S403, the weight for each feature amount is calculated from the feature amount for the key image. This can be realized by inputting the feature amount A2 for the key image from the data storage unit V0 to the weight calculation unit V41b, and the weight calculation unit V41b outputs, for example, a color weight Wc and a texture weight Wt. In view of performing step S402, it is desirable to execute step S3 in advance before executing step S4 in the flowchart shown in FIG.
[0033]
For example, the feature value A2 for the key image is the average value C of the saturation.0, Peak value P of spectrum image0, Edge strength E0For example, the color weight Wc and the texture weight Wt are, for example, Wc = 1 + Kc · C.0, Wt = 1 + Kp · P0+ Ke · E0As determined. Therefore, the average value C of the saturation of the key image0The color weight Wc increases as the value of C increases.0, Edge strength E0The larger the is, the larger the texture weight Wt is set. In other words, if the weight ratio Wc / Wt is taken, the periodicity of the texture and the strength of the edge are not so strong but increase in the key image with high saturation, and conversely, the saturation is not high, but the periodicity of the texture and the edge The key image with high strength becomes small. The coefficients Kc, Kp, and Ke are set as appropriate to adjust the dynamic range of the feature value.
[0034]
In step S404, weights are displayed. The user who visually recognizes this has the option of adopting the weight or resetting it to an arbitrary value with reference to this weight. This can be realized by transmitting the weights Wc and Wt to the display unit V5 and accepting the weights Wc and Wt or changing the settings by the input unit V6.
[0035]
In step S405, the record pointer of the storage area storing the image to be searched is moved to the top. Thereafter, the similarity is sequentially obtained for the search target images, and the similarity with the key image is checked. In FIG. 8, this corresponds to the initialization of the record pointer in the data storage unit V0.
[0036]
In step S406, the feature amount of the search target image is loaded. This can be realized by inputting the feature amount A3 of the search target image from the data storage unit V0 to the similarity calculation unit V42. In step S407, the similarity is calculated from the feature amount A2 of the key image and the feature amount A3 of the search target image. For this reason, the feature amount A2 of the key image is also input to the similarity calculation unit V42.
[0037]
For the similarity, for example, a color similarity Rc and a texture similarity Rt are obtained separately, for example. The color similarity Rc is, for example, the average value C of the saturation of the key image.0And the average value C of the saturation of the image to be searchedj (J = 1, 2,...), And the texture similarity Rt is, for example, the peak value P of the spectrum image of the key image.0, Edge strength E0And the peak value P of the spectrum image of the image to be searchedj, Edge strength EjIt is demanded from.
[0038]
In step S408, the total similarity is calculated. The total similarity is a single index obtained on the basis of a plurality of similarities such as a color similarity and a texture similarity. In this case, the weight obtained in step S403 is considered. That is, the higher the weight similarity, the higher the contribution rate to the overall similarity. For example, the total similarity is defined as Ra = Σ (Wk · Rk) / ΣWk. Here, k represents the type of similarity, Wk represents the weight for the k-th feature amount for the key image, Rk represents the similarity for the k-th feature amount between the key image and the search target image, Σ represents the sum for parameter k.
[0039]
This is realized by obtaining the total similarity Ra as (WcRc + WtRt) / (Wc + Wt) from the color weight Wc and the texture weight Wt and the color similarity Rc and the texture similarity Rt in the total similarity calculation unit V43. it can.
[0040]
In step S409, it is determined whether or not the overall similarity is larger than a predetermined threshold value. If the total similarity is large, it is determined that the key image is similar to the search target image, and the search target is determined in step S410. The image of is displayed. This can be realized by the comparison unit V44 comparing the threshold value TH with the overall similarity Ra, and giving a display command D1 to the display unit V5 when Ra> TH. However, in FIG. 8, in order to avoid complication, a path through which image data is transmitted from the data storage unit V0 to the display unit V5 is omitted.
[0041]
If the total similarity is less than or equal to the predetermined threshold value in step S409, if
[0042]
If the search for all the images to be searched has already been finished in step S411, the process of step S4 is finished.
[0043]
As described above, according to the present invention, the weight of the feature amount is uniquely obtained for the key image based on the feature amount of the key image, while the similarity with the key image is obtained for each feature amount for each image to be searched. . Then, the total similarity is obtained based on the weight specific to the feature amount of the key image and the similarity of the feature amount with respect to the key image of the search target image. Therefore, it is not necessary for the user to set the weight by trial and error, and a desired similar image can be searched with a small number of searches.
[0044]
In the above description, step S403 may be omitted and weight setting may be performed automatically, or a step may be added in which the user can set a threshold before proceeding to step S406 and subsequent steps.
[0045]
Further, the weight may be set as follows. That is,
Wc = Kc · C0 (Kc · C0> 1),
Wc = 1 (Kc · C0<1),
Wt = Kp · P0+ Ke · E0 (Kp · P0+ Ke · E0> 1),
Wt = 1 (Kp · P0+ Ke · E0<1)
It is.
[0046]
If set as described above, weighting is performed only when the feature amount is large to some extent, while any feature amount C0, P0, E0Is also small, Wc = Wt = 1, and no difference is caused between the weights. Therefore, in the case where the feature amount is small and it cannot be said that the feature amount of the image represents the feature of the image, there is no meaningless weighting, and thus the possibility that an unintended image is searched is also avoided. it can.
[0047]
In the above embodiment, the image is searched by comparing the overall similarity with a predetermined threshold value, but all images may be displayed in order from the image with the highest overall similarity. FIG. 9 is a flowchart showing this operation. Compared to the flowchart shown in FIG. 7, step S413 is provided instead of steps S409 and S410, and step S414 that is executed when “NO” is determined in step S411 is added.
[0048]
In step S413, the total similarity is stored. Therefore, until it is determined as “NO” in step S411, the total similarity obtained in step S408 is stored for all the images to be searched. In step S414, the search target image is preferentially displayed in the order of the overall similarity, for example, those having a higher overall similarity.
[0049]
FIG. 10 is a block diagram showing functions for realizing the flowchart shown in FIG. The similar image search unit V4 gives the overall similarity to the data storage unit V0 in order to execute step S413. The data storage unit V0 stores the total similarity in association with the image data having the feature amount that is the basis for the total similarity. The overall similarity can be stored in, for example, the
[0050]
Further, the similar image search unit V4 specifies the overall similarity instead of specifying the image to be displayed in order to execute step S414. The data storage unit V0 provides image data corresponding to the designated overall similarity for display on the display unit V5.
[0051]
FIG. 11 is a block diagram showing details of the similar image search unit V4 shown in FIG. 10 and connections with peripheral blocks. 8 has a configuration in which the comparison unit V44 is replaced with an overall similarity designation unit V45. The overall similarity designation unit V45 gives an instruction D3 for designating the overall similarity to the data storage unit V0. At this time, the total similarity specifying unit V45 itself stores the total similarity for all the search target images in advance in, for example, the
[0052]
Further, the search target images to be displayed may be limited to a predetermined number or all of them may be displayed. Since the process of rearranging and displaying the image data based on a certain index as in the process of step S414 is a known technique, details thereof are not shown here.
[0053]
The flowchart shown in the above description is realized by the
[0054]
【The invention's effect】
Of the present invention, the image comparison apparatus according to
In addition, when there is no distinctive feature amount, all feature amounts can be searched equally.
[0055]
Of the present invention, an image comparison apparatus according to
[0057]
Claim of the invention3Image comparison apparatus and claim6According to the image comparison method, since the user can set the weighting again while referring to the automatically set weighting, the degree of freedom of the search condition is increased.
[0058]
Claim of the invention7According to the recording medium,While the weight of the feature amount is uniquely obtained for the reference image based on the feature amount of the reference image, the computer calculates the similarity with the reference image for each search target image for each feature amount. Therefore, since the computer calculates the total similarity based on the weighting specific to the feature amount of the reference image and the similarity of the feature amount of the search target image to the reference image, the user sets the weight by trial and error. No need,This can contribute to efficient determination of image similarity.
Further, when there are no distinctive features in the feature amount, the computer can be made to search equally for all feature amounts.
[Brief description of the drawings]
FIG. 1 is a conceptual diagram showing a configuration of a similar image detection system according to the present invention.
FIG. 2 is a block diagram illustrating the configuration of the embodiment according to the present invention.
FIG. 3 is a flowchart showing the operation of the embodiment according to the present invention.
FIG. 4 is a block diagram illustrating the configuration of the embodiment according to the present invention.
FIG. 5 is a flowchart showing the operation of the embodiment according to the present invention.
FIG. 6 is a block diagram illustrating the configuration of the embodiment according to the present invention.
FIG. 7 is a flowchart showing the operation of the embodiment according to the present invention.
FIG. 8 is a block diagram illustrating the configuration of the embodiment according to the present invention.
FIG. 9 is a flowchart showing a modification operation of the embodiment according to the present invention.
FIG. 10 is a block diagram illustrating a modified configuration of the embodiment according to the present invention.
FIG. 11 is a block diagram illustrating a modified configuration of the embodiment according to the present invention.
[Explanation of symbols]
V0 data storage unit, V3 feature quantity calculation unit, V33 feature quantity calculation unit, V4 similar image search unit, V41 weight setting unit, V42 similarity calculation unit, V43 total similarity calculation unit, V44 comparison unit, V45 total similarity designation Part, V5 display part, V6 input part, Wc color weight, Wt texture weight, Rc color similarity, Rt texture similarity, Ra total similarity, TH threshold.
Claims (7)
複数の特徴量を、前記検索対象画像及び前記基準画像について求める特徴量算出手段と、
前記基準画像の前記複数の特徴量から、前記複数の特徴量の各々についての重み付けを設定する重み付け設定手段と、
前記基準画像に対する前記検索対象画像の類似度を、前記複数の特徴量ごとに求める類似度算出手段と、
前記類似度及び前記重み付けから、前記基準画像に対する前記検索対象画像の総合類似度を求める総合類似度算出手段とを備え、
前記重み付け設定手段は、前記複数の特徴量のいずれもが所定値よりも低い場合において、前記重み付けをいずれの前記複数の特徴量に対しても等しく設定する、画像比較装置。An image comparison device that compares a plurality of search target images with a reference image,
A feature amount calculating means for obtaining a plurality of feature amounts for the search target image and the reference image;
Weight setting means for setting a weight for each of the plurality of feature amounts from the plurality of feature amounts of the reference image;
Similarity calculating means for determining the similarity of the search target image with respect to the reference image for each of the plurality of feature amounts;
Comprehensive similarity calculation means for obtaining an overall similarity of the search target image with respect to the reference image from the similarity and the weighting ,
The weighting setting unit is an image comparison device that sets the weighting equally for any of the plurality of feature amounts when any of the plurality of feature amounts is lower than a predetermined value .
を更に備える、請求項1記載の画像比較装置。The image comparison apparatus according to claim 1, further comprising a comparison unit that compares the total similarity with a predetermined threshold and obtains a similar image similar to the reference image from the search target image.
前記重み付けを外部から修正する重み付け修正手段と Weight correction means for correcting the weight from outside;
を更に備える、請求項1または2に記載の画像比較装置。The image comparison apparatus according to claim 1, further comprising:
(a)前記コンピュータが、複数の特徴量を、前記検索対象画像及び前記基準画像について求め、特徴量格納部に保存する工程と、 (A) The computer obtains a plurality of feature amounts for the search target image and the reference image and stores them in a feature amount storage unit;
(b)前記コンピュータが、前記基準画像の前記複数の特徴量を前記特徴量格納部からロードし、前記複数の特徴量の各々についての重み付けを設定する工程と、 (B) the computer loading the plurality of feature amounts of the reference image from the feature amount storage unit, and setting a weight for each of the plurality of feature amounts;
(c)前記コンピュータが、前記基準画像に対する前記検索対象画像の類似度を、前記複数の特徴量ごとに求める工程と、 (C) the computer obtaining a similarity of the search target image with respect to the reference image for each of the plurality of feature amounts;
(d)前記コンピュータが、前記類似度及び前記重み付けから、前記基準画像に対する前記検索対象画像の総合類似度を求める工程とを備え、 (D) The computer includes a step of obtaining a total similarity of the search target image with respect to the reference image from the similarity and the weighting,
前記工程(b)において、前記コンピュータは、前記複数の特徴量のいずれもが所定値よりも低い場合には、前記重み付けをいずれの前記複数の特徴量に対しても等しく設定する、画像比較方法。 In the step (b), when all of the plurality of feature amounts are lower than a predetermined value, the computer sets the weighting equally for any of the plurality of feature amounts. .
を更に備える、請求項4記載の画像比較方法。The image comparison method according to claim 4, further comprising:
(g)前記コンピュータが、前記重み付けに対するユーザからの設定変更を受け付ける工程とを、 (G) the computer receiving a setting change from the user for the weighting;
前記工程(b)と工程(d)の間で更に備える、請求項4または5に記載の画像比較方法。The image comparison method according to claim 4, further comprising between step (b) and step (d).
前記プログラムは、前記コンピュータに、 The program is stored in the computer.
(a)複数の特徴量を、前記検索対象画像及び前記基準画像について求め、特徴量格納部に保存する工程と、 (A) obtaining a plurality of feature quantities for the search target image and the reference image and storing them in a feature quantity storage unit;
(b)前記基準画像の前記複数の特徴量を前記特徴量格納部からロードし、前記複数の特徴量の各々についての重み付けを設定する工程と、 (B) loading the plurality of feature quantities of the reference image from the feature quantity storage unit, and setting weights for each of the plurality of feature quantities;
(c)前記基準画像に対する前記検索対象画像の類似度を、前記複数の特徴量ごとに求める工程と、 (C) obtaining a similarity of the search target image with respect to the reference image for each of the plurality of feature amounts;
(d)前記類似度及び前記重み付けから、前記基準画像に対する前記検索対象画像の総合類似度を求める工程とを実行させ、 (D) performing a step of obtaining an overall similarity of the search target image with respect to the reference image from the similarity and the weighting;
前記工程(b)において、前記プログラムは、前記コンピュータに、前記複数の特徴量のいずれもが所定値よりも低い場合には、前記重み付けをいずれの前記複数の特徴量に対しても等しく設定させる、 In the step (b), the program causes the computer to set the weighting equally for any of the plurality of feature amounts when any of the plurality of feature amounts is lower than a predetermined value. ,
コンピュータ読み取り可能な記録媒体。Computer-readable recording medium.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21885498A JP3812161B2 (en) | 1998-08-03 | 1998-08-03 | Image comparison apparatus, image comparison method, and recording medium |
US09/365,184 US6463432B1 (en) | 1998-08-03 | 1999-08-02 | Apparatus for and method of retrieving images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21885498A JP3812161B2 (en) | 1998-08-03 | 1998-08-03 | Image comparison apparatus, image comparison method, and recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000048181A JP2000048181A (en) | 2000-02-18 |
JP3812161B2 true JP3812161B2 (en) | 2006-08-23 |
Family
ID=16726374
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP21885498A Expired - Fee Related JP3812161B2 (en) | 1998-08-03 | 1998-08-03 | Image comparison apparatus, image comparison method, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3812161B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011022943A (en) * | 2009-07-17 | 2011-02-03 | Canon Inc | Image processor and control method thereof |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4063486B2 (en) | 2000-09-06 | 2008-03-19 | 日本電気株式会社 | Image search apparatus and method, and storage medium storing image search program |
JP2002091977A (en) * | 2000-09-20 | 2002-03-29 | Kitagawa Ind Co Ltd | Computer and information system |
KR100788643B1 (en) | 2001-01-09 | 2007-12-26 | 삼성전자주식회사 | Image retrieval method based on combination of color and texture |
JP3948249B2 (en) | 2001-10-30 | 2007-07-25 | 日本電気株式会社 | Similarity determination apparatus, similarity determination method, and program |
JP2007257465A (en) | 2006-03-24 | 2007-10-04 | Fujifilm Corp | Image display device, method, and program |
JP2008217428A (en) * | 2007-03-05 | 2008-09-18 | Fujitsu Ltd | Image search program, method and apparatus |
JP5430243B2 (en) * | 2009-06-17 | 2014-02-26 | キヤノン株式会社 | Image search apparatus, control method therefor, and program |
CN103650512B (en) * | 2011-07-12 | 2017-04-19 | 英特尔公司 | Luma-based chroma intra prediction |
-
1998
- 1998-08-03 JP JP21885498A patent/JP3812161B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011022943A (en) * | 2009-07-17 | 2011-02-03 | Canon Inc | Image processor and control method thereof |
Also Published As
Publication number | Publication date |
---|---|
JP2000048181A (en) | 2000-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3747589B2 (en) | Image feature amount comparison device and recording medium storing image feature amount comparison program | |
JP4074366B2 (en) | Image search apparatus and method, and recording medium storing image search program | |
US7869658B2 (en) | Representative image selection based on hierarchical clustering | |
US8094935B2 (en) | Representative color extracting method and apparatus based on human color sense and data histogram distributions | |
JP4214568B2 (en) | Image data sequential display device, image data sequential display method, and recording medium | |
US7672977B2 (en) | Image reproducing apparatus, method of controlling same and control program therefor | |
JP3812161B2 (en) | Image comparison apparatus, image comparison method, and recording medium | |
US7542984B2 (en) | Database system for control data storage | |
US8717286B2 (en) | Information processing apparatus, processing method thereof, and computer-readable storage medium | |
US8630527B2 (en) | Image editing apparatus and method for controlling the same, and storage medium storing program | |
US8031226B2 (en) | Image output apparatus, image output method, image output program, image trimming apparatus, image trimming method, and image trimming program | |
JP2007325008A (en) | Device, method, and program for displaying image | |
JP5336759B2 (en) | Image output apparatus and image output method | |
JP2007219761A (en) | Image classification display device and image classification display program | |
JP2000298679A (en) | Information processor arranging plural object on map and its object arranging method | |
JP3671691B2 (en) | Similar image retrieval device, similar image retrieval method, and recording medium | |
JP2010250634A (en) | Image server, image retrieval system, image retrieval method, and index creation method | |
JP6677593B2 (en) | Image processing apparatus and control method thereof | |
JP3684148B2 (en) | Image processing method and apparatus, and storage medium | |
JP2000099531A (en) | Information processor | |
JP2001016470A (en) | Image processor | |
US20070002339A1 (en) | Image processing apparatus and image processing method | |
JPH10198689A (en) | Information processing device and recording medium | |
JP5298484B2 (en) | Document processing device | |
JP3198942B2 (en) | Information processing device and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050614 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050701 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060411 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060522 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090609 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100609 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110609 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120609 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130609 Year of fee payment: 7 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |