JPH04348474A - 画像データベースの管理・検索装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、各種画像データを管理
・分類・検索する装置に関し、特に、キーワードやイン
デックスを作成しなくても、対話的に、しかも必要に応
じて様々な観点から画像データを管理・分類・検索する
ことができる画像データベースの管理・検索装置に関す
る。

【０００２】

【従来の技術】画像データの内容を自動的に抽象化する
ことは技術的に困難な状況にある。そのため、画像デー
タベースシステムにおいては、例えば特開平２−１２７
７７１に開示されているように、利用者がデータ登録時
に利用目的に応じて任意に検索用のキーワード又はイン
デックスを作成し、検索時にこのキーワード等に基づい
てデータを引き出すのが一般的である。

【０００３】

【発明が解決しようとする課題】しかしながら、上記の
ようにキーワード等を用いる場合は、ある観点から見る
と似ている画像データに対して全く異なるキーワードが
付与されていたり、逆に似ていないのに同じキーワード
が付与されていたりすることがしばしばあり、又、キー
ワード登録時に想定していなかった観点からはデータを
検索することができないという欠点がある。このことは
即ち、画像データは、登録時にキーワード作成者によっ
て分類されるが、検索時にもこの分類を基にデータを取
り出すことしかできないということであり、極めて限定
された利用しかできないという問題がある。

【０００４】本発明は、前記従来の問題点を解決するべ
くなされたもので、画像データを検索の方法を限定せず
に登録し、検索時には利用者の目的に応じた様々な観点
からそのデータを分類し、目的の画像データを取り出す
ことができる画像データベースの管理・検索装置を提供
することを課題とする。

【０００５】

【課題を解決するための手段】本発明は、各画像データ
について画像から高次元特徴量を抽出する特徴抽出部と
、抽出した高次元特徴量と対応する画像データとを組合
せて登録するデータ記憶部と、利用者の指示に基づいて
高次元特徴量を低次元特徴量に変換する特徴変換部と、
上記低次元特徴量の分布を表示する表示部とを備えてい
ることにより、前記課題を達成したものである。

【０００６】

【作用】本発明においては、登録時に、各画像データに
対して、画像から抽出した高次元の特徴量を組合せて登
録・管理すると共に、検索時には、高次元特徴量を利用
者の目的に応じた低次元特徴量に変換し、その低次元特
徴空間における画像データの分布を視角的に利用者に提
示するようにしたので、利用者が上記特徴空間上の位置
として画像データ又は画像の特徴を指示することにより
、様々な観点から画像データを分類し、目的の画像デー
タを取り出すことが可能となる。

【０００７】又、画像データを連続空間である高次元特
徴空間上の点として管理しているため、検索時に低次元
特徴空間への変換とその空間の分割の仕方を変えるだけ
で様々な観点からの分類が可能となる。従って、画像デ
ータの登録時には、その画像データに対してキーワード
を付与する作業は不要となる。又、画像をキーワードで
はなく特徴量そのもので利用者が指示できるため、言語
では表現し難い画像の特徴による検索が可能となる。更
に、特徴量の抽出はデータ登録時に行い、検索時にはそ
の変換のみを行えば良いため、検索時の計算量は小さく
てすむ利点もある。

【０００８】

【実施例】以下、図面を参照して、本発明の実施例を詳
細に説明する。

【０００９】図１は、本発明の一実施例の画像データベ
ースの管理・検索装置を示す概略構成図である。

【００１０】本実施例の画像データベースの管理・検索
装置は、画像データの画像から高次元特徴量を抽出する
ことができる特徴抽出部１０と、該特徴抽出部１０で求
めた高次元特徴量を、対応する画像データと組合せて登
録・管理するデータ記憶部１２と、該データ記憶部１２
から高次元特徴量を引き出し、それを低次元特徴量に変
換する特徴変換部１４と、変換された低次元特徴量の分
布を表示する表示部１６とを備えている。そして、利用
者が、上記表示部１６を見ながら、キーボード、マウス
等の利用者指示部１８を介して上記特徴変換部１４に変
換の指示が可能になっている。

【００１１】次に、本実施例の作用を説明する。

【００１２】本実施例は、人間が眼で見たときの、似て
いる、似ていないという感覚に一致した画像の分類を目
的としている。

【００１３】なお、同じ構成のままで各部分の方式を変
えれば、他の目的に対しても適用できる。

【００１４】上記特徴抽出部１０における特徴抽出の方
法としては、神経生理学における視覚系の特徴抽出細胞
の仕組みを応用する。具体的には、下に詳述する「Ｎ次
自己相関マスクによる図形の特徴抽出」（電子通信学会
技報ＰＲＬ７８−３１）に述べられている大津らによる
、２５種類のマスクパターンを用いて２５個のＮ次自己
相関を求める方法を利用した。この方法は、上記特徴抽
出細胞の仕組みを数学的に整理したものになっていると
考えられるため、この方法を採用した。

【００１５】上記２５種類のマスクパターンは、以下の
ようにして作成する。

【００１６】Ｎ次自己相関関数を、Ｎ個の変位ａ１、・
・・ａＮに対して次の（１）式で定義する。

【００１７】

【数１】

【００１８】又、実際的な応用を図るために、Ｎ次自己
相関関数の選び方を系統的に行い、第２図に示すように
、変位ベクトルａ１、・・・ａＮの範囲を局所的な３×
３格子上の８方向に限定した。この場合の最高次数はＮ
＝８である。

【００１９】上記３×３の格子上に配置されたＮ＋１点
に対応する図形の値の積が（１）式のように積分される
が、これは、３×３のマスクで図形上を走査することに
より得られる。

【００２０】３×３の全てのマスクは、単純に考えると
、このままでは２の８乗＝２５６種類であるが、マスク
上のＮ＋１点の配置を一様に平行移動して重なり合うマ
スクは互いに同値であり、同値類として１つで代表させ
ることにより、少数の独立のマスクに簡約できる。この
ように簡約したマスクのうち、０次、１次、２次のもの
を示したのが図３であり、０次、１次及び２次は、前記
（１）式で右辺が１項のみ、２項（ａ１）迄及び３項（
ａ２）迄にそれぞれ対応している。

【００２１】又、上記０次、１次及び２次に対応するマ
スクの種類は、それぞれ１、４及び２０であり、合計２
５種である。なお、本実施例では、マスクの種類を２次
迄としたが、３次以上にすることもできる。

【００２２】まず、画像データを上記データ記憶部１２
に登録する時には、特徴抽出部１０で、入力された画像
データから上記マスクパターンに対応する２５個の実数
特徴量を抽出し、画像データと共にデータ記憶部１２に
記録される。

【００２３】上記表示部１６では、ＣＲＴ画面上で、２
次元特徴量を画像データの単位を縮小した画像であるア
イコンの位置として表示する。なお、３次元グラフィッ
ク等の手法を用いれば３次元以上の特徴量の表示も可能
である。

【００２４】又、特徴変換部１４では、特徴抽出部１０
で得られ、データ記憶部１２に記録されている２５次元
の特徴量を、検索時に検索の目的に応じた２次元の特徴
量に変換する。

【００２５】本実施例ではこの変換を線形変換により行
った。この線形変換により、２５次元空間のある方向か
ら見た平面を取出すことができる。

【００２６】即ち、第ｋ　番の画像データと共に記憶さ
れた特徴量ｆｋｉ（ｉ　＝１，・・・，２５）から、変
換後の特徴量Ｙｋｊ（ｊ　＝１，２）を、次の（２）式
で計算する。

【００２７】

【数２】

【００２８】変換の係数ａｉ（ｉ　＝１，・・・，２５
）の設定は主成分分析により行った。ｆｋｊ　の分散共
分散行列Ｓを、次の（３）式とする。

【００２９】

【数３】

【００３０】ここで、Ｓｉｊは共分散で、次の（４）式
で表わされる。

【００３１】

【数４】

【００３２】ここで、ｆｉ′は平均で、ｆｊ′は次の（
５）式である。

【００３３】

【数５】

【００３４】なお、Ｎは記録されている画像データの数
である。行列Ｓの大きい方からｐ　番目の固有値に対す
る固有ベクトルを｛ａ　１　（ｐ）　，・・・，ａ　２
５（ｐ）　｝としたとき、次の（６）式が第ｐ　主成分
である。

【００３５】

【数６】

【００３６】この主成分のうち２個、例えば、第１主成
分と第２主成分を選び、２次元の特徴とする。

【００３７】上述の主成分分析による方法は、データの
分布がつかみ易い変換係数が得られるという特徴がある
。例えば画像データが最も分散して広がっている方向を
取出すことができ、画像データの分散が掴み易く、検索
が容易となる。なお、特徴量変換の方法としては、この
他に、学習により利用者に役立つ変換を生成できるニュ
ーラルネットワーク等を用いてもよい。

【００３８】上記特徴変換部１４で得られた２次元特徴
量の分布は、表示部１６の画面上に表示される。利用者
指示部１８では、表示部１６の表示画面上で、利用者が
マウス等のポインティングデバイス（利用者指示部）１
８によって目的の画像を指示したり、変換された２次元
特徴空間上で更に詳しく検索したい部分空間を指示した
りする。本実施例によって表示される表示部１６の画面
例を、図４〜図６に示す。

【００３９】図４は、各種金属材料の組織写真を登録し
たデータベースにおいて、特徴変換部１４で第１主成分
と第２主成分を計算し、表示部１６のＸ座標とＹ座標に
対応させて表示したところである。眼で見て似ている画
像は表示画面上で近い位置にかたまっているのが分かる
。

【００４０】この図４に矢印と共に示してある線は、利
用者がマウスによって粒子画像（アイコンＡ）が固まっ
ている部分を囲み、その範囲内を更に詳しく検索しよう
としている状態を示したものである。

【００４１】図５は、各種図形の画像を登録したデータ
ベースにおいて、特徴変換部１４で第２主成分と第１主
成分を計算し、表示部１６のＸ座標とＹ座標に対応させ
て表示したところである。円形、三角形、十字の３種類
の図形がうまく分離できているのが分かる。

【００４２】図４は、各種の縞模様の画像を登録したデ
ータベースにおいて、特徴変換部１４で第３主成分と第
４主成分を計算し、表示部１６のＸ座標とＹ座標に対応
させて表示したところである。縞模様の方向性と縞の密
度によって画面上での異なる位置に分布しているのが分
かる。

【００４３】以上、本発明について具体的に説明したが
、本発明は、前記実施例に示したものに限定されるもの
でない。

【００４４】例えば、画像データからの高次元特徴量の
抽出は、前記のＮ次自己相関を求める方法に限定される
ものでない。

【００４５】

【発明の効果】前述した通り、本発明によれば、画像デ
ータの検索の方法を限定せずに登録し、検索時には利用
者の目的に応じた様々な観点からそのデータを分類し、
目的の画像データを取り出すことが可能となる。

【図面の簡単な説明】

【図１】図１は、本発明の一実施例の画像データベース
の管理・検索装置を示す概略構成図である。

【図２】図２は、高次元特徴量を抽出する方法の説明図
である。

【図３】図３は、高次元特徴量を抽出するマスクを示す
説明図である。

【図４】図４は、本発明の実施例における表示画面の一
例を示す概略説明図である。

【図５】図５は、本発明の実施例における表示画面の他
の一例を示す概略説明図である。

【図６】図６は、本発明の実施例における表示画面の更
に他の一例を示す概略説明図である。

【符号の説明】

１０…特徴抽出部、 １２…データ記憶部、 １４…特徴変換部、 １６…表示部、 １８…利用者指示部。

Claims (1)

【特許請求の範囲】
1. 【請求項１】各画像データについて画像から高次元特徴
   量を抽出する特徴抽出部と、抽出した高次元特徴量と対
   応する画像データとを組合せて登録するデータ記憶部と
   、利用者の指示に基づいて高次元特徴量を低次元特徴量
   に変換する特徴変換部と、上記低次元特徴量の分布を表
   示する表示部と、を備えていることを特徴とする画像デ
   ータベースの管理・検索装置。