JP3764364B2 - 画像特徴点検出方法、画像処理方法、及びプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、画像中の被写体の変化やコーナーを検出する画像処理方法及び装置、画像特徴点検出方法及びプログラム、並びに位置指定支援方法及びプログラムに関する。
【０００２】
【従来の技術】
カメラで撮影された画像を利用して監視や検査を実現する手法として、背景差分法が知られている。これは、予め撮影しておいた背景画像とカメラによる入力画像を比較することで、簡単に入力画像内での変化を検出する手法である。
【０００３】
背景差分法では、参照画像となる背景画像を予め撮影しておき、処理対象の画像を入力して参照画像と比較する。入力画像が図４０（ａ）、参照画像が図４０（ｂ）とすると、入力画像と参照画像の差分をとることによって、図４０（ｃ）に示す比較結果が得られる。図４０（ｃ）では、背景画像には存在しない、入力画像中の左上の変化が抽出されている。
【０００４】
また、画像から被写体のコーナーを検出する方法として、文献１“SUSAN-a new approach to low level image processing”,S. M. Steve and M. Brady(International Journal on Computer Vision, 23(1), pp. 45-78, 1997)、に開示されたＳＵＳＡＮオペレータが知られている。
【０００５】
【発明が解決しようとする課題】
背景差分法では画像上に現れる明度の変化をすべて対象として検出するため、入力画像上の背景領域で明度変化が起こるような環境では誤検出が生じるという問題点がある。また、処理対象の画像を入力するカメラがぶれた場合に生じる背景の平行移動に関しても、移動領域として抽出してしまうという問題点がある。
【０００６】
さらに、ＳＵＳＡＮオペレータと呼ばれる従来のコーナー検出方法では、コントラストがはっきりした画像でないと正しいコーナー検出ができず、またスポット状のノイズを誤検出してしまうという問題点がある。
【０００７】
本発明は上記のような従来技術の欠点を除去するためになされたもので、その目的は、入力画像上の背景領域での明度変化や入力画像全体への手ぶれによる影響等によらず、適切に被写体変化を検出できる画像処理方法及び装置を提供することにある。
【０００８】
また、本発明は入力画像のコントラストがはっきりせず、またスポット状のノイズがあるような場合でも、適切にコーナー検出を行うことができる画像処理方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決し目的を達成するために本発明に係る画像処理方法は、処理対象の入力画像から特徴量を抽出する第１の特徴量抽出ステップと、前記入力画像に対応して予め定められた参照画像から特徴量を抽出する第２の特徴量抽出ステップと、抽出された前記入力画像の特徴量と前記参照画像の特徴量とを比較する比較ステップとを有することを特徴とする。
【００１０】
また、本発明に係る画像処理装置は、処理対象の入力画像から特徴量を抽出する第１の特徴量抽出手段と、前記入力画像に対応して予め定められた参照画像から特徴量を抽出する第２の特徴量抽出手段と、抽出された前記入力画像の特徴量と前記参照画像の特徴量とを比較する比較手段とを有することを特徴とする。
【００１１】
また、本発明に係る画像特徴点検出方法は、処理対象の入力画像から、被写体の形状をなす点集合内の一点を該形状の特徴を表す特徴点として検出する画像特徴点検出方法において、前記被写体の少なくとも一部分を含む矩形からなる注目領域を前記入力画像上に配置するステップと、前記注目領域と相似の関係にある相似領域を、前記被写体の少なくとも一部分の画素データを用いる演算により探索する探索ステップと、前記相似領域から前記注目領域への写像、又は前記注目領域から前記相似領域への写像を計算するステップと、前記写像における固定点を前記特徴点として検出するステップとを有することを特徴とする。
【００１２】
また、本発明の位置指定支援方法は、処理対象の入力画像上における被写体の形状特徴を表す特徴点を、位置指定手段を用いて指定する際に適用される位置指定支援方法において、前記特徴点の近傍の一点を、前記位置指定手段を用いて指定するステップと、前記被写体の少なくとも一部分を含む矩形からなる注目領域を、前記位置指定手段による指定点を中心として配置するステップと、前記注目領域と相似の関係にある相似領域を、前記被写体の少なくとも一部分の画素データを用いる演算により探索する探索ステップと、前記相似領域から前記注目領域への写像、又は前記注目領域から前記相似領域への写像を計算するステップと、前記写像における固定点を前記特徴点として検出するステップと、前記位置指定手段による指定点を、検出された前記特徴点の位置に移動するステップとを有することを特徴とする。
【００１３】
また、本発明のプログラムは、処理対象の入力画像から特徴量を抽出する第１の特徴量抽出手順と、前記入力画像に対応して予め定められた参照画像から特徴量を抽出する第２の特徴量抽出手順と、抽出された前記入力画像の特徴量と前記参照画像の特徴量とを比較する比較処理とをコンピュータに実行させるプログラムである。
【００１４】
また、本発明のプログラムは、処理対象の入力画像から特徴量を抽出する第１の特徴量抽出手順と、前記入力画像に対応して予め定められた参照画像から特徴量を抽出する第２の特徴量抽出手順と、抽出された前記入力画像の特徴量と前記参照画像の特徴量の位置ずれを算出する位置ずれ算出手順と、算出された位置ずれに基づいて前記抽出された前記入力画像の特徴量及び前記参照画像の特徴量の相対位置を補正する位置補正手順と、前記相対位置が補正された後の前記入力画像の特徴量と前記参照画像の特徴量とを比較する比較手順とをコンピュータに実行させるプログラムである。
【００１５】
また、本発明のプログラムは、処理対象の入力画像から、被写体の形状をなす点集合内の一点を該形状の特徴を表す特徴点として検出するプログラムであって、前記被写体の少なくとも一部分を含む矩形からなる注目領域を前記入力画像上に配置する配置手順と、前記注目領域と相似の関係にある相似領域を、前記被写体の少なくとも一部分の画素データを用いる演算により探索する探索手順と、前記相似領域から前記注目領域への写像、又は前記注目領域から前記相似領域への写像を計算する計算手順と、前記写像における固定点を前記特徴点として検出する検出手順とをコンピュータに実行させるプログラムである。
【００１６】
また、本発明のプログラムは、処理対象の入力画像上における被写体の形状特徴を表す特徴点を、位置指定手段を用いて指定する際に適用されるプログラムであって、前記特徴点の近傍の一点を、前記位置指定手段を用いて指定する指定手順と、前記被写体の少なくとも一部分を含む矩形からなる注目領域を、前記位置指定手段による指定点を中心として配置する配置手順と、前記注目領域と相似の関係にある相似領域を、前記被写体の少なくとも一部分の画素データを用いる演算により探索する探索手順と、前記相似領域から前記注目領域への写像、又は前記注目領域から前記相似領域への写像を計算する計算手順と、前記写像における固定点を前記特徴点として検出する検出手順と、前記位置指定手段による指定点を、検出された前記特徴点の位置に移動する移動手順とをコンピュータに実行させるプログラムである。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
（第１実施形態）
図１（ａ）（ｂ）は、本発明の第１実施形態に係る画像処理装置の構成を示すブロック図である。図１（ａ）に示す画像処理装置において、画像入力部１は例えばビデオカメラや電子スチルカメラのような画像撮像装置から構成され、被写体の光学像を入力し、処理対象とする電子的な入力画像を生成する。
【００１８】
この画像入力部１から与えられる入力画像は、第１の特徴量抽出部２に入力され、その特徴量が抽出される。参照画像蓄積部３は、入力画像に対応して予め定められた参照画像、例えば画像入力部１によって以前に入力された画像（より詳しくは、同じ被写体を撮影して得られた画像）を蓄積している。この参照画像蓄積部３から入力画像に対応して読み出された参照画像は、第２の特徴量抽出部４に入力され、同様に特徴量が抽出される。
【００１９】
第１の特徴量抽出部２及び第２の特徴量抽出部４によってそれぞれ抽出された入力画像特徴量及び参照画像特徴量は、特徴量比較部５によって比較され、例えば両者の差分が求められる。特徴量比較部５の比較結果、例えば入力画像特徴量及び参照画像特徴量の差分画像は、画像表示装置や記録装置のような画像出力部６によって出力される。
【００２０】
図１（ｂ）は、図１（ａ）を変形した画像処理装置であり、図１（ａ）における参照画像蓄積部３及び第２の特徴量抽出部４に代えて、参照画像の特徴量を予め求めて蓄積した参照画像特徴量蓄積部７が用いられている。そして、この参照画像特徴量蓄積部７から入力画像に対応して読み出された参照画像が特徴量比較部５によって入力画像特徴量と比較される。
【００２１】
次に、図２に示すフローチャートを用いて本実施形態における画像処理の手順を説明する。
まず、処理対象の画像を例えばカメラによって入力する（ステップＳ１１）。次に、このステップＳ１１において入力した画像の特徴量を抽出する（ステップＳ１２）。この入力画像特徴量としては、画像の全体的な明度変化に関係しない特徴量として、入力画像の輪郭線（特に、入力画像中の被写体の輪郭線）を検出する。輪郭線を検出する方法としては、例えば、文献２「ＬＩＦＳを用いた被写体輪郭線の高精度な抽出」井田、三本杉、渡邊（電子情報通信学会論文誌、D-II, Vol. J82-D-II, No. 8, pp. 1282-1289, August 1998）による輪郭線抽出方法や、動的輪郭線を使うスネイク法など、既知の輪郭線抽出方法を用いることができる。
【００２２】
従来の技術での背景差分法の説明と同じく、図４０（ａ）に示した画像が入力されたとすると、ステップＳ１２では入力画像特徴量として、図３（ａ）に示されるように輪郭線が抽出される。参照画像についても入力画像と同様に、特徴量として参照画像中の被写体の輪郭線を抽出する（ステップＳ１３）。参照画像が図４０（ｂ）であるとすると、ステップＳ１３では参照画像特徴量として、図３（ｂ）に示されるように輪郭線が抽出される。
【００２３】
画像処理装置の構成が図１（ａ）の場合、ステップＳ１３の処理は第２の特徴量抽出部４によって行われるが、図１（ｂ）の場合には、ステップＳ１３の処理は参照画像特徴量蓄積部７に参照画像の特徴量を蓄積する段階で予め行われる。従って、ステップＳ１３の順序はステップＳ１１の前になることもあり得る。
【００２４】
次に、入力画像特徴量と参照画像特徴量を例えば両者の差分をとることによって比較し（ステップＳ１４）、その比較結果を画像として出力する（ステップＳ１５）。図３（ａ）の入力画像の輪郭線の画像と図３（ｂ）の参照画像の輪郭線の画像との比較結果である差分画像は、図３（ｃ）に示されるようになる。図３（ｃ）では、入力画像中の左上に存在する変化が抽出されている。
【００２５】
このように本実施形態では、入力画像と参照画像の比較対象として、明度変化の影響を大きく受ける画像の輝度そのものではなく、被写体の輪郭線を用いて、画像内の変化を検出したことにより、入力画像上の背景領域で明度変化が起こる場合でも、精度良く被写体の変化を検出することができる。
【００２６】
ステップＳ１２及びステップＳ１３での特徴量である輪郭線の抽出の際に、前述した文献２に記載された方法や、スネイク法を用いる場合には、はじめに被写体の概略形状を知ることが必要となる。そこで、参照画像については、手動操作などで概略形状を設定して輪郭線を抽出する。入力画像についても、手動操作で概略形状を設定して構わないが、その代わりに参照画像の輪郭線を概略形状として用いれば、手動操作を省けて便利である。
【００２７】
以下、参照画像の輪郭線を概略形状として入力画像の輪郭線を求める手順について図４を用いて説明する。まず、参照画像Ａに対して手動操作で被写体を囲むように概略形状Ｂを入力する（ステップＳ２１）。次に、この概略形状Ｂを示す枠の内側の被写体の輪郭線Ｃを参照画像の輪郭線として抽出する（ステップＳ２２）。次に、ステップＳ２２で抽出された参照画像の輪郭線Ｃを入力画像Ｄに対して入力し（ステップＳ２３）、参照画像の輪郭線Ｃの内側の入力画像Ｄの輪郭線Ｆを抽出する（ステップＳ２４）。そして、最後にステップＳ２２で抽出された参照画像の輪郭線ＣとステップＳ２４で抽出された入力画像の輪郭線Ｆを比較する（ステップＳ２５）。
【００２８】
このような画像処理方法によると、例えばカメラに写る画像に変化が生じた時に発報する監視システムにおいて、予め正常な状態の輪郭線を抽出して参照画像の輪郭線として保持しておき、一定の時間間隔で取得する入力画像からそれぞれ輪郭線を抽出して逐次正常な輪郭線と比較し、差があったときに発報するというシステムを自動化できる。
【００２９】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態における画像処理装置の構成は、第１の実施形態の図１に示した構成と同様である。処理手順も基本的には図２に示したフローチャートと同様である。入力画像及び参照画像からの特徴量の抽出手法が第１の実施形態とは異なる。
【００３０】
第１の実施形態においては、入力画像特徴量及び参照画像特徴量を抽出する際に、画像の全体的な明度変化に関係しない特徴量として、画像中の被写体の輪郭線を抽出した。これに対し、第２実施形態においては、特徴量として画像中のコーナーを抽出する。そして、抽出されたコーナーに基づいて画像内の被写体の変化を検出する。コーナーを検出する方法としては、後述する第５実施形態に記載の方法を利用することが好ましい。
【００３１】
また、コーナーを検出する他の方法としては、例えば、画像という２次元関数の曲率を表現するヘッセ行列の行列式を用いる方法、ノイズの影響を抑えたガウス曲率による方法、あるいは先の文献１“SUSAN-a new approach to low level image processing”,S. M. Steve and M. Brady(International Journal on Computer Vision, 23(1), pp. 45-78, 1997)に開示されたＳＵＳＡＮオペレータなど、既知の種々のコーナー検出方法を用いることができる。
【００３２】
第１の実施形態での説明と同様に入力画像が図４０（ａ）、参照画像が図４０（ｂ）であるとする。第２の実施形態では、図２の入力画像特徴量抽出ステップＳ１２及び参照画像特徴量抽出ステップＳ１３において、入力画像の特徴量として図５（ａ）に示すコーナーを、参照画像の特徴量として図５（ｂ）に示すコーナーをそれぞれ抽出する。
【００３３】
これらコーナ抽出により得られた入力画像特徴量と参照画像特徴量の差分を図２のステップＳ１４でとると、ステップＳ１５で出力される比較結果は図５（ｃ）となる。
【００３４】
このように本実施形態によると、入力画像及び参照画像の比較対象として被写体のコーナーを用いて入力画像内の変化を検出することにより、入力画像上の背景領域で明度変化が起こる場合でも、被写体の輪郭線を用いた場合と同様に、精度良く被写体の変化を検出することができる。
【００３５】
（第３の実施形態）
図６は、本発明の第３の実施形態に係る画像処理装置の構成を示すブロック図である。本実施形態の画像処理装置は、図１に示した第１の実施形態の画像処理装置に位置ずれ算出部８及び位置補正部９が追加された構成となっている。
【００３６】
位置ずれ算出部８は、第１及び第２の特徴量抽出部２，４においてそれぞれ抽出された入力画像特徴量と参照画像特徴量との相対的な位置のずれ量を算出する。位置補正部９は、位置ずれ算出部８によって算出されたずれ量を基に、入力画像特徴量と参照画像特徴量の少なくとも一方を補正する。例えば本実施形態では、位置ずれ補正部９は入力画像特徴量を補正対象とする。そして、位置補正後の入力画像特徴量と参照画像特徴量とが特徴量比較部５によって比較され、その比較結果が画像出力部６によって出力される。
【００３７】
図７に示すフローチャートを参照して、本実施形態における画像処理の手順っを説明する。本実施形態は、図２に示した第１の実施形態の画像処理手順に、入力画像と参照画像との相対的な位置のずれ量を算出するステップＳ１６と、ステップＳ１６で算出された位置のずれ量を基に入力画像特徴量の位置を補正するステップＳ１７が追加されている。
【００３８】
第１及び第２の実施形態では、図２における特徴量比較ステップＳ１５において入力画像特徴量と参照画像特徴量の差分を直接計算した。これに対して、本実施形態では特徴量を第２の実施形態で説明した被写体のコーナー部分とし、特徴量比較ステップＳ１５ではステップＳ１７で位置補正された後の入力画像特徴量と参照画像特徴量を比較する。
【００３９】
位置ずれ算出ステップＳ１６においては、入力画像特徴量抽出ステップＳ１２で抽出された入力画像のコーナー位置と、参照画像特徴量抽出ステップＳ１３で抽出された参照画像のコーナー位置について、予め指定しておいた基準のコーナー位置がどれだけ画像上でずれたかを算出する。もしくは、全てのコーナー位置から入力画像と参照画像のずれを算出する。位置補正ステップＳ１７では、位置ずれ算出ステップＳ１６で算出されたずれを基に、参照画像特徴量からの入力画像特徴量の位置ずれがなくなるように入力画像特徴量の位置を補正して入力画像を変換する。
【００４０】
このように本実施形態では、入力画像と参照画像との間に相対的な位置ずれがあっても、その位置ずれを補正して特徴量を比較することにより、被写体の変化を的確に検出することができる。
【００４１】
さらに、本実施形態によれば、参照画像として予め撮影しておいた背景画像でなく、動画像における入力画像の１フレーム前の画像を用いることにより、動画撮影時の手ぶれ補正を行うことも可能である。
【００４２】
（第４の実施形態）
次に、本発明の第４の実施形態を説明する。本実施形態における画像処理装置の構成は、第３の実施形態の図６に示した構成と同様であり、また処理手順も基本的には図７に示したフローチャートと同様であるが、具体的な処理の内容が第３の実施形態と異なっている。
【００４３】
第３の実施形態の説明では、図７のステップＳ１２及びＳ１３において入力画像特徴量及び参照画像特徴量として被写体のコーナーを抽出し、位置ずれ算出ステップＳ１６、位置補正ステップＳ１７及び特徴量比較ステップＳ１４の処理も全て被写体のコーナーについて行った。これに対して、第４の実施形態では第１の実施形態で説明した輪郭線画像の差分を用いて被写体の変化を検出する画像処理方法に、第３の実施形態で用いた被写体のコーナーのずれを利用する。
【００４４】
すなわち、入力画像のコーナーと参照画像のコーナーから算出された入力画像と参照画像の相対的な位置ずれを基に入力画像の輪郭線画像の位置を補正した後に、入力画像の輪郭線画像と参照画像の輪郭線画像の差分をとって被写体の変化を検出する。この場合、図７の入力画像特徴量抽出ステップＳ１２及び参照画像特徴量抽出ステップＳ１３では、入力画像及び参照画像から被写体のコーナーと輪郭線画像の二つの特徴量を抽出し、位置ずれ算出ステップＳ１６ではコーナーを用い、位置補正ステップＳ１７及び特徴量比較ステップＳ１４では、輪郭線画像を用いることになる。
【００４５】
従って、本実施形態によると、入力画像上の背景領域で明度変化が起こり、かつ、入力画像がぶれた場合でも、精度良く画像内の被写体の変化を検出することができる。
【００４６】
（第５の実施形態）
次に、本発明の第５の実施形態として、画像中から特徴量としてコーナーを検出する新規な手法について説明する。第３の実施形態や第４の実施形態における図７の入力画像特徴量抽出ステップＳ１２及び参照画像特徴量抽出ステップＳ１３で被写体のコーナーを検出する方法として、本実施形態では図８のフローチャートに示される手順を用いる。
【００４７】
図８は本発明の第５実施形態に係り、画像中のコーナーの頂点などの特徴点を検出する処理の概略手順を示すフローチャートである。先ず、ステップＳ１１では、ブロックＲを、特徴点がその近くにあると推定される位置に配置する。ブロックＲは、矩形の画像領域であり、その具体例は後述する。
【００４８】
例えば、動画像の場合には、過去に特徴点が存在した位置を中心にしてブロックＲを配置する。また、利用者が画像を目視しながら、おおよそのコーナーの頂点の位置を指定入力したときは、その位置を中心にしてブロックＲを配置する。あるいは、画面全体を特徴点の抽出対象とする場合は、逐次的に、複数のブロックＲを配置する。
【００４９】
次にステップＳ１２では、ブロックＲと相似なブロックＤを探索する。
【００５０】
ステップＳ１３では、ブロックＤからブロックＲへの写像における固定点を特徴点として決定する。
【００５１】
ここで、ブロックＲとブロックＤの例を図９に示す。この例では、ブロックＤとブロックＲは正方形であり、ブロックＤはブロックＲよりも大きい。黒丸は、ブロックＤからブロックＲへの写像において移動しない点すなわち固定点である。この固定点が画像のコーナーの頂点に一致する様子を図１０に示す。
【００５２】
図１０において、Ｗ１はブロックＲに、Ｗ２はブロックＤに相当する。コーナーが存在すると推定又は指定された位置をｐとし、このｐを中心としてブロックＷ１を配置した結果が図１０（ａ）である。ハッチングにより示す領域が被写体である。一般に、被写体の構成部分であるコーナーの頂点ｑは、ｐに対してずれている（但し、偶然一致することもある）。このブロックＷ１に対して、相似なブロックＷ２を探索して求めた結果を図１０（ｂ）に示す。ブロックＷ１とブロックＷ２の図柄が相似であることが見て分かる。
【００５３】
ここで、ブロックＷ２からブロックＷ１への写像を考えた時、その写像の固定点は図１０（ｃ）のように被写体のコーナーの頂点と一致する。写像の固定点は、幾何的には、ブロックＷ１とブロックＷ２との間で対応する頂点を結んで得られる少なくとも２つの直線の交点である。このように互いに相似なブロックの間の写像において、その固定点が被写体のコーナーの頂点と一致することを、写像の不変集合と関係付けて説明する。
【００５４】
図１１に、ブロックＤからブロックＲへの写像における固定点（黒丸）ｆと、不変集合（矢印のついた線）を示す。不変集合とは、この写像の前後で変化しない集合のことである。例えば、不変集合（この例では線）５１上の点に写像を施しても、該写像は必ず不変集合５１上のいずれかにある。図中の矢印は、写像によって点が移動する向きを示している。
【００５５】
そして、図１１に示すような不変集合の図形は、当該写像によって変化しない。また、図１１に示すような不変集合の任意部分を組み合わせて得られる図形も、当該写像によって変化しない。例えば、図１１に示される直線の中から幾本かを選んで構成した図形も写像によって変化しない。ここで、かかる構成図形をコーナーとした場合、その頂点は写像における固定点ｆと一致する。
【００５６】
従って、仮に図１０（ｂ）に示したブロックＤを縮小したものがブロックＲと全く同じ画像データである場合、被写体の輪郭線はこの写像の不変集合に含まれ、なおかつ、コーナーの頂点ｑは固定点ｆに一致する。
【００５７】
写像が例えばアフィン変換、すなわち、
ｘ＿ｎｅｗ＝ａ×ｘ＿ｏｌｄ＋ｂ×ｙ＿ｏｌｄ＋ｅ，
ｙ＿ｎｅｗ＝ｃ×ｘ＿ｏｌｄ＋ｄ×ｙ＿ｏｌｄ＋ｆ，
但し、
（ｘ＿ｎｅｗ，ｙ＿ｎｅｗ）：写像後の横座標と縦座標、
（ｘ＿ｏｌｄ，ｙ＿ｏｌｄ）：写像前の横座標と縦座標、
ａ，ｂ，ｃ，ｄ，ｅ，ｆ：変換係数
で表される場合、固定点の座標（ｘ＿ｆｉｘ，ｙ＿ｆｉｘ）は、
ｘ＿ｎｅｗ＝ｘ＿ｏｌｄ，ｙ＿ｎｅｗ＝ｙ＿ｏｌｄから、
ｘ＿ｆｉｘ＝{(d-1)×e - b×f}/{b×c - (a-1)×(d-1)}
ｙ＿ｆｉｘ＝{(a-1)×f - c×e}/{b×c - (a-1)×(d-1)}
として求めることができる。
【００５８】
図９の例は、ａ＝ｄ＜１，ｂ＝ｃ＝０の場合であり、ａとｂは、予め例えば１／２などに固定しておく。ここで、相似ブロックの探索は、ｅとｆの値を変化させながら、該ｅとｆの値によって仮に決まるブロックＤの画素値をサンプリングし、そのサンプリングした画像データとブロックＲの画像データとの誤差を求め、その誤差が小さくなるｅとｆの値の組を決定することにより行う。
【００５９】
なお、上記アフィン変換は、ブロックＤからブロックＲへの写像として説明した。ブロックＤの各画素の座標をブロックＲの座標から求めるときには、このアフィン変換の逆変換を用いればよい。
【００６０】
ブロックＲとブロックＤの縦横比が等しい場合に、特徴点を検出可能な被写体の複数の輪郭パターンの例を図１２に示す。写像の固定点として同図の白丸が求まる。これらはコーナーの頂点と一致している。このように、ブロックＲとブロックＤの縦横比が等しい場合には、任意の角度のコーナーの頂点を検出可能である。
【００６１】
なお、図１３に示すように、原理的には、ブロックＤはブロックＲより小さくても構わない。この場合の固定点の周囲の様子を図１４に示す。不変集合上の点は放射状に、外側に向かって移動するが、不変集合の全体形状は図１１と同じである。したがって、この場合に検出可能な特徴点（コーナーの頂点）は、やはり図１２に示すものと同様となる。このことから、本手法においては不変集合の形状そのものが重要である。不変集合上を移動する点の向きは、特徴点の検出能にはそれほど影響を及ぼさない。つまり、写像の向きはあまり重要ではない。
【００６２】
以上の説明では、ブロックＤからブロックＲへの写像を仮定したが、これとは逆のブロックＲからブロックＤへの写像においても、固定点は同じである。この場合の特徴点の検出手順を以下に説明する。
【００６３】
ここでは、前述のアフィン変換の係数を、ａ＝ｄ＞１，ｂ＝ｃ＝０とする。
【００６４】
図１５乃至図２０に、ブロックＲとブロックＤの縦横比が異なる例を示す。図１５は、ブロックＤが縦長の例である。この場合、不変集合は図１６のようになる。
【００６５】
図１６から分かるように、黒丸で示される固定点で交わる水平線と垂直線以外の不変集合（２次曲線）は、この固定点において、水平線と接している。但し、水平線は説明の便宜上、紙面横方向としている。後述する垂直線は紙面縦方向とする。
【００６６】
したがって、図１７に示すように、Ｕ字型の輪郭の頂点や、水平線と垂直線で形成される直角のコーナーを検出できる。図１７は代表的な例だけを示す。実際には、図１６に示した不変集合の任意の組み合わせで形成される図形上の特徴点を検出できる。例えば、図１７に示したＵ字とは曲率が異なる輪郭線や、逆Ｕ字型の輪郭、Ｌ字型の輪郭などが検出対象となる。この場合のアフィン変換の係数は、ｄ＜ａ＜１，ｂ＝ｃ＝０である。
【００６７】
他方、ブロックＤが横長の例を図１８に示す。ブロックＤを横長とした場合、図１９に示すように不変集合は固定点において垂直線と接するようになる。そして、検出可能な形状は図２０のようになる。尚、この場合のアフィン変換の係数は、ａ＜ｄ＜１，ｂ＝ｃ＝０である。
【００６８】
次に、ブロックＤの高さがブロックＲよりも高く、ブロックＤの幅がブロックＲよりも短い例を図２１に示す。この場合の不変集合は図２２のようになる。したがって、これにより検出可能な形状は、図２３のように、水平線と垂直線とによって形成される直角と、その頂点が鈍ったものとなる。この例では、直角以外（例えば４５度の角など）のコーナーは検出対象とはならない。
【００６９】
建物、窓枠、自動車などの人工物には直角の形状部分が多いが、これらのみを確実に検出したいような場合には、この図２１のようにブロックを設定するとよい。直角以外のコーナーの誤検出を回避できる。
【００７０】
画像を撮影する際に解像度が不十分であると、直角の先端が鈍ることがあるが、本例によれば、このように鈍った直角でも検出できることが有用である。尚、この場合のアフィン変換の係数は、ｄ＜１＜ａ，ｂ＝ｃ＝０である。
【００７１】
図２４は、図２１においてブロックＤを横方向に歪ませた例（斜方形）を示している。この場合の不変集合と検出可能な形状の例を、それぞれ図２５および図２６に示す。本例によれば、直角とは異なる角度のコーナーを検出できるようになる。これは、予め角度が分かっているコーナーを検出する場合に有効である。
【００７２】
例えば、予め傾きが与えられる２本の直線からなるコーナーにおいて特徴点を検出したいときのアフィン変換の係数ａ，ｂ，ｃ，ｄの決め方を説明する。この場合の変換式は次の、
ｘ＿ｎｅｗ＝ａ×ｘ＿ｏｌｄ＋ｂ×ｙ＿ｏｌｄ，
ｙ＿ｎｅｗ＝ｃ×ｘ＿ｏｌｄ＋ｄ×ｙ＿ｏｌｄ，
を考えれば十分である。
【００７３】
図２７に示すように、原点で交わる２本の直線（図では、傾きが２の直線とｘ軸（傾きはゼロ））を考え、それぞれの直線上に２点ずつ点Ｋ（Ｋｘ，Ｋｙ），点Ｌ（Ｌｘ，Ｌｙ）と、点Ｍ（Ｍｘ，Ｍｙ），点Ｎ（Ｎｘ，Ｎｙ）を配置する。そして、写像によってＫ点からＬ点に、Ｍ点からＮ点に写るとすると、上記変換式は以下のようになる。すなわち、
Ｌｘ＝ａ×Ｋｘ＋ｂ×Ｋｙ，
Ｌｙ＝ｃ×Ｋｘ＋ｄ×Ｋｙ，
Ｎｘ＝ａ×Ｍｘ＋ｂ×Ｍｙ，
Ｎｙ＝ｃ×Ｍｘ＋ｄ×Ｍｙ
この連立方程式を解くことにより、アフィン変換の係数ａ，ｂ，ｃ，ｄを求める。図２７では、Ｋ（２，４），Ｌ（１，２），Ｍ（１，０），Ｎ（２，０）であることから、ａ＝２，ｂ＝−３／４，ｃ＝０，ｄ＝１／２が求まる。
【００７４】
図２８は、ブロックＤをブロックＲに対して相対的に傾斜させた例を示している。この場合、不変集合は図２９のようになり、図３０に示すように渦巻き型の輪郭の頂点を検出できる。
【００７５】
また図３１は、ブロックＤをブロックＲに対して相対的に傾斜させ、かつブロックＲと同じ大きさにした例である。この場合の不変集合は、図３２に示すように、固定点を中心とする任意の円となる。従って、図３３に示したように、円の中心が固定点として検出される。
【００７６】
図３４は、ブロックＤの高さをブロックＲと等しくし、かつ、幅を長くした例を示す。この場合の不変集合は、図３５に示すように、１本の垂直線と任意の水平線となる。本例では、図３６に示すように画像の縦方向の境界線を検出できる。
【００７７】
以上述べた第５実施形態によれば、処理対象の入力画像から、被写体の形状をなす点集合内の一点を該形状の特徴を表す特徴点として検出するにあたって、被写体の少なくとも一部分を含む矩形からなる注目領域（ブロックＲ）を入力画像上に配置し、この注目領域と相似の関係にある相似領域（ブロックＤ）を、被写体の少なくとも一部分の画素データを用いる演算により探索する。相似領域から注目領域への写像、又は注目領域から相似領域への写像を計算し、この写像における固定点を特徴点として検出する。
【００７８】
このように矩形のブロック単位の相似関係を用いることで、コーナーの頂点などの様々な特徴点を検出できる。
【００７９】
なお、本発明は、特徴点検出の対象とする画像を、物理的な被写体を電子的に撮像して得た画像に限定するものではない。例えば、特徴点を識別するための情報が不明である場合、コンピュータ上で人工的に作成したグラフィック（図形）等の画像を対象としても本発明は有用である。この例においては、当該グラフィックを被写体として扱う。
【００８０】
（第６の実施形態）
第５の実施形態で説明したコーナー検出方法は、輪郭線の抽出に応用することができる。以下、本発明の第６の実施形態として、第５の実施形態のコーナー検出を用いた輪郭線の抽出方法について、図３７及び図３８を用いて説明する。図３７は本実施形態における輪郭線抽出のための画像処理の流れを示すフローチャートであり、図３８は図３７の各ステップでの処理の内容を具体的に示している。
【００８１】
先ず、例えば図３８（ａ）に示すように、予め与えられた概略形状に沿って複数の制御点（黒丸で示す）を例えば一定の間隔で配置する（ステップＳ４１）。次に、図３８（ｂ）に示すように、各制御点を中心に初期ブロックＷ１を配置する（ステップＳ４２）。
【００８２】
次に、図３８（ｃ）に示す相似ブロックＷ２の探索（ステップＳ４３）及び図３８（ｄ）に示すコーナー検出（ステップＳ４４）を順次行う。さらに、図３８（ｅ）に示すように、検出したコーナーの位置に制御点を移動する（ステップＳ４５）。
【００８３】
この手法によると、初期ブロックＷ１内にコーナーが存在しない場合でも、輪郭線上の点が交点として求まるので、制御点は図３８（ｅ）のように輪郭の上に移動する。従って、移動された制御点を図３８（ｆ）に示すように線分で結ぶか、あるいはスプライン曲線で結ぶことにより、輪郭線を抽出することができる（ステップＳ４６）。
【００８４】
前述したスネイク法でも、上記のように制御点を配置し、あるエネルギー関数が小さくなるように制御点を移動させることで輪郭線を抽出できる。しかし、そのエネルギー関数は、制御点が一直線に並ぶほど小さな値になる（輪郭線を滑らかに保とうとする）ので、被写体のコーナー部分についてはあまり正確に抽出できない。そこで、例えば、はじめにスネイク法で輪郭線の抽出を行い、その結果を概略形状として前述のコーナー検出を用いれば、コーナー部分の抽出精度を向上できる。
【００８５】
被写体の形状が三角形や四角形といった多角形であることが既知である場合には、手動操作で多角形の頂点の近傍の点だけを入力するようにし、それらの頂点を線分でつなげることで被写体の輪郭を表す方法がある。手動操作は、例えば、パソコンのディスプレイに表示された被写体の画像上で、頂点の位置をマウス等でクリック操作により指定する操作を含む。その際に、正確な頂点の位置を指定するにはある程度の高い集中力と、慣れが必要である。そこで、図３９に示すように、マウスでは頂点のおよその位置1,2,3を指定し、その点1,2,3にブロックW1を配置して前述したコーナー検出を行い、検出された位置4,5,6に頂点を移動するようにする。これにより作業量を大幅に削減できる。
【００８６】
本実施形態によるコーナー検出方法では、初期ブロックＷ１が大きくなると、完全に相似な領域を探すのが困難になるため、相似ブロックＷ２の位置がずれ、検出されるコーナー位置もずれて検出される。しかし、初期ブロックＷ１がある程度大きくないと、この中に被写体の輪郭線が含まれずに、相似ブロックＷ２を探すことができない。
【００８７】
そこで、初期ブロックのサイズを大きく設定して、コーナーに近い位置を検出し、更にその位置にサイズの小さなブロックを配置してコーナー位置を検出するというように、ブロックサイズを変更してゆく。これによって、概略形状と正しい輪郭線が離れている場合でも、正しく輪郭線を抽出することが可能になる。
【００８８】
さらに、このコーナー検出方法では、初期ブロックＷ１に相似な相似ブロックＷ２を求める際、ブロックマッチング法によってそれぞれのブロックＷ１，Ｗ２内の輝度の誤差が最小になる相似ブロックＷ２を探索するのであるが、被写体輪郭線の形やその付近の輝度のパターンによっては、相似な領域が存在しない場合もある。そこで、ブロックマッチングでの輝度の誤差を相似ブロック探索での信頼性評価値として利用して、信頼性が高い場合はコーナー検出法で制御点を移動し、信頼性が低い場合はエネルギー関数を最小化するスネイク法で制御点を動かすというように、制御点移動方法を切り換える。これによって、被写体輪郭線の部分部分に応じて有効な輪郭線抽出法を選択することができ、より精度よく被写体輪郭線を抽出することができる。
【００８９】
上述した本発明に基づく画像処理は、コンピュータを用いてソフトウェアにより実行することが可能である。従って、本発明によれば以下に挙げるようなプログラムを格納したコンピュータ読み取り可能な記録媒体、あるいはプログラムを提供することができる。
【００９０】
（１）処理対象の入力画像から特徴量を抽出する第１の特徴量抽出処理と、前記入力画像に対応して予め定められた参照画像から特徴量を抽出する第２の特徴量抽出処理と、抽出された前記入力画像の特徴量と前記参照画像の特徴量とを比較する比較処理とをコンピュータに実行させるためのプログラムを格納したコンピュータ読み取り可能な記録媒体。
【００９１】
（２）処理対象の入力画像から特徴量を抽出する第１の特徴量抽出処理と、前記入力画像に対応して予め定められた参照画像から特徴量を抽出する第２の特徴量抽出処理と、抽出された前記入力画像の特徴量と前記参照画像の特徴量の相対的な位置ずれを算出する位置ずれ算出処理と、算出された位置ずれに基づいて前記抽出された前記入力画像の特徴量及び前記参照画像の特徴量の相対位置を補正する位置補正処理と、前記相対位置が補正された後の前記入力画像の特徴量と前記参照画像の特徴量とを比較する比較処理とをコンピュータに実行させるためのプログラムを格納したコンピュータ読み取り可能な記録媒体。
【００９２】
（３）処理対象の入力画像から特徴量を抽出する第１の特徴量抽出処理と、前記入力画像に対応して予め定められた参照画像から特徴量を抽出する第２の特徴量抽出処理と、抽出された前記入力画像の特徴量と前記参照画像の特徴量とを比較する比較処理とをコンピュータに実行させるためのプログラム。
【００９３】
（４）処理対象の入力画像から特徴量を抽出する第１の特徴量抽出処理と、前記入力画像に対応して予め定められた参照画像から特徴量を抽出する第２の特徴量抽出処理と、抽出された前記入力画像の特徴量と前記参照画像の特徴量の位置ずれを算出する位置ずれ算出処理と、算出された位置ずれに基づいて前記抽出された前記入力画像の特徴量及び前記参照画像の特徴量の相対位置を補正する位置補正処理と、前記相対位置が補正された後の前記入力画像の特徴量と前記参照画像の特徴量とを比較する比較処理とをコンピュータに実行させるためのプログラム。
【００９４】
（５）入力画像中の被写体付近に初期ブロックを配置する初期ブロック配置処理と、前記初期ブロックに相似な相似ブロックを前記入力画像内で探索する相似ブロック探索処理と、前記初期ブロックの各頂点と前記相似ブロックの各頂点とを結んだ複数の直線の交点を前記被写体のコーナーとして検出するコーナー検出処理とをコンピュータに実行させるためのプログラムを格納したコンピュータ読み取り可能な記録媒体。
【００９５】
（６）入力画像中の被写体付近に初期ブロックを配置する初期ブロック配置処理と、前記初期ブロックに相似な相似ブロックを前記入力画像内で探索する相似ブロック探索処理と、前記初期ブロックの各頂点と前記相似ブロックの各頂点とを結んだ複数の直線の交点を前記被写体のコーナーとして検出するコーナー検出処理とをコンピュータに実行させるためのプログラム。
【００９６】
【発明の効果】
以上説明したように、本発明の画像処理方法によれば、入力画像上の背景領域での明度変化や入力画像全体への手ぶれによる影響等によらず、適切に被写体変化を検出できる。
【００９７】
また、本発明によればコントラストがはっきりせず、またスポット状のノイズがある場合でも、入力画像から正しくコーナーを検出することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図
【図２】同第１実施形態に係る画像処理の手順を示すフローチャート
【図３】同第１の実施形態の作用を説明するための入力画像及び参照画像からそれぞれ抽出された輪郭線とその比較結果を示す図
【図４】同第１の実施形態における参照画像の輪郭線を概略形状として入力画像の輪郭線を求める手順を示す図
【図５】本発明の第２の実施形態の作用を説明するための入力画像及び参照画像から抽出されたコーナー位置とその比較結果を示す図
【図６】本発明の第３の実施形態に係る画像処理装置の構成を示すブロック図
【図７】同第３実施形態に係る画像処理の手順を示すフローチャート
【図８】本発明の第５実施形態に係り、画像中のコーナーの頂点などの特徴点を検出する処理の概略手順を示すフローチャート
【図９】互いに相似な正方形ブロックの配置例を示す図
【図１０】推定配置したブロック及びその相似ブロックと被写体画像との関係を示す図
【図１１】図９のブロックから導出される不変集合の一例を示す図
【図１２】図９のブロックを用いた場合のコーナー部分における頂点の検出例を示す図
【図１３】互いに相似な正方形のブロックの他の例を示す図
【図１４】図１３のブロックから導出される不変集合の一例を示す図
【図１５】縦横比が異なる相似ブロックの一例を示す図
【図１６】図１５の相似ブロックから導出される不変集合の一例を示す図
【図１７】図１５のブロックを用いた場合のコーナー部分における頂点の検出例を示す図
【図１８】縦横比が異なる相似ブロックの一例を示す図
【図１９】図１８のブロックから導出される不変集合の一例を示す図
【図２０】図１８のブロックを用いた場合のコーナー部分における頂点の検出例を示す図
【図２１】薄幅で長身の相似ブロックの一例を示す図
【図２２】図２１の相似ブロックから導出される不変集合の一例を示す図
【図２３】図２１の相似ブロックを用いた場合のコーナー部分における頂点の検出例を示す図
【図２４】横方向に歪んだ相似ブロックの一例を示す図
【図２５】図２４の相似ブロックから導出される不変集合の一例を示す図
【図２６】図２４の相似ブロックを用いた場合のコーナー部分における頂点の検出例を示す図
【図２７】傾きが既知の２直線間での写像を示す図であって、変換係数の決定手順を説明するための図
【図２８】傾斜相似ブロックの一例を示す図
【図２９】図２８の傾斜相似ブロックから導出される不変集合の一例を示す図
【図３０】図２８の傾斜相似ブロックを用いた場合の特徴点（円の中心）の検出例を示す図
【図３１】等倍の大きさの傾斜相似ブロックの一例を示す図
【図３２】図３１の相似ブロックから導出される不変集合の一例を示す図
【図３３】図３１の相似ブロックを用いた場合のコーナー部分における頂点の検出例を示す図
【図３４】同一高さで幅広の相似ブロックの一例を示す図
【図３５】図３４の相似ブロックから導出される不変集合の一例を示す図
【図３６】図３４の傾斜相似ブロックを用いた場合の直線検出例を示す図
【図３７】本発明の第６の実施形態に係る輪郭線を用いたコーナー検出の処理手順を示すフローチャート
【図３８】同第６の実施形態における図３７の各ステップでの処理を具体的に説明するための図
【図３９】本発明の第６実施形態に係り位置指定支援方法を説明するための図
【図４０】従来の技術である背景差分法について説明するための入力画像及び参照画像とその比較結果を示す図
【符号の説明】
１…画像入力部
２…入力画像特徴量抽出部
３…参照画像蓄積部
４…参照画像特徴量抽出部
５…特徴量比較部
６…画像出力部
７…参照画像特徴量蓄積部
８…位置ずれ算出部
９…位置補正部

Claims (11)

1. 処理対象の入力画像から、被写体の形状をなす点集合内の一点を該形状の特徴を表す特徴点として検出する画像特徴点検出方法において、
   前記被写体の少なくとも一部分を含む矩形からなる注目領域を前記入力画像上に配置するステップと、
   前記注目領域との輝度の誤差が最小となり、該注目領域と相似の関係にある相似領域を、前記被写体の少なくとも一部分の画素データを用いるブロックマッチングにより探索する探索ステップと、
   前記相似領域から前記注目領域への写像、又は前記注目領域から前記相似領域への写像を計算するステップと、
   前記ブロックマッチングでの輝度の誤差の値を信頼性評価値とし、該信頼性評価値に基づく判定により信頼性が高いと判定されたならば、前記写像における固定点を前記特徴点として検出するステップとを有することを特徴とする画像特徴点検出方法。
2. 前記探索ステップは、前記注目領域と同一縦横比の前記相似領域を探索するステップを含むことを特徴とする請求項１記載の画像特徴点検出方法。
3. 前記探索ステップは、該注目領域と異なる縦横比の前記相似領域を探索するステップを含むことを特徴とする請求項１記載の画像特徴点検出方法。
4. 前記探索ステップは、前記注目領域よりも幅が長く、かつ、高さが短い前記相似領域を探索するステップを含むことを特徴とする請求項１に記載の画像特徴点検出方法。
5. 前記探索ステップは、前記注目領域よりも幅が短く、かつ、高さが長い前記相似領域を探索するステップを含むことを特徴とする請求項１に記載の画像特徴点検出方法。
6. 前記探索ステップは、斜方形からなる前記相似領域を探索するステップを含むことを特徴とする請求項１に記載の画像特徴点検出方法。
7. 前記探索ステップは、前記注目領域に対して相対的に傾斜する前記相似領域を探索するステップを含むことを特徴とする請求項１に記載の画像特徴点検出方法。
8. 前記探索ステップは、前記注目領域に対して相対的に傾斜し、かつ同じ大きさの前記相似領域を探索するステップを含むことを特徴とする請求項１に記載の画像特徴点検出方法。
9. 前記探索ステップは、前記注目領域と高さが等しく、且つ相対的に幅が異なる前記相似領域を探索するステップを含むことを特徴とする請求項１に記載の画像特徴点検出方法。
10. 処理対象の入力画像から、被写体の形状をなす点集合内の一点を該形状の特徴を表す特徴点として検出するプログラムであって、
    前記被写体の少なくとも一部分を含む矩形からなる注目領域を前記入力画像上に配置する配置手順と、
    前記注目領域との輝度の誤差が最小となり、該注目領域と相似の関係にある相似領域を、前記被写体の少なくとも一部分の画素データを用いるブロックマッチングにより探索する探索手順と、
    前記相似領域から前記注目領域への写像、又は前記注目領域から前記相似領域への写像を計算する計算手順と、
    前記ブロックマッチングでの輝度の誤差の値を信頼性評価値とし、該信頼性評価値に基 づく判定により信頼性が高いと判定されたならば、前記写像における固定点を前記特徴点として検出する検出手順とをコンピュータに実行させるプログラム。
11. 処理対象の入力画像から被写体のコーナーを表す特徴量を抽出する第１の特徴量抽出ステップと、
    前記入力画像に対応して予め定められた参照画像から前記被写体のコーナーを表す特徴量を抽出する第２の特徴量抽出ステップと、
    抽出された前記入力画像の特徴量と前記参照画像の特徴量とを比較することにより、前記入力画像中に存在する被写体の変化を検出する比較ステップとを有し、
    前記第１の特徴量抽出ステップ及び前記第２の特徴量抽出ステップのそれぞれは、
    前記被写体の少なくとも一部分を含む矩形からなる注目領域を前記入力画像又は前記参照画像上に配置するステップと、
    前記注目領域との輝度の誤差が最小となり、該注目領域と相似の関係にある相似領域を、前記被写体の少なくとも一部分の画素データを用いるブロックマッチングにより探索する探索ステップと、
    前記相似領域から前記注目領域への写像、又は前記注目領域から前記相似領域への写像を計算するステップと、
    前記ブロックマッチングでの輝度の誤差の値を信頼性評価値とし、該信頼性評価値に基づく判定により信頼性が高いと判定されたならば、前記写像における固定点を前記被写体のコーナーを表す特徴量として検出するステップとを有することを特徴とする画像処理方法。

Images