JP2009146150A - 特徴位置検出方法及び特徴位置検出装置 - Google Patents

Abstract

【課題】 エッジ強調処理が施された画像データからサブピクセル精度で特徴位置を検出する。
【解決手段】 連続的に撮像した各フレーム中、フレーム番号ｎの画像データに対して、フレーム番号（ｎ−１）に対応するテンプレートを適用し、フレーム番号ｎのフレーム暫定特徴点位置を検出する。この撮像対象は、長方形の４個の各頂点に特徴位置を有する図形が描写されたプレートである。つぎに、フレーム暫定特徴点位置に基づいて、フレーム番号ｎの画像上の特徴位置に対応するテンプレートを生成する。その後にフレーム番号ｎの画像データにフレーム番号ｎに対応するテンプレートを適用して、フレーム番号ｎのフレーム特徴点位置を検出する。
【選択図】図１５

Description

本発明は、画像認識技術に関するものである。

現在、カメラ（撮像装置；例えば、デジタルカメラ）に対するキャリブレーション方法として、市松模様を描いたプレート（例えば、図２０中の市松模様Ｐ_ICHを描いたプレートＰ１１）を当該カメラ（例えば、図２０中のカメラＣ）で撮像し、その撮像した画像（画像データ）上における市松模様の交点位置（例えば、市松模様Ｐ_ICHを区切る（あるいは、構成する）仮想線（或いは、該模様の濃淡の境界線（濃淡境界線））群Ｋ₁とＫ₂の各交点Ｋ_P）に基づいてカメラの内部パラメタを求める方法が広く行われている。その内部パラメタを求める方法では、交点位置をサブピクセルの解像度で、高精度に求めることが重要であるため、従来、多くのサブピクセルにおける交点位置検出方法が提案されている。

例えば、上述の交点位置検出方法の一例（例えば、非特許文献１参照）では、ピクセル精度で求めた交差点位置において、輝度の一階微分および二階微分を求め、これらの微分値からサブピクセル精度での交差点位置（即ち、特徴点の一種）を算出している。このように、従来の方法では、輝度の一階微分および二階微分に基づいて算出している。

なお、関連技術として、特徴点の位置群からの姿勢推定方法（例えば、非特許文献２参照）も知られている。
Ｄａｚｈｉ Ｃｈｅｎ，Ｇｕａｎｇｊｕｎ Ｚｈａｎｇ、"Ｓｈｏｒｔ Ｐａｐｅｒｓ；Ａ Ｎｅｗ Ｓｕｂ−Ｐｉｘｅｌ Ｄｅｔｅｃｔｏｒ ｆｏｒ Ｘ−Ｃｏｒｎｅｒｓ ｉｎ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ Ｔａｒｇｅｔｓ"、ＵＮＩＯＮ Ａｇｅｎｃｙ−Ｓｃｉｅｎｃｅ Ｐｒｅｓｓ、ｐｐ．９７−１００。 出口光一郎、"射影幾何学によるＰｎＰカメラ問題の統一的解法"、情報シンポジウム、１９９０（平成２年）、Ｖｏｌ．９０、ｐｐ．４１−５０。

ところが、ウェブカメラ（デジタルカメラの一種）などでは、撮像した画像データにエッジ強調処理が施されていることが多い。例えば、図２１は、黒白（あるいは濃淡）パターン画像における境界部分の画像データにおける輝度曲線を示しており、図２１（ａ）は理想的な画像データにおける輝度曲線Ｌ１、図２１（ｂ）はエッジ強調された画像データにおける輝度曲線Ｌ２である。

図２１（ｂ）のようにエッジ強調処理が施された画像データに対しては、上述の微分値が正しい値として求められず、結果として、算出される交差点のサブピクセル位置が不正確となる、といった問題が知られている。

そこで、本発明は、エッジ強調処理が施された画像データからサブピクセル精度で特徴位置を検出する特徴位置検出方法及び特徴位置検出装置を提供することを課題としている。

本発明は、前記課題を解決すべく創作された技術的思想であって、動画像のフレーム画像データごとに暫定的な特徴位置を検出し、かかる暫定特徴位置に基づいて、サブピクセル精度で検出するためのテンプレートを逐次作成し、このテンプレートを適用することによって、最終的に特徴位置を検出している。

具体的には、請求項１記載の発明は、対象物を連続的に撮像した各フレームの画像から該対象物上の特徴位置を検出する特徴位置検出方法であって、暫定特徴点位置検出手段が、現フレームの画像に対し、前フレーム用のテンプレートを適用して、現フレームの画像の暫定特徴位置を検出するステップと、テンプレート作成手段が、前記暫定特徴位置に基づいて、現フレームの画像の特徴位置に対応する現フレーム用のテンプレートを作成するステップと、特徴位置検出手段が、現フレームの画像に前記現フレーム用のテンプレートを適用して、現フレームの画像の特徴位置を検出するステップと、を有することを特徴としている。

請求項２記載の発明は、前記テンプレートとして、サブピクセル単位でずらした対象物の画像からなるテンプレート群を用いたことを特徴としている。

請求項３記載の発明は、前記対象物として、長方形の４個の各頂点に前記特徴位置を有する図形が描写されたプレートを用いるとともに、前記図形が、スケールによって局部的見えに変化が生じないことを特徴としている。

請求項４記載の発明は、前記テンプレート生成手段が、濃淡二領域を有する前記プレートを撮像した画像の輝度パターンから輝度分布群を作成するステップと、前記輝度分布群に基づいて、明部輝度と暗部輝度とから中間輝度理想輝度パターンを求め、理想輝度パターンであるステップ輝度パターンを作成するステップと、前記ステップ輝度パターンにエッジ強調カーネルを施した合成輝度パターンを作成するステップと、前記合成輝度パターンと実際の輝度パターンとの差異が最小となるパラメタを作成するステップと、前記現フレームの画像を、前記パラメタおよび前記エッジ強調カーネルによってエッジ強調するステップと、を実行することを特徴としている。

請求項５記載の発明は、前記プレートには、濃淡境界線第一と濃淡境界線第二とがつくる領域を交互に濃淡に塗りつぶした少なくとも３個の平面図形が描写され、前記両濃淡領域線の交点は、同一平面上に配置されているとともに、方向が異なる二対の平行直線の交点に該当する４個の交点のうちいずれかの３個の交点の位置に一致し、前記各濃淡領域線は、前記二対の平行直線に平行なことを特徴としている。

請求項６記載の発明は、対象物を連続的に撮像した各フレームの画像から該対象物上の特徴位置を検出する特徴位置検出装置であって、現フレームの画像に対し、前フレーム用のテンプレートを適用して、現フレームの画像の暫定特徴位置を検出する暫定特徴点位置検出手段と、前記暫定特徴位置に基づいて、現フレームの画像の特徴位置に対応する現フレーム用のテンプレートを作成するテンプレート作成手段と、現フレームの画像に前記現フレーム用のテンプレートを適用して、現フレームの画像の特徴位置を検出する特徴位置検出手段と、を有することを特徴としている。

請求項７記載の発明は、前記テンプレートとして、サブピクセル単位でずらした対象物の画像からなるテンプレート群を用いたことを特徴としている。

請求項８記載の発明は、前記対象物として、長方形の４個の各頂点に前記特徴位置を有する図形が描写されたプレートを用いるとともに、前記図形が、スケールによって局部的見えに変化が生じないことを特徴としている。

請求項９記載の発明は、前記テンプレート生成手段は、濃淡二領域を有する前記プレートを撮像した画像の輝度パターンから輝度分布群を作成する手段と、前記輝度分布群に基づいて、明部輝度と暗部輝度とから中間輝度理想輝度パターンを求め、理想輝度パターンであるステップ輝度パターンを作成する手段と、前記ステップ輝度パターンにエッジ強調カーネルを施した合成輝度パターンを作成する手段と、前記合成輝度パターンと実際の輝度パターンとの差異が最小となるパラメタを作成する手段と、前記現フレームの画像を、前記パラメタおよび前記エッジ強調カーネルによってエッジ強調する手段と、を有することを特徴としている。

請求項１０記載の発明は、前記プレートには、濃淡境界線第一と濃淡境界線第二とがつくる領域を交互に濃淡に塗りつぶした少なくとも３個の平面図形が描写され、前記両濃淡領域線の交点は、同一平面上に配置されているとともに、方向が異なる二対の平行直線の交点に該当する４個の交点のうちいずれかの３個の交点の位置に一致し、前記各濃淡領域線は、前記二対の平行直線に平行なことを特徴としている。

なお、請求項１〜１０記載の発明中、前フレームには現フレームｎに対するフレーム（ｎ−１）を用いることが好ましいが、これに限定されることはなく、フレーム（ｎ−２．３．．．ｋ）であってもよい。

請求項１〜１０記載の発明によれば、テンプレート画像データを使って、自動的に施されてしまう撮像装置で撮像した画像データからサブピクセル精度で、特徴位置を高精度に検出できる。

以下、本発明の実施形態における特徴位置検出方法を図面等に基づいて詳細に説明する。本実施形態では、エッジ強調処理が施されてしまうカメラ（例えば、ウェブカメラ）で撮像し、エッジ強調された画像データを対象とする。

本実施形態では、上述のような市松模様の交点付近での輝度の一階微分および二階微分をもとに交点位置をサブピクセルで求める手法は利用できないため、交点の濃淡（あるいは輝度）パターンを有するテンプレート画像データ（以後、単にテンプレート）を利用する手法を採用する。

ただし、以下の説明では、テンプレートは、実質的に２つの角度（後述する開度）の組み合わせに応じたバリエーションを有している。この組み合わせ数の理由は、次の通りである。例えば、１度刻みの離散度を条件とする場合には、３２４００（＝１８０×１８０）種類のテンプレートを必要とし、加えて、サブピクセル精度で検出する必要がある場合には、更に多くのテンプレートを必要とする。このようなサブピクセルの検出精度を実現するためのテンプレート群を、十分に細かい離散度を維持したまま、記憶部（例えば、メモリ）上に全て保持しておくことは実際には困難である。

本実施形態における特徴位置検出方法は、以下の手順を有する。
（１）テンプレート群の作成手順
（２）サブピクセル精度の特徴位置の推定手順
本実施形態の特徴位置検出方法におけるテンプレート群の作成手順を図１に基づいて説明する。なお、図１は、テンプレート群の作成手順のメインフローチャートである。

まず、ウェブカメラなどで撮像されエッジ強調された画像データ（以後、テンプレート用入力画像データ）からエッジ強調処理のパラメタを推定する（Ｓ１０１：エッジ強調処理のパラメタ推定ステップ）。

次に、スーパーサンプリングを用いて、サブピクセル精度で特徴位置を検出するためのテンプレート群を生成する（Ｓ１０２：テンプレート群生成ステップ）。

そして、推定したパラメタに基づいてテンプレート群をエッジ強調する（エッジ強調処理を施す）（Ｓ１０３：テンプレート群のエッジ強調ステップ）。

エッジ強調処理のパラメタ推定ステップ（Ｓ１０１）を図２中のフローチャートに基づいて説明する。

まず、当該カメラ（例えば、図３中のカメラＣ）で、濃淡（或いは黒白或いは輝度の低高）領域境界線（仮想線）Ｋ₃を僅かに傾けた濃淡領域を描画したプレート（例えば、図３中のプレートＰ２１）を撮像する。その撮像した画像データ（即ち、テンプレート用入力画像データ）をスキャンライン（ｉ）ごとに輝度パターンＸ_jを取り込み、ヒストグラム（輝度ヒストグラムデータ；例えば、図４のヒストグラムＨ_g）を作成する（Ｓ２０１：輝度パターン取り込みヒストグラム作成ステップ）。

次に、作成したヒストグラムに基づいて、スキャンラインＳ_Cにおける明部輝度Ｉ_Bおよび暗部輝度Ｉ_Dから中間輝度Ｉ_M（＝（Ｉ_B＋Ｉ_D）／２）を求め、理想輝度パターンであるステップ輝度パターンＹ_j（例えば、図５中のステップ輝度パターンＹ_j）を作成する（Ｓ２０２：ステップ輝度パターン作成ステップ）。

次に、作成したステップ輝度パターンＹ_ijにパラメタをσとするガウシアンカーネル及びパラメタをαとするエッジ強調カーネルを施した合成輝度パターンＺ_ij（以下の式参照）を作成する（Ｓ２０３：合成輝度パターン作成ステップ）。

なお、上記の式では、Ｇはパラメタをσとするガウシアンカーネル、Ｈはパラメタをαとするエッジ強調カーネルである。なお、エッジ強調カーネルＨは、重みをｗとした以下の式である。また、図６は、エッジ強調カーネルＨの一例を示す図である。

そして、以下の式に示す評価値Ｅを最小とするパラメタσおよびαを求め、求められたパラメタαをエッジ強調処理のパラメタと見做す（Ｓ２０４：エッジ強調処理のパラメタ算出ステップ）。

なお、式２は、理想ステップ輝度パターンにガウシアンカーネルとエッジ強調カーネルを施した結果と実際の輝度パターンとの差異を評価する式であり、式１−１は上記評価の一部を解かり易くするために分離したものである。

テンプレート群生成ステップ（Ｓ１０２）を図７中のフローチャート及び図８に基づいて説明する。なお、作成すべきテンプレートのサイズは、テンプレート用入力画像データのサイズより小さいものとする。また、作成すべきテンプレートは、交点を１つのみ有する市松模様（以下、１交点市松模様という）を変形した模様（以下、変形１交点市松模様）を描画したテンプレートである。

まず、作成すべきテンプレートと同じサイズを有する空白テンプレート（１６×１６（＝ｔ_X×ｔ_Y）ピクセルのサイズを有する空白テンプレート）ｔ_Bを想定し、さらに、その空白テンプレートｔ_Bにおいて、基準点Ｋ_P1（＝座標（Ｋ_X，Ｋ_Y））を想定する。続いて、その空白テンプレートを倍率Ｎで変倍したサイズの空白テンプレート（以後、変倍空白テンプレートという）ｔ_MBを作成する（Ｓ３０１：テンプレートのＮ倍のサイズの画像を作成するステップ）。なお、空白テンプレートとは、例えば、全画素を画素値０（黒色画素）もしくは最大画素値（白色画素）で埋められた画像データである。

例えば、作成すべきテンプレートのサイズが１６×１６ピクセルで、倍率Ｎ＝１０の場合、作成される変倍空白テンプレートのサイズは、１６０×１６０ピクセルとなる。なお、図８中では、作成すべきテンプレートのサイズが１６×１６ピクセルで、倍率Ｎ＝２としている。即ち、変倍空白テンプレートｔ_MBのサイズｔ_MBX×ｔ_MBYは、３２×３２ピクセルである。

基準点Ｋ_P1は、変倍空白テンプレートｔ_MBにおいて、基準点Ｋ_P11（＝座標（Ｋ_X×Ｎ，Ｋ_Y×Ｎ））を含む変換基準点領域（Ｎ×Ｎピクセルのサイズの領域）Ｋ_PMに変換される。

変形１交点市松模様の交点は、変倍空白テンプレートｔ_MBにおける基準点Ｋ_P11を原点とし、ＸＹ方向に伸びたＮ×Ｎピクセルサイズ領域における各画素Ｋ_P（＝座標（Ｋ_X×Ｎ＋Ｉ，Ｋ_Y×Ｎ＋Ｊ）、０≦Ｉ≦Ｎ−１，０≦Ｊ≦Ｎ−１）のいずれかである。なお、以下の説明では、変形１交点市松模様の交点Ｋ_Pの座標を、基準点Ｋ_P11の座標として説明する。

次に、基準点Ｋ_P11を交点とし、予め決定された開度を成すような濃淡領域境界線Ｋ₄，Ｋ₅に基づいて変形１交点市松模様（濃淡パターン）を変倍空白テンプレートｔ_MBに描画し、変倍テンプレートｔ_MPを得る（Ｓ３０２：基準位置に指定された開度で、パターンを生成するステップ）。なお、開度とは、市松模様を描いたプレートをカメラに対して傾けた際に画像上で生じるスキューによる境界（濃淡パターンの境界である濃淡領域境界線）の傾きが成す角度（例えば、図９中の開度θ₁，θ₂）である。なお、図９中の開度θ₁，θ₂の値は、便宜上、図８のものとは異なるものを採用している。また、図１０（ａ），（ｂ）は、濃淡領域境界線Ｋ₄，Ｋ₅が直交する場合の開度の例であって、図１０（ａ）における第１象限が黒色かつ第２象限が白色の場合は、開度θ₁は０度、開度θ₂は９０度となる。図１０（ｂ）における第１象限が白色かつ第２象限が黒色の場合は、開度θ₁は９０度、開度θ₂は１８０度となる。

次に、変形１交点市松模様（濃淡パターン）を描画された変倍テンプレートｔ_MPを１／Ｎに縮小し、作成すべきテンプレートと同サイズであるテンプレートｔ_Pを取得する（Ｓ３０３：１／Ｎに縮小するステップ）。

そして、生成したテンプレートｔ_P数が、Ｎ×Ｎ枚より小さいか否かをチェックする（Ｓ３０４）。生成したテンプレートｔ_P数が、Ｎ×Ｎ枚より小さい場合は、ステップＳ３０５へ進む。生成したテンプレートｔ_P数が、Ｎ×Ｎ枚より小さくない場合は、当該処理を終了する。

ステップＳ３０５（基準位置を１画素ずらすステップ）では、交点Ｋ_Pを１画素分ずらして、ステップＳ３０１へ進む。

以上の処理により、全ての基準位置で上記の処理を行い、テンプレート群を作成する。例えば、Ｎ＝１０の場合には作成されるテンプレート群のテンプレートの枚数は１００枚となる。なお、テンプレート群の各テンプレートは、作成の際の基準位置、すなわち変倍テンプレート画像上の変換基準点領域における２次元座標（Ｉ，Ｊ）を識別子として識別することにする。

テンプレート群のエッジ強調ステップ（Ｓ１０３）をさらに詳細に説明する。ステップＳ１０１で推定したパラメタα及び図６に示すエッジ強調カーネルＨによって、ステップＳ１０２で作成したテンプレート群の各テンプレートの画像をエッジ強調する。

本実施形態の特徴位置検出方法におけるサブピクセル精度の特徴位置の推定手順を図１１に基づいて説明する。なお、図１１は、サブピクセル精度の特徴位置の推定手順のメインフローチャートである。

まず、入力画像データ（例えば、図１２中の入力画像データＢ_P）の各画素位置（ｘ，ｙ）（例えば、図１２中の画素位置ｄを有する領域）において、テンプレート（０，０）（例えば、図１２中のテンプレートｔ₀）を適用し、テンプレート（０，０）に最も類似する画素位置（初期類似画素位置）を画素位置（Ｘ，Ｙ）と決定する（Ｓ４０１：初期類似画素位置決定ステップ）。なお、類似性をチェックする際には、例えば、図１２中の画素位置ｄとテンプレートｔ₀上の画素位置ｄ_tの位置を合わせて類似性をチェックする。

次に、画素位置（Ｘ，Ｙ）およびその８近傍画素位置に対して、テンプレート群（例えば、図１２中のテンプレート群Ｔ）の全てのテンプレート（Ｉ，Ｊ）を適用し、それらに最も類似する画素位置を８近傍類似画素位置（画素位置（Ｘ_S，Ｙ_S））と見做し、最も類似する８近傍類似画素位置テンプレート（テンプレート（Ｉ_S，Ｊ_S））とする（Ｓ４０２：８近傍画素に対する類似画素位置決定ステップ）。

そして、位置（Ｘ_S＋Ｉ_S／Ｎ，Ｙ_S＋Ｊ_S／Ｎ）をサブピクセル精度の特徴位置（即ち、交点）とする（Ｓ４０３：サブピクセル精度の特徴位置算出ステップ）。なお、Ｎは、上述した倍率Ｎである。

次に、本実施形態における特徴位置検出装置の構成を図１３に基づいて説明する。

図１３中の特徴位置検出装置は、画像データ管理部１０３（後述する）から読み出した入力画像データに対し、上述のサブピクセル精度の特徴位置の推定手順（ステップＳ４０１〜Ｓ４０３）を実行し、テンプレート管理部１０４（後述する）に格納されたテンプレート群を用いて、特徴位置を検出する特徴点位置検出部１０１，上述のテンプレート群の作成手順（ステップＳ１０１（もしくはＳ２０１〜Ｓ２０４），Ｓ１０２（もしくはＳ３０１〜Ｓ３０５），Ｓ１０３）を実行しテンプレート群を作成し、テンプレート管理部１０４（後述する）に格納するテンプレート作成部１０２，特徴位置を検出する対象である画像データを格納し管理する画像データ管理部１０３，エッジ強調処理のパラメタを算出するためのテンプレート用画像データ及びテンプレート群を格納し管理するテンプレート管理部１０４，ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）など含み、各部を制御する制御部（図示省略），メモリやハードディスクドライブ装置など含み、当該装置で使用する情報もしくはデータを記憶する記憶部（図示省略）を備え、例えば、コンピュータである。

なお、特徴位置検出装置の各部の動作は、上述の手順に詳しく説明した。特徴位置検出装置の全部もしく一部をコンピュータで実行可能なプログラムとして実装しても良い。画像データ管理部１０３，テンプレート管理部１０４は、上述の記憶部に実装されても良い。

以下に、本実施形態における特徴位置検出装置の動作の一例を説明する。なお、動作の詳細は、上述の手順を参照されたい。

テンプレート作成部１０２が、濃淡領域境界線を僅かに傾けた濃淡領域を描画したプレートを撮像したテンプレート用画像データをテンプレート管理部１０４から取得し、テンプレート用画像データのスキャンラインごとに輝度パターンを取り込み、輝度ヒストグラムデータを作成する。

次に、テンプレート作成部１０２が、作成したヒストグラムデータに基づいて、明部輝度および暗部輝度から中間輝を求め、理想輝度パターンであるステップ輝度パターンを作成する。

次に、テンプレート作成部１０２が、作成したステップ輝度パターンにパラメタをσとするガウシアンカーネル及びパラメタをαとするエッジ強調カーネルを施した合成輝度パターンを作成する。

次に、テンプレート作成部１０２が、理想ステップ輝度パターンにガウシアンカーネルとエッジ強調カーネルを施した結果と実際の輝度パターンとの差異を評価する式において、その式による評価値を最小とするパラメタを求め、求められたパラメタをエッジ強調処理するためのパラメタαと見做す。

次に、テンプレート作成部１０２が、基準点を有する作成すべき空白テンプレート画像データを倍率Ｎで変倍し、変倍されたことによって、該基準点が変換された変換基準点領域を有する変倍空白テンプレート画像データを作成する。

次に、テンプレート作成部１０２が、前記変換基準点領域に含まれる点を交点とし、予め決定された開度を成すような濃淡領域境界線に基づいて変形１交点市松模様を前記変倍空白テンプレートに描画した変倍テンプレート画像データを得る。

次に、テンプレート作成部１０２が、前記変形１交点市松模様を描画された変倍テンプレート画像データを１／Ｎに縮小し、作成すべきテンプレート画像データと同サイズであるテンプレート画像データを取得し、該テンプレート画像データを前記テンプレート管理部１０４に格納する。

次に、テンプレート作成部１０２が、推定したパラメタα及び前記エッジ強調カーネルによって、前記テンプレート管理部に格納したテンプレート群の各テンプレート画像データの画像をエッジ強調し、改めてテンプレート画像データとして、前記テンプレート管理部１０４に格納する。

次に、特徴点位置検出部１０１が、前記画像データ管理部１０３から取得した入力画像データの各画素位置において、前記前記テンプレート管理部１０４に格納された特定のテンプレート画像データを適用し、該特定のテンプレート画像データに最も類似する初期類似画素位置を決定する。

次に、特徴点位置検出部１０１が、初期類似画素位置および該初期類似画素位置の８近傍画素位置に対して、前記テンプレート画像データ群の全てのテンプレート画像データを適用し、それらに最も類似する画素位置を８近傍類似画素位置と見做し、最も類似するテンプレートを８近傍類似画素位置テンプレートと見做す。

そして、特徴点位置検出部１０１が、前記８近傍類似画素位置に対し、前記８近傍類似画素位置テンプレートの変換基準点領域における交点の座標を倍率Ｎで割算した値を加算し、その加算された値をサブピクセル精度の特徴位置と見做す。

［実施例］
本実施例における特徴位置検出方法は、動画像におけるフレーム画像データごとに暫定的な特徴位置に基づいて、サブピクセル精度で検出するためのテンプレート群を逐次作成し、改めて、作成したテンプレート群を適用することによって、最終的にサブピクセル精度の特徴位置を推定するものである。

次に、本実施形態における特徴位置検出方法を応用した例を説明する。本実施例では、以下に説明する市松模様を描かれたプレートと該プレートを撮像した画像データ群（例えば、プレートを傾けつつ連続して撮像した画像群であって、動画像における各フレーム画像データ（以下、単にフレーム画像という）など）を対象とする。フレーム画像には、各フレーム画像を識別するための番号（フレーム番号ｎ）が付与されているものとする。

本実施例で使用する市松模様を描画されたプレートを図１４に基づいて説明する。

図１４中の４個の市松模様Ｐ_ICH1，Ｐ_ICH2，Ｐ_ICH3，Ｐ_ICH4は、１交点市松模様であって、プレートＰ３１内に、交点Ｋ_P21，Ｋ_P22，Ｋ_P23，Ｋ_P24が仮想正方形Ｑの頂点の位置に配置されるように描画されているものである。ただし、１交点市松模様は、３個以上あり、かつ、直線配置ではなく、任意の多角形を形成するように配置すれば良い。しかし、姿勢算出の計算コストを低減するために、以下の説明では、１交点市松模様を線対称かつ点対称に配置とした。

本実施例における特徴位置検出方法を図１５のフローチャートと図１６に基づいて説明する。なお、図１６は、特徴位置検出の様子を示す図である。以下では、フレーム番号ｎに応じたものを、例えば、Ｕ（ｎ）のように記載する。

まず、フレーム画像Ｆ（ｎ）に対して、フレーム用テンプレート群Ｔ（ｎ−１）を適用して、フレーム暫定特徴点位置Ｋ_TP（ｎ）を検出する（Ｓ５０１：フレーム暫定特徴点位置検出ステップ）。例えば、図１６中では、フレーム画像Ｆ₂に対して、フレーム用テンプレート群Ｔ₁を適用して、フレーム暫定特徴点位置Ｋ_TP2を検出する。なお、ステップＳ５０１では、上述のサブピクセル精度の特徴位置の推定手順を利用して、フレーム暫定特徴点位置Ｋ_TP（ｎ）を検出する。フレーム用テンプレート群Ｔ₁は、図１０で示したテンプレートを使用しても良い。

次に、フレーム暫定特徴点位置Ｋ_TP（ｎ）に基づいて、フレーム画像Ｆ（ｎ）上の各１交点市松模様に対応するフレーム用テンプレート群Ｔ（ｎ）を生成する（Ｓ５０２：フレーム用テンプレート群生成ステップ）。なお、詳細については後に説明する。例えば、図１６中では、フレーム暫定特徴点位置Ｋ_TP2に基づいて、フレーム画像Ｆ₂上の各１交点市松模様に対応するフレーム用テンプレート群Ｔ₂を生成する。

次に、フレーム画像Ｆ（ｎ）に、フレーム用テンプレート群Ｔ（ｎ）を適用して、フレーム特徴点位置Ｋ_P（ｎ）を検出する（Ｓ５０３：フレーム特徴点位置検出ステップ）。例えば、図１６中では、フレーム画像Ｆ₂に、フレーム用テンプレート群Ｔ₂を適用して、フレーム特徴点位置Ｋ_P2を検出する。なお、ステップＳ５０３では、上述のサブピクセル精度の特徴位置の推定手順を利用して、フレーム特徴点位置Ｋ_P（ｎ）を検出する。

そして、全てのフレーム画像群に対して、上述の処理していなければ、画像番号ｎを進めて（加算して）、ステップＳ５０１へ進む。例えば、図１６中では、フレーム画像Ｆ₃が処理され、フレーム暫定特徴点位置Ｋ_TP3、フレーム用テンプレート群Ｔ₃、フレーム特徴点位置Ｋ_P3が生成される。全てのフレーム画像群Ｆに対して、上述の処理していれば、当該処理を終了する。

上述のように、ステップＳ５０２およびステップＳ５０３の処理を繰り返すことによって、より高精度な特徴点位置検出を可能とする。

次に、ステップＳ５０２を図１７のフローチャート及び図１８に基づいて詳細に説明する。

まず、フレーム暫定特徴点位置Ｋ_TP（ｎ）に基づいて、フレーム画像Ｆ（ｎ）上の消失点位置Ｖ１，Ｖ２を算出する（Ｓ６０１：消失点算出ステップ）。例えば、図１８中の特徴点（即ち、変形１交点市松模様Ｐ_ICH1’の交点）Ｋ_P21’と特徴点（即ち、変形１交点市松模様Ｐ_ICH2’の交点）Ｋ_P22’を結んだ直線Ｌ_V11と特徴点（即ち、変形１交点市松模様Ｐ_ICH4’の交点）Ｋ_P24’と特徴点（即ち、変形１交点市松模様Ｐ_ICH3’の交点）Ｋ_P23’を結んだ直線Ｌ_V12との交点を消失点位置Ｖ１として算出する。同様に、直線Ｌ_V21と直線Ｌ_V22に基づいて消失点位置Ｖ２を算出する。

次に、算出した消失点位置Ｖ１，Ｖ２に基づいて、フレーム画像Ｆ（ｎ）上の各１交点市松模様の交点位置であるフレーム暫定特徴点位置Ｋ_TP（ｎ）における開度（即ち、濃淡領域境界線の傾き）を算出する（Ｓ６０２：開度算出ステップ）。

例えば、消失点位置Ｖ１と交点Ｋ_P21’を結ぶ直線Ｌ_V11の傾きと、消失点位置Ｖ２と交点Ｋ_P21’を結ぶ直線Ｌ_V21の傾きと、に基づいて交点Ｋ_P21’における開度を算出する。

そして、ステップＳ６０２において算出された開度に基づいて、上述のテンプレート群の作成手順を使用し、フレーム用テンプレート群Ｔ（ｎ）を生成する（Ｓ６０３：開度に基づくフレーム用テンプレート群生成ステップ）。

一般的には、フレーム暫定特徴点位置Ｋ_TP（ｎ）から、プレートの位置姿勢を推定し、予め判っているプレート上における各１交点市松模様の位置姿勢に基づいてフレーム画像Ｆ（ｎ）上の各１交点市松模様の交点における濃淡領域境界線の傾きを求めても良い。

なお、フレーム画像Ｆ（ｎ）上の特徴点位置からプレートの位置姿勢を推定する方法については、公知の方法（非特許文献２参照）が知られているため、説明を省略する。ただし、「特徴点の位置群からの姿勢推定」には多くの既存技術があり、非特許文献２に記載された方法に限るものではない。

次に、本実施例における特徴位置検出装置を図１９に基づいて説明する。

図１９中の特徴位置検出装置は、画像データ管理部２０４（後述する）から読み出した上述のようなプレートを撮像した画像データ（フレーム画像）群に対し、上述のサブピクセル精度の特徴位置の推定手順（ステップＳ４０１〜Ｓ４０３）及びステップＳ５０１及びＳ５０３を実行し、テンプレート管理部２０５（後述する）に格納されたテンプレート群を用いて、フレーム暫定特徴点位置及びフレーム特徴点位置を検出する特徴点位置検出部２０１，上述のテンプレート群の作成手順（ステップＳ１０１（もしくはＳ２０１〜Ｓ２０４），Ｓ１０２（もしくはＳ３０１〜Ｓ３０５），Ｓ１０３）及びステップＳ５０２を実行し、プレート姿勢検出部２０３（後述する）を用いて、テンプレート群を作成し、テンプレート管理部２０５（後述する）に格納するテンプレート作成部２０２，上述のステップＳ６０１〜Ｓ６０３の手順を用いて、フレーム暫定特徴点位置に基づき、開度を算出するプレート姿勢検出部２０３，特徴位置を検出する対象であるフレーム画像データを格納し管理する画像データ管理部２０４，テンプレート群を格納し管理するテンプレート管理部２０５，ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）など含み、各部を制御する制御部（図示省略），メモリやハードディスクドライブ装置など含み、当該装置で使用する情報もしくはデータを記憶する記憶部（図示省略）を備え、例えば、コンピュータである。

なお、本実施例における特徴位置検出装置の各部の動作は、上述の手順に詳しく説明した。特徴位置検出装置の全部もしく一部をコンピュータで実行可能なプログラムとして実装しても良い。画像データ管理部２０４，テンプレート管理部２０５は、上述の記憶部に実装されても良い。

以下に、本実施例における特徴位置検出装置の動作の一例を説明する。なお、動作の詳細は、上述の手順を参照されたい。

特徴点位置検出部２０１が、画像データ管理部２０４から取得したフレーム画像データＦ（ｎ）に対して、前記テンプレート管理部に格納されたフレーム用テンプレート画像データ群Ｔ（ｎ−１）を適用し、フレーム暫定特徴点位置Ｋ_TP（ｎ）を検出する（暫定特徴点位置検出手段）。

次に、プレート姿勢検出部２０３が、検出されたフレーム暫定特徴点位置Ｋ_TP（ｎ）に基づき、前記フレーム番号ｎに応じた開度を算出する（開度算出手段）。

次に、テンプレート作成部２０２が、算出されたフレーム番号ｎに応じた開度に基づいて、フレーム画像データＦ（ｎ）上の各１交点市松模様に対応するフレーム用テンプレート群Ｔ（ｎ）を生成する（フレーム用テンプレート群生成手段）。

そして、特徴点位置検出部２０１が、フレーム画像データＦ（ｎ）に、フレーム用テンプレート画像群Ｔ（ｎ）を適用して、フレーム特徴点位置Ｋ_P（ｎ）を検出する（特徴点位置検出手段）。

さらに、開度算出手段は、前記フレーム暫定特徴点位置Ｋ_TP（ｎ）に基づいて、フレーム画像データＦ（ｎ）上の消失点位置を算出し、算出した消失点位置に基づいて、フレーム画像データＦ（ｎ）上の各１交点市松模様の交点位置であるフレーム暫定特徴点位置におけるフレーム番号ｎに応じた開度を算出する。

また、フレーム暫定特徴点位置検出手段は、画像データ管理部２０４から取得したフレーム画像データＦ（ｎ）の各画素位置において、テンプレート管理部２０５に格納されたフレーム用テンプレート画像データ群Ｔ（ｎ−１）を適用し、該フレーム用テンプレート画像データ群における特定のテンプレート画像データに最も類似する画素位置を初期類似画素位置として決定する。続いて、初期類似画素位置および該初期類似画素位置の８近傍画素位置に対して、前記テンプレート画像データ群Ｔ（ｎ−１）の全てのテンプレート画像データを適用し、それらに最も類似する画素位置を８近傍類似画素位置と見做し、最も類似するテンプレートを８近傍類似画素位置テンプレートと見做す。そして、前記８近傍類似画素位置に対し、前記８近傍類似画素位置テンプレートの変換基準点領域における交点の座標を倍率Ｎで割算した値を加算し、その加算された値をフレーム暫定特徴点位置Ｋ_TP（ｎ）と見做す。

また、フレーム用テンプレート群生成手段が、濃淡領域境界線を僅かに傾けた濃淡領域を描画したプレートを撮像したテンプレート用画像データをテンプレート管理部２０５から取得し、テンプレート用画像データのスキャンラインごとに輝度パターンを取り込み、輝度ヒストグラムデータを作成する。続いて、作成したヒストグラムデータに基づいて、明部輝度および暗部輝度から中間輝を求め、理想輝度パターンであるステップ輝度パターンを作成する。続いて、作成したステップ輝度パターンにパラメタをσとするガウシアンカーネル及びパラメタをαとするエッジ強調カーネルを施した合成輝度パターンを作成する。続いて、理想ステップ輝度パターンにガウシアンカーネルとエッジ強調カーネルを施した結果と実際の輝度パターンとの差異を評価する式において、その式による評価値を最小とするパラメタを求め、求められたパラメタをエッジ強調処理するためのパラメタαと見做す。

さらに、フレーム用テンプレート群生成手段が、基準点を有する作成すべき空白テンプレート画像データを倍率Ｎで変倍し、変倍されたことによって、該基準点が変換された変換基準点領域を有する変倍空白テンプレート画像データを作成する。続いて、前記変換基準点領域に含まれる点を交点とし、前記算出されたフレーム番号ｎに応じた開度を成すような濃淡領域境界線に基づいて、交点を１つのみ有する１交点市松模様を変形した模様である変形１交点市松模様を前記変倍空白テンプレートに描画した変倍テンプレート画像データを得る。そして、前記変形１交点市松模様を描画された変倍テンプレート画像データを１／Ｎに縮小し、作成すべきテンプレート画像データと同サイズであるテンプレート画像データを取得し、該テンプレート画像データをテンプレート画像データ群Ｔ（ｎ）のテンプレート画像データとしてテンプレート管理部２０５に格納する。必要に応じて、取得するテンプレート画像データ数が所定の数に満たない場合には、前記変換基準点領域に含まれる交点を１画素分ずらす。

さらに、フレーム用テンプレート群生成手段が、推定したパラメタα及び前記エッジ強調カーネルによって、テンプレート管理部２０５に格納したテンプレート画像データ群Ｔ（ｎ）の各テンプレート画像データの画像をエッジ強調し、改めてテンプレート画像データ群Ｔ（ｎ）のテンプレート画像データとして、テンプレート管理部２０５に格納する。

また、フレーム特徴点位置検出手段が、画像データ管理部２０４から取得したフレーム画像データＦ（ｎ）の各画素位置において、テンプレート管理部２０５に格納されたフレーム番号ｎに応じたフレーム用テンプレート画像データ群Ｔ（ｎ）を適用し、該特定のテンプレート画像データに最も類似する画素位置を初期類似画素位置として決定する。続いて、初期類似画素位置および該初期類似画素位置の８近傍画素位置に対して、前記フレーム番号ｎに応じたテンプレート画像データ群の全てのテンプレート画像データを適用し、それらに最も類似する画素位置を８近傍類似画素位置と見做し、最も類似するテンプレートを８近傍類似画素位置テンプレートと見做す。そして、前記８近傍類似画素位置に対し、前記８近傍類似画素位置テンプレートの変換基準点領域における交点の座標を倍率Ｎで割算した値を加算し、その加算された値をフレーム番号ｎに応じたサブピクセル精度の特徴位置と見做す。

なお、本実施形態及び実施例における方法もしくは手順における各ステップを手段（例えば、コンピュータプログラムで構成された手段）として構成し、特徴位置検出装置を実装しても良い。

上述の実施例によれば、ある位置姿勢にあるプレートを撮像した、１枚の画像データに対する特徴点位置検出方法を応用し、例えば、ゆっくりと位置姿勢が変化するプレートを撮像した一連の画像から次々と特徴点位置を検出する、といったトラッキングにも良好に適応できる。

以上、本発明の実施形態について説明したが、本発明は説明した実施形態に限定されるものでなく、各請求項に記載した範囲において各種の変形を行うことが可能である。

例えば、画像データ管理部とテンプレート管理部を個別に備えたが、汎用的なデータベースにまとめて実装しても良い。

また、本実施形態では、現フレームの画像データをＦ（ｎ）とする一方、前フレームの画像データをＦ（ｎ−１）として好ましい態様を説明しているが、本発明は、これに限定されることはなく、前フレームの画像データにＦ（ｎ−２．３．．．ｋ）を用いてもよい。

本実施形態におけるテンプレート群の作成手順を示す図。 エッジ強調処理のパラメタを推定する手順を示す図。 エッジ強調処理のパラメタを推定する場合の濃淡領域を描画したプレートの一例を示す図。 濃淡領域のヒストグラムの一例を示す図。 ヒストグラムに基づいたステップ輝度パターンの一例を示す図。 エッジ強調カーネルの一例を示す図。 サブピクセル精度で特徴位置を検出するためのテンプレート群を生成する手順を示す図。 テンプレート群を作成する様子を示す図。 開度の例１を示す図。 濃淡領域境界線が直交する場合の開度の例であって、図１０（ａ）は第１象限が黒色かつ第２象限が白色の場合の開度、図１０（ｂ）は第１象限が白色かつ第２象限が黒色の場合の開度を示す図。 本実施形態におけるサブピクセル精度の特徴位置の推定手順を示す図。 テンプレート群を用いて特徴位置を推定する様子を示す図。 本実施形態における特徴位置検出装置の構成図。 本実施例で使用する市松模様を描画されたプレートを示す図。 本実施例における特徴位置検出方法を示す図。 サブピクセル精度の特徴位置を検出する様子を示す図。 フレーム用テンプレート群生成手順を示す図。 開度を算出するステップを示す図。 本実施例における特徴位置検出装置の構成図。 キャリブレーションにおける市松模様を描いたプレートを示す図。 白黒パターン画像における境界部分の画像データにおける輝度曲線であって、図２１（ａ）は理想的な画像データにおける輝度曲線を示す図、図２１（ｂ）はエッジ強調された画像データにおける輝度曲線を示す図。

符号の説明

１０１…特徴点位置検出部
１０２…テンプレート作成部
１０３…画像データ管理部
１０４…テンプレート管理部
２０１…特徴点位置検出部
２０２…テンプレート作成部
２０３…プレート姿勢検出部
２０４…画像データ管理部
２０５…テンプレート管理部
Ｂ_P…入力画像データ
Ｃ…カメラ
Ｆ₂，Ｆ₃…フレーム画像
Ｈ…エッジ強調カーネル
Ｈ_g…ヒストグラム
Ｋ₁，Ｋ₂…仮想線群
Ｋ₃…濃淡領域境界線（仮想線）
Ｋ₄，Ｋ₅…濃淡領域境界線
Ｋ_P…交点
Ｋ_P1，Ｋ_P11…基準点
Ｋ_P2，Ｋ_P3…フレーム特徴点位置
Ｋ_P21，Ｋ_P22，Ｋ_P23，Ｋ_P24…１交点市松模様の交点
Ｋ_P21’，Ｋ_P22’，Ｋ_P23’，Ｋ_P24’…特徴点（１交点市松模様の交点）
Ｋ_PM…変換基準点領域
Ｋ_TP2，Ｋ_TP3…フレーム暫定特徴点位置
Ｌ１，Ｌ２…輝度曲線
Ｌ_V11，Ｌ_V12，Ｌ_V21，Ｌ_V22…直線
Ｎ…変換基準点領域の縦及び横のサイズ（倍率値）
Ｐ_ICH…市松模様
Ｐ_ICH1，Ｐ_ICH2，Ｐ_ICH3，Ｐ_ICH4…１交点市松模様
Ｐ_ICH1’，Ｐ_ICH2’，Ｐ_ICH3’，Ｐ_ICH4’…変形１交点市松模様
Ｐ１１，Ｐ２１，Ｐ３１…プレート
Ｑ…仮想正方形
Ｓ_C…スキャンライン
Ｔ…テンプレート群
Ｔ₁，Ｔ₂，Ｔ₃…フレーム用テンプレート群
Ｖ１，Ｖ２…消失点位置
Ｙ_j…ステップ輝度パターン
ｄ…入力画像データの特定の画素位置
ｄ_t…テンプレートの画素位置の位置
ｔ₀…テンプレート
ｔ_B…空白テンプレート
ｔ_MB…変倍空白テンプレート
ｔ_MBX…変倍空白テンプレートの横サイズ
ｔ_MBY…変倍空白テンプレートの縦サイズ
ｔ_X…テンプレートの横サイズ
ｔ_Y…テンプレートの縦サイズ
ｔ_MP…変倍テンプレート
ｔ_P…テンプレート
θ₁，θ₂…開度

Claims (10)

1. 対象物を連続的に撮像した各フレームの画像から該対象物上の特徴位置を検出する特徴位置検出方法であって、
   暫定特徴点位置検出手段が、現フレームの画像に対し、前フレーム用のテンプレートを適用して、現フレームの画像の暫定特徴位置を検出するステップと、
   テンプレート作成手段が、前記暫定特徴位置に基づいて、現フレームの画像の特徴位置に対応する現フレーム用のテンプレートを作成するステップと、
   特徴位置検出手段が、現フレームの画像に前記現フレーム用のテンプレートを適用して、現フレームの画像の特徴位置を検出するステップと、
   を有することを特徴とする特徴位置検出方法。
2. 前記テンプレートとして、サブピクセル単位でずらした対象物の画像からなるテンプレート群を用いたことを特徴とする請求項１記載の特徴位置検出方法。
3. 前記対象物として、長方形の４個の各頂点に前記特徴位置を有する図形が描写されたプレートを用いるとともに、
   前記図形が、スケールによって局部的見えに変化が生じないことを特徴とする請求項１または２のいずれか記載の特徴位置検出方法。
4. 前記テンプレート生成手段が、
   濃淡二領域を有する前記プレートを撮像した画像の輝度パターンから輝度分布群を作成するステップと、
   前記輝度分布群に基づいて、明部輝度と暗部輝度とから中間輝度理想輝度パターンを求め、理想輝度パターンであるステップ輝度パターンを作成するステップと、
   前記ステップ輝度パターンにエッジ強調カーネルを施した合成輝度パターンを作成するステップと、
   前記合成輝度パターンと実際の輝度パターンとの差異が最小となるパラメタを作成するステップと、
   前記現フレームの画像を、前記パラメタおよび前記エッジ強調カーネルによってエッジ強調するステップと、
   を実行することを特徴とする請求項３記載の特徴位置検出方法。
5. 前記プレートには、濃淡境界線第一と濃淡境界線第二とがつくる領域を交互に濃淡に塗りつぶした少なくとも３個の平面図形が描写され、
   前記両濃淡領域線の交点は、同一平面上に配置されているとともに、方向が異なる二対の平行直線の交点に該当する４個の交点のうちいずれかの３個の交点の位置に一致し、
   前記各濃淡領域線は、前記二対の平行直線に平行なことを特徴とする請求項３または４記載の特徴位置検出方法。
6. 対象物を連続的に撮像した各フレームの画像から該対象物上の特徴位置を検出する特徴位置検出装置であって、
   現フレームの画像に対し、前フレーム用のテンプレートを適用して、現フレームの画像の暫定特徴位置を検出する暫定特徴点位置検出手段と、
   前記暫定特徴位置に基づいて、現フレームの画像の特徴位置に対応する現フレーム用のテンプレートを作成するテンプレート作成手段と、
   現フレームの画像に前記現フレーム用のテンプレートを適用して、現フレームの画像の特徴位置を検出する特徴位置検出手段と、
   を有することを特徴とする特徴位置検出装置。
7. 前記テンプレートとして、サブピクセル単位でずらした対象物の画像からなるテンプレート群を用いたことを特徴とする請求項６記載の特徴位置検出装置。
8. 前記対象物として、長方形の４個の各頂点に前記特徴位置を有する図形が描写されたプレートを用いるとともに、
   前記図形が、スケールによって局部的見えに変化が生じないことを特徴とする請求項６または７のいずれか記載の特徴位置検出方法。
9. 前記テンプレート生成手段は、
   濃淡二領域を有する前記プレートを撮像した画像の輝度パターンから輝度分布群を作成する手段と、
   前記輝度分布群に基づいて、明部輝度と暗部輝度とから中間輝度理想輝度パターンを求め、理想輝度パターンであるステップ輝度パターンを作成する手段と、
   前記ステップ輝度パターンにエッジ強調カーネルを施した合成輝度パターンを作成する手段と、
   前記合成輝度パターンと実際の輝度パターンとの差異が最小となるパラメタを作成する手段と、
   前記現フレームの画像を、前記パラメタおよび前記エッジ強調カーネルによってエッジ強調する手段と、
   を有することを特徴とする請求項８記載の特徴位置検出方法。
10. 前記プレートには、濃淡境界線第一と濃淡境界線第二とがつくる領域を交互に濃淡に塗りつぶした少なくとも３個の平面図形が描写され、
    前記両濃淡領域線の交点は、同一平面上に配置されているとともに、方向が異なる二対の平行直線の交点に該当する４個の交点のうちいずれかの３個の交点の位置に一致し、
    前記各濃淡領域線は、前記二対の平行直線に平行なことを特徴とする請求項８または９記載の特徴位置検出方法。

Images