JP4930854B2 - 関節物体位置姿勢推定装置及びその方法ならびにプログラム - Google Patents

Description

本発明は、関節物体位置姿勢推定装置、関節物体位置姿勢推定方法、及び関節物体位置姿勢推定用プログラムに関し、特に関節物体モデルを用いる関節物体位置姿勢推定装置、関節物体位置姿勢推定方法、及び関節物体位置姿勢推定用プログラムに関する。

従来、この種の関節物体位置姿勢推定技術は、単眼カメラやその蓄積映像などから取得した画像中の関節物体、例えば人体に対して、３次元の位置姿勢を推定するものである。関節物体位置姿勢推定技術は、監視分野での人体行動解析、不審者検出、仮想現実世界でのアバタ動作合成、機械の遠隔操作インタフェースなどの為に用いられる。従来の関節物体位置姿勢推定技術の一例が、亀田能成、美濃導彦、池田克夫、著、「シルエット画像からの関節物体の姿勢推定法」、電子情報通信学会論文誌D-II,Vol.J79-D-II,No.1、1996年1月、pp.26-35に記載されている。

「シルエット画像からの関節物体の姿勢推定法」に記載された関節物体位置姿勢推定技術は、単眼カメラから取得した人体（多関節物体）の２次元画像に対し、３次元の位置姿勢を推定する技術で、次のような構成および動作となる。単眼カメラから取得した入力画像に対し人体シルエット画像を取得する。推定対象となる正確な形状を反映した人体（多関節物体）モデルの位置姿勢を操作し、モデルの人体シルエット画像を取得する。両人体シルエット画像が一致するモデルの位置姿勢を探索し、一致後のモデルの３次元位置姿勢から、入力画像の人体（多関節物体）の３次元位置姿勢を推定する。また探索処理は、人体（多関節物体）モデルの木構造を利用し、各部位ごとにサブ探索処理を行うことにより、全部位を同時に探索する方法より、探索処理量を削減している。

「シルエット画像からの関節物体の姿勢推定法」に記載された関節物体位置姿勢推定技術では、関節物体モデルを操作するパラメータの組み合わせ数が非常に多く、関節物体の位置姿勢を推定する為のモデルフィッティングを行う際の計算コストが非常に大きくなる。関節物体のあらゆる姿勢の推定を目的としているためである。

従来の関節物体位置姿勢推定技術を実時間処理へ適応させるためには解決しなけらばならない課題がある。

関節物体位置姿勢推定技術に関連する他の技術としては、以下のものがある。

特開平７−３０２３４１号公報は、遺伝的アルゴリズムを用いて人体の姿勢を検出する姿勢検出装置を開示している。

特開２００２−６３５６７号公報は、対象物体の表面の色情報を利用して対象物体の位置姿勢を推定する物体位置姿勢推定装置を開示している。

特開２００３−１０９０１５号公報は、隠された身体部位の姿勢の変化を、測定可能な身体部位の姿勢の変化から、姿勢を表す変数間の従属関係を利用して推定する身体動作測定方法を開示している。

特開２００３−１５０９７７号公報は、３次元モデルの関節角の時系列信号を少数のパラメータで表現することを可能とするシステムを開示している。このシステムは、２次元動画像内の人物から、人体の３次元モデルを構成する各オブジェクトの姿勢パラメータを取得する。取得した姿勢パラメータから動作の独立成分を抽出する。抽出した動作の独立成分による空間を利用して３次元モデルの動作を生成する。生成した３次元モデルの動作から、２次元の動画像を生成する。

特開２００４−２１３５８９号公報は、入力画像の明るさに影響されず、短時間に姿勢を検出することが可能な姿勢推定装置を開示している。この装置は、マッチング画像生成部と、パターン・マッチング部とを備えている。マッチング画像生成部は、特定部分の入力画像の各画素を２値化し、更に大きさが設定範囲内である部品を特定して２値画像を得る。パターン・マッチング部は、２値画像と所定のテンプレートとを照合して姿勢を検出する。

本発明の目的は、モデルフィッティングの計算コストを大幅に削減でき、推定速度を向上できる関節物体位置姿勢推定装置及びその方法を提供することにある。

本発明の別の目的は、限定された動作の範囲内で関節物体の姿勢推定を効率良く行うことのできる関節物体位置姿勢推定装置及びその方法を提供することにある。

本発明の関節物体位置姿勢推定装置は、記憶部と、位置姿勢推定装置とを備える。記憶部は、関節物体の予め定められた限定された動きに対応する関節物体フレームモデルの時系列姿勢を主成分分析して求めた動作拘束による低次元パラメータの姿勢モデルに関する情報を記憶する。位置姿勢推定装置は、姿勢モデルが取り得る姿勢の範囲内で関節物体フレームモデルの各姿勢の画像生成と推定対象関節物体画像とのマッチングを行って姿勢を推定する。

本発明の関節物体位置姿勢推定装置において、姿勢モデルに関する情報は、時系列姿勢の平均姿勢と主成分分析で求まる固有ベクトルである基底姿勢ベクトルとを含む。

本発明の関節物体位置姿勢推定装置において、位置姿勢推定装置は、変換部と、モデル画像生成部と、シルエット取得部と、位置姿勢推定部とを含む。変換部は、姿勢モデルによる姿勢記述を関節物体フレームモデルによる姿勢記述に変換する。モデル画像生成部は、変換部で変換された姿勢記述で示される姿勢に調整した関節物体フレームモデルの画像を生成する。シルエット取得部は、モデル画像生成部で生成された関節物体フレームモデルの画像から推定対象関節物体画像とのマッチングに使う画像を生成する。位置姿勢推定部は、シルエット取得部で生成された画像と推定対象関節物体画像とが適合するように変換部に与える姿勢モデルによる姿勢記述を変更する。

本発明の関節物体位置姿勢推定装置は、位置姿勢初期値記憶部を備える。位置姿勢初期値記憶部は、位置姿勢推定部が使用する位置姿勢の推定初期値を記憶する。

本発明の関節物体位置姿勢推定装置において、位置姿勢推定装置は、入力判定付き位置姿勢記述変換部を備える。入力判定付き位置姿勢記述変換部は、位置姿勢初期値記憶部から位置姿勢の推定初期値を取得し、記述形式を判定して、姿勢モデルによる姿勢記述ならそのまま、関節物体フレームモデルによる姿勢記述なら姿勢モデルによる姿勢記述に変換して位置姿勢推定部に出力する。

本発明の関節物体位置姿勢推定装置において、位置姿勢推定装置は、推定対象関節物体画像として推定対象関節物体をそれぞれ異なる視点から撮像した複数の画像を使用し、複数の画像と各視点毎に作成した関節物体フレームモデルの複数の画像とのマッチングにより姿勢を推定する。

本発明の関節物体位置姿勢推定装置において、位置姿勢推定装置は、輪郭スムーズ処理部を備える。輪郭スムーズ処理部は、マッチングを行う双方の画像に現れる関節物体画像の輪郭部分にぼかし処理を行う。

本発明の関節物体位置姿勢推定装置は、関節物体フレームモデル記憶部と、姿勢モデル記憶部と、位置姿勢初期値記憶部と、画像取得部と、第１の関節物体シルエット取得部と、入力判定付き位置姿勢記述変換部と、関節物体モデル画像生成部と、第２の関節物体シルエット取得部と、位置姿勢推定部と、位置姿勢記述変換部と、を備える。関節物体フレームモデル記憶部は、関節物体を球・円筒等の剛体による多関節木構造でモデル化した関節物体フレームモデルの、各部位の剛体の大きさを体型パラメータとして記憶する。姿勢モデル記憶部は、複数関節物体の予め定められた限定された動作における関節物体フレームモデルの時系列姿勢を、主成分分析し求めた動作拘束による低次元パラメータでモデル化した姿勢モデルの、基底姿勢ベクトルと基準姿勢ベクトルを記憶する。位置姿勢初期値記憶部は、位置姿勢の推定初期値を記憶する。画像取得部は、対象関節物体の入力画像を取得する。第１の関節物体シルエット取得部は、入力画像から関節物体シルエット画像（画素ベクトル）を取得する。入力判定付き位置姿勢記述変換部は、位置姿勢初期値記憶部から位置姿勢の推定初期値を取得し記述形式を判定、姿勢モデル記述ならそのまま、関節物体フレームモデル記述なら姿勢モデルを用い姿勢モデル記述に変換する。関節物体モデル画像生成部は、位置姿勢（姿勢モデル記述）に基づき姿勢モデルと関節物体フレームモデルから画像取得部のカメラパラメータに合わせた関節物体モデル画像を生成する。第２の関節物体シルエット取得部は、関節物体モデル画像から関節物体シルエット画像（画素ベクトル）を取得する。位置姿勢推定部は、入力される２つの画素ベクトルから評価関数を計算し、評価関数の値が最小になるよう最適化手法により位置姿勢（姿勢モデル記述）の推定を繰り返し、最終的な推定結果を評価値と位置姿勢（姿勢モデル記述）として出力する。評価関数は、画素ベクトル差分の大きさの二乗で表される。位置姿勢記述変換部は、推定結果である位置姿勢（姿勢モデル記述）を関節物体フレームモデル記述に変換する。

本発明の関節物体位置姿勢推定装置は、関節物体フレームモデル記憶部と、姿勢モデル記憶部と、位置姿勢初期値記憶部と、第１の画像取得部と、第２の画像取得部と、第１の関節物体シルエット取得部と、第２の関節物体シルエット取得部と、第１の画素ベクトル連結部と、入力判定付き位置姿勢記述変換部と、関節物体モデル画像生成部と、第３の関節物体シルエット取得部と、第４の関節物体シルエット取得部と、第２の画素ベクトル連結部と、位置姿勢推定部と、位置姿勢記述変換部と、を備える。関節物体フレームモデル記憶部は、関節物体を球・円筒等の剛体による多関節木構造でモデル化した関節物体フレームモデルの、各部位の剛体の大きさを体型パラメータとして記憶する。姿勢モデル記憶部は、複数関節物体の予め定められた限定された動作における関節物体フレームモデルの時系列姿勢を、主成分分析し求めた動作拘束による低次元パラメータでモデル化した姿勢モデルの、基底姿勢ベクトルと基準姿勢ベクトルを記憶する。位置姿勢初期値記憶部は、位置姿勢の推定初期値を記憶する。第１の画像取得部は、対象関節物体の入力画像を取得する。第２の画像取得部は、対象関節物体の別の入力画像を取得する。第１の関節物体シルエット取得部は、第１の画像取得部の入力画像から関節物体シルエット画像（画素ベクトル）を取得する。第２の関節物体シルエット取得部は、第２の画像取得部の入力画像から関節物体シルエット画像（画素ベクトル）を取得する。第１の画素ベクトル連結部は、画像取得部側からの２つの関節物体シルエット画素ベクトルを決められた順番に連結し１つの画素ベクトルとする。入力判定付き位置姿勢記述変換部は、位置姿勢初期値記憶部から位置姿勢の推定初期値を取得し記述形式を判定、姿勢モデル記述ならそのまま、関節物体フレームモデル記述なら姿勢モデルを用い姿勢モデル記述に変換する。関節物体モデル画像生成部は、位置姿勢（姿勢モデル記述）に基づき姿勢モデルと関節物体フレームモデルから２つの画像取得部のカメラパラメータに合わせた各関節物体モデル画像を生成する。第３の関節物体シルエット取得部は、関節物体モデル画像の１つから関節物体シルエット画像（画素ベクトル）を取得する。第４の関節物体シルエット取得部は、関節物体モデル画像のもう１つから関節物体シルエット画像（画素ベクトル）を取得する。第２の画素ベクトル連結部は、関節物体モデル画像生成部側からの２つの関節物体シルエット画素ベクトルを決められた順番に連結し１つの画素ベクトルとする。位置姿勢推定部は、入力される２つの画素ベクトルから評価関数を計算し、評価関数の値が最小になるよう最適化手法により位置姿勢（姿勢モデル記述）の推定を繰り返し、最終的な推定結果を評価値と位置姿勢（姿勢モデル記述）として出力する。評価関数は、画素ベクトル差分の大きさの二乗で表される。位置姿勢記述変換部は、推定結果である位置姿勢（姿勢モデル記述）を関節物体フレームモデル記述に変換する。

本発明の関節物体位置姿勢推定装置は、関節物体フレームモデル記憶部と、姿勢モデル記憶部と、位置姿勢初期値記憶部と、画像取得部と、第１の関節物体シルエット取得部と、第１の輪郭スムーズ処理部と、入力判定付き位置姿勢記述変換部と、関節物体モデル画像生成部と、第２の関節物体シルエット取得部と、第２の輪郭スムーズ処理部と、位置姿勢推定部と、位置姿勢記述変換部と、を備える。関節物体フレームモデル記憶部は、関節物体を球・円筒等の剛体による多関節木構造でモデル化した関節物体フレームモデルの、各部位の剛体の大きさを体型パラメータとして記憶する。姿勢モデル記憶部は、複数関節物体の予め定められた限定された動作における関節物体フレームモデルの時系列姿勢を、主成分分析し求めた動作拘束による低次元パラメータでモデル化した姿勢モデルの、基底姿勢ベクトルと基準姿勢ベクトルを記憶する。位置姿勢初期値記憶部は、位置姿勢の推定初期値を記憶する。画像取得部は、対象関節物体の入力画像を取得する。第１の関節物体シルエット取得部は、入力画像から関節物体シルエット画像（画素ベクトル）を取得する。第１の輪郭スムーズ処理部は、関節物体シルエット画像に対してぼかし処理を施した処理画像（画素ベクトル）を生成する。入力判定付き位置姿勢記述変換部は、位置姿勢初期値記憶部から位置姿勢の推定初期値を取得し記述形式を判定、姿勢モデル記述ならそのまま、関節物体フレームモデル記述なら姿勢モデルを用い姿勢モデル記述に変換する。関節物体モデル画像生成部は、位置姿勢（姿勢モデル記述）に基づき姿勢モデルと関節物体フレームモデルから画像取得部のカメラパラメータに合わせた関節物体モデル画像を生成する。第２の関節物体シルエット取得部は、関節物体モデル画像から関節物体シルエット画像（画素ベクトル）を取得する。第２の輪郭スムーズ処理部は、関節物体シルエット画像に対してぼかし処理を施して処理画像（画素ベクトル）を生成する。位置姿勢推定部は、入力される２つの画素ベクトルから評価関数を計算し、評価関数の値が最小になるよう最適化手法により位置姿勢（姿勢モデル記述）の推定を繰り返し、最終的な推定結果を評価値と位置姿勢（姿勢モデル記述）として出力する。評価関数は、画素ベクトル差分の大きさの二乗で表される。位置姿勢記述変換部は、推定結果である位置姿勢（姿勢モデル記述）を関節物体フレームモデル記述に変換する。

本発明の関節物体位置姿勢推定方法は、位置姿勢推定装置により、関節物体の予め定められた限定された動きに対応する関節物体フレームモデルの時系列姿勢を主成分分析して求めた動作拘束による低次元パラメータの姿勢モデルに関する情報を記憶部から読み出し、姿勢モデルが取り得る姿勢の範囲内で関節物体フレームモデルの各姿勢の画像生成と推定対象関節物体画像とのマッチングを行って姿勢を推定する。

本発明の関節物体位置姿勢推定方法において、姿勢モデルに関する情報は、時系列姿勢の平均姿勢と主成分分析で求まる固有ベクトルである基底姿勢ベクトルとを含む。

本発明の関節物体位置姿勢推定方法において、位置姿勢推定装置は、姿勢モデルによる姿勢記述を関節物体フレームモデルによる姿勢記述に変換する処理と、変換された姿勢記述で示される姿勢に調整した関節物体フレームモデルの画像を生成する処理と、生成された関節物体フレームモデルの画像から推定対象関節物体画像とのマッチングに使う画像を生成する処理と、生成された画像と推定対象関節物体画像とが適合するように変換を行う姿勢モデルによる姿勢記述を変更する処理とを行う。

本発明の関節物体位置姿勢推定方法において、位置姿勢推定装置は、位置姿勢の推定初期値を位置姿勢初期値記憶部から読み込む処理を行う。

本発明の関節物体位置姿勢推定方法において、位置姿勢推定装置は、位置姿勢初期値記憶部から位置姿勢の推定初期値を取得し、記述形式を判定して、関節物体フレームモデルによる姿勢記述なら姿勢モデルによる姿勢記述に変換して用いる。

本発明の関節物体位置姿勢推定方法において、位置姿勢推定装置は、推定対象関節物体画像として推定対象関節物体をそれぞれ異なる視点から撮像した複数の画像を使用し、複数の画像と各視点毎に作成した関節物体フレームモデルの複数の画像とのマッチングにより姿勢を推定する。

本発明の関節物体位置姿勢推定方法において、位置姿勢推定装置は、マッチングを行う双方の画像に現れる関節物体画像の輪郭部分にぼかし処理を行う。

関節物体のあらゆる姿勢の推定を目的とする場合には関節物体モデルの位置姿勢を表すパラメータの組み合わせ数が非常に多くなるが、「歩く動作」や「物を掴む動作」などの限定された動作の範囲内で関節物体の姿勢を推定するようにすれば、自ずとパラメータの組み合わせ数が少なくなる。そして、このように限定された動作の場合、その姿勢の分布範囲はある規則的な分布を示すため、その動作の時系列姿勢を基に主成分分析すれば、パラメータ数を削減した姿勢モデルが構築できる。また、姿勢モデルによる姿勢記述と関節物体モデルによる姿勢記述とは相互に記述変換できる。このため、姿勢モデルによる姿勢記述を変更し、この変更された姿勢記述を関節物体モデルによる姿勢記述に変換して関節物体モデルの姿勢を調整することにより、パラメータ数の少ない姿勢モデルを通じて関節物体モデルの姿勢を調整できる。その結果、モデルフィッティングの計算コストが削減でき、推定速度を向上することができる。

本発明による第１の効果は、関節物体の位置姿勢を推定する為のモデルフィッティングの計算コストを削減できると共に推定速度を向上できることである。

その理由は、動作拘束による低次元パラメータの姿勢モデルを通じて関節物体モデルの姿勢を制御し、関節物体モデル画像の生成と推定対象関節物体画像とのマッチングを行って姿勢を推定するためである。

本発明による第２の効果は、単眼での自己オクルージョンが生じた関節物体シルエット画像に対し推定精度を高められることである。

その理由は、動作拘束による姿勢モデルを用いることにより、非自己オクルージョン部分の推定から自己オクルージョン部分の推定が誘発、動作拘束され、多数存在する位置姿勢の推定候補が限定されるためである。

図１は、本発明の第１の実施の形態に係るブロック図である。 図２は、本発明の第１の実施の形態に係る人体フレームモデルの説明図である。 図３は、本発明の第１の実施の形態に係る姿勢モデルの作成例を示す図である。 図４Ａは、本発明の第１の実施の形態に係る動作を示すフローチャートである。 図４Ｂは、本発明の第１の実施の形態に係る動作を示すフローチャートである。 図５は、本発明の第２の実施の形態に係るブロック図である。 図６Ａは、本発明の第２の実施の形態に係る動作を示すフローチャートである。 図６Ｂは、本発明の第２の実施の形態に係る動作を示すフローチャートである。 図７は、本発明の第３の実施の形態に係るブロック図である。 図８は、本発明の第３の実施の形態に係る輪郭スムーズ処理の説明図で、(a)は注目輪郭画素における輪郭スムーズ処理を示す図、(b)は輪郭スムーズ処理前の輝度値を示す図、(c)は輪郭スムーズ処理後の輝度値を示す図である。 図９Ａは、本発明の第３の実施の形態に係る動作を示すフローチャートである。 図９Ｂは、本発明の第３の実施の形態に係る動作を示すフローチャートである。 図１０は、本発明の第４の実施の形態に係るブロック図である。

次に、本発明の実施の形態について図面を参照して詳細に説明する。

（第１の実施の形態）
図１を参照すると、本発明の第１の実施の形態にかかる関節物体位置姿勢推定装置は、画像取得部７と、人体位置姿勢推定装置１０１と、位置姿勢初期値記憶部３と、人体モデル記憶装置１０２とを備えている。画像取得部７は、姿勢推定対象の人物の画像を取得するカメラ等である。人体位置姿勢推定装置１０１は、画像取得部７で取得された人物画像に対し位置姿勢の推定を行いその結果を出力する。位置姿勢初期値記憶部３は、人体位置姿勢推定装置１０１が位置姿勢を推定する際に使用する、位置姿勢の推定初期値を記憶する。人体モデル記憶装置１０２は、人体位置姿勢推定装置１０１が位置姿勢を推定する際に使用する人体モデルの情報を記憶する。

人体モデル記憶装置１０２に記憶される人体モデルの情報は、人体フレームモデルに関する情報と姿勢モデルに関する情報とに分けられる。前者は人体フレームモデル記憶部１に記憶され、後者は姿勢モデル記憶部２に記憶される。以下、人体フレームモデルと姿勢モデルについて説明する。

人体フレームモデルは、人体を球・円筒等の剛体による多関節木構造でモデル化したものである。図２に人体フレームモデルのワイヤーフレーム３１２とローカル座標系３００を示す。なお、人体フレームモデルは、実際はソリッドモデルである。図２に示す人体フレームモデルのワイヤーフレーム３１２は、人体フレームモデルとローカル座標系３００の関係を視覚的に分かりやすくするために示したものである。

図２に示される人体フレームモデルは、３０１〜３１１の合計１１の部位で構成される。各部位の形状と大きさは、体型パラメータとして数値化され、人体フレームモデル記憶部１に記憶されている。また、ローカル座標系３００に示されるように、各部位のローカル座標系は、各部位の関節位置に設定されている。各部位は親と子の関係で連結されており、子の部位の姿勢は親の部位のローカル座標系を基準に、xyz軸回転の３パラメータで決定される。親の最上位部位（ルート部位）は、ワールド座標系を基準に、xyz軸回転の３パラメータで決定されると共に、位置（人体位置）がxyz座標位置の３パラメータで決定される。よって、人体フレームモデルの位置姿勢は、以下のように示される。

まず、人体位置ｐ（ルート部位の位置）は、

のベクトルとして示される。また、各部位の姿勢（関節の角度）は、

のベクトルとして示される。ここで、nは部位数であり、i=1はルート部位の姿勢を表す。

人体フレームモデルの位置姿勢は、式(1)、式(2)より、

のベクトルとして示され、これを、人体フレームモデル記述における位置姿勢と呼び、位置姿勢（人体フレームモデル記述）と記す。ここで、nは部位数であり、Ｔは転置を表す。

人体フレームモデルの場合、式(3)で与えられる位置姿勢と、人体フレームモデル記憶部１に記憶されている各部位の形状および大きさを定める体型パラメータとから、人体モデルの位置姿勢が一意に定められる。

次に姿勢モデルについて説明する。

姿勢モデルは、図３に示されるような手順により、以下のようにして作成される。

まず、式(3)で与えられる位置姿勢（人体フレームモデル記述）における人体位置ｐとルート部位姿勢θ₁を除いた、

を、姿勢ベクトルとして定義する。ここで、nは部位数である。

次に、或る人物ｋが所定の動作を行った際の時系列の姿勢ベクトルｓ_k ⁽¹⁾，…，ｓ_k ^(u)を集め、時系列に対して平均姿勢ベクトル５０１を求める。ここで、所定の動作とは、歩行動作、座る動作、物を掴む動作などの予め定められた限定された動作のことである。平均姿勢ベクトル５０１は、例えば所定の動作が歩く動作であれば、人物ｋの直立不動の姿勢に相当する。直立不動の姿勢でも個人により姿勢が異なるため、平均姿勢ベクトル５０１は人物ｋの体型による手足等のつき方を表すベクトルに相当する。

次に、個人別の姿勢オフセットを削除するために、時系列の各姿勢ベクトルｓ_k ⁽¹⁾，…，ｓ_k ^(u)から平均姿勢ベクトル５０１を減算する。これにより、個人による体型の影響を除去した、上述の所定動作にかかる姿勢ベクトルであるデータセット５０２が生成される。

以上と同様な平均姿勢ベクトル５０１とデータセット５０２の組を複数の人物1〜ｑについて生成する。

次に、複数の人物について生成したデータセット５０２に対し、主成分分析５０３を行い、求まった固有ベクトルを基底姿勢ベクトルB_j ５０４とする。データセット５０２に含まれる姿勢ベクトルsの変数は、θ₂〜θ_nであり、その各々が３次元なので、変数は3(n-1)個ある。主成分分析５０３では、この3(n-1)個の変数からなる多変量データ行列から、新たに、互いに直交する3(n-1)個の合成変数からなる多変量データ行列を生成する。この合成変数のことを主成分といい、データセット５０２の元の変数の重み付き線形結合で表現され、その重みが固有ベクトルになる。

他方、各人物の平均姿勢ベクトル５０１の平均を求め、その結果を基準姿勢ベクトルS_std ５０５とする。なお、基準姿勢ベクトル５０５は、平均姿勢ベクトル５０１を求める前の全姿勢ベクトルの平均でも良い。

さて、動作の再現性と次元削減量とのバランスを考慮して事前に定めた累積寄与率を満たす主成分数をm＜3(n-1)とすると、姿勢モデルは次式(5)で与えられる。

ここで、S_stdは基準姿勢ベクトル、B_jは基底姿勢ベクトル（固有ベクトル）、λ_jは基底姿勢ベクトルの係数、mは基底姿勢ベクトルの個数、nは部位数である。

式(5)で与えられる姿勢モデルを、動作拘束による低次元パラメータの姿勢モデルと言う。

式(3)に式(4)を適用すると、ｘ＝（ｐ，θ₁，ｓ^T）^Tとなる。ｓは式(5)により、S_stdとB_jを既知とすると、λの変数として表現できるため、次式(6)が導出される。

上記の式(6)で表現される位置姿勢を、姿勢モデル記述による位置姿勢と呼び、位置姿勢（姿勢モデル記述）と表記する。式(5)における基底姿勢ベクトルB_jと基準姿勢ベクトルS_stdが、姿勢モデル記憶部２に記憶されている。

このように姿勢モデルは、人体フレームモデルの姿勢を動作拘束による低次元パラメータで表現したモデルと言える。

なお、位置姿勢は、式(5)より、位置姿勢（人体フレームモデル記述）と位置姿勢（姿勢モデル記述）とに相互に記述変換することが可能である。

以上で人体フレームモデルと姿勢モデルの説明を終える。

再び図１を参照すると、人体位置姿勢推定装置１０１は、人体モデル画像生成部４と、人体シルエット取得部８および１１と、入力判定付き位置姿勢記述変換部５と、位置姿勢記述変換部６Ａおよび６Ｂと、位置姿勢推定部１０とを備えている。

位置姿勢記述変換部６Ａは、位置姿勢推定部１０から与えられる式(6)による位置姿勢（姿勢モデル記述）を式(3)による位置姿勢（人体フレームモデル記述）に変換して人体モデル画像生成部４に出力する。変換に必要な、姿勢モデルの基底姿勢ベクトルと基準姿勢ベクトルは、姿勢モデル記憶部２から取得する。

人体モデル画像生成部４は、位置姿勢記述変換部６Ａから与えられる式(3)による位置姿勢（人体フレームモデル記述）と人体フレームモデル記憶部１に記憶された体型パラメータとに基づいて作成した人体フレームモデルから、画像取得部７のカメラパラメータに合わせた人体モデル画像を生成し、人体シルエット取得部１１に出力する。ここで、カメラパラメータとは、ワールド座標系原点からのカメラの位置（カメラ座標系原点の位置）、ワールド座標系を基準としたカメラの姿勢（xyz回転角度）、カメラの焦点距離、カメラの垂直画角、二次元画像への投影スクリーン幅、二次元画像への投影スクリーン高さなどである。つまり、ワールド座標系に存在する３次元人体モデルをカメラから見た投影二次元画像に変換する際に必要なパラメータである。

人体シルエット取得部８は、画像取得部７から入力したカメラによる撮像画像に対して濃淡化処理、背景差分、２値化、ラベリング等の処理を施し、人体シルエット画像（画素ベクトル）を取得する。カメラ画像から人体シルエット画像を取得する方法は、その他にも種々存在し、それらの任意の方法を使用することができる。同様に、人体シルエット取得部１１は、人体モデル画像生成部４で生成された人体モデル画像から人体シルエット画像（画素ベクトル）を取得する。

位置姿勢初期値記憶部３は、姿勢モデル記述と人体フレームモデル記述の何れかの記述形式で記述された、位置姿勢の推定初期値を記憶している。

入力判定付き位置姿勢記述変換部５は、位置姿勢初期値記憶部３からの位置姿勢の推定初期値に対し、その記述形式を判定し、姿勢モデル記述ならそのまま位置姿勢推定部１０へ出力し、人体フレームモデル記述なら姿勢モデル式(5)を用いて姿勢モデル記述に変換して位置姿勢推定部１０へ出力する。変換に必要な、姿勢モデルの基底姿勢ベクトルと基準姿勢ベクトルは、姿勢モデル記憶部２から取得する。

位置姿勢推定部１０は、人体シルエット取得部１１から入力される人体シルエット画像が人体シルエット取得部８から入力される人体シルエット画像に一致するように、人体モデル画像生成部４で生成する人体フレームモデルを更新することにより、人体シルエット取得部８で取得された人体シルエット画像にかかる人物の位置姿勢を推定する。具体的には、人体シルエット取得部８および１１から入力される２つの画素ベクトルから評価関数を計算し、評価関数の値が最小になるよう最適化手法により位置姿勢（姿勢モデル記述）を更新して位置姿勢記述変換部６Ａに与える操作を繰り返し、最終的な推定結果を評価値（評価関数の値）と位置姿勢（姿勢モデル記述）として出力する。位置姿勢推定部１０は、入力判定付き位置姿勢記述変換部５から与えられる位置姿勢を初期の位置姿勢として位置姿勢記述変換部６Ａに与える。評価関数は、式(7)に示されるように、画素ベクトル差分の大きさの二乗で表される。

ここで、Ｉ_tは人体シルエット取得部８側（画像取得部側）からの画素ベクトル、Ｉ_m(x')は人体シルエット取得部１１側（人体モデル画像生成部側）からの画素ベクトルである。

本実施の形態では、最適化手法として非線形最小二乗法を用いたが、他の様々な方法を利用することも可能である。

位置姿勢記述変換部６Ｂは、位置姿勢推定部１０からの位置姿勢（姿勢モデル記述）に対し、姿勢モデル式(5)を用い、人体フレームモデル記述に変換する。変換に必要な姿勢モデルの基底姿勢ベクトルと基準姿勢ベクトルは、姿勢モデル記憶部２から取得する。

次に、図１、図４Ａ、及び図４Ｂを参照して本実施の形態の動作について詳細に説明する。

まず準備処理として、人体モデル画像生成部４は、人体フレームモデル記憶部１より人体フレームモデルの体型パラメータを取得し、人体フレームモデルに設定する（ステップＳ１）。また、入力判定付き位置姿勢記述変換部５、位置姿勢記述変換部６Ａおよび６Ｂは、姿勢モデル記憶部２より姿勢モデルの基底姿勢ベクトルと基準姿勢ベクトルを取得し、各姿勢モデルに設定する（ステップＳ２）。

画像取得部７で取得された入力画像が人体位置姿勢推定装置１０１に入力されると、以下の処理が実行される。

まず、画像取得部７からの入力画像は人体シルエット取得部８に供給される。人体シルエット取得部８は、入力画像から人体シルエット画像（画素ベクトル）を取得する（ステップＳ３）。

次に、位置姿勢初期値記憶部３から位置姿勢の推定初期値が取得され、入力判定付き位置姿勢記述変換部５へ供給される（ステップＳ５）。ここで、位置姿勢の推定初期値を設定する方法しては、以下の３つの例などが考えられる。例(1)においては、両シルエットが重なるように、人体フレームモデル記述のｘまたは姿勢モデル記述のｘ’をＧＵＩにて手動設定する。例(2)においては、動画による姿勢推定の場合、前フレームで決定した人体フレームモデル記述のｘから線形的に次の人体フレームモデル記述のｘを予測し、その値を初期姿勢として設定する。例(3)においては、歩行動作における姿勢モデル記述のｘ’の場合、シルエットの重心ｘ座標とその高さの上下部位が最小になるように自動でｐを設定し、シルエットの重心移動方向から簡易的に求めた進行方向にθ1のZ軸回転を設定し、その他のθ1の軸回転を0とし、係数λの一番影響力がある第１成分λ1を例えば±30に設定し、他の成分を0とする。

入力判定付き位置姿勢記述変換部５は、供給された位置姿勢の推定初期値が姿勢モデル記述か否かを調べ（ステップＳ６）、姿勢モデル記述の場合は、そのまま位置姿勢推定部１０へ供給し、人体フレームモデル記述の場合は、姿勢モデル記述に変換して位置姿勢推定部１０へ供給する（ステップＳ７）。

次に、位置姿勢推定部１０は、入力判定付き位置姿勢記述変換部５から位置姿勢（姿勢モデル記述）を取得すると、そのまま、位置姿勢記述変換部６Ａへ供給する。位置姿勢記述変換部６Ａは、位置姿勢（姿勢モデル記述）を位置姿勢（人体フレームモデル記述）に変換して人体モデル画像生成部４へ供給する。人体モデル画像生成部４は、位置姿勢（人体フレームモデル記述）に基づき、人体フレームモデルから画像取得部７のカメラパラメータに合わせた人体モデル画像を生成する（ステップＳ８）。人体モデル画像生成部４で生成された人体モデル画像は、人体シルエット取得部１１に供給され、そこで人体シルエット画像（画素ベクトル）が取得される（ステップＳ９）。人体シルエット取得部１１は、人体シルエット画像（画素ベクトル）を位置姿勢推定部１０へ出力する。

位置姿勢推定部１０は、人体シルエット取得部８および人体シルエット取得部１１から入力される２つの画素ベクトルを用い、画素ベクトル差分の大きさの二乗という評価関数（式(7)）を計算する（ステップＳ１１）。計算された評価関数の値が、最小を示す終了条件を満たしたかどうかを調べ（ステップＳ１２）、終了条件を満たさない場合は、評価関数の値が最小になるよう最適化手法により位置姿勢（姿勢モデル記述）の修正量を計算し、新たな位置姿勢（姿勢モデル記述）を取得する（ステップＳ１４）。そして、取得した位置姿勢（姿勢モデル記述）を位置姿勢記述変換部６Ａにより位置姿勢（人体フレームモデル記述）に変換して人体モデル画像生成部４へ供給する。終了条件を満たすまで、ステップＳ８、Ｓ９、Ｓ１１、Ｓ１２およびＳ１４による処理が繰り返される。

終了条件が満たされた場合、位置姿勢推定部１０は、評価関数の値（評価値）とその時点の位置姿勢（姿勢モデル記述）を結果として位置姿勢記述変換部６Ｂへ出力する。位置姿勢記述変換部６Ｂは、位置姿勢（姿勢モデル記述）を位置姿勢（人体フレームモデル記述）に変換し、位置姿勢の推定結果として出力する（ステップＳ１３）。

次に、本実施の形態の効果について説明する。

１）本実施の形態によれば、人体の位置姿勢を推定する為のモデルフィッティングの計算コストを削減できると共に、推定速度も高めることができる。

その第１の理由は、限定された動作から導出した姿勢モデルを使って、限定された動作の範囲内で位置姿勢を推定するようにしているため、人体モデルの位置姿勢の調整範囲が狭くなり、その分だけ計算コストが削減でき、推定速度が早まるからである。第２の理由は、人体モデルの位置姿勢を調整するためのパラメータ数が削減されるためである。より具体的には、本実施の形態では、式(6)で示される位置姿勢（姿勢モデル記述）を変更することによって、間接的に式(3)で示される位置姿勢（人体フレームモデル記述）を変更している。式(3)の位置姿勢（人体フレームモデル記述）を直接変更する場合にはθ₂〜θ_nの部分だけで3(n-1)個のパラメータを変更しなければならないのに対して、位置姿勢（姿勢モデル記述）では式(6)中のλ_jを変更すれば良い。λ_jに関するパラメータ数mは、主成分分析の作用により、一般的に3(n-1)より小さくできる。第３の理由は、本実施の形態では、球や円筒等の剛体によって近似した人体フレームモデルを使用するため、モデルの各部位を正確に表現する「シルエット画像からの関節物体の姿勢推定法」に記載された関節物体位置姿勢推定技術に比べて計算量が削減できるからである。

２）「シルエット画像からの関節物体の姿勢推定法」に記載された関節物体位置姿勢推定技術でも「限定された動作」の範囲内で姿勢推定するようにすれば計算コストが削減されるが、本実施の形態によれば、より効率的に計算コストの削減が可能である。その理由は次の通りである。

「シルエット画像からの関節物体の姿勢推定法」に記載された関節物体位置姿勢推定技術で、「限定された動作」を表現する場合、各関節１つずつに対して独立に関節可動範囲を与えることになる。例えば、「歩行動作」について「限定された動作」を表現するならば、歩行動作について各関節の可動範囲を調べ、それぞれの関節に可動範囲をつける。こうして可動範囲を制限すると、ある程度、姿勢の組み合わせを小さくすることができ、その分だけ計算コストが削減されるが、無駄な姿勢も多く含まれる。何故なら、例えば歩行動作の場合、同じ側の手足が同時に前にでる姿勢は除外して差し支えないが、各関節１つずつに対して独立に関節可動範囲を与える方法では、このような姿勢を除外できないためである。これに対して本実施の形態では、反対側の手足が同時に前にでるという一般的な歩行動作に基づいて主成分分析により、その関係性を姿勢モデルで表現しているため、左腕が前に出る時左脚が前に出るといった姿勢などは評価対象外となる。これにより、より計算コストの削減が可能になると共に、推定ミスも少なくなる。

３）本実施の形態によれば、自己オクルージョンが生じた推定対象の入力画像に対し推定精度を高めることができる。

その理由は、限定された動作から導出した姿勢モデルを使って、限定された動作の範囲内で位置姿勢を推定するため、非自己オクルージョン部分（見える部分）によって姿勢が推定されると、自己オクルージョン部分（体に隠れて見えない部分）の姿勢が限定されるからである。例えば、カメラの左から右に歩行動作を行い、左腕が自分の体に隠れた自己オクルージョン状態を考える場合、左腕の姿勢は、色々な姿勢に想像できる。しかし、姿勢モデルを用いた場合、左腕の姿勢は、姿勢モデルの性質上、他の部分を見ることで限定される。つまり、左腕以外の部分で姿勢推定が行われると、左腕がどのようになっているかが限定され推定されるということになる。

４）位置姿勢の推定初期値として、姿勢モデル記述と人体フレームモデル記述の２つの記述形式のどちらでも記述することができる。その理由は、入力判定付き位置姿勢記述変換部５を備えているためである。

なお、本実施の形態は限定された動作の範囲内で位置姿勢を推定するため、限定された動作の姿勢を検知する行動監視などの利用で特に有効である。例えば、禁煙場所での喫煙行為の監視、自動車運転中での携帯電話使用行為の監視などが考えられる。

また、本実施の形態の変形例として、複数の動作のぞれぞれに対応する姿勢モデルを作成して外部記憶装置に保存しておき、外部記憶装置から姿勢モデルを適宜読み出して姿勢モデル記憶部２のデータを入れ替えることとしてもよい。このようにすることで限定された動作の範囲をより拡大することが可能である。例えば、ある姿勢推定したい映像における１フレーム画像について、全ての姿勢モデルを利用して姿勢推定し、評価値の低い姿勢モデルを除き、次のフレーム画像について同様に姿勢推定する処理を繰り返すことにより、より広い範囲の動作の姿勢推定が可能である。

（第２の実施の形態）
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。

図５を参照すると、本発明の第２の実施の形態にかかる関節物体位置姿勢推定装置は、以下の点で第１の実施の形態と相違する。すなわち、画像取得部７とは別の視点で同じ姿勢推定対象物を撮像するもう１つの画像取得部１３が用いられている。これに伴って、人体シルエット取得部１４および１５と、画素ベクトル連結部１６および１７とが追加されている。また、人体モデル画像生成部４のかわりに人体モデル画像生成部１８が設けられている。人体モデル画像生成部１８の機能は人体モデル画像生成部４と一部相違している。

画像取得部１３は、姿勢推定に利用できる有効な画像情報を増やすという観点から、画像取得部７とは異なる視点から同じ姿勢対象物である人物を撮像する。画像取得部１３が人物を撮像する視点と、画像取得部７がこの人物を撮像する視点とは、大きく異なっていることが望ましい。人体シルエット取得部１４は、人体シルエット取得部８と同様の方法で、画像取得部１３の入力画像から人体シルエット画像（画素ベクトル）を取得する。画素ベクトル連結部１６は、人体シルエット取得部８から入力された画素ベクトルと人体シルエット取得部１４から入力された画素ベクトルとを予め決められた順番に連結して１つの画素ベクトルを生成し、これを位置姿勢推定部１０へ出力する。

人体モデル画像生成部１８は、位置姿勢記述変換部６Ａから与えられる式(3)による位置姿勢（人体フレームモデル記述）と人体フレームモデル記憶部１に記憶された体型パラメータとに基づいて人体フレームモデルを作成する。人体モデル画像生成部１８は、作成した人体フレームモデルから、画像取得部７のカメラパラメータに合わせた人体モデル画像を生成して人体シルエット取得部１１に出力すると共に、画像取得部１３のカメラパラメータに合わせた人体モデル画像を生成して人体シルエット取得部１５に出力する。人体シルエット取得部１５は、人体シルエット取得部１１と同様の方法で、人体モデル画像生成部１８で生成された人体モデル画像から人体シルエット画像（画素ベクトル）を取得する。画素ベクトル連結部１７は、人体シルエット取得部１１から入力された画素ベクトルと人体シルエット取得部１５から入力された画素ベクトルとを、画素ベクトル連結部１６と同じ方法で連結して１つの画素ベクトルを生成し、これを位置姿勢推定部１０へ出力する。

その他の構成要素は第１の実施の形態と同じである。

次に、図５、図６Ａ、及び図６Ｂを参照して本実施の形態の動作について説明する。

第１の実施の形態と同様な準備処理が行われた後（ステップＳ１、Ｓ２）、画像取得部７および１３で取得された入力画像が人体位置姿勢推定装置１０３に入力されると、以下の処理が実行される。

まず、画像取得部７からの入力画像は人体シルエット取得部８に、画像取得部１３からの入力画像は人体シルエット取得部１４にそれぞれ供給され、その各々で人体シルエット画像（画素ベクトル）が取得される（ステップＳ３、Ｓ１５）。

次に画素ベクトル連結部１６は、人体シルエット取得部８で取得された画素ベクトルと人体シルエット取得部１４で取得された画素ベクトルとを連結して１つの画素ベクトルを生成し、位置姿勢推定部１０へ出力する。

次に、位置姿勢初期値記憶部３から位置姿勢の推定初期値が取得され、入力判定付き位置姿勢記述変換部５へ供給される（ステップＳ５）。入力判定付き位置姿勢記述変換部５は、供給された位置姿勢の推定初期値が姿勢モデル記述か否かを調べ（ステップＳ６）、姿勢モデル記述の場合は、そのまま位置姿勢推定部１０へ供給し、人体フレームモデル記述の場合は、姿勢モデル記述に変換して位置姿勢推定部１０へ供給する（ステップＳ７）。

次に、位置姿勢推定部１０は、入力判定付き位置姿勢記述変換部５から位置姿勢（姿勢モデル記述）を取得すると、そのまま、位置姿勢記述変換部６Ａへ供給する。位置姿勢記述変換部６Ａは、位置姿勢（姿勢モデル記述）を位置姿勢（人体フレームモデル記述）に変換して人体モデル画像生成部１８へ供給する。人体モデル画像生成部１８は、この位置姿勢（人体フレームモデル記述）に基づき、人体フレームモデルから画像取得部７のカメラパラメータに合わせた人体モデル画像と画像取得部１３のカメラパラメータに合わせた人体モデル画像とを生成する（ステップＳ１７）。人体モデル画像生成部１８で生成された２つの人体モデル画像は、人体シルエット取得部１１および１５に供給され、その各々で人体シルエット画像（画素ベクトル）が取得される（ステップＳ１８）。人体シルエット取得部１１および１５の各々は、取得した人体シルエット画像（画素ベクトル）を画素ベクトル連結部１７に出力する。

次に画素ベクトル連結部１７は、人体シルエット取得部１１で取得された画素ベクトルと人体シルエット取得部１５で取得された画素ベクトルとを連結して１つの画素ベクトルを生成し、これを位置姿勢推定部１０へ出力する（ステップＳ１９）。

位置姿勢推定部１０は、画素ベクトル連結部１６および１７から入力される２つの画素ベクトルを用い、評価関数（式(7)）を計算する（ステップＳ１１）。評価関数は画素ベクトル差分の大きさの二乗で表される。位置姿勢推定部１０は、計算された評価関数の値が、最小を示す終了条件を満たしたかどうかを調べ（ステップＳ１２）、終了条件を満たさない場合は、評価関数の値が最小になるよう最適化手法により位置姿勢（姿勢モデル記述）の修正量を計算し、新たな位置姿勢（姿勢モデル記述）を取得する（ステップＳ１４）。そして、取得した位置姿勢（姿勢モデル記述）を位置姿勢記述変換部６Ａにより位置姿勢（人体フレームモデル記述）に変換して人体モデル画像生成部１８へ供給する。終了条件を満たすまで、ステップＳ１７、Ｓ１８、Ｓ１９、Ｓ１１、Ｓ１２およびＳ１４による処理が繰り返される。

終了条件が満たされた場合、位置姿勢推定部１０は、評価関数の値（評価値）とその時点の位置姿勢（姿勢モデル記述）を結果として位置姿勢記述変換部６Ｂへ出力する。位置姿勢記述変換部６Ｂは、位置姿勢（姿勢モデル記述）を位置姿勢（人体フレームモデル記述）に変換し、位置姿勢の推定結果として出力する（ステップＳ１３）。

次に、本実施の形態の効果について説明する。

本実施の形態によれば、第１の実施の形態と同様の効果が得られると共に、位置姿勢の推定精度をより高めることができる。その理由は、互いに視点の異なる２つの画像取得部７、１３によって撮像して得た画素ベクトルを連結した画素ベクトルは、１つの画像取得部で撮像して得た画素ベクトルに比べて、位置姿勢推定に利用できる有効な画像情報が多いためである。

なお、本実施の形態では、２つの画像取得部を用いる場合について説明したが、画像取得部の数に制限はなく、３つ以上の画像取得部を使用しても良い。

（第３の実施の形態）
次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。

図７を参照すると、本発明の第３の実施の形態にかかる関節物体位置姿勢推定装置は、人体シルエット取得部８と位置姿勢推定部１０との間に輪郭スムーズ処理部９が設けられ、人体シルエット取得部１１と位置姿勢推定部１０との間に輪郭スムーズ処理部１２が設けられている点で、第１の実施の形態と相違する。

輪郭スムーズ処理部９は、人体シルエット取得部８で取得された人体シルエット画像の人体シルエット輪郭部分に対してぼかし処理を施し、処理画像（画素ベクトル）として位置姿勢推定部１０に出力する。同様に、輪郭スムーズ処理部１２は、人体シルエット取得部１１で取得された人体シルエット画像の人体シルエット輪郭部分に対してぼかし処理を施し、処理画像（画素ベクトル）として位置姿勢推定部１０に出力する。

輪郭スムーズ処理部９および１２の処理の内容を図８を参照して説明する。

まず、図８(a)に示されるように、人体シルエット画像の任意の輪郭画素（注目輪郭画素６０１）に注目し、その周囲の８画素のうち背景画像画素（処理対象画素６０２）を、次の式(8)により計算される輝度値に設定する。

但し、ステップ総数は固定値、ステップNoの初期値は１、設定輝度値は小数点以下切り捨てとする。

上記処理を全ての人体シルエット画像の輪郭画素６０１について行う。全ての人体シルエット画像の輪郭画素６０１を処理するまでを１つのステップ処理とし、次は、処理された画像に対して、同様のステップ処理を行う。これを設定したステップ総数分繰り返す。また、最初のステップ処理をステップNo=1とし、ステップ処理が進む毎に、ステップNoをインクリメントする。

図８(b)(c)に、輪郭スムーズ処理前後の輝度値の遷移例を示す。このように輪郭スムーズ処理部９および１２は、人体シルエット情報を欠かすことなくぼかし効果を高速かつ広域に行う。

本実施の形態の動作を図７、図９Ａ、及び図９Ｂを参照して詳細に説明する。

図９ＡのステップＳ１〜Ｓ３、Ｓ５〜Ｓ７、図９ＢのステップＳ８、Ｓ９、Ｓ１１〜Ｓ１４で示される、本実施の形態における画像取得部７、人体シルエット取得部８および１１、人体モデル画像生成部４、位置姿勢推定部１０、入力判定付き位置姿勢記述変換部５、位置姿勢記述変換部６Ａおよび６Ｂの動作は、第１の実施の形態における対応する構成の動作と同一である為、説明は省略する。

第１の実施の形態では、人体シルエット取得部８および１１で取得した人体シルエット画像（画素ベクトル）を位置姿勢推定部１０に供給していたが、本実施の形態では、人体シルエット取得部８で取得した人体シルエット画像を輪郭スムーズ処理部９へ、人体シルエット取得部１１で取得した人体シルエット画像を輪郭スムーズ処理部１２へ供給する。

輪郭スムーズ処理部９は、取得した人体シルエット画像を輪郭スムーズ処理で加工し、処理画像（画素ベクトル）を生成して（ステップＳ４）、位置姿勢推定部１０に供給する。

輪郭スムーズ処理部１２は、取得した人体シルエット画像を輪郭スムーズ処理で加工し、処理画像（画素ベクトル）を生成して（ステップＳ１０）、位置姿勢推定部１０に供給する。

次に、本実施の形態の効果について説明する。

本実施の形態によれば、第１の実施の形態と同様の効果が得られると共に、人体シルエット画像に輪郭スムーズ処理を施すため、体型変動を吸収でき、人体フレームモデルの体型パラメータに平均体型等を用いても、任意の人物や体型が変動した人体に対する姿勢推定が可能になる。つまり、推定対象人物の正確なモデル体型を必要としない。また、最適化手法におけるモデルフィッティングの収束速度も向上する。さらに、初期姿勢をロバストにする効果がある。

（第４の実施の形態）
次に、本発明の第４の実施の形態について図面を参照して詳細に説明する。

図１０を参照すると、本発明の第４の実施の形態にかかる関節物体位置姿勢推定装置は、第１の実施の形態と同様な画像取得部７、人体モデル記憶装置１０２、位置姿勢初期値記憶部３、コンピュータ２０３、人体位置姿勢推定用プログラム２０１を記憶するコンピュータ可読記録媒体２０２を備えている。画像取得部７、人体モデル記憶装置１０２、位置姿勢初期値記憶部３、コンピュータ可読記録媒体２０２は、コンピュータ２０３に接続されている。人体モデル記憶装置１０２は、人体フレームモデル記憶部１および姿勢モデル記憶部２を有している。

コンピュータ可読記録媒体２０２は、磁気ディスクや半導体メモリ等で構成されている。人体位置姿勢推定用プログラム２０１は、コンピュータ２０３の立ち上げ時などにコンピュータ２０３に読み取られる。人体位置姿勢推定用プログラム２０１は、コンピュータ２０３の動作を制御することにより、コンピュータ２０３を前述した第１の実施の形態における人体位置姿勢推定装置１０１が備える構成要素４、５、６Ａ、６Ｂ、８、１０、１１として機能させ、また、図４Ａ、図４Ｂに示される処理を行わせる。

本実施の形態は第１の実施の形態にかかる関節物体位置姿勢推定装置をコンピュータとプログラムとで実現したが、第２および第３の実施の形態にかかる関節物体位置姿勢推定装置をコンピュータとプログラムとで実現することも可能である。

以上、本発明の実施の形態について説明したが、本発明は以上の例に限定されず、その他各種の付加変更が可能である。例えば、上記した各実施の形態では、人体の位置姿勢を推定したが、本発明はそれだけに限定されず、犬や猫、昆虫類などの関節物体に広く適用可能である。また、画像取得部から入力される画像を処理対象としたが、画像蓄積部に蓄積されている画像やコンピュータグラフィック画像などを処理対象とすることも可能である。

上記実施形態は、カメラやその蓄積映像から人体などの関節物体の３次元位置姿勢を推定する関節物体位置姿勢推定装置や、関節物体位置姿勢推定装置をコンピュータで実現する為のプログラムといった用途に適用できる。また、カメラやその蓄積映像から人体などの関節物体の３次元位置姿勢を必要とする監視分野での人体行動解析、不審者検出、迷子探しを行う場合などに適用できる。さらに、カメラやその蓄積映像からの関節物体の３次元位置姿勢を入力とする仮想現実世界でのアバタ動作合成や機械の遠隔操作インタフェースといった用途に適用できる。この他、関節物体の３次元位置姿勢や動作を検索キーとするビデオ検索といった用途に適用できる。

Claims (18)

1. 関節物体の予め定められた限定された動きに対応する関節物体フレームモデルの時系列姿勢を主成分分析して求めた動作拘束による低次元パラメータの姿勢モデルに関する情報を記憶する記憶部と、
   前記姿勢モデルが取り得る姿勢の範囲内で前記関節物体フレームモデルの各姿勢の画像生成と推定対象関節物体画像とのマッチングを行って姿勢を推定する位置姿勢推定装置と
   を備え、
   前記時系列姿勢は、関節物体ごとの姿勢の時系列を示す複数の姿勢ベクトルの各々から前記複数の姿勢ベクトルの平均としての平均姿勢ベクトルを減算して求められたデータセットを含む
   関節物体位置姿勢推定装置。
2. 前記関節物体フレームモデルは、木構造を有し、
   前記関節物体フレームモデルは、ルート部位と、その他の部位とを含み、
   前記時系列姿勢は、前記その他の部位の姿勢を含み、前記ルート部位の位置及び姿勢を含まない
   請求項１記載の関節物体位置姿勢推定装置。
3. 関節物体の予め定められた限定された動きに対応する関節物体フレームモデルの時系列姿勢を主成分分析して求めた動作拘束による低次元パラメータの姿勢モデルに関する情報を記憶する記憶部と、
   前記姿勢モデルが取り得る姿勢の範囲内で前記関節物体フレームモデルの各姿勢の画像生成と推定対象関節物体画像とのマッチングを行って姿勢を推定する位置姿勢推定装置と
   を備え、
   前記関節物体フレームモデルは、木構造を有し、
   前記関節物体フレームモデルは、ルート部位と、その他の部位とを含み、
   前記時系列姿勢は、前記その他の部位の姿勢を含み、前記ルート部位の位置及び姿勢を含まない
   関節物体位置姿勢推定装置。
4. 前記位置姿勢推定装置は、前記推定対象関節物体画像として推定対象関節物体をそれぞれ異なる視点から撮像した複数画像から第１複数画素ベクトルを取得し、前記第１複数画素ベクトルを１つに結合して第１結合画素ベクトルを生成し、前記異なる視点に対応する前記関節物体フレームモデルの複数画像から第２複数画素ベクトルを取得し、前記第２複数画素ベクトルを１つに結合して第２結合画素ベクトルを生成し、前記第１結合画素ベクトルと前記第２結合画素ベクトルとのマッチングにより姿勢を推定する
   請求項１乃至３の何れかに記載の関節物体位置姿勢推定装置。
5. 前記位置姿勢推定装置は、マッチングを行う双方の画像に現れる関節物体画像に対し、輪郭の位置が変わらないように輪郭から外側に向かってぼかし処理を行い輪郭から内側に向かってぼかし処理を行わない輪郭スムーズ処理部を備える
   請求項１乃至３の何れかに記載の関節物体位置姿勢推定装置。
6. 位置姿勢推定装置により、関節物体の予め定められた限定された動きに対応する関節物体フレームモデルの時系列姿勢を主成分分析して求めた動作拘束による低次元パラメータの姿勢モデルに関する情報を記憶部から読み出し、
   前記姿勢モデルが取り得る姿勢の範囲内で前記関節物体フレームモデルの各姿勢の画像生成と推定対象関節物体画像とのマッチングを行って姿勢を推定し、
   前記時系列姿勢は、関節物体ごとの姿勢の時系列を示す複数の姿勢ベクトルの各々から前記複数の姿勢ベクトルの平均としての平均姿勢ベクトルを減算して求められたデータセットを含む
   関節物体位置姿勢推定方法。
7. 前記関節物体フレームモデルは、木構造を有し、
   前記関節物体フレームモデルは、ルート部位と、その他の部位とを含み、
   前記時系列姿勢は、前記その他の部位の姿勢を含み、前記ルート部位の位置及び姿勢を含まない
   請求項６記載の関節物体位置姿勢推定方法。
8. 位置姿勢推定装置により、関節物体の予め定められた限定された動きに対応する関節物体フレームモデルの時系列姿勢を主成分分析して求めた動作拘束による低次元パラメータの姿勢モデルに関する情報を記憶部から読み出し、
   前記姿勢モデルが取り得る姿勢の範囲内で前記関節物体フレームモデルの各姿勢の画像生成と推定対象関節物体画像とのマッチングを行って姿勢を推定し、
   前記関節物体フレームモデルは、木構造を有し、
   前記関節物体フレームモデルは、ルート部位と、その他の部位とを含み、
   前記時系列姿勢は、前記その他の部位の姿勢を含み、前記ルート部位の位置及び姿勢を含まない
   関節物体位置姿勢推定方法。
9. 前記位置姿勢推定装置は、前記推定対象関節物体画像として推定対象関節物体をそれぞれ異なる視点から撮像した複数画像から第１複数画素ベクトルを取得し、前記第１複数画素ベクトルを１つに結合して第１結合画素ベクトルを生成し、前記異なる視点に対応する前記関節物体フレームモデルの複数画像から第２複数画素ベクトルを取得し、前記第２複数画素ベクトルを１つに結合して第２結合画素ベクトルを生成し、前記第１結合画素ベクトルと前記第２結合画素ベクトルとのマッチングにより姿勢を推定する
   請求項６乃至８の何れかに記載の関節物体位置姿勢推定方法。
10. 前記位置姿勢推定装置は、マッチングを行う双方の画像に現れる関節物体画像に対し、輪郭の位置が変わらないように輪郭から外側に向かってぼかし処理を行い輪郭から内側に向かってぼかし処理を行わない
    請求項６乃至８の何れかに記載の関節物体位置姿勢推定方法。
11. 関節物体の予め定められた限定された動きに対応する関節物体フレームモデルの時系列姿勢を主成分分析して求めた動作拘束による低次元パラメータの姿勢モデルに関する情報を記憶する記憶部を備えたコンピュータを、前記姿勢モデルが取り得る姿勢の範囲内で前記関節物体フレームモデルの各姿勢の画像生成と推定対象関節物体画像とのマッチングを行って姿勢を推定する位置姿勢推定部として機能させるためのプログラムであって、
    前記時系列姿勢は、関節物体ごとの姿勢の時系列を示す複数の姿勢ベクトルの各々から前記複数の姿勢ベクトルの平均としての平均姿勢ベクトルを減算して求められたデータセットを含む
    プログラム。
12. 前記関節物体フレームモデルは、木構造を有し、
    前記関節物体フレームモデルは、ルート部位と、その他の部位とを含み、
    前記時系列姿勢は、前記その他の部位の姿勢を含み、前記ルート部位の位置及び姿勢を含まない
    請求項１１記載のプログラム。
13. 関節物体の予め定められた限定された動きに対応する関節物体フレームモデルの時系列姿勢を主成分分析して求めた動作拘束による低次元パラメータの姿勢モデルに関する情報を記憶する記憶部を備えたコンピュータを、前記姿勢モデルが取り得る姿勢の範囲内で前記関節物体フレームモデルの各姿勢の画像生成と推定対象関節物体画像とのマッチングを行って姿勢を推定する位置姿勢推定部として機能させるためのプログラムであって、
    前記関節物体フレームモデルは、木構造を有し、
    前記関節物体フレームモデルは、ルート部位と、その他の部位とを含み、
    前記時系列姿勢は、前記その他の部位の姿勢を含み、前記ルート部位の位置及び姿勢を含まない
    プログラム。
14. 前記位置姿勢推定部は、前記推定対象関節物体画像として推定対象関節物体をそれぞれ異なる視点から撮像した複数画像から第１複数画素ベクトルを取得し、前記第１複数画素ベクトルを１つに結合して第１結合画素ベクトルを生成し、前記異なる視点に対応する前記関節物体フレームモデルの複数画像から第２複数画素ベクトルを取得し、前記第２複数画素ベクトルを１つに結合して第２結合画素ベクトルを生成し、前記第１結合画素ベクトルと前記第２結合画素ベクトルとのマッチングにより姿勢を推定する
    請求項１１乃至１３の何れかに記載のプログラム。
15. 前記位置姿勢推定部は、マッチングを行う双方の画像に現れる関節物体画像に対し、輪郭の位置が変わらないように輪郭から外側に向かってぼかし処理を行い輪郭から内側に向かってぼかし処理を行わない
    請求項１１乃至１３の何れかに記載のプログラム。
16. 基準姿勢ベクトル及び基底姿勢ベクトル群を記憶した記憶部と、
    前記基準姿勢ベクトル及び前記基底姿勢ベクトル群の線形結合で表される姿勢モデルを用いて推定対象関節物体の姿勢を推定する位置姿勢推定装置と
    を具備し、
    関節物体フレームモデルの各部位の大きさを表す体型パラメータが異なる複数の場合の各々について、関節物体の所定の動きに対応する前記関節物体フレームモデルの時系列姿勢を表す複数の姿勢ベクトルが求められ、
    前記複数の場合の各々について、前記複数の姿勢ベクトルの各々から前記複数の姿勢ベクトルの平均としての平均姿勢ベクトルが減算されてデータセットが求められ、
    前記複数の場合の全体に対応する前記データセットの集合が主成分分析されて固有ベクトル群としての前記基底姿勢ベクトル群が求められ、
    前記複数の場合の全体に対応する前記複数の姿勢ベクトルの集合における平均としての前記基準姿勢ベクトルが求められ、
    前記位置姿勢推定装置は、
    前記姿勢モデルと前記関節物体フレームモデルとに基づいて関節物体シルエット画像を取得し、
    前記推定対象関節物体のシルエット画像としての推定対象関節物体シルエット画像を取得し、
    前記関節物体シルエット画像と前記推定対象関節物体シルエット画像とが一致するように前記線形結合における前記基底姿勢ベクトル群の係数群を変更する
    関節物体位置姿勢推定装置。
17. 基準姿勢ベクトル及び基底姿勢ベクトル群を求めることと、
    前記基準姿勢ベクトル及び前記基底姿勢ベクトル群の線形結合で表される姿勢モデルを用いて推定対象関節物体の姿勢を推定することと
    を具備し、
    前記基底姿勢ベクトル群及び前記基準姿勢ベクトルを求めることは、
    関節物体フレームモデルの各部位の大きさを表す体型パラメータが異なる複数の場合の各々について、関節物体の所定の動きに対応する前記関節物体フレームモデルの時系列姿勢を表す複数の姿勢ベクトルを求めることと、
    前記複数の場合の各々について、前記複数の姿勢ベクトルの各々から前記複数の姿勢ベクトルの平均としての平均姿勢ベクトルを減算してデータセットを求めることと、
    前記複数の場合の全体に対応する前記データセットの集合に主成分分析を行って固有ベクトル群としての前記基底姿勢ベクトル群を求めることと、
    前記複数の場合の全体に対応する前記複数の姿勢ベクトルの集合における平均としての前記基準姿勢ベクトルを求めることと
    を含み、
    前記姿勢を推定することは、
    前記姿勢モデルと前記関節物体フレームモデルとに基づいて関節物体シルエット画像を取得することと、
    推定対象関節物体のシルエット画像としての推定対象関節物体シルエット画像を取得することと、
    前記関節物体シルエット画像と前記推定対象関節物体シルエット画像とが一致するように前記線形結合における前記基底姿勢ベクトル群の係数群を変更することと
    を含む
    関節物体位置姿勢推定方法。
18. 基準姿勢ベクトル及び基底姿勢ベクトル群を求めることと、
    前記基準姿勢ベクトル及び前記基底姿勢ベクトル群の線形結合で表される姿勢モデルを用いて推定対象関節物体の姿勢を推定することと
    を具備し、
    前記基底姿勢ベクトル群及び前記基準姿勢ベクトルを求めることは、
    関節物体フレームモデルの各部位の大きさを表す体型パラメータが異なる複数の場合の各々について、関節物体の所定の動きに対応する前記関節物体フレームモデルの時系列姿勢を表す複数の姿勢ベクトルを求めることと、
    前記複数の場合の各々について、前記複数の姿勢ベクトルの各々から前記複数の姿勢ベクトルの平均としての平均姿勢ベクトルを減算してデータセットを求めることと、
    前記複数の場合の全体に対応する前記データセットの集合に主成分分析を行って固有ベクトル群としての前記基底姿勢ベクトル群を求めることと、
    前記複数の場合の全体に対応する前記複数の姿勢ベクトルの集合における平均としての前記基準姿勢ベクトルを求めることと
    を含み、
    前記姿勢を推定することは、
    前記姿勢モデルと前記関節物体フレームモデルとに基づいて関節物体シルエット画像を取得することと、
    推定対象関節物体のシルエット画像としての推定対象関節物体シルエット画像を取得することと、
    前記関節物体シルエット画像と前記推定対象関節物体シルエット画像とが一致するように前記線形結合における前記基底姿勢ベクトル群の係数群を変更することと
    を含む
    関節物体位置姿勢推定方法をコンピュータに実行させるプログラム。

Images