JP3780017B2 - Time-series image analysis apparatus and analysis method thereof - Google Patents

Description

【００２３】
ここで、（ｘ_ｉ ，ｙ_ｉ ），（ｘ_ｊ ，ｙ_ｊ ）は接続関係にある部位のマーカの位置であり、（ｘ，ｙ）は各部位の中心点、θは各部位のなす傾斜角、ａは各部位の長さを表している。
【００２４】
また、算出された数値データは、全て格納してもよいし、対象となる動作に周期性がある場合、動作の周期成分を抽出し、一周期分のみ格納してもよい。また、対象となる動作の理論的な数値データは時間に対応させて、図１４に示すようなテーブルとして保存してもよいし、各数値データを各部位ごとに補間関数により数式化して係数のみを保存してもよい。また、図３に示すような存在可能領域として保存してもよい。
【００２５】
次に図１５は、対象物モデル部６に格納されている各数値データを各部位ごとに補間関数により数式化して格納する概念を示す。図１５（ａ）に示すように、格納された時刻ｉ−１，ｉ，ｉ＋１の各数値データから微分値（差分値）を算出する。
【００２６】
そして図１５（ｂ）に示すように、この微分値の変動が所定の閾値以上になる点を節点とする。抽出された節点間をスプライン関数などで補間を行い、算出された係数のみを格納しておく。スプライン関数に関しては例えば、「スプライン関数入門」（電機大出版局）などに記載されている。なお節点は、時刻ｉ−１，ｉ，ｉ＋１の各数値データの２次微分値の変曲点としてもよい。変曲点を節点とすることにより、数値データの変化が小さい運動についても節点を抽出することができる。
【００２７】
なお、対象となる部位の動作に周期性がある場合、その動作の周期成分を抽出し、一周期分の各部位の論理的な（理論的な）数値データを格納してもよい。また、対象となる部位の動作の論理的な（理論的な）数値データは、時間に対応させたテーブルの形態で保存してもよい。また図３に示すような存在可能領域として保存してもよい。
【００２８】
図３（ｂ）に示すような歩行１周期における各部位の存在可能領域を理論的な数値データを基に以下のように算出する。
モデルの画像から対象物の領域（シルエット）を包含する矩形を公知である手法で、図３（ａ）のように抽出し、この矩形のｘ軸方向の中心線（中点）を求める。この中心線を一致させるように、つまりｘ座標を一致させるように各部位の理論的な数値データ（中心点）を重ね合わせる。
【００２９】
これにより図３（ｂ）の黒点で示す各部位の中心点の分布を求めることができる。この中心点の分布を包含する領域、つまり、各部位の中心点が存在可能な領域として存在可能領域を定める。この存在可能領域は、幾何学的な形状である楕円や半円のパラメータの組み合わせで記述する。
【００３０】
具体的には、頭部と胴体部は、中心点の平均値を中心とする楕円で示し、手部・上腕部・前腕部は肩の位置を、大腿部・臑部・足部は腰の位置を中心とする円（扇形）の組み合わせで示している。肩・腰の位置（ｘ_{ｓｈｏｕｌｄｅｒ}，ｙ_{ｓｈｏｕｌｄｅｒ}），（ｘ_{ｗａｉｓｔ} ，ｙ_{ｗａｉｓｔ} ）は（２）式で算出される。
【００３１】
【数２】

【００３２】
ここで、（ｘ_２ ，ｙ_２ ）は上記で算出した胴体部の中心点、ａ_２ は胴体部の長さ、θ_２ は胴体部の傾斜角を示す。
（３）式を用いて、手部・上腕部・前腕部・大腿部・臑部・足部の中心点を包含するような幾何学的な形状の算出を行う。
【００３３】
【数３】

【００３４】
ただし、ｒは各部位の中心点を全て包含するような円の半径、ｐｈｉは円周角を示す。図１６は、半径ｒや円周角ｐｈｉの算出方法の説明図である。これらは円の中心点（（ｘ_{ｓｈｏｕｌｄｅｒ}，ｙ_{ｓｈｏｕｌｄｅｒ}）または（ｘ_{ｗａｉｓｔ} ，ｙ_{ｗａｉｓｔ} ））と各部位の全中心点との距離と角度を例えば（４）式のように算出する。
【００３５】
【数４】

【００３６】
ここで、ｘ_０３は、時刻０、部位番号３のｘ座標を示し、ｒ_０ ，ｐｈｉ_０ は腰の位置から部位番号３である大腿部までの距離、角度を示す。この計算を解析を行う全ての時刻に対して行い、ｒ_ｉ ，ｐｈｉ_ｉ の最大・最小の値からｒ_ｍａｘ ，ｒ_ｍｉｎ ，ｐｈｉ_ｍａｘ ，ｐｈｉ_ｍｉｎ を自動的に求めることができる。この操作を各部位に関して行う。
求められた図３（ｂ）に示す存在可能領域は画像として格納するのではなく、半径ｒや円周角ｐｈｉや中心点（ｘ，ｙ）や回転角θや長軸・短軸の長さａ，ｂのパラメータをテーブルとして格納しておく。処理を行う際、このパラメータを用いて図３（ｂ）に示す画像として回復する。
【００３７】
図４は、前述した整合部８の具体的な構成を示すブロック図である。
この整合部８において、形状生成部５と対象物モデル部６の出力は、同期部２１に転送される。同期部２１では、形状生成部５のシルエット画像群と対象物モデル部６のモデルのパラメータ群から同期をとるために、同じ動作となる時刻を複数個算出する。対象物モデル部６と同期部２１の各出力は、周期校正部２２に転送される。本実施形態では、解折対象の動作に周期性があるものを前提としている。そこで、周期校正部２２では、同期部２１で算出された複数の同期時刻とから算出される１周期にかかる時間と、対象物モデル部６の出力であるモデルパラメータに予め含まれているモデルの１周期にかかる時刻とに基づいて、モデルデータの周期の校正を行う。形状生成部５と対象物モデル部６とパラメータ算出部７と同期部２１と周期校正部２２はパラメータ修正部２３に出力される。
【００３８】
このパラメータ修正部２３では、一画像内でモデルとの対比による時系列画像のパラメータの修正を行う。形状生成部５と対象物モデル部６とパラメータ算出部７とパラメータ修正部２３の出力は、最適化処理部２４に転送する。最適化処理部２４では、パラメータ算出部７により算出されたパラメータ群全体を周期校正された対象物モデル部６のパラメータ群全体および形状生成部５のシルエット画像群に整合される。
【００３９】
図５は、同期部２１の処理における概念図である。同期部２１では、時刻ｔｉｍｅにおけるモデルの位置や傾斜角のパラメータを用いて単純な幾何学的形状の一例として楕円を生成し、時系列画像中の対象物のシルエット画像群とのマッチングを行う。マッチング誤差が最小となるシルエット画像の時刻が、モデルにおける時刻ｔｉｍｅに相当することになる。
【００４０】
上記同期部２１について、対象物が人間である場合の具体的な例を、図１７に示すフローチャートを参照して説明する。
まず、モデルから基準動作であるｃｌｏｓｅ状態（手足が閉じている状態）の時刻ｃｒｏｓｓの算出を行う（ステップＳ１）。図１８はｃｌｏｓｅ状態の算出方法の概念図である。基準動作ｃｌｏｓｅ状態の時刻の算出方法は、対象物モデル部６に格納されているモデルのパラメータをスプライン関数から算出し、全ての時刻に関して頭部（部位の番号０）と他の部位群とのｘ座標の差の総和を算出する。この総和が一番小さくなる時刻がｃｒｏｓｓとなる。図５は同期時刻ｔｉｍｅの算出方法の概念図である。
【００４１】
次に、時刻ｃｒｏｓｓのモデルのパラメータを用いて時刻ｃｒｏｓｓのモデルの楕円画像を生成する（ステップＳ２）。この時刻ｃｒｏｓｓのモデルのシルエット画像と時刻ｔｉｍｅの時系列画像のシルエット画像を包含する外接四辺形を公知である手法で抽出し、この外接四辺形のｘ軸方向の中心線を一致させる。時系列画像のシルエット画像とモデルの楕円画像との面積差を算出する。
全ての時刻の時系列画像のシルエット画像との面積差を算出し、面積差が最小である時刻ｐｅｒｉｏｄが時刻ｃｒｏｓｓと同動作を行う時刻である（ステップＳ３）。
【００４２】
以上のように、モデルのｃｌｏｓｅ状態の楕円画像と時系列画像中の対象物のシルエット画像群とのマッチングを行うことで、モデルと時系列画像との同期をとることができる。
また、以下のような方法でも同期時刻を算出することも可能である。対象物モデル部６に格納されているモデルのシルエット画像群と時系列画像のシルエット画像群の面積の最小（又は最大）となる時刻を複数個算出する。算出された時刻がモデルと時系列画像の同期の時刻となる。例えば、人間の歩行動作を解析対象とした場合、シルエット画像の面積が最小となるときは、ほぼ直立した状態を示している。ここで、モデルと時系列画像のシルエットの面積最小時刻を算出するということは、直立状態の時刻の同期をとっていることになる。このようにすることで、楕円画像を生成する必要がなくなるので、処理時間を短縮することができる。
【００４３】
図６と図２０は、周期校正部２２の処理における概念を示す。周期校正部２２は、対象となる動作に周期性がある場合のみ行われる。同期部２１により算出された複数の同期の時刻により、一周期にかかる時間Ｔの算出を行う。対象物モデル部６に格納されているモデルの一周期にかかる時間Ｍ_Ｔと時系列画像の一周期にかかる時間Ｔとの比ｒ_ａ＝Ｍ_Ｔ／Ｔを求め、この比ｒ_ａを用いてモデルの周期の校正を行う。
【００４４】
図１９に示すフローチャートを参照して、周期校正部２２について説明する。対象物モデル部６に格納してあるモデルの一周期分の動作の時刻Ｍ_Ｔ とし、同期部２１により算出された複数の同期の時刻により、一周期にかかる時間Ｔの算出を行う（ステップＳ１１）。モデルの一周期にかかる時間Ｍ_Ｔ と時系列画像の一周期にかかる時間Ｔとの比ｒ_ａ＝Ｍ_Ｔ／Ｔを求め（ステップＳ１２）、この比ｒ_ａを用いてパラメータ修正部２３でモデルの周期の校正を行う。この処理は、一周期単位で行われる。このため対象物の動作が周期が増すごとに加速するような状況にも対応できる。これは動作の数値データをスプライン関数の係数として保存しているため、任意の時刻の数値データが算出できるためである。
【００４５】
図７は、パラメータ修正部２３の処理における概念図である。パラメータ修正部２３では、時系列画像の時刻ｔｉｍｅの各部位のパラメータと時刻ｔｉｍｅに対応するモデルの各部位のパラメータの差の算出を行う。パラメータ算出部７で算出された許容範囲εを閾値とする。各パラメータ間の差が所定の閾値以上であるとき、時系列画像のパラメータをモデルのパラメータに置換し、例えば単純な幾何学的形状の一例として楕円を生成し、シルエット画像との誤差の算出を行う。算出された誤差が置換前より増加した場合、パラメータの置換は破棄される。上記過程を各パラメータに対して行い、画像内でのパラメータの修正を行う。
【００４６】
図２１に示すフローチャートを参照して、パラメータ修正部２３について説明する。
モデルの対象物と時系列画像の対象物の大きさの比率の算出を行う（ステップＳ２１）。対象物モデル部６に格納してあるモデルの対象物の高さ方向の大きさをｍｈとし、時系列画像の対象物（シルエット画像）を包含する外接四辺形を算出し、高さ方向の大きさｈを算出する。これを用いてモデルと時系列画像の対象物の大きさの比率ｓｃａｌｅ＝ｍｈ／ｈを算出する。対象物の各部位の大きさを比率ｓｃａｌｅ倍して大きさの修正を行った後、以下の処理を行う。
【００４７】
周期校正部２２で算出した比率ｒ_ａを用いて時系列画像に対応するモデルの時刻の算出を行う（ステップＳ２２）。モデルの時刻を比率ｒ_ａ倍し、時系列画像の時刻がｒ_ａ倍されたモデルの一周期分の時刻を越えていたら、越えた分だけモデルの始め時刻に対応するように合わせる。
【００４８】
時刻ｔｉｍｅの初期設定を行う（ステップＳ２３）。時刻の同期がとれたら時刻ｔｉｍｅの時系列画像のパラメータから楕円画像を生成する（ステップＳ２４）。時刻ｔｉｍｅの時系列画像のシルエット画像と楕円画像との面積差を算出し、ｄｉｆｆ１に格納する（ステップＳ２５）。
【００４９】
同期処理を行った時刻ｔｉｍｅのモデルのパラメータをスプライン関数から算出し、時刻ｔｉｍｅのモデルと時系列画像のパラメータの差の絶対値の算出を各部位毎に行う（ステップＳ２６）。差の絶対値をパラメータ算出部７で算出された許容範囲εと比較し（ステップＳ２７）、小さければ（ＮＯ）ステップＳ２８に移行し、時刻ｔｉｍｅのインクリメントを行い、ステップＳ２４に戻る。
【００５０】
しかし、ステップＳ２７で大きければ（ＹＥＳ）、モデルと時系列画像のパラメータの入れ替えを各部位毎に行う（ステップＳ２９）。時系列画像の対象物とモデルの対象物の位置が異なるため、シルエット画像を利用して、位置合わせを行い、パラメータの入れ替えを直接行うようにする。時刻ｔｉｍｅの時系列画像のシルエット画像とそれに対応するモデルのシルエット画像を包含する外接四辺形を抽出し、外接四辺形のｘ軸方向の中心線を一致させる。つまり、外接四辺形の中心のｘ座標を一致させるためのモデルの移動量を算出し、この移動量をもとにモデルのパラメータの修正を行い、入れ替えを行う。
【００５１】
入れ替えたパラメータから楕円画像の生成を行い（ステップＳ３０）、ステップＳ２５と同様にステップＳ３０で生成した楕円画像とシルエット画像の面積差を算出し、ｄｉｆｆ２に格納する（ステップＳ３１）。パラメータ入れ替え前の面積差ｄｉｆｆ１と入れ替え後の面積差ｄｉｆｆ２を比較し（ステップＳ３２）。ｄｉｆｆ２がｄｉｆｆ１より小さい場合（ＮＯ）、ステップＳ２８に戻り、時刻ｔｉｍｅのインクリメントを行い、ステップＳ２４に戻る。一方、大きい場合（ＹＥＳ）、パラメータの入れ替えを破棄する（ステップＳ３３）。ステップＳ２４からステップＳ３３は、全ての部位に対してまとめて処理を行う。時刻ｔｉｍｅと時系列画像の終了時刻を比較し、時刻ｔｉｍｅが終了時刻より小さい場合（ＮＯ）ステップＳ２８に戻り、時刻ｔｉｍｅのインクリメントを行い、ステップＳ２４に戻る。大きい場合（ＹＥＳ）処理を終了する。
【００５２】
図８は、最適化処理部２４の処理における概念図である。上記パラメータ算出部７で算出された時系列画像のパラメータ群、対象物モデル部６のモデルのパラメータ群と形状生成部５で生成されたシルエット画像群の三者を整合する。このための手法の一例として評価関数を設定し、最小化する。例えば人間を対象とした解析の場合、（５）式のように評価関数Ｅ_Ｔ定義し、評価関数Ｅ_Ｔをアニーリングや最急降下法などを用いて最小化することにより、時系列画像のパラメータ群の最適なパラメータの算出を行う。
【００５３】
【数５】

【００５４】
ここで、Ｔは周期、ｉ＝Ｔ〜Ｔ＋１は時刻、ｊ＝１〜１４は部位、ｌ＝１〜１３は図２（ｂ）に示すような各部位の接続番号、Ｐｍはモデルのパラメータ群、Ｐは時系列画像中の対象物の各部位のパラメータ群である。第１項は対象物のパラメータをモデルのパラメータと整合させる。Ｓｉｌは時系列画像中の対象物のシルエット画像、Ｐａｒは時系列画像のパラメータにより生成した楕円画像であり、第２項は時系列画像のパラメータをシルエット画像に整合させる。
【００５５】
Ｌｍ及びＬは、図２（ｂ）に示される１３組の接続関係にある部位の中心点間の距離である。つまり頭部と胴体部などの結合関係にある部位の中心位置間の距離である。Ｌｍはモデルに関する各部位の中心点間の距離、Ｌは時系列画像中に関する各部位の中心点間の距離を表す。第三項は、時系列画像中の対象物の各部位間のパラメータの結合関係をモデルの結合関係に整合させる。ｋは、それぞれの項のウエイトである。
【００５６】
なお、（６）式のような評価関数Ｅ_Ｔをアニーリングや最急降下法などを用いて時系列画像のパラメータ群の最適なパラメータの算出を行うことも可能である。
【００５７】
【数６】

【００５８】
ここで、Ｔは周期、ｉ＝Ｔ〜Ｔ＋１は時刻、ｊ＝１〜１４は部位、ｌ＝１〜１３は図２（ｂ）に示すような各部位の接続番号。Ｐｍはモデルのパラメータ群、Ｐは時系列画像中の対象物の各部位のパラメータ群である。第一項は対象物のパラメータをモデルのパラメータと整合させる。Ｓｉｌは時系列画像中の対象物のシルエット画像、Ｐａｒはモデルのパラメータにより生成した楕円画像であり、第二項はモデルのパラメータをシルエット画像に整合させる。Ｌｍ及びＬは、図２（ｂ）に示される１３組の結合関係にある中心点間の距離である。つまり、頭部と胴体部などの結合関係にある部位の中心位置間の距離である。Ｌｍはモデルに関する各部位の中心点間の距離、Ｌは時系列画像中に関する各部位の中心点間の距離を表す。第三項は、時系列画像中の対象物の各部位間のパラメータの結合関係をモデルの結合関係に整合させる。Ｐｃは時刻ｉ−２，ｉ−１，ｉ，ｉ＋１，ｉ＋２の時系列画像のパラメータに、重みをそれぞれ１：２：３：２：１だけ与え、平均値を算出した値であり、第四項は、時系列画像のパラメータを前後の時刻から推測されるパラメータ値に整合させる。ｋは、各項に対するウエイトである。
【００５９】
上記３者の整合をとり、時系列画像のパラメータ群の最適なパラメータの算出をアニーリングを利用して行う方法を以下に示す。図２２に示すフローチャートを参照して、最適化処理部２４を説明する。
【００６０】
まず、温度Ｔｅｍｐ_ｉｎｔ と反復回数ｎの初期設定を行う（ステップＳ４１）。ｉｔｅｒａｔｉｏｎとＴｅｍｐの初期設定を行う（ステップＳ４２）。初期エネルギーｉｎｉｔ ｅｎｇの算出を行う（ステップＳ４３）。
初期エネルギーは、（５）式や（６）式の評価関数を計算した結果を表す。乱数ｒａｎを発生させ、微小変化を与える値ｇとパラメータの種類ｘｙｒと時刻ｔｉｍｅと部位番号ｐを決定する（ステップＳ４４）。例えば、０〜１までの乱数を発生せた場合の各パラメータは、
ｔｉｍｅ＝ｒａｎ×画像の枚数
ｘｙｒ＝ｒａｎ×３ （ｘｙｒ＝１の時ｘ，ｘｙｒ＝２の時ｙ，
ｘｙｒ＝３の時ｒａｄ）
ｐ＝ｒａｎ×１４
ｇ＝部位番号ｐの部位の長さ×（ｒａｎ×２．１−１．０）
として与えられる。
【００６１】
時刻ｔｉｍｅの時系列画像のパラメータｘｙｒ［ｔｉｍｅ］［ｐ］に微小変化ｇを与える（ステップＳ４５）。微小変化を与えたパラメータを用いてエネルギーｅｎｇの算出を行う（ステップＳ４６）。初期エネルギーｉｎｉｔ ｅｎｇとエネルギーｅｎｇを比較し（ステップＳ４７）、ｉｎｉｔ ｅｎｇがｅｎｇより小さいならば（ＮＯ）、ステップＳ４８にに移行し、乱数ｒａｎとｅｘｐ［（ｅｎｇ−ｉｎｉｔ ｅｎｇ）／Ｔｅｍｐ］を比較し、条件を満たさないならば（ＮＯ）、ステップＳ４４に戻り、新たな乱数ｒａｎを発生させる。
【００６２】
またステップＳ４８又はステップＳ４７の条件を満たすならば（ＹＥＳ）、この微小変化を受け入れ、パラメータ値の更新を行い、エネルギーの値の入れ替えを行う（ｉｎｉｔ ｅｎｇ＝ｅｎｇ）（ステップＳ４９）。
反復回数ｉｔｅｒａｔｉｏｎがｓ初期値ｎより小さいか否か判断し（ステップＳ５０）、条件を満たす場合（ＹＥＳ）、温度を下げ、反復回数ｉｔｅｒａｔｉｏｎを更新した後（ステップＳ５１）、ステップＳ４４に戻り、新たな乱数ｒａｎを発生させる。しかし条件を満たさない場合には（ＮＯ）、最適化処理を終了する。
【００６３】
また最適化処理を行うにあたって、条件によっては本来接続している部位、例えば手部と前腕部とが離れてしまうことがある。これを防ぐために、各部位のパラメータに与える微小変化の範囲を限定し、各部位の分離を防止する方法を説明する。各部位の分離を防止するために、従来不変としてきた長軸，短軸の長さを適応的に調節するモデルを付加する。具体的には、最適化処理で微小変化を与える時に分離を防止するような制限を設ける。
【００６４】
各部位の中心座標に微小変化を与える場合を考える。
この段階では所定の長さの長軸で結合していることを仮定する。微小変化を与える注目部位とそれに連結している部位の長軸の長さを所定長だけ延長する。延長した長軸を半径とする円を考える。この円が分離しないよう、つまり常に接する、または交差するように注目している部位の円を移動する。
【００６５】
このときの中心座標が描く軌跡が、結合を維持したままで微小変化を与えられる領域となる。図２３は、対象物が人間である場合の各部位の分離防止に関する概念図である。図２３をもとに人間の場合について具体的に説明する。例えば、手部と上腕部に結合している前腕部の中心座標に微小変化を与える場合を考える。この段階では所定の長さの長軸で結合していることを仮定する。手部，上腕部，前腕部の長軸の長さを所定長（例えば１０％）延長し、この３つの円が分離しないよう、前腕部の（１０％膨張した）円を移動する。
【００６６】
このときの中心座標が描く軌跡が、結合を維持したままで微小変化を与えられる領域となる。ただし、端点の注目部位とそれと連結する部位が分離しないような円の移動は、モデルに基づき各関節間の移動可能範囲角度を越えないように行う。なお、長軸と同じ比率だけ短軸を調整することで、プロポーションを一定に保つことができる。
以上のように行うことで、微小変化の付与を限定することになるので、最適化処理を高速化でき、各部位の分離を防止することができる。
【００６７】
また、本発明は関節がパーツでつながれた動体、例えば多関節ロボットや動物などの動きの解析も同様な方法で行うことが可能である。例えば、多関節ロボットの動きの解析を行う場合、以下のように行う。ロボットに関する形状の知識 （大きさ・接続関係）と関数化された各部位の動作の知識と各部位の存在可能領域をロボットの動きの知識として格納する。
【００６８】
背景画像と入力画像との差をとり、シルエット画像を抽出する。シルエット画像と存在可能領域とのＡＮＤ処理を行うことにより、各部位の概略的なパラメータの算出を行う。このパラメータをモデルを用いて修正し、最適化処理を行う。この手法により、ロボットの動きを解析し、これをもとに最適化することができる。
【００６９】
また、形状生成部５のシルエット画像を用いない最適化も考えられる。
一例として、以下のような判定基準が挙げられる。モデルのパラメータ群と時系列画像中の対象物の各部位のパラメータ群の差がある閾値以下であり、且つ、時間的に前後の画像の同部位のパラメータと時系列画像中の対象物の各部位のパラメータ群の差がある閾値以下ならば、置換しないものとする。
【００７０】
そして整合部８で算出されたパラメータを制御部１１からの制御に基づき、画像生成部１２に出力する。上記画像生成部１２では、整合部８で算出されたパラメータに基づいて、例えば、楕円を生成し、各部位のパラメータの画像化を行う。ただし、楕円ではなく、線分や円柱などで画像化を行ってもよい。上記画像生成部１２にて画像化された解析結果の出力をＤ／Ａ部９に転送し、アナログ信号に変換する。さらに制御部１１からの信号に基づき、上記アナログ信号をディスプレイなどの出力部１０へ出力し、画像解析結果をディスプレイなどで表示する。すなわち、図９（ａ）に示すような時系列画像に関して、図９（ｂ）に示す解析結果が得られる。
【００７１】
以上のような時系列画像解析装置は、対象物の動作のパラメータを数式化することで情報量を削減でき、モデルの各部位のサイズや位置を校正することで多くの被写体に適用でき、撮影距離の差によるサイズの違いも補正できる。また、遮蔽や影の影響により対象物の形状や動作が正確にとらえられなかった場合に、対象物の形状や動作による形状変化の知識を用いて補正を行い、対象物の動作を高精度に解析することができる。また、周期性を利用することにより、モデルの情報量を削減することができ、周期を校正することで同じ動作で速度が異なる場合にも対応することができる。
【００７２】
以上の説明では、同期部２１において同期する時刻を決定して動きのマッチングを行うものとしたが、この処理を省略し、時系列画像群とモデルパラメータ群との全ての組み合わせについて探索を行うようにしてもよい。
また、周期校正部２２において周期性のある動作について周期の校正を行うものとしたが、この処理は省略してもよい。また周期校正部２２は、同期部２１が省略されている場合に行われない。
【００７３】
また、パラメータ修正部２３においてパラメータの修正を行うものとしたがこの処理は省略可能である。また本実施形態では、各部位を表現する単純な幾何学的形状として楕円を用いたが、線分や円柱などで記述することもよい。
【００７４】
次に第２実施形態の時系列画像解析装置について説明する。
この第２実施形態の構成は、基本的には第１実施形態と同等であり、ここでは異なる部分のみ説明を行う。
図１０は、第２実施形態におけるパラメータ算出部７の具体的な構成例を示す。ここで、第１実施形態と同等の構成部には第１実施形態の構成部と同じ参照符号を付し、その説明を省略する。
【００７５】
このパラメータ算出部７は、形状生成部５と対象物モデル部６からの出力が候補領域算出部３１に転送される。この候補領域算出部３１の出力は、整合部８に転送される。最適化処理を高速に行うため、対象物の各部位の位置や傾斜角のパラメータを概略的に算出を行うものである。
時系列画像中の対象物の各部位の候補領域を算出し、算出された候補領域と対象物の形状から候補領域の結合関係を求め、結合関係にある領域群の各位置や傾斜角のパラメータおよび各パラメータが存在する可能な範囲の算出を行う。以降、各パラメータが存在する可能な範囲を許容範囲という。
【００７６】
図１１は、時系列画像中の対象物の各部位の候補領域の算出における概念を示す。パラメータの算出方法について、図２４のフローチャートを参照して、候補領域算出部３１を説明する。
対象物モデル部６に格納されている各部位の存在可能領域のパラメータ群を画像化する（ステップＳ５１）。具体的には、対象物モデル部６に格納されている幾何学的な形状である円や楕円などのパラメータ（中心点・半径・回転角など）を用いて画像の生成を行う。例えば、（３）式を満たす画素（ｘ，ｙ）には１を、満たさない場合には、“０”を格納し、２値画像の生成を行う。
【００７７】
次に図３のように画像化した存在可能領域とシルエット画像を用いて各部位の候補領域の算出を行う（ステップＳ５２）。図１１（ｂ）に示すシルエット画像に外接する矩形を求め、この矩形の中心線を求めておく。また、ステップＳ５２で画像化された存在可能領域に外接する矩形から中心線の位置を算出し、両者の中心線を一致させた形でＡＮＤ出力を求める。
【００７８】
この結果が、図１１（ｃ）に示すような各部位が存在する候補領域になる。抽出された各部位の候補領域から端点領域の選択を行う（ステップＳ５３）。端点領域とは、一方向のみが他の領域と結合している領域（手や足）のことである。まず、端点領域の重心点（ｘ，ｙ）の算出を行う（ステップＳ５４）。重心点の算出方法は、例えば端点領域のｘおよびｙ座標を加算し、それぞれの加算された値を端点領域の画素数で割った値などがある。
【００７９】
図１２は、候補領域と対象物の形状から候補領域の結合関係を求め、結合関係にある領域群の各位置や傾斜角および許容範囲の算出する処理の概念を示す。時系列画像の対象物の各部位の位置（中心点）は以下のように算出される。
まず、端点領域と結合関係にある結合領域の算出を行う（ステップＳ５５）。具体的には、端点領域の部位の大きさｌと、端点領域と接続する他の領域の部位の大きさｌ′と対象物モデル部６の対象物の形状により結合関係を求める。対象物が人間の場合、端点領域である手と結合関係にある部位は前腕であるので、ｌ，ｌ′には、それぞれの部位の長軸の長さが格納される。
【００８０】
そして各領域の結合関係について、次のように算出される。端点領域の重心点を中心とする半径Ｒ（＝（ｌ＋ｌ′）／２）の円を描き、その円上に存在する領域を端点領域と結合する領域つまり結合領域とする。円と結合領域が重複する部分の重心を、結合する領域の中心点（ｘ，ｙ）とする（ステップＳ５６）。
【００８１】
図１２（ｂ）は、端点領域の重心を中心点とする半径（ｌ＋ｌ′）／２の円と重複する領域であり、図１２（ｄ）の結合領域の太線が円と結合領域が重複する部分となる。また、円弧が結合領域と重複した円弧の長さの１／２を許容範囲εとする（ステップＳ５７）。つまり、図１２（ｄ）の結合領域の太線（重複した領域）のどこでも中心点となりえる可能性を持っているため、この重なり部分の１／２をεとし、中心点の座標を（ｘ±ε，ｙ±ε）とする。
【００８２】
図１２（ｄ）は、許容範囲εの算出方法の概略図を表す。全ての部位の結合領域を検出したか否か判断し（ステップＳ５８）、全ての部位に関して検出していない場合（ＮＯ）、結合領域を新たな端点領域とし（ステップＳ５９）、ステップＳ５５にフィードバックする。
全ての部位に関して検出を行った場合（ＹＥＳ）、各部位の重心点に対応する傾斜角の算出を行う（ステップＳ６０）。具体的には、０°〜１８０°まで５°間隔で上記で算出した点（ｘ，ｙ）を中心点とする楕円を生成し、シルエット画像とのマッチング誤差が最小となった角度傾斜角とする。
【００８３】
図１２（ｅ）には、傾斜角の算出方法の概略を示す。ただし、結合領域を算出する際、複数の結合領域が検出された場合には、対象物の形状や結合関係にある部位間の傾斜角などの情報を用いて、矛盾が生じる場合にはその結合関係は破棄し、結合関係の絞り込みを行う。
なお、時系列画像中の対象物の移動方向と対象物モデル部６に格納されているモデルの移動方向が逆の場合にも以下のようにすることにより適応することができる。
【００８４】
まず、時系列画像から対象物の移動方向の検出を行う。移動方向の検出方法は、例えば、シルエット画像の重心を算出し、重心のｘ座標の変化で求めることができる。対象物の移動方向が、対象物モデル部６に格納されている動作の移動方向と一致しているか判断を行う。同一方向であれば、モデルのパラメータをそのまま使用し、逆方向の場合には以下の処理を行い、モデルの動作を反転させる。対象物が人間である場合のモデルの動作を反転する手法に関する具体的な例を以下に示す。図４９は、モデルの反転に関する概念図である。
【００８５】
補間関数から各時刻の胴体部の位置（ｘ_２ ，ｙ_２ ）座標の算出を行う。胴体部（ｉ＝２）以外の部位ｉに関して、胴体部と各パラメータとの差の算出を、図４９のΔｘ_５ ＝（ｘ_２ −ｘ_５ ）やΔｙ_５ ＝（ｙ_２ −ｙ_５ ）のように行う。胴体部のパラメータ（ｘ_２ ，ｙ_２ ，θ_２ ）に先で算出した差を加算し、部位に対応する逆の部位（例えば、右手ならば左手）に加算結果を格納する。つまり、ｘ_８ ＝Δｘ_５ ＋ｘ_２ ，ｙ_８ ＝Δｙ_５ ＋ｙ_２ のように行う。
【００８６】
この様に行うことで、１つのモデルで逆向きの動きを行っている対象物の動作の解析も行うことができる。なお、上記の説明では、各部位を表現する単純な幾何学的形状として楕円を用いたが、これは楕円だけでなく線分や円柱などで記述することも可能である。
図１２（ｅ）においては、各部位を表現する単純な幾何学的形状として楕円を用いたが、これは楕円だけでなく線分や円柱などで記述することも可能である。本実施形態では、時系列画像中の対象物の各部位のパラメータを概略的に算出することで最適化処理の負担を軽減し、処理時間を短縮することができる。
【００８７】
次に第３実施形態としての時系列画像解析装置について説明する。
図２５には、第３実施形態として、時系列画像解析装置の全体構成の一例を示す。本実施形態の構成は、基本的には第１実施形態と同等であり、同じ構成部材には同一の参照符号を付し、異なる部分のみ説明する。
【００８８】
この時系列画像解析装置において、入力部１からの入力信号は、Ａ／Ｄ部２、バッファメモリ部３を経由して補助入出力部４に保存される。補助入出力部４の信号は、形状生成部５へ出力される。形状生成部５の出力は、対象物モデル部６、整合部４１に転送される。対象物モデル部６は、整合部４１に接続されている。整合部４１で算出されたパラメータを制御部１１からの制御に基づき、画像生成部１２に出力する。上記画像生成部１２にて画像化された解析結果の出力をＤ／Ａ部９を経由して出力部１０へ出力される。また、制御部１１の制御信号により、入力部１、補助入出力部４、対象物モデル部６、整合部４１、出力部１０がそれぞれ制御される。
【００８９】
このような時系列画像解析装置は、高速な解析処理に好適し、対象物の各部位の位置や傾斜角の概略的なパラメータの算出を行なわず、モデルのパラメータを対象物の各部位の初期パラメータ値として扱うものである。
【００９０】
まず、ＣＣＤカメラ等の入力部１は、制御部１１からの制御信号に基づき所定時間の映像信号をＡ／Ｄ部２へ転送する。Ａ／Ｄ部２は、入力部１からの上記映像信号をデジタル信号へ変換してバッファメモリ部３へ転送する。このバッファメモリ部３は、複数のフレームメモリで構成されており、Ａ／Ｄ部２からの上記デジタル信号を記憶し、これを順次補助入出力部４へ出力する。
【００９１】
上記補助入出力部４は、制御部１１の制御信号により、上記デジタル信号を形状生成部５へ出力する。形状生成部５では、対象物の存在していない背景画像と対象物の存在している原画像との差の絶対値を算出した後、その絶対値を２値化処理し、動領域のみが取り出される。この動領域が対象物のシルエット画像となる。ここで、背景画像は、予め撮影されているものを用いてもよいし、原画像から生成された背景画像を用いてもよい。
【００９２】
上記形状生成部５で生成されたシルエット画像は、対象物モデル部６、整合部４１に転送される。対象物モデル部６は、対象物の形状や動作の情報などが格納されている。また、制御部１１の制御信号により、前の実施形態で説明したと同様にサイズの校正を行う。形状生成部５で生成されたシルエット画像、対象物モデル部６のモデルは、整合部４１に出力される。整合部４１では、形状生成部５、対象物モデル部６の出力により、時系列画像中の対象物と対象物モデル部６の動作に関する時刻の同期を行い、対象物モデル部６のパラメータ群全体を形状生成部５のシルエット画像群に整合させる。
【００９３】
そして整合部４１で算出されたパラメータを制御部１１からの制御信号により、画像生成部１２に出力する。上記画像生成部１２にて画像化された解析結果の出力をＤ／Ａ部９に転送し、アナログ信号に変換する。さらに制御部１１からの制御信号に基づき、上記アナログ信号をディスプレイなどの出力部１０へ出力し、画像解析結果を表示する。
【００９４】
次に図２６は、整合部４１の処理におけるブロック構成を示す。
前段の形状生成部５と対象物モデル部６の出力は、整合部４１の同期部２１に転送される。この同期部２１では、時系列画像中の対象物と対象物モデル部６における動作に関する時刻の同期をとる。
【００９５】
そして対象物モデル部６と同期部２１の出力は、周期校正部２２に転送される。周期校正部２２では、制御部１１からの制御信号により、対象となる動作に周期性がある場合には、同期部２１で算出された複数の同期時刻とモデルに基づいて一周期に要する時間を算出し、各部位の位置や傾斜角のモデルのパラメータの校正を行う。そして形状生成部５と対象物モデル部６の出力は、最適化処理部５１に転送する。最適化処理部５１では、対象物モデル部６のパラメータ群全体を形状生成部５のシルエット画像群に整合させる。
【００９６】
上記最適化処理部５１では、対象物モでル部６のモデルのパラメータ群と形状生成部５で生成されたシルエット画像群の２者を整合する。このための手法の一例として評価関数を設定し、最小化する。例えば、人間を対象物とした解析の場合、（７）式のように評価関数ＥＴ定義し、評価関数ＥＴを上記実施形態同様にアニーリングや最急降下法などを用いて最小化することにより、時系列画像のパラメータ群の最適なパラメータの算出を行う。
【００９７】
【数７】

【００９８】
ここで、Ｔは周期、ｉ＝Ｔ〜Ｔ＋１は時刻である。Ｓｉｌは時系列画像中の対象物のシルエット画像、Ｐａｒはモデルのパラメータにより生成した楕円画像であり、第一項はモデルのパラメータをシルエット画像に整合させる作用をもつ。Ｐｃは時刻ｉ−２，ｉ−１，ｉ，ｉ＋１，ｉ＋２の時系列画像のパラメータに、重みをそれぞれ１：２：３：２：１だけ与え、平均値を算出した値である。第二項は、時系列画像のパラメータを前後の時刻から推測されるパラメータ値に整合させる作用をもつ。ｋは、各項に対するウエイトである。
【００９９】
また前述した説明では、各部位を表現する単純な幾何学的形状として楕円を用いたが、これは線分や円柱などで記述することも可能である。
上記実施形態では、構成が簡単になり、時系列画像の初期パラメータの算出を行わないので、第１実施形態に比べて高速に処理を行うことができる。
【０１００】
次に第４実施形態としての時系列画像解析装置について説明する。
本実施形態の全体的な構成は、第３実施形態と同等であり、異なる構成となる図２７に示す整合部４１のみ説明する。
この整合部４１においては、形状生成部５と対象物モデル部６の出力は、最適化処理部６１に転送する。最適化処理部６１では、ニューラルネットワークを利用することにより、時系列画像のシルエット画像に最適な時系列画像の各部位のパラメータ群（位置）の算出を行う。対象物モデル部６と最適化処理部６１の出力は傾斜角算出部６２に転送され、時系列画像のシルエット画像に最適な時系列画像の各部位の回転角の算出を行う。傾斜角算出部６２の出力は、画像生成部１２に出力される。
【０１０１】
図２７に示すように、上記形状生成部５の時系列画像のシルエット画像と対象物モデル部６のモデルのパラメータ群とシルエット画像群の出力は、最適化処理部６１に転送する。最適化処理部６１では、階層型ニューラルネットワークを用いて、時系列画像のシルエット画像に最適な時系列画像の各部位の位置のパラメータ群の算出を行う。最適化処理部６１で算出された各部位のパラメータ群（位置）は、傾斜角算出部６２に転送され、時系列画像のシルエット画像に最適な時系列画像の各部位の回転角の算出を行う。傾斜角算出部６２で算出されたパラメータ群は、画像生成部１２に出力される。
【０１０２】
図２８（ａ）は、３層の階層型ニューラルネットワークの学習法に関する概念図である。対象物モデル部６に格納されているモデルのシルエット画像を、入力層に入力する。ネットワークを介した結果がモデルの各部位の位置のパラメータとなるように学習させ、各ユニットの重みを決定する。学習は、動作１周期分の画像に対して行われ、重みの更新を行う。なお学習方法は、例えば公知である誤差逆伝搬法を用いて行うことができる。この重みを利用し、撮影された画像の各部位の位置の算出を行う。形状生成部５の時系列画像のシルエット画像を入力層に入力し、ネットワークを介することで、シルエット画像に最適な各部位の位置の算出を行うことができる。図２８（ｂ）は、撮影された画像に対するパラメータ算出に関する概念図である。
【０１０３】
傾斜角算出部６２では、最適化処理部６１で算出された各部位のパラメータ群（位置）と対象物モデル部６に格納されている各部位の大きさ（楕円の短軸、長軸の長さ）と形状生成部５の時系列画像のシルエット群を用いて、時系列画像群の各部位の傾斜角の算出を行う。最適化処理部６１で算出された各部位の位置（ｘ，ｙ）を中心点、対象物モデル部６の各部位の大きさ（楕円の短軸ｂ／２、長軸の長さａ／２）を用いて楕円の生成を行う。傾斜角に関しては、０°〜１８０°まで５°間隔で上記のパラメータを用いて楕円を生成し、シルエット画像とマッチング誤差が最小となった角度を傾斜角とする。また、傾斜角の算出は、前述した図１２（ｅ）にその概念を示している。そして、算出された各部位のパラメータ群から楕円画像を生成し、画像生成部９に転送する。
この第４実施形態では、ニューラルネットワークを用いることにより、最適化処理部２４の構成が簡単になり、最適化パラメータの調整を意識的に行われなくても学習により、これを獲得することができる。
【０１０４】
次に第５実施形態としての時系列画像解析装置について説明する。
図２９には、時系列画像解析装置の全体構成の一例を示す。本実施形態の全体的な構成は、第３実施形態と同等であり、同じ構成部位には同一の参照符号を付し、説明する。
【０１０５】
この時系列画像解析装置においては、入力部１からの入力信号は、Ａ／Ｄ部２、バッファメモリ部３を経由して補助入出力部４に保存される。補助入出力部４の信号は、形状生成部５へ出力される。形状生成部５の出力は、対象物モデル部７１、パラメータ算出部７、整合部７２に転送される。上記対象物モデル部７１は、パラメータ算出部７、整合部７２に接続されている。
【０１０６】
そしてパラメータ算出部７の出力は、整合部７２に接続されている。整合部７２の出力は、対象物モデル部７１と画像生成部１２に出力される。画像生成部１２の出力を、Ｄ／Ａ部９を経由して、出力部１０へ出力される。また制御部１１の制御信号により、入力部１、補助入出力部４、対象物モデル部７１、パラメータ算出部７、整合部７２、出力部１０がそれぞれ制御される。この時系列画像解析装置は、モデルを処理の進行に伴い適応的に学習させるものである。
【０１０７】
この時系列画像解析装置において、ＣＣＤカメラ等の入力部１は、制御部１１からの制御に基づき所定時間の映像信号をＡ／Ｄ部２へ転送する。Ａ／Ｄ部２は入力部１からの上記映像信号を、デジタル信号へ変換してバッファメモリ部３へ転送する。
そしてバッファメモリ部３は、複数のフレームメモリで構成され、Ａ／Ｄ部２からの上記デジタル信号を記憶し、これを順次、磁気ディスク装置などの補助入出力部４へ出力する。補助入出力部４は、制御部１１からの制御信号により上記デジタル信号を形状生成部５へ出力する。形状生成部５では、対象物のシルエット領域の抽出を行う。
【０１０８】
次に形状生成部５で生成されたシルエット画像は、対象物モデル部７１、パラメータ算出部７、整合部７２に転送される。対象物モデル部７１は、対象物の形状や動作の情報などが格納されている。また動作に関する情報は、整合部７２の出力に基づき更新される。パラメータ算出部７では、制御部１１の制御に基づいて形状生成部５のシルエット画像と対象物モデル部７１の出力から、対象物の各部位の位置や傾斜角のパラメータを概略的に決定する。
【０１０９】
そして、形状生成部５で生成されたシルエット画像、対象物モデル部７１のモデル、パラメータ算出部７で算出された各部位のパラメータは、整合部７２に出力される。整合部７２では、形状生成部５、対象物モデル部７１、パラメータ算出部７の出力により、時系列画像中の対象物と対象物モデル部７１のモデルの時刻の同期を行い、対象物モデル部７１のパラメータ群全体をパラメータ算出部７により算出されたパラメータ群全体、及び形状生成部５のシルエット画像群に整合させる。整合部７２の出力を制御部１１からの制御に基づき、対象物モデル部７１と画像生成部１２へ転送する。
【０１１０】
上記画像生成部１２の出力は、Ｄ／Ａ部９に転送し、アナログ信号に変換する。さらに制御部１１からの信号に基づき上記アナログ信号をディスプレイなどの出力部１０へ出力し、画像解析結果を表示する。
【０１１１】
以下に、対象物モデル部７１および整合部７２の説明を行う。
図３０は、モデルパラメータの更新に関する概念を示し、図３４は、対象物モデル部７１の構成を示す。
まず制御部１１からの制御により、形状知識部８１と動作知識部８２の出力をパラメータ算出部７と整合部７２に転送する。パラメータ算出部７にて算出された概略的なパラメータと形状知識部８１と動作知識部８２の出力を整合部７２に出力する。そして制御部１１からの制御信号に基づき整合部７２の出力は、動作知識部８２にフィードバックされる。
【０１１２】
上記対象物モデル部７１において、時系列画像の最初の一周期では、第１実施形態と同様に外部から与えられた形状知識部８１と動作知識部８２の初期モデルをパラメータ算出部７、整合部７２に出力する。
【０１１３】
そして２周期目以降は、整合部７２で算出された補正パラメータを格納し、外部から与えられたモデルは初期モデルとして別に保存しておく。この補正パラメータに基づき、動作知識部８２のモデルを更新し、以降の処理においては、更新されたモデルを各処理部に出力する。モデルの更新方法は、例えば更新前のモデルに各部位の各パラメータに補正パラメータを加えた値とする。
【０１１４】
図３２は、整合部７２の処理におけるブロック図である。形状生成部５と対象物モデル部７１の出力は、同期部２１に転送される。同期部２１と対象物モデル部７１の出力は、周期校正部２２に転送される。形状生成部５と対象物モデル部７１とパラメータ算出部７と同期部２１と周期校正部２２はパラメータ修正部２３に出力される。形状生成部５と対象物モデル部７１とパラメータ修正部２３の出力は、最適化処理部２４に転送する。最適化処理部２４の出力は、画像生成部１２へ、最適化処理部２４と対象物モデル部７１の出力は補正パラメータ算出部９１へ転送される。補正パラメータ算出部９１の出力は対象物モデル部７１にフィードバックする。
【０１１５】
上記同期部２１では、対象物モデル部７１と形状生成部５の出力に基づき、時系列画像中の対象物と対象物モデル部７１のモデルに関する時刻の同期をとる。周期校正部２２では、対象となる動作に周期性がある場合、各部位の位置や傾斜角のモデルのパラメータの校正を行う。パラメータ修正部２３では、一画像内でモデルとの対比による時系列画像のパラメータの修正を行う。
【０１１６】
そして最適化処理部２４では、時系列画像中の対象物に最適なパラメータの算出を行う。最適化処理部２４の出力は、制御部１１からの制御信号により、画像生成部１２と補正パラメータ算出部９１に出力される。補正パラメータ算出部９１では、最適化処理部２４で算出されたパラメータと対象物モデル部７１のモデルパラメータとの各部位の各パラメータの差分情報を求める。この差分情報をモデルの補正パラメータとして対象物モデル部７１にフィードバックする。
なお、上記実施形態と同様な方法を用いて対象物に最適なパラメータを算出する場合、各パラメータの差分情報をベクトルとして保存することで、このベクトルの方向に重みをかけて、微小変化を与えることができる。また、３周期以降は、補正パラメータのテーブルの部分を置き換えるだけでよい。
【０１１７】
図３０（ｂ）は、最適化処理での微小変化の与え方に関する概念図である。 この第５実施形態では、モデルを随時更新することにより、解析を行う対象物に適したモデルを作成することができ、処理を高精度にかつ高速に行うことができる。
【０１１８】
次に第６実施形態としての時系列画像解析装置について説明する。
本実施形態の全体的な構成は、第５実施形態と同等であり、異なる構成となる対象物モデル部について説明する。本実施形態は、各部位のモデルを階層的に分割し、各部位毎に交換可能なモデルに関するものである。
【０１１９】
図３３は、本実施形態の対象物モデル部の具体的な構成例を示す。
この対象物モデル部において、形状知識部８１と動作知識部１０１の出力はパラメータ算出部７へ、形状知識部８１と動作知識部１０１とパラメータ算出部７の出力は、整合部７２に転送される。整合部７２の出力は、制御部１１からの制御信号により動作知識部１０１に出力される。
【０１２０】
この対象物モデル部は、制御部１１の制御信号により、形状知識部８１と各部位毎に階層的に保存されている動作知識部１０１の出力をパラメータ算出部７と整合部７２に転送する。パラメータ算出部７にて算出された概略的なパラメータと形状知識部８１と動作知識部１０１の出力を整合部７２に出力する。整合部７２では、モデルと適合する部位とモデルの切り替えを行う部位の抽出を行う。制御部１１の制御に基づき整合部７２の出力は、動作知識部１０１にフィードバックされる。
【０１２１】
そして対象物モデル部７１では、対象物の形状構造の中心となる部位に関して他の部位との結合を階層的に保存する。図３４には、人間を例とした場合の胴体部を基準に他の部位が結合しているツリー構造を示す。このように階層的なモデルから、１番目に格納されているモデルのパラメータを取り出し、パラメータ算出部７へ出力し、概略的なパラメータの算出を行う。算出された概略的なパラメータとモデルを整合部７２に出力し、切り替えを行う部位の検出を行う。整合部７２で検出された切り替えを行う部位の階層構造下に格納されている次のモデルをパラメータ算出部７と整合部７２に出力する。
【０１２２】
上記整合部７２では、対象物モデル部７１から出力されたモデルから時系列画像のパラメータの最適解を算出する。最適化処理では、適合性を判断するために、上記実施形態では評価関数Ｅにおいて、（６）式のように１４種類の全部位の総和をとっていた（ｊ＝１〜１４）。これを、個々の部位ごとの式に分解して、１４種類の評価関数を得る。個々の評価関数に対して評価基準を設け、評価関数Ｅが評価基準より大きい部位の選択を行う。
【０１２３】
具体的には、評価基準となる閾値を設定し、各部位の評価関数Ｅが所定の閾値を越えたか否か判断する。この場合の評価は、上記ツリー構造の上部から行うものとする。つまり人間の場合、胴体部から行う。上記評価関数Ｅが閾値を越えて、選択された部位を動作知識部１０１に出力する。この操作は、各部位の評価関数が閾値を越えなくなるまで行う。またモデルが決定した後で、各部位の評価関数が閾値より大きくなった場合には、上記のような手法でモデルの切り替えを行う。この第６実施形態によれば、モデルの情報量を減少することができ、より多くの動作の解析を行うことができる。
【０１２４】
次に第６実施形態としての時系列画像解析装置について説明する。
本実施形態の全体的な構成は、第１実施形態と同等であり、異なる構成について説明する。本実施形態は、複数のモデルから解析対象画像に最適なモデルの選択する方法に関するものである。
図３５は、第７実施形態の時系列画像解析装置の構成を示し、同じ構成部位には同一の参照符号を付し、説明する。
【０１２５】
この時系列画像解析装置において、入力部１からの入力信号は、Ａ／Ｄ部２、バッファメモリ部３を経由して補助入出力部４に保存され、該補助入出力部４の出力信号は形状生成部５へ出力される。形状生成部５の出力は、対象物モデル部６、解析部１１１に転送される。
【０１２６】
対象物モデル部６は、解析部１１１に接続される。解析部１１１の出力は、モデル決定部１１２と画像生成部１２に接続されている。モデル決定部１１２の出力は、対象物モデル部６に出力される。画像生成部１２の出力は、Ｄ／Ａ部９を経由して、出力部１０へ出力される。また、制御部１１からの制御信号により、入力部１、補助入出力部４、対象物モデル部６、解析部１１１、モデル決定部１１２、出力部１０がそれぞれ制御される。
【０１２７】
このような時系列画像解析装置において、ＣＣＤカメラ等の入力部１は、制御部１１からの制御に基づき所定時間の映像信号をＡ／Ｄ部２へ転送する。Ａ／Ｄ部２は入力部１からの上記映像信号を、デジタル信号へ変換してバッファメモリ部３へ転送する。バッファメモリ部３は複数のフレームメモリで構成され、Ａ／Ｄ部２からの上記デジタル信号を記憶し、これを順次、補助入出力部４へ出力する。
【０１２８】
上記補助入出力部４は、制御部１１からの制御信号により、上記デジタル信号を形状生成部５へ出力する。形状生成部５では、対象物のシルエット領域を抽出する。形状生成部５で生成されたシルエット画像は、対象物モデル部６、解析部１１１に転送される。対象物モデル部６は、対象物の形状や複数の動作の情報などが格納されている。
【０１２９】
また解析部１１１では、複数のモデルに対して解析を行い、対象物の各部位の位置や傾斜角のパラメータの算出を行う。この解析部１１１で算出された複数モデルに対する各部位のパラメータは、制御部１１からの制御信号に基づいて、モデル決定部１１２と画像生成部１２へ出力される。モデル決定部１１２では、解析部１１１の出力により、複数のモデルに対して算出された評価関数が最小値をもつモデルの抽出を行い、モデルの決定を行う。
【０１３０】
そしてモデル決定部１１２で決定されたモデルを対象物モデル部６に出力し、以降の解析には決定されたモデルに関する情報が対象物モデル部６から出力されるようになる。解析部１１１の出力を制御部１１からの制御に基づき、画像生成部１２を経由してＤ／Ａ部９に転送し、アナログ信号に変換する。さらに制御部１１からの制御信号により、上記アナログ信号をディスプレイなどの出力部１０へ出力し、画像解析結果を表示する。
【０１３１】
図３６は、前述した解析部１１１の処理におけるブロック構成を示し、図３７は、複数モデルから時系列画像中の対象物に最適なモデルの選択法に関する概念を示す。
形状生成部５のシルエット画像は、方向決定部１２１に出力され、方向決定部１２１の出力は対象物モデル部６にフィードバックする。この形状生成部５のシルエット画像と、対象物モデル部６の各モデルは、パラメータ算出部１２２に出力される。パラメータ算出部１２２の出力は、整合部１２３に転送され、制御部１１からの制御信号により、モデル決定部１１２及び画像生成部１２に出力される。
【０１３２】
そして方向決定部１２１では、形状生成部５のシルエット画像の面積に基づいて、対象物の移動方向の検出を行う。具体的には、シルエット画像の面積が時刻とともに変化しない場合には、カメラ光軸方向に対して垂直方向に、時刻とともに増減する場合、カメラの光軸方向に対して平行または斜めに移動している。 つまり、シルエット画像の面積の増減の割合で、移動方向の決定を行う。検出された移動方向を対象物モデル部６にフィードバックする。対象物の移動方向検出は、シルエットの重心点をベクトルとして検出することで決定したり、シルエット画像を包含する外接四角形の面積や中心を検出することも可能である。形状生成部５のシルエット画像と対象物モデル部６の検出された移動方向に対応する複数のモデルをパラメータ算出部１２２に出力する。
【０１３３】
例えば、人物の動作解析の場合、歩行，走行，着席，静止等の複数のモデルが対象物モデル部６に格納されており、形状に関するモデルと方向決定部１２１で検出された方向の動作に関するモデルがパラメータ算出部１２２に出力される。パラメータ算出部１２２では、前述した実施形態におけるパラメータ算出部７と同様にそれぞれのモデルを用いて概略的なパラメータの算出を行う。整合部１２３は、パラメータ算出部１２２の出力と形状生成部５と対象物モデル部６の各モデルから上記実施形態の整合部８と同様に時系列画像中の対象物に最適なパラメータを算出し、最適化処理後の評価関数Ｅ（モデルとのマッチング誤差）の算出を行う。その際、動作と同期がとれない、つまり、上記実施形態での同期部２１における面積誤差が所定の閾値より大きかった場合には、そのモデルは破棄され、以降の処理は行わない。
【０１３４】
そして同期のとれたモデルに対し、上記実施形態と同様に最適化処理を行う。上記整合部１２３の出力は、制御部１１からの制御信号により、モデル決定部１１２と画像生成部１２に転送される。但し、パラメータ算出部と整合部は対象物モデル部６に格納されているモデルの数だけ増やすことができ、また並列に処理を行うことができる。なお、モデルが決定している場合、整合部１２３の出力は、モデル決定部１１２に転送されず、パラメータ算出部と整合部は１つだけ使用される。
【０１３５】
上記モデル決定部１１２では、整合部１２３から出力された複数の評価関数Ｅの中から最小のものを最適モデルとして選択する。選択されたモデルを対象物モデル部６にフィードバックし、以降の解析には対象物モデル部６から決定されたモデルが出力されるようになる。この後、選択されたモデルを用いて処理を継続し、評価関数Ｅが所定値を越えた場合にモデルの再選択を行うことを繰り返す。なお、このような処理により、対象物の動作が決まっていない場合でも、解析を行うことができる。この処理は並列でなく、最適化処理の誤差を１モデルづつ算出し、最後に誤差の最小なモデルを選択することも可能である。
【０１３６】
次に第８実施形態としての時系列画像解析装置について説明する。
本実施形態の全体的な構成は、第２実施形態と同等であり、異なる構成について説明する。本実施形態は、処理を行う優先順位を考慮することで、ある部位のパラメータが決定すると、それと結合関係にある全ての部位の候補領域をより限定し、最適化処理を高速に行うものである。
図３８は、第８実施形態の時系列画像解析装置におけるパラメータ算出部の構成を示し、同じ構成部位には同一の参照符号を付し、説明する。
【０１３７】
このパラメータ算出部においては、対象物モデル部６と形状生成部５の出力は、候補領域算出部１３１に転送される。候補領域算出部１３１では、時系列画像中の対象物の各部位の候補領域を算出し、誤差が少ない、つまり候補領域の面積が小さい部位に関して優先的に処理を行い、他の部位の候補領域の限定を行う。候補領域算出部１３１の出力は、候補領域算出部１３１と整合部８に転送される。
【０１３８】
図３９は、処理の優先順位の導入による、時系列画像中の対象物の各部位の存在候補領域の算出における概念を示す図である。
まず、候補領域算出部１３１では、第２実施形態の候補領域算出部３１と同様に存在可能領域１とシルエット画像とのＡＮＤ処理にて候補領域１を求める。候補領域１の中で誤差が少ないと推定できる領域、つまり面積の所定の閾値より小さい候補領域、例えば人間の場合、頭部や胴体部や手部に関しては、候補領域の重心点を中心とする楕円を発生させ、シルエット画像とのマッチングをとることでパラメータの算出を行う。
【０１３９】
この３点の位置が確定すると、他の部位の存在しうる領域は限定される。つまり、確定された部位と結合関係にある部位の間の関節角や各部位の長さなどの拘束条件を用いるとより限定された候補領域が算出される。
具体的には、対象物が人間の場合、候補領域１の面積が小さい頭部・胴体部・手部が優先的に処理され、位置が確定する。頭部及び胴体部の位置が確定すると、各部位の長さから存在可能領域１が存在可能領域２のように限定された領域となる。即ち、胴体部の中心点から（２）式を用いて、肩の位置を算出する。そして肩の位置を中心とする半径ｒの円を考える。ここで、半径ｒとは、上腕部の領域に関しては（上腕部の長さ／２）、前腕部の領域に関しては（上腕部＋前腕部／２）、手部に関しては（上腕部／＋前腕部／２＋手部）のことを示す。
【０１４０】
次に、前述した中心点と半径をもつ円と存在可能領域１の共通部分の算出を行い、存在可能領域２の抽出を行う。第２実施形態と同様に、存在可能領域２とシルエット画像のＡＮＤ処理にて候補領域２を算出し、この領域を利用して各部位の各位置や傾斜角および許容範囲の算出を行う。
【０１４１】
また、図３９に示す破線のように、候補領域１から候補領域２を直接抽出する手法を以下に示す。
まず、確定された胴体部の中心点から肩の位置を（２）式より算出する。例えば、各部位間の長さを利用して前腕部領域を限定する場合、手部や肩の中心点を中心とする半径（手部の長さ／２＋前腕部の長さ／２＋ε_０ ）、（上腕部の長さ＋前腕部の長さ／２＋ε_０ ）の円を考える。ここで、手部の候補領域の面積の例えば１０％をε_０ とする。この２つの円と候補領域１の共通領域を候補領域２とする。
【０１４２】
同様に、他の部位に関しても、候補領域１より限定された候補領域２の算出を行う。また、肩と手部のなす角度は肩と前腕部及び肩と上腕部のなす角度より大きい。また肩と前腕部のなす角度は、肩と上腕部のなす角度より大きいという、上記例に関する各関節間の角度の拘束条件から、より限定された候補領域２を得ることができる。
【０１４３】
図４０は、限定された候補領域２の算出に関する概念を示す図である。候補領域２を用いて、第２実施形態と同様に、各部位の各位置や傾斜角および許容範囲の算出を行う。
制御部１１からの制御信号により、これらのパラメータ群は、整合部８に出力され、最適化処理を行う。時間軸上での最適化処理では、確定された頭部と胴体部と手部を処理の対象から外すことができる。また、微小変化を与える頻度を少なくするなどにより処理を高速化できる。
この第８実施形態によれば、確度の高い部位の位置を優先的に確定し、これをもとにして他の部位について適正な初期値からの最適化を行うため、最適化処理を高速化することができる。
【０１４４】
次に第９実施形態としての時系列画像解析装置について説明する。
図４１には、第９実施形態の整合部７２の具体的な構成例を示す。本実施形態の全体的な構成は、第５実施形態と同等であり、異なる構成について説明する。本実施形態は、過去の最適化情報を用いて予測を行い高速に処理を行うものである。
【０１４５】
この整合部７２において、形状生成部５と対象物モデル部７１の出力が同期部２１に入力され、この同期部２１と対象物モデル部７１の出力は、周期校正部２２に転送される。形状生成部５と対象物モデル部７１とパラメータ算出部７と同期部２１と周期校正部２２のそれぞれの出力は、パラメータ修正部２３に送出される。また、形状生成部５と対象物モデル部７１とパラメータ修正部２３の出力は、最適化処理部２４に転送する。最適化処理部２４の出力は、動きベクトル算出部１４１と画像生成部１２に転送される。動きベクトル算出部１４１での出力は最適化処理部２４にフィードバックする。
【０１４６】
そして上記同期部２１では、対象物モデル部７１と形状生成部５の出力に基づき、時系列画像中の対象物と対象物モデル部７１における動作に関する時刻の同期をとる。上記周期校正部２２では、対象となる動作に周期性がある場合、各部位の位置や傾斜角のモデルのパラメータの校正を行う。パラメータ修正部２３では、一画像内でモデルとの対比による時系列画像のパラメータの修正を行う。
【０１４７】
図４２は、動きベクトル算出の概念を示し、図４３には、予測を利用した最適化処理の概念を示す。
最適化処理部２４では、まず最初の数枚（例えば５枚）のみ、上記実施形態と同様な方法で最適化処理を行う。制御部１１の制御に基づき、最適化されたパラメータを動きベクトル算出部１４１に出力する。動きベクトル算出部１４１では、最適化処理部２４で算出されたパラメータが過去数枚分記憶され、これらから次時刻の最適解（パラメータ）を予測する。予測の方法は、時刻に対する各パラメータの変化から、線形予測を用いてもよい。また部位の位置・傾斜角から動きベクトルを求め、これを利用することにより行うことができる。算出された次時刻のパラメータは、最適化処理部２４に出力され、上記実施形態のモデルのパラメータを動きベクトル算出部１４１で予測されたパラメータに置き換え、アニーリング等の最適化処理を行う。
この第９実施形態では、前時刻のパラメータから予測したパラメータを用いるため、時間的な連続性が良好となる最適化処理を行うことができる。
【０１４８】
次に第１０実施形態としての時系列画像解析装置について説明する。
図４４には、第１０実施形態の整合部の具体的な構成例を示す。本実施形態の全体的な構成は、第５実施形態と同等であり、異なる構成について説明する。本実施形態は、各部位の時系列画像のパラメータとモデルのパラメータとの誤差を算出し、誤差つまりパラメータの調整度に応じて微小変化の与え方を変化させるものである。
【０１４９】
この整合部７２において、形状生成部５と対象物モデル部７１の出力は、同期部２１に転送される。同期部２１と対象物モデル部７１の出力は、周期校正部２２に転送される。形状生成部５と対象物モデル部７１とパラメータ算出部７と同期部２１と周期校正部２２はパラメータ修正部２３に出力される。形状生成部５と対象物モデル部７１とパラメータ修正部２３の出力は、最適化処理部２４に転送する。最適化処理部２４と対象物モデル部７１の出力は、制御部１１の制御に基づき調整度算出部１５１へ、最適化処理部２４の出力は、画像生成部１２に転送される。調整度算出部１５１での出力は対象物モデル部７１にフィードバックする。
【０１５０】
そして同期部２１では、対象物モデル部７１と形状生成部５の出力に基づき、時系列画像中の対象物と対象物モデル部７１における動作に関する時刻の同期をとる。周期校正部２２では、対象となる動作に周期性がある場合、各部位の位置や傾斜角のモデルのパラメータの校正を行う。パラメータ修正部２３では、一画像内でモデルとの対比による時系列画像のパラメータの修正を行う。
【０１５１】
図４５は、調整度算出の概念を示す図である。つまり最適化処理部２４では、パラメータ修正部２３の出力に基づいて、１周期目のみ上記実施形態と同様な方法でアリーニング等の最適化処理を行う。制御部１１からの制御信号により、最適化処理部２４で算出されたパラメータを調整度算出部１５１に出力する。この調整度算出部１５１では、最適化処理部２４で算出されたパラメータと対象物モデル部７１のパラメータの差に応じて調整度の算出を行う。ここで調整度とは、最適化処理部２４の微小変化の与え方を示すものである。調整度の算出方法は、最適化処理部２４で算出されたパラメータと対象物モデル部７１のパラメータの差を算出し、その差の例えば１０％を調整度とする。つまり、調整度の値が大きいほど、そのパラメータを調整する必要があるため、微小変化の与え方を他の部位より大きくする。
【０１５２】
そして算出された調整度は、最適化処理部２４に出力される。最適化処理部２４では、調整度に基づいて微小変化を次のようにして算出する。例えば、乱数を用いて与えられた初期の微小変化に調整度を乗じたものを微小変化に加えた値を新たな微小変化とする。
【０１５３】
次に２周期目以降は、この調整度を用いて最適化処理を行う。制御部１１からの制御信号により、最適化処理部２４で算出されたパラメータが画像生成部１２に転送される。なお、調整度の与え方は、各部位毎に与えるのではなく、画像単位で与えることもできる。図４５（ｂ）は、歩行動作の調整度算出に関する概念図である。例えば、歩行動作の場合では両手・両足が重ならない状況では各部位の調整度は低く、画像全体の調整度も低くなる。一方、両手・両足が重なり後ろの手や足が隠れてしまう場合は調整度が高くなる。画像単位の調整度は、静止画像のレベルで得られたパラメータから楕円画像を生成し、シルエット画像との差とすることもできる。また、一周期単位で処理を行う場合、調整度の高い画像への微小変化の付与を抑制することもできる。
【０１５４】
この第１０実施形態によれば、各部位のパラメータの調整度つまり、誤差に応じて最適化処理にて扱う微小変化の与え方を変化させるため、処理を高速化に行うことができる。
【０１５５】
次に第１１実施形態としての時系列画像解析装置について説明する。
図４６には、第１１実施形態の整合部の具体的な構成例を示す。本実施形態の全体的な構成は、第５実施形態と同等であり、異なる構成について説明する。 本実施形態は、パラメータ修正部２３での修正情報を用いて、最適化処理の微小変化の与え方を限定するものである。
【０１５６】
この整合部７２において、形状生成部５と対象物モデル部７１の出力は、同期部２１に転送される。同期部２１と対象物モデル部７１の出力は、周期校正部２２に転送される。形状生成部５と対象物モデル部７１とパラメータ算出部７と同期部２１と周期校正部２２はパラメータ修正部２３に出力される。形状生成部５と対象物モデル部７１とパラメータ修正部２３の出力は、最適化処理部２４に転送する。パラメータ修正部２３と最適化処理部２４の出力は、制御部１１の制御に基づき確信度算出部１６１へ、最適化処理部２４の出力は、画像生成部１２に転送される。確信度算出部１６１での出力は最適化処理部２４にフィードバックする。
【０１５７】
そして同期部２１では、対象物モデル部７１と形状生成部５の出力に基づき、時系列画像中の対象物と対象物モデル部７１における動作に関する時刻の同期をとる。周期校正部２２では、対象となる動作に周期性がある場合、各部位の位置や傾斜角のモデルのパラメータの校正を行う。パラメータ修正部２３では、一画像内でモデルとの対比による時系列画像のパラメータの修正を行う。パラメータ修正部２３で行われる時系列画像のパラメータとモデルのパラメータの差が所定の閾値以下と判断された部位（信頼性：高）、差が閾値以上でモデルとの置換を行った部位（信頼性：中）、差が閾値以上でモデルとの置換が破棄された部位 （信頼性：低）の３段階の情報を確信度算出部１６１に転送する。図４７は、パラメータ修正部２３で得られる情報に関する概念を示す図である。
【０１５８】
まず、確信度算出部１６１では、３つの分類に基づき微小変化の与えかたを変える。例えば、差が閾値以下の部位では閾値εを半径ｒとする円内の微小変化を与え、差が閾値以上でモデルとの置換を行った部位は置換前の部位があった方向（角度θ）を除く閾値εを半径ｒとする円内で、差が閾値以上でモデルとの置換が破棄された部位は閾値εの２倍を半径ｒとする円内の微小変化を与える。
【０１５９】
次に算出された半径ｒ、角度θは、最適化処理部２４に出力される。最適化処理部２４では、半径ｒ、角度θの円内に、与えられた微小変化が存在するか判断し、存在するならば、その微小変化を用いて最適化を行う。図４８は、確信度を利用した微小変化の与え方の概念図である。制御部１１の制御に基づき最適化処理部２４の出力が画像生成部１２に転送される。
この第１１実施形態によれば、パラメータの修正に関する情報を利用して、最適化処理にて扱う微小変化を与える範囲を限定することで処理を高速化することができる。
【０１６０】
以上の実施形態に基づいて説明したが、本明細書には、以下のような発明も含まれる。
（１）時系列画像中の所定の対象物を解析する時系列画像解析装置において、
上記時系列画像中の所定の時間範囲内の複数の画像から対象物であるシルエット画像を抽出する形状生成手段と、
上記対象物の形状及び動きによる形状変化に関する知識を、上記対象物を構成する部位のそれぞれについてパラメータとして格納する対象物モデル手段と、
上記形状生成手段によって抽出された上記対象物から上記対象物モデル手段に格納されたパラメータと対応したパラメータを算出するパラメータ算出手段と、
上記パラメータ算出手段から算出された対応パラメータの全体と対象物モデル手段のパラメータの全体を照合し、誤差を最小化させることにより整合させる整合手段と、
を有することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１，５，７の実施形態が対応する。
従って、遮蔽などの影響で算出不可能であった時系列画像中の所定の対象物を構成する部位のパラメータは、モデルのパラメータに整合することによって、対象物を認識し、対象物の動きを高精度に解析することができる。
【０１６１】
（２）上記（１）項記載の時系列画像解析装置の対象物モデル手段において、上記対象物の形状に関する知識は、対象物を構成する複数の部位に分割し、分割された各部位の大きさを対象物の全体の大きさに対する比率として定義し、また各部位間の接続関係をテーブルに格納することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１の実施形態が対応する。
【０１６２】
（３）上記（１）項若しくは（２）項のいずれか１項に記載の時系列画像解析装置の対象物モデル手段において、
上記時系列画像中から動領域を抽出し、該動領域に外接する矩形を算出し、該矩形の縦方向のサイズと予め格納してある、各部位の全体の大きさに対する比率に基づき、各部位のサイズの修正を行い、対象物のサイズを校正することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１の実施形態が対応する。
従って、モデルのサイズを校正することで多くの被写体に適用でき、撮影距離の差によるサイズの違いも補正できる。
【０１６３】
（４）上記（１）項に記載の時系列画像解析装置において、
上記パラメータを、上記時系列中の上記対象物の各部位に対応する楕円の位置、傾き、大きさとすることを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１，２，３，４，５，６，７，８，９，１０，１１の実施形態が対応する。
従って、対象物の形状を楕円で表現することにより、時系列画像中の対象物との整合が容易である。
【０１６４】
（５）上記（１）項乃至（４）項のいずれか１項に記載の時系列画像解析装置において、
上記パラメータの少なくとも１つは、パラメータの代表値とその許容範囲とすることを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第２，８の実施形態が対応する。
従って、上記のパラメータを決定する際に各部位のパラメータの許容範囲の算出を行ことにより、算出した各パラメータ解の柔軟性をもたすことができる。
【０１６５】
（６）上記（１）項に記載の時系列画像解析装置の対象物モデル手段において、上記対象物の動きによる形状変化に関する知識は移動する上記対象物の各部位のパラメータのことであり、該部位に装着したマーカの動きに基づき算出することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１の実施形態が対応する。
【０１６６】
（７）上記（６）項記載の時系列画像解析装置の対象物モデル手段において、上記マーカは、上記対象物の各部位の中心位置に装着することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１の実施形態が対応する。
【０１６７】
（８）上記（６）項記載の時系列画像解析装置の対象物モデル手段において、上記マーカは、上記対象物の各部位間の接続箇所に装着することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１の実施形態が対応する。
【０１６８】
（９）上記（１）項乃至（８）項のいずれか１項に記載の時系列画像解析装置の対象物モデル手段において、
上記対象物の形状変化に関連する動作のパラメータを時間軸上に所定の時間間隔で割り付けることを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１，３，４，５，６，７，９，１０の実施形態が対応する。
従って、対象となる動作パラメータを、時間軸上に所定の時間間隔に割り付けることによって、対象物の動作速度の変化に対応することができる。
【０１６９】
（１０）上記（１）項乃至（９）項のいずれか１項に記載の時系列画像解析装置の対象物モデル手段において、
上記パラメータをテーブルとして保持することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１，３，４，５，６，７，９，１０，１１の実施形態が対応する。
従って、対象となる動作のパラメータをテーブルとして保存することによって、処理が容易になる。
【０１７０】
（１１）上記（１）項乃至（９）項のいずれか１項に記載の時系列画像解析装置の対象物モデル手段において、
上記パラメータを補間関数を用いて数式として保持することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１，３，４，５，６，７，９，１０，１１の実施形態が対応する。
【０１７１】
従って、対象となる動作のパラメータを、各部位ごとに補間関数により数式として保存することにより、モデルのデータ量を削減することができる。
【０１７２】
（１２）上記（１）項乃至（１１）項のいずれか１項に記載の時系列画像解析装置の対象物モデル手段において、
上記時系列画像における対象物の部位の動作の周期成分を抽出し、一周期分のパラメータのみの格納を行うことを特徴とする時系列画像解析装置。
従って、動作に周期性がある場合、動作から周期成分を抽出し、一周期分のパラメータのみを格納することによって、モデルの情報量を削減することができる。 この発明に関する実施形態は、第１，３，４の実施形態が対応する。
【０１７３】
（１３）上記（１）項に記載の時系列画像解析装置の対象物モデル手段において、
さらに、上記パラメータに関する各部位の存在可能領域を算出する存在可能領域算出手段を付加したことを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１の実施形態が対応する。
従って、対象となる動作の各部位のパラメータを用いて存在可能領域を算出することにより時系列画像の各部位のパラメータを高速に算出することができる。
（１４）上記（１３）項記載の時系列画像解析装置の対象物モデル手段において、
上記存在可能領域算出手段により算出された存在可能領域の形状を単純な幾何学的形状を組み合わせた形状として保持することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１の実施形態が対応する。
従って、算出した存在可能領域を幾何学的な形状のパラメータの組み合わせとして表現することにより、モデルの情報量を削減することができる。
【０１７４】
（１５）上記（１３）項記載の時系列画像解析装置のパラメータ算出手段において、
上記存在可能領域算出手段により出力される存在可能領域に基づいて、上記時系列画像中の上記対象物の各部位の存在候補領域の算出を行う候補領域算出手段と、を付加したことを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第２，８の実施形態が対応する。
従って、上記で算出した存在可能領域と時系列画像中の対象物のシルエット画像のＡＮＤ処理を行い、各部位の候補領域を一括的に算出を行うことによって、処理が高速になり、後処理の負荷を軽減できる。
【０１７５】
（１６）上記（１５）項記載の時系列画像解析装置のパラメータ算出手段において、
上記候補領域算出手段により出力される存在可能領域に基づき、上記対象物の各部位のパラメータ群の算出を行うことを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第２の実施形態が対応する。
従って、上記で求められた各部位の候補領域の結合関係を決定し、パラメータの算出を行うことによって、後処理の負荷を軽減できる。
【０１７６】
（１７）上記（１６）項記載の時系列画像解析装置のパラメータ算出手段において、上記パラメータ群の算出を行う際に、上記候補領域算出手段により算出された候補領域と上記対象物モデル手段に基づく各部位のサイズより各パラメータの許容範囲を算出することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第２の実施形態が対応する。
従って、上記で求められた候補領域とモデルのサイズにより算出されたパラメータの許容範囲の算出を行うことによって、後処理の負荷を軽減できる。
【０１７７】
（１８）上記（１）項若しくは（１７）項のいずれか１項に記載の時系列画像解析装置において、
上記時系列画像の一画像内でモデルとの対比により各パラメータの修正を行うパラメータ修正手段を付加したことを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１の実施形態が対応する。
従って、モデルと時系列画像のパラメータの差を算出し、閾値より大きい場合、パラメータを置換し、マッチング誤差を算出し、増大する場合は、破棄することよって、真値に近いパラメータを算出するため、最適化処理が高速になる。
【０１７８】
（１９）上記（１５）項乃至（１７）項のいずれか１項に記載の時系列画像解析装置のパラメータ算出手段は、上記形状生成手段によって抽出された上記対象物の移動方向を算出する移動方向算出手段と、上記対象物の移動方向と上記対象物モデル手段に格納されている動きに関する知識の移動方向とが同一か否か判断する移動方向判断手段と、上記対象物と上記対象物モデル手段に格納されている動きに関する知識の移動方向が同一でない場合、上記対象物モデル手段に格納されている動きに関するパラメータの修正を行うモデル修正手段と、
をさらに有することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第２の実施形態が対応する。
従って、１つの装置で双方向に移動する対象物の解析も行うことができる。
【０１７９】
（２０）上記（１）項記載の時系列画像解析装置の整合手段は、
上記パラメータ手段から算出された対応パラメータの全体と対象物モデル手段のパラメータの全体及び、形状生成手段で抽出された対象物のシルエット画像を照合し、誤差を最小化させることを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第２の実施形態が対応する。
【０１８０】
（２１）上記（１）項記載の時系列画像解析装置において、
上記整合手段は、さらに、上記パラメータ算出手段によって算出された上記対象物のパラメータから対象物を表す画像として構成される画像と上記形状生成手段によって抽出された対象物とが整合するように上記対象物のパラメータを補正することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１，５，７の実施形態が対応する。
従って、時系列画像中の対象物の各部位のパラメータをモデルのパラメータ及び、時系列画像中の対象物に整合させることによりさらに高精度の解析が可能となる。
【０１８１】
（２２）上記（１）項又は（２１）項のいずれか１項に記載の時系列画像解析装置の整合手段は、前記時刻の同期を取るための同期手段を有し、上記同期手段は、上記対象物モデル手段にパラメータとして格納されている対象物の各部位の所定の動きの状態変化を時刻として検出する動き検出手段と、
上記動き検出手段により検出された時刻の上記対象物モデル手段に格納されている対象物と上記パラメータ算出手段により算出されたパラメータから同一の動きの状態である時刻の算出を行う時刻算出手段と、
により構成されることを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１，３，５，９，１０，１１の実施形態が対応する。
従って、モデルの所定の動きの時刻のパラメータを用いて楕円画像の生成を行い、時系列画像中の対象物のシルエット画像群とのマッチングを行い、また、マッチング誤差が最小となるシルエット画像の時刻の算出を行うことによって、全画像と全モデルとの比較を省略できるため、高速処理を行うことができる。
【０１８２】
（２３）上記（１２）項記載の時系列画像解析装置の整合手段において、
上記時系列画像における対象物の部位の動作周期と、前回に設定された上記対象物モデル手段の対象物の部位の動作周期の比に基づいて、上記対象物モデル手段の周期の校正を行う周期校正手段を具備することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１，３，５，９，１０，１１の実施形態が対応する。
従って、各時系列画像の動作周期の算出を行う。算出した一周期あたりの時間とモデルの一周期あたりの時間との比率を算出し、この比率を用いてモデルの周期の校正を行うことによって、対象物の動作速度が変化した場合にも柔軟に対応することができる。
【０１８３】
（２４）時系列画像中の所定の対象物を解析する動画像解析方法において、
上記対象物の形状及び動きによる形状変化の知識を、上記対象物を構成する部位のそれぞれについてパラメータ化することによってモデル化し、
上記モデル化されたパラメータのうち、動きに関する知識を時間の関数として格納し、
上記時系列画像中の所定の時間範囲内の複数の画像から上記対象物を抽出して、上記モデル化されたパラメータに対応するパラメータを算出し、
上記モデル化されたパラメータと上記対象物から算出されたパラメータとの間の同期をとり、同期した上記対象物からのパラメータによる形状と、上記モデル化されたパラメータによる形状との大きさが合うように上記モデル化されたパラメータを補正し、
上記対象物に基づいて算出したパラメータを上記関数から求められたパラメータに整合することを特徴とする時系列画像解析方法。
この発明に関する実施形態は、第１，２の実施形態が対応する。
従って、時系列画像中の対象物を構成する各部位のパラメータを算出し、抽出された対象物に基づいて、モデルの大きさの補正が行われ、対象物とモデルの動きの同期がとられた後、対象物から算出されたパラメータとモデルのパラメータのそれぞれの大きさが所定の関係を満たすように対象物から算出されたパラメータが補正される。
【０１８４】
（２５）時系列画像中の所定の対象物を解析する動画像解析方法において、
上記対象物の形状および動作の知識を所定部位に関するパラメータとしてモデル化し、上記モデルを数式化して格納し、上記対象物に関し上記モデルに対応する概略的なパラメータを算出し、上記対象物と上記モデル間の時刻の同期をとり、上記対象物と上記モデル間のサイズの校正を行い、
上記対象物パラメータ全体を上記モデルのパラメータ全体及び上記時系列画像中の所定の対象物に整合する、ことを特徴とする時系列画像解析方法。
この発明に関する実施形態は、第１，２の実施形態が対応する。
従って、時系列画像中の対象物の各部位のパラメータを概略的に算出し、対象物とモデルのサイズの校正と同期時刻の算出を行い、さらに、時系列画像中の対象物の各部位のパラメータ群、モデルのパラメータ群、時系列画像中の対象物のシルエット画像の３者を整合する評価関数を定義し、この評価関数を最小化することを行うことによって、対象物の動作を高精度に解析することができる。
【０１８５】
（２６）上記（２２）項記載の上記同期手段は、
上記形状生成手段によって抽出された対象物と上記対象物モデル手段に格納されている対象物の面積が最小または最大となる時刻を算出することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１の実施形態が対応する。
【０１８６】
（２７）上記（１）項に記載の時系列画像解析装置の整合手段は、上記形状生成手段のシルエット画像を入力すると対象物の各部位のパラメータを出力するニューラルネットワークを付加することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第４の実施形態が対応する。
【０１８７】
（２８）上記（１）項及び（９）項乃至（１２）項のいずれか１項に記載の時系列画像解析装置の対象物モデル手段は、
さらに上記整合手段により算出されたパラメータと、上記対象物モデル手段のパラメータとの差から算出される補正パラメータに基づき、該対象物モデル手段に記憶しているパラメータを更新するパラメータ更新手段を有することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第５の実施形態が対応する。
従って、モデルの動きに関するパラメータを処理の進行に伴い、適用的に学習させることで、処理の高精度化と高速化を行うことができる。
【０１８８】
（２９）上記（１）項及び（９）項乃至（１２）項及び（２８）項のいずれか１項に記載の時系列画像解析装置の対象物モデル手段は、上記対象物を構成する主となる任意の部位のパラメータを上位階層とし、これらの部位と結合する部位のパラメータを下位階層として、各部位の動きに関するモデルを階層的に保存することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第６の実施形態が対応する。
（３０）上記（２９）項記載の時系列画像解析装置の対象物モデル手段は、上記整合手段による整合の際に、整合する度合いが所定の閾値を越えた前記各部位のパラメータのみ新たに変更することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第６の実施形態が対応する。
【０１８９】
従って、必要な部位のみモデルを切り換えることが可能となり、より多くの状況に対応可能な処理を行うことができる。
【０１９０】
（３１）上記（１）項及び（９）項乃至（１２）項及び（２８）項のいずれか１項に記載の時系列画像解析装置の対象物モデル手段において、上記整合手段に使用するために上記対象物モデル手段から抽出されるパラメータは、対象物の部位の複数の動きのパラメータに対して、誤差が最小となるように選択されたパラメータであることを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第７の実施形態が対応する。
従って、対象物の動作が予め分かっていない動作に関しても自動的にモデルを選択することができる。
【０１９１】
（３２）上記（１６）項及び（１７）項のいずれか１項に記載の時系列画像解析装置のパラメータ算出手段は、
上記候補領域算出手段により出力される各部位の存在可能領域において、該存在可能領域の面積が所定の閾値以下の部位から優先的にパラメータ群の算出を行い、他の部位の存在可能領域を限定することを特徴とする時系列画像解析装置。この発明に関する実施形態は、第８の実施形態が対応する。
【０１９２】
従って、部位毎に処理の優先順位を付加することで、処理の高精度化と高速化を行うことができる。
【０１９３】
（３３）上記（１）項及び（２０）項のいずれか１項に記載の時系列画像解析装置の整合手段は、各部位の次時刻のパラメータを過去の各部位のパラメータから予測する動きベクトル予測手段を、さらに有することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第９の実施形態が対応する。
従って、モデルのパラメータに比べ過去の画像からパラメータを算出しているため、時間的な連続性が維持され、１枚の画像での最適化においても良好なパラメータを得ることができる。
【０１９４】
（３４）上記（１）項及び（２０）項及び（３３）項のいずれか１項に記載の時系列画像解析装置の整合手段は、
各動きにおける各部位のパラメータの調整度を算出する調節度算出手段と、 上記調節度算出手段で算出された調整度に基づき、各部位に与える微小変化を更新する最適化処理手段と
を有することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１０の実施形態が対応する。
【０１９５】
（３５）上記（３４）項記載の時系列画像解析装置の調節度算出手段は、上記対象物モデル手段に格納されているパラメータと時系列画像のパラメータの差を算出することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１１の実施形態が対応する。
従って、各部位毎に微小変化の与え方を変化させることで、高精度かつ高速な処理の実現が可能となる。
【０１９６】
（３６）上記（１）項及び（２０）項及び（３３）項のいずれか１項に記載の時系列画像解析装置の整合手段は、上記パラメータ修正手段により行われた修正情報に基づき、整合手段における各部位のパラメータに関して微小変化を与える領域及び空間を算出する確信度算出手段をさらに、有することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１１の実施形態が対応する。
従って、各部位毎に微小変化の与える範囲を限定させることで、高精度かつ高速な処理の実現が可能となる。
【０１９７】
【発明の効果】
以上詳述したように本発明によれば、対象物の形状と動作に関する知識を利用することによって、従来遮蔽などの影響で解析不可能であった部分に関する対象物の動きも高精度に解析を行うことができる時系列画像解析装置及びその解析方法を提供することができる。
【図面の簡単な説明】
【図１】本発明による第１実施形態としての時系列画像解析装置の概略的な全体の構成例を示す図である。
【図２】図１に示した対象物モデル部に格納されているモデル形状を説明するための図である。
【図３】対象物モデル部に記憶されるモデル形状が存在する存在可能領域を説明するための図である。
【図４】図１に示した整合部の具体的な構成例を示す図である。
【図５】図４に示した同期部の処理を説明するための概念を示す図である。
【図６】図４に示した周期校正部の処理を説明するための概念を示す図である。
【図７】図４に示したパラメータ修正部の処理を説明するための概念を示す図である。
【図８】図４に示した最適化処理部の処理を説明するための概念を示す図である。
【図９】第１実施形態において、処理画像と解析結果の関係を示す図である。
【図１０】第２実施形態におけるパラメータ算出部の具体的な構成例を示す図である。
【図１１】時系列画像中の対象物の各部位の存在候補領域の算出における概念を示す図である。
【図１２】結合関係にある候補領域群の位置や傾斜角および許容範囲の算出における概念を示す図である。
【図１３】マーカ装着と数値データ算出法の概念図である。
【図１４】数値データのテーブル格納の一例を示す図である。
【図１５】対象物モデルに格納されている各数値データを各部位ごとに補正関数により数式化して格納する概念を示す図である。
【図１６】存在可能領域のパラメータ算出を説明するための概念を示す図である。
【図１７】同期処理を説明するためのフローチャートである。
【図１８】モデルがｃｌｏｓｅ状態の時刻算出方法の概念を示す図である。
【図１９】周期校正部を説明するためのフローチャートである。
【図２０】周期校正部の処理を説明するための概念を示す図である。
【図２１】パラメータの修正について説明するためのフローチャートである。
【図２２】最適化処理について説明するためのフローチャートである。
【図２３】各部位の分離防止に関する概念を示す図である。
【図２４】パラメータの算出について説明するためのフローチャートである。
【図２５】第３実施形態としての時系列画像解析装置の概略的な全体の構成例を示す図である。
【図２６】第３実施形態における整合部の構成を示す図である。
【図２７】第４実施形態としての時系列画像解析装置における整合部の構成例を示す図である。
【図２８】階層型ニューラルネットワークを用いた最適化処理部の概略的な構成を示す図である。
【図２９】第５実施形態としての時系列画像解析装置の概略的な全体の構成例を示す図である。
【図３０】モデルパラメータの更新に関する概念を説明するための図である。
【図３１】対象物モデル部の構成例を示す図である。
【図３２】第５実施形態における整合部の構成を示す図である。
【図３３】第６実施形態としての時系列画像解析装置における対象物モデル部の構成を示す図である。
【図３４】人間を例とした各部位のツリー構造例を示す図である。
【図３５】第７実施形態としての時系列画像解析装置の概略的な全体の構成例を示す図である。
【図３６】第７実施形態における解析部の構成を示す図である。
【図３７】複数モデルから時系列画像中の対象物に最適なモデルの選択法に関する概念を示す図である。
【図３８】第８実施形態としての時系列画像解析装置のパラメータ算出部の構成例を示す図である。
【図３９】処理の優先順位を導入した時系列画像中の対象物の各部位の存在候補領域の算出における概念を示す図である。
【図４０】限定された候補領域２の算出に関する概念を示す図である。
【図４１】第９実施形態としての時系列画像解析装置における整合部の構成を示す図である。
【図４２】動きベクトル算出の概念を示す図である。
【図４３】予測を利用した最適化処理の概念を示す図である。
【図４４】第１０実施形態としての時系列画像解析装置における整合部の構成を示す図である。
【図４５】調整度算出の概念を示す図である。
【図４６】第１１実施形態としての時系列画像解析装置における整合部の構成を示す図である。
【図４７】パラメータ修正部で得られる情報に関する概念を示す図である。
【図４８】確信度を利用した微小変化の与え方の概念を示す図である。
【図４９】モデルの反転に関する概念を示す図である。
【符号の説明】
１…入力部、２…Ａ／Ｄ部、３…バッファメモリ部、４…補助入出力部、５…形状生成部、６…対象物モデル部、７…パラメータ算出部、８…整合部、９…Ｄ／Ａ部、１０…出力部、１１…制御部。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a time-series image analysis apparatus that extracts and analyzes a predetermined target object from a time-series image, and relates to a time-series image analysis apparatus that analyzes the operation of the target object with high accuracy and an analysis method thereof.
[0002]
[Prior art]
In general, various techniques for recognizing an image photographed by an image photographing device such as a CCD camera are known. For example, as described in “Description and expression of silhouette figures by ellipse” (Yoshihiko Kimoto et al., IEICE Transactions D-II Vol. J76-DII No. 6 P1159 to P1167) By performing binarization processing, a silhouette is extracted, the entire silhouette area is searched, and an ellipse with the largest area is fitted. The remaining silhouette regions that have not been fitted are similarly fitted with ellipses to recognize the shape of the object.
[0003]
[Problems to be solved by the invention]
However, in the conventional method described above, the object is recognized only by one still image and a silhouette image extracted from the still image. Therefore, when information on the original shape of an object is missing due to the influence of shadows or shielding, it is possible to analyze which part is missing or what kind of movement this part is. Can not. Furthermore, even if misrecognition occurs, it cannot be determined whether or not it is actually misrecognition.
Therefore, an object of the present invention is to provide a time-series image analysis apparatus and an analysis method thereof that can analyze the movement of an object with high accuracy by using knowledge about the shape and motion of the object.
[0004]
[Means for Solving the Problems]
  In order to achieve the above object, a predetermined object in the time-series imageAn object having periodicity in movementIn the time-series image analysis apparatus for analyzing the shape, shape generation means for extracting a silhouette image as a target object from a plurality of images within a predetermined time range in the time-series image, and a shape change due to the shape and movement of the target object Object model means for storing knowledge about each part constituting the object as a parameter, and a parameter corresponding to the parameter stored in the object model means is calculated from the object extracted by the shape generation means Calculated from the parameter calculating means and the parameter calculating means.VersusParameterAll parameters calculated for each individual image in the time seriesAnd the above object model meansThe paParameterParameters for each model corresponding to time-series imagesWholeAmong the above parameters, the above-mentioned parameters of time timing at which the silhouette image and the object model have substantially the same shape in terms of motion timingMatchBy calculating only the parameter calculation means by correcting the parameter calculated by the parameter calculation means based on the collation resultAriseShape of the objectBy minimizing the errorThe shape and parameters of the objectThere is provided a time-series image analysis device having matching means for matching.
[0005]
  Furthermore, a predetermined object in the time-series imageAn object having periodicity in movementIn the moving image analysis method for analyzing the above, the knowledge about the shape of the object and the shape change due to the movement is modeled by parameterizing each of the parts constituting the object, and among the modeled parameters, Storing knowledge about movement as a function of time, extracting the object from a plurality of images within a predetermined time range in the time-series image, calculating a parameter corresponding to the modeled parameter, Modeled parameters and parameters calculated from the above objectsFor the time timing at which the object in the time-series image and the model have substantially the same shape in terms of operation timing, the time timing is set so that the respective parameters are to be collated.So that the shape by the parameter from the synchronized object matches the size by the modeled parameter.Find the size ratio of these two shapes and based on this size ratioCorrect the modeled parameters above,The parameters of the time timing at which the object and the model have substantially the same shape as the operation timing are collated, and based on the collation resultParameters calculated based on the above objectsUpBased on the parameters obtained from the notation functionBy minimizing the shape error of the object that occurs when the above correction is not performedA matching time-series image analysis method is provided.
[0006]
[Action]
  By the time-series image analysis device configured as described above, an object is extracted from a plurality of images within a predetermined time range in the time-series image,Over a period of timeThe shape and movement of the parts that make up the object are expressed as parameters,Over a period corresponding to the above specified periodThe model of the object is stored as a parameter corresponding to the parameter. In the plurality of images, as a whole, the parameters obtained from the object so that the parameters obtained from the object match the parameters of the model, that is, the values of the parameters satisfy a predetermined relationship. The movement of the object is recognized and analyzed with high accuracy. Alternatively, the parameters of the object are corrected so that an image configured as an image representing the object from the parameters calculated by the parameter calculation unit and the object extracted by the shape generation unit satisfy a predetermined relationship. Analyzes the movement of the object.
[0007]
  In addition, the time series image analysis method calculates the parameters of each part constituting the target object in the time series image over a predetermined period, and the model size is corrected based on the extracted target object. After the movement of the object and the model is synchronized,Over a period corresponding to the above specified periodThe parameters calculated from the object are corrected so that the magnitudes of the parameters calculated from the object and the parameters of the model satisfy a predetermined relationship.
[0008]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a diagram showing a schematic overall configuration example of a time-series image analysis apparatus as a first embodiment according to the present invention.
[0009]
This time-series image analyzing apparatus includes an image input unit 1 including a CCD camera, an A / D unit 2 for digitizing an image input signal from the input unit 1, and a digital image from the A / D unit 2. A buffer memory unit 3 for temporarily storing signals in units of frames, an auxiliary input / output unit 4 including a magnetic disk for storing image data from the buffer memory unit 3, and a background (still image area) in the image data ) To extract a desired object (moving image region) and generate it as a silhouette image, and the silhouette image generated by the shape generator 5 is previously analyzed for each part ( A target object that stores a simple geometric shape corresponding to the shape of a part, for example, a model shape for representing each part in a geometric shape such as an ellipse shown in FIG. A parameter calculation unit 7 that roughly divides the position and inclination angle parameters of each part by dividing the part into parts that constitute the object by the Dell unit 6, the shape generation unit 5, and the target object model unit 6; The matching unit 8 that matches the entire parameter group output from the object model unit 6 with the entire parameter group calculated by the parameter calculation unit 7 and the silhouette image group generated by the shape generation unit 5, and the matching unit 8 The parameter group is output to the image generation unit 12. The D / A unit 9 for analogizing the output of the analysis result imaged by the image generation unit 12, the output unit 10 for outputting the analogized image data, and the control for controlling the operation of these components Part 11.
[0010]
Image analysis in the time-series image analysis apparatus configured as described above will be described.
First, the input unit 1 photoelectrically converts the captured video and transfers it to the A / D unit 2 as a video signal for a predetermined time based on the control of the control unit 11. The A / D unit 2 converts the video signal into a digital image signal and transfers it to the buffer memory unit 3. The buffer memory unit 3 is composed of a plurality of frame memories, temporarily stores the digital image signal from the A / D unit 2, converts the image data into frame-unit image data, and sequentially supports an auxiliary device such as a magnetic disk device. Output to the input / output unit 4.
[0011]
The auxiliary input / output unit 4 outputs the image data to the shape generation unit 5 under the control of the control unit 11. The shape generation unit 5 calculates the absolute value of the difference between the background image in which the object to be analyzed does not exist and the original image in which the object exists in the image data, and then binarizes the moving image. Only the image area (the silhouette image of the object) is extracted. Here, the background image may be a pre-photographed image or a background image generated from the original image.
The silhouette image generated by the shape generation unit 5 is output to the object model unit 6, the parameter calculation unit 7, and the matching unit 8, respectively.
[0012]
The object model unit 6 calibrates the model size using the silhouette image and information on the shape of the object under the control of the control unit 11. In the parameter calculation unit 7, parameters of the position and inclination angle of each part of the object are roughly determined from the silhouette image of the shape generation unit 5 and each output of the object model unit 6 under the control of the control unit 11. . As a specific example, a skeleton is extracted from a silhouette image generated by the shape generation unit 5. The extracted skeleton contains information about the width of the original silhouette. The skeleton extraction method is described in, for example, “Introduction to Computer Image Processing” (p77) published by Soken Publishing Co., Ltd., and detailed description thereof is omitted here.
[0013]
Next, the skeleton is divided based on the size of each part of the object model unit 6. The center point of the divided skeleton corresponds to the position of each part, and the inclination corresponds to the inclination angle. In addition, the width information of the skeleton at the center point is set as the allowable range ε.
[0014]
The silhouette image generated by the shape generation unit 5, the model of the object model unit 6, and the parameters of each part calculated by the parameter calculation unit 7 are output to the matching unit 8. The matching unit 8 uses the outputs of the shape generation unit 5, the object model unit 6, and the parameter calculation unit 7 to synchronize the time in the operation of the object in the time-series image and the object model unit 6, The relationship between the entire parameter group calculated by the parameter calculation unit 7 and the entire parameter group of the object model unit 6 and the silhouette image group of the shape generation unit 5 is collated to minimize the error.
[0015]
The output of the matching unit 8 is transferred to the image generation unit 12 under the control of the control unit 11, and is imaged by representing the calculated parameters by, for example, an ellipse. The image generated by the image generation unit 12 is transferred to the D / A unit 9 and converted into an analog signal. Further, the control unit 11 outputs the analog signal to the output unit 10 such as a display, and displays the image analysis result.
[0016]
Next, FIG. 2 is a diagram for explaining a model stored in the object model unit 6.
FIG. 2A shows a model in the case where, for example, a human shape is used as an object, and this shape is decomposed into a plurality of parts such as a trunk, a head, and a limb, and is expressed by an ellipse. However, the ellipse is an example of a simple geometric shape, the number is a part number, and a and b represent the length of each part. In this model, standard information that is known in advance with respect to the object such as the size ratio of each part and the connection relationship is stored.
[0017]
FIG. 2B shows the connection relationship and connection number of each part.
The size of each part of the object is defined as a ratio to the height of the object, and is stored in the object model unit 6. Further, in order to calibrate the size of each part, the size (height) mh in the height direction of the object of the model is also stored as a part of the model. The simple geometric shape is not limited to an ellipse, but can of course be described by a line segment or a cylinder.
[0018]
Further, theoretical numerical data of the position and inclination angle of each part of the target motion is stored corresponding to the time. In order to calculate the numerical data of the motion that is the target of the target object, the numerical data is collected using a marker. Here, the numerical data means the center position (x, y) and the inclination angle θ of each part.
[0019]
The marker is attached to the center position of each part of the target object, and the target motion is photographed. A marker is extracted from the captured image, and the center of gravity of the extracted marker is set as the center point (x, y) of each part. For the inclination angle of this marker, for example, the extracted marker is thinned, and the inclination of this line is defined as an angle θ. The shape of the marker may be any shape that can calculate the tilt angle, such as a rectangle.
[0020]
The marker may be attached to the connection position of each part, that is, the joint. In this case, the numerical data is calculated by extracting the marker and calculating the position of each marker. Using the positions of the two markers in the connected part, the length, the inclination angle, and the center point of the part are calculated as shown in equation (1).
By attaching this marker to the connection position of each part, the length of each part can be accurately calculated. The marker shape may be any shape that does not hinder the operation like a circle and can calculate the length, inclination angle, and center point of each part. The two markers can also be performed using known markers such as color markers and light bulbs.
[0021]
13A and 13B are conceptual diagrams of marker mounting and numerical data calculation methods. FIG. 13A is an example in which a marker is mounted at the center position of each part, and FIG. 13B is a connection relation of the marker to each part. This is an example of mounting on a part.
[0022]
[Expression 1]

[0023]
Where (x_i, Y_i), (X_j, Y_j) Is the position of the marker in the connected part, (x, y) is the center point of each part, θ is the inclination angle formed by each part, and a is the length of each part.
[0024]
Further, all of the calculated numerical data may be stored, or when the target operation has periodicity, the periodic component of the operation may be extracted and stored for only one cycle. Further, the theoretical numerical data of the target operation may be stored as a table as shown in FIG. 14 corresponding to the time, or each numerical data is expressed by an interpolation function for each part and only the coefficient is stored. May be saved. Alternatively, it may be stored as a possible area as shown in FIG.
[0025]
Next, FIG. 15 shows a concept of storing each numerical data stored in the object model unit 6 by formulating each part by an interpolation function. As shown in FIG. 15 (a), a differential value (difference value) is calculated from the stored numerical data at times i-1, i, i + 1.
[0026]
Then, as shown in FIG. 15 (b), a point at which the variation of the differential value is equal to or greater than a predetermined threshold is defined as a node. The extracted nodes are interpolated with a spline function or the like, and only the calculated coefficients are stored. The spline function is described, for example, in “Introduction to Spline Function” (Denki University Press). Note that the node may be an inflection point of the secondary differential value of each numerical data at times i-1, i, i + 1. By using the inflection point as a node, the node can be extracted even for a motion with small change in numerical data.
[0027]
If the motion of the target part has periodicity, the periodic component of the motion may be extracted and logical (theoretical) numerical data of each part for one cycle may be stored. The logical (theoretical) numerical data of the operation of the target part may be stored in the form of a table corresponding to time. Alternatively, it may be stored as a possible area as shown in FIG.
[0028]
The possible region of each part in one cycle of walking as shown in FIG. 3B is calculated as follows based on theoretical numerical data.
A rectangle including the region (silhouette) of the object is extracted from the model image by a known method as shown in FIG. 3A, and the center line (midpoint) of the rectangle in the x-axis direction is obtained. The theoretical numerical data (center point) of each part is superimposed so that the center line is matched, that is, the x coordinate is matched.
[0029]
Thereby, the distribution of the center points of the respective parts indicated by the black dots in FIG. An existable area is defined as an area including the distribution of the center point, that is, an area where the center point of each part can exist. This possible area is described by a combination of parameters of an ellipse or a semicircle, which is a geometric shape.
[0030]
Specifically, the head and torso are shown as ellipses centered on the average value of the center points, the hand, upper arm, and forearm are shoulder positions, and the thigh, buttocks, and feet are hips. It is shown by a combination of circles (sectors) centered at the position of. Shoulder / waist position (x_shoulder, Y_shoulder), (X_wast, Y_wast) Is calculated by equation (2).
[0031]
[Expression 2]

[0032]
Where (x₂, Y₂) Is the center point of the body part calculated above, a₂Is the length of the body, θ₂Indicates the inclination angle of the body part.
Using equation (3), a geometrical shape that includes the center points of the hand, upper arm, forearm, thigh, hip, and foot is calculated.
[0033]
[Equation 3]

[0034]
Here, r is the radius of a circle that encompasses all the center points of each part, and phi is the circumferential angle. FIG. 16 is an explanatory diagram of a method for calculating the radius r and the circumferential angle phi. These are the center points of the circle ((x_shoulder, Y_shoulder) Or (x_wast, Y_wast)) And the distances and angles between all the central points of each part are calculated as shown in, for example, equation (4).
[0035]
[Expression 4]

[0036]
Where x₀₃Indicates the x coordinate of time 0, part number 3, r₀, Phi₀Indicates the distance and angle from the waist position to the thigh which is part number 3. This calculation is performed for all times of analysis, and r_i, Phi_iFrom the maximum and minimum values of r_max, R_min, Phi_max, Phi_minCan be determined automatically. This operation is performed for each part.
The obtained possible area shown in FIG. 3B is not stored as an image, but the radius r, the circumferential angle phi, the center point (x, y), the rotation angle θ, and the lengths of the major and minor axes. The parameters a and b are stored as a table. When processing is performed, the image is restored as shown in FIG. 3B using this parameter.
[0037]
FIG. 4 is a block diagram showing a specific configuration of the matching unit 8 described above.
In the matching unit 8, the outputs of the shape generation unit 5 and the object model unit 6 are transferred to the synchronization unit 21. In order to synchronize from the silhouette image group of the shape generation unit 5 and the parameter group of the model of the object model unit 6, the synchronization unit 21 calculates a plurality of times for the same operation. The outputs of the object model unit 6 and the synchronization unit 21 are transferred to the period calibration unit 22. In the present embodiment, it is assumed that the operation to be broken is periodic. Therefore, in the cycle calibration unit 22, the time taken for one cycle calculated from the plurality of synchronization times calculated by the synchronization unit 21 and the model parameters included in advance in the model parameters that are the output of the object model unit 6. Based on the time for one cycle, the cycle of the model data is calibrated. The shape generation unit 5, the object model unit 6, the parameter calculation unit 7, the synchronization unit 21, and the period calibration unit 22 are output to the parameter correction unit 23.
[0038]
The parameter correction unit 23 corrects the parameters of the time series image by comparison with the model in one image. The outputs of the shape generation unit 5, the object model unit 6, the parameter calculation unit 7, and the parameter correction unit 23 are transferred to the optimization processing unit 24. In the optimization processing unit 24, the entire parameter group calculated by the parameter calculation unit 7 is matched with the entire parameter group of the object model unit 6 and the silhouette image group of the shape generation unit 5 that have been periodically calibrated.
[0039]
FIG. 5 is a conceptual diagram in the processing of the synchronization unit 21. The synchronization unit 21 generates an ellipse as an example of a simple geometric shape using the model position and tilt angle parameters at time time, and performs matching with a silhouette image group of objects in a time-series image. The time of the silhouette image that minimizes the matching error corresponds to the time time in the model.
[0040]
A specific example of the synchronization unit 21 when the object is a human will be described with reference to a flowchart shown in FIG.
First, the time cross of the closed state (state where the limbs are closed), which is the reference motion, is calculated from the model (step S1). FIG. 18 is a conceptual diagram of a method for calculating the close state. The method of calculating the time of the reference motion close state is to calculate the parameters of the model stored in the object model unit 6 from the spline function, and the head (part number 0) and other part groups for all times. Calculate the sum of the x-coordinate differences. The time when the sum is smallest is cross. FIG. 5 is a conceptual diagram of a method for calculating the synchronization time time.
[0041]
Next, an ellipse image of the model at time cross is generated using the parameters of the model at time cross (step S2). A circumscribed quadrilateral including the silhouette image of the model at the time cross and the silhouette image of the time series image at the time time is extracted by a known method, and the center line in the x-axis direction of the circumscribed quadrilateral is matched. The area difference between the silhouette image of the time series image and the ellipse image of the model is calculated.
The area difference between the silhouette images of the time-series images at all times is calculated, and the time period with the smallest area difference is the time when the same operation as the time cross is performed (step S3).
[0042]
As described above, the model and the time-series image can be synchronized by matching the oval image in the closed state of the model with the silhouette image group of the object in the time-series image.
Also, the synchronization time can be calculated by the following method. A plurality of times at which the area of the silhouette image group of the model stored in the target object model unit 6 and the silhouette image group of the time-series image are minimum (or maximum) are calculated. The calculated time becomes the synchronization time between the model and the time-series image. For example, in the case where a human walking motion is an analysis target, when the area of the silhouette image is minimized, it indicates an almost upright state. Here, calculating the minimum area time of the silhouette of the model and the time-series image means that the time of the upright state is synchronized. By doing so, it is not necessary to generate an ellipse image, so that the processing time can be shortened.
[0043]
6 and 20 show the concept in the processing of the period calibration unit 22. The period calibration unit 22 is performed only when the target operation has periodicity. The time T required for one cycle is calculated based on a plurality of synchronization times calculated by the synchronization unit 21. Time M required for one cycle of the model stored in the object model unit 6_TAnd the ratio r of time T required for one cycle of the time-series image_a= M_T/ T, and this ratio r_aCalibrate the model period using.
[0044]
The period calibration unit 22 will be described with reference to the flowchart shown in FIG. Operation time M for one cycle of the model stored in the object model unit 6_TThen, the time T required for one cycle is calculated based on a plurality of synchronization times calculated by the synchronization unit 21 (step S11). Time required for one cycle of the model M_TAnd the ratio r of time T required for one cycle of the time-series image_a= M_T/ T is obtained (step S12), and this ratio r_aIs used to calibrate the period of the model by the parameter correction unit 23. This process is performed in units of one cycle. For this reason, it is possible to cope with a situation where the operation of the object accelerates as the period increases. This is because numerical data of an arbitrary time can be calculated because the numerical data of the operation is stored as a coefficient of the spline function.
[0045]
FIG. 7 is a conceptual diagram in the processing of the parameter correction unit 23. The parameter correction unit 23 calculates the difference between the parameter of each part at the time time of the time series image and the parameter of each part of the model corresponding to the time time. The allowable range ε calculated by the parameter calculation unit 7 is set as a threshold value. When the difference between each parameter is equal to or greater than a predetermined threshold, the time-series image parameter is replaced with the model parameter, for example, an ellipse is generated as an example of a simple geometric shape, and the error from the silhouette image is calculated. Do. If the calculated error increases from before the replacement, the parameter replacement is discarded. The above process is performed for each parameter, and the parameter is corrected in the image.
[0046]
The parameter correction unit 23 will be described with reference to the flowchart shown in FIG.
The ratio of the size of the model object and the time-series image object is calculated (step S21). The size in the height direction of the object of the model stored in the object model unit 6 is set to mh, and a circumscribed quadrangle including the object (silhouette image) of the time series image is calculated, and the size in the height direction is calculated. The length h is calculated. Using this, the ratio of the size of the object of the model and the time-series image scale = mh / h is calculated. After correcting the size by multiplying the size of each part of the object by the ratio scale, the following processing is performed.
[0047]
Ratio r calculated by period calibration unit 22_aIs used to calculate the time of the model corresponding to the time-series image (step S22). Ratio of model time to r_aThe time of the time-series image is r_aIf the time of one cycle of the model that has been doubled is exceeded, the excess time is adjusted to correspond to the start time of the model.
[0048]
Initial setting of time time is performed (step S23). If the time is synchronized, an ellipse image is generated from the parameters of the time-series image at time time (step S24). The area difference between the silhouette image and the ellipse image of the time-series image at time time is calculated and stored in diff1 (step S25).
[0049]
The parameter of the model at the time time when the synchronization processing is performed is calculated from the spline function, and the absolute value of the difference between the model of the time time and the parameter of the time series image is calculated for each part (step S26). The absolute value of the difference is compared with the allowable range ε calculated by the parameter calculation unit 7 (step S27). If smaller (NO), the process proceeds to step S28, the time time is incremented, and the process returns to step S24.
[0050]
However, if it is larger in step S27 (YES), the model and time-series image parameters are exchanged for each part (step S29). Since the position of the target object of the time series image and the target object of the model are different, alignment is performed using the silhouette image, and the parameters are directly exchanged. A circumscribed quadrilateral that includes the silhouette image of the time-series image at time time and the silhouette image of the model corresponding thereto is extracted, and the center line in the x-axis direction of the circumscribed quadrilateral is matched. That is, the movement amount of the model for matching the x coordinate of the center of the circumscribed quadrilateral is calculated, the model parameter is corrected based on the movement amount, and the replacement is performed.
[0051]
An ellipse image is generated from the replaced parameters (step S30), and similarly to step S25, the area difference between the ellipse image generated in step S30 and the silhouette image is calculated and stored in diff2 (step S31). The area difference diff1 before parameter replacement is compared with the area difference diff2 after replacement (step S32). When diff2 is smaller than diff1 (NO), the process returns to step S28, the time time is incremented, and the process returns to step S24. On the other hand, if larger (YES), the parameter replacement is discarded (step S33). From step S24 to step S33, all parts are processed together. The time time is compared with the end time of the time series image. If the time time is smaller than the end time (NO), the process returns to step S28, the time time is incremented, and the process returns to step S24. If larger (YES), the process is terminated.
[0052]
FIG. 8 is a conceptual diagram in the processing of the optimization processing unit 24. The parameter group of the time series image calculated by the parameter calculation unit 7, the parameter group of the model of the object model unit 6, and the silhouette image group generated by the shape generation unit 5 are matched. An evaluation function is set and minimized as an example of the technique for this purpose. For example, in the case of analysis targeting humans, the evaluation function E_TDefine and evaluate function E_TIs minimized using annealing, steepest descent method, or the like to calculate the optimum parameters of the parameter group of the time-series image.
[0053]
[Equation 5]

[0054]
Here, T is a period, i = T to T + 1 is a time, j = 1 to 14 is a part, l = 1 to 13 is a connection number of each part as shown in FIG. 2B, and Pm is a model parameter group. , P is a parameter group of each part of the object in the time-series image. The first term matches the parameters of the object with the parameters of the model. Sil is a silhouette image of the object in the time series image, Par is an elliptic image generated by the parameters of the time series image, and the second term matches the parameters of the time series image with the silhouette images.
[0055]
Lm and L are the distances between the center points of the 13 pairs of connection relationships shown in FIG. That is, it is the distance between the center positions of the parts having a coupling relationship such as the head part and the body part. Lm represents the distance between the center points of each part related to the model, and L represents the distance between the center points of each part related to the time series image. The third term matches the parameter coupling relationship between the parts of the object in the time-series image to the model coupling relationship. k is the weight of each term.
[0056]
It should be noted that the evaluation function E as shown in equation (6)_TIt is also possible to calculate the optimum parameters of the parameter group of the time series image using annealing or steepest descent method.
[0057]
[Formula 6]

[0058]
Here, T is a period, i = T to T + 1 is a time, j = 1 to 14 is a part, and l = 1 to 13 is a connection number of each part as shown in FIG. Pm is a parameter group of the model, and P is a parameter group of each part of the object in the time series image. The first term matches the parameters of the object with the parameters of the model. Sil is a silhouette image of the object in the time-series image, Par is an ellipse image generated by model parameters, and the second term matches the model parameters to the silhouette image. Lm and L are distances between the center points in the 13 pairs of coupling relationships shown in FIG. That is, it is the distance between the center positions of the parts having a coupling relationship such as the head and the body. Lm represents the distance between the center points of each part related to the model, and L represents the distance between the center points of each part related to the time series image. The third term matches the parameter coupling relationship between the parts of the object in the time-series image to the model coupling relationship. Pc is a value obtained by assigning weights of 1: 2: 3: 2: 1 to the parameters of the time series images at times i-2, i-1, i, i + 1, i + 2, respectively, and calculating an average value. The term matches the parameter of the time-series image with the parameter value estimated from the previous and subsequent times. k is a weight for each term.
[0059]
A method for calculating the optimum parameters of the parameter group of the time-series image using annealing is described below. The optimization processing unit 24 will be described with reference to the flowchart shown in FIG.
[0060]
First, the temperature Temp_intAnd the initial number of iterations n is set (step S41). Iteration and Temp are initially set (step S42). Initial energy init eng is calculated (step S43).
The initial energy represents the result of calculating the evaluation function of Equation (5) or Equation (6). A random number ran is generated, and a value g giving a minute change, a parameter type xyr, a time time, and a part number p are determined (step S44). For example, each parameter when a random number from 0 to 1 is generated is
time = ran x number of images
xyr = ran × 3 (x when xyr = 1, y when xyr = 2,
rad when xyr = 3)
p = ran × 14
g = length of the part of the part number p × (ran × 2.1−1.0)
As given.
[0061]
A minute change g is given to the parameter xyr [time] [p] of the time-series image at time time (step S45). The energy eng is calculated using the parameter given the minute change (step S46). Initial energy init eng and energy eng are compared (step S47), init If eng is smaller than eng (NO), the process proceeds to step S48, where the random numbers ran and exp [(eng-init eng) / Temp] and if the condition is not satisfied (NO), the process returns to step S44 to generate a new random number ran.
[0062]
If the condition of step S48 or step S47 is satisfied (YES), this minute change is accepted, the parameter value is updated, and the energy value is replaced (init) eng = eng) (step S49).
It is determined whether or not the iteration number iteration is smaller than the initial value n (step S50). If the condition is satisfied (YES), the temperature is lowered and the iteration number iteration is updated (step S51). Random number ran is generated. However, if the condition is not satisfied (NO), the optimization process is terminated.
[0063]
Further, when performing the optimization process, depending on the conditions, the originally connected part, for example, the hand part and the forearm part may be separated. In order to prevent this, a method for limiting the range of minute changes given to the parameters of each part and preventing separation of each part will be described. In order to prevent separation of each part, a model that adaptively adjusts the lengths of the long axis and the short axis, which has been conventionally unchanged, is added. Specifically, a restriction is provided to prevent separation when a minute change is given in the optimization process.
[0064]
Consider a case where a minute change is given to the center coordinates of each part.
In this stage, it is assumed that the long axes of a predetermined length are connected. The length of the long axis of the site of interest that gives a minute change and the site connected to it is extended by a predetermined length. Consider a circle whose radius is the extended major axis. The circle of the region of interest is moved so that the circles do not separate, that is, always touch or intersect.
[0065]
The trajectory drawn by the central coordinates at this time is a region where a minute change can be given while maintaining the coupling. FIG. 23 is a conceptual diagram regarding prevention of separation of each part when the object is a human. A human case will be specifically described with reference to FIG. For example, consider a case in which a minute change is given to the center coordinates of the forearm that is coupled to the hand and upper arm. In this stage, it is assumed that the long axes of a predetermined length are connected. The length of the long axis of the hand, upper arm, and forearm is extended by a predetermined length (for example, 10%), and the circle (expanded 10%) of the forearm is moved so that the three circles do not separate.
[0066]
The trajectory drawn by the central coordinates at this time is a region where a minute change can be given while maintaining the coupling. However, the movement of the circle so as not to separate the target part of the end point from the part connected thereto is performed based on the model so as not to exceed the movable range angle between the joints. It should be noted that the proportion can be kept constant by adjusting the minor axis by the same ratio as the major axis.
By performing as described above, application of minute changes is limited, so that the optimization process can be speeded up and separation of each part can be prevented.
[0067]
In addition, according to the present invention, it is possible to analyze the movement of a moving object having joints connected by parts, for example, an articulated robot or an animal, in the same manner. For example, when analyzing the motion of an articulated robot, it is performed as follows. The knowledge about the robot's shape (size / connection relationship), the knowledge of the movement of each part that has been functionalized, and the existence area of each part are stored as the knowledge of the movement of the robot.
[0068]
The silhouette image is extracted by taking the difference between the background image and the input image. By performing AND processing between the silhouette image and the possible area, rough parameters of each part are calculated. This parameter is corrected using a model and an optimization process is performed. By this method, the robot motion can be analyzed and optimized based on the analysis.
[0069]
Further, optimization that does not use the silhouette image of the shape generation unit 5 is also conceivable.
As an example, the following criteria may be mentioned. The difference between the parameter group of the model and the parameter group of each part of the object in the time series image is less than a certain threshold, and the parameter of the same part of the image before and after the time and each of the object in the time series image If the difference in the parameter group of the part is below a certain threshold value, it is not replaced.
[0070]
The parameters calculated by the matching unit 8 are output to the image generation unit 12 based on control from the control unit 11. The image generation unit 12 generates, for example, an ellipse based on the parameters calculated by the matching unit 8 and images the parameters of each part. However, imaging may be performed with a line segment or a cylinder instead of an ellipse. The output of the analysis result imaged by the image generation unit 12 is transferred to the D / A unit 9 and converted into an analog signal. Further, based on the signal from the control unit 11, the analog signal is output to the output unit 10 such as a display, and the image analysis result is displayed on the display. That is, the analysis result shown in FIG. 9B is obtained for the time-series image as shown in FIG.
[0071]
The time-series image analysis apparatus as described above can reduce the amount of information by formulating the motion parameters of the object, and can be applied to many subjects by calibrating the size and position of each part of the model. The difference in size due to the difference in distance can also be corrected. In addition, when the shape and movement of the target cannot be accurately captured due to the influence of shielding or shadows, correction is performed using knowledge of the shape and movement of the target and the movement of the target with high accuracy. Can be analyzed. In addition, the amount of information of the model can be reduced by using the periodicity, and the case where the speed is different by the same operation can be dealt with by calibrating the cycle.
[0072]
In the above description, the synchronization unit 21 determines the time to synchronize and performs motion matching. However, this processing is omitted, and a search is performed for all combinations of the time-series image group and the model parameter group. It may be.
Further, although the period calibration unit 22 calibrates the period with respect to the periodic operation, this process may be omitted. Further, the period calibration unit 22 is not performed when the synchronization unit 21 is omitted.
[0073]
Although the parameter correction unit 23 corrects parameters, this process can be omitted. In the present embodiment, an ellipse is used as a simple geometric shape for expressing each part, but it may be described by a line segment or a cylinder.
[0074]
Next, a time-series image analysis apparatus according to the second embodiment will be described.
The configuration of the second embodiment is basically the same as that of the first embodiment, and only different parts will be described here.
FIG. 10 shows a specific configuration example of the parameter calculation unit 7 in the second embodiment. Here, the same components as those of the first embodiment are denoted by the same reference numerals as those of the first embodiment, and description thereof will be omitted.
[0075]
In the parameter calculation unit 7, outputs from the shape generation unit 5 and the object model unit 6 are transferred to the candidate area calculation unit 31. The output of the candidate area calculation unit 31 is transferred to the matching unit 8. In order to perform the optimization process at high speed, the parameters of the position and inclination angle of each part of the object are roughly calculated.
Calculate candidate regions for each part of the target in the time-series image, determine the candidate region's connection relationship from the calculated candidate region and the shape of the target, and parameters for each position and tilt angle of the region group in the connection relationship And the possible range where each parameter exists is calculated. Hereinafter, a possible range in which each parameter exists is referred to as an allowable range.
[0076]
FIG. 11 shows a concept in calculation of candidate regions for each part of an object in a time-series image. With regard to the parameter calculation method, the candidate area calculation unit 31 will be described with reference to the flowchart of FIG.
The parameter group of the possible region of each part stored in the object model unit 6 is imaged (step S51). Specifically, an image is generated using parameters (center point, radius, rotation angle, etc.) such as a circle and an ellipse that are geometric shapes stored in the object model unit 6. For example, 1 is stored in the pixel (x, y) that satisfies the expression (3), and “0” is stored when the pixel (x, y) is not satisfied, and a binary image is generated.
[0077]
Next, candidate regions for each part are calculated using the possible existence regions and silhouette images imaged as shown in FIG. 3 (step S52). A rectangle circumscribing the silhouette image shown in FIG. 11B is obtained, and the center line of this rectangle is obtained. In addition, the position of the center line is calculated from the rectangle circumscribing the possible existence area imaged in step S52, and the AND output is obtained in a form in which both center lines are matched.
[0078]
This result is a candidate area where each part exists as shown in FIG. An end point region is selected from the extracted candidate regions of each part (step S53). An end point region is a region (hand or foot) in which only one direction is combined with another region. First, the center of gravity (x, y) of the end point region is calculated (step S54). The center-of-gravity point calculation method includes, for example, a value obtained by adding the x and y coordinates of the end point region and dividing each added value by the number of pixels in the end point region.
[0079]
FIG. 12 shows a concept of processing for obtaining a connection relationship between candidate regions from the candidate region and the shape of the object, and calculating each position, inclination angle, and allowable range of the region group in the connection relationship. The position (center point) of each part of the object of the time series image is calculated as follows.
First, a combined area that is connected to the end point area is calculated (step S55). Specifically, the connection relationship is obtained from the size l of the part of the end point region, the size l ′ of the part of the other region connected to the end point region, and the shape of the target object of the target object model unit 6. When the object is a human, the part that is connected to the hand that is the end point region is the forearm, and therefore, the long axis length of each part is stored in l and l ′.
[0080]
And about the connection relation of each area | region, it calculates as follows. A circle having a radius R (= (l + l ′) / 2) centered on the center of gravity of the end point region is drawn, and a region existing on the circle is defined as a region to be connected to the end point region, that is, a connection region. The center of gravity of the part where the circle and the coupling area overlap is set as the center point (x, y) of the coupling area (step S56).
[0081]
FIG. 12B shows a region overlapping with a circle having a radius (l + l ′) / 2 centered on the center of gravity of the end point region, and the thick line of the combined region in FIG. 12D overlaps the circle and the combined region. Part. Further, ½ of the length of the arc where the arc overlaps with the coupling region is set as the allowable range ε (step S57). That is, since there is a possibility that the central point can be anywhere in the thick line (overlapping region) of the coupled region in FIG. 12D, ½ of this overlapping portion is ε, and the coordinate of the central point is (x ± ε, y ± ε).
[0082]
FIG. 12D shows a schematic diagram of a method for calculating the allowable range ε. It is determined whether or not the binding regions of all the parts have been detected (step S58), and if not detected for all the parts (NO), the binding region is set as a new end point region (step S59) and fed back to step S55. .
When the detection is performed for all the parts (YES), the inclination angle corresponding to the center of gravity of each part is calculated (step S60). Specifically, an ellipse whose center point is the point (x, y) calculated above at intervals of 5 ° from 0 ° to 180 ° is generated, and the angle of inclination with which the matching error with the silhouette image is minimized. To do.
[0083]
FIG. 12E shows an outline of a method for calculating the tilt angle. However, when multiple binding areas are detected when calculating the binding area, information such as the shape of the object and the angle of inclination between the parts in the binding relationship is used. Discard the relationship and narrow down the connection relationship.
In addition, even when the moving direction of the target object in the time-series image is opposite to the moving direction of the model stored in the target object model unit 6, it can be adapted as follows.
[0084]
First, the moving direction of the object is detected from the time series image. The moving direction detection method can be obtained, for example, by calculating the center of gravity of the silhouette image and changing the x coordinate of the center of gravity. It is determined whether the moving direction of the object matches the moving direction of the action stored in the object model unit 6. If the direction is the same, the model parameters are used as they are. If the direction is the reverse, the following processing is performed to invert the model operation. A specific example of a method for inverting the behavior of the model when the object is a human is shown below. FIG. 49 is a conceptual diagram related to model inversion.
[0085]
The position of the body part at each time (x₂, Y₂) Calculate coordinates. For the part i other than the body part (i = 2), the difference between the body part and each parameter is calculated by Δx in FIG.₅= (X₂-X₅) And Δy₅= (Y₂-Y₅). Torso parameters (x₂, Y₂, Θ₂) Is added to the previously calculated difference, and the addition result is stored in the reverse part corresponding to the part (for example, the left hand if it is the right hand). That is, x₈= Δx₅+ X₂, Y₈= Δy₅+ Y₂Do as follows.
[0086]
By performing in this way, it is also possible to analyze the motion of an object that is moving in the opposite direction with one model. In the above description, an ellipse is used as a simple geometric shape representing each part. However, this can be described not only by an ellipse but also by a line segment or a cylinder.
In FIG. 12E, an ellipse is used as a simple geometric shape for representing each part, but this can be described not only by an ellipse but also by a line segment or a cylinder. In the present embodiment, it is possible to reduce the load of the optimization process and to shorten the processing time by roughly calculating the parameters of each part of the target in the time-series image.
[0087]
Next, a time-series image analysis apparatus as a third embodiment will be described.
FIG. 25 shows an example of the entire configuration of a time-series image analysis device as a third embodiment. The configuration of this embodiment is basically the same as that of the first embodiment, and the same components are denoted by the same reference numerals, and only different portions will be described.
[0088]
In this time-series image analysis apparatus, an input signal from the input unit 1 is stored in the auxiliary input / output unit 4 via the A / D unit 2 and the buffer memory unit 3. The signal from the auxiliary input / output unit 4 is output to the shape generation unit 5. The output of the shape generation unit 5 is transferred to the object model unit 6 and the matching unit 41. The object model unit 6 is connected to the matching unit 41. The parameters calculated by the matching unit 41 are output to the image generation unit 12 based on the control from the control unit 11. The output of the analysis result imaged by the image generation unit 12 is output to the output unit 10 via the D / A unit 9. Further, the input unit 1, the auxiliary input / output unit 4, the object model unit 6, the matching unit 41, and the output unit 10 are controlled by the control signal of the control unit 11.
[0089]
Such a time-series image analysis apparatus is suitable for high-speed analysis processing, does not calculate rough parameters of the position and inclination angle of each part of the object, and uses the model parameters as initial values of each part of the object. It is handled as a parameter value.
[0090]
First, the input unit 1 such as a CCD camera transfers a video signal for a predetermined time to the A / D unit 2 based on a control signal from the control unit 11. The A / D unit 2 converts the video signal from the input unit 1 into a digital signal and transfers it to the buffer memory unit 3. The buffer memory unit 3 is composed of a plurality of frame memories, stores the digital signals from the A / D unit 2, and sequentially outputs them to the auxiliary input / output unit 4.
[0091]
The auxiliary input / output unit 4 outputs the digital signal to the shape generation unit 5 in response to a control signal from the control unit 11. The shape generation unit 5 calculates the absolute value of the difference between the background image where the target object does not exist and the original image where the target object exists, and then binarizes the absolute value so that only the moving region is present. It is taken out. This moving area becomes a silhouette image of the object. Here, the background image may be a pre-photographed image or a background image generated from the original image.
[0092]
The silhouette image generated by the shape generation unit 5 is transferred to the object model unit 6 and the matching unit 41. The object model unit 6 stores information on the shape and motion of the object. In addition, the size is calibrated by the control signal of the control unit 11 as described in the previous embodiment. The silhouette image generated by the shape generation unit 5 and the model of the object model unit 6 are output to the matching unit 41. The matching unit 41 synchronizes the time related to the operation of the object in the time-series image and the object model unit 6 by the outputs of the shape generation unit 5 and the object model unit 6, and the entire parameter group of the object model unit 6 Is matched with the silhouette image group of the shape generation unit 5.
[0093]
The parameters calculated by the matching unit 41 are output to the image generation unit 12 by a control signal from the control unit 11. The output of the analysis result imaged by the image generation unit 12 is transferred to the D / A unit 9 and converted into an analog signal. Further, based on the control signal from the control unit 11, the analog signal is output to the output unit 10 such as a display, and the image analysis result is displayed.
[0094]
Next, FIG. 26 shows a block configuration in the processing of the matching unit 41.
The outputs of the former shape generation unit 5 and the object model unit 6 are transferred to the synchronization unit 21 of the matching unit 41. The synchronization unit 21 synchronizes the time in the operation of the object in the time-series image and the operation of the object model unit 6.
[0095]
The outputs of the object model unit 6 and the synchronization unit 21 are transferred to the cycle calibration unit 22. In the period calibration unit 22, when the target operation has a periodicity according to the control signal from the control unit 11, the time required for one cycle is calculated based on a plurality of synchronization times and models calculated by the synchronization unit 21. Calculate and calibrate the model parameters of the position and inclination angle of each part. The outputs of the shape generation unit 5 and the object model unit 6 are transferred to the optimization processing unit 51. The optimization processing unit 51 matches the entire parameter group of the object model unit 6 with the silhouette image group of the shape generation unit 5.
[0096]
The optimization processing unit 51 matches the two parameter groups of the object model and the silhouette image group generated by the shape generation unit 5. An evaluation function is set and minimized as an example of the technique for this purpose. For example, in the case of an analysis with a human being as an object, the evaluation function ET is defined as shown in Equation (7), and the evaluation function ET is minimized by using annealing or the steepest descent method as in the above embodiment. The optimum parameter of the parameter group of the sequence image is calculated.
[0097]
[Expression 7]

[0098]
Here, T is a period, and i = T to T + 1 is a time. Sil is a silhouette image of the object in the time-series image, Par is an ellipse image generated by the model parameters, and the first term has an action of matching the model parameters to the silhouette image. Pc is a value obtained by giving an average weight of 1: 2: 3: 2: 1 to the parameters of the time-series images at times i-2, i-1, i, i + 1, i + 2, respectively. The second term has the effect of matching the parameters of the time series image with the parameter values estimated from the previous and subsequent times. k is a weight for each term.
[0099]
Further, in the above description, an ellipse is used as a simple geometric shape for expressing each part, but this can also be described by a line segment or a cylinder.
In the above-described embodiment, the configuration is simplified, and the initial parameter of the time-series image is not calculated, so that processing can be performed at a higher speed than in the first embodiment.
[0100]
Next, a time-series image analysis apparatus as the fourth embodiment will be described.
The overall configuration of this embodiment is the same as that of the third embodiment, and only the matching unit 41 shown in FIG. 27 having a different configuration will be described.
In the matching unit 41, the outputs of the shape generation unit 5 and the object model unit 6 are transferred to the optimization processing unit 61. The optimization processing unit 61 uses a neural network to calculate a parameter group (position) of each part of the time-series image that is optimal for the silhouette image of the time-series image. The outputs of the object model unit 6 and the optimization processing unit 61 are transferred to the tilt angle calculation unit 62, and the rotation angle of each part of the time-series image that is optimal for the silhouette image of the time-series image is calculated. The output of the tilt angle calculation unit 62 is output to the image generation unit 12.
[0101]
As shown in FIG. 27, the silhouette image of the time series image of the shape generation unit 5, the parameter group of the model of the object model unit 6, and the output of the silhouette image group are transferred to the optimization processing unit 61. The optimization processing unit 61 uses a hierarchical neural network to calculate a parameter group of the position of each part of the time-series image that is optimal for the silhouette image of the time-series image. The parameter group (position) of each part calculated by the optimization processing unit 61 is transferred to the inclination angle calculation unit 62, and the rotation angle of each part of the time-series image that is optimal for the silhouette image of the time-series image is calculated. . The parameter group calculated by the inclination angle calculation unit 62 is output to the image generation unit 12.
[0102]
FIG. 28A is a conceptual diagram regarding a learning method of a three-layer hierarchical neural network. The silhouette image of the model stored in the object model unit 6 is input to the input layer. Learning is performed so that the result via the network becomes a parameter of the position of each part of the model, and the weight of each unit is determined. Learning is performed on the image for one operation period, and the weight is updated. The learning method can be performed using, for example, a known error back propagation method. Using this weight, the position of each part of the captured image is calculated. By inputting the silhouette image of the time-series image of the shape generation unit 5 to the input layer and via the network, the position of each part optimal for the silhouette image can be calculated. FIG. 28B is a conceptual diagram regarding parameter calculation for a captured image.
[0103]
In the inclination angle calculation unit 62, the parameter group (position) of each part calculated by the optimization processing unit 61 and the size of each part stored in the object model unit 6 (the short axis of the ellipse, the length of the long axis) And the angle group of each part of the time-series image group is calculated using the silhouette group of the time-series image of the shape generation unit 5. The position (x, y) of each part calculated by the optimization processing unit 61 is the center point, and the size of each part of the object model unit 6 (the ellipse minor axis b / 2, the major axis length a / 2). ) To generate an ellipse. Regarding the tilt angle, an ellipse is generated using the above parameters at intervals of 5 ° from 0 ° to 180 °, and the angle at which the matching image and the matching error are minimized is set as the tilt angle. In addition, the calculation of the inclination angle is illustrated in FIG. 12 (e) described above. Then, an ellipse image is generated from the calculated parameter group of each part and transferred to the image generation unit 9.
In the fourth embodiment, by using a neural network, the configuration of the optimization processing unit 24 is simplified, and this can be acquired by learning even if the adjustment of the optimization parameters is not performed consciously. .
[0104]
Next, a time-series image analysis apparatus as the fifth embodiment will be described.
FIG. 29 shows an example of the entire configuration of the time-series image analysis device. The overall configuration of this embodiment is the same as that of the third embodiment, and the same components are denoted by the same reference numerals and described.
[0105]
In this time-series image analysis apparatus, an input signal from the input unit 1 is stored in the auxiliary input / output unit 4 via the A / D unit 2 and the buffer memory unit 3. The signal from the auxiliary input / output unit 4 is output to the shape generation unit 5. The output of the shape generation unit 5 is transferred to the object model unit 71, the parameter calculation unit 7, and the matching unit 72. The object model unit 71 is connected to the parameter calculation unit 7 and the matching unit 72.
[0106]
The output of the parameter calculation unit 7 is connected to the matching unit 72. The output of the matching unit 72 is output to the object model unit 71 and the image generation unit 12. The output of the image generation unit 12 is output to the output unit 10 via the D / A unit 9. In addition, the input unit 1, the auxiliary input / output unit 4, the object model unit 71, the parameter calculation unit 7, the matching unit 72, and the output unit 10 are controlled by control signals from the control unit 11. This time-series image analysis apparatus adaptively learns a model as the process proceeds.
[0107]
In this time-series image analysis apparatus, the input unit 1 such as a CCD camera transfers a video signal for a predetermined time to the A / D unit 2 based on the control from the control unit 11. The A / D unit 2 converts the video signal from the input unit 1 into a digital signal and transfers it to the buffer memory unit 3.
The buffer memory unit 3 is composed of a plurality of frame memories, stores the digital signals from the A / D unit 2, and sequentially outputs them to the auxiliary input / output unit 4 such as a magnetic disk device. The auxiliary input / output unit 4 outputs the digital signal to the shape generation unit 5 in response to a control signal from the control unit 11. The shape generation unit 5 extracts a silhouette region of the object.
[0108]
Next, the silhouette image generated by the shape generation unit 5 is transferred to the object model unit 71, the parameter calculation unit 7, and the matching unit 72. The object model unit 71 stores information on the shape and motion of the object. Information about the operation is updated based on the output of the matching unit 72. The parameter calculation unit 7 roughly determines the parameters of the position and inclination angle of each part of the target object from the silhouette image of the shape generation unit 5 and the output of the target object model unit 71 based on the control of the control unit 11.
[0109]
The silhouette image generated by the shape generation unit 5, the model of the object model unit 71, and the parameters of each part calculated by the parameter calculation unit 7 are output to the matching unit 72. The matching unit 72 synchronizes the time of the object in the time-series image and the model of the object model unit 71 by the output of the shape generation unit 5, the object model unit 71, and the parameter calculation unit 7, and the object model unit The entire parameter group 71 is matched with the entire parameter group calculated by the parameter calculation unit 7 and the silhouette image group of the shape generation unit 5. Based on the control from the control unit 11, the output of the matching unit 72 is transferred to the object model unit 71 and the image generation unit 12.
[0110]
The output of the image generation unit 12 is transferred to the D / A unit 9 and converted into an analog signal. Further, the analog signal is output to the output unit 10 such as a display based on the signal from the control unit 11, and the image analysis result is displayed.
[0111]
Hereinafter, the object model unit 71 and the matching unit 72 will be described.
FIG. 30 shows a concept relating to model parameter update, and FIG. 34 shows a configuration of the object model unit 71.
First, under the control of the control unit 11, the outputs of the shape knowledge unit 81 and the motion knowledge unit 82 are transferred to the parameter calculation unit 7 and the matching unit 72. The rough parameters calculated by the parameter calculation unit 7 and the outputs of the shape knowledge unit 81 and the motion knowledge unit 82 are output to the matching unit 72. Based on the control signal from the control unit 11, the output of the matching unit 72 is fed back to the operation knowledge unit 82.
[0112]
In the object model unit 71, in the first cycle of the time-series image, as in the first embodiment, the initial models of the shape knowledge unit 81 and the motion knowledge unit 82 given from the outside are used as the parameter calculation unit 7 and the matching unit. 72.
[0113]
After the second period, the correction parameter calculated by the matching unit 72 is stored, and a model given from the outside is stored separately as an initial model. Based on the correction parameter, the model of the motion knowledge unit 82 is updated, and in the subsequent processing, the updated model is output to each processing unit. The model update method is, for example, a value obtained by adding a correction parameter to each parameter of each part to the model before update.
[0114]
FIG. 32 is a block diagram of processing of the matching unit 72. Outputs of the shape generation unit 5 and the object model unit 71 are transferred to the synchronization unit 21. Outputs of the synchronization unit 21 and the object model unit 71 are transferred to the cycle calibration unit 22. The shape generation unit 5, the object model unit 71, the parameter calculation unit 7, the synchronization unit 21, and the period calibration unit 22 are output to the parameter correction unit 23. The outputs of the shape generation unit 5, the object model unit 71, and the parameter correction unit 23 are transferred to the optimization processing unit 24. The output of the optimization processing unit 24 is transferred to the image generation unit 12, and the outputs of the optimization processing unit 24 and the object model unit 71 are transferred to the correction parameter calculation unit 91. The output of the correction parameter calculation unit 91 is fed back to the object model unit 71.
[0115]
The synchronization unit 21 synchronizes the time of the object in the time-series image and the model of the object model unit 71 based on the outputs of the object model unit 71 and the shape generation unit 5. The periodic calibration unit 22 calibrates the position and inclination angle model parameters of each part when the target operation has periodicity. The parameter correction unit 23 corrects the parameters of the time series image by comparison with the model in one image.
[0116]
Then, the optimization processing unit 24 calculates parameters optimal for the object in the time series image. The output of the optimization processing unit 24 is output to the image generation unit 12 and the correction parameter calculation unit 91 by a control signal from the control unit 11. The correction parameter calculation unit 91 obtains difference information of each parameter of each part between the parameter calculated by the optimization processing unit 24 and the model parameter of the object model unit 71. This difference information is fed back to the object model unit 71 as a model correction parameter.
When calculating the optimum parameter for the object using the same method as in the above embodiment, the difference information of each parameter is saved as a vector, giving a slight change by applying a weight to the direction of the vector. be able to. Further, after the third cycle, it is only necessary to replace the correction parameter table.
[0117]
FIG. 30B is a conceptual diagram regarding how to give a minute change in the optimization process. In the fifth embodiment, by updating the model as needed, a model suitable for the object to be analyzed can be created, and the processing can be performed with high accuracy and at high speed.
[0118]
Next, a time-series image analysis apparatus as the sixth embodiment will be described.
The overall configuration of the present embodiment is the same as that of the fifth embodiment, and an object model unit that has a different configuration will be described. The present embodiment relates to a model in which each part model is divided hierarchically and can be exchanged for each part.
[0119]
FIG. 33 shows a specific configuration example of the object model unit of the present embodiment.
In this object model unit, the outputs of the shape knowledge unit 81 and the motion knowledge unit 101 are transferred to the parameter calculation unit 7, and the outputs of the shape knowledge unit 81, the motion knowledge unit 101 and the parameter calculation unit 7 are transferred to the matching unit 72. . The output of the matching unit 72 is output to the motion knowledge unit 101 by a control signal from the control unit 11.
[0120]
The object model unit transfers the output of the shape knowledge unit 81 and the operation knowledge unit 101 stored hierarchically for each part to the parameter calculation unit 7 and the matching unit 72 in accordance with a control signal from the control unit 11. The rough parameters calculated by the parameter calculation unit 7 and the outputs of the shape knowledge unit 81 and the motion knowledge unit 101 are output to the matching unit 72. The matching unit 72 extracts a part that matches the model and a part that switches the model. Based on the control of the control unit 11, the output of the matching unit 72 is fed back to the motion knowledge unit 101.
[0121]
And in the target object model part 71, the coupling | bonding with another site | part is preserve | saved hierarchically regarding the site | part used as the center of the shape structure of a target object. FIG. 34 shows a tree structure in which other parts are combined based on the body part in the case of a human being. In this manner, the parameter of the model stored first is extracted from the hierarchical model, and is output to the parameter calculation unit 7 to perform rough parameter calculation. The calculated rough parameter and model are output to the matching unit 72, and the part to be switched is detected. The next model stored under the hierarchical structure of the part to be switched detected by the matching unit 72 is output to the parameter calculation unit 7 and the matching unit 72.
[0122]
The matching unit 72 calculates an optimal solution for the parameters of the time series image from the model output from the object model unit 71. In the optimization process, in the above-described embodiment, the sum of all 14 types of parts as shown in the expression (6) is taken in the evaluation function E in order to determine suitability (j = 1 to 14). This is decomposed into equations for each part to obtain 14 types of evaluation functions. An evaluation criterion is provided for each evaluation function, and a portion where the evaluation function E is larger than the evaluation criterion is selected.
[0123]
Specifically, a threshold value as an evaluation criterion is set, and it is determined whether or not the evaluation function E of each part exceeds a predetermined threshold value. In this case, the evaluation is performed from the top of the tree structure. In other words, in the case of a human being, it is performed from the body part. The evaluation function E exceeds the threshold value, and the selected part is output to the motion knowledge unit 101. This operation is performed until the evaluation function of each part does not exceed the threshold value. Further, after the model is determined, when the evaluation function of each part becomes larger than the threshold value, the model is switched by the above method. According to the sixth embodiment, the information amount of the model can be reduced, and more operations can be analyzed.
[0124]
Next, a time-series image analysis apparatus as the sixth embodiment will be described.
The overall configuration of this embodiment is the same as that of the first embodiment, and different configurations will be described. The present embodiment relates to a method for selecting an optimum model for an analysis target image from a plurality of models.
FIG. 35 shows a configuration of a time-series image analysis apparatus according to the seventh embodiment, and the same components are denoted by the same reference numerals and described.
[0125]
In this time-series image analysis apparatus, the input signal from the input unit 1 is stored in the auxiliary input / output unit 4 via the A / D unit 2 and the buffer memory unit 3, and the output signal of the auxiliary input / output unit 4 is It is output to the shape generation unit 5. The output of the shape generation unit 5 is transferred to the object model unit 6 and the analysis unit 111.
[0126]
The object model unit 6 is connected to the analysis unit 111. The output of the analysis unit 111 is connected to the model determination unit 112 and the image generation unit 12. The output of the model determination unit 112 is output to the object model unit 6. The output of the image generation unit 12 is output to the output unit 10 via the D / A unit 9. Further, the input unit 1, the auxiliary input / output unit 4, the object model unit 6, the analysis unit 111, the model determination unit 112, and the output unit 10 are controlled by control signals from the control unit 11.
[0127]
In such a time-series image analysis apparatus, the input unit 1 such as a CCD camera transfers a video signal for a predetermined time to the A / D unit 2 based on the control from the control unit 11. The A / D unit 2 converts the video signal from the input unit 1 into a digital signal and transfers it to the buffer memory unit 3. The buffer memory unit 3 is composed of a plurality of frame memories, stores the digital signals from the A / D unit 2, and sequentially outputs them to the auxiliary input / output unit 4.
[0128]
The auxiliary input / output unit 4 outputs the digital signal to the shape generation unit 5 in response to a control signal from the control unit 11. The shape generation unit 5 extracts a silhouette area of the object. The silhouette image generated by the shape generation unit 5 is transferred to the object model unit 6 and the analysis unit 111. The object model unit 6 stores information on the shape of the object and a plurality of operations.
[0129]
The analysis unit 111 analyzes a plurality of models and calculates parameters of the position and inclination angle of each part of the object. Parameters of each part for a plurality of models calculated by the analysis unit 111 are output to the model determination unit 112 and the image generation unit 12 based on a control signal from the control unit 11. The model determination unit 112 extracts models whose evaluation functions calculated for a plurality of models have minimum values based on the output of the analysis unit 111, and determines the model.
[0130]
Then, the model determined by the model determining unit 112 is output to the object model unit 6, and information regarding the determined model is output from the object model unit 6 for the subsequent analysis. Based on the control from the control unit 11, the output of the analysis unit 111 is transferred to the D / A unit 9 via the image generation unit 12 and converted into an analog signal. Further, in response to a control signal from the control unit 11, the analog signal is output to the output unit 10 such as a display and the image analysis result is displayed.
[0131]
FIG. 36 shows a block configuration in the processing of the analysis unit 111 described above, and FIG. 37 shows a concept related to a method for selecting an optimal model for a target in a time-series image from a plurality of models.
The silhouette image of the shape generation unit 5 is output to the direction determination unit 121, and the output of the direction determination unit 121 is fed back to the object model unit 6. The silhouette image of the shape generation unit 5 and each model of the object model unit 6 are output to the parameter calculation unit 122. The output of the parameter calculation unit 122 is transferred to the matching unit 123 and is output to the model determination unit 112 and the image generation unit 12 by a control signal from the control unit 11.
[0132]
The direction determining unit 121 detects the moving direction of the object based on the area of the silhouette image of the shape generating unit 5. Specifically, if the area of the silhouette image does not change with time, it moves in a direction perpendicular to the camera optical axis direction. Yes. That is, the moving direction is determined based on the ratio of increase / decrease of the area of the silhouette image. The detected moving direction is fed back to the object model unit 6. The moving direction of the object can be detected by detecting the center of gravity of the silhouette as a vector, or the area and center of a circumscribed rectangle that includes the silhouette image can be detected. A plurality of models corresponding to the silhouette image of the shape generation unit 5 and the detected moving direction of the object model unit 6 are output to the parameter calculation unit 122.
[0133]
For example, in the case of human motion analysis, a plurality of models such as walking, running, seating, and stationary are stored in the object model unit 6, and a model related to the shape and a model related to the motion of the direction detected by the direction determination unit 121. Is output to the parameter calculation unit 122. The parameter calculation unit 122 calculates parameters roughly using each model in the same manner as the parameter calculation unit 7 in the above-described embodiment. The matching unit 123 calculates an optimum parameter for the object in the time-series image from the output of the parameter calculation unit 122 and the models of the shape generation unit 5 and the object model unit 6 in the same manner as the matching unit 8 of the above embodiment. Then, the evaluation function E (matching error with the model) after the optimization process is calculated. At that time, if the operation cannot be synchronized, that is, if the area error in the synchronization unit 21 in the above embodiment is larger than a predetermined threshold, the model is discarded and the subsequent processing is not performed.
[0134]
Then, optimization processing is performed on the synchronized model in the same manner as in the above embodiment. The output of the matching unit 123 is transferred to the model determination unit 112 and the image generation unit 12 by a control signal from the control unit 11. However, the parameter calculation unit and the matching unit can be increased by the number of models stored in the object model unit 6 and can be processed in parallel. When the model is determined, the output of the matching unit 123 is not transferred to the model determining unit 112, and only one parameter calculation unit and matching unit are used.
[0135]
The model determining unit 112 selects the smallest one of the plurality of evaluation functions E output from the matching unit 123 as the optimum model. The selected model is fed back to the object model unit 6, and the model determined from the object model unit 6 is output for the subsequent analysis. Thereafter, the processing is continued using the selected model, and reselection of the model is repeated when the evaluation function E exceeds a predetermined value. It should be noted that the analysis can be performed by such processing even when the operation of the object is not determined. This process is not parallel, and it is also possible to calculate the error of the optimization process for each model and finally select the model with the smallest error.
[0136]
Next, a time-series image analysis apparatus as the eighth embodiment will be described.
The overall configuration of this embodiment is the same as that of the second embodiment, and different configurations will be described. In the present embodiment, when a parameter of a certain part is determined by considering the priority of processing, the candidate areas of all the parts that are in a connection relationship with the parameter are further limited, and the optimization process is performed at high speed. .
FIG. 38 shows the configuration of the parameter calculation unit in the time-series image analysis apparatus according to the eighth embodiment, and the same components are assigned the same reference numerals for explanation.
[0137]
In this parameter calculation unit, the outputs of the object model unit 6 and the shape generation unit 5 are transferred to the candidate area calculation unit 131. The candidate area calculation unit 131 calculates a candidate area for each part of the target in the time-series image, and performs processing preferentially for a part with a small error, that is, a small area of the candidate area. To limit. The output of the candidate area calculation unit 131 is transferred to the candidate area calculation unit 131 and the matching unit 8.
[0138]
FIG. 39 is a diagram showing a concept in calculation of existence candidate regions for each part of a target in a time-series image by introducing processing priority.
First, the candidate area calculation unit 131 obtains the candidate area 1 by AND processing of the possible area 1 and the silhouette image in the same manner as the candidate area calculation unit 31 of the second embodiment. An area that can be estimated to have a small error in the candidate area 1, that is, a candidate area that is smaller than a predetermined threshold value of the area, for example, in the case of a human, the center of gravity of the candidate area is centered on the head, torso, and hand. The ellipse is generated and the parameter is calculated by matching with the silhouette image.
[0139]
When the positions of these three points are determined, the regions where other parts can exist are limited. That is, a more limited candidate region is calculated by using a constraint condition such as a joint angle between the parts that are connected to the determined part or the length of each part.
Specifically, when the object is a human, the head, torso, and hand with a small area of the candidate area 1 are processed with priority, and the position is determined. When the positions of the head portion and the body portion are determined, the existing region 1 becomes a limited region such as the existing region 2 from the length of each part. That is, the position of the shoulder is calculated from the center point of the torso using Equation (2). Consider a circle with a radius r centered on the shoulder position. Here, the radius r is (upper arm length / 2) for the upper arm region, (upper arm + forearm / 2) for the forearm region, and (upper arm / + forearm) for the hand. Part / 2 + hand part).
[0140]
Next, the intersection between the circle having the center point and the radius and the existence area 1 is calculated, and the existence area 2 is extracted. Similar to the second embodiment, the candidate area 2 is calculated by AND processing of the possible area 2 and the silhouette image, and the position, inclination angle, and allowable range of each part are calculated using this area.
[0141]
A method for directly extracting candidate area 2 from candidate area 1 as indicated by a broken line in FIG. 39 is described below.
First, the position of the shoulder is calculated from the determined center point of the torso part using equation (2). For example, when the forearm region is limited by using the length between each part, the radius around the center point of the hand or shoulder (the length of the hand / 2 + the length of the forearm / 2 + ε)₀), (Upper arm length + Forearm length / 2 + ε₀) Think of a circle. Here, for example, 10% of the area of the candidate region of the hand is ε₀And A common area between the two circles and the candidate area 1 is set as a candidate area 2.
[0142]
Similarly, the candidate area 2 limited to the candidate area 1 is calculated for other parts. The angle formed by the shoulder and the hand is larger than the angle formed by the shoulder and the forearm and between the shoulder and the upper arm. Further, a more limited candidate region 2 can be obtained from the constraint condition of the angle between each joint related to the above example that the angle formed by the shoulder and the forearm is larger than the angle formed by the shoulder and the upper arm.
[0143]
FIG. 40 is a diagram illustrating a concept related to calculation of the limited candidate region 2. Using the candidate region 2, as in the second embodiment, each position, inclination angle, and allowable range of each part are calculated.
These parameter groups are output to the matching unit 8 in accordance with a control signal from the control unit 11, and an optimization process is performed. In the optimization process on the time axis, the determined head, body, and hand can be excluded from the processing targets. Further, the processing speed can be increased by reducing the frequency of giving minute changes.
According to the eighth embodiment, the position of a highly accurate part is determined preferentially, and based on this, the optimization from the appropriate initial value is performed for the other part. can do.
[0144]
Next, a time-series image analysis apparatus as the ninth embodiment will be described.
FIG. 41 shows a specific configuration example of the matching unit 72 of the ninth embodiment. The overall configuration of this embodiment is the same as that of the fifth embodiment, and different configurations will be described. In the present embodiment, prediction is performed using past optimization information and processing is performed at high speed.
[0145]
In the matching unit 72, the outputs of the shape generation unit 5 and the object model unit 71 are input to the synchronization unit 21, and the outputs of the synchronization unit 21 and the object model unit 71 are transferred to the period calibration unit 22. Outputs of the shape generation unit 5, the object model unit 71, the parameter calculation unit 7, the synchronization unit 21, and the period calibration unit 22 are sent to the parameter correction unit 23. The outputs of the shape generation unit 5, the object model unit 71, and the parameter correction unit 23 are transferred to the optimization processing unit 24. The output of the optimization processing unit 24 is transferred to the motion vector calculation unit 141 and the image generation unit 12. The output from the motion vector calculation unit 141 is fed back to the optimization processing unit 24.
[0146]
The synchronization unit 21 synchronizes the time in the operations of the target model unit 71 with the target in the time series image based on the outputs of the target model unit 71 and the shape generation unit 5. The periodic calibration unit 22 calibrates the position and inclination angle model parameters of each part when the target operation has periodicity. The parameter correction unit 23 corrects the parameters of the time series image by comparison with the model in one image.
[0147]
FIG. 42 shows the concept of motion vector calculation, and FIG. 43 shows the concept of optimization processing using prediction.
The optimization processing unit 24 first performs optimization processing on the first few sheets (for example, five sheets) in the same manner as in the above embodiment. Based on the control of the control unit 11, the optimized parameter is output to the motion vector calculation unit 141. The motion vector calculation unit 141 stores the past several parameters calculated by the optimization processing unit 24, and predicts the optimum solution (parameter) at the next time from these. As a prediction method, linear prediction may be used from the change of each parameter with respect to time. Further, it can be performed by obtaining a motion vector from the position / inclination angle of the part and using it. The calculated parameter of the next time is output to the optimization processing unit 24, and the parameter of the model of the above embodiment is replaced with the parameter predicted by the motion vector calculation unit 141, and optimization processing such as annealing is performed.
In the ninth embodiment, since the parameter predicted from the parameter at the previous time is used, it is possible to perform an optimization process with good temporal continuity.
[0148]
Next, a time-series image analysis apparatus as the tenth embodiment will be described.
FIG. 44 shows a specific configuration example of the matching unit of the tenth embodiment. The overall configuration of this embodiment is the same as that of the fifth embodiment, and different configurations will be described. In this embodiment, the error between the parameter of the time-series image of each part and the parameter of the model is calculated, and how to give a minute change is changed according to the error, that is, the degree of parameter adjustment.
[0149]
In the matching unit 72, the outputs of the shape generation unit 5 and the object model unit 71 are transferred to the synchronization unit 21. Outputs of the synchronization unit 21 and the object model unit 71 are transferred to the cycle calibration unit 22. The shape generation unit 5, the object model unit 71, the parameter calculation unit 7, the synchronization unit 21, and the period calibration unit 22 are output to the parameter correction unit 23. The outputs of the shape generation unit 5, the object model unit 71, and the parameter correction unit 23 are transferred to the optimization processing unit 24. The outputs of the optimization processing unit 24 and the object model unit 71 are transferred to the adjustment degree calculation unit 151 based on the control of the control unit 11, and the output of the optimization processing unit 24 is transferred to the image generation unit 12. The output from the adjustment degree calculation unit 151 is fed back to the object model unit 71.
[0150]
Then, the synchronization unit 21 synchronizes the time in the operation in the object model unit 71 with the object in the time-series image based on the outputs of the object model unit 71 and the shape generation unit 5. The periodic calibration unit 22 calibrates the position and inclination angle model parameters of each part when the target operation has periodicity. The parameter correction unit 23 corrects the parameters of the time series image by comparison with the model in one image.
[0151]
FIG. 45 is a diagram showing the concept of adjustment degree calculation. That is, the optimization processing unit 24 performs optimization processing such as aligning only in the first period based on the output of the parameter correction unit 23 in the same manner as in the above embodiment. Based on the control signal from the control unit 11, the parameter calculated by the optimization processing unit 24 is output to the adjustment degree calculation unit 151. The adjustment degree calculation unit 151 calculates the adjustment degree according to the difference between the parameter calculated by the optimization processing unit 24 and the parameter of the object model unit 71. Here, the degree of adjustment indicates how the optimization processing unit 24 gives a minute change. In the adjustment degree calculation method, the difference between the parameter calculated by the optimization processing unit 24 and the parameter of the object model unit 71 is calculated, and for example, 10% of the difference is set as the adjustment degree. That is, as the value of the degree of adjustment is larger, the parameter needs to be adjusted, so that the method of giving a minute change is made larger than the other parts.
[0152]
The calculated degree of adjustment is output to the optimization processing unit 24. The optimization processing unit 24 calculates a minute change based on the degree of adjustment as follows. For example, a value obtained by multiplying an initial minute change given by using a random number by an adjustment degree is added to the minute change as a new minute change.
[0153]
Next, after the second period, optimization processing is performed using this degree of adjustment. The parameters calculated by the optimization processing unit 24 are transferred to the image generation unit 12 by a control signal from the control unit 11. Note that the degree of adjustment can be given for each image, not for each part. FIG. 45B is a conceptual diagram regarding calculation of the degree of adjustment of walking motion. For example, in the case of walking motion, in a situation where both hands and both feet do not overlap, the degree of adjustment of each part is low, and the degree of adjustment of the entire image is also low. On the other hand, when both hands and both feet overlap and the back hands and feet are hidden, the degree of adjustment is high. The degree of adjustment for each image can be a difference from a silhouette image by generating an ellipse image from parameters obtained at the still image level. In addition, when processing is performed in units of one cycle, it is possible to suppress the application of minute changes to an image with a high degree of adjustment.
[0154]
According to the tenth embodiment, the degree of adjustment of the parameters of each part, that is, how to give a minute change handled in the optimization process is changed according to the error, so that the process can be performed at high speed.
[0155]
Next, a time-series image analysis apparatus as the eleventh embodiment will be described.
FIG. 46 shows a specific configuration example of the matching unit of the eleventh embodiment. The overall configuration of this embodiment is the same as that of the fifth embodiment, and different configurations will be described. In the present embodiment, the correction information in the parameter correction unit 23 is used to limit the method of giving a minute change in the optimization process.
[0156]
In the matching unit 72, the outputs of the shape generation unit 5 and the object model unit 71 are transferred to the synchronization unit 21. Outputs of the synchronization unit 21 and the object model unit 71 are transferred to the cycle calibration unit 22. The shape generation unit 5, the object model unit 71, the parameter calculation unit 7, the synchronization unit 21, and the period calibration unit 22 are output to the parameter correction unit 23. The outputs of the shape generation unit 5, the object model unit 71, and the parameter correction unit 23 are transferred to the optimization processing unit 24. The outputs of the parameter correction unit 23 and the optimization processing unit 24 are transferred to the certainty factor calculation unit 161 based on the control of the control unit 11, and the output of the optimization processing unit 24 is transferred to the image generation unit 12. The output from the certainty factor calculation unit 161 is fed back to the optimization processing unit 24.
[0157]
Then, the synchronization unit 21 synchronizes the time in the operation in the object model unit 71 with the object in the time series image based on the outputs of the object model unit 71 and the shape generation unit 5. The periodic calibration unit 22 calibrates the position and inclination angle model parameters of each part when the target operation has periodicity. The parameter correction unit 23 corrects the parameters of the time series image by comparison with the model in one image. A part where the difference between the time-series image parameter and the model parameter performed by the parameter correction unit 23 is determined to be equal to or smaller than a predetermined threshold (reliability: high), and a part where the difference is equal to or larger than the threshold (reliability) 3 levels of information (reliability: low) are transferred to the certainty calculation unit 161. FIG. 47 is a diagram illustrating a concept regarding information obtained by the parameter correction unit 23.
[0158]
First, the certainty factor calculation unit 161 changes how to give a minute change based on three classifications. For example, in a region where the difference is less than or equal to the threshold value, a minute change in a circle having a threshold value ε as a radius r is given, and in the region where the difference is equal to or greater than the threshold value and the model is replaced, the direction (angle θ) where the region before replacement is located In a circle having a radius r with a threshold ε excluding, a portion where the difference is greater than or equal to the threshold and the replacement with the model is discarded gives a minute change in the circle with a radius r that is twice the threshold ε.
[0159]
Next, the calculated radius r and angle θ are output to the optimization processing unit 24. The optimization processing unit 24 determines whether or not a given minute change exists in a circle having a radius r and an angle θ, and if it exists, performs optimization using the minute change. FIG. 48 is a conceptual diagram of how to give a minute change using the certainty factor. Based on the control of the control unit 11, the output of the optimization processing unit 24 is transferred to the image generation unit 12.
According to the eleventh embodiment, it is possible to speed up the processing by using the information related to the correction of the parameter and limiting the range in which the minute change handled in the optimization processing is given.
[0160]
Although described based on the above embodiments, the present invention includes the following inventions.
(1) In a time-series image analysis device that analyzes a predetermined object in a time-series image,
A shape generating means for extracting a silhouette image as a target object from a plurality of images within a predetermined time range in the time series image;
Object model means for storing knowledge about the shape and movement of the object as a parameter for each of the parts constituting the object; and
Parameter calculation means for calculating a parameter corresponding to a parameter stored in the object model means from the object extracted by the shape generation means;
Matching means for matching by matching the entire corresponding parameter calculated from the parameter calculating means with the entire parameter of the object model means, and minimizing the error;
A time-series image analyzing apparatus characterized by comprising:
Embodiments relating to the present invention correspond to the first, fifth, and seventh embodiments.
Therefore, the parameters of the part constituting the predetermined object in the time-series image that could not be calculated due to the influence of occlusion etc. are recognized by matching the parameters of the model, and the movement of the object is determined. It is possible to analyze with high accuracy.
[0161]
(2) In the object model means of the time-series image analysis device described in (1) above, the knowledge about the shape of the object is divided into a plurality of parts constituting the object, and the size of each divided part A time-series image analysis apparatus characterized in that the height is defined as a ratio with respect to the overall size of the object, and the connection relation between each part is stored in a table.
The embodiment relating to the present invention corresponds to the first embodiment.
[0162]
(3) In the object model means of the time-series image analysis device according to any one of (1) or (2),
A moving area is extracted from the time-series image, a rectangle circumscribing the moving area is calculated, and based on the ratio of the vertical size of the rectangle and the prestored ratio to the overall size of each part, A time-series image analysis apparatus characterized by correcting the size of a part and calibrating the size of an object.
The embodiment relating to the present invention corresponds to the first embodiment.
Therefore, it can be applied to many subjects by calibrating the size of the model, and the difference in size due to the difference in shooting distance can also be corrected.
[0163]
(4) In the time-series image analysis device according to (1) above,
A time-series image analysis apparatus characterized in that the parameters are the position, inclination, and size of an ellipse corresponding to each part of the object in the time series.
Embodiments relating to the present invention correspond to the first, second, third, fourth, fifth, sixth, seventh, eighth, ninth, tenth and eleventh embodiments.
Therefore, by matching the shape of the object with an ellipse, matching with the object in the time-series image is easy.
[0164]
(5) In the time-series image analysis device according to any one of (1) to (4),
A time-series image analysis apparatus characterized in that at least one of the parameters is a representative value of the parameter and an allowable range thereof.
Embodiments relating to the present invention correspond to the second and eighth embodiments.
Therefore, by calculating the allowable range of the parameter of each part when determining the above parameters, the flexibility of each calculated parameter solution can be provided.
[0165]
(6) In the object model means of the time-series image analysis device according to (1), the knowledge about the shape change due to the movement of the object is a parameter of each part of the moving object, A time-series image analysis apparatus characterized in that the time-series image analysis is performed based on a movement of a marker attached to a part.
The embodiment relating to the present invention corresponds to the first embodiment.
[0166]
(7) The time series image analysis apparatus according to (6), wherein the marker is attached to a center position of each part of the object.
The embodiment relating to the present invention corresponds to the first embodiment.
[0167]
(8) The time-series image analyzing apparatus according to (6), wherein the marker is attached to a connection portion between each part of the object.
The embodiment relating to the present invention corresponds to the first embodiment.
[0168]
(9) In the object model means of the time-series image analysis device according to any one of (1) to (8) above,
An apparatus for time-series image analysis, characterized in that operational parameters relating to the shape change of the object are assigned at predetermined time intervals on a time axis.
Embodiments relating to the present invention correspond to the first, third, fourth, fifth, sixth, seventh, ninth and tenth embodiments.
Therefore, it is possible to cope with a change in the operation speed of the target object by assigning the target operation parameter to the predetermined time interval on the time axis.
[0169]
(10) In the object model means of the time-series image analysis device according to any one of (1) to (9),
A time-series image analysis apparatus characterized by holding the parameters as a table.
Embodiments relating to the present invention correspond to the first, third, fourth, fifth, sixth, seventh, ninth, tenth and eleventh embodiments.
Therefore, the processing is facilitated by storing the target operation parameters as a table.
[0170]
(11) In the object model means of the time-series image analysis device according to any one of (1) to (9),
A time-series image analysis apparatus, wherein the parameters are held as mathematical expressions using an interpolation function.
Embodiments relating to the present invention correspond to the first, third, fourth, fifth, sixth, seventh, ninth, tenth and eleventh embodiments.
[0171]
Therefore, the amount of data of the model can be reduced by storing the parameters of the target operation as an equation for each part using an interpolation function.
[0172]
(12) In the object model means of the time-series image analysis device according to any one of (1) to (11) above,
A time-series image analysis apparatus that extracts a periodic component of an operation of a part of an object in the time-series image and stores only a parameter for one period.
Therefore, when the operation has periodicity, the amount of information of the model can be reduced by extracting the periodic component from the operation and storing only the parameters for one cycle. Embodiments relating to the present invention correspond to the first, third, and fourth embodiments.
[0173]
(13) In the object model means of the time-series image analysis device described in (1) above,
Furthermore, a time-series image analysis apparatus, characterized in that an existence region calculation means for calculating an existence region of each part related to the parameter is added.
The embodiment relating to the present invention corresponds to the first embodiment.
Therefore, the parameter of each part of the time-series image can be calculated at high speed by calculating the possible region using the parameter of each part of the target motion.
(14) In the object model means of the time-series image analysis device described in (13) above,
A time-series image analysis apparatus, characterized in that the shape of the existence area calculated by the existence area calculation means is held as a shape combining simple geometric shapes.
The embodiment relating to the present invention corresponds to the first embodiment.
Therefore, the information amount of the model can be reduced by expressing the calculated possible existence area as a combination of geometric shape parameters.
[0174]
(15) In the parameter calculation means of the time-series image analysis device described in (13) above,
And a candidate area calculation means for calculating an existence candidate area of each part of the object in the time-series image based on the existence area output by the existence area calculation means. Time series image analysis device.
Embodiments relating to the present invention correspond to the second and eighth embodiments.
Therefore, AND processing is performed on the possible existence area calculated above and the silhouette image of the target object in the time-series image, and the candidate area of each part is calculated in a lump, thereby speeding up the processing. The load can be reduced.
[0175]
(16) In the parameter calculation means of the time-series image analysis device described in (15) above,
A time-series image analysis apparatus characterized in that a parameter group of each part of the object is calculated on the basis of a possible area output by the candidate area calculation means.
The embodiment relating to the present invention corresponds to the second embodiment.
Therefore, the post-processing load can be reduced by determining the connection relationship between the candidate regions obtained in the above and calculating the parameters.
[0176]
(17) In the parameter calculation means of the time-series image analysis device described in the above (16), the parameter group is calculated based on the candidate area calculated by the candidate area calculation means and the object model means. A time-series image analysis device that calculates an allowable range of each parameter from the size of each part.
The embodiment relating to the present invention corresponds to the second embodiment.
Therefore, the post-processing load can be reduced by calculating the allowable range of the parameter calculated based on the candidate area and the model size obtained above.
[0177]
(18) In the time-series image analysis device according to any one of (1) or (17),
A time-series image analysis apparatus, characterized in that parameter correction means for correcting each parameter by comparison with a model in one image of the time-series image is added.
The embodiment relating to the present invention corresponds to the first embodiment.
Therefore, the difference between the parameters of the model and the time-series image is calculated, and if it is larger than the threshold, the parameter is replaced, the matching error is calculated, and if it increases, the parameter close to the true value is calculated by discarding , Optimization process will be faster.
[0178]
(19) The parameter calculation means of the time-series image analysis device according to any one of (15) to (17) is a movement for calculating a movement direction of the object extracted by the shape generation means. Direction calculation means, movement direction determination means for determining whether or not the movement direction of the object and the movement direction of knowledge stored in the object model means are the same, the object and the object model Model correction means for correcting parameters relating to movement stored in the object model means when the movement direction of knowledge relating to movement stored in the means is not the same;
A time-series image analysis apparatus further comprising:
The embodiment relating to the present invention corresponds to the second embodiment.
Therefore, it is possible to analyze an object moving in both directions with one apparatus.
[0179]
(20) The matching means of the time-series image analysis device described in (1) above is:
A time series characterized by collating the entire corresponding parameter calculated from the parameter means with the whole object model means parameter and the silhouette image of the object extracted by the shape generating means, and minimizing the error Image analysis device.
The embodiment relating to the present invention corresponds to the second embodiment.
[0180]
(21) In the time-series image analysis device described in (1) above,
The matching unit is further configured to match the image configured as an image representing the target object from the parameter of the target object calculated by the parameter calculating unit with the target object extracted by the shape generating unit. A time-series image analysis apparatus characterized by correcting an object parameter.
Embodiments relating to the present invention correspond to the first, fifth, and seventh embodiments.
Therefore, by matching the parameters of each part of the object in the time series image with the parameters of the model and the object in the time series image, it is possible to perform analysis with higher accuracy.
[0181]
(22) The matching means of the time-series image analysis device according to any one of (1) or (21) has synchronization means for synchronizing the time, and the synchronization means A motion detecting means for detecting a change in state of a predetermined motion of each part of the target object stored as a parameter in the target object model means;
Time calculation means for calculating the time of the same movement state from the object stored in the object model means at the time detected by the motion detection means and the parameter calculated by the parameter calculation means;
A time-series image analyzing apparatus comprising:
Embodiments relating to the present invention correspond to the first, third, fifth, ninth, tenth and eleventh embodiments.
Therefore, the ellipse image is generated using the parameters of the time of the predetermined movement of the model, matched with the silhouette image group of the object in the time series image, and the time of the silhouette image that minimizes the matching error Since the comparison between all images and all models can be omitted, high-speed processing can be performed.
[0182]
(23) In the matching means of the time-series image analysis device described in (12) above,
A period for calibrating the period of the object model means based on the ratio of the operation period of the object part in the time series image and the operation period of the object part of the object model means set last time A time-series image analysis apparatus comprising a calibration unit.
Embodiments relating to the present invention correspond to the first, third, fifth, ninth, tenth and eleventh embodiments.
Therefore, the operation cycle of each time series image is calculated. By calculating the ratio of the calculated time per cycle to the time per model cycle, and using this ratio to calibrate the model cycle, it is possible to flexibly even when the operation speed of the target changes. Can respond.
[0183]
(24) In a moving image analysis method for analyzing a predetermined object in a time-series image,
Modeling knowledge of shape change due to the shape and movement of the object by parameterizing each of the parts constituting the object,
Of the above modeled parameters, store knowledge about movement as a function of time,
Extracting the object from a plurality of images within a predetermined time range in the time series image, calculating a parameter corresponding to the modeled parameter,
The modeled parameter and the parameter calculated from the object are synchronized so that the shape of the parameter from the synchronized object matches the shape of the modeled parameter. To correct the modeled parameters above,
A time-series image analysis method characterized by matching a parameter calculated based on the object with a parameter obtained from the function.
Embodiments relating to the present invention correspond to the first and second embodiments.
Therefore, the parameters of each part constituting the object in the time series image are calculated, the model size is corrected based on the extracted object, and the movement of the object and the model is synchronized. After that, the parameters calculated from the object are corrected so that the magnitudes of the parameters calculated from the object and the parameters of the model satisfy a predetermined relationship.
[0184]
(25) In a moving image analysis method for analyzing a predetermined object in a time-series image,
The knowledge of the shape and motion of the object is modeled as a parameter relating to a predetermined part, the model is mathematically stored, the rough parameter corresponding to the model is calculated for the object, and the object and the model are calculated. Synchronize the time between and calibrate the size between the object and the model,
A time-series image analysis method characterized in that the entire object parameter is matched with all the parameters of the model and a predetermined object in the time-series image.
Embodiments relating to the present invention correspond to the first and second embodiments.
Therefore, the parameters of each part of the object in the time series image are roughly calculated, the size of the object and the model is calibrated and the synchronization time is calculated, and further, the part of the object in the time series image is calculated. By defining an evaluation function that matches the three parameters of the parameter group, the model parameter group, and the silhouette image of the object in the time-series image, and minimizing this evaluation function, the movement of the object is highly accurate. Can be analyzed.
[0185]
(26) The synchronization means described in (22) above is:
A time-series image analysis apparatus for calculating a time when the area of the object extracted by the shape generation means and the object stored in the object model means is minimum or maximum.
The embodiment relating to the present invention corresponds to the first embodiment.
[0186]
(27) The matching means of the time-series image analysis device described in (1) above is characterized by adding a neural network that outputs parameters of each part of the object when the silhouette image of the shape generation means is input. Time series image analysis device.
The embodiment relating to the present invention corresponds to the fourth embodiment.
[0187]
(28) The object model means of the time-series image analysis device according to any one of (1) and (9) to (12) above,
Furthermore, it has parameter update means for updating the parameter stored in the object model means based on the correction parameter calculated from the difference between the parameter calculated by the matching means and the parameter of the object model means. A time-series image analyzer characterized by the above.
The fifth embodiment corresponds to the embodiment relating to the present invention.
Therefore, by accurately learning the parameters related to the movement of the model as the process proceeds, it is possible to increase the accuracy and speed of the process.
[0188]
(29) The object model means of the time-series image analysis device according to any one of the above items (1) and (9) to (12) and (28) is a main object constituting the object. A time-series image analysis apparatus characterized in that a model relating to movement of each part is hierarchically stored with a parameter of an arbitrary part to be an upper hierarchy and a parameter of a part coupled with these parts as a lower hierarchy.
The sixth embodiment corresponds to the embodiment relating to the present invention.
(30) The object model means of the time-series image analysis device described in the above (29), when matching by the matching means, newly changes only the parameters of each part where the degree of matching exceeds a predetermined threshold A time-series image analysis apparatus characterized by:
The sixth embodiment corresponds to the embodiment relating to the present invention.
[0189]
Therefore, it is possible to switch the model only for necessary parts, and processing that can cope with more situations can be performed.
[0190]
(31) In the object model means of the time-series image analysis device according to any one of the above items (1) and (9) to (12) and (28), for use as the matching means. The parameter extracted from the object model means is a parameter selected so that an error is minimized with respect to a plurality of motion parameters of the part of the object. .
The seventh embodiment corresponds to the embodiment relating to the present invention.
Therefore, a model can be automatically selected even with respect to an operation whose operation of the object is not known in advance.
[0191]
(32) The parameter calculation means of the time-series image analysis device according to any one of (16) and (17),
In the possible area of each part output by the candidate area calculation means, the parameter group is preferentially calculated from the parts where the area of the possible area is not more than a predetermined threshold, and the possible areas of other parts are limited A time-series image analysis apparatus characterized by: The eighth embodiment corresponds to the embodiment relating to the present invention.
[0192]
Therefore, it is possible to increase the accuracy and speed of processing by adding processing priority to each part.
[0193]
(33) The matching unit of the time-series image analysis device according to any one of the above items (1) and (20), the motion vector that predicts the parameter of the next time of each part from the parameter of each past part A time-series image analyzing apparatus further comprising a predicting unit.
The ninth embodiment corresponds to the embodiment relating to the present invention.
Therefore, since parameters are calculated from past images compared to model parameters, temporal continuity is maintained, and good parameters can be obtained even in optimization with one image.
[0194]
(34) The matching means of the time-series image analysis device according to any one of (1), (20), and (33),
An adjustment degree calculating means for calculating an adjustment degree of a parameter of each part in each movement; an optimization processing means for updating a minute change given to each part based on the adjustment degree calculated by the adjustment degree calculating means;
A time-series image analyzing apparatus characterized by comprising:
The tenth embodiment corresponds to the embodiment related to the present invention.
[0195]
(35) The adjustment degree calculating means of the time-series image analysis device described in the above item (34) calculates the difference between the parameter stored in the object model means and the parameter of the time-series image. Series image analysis device.
The eleventh embodiment corresponds to the embodiment relating to the present invention.
Therefore, it is possible to realize high-precision and high-speed processing by changing the way of giving a minute change for each part.
[0196]
(36) The matching means of the time-series image analysis device according to any one of the above items (1), (20), and (33) is based on the correction information performed by the parameter correction means. A time-series image analysis apparatus, further comprising: a certainty factor calculating unit that calculates a region and a space that gives a minute change with respect to parameters of each part in the unit.
The eleventh embodiment corresponds to the embodiment relating to the present invention.
Therefore, it is possible to realize high-accuracy and high-speed processing by limiting the range of minute change for each part.
[0197]
【The invention's effect】
As described above in detail, according to the present invention, by using knowledge about the shape and movement of an object, it is possible to analyze the movement of the object with respect to a portion that could not be analyzed due to the influence of shielding or the like with high accuracy. It is possible to provide a time-series image analysis apparatus and an analysis method thereof that can be performed.
[Brief description of the drawings]
FIG. 1 is a diagram showing a schematic overall configuration example of a time-series image analysis apparatus as a first embodiment according to the present invention.
2 is a diagram for explaining a model shape stored in an object model unit shown in FIG. 1; FIG.
FIG. 3 is a diagram for explaining a possible area where a model shape stored in an object model portion exists.
4 is a diagram illustrating a specific configuration example of a matching unit illustrated in FIG. 1;
FIG. 5 is a diagram illustrating a concept for explaining processing of a synchronization unit illustrated in FIG. 4;
6 is a diagram showing a concept for explaining processing of a period calibration unit shown in FIG. 4; FIG.
7 is a diagram showing a concept for explaining processing of a parameter correction unit shown in FIG. 4; FIG.
FIG. 8 is a diagram showing a concept for explaining processing of the optimization processing unit shown in FIG. 4;
FIG. 9 is a diagram illustrating a relationship between a processed image and an analysis result in the first embodiment.
FIG. 10 is a diagram illustrating a specific configuration example of a parameter calculation unit according to the second embodiment.
FIG. 11 is a diagram showing a concept in calculation of existence candidate regions for each part of an object in a time-series image.
FIG. 12 is a diagram showing a concept in calculation of the position, tilt angle, and allowable range of candidate region groups that are connected.
FIG. 13 is a conceptual diagram of marker mounting and numerical data calculation methods.
FIG. 14 is a diagram illustrating an example of numerical data table storage;
FIG. 15 is a diagram showing a concept of storing numerical data stored in an object model by formulating each part with a correction function.
FIG. 16 is a diagram illustrating a concept for explaining parameter calculation of a possible area.
FIG. 17 is a flowchart for explaining synchronization processing;
FIG. 18 is a diagram illustrating a concept of a time calculation method when a model is in a closed state.
FIG. 19 is a flowchart for explaining a period calibration unit;
FIG. 20 is a diagram illustrating a concept for explaining processing of a period calibration unit.
FIG. 21 is a flowchart for explaining parameter correction;
FIG. 22 is a flowchart for explaining optimization processing;
FIG. 23 is a diagram showing a concept related to prevention of separation of each part.
FIG. 24 is a flowchart for explaining parameter calculation;
FIG. 25 is a diagram showing a schematic overall configuration example of a time-series image analysis device as a third embodiment.
FIG. 26 is a diagram showing a configuration of a matching unit in the third embodiment.
FIG. 27 is a diagram illustrating a configuration example of a matching unit in the time-series image analysis device as the fourth embodiment.
FIG. 28 is a diagram illustrating a schematic configuration of an optimization processing unit using a hierarchical neural network.
FIG. 29 is a diagram showing a schematic overall configuration example of a time-series image analysis device as a fifth embodiment.
FIG. 30 is a diagram for explaining a concept related to model parameter update;
FIG. 31 is a diagram illustrating a configuration example of an object model unit.
FIG. 32 is a diagram showing a configuration of a matching unit in the fifth embodiment.
FIG. 33 is a diagram illustrating a configuration of an object model unit in a time-series image analysis apparatus as a sixth embodiment.
FIG. 34 is a diagram illustrating a tree structure example of each part taking a human as an example;
FIG. 35 is a diagram illustrating a schematic overall configuration example of a time-series image analysis device according to a seventh embodiment.
FIG. 36 is a diagram illustrating a configuration of an analysis unit according to a seventh embodiment.
FIG. 37 is a diagram illustrating a concept regarding a method of selecting a model optimal for an object in a time-series image from a plurality of models.
FIG. 38 is a diagram illustrating a configuration example of a parameter calculation unit of a time-series image analysis device according to an eighth embodiment.
FIG. 39 is a diagram illustrating a concept in calculation of existence candidate regions of each part of an object in a time-series image in which processing priority is introduced.
FIG. 40 is a diagram illustrating a concept related to calculation of a limited candidate area 2;
FIG. 41 is a diagram illustrating a configuration of a matching unit in a time-series image analysis device as a ninth embodiment.
FIG. 42 is a diagram illustrating a concept of motion vector calculation.
FIG. 43 is a diagram illustrating a concept of optimization processing using prediction.
FIG. 44 is a diagram showing a configuration of a matching unit in the time-series image analysis device as the tenth embodiment.
FIG. 45 is a diagram showing a concept of adjustment degree calculation.
FIG. 46 is a diagram showing a configuration of a matching unit in the time-series image analysis device as the eleventh embodiment.
FIG. 47 is a diagram illustrating a concept regarding information obtained by a parameter correction unit.
FIG. 48 is a diagram illustrating the concept of giving a minute change using a certainty factor.
FIG. 49 is a diagram illustrating a concept related to model inversion.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Input part, 2 ... A / D part, 3 ... Buffer memory part, 4 ... Auxiliary input / output part, 5 ... Shape generation part, 6 ... Object model part, 7 ... Parameter calculation part, 8 ... Matching part, 9 ... D / A part, 10 ... output part, 11 ... control part.

Claims (8)

In a time-series image analysis apparatus for analyzing a predetermined object in a time-series image and an object having periodicity in operation ,
Shape generating means for extracting a silhouette image as a target object from a plurality of images within a predetermined time range in the time series image;
Object model means for storing knowledge about the shape and movement of the object as a parameter for each of the parts constituting the object; and
Parameter calculating means for calculating a parameter corresponding to the parameter stored in the target model means from the object extracted by the shape generating means;
Corresponding to time-series images a parameter of the whole and the object model means all of the parameters respectively calculated for each individual image of the time-series images A corresponds parameter calculated from the parameter calculating means Among the parameters for each model, the above parameters at the time timing at which the silhouette image and the object model have substantially the same shape in terms of motion timing are collated, and calculated by the parameter calculation means based on the collation result A matching means for matching the shape and parameters of the object by minimizing the shape error of the object caused by being calculated only by the parameter calculation means by correcting the parameter
A time-series image analyzing apparatus characterized by comprising: In the time series image analysis device according to claim 1,
The matching unit is further configured to match the image configured as an image representing the target object from the parameter of the target object calculated by the parameter calculating unit with the target object extracted by the shape generating unit. A time-series image analysis apparatus characterized by correcting an object parameter. In the time series image analysis device according to claim 1,
The matching unit collates the entire corresponding parameter calculated from the parameter unit with the entire parameter of the object model unit and the silhouette image of the object extracted by the shape generation unit, and minimizes the error. Characteristic time-series image analysis device. In the time series image analysis device according to claim 1,
The time-series image analyzing apparatus, wherein the matching unit further includes a motion vector predicting unit that predicts a parameter of a next time of each part from a parameter of each past part. In the object model means of the time-series image analysis device according to claim 1,
The time series image analysis apparatus characterized in that the knowledge about the shape change due to the movement of the object is a parameter of each part of the moving object and is calculated based on the movement of the marker attached to the part. In the object model means of the time-series image analysis device according to claim 1,
Furthermore, a time-series image analysis apparatus, characterized in that an existence region calculation means for calculating an existence region of each part related to the parameter is added. In a moving image analysis method for analyzing a predetermined object in a time-series image and having an operation periodicity ,
Modeling the knowledge about the shape change due to the shape and movement of the object by parameterizing each of the parts constituting the object,
Of the above modeled parameters, store knowledge about movement as a function of time,
Extracting the object from a plurality of images within a predetermined time range in the time series image, calculating a parameter corresponding to the modeled parameter,
For each of the modeled parameter and the parameter calculated from the target object, the respective parameters are compared with respect to the time timing at which the target in the time-series image and the model have substantially the same shape in terms of operation timing. To synchronize between timings ,
The size ratio of these two shapes is determined so that the size of the synchronized object shape by the parameter matches the shape of the modeled parameter, and the modeled parameter based on this size ratio is obtained. To correct
Against the parameters comrades time timing and the target object and the model is operation timing to substantially the same shape as each other, prompted the parameters calculated based on the object based on the verification result from the top Symbol Functions Matching by minimizing the shape error of the object that occurs when the above correction is not performed by correcting based on the determined parameters,
A time-series image analysis method characterized by the above. In a moving image analysis method for analyzing a predetermined object in a time-series image and having an operation periodicity ,
Model knowledge of the shape and motion of the object as a parameter for a given part,
Store the above model as a formula,
Calculating rough parameters corresponding to the model with respect to the object, and time timing to make the respective parameters to be collated with respect to time timing when the shape between the object and the model is substantially the same in terms of operation timing take the time synchronization on,
A ratio of the size of the object in the time series image and the model is obtained, and the size between the object and the model is calibrated based on the ratio, and the object parameter is the time series image. All the parameters calculated for each individual image are collated with the parameters of the model and the parameters of the model corresponding to the time series image. Based on the collation result, the predetermined parameters in the time series image are collated. A time-series image analysis method characterized by aligning an object by minimizing a shape error of the object that occurs when the correction is not performed by correcting the parameters of the object .

Images