JP7566586B2 - 推定装置、推定システム、推定方法及びプログラム - Google Patents

Description

本発明の実施形態は推定装置、推定システム、推定方法及びプログラムに関する。

人物等の対象の骨格情報を用いて、対象の動作を推定する方法が従来から知られている。例えば、画像上の２次元座標列の時系列変化に基づく推定方法が従来から知られている。また例えば、深度を取得可能なセンサーを用いて取得した骨格の３次元座標列に基づく推定方法が従来から知られている。

特許第６５２５１７９号公報

Ｚ．Ｃａｏ，ｅｔ ａｌ．，Ｒｅａｌｔｉｍｅ Ｍｕｌｔｉ－Ｐｅｒｓｏｎ ２Ｄ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ Ｐａｒｔ Ａｆｆｉｎｉｔｙ Ｆｉｅｌｄｓ，ｉｎ ＣＶＰＲ ２０１７． Ｚｈｅ Ｃａｏ，Ｔｏｍａｓ Ｓｉｍｏｎ，Ｓｈｉｈ－Ｅｎ Ｗｅｉ，Ｙａｓｅｒ Ｓｈｅｉｋｈ，Ｒｅａｌｔｉｍｅ Ｍｕｌｔｉ－Ｐｅｒｓｏｎ ２Ｄ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ Ｐａｒｔ Ａｆｆｉｎｉｔｙ Ｆｉｅｌｄｓ，［令和２年１０月１９日検索］，インターネット＜ＵＲＬ：ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１６１１．０８０５０．ｐｄｆ＞

しかしながら、従来の技術では、対象の動作を、より少ない情報から推定することが難しかった。

実施形態の推定装置は、撮像部と検出部と推定部とを備える。撮像部は、対象を含む画像を撮像する。検出部は、前記画像から前記対象の骨格を示す第１の特徴点を含む骨格情報を検出する。推定部は、前記対象を含む矩形内の前記第１の特徴点の位置を、前記撮像部の設置位置と前記撮像部の撮像範囲とに基づく第１の閾値で判定することによって、前記対象の動作を推定する。前記推定部は、前記矩形内の前記第１の特徴点から、特定動作毎に定められた２点を選択し、前記２点間の長さと前記矩形の辺の長さとの割合を、前記第１の閾値で判定することによって、前記対象の動作を推定する。

実施形態の推定装置の機能構成の例を示す図。 実施形態の不審動作の例１を示す図。 実施形態の不審動作の例２を示す図。 実施形態の不審動作の例３を示す図。 実施形態の不審動作の例４を示す図。 実施形態の不審動作の例５を示す図。 実施形態の変換部により変換される座標系の例を示す図。 実施形態の撮像部の撮像角度の例を示す図。 図４の撮像角度による不審動作の推定例を示す図。 実施形態の推定に使用される重要な特徴点の例（膝の位置の場合）を示す図。 実施形態のｙ軸全体の長さと、ｙ＝０から膝のｙ座標の位置までの長さとの割合の例１（直立姿勢の場合）を示す図。 実施形態のｙ軸全体の長さと、ｙ＝０から膝のｙ座標の位置までの長さとの割合の例２（うずくまりの場合）を示す図。 実施形態のｙ軸全体の長さと、ｙ＝０から膝のｙ座標の位置までの長さとの割合の例３（しゃがみの場合）を示す図。 実施形態のｙ軸全体の長さと、ｙ＝０から膝のｙ座標の位置までの長さとの割合の例４（しゃがみの場合）を示す図。 実施形態のｙ軸全体の長さと、ｙ＝０から膝のｙ座標の位置までの長さとの割合の例５（しゃがみの場合）を示す図。 実施形態のｙ軸全体の長さと、ｙ＝０から膝のｙ座標の位置までの長さとの割合の例６（倒れの場合）を示す図。 実施形態の推定方法の例を示すフローチャート。 実施形態の変形例の推定装置の機能構成の例を示す図。 実施形態の推定装置のハードウェア構成の例を示す図。

以下に添付図面を参照して、推定装置、推定システム、推定方法及びプログラムの実施形態を詳細に説明する。

［機能構成の例］
図１は実施形態の推定装置１の機能構成の例を示す図である。実施形態の推定装置１は、撮像部１１と検出部１２と変換部１３と推定部１４と動作ＤＢ１５とを備える。推定装置１は、例えば撮像部１１を用いて動作（例えば歩行者の不審動作等）を推定する。不審動作は、例えば「倒れる」（図２Ａ参照）、「うずくまる」（図２Ｂ参照）、「ける」（図２Ｃ参照）、「他者に絡む」（図２Ｄ参照）及び「手を挙げる」（図２Ｅ参照）など、人間が見て１枚の画像から判断できるあらかじめ定めた動作とするが、ここで例示した動作以外の任意の動作についての拡張も可能である。

撮像部１１は、ステレオカメラ及びＬｉＤＡＲ等の深度を取得できる撮像装置などではなく、一般的な可視光単眼のカメラである。なお、撮像部１１は、特殊な撮像装置であってもよいが、画像として静止画を撮像する。

撮像部１１は、例えば固定された防犯カメラである。固定された防犯カメラとは物理的に設置された位置が固定されていることを示す。撮像部１１は、後述するカメラの光軸と歩行者の角度とが既知であれば、パンチルトカメラのように撮影範囲が可変でもよい。

検出部１２は、骨格情報を画像から検出する。骨格情報は、対象（例えば人物１００）のあらかじめ定められた特徴点（例えば頭頂部、肘、肩、腰、膝、手先及び足先など）である。骨格情報は、例えば頭頂部、肘、肩、腰、膝、手先及び足先などの位置を示す２次元座標列である。人物１００と撮像部１１との位置関係が既知であれば、骨格情報を示す２次元座標列から、人物１００の動作を推定することができる。画像から骨格情報を検出する方法（ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ）は、例えば非特許文献１を用いても良い。

変換部１３は、骨格情報を表す座標系を、人物１００を含む矩形内で正規化された座標系に変換する。例えば、変換部１３は、検出部１２により検出された画像座標での２次元座標を対象人物の外接矩形に基づき、正規化された座標値に変換する。撮像部１１と人物１００との距離に応じてスケールが変動するため、変換部１３は、人物１００の外接矩形で、座標を正規化する。具体的には、頭頂部中心および腰中心が特定位置となるように位置の正規化と、２点間の長さ（例えば、頭頂部から足先の全身の長さや肩から腰の背骨の長さなど）によりスケールを正規化してもよい。例えば、頭頂部中心点が（Ｘ，Ｙ）＝（０．５，０．１）、腰中心点が（Ｘ，Ｙ）＝（０．５，０．５）となるよう、回転、平行移動、スケールを推定し正規化する。変換部１３は、上記のように頭頂部中心および腰中心位置のみが同じ位置となるよう座標を正規化する。図４は、実施形態の撮像部１１の撮像角度の例を示す図である。図４は、直立した人物、カメラ方向に倒れこむ人物、反対方向に倒れこむ人物の例を示す。座標を正規化する際に、上記したように頭頂部中心点が（Ｘ，Ｙ）＝（０．５，０．１）、腰中心点が（Ｘ，Ｙ）＝（０．５，０．５）となるよう正規化することで、頭部が腰よりも画像の下に位置するカメラ方向に倒れこむ人物と、頭部が腰よりも画像の上に位置するカメラと反対方向に倒れこむ人物とを、例えば後述の図１０に示されるように、同様の推定方法で推定することが可能となる。

［骨格情報の位置を示す座標系の例］
図３は、実施形態の変換部により変換される座標系の例を示す図である。具体的には、変換部１３は、対象人物の骨格情報１０２を個々の人物の外接矩形１０１の左上位置を原点（ｘ，ｙ）＝（０，０）とし、右下位置を（ｘ，ｙ）＝（１，１）となる座標系（ｘ，ｙ）へ、変換する（図３参照）。この処理は、検出した人物分だけ行うため、画像内に人物を検出できなかった場合は、これ以降の処理は行わない。図５は図４の撮像角度による不審動作の推定例を示す図である。図５は、実際にうずくまった人物を撮影した様子を示す。同様に実施形態の検出部１２により骨格情報を画像から検出する。

図１に戻り、推定部１４は、変換部１３で取得された各人物の座標変換済み骨格情報を用いて事前に定めた特定動作であるかを推定する。２次元座標列で示す骨格情報のみから動作を推定する場合、人物１００を撮影するカメラ角度によって、本来の３次元座標の情報が縮退しているため、別の動作でも同じ動作のように見える場合がある。そのため、事前に定めた特定動作の骨格情報は、推定時に用いる撮像部１１で取得された画像を解析して得られた情報とする。また、以下、座標変換された骨格情報を、単純に骨格情報と記載する。

ここで、撮像部１１が天井に設置された魚眼カメラなどの広角レンズで広範囲を撮影するカメラで画像を取得する場合、画像中心と、画像の周辺とでは、人物の見え方が異なるため、画像を区分し、それぞれの領域で異なる骨格情報を定め推定する。

また、撮像部１１がパンチルトカメラの場合、カメラのセンサー値を用いるか、予め登録した周囲の画像情報を用いて、カメラの３軸回転（水平・垂直・ロール）を取得し、周辺環境のどの領域を撮影しているのかを判断し、その領域別に異なる骨格情報を定めて推定する。

次に、具体的な動作推定の方法について説明する。単純化するために、以下の説明では、水平に近い角度で設置された撮像部１１で取得された画像を用いて説明する。

動作推定方法は、統計的な推定方法と、ルールベースの推定方法とに分けられる。

統計的な動作推定方法の場合、まず、推定部１４は、骨格情報の座標値（例えば、肘、肩、腰及び膝などの座標値）を連結することによって、多次元ベクトルを生成する。次に、推定部１４は、部分空間法によって動作を推定する。部分空間法では、特定動作した人物の多次元ベクトルから部分空間が算出され、推定したい人物の多次元ベクトルと、各動作の部分空間との第一正準角又は射影長が算出される。そして、第一正準角又は射影長が最も近い特定動作について、第一正準角又は射影長が、事前に設定された閾値以内である場合、当該特定動作をしていることが推定される。

なお、推定部１４で使用される動作推定方法は部分空間法以外の方法でもよい。推定部１４は、例えば、最近傍識別器、及び、ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ（ＳＶＭ）等を用いてもよい。また例えば、推定部１４は、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを用いて動作推定をしてもよい。

ルールベースの推定方法を用いる場合、推定部１４は、特定動作を見分ける上で重要な特徴点の位置の変動量に基づいて、特定動作を推定する。変動量の起点は、例えば通常の直立歩行（直立姿勢）時の当該特徴点の位置である。推定部１４は、例えば矩形内（実施形態では、外接矩形１０１）の特徴点から、特定動作毎に定められた２点を選択し、当該２点間の長さと矩形の辺の長さとの割合を閾値で判定する。

図６は実施形態の推定に使用される重要な特徴点の例（膝の位置の場合）を示す図である。図６の例は、撮像部１１が、人物１００と同じ目線の高さから画像を撮像した場合を示す。例えば、倒れ及びうずくまりを見分ける上で重要な特徴点は、骨格情報１０２に含まれる特徴点のうち、膝の位置を示す特徴点（両膝の中心を示す座標）である。倒れ及びうずくまりの場合、両膝の中心を示す座標のｙ軸座標の値が、直立歩行時の両膝の中心の示す座標のｙ軸座標の値よりも小さい。具体的には、通常時（直立歩行時）は０．７５付近（図６参照）であるのに対し、倒れ及びうずくまり時は、０．５から０．６台の値をとる。これは、倒れやうずくまりにより、人物の外接矩形１０１のｙ軸方向が狭くなることで、正規化後の両膝中心のｙ座標値が小さくなるためである。

図７は、実施形態のｙ軸全体の長さと、ｙ＝０から膝のｙ座標の位置までの長さとの割合の例１（直立姿勢の場合）を示す図である。図７の例は、ｙ＝０から、人物１００の膝のｙ座標の位置までの長さが、ｙ軸全体の長さ（外接矩形１０１の縦の辺の長さ）の７７％を占める場合を示す。

図８は、実施形態のｙ軸全体の長さと、ｙ＝０から膝のｙ座標の位置までの長さとの割合の例２（うずくまりの場合）を示す図である。図８の例は、ｙ＝０から、人物１００の膝のｙ座標の位置までの長さが、ｙ軸全体の長さの６８％を占める場合を示す。

図９Ａは、実施形態のｙ軸全体の長さと、ｙ＝０から膝のｙ座標の位置までの長さとの割合の例３（しゃがみの場合）を示す図である。図９Ａの例は、ｙ＝０から、人物１００の膝のｙ座標の位置までの長さが、ｙ軸全体の長さの５３％を占める場合を示す。

図９Ｂは、実施形態のｙ軸全体の長さと、ｙ＝０から膝のｙ座標の位置までの長さとの割合の例４（しゃがみの場合）を示す図である。図９Ｂの例は、ｙ＝０から、人物１００の膝のｙ座標の位置までの長さが、ｙ軸全体の長さの６９％を占める場合を示す。

図９Ｃは、実施形態のｙ軸全体の長さと、ｙ＝０から膝のｙ座標の位置までの長さとの割合の例５（しゃがみの場合）を示す図である。図９Ｃの例は、ｙ＝０から、人物１００の膝のｙ座標の位置までの長さが、ｙ軸全体の長さの６９％を占める場合を示す。

図１０は、実施形態のｙ軸全体の長さと、ｙ＝０から膝のｙ座標の位置までの長さとの割合の例６（倒れの場合）を示す図である。図１０の例は、ｙ＝０から、人物１００の膝のｙ座標の位置までの長さが、ｙ軸全体の長さの５４％を占める場合を示す。

特定動作を見分ける上で重要な特徴点は、特定動作ごとに異なる。

例えば、挙手の動作（図２Ｅ参照）は、人物１００の片手が上がるため、両手の先の座標のいずれかが、非常に小さい値又はマイナスの値に変化する。

また例えば、けりの動作（図２Ｃ参照）の場合は、人物１００の片足が上がるため、両膝のｙ座標のいずれかが、通常時の膝のｙ座標値よりも小さい値に変化する。

また例えば、他人への絡みの動作（図２Ｄ参照）の場合は、近い距離に存在する２名の人物１００に関して、膝のｙ座標値が通常時の膝のｙ座標値よりも小さい値に変化し、手の先のｙ座標値も、通常時の手の先のｙ座標値よりも小さい値に変化する。

上記のように、推定部１４は、特定動作について、特定の部位の位置が、どのように変動したら特定動作とするかをあらかじめ定めておき、そのルールに従い、特定動作を推定する。

動作ＤＢ１５は、推定部１４が統計的な推定方法を用いる場合、各動作の統計モデルを格納し、推定部１４がルールベースの推定方法を用いる場合は、そのルールを記憶する。推定部１４は、推定処理を行う際に、事前に動作ＤＢ１５に格納された情報を取り出し、当該情報を推定に用いる。

推定部１４が、予め登録した動作との類似性に基づく機械学習ベースの動作推定（認識）をする際には、画像から特徴点検出技術（例えば非特許文献２など）を用いて人物の骨格情報を抽出する。推定部１４は、この検出した各特徴点の検出スコア、つまり尤度（確信度）に応じて動作の類似性を算出してもよい。この場合、例えば検出部１２が、画像から検出された特徴点（第１の特徴点）の尤度を示す検出スコアを算出する。そして、推定部１４が、特徴点に検出スコアに基づく重みを付与し、重みが閾値（第２の閾値）よりも大きい特徴点の位置を、閾値（第１の閾値）で判定することによって、人物１００の動作を推定する。また、推定部１４は、１以上の特徴点（第１の特徴点）と、特定動作の特徴を示す１以上の特徴点（第２の特徴点）との類似度を、重みによる重み付け和によって判定し、類似度が閾値（第１の閾値）よりも小さい場合、人物１００が特定動作をしていると推定する。

具体的には、特徴点数ｎの場合、骨格情報は、２ｎ次元のベクトルとして表現する。推定部１４は、上述の部分空間法で説明したように、骨格情報を動作の識別に適したｄ次元の部分空間に射影し、その部分空間での距離に応じて類似性を算出する。各特徴点の検出スコアはｎ次元ベクトルとなるため、ｘおよびｙ座標の検出スコアを同じとして扱い、骨格情報の場合と同様に検出スコアをｄ次元の部分空間に射影する。推定部１４は、これを重みベクトルとし、特徴点の類似性を算出する際に当該重みベクトルを用いることで、信頼性のない特徴点の情報の重みを下げることができる。これにより推定部１４は、識別精度を向上させる。

［推定方法の例］
図１１は実施形態の推定方法の例を示すフローチャートである。はじめに、撮像部１１が、人物１００を含む画像を撮像する（ステップＳ１）。次に、検出部１２が、ステップＳ１の処理により撮像された画像から、骨格情報を検出する（ステップＳ２）。

次に、推定装置１は、ステップＳ２の処理により骨格情報が検出された人物１００の人数分だけ、ステップＳ３及びＳ４の処理を人物別に実行する。なお、推定装置１は、ステップＳ２の処理で骨格情報が検出されなかった場合には、ステップＳ３及びＳ４の処理を実行しない。

変換部１３は、骨格情報を表す座標系を、人物１００の外接矩形１０１に基づき正規化された座標系に変換する（ステップＳ３）。次に、推定部１４が、ステップＳ３の処理によって変換された骨格情報と、上述の動作ＤＢ１５に格納された情報とを用いて、特定動作を推定する（ステップＳ４）。特定動作に該当すると判断した場合、その特定動作を示す情報が推定装置１から出力される。

以上説明したように、第１実施形態の推定装置１では、撮像部１１は、対象（実施形態では、人物１００）を含む画像を撮像する。検出部１２は、画像から人物１００の骨格を示す特徴点（第１の特徴点）を含む骨格情報を検出する。推定部１４は、人物１００を含む矩形（実施形態では、外接矩形１０１）内の第１の特徴点の位置を、撮像部１１の設置位置と撮像部１１の撮像範囲とに基づく閾値（第１の閾値）で判定することによって、人物１００の動作を推定する。

これにより第１実施形態の推定装置１によれば、対象（実施形態では、人物１００）の動作を、より少ない情報から推定することができる。第１実施形態の推定装置１によれば、画像１枚から動作を推定することが可能になる。従来の技術では、人物１００の動作を推定するために、深度を取得可能なセンサー、または、高フレームレートの映像を撮影する撮像装置等が必要だった。実際の利用シーンにおいては、防犯カメラでの人物の動作を監視するなどの応用が考えられるが、深度を取得できるセンサーを追加で設置することはコスト増となる。また、防犯カメラは通常５ｆｐｓ程度と低フレームレートの映像しか取得できない。第１実施形態の推定装置１によれば、より低いコストで、人物１００の動作を推定することができる。

（実施形態の変形例）
次に実施形態の変形例について説明する。変形例の説明では、実施形態と同様の説明については省略する。

上述の実施形態の推定部１４によって実行される各特定動作の推定処理では、統計的な推定方法、及び、ルールベースの推定方法のいずれでも、閾値が用いられる。この閾値は、予め固定値として動作ＤＢ１５に設定されていてもよいが、撮像部１１の設置環境により、適切な閾値が異なる。そのため、変形例では、閾値をより適切な値に設定する設定部を更に備える場合について説明する。

［機能構成の例］
図１２は実施形態の変形例の推定装置１－２の機能構成の例を示す図である。変形例の推定装置１－２は、撮像部１１と検出部１２と変換部１３と推定部１４と動作ＤＢ１５と設定部１６とを備える。なお、設定部１６は、推定装置１の外部の装置として実現されていてもよい。

設定部１６は、各特定動作の推定に用いられる閾値を算出し、当該閾値を動作ＤＢ１５に設定する。

例えば、撮像部１１の設置位置が、人物１００が俯角で撮像される位置である場合、設定部１６は、閾値（第１の閾値）を、設置位置の高さと、俯角とに基づき設定する。

また例えば、設定部１６は、床平面からの撮像部１１（カメラ）の設置高と、レンズ情報と、光軸方向とを示す入力情報を受け付けると、各特定動作の推定に用いられる閾値を自動設定する。具体的には、設定部１６は、入力情報を受け付けると、例えば身長１７０ｃｍの人物の標準骨格を用いて、撮像部１１により取得された画像上で通常歩行する人物がどのように映るかを推定して、各特定動作の推定に用いられる閾値を算出し、当該閾値を設定する。

また例えば、設定部１６は、通常の直立歩行をする人物１００の様子を示す映像の入力を受け付け、当該映像に含まれるフレームに映る人物の見え方から、閾値（第１の閾値）を設定する。具体的には、例えば設定部１６は、登録モードを具備し、登録モードで動作中に、撮像部１１が通常歩行する様子を映像として撮影し、設定部１６が、映像の各フレームに映る通常歩行する人物の見え方から閾値を自動設定する。

また、設定部１６は、画像上の位置に応じて通常歩行する人物の見え方が大きく異なり、適した閾値が大きく異なる場合、当該画像を複数の領域に分割し、領域毎に閾値を設定又は自動設定してもよい。例えば、撮像部１１が、垂直に近い角度で設置したカメラの場合、画像中心と、画像の端とでは人物１００の見え方が大きく異なるため、全身の長さに対する頭頂部から膝までの長さの割合が大きく異なる。そのため、設定部１６は、画像を複数の領域に分割し、領域毎に閾値の入力を受け付けてもよい。また、設定部１６は、画像をグリッド状に自動分割し、各グリッド内の閾値を自動設定し、隣接するグリッドが同程度の閾値であった場合は、統合する処理により、領域分割と閾値設定とを自動化してもよい。

［ハードウェア構成の例］
図１３は実施形態の推定装置１のハードウェア構成の例を示す図である。実施形態の推定装置１は、制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５、通信装置３０６及び撮像装置３０７を備える。制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５、通信装置３０６及び撮像装置３０７は、バス３１０を介して接続されている。

制御装置３０１は、補助記憶装置３０３から主記憶装置３０２に読み出されたプログラムを実行する。主記憶装置３０２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリである。補助記憶装置３０３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、及び、メモリカード等である。

表示装置３０４は表示情報を表示する。表示装置３０４は、例えば液晶ディスプレイ等である。入力装置３０５は、推定装置１を操作するためのインタフェースである。入力装置３０５は、例えばキーボードやマウス等である。通信装置３０６は、他の装置と通信するためのインタフェースである。なお、推定装置１は、表示装置３０４及び入力装置３０５を備えていなくてもよい。推定装置１が、表示装置３０４及び入力装置３０を備えていない場合は、例えば通信装置３０６を介して他の装置から推定装置１の設定等が行われる。

実施形態の推定装置１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、メモリカード、ＣＤ－Ｒ及びＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のコンピュータで読み取り可能な記憶媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。

また実施形態の推定装置１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また実施形態の推定装置１で実行されるプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

また実施形態の推定装置１のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

実施形態の推定装置１で実行されるプログラムは、上述の機能ブロックのうち、プログラムによっても実現可能な機能ブロックを含むモジュール構成となっている。当該各機能ブロックは、実際のハードウェアとしては、制御装置３０１が記憶媒体からプログラムを読み出して実行することにより、上記各機能ブロックが主記憶装置３０２上にロードされる。すなわち上記各機能ブロックは主記憶装置３０２上に生成される。

なお上述した各機能ブロックの一部又は全部をソフトウェアにより実現せずに、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。

また複数のプロセッサを用いて各機能を実現する場合、各プロセッサは、各機能のうち１つを実現してもよいし、各機能のうち２以上を実現してもよい。

また実施形態の推定装置１の動作形態は任意でよい。実施形態の推定装置１の機能の一部（例えば検出部１２、変換部１３、推定部１４及び設定部１６等）を、例えばネットワーク上のクラウドシステムとして動作させてもよい。また、実施形態の推定装置１を、複数の装置により構成された推定システム（例えば、撮像装置３０７とコンピュータとにより構成された推定システム等）として動作させてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 推定装置
１１ 撮像部
１２ 検出部
１３ 変換部
１４ 推定部
１５ 動作ＤＢ
１６ 設定部
３０１ 制御装置
３０２ 主記憶装置
３０３ 補助記憶装置
３０４ 表示装置
３０５ 入力装置
３０６ 通信装置
３０７ 撮像装置
３１０ バス

Claims (7)

1. 対象を含む画像を撮像する撮像部と、
   前記画像から前記対象の骨格を示す第１の特徴点を含む骨格情報を検出する検出部と、
   前記対象を含む矩形内の前記第１の特徴点の位置を、前記撮像部の設置位置と前記撮像部の撮像範囲とに基づく第１の閾値で判定することによって、前記対象の動作を推定する推定部と、を備え、
   前記推定部は、前記矩形内の前記第１の特徴点から、特定動作毎に定められた２点を選択し、前記２点間の長さと前記矩形の辺の長さとの割合を、前記第１の閾値で判定することによって、前記対象の動作を推定する、
   推定装置。
2. 前記骨格情報は、前記対象の頭頂部、肘、腰、膝、手先及び足先の少なくとも１つと、前記対象の肩と、を含む、
   請求項１に記載の推定装置。
3. 前記撮像部の設置位置は、前記対象が俯角で撮像される位置であり、
   前記第１の閾値を、前記設置位置の高さと、前記俯角とに基づき設定する設定部、
   を更に備える請求項１又は２に記載の推定装置。
4. 通常の直立歩行をする対象の様子を示す映像の入力を受け付け、前記映像に含まれるフレームに映る対象の見え方から、前記第１の閾値を設定する設定部、
   を更に備える請求項１又は２に記載の推定装置。
5. 対象を含む画像を撮像する撮像装置と、コンピュータとを備え、
   前記コンピュータは、
   前記画像から前記対象の骨格を示す第１の特徴点を含む骨格情報を検出する検出部と、
   前記対象を含む矩形内の前記第１の特徴点の位置を、前記撮像装置の設置位置と前記撮像装置の撮像範囲とに基づく第１の閾値で判定することによって、前記対象の動作を推定する推定部と、を備え、
   前記推定部は、前記矩形内の前記第１の特徴点から、特定動作毎に定められた２点を選択し、前記２点間の長さと前記矩形の辺の長さとの割合を、前記第１の閾値で判定することによって、前記対象の動作を推定する、
   推定システム。
6. 撮像部が、対象を含む画像を撮像するステップと、
   検出部が、前記画像から前記対象の骨格を示す第１の特徴点を含む骨格情報を検出するステップと、
   推定部が、前記対象を含む矩形内の前記第１の特徴点の位置を、前記撮像部の設置位置と前記撮像部の撮像範囲とに基づく第１の閾値で判定することによって、前記対象の動作を推定するステップと、を含み、
   前記推定するステップは、
   前記矩形内の前記第１の特徴点から、特定動作毎に定められた２点を選択するステップと、
   前記２点間の長さと前記矩形の辺の長さとの割合を、前記第１の閾値で判定することによって、前記対象の動作を推定するステップと、
   を含む推定方法。
7. 対象を含む画像を撮像する撮像部と接続されたコンピュータを、
   前記画像から前記対象の骨格を示す第１の特徴点を含む骨格情報を検出する検出部と、
   前記対象を含む矩形内の前記第１の特徴点の位置を、前記撮像部の設置位置と前記撮像部の撮像範囲とに基づく第１の閾値で判定することによって、前記対象の動作を推定する推定部として機能させ、
   前記推定部は、前記矩形内の前記第１の特徴点から、特定動作毎に定められた２点を選択し、前記２点間の長さと前記矩形の辺の長さとの割合を、前記第１の閾値で判定することによって、前記対象の動作を推定する、
   プログラム。

Images