[go: up one dir, main page]

JP7521704B2 - 姿勢推定装置、学習モデル生成装置、姿勢推定方法、学習モデル生成方法及び、プログラム - Google Patents

姿勢推定装置、学習モデル生成装置、姿勢推定方法、学習モデル生成方法及び、プログラム Download PDF

Info

Publication number
JP7521704B2
JP7521704B2 JP2023541061A JP2023541061A JP7521704B2 JP 7521704 B2 JP7521704 B2 JP 7521704B2 JP 2023541061 A JP2023541061 A JP 2023541061A JP 2023541061 A JP2023541061 A JP 2023541061A JP 7521704 B2 JP7521704 B2 JP 7521704B2
Authority
JP
Japan
Prior art keywords
person
image
pixel
joint
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023541061A
Other languages
English (en)
Other versions
JP2024502122A (ja
Inventor
ヤドン パン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2024502122A publication Critical patent/JP2024502122A/ja
Application granted granted Critical
Publication of JP7521704B2 publication Critical patent/JP7521704B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像中の人物の姿勢を推定するための、姿勢推定装置及び姿勢推定方法、更には、これらを実現するためのプログラムに関する。また、本発明は、姿勢推定装置及び姿勢推定方法に用いられる学習モデルを生成するための、学習モデル生成装置及び学習モデル生成方法、更には、これらを実現するためのプログラムにも関する。
近年、画像から人物の姿勢を推定する研究が注目されている。このような研究は、画像監視の分野や、スポーツの分野などでの利用が期待されている。また、画像から人物の姿勢を推定することによって、例えば、店舗内での店員の動きを分析することができ、効率的な商品配置に貢献することもできると考えられる。
非特許文献１は、人物の姿勢を推定するシステムの一例を開示している。非特許文献１に開示されたシステムは、まず、カメラから出力されてきた画像データを取得し、取得した画像データで表示される画像から、人物の画像を検出する。続いて、非特許文献１に開示されたシステムは、検出した人物の画像において、更に、関節点を検出する。
次に、非特許文献１に開示されたシステムは、図１３に示すように、関節点毎に、人物の中心点からその関節点までのベクトルを算出し、算出した各ベクトルを、学習モデルに適用する。学習モデルは、予め、姿勢を示すラベルが付与されたベクトル群を、訓練データとして、機械学習を行うことによって構築されている。これにより、学習モデルから、適用されたベクトルに応じて、姿勢が出力されるので、特許文献１に開示されたシステムは、出力された姿勢を推定結果とする。
Nie, Xuecheng et al. "Single-Stage Multi-Person Pose Machines.", 2019 IEEE/CVF International Conference on Computer Vision (ICCV 2019)
ところで、訓練データとして用いられる各ベクトルは、方向と長さとで構成されている。しかしながら、ベクトルの長さは人によって異なり、バラツキが多いため、このような訓練データでは、適正な学習モデルを構築することは困難である。このため、非特許文献１に開示されたシステムには、姿勢の推定精度を高めることが難しいという問題がある。
本発明の目的の一例は、画像から人物の姿勢を推定する場合における推定精度の向上を図り得る、姿勢推定装置、姿勢推定方法、学習モデル生成装置、学習モデル生成方法、及びプログラムを提供することにある。
上記目的を達成するため、本発明の一側面における姿勢推定装置は
画像中の人物の関節点を検出する、関節点検出部と、
前記画像中の人物それぞれにおいて、予め設定された基準点を特定する、基準点特定部と、
人物のセグメンテーション領域における画素毎に画素データと当該画素を起点にした前記基準点までのベクトルの単位ベクトルとの関係を機械学習している学習モデルを用いて、検出した前記関節点毎に、当該関節点と前記画像中の各人物の前記基準点との関係を求め、求めた関係に基づいて、当該関節点が前記画像中の人物に属する可能性を示すスコアを算出し、算出した前記スコアを用いて、当該関節点が属する前記画像中の人物を決定する、帰属決定部と、
前記帰属決定手段による決定の結果に基づいて、前記画像中の人物の姿勢を推定する、姿勢推定部と、
を備えている、ことを特徴とする。
上記目的を達成するため、本発明の一側面における学習モデル生成装置は、
人物のセグメンテーション領域における画素毎の画素データと、前記セグメンテーション領域における画素毎の座標データと、前記セグメンテーション領域の画素毎の、当該画素を起点にした予め設定された基準点までのベクトルの単位ベクトルと、を訓練データとして、機械学習を実行して、学習モデルを生成する、学習モデル生成部を備えている、
ことを特徴とする。
上記目的を達成するため、本発明の一側面における姿勢推定方法は、
画像中の人物の関節点を検出する、関節点検出ステップと、
前記画像中の人物それぞれにおいて、予め設定された基準点を特定する、基準点特定ステプと、
人物のセグメンテーション領域における画素毎に画素データと当該画素を起点にした前記基準点までのベクトルの単位ベクトルとの関係を機械学習している学習モデルを用いて、検出した前記関節点毎に、当該関節点と前記画像中の各人物の前記基準点との関係を求め、求めた関係に基づいて、当該関節点が前記画像中の人物に属する可能性を示すスコアを算出し、算出した前記スコアを用いて、当該関節点が属する前記画像中の人物を決定する、帰属決定ステップと、
前記帰属決定手段による決定の結果に基づいて、前記画像中の人物の姿勢を推定する、姿勢推定ステップと、
を有することを特徴とする。
上記目的を達成するため、本発明の一側面における学習モデル生成方法は、
人物のセグメンテーション領域における画素毎の画素データと、前記セグメンテーション領域における画素毎の座標データと、前記セグメンテーション領域の画素毎の、当該画素を起点にした予め設定された基準点までのベクトルの単位ベクトルと、を訓練データとして、機械学習を実行して、学習モデルを生成する、学習モデル生成ステップを有する、
ことを特徴とする。
更に、上記目的を達成するため、本発明の一側面における第１のプログラムは、
コンピュータに、
画像中の人物の関節点を検出する、関節点検出ステップと、
前記画像中の人物それぞれにおいて、予め設定された基準点を特定する、基準点特定ステップと、
人物のセグメンテーション領域における画素毎に画素データと当該画素を起点にした前記基準点までのベクトルの単位ベクトルとの関係を機械学習している学習モデルを用いて、検出した前記関節点毎に、当該関節点と前記画像中の各人物の前記基準点との関係を求め、求めた関係に基づいて、当該関節点が前記画像中の人物に属する可能性を示すスコアを算出し、算出した前記スコアを用いて、当該関節点が属する前記画像中の人物を決定する、帰属決定ステップと、
前記帰属決定ステップによる決定の結果に基づいて、前記画像中の人物の姿勢を推定する、姿勢推定ステップと、
を実行させる、ことを特徴とする。
更に、上記目的を達成するため、本発明の一側面における第２のプログラムは、
コンピュータに、
人物のセグメンテーション領域における画素毎の画素データと、前記セグメンテーション領域における画素毎の座標データと、前記セグメンテーション領域の画素毎の、当該画素を起点にした予め設定された基準点までのベクトルの単位ベクトルと、を訓練データとして、機械学習を実行して、学習モデルを生成する、学習モデル生成ステップを、
実行させる、ことを特徴とする。
以上のように本発明によれば、画像から人物の姿勢を推定する場合における推定精度の向上を図ることができる。
図１は、実施の形態１における学習モデル生成装置の概略構成を示す構成図である。 図２は、実施の形態１における学習モデル生成装置の具体的構成を示す構成図である。 図３は、実施の形態１において用いられる単位ベクトルを説明する図である。 図４は、人物の画像から取り出した単位ベクトルのｘ成分及びｙ成分を示す図（方向マップ）である。 図５は、実施の形態１における学習モデル生成装置の動作を示すフロー図である。 図６は、実施の形態２における姿勢推定装置の概略構成を示す構成図である。 図７は、実施の形態２における姿勢推定装置の具体的構成を示す構成図である。 図８は、実施の形態２における姿勢推定装置の帰属決定処理を説明する図である。 図９は、図８に示す帰属決定処理によって算出されるスコアを説明する図である。 図１０は、実施の形態２における姿勢推定装置の帰属決定後の補正処理を説明する図である。 図１１は、実施の形態２における姿勢推定装置の動作を示すフロー図である。 図１２は、実施の形態１における学習モデル生成装置及び実施の形態２における姿勢推定装置を実現するコンピュータの一例を示すブロック図である。 図１３は、従来のシステムによる人物の姿勢推定を説明する図である。
（実施の形態１）
以下、実施の形態１においては、学習モデル生成装置、学習モデル生成方法、及び学習モデル生成のためのプログラムについて、図１～図５を参照しながら説明する。
［装置構成］
最初に、実施の形態１における学習モデル生成装置の概略構成について図１を用いて説明する。図１は、実施の形態１における学習モデル生成装置の概略構成を示す構成図である。
図１に示す実施の形態１における学習モデル生成装置１０は、人物の姿勢推定に用いる学習モデルを生成する装置である。図１に示すように、学習モデル生成装置１０は、学習モデル生成部１１を備えている。
学習モデル生成部１１は、訓練データを取得し、取得した訓練データを用いて機械学習を実行して、学習モデルを生成する。訓練データとしては、画像中の人物のセグメンテーション領域における画素毎の画素データと、セグメンテーション領域における画素毎の座標データと、セグメンテーション領域の画素毎の単位ベクトルとが用いられる。また、ここでいう単位ベクトルとは、各画素を起点にした、予め設定された基準点までのベクトルの単位ベクトルである。
学習モデル生成装置１０によれば、人物のセグメンテーション領域における画素毎に、画素データと単位ベクトルとの関係を機械学習した、学習モデルが得られる。そして、学習モデルに、画像中の人物の関節点の画像の画素データを入力すれば、その関節点における単位ベクトルが出力される。出力された単位ベクトルを用いれば、後述の実施の形態２に説明するように、画像中の人物の姿勢の推定が可能となる。
続いて、図２を用いて、実施の形態１における学習モデル生成装置１０の構成及び機能について具体的に説明する。図２は、実施の形態１における学習モデル生成装置の具体的構成を示す構成図である。
図２に示すように、実施の形態１では、学習モデル生成装置１０は、学習モデル生成部１１に加えて、訓練データ取得部１２と、訓練データ格納部１３とを備えている。
訓練データ取得部１２は、学習モデル生成装置１０の外部から入力された訓練データを受け付け、受け付けた訓練データを、訓練データ格納部１３に格納する。学習モデル生成部１１は、実施の形態１では、訓練データ格納部１３に格納されている訓練データを用いて、機械学習を実行し、学習モデルを生成する。学習モデル生成部１１は、生成した学習モデルを、後述する姿勢推定装置に出力する。
また、学習モデル生成部１１によって用いられる機械学習の手法としては、ゼロショット学習、ディープラーニング、リッジ回帰、ロジスティック回帰、サポートベクトルマシン、勾配ブースティング等が挙げられる。
更に、図３及び図４を用いて、実施の形態１で用いられる訓練データについて具体的に説明する。図３は、実施の形態１において用いられる単位ベクトルを説明する図である。図４は、人物の画像から取り出した単位ベクトルのｘ成分及びｙ成分を示す図（方向マップ）である。
訓練データは、実施の形態１では、予め、画像処理装置等によって、人物の画像の画像データから作成される。具体的には、図３に示すように、まず、画像データ２０から、画像中の人物のセグメンテーション領域２１が抽出される。次に、セグメンテーション領域２１において、基準点２２が設定される。基準点２２が設定される領域としては、人物の体幹の領域、または首の領域が挙げられる。図３の例では、基準点２２は首の領域に設定されている。また、基準点は、予め設定されたルールに沿って設定される。ルールとしては、例えば、鼻の頂点を通る垂線と喉を通る水平線とが交わる点に設定することが挙げられる。
その後、各画素の座標データが特定され、更に、画素毎に、それを起点にした基準点までのベクトルが算出され、更に、算出されたベクトルそれぞれについて、単位ベクトルが算出される。図３の例では、○は任意の画素を示し、破線の矢印は任意の画素から基準点２２までのベクトルを示し、実践の矢印は単位ベクトルを示している。また、単位ベクトルは、大きさが「１」のベクトルであり、ｘ成分とｙ成分とで構成されている。
このようにして得られた、画素毎の画素データと、画素毎の座標データと、画素毎の単位ベクトル（ｘ成分、ｙ成分）とが、訓練データとして用いられる。なお、画素毎の単位ベクトルをマップ化すると、図４に示す通りとなる。図４に示すマップは、２人の人物が存在している画像から得られている。
［装置動作］
次に、実施の形態１における学習モデル生成装置１０の動作について図５を用いて説明する。図５は、実施の形態１における学習モデル生成装置の動作を示すフロー図である。以下の説明においては、適宜図１～図４を参照する。また、実施の形態１では、学習モデル生成装置１０を動作させることによって、学習モデル生成方法が実施される。よって、実施の形態における学習モデル生成方法の説明は、以下の学習モデル生成装置１０の動作説明に代える。
図５に示すように、最初に、訓練データ取得部１２は、学習モデル生成装置１０の外部から入力された訓練データを受け付け、受け付けた訓練データを、訓練データ格納部１３に格納する（ステップＡ１）。ステップＡ１で受け付けられた訓練データは、画素毎の画素データと、画素毎の座標データと、画素毎の単位ベクトル（ｘ成分、ｙ成分）とで構成されている。
次に、学習モデル生成部１１は、ステップＡ１で訓練データ格納部１３に格納された訓練データを用いて、機械学習を実行し、学習モデルを生成する（ステップＡ２）。更に、学習モデル生成部１１は、ステップＡ２で生成した学習モデルを、後述する姿勢推定装置に出力する（ステップＡ３）。
ステップＡ１～Ａ３の実行により、人物のセグメンテーション領域における画素毎に、画素データと単位ベクトルとの関係を機械学習した、学習モデルが得られる。
［プログラム］
実施の形態１における学習モデル生成のためのプログラムは、コンピュータに、図５に示すステップＡ１～Ａ３を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、実施の形態１における学習モデル生成装置１０と学習モデル生成方法とを実現することができる。この場合、コンピュータのプロセッサは、学習モデル生成部１１及び訓練データ取得部１２として機能し、処理を行なう。コンピュータとしては、汎用のＰＣの他に、スマートフォン、タブレット型端末装置が挙げられる。
また、実施の形態１では、訓練データ格納部１３は、コンピュータに備えられたハードディスク等の記憶装置に、これらを構成するデータファイルを格納することによって実現されていても良いし、別のコンピュータの記憶装置によって実現されていても良い。
また、実施の形態１におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、学習モデル生成部１１及び訓練データ取得部１２のいずれかとして機能しても良い。
（実施の形態２）
次に、実施の形態２においては、姿勢推定装置、姿勢推定方法、及び姿勢推定のためのプログラムについて、図６～図１１を参照しながら説明する。
［装置構成］
最初に、実施の形態２における姿勢推定装置の概略構成について図６を用いて説明する。図６は、実施の形態２における姿勢推定装置の概略構成を示す構成図である。
図６に示す実施の形態２における姿勢推定装置３０は、画像中の人物の姿勢を推定する装置である。図６に示すように、姿勢推定装置３０は、関節点検出部３１と、基準点特定部３２と、帰属決定部３３と、姿勢推定部３４とを備えている。
関節点検出部３１は、姿勢推定の対象となる人物が写っている画像において、画像中の人物の関節点を検出する。基準点特定部３２は、画像中の人物それぞれにおいて、予め設定された基準点を特定する。ここでの基準点は、実施の形態１において、訓練データの作成時に設定された基準点と同じであり、人物の体幹の領域、または首の領域に設定される。
帰属決定部３３は、学習モデルを用いて、関節点検出部３１が検出した関節点毎に、各関節点と画像中の各人物の基準点との関係を求める。学習モデルは、人物のセグメンテーション領域における画素毎に、画素データと単位ベクトルとの関係を機械学習している。ここで用いられる学習モデルとしては、実施の形態１で生成された学習モデルが挙げられる。単位ベクトルは、各画素を起点にした基準点までのベクトルの単位ベクトルである。
また、帰属決定部３３は、学習モデルを用いて求めた関係に基づいて、各関節点が画像中の人物に属する可能性を示すスコアを算出し、算出したスコアを用いて、各関節点が属する画像中の人物を決定する。そして、姿勢推定部３４は、帰属決定部３３による決定の結果に基づいて、画像中の人物の姿勢を推定する。
このように、実施の形態２では、画像中の人物の各関節点について、その人物の関節点かどうかを判断する指標（スコア）が算出される。よって、その人物の関節点に、別の人物の関節点が誤って含まれてしまう事態が回避される。このため、実施の形態によれば、画像から人物の姿勢を推定する場合における推定精度の向上を図ることができる。
続いて、図７～図１０を用いて、実施の形態２における姿勢推定装置３０の構成及び機能について具体的に説明する。図７は、実施の形態２における姿勢推定装置の具体的構成を示す構成図である。図８は、実施の形態２における姿勢推定装置の帰属決定処理を説明する図である。図９は、図８に示す帰属決定処理によって算出されるスコアを説明する図である。図１０は、実施の形態２における姿勢推定装置の帰属決定後の補正処理を説明する図である。
図７に示すように、実施の形態２では、姿勢推定装置３０は、上述した、関節点検出部３１、基準点特定部３２、帰属決定部３３、及び姿勢推定部３４に加えて、画像データ取得部３５と、帰属補正部３６と、学習モデル格納部３７とを備えている。
画像データ取得部３５は、姿勢推定の対象となる人物が写った画像の画像データ４０を取得し、取得した画像データを関節点検出部３１に入力する。画像データの取得先としては、撮像装置、サーバ装置、端末装置等が挙げられる。学習モデル格納部３７は、実施の形態１における学習モデル生成装置１０が生成した学習モデルを格納している。
関節点検出部３１は、画像データ取得部３５から入力された画像データから、画像中の人物の関節点を検出する。具体的には、関節点検出部３１は、関節点毎に予め設定された画像特徴量を用いて、人物の各関節点を検出する。また、関節点検出部３１は、予め、人物の関節点の画像特徴量を機械学習した学習モデルを用いて、各関節点を検出することもできる。検出対象となる関節点としては、例えば、右肩、右肘、右手首、右股関節、右膝、右足首、左肩、左肘、左手首、左股関節、左膝、左足首等が挙げられる。
基準点特定部３２は、画像データから人物のセグメンテーション領域を抽出し、抽出したセグメンテーション領域上に基準点を設定する。基準点の位置は、実施の形態１において、訓練データの作成時に設定された基準点の位置と同じである。訓練データにおいて首の領域に基準点が設定されている場合は、基準点特定部３２は、セグメンテーション領域上の首の領域に、訓練データの作成時に用いられたルールに沿って基準点を設定する。
帰属決定部３３は、実施の形態２では、関節点検出部３１が検出した関節点毎に、各関節点と画像中の各人物の基準点との関係として、方向のバラツキ（ＲｏＤ：Range of Direction）を求める。具体的には、帰属決定部３３は、画像データ４０の画像中の人物の基準点それぞれについて、画像中に関節点から基準点までの間に中間点を設定する。
そして、帰属決定部３３は、関節点の画素データ及び中間点の画素データと、各点の座標データとを、学習モデルに入力する。また、帰属決定部３３は、学習モデルの出力結果に基づいて、関節点及び中間点それぞれを起点にした基準点までのベクトルの単位ベクトルを求める。更に、帰属決定部３３は、画像中の人物の基準点毎に、関節点及び中間点について求めた単位ベクトルの始点を揃えた場合の方向のバラツキＲｏＤを求め、求めたバラツキＲｏＤに基づいて、関節点が画像中の人物に属する可能性を示すスコアを算出する。
また、帰属決定部３３は、検出した関節点毎に、画像中の人物の基準点それぞれについて、基準点から各関節点までの距離を求めることもできる。加えて、帰属決定部３３は、学習モデルの出力結果を用いて、中間点のうち、人物のセグメンテーション領域に存在していない中間点を特定する。そして、帰属決定部３３は、画像中の人物の基準点毎に、人物のセグメンテーション領域に存在していない中間点の割合を求めることもできる。更に、帰属決定部３３は、距離、割合を求めた場合は、先に求めた方向のバラツキＲｏＤ、距離、及び割合を用いて、スコアを算出することもできる。
具体的には、図８に示すように、画像中に人物４１と人物４２とが存在しているとする。そして、各人物の基準点Ｒ１及びＲ２が、それぞれの首の領域に設定されているとする。また、図８の例では、関節点Ｐ１が、スコアの算出対象であるとする。この場合において、帰属決定部３３は、人物４１においては、関節点Ｐ１から基準点Ｒ１までの間に中間点ＩＭＰ１１～ＩＭＰ１３を設定する。また、帰属決定部３３は、人物４２においては、関節点Ｐ１から基準点Ｒ２までの間に中間点ＩＭＰ２１～ＩＭＰ２３を設定する。
次に、帰属決定部３３は、関節点Ｐ１の画素データと、中間点ＩＭＰ１１～ＩＭＰ１３の画素データと、中間点ＩＭＰ２１～ＩＭＰ２３の画素データと、各点の座標データとを、学習モデルに入力する。この出力結果から、関節点Ｐ１、中間点ＩＭＰ１１～ＩＭＰ１３、及び中間点ＩＭＰ２１～ＩＭＰ２３、それぞれを起点にした基準点までのベクトルの単位ベクトルが求められる。各単位ベクトルは、図８において矢印によって示されている。
続いて、帰属決定部３３は、中間点ＩＭＰ１１～ＩＭＰ１３、及び中間ＩＭＰ２１～ＩＭＰ２３のうち、人物のセグメンテーション領域に存在していない中間点を特定する。具体的には、帰属決定部３３は、以下の数１に単位ベクトルのｘ成分及びｙ成分を入力して、値が閾値以下となる中間点については、人物のセグメンテーション領域に存在していないと判断する。
（数１）
（ｘ成分）２＋（ｙ成分）２＜閾値
図８の例では、帰属決定部３３は、中間点ＩＭＰ１３と中間点ＩＭＰ２３とは、人物のセグメンテーション領域に存在していないと判断する。また、図８の例においては、人物のセグメンテーション領域に存在する中間点を○で表現し、人物のセグメンテーション領域に存在していない中間点を◎で表現している。
続いて、帰属決定部３３は、図９に示すように、中間点ＩＭＰ１１及びＩＰＭ１２（ＩＭＰ１３を除く）の単位ベクトルの基点と、関節点Ｐ１の単位ベクトルの基点とを揃えて、方向のバラツキ（ＲｏＤ：Range of Direction）１を求める。同様に、帰属決定部３３は、中間点ＩＭＰ２１及びＩＰＭ２２（ＩＭＰ２３を除く）の単位ベクトルの基点と、関節点Ｐ１の単位ベクトルの基点とを揃えて、方向のバラツキ（ＲｏＤ：Range of Direction）２を求める。方向のバラツキは、単位ベクトルの基点を揃えた場合の取り得る角度の範囲で表される。
続いて、帰属決定部３３は、図９に示すように、関節点Ｐ１から人物４１の基準点Ｒ１までの距離Ｄ１と、関節点Ｐ１から人物４２の基準点Ｒ２までの距離Ｄ２とを求める。
更に、帰属決定部３３は、図９に示すように、関節点Ｐ１から基準点Ｒ１までの直線上に存在する中間点ＩＭＰ１１～１３において、人物のセグメンテーション領域に存在していない中間点の割合ＯＢ１を求める。また、帰属決定部３３は、関節点Ｐ１から基準点Ｒ２までの直線上に存在する中間点ＩＭＰ２１～２３において、人物のセグメンテーション領域に存在していない中間点の割合ＯＢ２も求める。
その後、帰属決定部３３は、基準点毎、即ち、人物毎にスコアを算出する。具体的には、帰属決定部３３は、人物４１については、ＲｏＤ１＊Ｄ１＊ＯＢ１を算出し、得られた値を人物４１の関節点Ｐ１についてのスコアとする。同様に、帰属決定部３３は、人物４２については、ＲｏＤ２＊Ｄ２＊ＯＢ２を算出し、得られた値を人物４２の関節点Ｐ２についてのスコアとする。
図８及び図９の例では、人物４１についてのスコアが、人物４２についてのスコアよりも小さくなる。従って、帰属決定部３３は、関節点Ｐ１が属する人物を人物４１に決定する。
帰属補正部３６は、画像中の同一の人物に属すると決定された関節点において、重複する関節点が含まれている場合に、重複する関節点それぞれにおけるスコアを比較し、比較結果に基づいて、重複する関節点のいずれかを、その人物に属しないと判定する。
具体的には、例えば、図１０に示すように、関節点Ｐ１及び関節点Ｐ２の２つが、人物４２に属していると決定されているとする。この場合、人物４２には、左手首が２つ含まれていることとなり、不自然である。このため、帰属補正部３６は、帰属決定部３３から、関節点Ｐ１について計算しているスコアと、関節点Ｐ２について計算されたスコアとを取得し、両者を比較する。そして、帰属補正部３６は、スコアの大きい方の関節点、この場合においては関節点Ｐ１を人物４２に属しないと判定する。これにより、人物の関節点の帰属関係が補正される。
姿勢推定部３４は、実施の形態２では、関節点検出部３１による検出結果に基づいて、人物毎に決定された各関節点の座標を特定し、関節点間の位置関係を求める。そして、姿勢推定部３４は、求めた位置関係に基づいて、人物の姿勢を推定する。
具体的には、姿勢推定部３４は、人物の姿勢毎に予め登録されている位置関係と、求めた位置関係とを比較して、最も近似している登録済みの位置関係を特定する。そして、姿勢推定部３４は、特定した登録済みの位置関係に対応する姿勢を、人物の姿勢と推定する。また、姿勢推定部３４は、予め、各関節の位置関係と座標との関係を機械学習している学習モデルに、求めた位置関係を入力し、この学習モデルの出力結果から姿勢を推定することもできる。
［装置動作］
次に、実施の形態２における姿勢推定装置３０の動作について図１１を用いて説明する。図１１は、実施の形態２における姿勢推定装置の動作を示すフロー図である。以下の説明においては、適宜図６～図１０を参照する。また、実施の形態２では、姿勢推定装置３０を動作させることによって、姿勢推定方法が実施される。よって、実施の形態における姿勢推定方法の説明は、以下の姿勢推定装置３０の動作説明に代える。
図１１に示すように、最初に、画像データ取得部３５は、姿勢推定の対象となる人物が写った画像の画像データを取得する（ステップＢ１）。
次に、関節点検出部３１は、ステップＢ１で取得された画像データから、画像中の人物の関節点を検出する（ステップＢ２）。
次に、基準点特定部３２は、ステップＢ１で取得された画像データから人物のセグメンテーション領域を抽出し、抽出したセグメンテーション領域上に基準点を設定する（ステップＢ３）。
次に、帰属決定部３３は、ステップＢ２で検出された関節点の１つを選択する（ステップＢ４）。そして、帰属決定部３３は、選択した関節点から基準点までの間に中間点を設定する（ステップＢ５）。
次に、帰属決定部３３は、選択した関節点の画素データと、各中間点の画素データと、各点の座標データとを、学習モデルに入力して、各点における単位ベクトルを求める（ステップＢ６）。
次に、帰属決定部３３は、ステップＢ６で求めた単位ベクトルを用いて、ステップＢ３で設定された基準点毎に、スコアを算出する（ステップＢ７）。
具体的には、ステップＢ７では、帰属決定部３３は、まず、上述の数１を用いて、人物のセグメンテーション領域に存在していない中間点を特定する。次に、帰属決定部３３は、図９に示したように、関節点からその基準点までの直線毎に、そこに存在する中間点の単位ベクトルの基点と、関節点の単位ベクトルの基点とを揃えて、方向のバラツキＲｏＤを求める。
更に、ステップＢ７では、帰属決定部３３は、図９に示したように、基準点毎に、関節点からその基準点までの距離Ｄを求める。加えて、帰属決定部３３は、図９に示したように、基準点毎に、関節点からその基準点までの直線上に存在する中間点において、人物のセグメンテーション領域に存在していない中間点の割合ＯＢを求める。その後、帰属決定部３３は、基準点毎に、方向のバラツキＲｏＤ、距離Ｄ、及び割合ＯＢを用いて、選択された関節点のスコアを算出する。
次に、帰属決定部３３は、ステップＢ７で算出した基準点毎のスコアに基づいて、ステップＢ４で選択された関節点が属する人物を決定する（ステップＢ８）。
次に、帰属決定部３３は、ステップＢ２で検出された全ての関節点について、ステップＢ５～Ｂ８の処理が終了しているかどうかを判定する（ステップＢ９）。
ステップＢ９の判定の結果、全ての関節点について、ステップＢ５～Ｂ８の処理が終了していない場合は、帰属決定部３３は、再度ステップＢ４を実行して、未だ選択されていない関節点を選択する。
一方、ステップＢ９の判定の結果、全ての関節点について、ステップＢ５～Ｂ８の処理が終了している場合は、帰属決定部３３は、そのことを帰属補正部３６に通知する。それにより、帰属補正部３６は、画像中の同一の人物に属すると決定された関節点において、重複する関節点が含まれているかどうかを判定する。そして、帰属補正部３６は、重複する関節点が含まれている場合は、重複する関節点それぞれにおけるスコアを比較する。帰属補正部３６は、比較結果に基づいて、重複する関節点のいずれかについて、その人物に属しないと判定し、帰属を解除する（ステップＢ１０）。
その後、姿勢推定部３４は、ステップＢ２の関節点の検出結果に基づいて、人物毎に、人物に属することが決定された各関節点の座標を特定し、関節点間の位置関係を求める。更に、姿勢推定部３４は、求めた位置関係に基づいて、人物の姿勢を推定する（ステップＢ１１）。
以上のように、実施の形態２では、実施の形態１で作成された学習モデルを用いて、画像中の人物の関節点の単位ベクトルが求められ。そして、求められた単位ベクトルに基づいて、検出された関節点の帰属が、精度良く決定される。このため、実施の形態２によれば、画像から人物の姿勢を推定する場合における推定精度の向上が図られることになる。
［プログラム］
実施の形態２における姿勢推定のためのプログラムは、コンピュータに、図１１に示すステップＢ１～Ｂ１１を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、実施の形態２における姿勢推定装置３０と姿勢推定方法とを実現することができる。この場合、コンピュータのプロセッサは、関節点検出部３１、基準点特定部３２、帰属決定部３３、姿勢推定部３４、画像データ取得部３５、及び帰属補正部３６として機能し、処理を行なう。コンピュータとしては、汎用のＰＣの他に、スマートフォン、タブレット型端末装置が挙げられる。
また、実施の形態２では、学習モデル格納部３７は、コンピュータに備えられたハードディスク等の記憶装置に、これらを構成するデータファイルを格納することによって実現されていても良いし、別のコンピュータの記憶装置によって実現されていても良い。
また、実施の形態２におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、関節点検出部３１、基準点特定部３２、帰属決定部３３、姿勢推定部３４、画像データ取得部３５、及び帰属補正部３６のいずれかとして機能しても良い。
（物理構成）
ここで、実施の形態１におけるプログラムを実行することによって、学習モデル生成装置１０を実現するコンピュータと、実施の形態２におけるプログラムを実行することによって、姿勢推定装置３０を実現するコンピュータとについて図１２を用いて説明する。図１２は、実施の形態１における学習モデル生成装置及び実施の形態２における姿勢推定装置を実現するコンピュータの一例を示すブロック図である。
図１２に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。この態様では、ＧＰＵ又はＦＰＧＡが、実施の形態におけるプログラムを実行することができる。
ＣＰＵ１１１は、記憶装置１１３に格納された、コード群で構成されたプログラムをメインメモリ１１２に展開し、各コードを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。
また、実施の形態１及び２におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、実施の形態１及び２におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。
なお、実施の形態１における学習モデル生成装置１０及び実施の形態２における姿勢推定装置３０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアによっても実現可能である。更に、実施の形態１における学習モデル生成装置１０及び実施の形態２における姿勢推定装置３０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。ここでいうハードウェアとしては、電子回路が挙げられる。
上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記１８）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
画像中の人物の関節点を検出する、関節点検出部と、
前記画像中の人物それぞれにおいて、予め設定された基準点を特定する、基準点特定部と、
人物のセグメンテーション領域における画素毎に画素データと当該画素を起点にした前記基準点までのベクトルの単位ベクトルとの関係を機械学習している学習モデルを用いて、検出した前記関節点毎に、当該関節点と前記画像中の各人物の前記基準点との関係を求め、求めた関係に基づいて、当該関節点が前記画像中の人物に属する可能性を示すスコアを算出し、算出した前記スコアを用いて、当該関節点が属する前記画像中の人物を決定する、帰属決定部と、
前記帰属決定部による決定の結果に基づいて、前記画像中の人物の姿勢を推定する、姿勢推定部と、
を備えている、
ことを特徴とする姿勢推定装置。
（付記２）
付記１に記載の姿勢推定装置であって、
前記帰属決定部が、検出した前記関節点毎に、前記画像中の人物の前記基準点それぞれについて、前記画像中に当該関節点から前記基準点までの間に中間点を設定し、
そして、当該関節点の画素データ及び前記中間点の画素データを、前記学習モデルに入力し、その出力結果から、当該関節点及び前記中間点それぞれを起点にした前記基準点までのベクトルの単位ベクトルを求め、
更に、前記画像中の人物の前記基準点毎に、当該関節点及び前記中間点について求めた前記単位ベクトルの始点を揃えた場合の方向のバラツキを求め、求めたバラツキに基づいて、前記スコアを算出する、
ことを特徴とする姿勢推定装置。
（付記３）
付記２に記載の姿勢推定装置であって、
前記帰属決定部が、更に、検出した前記関節点毎に、前記画像中の人物の前記基準点それぞれについて、当該関節点までの距離を求め、
加えて、前記学習モデルの出力結果を用いて、前記中間点のうち、前記人物のセグメンテーション領域に存在していない中間点を特定し、前記画像中の人物の前記基準点毎に、前記人物のセグメンテーション領域に存在していない中間点の割合を求め、
前記バラツキ、前記距離、及び前記割合を用いて、前記スコアを算出する、
ことを特徴とする姿勢推定装置。
（付記４）
付記１～３のいずれかに記載の姿勢推定装置であって、
前記画像中の同一の人物に属すると決定された関節点において、重複する関節点が含まれている場合に、重複する関節点それぞれにおける前記スコアを比較し、比較結果に基づいて、重複する関節点のいずれかを属しないと判定する、帰属補正部を、更に備えている、
ことを特徴とする姿勢推定装置。
（付記５）
付記１～４のいずれかに記載の姿勢推定装置であって、
前記基準点が、前記画像中の人物の体幹の領域、または首の領域に設定されている、
ことを特徴とする姿勢推定装置。
（付記６）
人物のセグメンテーション領域における画素毎の画素データと、前記セグメンテーション領域における画素毎の座標データと、前記セグメンテーション領域の画素毎の、当該画素を起点にした予め設定された基準点までのベクトルの単位ベクトルと、を訓練データとして、機械学習を実行して、学習モデルを生成する、学習モデル生成部を備えている、
ことを特徴とする学習モデル生成装置。
（付記７）
画像中の人物の関節点を検出する、関節点検出ステップと、
前記画像中の人物それぞれにおいて、予め設定された基準点を特定する、基準点特定ステップと、
人物のセグメンテーション領域における画素毎に画素データと当該画素を起点にした前記基準点までのベクトルの単位ベクトルとの関係を機械学習している学習モデルを用いて、検出した前記関節点毎に、当該関節点と前記画像中の各人物の前記基準点との関係を求め、求めた関係に基づいて、当該関節点が前記画像中の人物に属する可能性を示すスコアを算出し、算出した前記スコアを用いて、当該関節点が属する前記画像中の人物を決定する、帰属決定ステップと、
前記帰属決定ステップによる決定の結果に基づいて、前記画像中の人物の姿勢を推定する、姿勢推定ステップと、
を有する、
ことを特徴とする姿勢推定方法。
（付記８）
付記７に記載の姿勢推定方法であって、
前記帰属決定ステップにおいて、検出した前記関節点毎に、前記画像中の人物の前記基準点それぞれについて、前記画像中に当該関節点から前記基準点までの間に中間点を設定し、
そして、当該関節点の画素データ及び前記中間点の画素データを、前記学習モデルに入力し、その出力結果から、当該関節点及び前記中間点それぞれを起点にした前記基準点までのベクトルの単位ベクトルを求め、
更に、前記画像中の人物の前記基準点毎に、当該関節点及び前記中間点について求めた前記単位ベクトルの始点を揃えた場合の方向のバラツキを求め、求めたバラツキに基づいて、前記スコアを算出する、
ことを特徴とする姿勢推定方法。
（付記９）
付記８に記載の姿勢推定方法であって、
前記帰属決定ステップにおいて、更に、検出した前記関節点毎に、前記画像中の人物の前記基準点それぞれについて、当該関節点までの距離を求め、
加えて、前記学習モデルの出力結果を用いて、前記中間点のうち、前記人物のセグメンテーション領域に存在していない中間点を特定し、前記画像中の人物の前記基準点毎に、前記人物のセグメンテーション領域に存在していない中間点の割合を求め、
前記バラツキ、前記距離、及び前記割合を用いて、前記スコアを算出する、
ことを特徴とする姿勢推定方法。
（付記１０）
付記７～９のいずれかに記載の姿勢推定方法であって、
前記画像中の同一の人物に属すると決定された関節点において、重複する関節点が含まれている場合に、重複する関節点それぞれにおける前記スコアを比較し、比較結果に基づいて、重複する関節点のいずれかを属しないと判定する、帰属補正ステップを、更に有する、
ことを特徴とする姿勢推定方法。
（付記１１）
付記７～１０のいずれかに記載の姿勢推定方法であって、
前記基準点が、前記画像中の人物の体幹の領域、または首の領域に設定されている、
ことを特徴とする姿勢推定方法。
（付記１２）
人物のセグメンテーション領域における画素毎の画素データと、前記セグメンテーション領域における画素毎の座標データと、前記セグメンテーション領域の画素毎の、当該画素を起点にした予め設定された基準点までのベクトルの単位ベクトルと、を訓練データとして、機械学習を実行して、学習モデルを生成する、学習モデル生成ステップを有する、
ことを特徴とする学習モデル生成方法。
（付記１３）
コンピュータに、
画像中の人物の関節点を検出する、関節点検出ステップと、
前記画像中の人物それぞれにおいて、予め設定された基準点を特定する、基準点特定ステップと、
人物のセグメンテーション領域における画素毎に画素データと当該画素を起点にした前記基準点までのベクトルの単位ベクトルとの関係を機械学習している学習モデルを用いて、検出した前記関節点毎に、当該関節点と前記画像中の各人物の前記基準点との関係を求め、求めた関係に基づいて、当該関節点が前記画像中の人物に属する可能性を示すスコアを算出し、算出した前記スコアを用いて、当該関節点が属する前記画像中の人物を決定する、帰属決定ステップと、
前記帰属決定ステップによる決定の結果に基づいて、前記画像中の人物の姿勢を推定する、姿勢推定ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
（付記１４）
付記１３に記載のコンピュータ読み取り可能な記録媒体であって、
前記帰属決定ステップにおいて、検出した前記関節点毎に、前記画像中の人物の前記基準点それぞれについて、前記画像中に当該関節点から前記基準点までの間に中間点を設定し、
そして、当該関節点の画素データ及び前記中間点の画素データを、前記学習モデルに入力し、その出力結果から、当該関節点及び前記中間点それぞれを起点にした前記基準点までのベクトルの単位ベクトルを求め、
更に、前記画像中の人物の前記基準点毎に、当該関節点及び前記中間点について求めた前記単位ベクトルの始点を揃えた場合の方向のバラツキを求め、求めたバラツキに基づいて、前記スコアを算出する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
（付記１５）
付記１４に記載のコンピュータ読み取り可能な記録媒体であって、
前記帰属決定ステップにおいて、更に、検出した前記関節点毎に、前記画像中の人物の前記基準点それぞれについて、当該関節点までの距離を求め、
加えて、前記学習モデルの出力結果を用いて、前記中間点のうち、前記人物のセグメンテーション領域に存在していない中間点を特定し、前記画像中の人物の前記基準点毎に、前記人物のセグメンテーション領域に存在していない中間点の割合を求め、
前記バラツキ、前記距離、及び前記割合を用いて、前記スコアを算出する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
（付記１６）
付記１３～１５のいずれかに記載のコンピュータ読み取り可能な記録媒体であって、
前記プログラムが、前記コンピュータに、
前記画像中の同一の人物に属すると決定された関節点において、重複する関節点が含まれている場合に、重複する関節点それぞれにおける前記スコアを比較し、比較結果に基づいて、重複する関節点のいずれかを属しないと判定する、帰属補正ステップを実行させる命令を更に含む、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
（付記１７）
付記１３～１６のいずれかに記載のコンピュータ読み取り可能な記録媒体であって、
前記基準点が、前記画像中の人物の体幹の領域、または首の領域に設定されている、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
（付記１８）
コンピュータに、
人物のセグメンテーション領域における画素毎の画素データと、前記セグメンテーション領域における画素毎の座標データと、前記セグメンテーション領域の画素毎の、当該画素を起点にした予め設定された基準点までのベクトルの単位ベクトルと、を訓練データとして、機械学習を実行して、学習モデルを生成する、学習モデル生成ステップを、
実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
以上のように本発明によれば、画像から人物の姿勢を推定する場合における推定精度の向上を図ることができる。本発明は、画像から人物の姿勢を推定することが求められる分野、例えば、画像監視の分野、スポーツの分野に有用である。
１０ 学習モデル生成装置
１１ 学習モデル生成部
１２ 訓練データ取得部
１３ 訓練データ格納部
２０ 画像データ
２１ 人物（セグメンテーション領域）
２２ 基準点
３０ 姿勢推定装置
３１ 関節点検出部
３２ 基準点特定部
３３ 帰属決定部
３４ 姿勢推定部
３５ 画像データ取得部
３６ 帰属補正部
３７ 学習モデル格納部
４０ 画像データ
４１、４２ 人物（セグメンテーション領域）
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

Claims (10)

  1. 画像中の人物の関節点を検出する、関節点検出部と、
    前記画像中の人物それぞれにおいて、予め設定された基準点を特定する、基準点特定部と、
    人物のセグメンテーション領域における画素毎に画素データと当該画素を起点にした前記基準点までのベクトルの単位ベクトルとの関係を機械学習している学習モデルを用いて、検出した前記関節点毎に、当該関節点と前記画像中の各人物の前記基準点との関係を求め、求めた関係に基づいて、当該関節点が前記画像中の人物に属する可能性を示すスコアを算出し、算出した前記スコアを用いて、当該関節点が属する前記画像中の人物を決定する、帰属決定部と、
    前記帰属決定部による決定の結果に基づいて、前記画像中の人物の姿勢を推定する、姿勢推定部と、
    を備えている、
    ことを特徴とする姿勢推定装置。
  2. 請求項１に記載の姿勢推定装置であって、
    前記帰属決定部が、検出した前記関節点毎に、前記画像中の人物の前記基準点それぞれについて、前記画像中に当該関節点から前記基準点までの間に中間点を設定し、
    そして、当該関節点の画素データ及び前記中間点の画素データを、前記学習モデルに入力し、その出力結果から、当該関節点及び前記中間点それぞれを起点にした前記基準点までのベクトルの単位ベクトルを求め、
    更に、前記画像中の人物の前記基準点毎に、当該関節点及び前記中間点について求めた前記単位ベクトルの始点を揃えた場合の方向のバラツキを求め、求めたバラツキに基づいて、前記スコアを算出する、
    ことを特徴とする姿勢推定装置。
  3. 請求項２に記載の姿勢推定装置であって、
    前記帰属決定部が、更に、検出した前記関節点毎に、前記画像中の人物の前記基準点それぞれについて、当該関節点までの距離を求め、
    加えて、前記学習モデルの出力結果を用いて、前記中間点のうち、前記人物のセグメンテーション領域に存在していない中間点を特定し、前記画像中の人物の前記基準点毎に、前記人物のセグメンテーション領域に存在していない中間点の割合を求め、
    前記バラツキ、前記距離、及び前記割合を用いて、前記スコアを算出する、
    ことを特徴とする姿勢推定装置。
  4. 請求項１に記載の姿勢推定装置であって、
    前記画像中の同一の人物に属すると決定された関節点において、重複する関節点が含まれている場合に、重複する関節点それぞれにおける前記スコアを比較し、比較結果に基づいて、重複する関節点のいずれかをその人物に属しないと判定する、帰属補正部を、更に備えている、
    ことを特徴とする姿勢推定装置。
  5. 請求項１に記載の姿勢推定装置であって、
    前記基準点が、前記画像中の人物の体幹の領域、または首の領域に設定されている、
    ことを特徴とする姿勢推定装置。
  6. 人物のセグメンテーション領域における画素毎の画素データと、前記セグメンテーション領域における画素毎の座標データと、前記セグメンテーション領域の画素毎の、当該画素を起点にした予め設定された基準点までのベクトルの単位ベクトルと、を訓練データとして、機械学習を実行して、前記セグメンテーション領域における画素毎に、前記画素データと前記単位ベクトルとの関係を学習した学習モデルを生成する、学習モデル生成部を備えている、
    ことを特徴とする学習モデル生成装置。
  7. コンピュータによって実行する方法であって、
    画像中の人物の関節点を検出する、関節点検出ステップと、
    前記画像中の人物それぞれにおいて、予め設定された基準点を特定する、基準点特定ステップと、
    人物のセグメンテーション領域における画素毎に画素データと当該画素を起点にした前記基準点までのベクトルの単位ベクトルとの関係を機械学習している学習モデルを用いて、検出した前記関節点毎に、当該関節点と前記画像中の各人物の前記基準点との関係を求め、求めた関係に基づいて、当該関節点が前記画像中の人物に属する可能性を示すスコアを算出し、算出した前記スコアを用いて、当該関節点が属する前記画像中の人物を決定する、帰属決定ステップと、
    前記帰属決定ステップによる決定の結果に基づいて、前記画像中の人物の姿勢を推定する、姿勢推定ステップと、
    を有する、
    ことを特徴とする姿勢推定方法。
  8. コンピュータによって実行する方法であって、
    人物のセグメンテーション領域における画素毎の画素データと、前記セグメンテーション領域における画素毎の座標データと、前記セグメンテーション領域の画素毎の、当該画素を起点にした予め設定された基準点までのベクトルの単位ベクトルと、を訓練データとして、機械学習を実行して、前記セグメンテーション領域における画素毎に、前記画素データと前記単位ベクトルとの関係を学習した学習モデルを生成する、学習モデル生成ステップを有する、
    ことを特徴とする学習モデル生成方法。
  9. コンピュータに、
    画像中の人物の関節点を検出する、関節点検出ステップと、
    前記画像中の人物それぞれにおいて、予め設定された基準点を特定する、基準点特定ステップと、
    人物のセグメンテーション領域における画素毎に画素データと当該画素を起点にした前記基準点までのベクトルの単位ベクトルとの関係を機械学習している学習モデルを用いて、検出した前記関節点毎に、当該関節点と前記画像中の各人物の前記基準点との関係を求め、求めた関係に基づいて、当該関節点が前記画像中の人物に属する可能性を示すスコアを算出し、算出した前記スコアを用いて、当該関節点が属する前記画像中の人物を決定する、帰属決定ステップと、
    前記帰属決定ステップによる決定の結果に基づいて、前記画像中の人物の姿勢を推定する、姿勢推定ステップと、
    を実行させる、プログラム。
  10. コンピュータに、
    人物のセグメンテーション領域における画素毎の画素データと、前記セグメンテーション領域における画素毎の座標データと、前記セグメンテーション領域の画素毎の、当該画素を起点にした予め設定された基準点までのベクトルの単位ベクトルと、を訓練データとして、機械学習を実行して、前記セグメンテーション領域における画素毎に、前記画素データと前記単位ベクトルとの関係を学習した学習モデルを生成する、学習モデル生成ステップを、
    実行させる、プログラム。
JP2023541061A 2021-01-15 2021-01-15 姿勢推定装置、学習モデル生成装置、姿勢推定方法、学習モデル生成方法及び、プログラム Active JP7521704B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/001248 WO2022153481A1 (en) 2021-01-15 2021-01-15 Posture estimation apparatus, learning model generation apparatus, method, and computer-readable recordingmedium

Publications (2)

Publication Number Publication Date
JP2024502122A JP2024502122A (ja) 2024-01-17
JP7521704B2 true JP7521704B2 (ja) 2024-07-24

Family

ID=82448068

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023541061A Active JP7521704B2 (ja) 2021-01-15 2021-01-15 姿勢推定装置、学習モデル生成装置、姿勢推定方法、学習モデル生成方法及び、プログラム

Country Status (3)

Country Link
US (1) US20240303855A1 (ja)
JP (1) JP7521704B2 (ja)
WO (1) WO2022153481A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12356076B2 (en) * 2022-05-24 2025-07-08 Canon Kabushiki Kaisha Image capture control device, image capture device, image capture control method, and non-transitory computer-readable storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007199864A (ja) 2006-01-24 2007-08-09 Matsushita Electric Ind Co Ltd 画像列生成方法および画像列生成装置
JP2017097578A (ja) 2015-11-24 2017-06-01 キヤノン株式会社 情報処理装置及び方法
WO2018189795A1 (ja) 2017-04-10 2018-10-18 富士通株式会社 認識装置、認識方法および認識プログラム
JP2019191974A (ja) 2018-04-26 2019-10-31 株式会社 ディー・エヌ・エー 情報処理装置、情報処理プログラム、及び、情報処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007199864A (ja) 2006-01-24 2007-08-09 Matsushita Electric Ind Co Ltd 画像列生成方法および画像列生成装置
JP2017097578A (ja) 2015-11-24 2017-06-01 キヤノン株式会社 情報処理装置及び方法
WO2018189795A1 (ja) 2017-04-10 2018-10-18 富士通株式会社 認識装置、認識方法および認識プログラム
JP2019191974A (ja) 2018-04-26 2019-10-31 株式会社 ディー・エヌ・エー 情報処理装置、情報処理プログラム、及び、情報処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NIE, Xuecheng et al.，"Single-Stage Multi-Person Pose Machines"，2019 IEEE/CVF International Conference on Computer Vision (ICCV)，米国，IEEE，2019年10月27日，pp.6950-6959

Also Published As

Publication number Publication date
JP2024502122A (ja) 2024-01-17
US20240303855A1 (en) 2024-09-12
WO2022153481A1 (en) 2022-07-21

Similar Documents

Publication Publication Date Title
Kristan et al. A novel performance evaluation methodology for single-target trackers
KR100886407B1 (ko) 정보 처리 장치 및 그 제어방법
JP2011134114A (ja) パターン認識方法およびパターン認識装置
US11836944B2 (en) Information processing apparatus, information processing method, and storage medium
CN110956131B (zh) 单目标追踪方法、装置及系统
US20130148849A1 (en) Image processing device and method
JPWO2019003973A1 (ja) 顔認証装置、顔認証方法およびプログラム
JP7192143B2 (ja) オンライン学習を利用した物体追跡のための方法およびシステム
Kan et al. Self-constrained inference optimization on structural groups for human pose estimation
CN118119971A (zh) 使用神经网络确定人的身高的电子设备和方法
JP2013016171A (ja) 人体動作周期の特定と人体動作の認識の方法、装置、及びプログラム
US20230237777A1 (en) Information processing apparatus, learning apparatus, image recognition apparatus, information processing method, learning method, image recognition method, and non-transitory-computer-readable storage medium
JP7521704B2 (ja) 姿勢推定装置、学習モデル生成装置、姿勢推定方法、学習モデル生成方法及び、プログラム
Li et al. Recognizing hand gestures using the weighted elastic graph matching (WEGM) method
JP2018036901A (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN109325387B (zh) 图像处理方法、装置、电子设备
JP2021144359A (ja) 学習装置、推定装置、学習方法、及びプログラム
WO2022181253A1 (ja) 関節点検出装置、学習モデル生成装置、関節点検出方法、学習モデル生成方法、及びコンピュータ読み取り可能な記録媒体
JP7540500B2 (ja) グループ特定装置、グループ特定方法、及びプログラム
US20230114776A1 (en) Image recognition system, image recognition method, and non-transitory computerreadable medium
WO2023275941A1 (en) Image processing apparatus, feature map generating apparatus, learning model generation apparatus, image processing method, and computer-readable recording medium
JP7665117B1 (ja) 機械学習装置、技能判定装置、機械学習方法、及び機械学習プログラム
JP7708225B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US20250005782A1 (en) Image processing apparatus, image processing method, and storage medium
US20250131708A1 (en) Image processing apparatus, image processing method, and non-transitory storage medium

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230705

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240624

R150 Certificate of patent or registration of utility model

Ref document number: 7521704

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150