JP2021086322A5 - - Google Patents

Description

上記課題を解決する本発明にかかる情報処理装置は、複数の物体が撮像された画像データにおける前記物体の位置を推定する情報処理装置であって、前記画像データにおいて前記物体に属する関節の位置を種類毎に示す位置情報を取得する取得手段と、前記複数の物体の個体毎に異なるスコアを出力するように学習された学習済みモデルに前記画像データを入力することによってスコアマップを推定する推定手段と、前記位置情報と前記スコアとに基づいて、前記物体に対応する関節の位置を特定する特定手段と、を有することを特徴とする。

Claims (17)

1. 複数の物体が撮像された画像データにおける前記物体の位置を推定する情報処理装置であって、
   前記画像データにおいて前記物体に属する関節の位置を種類毎に示す位置情報を取得する取得手段と、
   前記複数の物体の個体毎に異なるスコアを出力するように学習された学習済みモデルに前記画像データを入力することによってスコアマップを推定する推定手段と、
   前記位置情報と前記スコアとに基づいて、前記物体に対応する関節の位置を特定する特定手段と、を有することを特徴とする情報処理装置。
2. 前記特定手段は、前記スコアマップにおいて前記位置情報によって示される前記関節の位置に出力されたスコアに基づいて、前記取得された位置情報によって示された関節同士を結んだ線がどの物体に属するかを特定することを特徴とする請求項１に記載の情報処理装置。
3. 前記特定手段は、前記スコアマップにおいて、前記関節の種類に応じて決定された関節のペアを結んだ線分上の各画素に出力されたスコアの分散が所定の閾値以下である場合に、前記関節のペアが同一物体に属し、前記分散が前記所定の閾値以上である場合に、前記関節のペアは異なる物体に属することを特定することを特徴とする請求項２に記載の情報処理装置。
4. 前記特定手段は、前記スコアマップにおいて、前記関節の種類に応じて決定された関節のペアの位置に出力されたスコアの差が所定の閾値以下である場合に、前記関節のペアが同一物体に属し、関節のペアの位置に出力されたスコアの差が所定の閾値以上である場合に、前記関節のペアは異なる物体に属することを特定することを特徴とする請求項２に記載の情報処理装置。
5. 前記学習済みモデルは、同じ物体における前記スコアについて、同一の物体に属する関節群に対応する前記スコアの分散が、閾値より小さい場合よりも前記差が閾値より大きい場合に、大きい損失値を出力するが損失関数を用いて、前記損失値が小さくなっていくように前記学習モデルを構成する層間の結合重み付け係数を更新して学習されることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記学習済みモデルは、注目物体と他の物体との距離に基づいて前記損失値を出力する損失関数を用いて、前記損失値が小さくなっていくように前記学習モデルを構成する層間の結合重み付け係数を更新して学習されることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記学習済みモデルは、注目物体と他の物体との距離が閾値より大きい場合よりも前記距離が閾値より小さい場合に、大きい損失値を出力する損失関数を用いて、前記損失値が小さくなっていくように前記学習モデルを構成する層間の結合重み付け係数を更新して学習されることを特徴とする請求項６に記載の情報処理装置。
8. 前記位置情報は、前記画像データにおいて関節の種類毎に前記物体に属する関節の位置と、異なる種類の関節同士の位置関係とを示し、
   前記学習済みモデルは、前記位置情報に基づいて、同じの物体に属する関節の位置に対応づけられた前記スコアの分散が小さくなるように学習されることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記物体に属する関節の位置に基づいて前記画像データにおける前記物体の姿勢を認識する認識手段を更に有することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 前記取得手段は、前記関節の種類毎に前記画像データにおける位置を示した前記位置情報を取得することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 前記取得手段は、前記関節として、頭頂部、頸部、腰部、右膝、左膝、右足首部、左足首部のうち少なくともいずれか２つ以上の前記位置情報を取得することを特徴とする請求項１０に記載の情報処理装置。
12. 前記特定手段は、前記スコアマップと関節の種類毎の前記位置情報に基づいて、同一の物体について、頭頂部、頸部、腰部、右膝、左膝、右足首部、左足首部のうちいずれか２つ以上の関節を含む組合せを特定することを特徴とする請求項１０または１１に記載の情報処理装置。
13. 前記位置情報と前記スコアマップとを出力するように学習した前記学習済みモデルを学習させる学習手段を更に有し、
    前記取得手段は、前記学習済みモデルに基づいて、関節毎の前記位置情報を取得することを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。
14. 前記学習手段は、物体に属する複数の関節の位置を示す関節データに基づいて関節の種類毎に関節位置を示すＧＴマップを生成し、
    前記スコアマップに対する損失値を前記ＧＴマップに基づいて算出し、前記損失値が所定の閾値より大きい場合に前記学習済みモデルのパラメータを更新することを特徴とする請求項１３に記載の情報処理装置。
15. 前記スコアマップは、複数の種類の関節のうち隣接する関節同士を同一人物の関節として同じスコアが付与されるように学習されることを特徴とする請求項１４に記載の情報処理装置。
16. コンピュータを、請求項１乃至１５のいずれか１項に記載の情報処理装置が有する各手段として機能させるためのプログラム。
17. 複数の物体が撮像された画像データにおける前記物体の位置を推定する情報処理方法であって、
    前記画像データにおいて前記物体に属する関節の位置を種類毎に示す位置情報を取得する取得工程と、
    前記複数の物体の個体毎に異なるスコアを出力するように学習された学習済みモデルに前記画像データを入力することによってスコアマップを推定する推定工程と、
    前記位置情報と前記スコアとに基づいて、前記物体に対応する関節の位置を特定する特定工程と、を含むことを特徴とする情報処理方法。