JP7653102B2 - パラメータ推定装置、パラメータ推定方法及びパラメータ推定プログラム - Google Patents

Description

本発明は、パラメータ推定装置、パラメータ推定方法及びパラメータ推定プログラムに関する。

複数台のカメラでそれぞれ同一の被写体が撮像された画像から特徴点をそれぞれ検出し、検出された特徴点についてカメラ間（画像間）での対応付けを行った後、カメラパラメータと各特徴点の３次元座標を推定する技術として、Bundle Adjustment（バンドル調整）がある。Bundle Adjustmentは、カメラ間で対応付けられた各特徴点の再投影誤差を最小化するコスト関数を用いて反復計算を行うことにより、最適なカメラパラメータと各特徴点の３次元座標とを推定する。

図１４は、Bundle Adjustmentの概要を説明するための模式図である。図１４は、一例として、互いに異なる位置から２つのカメラ（カメラｊとカメラｊ＋１）で同一の被写体を撮像する場合について示したものである。図１４に示されるように、まずBundle Adjustmentでは、例えば、カメラｊによって撮像された画像とカメラｊ＋１によって撮像された画像とから特徴点がそれぞれ検出される。両画像からそれぞれ検出された特徴点は、被写体の同一箇所の特徴点ごとに互いに対応付けられる。ここで、カメラｊによって撮像された画像から検出された特徴点の２次元座標をｕ_ｉ，ｊとし、カメラｊ＋１によって撮像された画像から検出された特徴点の２次元座標をｕ_{ｉ，ｊ＋１}とし、ある特徴点の３次元座標をｐ_ｉとする。

そして、Bundle Adjustmentでは、例えば以下の（１）式で表されるコスト関数によって、カメラｊのスクリーンに再投影された特徴点の３次元座標ｐ_ｉとカメラｊのスクリーンに再投影された特徴点の２次元座標をｕ_ｉ，ｊとの間の再投影誤差、及びカメラｊ＋１のスクリーンに再投影された特徴点の３次元座標ｐ_ｉ＋１とカメラｊ＋１のスクリーンに再投影された特徴点の２次元座標をｕ_{ｉ，ｊ＋１}との間の再投影誤差を最小化するように反復計算が行われる。これにより、特徴点の３次元座標ｐ_ｉが推定される。反復計算には、例えばガウス・ニュートン法等が用いられる。

上記の（１）式において、関数Ｆ（ｐ_ｉ｜ｆ_ｊ，ｒ_ｊ，ｄ_ｊ，Ｒ_ｊ，ｔ_ｊ）は、特徴点の３次元座標ｐ_ｉをカメラｊのスクリーンに投影する関数である。ここで、ｆ_ｊ，ｒ_ｊ，ｄ_ｊ，Ｒ_ｊ，ｔ_ｊは、カメラｊのカメラパラメータである。具体的には、ｆ_ｊはカメラ焦点距離，ｒ_ｊはカメラ解像度，ｄ_ｊはカメラ歪み，Ｒ_ｊはカメラ回転角，及びｔ_ｊはカメラ位置である。カメラｊ＋１のカメラパラメータの場合には、同様に、ｆ_ｊ＋１がカメラ焦点距離，ｒ_ｊ＋１がカメラ解像度，ｄ_ｊ＋１がカメラ歪み，Ｒ_ｊ＋１がカメラ回転角，及びｔ_ｊ＋１がカメラ位置となる。

一般的に、特徴点の３次元座標の取得対象である物体が建築物等の幾何構造物である場合には、ＳＩＦＴ（Scale-Invariant Feature Transform）特徴量を用いて、特徴点の検出及びカメラ間の対応付けを行う方法が広く用いられている。一方、特徴点の３次元座標の取得対象が人物である場合には、例えばOpenPose（非特許文献１を参照）及びPersonLab（非特許文献２を参照）等に代表される２次元姿勢推定技術が用いられる。これらの技術は、人物の関節や目、鼻、耳等の部位を検出する。そして、例えば、人物の骨格長が不変であるという仮定の下で、検出された人物の部位を特徴点と見なしてBundle Adjustmentによる推定が行われる（非特許文献３を参照）。

Z. Cao, G. Hidalgo, T. Simon, S.E. Wei, and Y. Sheikh, "OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", arXiv: 1812.08008v2 [cs.CV], pp.1-14, May 2019. G. Papandreou, T. Zhu, L. C. Chen, S. Gidaris, J. Tompson, and K. Murphy, "PersonLab: Person Pose Estimation and Instance Segmentation with a Bottom-Up, Part-Based, Geometric Embedding Model", ECCV, 2018. K. Takahashi, D. Mikami, M Isogawa, and H. Kimata, "Human Pose as Calibration Pattern; 3D Human Pose Estimation with Multiple Unsynchronized and Uncalibrated Cameras", CVPR, pp.1888-1895, 2018. T. Ohashi1, Y. Ikegami, and Y. Nakamura, "Synergetic Reconstruction from 2D Pose and 3D Motion for Wide-Space Multi-Person Video Motion Capture in the Wild", arXiv: 2001.05613v2 [cs.CV], pp.1-12, Oct 2020.

Bundle Adjustmentでは、各パラメータを最適化する反復計算の過程において、上記の再投影誤差の平均二乗誤差（ＭＳＥ）を最小化するようにパラメータを更新していく手法が広く用いられている。しかしながら、前述のOpenPose及びPersonLabによって特徴点が検出される過程においても、特徴点の２次元座標に推定誤差が重畳しているため、画像（例えば、動画の各フレーム）における被写体の各特徴点は最大でもカメラの台数分のサンプリング点しかない。そのため、大きなノイズによって特徴点の２次元座標の推定誤差が重畳すると、カメラパラメータ及び各特徴点の３次元座標の推定精度が大きく損なわれることがある。

特に、例えば図１５に示されるように、画面内において被写体が小さく映っている場合と大きく映っている場合とでは、特徴点の両者の推定誤差がたとえ同程度（例えば、両者ともに２ピクセルの推定誤差）であったとしても、３次元空間においては両者の推定誤差は異なる。この場合、画面内に小さく映っている被写体であるほど推定誤差はより大きくなり、画面内に大きく映っている被写体であるほど推定誤差はより小さくなる。そのため、画面内に小さく映っている被写体を、画面内に大きく映っている被写体と同様に扱って推定を行う従来手法では、カメラパラメータ及び各特徴点の３次元座標の推定精度が低下する可能性がある。

また特に、例えば図１６に示されるように、検出対象の特徴点の画像領域が、例えば、被写体である人物の別の部位の画像領域、又は同じ画像に写った他の人物の画像領域等と重なり合うことなどによって遮蔽された画像領域が存在する場合もある。この場合、遮蔽された画像領域が存在する被写体を、遮蔽された画像領域が存在しない被写体と同様に扱って推定を行う従来手法では、カメラパラメータ及び各特徴点の３次元座標の推定精度が低下する可能性がある。

このように、複数台のカメラで撮像された画像から被写体の特徴点をそれぞれ検出し、各特徴点の２次元座標の画像間の対応付けを行うことで各特徴点の３次元座標及びカメラパラメータ（以下、これらをまとめて「パラメータ群」という。）を推定する従来のBundle Adjustmentにおいては、特徴点の検出に推定誤差が含まれている場合、パラメータ群の推定精度が大きく損なわれることがあるという課題がある。

上記事情に鑑み、複数台のカメラで撮像された画像からそれぞれ検出された特徴点の２次元座標に基づいてパラメータ群を推定する技術において、より推定精度を向上させることができるパラメータ推定装置、パラメータ推定方法及びパラメータ推定プログラムを提供することを目的としている。

本発明の一態様は、同一の被写体が互いに異なる位置から複数のカメラで撮像された各々の画像における、前記被写体の同一の特徴点の２次元座標が互いに対応付けられたデータを示す被写体姿勢群データを取得する取得部と、前記取得部によって取得された前記被写体姿勢群データに基づいて、前記特徴点の領域のうち前記特徴点以外の領域によって遮蔽されていない領域の割合を示す視認率を算出し、算出された前記視認率に基づいて重み係数を算出する重み係数算出部と、前記重み係数算出部によって算出された前記重み係数を用いた計算に基づいて、前記特徴点の３次元座標の座標値を含むパラメータの値を推定するパラメータ推定部と、を備えるパラメータ推定装置である。

また、本発明の一態様は、同一の被写体が互いに異なる位置から複数のカメラで撮像された各々の画像における、前記被写体の同一の特徴点の２次元座標が互いに対応付けられたデータを示す被写体姿勢群データを取得する取得ステップと、前記取得ステップにおいて取得された前記被写体姿勢群データに基づいて、前記特徴点の領域のうち前記特徴点以外の領域によって遮蔽されていない領域の割合を示す視認率を算出し、算出された前記視認率に基づいて重み係数を算出する重み係数算出ステップと、前記重み係数算出ステップにおいて算出された前記重み係数を用いた計算に基づいて、前記特徴点の３次元座標の座標値を含むパラメータの値を推定するパラメータ推定ステップと、を有するパラメータ推定方法である。

また、本発明の一態様は、上記のパラメータ推定装置としてコンピュータを機能させるためのパラメータ推定プログラムである。

本発明により、本発明によれば、複数台のカメラで撮像された画像からそれぞれ検出された特徴点の２次元座標に基づいてパラメータ群を推定する技術において、より推定精度を向上させることが可能になる。

本発明の第１の実施形態における被写体３次元再構成装置１００の全体構成を示すブロック図である。 本発明の第１の実施形態における被写体３次元再構成装置１００の動作を示すフローチャートである。 本発明の第１の実施形態における被写体３次元再構成装置１００の最適化部１０２の機能構成を示すブロック図である。 人物の骨格等における特徴点の接続関係の一例を示す図である。 画面内占有率に基づいて重み係数を導出する方法を説明するための図である。 本発明の第１の実施形態における被写体３次元再構成装置１００の最適化部１０２の動作を示すフローチャートである。 本発明の第２の実施形態における被写体３次元再構成装置１００ａの全体構成を示すブロック図である。 本発明の第２の実施形態における被写体３次元再構成装置１００ａの動作を示すフローチャートである。 本発明の第２の実施形態における被写体３次元再構成装置１００ａの最適化部１０２ａの機能構成を示すブロック図である。 自己遮蔽に対して視認率に基づいて重み係数を導出する方法を説明するための図である。 他者による遮蔽に対して視認率に基づいて重み係数を導出する方法を説明するための図である。 本発明の第２の実施形態における被写体３次元再構成装置１００の最適化部１０２ａの動作を示すフローチャートである。 本発明の第１の実施形態～第３の実施形態における被写体３次元再構成装置のハードウェア構成の一例を示すブロック図である。 Bundle Adjustmentの概要を説明するための模式図である。 画面内における被写体の大きさの違いと２次元推定誤差及び３次元推定誤差を説明するための図である。 他者による遮蔽による２次元座標の推定精度低下について説明するための図である。

以下、本発明のパラメータ推定装置、パラメータ推定方法及びパラメータ推定プログラムの実施形態について、図面を参照しながら説明する。

＜第１の実施形態＞
以下、本発明の第１の実施形態における被写体３次元再構成装置１００について説明する。なお、以下に説明する被写体３次元再構成装置１００は、本発明のパラメータ推定装置の実施形態の一例であり、本発明は必ずしも以下の被写体３次元再構成装置１００の構成に限定されるものではない。

［被写体３次元再構成装置の構成］
以下、被写体３次元再構成装置１００の全体構成について説明する。図１は、本発明の第１の実施形態における被写体３次元再構成装置１００の全体構成を示すブロック図である。図１に示されるように、被写体３次元再構成装置１００は、カメラ間対応付け部１０１と、最適化部１０２と、を含んで構成される。なお、図１に示される被写体３次元再構成装置１００において、最適化部１０２の構成が、従来の一般的な被写体３次元再構成装置と異なる構成を有しており、その他の構成については、従来の被写体３次元再構成装置の構成と同様である。

カメラ間対応付け部１０１は、外部の装置（不図示）から出力される被写体姿勢群データの入力を受け付ける。ここでいう被写体姿勢群データとは、被写体である人物が複数のカメラによって互いに異なる位置から同時に撮像されたそれぞれの画像から生成されるデータである。被写体姿勢群データには、例えばOpenPose及びPersonLab等に代表される２次元姿勢推定技術によって検出された、それぞれの画像における、被写体である人物の関節や目、鼻、耳等の位置を示すデータが含まれる。
カメラ間対応付け部１０１は、入力された被写体姿勢群データに基づく、それぞれの画像における被写体である人物の関節や目、鼻、耳等の位置を、特徴点として認識する。カメラ間対応付け部１０１は、互いに異なるカメラで同時に撮像された画像における同一人物の同一部位の特徴点どうし（例えば、右肘の位置を示す特徴点どうし、あるいは左膝の位置を示す特徴点どうし等）を対応付ける。以下、これらの特徴点が対応付けられたデータを、「カメラ間対応付け済み被写体姿勢群データ」という。カメラ間対応付け部１０１は、カメラ間対応付け済み被写体姿勢群データを生成し、最適化部１０２へ出力する。

最適化部１０２は、カメラ間対応付け部１０１から出力されたカメラ間対応付け済み被写体姿勢群データの入力を受け付ける。最適化部１０２は、カメラ間対応付け済み被写体姿勢群データに基づく特徴点を用いてBundle Adjustmentを実行し、パラメータ群を最適化する。ここでいうパラメータ群とは、元の画像を撮像した各カメラのカメラパラメータの値、及び各特徴点の３次元座標である。また、カメラパラメータとは、例えば、カメラの位置、撮像方向、回転角、視野角、焦点距離、解像度、及び歪み等である。

最適化部１０２は、最適化されたパラメータ群を外部の装置（不図示）へ出力する。ここでいう最適化されたパラメータ群とは、特徴点の実際の３次元座標と推定された３次元座標との差（再投影誤差）の平均二乗誤差を最小化するという目的に対して最適化されたパラメータ群である。

なお、カメラ間対応付け部１０１は、外部の装置に備えられていてもよい。すなわち、カメラ間対応付け済み被写体姿勢群データが外部の装置（不図示）において生成され、被写体３次元再構成装置１００は、当該カメラ間対応付け済み被写体姿勢群データを外部の装置から取得する構成であってもよい。

［被写体３次元再構成装置の動作］
以下、被写体３次元再構成装置１００の動作の一例について説明する。図２は、本発明の第１の実施形態における被写体３次元再構成装置１００の動作を示すフローチャートである。本フローチャートは、外部の装置から出力された被写体姿勢群データが被写体３次元再構成装置１００に入力された際に開始される。

被写体３次元再構成装置１００のカメラ間対応付け部１０１は、外部の装置から出力される被写体姿勢群データの入力を受け付ける。カメラ間対応付け部１０１は、入力された被写体姿勢群データに基づく、それぞれの画像における被写体である人物の関節や目、鼻、耳等の位置を、特徴点として認識する。カメラ間対応付け部１０１は、互いに異なるカメラで同時に撮像された画像における同一人物の同一部位の特徴点どうしを対応付ける（ステップＳ１０１）。カメラ間対応付け部１０１は、カメラ間対応付け済み被写体姿勢群データを生成し、最適化部１０２へ出力する。

最適化部１０２は、カメラ間対応付け部１０１から出力されたカメラ間対応付け済み被写体姿勢群データの入力を受け付ける。最適化部１０２は、カメラ間対応付け済み被写体姿勢群データに基づく特徴点を用いてBundle Adjustmentを実行し、パラメータ群を最適化する（ステップＳ１０２）。最適化部１０２は、最適化されたパラメータ群を外部の装置へ出力する。以上で、図２のフローチャートが示す被写体３次元再構成装置１００の動作が終了する。

［最適化部の構成］
以下、最適化部１０２の構成について更に詳しく説明する。図３は、本発明の第１の実施形態における被写体３次元再構成装置１００の最適化部１０２の機能構成を示すブロック図である。図３に示されるように、最適化部１０２は、パラメータ初期化部１０２１と、重み係数初期化部１０２２と、パラメータ最適化部１０２３と、被写体姿勢再投影部１０２４と、重み係数算出部１０２５とを含んで構成される。

なお、図３に示される最適化部１０２において、重み係数算出部１０２５が、カメラ別及び特徴点別に導出された特徴点の、以下に説明する、画面内占有率に基づいて重み係数を算出する構成、及び、パラメータ最適化部１０２３が、算出された重み係数を用いてBundle Adjustmentのコスト関数に重み付け計算を付与する構成が従来技術と異なる構成であり、その他の構成については従来の被写体３次元再構成装置の最適化部の構成と同様である。

パラメータ初期化部１０２１は、カメラ間対応付け部１０１から出力されたカメラ間対応付け済み被写体姿勢群データを取得する。パラメータ初期化部１０２１は、取得されたカメラ間対応付け済み被写体姿勢群データに基づいて、カメラごとの各カメラパラメータ、及び、特徴点ごとの３次元座標を初期化する。すなわち、パラメータ初期化部１０２１は、「カメラ台数×カメラパラメータ数＋特徴点数×３次元座標」のパラメータを初期化する。パラメータ初期化部１０２１は、初期化されたパラメータ群をパラメータ最適化部１０２３へ出力する。

重み係数初期化部１０２２は、カメラ間対応付け部１０１から出力されたカメラ間対応付け済み被写体姿勢群データを取得する。重み係数初期化部１０２２は、取得されたカメラ間対応付け済み被写体姿勢群データに基づいて、カメラごと及び特徴点ごとの重み係数を初期化する。すなわち、重み係数初期化部１０２２は、「カメラ台数×特徴点数」の重み係数を初期化する。重み係数初期化部１０２２は、初期化された重み係数群をパラメータ最適化部１０２３へ出力する。

パラメータ最適化部１０２３は、カメラ間対応付け部１０１から出力されたカメラ間対応付け済み被写体姿勢群データ、パラメータ初期化部１０２１から出力されたパラメータ群、及び、重み係数初期化部１０２２又は重み係数算出部１０２５から出力された重み係数群を取得する。パラメータ最適化部１０２３は、取得されたカメラ間対応付け済み被写体姿勢群データ及び重み係数群に基づいてパラメータ群を更新する。パラメータ最適化部１０２３は、更新されたパラメータ群を被写体姿勢再投影部１０２４又は外部の装置（不図示）へ出力する。

被写体姿勢再投影部１０２４は、パラメータ最適化部１０２３から出力された更新されたパラメータ群を取得する。被写体姿勢再投影部１０２４は、各カメラのスクリーン上に各特徴点の３次元座標を投影する。被写体姿勢再投影部１０２４は、互いに接続される特徴点間を例えば所定の太さを有する線によって接続し、カメラ別及び被写体別のシルエットを画像生成する。被写体姿勢再投影部１０２４は、生成されたカメラ及び被写体別シルエット群を重み係数算出部１０２５へ出力する。

重み係数算出部１０２５は、被写体姿勢再投影部１０２４から出力されたカメラ別及び被写体別シルエット群を取得する。重み係数算出部１０２５は、取得されたカメラ別及び被写体別シルエット群に基づくシルエットから、各特徴点の画面内占有率を算出し、重み係数を算出する。重み係数算出部１０２５は、算出されたカメラごと及び特徴点ごとの（すなわち、カメラ台数×特徴点数の個数の重み係数からなる）重み係数群をパラメータ最適化部１０２３へ出力する。

パラメータ最適化部１０２３は、重み係数算出部１０２５から出力された重み係数群を取得した場合、当該重み係数群と、カメラ間対応付け部１０１から出力されたカメラ間対応付け済み被写体姿勢群データとに基づいてパラメータ群を更新する。最適化部１０２は、上記のパラメータ群を更新させる反復計算を、所定の回数行う。あるいは、最適化部１０２は、上記のパラメータ群を更新させる反復計算を、当該パラメータ群の値が収束するまで行う。パラメータ最適化部１０２３は、反復計算が完了すると、更新されたパラメータ群を最適化されたパラメータ群とし、当該パラメータ群を外部の装置（不図示）へ出力する。

更に具体的には、例えば、Bundle Adjustmentにおける反復計算時に、被写体姿勢再投影部１０２４は、反復計算の各ステップにおける最適化過程の各カメラパラメータと各特徴点の３次元座標を用いて、各カメラのスクリーン上に再投影を行う。重み係数算出部１０２５は、カメラ解像度に対する当該特徴点の画面内占有率（例えば、カメラの画素数に対する特徴点のシルエットの画素数の比率）を算出する。重み係数算出部１０２５は、画面内占有率に基づく重み係数を導出する。パラメータ最適化部１０２３は、当該重み係数をコスト関数に組み込んで反復計算を行う。これにより、第１の実施形態における被写体３次元再構成装置１００は、画面内に小さく映る被写体に重畳しやすいランダムノイズを抑制することができる。

被写体姿勢再投影部１０２４は、各カメラのスクリーン上に再投影を行う際、特徴点を点として投影するだけでなく、例えば図４に示されるような特徴点どうしの接続関係（人物の骨格等）を考慮して、互いに接続される特徴点間の線分を、幅を持つ線分や円等で描画する。被写体姿勢再投影部１０２４は、幅を持つ線分や円等によって、被写体の特徴点の周辺の形状にフィットするようなシルエットを描画する。

重み係数算出部１０２５は、例えば図５に示されるように、対象とする特徴点と、当該特徴点と接続する他の特徴点とを繋ぐ線分を一定の内分比率で打ち切った図形を部分シルエットとして生成する。例えば図５には、対象とする特徴点と、当該特徴点と接続する他の特徴点とを繋ぐ線分の中央の位置で線分が打ち切られた場合の部分シルエットが示されている。重み係数算出部１０２５は、カメラの画素数に対する部分シルエットの画素数（あるいは、スクリーン全体に対する部分シルエットの面積比）を算出することにより、特徴点の（シルエットの）画面内占有率を導出する。

画面内占有率は、画面内に小さく映る被写体の特徴点ほどより小さな値となり、画面内に大きく映る被写体の特徴点ほどより大きな値となる。重み係数算出部１０２５は、例えば、画面内占有率の値を重み係数として用いる。例えば、画面内占有率ｖ_ｉ，ｊは、以下の（２）式のように表すことができる。

ここで、ｓ_ｉ，ｊは部分シルエットの画素数（又は面積）を表し、Ｓはカメラの画素数（又はスクリーンの面積）を表す。重み係数ｗ_ｉ，ｊは、以下の（３）式の関数のように表すことができる。

関数ｗ（ｖ）は、以下の（４）式のように表すことができる。

なお、重み係数算出部１０２５は、画面占有率が所定の値より大きい場合には、重み係数を制限するようにしてもよい。この場合、関数ｗ（ｖ）は、例えば以下の（５）式のように表すことができる。

上記の重み係数が組み込まれた、第１の実施形態におけるBundle Adjustmentのコスト関数は、以下の（６）式のように表される。

ここで、Ｗ_ｉ，ｊは重み係数である。なお、（１）式と同様に、（２）式において、関数Ｆ（ｐ_ｉ｜ｆ_ｊ，ｒ_ｊ，ｄ_ｊ，Ｒ_ｊ，ｔ_ｊ）は、特徴点の３次元座標ｐ_ｉをカメラｊのスクリーンに投影する関数である。ここで、ｆ_ｊ，ｒ_ｊ，ｄ_ｊ，Ｒ_ｊ，ｔ_ｊは、カメラｊのカメラパラメータである。具体的には、ｆ_ｊはカメラ焦点距離，ｒ_ｊはカメラ解像度，ｄ_ｊはカメラ歪み，Ｒ_ｊはカメラ回転角，ｔ_ｊはカメラ位置である。

［最適化部の動作］
以下、最適化部１０２の動作の一例について更に詳しく説明する。図６は、本発明の第１の実施形態における被写体３次元再構成装置１００の最適化部１０２の動作を示すフローチャートである。本フローチャートが示す動作は、カメラ間対応付け部１０１から出力されたカメラ間対応付け済み被写体姿勢群データが最適化部１０２に入力された際に開始される。

パラメータ初期化部１０２１は、カメラ間対応付け部１０１から出力されたカメラ間対応付け済み被写体姿勢群データを取得する。パラメータ初期化部１０２１は、取得されたカメラ間対応付け済み被写体姿勢群データに基づいて、「カメラ台数×カメラパラメータ数＋特徴点数×３次元座標」のパラメータを初期化する（ステップＳ２０１）。パラメータ初期化部１０２１は、初期化されたパラメータ群をパラメータ最適化部１０２３へ出力する。

重み係数初期化部１０２２は、カメラ間対応付け部１０１から出力されたカメラ間対応付け済み被写体姿勢群データを取得する。重み係数初期化部１０２２は、取得されたカメラ間対応付け済み被写体姿勢群データに基づいて、「カメラ台数×特徴点数重み係数」を、例えば１．０の値にすることで初期化する（ステップＳ２０２）。なお、この初期化は重み係数群を正規化することを目的としており、初期化される値は、１．０に限られるものではない。重み係数初期化部１０２２は、初期化された重み係数群をパラメータ最適化部１０２３へ出力する。

パラメータ最適化部１０２３は、カメラ間対応付け部１０１から出力されたカメラ間対応付け済み被写体姿勢群データ、パラメータ初期化部１０２１から出力されたパラメータ群、及び、重み係数初期化部１０２２又は重み係数算出部１０２５から出力された重み係数群を取得する。パラメータ最適化部１０２３は、取得されたカメラ間対応付け済み被写体姿勢群データ及び重み係数群に基づいてパラメータ群を更新する。

ここで、パラメータ最適化部１０２３は、所定のコスト関数（例えば、前述の（６）式で表されるコスト関数）を用いてコストを計算し、コストを最小化させるようにパラメータ群を更新する。このとき、例えば、パラメータ最適化部１０２３は、パラメータ群の更新回数をカウントする。又は、例えば、パラメータ最適化部１０２３は、パラメータ群の更新前後の絶対誤差の最大値を計算する（ステップＳ２０３）。

パラメータ群の更新回数が所定の回数に満たない場合、又は、パラメータ群の更新前後の絶対誤差の最大値が所定の値より大きい場合（ステップＳ２０４・ＮＯ）、パラメータ最適化部１０２３は、更新されたパラメータ群を被写体姿勢再投影部１０２４へ出力する。被写体姿勢再投影部１０２４は、パラメータ最適化部１０２３から出力された最適化されたパラメータ群を取得する。被写体姿勢再投影部１０２４は、各カメラの（仮想的な）スクリーン上に各特徴点の３次元座標を投影する。被写体姿勢再投影部１０２４は、互いに接続された特徴点間を例えば所定の太さを有する線によって接続し、カメラ別及び被写体別のシルエットを生成する（ステップＳ２０５）。被写体姿勢再投影部１０２４は、生成されたカメラ及び被写体別シルエット群を重み係数算出部１０２５へ出力する。

重み係数算出部１０２５は、被写体姿勢再投影部１０２４から出力されたカメラ別及び被写体別シルエット群を取得する。重み係数算出部１０２５は、取得されたカメラ別及び被写体別シルエット群に基づくシルエットから、各特徴点の画面内占有率を算出し、当該画面内占有率に基づいて、カメラ別及び特徴点別に重み係数を算出する（ステップＳ２０６）。重み係数算出部１０２５は、算出された、カメラ台数×特徴点数の重み係数からなる重み係数群をパラメータ最適化部１０２３へ出力する。そして、ステップＳ２０３の処理に戻り、パラメータ群の更新を繰り返す。

一方、パラメータ群の更新回数が所定の回数に達した場合、又は、パラメータ群の更新前後の絶対誤差の最大値が所定の値以下であった場合（ステップＳ２０４・ＹＥＳ）、パラメータ最適化部１０２３は、最適化されたパラメータ群を外部の装置（不図示）へ出力する。以上で図６のフローチャートが示す最適化部１０２の動作が終了する。

なお、重み係数算出部１０２５は、ステップＳ２０６の処理において重み係数群を算出する場合、前述のパラメータ群の更新前後の絶対誤差を参照し、当該絶対誤差の値に応じて重み係数を調整するようにしてもよい。例えば、パラメータ群の更新前後の絶対誤差が比較的大きい場合には、各パラメータの最適化が十分でないことが考えられる。このような、不確定要素が高い段階で重み係数を考慮すると、意図しない座標に収束する可能性がある。よって、重み係数算出部１０２５は、パラメータ群の更新前後の絶対誤差がある程度小さくなってから（例えば、所定の値以上になってから）重み係数群を算出することが望ましい。

なお、Bundle Adjustmentは、カメラパラメータ群と特徴点の３次元座標群との双方を同時に最適化することができるが、特徴点の３次元座標群のみを最適化するような構成であってもよい。すなわち、各カメラのカメラパラメータ群の値が既知であり、特徴点の３次元座標群のみを最適化するような構成であってもよい。この場合、被写体３次元再構成装置１００は、外部の装置（不図示）からカメラ別のパラメータ群を取得する。そして、パラメータ初期化部１０２１及びパラメータ最適化部１０２３は、取得された既知のカメラパラメータ群を用いて処理を行う。

なお、非特許文献４には、複数の視点方向から重ね合わせたPart Confidence MAP（ＰＣＭ）の最大値を人物の関節の座標とする手法が提案されている。この手法においても、非特許文献４に記載の以下の（７）式及び（８）式を、それぞれ以下の（９）式及び（１０）式のように変更することによって、画面内占有率を考慮した最適化を行う構成とすることができる。なお、前述の各式とは異なり、以下の（９）式においては重み係数を表す変数としてｘの文字を用いている。

以上説明したように、本発明の第１の実施形態における被写体３次元再構成装置１００は、Bundle Adjustmentにおける最適化過程の反復計算時において、反復計算の各ステップにおける各カメラパラメータと各特徴点の３次元座標とを用いて、各カメラのスクリーン上に再投影を行う。被写体３次元再構成装置１００は、各カメラのスクリーン上に再投影を行う際には、被写体別に特徴点を点として投影するだけでなく、例えば図４に示されるように特徴点の接続関係を考慮して、幅を持つ線分や円によって被写体の形状にフィットするシルエットを描画する。被写体３次元再構成装置１００は、例えば図５に示されるように対象とする特徴点から当該特徴点に接続する他の特徴点までの線分の中央までを対象とした部分シルエットを生成する。被写体３次元再構成装置１００は、カメラ画素数に対する部分シルエットの画素数の比率（あるいは、スクリーン全体に対する部分シルエットの面積比）によって画面内占有率を算出する。被写体３次元再構成装置１００は、算出された画面内占有率に基づいて重み係数を導出し、所定のコスト関数に組み込んで反復計算を行う。

このような構成を備えることで、本発明の第１の実施形態における被写体３次元再構成装置１００は、画面内において相対的に小さく写っている被写体に重畳しやすいランダムノイズを抑制することができる。よって、被写体３次元再構成装置１００は、複数台のカメラで撮像された画像からそれぞれ検出された特徴点の２次元座標に基づいてパラメータ群を推定する技術において、より推定精度を向上させることができる。

＜第２の実施形態＞
以下、本発明の第２の実施形態における被写体３次元再構成装置１００ａについて説明する。なお、以下に説明する被写体３次元再構成装置１００ａは、本発明のパラメータ推定装置の実施形態の一例であり、本発明は必ずしも以下の被写体３次元再構成装置１００ａの構成に限定されるものではない。

［被写体３次元再構成装置の構成］
以下、被写体３次元再構成装置１００ａの全体構成について説明する。図７は、本発明の第２の実施形態における被写体３次元再構成装置１００ａの全体構成を示すブロック図である。図７に示されるように、被写体３次元再構成装置１００ａは、カメラ間対応付け部１０１と、最適化部１０２ａと、を含んで構成される。なお、図７に示される被写体３次元再構成装置１００ａにおいて、最適化部１０２ａの構成が、従来の一般的な被写体３次元再構成装置と異なる構成を有しており、その他の構成については、従来の被写体３次元再構成装置の構成と同様である。

カメラ間対応付け部１０１は、外部の装置（不図示）から出力される被写体姿勢群データの入力を受け付ける。ここでいう被写体姿勢群データとは、被写体である人物が複数のカメラによって互いに異なる位置から同時に撮像されたそれぞれの画像から生成されるデータである。被写体姿勢群データには、例えばOpenPose及びPersonLab等に代表される２次元姿勢推定技術によって検出された、それぞれの画像における被写体である人物の関節や目、鼻、耳等の位置を示すデータが含まれる。

カメラ間対応付け部１０１は、入力された被写体姿勢群データに基づく、それぞれの画像における被写体である人物の関節や目、鼻、耳等の位置を、特徴点として認識する。カメラ間対応付け部１０１は、互いに異なるカメラで同時に撮像された画像における同一人物の同一部位の特徴点どうし（例えば、右肘の位置を示す特徴点どうし、あるいは左膝の位置を示す特徴点どうし等）を対応付ける。カメラ間対応付け部１０１は、これらの特徴点が対応付けられたカメラ間対応付け済み被写体姿勢群データを生成し、最適化部１０２ａへ出力する。

最適化部１０２ａは、カメラ間対応付け部１０１から出力されたカメラ間対応付け済み被写体姿勢群データの入力を受け付ける。最適化部１０２ａは、カメラ間対応付け済み被写体姿勢群データに基づく特徴点を用いてBundle Adjustmentを実行し、パラメータ群を最適化する。ここでいうパラメータ群とは、元の画像を撮像した各カメラのカメラパラメータの値、及び各特徴点の３次元座標である。また、カメラパラメータとは、例えば、カメラの位置、撮像方向、回転角、視野角、焦点距離、解像度、及び歪み等である。最適化部１０２ａは、最適化されたパラメータ群を外部の装置（不図示）へ出力する。ここでいう最適化されたパラメータ群とは、特徴点の実際の３次元座標と推定された３次元座標との差（再投影誤差）の平均二乗誤差を最小化するという目的に対して最適化されたパラメータ群である。

なお、カメラ間対応付け部１０１は、外部の装置に備えられていてもよい。すなわち、カメラ間対応付け済み被写体姿勢群データが外部の装置（不図示）において生成され、被写体３次元再構成装置１００ａは、当該カメラ間対応付け済み被写体姿勢群データを外部の装置から取得する構成であってもよい。

［被写体３次元再構成装置の動作］
以下、被写体３次元再構成装置１００ａの動作の一例について説明する。図８は、本発明の第２の実施形態における被写体３次元再構成装置１００ａの動作を示すフローチャートである。本フローチャートは、外部の装置から出力された被写体姿勢群データが被写体３次元再構成装置１００ａに入力された際に開始される。

被写体３次元再構成装置１００ａのカメラ間対応付け部１０１は、外部の装置から出力される被写体姿勢群データの入力を受け付ける。カメラ間対応付け部１０１は、入力された被写体姿勢群データに基づく、それぞれの画像における被写体である人物の関節や目、鼻、耳等の位置を、特徴点として認識する。カメラ間対応付け部１０１は、互いに異なるカメラで同時に撮像された画像における同一人物の同一部位の特徴点どうしを対応付ける（ステップＳ３０１）。カメラ間対応付け部１０１は、カメラ間対応付け済み被写体姿勢群データを生成し、最適化部１０２ａへ出力する。

最適化部１０２ａは、カメラ間対応付け部１０１から出力されたカメラ間対応付け済み被写体姿勢群データの入力を受け付ける。最適化部１０２ａは、カメラ間対応付け済み被写体姿勢群データに基づく特徴点を用いてBundle Adjustmentを実行し、パラメータ群を最適化する（ステップＳ３０２）。最適化部１０２ａは、最適化されたパラメータ群を外部の装置へ出力する。以上で、図８のフローチャートが示す被写体３次元再構成装置１００ａの動作が終了する。

［最適化部の構成］
以下、最適化部１０２ａの構成について更に詳しく説明する。図９は、本発明の第２の実施形態における被写体３次元再構成装置１００ａの最適化部１０２ａの機能構成を示すブロック図である。図９に示されるように、最適化部１０２ａは、パラメータ初期化部１０２１と、重み係数初期化部１０２２と、パラメータ最適化部１０２３ａと、重み係数算出部１０２５ａと、不可視領域包含部分シルエット導出部１０２６と、可視領域部分シルエット導出部１０２７とを含んで構成される。

なお、図９に示される最適化部１０２ａにおいて、重み係数算出部１０２５ａが、カメラ別及び特徴点別に導出された特徴点の、以下に説明する、視認率に基づいて重み係数を算出する構成、及び、パラメータ最適化部１０２３ａが、算出された重み係数を用いてBundle Adjustmentのコスト関数に重み付け計算を付与する構成が従来技術と異なる構成であり、その他の構成については従来の被写体３次元再構成装置の最適化部の構成と同様である。

パラメータ初期化部１０２１は、カメラ間対応付け部１０１から出力されたカメラ間対応付け済み被写体姿勢群データを取得する。パラメータ初期化部１０２１は、取得されたカメラ間対応付け済み被写体姿勢群データに基づいて、カメラ台数ごとの各カメラパラメータ、及び、特徴点ごとの３次元座標を初期化する。すなわち、パラメータ初期化部１０２１は、「カメラ台数×カメラパラメータ数＋特徴点数×３次元座標」のパラメータを初期化する。パラメータ初期化部１０２１は、初期化されたパラメータ群をパラメータ最適化部１０２３ａへ出力する。

重み係数初期化部１０２２は、カメラ間対応付け部１０１から出力されたカメラ間対応付け済み被写体姿勢群データを取得する。重み係数初期化部１０２２は、取得されたカメラ間対応付け済み被写体姿勢群データに基づいて、カメラごと及び特徴点ごとの重み係数を初期化する。すなわち、重み係数初期化部１０２２は、「カメラ台数×特徴点数」の重み係数を初期化する。重み係数初期化部１０２２は、初期化された重み係数群をパラメータ最適化部１０２３へ出力する。

パラメータ最適化部１０２３ａは、カメラ間対応付け部１０１から出力されたカメラ間対応付け済み被写体姿勢群データ、パラメータ初期化部１０２１から出力されたパラメータ群、及び、重み係数初期化部１０２２又は重み係数算出部１０２５ａから出力された重み係数群を取得する。パラメータ最適化部１０２３ａは、取得されたカメラ間対応付け済み被写体姿勢群データ及び重み係数群に基づいてパラメータ群を更新する。パラメータ最適化部１０２３ａは、更新されたパラメータ群を不可視領域包含部分シルエット導出部１０２６及び可視領域部分シルエット導出部１０２７、又は、外部の装置（不図示）へ出力する。

不可視領域包含部分シルエット導出部１０２６は、パラメータ最適化部１０２３ａから出力された更新されたパラメータ群を取得する。不可視領域包含部分シルエット導出部１０２６は、各カメラのスクリーン上に各特徴点の３次元座標を投影する。不可視領域包含部分シルエット導出部１０２６は、互いに接続される特徴点間を例えば所定の太さを有する線によって接続し、カメラ別、被写体別、及び特徴点別のシルエットを画像生成する。

そして、不可視領域包含部分シルエット導出部１０２６は、対象とする特徴点と、当該特徴点と接続する他の特徴点とを繋ぐ線分を一定の内分比率で（例えば当該線分の中央の位置で）打ち切った図形を部分シルエットとして生成する。不可視領域包含部分シルエット導出部１０２６によって生成される部分シルエットには、例えば手前側に写る人物などによる遮蔽によって視認不可能な被写体の部分も含まれる。不可視領域包含部分シルエット導出部１０２６は、生成された部分シルエットを、「カメラ別、被写体別及び特徴点別の不可視領域包含部分シルエット群」として重み係数算出部１０２５ａへ出力する。

可視領域部分シルエット導出部１０２７は、パラメータ最適化部１０２３ａから出力された最適化されたパラメータ群を取得する。可視領域部分シルエット導出部１０２７は、各カメラのスクリーン上に各特徴点の３次元座標を再投影する。このとき、可視領域部分シルエット導出部１０２７は、各カメラのスクリーン上に、奥行きを考慮して遠方の特徴点から順に再投影を行う。そして、可視領域部分シルエット導出部１０２７は、互いに接続される特徴点間を例えば所定の太さを有する線によって接続し、カメラ別、被写体別及び特徴点別のシルエットを画像生成する。

そして、可視領域部分シルエット導出部１０２７は、対象とする特徴点と、当該特徴点と接続する他の特徴点とを繋ぐ線分を一定の内分比率で（例えば当該線分の中央の位置で）打ち切った図形を部分シルエットとして生成する。可視領域部分シルエット導出部１０２７によって生成される部分シルエットには、例えば手前側に写る人物などによる遮蔽によって視認不可能な被写体の部分は含まれない。可視領域部分シルエット導出部１０２７は、可視領域のみの部分シルエットを「カメラ別、被写体別及び特徴点別の可視領域部分シルエット群」として重み係数算出部１０２５ａへ出力する。

重み係数算出部１０２５ａは、不可視領域包含部分シルエット導出部１０２６から出力されたカメラ別、被写体別及び特徴点別の不可視領域包含部分シルエット群を取得する。また、重み係数算出部１０２５ａは、可視領域部分シルエット導出部１０２７から出力されたカメラ別、被写体別及び特徴点別の可視領域部分シルエット群を取得する。重み係数算出部１０２５ａは、取得されたカメラ別、被写体別及び特徴点別の不可視領域包含部分シルエット群に基づく部分シルエット、及び、カメラ別、被写体別及び特徴点別の可視領域部分シルエット群に基づく部分シルエットから、各特徴点の視認率を算出し、重み係数を算出する。重み係数算出部１０２５ａは、算出されたカメラごと及び特徴点ごとの（すなわち、カメラ台数×特徴点数の個数の重み係数からなる）重み係数群をパラメータ最適化部１０２３ａへ出力する。

パラメータ最適化部１０２３ａは、重み係数算出部１０２５ａから出力された重み係数群を取得した場合、当該重み係数群と、カメラ間対応付け部１０１から出力されたカメラ間対応付け済み被写体姿勢群データとに基づいてパラメータ群を更新する。最適化部１０２ａは、上記のパラメータ群を更新させる反復計算を、所定の回数行う。あるいは、最適化部１０２ａは、上記のパラメータ群を更新させる反復計算を、当該パラメータ群の値が収束するまで行う。パラメータ最適化部１０２３ａは、反復計算が完了すると、更新されたパラメータ群を最適化されたパラメータ群とし、当該パラメータ群を外部の装置（不図示）へ出力する。

更に具体的には、例えば、Bundle Adjustmentにおける反復計算時に、不可視領域包含部分シルエット導出部１０２６及び可視領域部分シルエット導出部１０２７は、反復計算の各ステップにおける最適化過程の各カメラパラメータと各特徴点の３次元座標を用いて、各カメラのスクリーン上に再投影を行う。重み係数算出部１０２５ａは、特徴点の視認率（すなわち、不可視領域包含部分シルエットに占める可視領域部分シルエットの比率）を算出する。重み係数算出部１０２５ａは、視認率に基づく重み係数を導出する。パラメータ最適化部１０２３ａは、当該重み係数をコスト関数に組み込んで反復計算を行う。これにより、第２の実施形態における被写体３次元再構成装置１００ａは、自己遮蔽や他者による遮蔽に基づくノイズを抑制することができる。

不可視領域包含部分シルエット導出部１０２６及び可視領域部分シルエット導出部１０２７は、各カメラのスクリーン上に再投影を行う際、特徴点を点として投影するだけでなく、例えば図４に示されるような特徴点どうしの接続関係（人物の骨格等）を考慮して、互いに接続される特徴点間の線分を、幅を持つ線分や円等で描画する。不可視領域包含部分シルエット導出部１０２６及び可視領域部分シルエット導出部１０２７は、幅を持つ線分や円等によって、被写体の形状にフィットするシルエットを描画する。

重み係数算出部１０２５ａは、例えば図１０及び図１１に示されるように、対象とする特徴点と、当該特徴点と接続する他の特徴点とを繋ぐ線分を一定の内分比率で打ち切った図形を部分シルエットとして生成する。例えば図１０及び図１１には、対象とする特徴点と、当該特徴点と接続する他の特徴点とを繋ぐ線分の中央の位置で線分が打ち切られた場合の部分シルエットが示されている。

図１０は、自己遮蔽が生じる場合について示した図である。図１０には、２人の人物が写った画像が例示されている。図１０において、画像の左寄りに写った人物の右股関節の位置にあたる特徴点ｊの部分シルエットの一部は、当該人物の左大腿部の位置にあたる特徴点ｊの部分シルエットによって遮蔽されている状態である。

図１１は、他者による遮蔽が生じる場合について示した図である。図１０には、２人の人物が写った画像が例示されている。画像の左寄りに写った人物は、画像の右寄りに写った人物より（撮像したカメラの位置から見て）手前側に位置している。そのため、図１０に示されるように、右側の人物の右肘の位置にあたる特徴点ｊの部分シルエットの一部は、左側の人物の拳の位置にあたる特徴点ｊの部分シルエットによって遮蔽されている状態である。

重み係数算出部１０２５ａは、各特徴点について、不可視領域を含む部分シルエットの画素数に占める可視領域の部分シルエットの画素数の比率（又は不可視領域を含む部分シルエットに占める可視領域の部分シルエットの面積比）を算出することにより、各特徴点の視認率を導出する。

視認率は、自己遮蔽又は他者による遮蔽の領域の割合が大きいほどより小さな値となり、自己遮蔽又は他者による遮蔽の領域の割合が小さいほどより大きな値となる。重み係数算出部１０２５ａは、例えば、視認率の値を重み係数として用いる。例えば、視認率ｖ_ｉ，ｊは、以下の（１１）式のように表すことができる。

ここで、ｓ_ｉ，ｊは視認可能な部分シルエットの画素数（又は面積）を表し、Ｓは視認不可能な部分を含む部分シルエット全体の画素数（又は面積）を表す。重み係数ｗ_ｉ，ｊは、以下の（１２）式の関数のように表すことができる。

関数ｗ（ｖ）は、以下の（１３）式のように表すことができる。

なお、重み係数算出部１０２５は、視認率が所定の値より大きい場合には、重み係数を制限するようにしてもよい。この場合、関数ｗ（ｖ）は、例えば以下の（１４）式のように表すことができる。

上記の重み係数が組み込まれた、第２の実施形態におけるBundle Adjustmentのコスト関数は、例えば、以下の（１５）式のように表される。

ここで、Ｗ_ｉ，ｊは重み係数である。なお、（１）式と同様に、（１５）式において、関数Ｆ（ｐ_ｉ｜ｆ_ｊ，ｒ_ｊ，ｄ_ｊ，Ｒ_ｊ，ｔ_ｊ）は、特徴点の３次元座標ｐ_ｉをカメラｊのスクリーンに投影する関数である。ここで、ｆ_ｊ，ｒ_ｊ，ｄ_ｊ，Ｒ_ｊ，ｔ_ｊは、カメラｊのカメラパラメータである。具体的には、ｆ_ｊはカメラ焦点距離，ｒ_ｊはカメラ解像度，ｄ_ｊはカメラ歪み，Ｒ_ｊはカメラ回転角，ｔ_ｊはカメラ位置である。

［最適化部の動作］
以下、最適化部１０２の動作の一例について更に詳しく説明する。図１２は、本発明の第２の実施形態における被写体３次元再構成装置１００ａの最適化部１０２ａの動作を示すフローチャートである。本フローチャートが示す動作は、カメラ間対応付け部１０１から出力されたカメラ間対応付け済み被写体姿勢群データが最適化部１０２ａに入力された際に開始される。

パラメータ初期化部１０２１は、カメラ間対応付け部１０１から出力されたカメラ間対応付け済み被写体姿勢群データを取得する。パラメータ初期化部１０２１は、取得されたカメラ間対応付け済み被写体姿勢群データに基づいて、「カメラ台数×カメラパラメータ数＋特徴点数×３次元座標」のパラメータを初期化する（ステップＳ４０１）。パラメータ初期化部１０２１は、初期化されたパラメータ群をパラメータ最適化部１０２３ａへ出力する。

重み係数初期化部１０２２は、カメラ間対応付け部１０１から出力されたカメラ間対応付け済み被写体姿勢群データを取得する。重み係数初期化部１０２２は、取得されたカメラ間対応付け済み被写体姿勢群データに基づいて、「カメラ台数×特徴点数重み係数」を、例えば１．０の値にすることで初期化する（ステップＳ４０２）。なお、この初期化は重み係数群を正規化することを目的としており、初期化される値は、１．０に限られるものではない。重み係数初期化部１０２２は、初期化された重み係数群をパラメータ最適化部１０２３ａへ出力する。

パラメータ最適化部１０２３ａは、カメラ間対応付け部１０１から出力されたカメラ間対応付け済み被写体姿勢群データ、パラメータ初期化部１０２１から出力されたパラメータ群、及び、重み係数初期化部１０２２又は重み係数算出部１０２５ａから出力された重み係数群を取得する。パラメータ最適化部１０２３ａは、取得されたカメラ間対応付け済み被写体姿勢群データ及び重み係数群に基づいてパラメータ群を更新する。

ここで、パラメータ最適化部１０２３ａは、所定のコスト関数（例えば、前述の（１５）式で表されるコスト関数）を用いてコストを計算し、コストを最小化させるようにパラメータ群を更新する。このとき、例えば、パラメータ最適化部１０２３ａは、パラメータ群の更新回数をカウントする。又は、例えば、パラメータ最適化部１０２３ａは、パラメータ群の更新前後の絶対誤差の最大値を計算する（ステップＳ４０３）。

パラメータ群の更新回数が所定の回数に満たない場合、又は、パラメータ群の更新前後の絶対誤差の最大値が所定の値より大きい場合（ステップＳ４０４・ＮＯ）、パラメータ最適化部１０２３ａは、更新されたパラメータ群を、不可視領域包含部分シルエット導出部１０２６及び可視領域部分シルエット導出部１０２７へ出力する。

不可視領域包含部分シルエット導出部１０２６は、パラメータ最適化部１０２３ａから出力された更新されたパラメータ群を取得する。不可視領域包含部分シルエット導出部１０２６は、各カメラに対して、各特徴点を再投影する。不可視領域包含部分シルエット導出部１０２６は、更新されたパラメータ群に基づいて、各カメラのスクリーン上に各特徴点の３次元座標を投影する。不可視領域包含部分シルエット導出部１０２６は、互いに接続される特徴点間を例えば所定の太さを有する線によって接続し、カメラ別、被写体別、及び特徴点別のシルエットを画像生成する。そして、不可視領域包含部分シルエット導出部１０２６は、対象とする特徴点と、当該特徴点と接続する他の特徴点とを繋ぐ線分を一定の内分比率で（例えば当該線分の中央の位置で）打ち切った図形を部分シルエットとして生成する。

可視領域部分シルエット導出部１０２７は、パラメータ最適化部１０２３ａから出力された更新されたパラメータ群を取得する。可視領域部分シルエット導出部１０２７は、各カメラに対して、各特徴点を、奥行きを考慮して遠方の特徴点から順に再投影する。可視領域部分シルエット導出部１０２７は、更新されたパラメータ群に基づいて、各カメラのスクリーン上に各特徴点の３次元座標を投影する。そして、可視領域部分シルエット導出部１０２７は、互いに接続される特徴点間を例えば所定の太さを有する線によって接続し、カメラ別、被写体別及び特徴点別のシルエットを画像生成する。そして、可視領域部分シルエット導出部１０２７は、対象とする特徴点と、当該特徴点と接続する他の特徴点とを繋ぐ線分を一定の内分比率で（例えば当該線分の中央の位置で）打ち切った図形を部分シルエットとして生成する（ステップＳ４０５）。

不可視領域包含部分シルエット導出部１０２６は、生成された不可視領域を含む部分シルエットを、「カメラ別、被写体別及び特徴点別の不可視領域包含部分シルエット群」として重み係数算出部１０２５ａへ出力する。また、可視領域部分シルエット導出部１０２７は、生成された可視領域のみの部分シルエットを「カメラ別、被写体別及び特徴点別の可視領域部分シルエット群」として重み係数算出部１０２５ａへ出力する。

重み係数算出部１０２５ａは、不可視領域包含部分シルエット導出部１０２６から出力されたカメラ別、被写体別及び特徴点別の不可視領域包含部分シルエット群を取得する。また、重み係数算出部１０２５ａは、可視領域部分シルエット導出部１０２７から出力されたカメラ別、被写体別及び特徴点別の可視領域部分シルエット群を取得する。重み係数算出部１０２５ａは、取得されたカメラ別、被写体別及び特徴点別の不可視領域包含部分シルエット群に基づく部分シルエット及びカメラ別、被写体別及び特徴点別の可視領域部分シルエット群に基づく部分シルエットから、各特徴点の視認率を算出し、当該視認率に基づいてカメラ別及び特徴点別に重み係数を算出する（ステップS４０６）。重み係数算出部１０２５ａは、算出された、カメラ台数×特徴点数の個数の重み係数からなる重み係数群をパラメータ最適化部１０２３ａへ出力する。そして、ステップＳ４０３の処理に戻り、パラメータ群の更新を繰り返す。

一方、パラメータ群の更新回数が所定の回数に達した場合、又は、パラメータ群の更新前後の絶対誤差の最大値が所定の値以下であった場合（ステップＳ４０４・ＹＥＳ）、パラメータ最適化部１０２３ａは、最適化されたパラメータ群を外部の装置（不図示）へ出力する。以上で図１２のフローチャートが示す最適化部１０２ａの動作が終了する。

なお、重み係数算出部１０２５ａは、ステップＳ４０６の処理において重み係数群を算出する場合、前述のパラメータ群の更新前後の絶対誤差を参照し、当該絶対誤差の値に応じて重み係数を調整するようにしてもよい。例えば、パラメータ群の更新前後の絶対誤差が比較的大きい場合には、各パラメータの最適化が十分でないことが考えられる。このような、不確定要素が高い段階で重み係数を考慮すると、意図しない座標に収束する可能性がある。よって、重み係数算出部１０２５ａは、パラメータ群の更新前後の絶対誤差がある程度小さくなってから（例えば、所定の値以上になってから）重み係数群を算出することが望ましい。

なお、Bundle Adjustmentは、カメラパラメータ群と特徴点の３次元座標群との双方を同時に最適化することができるが、特徴点の３次元座標群のみを最適化するような構成であってもよい。すなわち、各カメラのカメラパラメータ群の値が既知であり、特徴点の３次元座標群のみを最適化するような構成であってもよい。この場合、被写体３次元再構成装置１００ａは、外部の装置（不図示）からカメラ別のパラメータ群を取得する。そして、パラメータ初期化部１０２１及びパラメータ最適化部１０２３ａは、取得された既知のカメラパラメータ群を用いて処理を行う。

以上説明したように、本発明の第２の実施形態における被写体３次元再構成装置１００ａは、Bundle Adjustmentにおける最適化過程の反復計算時において、反復計算の各ステップにおける各カメラパラメータと各特徴点の３次元座標とを用いて、各カメラのスクリーン上に、奥行きを考慮してソートした再投影を行う。被写体３次元再構成装置１００ａは、各カメラのスクリーン上に再投影を行う際には、被写体別に特徴点を点として投影するだけでなく、例えば図４に示されるように特徴点の接続関係を考慮して、幅を持つ線分や円によって被写体の形状にフィットするシルエットを描画する。被写体３次元再構成装置１００ａは、例えば図１０及び図１１に示されるように対象とする特徴点から当該特徴点に接続する他の特徴点までの線分の中央までを対象とした部分シルエットを生成する。被写体３次元再構成装置１００ａは、不可視領域を含む部分シルエット全体の画素数に対する可視領域の部分シルエットの画素数の比率（あるいは、不可視領域を含む部分シルエット全体に対する可視領域の部分シルエットの面積比）によって視認率を算出する。被写体３次元再構成装置１００ａは、算出された視認率に基づいて重み係数を導出し、所定のコスト関数に組み込んで反復計算を行う。

このような構成を備えることで、本発明の第２の実施形態における被写体３次元再構成装置１００ａは、自己遮蔽や他者による遮蔽に基づくノイズを抑制することができる。よって、被写体３次元再構成装置１００ａは、複数台のカメラで撮像された画像からそれぞれ検出された特徴点の２次元座標に基づいてパラメータ群を推定する技術において、より推定精度を向上させることができる。

＜第３の実施形態＞
以下、本発明の第３の実施形態における被写体３次元再構成装置について説明する。

前述の第１の実施形態における被写体３次元再構成装置１００は、カメラ別及び特徴点別に導出された特徴点の画面内占有率に基づいて算出された重み係数を用いてBundle Adjustmentのコスト関数に重み付け計算を付与する構成であった。また、前述の第２の実施形態における被写体３次元再構成装置１００ａは、カメラ別及び特徴点別に導出された特徴点の視認率に基づいて算出された重み係数を用いてBundle Adjustmentのコスト関数に重み付け計算を付与する構成であった。被写体３次元再構成装置が、これらの、画面内占有率に基づく重みづけ計算及び視認率に基づく重みづけ計算の双方を行うような構成であってもよい。

例えば、被写体３次元再構成装置が、画面内占有率に基づく重みづけ計算を行った後に、視認率に基づく重みづけ計算をさらに行うような構成であってもよい。または、その逆に、被写体３次元再構成装置が、視認率に基づく重みづけ計算を行った後に、画面内占有率に基づく重みづけ計算をさらに行うような構成であってもよい。

または、例えば、被写体３次元再構成装置が、画面内占有率に基づく重みづけ計算と視認率に基づく重みづけ計算とを平行して行い、両者の重みづけ計算の結果に基づいて反復計算を行うような構成であってもよい。例えば、被写体３次元再構成装置が、両者の重みづけ計算によってそれぞれ得られたパラメータ値の平均値を次の反復計算において用いるような構成であってもよい。

以上説明したように、本発明の第３の実施形態における被写体３次元再構成装置は、Bundle Adjustmentにおける最適化過程の反復計算時において、反復計算の各ステップにおける各カメラパラメータと各特徴点の３次元座標とを用いて、各カメラのスクリーン上に、奥行きを考慮してソートした再投影を行う。被写体３次元再構成装置は、各カメラのスクリーン上に再投影を行う際には、被写体別に特徴点を点として投影するだけでなく、例えば図４に示されるように特徴点の接続関係を考慮して、幅を持つ線分や円によって被写体の形状にフィットするシルエットを描画する。被写体３次元再構成装置は、例えば図５、図１０及び図１１に示されるように対象とする特徴点から当該特徴点に接続する他の特徴点までの線分の中央までを対象とした部分シルエットを生成する。被写体３次元再構成装置は、カメラ画素数に対する部分シルエットの画素数の比率（あるいは、スクリーン全体に対する部分シルエットの面積比）によって画面内占有率を算出する。また、被写体３次元再構成装置は、不可視領域を含む部分シルエット全体の画素数に対する可視領域の部分シルエットの画素数の比率（あるいは、不可視領域を含む部分シルエット全体に対する可視領域の部分シルエットの面積比）によって視認率を算出する。被写体３次元再構成装置は、算出された画面内占有率及び視認率に基づいて重み係数を導出し、所定のコスト関数に組み込んで反復計算を行う。

このような構成を備えることで、本発明の第３の実施形態における被写体３次元再構成装置は、画面内において相対的に小さく写っている被写体に重畳しやすいランダムノイズを抑制することができる。また、このような構成を備えることで、本発明の第３の実施形態における被写体３次元再構成装置は、自己遮蔽や他者による遮蔽に基づくノイズを抑制することができる。よって、被写体３次元再構成装置は、複数台のカメラで撮像された画像からそれぞれ検出された特徴点の２次元座標に基づいてパラメータ群を推定する技術において、より推定精度を向上させることができる。

以下に、第１の実施形態～第３の実施形態における被写体３次元再構成装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。図１３は、本発明の第１の実施形態～第３の実施形態における被写体３次元再構成装置のハードウェア構成の一例を示すブロック図である。図１３に示されるように、被写体３次元再構成装置は、ＣＰＵ（Central Processing Unit）１０と、メモリ１１と、データ記憶部１２と、プログラム記憶装置１３と、最適パラメータ群出力部１５とがバスで接続された構成になっている。

ＣＰＵ１０は、プログラムを実行する。メモリ１１は、ＣＰＵ１０がアクセスするプログラムやデータが格納されるＲＡＭ（Random Access Memory）等の記憶媒体である。データ記憶部１２は、各種入力データを記憶する。なお、データ記憶部１２は、ディスク装置等による記憶部でもよい。プログラム記憶装置１３は、前述の各実施形態における被写体の３次元再構成処理をＣＰＵ１０に実行させるソフトウェアプログラムである、被写体の３次元再構成プログラム１４を格納している。最適パラメータ群出力部１５は、メモリ１１にロードされた被写体の３次元再構成プログラム１４をＣＰＵ１０が実行することによって生成された最適化されたパラメータ群を、例えばネットワークを介して出力する。なお、最適パラメータ群出力部１５は、例えばディスク装置等の、最適化されたパラメータ群を記憶する記憶部であってもよい。

上述した実施形態によれば、パラメータ推定装置は、取得部と、重み係数算出部と、パラメータ推定部と、を備える。例えば、パラメータ推定装置は、実施形態における被写体３次元再構成装置１００であり、取得部は、実施形態におけるパラメータ初期化部１０２１、重み係数初期化部１０２２及びパラメータ最適化部１０２３であり、重み係数算出部は、実施形態における重み係数算出部１０２５であり、パラメータ推定部は、実施形態におけるパラメータ最適化部１０２３である。

上記の取得部は、同一の被写体が互いに異なる位置から複数のカメラで撮像された各々の画像における、被写体の同一の特徴点の２次元座標が互いに対応付けられたデータを示す被写体姿勢群データを取得する。例えば、複数のカメラは、実施形態におけるカメラｊ及びカメラｊ＋１であり、被写体姿勢群データは、実施形態におけるカメラ間対応付け済み被写体姿勢群データである。

上記の重み係数算出部は、取得部によって取得された被写体姿勢群データに基づいて、画像の領域全体に対して特徴点の領域が占める割合を示す画面内占有率を算出し、算出された画面内占有率に基づいて重み係数を算出する。例えば、画像の領域全体に対して特徴点の領域が占める割合は、実施形態におけるカメラの画素数に対する部分シルエットの画素数（あるいは、スクリーン全体に対する部分シルエットの面積比）である。

上記のパラメータ推定部は、重み係数算出部によって算出された重み係数を用いた計算に基づいて、特徴点の３次元座標の座標値を含むパラメータの値を推定する。例えば、重み係数を用いた計算は、実施形態における（６）式によって表されるコスト関数を用いた反復計算であり、特徴点の３次元座標の座標値を含むパラメータの値は、実施形態における各カメラのカメラパラメータの値及び各特徴点の３次元座標からなるパラメータ群である。

また、上記のパラメータ推定装置において、画面内占有率は、画像の画素数に対する、被写体の第１の特徴点と被写体の第２の特徴点との位置関係に基づいて描画されるシルエット図形の画素数の比率から算出されるものであってもよい。例えば、第１の特徴点は、実施形態における対象とする特徴点であり、第２の特徴点は、実施形態における対象とする特徴点と接続する他の特徴点である。

また、上記のパラメータ推定装置において、シルエット図形は、第１の特徴点の位置から第１の特徴点と第２の特徴点とを結ぶ線分の所定の内分比率となる位置までの範囲の線分に、幅を持たせることによって生成された図形であってもよい。

また、上記のパラメータ推定装置において、重み係数算出部は、特徴点の領域のうち特徴点以外の領域によって遮蔽されていない領域の割合を示す視認率をさらに用いて重み係数を算出するようにしてもよい。例えば、特徴点の領域は、実施形態における部分シルエット全体の領域であり、特徴点以外の領域によって遮蔽されていない領域は、実施形態における部分シルエットから不可視領域を除いた領域（すなわち、可視領域）である。

また、上記のパラメータ推定装置において、パラメータは、カメラの外部パラメータ及びカメラの内部パラメータのうち少なくとも一つをさらに含んでいてもよい。

また、上述した実施形態によれば、パラメータ推定装置は、取得部と、重み係数算出部と、パラメータ推定部と、を備える。例えば、パラメータ推定装置は、実施形態における被写体３次元再構成装置１００ａであり、取得部は、実施形態におけるパラメータ初期化部１０２１、重み係数初期化部１０２２及びパラメータ最適化部１０２３ａであり、重み係数算出部は、実施形態における重み係数算出部１０２５ａであり、パラメータ推定部は、実施形態におけるパラメータ最適化部１０２３ａである。

上記の取得部は、同一の被写体が互いに異なる位置から複数のカメラで撮像された各々の画像における、被写体の同一の特徴点の２次元座標が互いに対応付けられたデータを示す被写体姿勢群データを取得する。例えば、複数のカメラは、実施形態におけるカメラｊ及びカメラｊ＋１であり、被写体姿勢群データは、実施形態におけるカメラ間対応付け済み被写体姿勢群データである。

上記の重み係数算出部は、取得部によって取得された被写体姿勢群データに基づいて、特徴点の領域のうち特徴点以外の領域によって遮蔽されていない領域の割合を示す視認率を算出し、算出された視認率に基づいて重み係数を算出する。例えば、特徴点の領域は、実施形態における部分シルエット全体の領域であり、特徴点以外の領域によって遮蔽されていない領域は、実施形態における部分シルエットから不可視領域を除いた領域（すなわち、可視領域）である。

上記のパラメータ推定部は、重み係数算出部によって算出された重み係数を用いた計算に基づいて、特徴点の３次元座標の座標値を含むパラメータの値を推定する。例えば、重み係数を用いた計算は、実施形態における（１５）式によって表されるコスト関数を用いた反復計算であり、特徴点の３次元座標の座標値を含むパラメータの値は、実施形態における各カメラのカメラパラメータの値及び各特徴点の３次元座標からなるパラメータ群である。

また、上記のパラメータ推定装置において、視認率は、被写体の第１の特徴点と被写体の第２の特徴点との位置関係に基づいて描画されるシルエット図形の画素数に対する、シルエット図形内の特徴点以外の領域によって遮蔽されていない領域の画素数の比率から算出されるものであってもよい。例えば、第１の特徴点は、実施形態における対象とする特徴点であり、第２の特徴点は、実施形態における対象とする特徴点と接続する他の特徴点である。

また、上記のパラメータ推定装置において、シルエット図形は、第１の特徴点の位置から第１の特徴点と第２の特徴点とを結ぶ線分の所定の内分比率となる位置までの範囲の線分に、幅を持たせることによって生成された図形であってもよい。

また、上記のパラメータ推定装置において、遮蔽されていない領域は、カメラのスクリーン上に奥行きを考慮して遠方の特徴点から順に再投影されることで、重複する領域が検出されることにより特定されるようにしてもよい。

また、上記のパラメータ推定装置において、重み係数算出部は、画像の領域全体に対して特徴点の領域が占める割合を示す画面内占有率をさらに用いて重み係数を算出するようにしてもよい。例えば、画像の領域全体に対して特徴点の領域が占める割合は、実施形態におけるカメラの画素数に対する部分シルエットの画素数（あるいは、スクリーン全体に対する部分シルエットの面積比）である。

また、上記のパラメータ推定装置において、パラメータは、カメラの外部パラメータ及びカメラの内部パラメータのうち少なくとも一つをさらに含んでいてもよい。

上述した各実施形態における被写体３次元再構成装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施形態を説明してきたが、上記の実施形態は本発明の例示に過ぎず、本発明の具体的な構成が上記の実施形態に限定されるものではないことは明らかである。したがって、本発明の精神及び要旨を逸脱しない技術的範囲での構成要素の追加、省略、置換、その他の設計変更を行ってもよい。

１０…ＣＰＵ、１１…メモリ、１２…データ記憶部、１３…プログラム記憶装置、１４…３次元再構成プログラム、１５…最適パラメータ群出力部、１００（１００ａ）…被写体３次元再構成装置、１０１…カメラ間対応付け部、１０２（１０２ａ）…最適化部、１０２１…パラメータ初期化部、１０２２…重み係数初期化部、１０２３（１０２３ａ）…パラメータ最適化部、１０２４…被写体姿勢再投影部、１０２５（１０２５ａ）…重み係数算出部、１０２６…不可視領域包含部分シルエット導出部、１０２７…可視領域部分シルエット導出部

Claims (8)

1. 同一の被写体が互いに異なる位置から複数のカメラで撮像された各々の画像における、前記被写体の同一の特徴点の２次元座標が互いに対応付けられたデータを示す被写体姿勢群データを取得する取得部と、
   前記取得部によって取得された前記被写体姿勢群データに基づいて、前記特徴点の領域のうち前記特徴点以外の領域によって遮蔽されていない領域の割合を示す視認率を算出し、算出された前記視認率に基づいて重み係数を算出する重み係数算出部と、
   前記重み係数算出部によって算出された前記重み係数を用いた計算に基づいて、前記特徴点の３次元座標の座標値を含むパラメータの値を推定するパラメータ推定部と、
   を備え、
   前記視認率は、前記被写体の第１の特徴点と前記被写体の第２の特徴点との位置関係に基づいて描画されるシルエット図形の画素数に対する、前記シルエット図形内の前記特徴点以外の領域によって遮蔽されていない領域の画素数の比率から算出される
   パラメータ推定装置。
2. 前記シルエット図形は、前記第１の特徴点の位置から前記第１の特徴点と前記第２の特徴点とを結ぶ線分の所定の内分比率となる位置までの範囲の線分に、幅を持たせることによって生成された図形である
   請求項１に記載のパラメータ推定装置。
3. 同一の被写体が互いに異なる位置から複数のカメラで撮像された各々の画像における、前記被写体の同一の特徴点の２次元座標が互いに対応付けられたデータを示す被写体姿勢群データを取得する取得部と、
   前記取得部によって取得された前記被写体姿勢群データに基づいて、前記特徴点の領域のうち前記特徴点以外の領域によって遮蔽されていない領域の割合を示す視認率を算出し、算出された前記視認率に基づいて重み係数を算出する重み係数算出部と、
   前記重み係数算出部によって算出された前記重み係数を用いた計算に基づいて、前記特徴点の３次元座標の座標値を含むパラメータの値を推定するパラメータ推定部と、
   を備え、
   前記遮蔽されていない領域は、前記カメラのスクリーン上に奥行きを考慮して遠方の特徴点から順に再投影されることで、重複する領域が検出されることにより特定される
   パラメータ推定装置。
4. 前記重み係数算出部は、前記画像の領域全体に対して前記特徴点の領域が占める割合を示す画面内占有率をさらに用いて前記重み係数を算出する
   請求項１から３のうちいずれか一項に記載のパラメータ推定装置。
5. 前記パラメータは、前記カメラの外部パラメータ及び前記カメラの内部パラメータのうち少なくとも一つをさらに含む
   請求項１から請求項４のうちいずれか一項に記載のパラメータ推定装置。
6. 同一の被写体が互いに異なる位置から複数のカメラで撮像された各々の画像における、前記被写体の同一の特徴点の２次元座標が互いに対応付けられたデータを示す被写体姿勢群データを取得する取得ステップと、
   前記取得ステップにおいて取得された前記被写体姿勢群データに基づいて、前記特徴点の領域のうち前記特徴点以外の領域によって遮蔽されていない領域の割合を示す視認率を算出し、算出された前記視認率に基づいて重み係数を算出する重み係数算出ステップと、
   前記重み係数算出ステップにおいて算出された前記重み係数を用いた計算に基づいて、前記特徴点の３次元座標の座標値を含むパラメータの値を推定するパラメータ推定ステップと、
   を有し、
   前記視認率は、前記被写体の第１の特徴点と前記被写体の第２の特徴点との位置関係に基づいて描画されるシルエット図形の画素数に対する、前記シルエット図形内の前記特徴点以外の領域によって遮蔽されていない領域の画素数の比率から算出される
   パラメータ推定方法。
7. 同一の被写体が互いに異なる位置から複数のカメラで撮像された各々の画像における、前記被写体の同一の特徴点の２次元座標が互いに対応付けられたデータを示す被写体姿勢群データを取得する取得ステップと、
   前記取得ステップにおいて取得された前記被写体姿勢群データに基づいて、前記特徴点の領域のうち前記特徴点以外の領域によって遮蔽されていない領域の割合を示す視認率を算出し、算出された前記視認率に基づいて重み係数を算出する重み係数算出ステップと、
   前記重み係数算出ステップにおいて算出された前記重み係数を用いた計算に基づいて、前記特徴点の３次元座標の座標値を含むパラメータの値を推定するパラメータ推定ステップと、
   を有し、
   前記遮蔽されていない領域は、前記カメラのスクリーン上に奥行きを考慮して遠方の特徴点から順に再投影されることで、重複する領域が検出されることにより特定される
   パラメータ推定方法。
8. 請求項１から５のうちいずれか一項に記載のパラメータ推定装置としてコンピュータを機能させるためのパラメータ推定プログラム。

Images