JP6942566B2 - 情報処理装置、情報処理方法およびコンピュータプログラム - Google Patents

Description

本発明は、手領域を抽出するための情報処理装置、情報処理方法およびコンピュータプログラムに関する。

近年、現実空間に仮想空間の情報をリアルタイムに重ね合わせを行う複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ： ＭＲ）に関する研究が行われている。ＭＲは、撮像装置によって撮像された撮像画像に撮像装置の位置姿勢に応じた仮想空間の画像（コンピュータグラフィックス： ＣＧ）を重畳した合成画像を表示する。ＭＲを用いて臨場感のあるＭＲを体験するには、撮像画像に表示させたいＣＧを重畳するだけでなく、体験者とＣＧモデルとのインタラクションが重要である。例えば、手とＣＧモデルの位置関係を把握することがある。それを実現するには撮像画像の中から実際の手を抽出することが必要になる。

手領域（手の形状）を抽出するには、グラブカットのような領域分割手法、ｓｎａｋｅｓやＬｅｖｅｌＳｅｔ法のような動的輪郭抽出を用いた手法、モデルフィッティングや特徴抽出などの学習ベースによる抽出手法などがある。何れの手法に対しても肌色の抽出によって初期の手領域を決定することが多く、適切な肌色のデータベース（色テーブル）を登録することが精度上で重要である。そのため、初期登録時に正確に肌色情報を登録できれば、精度よく手領域を抽出することが可能となる。

しかしながら、これらの肌色抽出方法は、初期登録した肌色情報と実際の手の肌色情報が変化した場合は精度が悪くなる。例えば、照明環境の変化や照明光の照射角度によって手に影が生じ、肌色情報が変化する場合がある。つまり、肌色抽出方法は外部環境の影響を受けやすい特徴を有する。

したがって、特定の領域を精度良く抽出するには、前述した撮像画像の色による抽出方法に加えて、別の手段を用いる場合がある。

特許文献１は、撮像環境が変化した場合でも、特徴部の検出精度の低下を防止することを開示している。特許文献１では、撮像画像と位置姿勢推定装置を組み合わせることで検出パラメータを調整するパラメータ調整手段を備えている。

特許文献２は、撮像カメラと距離計測装置を組み合わせることによって、計測対象の物体または装置自身が動く場合において距離計測装置の誤差の低減することを開示ｓいている。特許文献２においては、特定の領域を精度良く抽出するには、撮像装置と距離計測装置を組み合わせることが有効であることを示している。

特開２００４−６２７５７号公報 特開２０１４−１０６５４３号公報

体験者が臨場感のあるＭＲを体験するには、体験者の手を用いて、ＣＧモデルとの位置関係を把握することや接触操作することが求められている。そのためには手領域を抽出する必要があるが、その方法として、手の肌色情報を初期登録して抽出する方法がある。しかしながら、初期登録時と肌色情報が変化した場合、例えば、照明環境の変化、照明角度によって生じる影等によっては手の抽出精度が悪くなる場合がある。手の抽出精度が悪いとＣＧモデルとの位置関係が誤り、リアリティの低下に繋がってしまう。

また、特許文献２で開示されているように、距離計測装置を用いた補正は有効であるが、距離計測装置自身の精度が不十分な場合がある。

そこで、本発明は、上記課題を鑑みてなされたものであり、手領域の抽出精度を向上することが可能な情報処理装置を提供することを目的とする。

物体までの距離を計測し、深度画像を取得する距離計測手段と、撮像装置から撮像した撮像画像を取得する画像取得手段と、前記撮像画像から手領域を抽出する抽出手段と、前記深度画像に前記撮像画像より抽出された手領域を投影する投影手段と、前記投影手段による投影の結果に基づき、前記手領域の抽出のずれを補正する補正手段と、を有することを特徴とする。

本発明によれば、手領域の抽出精度を向上することが可能な情報処理装置を提供することが出来る。

第１の実施形態に係るシステムの機能構成例を示すブロック図である。 第１の実施形態に係る全体のフローチャートである。 第１の実施形態に係る実際の手が影の影響を受けている状態を示す図である。 第１の実施形態に係る深度画像上にポリゴンモデルを投影した状態を示す図である。 第１の実施形態に係る深度画像と撮像画像の同位置に対する深度、色変化を示す図である。 第１の実施形態に係る重み付けを持った評価関数を示す図である。 第１の実施形態の深度画像投影部のフローチャートである。 第１の実施形態に係る深度画像上にすべての手領域を投影できない場合の状態を示す図である。 第２の実施形態に係るシステムの機能構成例を示すブロック図である。 第２の実施形態に係るポリゴンモデルずれ判定部のフローチャートである。

以下、添付図面を参照して本発明に適したな実施形態について詳細に説明する。

（第１の実施形態）
＜構成＞
図１に本実施形態に係る撮像装置、距離計測装置を制御する情報処理装置のブロック図を示す。

本実施形態では図１に示すように、撮像部１００、表示部２００、距離計測部３００が情報処理装置１０００に接続された構成となる。例えば、撮像部１００はビデオシースルー型ＨＭＤやネットワークカメラ、表示部２００はＨＭＤやＰＣモニタなどのディスプレイ、距離計測部３００は深度画像を取得可能な距離計測センサである。

また、情報処理装置１０００は、画像取得部１０１０、データ記憶部１０２０、肌色情報取得部１０３０、ポリゴンモデル生成部１０４０から構成される。更に、深度画像取得部１０５０、カメラパラメータ取得部１０６０、ポリゴンモデル投影部１０７０、勾配画像生成部１０８０、ポリゴンモデルずれ補正部１０９０で構成される。情報処理装置１０００は、コンピュータプログラムに基づき動作する一般的なパーソナルコンピュータによって一部の機能を実現することが可能である。

画像取得部１０１０は、撮像部１００で撮像した撮像画像を取得し、取得画像をデータ記憶部１０２０に記憶する。

データ記憶部１０２０は、画像取得部１０１０から入力される撮像画像、ポリゴンモデル生成部１０４０から入力される手のポリゴンモデルを記憶する。更に、深度画像取得部１０５０から入力される深度画像およびポリゴンモデルずれ補正部１０９０で生成するポリゴン頂点の移動（補正）量を記憶する。

肌色情報取得部１０３０は、画像取得部１０１０より取得した撮像画像から肌色領域を抽出する。予め設定されている肌色情報と比較することで、撮像画像の画素値が肌色であるか判定し、肌色である手の形状の領域（手領域）を抽出した二値画像を生成する。

ポリゴンモデル生成部１０４０は、肌色情報取得部１０３０より肌色抽出を行うことで手領域を抽出し、手領域に合わせたポリゴンモデルを生成する。

深度画像取得部１０５０は、距離計測部３００で計測された深度画像を取得する。

カメラパラメータ取得部１０６０は、予め設定されている基準位置に対して撮像カメラと距離計測装置の位置、姿勢情報、カメラ内部パラメータ（主点、焦点距離）を取得する。

ポリゴンモデル投影部１０７０は、深度画像取得部１０５０より取得した深度画像上にポリゴンモデル生成部１０４０より取得したポリゴンモデルを投影する。投影するには、カメラパラメータ取得部１０６０の位置、姿勢情報が必要となる。

勾配画像生成部１０８０は、深度画像取得部１０５０より取得した深度画像上の深度変勾配画像と、画像取得部１０１０より取得した撮像画像より色勾配画像を取得する。色勾配は輝度であっても良いし、ＲＧＢ値であっても良く、色情報に依存する何れでも良い。

ポリゴンモデルずれ補正部１０９０は、深度画像上に投影されたポリゴンモデルと深度画像の勾配画像と撮像画像の勾配画像から実際の手の輪郭位置とポリゴンモデルの輪郭位置とのずれ量を画像上から計算する。ここで、深度画像上に投影されたポリゴンモデルは、ポリゴンモデル投影部１０７０により投影されたものであり、深度画像の勾配画像は、勾配画像生成部１０８０で生成されたものである。

＜処理の手順＞
図２は、本実施形態の補正処理の全体の処理フローである。図３に照明環境によって手に影が生じている例を示す。図３は、３０００が実際の手の輪郭を示しており、３０１０の黒領域は影である。したがって、実際の手の輪郭は黒領域の外側に存在する。肌色抽出方法では、実際の手の影領域（黒領域）となっている領域を抽出することは容易ではない。そこで、距離計測装置の深度情報を用いることでこの課題を解決する。

図２のステップＳ２０１０では、ポリゴンモデル投影部１０７０に該当する。肌色情報取得部１０３０で生成された撮像画像にある肌色情報を、カメラパラメータ取得部１０６０より取得した撮像カメラと距離計測装置間の位置、姿勢情報を基に、深度画像取得部１０５０より取得した深度画像上に投影する。なお、この処理で撮像部１００と距離計測部３００のセンサの解像度は一致しなくても良い。

ステップＳ２０２０は、勾配画像生成部１０８０に該当し、深度画像上で隣接する画素に対して深度変化が大きくなる画素（一定閾値以上）位置を取得する。

ステップＳ２０３０は、深度画像上に投影されたポリゴンモデルの輪郭位置を基準にステップＳ２０２０で取得した深度勾配データより真の輪郭点を推定する。ここで具体的な推定方法について説明する。まず、輪郭点周辺の複数の画素から深度変化の大きい点を見つける。このとき、手領域内においては深度画像上の深度変化は小さく、手領域内と背景領域の境界は深度変化が大きくなる。つまり、この深度変化の大きい点が真の手の輪郭位置であると推定できる。そこで、次にポリゴンモデルの輪郭を深度変化の大きい位置まで移動する。ただし、ステップＳ２０２０で取得した深度変化はばらつきが大きくなる場合もあるので、色勾配データより真の手の輪郭位置を推定し、補正する必要がある。

ステップＳ２０４０では深度画像上で推定した輪郭位置に対して再び撮像画像の色勾配データからずれを補正する。ステップＳ２０３０の深度画像上で推定した輪郭点は必ずしも正確ではない場合がある。例えば、距離計測装置の距離精度が悪い場合や撮像カメラよりも解像度が低い場合である。その例を図４に示す。図４では、深度画像４０００上に、ポリゴンモデル生成部１０４０によって生成されたポリゴンモデルをポリゴンモデル投影部１０７０で投影している。４０１０は前記ポリゴンモデルの輪郭である。また、実際の手の輪郭位置を４０２０の点線とし、勾配画像生成部１０８０で生成された深度画像上の勾配位置を黒丸点４０３０で示している。距離計測装置の精度が悪い、あるいは解像度が低い場合は実際の輪郭位置と一致しない場合がある。そこで、深度勾配データによって輪郭位置を推定して、さらに撮像画像の色勾配データから輪郭位置を推定すると精度良く抽出することができる。色勾配データとは、ＲＧＢや輝度等の色の変化量を意味している。したがって、予め、登録した肌色情報ではなく、隣接する画素に対する色変化の情報を取得する。これにより、影になっている手と背景領域との境界位置を区別することが可能になる。

図５に深度画像と撮像画像の同じ位置に対するそれぞれの深度、色変化の推移を示す。横軸は深度画像（ａ）、撮像画像（ｂ）の水平方向の画素、縦軸は深度画像の深度（ａ）、撮像画像（ｂ）の色変化値である。図５の５２０の位置に影領域があると、撮像画像では色変化が生じるが、深度画像上では変化はない。次に、深度画像上で深度変化が大きい位置（５１０）は、実際の手の輪郭位置付近である。したがって、勾配画像取得部１０８０で深度画像を取得することによって影の影響を受けずに輪郭位置を推定することが可能となる。ただし、深度画像はセンサ特性として精度が良くない場合があるので、深度画像のみで輪郭位置を決定すると正確な輪郭位置ではない。そこで、勾配画像取得部１０８０の撮像画像からその近接位置に対して色変化の大きい位置（５３０）を探索することで実際の輪郭位置を決定し、精度良く補正することができる。

次に、図６に距離計測装置と撮像装置から取得したデータの処理方法の評価関数を示す。この評価関数は、色情報（ｃｏｌ）と深度情報（ｄｅｐ）に対して優先度を持たせた重み付け係数のＷ１とＷ２が与えられている。

図６に示した関数の重み付けの与え方について説明する。図２の処理フローに示したように、まず、深度情報から大まかな手の輪郭位置を推定し、その後、色情報から輪郭位置を決定する。この処理フローにおいて、重み付けを持った評価関数で実装すると、手領域の内側あるいは外側（輪郭位置ではない）に探索点がある場合は、深度画像の深度変化が小さいため、深度画像の重み付けを高く、色情報の重み付けを小さくする。これは、深度画像の勾配データによって実際の手の輪郭位置を推定することを意味している。逆に、深度画像の深度変化が大きい場合（輪郭位置）になると深度画像の重み付けを低く、色情報の重み付けを高くすればよい。これは、深度画像の勾配データによって推定された輪郭位置をさらに精度良く推定するために色変化から推定することを意味している。前記の評価関数や重み付けの与え方は一例であり、限定されるものではない。

次に図７に深度画像上にポリゴンモデルが投影できない場合の処理フローを示す。これまで説明した例は、深度画像上にすべての手領域が投影できていることが前提であった。しかしながら、撮像画像上の範囲内に手が表示されても深度画像上で画角、配置などによって手が映り込まない場合がある。その例を図８に示す。図８は深度画像８０００上にポリゴンモデル生成部１０４０によって生成されたポリゴンモデルをポリゴンモデル投影部１０７０で投影している。８０１０は前記ポリゴンモデルの輪郭である。このようなケースはすべての手領域が投影できていない。

ステップＳ７０１０で深度画像に手のポリゴンモデルを投影し、ステップＳ７０２０において深度画像上にすべての手領域が投影できるか判断する。投影できるならば、ステップＳ７０３０で図２に示した処理を実施する。ステップＳ７０４０では、投影できない手領域があるならば、その範囲においては補正を実施しない。つまり、深度画像上に手領域を投影できる範囲では本特許で提案する処理フロー（図２）で補正を行い、深度画像上に映り込まない範囲においては初期登録した肌色による抽出法で抽出し、ステップＳ７０５０で合成する。

（第２の実施形態）
＜構成＞
図９に本実施形態に係る撮像装置、距離計測装置を制御する情報処理装置２０００のブロック図を示す。

本実施形態では図１に対してポリゴンモデルずれ判定部１１００を追加した構成である。

ポリゴンモデルずれ判定部１１００は、ポリゴンモデル投影部１０７０によって投影されたポリゴンモデルが実際の手の位置とずれているか判断する。図１０にその処理フローを示す。ステップＳ１００１０で深度画像にポリゴンモデルを投影し、ステップＳ１００２０で生成されたポリゴンモデルが実際の手と一致しているかどうか判断する。ポリゴンモデルと実際の手の位置がずれているか判断する方法の一例として、深度画像上の深度変化が大きい画素位置と撮像画像の色変化が大きい画素位置が一致したならば、一致していると判断する方法がある。ただし、解像度が異なることによるずれ、あるいは投影することによるずれが生じ、完全な一致にはならないため、閾値以下の画素ずれであれば、一致していると判断してもよい。ステップＳ１００２０でずれていると判断するならば、実施例１と同じ構成になり、ステップＳ１００３０でこれまでと同様の処理（Ｓ２０３０、Ｓ２０４０）を実施する。仮にずれていないと判断すれば、補正する必要がないため、ステップＳ１００４０で補正に必要な処理を停止する。最終的にステップＳ１００５０で補正されたポリゴンモデルあるいは補正なしのポリゴンモデルを表示させる。

本実施形態にすることによって、ポリゴンモデルずれ判定部１１００によってずれていないと判断すると深度画像のデータが不要になる期間がある。したがって、ポリゴンモデルずれ判定部１１００の判断結果に応じて深度画像データを使用しないようにすることで全体のデータ処理量を削減することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (10)

1. 物体までの距離を計測し、深度画像を取得する距離計測手段と、
   撮像装置から撮像した撮像画像を取得する画像取得手段と、
   前記撮像画像から手領域を抽出する抽出手段と、
   前記深度画像に前記撮像画像より抽出された手領域を投影する投影手段と、
   前記投影手段による投影の結果に基づき、前記手領域の抽出のずれを補正する補正手段と、を有することを特徴とする情報処理装置。
2. 前記投影手段は、前記手領域をポリゴンモデルとして前記深度画像に投影することを特徴とする請求項１に記載の情報処理装置。
3. 前記補正手段は、前記深度画像の深度の勾配に基づき、前記手領域の抽出のずれを補正することを特徴とする請求項１または２のいずれか１項に記載の情報処理装置。
4. 前記補正手段は、前記撮像画像の色の勾配に基づき、前記手領域の抽出のずれを補正することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記補正手段は、前記深度画像の深度の勾配と前記撮像画像の色の勾配とのそれぞれに対して優先度を持たせた評価関数に基づき、前記手領域の抽出のずれを補正することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記補正手段は、前記深度画像が存在しない領域に対しては、前記手領域の抽出のずれの補正を行わないことを特徴とする請求項１乃至５のいずれか１以降に記載の情報処理装置。
7. 前記補正手段により抽出のずれが補正された前記手領域を表示する表示手段を更に有することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記抽出手段は、前記撮像画像の肌色の情報に基づき、前記手領域を抽出することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 距離計測手段が、物体までの距離を計測し、深度画像を取得する距離計測工程と、
   画像取得手段が、撮像装置から撮像した撮像画像を取得する画像取得工程と、
   抽出手段が、前記撮像画像から手領域を抽出する抽出工程と、
   投影手段が、前記深度画像に前記撮像画像より抽出された手領域を投影する投影工程と、
   補正手段が、前記投影工程における投影の結果に基づき、前記手領域の抽出のずれを補正する補正工程と、を有することを特徴とする情報処理方法。
10. コンピュータを、
    物体までの距離を計測し、深度画像を取得する距離計測手段と、
    撮像装置から撮像した撮像画像を取得する画像取得手段と、
    前記撮像画像から手領域を抽出する抽出手段と、
    前記深度画像に前記撮像画像より抽出された手領域を投影する投影手段と、
    前記投影手段による投影の結果に基づき、前記手領域の抽出のずれを補正する補正手段と、を有することを特徴とする情報処理装置として機能させるためのコンピュータプログラム。

Images