JP2013205867A - 情報処理装置及び方法、並びにプログラム - Google Patents

Abstract

【課題】 近距離と遠距離の双方の奥行き情報を精度よく得ることができるようにする。
【解決手段】 カメラ画像奥行き情報取得部は、カメラで撮像された画像を構成する各画素毎の奥行き情報を、画像奥行き情報として取得する。奥行きマスク生成部は、取得された画像奥行き情報を用いて、画像から所定の領域を除去するマスクを生成する。シーン認識奥行き情報推定部は、生成されたマスクに基づいて、画像から所定の領域が除去された画像を処理対象として、処理対象の奥行き情報を推定する。奥行き情報合成部は、マスクを用いて、取得された画像奥行き情報と、推定された奥行き情報とを合成する。本技術は、奥行き情報を生成する情報処理装置に適用することができる。
【選択図】図１

Description

本技術は、情報処理装置及び方法、並びにプログラムに関し、特に、近距離と遠距離の双方の奥行き情報を精度よく得ることができる、情報処理装置及び方法、並びにプログラムに関する。

従来から、ステレオカメラやTOF(Time Of Flight)カメラを用いて、画素毎に奥行き情報を取得する手法が存在する（例えば、特許文献１参照）。ステレオカメラは、２つのカメラが離間して配置されて構成される。TOFカメラは、奥行き情報を取得可能なセンサと、輝度情報や色情報を取得可能なカメラとが組み合わされて構成される。

ステレオカメラを用いる手法においては、２つのカメラによって同一被写体が撮像された結果得られる左画像及び右画像における同一被写体の位置ずれが検出される。そして、検出された位置ずれに対して三角測量の原理が用いられることにより、奥行き情報が取得される。

TOFカメラを用いる手法においては、撮像位置から被写体に向けて光が投射され、投射された光が被写体に反射されて戻ってくるまでの時間が計測される。そして、計測された時間から、撮像位置から被写体までの距離が求められ、その距離を用いて奥行き情報が取得される。

特開２００３−０８５５６６号公報

しかしながら、ステレオカメラを用いる手法においては、撮像位置から一定以上遠距離に被写体が位置する場合、左画像及び右画像における被写体の位置ずれが検出できないほど僅かとなり、奥行き情報の取得が困難となる。

また、TOFカメラを用いる手法においては、遠方の被写体の距離を測定するためには、強力な光を投射する必要があり、現実的ではない。即ち、被写体が撮像位置から一定以上離れている遠距離の場合、奥行き情報の取得が困難となる。

このように、ステレオカメラやTOFカメラを用いる手法では、奥行き情報を取得可能な範囲は限られている。したがって、近距離と遠距離の双方の奥行き情報を精度よく取得することができる手法が要求されている状況である。

本技術は、このような状況に鑑みてなされたものであり、近距離と遠距離の双方の奥行き情報を精度よく得ることができるようにしたものである。

本技術の一側面の情報処理装置は、カメラで撮像された画像を構成する各画素毎の奥行き情報を、画像奥行き情報として取得する奥行き情報取得部と、前記奥行き情報取得部により取得された前記画像奥行き情報を用いて、前記画像から所定の領域を除去するマスクを生成するマスク生成部と、前記マスク生成部により生成された前記マスクに基づいて、前記画像から前記所定の領域が除去された画像を処理対象として、前記処理対象の奥行き情報を推定する奥行き情報推定部と、前記マスクを用いて、前記奥行き情報取得部により取得された前記画像奥行き情報と、前記奥行き情報推定部により推定された前記奥行き情報とを合成する奥行き情報合成部とを備える情報処理装置。

前記奥行き情報推定部は、前記処理対象から消失線と消失点とを検出し、前記消失線と前記消失点に基づいて、前記奥行き情報を推定することができる。

前記マスク生成部は、前記画像を構成する前記各画素のそれぞれに対応して、前記画像の撮像位置から所定の距離以内にあるか否かを示す情報をそれぞれ保持するマップを、前記マスクとして生成することができる。

シーンを分類するための奥行きモデルが、予め複数用意されており、前記奥行き情報推定部は、前記処理対象内の各画素の輝度値の高域成分のマップを求め、前記マップに基づいて複数の前記奥行きモデルの中から１つを選択し、選択した前記奥行きモデルに基づいて前記奥行き情報を推定することができる。

前記奥行き情報取得部は、センサにより検出された情報に基づいて、前記画像奥行き情報を取得することができる。

前記画像は、複数の異なる視点から撮像された場合にそれぞれ得られる複数の画像から構成され、前記奥行き情報取得部は、前記複数の画像に対してステレオマッチング処理を施すことにより、前記画像奥行き情報を取得することができる。

前記奥行き情報推定部は、前記マスク生成部により生成された前記マスクに基づいて、前記複数の画像のうちの所定の画像から前記所定の領域が除去された画像を処理対象として、前記処理対象の前記奥行き情報を推定することができる。

本技術の一側面の情報処理方法及びプログラムは、上述した本技術の一側面の情報処理装置に対応する方法及びプログラムである。

本技術の一側面の情報処理装置及び方法並びにプログラムにおいては、カメラで撮像された画像を構成する各画素毎の奥行き情報が、画像奥行き情報として取得され、取得された前記画像奥行き情報が用いられて、前記画像から所定の領域を除去するマスクが生成され、生成された前記マスクに基づいて、前記画像から前記所定の領域が除去された画像が処理対象とされて、前記処理対象の奥行き情報が推定され、前記マスクが用いられて、取得された前記画像奥行き情報と、推定された前記奥行き情報とが合成される。

以上のごとく、本技術によれば、近距離と遠距離の双方の奥行き情報を精度よく得ることができる。

奥行き推定装置の機能的構成例を示すブロック図である。 奥行き情報推定処理の流れを説明するフローチャートである。 カメラ画像の一例を示す図である。 カメラ画像奥行き情報の一例を示す図である。 カメラ画像全体から抽出される消失線候補の一例を示す図である。 奥行きマスクの一例を示す図である。 遠距離対象画像の一例を示す図である。 遠距離対象画像から抽出される消失線候補の一例を示す図である。 シーン認識奥行き情報の一例を示す図である。 奥行き情報合成処理の流れを説明するフローチャートである。 合成奥行き情報の一例を示す図である。 奥行き推定装置の機能的構成例を示すブロック図である。 奥行き情報推定処理の流れを説明するフローチャートである。 本技術が適用される情報処理装置のハードウエアの構成例を示すブロック図である。

本技術は、実世界の情景（以下、シーンとも称する）が撮像された画像から取得された奥行き情報と、当該画像に対してシーン認識を行うことで推定された奥行き情報（以下、シーン認識奥行き情報と称する）とを合成することにより、近距離と遠距離の双方の奥行き情報を得るための技術である。シーン認識は、画像から物理オブジェクトとその空間的位置関係を抽出して記述するまでの処理をいう。

このような本技術の詳細な説明の前に、その理解を容易なものとすべく、シーン認識奥行き情報について先ず説明する。

シーン認識奥行き情報を推定する手法の１つとして、例えば、特許第３２９３４４１号公報（以下、特許文献２と称する）や、S. Battiato, S. Curti, M. La Cascia, M. Tortora, and E. Scordato, "Depth-map generation by image classification",Proceedings of SPIE 5302: 95-104 (2004)（以下、非特許文献１と称する）に記載された手法が存在する。特許文献２や非特許文献１に記載された手法とは、画像中から消失線と消失点を検出し、検出された消失線と消失点に基づいてシーン認識奥行き情報を推定する手法である。

消失点は、透視変換によって三次元空間中の平行線を画像上に投影した場合に、それら平行線に対応する画像上の直線が収束する点のことである。このような画像上の複数の直線を消失線といい、対象から消失点を結んだ線となる。

シーン認識奥行き情報は、画像上に含まれる各画素に対して、消失点からの距離に応じて線形に変化していくように割り当てられる。具体的には、消失点を最遠距離として、消失点との距離が離れている画素ほど近距離であるとして、各画素に対してシーン認識奥行き情報が割り当てられる。

消失線と消失点に基づいてシーン認識奥行き情報を推定する手法を用いることにより、近距離と遠距離の双方のシーン認識奥行き情報の推定が可能となる。

しかしながら、消失線と消失点に基づいてシーン認識奥行き情報を推定する手法においては、消失線以外の直線成分を多く含む被写体が近距離の領域に存在すると、消失線以外の直線成分が障害となって適切な消失線を検出することができない場合がある。このような場合、適切な消失点も検出することができなくなるため、シーン認識奥行き情報を精度よく推定することが困難となる。

そこで、本技術においては、消失線と消失点の検出の際には、画像内の近距離の領域が処理対象から除外（マスク）される。これにより、近距離の領域に含まれる被写体からは、直線成分が消失線として検出されなくなる。その結果、マスクされなかった遠距離の領域から適切な消失線と消失点が検出されるので、遠距離のシーン認識奥行き情報を精度よく推定することが可能になる。

一方で、本技術においては、マスクされた近距離の領域の奥行き情報は、ステレオカメラやTOFカメラを用いる手法により取得される。

その後、消失線と消失点に基づいて推定された遠距離のシーン認識奥行き情報と、ステレオカメラやTOFカメラを用いて取得された近距離の奥行き情報とが合成される。これにより、近距離と遠距離の双方の奥行き情報が精度よく得られる。

本技術の実施形態として、２つの実施形態について、以下の順序で説明する。
１．第１実施形態（TOFカメラを用いて近距離の奥行き情報を取得する例）
２．第２実施形態（ステレオカメラを用いて近距離の奥行き情報を取得する例）

＜１．第１実施形態＞
[奥行き推定装置の機能的構成例]
図１は、本技術が適用される奥行き情報推定装置１の機能的構成例を示すブロック図である。

奥行き情報推定装置１は、TOFカメラを用いて近距離の奥行き情報を取得すると共に、近距離の領域をマスクして消失線と消失点を検出することで遠距離のシーン認識奥行き情報を推定し、これら近距離と遠距離の各奥行き情報を組み合わせる。

奥行き情報推定装置１は、画像取得部１１、センサ情報取得部１２、カメラ画像奥行き情報取得部１３、奥行きマスク生成部１４、近距離物体除去部１５、シーン認識奥行き情報推定部１６、及び奥行き情報合成部１７から構成される。

画像取得部１１は、内蔵するか、外部に配置されるTOFカメラにより被写体が撮像された結果得られる画像（以下、カメラ画像と称する）を取得して、近距離物体除去部１５に供給する。

センサ情報取得部１２は、内蔵するか、外部に配置されるセンサにより検出されたセンサ情報を取得して、カメラ画像奥行き情報取得部１３に供給する。本実施形態では、センサは、TOFカメラから被写体に向けて投射された光が、被写体で反射されて戻ってくるまでの時間を、センサ情報として検出する。

カメラ画像奥行き情報取得部１３は、センサ情報取得部１２から供給されたセンサ情報に基づいて、TOFカメラから被写体までの距離を演算する。次に、カメラ画像奥行き情報取得部１３は、演算された距離を用いて、カメラ画像を構成する各画素毎に奥行き情報を取得する。なお、以下、各画素毎の奥行き情報の集合体を、カメラ画像奥行き情報と称する。カメラ画像奥行き情報取得部１３は、カメラ画像奥行き情報を、奥行きマスク生成部１４と奥行き情報合成部１７に供給する。

奥行きマスク生成部１４は、カメラ画像奥行き情報取得部１３により供給されたカメラ画像奥行き情報を用いて、撮像位置からの距離が一定以内の近距離に属する領域を処理対象から除外するための奥行きマスクを生成する。奥行きマスクは、カメラ画像のうち、マスクすべき近距離の領域と、それ以外の遠距離の領域とを区分するための画像情報（即ち、マップ）である。本実施形態では、画像取得部１１により取得されたカメラ画像を構成する各画素にそれぞれ対応して、撮像位置から一定以内の近距離にあるか否かを示す情報、具体的には１または０といった２値の情報を保持するマップが、奥行きマスクとして採用されている。即ち、本実施形態の奥行きマスクのうち１が保持された部分に対応するカメラ画像の領域が、マスクすべき近距離の領域に該当する。そして、０が保持された部分に対応するカメラ画像の領域が、マスクすべきではない遠距離の領域に該当する。奥行きマスク生成部１４は、生成された奥行きマスクを、近距離物体除去部１５に供給する。

近距離物体除去部１５は、奥行きマスク生成部１４から供給された奥行きマスクに基づいて、画像取得部１１から供給されたカメラ画像から、近距離の領域に被写体として含まれる物体（以下、近距離物体と称する）を除去する。より正確には、近距離物体除去部１５は、カメラ画像内の近距離の領域を黒等の同一色の領域に置換した（即ち、マスクした）画像（以下、遠距離対象画像と称する）を生成することによって、近距離物体をカメラ画像から除去する。近距離物体除去部１５は、生成した遠距離対象画像を、シーン認識奥行き情報推定部１６に供給する。

シーン認識奥行き情報推定部１６は、近距離物体除去部１５から供給された遠距離対象画像から、消失線となり得る直線の候補（以下、消失線候補と称する）を抽出し、抽出した消失線候補に基づいて消失線と消失点を検出する。即ち、最も多くの消失線候補が収束する点が消失点として検出され、消失点で交差する消失線候補が消失線として検出される。シーン認識奥行き情報推定部１６は、検出された消失線と消失点に基づいて、遠距離のシーン認識奥行き情報を推定する。シーン認識奥行き情報推定部１６は、推定された遠距離のシーン認識奥行き情報を、奥行き情報合成部１７に供給する。

奥行き情報合成部１７は、奥行きマスク生成部１４から供給された奥行きマスクを用いて、カメラ画像奥行き情報取得部１３から供給されたカメラ画像奥行き情報と、シーン認識奥行き情報推定部１６から供給されたシーン認識奥行き情報とを合成する。この合成の結果得られる奥行き情報を、以下、合成奥行き情報と称する。具体的には本実施形態では、奥行きマスクにより近距離領域と遠距離領域とが区分され、近距離領域ではカメラ画像奥行情報が採用され、遠距離領域ではシーン認識奥行き情報が採用されることによって、合成奥行き情報が生成される。奥行き情報合成部１７は、合成奥行き情報を、奥行き情報推定装置１の処理結果として外部に出力する。

[奥行き情報推定処理]
次に、奥行き情報推定装置１が実行する奥行き情報推定処理の流れについて説明する。

図２は、奥行き情報推定処理の流れの一例を説明するフローチャートである。

ステップＳ１において、画像取得部１１は、TOFカメラから出力されたカメラ画像を取得する。取得されたカメラ画像は、カメラ画像奥行き情報取得部１３に供給される。

[カメラ画像]
ここで、画像取得部１１に取得されるカメラ画像について、図３を参照して説明する。

図３は、カメラ画像の一例を示す図である。

カメラ画像ＧＣには、被写体として、撮像位置から最も近距離に位置する標識ＮＯ、撮像位置から２番目の近距離に位置する自動車ＭＯ１、及び近距離から遠距離にかけて延在する道路のうち自動車ＭＯ１と同一位置に存在する道路ＭＯ２が含まれている。また、カメラ画像ＧＣには、被写体として、近距離から遠距離にかけて延在する道路や建物等の背景ＦＯも含まれている。

図２のフローチャートの説明に戻り、ステップＳ２において、センサ情報取得部１２は、被写体から反射光が戻ってくるまでの時間を表わすセンサ情報を取得する。取得されたセンサ情報は、カメラ画像奥行き情報取得部１３に供給される。

ステップＳ３において、カメラ画像奥行き情報取得部１３は、カメラ画像奥行き情報を取得する。つまり、センサ情報としての時間から、被写体までの距離が演算され、その距離からカメラ画像奥行き情報が取得される。取得されたカメラ画像奥行き情報は、奥行きマスク生成部１４と奥行き情報合成部１７に供給される。

[カメラ画像奥行き情報]
ここで、カメラ画像奥行き情報取得部１３に取得されるカメラ画像奥行き情報について、図４を参照して説明する。

図４は、カメラ画像奥行き情報の一例を示す図である。

カメラ画像奥行き情報Ｄｃにおいては、撮像位置からの距離が輝度を表すグレースケールで示されており、撮像位置から近距離にある領域ほど明るくなるように示されている。

図４に示されるように、カメラ画像奥行き情報Ｄｃにおいて、撮像位置から最も近距離に位置する標識ＮＯに対応する領域ＮＤは、最も明るい値になっている。また、撮像位置から２番目に近距離に位置する自動車ＭＯ１に対応する領域ＭＤ１は、領域ＮＤの次に明るい値になっている。また、自動車ＭＯ１と同一位置の道路ＭＯ２に対応する領域ＭＤ２は、領域ＭＤ１と同一の値となっている。

しかしながら、遠距離に位置する背景ＦＯに対応する領域ＦＤは、黒一色となっており、カメラ画像奥行き情報が示されていない。このことは、遠距離に位置する背景ＦＯのカメラ画像奥行き情報が、カメラ画像奥行き情報取得部１３により適切に取得されていないことを意味している。

このように、遠距離に位置する背景ＦＯの奥行き情報は、カメラ画像奥行き情報では適切に取得されないので、本実施形態では、消失線と消失点に基づいてシーン認識奥行き情報を推定する手法が適用されて推定される。

しかしながら、カメラ画像ＧＣ全体に対して、消失線と消失点に基づいてシーン認識奥行き情報を推定する手法を適用しても、遠距離に位置する背景ＦＯの奥行き情報を推定することは困難である。以下、この困難な理由について、図５を参照して説明する。

[カメラ画像から抽出される消失線候補]
図５は、カメラ画像ＧＣ全体から抽出される消失線候補の一例を示す図である。

図５の例では、カメラ画像ＧＣ全体から消失線候補となる直線成分が抽出されている。具体的には、撮像位置から最も近距離に位置する標識ＮＯに含まれるテクスチャの直線成分ＮＬ１，ＮＬ２が抽出されると共に、標識ＮＯの輪郭を示す直線成分ＮＬ３が抽出されている。また、撮像位置から２番目の近距離に位置する自動車ＭＯ１に含まれる輪郭等が、直線成分ＭＬ１乃至ＭＬ３として抽出されている。さらに、背景ＦＯに含まれる道路や建物等の稜線が、直線成分ＦＬ１乃至ＦＬ４として抽出されている。

直線成分ＦＬ１乃至ＦＬ４のように、カメラ画像ＧＣ中の奥行きの変化に沿った直線成分は、消失点となり得る一点で収束し得るので、消失線候補として適切である。しかしながら、撮像位置から一定以内の近距離に位置する標識ＮＯ,自動車ＭＯ１の各々から抽出された直線成分ＮＬ１乃至ＮＬ３，ＭＬ１乃至ＭＬ３の各々のように、奥行きの変化に沿わない直線成分は、消失点となり得る一点で収束しない。したがって、これらの直線成分が消失線候補として採用されてしまうと、適切な消失線と消失点を検出する障害となる。

以上の内容が、カメラ画像ＧＣ全体に対して、消失線と消失点に基づいてシーン認識奥行き情報を推定する手法を適用しても、遠距離に位置する背景ＦＯの奥行き情報を推定することが困難な理由である。

したがって、奥行き情報推定装置１は、カメラ画像ＧＣのうち、撮像位置から一定以内の近距離の領域をマスクすることにより、適切な消失線と消失点を検出するために障害となる直線成分を除去することによって、遠距離に位置する背景ＦＯの奥行き情報を適切に推定する。

図２のフローチャートの説明に戻り、ステップＳ４において、奥行きマスク生成部１４は、奥行きマスクを生成する。奥行きマスクは、カメラ画像ＧＣのうち撮像位置から一定以内の近距離の領域をマスクすることを実現すべく生成される。生成された奥行きマスクは、近距離物体除去部１５と奥行き情報合成部１７に供給される。

[奥行きマスク]
ここで、奥行きマスク生成部１４により生成される奥行きマスクについて、図６を参照して説明する。

図６は、奥行きマスクの一例を示す図である。

奥行きマスクＭにおいては、カメラ画像ＧＣを構成する各画素のそれぞれに対応して、次のような値が保持されている。即ち、撮像位置から一定以内の近距離にある画素については、対応する値として「１」が保持される一方、撮像位置から一定以上の距離にある画素については、対応する値として「０」が保持される。

奥行きマスクＭには、撮像位置から最も近距離に位置する標識ＮＯをマスクするための部分ＮＭ、即ち「１」が保持された部分ＮＭが含まれる。このような部分ＮＭを含め、マスクするために「１」が保持された部分（図６中白色で表される部分）を、以下、奥行きマスク部分と称する。即ち、奥行きマスクＭには、奥行きマスク部分ＮＭが含まれる。また、奥行きマスクＭには、撮像位置から２番目の近距離に位置する自動車ＭＯ１をマスクするための奥行きマスク部分ＭＭ１、自動車ＭＯ１と同一位置の道路ＭＯ２をマスクするための奥行きマスク部分ＭＭ２が含まれる。

なお、奥行きマスクＭにおいて、「０」を保持している部分ＦＭ（図６中黒色で表される部分）に対応するカメラ画像ＧＣの背景ＦＯは、除去されずにそのまま残される。

図２のフローチャートの説明に戻り、ステップＳ５において、近距離物体除去部１５は、近距離物体を除去する。即ち、近距離物体除去部１５は、奥行きマスク生成部１４により生成された奥行きマスクＭに基づいて、画像取得部１１により取得されたカメラ画像ＧＣから、近距離物体を除去する。その結果、遠距離対象画像が生成され、シーン認識奥行き情報推定部１６に供給される。

[遠距離対象画像]
ここで、近距離物体除去部１５により生成される遠距離対象画像について、図７を参照して説明する。

図７は、遠距離対象画像の一例を示す図である。

遠距離対象画像ＧＦは、カメラ画像ＧＣに対して、近距離物体である標識ＮＯ、自動車ＭＯ１、及び自動車ＭＯ１と同一位置の道路ＭＯ２が除去された画像となっている。具体的には、図６の奥行きマスクＭのうち、奥行きマスク部分ＮＭに基づいて、カメラ画像ＧＣのうち、標識ＮＯに対応する領域が黒色の領域ＮＢに置換されることで、標識ＮＯが除去されている。また、図６の奥行きマスク部分ＭＭ１に基づいて、カメラ画像ＧＣのうち、自動車ＭＯ１に対応する領域が黒色の領域ＭＢ１に置換されることで、自動車ＭＯ１が除去されている。さらに、図６の奥行きマスク部分ＭＭ２に基づいて、カメラ画像ＧＣのうち、自動車ＭＯ１と同一位置の道路ＭＯ２に対応する領域が、黒色の領域ＭＢ２に置換されることで、道路ＭＯ２が除去されている。

図２のフローチャートの説明に戻り、ステップＳ６において、シーン認識奥行き情報推定部１６は、シーン認識奥行き情報を推定する。推定されたシーン認識奥行き情報は、奥行き情報合成部１７に供給される。

[遠距離対象画像から抽出される消失線候補]
ここで、シーン認識奥行き情報を推定するために、遠距離対象画像ＧＦから抽出される消失線候補について、図８を参照して説明する。

図８は、遠距離対象画像ＧＦから抽出される消失線候補の一例を示す図である。

遠距離対象画像ＧＦは、奥行きマスクＭに基づいて、撮像位置から一定以内の近距離に位置する標識ＮＯと自動車ＭＯ１が除去された結果、黒色の領域ＮＢ，ＭＢ１を有している。したがって、遠距離対象画像ＧＦからは、図５に示される標識ＮＯに含まれる直線成分ＮＬ１乃至ＮＬ３と、自動車ＭＯ１に含まれる直線成分ＭＬ１乃至ＭＬ３は抽出されない。即ち、遠距離対象画像ＧＦからは、背景ＦＯに含まれる直線成分ＦＬ１乃至ＦＬ４のみが抽出される。直線成分ＦＬ１乃至ＦＬ４は、遠距離対象画像ＧＦ中の奥行きの変化に沿った直線成分であり、消失線候補として適切である。

シーン認識奥行き情報推定部１６は、抽出された適切な消失線候補である直線成分ＦＬ１乃至ＦＬ４から消失線と消失点を検出する。シーン認識奥行き情報推定部１６は、検出された消失線と消失点に基づいて、遠距離のシーン認識奥行き情報を推定する。

[シーン認識奥行き情報]
ここで、シーン認識奥行き情報推定部１６により推定されるシーン認識奥行き情報について、図９を参照して説明する。

図９は、シーン認識奥行き情報の一例を示す図である。

シーン認識奥行き情報Ｄｓにおいては、撮像位置からの距離が輝度を表すグレースケールで示されており、撮像位置から近距離にある領域ほど明るくなるように示されている。

図９に示されるように、シーン認識奥行き情報Ｄｓにおいて、遠距離に位置する背景ＦＯに対応する領域ＦＤは、撮像位置から近いほど明るく、遠いほど暗くなっている。

また、シーン認識奥行き情報Ｄｓは、奥行きマスクＭに基づいて近距離物体が除去された結果、黒色の領域ＮＢ，ＭＢ１，ＭＢ２を有している。即ち、黒色の領域ＮＢ，ＭＢ１，ＭＢ２では、マスクされるため、シーン認識奥行き情報は取得されていない。

図２のフローチャートの説明に戻り、ステップＳ７において、奥行き情報合成部１７は、奥行き情報合成処理を実行する。奥行き情報合成処理とは、次のような一連の処理をいう。即ち、奥行き情報合成部１７は、奥行きマスク生成部１４から供給された奥行きマスクＭを用いて、カメラ画像奥行き情報取得部１３から供給されたカメラ画像奥行き情報Ｄｃと、シーン認識奥行き情報推定部１６から供給されたシーン認識奥行き情報Ｄｓとを合成する。奥行き情報合成部１７は、カメラ画像奥行き情報Ｄｃとシーン認識奥行き情報Ｄｓとが合成された結果得られる合成奥行き情報Ｄｆを出力する。

[奥行き情報合成処理]
ここで、ステップＳ７の奥行き情報合成処理の流れの詳細について、図１０を参照して説明する。

図１０は、奥行き情報合成処理の流れの一例を説明するフローチャートである。

奥行き情報合成処理の処理単位としては、カメラ画像ＧＣを構成する各画素のうち、処理の対象として注目すべき画素（以下、注目画素と称する）が採用されている。即ち、奥行き情報合成部１７は、奥行き情報合成処理として、カメラ画像ＧＣを構成する各画素を、ラスタスキャン順に注目画素に順次設定して、次のような一連の処理を実行する。

なお、カメラ画像の各画素は、カメラ画像のうち、横方向（幅方向）の軸をＸ軸として、縦方向（高さ方向）の軸をＹ軸として、左上端の画素の配置位置を原点（０，０）として構成される２次元座標平面上に、縦横共に距離が「１」ずつ離間されてそれぞれ配置されているものとする。即ち、注目画素の位置は、当該２次元座標平面上における座標（ｘ，ｙ）で表されるものとする。

ステップＳ２１において、奥行き情報合成部１７は、注目画素の座標（ｘ，ｙ）を（０，０）に初期化する（０→ｘ，０→ｙ）。

ステップＳ２２において、奥行き情報合成部１７は、注目画素の座標（ｘ，ｙ）における奥行きマスクＭの値が「０」であるかを判定する（Ｍ(ｘ，ｙ)＝０？）。

奥行きマスクＭの値が「０」ではなく「１」である場合、即ち、注目画素が撮像位置から一定以内の近距離にある場合、ステップＳ２２においてＮＯであると判定されて、処理はステップＳ２３に進む。

ステップＳ２３において、奥行き情報合成部１７は、注目画素の座標（ｘ，ｙ）におけるカメラ画像奥行き情報Ｄｃを、合成奥行き情報Ｄｆに設定する（Ｄｃ(ｘ，ｙ)→Ｄｆ(ｘ，ｙ)）。

一方、奥行きマスクＭの値が「０」である場合、即ち、注目画素が撮像位置から一定以上の距離にある場合、ステップＳ２２においてＹＥＳであると判定されて、処理はステップＳ２４に進む。

ステップＳ２４において、奥行き情報合成部１７は、注目画素の座標（ｘ，ｙ）におけるシーン認識奥行き情報Ｄｓを、合成奥行き情報Ｄｆに設定する（Ｄｓ(ｘ，ｙ)→Ｄｆ(ｘ，ｙ)）。

ステップＳ２５において、奥行き情報合成部１７は、注目画素のｘ座標を１だけインクリメントする（ｘ＋１→ｘ）。即ち、カメラ画像のＸ方向の所定のラインにおいて注目画素が移動している間には、注目画素はＸ方向（右方向）に１つずつ移動していくので、ｙ座標は固定のままｘ座標だけ１ずつ増加していくことになる。このため、ステップＳ２５の処理で、注目画素のｘ座標が１だけインクリメントされる。

ステップＳ２６において、奥行き情報合成部１７は、注目画素のｘ座標がカメラ画像の幅よりも小さいかを判定する（ｘ＜カメラ画像の幅？）。

ここで、注目画素は、所定ラインの右端の画素に設定されると、その次には、当該所定ラインの下方のラインの左端の画素に設定される。即ち、注目画素のｘ座標は０にリセットされると共に、注目画素のｙ座標が１だけ増加する。奥行き情報合成部１７は、ステップＳ２５の処理後の注目画素のｘ座標が、「カメラ画像の幅」よりも小さいか否かに応じて、注目画素が所定ラインを移動中であるのか、それとも注目画素が所定ラインの下方のラインに移動するのかを判断して、注目画素の座標を変化させるか否かを決定する必要がある。このような判断及び決定のために、ステップＳ２６の処理が実行される。

注目画素のｘ座標が、カメラ画像の幅よりも小さい場合、ステップＳ２６においてＹＥＳであると判定されて、処理はステップＳ２２に戻され、その後の処理が繰り返される。この場合には、注目画素が所定ラインを移動中、即ちＸ座標が１つずつインクリメントされる最中であるので、ステップＳ２２乃至Ｓ２６のループ処理が繰り返される。

その後、注目画素が右端の画素となってステップＳ２２乃至Ｓ２４の処理が実行され、ステップＳ２５の処理によって、注目画素のｘ座標が、カメラ画像の幅と等しくなると、ステップＳ２６においてＮＯであると判定されて、処理はステップＳ２７に進む。

ステップＳ２７において、奥行き情報合成部１７は、注目画素のｘ座標を「０」に初期化（リセット）し、ｙ座標を「１」だけインクリメントする（０→ｘ，ｙ＋１→ｙ）。即ち、注目画素が、所定ラインの右端の画素から、当該所定ラインの下方のラインの左端の画素に移動する。

ステップＳ２８において、奥行き情報合成部１７は、注目画素のｙ座標がカメラ画像の高さよりも小さいかを判定する（ｙ＜カメラ画像の高さ？）。

ここで、注目画素は、上述したように、ラスタスキャン順に移動するので、Ｘ方向（幅方向）に着目すると、所定ラインを左から右に１画素ずつ移動していき、Ｙ方向（高さ方向）に着目すると、上から下に１ラインずつ移動していき、最下ラインまで到達する。したがって、カメラ画像の右下端の画素が、最終の処理対象の画素になる。奥行き情報合成部１７は、ステップＳ２７の処理後の注目画素のｙ座標が、「カメラ画像の高さ」よりも小さいか否かに応じて、ステップＳ７の奥行き情報合成処理を継続させるのか、それとも終了させるのかを判断する必要がある。このような判断のために、ステップＳ２８の処理が実行される。

注目画素のｙ座標が、カメラ画像の高さよりも小さい場合、ステップＳ７の奥行き情報合成処理を継続させる必要があるので、ステップＳ２８においてＹＥＳであると判定されて、処理はステップＳ２２に戻され、その後の処理が繰り返される。

その後、注目画素のｙ座標が、カメラ画像の高さと等しくなった場合、即ち、カメラ画像の全画素が注目画素に設定されて、全ての合成奥行き情報Ｄｆが設定された場合、ステップＳ２８においてＮＯであると判定されて、奥行き情報合成処理は終了する。

このような奥行き情報合成処理が終了すると、図２の奥行き情報推定処理の全体も終了となる。その結果、カメラ画像奥行き情報Ｄｃとシーン認識奥行き情報Ｄｓとが合成された合成奥行き情報Ｄｆが出力される。

[合成奥行き情報]
ここで、奥行き情報合成部１７により生成される合成奥行き情報Ｄｆについて、図１１を参照して説明する。

図１１は、合成奥行き情報Ｄｆの一例を示す図である。

合成奥行き情報Ｄｆにおいては、撮像位置からの距離が輝度を表すグレースケールで示されており、撮像位置から近距離にある領域ほど明るくなるように示されている。

図１１に示されるように、合成奥行き情報Ｄｆにおいて、撮像位置から最も近距離に位置する標識ＮＯに対応する領域ＮＤは、最も明るい値になっている。また、撮像位置から２番目の近距離に位置する自動車ＭＯ１に対応する領域ＭＤ１は、領域ＮＤの次に明るい値になっている。また、自動車ＭＯ１と同一位置の道路ＭＯ２に対応する領域ＭＤ２は、領域ＭＤ１と同一の値となっている。即ち、領域ＮＤ，ＭＤ１，ＭＤ２の奥行き情報には、カメラ画像奥行き情報取得部１３から供給されたカメラ画像奥行き情報Ｄｃ（図４参照）が用いられている。

また、合成奥行き情報Ｄｆにおいて、遠距離に位置する背景ＦＯに対応する領域ＦＤは、撮像位置から近いほど明るく、遠いほど暗くなっている。即ち、領域ＦＤの奥行き情報には、シーン認識奥行き情報推定部１６から供給されたシーン認識奥行き情報Ｄｓ（図９参照）が用いられている。

このように、奥行き情報推定装置１は、TOFカメラのセンサ情報を用いて得られた近距離のカメラ画像奥行き情報Ｄｃと、近距離の領域をマスクして消失線と消失点を検出することで得られた遠距離のシーン認識奥行き情報Ｄｓを合成する。これにより、近距離と遠距離の双方の奥行き情報を精度よく得ることができるようになる。

＜２．第２実施形態＞
[奥行き推定装置の機能的構成例]
図１２は、本技術が適用される奥行き情報推定装置３１の機能的構成例を示すブロック図である。奥行き情報推定装置３１は、ステレオカメラを用いて近距離の奥行き情報を取得すると共に、近距離の領域をマスクして消失線と消失点を検出することで遠距離のシーン認識奥行き情報を推定し、これら近距離と遠距離の各奥行き情報を組み合わせる。

奥行き情報推定装置３１は、画像取得部４１、カメラ画像奥行き情報取得部４２、奥行きマスク生成部４３、近距離物体除去部４４、シーン認識奥行き情報推定部４５、及び奥行き情報合成部４６から構成される。

なお、図１２の奥行きマスク生成部４３、近距離物体除去部４４、シーン認識奥行き情報推定部４５、及び奥行き情報合成部４６のそれぞれの機能的構成は、図１の奥行きマスク生成部１４、近距離物体除去部１５、シーン認識奥行き情報推定部１６、及び奥行き情報合成部１７の機能的構成と基本的に同様で一致する。したがって、以下では、図１の奥行き情報推定装置１との一致点の説明は簡略化し、主にその差異点を説明する。

画像取得部４１は、内蔵するか、外部に配置されたステレオカメラにより被写体が撮像された結果得られる左画像及び右画像を取得して、カメラ画像奥行き情報取得部４２に供給する。また、画像取得部４１は、取得した左画像及び右画像のうちのどちらか一方の画像をカメラ画像として、近距離物体除去部４４に供給する。

カメラ画像奥行き情報取得部４２は、画像取得部４１から供給された左画像及び右画像に対してステレオマッチング処理を施すことにより、画素毎のカメラ画像奥行き情報を取得する。即ち、カメラ画像奥行き情報取得部４２は、左画像及び右画像における同一被写体の位置ずれを検出し、検出された位置ずれに対して三角測量の原理を用いて各画素のカメラ画像奥行き情報を取得する。カメラ画像奥行き情報取得部４２は、取得された画素毎のカメラ画像奥行き情報を、奥行きマスク生成部４３と奥行き情報合成部４６に供給する。

近距離物体除去部４４は、奥行きマスク生成部４３により供給された奥行きマスクに基づいて、画像取得部４１から供給されたカメラ画像（即ち、左画像及び右画像のうちのどちらか一方の画像）から近距離物体を除去する。これにより、遠距離対象画像が生成され、シーン認識奥行き情報推定部４５に供給される。

シーン認識奥行き情報推定部４５は、近距離物体除去部４４から供給された遠距離対象画像から、遠距離のシーン認識奥行き情報を推定する。シーン認識奥行き情報推定部４５は、推定された遠距離のシーン認識奥行き情報を、奥行き情報合成部４６に供給する。

奥行き情報合成部４６は、奥行きマスク生成部４３から供給された奥行きマスクを用いて、カメラ画像奥行き情報取得部４２から供給されたカメラ画像奥行き情報と、シーン認識奥行き情報推定部４５から供給されたシーン認識奥行き情報とを合成して、合成奥行き情報を生成する。奥行き情報合成部４６は、合成奥行き情報を、奥行き情報推定装置３１の処理結果として外部に出力する。

[奥行き情報推定処理]
次に、このような図１２の機能的構成例を有する奥行き情報推定装置３１が実行する奥行き情報推定処理の流れについて説明する。

図１３は、奥行き情報推定処理の流れの一例を説明するフローチャートである。なお、図１３の奥行き情報推定処理の各処理は、図２の奥行き情報推定処理の各処理と基本的に同様の処理である。したがって、以下では、図２の奥行き情報推定処理との一致点の説明は簡略化し、主にその差異点を説明する。

ステップＳ４１において、画像取得部４１は、ステレオカメラから出力された右画像及び左画像を取得して、カメラ画像奥行き情報取得部４２に供給する。また、画像取得部４１は、取得した左画像及び右画像のうちのどちらか一方の画像をカメラ画像として、近距離物体除去部４４に供給する。

ステップＳ４２において、カメラ画像奥行き情報取得部４２は、画像取得部４１から供給された左画像及び右画像に対してステレオマッチング処理を施すことにより、カメラ画像奥行き情報を取得する。取得されたカメラ画像奥行き情報は、奥行きマスク生成部４３と奥行き情報合成部４６に供給される。

ステップＳ４３において、奥行きマスク生成部４３は、奥行きマスクを生成する。生成された奥行きマスクは、近距離物体除去部４４と奥行き情報合成部４６に供給される。

ステップＳ４４において、近距離物体除去部４４は、近距離物体を除去する。即ち、近距離物体除去部４４は、奥行きマスク生成部４３により供給された奥行きマスクに基づいて、画像取得部４１から供給されたカメラ画像から、近距離物体を除去する。その結果、遠距離対象画像が生成され、シーン認識奥行き情報推定部４５に供給される。

ステップＳ４５において、シーン認識奥行き情報推定部４５は、シーン認識奥行き情報を推定する。推定されたシーン認識奥行き情報は、奥行き情報合成部４６に供給される。

ステップＳ４６において、奥行き情報合成部４６は、奥行き情報合成処理を実行する。この処理は、図１０に示した奥行き情報合成処理と同様の処理である。

これにより、奥行き情報推定装置３１による奥行き情報推定処理は終了する。

ところで、上述の例のシーン認識奥行き情報推定部１６では、消失線と消失点に基づいてシーン認識奥行き情報を推定する手法が採用された。しかしながら、シーン認識奥行き情報を推定する手法は、これに限定されず、例えば、特開２００５−１５１５３４号公報（以下、特許文献３と称する）に記載された手法が採用されてもよい。

特許文献３の手法とは、シーンが撮像されたカメラ画像内の各画素の輝度値の高域成分のマップ（即ち、分布状態）を算定して、シーン認識奥行き情報を推定する手法をいう。

カメラ画像の全体に対して特許文献３の手法が仮に適用されたならば、例えば、カメラ画像の上部領域の輝度値の高域成分が少ない場合には、上部領域に空や平坦な壁が存在していると認識され、下部領域の高域成分が少ない場合には、下部領域に平坦な地面や水面が近距離に広がっているシーンであると認識される。そして、カメラ画像の上部領域は遠距離、下部領域は下方に行くほどシーン認識奥行き情報が小さくなる、というような奥行きモデルが選択される。

ここで、上部領域に空や平坦な壁が存在している認識される場合、近距離に高域成分を含む被写体が存在すると、このような被写体が障害となって適切な奥行きモデルの選択が困難となる。

そこで、本技術においては、カメラ画像のうち近距離の領域がマスクされた後に、奥行きモデルの選択が行われる。

具体的には、シーンを分類するための奥行きモデルが、予め複数用意される。そして、シーンが撮像されたカメラ画像のうち、奥行きマスクにより特定される近距離の領域を除外した領域内において、輝度値の高域成分のマップが算定され、当該輝度値の高域成分のマップが、何れの奥行きモデルに該当するかが選択される。所定の奥行きモデルが選択されると、選択された所定の奥行きモデルに基づいて、シーン認識奥行き情報が推定される。

これにより、適切な奥行きモデルが選択され、遠距離のシーン認識奥行き情報を精度よく推定することが可能になる。

[本技術のプログラムへの適用]
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。

入力部１０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１を駆動する。

以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本技術は、以下のような構成もとることができる。
（１）
カメラで撮像された画像を構成する各画素毎の奥行き情報を、画像奥行き情報として取得する奥行き情報取得部と、
前記奥行き情報取得部により取得された前記画像奥行き情報を用いて、前記画像から所定の領域を除去するマスクを生成するマスク生成部と、
前記マスク生成部により生成された前記マスクに基づいて、前記画像から前記所定の領域が除去された画像を処理対象として、前記処理対象の奥行き情報を推定する奥行き情報推定部と、
前記マスクを用いて、前記奥行き情報取得部により取得された前記画像奥行き情報と、前記奥行き情報推定部により推定された前記奥行き情報とを合成する奥行き情報合成部と
を備える情報処理装置。
（２）
前記奥行き情報推定部は、前記処理対象から消失線と消失点とを検出し、前記消失線と前記消失点に基づいて、前記奥行き情報を推定する
前記（１）に記載の情報処理装置。
（３）
前記マスク生成部は、前記画像を構成する前記各画素のそれぞれに対応して、前記画像の撮像位置から所定の距離以内にあるか否かを示す情報をそれぞれ保持するマップを、前記マスクとして生成する
前記（１）または（２）に記載の情報処理装置。
（４）
シーンを分類するための奥行きモデルが、予め複数用意されており、
前記奥行き情報推定部は、前記処理対象内の各画素の輝度値の高域成分のマップを求め、前記マップに基づいて複数の前記奥行きモデルの中から１つを選択し、選択した前記奥行きモデルに基づいて前記奥行き情報を推定する
前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
前記奥行き情報取得部は、センサにより検出された情報に基づいて、前記画像奥行き情報を取得する
前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
前記画像は、複数の異なる視点から撮像された場合にそれぞれ得られる複数の画像から構成され、
前記奥行き情報取得部は、前記複数の画像に対してステレオマッチング処理を施すことにより、前記画像奥行き情報を取得する
前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
前記奥行き情報推定部は、前記マスク生成部により生成された前記マスクに基づいて、前記複数の画像のうちの所定の画像から前記所定の領域が除去された画像を処理対象として、前記処理対象の前記奥行き情報を推定する
前記（１）乃至（６）のいずれかに記載の情報処理装置。

本技術は、奥行き情報を生成する情報処理装置に適用することができる。

１ 奥行き情報推定装置， １１ 画像取得部， １２ センサ情報取得部， １３ カメラ画像奥行き情報取得部， １４ 奥行きマスク生成部， １５ 近距離物体除去部， １６ シーン認識奥行き情報推定部， １７ 奥行き情報合成部， ３１ 奥行き情報推定装置

Claims (9)

1. カメラで撮像された画像を構成する各画素毎の奥行き情報を、画像奥行き情報として取得する奥行き情報取得部と、
   前記奥行き情報取得部により取得された前記画像奥行き情報を用いて、前記画像から所定の領域を除去するマスクを生成するマスク生成部と、
   前記マスク生成部により生成された前記マスクに基づいて、前記画像から前記所定の領域が除去された画像を処理対象として、前記処理対象の奥行き情報を推定する奥行き情報推定部と、
   前記マスクを用いて、前記奥行き情報取得部により取得された前記画像奥行き情報と、前記奥行き情報推定部により推定された前記奥行き情報とを合成する奥行き情報合成部と
   を備える情報処理装置。
2. 前記奥行き情報推定部は、前記処理対象から消失線と消失点とを検出し、前記消失線と前記消失点に基づいて、前記奥行き情報を推定する
   請求項１に記載の情報処理装置。
3. 前記マスク生成部は、前記画像を構成する前記各画素のそれぞれに対応して、前記画像の撮像位置から所定の距離以内にあるか否かを示す情報をそれぞれ保持するマップを、前記マスクとして生成する
   請求項２に記載の情報処理装置。
4. シーンを分類するための奥行きモデルが、予め複数用意されており、
   前記奥行き情報推定部は、前記処理対象内の各画素の輝度値の高域成分のマップを求め、前記マップに基づいて複数の前記奥行きモデルの中から１つを選択し、選択した前記奥行きモデルに基づいて前記奥行き情報を推定する
   請求項１に記載の情報処理装置。
5. 前記奥行き情報取得部は、センサにより検出された情報に基づいて、前記画像奥行き情報を取得する
   請求項１に記載の情報処理装置。
6. 前記画像は、複数の異なる視点から撮像された場合にそれぞれ得られる複数の画像から構成され、
   前記奥行き情報取得部は、前記複数の画像に対してステレオマッチング処理を施すことにより、前記画像奥行き情報を取得する
   請求項１に記載の情報処理装置。
7. 前記奥行き情報推定部は、前記マスク生成部により生成された前記マスクに基づいて、前記複数の画像のうちの所定の画像から前記所定の領域が除去された画像を処理対象として、前記処理対象の前記奥行き情報を推定する
   請求項６に記載の情報処理装置。
8. カメラで撮像された画像を構成する各画素毎の奥行き情報を、画像奥行き情報として取得し、
   取得された前記画像奥行き情報を用いて、前記画像から所定の領域を除去するマスクを生成し、
   生成された前記マスクに基づいて、前記画像から前記所定の領域が除去された画像を処理対象として、前記処理対象の奥行き情報を推定し、
   前記マスクを用いて、取得された前記画像奥行き情報と、推定された前記奥行き情報とを合成する
   ステップを含む情報処理方法。
9. コンピュータを、
   カメラで撮像された画像を構成する各画素毎の奥行き情報を、画像奥行き情報として取得する奥行き情報取得部と、
   前記奥行き情報取得部により取得された前記画像奥行き情報を用いて、前記画像から所定の領域を除去するマスクを生成するマスク生成部と、
   前記マスク生成部により生成された前記マスクに基づいて、前記画像から前記所定の領域が除去された画像を処理対象として、前記処理対象の奥行き情報を推定する奥行き情報推定部と、
   前記マスクを用いて、前記奥行き情報取得部により取得された前記画像奥行き情報と、前記奥行き情報推定部により推定された前記奥行き情報とを合成する奥行き情報合成部
   として機能させるためのプログラム。

Images