JP4716210B2 - 三次元画像データの取得方法および三次元画像用撮像システム - Google Patents

Description

本発明は、三次元画像を表示するための画像データの取得方法に係り、特に複数の撮像手段を直線上に平行配置して画像データを得る三次元画像データの取得方法および三次元画像用撮像システムに関する。

最近、三次元の立体画像を映し出すことができる三次元ディスプレイの実用化が急激に進められている。三次元ディスプレイによる三次元（立体）表示は、三次元物体を特定方向に平行射影した２次元画像である多数の指向性画像（directional image）を生成する必要がある。そして、近年、指向性画像を生成するためには、三次元カメラと称する撮像システムによって三次元画像データを取得する方法が研究されている。このような三次元カメラを実現する方法として、少数のカメラから得られる画像間のステレオマッチングにより三次元空間を数値モデル化するモデルベーストレンダリング法と、多数のカメラで構成されるカメラアレイで得られる画像間の補間処理を用いるイメージベーストレンダリング法がある。前者は、カメラ数は少なくてよいが、多くの計算量を要する。一方、後者は、少ない計算量でフォトリアリスティックな画像生成が可能であるが、多数のカメラを必要とする。

イメージベーストレンダリング法に用いられる三次元カメラのカメラ配置（カメラアレイ）は、複数のカメラを円弧配置したものと、特許文献１に記載されているように平行配置したものとがある。図５は、複数のカメラを円弧配置した撮像システム（三次元カメラ）を示したものである。

図５において、三次元カメラ１０は、複数のカメラ本体１２（１２ａ〜１２ｎ）と、これらのカメラ本体１２に対応したレンズ１４（１４ａ〜１４ｎ）とにより構成してある。各カメラ本体１２は、それぞれがレンズ１６（１６ａ〜１６ｎ）と各レンズ１６の結像面に配置したＣＣＤユニット１８（１８ａ〜１８ｎ）とを有している。また、三次元カメラ１０は、カメラ本体１２のレンズ１６とレンズ１４との光軸２２が一致している。各カメラ本体１２のレンズ１６と対応したレンズ１４とがアフォーカルレンズと呼ばれ、カメラ本体１２は、アフォーカルレンズを用いたアフォーカル光学系を構成している。そして、三次元カメラ１０は、被写体２０である三次元物体の周囲に円弧状に配置してある。

このように構成してある三次元カメラ１０は、各カメラ本体１２がレンズ１４の光軸２２と平行な平行光線２４だけを撮影する。したがって、三次元カメラ１０は、特定方向に平行射影した２次元の指向性画像群を容易に得ることができる。しかし、アフォーカル光学系からなる三次元カメラ１０は、レンズ１４の光軸２２に平行な平行光線２４だけしか撮影できないため、レンズ１４の径より大きな被写体２０を撮影することができない。また、三次元カメラ１０は、カメラ本体１２やレンズ１４を円弧状に配置する必要があるため、被写体２０に対して同一円周上に配置することが困難であるとともに、撮影距離が変わったりした場合に、カメラ本体１２やレンズ１４の位置を調整するのに多くの手間と時間とを必要とする欠点を有する。

図６は、特許文献１に記載されているような、複数のカメラを平行に配置した撮像システム（三次元カメラ）を示したものである。図６において、三次元カメラ３０は、複数のカメラ本体１２が水平方向に一定の間隔で同一直線上に配置してある。各カメラ本体１２は、撮像（撮影）が可能な水平方向の角度である水平視域角φを有する通常の結像系を構成しているカメラであって、各レンズ１６の光軸２２が平行となるように配置されている。通常のカメラ結像系は、図６に示したように、異なる方向に進む多数の光線を撮影するようになっており、各カメラ本体１２により撮像した画像が一点透視画像となる。そして、三次元カメラ３０によって得た一点透視画像データから指向性画像の生成は、後述するように、画像内の一点が光線の特定の進行方向に対して１対１に対応していると考えることによって行なうことができる。

このように構成されている三次元カメラ３０は、各カメラ本体１２がレンズ１６の光軸２２を平行にして同一直線上に配置されるため、各カメラ１２を比較的容易に所定位置に配置することができる。
特開平９−２８８７３５号公報

ところで、図６に示した平行配置の三次元カメラ３０は、通常、ＣＣＤユニット１８の中心がレンズ１６の光軸２２上に配置され、水平視域角φが三次元ディスプレイの表示面（スクリーン）の表示角度範囲Φに等しくされている。そして、三次元カメラ３０によって三次元の被写体２０を撮像する場合、図７に示したように、三次元ディスプレイの三次元スクリーンに対応した仮想スクリーン４０が設定され、仮想スクリーン４０を通った被写体２０からの光線がカメラ本体１２に入射し、三次元画像のデータが得られるものとしている。

いま、各カメラ本体１２のレンズ１６が配置されている直線をＸ軸、レンズ１６の光軸２２の方向をＺ軸、このＸ軸とＺ軸とに直交した軸をＹ軸とする。また、直線上に配置したカメラアレイの中心をＸＹＺ座標系における原点Ｏ、ＸＺ面に直交して配置された仮想スクリーン４０のＸ軸からの距離をｚ_sとする。そして、仮想スクリーン４０のＸ軸に平行な１ラインを考え、この１ラインの任意の点（ｘ、ｚ_s）を通った光線４２が、図８に示したように、中心がｘ_cの位置にあるレンズ１６に入射したとする。この光線４２のＺ軸となす角をθとすると、

となる。したがって、横軸にＸ、縦軸にtanθを取った場合、この１ライン上の水平方向（Ｘ軸方向）の任意の点は、図９に示したように、傾きが１／ｚ_sでＸ軸とｘ_cにおいて交わる直線Ａ上にある。このようなＸ−tanθ座標系で画像データを表したものをエピポーラ平面画像（Epipolar Plane Image：ＥＩＰ）という。

そこで、Ｘ軸上に中心間距離（ピッチ）ｐでレンズ１６が配置された複数のカメラ本体１２によるＥＰＩを求めると、図１０のように各カメラ本体１２に対応した平行な複数の直線として得られる。そして、Ｚ軸、すなわち光軸２２に対する傾き角θを任意の傾き角ξとした場合、tanθ＝tanξにおける各直線の画像データによって得られる画像が、ξ方向に平行射影した１ラインの指向性画像４４となる。

三次元ディスプレイのスクリーンに対応した仮想スクリーン４０は、Ｚ軸に直交した二次元平面である。したがって、仮想スクリーン４０の水平方向（Ｘ軸方向）の幅をＷ、上下方向（Ｙ軸方向）の高さをＨとした場合、上記のようにして複数のカメラ本体１２によって得たＥＰＩ上の撮影画像は、図１１に符号４６として示したように、相互に平行な平面として表される。そして、任意な方向へ平行射影した指向性画像はtanθ軸に直交した平面として求められる。なお、図１１においては、中心と両端の３台のカメラ本体１２によって撮像（撮影）した場合を示している。

上記したように、カメラ本体１２を平行配置した従来の三次元カメラ３０は、ＣＣＤユニット１８の中心がレンズ１６の光軸上に配置されるとともに、視域角φが三次元ディスプレイのスクリーンの表示角度範囲Φが得られるように設定される。したがって、仮想スクリーン４０を通ってレンズに入射する光線の傾き角θは、最大でΦ／２である。このため、撮影画像４６は、図１１に示したように、Ｘ軸となす角αが比較的大きな角度となる。また、三次元カメラ３０は、カメラ本体１２がある大きさを有しているために、カメラ本体１２を所定のピッチｐをもって配置せざるを得ない。このため、三次元カメラ３０によって得られる被写体（三次元物体）２０の画像データは、連続的なものにならない。すなわち、例えば図１０の指向性画像４４上の点ｑは、三次元カメラ３０によって取得した画像データに含まれていない。このため、三次元カメラ３０によって得た画像データから三次元画像を生成する場合、点ｑなどは、撮像して取得した画像データに基づいて補間などにより画像データを生成する必要がある。

ところが、被写体２０は、三次元物体であって奥行きを有している。このため、仮想スクリーン４０上の点ｑの画像データを補間する場合、被写体２０の奥行きを考慮する必要がある。しかし、一般に被写体２０の大きさはわかったとしても、点ｑを通過した光線が射出された三次元物体上の点の奥行きの距離は、不明であって、正しい補間を行なうことができない。そこで、点ｑの画像データは、図１０の２点鎖線の直線Ｂに示したように、例えば平均的な奥行きを考慮した直線の傾き角を仮定し、この直線Ｂと交差する隣接した２つの画像データの画素ｅ₁、ｅ₂のデータに基づいた補間によって生成している。

しかし、直線Ｂのように仮定した直線の方向は、正しいとは限らない。点ｑを通過する正しい直線が図１２の実線Ｃであるとすると、本来補間に使用すべき画素Ｅ₁、Ｅ₂のデータと異なったデータに基づいた補間を行なうことになり、求めた点ｑの画像データに大きな誤差が含まれることになる。この誤差は、撮影画像（画像データ）４６とＸ軸となす角αが大きければ大きいほど大きくなる。そして、従来の三次元カメラ３０は、この角αが比較的大きいため、三次元ディスプレイに表示した三次元画像に大きな誤差が含まれ、高精度な三次元画像を表示することができない。このため、従来の三次元カメラ３０は、高精度な三次元画像を表示しようとする場合、撮影画像データ間の間隔を小さくする必要があり、すなわち、カメラ本体１２のピッチｐを小さくしてカメラ本体１２の数を多くする必要がある。

また、従来の三次元カメラ３０によって得られた撮影画像４６のデータのうち、三次元ディスプレイに三次元画像として表示するために必要な画像データは、スクリーンサイズが一定で表示角度範囲がΦであることから、図１１の網掛け部分に相当する部分である。このため、従来の三次元カメラ３０によって取得した画像データは、図１１の網掛け部の両側に、三次元画像の生成に使用しない多くの無駄な画像データを含んでおり、データの取得効率、使用効率が非常に悪い。

本発明は、前記従来技術の欠点を解消するためになされたもので、高精度な三次元画像を表示できるようにすることを目的としている。
また、本発明は、撮像手段の数を削減できるようにすることを目的としている。
さらに、本発明は、高精度な三次元画像を表示できるようにすることを目的としている。
そして、本発明は、画像データの取得効率を向上することなどを目的としている。

上記の目的を達成するために、本発明に係る三次元画像データの取得方法は、光軸を相互に平行にされて直線上に配置した複数のレンズを介して被写体を撮像する三次元画像データの取得方法において、前記各レンズに対応させた撮像素子ユニットの中心を、前記レンズの光軸に対して前記被写体と反対側に離間させて撮像し、前記各レンズおよび前記各レンズに対応させた撮像素子ユニットにより形成される視域角が、三次元画像を表示する表示面の表示角度範囲に相当する角度より小さくしてあり且つ前記被写体全体を撮像できる角度にすることにより、撮像された画像データをエピポーラ平面画像として表した場合の該エピポーラ平面画像に対応する平面の傾きを、前記視域角と前記表示角度範囲に相当する角度とが等しい場合の傾きよりも小さくしたことを特徴としている。前記撮像素子ユニットと前記光軸との離間距離は、前記レンズと前記被写体との距離の大きさに応じて大きくするとよい。

また、本発明に係る三次元画像用撮像システムは、光軸を平行にして同一直線上に配置した複数の撮像手段を備えた三次元画像用撮像システムにおいて、前記各撮像手段は、レンズとレンズの結像面に配置した撮像素子ユニットとを有し、前記各撮像素子ユニットは、中心が被写体から遠くに配置された前記撮像手段ほど、前記レンズの光軸に対して前記被写体の反対側に大きく離間させた位置に配置してある、ことを特徴としている。前記各撮像手段は、視域角φが三次元画像を表示する表示面の表示角度範囲Φに相当する角度より小さくし且つ前記被写体全体を撮像できる角度にすることにより、撮像された画像データをエピポーラ平面画像として表した場合の該エピポーラ平面画像に対応する平面の傾きを、前記視域角と前記表示角度範囲に相当する角度とが等しい場合の傾きよりも小さくすることができる。

上記のごとくなっている本発明は、撮像手段の視域角を、三次元画像を表示する表示面の表示角度範囲に相当する角度より小さくしたことにより、複数の撮像素子ユニットによって得たＥＰＩ上における撮像（撮影）画像に対応する平面の傾きが小さくなるため、相互の間隔が小さくなり、撮像素子ユニットによって画像データが得られない点の画像データを補間法などによって生成する場合、仮定した光線に基づいて補間に使用する画素が、本来使用すべき画素に近くなる。このため、補間によって得られた画像データの誤差を小さくすることができ、精度の高い三次元画像を表示することができる。この結果、本発明は、従来と同じ精度の三次元画像を表示するのに必要とする撮像手段の数を削減することができる。

また、本発明は、撮像素子ユニットの中心をレンズの光軸に対して、被写体の反対側に離間させて撮像するようになっているため、三次元画像を生成するのに必要としない無駄な画像データの量を大幅に減らすことができ、画像データの取得効率を大幅に向上することができる。したがって、画像データを記憶するメモリを小さくすることが可能で、三次元画像を生成する演算処理を容易、迅速に行なうことができる。

本発明に係る三次元画像データの取得方法および三次元画像用撮像システムの好ましい実施の形態を、添付図面に従って詳細に説明する。
図１は、本発明の実施の形態に係る三次元画像用撮像システムの一部を示す説明図である。図１において、三次元画像用撮像システムである三次元カメラ５０は、複数のカメラ本体５２（５２ａ〜５２ｎ）から構成してある。なお、図１においては、中央部の３台のカメラ本体５２（ｉ−１）、５２ｉ、５２（ｉ＋１）のみが図示してあって、他は省略してある。

これらのカメラ本体５２は、撮像手段となっていて、レンズ５４（５４ａ〜５４ｎ）と、各レンズ５４に対応した撮像素子ユニットであるＣＣＤユニット５６（５６ａ〜５６ｎ）を有している。各ＣＣＤユニット５６は、多数のＣＣＤ素子をマトリックス状に配置して構成してある。各カメラ本体５２のレンズ５４は、レンズ５４の光軸２２が相互に平行にされ、同一直線上に所定の中心間距離（ピッチ）ｐでもって等間隔に配置してある。また、図１においては、レンズ５４を配置した直線をＸ軸、レンズ５４の光軸２２の方向をＺ軸、Ｘ軸とＺ軸とに直交した軸をＹ軸にしてある。そして、中央のカメラ本体５２ｉを構成しているレンズ５４ｉの中心がＸＹＺ座標系の原点Ｏにしてある。

各カメラ本体５２は、水平方向の撮像（撮影）できる範囲である水平視域角φが、図示しない三次元ディスプレイの表示面（スクリーン）に対応した仮想スクリーン４０の水平表示角度幅Φより小さくしてある。ただし、水平視域角φは、実施形態の場合、三次元物体である被写体２０の全体を撮像できる角度を有している。

各カメラ本体５２は、カメラ本体５２ごとにレンズ５４とＣＣＤユニット５６との相対位置関係が異なっている。すなわち、被写体２０に正対させた中央のカメラ本体５２ｉは、ＣＣＤユニット５６の中心５８ｉがレンズ５４ｉの光軸２２上に配置してある。しかし、中央のカメラ本体５２ｉの図１における左側に配置されたカメラ本体５２（ｉ−１）は、ＣＣＤユニット５６（ｉ−１）の中心５８（ｉ−１）がレンズ５４（ｉ−１）の光軸２２の左側に、すなわち光軸２２に対して被写体２０の反対側にｂだけ離間させて配置してある。また、カメラ本体５２ｉの右側のカメラ本体５２（ｉ＋１）は、ＣＣＤユニット５６（ｉ＋１）の中心５８（ｉ＋１）がレンズ５４（ｉ＋１）の光軸２２に対して被写体２０の反対側となる右側にｂだけ離間させて配置してある。

この離間距離ｂは、実施形態の場合、カメラ本体５２の位置が被写体２０から遠ければ遠いほど、すなわち中心のレンズ５４ｉから遠ければ遠いほど大きくしてあって、一番外側に配置されたカメラ本体５２ａ、５２ｎ（いずれも図示せず）において最大となる。そして、最大離間距離は、原点Ｏと被写体２０との距離によって定まる。

このようになっている実施形態の三次元カメラ５０は、一つのカメラの水平視域角φが三次元表示面の水平表示角度域Φより小さいため、図２に示したように、ＥＰＩ上における撮影画像６０（６０ａ〜６０ｎ）のＸ軸となす角αが小さくなる。このため、図３に示したように、指向性画像６２の撮影画像６０にない点ｒの画像データを求めるために、被写体２０の奥行きを考慮した直線Ｄを仮定した場合、補間に使用する画素ｅ₃、ｅ₄が、正しい直線Ｆに基づいて使用すべき画素Ｅ₃、Ｅ₄に近くなる。したがって、画素ｅ₃、ｅ₄に基づいて得た点ｒの画像データの誤差が小さくなり、高精度な三次元画像を表示することができる。このため、従来の三次元カメラによる三次元画像と同じ精度の三次元画像を得るために必要とするカメラ本体の数を少なくすることができる。

しかも、カメラ本体５２は、図１に示したように、ＣＣＤユニット５６の中心５８をレンズ５４の光軸２２から離間させ、被写体２０の全体を撮影できるようにしてあるため、図２に示したように、三次元画像の表示に必要としない画像データが、網掛け部の上下の部分だけとなり、非常に少なくすることができる。このため、三次元画像を生成するのに必要な画像データの取得効率が向上する。

従来の三次元カメラ３０と実施の形態に係る三次元カメラ５０とによって同じ三次元物体を撮像（撮影）し、生成した三次元画像の精度の比較と、三次元映像を表示するのに必要とするカメラ本体の数を求めた。三次元表示装置の表示面の表示角度範囲Φは２１．２度であり、被写体（三次元物体）２０の奥行きは５０ｍｍである。また、従来の三次元カメラ３０の各カメラ本体１２の水平視域角φは表示角度範囲Φと同じ２１．２度であり、実施形態の三次元カメラ５０の水平視域角φは７．９度である。比較の結果を図４に示す。

図４は、横軸が三次元画像を表示するデータを得るために必要とするカメラ本体の数、縦軸が生成した三次元画像データの、実際に撮影して得た平行射影画像データに対する誤差であるＲＭＳ（root mean square）誤差である。そして、図４において□印は従来の三次元カメラ３０による結果であり、○は実施形態の三次元カメラ５０による結果である。なお、ＲＭＳ誤差は、三次元画像データの各画素について実際に撮影して得た参照平行射影画像データとの偏差を求め、その偏差の二乗を平均した値の平方根である。また、参照平行射影画像は、カメラ本体を移動ステージに載せ、直線上を１画素分ずつ詳細に移動させて撮影することによって得た。

図４からわかるように、カメラ本体の台数が多くなるほど誤差の少ない高精度な三次元画象を得ることができる。また、実施形態に係る三次元カメラ５０は、従来の三次元カメラ３０に比較して誤差が小さく、高精度な三次元画像を生成することができる。そして、誤差が急激に大きくなる点を最低限必要とするカメラ本体の数とすると、従来の三次元カメラ３０では３２台であったものが、実施形態の三次元カメラ５０では２４台でよく、カメラ本体の数を大幅に削減することができることがわかる。

本発明の実施の形態に係る三次元画像用撮像装置の説明図である。 実施形態の三次元カメラによって得た撮影画像の説明図である。 実施形態の三次元カメラによる三次元画像データの補間を説明する図である。 実施形態の三次元カメラと従来例の三次元カメラとによって得た三次元画像の誤差の比較図である。 従来のカメラ本体を円弧状に配置した三次元カメラの説明図である。 従来のカメラ本体を直線上に平行配置した三次元カメラの説明図である。 従来のカメラ本体を平行配置した三次元カメラによる三次元画像データの取得原理の説明図である。 従来のカメラ本体を平行配置した三次元カメラによるＥＰＩの原理の説明図である。 ＥＰＩの説明図である。 複数のカメラ本体によって得たＥＰＩの説明図である。 従来のカメラ本体を平行配置した三次元カメラによる撮影画像の説明図である。 指向性画像の撮影画像データにない点の画像データを生成する方法の１例の説明図である。

符号の説明

１０、３０………三次元カメラ、１２、１２ａ〜１２ｎ、………カメラ本体、１６、１６ａ〜１６ｎ………レンズ、１８、１８ａ〜１８ｎ………ＣＣＤユニット、２０………被写体、２２………光軸、５０………三次元画像用撮像システム（三次元カメラ）、５２（ｉ−１）〜５２（ｉ＋１）………カメラ本体、５４（ｉ−１）〜５４（ｉ＋１）………レンズ、５６………撮像素子ユニット（ＣＣＤユニット）、５８（ｉ−１）〜５８（ｉ＋１）………中心。

Claims (3)

1. 光軸を相互に平行にされて直線上に配置した複数のレンズを介して被写体を撮像する三次元画像データの取得方法において、
   前記各レンズに対応させた撮像素子ユニットの中心を、前記レンズの光軸に対して前記被写体と反対側に離間させて撮像し、
   前記各レンズおよび前記各レンズに対応させた撮像素子ユニットにより形成される視域角が、三次元画像を表示する表示面の表示角度範囲に相当する角度より小さくしてあり且つ前記被写体全体を撮像できる角度にすることにより、撮像された画像データをエピポーラ平面画像として表した場合の該エピポーラ平面画像に対応する平面の傾きを、前記視域角と前記表示角度範囲に相当する角度とが等しい場合の傾きよりも小さくしたことを特徴とする三次元画像データの取得方法。
2. 請求項１に記載の三次元画像データの取得方法において、
   前記撮像素子ユニットの中心と前記光軸との離間距離は、前記レンズと前記被写体との距離の大きさに応じて大きくしてあることを特徴とする三次元画像データの取得方法。
3. 光軸を平行にして同一直線上に配置した複数の撮像手段を備えた三次元画像用撮像システムにおいて、
   前記各撮像手段は、レンズとレンズの結像面に配置した撮像素子ユニットとを有し、視域角が三次元画像を表示する表示面の表示角度範囲に相当する角度より小さくしてあり且つ被写体全体を撮像できる角度にすることにより、撮像された画像データをエピポーラ平面画像として表した場合の該エピポーラ平面画像に対応する平面の傾きを、前記視域角と前記表示角度範囲に相当する角度とが等しい場合の傾きよりも小さくしてあり、
   前記各撮像素子ユニットは、中心が前記被写体から遠くに配置された前記撮像手段ほど、前記レンズの光軸に対して前記被写体の反対側に大きく離間させた位置に配置してある、
   ことを特徴とする三次元画像用撮像システム。

Images