JP4852591B2 - 立体画像処理装置、方法及び記録媒体並びに立体撮像装置 - Google Patents

Description

本発明は立体画像処理装置、方法及びプログラム並びに立体撮像装置に係り、特に複数の撮像ユニットの設置姿勢、ズーム率等のばらつきに起因する複数の画像間の画角のばらつきを幾何学的に補正する技術に関する。

１台のカメラに複数の撮像ユニットを備えた、いわゆる複眼カメラは、同一被写体を複数の視点から撮像することができるため、被写体の３次元情報の取得などに用いられる。映像観賞の分野においては、各撮像ユニットから得られた視差のある画像を用い、レンチキュラーレンズシートを利用したプリントなどの３次元映像の観賞媒体が存在し、それら媒体向けの画像入力手段として複眼カメラが用いられている。

前述の通り複眼カメラは、複数の撮像ユニットから構成されているため、各撮像ユニットのレンズ、撮像素子などの特性のばらつき、あるいは撮像ユニットをマウントする際に撮像ユニットごとに設置姿勢にばらつきがあると、良好な視差画像が得られない。特に、後者のばらつきは、正確な視差情報の取得には大きな影響を与えるため、３次元映像の立体感、見やすさなどが損なわれないためにも、撮像ユニットの設置姿勢のばらつきを抑制することが重要である。

図１１（Ａ）に示すように被写体（人物）を２つの撮像ユニットにより撮像した場合、図１１（Ｂ）に示すような理想的な視差画像（視差に起因して被写体が水平方向にずれ、カメラの姿勢ばらつきがない視差画像）を得ることは難しく、実際に得られる視差画像は視差だけでなく、撮像ユニットの姿勢に起因する画像のずれが生じる（図１１（Ｃ））。

複眼カメラ製造の過程において、上記ばらつきが発生しないよう撮像ユニットを高精度にマウントすることが望ましいが、精度を求めるがゆえに生産性の低下、作業工数の増加などといった問題が発生する。

このような課題に対して、従来、複眼カメラにて撮影された画像を幾何学的に変形させることで、撮像ユニット間の幾何学的な特性差を吸収する方法が提案されている（特許文献１、２）。

特許文献１に記載の方法は、複数台のカメラの位置や向きのずれから生じる射影歪みを補正するために、各カメラで撮影された画像をそれぞれ同一平面上に投影し、各カメラの画像を同一平面上の画像に補正するようにしている。

また、特許文献２に記載の方法は、２つの撮像部により被写体を同時に撮影した際に生じる画角のずれのうち、撮像部の姿勢・ズーム率の差に起因するものを補正することを目的とし、各撮像部から得られた画像間で対応点検出を行い、各画像の対応点が一致するような幾何補正パラメータを算出し、それを用いて画像を変形するようにしている。
特開平７−２９４２１５号公報 特開２００６−１５７４３２号公報

しかしながら、特許文献１に記載の方法は、各画像を強制的に同一平面上に投影する画像処理を行うため、投影後の画像間に生じる視差は、意図しない不適切なものとなる問題がある。

一方、特許文献２に記載の方法は、２つの画像間の対応点が一致するように画像を変形させるため、本来残したい視差に起因する画角ずれも補正されてしまい、視差の情報が失われるという問題がある。

本発明はこのような事情に鑑みてなされたもので、複数の撮像ユニットの設置姿勢、ズーム率等のばらつきに起因する複数の画像間の画角のばらつきを幾何変形により吸収する際に、本来画像間に生じるべき視差による画角ずれを残すように幾何変形することができ、これにより理想的な視差画像を得ることができる立体画像処理装置、方法及びプログラム並びに立体撮像装置を提供することを目的とする。

前記目的を達成するために、本発明の第１の態様に係る立体画像処理装置は、複数の視点から同一被写体を撮影した複数の画像を取得する画像取得手段と、前記取得した複数の画像のうちの所定の画像を基準画像として選択し、前記基準画像以外の画像を対象画像として選択し、前記基準画像と対象画像との間で特徴が略一致する複数の組の対応点を検出する対応点検出手段と、前記検出した複数の組の対応点のうちの一方の対応点のｘｙ座標値と、他方の対応点のｘｙ座標値とのうち、前記複数の視点の視差方向と直交する方向のｙ座標値のみが略一致するように前記対象画像を幾何変形するための幾何変形パラメータを推定するパラメータ推定手段と、前記推定した幾何変形パラメータに基づいて前記対象画像を幾何変形する画像変形手段と、を備えたことを特徴としている。

上記第１の態様に係る発明によれば、複数の視点から同一被写体を撮影した複数の画像のうちの所定の画像（基準画像）と前記基準画像以外の画像（対象画像）のそれぞれの対応点間の変位のうち、前記複数の視点の視差方向と直交する方向の成分を略ゼロにするという拘束条件を設けた上で、対象画像を幾何変形するための幾何変形パラメータを推定するようにしている。即ち、前記検出した複数の組の対応点のうちの一方の対応点のｘｙ座標値と、他方の対応点のｘｙ座標値とのうち、前記複数の視点の視差方向と直交する方向のｙ座標値のみが略一致するように前記対象画像を幾何変形するための幾何変形パラメータを推定する。このようにして推定した幾何変形パラメータに基づいて対象画像を幾何変形することで、本来、基準画像と対象画像間に生じるべき視差による画角ずれを残しつつ、視差方向と直交する方向の画角ずれを補正することができ、理想的な視差画像を得ることができる。

本発明の第２の態様は、上記第１の態様に係る立体画像処理装置において、前記幾何変形パラメータは、複数のパラメータからなり、前記パラメータ推定手段は、少なくとも前記検出した複数の組の対応点のうちの一方の対応点のｘｙ座標値と他方の対応点のｙ座標値とを用いて、前記複数のパラメータの少なくとも一部を推定することを特徴としている。

本発明の第３の態様は、上記第２の態様に係る立体画像処理装置において、前記パラメータ推定手段は、前記推定した複数のパラメータの一部を用いて、前記複数のパラメータの残りのパラメータを算出することを特徴としている。

即ち、幾何変形を行うための変換式の種類によっては、前記検出した複数の組の対応点のうちの一方の対応点のｘｙ座標値と他方の対応点のｙ座標値とを用いて、複数のパラメータのうちの全てのパラメータを推定することができる場合と、一部のパラメータしか推定できない場合があるが、後者の場合であっても、推定した一部のパラメータから残りのパラメータを算出することができる。

本発明の第４の態様は、上記第２の態様に係る立体画像処理装置において、前記幾何変形パラメータは射影変換パラメータであり、前記パラメータ推定手段は、前記検出した複数の組の対応点のうちの５組以上を選択し、前記選択した各組の対応点の座標値に基づいて、少なくとも射影変換先のｙ座標値を決定するためのパラメータを推定することを特徴としている。

本発明の第５の態様は、上記第４の態様に係る立体画像処理装置において、前記パラメータ推定手段は、前記推定した少なくとも射影変換先のｙ座標値を決定するためのパラメータに基づいて、射影変換先のｘ座標値を決定するために必要な残りのパラメータを算出することを特徴としている。

即ち、画像の幾何変形を射影変換により行う場合には、５組以上の一方の対応点のｘｙ座標値と他方の対応点のｙ座標値に基づいて射影変換パラメータのうち、一部のパラメータ（少なくとも射影変換先のｙ座標値を決定するためのパラメータ）しか推定することができないが、残りのパラメータ（射影変換先のｘ座標値を決定するために必要なパラメータ）は、前記推定したパラメータに基づいて算出することができる。

本発明の第６の態様は、上記第２の態様に係る立体画像処理装置において、前記幾何変形パラメータはヘルマート変換パラメータであり、前記パラメータ推定手段は、前記検出した複数の組の対応点のうちの３組以上を選択し、前記選択した各組の対応点の座標値に基づいて前記ヘルマート変換パラメータを推定することを特徴としている。

即ち、画像の幾何変形をヘルマート変換により行う場合には、３組以上の一方の対応点のｘｙ座標値と他方の対応点のｙ座標値に基づいてヘルマート変換パラメータの全てを推定することができる。

本発明の第７の態様に係る立体画像処理方法は、複数の視点から同一被写体を撮影した複数の画像を取得する画像取得工程と、前記取得した複数の画像のうちの所定の画像を基準画像として選択し、前記基準画像以外の画像を対象画像として選択し、前記基準画像と対象画像との間で特徴が略一致する複数の組の対応点を検出する対応点検出工程と、前記検出した複数の組の対応点のうちの一方の対応点のｘｙ座標値と、他方の対応点のｘｙ座標値とのうち、前記複数の視点の視差方向と直交する方向のｙ座標値のみが略一致するように前記対象画像を幾何変形するための幾何変形パラメータを推定するパラメータ推定工程と、前記推定した幾何変形パラメータに基づいて前記対象画像を幾何変形する画像変形工程と、を含むことを特徴としている。

本発明の第８の態様は、上記第７の態様に係る立体画像処理方法において、前記幾何変形パラメータは、複数のパラメータからなり、前記パラメータ推定工程は、少なくとも前記検出した複数の組の対応点のうちの一方の対応点のｘｙ座標値と他方の対応点のｙ座標値とを用いて、前記複数のパラメータの少なくとも一部を推定することを特徴としている。

本発明の第９の態様は、上記第８の態様に係る立体画像処理方法において、前記パラメータ推定工程は、前記複数の組の総数をＮ個とすると、前記Ｎ個の組から前記幾何変形パラメータのうちの少なくとも変換先のｙ座標値を決定するためのパラメータの推定に必要な数の組をランダムに選択する第１の工程と、前記第１の工程によりランダムに選択された各対応点の座標値に基づいて推定したパラメータを用いて、前記Ｎ個の組についてそれぞれ一方の対応点の変換先のｙ座標値を算出する第２の工程と、前記第２の工程により算出された一方の対応点の変換先のｙ座標値と他方の対応点のｙ座標値との差分を前記Ｎ個の組についてそれぞれ算出する第３の工程と、前記第３の工程により算出された差分が予め設定した第１の閾値未満となる対応点の組の個数を計数する第４の工程と、前記計数した組の個数と前記Ｎ個との割合に基づいて前記推定したパラメータの信頼度を判定する第５の工程と、を含み、前記判定された信頼度が予め設定した信頼度に達するまで、又は予め設定した反復回数に達するまで前記第１の工程から第５の工程の処理を繰り返すことを特徴としている。

上記第９の態様に係る発明によれば、前記検出された複数の対応点の組の総数がＮ個ある場合に、Ｎ個の組の中から、幾何変形パラメータのうちの少なくとも変換先のｙ座標値を決定するためのパラメータの推定に必要な数の組（射影変換の場合は５組、ヘルマート変換の場合は３組）として、適切な組み合わせのものを決定できるようにしている。即ち、Ｎ個の組からパラメータの推定に必要な数の組をランダムに選択し、その選択した組の各対応点の座標値に基づいて推定したパラメータを用いて、Ｎ個の組についてそれぞれ一方の対応点の変換先のｙ座標値を算出する。この算出された変換先のｙ座標値と、他方の対応点のｙ座標値との差分をＮ個の組についてそれぞれ算出し、この算出した差分が予め設定した第１の閾値未満となる対応点の組の個数を計数する。この計数した組の個数と前記Ｎ個との割合に基づいて、前記推定したパラメータの信頼度を判定している。そして、前記推定したパラメータの信頼度の判定結果が予め設定した信頼度に達するまで、又は予め設定した反復回数に達するまで前記ランダムな組の選択等の処理を繰り返し、これにより、少なくとも変換先のｙ座標値を決定するためのパラメータの推定に必要な数の組として、適切な組み合わせのものを決定できるようにしている。

本発明の第１０の態様は、上記第９の態様に係る立体画像処理方法において、前記パラメータ推定工程は、前記判定された信頼度が予め設定した信頼度に達したときの前記推定したパラメータ、又は前記反復回数中で最も信頼度が高いときの前記推定したパラメータを用いて、前記Ｎ個の組についてそれぞれ一方の対応点の変換先のｙ座標値を算出する第６の工程と、前記第６の工程により算出された一方の対応点の変換先のｙ座標値と他方の対応点のｙ座標値との差分をＮ個の組についてそれぞれ算出する第７の工程と、前記第７の工程により算出された差分が予め設定した第２の閾値未満となる対応点の組のみを前記Ｎ個の組から選択する第８の工程と、前記第８の工程で選択された対応点の組のみを用いて前記複数のパラメータを算出する第９の工程と、を含むことを特徴としている。

即ち、前記推定したパラメータは所望の信頼度を有するものであり、このパラメータにより変換された一方の対応点の変換先のｙ座標値と他方の対応点のｙ座標値とは本来ならば略一致し、その差分は予め設定した第２の閾値未満となる。一方、前記差分が前記第２の閾値未満にならない対応点の組は不適切な組とみなして排除し、前記差分が前記第２の閾値未満になる対応点の組のみを抽出する。そして、このようにして抽出した組のみを用いて複数のパラメータを再度算出し、更にパラメータの信頼度を向上させるようにしている。

本発明の第１１の態様は、上記第１０の態様に係る立体画像処理方法において、前記第９の工程は、前記第８の工程で選択された複数の組の一方の対応点の変換先のｙ座標値と他方の対応点のｙ座標値との差の自乗和を最小にする前記複数のパラメータを算出することを特徴としている。即ち、最小自乗法により最終の複数のパラメータの推定を行っている。

本発明の第１２の態様に係る立体画像処理プログラムは、複数の視点から同一被写体を撮影した複数の画像を取得する画像取得機能と、前記取得した複数の画像のうちの所定の画像を基準画像として選択し、前記基準画像以外の画像を対象画像として選択し、前記基準画像と対象画像との間で特徴が略一致する複数の組の対応点を検出する対応点検出機能と、前記検出した複数の組の対応点のうちの一方の対応点のｘｙ座標値と、他方の対応点のｘｙ座標値とのうち、前記複数の視点の視差方向と直交する方向のｙ座標値のみが略一致するように前記対象画像を幾何変形するための幾何変形パラメータを推定するパラメータ推定機能と、前記推定した幾何変形パラメータに基づいて前記対象画像を幾何変形する画像変形機能と、をコンピュータに実現させることを特徴としている。

本発明の第１３の態様に係る立体撮像装置は、上記第１から第６のいずれかの態様に係る立体画像処理装置と、複数の視点位置にそれぞれ配置され、該視点位置から同一被写体をそれぞれ撮像する複数の撮像ユニットと、を備え、前記画像取得手段は、前記複数の撮像ユニットによってそれぞれ撮像された複数の画像を取得することを特徴としている。

本発明によれば、複数の視点から同一被写体を撮影した複数の画像のうちの所定の画像（基準画像）と前記基準画像以外の画像（対象画像）のそれぞれの対応点間の変位のうち、前記複数の視点の視差方向と直交する方向の成分を略ゼロにするという拘束条件を設けた上で、対象画像を幾何変形するための幾何変形パラメータを推定するようにしたため、本来画像間に生じるべき視差による画角ずれを残しつつ、視差方向と直交する方向の画角ずれを補正することができ、理想的な視差画像を得ることができる。

以下、添付図面に従って本発明に係る立体画像処理装置、方法及びプログラム並びに立体撮像装置の好ましい実施の形態について説明する。

［立体撮像装置の全体構成］
図１は本発明に係る立体撮像装置の全体構成を示すブロック図である。

同図に示すように立体撮像装置１０は、６台の撮像ユニット１〜６を備えており、同一の被写体を６視点から撮影した６枚の画像（視差画像）を取得し、所定の形式の記録用画像データとして記録する装置である。

中央処理装置（ＣＰＵ１２）には、制御バス１６を介して撮像ユニット１〜６及び発光部１８が接続されるとともに、メインメモリ２０、デジタル信号処理部２２、積算部２４、圧縮伸張処理部２６、外部記録部２８、表示部３０、対応点検出部３２、幾何変形部３４、及び幾何変形パラメータ推定部３６が接続されており、ＣＰＵ１２は、操作部１４からの操作入力に基づき所定の制御プログラムに従って立体撮像装置１０全体の動作を統括制御する制御手段として機能する。

また、撮像ユニット１〜６、メインメモリ２０、デジタル信号処理部２２、積算部２４、圧縮伸張処理部２６、外部記録部２８、表示部３０、対応点検出部３２、幾何変形部３４、及び幾何変形パラメータ推定部３６は、それぞれデータバス３８を介して接続されている。

撮像ユニット１〜６は、それぞれ図２に示すように同一の構成を有するものであり、撮影レンズ４０、絞り４１、ＩＲカットフィルタ４２、光学ローパスフィルタ４３、撮像素子（ＣＣＤ）４４、Ａ／Ｄ変換器４５、レンズ駆動部４６、絞り駆動部４７、及びＣＣＤ駆動部４８から構成されている。

撮影レンズ４０は、フォーカスレンズ、ズームレンズ等を含み、レンズ駆動部４６に駆動されて光軸に沿って前後に移動する。ＣＰＵ１２は、レンズ駆動部４６の駆動を制御することにより、フォーカスレンズの位置を制御して被写体に焦点が合うように焦点調節を行うとともに、操作部１４からのズーム指令に応じてズームレンズの位置を制御してズーミングを行う。

絞り４１は、例えば、アイリス絞りで構成されており、絞り駆動部４７に駆動されて動作する。ＣＰＵ１２は、絞り駆動部４７を介して絞り４１の開口量（絞り値）を制御し、ＣＣＤ４４への入射光量を制御する。

ＣＣＤ４４は、２次元のカラーＣＣＤ固体撮像素子により構成されている。ＣＣＤ４４の受光面には、多数のフォトダイオードが２次元的に配列されており、各フォトダイオードには所定の配列でカラーフィルタが配置されている。撮影レンズ４０、絞り４１、ＩＲカットフィルタ４２、及び光学ローパスフィルタ４３を介してＣＣＤ受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１２の指令に従ってＣＣＤ駆動部４８から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）としてＣＣＤ４４から順次読み出される。ＣＣＤ４４は、電子シャッタ機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。尚、本実施形態では、撮像素子としてＣＣＤ４４を用いているが、ＣＭＯＳセンサ等の他の構成の撮像素子を用いることもできる。

ＣＣＤ４４から読み出された画像信号は、Ａ／Ｄ変換器４５によりデジタル信号に変換された後、データバス３８を介して一旦、メインメモリ２０に格納される。

上記構成の撮像ユニット１〜６は、図３に示すように立体撮像装置１０の装置本体に対して水平方向に、かつ所定の間隔（所定の基線長）で配置されており、更に各撮像ユニット１〜６の撮影レンズの光軸が一点で交差するように輻輳角（各光軸のなす角度）が調整されて配置されている。

ＣＰＵ１２は、各撮像ユニット１〜６を同期させて駆動する。即ち、各撮影レンズ４０は、常に同じ被写体にピントが合うように焦点調整が行われ、常に同じ焦点距離（ズーム倍率）に設定される。また、常に同じ入射光量（絞り値）となるように絞り４１が調整される。

操作部１４は、シャッタボタン、電源スイッチ、モードダイヤル、十字ボタン、ズームボタン等の公知の操作入力手段を含んでいる。シャッタボタンは、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。撮影モード時には、シャッタボタンが半押しされると、撮影準備処理（即ち、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動焦点合わせ）、ＡＷＢ（Automatic White Balance：自動ホワイトバランス））が行われ、シャッタボタンが全押しされると、画像の撮影・記録処理が行われる。

発光部１８は、例えば、放電管（キセノン管）により構成され、暗い被写体を撮影する場合や逆光時等に必要に応じて発光される。

メインメモリ２０は、ＣＰＵ１２によるプログラムの実行時におけるワークエリアとして、また、撮像ユニット１〜６により撮像され取得されたデジタル画像信号を一時保持する記憶手段として使用される。

デジタル信号処理部２２は、ホワイトバランス調整回路、階調変換処理回路（例えば、ガンマ補正回路）、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、輪郭補正回路、輝度・色差信号生成回路等を含む画像処理手段として機能し、メインメモリ２０に格納されたＲ、Ｇ、Ｂの画像データに対して所定の信号処理を行う。即ち、Ｒ、Ｇ、Ｂの画像信号は、デジタル信号処理部２２において輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）からなるＹＵＶ信号に変換されるとともに、階調変換処理（例えば、ガンマ補正）等の所定の処理が施される。デジタル信号処理部２２により処理された画像信号はメインメモリ２０に格納される。

積算部２４は、シャッタボタンの半押し時に取り込まれる画像信号に基づいてＡＦ制御に必要な焦点評価値を算出したり、ＡＥ制御に必要な被写体輝度を算出する。ＣＰＵ１２は、ＡＦ制御時には積算部２４により算出される焦点評価値が極大となる位置をサーチし、その位置にフォーカスレンズを移動させることにより、被写体（主要被写体）への焦点合わせを行い、ＡＥ制御時には積算部２４により算出された被写体輝度に基づいて適正な露光量を得るための露出設定を行う。即ち、撮影感度、絞り値、シャッタ速度、フラッシュ発光の要否を設定する。

圧縮伸張処理部２６は、ＣＰＵ１２からの指令に従い、入力された画像データに圧縮処理を施し、所定形式の圧縮画像データを生成する。例えば、静止画に対してはＪＰＥＧ規格に準拠した圧縮処理が施され、動画に対してはＭＰＥＧ２やＭＰＥＧ４、Ｈ．２６４規格に準拠した圧縮処理が施される。また、圧縮伸張処理部２６は、ＣＰＵ１２からの指令に従い、入力された圧縮画像データに伸張処理を施し、非圧縮の画像データを生成する。

外部記録部２８は、上記圧縮伸張処理部２６により生成されたＪＰＥＧ形式等の画像データを格納した画像ファイルを、メモリカード等の着脱自在な外部記録媒体に記録し、又は外部記録媒体から画像ファイルの読み出しを行う。

表示部３０は、例えば、カラー液晶パネルを備えた表示装置により構成され、撮影済み画像を表示するための画像表示部として使用されるとともに、各種設定時にＧＵＩとして使用される。また、表示部３０は、撮影モード時に画角を確認するための電子ファインダとして利用される。表示部３０の表面には、かまぼこ状のレンズ群を有したいわゆるレンチキュラレンズが配置されており、複数の視点の画像（視差画像）による３次元画像（３Ｄ画像）の再生モード時には、外部記録部２８から読み出された視差画像が表示され、ユーザは立体視が可能となる。

図４（Ａ）に示すように撮像ユニット１〜６から得られる６枚の画像は、理想的には各画像間には視差のみによる被写体のずれが生じるが、実際は、図４（Ｂ）に示すように視差に加えて撮像ユニット１〜６の姿勢やズーム倍率のばらつきに因って被写体のずれが生じる。

対応点検出部３２、幾何変形部３４、及び幾何変形パラメータ推定部３６は、画像を幾何変形させて上記被写体のずれを補正する本発明の特徴部分であり、以下、図５に示すフローチャートを参照しながら説明する。

＜立体画像処理の全体的な流れ＞
図５は本発明に係る立体画像処理の全体の流れを示すフローチャートである。

［ステップＳ１０］
視差画像の撮像時には、６台の撮像ユニット１〜６により同一被写体が撮像され、得られた６枚の画像が記録される。この際、各画像はデジタル信号処理部２２により前述した各種の信号処理が施された後、メインメモリ２０に一時的に格納される。尚、外部記録部２８により外部記録媒体に記録するようにしてもよい。

［ステップＳ１２］
メインメモリ２０に格納された６枚の画像のうち、所定の１枚の画像（この実施の形態では、撮像ユニット３から得られた画像）が基準画像として設定され、その設定された基準画像がメインメモリ２０から読み出される。尚、この実施の形態では、撮像ユニット３から得られた画像を基準画像として設定するようにしたが、これに限らず、６枚の画像のうち、いずれの画像を基準画像に設定してもよい。

［ステップＳ１４］
前記設定された基準画像以外の５画像のうち所定の１画像が対象画像として選択され、その選択された対象画像がメインメモリ２０から読み出される。

［ステップＳ１６］
対応点検出部３２は、前記設定された基準画像と前記選択された対象画像との間で特徴が略一致する複数の組の対応点を検出する。

対応点検出部３２による対応点検出については、従来から様々な手法が提案されている。本発明はその手法には限定されないが、例えば、ブロックマッチング法、ＫＬＴ法(Tomasi & Kanade,1991,Detection and Tracking of Point Features)、ＳＩＦＴ(Scale Invariant Feature Transform)などの従来技術を用いることができる。

尚、この実施の形態では、便宜上、対応点検出部３２により検出された各組（ペア）の対応点のうち、基準画像から検出された対応点を特徴点と称す。

［ステップＳ１８］
幾何変形パラメータ推定部３６は、前記特徴点と対応点の複数の組の座標値に基づいて射影変換パラメータを推定・算出する。尚、このステップＳ１８の詳細については後述する。

［ステップＳ２０］
前記射影変換パラメータが正常なものとして推定されたかを判別し、正常の場合（「ｙｅｓ」の場合）には、ステップＳ２２に遷移し、正常でない場合（「ｎｏ」の場合）には、ステップＳ２２を飛ばしてステップＳ２４に遷移する。

［ステップＳ２２］
幾何変形部３４は、正常に推定された射影変換パラメータに基づいて対象画像を射影変換する。射影変換後の画像は、外部記録部２８にて外部記録媒体に記録される。

［ステップＳ２４］
前記基準画像と５枚の対象画像の全ての画像間において、上記ステップＳ１４〜Ｓ２２の処理が終了したか否かが判別される。終了していない場合にはステップＳ１４に遷移し、ここで他の対象画像の選択が行われ、終了した場合には、本立体画像処理を終了させる。

＜射影変換パラメータ推定の流れ＞
次に、複数の特徴点と対応点の組に基づいて射影変換パラメータを推定する手順について説明する。

ここで、射影変換式は、次式の通りである。

射影変換パラメータは、［数１］式中のａ、ｂ、ｓ、ｃ、ｄ、ｔ、ｐ、ｑの８個のパラメータを指す。また、(x,y)、(X,Y)は、それぞれ射影変換前後の座標値を示す。

図６（Ａ）は基準画像から抽出された特徴点（●）を基準画像上に重畳した図であり、図６（Ｂ）は対象画像から検出された対応点（○）を対象画像上に重畳した図である。

また、図６（Ｃ）には、それぞれ対応する特徴点と対応点とを結ぶベクトルが示されている。尚、図６において、特徴点Ａ(x1,y1)と対応点Ａ’(x2,y2)とは、ある１組の特徴点と対応点を示している。

本来、特徴点と対応点は、同じ高さ（＝ｙ座標値が略同じ）になるはずであるが、撮像ユニット１〜６の姿勢、ズーム率のばらつきに起因して被写体のずれが生じているため、特徴点Ａと対応点Ａ’の高さ（ｙ座標値）は一致していない。

そこで、本発明は射影変換パラメータを推定するに当たっては、特徴点と対応点を結ぶ線分（以下、「ベクトル」という）が略水平になる（つまり、特徴点と対応点のｙ座標値が略一致する）ことを１つの拘束条件とする。この拘束条件は、６つの撮像ユニット１〜６が装置本体に水平に設置されていることに基づく。もし、複数の撮像ユニットが垂直に設置されている場合には、ベクトルが垂直になるという仮定を置く必要がある。要は、複数の視点の視差方向と直交する方向の座標値が略一致するという拘束条件を設ける。

図７は本発明に係るパラメータ推定の概念を示す図である。

図７に示すように、特徴点と対応点のずれ（同図の複合ベクトル）を生じさせる要因を分離して考えると、「視差」と「撮像ユニットの姿勢等のばらつき」とがある。同図からも分かるように、複合ベクトルのｙ成分には、視差の影響はなく、撮像ユニットの姿勢等のばらつきによる成分のみが現れる。

そこで、本発明はベクトルのｙ成分からカメラ姿勢等に関連する射影変換パラメータを推定・算出する。

＜射影変換パラメータ推定の処理フロー＞
図８及び図９は本発明に係る射影変換パラメータの推定手順の一例を示すフローチャートである。

［ステップＳ１００］
基準画像から抽出した特徴点と対象画像から検出した各特徴点に対応する対応点のペア（組）の全ての組数をＮ組とした場合、このＮ組の特徴点の座標（x,y）と対応点の座標(X,Y)を読み込む。ｉ番目（１≦ｉ≦Ｎ）の組の特徴点の座標を(xi,yi)、対応点の座標を(Xi,Yi)とする。

［ステップＳ１０２］
対応点検出部３２によって得られた特徴点と対応点の組の数が少ない場合は、射影変換パラメータの推定ができないため、ペア数Ｎに対する閾値処理を行う。

即ち、特徴点と対応点の組の数Ｎに対する閾値ＴＨ１を設け、以下の条件分岐を行う。

IF Ｎ＜ＴＨ１ →パラメータの推定に失敗したというフラグを立て推定を終了する（図９のステップＳ１２４）。

ELSE →パラメータの推定を続行する。

尚、射影変換パラメータを推定するためには、最低５つの組の座標値が必要であるため、前記閾値ＴＨ１は、５以上の所定の値とする。

［ステップＳ１０４］
反復回数irandとパラメータ信頼度の最大値n_vote_maxを初期化する（両者ともに０にする）。

［ステップＳ１０６］
特徴点と対応点のＮ組のうち、５つの組をランダムに選択する。５組のランダムな選択は、乱数を使用して行うことができる。

［ステップＳ１０８］
ステップＳ１０６で選択された５組の特徴点と対応点の座標値（５つの特徴点のｘｙ座標値と、５つの対応点のｙ座標値）に基づいて、５組の特徴点と対応点のｙ座標値を一致させるための射影変換パラメータを算出する。

前述の［数１］式に示したように、ｙ方向に関する射影変換パラメータは、ｃ、ｄ、ｔ、ｐ、ｑの５つであるため、５つの点の座標値を［数１］式に代入して得られる５つ式による連立方程式を解けば、一意にパラメータ（ｃ、ｄ、ｔ、ｐ、ｑ）を算出することができる。

［ステップＳ１１０］
前記算出されたパラメータ（ｃ、ｄ、ｔ、ｐ、ｑ）を代入した射影変換式に、全ての点の組（Ｎ組）を当てはめ、以下の条件式１を満たす点の数n_voteを計数する。

この条件式１の意図するところは、５つの点の組から定めた射影変換パラメータにより、その他の点の組のｙ座標値が一致したかどうかを判断することにある。つまり、Ｎ本あるベクトルのうち、いくつのベクトルが水平になったかを表すのが、n_voteの値である。このn_voteが大きければ大きいほど、該射影変換パラメータの信頼度が高いと判断できる。

［ステップＳ１１２］
ステップＳ１１０で算出した数n_voteと、信頼度最大値n_vote_maxとを比較し、n_voteがn_vote_maxよりも大きい場合（n_vote＞n_vote_max）には、ステップＳ１１４に遷移し、小さい場合（n_vote≦n_vote_max）には、ステップＳ１１８に遷移する。

［ステップＳ１１４］
前記算出されたパラメータ（ｃ、ｄ、ｔ、ｐ、ｑ）を、中間パラメータ（c_tmp、d_tmp、t_tmp、p_tmp、q_tmp）として一時記憶するとともに、n_voteを最大値n_vote_maxとして一時記憶する。

射影変換パラメータを推定する際は、以下に説明するようにステップＳ１０６からステップＳ１１８の処理を既定回数nrand繰り返し行うが、そのうち最もn_voteが大きくなったときのパラメータが、最も信頼度が高いと考えられる。そのため、前回の信頼度n_voteをn_vote_maxとして保持しておき、今回の信頼度が前回の信頼度よりも大きくなる場合に、各パラメータを更新していく。

［ステップＳ１１６］
信頼度最大値n_vote_maxの全ての組の数Ｎに対する比率（n_vote_max／Ｎ）を求め、この比率に対する閾値処理を行う。

即ち、予め設定した閾値ＴＨ２により、以下の条件分岐を行う。

IF n_vote_max／Ｎ＜ＴＨ２ →パラメータの推定を続行する。

ELSE →パラメータの反復推定を終了し、最終の射影変換パラメータの算出に遷移する（図９のステップＳ１２６）。

尚、前記閾値ＴＨ２は、１よりも小さい１近傍の値として設定することができる。

信頼度最大値n_vote_maxは、Ｎ個の点の組のうち、推定されたパラメータによる射影変換によりｙ座標値が略一致する点の組の数であるから、n_vote_max／Ｎは、全ての点の組の数Ｎに対する適正に補正される点の数の割合を示す。従って、n_vote_max／ＮがＴＨ２以上の場合は、推定されたパラメータは十分信頼できるとして、パラメータの反復推定を終了し、最終の射影変換パラメータの算出に移行する。一方、n_vote_max／ＮがＴＨ２未満の場合は、パラメータの反復推定を続行する。

［ステップＳ１１８］
パラメータを反復推定した反復回数irandが、既定回数nrandより大きいか否かを判別する。反復回数irandが既定回数nrand以下の場合（「ｎｏ」の場合）には、ステップＳ１２０に遷移し、既定回数nrandよりも大きい場合（（「ｙｅｓ」の場合）には、ステップＳ１２２に遷移する。既定回数nrandとしては、画像中の特徴点と対応点の組の数Ｎにもよるが、１０００から１００００回程度が考えられる。

［ステップＳ１２０］
反復回数irandを１だけインクリメントし、ステップＳ１０６に遷移する。

［ステップＳ１２２］
反復回数irandが既定回数nrandよりも大きくなった場合には、ステップＳ１１４にて保持されている現在の信頼度最大値n_vote_maxの全ての組の数Ｎに対する比率（n_vote_max／Ｎ）を求め、この比率に対する閾値処理を行う。

即ち、予め設定した閾値ＴＨ３により、以下の条件分岐を行う。

IF n_vote_max／Ｎ＜ＴＨ３ →パラメータの推定に失敗したというフラグを立て推定を終了する（図９のステップＳ１２４）。

ELSE →パラメータの反復推定を終了し、最終の射影変換パラメータを算出するためのステップ（図９のステップＳ１２６）に遷移する。

尚、前記閾値ＴＨ３は、ステップＳ１１４の閾値ＴＨ２よりも小さい値であることは言うまでもない。

［ステップＳ１２４（図９）］
前述したように、特徴点と対応点の組の数Ｎが閾値ＴＨ１未満の場合（ステップＳ１０２）、又は推定したパラメータの信頼度が低い場合（n_vote_max／Ｎ＜ＴＨ３）に、射影変換パラメータの推定に失敗したという推定失敗フラグを立て、射影変換パラメータの推定を終了させる。

［ステップＳ１２６］
ステップＳ１１４で保持した中間パラメータ（c_tmp、d_tmp、t_tmp、p_tmp、q_tmp）を代入した射影変換式に、全ての点の組（Ｎ組）を当てはめ、Ｎ組から以下の条件式２を満たす組のみを残す（条件式２を満たさない組を排除する）。

これにより、信頼度の高い特徴点と対応点の組のみを残すことができる。

［ステップＳ１２８］
上記条件式２を満たした点の組のみを用い、最小自乗法による最終的なパラメータの推定を行う。ここで、条件式２を満たした点の組の数をｎとすると、最小自乗法によるパラメータ推定は、次式の評価関数Ｊ２が最小となるようにパラメータを推定する。

尚、評価関数Ｊ２は、評価関数Ｊ１と等価なものである。

具体的には、次式に示すように、評価関数Ｊ２を各パラメータ（ｃ、ｄ、ｔ、ｐ、ｑ）で偏微分して得られる５つの式それぞれを０とおき、これら５つの式により連立方程式を解けば、パラメータ（ｃ、ｄ、ｔ、ｐ、ｑ）が求められる。

以上の連立方程式を解くことで、最終のパラメータ（ｃ、ｄ、ｔ、ｐ、ｑ）が得られる。

［ステップＳ１３０］
次に、８個の射影変換パラメータ（ａ、ｂ、ｓ、ｃ、ｄ、ｔ、ｐ、ｑ）のうち、前記推定したパラメータ（ｃ、ｄ、ｔ、ｐ、ｑ）以外の射影変換先のｘ座標値を決定するために必要な残りのパラメータ（ａ，ｂ，ｓ）を決定する。

ここで、パラメータｓは、ｘ方向（視差の生じる方向）の平行移動量に相当するパラメータである。視差量が未知で、ｓを一意に定めることはできないため、ｓ＝０とする。

一方、パラメータａ，ｂの算出は、例えば、次のようにする。

今、図１０に示すような座標系を考える。原点Ｏから距離１のところに画像面があるとし、画像面上の各点を、射影面上に射影する、つまり、Ｐ１の点をＰ２に写すことを考える。

ここで、画像面と射影面のなす角度をθ、射影面をｘ’軸上にとる。また、射影面とｚ軸（画像の奥行き方向）の交点をＯ’とし、ｘ’軸上の原点とする。

Ｐ１のｘ座標値をｘ、ｘ’軸で考えたときのＰ２のｘ座標値をｘ’とすると、以下の式が成り立つ。

これを一般化し、射影面がｘ軸となす角度をθｘ，ｙ軸（図１０上で紙面と直交する方向の軸）となす角度をθｙとすれば、以下の式が得られる。

上記［数７］式上で、(x,y)は画像面上の座標値、(x',y')は射影面上での座標値である。また、ｗとｈはそれぞれ画像の幅と高さを表しており、画像の幅と高さについて規格化している。この操作は、撮像ユニットの光軸の方向を調整していることに該当する。

続いて、射影面上に射影された画像に対して、回転とスケール変化、平行移動を行う。この操作は、撮像ユニットのズーム率や、光軸の回転を調整していることに該当する。ここで、回転角度をθ_０、ズームに起因するスケール変化率をｋ、平行移動量を(s',t')とすると、以下の式が成り立つ。

上記［数８］式に［数７］式を代入すると、以下の式が得られる。

これを射影変換式（［数１］式）と比較すると、以下の関係が導かれる。

上記［数１０］式において、既にｃ、ｄ、ｔ、ｐ、ｑは既知であるため、これらの式からθｘ、θｙ、θ_０、ｋを求めることができ、これらのθｘ、θｙ、θ_０、ｋからａ，ｂを算出することができる。ただし、上述したようにｓ＝ｓ’＝０としてａ、ｂを算出する。

［ステップＳ１３２］
以上の手順により、８個の射影変換パラメータ（ａ、ｂ、ｓ、ｃ、ｄ、ｔ、ｐ、ｑ）の推定・算出が終了すると、推定成功フラグを立て、射影変換パラメータの推定を終了させる。

尚、この実施の形態では、［数３］式に示した条件を満たした点の組のみを用い、最小自乗法により最終的なパラメータの推定を行うようにしたが、これに限らず、前記中間パラメータをそのまま使用するようにしてもよい。

＜その他＞
以上の推定手法によれば、特徴点を射影変換するための射影変換パラメータが算出される。つまり、得られた射影変換パラメータは、基準画像を変形させるためのものと言える。本来、算出すべきパラメータは、対象画像を変形させるためのパラメータであるが、そうしていないことには以下の理由がある。

通常、入力された画像を変形して出力する際には、出力画像の各画素位置が入力画像上でどこに位置するかを計算する。これは、入力画像の各画素が出力画像上でどこに位置するかを計算していくと、データのない領域が発生してしまうことを回避するための一般的な手法である。つまり、対象画像を変形するために必要となるパラメータは、実際のところ、特徴点を変換するためのパラメータで良い。

また、この実施の形態では、画像の幾何変形の手法として、射影変換を用いたが、ヘルマート変換や、アフィン変換などの幾何変形を用いることも当然可能である。その場合、パラメータの推定方法が射影変換の場合と比較して若干異なる。例えば、ヘルマート変換式は、次式のように表される。

射影変換パラメータの推定方法と同様の考え方をするならば、Ｙを求める５つのパラメータ（ｃ、ｄ、ｔ、ｐ、ｑ）を５組の特徴点と対応点を用いて算出していたところを、３組の特徴点と対応点を用いて、［数１１］式のＹを求めるためのパラメータ（ａ、ｂ、ｔ）を推定するように変更すればよい。また、最小自乗法による最終的なパラメータの推定を行う場合には、評価関数Ｊを次式のようにすればよい。

尚、ヘルマート変換式では、［数１１］式に示したように、Ｘを求めるパラメータにもａ、ｂが含まれているため、Ｙを定めるパラメータを推定しさえすれば、Ｘを定めるパラメータも必然と得られることになる。また、射影変換の場合と同様、Ｘに対する平行移動成分であるパラメータｓについては、ｓ＝０として考えればよい。その他の幾何変形を行う場合も同様の考え方でその幾何変形用のパラメータを推定することが可能である。

また、この実施の形態の立体撮像装置は、６つの撮像ユニットを有する複眼カメラであるが、撮像ユニットの数は２以上あればよく、この実施の形態のものに限定されず、更に撮像ユニットが複数備わった複眼カメラに限らず、単眼のカメラが複数台備わったカメラシステムにおいても本発明を適用することができる。

更に、本発明に係る立体画像処理は、立体撮像装置によって行う場合に限らず、視差画像の撮影機能を持たないパーソナルコンピュータ等で行うようにしてもよい。この場合、従来の複眼カメラ等によって撮影された複数の画像（視差画像）をパーソナルコンピュータ等に取り込むようにすればよい。また、本発明は、理想的な視差画像を得るための幾何変形処理を行う機能を、パーソナルコンピュータに実現させるプログラムとして提供することも可能である。

また、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

図１は本発明に係る立体撮像装置の全体構成を示すブロック図である。 図２は図１に示した撮像ユニットの構成を示すブロック図である。 図３は複数の撮像ユニットの装置本体への配置と被写体との関係を説明するために用いた図である。 図４は６台の撮像ユニットにより撮像される理想的な視差画像と実際の視差画像との対応関係を示す図である。 図５は本発明に係る立体画像処理の全体の流れを示すフローチャートである。 図６は基準画像及び対象画像における特徴点と対応点との関係を示す図である。 図７は本発明に係る幾何変形のパラメータ推定の概念を説明するために用いた図である。 図８は射影変換パラメータの推定手順の一例を示すフローチャートの一部を示す図である。 図９は射影変換パラメータの推定手順の一例を示すフローチャートの残り部分を示す図である。 図１０は射影変換パラメータのうちの射影変換先のｘ座標値を決定するために必要な残りのパラメータの決定方法を説明するために用いた図である。 図１１は複数の撮像ユニットのカメラ姿勢に起因する画像のずれを説明するための図である。

符号の説明

１〜６…撮像ユニット、１０…立体撮像装置、１２…中央処理装置（ＣＰＵ）、２０…メインメモリ、２２…デジタル信号処理部、２８…外部記録部、３０…表示部、３２…対応点検出部、３４…幾何変形部、３６…幾何変形パラメータ推定部

Claims (13)

1. 複数の視点から同一被写体を撮影した複数の画像を取得する画像取得手段と、
   前記取得した複数の画像のうちの所定の画像を基準画像として選択し、前記基準画像以外の画像を対象画像として選択し、前記基準画像から複数の特徴点を、前記対象画像から対応点を検出して、同じ組に含まれる特徴点と対応点の特徴が略一致するような特徴点と対応点の組を生成する対応点検出手段と、
   前記同じ組に含まれる特徴点と対応点について、前記複数の視点の視差方向と直交する方向のｙ座標値が略一致するように前記対象画像を幾何変形するための幾何変形パラメータを推定するパラメータ推定手段と、
   前記推定した幾何変形パラメータに基づいて前記対象画像を幾何変形する画像変形手段
   と、
   を備える立体画像処理装置。
2. 前記幾何変形パラメータは、複数のパラメータからなり、
   前記パラメータ推定手段は、前記特徴点のｘｙ座標値と前記対応点のｙ座標値とに基づいて、前記複数のパラメータの少なくとも一部を推定する、請求項１に記載の立体画像処理装置。
3. 前記パラメータ推定手段は、前記推定した一部のパラメータに基づいて、前記一部のパラメータ以外のパラメータを算出する、請求項２に記載の立体画像処理装置。
4. 前記幾何変形パラメータは射影変換パラメータであり、
   前記パラメータ推定手段は、前記検出した特徴点と対応点の複数の組のうちの５組以上を選択し、前記選択した各組の特徴点と対応点の座標値に基づいて、少なくとも射影変換先のｙ座標値を決定するための射影変換パラメータを推定する、請求項２に記載の立体画像処理装置。
5. 前記パラメータ推定手段は、前記推定した少なくとも射影変換先のｙ座標値を決定するためのパラメータに基づいて、射影変換先の対応点のｘ座標値を決定するために必要な残りのパラメータを算出する、請求項４に記載の立体画像処理装置。
6. 前記幾何変形パラメータはヘルマート変換パラメータであり、
   前記パラメータ推定手段は、前記検出した特徴点と対応点の複数の組のうちの３組以上を選択し、前記選択した各組の特徴点と対応点の座標値に基づいて前記ヘルマート変換パラメータを推定する、請求項２に記載の立体画像処理装置。
7. 複数の視点から同一被写体を撮影した複数の画像を取得する画像取得工程と、
   前記取得した複数の画像のうちの所定の画像を基準画像として選択し、前記基準画像以外の画像を対象画像として選択し、前記基準画像から複数の特徴点を、前記対象画像から対応点を検出して、同じ組に含まれる特徴点と対応点の特徴が略一致するような特徴点と対応点の組を生成する対応点検出工程と、
   前記同じ組に含まれる特徴点と対応点について、前記複数の視点の視差方向と直交する方向のｙ座標値が略一致するように前記対象画像を幾何変形するための幾何変形パラメータを推定するパラメータ推定工程と、
   前記推定した幾何変形パラメータに基づいて前記対象画像を幾何変形する画像変形工程と、
   を備える立体画像処理方法。
8. 前記幾何変形パラメータは、複数のパラメータからなり、
   前記パラメータ推定工程においては、前記特徴点のｘｙ座標値と前記対応点のｙ座標値とに基づいて、前記複数のパラメータの少なくとも一部を推定する、請求項７に記載の立体画像処理方法。
9. 前記パラメータ推定工程は、
   前記複数の組の総数をＮ個とすると、前記Ｎ個の組から少なくとも変換先のｙ座標値を決定するための幾何変形パラメータの推定に必要な数の組をランダムに選択する第１の工程と、
   前記第１の工程によりランダムに選択された各対応点の座標値に基づいて推定したパラメータに基づいて、前記Ｎ個の組について変換後の対応点のｙ座標値を算出する第２の工程と、
   前記第２の工程により算出された前記変換後の対応点のｙ座標値と、前記特徴点のｙ座標値との差分を、前記Ｎ個の組についてそれぞれ算出する第３の工程と、
   前記第３の工程により算出された差分が予め設定した第１の閾値未満となる特徴点と対応点の組の個数を計数する第４の工程と、
   前記計数した組の個数と前記Ｎとの割合に基づいて前記推定したパラメータの信頼度を判定する第５の工程と、
   前記判定された信頼度が予め設定した信頼度に達するまで、又は予め設定した反復回数に達するまで前記第１の工程から第５の工程の処理を繰り返す工程と、
   を備える請求項８に記載の立体画像処理方法。
10. 前記パラメータ推定工程は、
    前記判定された信頼度が予め設定した信頼度に達したときの前記推定したパラメータ、又は前記反復回数中で最も信頼度が高いときの前記推定したパラメータを用いて、前記Ｎ個の組について変換後の対応点のｙ座標値を算出する第６の工程と、
    前記第６の工程により算出された変換後の対応点のｙ座標値と前記特徴点のｙ座標値との差分をＮ個の組についてそれぞれ算出する第７の工程と、
    前記第７の工程により算出された差分が予め設定した第２の閾値未満となる特徴点と対応点の組のみを前記Ｎ個の組から選択する第８の工程と、
    前記第８の工程で選択された特徴点と対応点の組のみを用いて前記複数のパラメータを算出する第９の工程と、
    を含む、請求項９に記載の立体画像処理方法。
11. 前記第９の工程において、前記第８の工程で選択された複数の組の変換後の対応点のｙ座標値と特徴点のｙ座標値との差の自乗和を最小にする前記複数のパラメータを算出する、請求項１０に記載の立体画像処理方法。
12. 複数の視点から同一被写体を撮影した複数の画像を取得し、
    前記取得した複数の画像のうちの所定の画像を基準画像として選択し、前記基準画像以外の画像を対象画像として選択し、前記基準画像から複数の特徴点を、前記対象画像から対応点を検出して、同じ組に含まれる特徴点と対応点の特徴が略一致するような特徴点と対応点の組を生成し、
    前記同じ組に含まれる特徴点と対応点について、前記複数の視点の視差方向と直交する方向のｙ座標値が略一致するように前記対象画像を幾何変形するための幾何変形パラメータを推定し、
    前記推定した幾何変形パラメータに基づいて前記対象画像を幾何変形する、
    立体画像処理プロセスをコンピュータに実行させるためのコンピュータプログラムを備えるコンピュータ読み取り可能な記録媒体。
13. 請求項１から６のいずれかに記載の立体画像処理装置と、
    複数の視点位置にそれぞれ配置され、前記視差方向に沿う視点位置から同一被写体をそれぞれ撮像する複数の撮像ユニットとを備え、
    前記画像取得手段は、前記複数の撮像ユニットによってそれぞれ撮像された複数の画像を取得する、立体撮像装置。

Images