JP4915859B2

JP4915859B2 - 物体の距離導出装置

Info

Publication number: JP4915859B2
Application number: JP2007079880A
Authority: JP
Inventors: 純谷田; 孝豊田; 良純中尾; 康生政木
Original assignee: Funai Electric Co Ltd; Osaka University NUC
Current assignee: Funai Electric Co Ltd; University of Osaka NUC
Priority date: 2007-03-26
Filing date: 2007-03-26
Publication date: 2012-04-11
Anticipated expiration: 2027-03-26
Also published as: US20090060281A1; JP2008241355A

Description

本発明は、物体の距離導出装置に関し、詳しくは、撮像手段によって撮像された画像に基づいて物体の撮像手段からの距離を導出する物体の距離導出装置に関する。

複数のマイクロレンズを有する複眼式カメラを用いて取得した複数の個眼像から単一の画像を画像処理によって再構成する装置が知られている（例えば、特許文献１参照）。複眼式カメラは、薄型に構成できる上に容易に明るい像を得ることができるという長所を有している反面、撮像された各個眼像は解像度が低いという欠点を有していることから、複数の個眼像を単一の画像に再構成する画像処理工程において解像度を高めるための種々の手法が開発されている。

上記特許文献１には、複数の個眼像を解像度の高い単一の画像に再構成する手法の１つである画素再配置法が開示されている。ここで、特許文献１に記載された画像構成装置について、図１２、１３を参照して簡単に説明する。特許文献１に記載された画像構成装置１００は、図１２に示されるように、複眼式カメラ１０１と、複眼式カメラ１０１によって撮像された画像を処理するプロセッサ１０２から構成され、プロセッサ１０２は、図１３に示されるように、複眼式カメラ１０１によって撮像された各個眼像Ｑ１、Ｑ２、Ｑ３の画素をシフト量（各個眼像間の相対位置のずれ）に応じて少しずつずらして同一領域Ｍ上に再配置する。画像構成装置１００は、各個眼像Ｑ１、Ｑ２、Ｑ３の画素を同一領域上に再配置するに際してシフト量（各個眼像間の相対位置のずれ）を、各個眼像Ｑ１、Ｑ２、Ｑ３間の相関関数に基づいて算出している。

また、複数のイメージセンサによって撮像される像における視差に基づいて三角測量の原理により被写体までの距離を導出する、対象の存在範囲の検出方法（例えば、特許文献２参照）や、被写体に対して移動するカメラによって撮像される複数の画像に基づいて被写体までの距離分布を導出し、導出した距離分布に基づいて被写体の２次元画像を生成する３次元形状抽出装置（例えば、特許文献３参照）が知られている。

さらに、ＣＣＤ撮像素子によって撮像された画像における画像領域を、距離センサによって測定された距離分布に基づいて距離ごとに分離し、所定の合成画像を作成する撮影装置（例えば、特許文献４参照）が知られている。
特開２００５−１６７４８４号公報特許第３５７５１７８号公報特開平９−１８７０３８号公報特開２００１−１６７２７６号公報

上記のように、撮像された３次元物体の画像に画像処理（ディジタル処理）を施して所定の２次元画像に再構成する過程において、物体と撮像手段との距離情報が必要とされる場合があり、距離情報を取得するための手法は、所要時間が短く、付随したパラメータ等の計算が不要、又は簡単であり、かつ取得される距離情報が正確であることが望ましい。

ところが、上記特許文献２、３に記載の方法、及び装置において採用されている三角測量の原理に基づいて距離を算出する手法では、視点の移動量等のパラメータを予め算出しておかなければならず、特に特許文献３に記載の装置では、カメラの移動に伴ってシャッタを複数回切ることによって視点の異なる複数枚の画像を取得するので、視点の移動量を撮像の都度、算出しなければならないとか、物体と撮像手段間の距離を導出するための時間が長くなるといった問題がある。

特許文献１に記載された画像構成装置は、複眼式カメラを用いているので、視点の異なる複数枚の画像を容易に取得することはできるが、距離導出の手法としてマイクロレンズアレイのレンズ間隔、焦点距離等の複数のパラメータを用いて算出する方法しか示し得ていない。

そこで、本発明は、撮像手段によって撮像された画像に基づいて物体の撮像手段からの距離を導出する物体の距離導出装置において、距離導出に要する時間が短く、計算工程が簡素であって正確に物体と撮像手段間の距離を導出することができる物体の距離導出装置を提供することを目的とする。

上記目的を達成するために、請求項１の発明は、物体の撮像手段と、前記撮像手段によって撮像される画像に基づいて物体の前記撮像手段からの距離を算出する距離算出手段と、を備える物体の距離導出装置において、前記撮像手段は、ｎ（ｎは２以上の整数）個の個眼像を撮像する撮像光学系を有し、前記距離算出手段は、物体と前記撮像手段との距離を仮に設定する距離設定手段と、前記各個眼像を構成する画素を前記距離設定手段によって設定された仮距離に再配置して１つの再構成画像を作成する再構成画像作成手段と、前記各個眼像を構成する画素を前記距離設定手段によって設定された仮距離に、個眼像ごとに逆投影してｎ個の逆投影画像を作成する逆投影画像作成手段と、前記再構成画像作成手段によって作成された再構成画像における所定のｘｙ座標位置の画素と、前記逆投影画像作成手段によって作成された逆投影画像における前記所定のｘｙ座標位置の画素との偏差を、１つの再構成画像に対するｎ個の逆投影画像ごとに算出して合計し、前記仮距離における各ｘｙ座標位置の画素について評価値を算出する評価値算出手段と、前記距離設定手段によって設定される仮距離を変更して前記再構成画像作成手段による再構成画像の作成と、前記逆投影画像作成手段による逆投影画像の作成と、前記評価値算出手段による評価値の算出を繰返し実行させる繰返し手段と、前記繰返し手段による繰返し実行の結果、前記評価値が最小になるときの仮距離を各ｘｙ座標位置における画素についての前記撮像手段からの距離として決定する距離決定手段と、を備えることを特徴とする。

請求項２の発明は、請求項１に記載の発明において、前記距離算出手段は、前記評価値算出手段によって算出される仮距離における各ｘｙ座標位置の画素についての評価値を平滑化する平滑化手段を、さらに備え、前記距離決定手段は、前記平滑化手段によって平滑化された評価値に基づいて各ｘｙ座標位置の画素についての前記撮像手段からの導出距離を決定することを特徴とする。

請求項３の発明は、請求項１、又は請求項２に記載の発明において、前記再構成画像作成手段は、前記各個眼像から高周波数成分を抽出してそれぞれの高周波数成分個眼像を作成した上で、各高周波数成分個眼像から１つの高周波数成分再構成画像を作成し、前記逆投影画像作成手段は、前記各個眼像から高周波数成分を抽出してそれぞれの高周波数成分個眼像を作成した上で、各高周波数成分個眼像からｎ個の高周波数成分逆投影画像を作成し、前記評価値算出手段は、前記高周波数成分再構成画像及び前記高周波数成分逆投影画像に基づいて評価値を算出することを特徴とする。

請求項１の発明によれば、撮像光学系によってｎ個の個眼像が得られ、距離算出手段が、距離設定手段によって設定した物体、撮像手段間の仮の距離に基づいて各個眼像から作成した１つの再構成画像と、各個眼像からそれぞれ作成したｎ個の逆投影画像との画素ごとにおける偏差を算出し、算出した偏差の合計を各画素についての評価値とした上で、当該評価値が最小になる仮の距離を、各画素についての撮像手段からの距離として決定するので、物体と撮像手段間の距離を、短時間のうちに正確に導出することができる。

請求項２の発明によれば、各仮距離における画素ごとの評価値を平滑化するので、ｘｙ平面における評価値の分布が滑らかになり、物体と撮像手段間の距離をさらに正確に導出することができる。

請求項３の発明によれば、各個眼像から抽出した高周波数成分に基づいて作成した１つの高周波数成分再構成画像と、同じく各個眼像から抽出した高周波数成分に基づいて作成したｎ個の高周波数成分逆投影画像とに基づいて評価値を算出するので、個眼像における低周波ノイズが除去されて、物体と撮像手段間の距離をさらに正確に導出することができる。

（第１の実施形態）
以下、本発明の第１の実施形態に係る物体の距離導出装置について、図１乃至図１１を参照して説明する。本実施形態の物体の距離導出装置１は、図１に示されるように、複眼撮像装置２と、複眼撮像装置２によって撮像された画像情報をＡＤ変換器３を介して取込み、取込んだディジタルの画像情報に基づいて物体と複眼撮像装置２との間の距離を導出するマイクロプロセッサ４を主体とする距離算出装置５を備える。複眼撮像装置２の前方には、大きさの異なる２個の球状物体Ｓｂ１、Ｓｂ２と、１個の立方体Ｓｃが被撮像物体として載置されている。

複眼撮像装置２は、同一平面に３行３列のアレイ状に配置された９個（本実施形態では、９個としているが、実際には多い方が望ましい）の光学レンズＬからなる光学レンズアレイ６と、各光学レンズＬの焦点位置にそれぞれ形成される９個の個眼像ｋ１、ｋ２・・ｋ９を撮像するＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサから構成された固体撮像素子７と、を備える（図２（ａ）参照）。

ここで、光学レンズアレイ６と、光学レンズアレイ６の前方に置かれた物体と、各光学レンズＬによって形成される固体撮像素子７上の個眼像ｋ１、ｋ２・・ｋ９との位置関係等について、図２（ａ）、（ｂ）を参照して説明する。物体は、説明の都合上２次元平面に倒立した文字「Ａ」が描かれた板状のもの（以下、物体Ａという）とし、光学レンズアレイ６は、図２（ａ）におけるＸＹ平面に平行に配置され、固体撮像素子７は光学レンズアレイ６に平行に配置されている。

物体Ａからの光が、９個の光学レンズＬによって固体撮像素子７上にそれぞれ集光されて３行３列の９個の個眼像ｋ１、ｋ２・・ｋ９を形成する。いま、物体Ａと光学レンズアレイ６との距離をＤ、光学レンズアレイ６と固体撮像素子７との距離（焦点距離）をｆ、物体Ａの縦長（大きさ）をＨ、各個眼像ｋ１、ｋ２・・ｋ９における縦長（大きさ）をｈとすると、ｈ＝Ｈ×ｆ／Ｄが成立する。実際の複眼撮像装置２では、焦点距離ｆが極めて小さな値になり、個眼像の大きさｈも小さな値になる。

また、各個眼像ｋ１、ｋ２・・ｋ９は、互いに視差を有する画像になっている。例えば、中央の光学レンズＬによって形成される個眼像ｋ５と、中央の光学レンズＬに対して左右に位置する光学レンズＬによって形成される個眼像ｋ４、ｋ６とは視点が左右に、光学レンズＬ間の距離ｄずつずれるために、図２（ｂ）に示されるように、互いに左右方向の視差角θを有することになる。ｔａｎθ＝ｄ／Ｄである。

図１に示される距離算出装置５は、マイクロプロセッサ４と、マイクロプロセッサ４の動作プログラム等を格納したＲＯＭ８と、画像データ等を一時的に記憶するＲＡＭ９と、大規模容量のメモリ１１とを備え、マイクロプロセッサ４は、複眼撮像装置２から取込んだ各個眼像ｋ１、ｋ２・・ｋ９の画像情報を距離導出プログラムに基づいて処理し、物体と複眼撮像装置２間の距離を算出する。

次に、マイクロプロセッサ４が実行する距離算出手順について、図３のフローチャートを参照して説明する。いま、マイクロプロセッサ４は、固体撮像素子７によって撮像された９個の個眼像ｋ１、ｋ２・・ｋ９をディジタルの画像情報として取込み、メモリ１１等に記憶した状態であり、光学レンズアレイ６と物体間の距離Ｄが未知であるとする。

マイクロプロセッサ４は、まず、予め設定された複数の仮距離Ｄｎの中から最初の仮距離Ｄ１を読出してきて設定する（Ｓ１）。仮距離Ｄｎは、光学レンズアレイ６と物体間の距離Ｄの候補であって、ＲＯＭ８、又はメモリ１１内に離散した値として予め多数記憶されて用意されるが、実際には遠方にある物体ほど視差角θが小さくなって個眼像間のずれに基づく距離判別が困難になるので、光学レンズアレイ６に近い（近距離）領域では比較的短い間隔に設定され、光学レンズアレイ６から遠い（遠距離）領域では比較的長い間隔に設定される。例えば、仮距離Ｄｎは、指数関数（ｕ＝ａ^ｖ）で定義される離散的なｕの値であってもよい。

次に、マイクロプロセッサ４は、設定した仮距離Ｄ１に基づいて、記憶している９個の個眼像ｋ１、ｋ２・・ｋ９から１つの再構成画像を作成する（Ｓ２）。この再構成画像作成工程は、特許文献１に記載された画素再配置法と同等の手法により行うことができる。再構成画像作成工程について、図４及び図５を参照して説明する。マイクロプロセッサ４は、各個眼像ｋ１、ｋ２・・ｋ９のｘｙ座標における同一座標位置の画素ｇごとに、当該画素ｇの値を光学レンズアレイ６から仮距離Ｄ１の位置にある平面に投影するようにして再配置する（図４参照）。以下の説明では、各個眼像ｋ１、ｋ２・・ｋ９ごとの座標は、ｘｙ座標として示し、２次元平面ＸＹと区別する。

具体的には、各個眼像ｋ１、ｋ２・・ｋ９の座標（ｘ＝１、ｙ＝１）の位置の画素ｇ（１、１）が、それぞれ対応する光学レンズＬの集光路を逆に辿って仮距離Ｄ１の位置にある平面に配置され、次に座標（ｘ＝２、ｙ＝１）の位置の画素ｇ（２、１）が、それぞれ対応する光学レンズＬの集光路を逆に辿って仮距離Ｄ１の位置にある平面に配置され、・・という工程を繰返して１つの再構成画像Ａｄ１を作成する。従って、作成された再構成画像Ａｄ１における画素ｇ（ｘ、ｙ）に相当する領域Ｇ（ｘ、ｙ）は、図５に示されるように、仮の視差角θ１（ｔａｎθ１＝ｄ／Ｄ１）が反映したずれ量だけずらされて配置された各個眼像ｋ１、ｋ２・・ｋ９からの画素ｇ（ｘ、ｙ）によって構成される。上記のようにして作成された１つの再構成画像Ａｄ１は、メモリ１１等に記憶される。

なお、図４において、未知の距離Ｄにある平面に再構成される場合の再構成画像Ａｄが点線で示される。ここで、仮距離Ｄ１が未知の距離Ｄとずれている場合には、再構成画像Ａｄ１は、再構成画像Ａｄに比べて精細度が劣り、仮距離Ｄ１が未知の距離Ｄに等しい場合には、高い精細度の再構成画像Ａｄ１が得られる。

次に、マイクロプロセッサ４は、仮距離Ｄ１に基づいて、記憶している９個の個眼像ｋ１、ｋ２・・ｋ９から９個の逆投影画像を作成する（Ｓ３）。この逆投影画像作成工程について、図６及び図７を参照して説明する。代表的に中央の個眼像ｋ５について逆投影画像を作成する工程について説明する。マイクロプロセッサ４は、個眼像ｋ５の画素ｇごとに、当該画素ｇの値を光学レンズアレイ６から仮距離Ｄ１の位置にある平面に投影するようにして作成する（図６）。

具体的には、図７に示されるように、中央の個眼像ｋ５の座標（ｘ＝１、ｙ＝１）の画素ｇ（１、１）が、中央の光学レンズＬの集光路を逆に辿って仮距離Ｄ１の位置にある平面に拡大して配置され、次に座標（ｘ＝２、ｙ＝１）の画素ｇ（２、１）が、中央の光学レンズＬの集光路を逆に辿って仮距離Ｄ１の位置にある平面に拡大して配置され、・・という工程を繰返して１つの逆投影画像Ａｒｄ１を作成する。従って、作成された逆投影画像Ａｒｄ１における画素ｇ（ｘ、ｙ）に相当する領域Ｇ（ｘ、ｙ）は、１つの画素ｇ（ｘ、ｙ）から構成される。そして、マイクロプロセッサ４は、上記の逆投影画像作成工程を、各個眼像ｋ１、ｋ２・・ｋ９について繰返し、９個の逆投影画像Ａｒｄ１を作成する。作成された９個の逆投影画像Ａｒｄ１は、メモリ１１等に記憶される。

次に、マイクロプロセッサ４は、作成した１つの再構成画像Ａｄ１と、９個の逆投影画像Ａｒｄ１と、に基づいてｘｙ座標の画素ごとに評価値を算出する（Ｓ４）。具体的には、評価値ＳＳＤ（ｘ、ｙ）は、次の式によって与えられる。
この式において、ｉは個眼像の番号、Ｒｉ（ｘ、ｙ）は、ｉ個目の個眼像における逆投影画像Ａｒｄ１におけるｘｙ座標位置の画素Ｇの値であり、Ｂ（ｘ、ｙ）は、再構成画像Ａｄ１におけるｘｙ座標位置の画素Ｇの値である。ｎは、個眼像の個数であり、本実施形態では９である。

具体的には、マイクロプロセッサ４は、ｘｙ座標の各画素ｇについて、１個目の個眼像ｋ１に関する逆投影画像Ａｒｄ１と再構成画像Ａｄ１との差を二乗して１個目の個眼像ｋ１の逆投影画像Ａｒｄ１についての偏差を算出し、同様にして２個目の個眼像ｋ２の逆投影画像Ａｒｄ１についての偏差を算出し、・・同様にして９個目の個眼像ｋ９の逆投影画像Ａｒｄ１についての偏差を算出し、最後に９個の偏差を合計して評価値ＳＳＤ（ｘ、ｙ）を算出する。算出された評価値ＳＳＤ（ｘ、ｙ）は、ＲＡＭ９等に記憶される。

次に、マイクロプロセッサ４は、Ｓ１において設定した仮距離Ｄｎが全て終了したか否かを判断し（Ｓ５）、全て終了していない場合（Ｓ５でＮＯ）は、再びＳ１に戻って仮距離Ｄｎを更新する（Ｓ１）。具体的には、仮距離Ｄ１の設定を仮距離Ｄ２へ更新する。仮距離Ｄ１より仮距離Ｄ２の方が大きい場合には、光学レンズアレイ６からより遠ざかった位置に１つの再構成画像Ａｄ２が作成され（Ｓ２）、９個の逆投影画像Ａｒｄ２が作成され（Ｓ３）、評価値ＳＳＤ（ｘ、ｙ）が算出される。

以上の工程を繰返すことによって、メモリ１１内には、仮距離Ｄｎの個数分の評価値ＳＳＤ（ｘ、ｙ）が評価値群として記憶される。メモリ１１内に記憶された評価値群が、図８に模式的に示される。ここで、メモリ１１は、図８に示される各ｘｙ座標位置対応した評価値ＳＳＤを記憶している。

そして、マイクロプロセッサ４は、Ｓ５において、全ての仮距離Ｄｎについての評価値ＳＳＤ（ｘ、ｙ）の算出が終了したと判断したときに（Ｓ５でＹＥＳ）、各ｘｙ座標位置の画素ｇ（ｘ、ｙ）についての評価値ＳＳＤ（ｘ、ｙ）のうち、どの仮距離Ｄｎにおける評価値ＳＳＤ（ｘ、ｙ）が最小であるかを判定し、評価値ＳＳＤ（ｘ、ｙ）が最小になる仮距離Ｄｎを各ｘｙ座標位置の画素ｇについての距離Ｄであるとして決定する（Ｓ６）。

換言すると、マイクロプロセッサ４は、図８に示された評価値群の中から、ｘｙ座標の各画素ｇについて、ｚ方向に沿って評価値ＳＳＤを検索することによって、評価値ＳＳＤが最小になる仮距離Ｄｎを検出する。

最後に、マイクロプロセッサ４は、Ｓ６において決定したｘｙ座標の各画素ｇに関する距離Ｄを画面の濃淡に変換した距離画像を作成する（Ｓ７）。作成される距離画像の例は、後述する。また、作成された距離画像は、物体と撮像装置間の距離Ｄを正確に反映した画像であるので、特に物体が立体物である場合に、当該距離画像を用いて、複数の個眼像ｋ１、ｋ２・・ｋ９から、全ての画素において焦点が合った高精細な画像を容易に作成することができる。

図９は、被撮像物体が、図１に示されるように、大きさの異なる２個の球状物体Ｓｂ１、Ｓｂ２と、１個の立方体Ｓｃである場合の、各個眼像ｋ１、ｋ２、・・ｋ９を示す。図１０は、複眼撮像装置２からの距離が、それぞれ球状物体Ｓｂ１が５３ｃｍ、球状物体Ｓｂ２が２３ｃｍ、立方体Ｓｃが３ｃｍである場合において、仮距離Ｄｎが２３ｃｍであるときの再構成画像Ａｄｎを示し、図１１は、上記Ｓ７で導出された距離画像ＰＤを示す。

図１０に示された再構成画像Ａｄｎは、仮距離Ｄｎが球状物体Ｓｂ２の複眼撮像装置２からの距離（２３ｃｍ）と同等の位置に設定されているので、球状物体Ｓｂ２は、高い精細度で再構成されているが、球状物体Ｓｂ１と立方体Ｓｃは、精細度が低い。

また、図１１に示された距離画像ＰＤでは、遠方にある球状物体Ｓｂ１は、濃色に表され、中間の位置にある球状物体Ｓｂ２は、淡色に表され、極めて近い位置にある立方体Ｓｃは、白色に表されている。

（第２の実施形態）
第２の実施形態は、第１の実施形態とほぼ同一であり、異なるところは、図３のフローチャートにおける評価値算出工程Ｓ４において、算出した評価値ＳＳＤ（ｘ、ｙ）を平滑化する点である。具体的には、マイクロプロセッサ４は、Ｓ４において算出した評価値ＳＳＤ（ｘ、ｙ）に対して、公知の平滑化フィルタを適用して平滑化する。

算出した評価値ＳＳＤ（ｘ、ｙ）が平滑化されることによって、ｘｙ平面における評価値ＳＳＤ（ｘ、ｙ）の分布が滑らかになり（図８参照）、距離決定工程Ｓ６において適正ではない仮距離Ｄｎを距離Ｄとして決定することによる距離Ｄの誤導出を防止することができる。なお、評価値ＳＳＤ（ｘ、ｙ）の平滑化は、距離決定工程Ｓ６の直前に、仮距離Ｄ１〜Ｄｎについての全ての評価値ＳＳＤ（ｘ、ｙ）に対して一括して実行するようにしてもよい。

（第３の実施形態）
第３の実施形態は、第１の実施形態とほぼ同一であり、異なるところは、図３のフローチャートにおける再構成画像の作成工程Ｓ２において、マイクロプロセッサ４が、各個眼像ｋ１、ｋ２・・ｋ９から高周波数成分を抽出してそれぞれの高周波数成分個眼像を作成した上で、各高周波数成分個眼像から、前述と同一の手法によって１つの高周波数成分再構成画像Ａｄｎを作成する点と、逆投影画像の作成工程Ｓ３において、マイクロプロセッサ４が、各個眼像ｋ１、ｋ２・・ｋ９から高周波数成分を抽出してそれぞれの高周波数成分個眼像を作成した上で、各高周波数成分個眼像から、前述と同一の手法によって９個の高周波数成分逆投影画像Ａｒｄｎを作成する点である。具体的には、マイクロプロセッサ４は、各個眼像ｋ１、ｋ２・・ｋ９に対して、公知の周波数フィルタを適用して高周波数成分を抽出する。

ここで、複眼撮像装置２によって撮像された個眼像ｋ１、ｋ２・・ｋ９には、周辺の個眼像（例えば、個眼像ｋ１、個眼像ｋ９等）ほど明るさが少なくなる傾向があり、全個眼像に亘ってグラデュエーションを持った着色が生じることがあるが、これらの障害は、いずれも個眼像中の低周波数成分に生じる障害であり、高周波数成分を抽出して作成した高周波数成分個眼像からは、上記障害が除去され、高周波数成分再構成画像Ａｄｎ及び高周波数成分逆投影画像Ａｒｄｎからも上記障害が除去されて、マイクロプロセッサ４は、より正確に距離Ｄを導出することができる。

本発明の第１の実施形態に係る物体の距離導出装置の概略構成を示すブロック図。（ａ）は同物体の距離導出装置における物体と光学レンズアレイと個眼像との位置関係を示す斜視説明図、（ｂ）は同物体の距離導出装置における物体と光学レンズアレイと個眼像との位置関係を示す平面説明図。同物体の距離導出装置における距離算出手順を示すフローチャート。同物体の距離導出装置における再構成画像の作成原理を示す斜視説明図。同物体の距離導出装置における再構成画像の作成原理を示す説明図。同物体の距離導出装置における逆投影画像の作成原理を示す斜視説明図。同物体の距離導出装置における逆投影画像の作成原理を示す説明図。同物体の距離導出装置においてメモリに蓄積される評価値データの説明図。同物体の距離導出装置において複眼撮像装置によって撮像された個眼像の例を示す図。同物体の距離導出装置における再構成画像の例を示す図。同物体の距離導出装置における距離画像の例を示す図。従来の画像構成装置の構成を示すブロック図。同従来の画像構成装置における画像の構成手法を示す説明図。

符号の説明

１物体の距離導出装置
２複眼撮像装置（撮像手段）
４マイクロプロセッサ（距離設定手段、再構成画像作成手段、逆投影画像作成手段、評価値算出手段、繰返し手段、距離決定手段、平滑化手段）
５距離算出装置（距離算出手段）
Ａ物体
Ａｄｎ再構成画像
Ａｒｄｎ逆投影画像
Ｄ距離
Ｄｎ仮距離
ＳＳＤ評価値
Ｓｂ１、Ｓｂ２球状物体（物体）
Ｓｃ立方体（物体）
ｇ画素
ｋ１、ｋ２、・・ｋ９個眼像

Claims

物体の撮像手段と、前記撮像手段によって撮像される画像に基づいて物体の前記撮像手段からの距離を算出する距離算出手段と、を備える物体の距離導出装置において、
前記撮像手段は、ｎ（ｎは２以上の整数）個の個眼像を撮像する撮像光学系を有し、
前記距離算出手段は、
物体と前記撮像手段との距離を仮に設定する距離設定手段と、
前記各個眼像を構成する画素を前記距離設定手段によって設定された仮距離に再配置して１つの再構成画像を作成する再構成画像作成手段と、
前記各個眼像を構成する画素を前記距離設定手段によって設定された仮距離に、個眼像ごとに逆投影してｎ個の逆投影画像を作成する逆投影画像作成手段と、
前記再構成画像作成手段によって作成された再構成画像における所定のｘｙ座標位置の画素と、前記逆投影画像作成手段によって作成された逆投影画像における前記所定のｘｙ座標位置の画素との偏差を、１つの再構成画像に対するｎ個の逆投影画像ごとに算出して合計し、前記仮距離における各ｘｙ座標位置の画素について評価値を算出する評価値算出手段と、
前記距離設定手段によって設定される仮距離を変更して前記再構成画像作成手段による再構成画像の作成と、前記逆投影画像作成手段による逆投影画像の作成と、前記評価値算出手段による評価値の算出を繰返し実行させる繰返し手段と、
前記繰返し手段による繰返し実行の結果、前記評価値が最小になるときの仮距離を各ｘｙ座標位置における画素についての前記撮像手段からの距離として決定する距離決定手段と、を備えることを特徴とする物体の距離導出装置。
前記距離算出手段は、
前記評価値算出手段によって算出される仮距離における各ｘｙ座標位置の画素についての評価値を平滑化する平滑化手段を、さらに備え、
前記距離決定手段は、前記平滑化手段によって平滑化された評価値に基づいて各ｘｙ座標位置の画素についての前記撮像手段からの導出距離を決定することを特徴とする請求項１に記載の物体の距離導出装置。
前記再構成画像作成手段は、
前記各個眼像から高周波数成分を抽出してそれぞれの高周波数成分個眼像を作成した上で、各高周波数成分個眼像から１つの高周波数成分再構成画像を作成し、
前記逆投影画像作成手段は、
前記各個眼像から高周波数成分を抽出してそれぞれの高周波数成分個眼像を作成した上で、各高周波数成分個眼像からｎ個の高周波数成分逆投影画像を作成し、
前記評価値算出手段は、前記高周波数成分再構成画像及び前記高周波数成分逆投影画像に基づいて評価値を算出することを特徴とする請求項１、又は請求項２に記載の物体の距離導出装置。