JP6257285B2

JP6257285B2 - 複眼撮像装置

Info

Publication number: JP6257285B2
Application number: JP2013244844A
Authority: JP
Inventors: 智暁井上
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-11-27
Filing date: 2013-11-27
Publication date: 2018-01-10
Anticipated expiration: 2033-11-27
Also published as: JP2015102794A

Description

本発明は、複数の光学系を配列してなる複眼撮像装置に関する。

従来、光学系を複数に分割することにより小型の光学系を実現する「複眼」撮像装置が提案されている。「複眼」は昆虫の眼の構造を利用したもので、例えば複数のレンズユニットからなるレンズアレイで光学系を構成し、各レンズユニットを小径化及び短焦点距離化して光学系を小型化する構成が知られている。しかしながら、従来の複眼撮像装置は、撮像系の構成が大型化してしまうことから、光学系を構成するレンズの位置を移動させる方式によって撮影画角を可変にする光学的なズーム機能を付加することが困難であった。そこで、例えば特許文献１では、画角の異なる短焦点のレンズユニットと長焦点のレンズユニットを配置し、被写体の同じ部分を含むように撮像する構成が提案されている。つまり、短焦点レンズに対応した撮像素子により得られるワイド画像の一部に、長焦点レンズに対応した撮像素子により得られるズームアップ画像を嵌め込むことで、該一部の解像度が高く、その他の部分の解像度は低いが広い画角の画像を得ることが出来る。

一方、複数の光学系（複眼光学系）を有する構成を応用して従来の一般的な撮像系では取得することが困難であった被写体側の周辺空間情報を取得するための構成が提案されている。ここで被写体側の周辺空間情報とは、被写体空間における被写体距離情報、位置情報、構成情報や光源情報、被写体分光特性、散乱特性など被写体空間を表現するための様々な情報の総称とする。例えば特許文献２では、短焦点レンズ対と長焦点レンズ対を有する構成とすることで、広い画角の画像と狭い画角の画像とともに、夫々の視差画像を取得するための構成が提案されている。つまり、異なる画角の画像とともに、被写体の距離情報を三角測量の原理を用いて算出することができる。被写体の距離情報は、例えばその被写体の３Ｄモデリングを行う場合などに非常に有用な情報となる。

特開２００５−３０３６９４号公報特開２００９−１１７９７６号公報

しかしながら、特許文献１、２に開示された従来技術では、どちらも異なる二種類の画角を有する光学系のみを備えているため、特定の広い画角の画像と特定の狭い画角の画像を取得することのみが可能となっている。従来のビデオカメラ、デジタルカメラのような撮像装置には、撮影者が所望する画角の画像を撮像するために連続的ズーム機能が求められているが、特許文献１、２では撮影者が選択できる撮影画角の自由度が少なすぎるという問題がある。

さらに、周辺空間情報の一つである被写体距離情報の取得については、後述するように複眼撮像装置において被写体距離情報の精度向上には基線長を大きくすることが重要であるが、特許文献２には基線長に関する距離情報の精度向上についての記述は無い。また、連続的ズーム機能の高倍化と撮影可能な被写体空間範囲における距離情報取得精度の向上とを両立させることに関する記述も無い。

そこで、本発明の目的は、薄型、高変倍比でありながら、撮影する被写体空間についての周辺空間情報の取得に有利な複眼撮像装置を提供することである。

本発明の一側面としての複眼撮像装置は、複数の光学系を備えた複眼撮像装置において、前記複数の光学系は、前記複数の光学系のうち最も広い第１の画角を有する第１の光学系および第２の光学系と、前記第１の画角よりも狭い第２の画角を有する第３の光学系と、前記第２の画角よりも狭い第３の画角を有する第４の光学系を含み、前記第１の光学系に対応する第１の撮像領域と、前記第２の光学系に対応する第２の撮像領域と、前記第３の光学系に対応する第３の撮像領域と、前記第４の光学系に対応する第４の撮像領域を有する撮像素子と、前記第１の撮像領域から得られる第１の画像と、前記第２の撮像領域から得られる第２の画像に基づいて、前記第１の画像および前記第２の画像の画像内の被写体距離情報を算出する算出手段と、前記第１の画像と、前記第３の撮像領域から得られる第３の画像に基づいて、前記第１の画角と前記第２の画角の間にある画角の画像を復元し、前記第３の画像と、前記第４の撮像領域から得られる第４の画像に基づいて、前記第２の画角と前記第３の画角の間にある画角の画像を復元する画像復元手段を備え、前記複数の光学系は、前記第１の光学系と前記第２の光学系の基線長が最も大きくなるように配置されていることを特徴とする。

本発明によれば、薄型、高変倍比でありながら、撮影する被写体空間についての周辺空間情報の取得に有利な複眼撮像装置を提供することができる。

実施例１にかかる複眼撮像装置の構成図である。実施例１にかかる撮影画像の説明図である。実施例１の連続ズーム機能処理フロー図である。実施例１の距離情報算出フロー図である。実施例２にかかる複眼撮像装置の構成図である。実施例３にかかる複眼撮像装置の構成図である。複眼撮像装置によるベストショットモードの説明図である。連続ズーム機能のための撮影画像説明図である。立体画像撮影モデルの説明図である。対応点抽出手法の説明図である。

本発明の主な視点は、複眼撮像装置において、薄型、高変倍比でありながら、撮影する被写体空間についての高度な周辺空間情報を容易に取得するための課題を改善したことにある。

ここではまず、複眼撮像装置における連続的ズーム機能を実現するための手法について説明する。撮像装置で撮影された画像に対して撮影画像内の一部をトリミングし、このトリミングした範囲を所定のサイズに拡大することによって擬似的にズーミングしたのと同一の効果を得ることのできる（以下デジタルズーム）手法が知られている。従来、デジタルズームと光学ズームとを組み合わせることで、より高変倍比を実現することが知られている。例えばこの手法を応用することで、複眼撮像装置において異なる画角を有する結像光学系を備えさせ、該異なる画角間を上記のデジタルズーム技術により補間することで擬似的にズーミングしたのと同一の効果を得ることができる。しかしながら、従来のデジタルズーム手法では、線形補間（バイリニア法）を用いているためデジタルズーム領域の画像が劣化してしまう場合がある。バイリニア法は、サンプリング定理に基づいたsinc関数による補間を基本概念とした方法である。バイリニア法は、演算上の負荷を軽減するためにsinc関数を近似した補間関数を原画像のサンプル点に対して畳み込むことで、サンプル点の間を補間し、画素数を増減するものである。また、平滑化効果があるためジャギーが目立ちにくいという利点もあるが、その平滑化効果により例えば補間時の仮定条件に当てはまらないエッジ部分を中心に、スムージングされた画像となり画像が全体的にボケた感じとなってしまう。さらに、デジタルズーム倍率が大きくなると、画像の画質（解像度）が低下するという問題が知られている。このデジタルズーム手法に伴う解像度の低下を改善し、高解像度を保ったズーミング画像データを作成したいという要求が存在する。その要求に答えるデジタルズーム処理による解像度劣化を打ち消すための技術として、従来より超解像技術の方式が様々提案されている。この超解像技術の方式として、例えば、ＭＬ（Maximum-Likelihood）法、ＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection Onto Convex Set）法がある。また、ＩＢＰ（Iterative Back Projection）法、ＬＲ（Lucy-Richardson）法などもある。例えば、ＬＲ法では、原画像における照度の分布、劣化画像における照度の分布に関して、その分布を正規化して、確率密度関数の分布として捉える。上記のように考えると、光学系の伝達特性である点像強度分布関数（PSF）は、条件付確立の確率密度関数の分布として捉えることができる。劣化画像の分布とPSFの分布のそれぞれを用いて、ベイズ統計に基づき、最尤推定を用いた反復計算によって原画像の分布を推定する。

次に、ベイズ統計に基づく画像の復元方法について説明する。以下では、説明の簡易化のためモノクロ１次元画像の場合について説明する。ここでは、被写体を原画像、撮像装置で撮像された画像又はその画像を電気的に拡大した画像を劣化画像、画像の復元方法により劣化画像を用いて原画像に近い形に復元することを超解像技術と呼び、復元された画像を高解像度画像（回復画像）と呼ぶ。

１次元ベクトルで表現される劣化画像をｇ（ｘ）、該劣化画像に対する１次元ベクトルで表現される原画像をｆ（ｘ）とすると、該２つの画像は次の式のような関係を満たす。

ｇ（ｘ）＝ｈ（ｘ）＊ｆ（ｘ）・・・（１）
ここでｈ（ｘ）は光学系の伝達特性であるPSFである。

一方、ベイズ統計とは、ｆ（ｘ）を原画像、ｇ（ｘ）を劣化画像としたとき、原画像が劣化画像に変換される順過程からベイズの公式を用いて逆過程に対する確立、すなわち事後確立を構成し、これを基に劣化画像から原画像を推定するものである。ここで、Ｐ（ｆ（ｘ））を原画像ｆが存在する事象の確立密度関数、Ｐ（ｇ（ｘ））を劣化画像ｇが生じる事象の確立密度関数、Ｐ（ｇ（ｘ）|ｆ（ｘ））を原画像ｆが与えられた時の劣化画像ｇの条件付確立密度関数とすると、

がベイズの公式と呼ばれる関係式である。ここで、Ｐ（ｆ（ｘ）|ｇ（ｘ））は劣化画像ｇが与えられたという条件の下での原画像ｆについての条件付確率密度分布であり、事後確立密度関数とよばれる。

ここで、上記のベイズ統計に基づくベイズの公式がｆ、ｇについて成り立つ時、ｆ、ｇが正規化されたものであると考えｆ、ｇを確立密度関数として取り扱える場合を考える。原画像のある座標ｘ_１に点光源が存在する事象がｆ（ｘ_１）、劣化画像のある座標ｘ_２に像が結像する事象をｇ（ｘ_２）とすると、
Ｐ（ｆ（ｘ_１））＝ｆ（ｘ_１）・・・（３）
Ｐ（ｇ（ｘ_２））＝ｇ（ｘ_２）・・・（４）
と表すことが出来る。

さらに、Ｐ（ｇ（ｘ_２）｜ｆ（ｘ_１））は光学系のPSFであるｈを用いて、
Ｐ（ｇ（ｘ_２）｜ｆ（ｘ_１））＝ｈ（ｘ_２−ｘ_１）・・・（５）
と表すことが出来る。

つまり、劣化画像内のある座標ｘ_２に像を結像させる原画像の分布は式２，３，４，５より

から推定することが可能である。

ここでさらに周辺確立の定義から、

が成り立つ。

つまり、式６はさらに

と表すことが出来る。ここで、両辺にＰ（ｇ（ｘ_２））＝ｇ（ｘ_２）をかけて積分すると、式８の左辺は周辺確立の定義から、

また、式８の右辺は、

となる。

上記の関係は、ｆ（ｘ）が真の原画像である場合に成り立つ。つまり、上記のｆ（ｘ）を算出することが劣化画像の復元に相当するものである。

ここで、式９のｆ（ｘ）をｆ_ｋ＋１（ｘ）、式１０のｆ（ｘ）をｆ_ｋ（ｘ）として、

上記の式１１が得られる。

上記の式１１に関する反復計算を行うことで、ｆ_ｋの収束値すなわち原画像の分布を得ることが出来る。

上述したベイズ統計に基づく復元方法を用いることで、劣化画像と光学系の伝達特性が既知であれば、未知である原画像を復元できることがわかる。また、上記と同様の原理により、劣化画像とそれに対する原画像が既知であれば光学系の伝達特性を復元することが可能となる。また、上記は光学系の伝達特性としてPSFを考えていたが、フーリエ変換を用いることで、正確な位相特性まで考慮したOTFとして復元することも可能である。

また別の手法として、MAP法を用いた場合、下記に示すような事後確立密度を最大とするｆ（ｘ）を求める手法がとられる。

ここで、劣化画像にはガウスノイズｎが付加されると考え、さらに上記の光学系のPSFとして与えたｈ（ｘ）を線形作用するｍ×ｍのコンボリューション行列Ｃとすると、該劣化画像と原画像の２つの画像は下記のようにも表すことが出来る。
ｇ（ｘ）＝Ｃ×ｆ（ｘ）＋ｎ・・・（１３）
ここで、新たに与えた行列ＣはPSFのみではなく、撮像システムに起因する劣化要因を含むものであってもかまわない。

以上の仮定を踏まえた場合、式１２で事後確立密度が最大となるｆ（ｘ）は式１２の比例式から下記評価関数が最小となるｆ（ｘ）を求めることになる。
Ｔ（ｆ）＝‖ｇ（ｘ）−Ｃ×ｆ（ｘ）‖²＋αＺ（ｆ）・・・（１４）
ここでＺ（ｆ）は画像の滑らかさや付加条件からの拘束項などを含む拘束関数、αは重み係数である。上記評価関数の最小化には、従来の最急降下法などを用いることができる。

上記の式１４を最小とするｆ（ｘ）を算出することが劣化画像の復元に相当するものである。

上記で説明した式１１と１４の推定式、評価関数から劣化画像の復元には、初期推定分布ｆを設定する必要があり、初期の推定分布は回復画像と撮像倍率の一致する劣化画像であるｇが用いられることが一般的である。また、PSF又はOTFなどの光学系の伝達特性と付加条件や拘束条件などから得られる拘束項が重要であることが理解される。しかしながら、光学系の伝達特性はレンズの収差や照明波長、撮像素子開口等のパラメータに依存し、正確に評価することは一般的に困難である。そのため、初期条件のPSFとしてガウス分布等が簡易的に用いられるが、実際の撮像系においてPSFがガウス分布と一致することは稀であり、ほとんどの場合推定誤差の増加要因となる。また、上述の原理により劣化画像からPSFまで推定することが考えられるが、劣化画像では多くの情報が欠如しているため正確なPSFを推定することも困難である。そのため、超解像技術に新たな強い拘束条件を付加することで超解像技術の精度向上を達成することを考える。本発明における上記の強い拘束条件として、復元したい劣化画像とは撮像倍率の異なる高解像度の画像を付加条件とすることとする。撮像倍率の異なる画像とは、図８に示すように、被写体１２０ａを撮影した画像のうち一部領域の画像１２０ｂを復元したい拡大劣化画像とする。そうしたとき、同一被写体に対して画角を異ならせて被写体１２０ａ内の破線内部を拡大して撮影された画像１２０ｃのような関係を有する画像を指すこととする。上述したように撮像倍率の異なる高解像度画像を用いることで、劣化画像内の一部の領域における詳細な情報を取得することが可能となる。そのため、例えば主要被写体の存在する劣化画像中央領域のPSFを高解像度画像をもとに、より正確に推定し、式１１の反復計算により、従来手法と比べてより高精度な復元が可能となる。また、劣化画像一部領域の詳細が事前に取得されるため、式１４の拘束関数に高解像度画像と該劣化画像一部領域の相関を評価値とした相関関数を追加することでより高精度な復元が可能となる。また、上記の原理から、劣化画像内のできるだけ広い範囲についての詳細情報を取得することがより高精度な復元を可能とすることは明確である。つまり、複眼撮像装置において連続的ズーム機能を実現するためには、複数の画角の異なる結像光学系を備えることが重要である。

次に、複眼撮像装置における被写体距離算出の原理について説明する。図９は従来の複眼撮影方式のモデルを説明する図である。座標は左右カメラの中心を原点として、水平方向にｘ軸、奥行き方向にｙ軸とする。高さ方向は簡略化のために省略する。左右カメラの結像光学系の主点がそれぞれ（−Ｗｃ，０）、（Ｗｃ，０）に配置されているとする。ここで左右カメラの結像光学系焦点距離はｆとする。この状態でｙ軸上（０、ｙ１）にある被写体Ａを夫々のカメラで撮影すると、左右カメラのセンサー中心から被写体Ａ像のズレ量を撮影視差として、それぞれＰｌｃ，Ｐｒｃとすると下記式で表すことが出来る。

以上の原理により同一被写体を異なる視点から撮影することで、夫々主点位置ズレ（基線）方向に上記式（１５）（１６）で示すズレ量を持つ左右視差画像を取得することができる。このズレ量から被写体Ａまでの距離ｙ１は、下記式で算出することができる。

ここで、実際には上記撮影視差量Ｐｌｃ，Ｐｒｃは撮像系の画素サイズの分解能で取得されるため、撮影視差量が画素サイズに近くなると被写体距離算出における誤差が増大することが理解できる。つまり、複眼撮像装置における被写体距離算出の精度を向上させるためには撮影視差量が出来るだけ大きくなるように構成することが重要である。

そこで本発明では、少なくとも３つの異なる画角を有する光学系を備え、そのうち最も広い画角を有する光学系対が最大の基線長を有するよう配置した撮像装置を新規に提案する。

以下に本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

以下、図面を参照して、本発明の第１の実施形態による、複眼撮像装置について説明する。

図１は第１の実施例の複眼撮像装置１の構成図である。結像光学系１０１ａ、１０１ｂ、１０１ｃ、１０１ｄは複眼を構成する結像光学系（複眼光学系）である。図１に示されるように、撮像素子１０２は、撮像領域１０２ａ、１０２ｂ、１０２ｃ、１０２ｄを有する。撮像領域１０２ａ〜ｄは、結像光学系１０１ａ〜ｄにそれぞれ対応する領域である。撮像領域１０２ａ〜ｄは、それぞれ結像光学系１０１ａ〜ｄを介して素子面上に到達した光学像を電気信号に変換する。また、Ａ／Ｄ変換器１０３は撮像素子１０２のアナログ信号出力をデジタル信号に変換して画像処理部１０４に供給する。画像処理部１０４は、Ａ／Ｄ変換器１０３からの各画像データに対して所定の画素補間処理や色変換処理等を行う。また、画像処理部１０４（画像復元手段）は、後述するように劣化画像を復元する画像復元処理も行う。また、画像処理部１０４においては、撮像した各画像データを用いて所定の演算処理が行われる。得られた演算結果はシステムコントローラー１０８に供給される。情報入力部１０６は使用者が所望の撮影条件を選択して入力する情報を検知してシステムコントローラー１０８にデータを供給する。システムコントローラー１０８は供給されたデータに基づき撮像駆動制御部１０７を制御し、必要な画像を取得する。

画像記録媒体１０５は撮影した複数画像の静止画や動画を格納する他、画像ファイルを構成する場合のファイルヘッダを格納するための記録部である。表示部２００は例えば液晶表示素子で構成された表示装置からなる。基準画像選択部１１０は各結像光学系１０１ａ、１０１ｂ、１０１ｃ、１０１ｄによって結像された複数の視差画像から基準画像を選択し、対応点抽出部１１１は視差画像内の対応する画素を抽出する。また、視差量算出部１１２は上記で抽出された全ての対応点の視差量を夫々算出し、距離情報算出部１１３（算出手段）はその算出された視差量から画像内の被写体距離情報を算出する。

図１に示されるように、複眼撮像装置１は４つの結像光学系１０１ａ、１０１ｂ、１０１ｃ、１０１ｄを備えている。４つの結像光学系１０１ａ〜ｄはそれぞれの光軸がほぼ平行になるように配置される。ここで、ほぼ平行とは、完全に平行な場合と、許容誤差の範囲内で完全に平行な場合からずれている場合とを含む意味である。以下の実施例においても同様である。また、４つの結像光学系１０１ａ〜ｄは、各光学系の光軸間を結ぶ基線が交差（直交）するように配置されている。さらに対角方向の対角頂点位置に配置された結像光学系１０１ａ、１０１ｄ（第１の光学系、第２の光学系）は４つの結像光学系の中で最も広い撮影画角（第１の画角）４θを有する広角結像光学系対として構成される。さらに、結像光学系１０１ｂ（第３の光学系）は結像光学系１０１ａ，１０１ｄに比べて撮影画角が半分の（第１の画角よりも狭い第２の画角）２θとなるように構成されている。さらに、結像光学系１０１ｃ（第４の光学系）は結像光学系１０１ｂに比べて撮影画角が半分の（第２の画角よりも狭い第３の画角）θとなるように構成されている。簡単な説明のため、図２に上記の結像光学系配置で撮像した場合の夫々の結像光学系１０１ａ〜ｄに対応する撮像イメージ１０ａ，１０ｂ，１０ｃ，１０ｄを示す。なお、撮像イメージ１０ａは、撮像素子１０２の撮像領域１０２ａ（第１の光学系に対応する第１の撮像領域）から得られた第１の画像である。撮像イメージ１０ｄは、撮像素子１０２の撮像領域１０２ｄ（第２の光学系に対応する第２の撮像領域）から得られた第２の画像である。撮像イメージ１０ｂは、撮像素子１０２の撮像領域１０２ｂ（第３の光学系に対応する第３の撮像領域）から得られた第３の画像である。撮像イメージ１０ｃは、撮像素子１０２の撮像領域１０２ｃ（第４の光学系に対応する第４の撮像領域）から得られた第４の画像である。図２に示されたように結像光学系１０１ａ、１０１ｄに対応する撮像イメージ１０ａ，１０ｄが最も広い被写体空間を撮像しており、１０１ｂ、１０１ｃに対応する撮像イメージ１０ｂ，１０ｃは画角に応じて撮像される被写体空間が狭くなっている。

以下、この複眼撮像装置において連続的なズーム機能を実現させる撮影動作の詳細について、図３のフローチャートを用いて説明する。まず始めに、Ｓ３０１にて、使用者からの撮影信号が入力されると、最も広い被写体空間を撮像した広角画像（第１の画像）と該広角画像より狭い被写体空間を撮像した望遠画像（第３の画像）とを同時に取得する。ここでは、例示的に、広角画像１０ａ（第１の画像）と望遠画像１０ｂ（第３の画像）を同時に取得する。第１、第３の画像１０ａ、１０ｂは光学性能が保証された広角、望遠での撮影画像であるため、十分高解像度の画像となっている。なお、第１の画像１０ａは、第３の画像１０ｂの少なくとも一部（好ましくは全部）を含んでいる。

次に、Ｓ３０２にて、第１の画像から使用者が所望する任意の画角を切り出して拡大する。ここで、拡大された画像（拡大画像）は従来のデジタルズーム技術である線形補間を用いて拡大するため劣化画像となる。なお、この劣化画像（拡大画像）は、本実施例では、第１の画角と第２の画角の間にある画角の画像である。換言すれば、劣化画像は、第３の画像１０ｂの少なくとも一部（好ましくは全部）を含んでいる。次に、Ｓ３０３にて、劣化画像の分布ｇを特定する。次に、Ｓ３０４にて、劣化画像内での第３の画像である参照画像１０ｂとの被写体同一領域を特定する。被写体同一領域の特定に関しては、後述するブロックマッチング法などを用いればよい。また、被写体同一領域の特定に関しては、第３の画像である参照画像１０ｂを、劣化画像と同サイズまで縮小してもよいし、劣化画像を拡大して比較してもよい。

次に上述した超解像原理に基づいて、超解像処理を行う。ここでは、Ｓ３０５にて、式１４で示した評価関数Ｔ（ｆ）を作成する。本実施例においては、評価関数Ｔ（ｆ）内のＺ（ｆ）の項に上述した劣化画像と参照画像１０ｂの同一被写体領域の相関が高い場合に値が小さくなる相関関数を追加することで、従来と比較してより高精度な画像復元を可能とする。また、劣化画像と参照画像１０ｂは同一被写体を撮影したものであり、それぞれの撮像倍率をβ１、β２としたとき、
β１＜β２
の関係を満たしている。この様な関係となる参照画像は、被写体のより高周波成分まで取得することができているため、高周波成分まで高精度に画像復元することが可能となっている。

次に、Ｓ３０６にて、評価関数が最小となる推定分布ｆを最急降下法などを用いて算出する。

次に、Ｓ３０７にて、算出した推定分布ｆとなる画像を回復画像として保存して本フローを完了とする。

また、表示部２００には、画像処理後（画像回復後）の画像に表示用の所定の処理を行った画像を表示しても良いし、画像処理を行わない、又は簡易的な補正処理を行った画像を表示しても良い。また、撮影中の表示についても第１の画像をそのまま表示しておいて撮影後に使用者が所望の画角を指定して上述した処理を開始してもよいし、撮影中に所望の画角を指定しておいてもよい。また、補正量に関しては、実施に当たっての許容量をいかに設定するかによって決定されるものであるので、得ようとする画質レベルの目的や処理の負荷量に応じて決定すればよい。

同様に第１の画像と第３の画像として、望遠画像１０ｂとさらなる望遠画像１０ｃを用いることでさらに高倍領域に対する連続ズームを実現することが可能である。また、このように本実施例では、連続する異なる画角を有する結像光学系において、広角側の画角と望遠側の画角比が２となるように構成されているが、これは説明を簡単にするための一例である。望ましくは、複数の結像光学系を構成する任意の結像光学系の画角をＷ、該任意の結像光学系の次に狭い画角を有する結像光学系の画角をＷｎとするとき、下記の条件式（１８）を満足することが望ましい。
１．１＜Ｗ／Ｗｎ＜３ …（１８）
条件式（１８）の下限を下回ると、撮像装置の高変倍比を達成するために非常に多くの結像光学系が必要となるため装置が大型化してしまう。また、条件式（１８）の上限を上回ると、上記超解像技術を用いても高精度に画像復元することが困難となってしまうため、ズーム後の画質が劣化してしまう。

本実施例のように、複数の異なる画角を有する複眼レンズを用いた場合には解像度を保持した連続ズームが可能となり、ズーム駆動装置などを必要としない構成を実現できるため複眼撮像装置の薄型化に貢献することができる。

次に本実施例の複眼撮像装置１の被写体距離情報記録動作について、図４のフローチャートを用いて詳細に説明する。ここではまず、最も広い被写体空間を撮像する広角光学系１０１ａ、１０１ｄの結像光学系によって得られる視差画像を用いた場合の動作について説明する。まず始めに、システムコントローラー１０８は、使用者からの撮影信号が入力されると、Ｓ４０１にて、撮像装置１全体の駆動制御を開始する。つぎに、Ｓ４０２にて、結像光学系１０１ａ、１０１ｄを介した光学像を撮像素子１０２で光電変換させ、Ａ／Ｄ変換器１０３を通して画像処理部１０４に転送させ、所定の演算処理を行って画像データ（視差画像）として取得する。

次に、Ｓ４０３にて、基準画像選択部１１０により取得された視差画像データのうち一方を視差量算出のための基準画像として選択する。本実施例では結像光学系１０１ａによって得られる画像を基準画像（第１の画像）として選択する。

次に、Ｓ４０４にて、対応点抽出部１１１により、選択された基準画像に対して、結像光学系１０１ｄから得られる画像を参照画像（第２の画像）とし、対応する画素を検出する。ここで対応する画素とは、例えば上記撮影モデルでの点像被写体Ａに対して得られる視差画像データ内で同一被写体Ａに対応する夫々の画素である。対応点抽出手法について詳細に説明する。ここで、画像座標（Ｘ，Ｙ）を使用する。

画像座標（Ｘ，Ｙ）は、図１０におけるそれぞれの画素群の左上を原点として定義し、水平方向をＸ軸、垂直方向をＹ軸とする。また、基準画像データ５０１の画像座標（Ｘ，Ｙ）の輝度をＦ１（Ｘ，Ｙ）とし、参照画像データ５０２の輝度をＦ２（Ｘ，Ｙ）として説明する。

基準画像データにおける任意の座標（Ｘ，Ｙ）に対応する参照画像データの画素は、座標（Ｘ，Ｙ）における基準画像データの輝度Ｆ１（Ｘ，Ｙ）と最も類似した参照画像データの輝度を探すことで求めることができる。図１０では、基準画像データにおける任意の座標（Ｘ，Ｙ）を、図１０の５０１内縦線画素とし、該座標（Ｘ，Ｙ）に対応する参照画像データの画素を、図１０の５０２内縦線画素とする。但し、一般的に、任意の画素と最も類似した画素を探すことは難しいため、画像座標（Ｘ，Ｙ）の近傍の画素も用い、ブロックマッチングと呼ばれる手法にて類似画素を探索する。

たとえば、ブロックサイズが３である場合のブロックマッチング処理について説明する。基準画像データの任意の座標（Ｘ，Ｙ）の画素と、その前後（Ｘ−１，Ｙ），（Ｘ＋１，Ｙ）の２つの画素の計３画素の輝度値はそれぞれ、
Ｆ１（Ｘ，Ｙ），Ｆ１（Ｘ−１，Ｙ），Ｆ１（Ｘ＋１，Ｙ）
となる。

これに対し、座標（Ｘ，Ｙ）からＸ方向にｋだけずれた参照画像データの画素の輝度値はそれぞれ、
Ｆ２（Ｘ＋ｋ，Ｙ），Ｆ２（Ｘ＋ｋ−１，Ｙ），Ｆ２（Ｘ＋ｋ＋１，Ｙ）
となる。

この場合、基準画像データの座標（Ｘ，Ｙ）の画素との類似度Ｅを以下の式（１９）で定義する。

この式（１９）において逐次ｋの値を変えて上記類似度Ｅの値を計算し、最も小さい類似度Ｅを与える（Ｘ＋ｋ、Ｙ）が、基準画像データの座標（Ｘ，Ｙ）に対する対応点である。ここでは、簡単のため水平方向に基線を有する視差画像について説明したが、同様の原理を用いて垂直方向、斜め方向に対しても対応点を検出することが可能である。

次に、Ｓ４０５にて、視差量算出部１１２により、上記で抽出された各対応点について視差量を算出する。算出手法としては、上記ブロックマッチング法で得られた基準画像データの各画素に対応する参照画像データの各画素との画素位置差分として算出する。次に、Ｓ４０６にて、距離情報算出部１１３により、上記で算出された視差量と既知の情報である結像光学系の焦点距離と結像光学系１０１ａ，１０１ｄの基線長データから式１７を用いて撮影被写体に対する距離情報を算出する。ここで上記でも述べたように、被写体距離算出の精度を向上させるためには撮影視差量が出来るだけ大きくなるように構成することが重要である。また、撮影者にとっては撮影される被写体空間全域に対する距離情報が重要である。そのため、本実施例では、結像光学系のうち最も広い被写体空間を撮像する広角光学系１０１ａ、１０１ｄの基線長が最も大きくなるように対角上に配置する構成としている。また、ここでは結像光学系１０１ａ、１０１ｄを用いた場合の距離情報算出について説明したが、同様の原理によって他の結像光学系対（例えば光学系１０１ａ，１０１ｂの対）を用いても距離情報算出することが可能である。ここで、画角の異なる画像によって上記手法を用いる場合は、広い画角の画像から狭い画角の画像に対応する部分を切り出して対応点を抽出する手法がより望ましい。次に、Ｓ４０７にて、取得された画像データとともに算出された被写体距離情報を記録して本フローを完了とする。

以上のように、画角の異なる３種の結像光学系を備えることにより、ズーム駆動装置などを必要としない連続ズーム機能を実現することが可能である。さらに、本実施例では結像光学系のうち最も広い被写体空間を撮像する広角光学系を対として備え、その光学系対を基線長が最も大きくなるように対角上に配置する構成とすることで、距離情報取得精度向上を両立させている。つまり、本発明の構成によってビデオカメラ、デジタルカメラ等の撮像装置を、薄型、高変倍比でありながら、撮影する被写体空間についての高度な周辺空間情報を容易に取得することができる撮像装置へと発展させることが可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

以下、図面を参照して、本発明の第２の実施形態による、複眼撮像装置について説明する。

図５は第２の実施例の複眼撮像装置２の構成図である。結像光学系２０１ａ、２０１ｂ、２０１ｃ、２０１ｄ、２０１ｅが複眼を構成する結像光学系（複眼光学系）である。撮像素子２０２は、撮像領域２０２ａ、２０２ｂ、２０２ｃ、２０２ｄ、２０２ｅを有する。撮像領域２０２ａ〜ｅは、結像光学系２０１ａ〜ｅにそれぞれ対応する領域である。撮像領域２０２ａ〜ｅは、それぞれ結像光学系２０１ａ〜ｅを介して素子面上に到達した光学像を電気信号に変換する。その他同一番号の部分については実施例１と同様であるため説明を省略する。

図５に示されるように、複眼撮像装置２は５つの結像光学系２０１ａ、２０１ｂ、２０１ｃ、２０１ｄ、２０１ｅを備えている。５つの結像光学系２０１ａ〜ｅはそれぞれ光軸がほぼ平行になるように配置される。また、５つの結像光学系２０１ａ〜ｅは、各光学系の光軸間を結ぶ基線が交差（一部は直交）するように配置されている。さらに対角方向に配置された結像光学系２０１ａ、２０１ｄが５つの結像光学系の中で最も広い撮影画角８θを有する広角結像光学系対として構成される。さらに、結像光学系２０１ｂは２０１ａ，２０１ｄに比べて撮影画角が半分の４θであり、結像光学系２０１ｅはさらに撮影画角が半分の２θであり、結像光学系２０１ｃはさらに撮影画角が半分のθとなるように構成されている。連続ズーム機能の実現手段、距離情報取得精度向上の構成理由は第１の実施例と同様となるため、ここでは詳細な説明は省略する。

以上のように、画角の異なる４種の結像光学系を備えることにより、ズーム駆動装置などを必要としない連続ズーム機能を実現することが可能である。さらに、本実施例では結像光学系のうち最も広い被写体空間を撮像する広角光学系を対として備え、その光学系対を基線長が最も大きくなるように対角上に配置する構成とすることで、距離情報取得精度向上を両立させている。つまり、本発明の構成によってビデオカメラ、デジタルカメラ等の撮像装置を、薄型、高変倍比でありながら、撮影する被写体空間についての高度な周辺空間情報を容易に取得することができる撮像装置へと発展させることが可能となる。

以下、図面を参照して、本発明の第３の実施形態による、複眼撮像装置について説明する。

図６は第３の実施例の複眼撮像装置３の構成図である。結像光学系３０１ａ、３０１ｂ、３０１ｃ、３０１ｄ、３０１ｅ、３０１ｆ、３０１ｇ、３０１ｈ、３０１ｉが複眼を構成する結像光学系（複眼光学系）である。撮像素子３０２は、撮像領域３０２ａ、３０２ｂ、３０２ｃ、３０２ｄ、３０２ｅ、３０２ｆ、３０２ｇ、３０２ｈ、３０２ｉを有する。撮像領域３０２ａ〜ｉは、結像光学系３０１ａ〜ｉにそれぞれ対応する領域である。撮像領域３０２ａ〜ｉは、それぞれ結像光学系３０１ａ〜ｉを介して素子面上に到達した光学像を電気信号に変換する。その他同一番号の部分については実施例１と同様であるため説明を省略する。

図６に示されるように、複眼撮像装置３は９つの結像光学系３０１ａ、３０１ｂ、３０１ｃ、３０１ｄ、３０１ｅ、３０１ｆ、３０１ｇ、３０１ｈ、３０１ｉを備えている。９つの結像光学系３０１ａ〜ｉはそれぞれほぼ光軸が平行になるように配置される。また、９つの結像光学系３０１ａ〜ｉは、各光学系の光軸間を結ぶ基線が交差（直交）するように配置されている。さらに対角方向に配置された結像光学系３０１ａ、３０１ｉが９つの結像光学系の中で最も広い撮影画角８θを有する広角結像光学系対として構成される。さらに、結像光学系３０１ｂは７θであり、結像光学系３０１ｃは６θであり、結像光学系３０１ｆは５θとなるように構成されている。さらに、結像光学系３０１ｅは４θであり、結像光学系３０１ｄは３θであり、結像光学系３０１ｇは２θであり、結像光学系３０１ｈはθとなるように構成されている。連続ズーム機能の実現手段、距離情報取得精度向上の構成理由は第１の実施例と同様となるため、ここでは詳細な説明は省略する。また、このように本実施例では、連続する異なる画角を有する結像光学系において、広角側の画角と望遠側の画角比が１．１４〜２となるように構成されているが、これは説明を簡単にするための一例である。望ましくは、複数の結像光学系を構成する任意の結像光学系の画角をＷ、該任意の結像光学系の次に狭い画角を有する結像光学系の画角をＷｎとするとき、上記の条件式（１８）を満足することが望ましい。

条件式（１８）の下限を下回ると、撮像装置の高変倍比を達成するために非常に多くの結像光学系が必要となるため装置が大型化してしまう。また、条件式（１８）の上限を上回ると、上記超解像技術を用いても高精度に画像復元することが困難となってしまうため、ズーム後の画質が劣化してしまう。

以上のように、画角の異なる８種の結像光学系を備えることにより、ズーム駆動装置などを必要としない連続ズーム機能を実現することが可能である。さらに、本実施例では結像光学系のうち最も広い被写体空間を撮像する広角光学系を対として備え、その光学系対を基線長が最も大きくなるように対角上に配置する構成とすることで、距離情報取得精度向上を両立させている。つまり、本発明の構成によってビデオカメラ、デジタルカメラ等の撮像装置を、薄型、高変倍比でありながら、撮影する被写体空間についての高度な周辺空間情報を容易に取得することができる撮像装置へと発展させることが可能となる。

さらに、上記のように構成された撮像装置１，２，３の他の周辺空間情報取得モード、又は周辺空間情報応用モードについて説明する。ハイダイナミックレンジモードは、複眼を構成するそれぞれのユニットで露出条件を変えて撮影を行い、撮影された夫々の画像を合成することによって、ダイナミックレンジの広い画像情報を取得する。ボケ付加モードは、上記のように算出した被写体距離情報に基づいて背景にボケを付加することで主要被写体を強調する画像を得る。背景除去モードは、上記のように算出した被写体距離情報に基づいて主要被写体以外の背景を除去した画像を得る。立体画像撮像モードは、水平方向に配列された複眼を構成するそれぞれのユニットで左右視差画像を取得し、一方の狭い画角の画像とそれに対応する他方の広い画角の画像領域の一部を用いて立体画像として画像を保存する。このように、本発明の複眼撮像装置は、立体画像撮像装置としても機能することができる。撮影構図選択モードは、図２のように複数の画角による画像を表示部２００に表示することで、撮影者に所望の画角画像を選択させる。次に、ベストショットモードについて図７を用いて簡単に説明する。ここで、図７は複眼撮像装置１の結像光学系１０１ａに対応した画角範囲の画像であり、破線部１３１は結像光学系１０１ｂに対応した画角範囲であるとする。結像光学系１０１ｂに対応する画角で撮影者が動体である人物１３０の撮影を行うように操作した場合、撮影目的である動体（人物１３０）が破線部１３１の領域に入るタイミングを画像処理部１０４で算出する。上記タイミングの算出には結像光学系１０１ａに対応した広い画角範囲の画像から動体の動きベクトル等を用いて算出することができる。撮影領域変更モードは、夫々の結像光学系を夫々の光軸と垂直な面内で変位可能とすることで、夫々の結像光学系に対応する被写体空間領域を変更して夫々の画像を保存する。このように、本発明は、実施例１〜３に記載の複数の結像光学系のそれぞれを光軸と垂直な面内で変位させる変位手段を備えていてもよい。例えば、広角結像光学系１０１ａに対応する画面内の任意の領域を望遠結像光学系１０１ｃを変位させることで拡大表示させることが可能となる。

本発明の複眼撮像装置は、ビデオカメラやコンパクトデジタルカメラなどの光学装置に好適に利用できる。

１複眼撮像装置
１０１ａ，１０１ｂ，１０１ｄ結像光学系
１０２撮像素子

Claims

複数の光学系を備えた複眼撮像装置において、
前記複数の光学系は、前記複数の光学系のうち最も広い第１の画角を有する第１の光学系および第２の光学系と、前記第１の画角よりも狭い第２の画角を有する第３の光学系と、前記第２の画角よりも狭い第３の画角を有する第４の光学系を含み、
前記第１の光学系に対応する第１の撮像領域と、前記第２の光学系に対応する第２の撮像領域と、前記第３の光学系に対応する第３の撮像領域と、前記第４の光学系に対応する第４の撮像領域を有する撮像素子と、
前記第１の撮像領域から得られる第１の画像と、前記第２の撮像領域から得られる第２の画像に基づいて、前記第１の画像および前記第２の画像の画像内の被写体距離情報を算出する算出手段と、
前記第１の画像と、前記第３の撮像領域から得られる第３の画像に基づいて、前記第１の画角と前記第２の画角の間にある画角の画像を復元し、前記第３の画像と、前記第４の撮像領域から得られる第４の画像に基づいて、前記第２の画角と前記第３の画角の間にある画角の画像を復元する画像復元手段を備え、
前記複数の光学系は、前記第１の光学系と前記第２の光学系の基線長が最も大きくなるように配置されていることを特徴とする複眼撮像装置。
前記複数の光学系は、各光学系の光軸間を結ぶ基線が交差するように配置されることを特徴とする請求項１に記載の複眼撮像装置。
前記第１の光学系と前記第３の光学系の光軸間を結ぶ基線と前記第１の光学系と前記第４の光学系の光軸間を結ぶ基線とが直交し、前記第１の光学系と前記第４の光学系の光軸間を結ぶ基線と前記第２の光学系と前記第４の光学系の光軸間を結ぶ基線とが直交し、前記第２の光学系と前記第３の光学系の光軸間を結ぶ基線と前記第２の光学系と前記第４の光学系の光軸間を結ぶ基線とが直交し、前記第１の光学系と前記第３の光学系の光軸間を結ぶ基線と前記第２の光学系と前記第３の光学系の光軸間を結ぶ基線とが直交することを特徴とする請求項１または２に記載の複眼撮像装置。
前記画像復元手段は、前記第１の画像の一部を拡大した拡大画像と前記第３の画像とに基づいて、前記拡大画像を超解像処理により画像復元することを特徴とする請求項１ないし３のいずれか１項に記載の複眼撮像装置。
前記複数の光学系のうち任意の光学系の画角をＷ、前記任意の光学系の次に狭い画角を有する光学系の画角をＷｎとするとき、
１．１＜Ｗ／Ｗｎ＜３
を満足することを特徴とする請求項１ないし４のいずれか一項に記載の複眼撮像装置。
前記複数の光学系のそれぞれの光軸は、互いに平行であることを特徴とする請求項１ないし５のいずれか一項に記載の複眼撮像装置。
前記複数の光学系には、前記複数の光学系のそれぞれを光軸と垂直な面内で変位させる変位手段が設けられていることを特徴とする請求項１ないし６のいずれか一項に記載の複眼撮像装置。