JP5911307B2

JP5911307B2 - 撮像装置

Info

Publication number: JP5911307B2
Application number: JP2012002929A
Authority: JP
Inventors: 和浩矢幡
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-01-11
Filing date: 2012-01-11
Publication date: 2016-04-27
Anticipated expiration: 2032-01-11
Also published as: JP2013143677A

Description

本発明は、写真を撮影後に、写真画像のフォーカス、絞りおよびズーム倍率を変更する画像処理が可能な撮像データを提供する撮像装置に関する。

写真を撮影後に、写真画像のフォーカス、絞り及びズーム倍率などを変更する方法が提案されている。例えば非特許文献１は、小型で被写界深度が深い複数の小型カメラからなる多眼カメラで撮像された画像データから、被写界深度のより浅い画像データを生成する手法を開示する。

このような多眼カメラにおいてズーム処理を行う場合、最も単純な実現方法は個々の小型カメラにそれぞれズーム光学系を持たせる事である。しかしながら、ズーム光学系を全ての小型カメラに持たせると非常に高価となる。一方、特許文献１ではそれぞれ異なる画角を有する複数の単焦点カメラからなる多眼カメラを用い、画角に応じて使用する画像を切り替えることで光学系によるズームを省き、安価にズーム処理を実現する方法を開示している。つまり、特許文献１の技術によれば、画角の異なる多眼カメラを一つのズームカメラとみなすことが可能である。このズームカメラを非特許文献１における一つの小型カメラに置き換えると、異なる画角を有する単焦点カメラが複数配置された多眼カメラとなる。これにより、撮影後に写真画像の被写界深度とズームとが変更できる多眼カメラをより安価に実現する事が可能である。

特開２００５−１０９６２３号公報

"High performance imaging using large camera arrays" ACM Transactions on Graphics - Proceedings of ACM SIGGRAPH 2005

上記のように単純に従来技術を組み合わせると、広角のカメラも望遠のカメラも均等に並んだ多眼カメラとなる。これにより、さまざまな画角において、個々のカメラで得られる画像の被写界深度よりも浅い被写界深度を持った画像を生成する事ができる。しかしながらＦ値があまり変化しない大口径ズームレンズを備えた一般的なカメラと比較すると、前述のようなカメラ配置を持った多眼カメラは、広角側で得られる被写界深度に対して望遠側で得られる被写界深度のバランスが悪いという課題がある。

本発明に係る撮像装置は、レンズと撮像センサとを有する撮像部を同一平面上に複数配置した撮像装置であって、前記撮像部のうち第１の画角を持つ２つ以上の撮像部で構成される第１の撮像部群は、前記第１の画角よりも狭い第２の画角を持つ２つ以上の撮像部で構成される第２の撮像部群が配置される範囲よりも狭い範囲であり、かつ、前記第２の撮像部群に囲まれる範囲に配置されることを特徴とする。

本発明によれば、広角側で得られる被写界深度と望遠側で得られる被写界深度とのバランスを、一般的な大口径ズームレンズを備えたカメラで得られる被写界深度のバランスに合わせる事ができる。

本発明の第１の実施例における撮像装置の外観例を示す図である。本発明の第１の実施例における撮像装置の構成例を示すブロック図である。本発明の第１の実施例における撮像部の構成例を示すブロック図である。本発明の第１の実施例における撮像動作例を示すフローチャートである。本発明の第１の実施例における撮影後にズームを変更する処理の一例を示すフローチャートである。画角と瞳の関係例を示した図である。多眼カメラの画角毎の実効的な瞳の大きさの例を示す図である。本発明の第１の実施例を適用可能な撮像部の配置の例を示す図である。本発明の第１の実施例における撮像部の配置の例を示す図である。

[実施例１]
＜撮像装置の構成＞
図１は、実施例１の撮像装置１００の概観例を示す図である。図１に示す撮像装置１００は、前面（被写体側）に６９個の撮像部１０１−１６９を有する所謂多眼カメラである。図１に示す撮像部１０１−１６１のハッチングの違いは、画角の違いを示している。例えば、撮像部１０１−１０４、撮像部１０５−１０９、撮像部１１０−１２３、撮像部１２４−１６９がそれぞれ同じ画角を持っている。撮像部の配置関係の詳細な説明については後述する。撮像装置１００はさらにフラッシュ１７０と撮影ボタン１７１とを備える。また、図１には示さないが、撮像装置１００は、その背面に操作部及び表示部などを有する。以下本実施例では撮像部を６９個有する場合の説明を行うが、撮像部の数は６９個に限られるわけではない。複数の撮像部は同じ被写体またはほぼ同じ領域を撮影可能となるように配置されている。「ほぼ同じ領域」及び「ほぼ同時に」とは、例えば複数の撮像部で撮影された画像データを合成した場合に、他の撮像部で撮像された画像データと同じような画像を得られる範囲を示している。

図２は、撮像装置１００の構成例を示すブロック図である。ＣＰＵ２０１は、ＲＡＭ２０２をワークメモリとして使用して、ＲＯＭ２０３に格納されたＯＳや各種プログラムを実行する。また、ＣＰＵ２０１は、システムバス２００を介して、撮像装置１００の各構成を制御する。また、ＲＡＭ２０２はフォーカス設定及び絞り設定など撮像部１０１−１６９の状態を示す情報である撮像パラメータなどを格納する。ＲＯＭ２０３は、撮像部１０１−１６９の相対的な位置関係、並びに、各撮像部の撮像素子の画素ピッチ、光のエネルギーの受光効率、及び撮像部が撮像できる画角（立体角）などを示すカメラ設計パラメータなどを格納する。なお、図示していないが、各撮像部１０１−１６９のＲＯＭに当該撮像部のカメラ設計パラメータを格納するようにしてもよい。

ＣＰＵ２０１は、コンピュータグラフィックス（ＣＧ）生成部２０７及び表示制御部２０４を制御してモニタ２１３にユーザインタフェイス（ＵＩ）を表示させる。また、ＣＰう２０１は、撮影ボタン１７１や操作部１７２を介してユーザ指示を受信する。そして、ＣＰＵ２０１は、ユーザ指示に従い、撮像時の被写体距離、焦点距離、絞り、露光時間、及びフラッシュの発光などの撮影条件の設定をすることができる。また、ＣＰＵ２０１は、ユーザ指示に従い、撮像の指示、及び撮像した画像の表示設定を行うことができる。ＣＧ生成部２０７は、ＵＩを実現するための文字やグラフィックスなどのデータを生成する。

ユーザから撮影を指示されると、ＣＰＵ２０１は、ユーザの指示に対応した光学系の制御方法を光学系制御方法生成部２０９から取得する。次に、ＣＰＵ２０１は、取得した光学系の制御方法に基づいて光学系制御部２１０に撮像を指示する。この撮像指示を受信した光学系制御部２１０は、フォーカスを合わせ、絞りを調節し、又はシャッタを開閉するなどの撮像光学系の制御を行う。また、光学系制御部２１０は、撮像光学系の制御結果を示すフォーカス設定及び絞り設定など撮像部１０１−１６９の状態を示す情報である撮像パラメータをＲＡＭ２０２に格納する。なお、一つの光学系制御部２１０によって各撮像部１０１−１６９の撮像光学系を制御するのではなく、ＣＰＵ２０１と通信可能な光学系制御部を各撮像部１０１−１６９に備えてもよい。

撮像部１０１−１６９はそれぞれ、被写体からの光をＣＣＤやＣＭＯＳなどの撮像センサ３０７において受光する。詳細は図３に関連して後述する。撮像部１０１−１６９は、撮像センサ３０７が出力するアナログ信号をアナログ−デジタル（Ａ／Ｄ）変換した撮像データ（以下、ＲＡＷデータ）を、一旦、撮像部１０１−１６９内のバッファメモリに保持する。バッファメモリに保持されたＲＡＷデータは、ＣＰＵ２０１の制御により、順次、ＲＡＭ２０２の所定領域に格納される。

デジタル信号処理部２０８は、ＲＡＭ２０２の所定領域に格納された複数のＲＡＷデータ（以下、ＲＡＷデータ群）から画像データを生成する現像処理を行い、ＲＡＷデータ群および生成した画像データをＲＡＭ２０２の所定領域に格納する。また、デジタル信号処理部２０８は、撮像後の画像データに対してズーム倍率を変更し、変更後の画像データを生成する処理を行うことができる。なお、現像処理には、複数のＲＡＷデータを合成する合成処理、デモザイキング処理、ホワイトバランス処理、ガンマ処理、及びノイズ低減処理などが含まれる。生成した画像データにはフォーカス距離、ズーム倍率および被写界深度などを示す現像処理時のパラメータ（以下、画像生成パラメータ）が付加される。画像生成パラメータは、例えばユーザから指定された値に基づいて生成される。また、例えば初回現像時などにおいては初期設定値を画像生成パラメータとして用いることができる。また、ＲＡＷデータ群には少なくとも撮像パラメータが付加されるが、外部の画像処理装置による現像処理を考慮して、カメラ設計パラメータを付加してもよい。

ＣＰＵ２０１は、表示制御部２０４を制御して、ＲＡＭ２０２の所定領域に格納された画像データをモニタ２１３に表示する。圧縮伸長部２１２は、ＲＡＭ２０２の所定領域に格納された画像データをＪＰＥＧやＭＰＥＧなどのフォーマットに変換するエンコード処理を行う。また、圧縮伸長部２１２は、必要ならば、ＲＡＷデータ群をロスレス圧縮する処理を行う。

ＣＰＵ２０１は、表示制御部２０４を制御して、ＲＡＭ２０２の所定領域に格納された画像データをモニタ２１３に表示する。圧縮伸長部２１２は、ＲＡＭ２０２の所定領域に格納された画像データをＪＰＥＧやＭＰＥＧなどのフォーマットに変換するエンコード処理、必要ならば、ＲＡＷデータ群をロスレス圧縮する処理を行う。

インタフェイス（Ｉ／Ｆ）２０５は、例えばメモリカードやＵＳＢメモリなどの記録メディア２０６を読み書きする機能及び有線や無線のネットワークに接続する機能を有する。Ｉ／Ｆ２０５は、ＣＰＵ２０１の指示に従い、例えばＲＡＭ２０２に格納されたＪＰＥＧやＭＰＥＧフォーマットの画像データおよびＲＡＷデータ群を外部のメディアやサーバ装置に出力したり、外部の記録メディアやサーバ装置から各種データを入力する。

画像生成パラメータ生成部２１１は、デジタル信号処理部２０８における現像処理に必要な画像生成パラメータを生成する。

なお、図２には撮像部１０１−１６９とその他の構成を一つにまとめた撮像装置１００を示したが、撮像部１０１−１６９とその他の構成（画像処理装置）を分離することもできる。その場合、撮像部１０１−１６９と画像処理装置それぞれに、例えばＵＳＢやＩＥＥＥ１３９４などのシリアルバスＩ／Ｆや無線ネットワークカードのような通信部をもたせ、通信部を介して制御信号の送受信およびデータの入出力を行えばよい。

＜各撮像部の構成例＞
図３のブロック図は、撮像部１０１−１６９の構成例を示す図である。なお、図３には撮像部１０１の構成例を示すが、他の撮像部１０２−１６９もほぼ同様の構成を有する。ただし、撮像部１０１−１６９の画角はすべて同一の構成ではない。詳細は後述する。

被写体からの光は、フォーカスレンズ群３０１、絞り３０２、固定レンズ群３０３、シャッタ３０４、赤外線カットフィルタ３０５、カラーフィルタ３０６を通過して、ＣＭＯＳセンサやＣＣＤなどの撮像センサ３０７上に結像する。Ａ／Ｄ変換部３０８は、撮像センサ３０７が出力するアナログ信号をＡ／Ｄ変換する。バッファ３０９は、Ａ／Ｄ変換部３０８が出力するＲＡＷデータを一時的に格納し、ＣＰＵ２０１の要求に応じて、ＲＡＷデータをシステムバス２００を介してＲＡＭ２０２に転送する。

なお、図３に示すレンズ群と絞りの配置は一例であり、異なる配置でもよい。例えば、一部またはすべての撮像部がテレセントリック性などのレンズ性能を向上させるための固定レンズ群３０３をもたなくてもよい。

＜撮像動作＞
図４は、実施例１の撮像動作の一例を示すフローチャートである。なお、図４に示す処理は、例えばＲＯＭ２０３に格納されたプログラムをＣＰＵ２０１が読み出して実行することによって実現される。ユーザが操作部１７２や撮影ボタン１７１を操作すると図４に示す撮像動作が開始される。ＣＰＵ２０１は、操作部１７２や撮影ボタン１７１を介してユーザ指示を受け取り、ユーザの操作を判定する（ステップＳ１０１）。

ユーザが操作部１７２を操作してフォーカス及び絞りなど撮像光学系の設定を変更した場合、ＣＰＵ２０１は、光学系制御方法生成部２０９から各撮像部の有する光学系の制御方法を取得する（ステップＳ１０２）。ステップＳ１０２では、光学系制御方法生成部２０９は、あらかじめユーザにより設定された動作モードに基づき、撮像部の光学系の制御方法を算出する。例えば、全ての撮像部が同じフォーカスに合わせて撮影する動作モードの場合は、光学系制御方法生成部２０９は全ての撮像部のフォーカスをユーザが指定した値に設定する。逆に、複数の撮像部がそれぞれ異なるフォーカスに合わせて撮影する動作モードの場合は、光学系制御方法生成部２０９はユーザが指定した以外の撮像部のフォーカスは維持するように設定値を算出する。光学系制御方法生成部２０９は絞りについても同様の動作を行う。

ＣＰＵ２０１は、この算出された絞り値やフォーカスの値に基づいて光学系制御部２１０を制御し、撮像部１０１−１６９の各レンズ群や絞りの状態を変更する（ステップＳ１０３）。光学系制御部２１０は、撮像部１０１−１６９の各レンズ群や絞りの状態を示す撮像パラメータをＣＰＵ２０１に送信し、ＣＰＵ２０１は受信した撮像パラメータをＲＡＭ２０２の所定領域に格納する（ステップＳ１０４）。

なお、ユーザが撮影ボタン１７１を半分程度押し下げた時、ユーザーによる設定に基づいて、フォーカスを自動的に合わせるオートフォーカスや絞りを自動的に合わせて露光量を調節するオートエクスポージャーが行われる。この操作により撮像部のフォーカスや絞りが自動的に変更されるから、これも撮像光学系の変更動作の一つである。

ユーザが撮影ボタン１７１を完全に押し下げた時、ステップＳ１０１においてＣＰＵ２０１は、撮影操作が行われたと判断する。ＣＰＵ２０１は、光学系制御部２１０を制御して、撮像部１０１−１６９のシャッタ３０４を予め設定した時間だけ開口させて撮像センサ３０７を露光する（ステップＳ１０５）。

その後、ＣＰＵ２０１は、撮像部１０１−１６９のバッファ３０９を制御してＲＡＷデータ群をＲＡＭ２０２の所定領域に格納する（ステップＳ１０６）。

次に、ＣＰＵ２０１は、画像生成パラメータ生成部２１１を制御して、ズーム倍率、フォーカス距離および被写界深度などの画像生成パラメータを取得し、ＲＡＭ２０２の所定領域に格納する（ステップＳ１０７）。そして、デジタル信号処理部２０８を制御してＲＡＷデータ群の現像処理を実行させる（ステップＳ１０８）。

デジタル信号処理部２０８は、ＲＡＷデータ群、撮像パラメータ、カメラ設計パラメータ、及び画像生成パラメータを入力して、これらデータとパラメータに基づき現像処理を実行して、画像データ（以下、初回画像データ）を生成する。その後、デジタル信号処理部２０８は、ＲＡＷデータ群に撮像パラメータ（必要ならばカメラ設計パラメータ）を付加し、初回画像データに現像処理に使用した画像生成パラメータを付加する。ＣＰＵ２０１は、デジタル信号処理部２０８が出力する初回画像データおよびＲＡＷデータ群をＲＡＭ２０２の所定領域に格納する（ステップＳ１０９）。

次に、ＣＰＵ２０１は、圧縮伸長部２１２を制御して初回画像データをエンコード処理する（ステップＳ１１０）。そして、Ｉ／Ｆ２０５を制御して、エンコード処理済の初回画像データおよびＲＡＷデータ群を一つのファイルとして出力する（ステップＳ１１１）。なお、データの出力先は、例えば記録メディア２０６や図示しないサーバ装置などである。また、圧縮伸長部２１２によってロスレス圧縮を施したＲＡＷデータ群を出力してもよい。

＜再合成処理＞
次に、撮影後にズーム倍率又は被写界深度など画像生成パラメータの変更を行って画像を合成しなおす処理（以下、再合成処理）を説明する。図５は、再合成処理の一例を示すフローチャートである。なお、図５に示す処理は、例えばＲＯＭ２０３に格納されたプログラムをＣＰＵ２０１が読み出して実行することによって実現される。また、再合成処理は、通常、操作部１７２を介したユーザ指示により開始されるが、撮影後、自動的に開始されてもよい。

ＣＰＵ２０１は、再合成処理が指示されると（ステップＳ５０１）、ユーザが指示する画像データおよび対応するＲＡＷデータ群を例えば記録メディア２０６から取得する（ステップＳ５０２）。そして、圧縮伸長部２１２を制御して画像データを（必要ならばＲＡＷデータ群も）デコード処理し、デコードした画像データとＲＡＷデータ群をＲＡＭ２０２の所定領域に格納する（ステップＳ５０３）。

なお、ステップＳ５０２で取得するデータは、撮像装置１００によって撮影された撮像データや生成された画像データである必要はなく、他の撮像装置や他の画像処理装置によって例えば記録メディア２０６に格納されたデータでもよい。ただし、その場合には、取得するＲＡＷデータに関連する撮像パラメータおよびカメラ設計パラメータを別途取得する必要がある。

次に、ＣＰＵ２０１は、ＲＡＷデータ群から撮像パラメータとカメラ設計パラメータとを、画像データから画像生成パラメータを読み込む（ステップＳ５０４）。そして、画像生成パラメータ生成部２１１から画像生成パラメータの変更が可能な範囲を取得する（ステップＳ５０５）。なお、この画像生成パラメータには、撮影後の画像のズーム倍率又は被写界深度（あるいは実効的なＦ値でもよい）が含まれている。

次に、ＣＰＵ２０１は、ＣＧ生成部２０７、表示制御部２０４を制御して、画像データが表す画像を表示し、変更が可能な範囲で画像生成パラメータを変更するためのグラフィカルユーザインタフェイス（ＧＵＩ）をモニタ２１３に表示する（ステップＳ５０６）。ユーザは、モニタ２１３に表示される画像を参照して、所望する画像が得られている場合は例えばＧＵＩの決定ボタンを押し、画像生成パラメータを変更する場合はＧＵＩを操作して例えばＧＵＩの変更ボタンを押す。

ＣＰＵ２０１は、ユーザ操作が決定ボタンの押下動作であるか、又は画像生成パラメータの変更動作であるかを判定する（ステップＳ５０７）。決定ボタンが押された場合はユーザが所望する画像データが撮像されたと判断して再合成処理を終了する。

ユーザ操作が画像生成パラメータを変更するものであった場合には次の処理を行う。すなわち、ＣＰＵ２０１はデジタル信号処理部２０８を制御して、ユーザがＧＵＩを介して指定する画像生成パラメータによってＲＡＷデータ群を現像して合成処理した画像データを生成させる（ステップＳ５０８）。そして、処理をステップＳ５０６に戻して、再合成された画像データが表す画像をＧＵＩに表示する。

ＣＰＵ２０１は、ステップＳ５０７の判定により再合成処理後に決定ボタンが押されたか判断する（ステップＳ５０９）。ステップＳ５０９で再合成処理後に決定ボタンが押されたと判断すると、初回画像データを出力する場合と同様の処理により再合成された画像データを出力する（ステップＳ５１０）。そして、再合成処理を終了する。

＜画像合成処理＞
デジタル信号処理部２０８の現像処理のうち、複数のＲＡＷデータを合成する処理（以下、画像合成処理）を簡単に説明する。本実施例における画像合成処理では、複数視点画像から被写界深度の浅い画像を生成する合成開口法と電子ズームとを組み合わせる事により、所望の被写界深度とズーム倍率を持った画像を合成する。

図１に示すように、撮像部１０１−１６９の位置はそれぞれ異なり、撮像部１０１−１６９が出力するＲＡＷデータ群は所謂複数視点画像を構成する。個々の画像データに必要に応じてフィルタ処理を施し、さらにフォーカスを合わせたい距離（以下、フォーカス距離）に位置合わせをした上で画像データを足し合わせ、被写界深度が浅い合成画像を生成する。被写界深度の調節は、一般にはフィルタ処理に使用するフィルタを変更するか、合成に用いる画像数を変更するなどして行う事ができる。また、画像の位置合わせに必要な位置ずれ量は、各撮像部の位置や向きなどのカメラ設計パラメータと、フォーカス距離などの画像生成パラメータとから算出可能である。

電子ズーム処理は、一般的には画像のリサンプリング処理である。リサンプリング処理ではリサンプリング前後の画像の画素位置の関係に応じて、いくらかボケが生じる事が一般的である。このボケの影響を減らすためには、出力すべきズーム倍率に対応した画角よりも広い画角を持つ画像の内、最も狭い画角を有する複数の画像を用いる事が好ましい。ただし、ボケの影響よりもノイズを低減する事を優先する場合には、それ以外の複数の画角の画像を用いてもよい。

開口合成処理の位置合わせも電子ズーム処理も、本質的には画像をリサンプリングして足し合わせる処理であるため、これらは同時に行う事ができる。つまり、画像の位置合わせを考慮しつつ画像のリサンプリング処理を行えばよい。この時、出力画像の画角の範囲外に対応する領域の処理は省くことができる。このリサンプリング処理により、位置合わせがなされ、かつ所望の画角で所望の画素数を持つ画像群が生成される。これらの画像群にさらにフィルタリング処理を行った上で足し合わせる事で出力画像を得る。複数の画角の画像を用いる場合、ぼけの影響を減らすために画像を足し合わせる場合に重みをつけてもよい。たとえば、出力画像に対応する画角よりも広い画角を有する画像、すなわち解像度が低くボケている画像の重みを相対的に小さくする事で、ボケの影響を小さくする事ができる。

＜実施例の基本的な考え方＞
ここまでにおいて、実施例１の構成、撮像処理、及び撮像後の画像データの再合成処理を含む全般的な処理について説明した。以下では、本実施例の基本的な考え方について説明する。図６は通常の大口径ズームレンズにおける、画角、焦点距離、瞳径の関係を図示したものである。図６（ａ）はズームを行ってもＦ値が変化しないようなズームレンズの場合を示している。Ｆ値は瞳径に対する焦点距離の比であるから、Ｆ値が一定である場合には、焦点距離に比例して瞳径が大きくなっていく。図６（ｂ）は、望遠側にいくにつれてややＦ値が大きくなるようなズームレンズの場合を示している。この場合も焦点距離が長くなるにつれ、瞳径が大きくなっていく。図６（ｃ）はズームを行っても瞳径が一定であるようなズームレンズの場合を示している。この場合、焦点距離に応じてＦ値も比例するため、例えば１０倍ズームであれば、望遠端のＦ値は広角端に対して１０倍も大きくなってしまう。カメラのズームレンズとしては、図６（ａ）あるいは図６（ｂ）のようなものが一般的である。図６（ｂ）のようなＦ値が変化する一般的なズームレンズの広角端と望遠端のＦ値の差は、大きくても１．７倍程度である。

カメラで得られる画像の被写界深度、言いかえるとピントが合っていないところのぼけの大きさは、瞳の大きさで決まる。単純には、画角が同じで瞳の大きさが１０分の１になると、ぼけの大きさも１０分の１になってしまう。このため、例えば１０倍のズームレンズの望遠端の画像において、図６（ｃ）に示したズームレンズを使用した画像のぼけの大きさは、図６（ａ）に示した一般的なズームレンズを使用した画像のボケの大きさの１０分の１となってしまう。広角端は図６（ａ）と同様のぼけの大きさを提供できる故に、図６（ｃ）のようなズームレンズの被写界深度のバランスは悪い。このため、図６（ｃ）のようなズームレンズは、写真用途のレンズとしては好まれない。以上は、一般的な単眼カメラの場合の例である。

瞳の大きさでぼけの大きさが決まるのは、多眼カメラも同様である。多眼カメラの場合、いくつかの瞳の小さな小型カメラが集まって大きな瞳を形成していると考えられる。図７に、一般的な画角の異なる単焦点カメラを並べた多眼カメラを一つのズームカメラとみなし、これをさらに多眼化した場合の構成のカメラの外観を示す。図７中の実線で描かれた円が各撮像部を示す。円の大きさが画角の違いを示し、大きいほど望遠である事を示す。２×２で並んだ画角の異なる４つの撮像部で一つのユニットを構成しており、これが１つのズームカメラに対応する。図７に示した撮像装置では、このユニットが十文字に１２ユニットならんだ状態である。そして、同じ画角を有する撮像部のセットを切り替えることでズームが異なる画像を撮像できる。波線で描いた円は、画角毎の撮像部群の広がりを示したもので７０１が最も望遠の撮像部群であり、７０２が次にズーム倍率の高い画角をもつ撮像部群である。７０３はさらにその次にズーム倍率が高い画角を持つ撮像部群の広がりであり、７０４は最も広角な画角を有する撮像部群の広がりを示す。この撮像部群の広がりが、例えば図６に示すような瞳の大きさに対応する。ここで、図７に示す一般的な撮像部の構成では、撮像部群の広がりが画角によらずほぼ一定であり、図６（ｃ）のような構成となっている。つまり、この多眼カメラの被写界深度のバランスは悪い。

図６（ａ）ないしは図６の（ｂ）に示したズームレンズが持つ被写界深度のバランスを多眼カメラにも持たせるためには、画角のより狭いカメラをより広い範囲に並べて、実効的な瞳径を画角が狭いカメラほど大きくすればよい。これが本実施例の基本的な考え方である。例えば、第１の画角を持つ１つ以上の第１の撮像部群により形成される瞳径が、第１の画角よりも広い第２の画角を持つ１つ以上の第２の撮像部群により形成される瞳径よりも大きくなるように撮像部を配置することができる。

なお、図６（ａ）−（ｃ）のいずれにも図示していない例として、画角が狭くなるほどＦ値が小さくなるような場合も考えられる。このような大口径ズームレンズを作成する事は非常に難しいが、多眼カメラでは画角の狭いカメラをより広い範囲に配置する事で、そのようなズームレンズに対応する事も可能である。一般に、広角は風景などを取る場合が多いため被写界深度は深くてもよい場合もあるが、標準から望遠領域の画角では、被写体を強調するために被写界深度の浅いレンズである方が好ましい。このため、望遠側のＦ値が広角側のＦ値よりもいくらか小さいレンズは、写真用レンズとしてさほど不適ではない。

＜撮像部の構成とその組み合わせ＞
安価にズーム機能を備えるために、本実施例における撮像部の画角は全て同じではない。例えば図１に示した６９眼の多眼カメラの例においては、撮像部１０１−１６９の画角は四種類存在し、撮像部１０１−１０４、撮像部１０５−１０９、撮像部１１０−１２３、撮像部１２４−１６９がそれぞれ同じ画角を持っている。ただし、画角が同じであっても、撮像部１０１−１６９が全て同じ大きさの撮像センサを有するとは限らない。つまり、異なる大きさの撮像センサを有している場合であっても、撮像部の焦点距離が対応する距離であれば、画角は等しくなる。なお、画角が同じである撮像部同士は同じ画素数である方が画像処理が簡易になるため好ましい。また、各撮像部のＦ値が異なっていてもよく、各撮像部のレンズの大きさが異なっていてもよい。図１の例では、撮像部１０１−１０４、撮像部１０５−１０９、撮像部１１０−１２３、撮像部１２４−１６９の順で画角が狭くなっている。

本実施例では、図１に示すように、画角が狭いほど広い範囲に撮像部を配置する。撮像部が配置されている範囲は、同じ画角を有する撮像部の重心からの位置の標準偏差σxj、σyjで評価できる。画角jを持つi番目の撮像部の位置をxji, yjiとすると、画角jを持つ撮像部の位置の重心xgj, ygjは以下の通り計算できる。

標準偏差σxj、σyjは、以下の式で計算できる。

標準偏差は長さの次元を持った量であり、これが画角jを持つ複数の撮像部が全体で形成する瞳の大きさと相関がある。よって、この標準偏差σxj、σyjそれぞれが画角jが狭いほど大きくなるように撮像部を配置する。また、通常のカメラは瞳の形は円形ないしは多角形である事が多いから、撮像部の配置もこれに従って円形や多角形に近い方がよい。逆に、撮像部が直線的に配置されている場合は、合成後の画像にノイズが乗りやすくなるため、好ましくない。つまり、撮像部の位置xjiとyjiの相関係数が小さくなるように撮像部が並んでいることが好ましい。なお、重心や標準偏差の計算に用いられるx軸とy軸は、直交していることとする。

また、図８に示すように、主に３Ｄ画像の生成ないしは距離計測などの目的のために、その他の撮像部とはやや離れた位置に撮像部１７３を設置する場合がある。そして、その撮像部１７３の画像を直接開口合成処理に使用しない、あるいは非常に小さな重みでしか出力画像に足しこまないような場合がある。このような場合には、重心の計算からその撮像部１７３を除いた方がよい。すなわち、例えば図８のように撮像部１７３が配置されていたとしても、合成される画像に対する影響が軽微である場合には、当該撮像部１７３の存在を考慮しなくてもよい。つまり、図８のような態様であった場合でも、本実施例の範疇に含むことができる。

また、各撮像部は図１のように格子上に配置されている必要はなく、図９に示すようにランダムに配置されていてもよい。図９では円が各撮像部を表しており、円が大きい程撮像部の画角が広いことを示す。

以上のように、より画角の狭い撮像部をより広い範囲に配置して実効的な瞳の大きさが望遠側でより大きくなるようにする事で、広角側よりも望遠側の方で実効的なＦ値を小さくするかあるいはほぼ等しくできる。これにより、一般的なズームレンズと同様の被写界深度を持った画像を提供する事ができ、望遠側の被写界深度が広角側よりも深く被写界深度のバランスが悪いという課題を解決する事ができる。

＜その他の実施例＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

レンズと撮像センサとを有する撮像部を同一平面上に複数配置した撮像装置であって、
前記撮像部のうち第１の画角を持つ２つ以上の撮像部で構成される第１の撮像部群は、前記第１の画角よりも狭い第２の画角を持つ２つ以上の撮像部で構成される第２の撮像部群が配置される範囲よりも狭い範囲であり、かつ、前記第２の撮像部群に囲まれる範囲に配置されることを特徴とする撮像装置。
前記複数の撮像部は、円形に配置されることを特徴とする請求項１に記載の撮像装置。
前記複数の撮像部は、多角形に配置されることを特徴とする請求項１に記載の撮像装置。
前記複数の撮像部で撮像された複数の撮像データを合成する合成手段をさらに備えることを特徴とする請求項１から３のいずれか一項に記載の撮像装置。