JP2008312080A

JP2008312080A - 撮像装置及び撮像方法

Info

Publication number: JP2008312080A
Application number: JP2007159738A
Authority: JP
Inventors: Toshio Watanabe; 俊夫渡辺
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-06-18
Filing date: 2007-06-18
Publication date: 2008-12-25
Also published as: CN101330574B; US9113066B2; TWI380051B; US20080309813A1; TW200907412A; CN101330574A

Abstract

【課題】簡易な構成、構造で、ライト・フィールド・フォトグラフィー技術に基づく撮像モード及び通常の高解像度の撮像モードの切り替えを容易に行うことが可能な撮像装置を提供する。
【解決手段】撮像装置は、撮像レンズ１１、マイクロレンズアレイ部１２、撮像素子１３、及び、移動手段３１を備えており、第１の撮像モードによる撮像時、移動手段３１の動作に基づき、マイクロレンズアレイ部１２は第１の位置に位置し、撮像レンズ１１を通過した光は、マイクロレンズアレイ部１２を通過すること無く、直接、撮像素子１３の撮像面上に結像し、第２の撮像モードによる撮像時、移動手段３１の動作に基づき、マイクロレンズアレイ部１２は第２の位置に位置し、撮像レンズ１１を通過した光は、撮像レンズ１１によって像が結像される位置に配置されたマイクロレンズアレイ部１２を構成するマイクロレンズ１２’を通過し、更に、撮像素子１３の撮像面上に結像する。
【選択図】図１

Description

本発明は、撮像装置及び撮像方法に関し、より具体的には、例えば、ライト・フィールド・フォトグラフィー（Light Field Photography）技術に基づく撮像モード、及び、通常の高解像度の撮像モードの２つの撮像モードを切り替えて撮像することを可能とする撮像装置及び撮像方法に関する。

従来から、様々な撮像装置が提案され、開発されている。また、撮像して得られた撮像信号に対して、所定の画像処理を施して出力するようにした撮像装置も提案されている。例えば、特許文献１及び非特許文献１には、ライト・フィールド・フォトグラフィーと呼ばれる手法を用いた撮像装置が提案されている。この撮像装置は、撮像レンズと、マイクロレンズアレイと、受光素子と、画像処理部とから構成されており、受光素子から得られる撮像信号は、受光素子の受光面における光の強度に加えて、その光の進行方向の情報をも含んでいる。そして、このような撮像信号に基づき、画像処理部において、任意の視点や方向からの観察画像が再構築される。

国際公開第０６／０３９４８６号パンフレット Ren.Ng, et al, "Light Field Photography with a Hand-Held Plenoptic Camera", Stanford Tech Report CTSR 2005-02

ところで、ライト・フィールド・フォトグラフィー技術を利用した撮像装置において、ライト・フィールド・フォトグラフィー技術を用いない通常の高解像度の撮像モードと、ライト・フィールド・フォトグラフィー技術に基づく撮像モードとを、適宜切り替えて使用することが望まれている。

従って、本発明の目的は、簡易な構成、構造で、例えば、ライト・フィールド・フォトグラフィー技術に基づく撮像モード及び通常の高解像度の撮像モードの２つの撮像モードの切り替えを容易に行うことが可能な撮像装置、及び、係る撮像装置を用いた撮像方法を提供することにある。

上記の目的を達成するための本発明の撮像装置は、
（Ａ）撮像レンズ、
（Ｂ）マイクロレンズアレイ部、
（Ｃ）撮像素子、及び、
（Ｄ）マイクロレンズアレイ部を移動させるための移動手段、
を備えており、
第１の撮像モード及び第２の撮像モードによって撮像がなされ、
マイクロレンズアレイ部は、移動手段の動作に基づき、第１の位置と第２の位置との間を移動可能であり、
第１の撮像モードによる撮像時、マイクロレンズアレイ部は第１の位置に位置し、撮像レンズを通過した光は、マイクロレンズアレイ部を通過すること無く、直接、撮像素子の撮像面上に結像し、
第２の撮像モードによる撮像時、マイクロレンズアレイ部は第２の位置に位置し、撮像レンズを通過した光は、撮像レンズによって像が結像される位置に配置されたマイクロレンズアレイ部を構成するマイクロレンズを通過し、撮像素子の撮像面上に結像することを特徴とする。

上記の目的を達成するための本発明の撮像方法は、本発明の撮像装置、即ち、
（Ａ）撮像レンズ、
（Ｂ）マイクロレンズアレイ部、
（Ｃ）撮像素子、及び、
（Ｄ）マイクロレンズアレイ部を移動させるための移動手段、
を備えており、
マイクロレンズアレイ部は、移動手段の動作に基づき、第１の位置と第２の位置との間を移動可能である撮像装置を用いた撮像方法であって、
第１の撮像モードによる撮像時、マイクロレンズアレイ部を第１の位置に位置させ、撮像レンズを通過した光を、マイクロレンズアレイ部を通過させること無く、直接、撮像素子の撮像面上に結像させ、
第２の撮像モードによる撮像時、マイクロレンズアレイ部を第２の位置に位置させ、撮像レンズを通過した光を、撮像レンズによって像が結像される位置に配置されたマイクロレンズアレイ部を構成するマイクロレンズを通過させ、撮像素子の撮像面上に結像させることを特徴とする。

本発明の撮像装置あるいは撮像方法にて用いられる撮像装置（以下、これらを総称して、『本発明の撮像装置等』と呼ぶ）において、マイクロレンズアレイ部は、撮像装置の光軸と所定の角度を成して移動可能である構成とすることができるし、あるいは又、撮像装置の光軸に直交する仮想の軸と平行な回動軸を中心として回動可能である構成とすることができる。尚、前者の構成を、便宜上、第１Ａの構成と呼び、後者の構成を、便宜上、第１Ｂの構成と呼ぶ。ここで、所定の角度として、９０度を例示することができるが、これに限定するものではない。

上記の好ましい構成を含む本発明の撮像装置等にあっては、
撮像素子からの信号に対して所定の画像処理を施すための画像処理部を更に備えており、
第１の撮像モードによる撮像時、画像処理部による画像処理が停止され、
第２の撮像モードによる撮像時、画像処理部による画像処理が行われる構成とすることができる。

以上に説明した好ましい各種の構成を含む本発明の撮像装置等にあっては、マイクロレンズアレイ部を構成するマイクロレンズにおいて、撮像レンズ側の表面の曲率（ｒ₁）よりも、撮像素子側の表面の曲率（ｒ₂）の方が大きいことが好ましい。ここで、曲率は、マイクロレンズの光軸とマイクロレンズの表面とが交わる点における値である。そして、この場合、マイクロレンズアレイ部を構成するマイクロレンズは、撮像素子側に凸の凸レンズであることが望ましい。即ち、マイクロレンズを、両凸レンズあるいは平凸レンズのいずれかから構成することが好ましい。

以上に説明した好ましい各種の構成を含む本発明の撮像装置等における撮像レンズとして、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズを挙げることができる。また、撮像素子（撮像手段）として、２次元マトリクス状に配列された複数のＣＣＤ（Charge Coupled Device；電荷結合素子）やＣＭＯＳセンサー（以下、便宜上、これらを、撮像素子を構成する撮像センサーと呼ぶ）を挙げることができる。マイクロレンズアレイ部を構成する材料として、ポリメタクリル酸メチル樹脂（ＰＭＭＡ）、ポリカーボネート樹脂（ＰＣ）、ポリアリレート樹脂（ＰＡＲ）、ポリエチレンテレフタレート樹脂（ＰＥＴ）、アクリル系樹脂、ＡＢＳ樹脂といったプラスチックを挙げることができるし、また、ガラスを挙げることができ、周知の方法で作製することができる。マイクロレンズアレイ部は、複数のマイクロレンズが２次元マトリクス状に配列されて成る。マイクロレンズアレイ部を複数の領域に区画し、区画毎にマイクロレンズの焦点距離を変えてもよいし、マイクロレンズの径を代えてもよい。１つのマイクロレンズに対して複数の撮像センサーが対応しているが、係る複数の撮像センサーを一種ブロック化（セグメント化）して、ブロック化された撮像センサーから得られた撮像情報に基づき撮像データを生成してもよい。１つのマイクロレンズから出射した光は、係るマイクロレンズに隣接したマイクロレンズに対応する撮像センサーには入射しない構造とすることが望ましい。

本発明の撮像装置等にあっては、マイクロレンズを球面レンズあるいは非球面レンズとすることができるが、これに限定するものではなく、その他、例えば、ゾーンプレート、ホログラフィックレンズ、キノフォームレンズ、バイナリー光学素子で例示される回折レンズとすることもできる。また、移動手段として、第１Ａの構成にあっては、マイクロレンズアレイ部の移動のためのガイド部とリニアモータや付勢手段（バネやスプリング）との組合せ、ガイド部とラック・アンド・ピニオンとモータの組合せを例示することができるし、第１Ｂの構成にあっては、付勢手段（バネやスプリング）やモータ、モータとギアの組合せを例示することができる。

本発明の撮像装置等にあっては、第１の撮像モードによる撮像時、撮像レンズによる像が撮像素子上に結像され、第２の撮像モードによる撮像時、撮像レンズによる像がマイクロレンズを通過して撮像素子上に結像されるが、このような結像状態は、撮像レンズにおける合焦点動作の最適化によって容易に行うことができる。具体的には、例えば、オート・フォーカス処理において、第１の撮像モードによる撮像時と第２の撮像モードによる撮像時における合焦点動作（処理）の最適化を図ればよい。

本発明の撮像装置あるいは撮像方法によれば、第１の撮像モードによる撮像時、撮像レンズを通過した光は、マイクロレンズアレイ部を通過すること無く、直接、撮像素子の撮像面上に結像し、第２の撮像モードによる撮像時、撮像レンズを通過した光は、撮像レンズによって像が結像される位置に配置されたマイクロレンズアレイ部を構成するマイクロレンズを通過し、撮像素子の撮像面上に結像するので、移動手段といった簡素な構成、構造により、第１の撮像モードと第２の撮像モードとの間での撮像モードの切り替えを行うことができる。

以下、図面を参照して、実施例に基づき本発明を説明する。

実施例１は、本発明の撮像装置及び撮像方法に関する。より具体的には、実施例１の撮像装置は、第１Ａの構成、及び、第２Ａの構成を有する。実施例１の撮像装置１の概念図を図１及び図２に示す。

実施例１の撮像装置１は、撮像対象物を撮像して撮像データＤ_outを出力するものであり、
（Ａ）撮像レンズ１１、
（Ｂ）マイクロレンズアレイ部１２、
（Ｃ）撮像素子（撮像手段）１３、及び、
（Ｄ）マイクロレンズアレイ部１２を移動させるための移動手段２１、
を備えている。

そして、実施例１の撮像装置１にあっては、第１の撮像モード（通常の高解像度の撮像モード）及び第２の撮像モード（ライト・フィールド・フォトグラフィー技術に基づく撮像モード）によって撮像がなされる。ここで、マイクロレンズアレイ部１２は、移動手段２１の動作に基づき、第１の位置と第２の位置との間を移動可能である。そして、第１の撮像モードによる撮像時、移動手段２１の動作に基づき、マイクロレンズアレイ部１２は第１の位置に位置し、撮像レンズ１１を通過した光は、マイクロレンズアレイ部１２を通過すること無く（即ち、マイクロレンズアレイ部１２によって遮られること無く）、直接、撮像素子１３の撮像面上に結像する（図２参照）。一方、第２の撮像モードによる撮像時、移動手段２１の動作に基づき、マイクロレンズアレイ部１２は第２の位置に位置し、撮像レンズ１１を通過した光は、撮像レンズ１１によって像が結像される位置に配置された（具体的には、実施例１にあっては、撮像レンズ１１の焦点位置であり、撮像対象物との共役点に配置された）マイクロレンズアレイ部１２を構成するマイクロレンズ１２’を通過し、撮像素子１３の撮像面上に結像する（図１参照）。

実施例１の撮像装置１において、マイクロレンズアレイ部１２は、撮像装置１の光軸ＬＬと所定の角度を成して（実施例１にあっては、具体的には、９０度の角度を成して）、移動可能である。より具体的には、図３の（Ａ）〜（Ｃ）及び図４の（Ａ）〜（Ｂ）に模式図を示すように、移動手段は、マイクロレンズアレイ部１２の移動のためのガイド部（ガイドシャフト）２２と、図示しないリニアモータから構成されている。ガイド部（ガイドシャフト）２２は、適切な方法で、撮像装置１の内部に取り付けられている。マイクロレンズアレイ部１２が取り付けられた移動台１２０は、ガイド部（ガイドシャフト）２２上を移動できる構造となっている。尚、マイクロレンズアレイ部１２が第１の位置に位置している状態を正面及び頂面から眺めた模式図を、図３の（Ａ）及び（Ｂ）のそれぞれに示し、図３の（Ａ）〜（Ｃ）のそれぞれに示し、マイクロレンズアレイ部１２が第２の位置に位置している状態を正面及び頂面から眺めた模式図を、図４の（Ａ）及び（Ｂ）のそれぞれに示す。また、マイクロレンズアレイ部１２等の模式的な断面図を図３の（Ｃ）に示す。

実施例１の撮像装置１にあっては、撮像素子１３からの信号に対して所定の画像処理を施すための画像処理部１４を更に備えており、画像処理部１４を制御する制御部１６を更に備えている。そして、第１の撮像モードによる撮像時、画像処理部１４による画像処理が停止され、第２の撮像モードによる撮像時、画像処理部１４による画像処理が行われる。

実施例１、あるいは、後述する実施例２において、撮像レンズ１１は、撮像対象物を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズから構成されている。また、マイクロレンズアレイ部１２は、複数のマイクロレンズ１２’が２次元マトリクス状に配列されて成り、撮像レンズ１１の合焦点状態にも依るが、撮像レンズ１１の焦点面に配置されている。尚、図中の符号ｆ₁は、撮像レンズ１１の中心からマイクロレンズアレイ部１２の結像面までの距離を表す。撮像素子１３は、例えば、２次元マトリクス状に配列された複数のＣＣＤから構成されている。撮像素子１３においては、マイクロレンズアレイ部１２から出射された光を受光して、撮像信号が生成される。撮像素子１３は、マイクロレンズアレイ部１２の焦点面に配置されている。尚、図中の符号ｆ₂は、マイクロレンズアレイ部１２の中心から撮像素子１３の撮像面までの距離（マイクロレンズ１２’の焦点距離）を表す。撮像素子駆動手段１５によって、撮像素子１３が駆動され、撮像素子１３の受光動作の制御が行われる。制御部１６は、画像処理部１４、撮像素子駆動手段１５、及び、移動手段２１の動作を制御する。具体的には、撮像素子駆動手段１５の駆動動作を適宜制御すると共に、第１の撮像モード及び第２の撮像モードの２つの撮像モードに応じて、画像処理部１４及び移動手段２１の動作を制御する。制御部１６は、マイクロコンピュータから構成されている。

実施例１、あるいは、後述する実施例２において、第２の撮像モードにあっては、画像処理部１４において画像処理が施される。画像処理部１４は、第２の撮像モードにおいて、撮像素子１３で得られた信号（撮像信号）に対して所定の画像処理を施し、撮像データＤ_outとして出力する。具体的には、ライト・フィールド・フォトグラフィー技術に基づくリフォーカス（Refocusing）演算処理が行われる。そして、これによって、任意の視点や方向からの観察画像を再構築することができるし、画像の３次元情報を取得することができる。リフォーカス演算処理については後述する。

実施例１、あるいは、後述する実施例２におけるマイクロレンズアレイ部１２の模式的な一部断面図を図５に示す。また、マイクロレンズアレイ部１２を構成するマイクロレンズ１２’において、撮像レンズ１１側の表面の曲率（ｒ₁）よりも、撮像素子１３側の表面の曲率（ｒ₂）の方が大きい。具体的には、実施例１にあっては、ｒ₁／ｒ₂＝０である。そして、マイクロレンズアレイ部１２を構成するマイクロレンズ１２’は、撮像素子１３側に凸の凸レンズである。

図９の（Ａ）及び（Ｂ）に、マイクロレンズアレイ部１２及び撮像素子１３の配置関係を模式的に示す。図９の（Ａ）に示す例では、実施例１の撮像装置のように、マイクロレンズアレイ部１２を構成するマイクロレンズ１２’は、撮像素子１３側に凸の凸レンズである。一方、図９の（Ｂ）に示す例では、マイクロレンズアレイ部１２を構成するマイクロレンズ１２’は、撮像レンズ１１側に凸の凸レンズである。図９の（Ａ）に示すマイクロレンズ１２’、及び、図９の（Ｂ）に示すマイクロレンズ１２’が、同じ焦点距離を有していたとしても、マイクロレンズアレイ部１２の基部１２”の厚さ分だけ、図９の（Ｂ）に示すマイクロレンズ１２’の方が、マイクロレンズアレイ部１２と撮像素子１３との間の距離が短くなってしまう。従って、図９の（Ａ）に示すマイクロレンズ１２’の方が、図９の（Ｂ）に示すマイクロレンズ１２’よりも、設計の自由度が高い。それ故、図９の（Ａ）に示すマイクロレンズ１２’の構成、構造を採用することが好ましい。

実施例１の撮像装置１のように、様々な波長領域の光を含んだ自然光を撮像に利用する場合には、マイクロレンズ１２’の撮像素子１３側の表面を非球面とし、マイクロレンズ１２’を非球面レンズとすることが好ましい。球面レンズで構成した場合と比べて、曲率を大きくすることができる結果、光学設計が容易になる。また、マイクロレンズ１２’を回折レンズで構成した場合と比較すると、入射光を屈折させる際の波長依存性が無くなるため、軸上色収差等の発生を回避することができ、様々な波長領域の光を含んだ自然光による撮像に適した構成とすることができる。尚、単色光を用いたイメージング用途等の場合には、波長依存性や軸上色収差の問題が無いため、マイクロレンズ１２’を回折レンズで構成した方が、非球面レンズで構成した場合と比べて、優れた光学特性を得ることができる場合がある。

図１、図２、図５、図６の（Ａ）及び（Ｂ）を参照して、実施例１の撮像装置１の動作について詳細に説明する。ここで、図５は、マイクロレンズアレイ部１２のレンズ効果を説明するための模式的な一部断面図である。

実施例１の撮像装置１にあっては、第２の撮像モード時、制御部１６の制御下、移動手段２１が動作させられ、マイクロレンズアレイ部１２を第２の位置に位置させる（図１参照）。そして、図１に示すように、撮像レンズ１１を通過した光を、撮像レンズ１１によって像が結像される位置に配置されたマイクロレンズアレイ部１２を構成するマイクロレンズ１２’を通過させ、撮像素子１３の撮像面上に結像させる。こうして、撮像素子駆動手段１５の制御下、撮像素子１３から撮像信号が得られる。即ち、第２の撮像モードにあっては、図５に示すように、マイクロレンズ１２’に入射した入射光Ｌ₁₁は、マイクロレンズ１２’において屈折され、光軸Ｌ₀上の焦点である画素ＰＬ₁₁に集光される。このように、第２の撮像モードによる撮像時、マイクロレンズ１２’上に結像された撮像レンズ１１による像を、撮像素子１３上に再結像（集光、収束）させることができる。

一方、第１の撮像モード時、制御部１６の制御下、移動手段２１が動作させられ、マイクロレンズアレイ部１２を第１の位置に位置させる（図２参照）。そして、撮像レンズ１１を通過した光を、マイクロレンズアレイ部１２を通過させること無く、直接、撮像素子１３の撮像面上に結像させる。即ち、撮像レンズ１１による撮像対象物の像は、マイクロレンズアレイ部１２によって何らの影響を受けること無く、撮像素子１３上に結像する。こうして、撮像素子駆動手段１５の制御下、撮像素子１３から撮像信号が得られる。

図５に示すように、マイクロレンズアレイ部１２への入射光Ｌ₁₁（実線で示す）は、撮像素子１３上の点（画素）ＰＬ₁₁に結像し、マイクロレンズアレイ部１２への入射光Ｌ₁₂（点線で示す）は、撮像素子１３上の点（画素）ＰＬ₁₂に結像し、マイクロレンズアレイ部１２への入射光Ｌ₁₃（一点鎖線で示す）は、撮像素子１３上の点（画素）ＰＬ₁₃に結像する。即ち、マイクロレンズアレイ部１２への入射光の入射方向が異なると、撮像素子１３上の異なる点（異なる画素）上に結像（集光）される。

このような結像状態は、撮像レンズ１１における合焦点動作の最適化によって容易に行うことができ、例えば、オート・フォーカス処理において、第１の撮像モードによる撮像時と第２の撮像モードによる撮像時における合焦点動作（処理）の最適化を図ればよい。後述する実施例２においても同様である。

撮像素子１３で得られた撮像信号は、画像処理部１４へ送出される。そして、画像処理部１４では、制御部１６の制御下、この撮像信号に対して所定の画像処理が施され、撮像データＤ_outとして出力される。具体的には、第１の撮像モードにあっては、制御部１６の制御下、画像処理部１４による画像処理を停止させる結果、入力した撮像信号がそのまま撮像データＤ_outとして出力される。一方、第２の撮像モードにあっては、制御部１６の制御下、画像処理部１４による画像処理（リフォーカス演算処理）がなされる結果、入力した撮像信号に対して所定の画像処理が施され、撮像データＤ_outとして出力される。

ここで、図６の（Ａ）及び（Ｂ）を参照して、画像処理部１４における画像処理のリフォーカス演算処理について詳細に説明する。このリフォーカス演算処理は、後述する実施例２に対しても同様に適用される。

図６の（Ａ）に示すように、撮像レンズ１１の撮像レンズ面１１Ａ上において直交座標系（ｕ，ｖ）を想定し、撮像素子１３の撮像面１３Ａ上において直交座標系（ｘ，ｙ）を想定する。撮像レンズ１１の撮像レンズ面と撮像素子１３の撮像面との間の距離をｆとすると、図６の（Ａ）に示すような撮像レンズ１１及び撮像素子１３を通る光線Ｌ₁₄は、４次元関数Ｌ_F（ｘ，ｙ，ｕ，ｖ）で表すことができる。従って、光線Ｌ₁₄の位置情報に加え、光線Ｌ₁₄の進行方向の情報を得ることができる。そして、この場合、図６の（Ｂ）に示すように撮像レンズ面１１Ａ、撮像面１３Ａ及びリフォーカス面（撮像レンズ１１による像が結像されるマイクロレンズアレイ部１２の結像面）１２Ａ間の位置関係を設定した場合、即ち、ｆ’＝α・ｆとなるようにリフォーカス面１２Ａを設定した場合、リフォーカス面１２Ａ上の座標（ｓ，ｔ）の撮像面１３Ａ上における検出光強度Ｌ_F'（ｓ，ｔ，ｕ，ｖ）は、以下の式（１）で表すことができる。また、リフォーカス面１２Ａで得られるイメージＥ_F'（ｓ，ｔ）は、検出光強度Ｌ_F'（ｓ，ｔ，ｕ，ｖ）をレンズ口径に関して積分したものであるので、以下の式（２）で表すことができる。従って、式（２）に基づきリフォーカス演算を行うことによって、ライト・フィールド・フォトグラフィー技術に基づく撮像データＤ_outにより、任意の視点や方向からの観察画像を再構築することができるし、画像の３次元情報を取得することができる。

このように、実施例１にあっては、第１の撮像モードによる撮像時、撮像レンズ１１を通過した光は、マイクロレンズアレイ部１２を通過すること無く、直接、撮像素子１３の撮像面１３Ａ上に結像し、第２の撮像モードによる撮像時、撮像レンズ１１を通過した光は、撮像レンズ１１によって像が結像される位置に配置されたマイクロレンズアレイ部１２を構成するマイクロレンズ１２’を通過し、撮像素子１３の撮像面１３Ａ上に結像する。従って、移動手段２１といった簡素な構成、構造により、第１の撮像モードと第２の撮像モードとの間での撮像モードの切り替えを容易に行うことができる。

更には、マイクロレンズ１２’を非球面レンズから構成すれば、球面レンズから構成した場合と比較して、曲率を大きくすることができるので、光学設計を容易にすることが可能となる。また、回折レンズで構成した場合と比較すると、入射光を屈折させる際の波長依存性を無くすことができ、軸上色収差等の発生を回避することができる。それ故、様々な波長領域の光を含んだ自然光を利用する撮像装置として最適な構成とすることが可能となる。

実施例２は、実施例１の変形に関し、具体的には、第１Ｂの構成に関する。実施例２の撮像装置の概念図を、図７（第２の撮像モード時）及び図８（第１の撮像モード時）に示すが、実施例２の撮像装置２にあっては、撮像装置２の光軸ＬＬに直交する仮想の軸（図７及び図８においては、軸「Ａ」で示す）と平行な回動軸３２を中心として、マイクロレンズアレイ部１２は回動可能である。ここで、移動手段３１は、この回動軸３２に接続されたギヤとモータとの組合せ（これらは図示せず）から構成されている。また、マイクロレンズアレイ部１２は、実施例１と同様に、移動台（図示せず）に取り付けられており、移動台の端部に回動軸３２が配置されている。回動軸３２は、適切な方法で、撮像装置２の内部に取り付けられている。

実施例２の撮像装置２にあっても、第１の撮像モードによる撮像時（通常の高解像度の撮像モードによる撮像時）、移動手段３１の動作に基づき、マイクロレンズアレイ部１２は第１の位置に位置し（図８参照）、撮像レンズ１１を通過した光は、マイクロレンズアレイ部１２を通過すること無く、直接、撮像素子（撮像手段）１３の撮像面上に結像する。一方、第２の撮像モードによる撮像時（ライト・フィールド・フォトグラフィー技術に基づく撮像モードによる撮像時）、移動手段３１の動作に基づき、マイクロレンズアレイ部１２は第２の位置に位置（図７参照）し、撮像レンズ１１を通過した光は、撮像レンズ１１によって像が結像される位置に配置されたマイクロレンズアレイ部１２を構成するマイクロレンズ１２’を通過し、撮像素子１３の撮像面１３Ａ上に結像する。

移動手段３１の構成、構造が相違している点を除き、実施例２の撮像装置２の構成、構造は、実施例１の撮像装置１の構成、構造と同じとすることができるので、詳細な説明は省略する。

以上、本発明を好ましい実施例に基づき説明したが、本発明はこれらの実施例に限定するものではなく、種々の変形が可能である。実施例にあっては、画像処理部１４における画像処理方法として、ライト・フィールド・フォトグラフィー技術に基づくリフォーカス演算処理について説明したが、画像処理部１４における画像処理方法は、これに限られず、他の画像処理方法（例えば、視野を振るといった画像処理や、マイクロレンズアレイ部及び撮像素子を一種のステレオ・カメラとして機能させることで得られる距離算出といった画像処理）としてもよい。

図１は、実施例１の撮像装置の概念図であり、移動手段によってマイクロレンズアレイ部が第２の位置に位置しており、第２の撮像モード時の状態を示す図である。図２は、実施例１の撮像装置の概念図であり、移動手段によってマイクロレンズアレイ部が第１の位置に位置しており、第１の撮像モード時の状態を示す図である。図３の（Ａ）及び（Ｂ）は、それぞれ、実施例１の撮像装置におけるマイクロレンズアレイ部が第１の位置に位置している状態を、正面及び頂面から眺めた模式図であり、図３の（Ｃ）はマイクロレンズアレイ部等の模式的な断面図である。図４の（Ａ）及び（Ｂ）は、それぞれ、実施例１の撮像装置におけるマイクロレンズアレイ部が第１の位置に位置している状態を、正面及び頂面から眺めた模式図である。図５は、マイクロレンズアレイ部のレンズ効果を説明するための、マイクロレンズアレイ部を拡大した模式的な一部断面図である。図６の（Ａ）は、第２の撮像モード時の画像処理を説明するための撮像レンズ等の概念図であり、図６の（Ｂ）は、第２の撮像モード時の画像処理を説明するための図である。図７は、実施例２の撮像装置の概念図であり、移動手段によってマイクロレンズアレイ部が第２の位置に位置しており、第２の撮像モード時の状態を示す図である。図８は、実施例２の撮像装置の概念図であり、移動手段によってマイクロレンズアレイ部が第１の位置に位置しており、第１の撮像モード時の状態を示す図である。図９の（Ａ）及び（Ｂ）は、それぞれ、マイクロレンズアレイ部及び撮像素子の配置関係を模式的に示す図である。

符号の説明

１，２・・・撮像装置、１１・・・撮像レンズ、１１Ａ・・・撮像レンズ面、１１’・・・入射瞳径、１２・・・マイクロレンズアレイ部、１２’・・・マイクロレンズ、１２Ａ・・・リフォーカス面、１３・・・撮像素子、１３Ａ・・・撮像面、１４・・・画像処理部、１５・・・撮像素子駆動手段、１６・・・制御部、２１，３１・・・移動手段、２２・・・ガイド部（ガイドシャフト）、３２・・・回動軸、１２０・・・移動台

Claims

（Ａ）撮像レンズ、
（Ｂ）マイクロレンズアレイ部、
（Ｃ）撮像素子、及び、
（Ｄ）マイクロレンズアレイ部を移動させるための移動手段、
を備えており、
第１の撮像モード及び第２の撮像モードによって撮像がなされ、
マイクロレンズアレイ部は、移動手段の動作に基づき、第１の位置と第２の位置との間を移動可能であり、
第１の撮像モードによる撮像時、マイクロレンズアレイ部は第１の位置に位置し、撮像レンズを通過した光は、マイクロレンズアレイ部を通過すること無く、直接、撮像素子の撮像面上に結像し、
第２の撮像モードによる撮像時、マイクロレンズアレイ部は第２の位置に位置し、撮像レンズを通過した光は、撮像レンズによって像が結像される位置に配置されたマイクロレンズアレイ部を構成するマイクロレンズを通過し、撮像素子の撮像面上に結像することを特徴とする撮像装置。
マイクロレンズアレイ部は、撮像装置の光軸と所定の角度を成して移動可能であることを特徴とする請求項１に記載の撮像装置。
マイクロレンズアレイ部は、撮像装置の光軸に直交する仮想の軸と平行な回動軸を中心として回動可能であることを特徴とする請求項１に記載の撮像装置。
撮像素子からの信号に対して所定の画像処理を施すための画像処理部を更に備えており、
第１の撮像モードによる撮像時、画像処理部による画像処理が停止され、
第２の撮像モードによる撮像時、画像処理部による画像処理が行われることを特徴とする請求項１に記載の撮像装置。
マイクロレンズアレイ部を構成するマイクロレンズにおいて、撮像レンズ側の表面の曲率よりも、撮像素子側の表面の曲率の方が大きいことを特徴とする請求項１に記載の撮像装置。
マイクロレンズアレイ部を構成するマイクロレンズは、撮像素子側に凸の凸レンズであることを特徴とする請求項５に記載の撮像装置。
（Ａ）撮像レンズ、
（Ｂ）マイクロレンズアレイ部、
（Ｃ）撮像素子、及び、
（Ｄ）マイクロレンズアレイ部を移動させるための移動手段、
を備えており、
マイクロレンズアレイ部は、移動手段の動作に基づき、第１の位置と第２の位置との間を移動可能である撮像装置を用いた撮像方法であって、
第１の撮像モードによる撮像時、マイクロレンズアレイ部を第１の位置に位置させ、撮像レンズを通過した光を、マイクロレンズアレイ部を通過させること無く、直接、撮像素子の撮像面上に結像させ、
第２の撮像モードによる撮像時、マイクロレンズアレイ部を第２の位置に位置させ、撮像レンズを通過した光を、撮像レンズによって像が結像される位置に配置されたマイクロレンズアレイ部を構成するマイクロレンズを通過させ、撮像素子の撮像面上に結像させることを特徴とする撮像方法。