JP3725606B2 - 撮影装置 - Google Patents

Description

【０００１】
【発明の属する分野】
本発明は、デジタルカメラ等の撮影装置に係り、特に、パンフォーカス画像を得る目的に好適な撮影装置に関する。
【０００２】
【従来の技術】
将来のマルチメディア社会において中心となる情報はデジタルカラー画像と言われている。しかも、大画面、高精細画像を複数の人が同時に観察する利用形態が増えるであろう。このような用途の画像は、人によって注目する部分が異なる可能性があるため、全体にわたってピントが合っていること、つまりパンフォーカス画像であることが重要である。
【０００３】
従来より、ぼけた画像の鮮鋭化処理について多様な手法が研究がなされてきた。その主流は、１枚のぼけた画像をベースに、その鮮鋭化された画像を得る方法であったが、十分な鮮鋭化を達成することが困難であった。
【０００４】
これに代わる手法として、合焦点距離の異なる複数枚の画像から、１枚のシャープな画像を合成する方法が近年開発された。その代表例として、「児玉、内藤、相沢、鳥羽：”複数の異なる焦点画像からの全焦点画像の再構成”、１９９５年テレビジョン学会年次大会、PP．１４９−１５０」に述べられている方法がある。この方法を簡単に述べると、２枚の画像を用いるが、その１枚はピントを遠景に合わせて撮影し、もう１枚はピントを近景に合わせて撮影する。このようにして撮影した２枚の画像に写っている同一の被写体のサイズが正確に等しくなるように、変倍処理を行う。そして、両方の画像を正確に重ね合わせ、画素単位で比較しながら走査する。この時、両画像の注目画素領域を比較し、鮮鋭さの高い方の画素を合成画像として採用する。
【０００５】
しかし、この方法を実施するためには、２枚の画像の作成、その倍率測定、両画像の位置合わせとサイズ変換の各処理が必要で処理に長い時間がかかる上に、一般人が普通のカメラで撮影するように手軽に実施できるといったものではなかった。
【０００６】
【発明が解決しようとする課題】
本発明の目的は、パンフォーカス性の高い画像を簡単かつ迅速に得るための撮影装置を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、請求項１記載の発明によれば、撮影装置において、一つのレンズ系を介して被写体の像を撮像する撮像素子を複数設け、該複数の撮像素子と該レンズ系との光学距離を相違させ、該レンズ系を該複数の撮像素子と独立に光軸方向に移動可能とする。そして、レンズ系の位置に対応する該複数の撮像素子の位置関係の履歴情報を持ち、該履歴情報に基づき該レンズ系の位置に応じて該複数の撮像素子の位置を自動的に決定する手段を設ける。請求項２記載の発明によれば、該複数の撮像素子によって撮像された同一被写体の複数枚の画像から１枚の合成画像を生成する手段をさらに設ける。
【０００８】
【発明の実施の形態】
本発明の実施の形態を明らかにするため、以下に図面を参照し本発明の実施例を説明する。
【０００９】
図１は本発明によるデジタルカメラの撮像光学系の一実施例を示す構成図である。この撮像光学系は、２種類の撮像面を持ち、一方の撮像面にピントが合っている被写体は他方の撮像面ではピントがずれることが、従来のデジタルカメラの撮像光学系と大きく相違する。
【００１０】
図１において、１はレンズ系、２と３は撮像素子としてのＣＣＤ、４はレンズ系１とＣＣＤ２及びＣＣＤ３との間の光路中に配置されたハーフミラーである。ｆ０はＣＣＤ２の撮像面からレンズ系１までの光路長（光学距離）、ｆ１はＣＣＤ３の撮像面からレンズ系１までの光路長（光学距離）であり、ｆ０とｆ１は異なっている。ここではｆ０＜ｆ１とする。実用的なカメラには、ズームや絞り、ピント合わせ等、様々な機能が必要になる。そのためには、レンズ系１は他のユニットと独立に光軸方向（図１では左右）に移動可能である必要がある。レンズ系１を移動させる機構、絞り機構、ＣＣＤ２，３の位置調整機構、ＣＣＤ２，３の走査駆動回路、ファィンダー機構等も当然に備えているが、図１では省略されている。
【００１１】
このデジタルカメラによる撮影操作は基本的には普通のデジタルカメラと同様でよいが、撮像面が複数存在するため撮影条件が多少異なる。この撮影条件は次の通りである。
【００１２】
（１）被写体が無限遠方とみなせる場合：
光路長の短い方のＣＣＤ２の撮像面にピントを合わせる。光路長が長い方のＣＣＤ３の位置は、操作者が、任意に設定するか、あるいは被写体の奥行きに応じて、例えば「浅」「中」「深」の３つのモードから選択し、選択したモードに対応した位置にＣＣＤ３を設定する。この各モードは被写体の奥行きが「浅い」か「深い」か「中間」かを意味し、各モード毎にＣＣＤの位置関係が決まる。
【００１３】
（２）被写体が十分に近い場合：
光路長が長い方のＣＣＤ３の撮像面にピントを合わせる。光路長が短い方のＣＣＤ２の位置は、上記（１）における光路長が長い方のＣＣＤの場合と同様に任意に設定するか、予め用意されたモードから選択する。
【００１４】
（３）被写体からの距離が中間的な場合：
操作者の判断で、ＣＣＤ２又はＣＣＤ３を選択し、その撮像面にピントを合わせる。他方のＣＣＤの位置は、上記（１）又は上記（２）と同様に設定する。ただし、過去の撮影条件に近いモードを自動的に選択するデフォルトモードを用意することができる。このデフォルトモードのための制御系の一例を図２に示す。
【００１５】
図２において、１１はレンズ系の位置に対応するＣＣＤの位置関係の履歴情報を記録するテーブルであり、ここに示す例ではレンズ系１の位置と、それに対し過去に選択されたモードの頻度が記録される。モード選択部１２は、位置検出部１３より与えられるレンズ系１の位置の情報を用いて頻度テーブル１１を参照することにより、その時のレンズ系位置に対して過去に最も高い頻度で選択されたモードを選択し、ＣＣＤ位置駆動部１４又は１５を介して、位置制御が必要なＣＣＤ２又は３を当該モードに対応した位置に移動させる。
【００１６】
次に、撮影された画像の処理について説明する。撮像光学系の２つのＣＣＤ２，３により撮像された２つの画像Ｓ１，Ｓ２が正確に重なるようにする。一般に２つの画像の光軸は各画像の中心であり、また、像のサイズはレンズの中心から撮像面までの距離に比例するから、そのサイズをＬ２，Ｌ２として、
【００１７】
【数１】

【００１８】
の関係が成り立つ。２つの画像Ｓ１，Ｓ２は、その中心を重ねると自動的に対応付けができる。ｆ０が既知であれば、Ｌ１，Ｌ２を計測することでｆ１を求めることができる。ｆ０とｆ１が既知であれば、Ｌ１，Ｌ２を計測する必要はなくなる。ここで、Ｒは（１）式で定義された画像変倍率である。
【００１９】
次に、Ｓ１とＳ２の同一座標値の画像を比較する。両画像の光軸は各画像の中心であるから、この中心を座標の原点とすると、各画像はＳ１（ｘ，ｙ），Ｓ２（ｘ’，ｙ’）と表され、次の関係が成り立つ。
【００２０】
【数２】

【００２１】
Ｓ１（ｘ，ｙ）とＳ２（ｘ’，ｙ’）の画素（ｘ，ｙ）と（ｘ’，ｙ’）の周辺領域、例えば３×３画素領域を比較し、その領域内部で、変化量が大きい方の画素を、補正画像として採用する。すなわち、次の（３）式、（４）式で定義した鮮鋭度の評価値ｄ１，ｄ２を比較し、ｄ１≧ｄ２ならば、Ｓ１（ｘ，ｙ）を出力画像Ｓ０とし、そうでなければＳ２（ｘ’，ｙ’）を出力画像Ｓ０とする。
【００２２】
【数３】

【００２３】
【数４】

【００２４】
このような２つの画像Ｓ１，Ｓ２から、ぼけが補正された一つの出力画像Ｓ０を生成する処理系の一例を図３に示す。この処理系は、デジタルカメラの本体に内蔵される場合と、デジタルカメラの本体とは分離した装置として設けられる場合とがある。
【００２５】
図３において、３１は一方の画像Ｓ１が格納される画像メモリ、３２はもう一方の画像Ｓ２が格納される画像メモリである。３３は（１）式の画像変倍率が格納されたテーブルである。画像メモリ３１，３２より、画像Ｓ１，Ｓ２の（２）式の関係を満たす画像データが比較部３４に読み出され、この比較部３４で（３）式及び（４）式による鮮鋭度評価値ｄ１，ｄ２の比較によって出力画像Ｓ０が決定される。
【００２６】
このような２枚の画像から１枚の合成画像を得る処理は実時間（例えば１／３０秒程度）で実行可能である。よって、本実施例のデジタルカメラによれば、対象視野のぼけのないパンフォーカス画像を実時間で、しかも簡単に得ることができる。
【００２７】
さて、実用的なカメラでは、画像間のぼけ具合をどのように設定するかも重要である。つまり、被写体の奥行きの変化が少なければ、図１のｆ１は小さく設定する方が、そうでなければ大きく設定する方が望ましい。もし、３枚以上の画像を利用する場合は、被写体の奥行きに合わせて、多段のピント位置に対応する画像が設定される。
【００２８】
図４に、本発明によるデジタルカメラの撮像光学系の他の実施例を示す。この撮像光学系は、前記実施例の図１に示した撮像光学系に第３の撮像素子としてのＣＣＤ６を追加し、それに関連してハーフミラー７を追加した構成である。このＣＣＤ６の撮像面からレンズ系１までの光路長（光学距離）ｆ２は、他のＣＣＤ２，３のレンズ系１までの光路長ｆ０，ｆ１と異なる。
【００２９】
撮影条件は前記実施例の場合と同様でよく、被写体との距離に応じて一つのＣＣＤの撮像面にピントを合わせ、残りのＣＣＤの位置は被写体の奥行きに応じて操作者が任意に設定するか、予め設定された複数のモードのいずれかを選択するか、あるいは、過去の撮影条件の記録に応じて自動的にモードを選択する。そして、３つのＣＣＤ２，３，６により得られた３枚の画像から鮮鋭度の高い画素領域を選択することにより、ぼけの補正された１枚の画像を合成する。勿論、３枚の画像から２枚の画像を選び、この２枚の画像だけを、ぼけ補正画像の合成に用いることも可能である。
【００３０】
【発明の効果】
請求項１記載の発明によれば、普通のカメラと殆ど変わらない簡単な操作によって、パンフォーカス性の高い画像を生成するための複数枚の画像を即座に得ることができる。また、過去の利用状況に応じて撮影条件を自動的に合わせることができ、撮影操作が簡便である。さらに請求項２記載の発明によれば、簡単な撮影操作だけで、パンフォーカス性の高い画像を迅速かつ容易に得ることができる。
【図面の簡単な説明】
【図１】本発明によるデジタルカメラの撮像光学系の一実施例を示す概略構成図である。
【図２】撮像光学系のＣＣＤ位置制御系の一例を示す概略ブロック図である。
【図３】２枚の画像から１枚の画像を合成する処理系の一例を示す概略ブロック図である。
【図４】本発明によるデジタルカメラの撮像光学系の他の実施例を示す概略構成図である。
【符号の説明】
１ レンズ系
２，３，６ ＣＣＤ
４，７ ハーフミラー
１１ 頻度テーブル
１２ モード選択部
１３ 位置検出部
１４，１５ ＣＣＤ位置駆動部
３１，３２ 画像メモリ
３３ 画像変倍率テーブル
３４ 比較部

Claims (2)

1. 一つのレンズ系と、前記レンズ系を介して被写体の像を撮像する複数の撮像素子とを有し、前記複数の撮像素子と前記レンズ系との光学距離が相違するように構成されている撮影装置であって、
   前記レンズ系を前記複数の撮像素子と独立に光軸方向に移動可能とする手段と、
   前記レンズ系の位置に対応する前記複数の撮像素子の位置関係の履歴情報を持ち、前記履歴情報に基づき前記レンズ系の位置に応じて前記複数の撮像素子の位置を自動的に決定する手段と、
   を有することを特徴とする撮影装置。
2. 前記複数の撮像素子によって撮像された同一被写体の複数枚の画像から１枚の合成画像を生成する手段をさらに有することを特徴とする請求項１の撮影装置。

Images