JP5343588B2

JP5343588B2 - 撮像装置

Info

Publication number: JP5343588B2
Application number: JP2009020053A
Authority: JP
Inventors: 兼弘　　亮
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2009-01-30
Filing date: 2009-01-30
Publication date: 2013-11-13
Anticipated expiration: 2029-01-30
Also published as: JP2010178164A

Description

本発明は、短露光と長露光の画像を合成してダイナミックレンジの広い画像を生成する撮像装置に関する。

従来、異なった露光条件で撮像された複数枚の画像を合成して広ダイナミックレンジの画像を生成する撮像システムを備えた撮像装置が知られている（例えば、特許文献１）。この撮像システムは、レンズ系、ＣＣＤおよびこのＣＣＤで撮像された画像を処理する制御手段を有している。
この制御手段は、レンズ系およびＣＣＤを介して撮影された画像からその輝度レベルを求めて適正露光時間を求める測光評価部と、この適正露光時間に比し例えば露光が１／８となる露光時間および前記適正露光時間の双方で連続的に露光して撮像された画像を合成する画像合成部と、上記測光評価部および画像合成部を含めた制御手段の各部を制御する制御部等とを有している。
また、同様な撮像装置として、適正な露光時間を算出し、この適正露光時間を含めた長短の露光時間をそれぞれ算出して２つの画像を撮像して合成する撮像装置が知られている（例えば、特許文献２）。
この撮像装置は、レンズ系と、レンズ系の絞りを制御する露出制御機構（露出制御系）と、ＣＣＤと、各種デジタル処理を行うデジタルプロセス回路と、デジタルプロセス回路とＣＣＤを制御するシステムコントローラとを備えている。
この露出制御系は、ユーザー設定や公知の自動露出調整手段（ＡＥ）が算出した結果（ＣＣＤからの出力信号を用いた公知の測光による結果）に基づいて、通常の露光時間つまり適正露光時間（代表露光時間）を算出する。そして、適正露光時間と、この適正露光時間に基づいて算出された別の露光時間とで短露光と長露光とを行い、両者の画像を合成する。

しかしながら、特許文献１，２の撮像装置にあっては、撮像素子がＣＣＤであり、図６（ａ）に示すように、例えば連続的に２回露光する場合は、１回目の露光を行ってこの画像を制御手段に転送し、その後２回目の露光を行いこの画像を制御手段に転送するため、撮像シーケンスにおいて１回目の露光と２回目の露光と間に転送時間分だけ露光されない時間のギャップＧ１が生じてしまう問題があった。

また、このギャップＧ１により、両者の露光タイミングは異なったものとなり、ギャップＧ１が生じている時点で発生する被写体ぶれや手ぶれによって１回目の露光と２回目の露光と間の位置ずれ量が大きくなって両者を合成する処理が重くなる等の問題があった。また、位置ずれ量が大きくなることによって合成されない部分も増えてしまう問題もあった。さらに、このギャップＧ１が生じている時点では露光ができない問題もあった。

そこで、ローリングシャッタ付きＣＭＯＳセンサを用いて上記１回目の露光と２回目の露光を略実質的に連続して行い、これにより、図６（ｂ）に示すように、画素行ごとに露光することによって、１回目と２回目の露光を１つの露光のように行い、この露光を１回目と２回目のそれぞれの露光時間に応じて分割して１回目と２回目の露光とし、これにより略連続した露光とすることができ、ギャップの問題はほぼ解決される。

ローリングシャッタ方式での撮像を具体的に説明すると、制御手段は、適正露光時間に基づき１回目の露光と２回目の露光のそれぞれの露光時間および露光開始時点を画素行単位で算出し、この算出結果に基づいて連続的に撮像するような制御命令を出す。この露光開始時点は画素行ごとに異なる。

具体的には、カメラからみて被写体を１つの仮想枠で囲った場合、仮想枠の左上端の点を原点とすると、まず原点からＸ方向に延びる１画素行の露光を行う。そして、この１画素行の露光を仮想枠のＹ軸にそって順次上から下に露光を行っていく。

上記１画素行ごとの露光ではその露光が終了するとこの画素の電荷情報が制御手段へ転送されるとともに、この画素行は次の露光（電荷の蓄積）を開始する。

このように、１枚の画像の電荷情報をすべて転送してから次の露光を開始するＣＣＤの撮像方式に比べてＣＭＯＳセンサのローリングシャッタ方式では１画素行の電荷情報を転送すると次の露光が開始されるため次の露光まで時間的なギャップが１画素行の転送時間のみとなり、小さいものとなる（図６（ａ），（ｂ）比較参照）。

ローリングシャッタ方式で１回目と２回目の露光を連続して行う場合、例えば、２回目の露光における第１画素行の露光終了時点が、１回目の露光で得られた画像を転送している時間帯と重さなる場合には、転送している信号が合成されてしまうため、この露光終了時点は１回目の露光のフレーム転送終了時点以後となるように設定される。
このため、２回目の露光の各画素行露光時間が所定時間（１フレーム転送時間−１画素行転送時間）より短い場合は、図７に示すように、上記１画素行の露光終了時点が１回目の露光のフレーム転送終了時点と一致するように２回目の第１画素行の露光が行われる。このように２回目の露光が行われるため、各画素行露光時間が所定時間（１フレーム転送時間−１画素行転送時間）より短い場合には、１回目と２回目の露光間に露光が行われていない時間帯（ギャップ）が生じる。
このギャップにより露光していない時間が発生し、１回目と２回目の露光で得られた画像を合成した画像はこの時間帯での露光情報が欠落したものとなり、被写体が２重像として現れることとなる。

本発明は、上記問題に着目してなされたもので、適正露光時間から算出された長露光時間が所定時間（１フレーム転送時間−１画素行転送時間）より短い場合でも長露光の露光情報が欠落しない撮像装置を提供することを目的とする。

上記目的を達成するため、請求項１の発明は、撮像光学系と、ローリングシャッタ機能を有するＣＭＯＳセンサと、前記ＣＭＯＳセンサの制御を行う制御手段とを備え、前記制御手段は、前記ＣＭＯＳセンサから出力される被写体の画像データからこの被写体についての適正露光時間を算出するとともに、この適正露光時間に基づいて短露光時間と長露光時間とを算出し、ローリングシャッタ方式でこの算出した短露光時間と算出した長露光時間それぞれの露光時間で露光させ、この露光で得られた短露光画像と長露光画像を合成してダイナミックレンジの広い画像を生成する撮像装置において、前記制御手段は、前記ＣＭＯＳセンサの１フレーム転送時間から１画素行の転送時間を引いた時間を算出し、この算出した転送時間と前記算出した長露光時間とを比較し、前記算出した長露光時間が前記算出した転送時間より短い場合、前記算出した長露光時間をこの前記算出した転送時間に変更することを特徴とする。
請求項２の発明は、請求項１に記載の撮像装置において、前記制御手段は、前記撮像光学系の絞りの絞り量、減光フィルタの減光量、前記ＣＭＯＳセンサのアナログゲインのうち少なくとも１つを調整して、前記算出した長露光時間の前記算出した転送時間への変更によって増加する長露光の露光量を変更前の露光量と同一にし、この調整によって減少する短露光の露光量が、減少する前の露光量と同一となるように前記短露光時間を延長することを特徴とする。
請求項３の発明は、請求項２に記載の撮像装置において、前記短露光時間で露光して得られた第１画像についてゲインを高める処理を行なって、第１画像の輝度を前記長露光時間で露光して得られた第２画像の輝度と同じにするとともに、第２画像において輝度が飽和している部分を特定し、この部分をこの部分に対応する前記第１画像の部分である第１の画像部分で置き換える合成処理をすることを特徴とする。
請求項４の発明は、請求項３に記載の撮像装置において、増加する前記長露光の露光量を前記調整によって変更前の露光量と同一にできない場合、前記第２画像において輝度が飽和していない部分である第２の画像部分に含まれる画素について、各画素出力値データをビットシフトすることにより、前記第２の画像部分の画素出力値を減少させて、前記第２の画像部分を変更前の前記長露光時間で露光したものと同一にすることを特徴とする。

本発明の撮像装置によれば、適正露光時間から算出された長露光時間が所定時間（１フレーム転送時間−１画素行転送時間）より短い場合でも長露光の露光情報が欠落しない。

（ａ）は、本発明の実施形態に係る撮像装置の一例としてのデジタルカメラを示す正面図である。（ｂ）は、（a）の上面図である。（ｃ）は、（a）の背面図である。図１に示すデジタルカメラ内のシステム構成の概要を示すブロック図である。（ａ）（ｂ）ＣＭＯＳセンサのローリングシャッタ機能を利用した短露光〜長露光における露光処理を画素行別に示すタイミングチャートである。本発明の実施形態における長短２つの露光時間を算出する処理を説明するフローチャートである。本発明の実施形態における短露光の画像と長露光の画像とを合成する処理を説明するフローチャートである。（ａ）ＣＣＤセンサで連続撮影した場合を示すタイミングチャートである。（ｂ）ＣＭＯＳセンサのローリングシャッタ機能を利用した第１撮像〜第２撮像における露光処理を画素行別に示すタイミングチャートである。ＣＭＯＳセンサのローリングシャッタ機能を利用した第１撮像〜第２撮像における露光処理を画素行別に示すタイミングチャートである。

以下、本発明に係る実施形態を図面を参照しながら説明する。

（デジタルカメラの外観構成）
図１（a），（ｂ），（ｃ）に示すように、本実施形態に係るデジタルカメラ１００の上面には、レリーズボタン（シャッタボタン）２、電源ボタン３、撮影・再生切替ダイアル４が設けられており、デジタルカメラ１の正面（前面）側には、撮影レンズ系（撮像光学系）５を有する鏡胴ユニット６、ストロボ発光部（フラッシュ）７、光学ファインダ８が設けられている。

デジタルカメラ１００の背面側には、液晶モニタ（ＬＣＤモニタ）９、光学ファインダ８の接眼レンズ部８a、広角側ズーム（Ｗ）スイッチ１０、望遠側ズーム（Ｔ）スイッチ１１、メニュー（ＭＥＮＵ）ボタン１２、確定ボタン（ＯＫボタン）１３等が設けられている。

また、デジタルカメラ１００の側面内部には、撮影した画像データを保存するためのメモリーカード１４（図２参照）を収納するメモリーカード収納部１５が設けられている。
（デジタルカメラのシステム構成）
図２に示すように、デジタルカメラ１００は、フォーカスレンズ（フォーカス光学系）を含む撮影レンズ系５、撮影レンズ系５とＣＭＯＳセンサ１６との間に設けられたメカニカルシャッタ１７と、この撮影レンズ系５およびメカニカルシャッタ１７を介して入射される被写体像を撮像するＣＭＯＳセンサ１６と、撮影レンズ系５のうち少なくともフォーカスレンズを、その光軸に沿った可動範囲で変位させるモータドライバ１８と、撮影開始の操作が入力されるレリーズボタン２等（図１（a）〜（ｃ）参照）を含む操作部１９と、主としてＣＭＯＳセンサ１６からの信号読み取り処理を行うフロントエンド（Ｆ／Ｅ）のＦ／Ｅ信号処理部２０と、デジタルカメラ１００の振れを検出するジャイロセンサ２１と、デジタルカメラ１００の振れである手振れを補正する手振れ補正手段２２と、ＣＭＯＳセンサ１６から信号を読み取るための制御や、読み取られた信号の処理、モータドライバ１８の駆動制御、操作部１９からの操作信号の入力処理、ＣＭＯＳセンサ１６から読み取って得られた画像信号に基づいて、この画像信号があらわす画像の焦点程度を表す指標値であるオートフォーカス評価値等の各種演算処理を行うデジタル信号処理ＩＣ（制御部）２３等とを備えている。
＜メカニカルシャッタ１７＞
メカニカルシャッタ１７は、撮影レンズ系５とＣＭＯＳセンサ１６との間の光路に介挿されて、光路を開閉し、ＣＭＯＳセンサ１６の露光を制限する。
＜ＣＭＯＳセンサ１６＞
デジタルカメラ１００の内部には、ＣＭＯＳステージ２４がＸ−Ｙ方向に移動可能に設けられており、このＣＭＯＳステージ２４にＣＭＯＳセンサ１６が搭載されている。ＣＭＯＳステージ２４は図示しない駆動機構によってＸ−Ｙ方向に移動され、駆動機構は、ジャイロセンサ２１が検出する振れ量に基づいてＣＰＵなどを備えた後述するデジタル信号処理ＩＣ２３の制御装置（制御手段：位置ズレ検出手段：画像処理手段）２５により制御される。

ＣＭＯＳセンサ１６は、露光状態で受光面に入射される光学像を電気信号に変換（光電変換）し、画像信号として転送出力する。露光はＣＭＯＳセンサ１６の画素行ごとに行われ、信号を出力した画素行はその時点から電荷の蓄積を開始するので、画素行ごとに電荷の蓄積の開始タイミングがずれる、いわゆるローリングシャッタと称される蓄積制御方式であり、このローリングシャッタ機能を利用して後述するように複数の異なる露光時間で順次撮像を行う。

ＣＭＯＳセンサ１６を構成する各画素上には色分解フィルタとしてのＲＧＢ原色フィルタ（不図示）が配置されており、各画素においてＲＧＢ３原色に対応した電気信号（アナログＲＧＢ画像信号）が発生する。

ＣＭＯＳセンサ１６の画素出力値は、１２ビット（Ｒ、Ｇ、Ｂに３ビットずつ割り当て、Ｇが２つある）で０〜４０９５の値をとる。
＜Ｆ／Ｅ信号処理部２０＞
Ｆ／Ｅ信号処理部２０は、ＣＤＳ（相関２重サンプリング）回路２６、ＡＧＣ（自動利得制御）回路２７、Ａ／Ｄ（アナログ・デジタル）変換器２８、およびタイミング発生器（ＴＧ）２９を備えている。

ＣＤＳ回路２６は、上記のアナログＲＧＢ画像信号を相関２重サンプリングして信号のノイズを除去する。

ＡＧＣ（自動利得制御）回路２７は、ＣＤＳ回路２６でノイズ除去された信号を自動利得制御して所用の信号レベルに調整する。

Ａ／Ｄ（アナログ・デジタル）変換器２８は、ＡＧＣ回路２７からのアナログＲＧＢ画像信号をデジタルＲＧＢ画像データ（以下、「ＲＡＷ−ＲＧＢデータ」という）に変換する。

タイミング発生器（ＴＧ）２９は、後述のデジタル信号処理ＩＣ２３のカメラインターフェイス（カメラＩ／Ｆ）３１からの水平同期駆動信号（ＨＤ）と垂直同期駆動信号（ＶＤ）に応動して、デジタル信号処理ＩＣ２３の制御装置２５と連携して、ＣＭＯＳセンサ１６、ＣＤＳ回路２６、ＡＧＣ回路２７およびＡ／Ｄ変換器２８に、それぞれタイミング信号を送り、これらを適正に同期させる。
＜デジタル信号処理ＩＣ２３＞
一方、デジタル信号処理ＩＣ２３は、カメラインターフェイス３１、メモリーコントローラ３２、表示出力制御部３３、圧縮処理部３４、ＹＵＶ変換部３５、リサイズ処理部３６、メディアインターフェイス（メディアＩ／Ｆ）３７および制御装置２５等を有している。
制御装置２５は、接続されているＲＯＭ３８、フレームメモリ（ＳＤＲＡＭ：記憶手段）４１、液晶モニタ（ＬＣディスプレイ）９、音声出力装置３９およびメモリーカード１４を制御するとともに、測距センサ４０、操作部１９およびＲＯＭ３８からの信号等を入力する。

カメラインターフェイス３１は、Ｆ／Ｅ信号処理部２０のＡ／Ｄ変換器２８から出力されるＲＡＷ−ＲＧＢデータを取り込む。

メモリーコントローラ３２は、制御装置２５の制御に基づき、カメラインターフェイス３１からのＲＡＷ−ＲＧＢデータ、ＹＵＶ変換部３５によりＹＵＶ変換されたＹＵＶデータ、圧縮処理部３４により例えばＪＰＥＧ形式で圧縮処理された画像データ、およびＯＳＤ（オンスクリーンディスプレイ）画像データなどのフレームメモリ４１への書き込みとフレームメモリ４１から画像データの読み出しを行う。

表示出力制御部３３は、フレームメモリ４１から読み出された画像データを、液晶モニタ（ＬＣＤモニタ）９に表示させるとともに、外部のテレビジョン（ＴＶ）等に表示させるＴＶ出力を行う。

フレームメモリ４１は、ＳＤＲＡＭ等の半導体メモリで、各種の画像データなどのデータを保存するために用いられる。

圧縮処理部３４は、制御装置２５の制御に基づき、与えられた画像データを所定の方式でエンコードして圧縮された画像データを生成する。

ＹＵＶ変換部３５は、カメラインターフェイス３１により取り込まれたＲＡＷ−ＲＧＢデータの輝度レベルを判定する輝度レベル判定部、ＲＡＷ−ＲＧＢデータをビットシフトしてビット圧縮するビット圧縮変換部、オートホワイトバランス制御部、制御装置２５から与えられるオートホワイトバランス制御値にしたがってＲＡＷ−ＲＧＢデータをＹＵＶ形式のデータに変換するＲＧＢ−ＹＵＶ変換部、変換されたＹＵＶ形式のデータから輝度ヒストグラムを生成する輝度ヒストグラム生成部等を有している。

リサイズ処理部３６は、カメラインターフェイス３１により取り込まれたＲＡＷ−ＲＧＢデータや、フレームメモリ４１から読み出された画像データ等をリサイズする。

メディアインターフェイス３７は、カメラインターフェイス３１により取り込まれたＲＡＷ−ＲＧＢデータやフレームメモリ４１から読み出された画像データ等をメモリーコントローラ３２と制御装置２５の制御に従ってメモリーカード１４に書き込む。

ＲＯＭ３８には、撮影動作に係る各種の処理や後述するオートフォーカス制御の処理を行うための制御装置２５の動作プログラムおよびデータ等が格納されている。

液晶モニタ９は、表示出力制御部３３からの画像（後述のモニタリング画像、フレームメモリから読み出した画像等）や所要の情報を表示して撮像に関する各種設定（所望の露光時間の設定など）に供される。

モータドライバ１８は、制御装置２５の制御に基づいて、フォーカシングおよびズーミングなどのために撮影レンズ系５のレンズ駆動モータを駆動し、メカニカルシャッタ１７の開閉動作を行う。この開閉動作はタイミング発生器２９と連携して行われる。

測距センサ４０は、いわゆる三角測量方式による、定期的に被写体距離を計測する測距手段を構成する。
＜モニタリング動作＞
撮影者がデジタルカメラ１００のメニューボタン１２（図１（Ｃ）参照）を操作して撮影設定画面（不図示）を液晶モニタ９に表示させる。そして、撮影設定画面に表示される「静止画撮影モード」を選択することにより、デジタルカメラ１００は制御装置２５の制御によって静止画撮影モードに設定される。

この際に、デジタルカメラ１００は制御装置２５の制御によりモニタリング動作を行う。液晶モニタ９にはデジタルカメラ１００が受像する動画像が表示される。このモニタリング動作中には、ＡＥ（自動露光）処理と公知のＡＷＢ処理が繰り返し行われている。
＜ＡＥ処理＞
また、制御装置２５は、ＲＡＷ−ＲＧＢデータにおけるＲＧＢ値のそれぞれを積分値からＡＥ（自動露出）評価値を算出する。例えば、ＣＭＯＳセンサ１６の全画素の受光面に対応した画面を１０２４エリアに等分割（水平３２分割、垂直３２分割）し、それぞれのエリアのＲＧＢ積算を算出する。
そして、制御装置２５は算出されたＲＧＢ積算値から、画面それぞれのエリアの輝度を算出して輝度分布から適正な露光量（適正露光時間Ｔｓ）を決定する。
＜本実施形態における撮像動作＞
図４に示すフロー図を参照しながら、本実施形態における撮像動作を説明する。ここでは１フレーム転送時間Ｌ１が２０ｆｐｓ（1／２０秒に１枚の画像を転送する）と仮定する。図６（ｂ）に示すように、短露光の第１画素行の転送が開始され（時点ｔａ１）、最終行の第Ｎ画素行の転送が終了する（時点ｔａ２）ので、１フレーム転送時間Ｌ１は、時点ｔａ２−時点ｔａ１であり第１〜Ｎ画素行の転送時間の総和である。この１フレーム転送時間Ｌ１はカメラ固有のもので原則変化しない。

本実施形態では、露光時間を算出する場合、まずステップＳ１でモニタリング動作中にＹＵＶ変換部３５の輝度レベル判定部に入力されるＲＧＢ−ＲＡＷから被写体の輝度レベルを判定する。

そして、ステップＳ２で制御装置２５によりその輝度レベルから適正露光時間Ｔｓを算出する。ここでは、例えば、適正露光時間が１／４０秒と算出されたとする。

次に、ステップＳ３では、制御装置２５により適正露光時間Ｔｓから短露光時間Ｔ１と長露光時間Ｔ２を算出する。ダイナミックレンジ±ｍ（ＥＶ）の撮像を予定している場合、短露光時間Ｔ１と長露光時間Ｔ２は、Ｔ１＝Ｔｓ＊１／２^ｍ、Ｔ２＝Ｔｓ＊２^ｍの式で算出される。

±２ＥＶのダイナミックレンジ拡大を期待する場合、適正露光時間が１／４０秒であるので、上記式により短露光時間Ｔ１は１／１６０秒、長露光時間Ｔ２は１／１０秒となる。

ステップＳ４では、ステップＳ３で算出した長露光時間Ｔ２が所定の時間（１フレーム転送時間−１画素行転送時間）より短いか否かが判断され、ＮＯであればステップＳ９へ進み、ＹＥＳであればステップＳ５へ進む。

ここで、具体例を説明すると、上記のものより被写体が明るい場合、例えば適正露光時間が１／１６０秒と算出された場合、短露光時間Ｔ１は１／６４０秒、長露光時間Ｔ２は１／４０秒と算出される。
この長露光時間Ｔ２は１／４０秒であり、所定時間（１フレーム転送時間―１画素行転送時間）の約１／２０秒より短い。そのため、長露光のフレーム転送が、短露光のフレーム転送に重ならないように且つ連続するように長露光の露光開始時を設定すると、短露光と長露光間で露光されない時間帯のギャップＧ２が生じることになる（図３（ａ）参照）。

ステップＳ５では、このギャップＧ２を埋めるために、ステップＳ４で算出した長露光時間Ｔ２（長露光の各画素行の露光時間）を所定時間Ｔ２´（１フレーム転送時間−１画素行転送時間、図３（ｂ）参照）に変更する。これにより短露光と長露光とが連続したものとなり、ギャップＧ２による露光情報の欠落（被写体の２重像）を防止することができる。

ステップＳ６では、デジタルカメラ１００のＩＳＯ感度が最小値か否かが判断され、ＮＯであればステップＳ７へ進み、ＹＥＳであればステップＳ９へ進む。

ステップＳ７では、ＩＳＯ感度を下げる方向に調整して延長した長露光時間Ｔ２´の露光量が変更（延長）前の長露光時間Ｔ２の露光量と同一となるようにする。

ここでＩＳＯ感度を調整する理由について述べると、もともと撮影者が±２ＥＶの画像を撮像して合成結果として４ＥＶのダイナミックレンジの拡大を期待している場合、上記のようにステップＳ５で長露光時間Ｔ２を変更（延長）することで長露光時間Ｔ２が１／４０秒から約１／２０秒となり、予定していた以上のダイナミックレンジの拡大となってしまう。
そのため、ステップＳ６でＩＳＯ感度が調整できると判断された場合には、ゲイン（ＩＳＯ感度）を下げる調整を行って延長後の長露光の露光量と延長前の長露光の露光量とを同一にし、延長後の長露光画像を意図したダイナミックレンジで撮像した長露光画像と同等にするものである。
例えば、ＩＳＯ感度を２００から１００に設定すると信号のゲインが１／２となるので、露光時間を２倍にすれば延長前の長露光画像と同じものが得られる。すなわち、露光時間が２倍になったとき、ＩＳＯ感度を例えば２００から１００に設定すればよい。

この実施例では、ＩＳＯ感度調整を行っているがこれに限らず、メカニカルシャッタ１７の絞り量やＮＤ（減光）フィルタによる減光量を調整してもよく、またはこれらを組み合わせて行ってもよい。

これらの中では、例えば絞りを優先する絞り優先モードなど撮影者の意図によって絞りが固定される場合も考えられるため、ＩＳＯ感度の調整により露光量を同一に調整するのがより好ましい。

次に、ステップＳ８では、ＩＳＯ感度調整に応じて短露光時間Ｔ１を延長する処理を行う。
ＩＳＯ感度を下げる調整を行うことで延長後の長露光の露光量を延長前の長露光の露光量と同一にできるが、このＩＳＯ感度調整によって短露光の露光量が減少してしまうため、短露光時間Ｔ１をＴ１´（＞Ｔ１）に延長してＩＳＯ感度調整前の短露光の露光量と同一にする。上述した絞り量の調整や減光フィルタによる調整によっても短露光の露光量が変わってしまうため、この場合もその調整に応じて上記と同様に短露光時間Ｔ１を延長する。
ステップＳ９では、ローリングシャッタ方式により連続的に短露光と長露光を行う。
短露光時間Ｔ１と長露光時間Ｔ２を変更した場合（ステップＳ６でＮＯの場合）には、短露光時間Ｔ１´と長露光時間Ｔ２´でそれぞれの露光を行う。短露光時間Ｔ１を変更せず長露光時間Ｔ２のみを変更した場合（ステップＳ６でＹＥＳの場合）には、短露光時間Ｔ１と長露光時間Ｔ２´でそれぞれの露光を行う。短露光時間Ｔ１も長露光時間Ｔ２も変更しなかった場合（ステップＳ４でＮＯの場合）には、短露光時間Ｔ１と長露光時間Ｔ２でそれぞれの露光を行う。
ステップＳ１０では、短露光時間Ｔ１（Ｔ１´）で露光された短露光画像（第１画像）と、長露光時間Ｔ２（Ｔ２´）で露光された長露光画像（第２画像）の合成処理の処理動作が行われる。
以下、その処理動作を図５に示すフロー図に基づいて説明する。

ステップＳ１１では、図５に示すように、短露光時間Ｔ１（Ｔ１´）で露光された短露光画像と、長露光時間Ｔ２（Ｔ２´）で露光された長露光画像のそれぞれの輝度を調べる。
ステップＳ１２では、短露光画像にゲイン処理をかけて長露光画像の明るさに一致させる。
ステップＳ１３では、長露光画像において輝度飽和（サチレーション）した部分を特定する処理をして輝度飽和部分があるか判断し、ＮＯであればステップＳ１５へ進み、ＹＥＳであればステップＳ１４へ進む。
ステップＳ１４では、ステップＳ１３で特定した長露光画像の輝度飽和部分を、ゲイン処理をかけた短露光画像部分（輝度飽和部分に対応する画像部分）で置き換える合成処理をする。

ステップＳ１５では、ステップＳ６の判断結果を参照してＩＳＯ感度が最小値か否かが判断され、ＮＯであればステップＳ１６へ進み、ＹＥＳであれば終了する。

ステップＳ１６では、ステップＳ１４で置換されなかった長露光画像部分をビットシフト処理する。
ここで、ステップＳ１６のビットシフト処理を行う理由について説明する。
ステップＳ６でＹＥＳと判断されＩＳＯ感度を調整しなかった場合は、上記ステップＳ１４で合成に使用される短露光画像は、短露光時間Ｔ１で露光された画像であるため、上記合成処理において短露光画像で置換された長露光画像部分は、撮影者の意図したダイナミックレンジが再現される。

しかし、置換されなかった長露光画像部分は、ギャップＧ２を埋めるために延長された長露光時間Ｔ２´で露光された長露光画像がそのまま使用されることとなり、この部分は撮影者の意図したダイナミックレンジが再現されていない。

つまり、長露光では長露光時間Ｔ２´−長露光時間Ｔ２の時間分だけ余分に露光がなされているので、その余分に露光した情報をカットして撮影者が意図したものとする処理、例えばビットシフト処理が必要となる。
＜ビットシフト処理＞
例えば、本来の長露光時間Ｔ２が１／８０秒の場合、１フレーム転送時間に合わせて約１／２０秒（１フレーム転送時間―１画素行転送時間）の長露光時間Ｔ２´で露光したことにより約４倍の露光時間となるので、短露光画像で置換されなかった長露光画像部分では情報が約４倍増幅されて出現している。
そこで、この画像部分に含まれる画素について、各画素の画素出力値データを２ビット分ビットシフトして４分の１にする処理を行う。

この処理により、ステップＳ６でＹＥＳと判断されＩＳＯ感度調整をしなかった場合でも、この画像部分を長露光時間Ｔ２で露光したものと略同一にすることができ、撮影者が意図したダイナミックレンジを反映した画像が生成できる。
なお、ステップＳ７でＩＳＯ感度を下げる調整をした場合は、延長後の長露光の露光量が延長前の長露光の露光量と同一となっているのでこのビットシフト処理は行わない（ステップＳ１５でＹＥＳの場合）。
また、図６（ｂ）に示すように、ステップＳ４で長露光時間Ｔ２が所定時間Ｔ２´（１フレーム転送時間―１画素行転送時間）より長く算出された場合、具体的な例としては長露光時間Ｔ２が１／１０秒と算出されたような場合、この長露光時間Ｔ２は所定時間Ｔ２´（１フレーム転送時間―１画素行転送時間）の約１／２０秒より長いので、ギャップＧ２が生じず露光時間の延長をしない。つまり、この場合は長露光時間Ｔ２で長露光がなされているので、このビットシフト処理は行わない（ステップＳ４でＮＯの場合）。
次に、本発明の作用・効果を説明する。
請求項１の発明によれば、制御装置２５により算出された適正露光時間Ｔｓに基づいて算出された長露光時間Ｔ２が所定時間Ｔ２´（１フレーム転送時間―１画素行転送時間）より短い場合でも、この長露光時間Ｔ２を所定時間Ｔ２´（１フレーム転送時間―１画素行転送時間）に変更して長露光を行うので、短露光と長露光との間に時間的なギャップＧ２が生じず、短露光と長露光とを略連続的に行うことができる。
請求項２の発明によれば、撮像光学系５のメカニカルシャッタ１７の絞りの絞り量、減光フィルタの減光量、ＣＭＯＳセンサ１６のアナログゲインのうち少なくとも１つを調整することにより、長露光時間Ｔ２の変更後の長露光の露光量を変更前の露光量と同一にすることができる。
また、上記調整によって減少する短露光の露光量を、短露光時間Ｔ１を延長することにより上記調整前の短露光の露光量と同一にすることができる。
このため、短露光と長露光のそれぞれが適正露光時間Ｔｓにより算出された短・長の露光量と同一となり、撮影者の意図したダイナミックレンジの合成画像を得ることができる。
請求項３の発明によれば、短露光時間Ｔ１（Ｔ１´）で露光して得られた短露光画像についてゲインを高める処理を行なって、短露光画像を長露光時間Ｔ２（Ｔ２´）で露光して得られた長露光画像の輝度と同じにするとともに、長露光画像において輝度が飽和している部分を特定し、この部分をこの部分に対応する前記短露光画像の部分で置き換える合成処理をするので、長露光画像において輝度飽和が生じている領域があっても、この領域に対応する被写体像を再現できるとともにこの領域において撮影者が意図したダイナミックレンジを再現できる。
請求項４の発明によれば、上記の各種調整（ＩＳＯ感度の調整、ＮＤフィルタの調整、メカニカルシャッタ１７の絞りの調整）が出来ない場合、長露光画像において輝度が飽和していない画像部分に含まれる画素について、各画素出力値データのビットをビットシフト処理することにより、上記の各種調整ができない場合でも長露光画像の余分な画像情報をカットして延長後の長露光の露光量を延長前の長露光の露光量と同一にすることができ、この部分において撮影者が意図したダイナミックレンジを再現できる。
以上、本発明に係る撮像装置を上記実施形態に基づき説明してきたが、具体的な構成については、これらの実施形態に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。

５撮影レンズ系（撮像光学系）
16 ＣＭＯＳセンサ
25 制御装置
Ｔｓ適正露光時間
Ｔ１短露光時間（露光時間）
Ｔ２長露光時間（露光時間）
１００デジタルカメラ（撮像装置）
Ｌ１１フレーム転送時間
PxL1L １画素行転送時間

特開２００２−３０５６８４号公報特開２００２−１５６１３８号公報

Claims

撮像光学系と、ローリングシャッタ機能を有するＣＭＯＳセンサと、前記ＣＭＯＳセンサの制御を行う制御手段とを備え、
前記制御手段は、前記ＣＭＯＳセンサから出力される被写体の画像データからこの被写体についての適正露光時間を算出するとともに、この適正露光時間に基づいて短露光時間と長露光時間とを算出し、ローリングシャッタ方式でこの算出した短露光時間と算出した長露光時間それぞれの露光時間で露光させ、この露光で得られた短露光画像と長露光画像を合成してダイナミックレンジの広い画像を生成する撮像装置において、
前記制御手段は、前記ＣＭＯＳセンサの１フレーム転送時間から１画素行の転送時間を引いた時間を算出し、この算出した転送時間と前記算出した長露光時間とを比較し、前記算出した長露光時間が前記算出した転送時間より短い場合、前記算出した長露光時間をこの前記算出した転送時間に変更することを特徴とする撮像装置。
前記制御手段は、前記撮像光学系の絞りの絞り量、減光フィルタの減光量、前記ＣＭＯＳセンサのアナログゲインのうち少なくとも１つを調整して、前記算出した長露光時間の前記算出した転送時間への変更によって増加する長露光の露光量を変更前の露光量と同一にし、この調整によって減少する短露光の露光量が、減少する前の露光量と同一となるように前記短露光時間を延長することを特徴とする請求項１に記載の撮像装置。
前記短露光時間で露光して得られた第１画像についてゲインを高める処理を行なって、第１画像の輝度を前記長露光時間で露光して得られた第２画像の輝度と同じにするとともに、第２画像において輝度が飽和している部分を特定し、この部分をこの部分に対応する前記第１画像の部分である第１の画像部分で置き換える合成処理をすることを特徴とする請求項２に記載の撮像装置。
増加する前記長露光の露光量を前記調整によって変更前の露光量と同一にできない場合、前記第２画像において輝度が飽和していない部分である第２の画像部分に含まれる画素について、各画素出力値データをビットシフトすることにより、前記第２の画像部分の画素出力値を減少させて、前記第２の画像部分を変更前の前記長露光時間で露光したものと同一にすることを特徴とする請求項３に記載の撮像装置。