JP6108854B2

JP6108854B2 - 撮像装置及びその制御方法

Info

Publication number: JP6108854B2
Application number: JP2013022310A
Authority: JP
Inventors: 茂市川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-02-07
Filing date: 2013-02-07
Publication date: 2017-04-05
Anticipated expiration: 2033-02-07
Also published as: JP2014155002A

Description

本発明は、撮像装置及びその制御方法に関する。

静止画や動画を撮影するＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子では、一般的に、ダイナミックレンジ（階調を識別可能な最小輝度と最大輝度の比率）が人間の目で感じられるものと比較して狭いことが知られている。そのため、実際に目で見た階調を写真としてそのまま再現することは難しい。そこで、異なる露出条件で撮影した複数の画像を重ね合わせて、通常撮影よりも広いダイナミックレンジ（以下「ＨＤＲ」という）の画像を取得する技術が知られている（例えば、特許文献１参照）。

図１４は、ＨＤＲを実現させる従来技術に係る撮影動作の一例を模式的に示す図である。撮影開始後に、露出条件を変えて、複数枚（例えば、暗いアンダー露出のＬ画像、適正露出のＭ画像、明るいオーバー露出のＨ画像の３枚）の撮影を行う。その後、撮影された各画像を合成することで、Ｈ画像とＬ画像の露出の差によるＨＤＲを実現することができる。

特開平０６−１４１２２９号公報

しかし、上記特許文献１は、露出条件の異なる画像を独立して撮影することを開示するのみであるため、画像毎に補正が必要であり、各画像に対して補正パラメータを作成して補正する処理を行う必要がある場合に対応することができない。その結果、フレーム間で無駄な期間が発生するという問題があり、また、動く被写体等に対しては被写体の軌跡が途切れる等の問題が生じる。また、ＨＤＲを得るための動作を動画撮影中に行う場合は、再生時のフレームレートとの関係から、補正パラメータ作成用の領域を十分に取ることができず、そのために十分な補正精度が得られずに、高い画質を確保することができないという問題もある。

本発明は、ＨＤＲを得るための動作の際にフレーム間に発生する余分な時間を削減しながら、高い画質を確保することができる撮像装置を提供することを目的とする。

本発明に係る撮像装置は、受光量に応じた信号を出力する受光画素と前記受光画素から出力される信号を補正するための信号を出力する補正用画素を有する撮像素子を用いて、異なる露出設定で連続的に撮影を行って２枚以上の画像を取得する画像取得手段と、前記２枚以上の画像を取得する際に前記２枚以上の画像の組み合わせ毎に一度だけ前記補正用画素から信号を読み出す第１の読み出し方法と、前記２枚以上の画像を取得する際に各画像を取得する毎に前記補正用画素から信号を読み出す第２の読み出し方法のいずれかの方法により信号を読み出す読み出し手段と、前記第１の読み出し方法により信号が読み出された場合は前記補正用画素から前記一度だけ読み出された信号から生成された補正値を用いて前記２枚以上の画像を補正し、前記第２の読み出し方法により信号が読み出された場合は前記補正用画素から画像毎に読み出された信号を用いて生成された各補正値を用いて各画像を補正する補正手段と、前記補正手段によって補正された前記２枚以上の画像を合成して合成画像を生成する合成手段と、を備えることを特徴とする。

本発明によれば、ＨＤＲを得るための動作の際に、フレーム間に発生する余分な時間を削減しながら、高い画質を確保することができる。

本発明の実施形態に係る撮像装置の概略構成を示すブロック図である。図１の撮像装置が備える撮像部の有する撮像素子の概略構成を示す図である。図１の撮像装置による通常の画像取得のタイミングチャートである。図２の撮像素子からの出力信号に対して行われるＯＢクランプ動作を示す図と、ＯＢクランプ回路の構成を示す図である。図２の撮像素子からの出力信号に列オフセット成分による縦筋が発生している状態を模式的に示す図である。図５の画像に対する列オフセット補正の効果を示す図である。図１の撮像装置を用いてＨＤＲ動画を取得するための第１実施形態に係るタイミングチャートである。ＨＤＲ画像を生成する単位毎に１度だけＯＢ画素信号とＮＵＬＬ画素信号を読み出した場合の補正精度の不足を模式的に示す図である。第２実施形態で用いる、Ｌ画像とＨ画像の各画像の取得毎にＯＢ画素信号とＮＵＬＬ画素信号を読み出す動作を示すタイミングチャートである。第２実施形態に係るＨＤＲ画像の取得方法を示すフローチャートである。第３実施形態に係る、被写体輝度が低輝度になった際にＨＤＲ画像を取得するためのタイミングチャートである。第３実施形態に係る、Ｈ画像の具体的な補正方法を示すフローチャートである。図１２のフローチャートに従ってＨ画像を補正する、撮像装置が備える信号処理部の概略構成を示す図である。通常撮影よりも広いダイナミックレンジの画像を取得するための従来技術に係る撮影動作の一例を模式的に示す図である。

以下、本発明の実施形態について添付図面を参照して詳細に説明する。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る撮像装置１００の概略構成を示すブロック図である。本実施形態では、撮像装置１００は、具体的には、静止画撮影と動画撮影が可能なデジタルカメラであるとする。撮像装置１００は、レンズ部１０１、光量調整部１０２、撮像部１０３、信号処理部１０４、撮像制御部１０５、全体制御部１０６、操作部１１０、記録部１１１及び表示部１１２を有する。全体制御部１０６は、記憶部１０７、被写体輝度検出部１０８及び露出演算部１０９を含む。

レンズ部１０１は、被写体からの反射光を撮像部１０３に結像させるための複数のレンズ群によって構成されており、焦点距離変更手段や入射光を遮る遮光手段等を含む。光量調整部１０２は、レンズ部１０１と撮像部１０３との間に配置されており、レンズ部１０１を透過する光量を、例えば３段で減光することができる減光フィルタ等である。但し、光量調整部１０２は、これに限定されるものではなく、減光量の設定値は３段分以外の値でもよいし、絞り機構を用いることで更に多段階的に減光できるようにしてもよい。

撮像部１０３は、レンズ部１０１と光量調整部１０２を通して入射した光をアナログ電気信号に変換する撮像素子と、撮像素子から出力されるアナログ信号をデジタル信号（画素信号）に変換するＡ／Ｄ変換回路等を含む。信号処理部１０４は、撮像部１０３から入力される画素信号に対して、補正用のパラメータ生成や必要な画像信号補正処理を行う。撮像制御部１０５は、全体制御部１０６からの指令（入力信号）に基づいて、撮像部１０３及び信号処理部１０４等に必要なタイミング信号、映像信号を増幅するためのゲインの設定信号、露出時間を設定信号、その他の制御に必要な信号を生成する。全体制御部１０６は、ＣＰＵ、プログラムを記憶したＲＯＭ、ＲＡＭ等を有し、ＲＯＭから読み出したプログラム等をＲＡＭの作業エリアに展開、実行してすることにより、撮像装置１００の全体的動作を統括制御するために必要な処理と演算を行う。

全体制御部１０６に含まれる記憶部１０７は、信号処理部１０４等からの信号を一時的に記憶する。被写体輝度検出部１０８は、撮像部１０３からの信号に基づいて撮影中の被写体の輝度値を検出する。露出演算部１０９は、被写体輝度検出部１０８が検出した輝度値に基づいて、撮影画像の露出を決定する。全体制御部１０６は、露出演算部１０９の演算結果に基づき、光量調整部１０２を用いて光量を調整し、また、撮像制御部１０５を用いて露光時間や映像信号を増幅するためのゲインを調整する。本実施形態では、信号処理部１０４を全体制御部１０６から独立した構成としているが、信号処理部１０４は、全体制御部１０６の中に含まれていてもよいし撮像部１０３の中に含まれていてもよい。また、撮像制御部１０５は撮像部１０３の中に含まれていてもよい。

操作部１１０は、機械的な各種ボタンやダイヤル、表示部１１２を用いたタッチパネル操作が可能なアイコン等のヒューマンＩＦによって構成されている。操作部１１０を通して入力された情報や指令は全体制御部１０６に伝達され、全体制御部１０６は受信した情報や指令に基づいて撮像装置１００を動作させる。記録部１１１は、全体制御部１０６により生成される画像データを記録する。表示部１１２は、信号処理部１０４からの信号に基づいて全体制御部１０６が生成する画像データを表示し、また、操作部１１０から入力された操作に対応するアイコン等を表示する。

図２は、撮像部１０３が備える撮像素子の概略構成を示す図である。撮像素子は、本実施形態では、ＣＭＯＳ型のイメージセンサであるとする。撮像素子は、レンズ部１０１からの光を受光し、光電変換により受光量に応じた電気信号を出力する受光画素２０１を有する。受光画素２０１は、フォトダイオード２０２、転送トランジスタ２０３、信号増幅アンプ２０４、リセット用トランジスタ２０５を１ユニットとして構成されている。転送トランジスタ２０３及びリセット用トランジスタ２０５は、水平駆動回路２０６からの信号によって動作する。なお、水平駆動回路２０６は、受光画素２０１の各画素を駆動させるためのシフトレジスタや転送トランジスタ２０３等の信号生成回路等を含む。水平駆動回路２０６によって生成されたタイミング信号によって、転送トランジスタ２０３とリセット用トランジスタ２０５とが制御されることで、各画素のフォトダイオードの電荷のリセット／読み出しが行われ、露光時間が制御される。

撮像素子は、遮光画素２０７（以下「ＯＢ画素２０７」と記す）とダミー画素２０８（以下「ＮＵＬＬ画素２０８」と記す）と、垂直駆動回路２０９とを有する。ＯＢ画素２０７及びＮＵＬＬ画素２０８は、受光画素２０１から出力される電気信号を補正するための電気信号を出力する補正用画素である。

ＯＢ画素２０７は、受光画素２０１とは異なり、その表面が遮光膜によって遮光されている。ＯＢ画素２０７から出力される信号は、後段の画像処理で画像の黒の基準を決める際等に使用される。ＮＵＬＬ画素２０８は、受光画素２０１及びＯＢ画素２０７と異なり、光電変換する機能を有しない。ＮＵＬＬ画素２０８から出力される信号は、各画素を動作させる水平駆動回路２０６のオフセット成分を検出する際等に使用される。なお、ＮＵＬＬ画素２０８は、受光画素２０１からフォトダイオード２０２を削除した構成と同等である。

垂直駆動回路２０９は、シフトレジスタ、列アンプ回路及びＡ／Ｄ変換回路２１０、信号出力選択スイッチ２１１及び外部への出力回路（不図示）等を含む。列アンプ回路及びＡ／Ｄ変換回路２１０の設定を撮像制御部１０５からの信号によって変化させることによって、各画素から読み出された信号を増幅することができる。

図３は、撮像装置１００による通常の画像取得のタイミングチャートである。全体制御部１０６又は撮像制御部１０５が生成する垂直同期信号によって、撮像部１０３に対する露光と撮像部１０３からの信号読み出しが行われる。本実施形態では、撮像制御部１０５によって設定された条件で、受光画素２０１、ＯＢ画素２０７及びＮＵＬＬ画素２０８の各信号を所定の順番で読み出す。

前述の通り、本実施形態ではＣＭＯＳ型の撮像素子を用いている。そのため、水平駆動回路２０６のシフトレジスタの設定よって、どの行の転送トランジスタ２０３をどのような順序で駆動させるか選択することができ、また、同一行を繰り返し選択して信号を読み出すこともできる。更に、垂直駆動回路２０９のシフトレジスタの設定により、どの列の信号出力選択スイッチ２１１を動作させるかによって同一行の信号においてどの列の信号から出力するかを選択することができる。これによって、画面内のどの画素からどのような順番で信号を読み出すかを指定することができる。受光画素２０１から読み出した信号は、信号処理部１０４にてＯＢ画素２０７とＮＵＬＬ画素２０８から読み出した信号から生成した補正値を用いて補正される。その後、全体制御部１０６において、最終的な画像が作成される。

次に、ＯＢ画素２０７から読み出した信号（以下「ＯＢ画素信号」という）とＮＵＬＬ画素２０８から読み出した信号（以下「ＮＵＬＬ画素信号」という）を用いて受光画素２０１から読み出した信号（以下「受光画素信号」という）を補正する方法について説明する。

ＯＢ画素信号を用いた受光画素信号の補正方法の一例としては、撮像素子の温度上昇に伴って発生する暗電流成分を受光画素信号から減算するＯＢクランプ動作が挙げられる。即ち、受光画素２０１の出力信号値からＯＢ画素２０７の出力信号値を減算する。図４（ａ）は、このＯＢクランプ動作を示す図である。ＯＢ画素２０７で発生する暗電流成分は、受光画素２０１で発生する暗電流成分と同レベルである。そのため、ＯＢクランプ動作を行うことにより、撮影中に撮像素子の温度が上昇しても、暗電流成分の画質への影響を除去することができる。

図４（ｂ）は、ＯＢクランプ回路の概略構成を示す図である。受光画素２０１から信号を読み出す前に、ＯＢ画素２０７の信号が読み出されて信号処理部１０４に入力される。信号処理部１０４は補正値生成回路４０１を有し、補正値生成回路４０１は、入力されたＯＢ画素信号から暗電流成分を算出する。その後、受光画素２０１から信号が読み出され、読み出された受光画素信号から暗電流成分が減算される。これにより、暗電流成分の画質への影響を低減させることができる。

一方、ＮＵＬＬ画素信号を用いた受光画素信号の補正方法の一例としては、列アンプ回路又は列Ａ／Ｄ変換回路にてトランジスタのばらつき等に起因して重畳されるオフセット成分（以下「列オフセット成分」という）を受光画素信号から減算する列オフセット補正動作が挙げられる。

図５は、列オフセット成分によって縦筋が発生している状態を模式的に示す図である。図６は、図５の画像に対する列オフセット補正の効果を示した図であり、列オフセット補正動作の前後（図６（ａ）：補正前、図６（ｂ）：補正後）における、図５のＡ−Ａ´間とＢ−Ｂ´間の出力を示す図である。

図５及び図６（ａ）に示すように、受光画素２０１は、Ａ−Ａ´間において暗電流とレンズ部１０１から入射する光による信号に加えて、列オフセット成分が重畳した出力を持っている。これに対して、ＮＵＬＬ画素２０８は、Ｂ−Ｂ´間において光電変換する部分がないため、暗電流による影響を受け難く、列オフセット成分を良好に検出することができる。したがって、図６（ｂ）に示すように、受光画素２０１の出力信号値から列毎にＮＵＬＬ画素２０８の出力信号値を減算することにより、列オフセット成分が除去された出力信号を得ることができる。なお、図６（ｂ）に示した列オフセット補正値を得ることは、同一の信号に対してＯＢクランプ回路で使用した回路と同様の回路を列毎に列数の分だけ用いることにより実現することができる。

上述したＯＢクランプ動作や列オフセット補正動作の補正値は、ランダムノイズの影響を低減して補正精度を向上させるため、複数の画素の信号値を平均化し、又は、巡回フィルタ等の演算を行って算出される。そのため、補正精度は、補正値を算出する画素数に依存する。

撮像装置１００により通常撮影よりも広いダイナミックレンジを有する動画（以下「ＨＤＲ動画」という）を取得する方法について、以下に説明する。

図７は、撮像装置１００を用いてＨＤＲ動画を取得するための第１実施形態に係るタイミングチャートである。全体制御部１０６は、例えば、１／６０ｓ毎の垂直同期信号を生成し、これにより６０ｆｐｓの撮影周期で撮影を行う。また、ここでは、撮像制御部１０５によって設定された条件で、暗いアンダー露出のＬ画像と明るいオーバー露出のＨ画像の露光動作を交互に行うものとする。撮影されたＬ画像とＨ画像は記憶部１０７に一時的に記憶され、Ｌ画像とＨ画像とが揃った時点で全体制御部１０６が両画像を合成し、広いダイナミックレンジを有する合成画像であるＨＤＲ画像を作成する。ＨＤＲ動画は、複数のＨＤＲ画像によって構成される。

ここで、ＯＢ画素信号及びＮＵＬＬ画素信号は、ＨＤＲ画像を生成するＬ画像とＨ画像の組み合わせ毎に一度だけ補正値生成のために読み出される。読み出されたＯＢ画素信号及びＮＵＬＬ画素信号は信号処理部１０４に入力され、信号処理部１０４は補正値の生成を行う。信号処理部１０４は、その後、読み出されるＬ画像とＨ画像のそれぞれに対して生成された同一の補正値を用いて補正動作を行う。これにより、Ｌ画像とＨ画像を読み出す間隔を狭めることができ、動く被写体等に対しても良好なＨＤＲ画像を取得することができる。また、画像毎に読み出していたＯＢ画素２０７又はＮＵＬＬ画素２０８の画素数よりも多くの画素数の信号を一度に纏めて読み出すことができ、生成する補正値に対するランダムノイズの影響を低減させることができる。

なお、本実施形態では６０ｆｐｓで連続して撮影した２枚の画像を用いて３０ｆｐｓの動画を作成するとしたが、これとは異なるフレームレートでも本実施形態と同様の動作を適用することにより同様の効果を得ることができる。また、Ｌ画像とＨ画像の取得順について、本実施形態ではＬ画像を先に取得するとしたが、Ｈ画像先に取得するようにしてもよい。更に、ＨＤＲ画像の生成に用いる画像は２枚以上（例えば、３枚）であればよく、本実施形態と同様の動作を行うことによって同様の効果を得ることができる。

また、ＯＢ画素信号とＮＵＬＬ画素信号から生成する補正値は、ＨＤＲ画像を生成する単位毎に新しく生成してもよいし、過去の複数フレームを跨いで生成するようにしてもよい。更に、図２に示したように、本実施形態では、撮像素子がＮＵＬＬ画素２０８をその内部に有する構成としたが、受光画素２０１から信号を読み出さない動作（空転送）を用いて本実施形態と同様の動作を行うことにより同様の効果を得ることもできる。

＜第２実施形態＞
第１実施形態では、ＨＤＲ画像を生成する単位毎に１度だけＯＢ画素信号とＮＵＬＬ画素信号を読み出す（第１の読み出し方法）構成とした。この場合、ＨＤＲ画像を生成する特定のＬ画像及びＨ画像間ではゲインやシャッタスピード等の露出条件が異なるため、ＨＤＲ画像を生成する単位毎に１度だけＯＢ画素信号とＮＵＬＬ画素信号を読み出したのでは補正精度が不足する事態が生じるおそれがある。図８は、ＨＤＲ画像を生成する単位毎に１度だけＯＢ画素信号とＮＵＬＬ画素信号を読み出した場合の補正精度の不足を模式的に示す図である。このように、補正精度に着目した場合には、Ｌ画像とＨ画像の各画像の取得毎にＯＢ画素信号とＮＵＬＬ画素信号を読み出す動作（第２の読み出し方法）を行う従来動作の方が好ましい。

第２実施形態における撮像装置、画像補正方法及びＨＤＲ画像の生成方法等は、第１実施形態と同様であるが、第２実施形態では、ＨＤＲ画像を生成する際に、第１実施形態での動作（第１の読み出し方法）と前述の従来動作（第２の読み出し方法）とを切り換える構成とする。

図９は、Ｌ画像とＨ画像の各画像の取得毎にＯＢ画素信号とＮＵＬＬ画素信号を読み出す動作（前述の従来動作）を示すタイミングチャートである。全体制御部１０６は１／６０ｓ毎の垂直同期信号を生成し、これにより６０ｆｐｓの撮影周期での撮影が行われ、撮像制御部１０５によって設定された条件で、Ｌ画像とＨ画像の露光動作が交互に行われるものとする。撮影されたＬ画像とＨ画像は記憶部１０７に一時的に記憶され、Ｌ画像とＨ画像とが揃った時点で全体制御部１０６が両画像を合成してＨＤＲ画像を作成する。

その際に、Ｌ画像とＨ画像の各画像の取得毎にＯＢ画素信号及びＮＵＬＬ画素信号を読み出す動作を行う。読み出されたＯＢ画素信号及びＮＵＬＬ画素信号は信号処理部１０４に入力され、信号処理部１０４は補正値の生成を行う。信号処理部１０４は、その後、読み出されるＬ画像とＨ画像のそれぞれに対して生成された補正値を用いて補正動作を行う。本実施形態では、図７に示したタイミングチャートによるＨＤＲ画像の合成と図９に示したタイミングチャートによるＨＤＲ画像の合成とを適時に切り換える。

図１０は、第２実施形態に係るＨＤＲ画像の取得方法を示すフローチャートである。全体制御部１０６は、撮像制御部１０５を制御して露出設定のための画像を取得する（ステップＳ１００１）。そして、全体制御部１０６の被写体輝度検出部１０８が、ステップＳ１００１で取得した画像から被写体輝度Ｂｖを算出する（ステップＳ１００２）。続いて、全体制御部１０６の露出演算部１０９が、ステップＳ１００２で算出した被写体輝度ＢｖからＬ画像取得用の露出設定ＥｖＬとＨ画像取得用の露出設定ＥｖＨとを決定する（ステップＳ１００３）。ここで、露出設定方法には、露光時間、映像信号を増幅するためのゲイン設定及び減光フィルタの挿入の有無等が含まれる。

全体制御部１０６は、ステップＳ１００３で決定した各露出条件に応じて、撮像制御部１０５を通して光量調整部１０２及び撮像部１０３の設定を行う（ステップＳ１００４）。次に、全体制御部１０６は、露出設定ＥｖＨ，ＥｖＬのそれぞれにおけるゲイン設定値であるＬ画像取得用ゲイン設定値（Ｓｖ＿Ｌ）とＨ画像取得用ゲイン設定値（Ｓｖ＿Ｈ）にて、図７の動作と図９の動作のどちらを実施するかを切り換える（ステップＳ１００５）。ステップＳ１００５では、ここでは、“Ｓｖ＿Ｈ＝Ｓｖ＿Ｌ”の関係式が成立するか否かを判断基準とする。

“Ｓｖ＿Ｈ＝Ｓｖ＿Ｌ”の場合（Ｓ１００５でＹＥＳ）、全体制御部１０６は、図７の動作を実施する（ステップＳ１００６）。一方、“Ｓｖ＿Ｈ≠Ｓｖ＿Ｌ”の場合（Ｓ１００５でＮＯ）、全体制御部１０６は図９の動作を実施する（ステップＳ１００７）。ステップＳ１００６，１００７の後、全体制御部１０６は撮影が終了したか否かを判定する（ステップＳ１００８）。撮影が終了していない場合（Ｓ１００８でＮＯ）、全体制御部１０６は処理をステップＳ１００１へ戻す。一方、撮影が終了した場合（Ｓ１００８でＹＥＳ）、全体制御部１０６は撮影を終了させる。

以上の動作を行うことによって、ゲインやシャッタスピード等の露出条件が異なる場合でも、高画質のＨＤＲ画像を取得することができる。なお、本実施形態では、図７の動作（第１実施形態の動作）と図９の動作（従来動作）との切り換えをゲイン設定値に基づいて行ったが、これに限られず、シャッタスピードや消費電力期間の増減、その他条件に応じて切り換える構成としてもよい。

＜第３実施形態＞
第２実施形態では、ＨＤＲ画像を生成する際に、図７の動作（第１実施形態の動作）と図９の動作（従来動作）とを切り換える構成とした。これに対して、第３実施形態では、補正精度が足りない場合に、従来動作とは異なる動作により補正精度を向上させる。なお、第３実施形態における撮像装置、画像補正方法及びＨＤＲ画像の生成方法等は、第１実施形態と同様である。

図１１は、被写体輝度が低輝度になった際にＨＤＲ画像を取得するためのタイミングチャートである。ＨＤＲ画像を生成する単位毎に先頭画像となるＬ画像の取得時にＯＢ画素信号及びＮＵＬＬ画素信号の読み出しを行い、次のＨ画像の取得時にもＯＢ画素信号及びＮＵＬＬ画素信号の読み出しを行う。その際、Ｈ画像取得時に読み出すＯＢ画素信号及びＮＵＬＬ画素信号の画素数を、Ｌ画像取得時に読み出すＯＢ画素信号及びＮＵＬＬ画素信号の画素数よりも少なくする。そして、Ｌ画像については、Ｌ画像取得時に読み出したＯＢ画素信号及びＮＵＬＬ画素信号を用いて、第１実施形態と同様の補正を行う。また、Ｈ画像については、Ｌ画像取得時のＯＢ画素信号及びＮＵＬＬ画素信号に加えて、Ｈ画像取得時に読み出したＯＢ画素信号及びＮＵＬＬ画素信号を使用して補正を行う。

図１２は、Ｈ画像の具体的な補正方法を示すフローチャートである。図１３は、図１２のフローチャートに従ってＨ画像を補正する信号処理部１０４の概略構成を示す図である。なお、図１３の信号処理部１０４はＬ画像の補正も行う。

全体制御部１０６は、信号処理部１０４に入力されたＯＢ画素信号及びＮＵＬＬ画素信号から、Ｌ画像補正用の補正値ＯＦＦ＿Ｌを算出する（ステップＳ１２０１）。続いて、全体制御部１０６は、Ｈ画像補正用の補正値を生成するために、補正値ＯＦＦ＿Ｌに所定のゲイン値Ｇを乗算する（ステップＳ１２０２）。なお、所定のゲイン値Ｇは、映像信号を増幅するためのゲインを調整するゲイン調整手段によってＬ画像とＨ画像の露出差を実現している場合のＬ画像とＨ画像のそれぞれに対するゲイン値の差分である。補正値ＯＦＦ＿Ｌに乗算される所定のゲイン値Ｇは、撮像制御部１０５から入力され、補正値生成回路１３０１において乗算される。

全体制御部１０６は、ステップＳ１２０２で算出した結果（ＯＦＦ＿Ｌ×Ｇ）を初期値ＯＦＦ＿Ｈ_０に設定する（ステップＳ１２０３）。そして、残る誤差分に関して、Ｈ画像取得時に読み出した画素信号を用いて微調整を行う。具体的には、Ｈ画像取得時に読み出す画素数をＭ（Ｍ：自然数）として読み出す度に巡回フィルタを通すことにより、所望の補正値を算出する（ステップＳ１２０４〜Ｓ１２０８）。

本実施形態における巡回フィルタの計算式は、“ＯＦＦ＿Ｈ_ｎ＋１＝ＯＦＦ＿Ｈ_ｎ−１×（ｎ−１）／ｎ＋ＯＦＦ＿Ｈ_ｎ×（１／ｎ）”で与えられる。最初に“ｎ＝０（ｎ：整数）”に設定され（ステップＳ１２０４）、次に、Ｈ画像用のＮＵＬＬ画素信号を取得してＯＦＦ＿Ｈ_ｎが決められる（ステップＳ１２０５）。そして、Ｈ画像用補正値ＯＦＦ＿Ｈ_ｎ＋１が前述の式により計算され（ステップＳ１２０６）、その後、ｎがインクリメントされ（ステップＳ１２０７）、ｎがＭに達したか否かが判定される（ステップＳ１２０８）。ｎがＭに達していない場合（Ｓ１２０８でＮＯ）、処理はステップＳ１２０５に戻され、ｎがＭに達した場合（Ｓ１２０８でＹＥＳ）、Ｈ画像用補正値ＯＦＦ＿Ｈ_ｎ＋１でＨ画像が補正される。

以上の方法により、Ｌ画像とＨ画像の両画像でゲインやシャッタスピード等の露出条件が異なっていても、各画像において十分な補正精度を確保することができる。なお、図１１に示したＬ画像とＨ画像の取得順について、本実施形態ではＬ画像を先に取得するとしたが、Ｈ画像先に取得するようにしてもよい。また、ＨＤＲ画像の生成に用いる画像に３枚以上の画像を用いてもよく、本実施形態と同様の動作を行うことによって同様の効果を得ることができる。この場合、少なくとも１枚の画像と他の２枚以上の画像とでＯＢ画素信号及びＮＵＬＬ画素信号を何画素分読み出すかを変えてもよいし、画像毎にＯＢ画素信号及びＮＵＬＬ画素信号を何画素分読み出すかを変えてもよい。また、動画撮影中における露出条件の変化に応じてＬ画像及びＨ画像の取得時に読み出すＯＢ画素信号及びＮＵＬＬ画素信号の画素数を変えるようにしてもよい。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。本発明は、デジタルカメラに限定されず、デジタルビデオカメラ、撮像素子による撮影機能を備える携帯電話や携帯ゲーム機等の各種電子機器に適用が可能である。

１００撮像装置
１０１レンズ部
１０２光量調整部
１０３撮像部（撮像素子）
１０５撮像制御部
１０６全体制御部
１０８被写体輝度検出部
１０９露出演算部

Claims

受光量に応じた信号を出力する受光画素と前記受光画素から出力される信号を補正するための信号を出力する補正用画素を有する撮像素子を用いて、異なる露出設定で連続的に撮影を行って２枚以上の画像を取得する画像取得手段と、
前記２枚以上の画像を取得する際に前記２枚以上の画像の組み合わせ毎に一度だけ前記補正用画素から信号を読み出す第１の読み出し方法と、前記２枚以上の画像を取得する際に各画像を取得する毎に前記補正用画素から信号を読み出す第２の読み出し方法のいずれかの方法により信号を読み出す読み出し手段と、
前記第１の読み出し方法により信号が読み出された場合は前記補正用画素から前記一度だけ読み出された信号から生成された補正値を用いて前記２枚以上の画像を補正し、前記第２の読み出し方法により信号が読み出された場合は前記補正用画素から画像毎に読み出された信号を用いて生成された各補正値を用いて各画像を補正する補正手段と、
前記補正手段によって補正された前記２枚以上の画像を合成して合成画像を生成する合成手段と、を備えることを特徴とする撮像装置。
前記読み出し手段は、前記第１の読み出し方法により信号を読み出す場合は、前記２枚以上の画像を取得する間は前記補正用画素から信号を読み出さないことを特徴とする請求項１に記載の撮像装置。
前記合成画像を複数用いて動画を生成する動画生成手段を更に備えることを特徴とする請求項１または２に記載の撮像装置。
受光量に応じた信号を出力する受光画素と前記受光画素から出力される信号を補正するための信号を出力する補正用画素を有する撮像素子を用いて、異なる露出設定で連続的に撮影を行って２枚以上の画像を取得する画像取得ステップと、
前記２枚以上の画像を取得する際に前記２枚以上の画像の組み合わせ毎に一度だけ前記補正用画素から信号を読み出す第１の読み出し方法と、前記２枚以上の画像を取得する際に各画像を取得する毎に前記補正用画素から信号を読み出す第２の読み出し方法のいずれかの方法により信号を読み出す信号読み出しステップと、
前記第１の読み出し方法により信号を読み出した場合は前記補正用画素から前記一度だけ読み出された信号から生成された補正値を用いて前記２枚以上の画像を補正し、前記第２の読み出し方法により信号を読み出した場合は前記補正用画素から画像毎に読み出された信号を用いて生成された各補正値を用いて各画像を補正する補正ステップと、
前記補正ステップで補正された前記２枚以上の画像を合成して合成画像を生成する合成ステップと、を有することを備えることを特徴とする撮像装置の制御方法。