[go: up one dir, main page]

JP6345500B2 - デジタルカメラの露出制御方法およびデジタルカメラ - Google Patents

デジタルカメラの露出制御方法およびデジタルカメラ Download PDF

Info

Publication number
JP6345500B2
JP6345500B2 JP2014127195A JP2014127195A JP6345500B2 JP 6345500 B2 JP6345500 B2 JP 6345500B2 JP 2014127195 A JP2014127195 A JP 2014127195A JP 2014127195 A JP2014127195 A JP 2014127195A JP 6345500 B2 JP6345500 B2 JP 6345500B2
Authority
JP
Japan
Prior art keywords
value
image
frame
brightness
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014127195A
Other languages
English (en)
Other versions
JP2016006935A (ja
Inventor
晋 荒川
晋 荒川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Socionext Inc
Original Assignee
Socionext Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Socionext Inc filed Critical Socionext Inc
Priority to JP2014127195A priority Critical patent/JP6345500B2/ja
Priority to US14/724,350 priority patent/US9654698B2/en
Publication of JP2016006935A publication Critical patent/JP2016006935A/ja
Application granted granted Critical
Publication of JP6345500B2 publication Critical patent/JP6345500B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/743Bracketing, i.e. taking a series of images with varying exposure conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Description

本発明は、デジタルカメラの露出制御方法およびデジタルカメラに関する。
デジタルカメラは、例えば、露出を自動的に決定する自動露出(以下、AE(Auto Exposure)とも称する)の機能を有している(例えば、特許文献1参照)。この種のデジタルカメラは、例えば、撮像素子で撮像された画像に基づいて、露出を設定する。このため、撮像素子で撮像された最初の数枚(例えば、1枚目から3枚目まで)の画像では、露出が適切に設定されていない場合がある。例えば、プレビュー画像等を表示するディスプレイを有するデジタルカメラでは、最初の数枚の画像は、AE計算に使用され、ディスプレイには表示されない。そして、デジタルカメラは、適切な露出で撮像された画像からディスプレイ等に表示する。
このため、例えば、デジタルカメラの起動開始の操作をユーザが実行してから画像がディスプレイに表示されるまでの時間を短くする方法が提案されている。例えば、デジタルカメラは、起動時に撮像素子の駆動方式を間引きの高速モードに設定し、フレームレートを高くした状態でAE計算を実行する。例えば、デジタルカメラは、各フレームでAE計算を実行し、適切な露出値になるまでフレームの露出値を徐々に変化させる。そして、デジタルカメラは、AE計算により露出を適切に設定した後に、撮像素子の駆動方式を通常の全画素モードに変更し、全画素モードで撮像された1枚目の画像をディスプレイに表示する。
また、別の方法では、例えば、デジタルカメラは、起動時に高速モードを実行せずに、1ショットAEを実行する。1ショットAEでは、撮像素子で撮像された画像の明るさが飽和していない場合、1ショットで適正な露出に設定される。
また、起動時の一時的な露出値を撮像素子で撮像された画像を用いずに決定するデジタルカメラが提案されている(例えば、特許文献2参照)。この種のデジタルカメラは、例えば、電源オフ時から固体撮像素子に蓄積された電荷から得られる起電力に基づいて、起動時の一時的な露出値を決定する。
特開2001−86396号公報 特開2008−42248号公報
撮像素子の駆動方式を起動時に高速モードに設定するデジタルカメラは、画像をディスプレイに表示する前に、撮像素子の駆動方式を高速モードから通常の全画素モードに切り替える。このため、例えば、適切な露出で画像が撮像されるまでに、撮像素子の駆動方式の切り替えによる処理遅延が発生する。また、1ショットAEを実行するデジタルカメラは、撮像素子で撮像した画像の明るさが飽和している場合、画像の明るさが飽和していない状態になるまで1ショットAEを繰り返して実行する。この場合、適切な露出で画像が撮像されるまでに、1ショットAEの繰り返しによる処理遅延が発生する。
1つの側面では、本件開示のデジタルカメラの露出制御方法およびデジタルカメラは、デジタルカメラの起動から適切な露出を設定するまでの時間を短縮することを目的とする。
一観点によれば、デジタルカメラの露出制御方法では、撮像素子で撮像された画像データの明るさを算出し、画像データの明るさが撮像素子の露出値の調整に有効な範囲内か否かを判定し、画像データの明るさが有効な範囲内に収まるまで、有効な範囲の下限値に対応する第1露出値と有効な範囲の上限値に対応する第2露出値との差に基づいて、露出値をフレーム毎に変化させ、画像データの明るさが有効な範囲内に収まったときの露出値と画像データの明るさとに基づいて、露出値を調整する。
別の観点によれば、デジタルカメラは、画像を撮像する撮像素子と、撮像素子で撮像された画像データの明るさを算出する検出部と、画像データの明るさが撮像素子の露出値の調整に有効な範囲内か否かを判定する判定部と、画像データの明るさが有効な範囲内に収まるまで、有効な範囲の下限値に対応する第1露出値と有効な範囲の上限値に対応する第2露出値との差に基づいて、露出値をフレーム毎に変化させる設定部と、画像データの明るさが有効な範囲内に収まったときの露出値と画像データの明るさとに基づいて、露出値を調整する算出部とを有している。
本件開示のデジタルカメラの露出制御方法およびデジタルカメラは、デジタルカメラの起動から適切な露出を設定するまでの時間を短縮できる。
デジタルカメラの露出制御方法およびデジタルカメラの一実施形態を示す図である。 図1に示したデジタルカメラの動作の一例を示す図である。 図2に示した動作による露出設定の一例を示す図である。 露出設定の比較例を示す図である。 図1に示したデジタルカメラの動作の別の例を示す図である。 検波対象画像の一例を示す図である。 図5に示した動作による露出設定の一例を示す図である。 図5に示した動作による露出設定の別の例を示す図である。 図5に示した動作による露出設定の別の例を示す図である。 露出設定の比較例を示す図である。 図1に示したデジタルカメラの動作の別の例を示す図である。 図11に示した動作による露出設定の一例を示す図である。 図1に示したデジタルカメラのハードウエア構成の一例を示す図である。
以下、実施形態を図面を用いて説明する。
図1は、デジタルカメラの露出制御方法およびデジタルカメラの一実施形態を示している。この実施形態のデジタルカメラCAMは、露出(露光)を自動的に決定する自動露出(以下、AE(Auto Exposure)とも称する)の機能を有している。例えば、デジタルカメラCAMは、撮像素子ISENで撮像された画像の明るさ(輝度)に基づいて、露出を調整する。
デジタルカメラCAMは、例えば、レンズ部LEN、撮像素子ISEN、信号処理部SP、画像処理部ISP、演算部CALおよび設定部SETを有している。レンズ部LENは、フォーカスレンズ、ズームレンズ等のレンズを有し、入射光を撮像素子ISENの受光面に結像する。
撮像素子ISENは、画像を撮像する撮像素子の一例である。例えば、撮像素子ISENは、CCD(Charge Coupled Device)型やCMOS(Complementary Metal Oxide Semiconductor)型のイメージセンサである。以下、撮像素子ISENをセンサISENとも称する。例えば、センサISENは、レンズ部LENを介して受けた光の量に応じて電荷を生成する。
すなわち、センサISENは、被写体の像(レンズ部LENを介して受けた光)を電気信号に変換し、被写体の像の画像データを生成する。このように、センサISENは、画像を撮像する。なお、センサISENは、光量に基づいて生成した電荷の量が最大蓄積量を超えた場合、飽和する。この場合、センサISENから出力される画像データも飽和する。センサISENから出力される画像データは、アナログ信号である。
信号処理部SPは、撮像素子ISENから画像データを取り込む取得部の一例である。例えば、信号処理部SPは、センサISENで撮像された画像に対応する画像データ(アナログ信号)を取り込む。そして、信号処理部SPは、センサISENから取得したアナログ信号の画像データに対して、ゲイン調整、A/D変換(アナログ/デジタル変換)等の信号処理を実行する。これにより、デジタル信号の画像データが生成される。
画像処理部ISPは、デジタル信号の画像データを信号処理部SPから受ける。そして、画像処理部ISPは、画像データの変換(例えば、画像データの符号化)、AE制御のための検波等の画像処理を実行する。例えば、画像処理部ISPは、検出部DETおよび判定部JUDを有している。ここで、例えば、デジタルカメラCAMがディスプレイを有する場合、画像処理部ISPで処理された画像データに対応する画像がディスプレイに表示される。
検出部DETは、撮像素子ISENで撮像された画像データの明るさを算出する検出部の一例である。例えば、検出部DETは、信号処理部SPから受けた画像データに基づいて、画像の明るさを算出する。すなわち、検出部DETは、センサISENで撮像された画像に対応する画像データに基づいて、AE制御のための検波を実行する。そして、検出部DETは、例えば、検波結果(画像の明るさを示すデータ)を判定部JUDおよび演算部CALに出力する。
判定部JUDは、画像データの明るさが撮像素子ISENの露出値の調整に有効な範囲内か否かを判定する判定部の一例である。例えば、判定部JUDは、検出部DETで算出された画像の明るさが露出調整に有効な範囲内か否かを判定する。そして、判定部JUDは、判定結果を演算部CALおよび設定部SETに出力する。
ここで、露出調整に有効な範囲は、例えば、センサISENの入射光の明るさと画像データから算出される画像の明るさとが対応している範囲である。例えば、屋外の太陽光等の明るい被写体では、センサISENから出力される画像データは、飽和(上限超え)する。この場合、画像データから算出される画像の明るさは、センサISENの入射光の明るさに対応しない。したがって、露出調整に有効な範囲の上限値は、例えば、検出部DETが受ける画像データの飽和しない範囲での最大値に対応する画像の明るさである。
また、例えば、暗い被写体では、センサISENの出力(輝度)が不足し、画像データから算出される画像の明るさ(暗さ)が、画像データの最小値から算出される画像の明るさ(以下、最低輝度とも称する)とほぼ同じになる場合がある。この場合、画像データから算出される画像の明るさと最低輝度とを正確に識別することは困難である。したがって、露出調整に有効な範囲の下限値は、例えば、最低輝度に対して識別可能な明るさが算出される画像データの最小値に対応する画像の明るさである。
演算部CALは、画像データの明るさが有効な範囲内に収まったときの露出値と画像データとに基づいて露出値を調整する算出部の一例である。例えば、演算部CALは、目標の明るさに対応する露出値を画像の明るさに基づいて算出する。以下、露出値をEV値(Exposure Value)とも称する。EV値は、例えば、レンズの絞り値と露光時間(シャッター速度)とに基づいて算出される露出量(光の量)を示す数値である。例えば、EV値が1増加する度に、センサISENが受ける光量は、半分になる。
例えば、演算部CALは、画像の明るさが有効な範囲内に収まっていることを示す判定結果を判定部JUDから受けたとき、検出部DETで算出された画像の明るさに基づいて、目標の明るさに対応するEV値を算出する。そして、演算部CALは、算出したEV値を設定部SETに出力する。演算部CALで算出したEV値がセンサISENに設定されることにより、画像の明るさを目標の明るさにする露出で画像が撮像される。以下、画像の明るさを目標の明るさにする露出を、適正露出あるいは適切な露出とも称する。
ここで、例えば、目標の明るさがセンサISENの出力範囲の18%で、センサISENの出力範囲が0から1023の場合、目標の明るさは、約184(=1023×0.18)である。この場合、デジタルカメラCAMは、画像の明るさが約184になるように、EV値を調整する。例えば、演算部CALは、画像を撮像したときのEV値と画像の明るさ(検出部DETで算出された画像の明るさ)とに基づいて、画像の明るさを約184にするEV値を算出する。
設定部SETは、画像データの明るさが有効な範囲内に収まるまで、所定の調整幅に基づいて、露出値をフレーム毎に変化させる設定部の一例である。所定の調整幅は、例えば、有効な範囲の下限値に対応する露出値と有効な範囲の上限値に対応する露出値との差に基づいて予め決定される。例えば、調整幅は、log(上限値/下限値)以下の値に予め決定される。EV値を調整幅単位で単純増加または単純減少させることにより、有効な範囲内に収まる画像の明るさのEV値を探索する場合、調整幅がlog(上限値/下限値)以下の範囲では、調整幅(ステップ幅)を大きくすることにより、探索効率を向上できる。
なお、デジタルカメラCAMは、所定の調整幅を、書き換え可能なレジスタ、メモリ等の記憶部に記憶してもよいし、書き換え不可の状態で記憶してもよい。また、所定の調整幅は、演算部CAL等により算出されてもよい。
設定部SETは、例えば、画像の明るさが有効な範囲内に収まっていることを示す判定結果を判定部JUDから受けるまでの期間では、前のフレームに設定したEV値に所定の調整幅を加算または減算したEV値を、センサISENにフレーム毎に設定する。なお、EV値のステップ幅は、所定の調整幅の1倍とn倍(nは、2以上の整数)とが混在してもよい。
例えば、設定部SETは、EV値の設定可能な最小値以上で7以下の初期値を1番目のフレームのEV値に設定する。そして、設定部SETは、調整幅の2倍の値を1番目のフレームのEV値に加算した値を、2番目のフレームのEV値に設定し、2番目のフレームのEV値から調整幅を減算した値を3番目のフレームのEV値に設定してもよい。なお、EV値の初期値は、EV値の設定可能な最小値以上で7以下の値に限定されない。
また、設定部SETは、画像の明るさが有効な範囲内に収まっていることを示す判定結果を判定部JUDから受けたときには、演算部CALで算出されたEV値をセンサISENに設定する。これにより、適切な露出(画像の明るさを目標の明るさにする露出)で画像が撮像される。
なお、デジタルカメラCAMの構成は、この例に限定されない。例えば、判定部JUDは、画像処理部ISPの外部に設けられてもよい。また、信号処理部SPは、例えば、画像の明るさが有効な範囲内に収まるまでの期間と目標の明るさに対応するEV値を算出した後の期間とで、画像データの取り込みライン数を変更してもよい。例えば、信号処理部SPは、画像の明るさが有効な範囲内に収まるまでの期間では、画像の明るさを算出する際に参照される画像データとして、画像の中央の一部のラインに対応する画像データのみを取り込んでもよい。この場合、信号処理部SPは、例えば、目標の明るさに対応するEV値を算出した後の期間では、画像の全体に対応する画像データを取り込む。
図2は、図1に示したデジタルカメラCAMの動作の一例を示している。図2の動作は、ハードウエアのみで実現されてもよく、ハードウエアをソフトウエアにより制御することにより実現されてもよい。なお、図2の動作では、センサISENで撮像された画像の明るさは、2フレーム後に検出される。また、図2の動作では、調整幅は、4である。
ステップS100は、例えば、デジタルカメラCAMの起動に応答して実行される。なお、ステップS100は、デジタルカメラCAMの動作モードが撮影モード(画像を撮像するためのモード)に切り替わったことを検出したときに、実行されてもよい。すなわち、図2の動作は、デジタルカメラCAMが起動したときに実行されてもよいし、デジタルカメラCAMの動作モードが撮影モードに切り替わったときに実行されてもよい。
ステップS100では、設定部SETは、露出値CEVに任意の初期値IEVを設定する。そして、設定部SETは、露出値CEV(=初期値IEV)をセンサISENに設定する。
ステップS110では、デジタルカメラCAMは、次フレーム(1番目のフレーム)の露光開始のタイミングまで待機する。
ステップS120では、デジタルカメラCAMは、撮像を開始する。これにより、1番目のフレームの画像が撮像される。また、デジタルカメラCAMは、フレーム番号に対応するフラグfを1に設定する。なお、ステップS120以降も、所定のフレームレートで撮像は継続される。
ステップS130では、デジタルカメラCAMは、フラグfが2以下か否かを判定する。なお、例えば、センサISENで撮像された画像の明るさがmフレーム後(mは、正の整数)に検出される場合、デジタルカメラCAMは、フラグfがm以下か否かを判定する。
フラグfが2以下のとき(ステップS130のYes)、デジタルカメラCAMの動作は、ステップS140に移る。すなわち、1番目あるいは2番目のフレームを撮像しているフレーム期間では、デジタルカメラCAMの動作は、ステップS140に移る。一方、フラグfが2より大きいとき(ステップS130のNo)、デジタルカメラCAMの動作は、ステップS150に移る。すなわち、3番目以降のフレームを撮像しているフレーム期間では、デジタルカメラCAMの動作は、ステップS150に移る。
ステップS140では、設定部SETは、露出値CEVを調整幅(=4)分だけ増加させる。例えば、設定部SETは、現在の露出値CEVに4(調整幅)を加算する。なお、現在の露出値CEVに4(調整幅)を加算した露出値CEVは、次フレームの撮像に反映される。なお、ステップS140は、演算部CALにより実行されてもよい。
ステップS150では、検出部DETは、(f−2)番目のフレームのAE検波を実行する。例えば、検出部DETは、(f−2)番目のフレームの画像データに基づいて、(f−2)番目のフレームの画像の明るさを算出する。これにより、例えば、f番目のフレームを露光している間に、(f−2)番目のフレームの画像の明るさが算出される。
ステップS152では、判定部JUDは、ステップS150で算出された画像の明るさが有効な範囲外か否かを判定する。画像の明るさが有効な範囲外のとき(ステップS152のYes)、デジタルカメラCAMの動作は、ステップS154に移る。例えば、センサISENの出力レベルが飽和しているときやセンサISENの出力レベルが不足しているとき、デジタルカメラCAMの動作は、ステップS154に移る。
一方、画像の明るさが有効な範囲内のとき(ステップS152のNo)、デジタルカメラCAMの動作は、ステップS200に移る。すなわち、有効な範囲内に収まる画像の明るさのEV値が探索されたとき、デジタルカメラCAMの動作は、ステップS200に移る。
ステップS154では、判定部JUDは、ステップS150で算出された画像の明るさが有効な範囲の下限値未満か否かを判定する。画像の明るさが下限値未満のとき(ステップS154のYes)、デジタルカメラCAMの動作は、ステップS156に移る。例えば、センサISENの出力レベルが不足しているとき、デジタルカメラCAMの動作は、ステップS156に移る。
一方、画像の明るさが下限値以上のとき(ステップS154のNo)、デジタルカメラCAMの動作は、ステップS140に移る。例えば、センサISENの出力レベルが飽和しているとき、デジタルカメラCAMの動作は、ステップS140に移る。
ステップS156では、判定部JUDは、フラグfが3か否かを判定する。なお、例えば、センサISENで撮像された画像の明るさがmフレーム後に検出される場合、判定部JUDは、フラグfがmか否かを判定する。
フラグfが3のとき(ステップS156のYes)、デジタルカメラCAMの動作は、ステップS160に移る。すなわち、画像の明るさが下限値未満のフレームが1番目のフレームのとき、デジタルカメラCAMの動作は、ステップS160に移る。一方、フラグfが3でないとき(ステップS156のNo)、デジタルカメラCAMの動作は、ステップS158に移る。すなわち、画像の明るさが下限値未満のフレームが2番目以降のフレームのとき、デジタルカメラCAMの動作は、ステップS158に移る。
ステップS158では、設定部SETは、露出値CEVを調整幅(=4)分だけ減少させる。例えば、設定部SETは、現在の露出値CEVから4(調整幅)を減算する。なお、現在の露出値CEVから4(調整幅)を減算した露出値CEVは、次フレームの撮像に反映される。なお、ステップS158は、演算部CALにより実行されてもよい。
ステップS160では、設定部SETは、初期値IEVから4(調整幅)を減算した値に、露出値CEVを変更する。なお、初期値IEVから4(調整幅)を減算した値に変更した露出値CEVは、次フレームの撮像に反映される。なお、ステップS160は、演算部CALにより実行されてもよい。
ステップS170では、設定部SETは、ステップS140、S158、S160のいずれかで更新した露出値CEVを、センサISENに設定する。例えば、フラグfが2以下の場合やフラグfが3以上で画像の明るさが飽和している場合、設定部SETは、ステップS140で更新した露出値CEVを、センサISENに設定する。また、フラグfが4以上で、画像の明るさが下限値未満の場合、設定部SETは、ステップS158で更新した露出値CEVを、センサISENに設定する。
あるいは、フラグfが3で、画像の明るさが下限値未満の場合、設定部SETは、ステップS160で更新した露出値CEVを、センサISENに設定する。これにより、(f+1)番目のフレームは、ステップS140、S158、S160のいずれかで更新された露出値CEVで撮像される。
ステップS180では、デジタルカメラCAMは、次フレーム((f+1)番目のフレーム)の露光開始のタイミングまで待機する。例えば、デジタルカメラCAMは、f番目のフレームの露光が終了するまで待機する。
ステップS190では、デジタルカメラCAMは、フラグfをカウントアップする。例えば、デジタルカメラCAMは、現状のフラグfに1を加算する。ステップS190が実行された後、デジタルカメラCAMの動作は、ステップS130に戻る。このように、設定部SETは、画像の明るさが有効な範囲内に収まるまで、所定の調整幅(図2の例では、4)に基づいて、露出値CEVをフレーム毎に変化させる。一方、画像の明るさが有効な範囲内に収まったときには(ステップS152のNo)、デジタルカメラCAMは、ステップS200を実行する。
ステップS200では、演算部CALは、(f−2)番目のフレームの画像の明るさと露出値とに基づいて、適切な露出値AEVを算出する。例えば、適切な露出値AEVは、(f−2)番目のフレームの画像の明るさと露出値とをそれぞれBf−2、CEVf−2とし、目標の明るさをBtgとした場合、式(1)で表される。
AEV=CEVf−2+log(Bf−2/Btg) ・・・(1)
ステップS210では、設定部SETは、ステップS200で算出された露出値AEVを、センサISENに設定する。例えば、設定部SETは、デジタルカメラCAMに設定可能な露出値のうち、ステップS200で算出された露出値AEVに最も近い露出値を、センサISENに設定する。これにより、(f+1)番目のフレームは、適切な露出値(例えば、ステップS200で算出された露出値AEV)で撮像される。
ステップS220では、デジタルカメラCAMは、(f+1)番目のフレームの後続2フレーム待った後、通常の処理に遷移する。すなわち、(f+2)番目のフレームおよび(f+3)番目のフレームは、ステップS210で設定された露出値AEVで撮像される。
なお、デジタルカメラCAMの動作は、この例に限定されない。例えば、デジタルカメラCAMは、ステップS140の代わりに、図11に示すステップS142、S144を実行してもよい。あるいは、デジタルカメラCAMは、例えば、ステップS154の判定で画像の明るさが下限値以上であると判定したとき(ステップS154のNo)、フラグfが、1、2、3、4以上かを判定してもよい。この場合、例えば、デジタルカメラCAMは、フラグfが1または3のとき、図11のステップS144(CEV=CEV+8)を実行し、フラグfが2のとき、ステップS158を実行し、フラグfが4以上のとき、ステップS140を実行してもよい。
また、例えば、設定部SETは、ステップS140で、露出値CEVを調整幅分だけ減少させ、ステップS158で、露出値CEVを調整幅分だけ増加させ、ステップS160で、初期値IEVに調整幅を加算した値に、露出値CEVを変更してもよい。この場合、例えば、ステップS154において、判定部JUDは、画像の明るさが有効な範囲の上限値を超えているか否かを判定する。そして、デジタルカメラCAMは、画像の明るさが有効な範囲の上限値を超えているときには、ステップS156を実行し、画像の明るさが有効な範囲の上限値以下のときには、露出値CEVを調整幅分だけ減少させる(CEV=CEV−4)。
図3は、図2に示した動作による露出設定の一例を示している。なお、図3は、EV値の初期値がセンサISENの出力が飽和する露出値より小さいときの露出設定の一例を示している。例えば、図3では、EV値の初期値は7である。図3の例では、センサISENから出力されるアナログ信号の画像データは、10ビットのデジタルデータに変換される。図のセンサ出力は、センサISENの出力を、画像の明るさに換算して示している。例えば、図3では、センサISENの出力を、A/D変換後のデジタルデータで示している。図の検波結果は、検出部DETにより算出された画像の明るさを示している。
図3の例では、有効な範囲の上限値は、1000で、有効な範囲の下限値は、45である。したがって、調整幅は、4.474(≒log(1000/45))以下の4に予め決定されている。また、目標の明るさは、184(≒1023×0.18)である。したがって、デジタルカメラCAMは、画像の明るさが約184になるように、露出値を制御する。すなわち、露出値が適正露出に設定された場合、画像の明るさは、約184である。
また、図3の例では、フレームレートは、30fps(フレーム/秒)である。この場合、1フレーム期間は、約33.3ミリ秒である。なお、図の各期間T(T1−T10)は、1フレーム期間に対応している。フレームF(F1−F10)の符号の末尾の数字は、フレーム番号に対応している。例えば、フレームF1は、1番目(先頭)のフレームFである。
EV値の設定可能な下限値(最小値)は、例えば、5である。また、EV値の初期値は、7である。例えば、EV値が7に設定される撮影条件は、室内での撮影を想定している。すなわち、EV値をフレームF毎に変化させる際のEV値の初期値は、EV値の設定可能な最小値(図3では、5)以上で7以下の値に設定される。これにより、室内での撮影が実行される場合、有効な範囲内に収まる画像の明るさに対応するEV値の探索を適切なEV値に近い値から実行できる。この場合、有効な範囲内に収まる画像の明るさに対応するEV値の探索時間を短縮でき、デジタルカメラCAMを起動してから適切な露出を設定するまでの時間を短縮できる。すなわち、室内での撮影が頻繁に実行される場合、デジタルカメラCAMを起動してから適切な露出を設定するまでの時間を効率よく短縮できる。
なお、EV値が11に設定される撮影条件は、曇天での撮影を想定している。また、EV値が15に設定される撮影条件は、快晴または明るい室内での撮影(以下、快晴での撮影とも称する)を想定している。そして、EV値が19に設定される撮影条件は、快晴の雪景色等の極端に明るい状況での撮影(以下、快晴雪景色での撮影とも称する)を想定している。例えば、図3では、快晴での撮影に近い撮影条件で、撮影が実行される。
先ず、期間T1では、EV値が初期値の7に設定され、先頭のフレームF1が露光される。したがって、フレームF1の画像データがセンサISENから出力される。EV値が7に設定されたセンサISENの出力は、飽和(上限値の1000超え)している。なお、期間T1では、フレームF1の画像データの画像処理部ISPへの転送は、完了していない。このため、次の期間T2で設定されるEV値は、現状のEV値(=7)に調整幅の4を加算した値である。
期間T2では、EV値が11(=7+4)に設定され、2番目のフレームF2が露光される。したがって、フレームF2の画像データがセンサISENから出力される。EV値が11に設定されたセンサISENの出力は、飽和(上限値の1000超え)している。また、期間T2では、フレームF1の画像データが画像処理部ISPに転送される。なお、期間T2では、フレームF1の検波は終了していない。このため、次の期間T3で設定されるEV値は、現状のEV値(=11)に調整幅の4を加算した値である。
期間T3では、EV値が15(=11+4)に設定され、3番目のフレームF3が露光される。したがって、フレームF3の画像データがセンサISENから出力される。EV値が15に設定されたセンサISENの出力は、約368であり、上限値の1000以下で下限値の45以上である。また、期間T3では、フレームF2の画像データが画像処理部ISPに転送される。さらに、期間T3では、フレームF1の画像の明るさが算出される。フレームF1の画像の明るさは、飽和(上限値の1000超え)している。このため、次の期間T4で設定されるEV値は、現状のEV値(=15)に調整幅の4を加算した値である。
期間T4では、EV値が19(=15+4)に設定され、4番目のフレームF4が露光される。したがって、フレームF4の画像データがセンサISENから出力される。EV値が19に設定されたセンサISENの出力は、下限値の45未満である。また、期間T4では、フレームF3の画像データが画像処理部ISPに転送される。さらに、期間T4では、フレームF2の画像の明るさが算出される。フレームF2の画像の明るさは、飽和(上限値の1000超え)している。このため、次の期間T5で設定されるEV値は、現状のEV値(=19)に調整幅の4を加算した値である。
期間T5では、EV値が23(=19+4)に設定され、5番目のフレームF5が露光される。したがって、フレームF5の画像データがセンサISENから出力される。EV値が23に設定されたセンサISENの出力は、下限値の45未満である。また、期間T5では、フレームF4の画像データが画像処理部ISPに転送される。
さらに、期間T5では、フレームF3の画像の明るさが算出される。フレームF3の画像の明るさは、約368(センサISENの期間T3の出力)であり、上限値の1000以下で下限値の45以上である。このため、次の期間T6で設定されるEV値が、フレームF3を露光したときのEV値(=15)とフレームF3の画像の明るさ(約368)と目標の明るさ(約184)とに基づいて算出される。すなわち、目標の明るさに対応するEV値(適切なEV値)が算出される。
期間T6では、EV値が16(=15+log(368/184))に設定され、6番目のフレームF6が露光される。したがって、フレームF6の画像データがセンサISENから出力される。このように、期間T6では、フレームF3の検波結果に基づいて算出された適切なEV値がセンサISENに設定される。
EV値が16に設定されたセンサISENの出力は、約184であり、目標の明るさ(適正露出)である。また、期間T6では、フレームF5の画像データが画像処理部ISPに転送される。なお、期間T6の検波結果は、適正なEV値に設定される前のフレームF4の画像の明るさであるため、次の期間T7のEV値の算出には使用されない。このため、次の期間T7で設定されるEV値は、現状のEV値(=16)に維持される。
期間T7では、EV値が16に維持され、7番目のフレームF7が露光される。したがって、フレームF7の画像データがセンサISENから出力される。EV値が16に設定されたセンサISENの出力は、約184(目標の明るさ)である。また、期間T7では、フレームF6の画像データが画像処理部ISPに転送される。なお、期間T7の検波結果は、適正なEV値に設定される前のフレームF5の画像の明るさであるため、次の期間T8のEV値の算出には使用されない。このため、次の期間T8で設定されるEV値は、現状のEV値(=16)に維持される。
期間T8では、EV値が16に維持され、8番目のフレームF8が露光される。したがって、フレームF8の画像データがセンサISENから出力される。EV値が16に設定されたセンサISENの出力は、約184(目標の明るさ)である。また、期間T8では、フレームF7の画像データが画像処理部ISPに転送される。
さらに、期間T8では、適切なEV値で撮像されたフレームF6の画像の明るさが算出される。フレームF1の画像の明るさは、約184(目標の明るさ)である。このため、次の期間T9で設定されるEV値は、フレームF6を露光したときのEV値(=16)とフレームF6の画像の明るさ(約184)とに基づいて算出される。このように、期間T8以降は、通常の処理が実行される。また、期間T8では、フレームF6の画像データの画像処理部ISPへの転送が期間T7中に完了しているため、フレームF6の画像がディスプレイに表示される。
このように、図3の例では、デジタルカメラCAMは、期間T6以降のEV値を適切に設定できる。この場合、期間T8以降に、デジタルカメラCAMは、ディスプレイに画像を表示できる。例えば、デジタルカメラCAMが起動してから適切なEV値が設定されるまでの時間は、約166.5ミリ秒(=33.3ミリ秒×5=約5フレーム期間)である。また、例えば、デジタルカメラCAMが起動してから画像がディスプレイに表示されるまでの時間は、約233.1ミリ秒(=33.3ミリ秒×7=約7フレーム期間)である。
なお、図3の例では、EV値を調整幅単位(=4)で単純増加させることにより、有効な範囲内に収まる画像の明るさのEV値を探索する。このように、EV値を調整幅単位で単純増加または単純減少させることにより、有効な範囲内に収まる画像の明るさのEV値を探索する場合、調整幅がlog(上限値/下限値)以下の範囲では、調整幅を大きくすることにより、探索効率を向上できる。
例えば、調整幅が2の場合、期間T4に、EV値が13(=7+2+2+2)に設定される。EV値が13に設定されたセンサISENの出力は、飽和(上限値の1000超え)している。したがって、期間T5に、EV値が15(=13+2)に設定される。EV値が15に設定されたセンサISENの出力は、約368であり、有効な範囲内に収まる画像の明るさである。
なお、調整幅が4の場合は、上述したように、期間T3に、EV値が15に設定される。このように、調整幅が4の場合は、調整幅が2の場合に比べて、有効な範囲内に収まる画像の明るさのEV値を探索する時間を短縮できる。これにより、デジタルカメラCAMは、起動してから適切な露出を設定するまでの時間を短縮できる。この結果、デジタルカメラCAMは、起動してから画像をディスプレイに表示するまでの時間を短縮できる。
また、調整幅がlog(上限値/下限値)より大きい場合、有効な範囲内に収まる画像の明るさのEV値が探索されない場合がある。例えば、調整幅が6の場合、期間T1、T2、T3において、EV値は、それぞれ7、13、19に設定される。この場合、期間T1、T2でのセンサISENの出力は飽和し、期間T3でのセンサISENの出力は下限値未満である。この場合、有効な範囲内に収まる画像の明るさのEV値が探索されない。
これに対し、図3の例では、調整幅は、log(1000/45)以下の4に予め決定されている。このため、デジタルカメラCAMは、有効な範囲内に収まる画像の明るさのEV値を効率よく探索できる。
図4は、露出設定の比較例を示している。なお、図4は、EV値の初期値がセンサISENの出力が飽和する露出値より小さいときの露出設定の比較例を示している。例えば、図4では、EV値の初期値は7である。図4の符号の意味、撮影条件等は、図3と同一または同様である。図3で説明した動作と同一または同様な動作については、詳細な説明を省略する。図4の動作では、検波結果が有効な範囲内に収まるまでの期間T1−T12においても、EV値は、検波結果に基づいて算出される。したがって、図4の動作では、画像の明るさが算出されるまで、EV値は更新されない。
先ず、期間T1では、EV値が初期値の7に設定され、先頭のフレームF1が露光される。フレームF1の画像の明るさは、期間T3に算出されるため、期間T2、T3では、EV値は、7に維持される。期間T3で算出されたフレームF1の画像の明るさは、飽和(上限値の1000超え)している。このため、期間T4で設定されるEV値は、例えば、フレームF1の画像の明るさを1000として、算出される。例えば、期間T4で設定されるEV値は、フレームF1を露光したときのEV値(=7)とフレームF1の画像の明るさ(1000)と目標の明るさ(約184)とに基づいて算出される。
期間T4では、EV値は、9.4(≒7+log(1000/184))に設定される。フレームF4の画像の明るさは、期間T6に算出されるため、期間T5、T6では、EV値は、9.4に維持される。期間T6で算出されたフレームF4の画像の明るさは、飽和(上限値の1000超え)している。このため、期間T7で設定されるEV値は、例えば、フレームF1の画像の明るさを1000として、算出される。
期間T7では、EV値は、11.8(≒9.4+log(1000/184))に設定される。フレームF7の画像の明るさは、期間T9に算出されるため、期間T8、T9では、EV値は、11.8に維持される。期間T9で算出されたフレームF7の画像の明るさは、飽和(上限値の1000超え)している。このため、期間T10で設定されるEV値は、例えば、フレームF1の画像の明るさを1000として、算出される。
期間T10では、EV値は、14.2(≒11.8+log(1000/184))に設定される。フレームF10の画像の明るさは、期間T12に算出されるため、期間T11、T12では、EV値は、14.2に維持される。期間T12で算出されたフレームF10の画像の明るさは、約640であり、上限値の1000以下で下限値の45以上である。このため、期間T13で設定されるEV値が、フレームF10を露光したときのEV値(=14.2)とフレームF10の画像の明るさ(約640)と目標の明るさ(約184)とに基づいて算出される。
期間T13では、EV値が16(=14.2+log(640/184))に設定される。適切なEV値で撮像されたフレームF13の画像データは、期間T14中に画像処理部ISPに転送される。このため、期間T15では、フレームF13の画像がディスプレイに表示される。
このように、比較例では、デジタルカメラCAMは、期間T13以降のEV値を適切に設定できる。この場合、期間T15以降に、デジタルカメラCAMは、ディスプレイに画像を表示できる。例えば、デジタルカメラCAMが起動してから適切なEV値が設定されるまでの時間は、約399.6ミリ秒(=33.3ミリ秒×12=約12フレーム期間)である。また、例えば、デジタルカメラCAMが起動してから画像がディスプレイに表示されるまでの時間は、約466.2ミリ秒(=33.3ミリ秒×14=約14フレーム期間)である。
なお、図4の比較例において、検波結果が飽和しているときのEV値の変更量を図3と同様に4として、次の期間TのEV値を算出した場合、期間T1、T4、T7に設定されるEV値は、それぞれ7、11(=7+4)、15(=11+4)である。この場合、例えば、デジタルカメラCAMが起動してから適切なEV値が設定されるまでの時間は、約299.7ミリ秒(=33.3ミリ秒×9=約9フレーム期間)である。
これに対し、図3に示した動作では、デジタルカメラCAMが起動してから適切なEV値が設定されるまでの時間は、約166.5ミリ秒(=33.3ミリ秒×5=約5フレーム期間)である。したがって、図3に示した動作は、デジタルカメラCAMが起動してから適切なEV値が設定されるまでの時間を、図4に示した動作に比べて、短縮できる。この結果、図3に示した動作は、例えば、デジタルカメラCAMが起動してから画像がディスプレイに表示されるまでの時間を、図4に示した動作に比べて、短縮できる。
以上、図1から図3に示した実施形態のデジタルカメラの露出制御方法およびデジタルカメラでは、設定部SETは、撮像素子ISENで撮像された画像の明るさが有効な範囲内に収まるまで、所定の調整幅に基づいて、露出値をフレームF毎に変化させる。そして、演算部CALは、画像の明るさが有効な範囲内に収まったときには、目標の明るさに対応する露出値を画像の明るさに基づいて算出する。
なお、所定の調整幅は、例えば、有効な範囲の下限値に対応する露出値と有効な範囲の上限値に対応する露出値との差に基づいて予め決定される。例えば、調整幅は、EV値を変更する際の制御が複雑にならないステップ幅のうち、log(上限値/下限値)以下の最大値に決定される。これにより、この実施形態では、有効な範囲内に収まる画像の明るさのEV値を効率よく探索できる。したがって、この実施形態では、デジタルカメラCAMの起動から適切な露出を設定するまでの時間を短縮できる。この結果、この実施形態では、デジタルカメラCAMの起動から画像をディスプレイに表示するまでの時間を短縮できる。
図5は、図1に示したデジタルカメラCAMの動作の別の例を示している。すなわち、図5は、デジタルカメラの露出制御方法の一態様を示している。図5の動作では、ステップS102、S212が図2に示した動作に追加されている。例えば、ステップS102は、ステップS100の後でステップS110の前に実行され、ステップS212は、ステップS210の後でステップS220の前に実行される。図5のその他の動作は、図2の動作と同一または同様である。図2の動作と同一または同様な動作については、詳細な説明を省略する。例えば、図5の動作は、デジタルカメラCAMが起動したときに実行されてもよいし、デジタルカメラCAMの動作モードが撮影モードに切り替わったときに実行されてもよい。なお、図5の動作は、ハードウエアのみで実現されてもよく、ハードウエアをソフトウエアにより制御することにより実現されてもよい。
ステップS100は、図2に示したステップS100と同一または同様である。例えば、設定部SETは、露出値CEVに任意の初期値IEVを設定する。そして、設定部SETは、露出値CEV(=初期値IEV)をセンサISENに設定する。
ステップS102では、デジタルカメラCAMは、例えば、画像データの取り込みライン数を、適切なEV値で撮像した画像データを取り込む際のライン数の1/8に設定する。例えば、デジタルカメラCAMは、画像データの取り込み対象のラインを、センサISENで撮像された画像の中央の一部(全ライン数の1/8)のラインに設定する。これにより、例えば、信号処理部SPは、センサISENで撮像された画像の中央の一部(全ライン数の1/8)のラインに対応する画像データを、フレームF毎に取り込む。
画像データの取り込みライン数が少なくなるため、画像データの取り込み時間が短縮する。この結果、図5の動作では、フレームレートを高くできる。例えば、デジタルカメラCAMは、適切なEV値が設定された後のフレームレートが30fpsの場合、全ライン数の1/8のラインのみを取り込むことにより、フレームレートを240fpsにできる。
なお、画像データの取り込みライン数は、全ライン数の1/8に限定されない。画像データの取り込みライン数が全ライン数の1/kの場合、フレームレートは、全ライン数の画像データを取り込む通常動作のときのフレームレートのk倍になる。
ステップS110−S210は、図2に示したステップS110−S210と同一または同様である。例えば、デジタルカメラCAMは、撮像素子ISENで撮像された画像の明るさが有効な範囲内に収まるまで、所定の調整幅(図5の例では、4)に基づいて、露出値CEVをフレームF毎に変化させる。そして、デジタルカメラCAMは、画像の明るさが有効な範囲内に収まったときには、目標の明るさに対応する露出値AEVを画像の明るさに基づいて算出し、算出した露出値AEVをセンサISENに設定する。
なお、画像の明るさが有効な範囲内に収まるまでの期間では、信号処理部SPは、画像の中央の一部のライン(ステップS102で設定されたライン)に対応する画像データを、フレームF毎に取り込む。そして、目標の明るさに対応する露出値AEVを算出した後の期間では、信号処理部SPは、例えば、画像の全体(ステップS212で設定される範囲)に対応する画像データを取り込む。
ステップS212では、デジタルカメラCAMは、例えば、画像データの取り込みライン数を全ライン数(フルサイズ)に設定する。これにより、例えば、目標の明るさに対応する露出値AEVを算出した後の期間では、信号処理部SPは、センサISENで撮像された画像の全ラインに対応する画像データを、フレームF毎に取り込む。
なお、デジタルカメラCAMは、画像の明るさが有効な範囲内に収まるまでの期間と目標の明るさに対応する露出値AEVを算出した後の期間とで、センサISENの駆動方式を切り替えずに、画像を撮像する。例えば、デジタルカメラCAMは、画像の明るさが有効な範囲内に収まるまでの期間においても、画素を間引かずに撮像する全画素モードでセンサISENを駆動する。
このため、図5の動作では、センサISENの駆動方式の切り替え(例えば、画素を間引いて高速化する高速モードから通常の全画素モードへの切り替え)による処理遅延が発生することを抑制しつつ、フレームレートを切り替えることができる。ステップS220は、図2に示したステップS220と同一または同様である。なお、デジタルカメラCAMの動作は、この例に限定されない。
図6は、検波対象画像の一例を示している。検波対象画像IMGaeは、例えば、フルサイズの画像IMGfullの中央の数ラインの部分(図6の破線で囲んだ部分)である。例えば、デジタルカメラCAMは、画像の明るさが有効な範囲内に収まるまでの期間と目標の明るさに対応する露出値を算出した後の期間とで、センサISENの駆動方式を切り替えずに、画像を撮像する。このため、例えば、画像の明るさが有効な範囲内に収まるまでの期間においても、フルサイズの画像IMGfullが撮像される。そして、画像の明るさが有効な範囲内に収まるまでの期間では、信号処理部SPは、例えば、画像の中央の一部のライン(図6の破線で囲んだ部分)の画像データを、検波対象画像IMGaeの画像データとして取り込む。これにより、デジタルカメラCAMは、画像データの取り込み時間を短縮できる。
図7は、図5に示した動作による露出設定の一例を示している。なお、図7は、EV値の初期値がセンサISENの出力が飽和する露出値より小さいときの露出設定の一例を示している。例えば、図7では、EV値の初期値は7である。図7の符号の意味、撮影条件等は、図3と同一または同様である。図3で説明した動作と同一または同様な動作については、詳細な説明を省略する。
図7の動作では、検波結果が有効な範囲内に収まるまでの期間T1−T5では、例えば、信号処理部SPは、センサISENで撮像された画像の中央の一部(全ライン数の1/8)のラインに対応する画像データを、フレームF毎に取り込む。このため、例えば、期間T6以降のフレームレートが30fpsの場合、期間T1−T5のフレームレートは、240fps(=30×8fps)である。したがって、期間T1−T5では、1フレーム期間は、約4.2ミリ秒である。
先ず、期間T1では、画像データの取り込みライン数が全ライン数の1/8に設定され、EV値が初期値の7に設定される。そして、先頭のフレームF1が露光され、フレームF1の画像データがセンサISENから出力される。センサISENの出力は、飽和(上限値の1000超え)している。例えば、信号処理部SPは、全ライン数の1/8のラインの画像データをセンサISENから取り込む。信号処理部SPにより取り込まれた画像データ(全ライン数の1/8のラインの画像データ)は、例えば、次の期間T2中に画像処理部ISPに転送される。したがって、デジタルカメラCAMは、240fps(=30×8fps)のフレームレートで動作する。
期間T2では、EV値が11(=7+4)に設定され、2番目のフレームF2が露光される。したがって、フレームF2の画像データ(全ライン数の1/8のラインの画像データ)がセンサISENから出力される。センサISENの出力は、飽和(上限値の1000超え)している。また、期間T2では、フレームF1の画像データ(全ライン数の1/8のラインの画像データ)が画像処理部ISPに転送される。
期間T3では、EV値が15(=11+4)に設定され、3番目のフレームF3が露光される。したがって、フレームF3の画像データ(全ライン数の1/8のラインの画像データ)がセンサISENから出力される。センサISENの出力は、約368であり、上限値の1000以下で下限値の45以上である。また、期間T3では、フレームF2の画像データ(全ライン数の1/8のラインの画像データ)が画像処理部ISPに転送される。さらに、期間T3では、フレームF1の画像の明るさが算出される。フレームF1の画像の明るさは、飽和(上限値の1000超え)している。
期間T4では、EV値が19(=15+4)に設定され、4番目のフレームF4が露光される。したがって、フレームF4の画像データ(全ライン数の1/8のラインの画像データ)がセンサISENから出力される。センサISENの出力は、下限値の45未満である。また、期間T4では、フレームF3の画像データ(全ライン数の1/8のラインの画像データ)が画像処理部ISPに転送される。さらに、期間T4では、フレームF2の画像の明るさが算出される。フレームF2の画像の明るさは、飽和(上限値の1000超え)している。
期間T5では、EV値が23(=19+4)に設定され、5番目のフレームF5が露光される。したがって、フレームF5の画像データ(全ライン数の1/8のラインの画像データ)がセンサISENから出力される。センサISENの出力は、下限値の45未満である。また、期間T5では、フレームF4の画像データ(全ライン数の1/8のラインの画像データ)が画像処理部ISPに転送される。
さらに、期間T5では、フレームF3の画像の明るさが算出される。フレームF3の画像の明るさは、約368であり、上限値の1000以下で下限値の45以上である。このため、次の期間T6で設定されるEV値が、フレームF3を露光したときのEV値(=15)とフレームF3の画像の明るさ(約368)と目標の明るさ(約184)とに基づいて算出される。すなわち、目標の明るさに対応するEV値(適切なEV値)が算出される。
また、目標の明るさに対応するEV値が算出されるため、次の期間T6では、画像データの取り込みライン数は、全ライン数に設定される。すなわち、デジタルカメラCAMは、期間T1−T5までは、240fpsのフレームレートで動作し、期間T6以降では、30fpsのフレームレートで動作する。
期間T6では、画像データの取り込みライン数が全ライン数に設定され、EV値が16(=15+log(368/184))に設定される。そして、6番目のフレームF6が露光される。したがって、フレームF6の画像データがセンサISENから出力される。例えば、信号処理部SPは、全ラインの画像データをセンサISENから取り込む。信号処理部SPにより取り込まれた画像データ(全ラインの画像データ)は、例えば、次の期間T7中に画像処理部ISPに転送される。なお、EV値が16に設定されたセンサISENの出力は、約184であり、目標の明るさ(適正露出)である。
このように、期間T6では、フレームF3の検波結果に基づいて算出された適切なEV値がセンサISENに設定され、フルサイズの画像データがセンサISENから出力される。すなわち、期間T6以降では、デジタルカメラCAMは、30fpsのフレームレートで動作する。図7の動作では、期間T1−T5と期間T6以降とでのフレームレートの切り替えを、センサISENの駆動方式を切り替えずに実行する。このため、図7の動作では、センサISENの駆動方式の切り替えによる処理遅延が発生することを抑制できる。
期間T7以降の動作は、図3に示した期間T7以降の動作と同一または同様である。例えば、期間T8では、フレームF6の画像がディスプレイに表示される。
このように、図7の例では、デジタルカメラCAMは、適切なEV値を設定するまで(期間T1−T5)は、通常動作時(期間T6以降)より高いフレームレート(240fps)で動作できる。このため、図7の動作では、デジタルカメラCAMの起動から適切な露出を設定するまでの時間を、図3の動作に比べて、短縮できる。この結果、図7の動作では、デジタルカメラCAMの起動から画像をディスプレイに表示するまでの時間を、図3の動作に比べて、短縮できる。
例えば、デジタルカメラCAMが起動してから適切なEV値が設定されるまでの時間は、約21ミリ秒(=4.2ミリ秒×5=約5フレーム期間)である。また、図7の例では、期間T8以降に、デジタルカメラCAMは、ディスプレイに画像を表示できる。この場合、例えば、デジタルカメラCAMが起動してから画像がディスプレイに表示されるまでの時間は、240fpsのフレームの5フレーム期間と30fpsのフレームの2フレーム期間とを加算した時間とほぼ同じである。すなわち、デジタルカメラCAMが起動してから画像がディスプレイに表示されるまでの時間は、約87.6ミリ秒(=4.2ミリ秒×5+33.3ミリ秒×2)である。
図8は、図5に示した動作による露出設定の別の例を示している。なお、図8は、EV値の初期値がセンサISENの出力が飽和する露出値以上でセンサISENの出力が不足する露出値より小さいときの露出設定の一例を示している。例えば、図8では、EV値の初期値は7である。また、図8の例では、室内での撮影に近い撮影条件で、撮影が実行される。図8の符号の意味等は、図3および図7と同一または同様である。図3および図7で説明した動作と同一または同様な動作については、詳細な説明を省略する。
図8の動作では、検波結果が有効な範囲内に収まるまでの期間T1−T3では、例えば、信号処理部SPは、センサISENで撮像された画像の中央の一部(全ライン数の1/8)のラインに対応する画像データを、フレームF毎に取り込む。このため、例えば、期間T4以降のフレームレートが30fpsの場合、期間T1−T3のフレームレートは、240fps(=30×8fps)である。
先ず、期間T1では、画像データの取り込みライン数が全ライン数の1/8に設定され、EV値が初期値の7に設定される。そして、先頭のフレームF1が露光され、フレームF1の画像データ(全ライン数の1/8のラインの画像データ)がセンサISENから出力される。EV値の初期値が適切なEV値に近いため、センサISENの出力は、約92である。すなわち、センサISENの出力は、上限値の1000以下で下限値の45以上である。
期間T2では、EV値が11(=7+4)に設定され、2番目のフレームF2が露光される。センサISENの出力は、下限値の45未満である。また、期間T2では、フレームF1の画像データ(全ライン数の1/8のラインの画像データ)が画像処理部ISPに転送される。
期間T3では、EV値が15(=11+4)に設定され、3番目のフレームF3が露光される。センサISENの出力は、下限値の45未満である。また、期間T3では、フレームF2の画像データ(全ライン数の1/8のラインの画像データ)が画像処理部ISPに転送される。さらに、期間T3では、フレームF1の画像の明るさが算出される。フレームF1の画像の明るさは、約92であり、上限値の1000以下で下限値の45以上である。
このため、次の期間T4で設定されるEV値が、フレームF1を露光したときのEV値(=7)とフレームF1の画像の明るさ(約92)と目標の明るさ(約184)とに基づいて算出される。すなわち、目標の明るさに対応するEV値(適切なEV値)が算出される。
期間T4では、画像データの取り込みライン数が全ライン数に設定され、EV値が6(=7+log(92/184))に設定される。そして、4番目のフレームF4が露光される。したがって、フレームF4の画像データ(全ラインの画像データ)がセンサISENから出力される。
このように、期間T4では、フレームF1の検波結果に基づいて算出された適切なEV値がセンサISENに設定され、フルサイズの画像データがセンサISENから出力される。すなわち、期間T4以降では、デジタルカメラCAMは、30fpsのフレームレートで動作する。期間T4以降の動作は、図3に示した期間T6以降の動作と同一または同様である。例えば、期間T6では、フレームF4の画像がディスプレイに表示される。
このように、図8の例では、デジタルカメラCAMは、適切なEV値を設定するまで(期間T1−T3)は、通常動作時(期間T4以降)より高いフレームレート(240fps)で動作できる。図8の動作では、EV値の初期値が適切なEV値に近いため、デジタルカメラCAMの起動から適切な露出を設定するまでの時間を、図7の動作に比べて、短縮できる。この結果、図8の動作では、デジタルカメラCAMの起動から画像をディスプレイに表示するまでの時間を、図7の動作に比べて、短縮できる。
例えば、デジタルカメラCAMが起動してから適切なEV値が設定されるまでの時間は、約12.6ミリ秒(=4.2ミリ秒×3)である。また、図8の例では、期間T6以降に、デジタルカメラCAMは、ディスプレイに画像を表示できる。この場合、例えば、デジタルカメラCAMが起動してから画像がディスプレイに表示されるまでの時間は、約79.2ミリ秒(=4.2ミリ秒×3+33.3ミリ秒×2)である。
図9は、図5に示した動作による露出設定の別の例を示している。なお、図9は、EV値の初期値がセンサISENの出力が不足する露出値より大きいときの露出設定の一例を示している。例えば、図9では、EV値の初期値は14である。また、図9の例では、室内の明るさと曇天の明るさとの中間の明るさで、撮影が実行される。図9の符号の意味等は、図3、図7および図8と同一または同様である。図3、図7および図8で説明した動作と同一または同様な動作については、詳細な説明を省略する。
図9の動作では、検波結果が有効な範囲内に収まるまでの期間T1−T6では、例えば、信号処理部SPは、センサISENで撮像された画像の中央の一部(全ライン数の1/8)のラインに対応する画像データを、フレームF毎に取り込む。このため、例えば、期間T7以降のフレームレートが30fpsの場合、期間T1−T6のフレームレートは、240fps(=30×8fps)である。
先ず、期間T1では、画像データの取り込みライン数が全ライン数の1/8に設定され、EV値が初期値の14に設定される。そして、先頭のフレームF1が露光され、フレームF1の画像データ(全ライン数の1/8のラインの画像データ)がセンサISENから出力される。EV値の初期値がセンサISENの出力が不足する露出値より大きいため、センサISENの出力は、下限値の45未満である。
期間T2では、EV値が18(=14+4)に設定され、2番目のフレームF2が露光される。センサISENの出力は、下限値の45未満である。また、期間T2では、フレームF1の画像データ(全ライン数の1/8のラインの画像データ)が画像処理部ISPに転送される。
期間T3では、EV値が22(=18+4)に設定され、3番目のフレームF3が露光される。センサISENの出力は、下限値の45未満である。また、期間T3では、フレームF2の画像データ(全ライン数の1/8のラインの画像データ)が画像処理部ISPに転送される。さらに、期間T3では、フレームF1の画像の明るさが算出される。フレームF1の画像の明るさは、下限値の45未満である。また、下限値未満の画像の明るさが算出されたフレームFは、1番目のフレームF1である。
このため、次の期間T4で設定されるEV値は、初期値(=14)から調整幅の4を減算した値である。このように、図9の動作では、有効な範囲から遠ざかる方向にEV値が変更されていた場合、EV値の変更方向を有効な範囲に近づく方向に切り替える。
期間T4では、EV値が10(=14−4)に設定され、4番目のフレームF4が露光される。したがって、フレームF4の画像データ(全ライン数の1/8のラインの画像データ)がセンサISENから出力される。センサISENの出力は、約92である。すなわち、センサISENの出力は、上限値の1000以下で下限値の45以上である。
また、期間T4では、フレームF3の画像データ(全ライン数の1/8のラインの画像データ)が画像処理部ISPに転送される。さらに、期間T4では、フレームF2の画像の明るさが算出される。フレームF2の画像の明るさは、下限値の45未満である。なお、下限値未満の画像の明るさが算出されたフレームF2は、1番目のフレームF1以外のフレームFである。このため、次の期間T5で設定されるEV値は、現状のEV値(=10)から調整幅の4を減算した値である。
期間T5では、EV値が6(=10−4)に設定され、5番目のフレームF5が露光される。したがって、フレームF5の画像データ(全ライン数の1/8のラインの画像データ)がセンサISENから出力される。センサISENの出力は、飽和(上限値の1000超え)している。また、期間T5では、フレームF4の画像データ(全ライン数の1/8のラインの画像データ)が画像処理部ISPに転送される。さらに、期間T5では、フレームF3の画像の明るさが算出される。フレームF3の画像の明るさは、下限値の45未満である。
期間T6では、EV値が5(設定可能な下限値)に設定され、6番目のフレームF5が露光される。したがって、フレームF6の画像データ(全ライン数の1/8のラインの画像データ)がセンサISENから出力される。センサISENの出力は、飽和(上限値の1000超え)している。また、期間T6では、フレームF5の画像データ(全ライン数の1/8のラインの画像データ)が画像処理部ISPに転送される。
さらに、期間T6では、フレームF4の画像の明るさが算出される。フレームF4の画像の明るさは、約92であり、上限値の1000以下で下限値の45以上である。このため、次の期間T7で設定されるEV値が、フレームF4を露光したときのEV値(=10)とフレームF4の画像の明るさ(約92)と目標の明るさ(約184)とに基づいて算出される。すなわち、目標の明るさに対応するEV値(適切なEV値)が算出される。
また、目標の明るさに対応するEV値が算出されるため、次の期間T7では、画像データの取り込みライン数は、全ライン数に設定される。
期間T7では、画像データの取り込みライン数が全ライン数に設定され、EV値が9(=10+log(92/184))に設定される。そして、7番目のフレームF7が露光される。したがって、フレームF7の画像データ(全ラインの画像データ)がセンサISENから出力される。
このように、期間T7では、フレームF4の検波結果に基づいて算出された適切なEV値がセンサISENに設定され、フルサイズの画像データがセンサISENから出力される。すなわち、期間T7以降では、デジタルカメラCAMは、30fpsのフレームレートで動作する。期間T7以降の動作は、図7に示した期間T6以降の動作と同一または同様である。例えば、期間T9では、フレームF7の画像がディスプレイに表示される。
このように、図9の例では、デジタルカメラCAMは、適切なEV値を設定するまで(期間T1−T6)は、通常動作時(期間T7以降)より高いフレームレート(240fps)で動作できる。このため、図9の動作では、デジタルカメラCAMの起動から適切な露出を設定するまでの時間を、図3の動作に比べて、短縮できる。この結果、図9の動作では、デジタルカメラCAMの起動から画像をディスプレイに表示するまでの時間を、図3の動作に比べて、短縮できる。
例えば、デジタルカメラCAMが起動してから適切なEV値が設定されるまでの時間は、約25.2ミリ秒(=4.2ミリ秒×6)である。また、図9の例では、期間T9以降に、デジタルカメラCAMは、ディスプレイに画像を表示できる。この場合、例えば、デジタルカメラCAMが起動してから画像がディスプレイに表示されるまでの時間は、約91.8ミリ秒(=4.2ミリ秒×6+33.3ミリ秒×2)である。
図10は、露出設定の比較例を示している。なお、図10は、EV値の初期値がセンサISENの出力が飽和する露出値より小さいときの露出設定の一例を示している。図10の撮影条件は、図7と同一または同様である。また、図10の符号の意味等は、図3、図7、図8および図9と同一または同様である。図3、図7、図8および図9で説明した動作と同一または同様な動作については、詳細な説明を省略する。図10の動作では、起動時にセンサISENの駆動方式を、画素を間引いて高速化する高速モードに設定し、フレームレートを高くした状態でAE計算を実行する。例えば、検波結果が有効な範囲内に収まるまでの期間T1−T8では、フレームレートは、240fps(=30×8fps)である。そして、期間T9以降では、フレームレートは、30fpsである。なお、センサISENの駆動方式は、期間T9中に切り替えられる。
また、図10の動作では、検波結果が有効な範囲内に収まるまでのEV値の変更方向は、増加方向のみである。このため、EV値の初期値は、5(設定可能な下限値)である。また、図10の動作では、EV値を変更する際の調整幅は、例えば、2である。
先ず、期間T1では、センサISENの駆動方式は、画素を間引いて高速化する高速モードに設定される。したがって、デジタルカメラCAMは、例えば、240fpsのフレームレートで動作する。また、期間T1では、EV値が初期値の5に設定され、先頭のフレームF1が露光される。期間T2、T3、T4、T5、T6では、EV値は、それぞれ7、9、11、13、15に設定される。なお、期間T1−T5のセンサISENの出力は、飽和(上限値の1000超え)している。期間T6のセンサISENの出力は、約368である。
期間T7では、EV値が17(=15+2)に設定され、7番目のフレームF7が露光される。センサISENの出力は、約92である。また、期間T7では、フレームF6の画像データが画像処理部ISPに転送される。さらに、期間T7では、フレームF5の画像の明るさが算出される。フレームF5の画像の明るさは、飽和(上限値の1000超え)している。
期間T8では、EV値が19(=17+2)に設定され、8番目のフレームF8が露光される。センサISENの出力は、下限値の45未満である。また、期間T8では、フレームF7の画像データが画像処理部ISPに転送される。さらに、期間T8では、フレームF6の画像の明るさが算出される。フレームF6の画像の明るさは、約368であり、上限値の1000以下で下限値の45以上である。
このため、次の期間T9で設定されるEV値が、フレームF6を露光したときのEV値(=15)とフレームF6の画像の明るさ(約368)と目標の明るさ(約184)とに基づいて算出される。すなわち、目標の明るさに対応するEV値(適切なEV値)が算出される。また、目標の明るさに対応するEV値が算出されるため、次の期間T9では、センサISENの駆動方式が全画素モードに設定される。すなわち、デジタルカメラCAMは、期間T1−T8までは、240fpsのフレームレートで動作し、期間T9以降では、30fpsのフレームレートで動作する。
期間T9では、センサISENの駆動方式は、通常の全画素モードに設定され、EV値が16(=15+log(368/184))に設定される。なお、期間T9では、駆動方式の切り替え(高速モードから全画素モードへの切り替え)が実行されるため、画像は撮像されない。すなわち、フレームF9に対応する画像は、生成されない。図10では、各期間Tの符号の末尾の数字と、フレームFの末尾の数字とを対応させているため、フレームF8の次に撮像されるフレームF(期間T10に露光されるフレームF)をフレームF10と記載している。
期間T10では、フレームF10が露光される。すなわち、EV値が16に設定されたセンサISENは、フレームF10を全画素モードで撮像する。これにより、目標の明るさ(適正露出)とほぼ同じ明るさ(約184)の画像の画像データ(全画素の画像データ)がセンサISENから出力される。適切なEV値で撮像されたフレームF10の画像データは、期間T11中に画像処理部ISPに転送される。このため、期間T12では、フレームF10の画像がディスプレイに表示される。
このように、比較例では、デジタルカメラCAMは、期間T10以降に、適切なEV値で撮像できる。この場合、期間T12以降に、デジタルカメラCAMは、ディスプレイに画像を表示できる。例えば、デジタルカメラCAMが起動してから適切なEV値で撮像可能になるまでの時間は、約66.9ミリ秒(=4.2ミリ秒×8+33.3ミリ秒)である。また、例えば、デジタルカメラCAMが起動してから画像がディスプレイに表示されるまでの時間は、約133.5ミリ秒(=4.2ミリ秒×8+33.3ミリ秒×3)である。
なお、図10の比較例において、検波結果が飽和しているときのEV値の変更量を図7と同様に4として、次の期間TのEV値を算出した場合、期間T1、T2、T3、T4に設定されるEV値は、それぞれ5、9、13、17である。この場合、例えば、デジタルカメラCAMが起動してから適切なEV値で撮像可能になるまでの時間は、約58.5ミリ秒(=4.2ミリ秒×6+33.3ミリ秒)である。
これに対し、図7に示した動作では、デジタルカメラCAMが起動してから適切なEV値で撮像可能になるまでの時間は、約21ミリ秒(=4.2ミリ秒×5)である。したがって、図7に示した動作は、デジタルカメラCAMが起動してから適切なEV値で撮像可能になるまでの時間を、図10に示した動作に比べて、短縮できる。この結果、図7に示した動作は、例えば、デジタルカメラCAMが起動してから画像がディスプレイに表示されるまでの時間を、図10に示した動作に比べて、短縮できる。
以上、図5から図9に示した実施形態のデジタルカメラの露出制御方法およびデジタルカメラにおいても、図1から図3に示した実施形態のデジタルカメラの露出制御方法およびデジタルカメラと同様の効果を得ることができる。例えば、設定部SETは、撮像素子ISENで撮像された画像の明るさが有効な範囲内に収まるまで、所定の調整幅に基づいて、露出値をフレームF毎に変化させる。そして、演算部CALは、画像の明るさが有効な範囲内に収まったときには、目標の明るさに対応する露出値を画像の明るさに基づいて算出する。
なお、所定の調整幅は、例えば、有効な範囲の下限値に対応する露出値と有効な範囲の上限値に対応する露出値との差に基づいて予め決定される。これにより、この実施形態では、有効な範囲内に収まる画像の明るさのEV値を効率よく探索できる。したがって、この実施形態では、デジタルカメラCAMの起動から適切な露出を設定するまでの時間を短縮できる。この結果、この実施形態では、デジタルカメラCAMの起動から画像をディスプレイに表示するまでの時間を短縮できる。
さらに、この実施形態では、信号処理部SPは、画像の明るさが有効な範囲内に収まるまでの期間では、画像の明るさを算出する際に参照する画像データとして、画像の中央の一部のラインに対応する画像データを取り込む。そして、信号処理部SPは、目標の明るさに対応する露出値を算出した後の期間では、画像の全体に対応する画像データを取り込む。これにより、デジタルカメラCAMは、画像の明るさが有効な範囲内に収まるまでの期間では、画像データの取り込み時間を短縮でき、フレームレートを高くできる。
なお、撮像素子ISENは、画像の明るさが有効な範囲内に収まるまでの期間と目標の明るさに対応する露出値を算出した後の期間とで、駆動方式を切り替えずに、画像を撮像する。例えば、デジタルカメラCAMは、画像の明るさが有効な範囲内に収まるまでの期間においても、画素を間引かずに撮像する全画素モードで撮像素子ISENを駆動する。
このため、この実施形態では、撮像素子ISENの駆動方式の切り替え(例えば、高速モードから通常の全画素モードへの切り替え)による処理遅延が発生することを抑制しつつ、フレームレートを切り替えることができる。したがって、この実施形態では、デジタルカメラCAMの起動から適切な露出を設定するまでの時間を、図2に示した動作に比べて、短縮できる。この結果、この実施形態では、デジタルカメラCAMの起動から画像をディスプレイに表示するまでの時間を、図2に示した動作に比べて、短縮できる。
図11は、図1に示したデジタルカメラCAMの動作の別の例を示している。すなわち、図11は、デジタルカメラの露出制御方法の一態様を示している。図11の動作では、ステップS142が図5に示した動作に追加され、図5のステップS140の代わりにステップS144が実行される。図11のその他の動作は、図5の動作と同一または同様である。図5の動作と同一または同様な動作については、詳細な説明を省略する。例えば、図11の動作は、デジタルカメラCAMが起動したときに実行されてもよいし、デジタルカメラCAMの動作モードが撮影モードに切り替わったときに実行されてもよい。なお、図11の動作は、ハードウエアのみで実現されてもよく、ハードウエアをソフトウエアにより制御することにより実現されてもよい。
ステップS142は、フラグfが2以下のとき(ステップS130のYes)、実行される。ステップS142では、デジタルカメラCAMは、フラグfを2で割った余りが1か否かを判定する。フラグfを2で割った余りが1のとき(ステップS142のYes)、デジタルカメラCAMの動作は、ステップS144に移る。
一方、フラグfを2で割った余りが1以外のとき(ステップS142のNo)、デジタルカメラCAMの動作は、ステップS158に移る。なお、ステップS158は、ステップS156の判定で、フラグfが3でないと判定されたときにも(ステップS156のNo)、実行される。
ステップS144では、設定部SETは、露出値CEVを調整幅(=4)の2倍分だけ増加させる。例えば、設定部SETは、現在の露出値CEVに8(調整幅×2)を加算する。現在の露出値CEVに8(調整幅×2)を加算した露出値CEVは、次フレームの撮像に反映される。なお、ステップS144は、演算部CALにより実行されてもよい。
ステップS158では、設定部SETは、露出値CEVを調整幅(=4)分だけ減少させる。例えば、設定部SETは、現在の露出値CEVから4(調整幅)を減算する。現在の露出値CEVから4(調整幅)を減算した露出値CEVは、次フレームの撮像に反映される。なお、ステップS158は、演算部CALにより実行されてもよい。
これにより、画像の明るさが飽和している期間では、露出値は、露出値が増加する増加方向および露出値が減少する減少方向のいずれか一方向への変化が3回以上連続しないように、フレームF毎にジグザグに変化する。
図11の動作では、例えば、室内での撮影の頻度が最も高く、快晴での撮影の頻度が曇天での撮影の頻度より高い場合、有効な範囲内に収まる画像の明るさのEV値の探索効率を向上できる。例えば、デジタルカメラCAMは、室内での撮影に対応するEV値(例えば、7)、快晴での撮影に対応するEV値(例えば、15)、曇天での撮影に対応するEV値(例えば、11)の順に、有効な範囲内に収まる画像の明るさのEV値を探索できる。
なお、デジタルカメラCAMの動作は、この例に限定されない。例えば、デジタルカメラCAMは、ステップS142の代わりに、フラグfが、1、2、3、4以上かを判定してもよい。この場合、例えば、デジタルカメラCAMは、フラグfが1または3のとき、ステップS144を実行し、フラグfが2のとき、ステップS158を実行し、フラグfが4以上のとき、露出値CEVを調整幅(=4)分だけ増加させてもよい。あるいは、デジタルカメラCAMは、フラグfが1のとき、ステップS158を実行し、フラグfが2のとき、ステップS144を実行し、フラグfが3以上のとき、露出値CEVを調整幅(=4)分だけ増加させてもよい。
図12は、図11に示した動作による露出設定の一例を示している。なお、図12は、EV値の初期値がセンサISENの出力が飽和する露出値より小さいときの露出設定の一例を示している。例えば、図12では、EV値の初期値は7である。図12の撮影条件は、図7と同一または同様である。また、図12の符号の意味等は、図3、図7、図8および図9と同一または同様である。図3、図7、図8および図9で説明した動作と同一または同様な動作については、詳細な説明を省略する。
図12の動作では、検波結果が有効な範囲内に収まるまでの期間T1−T4では、例えば、信号処理部SPは、センサISENで撮像された画像の中央の一部(全ライン数の1/8)のラインに対応する画像データを、フレームF毎に取り込む。このため、例えば、期間T5以降のフレームレートが30fpsの場合、期間T1−T4のフレームレートは、240fps(=30×8fps)である。
先ず、期間T1では、画像データの取り込みライン数が全ライン数の1/8に設定され、EV値が初期値の7に設定される。そして、先頭のフレームF1が露光され、フレームF1の画像データ(全ライン数の1/8のラインの画像データ)がセンサISENから出力される。センサISENの出力は、飽和(上限値の1000超え)している。
期間T2では、EV値が15(=7+8)に設定され、2番目のフレームF2が露光される。センサISENの出力は、約368であり、上限値の1000以下で下限値の45以上である。また、期間T2では、フレームF1の画像データ(全ライン数の1/8のラインの画像データ)が画像処理部ISPに転送される。
期間T3では、EV値が11(=15−4)に設定され、3番目のフレームF3が露光される。センサISENの出力は、飽和(上限値の1000超え)している。また、期間T3では、フレームF2の画像データ(全ライン数の1/8のラインの画像データ)が画像処理部ISPに転送される。さらに、期間T3では、フレームF1の画像の明るさが算出される。フレームF1の画像の明るさは、飽和(上限値の1000超え)している。
期間T4では、EV値が19(=11+8)に設定され、4番目のフレームF4が露光される。センサISENの出力は、飽和(上限値の1000超え)している。また、期間T4では、フレームF3の画像データ(全ライン数の1/8のラインの画像データ)が画像処理部ISPに転送される。さらに、期間T4では、フレームF2の画像の明るさが算出される。フレームF2の画像の明るさは、約368であり、上限値の1000以下で下限値の45以上である。
このため、次の期間T5で設定されるEV値が、フレームF2を露光したときのEV値(=15)とフレームF2の画像の明るさ(約368)と目標の明るさ(約184)とに基づいて算出される。すなわち、目標の明るさに対応するEV値(適切なEV値)が算出される。
期間T5では、画像データの取り込みライン数が全ライン数に設定され、EV値が16(=15+log(368/184))に設定される。そして、5番目のフレームF5が露光される。したがって、フレームF5の画像データ(全ラインの画像データ)がセンサISENから出力される。
このように、期間T5では、フレームF2の検波結果に基づいて算出された適切なEV値がセンサISENに設定され、フルサイズの画像データがセンサISENから出力される。すなわち、期間T5以降では、デジタルカメラCAMは、30fpsのフレームレートで動作する。期間T5以降の動作は、図7に示した期間T6以降の動作と同一または同様である。例えば、期間T7では、フレームF5の画像がディスプレイに表示される。
このように、図12の例では、デジタルカメラCAMは、適切なEV値を設定するまで(期間T1−T4)は、通常動作時(期間T5以降)より高いフレームレート(240fps)で動作できる。また、図12の動作では、例えば、快晴での撮影の頻度が曇天での撮影の頻度より高い場合、有効な範囲内に収まる画像の明るさのEV値を効率よく探索できる。
このため、図12の動作では、例えば、快晴での撮影が実行される場合、デジタルカメラCAMの起動から適切な露出を設定するまでの時間を、図7の動作に比べて、短縮できる。この結果、図12の動作では、例えば、快晴での撮影が実行される場合、デジタルカメラCAMの起動から画像をディスプレイに表示するまでの時間を、図7の動作に比べて、短縮できる。
例えば、デジタルカメラCAMが起動してから適切なEV値が設定されるまでの時間は、約16.8ミリ秒(=4.2ミリ秒×4)である。また、図12の例では、期間T7以降に、デジタルカメラCAMは、ディスプレイに画像を表示できる。この場合、例えば、デジタルカメラCAMが起動してから画像がディスプレイに表示されるまでの時間は、約83.4ミリ秒(=4.2ミリ秒×4+33.3ミリ秒×2)である。
以上、図11から図12に示した実施形態のデジタルカメラの露出制御方法およびデジタルカメラにおいても、図5から図9に示した実施形態のデジタルカメラの露出制御方法およびデジタルカメラと同様の効果を得ることができる。例えば、設定部SETは、撮像素子ISENで撮像された画像の明るさが有効な範囲内に収まるまで、所定の調整幅に基づいて、露出値をフレームF毎に変化させる。そして、演算部CALは、画像の明るさが有効な範囲内に収まったときには、目標の明るさに対応する露出値を画像の明るさに基づいて算出する。
また、例えば、信号処理部SPは、画像の明るさが有効な範囲内に収まるまでの期間では、画像の明るさを算出する際に参照する画像データとして、画像の中央の一部のラインに対応する画像データを取り込む。そして、信号処理部SPは、目標の明るさに対応する露出値を算出した後の期間では、画像の全体に対応する画像データを取り込む。これにより、この実施形態では、デジタルカメラCAMの起動から適切な露出を設定するまでの時間を短縮できる。この結果、この実施形態では、デジタルカメラCAMの起動から画像をディスプレイに表示するまでの時間を短縮できる。
さらに、この実施形態では、設定部SETは、調整幅の2倍の値を1番目のフレームFのEV値に加算した値を、2番目のフレームのEV値に設定し、2番目のフレームのEV値から調整幅を減算した値を3番目のフレームFのEV値に設定する。これにより、この実施形態では、例えば、調整幅の2倍の値を初期値に加算したEV値に対応する撮影条件の撮影頻度が、調整幅を初期値に加算したEV値に対応する撮影条件の撮影頻度より高い場合、有効な範囲内に収まる画像の明るさのEV値を探索できる。この場合、この実施形態では、デジタルカメラCAMの起動から適切な露出を設定するまでの時間を、効率よく短縮できる。この結果、この実施形態では、デジタルカメラCAMの起動から画像をディスプレイに表示するまでの時間を、効率よく短縮できる。
図13は、図1に示したデジタルカメラCAMのハードウエア構成の一例を示している。なお、図1から図12で説明した要素と同一または同様の要素については、同一または同様の符号を付し、これ等については、詳細な説明を省略する。
デジタルカメラCAMは、レンズ部LEN、撮像素子ISEN、データ取得部CA、ゲイン調整部AG、DG、A/D変換部ADC、データ転送部DTR、画像処理部ISPおよび表示部DISを有している。さらに、デジタルカメラCAMは、演算部CAL、制御部PCTL、記憶部MEM、キー操作部KEYP、センサ制御部SCTL、タイミングジェネレータTGおよびレンズ駆動部LDRを有している。
レンズ部LENは、フォーカスレンズ、ズームレンズ等のレンズを有し、入射光を撮像素子ISENの受光面に結像する。レンズ駆動部LDRは、フォーカスレンズ、ズームレンズ等の操作(制御)を実行する。撮像素子ISENは、レンズ部LENを介して受けた光の量に応じて電荷を生成する。
信号処理部SPは、例えば、データ取得部CA、ゲイン調整部AG、DG、A/D変換部ADCおよびデータ転送部DTRにより実現される。データ取得部CAは、画像データを行単位で撮像素子ISENから取得する。また、データ取得部CAは、画像データの取り込みライン数を設定する。例えば、データ取得部CAは、画像の明るさが有効な範囲内に収まるまでの期間では、画像の中央の一部のラインに対応する画像データを取り込む。
ゲイン調整部AGは、データ取得部CAで取り込んだアナログ信号の画像データに対して、ゲイン調整を実行する。A/D変換部ADCは、ゲイン調整されたアナログ信号の画像データを、デジタル信号の画像データに変換する。ゲイン調整部DGは、A/D変換部ADCでデジタル信号に変換された画像データに対して、ゲイン調整を実行する。データ転送部DTRは、ゲイン調整されたデジタル信号の画像データを画像処理部ISPに転送する。
設定部SETは、例えば、センサ制御部SCTLおよびタイミングジェネレータTGにより実現される。センサ制御部SCTLは、データ取得部CA、ゲイン調整部AG、DG、A/D変換部ADC、データ転送部DTRおよびタイミングジェネレータTGを制御する。タイミングジェネレータTGは、露光時間等を設定する。
検出部DETおよび判定部JUDを含む画像処理部ISPは、図1で説明したように、画像データの送受信、変換、検波等を実行する。さらに、画像処理部ISPは、キー操作部KEYPからの制御を受け付ける。
制御部PCTLは、画像処理部ISP、記憶部MEMおよび演算部CALの制御を実行する。演算部CALは、制御部PCTLから要求された演算を実行する。例えば、演算部CALは、露出値の算出等の露光計算を実行する。記憶部MEMは、制御部PCTLで使用されるプログラムやデータ、画像処理部ISPで処理される画像データや検波データ(検波結果)等を記憶する。キー操作部KEYPは、ユーザからのキー操作を受け付け、受け付けたキー操作の情報を画像処理部ISPに通知する。表示部DISは、画像をディスプレイに表示する。
なお、デジタルカメラCAMのハードウエア構成は、この例に限定されない。例えば、判定部JUDは、制御部PCTL内に設けられてもよい。
以上の実施形態において説明した発明を整理して、付記として開示する。
(付記1)
デジタルカメラの露出制御方法であって、
撮像素子で撮像された画像データの明るさを算出し、
前記画像データの明るさが前記撮像素子の露出値の調整に有効な範囲内か否かを判定し、
前記画像データの明るさが前記有効な範囲内に収まるまで、前記有効な範囲の下限値に対応する第1露出値と前記有効な範囲の上限値に対応する第2露出値との差に基づいて、前記露出値をフレーム毎に変化させ、
前記画像データの明るさが前記有効な範囲内に収まったときの前記露出値と前記画像データの明るさとに基づいて、前記露出値を調整する
ことを特徴とするデジタルカメラの露出制御方法。
(付記2)
付記1に記載のデジタルカメラの露出制御方法において、
前記画像データの明るさが前記有効な範囲内に収まるまでの第1期間において前記画像データの中央の一部のラインに対応する前記画像データを取り込み、前記有効な範囲内に収まったときの前記露出値を調整した後の第2期間において前記画像データの全体に対応する前記画像データを取り込む
ことを特徴とするデジタルカメラの露出制御方法。
(付記3)
付記1または付記2に記載のデジタルカメラの露出制御方法において、
前記露出値を前記フレーム毎に変化させる際の前記露出値の初期値を、前記露出値の設定可能な最小値以上で7以下の値に設定する
ことを特徴とするデジタルカメラの露出制御方法。
(付記4)
付記3に記載のデジタルカメラの露出制御方法において、
前記初期値を1番目の前記フレームの前記露出値に設定し、前記第1露出値と前記第2露出値との差に基づく調整幅の2倍の値を1番目の前記フレームの前記露出値に加算した値を、2番目の前記フレームの前記露出値に設定し、2番目の前記フレームの前記露出値から前記調整幅を減算した値を3番目の前記フレームの前記露出値に設定する
ことを特徴とするデジタルカメラの露出制御方法。
(付記5)
画像を撮像する撮像素子と、
前記撮像素子で撮像された画像データの明るさを算出する検出部と、
前記画像データの明るさが前記撮像素子の露出値の調整に有効な範囲内か否かを判定する判定部と、
前記画像データの明るさが前記有効な範囲内に収まるまで、前記有効な範囲の下限値に対応する第1露出値と前記有効な範囲の上限値に対応する第2露出値との差に基づいて、前記露出値をフレーム毎に変化させる設定部と、
前記画像データの明るさが前記有効な範囲内に収まったときの前記露出値と前記画像データの明るさとに基づいて、前記露出値を調整する算出部と
を備えていることを特徴とするデジタルカメラ。
(付記6)
付記5に記載のデジタルカメラにおいて、
前記画像データの明るさが前記有効な範囲内に収まるまでの第1期間において前記画像データの中央の一部のラインに対応する前記画像データを取り込み、前記有効な範囲内に収まったときの前記露出値を調整した後の第2期間において前記画像データの全体に対応する前記画像データを取り込む取得部を備え、
前記撮像素子は、前記第1期間と前記第2期間とで、駆動方式を切り替えずに、前記画像を撮像する
ことを特徴とするデジタルカメラ。
(付記7)
付記5または付記6に記載のデジタルカメラにおいて、
前記設定部は、前記露出値を前記フレーム毎に変化させる際の前記露出値の初期値を、前記露出値の設定可能な最小値以上で7以下の値に設定する
ことを特徴とするデジタルカメラ。
(付記8)
付記7に記載のデジタルカメラにおいて、
前記設定部は、前記初期値を1番目の前記フレームの前記露出値に設定し、前記第1露出値と前記第2露出値との差に基づく調整幅の2倍の値を1番目の前記フレームの前記露出値に加算した値を、2番目の前記フレームの前記露出値に設定し、2番目の前記フレームの前記露出値から前記調整幅を減算した値を3番目の前記フレームの前記露出値に設定する
ことを特徴とするデジタルカメラ。
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。
ADC‥A/D変換部;AG、DG‥ゲイン調整部;CA‥データ取得部;CAL‥演算部;CAM‥デジタルカメラ;DET‥検出部;DIS‥表示部;DTR‥データ転送部;ISEN‥撮像素子;ISP‥画像処理部;JUD‥判定部;KEYP‥キー操作部;LDR‥レンズ駆動部;LEN‥レンズ部;MEM‥記憶部;PCTL‥制御部;SCTL‥センサ制御部;SET‥設定部;TG‥タイミングジェネレータ

Claims (5)

  1. デジタルカメラの露出制御方法であって、
    撮像素子で撮像された画像データの明るさを算出し、
    前記画像データの明るさが前記撮像素子の露出値の調整に有効な範囲内か否かを判定し、
    前記画像データの明るさが前記有効な範囲内に収まるまで、前記有効な範囲の下限値に対応する第1露出値と前記有効な範囲の上限値に対応する第2露出値との差に基づいて、前記露出値をフレーム毎に変化させ、
    前記画像データの明るさが前記有効な範囲内に収まったときの前記露出値と前記画像データの明るさとに基づいて、前記露出値を調整する
    ことを特徴とするデジタルカメラの露出制御方法。
  2. 請求項1に記載のデジタルカメラの露出制御方法において、
    前記画像データの明るさが前記有効な範囲内に収まるまでの第1期間において前記画像データの中央の一部のラインに対応する前記画像データを取り込み、前記有効な範囲内に収まったときの前記露出値を調整した後の第2期間において前記画像データの全体に対応する前記画像データを取り込む
    ことを特徴とするデジタルカメラの露出制御方法。
  3. 請求項1または請求項2に記載のデジタルカメラの露出制御方法において、
    前記露出値を前記フレーム毎に変化させる際の前記露出値の初期値を、前記露出値の設定可能な最小値以上で7以下の値に設定する
    ことを特徴とするデジタルカメラの露出制御方法。
  4. 請求項3に記載のデジタルカメラの露出制御方法において、
    前記初期値を1番目の前記フレームの前記露出値に設定し、前記第1露出値と前記第2露出値との差に基づく調整幅の2倍の値を1番目の前記フレームの前記露出値に加算した値を、2番目の前記フレームの前記露出値に設定し、2番目の前記フレームの前記露出値から前記調整幅を減算した値を3番目の前記フレームの前記露出値に設定する
    ことを特徴とするデジタルカメラの露出制御方法。
  5. 画像を撮像する撮像素子と、
    前記撮像素子で撮像された画像データの明るさを算出する検出部と、
    前記画像データの明るさが前記撮像素子の露出値の調整に有効な範囲内か否かを判定する判定部と、
    前記画像データの明るさが前記有効な範囲内に収まるまで、前記有効な範囲の下限値に対応する第1露出値と前記有効な範囲の上限値に対応する第2露出値との差に基づいて、前記露出値をフレーム毎に変化させる設定部と、
    前記画像データの明るさが前記有効な範囲内に収まったときの前記露出値と前記画像データの明るさとに基づいて、前記露出値を調整する算出部と
    を備えていることを特徴とするデジタルカメラ。
JP2014127195A 2014-06-20 2014-06-20 デジタルカメラの露出制御方法およびデジタルカメラ Active JP6345500B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014127195A JP6345500B2 (ja) 2014-06-20 2014-06-20 デジタルカメラの露出制御方法およびデジタルカメラ
US14/724,350 US9654698B2 (en) 2014-06-20 2015-05-28 Digital camera and exposure control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014127195A JP6345500B2 (ja) 2014-06-20 2014-06-20 デジタルカメラの露出制御方法およびデジタルカメラ

Publications (2)

Publication Number Publication Date
JP2016006935A JP2016006935A (ja) 2016-01-14
JP6345500B2 true JP6345500B2 (ja) 2018-06-20

Family

ID=54870815

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014127195A Active JP6345500B2 (ja) 2014-06-20 2014-06-20 デジタルカメラの露出制御方法およびデジタルカメラ

Country Status (2)

Country Link
US (1) US9654698B2 (ja)
JP (1) JP6345500B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10028647B2 (en) * 2015-07-13 2018-07-24 Sony Corporations Medical observation device and medical observation method
JP6498552B2 (ja) * 2015-07-15 2019-04-10 株式会社日立製作所 漏油検出システム
JP6596349B2 (ja) * 2016-02-04 2019-10-23 オリンパス株式会社 撮像装置及び撮像装置の制御方法
JP2020022034A (ja) * 2018-07-31 2020-02-06 キヤノン株式会社 撮像素子、撮像装置および制御方法
CN110971833B (zh) 2018-09-30 2021-05-14 北京微播视界科技有限公司 一种图像处理方法、装置、电子设备及存储介质
TWI784172B (zh) * 2019-06-06 2022-11-21 先進光電科技股份有限公司 行動載具輔助系統及其停車輔助方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4231599B2 (ja) 1999-09-16 2009-03-04 イーストマン コダック カンパニー 撮像装置
JP2003023568A (ja) * 2001-07-11 2003-01-24 Casio Comput Co Ltd 露出制御装置、及び露出制御方法
JP2006108759A (ja) * 2004-09-30 2006-04-20 Fuji Photo Film Co Ltd 撮像装置
JP4648186B2 (ja) * 2005-12-27 2011-03-09 大日本印刷株式会社 デジタルカメラの特性評価方法、デジタルカメラの特性評価装置
JP2008042248A (ja) 2006-08-01 2008-02-21 Fujifilm Corp 電子カメラおよびその露出制御方法
WO2010118177A1 (en) * 2009-04-08 2010-10-14 Zoran Corporation Exposure control for high dynamic range image capture
US8325890B2 (en) * 2010-06-06 2012-12-04 Apple Inc. Auto exposure techniques for variable lighting conditions
US9584733B2 (en) * 2010-09-30 2017-02-28 Apple Inc. High dynamic range transition
US8493500B2 (en) * 2010-10-27 2013-07-23 Apple Inc. Auto exposure blowout prevention
WO2013186803A1 (ja) * 2012-06-11 2013-12-19 株式会社ソニー・コンピュータエンタテインメント 画像撮像装置および画像撮像方法
JP5981053B2 (ja) * 2013-01-15 2016-08-31 アビジロン コーポレイション シーン適応型自動露出補正を伴う撮像装置

Also Published As

Publication number Publication date
JP2016006935A (ja) 2016-01-14
US9654698B2 (en) 2017-05-16
US20150373246A1 (en) 2015-12-24

Similar Documents

Publication Publication Date Title
JP6345500B2 (ja) デジタルカメラの露出制御方法およびデジタルカメラ
CN102369723B (zh) 自动曝光方法、装置和成像设备
JP5523143B2 (ja) 撮像装置及び自動焦点調節方法
US9826140B2 (en) Image capturing apparatus and control method thereof
US20150009352A1 (en) Imaging apparatus and method for controlling the same
JP6460721B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2011097141A (ja) 撮像装置、撮像装置の制御方法、及びプログラム
US20140300802A1 (en) Imaging apparatus and imaging method
US8587713B2 (en) Digital camera and method of controlling the same that calculates needed flash emission
US9167173B2 (en) Image capturing apparatus configured to perform a cyclic shooting operation and method of controlling the same
US9961269B2 (en) Imaging device, imaging device body, and lens barrel that can prevent an image diaphragm value from frequently changing
US8860876B2 (en) Image display using flash reach information
US8711232B2 (en) Digital camera supporting intelligent self-timer mode and method of controlling the same
JP6516390B2 (ja) 撮像装置
KR101971535B1 (ko) 이미지 촬영 장치에서 자동 초점 조절 장치 및 방법
JP2012203314A (ja) 撮像装置及び撮像装置の制御方法
KR101082048B1 (ko) 카메라 모듈의 오토 포커싱 탐색 범위 설정 방법
JP6294607B2 (ja) 撮像装置およびその制御方法、プログラム並びに記憶媒体
JP6635310B2 (ja) 撮像素子、制御方法、プログラム、および電子機器
US10674092B2 (en) Image processing apparatus and method, and image capturing apparatus
EP2632146B1 (en) Image processing apparatus
JP2018132748A (ja) 撮像装置および焦点調節方法
JP2012104918A (ja) 撮像装置及びその制御方法
JP2007189639A (ja) デジタルカメラ
JP2012039646A (ja) 撮像装置及びそのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170510

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20180209

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180209

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180522

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180523

R150 Certificate of patent or registration of utility model

Ref document number: 6345500

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150