JP2020022034A - 撮像素子、撮像装置および制御方法 - Google Patents
撮像素子、撮像装置および制御方法 Download PDFInfo
- Publication number
- JP2020022034A JP2020022034A JP2018143423A JP2018143423A JP2020022034A JP 2020022034 A JP2020022034 A JP 2020022034A JP 2018143423 A JP2018143423 A JP 2018143423A JP 2018143423 A JP2018143423 A JP 2018143423A JP 2020022034 A JP2020022034 A JP 2020022034A
- Authority
- JP
- Japan
- Prior art keywords
- exposure control
- imaging device
- imaging
- image sensor
- exposure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 139
- 238000000034 method Methods 0.000 title claims description 11
- 238000009825 accumulation Methods 0.000 claims abstract description 7
- 230000008859 change Effects 0.000 claims description 33
- 230000004044 response Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 27
- 238000006243 chemical reaction Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000012546 transfer Methods 0.000 description 5
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000012508 change request Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 101000648219 Anemonia viridis Delta-actitoxin-Avd2c Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Blocking Light For Cameras (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Exposure Control For Cameras (AREA)
Abstract
【課題】撮像装置における露出制御に関する演算処理を軽減し、かつ、露出制御の追従範囲を広く確保しながら、撮像目的にあった露出制御を行うことを可能とする撮像素子を提供する。【解決手段】複数の画素部101を有する撮像部によって取得された画像信号を出力する撮像素子506を設ける。撮像素子506は、撮像装置から目標輝度値を受信し、目標輝度値に対応する、画素部101の蓄積時間と撮像部の出力信号に対するゲインとに基づいて、撮像素子内での露出制御を実行する。撮像素子506は、被写体の輝度値が撮像素子内での露出制御範囲を超える場合に、撮像装置に対して露出制御を指示する【選択図】図1
Description
本発明は、撮像素子、撮像装置および制御方法に関する。
ライブビュー機能を有するデジタルカメラ等の撮像装置が提案されている。撮像装置は、一般的には、リアルタイムに自動露出(AE)制御を行うことで、適正な明るさで撮像画像の表示、記録を行う。露出制御要素は、シャッタ速度と、絞りと、ISO感度である。また、撮像装置内にNDフィルタを内蔵し、自動切替する撮像装置も提案されている。NDは、Neutral Densityの略称である。これらの露出制御要素のうちのいくつかは、ユーザの作画意図に応じて固定して用いられるが、撮像装置は、露出制御要素を可変とすることで、より広い輝度レンジでAE追従することが可能である。
また、120fps〜1000fpsといったハイフレームレート動画を搭載する撮像装置が増加しており、解像度もより大きくなってきている。撮像装置の高機能化が要因となり、撮像装置における演算処理部(以下、「CPU」と記述)の負荷率やメモリ帯域が増加し、CPUでの露出演算処理の時間が増大する。CPUは、Central Processing Unitの略称である。露出演算処理に時間がかかると、露出変化への追従が更に遅れるので、ちらつきの原因となる異常露出のフレーム数が増加する。
特許文献1は、カラーフィルタの色毎に画像情報を積算し、積算値をCPUに転送して画像データの転送処理にかかる時間を短縮することで、CPUの露出制御処理を高速化する撮像素子を開示している。
特許文献1が開示する撮像素子は、撮像素子内で、撮像された画像情報を積算して外部に出力し、センサとCPU間の転送データ量を削減することで露出制御を高速化する。しかし、この撮像素子では、積分値を受け取った後にCPUでプログラム線図に応じて電子シャッタとゲインの演算が必要であり、ハイフレームレート動画のような高速駆動が必要な時には、CPU処理負荷が増大し、露出演算処理が遅延する。本発明は、撮像装置における露出制御に関する演算処理を軽減し、かつ、露出制御の追従範囲を広く確保しながら、撮像目的にあった露出制御を行うことを可能とする撮像素子の提供を目的とする。
本発明の一実施形態の撮像素子は、複数の画素部を有する撮像部によって取得された画像信号を出力する撮像素子であって、撮像装置から目標輝度値を受信する受信手段と、前記目標輝度値に対応する、前記画素部の蓄積時間と前記撮像部の出力信号に対するゲインとに基づいて、前記撮像素子内での露出制御を実行する制御手段と、を備える。前記制御手段は、被写体の輝度値が前記撮像素子内での露出制御範囲を超える場合に、前記撮像装置に対して露出制御を指示する。
本発明の撮像素子によれば、撮像装置における露出制御に関する演算処理を軽減し、かつ、露出制御の追従範囲を広く確保しながら、撮影目的にあった露出制御を行うことが可能となる。
(実施例1)
図1は、本実施形態における撮像素子の構成例を示す図である。
撮像素子506には、複数の画素部101が2次元アレイ状に配置されている。図1に示す例では、撮像素子506は、積層型構成を有しており、撮像部である第1のチップ(撮像層)10と、第2のチップ(回路層)11を備える。撮像素子506は、第1のチップ10によって取得された画像信号を出力する。撮像信号処理回路507は、撮像素子506の出力信号を処理する。全体制御演算部509は、撮像素子506および撮像装置内のその他の構成部を制御する中枢部である。本実施形態において、撮像信号処理回路507と全体制御演算部509は、別の構成としているがこれに限られるものではなく、CPUを含む同じ回路上で構成してもよい。
図1は、本実施形態における撮像素子の構成例を示す図である。
撮像素子506には、複数の画素部101が2次元アレイ状に配置されている。図1に示す例では、撮像素子506は、積層型構成を有しており、撮像部である第1のチップ(撮像層)10と、第2のチップ(回路層)11を備える。撮像素子506は、第1のチップ10によって取得された画像信号を出力する。撮像信号処理回路507は、撮像素子506の出力信号を処理する。全体制御演算部509は、撮像素子506および撮像装置内のその他の構成部を制御する中枢部である。本実施形態において、撮像信号処理回路507と全体制御演算部509は、別の構成としているがこれに限られるものではなく、CPUを含む同じ回路上で構成してもよい。
各画素部101に対して、垂直出力線102、転送信号線103、リセット信号線104、行選択信号線105がそれぞれ接続されている。カラムADCブロック111は、画素部101に接続された垂直出力線102から出力される信号に対し、A(アナログ)/D(デジタル)変換した信号を出力する。行走査回路112は転送信号線103、リセット信号線104、行選択信号線105により画素部101に接続される。複数の列走査回路113は、水平信号線115−a,115−bにより、複数のカラムADCブロック111に接続される。タイミング制御回路114は、カラムADCブロック111、列走査回路113にそれぞれタイミング制御信号を出力して制御を行う。カラムADCブロック111においてデジタル変換に用いる際の変換ゲインによって信号増幅を行ってもよいし、デジタル変換した後に不図示のデジタルゲイン回路にて信号増幅を行ってもよい。
切り替え部116は、水平信号線115−aと115−bによる各信号を切り替えて、フレームメモリ117と素子内演算部118に出力する。パラレル・シリアル変換部(以下、P/S変換部と表記する)119は、素子内演算部118の出力を取得し、パラレル・シリアル変換を行う。P/S変換部119は、変換した信号を撮像信号処理回路507に出力する。
撮像素子506は、第2のチップ11上に第1のチップ10が積層された構造である。第1のチップ10は、マトリックス状に配列された複数の画素部101を有し、光の入射側に配置される。つまり、第1のチップ10は、被写体からの光を受光する入射側に位置している。各画素部101は、水平方向(行方向)において転送信号線103、リセット信号線104、および行選択信号線105に接続され、垂直方向(列方向)において垂直出力線102に接続される。なお、垂直出力線102は、各々、読み出し行単位に応じて接続先が異なる。
第2のチップ11には、カラムADCブロック111、行走査回路112、列走査回路113、タイミング制御回路114等の画素駆動回路と、フレームメモリ117、素子内演算部118、P/S変換部119、露光制御部120が形成されている。
このように撮像素子506は、第1のチップ10において画素部101が形成され、第2のチップ11において画素駆動回路やメモリ回路や演算回路等が形成されている。撮像素子506の撮像層と回路層とで製造プロセスを分けることができるので、回路層における配線の細線化、高密度化による高速化、小型化、および高機能化を図ることができる。なお、第2のチップ11の一部の回路を第1のチップ10に設けるようにしてもよい。
本実施形態では、従来撮像装置側の撮像信号処理動作によって行われていた露出制御は回路層で行われる。すなわち、撮像素子506は、輝度検出結果から露出演算を行い、露光時間・ゲイン制御を撮像素子内のみで行うことができる構成を有する。ただし、露光時間やゲイン制御で露出制御できる範囲は限られているので、被写体の輝度値が撮像素子内の露出制御範囲を超える場合には、撮像装置側で露出変更手段(絞り、NDフィルタ、撮像フレームレート、デジタルゲイン)の変更を合わせて行う。
切り替え部116は、チャンネルごとの水平信号線115−aと115−bから出力される画像信号を、順次にフレームメモリ117へ選択的に出力する。フレームメモリ117は、出力された画像信号を一時的に記憶する。素子内演算部118は、撮像素子506内での露出制御の演算等を行う。素子内演算部118は、全体制御演算部509から目標輝度値を受信し、切り替え部116が出力した信号と、目標輝度値とに基づいて、画素部101の蓄積時間と、第1のチップ10の出力信号に対するゲインとを演算する。P/S変換部119は、素子内演算部118で処理された画像情報に対し、タイミング制御回路114によるタイミング制御信号に合わせて変換を行い、撮像素子506の外部の撮像信号処理回路507へ出力する。露光制御部120は、素子内演算部118が演算した蓄積時間とゲインとに基づく、画素部101の露光制御(露出制御)を行う。
図2は、本実施形態のシステム構成を示す図である。
撮像装置400と撮像素子506とで、撮像システムが実現される。撮像装置400は、撮像素子506に接続し、撮影・表示・記録を実現する。もちろん、撮像素子506を有する装置全体を撮像装置として実現することもできる。レンズ部501は、レンズ駆動部502によって制御される。これにより、ズーム、フォーカス等が駆動制御される。メカニカルシャッタ(メカシャッタ)503、絞り504は、シャッタ・絞り駆動部505によって駆動制御される。レンズ部501を通った被写体像が、絞り504により適切な光量に調整され、撮像素子506上の撮像面に結像される。撮像素子506上の撮像面に結像した被写体像は、画素部101(図1)により光電変換される。光電変換により得られた信号は、ゲイン調整、アナログ信号からデジタル信号への変換を行うA/D変換が行われ、R、Gr、Gb、Bの信号として、撮像信号処理回路507に出力される。
撮像装置400と撮像素子506とで、撮像システムが実現される。撮像装置400は、撮像素子506に接続し、撮影・表示・記録を実現する。もちろん、撮像素子506を有する装置全体を撮像装置として実現することもできる。レンズ部501は、レンズ駆動部502によって制御される。これにより、ズーム、フォーカス等が駆動制御される。メカニカルシャッタ(メカシャッタ)503、絞り504は、シャッタ・絞り駆動部505によって駆動制御される。レンズ部501を通った被写体像が、絞り504により適切な光量に調整され、撮像素子506上の撮像面に結像される。撮像素子506上の撮像面に結像した被写体像は、画素部101(図1)により光電変換される。光電変換により得られた信号は、ゲイン調整、アナログ信号からデジタル信号への変換を行うA/D変換が行われ、R、Gr、Gb、Bの信号として、撮像信号処理回路507に出力される。
撮像信号処理回路507は、ノイズを軽減するローパスフィルタ処理、シェーディング処理、WB処理などの各種の撮像信号処理、さらに各種の補正、画像信号の圧縮等を行う。全体制御演算部509は、撮像システム全体の制御と各種演算を行う。第1メモリ部508は、画像信号を一時的に記憶する。記録媒体制御インタフェース(I/F)部510は、記録媒体に画像信号の記録または読み出しを行う。表示部511は、画像信号の表示を行う。記録媒体512は、半導体メモリ等の着脱可能記憶媒体であり、画像信号の記録または読み出しを行う。
外部I/F部513は、外部コンピュータ等と通信を行うために用いられるインタフェースである。第2メモリ部514は、全体制御演算部509での演算結果の記憶、操作部515を通じてユーザが撮像装置に設定したカメラ情報の記憶を行う。操作部515を介してユーザが設定した撮像システムの駆動条件に関する情報は、全体制御演算部509に送られ、その情報に基づいて撮像システム全体の制御が行われる。
図3は、本実施形態における露出制御を説明する図である。
図3を参照して、被写体の輝度変化に応じた輝度レンジの変更を説明する。図3の横軸は、制御開始からの経過時間Tを示す。縦軸は、被写体輝度Bvを示す。以下の説明では、露出制御を、AE制御とも記述する。
図3を参照して、被写体の輝度変化に応じた輝度レンジの変更を説明する。図3の横軸は、制御開始からの経過時間Tを示す。縦軸は、被写体輝度Bvを示す。以下の説明では、露出制御を、AE制御とも記述する。
撮像素子506は、素子内でのAE制御(撮像素子内AE制御)を行うことができる。撮像素子506で制御可能な要素は、画素部101の蓄積時間に対応する露光時間(シャッタ速度に相当)と、ゲイン(ISO感度に相当)である。撮像素子内AE制御は、絞りやNDフィルタ等を加えた、撮像システム全体で制御できる露出制御範囲よりも狭く、その制御可能範囲は、図3中のR1に制限される。
撮像装置400は、撮像素子506に対して、予め、撮像素子内AE制御範囲をR1より狭い範囲となるR2に定め、下限Bv値をb1、上限Bv値をb2に設定する。撮像素子内AE制御範囲は、撮像素子内での露出制御範囲である。撮像装置400は、設定した撮像素子内AE制御範囲の情報を撮像素子506に送信する。これは、被写体の輝度が撮像素子内AE制御による追従範囲を超える輝度となった場合に、AE動作が停止して露出制御に遅延が生じることを防止するためである。
被写体の輝度が、b1からb2の範囲では、撮像素子506が備える露光制御部120が、撮像素子内AE制御を実行し、輝度変化に合わせて露光時間及びゲインの制御を行う。時刻t1で被写体輝度がb2になると、露光制御部120は、撮像装置400に対して+3段分の輝度レンジの変更要求を行う。輝度レンジの変更要求は、露出制御の指示である。変更する輝度レンジの段数については、被写体輝度の直近の変化率を撮像素子506内の素子内演算部118で測定し、素子内演算部118が、その測定結果により決定するようにしてもよい。これにより、今後の輝度変化予測を加味した上で、輝度レンジ変更段数を決めることができる。したがって、撮像素子内でのAE制御レンジを有効に使うことができ、撮像装置のCPU演算負荷を削減することが可能である。
露光制御部120は、輝度レンジの変更要求により、輝度レンジの変更要求を行う前の撮像素子内での露出制御範囲の上限(b2)が、輝度レンジの変更後の撮像素子内での露出制御範囲の中央に位置するように制御してもよい。これにより、後々の被写体輝度変化に幅広く対応することができる。
撮像装置400が備える全体制御演算部509は、撮像素子506からの輝度レンジの変更依頼を受けて、所定の露出変更手段を用いて、露出制御(露出変更)を実行する。全体制御・演算部509は、例えば、露出変更手段として、NDフィルタを用い、NDフィルタを挿入または退避することで、露出制御を実行する。本実施形態では、撮像装置に内蔵されるNDフィルタは、挿入により3段分輝度低下する仕様とする。ただし、NDフィルタの挿入、退避には一定の時間を要する。図3では、時刻t2でNDフィルタの挿入が完了し、AE制御レンジが高輝度側に+3段シフトしていることが示されている。全体制御演算部509は、撮像装置400における露出制御のタイミングに関する情報(タイミング情報)を撮像素子506に送信する。そして、ライブ画像のちらつきを軽減するために、撮像素子506が備える露光制御部120が、受信したタイミング情報に基づいて、撮像素子内での露出制御のタイミングを設定する。これにより、撮像素子内AE制御が修正される。
図4は、NDフィルタ挿入時のタイミングチャートの一例を示す図である。
図4には、撮像素子506に与えられる垂直同期信号(VD)のタイミングと、撮像素子506の露光タイミングが示される。時刻t15において、撮像装置400が、NDフィルタを挿入することにより、絞りとNDフィルタによるAv値が、例えば、Av7からAv10に変化する。
図4には、撮像素子506に与えられる垂直同期信号(VD)のタイミングと、撮像素子506の露光タイミングが示される。時刻t15において、撮像装置400が、NDフィルタを挿入することにより、絞りとNDフィルタによるAv値が、例えば、Av7からAv10に変化する。
また、図4には、撮像素子506から信号が読み出されるタイミングが、Ev値とともに示されている。T=t1において、撮像素子506から+3段分の輝度レンジの変更要求がなされる。全体制御演算部509は、画像への影響を極力避けるため、露光を行っていないT=t15まで経過してからNDフィルタを動作させるように制御する。NDフィルタの挿入には、1VD以上の時間を要しており、その間に露光されるT=t16からt17までの期間は、NDフィルタの過渡的状態であり、次のVD期間であるV3期間に読み出される画像P2は、ちらつきを含み、好ましい画像ではない。したがって、全体制御演算部509は、画像P2を無効フレームとし、画像P1を代替画像として出力するように制御する。時刻T=t2でNDフィルタの挿入が完了すると、撮像装置は、時刻t21において、撮像素子506の露光開始を行い、Tv値をTv10からTv7に変更する。これにより、V4期間に読み出される画像P3のEv値は17となり、画像P1と同じ輝度値になるように制御される。その後は、被写体輝度の変化に合わせて撮像素子内AE制御が継続される。
図5は、本実施形態における露出制御を説明するフローチャートである。
露出制御が開始されると、S501において、撮像装置400が、撮像素子内での露出制御範囲(下限b1と上限b2)を設定し、撮像素子506へ通知する。また、撮像装置400は、現在の撮像装置の絞り、NDフィルタ、デジタルゲイン、撮像フレームレートに関する情報(初期露出制御値)を通知する。また、撮像装置400は、目標輝度値を設定し、撮像素子506へ通知する。
露出制御が開始されると、S501において、撮像装置400が、撮像素子内での露出制御範囲(下限b1と上限b2)を設定し、撮像素子506へ通知する。また、撮像装置400は、現在の撮像装置の絞り、NDフィルタ、デジタルゲイン、撮像フレームレートに関する情報(初期露出制御値)を通知する。また、撮像装置400は、目標輝度値を設定し、撮像素子506へ通知する。
次に、S502において、撮像素子506が、目標輝度値と初期露出制御値とに基づいて、露光時間とゲインを算出して設定する。続いて、S503において、撮像素子506が、AE制御を開始する。これにより、撮像素子内AE制御が開始される。
次に、S504において、撮像素子506が、AE制御を終了するかを判断する。例えば、操作部515を介したユーザの操作によって、静止画撮影の開始指示がされた場合、または電源OFFの指示がされた場合に、撮像素子506は、AE制御を終了すると判断する。撮像素子506が、AE制御を終了すると判断した場合は、処理を終了する。AE制御を終了しないと判断した場合は、処理がS505に進む。
S505において、撮像素子506が、画素部101から出力された信号に基づいて、被写体の輝度を検出する。続いて、S506において、撮像素子506が、S502での処理と同様に、露光時間とゲインを算出し、設定する。
次に、S507において、撮像素子506が、検出した被写体の輝度が、撮像素子内での露出制御範囲内であるかを判断する。撮像素子506が、被写体の輝度が撮像素子内での露出制御範囲内であると判断した場合は、処理がS504に戻る。撮像素子506が、被写体の輝度が撮像素子内での露出制御範囲を超えると判断した場合は、処理がS508に進む。
S508において、撮像素子506が備える露光制御部120が、撮像装置400に指示する露出制御の内容を決定する。この例では、露光制御部120が、変更する輝度レンジの段数(露出変更段数)を決定する。そして、S509において、露光制御部120が、決定した露出変更段数を撮像装置400へ通知する。これにより、撮像装置400に対して露出制御の指示がなされる。
次に、S510において、撮像装置400が備える全体制御演算部509が、撮像素子506から通知された露出変更段数に応じて、露出変更手段を選択し、設定する。また、S511において、全体制御演算部509が、撮像素子506に対して、露出制御に要する時間と、輝度値の時系列変化に関するタイミング情報を通知する。そして、S512において、撮像素子506、撮像装置400の双方が、タイミング情報に応じた露出調節を実行する。そして、処理がS504にもどる。
以上の処理により、全体制御演算部509は、CPU負荷やメモリ帯域の増加に加え、ハイフレームレートの動画など時間的に処理が厳しい駆動モードにおいて露出演算処理時間が間に合わない場合でも、フレーム毎の露出制御をすることが可能となる。本実施例によれば、基本的に撮像素子506内だけでAE制御を行いながら、被写体の輝度値がAE制御の追従範囲を超える場合には、撮像装置400が、露出変更手段を利用して、最小の遅延で露出制御動作を継続することが可能である。
(実施例2)
実施例1では、被写体の輝度が高輝度側に遷移した場合の輝度レンジの変更について説明したが、実施例2では、被写体の輝度が低輝度側に遷移した場合の処理について説明する。
実施例1では、被写体の輝度が高輝度側に遷移した場合の輝度レンジの変更について説明したが、実施例2では、被写体の輝度が低輝度側に遷移した場合の処理について説明する。
図6は、被写体の輝度が低輝度に遷移した場合の輝度レンジ変更時のタイミングチャートを示す図である。
図6には、図4と同様に、撮像素子506に与えられる垂直同期信号(VD)のタイミングと、撮像素子506の露光タイミングが示されている。本実施例においては、撮像装置400は、撮像素子506からの露出制御の指示に基づいて、低輝度追従用に−3段分の輝度レンジシフトを行う。撮像装置400は、例えば、絞りをF4.0からF2.0(Av値換算でAv4からAv2)へ2段分落とし、さらに撮像フレームレートを30FPSから15FPSに落とす(下げる)。絞りを2段分落とすとは、絞りを2段分開放する動作を行うことである。なお、NDフィルタが挿入されている場合には、NDフィルタを退避させる。濃度を変更可能なNDフィルタを適用する場合には、NDフィルタの濃度を変更する。撮像フレームレートを変更前から1/2に落とすことによって、露光時間の最大値として33. 3msから66.7msまで制御可能となる。
図6には、図4と同様に、撮像素子506に与えられる垂直同期信号(VD)のタイミングと、撮像素子506の露光タイミングが示されている。本実施例においては、撮像装置400は、撮像素子506からの露出制御の指示に基づいて、低輝度追従用に−3段分の輝度レンジシフトを行う。撮像装置400は、例えば、絞りをF4.0からF2.0(Av値換算でAv4からAv2)へ2段分落とし、さらに撮像フレームレートを30FPSから15FPSに落とす(下げる)。絞りを2段分落とすとは、絞りを2段分開放する動作を行うことである。なお、NDフィルタが挿入されている場合には、NDフィルタを退避させる。濃度を変更可能なNDフィルタを適用する場合には、NDフィルタの濃度を変更する。撮像フレームレートを変更前から1/2に落とすことによって、露光時間の最大値として33. 3msから66.7msまで制御可能となる。
時刻t3において、撮像素子506から撮像装置400に対して−3段分の輝度レンジの変更要求がなされると、撮像装置400が備える全体制御演算部509が、絞りを2段分落とし、さらに撮像フレームレートを1/2に落とす。まず、全体制御演算部509は、次のV周期となるV2期間から撮像フレームレートが15fpsとなるように撮像素子506に与える同期信号を調節する。また、全体制御演算部509は、V2期間にてTv6相当の露光時間となるように、撮像素子506内の電子シャッタ設定を行う。次に、全体制御演算部509は、V2期間の先頭位置となる時刻t4で、絞りを1段分落とす動作を行うように、シャッタ・絞り駆動部505へ指示する。絞り駆動が時刻t41で一旦終了し、時刻t42から露光開始、時刻t5で露光終了となる。全体制御演算部509は、露光開始から露光終了までの間の時刻t43で、次のV3期間にてTv7相当の露光時間となるように、撮像素子506内の電子シャッタ設定を行う。
次に、全体制御演算部509は、V3期間の先頭位置となる時刻t5で、絞りをさらに1段分落とす動作を行うように、シャッタ・絞り駆動部505へ指示する。絞り駆動が、時刻t51で終了し、時刻t52から露光開始、時刻t6で露光終了となる。
図6を参照して説明した処理のように、撮像装置400が撮像フレームレートとAv値を、撮像素子506がTv値を協調して制御する。これにより、低輝度用の輝度レンジシフトを行いながら、V2、V3、V4期間で読み出される画像P1、P2、P3に対して、ちらつきの発生が抑制される。撮像装置400は、絞りに関しては、切り替えに要する時間を考慮して、段階的に変更しつつ、露光時間中の絞り駆動を回避する。このように、絞り、NDフィルタの変更と、撮像フレームレートを下げる(周期を延ばす)ことによる輝度レンジシフトとを合わせて行う場合には、撮像装置400は、撮像フレームレートの変更指示を先に行った後に、絞り、NDフィルタの変更指示を行う。これにより、露光期間を避けながら絞り駆動させることができ、表示中のライブ画像のちらつきを抑えることができる。逆に、絞り、NDフィルタの変更と、撮像フレームレートを上げる(周期を短くする)ことによる輝度レンジシフトとを合わせて行う場合には、撮像装置400は、絞り、NDフィルタの変更指示を先に行う。これによって、露光期間を回避するタイミングを長く取れるので、同様にちらつきを抑えることができる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
506 撮像素子
509 全体制御演算部
509 全体制御演算部
Claims (10)
- 複数の画素部を有する撮像部によって取得された画像信号を出力する撮像素子であって、
撮像装置から目標輝度値を受信する受信手段と、
前記目標輝度値に対応する、前記画素部の蓄積時間と前記撮像部の出力信号に対するゲインとに基づいて、前記撮像素子内での露出制御を実行する制御手段と、を備え、
前記制御手段は、被写体の輝度値が前記撮像素子内での露出制御範囲を超える場合に、前記撮像装置に対して露出制御を指示する
ことを特徴とする撮像素子。 - 前記撮像素子内での露出制御範囲は、予め前記撮像装置から前記撮像素子に対して設定される
ことを特徴とする請求項1に記載の撮像素子。 - 前記制御手段は、前記露出制御を指示する前の前記撮像素子内での露出制御範囲の上限が、前記露出制御を指示した後の前記撮像素子内での露出制御範囲の中央に位置するように制御する
ことを特徴とする請求項1または請求項2に記載の撮像素子。 - 前記受信手段は、さらに、前記撮像装置から前記露出制御に関するタイミング情報を受信し、
前記制御手段は、前記受信されたタイミング情報に基づいて、前記撮像素子内での露出制御のタイミングを設定する
ことを特徴とする請求項1乃至3のいずれか1項に記載の撮像素子。 - 前記撮像素子から露出制御の指示を受けた撮像装置は、所定の露出変更手段によって、前記露出制御を実行する
ことを特徴とする請求項1乃至4のいずれか1項に記載の撮像素子。 - 前記所定の露出変更手段は、絞り、NDフィルタ、デジタルゲイン、撮像フレームレートのうちのいずれかである
ことを特徴とする請求項5に記載の撮像素子。 - 前記撮像装置は、前記絞りまたはNDフィルタによる露出制御を撮像フレームレートの変更とともに行う場合には、前記絞りまたはNDフィルタによる露出制御を、露光時間を回避したタイミングで行う
ことを特徴とする請求項6に記載の撮像素子。 - 前記撮像装置は、前記絞りまたはNDフィルタによる露出制御を撮像フレームレートの変更とともに行う場合、前記撮像フレームレートを下げるときには、前記絞りまたはNDフィルタの変更指示より前に前記撮像フレームレートの変更指示を行い、前記撮像フレームレートを上げるときには、前記撮像フレームレートの変更指示より前に前記絞りまたはNDフィルタの変更指示を行う
ことを特徴とする請求項7に記載の撮像素子。 - 請求項1乃至8のいずれか1項に記載の撮像素子と、
前記撮像素子からの前記露出制御の指示を受けて、露出制御を実行する露出制御手段と、を備える
ことを特徴とする撮像装置。 - 複数の画素部を有する撮像部によって取得された画像信号を出力する撮像素子の制御方法であって、
撮像装置から目標輝度値を受信する工程と、
前記目標輝度値に対応する、前記画素部の蓄積時間と前記撮像部の出力信号に対するゲインとに基づいて、前記撮像素子内での露出制御を実行する工程と、
被写体の輝度値が前記撮像素子内での露出制御範囲を超える場合に、撮像装置に対して露出制御を指示する工程と、を有する
ことを特徴とする制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018143423A JP2020022034A (ja) | 2018-07-31 | 2018-07-31 | 撮像素子、撮像装置および制御方法 |
US16/451,140 US10944913B2 (en) | 2018-07-31 | 2019-06-25 | Imaging element, imaging device, and control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018143423A JP2020022034A (ja) | 2018-07-31 | 2018-07-31 | 撮像素子、撮像装置および制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020022034A true JP2020022034A (ja) | 2020-02-06 |
Family
ID=69227646
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018143423A Pending JP2020022034A (ja) | 2018-07-31 | 2018-07-31 | 撮像素子、撮像装置および制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10944913B2 (ja) |
JP (1) | JP2020022034A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2021193814A1 (ja) * | 2020-03-27 | 2021-09-30 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009077230A (ja) * | 2007-09-21 | 2009-04-09 | Seiko Epson Corp | 画像処理装置、マイクロコンピュータ及び電子機器 |
JP5238365B2 (ja) | 2008-06-05 | 2013-07-17 | 富士フイルム株式会社 | 撮像装置 |
JP5514961B2 (ja) * | 2011-08-31 | 2014-06-04 | 富士フイルム株式会社 | レンズ装置、カメラシステム、露出制御方法 |
JP2013150167A (ja) * | 2012-01-19 | 2013-08-01 | Sony Corp | 撮像装置、色補正方法、および色補正プログラム |
US8964062B1 (en) * | 2012-12-18 | 2015-02-24 | Amazon Technologies, Inc. | Integrated light sensor for dynamic exposure adjustment |
US8982238B2 (en) * | 2013-07-02 | 2015-03-17 | Omnivision Technologies, Inc. | Multi-target automatic exposure and gain control based on pixel intensity distribution |
JP6223028B2 (ja) * | 2013-07-11 | 2017-11-01 | キヤノン株式会社 | 撮像装置、制御方法及びそのプログラム |
JP6345500B2 (ja) * | 2014-06-20 | 2018-06-20 | 株式会社ソシオネクスト | デジタルカメラの露出制御方法およびデジタルカメラ |
JP6576115B2 (ja) * | 2015-06-17 | 2019-09-18 | キヤノン株式会社 | 撮像装置及びその制御方法 |
WO2018121313A1 (en) * | 2016-12-27 | 2018-07-05 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for exposure control |
JP2019004416A (ja) * | 2017-06-19 | 2019-01-10 | キヤノン株式会社 | 撮像装置、その制御方法、および制御プログラム |
-
2018
- 2018-07-31 JP JP2018143423A patent/JP2020022034A/ja active Pending
-
2019
- 2019-06-25 US US16/451,140 patent/US10944913B2/en not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2021193814A1 (ja) * | 2020-03-27 | 2021-09-30 | ||
WO2021193814A1 (ja) * | 2020-03-27 | 2021-09-30 | 富士フイルム株式会社 | 撮像装置 |
JP7572511B2 (ja) | 2020-03-27 | 2024-10-23 | 富士フイルム株式会社 | 撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
US20200045217A1 (en) | 2020-02-06 |
US10944913B2 (en) | 2021-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5439197B2 (ja) | 撮像装置、撮像方法、および、撮像プログラム | |
JP5347707B2 (ja) | 撮像装置および撮像方法 | |
JP2015109503A (ja) | イメージセンサおよびイメージセンサの動作方法、撮像装置、電子機器、並びにプログラム | |
JP2008016976A (ja) | 撮像装置及びその制御方法並びに撮像システム | |
US10356339B2 (en) | Image pickup device and imaging apparatus with reducing magnification processing | |
JP2014154982A (ja) | 撮像装置およびその制御方法 | |
JP2009201094A (ja) | 撮像装置および撮像方法 | |
JP5343588B2 (ja) | 撮像装置 | |
JP2018006827A (ja) | 撮像装置、撮像プログラム、撮像方法 | |
JP5223686B2 (ja) | 撮像装置および撮像方法 | |
JP2010062671A (ja) | 撮像装置およびその制御方法、プログラム | |
JP2006174404A (ja) | 固体撮像素子および固体撮像装置 | |
US11044411B2 (en) | Imaging element and imaging apparatus | |
US8325246B2 (en) | Imaging apparatus and imaging method capable of imaging at a low frame rate | |
JP2010103700A (ja) | 撮像装置および撮像方法 | |
JP5820720B2 (ja) | 撮像装置 | |
JP5310331B2 (ja) | 撮像装置および撮像方法 | |
JP2020022034A (ja) | 撮像素子、撮像装置および制御方法 | |
JP6580111B2 (ja) | 撮像素子および撮像装置 | |
US7619681B2 (en) | Image-capturing device that, when it is determined that a control value of an exposure-control exceeds a corresponding predetermined value, adjusts the control value to a value not exceeding the corresponding predetermined value, then sets the control value again based on the result of comparing luminance data obtained after an adjustment and a predetermined target luminance value, and method for controlling same | |
JP7234015B2 (ja) | 撮像装置およびその制御方法 | |
JP2011009834A (ja) | 撮像装置及び撮像方法 | |
JP6288990B2 (ja) | 撮像装置、制御方法及びそのプログラム | |
JP2019161438A (ja) | 画像処理装置、画像処理方法及び画像処理システム | |
JP4158767B2 (ja) | 撮像装置 |