JP2007251904A - 撮像装置 - Google Patents

Abstract

【課題】広ダイナミックレンジを有し、移動体が画像に含まれる場合であっても、その解像度の低減を抑制可能である撮像装置等を提供するものを提供する。
【解決手段】映像信号を検出する第１のラインメモリと、第２のラインメモリと、写体を撮像可能なイメージセンサ１１と、画面分割部４７と、画面分割部４７により分割された各エリアの輝度値の積算結果を比較して、輝度レベルの低い順に低輝度エリアを抽出し、低輝度エリアの輝度平均値を算出する低輝度平均値算出部４８ａと、分割された各エリアの輝度値の積算結果を比較して、輝度レベルの高い順に高輝度エリアを抽出し、高輝度エリアの輝度平均値を算出する高輝度平均値算出部４８ｂと、各算出手段による輝度平均値の算出結果に基づき、それぞれ第１，第２の映像信号を得る光量を個別に制御する第１，第２の制御信号を生成する低速シャッタ制御部４９ａ及び高速シャッタ制御部４９ｂとを具備する。
【選択図】図８

Description

この発明は、移動物体や動画などの撮像においてもダイナミックレンジを拡大可能な撮像装置に関する。

ＣＣＤやＣＭＯＳセンサを用いた撮像装置において、明るい被写体から暗い被写体までが含まれるシーンを撮像しようとすると、これら撮像装置のダイナミックレンジが狭いため、明るい部分が飽和して飛んでしまう、暗い部分のＳ／Ｎが悪くノイズにうずもれ、見えなくなるなどの欠点がある。また、広ダイナミックレンジレンジ化の技術は色々と試みられてきたが、カメラの基本特性である感度、解像度、高速性を犠牲にせずにダイナミックレンジを拡大することは著しく困難である。

従って、目でモニタ画像を確認する場合や画像処理技術を用いて自動車などの衝突防止や自動運転する場合には感度、解像度、高速性を維持したままでダイナミックレンジを拡大する技術の確立が強く期待されている。

これを解決するために、高速シャッタ画像と低速シャッタ画像の２枚の画像を同じに撮像装置から取り出し、これらを合成することにより、ダイナミックレンジを広げて明るい部分から暗い部分に至るまで、鮮明に撮影できる方法も提案され、実用化されている。

ところが、実際には、高速シャッタ、低速シャッタ画像を取り出す際にシャッタ速度を理想的な値に瞬時に設定することが極めて難しい。これを解決する手段として、撮像された画像を分割することにより、この中の情報から最適シャッタ速度を決定しようとする試みも行われている。

即ち、被写体の１画面の中から、明るい部分を選択して取り出し、この明るい部分の輝度情報を検出して、この大きさによって高速画像用電子シャッタ時間を決定する。一方、被写体の１画面の中から、暗い部分を選択して取り出し、この暗い部分の輝度情報を検出して、その輝度情報の大きさによって低速画像用電子シャッタ時間を決定する。

この具体的方法は、被写体の１画面の中をたとえば５×５の２５分割して、この各領域内で輝度情報を検出して明るい方から暗い方に並べて順番をつける。そこで、明るい方から、例えば６個の領域を選択して、この領域内の輝度情報を抽出して、高速画像用電子シャッタ時間を決定する。一方、暗い方から、例えば５個の領域を選択して、この領域内の輝度情報を抽出して、低速画像用電子シャッタ時間を決定する。

このようにして、被写体のシーンが変化するに伴い、高速画像用、低速画像用それぞれの電子シャッタ時間を任意に設定することができる。これを適応型制御と呼んでいる（特許文献１及び２参照）。

しかしながら、これらの方法を用いたとしても、被写体の中に急速に移動する物体が含まれていると、この部分が二重像になる、輪郭がぼける、１画面のメモリが必要になるため信号取得までに時間がかかり、画像処理が迅速にできないなどの欠点がある。このため、見たいところが必ずしも鮮明に見えるとは限らず、しかも信号の高速性が失われ、車載カメラや移動体に取り付けて使うカメラでは十分満足できるような撮像装置を作ることは困難となる。

また、高感度画素と低感度画素をラインごとに配置したＣＣＤ（非特許文献１参照）を用いると上記画像が２重になる欠点は軽減されるが、画素が２倍必要となり、利用できる光量が１／２に減少してしまう。そのため、感度が悪くなり、低照度の被写体が撮影できない、暗い場合には画像処理が使えないという欠点がある。

一方、撮像装置でダイナミックレンジを広げる手段としては上述した技術のほかに、明るいシーンから暗いシーンまで広範囲に感度を有するような撮像デバイスを開発して、これを用いて撮像装置をつくればそれなりの効果が期待できると予想される。

しかしながら、ダイナミックレンジ拡大は撮像デバイス開発技術者の永遠の課題であって、プロセス技術の改良や設計手法の改良など数々の試みがなされてきたが、ノイズが増大して、感度が悪くなるなどの弊害が生じ、一般に利用できるカメラが作れる状況には至っていない。

この中で、フォトダイオードで蓄積状態において、振幅を小さくしたリセットパルスを加えることにより蓄積された信号電荷の一部を掃き出し消去させた後に、再度、信号電荷を蓄積させる動作方法がある（非特許文献２参照）。この動作によって、光量対信号電荷の特性曲線に折れ線特性を持たせることにより、実質的にダイナミックレンジを広げようとする試みである。しかしながら、この方式においても、リセットパルスの振幅値が画素ごとに変化すると掃き出し電荷量が変化してしまい、画素ごとに一様な信号が得られず、ノイズが発生するという欠点があり、実用的に困難である。

なお、２ライン同時読み出し型の固体イメージセンサを用いて、第１フィールドの露光時間を長く、第２フィールドの露光時間を短くして、１フィールド毎に露光条件の異なるビデオ信号を交互に得る方法もあるが、ブレの影響を受けやすく、かつ各フィールドに対応したビデオ信号を収容するフィールドメモリを備える必要がある（特許文献３参照）。
小田、ほか：広ダイナミックレンジ撮像素子の開発−第４世代スーパーＣＣＤハニカム−、映像情報メディア学会技術報告、Ｖｏｌ．２７， Ｎｏ．２５， ｐｐ．１７−２０，２００３年３月２８日。 U．Seger, H.G.Graf and M.E.Landgraf : Vision Assistance in Scenes with Extreme Contrast, IEEE Micro, Vol.13, No.1, pp.50-56, May 1993. 特開２００３−２５００９４号公報 特開２００３−３１９２５０号公報 特開平５−２２６６９号公報

この発明は、画質の低下を招くことなくダイナミックレンジを拡大できると共に動画像もぶれることなく鮮明に撮像できる撮像装置を提供することを目的とする。

本発明の第１の形態に係る撮像装置は、被写体の２次元画像を、少なくとも一部期間が重複している第１の露光時間および第２の露光時間で撮像可能であって、前記第１の露光時間で撮像された第１映像信号を格納するための第１のラインメモリおよび前記第２の露光時間で撮像された第２映像信号を格納するための第２のラインメモリとを備え、前記第１及び第２のラインメモリ間の対応する映像信号を並行して出力可能なイメージセンサと、前記２次元画像を複数のエリアに分割し、当該エリアごとに対応する前記第１のラインメモリから得られる信号と前記第２のラインメモリからの信号を選択的に抽出して前記複数のエリアごとにそれぞれの積算値を求め、各エリアの積算値を比較して、輝度レベルの低い順にｎ個の低輝度エリアを抽出し、そのｎ個の低輝度エリアの輝度平均値を算出する低輝度平均値算出手段と、前記２次元画像を複数のエリアに分割し、当該エリアごとに対応する前記第１のラインメモリから得られる信号と前記第２のラインメモリから得られる信号を選択的に抽出して前記複数のエリアごとにそれぞれの積算値を求め、各エリアの積算値を比較して、輝度レベルの高い順にｍ個の高輝度エリアを抽出し、そのｍ個の高輝度エリアの輝度平均値を算出する高輝度平均値算出手段と、前記各輝度平均値の算出結果に基づき、それぞれ前記第１，第２の露光時間を個別に制御する第１，第２の制御信号を生成する手段とを具備したことを特徴とする。

また、本発明の第２の形態に係る撮像装置は、被写体の２次元画像を、第１の露光時間および第２の露光時間で撮像可能であって、前記第１の露光時間で撮像された第１映像信号を格納するための第１のラインメモリおよび前記第２の露光時間で撮像された第２映像信号を格納するための第２のラインメモリとを備え、第１の露光時間および第２の露光時間の和が１／３０ｆｐｓ未満であってかつ、前記第１及び第２のラインメモリ間の対応する映像信号を並行して出力可能なイメージセンサと、前記第１のラインメモリからの第１の信号出力の輝度平均値を算出する第１輝度平均値算出手段と、前記第１輝度平均値算出手段の結果にもとづいて、前記第１の映像信号を得る光量を個別に制御する第１の制御信号を生成する第１制御信号生成手段と、前記第２のラインメモリからの第２の信号出力の輝度平均値を算出する第２輝度平均値算出手段と、前記第２輝度平均値算出手段の結果にもとづいて、前記第２の映像信号を得る光量を個別に制御する第２の制御信号を生成する第２制御信号生成手段とを備えたことを特徴とする。

この発明によれば、画質の低下を招くことなくダイナミックレンジを拡大できると共に動画像もぶれることなく鮮明に撮像できる撮像装置が得られる。

以下、図面を参照して、本発明に係る撮像装置の一実施形態を説明する。

［第１実施形態］ 図１は、本発明の第１実施形態に係る撮像装置のＣＭＯＳイメージセンサ１の概略構成を示すブロック図である。図１に示すように、このＣＭＯＳイメージセンサ１は、主に、光を検出する画素部１１と、画素部１１を制御する同期信号を生成する同期信号生成部１２と、画素部１１からの出力信号を格納する格納部１３とから構成されている。

画素部１１には、複数の画素を有し、レンズを介して光が入射され、光電変換によって入射光量に応じた電荷が生成される。各画素の電荷の蓄積量は後述する露光時間により制御される。生成された電荷に対応するアナログ信号は、格納部１３に出力される。

同期信号生成部１２は、後述する露光時間を決定するタイミングパルスを生成するタイミングジェネレータ１２１と、フローティングディフュージョンＦＤに転送するための読み出しトランジスタへのゲート電圧を印加するためのレベルシフタ１２２と、各画素を駆動するための垂直走査を行う垂直シフトレジスタ１２３と、水平走査を行う水平シフトレジスタ１２４とを備えている。

格納部１３は、画素部１１で得られるアナログ信号に対して、ノイズを除去しデジタル変換を行うＣＤＳ／ＡＤＣ部１３１と、１ライン分の高速シャッタに対応する映像信号ＳＨを記憶する第１（ライン）メモリ１３２と、１ライン分の低速シャッタに対応する映像信号ＳＬを記憶する第２（ライン）メモリ１３３とを備えている。

画素部１１は、例えば、縦４８０画素、横６４０画素が配列され、感光面となっている。これらの１画素は、図１に示すように、４つのトランジスタ（行選択トランジスタＴａ、増幅トランジスタＴｂ、リセットトランジスタＴｃ、読み出しトランジスタＴｄ）とフォトダイオードＰＤとから構成されている。上記トランジスタＴａ，Ｔｂの電流通路は、電源ＶＤＤと垂直信号線ＶＬＩＮ間に直列接続される。行選択トランジスタＴａのゲートには、転送ゲートパルスＡＤＲＥＳｎが供給される。リセットトランジスタＴｃの電流通路は、電源ＶＤＤと増幅トランジスタＴｂのゲートとの間に接続され、そのゲートにはリセットパルスＲＥＳＥＴｎが供給される。また、上記トランジスタＴｄの電流通路の一端は、上記フローティングディフュージョンＦＤに接続され、そのゲートに読み出しパルスＲＥＡＤｎが供給される。そして、上記トランジスタＴｄの電流通路の他端にフォトダイオードＰＤのカソードが接続され、このフォトダイオードＰＤのアノードは接地されている。なお、上記図１では、１画素分の４つのトランジスタのみを表示したが、実際には複数の画素の各々に対し、図１のような４つのトランジスタが配置されている。

このように形成されたＣＭＯＳイメージセンサ１により、撮像が行われる。この撮像された光学像は、フォトダイオードＰＤで光電変換される。まず、フローティングディフュージョンＦＤのリーク信号を除去するために、リセットパルスＲＥＳＥＴｎがリセットトランジスタＴｃに印加され、フローティングディフュージョンＦＤをリセットレベル（電圧ＶＤＤ）にリセットする。このリセットレベルは、転送ゲートパルスＡＤＲＥＳｎが印加され、行選択トランジスタＴｂがオンになると、ＣＤＳ／ＡＤＣ部１３１へ信号として読み出される。次に、フォトダイオードＰＤで光電変換された信号電荷は、読み出しパルスＲＥＡＤｎが印加されると読み出しトランジスタＴｄがオンになり、フローティングディフュージョンＦＤに転送される。そして、転送ゲートパルスＡＤＲＥＳｎが印加されると行選択トランジスタＴｂがオンになり、増幅トランジスタＴｂで増幅された信号が垂直信号線ＶＬＩＮを経由してＣＤＳ／ＡＤＣ部１３１に信号及びリセットレベルとして読み出される。ＣＤＳ／ＡＤＣ部１３１で信号及びリセットレベルから先のリセットレベルを差分動作させることで信号成分のみを抽出することができる。そして、抽出した信号のみをＣＤＳ／ＡＤＣ部１３１でアナログデジタル変換している。なお、フォトダイオードＰＤは、読み出しパルスＲＥＡＤｎが印加された後にも、継続して光が当たっているので、蓄積状態に入り、光電変換が継続して行われている。

次に、図２〜図５を参照して、本実施形態の撮像装置のＣＭＯＳセンサの３種類の動作パターンを説明する。

［第１動作パターン］ 図２は、本発明の撮像装置のＣＭＯＳセンサの第１動作パターンを示す図である。図２（ａ)の符号ＨＰは、水平同期パルスのタイミングを示すもので、例えば、ＶＧＡ画素では１Ｖ＝１／３０ｆｐｓで画面が構成され、全体で５２５個のパルスが発生することになる。パルスの間隔は１５．７４ｋＨｚであって、符号１Ｈで示されている。

図２(ｂ）は、リセットパルスＲＥＳＥＴｎの信号を示すものである。リセットパルスＲＥＳＥＴｎは、フローティングディフュージョンＦＤを電源ＶＤＤの電圧にリセットすることにより、信号電荷を空にする。図２（ｃ）は、読み出しパルスＲＥＡＤｎを示している。この読み出しパルスＲＥＡＤｎによりフォトダイオードＰＤに蓄積された信号電荷をフローティングディフュージョンＦＤに転送する。図２（ｄ）は、転送ゲートパルスＡＤＲＥＳｎを示すものである。この転送ゲートパルスＡＤＲＥＳｎは、信号電荷を出力線に読み出すためのセンシングパルスとなる。

フォトダイオードＰＤに蓄積される信号電荷は、入射光量が一定であれば、蓄積時間に比例して増大する。そこで、低速シャッタに対応する映像信号ＳＬを得るためには長時間露光、高速シャッタに対応する映像信号ＳＨを得るためには短時間露光にすればよい。本実施の形態では、長時間露光ＴＬと短時間露光ＴＨとの２つの信号蓄積モードがある。長時間露光ＴＬはｔ＝ｔ０で蓄積が開始され、ｔ＝ｔ７で終了する。そして、短時間露光ＴＨはｔ＝ｔ３で蓄積が開始され、ｔ＝ｔ５で終了する。それぞれの蓄積終了の時間であるｔ＝ｔ５、ｔ７は、同一の１Ｈの期間内であることが必要なので、設定の自由度は小さいが、蓄積開始の時間、ｔ＝ｔ０、ｔ＝ｔ３は異なる１Ｈの範囲でよく、各々任意の時間に設定できる。ＴＬとＴＨとは少なくとも一部が重複している露光時間である。

図２（ｅ）は、図２（ａ）〜図２（ｄ）に示した制御によるフォトダイオードＰＤの信号電荷の蓄積の変化を示すものである。短時間露光ＴＨにおける強い光が入射された画素は、ＳＨ２の直線に沿って信号電荷が増加していき、短時間露光ＴＨにおける弱い光が入射された画素は、ＳＨ１の直線に沿って信号電荷が増加する。また、更に弱い光が入射された長時間露光ＴＬにおける画素は、ＳＬの直線に沿って信号電荷を蓄積する。

次に、図２〜図４を参照して、信号電荷の時間的変化を詳細に説明する。図３及び図４（ａ）〜（ｃ）において、上段（ａ）は入射光量が大であり短時間露光ＴＨとされる画素（高輝度画素）の場合、中段（ｂ）は入射光量が中であり短時間露光ＴＨとされる画素（中輝度画素）の場合、下段（ｃ）は入射光量が小であり長時間露光ＴＬとされる画素（低輝度画素）におけるｔ＝ｔ１〜ｔ７の信号電荷を示す。フォトダイオードＰＤに光があたると信号電荷は徐々に増加していく。ｔ＝ｔ１の時点では（ａ）の場合、信号電荷は飽和し、読み出しトランジスタＴｄのポテンシャル障壁を超えてフローティングディフュージョンＦＤに流入する。一方、（ｂ）及び（ｃ）の場合、信号電荷は未飽和の状態にある。

次に、時間ｔ＝ｔ２では、リセットパルスＲＥＳＥＴｎが加えられ、リセットトランジスタＴｃのポテンシャル障壁が、押下げられ、（ａ）〜（ｃ）のフローティングディフュージョンＦＤに蓄積された信号電荷は、消去される。続いて、ｔ＝ｔ３において、振幅Ｖｍの読み出しパルスＲＥＡＤｎが加えられると、読み出しトランジスタＴｄのポテンシャル障壁がエネルギーＶｍまで下がり、（ａ）においては、このレベル以上の信号電荷は、フローティングディフュージョンＦＤに流入する。これに対し、（ｂ）及び（ｃ）においては、信号電荷は、ポテンシャル障壁のエネルギーＶｍまで達していないので、信号電荷はそのまま変化することはない。この後、読み出しパルスＲＥＡＤｎは停止し、ポテンシャル障壁は、０Ｖ近くまで上昇するので、井戸型ポテンシャルに余裕ができ、高感度画素でも信号蓄積が再開される。ｔ＝ｔ４において、リセットパルスＲＥＳＥＴｎが加えられ、リセットトランジスタＴｃのポテンシャル障壁が引き下げられ、フローティングディフュージョンＦＤの蓄積電荷は消去される。そして、ｔ＝ｔ５において、再び、読み出しトランジスタＴｄのポテンシャル障壁をエネルギーＶｍまで引き下げ、フローティングディフュージョンＦＤに電荷を蓄積し、この状態で転送ゲートパルスＡＤＲＥＳｎを加え、電荷量を読み取る。すなわち、（ａ）ではｔ＝ｔ３以降に新たに蓄積された信号電荷量ＳＨ１_{ｖａｌｕｅ}のみが読み出される。同様に、（ｂ）では振幅Ｖｍを越えた信号電荷量ＳＨ２_{ｖａｌｕｅ}のみが読み出される。このとき、ｔ＝ｔ５で読み出された第１の信号電荷量ＳＨ１_{ｖａｌｕｅ}，ＳＨ２_{ｖａｌｕｅ}は、高速シャッタ信号に対応する映像信号ＳＨとして、ＣＤＳ／ＡＤＣ部１３１を経て、第１メモリ１３２に格納され出力される。

信号電荷を読み出した後、ｔ＝ｔ６で、ｔ＝ｔ４時と同様にフローティングディフュージョンＦＤをリセットし、ｔ＝ｔ７で読み出しトランジスタＴｄのポテンシャル障壁をエネルギーＶｎまで下げ、フォトダイオードＰＤの全ての蓄積電荷をフローティングディフュージョンＦＤに流入させる。即ち、蓄積された信号電荷に関係なく、残された信号電荷が、全て読み出される。この状態で、再び、転送ゲートパルスＡＤＲＥＳｎが加えられるが、ｔ＝ｔ５において信号電荷が読み出された画素（図３（ａ），（ｂ））に対しては、ＳＬ２_{ｖａｌｕｅ}の信号レベルが読み出される。そして、ｔ＝ｔ５で読み出された信号ＳＨ１_{ｖａｌｕｅ}，ＳＨ２_{ｖａｌｕｅ}とｔ＝ｔ７で読み出した信号ＳＬ２_{ｖａｌｕｅ}は、ＣＤＳ／ＡＤＣ部１３１に出力される。ｔ＝ｔ５で信号電荷が読み出されない画素（図３（ｃ））は、ＣＤＳ／ＡＤＣ部１３１へ出力されること無くｔ＝ｔ７で読み出したＳＬ１_{ｖａｌｕｅ}のみを信号電荷として出力する。

図３（ｃ）の場合、即ち直線ＳＬ（図２）に沿って蓄積される電荷量は、小さいため、エネルギーＶｍに達することはなく、ｔ＝ｔ７まで読み出しトランジスタＴｄのポテンシャル障壁を越えることはない。したがって、ｔ＝ｔ７において初めて、ｔ＝ｔ０から蓄積された信号電荷がフローティングディフュージョンＦＤに流入する。この流入した信号電荷量ＳＬ１_{ｖａｌｕｅ}が、転送ゲートパルスＡＤＲＥＳｎにより読み取られる。ｔ＝ｔ７で読み取られた信号ＳＬ（図２）の信号電荷量ＳＬ１_{ｖａｌｕｅ}は、低速シャッタ信号に対応する映像信号ＳＬとして、ＣＤＳ／ＡＤＣ部１３１を経て、第２メモリ１３３に格納され出力される。上記の短時間露光信号ＳＨと長時間露光信号ＳＬは、水平レジスタ１２４により同時に読み出すことができる。

［第２動作パターン］ 次に、図５を参照して、本発明の第１実施形態に係る撮像装置のＣＭＯＳセンサの第２動作パターンを説明する。第１動作パターンにおいて、図２〜図４を用いて説明した際には、ｔ＝ｔ３までに蓄積した信号電荷を捨て去る構成であったが、第２動作パターンにおいては、この信号電荷を積極的に活用する構成とされている。したがって、第１動作パターンのように、ｔ＝ｔ４においてリセットパルスＲＥＳＲＴｎを加えることはない。すなわち、ｔ＝ｔ４まで蓄積された信号をフローティングディフュージョンＦＤに保持して得られる信号ＳＨ_{ｖａｌｕｅ}を読み出す。次に、時間ｔ＝ｔ５においてＲＥＳＥＴｎパルスを印加して、フローティングディフュージョンＦＤの電荷を消去しリセットレベルを出力する。そして、ＣＤＳ／ＡＤＣ部１３１により時刻ｔ＝ｔ４とｔ＝ｔ５の信号差分を信号成分としてデジタル信号に変換している。この信号差分を高速シャッタ信号ＳＨ１_{ｖａｌｕｅ}，ＳＨ２_{ｖａｌｕｅ}として読み出し、第１メモリ１３２に蓄積させる。そして、ｔ＝ｔ６においてフローティングディフュージョンＦＤの電荷を消去する。その前に、ＲＥＡＤｎパルスで電圧Ｖｍを印加して、Ｖｍ以上の信号電荷を排出する。この動作により、時刻ｔ＝ｔ７で各画素に対応した信号ＳＨ１_{ｖａｌｕｅ}，ＳＨ２_{ｖａｌｕｅ}のＬＯレベル側の信号ＳＬ２_{ｖａｌｕｅ}（図５）を出力することが出来る。ｔ＝ｔ７において読み出しトランジスタＴｄに読み出しパルスＲＥＡＤｎを加えてフォトダイオードＰＤに蓄積された信号電荷をすべてフローティングディフュージョンＦＤに転送して、転送ゲートパルスＡＤＲＥＳｎを加えて読出し、ＣＤＳ／ＡＤＣ部１３１により時刻ｔ＝ｔ６とｔ＝ｔ７の信号差分を信号成分としてデジタル信号に変換して、第２メモリ１３３に低速シャッタ信号ＳＬ１_{ｖａｌｕｅ}，ＳＬ２_{ｖａｌｕｅ}として蓄積させる。このように第２動作パターンにおいても、第１動作パターンと同様に高感度及び低感度の信号電荷を得ることができる。

なお、第２動作パターンにおいても、第１動作パターンと同様にｔ＝ｔ３で読み出しトランジスタＴｄに印加するパルスの振幅をＶｍにして、ポテンシャル障壁を所定のエネルギーまで下げ、信号電荷の一部をフォトダイオードＰＤに保存する構成である。

上記の第１動作パターン及び第２動作パターンに記載のように、読み出しパルスＲＥＡＤｎの振幅を変化させて、読み出しトランジスタＴｄのポテンシャル障壁を変化させた場合の補足説明をする。例えば、図６（ａ）に示すように、ｔ＝ｔａ，ｔｂ，ｔｃにおいて読み出しパルスＲＥＡＤｎによりポテンシャル障壁をＶ＝Ｖｍ，Ｖ１，Ｖ２と変化させたとする。これに伴い、光量に対する信号出力は、図６（ｂ）に示すように、いわゆる折れ線特性を示すことになる。この折れ線特性を有する理由は、第１動作パターンの図３及び図４に示したように、光量が大きいために一度信号電荷があふれて飽和した画素も、再度信号電荷が蓄積可能になるためである。

［第３動作パターン］ 次に、図７を参照して、本発明の第１実施形態に係る撮像装置の第３動作パターンを説明する。

図７に示すように、第３動作パターンでは、読み込みパルスＲＥＡＤｎの振幅を電圧Ｖｎに大きくしてｔ＝ｔ３で全ての信号電荷を読み出すようにしている。このようにすると一旦フォトダイオードＰＤに蓄積されてきた信号電荷全てが、ｔ＝ｔ３までフローティングディフュージョンＦＤに読み出され、フォトダイオードＰＤの信号電荷は一旦ゼロになる。この信号電荷の蓄積時間が、蓄積時間ＴＬとなる。この時点ｔ＝ｔ３から再び、信号電荷の蓄積が開始されｔ＝ｔ７までが高速シャッタ信号に対応する映像信号ＳＨの蓄積時間ＴＨとなる。まず、時刻ｔ＝ｔ４で信号ＳＬ_{ｖａｌｕｅ}を読出し、次の時刻ｔ＝ｔ５でフローティングディフュージョンＦＤをリセットする。次に、ＣＤＳ／ＡＤＣ部１３１で時刻ｔ＝ｔ４とｔ＝ｔ５の信号差分を信号成分としてＣＤＳ／ＡＤＣ部１３１でデジタル信号に変換している。本動作パターンでは、見かけ上フォトダイオードＰＤの飽和信号電荷量を約２倍にすることが出来る。特に、微細画素で飽和電荷量が減少するのを改善するのに有効である。また、本動作パターンは前半の蓄積時間を短くＴＨ期間とし、後半の蓄積時間を長くＴＬ期間として動作しても良い。このような動作に対し、信号読み出しの次にＲＥＳＥＴ動作をし、リセットレベルを読み出す方法であれば、ＲＥＳＥＴ動作により、リセットノイズが混入する。一方、上記第３の動作パターンにおける動作のように、ＲＥＳＥＴ動作でリセットレベルを読み出し、次に信号レベルを読み出す動作は、ＲＥＳＥＴ動作が途中に入らないため、純粋に信号成分のみＣＤＳ／ＡＤＣ部１３１で抽出できるため高Ｓ／Ｎの信号が得られる。この場合、露光時間の和が１／３０ｆｐｓ未満である。

［信号処理回路の構成］ このようにして得られた高速シャッタ信号に対応する映像信号ＳＨと低速シャッタに対応する映像信号ＳＬは、図８に示すような信号処理回路４に加えられる。この信号処理回路４において、上記のＣＭＯＳセンサ１から出力される低速シャッタ信号ＳＬと高速シャッタ信号ＳＨとは、それぞれ非直線処理を行う非直線部４１ａ，４１ｂ、Ｒｅｔｉｎｅｘ変換部４２により所望の特性に変換された後、加算部４３に入力される。このとき、各信号の振幅値は、必要に応じてレベル変換回路で変化させる構成であってもよい。加算部４３の出力は、ダイナミックレンジ拡大信号となっているが、デジタル信号処理部（ＤＳＰ）４４を通すことにより、白黒信号或いはカラー信号とすることができる。さらに、ＮＴＳＣエンコーダ４５によりアナログのＮＴＳＣ信号とすることができる。また、必要に応じて、信号出力はデジタル信号のままで取り出したり、ＬＶＤＳ信号にしたりすることができる。

一方、低速シャッタ信号ＳＬ及び高速シャッタ信号ＳＨは、マイコン４６に入力される。

このマイコン４６は、画面分割部４７と、低輝度平均値算出部４８ａと、高輝度平均値算出部４８ｂと、低速シャッタ制御部４９ａと、高速シャッタ制御部４９ｂとを備えている。また、マイコン４６は、ＥＥＰＲＯＭ４６ａを備えており、ＥＥＰＲＯＭ４６ａには、上記画面分割部４７〜高速シャッタ制御部４９ｂを制御するプログラムが格納されている。

まず、マイコン４６に入力された低速シャッタ信号ＳＬ及び高速シャッタ信号ＳＨは、画面分割部４７に入力され、分割されたエリア内の輝度を積算する。つづいて、その出力は低輝度画素の平均値を求める低輝度平均値算出部４８ａと、高輝度画素の平均値を求める高輝度平均値算出部４８ｂとに入力され、各々低速シャッタ制御部４９ａ及び高速シャッタ制御部４９ｂによりシャッタ時間を制御する。すなわち、低速シャッタ制御部４９ａ及び高速シャッタ制御部４９ｂにより生成した制御信号は、図１に示したタイミングジェネレータ１２１に入力され、タイミングジェネレータ１２１は、図２、図５、図７に示したタイミングで制御パルスを出力する。なお、実際には画面分割部４６まではマイコンのソフトプログラムにより構成される。低速シャッタ制御部４９ａ、高速シャッタ制御部４９ｂはそれぞれ図３の低速シャッタ時間ＴＬ、高速シャッタ時間ＴＨを決めるもので、被写体の内容によって長くなったり、短くなったり変化する。

すなわち、低速シャッタ時間ＴＬは図２（ｃ）のｔ＝ｔ０からｔ＝ｔ７であり、高速シャッタ時間ＴＨは図２（ｃ）のｔ＝ｔ３からｔ＝ｔ５である。実際には、ｔ５，ｔ７の位置は決まっているので、低速シャッタ制御４９ａ、高速シャッタ制御部４９ｂで決めるのはｔ＝ｔ０とｔ＝ｔ３のタイミングということになる。

図９は、第１実施形態における画像処理の具体例を示した図である。画面分割部４７は、低速シャッタ信号、高速シャッタ信号のそれぞれ画面を図９に示すように、例えば縦横５×５の２５ブロックに分ける。次に、このブロックごとに明るさを算出する。

各ブロック内で積算された輝度情報を基に２５のブロックを明るい方から暗い方に並べて順番（１〜２５）をつける。そして、高輝度平均値算出部４８ｂは、図９に示すように、明るい方から、例えば５個（１〜５）の領域を選択して、この領域内の輝度情報を抽出して、高速画像用電子シャッタ時間を決定する。一方、低輝度平均値算出部４８ａは、暗い方から、例えば５個（２１〜２５）の領域を選択して、この領域内の輝度情報を抽出して、低速画像用電子シャッタ時間を決定する。このようにすると、被写体のシーンが変化するに伴い、高速画像用、低速画像用それぞれの電子シャッタ時間を低速シャッタ制御部４９ａ及び低感度シャッタ制御部４９ｂにより、その都度、任意に設定することができる。

被写体の輝度分布が平坦であれば、明るい方から選んだ５個の領域の輝度と暗い方から選んだ５個（２１〜２５）の輝度とが接近するので、高速画像用、低速画像用それぞれの電子シャッタ時間が接近する。

一方、被写体の中に西日のような明るい部分と、逆光の木陰のような暗い部分が混在していると、その被写体の輝度分布は大きく変化したものとなる。このようなシーンでは、明るい方から選んだ５個の領域の輝度が大きく、暗い方から選んだ５個の輝度が小さくなる。従って、高速画像用の電子シャッタ時間が短く、低速画像用の電子シャッタ時間が長く両者のシャッタ時間は大きく離れる。

このように、被写体が変化するとそれに応じて輝度情報を的確に判断して、最適シャッタ時間を決定することができる。

図１０は、図８に示したＲｅｔｉｎｅｘ変換部４２を説明する図である。Ｒｅｔｉｎｅｘ変換部４２は、環境光による成分と被写体が反射して発生する物体光成分とを分離し、それぞれに最適処理を施した上で合成するものである。まず、入力信号は２次元ＬＰＦ４２１に加えられ、環境光成分が分離される。物体光成分は原信号から環境光成分を除去することによって得られるので、原信号は引算部４２２に加えられ、２次元ＬＰＦ４２１の出力が引き算され、物体光成分が得られる。環境光成分は必要に応じて圧縮部４２３ａにより圧縮され、利得調整部４２４ａを経て加算部４２５に加えられる。一方、物体光成分は必要に応じて伸長部４２３ｂにより伸長され利得調整部４２４ｂを経て加算部４２５に加えられる。加算部４２５の出力がＲｅｔｉｎｅｘ変換された信号となる。なお、引算部４２２を第２の２次元ＬＰＦに置換して構成することもできる。

以上のような適応型制御をＣＭＯＳセンサ及びその周辺回路に適用することによって、ＣＭＯＳセンサの特徴を十分に引き出すことができ、高性能の広ダイナミックレンジを有する撮像装置を構成できる。

また、従来にあっては、高感度画像と低感度画像の間に時間遅れがあるため、画像を合成すると二重画像になり、著しく画質が低下するという欠陥があった。特に高速で移動する被写体を撮るとエッジが二重になり、画像処理を行う場合にも誤差が大きく、精度が向上しないという問題があった。

この発明においては、図１のような新規な構成と動作を有する撮像デバイスを適応型処理に適応した場合、従来は時分割で低感度画像、高感度画像を交互に取り出していたものが、並列処理で取り出すことが可能になるという大きな効果がある。

［第２実施形態］ 次に、図１１を参照して、本発明の第２実施形態に係る撮像装置を説明する。第２実施形態に係る撮像装置は、第１実施形態と信号処理部のみが異なる構成である。すなわち、第２実施形態に係る信号処理部４’は、低速シャッタ信号と高速シャッタ信号とにそれぞれ独立したＲｅｔｉｎｅｘ変換部４２ａ，４２ｂを備えており、加算部を備えていない。このような構成により、画像処理を行う場合などの目的に応じて加算部を介さずに、Ｒｅｔｉｎｅｘ変換部４２ａ，４２ｂからの出力を各々ＤＳＰ回路４４ａ，４４ｂに加えることにより低速シャッタ信号、高速シャッタ信号を別々に出力とすることも可能である。

［第３実施形態］ 次に、図１２を参照して、本発明の第３実施形態に係る撮像装置を説明する。第３実施形態の撮像装置は、第１実施形態と信号処理部のみが異なり、その回路を簡素化している。すなわち、第３実施形態に係る信号処理部４aは、図１２に示すように、第１及び第２実施形態と異なり、画面分割部を備えていないマイコン４６’を有する構成である。

この信号処理部４ａは、単純に全画面の低輝度平均値算出部４８aの結果に応じて低速シャッタ制御４９ａを制御し、また、全画面の高輝度平均値算出部４８ｂの結果に応じて高速シャッタ制御部４９ｂを制御している。このような構成であれば、低輝度平均値算出レベルを高レベルに設定することにより、低輝度の信号を見易くすることが出来る。また、高輝度平均値算出レベルを低レベルに設定することで、高輝度の信号レベルをより大きいレベルまで再生することが出来る。第３実施形態の信号処理回路では、画面分割用の２５個のメモリと、順番を並べ替える回路が不要となる。

［第４実施形態］ 次に、図１３を参照して、本発明の第４実施形態に係る撮像装置を説明する。第４実施形態の撮像装置は、第１実施形態と信号処理部のみが異なり、その回路を簡素化している。すなわち、第４実施形態に係る信号処理部４ｂは、図１３に示すように、第１及び第２実施形態と異なるマイコン４６’’を備えている。

マイコン４６’’は、画面分割部、高輝度平均値算出部及び低輝度平均値算出部を備えておらず、全画面の輝度平均値を算出する輝度平均値算出部４８ｃと、低速シャッタの制御時間の１／Ｎ（Ｎ＞１）の制御時間を導く１／Ｎ変換部４８ｄを備えている。

このマイコン４６’’においては、単純に加算信号の全画面の輝度平均値算出４８ｃの結果に応じて低速シャッタ制御部４９aを制御している。また、この低速シャッタの制御信号をもとに１／Ｎ変換部４８ｄにより高速シャッタ制御部４９ｂを制御する。即ち、１／Ｎ変換部４８ｄは、第１の制御信号（低速シャッタの制御信号）をもとに第２の制御信号を生成する第２制御信号生成部として機能する。第４実施形態では、複雑な低速シャッタ制御と高速シャッタ制御の制御が不要で、使いやすい撮像装置が提供できる。特に携帯電話などのカメラでは小型（回路規模も小さい）簡単制御のセンサ要求に合っている。

［第５実施形態］ 次に、図１４を参照して、本発明の第５実施形態に係る撮像装置を説明する。第５実施形態に係る撮像装置は、第４実施形態と信号処理部のみが異なる構成である。すなわち、第５実施形態に係る信号処理部４ｃは、第４実施形態と異なり、低速シャッタ信号側の機能構成は、非直線処理部４１ａとＲｅｔｉｎｅｘ変換部４２ａの構成が入れ替わり、Ｒｅｔｉｎｅｘ変換部４２ａの処理の後に非直線処理部４１ａの処理がなされる構成とされている。また、高速シャッタ信号側の機能構成は、Ｒｅｔｉｎｅｘ変換部を有しておらず、非直線処理部４１ｂのみを有する構成とされている。これら以外の構成は、第４実施形態と同様である。

通常の撮影では、低速シャッタ側の不要光線による広がりの影響が大きい。例えば、車載カメラで夜間の道路を撮影する場合、対向車のヘッドランプが画面に入ると、低速シャッタ画像において、ヘッドランプ周辺に明るいフレアのような広がりが生じることがある。この画像信号にRetinex処理を施すと、フレア成分が除去でき、ヘッドランプの明るさの広がりを除去できる。このようにすると、ヘッドランプ近くに人影が存在する場合にもフレア成分で、人影が見えなくならず、鮮明な画像をとらえることができる。このように、高輝度の被写体が画面に入ってきた場合には本発明の効果は大変大きなものとなる。このような場合には、高速シャッタ画像ではヘッドランプの信号はさほど大きくないので、周辺のフレア状の明るさの広がりもは大きくなく、画像に与える影響も小さい。したがって、高速シャッタ画像には特にRetinex処理を施す必要がなく鮮明な画像をとらえることができる。

上記説明のように、低速シャッタ画像だけに処理を加えることにより、回路規模が小さくでき、その結果消費電力も押さえることができるというメリットがある。

［第６実施形態］ 次に、図１５を参照して、本発明の第６実施形態に係る撮像装置を説明する。第６実施形態に係る撮像装置は、第５実施形態と信号処理部のみが異なる構成である。すなわち、第６実施形態に係る信号処理部４ｄは、第５実施形態と異なり、非直線処理部４２ｂの後に、Ｒｅｔｉｎｅｘ変換部４１ｂを有する構成とされている。これら以外の構成は、第５実施形態と同様である。

［第７実施形態］ 次に、図１６を参照して、本発明の第７実施形態に係る撮像装置を説明する。第７実施形態の撮像装置は、第１実施形態とＲｅｔｉｎｅｘ変換部のみが異なる構成である。第１実施形態に係るＲｅｔｉｎｅｘ変換部は、一般にハローと呼ばれる輪郭部付近に発生するハレーションが生じる虞がある。そこで、第７実施形態に係るＲｅｔｉｎｅｘ変換部は、ハレーションを除去する処理を施した回路構成とされている。すなわち、第７実施形態に係るＲｅｔｉｎｅｘ変換部４２’は、２次元補正処理部４２６と、その出力信号を加算する加算部４２７とを備える構成である。Ｒｅｔｉｎｅｘ変換部４２’に入力された入力信号は、２次元ＬＰＦ（ローパスフィルタ）４２１と、引算部４２２と、２次元補正処理部４２６に入力される。２次元補正処理部４２６に入力された信号は、補正処理が施され、引算部４２２からの出力信号と加算部４２７において加算される。この加算された信号は、伸長部４２３ｂに入力され、以下、第１実施形態と同様の信号処理がなされる。なお、引算部４２２は、第２の２次元ＬＰＦに置換して構成し、２次元ＬＰＦ４２１を第１の２次元ＬＰＦとして機能させることも可能である。

［他の実施形態］ 上記説明では、撮像デバイスとして、ＣＭＯＳセンサ１の例で説明してきたが、ＣＣＤセンサ１’でも同様に実施できる。

図１７は、２ラインメモリに相当する２個のライン転送部を有するインターライン転送のＣＣＤセンサ１’の構成を説明したものである。ここでは、原理説明のため垂直６画素、水平３画素のいわゆる３×６の画素部１１’を有するＣＣＤセンサ１’について示してある。

垂直方向に高感度画素Ｈと低感度画素Ｌとが交互に配列されており、それぞれの画素に隣接して垂直転送部が４個ずつ配列され、いわゆる垂直転送は４相駆動の例である。高速シャッタ信号ＳＨ、低速シャッタ信号ＳＬは垂直転送後、それぞれ格納部１３’に設けられたＬ用ライン転送部１３１’、Ｈ用ライン転送部１３２’にライン毎の信号として一旦メモリされ、読み出される。従って、このライン転送部をラインメモリとみなすこともできる。なお、この際の読み出しタイミングとしては高感度信号Ｈ、低感度信号Ｌを同時に読み出すことも、時間ごとに順次に読み出すこともできる。

以上のように、本発明によると、被写体の輝度差が大きく変化するようなシーンが続く場合であってもそのシーンに応じて最適な高感度画像と低感度画像が得られ、しかも、高感度画像と低感度画像に時間差がないので、被写体やカメラが動いた場合でもぶれや２重像になることがなく、鮮明で最適な広ダイナミックレンジ画像を容易に得ることができるという大きな効果がある。

例えば、図１８は従来の手法によるＷＤＲカメラの出力特性の一例である。この例では低速シャッタ速度を１／６０ｓ、高速シャッタ速度を１／１１，０００ｓにそれぞれ設定し、これらの合成比率を１０％と９０％で合成したものである。しかしながら、カーブの中で４０ｎｉｔ付近に不連続点が生じている。

本来、低速シャッタ速度で得られる画像の比率を１０％でなく、３０〜４０%程度に大きくして、感度向上を図りたいところである。しかしながら、このような比率で合成すると、不連続点が大きくなり、この付近の明るさに対して画像の再現が著しく低下するという欠点があった。

ここで、本願発明は、低速シャッタ画像成分を分析すると本来必要な被写体からの反射光成分に加えて、外部照明による環境光の影響に起因することに着目して、なされたものである。即ち、本願発明は、カメラで撮影する際に必要な被写体からの光学像の成分を抽出することにより、低速シャッタ速度で得られる画像の比率を大きくしても不連続性を起すことなく、ＷＤＲ画像を著しく改善したものである。

特に、本願発明は車載カメラや移動体に取り付けるカメラでは被写体が高速に移動したり、変化したりすることが多いが、高感度画像と低感度画像の露光条件を高速に精度よく決定することができ、しかも高感度画像と低感度画像とが同時に得られるので、高解像度で確実な広ダイナミックレンジ画像を容易に得ることができるという大きな効果がある。

また、レベルシフタと１Ｈメモリを加えるだけで、ＣＭＯＳセンサの画素構成を大きく変えることがないため、ＣＭＯＳセンサの特性を最大限活用した上で、Ｓ／Ｎがよく高感度の広ダイナミックレンジカメラを構成できるというメリットがある。

また、同時に分離した高感度画像と低感度画像が得られるため、信号を分離する必要がなく、個別に非直線処理や、輝度信号平均値算出などの信号処理が実施できる。また、時間分割で高感度画像と低感度画像を得る方式に対して、同時に画像がえられるため、高速動作が可能となる。

さらに、これらの信号を用いて、白線検出や障害物検出、前方車両との距離計測などの画像処理を行う場合にも高感度、高解像度、広ダイナミックレンジの画像を高速で得られるので、確実で精度のよい処理ができるという大きな効果がある。

従来方式では感度、解像度、ダイナミックレンジの３大要件の一つを改良しようとするとどこかに弊害が発生することが多かったが、本発明によれば３大要件のいずれの性能も低下することなしに、どの特性も大幅に特性が改善できるとともに時間遅れがなく高速に信号が得られるという特徴がある。更に本発明の信号処理を用いると、本発明の効果が一層発揮できる。即ち、カメラ全体のダイナミックレンジが広くなると階調範囲が一定である場合には当然、注目したい被写体のコントラストが低下してしまい、判別しにくくなるが、本発明の回路処理を施すことにより、鮮明な画像が得られるという特徴がある。

このことにより、画像認識の際の誤動作がなくなり、悪条件下でも確実な制御が可能になるという利点がある。さらに、本発明によれば、高速動作が可能になるので、従来、２シャッタ方式では使えないといわれていた車内監視カメラや側方に設置する車載カメラにも使用可能になり、用途が大きく広がるという効果がある。

上記したように、車載カメラは従来、一長一短があって、広く普及することができなかったが、本発明のカメラは特に移動体に取り付けられることを前提とした車載カメラに好適な機能を数多く含んでおり、車載カメラに最適である。

以上、発明の実施形態を説明したが、本発明はこれらに限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更、追加、置換等が可能である。例えば、各ブロックの組み合わせは任意であり、また、上記画像装置は、単体の装置で構成する必要はなく、複数の装置の組み合わせであってもよい。

本発明の第１実施形態に係る撮像装置のＣＭＯＳセンサの構成を示す図である。 本発明の第１実施形態に係る撮像装置のＣＭＯＳセンサの第１動作パターンを説明する図である。 本発明の第１実施形態に係る撮像装置のＣＭＯＳセンサの電荷の移動を説明する図である。 本発明の第１実施形態に係る撮像装置のＣＭＯＳセンサの電荷の移動を説明する図である。 本発明の第１実施形態に係る撮像装置のＣＭＯＳセンサの第２動作パターンを説明する図である。 本発明の第１実施形態に係る撮像装置のＣＭＯＳセンサの第２動作パターンにおける転送パルスの振幅値を変えた例を示す図である。 本発明の第１実施形態に係る撮像装置のＣＭＯＳセンサの第３動作パターンを説明する図である。 本発明の第１実施形態に係る撮像装置の回路構成を説明する図である。 本発明の第１実施形態に係る撮像装置の撮像画像の分割例を示す図である。 本発明の第１実施形態に係る撮像装置のＲｅｔｉｎｅｘ処理を示す機能ブロック図である。 本発明の第２実施形態に係る撮像装置の回路構成を説明する図である。 本発明の第３実施形態に係る撮像装置の回路構成を説明する図である。 本発明の第４実施形態に係る撮像装置の回路構成を説明する図である。 本発明の第５実施形態に係る撮像装置の回路構成を説明する図である。 本発明の第６実施形態に係る撮像装置の回路構成を説明する図である。 本発明の第７実施形態に係る撮像装置のＲｅｔｉｎｅｘ処理を示す機能ブロック図である。 本発明の他の実施形態に係る撮像装置のＣＣＤセンサの構成を示す図である。 従来のＷＤＲカメラの出力特性を示す図である。

符号の説明

１・・・ＣＭＯＳセンサ、１’・・・ＣＣＤセンサ、１１・・・画素部、１２・・・同期信号生成部、１２１・・・タイミングジェネレータ、１２２・・・レベルシフタ、１２３・・・垂直レジスタ、１２４・・・水平レジスタ、１３・・・格納部、１３１・・・ＣＤＳ／ＡＤＣ部、１３２・・・第１メモリ、１３３・・・第２メモリ、１３１’・・・Ｌ用ライン転送部、１３２’・・・Ｈ用ライン転送部、４１ａ，４１ｂ・・・非直線処理回路、４２ａ，４２ｂ・・・Ｒｅｔｉｎｅｘ変換部、４２１・・・２次元ＬＰＦ、４２２・・・引算部、４２３・・・圧縮部、４２３・・・伸長部、４２４ａ，４２４ｂ・・・利得調整部、４２５・・・加算部、４２６・・・２次元補正処理部、４３・・・加算部、４４・・・ＤＳＰ、４５・・・ＮＴＳＣエンコーダ、４６，４６’，４６’’・・・マイコン、４７・・・画面分割部、４８ａ・・・低輝度平均値算出部、４８ｂ・・・高輝度平均値算出部、４９ａ・・・低速シャッタ制御部、４９ｂ・・・高速シャッタ制御部、Ｔａ・・・行選択トランジスタ、Ｔｂ・・・増幅トランジスタ、Ｔｃ・・・リセットトランジスタ、Ｔｄ・・・読み出しトランジスタ、ＰＤ・・・フォトダイオード、Ｖｎ・・・電源、ＶＬＩＮ・・・垂直信号線。

Claims (8)

1. 被写体の２次元画像を、少なくとも一部期間が重複している第１の露光時間および第２の露光時間で撮像可能であって、前記第１の露光時間で撮像された第１映像信号を格納するための第１のラインメモリおよび前記第２の露光時間で撮像された第２映像信号を格納するための第２のラインメモリとを備え、前記第１及び第２のラインメモリ間の対応する映像信号を並行して出力可能なイメージセンサと、
   前記２次元画像を複数のエリアに分割し、当該エリアごとに対応する前記第１のラインメモリから得られる信号を選択的に抽出して前記複数のエリアごとにそれぞれの積算値を求め、各エリアの積算値を比較して、輝度レベルの低い順にｎ個の低輝度エリアを抽出し、そのｎ個の低輝度エリアの輝度平均値を算出する低輝度平均値算出手段と、
   前記２次元画像を複数のエリアに分割し、当該エリアごとに対応する前記第２のラインメモリからの信号を選択的に抽出して前記複数のエリアごとにそれぞれの積算値を求め、各エリアの積算値を比較して、輝度レベルの高い順にｍ個の高輝度エリアを抽出し、そのｍ個の高輝度エリアの輝度平均値を算出する高輝度平均値算出手段と、
   前記各輝度平均値の算出結果に基づき、それぞれ前記第１，第２の露光時間を個別に制御する第１，第２の制御信号を生成する手段と
   を具備したことを特徴とする撮像装置。
2. 被写体の２次元画像を、第１の露光時間および第２の露光時間で撮像可能であって、前記第１の露光時間で撮像された第１映像信号を格納するための第１のラインメモリおよび前記第２の露光時間で撮像された第２映像信号を格納するための第２のラインメモリとを備え、第１の露光時間および第２の露光時間の和が１／３０ｆｐｓ未満であってかつ、前記第１及び第２のラインメモリ間の対応する映像信号を並行して出力可能なイメージセンサと、
   前記第１のラインメモリからの第１の信号出力の輝度平均値を算出する第１輝度平均値算出手段と、
   前記第１輝度平均値算出手段の結果にもとづいて、前記第１の映像信号を得る光量を個別に制御する第１の制御信号を生成する第１制御信号生成手段と、
   前記第２のラインメモリからの第２の信号出力の輝度平均値を算出する第２輝度平均値算出手段と、
   前記第２輝度平均値算出手段の結果にもとづいて、前記第２の映像信号を得る光量を個別に制御する第２の制御信号を生成する第２制御信号生成手段と、
   を備えたことを特徴とする撮像装置。
3. 前記第１の映像信号は、第１の露光時間で検出した信号であり、
   前記第２の映像信号は、前記第１の露光時間よりも短時間である第２の露光時間で検出した信号であることを特徴とする請求項１〜２のいずれか１項記載の撮像装置。
4. 前記イメージセンサは、同一画素を用いて前記第１の露光時間及び前記第２の露光時間で二重に撮像可能であって、前記第１の露光時間と前記第２の露光時間とは時間的に一部が重複していることを特徴とする請求項１〜３のいずれか１項記載の撮像装置。
5. 前記イメージセンサは、画素に蓄積された信号電荷が所定の閾値を超えた場合、前記蓄積された信号電荷を消去し、再び信号電荷を蓄積することを特徴とする請求項４記載の撮像装置。
6. 前記イメージセンサの各画素は、
   電源と信号線との間に直列接続された行選択トランジスタおよび増幅トランジスタと、
   前記電源と前記増幅トランジスタのゲートとを接続するリセットトランジスタと、
   一端にフォトダイオードが接続され、他端がフローティングディフュージョンに接続される読み出しトランジスタとを備え、
   行選択トランジスタのゲートには前記フローティングディフュージョンから電荷を転送する転送ゲートパルスが供給され、前記リセットトランジスタのゲートには前記フローティングディフュージョンに蓄積された電荷を消去するリセットパルスが供給され、前記読み出しトランジスタのゲートには前記フローティングディフュージョンに電荷を蓄積する読み出しパルスが供給される、ことを特徴とする請求項１または２記載の撮像装置。
7. 前記第１の露光時間の途中で、前記リセットパルスを前記行選択トランジスタのゲートに加えて、前記リセットトランジスタのポテンシャル障壁を押下げ、前記フローティングディフュージョンに蓄積された信号電荷を消去する、ことを特徴とする請求項６記載の撮像装置。
8. 前記第１の露光時間の途中で、前記読み出しパルスを前記読み出しトランジスタのゲートに加えて、前記第２の露光時間に対応して蓄積した信号電荷を読み出す、ことを特徴とする請求項７記載の撮像装置。
   

Images