JP3074967B2 - 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、自然界の光強度のダイ
ナミックレンジの高い被写体を、飽和や黒つぶれなく撮
像する、高ダイナミックレンジの撮像・合成方法及び高
ダイナミックレンジの撮像装置に関する。

【０００２】

【従来の技術】従来、このような分野の技術としては、
例えば特開昭６３−３０６７７９号公報にみられる撮像
素子の露光量（電荷蓄積期間）を制御し、連続して画像
を合成して動画に対応できるようにしたものがある。図
１７はこの構成図であり、２０１はアナログ・ディジタ
ル変換器、２０２は制御回路、２０３はディジタル・ア
ナログ変換器、２０４はカメラ信号処理回路、２０５は
撮像素子、２０７はフィールドメモリ、２０８は切り替
え回路である。この従来の高ダイナミックレンジ撮像装
置の概念を図１８を用いて簡単に示す。

【０００３】撮像素子２０５の電荷蓄積期間を図１８
（ａ）に示すように1/1000秒と1/120に切り替えながら
順次撮像を行なう。次に1/1000の電荷蓄積期間のとき得
られた画像は、一旦フィールドメモリ２０６に記録す
る。次に電荷蓄積期間1/120秒で得られる画像のタイミ
ングでフィールドメモリ２０６から電荷蓄積期間1/1000
秒で記録された画像を読みだし、1/120秒か1/1000秒か
を条件に応じて切り替え（合成し）ながら、速度変換メ
モリ２０７に書き込む。切り替える条件は、（明細書の
説明では矛盾があるが、推定では以下の様になる）電荷
蓄積期間が1/120秒で白とびであり、かつ1/1000で黒つ
ぶれで無い条件で、1/120秒の画像から1/1000の画像に
切り替える。このように制御回路２０２画像を切り替え
る合成を行う。（図１８（ｃ））合成された画像信号に
対し、フィールドメモリ２０７で速度変換を行い、走査
速度を通常のＴＶ信号の速度にもどし、出力する。

【０００４】このような処理に従い、画像を合成するこ
とにより、従来では白とびや黒つぶれになっていた画像
の、白とびがや黒つぶれを、電荷蓄積期間が異なる画像
と置き換え、画像のダイナミックレンジの拡大を実現す
るものである。

【０００５】

【発明が解決しようとする課題】しかしながら、図１７
のような方法では、出力される画像は飽和や黒沈みのな
い部分を切り出したものとなり、信号レベルが連続して
変化するコントラストの高い画像に対して、切り出した
部分の不連続部分が発生し、画質の低下を引き起こす。

【０００６】更に被写体が動いている場合、画像の光電
変換を行なう期間が連続していないため、合成した画像
上で物体が複数に分裂して見えることになる。

【０００７】本発明は、上記課題を解決するもので、撮
像合成された画像の信号のレベルが、コントラストの高
い全ての画像に対して、全てのレンジにおいて連続にな
るような画像を出力できる高ダイナミックレンジ撮像・
合成方法及び高ダイナミックレンジ撮像装置を提供する
ことを目的としている。

【０００８】また本発明は、画像の光電変換を行なう期
間を連続になるように制御し、合成した画像上で物体が
複数に分かれることはない高ダイナミックレンジ撮像・
合成方法及び高ダイナミックレンジ撮像装置を提供する
ことを目的としている。

【０００９】さらに高ダイナミックレンジな撮像と同時
に、カラー画像を撮像できる高ダイナミックレンジ撮像
・合成方法及び高ダイナミックレンジ撮像装置を提供す
ることを目的としている。

【００１０】

【課題を解決するための手段】本発明は、上記問題点を
解決するために、電荷蓄積期間を制御できる撮像素子で
撮像した画像信号を取り込む過程と、前記電荷蓄積期間
の異なる２枚以上の画像信号に対して前記電荷蓄積期間
の比に応じて画像信号を定数倍し、同時に画像の信号レ
ベルに応じて重みを付けるレベル重み過程と、前記レベ
ル重み過程より得られた高ダイナミックレンジ信号のレ
ベルを撮像信号の見た目のコントラストを低下させるこ
となく基準レベルに圧縮するレベル圧縮過程を有するこ
とを特徴とする。

【００１１】

【作用】本発明によれば、電荷蓄積期間の異なる２枚以
上の画像を、その信号レベルに応じて重みを付けを行
い、このレベル重み付けした画像を加算して合成し、更
に標準テレビ信号の速度に変換する速度変換手段と、得
られた高ダイナミックレンジ信号のレベルを基準レベル
に圧縮し、暗い画像から明るい画像まで飽和やノイズの
少ない画像を得る高ダイナミックレンジ撮像・合成方法
及び高ダイナミックレンジ撮像装置を実現できる。

【００１２】また本発明によれば、画像の光電変換を行
なう期間（電荷蓄積期間）を連続になるように制御し、
合成した画像上で物体が複数に分かれることはない高ダ
イナミックレンジ撮像・合成方法及び高ダイナミックレ
ンジ撮像装置を実現できる。

【００１３】更に本発明によれば、民生用に最も普及し
ている単板（ＣＣＤを１つ用いた）カラー撮像装置にお
いて、その性能上最も課題とされている、ダイナミック
レンジの大幅な改善が実現できる。

【００１４】

【実施例】以下、本発明の実施例について、図面を参照
しながら説明する。

【００１５】図１は、本発明の第１の実施例における高
ダイナミックレンジ撮像装置の構成図を示すものであ
る。図１において１は被写体の光電変換を行なう撮像素
子、２は画像信号を記録するメモリ、３は信号レベルを
常数倍する乗算手段、４、５は画像信号のレベルに応じ
て重みを付加するレベル重み手段、６は信号を加算する
加算手段、７は画像信号の速度を変換する速度変換手
段、８は画像信号のレベルを圧縮するレベル圧縮手段、
９は各ブロックのタイミングを制御するタイミング制御
手段である。

【００１６】以上のように構成された本発明の第１の実
施例の高ダイナミックレンジ撮像装置について、以下そ
の動作を説明する。

【００１７】光強度の差で構成される被写体は撮像素子
（以下ＣＣＤ）１の撮像部に結像され、電気信号（電
荷）に変換される。光の強度は電荷量に比例し、一定期
間（電荷蓄積期間）に得られた電荷を電圧に変換し、電
気信号として出力する構造となっている。従って電荷蓄
積期間を短くすれば、光強度が強くても信号の飽和は発
生せず、また電荷蓄積期間を長くすれば光強度の弱いも
のでも十分に大きな信号が得られる。（ＣＣＤは現在非
常に一般的な素子であるので、基本的動作説明は省略す
る。）タイミング制御器９は、まずＣＣＤ１の電荷蓄積
期間（光電変換期間）を制御する。

【００１８】図２に制御を行なうタイミングを示す。図
２は上から電荷蓄積期間、信号電荷読みだしタイミン
グ、信号電荷高速転送期間、信号読みだしタイミングを
示すものである。電荷蓄積期間は、期間の短いＣＳ１と
期間の長いＣＬ１が順次繰り返され、ＣＳ１とＣＬ１の
合計がほぼ１フィールド期間になる。

【００１９】図３にＣＣＤ１の簡単な構成図を示す。２
１はホトダイオード（光電変換部）（以下ＰＤ）、２２
は垂直ＣＣＤ，２３は信号電荷蓄積部、２４は水平ＣＣ
Ｄ、２０はＣＣＤ１の受光部である。電荷蓄積期間ＣＳ
１，ＣＬ１において、信号電荷はＰＤ２１に徐々に蓄積
され、信号読みだしパルスＲＳ１，ＲＬ１により、垂直
ＣＣＤ２２に転送される。図２の場合、電荷蓄積期間は
信号読みだしパルスＲＳ１，ＲＬ１のそれぞれの期間で
決定される。ＲＬ１のタイミングで信号を読みだしたと
きは、垂直ＣＣＤ２２から蓄積部２３への信号電荷の高
速転送をすぐに開始する。ＲＳ１のタイミングで読みだ
したときは、前に読みだした信号が全て水平ＣＣＤ２４
に出力された時点で、信号電荷の垂直ＣＣＤ２２から蓄
積部２３への高速転送を開始する。信号の出力は蓄積部
２３に信号が転送されたのち、蓄積部２３から水平ＣＣ
Ｄ２４を通して順次出力する。出力のタイミングを図２
に示す。信号出力の速度は、通常のほぼ２倍の速度で行
なう。これは本実施例では、１フィールドに電荷蓄積期
間を変えた２種類の信号を用いるためである。

【００２０】このようにしてＣＣＤ１から読みだした信
号を、ＣＳ１の電荷蓄積期間の短い信号はメモリ２に記
録し、ＣＬ１の電荷蓄積期間の長い信号がＣＣＤ１から
読みだされるのとほぼ同じタイミングでメモリ２から読
み出す。メモリ２から読み出した信号を、乗算器３を用
いて常数倍する。倍率はCL1／CS1とし、本実施例では４
倍とする。倍率を掛けることで、電荷蓄積期間の異なる
信号での、同じ被写体の信号レベルを原理的に同レベル
とする。（飽和した信号は同レベルにはならない。）次
に信号レベルに対応した重みを、レベル重み手段Ｈ５で
付ける。ＣＬ１の電荷蓄積期間に対応する信号に対して
も、レベル重み手段Ｌ４で重みを付ける。それぞれの重
みの特性を図４に示す。横軸は入力信号のレベルであ
り、縦軸は信号に付する重みである。レベル重みＬは入
力信号レベルの８０％までは１の重みとし、８０％から
１００％まで直線的に重みの値を下げ、入力レベル１０
０％で重み値を０とする。これに対し、レベル重みＨは
入力信号レベルの８０％までは０の重みとし、８０％か
ら１００％まで直線的に重みの値を上げ、入力レベル１
００％で重み値を１とする。入力レベル１００％以上は
重み値は全て１とする。電荷蓄積期間の異なる画像間で
の信号のつながり（連続性）が悪い場合、破線で示した
ようにオーバーラップ部を増加させ、つながりを改善す
ることも可能である。このようにしてダイナミックレン
ジの異なる画像信号に重みを付け、加算器６で加算する
ことにより合成し、１枚の画像とする。この重み付けに
より画像の状態（Ｓ／Ｎ比が良く、飽和のない部分）の
よい部分を抽出し、ダイナミックレンジの高い画像を合
成する。合成された画像は、ＣＣＤ１の信号読み出しの
段階で、通常の約２倍の速度としているため、標準テレ
ビ信号の走査に対応するように、信号の走査速度を1/2
に変換する。

【００２１】図５は各部分での信号の振幅と時刻の概要
を示すものである。図の上部に矢印で示した期間が１フ
ィールドの期間であ。被写体は、垂直方向に反射率が徐
々に高くなる（明るくなる）２種類（明るさの異なる）
の被写体を撮像した様子を示すものである。ＣＳ１の電
荷蓄積期間に対応する信号をＳで示し、ＣＬ１の電荷蓄
積期間に対応する信号をＬで示す。Ｓは明るい部分が飽
和せず（暗い部分は信号レベルは小さく十分なＳ／Ｎが
ない）、Ｌは暗い部分が十分な振幅の信号に変換されて
いる（明るい部分は飽和する）。Ｓの部分の信号を、メ
モリ２により時間シフトして、Ｌの部分の信号と一致さ
せる。次にそれぞれのレベルに応じた重み付を行なう。
レベルに応じた重み付けにより、Ｓの部分は低レベルの
信号が圧縮され、Ｌの部分は高レベルの信号が圧縮され
る。これは、それぞれs/n 比の悪い部分や、飽和を含む
信号を用いずに画像を合成するために行なう。このレベ
ル重み付した信号を加算して合成することにより、ダイ
ナミックレンジの広い信号を合成することが可能とな
る。次に約２倍の速度で読み出された信号を、通常の速
度に変換して出力する。図５のように、２倍速の信号の
書き込みと同時に通常の速度に変換した信号を出力する
と、速度変換に使用するメモリーはフィールドの１／２
の画素数で良い。

【００２２】合成された画像の信号レベルは、最大で４
００％となるが、次のレベル圧縮手段８でレベルを１０
０％に圧縮する。レベル圧縮手段８の特性を図６に示
す。入力された信号を周波数成分に分類し、周波数成分
の低い成分に対して、同図（ａ）に示す通り４００％ま
での信号を、線形に圧縮する。周波数の中間の成分に対
して、入力成分の５０％まではそのまま出力し、５０％
を越えるものについてはクリップする特性とする。周波
数の高域の成分に対して、入力成分の２０％まではその
まま出力し、２０％を越えるものについてはクリップす
る特性とする。このような特性にすることにより、一定
のレベルの変化している信号は、ほぼそのまま出力し、
圧縮前の画像と比較して変化したという印象与えずに、
画像を再現する。また人間にとって比較的絶対感度の低
い（相対感度は高いが絶対レベルは、かなり不正確であ
る）低周波成分は１／４に圧縮して出力するが、大きな
違和感なく通常の画像として観察される。

【００２３】以上のように、まずＣＣＤを制御すること
により、電荷蓄積期間の異なる複数（２枚）の画像を撮
像する。電荷蓄積期間の違いによる信号レベルの違いを
補正し、これらの画像から信号が飽和せずまた十分なＳ
／Ｎ比を保った部分に、大きな重みを付けることにより
選択すると同時に、２枚の画像を滑らかに（レベルの急
激な変化がなく信号レベルの連続性を保って）合成す
る。ダイナミックレンジが広く、信号振幅の大きくなっ
た信号を、信号の周波数成分別に圧縮し、標準信号レベ
ルに変換して出力する。 このようにして、ダイナミッ
クレンジの狭いＣＣＤの電荷蓄積期間を制御した複数の
画像から、ダイナミックレンジを拡大した画像を合成す
る。画像合成にさいし、Ｓ／Ｎが十分保たれた部分の画
像を用い、画像間の切り替わりの部分では、重みを変化
させながら画像間を滑らかに合成するため、自然で違和
感が全くなくダイナミックレンジが高い画像を撮像する
ことが可能となる。更に画像の圧縮にさいし、画像の細
部は多くの場合大きな変化を受けないように、また画像
の大きな部分は変化が知覚されにくい様に圧縮する。従
って標準の出力レベルまで圧縮した場合においても、ダ
イナミックレンジを増加させても不自然な印象が発生せ
ず、自然な画像を出力できる。

【００２４】（第２の実施例）次に本発明の第２の実施
例としての、高ダイナミックレンジ撮像方法及び高ダイ
ナミックレンジ撮像画像合成装置の構成を以下に示す。
第１の実施例と異なる点は、画像合成部１０であり、そ
の他の部分の構成は基本的に同じである。本発明の第２
の実施例の画像合成部を図７に示す。２ａ、２ｂは画像
を蓄積し読み出すメモリ、３ａ、３ｂは信号のレベルを
常数倍する乗算器、５ａ〜５ｃは画像信号に重みを付け
るレベル重み手段、６ａは画像信号を加算する加算器で
ある。以上のように構成された、第２の実施例のダイナ
ミックレンジ画像合成装置は以下の動作をする。

【００２５】撮像素子１（以下ＣＣＤ）の駆動タイミン
グを図８に示す。第１の実施例と異なるのは、電荷蓄積
期間を３つの期間（短期ＣＳ４，中期ＣＭ４，長期ＣＬ
４）に分割し、この３つの期間に得られた画像信号を合
成する事にある。またこれらの画像信号を得る電荷蓄積
期間は互いに近接（連続）するように設定する。ＣＳ４
はＣＭ４と、またＣＭ４はＣＬ４と近接（連続）させて
いる。ＣＣＤのホトダイオードから画像信号を読み出す
手順は第１の実施例と同様であるので省略するが、信号
読み出しパルスで垂直ＣＣＤに読み出された信号電荷
が、全て電荷蓄積部に転送されてから、次の信号電荷を
読み出す。またＣＳ４の期間の開始点は、ＣＣＤのホト
ダイオードから、ＣＣＤの基盤に電荷を垂直方向に移動
させる、電荷縦抜きパルスを加えることで行なう。（Ｃ
ＣＤの構造の説明は本発明には特に問題としないので省
略する）このパルスを加えることにより、ホトダイオー
ドに蓄積されている電荷は全て基盤に移動し、パルスが
終了した時点から再び信号となる電荷の蓄積が開始され
る。

【００２６】画像信号のレベル比に対応する電荷蓄積期
間の比（ＣＳ４：ＣＭ４及びＣＭ４：ＣＬ４）は、１：
２〜１：４程度に設定する。比を大きく取ると、ダイナ
ミックレンジは大きく取れるが、大きくしすぎるとノイ
ズが目立ちやすくなることもある。図８において，
（ａ）は電荷蓄積期間を長くとった場合、（ｂ）は電荷
蓄積期間を短くとった場合である。ともにそれぞれの電
荷蓄積期間は連続するように設定した場合である。動き
の速い被写体の最適な露光時間（電荷蓄積期間）が複数
の期間にわたる場合、各電荷蓄積期間を連続させること
により、通常の撮像と同様にその被写体がつながった
（連続した）画像を得ることができる。電荷蓄積期間が
連続していない場合、動きの速い被写体は分離して見え
ることになり、不自然となる。

【００２７】このようにしてＣＣＤ１から画像信号を読
み出し、ＣＳ４の期間で光電変換を行なった信号を一旦
メモリ２ａに記録し、ＣＭ４の期間で光電変換を行なっ
た信号はメモリ２ｂに記録する。またＣＬ４の期間で光
電変換を行なった信号は、レベル重みＬ５Ｃに直接入力
する。このＣＬ４の読み出しと同時に、一旦メモリ２
ａ，２ｂに記録したＣＳ４，ＣＭ４の信号を読み出し、
電荷蓄積期間の比に反比例した重みを、乗算器３ａ，３
ｂでかけ、レベル重みＭ５ｂ，Ｈ５ａに入力する。ＣＬ
４：ＣＭ４＝１：３であれば、乗算器３ｂには３倍の係
数をかけ、ＣＬ４：ＣＳ４＝１：９であれば、乗算器３
ａには９倍の係数をかける。レベル重み５ａから５ｃの
様子を図９に示す。各レベル重みは、飽和した部分や信
号レベルの小さい部分は使用しない重みとしている。こ
のような重みを付加し、加算器６ａで加算することによ
り、各信号レベルで飽和やノイズの大きな増加はなく、
ダイナミックレンジの十分広い画像信号が合成できる。

【００２８】このようにして画像信号を合成した後、画
像信号の走査速度を通常の速度（１／３）に変換し、信
号レベルの圧縮を行う。本実施例では、撮像装置に用い
るγ補正を信号レベルの圧縮に用いる。第１の実施例で
は信号の帯域別に異なる処理を行なう方法を示したが、
テレビ信号として用いる場合には、γ補正を正確に施す
ことが可能となる。図１０にγ＝０．４５の補正曲線を
示す。出力レベル１５％以下ではゲイン（入出力の変化
率）が１０倍以上、１０％以下では約２０倍以上と非常
に大きなゲインとなる。従って通常撮像装置では、入力
レベルの低い部分の最大ゲインを、６倍から４倍（一点
鎖線及び破線で示す）程度に制限する。このため黒レベ
ルに近い部分が沈む（レベルが下がる）ことになる。ま
たγ補正を正確に行おうとすると、大きなゲインがかか
り、Ｓ／Ｎ比が低下する。本発明では、９００％まで飽
和の無い信号を得ることができるため、本発明の信号の
６００％をγ補正の入力レベルの１００％に対応させる
ことにより、２０倍のゲインがかかる場合においても、
トータルゲインとしては、３．３３倍と非常に小さなゲ
インとなり、Ｓ／Ｎのよい、かつ正確なγ補正を施すこ
とが可能となる。またレベル重みＭ，Ｈの処理の前に３
倍または９倍のゲインを掛け、ノイズが増加することが
懸念される。しかしγ補正の場合、レベル重みＭ，Ｈの
処理の前の３倍または９倍のゲインの高い部分は、信号
が圧縮されるため信号処理のトータルゲインとして各電
荷蓄積期間の信号に対してゲインが２〜３倍と分散さ
れ、総合画質として非常に良いものが得られる。

【００２９】以上のように、本発明の第２の実施例で
は、露光時間（電荷蓄積期間）を短期、中期、長期の３
つの期間に分け、更にそれぞれの期間を近接（連続）さ
せ、速く移動している被写体に対して、撮像画像で被写
体が分離（２重に分かれる）しないようにする。また撮
像された信号に対し、信号レベルを線形を保ったまま、
連続的に合成することにより、同時に暗いところから明
るいところまで、連続的な信号を得ることが可能であ
る。更にテレビの撮像装置として用いる場合、正確なγ
補正を施すことが可能となり、信号レベルの高い部分か
ら低い部分まで、Ｓ／Ｎ比のよい信号を得ることが可能
となる。また高ダイナミックレンジ画像の合成を線形な
合成で行うため、本システムを３系統用意してＲＧＢに
対応さすことにより、カラー化することが可能である。
また第１の実施例においてもレベル圧縮器をγ補正の特
性とする事により、ＲＧＢ３系統によるカラー化が可能
である。

【００３０】（第３の実施例）次に本発明の第３の実施
例としての、高ダイナミックレンジ撮像方法及び高ダイ
ナミックレンジ撮像画像合成装置の構成を以下に示す。
第１及び第２の実施例と異なる点は、ＣＣＤに色フィル
ターを付加しＣＣＤから出力された画像の合成を、撮像
装置として必要な非線形処理及び信号処理を行なった後
に行う点と、画像の合成を正負両極性の色差信号でも行
う点である。本発明の第３の実施例の画像合成部を図１
１に示す。同図において前述の実施例と同じ機能を有す
るものは、同じ番号を付し説明は省略する。１１は色フ
ィルター付きの撮像素子（ＣＣＤ）、１２は非線形処理
手段、１３は輝度及び色差信号処理手段、１４は画像信
号を記録読みだしするメモリ、３ｃから３ｇは信号レベ
ルを常数倍する乗算器、１５ａ，ｂは画像信号のレベル
に応じて重みを付加及び出力する重み・制御手段、６
ｂ，ｃは信号を加算する加算器、７ａは画像信号の速度
を変換する速度変換手段、８ａは画像信号のレベルを圧
縮するレベル圧縮手段、９は各ブロックのタイミングを
制御するタイミング制御手段、１６は信号レベルの比を
演算する比演算手段である。

【００３１】以上のように構成された本発明の第３の実
施例について、以下その動作の説明を行う。ＣＣＤ１１
から輝度及び色差信号処理手段１３までの信号処理は、
通常のビデオカメラと信号処理の速度を除いては、同一
の処理を行う。（詳細はテレビジョン学会誌Vol.45 No.
9 1991 pp1060-1066 及び pp1080-1088）またＣＣＤ１
１の電荷蓄積期間の制御と信号の読みだし方法は、第１
第２の実施例と同様であり、電荷蓄積期間を制御した２
倍または３倍の高速読みだしをする。ＣＣＤ１１は図１
２に示される色フィルターを画素に付加し、これらの色
フィルターを通して得られた信号の加減算により、輝度
信号及び色差信号またはRGB原色信号を得られる構成と
する。まず非線形処理１２では、ＣＣＤの画素の平均信
号レベルがγ補正の出力レベルとなるよう、各画素単位
の信号にゲイン制御を行う。（γ補正の簡易的方法）こ
のようにして得られた信号を平均（帯域制限）すること
により、輝度信号Ｙとする。色差信号Ｒ−Ｙ，Ｂ−Ｙ
は、

【００３２】

【数１】

【００３３】

【数２】

【００３４】の近似演算を行うか、または次式のように
ＲＢＹ信号を各画素信号から求め、Ｒ−Ｙ、Ｂ−Ｙを得
る。

【００３５】

【数３】

【００３６】

【数４】

【００３７】

【数５】

【００３８】このようにして輝度信号と、色差信号を合
成する。本実施例の場合、演算速度は通常の場合の約２
倍で行い、短い電荷蓄積期間から演算された信号は、メ
モリ１４に書き込む。長い電荷蓄積期間から演算された
輝度信号は、重み・制御Ｌに出力される。長い電荷蓄積
期間から演算された色差信号は、乗算器３ｆに出力され
る。これと同時に短い電荷蓄積期間の信号から演算され
た輝度信号と、色差信号は、メモリ１４から読みださ
れ、まず乗算器３ｃ，３ｄに入力されレベルの補償を行
う。レベル補償のために掛ける定数は、長短の電荷蓄積
期間の比や、γ補正値により異なるが、１．５から２．
５程度の値にする。電荷蓄積期間の比をａ（ａ＜１）、
レベル補償の定数をｂとすると

【００３９】ｂ＝１／（ａ＾γ） （ここで＾は指数を
示す）

【００４０】であらわされ ほぼ１．５から２．５の値
に設定する。この設定値により電荷蓄積期間と、γ補正
による非線形処理によるレベル差を補正する。レベル差
を補正した電荷蓄積期間の短い輝度信号を重み・制御Ｈ
１５ｂに入力する。重み・制御Ｌ，Ｈ，１５ａ、１５ｂ
の重みの特性は、図４に示したものと同じである。第１
の実施例のレベル重みＬ４、Ｈ５と異なるのは、現在の
輝度信号レベルに対応して付加した重み値を、重み値と
しても出力する点である。この重み値は、乗算器３ｅ，
３ｆに出力され、色差信号の信号レベルを制御する。色
差信号のレベルの制御を乗算器で行うのは、色差信号の
レベルが、撮像素子１１から出力される信号レベルと
１：１の対応が無いからである。このようにして、輝度
信号、色差信号に、電荷蓄積期間の異なりと、γ補正に
よる非線形処理によるレベル変化を補正し、画像信号の
飽和が無くＳ／Ｎの良い部分を抽出し、加算器６ｂ，６
ｃで加算し、合成する。合成された信号を速度変換器７
ａで通常の速度に変換する。通常の速度に変換された輝
度信号は、レベル圧縮器８ａにより第１の実施例と同様
に輝度信号のレベル圧縮を行う。色差信号のレベル圧縮
は、レベル圧縮器８ａの入出力の比を比検出器１６で求
め、この比に応じて、乗算器３ｇを制御し色差信号のレ
ベル圧縮を行う。

【００４１】以上のようにＣＣＤの各画素信号に、色信
号を重畳した場合においても、ＣＣＤの電荷蓄積期間を
制御し、各電荷蓄積期間で輝度信号と色差信号を合成し
てから、ダイナミックレンジ伸張圧縮処理を行う。色差
信号には、ＣＣＤの出力信号レベルと１：１の対応が無
いため、ＣＣＤの出力信号レベルと１：１の対応があ
る、輝度信号の処理に応じた重みを乗算で行い、ダイナ
ミックレンジの伸張抑圧処理とする。画素信号から色差
信号への変換は、演算速度は異なるが通常の撮像と同じ
条件で行い、ダイナミックレンジ伸張の処理を含めない
ため、ダイナミックレンジ伸張時の僅かな誤差があった
場合にも、色差信号への影響は非常に少ない。

【００４２】以上のように民生用に最も普及している、
単板（ＣＣＤを１つ用いた）撮像装置において、その性
能上最も課題とされている、ダイナミックレンジの大幅
な改善が実現でき、その実用的価値は非常に高い。

【００４３】なお本発明の実施例では電荷蓄積期間の比
を３倍または４倍としたが、これ以外の値を用いても良
い。

【００４４】また本発明の第１の実施例で示したレベル
圧縮の特性は１例であり、この特性に限る必要はない。
第１の実施例では周波数の低い成分について、線形な圧
縮としたが、たとえば図１６に示すようにγ補正のよう
な信号の低レベルのゲインを増加させる特性として、も
ともとのγ特性の不十分な部分を補うものでも良く、周
波数の中間や高域についてもこの特性に限る必要はな
く、Ｓ字特性を用いてＳ／Ｎの劣化を最小限にする特性
も実現できる。

【００４５】また本発明の第２の実施例で示したγ補正
は、本発明の第３の実施例のように、画像を合成する前
でも可能である。

【００４６】さらに第３の実施例のγ補正は、簡易のγ
補正に限る必要はなく、Ｙ，Ｒ，Ｂに分離後、正規のγ
補正を行っても良いのは当然である。限る必要はない。

【００４７】加えて本発明の第１の実施例で示したＣＣ
Ｄの制御方法は１例であり、図１３、図１４に示すよう
に示すように変形可能である。

【００４８】さらに、本発明の実施例ではＦＩＴ−ＣＣ
Ｄ（フレーム インタータイン トランスファー CCD）を用いた例を示した
が、電荷蓄積期間の連続性を多少犠牲にすると、ＩＬ−
ＣＣＤ（インターライン トランスファーＣＣＤ）を用いることがで
き、この時ＣＣＤの制御は図１５に示す様なものとな
る。また図１３のＣＣＤの制御は電荷蓄積期間が丁度フ
ィールド期間の１／２となっているため、ＦＩＴ−ＣＣ
ＤでなくＩＬ−ＣＣＤでも可能である。

【００４９】なお本発明の実施例は装置の形態で示した
が、この構成に従って計算機で処理をおこなうソフト
（方法）として実現しても良いのは当然である。

【００５０】

【発明の効果】以上説明したように、本発明によれば、
ダイナミックレンジの狭いＣＣＤの電荷蓄積期間を制御
した複数の画像から、ダイナミックレンジを拡大した画
像を合成する。画像合成にさいし、Ｓ／Ｎが十分保たれ
た部分の画像を用い、画像間の切り替わりの部分では、
重みを変化させながら画像間を滑らかに合成するため、
自然で違和感が全くなくダイナミックレンジが高い画像
を撮像することが可能となる。更に画像の圧縮にさい
し、画像の細部は多くの場合大きな変化を受けないよう
に、また画像の大きな部分は変化が知覚されにくい様に
圧縮する。従って標準の出力レベルまで圧縮した場合に
おいても、ダイナミックレンジを増加させても不自然な
印象が発生せず、自然な画像を得る事が可能となる。

【００５１】また、本発明の第２の実施例では、露光時
間（電荷蓄積期間）を短期、中期、長期の３つの期間に
分け、更にそれぞれの期間を近接（連続）させ、速く移
動している被写体に対して、撮像画像で被写体が分離
（２重に分かれる）しないようでき、同時にダイナミッ
クレンジを通常の１桁程度改善する事が可能となる。ま
た撮像された信号に対し、信号レベルを線形を保ったま
ま、連続的に合成することにより、同時に暗いところか
ら明るいところまで、連続的な信号を得ることが可能で
ある。テレビの撮像装置として用いる場合、正確なγ補
正を施すことが可能となり、信号レベルの高い部分から
低い部分まで、Ｓ／Ｎ比のよい信号を得ることが可能と
なる。また高ダイナミックレンジ画像の合成を線形な合
成で行うため、本システムを３系統用意してＲＧＢに対
応さすことにより、カラー化することが可能である。

【００５２】更に本発明の第３の実施例では、民生用に
最も普及している、単板（ＣＣＤを１つ用いた）カラー
撮像装置において、その性能上最も課題とされている、
ダイナミックレンジの大幅な改善が実現できる。

【００５３】以上のように、本発明の高ダイナミックレ
ンジ撮像方法及び高ダイナミックレンジ撮像装置は、現
在課題となっている撮像装置のダイナミックレンジ不足
を解消し、ビデオカメラなどに必要なカラー化が可能な
装置が実現でき、その実用的価値は非常に大きい。

【図面の簡単な説明】

【図１】本発明の高ダイナミックレンジ撮像装置の第１
の実施例の構成を示すブロック図

【図２】撮像素子の駆動タイミングの概要を示す駆動タ
イミング図

【図３】撮像素子の構成の概要を示す撮像素子構成図

【図４】レベル重みの特性を示す特性図

【図５】撮像装置の動作タイミングを示す動作タイミン
グ図

【図６】レベル圧縮の特性の１例を示す特性図

【図７】本発明の高ダイナミックレンジ撮像装置の第２
の実施例の構成を示すブロック図

【図８】撮像素子の駆動タイミングの概要を示す駆動タ
イミング図

【図９】レベル重みの特性を示す特性図

【図１０】レベル圧縮の特性の１例を示す特性図

【図１１】本発明の高ダイナミックレンジ撮像装置の第
３の実施例の構成を示すブロック図

【図１２】撮像素子の色フィルターの１例を示す色フィ
ルター構成図

【図１３】撮像素子の駆動タイミングの概要を示す駆動
タイミング図

【図１４】撮像素子の駆動タイミングの概要を示す駆動
タイミング図

【図１５】撮像素子の駆動タイミングの概要を示す駆動
タイミング図

【図１６】レベル圧縮の特性の１例を示す特性図

【図１７】従来の撮像装置の構成図

【図１８】従来の撮像装置の動作説明図

【符号の説明】

１、１１ 撮像素子（ＣＣＤ） ２、１４ メモリ ３ 乗算手段 ４、５ レベル重み付加手段 ６ 加算手段 ７ 速度変換手段 ８ レベル圧縮手段 ９ タイミング制御手段 １２ 非線形処理手段 １３ 輝度・色差処理手段 １５ レベル重み付加・制御手段 １６ 比演算手段 ２０ 撮像素子受光部 ２１ ホトダイオード（光電変換部） ２２ 垂直転送ＣＣＤ（Ｖ−ＣＣＤ） ２３ 信号電荷蓄積部 ２４ 水平転送ＣＣＤ（Ｈ−ＣＣＤ）

Claims (10)

(57)【特許請求の範囲】
1. 【請求項１】 (ａ)電荷蓄積期間を制御できる撮像素子
   で撮像した画像信号を取り込む過程と、 （ｂ）前記電荷蓄積期間の異なる２枚以上の画像信号に
   対して前記電荷蓄積期間の比に応じて画像信号を定数倍
   し、画像の信号レベルに応じて重みを付けるレベル重み
   過程と、 （ｃ）前記レベル重み過程より得られた高ダイナミック
   レンジ信号のレベルを圧縮する処理において、前記高ダ
   イナミック信号を周波数成分に分類し、周波数成分の低
   い成分に対しては線形に圧縮し、周波数の中間成分およ
   び高域の成分に対してはクリップする特性で圧縮するレ
   ベル圧縮過程を有する撮像・合成方法。
2. 【請求項２】電荷蓄積期間の制御は、 （ａ）最も短い電荷蓄積期間の後に長い電荷蓄積期間が
   あるように撮像素子を制御し、この時得られる電荷蓄積
   期間の異なる２枚以上の画像の信号を用いることを特徴
   とする請求項１記載の撮像・合成方法。
3. 【請求項３】電荷蓄積期間の異なる複数の光電変換の期
   間は、 （ａ）少なくとも２つの期間以上は近接または連続して
   いることを特徴とする請求項２記載の撮像・合成方法。
4. 【請求項４】レベル重み過程は （ａ）電荷蓄積時間の最も短い画像信号に対して信号レ
   ベルの高い部分に大きな重みを与え、 （ｂ）電荷蓄積時間の最も長い画像信号に対して信号レ
   ベルの低い部分に大きな重みを与え、 （ｃ）電荷蓄積時間の中間の画像信号に対して信号レベ
   ルの中間の部分に大きな重みを与えることを特徴とする
   請求項１、２または３記載の撮像・合成方法。
5. 【請求項５】レベル圧縮過程は、 （ａ）画像信号の周波数の低い信号成分に対して全信号
   レベルに圧縮を行い、 （ｂ）画像信号の周波数の中間の信号成分に対して信号
   レベルの中間値より高い信号に対して圧縮を行い、 （ｃ）画像信号の周波数の高い信号成分に対して信号レ
   ベルの低レベルを越えた信号に対して圧縮を行なうこと
   を特徴とする請求項１、２、３または４記載の撮像・合
   成方法。
6. 【請求項６】 (ａ)電荷蓄積期間を制御できる撮像素子
   と、 （ｂ）前記電荷蓄積期間の異なる２枚以上の画像信号に
   対して前記電荷蓄積期間の比に応じて画像信号を定数倍
   し、同時に画像の信号レベルに応じて重みを付けるレベ
   ル重み手段と、 （ｃ）前記レベル重み過程より得られた高ダイナミック
   レンジ信号のレベルを圧縮する処理において、前記高ダ
   イナミック信号を周波数成分に分類し、周波数成分の低
   い成分に対しては線形に圧縮し、周波数の中間成分およ
   び高域の成分に対してはクリップする特性で圧縮するレ
   ベル圧縮過程を有する撮像装置。
7. 【請求項７】電荷蓄積期間の制御は、 （ａ）最も短い電荷蓄積期間の後に長い電荷蓄積期間が
   あるように撮像素子を制御し、この時得られる電荷蓄積
   期間の異なる２枚以上の画像の信号を用いることを特徴
   とする請求項６記載の撮像装置。
8. 【請求項８】電荷蓄積期間の異なる複数の光電変換の期
   間は、 （ａ）少なくとも２つの期間以上は近接または連続して
   いることを特徴とする請求項７記載の撮像装置。
9. 【請求項９】レベル重み手段は （ａ）電荷蓄積時間の最も短い画像信号に対して信号レ
   ベルの高い部分に大きな重みを与え、 （ｂ）電荷蓄積時間の最も長い画像信号に対して信号レ
   ベルの低い部分に大きな重みを与え、 （ｃ）電荷蓄積時間の中間の画像信号に対して信号レベ
   ルの中間の部分に大きな重みを与えることを特徴とする
   請求項６、７または８記載の撮像装置。
10. 【請求項１０】レベル圧縮手段は、 （ａ）画像信号の周波数の低い信号成分に対して全信号
    レベルに圧縮を行い、 （ｂ）画像信号の周波数の中間の信号成分に対して信号
    レベルの中間値より高い信号に対して圧縮を行い、 （ｃ）画像信号の周波数の高い信号成分に対して信号レ
    ベルの低レベルを越えた信号に対して圧縮を行なうこと
    を特徴とする請求項６、７、８または９記載の撮像装
    置。