JP4356134B2

JP4356134B2 - 画像処理装置及び画像処理方法

Info

Publication number: JP4356134B2
Application number: JP10917299A
Authority: JP
Inventors: 和彦上田; 昌美緒形; 隆史土屋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-04-16
Filing date: 1999-04-16
Publication date: 2009-11-04
Anticipated expiration: 2019-04-16
Also published as: JP2000307963A; US6965406B1

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置及び画像処理方法に関し、例えばテレビジョンカメラに適用することができる。本発明は、画素値が補正された低感度の画像の中で、元の低感度の画像では十分な階調により表現されていない領域であって、高感度の画像より十分な階調により表現された領域については、高感度の画像により置き換えて合成画像を生成することにより、被写体に動きがある場合等でも、違和感なく高感度の画像と低感度の画像とを合成して十分な階調による画像を生成することができるようにする。
【０００２】
【従来の技術】
従来、撮像装置においては、電荷蓄積時間を切り換えて撮像した画像を合成することにより、広ダイナミックレンジの撮像結果を取得する方法が提案されている。
【０００３】
すなわち短い電荷蓄積時間により被写体を撮像すれば、ハイライト部分について十分な階調を確保した撮像結果（以下短時間露光の撮像結果と呼ぶ）を得ることができるのに対し、長い電荷蓄積時間により被写体を撮像すれば、ローライト部分について十分な階調を確保した撮像結果（以下長時間露光の撮像結果と呼ぶ）を得ることができる。
【０００４】
これによりこの広ダイナミックレンジの撮像結果を取得する方法にあっては、長時間露光の撮像結果に対応するように、短時間露光の撮像結果の画素値を補正した後、長時間露光の撮像結果又は短時間露光の撮像結果よりマクスを作成し、このマスクを用いて、長時間露光及び短時間露光の撮像結果より十分な階調が得られている方を選択して１つの画像を生成する。これによりこの方法のあっては、何れの輝度レベルの部分であっても十分な階調を確保した撮像結果を生成するようになされている。
【０００５】
【発明が解決しようとする課題】
ところでこのようにして広ダイナミックレンジの撮像結果を生成する方法にあっては、電荷蓄積時間を切り換えて同一の被写体を撮像する必要があり、この電荷蓄積時間を切り換えた画像間で被写体に動きがあると、背景の一部に被写体が割り当てられ、又はこれとは逆に被写体の一部に背景が割り当てられ、これにより処理結果が不自然になる問題がある。
【０００６】
すなわち図１０（Ａ）に示すように、ハイライトの部分を背景Ｂにした輝度レベルの低い物体Ａを撮像する場合、長時間露光の撮像結果ＶＬにおいては、図１０（Ｂ）に示すように、背景Ｂについては、階調の変化が圧縮されて撮像されるのに対し、物体Ａについては、十分な階調で、かつ十分なＳＮ比により撮像される。これに対して短時間露光の撮像結果ＶＳにおいては、図１０（Ｃ）に示すように、背景Ｂについては、十分な階調で、かつ十分なＳＮ比により撮像されるのに対し、物体Ａについては、全体として沈んで階調の変化が小さく撮像される。
【０００７】
これにより長時間露光又は短時間露光の撮像結果ＶＬ及びＶＳよりマクスを作成し、このマスクを用いて、長時間露光及び短時間露光の撮像結果ＶＬ及びＶＳより十分な階調が得られている方を選択して１つの画像を生成することにより、物体Ａに動きが無い場合には、何れの輝度レベルの部分であっても十分な階調を確保した合成画像を生成することができる。
【０００８】
ところが物体Ａが移動している場合に、図１１に示すように、長時間露光による撮像結果ＶＬ（図１１（Ａ））から生成したマスク（図１１（Ｃ１））により画像を合成したのでは、短時間露光による十分な階調が確保されていない物体Ａについても、移動により長時間露光による撮像結果ＶＬの背景Ｂと重なり合う部分ＡＲについては画像合成されることになる（図１１（Ｄ１））。
【０００９】
すなわちこの場合、高感度により撮像された物体Ａに隣接する背景Ｂに、低感度により撮像された物体Ａの一部が割り当てられることになる。これにより物体Ａの移動により合成結果に誤りが発生することになる。なおこの場合、この領域ＡＲにより物体Ａの大きさが移動方向に広がるように暗く縁取りされて不自然に表示されることになる。
【００１０】
これとは逆に、短時間露光による撮像結果ＶＳ（図１１（Ｂ））から生成したマスク（図１１（Ｃ２））により画像を合成したのでは、長時間露光による十分なＳＮ比、階調が確保されていない背景Ｂついて、物体Ａの移動により短時間露光による物体Ａと重なり合う部分ＡＲについては、選択されて画像合成されることになる（図１１（Ｄ２））。
【００１１】
すなわちこの場合、高感度により撮像された物体Ａの一部に、高感度により撮像された背景Ｂが一部割り当てられることになる。これによりこの場合は、この領域ＡＲにより、物体Ａの大きさが移動方向に縮じまったように明るく縁取りされて不自然に表示されることになる。
【００１２】
本発明は以上の点を考慮してなされたもので、被写体に動きがある場合等でも、違和感なく高感度の画像と低感度の画像とを合成して十分な階調による画像を生成することができる画像処理装置及び画像処理方法を提案しようとするものである。
【００１３】
【課題を解決するための手段】
かかる課題を解決するため請求項１に係る発明においては、高い感度で撮像された高感度画像と、低い感度で撮像された低感度画像とを合成する画像処理装置に適用して、前記高感度画像の輝度レベルに対応するように、前記低感度画像の画素値を補正して画素値補正画像を生成する画素値補正手段と、前記低感度画像の画像データ及び前記高感度画像の画像データをそれぞれ取り込みフィルタリング処理し、前記低感度画像を構成する各領域の明るさを示す低感度画像の領域判定信号、及び前記高感度画像を構成する各領域の明るさを示す高感度画像の領域判定信号を生成するマスク生成手段と、前記高感度画像の領域判定信号と前記低感度画像の領域判定信号をそれぞれ２値化処理して高感度画像と低感度画像のマスク信号を生成し、前記高感度画像と低感度画像のマスク信号の論理積演算により合成用マスク信号を生成する合成用マスク生成手段と、前記合成用マスク信号を基準にして、前記高感度画像と前記画素値補正画像を選択出力し、広ダイナミックレンジの撮像結果を出力する合成手段と、前記低感度画像の領域判定信号を階調補正用の制御信号として、前記合成手段から出力される撮像結果の階調を補正する階調補正手段とを備える。
【００１４】
また請求項４に係る発明においては、高い感度で撮像された高感度画像と、低い感度で撮像された低感度画像とを合成する画像処理方法に適用して、前記高感度画像の輝度レベルに対応するように、前記低感度画像の画素値を補正して画素値補正画像を生成する画素値補正ステップと、前記低感度画像の画像データ及び前記高感度画像の画像データをそれぞれ取り込みフィルタリング処理し、前記低感度画像を構成する各領域の明るさを示す低感度画像の領域判定信号、及び前記高感度画像を構成する各領域の明るさを示す高感度画像の領域判定信号を生成するマスク生成ステップと、前記高感度画像の領域判定信号と前記低感度画像の領域判定信号をそれぞれ２値化処理して高感度画像と低感度画像のマスク信号を生成し、前記高感度画像と低感度画像のマスク信号の論理積演算により合成用マスク信号を生成する合成用マスク生成ステップと、前記合成用マスク信号を基準にして、前記高感度画像と前記画素値補正画像を選択出力し、広ダイナミックレンジの撮像結果を出力する合成ステップと、前記低感度画像の領域判定信号を階調補正用の制御信号として、前記合成ステップから出力される撮像結果の階調を補正する階調補正ステップとを備える。
【００１５】
請求項１又は請求項４に係る構成によれば、低感度の画像では十分な階調により表現されていない領域であって、高感度の画像で十分な階調により表現された領域について、画素値補正画像を高感度の画像により置き換えて合成画像が生成される。これにより動きのある物体の輪郭等にあっては、低感度の画像で十分な階調が得られていない場合でも、高感度の画像で十分な階調が確保されていない場合には、高感度の画像により置き換えられることなく、隣接する領域に対応するように画素値が補正されてなる低感度の画像が割り当てられることになる。これにより合成画像においては、画素値が補正されてなる低感度の画像を基本として、階調が改善される部分についてだけ、高感度の画像により置き換えられることになり、これにより背景の一部に被写体が割り当てられなる場合、またこれとは逆に被写体の一部に背景が割り当てられてなる場合等を防止して、不自然な処理結果を回避することができる。
【００１６】
【発明の実施の形態】
以下、適宜図面を参照しながら本発明の実施の形態を詳述する。
【００１７】
（１）第１の実施の形態の構成
図１は、本発明の第１の実施の形態に係るテレビジョンカメラを示すブロック図である。このテレビジョンカメラ１において、ＣＣＤ固体撮像素子（ＣＣＤ）２は、いわゆる補色系のカラーフィルタが配置された単板式の撮像素子であり、タイミングジェネレータ（ＴＧ）３の駆動により撮像結果を出力する。
【００１８】
ＣＣＤ固体撮像素子２は、いわゆるプログレッブスキャン方式による全画素読み出し方式の撮像素子であり、ユーザーの設定による電荷蓄積時間により１／６０〔秒〕周期で撮像結果を得、この撮像結果を長時間露光の撮像結果ＶＬとして出力する。さらにＣＣＤ固体撮像素子２は、これら長時間露光の撮像結果ＶＬの垂直ブランキング期間において、この長時間露光による電荷蓄積時間に比して短い電荷蓄積時間による撮像結果を得、この撮像結果を短時間露光の撮像結果ＶＳとして出力する。
【００１９】
これにより図２に示すように、ＣＣＤ固体撮像素子２においては、所定の入射光量以上においては、出力レベルが飽和してなる長時間露光の撮像結果ＶＬ（図２（Ａ））と、これより短い電荷蓄積時間により出力レベルが飽和していない短時間露光の撮像結果ＶＳ（図２（Ｂ））とを組にして順次交互に出力する。
【００２０】
メモリ４Ｌは、図示しない相関二重サンプリング回路、欠陥補正回路、アナログディジタル変換回路等を介して、この長時間露光による撮像結果ＶＬを入力し、この長時間露光による撮像結果ＶＬを一時保持して出力する。同様に、メモリ４Ｓは、図示しない相関二重サンプリング回路、欠陥補正回路、アナログディジタル変換回路等を介して、この短時間露光による撮像結果ＶＳを入力し、この短時間露光による撮像結果ＶＳを一時保持して出力する。
【００２１】
ゲイン補正回路６は、長時間露光の撮像結果ＶＬに対応するように短時間露光の撮像結果ＶＳの信号レベルを補正して出力することにより、合成回路７で長時間露光の撮像結果ＶＬと短時間露光の撮像結果ＶＳとを合成して広ダイナミックレンジの撮像結果ＶＴを生成した際に（図２（Ｃ））、この広ダイナミックレンジの撮像結果ＶＴにおける階調の変化に違和感が発生しないようにする。
【００２２】
Ｈ側マスク生成回路８Ｌは、長時間露光の撮像結果ＶＬを構成する画像データを順次取り込んでマトリックス演算処理し、長時間露光の撮像結果ＶＬより輝度信号を生成する。さらにＨ側マスク生成回路８Ｌは、内蔵したフィルタを用いて生成した輝度信号より入力画像データの属する領域を判定し、その判定結果を出力する。このときＨ側マスク生成回路８Ｌは、各入力画像データの近傍所定範囲の特徴を示す特徴量に従って入力画像データの属する領域を判定し、ここではこの特徴量として長時間露光の撮像結果ＶＬより得られる輝度信号レベルが適用されるようになされている。
【００２３】
これによりＨ側マスク生成回路８Ｌは、入力画像データが何れの平均輝度レベルの領域に属するかを判定し、その判定結果を入力画像の低周波数成分である平均輝度レベルにより出力する。
【００２４】
すなわちＨ側マスク生成回路８Ｌにおいて、内蔵のフィルタは、２次元のローパスフィルタにより構成され、ラスタ走査の順序で入力される輝度信号レベルである画素値ｘ（ｉ，ｊ）について、次式により表される低周波数成分ｒ（ｉ，ｊ）を検出し、この低周波数成分ｒ（ｉ，ｊ）を判定結果として出力する。なお（１）式のＮ、Ｍは平均値を計算するための近傍領域の大きさを表わす定数である。
【００２５】
【数１】

【００２６】
これによりＨ側マスク生成回路８Ｌは、撮像結果ＶＬより画像中の細かい構造を除去して比較的画素値が平坦な領域を抽出する。Ｈ側マスク生成回路８Ｌは、この低周波数成分ｒ（ｉ，ｊ）を長時間露光の撮像結果ＶＬの画面を構成する各領域の明るさを示す領域判定信号ＳＬして出力する。かくするにつき、この領域判定信号ＳＬは、長時間露光の撮像結果ＶＬについて、階調を十分に表している領域か否かを示すことになる。
【００２７】
Ｌ側マスク生成回路８Ｓは、短時間露光の撮像結果ＶＳを構成する画像データを順次取り込んでＨ側マスク生成回路８Ｌを同様に処理することにより、短時間露光の撮像結果ＶＳについて画面を構成する各領域の明るさを示す領域判定信号ＳＳを出力する。かくするにつき、この領域判定信号ＳＳは、短長時間露光の撮像結果ＶＳについて、階調を十分に表している領域か否かを示すことになる。
【００２８】
合成用マスク生成回路９は、Ｈ側マスク生成回路８Ｌ及びＬ側マスク生成回路８Ｓより出力される領域判定信号ＳＬ及びＳＳをそれぞれ２値化し、これによりそれぞれ長時間露光の撮像結果ＶＬと短時間露光の撮像結果ＶＳとについて、階調を十分に表している領域か否かを示すＨ側マスク信号ＭＬ及びＬ側マスク信号ＭＳを生成する。
【００２９】
これにより図１０及び図１１の場合を例に採って図３に示すように、それぞれ物体Ａ及び背景Ｂが十分な階調により撮像されてなる長時間露光の撮像結果ＶＬと短時間露光の撮像結果ＶＳについて、合成用マスク生成回路９は、それぞれ物体Ａと背景Ｂとの領域を識別するＨ側マスク信号ＭＬ及びＬ側マスク信号ＭＳを生成することになる。
【００３０】
合成用マスク生成回路９は、これらＨ側マスク信号ＭＬ及びＬ側マスク信号ＭＳの論理積信号を生成し、この論理積信号を合成用マスク信号ＭＴとして出力する。これにより合成用マスク生成回路９は、長時間露光の撮像結果ＶＬと短時間露光の撮像結果ＶＳとの輝度レベルを基準にして、短時間露光の撮像結果ＶＳにおいて十分な階調が得られていない領域であって、長時間露光の撮像結果ＶＬで十分な階調が確保されている領域を示す合成用マスク信号ＭＴを生成する（図３）。
【００３１】
合成回路７は、この合成用マスク信号ＭＴを基準にして、長時間露光の撮像結果ＶＬと短時間露光の撮像結果ＶＳとを選択出力し、これにより短時間露光の撮像結果ＶＳにおいて十分な階調が得られていない領域であって、長時間露光の撮像結果ＶＬで十分な階調が確保されている領域については、短時間露光の撮像結果ＶＳを長時間露光の撮像結果ＶＬに置き換えて広ダイナミックレンジの撮像結果ＶＴを出力する。
【００３２】
これにより合成回路７は、短時間露光の撮像結果ＶＳを基本にして、この短時間露光の撮像結果ＶＳを長時間露光の撮像結果ＶＬにより改善可能な領域については、長時間露光の撮像結果ＶＬに置き換えて合成画像ＶＴを生成する。従って合成回路７は、動きのある物体についても、短時間露光の撮像結果ＶＳにおいて、この物体の撮像結果の階調を長時間露光の撮像結果ＶＬにより改善することができる場合についてのみ長時間露光の撮像結果ＶＬと置き換えることになる。
【００３３】
またこの置き換えについても、階調を改善可能な領域についてだけ長時間露光の撮像結果ＶＬと置き換え、長時間露光の撮像結果ＶＬにより階調を改善することが困難な、例えば図１１について上述した領域ＡＲの部分については、ゲイン補正回路６により信号レベルが補正されて感度が増大されてなる短時間露光の撮像結果ＶＳを選択する。
【００３４】
階調補正回路１０は、Ｌ側マスク生成回路８Ｓより出力される領域判定信号ＳＳを階調補正用の制御信号として使用して、合成回路７より出力される撮像結果ＶＴの階調を補正し、さらにはダイナミックレンジを抑圧して出力する。
【００３５】
信号処理回路１１は、この階調補正回路１０の出力信号を続く映像機器の処理に適した信号フォーマットに変換して出力する。
【００３６】
図４は、この階調補正回路１０を詳細に示すブロック図である。なおこの実施の形態では、図５に示すように、ラスタ走査順に入力される撮像結果ＶＴについて、水平方向を符号ｉによる添え字により、垂直方向を符号ｊによる添え字により示す。
【００３７】
階調補正回路１０において、係数算出回路１３は、領域判定信号ＳＳ（ｒ（ｉ，ｊ））の信号レベルに応じて、例えば図６に示すような係数算出関数Ｇによりコントラスト補正係数ｇ（ｉ，ｊ）を生成する。ここでこの係数算出関数Ｇは、例えば図７に示すレベル変換関数Ｔ（ｌ）を次式により演算処理して得られる関数であり、レベル変換関数Ｔ（ｌ）は、周波数の低い輝度レベルについて、この階調補正回路１０の入出力特性を示す関数である。この実施の形態において、このレベル変換関数Ｔ（ｌ）は、所定のしきい値Ｉｋを境にして、輝度レベルの小さな部分については信号レベルを強調し、高輝度レベルの部分については信号レベルを抑圧する特性であり、かつ入力レベルの最大値ＬＩｍａｘが出力レベルＬＯｍａｘになるようにダイナミックレンジを変更する特性である。
【００３８】
【数２】

【００３９】
これにより係数算出回路１３は、次式の演算処理によりコントラスト補正係数ｇ（ｉ，ｊ）を生成して出力し、入力レベルである低周波数成分ｒ（ｉ，ｊ）の信号レベルが所定の基準レベルＩｋ以下の領域については、値１以上の一定値ｇｍａｘによるコントラスト補正係数ｇ（ｉ，ｊ）を出力し、この基準レベルＩｋ以上の領域については、低周波数成分ｒ（ｉ，ｊ）の信号レベルに応じて徐々に値が値ｇｍｉｎに近づくようにコントラスト補正係数ｇ（ｉ，ｊ）を出力する。
【００４０】
【数３】

【００４１】
乗算回路１４は、このようにして生成されるコントラスト補正係数ｇ（ｉ，ｊ）を用いて撮像結果ＶＴの画素値ｘ（ｉ，ｊ）を乗算することにより、コントラスト補正係数ｇ（ｉ，ｊ）により撮像結果ＶＴの信号レベルを補正して出力する。
【００４２】
（２）第１の実施の形態の動作
以上の構成において、テレビジョンカメラ１においては（図１）、通常の電荷蓄積時間による長時間露光の撮像結果ＶＬ（図２（Ａ））と、短い電荷蓄積時間による短時間露光の撮像結果ＶＳ（図２（Ｂ））とが交互に出力され、この撮像結果ＶＬ及びＶＳがそれぞれメモリ４Ｌ及び４Ｓに保持される。テレビジョンカメラ１では、高感度の画像である長時間露光の撮像結果ＶＬの輝度レベルに対応するように、低感度の画像である短時間露光の撮像結果ＶＳについて、ゲイン補正回路６により信号レベルが補正される。
【００４３】
さらにテレビジョンカメラ１では、信号レベルが補正されてなる短時間露光の撮像結果ＶＳ、長時間露光の撮像結果ＶＬより、それぞれＬ側マスク生成回路８Ｓ及びＨ側マスク生成回路８Ｌにおいて輝度信号が生成され、さらにこの輝度信号より画像中の細かな構造が除去されて領域判定信号ＳＬ及びＳＳが生成される。ここで長時間露光の撮像結果ＶＬにおいては（図３）、被写体のハイライト部分については、階調の変化が抑圧されて短時間露光による撮像結果ＶＳに比して階調が劣化しているのに対し、被写体のローライト部分については、十分な階調、ＳＮ比により被写体を撮像していることになる。これによりこのようにして生成される長時間露光の領域判定信号ＳＬにあっては、十分な階調により表現されているか否かを、各画素の属する領域について示していることになる。
【００４４】
これに対して短時間露光の撮像結果ＶＳにおいては、被写体のハイライト部分については、十分なＳＮ比、階調により撮像され、被写体のローライト部分については、ゲイン補正回路６による信号レベルの補正により、長時間露光による場合に比してＳＮ比は劣化しているものの、十分な階調により被写体を撮像していることになる。かくするにつき、この短時間露光の領域判定信号ＳＳにあっても、十分な階調、ＳＮ比により表現されているか否かを、各画素の属する領域について示していることになる。
【００４５】
テレビジョンカメラ１においては、これら２つの領域判定信号ＳＬ及びＳＳが合成用マスク生成回路９に出力され、ここでそれぞれ２値化され、各撮像結果ＶＬ及びＶＳについて、２値により階調を十分に表している領域か否かを示すＨ側マスク信号ＭＬ及びＬ側マスク信号ＭＳが生成される。
【００４６】
さらにこの２つのマスク信号ＭＬ及びＭＳの論理積演算により、元の短時間露光の撮像結果ＶＳにおいて十分な階調が得られていない領域であって、長時間露光の撮像結果ＶＬで十分な階調が確保されている領域を示す合成用マスク信号ＭＴが生成される（図３）。
【００４７】
テレビジョンカメラ１では、この合成用マスク信号ＭＴに応じて、長時間露光の撮像結果ＶＬ、信号レベルが補正されてなる短時間露光の撮像結果ＶＳの画素値が順次選択されて合成画像ＶＴが生成される。これにより合成画像ＶＴは、短時間露光の撮像結果ＶＳを基本にして、この短時間露光の撮像結果ＶＳを長時間露光の撮像結果ＶＬにより改善可能な領域についてだけ長時間露光の撮像結果ＶＬに置き換えて生成され、これにより図１１について上述したように、被写体に動きがある場合に、背景の一部に被写体が割り当てられてなる状況、又はこれとは逆に被写体の一部に背景が割り当てられてなるような状況が防止される。これによりテレビジョンカメラ１では、動きのある場合でも、違和感無く、高感度の画像と低感度の画像とを合成して、広ダイナミックレンジの画像を生成することができる。
【００４８】
かくするにつきこの実施の形態では、低感度の画像側で、動きのある部分については、高感度の画像により置き換えられることなく、ゲイン補正回路６における信号レベルの補正により、ＳＮ比が若干低下するものの、隣接する領域と同一の階調により、低感度側の画像により表現されることになる。
【００４９】
このようにして生成された広ダイナミックレンジによる撮像結果ＶＴは、短時間露光による撮像結果ＶＳの領域判定信号ＳＳが階調補正用の制御信号として使用されて、階調補正回路１０において、階調の劣化を防止してダイナミックレンジが抑圧される。
【００５０】
すなわち輝度信号ＳＳの領域判定信号ＳＳは、画像中の細かな構造が除去され、撮像結果ＶＴの各画素の属する輝度レベルを表す。
【００５１】
これにより撮像結果ＶＴにおいては、係数算出回路１３により、この領域判定信号ＳＳである低周波数成分ｒ（ｉ，ｊ）の信号レベルに応じてコントラスト補正係数ｇ（ｉ，ｊ）が生成され、このコントラスト補正係数ｇ（ｉ，ｊ）により乗算回路１４において、撮像結果ＶＴの画素値ｘ（ｉ，ｊ）が補正される。
【００５２】
これにより撮像結果ＶＴにおいては、低周波数成分ｒ（ｉ，ｊ）の信号レベルが等しい領域においては、等しい利得により画素値が補正されるのに対し、低周波数成分ｒ（ｉ，ｊ）の信号レベルが異なる領域においては、レベル変換関数Ｔ（ｌ）の設定に応じて、画素値を近接させることができ、また場合によっては画素値の大小関係を逆転させることも可能となる。これにより全体の階調に対して、各領域内の階調を自然に増加させることができ、部分的な階調の劣化を有効に回避して全体の階調を補正することが可能となる。
【００５３】
すなわち図８に示すように、画素値ｘ（ｉ，ｊ）がローパスフィルタのカットオフ周波数以上の周波数により脈動し、さらに画素値ｘ（ｉ，ｊ）の直流レベルがコントラスト補正係数ｇ（ｉ，ｊ）における変極点を跨いで急激に立ち上がっている場合（図８（Ａ）及び（Ｂ））、撮像結果ＶＴにおいては、それぞれこの低周波数成分ｒ（ｉ，ｊ）の信号レベルに応じた利得により画素値ｙ（ｉ，ｊ）が補正され、係数算出関数Ｇ（ｌ）の設定によって信号レベルが補正されることになる。このとき画素値ｘ（ｉ，ｊ）が小さな部分においては、ピーク値Ｉ３及びボトム値Ｉ１の平均値レベルＩ２による利得ｇｍａｘにより画素値ｘ（ｉ，ｊ）が補正され、これにより低レベル領域に対しては十分な階調を維持することができる（図１１（Ｄ））。なおここで、図８（Ｄ）との対比により、各画素値を直接図７のレベル変換関数により補正する場合を図８（Ｃ）に示す。
【００５４】
これに対して高レベル側においては、同様に、ピーク値Ｉ６及びボトム値Ｉ４の平均値レベルＩ５による利得ｇ５により画素値ｘ（ｉ，ｊ）が補正され、このときこれらピーク値Ｉ６及びボトム値Ｉ４が一様な利得により画素値が補正されることにより、このピーク値ｌ６及びボトム値ｌ４間のコントラストにおいては、この利得ｇ５で増幅されることになる。
【００５５】
これによりこの実施の形態に係る階調補正回路１０においては、全体的に見たときの階調は低下するものの、微視的に見た脈動については、入力画像である撮像結果ＶＴによる脈動を維持することが可能となる。
【００５６】
また図９に示すように、同様に、画素値ｘ（ｉ，ｊ）が脈動して直流レベルが急激に立ち上がっている場合であって、画素値ｘ（ｉ，ｊ）の大きな変化が係数算出関数Ｇ（ｌ）の変極点より高レベル側に偏っている場合でも（図９（Ａ）及び（Ｂ））、低レベル側及び高レベル側においては、それぞれ平均値レベルＩ２及びＩ５に対応する利得ｇ２及びｇ５により画素値が補正され、全体的に見たときの階調は低下するものの、微視的に見た脈動については、入力画像である撮像結果ＶＴによる脈動を維持することが可能となる（図９（Ｄ））。なおこの図９においても、図７のレベル変換関数により直接画素値を補正した場合を図９（Ｃ）に示す。
【００５７】
これによりこの実施の形態では、信号処理回路１１により続く映像機器の処理に適したフォーマットに変換して映像信号を出力して、視覚的に広ダイナミックレンジの撮像結果を出力することができる。
【００５８】
（３）第１の実施の形態の効果
以上の構成によれば、高感度による画像である長時間露光の撮像結果と、低感度の画像である短時間露光の撮像結果とを合成して合成画像を作成するにつき、画素値が補正された低感度の画像の中で、元の低解像度の画像では十分な階調により表現されていない領域であって、高感度の画像より十分な階調により表現された領域については、高感度の画像により置き換えて合成画像を生成することにより、被写体に動きがある場合でも、違和感なく短時間露光による撮像結果と長短時間露光による撮像結果とを合成して十分な階調による画像を生成することができる。
【００５９】
（４）他の実施の形態
なお上述の実施の形態においては、輝度信号の低周波数成分によるＨ側マスク信号とＬ側マスク信号とを２値化した後、論理積演算により合成用マスク信号を生成する場合について述べたが、本発明はこれに限らず、Ｈ側マスク信号とＬ側マスク信号とを直接処理して多値の合成用マスク信号を生成し、この多値の合成用マスク信号により画像合成しても良く、さらにはこの多値の合成用マスク信号を２値化して上述の実施の形態と同様に合成画像を生成してもよい。
【００６０】
また上述の実施の形態においては、ゲイン補正された短時間露光の撮像結果よりＬ側マスク信号を生成する場合について述べたが、本発明はこれに限らず、短時間露光の撮像結果より直接生成するようにしてもよい。
【００６１】
また上述の実施の形態においては、輝度信号を生成してＨ側マスク信号及びＬ側マスク信号を生成する場合について述べたが、本発明はこれに限らず、例えば色信号を単純加算して生成されるいわゆるナムＹ信号をＨ側マスク信号とＬ側マスク信号として使用する場合等、要は輝度レベルに基準にしてこれらマスク信号を生成して上述の実施の形態と同様の効果を得ることができる。
【００６２】
また上述の実施の形態においては、１つの撮像素子の電荷蓄積時間を切り換えて長時間露光の撮像結果と短時間露光の撮像結果を取得して処理する場合について述べたが、本発明はこれに限らず、専用の撮像素子よりそれぞれ長時間露光の撮像結果と短時間露光の撮像結果を取得して処理する場合にも広く適用することができる。この場合、長時間露光の撮像結果と短時間露光の撮像結果とを同時に取得することにより、被写体の動きによるエラーに対応する２つの撮像結果の視線の相違によるエラーを防止して、違和感の無い広ダイナミックレンジの合成画像を生成することができる。
【００６３】
また上述の実施の形態においては、本発明をテレビジョンカメラに適用する場合について述べたが、本発明はこれに限らず、例えばこの種の長時間露光の撮像結果と短時間露光の撮像結果とをパーソナルコンピュータにより処理して広ダイナミックレンジの画像を生成する場合等にも広く適用することができる。
【００６４】
【発明の効果】
上述のように本発明によれば、画素値が補正された低感度の画像の中で、元の低感度の画像では十分な階調により表現されていない領域であって、高感度の画像で十分な階調により表現された領域については、高感度の画像により置き換えて合成画像を生成することにより、被写体に動きがある場合等でも、違和感なく高感度の画像と低感度の画像とを合成して十分な階調による画像を生成することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係るテレビジョンカメラを示すブロック図である。
【図２】図１のテレビジョンカメラにおける長時間露光及び短時間露光による撮像結果の説明に供する特性曲線図である。
【図３】図１のテレビジョンカメラにおける画像合成の説明に供する略線図である。
【図４】図１のテレビジョンカメラにおける階調補正回路を示すブロック図である。
【図５】撮像結果の水平、垂直方向を示す略線図である。
【図６】コントラスト補正係数を示す特性曲線図である。
【図７】レベル変換関数を示す特性曲線図である。
【図８】階調補正の説明に供する特性曲線図である。
【図９】図８とは異なる信号レベルによる階調補正の説明に供する特性曲線図である。
【図１０】複写体と、長時間露光及び短時間露光による撮像結果との関係を示す略線図である。
【図１１】動きのある被写体についての長時間露光及び短時間露光による撮像結果と、合成した撮像結果との関係を示す略線図である。
【符号の説明】
１……テレビジョンカメラ、２……ＣＣＤ固体撮像素子、６……ゲイン補正回路、７……合成回路、８Ｌ……Ｈ側マスク生成回路、８Ｓ……Ｌ側マスク生成回路、９……合成要マスク生成回路、１０……階調補正回路、１１……信号処理回路、１３……係数算出回路、１４……乗算回路

Claims

高い感度で撮像された高感度画像と、低い感度で撮像された低感度画像とを合成する画像処理装置であって、
前記高感度画像の輝度レベルに対応するように、前記低感度画像の画素値を補正して画素値補正画像を生成する画素値補正手段と、
前記低感度画像の画像データ及び前記高感度画像の画像データをそれぞれ取り込みフィルタリング処理し、前記低感度画像を構成する各領域の明るさを示す低感度画像の領域判定信号、及び前記高感度画像を構成する各領域の明るさを示す高感度画像の領域判定信号を生成するマスク生成手段と、
前記高感度画像の領域判定信号と前記低感度画像の領域判定信号をそれぞれ２値化処理して高感度画像と低感度画像のマスク信号を生成し、前記高感度画像と低感度画像のマスク信号の論理積演算により合成用マスク信号を生成する合成用マスク生成手段と、
前記合成用マスク信号を基準にして、前記高感度画像と前記画素値補正画像を選択出力し、広ダイナミックレンジの撮像結果を出力する合成手段と、
前記低感度画像の領域判定信号を階調補正用の制御信号として、前記合成手段から出力される撮像結果の階調を補正する階調補正手段とを備える
画像処理装置。
前記高感度画像と、前記低感度画像とを取得する撮像手段を有する
請求項１に記載の画像処理装置。
前記階調補正手段は、
前記低感度画像の領域判定信号に応じて補正係数を生成する補正係数生成手段と、
前記補正係数により前記撮像結果の画素値を補正する補正手段とを有する
請求項１に記載の画像処理装置。
高い感度で撮像された高感度画像と、低い感度で撮像された低感度画像とを合成する画像処理方法であって、
前記高感度画像の輝度レベルに対応するように、前記低感度画像の画素値を補正して画素値補正画像を生成する画素値補正ステップと、
前記低感度画像の画像データ及び前記高感度画像の画像データをそれぞれ取り込みフィルタリング処理し、前記低感度画像を構成する各領域の明るさを示す低感度画像の領域判定信号、及び前記高感度画像を構成する各領域の明るさを示す高感度画像の領域判定信号を生成するマスク生成ステップと、
前記高感度画像の領域判定信号と前記低感度画像の領域判定信号をそれぞれ２値化処理して高感度画像と低感度画像のマスク信号を生成し、前記高感度画像と低感度画像のマスク信号の論理積演算により合成用マスク信号を生成する合成用マスク生成ステップと、
前記合成用マスク信号を基準にして、前記高感度画像と前記画素値補正画像を選択出力し、広ダイナミックレンジの撮像結果を出力する合成ステップと、
前記低感度画像の領域判定信号を階調補正用の制御信号として、前記合成ステップから出力される撮像結果の階調を補正する階調補正ステップとを備える
画像処理方法
前記階調補正のステップは、
前記低感度画像の領域判定信号に応じて補正係数を生成するステップと、
前記補正係数により前記撮像結果の画素値を補正するステップと、
請求項４に記載の画像処理方法。