JP3865127B2 - Signal processing apparatus and method, recording medium, and program - Google Patents

Description

【００７０】
ここで、横軸は入力信号を０乃至１に正規化したものとし、ｎは予め定められた定数であり、偶数とする。また、αは、値dlt1の定義域内の最大値を１に正規化するための正規化定数である。図７の曲線２６１は式（９）に対応し、曲線２６２はn＝２の場合の式（１０）に対応し、曲線２６３はn＝４の場合の式（１０）に対応し、曲線２６４はn＝６の場合の式（１０）に対応するグラフである。
【００７１】
図８は、第２の補正パターンを構成する関数の例を示すグラフである。
【００７２】
図８において、曲線２７１乃至２７４は、第２の補正パターンを構成し、以下に示す式（１２）および式（１３）で表される関数をグラフにしたものである。
【００７３】
【数２】

【００７４】
ここで、横軸は入力信号を０乃至１に正規化したものとし、ｎは予め定められた定数であり、奇数とする。また、αは、値dlt2の定義域内の最大値を１に正規化するための正規化定数である。図８の曲線２７１は式（１２）に対応し、曲線２７２はn＝１の場合の式（１３）に対応し、曲線２７３はn＝３の場合の式（１２）に対応し、曲線２７４はn＝５の場合の式（１３）に対応するグラフである。
【００７５】
信号処理部２１１は、以上のような補正パターンにおいて、入力Y信号を補正するが、これらの関数を回路で実現する場合、その演算回路の規模が大きくなってしまうので、これらの関数を表現するルックアップテーブルを作成し、内蔵するROMまたはRAMなどで記憶させるようにする方が好ましい。
【００７６】
信号処理部２１１は、第１の補正パターンを用いて補正した入力Y信号である第１基本補正後信号を乗算器２１３に出力し、第２の補正パターンを用いて補正した入力Y信号である第２基本補正後信号を乗算器２１２に出力する。
【００７７】
マイクロコンピュータ２０４は、信号処理部２１１による第１の補正パターンを用いた補正の度合いを決定する係数である第１ゲイン、および、信号処理部２１１による第２の補正パターンを用いた補正の度合いを決定する係数である第２ゲインの値を、後述するように決定する。そして、マイクロコンピュータ２０４は、決定した第１ゲインおよび第２ゲインを、それぞれ、第１ゲイン信号および第２ゲイン信号として、乗算器２１３および乗算器２１２に供給する。
【００７８】
乗算器２１３は、マイクロコンピュータ２０４より供給された第１ゲイン信号、および信号処理部２１１より出力された第１基本補正後Y信号の乗算を行い、第１乗算済みY信号として、加算器２１４に供給する。乗算器２１２は、同様に、マイクロコンピュータ２０４より供給された第２ゲイン信号、および、信号処理部２１１より出力された第２基本補正後Y信号の乗算を行い、第２乗算済みY信号として、加算器２１４に供給する。
【００７９】
加算器２１４は、乗算器２１３より供給された第１乗算済みY信号、および、乗算器２１２より供給された第２乗算済みY信号を加算し、第１の補正パターンおよび第２の補正パターンを用いた補正に関する全補正量が含まれる補正後Y信号として加算器２２３に供給する。
【００８０】
ところで、階調変換回路２０１に入力されたアパーチャ補正信号は、乗算器２２１において、マイクロコンピュータ２０４において設定されて供給された、アパーチャ補正信号用のゲイン信号である第３ゲイン信号と乗算され、乗算済みアパーチャ補正信号として、加算器２２２に供給される。
【００８１】
加算器２２２は、乗算器２２１より供給された乗算済みアパーチャ補正信号、および、入力Ｙ信号とを加算し、アパーチャ補正済みＹ信号として、加算器２２３に供給する。
【００８２】
階調変換回路２０１の入力信号である入力Ｙ信号は、加算器３４において、アパーチャ補正信号が加算されているが、階調変換を受けて階調の抑えられた部分においては、アパーチャ補正信号も同様に抑えられてしまうため、その部分の色の境目がぼやけてしまう。しかしながら、加算器２２２において、第３ゲイン信号を乗算することにより、最終的に階調補正を施していない状態にした乗算済みアパーチャ補正信号を加算することにより、階調が少なくなった部分も相対的にエッジの強調された、見た目の画質が向上した画像を得ることができる。
【００８３】
加算器２２３は、加算器２２３より供給されたアパーチャ補正済みＹ信号と、加算器２１４より供給された補正後Ｙ信号とを加算し、階調変換処理を施した出力Ｙ信号として、ニー回路３５に出力する。その後、Ｙ信号は、図１において説明した場合と同様の処理が行われ、出力端子６２よりVBS信号として出力される。
【００８４】
なお、同期信号発生回路２０３は、図５に示すように加算器６１にアナログの同期信号を供給する以外にも、Ｙ信号の垂直方向アドレス情報、水平方向アドレス情報、または、動作のタイミングを制御する情報等を含むデジタルの同期信号を生成し、各部に供給する。
【００８５】
以上のようにして、階調変換回路２０１は、撮影画像のＹ信号に対して階調補正を施す。
【００８６】
また、階調変換回路２０１には、スイッチ回路２３１が内蔵されている。スイッチ回路２３１は、マイクロコンピュータ２０４によりスイッチ回路制御信号を用いて制御され、出力する信号を切り替えることにより、入力Ｙ信号および出力Ｙ信号を時分割的にヒストグラム算出回路２０２に供給する。
【００８７】
上述したように、マイクロコンピュータ２０４は、第１ゲインおよび第２ゲインを算出し、それぞれ、第１ゲイン信号および第２ゲイン信号として階調補正変換回路２０１に供給することで、階調補正変換回路２０１がＹ信号の階調を補正する度合いを制御する。このとき、マイクロコンピュータ２０４は、ヒストグラム算出回路２０２において算出されたＹ信号のヒストグラムに基づいて、第１ゲインおよび第２ゲインを算出する。ヒストグラム算出回路２０２は、入力された入力Ｙ信号または出力Ｙ信号に基づいて、そのＹ信号のヒストグラムを算出する。
【００８８】
図９は、ヒストグラム算出回路２０２の詳細な構成例を示す図である。
【００８９】
図９において、出力Ｙ信号は、階調変換回路２０１によりヒストグラム算出回路２０２の比較器３０１乃至３０３に供給される。また、それとともに、マイクロコンピュータ２０４は、値Laを比較器３０１に供給し、値LaおよびLbを比較器３０２に供給し、値Lbを比較器３０３に供給する。このとき式（１５）が成り立つ。なお、Lmaxは、予め定められたY信号の最大信号レベルである。
【００９０】
０＜La＜Lb＜Lmax ・・・（１５）
【００９１】
比較器３０１は、階調変換回路２０１より供給された出力Y信号の信号レベルINを、マイクロコンピュータ２０４より供給された値０および値Laと比較し、以下に示す式（１６）で表される条件を満たす場合、値が「１」の信号をANDゲート３１１に供給する。
【００９２】
０≦IN＜La ・・・（１６）
【００９３】
なお、出力Y信号の信号レベルINが式（１６）を満たさない場合、比較器３０１は、値が「０」の信号をANDゲート３１１に供給する。
【００９４】
また、同様に、比較器３０２は、階調変換回路２０１より供給された出力Y信号の信号レベルINを、マイクロコンピュータ２０４より供給された値Laおよび値Lbと比較し、以下に示す式（１７）で表される条件を満たす場合、値が「１」の信号をANDゲート３１２に供給する。
【００９５】
La≦IN＜Lb ・・・（１７）
【００９６】
なお、出力Y信号の信号レベルINが式（１７）を満たさない場合、比較器３０２は、値が「０」の信号をANDゲート３１２に供給する。
【００９７】
さらに、同様に、比較器３０３は、階調変換回路２０１より供給された出力Y信号の信号レベルINを、マイクロコンピュータ２０４より供給された値Lbおよび値Lmaxと比較し、以下に示す式（１８）で表される条件を満たす場合、値が「１」の信号をANDゲート３１３に供給する。
【００９８】
Lb≦IN≦Lmax ・・・（１８）
【００９９】
なお、出力Y信号の信号レベルINが式（１８）を満たさない場合、比較器３０３は、値が「０」の信号をANDゲート３１３に供給する。
【０１００】
また、同期信号発生回路２０３は、図５において説明したビデオカメラ２００の各部の動作するタイミングを制御しており、さらに、ヒストグラム算出回路２０２に供給される出力Ｙ信号の水平方向アドレス情報Hadrおよび垂直方向アドレス情報Vadrを、出力Ｙ信号がヒストグラム算出回路２０２に供給されるタイミングに合わせて、ヒストグラム算出回路２０２が内蔵する比較器３０４に供給する。
【０１０１】
さらに、マイクロコンピュータ２０４は、ヒストグラムを生成する領域の境界線の座標である境界設定値Hs,He,Vs、およびVeをヒストグラム算出回路２０２の比較器３０４に供給する。
【０１０２】
ヒストグラム算出回路２０２の比較器３０４は、同期信号２０３より供給された出力Y信号のアドレス情報HadrおよびVadrを取得し、マイクロコンピュータ２０４より、領域の境界線の座標である境界設定値Hs,He,Vs、およびVeを取得すると、それらを比較し、以下に示す式（１９）および式（２０）で表される条件を満たす場合、値が「１」の信号をANDゲート３１１乃至３１３に供給する。
【０１０３】
Hs≦IN＜He ・・・（１９）
Vs≦IN＜Ve ・・・（２０）
【０１０４】
なお、同期信号発生回路２０３より供給される、出力Y信号のアドレス情報HadrおよびVadrが、式（１９）および式（２０）の条件を満たさない場合、比較器３０４は、値「０」の信号をANDゲート３１１乃至３１３に供給する。
【０１０５】
ANDゲート３１１は、入力された２つの信号の値がともに「１」である場合、値が「１」の信号をカウンタ３２１に供給する。また、それ以外の場合、ANDゲート３１１は、値が「０」の信号をカウンタ３２１に供給する。
【０１０６】
また、同様に、ANDゲート３１２は、入力された２つの信号の値がともに「１」である場合、値が「１」の信号をカウンタ３２２に供給し、それ以外の場合、値が「０」の信号をカウンタ３２２に供給する。
【０１０７】
さらに、ANDゲート３１３も同様に、入力された２つの信号の値がともに「１」である場合は値が「１」の信号を、それ以外の場合は値が「０」の信号をカウンタ３２３に供給する。
【０１０８】
カウンタ３２１乃至３２３は、値が「１」の信号を入力された回数をカウントする。また、カウンタ３２１乃至３２３は、図示は省略するが、同期信号発生回路２０３より出力Y信号のアドレス情報を供給されており、１フィールド分の出力Y信号についてカウントしたと判定すると、それぞれ、カウント結果であるヒストグラム値をマイクロコンピュータ２０４に供給する。
【０１０９】
マイクロコンピュータ２０４は、それらのヒストグラム値に基づいて、出力Y信号のヒストグラムを生成する。
【０１１０】
また、階調変換回路２０１は、時分割的に、出力Y信号とともに入力Y信号をヒストグラム算出回路２０２に供給しており、そのとき、同期信号発生回路２０３も出力Ｙ信号の場合と同様に、入力Ｙ信号に対応するアドレス情報をヒストグラム算出回路２０２に供給する。
【０１１１】
ヒストグラム算出回路２０２は、上述した出力Ｙ信号についての場合と同様に、入力Ｙ信号に対するヒストグラム値を算出し、１フィールド毎にマイクロコンピュータ２０４に供給する。そして、マイクロコンピュータ２０４は、それらのヒストグラム値に基づいて、入力Ｙ信号に対するヒストグラムを生成する。
【０１１２】
以上のようにして、マイクロコンピュータ２０４は、階調変換回路２０１の入力信号である入力Ｙ信号、および、階調変換回路２０１の出力信号である出力Ｙ信号に対応するヒストグラム値を取得し、後述するように、第１ゲインおよび第２ゲインの値を決定するためのヒストグラムを生成することができる。
【０１１３】
次に、図１０のフローチャートを参照して、Y信号の階調を変換する階調変換処理について説明する。
【０１１４】
最初に、ステップＳ１において、マイクロコンピュータ２０４は、ヒストグラム算出回路２０２においてヒストグラム値を算出する検波領域を設定する。マイクロコンピュータ２０４は、検波領域を設定し、その領域の境界線の座標である境界設定値Hs,He,Vs、およびVeをヒストグラム算出回路２０２に供給する。ヒストグラム算出回路２０２は、取得した境界設定値に基づいて、撮影画像のうち、マイクロコンピュータ２０４が設定した検波領域内に対応する入力Y信号および出力Y信号について、ヒストグラム値を算出する。
【０１１５】
検波領域を設定したマイクロコンピュータ２０４は、ステップＳ２において、ゲインの値を設定する。マイクロコンピュータ２０４は、後述するように、ヒストグラム算出回路２０２より取得したヒストグラム値に基づいて、入力Ｙ信号および出力Ｙ信号のヒストグラムを生成し、そのヒストグラムに基づいて、第１ゲイン、第２ゲイン、および第３ゲインの値を設定する。
【０１１６】
ステップＳ３において、階調変換回路２０１は、Ｙ信号補正処理を実行する。Ｙ信号補正処理については、図１１のフローチャートを参照して後述する。
【０１１７】
そして、ステップＳ４において、階調変換回路２０１は、アパーチャ補正処理を実行する。アパーチャ補正処理については、図１２のフローチャートを参照して後述する。
【０１１８】
Ｙ信号補正処理およびアパーチャ補正処理を終了した階調変換回路２０１は、ステップＳ５において、補正後Ｙ信号およびアパーチャ補正済みＹ信号を加算し、出力Ｙ信号を生成する。
【０１１９】
マイクロコンピュータ２０４は、ステップＳ６において、同期信号生成回路２０３より供給される同期信号に基づいて、階調変換回路２０１が１フィールド分のＹ信号の階調を変換したか否かを判定する。マイクロコンピュータ２０４は、階調変換回路２０１が階調を変換したＹ信号が１フィールド分に達しておらず、１フィールド分のＹ信号の階調をまだ変換していないと判定した場合、ステップＳ３に戻り、それ以降の処理を繰り返す。
【０１２０】
階調変換回路２０１が１フィールド分のＹ信号の階調を変換したと判定した場合、マイクロコンピュータ２０４は、ステップＳ７に進み、同期信号生成回路２０３より供給される同期信号に基づいて、Ｙ信号の入力が終了したか否かを判定する。
【０１２１】
Ｙ信号の入力が終了していないと判定した場合、マイクロコンピュータ２０４は、ステップＳ２に戻り、それ以降の処理を繰り返す。また、Ｙ信号の入力が終了したと判定した場合、マイクロコンピュータ２０４は、階調変換処理を終了する。
【０１２２】
次に、図１１のフローチャートを参照して、図１０のステップＳ３において実行されるＹ信号補正処理について説明する。
【０１２３】
階調変換回路２０１は、ステップＳ２１において、２種類の補正パターンで入力Ｙ信号の基本補正を行い、第１基本補正後Ｙ信号および第２基本補正後Ｙ信号を生成する。階調変換回路２０１は、上述したように、入力Ｙ信号に式（９）および式（１０）の関数で表される第１の補正パターンを加算することで基本補正を行い、第１基本補正後Ｙ信号を生成するとともに、入力Ｙ信号に式（１２）および式（１３）の関数で表される第２の補正パターンを加算することで基本補正を行い、第２基本補正後Ｙ信号を生成する。
【０１２４】
そして、ステップＳ２２において、階調変換回路２０１は、第１基本補正後Ｙ信号および、マイクロコンピュータ２０４より供給された第１ゲイン信号を乗算し、第１乗算済みＹ信号を生成する。さらに、ステップＳ２３において、階調変換回路２０１は、第２基本補正後Ｙ信号および、マイクロコンピュータ２０４より供給された第２ゲイン信号を乗算し、第２乗算済みＹ信号を生成する。
【０１２５】
階調変換回路２０１は、ステップＳ２４において、生成した第１乗算済みＹ信号および第２乗算済みＹ信号を加算し、補正後Ｙ信号を生成する。そして、補正後Ｙ信号を生成した階調変換回路２０１は、Ｙ信号補正処理を終了し、図１０のステップＳ４に進む。
【０１２６】
次に、図１０のステップＳ４において実行されるアパーチャ補正処理について、図１２のフローチャートを参照して説明する。
【０１２７】
最初に、階調変換回路２０１は、ステップＳ４１において、アパーチャ補正信号、および、マイクロコンピュータ２０４に供給された第３ゲイン信号を乗算し、乗算済みアパーチャ補正信号を生成する。
【０１２８】
そして、階調変換回路２０１は、ステップＳ４２に進み、乗算済みアパーチャ補正信号および入力Ｙ信号を加算し、アパーチャ補正済みＹ信号を生成する。アパーチャ補正済みＹ信号を生成した階調変換回路２０１は、アパーチャ補正処理を終了し、図１０のステップＳ５に進む。
【０１２９】
以上のようにして、Ｙ信号の階調を補正する処理が行われる。
【０１３０】
次に、ヒストグラム算出回路２０２によるヒストグラム積分処理について、図１３乃至図１５のフローチャートを参照して説明する。
【０１３１】
最初に、ヒストグラム算出回路２０２は、ステップＳ６１において、マイクロコンピュータ２０４に供給されたヒストグラム値の算出に用いる検波領域、第１の閾値、および第２の閾値を設定する。
【０１３２】
ヒストグラム算出回路２０２は、階調変換回路２０１より入力Ｙ信号または出力Ｙ信号からなる入力信号を取得し、取得した入力信号に対応するアドレス信号を同期信号発生回路２０３より取得する。
【０１３３】
ヒストグラム算出回路２０２は、ステップＳ６２において、入力信号および入力信号に対応するアドレス信号を取得したか否かを判定し、取得したと判定するまで待機する。
【０１３４】
そして、ステップＳ６３において、ヒストグラム算出回路２０２は、同期信号発生回路２０３より取得したアドレス信号に基づいて、取得した入力信号が、マイクロコンピュータ２０４に供給された検波領域内であるか否かを判定する。検波領域内ではないと判定した場合、ヒストグラム算出回路２０２は、図１５のステップＳ８１に進む。また、検波領域内であると判定した場合、ヒストグラム算出回路２０２は、ステップＳ６４に進む。
【０１３５】
ステップＳ６４において、ヒストグラム算出回路２０２は、取得した入力信号の値が、０より大きく、かつ、マイクロコンピュータ２０４に供給された第１の閾値以下であるか否かを判定する。入力信号の値が０より大きく、かつ、第１の閾値以下であると判定した場合、ヒストグラム算出回路２０２は、ステップＳ６５に進み、同期信号発生回路２０３より取得したアドレス信号に基づいて、入力信号が入力Ｙ信号であるか否かを判定する。
【０１３６】
入力信号が入力Ｙ信号であると判定した場合、ヒストグラム算出回路２０２は、ステップＳ６６に進み、入力Ｙ信号に対応するヒストグラム値である第１入力ヒストグラム値をカウントアップし、図１５のステップＳ８１に進む。
【０１３７】
図１３のステップＳ６５において、入力信号が出力Ｙ信号であり、入力Ｙ信号ではないと判定した場合、ヒストグラム算出回路２０２は、ステップＳ６７に進み、出力Ｙ信号に対応するヒストグラム値である第１出力ヒストグラム値をカウントアップし、図１５のステップＳ８１に進む。
【０１３８】
また、ステップＳ６４において、入力信号が０以下である、または第１の閾値より大きいと判定した場合、ヒストグラム算出回路２０２は、図１４のステップＳ７１に進む。
【０１３９】
図１４のステップＳ７１において、ヒストグラム算出回路２０２は、取得した入力信号の値が、マイクロコンピュータ２０４に供給された第１の閾値より大きく、かつ、マイクロコンピュータ２０４に供給された第２の閾値以下であるか否かを判定する。入力信号の値が第１の閾値より大きく、かつ、第２の閾値以下であると判定した場合、ヒストグラム算出回路２０２は、ステップＳ７２に進み、同期信号発生回路２０３より取得したアドレス信号に基づいて、入力信号が入力Ｙ信号であるか否かを判定する。
【０１４０】
入力信号が入力Ｙ信号であると判定した場合、ヒストグラム算出回路２０２は、ステップＳ７３に進み、入力Ｙ信号に対応するヒストグラム値である第２入力ヒストグラム値をカウントアップし、図１５のステップＳ８１に進む。
【０１４１】
図１４のステップＳ７２において、入力信号が出力Ｙ信号であり、入力Ｙ信号ではないと判定した場合、ヒストグラム算出回路２０２は、ステップＳ７４に進み、出力Ｙ信号に対応するヒストグラム値である第２出力ヒストグラム値をカウントアップし、図１５のステップＳ８１に進む。
【０１４２】
また、ステップＳ７１において、入力信号が第１の閾値以下である、または第２の閾値より大きいと判定した場合、図１４のステップＳ７５に進む。
【０１４３】
図１４のステップＳ７５において、ヒストグラム算出回路２０２は、取得した入力信号の値が、マイクロコンピュータ２０４に供給された第２の閾値より大きく、かつ、予め設定されている入力信号の最大値以下であるか否かを判定する。入力信号の値が第２の閾値より大きく、かつ、最大値以下であると判定した場合、ヒストグラム算出回路２０２は、ステップＳ７６に進み、同期信号発生回路２０３より取得したアドレス信号に基づいて、入力信号が入力Ｙ信号であるか否かを判定する。
【０１４４】
入力信号が入力Ｙ信号であると判定した場合、ヒストグラム算出回路２０２は、ステップＳ７７７に進み、入力Ｙ信号に対応するヒストグラム値である第３入力ヒストグラム値をカウントアップし、図１５のステップＳ８１に進む。
【０１４５】
図１４のステップＳ７６において、入力信号が出力Ｙ信号であり、入力Ｙ信号ではないと判定した場合、ヒストグラム算出回路２０２は、ステップＳ７８に進み、出力Ｙ信号に対応するヒストグラム値である第３出力ヒストグラム値をカウントアップし、図１５のステップＳ８１に進む。
【０１４６】
また、ステップＳ７５において、入力信号が第２の閾値以下である、または最大値より大きいと判定した場合、図１４のステップＳ７９に進み、エラー処理を実行し、図１５のステップＳ８１に進む。
【０１４７】
図１５のステップＳ８１において、ヒストグラム算出回路２０２は、同期信号発生回路２０３より供給される入力信号のアドレス情報に基づいて、１フィールド分の信号について処理を行ったか否かを判定する。行っていないと判定した場合、ヒストグラム算出回路２０２は、図１３のステップＳ６２に戻り、それ以降の処理を繰り返す。
【０１４８】
１フィールド分の信号について処理を行ったと判定した場合、ヒストグラム算出回路２０２は、ステップＳ８２において、算出した第１乃至第３入力ヒストグラム値、並びに、第１乃至第３出力ヒストグラム値をマイクロコンピュータ２０４に供給し、ステップＳ８３において、カウンタをリセットする。
【０１４９】
そして、ヒストグラム算出回路２０２は、ステップＳ８４において、入力が終了したか否かを判定し、終了していないと判定した場合、図１３のステップＳ６１に戻り、それ以降の処理を繰り返す。また、入力が終了したと判定した場合、ヒストグラム算出回路２０２は、ヒストグラム積分処理を終了する。
【０１５０】
次に、マイクロコンピュータ２０４が第１ゲイン、第２ゲイン、および第３ゲインの値を設定するゲイン調整処理について、図１６のフローチャートを参照して説明する。
【０１５１】
最初に、マイクロコンピュータ２０４は、ステップＳ１０１において、ヒストグラム算出回路２０２より第１乃至第３入力ヒストグラム値、並びに、第１乃至第３ヒストグラム値からなるヒストグラム値を取得したか否かを判定し、取得したと判定するまで待機する。
【０１５２】
ヒストグラム値を取得したと判定した場合、マイクロコンピュータ２０４は、ステップＳ１０２に進み、取得したヒストグラム値より、正規化ヒストグラム累積度数分布情報を算出する。
【０１５３】
図１７は、マイクロコンピュータ２０４が算出する正規化ヒストグラム累積度数分布情報をグラフで表した図である。
【０１５４】
図１７において、横軸は、ヒストグラム値の算出に用いられたＹ信号の信号レベルであり、縦軸は、カウントされた度数であるヒストグラム値を表す。ここで、横軸および縦軸の値は、それぞれ、最大値が「１」となるように正規化されている。また、直線３５１は、理想的な累積度数分布を示す累積度数分布を表しており、曲線３５２は、ヒストグラム値に基づいて算出された累積度数分布を表している。
【０１５５】
例えば、図１７が、出力Ｙ信号に対する累積度数分布情報を表したグラフである場合、点Ｃ１に対する累積度数Ｄ２は、ヒストグラム算出回路２０２においてカウントされた第１出力ヒストグラム値であり、点Ｃ２に対する累積度数Ｄ３は、ヒストグラム算出回路２０２においてカウントされた第１および第２出力ヒストグラム値を加算した値であり、点Ｃ３に対する累積度数Ｄ５は、ヒストグラム算出回路２０２においてカウントされた第１乃至第３出力ヒストグラム値を加算した値である。なお、入力Ｙ信号に対する累積度数分布情報をグラフで表す場合も同様である。
【０１５６】
これに対して、理想的な累積度数分布の場合、点Ｃ１乃至点Ｃ３に対する累積度数は、それぞれ、Ｄ１，Ｄ４，Ｄ５となり、全ての信号レベルに均一に分布する。
【０１５７】
図１６に戻り、正規化ヒストグラム累積度数分布情報を算出したマイクロコンピュータ２０４は、ステップＳ１０３において、算出した正規化ヒストグラム累積度数分布情報の、理想累積度数分布情報との差分を算出する。
【０１５８】
図１８は、正規化ヒストグラム累積度数分布情報の、理想累積度数分布情報との差分をグラフに表した図である。
【０１５９】
図１８において、横軸は、Ｙ信号の信号レベルを示し、縦軸は、理想累積度数分布との差分を表している。また、直線３６１は、基準となる理想累積度数分布を示し、曲線３６２は、正規化ヒストグラム累積度数分布情報を表している。
【０１６０】
例えば、図１８が、出力Ｙ信号に対する累積度数分布情報の、理想累積度数分布情報との差分を表したグラフである場合、点Ｅ１に対する差分値Ｆ２は、ヒストグラム算出回路２０２においてカウントされた第１出力ヒストグラム値の、理想累積度数との差分値（Ｄ２−Ｄ１）であり、点Ｅ２に対する差分値Ｆ１は、ヒストグラム算出回路２０２においてカウントされた第１および第２出力ヒストグラム値を加算した値の、理想累積度数との差分値（Ｄ３−Ｄ４）である。なお、点Ｅ３に対する差分は、ヒストグラム値を合計した全累積度数と理想累積度数分布における全累積度数との比較であるので、その差分値は「０」となっている。なお、入力Ｙ信号に対する累積度数分布情報の、理想累積度数分布情報との差分をグラフで表す場合も同様に表す。
【０１６１】
マイクロコンピュータ２０４は、階調変換回路２０１において入力Ｙ信号に対して施す補正量が、図１８に示した曲線３６２と近似するように第１ゲインおよび第２ゲインの値を設定する。これにより、撮影画像に対して、ヒストグラム等化処理を施した場合と同様の効果を得ることができる。
【０１６２】
階調変換回路２０１において、階調の補正量は、以下の式（２１）で表すことができる。
【０１６３】
階調補正量＝Gb×sin(２π×ｎ／Ｎ)＋Ga×sin(π×ｎ／Ｎ) ・・・（２１）
ただし、
１≦ｎ≦N ・・・（２２）
【０１６４】
式（２１）において、Gaは第１ゲインの値、Gbは第２ゲインの値を示しており、Nは、ヒストグラム算出回路２０２において、Ｙ信号の信号レベルを分割した数であるヒストグラム分割数である。すなわち、上述した例の場合、ヒストグラム分割数Ｎの値は「３」である。
【０１６５】
マイクロコンピュータ２０４が算出する、第１入力ヒストグラム値乃至第ｎ入力ヒストグラム値を合計した正規化累積度数、または、第１出力ヒストグラム値乃至第ｎ出力ヒストグラム値を合計した正規化累積度数をＨ[ｎ]とし、Ｈ[ｎ]の、完全に均等に分布された理想累積度数との差分をｈ[ｎ]とすると、ｈ[ｎ]は以下の式（２３）で表される。
【０１６６】
ｈ[ｎ]＝Ｈ[ｎ]−ｎ／Ｎ ・・・（２３）
【０１６７】
式（２３）において、ｈ[ｎ]は、ヒストグラム値と平均度数との差分値と等価である。
【０１６８】
マイクロコンピュータ２０４は、式（２１）に示す階調補正量と、式（２３）に示すｈ[ｎ]との差分が最小になるように、GaおよびGbを決定する。これにより、階調補正回路２０１は、Y信号に対して、ダイナミックレンジを有効に活用しながら、階調を改善することができる。ただし、マイクロコンピュータ２０４は、単純にこの差を最小にするのではなく、逆光補正に適した形でGaおよびGbの値を決定する。
【０１６９】
ところで、式（２１）において、階調補正量を構成する右辺第２項による補正は、逆光状態の撮影画像を見やすくするための補正であり、右辺第１項による補正は、撮影画像のY信号がダイナミックレンジを有効に使用するための補正である。従って、マイクロコンピュータ２０４は、逆光補正重視の階調補正を行うために、最初に、最小２乗法を用いて、従来のガンマ補正と同様の効果を施す式（２１）の右辺第２項の係数Gaを決定する。
【０１７０】
マイクロコンピュータ２０４は、ヒストグラム算出回路２０２より取得したヒストグラム値に対応する全ての信号レベルについて、補正量の２乗誤差Errを算出する。Gaに対応する２乗誤差をErrGaとすると、ErrGaは、以下の式（２４）のように表される。
【０１７１】
【数３】

【０１７２】
式（２４）をｎについて微分した値が「０」となる場合、この誤差が最小となる。式（２４）をｎについて微分した式を以下の式（２５）に示す。
【０１７３】
【数４】

【０１７４】
マイクロコンピュータ２０４は、式（２５）において、ErrGa´の値を「０」にするように、Gaの値を算出する。これにより、階調補正回路２０１は、Y信号に対して、逆光補正を目的とした階調補正を行うことができる。
【０１７５】
次に、マイクロコンピュータ２０４は、式（２１）の右辺第１項の係数Gbを求めるために、Gaの場合と同様に、補正量の２乗誤差Errを計算する。Errは、以下の式（２６）のように表される。
【０１７６】
【数５】

【０１７７】
ここで、Gaは既に求められているため、以下のように式（２７）を定義する。
【０１７８】
【数６】

【０１７９】
式（２７）を用いて式（２６）を表すと、式（２６）は、以下の式（２８）のように表される。
【０１８０】
【数７】

【０１８１】
式（２８）は、式（２４）と同様の構成であるので、マイクロコンピュータ２０４は、Gaを算出した回路、またはプログラム等を用いて、Gbを求めることができる。これにより、マイクロコンピュータ２０４は、第１ゲインおよび第２ゲインの算出に必要な回路またはプログラムの規模を最小限に抑えることができる。
【０１８２】
図１６に戻り、マイクロコンピュータ２０４は、ステップＳ１０４において、上述したように、ステップＳ１０３において算出された差分値に基づいて、最小２乗法により第１ゲインの値Gaを算出する。
【０１８３】
そして、ステップＳ１０５において、マイクロコンピュータ２０４は、上述したように算出された第１ゲインの値に基づいて、最小２乗法により第２ゲインの値Gbを算出する。
【０１８４】
第１ゲインおよび第２ゲインの値を算出したマイクロコンピュータ２０４は、ステップＳ１０６において、算出された第１ゲインおよび第２ゲインの値に基づいて、第３ゲインの値を算出し、ゲイン調整処理を終了する。
【０１８５】
算出された第１ゲイン乃至第３ゲインの値は、それぞれ、第１ゲイン信号乃至第３ゲイン信号として、マイクロコンピュータ２０４により階調補正回路２０１に供給される。階調補正回路２０１は、供給された第１ゲイン信号乃至第３ゲイン信号に基づいて、Ｙ信号に対して逆光補正を重視した階調補正を行う。これにより、最適な撮影画像を得ることができる。
【０１８６】
図１９は、撮影画像に上述したような階調補正を行った場合の、入射光の明るさと撮影画像に対応する信号レベルの関係を示す図である。
【０１８７】
図１９において、直線３８１は、階調補正を行う前の、入射光の明るさと撮影画像に対応する信号レベルの関係を示し、曲線３８２は、露光量を調整しただけの場合の、入射光の明るさと撮影画像に対応する信号レベルの関係を示し、曲線３９１は、階調補正を行った後の入射光の明るさと撮影画像に対応する信号レベルの関係を示す。また、屋内の明るさが点Ｇ１であり、屋外の明るさが点Ｇ３であるとする。
【０１８８】
このとき、階調補正後における点Ｇ１に対応する信号レベルは、露光量を調整しただけの場合と同様の点Ｈ２であり、点Ｇ３に対応する信号レベルは、階調補正前の信号レベルと同様の点Ｈ３になる。すなわち、上述したような階調補正を行った場合、明るさの変化に対する信号レベルの変化の度合いを変えることが出来るため、撮影画像における屋内のエリアの信号レベルについてのみ、点Ｈ１から点Ｈ２に引き上げることができ、屋外のエリアの信号レベルＨ３との差を小さくすることができる。これにより、ビデオカメラ２００は、撮影画像の屋内のエリアと屋外のエリアの明るさを近づけることができ、最適な逆光補正が行われた撮影画像を提供することができる。
【０１８９】
以上において、マイクロコンピュータ２０４は、第１のゲインおよび第２のゲインの値を最小２乗法により求めるように説明したが、これに限らず、撮影画像のパターンに応じて、最初に、第１ゲインおよび第２ゲインの値のとる範囲を限定するようにしても良い。以下にその動作を説明する。
【０１９０】
マイクロコンピュータ２０４は、第１ゲインおよび第２ゲインの値を求めるために、１フィールド毎にヒストグラム値をヒストグラム算出回路２０２より取得する。そのとき、マイクロコンピュータ２０４は、所定の閾値を用いて、取得したヒストグラム値を分類し、そのパターンを解析する。所定の閾値は、どのような値に設定しても構わないが、ヒストグラム算出回路２０２が信号レベルを３分割してヒストグラム値をカウントするので、カウントされる検波領域内のＹ信号の総数の３分の１に設定するのが望ましい。
【０１９１】
マイクロコンピュータ２０４は、ヒストグラム算出回路２０２より取得したヒストグラム値を所定の閾値で分類し、ヒストグラム値が閾値以上である場合、値「１」を設定し、ヒストグラム値が閾値より小さい場合、値「０」を設定して、撮影画像に対応するＹ信号の信号レベルの分布を大まかに分類する。
【０１９２】
そして、マイクロコンピュータ２０４は、得られた分布パターンを図２０に示すようなルックアップテーブルと比較し、その撮影画像に対する処理方法を決定する。
【０１９３】
図２０は、マイクロコンピュータ２０４が有するルックアップテーブルの例を示す図である。
【０１９４】
図２０において、ルックアップテーブル４００は、出力ヒストグラム値のパターンを示す項目４０１、および、その出力ヒストグラム値のパターンに対する処理方法を示す項目４０２により構成される。項目４０１は、第１出力ヒストグラム値のパターンを示す項目４１２、第２出力ヒストグラム値のパターンを示す項目４１３、第３出力ヒストグラム値のパターンを示す項目４１４により構成される。
【０１９５】
例えば、下から３段目の場合、項目４１２には値「１」が設定され、項目４１３には値「０」が設定され、項目４１４には値「１」が設定されている。そして、項目４０２には「補正」が設定されている。すなわち、第１出力ヒストグラム値と第３出力ヒストグラム値が所定の閾値以上であり、この分布パターンの場合、マイクロコンピュータ２０４は、階調変換回路２０１に補正処理を実行させる。
【０１９６】
マイクロコンピュータ２０４は、図２０に示すようなルックアップテーブルを参照することにより、Ｙ信号の信号レベルの分布パターンによって、８通りの処理を行う。
【０１９７】
具体的には、第１乃至第３出力ヒストグラム値全てが所定の閾値より小さい場合、または、第１乃至第３出力ヒストグラム値全てが所定の閾値以上の値をとる場合、閾値の値によるが、この分布パターンは、存在しないはずの分布パターンか、または信号レベルが均一に分布されていることを示している。従って、この場合、マイクロコンピュータ２０４は、第１のゲインおよび第２のゲインの値を「０」に設定することで、階調変換を行わないように階調変換回路２０１を制御する。
【０１９８】
第１出力ヒストグラム値のみが閾値以上の値をとる場合、または、第３出力ヒストグラム値のみが閾値以上の値をとる場合、ヒストグラムが、信号レベルの低い方、または、高い方に極端に集中していることを示している。従って、この場合、ＡＥ機能が収束途中である可能性があるので、マイクロコンピュータ２０４は、第１のゲインおよび第２のゲインの値を「０」に設定することで、階調変換を行わないように階調変換回路２０１を制御する。
【０１９９】
第３出力ヒストグラム値のみが閾値より小さい場合、ＡＥ機能が収束していない可能性もあるが、ＡＥ機能が既に収束していて、非常に大光量の小さな被写体が撮像されていることも考えられる。従って、この場合、マイクロコンピュータ２０４は、第１のゲインの値を「１」に設定し、第２のゲインの値を「０」に設定し、図２１に示す曲線４６１のような階調変換を行うように階調変換回路２０１を制御する。
【０２００】
図２１は、マイクロコンピュータ２０４が設定する階調変換補正のパターンの例を示す図である。
【０２０１】
図２１において、横軸は、階調変換回路２０１に入力される入力Ｙ信号の信号レベルを示し、縦軸は、階調変換回路２０１より出力される出力Ｙ信号の信号レベルを示す。また、直線４５１は、補正前の入力信号レベルと出力信号レベルの関係を示し、曲線４６１は、補正後の入力信号レベルと出力信号レベルの関係を示す。
【０２０２】
マイクロコンピュータ２０４は、スイッチ回路２３１を制御して、階調変換前後のヒストグラムを確認しながら第１ゲインの値を増やしていき、補正の度合いを調整する。
【０２０３】
第１出力ヒストグラム値のみが閾値より小さい場合、上述した場合とは逆に、マイクロコンピュータ２０４は、第１のゲインの値を「−１」に設定し、第２のゲインの値を「０」に設定し、図２２に示す曲線４７１のような階調変換を行うように階調変換回路２０１を制御する。
【０２０４】
図２２は、マイクロコンピュータ２０４が設定する階調変換補正のパターンの他の例を示す図である。
【０２０５】
図２２において、曲線４７１は、補正後の入力信号レベルと出力信号レベルの関係を示す。マイクロコンピュータ２０４は、スイッチ回路２３１を制御して、階調変換前後のヒストグラムを確認しながら第１ゲインの値を減らしていき、補正の度合いを調整する。
【０２０６】
第２出力ヒストグラム値のみが閾値より小さい場合、逆光状態であると判断し、マイクロコンピュータ２０４は、第１のゲインの値を「０」に設定し、第２のゲインの値を「１」に設定し、図２３に示す曲線４８１のような階調変換を行うように階調変換回路２０１を制御する。
【０２０７】
図２３は、マイクロコンピュータ２０４が設定する階調変換補正のパターンの、さらに他の例を示す図である。
【０２０８】
図２３において、曲線４８１は、補正後の入力信号レベルと出力信号レベルの関係を示す。マイクロコンピュータ２０４は、スイッチ回路２３１を制御して、階調変換前後のヒストグラムを確認しながら第２ゲインの値を増やしていき、補正の度合いを調整する。
【０２０９】
第２出力ヒストグラム値のみが閾値以上の値をとる場合、過度な順光状態であると判断し、マイクロコンピュータ２０４は、第１のゲインの値を「０」に設定し、第２のゲインの値を「−１」に設定し、図２４に示す曲線４９１のような階調変換を行うように階調変換回路２０１を制御する。
【０２１０】
図２４は、マイクロコンピュータ２０４が設定する階調変換補正のパターンの、さらに他の例を示す図である。
【０２１１】
図２４において、曲線４９１は、補正後の入力信号レベルと出力信号レベルの関係を示す。マイクロコンピュータ２０４は、スイッチ回路２３１を制御して、階調変換前後のヒストグラムを確認しながら第２ゲインの値を減らしていき、補正の度合いを調整する。
【０２１２】
以上のように、マイクロコンピュータ２０４は、ヒストグラムの分布パターンに応じて、階調補正回路２０１が行う補正のパターンを限定することができる。なお、マイクロコンピュータ２０４が、上述したような補正のパターンの限定範囲内で、図１６のフローチャートを参照して説明したような最小２乗法により、補正の度合いを調整するようにしてもよい。
【０２１３】
以上のようにして、大規模な回路を用いたり、ソフトウェアによる過大な負荷をかけたりすることなく、容易に、撮影画像に対応するＹ信号に対して、階調を有効利用した補正を行うことができる。
【０２１４】
なお、以上においては、ヒストグラム算出回路２０２は、信号レベルを３分割するように説明したが、これに限らず、何分割してもよいし、分割しないようにしてもよい。また、ヒストグラム値を算出する検波領域は、１フィールド分のＹ信号に対して、複数存在するようにしても良い。さらに、図５において説明した各回路は、その一部または全部が他の回路と一体化されていてもよい。
【０２１５】
また、階調変換回路２０１の信号処理部２１１は、互いに異なる２つの関数を用いて、入力Y信号に対して基本補正を行うように説明したが、これに限らず、いくつの関数を用いて基本補正を行うようにしてもよい。その際、マイクロコンピュータ２０４が設定するゲインの数は、信号処理部２１１が行う基本補正の数に応じて変化する。また、信号処理部２１１は、内蔵するROM２１１Ａ等に基本補正用のルックアップテーブルを予め記憶しておき、そのルックアップテーブルに基づいて基本補正を行うようにしてもよい。
【０２１６】
また、以上においては、ビデオカメラについて説明したが、これに限らず、例えば、デジタルカメラ、VTR（Video Tape Recorder）等の画像録画再生装置、テレビジョン受像機、プロジェクタ、プリンタ、または、それらと同等の機能を有するその他の装置等であってもよく、様々な装置に広く適用可能である。
【０２１７】
さらに、以上の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０２１８】
この記録媒体は、図５に示すように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク９１（フロッピディスクを含む）、光ディスク９２（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク９３（MD(Mini-Disk)を含む）、もしくは半導体メモリ９４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているマイクロコンピュータ２０４に内蔵されているROMなどで構成される。
【０２１９】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２２０】
【発明の効果】
以上のように、本発明の信号処理装置および方法、記録媒体、並びにプログラムによれば、回路規模の拡大、または、ソフトウェアの処理による負荷の増加を抑えながら、より効果的な階調変換を行うことができる。
【図面の簡単な説明】
【図１】従来のビデオカメラの構成例を示す図である。
【図２】補色系フィルタが装着された、CCDより電荷が出力される様子を示す図である。
【図３】ニー回路によるダイナミックレンジの圧縮の様子を示す図である。
【図４】撮影画像が白飛びを発生させる様子を示す図である。
【図５】本発明を適用したビデオカメラの基本的な構成例を示すブロック図である。
【図６】図５に示す階調変換回路の詳細な構成例を示す図である。
【図７】第１の補正パターンを構成する関数の例を示すグラフである。
【図８】第１の補正パターンを構成する関数の他の例を示すグラフである。
【図９】ヒストグラム算出回路２０２の詳細な構成例を示す図である。
【図１０】階調変換処理について説明するフローチャートである。
【図１１】図１０のステップＳ３において実行されるＹ信号補正処理について説明するフローチャートである。
【図１２】図１０のステップＳ４において実行されるアパーチャ補正処理について説明するフローチャートである。
【図１３】ヒストグラム算出回路によるヒストグラム積分処理について説明するフローチャートである。
【図１４】ヒストグラム算出回路によるヒストグラム積分処理について説明する、図１３に続くフローチャートである。
【図１５】ヒストグラム算出回路によるヒストグラム積分処理について説明する、図１４に続くフローチャートである。
【図１６】マイクロコンピュータによるゲイン調整処理について説明するフローチャートである。
【図１７】マイクロコンピュータが算出する正規化ヒストグラム累積度数分布情報を示すグラフである。
【図１８】正規化ヒストグラム累積度数分布情報の、理想累積度数分布情報との差分を示すグラフである。
【図１９】撮影画像に階調補正を行った場合の、入射光の明るさと撮影画像に対応する信号レベルの関係を示すグラフである。
【図２０】マイクロコンピュータが有するルックアップテーブルの例を示す図である。
【図２１】マイクロコンピュータが設定する階調変換補正のパターンの例を示す図である。
【図２２】マイクロコンピュータが設定する階調変換補正のパターンの他の例を示す図である。
【図２３】マイクロコンピュータが設定する階調変換補正のパターンの、さらに他の例を示す図である。
【図２４】マイクロコンピュータが設定する階調変換補正のパターンの、さらに他の例を示す図である。
【符号の説明】
２００ ビデオカメラ， ２０１ 階調変換回路， ２０２ ヒストグラム算出回路， ２０３ 同期信号発生回路， ２０４ マイクロコンピュータ， ２１１ 信号処理部， ２１１Ａ ROM， ２３１ スイッチ回路， ３０１乃至３０４ 比較器， ３１１乃至３１３ ANDゲート， ３２１乃至３２３ カウンタ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a signal processing apparatus and method, a recording medium, and a program, and in particular, by controlling a gain of a correction pattern based on a histogram of an input signal or an output signal, thereby increasing a circuit scale or processing by software. The present invention relates to a signal processing apparatus and method, a recording medium, and a program capable of performing more effective gradation conversion while suppressing an increase in load.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, in an apparatus for processing an image signal such as a digital camera, a television receiver, or a printer, various processes are performed on the input image signal.
[0003]
FIG. 1 is a diagram illustrating a configuration example of a conventional video camera.
[0004]
In the video camera 1 shown in FIG. 1, light from a subject (not shown) passes through the lens unit 11 and has yellow (Ye), cyan (Cy), magenta (Mg), and green on the front as shown in FIG. 2. (G) The light is incident on a CCD 12 configured by an image pickup device using a CCD (Charge Coupled Device) or the like, to which a complementary color filter in which filters are arranged in a mosaic pattern is mounted, and is subjected to photoelectric conversion.
[0005]
The CCD 12 outputs a video signal photoelectrically converted in the light receiving unit and supplies it to an AGC (Automatic Gain Control) circuit 13. The AGC circuit 13 performs correlated double sampling on a video signal input in a built-in CDS (Correlated Double Sampling circuit) (not shown) to remove noise, and then adjusts the gain of the video signal. The adjusted video signal is supplied to an A / D (Analog / Digital) conversion circuit 14.
[0006]
The A / D conversion circuit 14 converts the input analog signal into a digital signal and outputs it to the 1H delay line circuit 15. The 1H delay line circuit 15 delays the input video signal by one line and outputs it to the Y signal generation circuit 16.
[0007]
The Y signal generation circuit 16 adds the video signals corresponding to the adjacent pixels of the input video signal, thereby generating a luminance signal (hereinafter referred to as a Y signal) of the video signal.
[0008]
The 1H delay line circuit 21 further delays the output signal of the 1H delay line circuit 15 by one line. The adder 22 combines the output signal of the 1H delay line circuit 21 and the output of the A / D conversion circuit 14 and supplies the resultant signal to the vertical aperture correction circuit 31. The vertical aperture correction circuit 31 includes a vertical high-pass filter, and generates a vertical aperture correction signal signal based on the video signal acquired from the 1H delay line circuit 15 and the adder 22.
[0009]
The horizontal aperture correction circuit 32 includes a high-pass filter in the horizontal direction, and generates a horizontal aperture correction signal based on the Y signal acquired from the Y signal generation circuit 16. The generated vertical aperture correction signal and horizontal aperture correction signal are added by the adder 33 after being adjusted by the microcomputer 80, though not shown, and further added to the Y signal by the adder 34. .
[0010]
When obtaining the Y signal output from the adder 34, the knee circuit 35 compresses the dynamic range of the CCD output by suppressing the amplitude characteristic of the high luminance region of the Y signal as shown by the curve 131 in FIG. Output to the gamma correction circuit 36.
[0011]
The gamma correction circuit 36 corrects the gamma characteristic of the Y signal supplied from the knee circuit 35 according to the output characteristic of the monitor, and outputs it to a white clip circuit (hereinafter referred to as a WC (White Clip) circuit) 37.
[0012]
The WC circuit 37 performs white clipping of the Y signal that has been subjected to gamma correction, and supplies it to the D / A conversion circuit 38. The D / A (Digital / Analog) conversion circuit 38 converts the input Y signal, which is a digital signal, into an analog signal and supplies the analog signal to the adder 61.
[0013]
Also, when the YC signal generation circuit 41 obtains the outputs of the 1H delay line circuit 15 and the adder 22, in addition to the Y signal described above, the YC signal generation circuit 41 takes a difference between adjacent values of the input signal and 2 A kind of color difference signal (hereinafter referred to as Cr signal or Cy signal) is generated.
[0014]
The RGB matrix circuit 42 converts the Y signal, Cr signal, and Cy signal acquired from the YC signal generation circuit 41 into an RGB signal composed of a red (Red) component, a blue (Blue) component, and a green (Green) component. The white balance circuit (hereinafter referred to as a WB (White Balance) circuit) 43 is supplied.
[0015]
The WB circuit 43 adjusts the color temperature of the input RGB signal. The gamma correction circuit 44 corrects the gamma characteristics of the RGB signal output from the WB circuit 43 in accordance with the output characteristics of the monitor, and outputs the corrected gamma characteristics to the encoder circuit 45. The encoder circuit 45 converts the acquired RGB signal into a color difference signal so as to comply with a signal standard such as NTSC (National Television System Committee) or PAL (Phase Alternating Line), and modulates it using a subcarrier signal (not shown). . The D / A conversion circuit 46 converts the color difference signal output from the encoder circuit 45 into an analog signal and supplies the analog signal to the adder 61.
[0016]
The adder 61 combines the supplied Y signal and the color difference signal together with the synchronization signal generated by the synchronization signal generation circuit 51 to generate a VBS (Video Burst Sync signal) signal which is a television signal, and an output terminal 62. Output via.
[0017]
The AE (Auto Exposure) detection circuit 71 that has acquired the output of the YC signal generation circuit 41 integrates one field for the Y signal in the detection frame based on the detection frame setting information supplied from the microcomputer 80. The integral value is supplied to the microcomputer 80.
[0018]
The microcomputer 80 supplied with the integral value controls the operation of the lens unit 11, the timing generator circuit (hereinafter referred to as a TG (Timing Generator) circuit) 81, and the AGC circuit 13 based on the integral value. The TG circuit 81 is controlled by the microcomputer 80 and controls the drive of the CCD 12.
[0019]
Further, when the white balance detection circuit (hereinafter referred to as a WB detection circuit) 72 acquires an RGB signal that is an output from the RGB matrix circuit 42, the white balance detection circuit 72 (hereinafter referred to as a WB detection circuit) The RGB signal is integrated for one field, and the integrated value is supplied to the microcomputer 80. The microcomputer 80 calculates the RGB gain balance for adjusting the color temperature based on the supplied integral value, and controls the WB circuit 43 to adjust the gain of the RGB signal.
[0020]
Furthermore, a drive 90 is connected to the microcomputer 80 as necessary, and a magnetic disk 91, an optical disk 92, a magneto-optical disk 93, a semiconductor memory 94, or the like is appropriately mounted, and a computer program read from these is loaded. If necessary, it is installed in a RAM or the like built in the microcomputer 80.
[0021]
In the video camera 1 as described above, in the case of normal shooting, the microcomputer 80 manages the AE level of the shot image based on the integrated value in the detection frame, which is the detection signal acquired from the AE detection circuit 71, and takes the shot. When it is determined that the AE level of the image is brighter than the target AE level, the aperture is reduced by controlling the lens unit 11 or the electronic shutter function of the CCD 12 is operated by controlling the TG circuit 81 to adjust the exposure amount in the CCD 12 Or the AGC circuit 13 is controlled to suppress the amplification of the video signal.
[0022]
[Problems to be solved by the invention]
However, in this case, for example, in the case of backlighting in which an image of a person standing on the side of a window that looks brighter than indoors is taken indoors, the AE detection level of the entire captured image is in the outdoor bright area and indoors. Since this is the average of the dark area, the indoor area may become too dark in the captured image when adjusted based on this AE detection level.
[0023]
On the other hand, when it is determined that the shooting environment is in the backlight state, the microcomputer 80 controls each unit and controls the exposure amount to be large so that the person who is the shooting target has an appropriate amplitude level. There is a way to do so.
[0024]
However, in this case, the originally bright outdoor area in the photographed image is further brightened, and there is a problem that an adverse effect such as whiteout occurs.
[0025]
FIG. 4 is a diagram illustrating how a captured image causes whiteout. A straight line 141 indicates the relationship between the brightness of the incident light and the signal level corresponding to the photographed image before adjusting the exposure amount, and a curve 142 corresponds to the brightness of the incident light and the photographed image after adjusting the exposure amount. The relationship of the signal level to be shown is shown. Also, assume that the indoor brightness is point A1 and the outdoor brightness is point A3.
[0026]
In FIG. 4, the signal level corresponding to the point A1 before the exposure amount adjustment is the point B1, and the signal level corresponding to the point A3 is the point B3. That is, the signal level B1 of the indoor area in the photographed image is very small compared to the signal level B3 of the outdoor area, and as described above, the indoor area of the photographed image is too dark.
[0027]
Therefore, when the exposure amount is adjusted so that the indoor area becomes bright as described above, the relationship between the brightness of the incident light and the signal level corresponding to the captured image becomes a curve 142. Accordingly, the signal level corresponding to the point A1 is the point B2, which is brighter than before the adjustment. However, in this case, since the signal level is the maximum level of B4 at the brightness equal to or higher than point A2, whiteout occurs in the outdoor area of the photographed image whose brightness is point A3.
[0028]
To solve the above problems, multiple exposure is used to shoot when the exposure is adjusted to a bright outdoors and when the exposure is adjusted to a dark indoor, and these captured images are combined adaptively. There is a method of widening the dynamic range of the photographed image.
[0029]
However, in this case, there is a problem that it is necessary to drive the imaging device at double speed or to prepare a large-scale circuit for image composition.
[0030]
Further, as signal processing for effectively using the limited gradation, there is a case where histogram equalization is performed to make the histogram distribution uniform with respect to the image signal of the photographed image. There is also a problem that the appearance of is not always improved.
[0031]
The present invention has been made in view of such a situation, and is capable of performing more effective gradation conversion while suppressing an increase in circuit scale or an increase in load due to software processing. It is.
[0032]
[Means for Solving the Problems]
  The imaging apparatus of the present inventionThe input luminance signal is corrected with different correction patterns to obtain a plurality of corrected signals.Correction means;LuminanceA histogram calculating means for calculating a histogram of an image corresponding to the signal, and a correcting means based on the histogram calculated by the histogram calculating means;Gain determining means for determining a plurality of gains for determining the respective degrees of the plurality of corrected signals obtained by the correction, each of the corrected signals obtained by the correction by the correcting means, and the gain determining means Multiplying means for multiplying each of the gains; and output luminance signal generating means for generating an output luminance signal obtained by performing gradation correction on the input luminance signal based on the result of multiplication by the multiplying means;It is characterized by providing.
[0033]
  The correction pattern includes a plurality of different functions, and the correction means corrects the luminance signal for each function to obtain a corrected signal.Can be.
[0034]
  The correction pattern is configured by a function of curves different from each other and including at least one convex, and the correction means corrects the luminance signal for each function to obtain a corrected signal.be able to.
[0035]
  The correction pattern includes a plurality of sine functions having different coefficients, and the correction means corrects the luminance signal for each sine function to obtain a corrected signal.Can be.
[0036]
  The correction pattern includes a first correction pattern for adjusting the gradation on the brighter side and the darker side than the center of the amplitude level of the luminance signal, and the amplitude level divided into three, and the gradation is adjusted at each level. The correction unit is configured by a second correction pattern to be adjusted, and the correction unit corrects the luminance signal using the first correction pattern to obtain the first correction signal, and corrects the luminance signal using the second correction pattern. To obtain a second correction signal.Can be.
[0037]
  The correction means includes storage means for storing a correction pattern.Can be.
[0038]
  The correction pattern stored by the storage means is configured by a look-up table indicating the relationship between the input luminance signal and the corrected signal.Can be.
[0039]
  The histogram calculation means includesHistogram for a predetermined area consisting of part or all of the image corresponding to the luminance signalIt can be calculated.
[0040]
  The histogram calculation means further calculates a histogram cumulative frequency distribution that is a frequency distribution in which the frequencies are accumulated from the smaller signal level of the luminance signal based on the calculated histogram.Can be.
[0041]
  The gain determining means includesHistogram cumulative frequency distribution calculated by the histogram calculation means,Corrected signalIn order to minimize the difference from the tone characteristics ofDetermine the gainCan be.
[0042]
  The output luminance signal generation unit adds a first addition unit that adds each of the multiplication results of the multiplication unit, and adds the addition result of the first addition unit and the luminance signal to generate an output luminance signal. 2 addition meansCan be.
[0043]
  The signal processing method of the present invention includes:The input luminance signal is corrected with different correction patterns to obtain a plurality of corrected signals.A correction step;LuminanceBased on the histogram calculation step for calculating the histogram of the image corresponding to the signal, and the correction step processing based on the histogram calculated by the histogram calculation step processingA gain determination step for determining a plurality of gains for determining the respective degrees of the plurality of corrected signals obtained by correction, each of the corrected signals obtained by correction by the correction step processing, and processing of the gain determination step A multiplication step that multiplies each of the gains determined by the step, and an output luminance signal generation that generates an output luminance signal obtained by performing gradation correction on the input luminance signal based on the result of multiplication by the processing of the multiplication step Step andIt is characterized by including.
[0044]
  The program of the recording medium of the present invention isThe input luminance signal is corrected with different correction patterns to obtain a plurality of corrected signals.A correction step;LuminanceBased on the histogram calculation step for calculating the histogram of the image corresponding to the signal, and the correction step processing based on the histogram calculated by the histogram calculation step processingA gain determination step for determining a plurality of gains for determining the respective degrees of the plurality of corrected signals obtained by correction, each of the corrected signals obtained by correction by the correction step processing, and processing of the gain determination step A multiplication step that multiplies each of the gains determined by the step, and an output luminance signal generation that generates an output luminance signal obtained by performing gradation correction on the input luminance signal based on the result of multiplication by the processing of the multiplication step Step andIt is characterized by including.
[0045]
  The program of the present inventionThe input luminance signal is corrected with different correction patterns to obtain a plurality of corrected signals.A correction step;LuminanceBased on the histogram calculation step for calculating the histogram of the image corresponding to the signal, and the correction step processing based on the histogram calculated by the histogram calculation step processingA gain determination step for determining a plurality of gains for determining the respective degrees of the plurality of corrected signals obtained by correction, each of the corrected signals obtained by correction by the correction step processing, and processing of the gain determination step A multiplication step that multiplies each of the gains determined by the step, and an output luminance signal generation that generates an output luminance signal obtained by performing gradation correction on the input luminance signal based on the result of multiplication by the processing of the multiplication step Step andIs realized on a computer.
[0046]
  In the signal processing apparatus and method, recording medium, and program of the present invention,The input luminance signal is corrected with mutually different correction patterns, a plurality of corrected signals are obtained, a histogram of an image corresponding to the luminance signal is calculated, and correction is performed based on the calculated histogram. A plurality of gains that determine the respective degrees of the plurality of corrected signals obtained are determined, each of the corrected signals obtained by the correction is multiplied by the determined gain, and based on the result of the multiplication Then, an output luminance signal is generated by performing gradation correction on the input luminance signal.
[0047]
The signal processing device may be an independent device, or may be a block that performs signal processing of other devices that handle video signals such as a recording / playback device, an imaging device, or a display device.
[0048]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 5 is a block diagram showing a basic configuration example of a video camera to which the present invention is applied. In addition, the description is abbreviate | omitted about the part which has the structure similar to having demonstrated using FIG.
[0049]
In the video camera 200 shown in FIG. 5, light from a subject (not shown) optically transmits a high-frequency component (fine subject) (not shown) of the subject via the lens unit 11 whose aperture is controlled by the microcomputer 204. Through an optical LPF (Low Pass Filter) to be removed, an infrared cut filter for cutting infrared rays, and a complementary color filter having a color arrangement as shown in FIG. Converted. The CCD 12 is controlled to be driven by the TG circuit 81 controlled by the microcomputer 204, and reads out the electric charge obtained by photoelectrically converting the incident light by adding two lines at a time in a field readout method as shown in FIG.
[0050]
That is, in FIG. 2, in the readout line 121-1, a signal (G + Cy) in which charges corresponding to the photoelectric elements 105 and 101 are combined, a signal (Mg + Ye) in which charges corresponding to the photoelectric elements 106 and 102 are combined, photoelectric A signal (G + Cy) in which charges corresponding to the elements 107 and 103 are combined and a signal (Mg + Ye) in which charges corresponding to the photoelectric elements 108 and 104 are combined are output via the horizontal register 125.
[0051]
Similarly, in the readout line 121-2, a signal (Mg + Cy) in which charges corresponding to the photoelectric elements 113 and 109 are combined, a signal (G + Ye) in which charges corresponding to the photoelectric elements 114 and 110 are combined, a photoelectric element A signal (Mg + Cy) in which charges corresponding to 115 and 111 are combined and a signal (G + Ye) in which charges corresponding to the photoelectric elements 116 and 112 are combined are output via the horizontal register 125.
[0052]
Similarly, in the readout line 122-1, a signal (Cy + G) in which charges corresponding to the photoelectric elements 109 and 105 are combined, a signal (Ye + Mg) in which charges corresponding to the photoelectric elements 110 and 106 are combined, a photoelectric element A signal (Cy + G) in which charges corresponding to 111 and 107 are combined and a signal (Ye + Mg) in which charges corresponding to the photoelectric elements 112 and 108 are combined are output via the horizontal register 125.
[0053]
The video signal output in this way is supplied to the Y signal generation circuit 16 via the AGC circuit 13, the A / D conversion circuit 14, and the 1H delay line circuit 15 as described with reference to FIG. .
[0054]
The Y signal generation circuit 16 adds the adjacent video signals described above. That is, in the readout line 121-1, the luminance signal (Y) is generated by being synthesized as in the following formula (1).
[0055]
Y = {(G + Cy) + (Mg + Ye)} / 2 = (2B + 3G + 2R) / 2 (1)
However, Cy, Mg, and Ye are as follows.
Cy = G + B (2)
Mg = R + B (3)
Ye = G + R (4)
[0056]
Similarly, when Cy, Mg, and Ye are expressed as in the equations (2) to (4), the equation in the readout line 122-1 is the equation in the readout line 122-1, as in the equation (5). Synthesized as in (6).
[0057]
Y = {(Mg + Cy) + (G + Ye)} / 2 = (2B + 3G + 2R) / 2 (5)
Y = {(Cy + G) + (Ye + Mg)} / 2 = (2B + 3G + 2R) / 2 (6)
[0058]
The Y signal generated as described above is combined with the horizontal aperture correction signal and the vertical aperture correction signal in the adder 34, subjected to contour correction, and then supplied to the gradation conversion circuit 201.
[0059]
The YC signal generation circuit 41 that has acquired the output signals of the 1H delay line circuit 15 and the 1H delay line circuit 21 generates Y signals as shown in the equations (1), (5), and (6). At the same time, with respect to the above-described video signal, a difference between adjacent ones is calculated to generate color difference signals (Cr and Cb). That is, in the readout line 121-1, the color difference signals (Cr and Cb) are generated by synthesizing as the following equations (7) and (8).
[0060]
Cr = {(Mg + Ye)-(G + Cy)} = 2R-G (7)
Cb = {(G + Ye)-(Mg + Cy)} = 2B-G (8)
[0061]
The Y signal, Cr signal, and Cy signal generated as described above are supplied to the gradation conversion circuit 201. FIG. 6 shows a detailed configuration example of the gradation conversion circuit 201.
[0062]
The vertical aperture correction signal output from the vertical aperture correction circuit 31 is combined with the horizontal aperture correction signal output from the horizontal aperture correction circuit 32 by the adder 33 and input to the gradation conversion circuit 201 as the aperture correction signal. The
[0063]
The Y signal output from the Y signal generation circuit 16 is combined with the above-described aperture correction signal in the adder 34 and input to the gradation conversion circuit 201 as an input Y signal.
[0064]
The input Y signal input to the gradation conversion circuit 201 is supplied to the signal processing unit 211 and is corrected by the signal processing unit 211 based on a predetermined correction pattern. The correction pattern is stored in the ROM 211A built in the signal processing unit 211. Note that the signal processing unit 211 may incorporate a RAM, and the built-in RAM may store the correction pattern. Further, the signal processing unit 211 may have an arithmetic circuit that can correct the input signal with a predetermined correction pattern.
[0065]
Two types of correction patterns are stored in the ROM 211A built in the signal processing unit 211, and the signal processing unit 211 corrects the input Y signal with each correction pattern and outputs it to different adders.
[0066]
As will be described later, the two types of correction patterns stored in the ROM 211 are each composed of different functions. The first correction pattern is configured by a function as shown in FIG. 7 that divides the amplitude level of the image at the center and adjusts the gradation on the bright side and the dark side. The amplitude level is divided into three, and each tone is adjusted, and the function is configured as shown in FIG.
[0067]
FIG. 7 is a graph illustrating an example of a function constituting the first correction pattern.
[0068]
In FIG. 7, curves 261 to 264 form the first correction pattern, and are graphs of functions represented by the following expressions (9) and (10).
[0069]
[Expression 1]

[0070]
Here, the horizontal axis is obtained by normalizing the input signal from 0 to 1, and n is a predetermined constant, which is an even number. Α is a normalization constant for normalizing the maximum value in the domain of the value dlt1 to 1. The curve 261 in FIG. 7 corresponds to Equation (9), the curve 262 corresponds to Equation (10) when n = 2, the curve 263 corresponds to Equation (10) when n = 4, and the curve 264 Is a graph corresponding to Equation (10) in the case of n = 6.
[0071]
FIG. 8 is a graph illustrating an example of a function constituting the second correction pattern.
[0072]
In FIG. 8, curves 271 to 274 form the second correction pattern, and graph the functions expressed by the following expressions (12) and (13).
[0073]
[Expression 2]

[0074]
Here, the horizontal axis is obtained by normalizing the input signal from 0 to 1, and n is a predetermined constant, which is an odd number. Α is a normalization constant for normalizing the maximum value in the domain of the value dlt2 to 1. The curve 271 in FIG. 8 corresponds to the equation (12), the curve 272 corresponds to the equation (13) when n = 1, the curve 273 corresponds to the equation (12) when n = 3, and the curve 274 Is a graph corresponding to Equation (13) when n = 5.
[0075]
The signal processing unit 211 corrects the input Y signal in the correction pattern as described above. However, when these functions are realized by a circuit, the scale of the arithmetic circuit becomes large, and thus these functions are expressed. It is preferable to create a lookup table and store it in a built-in ROM or RAM.
[0076]
The signal processing unit 211 outputs the first basic corrected signal, which is an input Y signal corrected using the first correction pattern, to the multiplier 213, and is the input Y signal corrected using the second correction pattern. The second basic corrected signal is output to multiplier 212.
[0077]
The microcomputer 204 determines the first gain, which is a coefficient for determining the degree of correction using the first correction pattern by the signal processing unit 211, and the degree of correction using the second correction pattern by the signal processing unit 211. The value of the second gain, which is a coefficient to be determined, is determined as will be described later. The microcomputer 204 supplies the determined first gain and second gain to the multiplier 213 and the multiplier 212 as a first gain signal and a second gain signal, respectively.
[0078]
The multiplier 213 performs multiplication of the first gain signal supplied from the microcomputer 204 and the first basic corrected Y signal output from the signal processing unit 211, and outputs the first multiplied Y signal to the adder 214. Supply. Similarly, the multiplier 212 multiplies the second gain signal supplied from the microcomputer 204 and the second basic corrected Y signal output from the signal processing unit 211 to obtain a second multiplied Y signal. This is supplied to the adder 214.
[0079]
The adder 214 adds the first multiplied Y signal supplied from the multiplier 213 and the second multiplied Y signal supplied from the multiplier 212, and adds the first correction pattern and the second correction pattern. The signal is supplied to the adder 223 as a corrected Y signal including all the correction amounts related to the correction used.
[0080]
By the way, the aperture correction signal input to the gradation conversion circuit 201 is multiplied and multiplied by the third gain signal which is a gain signal for the aperture correction signal set and supplied by the microcomputer 204 in the multiplier 221. This is supplied to the adder 222 as a completed aperture correction signal.
[0081]
The adder 222 adds the multiplied aperture correction signal supplied from the multiplier 221 and the input Y signal, and supplies the result to the adder 223 as an aperture corrected Y signal.
[0082]
The input Y signal, which is an input signal of the gradation conversion circuit 201, is added with an aperture correction signal in the adder 34. However, in the portion where gradation is suppressed by gradation conversion, the aperture correction signal is also added. Similarly, since it is suppressed, the boundary of the color of the part becomes blurred. However, the adder 222 multiplies the third gain signal to add the multiplied aperture correction signal that has not been subjected to gradation correction, so that the portion where the gradation is reduced is also relative. Thus, it is possible to obtain an image with enhanced edge quality and improved visual quality.
[0083]
The adder 223 adds the aperture corrected Y signal supplied from the adder 223 and the corrected Y signal supplied from the adder 214, and outputs the knee circuit 35 as an output Y signal subjected to gradation conversion processing. Output to. Thereafter, the Y signal is processed as in the case described with reference to FIG. 1 and is output from the output terminal 62 as a VBS signal.
[0084]
The synchronization signal generation circuit 203 controls the vertical address information, the horizontal address information of the Y signal, or the operation timing in addition to supplying an analog synchronization signal to the adder 61 as shown in FIG. A digital synchronization signal including information to be generated is generated and supplied to each unit.
[0085]
As described above, the gradation conversion circuit 201 performs gradation correction on the Y signal of the captured image.
[0086]
The gradation conversion circuit 201 includes a switch circuit 231. The switch circuit 231 is controlled by the microcomputer 204 using the switch circuit control signal, and supplies the input Y signal and the output Y signal to the histogram calculation circuit 202 in a time division manner by switching signals to be output.
[0087]
As described above, the microcomputer 204 calculates the first gain and the second gain, and supplies the first gain and the second gain to the gradation correction conversion circuit 201 as the first gain signal and the second gain signal, respectively. 201 controls the degree to which the gradation of the Y signal is corrected. At this time, the microcomputer 204 calculates the first gain and the second gain based on the histogram of the Y signal calculated by the histogram calculation circuit 202. The histogram calculation circuit 202 calculates a histogram of the Y signal based on the input Y signal or output Y signal.
[0088]
FIG. 9 is a diagram illustrating a detailed configuration example of the histogram calculation circuit 202.
[0089]
In FIG. 9, the output Y signal is supplied by the gradation conversion circuit 201 to the comparators 301 to 303 of the histogram calculation circuit 202. At the same time, the microcomputer 204 supplies the value La to the comparator 301, supplies the values La and Lb to the comparator 302, and supplies the value Lb to the comparator 303. At this time, equation (15) holds. Note that Lmax is a predetermined maximum signal level of the Y signal.
[0090]
0 <La <Lb <Lmax (15)
[0091]
The comparator 301 compares the signal level IN of the output Y signal supplied from the gradation conversion circuit 201 with the value 0 and the value La supplied from the microcomputer 204, and is expressed by the following equation (16). When the condition is satisfied, a signal having a value “1” is supplied to the AND gate 311.
[0092]
0 ≦ IN <La (16)
[0093]
When the signal level IN of the output Y signal does not satisfy Expression (16), the comparator 301 supplies a signal having a value “0” to the AND gate 311.
[0094]
Similarly, the comparator 302 compares the signal level IN of the output Y signal supplied from the gradation conversion circuit 201 with the value La and the value Lb supplied from the microcomputer 204, and the following equation (17) ), A signal having a value “1” is supplied to the AND gate 312.
[0095]
La ≦ IN <Lb (17)
[0096]
When the signal level IN of the output Y signal does not satisfy Expression (17), the comparator 302 supplies a signal having a value “0” to the AND gate 312.
[0097]
Similarly, the comparator 303 compares the signal level IN of the output Y signal supplied from the gradation conversion circuit 201 with the value Lb and the value Lmax supplied from the microcomputer 204, and the following equation (18) ), A signal having a value of “1” is supplied to the AND gate 313.
[0098]
Lb ≦ IN ≦ Lmax (18)
[0099]
When the signal level IN of the output Y signal does not satisfy Expression (18), the comparator 303 supplies a signal having a value “0” to the AND gate 313.
[0100]
The synchronization signal generation circuit 203 controls the operation timing of each part of the video camera 200 described with reference to FIG. 5, and further, the horizontal address information Hadr and vertical of the output Y signal supplied to the histogram calculation circuit 202. The direction address information Vadr is supplied to the comparator 304 built in the histogram calculation circuit 202 in accordance with the timing at which the output Y signal is supplied to the histogram calculation circuit 202.
[0101]
Further, the microcomputer 204 supplies the boundary set values Hs, He, Vs, and Ve, which are the coordinates of the boundary line of the region where the histogram is generated, to the comparator 304 of the histogram calculation circuit 202.
[0102]
The comparator 304 of the histogram calculation circuit 202 acquires the address information Hadr and Vadr of the output Y signal supplied from the synchronization signal 203, and receives the boundary set values Hs, He, which are the coordinates of the boundary lines of the region from the microcomputer 204. When Vs and Ve are acquired, they are compared, and when the conditions represented by the following expressions (19) and (20) are satisfied, signals having a value of “1” are supplied to the AND gates 311 to 313. .
[0103]
Hs ≦ IN <He (19)
Vs ≦ IN <Ve (20)
[0104]
When the address information Hadr and Vadr of the output Y signal supplied from the synchronization signal generation circuit 203 does not satisfy the conditions of the equations (19) and (20), the comparator 304 outputs a signal with a value “0”. Are supplied to AND gates 311 to 313.
[0105]
The AND gate 311 supplies a signal having a value “1” to the counter 321 when the values of the two input signals are both “1”. In other cases, the AND gate 311 supplies a signal whose value is “0” to the counter 321.
[0106]
Similarly, the AND gate 312 supplies a signal with a value of “1” to the counter 322 when the values of the two input signals are both “1”, otherwise the value is “0”. Is supplied to the counter 322.
[0107]
Further, the AND gate 313 similarly counts a signal having a value of “1” when the values of the two input signals are both “1”, and a signal having a value of “0” otherwise. To supply.
[0108]
The counters 321 to 323 count the number of times a signal having a value “1” is input. Although not shown in the figure, the counters 321 to 323 are supplied with the address information of the output Y signal from the synchronization signal generation circuit 203. When it is determined that the output Y signal for one field has been counted, the respective count results Is supplied to the microcomputer 204.
[0109]
The microcomputer 204 generates a histogram of the output Y signal based on the histogram values.
[0110]
In addition, the gradation conversion circuit 201 supplies the input Y signal to the histogram calculation circuit 202 together with the output Y signal in a time division manner. At that time, the synchronization signal generation circuit 203 also has the same manner as the output Y signal. Address information corresponding to the input Y signal is supplied to the histogram calculation circuit 202.
[0111]
As in the case of the output Y signal described above, the histogram calculation circuit 202 calculates a histogram value for the input Y signal and supplies it to the microcomputer 204 for each field. Then, the microcomputer 204 generates a histogram for the input Y signal based on the histogram values.
[0112]
As described above, the microcomputer 204 obtains histogram values corresponding to the input Y signal that is the input signal of the gradation conversion circuit 201 and the output Y signal that is the output signal of the gradation conversion circuit 201, which will be described later. As described above, a histogram for determining the values of the first gain and the second gain can be generated.
[0113]
Next, a gradation conversion process for converting the gradation of the Y signal will be described with reference to the flowchart of FIG.
[0114]
First, in step S <b> 1, the microcomputer 204 sets a detection region for calculating a histogram value in the histogram calculation circuit 202. The microcomputer 204 sets a detection region and supplies boundary setting values Hs, He, Vs, and Ve, which are the coordinates of the boundary line of the region, to the histogram calculation circuit 202. Based on the acquired boundary setting value, the histogram calculation circuit 202 calculates a histogram value for an input Y signal and an output Y signal corresponding to the detection region set by the microcomputer 204 in the captured image.
[0115]
The microcomputer 204 that has set the detection region sets a gain value in step S2. As will be described later, the microcomputer 204 generates a histogram of the input Y signal and the output Y signal based on the histogram value acquired from the histogram calculation circuit 202, and based on the histogram, the first gain, the second gain, And the value of the third gain is set.
[0116]
In step S3, the gradation conversion circuit 201 executes Y signal correction processing. The Y signal correction process will be described later with reference to the flowchart of FIG.
[0117]
In step S4, the gradation conversion circuit 201 executes aperture correction processing. The aperture correction process will be described later with reference to the flowchart of FIG.
[0118]
In step S5, the gradation conversion circuit 201 that has finished the Y signal correction process and the aperture correction process adds the corrected Y signal and the aperture corrected Y signal to generate an output Y signal.
[0119]
In step S <b> 6, the microcomputer 204 determines whether or not the gradation conversion circuit 201 has converted the gradation of the Y signal for one field based on the synchronization signal supplied from the synchronization signal generation circuit 203. If the microcomputer 204 determines that the Y signal whose gradation has been converted by the gradation conversion circuit 201 has not reached one field and has not yet converted the gradation of the Y signal for one field, step S3 Return to and repeat the subsequent processing.
[0120]
When the gradation conversion circuit 201 determines that the gradation of the Y signal for one field has been converted, the microcomputer 204 proceeds to step S7, and based on the synchronization signal supplied from the synchronization signal generation circuit 203, the Y signal It is determined whether or not the input is completed.
[0121]
If it is determined that the input of the Y signal has not ended, the microcomputer 204 returns to step S2 and repeats the subsequent processing. If the microcomputer 204 determines that the input of the Y signal has ended, the microcomputer 204 ends the gradation conversion process.
[0122]
Next, the Y signal correction process executed in step S3 of FIG. 10 will be described with reference to the flowchart of FIG.
[0123]
In step S21, the gradation conversion circuit 201 performs basic correction of the input Y signal using two types of correction patterns, and generates a first basic corrected Y signal and a second basic corrected Y signal. As described above, the gradation conversion circuit 201 performs basic correction by adding the first correction pattern expressed by the functions of Expressions (9) and (10) to the input Y signal, and performs the first basic correction. A basic Y correction is performed by generating a post-Y signal and adding a second correction pattern expressed by the functions of Expressions (12) and (13) to the input Y signal. Generate.
[0124]
In step S 22, the gradation conversion circuit 201 multiplies the first basic corrected Y signal and the first gain signal supplied from the microcomputer 204 to generate a first multiplied Y signal. In step S23, the gradation conversion circuit 201 multiplies the second basic corrected Y signal and the second gain signal supplied from the microcomputer 204 to generate a second multiplied Y signal.
[0125]
In step S24, the gradation conversion circuit 201 adds the generated first multiplied Y signal and the second multiplied Y signal to generate a corrected Y signal. Then, the gradation conversion circuit 201 that has generated the corrected Y signal ends the Y signal correction processing, and proceeds to step S4 in FIG.
[0126]
Next, the aperture correction process executed in step S4 of FIG. 10 will be described with reference to the flowchart of FIG.
[0127]
First, in step S41, the gradation conversion circuit 201 multiplies the aperture correction signal and the third gain signal supplied to the microcomputer 204 to generate a multiplied aperture correction signal.
[0128]
Then, the gradation conversion circuit 201 proceeds to step S42, adds the multiplied aperture correction signal and the input Y signal, and generates an aperture corrected Y signal. The gradation conversion circuit 201 that has generated the aperture-corrected Y signal ends the aperture correction process and proceeds to step S5 in FIG.
[0129]
As described above, the process of correcting the gradation of the Y signal is performed.
[0130]
Next, histogram integration processing by the histogram calculation circuit 202 will be described with reference to the flowcharts of FIGS.
[0131]
First, in step S61, the histogram calculation circuit 202 sets a detection region, a first threshold value, and a second threshold value used for calculation of the histogram value supplied to the microcomputer 204.
[0132]
The histogram calculation circuit 202 acquires an input signal composed of an input Y signal or an output Y signal from the gradation conversion circuit 201, and acquires an address signal corresponding to the acquired input signal from the synchronization signal generation circuit 203.
[0133]
In step S62, the histogram calculation circuit 202 determines whether or not an input signal and an address signal corresponding to the input signal have been acquired, and waits until it is determined that it has been acquired.
[0134]
In step S 63, the histogram calculation circuit 202 determines whether or not the acquired input signal is within the detection region supplied to the microcomputer 204 based on the address signal acquired from the synchronization signal generation circuit 203. . If it is determined that it is not within the detection region, the histogram calculation circuit 202 proceeds to step S81 in FIG. If it is determined that the current region is within the detection region, the histogram calculation circuit 202 proceeds to step S64.
[0135]
In step S <b> 64, the histogram calculation circuit 202 determines whether or not the value of the acquired input signal is greater than 0 and less than or equal to the first threshold supplied to the microcomputer 204. If it is determined that the value of the input signal is greater than 0 and less than or equal to the first threshold value, the histogram calculation circuit 202 proceeds to step S65 and based on the address signal acquired from the synchronization signal generation circuit 203, Is an input Y signal.
[0136]
If it is determined that the input signal is the input Y signal, the histogram calculation circuit 202 proceeds to step S66, counts up the first input histogram value that is the histogram value corresponding to the input Y signal, and proceeds to step S81 in FIG. move on.
[0137]
If it is determined in step S65 of FIG. 13 that the input signal is the output Y signal and not the input Y signal, the histogram calculation circuit 202 proceeds to step S67, and the first output is a histogram value corresponding to the output Y signal. The histogram value is counted up, and the process proceeds to step S81 in FIG.
[0138]
If it is determined in step S64 that the input signal is 0 or less or greater than the first threshold value, the histogram calculation circuit 202 proceeds to step S71 in FIG.
[0139]
In step S <b> 71 of FIG. 14, the histogram calculation circuit 202 has a value of the acquired input signal that is greater than the first threshold supplied to the microcomputer 204 and less than or equal to the second threshold supplied to the microcomputer 204. It is determined whether or not there is. If it is determined that the value of the input signal is greater than the first threshold and less than or equal to the second threshold, the histogram calculation circuit 202 proceeds to step S72 and based on the address signal acquired from the synchronization signal generation circuit 203. It is determined whether or not the input signal is an input Y signal.
[0140]
If it is determined that the input signal is the input Y signal, the histogram calculation circuit 202 proceeds to step S73, counts up the second input histogram value that is a histogram value corresponding to the input Y signal, and proceeds to step S81 in FIG. move on.
[0141]
If it is determined in step S72 of FIG. 14 that the input signal is the output Y signal and not the input Y signal, the histogram calculation circuit 202 proceeds to step S74, and the second output is a histogram value corresponding to the output Y signal. The histogram value is counted up, and the process proceeds to step S81 in FIG.
[0142]
If it is determined in step S71 that the input signal is equal to or lower than the first threshold value or greater than the second threshold value, the process proceeds to step S75 in FIG.
[0143]
In step S75 of FIG. 14, the histogram calculation circuit 202 has a value of the acquired input signal that is greater than the second threshold value supplied to the microcomputer 204 and is equal to or less than a preset maximum value of the input signal. It is determined whether or not. If it is determined that the value of the input signal is greater than the second threshold value and less than or equal to the maximum value, the histogram calculation circuit 202 proceeds to step S76 and inputs the input signal based on the address signal acquired from the synchronization signal generation circuit 203. It is determined whether the signal is an input Y signal.
[0144]
If it is determined that the input signal is the input Y signal, the histogram calculation circuit 202 proceeds to step S777, counts up the third input histogram value that is the histogram value corresponding to the input Y signal, and proceeds to step S81 in FIG. move on.
[0145]
If it is determined in step S76 of FIG. 14 that the input signal is the output Y signal and not the input Y signal, the histogram calculation circuit 202 proceeds to step S78, and the third output is a histogram value corresponding to the output Y signal. The histogram value is counted up, and the process proceeds to step S81 in FIG.
[0146]
If it is determined in step S75 that the input signal is equal to or smaller than the second threshold value or greater than the maximum value, the process proceeds to step S79 in FIG. 14, error processing is performed, and the process proceeds to step S81 in FIG.
[0147]
In step S <b> 81 of FIG. 15, the histogram calculation circuit 202 determines whether or not processing has been performed on the signal for one field based on the address information of the input signal supplied from the synchronization signal generation circuit 203. If it is determined that it has not been performed, the histogram calculation circuit 202 returns to step S62 in FIG. 13 and repeats the subsequent processing.
[0148]
If it is determined that the signal for one field has been processed, the histogram calculation circuit 202 sends the calculated first to third input histogram values and the first to third output histogram values to the microcomputer 204 in step S82. In step S83, the counter is reset.
[0149]
In step S84, the histogram calculation circuit 202 determines whether or not the input has been completed. If it is determined that the input has not ended, the histogram calculation circuit 202 returns to step S61 in FIG. 13 and repeats the subsequent processing. If it is determined that the input has been completed, the histogram calculation circuit 202 ends the histogram integration process.
[0150]
Next, gain adjustment processing in which the microcomputer 204 sets the values of the first gain, the second gain, and the third gain will be described with reference to the flowchart of FIG.
[0151]
First, in step S101, the microcomputer 204 determines whether or not the histogram calculation circuit 202 has acquired the first to third input histogram values and the histogram values including the first to third histogram values. Wait until it is determined that it has been done.
[0152]
If it is determined that the histogram value has been acquired, the microcomputer 204 proceeds to step S102, and calculates normalized histogram cumulative frequency distribution information from the acquired histogram value.
[0153]
FIG. 17 is a graph showing normalized histogram cumulative frequency distribution information calculated by the microcomputer 204.
[0154]
In FIG. 17, the horizontal axis represents the signal level of the Y signal used for calculating the histogram value, and the vertical axis represents the histogram value that is the counted frequency. Here, the values on the horizontal axis and the vertical axis are normalized so that the maximum value is “1”. A straight line 351 represents the cumulative frequency distribution indicating the ideal cumulative frequency distribution, and a curve 352 represents the cumulative frequency distribution calculated based on the histogram value.
[0155]
For example, when FIG. 17 is a graph representing the cumulative frequency distribution information for the output Y signal, the cumulative frequency D2 for the point C1 is the first output histogram value counted by the histogram calculation circuit 202, and the cumulative for the point C2. The frequency D3 is a value obtained by adding the first and second output histogram values counted in the histogram calculation circuit 202, and the cumulative frequency D5 for the point C3 is the first to third output histograms counted in the histogram calculation circuit 202. It is a value obtained by adding values. The same applies when the cumulative frequency distribution information for the input Y signal is represented by a graph.
[0156]
On the other hand, in the case of an ideal cumulative frequency distribution, the cumulative frequencies for points C1 to C3 are D1, D4, and D5, respectively, and are uniformly distributed over all signal levels.
[0157]
Returning to FIG. 16, the microcomputer 204 that has calculated the normalized histogram cumulative frequency distribution information calculates a difference between the calculated normalized histogram cumulative frequency distribution information and the ideal cumulative frequency distribution information in step S 103.
[0158]
FIG. 18 is a graph showing the difference between the normalized histogram cumulative frequency distribution information and the ideal cumulative frequency distribution information.
[0159]
In FIG. 18, the horizontal axis indicates the signal level of the Y signal, and the vertical axis indicates the difference from the ideal cumulative frequency distribution. A straight line 361 indicates a reference ideal cumulative frequency distribution, and a curve 362 indicates normalized histogram cumulative frequency distribution information.
[0160]
For example, when FIG. 18 is a graph showing the difference between the cumulative frequency distribution information for the output Y signal and the ideal cumulative frequency distribution information, the difference value F2 for the point E1 is the first value counted by the histogram calculation circuit 202. The output histogram value is a difference value (D2-D1) from the ideal cumulative frequency, and the difference value F1 for the point E2 is a value obtained by adding the first and second output histogram values counted in the histogram calculation circuit 202. It is a difference value (D3-D4) with the ideal cumulative frequency. Note that the difference with respect to the point E3 is a comparison between the total cumulative frequency obtained by summing up the histogram values and the total cumulative frequency in the ideal cumulative frequency distribution, so the difference value is “0”. The same applies to the case where the difference between the cumulative frequency distribution information for the input Y signal and the ideal cumulative frequency distribution information is represented by a graph.
[0161]
The microcomputer 204 sets the values of the first gain and the second gain so that the correction amount applied to the input Y signal in the gradation conversion circuit 201 approximates the curve 362 shown in FIG. Thereby, it is possible to obtain the same effect as when the histogram equalization process is performed on the photographed image.
[0162]
In the gradation conversion circuit 201, the gradation correction amount can be expressed by the following equation (21).
[0163]
Gradation correction amount = Gb × sin (2π × n / N) + Ga × sin (π × n / N) (21)
However,
1 ≦ n ≦ N (22)
[0164]
In Expression (21), Ga represents the value of the first gain, Gb represents the value of the second gain, and N represents the number of histogram divisions, which is the number obtained by dividing the signal level of the Y signal in the histogram calculation circuit 202. is there. That is, in the example described above, the value of the histogram division number N is “3”.
[0165]
The normalized cumulative frequency calculated by the microcomputer 204 that is the sum of the first input histogram value to the nth input histogram value or the normalized cumulative frequency that is the sum of the first output histogram value to the nth output histogram value is H [n. ], And h [n] is represented by the following formula (23), where h [n] is the difference between H [n] and the ideal cumulative frequency distributed evenly.
[0166]
h [n] = H [n] -n / N (23)
[0167]
In equation (23), h [n] is equivalent to the difference value between the histogram value and the average frequency.
[0168]
The microcomputer 204 determines Ga and Gb so that the difference between the gradation correction amount shown in Expression (21) and h [n] shown in Expression (23) is minimized. Thereby, the gradation correction circuit 201 can improve the gradation while effectively utilizing the dynamic range for the Y signal. However, the microcomputer 204 does not simply minimize this difference, but determines the values of Ga and Gb in a form suitable for backlight correction.
[0169]
By the way, in Expression (21), the correction by the second term on the right side constituting the gradation correction amount is a correction for making the captured image in the backlight state easy to see, and the correction by the first term on the right side is the Y signal of the captured image Is a correction for effectively using the dynamic range. Therefore, in order to perform gradation correction emphasizing backlight correction, the microcomputer 204 first uses the least square method to apply the same effect as that of the conventional gamma correction to the coefficient of the second term on the right side of Equation (21). Determine Ga.
[0170]
The microcomputer 204 calculates the square error Err of the correction amount for all signal levels corresponding to the histogram values acquired from the histogram calculation circuit 202. Assuming that the square error corresponding to Ga is ErrGa, ErrGa is expressed as the following Expression (24).
[0171]
[Equation 3]

[0172]
When the value obtained by differentiating Equation (24) with respect to n is “0”, this error is minimized. An expression obtained by differentiating the expression (24) with respect to n is shown in the following expression (25).
[0173]
[Expression 4]

[0174]
The microcomputer 204 calculates the value of Ga so that the value of ErrGa ′ is “0” in the equation (25). Accordingly, the gradation correction circuit 201 can perform gradation correction for the purpose of backlight correction on the Y signal.
[0175]
Next, the microcomputer 204 calculates the square error Err of the correction amount in the same manner as in the case of Ga in order to obtain the coefficient Gb of the first term on the right side of the equation (21). Err is expressed as the following equation (26).
[0176]
[Equation 5]

[0177]
Here, since Ga has already been obtained, Expression (27) is defined as follows.
[0178]
[Formula 6]

[0179]
When Expression (26) is expressed using Expression (27), Expression (26) is expressed as the following Expression (28).
[0180]
[Expression 7]

[0181]
Since the equation (28) has the same configuration as the equation (24), the microcomputer 204 can obtain Gb by using a circuit or a program that calculates Ga. Thereby, the microcomputer 204 can minimize the scale of a circuit or a program necessary for calculating the first gain and the second gain.
[0182]
Returning to FIG. 16, in step S <b> 104, the microcomputer 204 calculates the first gain value Ga by the least square method based on the difference value calculated in step S <b> 103 as described above.
[0183]
In step S105, the microcomputer 204 calculates the second gain value Gb by the least square method based on the first gain value calculated as described above.
[0184]
In step S106, the microcomputer 204 that has calculated the values of the first gain and the second gain calculates a value of the third gain based on the calculated values of the first gain and the second gain, and performs gain adjustment processing. finish.
[0185]
The calculated values of the first gain to the third gain are supplied to the gradation correction circuit 201 by the microcomputer 204 as the first gain signal to the third gain signal, respectively. The gradation correction circuit 201 performs gradation correction with an emphasis on backlight correction on the Y signal based on the supplied first gain signal to third gain signal. Thereby, an optimal captured image can be obtained.
[0186]
FIG. 19 is a diagram illustrating the relationship between the brightness of incident light and the signal level corresponding to the captured image when the above-described gradation correction is performed on the captured image.
[0187]
In FIG. 19, a straight line 381 indicates the relationship between the brightness of the incident light and the signal level corresponding to the photographed image before gradation correction, and a curve 382 indicates the incident light when the exposure amount is only adjusted. The relationship between the brightness and the signal level corresponding to the photographed image is shown, and the curve 391 shows the relationship between the brightness of the incident light after gradation correction and the signal level corresponding to the photographed image. Also, assume that the indoor brightness is point G1 and the outdoor brightness is point G3.
[0188]
At this time, the signal level corresponding to the point G1 after the gradation correction is the same point H2 as that in the case where only the exposure amount is adjusted, and the signal level corresponding to the point G3 is the signal level before the gradation correction. A similar point H3 is obtained. That is, when the gradation correction as described above is performed, the degree of change in the signal level with respect to the change in brightness can be changed, so that only the signal level of the indoor area in the photographed image is changed from the point H1 to the point H2. Therefore, the difference from the signal level H3 in the outdoor area can be reduced. As a result, the video camera 200 can bring the brightness of the indoor area and the outdoor area of the captured image close to each other, and can provide a captured image that has been optimally corrected for backlight.
[0189]
In the above description, the microcomputer 204 has been described so as to obtain the values of the first gain and the second gain by the method of least squares. However, the present invention is not limited to this. The range that the second gain value can take may be limited. The operation will be described below.
[0190]
The microcomputer 204 acquires a histogram value for each field from the histogram calculation circuit 202 in order to obtain the values of the first gain and the second gain. At that time, the microcomputer 204 classifies the acquired histogram values using a predetermined threshold and analyzes the pattern. The predetermined threshold value may be set to any value, but since the histogram calculation circuit 202 divides the signal level into three and counts the histogram value, 3 is the total number of Y signals in the detection region to be counted. It is desirable to set to 1 /.
[0191]
The microcomputer 204 classifies the histogram values acquired from the histogram calculation circuit 202 by a predetermined threshold value, sets a value “1” when the histogram value is equal to or larger than the threshold value, and sets a value “0” when the histogram value is smaller than the threshold value. ”To roughly classify the signal level distribution of the Y signal corresponding to the captured image.
[0192]
Then, the microcomputer 204 compares the obtained distribution pattern with a lookup table as shown in FIG. 20, and determines a processing method for the captured image.
[0193]
FIG. 20 is a diagram illustrating an example of a lookup table included in the microcomputer 204.
[0194]
In FIG. 20, the look-up table 400 includes an item 401 indicating an output histogram value pattern and an item 402 indicating a processing method for the output histogram value pattern. The item 401 includes an item 412 indicating the pattern of the first output histogram value, an item 413 indicating the pattern of the second output histogram value, and an item 414 indicating the pattern of the third output histogram value.
[0195]
For example, in the third row from the bottom, a value “1” is set in the item 412, a value “0” is set in the item 413, and a value “1” is set in the item 414. In the item 402, “correction” is set. That is, the first output histogram value and the third output histogram value are equal to or greater than a predetermined threshold value. In the case of this distribution pattern, the microcomputer 204 causes the gradation conversion circuit 201 to perform correction processing.
[0196]
The microcomputer 204 performs eight kinds of processing according to the signal level distribution pattern of the Y signal by referring to a lookup table as shown in FIG.
[0197]
Specifically, when all of the first to third output histogram values are smaller than a predetermined threshold value, or when all of the first to third output histogram values have values equal to or larger than the predetermined threshold value, depending on the threshold value, This distribution pattern indicates a distribution pattern that should not exist or that the signal level is uniformly distributed. Therefore, in this case, the microcomputer 204 controls the gradation conversion circuit 201 so as not to perform gradation conversion by setting the values of the first gain and the second gain to “0”.
[0198]
When only the first output histogram value is greater than or equal to the threshold value, or when only the third output histogram value is greater than or equal to the threshold value, the histogram is extremely concentrated on the lower or higher signal level. It shows that. Therefore, in this case, since there is a possibility that the AE function is in the middle of convergence, the microcomputer 204 does not perform gradation conversion by setting the values of the first gain and the second gain to “0”. In this way, the gradation conversion circuit 201 is controlled.
[0199]
If only the third output histogram value is smaller than the threshold value, the AE function may not have converged, but the AE function has already converged, and it is possible that a subject with a very large amount of light has been captured. . Therefore, in this case, the microcomputer 204 sets the first gain value to “1”, sets the second gain value to “0”, and performs gradation conversion as shown by the curve 461 in FIG. The gradation conversion circuit 201 is controlled to perform the above.
[0200]
FIG. 21 is a diagram illustrating an example of a gradation conversion correction pattern set by the microcomputer 204.
[0201]
In FIG. 21, the horizontal axis indicates the signal level of the input Y signal input to the gradation conversion circuit 201, and the vertical axis indicates the signal level of the output Y signal output from the gradation conversion circuit 201. A straight line 451 indicates the relationship between the input signal level and the output signal level before correction, and a curve 461 indicates the relationship between the input signal level and the output signal level after correction.
[0202]
The microcomputer 204 controls the switch circuit 231 to increase the value of the first gain while checking the histogram before and after the gradation conversion, and adjust the degree of correction.
[0203]
When only the first output histogram value is smaller than the threshold value, the microcomputer 204 sets the first gain value to “−1” and the second gain value to “0”, contrary to the case described above. And the gradation conversion circuit 201 is controlled to perform gradation conversion as shown by a curve 471 in FIG.
[0204]
FIG. 22 is a diagram showing another example of the gradation conversion correction pattern set by the microcomputer 204. In FIG.
[0205]
In FIG. 22, a curve 471 indicates the relationship between the corrected input signal level and output signal level. The microcomputer 204 controls the switch circuit 231 to reduce the value of the first gain while checking the histogram before and after the gradation conversion and adjust the degree of correction.
[0206]
If only the second output histogram value is smaller than the threshold value, it is determined that the backlight is in the backlight state, and the microcomputer 204 sets the first gain value to “0” and the second gain value to “1”. Then, the gradation conversion circuit 201 is controlled to perform gradation conversion as indicated by a curve 481 shown in FIG.
[0207]
FIG. 23 is a diagram showing still another example of the gradation conversion correction pattern set by the microcomputer 204.
[0208]
In FIG. 23, a curve 481 shows the relationship between the corrected input signal level and output signal level. The microcomputer 204 controls the switch circuit 231 to increase the value of the second gain while checking the histogram before and after gradation conversion, and adjust the degree of correction.
[0209]
If only the second output histogram value takes a value equal to or greater than the threshold value, it is determined that the light is in an excessively lighted state, and the microcomputer 204 sets the first gain value to “0” and sets the second gain value. The value is set to “−1”, and the gradation conversion circuit 201 is controlled to perform gradation conversion as indicated by a curve 491 shown in FIG.
[0210]
FIG. 24 is a diagram showing still another example of the gradation conversion correction pattern set by the microcomputer 204.
[0211]
In FIG. 24, a curve 491 shows the relationship between the corrected input signal level and output signal level. The microcomputer 204 controls the switch circuit 231 to reduce the value of the second gain while checking the histogram before and after the gradation conversion, and adjust the degree of correction.
[0212]
As described above, the microcomputer 204 can limit the correction pattern performed by the gradation correction circuit 201 in accordance with the distribution pattern of the histogram. The microcomputer 204 may adjust the degree of correction by the least square method as described with reference to the flowchart of FIG. 16 within the limited range of the correction pattern as described above.
[0213]
As described above, the correction using the gradation is effectively performed on the Y signal corresponding to the photographed image easily without using a large-scale circuit or applying an excessive load by software. Can do.
[0214]
In the above description, the histogram calculation circuit 202 has been described so as to divide the signal level into three. However, the present invention is not limited to this. Further, a plurality of detection regions for calculating histogram values may exist for one field of Y signals. Furthermore, each circuit described in FIG. 5 may be partly or entirely integrated with another circuit.
[0215]
In addition, the signal processing unit 211 of the gradation conversion circuit 201 has been described as performing basic correction on the input Y signal using two different functions. However, the present invention is not limited to this. Basic correction may be performed. At this time, the number of gains set by the microcomputer 204 changes according to the number of basic corrections performed by the signal processing unit 211. The signal processing unit 211 may store a basic correction lookup table in advance in the built-in ROM 211A or the like, and perform basic correction based on the lookup table.
[0216]
In the above description, the video camera has been described. However, the present invention is not limited to this. For example, a digital camera, an image recording / playback device such as a VTR (Video Tape Recorder), a television receiver, a projector, a printer, or the like. Other devices having the above functions may be used and can be widely applied to various devices.
[0217]
Further, the above processing can be executed by hardware, but can also be executed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a network or a recording medium into a general-purpose personal computer or the like.
[0218]
As shown in FIG. 5, the recording medium is distributed to provide a program to the user separately from the apparatus main body, and includes a magnetic disk 91 (including a floppy disk) on which the program is recorded, an optical disk 92 (CD -ROM (Compact Disk-Read Only Memory), DVD (Digital Versatile Disk) included), magneto-optical disk 93 (MD (Mini-Disk) included), or only composed of package media consisting of semiconductor memory 94, etc. Instead, it is configured by a ROM or the like built in the microcomputer 204 in which a program is provided, which is provided to the user in a state of being preinstalled in the apparatus main body.
[0219]
In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but is not necessarily performed in chronological order. It also includes processes that are executed individually.
[0220]
【The invention's effect】
As described above, according to the signal processing apparatus and method, the recording medium, and the program of the present invention, more effective gradation conversion is performed while suppressing an increase in circuit scale or an increase in load due to software processing. be able to.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration example of a conventional video camera.
FIG. 2 is a diagram illustrating a state in which charges are output from a CCD equipped with a complementary color filter.
FIG. 3 is a diagram showing a state of dynamic range compression by a knee circuit.
FIG. 4 is a diagram illustrating a situation in which a captured image causes whiteout.
FIG. 5 is a block diagram illustrating a basic configuration example of a video camera to which the present invention has been applied.
6 is a diagram illustrating a detailed configuration example of a gradation conversion circuit illustrated in FIG. 5;
FIG. 7 is a graph showing an example of a function constituting the first correction pattern.
FIG. 8 is a graph showing another example of a function constituting the first correction pattern.
9 is a diagram showing a detailed configuration example of a histogram calculation circuit 202. FIG.
FIG. 10 is a flowchart illustrating tone conversion processing.
FIG. 11 is a flowchart illustrating a Y signal correction process executed in step S3 of FIG.
12 is a flowchart for explaining aperture correction processing executed in step S4 of FIG.
FIG. 13 is a flowchart for describing histogram integration processing by a histogram calculation circuit.
FIG. 14 is a flowchart following FIG. 13 for explaining the histogram integration processing by the histogram calculation circuit.
FIG. 15 is a flowchart following FIG. 14 for explaining the histogram integration processing by the histogram calculation circuit.
FIG. 16 is a flowchart for describing gain adjustment processing by a microcomputer;
FIG. 17 is a graph showing normalized histogram cumulative frequency distribution information calculated by a microcomputer.
FIG. 18 is a graph showing a difference between normalized histogram cumulative frequency distribution information and ideal cumulative frequency distribution information.
FIG. 19 is a graph showing the relationship between the brightness of incident light and the signal level corresponding to the photographed image when tone correction is performed on the photographed image.
FIG. 20 is a diagram illustrating an example of a lookup table included in a microcomputer.
FIG. 21 is a diagram illustrating an example of a gradation conversion correction pattern set by a microcomputer.
FIG. 22 is a diagram showing another example of the gradation conversion correction pattern set by the microcomputer.
FIG. 23 is a diagram showing still another example of the gradation conversion correction pattern set by the microcomputer.
FIG. 24 is a diagram showing still another example of the gradation conversion correction pattern set by the microcomputer.
[Explanation of symbols]
200 Video Camera, 201 Gradation Conversion Circuit, 202 Histogram Calculation Circuit, 203 Synchronization Signal Generation Circuit, 204 Microcomputer, 211 Signal Processing Unit, 211 A ROM, 231 Switch Circuit, 301 to 304 Comparator, 311 to 313 AND Gate, 321 Thru 323 counters

Claims (14)

Correction means for correcting the input luminance signal with different correction patterns to obtain a plurality of corrected signals ;
Histogram calculation means for calculating a histogram of an image corresponding to the luminance signal;
Gain determining means for determining a plurality of gains for determining the respective degrees of a plurality of corrected signals obtained by correction by the correcting means based on the histogram calculated by the histogram calculating means ;
Multiplying means for multiplying each of the corrected signals obtained by the correction by the correcting means and each of the gains determined by the gain determining means;
A signal processing apparatus comprising: an output luminance signal generation unit configured to generate an output luminance signal obtained by performing gradation correction on the input luminance signal based on a result of multiplication by the multiplication unit. The correction pattern is composed of a plurality of different functions,
The correction means corrects the luminance signal for each of the functions to obtain the corrected signal.
The signal processing apparatus according to claim 1, characterized in that. The correction pattern is constituted by a function of curves different from each other and including at least one convexity,
The signal processing apparatus according to claim 1 , wherein the correction unit corrects the luminance signal for each of the functions to obtain the corrected signal . The correction pattern includes a plurality of sine functions having different coefficients from each other,
The signal processing apparatus according to claim 1 , wherein the correction unit corrects the luminance signal for each of the sine functions to obtain the corrected signal . The correction pattern is divided into a first correction pattern for adjusting the gradation and the amplitude level in three parts on the brighter side and the darker side than the center of the amplitude level of the luminance signal. A second correction pattern for adjusting the gradation,
The correction means corrects the luminance signal using the first correction pattern to obtain a first correction signal, corrects the luminance signal using the second correction pattern, and performs a second correction. The signal processing apparatus according to claim 1 , wherein a signal is obtained . The correction means includes
The signal processing apparatus according to claim 1, further comprising storage means for storing the correction pattern . The signal processing according to claim 6 , wherein the correction pattern stored in the storage unit is configured by a look-up table indicating a relationship between the input luminance signal and the corrected signal. apparatus. The signal processing apparatus according to claim 1 , wherein the histogram calculation unit calculates the histogram for a predetermined region including a part or all of an image corresponding to the luminance signal . Said histogram calculating means, on the basis of the calculated histogram, to claim 1, characterized by further calculating a histogram cumulative frequency distribution is a frequency distribution obtained by accumulating the frequency from the smaller signal level of the luminance signal The signal processing apparatus as described. Said gain determining means, the said histogram cumulative frequency distribution calculated by histogram calculation means, so that the difference between the gradation characteristic of the corrected signal is minimized, claims and determines the gain Item 10. The signal processing device according to Item 9 . The output luminance signal generation means includes:
First addition means for adding each of the results of multiplication by the multiplication means;
Second addition means for adding the addition result by the first addition means and the luminance signal to generate the output luminance signal;
The signal processing apparatus according to claim 1, characterized in that it comprises a. A correction step for correcting the input luminance signal with different correction patterns and obtaining a plurality of corrected signals ;
A histogram calculating step of calculating a histogram of an image corresponding to the luminance signal;
A gain determination step for determining a plurality of gains for determining the respective degrees of the plurality of corrected signals obtained by the correction by the correction step processing based on the histogram calculated by the histogram calculation step ;
A multiplication step of multiplying each of the post-correction signals obtained by correction by the processing of the correction step and each of the gains determined by the processing of the gain determination step;
An output luminance signal generation step for generating an output luminance signal obtained by performing gradation correction on the input luminance signal based on a result of multiplication by the processing of the multiplication step. . A correction step for correcting the input luminance signal with different correction patterns and obtaining a plurality of corrected signals ;
A histogram calculating step of calculating a histogram of an image corresponding to the luminance signal;
A gain determination step for determining a plurality of gains for determining the respective degrees of the plurality of corrected signals obtained by the correction by the correction step processing based on the histogram calculated by the histogram calculation step ;
A multiplication step of multiplying each of the post-correction signals obtained by correction by the processing of the correction step and each of the gains determined by the processing of the gain determination step;
An output luminance signal generation step for generating an output luminance signal obtained by performing gradation correction on the input luminance signal based on a result of multiplication by the processing of the multiplication step ; A recording medium on which possible programs are recorded. A correction step for correcting the input luminance signal with different correction patterns and obtaining a plurality of corrected signals ;
A histogram calculating step of calculating a histogram of an image corresponding to the luminance signal;
A gain determination step for determining a plurality of gains for determining the respective degrees of the plurality of corrected signals obtained by the correction by the correction step processing based on the histogram calculated by the histogram calculation step ;
A multiplication step of multiplying each of the post-correction signals obtained by correction by the processing of the correction step and each of the gains determined by the processing of the gain determination step;
The computer can execute a process including an output luminance signal generation step for generating an output luminance signal obtained by performing gradation correction on the input luminance signal based on a result of multiplication by the multiplication step. A program characterized by

Images