JP2015192393A - 映像信号処理装置、映像信号処理方法およびプログラム - Google Patents

Abstract

【課題】映像信号に含まれるフリッカ成分を良好に取り除く。【解決手段】この映像信号処理装置は、映像信号をフレームの単位で積分する積分部と、積分部により得た積分値に含まれる、光源の周波数に応じたフリッカ成分を抽出し、追従しながら積分値に含まれるフリッカ成分を低減する第１のフリッカ補正部と、第１のフリッカ補正部による積分値の補正結果を用いて、フリッカ成分のない基準画を生成し、この基準画をもとに映像信号のフリッカ補正を行う第２のフリッカ補正部とを具備する。【選択図】図１

Description

本技術は、映像信号のフリッカを補正する映像信号処理装置、映像信号処理方法およびプログラムに関する。

イメージセンサは面単位、若しくはライン単位で電荷の蓄積タイミングが異なる。一般的に、面単位で電荷の蓄積タイミングを合わせる方式をグローバルシャッタ方式と呼び、ライン単位で電荷の蓄積タイミングを合わせる方式をローリングシャッタ方式と呼ぶ。これまでイメージセンサではグローバルシャッタ方式を採用したＣＣＤイメージセンサが主流であったが、近年、ＣＣＤイメージセンサより消費電力が小さく、部品点数も少なく安価に生産できるＣＭＯＳイメージセンサが注目されている。このＣＭＯＳイメージセンサは構造的な問題によりローリングシャッタ方式を採用している場合が多い。どちらの方式でも、点滅を繰り返す光源の下で撮影した場合は、センサでの電荷蓄積タイミングの違いにより、面全体に明暗の違い（面フリッカ）やライン毎による明暗の違い（ラインフリッカ）が現れる。

フリッカを補正する技術としては、レベル変化に強い手法として、フリッカの位相および振幅を近似する正弦波などの波形を生成し、この波形を用いて映像信号のフリッカを補正する方式（特許文献１参照）が知られている。また、レベル変化には弱いが補正精度の高い手法として、フリッカの周期の整数倍のフレームについて、フレーム単位の画素の値の積分値の加算平均を算出することによって、フリッカ成分の取り除かれた基準画を生成し、この基準画を用いて映像信号のフリッカ補正を行う方式も知られている（特許文献２参照）。

特開２００７−２９５２００号公報 特開２０００−３２４３６５号公報

しかしながら、かかるいずれの方法にも一長一短があり、映像信号から、より良好にフリッカ成分を取り除く手段としては不十分であることが指摘されている。

以上のような事情に鑑み、本技術の目的は、映像信号に含まれるフリッカ成分を良好に取り除くことのできる映像信号処理装置、映像信号処理方法およびプログラムを提供することにある。

上記の課題を解決するために、本技術に係る一形態の映像信号処理装置は、映像信号をフレームの単位で積分する積分部と、前記積分部により得た前記積分値に含まれる、光源の周波数に応じたフリッカ成分を抽出し、追従しながら前記積分値に含まれるフリッカ成分を低減する第１のフリッカ補正部と、前記第１のフリッカ補正部による前記積分値の補正結果を用いて、フリッカ成分のない基準画を生成し、この基準画をもとに前記映像信号のフリッカ補正を行う第２のフリッカ補正部とを具備する。

本技術に係る一形態の映像信号処理装置は、連続するフレーム間での有意なレベル変化を検出するレベル変化検出部をさらに具備し、前記第２のフリッカ補正部は、前記光源の電源周波数およびフレームレートに依存して決められる所定のフレーム数分保持可能な記憶部をさらに具備し、前記レベル変化が検出されないとき、前記記憶部に保持された最新の所定のフレーム数分の積分値の平均を算出することによって前記基準画を生成するものであってよい。

前記第２のフリッカ補正部は、前記レベル変化が検出されたとき、前記第１のフリッカ補正部より出力された積分値を前記基準画として用いて前記映像信号のフリッカ補正を行うものであってよい。

また、第２のフリッカ補正部は、レベル変化が検出されたとき、前記第１のフリッカ補正部より出力された積分値を前記基準画として用いて前記映像信号のフリッカ補正を行うものであってよい。

前記レベル変化検出部は、前記第１のフリッカ補正部により補正された前記積分値をもとに前記レベル変化を検出するものであってよい。

本技術に係る別の形態の映像信号処理装置は、映像信号をラインの単位で積分する積分部と、前記積分部により得た前記ライン毎の積分値に含まれる、光源の周波数に応じたフリッカ成分を抽出し、追従しながら前記ライン毎の積分値に含まれるフリッカ成分を低減する第１のフリッカ補正部と、前記第１のフリッカ補正部による前記ライン毎の積分値の補正結果を用いて、フリッカ成分のない基準画を生成し、この基準画をもとに前記映像信号のフリッカ補正を行う第２のフリッカ補正部とを具備する。

また、上記の課題を解決するために、本技術に係る別の形態である映像信号処理方法は、積分部が、映像信号をフレームの単位で積分し、第１のフリッカ補正部が、前記積分部により得た前記積分値に含まれる、光源の周波数に応じたフリッカ成分を抽出し、追従しながら前記積分値に含まれるフリッカ成分を低減し、第２のフリッカ補正部が、前記第１のフリッカ補正部による前記積分値の補正結果を用いて、フリッカ成分のない基準画を生成し、この基準画をもとに前記映像信号のフリッカ補正を行う。

また、上記の課題を解決するために、本技術に係る別の形態である映像信号処理方法は、積分部が、映像信号をラインの単位で積分し、第１のフリッカ補正部が、前記積分部により得た前記ライン毎の積分値に含まれる、光源の周波数に応じたフリッカ成分を抽出し、追従しながら前記ライン毎の積分値に含まれるフリッカ成分を低減し、第２のフリッカ補正部が、前記第１のフリッカ補正部による前記ライン毎の積分値の補正結果を用いて、フリッカ成分のない基準画を生成し、この基準画をもとに前記映像信号のフリッカ補正を行う。

本技術に係る別の形態であるプログラムは、映像信号をフレームの単位で積分する積分部と、前記積分部により得た前記積分値に含まれる、光源の周波数に応じたフリッカ成分を抽出し、追従しながら前記積分値に含まれるフリッカ成分を低減する第１のフリッカ補正部と、前記第１のフリッカ補正部による前記積分値の補正結果を用いて、フリッカ成分のない基準画を生成し、この基準画をもとに前記映像信号のフリッカ補正を行う第２のフリッカ補正部としてコンピュータを機能させるものである。

さらに、本技術に係る別の形態であるプログラムは、映像信号をラインの単位で積分する積分部と、前記積分部により得た前記ライン毎の積分値に含まれる、光源の周波数に応じたフリッカ成分を抽出し、追従しながら前記ライン毎の積分値に含まれるフリッカ成分を低減する第１のフリッカ補正部と、前記第１のフリッカ補正部による前記ライン毎の積分値の補正結果を用いて、フリッカ成分のない基準画を生成し、この基準画をもとに前記映像信号のフリッカ補正を行う第２のフリッカ補正部としてコンピュータを機能させるものである。

以上のように、本技術によれば、映像信号に含まれるフリッカ成分を良好に取り除くことができる。

本技術に係る第１の実施形態のフリッカ補正装置の構成を示すブロック図である。 図１のフリッカ補正装置の動作を示すフローチャートである。 波形近似フリッカ補正による補正残りの原理を説明するための図である。 基準画フリッカ補正のレベル変化前後の特性を示す図である。 本技術に係る第２の実施形態のフリッカ補正装置の構成を示すブロック図である。 図５のフリッカ補正装置の動作を示すフローチャートである。

以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞
まず、本技術に係る映像信号処理装置を、グローバルシャッタ方式に対応するフリッカ補正装置に適用した場合の実施形態を説明する。

図１はこのフリッカ補正装置１の構成を示すブロック図である。
このフリッカ補正装置１は、画像積分部１１、第１のメモリ１２、波形近似フリッカ補正部１３、基準画フリッカ補正部１４、およびレベル変化検出部１５を備える。

画像積分部１１は、入力された映像信号１０のフレーム単位の画素の輝度値などの値を積分する。
第１のメモリ１２は、画像積分部１１によって得られた、現フレーム（Ｎフレーム）に対して１フレーム前のフレーム（Ｎ−１フレーム）の積分値を保持する。

波形近似フリッカ補正部１３は、フリッカの位相および振幅を近似する正弦波などの波形を生成し、この波形を用いて画像積分部１１の出力である積分値を補正することによって一次のフリッカ補正を行う。ここで、一次のフリッカ補正は、実際の映像信号に対するフリッカ補正ではなく、フレーム単位の積分値に対してフリッカ成分の除去を行うことを言う。

基準画フリッカ補正部１４は、フリッカの周期の整数倍のフレームについて、波形近似フリッカ補正部１３にて補正されたフレーム単位の積分値、あるいは複数のフレーム分の積分値の加算平均を、フリッカ成分のさらに取り除かれた基準画として生成する。基準画フリッカ補正部１４は、この基準画と画像積分部１１の出力である積分値をもとに映像信号に対するフリッカ補正を行う。

基準画フリッカ補正部１４は、レベル変化検出部１５によりレベル変化点（フレーム）が検出されたことの通知を受けると、波形近似フリッカ補正部１３にて補正されたフレーム単位の積分値を基準画として生成し、この基準画を用いて映像信号の二次のフリッカ補正を行う。

レベル変化検出部１５は、波形近似フリッカ補正部１３にて補正された、ＮフレームおよびＮ−１フレームの各々の積分値の差分などをもとに、例えば映像の大きな動き（変化）などに起因した大きなレベルの変化点（フレーム）を検出する。レベル変化検出部１５は、大きなレベルの変化点（フレーム）を検出すると、レベルの変化点を示す信号を基準画フリッカ補正部１４に通知する。

次に、上記の波形近似フリッカ補正部１３、基準画フリッカ補正部１４、およびレベル変化検出部１５の構成の詳細を説明する。

［波形近似フリッカ補正部１３］
この実施形態で採用される波形近似フリッカ補正部１３は、積分値に含まれる、光源の周波数に応じたフリッカ成分を抽出し、追従しながら積分値に含まれるフリッカ成分を低減する方式として、フリッカの位相および振幅を近似する正弦波などの波形を生成し、この波形を用いて画像積分部１１の出力である積分値を補正する方式の一例である。このような波形近似フリッカ補正部１３は、様々なものが既に知られているが、一例として次のようなものがある。

この波形近似フリッカ補正部１３は、補正波アドレス算出部１３１、位相誤差検出部１３２、振幅誤差検出部１３３、第１のフリッカ補正部１３４を備える。

補正波アドレス算出部１３１は、Ｎフレームに対応する補正波のアドレスを電源周波数とフレームレート２１と１つ前のフレーム（Ｎ−１フレーム）の補正結果から計算する。

位相誤差検出部１３２は、次のように補正波の位相と映像信号のフリッカ成分の位相との誤差を算出するものである。

位相誤差検出部１３２は、補正波アドレス算出部１３１により算出された補正波のアドレスをそれぞれプラス方向及びマイナス方向へずらした各アドレスを算出し、各々のアドレスをもとに２つのフリッカ補正データをそれぞれ算出する。

位相誤差検出部１３２は、算出された２つのフリッカ補正データについて各々、そのフリッカ補正データと、第１のフリッカ補正部１３４によって補正されたＮ−１フレームの積分値から各画素の補正値を算出し、補正されたＮ−１フレームの映像信号に各画素の補正値（フリッカ成分）を加算する。

位相誤差検出部１３２は、フリッカ成分が加算されることによって補正されたＮ−１フレームの各画素の値をフレーム単位で積分し、この積分値とＮフレームの積分値との差分データを生成する。そして位相誤差検出部１３２は、プラス側にずらしたアドレスをマイナス側にずらしたアドレスとで、差分データの値が小さい方に位相をずらすことを指示する位相誤差信号を第１のフリッカ補正部１３４に出力する。

すなわち、位相誤差検出部１３２は、補正波のアドレスをプラスとマイナスのどちらにずらしたほうがより正しいフリッカを予測しているかを判断し、正しいフリッカが予測されたプラスかマイナスのいずれかの位相誤差信号を第１のフリッカ補正部１３４に与える。

以上の処理がフレーム毎に繰り返されることによって、補正波の位相が実際の映像信号に含まれるフリッカ成分の位相に次第に合せられて行く。

振幅誤差検出部１３３は、次のように補正波の振幅と映像信号のフリッカ成分の振幅との誤差を算出するものである。

振幅誤差検出部１３３は、補正波アドレス算出部１３１により算出された補正波のアドレスをもとにフリッカ補正データを算出する。また、振幅誤差検出部１３３は、フリッカ振幅信号を増幅させた信号およびフリッカ振幅信号を減衰させた信号をそれぞれ生成し、各々の信号を上記のフリッカ補正データに乗算して、フリッカ成分を増幅させたフリッカ補正データおよびフリッカ成分を減衰させたフリッカ補正データを生成する。

振幅誤差検出部１３３は、算出された２つのフリッカ補正データについて各々、そのフリッカ補正データと、第１のフリッカ補正部１３４によって補正されたＮ−１フレームの映像信号から各画素の補正値を算出し、補正されたＮ−１フレームの映像信号に各画素の補正値（フリッカ成分）を加算する。

振幅誤差検出部１３３は、フリッカ成分が加算された映像信号をフレーム単位で積分し、この積分値とＮフレームの積分値との差分データを生成する。そして振幅誤差検出部１３３は、フリッカ振幅信号を増幅させた方とフリッカ振幅信号を減衰させた方とで、差分データの値が小さい方に振幅をずらすことを指示する振幅誤差信号を第１のフリッカ補正部１３４に出力する。

すなわち、振幅誤差検出部１３３は、フリッカ振幅を増幅させる場合と減衰させる場合とでどちらがより正しいフリッカを予測しているかを判断し、正しいフリッカが予測された増幅が減衰のいずれかの振幅誤差信号を第１のフリッカ補正部１３４に与える。

以上の処理がフレーム毎に繰り返されることによって、補正波の振幅が実際の映像信号に含まれるフリッカ成分の振幅に次第に合せられて行く。

第１のフリッカ補正部１３４は、位相誤差検出部１３２から与えられる位相誤差信号と、振幅誤差検出部１３３から与えられる振幅誤差信号をもとに、Ｎフレームのフリッカ補正に用いられるフリッカ補正データを算出する。第１のフリッカ補正部１３４は、Ｎフレームの映像信号及びフリッカ補正データから各画素の補正値を算出し、Ｎフレームの映像信号から各画素の補正値を減算してフリッカ成分の補正されたフレーム単位の映像信号を得る。

第１のフリッカ補正部１３４によってフリッカ成分が補正された映像信号は、位相誤差検出部１３２および振幅誤差検出部１３３に供給される。

上記の波形近似フリッカ補正部１３によるフリッカ補正は、映像信号のレベルの変化に対して良好な追従性を有する。しかし、図３に示すように、フリッカが光源の特性や電源周波数の揺らぎによって多種多様な周期波形となるため、状況によっては補正残りが発生してしまう場合がある。

［基準画フリッカ補正部１４］
この実施形態で採用される基準画フリッカ補正は、レベル変化に弱いが補正精度が高いフリッカ補正方式である。基準画フリッカ補正は、フリッカ周期の整数倍に当たるフレーム数分の映像信号の積分値を加算平均したものを、フリッカの存在しない基準画として生成し、この基準画を用いてフリッカ補正を行う手法である。このような基準画フリッカ補正は、様々なものが既に知られているが、一例として次のようなものがある。

この基準画フリッカ補正部１４は、第２のメモリ１４１、平均枚数算出部１４２、基準画生成部１４３および第２のフリッカ補正部１４４を備える。

第２のメモリ１４１は、波形近似フリッカ補正部１３によりフリッカ補正されたフレーム毎の積分値を最新のものからｎフレーム分記憶する。ここで、ｎ＝F_NUMとする。

平均枚数算出部１４２は、基準画の生成に用いるフレーム数（F_NUM）を算出する。
F_NUMは下記式から求められる。
F_NUM＝LCM（電源周波数×2，フレームレート）／（電源周波数×2）・・・(1)
ここで、LCM(Element1, Element2)はElement1,2の最小公倍数を指す。例えば、電源周波数50Hzに対し、フレームレート240PとするとF_NUMは"12"となる。

基準画生成部１４３は、第２のメモリ１４１から連続するF_NUM個のフレームの積分値を現フレームに近い方から読み出し、これらの加算平均をとったものを基準画として生成したり、波形近似フリッカ補正部１３によりフリッカ補正された積分値をそのまま基準画として出力したりする。

基準画生成部１４３は、レベル変化検出部１５からのレベル変化点を通知する信号に基づいて次のように動作する。

すなわち、レベル変化点を通知する信号が与えられたとき、基準画生成部１４３は、波形近似フリッカ補正部１３によってフリッカ補正された積分値をそのまま基準画として出力する。

また、レベル変化点を通知する信号が与えられないとき、基準画生成部１４３は、第２のメモリ１４１からF_NUM個のフレームの積分値をＮフレームに近いものから読み出し、これらの加算平均をとることによって基準画を生成する。

通常２つのフリッカ補正回路を組み合わせる場合、それぞれ映像信号に対する補正回路を持ち、レベル変化検出部１５の結果によってセレクタする方式や、レベル変化検出部１５が出力するレベル変化度合いによってアルファブレンドすることが考えられる。しかし、本実施形態においてはレベル変化検出部１５の結果、レベル変化点を通知する信号が与えられた場合、前段の補正結果を後段の基準画とする余分な回路を持たない構成となっている。

また、レベル変化点を通知する信号が与えられないとき、F_NUM個のフレームの積分値が第２のメモリ１４１に保持されていない場合、基準画生成部１４３は、第２のメモリ１４１から経過時間分のフレーム数の積分値を読み出し、これらの加算平均をとった結果を基準画として出力する。

通常の基準画フリッカ補正でレベル変化後、F_NUM個のフレームがたまらないと適切な補正ができない。しかし本実施形態においては、前段にレベル変化に強いフリッカ補正を具備しているためF_NUMフレームが経過する前に補正を開始できる。

第２のフリッカ補正部１４４は、基準画生成部１４３にて生成された基準画と、現フレームの積分値から下記の式により補正値を生成する。
補正値＝積分値／基準画 ・・・(2)

第２のフリッカ補正部１４４は、この補正値をもとに、下記の式により映像信号に対してフリッカ補正を行う。
補正された映像信号＝映像信号×補正値 ・・・(3)

次に、レベル変化検出部１５について説明する。
レベル変化検出部１５は、波形近似フリッカ補正部１３にて補正されたＮフレームとＮ−１フレーム各々の積分値の差分などをもとに、例えば映像の大きな動き（変化）などに起因した大きなレベルの変化点（フレーム）を検出する。レベル変化検出部１５は、大きなレベルの変化点を検出すると、レベル変化点を通知する信号を基準画フリッカ補正部１４に通知し、大きなレベルの変化点を検出しないときは、レベル変化点を通知する信号を基準画フリッカ補正部１４に通知しないように構成されている。なお、本技術では、レベル変化点を検出する方法として、どのような手段を用いてもかまわない。

ところで、基準画フリッカ補正を単独に用いると、レベル変化があるときに適切にフリッカを補正できなくなる。すなわち、図４に示すように、レベル変化が発生したときのフレームの積分値を含むF_NUM個のフレームの積分値の加算平均により得られる基準画は、レベル変化が発生した時間に近い基準画ほど、レベル変化前後の積分値の差分の影響を受けたものとなるため、理想的な基準画から乖離したものとなる。

その対策として、レベル変化が発生したときに、フリッカ補正をＯＦＦにする方法が知られている。（特開２０００−３２４３６５号公報、請求項７）。しかし、この手法だとフリッカ補正に必要なF_NUM個のフレームの積分値がメモリに蓄積されるまで、フリッカ補正を待機しなければならない。

［全体の動作について］
次に、本実施形態のフリッカ補正装置１の全体的な動作を説明する。
図２は、その動作の手順を示すフローチャートである。

まず、画像積分部１１において、入力された映像信号について、フレーム単位の画素の輝度値などの値が積分される（ステップＳ１０１）。

積分された値は、第１のメモリ１２に保存される（ステップＳ１０２）。第１のメモリ１２には、入力された現フレーム（Ｎフレーム）に対して１フレーム前のフレーム（Ｎ−１フレーム）の積分値が保持される。

次に、第１のメモリ１２からＮ−１フレームの積分値が読み出され、波形近似フリッカ補正部１３に与えられるともに（ステップＳ１０３）、画像積分部１１からＮフレームの積分値が波形近似フリッカ補正部１３に与えられる（ステップＳ１０４）。

この後、波形近似フリッカ補正部１３の位相誤差検出部１３２にて、前述したフリッカ成分の位相の検出が行われる（ステップＳ１０５）。また、振幅誤差検出部１３３にて、前述したフリッカ成分の振幅の検出が行われる（ステップＳ１０６）。

次に、波形近似フリッカ補正部１３は、第１のフリッカ補正部１３４にて、位相誤差検出部１３２から与えられる位相誤差信号と、振幅誤差検出部１３３から与えられる振幅誤差信号をもとに、Ｎフレームのフリッカ補正に利用されるフリッカ補正データを算出する（ステップＳ１０７）。

第１のフリッカ補正部１３４は、Ｎフレームの映像信号及びフリッカ補正データから各画素の補正値を算出し、Ｎフレームの映像信号から各画素の補正値を減算してフリッカ成分を補正したＮフレームの積分値を得る（ステップＳ１０８）。

第１のフリッカ補正部１３４によってフリッカ成分が補正された積分値は、基準画フリッカ補正部１４の第２のメモリ１４１に保存される（ステップＳ１０９）。

続いて、波形近似フリッカ補正部１３より出力されたＮフレームの積分値と、第２のメモリ１４１に保存されたＮフレームの積分値がレベル変化検出部１５に与えられる（ステップＳ１１０、Ｓ１１１）。

レベル変化検出部１５は、Ｎ−１フレームとＮフレームの各々の積分値の差分などから、例えば映像の大きな動き（変化）などに起因した大きなレベルの変化点の有無を検出し、その結果を基準画フリッカ補正部１４の基準画生成部１４３に供給する（ステップＳ１１２）。

基準画フリッカ補正部１４の基準画生成部１４３は、このレベル変化検出部１５からのレベル変化点を通知する信号の有無に基づいて、基準画の生成に用いるフレーム数を、次のように動的に変更する。

基準画フリッカ補正部１４の基準画生成部１４３は、レベル変化点を通知する信号が与えられないときは（ステップＳ１１３のＮ）、第２のメモリ１４１からF_NUM個のフレームの積分値をＮフレームに近い方から読み出し、これらの加算平均をとることによって基準画を生成する（ステップＳ１１４のＹ、１１５、Ｓ１１８）。また、この際、F_NUMフレーム分の積分値が第２のメモリ１４１に保持されていない場合もある（ステップＳ１１４のＮ）。この場合、基準画フリッカ補正部１４の基準画生成部１４３は、第２のメモリ１４１から経過時間分のフレーム数の積分値を読み出し、これらの加算平均をとった結果を基準画として出力する（ステップＳ１１６、Ｓ１１８）。

レベル変化点を通知する信号が与えられたときは（ステップＳ１１３のＹ）、基準画フリッカ補正部１４の基準画生成部１４３は、波形近似フリッカ補正部１３によりフリッカ補正された積分値をそのまま基準画として出力する（ステップＳ１１７、Ｓ１１８）。

以上のようにして基準画フリッカ補正部１４の基準画生成部１４３は、すべてのフレーム時刻に対して基準画を得る。

このようにして得られた基準画は第２のフリッカ補正部１４４に与えられる。第２のフリッカ補正部１４４は、この基準画と、Ｎフレームの積分値から式(2)により補正値を生成し（ステップＳ１１９）、この補正値をもとに、式(3)により映像信号に対してフリッカ補正を行う（ステップＳ１２０）。

以上のように、本実施形態のフリッカ補正装置１では、波形近似フリッカ補正部１３によりフレーム単位の積分値に対するフリッカの一次補正がされた結果が基準画フリッカ補正部１４に入力され、この基準画フリッカ補正部１４にて、このフリッカの一次補正がされた積分値に対して基準画を用いた二次補正が行われる。このため、基準画フリッカ補正に不向きなレベル変化時の補正は、波形近似フリッカ補正部１３により一次補正がされた積分値を基準画として用いて補正を行うことによって、基準画フリッカ補正により単独で補正を行う場合に比べ良好にフリッカ補正をすることができる。

また、レベル変化が発生してからF_NUMフレームが経過していない期間は、経過時間分のフレーム数の積分値を加算平均したものを基準画として用いて補正を行うことによって、その期間においても良好にフリッカ補正をすることができる。

＜第２の実施形態＞
本技術は、上記のグローバルシャッタ方式において発生する面フリッカに対するフリッカ補正装置のみならず、ローリングシャッタ方式において発生し得るラインフリッカに対するフリッカ補正装置にも適用することができる。

図５は、このラインフリッカに対するフリッカ補正装置１Ａの構成を示すブロック図である。

この実施形態のフリッカ補正装置１Ａの第１の実施形態のフリッカ補正装置１との主な相違点は次の点にある。第１の実施形態のフリッカ補正装置１ではフレーム単位で画素値の積分、波形近似フリッカ補正、基準画フリッカ補正が行われていたのに対し、第２の実施形態のフリッカ補正装置１Ａでは、ラインの単位で、画素値の積分、波形近似フリッカ補正、基準画フリッカ補正が行われる点にある。

実施形態のフリッカ補正装置１Ａの構成において、画像積分部１１Ａは、入力された映像信号のフレームにおけるライン単位の画素の輝度値などの値を積分する。

第１のメモリ１２Ａは、画像積分部１１Ａによって得られた、現フレーム（Ｎフレーム）に対して１フレーム前のフレーム（Ｎ−１フレーム）のライン毎の積分値を保持する。

波形近似フリッカ補正部１３Ａは、フリッカの位相および振幅を近似する正弦波などの波形を生成し、この波形を用いて画像積分部１１Ａの出力であるライン毎の積分値を補正することによって一次のフリッカ補正を行う。

基準画フリッカ補正部１４Ａは、フリッカの周期の整数倍のフレームについて、波形近似フリッカ補正部１３Ａにて補正されたライン単位の積分値、あるいは複数のフレーム分の同一のライン毎の積分値の加算平均を、フリッカ成分のさらに取り除かれたライン毎の基準画として生成する。

レベル変化検出部１５Ａは、波形近似フリッカ補正部１３Ａにて補正された、ＮフレームおよびＮ−１フレーム各々の同一ラインの積分値の差分などをもとに、例えば映像の大きな動き（変化）などに起因した大きなレベルの変化点（フレーム）を検出する。レベル変化検出部１５Ａは、検出されたレベルの変化点を基準画フリッカ補正部１４Ａに通知する。

次に、本実施形態のラインフリッカに対するフリッカ補正装置１Ａの動作を説明する。
図６は、その動作手順を示すフローチャートである。

まず、画像積分部１１Ａにおいて、入力された映像信号について、ライン単位の画素の輝度値などの値が積分される（ステップＳ２０１）。

積分された値は、第１のメモリ１２Ａに保存される（ステップＳ２０２）。第１のメモリ１２Ａには、入力された現フレーム（Ｎフレーム）の１フレーム前のフレーム（Ｎ−１フレーム）の各ラインの積分値が保持される。

次に、第１のメモリ１２ＡからＮ−１フレームのライン単位の積分値が読み出され、波形近似フリッカ補正部１３Ａに与えられるともに（ステップＳ２０３）、画像積分部１１ＡからＮフレームの同じラインの積分値が波形近似フリッカ補正部１３Ａに与えられる（ステップＳ２０４）。

この後、波形近似フリッカ補正部１３Ａの位相誤差検出部１３２にて、フリッカ成分の位相の検出が行われる（ステップＳ２０５）。また、振幅誤差検出部１３３にて、フリッカ成分の振幅の検出が行われる（ステップＳ２０６）。

次に、波形近似フリッカ補正部１３Ａは、第１のフリッカ補正部１３４にて、位相誤差検出部１３２から与えられる位相誤差信号と、振幅誤差検出部１３３から与えられる振幅誤差信号をもとに、Ｎフレームにおける各ラインのフリッカ補正に利用されるフリッカ補正データを算出する（ステップＳ２０７）。

第１のフリッカ補正部１３４は、Ｎフレームにおける各ラインの映像信号及び各ラインのフリッカ補正データから各画素の補正値を算出し、Ｎフレームの映像信号から各画素の補正値を減算してフリッカ成分を補正したＮフレームにおけるライン毎の積分値を得る（ステップＳ２０８）。

第１のフリッカ補正部１３４によってフリッカ成分が補正されたＮフレームの各ラインの積分値は、基準画フリッカ補正部１４Ａの第２のメモリ１４１に保存される（ステップＳ）。

第１のフリッカ補正部１３４によってフリッカ成分が補正されたライン毎の積分値は、基準画フリッカ補正部１４Ａの第２のメモリ１４１に保存される（ステップＳ２０９）。

続いて、波形近似フリッカ補正部１３Ａより出力されたＮ−１フレームとＮフレームの同一ラインの各々の積分値がレベル変化検出部１５Ａに与えられる（ステップＳ２１０、Ｓ２１１）。

レベル変化検出部１５Ａは、Ｎ−１フレームとＮフレームの各々の積分値の差分などから、例えば映像の大きな動き（変化）などに起因した大きなレベルの変化点の有無を検出し、その結果を基準画フリッカ補正部１４Ａの基準画生成部１４３に供給する（ステップＳ２１２）。

基準画フリッカ補正部１４Ａの基準画生成部１４３は、このレベル変化検出部１５Ａからのレベル変化点を通知する信号の有無に基づいて、基準画の生成に用いるフレーム数を次のように動的に変更する。

基準画フリッカ補正部１４の基準画生成部１４３は、レベル変化点を通知する信号が与えられないときは（ステップＳ２１３のＮ）、第２のメモリ１４１からF_NUM個のフレームの同一ラインの積分値をＮフレームに近い方から読み出し、これらの加算平均をとることによって基準画を生成する（ステップＳ２１４のＹ、２１５、Ｓ２１８）。また、この際、F_NUMフレーム分の各ラインの積分値が第２のメモリ１４１に保持されていない場合もある（ステップＳ２１４のＮ）。この場合、基準画フリッカ補正部１４Ａの基準画生成部１４３は、第２のメモリ１４１から経過時間分のフレーム数の同一ラインの積分値を読み出し、これらの加算平均をとった結果を基準画として出力する（ステップＳ２１６、Ｓ２１８）。

レベル変化点を通知する信号が与えられたときは、基準画フリッカ補正部１４Ａの基準画生成部１４３は、波形近似フリッカ補正部１３によりフリッカ補正された積分値をそのまま基準画として出力する（ステップＳ２１７、Ｓ２１８）。

以上のようにして基準画フリッカ補正部１４Ａの基準画生成部１４３は、すべてのフレーム時刻に対してライン毎の基準画を得る。

このようにして得られた各ラインの基準画は第２のフリッカ補正部１４４に与えられる。第２のフリッカ補正部１４４は、この基準画と、Ｎフレームにおけるライン毎の積分値から式(2)により補正値を生成し、この補正値をもとに、式(3)により映像信号に対してフリッカ補正を行う（ステップＳ２２０）。

以上のように、本技術は、ローリングシャッタ方式において発生し得るラインフリッカに対するフリッカ補正装置にも適用することができる。

なお、以上挙げた波形近似フリッカ補正方式および基準画フリッカ補正方式はそれぞれ例であり、本技術は、その他様々な波形近似フリッカ補正方式および基準画フリッカ補方方式に置き換えることが可能である。

なお、本技術は以下のような構成もとることができる。
（１）映像信号をフレームの単位で積分する積分部と、
前記積分部により得た前記積分値に含まれる、光源の周波数に応じたフリッカ成分を抽出し、追従しながら前記積分値に含まれるフリッカ成分を低減する第１のフリッカ補正部と、
前記第１のフリッカ補正部による前記積分値の補正結果を用いて、フリッカ成分のない基準画を生成し、この基準画をもとに前記映像信号のフリッカ補正を行う第２のフリッカ補正部と
を具備する映像信号処理装置。

（２）前記（１）に記載の映像信号処理装置であって、
連続するフレーム間での有意なレベル変化を検出するレベル変化検出部をさらに具備し、
前記第２のフリッカ補正部は、
前記光源の電源周波数およびフレームレートに依存して決められる所定のフレーム数分保持可能な記憶部をさらに具備し、
前記レベル変化が検出されないとき、前記記憶部に保持された最新の所定のフレーム数分の積分値の平均を算出することによって前記基準画を生成する
映像信号処理装置。

（３）前記（２）に記載の映像信号処理装置であって、
前記第２のフリッカ補正部は、
前記レベル変化が検出されたとき、前記第１のフリッカ補正部より出力された積分値を前記基準画として用いて前記映像信号のフリッカ補正を行う
映像信号処理装置。

（４）前記（２）または（３）に記載の映像信号処理装置であって、
前記レベル変化検出部は、前記第１のフリッカ補正部により補正された前記積分値をもとに前記レベル変化を検出する
映像信号処理装置。

１…フリッカ補正装置
１１…画像積分部
１２…第１のメモリ
１３…波形近似フリッカ補正部
１４…基準画フリッカ補正部
１５…レベル変化検出部
１３１…補正波アドレス算出部
１３２…位相誤差検出部
１３３…振幅誤差検出部
１３４…第１のフリッカ補正部
１４１…第２のメモリ
１４２…平均枚数算出部
１４３…基準画生成部
１４４…第２のフリッカ補正部

Claims (9)

1. 映像信号をフレームの単位で積分する積分部と、
   前記積分部により得た前記積分値に含まれる、光源の周波数に応じたフリッカ成分を抽出し、追従しながら前記積分値に含まれるフリッカ成分を低減する第１のフリッカ補正部と、
   前記第１のフリッカ補正部による前記積分値の補正結果を用いて、フリッカ成分のない基準画を生成し、この基準画をもとに前記映像信号のフリッカ補正を行う第２のフリッカ補正部と
   を具備する映像信号処理装置。
2. 請求項１に記載の映像信号処理装置であって、
   連続するフレーム間での有意なレベル変化を検出するレベル変化検出部をさらに具備し、
   前記第２のフリッカ補正部は、
   前記光源の電源周波数およびフレームレートに依存して決められる所定のフレーム数分保持可能な記憶部をさらに具備し、
   前記レベル変化が検出されないとき、前記記憶部に保持された最新の所定のフレーム数分の積分値の平均を算出することによって前記基準画を生成する
   映像信号処理装置。
3. 請求項２に記載の映像信号処理装置であって、
   前記第２のフリッカ補正部は、
   前記レベル変化が検出されたとき、前記第１のフリッカ補正部より出力された積分値を前記基準画として用いて前記映像信号のフリッカ補正を行う
   映像信号処理装置。
4. 請求項３に記載の映像信号処理装置であって、
   前記レベル変化検出部は、前記第１のフリッカ補正部により補正された前記積分値をもとに前記レベル変化を検出する
   映像信号処理装置。
5. 映像信号をラインの単位で積分する積分部と、
   前記積分部により得た前記ライン毎の積分値に含まれる、光源の周波数に応じたフリッカ成分を抽出し、追従しながら前記ライン毎の積分値に含まれるフリッカ成分を低減する第１のフリッカ補正部と、
   前記第１のフリッカ補正部による前記ライン毎の積分値の補正結果を用いて、フリッカ成分のない基準画を生成し、この基準画をもとに前記映像信号のフリッカ補正を行う第２のフリッカ補正部と
   を具備する映像信号処理装置。
6. 積分部が、映像信号をフレームの単位で積分し、
   第１のフリッカ補正部が、前記積分部により得た前記積分値に含まれる、光源の周波数に応じたフリッカ成分を抽出し、追従しながら前記積分値に含まれるフリッカ成分を低減し、
   第２のフリッカ補正部が、前記第１のフリッカ補正部による前記積分値の補正結果を用いて、フリッカ成分のない基準画を生成し、この基準画をもとに前記映像信号のフリッカ補正を行う
   映像信号処理方法。
7. 積分部が、映像信号をラインの単位で積分し、
   第１のフリッカ補正部が、前記積分部により得た前記ライン毎の積分値に含まれる、光源の周波数に応じたフリッカ成分を抽出し、追従しながら前記ライン毎の積分値に含まれるフリッカ成分を低減し、
   第２のフリッカ補正部が、前記第１のフリッカ補正部による前記ライン毎の積分値の補正結果を用いて、フリッカ成分のない基準画を生成し、この基準画をもとに前記映像信号のフリッカ補正を行う
   映像信号処理方法。
8. 映像信号をフレームの単位で積分する積分部と、
   前記積分部により得た前記積分値に含まれる、光源の周波数に応じたフリッカ成分を抽出し、追従しながら前記積分値に含まれるフリッカ成分を低減する第１のフリッカ補正部と、
   前記第１のフリッカ補正部による前記積分値の補正結果を用いて、フリッカ成分のない基準画を生成し、この基準画をもとに前記映像信号のフリッカ補正を行う第２のフリッカ補正部として
   コンピュータを機能させるプログラム。
9. 映像信号をラインの単位で積分する積分部と、
   前記積分部により得た前記ライン毎の積分値に含まれる、光源の周波数に応じたフリッカ成分を抽出し、追従しながら前記ライン毎の積分値に含まれるフリッカ成分を低減する第１のフリッカ補正部と、
   前記第１のフリッカ補正部による前記ライン毎の積分値の補正結果を用いて、フリッカ成分のない基準画を生成し、この基準画をもとに前記映像信号のフリッカ補正を行う第２のフリッカ補正部として
   コンピュータを機能させるプログラム。

Images