JP4356604B2 - 映像信号処理装置、映像信号の処理方法、映像信号の処理プログラム及び映像信号の処理プログラムを記録した記録媒体 - Google Patents

Description

本発明は、映像信号処理装置、映像信号の処理方法、映像信号の処理プログラム及び映像信号の処理プログラムを記録した記録媒体に関し、例えばＸＹアドレス走査型の撮像素子を用いたビデオカメラに適用することができる。本発明は、信号レベルの変化を周波数解析してフリッカ周波数のスペクトルを検出し、連続するフィールド又はフレームにおけるこのスペクトルの初期位相の変化を判定して映像信号のフリッカ成分を抑圧することにより、従来に比して一段と簡易な処理により確実にフリッカを低減することができるようにする。

従来、ＣＭＯＳ撮像素子等のＸＹアドレス走査型の撮像素子を用いた映像信号処理装置に関して、フリッカを低減する方法が種々に提案されている。

ここでフリッカは、蛍光灯等の点滅する光源の照明により撮影した場合に発生し、ＸＹアドレス走査型の撮像素子を用いた映像信号処理装置では、図６に示すように、垂直方向の周期的な輝度レベル、色相の変動として観察される。ここで周波数５０〔Ｈｚ〕の商用電源による蛍光灯では、点滅周波数が１００〔Ｈｚ〕であることから、フィールド周波数６０〔Ｈｚ〕によるＮＴＳＣ方式のビデオ信号では、１フィールド当たりのライン数をＭとおいて、このような変動の１周期Ｌは、Ｌ＝Ｍ×６０／１００ラインとなる。また１フィールドで、このような周期的な変動は、１００／６０＝１．６６周期発生する。

このため特開２００４−２２２２２８号公報には、映像信号の信号レベルの変化を周波数解析してフリッカ周波数のスペクトルを検出し、このスペクトルの振幅値に基づいて映像信号の信号レベルを補正することにより、フリッカを低減する方法が提案されている。この方法によれば、別途、フリッカ検出用の光学系等を設けなくても、ＸＹアドレス走査型の撮像素子に固有の、フリッカによる垂直方向の周期的な輝度レベル、色相の変動を確実に防止することができる。なおここでフリッカ周波数は、光源の点滅周波数を意味する。

しかしてこの方法の場合、フリッカ周波数によるスペクトルの振幅値が所定のしきい値以下の場合には、屋外等で自然光の照明により撮影する場合であると判定し、撮像結果を何ら補正することなく出力している。

しかしながら実際上、屋外の撮影においては、移動する物体を撮影する場合もあり、この移動する物体によりフリッカ周波数によるスペクトルが検出される場合がある。またこのようにして検出されるフリッカ周波数によるスペクトルは、露光時間、電子シャッターの速度等によって振幅値が変化する。

これらにより特開２００４−２２２２２８号公報に開示の手法では、撮影の条件によってフリッカ周波数のスペクトルを判定するしきい値を種々に変更する必要があり、その分、処理が煩雑になる問題があった。なおこのしきい値の設定が不適切な場合、誤って撮像結果を補正することになり、却って画質が劣化することになる。
特開２００４−２２２２２８号公報

本発明は以上の点を考慮してなされたもので、従来に比して一段と簡易な処理により確実にフリッカを低減することができる映像信号処理装置、映像信号の処理方法、映像信号の処理プログラム及び映像信号の処理プログラムを記録した記録媒体を提案しようとするものである。

かかる課題を解決するため請求項１の発明においては、映像信号処理装置に適用して、映像信号を取得する映像信号取得手段と、前記映像信号の１ライン以上の積分期間を単位にして、前記映像信号を積分して積分結果を出力する積分手段と、隣接するフィールド又はフレームにおける対応する前記積分期間との前記積分結果の差分値、又は前記積分結果を正規化する正規化手段と、前記正規化手段の処理結果を周波数解析し、前記積分期間毎に、フリッカ周波数におけるスペクトルの振幅値及び初期位相を検出する周波数解析手段と、前記隣接するフィールド又はフレームの対応する前記積分期間との間で、前記初期位相の変化を検出する位相変化検出手段と、前記位相変化検出手段による検出結果と、前記フリッカによる前記初期位相の変化の論理値との差分値に基づいて、前記検出結果が前記論理値から遠ざかるに従って値の減少する補正係数を生成する補正係数計算手段と、前記補正係数に基づいて映像信号の信号レベルを補正する映像信号補正手段とを備えるようにする。

また請求項６の発明においては、映像信号の処理方法に適用して、映像信号を取得する映像信号取得のステップと、前記映像信号の１ライン以上の積分期間を単位にして、前記映像信号を積分して積分結果を出力する積分のステップと、隣接するフィールド又はフレームにおける対応する前記積分期間との前記積分結果の差分値、又は前記積分結果を正規化する正規化のステップと、前記正規化のステップの処理結果を周波数解析し、前記積分期間毎に、フリッカ周波数におけるスペクトルの振幅値及び初期位相を検出する周波数解析のステップと、前記隣接するフィールド又はフレームの対応する前記積分期間との間で、前記初期位相の変化を検出する位相変化検出のステップと、前記位相変化検出のステップによる検出結果と、フリッカによる前記初期位相の変化の論理値との差分値に基づいて、前記検出結果が前記論理値から遠ざかるに従って値の減少する補正係数を生成する補正係数計算のステップと、前記補正係数に基づいて映像信号の信号レベルを補正する映像信号補正のステップとを備えるようにする。

また請求項７の発明においては、演算処理手段に所定の処理手順を実行させることにより映像信号のフリッカを低減する映像信号の処理プログラムに適用して、前記処理手順は、映像信号を取得する映像信号取得のステップと、前記映像信号の１ライン以上の積分期間を単位にして、前記映像信号を積分して積分結果を出力する積分のステップと、隣接するフィールド又はフレームにおける対応する前記積分期間との前記積分結果の差分値、又は前記積分結果を正規化する正規化のステップと、前記正規化のステップの処理結果を周波数解析し、前記積分期間毎に、フリッカ周波数におけるスペクトルの振幅値及び初期位相を検出する周波数解析のステップと、前記隣接するフィールド又はフレームの対応する前記積分期間との間で、前記初期位相の変化を検出する位相変化検出のステップと、前記位相変化検出のステップによる検出結果と、フリッカによる前記初期位相の変化の論理値との差分値に基づいて、前記検出結果が前記論理値から遠ざかるに従って値の減少する補正係数を生成する補正係数計算のステップと、前記補正係数に基づいて映像信号の信号レベルを補正する映像信号補正のステップとを有するようにする。

また請求項８の発明においては、演算処理手段に所定の処理手順を実行させることにより映像信号のフリッカを低減する映像信号の処理プログラムを記録した記録媒体に適用して、前記処理手順は、映像信号を取得する映像信号取得のステップと、前記映像信号の１ライン以上の積分期間を単位にして、前記映像信号を積分して積分結果を出力する積分のステップと、隣接するフィールド又はフレームにおける対応する前記積分期間との前記積分結果の差分値、又は前記積分結果を正規化する正規化のステップと、前記正規化のステップの処理結果を周波数解析し、前記積分期間毎に、フリッカ周波数におけるスペクトルの振幅値及び初期位相を検出する周波数解析のステップと、前記隣接するフィールド又はフレームの対応する前記積分期間との間で、前記初期位相の変化を検出する位相変化検出のステップと、前記位相変化検出のステップによる検出結果と、フリッカによる前記初期位相の変化の論理値との差分値に基づいて、前記検出結果が前記論理値から遠ざかるに従って値の減少する補正係数を生成する補正係数計算のステップと、前記補正係数に基づいて映像信号の信号レベルを補正する映像信号補正のステップとを有するようにする。

請求項１の構成により、映像信号処理装置に適用して、映像信号を取得する映像信号取得手段と、前記映像信号の１ライン以上の積分期間を単位にして、前記映像信号を積分して積分結果を出力する積分手段と、隣接するフィールド又はフレームにおける対応する前記積分期間との前記積分結果の差分値、又は前記積分結果を正規化する正規化手段と、前記正規化手段の処理結果を周波数解析し、前記積分期間毎に、フリッカ周波数におけるスペクトルの振幅値及び初期位相を検出する周波数解析手段と、前記隣接するフィールド又はフレームの対応する前記積分期間との間で、前記初期位相の変化を検出する位相変化検出手段とを備えるようにすれば、この位相変化検出手段で検出される初期位相の変化にあっては、映像信号における輝度レベル等の変化がフリッカによるものの場合、光源の点滅周波数で決まる論理値による値となるのに対し、被写体の動き等による場合には、その程度により論理値より相違する値となる。これにより前記位相変化検出手段による検出結果と、前記フリッカによる前記初期位相の変化の論理値との差分値に基づいて、前記検出結果が前記論理値から遠ざかるに従って値の減少する補正係数を生成する補正係数計算手段と、前記補正係数に基づいて映像信号の信号レベルを補正する映像信号補正手段とを備えるようにすれば、いちいち露光時間、電子シャッターの速度等により判定基準を変更しなくても、また移動する物体を撮影した場合でも、確実にフリッカ成分を抑圧することができ、これにより従来に比して一段と簡易な処理により確実にフリッカを低減することができる。

これにより請求項６、請求項７、請求項８の構成によれば、従来に比して一段と簡易な処理により確実にフリッカを低減することができる映像信号の処理方法、映像信号の処理プログラム及び映像信号の処理プログラムを記録した記録媒体を提供することができる。

本発明によれば、従来に比して一段と簡易な処理により確実にフリッカを低減することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例の構成
図２は、本発明の実施例１に係る撮像装置を示すブロック図である。この撮像装置１において、レンズ２は、レンズドライバ３の駆動による絞り、倍率により入射光を集光し、続く撮像素子４の撮像面に光学像を形成する。ここでレンズドライバ３は、システムコントローラ５の制御によりレンズ２を駆動し、これによりレンズ２の倍率、絞りを可変する。

撮像素子４は、ＸＹアドレス走査型の撮像素子であるＣＭＯＳ固体撮像素子であり、タイミングジェネレータ（ＴＧ）６から出力されるタイミング信号により動作して、撮像面に形成された光学像の撮像結果を撮像信号Ｓ１により出力する。すなわち撮像素子４は、半導体基板上に、フォトダイオード（フォトゲート）、転送ゲート（シャッタートランジスタ）、スイッチングトランジスタ（アドレストランジスタ）、増幅トランジスタ、リセットトランジスタ（リセットゲート）などを有する画素がマトリックス状に配列されると共に、これら画素を駆動する垂直走査回路、水平走査回路、映像信号出力回路が形成され、各画素により光電気変換結果をラスタ走査の順序により順次出力する。撮像素子４は、各画素に補色系又は原色系のカラーフィルタが設けられ、これにより補色又は原色による色信号により撮像信号を出力する。なおタイミングジェネレータ６は、システムコントローラ５の制御により撮像素子４に各種のタイミング信号を出力し、これによりこの撮像素子１では、システムコントローラ５の制御により電子シャッター速度を設定する。

アナログ信号処理回路７は、撮像素子４から出力される撮像信号Ｓ１を相関二重サンプリングした後、自動利得制御により信号レベルを補正して出力する。続くアナログディジタル変換回路（Ａ／Ｄ）は、このアナログディジタル信号処理回路７の出力信号をアナログディジタル変換処理し、これにより画像データＤ１を出力する。

ディジタル信号処理回路９は、例えばディジタルシグナルプロセッサにより形成され、アナログディジタル変換回路８から出力される画像データＤ１をホワイトバランス調整、ガンマ調整等した後、フィールド周波数６０〔Ｈｚ〕のＮＴＳＣ方式のビデオ信号ＳＶにより出力する。この一連の処理において、ディジタル信号処理回路９は、機能ブロックの１つであるフリッカ低減回路１０により、フリッカを低減する。しかしてこの撮像装置１では、このディジタル信号処理回路９から出力されるビデオ信号ＳＶが、光ディスク、磁気ディスク、メモリカード等の記録媒体に記録される。

これらによりこの実施例において、撮像素子４、アナログ信号処理回路７、アナログディジタル変換回路８、ディジタル信号処理回路９は、所望の被写体を撮像して撮像結果による映像信号ＳＶを出力する、ＸＹアドレス走査型の撮像素子を用いた撮像手段を構成するようになされている。

システムコントローラ５は、この撮像装置１の動作を制御する制御手段であり、ユーザーによる操作子の操作に応動して所定の処理プログラムを実行することにより、全体の動作を制御する。具体的に、システムコントローラ５は、ユーザーによる操作子の操作に応動して、また撮像結果の輝度レベルに応じて、レンズドライバ３、タイミングジェネレータ６の動作を制御し、これによりレンズ２の倍率を可変し、さらには絞り制御の処理を実行する。また各色信号の信号レベルに応じてディジタル信号処理回路９におけるホワイトバランス調整を制御し、これによりオートホワイトバランス調整の処理を実行する。

この処理プログラムを実行する際に、システムコントローラ５は、ユーザーによる指示により、この処理プログラムに設けられたフリッカ低減プログラムを実行してフリッカ低減回路１０の動作を制御し、これによりフリッカ低減回路１０によりフリッカを低減する。なおこのフリッカ低減処理に係るシステムコントローラ５の一連のプログラム、ディジタル信号処理回路９における処理プログラムは、この撮像装置１に事前にインストールされて提供されるものの、これに代えてインターネット等のネットワークを介したインストールによりこれらのプログラムを提供するようにしてもよく、また各種の記録媒体により提供するようにしてもよい。なおこのような記録媒体としては、光ディスク、磁気ディスク、メモリカード等、種々の記録媒体を広く適用することができる。

図３は、フリッカ低減回路１０を関連する構成と共に示す機能ブロック図である。この実施例に係る撮像装置１では、映像信号ＳＶを構成する輝度信号、色差信号毎に、この図３に示す構成による処理が実行される。なおこのフリッカ低減回路１０に係る処理においては、少なくとも輝度信号について実行し、必要に応じて色差信号、各色信号について実行するようにしてもよい。また輝度信号については、輝度信号に合成する前の色信号の段階で実行してもよく、またこの色信号の段階における処理においては、原色による色信号、補色による色信号の何れの段階で実行してもよい。因みにこれら色信号について実行する場合には、各色信号毎に、この図３に示す構成による処理が実行される。なお以下において、周波数５０〔Ｈｚ〕の商用電源による蛍光灯のフリッカについて説明する。

フリッカ低減回路１０は、順次入力される画像データＤ１を積分回路２１に入力し、ここで積分期間を１水平走査期間に設定してライン単位で積分処理することにより、絵柄の影響を低減する。

すなわちフリッカによる撮像結果においては、絵柄による画素値にフリッカによる画素値が重畳されて各画素値が得られ、これにより任意の画素（ｘ，ｙ）における画素値Ｉｎ' （ｘ，ｙ）は、次式により表される。なおここでＩｎ（ｘ，ｙ）は、絵柄による画素値である信号成分であり、Γｎ（ｙ）×Ｉｎ（ｘ，ｙ）は、フリッカ成分であり、Γｎ（ｙ）は、映像信号の信号成分に対するフリッカ成分の割合を示すフリッカ係数である。

ここで光源の点滅周波数は、水平走査周波数に比して十分に長いことにより、同一フィールドの同一ラインではフリッカ係数は一定と見なすことができ、これにより以下において、フリッカ係数は、Γｎ（ｙ）で表す。またフリッカ係数Γｎ（ｙ）は、次式により示すように、以下において、適宜、フーリエ級数に展開した形式で記述し、これにより蛍光灯の種類によって異なる発光特性、残光特性を網羅し、一般化した形式で記述する。

なおλｏは、図６について上述した表示画面上におけるフリッカの波長であり、ωｏは、波長λｏで正規化された規格化角周波数である。γｍは、フリッカ成分の各次（ｍ＝１，２，３‥）の振幅値である。Φｍ，ｎは、フリッカ成分における各次の初期位相を示し、光源の点滅周期と各画素の露光タイミングによって決まる。なお周波数５０〔Ｈｚ〕の商用電源による蛍光灯の場合、初期位相Φｍ，ｎは３フィールドごとに同じ値になり、これにより直前のフィールドとの間のΦｍ，ｎの差は、次式により表される。

これらにより積分回路２１は、次式の演算処理を実行し、積分値Ｆｎ（ｙ）を計算する。

なおここでαｎ（ｙ）は、次式に示すように、信号成分Ｉｎ（ｘ，ｙ）の１ライン分の積分値である。

メモリ２２は、積分回路２１による積分値Ｆｎ（ｙ）を記録して保持する。またメモリ２２は、積分回路２１による積分値Ｆｎ（ｙ）の出力に対応して、前フィールド、前々フィールドの対応するラインによる積分値Ｆｎ＿１（ｙ）、Ｆｎ＿２（ｙ）を出力する。

しかして被写体に動きが無い場合、これら連続するフィールドの対応するラインに係る積分値Ｆｎ（ｙ）、Ｆｎ＿１（ｙ）、Ｆｎ＿２（ｙ）は、フリッカ成分αｎ（ｙ）×Γｎ（ｙ）だけが変化していることになり、これによりこれら積分値Ｆｎ（ｙ）、Ｆｎ＿１（ｙ）、Ｆｎ＿２（ｙ）の差分値を計算することにより、簡易に、フリッカ成分αｎ（ｙ）×Γｎ（ｙ）だけを検出することができる。しかしながら一般的な被写体では、各フィールドで信号成分αｎ（ｙ）が変化し、これにより単なる差分値の計算では、フリッカ成分だけを抽出することが困難になる。またフリッカ成分は、信号成分に比して信号レベルが小さいことによっても、単なる差分値の計算では、フリッカ成分だけを抽出することが困難になる。

このためフリッカ低減回路１０において、平均値計算回路２３は、積分回路２１から出力される積分値Ｆｎ（ｙ）、メモリ２２から出力される前フィールド、前々フィールドの対応するラインによる積分値Ｆｎ＿１（ｙ）、Ｆｎ＿２（ｙ）を入力し、次式の演算処理により、これら連続する３フィールドの対応するラインに係る積分値Ｆｎ（ｙ）、Ｆｎ＿１（ｙ）、Ｆｎ＿２（ｙ）の平均値ＡＶＥ［Ｆｎ（ｙ）］を算出する。

ここで周波数５０〔Ｈｚ〕の商用電源による蛍光灯の場合、初期位相Φｍ，ｎは３フィールドごとに同じ値になることにより、このように連続する３フィールドで平均値を計算すれば、フリッカ成分については、打ち消し合うようにすることができ、これにより単に信号成分のみの平均値を計算することができる。これにより連続する３フィールドで被写体に動きが無い場合、すなわち次式の関係式が成立する場合、（６）式により表されるように、信号成分αｎ（ｙ）のみを検出することができる。

なお被写体の動きが大きい場合には、（７）式の関係式が成立しなくなり、これにより（６）式の演算処理によっては、信号成分αｎ（ｙ）のみを検出することが困難になる。しかしながらこのような場合には、平均値化の処理に係る連続するフィールドを３フィールドの倍数に設定することにより、時間軸方向のローパスフィルタ作用により、動きの影響を低減して近似的に信号成分αｎ（ｙ）のみを検出することができる。

差分計算回路２４は、積分回路２１から出力される積分値Ｆｎ（ｙ）から、メモリ２２より出力される前フィールドの対応するラインによる積分値Ｆｎ＿１（ｙ）を減算し、次式により表される減算結果Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）を出力する。

正規化回路２５は、次式により示すように、差分計算回路２４で計算された減算結果Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）を、平均値計算回路２３で計算された平均値ＡＶＥ［Ｆｎ（ｙ）］により割り算し、これにより減算結果Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）を平均値ＡＶＥ［Ｆｎ（ｙ）］により正規化する。これにより正規化回路２５は、減算結果Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）から信号成分による影響を除去し、フリッカ係数Γｎ（ｙ）−Γｎ（ｙ）の差分値ｇｎ（ｙ）を計算する。

ＤＦＴ回路２６は、この正規化回路２５で計算される差分値ｇｎ（ｙ）を離散フーリエ変換により周波数解析する。ここで（９）式の関係式に（３）式の関係式を適用すると、次式の関係式を得ることができる。

但し、｜Ａｍ｜及びθｍは、正規化した差分値ｇｎ（ｙ）において、フリッカ周波数に係る各次のスペクトルの振幅値及び初期位相であり、それぞれ次式により表される。

またこれら（１１）式及び（１２）式により表される振幅値｜Ａｍ｜及び初期位相θｍを用いて、それぞれ次式により（２）式で用いたフリッカ周波数における各次の振幅値γｍ及び初期位相Φｍ，ｎを表すことができる。

ここで次数ｍの離散フーリエ変換結果をＧｎ（ｍ）とおいて、離散フーリエ変換［ｇｎ（ｙ）］を次式により表す。但し、Ｗは、（１６）式により表され、Ｌは、ＤＦＴ演算のデータ長であり、この実施例ではフリッカの１波長のライン数に相当するデータ長である。このようにＤＦＴ演算のデータ長を、フリッカの１波長分（Ｌライン分）に設定すれば、規格化角周波数ωｏの整数倍の離散スペクトル群を直接求めることができ、その分、演算処理を簡略化することができる。

この（１５）式の関係式を用いて、（１１）式及び（１２）式により表される、正規化した差分値ｇｎ（ｙ）におけるフリッカ周波数の各次の振幅値γｍ及び初期位相θｍ，ｎは、それぞれ次式により表すことができる。

これによりこの（１７）式及び（１８）式と（１３）式及び（１４）式より、それぞれ次式により、フリッカ周波数における各次の振幅値γｍ及び初期位相Φｍ，ｎを求めることができる。

これらによりＤＦＴ回路２６は、連続するＬラインによる正規化回路２５の出力値により（１５）式により示す離散フーリエ変換処理を各ライン毎に実行し、これによりフリッカ周波数の各次におけるスペクトルを抽出する。またこの処理結果を用いて（１９）式及び（２０）式の演算処理を実行することにより、フリッカ周波数における各次の振幅値γｍ及び初期位相Φｍ，ｎをライン毎に計算する。

なおディジタル信号処理における周波数解析においては、一般に、高速フーリエ変換（ＦＦＴ）が用いられる。しかしながら高速フーリエ変換では、データ長が２のべき乗であることが必要なことにより、この実施例では離散フーリエ変換処理により周波数解析し、その分、データ処理を簡略化する。なおこの場合、処理対象のデータ、処理結果のデータを加工するようにして、高速フーリエ変換により周波数解析するようにしてもよい。

またこの実施例では、実用上十分にフリッカ成分を近似できる範囲で、離散フーリエ変換における高次の処理を省略し、これにより処理を簡略化する。

ところでこのようにして求められる振幅値γｍ及び初期位相Φｍ，ｎは、被写体の動きをも反映していることになる。また露光時間、電子シャッターの速度によっても変化する。これによりこの実施例では、これらＤＦＴ回路２６で検出される振幅値γｍ及び初期位相Φｍ，ｎをシステムコントローラ５に出力し、このシステムコントローラ５により構成されるパラメータ制御回路３０により処理する。これによりこの実施例では、フリッカを正しく反映している振幅値γｍ' 及び初期位相Φｍ，ｎ' を計算し、この計算結果による振幅値γｍ' 及び初期位相Φｍ，ｎ' をフリッカ生成回路２８に入力する。

フリッカ生成回路２８は、この振幅値γｍ' 及び初期位相Φｍ，ｎ' を用いて（２）式の演算処理を実行することにより、フリッカを正しく反映しているフリッカ係数Γｎ（ｙ）を出力する。なおここでこの（２）式の演算処理においても、実際の蛍光灯照明下では、高次の処理を省略して実用上十分にフリッカ成分を近似することができる。これによりこの実施例では、例えば２次までの範囲でこの（２）式の演算処理を実行し、これにより処理を簡略化する。

ここで（１）式は、次式のように変形することができる。これにより演算回路２９は、フリッカ生成回路２８から出力されるフリッカ係数Γｎ（ｙ）に値１を加算して１＋Γｎ（ｙ）を計算した後、この計算値により画像データを割り算し、これによりフリッカ成分を抑圧する。

なおフリッカ成分にあっては、光源の点滅周波数に応じて、例えば周波数５０〔Ｈｚ〕の商用電源による蛍光灯下では、３フィールド周期で繰り返されることにより、フリッカ生成回路２８は、この場合、始めの３フィールド分についてのみフリッカ係数Γｎ（ｙ）を計算して出力し、３フィールドより以降のフィールドについては、始めに計算したフリッカ係数Γｎ（ｙ）をメモリに保持して繰り返し出力するようにしてもよい。このようにすれば、ディジタル信号処理回路９の処理を簡略化することができる。

図１は、システムコントローラ５により構成されるパラメータ制御回路３０の構成を示す機能ブロック図である。このパラメータ制御回路３０は、ＤＦＴ回路２６から出力される初期位相Φｍ，ｎにより振幅値γｍを補正する補正係数ｇを計算し、この補正係数ｇにより振幅値を補正して入力された初期位相Φｍ，ｎと共に、フリッカを正しく反映した振幅値γｍ' 及び初期位相Φｍ，ｎ' として出力する。このためこのパラメータ制御回路３０において、補正係数計算回路３１は、ＤＦＴ回路２６から出力される初期位相Φｍ，ｎにより振幅値γｍを補正する補正係数ｇを計算する。

すなわち補正係数計算回路３１において、遅延回路３２は、ＤＦＴ回路２６から出力される初期位相Φｍ，ｎを１フィールドの期間だけ遅延させて出力し、減算回路３３は、ＤＦＴ回路２６から出力される初期位相Φｍ，ｎから、遅延回路３２より出力される初期位相Φｍ，ｎを減算し、これにより対応するライン間で、初期位相Φｍ，ｎのフィールド間差分ΔΦｍ，ｎを計算する。

ローパスフィルタ（ＬＰＦ）３４は、この減算回路３３から出力される初期位相Φｍ，ｎのフィールド間差分ΔΦｍ，ｎを平滑化して出力し、これにより外乱によるフィールド間差分ΔΦｍ，ｎの過剰な変動を低減する。

減算回路３５は、ローパスフィルタ（ＬＰＦ）３４から出力される初期位相Φｍ，ｎのフィールド間差分ΔΦｍ，ｎから、このフィールド間差分ΔΦｍ，ｎの理論値Δφｍ，ｎを減算し、これにより初期位相Φｍ，ｎのフィールド間差分ΔΦｍ，ｎについて、論理値Δφｍ，ｎからの位相ΔΦｍ，ｎ−Δφｍ，ｎを出力する。なおこの理論値Δφｍ，ｎは、（３）式により求められる。

絶対値化回路（ＡＢＳ）３７は、この減算回路３５から出力される論理値Δφｍ，ｎからの位相ΔΦｍ，ｎ−Δφｍ，ｎを絶対値化して出力する。しかしてこれら一連の処理により検出される絶対値化回路３７の出力値ψｍ，ｎは、ＤＦＴ回路２６で求められるフリッカ成分の振幅値γｍ及び初期位相Φｍ，ｎが、正しくフリッカを表していればいる程、小さな値となり、これらフリッカ成分の振幅値γｍ及び初期位相Φｍ，ｎが外乱、被写体の移動等によるものの場合、大きな値となる。

これによりゲイン演算回路３８は、この絶対値化回路３７からの出力値ψｍ，ｎに基づいて、フリッカ周波数におけるフィールド間の初期位相が、論理値φｍ，ｎから遠ざかるに従って値の減少する補正係数ｇを生成する。より具体的に、ゲイン演算回路３８は、図４に示すように、第１のしきい値ｔｈｒＡより絶対値化回路３７からの出力値ψｍ，ｎが小さい場合、値１による補正係数ｇを出力し、この第１のしきい値ｔｈｒＡより値の大きな第２のしきい値ｔｈｒＢより絶対値化回路３７からの出力値ψｍ，ｎが大きい場合、値０による補正係数ｇを出力する。またこれら第１のしきい値ｔｈｒＡから第２のしきい値ｔｈｒＢの間では、絶対値化回路３７からの出力値ψｍ，ｎに対応して直線的に値が変化するように補正係数ｇを出力する。

乗算回路３９は、ＤＦＴ回路２６による周波数解析で検出されるフリッカ周波数におけるスペクトラムの振幅値γｍに、この補正係数ｇを乗算することにより、このスペクトラムの振幅値γｍを補正係数ｇにより補正して出力する。

なお周波数解析して得られるフリッカ周波数の高次の成分（ｍ≧２）をもフリッカの抑圧処理に使用する場合、パラメータ制御回路５、フリッカ生成回路２８、演算回路２９は、各次の成分毎に、補正係数ｇを計算し、この各次の補正係数ｇの合成により最終的に演算回路２９で画像データＤ１の画素値を補正する。この場合、結局、正規化回路２５からの出力値に占める各次成分の割合により、各次の補正係数ｇによる補正量を重み付け加算して補正すればよく、このような処理にあっては、パラメータ制御回路５のゲイン演算回路３８からフリッカ低減回路１０の演算回路２９までの各回路ブロックにおいて、補正係数ｇ、振幅値γｍ又はフリッカ係数Γｎ（ｙ）の何れかで実行すればよい。

しかしてこれらによりシステムコントローラ５は、各ライン毎に、図５に示す処理手順を実行して補正係数ｇを計算する。すなわちシステムコントローラ５は、１ライン分の周波数解析結果がディジタル信号処理回路１０から入力されると、ステップＳＰ１からステップＳＰ２に移り、ここで初期位相Φｍ，ｎのフィールド間差分ΔΦｍ，ｎを計算し、続くステップＳＰ３において、このフィールド間差分ΔΦｍ，ｎの高域成分を抑圧する。また続くステップＳＰ４において、フィールド間差分ΔΦｍ，ｎの論理値φｍ，ｎからの差分値を絶対値化した後、続くステップＳＰ５において、補正係数ｇの値を演算し、ステップＳＰ６によりこの処理手順を終了する。

（２）実施例の動作
以上の構成において、この撮像装置１では（図２）、レンズ２により所望の被写体の光学像が撮像素子４の撮像面に形成され、この光学像が撮像素子４により光電変換処理されて撮像信号Ｓ１が出力される。撮像装置１では、この撮像信号Ｓ１がアナログ信号処理回路７により信号処理された後、アナログディジタル変換回路８により画像データＤ１に変換され、この画像データＤ１がディジタル信号処理回路９により信号処理され、これにより所望の被写体の撮像結果による映像信号ＳＶが生成される。この撮像装置１では、このディジタル信号処理回路９における画像データＤ１の処理において、映像信号ＳＶのフリッカ成分が抑圧される。

すなわち画像データＤ１は、ディジタル信号処理回路９のフリッカ低減回路１０において（図３）、積分回路２１によりライン単位で順次積分され、差分計算回路２４において、隣接するフィールドの対応する積分期間との間でこの積分値が減算され、これによりライン単位で、連続するフィールド間における信号レベルの変化が検出される。また正規化回路２５において、この信号レベルの変化が積分値により割り算され、これにより連続するフィールド間における信号レベルの変化が正規化処理されて、連続するフィールド間における信号レベルの変化が映像信号に対応する割合によりライン単位で検出される。

しかしてこのようにして検出される信号レベルの変化にあっては、フリッカによる信号レベルの変化に被写体の動きによる信号レベルの変化等が含まれて検出されるものの、フリッカによる信号レベルの変化にあっては、フリッカ周波数により周期的に変化することになる。

これにより画像データＤ１は、このようにして検出されるライン単位による連続するフィールド間における信号レベルの変化が、ＤＦＴ回路２６により周波数解析され、各ライン毎に、フリッカ周波数におけるスペクトルが検出される。しかしてこのようにして検出されるフリッカ周波数におけるスペクトルの振幅値にあっては、連続するフィールド間における信号レベルの変化が正規化されていることにより、連続するフィールド間における信号レベルの変化のうちの、フリッカ成分の割合を示すことになる。これによりこの振幅値により元の映像信号ＳＶの信号レベルを補正してフリッカを抑圧することができると考えられる。またフリッカ成分にあっては、フリッカ周波数の高次の周波数スペクトルも発生することにより、実用上十分な範囲で、高次の周波数スペクトルに係る振幅値を映像信号の補正に加味することにより、一段と高い精度によりフリッカを抑圧することができると考えられる。

しかしながらこのような実際の被写体の撮影にあっては、被写体の動きにより、このようなフリッカ周波数によりスペクトラムが検出される場合もあり、これにより撮影の条件によっては、映像信号を誤補正する場合が発生する。

これによりこの撮像装置１では（図１）、このようにして検出されるフリッカ周波数のスペクトラムについて、各ラインにおける振幅値及び初期位相がシステムコントローラ５に通知され、ここで遅延回路３２及び減算回路３３により、連続するフィールド間で初期位相の変化が検出される。ここでこのようにして検出される初期位相の変化にあっては、映像信号における信号レベルの変化がフリッカによるものの場合、光源の点滅周波数で決まる論理値による値となるのに対し、被写体の動き等による場合には、その程度により論理値より相違する値となる。

これにより撮像装置１では、システムコントローラ５において、フィールド間における初期位相の変化が論理値から遠ざかるに従って値の減少する補正係数が生成され、この補正係数により画像データＤ１の信号レベルが補正されてフリッカが低減される。

これによりこの撮像装置１では、種々に撮影の条件が変化する場合であっても、簡易な処理により正しくフリッカを低減することができる。

これによりこの撮像装置１では、ローパスフィルタ３４によりフィールド間における初期位相の変化が平滑化された後、減算回路３５において、論理値からの差分値が計算され、この差分値が絶対値化回路３７により絶対値化される。またゲイン演算回路３８でこの絶対値により、フィールド間における初期位相の変化が論理値から遠ざかるに従って値の減少する補正係数が生成される。撮像装置１では、この補正係数により対応するスペクトルの振幅値が補正されて、対応する初期位相と共にフリッカ低減回路１０に出力され、フリッカ低減回路１０において、これら補正された振幅値及び対応する初期位相によりフリッカ成分を正しく反映したフリッカ係数が生成され、このフリッカ係数により画像データＤ１の信号レベルが補正されてフリッカが低減される。

これら補正係数に係る処理において、この撮像装置１では、乗算回路３９において、周波数解析手段で検出されるフリッカ周波数におけるスペクトルの振幅値を補正係数により補正した後、フリッカ生成回路２８において、この補正された振幅値により映像信号に対するフリッカ成分の割合を示すフリッカ係数が計算され、このフリッカ係数により映像信号の信号レベルを補正することにより、周波数解析結果を有効に利用して正しく映像信号の信号レベルを補正してフリッカを低減することができる。

またフリッカ周波数における初期位相の変化を平滑化して補正係数が生成され、これにより外乱による補正係数の誤生成を有効に回避することができる。

これに対して正規化の処理においては、ライン単位の積分結果を連続するフィールド間で平均値化し、その結果得られる平均値を用いて正規化の処理が実行され、これによっても動きによるフリッカの誤補正が有効に回避される。

（３）実施例の効果
以上の構成によれば、信号レベルの変化を周波数解析してフリッカ周波数のスペクトルを検出し、連続するフィールド又はフレームにおけるこのスペクトルの初期位相の変化を判定して映像信号のフリッカ成分を抑圧することにより、従来に比して一段と簡易な処理により確実にフリッカを低減することができる。

またこの一連の処理において、フリッカ周波数におけるスペクトルの振幅値を補正係数により補正した後、この補正された振幅値により映像信号に対するフリッカ成分の割合を示すフリッカ係数を計算し、このフリッカ係数により映像信号の信号レベルを補正することにより、周波数解析結果を有効に利用して正しく映像信号の信号レベルを補正してフリッカを低減することができる。

またフリッカ周波数における初期位相の変化を平滑化して補正係数を生成することにより、外乱による補正係数の誤生成を有効に回避することができる。

またライン単位の積分結果を連続するフィールド間で平均値化し、その結果得られる平均値を用いて正規化の処理を実行することにより、動きによるフリッカの誤補正を有効に回避することができる。

なお上述の実施例においては、ライン単位の積分結果よりフィールド間で差分値を計算し、この差分値を正規化して周波数解析する場合について述べたが、本発明はこれに限らず、実用上十分な特性を確保できる場合には、ライン単位の積分結果を正規化して周波数解析するようにしてもよい。

また上述の実施例においては、１ライン単位で映像信号を積分して処理する場合について述べたが、本発明はこれに限らず、１水平走査期間より長く積分期間を設定して、例えば２ライン単位で映像信号を積分して処理するようにしてもよい。

また上述の実施例においては、フィールド間で各種差分値を計算する場合について述べたが、本発明はこれに限らず、フレーム間でこれらの差分値を計算するようにしてもよい。

また上述の実施例においては、フィールド周波数６０〔Ｈｚ〕により撮像結果を取得する場合について述べたが、本発明はこれに限らず、フレーム周波数５０〔Ｈｚ〕により撮像結果を取得する場合等にも広く適用することができる。

また上述の実施例においては、ＣＭＯＳ撮像素子により撮像結果を取得して処理する場合について述べたが、本発明はこれに限らず、ＣＭＯＳ撮像素子以外のＸＹアドレス走査型の撮像素子を用いる場合にも広く適用することができる。

また上述の実施例においては、本発明を撮像装置に適用して撮像結果をリアルタイムにより処理する場合について述べたが、本発明はこれに限らず、このような撮像結果をコンピュータ、編集装置等で処理する場合にも広く適用することができる。なおこれらの場合、上述した実施例に係るディジタル信号処理回路のフリッカ低減回路とシステムコントローラのパラメータ制御回路との構成も、演算処理手段の処理により一体に構成するようにしてもよい。

本発明は、映像信号処理装置、映像信号の処理方法、映像信号の処理プログラム及び映像信号の処理プログラムを記録した記録媒体に関し、例えばＸＹアドレス走査型の撮像素子を用いたビデオカメラに適用することができる。

本発明の実施例１に係るシステムコントローラにおけるパラメータ制御部の構成を示す機能ブロック図である。 本発明の実施例１に係る撮像装置を示すブロック図である。 図２の撮像装置におけるディジタル信号処理回路におけるフリッカ低減回路の構成を示す機能ブロック図である。 図１のパラメータ制御部における動作の説明に供する特性曲線図である。 図１の構成に係るシステムコントローラの処理手順を示すフローチャートである。 フリッカの説明に供する平面図である。

符号の説明

１……撮像装置、４……撮像素子、５……システムコントローラ、９……ディジタル信号処理回路、１０……フリッカ低減回路、２１……積分回路、２２……メモリ、２３……平均値計算回路、２４……差分計算回路、２５……正規化回路、２６……ＤＦＴ回路、２８……フリッカ生成回路、２９……演算回路、３０……パラメータ制御回路、３２……遅延回路、３３、３５……減算回路、３４……ローパスフィルタ、３７……絶対値化回路、３８……ゲイン演算回路、３９……乗算回路

Claims (8)

1. 映像信号を取得する映像信号取得手段と、
   前記映像信号の１ライン以上の積分期間を単位にして、前記映像信号を積分して積分結果を出力する積分手段と、
   隣接するフィールド又はフレームにおける対応する前記積分期間との前記積分結果の差分値、又は前記積分結果を正規化する正規化手段と、
   前記正規化手段の処理結果を周波数解析し、前記積分期間毎に、フリッカ周波数におけるスペクトルの振幅値及び初期位相を検出する周波数解析手段と、
   前記隣接するフィールド又はフレームの対応する前記積分期間との間で、前記初期位相の変化を検出する位相変化検出手段と、
   前記位相変化検出手段による検出結果と、フリッカによる前記初期位相の変化の論理値との差分値に基づいて、前記検出結果が前記論理値から遠ざかるに従って値の減少する補正係数を生成する補正係数計算手段と
   前記補正係数に基づいて前記映像信号の信号レベルを補正する映像信号補正手段と
   を備えることを特徴とする映像信号処理装置。
2. 前記映像信号補正手段は、
   前記補正係数により、前記周波数解析手段で検出される前記フリッカ周波数におけるスペクトルの振幅値を補正する振幅補正手段と、
   前記振幅補正手段で補正された振幅値及び前記初期位相により前記映像信号に対するフリッカ成分の割合を示すフリッカ係数を計算するフリッカ生成手段と、
   前記フリッカ生成手段で計算されたフリッカ係数により前記映像信号の信号レベルを補正する演算手段とを有する
   ことを特徴とする請求項１に記載の映像信号処理装置。
3. 前記正規化手段は、
   前記連続するフィールド又はフレーム間で、前記積分結果を平均値化する平均化手段と、
   隣接するフィールド又はフレームにおける対応する前記積分期間との前記積分結果の差分値、又は前記積分結果を、前記平均化手段により計算される平均値により割り算することにより、正規化処理結果を出力する割り算手段とを有する
   ことを特徴とする請求項１に記載の映像信号処理装置。
4. 前記補正係数計算手段は、
   前記位相変化検出手段で検出される前記フリッカ周波数における初期位相の変化を平滑化して前記補正係数を生成する
   ことを特徴とする請求項１に記載の映像信号処理装置。
5. 前記映像信号取得手段は、
   所望の被写体を撮像して撮像結果による前記映像信号を出力する、ＸＹアドレス走査型の撮像素子を用いた撮像手段である
   ことを特徴とする請求項１に記載の映像信号処理装置。
6. 映像信号を取得する映像信号取得のステップと、
   前記映像信号の１ライン以上の積分期間を単位にして、前記映像信号を積分して積分結果を出力する積分のステップと、
   隣接するフィールド又はフレームにおける対応する前記積分期間との前記積分結果の差分値、又は前記積分結果を正規化する正規化のステップと、
   前記正規化のステップの処理結果を周波数解析し、前記積分期間毎に、フリッカ周波数におけるスペクトルの振幅値及び初期位相を検出する周波数解析のステップと、
   前記隣接するフィールド又はフレームの対応する前記積分期間との間で、前記初期位相の変化を検出する位相変化検出のステップと、
   前記位相変化検出のステップによる検出結果と、フリッカによる前記初期位相の変化の論理値との差分値に基づいて、前記検出結果が前記論理値から遠ざかるに従って値の減少する補正係数を生成する補正係数計算のステップと、
   前記補正係数に基づいて前記映像信号の信号レベルを補正する映像信号補正のステップと
   を備えることを特徴とする映像信号処理方法。
7. 演算処理手段に所定の処理手順を実行させることにより映像信号のフリッカを低減する映像信号の処理プログラムにおいて、
   前記処理手順は、
   前記映像信号を取得する映像信号取得のステップと、
   前記映像信号の１ライン以上の積分期間を単位にして、前記映像信号を積分して積分結果を出力する積分のステップと、
   隣接するフィールド又はフレームにおける対応する前記積分期間との前記積分結果の差分値、又は前記積分結果を正規化する正規化のステップと、
   前記正規化のステップの処理結果を周波数解析し、前記積分期間毎に、フリッカ周波数におけるスペクトルの振幅値及び初期位相を検出する周波数解析のステップと、
   前記隣接するフィールド又はフレームの対応する前記積分期間との間で、前記初期位相の変化を検出する位相変化検出のステップと、
   前記位相変化検出のステップによる検出結果と、フリッカによる前記初期位相の変化の論理値との差分値に基づいて、前記検出結果が前記論理値から遠ざかるに従って値の減少する補正係数を生成する補正係数計算のステップと、
   前記補正係数に基づいて前記映像信号の信号レベルを補正する映像信号補正のステップとを有する
   ことを特徴とする映像信号の処理プログラム。
8. 演算処理手段に所定の処理手順を実行させることにより映像信号のフリッカを低減する映像信号の処理プログラムを記録した記録媒体において、
   前記処理手順は、
   前記映像信号を取得する映像信号取得のステップと、
   前記映像信号の１ライン以上の積分期間を単位にして、前記映像信号を積分して積分結果を出力する積分のステップと、
   隣接するフィールド又はフレームにおける対応する前記積分期間との前記積分結果の差分値、又は前記積分結果を正規化する正規化のステップと、
   前記正規化のステップの処理結果を周波数解析し、前記積分期間毎に、フリッカ周波数におけるスペクトルの振幅値及び初期位相を検出する周波数解析のステップと、
   前記隣接するフィールド又はフレームの対応する前記積分期間との間で、前記初期位相の変化を検出する位相変化検出のステップと、
   前記位相変化検出のステップによる検出結果と、フリッカによる前記初期位相の変化の論理値との差分値に基づいて、前記検出結果が前記論理値から遠ざかるに従って値の減少する補正係数を生成する補正係数計算のステップと、
   前記補正係数に基づいて前記映像信号の信号レベルを補正する映像信号補正のステップとを有する
   ことを特徴とする映像信号の処理プログラムを記録した記録媒体。
   

Images