JP4371108B2 - 撮像装置および方法、記録媒体、並びにプログラム - Google Patents

Description

本発明は撮像装置および方法、記録媒体、並びにプログラムに関し、特に、XYアドレス走査型撮像素子を用いたビデオカメラによる、蛍光灯下などでの撮像に際して発生するフリッカを低減できるようにした撮像装置および方法、記録媒体、並びにプログラムに関する。

蛍光灯下でビデオカメラにより動画を撮像すると、蛍光灯の発光に伴うフリッカが発生することが知られている。

より具体的には、商用交流電源によって直接点灯される蛍光灯の照明下で、ビデオカメラによって被写体を撮影すると、蛍光灯の輝度変化（光量変化）の周波数（商用交流電源周波数の２倍）とカメラの垂直同期周波数との違いによって、撮影出力の映像信号に時間的な明暗の変化、いわゆるフリッカ（蛍光灯フリッカ）を生じる。

例えば、商用交流電源周波数が50Hzの地域において、非インバータ方式の蛍光灯の照明下で、ＮＴＳＣ方式（垂直同期周波数は60Hz）のＣＣＤカメラによって被写体を撮影する場合、１フィールド周期が1/60秒であるのに対して、蛍光灯の輝度変化の周期が1/100秒となるので、蛍光灯の輝度変化に対して各フィールドの露光タイミングがずれ、各画素の露光量がフィールドごとに変化する。

そこで、このフリッカ対策を施した撮像装置が提案されている。

例えば、露光時間を利用することによりフリッカの発生防止するビデオカメラが提案されている。また、XYアドレス走査型撮像素子を用いたビデオカメラに関して、予め用意した輝度及び色相変化のパタンを利用して、フリッカの発生を補正する技術が提案されている。さらに、位相が180度ずれたフレームを利用することにより、フリッカの影響を低減させる技術が提案されている。

また、入力された画像信号を１水平周期以上の時間に渡って積分して、隣接するフィールドにおける積分値の差分値を連続する３フィールドにおける積分値の平均値で正規化し、正規化後の差分値を離散フーリエ変換してスペクトルを抽出し、その抽出したスペクトルからフリッカ係数を推定し、入力された画像信号におけるフリッカによる影響を低減させる技術が開示されている（例えば、特許文献１参照）。

特開２００４−２２２２２８号公報

しかしながら、露光時間を利用する場合、例えば240Hz撮像の高速撮像カメラのとき、露光時間の最大値が1/240sなのに対し、フリッカの発生が防止できる最小の露光時間は、50Hz電源の場合1/100s、60Hz電源の場合1/120sであるため、効果的に利用することが困難であった。

また、XYアドレス走査型撮像素子を用いたビデオカメラに関して、予め用意した輝度及び色相変化のパタンを利用して、フリッカの発生を補正する場合、シャッタ速度を考慮していないため、シャッタ速度が変化した場合、現在のシャッタ速度に最適の補正ができない可能性があった。

さらに、位相が180度ずれたフレームを利用してフリッカを低減させる場合、出力画像が２フレーム分の画像の和になってしまうため、動きのある被写体の画像については、不自然になることがあった。

本発明は、このような状況に鑑みてなされたものであり、特に、XYアドレス走査型撮像素子を用いたビデオカメラによる、蛍光灯下などでの撮像に際して発生するフリッカを低減できるようにするものである。

本発明の一側面の撮像装置は、照明の光量変動周期の１／２ｎ（ｎは自然数）の周期で撮像するXYアドレス走査型撮像素子を用いた撮像装置であって、画像を複数に分割した各領域内の画素の画素値を積分する積分手段と、前記積分手段の積分値を保持する保持手段と、フリッカの位相差が180度となる2つの前記画像の同じ領域の積分値間の差分値の波形を演算する演算手段と、前記演算手段により演算された積分値間の差分値の波形に基づいて、前記フリッカの位相および振幅を抽出する抽出手段と、前記撮像装置のシャッタ速度から前記フリッカの波形を選択する選択手段と、前記選択手段により選択されたフリッカ波形、並びに、前記抽出手段により抽出された位相および振幅に基づいた補正値で前記画素の画素値を補正する補正手段とを含む。

前記選択手段には、前記シャッタ速度をパラメータとして、前記フリッカ波形を特定する関数を記憶する関数記憶手段をさらに含ませるようにすることができ、前記撮像装置のシャッタ速度に基づいて、前記関数記憶手段に記憶された関数から前記フリッカの波形を選択させるようにすることができる。

前記積分手段、前記保持手段、前記演算手段、前記抽出手段、または前記選択手段のうちの少なくともいずれかは、撮像周期に対して間欠的に処理を実行させるようにすることができる。

前記積分手段、前記保持手段、前記演算手段、前記抽出手段、または前記選択手段のうちの少なくともいずれかは、時分割によって色別に処理させるようにすることができる。

本発明の一側面の撮像方法は、照明の光量変動周期の１／２ｎ（ｎは自然数）の周期で撮像するXYアドレス走査型撮像素子を用いた撮像装置の撮像方法であって、画像を複数に分割した各領域内の画素の画素値を積分する積分ステップと、前記積分ステップにより積分値を保持する保持ステップと、フリッカの位相差が180度となる2つの前記画像の同じ領域の積分値間の差分値の波形を演算する演算ステップと、前記演算ステップの処理で演算された積分値間の差分値の波形に基づいて、前記フリッカの位相および振幅を抽出する抽出ステップと、前記撮像装置のシャッタ速度から前記フリッカの波形を選択する選択ステップと、前記選択ステップの処理により選択されたフリッカ波形、並びに、前記抽出ステップの処理により抽出された位相および振幅に基づいた補正値で前記画素の画素値を補正する補正ステップとを含む。

本発明の一側面の記録媒体のプログラムは、照明の光量変動周期の１／２ｎ（ｎは自然数）の周期で撮像するXYアドレス走査型撮像素子を用いた撮像装置を制御するプログラムであって、画像を複数に分割した各領域内の画素の画素値を積分する積分ステップと、前記積分ステップにより積分値を保持する保持ステップと、フリッカの位相差が180度となる2つの前記画像の同じ領域の積分値間の差分値の波形を演算する演算ステップと、前記演算ステップの処理で演算された積分値間の差分値の波形に基づいて、前記フリッカの位相および振幅を抽出する抽出ステップと、前記撮像装置のシャッタ速度から前記フリッカの波形を選択する選択ステップと、前記選択ステップの処理により選択されたフリッカ波形、並びに、前記抽出ステップの処理により抽出された位相および振幅に基づいた補正値で前記画素の画素値を補正する補正ステップとを含む。

本発明の一側面のプログラムは、照明の光量変動周期の１／２ｎ（ｎは自然数）の周期で撮像するXYアドレス走査型撮像素子を用いた撮像装置を制御するコンピュータに、画像を複数に分割した各領域内の画素の画素値を積分する積分ステップと、前記積分ステップにより積分値を保持する保持ステップと、フリッカの位相差が180度となる2つの前記画像の同じ領域の積分値間の差分値の波形を演算する演算ステップと、前記演算ステップの処理で演算された積分値間の差分値の波形に基づいて、前記フリッカの位相および振幅を抽出する抽出ステップと、前記撮像装置のシャッタ速度から前記フリッカの波形を選択する選択ステップと、前記選択ステップの処理により選択されたフリッカ波形、並びに、前記抽出ステップの処理により抽出された位相および振幅に基づいた補正値で前記画素の画素値を補正する補正ステップとを含む処理をコンピュータに実行させる。

本発明の一側面においては、照明の光量変動周期の１／２ｎ（ｎは自然数）の周期で撮像するXYアドレス走査型撮像素子を用いた撮像装置において、画像を複数に分割した各領域内の画素の画素値が積分され、積分値が保持され、フリッカの位相差が180度となる2つの前記画像の同じ領域の積分値間の差分値の波形が演算され、演算された積分値間の差分値の波形に基づいて、フリッカの位相および振幅が抽出され、撮像装置のシャッタ速度から前記フリッカの波形が選択され、選択されたフリッカ波形、並びに、抽出された位相および振幅に基づいた補正値で画素の画素値が補正される。

撮像装置は、独立した装置であっても良いし、撮像処理を行うブロックであっても良い。

以上のように、本発明の一側面によれば、ビデオカメラによる、蛍光灯下などでの撮像に際して発生するフリッカを低減させることが可能となる。

また、本発明の一側面によれば、XYアドレス走査型撮像素子を用いたビデオカメラの高速度撮影における、蛍光灯下などでの撮像に際して発生するフリッカを、シャッタ速度に応じて低減させることが可能となる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

すなわち、本発明の一側面の撮像装置は、照明の光量変動周期の１／２ｎ（ｎは自然数）の周期で撮像するXYアドレス走査型撮像素子（例えば、図１の撮像素子１３）を用いた撮像装置であって、画像を複数に分割した各領域内の画素の画素値を積分する積分手段（例えば、図４の積分処理部１０２）と、前記積分手段の積分値を保持する保持手段（例えば、図４の積分値保持部１０３）と、フリッカの位相差が180度となる2つの前記画像の同じ領域の積分値間の差分値の波形を演算する演算手段（例えば、図４の積分値演算部１１１）と、前記演算手段により演算された積分値間の差分値の波形に基づいて、前記フリッカの位相および振幅を抽出する抽出手段（例えば、図４の位相振幅抽出部１１２）と、前記撮像装置のシャッタ速度から前記フリッカの波形を選択する選択手段（例えば、図４の関数選択部１１４）と、前記選択手段により選択されたフリッカ波形、並びに、前記抽出手段により抽出された位相および振幅に基づいた補正値で前記画素の画素値を補正する補正手段（例えば、図４の補正部１０５）とを含む。

前記選択手段（例えば、図４の関数選択部１１４）には、前記シャッタ速度をパラメータとして、前記フリッカ波形を特定する関数を記憶する関数記憶手段（例えば、図４のメモリ１１４ａ）をさらに含ませるようにすることができ、前記抽出手段により抽出された位相および振幅、並びに撮像装置のシャッタ速度に基づいて、前記関数記憶手段に記憶された関数から前記フリッカの波形を選択させるようにすることができる。

前記積分手段（例えば、図４の積分処理部１０２）、前記保持手段（例えば、図４の積分値保持部１０３）、前記演算手段（例えば、図４の積分値演算部１１１）、前記抽出手段（例えば、図４の位相振幅抽出部１１２）、または前記選択手段（例えば、図４の関数選択部１１４）のうちの少なくともいずれかは、撮像周期に対して間欠的に処理を実行させるようにすることができる。

前記積分手段（例えば、図４の積分処理部１０２）、前記保持手段（例えば、図４の積分値保持部１０３）、前記演算手段（例えば、図４の積分値演算部１１１）、前記抽出手段（例えば、図４の位相振幅抽出部１１２）、または前記選択手段（例えば、図４の関数選択部１１４）のうちの少なくともいずれかは、時分割によって色別に処理させるようにすることができる。

本発明の一側面の撮像方法およびプログラムは、照明の光量変動周期の１／２ｎ（ｎは自然数）の周期で撮像するXYアドレス走査型撮像素子を用いた撮像装置の撮像方法、および、前記撮像装置を制御するコンピュータに実行させるプログラムであって、画像を複数に分割した各領域内の画素の画素値を積分する積分ステップ（例えば、図７のフローチャートにおけるステップＳ２２の処理）と、前記積分ステップにより積分値を保持する保持ステップ（例えば、図７のフローチャートにおけるステップＳ２３の処理）と、フリッカの位相差が180度となる2つの前記画像の同じ領域の積分値間の差分値の波形を演算する演算ステップ（例えば、図７のフローチャートにおけるステップＳ２４の処理）と、前記演算ステップの処理で演算された積分値間の差分値の波形に基づいて、前記フリッカの位相および振幅を抽出する抽出ステップ（例えば、図７のフローチャートにおけるステップＳ２７の処理）と、前記撮像装置のシャッタ速度から前記フリッカの波形を選択する選択ステップ（例えば、図７のフローチャートにおけるステップＳ２８の処理）と、前記選択ステップの処理により選択されたフリッカ波形、並びに、前記抽出ステップの処理により抽出された位相および振幅に基づいた補正値で前記画素の画素値を補正する補正ステップ（例えば、図７のフローチャートにおけるステップＳ３１の処理）とを含む。

図１は、本発明を適用した撮像装置（ビデオカメラ）１の一実施の形態の構成を示す図である。

撮像装置１は、いわゆるビデオカメラであり、画像（動画像）を撮像して撮像した画像をデータとして出力するものである。

レンズ１１は、レンズドライバ１２により焦点距離を調整し、被写体からの光を撮像素子１３に透過させる。

撮像素子１３は、CMOS（Complementary Metal-Oxide Semiconductor）撮像素子などのXYアドレス走査型撮像素子からなり、タイミングジェネレータ（TG）１４により発生される信号に基づいて、レンズ１１を介して被写体からの光が入射されると、光電変換により対応するアナログ映像信号を生成してアナログ信号処理部１５に出力する。

より詳細には、撮像素子１３は、CMOS基板上に、フォトダイオード（フォトゲート）、転送ゲート（シャッタトランジスタ）、スイッチングトランジスタ（アドレストランジスタ）、増幅トランジスタ、リセットトランジスタ（リセットゲート）などを有する画素が複数、２次元状に配列されて形成されるとともに、垂直走査回路、水平走査回路および映像信号出力回路が形成されたものである。

また、撮像素子１３により得られるアナログ映像信号は、RGB各色の原色信号または補色系の色信号である。

アナログ信号処理部１５は、IC（集積回路）から構成されており、システムコントローラ１８により制御され、撮像素子１３から供給されるアナログ映像信号を、色信号ごとに、サンプルホールドし、AGC（自動利得制御）によってゲインを制御し、A/D（Analog/Digital）変換部１６に出力する。

A/D変換部１６は、アナログ信号処理部１５より供給されてくるアナログ信号をデジタル信号に変換してデジタル信号処理部１７に供給する。

デジタル信号処理部１７は、例えば、ICとして構成され、内蔵するフリッカ低減部２１において、信号成分ごとに、フリッカ成分を低減した上で、最終的に輝度信号Ｙと赤、青の色差信号Ｒ−Ｙ，Ｂ−Ｙに変換して出力する。

システムコントローラ１８は、マイクロコンピュータなどによって構成され、撮像装置１の動作の全体を制御する。

より具体的には、システムコントローラ１８は、ＩＣにより構成されるレンズドライバ１２に、レンズ駆動制御信号を供給し、レンズドライバ１２を制御することにより、レンズ１１を駆動する。

また、システムコントローラ１８は、タイミング制御信号をTG１４に供給することにより、TG１４を制御し、撮像素子１３に、各種のタイミング信号を供給させ、撮像素子１３を駆動させる。

さらに、システムコントローラ１８は、デジタル信号処理部１７からの各信号成分の検波信号を取り込み、AGC信号を、アナログ信号処理部１５に供給して、各色信号のゲインを制御するとともに、デジタル信号処理部１７の信号処理を制御する。

また、システムコントローラ１８には、マイクロコンピュータなどによって構成されたインタフェースを介して、ユーザインタフェースを構成する操作部１９が接続され、操作部１９での設定操作や選択操作などが、システムコントローラ１４によって検出されるとともに、カメラの設定状態や制御状態などが、システムコントローラ１４によって図示せぬ表示部に表示される。

尚、以降において、周波数60Hzの商用電源による蛍光灯のフリッカについて説明するものとする。また、この場合、フリッカの周期は、120Hzであり、撮像素子１３が画像を撮像する撮像周期は240Hzであるものとする。しかしながら、蛍光灯の電源周波数、フリッカの周期、および撮像周期は、これに限るものではない。

次に、図２を参照して、原色系のデジタル信号処理部１７の一実施の形態の構成について説明する。

原色系の撮像装置１においては、図１のレンズ１１を含む図示せぬ光学系が被写体からの光をRGB各色の色光に分離する分解光学系が設けられる。また、撮像素子１３は、RGB各色用の撮像素子１３を有する３板構成、または、撮像素子１３として、光入射面にRGB各色の色フィルタが画面水平方向に１画素ごとに順次、繰り返し配列された１つの撮像素子１３を有する１板構成である。この場合、撮像素子１３からは、RGB各色の原色信号がパラレルに読み出される。

クランプ回路３１は、入力のRGB原色信号の黒レベルを所定レベルにクランプし、ゲイン調整回路３２に出力する。ゲイン調整回路３２は、露出量に応じてクランプ後のRGB原色信号のゲインを調整し、RGBの色光ごとに、フリッカ低減部２１Ｒ，２１Ｇ，２１Ｂに出力する。フリッカ低減部２１Ｒ，２１Ｇ，２１Ｂは、ゲイン調整後のRGB原色信号中のフリッカ成分を低減し、ホワイトバランス調整回路３３に出力する。尚、以降において、フリッカ低減部２１Ｒ，２１Ｇ，２１Ｂについて特に区別する必要がない場合、単に、フリッカ低減部２１と称するものとし、その他の構成についても同様に称するものとする。

ホワイトバランス調整回路３３は、フリッカ低減後のRGB原色信号のホワイトバランスを調整し、ガンマ補正回路３４に出力する。ガンマ補正回路３４は、ホワイトバランス調整後のRGB原色信号の階調を変換し、合成マトリクス回路３５に出力する。合成マトリクス回路３５は、ガンマ補正後のRGB原色信号から、出力の輝度信号Ｙおよび色差信号Ｒ−Ｙ，Ｂ−Ｙを生成し出力する。

原色系構成では、一般に図２のようにRGB原色信号の処理が全て終了した後に輝度信号Ｙが生成されるので、図２のようにRGB原色信号の処理過程でRGB原色信号中のフリッカ成分が低減されることによって、各色成分および輝度成分のフリッカ成分が共に十分に低減される。

なお、フリッカ低減部２１Ｒ，２１Ｇ，２１Ｂは、図２のように配置することが望ましいが、必ずしも、これに限定されるものではない。

次に、図３を参照して、補色系のデジタル信号処理部１７の一実施の形態の構成について説明する。尚、図２の原色系のデジタル信号処理部１７と同一の構成については、同一の番号を付しており、その説明は適宜省略するものとする。

補色系のデジタル信号処理部１７は、図１の撮像素子１３として、光入射面に補色系の色フィルタが形成された１つの撮像素子１３を有する１板構成である。補色系の色フィルタは、例えば、図３に色フィルタ５１として示すように、一方の１ラインおきの水平ライン位置Ｌｏで、緑の色フィルタ部５１Ｇとマゼンタの色フィルタ部５１Ｍｇとが水平方向に１画素ごとに順次、繰り返し配列され、他方の１ラインおきの水平ライン位置Ｌｅで、シアンの色フィルタ部５１Ｃｙとイエローの色フィルタ部５１Ｙｅとが水平方向に１画素ごとに順次、繰り返し配列されたものである。

この場合、図１の撮像素子１３からは、隣接する２水平ライン位置の映像信号が合成されて読み出される。したがって、撮像素子１３からは、各水平期間において、図３の例では、緑の色信号とシアンの色信号との合成信号と、マゼンタの色信号とイエローの色信号との合成信号とが、１画素クロックごとに交互に得られる。

図３のデジタル信号処理部１７におけるクランプ回路３１は、その補色信号の黒レベルを所定レベルにクランプし、ゲイン調整回路３２に供給する。ゲイン調整回路３２は、露出量に応じてクランプ後の補色信号のゲインを調整し、輝度合成回路４１に供給する。輝度合成回路４１は、ゲイン調整後の補色信号から輝度信号Ｙを生成し、フリッカ低減部２１Ｙに出力する。原色分離回路４３は、ゲイン調整後の補色信号からRGB原色信号を生成し、フリッカ低減部２１Ｒ，２１Ｇ，２１Ｂにそれぞれ出力する。

また、図３のデジタル信号処理部１７のフリッカ低減部２１Ｙは、輝度合成回路４１からの輝度信号Ｙ中のフリッカ成分を低減し、ガンマ補正部４２に供給する。また、フリッカ低減部２１Ｒ，２１Ｇ，２１Ｂは、原色分離回路４３からのRGB原色信号中のフリッカ成分を低減し、ホワイトバランス調整回路３３に供給する。

さらに、図３のデジタル信号処理部１７のガンマ補正回路４２は、フリッカ低減後の輝度信号の階調を補正して、輝度信号Ｙを出力する。ホワイトバランス調整回路３３は、フリッカ低減後のRGB原色信号のホワイトバランスを調整し、ガンマ補正回路３４に出力する。ガンマ補正回路３４は、ホワイトバランス調整後のRGB原色信号の階調を変換し、合成マトリクス回路３５に出力する。合成マトリクス回路３５は、ガンマ補正後のRGB原色信号から色差信号Ｒ−Ｙ，Ｂ−Ｙを生成し、出力する。

補色系の構成では、図３のようにデジタル信号処理部１７の比較的前段で輝度信号およびRGB原色信号が生成される。これは、輝度信号が、上記の合成信号から単純な加算処理によって容易に生成できるとともに、上記の合成信号から差分処理によってRGB原色信号を生成し、そのRGB原色信号から輝度信号を生成すると、輝度信号のS/Nが劣化するからである。

しかしながら、このように輝度信号と色信号の処理系統を別にする場合には、各色成分のフリッカ成分を低減するだけでは、輝度成分のフリッカ成分を低減するのに十分でなく、図３のように別に輝度成分のフリッカ成分を低減することによって初めて、各色成分および輝度成分のフリッカ成分を共に十分に低減することができる。

なお、フリッカ低減部２１Ｙおよび２１Ｒ，２１Ｇ，２１Ｂは、図３のように配置することが望ましいが、必ずしも、これに限定されるものではない。

次に、図４を参照して、フリッカ低減部２１の一実施の形態の構成について説明する。フリッカ低減部２１は、システムコントローラ１８と協働してフリッカの低減処理を実現する。そこで、図４においては、フリッカ低減部２１と併せて、システムコントローラ１８のフリッカ低減処理を実現する機能についても説明する。尚、図４においては、フリッカ低減部２１とシステムコントローラ１８とのそれぞれに機能を分散して構成する例について説明していくが、当然のことながら、各機能の分散方法は、図４に限定されるものではない。また、システムコントローラ１８で実現する機能を、フリッカ低減部２１に全て纏めて構成するようにしても良い。さらに、逆に、フリッカ低減部２１の機能をシステムコントローラ１８に全て纏めて構成するようにしても良い。

バッファ１０１は、入力されてくる画像信号を一時的に記憶し、適宜後段の積分処理部１０２および補正部１０５に供給する。

積分処理部１０２は、画面を縦に複数に分割したそれぞれの水平方向に長いブロックの単位で、そこに含まれる画素の画素値を積分し（画素値を加算し）、積分値保持部１０３に保持させる。積分値保持部１０３は、システムコントローラ１８にデータを通信し終わるまで積分値を保持する。

積分値演算部１１１は、積分値保持部１０３に保持されている積分値を読み出して、フリッカの位相および振幅を抽出する元となる波形を構成する値を計算し、計算結果を位相振幅抽出部１１２に供給する。

位相振幅抽出部１１２は、積分値演算部１１１より供給されてくる波形の情報に基づいて、振幅と位相を求める。位相振幅抽出部１１２は、波形の振幅および位相を、右上りゼロクロス点を求めて抽出する。この際、波形のサンプリングが荒い場合、ゼロクロス点が存在しない状態となるので、位相振幅抽出部１１２は、ゼロクロス点を内分点により計算する内分計算部１１２ａを備えており、結果として、位相の分解能を高められる構成となっている。

関数選択部１１４は、内蔵するメモリ１１４ａに、シャッタ速度毎に設定されるフリッカ波形の関数を記憶させており、シャッタ速度に応じたフリッカの波形を示す関数を選択して、フリッカ補正値生成部１１３に供給する。このフリッカの波形の関数は、積分値演算部１１１により求められる振幅と位相とをパラメータとした、シャッタ速度毎に設定されているフリッカ波形である。

フリッカ補正値生成部１１３は、関数選択部１１４より供給されてくるフリッカの波形の関数に、位相振幅抽出部１１２より供給されてくる位相および振幅をパラメータとして理論的なフリッカ波形の関数を生成すると共に補正値を求めてテーブル化し、フリッカ補正値保持部１０４に保持させる。

フリッカ補正値保持部１０４は、フリッカ補正値生成部１１３により生成されたフリッカ補正値のテーブルを保持し、補正部１０５により呼び出されるとき適宜供給する。

補正部１０５は、バッファ１０１より順次画素値を読み出し、画素値が飽和していない場合、フリッカ補正値保持部１０４にテーブルとして保持されている補正値を読み出し、フリッカの影響を受けた画素値を補正して出力する。

次に、図５を参照して図４の補正部１０５の詳細な構成について説明する。

飽和レベル判定部１４１は、入力されてくる画像の画素値が、飽和しているか否か、すなわち、画素値が最高値になっているか否かに基づいて、スイッチ１４３，１４４を制御し、画素値が飽和しているとき、補正演算部１４２により補正演算をさせないように端子１４３ａ，１４４ａにそれぞれ接続し、飽和していないと判定したとき、補正演算部１４２により補正演算をさせるように端子１４３ｂ，１４４ｂにそれぞれ接続する。

補正演算部１４２は、補正値保持部１０４で保持されているフリッカの補正値を読み出し、スイッチ１４３，１４４がそれぞれ端子１４３ａ，１４４ａに接続されているとき、入力されてきた画像信号の画素の画素値から補正値を減算することにより、画素値を補正し、出力する。

次に、図６のフローチャートを参照して、図２の原色系のデジタル信号処理部１７によるデジタル信号処理について説明する。

ステップＳ１において、クランプ回路３１は、入力のRGBの原色信号の黒レベルを所定のレベルにクランプし、ゲイン調整回路３２に供給する。

ステップＳ２において、ゲイン調整回路３２は、クランプ回路３１より供給されてくるクランプ処理されたRGB信号を、露出量に応じてゲインを調整し、RGB信号のそれぞれについて、フリッカ低減部２１Ａ乃至２１Ｃにそれぞれ供給する。

ステップＳ３において、フリッカ低減部２１Ａ乃至２１Ｃは、それぞれフリッカ低減処理を実行し、ゲイン調整されたRGB信号のフリッカ成分を低減してホワイトバランス調整回路３３に出力する。尚、フリッカ低減処理については、図７のフローチャートを参照して後述する。

ステップＳ４において、ホワイトバランス調整部３３は、フリッカ成分が低減されたRGB信号に基づいて、ホワイトバランスを調整し、ガンマ補正部３４に供給する。

ステップＳ５において、ガンマ補正部３４は、ホワイトバランスが調整されたRGB信号をガンマ補正し、合成マトリクス回路３５に供給する。

ステップＳ６において、合成マトリクス回路３５は、ガンマ補正されたRGB信号より輝度信号Ｙおよび色差信号Ｒ−Ｙ，Ｒ−Ｂを生成し、出力する。

以上の処理によりデジタル信号に変換されたRGB信号よりフリッカ成分が低減された輝度信号Ｙおよび色差信号Ｒ−Ｙ，Ｒ−Ｂが生成される。尚、補色系のデジタル信号処理部１７によるデジタル信号処理については、色フィルタ５１を用いていることと、ゲイン調整回路３２の後段で、輝度信号Ｙが別処理されている点を除き、基本的には原色系の処理とほぼ同様の処理がなされているので、その説明は省略するものとする。

次に、図７のフローチャートを参照して、フリッカ低減処理について説明する。

ステップＳ２１において、バッファ１０１は、入力されてきた画像信号を、フィールド単位で順次バッファリングする。

ステップＳ２２において、積分処理部１０２は、バッファ１０１に格納された画像信号のうち、例えば、図８で示されるように、１フィールド分の画像信号を縦方向に複数に分割したブロックの領域に含まれる画素の画素値を順次積分し、ステップＳ２３において、積分値保持部１０３に供給して、保持させる。

ここで、図８においては、１フィールド分の画像信号が示されており、縦方向にｎ個のブロックＺ１乃至Ｚｎに分割されている。積分処理部１０２は、ブロックＺｉ（ｉは、１乃至ｎの自然数）に含まれる画素の画素値を積分し（全て加算し）、積分結果である積分値Int（ｉ）を積分値保持部１０３に保持させる。

ステップＳ２４において、積分値演算部１１１は、積分値保持部１０３に保持されている積分値Int（ｉ）を演算してフリッカの振幅および位相を抽出する元となる波形を生成する。より詳細には、積分値演算部１１１は、積分値保持部１０３に保持されている積分値Int（ｉ）のうち、図９で示されるように位相が180゜の関係にある2つのフィールドをそれぞれ２フィールド分選び(例えば、隣接フィールドを選び)、それらの積分値を用いて以下の式（１）の演算を実行し、波形Ｆｋ（ｉ）を計算する。

Fk（ｉ）＝（Int1(ｉ)−Int2（ｉ））/（Int1(ｉ)＋Int2（ｉ）） （if ｉ＝１，２・・ｎ）
Fk（ｉ）＝−Fk（ｉ−ｎ） （if ｉ＝ｎ＋１，ｎ＋２・・２ｎ）
（１）

ここで、Int1（１）乃至Int1（ｎ）は、図９のフィールドＦ１の各ブロックＺ１乃至Ｚｎの積分値であり、Int2（１）乃至Int2（ｎ）は、フィールドＦ２の各ブロックＺ１乃至Ｚｎの積分値である。また、フィールドＦ１，Ｆ２は、相互に隣接するフィールドである。さらに、Int1（ｎ＋１）乃至Int1（２ｎ）は、図９のフィールドＦ２に隣接する図示せぬフィールドＦ３の各ブロックＺ１乃至Ｚｎの積分値であり、Int2（ｎ＋１）乃至Int2（２ｎ）は、フィールドＦ３に隣接するフィールドＦ４の各ブロックＺ１乃至Ｚｎの積分値である。

式（１）においては、フィールドＦ３，Ｆ４の計算には、フィールドＦ１，Ｆ２の演算結果が用いられるため、読み込まれる積分値は、２フィールド分でよいことになる。

式（１）において計算される波形Ｆｋ（ｉ）は、図１０で示される点線のような波形となる。ここで、図１０においては、上からシャッタ速度が、１／２４０秒、１／５００秒、１／１０００秒のそれぞれのシャッタ速度におけるフリッカの波形（実線）と波形Ｆｋ（ｉ）との関係が示されている。また、図１０においては、横軸はブロックＺｉを示しており、縦軸は、振幅を示している。

図１０で示されるように、波形Ｆｋ（ｉ）の変化は、フリッカの波形変化に対して、シャッタ速度が低速時においては近い波形ではあるものの、高速になるに従って、異なる波形に変化していることが示されている。しかしながら、図１０におけるいずれにおいても、波形の丸印Ｒ１，Ｒ２，Ｒ１１，Ｒ１２，Ｒ２１，Ｒ２２の部分について注目すると、波形の位相と振幅については、一致していることが示されている。

そこで、位相振幅抽出ブロック１１２は、この波形Ｆｋ（ｉ）を用いることで、フリッカの位相と振幅を求める。この際、位相振幅抽出ブロック１１２は、図１１の領域Ａで示されるように、波形Ｆｋ（ｉ）の右上がりゼロクロス点をフリッカの立ち上がり位相とし、図１１の領域Ｂで示されるように、立ち上がり位相からπ／２位相が進んだ位置の振幅をフリッカの振幅とする。しかしながら、ブロックＺ１乃至Ｚｎの取り方により、必ずしもゼロクロス点が取れない可能性がある。

そこで、ステップＳ２６において、位相振幅抽出ブロック１１２は、ゼロクロス点が存在するか否かを確認する。例えば、ブロックＺ１乃至Ｚｎの取り方により、ゼロクロス点が存在しないと判定された場合、ステップＳ２７において、位相振幅抽出ブロック１１２は、内分点計算部１１２ａを制御して、ゼロクロス点となる内分点の位相を計算させる。例えば、図１２で示されるように、振幅ゼロを跨いで２つの積分値ａ，ｂが、それぞれ位相Ａ，Ｂ上に存在する場合、内分点計算部１１２ａは、内分点位相Ｉを以下の式（２）で示される演算処理を実行し、ゼロクロス点となる内分点位相Ｉを求める。

Ｉ＝Ａ＋（Ｂ−Ａ）×ａ／（ａ＋ｂ）
（２）

一方、ステップＳ２６において、ゼロクロス点が存在すると判定された場合、ステップＳ２７の処理はスキップされる。

ステップＳ２７において、位相振幅抽出部１１２は、上述したように、図１１の領域Ａで示されるように、波形Ｆｋ（ｉ）の右上がりゼロクロス点をフリッカの立ち上がり位相として抽出し、図１１の領域Ｂで示される、立ち上がり位相からπ／２位相が進んだ位置の近傍付近の振幅をフリッカの振幅として抽出し、フリッカ補正値生成部１１３に供給する。

ステップＳ２８において、関数選択部１１４は、メモリ１１４ａ内に予めシャッタ速度ごとに設定されているフリッカの波形を示す関数のうち、現在のシャッタ速度に近いフリッカ波形の関数（以下、フリッカ関数と称する）を選択して、フリッカ補正値生成部１１３に供給する。メモリ１１４ａには、例えば、図１３で示されるような、シャッタ速度ごとに設定されるフリッカの波形関数が格納されている。図１３においては、横軸が位相でり、縦軸が振幅であり、シャッタ速度が１／２４０秒、１／３２０秒、１／４８０秒、１／９６０秒、１／１０００秒のそれぞれの波形変化を示す関数の例が示されている。より具体的には、フリッカ関数Ｆｒ（φ）は、Ｆｒ（φ）＝Ａ×ｔ（θ−φ）で示されるような関数として格納されている。ここで、Ａは、振幅のパラメータであり、θは位相のパラメータであり、φはブロックＺ１乃至Ｚｎに対応したパラメータであり、ｔ（）は、図１３で示されるシャッタ速度に応じた波形変化を示す関数となる。

ステップＳ２９において、フリッカ補正値生成部１１３は、関数選択部１１４より供給されてきたフリッカ関数に、位相振幅抽出部１１２より供給されてきた位相と振幅のパラメータを代入することにより、論理的なフリッカ波形の関数を生成し、ブロック毎に対応するフリッカの値を求め、これをフリッカ補正値としてテーブル化し、フリッカ補正値保持部１０４に供給する。

ステップＳ３０において、フリッカ補正値保持部１０４は、フリッカ補正値生成部１１３より供給されてきたブロック毎のフリッカ補正値をテーブル化して保持する。

ステップＳ３１において、補正部１０５は、バッファ１０１に格納されている各画素について、フリッカ補正値保持部１０４よりブロック単位の補正値を読み出して、補正演算処理を実行し、画素値に含まれるフリッカ成分を低減させて出力する。尚、補正演算処理については、図１４を参照して後述する。

以上の処理により、ブロック単位の画素値の積分値により求められるフリッカ波形に近い波形Ｆｋより振幅および位相を求め、予めシャッタ速度ごとに設定された関数に代入することで得られる理論的なフリッカ関数により、フリッカの補正値を設定することで、シャッタ速度に対応してフリッカによる影響を低減させることが可能となる。

次に、図１４のフローチャートを参照して、補正演算処理について説明する。

ステップＳ５１において、飽和レベル判定部１４１は、バッファ１０１に格納されている未処理の画素の画素値を読み出す。

ステップＳ５２において、飽和レベル判定部１４１は、画素値が飽和しているか、すなわち、最高画素値となっているか否かを判定する。ステップＳ５２において、画素値が飽和している、すなわち、最高画素値であると判定された場合、ステップＳ５７において、スイッチ１４３，１４４を制御して、いずれも端子１４３ａ，１４４ａに接続し、その処理は、ステップＳ５１に戻る。

一方、ステップＳ５２において、画素値が飽和していないと判定された場合、ステップＳ５３において、飽和レベル判定部１４１は、スイッチ１４３，１４４を制御して、いずれも端子１４３ｂ，１４４ｂに接続し、その処理はステップＳ５４に進む。

ステップＳ５４において、補正演算部１４２は、フリッカ補正値保持部１０４にアクセスし、スイッチ１４３を介して供給されてきた画素値の属するブロックに対応する補正値を読み出し、処理対象の画素値より補正値を減算することで、補正演算する。すなわち、補正値は、フリッカ関数により求められたフリッカ成分の振幅そのものであるため、画素値に重畳されたフリッカ成分を減算により低減させる。

ステップＳ５５において、補正演算部１４２は、補正演算した画素値をスイッチ１４４を介して出力する。

ステップＳ５６において、飽和レベル判定部１４１は、バッファ１０１に格納されている未処理の画素が存在するか否かを判定し、未処理の画素がある場合、処理は、ステップＳ５１に戻り、それ以降の処理が繰り返され、未処理の画素がないと判定された場合、その処理は、終了する。

以上の処理により、画素値が飽和しているような場合、画素値が正しく表現されていないようなことがあるので、飽和されている画素値については補正処理を施すことなく出力し、飽和していない画素値については、理論的に求められたフリッカ成分そのものである補正値を減算することにより、フリッカによる影響を低減させる事が可能となる。

尚、以上においては、隣接する２フィールドの積分値を用いる例について説明してきたが、フリッカの周期と撮像周期は整数倍であるため、２フィールドの倍数に１回、位相を見たときその変動はごく僅かである。したがって、必ずしも毎フィールドごとにフリッカ関数を設定する必要はなく、例えば、4フィールドに１回程度の間欠的な処理でも、事実上、補正の性能を損うことはない。そこで、２フィールド（またはフレーム）分の積分値を保持し、4フィールドに一度の処理とすることで、システムコントローラ１８は60Hzで動作すればよくなり、システムコントローラ１８の処理負荷を低減することが可能となる。

また、例えば、信号としてRGB信号を扱う場合、これらを同時に処理するためには積分処理部１０２および積分値保持部１０３がそれぞれ３個必要であるが、同様の理由から毎フィールド処理をする必要はないため、RGB信号を時分割処理することにより、回路規模を小さくすることが可能となる。

さらに、以上においては、フィールド単位で処理する例について説明してきたが、必ずしもフィールド単位の処理である必要はなく、例えば、フレーム単位で処理するようにしても良い。

本発明の一側面によれば、照明の光量変動周期の１／２ｎ（ｎは自然数）の周期で撮像するXYアドレス走査型撮像素子を用いた撮像装置および方法、並びにプログラムであって、画像を複数に分割した各領域内の画素の画素値を積分し、積分値を保持し、フリッカの位相差が180度となる2つの画像の同じ領域の積分値間の差分値の波形を演算し、演算した積分値間の差分値の波形に基づいて、フリッカの位相および振幅を抽出し、撮像装置のシャッタ速度からフリッカの波形を選択し、選択したフリッカ波形、並びに、抽出した位相および振幅に基づいた補正値で前記画素の画素値を補正するようにした。

結果として、XYアドレス走査型撮像素子を用い、照明の光量変動周期の半分の周期で撮像を行う(高速撮像)カメラにおいて、フリッカを低減させる事が可能となる。また、シャッタ速度が変化した場合でも適切なフリッカを低減させる事が可能となる。さらに、シャッタ速度が速い場合でも適切なフリッカー補正できる。システムコントローラ１８の処理負荷を低減させる事が可能となる。積分処理部の回路規模を低減させることが可能となる。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１５は、図１のフリッカ低減部２１の電気的な内部構成をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU３０１は、パーソナルコンピュータの全体の動作を制御する。また、CPU３０１は、バス３０４および入出力インタフェース３０５を介してユーザからキーボードやマウスなどからなる入力部３０６から指令が入力されると、それに対応してROM(Read Only Memory)３０２に格納されているプログラムを実行する。あるいはまた、CPU３０１は、ドライブ３１０に接続された磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリを含むリムーバルメディア３２１から読み出され、記憶部３０８にインストールされたプログラムを、RAM(Random Access Memory)３０３にロードして実行する。これにより、上述した図１の編集装置１の機能が、ソフトウェアにより実現されている。さらに、CPU３０１は、通信部３０９を制御して、外部と通信し、データの授受を実行する。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図１５に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３２１、または、プログラムが一時的もしくは永続的に格納されるROM３０２や、記憶部３０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部３０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した撮像装置の一実施の形態の構成を示す図である。 図１のデジタル信号処理部の一実施の形態の構成を示す図である。 図１のデジタル信号処理部のその他の形態の構成を示す図である。 図１のフリッカ低減部の一実施の形態の構成を示す図である。 図１の補正部の一実施の形態の構成を示す図である。 デジタル信号処理を説明するフローチャートである。 フリッカ低減処理を説明するフローチャートである。 積分処理の単位であるブロックを説明する図である。 積分値演算部の処理を説明する図である。 積分値演算部の処理を説明する図である。 位相と振幅を求める処理を説明する図である。 内分計算によるゼロクロス点の求め方を説明する図である。 シャッタ速度とフリッカを説明する図である。 補正処理を説明するフローチャートである。 媒体を説明する図である。

符号の説明

２１ フリッカ処理部， １８ システムコントローラ， １０１ バッファ， １０２ 積分処理部， １０３ 積分値保持部， １０４ フリッカ補正値保持部， １１１ 積分値演算部， １１２ 位相振幅抽出部， １１２ａ 内分計算部， １１３ フリッカ補正値生成部， １１４ 関数選択部， １１４ａ メモリ

Claims (7)

1. 照明の光量変動周期の１／２ｎ（ｎは自然数）の周期で撮像するXYアドレス走査型撮像素子を用いた撮像装置において、
   画像を複数に分割した各領域内の画素の画素値を積分する積分手段と、
   前記積分手段の積分値を保持する保持手段と、
   フリッカの位相差が180度となる2つの前記画像の同じ領域の積分値間の差分値の波形を演算する演算手段と、
   前記演算手段により演算された積分値間の差分値の波形に基づいて、前記フリッカの位相および振幅を抽出する抽出手段と、
   前記撮像装置のシャッタ速度から前記フリッカの波形を選択する選択手段と、
   前記選択手段により選択されたフリッカ波形、並びに、前記抽出手段により抽出された位相および振幅に基づいた補正値で前記画素の画素値を補正する補正手段と
   を含む撮像装置。
2. 前記選択手段は、
   前記シャッタ速度をパラメータとして、前記フリッカ波形を特定する関数を記憶する関数記憶手段をさらに含み、
   前記撮像装置のシャッタ速度に基づいて、前記関数記憶手段に記憶された関数から前記フリッカの波形を選択する
   請求項１に記載の撮像装置。
3. 前記積分手段、前記保持手段、前記演算手段、前記抽出手段、または前記選択手段のうちの少なくともいずれかは、撮像周期に対して間欠的に処理を実行する
   請求項１に記載の撮像装置。
4. 前記積分手段、前記保持手段、前記演算手段、前記抽出手段、または前記選択手段のうちの少なくともいずれかは、時分割によって色別に処理する
   請求項１に記載の撮像装置。
5. 照明の光量変動周期の１／２ｎ（ｎは自然数）の周期で撮像するXYアドレス走査型撮像素子を用いた撮像装置の撮像方法において、
   画像を複数に分割した各領域内の画素の画素値を積分する積分ステップと、
   前記積分ステップにより積分値を保持する保持ステップと、
   フリッカの位相差が180度となる2つの前記画像の同じ領域の積分値間の差分値の波形を演算する演算ステップと、
   前記演算ステップの処理で演算された積分値間の差分値の波形に基づいて、前記フリッカの位相および振幅を抽出する抽出ステップと、
   前記撮像装置のシャッタ速度から前記フリッカの波形を選択する選択ステップと、
   前記選択ステップの処理により選択されたフリッカ波形、並びに、前記抽出ステップの処理により抽出された位相および振幅に基づいた補正値で前記画素の画素値を補正する補正ステップと
   を含む撮像方法。
6. 照明の光量変動周期の１／２ｎ（ｎは自然数）の周期で撮像するXYアドレス走査型撮像素子を用いた撮像装置を制御するプログラムにおいて、
   画像を複数に分割した各領域内の画素の画素値を積分する積分ステップと、
   前記積分ステップにより積分値を保持する保持ステップと、
   フリッカの位相差が180度となる2つの前記画像の同じ領域の積分値間の差分値の波形を演算する演算ステップと、
   前記演算ステップの処理で演算された積分値間の差分値の波形に基づいて、前記フリッカの位相および振幅を抽出する抽出ステップと、
   前記撮像装置のシャッタ速度から前記フリッカの波形を選択する選択ステップと、
   前記選択ステップの処理により選択されたフリッカ波形、並びに、前記抽出ステップの処理により抽出された位相および振幅に基づいた補正値で前記画素の画素値を補正する補正ステップと
   を含むコンピュータが読み取り可能なプログラムが記録された記録媒体。
7. 照明の光量変動周期の１／２ｎ（ｎは自然数）の周期で撮像するXYアドレス走査型撮像素子を用いた撮像装置を制御するコンピュータに、
   画像を複数に分割した各領域内の画素の画素値を積分する積分ステップと、
   前記積分ステップにより積分値を保持する保持ステップと、
   フリッカの位相差が180度となる2つの前記画像の同じ領域の積分値間の差分値の波形を演算する演算ステップと、
   前記演算ステップの処理で演算された積分値間の差分値の波形に基づいて、前記フリッカの位相および振幅を抽出する抽出ステップと、
   前記撮像装置のシャッタ速度から前記フリッカの波形を選択する選択ステップと、
   前記選択ステップの処理により選択されたフリッカ波形、並びに、前記抽出ステップの処理により抽出された位相および振幅に基づいた補正値で前記画素の画素値を補正する補正ステップと
   を含む処理を実行させるプログラム。

Images