JP2011193065A

JP2011193065A - 撮像装置

Info

Publication number: JP2011193065A
Application number: JP2010055253A
Authority: JP
Inventors: Hiroyuki Miyahara; 宏幸宮原; Teru Ando; 輝安藤
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2010-03-12
Filing date: 2010-03-12
Publication date: 2011-09-29
Also published as: CN102196184A; US20110221929A1

Abstract

【課題】商用交流電源に依存して点灯している蛍光灯やLED照明等から発生しているフリッカは、絞り固定カメラではシャッタをフリッカの発生しないシャッタ速度に固定することができない。また、監視カメラ等では画像の1つ1つが重要な情報となるため、シャッタを高速に設定した場合でも動きのある被写体に対し残像やブレのない画像を取得することが必要であった。
【解決手段】フリッカ有と判定した時はCCDセンサのシャッタ制御を行っている電荷掃き捨てパルスと電荷読み出しパルスのタイミングを各フィールドで可変させ、各フィールドで照明の発光周期の同位相部をカメラが露光できるように制御する。また、カメラが露光する照明の発光周期におけるタイミングは最も露光量を確保できる部分を露光するように位相ポイントを選択する処理を制御開始直後に実行する。これにより、一定周期で点灯と消灯を繰り返し発光する光源に対しても、フリッカのない露光をすることができる。
【選択図】図３

Description

本発明は、周期的発光光源によるフリッカの除去を行う撮像装置およびその制御方法に関する。

光学画像を電気信号に変換する撮像素子として、例えばCCDセンサなどの固体撮像素子が民間製品や監視向け製品などのカメラ製品に広く用いられている。これらカメラ製品は、絞り、電子シャッタを用いる撮像素子のシャッタ速度、AGC(Automatic Gain Control)、NDフィルタ等による露光制御を行っており、所定の露光目標値に到達させるように自動露光制御(Auto Exposure Control:以下AEと略す）を行って、一定の露光量を得るようにしている。撮像素子にCCDセンサを用いる場合は電荷蓄積量を制御することになる。

上記AEは、上述した絞り、シャッタ速度（シャッタ開放時間）、AGCゲイン制御のうちどの方法を選択するかをカメラの照度レベルに応じて決定するプログラムAEを用いている。プログラムAEにはシャッタ速度固定プログラムAE、絞り固定プログラムAEなど様々な種類があり、撮影シーンや環境によって使い分けている。

プログラムAEでは、非インバータ方式の蛍光灯やLED照明など商用電源周波数に依存して光量が周期的に変動する光源を用いたシーン撮影時に、商用電源周期と一コマのカメラ画像を出力する１フィールドの周期が異なるとフィールド間の電荷蓄積量に差が生じ画像のちらつきであるフリッカが発生することから、フリッカの除去処理は必須技術である。

図１に周期100[Hz]で電荷蓄積量が周期的に変動する蛍光灯フリッカについて示す。(a)の光源発光周期に示す様に、商用交流電源周波数50[Hz]使用時の非インバータ方式の蛍光灯（以後蛍光灯と略す）では電源周波数50[Hz]の2倍である100[Hz]の周期で蛍光灯の発光量が変化している。

(b)は発光周期100[Hz]の蛍光灯を、テレビ放送方式のNTSC規格である毎秒60フレームの画像を出力するビデオカメラでシャッタ速度1/180[秒]に設定した時の各フィールドにおけるCCDセンサの電荷蓄積量を示す。(c)はCCDの電荷掃き捨てパルスによる電荷の蓄積開始タイミング、(d)がCCDの電荷転送パルスによる電荷の蓄積終了タイミングを示す。発光量が変わると、(b)の様に同一被写体に対しても各フィールド間でCCDセンサの電荷蓄積量が異なってしまい、この差がフリッカを発生させ記録した画像を劣化させてしまう。

これは商用交流電源の周波数をT[Hz]とした時にn/2T[秒](nは自然数:n = 1,2,3…)にシャッタ速度を固定して除去できることが知られている。すなわち(e)に示すように発光周期100[Hz]の蛍光灯で(f)の蓄積開始と(g)の蓄積終了タイミングでシャッタ速度を光源発光周期と同じ1/100[秒]に固定すれば、各フレームで同じ電荷蓄積量を確保することができフリッカは発生しなくなる。従来、蛍光灯フリッカに対して商用交流電源の周波数がＴ[Hz]である時、n/2T[秒]にシャッタ速度に固定することはフリッカを発生させなくすることができる有効な手段であった（逆にシャッタ速度n/100[秒]以外であれば、フィールド間で電荷蓄積量に差が生じフリッカが発生する）。

また、近年需要の増加した商用交流電源により発光するLEDパネル等のLED照明を用いた場合でも、同様にカメラ画像はLED照明からのフリッカの影響を大きく受けることになる。LED照明は蛍光灯とは発光特性が違い、印加する電圧が閾値を越えると速やかに発光して点灯と消灯を繰り返して発光しており、蛍光灯より発光強度が大きい為に激しいフリッカが発生する。

LED照明は近年様々な用途で幅広く活用され始めている。LEDの点灯方法には、直流点灯とパルス点灯の2種類があり、LED照明の発光は身近な商用交流電源を利用したパルス点灯で発光していることが多い。LED照明を用いた機器の一つである信号機では、信頼性を考慮して、LEDの素子点灯は単純な駆動回路構成とし、商用交流電源を全波整流した電圧を印加することで発光しており、その発光周期は非インバータ方式の蛍光灯と同じく2T[Hz]である。よって、蛍光灯フリッカの時と同じようにn/2T[秒]にシャッタ速度を固定することでフリッカを除去できる。

図２に周期100[Hz]で電荷蓄積量が周期的に変動するLEDフリッカについて示す。(a)は商用交流電源の周期50[Hz]に同期して発光するLEDの発光周期を示す。(b)のシャッタ速度1/180[秒]に固定しNTSC周期60[Hz]のカメラで(c)の蓄積開始と(d)の蓄積終了タイミングで電荷を蓄積した時と、(e)のシャッタ速度1/100[秒]に固定して(f)の蓄積開始と(g)の蓄積終了タイミングで電荷を蓄積したときの例を示す。

LEDは消灯と点灯を繰り返したほぼ矩形波で発光しており、NTSC規格カメラの60[Hz]の周期では光源発光周期と同じ1/100[秒]のシャッタ速度に設定してフリッカを除去することができる。シャッタ速度1/180[秒]に設定した場合には、LEDが周期100[Hz]で点灯、消灯を繰り返して発光しているので各フィールドで蓄積している点灯部と消灯部のどの位相部を蓄積しているかが異なり、各フィールド間で電荷蓄積量が大きく異なってしまいフリッカが激しくなる。

しかし、上記シャッタ速度固定によるフリッカ防止露光制御は、シャッタによる露光調整ができないという問題があった。この問題を解決するために、特許文献1では各カメラ周期でシャッタを略均等に所定回数設定し露光を行ってフリッカを低減させつつ、シャッタによる露光調整を可能にする方法が開示されている。更には特許文献１を改善させた特許文献2では、各カメラ周期でフリッカ周期と同じ期間内にシャッタを略均等に所定回数設定させる方法により、フリッカを確実に除去させつつ、シャッタによる露光調整を可能にする方法が開示されている。

特開平8-294058号公報特開平11-155106号公報

近年の凶悪犯罪の増加からセキュリティ分野への関心が高まり、犯罪の防止や証拠の記録を目的とした撮像装置として監視カメラの需要は増加してきている。監視カメラは民生品のカメラと異なり、銀行、エレベータ、駐車場、道路、車などに固定した状態で使用されることが大半であり画像に映る1コマが大切な情報となる。

例えば、エレベータ内に設置されるエレベータカメラやエスカレータの監視用小型カメラ、また車両の走行中に起こった何らかの衝撃直前の数十秒間画像データを保存・記録し、事故の検証や分析に用いるドライブレコーダでは、構造を単純にするため絞り固定カメラが多く、シャッタとAGCのみで露光調整しなければならない。撮影した画像中には蛍光灯やLED照明等の光源による照明光を含むシーンが多く含まれており、照明光の発光周期によるフリッカが原因で画像上の必要な情報の欠落や画像劣化を招くことがあるので、フリッカ除去処理が必ず必要となる。

この監視カメラにおけるフリッカの解決手段として、特許文献1や特許文献2に示された各カメラ周期でシャッタを略均等に所定回数設定する露光制御により、フリッカを低減または除去しつつシャッタで露光調整可能にするという方法は、手法として各カメラ周期で複数回露光し各露光量を加算するため、動きのある被写体に対しては通常シャッタ速度制御に比べて残像やブレを発生させてしまうという問題があった。監視カメラにおいてはフリッカを低減または除去することが重要であると共に、画像の一つ一つが重要な情報となるため、動きのある被写体に対しても残像やブレを発生させず劣化のない情報を入手できることが望ましい。

本発明は、画像出力単位である固有のフィールド周期を持つ撮像装置を用いて、特定周期で発光する光源によりCCDセンサで記録を行う撮像装置の露光制御方法において、前記CCDセンサの露光制御のためのシャッタ速度制御に、露光開始時の電荷掃き捨てパルスと、露光終了時の電荷読み出しパルスの印加タイミングを各フィールドで可変させ、露光期間をフィールド内でシフトさせる露光期間シフト量によるシャッタ速度制御を行い、各フィールドにおいて前記光源発光周期の同位相部を前記CCDセンサで露光してフリッカを除去することを特徴とする。

また、露光開始時の電荷掃き捨てパルスと、露光終了時の電荷読み出しパルスの印加タイミングを各フィールドで可変させる際、制御開始直後に、所定フィールドの露光量をサンプリングし、最も露光量の大きいフィールドにおける露光期間シフト量を選択することを特徴とする。

また、光源の発光周期Tに対し、前記撮像装置のシャッタ速度が1/2Tと等しいか、またはそれより大きいことを特徴とする。

また、露光期間シフトシャッタ速度制御は、所定数の連続したフィールドを単位として繰り返し実行されることを特徴とする。

また、撮像装置のCCDセンサは、撮像装置のフィールド毎に画像メモリを介して画像出力を行うことを特徴とする。

また、撮像装置のCCDセンサは、前記CCDセンサから得られた画像データの出力と保存を行うフィールドと、保存された画像データを用いて画像データの出力を行うフィールドを交互に持つことを特徴とする。

さらに、特定周期で発光する光源により照明された物体の画像を撮影するレンズと、撮影された画像を画像信号に変換するCCDセンサと、画像信号のフリッカを判別しフリッカ除去を指示するフリッカ制御部と、該フリッカ制御部の指示により露光を制御する露光制御部と、該露光制御部の指示により前記CCDセンサのシャッタ速度制御を行うシャッタ制御部を備えた画像処理装置を有し、画像出力単位である固有のフィールド周期を用いて記録を行う撮像装置において、前記シャッタ制御部は、前記CCDセンサに露光開始時の電荷掃き捨てパルスと、露光終了時の電荷読み出しパルスの印加タイミングを各フィールドで可変させ、露光期間をシフトさせてシャッタ速度制御を行い、各フィールドにおいて前記光源発光周期の同位相部を前記CCDセンサで露光することを特徴とする。

さらに、シャッタ制御部は露光開始時の電荷掃き捨てパルスを生成する電荷掃き捨てパルス生成部と、露光終了時の電荷読み出しパルスを生成する電荷読み出しパルス生成部と、前記電荷掃き捨てパルス生成部および電荷読み出しパルス生成部のパルス生成を制御するパルスタイミング管理部を有することを特徴とする。

本発明は、撮像素子にCCDセンサを用いた撮像装置において、商用電源周期等に依存して発光する周期性発光光源による画像フリッカに対し、カメラ撮像周期内で電荷蓄積の開始タイミングをシフトさせてフリッカ発生を防止し、かつ動的被写体の残像やブレを発生させることなく、高速シャッタ速度に設定することができる。

非インバータ方式の蛍光灯撮影時におけるフリッカ発生とフリッカ非発生状態を示す説明図である。商用交流電源により発光するLED照明撮影時におけるフリッカ発生とフリッカ非発生状態を示す説明図である。本発明の実施形態におけるフリッカ除去処理を実装した撮像装置のブロック図である。プログラムAEによる照度値での露光制御方法を示す説明図である。シャッタ速度制御の処理を示すフローチャートである。一般的なCCDセンサの構造を示す模式図である。露光期間シフトシャッタ速度制御時の画像信号出力方法の模式図である。露光期間シフトシャッタ速度制御方法を示す説明図である。初期露光期間シフト量の選択方法を示す説明図である。露光期間シフトシャッタ速度制御により蛍光灯フリッカの非発生状態を示す説明図である。露光期間シフトシャッタ速度制御によりLED照明によるフリッカの非発生状態を示す説明図である。

本発明による撮像装置における実施形態を、図3を用いて説明する。
Ａ．撮像装置システムの基本構成
(1) 撮像装置システムの説明
図３は、本発明による実施形態である、フリッカ除去機能を有する制御回路を内蔵した絞り固定カメラを持つ撮像装置の概略を示すブロック図である。

まず、撮影及び記録時の動作及び信号の流れを説明する。撮影された画像は、図中のレンズユニット103内のレンズ101から取り込まれる外部光の光量を調整するアイリス102を経て、垂直転送CCDと水平転送CCDを持つ撮像素子のCCDセンサ104に照射され、光電変換されて画像信号となってAFE回路（Analog Front End Circuit；以下AFEと略す）108に入力する。AFE108にて、相関二重サンプリング部(Correlated Double Sampling;以下CDSと略す)105、アナログAGC106、A/D部107を経由して、CDS制御、利得制御を行い、アナログ−デジタル変換された画像信号に変換される。

AFE108から出力された画像信号は、画像処理LSI127内のデジタルAGC109によってゲイン制御後、輝度信号・色信号生成部110にて輝度信号と色信号を生成し、各種画像処理部111にて輪郭補正、ホワイトバランス調整、ノイズ除去などを行う。

次いで、画像メモリ112によって1フレーム分の画像がメモリされ、メモリされた画像から画像出力処理部113にて、例えばNTSC規格やPAL規格等の所定のテレビジョン方式に準拠した標準的なテレビジョン信号に変換して外部へ出力され、記録装置129にて記録媒体への記録処理が行われる。

また、本撮像装置は各種データを記憶している記憶部130を有し、画像処理LSI128の制御はマイコン制御部131によって行っている。このように各種の処理手段が単一のLSIに集約されている。画像処理LSI128の制御機能の一部はハードウェアではなくマイコンのソフトウェア等で行ってもよく、これに限定されるものではない。
(2)カメラ露光制御
次に、カメラの露光制御について説明する。図３において、AFE108から出力された画像信号は、画像処理LSI128内の信号レベル検出部114に供給され、現在1フィールドの画像信号レベル値1Aを検出する。この現在のフィールド信号レベル値1Aと記憶部データ参照部115を介して記憶部130から入手した所定の露光目標値である目標信号レベルTARGETとを補正量算出部116にて比較し露光補正量を算出する。現在のフィールド信号レベル値1Aと目標信号レベルTARGETから露光補正量Z[dB]は、補正量算出部116で次式
Z = 20xLOG(1A/TARGET) [dB] ・・・・・・(1)
より利得として算出する。次いで、露光制御部120において、露光補正量Zが0dBになるようにシャッタ速度、AGCの露光制御パラメータ内から一つを選択してデバイス制御部127で選択したデバイスを制御して露光制御を行う。
(3)デバイス制御部
図３において、デバイス制御部127は、シャッタ制御部121とAGC制御部122から構成され、シャッタ制御部121またはAGC制御部122のいずれかを動作させて、現在のフィールド信号レベル値1Aが目標フィールド信号レベルTARGETに近づくように露光制御を行っている。

シャッタ制御部121は、パルスタイミング管理部123、電荷掃き捨てパルス生成部124、電荷読み出しパルス生成部125および転送パルス生成部126からなる。

シャッタ制御部121は、CCDセンサ内のフォトダイオードの電荷を捨てる電荷掃き捨てパルスと、CCDセンサのフォトダイオードの電荷を垂直CCDに転送する電荷読み出しパルス、垂直CCD、水平CCDの電荷を転送する垂直転送パルスと水平転送パルスからなる転送パルスを印加して制御することで、電荷蓄積量を調整して露光制御を行う。

AGC制御部122はAFE108に内蔵するアナログAGC106の利得を調整することで感度を調整して露光制御を行う。
(4)デバイス制御部の露光制御切替え
図４は、プログラムAEによって照度レベルに応じて、デバイス制御部127のシャッタ制御部121とAGC制御部122のどちらで制御するかの基準を示す説明図である。露光制御部120において、画像信号レベルが300Luxより低い時は、低照度環境であるためCCDセンサの信号レベルの利得を上げるように従来のAGC制御が選択され、それ以上の明るい照度環境では本発明のシャッタ速度制御が選択され適切な露光に調整される。
(5)フリッカ制御部
次にフリッカ制御部132について説明する。図３においてフリッカ制御部132は、信号レベル差分/平均演算部117、フリッカ判定部118およびフリッカ除去制御部119からなり、フリッカ除去制御を行う。

信号レベル差分/平均演算部117は、フリッカ判定を行うフリッカ判定部118に必要な情報である、信号レベル差分値DIFFと平均フィールド信号レベルAVEとを生成している。
信号レベル差分値DIFFは、記憶部130に保持された前フィールド信号レベル1AOLDと現在のフィールド信号レベル1Aから次式
DIFF = 1AOLD − 1A ・・・・・・(2)
により計算する。

記憶部130に保存されている平均フィールド信号レベルAVEは、電源投入時の初回のみ信号レベル検出部114で検出された信号レベル1Aを記憶部データ参照/記憶部115を介して記憶部130に記憶する。その後は、信号レベル検出部114で検出された現在のフィールド信号レベル1Aと記憶部130に保持する平均フィールド信号レベルAVEを、信号レベル差分/平均演算部117にて、次式に基づいて計算し、
AVE = (1A + AVE)/2 ・・・・・・(3)
計算後の新たな平均フィールド信号レベルAVEを、記憶部データ参照/記憶部115を介して記憶部130に記憶する。以下この処理をフィールド毎に繰り返す。

フリッカ判定部118では、上記DIFFとAVEのそれぞれがフリッカ判定部118内部で定められた閾値TDIFF、TAVE以上であるかどうか判定を行い、共に閾値以上であればフリッカ有りと判定する。具体的には、信号レベル差分／平均演算部117は記憶部130から前フィールドで算出した平均フィールド信号レベルAVEを記憶部データ参照/記録部115を介して取得し、現在のフィールド信号レベル値1AとAVEの平均を式(3)より計算し、再び記憶部130に信号レベル平均値AVEとして保持し、このAVEが閾値TAVE以上であるか判定を行い、また式(2)より計算されたDIFFが閾値TDIFF以上であるか判定を行う。ただし、本フリッカ判定方法は一例であり、これに限定されることはない。
これを受けて、フリッカ除去制御部119は、露光制御部120に対しフリッカ除去を指示する。露光制御部120は、さらにデバイス制御部127にフリッカ除去処理を指示する。
(6)フリッカ除去処理
フリッカ除去処理は、図３のデバイス制御部127内において、シャッタ制御部121でCCDセンサ104の各フィールドの露光開始位置と露光終了位置をシフトしたシャッタ速度制御を行うことによってフリッカ除去を行う露光期間シフト処理 (処理1)と、信号レベル検出部114から得られるフィールド信号レベル1Aから信号変動分を計算し、フリッカ制御部132を介してデジタルAGC部109で補正を行ってフリッカ除去を行う公知のＡＧＣ処理(処理2)とを備える。

露光制御部120は、まずフリッカ有りと判定された際には、デバイス制御部127のシャッタ制御部121に指示を出し、処理1である各フィールドの露光開始位置をシフトする露光期間シフトシャッタ速度制御が選択される。それでもフリッカが適切に除去しきれなかった場合には、デジタルAGC109を作動させて処理2であるフリッカによる信号変動分を計算してデジタルAGCで補正するフリッカ除去処理を実行する。
(7)フリッカ除去時のシャッタ速度制御切替え
図５に、フリッカ判定部118でフリッカ除去処理1の時に実行するシャッタ速度制御の切替えについてのフローチャートを示す。ステップS501では、設定するシャッタ速度がフリッカを除去できるシャッタ速度1/2T[秒]以上であるか判定を行う。シャッタ速度1/2T[秒]以上の時にはS502にて本発明の露光期間シフトシャッタ速度制御を行う。シャッタ速度が1/2T[秒]よりも低速の時には、ステップS503で従来のシフトなしのシャッタ速度制御を行う。Tは光源発光周波数である。

S502の露光期間シフトシャッタ速度制御は、1/2T[秒]以上の高速なシャッタ速度において、フリッカの発生を完全に除去させかつ動きのある被写体に対して残像やブレを発生させない制御方法である。しかし、1/2T[秒]未満のシャッタ速度の際には露光期間シフトシャッタ速度制御は実行できないので、この低速シャッタ速度に対応するため、フリッカ判定部118でフリッカありと判定された場合は処理2を常に実行可能にしておく。
(8)露光期間シフト制御用CCDセンサ
次に露光期間シフトシャッタ速度制御に用いるCCDセンサについて説明する。使用可能なCCDセンサは、一般的な水平CCDと垂直CCDを各1系統持つプログレッシプ方式またはインターレース方式のCCDセンサ、もしくは電荷を転送する垂直CCDを2系統持つCCDセンサ、あるいは各画素にフォトダイオードの電荷を一時的に保存しておくための記録素子を搭載したCCDセンサ等、種々のCCDセンサが使用される。本実施例では構造が単純な一般的な水平CCDと垂直CCDを各1系統持つCCDセンサを用いて説明する。

図６に水平CCDと垂直CCDを各1系統持つ一般的なCCDセンサ200の構造を示す。１フィールド期間中にCCDセンサ200上のフォトダイオード201に蓄積された電荷に対して掃き捨てと読み出しが行われる。フォトダイオード201の電荷は電荷掃き捨てパルスによって一旦掃き捨てられ、電荷読み出しパルスによって垂直CCD202に全画素の電荷が転送され、垂直CCD202に転送された各フォトダイオードの電荷は垂直転送パルスによって水平CCD203へ１ライン単位で運ばれ、更に水平転送パルスによって水平CCD203から出力端子に1画素単位で運ばれて、FDアンプ204で電荷を電気信号に変える電荷の検出が行われ各画素の電気信号がCCDセンサから出力されている。
Ｂ．露光期間シフトシャッタ速度制御
次に、本発明における露光期間シフトシャッタ速度制御方法について詳細に説明する。
(1)露光期間シフトシャッタ速度時の画像出力方法
図７は露光期間シフトシャッタ速度制御時の画像信号出力方法を説明する模式図である。露光期間シフトシャッタ速度制御に一般的な処理速度を持つCCDセンサを使用した場合には、通常のシャッタ速度制御では1フィールドごとに画像メモリを介して画像出力していた1フィールドで完結するのに対して、2フィールドを必要とする。すなわち、図７中処理A1、処理A2…を処理A、処理B1、処理B2…を処理Bとすれば、処理の異なる処理Aと処理Bの2つの処理で1プロセスが完結する。

図７の処理B毎にCCDセンサから得られた画像データの出力と保存を行い、処理Aでは処理Bで保存した画像データを使用して画像出力を行い、このプロセスを反復実行している。画像データの保存は図３中の画像メモリ112で行い、画像出力は画像出力処理部113から行っている。

ただし、上記2フィールド処理を1フィールド内で処理できる高速CCDセンサであれば、処理Aと処理Bに分ける必要はなく1フィールドで処理することも可能である。例えば、CCDセンサ駆動を通常よりも倍速で駆動させる場合には、例えばNTSC規格のカメラで1フィールド1/60秒で処理しているものを、CCDセンサの動作クロックを2倍にして倍速駆動させ、1フィールド内に処理AでCCDセンサのフォトダイオードに蓄積した電荷を垂直CCDに転送した直後即座に処理Bにて垂直転送パルスと水平転送パルスの印加を倍速で行うことにより、処理BとAを1フィールド期間内に実行でき、別フィールドに分ける必要はない。
(2)露光期間シフトシャッタ速度制御
以下露光期間シフトシャッタ速度制御時の処理Aと処理BのCCDセンサの制御方法について説明する。図８は露光期間シフトシャッタ速度制御を示すものである。図中では処理A、処理Bを行う各フィールド時間をN8[秒]、設定するシャッタ速度をn8[秒]、各(X-1)フィールド、Xフィールド、(X+1)フィールドにおける露光期間シフト量をそれぞれS(X-1)[秒]、SX[秒] 、S(X+1)[秒]としている。

露光期間シフト量とは、各フィールドで光源発光周期の同位相部をCCDセンサで露光するように、露光開始となる電荷掃き捨てパルスと露光終了となる電荷読み出しパルスを印加するタイミングを各フィールドで可変させるためのシフト量を決めるものである。シャッタ速度が同じであっても、上記シフト量に応じて各フィールドで電荷蓄積開始と電荷蓄積終了のタイミングが異なる。

また、露光期間シフトはY[field]で完結するように設定されており、図８中ではS(X-1)[秒]、SX[秒] 、S(X+1)[秒]からなる露光期間シフトをシフト実行(X-1)回目、シフト実行X回目、シフト実行(X+1)回目の３つのX[field]からなる１Y[field]のサイクルで繰り返すものとする。

通常のシャッタ速度制御では電荷掃き捨てパルスの印加によりフォトダイオードに蓄積された電荷を電荷読み出しパルスの印加により垂直CCDへ全画素の電荷を転送し、垂直CCDと水平CCDにより垂直転送と水平転送を繰り返してCCDセンサから信号出力している。電荷読み出しパルスの印加は各フィールド周期の境界で実行している。

これに対し、本発明の実施形態における露光期間シフトシャッタ速度制御の特徴は、第一に、電荷掃き捨てと電荷読み出しの繰り返し処理に１フィールド、垂直CCDと水平CCDでの電荷転送処理に１フィールドを当てて処理Aと処理Bに分離している点であり、通常シャッタ速度制御で１フィールド期間中に一括して行っていた処理を処理Aと処理Bの2回に分けて行っている。

第二に、露光開始タイミングと露光終了タイミングを可変させる露光期間シフト量により、露光開始と露光終了タイミングを各フィールドで可変させている点である。処理Bでは電荷蓄積は行わないが、露光期間シフト量の計算はY[field]サイクルを通して行う必要があり、処理Bの間でも露光期間シフト量の計算を行う。ただし実際に露光期間シフトを実行するのは処理Aのみである。

露光期間シフト量はフィールド単位で計算する必要がある。この各フィールドでの露光期間シフト量の設定により商用交流電源周波数T[Hz]に依存して発光する照明の発光周期に対して、各フィールドで照明光の周期の同じ位相を露光することができ、各フィールドで同じ露光量にすることができるため、フリッカを確実に除去することが可能である。

なお、発光周期に対してどの位相部分を露光するかによって、照明光による露光量が小さくなる場合や照明光を露光できない場合が発生するので、発光周期に対して最適な位相を露光できるように制御している。この制御詳細については後述する。

また、商用交流電源周波数T[Hz]には50[Hz]と60[Hz]があるので、シャッタ速度1/2T[秒]は周波数が50[Hz]の時にはシャッタ速度1/100[秒]、周波数が60[Hz]の時には1/120[秒]となる。この商用交流電源周波数情報は図3の記憶部130に保持されているのでそこから情報を取得し1/2T[秒]は1/100[秒]もしくは1/120[秒]のシャッタ速度となる。

本発明は商用交流電源のみでなく、所定周期で発光している照明であれば、照明の発光周期さえわかれば適用可能な手法である。フリッカ判定部118でフリッカありと判定した場合かつシャッタ速度が1/2T[秒]より高速なシャッタ速度に設定する場合は図8の露光期間シフトシャッタ速度制御を行い、それ未満のシャッタ速度では通常のシャッタ速度制御を行う。
(3)シャッタ速度計算方法
露光期間シフトシャッタ速度制御を実行するには、図３中の各フィールドで露光期間シフトを行うサイクルY[field]と、各フィールドの露光期間シフト量SX(X = 1,2,…:Xは自然数)を計算する必要がある。露光期間シフトは現在フィールドに対する前フィールドで計算された露光期間シフト量S(X-1)から計算され、Y[field]を1サイクルとして処理完結される。

図３では露光期間シフト実行をS(X-1)、SX、S(X+1)の3回に設定し、3フィールド1サイクル(Y=3)として図示している。各フィールドに対して設定するシャッタ速度は各フィールド共通してn8[秒](露光期間)を設定するものとする。まずシフトするサイクルY[field]の計算を行う。各フィールドの時間はN8秒であり、照明光の周期は商用交流電源周波数をT[Hz]すると2T[Hz]であるので、次式
(2T x Y) / (1/N8) ・・・・・・(4)
による計算結果の余りがゼロ(0)となる最小の値を露光期間シフトを行うサイクルY[field]として求める。

次に、各フィールドの露光期間シフト量としてY[field]サイクル中のXフィールド目である露光シフト実行X回目の露光期間シフト量SXの計算方法について下記に示す。まず、(X-1) フィールド目のフィールド期間内に照明光の周期がK8[個]存在するとすれば、K8[個]は、次式
N8 / (1/2T) ・・・・・・(5)
による計算結果の少数点以下を切り捨てた整数値で計算できる。そして、照明光の周期K8[個]の時間T8[秒]を次式
T8 = (1/2T) x K8 [秒] ・・・・・・(6)
で計算する。Y[field]サイクルの(X-1)フィールド目からXフィールド目にまたがっている照明光周期の(X-1)フィールド期間内の1周期未満の時間をt8[秒]とすると、t8[秒]は次式
t8 = N8 - T8 - S(X-1) [秒] ・・・・・・(7)
で計算することができる。

現在のXフィールド期間内で (X-1)フィールド期間内からXフィールド期間内にまたがっている1周期未満の時間を求め、その分現在フィールドであるY[field]サイクル中のXフィールド目の露光開始時間と露光終了時間をシフトすれば、Y[field]サイクル中の(X-1)フィールド目とXフィールド目で照明光の周期が同じ位相となる箇所を露光することができる。

そこで、Y[field]サイクル中のXフィールド目で(X-1)フィールド目からまたがっている照明光1周期未満の時間を露光期間シフト量SXとして次式より
SX = (1/2T) - t8 [秒] ・・・・・・(8)
として計算することができる。

式(8)で計算した露光期間シフト量SXが照明光の1周期の時間1/2T[秒]にほぼ近い場合は強制的にSX = 0 とする。SX[秒]と同じくY[field]サイクル中の(X+1)フィールド目の露光期間シフト量S(X+1)[秒]に対しても、同様の方法で計算することができる。
(4) 初期露光期間シフト量の計算方法
ただし、Y[field]サイクルの開始1フィールド目である露光シフト実行(X-1)回目の初期露光期間シフト量については、上記計算によらず次に説明する方法により求めている。

図９に初期露光期間シフト量の計算方法を示す。図3中のフリッカ判定部118でフリッカありと判定され、フリッカ除去制御部119から露光制御部120にフリッカ除去指示が出されて露光期間シフトシャッタ速度制御が実行される場合、露光期間シフトシャッタ速度制御の実行開始直後にまず初期露光期間シフト量の決定が行われる。

露光期間シフトを行うサイクルがY[field]あり、それぞれのフィールドで露光期間シフト量SX(X = 1,2,…:Xは自然数)は異なるので、初期露光期間シフト量となる露光期間シフト量にはY通り(フィールドサイクル)が存在する。そこで、まずそのY[field]サイクルの露光期間シフト実行1回目である露光期間シフトをY通りで実行させる。その際にY[field]サイクルであるフィールドサイクル1の1フィールド目の露光期間シフト量は必ずS1 = 0[秒]とする。

図９ではY=3[field]とした例で示しており、露光期間シフトが3通り存在するので、1フィールド目の露光期間シフト量をS1 = 0[秒]としてそれぞれ異なる露光期間シフト量となるフィールドサイクル1(露光期間シフト実行1回目の露光期間シフト量: S1 = 0)、フィールドサイクル2(露光期間シフト実行1回目の露光期間シフト量: S4)、フィールドサイクル3(露光期間シフト実行1回目の露光期間シフト量: S7)から各フィールドサイクルを実行している。露光期間シフト実行1回目の露光期間シフト量: S1[秒]以外の露光期間シフト量は式(5)〜式(8)によって求める。

そして、各フィールドサイクルの各フィールドで得られた露光量の和を計算し、最も大きいフィールドサイクルを選択する。図9の例ではフィールドサイクル2が選択される。このフィールドサイクル2の露光期間シフト実行1回目の露光期間シフト量S4が初期露光期間シフト量となる。これにより、照明光の周期中で最も露光量が得られる位相でCCDセンサが露光できることになる。

また、露光期間シフトシャッタ速度制御中、CCDセンサは照明光を常に一定の光量で安定して露光することが可能であり、例えば、LED照明光のような点灯と消灯を商用電源周期で繰り返している照明光であったとしても、確実にLED照明光の点灯部の位相を露光することができ、CCDセンサがLED照明光の光を捉えられないということがなくなる。
(5)露光期間シフトシャッタ速度計算の具体例
上記式(4)〜式(8)によって計算される各フィールドで露光期間シフトを行うサイクルY[field]と露光期間シフト量SX[秒]の計算の具体例を示す。商用交流電源周波数T = 50[Hz]、CCDセンサ1フィールドの時間がN8 = 1/60[秒]、初期露光期間シフト量を0.003333[秒]とした場合にシャッタ速度をS8 = 1/180[秒]に設定する時の計算方法を説明する。まず、露光期間シフトするサイクルY[field]の計算を行う。商用交流電源周波数T = 50[Hz]でCCDセンサ1フィールドの時間がN8 = 1/60[秒]であるので、式(4)を計算した時の余りがゼロ(0)となるYの値は式(9)よりY = 3 として計算される。
(2T x Y) / (1/N8) = (2 x 50 x 3) / (1/(1/60)) = 5 余り0 (Y = 3) ・・・・・・(9)
これより露光期間シフトするサイクルは3[field]となる。

3[filed]サイクルの1フィールド目は露光期間シフトシャッタ速度制御の実行直後に計算された初期露光期間シフト量S1 = 0.003333[秒]を設定しており、2フィールド目以降の露光期間シフト量を式(5)〜式(8)により計算する。以下に式(5)〜式(8)より2フィールド目の露光期間シフト量S2[秒]を求める。1フィールド目のフィールド期間内に照明光の周期がK8[個]存在するとすれば、K8[個]は式(5)による計算結果の少数点以下を切り捨てた整数値として式(10)で計算される。
N8 / (1/2T) = (1/60) / (1/(2 x 50)) = 1.666…
→小数点以下切り捨て:1[個] ・・・・・・(10)
そして、照明光の周期K8[個]の時間T8[秒]は式(6)より式(11)で計算される。
T8 = (1/(2 x T)) x K8 = (1/(2 x 50)) x 1 = 0.01 [秒] ・・・(11)
3[field]サイクルの1フィールド目から2フィールド目にまたがっている照明光周期の1フィールド期間内の1周期未満の時間t8[秒]は、式(7)より式(12)で計算される。
t8 = N8 - T8 - S1 = (1/60) - 0.01 - 0.003333
= 0.0033336666666666666666666666666667 ≒ 0.003334[秒] ・・・・・・(12)
そして、3[field]サイクル中の2フィールド目で1フィールド目からまたがっている照明光1周期未満の時間である露光期間シフト量S2は、式(8)より式(13)で計算される。
S2 = (1/(2 x T)) - t8 = (1/(2 x 50)) - 0.003334 = 0.006666 [秒] ・・・・・・(13)
同様にして3[field]サイクル中の3フィールド目の露光期間シフト量S3を計算するとS3 = 0.009999[秒]となり、これは照明光の1周期の時間1/(2 x 50) = 0.01[秒]に近似されるのでS3 = 0[秒]として計算される。

以上により、1フィールド目の初期露光期間シフト量をS1 = 0.003333[秒]、2フィールド目の初期露光期間シフト量をS2 = 0.006666[秒]、3フィールド目の初期露光期間シフト量をS3 = 0 [秒]とした3[field]サイクルで露光期間をシフトさせ、この処理を繰り返してシャッタ速度制御を行えば、フリッカを除去しつつ1/100秒以上の高速シャッタ速度を実現させ、かつ動きのある被写体を撮影しても残像やブレを発生させることなくカメラを撮影することができる。
Ｃ．具体的な光源への適用
(1)蛍光灯フリッカの除去
図１０に、蛍光灯フリッカありの場合でかつシャッタ速度が1/2T[秒]よりも高速なシャッタ速度n10[秒]を設定した時に、フリッカが発生していない様子を示す。図10は1/2T[秒]以上のシャッタ速度S10[秒]設定時に通常シャッタ速度制御と露光期間シフトシャッタ速度制御を行った際の比較を示している。通常のシャッタ速度制御では電荷掃き捨てパルスとカメラ1フィールドと1フィールドの境界付近の電荷読み出しパルスを１フィールドに各１回印加し、電荷掃き捨てパルスから電荷読み出しパルスが印加された時間がシャッタ速度n10[秒]となる。

それに対し露光期間シフトシャッタ速度制御ではシャッタ速度n10[秒]を設定する場合に各フィールドで計算される露光期間シフト量に応じて電荷掃き捨てパルスと電荷読み出しパルスの印加タイミングをシフトさせる。電荷読み出しパルスは1フィールドと1フィールドの境界付近の印加に限定されない制御を行う。

これにより各フィールドで常に同じ蛍光灯の発光周期中の最も露光量が大きい位相ポイントでシャッタを設定することができ、シャッタ高速時でもフリッカを除去し、なおかつ通常シャッタ速度制御と同様に被写体の残像やブレを抑えることができる。
(2)LEDフリッカの除去
また、図１１は商用交流電源の周波数の周期T[Hz]を全波整流して2T[Hz]の周期で消灯と点灯を繰り返して発光しているLED照明を1/2T[秒]より高速なシャッタ速度n11[秒]を設定した際に通常シャッタ速度制御と露光期間シフトシャッタ速度制御を行った際の比較を示している。通常シャッタ速度制御でシャッタ速度n11[秒]を設定した場合、シャッタ速度が高速になる程に各フィールドの露光量の差が大きくなり蛍光灯よりも激しいフリッカとなる。

しかし、露光期間シフトシャッタ速度制御を行うことにより、各フィールドで常に同じLED照明の発光周期中の最も露光量が大きい位相ポイントでシャッタを設定することができ、シャッタ速度を1/2T[秒]以上に設定してもフリッカを発生させないようにすることができる。また、LED照明光だけでなく、画像に動きのある被写体が含まれているシーンを撮影した場合でも被写体の残像とブレを増加させることなく、通常シャッタ速度制御と同様に撮影することができる。

固体撮像素子を用いて動画記録を行う撮像装置の、画像周期とある特定周期で発光している照明の周期が異なる場合に発生するフリッカによる画像劣化を完全に除去しながら、残像やブレを増幅させることなく露光調整を行うのに効果を発揮する。

１０１…レンズ、１０２…アイリス、１０３…レンズユニット、１０４…ＣＣＤセンサ、１０５…ＣＤＳ、アナログＡＧＣ…１０６、Ａ／Ｄ…１０７、ＡＦＥ…１０８、デジタルAGC…１０９、輝度信号色信号生成部…１１０、各種画像処理部…１１１、画像メモリ…１１２、画像出力処理部…１１３、信号レベル検出部…１１４、記憶部データ参照／記録部…１１５、補正量算出部…１１６、信号レベル差分／平均演算部…１１７、フリッカ判定部…１１８、フリッカ除去制御部…１１９、露光制御部…１２０、シャッタ制御部…１２１、AGC制御部…１２２、パルスタイミング管理部…１２３、電荷掃き捨てパルス生成部…１２４、電荷読み出しパルス生成部…１２５、転送パルス生成部…１２６、デバイス制御部…１２７、画像処理LSI…１２８、記録装置…１２９、記憶部…１３０、マイコン制御部…１３１、フリッカ制御部…１３２

Claims

画像出力単位である固有のフィールド周期を持つ撮像装置を用いて、特定周期で発光する光源によりCCDセンサで記録を行う撮像装置の露光制御方法において、
前記CCDセンサの露光制御のためのシャッタ速度制御に、露光開始時の電荷掃き捨てパルスと、露光終了時の電荷読み出しパルスの印加タイミングを各フィールドで可変させ、露光期間をフィールド内でシフトさせる露光期間シフト量によるシャッタ速度制御を行い、各フィールドにおいて前記光源発光周期の同位相部を前記CCDセンサで露光してフリッカを除去することを特徴とする撮像装置の露光制御方法。
請求項１に記載された撮像装置の露光制御方法において、露光開始時の電荷掃き捨てパルスと、露光終了時の電荷読み出しパルスの印加タイミングを各フィールドで可変させる際、制御開始直後に、所定フィールドの露光量をサンプリングし、最も露光量の大きいフィールドにおける露光期間シフト量を選択することを特徴とする撮像装置の露光制御方法。
請求項１または２に記載された撮像装置の露光制御方法において、前記光源の発光周期Tに対し、前記撮像装置のシャッタ速度が1/2Tと等しいか、またはそれより大きいことを特徴とする撮像装置の露光制御方法。
請求項１乃至３のいずれかに記載された撮像装置の露光制御方法において、
前記露光期間シフトシャッタ速度制御は、所定数の連続したフィールドを単位として繰り返し実行されることを特徴とする撮像装置の露光制御方法。
請求項１乃至３のいずれかに記載された撮像装置の露光制御方法において、前記撮像装置のCCDセンサは、撮像装置のフィールド毎に画像メモリを介して画像出力を行うことを特徴とする撮像装置の露光制御方法。
請求項１乃至３のいずれかに記載された撮像装置の露光制御方法において、前記撮像装置のCCDセンサは、前記CCDセンサから得られた画像データの出力と保存を行うフィールドと、保存された画像データを用いて画像データの出力を行うフィールドを交互に持つことを特徴とする撮像装置の露光制御方法。
特定周期で発光する光源により照明された物体の画像を撮影するレンズと、撮影された画像を画像信号に変換するCCDセンサと、画像信号のフリッカを判別しフリッカ除去を指示するフリッカ制御部と、該フリッカ制御部の指示により露光を制御する露光制御部と、該露光制御部の指示により前記CCDセンサのシャッタ速度制御を行うシャッタ制御部を備えた画像処理装置を有し、画像出力単位である固有のフィールド周期を用いて記録を行う撮像装置において、
前記シャッタ制御部は、前記CCDセンサに露光開始時の電荷掃き捨てパルスと、露光終了時の電荷読み出しパルスの印加タイミングを各フィールドで可変させ、露光期間をシフトさせてシャッタ速度制御を行い、各フィールドにおいて前記光源発光周期の同位相部を前記CCDセンサで露光することを特徴とする撮像装置。
請求項７に記載の撮像装置において、前記シャッタ制御部は露光開始時の電荷掃き捨てパルスを生成する電荷掃き捨てパルス生成部と、露光終了時の電荷読み出しパルスを生成する電荷読み出しパルス生成部と、前記電荷掃き捨てパルス生成部および電荷読み出しパルス生成部のパルス生成を制御するパルスタイミング管理部を有することを特徴とする撮像装置。