JP2009206569A - Imaging apparatus and flicker correction method thereof - Google Patents
Imaging apparatus and flicker correction method thereof Download PDFInfo
- Publication number
- JP2009206569A JP2009206569A JP2008044125A JP2008044125A JP2009206569A JP 2009206569 A JP2009206569 A JP 2009206569A JP 2008044125 A JP2008044125 A JP 2008044125A JP 2008044125 A JP2008044125 A JP 2008044125A JP 2009206569 A JP2009206569 A JP 2009206569A
- Authority
- JP
- Japan
- Prior art keywords
- flicker
- line
- correction
- exposure
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims description 23
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000005070 sampling Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000010354 integration Effects 0.000 description 6
- 230000001276 controlling effect Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 1
- 229910052721 tungsten Inorganic materials 0.000 description 1
- 239000010937 tungsten Substances 0.000 description 1
Images
Landscapes
- Picture Signal Circuits (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、複数の受光部が配置された撮像素子を有する撮像装置及びそのフリッカ補正方法に関する。 The present invention relates to an imaging apparatus having an imaging element in which a plurality of light receiving units are arranged, and a flicker correction method thereof.
近年、ビデオカメラにおいては、多画素化、高速化が進み、撮像素子としてCMOSセンサが用いられている。CMOSセンサとして、フォトダイオードの面積の観点から、フローティングディフュージョン(以下、FDと略記)アンプが全ての画素には無く、各カラムに1つ存在するカラム読み出し型のものが、ビデオカメラ等では主流である。 In recent years, in a video camera, the number of pixels is increased and the speed is increased, and a CMOS sensor is used as an imaging element. As a CMOS sensor, from the viewpoint of the area of a photodiode, a floating diffusion (hereinafter abbreviated as FD) amplifier is not provided in every pixel, and one column readout type that exists in each column is mainly used in video cameras and the like. is there.
このようなカラム読み出し型のCMOSセンサでは、ライン毎に読み出しが開始されるまで、露光が行われることになる。従って、全画素に対し、同じタイミングで露光を開始し、画素の読み出しを行うと、ライン毎に輝度レベルが異なる。このため、ライン毎に一定間隔で露光タイミングをずらして露光を行うローリングシャッタ機能が採用されている。 In such a column readout type CMOS sensor, exposure is performed until readout is started for each line. Therefore, when exposure is started for all pixels at the same timing and the pixels are read out, the luminance level differs for each line. For this reason, a rolling shutter function for performing exposure by shifting the exposure timing at regular intervals for each line is adopted.
しかし、上記機能を有するCMOSセンサを用いたビデオカメラであっても、商用電源周波数のAC変動による蛍光灯やタングステン電球などのフリッカ現象が発生すると、各ライン毎に露光量が変わってしまう。このため、1フィールド画像において、垂直方向に横縞の輝度レベルの異なる画像が生じてしまう。これに対し、従来では、画像の垂直方向の輝度レベルを随時検出し、フィールド間で差分を取り、フリッカ成分を抽出して補正することが行われていた(特許文献1参照)。
しかしながら、上記従来のフリッカ補正方法では、フリッカ成分を複数のフィールド画像から抽出しているので、フリッカ現象を検出してから補正するまでに複数フィールド分の時間が必要となってしまい、補正し終えるまでに時間がかかっていた。特に、被写体が動いた時、補正の追従が間に合わなくなることがあった。このため、画像の品位が損なわれていた。 However, in the above conventional flicker correction method, since flicker components are extracted from a plurality of field images, it takes time for a plurality of fields to be corrected after the flicker phenomenon is detected, and the correction is completed. It took a long time before. In particular, when the subject moves, tracking of correction may not be in time. For this reason, the quality of the image was impaired.
そこで、本発明は、画像の品位を損なうことなく、短時間でフリッカ補正を行うことができる撮像装置及びそのフリッカ補正方法を提供することを目的とする。 SUMMARY An advantage of some aspects of the invention is that it provides an imaging apparatus capable of performing flicker correction in a short time without impairing image quality and a flicker correction method thereof.
上記目的を達成するために、本発明の撮像装置は、ライン毎かつカラム毎に複数の受光部が配置された撮像素子と、前記撮像素子の露光開始タイミングをライン毎に制御して露光時間を可変する電子シャッタ手段と、所定の周波数に応じて光源の明るさが変動するフリッカを検出し、前記検出されたフリッカのレベルを出力するフリッカ検出手段と、前記検出されたフリッカのフリッカ周期を検出する周期検出手段と、前記フリッカが検出された場合、前記フリッカのレベルが最小となる時間から前記撮像素子の所定ラインの露光開始タイミングまでの位相差を算出する位相差算出手段と、前記算出された位相差、前記検出されたフリッカ周期および前記可変された露光時間に基づき、前記撮像素子からの画像データをライン毎に補正する補正手段とを備え、前記ライン毎に補正された画像データをフィールド画像として出力することを特徴とする。 In order to achieve the above object, an imaging apparatus according to the present invention includes an imaging device in which a plurality of light receiving units are arranged for each line and for each column, and controls an exposure start timing of the imaging device for each line to thereby set an exposure time A variable electronic shutter means, a flicker detecting means for detecting flicker in which the brightness of the light source fluctuates in accordance with a predetermined frequency, and outputting a level of the detected flicker, and detecting a flicker cycle of the detected flicker And a phase difference calculating means for calculating a phase difference from a time when the flicker level is minimized to an exposure start timing of a predetermined line of the image sensor when the flicker is detected. Based on the detected phase difference, the detected flicker period, and the variable exposure time, the image data from the image sensor is corrected for each line. And means, and outputting the image data corrected for each of the line as the field image.
本発明の撮像装置のフリッカ補正方法は、ライン毎かつカラム毎に複数の受光部が配置された撮像素子を有する撮像装置のフリッカ補正方法であって、電子シャッタ手段が、前記撮像素子の露光開始タイミングをライン毎に制御して露光時間を可変するステップと、フリッカ検出手段が、所定の周波数に応じて光源の明るさが変動するフリッカを検出し、前記検出されたフリッカのレベルを出力するステップと、周期検出手段が、前記検出されたフリッカのフリッカ周期を検出するステップと、前記フリッカが検出された場合、前記フリッカのレベルが最小となる時間から前記撮像素子の所定ラインの露光開始タイミングまでの位相差を算出するステップと、前記算出された位相差、前記検出されたフリッカ周期および前記可変された露光時間に基づき、前記撮像素子からの画像データをライン毎に補正するステップと、前記ライン毎に補正された画像データをフィールド画像として出力するステップとを有することを特徴とする。 The flicker correction method for an image pickup apparatus according to the present invention is a flicker correction method for an image pickup apparatus having an image pickup element in which a plurality of light receiving portions are arranged for each line and for each column, wherein the electronic shutter means starts exposure of the image pickup element. A step of varying the exposure time by controlling the timing for each line, and a step of detecting flicker in which the brightness of the light source fluctuates according to a predetermined frequency and outputting the detected flicker level. And a step of detecting a flicker cycle of the detected flicker, and when the flicker is detected, from a time when the flicker level is minimum to an exposure start timing of a predetermined line of the image sensor. Calculating a phase difference between the calculated phase difference, the detected flicker period, and the variable exposure time. The basis, and correcting the image data from the imaging device for each line, characterized in that a step of outputting the image data corrected for each of the line as the field image.
本発明の請求項1に係る撮像装置は、フリッカが検出された場合、フリッカのレベルが最小となる時間から撮像素子の所定ラインの露光開始タイミングまでの位相差を算出し、この位相差、フリッカ周期および露光時間に基づき、画像データをライン毎に補正する。これにより、画像データの出力前に補正データを確定することができ、画像の品位を損なうことなく、短時間でフリッカ補正を行うことができる。 According to a first aspect of the present invention, when flicker is detected, the imaging apparatus calculates a phase difference from a time when the flicker level is minimum to an exposure start timing of a predetermined line of the imaging device, and the phase difference, flicker is calculated. Based on the period and exposure time, the image data is corrected for each line. Accordingly, correction data can be determined before image data is output, and flicker correction can be performed in a short time without impairing image quality.
請求項2に係る撮像装置によれば、所定ラインの露光量と最も大きな値となるラインの露光量との比を用いて補正量を算出するので、補正量の算出を簡単に行うことができる。 According to the imaging apparatus of the second aspect, since the correction amount is calculated using the ratio between the exposure amount of the predetermined line and the exposure amount of the line having the largest value, the correction amount can be easily calculated. .
請求項3に係る撮像装置によれば、被写体領域内の一部の領域の輝度レベルをフリッカのレベルとして出力するので、少ないデータ量で短時間にフリッカのレベルを出力することができる。 According to the imaging apparatus of the third aspect, since the luminance level of a part of the subject area is output as the flicker level, the flicker level can be output in a short time with a small amount of data.
請求項4に係る撮像装置によれば、フィールド数を計数することで、所定のフィールド数毎に同じ補正データを用いることができ、フィールド画像の補正を簡単に行うことができる。 According to the imaging apparatus of the fourth aspect, by counting the number of fields, the same correction data can be used for each predetermined number of fields, and the field image can be easily corrected.
請求項5に係る撮像装置によれば、テーブルに格納された補正量を用いることで、より短時間でフリッカ補正を行うことができる。 According to the imaging apparatus of the fifth aspect, the flicker correction can be performed in a shorter time by using the correction amount stored in the table.
本発明の撮像装置及びそのフリッカ補正方法の実施の形態について図面を参照しながら説明する。本実施形態の撮像装置はビデオカメラ装置に適用される。 Embodiments of an imaging apparatus and a flicker correction method thereof according to the present invention will be described with reference to the drawings. The imaging device of this embodiment is applied to a video camera device.
[第1の実施形態]
図1は第1の実施形態における撮像装置の構成を示すブロック図である。レンズ部100は、被写体からの光量を収束させ、かつ焦点を合わせるためのAF機構、ズーム機構、および光量を制御する絞りを有する。CMOSセンサ101は、ライン毎かつカラム毎に複数の受光部が配置され、主にレンズ部100を抜けた被写体像の光を電気信号に変換する半導体撮像素子である。センサ制御部102は、CPU109に接続され、CMOSセンサ101のタイミング制御を主に行う。
[First Embodiment]
FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus according to the first embodiment. The
AFE(アナログ処理回路)部103は、CMOSセンサ101から出力される画像信号に対し、相関二重サンプリング回路(CDS)によりノイズを除去し、A/D変換部によりアナログ信号からデジタル信号に変換する。また、AFE部103は、所望のレベルにするために画像信号を所定のゲインで増幅するアンプ部を有する。
An AFE (analog processing circuit)
フリッカセンサ104は、被写体光の光量変化からフリッカ成分を検出するために用いられ、任意の周波数で被写体光量のレベル(フリッカのレベル)を電気的に出力する。すなわち、フリッカセンサ104は、画像処理IC106の被写体画像情報を基に、実際の画像エリア内の比較的小さな任意の領域(一部の領域)における被写体光量のレベルを随時出力する。レベル変換部105は、フリッカセンサ104から出力される電気信号を画像処理IC106のI/Fに合わせるために電圧変換を行う。
The
画像処理IC106は、CPU109によって制御され、主にAFE部103より出力される画像信号に対し、γ補正、輪郭強調補正、ホワイトバランス等の画像処理、およびフリッカ補正全般を行う。
The image processing IC 106 is controlled by the
つづいて、画像処理IC106の内部のフリッカ補正部について説明する。フリッカ検出部106aは、レベル変換部105から出力される信号のレベル変化を基に、蛍光灯などの商用電源周波数に同期した被写体光の明暗が現れるフリッカ現象の有無を検出する。位相・周期検出部106bは、フリッカ検出時のフリッカ波形を記録し、フリッカ周期、およびフリッカ波形とCMOSセンサ101の露光タイミングとの位相差を算出する。位相・周期検出部106bは請求項に記載の周期検出手段および位相差算出手段に相当する。補正部106cは、この位相差、フリッカ周期およびフリッカ波形から得られる、画像データのライン毎の補正データをテーブルとして記録し、この補正データを用いて実際に補正を行う。補正部106cは請求項に記載の補正手段に相当する。
Next, the flicker correction unit inside the image processing IC 106 will be described. The
画像変換部107は、画像処理IC106から出力される画像データを記録部108に記録される動画フォーマットのデータに変換する。記録部108は、DVD、DVテープ、SDカード等の記録媒体であり、画像変換部107で変換された動画フォーマットのデータを記録する。CPU109は、撮像装置全体の制御を司る。
The
上記構成を有する撮像装置の動作を示す。図2はフリッカ補正処理の手順を示すフローチャートである。この処理は画像処理IC106によって実行される。ここで、レンズ部100を通った被写体光は、CMOSセンサ101によって電気信号に変換され、AFE部103からデジタル画像データとして出力され、画像処理IC106に入力される。
The operation of the imaging apparatus having the above configuration will be described. FIG. 2 is a flowchart showing the procedure of flicker correction processing. This process is executed by the
まず、画像処理IC106は、フリッカセンサ104のサンプリング周波数を10kHzに設定し、レベル変換部105を介して入力されるフリッカ信号を計測する(ステップS1)。そして、計測されたフリッカ信号を基に、画像処理IC106は、フリッカの有無を検出する(ステップS2)。フリッカセンサ104は、前述したように、任意の周波数で被写体光量のレベルを電気的に出力するものであり、画像処理IC106の被写体画像情報を基に、実際の画像エリア内の、比較的小さな任意の領域における被写体光量のレベルを随時出力する。
First, the
フリッカ現象が発生していない場合、フリッカ信号は一定もしくは周期性のない変動となる。この場合、ステップS2でフリッカ無しが判断される。そして、画像処理IC106は、通常の撮像動作で画像データの出画を行う(ステップS11)。この後、画像処理IC106はステップS1の処理に戻る。一方、フリッカ現象が発生している場合、画像処理IC106はステップS3以降の処理を行う。
When the flicker phenomenon does not occur, the flicker signal has a constant or non-periodic variation. In this case, it is determined in step S2 that there is no flicker. Then, the
図3はフリッカ現象が発生している時のフリッカ信号の時間的変化を示す図である。曲線で示されるフリッカ信号のフリッカ波形300は、蛍光灯などの商用電源周波数に同期した周期で明暗を繰り返している。本実施形態では、電源周波数を50Hzとし、50Hzの交流電源に接続された蛍光灯等の光源は、図3に示すように、100Hzの周期、かつCOSカーブで表される明暗を繰り返す。
FIG. 3 is a diagram showing a temporal change of the flicker signal when the flicker phenomenon occurs. The
フリッカセンサ104は、10kHzのサンプリング周期で、被写体光量のレベルを画像処理IC106に出力する。画像処理IC106内のフリッカ検出部106aは、各サンプリングタイミングで被写体光量のレベルを保持する。すなわち、フリッカ検出部106aは、あるタイミングの被写体光の光量レベルをYxとし、次のサンプリング時のレベルをYx+1,Yx+2,・・・,Yx+100,・・・として記録する。
The
なお、レベル変換部105では、光量レベルの最大値が画像処理IC106の入力部の最大電圧となり、光量レベルの最小値が最小電圧として“0”[V]となるように、増幅処理または減衰処理とオフセット処理とが施される。
The
画像処理IC106の内部のフリッカ検出部106aは、保持された光量レベルYが周期100HzのCOSカーブの特性となっているか否かのマッチングを行う。具体的に、まず、最大となるポイントと次に最大となるポイントとの区間が約10[ms](サンプリングポイントで100回分あるいは100Hz)となっている場合、フリッカ検出部106aは100Hzの周期で光量レベルYが変動していると判断する。
The
さらに、画像処理IC106内には、y=COS(t)の関数が保持されており、フリッカ検出部106aは各ポイントの光量レベルYと周期100HzのCOSカーブとのマッチングを行う。すなわち、光量レベルYがあるレベル以上であって、COSカーブと相似である場合、フリッカ検出部106aは、50Hzの商用電源の周期によるフリッカが発生していると判断する。
Further, a function y = COS (t) is held in the
また、最大となるポイントと次に最大となるポイントとの区間が約8.333[ms]となっている場合、フリッカ検出部106aは光量レベルYが120Hzの周期で変動していると判断する。これは60Hz帯でのフリッカ周期となるので、フリッカ検出部106aは、同様に、光量レベルYとCOSカーブとのマッチングを行い、120Hzのフリッカの有無を判断する。なお、商用電源の50Hz帯あるいは60Hz帯の識別は、ユーザの設定によって行われてもよいし、また無線等で行われてもよい。
If the interval between the maximum point and the next maximum point is about 8.333 [ms], the
そして、検出されたフリッカ値を基に、フリッカ検出部106aは、周期および係数を変数としたCOS関数として、フリッカ波形を保持する。本実施形態では、周期が10msとなるので、フリッカ波形は、|COS2π・t/10×10−3|の関数で表される。
Then, based on the detected flicker value, the
ステップS2でフリッカが検出されると、画像処理IC106は、フリッカがシャッタ速度により変動するので、絞り優先の露出制御に切り替え、検出されたフリッカ波形とCMOSセンサ101の露光タイミングとの関係を算出する(ステップS3)。
When flicker is detected in step S2, the
図3には、検出されたフリッカ波形とCMOSセンサの露光タイミングとの関係が示されている。フリッカ波形300は、S1で検出された離散的なフリッカ情報を基に、復元されており、100Hzの周期を有する。また、符号301は各ラインの露光開始タイミングおよび露光時間を表している。
FIG. 3 shows the relationship between the detected flicker waveform and the exposure timing of the CMOS sensor. The
本実施形態のCMOSセンサ101は、水平方向に1ライン分(各カラムに1つ)のFDアンプを持つカラム読み出し方式のCMOSセンサである。ライン毎に露光開始タイミングを変えることによって、各ラインの露光時間T(電子シャッタ速度)を均一にしている。なお、図中、Nはフィールドを表す変数である。ある任意のフィールドを露光しているタイミングをN=0とし、次フィールドをN=1、N=2、・・・としている。また、本実施形態では、各フィールドのライン数は1080ラインである。
The
蛍光灯などのフリッカ現象のある光源下では、図3に示すように、各ラインの露光タイミングによって、センサの露光量が変わってしまうため、垂直方向に輝度レベルの異なる画像が生じてしまう。 Under a light source having a flicker phenomenon such as a fluorescent lamp, as shown in FIG. 3, the exposure amount of the sensor changes depending on the exposure timing of each line, so that images having different luminance levels in the vertical direction are generated.
また、ステップS3では、画像処理IC106は、フリッカ波形のゼロとなるポイント(ゼロ点)から、任意のフィールドの1ライン目の露光開始タイミングまでの時間(位相:α[s])を検出し、そのフィールド(N)を0フィールドとする。以後、αを位相差とする。
In step S3, the
図4は0フィールドの1ライン目の露光期間および2ライン目の露光期間とフリッカの明暗を表すフリッカ波形との関係を示す図である。1ライン目の露光期間400に実際に露光される光量401が斜線で表わされている。1ライン目の露光開始時を基準とし、2ライン目の露光が開始されるまでの時間Dt[s]は、通常、1HD分(1ライン分の画像データを読み出す時間)である。なお、時間Dtは、nライン目とn+1ライン目に関しても共通であり、シャッタ時間等によらない時間である。
FIG. 4 is a diagram showing the relationship between the exposure period of the first line and the exposure period of the second line in the 0 field and the flicker waveform representing the flicker of the flicker. The amount of
また、時間α+Tはフリッカの明るさがゼロ(もしくは最小値)となったポイントを基準にしたとき、1ライン目の露光が終了する時間である。ここで、Tは前述した露光時間である。2ライン目の露光期間404は、時間α+Dtを2ライン目の露光開始ポイントとし、時間α+Dt+Tを2ライン目の露光終了ポイントとする期間である。
The time α + T is the time when the exposure of the first line ends when the flicker brightness is zero (or the minimum value) as a reference. Here, T is the exposure time described above. The
従って、1ライン目の露光量は、S2で検出され、画像処理IC106内に保持されている関数(|COS2π・t/10×10−3|)を時間αから時間α+Tまで積分した値となる。同様に、2ライン目の露光量は、時間α+Dtから時間α+Dt+Tまで積分した値となる。また、nライン目の露光量は、時間α+(n−1)・Dtから時間α+(n−1)・Dt+Tまで積分した値となる。このようにして、0フィールド目の各ライン分の露光量L1〜L1080が算出される。
Therefore, the exposure amount of the first line is a value obtained by integrating the function (| COS2π · t / 10 × 10 −3 |) detected in S2 and held in the
図3に示したように、フリッカ周期10ms、フィールド周期16.66ms(1/60ms)であるので、フリッカ周期を5回、フィールド読み出しを3回繰り返すと、位相は位相差αとなる。また、1フィールド目の露光量の積分範囲は、0フィールド目の各ラインの積分範囲に対し、1/60[s]ずれた積分範囲となる。同様に、2フィールド目の露光量の積分範囲は、さらに1/60[s]ずれた積分範囲となる。 As shown in FIG. 3, since the flicker cycle is 10 ms and the field cycle is 16.66 ms (1/60 ms), when the flicker cycle is repeated 5 times and the field reading is repeated 3 times, the phase becomes the phase difference α. Also, the integration range of the exposure amount in the first field is an integration range shifted by 1/60 [s] with respect to the integration range of each line in the 0 field. Similarly, the integration range of the exposure amount in the second field is an integration range shifted by 1/60 [s].
また、3iフィールド(iは自然数)、3i+1フィールド、3i+2フィールドの露光量は、それぞれ0フィールド(N=0)、1フィールド(N=1)、2フィールド(N=2)の露光量と同様になる。従って、補正データは、フィールドに応じて、3種類の補正データに分けられる。 Further, the exposure amounts of 3i field (i is a natural number), 3i + 1 field, and 3i + 2 field are the same as the exposure amounts of 0 field (N = 0), 1 field (N = 1), and 2 fields (N = 2), respectively. Become. Therefore, the correction data is divided into three types of correction data according to the field.
本実施形態では、3iフィールドを0フィールド、3i+1フィールドを1フィールド、3i+2フィールドを2フィールドとそれぞれ呼ぶことにする。画像処理IC106内部では、変数Nに、補正するフィールド番号が格納される。すなわち、N=0の場合、0フィールドであり、N=1の場合、1フィールドであり、N=2の場合、2フィールドであることが示される。最初に、0フィールドが補正されるので、初期値として、N=0が格納されている。
In this embodiment, the 3i field is called 0 field, the 3i + 1 field is called 1 field, and the 3i + 2 field is called 2 field. In the
このようにして、画像処理IC106は、0〜2フィールドの露光量を求めて保持する(ステップS4)。画像処理IC106は、S4で求めた露光量より各フィールドに対応する各ラインの補正量H1〜H1080を算出する(ステップS5)。
In this way, the
まず、画像処理IC106は、各フィールドのうち、露光量L1〜L1080の中で一番大きい(明るい)数値を選択し、その最も大きな値を基準値とする。この基準値となる露光量をLrefとし、補正量を算出するラインの露光量をLn、補正量をHnとすると、補正量Hnは数式(1)で算出される。ここで、nはライン番号を表す。
First, the
Hn=−20log Ln/ Lref[dB] …… (1)
このようにして、N=0〜2の各ライン分の補正量を算出し、各フィールドの補正量をそれぞれ補正量0、補正量1、補正量2とする。
H n = −20 log L n / L ref [dB] (1)
In this way, the correction amount for each line of N = 0 to 2 is calculated, and the correction amount of each field is set as
画像処理IC106は、実際に取り込んだ画像データに対し、例えば0フィールドの補正データにより補正を行い、出画を行う(ステップS6)。具体的に、この補正・出画処理では、補正前の画像データをDnとし、適正露出レベルに保つための係数をR(ここで、0<R<1)とし、補正後の画像データDn´とすると、補正後の画像データDn´は数式(2)に従って算出される。
The
Dn´= R*Dn*Hn …… (2)
画像処理IC106は、次フィールドの画像データをCMOSセンサ101から取り込み(ステップS7)、フリッカ検出部106aによりフリッカの有無を検出する(ステップS8)。フリッカ無しが検出された場合、画像処理IC106は、ステップS1の処理に戻り、S1、S2を経て通常の撮像動作に戻り、次フィールドの画像データの出画を行う(ステップS11)。この後、画像処理IC106はステップS1の処理に戻る。
Dn ′ = R * Dn * Hn (2)
The
一方、ステップS2でフリッカ有りが検出された場合、画像処理IC106は、補正するフィールドNを値1増加させてN=N+1とし、補正するフィールドを次フィールドに変更する(ステップS9)。このとき、N=3となる場合、画像処理IC106はN=0を格納する。
On the other hand, if the presence of flicker is detected in step S2, the
そして、画像処理IC106は、補正量が算出された前フィールドの画像データ取り込み時の露光時間(電子シャッタ速度)と、S7で次フィールドの画像データ取り込み時の露光時間とが異なるか否かを判別する(ステップS10)。電子シャッタ速度が可変され、露光時間が異なる場合、画像処理IC106はステップS4の処理に戻る。すなわち、補正量作成時の露光時間Tが変わると、露光量算出時の積分範囲も変わるので、画像処理IC106は、S4以降の処理で新たな露光時間Tによる新たな補正データを作成する。
Then, the
一方、S10で露光時間に変化が無い場合、画像処理IC106は、S7で読み込んだ画像データのフィールドが、変数Nに格納された値を基に補正量0、補正量1、補正量2のどれに対応するかを選択し、ステップS6の処理に戻り、画像データの補正を行う。
On the other hand, when there is no change in the exposure time in S10, the
このように、第1の実施形態の撮像装置は、フリッカを検出した場合、露光開始タイミング、フリッカ変動の位相差および読み込みフィールド数から補正量を算出して補正する。ライン毎に乗算される補正量を算出して補正が行われるので、フリッカの変動に即時に追従するように補正することができ、フリッカの影響を減らすことができる。これにより、画像データの出力前に補正データ(補正量)を確定することができ、画像の品位を損なうことなく、短時間でフリッカ補正を行うことができる。 As described above, when the flicker is detected, the imaging apparatus according to the first embodiment calculates and corrects the correction amount from the exposure start timing, the flicker fluctuation phase difference, and the number of read fields. Since correction is performed by calculating a correction amount to be multiplied for each line, correction can be performed so as to immediately follow fluctuations in flicker, and the influence of flicker can be reduced. Thus, correction data (correction amount) can be determined before image data is output, and flicker correction can be performed in a short time without impairing image quality.
また、所定ラインの露光量と最も大きな値となるラインの露光量との比を用いて補正量を算出するので、補正量の算出を簡単に行うことができる。また、被写体領域内の一部の領域の輝度レベルをフリッカのレベルとして出力するので、少ないデータ量で短時間にフリッカのレベルを出力することができる。また、フィールド数を計数することで、所定のフィールド数毎に同じ補正データを用いることができ、フィールド画像の補正を簡単に行うことができる。 Further, since the correction amount is calculated using the ratio between the exposure amount of the predetermined line and the exposure amount of the line having the largest value, the correction amount can be easily calculated. Further, since the luminance level of a part of the subject area is output as the flicker level, the flicker level can be output in a short time with a small amount of data. Also, by counting the number of fields, the same correction data can be used for each predetermined number of fields, and the field image can be corrected easily.
[第2の実施形態]
第2の実施形態における撮像装置の構成は、前記第1の実施形態と同一であるので、同一の符号を用いることによりその説明を省略する。ここでは、前記第1の実施形態と異なる動作について説明する。
[Second Embodiment]
Since the configuration of the imaging apparatus in the second embodiment is the same as that of the first embodiment, description thereof is omitted by using the same reference numerals. Here, operations different from those in the first embodiment will be described.
図5は第2の実施形態におけるフリッカ補正処理の手順を示すフローチャートである。この処理は画像処理IC106によって実行される。前記第1の実施形態と同様、レンズを通った被写体光がCMOSセンサ101により電気信号に変換され、さらにAFE部103によりデジタル画像データとして出力され、画像処理IC106に入力される。
FIG. 5 is a flowchart showing the procedure of flicker correction processing in the second embodiment. This process is executed by the
画像処理IC106は、前記第1の実施形態と同様、10KHzのサンプリング周波数でフリッカを計測する(ステップS11)。画像処理IC106は、レベル変換部105を介して入力されるフリッカ信号を基に、フリッカの有無を検出する(ステップS12)。
As in the first embodiment, the
フリッカ無しが検出された場合、画像処理IC106は、通常の撮像動作で画像データの出画を行う(ステップS20)。この後、画像処理IC106はステップS11の処理に戻る。一方、フリッカ現象が発生している場合、画像処理IC106はステップS13以降の処理を行う。
When the absence of flicker is detected, the
画像処理IC106は、絞り優先の露出制御に変更し、前記第1の実施形態と同様、0フィールドの1ライン目の読み出し開始位置とフリッカ波形のゼロポイントとの位相差αを求める(ステップS13)。ここで、前記第1の実施形態では、補正量を算出したが、第2の実施形態では、あらかじめ露光時間、位相差、周期、フィールドに対応した補正データが画像処理IC106内のメモリ部(図示せず)にテーブルとして格納されている。
The
図6は画像処理IC106内のメモリ部に格納されている補正データテーブルを示す図である。図6には、フリッカ周期100Hz(商用電源周波数50Hz帯)、位相差α=α1である場合の補正データが示されている。
FIG. 6 is a diagram showing a correction data table stored in the memory unit in the
図中、露光時間TはT1〜Tm(mは自然数)で表される。また、フィールド番号は、N=0〜2で表され、それぞれ前記第1の実施形態における0〜2フィールドに対応する。また、ライン番号nはn=1〜1080で表され、n1〜n1080は何ライン目かを表している。また、図中、「HN0n1」等で表される補正量Hnは実際の補正データを示している。例えは、位相差α=α1、フリッカ周期100Hz、T=T1、N=0の場合、太枠600内の補正データが選択される。
In the figure, the exposure time T is represented by T1 to Tm (m is a natural number). The field number is represented by N = 0-2, and corresponds to 0-2 fields in the first embodiment. The line number n is represented by n = 1 to 1080, and n1 to n1080 represents the number of lines. In the drawing, the correction amount Hn represented by “H N0n1 ” or the like indicates actual correction data. For example, when the phase difference α = α 1 ,
画像処理IC106は、露出制御における電子シャッタ速度設定値から、露光時間を求め、図6における露光時間T1〜Tmから、同等の露光時間の補正データテーブルを選択する。さらに、補正を行うフィールドである、例えば0フィールドを選択することで、画像処理IC106は各ラインの補正データテーブルを選択する(ステップS14)。
The
画像処理IC106は、出画する画像データに対し、選択された補正データテーブルにおけるライン毎の補正データにより補正値を掛けて増幅する補正を行い、補正後の画像データを出画する(ステップS15)。この補正・出画処理では、前記第1の実施形態と同様、補正前の画像データをDn、適正露出レベルに保つための係数をR、補正量をHn、補正後の画像データDn´とすると、補正後の画像データDn´は、前述した数式(2)に従って算出される。
The
この後、画像処理IC106は、次フィールドの画像データを取り込む(ステップS16)。この画像データの取り込みと並列に、画像処理IC106は、フリッカセンサ104からの出力を基に、フリッカの有無を検出する(ステップS17)。
Thereafter, the
フリッカ無しが検出された場合、画像処理IC106は、ステップS11の処理に戻り、S11、S12を経て通常の撮像動作に戻り、次フィールドの画像データの出画を行う(ステップS20)。この後、画像処理IC106はステップS11の処理に戻る。
When the absence of flicker is detected, the
一方、S12でフリッカ有りが検出された場合、画像処理IC106は、補正フィールドを値1増加させてN=N+1とし、補正フィールドを1フィールドに設定する(ステップS18)。画像処理IC106は、電子シャッタ速度の変更があるか否かを判別する(ステップS19)。電子シャッタ速度の変更がある場合、画像処理IC106は、ステップS14以降の処理に戻り、露光時間Tを用いて再度、補正データを選択し、補正を行う。一方、S19で電子シャッタ速度の変更がない場合、画像処理IC106は、ステップS15の処理に戻り、次フィールドの画像データの補正・出画を行う。
On the other hand, if the presence of flicker is detected in S12, the
このように、第2の実施形態の撮像装置によれば、テーブルに格納された補正量を用いることで、より短時間でフリッカ補正を行うことができる。よって、フリッカの変動に即時に追従するように補正することができ、フリッカの影響を減らすことができる。 As described above, according to the imaging apparatus of the second embodiment, the flicker correction can be performed in a shorter time by using the correction amount stored in the table. Therefore, correction can be performed so as to immediately follow fluctuations in flicker, and the influence of flicker can be reduced.
なお、本発明は、上記実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、または本実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。 The present invention is not limited to the configuration of the above-described embodiment, and any configuration can be used as long as the functions shown in the claims or the functions of the configuration of the present embodiment can be achieved. Is also applicable.
101 CMOSセンサ
103 AFE部
104 フリッカセンサ
106 画像処理IC
106a フリッカ検出部
106b 位相・周期検出部
106c 補正部
101
106a
Claims (6)
前記撮像素子の露光開始タイミングをライン毎に制御して露光時間を可変する電子シャッタ手段と、
所定の周波数に応じて光源の明るさが変動するフリッカを検出し、前記検出されたフリッカのレベルを出力するフリッカ検出手段と、
前記検出されたフリッカのフリッカ周期を検出する周期検出手段と、
前記フリッカが検出された場合、前記フリッカのレベルが最小となる時間から前記撮像素子の所定ラインの露光開始タイミングまでの位相差を算出する位相差算出手段と、
前記算出された位相差、前記検出されたフリッカ周期および前記可変された露光時間に基づき、前記撮像素子からの画像データをライン毎に補正する補正手段とを備え、
前記ライン毎に補正された画像データをフィールド画像として出力することを特徴とする撮像装置。 An image sensor in which a plurality of light receiving units are arranged for each line and for each column;
Electronic shutter means for controlling the exposure start timing of the image sensor for each line to vary the exposure time;
Flicker detection means for detecting flicker in which the brightness of the light source fluctuates according to a predetermined frequency and outputting the detected flicker level;
Period detecting means for detecting a flicker period of the detected flicker;
A phase difference calculating means for calculating a phase difference from a time when the flicker level is minimum to an exposure start timing of a predetermined line of the image sensor when the flicker is detected;
Correction means for correcting image data from the image sensor for each line based on the calculated phase difference, the detected flicker period, and the variable exposure time;
An image pickup apparatus that outputs the image data corrected for each line as a field image.
前記補正手段は、前記位相差、前記フリッカ周期および前記露光時間の他、前記計数されたフィールド数に基づき、補正することを特徴とする請求項1記載の撮像装置。 The field image when calculating the phase difference is set to 0 field, and includes a counting unit that counts the number of fields.
The imaging apparatus according to claim 1, wherein the correction unit performs correction based on the counted field number in addition to the phase difference, the flicker cycle, and the exposure time.
電子シャッタ手段が、前記撮像素子の露光開始タイミングをライン毎に制御して露光時間を可変するステップと、
フリッカ検出手段が、所定の周波数に応じて光源の明るさが変動するフリッカを検出し、前記検出されたフリッカのレベルを出力するステップと、
周期検出手段が、前記検出されたフリッカのフリッカ周期を検出するステップと、
前記フリッカが検出された場合、前記フリッカのレベルが最小となる時間から前記撮像素子の所定ラインの露光開始タイミングまでの位相差を算出するステップと、
前記算出された位相差、前記検出されたフリッカ周期および前記可変された露光時間に基づき、前記撮像素子からの画像データをライン毎に補正するステップと、
前記ライン毎に補正された画像データをフィールド画像として出力するステップとを有することを特徴とする撮像装置のフリッカ補正方法。 A flicker correction method for an imaging apparatus having an imaging element in which a plurality of light receiving units are arranged for each line and for each column,
An electronic shutter means for controlling the exposure start timing of the image sensor for each line and varying the exposure time;
Flicker detecting means for detecting flicker in which the brightness of the light source varies according to a predetermined frequency, and outputting the detected flicker level;
A period detecting means for detecting a flicker period of the detected flicker;
When the flicker is detected, calculating a phase difference from a time when the flicker level is minimum to an exposure start timing of a predetermined line of the image sensor;
Correcting image data from the image sensor for each line based on the calculated phase difference, the detected flicker period and the variable exposure time;
And a step of outputting the image data corrected for each line as a field image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008044125A JP2009206569A (en) | 2008-02-26 | 2008-02-26 | Imaging apparatus and flicker correction method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008044125A JP2009206569A (en) | 2008-02-26 | 2008-02-26 | Imaging apparatus and flicker correction method thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009206569A true JP2009206569A (en) | 2009-09-10 |
Family
ID=41148452
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008044125A Pending JP2009206569A (en) | 2008-02-26 | 2008-02-26 | Imaging apparatus and flicker correction method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009206569A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018078451A (en) * | 2016-11-09 | 2018-05-17 | キヤノン株式会社 | Imaging apparatus, control method thereof, and control program |
CN114222070A (en) * | 2021-09-27 | 2022-03-22 | 苏州科达科技股份有限公司 | Brightness compensation method, device, equipment and storage medium |
-
2008
- 2008-02-26 JP JP2008044125A patent/JP2009206569A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018078451A (en) * | 2016-11-09 | 2018-05-17 | キヤノン株式会社 | Imaging apparatus, control method thereof, and control program |
CN114222070A (en) * | 2021-09-27 | 2022-03-22 | 苏州科达科技股份有限公司 | Brightness compensation method, device, equipment and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9794493B2 (en) | Image capturing apparatus, image capturing method, and control method | |
JP4936534B2 (en) | Imaging apparatus and focus control method | |
JP5072431B2 (en) | Imaging apparatus and control method thereof | |
US11128799B2 (en) | Image processing apparatus and image processing method | |
JP2006005520A (en) | Imaging apparatus | |
JP2008109370A (en) | Image correcting device and method, and imaging apparatus | |
JP2009077057A (en) | Imaging apparatus, and control method for imaging apparatus | |
JP2012156885A (en) | Imaging apparatus | |
US10009547B2 (en) | Image pickup apparatus that compensates for flash band, control method therefor, and storage medium | |
JP4519306B2 (en) | Flicker remover | |
JP6652303B2 (en) | Flash band determination device, control method thereof, control program, and imaging device | |
JP2009206569A (en) | Imaging apparatus and flicker correction method thereof | |
JP2014155002A (en) | Imaging device | |
JP5341536B2 (en) | Imaging device | |
US10735661B2 (en) | Image pickup apparatus that compensates for flash band, control method therefor, storage medium, and video processing apparatus | |
US10594912B2 (en) | Flash band determination device for detecting flash band, method of controlling the same, storage medium, and image pickup apparatus | |
JP2007215062A (en) | Flicker suppression imaging device | |
JP7169859B2 (en) | IMAGING DEVICE AND CONTROL METHOD THEREOF, PROGRAM, STORAGE MEDIUM | |
JP7034792B2 (en) | Imaging device and its control method and program | |
JP5094454B2 (en) | Imaging apparatus and control method thereof | |
JPWO2007119483A1 (en) | Automatic phase adjuster | |
JP2004336245A (en) | Correction apparatus | |
JP2007129328A (en) | Imaging apparatus | |
JP2013115547A (en) | Imaging apparatus and control method of the same | |
JP2009147436A (en) | Imaging apparatus |