[go: up one dir, main page]

JP2009206569A - Imaging apparatus and flicker correction method thereof - Google Patents

Imaging apparatus and flicker correction method thereof Download PDF

Info

Publication number
JP2009206569A
JP2009206569A JP2008044125A JP2008044125A JP2009206569A JP 2009206569 A JP2009206569 A JP 2009206569A JP 2008044125 A JP2008044125 A JP 2008044125A JP 2008044125 A JP2008044125 A JP 2008044125A JP 2009206569 A JP2009206569 A JP 2009206569A
Authority
JP
Japan
Prior art keywords
flicker
line
correction
exposure
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008044125A
Other languages
Japanese (ja)
Inventor
Taro Takita
太郎 滝田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008044125A priority Critical patent/JP2009206569A/en
Publication of JP2009206569A publication Critical patent/JP2009206569A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Picture Signal Circuits (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging apparatus which is capable of performing flicker correction in a short time without spoiling the quality of an image. <P>SOLUTION: In response to detection of flicker, an image processing IC 106 calculates a phase difference α being a time from a zero point of a flicker waveform to an exposure start timing in the first line of the zeroth field. The image processing IC 106 calculates a correction amount Hn for correction of image data from an imaging device per line on the basis of the calculated phase difference α, a flicker period and an exposure time T. The image processing IC 106 outputs image data corrected per line by using the correction amount Hn, as a field image. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、複数の受光部が配置された撮像素子を有する撮像装置及びそのフリッカ補正方法に関する。   The present invention relates to an imaging apparatus having an imaging element in which a plurality of light receiving units are arranged, and a flicker correction method thereof.

近年、ビデオカメラにおいては、多画素化、高速化が進み、撮像素子としてCMOSセンサが用いられている。CMOSセンサとして、フォトダイオードの面積の観点から、フローティングディフュージョン(以下、FDと略記)アンプが全ての画素には無く、各カラムに1つ存在するカラム読み出し型のものが、ビデオカメラ等では主流である。   In recent years, in a video camera, the number of pixels is increased and the speed is increased, and a CMOS sensor is used as an imaging element. As a CMOS sensor, from the viewpoint of the area of a photodiode, a floating diffusion (hereinafter abbreviated as FD) amplifier is not provided in every pixel, and one column readout type that exists in each column is mainly used in video cameras and the like. is there.

このようなカラム読み出し型のCMOSセンサでは、ライン毎に読み出しが開始されるまで、露光が行われることになる。従って、全画素に対し、同じタイミングで露光を開始し、画素の読み出しを行うと、ライン毎に輝度レベルが異なる。このため、ライン毎に一定間隔で露光タイミングをずらして露光を行うローリングシャッタ機能が採用されている。   In such a column readout type CMOS sensor, exposure is performed until readout is started for each line. Therefore, when exposure is started for all pixels at the same timing and the pixels are read out, the luminance level differs for each line. For this reason, a rolling shutter function for performing exposure by shifting the exposure timing at regular intervals for each line is adopted.

しかし、上記機能を有するCMOSセンサを用いたビデオカメラであっても、商用電源周波数のAC変動による蛍光灯やタングステン電球などのフリッカ現象が発生すると、各ライン毎に露光量が変わってしまう。このため、1フィールド画像において、垂直方向に横縞の輝度レベルの異なる画像が生じてしまう。これに対し、従来では、画像の垂直方向の輝度レベルを随時検出し、フィールド間で差分を取り、フリッカ成分を抽出して補正することが行われていた(特許文献1参照)。
特許第03823314号公報
However, even in a video camera using a CMOS sensor having the above function, when a flicker phenomenon such as a fluorescent lamp or a tungsten light bulb occurs due to AC fluctuation of the commercial power supply frequency, the exposure amount changes for each line. For this reason, in one field image, images having different horizontal stripe luminance levels in the vertical direction are generated. On the other hand, conventionally, the luminance level in the vertical direction of an image is detected at any time, a difference is taken between fields, and a flicker component is extracted and corrected (see Patent Document 1).
Japanese Patent No. 0382314

しかしながら、上記従来のフリッカ補正方法では、フリッカ成分を複数のフィールド画像から抽出しているので、フリッカ現象を検出してから補正するまでに複数フィールド分の時間が必要となってしまい、補正し終えるまでに時間がかかっていた。特に、被写体が動いた時、補正の追従が間に合わなくなることがあった。このため、画像の品位が損なわれていた。   However, in the above conventional flicker correction method, since flicker components are extracted from a plurality of field images, it takes time for a plurality of fields to be corrected after the flicker phenomenon is detected, and the correction is completed. It took a long time before. In particular, when the subject moves, tracking of correction may not be in time. For this reason, the quality of the image was impaired.

そこで、本発明は、画像の品位を損なうことなく、短時間でフリッカ補正を行うことができる撮像装置及びそのフリッカ補正方法を提供することを目的とする。   SUMMARY An advantage of some aspects of the invention is that it provides an imaging apparatus capable of performing flicker correction in a short time without impairing image quality and a flicker correction method thereof.

上記目的を達成するために、本発明の撮像装置は、ライン毎かつカラム毎に複数の受光部が配置された撮像素子と、前記撮像素子の露光開始タイミングをライン毎に制御して露光時間を可変する電子シャッタ手段と、所定の周波数に応じて光源の明るさが変動するフリッカを検出し、前記検出されたフリッカのレベルを出力するフリッカ検出手段と、前記検出されたフリッカのフリッカ周期を検出する周期検出手段と、前記フリッカが検出された場合、前記フリッカのレベルが最小となる時間から前記撮像素子の所定ラインの露光開始タイミングまでの位相差を算出する位相差算出手段と、前記算出された位相差、前記検出されたフリッカ周期および前記可変された露光時間に基づき、前記撮像素子からの画像データをライン毎に補正する補正手段とを備え、前記ライン毎に補正された画像データをフィールド画像として出力することを特徴とする。   In order to achieve the above object, an imaging apparatus according to the present invention includes an imaging device in which a plurality of light receiving units are arranged for each line and for each column, and controls an exposure start timing of the imaging device for each line to thereby set an exposure time A variable electronic shutter means, a flicker detecting means for detecting flicker in which the brightness of the light source fluctuates in accordance with a predetermined frequency, and outputting a level of the detected flicker, and detecting a flicker cycle of the detected flicker And a phase difference calculating means for calculating a phase difference from a time when the flicker level is minimized to an exposure start timing of a predetermined line of the image sensor when the flicker is detected. Based on the detected phase difference, the detected flicker period, and the variable exposure time, the image data from the image sensor is corrected for each line. And means, and outputting the image data corrected for each of the line as the field image.

本発明の撮像装置のフリッカ補正方法は、ライン毎かつカラム毎に複数の受光部が配置された撮像素子を有する撮像装置のフリッカ補正方法であって、電子シャッタ手段が、前記撮像素子の露光開始タイミングをライン毎に制御して露光時間を可変するステップと、フリッカ検出手段が、所定の周波数に応じて光源の明るさが変動するフリッカを検出し、前記検出されたフリッカのレベルを出力するステップと、周期検出手段が、前記検出されたフリッカのフリッカ周期を検出するステップと、前記フリッカが検出された場合、前記フリッカのレベルが最小となる時間から前記撮像素子の所定ラインの露光開始タイミングまでの位相差を算出するステップと、前記算出された位相差、前記検出されたフリッカ周期および前記可変された露光時間に基づき、前記撮像素子からの画像データをライン毎に補正するステップと、前記ライン毎に補正された画像データをフィールド画像として出力するステップとを有することを特徴とする。   The flicker correction method for an image pickup apparatus according to the present invention is a flicker correction method for an image pickup apparatus having an image pickup element in which a plurality of light receiving portions are arranged for each line and for each column, wherein the electronic shutter means starts exposure of the image pickup element. A step of varying the exposure time by controlling the timing for each line, and a step of detecting flicker in which the brightness of the light source fluctuates according to a predetermined frequency and outputting the detected flicker level. And a step of detecting a flicker cycle of the detected flicker, and when the flicker is detected, from a time when the flicker level is minimum to an exposure start timing of a predetermined line of the image sensor. Calculating a phase difference between the calculated phase difference, the detected flicker period, and the variable exposure time. The basis, and correcting the image data from the imaging device for each line, characterized in that a step of outputting the image data corrected for each of the line as the field image.

本発明の請求項1に係る撮像装置は、フリッカが検出された場合、フリッカのレベルが最小となる時間から撮像素子の所定ラインの露光開始タイミングまでの位相差を算出し、この位相差、フリッカ周期および露光時間に基づき、画像データをライン毎に補正する。これにより、画像データの出力前に補正データを確定することができ、画像の品位を損なうことなく、短時間でフリッカ補正を行うことができる。   According to a first aspect of the present invention, when flicker is detected, the imaging apparatus calculates a phase difference from a time when the flicker level is minimum to an exposure start timing of a predetermined line of the imaging device, and the phase difference, flicker is calculated. Based on the period and exposure time, the image data is corrected for each line. Accordingly, correction data can be determined before image data is output, and flicker correction can be performed in a short time without impairing image quality.

請求項2に係る撮像装置によれば、所定ラインの露光量と最も大きな値となるラインの露光量との比を用いて補正量を算出するので、補正量の算出を簡単に行うことができる。   According to the imaging apparatus of the second aspect, since the correction amount is calculated using the ratio between the exposure amount of the predetermined line and the exposure amount of the line having the largest value, the correction amount can be easily calculated. .

請求項3に係る撮像装置によれば、被写体領域内の一部の領域の輝度レベルをフリッカのレベルとして出力するので、少ないデータ量で短時間にフリッカのレベルを出力することができる。   According to the imaging apparatus of the third aspect, since the luminance level of a part of the subject area is output as the flicker level, the flicker level can be output in a short time with a small amount of data.

請求項4に係る撮像装置によれば、フィールド数を計数することで、所定のフィールド数毎に同じ補正データを用いることができ、フィールド画像の補正を簡単に行うことができる。   According to the imaging apparatus of the fourth aspect, by counting the number of fields, the same correction data can be used for each predetermined number of fields, and the field image can be easily corrected.

請求項5に係る撮像装置によれば、テーブルに格納された補正量を用いることで、より短時間でフリッカ補正を行うことができる。   According to the imaging apparatus of the fifth aspect, the flicker correction can be performed in a shorter time by using the correction amount stored in the table.

本発明の撮像装置及びそのフリッカ補正方法の実施の形態について図面を参照しながら説明する。本実施形態の撮像装置はビデオカメラ装置に適用される。   Embodiments of an imaging apparatus and a flicker correction method thereof according to the present invention will be described with reference to the drawings. The imaging device of this embodiment is applied to a video camera device.

[第1の実施形態]
図1は第1の実施形態における撮像装置の構成を示すブロック図である。レンズ部100は、被写体からの光量を収束させ、かつ焦点を合わせるためのAF機構、ズーム機構、および光量を制御する絞りを有する。CMOSセンサ101は、ライン毎かつカラム毎に複数の受光部が配置され、主にレンズ部100を抜けた被写体像の光を電気信号に変換する半導体撮像素子である。センサ制御部102は、CPU109に接続され、CMOSセンサ101のタイミング制御を主に行う。
[First Embodiment]
FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus according to the first embodiment. The lens unit 100 includes an AF mechanism for converging and focusing a light amount from a subject, a zoom mechanism, and a diaphragm for controlling the light amount. The CMOS sensor 101 is a semiconductor imaging device in which a plurality of light receiving units are arranged for each line and for each column, and mainly converts light of a subject image that has passed through the lens unit 100 into an electrical signal. The sensor control unit 102 is connected to the CPU 109 and mainly performs timing control of the CMOS sensor 101.

AFE(アナログ処理回路)部103は、CMOSセンサ101から出力される画像信号に対し、相関二重サンプリング回路(CDS)によりノイズを除去し、A/D変換部によりアナログ信号からデジタル信号に変換する。また、AFE部103は、所望のレベルにするために画像信号を所定のゲインで増幅するアンプ部を有する。   An AFE (analog processing circuit) unit 103 removes noise from the image signal output from the CMOS sensor 101 by a correlated double sampling circuit (CDS), and converts the analog signal to a digital signal by an A / D conversion unit. . In addition, the AFE unit 103 includes an amplifier unit that amplifies the image signal with a predetermined gain in order to obtain a desired level.

フリッカセンサ104は、被写体光の光量変化からフリッカ成分を検出するために用いられ、任意の周波数で被写体光量のレベル(フリッカのレベル)を電気的に出力する。すなわち、フリッカセンサ104は、画像処理IC106の被写体画像情報を基に、実際の画像エリア内の比較的小さな任意の領域(一部の領域)における被写体光量のレベルを随時出力する。レベル変換部105は、フリッカセンサ104から出力される電気信号を画像処理IC106のI/Fに合わせるために電圧変換を行う。   The flicker sensor 104 is used to detect a flicker component from a change in the amount of light of the subject light, and electrically outputs a subject light amount level (flicker level) at an arbitrary frequency. That is, the flicker sensor 104 outputs the subject light amount level in a relatively small arbitrary region (partial region) in the actual image area as needed based on the subject image information of the image processing IC 106. The level conversion unit 105 performs voltage conversion in order to match the electric signal output from the flicker sensor 104 with the I / F of the image processing IC 106.

画像処理IC106は、CPU109によって制御され、主にAFE部103より出力される画像信号に対し、γ補正、輪郭強調補正、ホワイトバランス等の画像処理、およびフリッカ補正全般を行う。   The image processing IC 106 is controlled by the CPU 109 and mainly performs image processing such as γ correction, contour enhancement correction, white balance, and flicker correction on the image signal output from the AFE unit 103.

つづいて、画像処理IC106の内部のフリッカ補正部について説明する。フリッカ検出部106aは、レベル変換部105から出力される信号のレベル変化を基に、蛍光灯などの商用電源周波数に同期した被写体光の明暗が現れるフリッカ現象の有無を検出する。位相・周期検出部106bは、フリッカ検出時のフリッカ波形を記録し、フリッカ周期、およびフリッカ波形とCMOSセンサ101の露光タイミングとの位相差を算出する。位相・周期検出部106bは請求項に記載の周期検出手段および位相差算出手段に相当する。補正部106cは、この位相差、フリッカ周期およびフリッカ波形から得られる、画像データのライン毎の補正データをテーブルとして記録し、この補正データを用いて実際に補正を行う。補正部106cは請求項に記載の補正手段に相当する。   Next, the flicker correction unit inside the image processing IC 106 will be described. The flicker detection unit 106a detects the presence or absence of a flicker phenomenon in which the brightness of the subject light appears in synchronization with the commercial power supply frequency such as a fluorescent lamp, based on the level change of the signal output from the level conversion unit 105. The phase / period detection unit 106 b records a flicker waveform at the time of flicker detection, and calculates a flicker period and a phase difference between the flicker waveform and the exposure timing of the CMOS sensor 101. The phase / period detection unit 106b corresponds to a period detection unit and a phase difference calculation unit described in the claims. The correction unit 106c records correction data for each line of image data obtained from the phase difference, flicker cycle, and flicker waveform as a table, and actually performs correction using the correction data. The correcting unit 106c corresponds to the correcting unit described in the claims.

画像変換部107は、画像処理IC106から出力される画像データを記録部108に記録される動画フォーマットのデータに変換する。記録部108は、DVD、DVテープ、SDカード等の記録媒体であり、画像変換部107で変換された動画フォーマットのデータを記録する。CPU109は、撮像装置全体の制御を司る。   The image conversion unit 107 converts the image data output from the image processing IC 106 into moving image format data recorded in the recording unit 108. The recording unit 108 is a recording medium such as a DVD, a DV tape, or an SD card, and records moving image format data converted by the image conversion unit 107. The CPU 109 controls the entire imaging apparatus.

上記構成を有する撮像装置の動作を示す。図2はフリッカ補正処理の手順を示すフローチャートである。この処理は画像処理IC106によって実行される。ここで、レンズ部100を通った被写体光は、CMOSセンサ101によって電気信号に変換され、AFE部103からデジタル画像データとして出力され、画像処理IC106に入力される。   The operation of the imaging apparatus having the above configuration will be described. FIG. 2 is a flowchart showing the procedure of flicker correction processing. This process is executed by the image processing IC 106. Here, the subject light that has passed through the lens unit 100 is converted into an electrical signal by the CMOS sensor 101, output as digital image data from the AFE unit 103, and input to the image processing IC 106.

まず、画像処理IC106は、フリッカセンサ104のサンプリング周波数を10kHzに設定し、レベル変換部105を介して入力されるフリッカ信号を計測する(ステップS1)。そして、計測されたフリッカ信号を基に、画像処理IC106は、フリッカの有無を検出する(ステップS2)。フリッカセンサ104は、前述したように、任意の周波数で被写体光量のレベルを電気的に出力するものであり、画像処理IC106の被写体画像情報を基に、実際の画像エリア内の、比較的小さな任意の領域における被写体光量のレベルを随時出力する。   First, the image processing IC 106 sets the sampling frequency of the flicker sensor 104 to 10 kHz, and measures the flicker signal input via the level conversion unit 105 (step S1). Then, based on the measured flicker signal, the image processing IC 106 detects the presence or absence of flicker (step S2). As described above, the flicker sensor 104 electrically outputs a subject light amount level at an arbitrary frequency. Based on the subject image information of the image processing IC 106, the flicker sensor 104 is a relatively small arbitrary light amount in an actual image area. The level of the subject light amount in the area is output as needed.

フリッカ現象が発生していない場合、フリッカ信号は一定もしくは周期性のない変動となる。この場合、ステップS2でフリッカ無しが判断される。そして、画像処理IC106は、通常の撮像動作で画像データの出画を行う(ステップS11)。この後、画像処理IC106はステップS1の処理に戻る。一方、フリッカ現象が発生している場合、画像処理IC106はステップS3以降の処理を行う。   When the flicker phenomenon does not occur, the flicker signal has a constant or non-periodic variation. In this case, it is determined in step S2 that there is no flicker. Then, the image processing IC 106 outputs image data by a normal imaging operation (step S11). Thereafter, the image processing IC 106 returns to the process of step S1. On the other hand, when the flicker phenomenon has occurred, the image processing IC 106 performs the processing after step S3.

図3はフリッカ現象が発生している時のフリッカ信号の時間的変化を示す図である。曲線で示されるフリッカ信号のフリッカ波形300は、蛍光灯などの商用電源周波数に同期した周期で明暗を繰り返している。本実施形態では、電源周波数を50Hzとし、50Hzの交流電源に接続された蛍光灯等の光源は、図3に示すように、100Hzの周期、かつCOSカーブで表される明暗を繰り返す。   FIG. 3 is a diagram showing a temporal change of the flicker signal when the flicker phenomenon occurs. The flicker waveform 300 of the flicker signal indicated by the curve repeats light and dark with a period synchronized with a commercial power supply frequency such as a fluorescent lamp. In the present embodiment, the power source frequency is 50 Hz, and a light source such as a fluorescent lamp connected to a 50 Hz AC power source repeats the light and darkness represented by a COS curve with a period of 100 Hz as shown in FIG.

フリッカセンサ104は、10kHzのサンプリング周期で、被写体光量のレベルを画像処理IC106に出力する。画像処理IC106内のフリッカ検出部106aは、各サンプリングタイミングで被写体光量のレベルを保持する。すなわち、フリッカ検出部106aは、あるタイミングの被写体光の光量レベルをYxとし、次のサンプリング時のレベルをYx+1,Yx+2,・・・,Yx+100,・・・として記録する。   The flicker sensor 104 outputs a subject light amount level to the image processing IC 106 at a sampling period of 10 kHz. The flicker detection unit 106a in the image processing IC 106 holds the level of the subject light amount at each sampling timing. That is, the flicker detection unit 106a records the light amount level of the subject light at a certain timing as Yx and the levels at the next sampling as Yx + 1, Yx + 2,..., Yx + 100,.

なお、レベル変換部105では、光量レベルの最大値が画像処理IC106の入力部の最大電圧となり、光量レベルの最小値が最小電圧として“0”[V]となるように、増幅処理または減衰処理とオフセット処理とが施される。   The level converter 105 amplifies or attenuates so that the maximum value of the light amount level becomes the maximum voltage of the input unit of the image processing IC 106 and the minimum value of the light amount level becomes “0” [V] as the minimum voltage. And offset processing.

画像処理IC106の内部のフリッカ検出部106aは、保持された光量レベルYが周期100HzのCOSカーブの特性となっているか否かのマッチングを行う。具体的に、まず、最大となるポイントと次に最大となるポイントとの区間が約10[ms](サンプリングポイントで100回分あるいは100Hz)となっている場合、フリッカ検出部106aは100Hzの周期で光量レベルYが変動していると判断する。   The flicker detection unit 106a in the image processing IC 106 performs matching as to whether or not the held light amount level Y has a COS curve characteristic with a period of 100 Hz. Specifically, when the interval between the maximum point and the next maximum point is about 10 [ms] (100 sampling points or 100 Hz), the flicker detection unit 106a has a cycle of 100 Hz. It is determined that the light amount level Y is fluctuating.

さらに、画像処理IC106内には、y=COS(t)の関数が保持されており、フリッカ検出部106aは各ポイントの光量レベルYと周期100HzのCOSカーブとのマッチングを行う。すなわち、光量レベルYがあるレベル以上であって、COSカーブと相似である場合、フリッカ検出部106aは、50Hzの商用電源の周期によるフリッカが発生していると判断する。   Further, a function y = COS (t) is held in the image processing IC 106, and the flicker detection unit 106a performs matching between the light amount level Y of each point and a COS curve having a period of 100 Hz. That is, when the light amount level Y is equal to or higher than a certain level and similar to the COS curve, the flicker detection unit 106a determines that flicker occurs due to the cycle of the commercial power supply of 50 Hz.

また、最大となるポイントと次に最大となるポイントとの区間が約8.333[ms]となっている場合、フリッカ検出部106aは光量レベルYが120Hzの周期で変動していると判断する。これは60Hz帯でのフリッカ周期となるので、フリッカ検出部106aは、同様に、光量レベルYとCOSカーブとのマッチングを行い、120Hzのフリッカの有無を判断する。なお、商用電源の50Hz帯あるいは60Hz帯の識別は、ユーザの設定によって行われてもよいし、また無線等で行われてもよい。   If the interval between the maximum point and the next maximum point is about 8.333 [ms], the flicker detection unit 106a determines that the light amount level Y fluctuates at a cycle of 120 Hz. . Since this is a flicker cycle in the 60 Hz band, the flicker detection unit 106a similarly performs matching between the light amount level Y and the COS curve, and determines the presence or absence of flicker at 120 Hz. The identification of the commercial power supply in the 50 Hz band or 60 Hz band may be performed by user settings, or may be performed wirelessly.

そして、検出されたフリッカ値を基に、フリッカ検出部106aは、周期および係数を変数としたCOS関数として、フリッカ波形を保持する。本実施形態では、周期が10msとなるので、フリッカ波形は、|COS2π・t/10×10−3|の関数で表される。 Then, based on the detected flicker value, the flicker detection unit 106a holds the flicker waveform as a COS function with the period and coefficient as variables. In this embodiment, since the period is 10 ms, the flicker waveform is represented by a function of | COS2π · t / 10 × 10 −3 |.

ステップS2でフリッカが検出されると、画像処理IC106は、フリッカがシャッタ速度により変動するので、絞り優先の露出制御に切り替え、検出されたフリッカ波形とCMOSセンサ101の露光タイミングとの関係を算出する(ステップS3)。   When flicker is detected in step S2, the image processing IC 106 switches to aperture-priority exposure control since the flicker varies depending on the shutter speed, and calculates the relationship between the detected flicker waveform and the exposure timing of the CMOS sensor 101. (Step S3).

図3には、検出されたフリッカ波形とCMOSセンサの露光タイミングとの関係が示されている。フリッカ波形300は、S1で検出された離散的なフリッカ情報を基に、復元されており、100Hzの周期を有する。また、符号301は各ラインの露光開始タイミングおよび露光時間を表している。   FIG. 3 shows the relationship between the detected flicker waveform and the exposure timing of the CMOS sensor. The flicker waveform 300 is restored based on the discrete flicker information detected in S1 and has a period of 100 Hz. Reference numeral 301 represents the exposure start timing and exposure time of each line.

本実施形態のCMOSセンサ101は、水平方向に1ライン分(各カラムに1つ)のFDアンプを持つカラム読み出し方式のCMOSセンサである。ライン毎に露光開始タイミングを変えることによって、各ラインの露光時間T(電子シャッタ速度)を均一にしている。なお、図中、Nはフィールドを表す変数である。ある任意のフィールドを露光しているタイミングをN=0とし、次フィールドをN=1、N=2、・・・としている。また、本実施形態では、各フィールドのライン数は1080ラインである。   The CMOS sensor 101 of this embodiment is a column readout type CMOS sensor having FD amplifiers for one line in the horizontal direction (one for each column). By changing the exposure start timing for each line, the exposure time T (electronic shutter speed) of each line is made uniform. In the figure, N is a variable representing a field. The timing at which an arbitrary field is exposed is N = 0, and the next field is N = 1, N = 2,. In this embodiment, the number of lines in each field is 1080 lines.

蛍光灯などのフリッカ現象のある光源下では、図3に示すように、各ラインの露光タイミングによって、センサの露光量が変わってしまうため、垂直方向に輝度レベルの異なる画像が生じてしまう。   Under a light source having a flicker phenomenon such as a fluorescent lamp, as shown in FIG. 3, the exposure amount of the sensor changes depending on the exposure timing of each line, so that images having different luminance levels in the vertical direction are generated.

また、ステップS3では、画像処理IC106は、フリッカ波形のゼロとなるポイント(ゼロ点)から、任意のフィールドの1ライン目の露光開始タイミングまでの時間(位相:α[s])を検出し、そのフィールド(N)を0フィールドとする。以後、αを位相差とする。   In step S3, the image processing IC 106 detects the time (phase: α [s]) from the point where the flicker waveform becomes zero (zero point) to the exposure start timing of the first line of an arbitrary field. The field (N) is set to 0 field. Hereinafter, α is a phase difference.

図4は0フィールドの1ライン目の露光期間および2ライン目の露光期間とフリッカの明暗を表すフリッカ波形との関係を示す図である。1ライン目の露光期間400に実際に露光される光量401が斜線で表わされている。1ライン目の露光開始時を基準とし、2ライン目の露光が開始されるまでの時間Dt[s]は、通常、1HD分(1ライン分の画像データを読み出す時間)である。なお、時間Dtは、nライン目とn+1ライン目に関しても共通であり、シャッタ時間等によらない時間である。   FIG. 4 is a diagram showing the relationship between the exposure period of the first line and the exposure period of the second line in the 0 field and the flicker waveform representing the flicker of the flicker. The amount of light 401 actually exposed during the exposure period 400 of the first line is indicated by hatching. The time Dt [s] until the exposure of the second line is started with the start of exposure of the first line as a reference is usually 1 HD (time for reading image data for one line). The time Dt is common to the n-th line and the n + 1-th line, and is a time that does not depend on the shutter time or the like.

また、時間α+Tはフリッカの明るさがゼロ(もしくは最小値)となったポイントを基準にしたとき、1ライン目の露光が終了する時間である。ここで、Tは前述した露光時間である。2ライン目の露光期間404は、時間α+Dtを2ライン目の露光開始ポイントとし、時間α+Dt+Tを2ライン目の露光終了ポイントとする期間である。   The time α + T is the time when the exposure of the first line ends when the flicker brightness is zero (or the minimum value) as a reference. Here, T is the exposure time described above. The exposure period 404 for the second line is a period in which the time α + Dt is the exposure start point for the second line and the time α + Dt + T is the exposure end point for the second line.

従って、1ライン目の露光量は、S2で検出され、画像処理IC106内に保持されている関数(|COS2π・t/10×10−3|)を時間αから時間α+Tまで積分した値となる。同様に、2ライン目の露光量は、時間α+Dtから時間α+Dt+Tまで積分した値となる。また、nライン目の露光量は、時間α+(n−1)・Dtから時間α+(n−1)・Dt+Tまで積分した値となる。このようにして、0フィールド目の各ライン分の露光量L〜L1080が算出される。 Therefore, the exposure amount of the first line is a value obtained by integrating the function (| COS2π · t / 10 × 10 −3 |) detected in S2 and held in the image processing IC 106 from time α to time α + T. . Similarly, the exposure amount of the second line is a value integrated from time α + Dt to time α + Dt + T. The exposure amount of the nth line is a value obtained by integrating from time α + (n−1) · Dt to time α + (n−1) · Dt + T. In this way, the exposure amounts L 1 to L 1080 for each line in the 0th field are calculated.

図3に示したように、フリッカ周期10ms、フィールド周期16.66ms(1/60ms)であるので、フリッカ周期を5回、フィールド読み出しを3回繰り返すと、位相は位相差αとなる。また、1フィールド目の露光量の積分範囲は、0フィールド目の各ラインの積分範囲に対し、1/60[s]ずれた積分範囲となる。同様に、2フィールド目の露光量の積分範囲は、さらに1/60[s]ずれた積分範囲となる。   As shown in FIG. 3, since the flicker cycle is 10 ms and the field cycle is 16.66 ms (1/60 ms), when the flicker cycle is repeated 5 times and the field reading is repeated 3 times, the phase becomes the phase difference α. Also, the integration range of the exposure amount in the first field is an integration range shifted by 1/60 [s] with respect to the integration range of each line in the 0 field. Similarly, the integration range of the exposure amount in the second field is an integration range shifted by 1/60 [s].

また、3iフィールド(iは自然数)、3i+1フィールド、3i+2フィールドの露光量は、それぞれ0フィールド(N=0)、1フィールド(N=1)、2フィールド(N=2)の露光量と同様になる。従って、補正データは、フィールドに応じて、3種類の補正データに分けられる。   Further, the exposure amounts of 3i field (i is a natural number), 3i + 1 field, and 3i + 2 field are the same as the exposure amounts of 0 field (N = 0), 1 field (N = 1), and 2 fields (N = 2), respectively. Become. Therefore, the correction data is divided into three types of correction data according to the field.

本実施形態では、3iフィールドを0フィールド、3i+1フィールドを1フィールド、3i+2フィールドを2フィールドとそれぞれ呼ぶことにする。画像処理IC106内部では、変数Nに、補正するフィールド番号が格納される。すなわち、N=0の場合、0フィールドであり、N=1の場合、1フィールドであり、N=2の場合、2フィールドであることが示される。最初に、0フィールドが補正されるので、初期値として、N=0が格納されている。   In this embodiment, the 3i field is called 0 field, the 3i + 1 field is called 1 field, and the 3i + 2 field is called 2 field. In the image processing IC 106, the field number to be corrected is stored in the variable N. That is, when N = 0, it is 0 field, when N = 1, it is 1 field, and when N = 2, it is indicated that it is 2 fields. First, since 0 field is corrected, N = 0 is stored as an initial value.

このようにして、画像処理IC106は、0〜2フィールドの露光量を求めて保持する(ステップS4)。画像処理IC106は、S4で求めた露光量より各フィールドに対応する各ラインの補正量H〜H1080を算出する(ステップS5)。 In this way, the image processing IC 106 calculates and holds the exposure amount for 0 to 2 fields (step S4). The image processing IC 106 calculates correction amounts H 1 to H 1080 for each line corresponding to each field from the exposure amount obtained in S4 (step S5).

まず、画像処理IC106は、各フィールドのうち、露光量L〜L1080の中で一番大きい(明るい)数値を選択し、その最も大きな値を基準値とする。この基準値となる露光量をLrefとし、補正量を算出するラインの露光量をL、補正量をHとすると、補正量Hは数式(1)で算出される。ここで、nはライン番号を表す。 First, the image processing IC 106 selects the largest (brighter) numerical value among the exposure amounts L 1 to L 1080 among the fields, and sets the largest value as the reference value. When the exposure amount serving as the reference value is L ref , the exposure amount of the line for calculating the correction amount is L n , and the correction amount is H n , the correction amount H n is calculated by Equation (1). Here, n represents a line number.

=−20log L/ Lref[dB] …… (1)
このようにして、N=0〜2の各ライン分の補正量を算出し、各フィールドの補正量をそれぞれ補正量0、補正量1、補正量2とする。
H n = −20 log L n / L ref [dB] (1)
In this way, the correction amount for each line of N = 0 to 2 is calculated, and the correction amount of each field is set as correction amount 0, correction amount 1, and correction amount 2, respectively.

画像処理IC106は、実際に取り込んだ画像データに対し、例えば0フィールドの補正データにより補正を行い、出画を行う(ステップS6)。具体的に、この補正・出画処理では、補正前の画像データをDnとし、適正露出レベルに保つための係数をR(ここで、0<R<1)とし、補正後の画像データDn´とすると、補正後の画像データDn´は数式(2)に従って算出される。   The image processing IC 106 corrects the actually captured image data using, for example, 0-field correction data, and outputs an image (step S6). Specifically, in this correction / output processing, the image data before correction is set to Dn, the coefficient for maintaining an appropriate exposure level is set to R (where 0 <R <1), and the corrected image data Dn ′ Then, the corrected image data Dn ′ is calculated according to Equation (2).

Dn´= R*Dn*Hn …… (2)
画像処理IC106は、次フィールドの画像データをCMOSセンサ101から取り込み(ステップS7)、フリッカ検出部106aによりフリッカの有無を検出する(ステップS8)。フリッカ無しが検出された場合、画像処理IC106は、ステップS1の処理に戻り、S1、S2を経て通常の撮像動作に戻り、次フィールドの画像データの出画を行う(ステップS11)。この後、画像処理IC106はステップS1の処理に戻る。
Dn ′ = R * Dn * Hn (2)
The image processing IC 106 takes in the image data of the next field from the CMOS sensor 101 (step S7), and detects the presence or absence of flicker by the flicker detection unit 106a (step S8). When the absence of flicker is detected, the image processing IC 106 returns to the process of step S1, returns to the normal imaging operation through S1 and S2, and outputs the image data of the next field (step S11). Thereafter, the image processing IC 106 returns to the process of step S1.

一方、ステップS2でフリッカ有りが検出された場合、画像処理IC106は、補正するフィールドNを値1増加させてN=N+1とし、補正するフィールドを次フィールドに変更する(ステップS9)。このとき、N=3となる場合、画像処理IC106はN=0を格納する。   On the other hand, if the presence of flicker is detected in step S2, the image processing IC 106 increases the field N to be corrected by 1 to N = N + 1, and changes the field to be corrected to the next field (step S9). At this time, when N = 3, the image processing IC 106 stores N = 0.

そして、画像処理IC106は、補正量が算出された前フィールドの画像データ取り込み時の露光時間(電子シャッタ速度)と、S7で次フィールドの画像データ取り込み時の露光時間とが異なるか否かを判別する(ステップS10)。電子シャッタ速度が可変され、露光時間が異なる場合、画像処理IC106はステップS4の処理に戻る。すなわち、補正量作成時の露光時間Tが変わると、露光量算出時の積分範囲も変わるので、画像処理IC106は、S4以降の処理で新たな露光時間Tによる新たな補正データを作成する。   Then, the image processing IC 106 determines whether or not the exposure time (electronic shutter speed) when capturing the image data of the previous field for which the correction amount is calculated is different from the exposure time when capturing the image data of the next field in S7. (Step S10). When the electronic shutter speed is varied and the exposure time is different, the image processing IC 106 returns to the process of step S4. That is, when the exposure time T at the time of creating the correction amount changes, the integration range at the time of calculating the exposure amount also changes, so the image processing IC 106 creates new correction data based on the new exposure time T in the processing after S4.

一方、S10で露光時間に変化が無い場合、画像処理IC106は、S7で読み込んだ画像データのフィールドが、変数Nに格納された値を基に補正量0、補正量1、補正量2のどれに対応するかを選択し、ステップS6の処理に戻り、画像データの補正を行う。   On the other hand, when there is no change in the exposure time in S10, the image processing IC 106 determines which of the correction amount 0, the correction amount 1, and the correction amount 2 based on the value stored in the variable N in the field of the image data read in S7. Is selected, and the process returns to step S6 to correct the image data.

このように、第1の実施形態の撮像装置は、フリッカを検出した場合、露光開始タイミング、フリッカ変動の位相差および読み込みフィールド数から補正量を算出して補正する。ライン毎に乗算される補正量を算出して補正が行われるので、フリッカの変動に即時に追従するように補正することができ、フリッカの影響を減らすことができる。これにより、画像データの出力前に補正データ(補正量)を確定することができ、画像の品位を損なうことなく、短時間でフリッカ補正を行うことができる。   As described above, when the flicker is detected, the imaging apparatus according to the first embodiment calculates and corrects the correction amount from the exposure start timing, the flicker fluctuation phase difference, and the number of read fields. Since correction is performed by calculating a correction amount to be multiplied for each line, correction can be performed so as to immediately follow fluctuations in flicker, and the influence of flicker can be reduced. Thus, correction data (correction amount) can be determined before image data is output, and flicker correction can be performed in a short time without impairing image quality.

また、所定ラインの露光量と最も大きな値となるラインの露光量との比を用いて補正量を算出するので、補正量の算出を簡単に行うことができる。また、被写体領域内の一部の領域の輝度レベルをフリッカのレベルとして出力するので、少ないデータ量で短時間にフリッカのレベルを出力することができる。また、フィールド数を計数することで、所定のフィールド数毎に同じ補正データを用いることができ、フィールド画像の補正を簡単に行うことができる。   Further, since the correction amount is calculated using the ratio between the exposure amount of the predetermined line and the exposure amount of the line having the largest value, the correction amount can be easily calculated. Further, since the luminance level of a part of the subject area is output as the flicker level, the flicker level can be output in a short time with a small amount of data. Also, by counting the number of fields, the same correction data can be used for each predetermined number of fields, and the field image can be corrected easily.

[第2の実施形態]
第2の実施形態における撮像装置の構成は、前記第1の実施形態と同一であるので、同一の符号を用いることによりその説明を省略する。ここでは、前記第1の実施形態と異なる動作について説明する。
[Second Embodiment]
Since the configuration of the imaging apparatus in the second embodiment is the same as that of the first embodiment, description thereof is omitted by using the same reference numerals. Here, operations different from those in the first embodiment will be described.

図5は第2の実施形態におけるフリッカ補正処理の手順を示すフローチャートである。この処理は画像処理IC106によって実行される。前記第1の実施形態と同様、レンズを通った被写体光がCMOSセンサ101により電気信号に変換され、さらにAFE部103によりデジタル画像データとして出力され、画像処理IC106に入力される。   FIG. 5 is a flowchart showing the procedure of flicker correction processing in the second embodiment. This process is executed by the image processing IC 106. As in the first embodiment, the subject light that has passed through the lens is converted into an electrical signal by the CMOS sensor 101, further output as digital image data by the AFE unit 103, and input to the image processing IC 106.

画像処理IC106は、前記第1の実施形態と同様、10KHzのサンプリング周波数でフリッカを計測する(ステップS11)。画像処理IC106は、レベル変換部105を介して入力されるフリッカ信号を基に、フリッカの有無を検出する(ステップS12)。   As in the first embodiment, the image processing IC 106 measures flicker at a sampling frequency of 10 KHz (step S11). The image processing IC 106 detects the presence or absence of flicker based on the flicker signal input through the level conversion unit 105 (step S12).

フリッカ無しが検出された場合、画像処理IC106は、通常の撮像動作で画像データの出画を行う(ステップS20)。この後、画像処理IC106はステップS11の処理に戻る。一方、フリッカ現象が発生している場合、画像処理IC106はステップS13以降の処理を行う。   When the absence of flicker is detected, the image processing IC 106 outputs the image data by a normal imaging operation (step S20). Thereafter, the image processing IC 106 returns to the process of step S11. On the other hand, when the flicker phenomenon has occurred, the image processing IC 106 performs the processing after step S13.

画像処理IC106は、絞り優先の露出制御に変更し、前記第1の実施形態と同様、0フィールドの1ライン目の読み出し開始位置とフリッカ波形のゼロポイントとの位相差αを求める(ステップS13)。ここで、前記第1の実施形態では、補正量を算出したが、第2の実施形態では、あらかじめ露光時間、位相差、周期、フィールドに対応した補正データが画像処理IC106内のメモリ部(図示せず)にテーブルとして格納されている。   The image processing IC 106 changes to aperture-priority exposure control, and obtains the phase difference α between the read start position of the first line of the 0 field and the zero point of the flicker waveform as in the first embodiment (step S13). . Here, in the first embodiment, the correction amount is calculated, but in the second embodiment, correction data corresponding to the exposure time, phase difference, period, and field is stored in advance in the memory unit (see FIG. (Not shown) as a table.

図6は画像処理IC106内のメモリ部に格納されている補正データテーブルを示す図である。図6には、フリッカ周期100Hz(商用電源周波数50Hz帯)、位相差α=αである場合の補正データが示されている。 FIG. 6 is a diagram showing a correction data table stored in the memory unit in the image processing IC 106. Figure 6 is a flicker cycle 100 Hz (utility frequency 50Hz band), the correction data when the phase difference alpha = alpha 1 is shown.

図中、露光時間TはT1〜Tm(mは自然数)で表される。また、フィールド番号は、N=0〜2で表され、それぞれ前記第1の実施形態における0〜2フィールドに対応する。また、ライン番号nはn=1〜1080で表され、n1〜n1080は何ライン目かを表している。また、図中、「HN0n1」等で表される補正量Hnは実際の補正データを示している。例えは、位相差α=α、フリッカ周期100Hz、T=T1N=0の場合、太枠600内の補正データが選択される。 In the figure, the exposure time T is represented by T1 to Tm (m is a natural number). The field number is represented by N = 0-2, and corresponds to 0-2 fields in the first embodiment. The line number n is represented by n = 1 to 1080, and n1 to n1080 represents the number of lines. In the drawing, the correction amount Hn represented by “H N0n1 ” or the like indicates actual correction data. For example, when the phase difference α = α 1 , flicker cycle 100 Hz, T = T 1 , and N = 0, the correction data in the thick frame 600 is selected.

画像処理IC106は、露出制御における電子シャッタ速度設定値から、露光時間を求め、図6における露光時間T1〜Tmから、同等の露光時間の補正データテーブルを選択する。さらに、補正を行うフィールドである、例えば0フィールドを選択することで、画像処理IC106は各ラインの補正データテーブルを選択する(ステップS14)。   The image processing IC 106 obtains an exposure time from the electronic shutter speed setting value in the exposure control, and selects a correction data table having an equivalent exposure time from the exposure times T1 to Tm in FIG. Furthermore, the image processing IC 106 selects a correction data table for each line by selecting, for example, a 0 field, which is a field to be corrected (step S14).

画像処理IC106は、出画する画像データに対し、選択された補正データテーブルにおけるライン毎の補正データにより補正値を掛けて増幅する補正を行い、補正後の画像データを出画する(ステップS15)。この補正・出画処理では、前記第1の実施形態と同様、補正前の画像データをDn、適正露出レベルに保つための係数をR、補正量をHn、補正後の画像データDn´とすると、補正後の画像データDn´は、前述した数式(2)に従って算出される。   The image processing IC 106 performs correction by amplifying the image data to be output by multiplying the correction value by the correction data for each line in the selected correction data table, and outputs the corrected image data (step S15). . In this correction / image output processing, as in the first embodiment, the image data before correction is Dn, the coefficient for maintaining the appropriate exposure level is R, the correction amount is Hn, and the image data Dn ′ after correction is used. The corrected image data Dn ′ is calculated according to the above-described equation (2).

この後、画像処理IC106は、次フィールドの画像データを取り込む(ステップS16)。この画像データの取り込みと並列に、画像処理IC106は、フリッカセンサ104からの出力を基に、フリッカの有無を検出する(ステップS17)。   Thereafter, the image processing IC 106 takes in the image data of the next field (step S16). In parallel with the capture of the image data, the image processing IC 106 detects the presence or absence of flicker based on the output from the flicker sensor 104 (step S17).

フリッカ無しが検出された場合、画像処理IC106は、ステップS11の処理に戻り、S11、S12を経て通常の撮像動作に戻り、次フィールドの画像データの出画を行う(ステップS20)。この後、画像処理IC106はステップS11の処理に戻る。   When the absence of flicker is detected, the image processing IC 106 returns to the process of step S11, returns to the normal imaging operation through S11 and S12, and outputs the image data of the next field (step S20). Thereafter, the image processing IC 106 returns to the process of step S11.

一方、S12でフリッカ有りが検出された場合、画像処理IC106は、補正フィールドを値1増加させてN=N+1とし、補正フィールドを1フィールドに設定する(ステップS18)。画像処理IC106は、電子シャッタ速度の変更があるか否かを判別する(ステップS19)。電子シャッタ速度の変更がある場合、画像処理IC106は、ステップS14以降の処理に戻り、露光時間Tを用いて再度、補正データを選択し、補正を行う。一方、S19で電子シャッタ速度の変更がない場合、画像処理IC106は、ステップS15の処理に戻り、次フィールドの画像データの補正・出画を行う。   On the other hand, if the presence of flicker is detected in S12, the image processing IC 106 increments the correction field by 1 to set N = N + 1, and sets the correction field to 1 field (step S18). The image processing IC 106 determines whether there is a change in the electronic shutter speed (step S19). When there is a change in the electronic shutter speed, the image processing IC 106 returns to the processing after step S14, selects correction data again using the exposure time T, and performs correction. On the other hand, if there is no change in the electronic shutter speed in S19, the image processing IC 106 returns to the processing in step S15 and corrects / outputs the image data of the next field.

このように、第2の実施形態の撮像装置によれば、テーブルに格納された補正量を用いることで、より短時間でフリッカ補正を行うことができる。よって、フリッカの変動に即時に追従するように補正することができ、フリッカの影響を減らすことができる。   As described above, according to the imaging apparatus of the second embodiment, the flicker correction can be performed in a shorter time by using the correction amount stored in the table. Therefore, correction can be performed so as to immediately follow fluctuations in flicker, and the influence of flicker can be reduced.

なお、本発明は、上記実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、または本実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。   The present invention is not limited to the configuration of the above-described embodiment, and any configuration can be used as long as the functions shown in the claims or the functions of the configuration of the present embodiment can be achieved. Is also applicable.

第1の実施形態における撮像装置の構成を示すブロック図である。It is a block diagram which shows the structure of the imaging device in 1st Embodiment. フリッカ補正処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of a flicker correction process. フリッカ現象が発生している時のフリッカ信号の時間的変化を示す図である。It is a figure which shows the time change of a flicker signal when the flicker phenomenon has generate | occur | produced. 0フィールドの1ライン目の露光期間および2ライン目の露光期間とフリッカの明暗を表すフリッカ波形との関係を示す図である。It is a figure which shows the relationship between the exposure period of the 1st line of 0 field, the exposure period of the 2nd line, and the flicker waveform showing the flickering light and dark. 第2の実施形態におけるフリッカ補正処理の手順を示すフローチャートである。10 is a flowchart illustrating a procedure of flicker correction processing according to the second embodiment. 画像処理IC106内のメモリ部に格納されている補正データテーブルを示す図である。3 is a diagram showing a correction data table stored in a memory unit in the image processing IC 106. FIG.

符号の説明Explanation of symbols

101 CMOSセンサ
103 AFE部
104 フリッカセンサ
106 画像処理IC
106a フリッカ検出部
106b 位相・周期検出部
106c 補正部
101 CMOS sensor 103 AFE unit 104 Flicker sensor 106 Image processing IC
106a Flicker detection unit 106b Phase / period detection unit 106c Correction unit

Claims (6)

ライン毎かつカラム毎に複数の受光部が配置された撮像素子と、
前記撮像素子の露光開始タイミングをライン毎に制御して露光時間を可変する電子シャッタ手段と、
所定の周波数に応じて光源の明るさが変動するフリッカを検出し、前記検出されたフリッカのレベルを出力するフリッカ検出手段と、
前記検出されたフリッカのフリッカ周期を検出する周期検出手段と、
前記フリッカが検出された場合、前記フリッカのレベルが最小となる時間から前記撮像素子の所定ラインの露光開始タイミングまでの位相差を算出する位相差算出手段と、
前記算出された位相差、前記検出されたフリッカ周期および前記可変された露光時間に基づき、前記撮像素子からの画像データをライン毎に補正する補正手段とを備え、
前記ライン毎に補正された画像データをフィールド画像として出力することを特徴とする撮像装置。
An image sensor in which a plurality of light receiving units are arranged for each line and for each column;
Electronic shutter means for controlling the exposure start timing of the image sensor for each line to vary the exposure time;
Flicker detection means for detecting flicker in which the brightness of the light source fluctuates according to a predetermined frequency and outputting the detected flicker level;
Period detecting means for detecting a flicker period of the detected flicker;
A phase difference calculating means for calculating a phase difference from a time when the flicker level is minimum to an exposure start timing of a predetermined line of the image sensor when the flicker is detected;
Correction means for correcting image data from the image sensor for each line based on the calculated phase difference, the detected flicker period, and the variable exposure time;
An image pickup apparatus that outputs the image data corrected for each line as a field image.
前記補正手段は、各ラインの露光量のうち、最も大きな値となるラインの露光量を基準値とし、所定ラインの露光量と前記基準値との比を用いて補正量を算出し、前記算出された補正量を基に、前記所定ラインの前記画像データを補正することを特徴とする請求項1記載の撮像装置。   The correction means calculates the correction amount using the ratio of the exposure amount of a predetermined line and the reference value, using the exposure amount of the line that is the largest of the exposure amounts of each line as a reference value, and calculating the calculation amount The imaging apparatus according to claim 1, wherein the image data of the predetermined line is corrected based on the corrected amount. 前記フリッカ検出手段は、前記撮像素子によって撮像される被写体領域内の一部の領域の輝度レベルを前記フリッカのレベルとして出力することを特徴とする請求項1記載の撮像装置。   The imaging apparatus according to claim 1, wherein the flicker detection unit outputs a luminance level of a part of a subject area imaged by the imaging element as the flicker level. 前記位相差を算出する際のフィールド画像を0フィールドとし、フィールド数を計数する計数手段を備え、
前記補正手段は、前記位相差、前記フリッカ周期および前記露光時間の他、前記計数されたフィールド数に基づき、補正することを特徴とする請求項1記載の撮像装置。
The field image when calculating the phase difference is set to 0 field, and includes a counting unit that counts the number of fields.
The imaging apparatus according to claim 1, wherein the correction unit performs correction based on the counted field number in addition to the phase difference, the flicker cycle, and the exposure time.
前記補正手段は、あらかじめ前記算出された補正量をテーブルに格納しておき、前記撮像素子から出力される画像データをライン毎に補正する際、前記テーブルに格納された補正量を用いることを特徴とする請求項2記載の撮像装置。   The correction unit stores the calculated correction amount in a table in advance, and uses the correction amount stored in the table when correcting the image data output from the image sensor for each line. The imaging apparatus according to claim 2. ライン毎かつカラム毎に複数の受光部が配置された撮像素子を有する撮像装置のフリッカ補正方法であって、
電子シャッタ手段が、前記撮像素子の露光開始タイミングをライン毎に制御して露光時間を可変するステップと、
フリッカ検出手段が、所定の周波数に応じて光源の明るさが変動するフリッカを検出し、前記検出されたフリッカのレベルを出力するステップと、
周期検出手段が、前記検出されたフリッカのフリッカ周期を検出するステップと、
前記フリッカが検出された場合、前記フリッカのレベルが最小となる時間から前記撮像素子の所定ラインの露光開始タイミングまでの位相差を算出するステップと、
前記算出された位相差、前記検出されたフリッカ周期および前記可変された露光時間に基づき、前記撮像素子からの画像データをライン毎に補正するステップと、
前記ライン毎に補正された画像データをフィールド画像として出力するステップとを有することを特徴とする撮像装置のフリッカ補正方法。
A flicker correction method for an imaging apparatus having an imaging element in which a plurality of light receiving units are arranged for each line and for each column,
An electronic shutter means for controlling the exposure start timing of the image sensor for each line and varying the exposure time;
Flicker detecting means for detecting flicker in which the brightness of the light source varies according to a predetermined frequency, and outputting the detected flicker level;
A period detecting means for detecting a flicker period of the detected flicker;
When the flicker is detected, calculating a phase difference from a time when the flicker level is minimum to an exposure start timing of a predetermined line of the image sensor;
Correcting image data from the image sensor for each line based on the calculated phase difference, the detected flicker period and the variable exposure time;
And a step of outputting the image data corrected for each line as a field image.
JP2008044125A 2008-02-26 2008-02-26 Imaging apparatus and flicker correction method thereof Pending JP2009206569A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008044125A JP2009206569A (en) 2008-02-26 2008-02-26 Imaging apparatus and flicker correction method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008044125A JP2009206569A (en) 2008-02-26 2008-02-26 Imaging apparatus and flicker correction method thereof

Publications (1)

Publication Number Publication Date
JP2009206569A true JP2009206569A (en) 2009-09-10

Family

ID=41148452

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008044125A Pending JP2009206569A (en) 2008-02-26 2008-02-26 Imaging apparatus and flicker correction method thereof

Country Status (1)

Country Link
JP (1) JP2009206569A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018078451A (en) * 2016-11-09 2018-05-17 キヤノン株式会社 Imaging apparatus, control method thereof, and control program
CN114222070A (en) * 2021-09-27 2022-03-22 苏州科达科技股份有限公司 Brightness compensation method, device, equipment and storage medium

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018078451A (en) * 2016-11-09 2018-05-17 キヤノン株式会社 Imaging apparatus, control method thereof, and control program
CN114222070A (en) * 2021-09-27 2022-03-22 苏州科达科技股份有限公司 Brightness compensation method, device, equipment and storage medium

Similar Documents

Publication Publication Date Title
US9794493B2 (en) Image capturing apparatus, image capturing method, and control method
JP4936534B2 (en) Imaging apparatus and focus control method
JP5072431B2 (en) Imaging apparatus and control method thereof
US11128799B2 (en) Image processing apparatus and image processing method
JP2006005520A (en) Imaging apparatus
JP2008109370A (en) Image correcting device and method, and imaging apparatus
JP2009077057A (en) Imaging apparatus, and control method for imaging apparatus
JP2012156885A (en) Imaging apparatus
US10009547B2 (en) Image pickup apparatus that compensates for flash band, control method therefor, and storage medium
JP4519306B2 (en) Flicker remover
JP6652303B2 (en) Flash band determination device, control method thereof, control program, and imaging device
JP2009206569A (en) Imaging apparatus and flicker correction method thereof
JP2014155002A (en) Imaging device
JP5341536B2 (en) Imaging device
US10735661B2 (en) Image pickup apparatus that compensates for flash band, control method therefor, storage medium, and video processing apparatus
US10594912B2 (en) Flash band determination device for detecting flash band, method of controlling the same, storage medium, and image pickup apparatus
JP2007215062A (en) Flicker suppression imaging device
JP7169859B2 (en) IMAGING DEVICE AND CONTROL METHOD THEREOF, PROGRAM, STORAGE MEDIUM
JP7034792B2 (en) Imaging device and its control method and program
JP5094454B2 (en) Imaging apparatus and control method thereof
JPWO2007119483A1 (en) Automatic phase adjuster
JP2004336245A (en) Correction apparatus
JP2007129328A (en) Imaging apparatus
JP2013115547A (en) Imaging apparatus and control method of the same
JP2009147436A (en) Imaging apparatus