JP2011030203A

JP2011030203A - Digital camera

Info

Publication number: JP2011030203A
Application number: JP2010112174A
Authority: JP
Inventors: Atsuya Ota; 敦也太田; Yoshizo Mori; 吉造森; Noriyoshi Tachikawa; 法義立川
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2009-06-29
Filing date: 2010-05-14
Publication date: 2011-02-10

Abstract

<P>PROBLEM TO BE SOLVED: To provide a digital camera for preventing deterioration in image quality even if a high-luminance light is made incident. <P>SOLUTION: The digital camera is equipped with: an image pickup element having a plurality of pixels disposed in matrix, picking up an image of a subject and outputting a first pixel signal; a change indicating means for indicating a change in the operation state of signal output of the image pickup element; a reading means for reading a second pixel signal from pixels included in a predetermined line in a plurality of pixels when the change in operation state is indicated; a calculating means for calculating a correction value for correcting an error for each pixel column of the first pixel signal by using the second pixel signal; a correcting means for applying correction to the first pixel signal by using the calculated correction value; a determining means for determining whether or not a subject image meets predetermined conditions about brightness information every time the first pixel signal is read; and a prohibiting means for prohibiting the correcting means from correcting the first pixel signal if the determining means determines that the predetermined conditions are met when the change indicating means indicates the change in the operation state. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、撮像素子からの画素信号に含まれるノイズを補正するデジタルカメラに関する。 The present invention relates to a digital camera that corrects noise included in a pixel signal from an image sensor.

従来から、ＣＭＯＳイメージセンサに起因する固定パターンノイズ（ＦＰＮ）を補正するカメラが知られている（たとえば、特許文献１）。このようなカメラにおいて、ライブビュー時や動画撮影モード時には、画像の読出し中にもイメージセンサのフォトダイオードに光が入射する状態となる。このため、高輝度光が入射されるとフォトダイオードに溜まった電荷が漏れ出し、電荷をフォトダイオードに転送するトランスファーゲートスイッチを介さずにフォトダイオードに電荷が移動して、リセットレベルが変動する場合がある。 Conventionally, a camera that corrects fixed pattern noise (FPN) caused by a CMOS image sensor is known (for example, Patent Document 1). In such a camera, at the time of live view or moving image shooting mode, light enters the photodiode of the image sensor even during image reading. For this reason, when high-intensity light is incident, the charge accumulated in the photodiode leaks, the charge moves to the photodiode without passing through the transfer gate switch that transfers the charge to the photodiode, and the reset level fluctuates. There is.

特開２００７−２０１５６号公報JP 2007-20156 A

上述のように高輝度光が入射した結果、画素のリセットレベルが変動すると正確なＦＰＮ補正用のデータが取得できず、このような不正確なＦＰＮ補正用データを使ってＦＰＮ補正処理を行うと画質が低下するという問題がある。 As described above, if the reset level of the pixel fluctuates as a result of incidence of high-intensity light, accurate FPN correction data cannot be acquired. If such inaccurate FPN correction data is used, FPN correction processing is performed. There is a problem that the image quality deteriorates.

請求項１に記載の発明によるデジタルカメラは、複数の画素が行列状に配置され、被写体像を撮像して第１画素信号を出力する撮像素子と、撮像素子の信号出力の動作状態の変更を指示する変更指示手段と、動作状態の変更が指示されたとき、複数の画素のうち、所定行に含まれる画素から第２画素信号を読み出す読出手段と、第２画素信号を用いて、第１画素信号の画素列ごとの誤差を補正するための補正値を算出する算出手段と、算出された補正値を用いて第１画素信号に対して補正を施す補正手段と、第１画素信号が読み出されるごとに、被写体像が明るさ情報に関する所定条件を満たすか否かを判定する判定手段と、変更指示手段により動作状態の変更が指示されたときに、判定手段により所定条件が満たされていると判定された場合は、補正手段に対する第１画素信号への補正を禁止させる禁止手段とを備えることを特徴とする。 According to a first aspect of the present invention, there is provided a digital camera in which a plurality of pixels are arranged in a matrix, an image sensor that captures a subject image and outputs a first pixel signal, and a change in an operation state of signal output of the image sensor. A change instruction means for instructing, a read means for reading out a second pixel signal from a pixel included in a predetermined row among a plurality of pixels when an instruction to change the operation state is given; Calculation means for calculating a correction value for correcting an error for each pixel column of the pixel signal, correction means for correcting the first pixel signal using the calculated correction value, and the first pixel signal are read out Each time the subject image satisfies a predetermined condition regarding the brightness information, and when the change instruction means instructs the change of the operation state, the determination means satisfies the predetermined condition. When judged It is characterized in that it comprises a prohibiting means for prohibiting the correction of the first pixel signal for the correction means.

本発明によれば、動作状態の変更が指示されたときに所定条件が満たされている場合には、第１画素信号への補正を禁止させることができる。 According to the present invention, correction to the first pixel signal can be prohibited when a predetermined condition is satisfied when an operation state change is instructed.

本発明の実施の形態によるデジタルカメラの要部構成を説明する図The figure explaining the principal part structure of the digital camera by embodiment of this invention 実施の形態によるデジタルカメラの制御系の構成を説明するブロック図FIG. 1 is a block diagram illustrating a configuration of a control system of a digital camera according to an embodiment 画像処理部の構成を説明するブロック図Block diagram illustrating the configuration of the image processing unit 撮像素子の画素構成を説明する図FIG. 7 illustrates a pixel configuration of an image sensor ＦＰＮ取得領域を説明する図Diagram explaining FPN acquisition area ＦＰＮ補正処理の概念を説明する図The figure explaining the concept of FPN correction processing ライブビューモード時のＦＰＮデータおよび各フレームの画像データを取得するタイミングを説明する図The figure explaining the timing which acquires FPN data at the time of live view mode, and the image data of each frame 間引き読み出しの領域を説明する図The figure explaining the thinning-out reading area 変形例におけるデジタルカメラの要部構成を説明する図The figure explaining the principal part structure of the digital camera in a modification.

図面を参照して、本発明による一実施の形態におけるカメラを説明する。図１はデジタルカメラ１の要部構成を示す図である。デジタルカメラ１のボディに、撮影レンズＬ１と絞り２０とを備える交換レンズ２が着脱可能に装着されている。カメラ１のボディ側には、クイックリターンミラー１０、焦点板１１、ペンタプリズム１２、接眼レンズ１３、撮像素子１４、焦点検出用センサ１５およびシャッタ２１が設けられている。 A camera according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing a main configuration of the digital camera 1. An interchangeable lens 2 including a photographing lens L1 and a diaphragm 20 is detachably mounted on the body of the digital camera 1. On the body side of the camera 1, a quick return mirror 10, a focusing screen 11, a pentaprism 12, an eyepiece lens 13, an image sensor 14, a focus detection sensor 15 and a shutter 21 are provided.

図２はデジタルカメラ１の制御系のブロック図である。図２において、図１に示した構成要素には同一の符号を付して説明する。デジタルカメラ１の制御系は、撮像素子１４、Ａ／Ｄ変換回路１６、タイミングジェネレータ１７、制御回路１８、ＬＣＤ駆動回路１９、液晶表示器１９１、操作部３０、およびメモリカードインタフェース３１を備えている。 FIG. 2 is a block diagram of the control system of the digital camera 1. In FIG. 2, the components shown in FIG. The control system of the digital camera 1 includes an image sensor 14, an A / D conversion circuit 16, a timing generator 17, a control circuit 18, an LCD drive circuit 19, a liquid crystal display 191, an operation unit 30, and a memory card interface 31. .

図１を参照して説明すると、交換レンズ２を通過してデジタルカメラ１に入射した被写体光は、シャッタレリーズ前は図１において実線で示すように位置するクイックリターンミラー１０で上方へ導かれて焦点板１１に結像する。焦点板１１に結像された被写体像は、ペンタプリズム１２により接眼レンズ１３へ導かれる。その結果、被写体像が撮影者に観察される。被写体光の一部はクイックリターンミラー１０の半透過領域を透過し、サブミラー１０ａにて下方に反射され、焦点検出用センサ１５へ入射される。レリーズ後はクイックリターンミラー１０が図１の破線で示される位置へ回動し、被写体光が撮像素子１４へ導かれ、その撮像面上に被写体像が結像する。 Referring to FIG. 1, the subject light that has passed through the interchangeable lens 2 and entered the digital camera 1 is guided upward by a quick return mirror 10 positioned as shown by a solid line in FIG. 1 before the shutter release. An image is formed on the focusing screen 11. The subject image formed on the focusing screen 11 is guided to the eyepiece 13 by the pentaprism 12. As a result, the subject image is observed by the photographer. Part of the subject light passes through the semi-transmission region of the quick return mirror 10, is reflected downward by the sub mirror 10 a, and enters the focus detection sensor 15. After the release, the quick return mirror 10 is rotated to the position indicated by the broken line in FIG. 1, the subject light is guided to the imaging device 14, and the subject image is formed on the imaging surface.

図２を参照して制御系について詳細に説明する。
撮像素子１４は、行列状に多数配列された画素１４Ｐおよびカラム信号処理回路１４２を有するＸ−Ｙアドレス型の光電変換素子である。なお、撮像素子１４の詳細については後述する。撮像素子１４は、後述する制御回路１８の制御に応じて駆動して撮影レンズＬ１を通して入力される被写体像を撮像し、撮像して得た画素信号を出力する。本実施の形態において、撮像素子１４は、走査ラインごとに順次シャッタを切る方式（いわゆるローリングシャッタ方式）により駆動される。 The control system will be described in detail with reference to FIG.
The imaging element 14 is an XY address type photoelectric conversion element having a plurality of pixels 14P and a column signal processing circuit 142 arranged in a matrix. Details of the image sensor 14 will be described later. The image sensor 14 is driven in accordance with control of a control circuit 18 described later to capture a subject image input through the photographing lens L1, and outputs a pixel signal obtained by the imaging. In the present embodiment, the image sensor 14 is driven by a method of sequentially releasing the shutter for each scanning line (so-called rolling shutter method).

撮像素子１４は、たとえば、ＩＳＯ１００相当〜ＩＳＯ１６００相当の範囲内において撮像感度（露光感度）を所定のステップで変更可能、すなわち撮像素子１４からの画素信号の信号出力の動作状態が変更可能に構成されている。撮像感度とは、撮像素子１４に蓄積される電荷の検出感度、もしくは不図示の増幅回路の増幅利得を変化させる被制御量のことをいう。撮像感度を変更する操作（ゲイン変更操作）は、ユーザにより後述の操作部３０を用いて行われる。 For example, the imaging element 14 is configured such that imaging sensitivity (exposure sensitivity) can be changed in a predetermined step within a range equivalent to ISO 100 to ISO 1600, that is, the operation state of the signal output of the pixel signal from the imaging element 14 can be changed. ing. The imaging sensitivity is a controlled amount that changes the detection sensitivity of charges accumulated in the imaging device 14 or the amplification gain of an amplifier circuit (not shown). The operation for changing the imaging sensitivity (gain changing operation) is performed by the user using the operation unit 30 described later.

カラム信号処理回路１４２はアンプやＡ／Ｄ変換器、ラインメモリなどを画素の列（画素列）ごとに備え、画素１４Ｐから出力される画素信号を入力する。本実施形態におけるカラム信号処理回路１４２は、撮像素子１４の各画素１４Ｐから読み出された垂直方向に隣接する画素信号を所定の加算度合いで加算して、加算された画素信号を出力する。この場合、カラム信号処理回路１４２は、ユーザの操作部３０の加算方法を変更する操作（加算方法変更操作）に応じて、たとえば水平方向もしくは垂直方向に隣接する２個画素や３画素から出力された画素信号を加算する。また、カラム信号処理回路１４２では、上述した動作の他に、ＣＤＳ（相関２重サンプリング）を行ったり、画素信号にゲインをかけたりする。なお、撮像素子１４に上述した加算処理機能を組み込むことは必須ではなく、撮像素子１４の後段部分、たとえば後述する画像処理部１８１で上記の加算処理を行う構成としてもよい。 The column signal processing circuit 142 includes an amplifier, an A / D converter, a line memory, and the like for each pixel column (pixel column), and inputs a pixel signal output from the pixel 14P. The column signal processing circuit 142 according to the present embodiment adds pixel signals adjacent in the vertical direction read from each pixel 14P of the image sensor 14 with a predetermined addition degree, and outputs the added pixel signal. In this case, the column signal processing circuit 142 is output from, for example, two pixels or three pixels adjacent in the horizontal direction or the vertical direction in accordance with an operation (adding method changing operation) of changing the addition method of the operation unit 30 by the user. The obtained pixel signals are added. In addition to the above-described operations, the column signal processing circuit 142 performs CDS (correlated double sampling) and applies a gain to the pixel signal. Note that it is not essential to incorporate the above-described addition processing function into the image sensor 14, and the above-described addition processing may be performed in a subsequent portion of the image sensor 14, for example, an image processing unit 181 described later.

Ａ／Ｄ変換回路１６は、撮像素子１４が出力する画素信号にアナログ的な処理をしてからデジタル画素信号に変換する回路である。なお、このＡ／Ｄ変換回路１６が撮像素子１４内に組み込まれているタイプの撮像素子を使用する場合には、Ａ／Ｄ変換回路１６は不要となる。タイミングジェネレータ１７は、制御回路１８の命令に応じて、撮像素子１４とＡ／Ｄ変換回路１６とにタイミング信号を出力し、撮像素子１４とＡ／Ｄ変換回路１６との駆動タイミングを制御する回路である。 The A / D conversion circuit 16 is a circuit that performs analog processing on the pixel signal output from the image sensor 14 and then converts it to a digital pixel signal. In addition, when using the image pick-up element of the type in which this A / D conversion circuit 16 is incorporated in the image pick-up element 14, the A / D conversion circuit 16 becomes unnecessary. The timing generator 17 outputs a timing signal to the image sensor 14 and the A / D converter circuit 16 in accordance with a command from the control circuit 18 and controls the drive timing of the image sensor 14 and the A / D converter circuit 16. It is.

制御回路１８は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭなどを有し、デジタルカメラ１の各構成要素を制御したり、各種のデータ処理を実行する演算回路である。制御回路１８は、前述したタイミングジェネレータ１７を制御する。 The control circuit 18 has a CPU, ROM, RAM, and the like (not shown), and is an arithmetic circuit that controls each component of the digital camera 1 and executes various data processing. The control circuit 18 controls the timing generator 17 described above.

制御回路１８は、画像処理部１８１および圧縮部１８２を有する。画像処理部１８１は、入力したデジタル画素信号に対して、ホワイトバランス処理、ガンマ補正処理、色補間処理、輪郭強調、ビネット補正などの画像処理を施して画像データを生成する。また、図３に示すように、画像処理部１８１は、算出部１８１ａ、補正部１８１ｂ、判定部１８１ｃおよび禁止部１８１ｄを機能的に備える。算出部１８１ａは、入力したＦＰＮ画素信号を用いてＦＰＮの補正に用いるＦＰＮデータを算出する。補正部１８１ｂは、入力した通常画素信号に対して、算出部１８１ａにより算出されたＦＰＮ補正値を用いてＦＰＮ補正処理を施す。 The control circuit 18 includes an image processing unit 181 and a compression unit 182. The image processing unit 181 performs image processing such as white balance processing, gamma correction processing, color interpolation processing, contour enhancement, and vignette correction on the input digital pixel signal to generate image data. As shown in FIG. 3, the image processing unit 181 functionally includes a calculation unit 181a, a correction unit 181b, a determination unit 181c, and a prohibition unit 181d. The calculation unit 181a calculates FPN data used for FPN correction using the input FPN pixel signal. The correction unit 181b performs FPN correction processing on the input normal pixel signal using the FPN correction value calculated by the calculation unit 181a.

判定部１８１ｃは、ライブビューモードもしくは動画撮影モードが設定されている場合には、フレームごとの画像データを生成する際に、通常画素信号の出力レベルに基づいて高輝度被写体が撮影されているか否か、すなわち被写体像が明るさ情報に関する条件を満たすか否かを判定する。禁止部１８１ｄは、判定部１８１ｃにより高輝度被写体が撮影されていると判定された場合に、ＦＰＮ画素信号の取得およびＦＰＮ補正処理の禁止を指示する。なお、算出部１８１ａ、補正部１８１ｂ、判定部１８１ｃおよび禁止部１８１ｄについては、詳細を後述する。 When the live view mode or the moving image shooting mode is set, the determination unit 181c determines whether or not a high-luminance subject is shot based on the output level of the normal pixel signal when generating image data for each frame. That is, it is determined whether or not the subject image satisfies a condition regarding brightness information. The prohibition unit 181d instructs to prohibit acquisition of the FPN pixel signal and FPN correction processing when the determination unit 181c determines that a high-luminance subject has been captured. Details of the calculation unit 181a, the correction unit 181b, the determination unit 181c, and the prohibition unit 181d will be described later.

圧縮部１８２は、画像処理部１８１で画像処理が施されて生成された画像データに対してＪＰＥＧ圧縮処理を実行する回路である。一時メモリ１８３は、画像処理、画像圧縮処理の途中や処理後のデータを一時的に格納するバッファメモリとして使用される揮発性記憶媒体である。 The compression unit 182 is a circuit that performs JPEG compression processing on image data generated by image processing performed by the image processing unit 181. The temporary memory 183 is a volatile storage medium used as a buffer memory that temporarily stores data during or after image processing and image compression processing.

メモリカードインタフェース３１は、メモリカード３２が着脱可能なインタフェースである。メモリカードインタフェース３１は、制御回路１８の制御に基づいて、画像データをメモリカード３２に書き込んだり、メモリカード３２に記録されている画像データを読み出す。メモリカード３２はコンパクトフラッシュ（登録商標）やＳＤカードなどの半導体メモリカードである。 The memory card interface 31 is an interface to which the memory card 32 can be attached and detached. The memory card interface 31 writes image data to the memory card 32 or reads image data recorded on the memory card 32 based on the control of the control circuit 18. The memory card 32 is a semiconductor memory card such as a compact flash (registered trademark) or an SD card.

ＬＣＤ駆動回路１９は、制御回路１８の命令に基づいて液晶表示器１９１を駆動する回路である。液晶表示器１９１は、再生モードにおいて、メモリカード３２に記録されている画像データに基づいて制御回路１８で作成された表示データの表示を行う。また、液晶表示器１９１は、いわゆるライブビュー画像を表示するように構成されている。ライブビューとは、レリーズ前にクイックリターンミラー１０を上方に跳ね上げて撮像素子１４で撮像した画像をリアルタイムに液晶表示器１９１に表示する表示形態であり、一眼レフカメラにおいて採用される撮像モードである。 The LCD drive circuit 19 is a circuit that drives the liquid crystal display 191 based on a command from the control circuit 18. The liquid crystal display 191 displays the display data created by the control circuit 18 based on the image data recorded on the memory card 32 in the reproduction mode. The liquid crystal display 191 is configured to display a so-called live view image. The live view is a display mode in which the quick return mirror 10 is flipped upward before the release and an image captured by the image sensor 14 is displayed on the liquid crystal display 191 in real time, and is an imaging mode adopted in a single-lens reflex camera. is there.

操作部３０は、ユーザの操作を受け付けるスイッチである。操作部３０には、電源スイッチ、レリーズスイッチ、その他の設定メニューの表示切換スイッチ、設定メニュー決定ボタン、上述した撮像感度を変更させるゲイン変更操作のための感度設定スイッチ、上述した画素信号の加算方法を変更させる加算方法変更操作のための加算変更スイッチなどが含まれる。また、操作部３０により、撮影モードとして静止画撮影モードや動画撮影モード、上記のライブビュー画像を表示するためのライブビューモードの設定が可能である。 The operation unit 30 is a switch that receives a user operation. The operation unit 30 includes a power switch, a release switch, a display changeover switch for other setting menus, a setting menu determination button, a sensitivity setting switch for a gain changing operation for changing the imaging sensitivity described above, and the pixel signal adding method described above. An addition change switch for an addition method change operation for changing the value is included. The operation unit 30 can set a still image shooting mode, a moving image shooting mode, and a live view mode for displaying the above live view image as a shooting mode.

次に、図４を参照しながら、撮像素子１４について詳細に説明する。図４に示すように、それぞれの画素１４Ｐは、画素フォトダイオード（ＰＤ）１４１、フローティングディフュージョン（ＦＤ）１４３、トランスファーゲートスイッチ（ＴＸ）１４４、リセットスイッチ（ＲＥＳＥＴ）１４５、画素アンプ（ＡＭＩ）１４６および画素選択スイッチ（ＳＥＬ）１４７が設けられている。また、撮像素子１４は、画素列毎に垂直信号線Ｌｎ、および垂直信号線Ｌｎごとに垂直線選択スイッチ１４８を有する。垂直線選択スイッチ１４８は、画素信号を読み出す画素１４Ｐを画素列毎に選択するためのスイッチである。 Next, the image sensor 14 will be described in detail with reference to FIG. As shown in FIG. 4, each pixel 14P includes a pixel photodiode (PD) 141, a floating diffusion (FD) 143, a transfer gate switch (TX) 144, a reset switch (RESET) 145, a pixel amplifier (AMI) 146, and A pixel selection switch (SEL) 147 is provided. Further, the imaging device 14 includes a vertical signal line Ln for each pixel column and a vertical line selection switch 148 for each vertical signal line Ln. The vertical line selection switch 148 is a switch for selecting the pixel 14P from which the pixel signal is read out for each pixel column.

画素フォトダイオード（ＰＤ）１４１は、受光した被写体光をその強度に応じて光電変換する。トランスファーゲートスイッチ（ＴＸ）１４４は、画素フォトダイオード（ＰＤ）１４１と、フローティングディフュージョン（ＦＤ）１４３との間に設けられる。トランスファーゲートスイッチ（ＴＸ）１４４は、画素フォトダイオード（ＰＤ）１４１とフローティングディフュージョン（ＦＤ）１４３との間の電気的接続のオン／オフをスイッチングするスイッチである。トランスファーゲートスイッチ（ＴＸ）１４４がタイミングジェネレータ１７からのタイミング信号に応じてオンされると、画素フォトダイオード（ＰＤ）１４１で光電変換された電荷はフローティングディフュージョン（ＦＤ）１４３へ転送される。 The pixel photodiode (PD) 141 photoelectrically converts the received subject light according to its intensity. The transfer gate switch (TX) 144 is provided between the pixel photodiode (PD) 141 and the floating diffusion (FD) 143. The transfer gate switch (TX) 144 is a switch that switches on / off of electrical connection between the pixel photodiode (PD) 141 and the floating diffusion (FD) 143. When the transfer gate switch (TX) 144 is turned on in response to the timing signal from the timing generator 17, the charge photoelectrically converted by the pixel photodiode (PD) 141 is transferred to the floating diffusion (FD) 143.

フローティングディフュージョン（ＦＤ）１４３は、画素フォトダイオード（ＰＤ）１４１が光電変換した電荷を電圧に変換するために設けられている。画素選択スイッチ（ＳＥＬ）１４７は、フローティングディフュージョン（ＦＤ）１４３と垂直信号線Ｌｎの間の電気的接続のオン／オフをスイッチングするスイッチであり、タイミングジェネレータ１７からのタイミング信号に応じてオン／オフを切替える。リセットスイッチ（ＲＥＳＥＴ）１４５は、リセット電圧が基準電圧となるまでフローティングディフュージョン（ＦＤ）１４３に電圧を印加するためのスイッチである。 The floating diffusion (FD) 143 is provided to convert the electric charge photoelectrically converted by the pixel photodiode (PD) 141 into a voltage. The pixel selection switch (SEL) 147 is a switch that switches on / off of electrical connection between the floating diffusion (FD) 143 and the vertical signal line Ln, and is turned on / off according to a timing signal from the timing generator 17. Is switched. The reset switch (RESET) 145 is a switch for applying a voltage to the floating diffusion (FD) 143 until the reset voltage becomes the reference voltage.

次に、画素信号の読み出しについて通常画素信号の読み出しの場合と、ＦＰＮ（Fixed Pattern Noise）画素信号の読み出しの場合とに分けて説明する。通常画素信号は、静止画撮影モードや動画撮影モードにおいて取得された記録用の画像、もしくはライブビューモードにおいて液晶表示器１９１に表示されるライブビュー画像に対応する画素信号である。ＦＰＮ画素信号は、カラム信号処理回路１４２に起因して撮影画像の縦方向に発生する筋状の固定パターンノイズ（ＦＰＮ）、すなわち撮像素子１４の画素列毎の固定パターンノイズ（ＦＰＮ）を補正するために取得される画素信号である。 Next, pixel signal reading will be described separately for normal pixel signal reading and FPN (Fixed Pattern Noise) pixel signal reading. The normal pixel signal is a pixel signal corresponding to an image for recording acquired in the still image shooting mode or the moving image shooting mode, or a live view image displayed on the liquid crystal display 191 in the live view mode. The FPN pixel signal corrects the streak-like fixed pattern noise (FPN) generated in the vertical direction of the captured image due to the column signal processing circuit 142, that is, the fixed pattern noise (FPN) for each pixel column of the image sensor 14. This is a pixel signal acquired for the purpose.

−通常画素信号の読み出し−
画素フォトダイオード（ＰＤ）１４１から電荷を読み出す場合、制御回路１８は、タイミングジェネレータ１７を介して、リセットスイッチ（ＲＥＳＥＴ）１４５をオンさせる。すなわち、フローティングディフュージョン（ＦＤ）１４３には、リセット電圧が基準電圧となるまで電圧が印加される。そして、制御回路１８は、タイミングジェネレータ１７を介して、トランスファーゲートスイッチ（ＴＸ）１４４をオンさせる。その結果、画素フォトダイオード（ＰＤ）１４１で光電変換された電荷がフローティングディフュージョン（ＦＤ）１４３へ転送され、フローティングディフュージョン（ＦＤ）１４３に蓄積される。すなわち、画素フォトダイオード（ＰＤ）１４１で光電変換された電荷（輝度レベル）が電圧に変換される。 -Normal pixel signal readout-
When the charge is read from the pixel photodiode (PD) 141, the control circuit 18 turns on the reset switch (RESET) 145 via the timing generator 17. That is, a voltage is applied to the floating diffusion (FD) 143 until the reset voltage becomes the reference voltage. Then, the control circuit 18 turns on the transfer gate switch (TX) 144 via the timing generator 17. As a result, the charge photoelectrically converted by the pixel photodiode (PD) 141 is transferred to the floating diffusion (FD) 143 and stored in the floating diffusion (FD) 143. That is, the charge (luminance level) photoelectrically converted by the pixel photodiode (PD) 141 is converted into a voltage.

制御回路１８は、タイミングジェネレータ１７を介して、垂直線選択スイッチ１４８および画素選択スイッチ（ＳＥＬ）１４７をオンさせると、フローティングディフュージョン（ＦＤ）１４３の電圧が、画素アンプ（ＡＭＩ）１４６によりゲインされる。そして、ゲインされた電圧は、画素信号として垂直信号線Ｌｎを介してカラム信号処理回路１４２へ入力される。すなわち、垂直線選択スイッチ１４８および画素選択スイッチ（ＳＥＬ）１４７がオンされることにより、画素信号を読み出す画素フォトダイオード（ＰＤ）１４１が選択され、その画素１４Ｐで受光した信号が光電変換されてカラム信号処理回路１４２に伝達される。 When the control circuit 18 turns on the vertical line selection switch 148 and the pixel selection switch (SEL) 147 via the timing generator 17, the voltage of the floating diffusion (FD) 143 is gained by the pixel amplifier (AMI) 146. . The gained voltage is input to the column signal processing circuit 142 via the vertical signal line Ln as a pixel signal. That is, when the vertical line selection switch 148 and the pixel selection switch (SEL) 147 are turned on, a pixel photodiode (PD) 141 that reads out a pixel signal is selected, and a signal received by the pixel 14P is photoelectrically converted to a column. This is transmitted to the signal processing circuit 142.

カラム信号処理回路１４２は、このようにして得られた画素信号をＡ／Ｄ変換回路１６へ出力する。画素信号は、Ａ／Ｄ変換回路１６によりデジタル変換された通常画素信号として画像処理部１８１へ入力される。 The column signal processing circuit 142 outputs the pixel signal thus obtained to the A / D conversion circuit 16. The pixel signal is input to the image processing unit 181 as a normal pixel signal digitally converted by the A / D conversion circuit 16.

−ＦＰＮ画素信号の読み出し−
制御回路１８は、タイミングジェネレータ１７を介して、リセットスイッチ（ＲＥＳＥＴ）１４５をオンさせて、フローティングディフュージョン（ＦＤ）１４３に対して、リセット電圧が基準電圧となるまで電圧を印加させる。そして、制御回路１８は、タイミングジェネレータ１７を介して、垂直線選択スイッチ１４８および画素選択スイッチ（ＳＥＬ）１４７をオンさせる。その結果、フローティングディフュージョン（ＦＤ）１４３の電圧、すなわち基準電圧が画素アンプ（ＡＭＩ）１４６によりゲインされる。そして、ゲインされた基準電圧は、画素信号として垂直信号線Ｌｎを介してカラム信号処理回路１４２へ入力される。すなわち、画素フォトダイオード（ＰＤ）１４１とカラム信号処理回路１４２との接続が遮断されているときの信号、すなわち、その画素１４Ｐが受光していない状態における信号（ＦＰＮの一要素）と等価な信号がカラム信号処理回路１４２に伝達される。 -Reading FPN pixel signal-
The control circuit 18 turns on the reset switch (RESET) 145 via the timing generator 17 to apply a voltage to the floating diffusion (FD) 143 until the reset voltage becomes the reference voltage. Then, the control circuit 18 turns on the vertical line selection switch 148 and the pixel selection switch (SEL) 147 via the timing generator 17. As a result, the voltage of the floating diffusion (FD) 143, that is, the reference voltage is gained by the pixel amplifier (AMI) 146. The gained reference voltage is input to the column signal processing circuit 142 through the vertical signal line Ln as a pixel signal. That is, a signal when the connection between the pixel photodiode (PD) 141 and the column signal processing circuit 142 is cut off, that is, a signal equivalent to a signal (one element of FPN) in a state where the pixel 14P is not receiving light. Is transmitted to the column signal processing circuit 142.

カラム信号処理回路１４２は、制御回路１８によって選択された所定の行（画素行）に含まれる画素フォトダイオード１４１（選択された画素行の画素１４Ｐ毎のトランスファーゲートスイッチ（ＴＸ）１４４はオフされ、かつ画素選択スイッチ（ＳＥＬ）１４７はオンされる）から出力される画素信号を入力する。この場合において、選択されていない画素行に含まれる各画素フォトダイオード１４１の、少なくとも画素選択スイッチ（ＳＥＬ）１４７は、全てオフにされている。 The column signal processing circuit 142 includes a pixel photodiode 141 included in a predetermined row (pixel row) selected by the control circuit 18 (a transfer gate switch (TX) 144 for each pixel 14P in the selected pixel row is turned off), And the pixel signal output from the pixel selection switch (SEL) 147 is turned on. In this case, at least the pixel selection switches (SEL) 147 of the pixel photodiodes 141 included in the non-selected pixel rows are all turned off.

そして、カラム信号処理回路１４２は選択された画素行の画素１４Ｐから得られる画素信号をＦＰＮ画素信号として列毎に保持する。このときのトランスファーゲートスイッチ（ＴＸ）１４４、および画素選択スイッチ（ＳＥＬ）１４７のオンおよびオフは、選択された画素１４Ｐ間でほぼ同時に行われる。カラム信号処理回路１４２は、このようにして得られたＦＰＮ画素信号をＡ／Ｄ変換回路１６へ出力する。ＦＰＮ画素信号は、Ａ／Ｄ変換回路１６によりデジタル変換されたＦＰＮ画素信号として画像処理部１８へ入力される。 The column signal processing circuit 142 holds the pixel signal obtained from the pixel 14P in the selected pixel row as an FPN pixel signal for each column. At this time, the transfer gate switch (TX) 144 and the pixel selection switch (SEL) 147 are turned on and off almost simultaneously between the selected pixels 14P. The column signal processing circuit 142 outputs the FPN pixel signal thus obtained to the A / D conversion circuit 16. The FPN pixel signal is input to the image processing unit 18 as an FPN pixel signal digitally converted by the A / D conversion circuit 16.

画像処理部１８の算出部１８１ａは、画素列ごとに、取得された画素行分のＦＰＮ画素信号のレベルを平均して補正値（ＦＰＮデータ）を算出する。また、算出部１８１ａは、算出したＦＰＮデータを一時メモリ１８３に格納する。 The calculation unit 181a of the image processing unit 18 calculates a correction value (FPN data) by averaging the levels of the acquired FPN pixel signals for the pixel rows for each pixel column. In addition, the calculation unit 181 a stores the calculated FPN data in the temporary memory 183.

なお、ＦＰＮ画素信号を得る際には、上述のように所定の画素行（選択行）の画素フォトダイオード（ＰＤ）１４１から（選択された画素行の画素１４Ｐ毎のトランスファーゲートスイッチ（ＴＸ）１４４はオフされ、かつ画素選択スイッチ（ＳＥＬ）１４７はオンされる）画素信号を得る方法以外に、次のような方法で得てもよい。たとえば、全ての画素行の画素１４Ｐ（つまり全画素）のトランスファーゲートスイッチ（ＴＸ）１４４を一斉にオフし、かつ所定の画素行（選択行）の画素選択スイッチ（ＳＥＬ）１４７のみを一斉にオンした状態で、ＦＰＮ画素信号を得るようにしてもよい。もしくは、リセットスイッチ（ＲＥＳＥＴ）１４５をオンしてフローティングディフュージョン（ＦＤ）１４３に基準電圧を印加させる処理と、トランスファーゲートスイッチ（ＴＸ）１４４をオンして画素フォトダイオード（ＰＤ）１４１で光電変換された電荷をフローティングディフュージョン（ＦＤ）１４３へ転送させる処理とに要する時間を短時間で行うようにしてもよい。 When obtaining the FPN pixel signal, as described above, from the pixel photodiode (PD) 141 in the predetermined pixel row (selected row) (transfer gate switch (TX) 144 for each pixel 14P in the selected pixel row). In addition to the method of obtaining the pixel signal), the pixel selection switch (SEL) 147 may be turned on. For example, the transfer gate switches (TX) 144 of all the pixel rows 14P (that is, all pixels) are turned off all at once, and only the pixel selection switch (SEL) 147 of a predetermined pixel row (selected row) is turned on all at once. In this state, an FPN pixel signal may be obtained. Alternatively, the reset switch (RESET) 145 is turned on to apply a reference voltage to the floating diffusion (FD) 143, and the transfer gate switch (TX) 144 is turned on and the pixel photodiode (PD) 141 performs photoelectric conversion. You may make it perform the time required for the process which transfers an electric charge to the floating diffusion (FD) 143 in a short time.

次に、画像処理部１８１におけるＦＰＮ補正処理について、静止画撮影モードが設定されている場合と、ライブビューモードが設定されている場合と、動画撮影モードが設定されている場合とに分けて説明する。 Next, the FPN correction processing in the image processing unit 181 will be described separately when the still image shooting mode is set, when the live view mode is set, and when the moving image shooting mode is set. To do.

−静止画撮影モード−
操作部３０の操作により静止画撮影モードが設定され、レリーズスイッチの全押し操作により撮影が指示されると、制御回路１８は、シャッタ２１により撮像素子１４を遮光した状態でＦＰＮ画素信号を取得する。ＦＰＮ画素信号を取得すると、制御回路１８は、シャッタ２１を開放した状態で撮像素子１４を露光して通常画素信号を取得する。そして、画像処理部１８１の補正部１８１ｂは、ＦＰＮデータを用いて通常画素信号に対してＦＰＮ補正処理を施す。以下、詳細に説明する。 -Still image shooting mode-
When the still image shooting mode is set by operating the operation unit 30 and shooting is instructed by fully pressing the release switch, the control circuit 18 acquires the FPN pixel signal in a state where the image sensor 14 is shielded by the shutter 21. . When the FPN pixel signal is acquired, the control circuit 18 exposes the image sensor 14 with the shutter 21 opened to acquire a normal pixel signal. Then, the correction unit 181b of the image processing unit 181 performs FPN correction processing on the normal pixel signal using FPN data. Details will be described below.

制御回路１８は、タイミングジェネレータ１７に指示して、撮像素子１４を構成する全画素の範囲のうち、たとえば１／３の領域に含まれる画素１４ＰからＦＰＮ画素信号を取得する。図５にＦＰＮ画素信号が読み出される画素１４Ｐが含まれる領域（ＦＰＮデータ取得領域Ｒｅ）を斜線領域で示す。なお、説明を簡単にするため、撮像素子１４の画素数を３０００×１５００ドットとする。本実施の形態においては、たとえば全画素範囲の中央部１／３の領域に相当する画素（３０００×５００ドット）から出力される画素信号を、画素列ごとに３０００列分読み出す。すなわち、制御回路１８は、タイミングジェネレータ１７を介して、第５０１行から第１０００行までを選択行として、その選択行に含まれる画素１４Ｐに対して、上述したＦＰＮ画素信号の読み出しを行う。その結果、撮像素子１４の第１列〜第３０００列の各画素列について、それぞれ５００個の画素フォトダイオード（ＰＤ）１４１からＦＰＮ画素信号が読み出され、カラム信号処理回路１４２に入力される。 The control circuit 18 instructs the timing generator 17 to acquire the FPN pixel signal from the pixel 14P included in, for example, a 1/3 region of the range of all the pixels constituting the imaging device 14. FIG. 5 shows a region (FPN data acquisition region Re) including a pixel 14P from which an FPN pixel signal is read by a hatched region. For simplicity of explanation, the number of pixels of the image sensor 14 is set to 3000 × 1500 dots. In the present embodiment, for example, 3000 pixels of pixel signals output from the pixels (3000 × 500 dots) corresponding to the central 1/3 region of the entire pixel range are read for each pixel column. That is, the control circuit 18 reads out the above-described FPN pixel signal from the 501st row to the 1000th row via the timing generator 17 to the pixels 14P included in the selected row. As a result, FPN pixel signals are read from 500 pixel photodiodes (PD) 141 for each of the first to 3000th pixel columns of the image sensor 14 and input to the column signal processing circuit 142.

カラム信号処理回路１４２は、全ての画素列、すなわち３０００列分のそれぞれのＦＰＮ画素信号をＡ／Ｄ変換回路１６を介して、画像処理部１８１へ出力する。算出部１８１ａは、上述のようにして入力した３０００列分の画素列ごとのＦＰＮ画素信号（５００画素分）をそれぞれ平均してＦＰＮデータを列毎に算出して、一時メモリ１８３に格納する。 The column signal processing circuit 142 outputs the FPN pixel signals for all pixel columns, that is, 3000 columns to the image processing unit 181 via the A / D conversion circuit 16. The calculation unit 181a calculates the FPN data for each column by averaging the FPN pixel signals (500 pixels) for the 3000 pixel columns input as described above, and stores the FPN data in the temporary memory 183.

次に、制御回路１８は、クイックリターンミラー１０を図１の破線で示す位置へ回動し、シャッタ２１を開放して、撮影レンズＬ１を通過した被写体光が撮像素子１４に導かれるようにする。さらに、制御回路１８は、タイミングジェネレータ１７を介して、全ての画素１４Ｐに対して、上述した通常画素信号読み出しを行う。すなわち、制御回路１８は、撮像素子１４の全画素１４Ｐから出力される画素信号を通常画素信号として画像処理部１８１に入力させる。補正部１８１ｂは、入力した第１列の通常画素信号から対応する第１列のＦＰＮデータを減算する。補正部１８１ｂは、上記の減算を３０００列分のそれぞれの通常画素信号に対して行うことにより、ＦＰＮ補正処理を施す。 Next, the control circuit 18 rotates the quick return mirror 10 to the position indicated by the broken line in FIG. 1 to open the shutter 21 so that the subject light that has passed through the photographing lens L1 is guided to the image sensor 14. . Further, the control circuit 18 performs the above-described normal pixel signal readout for all the pixels 14P via the timing generator 17. That is, the control circuit 18 causes the image processing unit 181 to input pixel signals output from all the pixels 14P of the image sensor 14 as normal pixel signals. The correcting unit 181b subtracts the corresponding first row of FPN data from the input first row of normal pixel signals. The correction unit 181b performs the FPN correction process by performing the above subtraction on the respective normal pixel signals for 3000 columns.

図６にＦＰＮ補正処理を概念的に説明する図を示す。図６（ａ）は、通常画素信号における水平方向の画素と、理想的に均一な光量を入射した場合のそれぞれの画素の出力レベル、すなわち輝度を表している。また、図６（ｂ）は、ＦＰＮ画素信号における水平方向の画素と、それぞれの画素の出力レベル、すなわち輝度を表している。ＦＰＮノイズの大きさは各画素列ごとに異なるので、図６（ｂ）に示すように、出力レベルは水平方向の画素のそれぞれにより異なる。通常画素信号には各画素列ごとにＦＰＮノイズが重畳するので、図６（ａ）に示すように、出力レベルは水平方向の画素のそれぞれにより異なり、図６（ｂ）の波形と類似する。ＦＰＮ補正処理により、図６（ａ）に示す出力レベルから図６（ｂ）に示す出力レベルを減算するので、ＦＰＮ補正処理後の水平方向の画素のそれぞれの出力レベルは、図６（ｃ）に示すように平滑になる。 FIG. 6 conceptually illustrates the FPN correction process. FIG. 6A shows the output level, that is, the luminance of the pixels in the horizontal direction in the normal pixel signal and the respective pixels when an ideally uniform amount of light is incident. FIG. 6B shows the pixels in the horizontal direction in the FPN pixel signal and the output level of each pixel, that is, the luminance. Since the magnitude of the FPN noise is different for each pixel column, the output level is different for each pixel in the horizontal direction as shown in FIG. Since FPN noise is superimposed on the normal pixel signal for each pixel column, as shown in FIG. 6A, the output level differs depending on each pixel in the horizontal direction and is similar to the waveform in FIG. 6B. Since the output level shown in FIG. 6B is subtracted from the output level shown in FIG. 6A by the FPN correction process, each output level of the horizontal pixel after the FPN correction process is shown in FIG. As shown in FIG.

ＦＰＮ補正処理の施された画素信号は、画像処理部１８１による上述した画像処理や圧縮部１８２による圧縮処理が施されて、画像データとしてメモリカード３２に記録される。 The pixel signal subjected to the FPN correction processing is subjected to the above-described image processing by the image processing unit 181 and compression processing by the compression unit 182, and is recorded in the memory card 32 as image data.

−ライブビューモード−
ライブビューモードにおいては、制御回路１８は、通常画素信号の取得に先立って、上述したようにＦＰＮ画素信号を取得する。ＦＰＮ画素信号を取得すると、制御回路１８は、撮像素子１４から所定の周期、たとえば１／３０秒周期で通常画素信号を順次読み出させる。そして、補正部１８１ｂは、一時メモリ１８３に格納されているＦＰＮデータを用いて、順次入力されるそれぞれの通常画素信号に対してＦＰＮ補正処理を施す。そして、画像処理部１８１は、ＦＰＮ補正処理が施された画素信号を用いて画像データを生成する。ユーザが操作部３０を操作して、ゲイン変更操作および加算方法変更操作の少なくとも一方により撮像素子１４の動作状態を変更する操作（以後、動作状態変更操作）が行われると、制御回路１８は、新たなＦＰＮ画素信号を取得し、算出部１８１ａは新たに取得されたＦＰＮ画素信号を用いて新たなＦＰＮデータを算出する。補正部１８１ｂは、その後順次入力されるそれぞれの通常画素信号に対して、新たに算出されたＦＰＮデータを用いてＦＰＮ補正処理を施す。 -Live view mode-
In the live view mode, the control circuit 18 acquires the FPN pixel signal as described above before acquiring the normal pixel signal. When the FPN pixel signal is acquired, the control circuit 18 sequentially reads the normal pixel signal from the image sensor 14 at a predetermined cycle, for example, a 1/30 second cycle. Then, the correction unit 181b performs FPN correction processing on each normal pixel signal sequentially input using the FPN data stored in the temporary memory 183. Then, the image processing unit 181 generates image data using the pixel signal that has been subjected to the FPN correction process. When the user operates the operation unit 30 to perform an operation for changing the operation state of the image sensor 14 by at least one of a gain change operation and an addition method change operation (hereinafter, operation state change operation), the control circuit 18 A new FPN pixel signal is acquired, and the calculation unit 181a calculates new FPN data using the newly acquired FPN pixel signal. The correction unit 181b performs FPN correction processing on the normal pixel signals sequentially input thereafter using newly calculated FPN data.

ユーザによる動作状態変更操作が行われた場合であっても、撮像素子１４の通常画素信号の出力レベルが所定の閾値以上の場合（たとえば、出力レベルが、その撮像素子１４が出力可能な最大の出力レベルに対して９０パーセント以上の高輝度レベルである場合）は、すなわち高輝度被写体が撮影されている場合は、制御回路１８の禁止部１８１ｄは、新たなＦＰＮ画素信号の取得を禁止する。さらに、禁止部１８１ｄは、補正部１８１ｂによるＦＰＮ補正処理を禁止する。以下、図７に示すタイミングチャートを参照しながら詳細に説明する。 Even when the operation state changing operation is performed by the user, when the output level of the normal pixel signal of the image sensor 14 is equal to or higher than a predetermined threshold (for example, the output level is the maximum that the image sensor 14 can output). In the case of a high luminance level of 90% or more with respect to the output level), that is, when a high luminance subject is photographed, the prohibition unit 181d of the control circuit 18 prohibits acquisition of a new FPN pixel signal. Further, the prohibition unit 181d prohibits the FPN correction process by the correction unit 181b. Hereinafter, it will be described in detail with reference to the timing chart shown in FIG.

操作部３０の操作によりライブビューモードが設定されると、制御回路１８は、クイックリターンミラー１０を図１の破線で示す位置へ回動し、シャッタ２１を開放して、撮影レンズＬ１を通過した被写体光が撮像素子１４に導かれるようにする。図５に示すように、制御回路１８は、タイミングジェネレータ１７に指示して、撮像素子１４を構成する全画素１４Ｐのうち、上述した静止画撮影モードにおけるＦＰＮ画素信号読み出しの場合と同様に、ＦＰＮデータ取得領域Ｒｅに含まれる画素１４ＰからＦＰＮ画素信号を読み出させる。カラム信号処理回路１４２は、これら１列につき５００個のＦＰＮ画素信号（ＦＰＮ）をＡ／Ｄ変換回路１６を介して、画像処理部１８１へ出力する。算出部１８１ａは、このＦＰＮ画素信号を平均して画素列毎のＦＰＮデータを算出して、一時メモリ１８３に格納する。 When the live view mode is set by operating the operation unit 30, the control circuit 18 rotates the quick return mirror 10 to the position indicated by the broken line in FIG. 1, opens the shutter 21, and passes through the photographing lens L1. The subject light is guided to the image sensor 14. As shown in FIG. 5, the control circuit 18 instructs the timing generator 17, and among all the pixels 14 </ b> P constituting the imaging device 14, the FPN pixel signal is read out in the same manner as in the case of reading the FPN pixel signal in the still image shooting mode described above. The FPN pixel signal is read from the pixel 14P included in the data acquisition area Re. The column signal processing circuit 142 outputs 500 FPN pixel signals (FPN) per column to the image processing unit 181 through the A / D conversion circuit 16. The calculation unit 181a averages the FPN pixel signals, calculates FPN data for each pixel column, and stores the FPN data in the temporary memory 183.

第１０００行目の画素行に含まれる画素１４ＰからＦＰＮ画素信号が読み出されると、制御回路１８は、第１フレーム目の画像データを得るために、通常画素信号をカラム信号処理回路１４２へ読み出させる。カラム信号処理回路１４２は、読み出した通常画素信号をＡ／Ｄ変換回路１６を介して、画像処理部１８１へ出力する。補正部１８１ｂは、第１列の通常画素信号から、一時メモリ１８３に格納しておいた第１列に対応する上述のＦＰＮデータを減じる。補正部１８１ｂは、上記の減算を３０００列分のそれぞれの通常画素信号に対して行うことにより、ＦＰＮ補正処理を施す。画像処理部１８１は、ＦＰＮ補正処理の施された画素信号に対して、上述した各種の画像処理を施して画像データを生成する。制御回路１８は、ＬＣＤ駆動回路１９に画像データを出力して、画像データに対応する画像を液晶表示器１９１に表示させる。 When the FPN pixel signal is read from the pixel 14P included in the 1000th pixel row, the control circuit 18 reads the normal pixel signal to the column signal processing circuit 142 to obtain the image data of the first frame. Let The column signal processing circuit 142 outputs the read normal pixel signal to the image processing unit 181 via the A / D conversion circuit 16. The correcting unit 181b subtracts the above-described FPN data corresponding to the first column stored in the temporary memory 183 from the normal pixel signal in the first column. The correction unit 181b performs the FPN correction process by performing the above subtraction on the respective normal pixel signals for 3000 columns. The image processing unit 181 performs the above-described various image processing on the pixel signal subjected to the FPN correction process to generate image data. The control circuit 18 outputs image data to the LCD drive circuit 19 and causes the liquid crystal display 191 to display an image corresponding to the image data.

さらに、判定部１８１ｃは、全ての画素１４Ｐから入力した通常画素信号の信号強度の出力レベルが所定の閾値以上か否か（たとえば、出力レベルが、その撮像素子１４の画素１４Ｐが出力可能な最大のレベルに対して９０パーセント以上の高輝度レベルであるか否か）を判定する。換言すると、判定部１８１ｃは、高輝度被写体が撮影されているか否かを判定する。出力レベルが閾値以上（少なくともＦＰＮ画素信号を得るための画素１４Ｐから出力された信号のレベルが上記の閾値以上）の場合は、判定部１８１ｃは、ＦＰＮ画素信号の読み出し、およびＦＰＮ補正処理の禁止を示すフラグ（禁止フラグ）ｉを１に設定する。出力レベルが閾値未満の場合は、判定部１８１ｃは禁止フラグｉを０に設定する。なお、上記の閾値は、高輝度の被写体光に照射されることにより画素フォトダイオード（ＰＤ）１４１に蓄積された電荷がトランスファーゲート（ＴＸ）１４４を介することなくフローティングディフュージョン（ＦＤ）１４３に移動した場合のＦＰＮ補正値を用いることを防ぐために設けられる。この閾値は予め実験等により計測され、図示しないメモリ等に記録されているものとする。 Further, the determination unit 181c determines whether or not the output level of the signal intensity of the normal pixel signal input from all the pixels 14P is equal to or higher than a predetermined threshold (for example, the output level is the maximum that the pixel 14P of the image sensor 14 can output). Whether the luminance level is 90% or more of the luminance level). In other words, the determination unit 181c determines whether or not a high-luminance subject has been shot. When the output level is equal to or higher than the threshold (at least the level of the signal output from the pixel 14P for obtaining the FPN pixel signal is equal to or higher than the above threshold), the determination unit 181c prohibits reading of the FPN pixel signal and FPN correction processing. Is set to 1 (prohibition flag) i. When the output level is less than the threshold, the determination unit 181c sets the prohibition flag i to 0. Note that the above-described threshold value is such that the charge accumulated in the pixel photodiode (PD) 141 is moved to the floating diffusion (FD) 143 without passing through the transfer gate (TX) 144 by being irradiated with high-luminance subject light. It is provided to prevent the use of the FPN correction value in some cases. This threshold value is preliminarily measured by an experiment or the like and is recorded in a memory or the like (not shown).

第１フレーム目の第１５００行（ライン）の通常画素信号の蓄積と読出しが行われた後に、次フレームである第２フレーム目の画像データに対応する通常画素信号の蓄積と読み出しが行われる。第２フレーム目以降の画像データについても、制御回路１８は、第１フレーム目の画像データを取得した場合と同様の処理を行う。すなわち、制御回路１８は、撮像素子１４から通常画素信号を読み出させる。補正部１８１ｂは、一時メモリ１８３に格納したＦＰＮデータを用いて通常画素信号にＦＰＮ補正処理を施し、画像処理部１８１は画像処理を施して画像データを生成する。制御回路１８は、ＬＣＤ駆動回路１９を介して生成した画像データに対応する画像を液晶表示器１９１に表示させる。さらに、判定部１８１ｃは、高輝度被写体が撮影されているか否かを判定し、判定結果に応じて禁止フラグｉを０および１の一方に設定する。 After the normal pixel signals of the 1500th row (line) of the first frame are accumulated and read out, the normal pixel signals corresponding to the image data of the second frame as the next frame are accumulated and read out. For the image data after the second frame, the control circuit 18 performs the same processing as when the image data for the first frame is acquired. That is, the control circuit 18 reads the normal pixel signal from the image sensor 14. The correction unit 181b performs FPN correction processing on the normal pixel signal using the FPN data stored in the temporary memory 183, and the image processing unit 181 performs image processing to generate image data. The control circuit 18 causes the liquid crystal display 191 to display an image corresponding to the image data generated via the LCD drive circuit 19. Furthermore, the determination unit 181c determines whether or not a high-luminance subject has been shot, and sets the prohibition flag i to one of 0 and 1 according to the determination result.

図７に示すように、第（Ｍ−１）フレーム目の画像データに対応する画像が液晶表示器１９１に表示されているとき、ユーザによる動作状態変更操作が行われたものとする。なお、第（Ｍ−１）フレーム目の画像には高輝度被写体は撮影されていない、すなわち禁止フラグｉが０に設定されているものとして説明する。ユーザによる動作状態変更操作に応じて、操作部３０から撮像素子１４の動作状態の変更を指示する変更指示信号を入力した場合、禁止部１８１ｄは、禁止フラグｉを確認する。上述したように禁止フラグｉは０に設定されているので、禁止部１８１ｄはＦＰＮ画素信号の読み出しを禁止しない。その結果、制御回路１８は撮像素子１４に対してＦＰＮ画素信号を読み出させる。 As shown in FIG. 7, it is assumed that when the image corresponding to the image data of the (M−1) th frame is displayed on the liquid crystal display device 191, the operation state changing operation by the user is performed. In the following description, it is assumed that a high-luminance subject is not photographed in the (M−1) th frame image, that is, the prohibition flag i is set to 0. When a change instruction signal for instructing a change in the operation state of the image sensor 14 is input from the operation unit 30 in response to an operation state change operation by the user, the prohibition unit 181d checks the prohibition flag i. As described above, since the prohibition flag i is set to 0, the prohibition unit 181d does not prohibit reading of the FPN pixel signal. As a result, the control circuit 18 causes the image sensor 14 to read the FPN pixel signal.

読み出されたＦＰＮ画素信号に基づいて、算出部１８１ａは新たにＦＰＮデータを生成し、一時メモリ１８３に格納する。第１０００行目の画素行に含まれる画素１４ＰからＦＰＮ画素信号が読み出されると、制御回路１８は、撮像素子１４に対して第Ｍフレーム目の画像データに対応する通常画素信号を読み出させる。そして、補正部１８１ｂは取得した通常画素信号に対して新たに生成されたＦＰＮデータを用いてＦＰＮ補正処理を施し、画像処理部１８１は第Ｍフレーム目の画像データを生成する。制御回路１８は、第Ｍフレーム目の画像データをＬＣＤ駆動回路１９へ出力して、画像を液晶表示器１９１に表示させる。 Based on the read FPN pixel signal, the calculation unit 181 a newly generates FPN data and stores it in the temporary memory 183. When the FPN pixel signal is read from the pixel 14P included in the 1000th pixel row, the control circuit 18 causes the image sensor 14 to read a normal pixel signal corresponding to the image data of the Mth frame. Then, the correction unit 181b performs FPN correction processing on the acquired normal pixel signal using newly generated FPN data, and the image processing unit 181 generates image data of the Mth frame. The control circuit 18 outputs the image data of the Mth frame to the LCD drive circuit 19 and causes the liquid crystal display 191 to display the image.

図７に示すように、第（Ｎ−１）フレーム目の画像データに対応する画像が液晶表示器１９１に表示されたとき、ユーザによる動作状態変更操作が行われたものとする。なお、第（Ｎ−１）フレーム目の画像には高輝度被写体が撮影されている、すなわち禁止フラグｉが１に設定されているものとして説明する。操作部３０から動作状態の変更を指示する変更指示信号を入力した場合、禁止部１８１ｄは、禁止フラグｉを確認する。上述したように禁止フラグｉは１に設定されているので、禁止部１８１ｄは、撮像素子１４に対するＦＰＮ画素信号の読み出しを禁止する。すなわち、制御回路１８は、ＦＰＮデータの取得を行わず、第（Ｎ−１）フレーム目の第１５００行（ライン）の通常画素信号の蓄積と読み出しを行わせた後に、次フレームである第Ｎフレーム目の画像データに対応する通常画素信号の蓄積と読み出しを行わせる。さらに、禁止部１８１ｄは、補正部１８１ｂによるＦＰＮ補正処理を禁止する。その結果、補正部１８１ｂは取得した通常画素信号に対してＦＰＮ補正処理を施すことなく、画像処理部１８１はＦＰＮ補正処理が施されていない通常画素信号を用いて第Ｎフレーム目の画像データを生成する。制御回路１８は、第Ｎフレーム目の画像データをＬＣＤ駆動回路１９へ出力して、第Ｎフレーム目の画像を液晶表示器１９１に表示させる。以上の動作が、ライブビューが終了されるまで繰り返される。 As shown in FIG. 7, it is assumed that when the image corresponding to the image data of the (N−1) th frame is displayed on the liquid crystal display 191, the operation state changing operation is performed by the user. In the following description, it is assumed that an image of the (N−1) th frame is a high-luminance subject, that is, the prohibition flag i is set to 1. When the change instruction signal for instructing the change of the operation state is input from the operation unit 30, the prohibition unit 181d checks the prohibition flag i. Since the prohibition flag i is set to 1 as described above, the prohibition unit 181d prohibits reading of the FPN pixel signal from the image sensor 14. That is, the control circuit 18 does not acquire the FPN data, and after accumulating and reading out the normal pixel signals in the 1500th row (line) of the (N−1) th frame, The normal pixel signal corresponding to the image data of the frame is stored and read out. Further, the prohibition unit 181d prohibits the FPN correction process by the correction unit 181b. As a result, the correction unit 181b does not perform the FPN correction process on the acquired normal pixel signal, and the image processing unit 181 uses the normal pixel signal that has not been subjected to the FPN correction process to convert the Nth frame image data. Generate. The control circuit 18 outputs the image data of the Nth frame to the LCD drive circuit 19 and causes the liquid crystal display 191 to display the image of the Nth frame. The above operation is repeated until the live view is finished.

−動画撮影モード−
操作部３０の操作により動画撮影モードが設定され、レリーズスイッチの全押し操作により撮影が指示されると、制御回路１８は、クイックリターンミラー１０を図１の破線で示す位置へ回動し、動画撮影を開始する。動画撮影モードにおいても、ライブビューモードの場合と同様にして、制御回路１８は、撮像素子１４を構成する全画素１４Ｐから読み出された通常画素信号を用いて、動画像データを生成する。すなわち、図７のライブビューモード時におけるタイミングチャートに示す場合と同様にして、制御回路１８は通常画素信号およびＦＰＮ画素信号を取得する。 -Movie shooting mode-
When the moving image shooting mode is set by operating the operation unit 30 and shooting is instructed by fully pressing the release switch, the control circuit 18 rotates the quick return mirror 10 to the position indicated by the broken line in FIG. Start shooting. In the moving image shooting mode as well, in the same way as in the live view mode, the control circuit 18 generates moving image data using the normal pixel signals read from all the pixels 14P constituting the image sensor 14. That is, the control circuit 18 acquires the normal pixel signal and the FPN pixel signal in the same manner as shown in the timing chart in the live view mode of FIG.

補正部１８１ｂは、ＦＰＮデータを用いて通常画素信号に対してＦＰＮ補正処理を施す。なお、高輝度被写体が撮影されているときに動作状態変更操作が行われた場合には、禁止部１８１ｄがＦＰＮデータの取得およびそれ以後取得される通常画素信号に対するＦＰＮ補正処理を禁止させる点も、ライブビューモードの場合と同様である。そして、画素信号は、画像処理部１８１による上述した画像処理や圧縮部１８２による圧縮処理が施されて、動画像データとしてメモリカード３２に記録される。 The correction unit 181b performs FPN correction processing on the normal pixel signal using FPN data. Note that when the operation state change operation is performed while a high-luminance subject is being photographed, the prohibiting unit 181d prohibits the FPN data acquisition and the FPN correction processing for the normal pixel signal acquired thereafter. This is the same as in the live view mode. The pixel signal is subjected to the above-described image processing by the image processing unit 181 and compression processing by the compression unit 182, and is recorded in the memory card 32 as moving image data.

以上で説明した実施の形態によるデジタルカメラ１によれば、以下の作用効果が得られる。
（１）撮像素子１４は、行列状に配置した複数の画素１４Ｐを有し、被写体像を撮像して通常画素信号を出力させるようにし、操作部３０は、ユーザによる撮像素子１４の信号出力の動作状態の変更を受け付けて、動作状態の変更を指示する変更指示信号を出力するようにした。制御回路１８は、変更指示信号を入力したとき、複数の画素１４Ｐのうち、所定行に含まれる画素、すなわちＦＰＮデータ取得領域Ｒｅに含まれる画素からＦＰＮ画素信号を読み出すようにした。また、算出部１８１ａは、ＦＰＮ画素信号を用いて、通常画素信号の画素列ごとの誤差を補正するための補正値であるＦＰＮデータを算出し、補正部１８１ｂは、算出されたＦＰＮデータを用いて通常画素信号に対してＦＰＮ補正処理を施すようにした。さらに、判定部１８１ｃは、通常画素信号が読み出されるごとに、被写体像が明るさ情報に関する所定条件を満たすか否か、すなわち高輝度被写体が撮影されているか否かを判定し、禁止部１８１ｄは、動作状態変更操作が行われたときに、判定部１８１ｃにより所定条件が満たされていると判定された場合は、禁止部１８１ｄは、補正部１８１ｂに対する通常画素信号へのＦＰＮ補正処理を禁止させるようにした。 According to the digital camera 1 according to the embodiment described above, the following operational effects can be obtained.
(1) The image pickup device 14 has a plurality of pixels 14P arranged in a matrix, picks up a subject image and outputs a normal pixel signal, and the operation unit 30 outputs a signal output from the image pickup device 14 by the user. The change instruction signal for instructing the change of the operation state is output upon accepting the change of the operation state. When the change instruction signal is input, the control circuit 18 reads the FPN pixel signal from the pixels included in the predetermined row among the plurality of pixels 14P, that is, the pixels included in the FPN data acquisition region Re. Further, the calculation unit 181a calculates FPN data, which is a correction value for correcting an error for each pixel column of the normal pixel signal, using the FPN pixel signal, and the correction unit 181b uses the calculated FPN data. Thus, the FPN correction process is performed on the normal pixel signal. Further, each time the normal pixel signal is read, the determination unit 181c determines whether or not the subject image satisfies a predetermined condition regarding brightness information, that is, whether or not a high-intensity subject is captured, and the prohibition unit 181d When the determination unit 181c determines that the predetermined condition is satisfied when the operation state change operation is performed, the prohibition unit 181d prohibits the correction unit 181b from performing FPN correction processing on the normal pixel signal. I did it.

高輝度被写体が撮影されているときにＦＰＮ画素信号が取得された場合のＦＰＮ画素信号における水平方向の画素と、それぞれの画素の出力レベル、すなわち輝度との関係を図６（ｅ）に示す。高輝度被写体光の入射により画素フォトダイオード（ＰＤ）１４２に蓄積された電荷がトランスファーゲート（ＴＸ）１４４を介さずフローティングディフュージョン（ＦＤ）１４３へ移動する。そのため、画素の出力レベルが変動する。図６（ｅ）においては、図６（ｂ）に示す出力レベルと比べて、範囲Ｘに含まれる水平方向の画素の出力レベルが変動している状態を示している。そのため、図６（ｄ）に示す通常画素信号に対してＦＰＮ補正処理を施した場合、図６（ｆ）のように水平方向の画素の出力レベルが平滑にならない。すなわち、ＦＰＮ補正処理を施すことにより、かえって画質の低下を招くことになる。 FIG. 6E shows the relationship between the horizontal pixels in the FPN pixel signal and the output level of each pixel, that is, the luminance when the FPN pixel signal is acquired when a high-luminance subject is photographed. The charges accumulated in the pixel photodiode (PD) 142 by the incidence of high-luminance subject light move to the floating diffusion (FD) 143 without passing through the transfer gate (TX) 144. Therefore, the output level of the pixel varies. FIG. 6E shows a state in which the output level of the pixels in the horizontal direction included in the range X varies as compared with the output level shown in FIG. Therefore, when the FPN correction process is performed on the normal pixel signal shown in FIG. 6D, the output level of the pixel in the horizontal direction is not smooth as shown in FIG. In other words, by performing the FPN correction process, the image quality is deteriorated.

これに対して、判定部１８１ｃにより高輝度被写体が撮影されていると判定された場合は、禁止部１８１ｄはＦＰＮ補正処理を禁止する。したがって、出力レベルに変動が生じたＦＰＮデータを用いたＦＰＮ補正処理を行わないので、画質の低下を防ぐことができる。 On the other hand, when the determination unit 181c determines that a high-luminance subject is being photographed, the prohibition unit 181d prohibits the FPN correction process. Therefore, since the FPN correction process using the FPN data in which the output level fluctuates is not performed, it is possible to prevent the image quality from being deteriorated.

（２）禁止部１８１ｄは、さらにＦＰＮ画素信号の読出しを禁止させるようにした。したがって、ＦＰＮ画素信号の読み出しに要する処理時間および処理負荷を低減できる。 (2) The prohibition unit 181d further prohibits reading of the FPN pixel signal. Therefore, the processing time and processing load required for reading the FPN pixel signal can be reduced.

以上で説明した実施の形態によるデジタルカメラ１を次のように変形できる。
（１）画素１４Ｐから出力される通常画素信号の出力レベルを用いて高輝度被写体が撮影されているか否かを判定するものに代えて、通常画素信号に含まれる色情報に基づいて判定をするものでもよい。この場合、撮像素子１４の撮像面には、Ｒ（赤）、Ｇ（緑）およびＢ（青）のカラーフィルタが画素１４Ｐの位置に対応するように設けられ、撮像素子１４はＲＧＢ表色系の色情報を有する通常画素信号を出力する。そして、判定部１８１ｃは、入力した通常画素信号のうち、特定の色成分に対応する通常画素信号（たとえば、Ｒ成分信号とＧ成分信号、Ｒ成分信号のみ、Ｇ成分信号のみ、Ｂ成分信号のみ等）の出力レベルが閾値以上か否かを判定すればよい。 The digital camera 1 according to the embodiment described above can be modified as follows.
(1) Instead of determining whether or not a high-brightness subject is photographed using the output level of the normal pixel signal output from the pixel 14P, determination is made based on color information included in the normal pixel signal. It may be a thing. In this case, R (red), G (green), and B (blue) color filters are provided on the imaging surface of the imaging device 14 so as to correspond to the positions of the pixels 14P, and the imaging device 14 has an RGB color system. The normal pixel signal having the color information is output. Then, the determination unit 181c includes, among the input normal pixel signals, normal pixel signals corresponding to a specific color component (for example, R component signal and G component signal, only R component signal, only G component signal, only B component signal). Or the like) may be determined whether or not the output level is equal to or higher than a threshold value.

（２）ライブビューモードもしくは動画撮影モードにおいて、全ての画素１４Ｐから通常画素信号を読み出すものに代えて、全ての画素１４Ｐのうち所定の画素行に含まれる画素１４Ｐから通常画素信号読み出す間引き読み出しを行ってもよい。図８に、間引き読み出しされる画素１４Ｐが含まれる画素行の一例を示す。この場合に通常画素信号が読み出される画素１４Ｐが含まれる画素行を斜線領域で示す。すなわち、制御回路１８は、第２行、第５行、・・・、第（３ｎ−１）行（ｎは自然数：ｎ≦５００）を選択行として、その選択行に含まれる画素１４Ｐに対して、上述した通常画素読み出しを行う。その結果、撮像素子１４の各画素列について合計５００個の画素フォトダイオード（ＰＤ）１４１から画素信号が読み出され、カラム信号処理回路１４２に入力される。 (2) In the live view mode or the moving image shooting mode, instead of reading out the normal pixel signals from all the pixels 14P, decimation readout for reading out the normal pixel signals from the pixels 14P included in a predetermined pixel row among all the pixels 14P. You may go. FIG. 8 shows an example of a pixel row including the pixels 14P to be thinned and read. In this case, a pixel row including the pixel 14P from which the normal pixel signal is read is indicated by a hatched area. That is, the control circuit 18 selects the second row, the fifth row,..., The (3n−1) th row (n is a natural number: n ≦ 500) as the selected row, and applies to the pixels 14P included in the selected row. Thus, the normal pixel reading described above is performed. As a result, pixel signals are read from a total of 500 pixel photodiodes (PD) 141 for each pixel column of the image sensor 14 and input to the column signal processing circuit 142.

（３）高輝度被写体が含まれているか否かを判定する高輝度判定の際に、撮像素子１４の全ての画素１４Ｐから出力される通常画素信号に基づいて高輝度判定をするものに代えて、ＦＰＮ画素信号を取得した領域、すなわちＦＰＮデータ取得領域Ｒｅに含まれる画素１４Ｐから出力される通常画素信号のみを用いて高輝度判定を行ってもよい。この場合、画像処理部１８１は、第５０１行目から第１０００行目に含まれる画素１４Ｐから出力される通常画素信号の信号強度（出力レベル）を上述した閾値と比較すればよい。 (3) Instead of performing high luminance determination based on normal pixel signals output from all the pixels 14P of the image sensor 14 in the high luminance determination for determining whether or not a high luminance subject is included. The high luminance determination may be performed using only the normal pixel signal output from the pixel 14P included in the FPN pixel signal area, that is, the FPN data acquisition area Re. In this case, the image processing unit 181 may compare the signal intensity (output level) of the normal pixel signal output from the pixel 14P included in the 501st row to the 1000th row with the above-described threshold value.

（４）高輝度判定の手法としては上記のものに限られず、平均値や合計値などを用いてもよい。たとえば、ＦＰＮデータ取得領域Ｒｅに含まれる画素の出力の平均値（平均出力レベル）が、ある閾値（上述の閾値レベルとは異なる平均値用の閾値レベル）を超えている場合に、画像処理部１８１は高輝度被写体が含まれていると判定してもよい。また、たとえば、ＦＰＮデータ取得領域Ｒｅに含まれる画素１４Ｐの出力の合計値（合計出力レベル）が上記とは別に設けた閾値（合計値用の閾値レベル）を超えている場合に、画像処理部１８１は、高輝度被写体が含まれていると判定してもよい。また、この考え方をＦＰＮデータ取得領域Ｒｅのみに限らず、撮像素子１４の全画素（被写体像の画像信号を出力する有効撮像範囲内の画素）に適用するようにしてもよい。 (4) The high brightness determination method is not limited to the above, and an average value, a total value, or the like may be used. For example, when the average value (average output level) of the pixels included in the FPN data acquisition area Re exceeds a certain threshold value (threshold level for an average value different from the above-described threshold level), the image processing unit 181 may determine that a high-luminance subject is included. Further, for example, when the total output value (total output level) of the pixels 14P included in the FPN data acquisition area Re exceeds a threshold (threshold level for the total value) provided separately from the above, the image processing unit 181 may determine that a high-luminance subject is included. Further, this concept may be applied not only to the FPN data acquisition region Re but also to all the pixels of the image sensor 14 (pixels in an effective imaging range that outputs an image signal of a subject image).

（５）閾値は温度に対応して設定してもよい。この場合、デジタルカメラ１は図示しない温度センサを備えている。温度センサは、撮像素子１４周辺の温度を常時測定し、測定結果である温度信号を図示しないＡ／Ｄ変換回路を介して制御回路１８へ出力する。さらに、所定の温度範囲ごとに閾値が対応付けされたデータが予め図示しないメモリ等に記録されている。動作状態変更操作が行われると、判定部１８１ｃは入力した温度信号に基づいて、上記のデータを参照して閾値を読み出す。そして、判定部１８１ｃは、算出した出力データと読み出した閾値とを比較すればよい。この結果、撮像素子１４近傍の温度変化に応じて通常画素信号の出力レベルに変動が生じた場合であっても、高輝度被写体が撮影されているか否かを判定することができる。 (5) The threshold value may be set corresponding to the temperature. In this case, the digital camera 1 includes a temperature sensor (not shown). The temperature sensor constantly measures the temperature around the image sensor 14 and outputs a temperature signal as a measurement result to the control circuit 18 via an A / D conversion circuit (not shown). Furthermore, data in which a threshold value is associated with each predetermined temperature range is recorded in advance in a memory or the like (not shown). When the operation state changing operation is performed, the determination unit 181c reads the threshold value with reference to the above data based on the input temperature signal. Then, the determination unit 181c may compare the calculated output data with the read threshold value. As a result, even when the output level of the normal pixel signal varies according to the temperature change in the vicinity of the image sensor 14, it can be determined whether or not a high-luminance subject has been shot.

（６）前回のＦＰＮ画素信号取得時の直前に取得された通常画素信号に基づいて算出された出力レベルを高輝度被写体の有無を判定するための閾値としてもよい。図７に示す場合において、第（Ｎ−１）フレーム目の画像が液晶表示器１９１に表示されているときに、動作状態変更操作が行われたものとする。この場合、判定部１８１ｃは、前回のＦＰＮ画素信号取得時の直前、すなわち第（Ｍ−１）フレーム目の画像に対応する通常画素信号の出力レベルを閾値として用いる。そして、判定部１８１ｃは、第（Ｎ−１）フレーム目の通常画素信号の出力レベルと第（Ｍ−１）フレーム目の通常画素信号の出力レベルとを比較すればよい。 (6) The output level calculated based on the normal pixel signal acquired immediately before the previous FPN pixel signal acquisition may be used as a threshold for determining the presence or absence of a high-luminance subject. In the case illustrated in FIG. 7, it is assumed that the operation state changing operation is performed when the image of the (N−1) th frame is displayed on the liquid crystal display 191. In this case, the determination unit 181c uses the output level of the normal pixel signal corresponding to the image of the (M−1) th frame immediately before the previous FPN pixel signal acquisition, that is, as the threshold value. Then, the determination unit 181c may compare the output level of the normal pixel signal of the (N-1) th frame with the output level of the normal pixel signal of the (M-1) th frame.

（７）被写体像が高輝度被写体か否かの判定は、通常画素信号を用いるものに限定されない。たとえば、測光センサを備えるデジタルカメラであれば、測光センサから出力される測光信号に基づいて、被写体像が高輝度被写体であるか否かが判定されればよい。この場合のデジタルカメラ１の要部構成図を図９に示す。なお、図１の要部構成図と同一のものには同一の符号を付与する。 (7) The determination of whether or not the subject image is a high-luminance subject is not limited to using a normal pixel signal. For example, in the case of a digital camera equipped with a photometric sensor, it may be determined whether the subject image is a high-luminance subject based on a photometric signal output from the photometric sensor. FIG. 9 shows a main part configuration diagram of the digital camera 1 in this case. In addition, the same code | symbol is provided to the same thing as the principal part block diagram of FIG.

図９に示すように、デジタルカメラ１は、測光センサ３２と、クイックリターンミラー１０に代えてハーフミラー３１とを備える。撮影レンズＬ１を介して入射した被写体光は、一部は、ハーフミラー３１の半透過領域を通過してシャッタ２１を介して撮像素子１４へ導かれる。また撮影レンズＬ１を介して入射した被写体光の他の一部はハーフミラー３１により反射されて、ペンタプリズム１２へ導かれる。 As shown in FIG. 9, the digital camera 1 includes a photometric sensor 32 and a half mirror 31 instead of the quick return mirror 10. Part of the subject light incident through the photographing lens L 1 passes through the semi-transmissive region of the half mirror 31 and is guided to the image sensor 14 through the shutter 21. Further, another part of the subject light incident through the photographing lens L 1 is reflected by the half mirror 31 and guided to the pentaprism 12.

ペンタプリズム１２へ導かれた被写体光の一部は接眼レンズ１３を介してユーザにより観察されるとともに、他の一部は測光センサ３２に入射する。測光センサ３２は、撮影レンズＬ１に対して撮像素子１４と光学的に等価な位置に配設され、撮像面上に結像されている被写体像を撮像し、被写体像の明るさに応じた光電変換信号を測光信号として制御回路１８へ出力する。そして、判定部１８１ｃは、測光センサ３２から出力された測光信号に基づいて被写体の輝度を算出し、予め設定された閾値と比較することにより高輝度被写体が撮影されているか否かを判定すればよい。 A part of the subject light guided to the pentaprism 12 is observed by the user through the eyepiece lens 13 and the other part is incident on the photometric sensor 32. The photometric sensor 32 is disposed at a position optically equivalent to the image sensor 14 with respect to the photographic lens L1, captures a subject image formed on the imaging surface, and detects a photoelectric according to the brightness of the subject image. The converted signal is output to the control circuit 18 as a photometric signal. Then, the determination unit 181c calculates the luminance of the subject based on the photometric signal output from the photometric sensor 32 and compares it with a preset threshold value to determine whether or not a high-luminance subject has been photographed. Good.

（８）禁止部１８１ｄは、高輝度被写体が撮影されていると判定された場合に、ＦＰＮ画素信号の読み出しおよびＦＰＮ補正処理を禁止させるようにしたが、ＦＰＮ補正処理を禁止するものであれば、ＦＰＮ画素信号の読み出しを行ってもよい。 (8) The prohibition unit 181d prohibits the reading of the FPN pixel signal and the FPN correction process when it is determined that the high-luminance subject is photographed. However, if the prohibition unit 181d prohibits the FPN correction process, The FPN pixel signal may be read out.

また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組合わせて構成しても構わない。 In addition, the present invention is not limited to the above-described embodiment as long as the characteristics of the present invention are not impaired, and other forms conceivable within the scope of the technical idea of the present invention are also within the scope of the present invention. included. The embodiments and modifications used in the description may be configured by appropriately combining them.

１４撮像素子、１４Ｐ画素、３０操作部、１４２カラム信号処理回路、
１８制御回路、１８１画像処理部、１８１ａ算出部、１８１ｂ補正部、
１８１ｃ判定部、１８１ｄ禁止部 14 image sensors, 14P pixels, 30 operation units, 142 column signal processing circuits,
18 control circuit, 181 image processing unit, 181a calculation unit, 181b correction unit,
181c judgment part, 181d prohibition part

Claims

An image sensor in which a plurality of pixels are arranged in a matrix, picks up a subject image, and outputs a first pixel signal;
Change instruction means for instructing a change in the operation state of the signal output of the image sensor;
Reading means for reading a second pixel signal from pixels included in a predetermined row among the plurality of pixels when the change of the operation state is instructed;
Calculating means for calculating a correction value for correcting an error for each pixel column of the first pixel signal using the second pixel signal;
Correction means for correcting the first pixel signal using the calculated correction value;
Determining means for determining whether or not the subject image satisfies a predetermined condition regarding brightness information each time the first pixel signal is read;
When it is determined that the predetermined condition is satisfied by the determination unit when the change instruction unit is instructed to change the operation state, the correction to the first pixel signal is performed on the correction unit. A digital camera comprising prohibiting means for prohibiting the digital camera.

The digital camera according to claim 1, wherein
The digital camera according to claim 1, wherein the determination unit determines that the predetermined condition is satisfied when the magnitude of the first pixel signal is equal to or greater than a predetermined threshold.

The digital camera according to claim 1, wherein
The pixel signal output from the image sensor includes color information,
The determination unit determines that the predetermined condition is satisfied when the magnitude of the first pixel signal corresponding to a predetermined color component included in the color information is equal to or greater than a predetermined threshold. .

The digital camera according to any one of claims 1 to 3,
The digital camera according to claim 1, wherein the prohibiting unit further prohibits the reading unit from reading the second pixel signal.

The digital camera according to any one of claims 1 to 4,
The change in the operation state of the signal output of the image pickup device is at least one of a change in image pickup sensitivity for the image pickup device and a change in an addition method for adding and outputting the signals of the plurality of pixels included in the image pickup device. A digital camera characterized by including: