JP4062300B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

デジタルカメラに用いられるＣＣＤ撮像素子については、小型化および高画素化が進んでおり、それに伴い、画素欠陥も増加する傾向にある。

この画素欠陥については、画素欠陥の番地データを記憶しておき、画素欠陥の場所を特定する技術が開示されている（特許文献１）。

このような技術に関する先行技術文献としては、以下のようなものがある。

特開平７−１６２７５７号公報

しかしながら、ＣＣＤ撮像素子の画素欠陥は、信号電荷を転送する垂直転送ラインにも発生してきており、その結果として、撮影画像においてライン性の高輝度の傷（Ｖライン傷）が生じる。また、このＶライン傷の発生には温度依存性がある。このようなＶライン傷を補正するためには、画素欠陥の位置を特定して画素補間を行う従来型の補間処理では、対応することができない。

本発明は、上記課題に鑑みてなされたものであり、温度条件に拘わらずＶライン傷を目立たなくすることができる技術を提供することを目的とする。

上記の課題を解決するために、請求項１の発明は、撮像装置であって、撮像素子を有し、被写体に係る画像を取得する撮像手段と、前記撮像手段によって取得される画像において前記撮像素子の電荷転送ラインにおける欠陥に起因して発生する線状傷について、少なくとも前記撮像装置の起動初期状態において発生する線状傷の位置を初期傷位置として記憶する記憶手段と、前記画像において発生する線状傷を補正する傷補正手段と、前記画像において発生する線状傷の位置を検出する傷位置検出手段と、撮影を行う際に、前記撮像素子に係る温度に影響を及ぼす前記撮像装置の状態を検出する状態検出手段とを備え、前記傷補正手段が、前記状態検出手段によって検出される撮像装置の状態に応じて、前記初期傷位置の情報、および前記傷位置検出手段によって検出される線状傷の位置の情報のうちの一方を選択的に用いることで、前記撮影時に取得される画像において発生する線状傷を補正することを特徴とする。

また、請求項２の発明は、請求項１に記載の撮像装置であって、前記状態検出手段が、前記撮像装置が連写モードに設定されているか否かを検出するモード設定検出手段、前記撮像装置の起動開始時からの時間の経過を計測する計時手段、および前記撮像素子に係る温度を検出する温度検出手段のうちの少なくとも一つの手段を有することを特徴とする。

また、請求項３の発明は、請求項１に記載の撮像装置であって、前記傷補正手段が、撮影を行う際に、前記状態検出手段によって前記起動開始時から所定時間が経過していない状態、または前記撮像素子に係る温度が所定温度以下である状態が検出された場合には、前記初期傷位置の情報を用いて前記撮影時に取得される画像において発生する線状傷を補正することを特徴とする。

また、請求項４の発明は、請求項１に記載の撮像装置であって、前記傷補正手段が、撮影を行う際に、前記状態検出手段によって前記撮像装置が連写モードに設定されている状態が検出された場合には、前記撮影に係る連写終了後に前記傷位置検出手段によって検出された線状傷の位置の情報を用いて、前記連写によって取得された複数の画像に係る線状傷を補正することを特徴とする。

請求項１に記載の発明によれば、撮像素子の電荷転送ラインにおける欠陥に起因して画像において発生する線状傷について、撮像装置の起動初期状態において発生する線状傷の位置を初期傷位置として予め記憶しておき、撮像素子に係る温度に影響を及ぼす撮像装置の状態に応じて、初期傷位置の情報を用いて線状傷を補正する手法、および線状傷の位置を検出して線状傷を補正する手法のうちの一方を選択的に実行するような構成により、線状傷の発生における温度依存性を考慮して線状傷を補正することができるため、温度条件に拘わらずＶライン傷を目立たなくすることができる。

また、請求項２に記載の発明によれば、撮像装置が連写モードに設定されているか否かを検出する手法、撮像装置の起動開始時からの時間の経過を計測する手法、および撮像素子に係る温度を検出する手法のうちの少なくとも一つの手法を用いることで、撮像素子に係る温度に影響を及ぼす撮像装置の状態を検出することができる。

また、請求項３に記載の発明によれば、撮像装置の起動開始時から所定時間が経過していない場合、または撮像素子に係る温度が所定温度以下である場合には、初期傷位置の情報を用いて線状傷を補正することで、起動開始時から撮像素子に係る温度がほとんど上昇していないことを利用して、線状傷の検出を行うことなく線状傷の補正を行うことが可能となる。つまり、起動初期状態若しくは起動初期状態と同等であるとみなせる場合や、寒冷地での撮影では、線状傷の検出を実施する必要性がなく、撮影時における画像の取得から記録までに要する時間を短縮することができる。

また、請求項４に記載の発明によれば、撮像装置が連写モードに設定されている場合には、連写終了後に検出された線状傷の位置の情報を用いて、連写時に取得された複数の画像に係る線状傷を補正することで、連写時における撮像素子の温度上昇に起因して発生する線状傷を適正に補正することができる。

＜撮像装置の要部構成＞
図１は、本発明の実施形態に係る撮像装置１の要部構成を示す図である。ここで、図１(ａ)〜(ｃ)は、それぞれ撮像装置１の正面図、背面図および上面図に相当している。

撮像装置１は、デジタルカメラとして構成されており、撮影レンズ１０を備えている。

撮像装置１は、その上面にモード切替スイッチ１２とシャッターボタン１３とが設けられている。

モード切替スイッチ１２は、被写体を撮像してその静止画を記録する静止画撮影モード（ＲＥＣモード）と、動画撮影を行う動画モード（ＭＯＶＥモード）と、メモリカード９(図２参照)に記録された画像を再生する再生モード（ＰＬＡＹモード）とを切替えるためのスイッチである。

シャッターボタン１３は、半押し状態(Ｓ１オン)と、さらに押し込まれた全押し状態(Ｓ２オン)とを検出可能な２段階スイッチになっている。上記の静止画撮影モードにおいてシャッターボタン１３が半押しされると、ズーム・フォーカスモータドライバ４７(図２参照)が駆動されて、合焦位置に撮影レンズ１０を移動させる動作が行われる。一方、静止画撮影モードにおいてシャッターボタン１３が全押しされると、本撮影動作、つまり記録用の撮影動作が行われる。

撮像装置１の背面には、撮影された画像などを表示するＬＣＤ(Liquid Crystal Display)モニタ４２と、電子ビューファインダー(ＥＶＦ)４３と、コマ送り・ズームスイッチ１５と、電源スイッチ５とが設けられている。

コマ送り・ズームスイッチ１５は、４つのボタンで構成され、再生モードにおける記録画像のコマ送りや、撮影時のズーミングを指示するためのスイッチである。このコマ送り・ズームスイッチ１５の操作により、図２のズーム・フォーカスモータドライバ４７が駆動されて、撮影レンズ１０に関する焦点距離を変更できる。また、静止画撮影モードに設定されている場合には、コマ送り・ズームスイッチ１５の左右方向のボタンの押下操作により、後述するＶライン傷の補正方法（「傷補正方法」とも言う）を切り換えることができる。さらに、電源スイッチ５は、上下方向に操作することで、撮像装置１が起動された状態（電源ＯＮ状態）と起動されていない状態（電源ＯＦＦ状態）とを切り替えるものである。

図２は、撮像装置１の機能ブロックを示す図である。

撮像装置１は、撮像センサ１６と、撮像センサ１６にデータ伝送可能に接続する信号処理部２と、信号処理部２に接続する画像処理部３と、画像処理部３に接続するカメラ制御部４０とを備えている。

撮像センサ１６は、複数種類の色成分であるＲ(赤)、Ｇ(緑)、Ｂ(青)の原色透過フィルターがピクセル単位に市松状に配列(ベイヤー配列)されたエリアセンサ(撮像素子)として構成されており、全画素読み出しタイプである。この撮像センサ１６の温度については、撮像装置１の筐体内の温度を測定する温度センサ４９により検出が可能となっている。

撮像センサ１６において露光によって電荷の蓄積が完了すると、光電変換された電荷信号は、遮光された撮像センサ１６内の垂直・水平転送路へとシフトされ、ここからバッファを介し画像信号として出力される。つまり、撮像センサ１６は、被写体に係る画像信号（画像）を取得する撮像手段として機能する。

信号処理部２は、ＣＤＳ２１とＡＧＣ２２とＡ／Ｄ変換部２３とを有しており、いわゆるアナログフロントエンドとして機能する。

撮像センサ１６から出力されたアナログ画像信号は、ＣＤＳ２１でサンプリングされノイズが除去された後、ＡＧＣ２２により撮影感度に相当するアナログゲインが乗算されて感度補正が行われる。

Ａ／Ｄ変換部２３は、１４ビットの変換器として構成されており、ＡＧＣ２２で正規化されたアナログ信号をデジタル化する。デジタル変換された画像信号は、画像処理部３で所定の画像処理が施されて画像ファイルが生成される。

画像処理部３は、点欠陥補正部５１とＶライン傷検出部５２とＶライン傷補正部５３とを備えている。また、画像処理部３は、デジタル処理部３ｐと画像圧縮部３６とビデオエンコーダ３８とメモリカードドライバ３９とを備えている。

画像処理部３に入力された画像データについては、まず点欠陥補正部５１において予め記憶されている点欠陥アドレスに基づき欠陥が存在する画素データが補正データに置換される。そして、Ｖライン傷検出部５２およびＶライン傷補正部５３において、撮像センサ１６の垂直転送ライン(垂直ＣＣＤ)の欠陥箇所に起因して画像上で生じるライン性の傷（「線状傷」とも言い、以下では「Ｖライン傷」と称する）を検知して補正する（後で詳述）。なお、Ｖライン傷検出部５２で検出された傷のアドレス（すなわち傷の位置）は、傷アドレスメモリ５４に格納されることとなる。

デジタル処理部３ｐは、画素補間部３１とホワイトバランス制御部３２とガンマ補正部３３と輪郭強調部３４と解像度変換部３５とを有している。

デジタル処理部３ｐに入力される画像データは、撮像センサ１６の読出しに同期し画像メモリ４１に書込みまれる。以後は、この画像メモリ４１に格納された画像データにアクセスし、デジタル処理部３ｐで各種の処理が行われる。

画像メモリ４１内の画像データは、まずホワイトバランス制御部３２によりＲＧＢ各画素が独立にゲイン補正され、ＲＧＢのホワイトバランス補正が行われる。このホワイトバランス補正では、撮影被写体から本来白色となる部分を輝度や彩度データ等から推測し、その部分のＲ、Ｇ、Ｂそれぞれの平均値とＧ／Ｒ比およびＧ／Ｂ比とを求め、これらの情報に基づいてＲおよびＢの補正ゲインとして制御される。

ホワイトバランス補正された画像データは、画素補間部３１でＲＧＢ各画素をそれぞれのフィルターパターンでマスキングした後、高帯域まで画素値を有するＧ画素については、注目画素に対する周辺１２画素のコントラストパターンに基づき画素値の空間的な変化を推定し、周囲４画素のデータに基づき被写体のパターンに最適な画素値を算出して割り当てる。一方、Ｒ画素およびＢ画素に関しては、周囲の８画素の同色画素値に基づいて補間する。

画素補間された画像データは、ガンマ補正部３３で各出力機器に合った非線形変換、具体的にはガンマ補正およびオフセット調整が行われ、画像メモリ４１に格納される。

輪郭強調部３４は、画像データに応じたハイパスフィルタ等によって輪郭を際立たせるエッジ強調処理を行う。

そして、画像メモリ４１に格納された画像データは、解像度変換部３５で設定された画素数に水平垂直の縮小または間引きが行われ、画像圧縮部３６で圧縮処理を行った後、メモリカードドライバ３９にセットされるメモリカード９に記録される。この画像記録時には、指定された解像度の撮影画像が記録される。また、解像度変換部３５では、画像表示時についても画素間引きを行って、ＬＣＤモニタ４２やＥＶＦ４３に表示するための低解像度画像を作成する。プレビュー時には、画像メモリ４１から読出された６４０×２４０画素の低解像度画像がビデオエンコーダ３８でＮＴＳＣ／ＰＡＬにエンコードされ、これをフィールド画像としてＬＣＤモニタ４２やＥＶＦ４３で画像再生が行われる。

カメラ制御部４０は、ＣＰＵおよびメモリを備え、撮像装置１の各部を統括的に制御する部位である。具体的には、上記のモード切替スイッチ１２やシャッターボタン１３やコマ送り・ズームスイッチ１５や電源スイッチ５などを有するカメラ操作スイッチ５０に対して撮影者が行う操作入力を処理する。また、カメラ制御部４０は、撮影者によるモード切替スイッチ１２の操作により、被写体を撮像してその画像データを記録する静止画撮影モードや動画モード、再生モードへの切替えを行う。また、撮影者によるコマ送り・ズームスイッチ１５の操作に応答して、複数フレームの画像を連続して取得する連写を行うモード（連写モード）、ポートレートモード、およびスポーツモードなどの複数の撮影モード間でモードの設定を切り替え設定する。さらに、撮影者による電源スイッチ５の操作に応答して、電源ＯＮ／ＯＦＦ状態とする。

また、カメラ制御部４０は、後述するＶライン傷の補正のやり方の切り替えを実行するために、連写モードに設定されているか否かの検出を行う。更に、撮像装置１の電源がＯＮ状態とされて起動された時点からの時間の経過を計測したり、温度センサ４９からの情報を受信して撮像センサ１６に係る温度を検出する。

撮像装置１は、本撮影前の撮影準備状態において被写体を動画的態様でＬＣＤモニタ４２に表示するプレビュー表示(ライブビュー表示)時には、絞り４４の光学絞りが絞りドライバ４５によって開放固定となる。また、シャッタースピード(ＳＳ)に相当する撮像センサ１６の電荷蓄積時間（露光時間）に関しては、撮像センサ１６で取得したライブビュー画像に基づき、カメラ制御部４０が露出制御データを演算する。そして、算出された露出制御データに基づいて予め設定されたプログラム線図により、撮像センサ１６の露光時間が適正となるようにタイミングジェネレータセンサドライバ４６に対するフィードバック制御が行われる。

そして、本撮影時では、ライブビュー時に測光された光量データに基づいて予め設定されたプログラム線図によって絞りドライバ４５とタイミングジェネレータセンサードライバ４６とで撮像センサ１６への露光量が制御される。

以上の構成を有する撮像装置については、撮像センサ１６で取得された画像データにおいてＶライン傷の検出・補正を行えるが、これらについて以下で説明する。

＜Ｖライン傷の検出について＞
図３は、撮像センサ１６の構成を示す図である。

撮像センサ１６においては、各フォトダイオード１６１で光電変換され蓄積された電荷が各垂直転送ライン毎に設けられた垂直ＣＣＤ(以下では「ＶＣＣＤ」ともいう)１６２に読み出され、１水平期間の周期で最下段の水平ＣＣＤ１６３に転送される。そして、水平ＣＣＤ１６３に転送された電荷は、画素クロックに基づき読み出されることで水平画素方向の読み出しが行われる。なお、ＶＣＣＤ１６２や水平ＣＣＤ１６３などといった電荷を転送するラインを総称して「電荷転送ライン」とも言う。

このような撮像センサ１６の動作により、２次元的に配列されたフォトダイオード１６１で取得した２次元画像に対して水平ライン毎にスキャン読み出しが行われることとなる。

ここで、フォトダイオード１６１に欠陥がある場合には、この欠陥によって発生する電荷が信号電荷に加算されるため、撮影画像において点欠陥として再現されることとなる。この点欠陥については、点欠陥補正部５１において、欠陥に起因して発生する電荷に相当する画素レベルが減算される補正が行われる。

一方、垂直転送ラインの一部に同様の欠陥箇所(傷)Ｆｐが存在する場合には、欠陥箇所Ｆｐに電荷が読み出されるフォトダイオードとＸ方向のアドレスが等しいフォトダイオードからの電荷は、欠陥箇所Ｆｐが存在する垂直ＣＣＤ１６ｆを通って撮像センサ１６から出力されることとなる。このため、欠陥箇所Ｆｐに対して電荷転送方向Ｈａの上流から転送される信号電荷群Ｆａに電荷が加算されることとなり、図４に示すように撮影画像Ｇ１おいて明度の高いライン性の傷(Ｖライン傷)Ｇａとして再現される。

上述した点欠陥の場合には撮影画像に与える劣化要因は少ないものの、図４に示すようなＶライン傷Ｇａの場合には画質に対する影響が非常に大きくなるため、その検出が重要となるが、以下では、この検出方法を説明する。

図５および図６は、Ｖライン傷の検出原理を説明するための図である。

Ｖライン傷Ｇａ(図４)については、上述したように図３に示す垂直ＣＣＤ１６２の欠陥箇所Ｆｐを通って読み出される信号電荷群Ｆａに起因して画像上で生じるライン性の明度傷として発生する。

そこで、図５に示すように垂直ＣＣＤ１６２の転送を一定期間（例えば２００水平期間）停止することにより欠陥箇所Ｆｐで発生する電荷量を増大させた後に、フォトダイオードからの電荷をＶＣＣＤに転送することなく画像読み出しを行うこととする。これにより、垂直ＣＣＤ１６２上の欠陥箇所Ｆｐに信号電荷が読み出されるフォトダイオードＤｐの画素データを強調して撮像センサ１６から出力できることとなる。

このように欠陥箇所Ｆｐが強調され撮像センサ１６から出力された画像Ｇ２では、図６に示すように、Ｖライン傷Ｇａのうち欠陥箇所Ｆｐに電荷が読み出されるフォトダイオードＤｐ(図５)の位置に対応したＢ画素Ｇｐの画素レベルが垂直ＣＣＤ１６２の転送停止期間に正比例して強調されることとなる。

以上のような画像Ｇ２が読み出された後に、画像Ｇ２から明度の高い輝点となる画素Ｇｐのアドレスを検出することで、Ｖライン傷の下端に対応する欠陥箇所の位置(アドレス)を検知できることとなる。以下では、撮像装置１によるＶライン傷の検出について具体的に説明する。

図７は、撮像装置１におけるＶライン傷の検出動作を示すフローチャートである。

まず、シャッターに相当する絞り４４を閉じた(ステップＳＴ１)後に、ＶＣＣＤ１６２において電荷の高速はき出しが設定される(ステップＳＴ２)。

ステップＳＴ３では、上述したように、ＶＣＣＤ１６２での転送を２００水平転送期間停止する。これにより、ＶＣＣＤ１６２の欠陥箇所で電荷が増幅されることとなる。

ステップＳＴ４では、撮像センサ１６からフォトダイオードからの電荷をＶＣＣＤに転送することなく画素データを順次に読み出す。

ステップＳＴ５では、ステップＳＴ４で読み出されたレベルを１／２００倍で正規化した画素レベルが、予め定められた傷レベルリファレンス(閾値)Ｖｒｅｆより大きいかを判定する。ここで、傷レベルリファレンスＶｒｅｆより大きい場合には、ステップＳＴ６に進み、傷レベルリファレンスＶｒｅｆ以下の場合には、ステップＳＴ７に進む。

ステップＳＴ６では、傷レベルリファレンスＶｒｅｆより大きい欠陥画素(傷)に関して画像上のアドレス(Ｈ，Ｖ)を、傷アドレスメモリ５４に登録する。この際には、傷レベル(画素値)も登録する。

ステップＳＴ７では、撮像センサ１６からの画像読み出しが完了したかを判定する。ここで、画像読み出しが完了した場合には、ステップＳＴ８に進み、未完の場合には、ステップＳＴ４に戻る。

ステップＳＴ８では、傷アドレスメモリ５４に格納されている傷のアドレスを並び替える。この場合には、例えば傷レベルの大きい順に、つまり昇順に傷アドレスの順番が変更される。

ステップＳＴ９では、ステップＳＴ８で並び替えられた傷アドレスに基づき、傷レベルが上位４０以内に入る傷アドレスと傷レベルとを、傷アドレスメモリ５４に再登録する。この傷レベルについては、２００水平転送期間停止して得られた画素データに関して１／２００倍で正規化したレベルが登録されることとなる。

以上のような撮像装置１の動作により、Ｖライン傷の検出を適切に行えることとなるが、この検出動作は、例えば撮像装置１の工場出荷前に管理された所定の温度にて行われ、工場出荷時には、傷アドレスメモリ５４に必要な情報がデフォルトのデータとして格納されている状態にする。

なお、上記のステップＳＴ８の動作については、Ｖライン傷の傷レベルに基づき並べ替えるだけでなく、Ｖライン傷の範囲も考慮して並べ替えるようにしても良い。例えば、(傷レベル)×(Ｖライン傷の範囲)から得られる情報に基づき、並べ替えを行う。これにより、画像全体に与える各Ｖライン傷の影響を考慮した並べ替えが可能となる。

撮像センサ１６のＶライン傷は、温度依存性を有しているが、この特性について、以下で説明する。

図８は、撮像センサ１６におけるＶライン傷の温度依存性を説明するための図である。図８(ａ)〜(ｃ)は、常温時(例えば摂氏２０度)、摂氏３０度および摂氏４０度の高温時における撮像センサ１６の状態の一例と、撮像センサ１６から出力された画像Ｇｔとを表している。

常温時の撮像センサ１６においては、図８(ａ)に示すように傷として認識される垂直ＣＣＤの欠陥箇所は１箇所Ｆｐ１のみであり、撮像センサ１６から出力される画像Ｇｔで生じるＶライン傷も１本Ｇａ１だけとなる。

摂氏３０度の高温時の撮像センサ１６においては、常温時に比べて顕在化されるＶライン傷の箇所が温度に依存して１つ増加する。すなわち、図８(ｂ)に示すように傷として認識される垂直ＣＣＤの欠陥箇所は２箇所Ｆｐ１、Ｆｐ２となり、撮像センサ１６から出力される画像ＧｔにおけるＶライン傷も２本Ｇａ１、Ｇａ２となる。

摂氏４０度の高温時の撮像センサ１６においては、摂氏３０度の高温時に比べて顕在化されるＶライン傷が温度に依存してさらに１つ増加する。すなわち、図８(ｃ)に示すように傷として認識される垂直ＣＣＤの欠陥箇所は３箇所Ｆｐ１〜Ｆｐ３となり、撮像センサ１６から出力される画像ＧｔにおけるＶライン傷が３本Ｇａ１〜Ｇａ３となる。

このように撮像センサ１６においては、Ｖライン傷が温度依存性を有しているため、上述したＶライン傷の検出は、各温度ごとに検出することが好ましい。

＜Ｖライン傷の補正について＞
撮像装置１のＶライン傷補正部５３においては、検出されたＶライン傷に対して(１)オフセットによる補正と、(２)画素補間による補正とを選択的に行えるようになっている。これら２種類の補正方法について以下で説明する。

(１)オフセットによる補正：
図９は、オフセットによるＶライン傷の補正を説明するための図である。

オフセットによるＶライン傷の補正では、まず撮像センサ１６から出力された画像Ｇ３においてＶライン傷Ｇａに起因するオフセット成分Ｌｏを検出する。そして、このオフセット成分（Ｖライン傷のレベル）Ｌｏを画像Ｇ３におけるＶライン傷Ｇａの画素レベルから減算することで、画像ノイズとしての傷が消去された補正画像Ｇ４を生成する。

このようなオフセットによる補正方法では、上述のように撮像装置１の工場出荷時に傷アドレスメモリ５４に格納されるデフォルトのＶライン傷データに基づき傷レベル(オフセット成分Ｌｏ)を推定して補正しても良いが、温度依存性が大きいＶライン傷の特性を考慮すると、撮影時にリアルタイムでオフセット量（補正量）を求めるのが好ましい。このオフセット量の検出方法について説明する。

撮像センサ１６は、図１０に示すように黒レベルを検出するためのオプチカル・ブラック部（以下「ＯＢ部」という）１６ｂａ、１６ｂｂを有している。ここで、各ＯＢ部から垂直ＣＣＤ１６２に読み出された電荷は、下段のＯＢ部１６ｂａの方が先に水平ＣＣＤ１６３に転送され、上段のＯＢ部１６ｂｂの方が後で転送されることとなる。以下では、垂直ＣＣＤ１６２に２つの欠陥箇所Ｆｐ１、Ｆｐ２が存在するケースについてのオフセット量の検出を説明する。

図１１に示すように撮像センサ１６から出力された画像Ｇ５においては、上段のＯＢ部１６ｂｂから読み出され垂直ＣＣＤ１６２の欠陥箇所Ｆｐ１を通過してその影響を受けた画素Ｇｂ２は、下段のＯＢ部１６ｂａから読み出され欠陥箇所Ｆｐ１を通過せずその影響を受けていない画素Ｇｂ１より上記のオフセット量だけ画素レベルが大きくなっている。同様に、上段のＯＢ部１６ｂｂから読み出され垂直ＣＣＤ１６２の欠陥箇所Ｆｐ２を通過した画素Ｇｂ４は、欠陥箇所Ｆｐ２を通過しない画素Ｇｂ３より上記のオフセット量だけ画素レベルが増加している。

したがって、図１１に示すＶライン傷Ｇａ１の傷レベル(オフセット量)は、画素Ｇｂ２のレベルから画素Ｇｂ１のレベルを減算することにより得られ、Ｖライン傷Ｇａ２のオフセット量は、画素Ｇｂ４のレベルから画素Ｇｂ３のレベルを減算することにより得られることとなる。

次に、撮像装置１における上記のオフセット量（傷レベル）の検出動作について説明する。

図１２は、撮像装置１におけるＶライン傷の傷レベルの検出動作を示すフローチャートである。

ステップＳＴ１１では、レリーズして露光を行う。すなわち、撮影者によりシャッターボタン１３が全押し(Ｓ２オン)されて、被写体を撮影する動作が行われる。

ステップＳＴ１２では、撮像センサ１６から画素データを順次に読み出す。

ステップＳＴ１３では、ステップＳＴ１２で撮像センサ１６から読み出された画素データをキャプチャーする処理を行う。

ステップＳＴ１４では、ステップＳＴ１２で読み出された画素のアドレスが、傷アドレスメモリ５４に登録されているＶライン傷のアドレスに該当するかを判定する。ここで、登録アドレスに該当する場合には、ステップＳＴ１５に進み、該当しない場合には、ステップＳＴ１８に進む。

ステップＳＴ１５では、ステップＳＴ１２で読み出された画素が転送された垂直ＣＣＤ１６２の両端にあるＯＢ部１６ｂａ、１６ｂｂ(図１０)の黒レベルを検出し、これらの黒レベルの差分を求めて、傷レベルを検出する。

ステップＳＴ１６では、ステップＳＴ１５で検出された傷レベルが、傷レベルリファレンスＶｒｅｆより大きいかを判定する。ここで、傷レベルリファレンスＶｒｅｆより大きい場合には、ステップＳＴ１７に進み、傷レベルリファレンスＶｒｅｆ以下の場合には、ステップＳＴ１８に進む。

ステップＳＴ１７では、ステップＳＴ１６において傷レベルリファレンスＶｒｅｆより大きい欠陥画素(傷)に関して画像上のアドレス(Ｈ，Ｖ)を、傷アドレスメモリ５４に登録する。この際には、傷レベルも登録する。

ステップＳＴ１８およびステップＳＴ１９では、図７に示すステップＳＴ７およびステップＳＴ８と同様の動作を行う。

ステップＳＴ２０では、ステップＳＴ１９で並び替えられた傷アドレスに基づき、傷レベルが上位２０以内に入る傷アドレスと傷レベルとを、傷アドレスメモリ５４に再登録する。

以上のような撮像装置１の動作により、撮影中に傷レベルの検出が可能となり、オフセットによるＶライン傷の補正を適切に行えることとなる。

なお、予め決められた温度範囲内で工場出荷時等に検出されたＶライン傷の情報を傷アドレスメモリ５４に記録しておけば、この情報を利用してＶライン傷の補正を行えるため、より高速な補正処理が可能となる。

(２)画素補間による補正：
図１３は、画素補間によるＶライン傷の補正を説明するための図である。

画素補間によるＶライン傷の補正では、Ｖライン傷の周辺に位置する画素ラインのデータに基づき置換データを作成し、この置換データでＶライン傷の画素データを置換する処理を行う。

例えば、画像Ｇ６において、Ｖライン傷Ｇａの左右に配置される同色の画素ラインＪ１、Ｊ２を検出し、これらの画素ラインＪ１、Ｊ２に関する画素レベルの平均値でＶライン傷Ｇａの画素データを置換する。これにより、傷が消去された補正画像Ｇ７が生成される。

このような画素補間による補正方法では、オフセットによるＶライン傷の補正に比べて精度が低くなるものの、Ｖライン傷の箇所(アドレス)が既知である場合には、傷レベルの検出が不要となる。そして、画素補間による補正方法においては、Ｖライン傷のオフセット値が温度特性を有する事に対する考慮が基本的に不要である。

＜Ｖライン傷の発生の温度依存性に対する対応策＞
以上のようにして、(１)オフセットによる補正、或いは(２)画素補間による補正とによってＶライン傷を抑制することができる。しかしながら、上記において図８を参照しつつ説明したように、撮像センサ１６におけるＶライン傷の発生には温度依存性がある。

よって、撮像センサ１６の温度上昇の要因を考慮して、撮影時にＶライン傷の位置（傷アドレス）を検出したり、オフセットによる補正については補正すべき傷レベルを検出する必要性がある。しかし、このような動作を実施すると、１フレームの画像に係る画像処理に長時間を要し、単位時間あたりに取得することができる撮影画像数の低下、すなわち高速連写の性能低下を招く。

このような問題点に対して、本実施形態に係る撮像装置１では、撮像装置１の起動開始時から撮像センサ１６の温度が徐々に上昇することに着目して、Ｖライン傷の補正のやり方を適宜切り替える。

具体的には、起動開始時に対応するＶライン傷の傷アドレスや傷レベルをデフォルトのデータとして予め検出して傷アドレスメモリ５４に記憶しておく。そして、実際に撮影を行う際に、起動開始時若しくは撮像装置１の状態が起動開始時と同等であると判断される場合には、傷アドレスや傷レベルを検出するすることなく、デフォルトのデータに基づいてＶライン傷の補正を行う。一方、起動開始時若しくは撮像装置１の状態が起動開始時と同等でないと判断される場合には、撮影を行う際に傷アドレスや傷レベルを検出して、Ｖライン傷の補正を行う。

なお、ここで、デフォルトのデータとしては、図７を参照しつつ説明したように、例えば撮像装置１の工場出荷前に、所定の管理された温度下において撮像装置１の起動直後または起動開始時から所定期間内に検出され、傷アドレスメモリ５４に格納されたデフォルトのデータを用いるものとする。また、本明細書では、撮像装置１の起動直後または起動開始時から所定期間内における撮像装置１の状態を「起動初期状態」とも称し、起動初期状態において発生するＶライン傷の位置を「初期傷位置」とも称する。

以下、撮像センサ１６の温度上昇の要因を考慮したＶライン傷の補正のやり方の切替動作について、オフセットによるＶライン傷の補正を行う場合を前提としつつ説明する。

図１４は、撮像センサ１６の温度上昇の要因を考慮したＶライン傷の補正のやり方の切替動作を含むＶライン傷の補正動作フローを例示するフローチャートである。本動作フローは、カメラ制御部４０によって制御される。ここでは、撮影者によりシャッターボタン１３が全押し(Ｓ２オン)されて、被写体を撮影する動作が行われると、ステップＳＴ３１に進む。

ステップＳＴ３１では、撮像センサ１６から画素データを順次に読み出す。

ステップＳＴ３２では、撮像装置１の起動開始時から３０秒（一般的には、所定時間）が経過しているか否かを判定する。ここで、起動開始時から３０秒以内である場合には、ステップＳＴ３４に進み、３０秒以内でない場合には、ステップＳＴ３３に進む。

ステップＳＴ３３では、撮像センサ１６の基板温度、すなわち温度センサ４９を用いて検出される温度が摂氏２０度以下であるか否かを判定する。ここで、摂氏２０度以下である場合には、ステップＳＴ３４に進み、摂氏２０度以下でない場合には、ステップＳＴ３７に進む。

ステップＳＴ３４では、撮像装置１が連写モードに設定されているか否か判定する。ここで、連写モードに設定されている場合には、ステップＳＴ３６に進み、連写モードに設定されていない場合には、ステップＳＴ３５に進む。

ステップＳＴ３５では、傷アドレスメモリ５４に格納されるデフォルトのデータを用いたＶライン傷の補正をステップＳＴ３１で読み出された画像に対して行い、本動作フローを終了する。

このように、ここでは、起動開始時から３０秒以内、若しくは撮像センサ１６の基板温度が摂氏２０度以下である場合であって、連写モードで撮影を行わない場合には、起動開始時から撮像センサ１６の基板温度がほとんど上昇しないといった経験則に基づいて、そのような場合には起動初期状態にあるものとみなして、デフォルトのデータを用いたＶライン傷の補正が行われる。ここでは、連写モードがあるものを前提にしたが、これに限られず、連写モードがないものについては、起動開始時から３０秒以内、若しくは撮像センサ１６の基板温度が摂氏２０度以下である場合には、デフォルトのデータを用いたＶライン傷の補正が行われるものとしても良い。

なお、ここで、上述した画素補間によるＶライン傷の補正を行うものとして、デフォルトのデータが示すＶライン傷のアドレスに基づいて、Ｖライン傷の位置を特定してＶライン傷の補正を行うようにしても良い。

ステップＳＴ３６では、順次画像を画像メモリ４１に蓄積しつつ複数フレームの画像を取得する連写が終了されると、ステップＳＴ３９に進む。

ステップＳＴ３７では、ステップＳＴ３４と同様に、撮像装置１が連写モードに設定されているか否か判定する。ここで、連写モードに設定されている場合には、ステップＳＴ３８に進み、連写モードに設定されていない場合には、ステップＳＴ３９に進む。

ステップＳＴ３８では、ステップＳＴ３６と同様に、順次画像を画像メモリ４１に蓄積しつつ複数フレームの画像を取得する連写が終了されると、ステップＳＴ３９に進む。

ステップＳＴ３９では、ステップＳＴ３７から進んで来た場合には、図７で示したＶライン傷の検出と同様な手法によって単に取得された画像を対象としてＶライン傷の位置およびレベルの検出を行う。

一方、ステップＳＴ３６またはステップＳＴ３８から進んで来た場合には、図７で示したＶライン傷の検出と同様な手法によって、連写の最終フレームで得られた画像を対象としてＶライン傷の位置およびレベルの検出を行う。ここで検出されたＶライン傷の位置およびレベルは、傷アドレスメモリ５４に格納される。

なお、ここで、上述した画素補間によるＶライン傷の補正を行うものとすると、Ｖライン傷のレベルを検出することなく、位置の検出のみを行うだけで良い。

ステップＳＴ４０では、ステップＳＴ３９で検出されたＶライン傷の位置およびレベルの情報を用いたオフセットによるＶライン傷の補正を、画像メモリ４１に格納されている画像に対して行い、本動作フローを終了する。

なお、ここでは、連写によって取得された複数フレームの画像が画像メモリ４１に蓄積されている場合には、画像メモリ４１に蓄積されている全画像に対して、ステップＳＴ３９で検出されたＶライン傷の位置およびレベルの情報を用いたオフセットによるＶライン傷の補正を行う。

このように、ここでは、連写によって撮像センサ１６の基板温度が上昇することを考慮して、連写の最終フレームに係るＶライン傷の位置およびレベルに基づいて、連写に係る全画像に対してＶライン傷の補正を行う。なお、ここで、上述した画素補間によるＶライン傷の補正を行うものとすると、単に、ステップＳＴ３９で検出されたＶライン傷の位置に基づいてＶライン傷の位置を特定してＶライン傷の補正を行うようにすれば良い。

以上のように、本実施形態に係る撮像装置１では、撮像センサ１６のＶＣＣＤ１６２における欠陥に起因して画像において発生するＶライン傷について、撮像装置１の起動初期状態において発生するＶライン傷の位置（初期傷位置）を傷アドレスメモリ５４に予め記憶しておく。そして、撮像センサ１６に係る温度に影響を及ぼす因子（ここでは、撮像センサ１６の基板温度、起動開始時からの時間経過、連写モードの設定）すなわち撮像装置１の状態に応じて、初期傷位置の情報を用いてＶライン傷を補正するか、またはＶライン傷の位置を検出してＶライン傷を補正する。このような構成により、Ｖライン傷の発生における温度依存性を考慮してＶライン傷を補正することができ、その結果として、温度条件に拘わらずＶライン傷を目立たなくすることができる。

また、ここでは、連写モードに設定されているか否かを検出する手法、撮像装置１の起動開始時からの時間経過を計測する手法、および温度センサ４９によって撮像センサ１６に係る温度を検出する手法のうちの少なくとも一つの手法によって、撮像センサ１６に係る温度に影響を及ぼす因子（すなわち撮像装置１の状態）を検出することができる。

また、撮像装置１の起動開始時から所定時間が経過していない場合、または撮像センサ１６に係る温度が摂氏２０度以下である場合には、初期傷位置の情報を用いてＶライン傷を補正する。このような構成により、起動開始時から撮像センサ１６に係る温度がほとんど上昇していないことを利用して、Ｖライン傷の検出を行うことなくＶライン傷の補正を行うことが可能となるため、Ｖライン傷の検出に係る時間を省くことができる。その結果、起動初期状態若しくは起動初期状態と同等であるとみなせる場合や、寒冷地での撮影では、Ｖライン傷の検出を実施する必要性がなく、撮影時における画像の取得から記録までに要する時間を短縮することができる。すなわち、連写性能の向上を図ることができる。

また、撮像装置１が連写モードに設定されている場合には、連写終了後に検出されたＶライン傷の位置の情報を用いて、連写時に取得された複数フレームの画像に係るＶライン傷を補正する。この構成によって、連写時における撮像センサ１６の温度上昇に起因して発生するＶライン傷を適正に補正することができる。

＜変形例＞
以上、この発明の実施形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。

◎例えば、上記の実施形態では、撮像装置１の状態が、起動初期状態若しくは起動初期状態と同等であるとみなされる場合には、デフォルトのデータを用いてＶライン傷の補正を行ったが、これに限られず、例えば、撮像装置１の工場出荷前に、撮像センサ１６の温度変化とＶライン傷の発生位置との関係を予め測定して、デフォルトのデータとして傷アドレスメモリ５４に格納しておき、実際に撮影を行う際に、撮像センサ１６に係る温度に対応するＶライン傷の発生位置をデフォルトのデータに基づいて認識して、当該認識したＶライン傷の発生位置に基づいて、Ｖライン傷の位置を特定してＶライン傷の補正を行うようにしても良い。

具体的には、例えば、撮像装置１の工場出荷時に、常温（例えば摂氏２０度）、摂氏３０度、摂氏４０度といった具合に異なる複数段階の温度に撮像センサ１６の温度を調整した状態で、各温度において発生するＶライン傷の位置を、温度条件と関連付けて、傷アドレスメモリ５４にデフォルトのデータとして格納しておく。そして、撮影時におけるキャプチャー処理の終了直後に、撮像センサ１６の温度を温度センサ４９を用いて検出し、例えば、摂氏３０度未満ならば、常温に対応するＶライン傷の発生位置をデフォルトのデータに基づいて認識し、当該認識したＶライン傷の発生位置の情報を用いてＶライン傷の位置を特定して補正を行う。また、摂氏３０度以上であって摂氏４０度未満ならば、摂氏３０度に対応するＶライン傷の発生位置をデフォルトのデータに基づいて認識し、当該認識したＶライン傷の発生位置の情報を用いてＶライン傷の位置を特定して補正を行う。更に、摂氏４０度以上ならば、摂氏４０度に対応するＶライン傷の発生位置をデフォルトのデータに基づいて認識し、当該認識したＶライン傷の発生位置の情報を用いてＶライン傷の位置を特定して補正を行うようにしても良い。

なお、このような構成を採用する場合であって、オフセットによるＶライン傷の補正を行う場合には、デフォルトのデータにＶライン傷の位置に対応させてＶライン傷のレベルも関連付けて格納させておき、検出される撮像センサ１６に係る温度に対応するＶライン傷の発生位置およびレベルの情報を用いてＶライン傷を補正するようにすれば良い。

このような構成とすることによっても、Ｖライン傷の発生における温度依存性を考慮してＶライン傷の補正を行うことができる。その結果、温度条件に拘わらずＶライン傷を目立たなくすることができる。

◎また、上記の実施形態では、撮像装置１の状態が起動初期状態若しくは起動初期状態と同等であるか否かでＶライン傷の補正のやり方を切り替えたが、これに限られず、例えば、ある１回の撮影が行われて、Ｖライン傷の位置等を検出してＶライン傷の補正を行い、その際に温度センサ４９によって検出される温度と検出されたＶライン傷の位置等とを関連付けて基準データとして傷アドレスメモリ５４に格納しておき、次回の撮影が行われる時点において、温度センサ４９によって検出される温度が前回の撮影時に傷アドレスメモリ５４に格納された基準データに係る撮像センサ１６の温度と同様であれば、傷アドレスメモリ５４に格納された基準データに係るＶライン傷の発生位置等の情報を用いてＶライン傷の補正を行うようにしても良い。

さらに、一般的には、撮像センサ１６に係る温度とＶライン傷の発生位置との関係だけでなく、撮像装置１の起動開始時からの時間経過とＶライン傷の発生位置との関係などといった、撮像センサ１６の温度に影響を及ぼす種々の撮像装置１の状態とＶライン傷との関係を傷アドレスメモリ５４に蓄積しておき、撮像装置１の状態が、既に蓄積した条件に合致する場合には、傷アドレスメモリ５４から対応するＶライン傷の発生位置等を認識して、当該認識したＶライン傷の発生位置等の情報を用いてＶライン傷の補正を行っても良い。

このような構成としても、Ｖライン傷の発生における温度依存性を考慮してＶライン傷を補正することができ、温度条件に拘わらずＶライン傷を目立たなくすることができる。さらに、Ｖライン傷の位置等を検出する動作が必要な場合を抑制することで、Ｖライン傷の検出に係る時間を極力省いて、撮影時における画像の取得から記録までに要する時間を短縮することができる。その結果、連写性能の向上を図ることができる。

◎また、撮像センサ１６の基板温度が所定温度（例えば摂氏１０度）以下である場合にＶライン傷がほとんど発生しないことが予め分かっていれば、温度センサ４９によって所定温度以下の撮像センサ１６の基板温度が検出された場合には、Ｖライン傷の検出ならびにＶライン傷の補正を行わないようにしても良い。

◎また、上述した実施形態では、起動開始から３０秒経過したか否かで、起動初期状態若しくは起動初期状態にあるか否かを判定したが、これに限られず、例えば、光学ファインダーを使用して、画像を取得する本撮影前には撮像センサが駆動しないタイプの撮像装置では、起動開始から３０秒以上経過しても起動初期状態にあるものとして、デフォルトのデータを用いてＶライン傷の補正を行うようにしても良い。

◎また、上述した実施形態では、連写モードに設定されている場合には、必ず連写終了後にＶライン傷の検出を行ってからＶライン傷の補正を行ったが、これに限られず、例えば、起動開始時から３０秒以内または撮像センサ１６の温度が２０度以下である場合であって、連写モード時における連写の枚数、すなわち連写において取得される複数フレームの画像が所定のフレーム数未満である場合には、デフォルトのデータに係るＶライン傷の位置の情報を用いて連写に係る全画像に対してＶライン傷の補正を行い、連写において取得される複数フレームの画像が所定のフレーム数以上である場合には、連写で得られた最終フレームに係るＶライン傷の位置を検出して連写に係る全画像に対してＶライン傷の補正を行うようにしても良い。

◎上記の実施形態における撮影時の傷レベル(オフセット量)検出については、工場出荷時に行う傷レベル検出(図７)に類似した方法により行っても良い。この検出方法について説明する。

図１５は、本発明の変形例に係る傷レベルの検出動作を示すフローチャートである。

ステップＳＰ１およびステップＳＰ２では、図１２に示すステップＳＴ１１およびステップＳＴ１３と同様の動作を行う。

ステップＳＰ３では、キャプチャー処理が完了したかを判定する。ここで、キャプチャー処理が完了した場合には、ステップＳＰ４に進み、完了していない場合には、ステップＳＰ２の動作を繰り返す。

ステップＳＰ４〜ＳＰ７では、図７に示すステップＳＴ１〜ＳＴ４と同様の動作を行う。

ステップＳＰ８では、図１２に示すステップＳＴ１４と同様の動作を行う。

ステップＳＰ９では、傷レベルの検出を行う。具体的には、２００水平転送期間停止して得られた画素データに関して１／２００倍で正規化したレベルを、傷レベルとして検出する。

ステップＳＰ１０〜ＳＰ１４では、図１２に示すステップＳＴ１６〜ＳＴ２０と同様の動作を行う。

以上のような動作によっても、撮影時においてＶライン傷の傷レベルを適切に検出できることとなる。

◎また、上記の実施形態は、全画素読出しのＣＣＤの例で示してあるが、複数フィールド読出しのＣＣＤでもかまわない。その時はいったん１フレームにならべ変えてから補正を行うと、上記の実施形態と同じ補正ができる。

本発明の実施形態に係る撮像装置１の要部構成を示す図である。 撮像装置１の機能ブロックを示す図である。 撮像センサ１６の構成を示す図である。 Ｖライン傷を説明するための図である。 Ｖライン傷の検出原理を説明するための図である。 Ｖライン傷の検出原理を説明するための図である。 撮像装置１におけるＶライン傷の検出動作を示すフローチャートである。 撮像センサ１６におけるＶライン傷の温度依存性を説明するための図である。 オフセットによるＶライン傷の補正を説明するための図である。 オフセットによるＶライン傷の補正を説明するための図である。 オフセットによるＶライン傷の補正を説明するための図である。 撮像装置１におけるＶライン傷の傷レベルの検出動作を示すフローチャートである。 画素補間によるＶライン傷の補正を説明するための図である。 温度上昇を考慮したＶライン傷の補正フローを示すフローチャートである。 本発明の変形例に係る傷レベルの検出動作を示すフローチャートである。

符号の説明

１ 撮像装置
３ 画像処理部
３ｐ デジタル処理部
５ 電源スイッチ
１５ コマ送り・ズームスイッチ
１６ 撮像センサ
１６ｂａ、１６ｂｂ オプチカル・ブラック(ＯＢ)部
３１ 画素補間部
３４ 輪郭強調部
４０ カメラ制御部
４９ 温度センサ
５１ 点欠陥補正部
５２ Ｖライン傷検出部
５３ Ｖライン傷補正部
５４ 傷アドレスメモリ
１６１ フォトダイオード
１６２ 垂直ＣＣＤ
１６３ 水平ＣＣＤ
Ｆｐ、Ｆｐ１、Ｆｐ２、Ｆｐ３ 垂直ＣＣＤ上の欠陥箇所
Ｇａ、Ｇａ１、Ｇａ２、Ｇａ３ Ｖライン傷

Claims (4)

1. 撮像装置であって、
   撮像素子を有し、被写体に係る画像を取得する撮像手段と、
   前記撮像手段によって取得される画像において前記撮像素子の電荷転送ラインにおける欠陥に起因して発生する線状傷について、前記撮像装置の少なくとも起動初期状態において発生する線状傷の位置を初期傷位置として記憶する記憶手段と、
   前記画像において発生する線状傷を補正する傷補正手段と、
   前記画像において発生する線状傷の位置を検出する傷位置検出手段と、
   撮影を行う際に、前記撮像素子に係る温度に影響を及ぼす前記撮像装置の状態を検出する状態検出手段と、
   を備え、
   前記傷補正手段が、
   前記状態検出手段によって検出される撮像装置の状態に応じて、前記初期傷位置の情報、および前記傷位置検出手段によって検出される線状傷の位置の情報のうちの一方を選択的に用いることで、前記撮影時に取得される画像において発生する線状傷を補正することを特徴とする撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記状態検出手段が、
   前記撮像装置が連写モードに設定されているか否かを検出するモード設定検出手段、前記撮像装置の起動開始時からの時間の経過を計測する計時手段、および前記撮像素子に係る温度を検出する温度検出手段のうちの少なくとも一つの手段を有することを特徴とする撮像装置。
3. 請求項１に記載の撮像装置であって、
   前記傷補正手段が、
   撮影を行う際に、前記状態検出手段によって前記起動開始時から所定時間が経過していない状態、または前記撮像素子に係る温度が所定温度以下である状態が検出された場合には、前記初期傷位置の情報を用いて前記撮影時に取得される画像において発生する線状傷を補正することを特徴とする撮像装置。
4. 請求項１に記載の撮像装置であって、
   前記傷補正手段が、
   撮影を行う際に、前記状態検出手段によって前記撮像装置が連写モードに設定されている状態が検出された場合には、前記撮影に係る連写終了後に前記傷位置検出手段によって検出された線状傷の位置の情報を用いて、前記連写によって取得された複数の画像に係る線状傷を補正することを特徴とする撮像装置。

Images