JP2006295807A - 撮像装置、画像処理方法、プログラム、及び記憶媒体 - Google Patents

Abstract

【課題】 レンズ固有の特性によって生じる画像劣化を低減し、高画質な画像を得る。
【解決手段】 被写体からの光を映像信号に変換する撮像素子と、撮像レンズに関する情報を取得する撮像レンズ情報取得手段と、前記撮像レンズに関する情報に基づいて前記映像信号に生じる画質劣化を補正する補正手段と、前記補正手段の出力信号に対してノイズ低減処理を行うノイズ低減処理手段と、前記補正手段の出力信号から、前記ノイズ低減処理を行う着目画素が含まれる領域が、所定の特性を持つ領域か否かを判別する判別手段と、
を有し、前記判別手段において着目画素の含まれる領域が所定の特性を持つ領域であると判別された場合に、前記補正手段での補正量に基づいて、画面内の位置に応じて前記ノイズ低減処理におけるノイズの抑圧レベルを変える。
【選択図】 図１

Description

本発明は、撮像装置に関し、特に、光学レンズの特性による歪曲収差、及び、周辺光量落ちによる画質劣化を画像処理によって補正するようにした撮像装置及び画像処理方法に関する。

光学系、撮像素子を介して被写体画像情報を取り込み、各種信号処理を行って映像信号を出力する撮像装置では、撮像面における画素位置が光軸中心から周辺に離れるほど、レンズの光学特性に依存した画質への悪影響が生じる。

具体的には、画像の周辺部ほど幾何学的な形状が歪曲する“光学歪み”現象と、画像の周辺部ほど光量が低下する、“周辺光量落ち”（シェーディング）現象が挙げられる。

従来、レンズによる“光学歪み”を補正するためには、映像信号をデジタル信号に変換して画像メモリに書き込み、歪み特性に応じて読み出して補間処理を行う撮像装置が提案されている（例えば、特許文献１参照。）。

また、レンズによる“周辺光量落ち”を補正するために、光量の低下する周辺部分に関して、中心部分と同程度の光量になるように、中心からの距離に応じた補正値を乗じるデジタルカメラが提案されている（例えば、特許文献２参照。）。
特開平２−２５２３７５ 特開２００１−２７５０２９

しかしながら、上記従来例では、レンズの光学特性に起因する画質劣化（光学歪み、周辺光量落ち）をゲインアップ等で補正することによって、画面内でＳ／Ｎにばらつきが生じ、画質に悪影響が生じるということについては、考慮されていなかった。

例えば、特許文献１では、光学歪み補正を行うことにより、レンズの光学特性とは関係なく撮像素子上で発生するノイズにも補間処理が適用され、かつ、画面内の位置によって、歪みの方向と大きさが異なるために、ノイズに対する変調度が変わり、ノイズの粒状感にばらつきが生じ、画質が劣化するという問題があった。

また、特許文献２では、光量落ちした周辺部分をゲインアップすることにより、ノイズレベルも大きくなってしまい、画面の中心部分と周辺部分とでノイズのレベルにばらつきが出るという問題があった。

いずれの場合も、レンズの光学特性に起因する画質劣化現象の補正の度合いに応じて、画面の中心部から周辺部に行くほど、Ｓ／Ｎが悪くなっていた。

本発明の撮像装置は、被写体からの光を映像信号に変換する撮像素子と、
撮像レンズに関する情報を取得する撮像レンズ情報取得手段と、
前記撮像レンズに関する情報に基づいて前記映像信号に生じる画質劣化を補正する補正手段と、
前記補正手段の出力信号に対してノイズ低減処理を行うノイズ低減処理手段と、
前記補正手段の出力信号から、前記ノイズ低減処理を行う着目画素が含まれる領域が、所定の特性を持つ領域か否かを判別する判別手段と、
を有し、
前記判別手段において着目画素の含まれる領域が所定の特性を持つ領域であると判別された場合に、
前記補正手段での補正量に基づいて、画面内の位置に応じて前記ノイズ低減処理におけるノイズの抑圧レベルを変えることを特徴とする。

また、本発明の画像処理方法は、撮像レンズに関する情報を取得する撮像レンズ情報取得工程と、
前記撮像レンズに関する情報に基づいて撮像素子から得られる映像信号に生じる画質劣化を補正する補正工程と、
前記補正工程の出力信号に対してノイズ低減処理を行うノイズ低減処理工程と、
前記補正工程の出力信号から、ノイズ低減処理を行う着目画素が含まれる領域が、所定の特性を持つ領域であるか否かを判別する判別工程と、
前記判別工程において着目画素の含まれる領域が所定の特性を持つ領域であると判別された場合に、
前記補正工程での補正量に基づいて、前記ノイズ低減処理におけるノイズの抑圧レベルを画面内の位置に応じて変えることを特徴とする。

本発明の撮像装置によれば、レンズ固有の特性による例えば、光学歪み補正や周辺光量落ちを画像処理で補正することによって生じる、画面内でのノイズの粒状感のばらつきやノイズレベルのばらつき等の画像劣化を低減し、高画質な画像を得ることができる。

以下、図面を参照しながら本発明の好適な実施の形態を説明する。

（第１の実施形態１）
図１に、本発明の第１の実施形態である撮像装置の概略構成ブロック図を示す。本実施形態は、レンズの光学歪み補正によって生じる、画面周辺部のＳ／Ｎ劣化を低減するための構成である。

図１において、００１は光学レンズ、００２は撮像素子、００３はＡ／Ｄ変換処理部、００４は撮像素子駆動部である。撮像素子駆動部からの制御信号によって、所定のタイミングで撮像素子から画像信号を読み出し、Ａ／Ｄ変換を行って、光学歪みを含んだデジタルの画像信号を得る。００６はマイコンであり、レンズの位置制御（フォーカス、シフト制御）、および光学歪み補正処理とノイズ低減処理の制御を行う。

００７は補正手段としての光学歪み補正処理部であり、内部に１フレーム分の画像を保持するためのメモリ回路０１４と、補間回路０１５を有している。

００８は、光学歪み補正処理後の画像信号に対し、補正の対象となる着目画素の含まれる被写体領域が、所定の特性を持った領域、すなわち平坦部であるか否かを判別する判別手段としての被写体領域判別処理部である。００９はノイズ低減処理手段としての光学歪み補正処理後の映像信号に対して、ノイズ低減処理を行うノイズ低減処理部である。

０１０はカメラ信号処理部であり、図示しない輝度色差信号生成処理、アパーチャ処理、ガンマ処理等を行い、最終的な映像信号を映像信号出力端子０１１から出力する。

次に、光学歪み補正処理部００７での処理について図１と図１５のフローを用いて説明する。

光学歪み補正処理部００７では、まず、Ａ／Ｄ変換後の光学歪みを含む画像を、メモリ回路０１４に保持する（Ｓ１５１）。例えば、図２（ａ）に示すような被写体を撮影した場合、撮像レンズの収差によって、図２（ｂ）に示すような糸巻き状に歪曲した被写体の像が、デジタル画像としてメモリ回路０１４に取り込まれる。尚、図２（ｂ）において、ｘ、ｙは、画像における各画素の位置を示す座標軸である。

次に、１画素目から順に全画素の読み出しが終了するまで（Ｓ１５２）メモリ回路０１４では、マイコンから入力される、歪み特性サンプリング情報に従って、光学歪み補正に必要な所定領域の画素値を読み出す（Ｓ１５３）。

ここで、歪み特性サンプリング情報とは、メモリ回路０１４に格納された光学歪みを含む画像を、レンズ固有の歪み特性に沿ってサンプリングするための２次元のアドレスマップデータであり、撮像レンズに関する情報である００５に格納されたレンズ固有の歪み補正特性データとレンズ制御（フォーカス、シフト）による位置情報を用いて撮像レンズ情報取得手段としてのマイコンで計算される。

図２（ｂ）に示す光学歪み画像の一部分を、歪み特性サンプリング情報に沿ってサンプリングした例を図３（ａ）に示す。図３（ａ）において、白丸は、歪み特性サンプリング情報に沿った歪み画像のサンプリング点を表して、メッシュの１マスは、画像の１画素に対応している。

メモリ回路０１４では、歪み特性サンプリング情報で示されるサンプリング点について、近傍の複数画素を読み出す。例えば、図３（ａ）において、歪み特性サンプリング情報として点３ａが指示されると、メモリ回路からは、点３ａの近傍の４画素３１、３２、３３、３４が読み出される。

次に、光学歪み補正量は、マイコンにより、００５のレンズの歪み特性とレンズ制御の位置情報と画面内の光軸からの距離情報からと光学歪み補正量を演算して求める（Ｓ１５４）。

次に、補間回路０１５において、Ｓ１５３でメモリ回路から読み出された画素とＳ１５４でマイコンによって算出された光学歪み補正量を用いて、光学歪み補正のための補間処理を行う（Ｓ１５５）。

図５に、光学歪み補正量と、光軸からの距離の関係の一例を示す。５ａ、５ｂは、それぞれ、レンズと撮像面との距離が近い場合と、離れている場合の特性を示している。

図５に示すように、光学歪み補正量は、光軸から離れるほど大きくなる。また、レンズと撮像面との距離によって、画面全体において光学歪みが必要な領域の大きさが変化する。

図２（ｃ）、図３（ｂ）は、光学歪み補正後の画像であり、図２（ｃ）において、破線で囲まれた領域を拡大した図が図３（ｂ）である。画素３ｂは、図３（ａ）の光学歪み画像上での点３ａに対応する光学歪み補正後の画素であり、点３ａ周辺の４画素３１、３２、３３、３４と、マイコンで算出された光学歪み補正量を用いた補間処理によって生成される。

以上のような処理を、全ての画素に対して行うことにより（Ｓ１５２）、図２（ｂ）に示す糸巻き状に歪曲した画像から、図２（ｃ）に示すように、歪みが補正された画像を得ることができる。

尚、本実施形態では、糸巻き型の光学歪みを例に説明したが、樽型の光学歪みの場合にも、同様の方法で光学歪み補正を行うことができる。

ところで、光学歪み補正処理部に入力される画像信号には、撮像素子や、Ａ／Ｄ変換等、撮像レンズの後段の処理系で発生したノイズが重畳されている。このノイズ自体には、撮像レンズの収差による光学歪みはなく、図４（ａ）のように、画面一様に分布している。しかし、光学歪みを受ける被写体の画像データに重畳されているために、ノイズに対しても、上記のような光学歪み補正処理が適用される。

例えば、糸巻き型の光学歪み補正が行われた場合には、画素位置に応じて、それぞれ、図４（ｂ）の矢印で示される方向に補間処理が行われるため、補間によってノイズの形状が特定の方向に引き伸ばされたようになる。さらに、画素位置によって歪み補正量が異なるため、画面内における補間後のノイズ形状にばらつきが生じてしまう。

このようなノイズ形状のばらつきは、画像全体の品位を低下させるので、本実施形態では、図１に示すノイズ低減処理部９において、画素ごとに、光学歪み補正量に基づき、ノイズ低減処理のレベル（度合い）を変化させる制御を行う。

次に、図１のノイズ低減処理部９での処理について図１６のフローを用いて詳細に説明する。

ノイズ低減処理部９では、まず、前述の光学歪み補正量をパラメータとして、ノイズ抑圧レベルを示す係数を算出する。

本実施形態では、図６に示すように、光学歪み補正量をＤ、ノイズ抑圧レベルを示す係数をＮとして、以下の式によってノイズ抑圧レベルを算出している（Ｓ１６１）。
ｉ）０≦Ｄ＜Ｄ１のとき
Ｎ＝ｎ０＋｛（ｎ１−ｎ０）／Ｄ１｝＊Ｄ
ii）Ｄ１≦Ｄ＜Ｄ２のとき
Ｎ＝ｎ１＋｛（ｎ２−ｎ１）／（Ｄ２−Ｄ１）｝＊（Ｄ−Ｄ１）
iii）Ｄ２≦Ｄ＜Ｄ３のとき
Ｎ＝ｎ２＋｛（ｎ３−ｎ２）／（Ｄ３−Ｄ２）｝＊（Ｄ−Ｄ２）
iv）Ｄ３≦Ｄのとき
Ｎ＝ｎ３

図７は、光学歪み補正量をＤに基づいたノイズ抑圧レベルＮを画面上にマッピングしたものである。図７に示すように、画面の周辺部分に行くほど、ノイズ低減レベルは大きくなる。また、フォーカス制御によってレンズの光軸方向の位置を変化させると、図７で示される同心円状のノイズ抑圧レベルの分布が変化し、シフト制御によってレンズを撮像面に対して平行移動させると、図７で示される同心円の中心位置が変化する。

ノイズ低減処理の具体例としては、ローパスフィルタによって、ノイズの高周波成分を抑圧する方法や、小振幅信号をノイズとみなしてベースクリップするという方法などが挙げられる。

前者の手法であれば、光軸からの距離が大きくなるほど、より強くノイズ抑圧を行うため、前述のノイズ抑圧レベルをパラメータとして、ローパスフィルタの帯域を狭くしていくという制御を行う。

また、後者の手法であれば、光軸からの距離が大きくなるほど、より強くノイズ抑圧を行うため、前述のノイズ抑圧レベルをパラメータとして、ノイズとみなす信号の振幅レベルの閾値を大きくして、ベースクリップするという制御を行う。

いずれの場合も、ノイズ抑圧レベルが大きくなるほど、画像をぼかす処理の度合いが強くなるので、ノイズだけに着目し、被写体情報を無視してこのようなノイズ低減処理制御を行うと、被写体によっては、光軸からの距離が大きくなるほど、解像感が落ちてしまうことになる。したがって、本実施形態では、図１の被写体領域判別処理部８において、着目画素の含まれる被写体領域が、ノイズ形状のばらつきが目立ちやすい平坦部分か否かを判別し、判別結果に応じて、光学歪み補正量に基づいたノイズ低減処理を適応的に制御している。

ここで、図８、図９を参照し、Ｓ１６２における被写体領域判別処理部８の動作について説明する。

図８は、被写体領域判別処理部に入力される画像の一部分について、画素の並びを示す模式図である。被写体領域判別処理部００８では、着目画素と周辺画素について、垂直、水平、斜め４５°、斜め１３５°方向についての相関をそれぞれ検出し、いずれの方向にも相関が低い場合には、平坦な領域であると判定する。

例えば、図８に示すＰ４が着目画素である場合、周辺の８画素に対して、まず、以下のような演算を行う。ここで、Ｖｄｉｆｆ、Ｈｄｉｆｆ、Ｄ１ｄｉｆｆ、Ｄ２ｄｉｆｆは、それぞれ、垂直、水平、斜め４５°、斜め１３５°方向の相関値である。
Ｖｄｉｆｆ＝｜Ｐ１−Ｐ７｜
Ｈｄｉｆｆ＝｜Ｐ３−Ｐ５｜
Ｄ１ｄｉｆｆ＝｜Ｐ２−Ｐ６｜
Ｄ２ｄｉｆｆ＝｜Ｐ０−Ｐ８｜

次に、Ｖｄｉｆｆ、Ｈｄｉｆｆ、Ｄ１ｄｉｆｆ、Ｄ２ｄｉｆｆのうち、最も値が大きい相関値Ｍａｘ＿ｄｉｆｆに対して、以下の閾値判定を行い、着目画素の含まれる被写体領域がどの程度平坦かを示す平坦度ｆｌを算出する。
ｉ）０≦Ｍａｘ＿ｄｉｆｆ＜Ｔｈ１のとき
ｆｌ＝１．０
ii）Ｔｈ１≦Ｍａｘ＿ｄｉｆｆ＜Ｔｈ２のとき
ｆｌ＝（Ｔｈ１−Ｍａｘ＿ｄｉｆｆ）／（Ｔｈ２−Ｔｈ１）＋１
iii）Ｔｈ２≦Ｍａｘ＿ｄｉｆｆ
ｆｌ＝０．０
相関値Ｍａｘ＿ｄｉｆｆと平坦度ｆｌとの関係は、図９のようになり、ｆｌ＝１．０のときは、完全に平坦であり、ｆｌ＝０．０のときは、エッジを含む被写体であるとみなす。

図１のノイズ判別処理部９では、前述のノイズ抑圧レベルＮに対し、被写体領域判別部から出力される平坦度ｆｌを掛けた値をパラメータとして、最終的なノイズ抑圧レベルを制御する。

したがって、平坦度ｆｌ＝１．０、すなわち、着目画素がノイズ形状のばらつきが目立ちやすい平坦部に含まれていると推定された場合にのみ、光学歪み補正量を参照し、光軸と着目画素との距離が大きくなるほどノイズ抑圧のレベル（度合い）を強めるよう、ノイズ低減処理を行う（Ｓ１６３）。

また、平坦度ｆｌ＝０．０、すなわち、着目画素の含まれる被写体領域が、画像のエッジ部分である場合には、解像感を優先して光学歪み補正量に基づいたノイズ低減処理を行わないようにすることができる。

また、このとき平坦度ｆｌが０．０から１．０の間の値をとるときには、平坦度に応じて、光学歪み補正量に基づいたノイズ判別処理の適用度を可変するようにしても良い。

以上により、レンズの収差に起因する光学歪み補正処理後の画像に対して、エッジ部分の解像感は保持しつつ、平坦部分では、光学歪み補正処理によるノイズ形状のばらつきを低減させるための適応的なノイズ低減処理を行うことができる。ノイズ低減処理後の画像は、カメラ信号処理を経て、最終的な映像信号として、映像信号出力端子から出力される（Ｓ１６４）。

（第２の実施形態）
図１０に、本発明の第二の実施形態である撮像装置の概略構成ブロック図を示す。

本実施形態は、レンズの周辺光量落ち補正によって生じる、画面周辺部のＳ／Ｎ劣化を低減するための構成となっている。

図１０において、１０１は撮像レンズ、１０２は撮像素子、１０３はＡ／Ｄ変換処理部、１０４は撮像素子駆動部である。撮像素子駆動部からの制御信号によって、所定のタイミングで撮像素子から画像信号を読み出し、Ａ／Ｄ変換を行って、光学歪みを含んだデジタルの画像信号が得られる。１０６はマイコンであり、レンズの位置制御（フォーカス、シフト制御）、および周辺光量落ち補正処理とノイズ低減処理の制御を行う。

１０７は補正手段としての周辺光量落ち補正処理部であり、内部に１フレーム分の画像を保持するためのメモリ回路１１４と、増幅回路１１５を有している。

１０８は、周辺光量落ち補正処理後の画像信号に対し、着目画素の含まれる被写体領域が、所定の特性を持つ領域、すなわち平坦部であるか否かを判別する判別手段としての被写体領域判別処理部である。１０９は周辺光量落ち補正処理後の映像信号に対して、ノイズ低減処理を行うノイズ低減処理手段としてのノイズ低減処理部である。

１１０はカメラ信号処理部であり、図示しない輝度色差信号生成処理、アパーチャ処理、ガンマ処理等を行い、最終的な映像信号が、映像信号出力端子１１１から出力される。

次に、周辺光量落ち補正処理部１０７での処理について説明する。処理は、第１の実施形態の光学歪み補正を周辺光量落ち補正に変えたもので、図１５のフローとほぼ同様であるので省略する。

まず、内部のメモリ回路１１４には、図１１（ａ）に示すような、画像周辺の光量レベルが低下した画像が取り込まれる。尚、図１１において、ｘ、ｙは、画像における各画素の位置を示す座標軸である。

次に、メモリ回路１１４では、マイコン１０６から画素アドレス情報によって指定された画素のデータを、メモリから読み出し、後段の増幅回路１１５に送出する。

撮像レンズ情報取得手段としてのマイコン１０６では、撮像レンズに関する情報である撮像レンズの特性と撮像レンズと撮像素子との位置情報を用いて、光軸からの距離に応じた周辺光量落ち補正量を、画素ごとに算出する。周辺光量落ち補正量は、光軸からの距離に対して、図１３に示すような特性となる。また、１３ａ、１３ｂは、それぞれ、レンズと撮像面との距離が近い場合と、離れている場合の特性を示している。

画面内で光軸からの距離が大きくなるほど、周辺光量落ち補正量も大きくなる。また、レンズと撮像素子との位置関係によって、画面内において、周辺光量落ち補正が必要な領域の大きさが変わる。

次に、増幅回路１１５では、メモリ回路１１４から入力される画素について、対応する周辺光量落ち補正量をマイコンから読み込み、周辺光量落ち補正量に応じた増幅率で、着目画素の画素値にゲインをかける。その結果、図１１（ｂ）に示すように、レンズに起因する周辺光量落ちが補正され、画面全体の明るさがほぼ均一になる。

ところで、周辺光量落ち補正処理部に入力される画像信号には、撮像素子や、Ａ／Ｄ変換等、撮像レンズの後段の処理系で、光量には依存せずに発生するノイズも重畳されている。撮像レンズの周辺光量落ちとは関係なく、図１２（ａ）に示すように、画面全体に一様に存在しているノイズに対して、上記のような周辺光量落ち補正処理を適用すると、図１２（ｂ）のように、画面の周辺部分ほど、ノイズが増幅され、Ｓ／Ｎが悪くなってしまう。

このようなノイズレベルのばらつきは、画像全体の品位を低下させるので、本実施形態では、図１０に示すノイズ低減処理部１０９において、周辺光量落ち補正量に基づき、画素ごとにノイズ低減処理の抑圧レベル（度合い）を変化させる制御を行う。

次に、ノイズ低減処理部１０９での処理について詳細に説明する。処理は、第１の実施形態の光学歪み補正を周辺光量落ち補正に変えたもので、図１６のフローとほぼ同様であるので省略する。

ノイズ低減処理部１０９では、まず、前述の周辺光量落ち補正量をパラメータとして、ノイズ抑圧レベルを示す係数を算出する。

本実施形態では、周辺光量落ち補正量Ｌを用いて、以下の式によってノイズ抑圧レベルＮを算出している。
ｉ）０≦Ｌ＜Ｌ１のとき
Ｎ＝ｎ０＋｛（ｎ１−ｎ０）／Ｌ１｝＊Ｌ
ii）Ｌ１≦Ｌ＜Ｌ２のとき
Ｎ＝ｎ１＋｛（ｎ２−ｎ１）／（Ｌ２−Ｌ１）｝＊（Ｌ−Ｌ１）
iii）Ｌ２≦Ｌ＜Ｌ３のとき
Ｎ＝ｎ２＋｛（ｎ３−ｎ２）／（Ｌ３−Ｌ２）｝＊（Ｌ−Ｌ２）
iv）Ｌ３≦Ｌのとき
Ｎ＝ｎ３
上記一連の式で計算されるノイズ抑圧レベルＮと周辺光量落ち補正量Ｌの関係は、図１４のグラフのようになる。

また、周辺光量落ち補正量Ｌに基づいた、ノイズ抑圧レベルＮを、画面上にマッピングすると、図７のようになり、画像の周辺部分ほど、ノイズ抑圧レベルが大きくなる。ここで、フォーカス制御によってレンズの光軸方向の位置を変化させると、図７で示される同心円状のノイズ抑圧レベルの分布が変化し、シフト制御によってレンズを撮像面に対して平行移動させると、図７で示される同心円の中心位置が変化する。

ノイズ低減処理部１０９で行われるノイズ低減処理の具体例は、実施形態１と同様に、ローパスフィルタや、小振幅信号のベースクリップ等による抑圧手法が挙げられる。

いずれの場合も、ノイズ抑圧レベルが大きくなるほど、画像をぼかす処理の度合いが強くなるので、ノイズだけに着目し、被写体情報を無視してこのようなノイズ低減処理制御を行うと、被写体によっては、光軸からの距離が大きくなるほど、解像感が落ちてしまうことになる。したがって、本実施形態では、図１０の被写体領域判別処理部１０８において、着目画素の含まれる被写体領域が、ノイズ形状のばらつきが目立ちやすい平坦部分か否かを推定し、判別結果に応じて、周辺光量落ち補正量に基づいたノイズ低減処理を適応的に制御している。

ここで、被写体領域判別処理部８の動作について説明する。図８は、被写体領域判別処理部１０８に入力される画像の一部分について、画素の並びを示す模式図である。被写体領域判別処理部８では、図８に示すＰ４が着目画素である場合、周辺の８画素に対して、まず、以下のような演算を行う。ここで、Ｖｄｉｆｆ、Ｈｄｉｆｆ、Ｄ１ｄｉｆｆ、Ｄ２ｄｉｆｆは、それぞれ、垂直、水平、斜め４５°、斜め１３５°方向についての相関値を示す。
Ｖｄｉｆｆ＝｜Ｐ１−Ｐ７｜
Ｈｄｉｆｆ＝｜Ｐ３−Ｐ５｜
Ｄ１ｄｉｆｆ＝｜Ｐ２−Ｐ６｜
Ｄ２ｄｉｆｆ＝｜Ｐ０−Ｐ８｜

ところで、周辺光量落ち補正処理後の画像は、画面の周辺部の画素ほど、ゲインアップされて、ノイズの振幅レベルが大きくなっているため、４方向の相関値Ｖｄｉｆｆ、Ｈｄｉｆｆ、Ｄ１ｄｉｆｆ、Ｄ２ｄｉｆｆの大きさのみでは、平坦分に重畳された振幅レベルの大きいノイズと、特定の方向に連続したエッジとを区別することが難しい。そのため、本実施形態では、ＶｄｉｆｆとＨｄｉｆｆの差分値ＨＶ＿ｄｉｆｆ＝｜Ｖｄｉｆｆ−Ｈｄｉｆｆ｜、Ｄ１ｄｉｆｆ、Ｄ２ｄｉｆｆの差分値Ｄ１２＿ｄｉｆｆ＝｜Ｄ１ｄｉｆｆ−Ｄ２ｄｉｆｆ｜を用いて、以下の判定を行い、着目画素の含まれる被写体領域がどの程度平坦かを示す平坦度ｆｌを算出する。
ｉ)（ＨＶ＿ｄｉｆｆ＞Ｔｈ＿ｅｄｇかつＤ１２＿ｄｉｆｆ＞Ｔｈ＿ｅｄｇ）または（ＨＶ＿ｄｉｆｆ≦Ｔｈ＿ｅｄｇかつＤ１２＿ｄｉｆｆ≦Ｔｈ＿ｅｄｇ）のとき、
特定の方向に連続したエッジである可能性が低いので、
ｆｌ＝１．０
ii）（ＨＶ＿ｄｉｆｆ＞Ｔｈ＿ｅｄｇかつＤ１２＿ｄｉｆｆ≦Ｔｈ＿ｅｄｇ）または（ＨＶ＿ｄｉｆｆ≦Ｔｈ＿ｅｄｇかつＤ１２＿ｄｉｆｆ＞Ｔｈ＿ｅｄｇ）のとき、
特定の方向に連続したエッジである可能性が高いので、Ｖｄｉｆｆ、Ｈｄｉｆｆ、Ｄ１ｄｉｆｆ、Ｄ２ｄｉｆｆのうち、最も値が大きい相関値Ｍａｘ＿ｄｉｆｆとして、さらに、以下の判定を行い、平坦度ｆｌを算出する。
ａ）０≦Ｍａｘ＿ｄｉｆｆ＜Ｔｈ１のとき
ｆｌ＝１．０
ｂ）Ｔｈ１≦Ｍａｘ＿ｄｉｆｆ＜Ｔｈ２のとき
ｆｌ＝（Ｔｈ１−Ｍａｘ＿ｄｉｆｆ）／（Ｔｈ２−Ｔｈ１）＋１
ｃ）Ｔｈ２≦Ｍａｘ＿ｄｉｆｆ
ｆｌ＝０．０
ここで、相関値Ｍａｘ＿ｄｉｆｆと平坦度ｆｌとの関係は、図９のようになり、ｆｌ＝１．０のときは、完全に平坦であり、ｆｌ＝０．０のときは、エッジを含む被写体であるとみなす。

図１０のノイズ低減処理部１０９では、前述のノイズ抑圧レベルＮに対し、被写体領域推定部から出力される平坦度ｆｌを掛けた値をパラメータとして、最終的なノイズ抑圧レベルを制御する。

したがって、平坦度ｆｌ＝１．０、すなわち、着目画素が振幅レベルの大きいノイズの目立ちやすい平坦部分に含まれていると推定された場合にのみ、周辺光量落ち補正量を参照し、光軸と着目画素との距離が大きくなるほど、ノイズ抑圧のレベル（度合い）を強くなるよう、ノイズ低減処理を行うことができる。

また、平坦度ｆｌ＝０．０、すなわち、着目画素の含まれる被写体領域が、画像のエッジ部分である可能性が高い場合には、解像感を優先して周辺光量落ち補正量に基づいたノイズ低減処理を行わないようにすることができる。

また、平坦度ｆｌが０．０から１．０の間の値をとるときには、平坦度に応じて、周辺光量落ち補正量に基づいたノイズ低減処理の適用度を可変することができる。

以上により、撮像レンズの特性に起因する周辺光量落ち補正処理後の画像に対して、エッジ部分の解像感は保持しつつ、平坦部分では、周辺光量落ち補正処理によるノイズレベルのばらつきを低減させるための、適応的なノイズ低減処理を行うことができる。ノイズ抑圧処理後の画像は、カメラ信号処理を経て、最終的な映像信号として映像信号出力端子から出力される。

（他の実施形態）
上述の第１，２の実施形態では、レンズ固有の歪み特性データ、や周辺光量落ち特性データレンズの制御による位置情報を用いてそれぞれ光学歪み補正量や周辺光量落ち補正量をその都度マイコン００６で算出し、メモリ０１４、１１４に記憶するような構成であった。この補正量は、あらかじめレンズの位置情報に対する補正量として不図示のＲＯＭメモリにテーブル化して記憶していてもよい。これにより各補正処理部は、演算することなく、テーブルを参照することによって補正量を取得する、補正処理を簡単でより迅速に行うことが出来る。

また、撮像部と光学レンズが一体化された撮像装置に限らず、レンズが着脱して交換可能な撮像装置に適用することも可能である。その場合には、各交換レンズにそのレンズ固有の歪み特性データや周辺光量落ち特性データや、または、レンズの位置情報応じた補正量のテーブルを格納したチップを保持しておけば良い。

また、第１の実施形態の光学歪み補正と第２の実施形態の周辺光量落ち補正は組み合わせて両方行うことも可能である。その場合は、両者の補正量に対して、最適なノイズ抑圧レベル係数を設定すればよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、例えば、撮像装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードをそのシステム或いは装置からのリモート操作等によって読み出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることが出来る。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、例えば、撮像後に撮像画像をパーソナルコンピュータ等の情報処理装置で処理する際に、ノイズ低減処理を行う場合など、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

なお本発明を上述の記憶媒体に適応する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

第１の実施形態の構成を示すブロック図 光学歪み補正処理前後の画像の例 図２に対応する拡大図 ノイズに対する光学歪み補正処理の影響を示す図 光軸からの距離と光学歪み補正量との関係を示す特性を表す図 光学歪み補正量とノイズ抑圧レベルとの関係を示す特性を表す図 ノイズ抑圧レベルの画面上での分布図 被写体領域判別処理部に入力される画像の一部領域の画素配列を示す模式図 被写体領域判別処理部における平坦度判定の特性を表す図 第２の実施形態の構成を示すブロック図 周辺光量落ち補正処理前後の画像を示す図 ノイズに対する周辺光量落ち補正処理の影響を示す図 光軸からの距離と周辺光量落ち補正量との関係を示す特性を表す図 周辺光量落ち補正量とノイズ抑圧レベルとの関係を示す特性を表す図 第１の実施形態における光学歪み補正処理のフローを示す図 第１の実施形態におけるノイズ低減処理のフローを示す図

符号の説明

００１、１０１ 撮像レンズ
００２、１０２ 撮像素子
００３、１０３ Ａ／Ｄ変換処理部
００４、１０４ 撮像素子駆動部
００５、１０５ レンズ特性値
００６、１０６ マイコン
００７ 光学歪み補正処理部
０１４、１１４ メモリ回路
０１５ 補間回路
１０７ 周辺光量落ち補正処理部
１０５ 増幅回路
００８、１０８ 被写体領域推定処理部
００９、１０９ ノイズ低減処理部
０１０、１０１ カメラ信号処理手段
０１１、１１１ 映像信号出力端子
Ｄ 光学歪み補正量
Ｌ 周辺光量落ち補正量
Ｎ ノイズ抑圧レベル
ｆｌ 平坦度
ｘ、ｙ 画像における各画素の位置
Ｒ 光軸からの距離

Claims (12)

1. 被写体からの光を映像信号に変換する撮像素子と、
   撮像レンズに関する情報を取得する撮像レンズ情報取得手段と、
   前記撮像レンズに関する情報に基づいて前記映像信号に生じる画質劣化を補正する補正手段と、
   前記補正手段の出力信号に対してノイズ低減処理を行うノイズ低減処理手段と、
   前記補正手段の出力信号から、前記ノイズ低減処理を行う着目画素が含まれる領域が、所定の特性を持つ領域か否かを判別する判別手段と、
   を有し、
   前記判別手段において着目画素の含まれる領域が所定の特性を持つ領域であると判別された場合に、
   前記補正手段での補正量に基づいて、画面内の位置に応じて前記ノイズ低減処理におけるノイズの抑圧レベルを変えることを特徴とする撮像装置。
2. 前記判別手段の所定の特性を持つ領域は、平坦部であることを特徴とする請求項１に記載の撮像装置。
3. 前記ノイズ低減処理手段は、前記画面内において、光軸の位置と着目画素との距離が大きくなるほど、ノイズ低減処理における抑圧レベルを強めるように制御することを特徴とする、請求項１乃至２に記載の撮像装置。
4. 前記補正手段は、前記撮像レンズに関する情報に基づいて撮像レンズの特性と、撮像レンズと撮像素子との位置関係に起因する光学歪みを補正することを特徴とする請求項１乃至３に記載の撮像装置。
5. 前記補正手段は、前記撮像レンズに関する情報に基づいて、撮像レンズの特性と、撮像レンズと撮像素子との位置関係に起因する周辺光量落ちを補正することを特徴とする請求項１乃至３に記載の撮像装置。
6. 撮像レンズに関する情報を取得する撮像レンズ情報取得工程と、
   前記撮像レンズに関する情報に基づいて撮像素子から得られる映像信号に生じる画質劣化を補正する補正工程と、
   前記補正工程の出力信号に対してノイズ低減処理を行うノイズ低減処理工程と、
   前記補正工程の出力信号から、ノイズ低減処理を行う着目画素が含まれる領域が、所定の特性を持つ領域であるか否かを判別する判別工程と、
   前記判別工程において着目画素の含まれる領域が所定の特性を持つ領域であると判別された場合に、
   前記補正工程での補正量に基づいて、前記ノイズ低減処理におけるノイズの抑圧レベルを画面内の位置に応じて変えることを特徴とする画像処理方法。
7. 前記判別手段の所定の特性を持つ領域は、平坦部であることを特徴とする請求項６に記載の画像処理方法。
8. 前記画面内において、光軸の位置と着目画素との距離が大きくなるほど、前記ノイズ低減処理における抑圧レベルを強めるように制御する制御工程ことを特徴とする、請求項６乃至７に記載の画像処理方法。
9. 前記補正手段は、前記撮像レンズに関する情報に基づいて、前記撮像レンズの特性と、撮像レンズと撮像素子との位置関係に起因する光学歪みを補正することを特徴とする請求項６乃至８に記載の画像処理方法。
10. 前記補正手段は、前記レンズに関する情報に基づいて、レンズの特性と、レンズと撮像素子との位置関係に起因する周辺光量落ちを補正することを特徴とする請求項６乃至８に記載の画像処理方法。
11. 請求項６乃至１０のいずれかに記載の画像処理方法を実現するためのプログラムコードを有することを特徴とする情報処理装置が実行可能なプログラム。
12. 請求項１１に記載のプログラムを記憶したことを特徴とする情報処理装置が読み取り可能な記憶媒体。

Images