JP3762725B2 - 撮像システムおよび画像処理プログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像システムおよび画像処理プログラム、より詳しくは、撮像素子系に起因するランダムノイズの低減を図る撮像システムおよび画像処理プログラムに関する。
【０００２】
【従来の技術】
撮像素子とそれに付随するアナログ回路およびＡ／Ｄコンバータから得られるデジタル化された信号中には、一般にノイズ成分が含まれており、このノイズ成分は、固定パターンノイズとランダムノイズとに大別することができる。
【０００３】
上記固定パターンノイズは、欠陥画素などに代表されるような、主に撮像素子に起因するノイズである。
【０００４】
一方、ランダムノイズは、撮像素子およびアナログ回路において発生するものであり、ホワイトノイズ特性に近い特性を有している。
【０００５】
後者のランダムノイズに関しては、例えば特開２００１−１５７０５７号公報において、静的に与えられる定数項ａ，ｂ，ｃと濃度値に変換した信号レベルＤとを用いて、ノイズ量Ｎを、Ｎ＝ａｂ^cDにより関数化し、この関数から信号レベルＤに対するノイズ量Ｎを推定して、推定したノイズ量Ｎに基づきフィルタリングの周波数特性を制御する技術が開示されていて、これにより、信号レベルに対して適応的なノイズ低減処理が行われるようになっている。
【０００６】
また、他の例として、特開２００２−５７９００号公報には、注目画素とその近傍画素との差分値Δを求めて、求めた差分値Δと静的に与えられる定数項ａ，ｂとを用いて、移動平均法で用いる平均画素数ｎを、ｎ＝ａ／（Δ＋ｂ）により制御するとともに、求めた差分値Δが所定の閾値以上である場合には移動平均を行わないようにする技術が記載されている。このような技術を用いることにより、エッジなどの原信号を劣化させることなくノイズ低減処理が行われるようにしている。
【０００７】
【発明が解決しようとする課題】
しかしながら、ノイズ量は撮影時の撮像素子の温度，露光時間，ゲインなどの要因により動的に変化するために、上記特開２００１−１５７０５７号公報に記載されたような静的な定数項を用いる技術では、撮影時のノイズ量に合わせた関数化に対応することができず、ノイズ量の推定精度が劣ってしまっていた。また、ノイズ量からフィルタリングの周波数特性を制御するが、このフィルタリングは平坦部分もエッジ部分も区別することなく同等に処理するために、信号レベルに基づきノイズ量が大であると推定された領域にあるエッジ部は劣化することになる。すなわち、原信号とノイズとを区別した処理に対応することができず、原信号の保存性が良くないという課題がある。
【０００８】
また、上記特開２００２−５７９００号公報に記載の技術は、移動平均法を行うか否かの選択を閾値との比較によって行っているが、この閾値も静的に与えられるものであるために、ノイズ量が信号レベルにより異なることに対応できず、平均画素数や移動平均法の選択を最適に制御することはできない。このために、正確なノイズ量の推定とノイズの低減処理とに対応することができず、ノイズ成分の残存や原信号の劣化などが発生することになる。
【０００９】
さらに、撮影時の状況や被写体に差異がある場合、例えば肌などの平坦な被写体とテクスチャ構造を有する被写体とでは、同一のノイズ量であっても主観的な評価が異なることがあるが、上述したような従来の技術では、このような点に対応することができず、ノイズ低減処理を行っても必ずしも主観的に最適な画像が得られるとは限らないという課題がある。
【００１０】
本発明は上記事情に鑑みてなされたものであり、撮影状況に応じて画像内のノイズ量を適切に低減して主観的に好ましい高品質な画像を得ることができる撮像システムおよび画像処理プログラムを提供することを目的としている。
【００１１】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明による撮像システムは、複数の画素を配列してなる撮像素子からのデジタル化された信号中に含まれるノイズの量を一画素毎にまたは複数画素でなる所定の単位面積毎に推定するノイズ推定手段と、上記信号による画像が撮影されたときの撮影状況を推定する撮影状況推定手段と、この撮影状況推定手段により推定された撮影状況に基づき上記ノイズ推定手段により推定されたノイズ量を補正する補正手段と、この補正手段により補正されたノイズ量に基づき上記信号中のノイズを低減するノイズ低減手段と、を具備したものである。
【００１２】
また、第２の発明による撮像システムは、上記第１の発明による撮像システムにおいて、上記撮像素子の前面に配置された色フィルタと、該撮像素子から出力される信号をこの色フィルタ毎の信号に分離する分離手段と、をさらに具備したものである。
【００１３】
さらに、第３の発明による撮像システムは、上記第１または第２の発明による撮像システムにおいて、上記ノイズ推定手段が、上記信号の信号値レベルと上記撮像素子の温度と上記信号に対するゲインと撮影時のシャッタ速度との内の少なくとも１つの情報に基づいてパラメータを算出するパラメータ算出手段と、このパラメータ算出手段により算出されたパラメータに基づいてノイズ量を算出するノイズ量算出手段と、を有して構成されたものである。
【００１４】
第４の発明による撮像システムは、上記第１または第２の発明による撮像システムにおいて、上記撮影状況推定手段が、上記信号による画像が撮影されたときの画面全体に関する撮影状況を推定する全体推定手段と、該信号による画像が撮影されたときの各領域毎の撮影状況を推定する領域推定手段と、の少なくとも一方を有して構成されたものである。
【００１５】
第５の発明による撮像システムは、上記第１または第２の発明による撮像システムにおいて、上記撮影状況推定手段が、合焦情報と測光情報とズーム位置情報と視線入力情報とストロボ発光情報との内の少なくとも１つの情報に基づいて、上記信号による画像が撮影されたときの画面全体に関する撮影状況を推定する全体推定手段を有して構成されたものである。
【００１６】
第６の発明による撮像システムは、上記第１または第２の発明による撮像システムにおいて、上記撮影状況推定手段が、合焦情報に基づいて合焦位置が少なくとも風景撮影と人物撮影と接写撮影とを含む３種類以上の中の何れの撮影による合焦位置であるかを推定する合焦位置推定手段と、測光情報に基づいて被写体分布が少なくとも画面全体と中央重点と中心部とを含む３種類以上の中の何れの撮影による被写体分布であるかを推定する被写体分布推定手段と、上記合焦位置推定手段によって推定した合焦位置と上記被写体分布推定手段によって推定した被写体分布とを組み合わせて上記信号による画像が撮影されたときの画面全体に関する撮影状況を推定する全体推定手段と、を有して構成されたものである。
【００１７】
第７の発明による撮像システムは、上記第１または第２の発明による撮像システムにおいて、上記撮影状況推定手段が、測光情報に基づいて、上記信号による画像が撮影されたときの画面全体に関する撮影状況が夜景撮影であるか否かを推定して判断する全体推定手段を有して構成されたものである。
【００１８】
第８の発明による撮像システムは、上記第１または第２の発明による撮像システムにおいて、上記撮影状況推定手段が、上記信号に基づき該信号による画像の特性を検出する画像特性検出手段と、この画像特性検出手段により検出された画像特性に基づいて上記信号による画像が撮影されたときの各領域の撮影状況を推定する領域推定手段と、を有して構成されたものである。
【００１９】
第９の発明による撮像システムは、上記第８の発明による撮像システムにおいて、上記画像特性検出手段が、上記信号から画像特性として特定色領域を検出する特定色検出手段と、上記信号から画像特性として特定輝度領域を検出する特定輝度検出手段と、上記信号から画像特性として所定サイズの局所領域における周波数情報を求める周波数検出手段と、の内の少なくとも１つを有して構成されたものである。
【００２０】
第１０の発明による撮像システムは、上記第８の発明による撮像システムにおいて、上記撮影状況推定手段が、上記信号を間引く間引き手段をさらに有して構成され、上記画像特性検出手段は、この間引き手段により間引かれた信号に基づき画像の画像特性を検出するものである。
【００２１】
第１１の発明による撮像システムは、上記第１または第２の発明による撮像システムにおいて、上記ノイズ低減手段が、上記補正手段により補正されたノイズ量に基づいて一画素毎にまたは複数画素でなる所定の単位面積毎にノイズの振幅値を閾値として設定する閾値設定手段と、この閾値設定手段により設定された閾値以下となる上記信号中の振幅成分を低減するスムージング手段と、を有して構成されたものである。
【００２２】
第１２の発明による撮像システムは、上記第３の発明による撮像システムにおいて、上記ノイズ量算出手段がパラメータとして上記信号の信号値レベルＬと上記撮像素子の温度Ｔと上記信号に対するゲインＧと撮影時のシャッタ速度Ｓとを用いてノイズ量Ｎを算出するものであって、上記温度ＴとゲインＧとをパラメータとする３つの関数ａ（Ｔ，Ｇ），ｂ（Ｔ，Ｇ），ｃ（Ｔ，Ｇ）と上記シャッタ速度Ｓをパラメータとする関数ｄ（Ｓ）とに基づき４つの係数Ａ，Ｂ，Ｃ，Ｄを各々算出する係数算出手段と、この係数算出手段により算出された上記４つの係数Ａ，Ｂ，Ｃ，Ｄで規定される関数式
Ｎ＝（ＡＬ^B＋Ｃ）Ｄ
に基づいてノイズ量Ｎを算出する関数演算手段と、を有して構成されたものである。
【００２３】
第１３の発明による撮像システムは、上記第１２の発明による撮像システムにおいて、上記ノイズ量算出手段が、標準のパラメータ値である標準値を付与する付与手段をさらに有して構成され、上記パラメータは、上記パラメータ算出手段により算出された値、または上記付与手段によって付与された標準値である。
【００２４】
第１４の発明による撮像システムは、上記第３の発明による撮像システムにおいて、上記ノイズ量算出手段が、上記パラメータ算出手段から得られなかったパラメータに関して標準のパラメータ値である標準値を付与する付与手段と、上記パラメータ算出手段または上記付与手段から得られる信号値レベルと温度とゲインとシャッタ速度とを入力としてノイズ量を求めるルックアップテーブル手段と、を有して構成されたものである。
【００２５】
第１５の発明による画像処理プログラムは、コンピュータに、複数の画素を配列してなる撮像素子からのデジタル化された信号中に含まれるノイズの量を一画素毎にまたは複数画素でなる所定の単位面積毎に推定するノイズ推定手順と、上記信号による画像が撮影されたときの撮影状況を推定する撮影状況推定手順と、この撮影状況推定手順により推定された撮影状況に基づき上記ノイズ推定手順により推定されたノイズ量を補正する補正手順と、この補正手順により補正されたノイズ量に基づき上記信号中のノイズを低減するノイズ低減手順と、を実行させるための画像処理プログラムである。
【００２６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１から図９は本発明の第１の実施形態を示したものであり、図１は撮像システムの構成を示すブロック図、図２は色フィルタにおける原色ベイヤー型のフィルタ構成を示す図、図３は撮影状況推定部の構成を示すブロック図、図４は評価測光用の分割パターンと評価用パラメータとを説明するための図、図５はＡＦ情報とＡＥ情報から撮影シーンを推定するときの分類を示す図表、図６はノイズ推定部の構成を示すブロック図、図７はノイズ量の定式化を説明するための線図、図８はノイズ量の定式化に用いるパラメータを説明するための線図、図９はノイズ低減部の構成を示すブロック図である。
【００２７】
この撮像システムは、図１に示すように、被写体像を結像するためのレンズ系１と、このレンズ系１内に配置されていて該レンズ系１における光束の通過範囲を規定するための絞り２と、上記レンズ系１による結像光束から不要な高周波成分を除去するためのローパスフィルタ３と、上記レンズ系１による結像光束の光路上の後述するＣＣＤ５の前面に配置された例えば原色ベイヤー型の色フィルタ４と、この色フィルタ４を介して結像される光学的な被写体像を光電変換して電気的な映像信号を出力する白黒用の撮像素子たるＣＣＤ５と、このＣＣＤ５の近傍に配置されていて該ＣＣＤ５の温度をリアルタイムに計測して計測結果を後述する制御部２２へ出力するためのパラメータ算出手段を構成する温度センサ６と、上記ＣＣＤ５から出力される映像信号に相関二重サンプリングを行うＣＤＳ（Correlated Double Sampling）７と、このＣＤＳ７から出力される信号を増幅する増幅器８と、この増幅器８により増幅されたアナログの映像信号をデジタル信号へ変換するＡ／Ｄ変換器９と、このＡ／Ｄ変換器９から出力されたデジタルの画像データを一時的に記憶する画像用バッファ１０と、この画像用バッファ１０に記憶された画像データに基づき被写体に関する測光評価を行いその評価結果に基づき上記絞り２、ＣＣＤ５、増幅器８の制御を行う測光評価部１１と、上記画像用バッファ１０に記憶された映像信号に基づき簡易的なホワイトバランス検出を行いその結果に基づいて上記増幅器８を制御するプレＷＢ部１２と、上記画像用バッファ１０に記憶された画像データに基づき合焦点検出を行い検出結果に基づき後述するＡＦモータ１４を駆動する合焦点検出部１３と、この合焦点検出部１３により制御されて上記レンズ系１に含まれるフォーカスレンズ等の駆動を行うＡＦモータ１４と、上記画像用バッファ１０に記憶された映像信号を読み出して色信号の分離を行う分離手段たる色信号分離部１５と、この色信号分離部１５から出力される画像データに基づき後で詳しく説明するようにノイズ推定を行うノイズ推定手段たるノイズ推定部１７と、撮影状況を推定する撮影状況推定手段たる撮影状況推定部１６と、この撮影状況推定部１６による推定結果を用いて上記ノイズ推定部１７による推定結果を補正する補正手段たる補正部１８と、この補正部１８による補正された推定ノイズを用いて上記色信号分離部１５から出力される画像データのノイズ低減を行うノイズ低減手段たるノイズ低減部１９と、このノイズ低減部１９から出力される画像データを処理する信号処理部２０と、この信号処理部２０からの画像データを例えばメモリカード等に記録するために出力する出力部２１と、電源スイッチ，シャッタボタン，各種の撮影モードを切り替えるためモードスイッチ等へのインターフェースを備えた外部Ｉ／Ｆ部２３と、上記ＣＤＳ７，増幅器８，Ａ／Ｄ変換器９，測光評価部１１，プレＷＢ部１２，合焦点検出部１３，色信号分離部１５，撮影状況推定部１６，ノイズ推定部１７，補正部１８，ノイズ低減部１９，信号処理部２０，出力部２１，外部Ｉ／Ｆ部２３に双方向に接続されていてこれらを含むこの撮像システムを統合的に制御するマイクロコンピュータ等でなる制御手段であってパラメータ算出手段たる制御部２２と、を有して構成されている。
【００２８】
次に、図１に示したような撮像システムにおける信号の流れについて説明する。
【００２９】
この撮像システムは、外部Ｉ／Ｆ部２３を介してＩＳＯ感度などの撮影条件を設定することができるように構成されており、これらの設定がなされた後に、２段式の押しボタンスイッチでなるシャッタボタンを半押しすることにより、プリ撮像モードに入る。
【００３０】
上記レンズ系１，絞り２，ローパスフィルタ３，色フィルタ４を介してＣＣＤ５により撮影され出力された映像信号は、ＣＤＳ７において、公知の相関二重サンプリングを行ってアナログ信号として読み出される。
【００３１】
このアナログ信号は、増幅器８により所定量だけ増幅されて、Ａ／Ｄ変換器９によりデジタル信号へ変換され、画像用バッファ１０へ転送される。
【００３２】
画像用バッファ１０内の映像信号は、その後に、測光評価部１１とプレＷＢ部１２と合焦点検出部１３とへ各転送される。
【００３３】
測光評価部１１は、画像中の輝度レベルを求めて、設定されたＩＳＯ感度や手ぶれ限界のシャッタ速度などを考慮し、画像を複数の領域に分割して各領域の輝度レベルの組み合わせにより適正露光値を算出して、この適正露光値となるように絞り２による絞り値やＣＣＤ５の電子シャッタ速度や増幅器８の増幅率などを制御する。
【００３４】
また、プレＷＢ部１２は、映像信号中の所定輝度レベルの信号を色信号毎に積算することにより、簡易ホワイトバランス係数を算出して増幅器８へ転送し、色信号毎に異なるゲインを乗算させてホワイトバランスを行わせる。
【００３５】
そして、合焦点検出部１３は、画像中のエッジ強度を検出して、このエッジ強度が最大となるようにＡＦモータ１４を制御し合焦画像を得る。
【００３６】
このようなプリ撮像モードを行うことにより本撮影の準備が整ったところで、次に、シャッタボタンが全押しにされたことを外部Ｉ／Ｆ部２３を介して検出すると、本撮影が行われる。
【００３７】
この本撮影は、測光評価部１１により求められた露光条件とプレＷＢ部１２により求められたホワイトバランス係数と合焦点検出部１３により求められた合焦条件とに基づいて行われ、これらの撮影時の条件は制御部２２へ転送される。
【００３８】
こうして本撮影が行われると、映像信号が、プリ撮像のときと同様にして、画像用バッファ１０へ転送され記憶される。
【００３９】
この画像用バッファ１０内の映像信号は、色信号分離部１５へ転送されて、色フィルタの色毎に分離される。
【００４０】
ＣＣＤ５の前面に配置される上記色フィルタ４のフィルタ構成は、上述したように、例えば図２に示すような原色ベイヤー（Ｂａｙｅｒ）型、つまり、２×２画素を基本単位として、対角位置に緑（Ｇ１，Ｇ２）のフィルタが配置され、残りの対角位置に赤（Ｒ）と青（Ｂ）のフィルタが配置されるものとなっている。なお、緑フィルタＧ１，Ｇ２は同一の光学特性のフィルタであるが、ここでは処理の便宜上、Ｇ１，Ｇ２として区別している。
【００４１】
色信号分離部１５は、これら４種類の色フィルタＲ，Ｇ１，Ｇ２，Ｂに応じて、画像用バッファ１０内の映像信号を分離するようになっていて、この分離動作は、制御部２２の制御に基づき、ノイズ推定部１７の処理およびノイズ低減部１９の処理と同期して行われる。
【００４２】
一方、制御部２２は、測光評価部１１，プレＷＢ部１２，合焦点検出部１３から撮像時の測光情報や合焦情報を、撮影状況推定部１６へ転送する。
【００４３】
撮影状況推定部１６は、転送されたこれらの情報に基づいて、画面全体に関する撮影状況を、例えば風景撮影，人物撮影，接写撮影，夜景撮影などと推定して、これを補正部１８へ転送する。このような撮影状況推定部１６による撮影状況の推定処理は、１回の撮影に付き１回行われるようになっている。
【００４４】
次に、ノイズ推定部１７は、制御部２２の制御に基づいて色信号分離部１５からの各色信号を読み込むとともに、該ノイズ推定部１７へは、さらに、制御部２２を介して、測光評価部１１により求められた露光条件や外部Ｉ／Ｆ部２３により設定されたＩＳＯ感度などの撮影条件も合わせて転送される。
【００４５】
ノイズ推定部１７は、上記情報と各色信号とに基づき、所定サイズ毎に、例えば本実施形態においては一画素毎に（画素単位で）、ノイズ量を算出し、算出したノイズ量を補正部１８へ転送する。
【００４６】
補正部１８は、撮影状況推定部１６から出力される撮影状況に基づいて、ノイズ推定部１７から出力されるノイズ量を補正し、補正したノイズ量をノイズ低減部１９へ転送する。
【００４７】
このとき、上記ノイズ推定部１７における処理と補正部１８における処理とは、制御部２２の制御に基づいて、ノイズ低減部１９の処理と同期して行われるようになっている。
【００４８】
ノイズ低減部１９は、補正部１８により補正されたノイズ量に基づいて、色信号分離部１５からの各色信号に対してノイズ低減処理を行い、処理後の映像信号を信号処理部２０へ転送する。
【００４９】
信号処理部２０は、制御部２２の制御に基づき、ノイズ低減後の映像信号に対して、公知の強調処理や圧縮処理などを行い、処理後の映像信号を出力部２１へ転送する。
【００５０】
出力部２１は、受け取った映像信号を、メモリーカードなどへ記録し保存する。
【００５１】
次に図３を参照して、撮影状況推定部１６の構成の一例について説明する。
【００５２】
この撮影状況推定部１６は、上記合焦点検出部１３で設定されたＡＦ情報を制御部２２から取得して例えば５ｍ〜∞（風景撮影），１ｍ〜５ｍ（人物撮影），１ｍ以下（接写撮影）などに分類する合焦位置推定手段たる合焦位置推定部３１と、上記測光評価部１１による分割測光結果を制御部２２から取得して後述する評価用パラメータＳ1 〜Ｓ3 を算出する被写体分布推定手段たる被写体分布推定部３２と、上記測光評価部１１からのＡＥ情報を制御部２２から取得して所定のシャッタ速度よりも長時間露光であってかつ画面全体の平均輝度レベルが所定の閾値以下である場合に撮影状況が夜景撮影であると推定する夜景推定部３３と、上記合焦位置推定部３１による分類結果と上記被写体分布推定部３２による推定結果と上記夜景推定部３３による推定結果とに基づきノイズ量に対する補正を行うためのゲインを求めて補正部１８へ転送する全体推定手段たる全体推定部３４と、を有して構成されている。
【００５３】
なお、上記合焦位置推定部３１，被写体分布推定部３２，夜景推定部３３は、制御部２２に対して双方向に接続されている。
【００５４】
上記測光評価部１１は、例えば図４（Ａ）に示すように、ＣＣＤ５からの信号を１３個の領域に分割して、公知の分割測光を行うようになっている。
【００５５】
図示の例においては、ＣＣＤ５の撮像領域を、最中央部と、この最中央部を取り巻く内周部と、この内周部を取り巻く外周部と、に分類し、さらにそれぞれを以下のような領域に分割している。
【００５６】
すなわち、最中央部は、真ん中の領域（平均輝度レベルをａ1 で表す）と、その左隣の領域（平均輝度レベルをａ2 で表す）と、右隣の領域（平均輝度レベルをａ3 で表す）と、に分割される。
【００５７】
また、内周部は、平均輝度レベルがａ1 である領域の上下の領域（平均輝度レベルを各ａ4 、ａ5 で表す）と、平均輝度レベルがａ4 である領域の左右の領域（平均輝度レベルを各ａ6 、ａ7で表す）と、平均輝度レベルがａ5 である領域の左右の領域（平均輝度レベルを各ａ8 、ａ9 で表す）と、に分割される。
【００５８】
さらに、外周部は、左上の領域（平均輝度レベルをａ10で表す）と、右上の領域（平均輝度レベルをａ11で表す）と、左下の領域（平均輝度レベルをａ12で表す）と、右下の領域（平均輝度レベルをａ13で表す）と、に分割される。
【００５９】
このように分割された各領域の平均輝度レベルが、測光評価部１１から被写体分布推定部３２へ転送されるようになっている。
【００６０】
このような領域による分割測光において、上記被写体分布推定部３２は、図４（Ｂ）に示すような各評価用パラメータを次の数式１、数式２、数式３に示すように計算して、計算結果を全体推定部３４へ転送するようになっている。
【数１】
Ｓ1 ＝|ａ2 −ａ3 |
【数２】
Ｓ2 ＝max(|ａ4 −ａ6 |，|ａ4 −ａ7 |)
【数３】
Ｓ3 ＝max(ａ10，ａ11)−Ａｖ
Ａｖ＝（Σａi ）／１３
ここに、max()は、括弧内の数の内の最大値を返す関数であり、Σは全てのｉ（つまりｉ＝１〜１３）についての総和を表し、Ａｖは全ての測光領域についての平均輝度レベル（画面全体の平均輝度レベル）を表している。
【００６１】
こうして、評価用パラメータＳ1 は、最中央部の左右の輝度差を示すもの（中心部）、評価用パラメータＳ2 は、内周部の上側中央と上側左右の何れかとの輝度差の大きい方を示すもの（中央重点）、評価用パラメータＳ3 は、外周部の上側左右何れか大きい方と画面全体の平均輝度との差を示すもの（画面全体）となっている。
【００６２】
上記全体推定部３４は、上述したように、上記合焦位置推定部３１、被写体分布推定部３２、上記夜景推定部３３の各出力に応じてノイズ量を補正するためのゲインを求めるが、このとき、夜景推定部３３からの推定結果が夜景撮影である場合には、ゲインとして「強」、つまり例えば１．５〜２．０を指定して、このゲインを直ちに補正部１８へ転送して、処理を完了する。
【００６３】
一方、夜景撮影でないと推定される場合には、全体推定部３４は、合焦位置推定部３１からの分類結果と、被写体分布推定部３２からの評価用パラメータＳ1 〜Ｓ3 と、を用いて、図５に示すように、撮影状況を推定し、ゲインを決定するようになっている。
【００６４】
図示のように、ＡＦ情報が５ｍ〜∞のときには、風景撮影であるとして、さらに上記評価用パラメータＳ3 を所定値Ｔｈ1 と比較する。このとき、評価用パラメータＳ3 が所定値Ｔｈ1 よりも大きければａ10またはａ11の何れか少なくとも一方は画面全体の平均輝度よりもある程度以上輝度が高いことになるために、上部に空のある風景であると推定する。空は平坦であってノイズ成分が主観的に気になる領域であるために、補正用のゲインとして「強」（例えば１．５〜２．０）が指定される。一方、評価用パラメータＳ3 が所定値Ｔｈ1 よりも小さい場合には、これとは逆に上部に空がないかまたはあっても少ない風景であると推定する。この場合には、植物や建造物などのテクスチャ構造を持つものが主要被写体となると考えられるために、補正用のゲインとして「中」（例えば１．０〜１．５）が指定される。
【００６５】
次に、ＡＦ情報が１ｍ〜５ｍのときには、人物撮影であるとして、さらに上記評価用パラメータＳ2 を所定値Ｔｈ2 と比較する。このとき、評価用パラメータＳ2 が所定値Ｔｈ2 よりも大きければ、内周部の上側中央ａ4 と上側左右ａ6 ，ａ7 の何れかとの輝度差があるために、一人の人物撮影（ポートレート）であると推定する。一人の人物撮影の場合は、顔の面積、つまり平坦でノイズが目立ち易い肌の面積が比較的大きくなるために、補正用のゲインを強くしたい一方で、微細構造を有する髪も存在するために、この髪が潰れると画質劣化と評価されてしまう。このために、補正用のゲインとして「中」が指定される。他方、評価用パラメータＳ2 が所定値Ｔｈ2 よりも小さい場合には、複数人の人物撮影（ポートレート）であると推定する。複数人の人物撮影の場合は、顔の面積が比較的小さくなり、かつ髪の微細構造は識別し難くなるために、補正用のゲインとして「強」が指定される。
【００６６】
さらに、ＡＦ情報が１ｍ以下のときには、接写撮影であるとして、さらに上記評価用パラメータＳ1 を所定値Ｔｈ3 と比較する。このとき、評価用パラメータＳ1 が所定値Ｔｈ3 よりも大きい場合には、最中央部の左右に輝度差があることになり、複数の物体のクローズアップであると推定する。この場合は、主要被写体に微細構造があると考えられるために、補正用のゲインとして「弱」（例えば０．５〜１．０）が指定される。一方、評価用パラメータＳ1 が所定値Ｔｈ3 よりも小さい場合には、単一の物体の接写撮影（クローズアップ）であると推定する。この場合は、微細構造の有無を判断することが困難なために、汎用性を考慮して、補正用のゲインとして「中」が指定される。
【００６７】
このようにして全体推定部３４により設定された補正用のゲインは、上述したように補正部１８へ転送される。
【００６８】
次に、図６を参照して、ノイズ推定部１７の構成の一例について説明する。
【００６９】
このノイズ推定部１７は、上記色信号分離部１５から出力される色信号毎に所定位置における所定サイズの局所領域を抽出する局所領域抽出部４１と、この局所領域抽出部４１により抽出された局所領域の色信号を記憶するバッファ４２と、上記制御部２２から転送される露光条件に関する情報とホワイトバランス係数に関する情報とに基づいて上記増幅器８の増幅量を算出するパラメータ算出手段たるゲイン算出部４４と、何れかのパラメータが省略された場合に標準値を付与する付与手段たる標準値付与部４５と、上記バッファ４２に記憶された局所領域の信号を読み出して平均値を算出し注目画素の信号値レベルとして係数算出部４６へ転送するパラメータ算出手段たる平均算出部４３と、ノイズ量を推定する際に用いる後述する関数に係るパラメータを記憶する係数算出手段たるパラメータ用ＲＯＭ４７と、このパラメータ用ＲＯＭ４７から読み出されるパラメータと上記制御部２２を経由した温度センサ６または標準値付与部４５から出力される撮像素子の温度に関する情報と上記平均算出部４３または上記標準値付与部４５から出力される信号値レベルと上記ゲイン算出部４４または上記標準値付与部４５から出力される増幅量と上記制御部２２または上記標準値付与部４５から出力されるシャッタ速度との情報に基づき注目画素のノイズ量を推定するための所定の式に係る係数を算出するノイズ量算出手段であり係数算出手段たる係数算出部４６と、この係数算出部４６から出力される係数を用いて後述するように定式化される関数を用いノイズ量を算出し補正部１８へ転送するノイズ量算出手段であり関数演算手段たる関数演算部４８と、を有して構成されている。
【００７０】
上記局所領域抽出部４１は、本実施形態においては、後で説明するノイズ低減部１９の処理が水平方向と垂直方向とに分離しているために、水平方向処理の場合は例えば４×１サイズ単位で、垂直方向処理の場合は例えば１×４サイズ単位で、画像全面を順次走査しながら抽出を行うようになっている。この局所領域抽出部４１による処理は、ノイズ低減部１９の処理と同期して行われる。
【００７１】
また、上記制御部２２は、上記局所領域抽出部４１、平均算出部４３、ゲイン算出部４４、標準値付与部４５、係数算出部４６、関数演算部４８に対して双方向に接続されており、これらを制御するようになっている。
【００７２】
次に、図７を参照して、係数算出部４６が注目画素のノイズ量を推定する際に用いるノイズ量の定式化について説明する。
【００７３】
信号値レベルＬに対するノイズ量Ｎの関数は、以下の数式４に示すように定式化される。
【数４】
Ｎ＝ＡＬ^B＋Ｃ
ここに、Ａ，Ｂ，Ｃは定数項であり、信号値レベルＬのべき乗をなす関数に定数項が付加されたものとなっている。
【００７４】
このような関数の、例えばＡ＞０，０＜Ｂ＜１，Ｃ＞０であるときの概形をプロットすると、図７（Ａ）に示すような形状となる。
【００７５】
しかしながら、ノイズ量Ｎは信号値レベルＬにのみ依存するのではなく、それ以外にも、撮像素子であるＣＣＤ５の温度や増幅器８のゲインによっても変化する。従って、これらの要因も考慮に入れたものが、図７（Ｂ）に示す例となっている。
【００７６】
すなわち、上記数式４では定数項であったＡ，Ｂ，Ｃの代わりに、数式５に示すように、温度ＴとゲインＧとをパラメータとするａ（Ｔ，Ｇ），ｂ（Ｔ，Ｇ），ｃ（Ｔ，Ｇ）を導入する。
【数５】
Ｎ＝ａ（Ｔ，Ｇ）Ｌ^b(T,G)＋ｃ（Ｔ，Ｇ）
【００７７】
この数式５により示される曲線を、複数の温度Ｔ（図示の例では温度Ｔ１〜Ｔ３）における複数のゲインＧ（図示の例では１，２，４倍）の場合にプロットしたのが図７（Ｂ）である。
【００７８】
図７（Ｂ）は、独立変数を信号値レベルＬ、従属変数をノイズ量Ｎとして表したものであるが、パラメータである温度Ｔをこれらの変数に直交する方向に座標軸としてプロットしている。従って、Ｔ＝Ｔ１で表される平面内、Ｔ＝Ｔ２で表される平面内、Ｔ＝Ｔ３で表される平面内、のそれぞれで、信号値レベルＬによるノイズ量Ｎを読み取ることになる。このとき、さらに、パラメータであるゲインＧによる曲線形状の変化を、各平面内で複数本の曲線を描くことにより表している。
【００７９】
各パラメータで示される個々の曲線は、図７（Ａ）に示したような数式４による曲線とほぼ類似した形態をなしているが、当然にして、各係数ａ，ｂ，ｃは、温度ＴやゲインＧの各値に応じて異なっている。
【００８０】
図８（Ａ）は上記関数ａ（Ｔ，Ｇ）の、図８（Ｂ）は上記関数ｂ（Ｔ，Ｇ）の、図８（Ｃ）は上記関数ｃ（Ｔ，Ｇ）の特性の概略の様子をそれぞれ示したものである。
【００８１】
これらの各関数は、温度ＴとゲインＧとを独立変数とする２変数関数であるために、図８（Ａ）〜図８（Ｃ）は３次元座標としてプロットされており、このプロットされた空間における曲面となっている。ただし、ここでは具体的な曲面形状を図示する代わりに、曲線を用いて大まかな特性変化の様子を示している。
【００８２】
このような関数ａ，ｂ，ｃに温度ＴとゲインＧとをパラメータとして入力することにより、各定数項Ａ，Ｂ，Ｃが出力される。そして、これらの関数の具体的な形状は、事前に、ＣＣＤ５や増幅器８を含む撮像素子系の特性を測定することにより、容易に取得することができる。
【００８３】
ところで、ランダムノイズには、露光時間が長くなるにつれて増加する傾向がある。このために、同一の露光量であっても、シャッタ速度と絞り値との組み合わせが異なると、発生するノイズ量に差異が生じることがある。従って、このような差異も考慮に入れて補正を行う例について、図８（Ｄ）を参照して説明する。
【００８４】
ここでは、シャッタ速度Ｓをパラメータとして定数項Ｄを与える補正係数ｄ（Ｓ）を導入し、この補正係数を数式５に乗算する手段により、数式６に示すような定式化による補正を行うようにしている。
【数６】

【００８５】
この補正係数ｄ（Ｓ）の関数形状は、事前に撮像素子系の特性を測定することにより得られるが、例えば図８（Ｄ）に示すような形状をなしている。図８（Ｄ）は、シャッタ速度Ｓに対するノイズ量の増分Ｄの様子を示している。
【００８６】
この図８（Ｄ）に示すように、ノイズ量の増分Ｄは、シャッタ速度Ｓがある閾値Ｓ_THよりも小さくなる（長時間露光になる）と急速に上昇する性質がある。従って、シャッタ速度Ｓがこの閾値Ｓ_TH以上であるか以下であるかの２通りに分けて、長時間露光の場合には関数でなるｄ（Ｓ）を用いるが、短時間露光となる場合には固定的な係数を用いるように簡略化しても構わない。
【００８７】
上述したような４つの関数ａ（Ｔ，Ｇ），ｂ（Ｔ，Ｇ），ｃ（Ｔ，Ｇ），ｄ（Ｓ）は、上記パラメータ用ＲＯＭ４７に記録される。なお、シャッタ速度に対する補正は、必ずしも関数として用意する必要はなく、その他の手段、例えばテーブルなどとして用意しても構わない。
【００８８】
係数算出部４６は、動的に取得された（または標準値付与部４５から取得された）温度Ｔ，ゲインＧ，シャッタ速度Ｓを入力パラメータとして、パラメータ用ＲＯＭ４７に記録されている４つの関数を用いて各定数項Ａ，Ｂ，Ｃ，Ｄを算出し、関数演算部４８へ転送する。
【００８９】
関数演算部４８は、この係数算出部４６により算出された各定数項Ａ，Ｂ，Ｃ，Ｄを、上記数式６に適用することにより、ノイズ量Ｎを算出するための関数形状を決定して、該係数算出部４６を介して上記平均算出部４３から出力される信号値レベルＬによりノイズ量Ｎを算出するようになっている。
【００９０】
このとき、温度Ｔ，ゲインＧ，シャッタ速度Ｓ等の各パラメータを、必ずしも撮影毎に求める必要はない。任意のパラメータを標準値付与部４５に記憶させておき、算出処理を省略するように構成することも可能である。これにより、処理の高速化や省電力化などを図ることが可能である。
【００９１】
上記補正部１８は、このようにして算出されたノイズ推定部１７からのノイズ量を受けると、制御部２２の制御に基づいて、該ノイズ量に上記撮影状況推定部１６から転送された補正用のゲインを乗算し、その結果をノイズ低減部１９へ転送する。
【００９２】
次に、図９を参照して、ノイズ低減部１９の構成の一例について説明する。
【００９３】
このノイズ低減部１９は、上記色信号分離部１５から出力される色信号毎に水平ライン単位で映像信号を順次抽出する水平ライン抽出部５１と、この水平ライン抽出部５１により抽出された水平ラインの映像信号に対して画素単位で走査して行き後述する閾値設定部５６からの閾値をノイズ量として公知のヒステリシススムージングを行うスムージング手段たる第１スムージング部５２と、この第１スムージング部５２によりスムージングされた水平ラインを順次記憶して行くことにより１画面分の映像信号を全色について記憶するバッファ５３と、このバッファ５３に１画面分の映像信号が全色について蓄積された後に該バッファ５３から垂直ライン単位で順次映像信号を色信号毎に抽出する垂直ライン抽出部５４と、この垂直ライン抽出部５４により抽出された垂直ラインの映像信号に対して画素単位で走査して行き後述する閾値設定部５６からの閾値をノイズ量として公知のヒステリシススムージングを行って上記信号処理部２０へ順次出力するスムージング手段たる第２スムージング部５５と、上記補正部１８により補正されたノイズ量を上記水平ライン抽出部５１により抽出された水平ラインまたは上記垂直ライン抽出部５４により抽出された垂直ラインに応じて画素単位で取得してノイズの振幅値を閾値（微小振幅値）として設定し上記第１スムージング部５２または上記第２スムージング部５５に出力する閾値設定手段たる閾値設定部５６と、を有して構成されている。
【００９４】
ここに、上記第１，第２スムージング部５２，５５におけるヒステリシススムージングは、制御部２２の制御により、補正部１８の動作および閾値設定部５６の動作と同期して行われるようになっている。
【００９５】
また、上記制御部２２は、上記水平ライン抽出部５１、垂直ライン抽出部５４、閾値設定部５６に対して双方向に接続されており、これらを制御するようになっている。
【００９６】
なお、上述ではノイズ量を画素単位で推定していたが、これに限るものではなく、例えば２×２画素や４×４画素などの任意の所定の単位面積毎にノイズ量を推定するようにしても構わない。この場合には、ノイズ推定精度は低下することになるが、その一方で、より高速な処理が可能となる利点がある。
【００９７】
また、上述では色フィルタ４が原色ベイヤー型である単板ＣＣＤを例に挙げて説明したが、これに限定されるものではなく、例えば、色フィルタ４が補色フィルタとなる単板ＣＣＤでも同様に適用可能であるし、さらには、二板ＣＣＤや三板ＣＣＤの場合にも同様に適用可能である。
【００９８】
さらに、上述では、撮影状況を推定するのに、合焦情報や測光情報を用いているが、これらに限らず、ズーム位置情報、視線入力情報、ストロボ発光情報などの内の少なくとも一つを用いて撮影状況を推定しても良いし、これらを適宜に組み合わせてより精密に推定するようにしても構わない。
【００９９】
このような第１の実施形態によれば、画像の領域毎にかつ色信号毎にノイズ量を推定しているために、明部から暗部にかけて最適なノイズ低減を行うことが可能になり、高品位な画像を得ることができる。
【０１００】
また、ノイズ量に関係する信号値レベル、撮影時の撮像素子の温度、シャッタ速度、ゲインなどの各種のパラメータを撮影毎に動的に求めて、これらのパラメータに基づきノイズ量を算出しているために、ノイズ量を高精度に推定することができる。このとき、画素単位でノイズ量を推定することにより、より精度を高めることができる。
【０１０１】
さらに、撮影状況を求めて推定ノイズ量を補正しているために、主観的に好ましい高品位な画像を得ることができる。このとき、撮影時の各種情報を統合して画面全体の撮影状況を求めているために、低コストかつ高速な処理を実現することができる。
【０１０２】
撮影状況を求めるのに、合焦情報や測光情報等を用いることにより、夜景撮影であるか否かを推定したり、クローズアップ、ポートレート、風景などの何れに分類されるかを推定したりすることが可能となる。
【０１０３】
さらに、色フィルタを有する撮像素子からの信号を、色フィルタ毎の色信号に分離しているために、原色系や補色系、あるいは単板、二板、三板などの多様な撮像系に対してノイズ低減を行うことが可能となる。
【０１０４】
また、ノイズ量を閾値として設定して、この閾値以下の信号をノイズとして除去するようにしているために、それ以上の信号は原信号として保存されて、ノイズ成分のみが低減された高品位な画像を得ることができる。
【０１０５】
そして、撮影時に得られなかったパラメータに対して標準値を設定し、得られたパラメータと共にこの標準値を用いてノイズ量を算出用の係数を求め、この係数からノイズ量を算出しているために、必要となるパラメータを撮影時に得ることができない場合でも、ノイズ量を推定して安定したノイズ低減効果を得ることが可能となる。このとき、ノイズ量を算出する際に関数を用いているために、必要となるメモリ量を少なくすることができ、低コスト化を図ることが可能となる。加えて、一部のパラメータ算出を意図的に省略することにより、低コスト化および省電力化を図った撮像システムを構築することが可能となる。
【０１０６】
図１０から図１４は本発明の第２の実施形態を示したものであり、図１０は撮像システムの構成を示すブロック図、図１１は撮影状況推定部の構成例を示すブロック図、図１２はノイズ推定部の構成を示すブロック図、図１３はコンピュータにおいて画像処理プログラムにより行われるノイズ低減処理の一部を示すフローチャート、図１４はコンピュータにおいて画像処理プログラムにより行われるノイズ低減処理の他の一部を示すフローチャートである。
【０１０７】
この第２の実施形態において、上述の第１の実施形態と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０１０８】
この第２の実施形態の撮像システムは、図１０に示すように、上述した第１の実施形態の構成に加えて、上記画像用バッファ１０から読み出した映像信号を所定の間隔で間引きする間引き手段たる間引き部６１と、この間引き部６１によって間引かれた映像信号に公知の線形補間処理を行ってＲＧＢの三板画像を生成しその結果を上記撮影状況推定部１６へ出力する補間部６２と、上記撮影状況推定部１６により推定されたラベル付きの画像領域の情報を一時的に記憶して上記補正部１８へ出力するバッファ６３と、がさらに備えられたものとなっていて、該補間部６２は上記制御部２２に双方向に接続されて制御されるようになっている。
【０１０９】
この図１０に示したような撮像システムにおける信号の流れは、上述した第１の実施形態と基本的に同様であり、異なる部分についてのみ説明する。
【０１１０】
シャッタボタンを全押しにしたことが外部Ｉ／Ｆ部２３を介して検出されると、上述したように本撮影が行われて、映像信号が画像用バッファ１０へ転送される。
【０１１１】
間引き部６１は、画像用バッファ１０内の映像信号を読み出して、所定間隔で間引いた後に、補間部６２へ転送する。この間引き部６１による間引き処理は、本実施形態では色フィルタ４としてベイヤー型の色フィルタを想定しているために、２×２画素を基本単位として行われるようになっており、具体的には、例えば１６×１６画素単位に対して左上の２×２画素のみを読み込む間引きを行うようになっている。このような間引き処理を行うことにより、映像信号は（１／８）×（１／８）サイズ、つまり６４分の１のデータサイズに縮小されることになる。
【０１１２】
補間部６２は、上記間引き部６１により間引かれた映像信号に対して、公知の線形補間処理を行うことによりＲＧＢの三板画像を生成し、生成した三板画像の映像信号を撮影状況推定部１６へ転送する。
【０１１３】
撮影状況推定部１６は、補間部６２から転送される三板化された映像信号から、肌色，暗部，高周波領域などの情報を算出して、算出した情報に基づいて、１枚の映像信号を複数の領域に分割し、各領域情報をラベル付けする。
【０１１４】
バッファ６３は、この撮影状況推定部１６から転送された情報を記憶する。
【０１１５】
ノイズ推定部１７は、制御部２２の制御に基づいて、色信号分離部１５から受け取った各色信号に対して、所定サイズ毎に、例えば本実施形態においては画素単位でノイズ量を算出し、算出したノイズ量を補正部１８へ転送する。
【０１１６】
補正部１８は、上記バッファ６３から読み出したラベル情報に基づいて、ノイズ推定部１７から出力されるノイズ量を補正し、補正したノイズ量をノイズ低減部１９へ転送する。このとき、補正部１８は、間引き部６１によって間引きされた割合に応じてバッファ６３のラベル情報を拡大処理し、ノイズ推定部１７からの画素単位のノイズ量に対応する処理を行う。
【０１１７】
上記ノイズ推定部１７における処理と補正部１８における処理とは、制御部２２の制御に基づいて、ノイズ低減部１９の処理と同期して行われるようになっている。
【０１１８】
その後のノイズ低減部１９、信号処理部２０、出力部２１における処理は、上述した第１の実施形態と同様である。
【０１１９】
次に、図１１（Ａ）を参照して、撮影状況推定部１６の構成の一例について説明する。
【０１２０】
この撮影状況推定部１６は、上記補間部６２からＲＧＢの三板画像を読み出して色差信号Ｃｂ，Ｃｒを演算し所定の閾値処理により肌色領域を抽出してラベル付けする画像特性検出手段であり特定色検出手段たる肌色検出部７１と、上記補間部６２からＲＧＢの三板画像を読み出して輝度信号Ｙを演算し所定の閾値よりも小さい暗部領域を抽出してラベル付けする画像特性検出手段であり特定輝度検出手段たる暗部検出部７２と、上記肌色検出部７１からの情報と暗部検出部７２からの情報とに基づき肌色領域であるか否かおよび暗部領域であるか否かを示す領域推定結果を上記バッファ６３へ転送する領域推定手段たる領域推定部７３と、を有して構成されている。
【０１２１】
また、上記制御部２２は、上記肌色検出部７１、暗部検出部７２に対して双方向に接続されており、これらを制御するようになっている。
【０１２２】
上記肌色検出部７１は、補間部６２からＲＧＢの三板画像を読み出すと、次の数式７および数式８に示すように、これを所定の色空間の信号、例えばＹ，Ｃｂ，Ｃｒ空間における色差信号Ｃｂ，Ｃｒに変換する。
【数７】
Ｃｂ＝−０．１６８７４Ｒ−０．３３１２６Ｇ＋０．５００００Ｂ
【数８】
Ｃｒ＝ ０．５００００Ｒ−０．４１８６９Ｇ−０．０８１３１Ｂ
【０１２３】
そして肌色検出部７１は、これら２つの色差信号Ｃｂ，Ｃｒを所定の閾値と比較することにより、肌色領域のみを抽出する。
【０１２４】
さらに、肌色検出部７１は、この結果を用いて、間引きされた三板画像に対して画素単位でラベル付けし、領域推定部７３へ転送する。このときに付けられる具体的なラベルとしては、例えば、肌色領域に１、その他の領域に０が付与される。
【０１２５】
次に、上記暗部検出部７２は、補間部６２からＲＧＢの三板画像を読み出すと、これを次の数式９に示すようにして、輝度信号Ｙへ変換する。
【数９】
Ｙ＝ ０．２９９００Ｒ＋０．５８７００Ｇ＋０．１１４００Ｂ
【０１２６】
そして暗部検出部７２は、この輝度信号Ｙを所定の閾値と比較して、該閾値よりも小さい領域を暗部領域として抽出する。
【０１２７】
さらに、暗部検出部７２は、この結果を用いて、間引きされた三板画像に対して画素単位でラベル付けし、領域推定部７３へ転送する。このときに付けられる具体的なラベルとしては、例えば、暗部領域に２、その他の領域に０が付与される。
【０１２８】
領域推定部７３は、これら肌色検出部７１からの情報と暗部検出部７２からの情報とに基づいて、肌色領域を１、暗部領域を２、肌色領域であってかつ暗部領域である領域を３、その他の領域を０として、バッファ６３へ出力する。
【０１２９】
補正部１８は、バッファ６３からこれらのラベル情報を読み出して、そのラベルの値に応じて補正のためのゲインを調整するようになっている。例えば、ラベル３（肌色領域かつ暗部領域）ではゲインを強（例えば１．５〜２．０）、ラベル１（肌色領域）またはラベル２（暗部領域）ではゲインを中（例えば１．０〜１．５）、ラベル０（その他）ではゲインを弱（例えば０．５〜１．０）とする。
【０１３０】
なお、この図１１（Ａ）に示した例においては、画面中の各領域の撮影状況を推定するために色情報と輝度情報とを用いたが、これらの情報を用いるに限るものではなく、例えば、図１１（Ｂ）に示すように、周波数情報を用いるようにしても構わない。
【０１３１】
図１１（Ｂ）を参照して、撮影状況推定部１６の構成の他の例について説明する。
【０１３２】
この撮影状況推定部１６は、上記補間部６２からＲＧＢの三板画像をブロック単位で読み出して高周波成分を検出する画像特性検出手段であり周波数検出手段たる高周波検出部７５と、この高周波検出部７５により検出された高周波成分に比例したラベルを付与してバッファ６３へ転送する領域推定部７３と、を有して構成されていて、上記高周波検出部７５は、上記制御部２２に対して双方向に接続されて、制御されるようになっている。
【０１３３】
上記高周波検出部７５は、より詳しくは、上記補間部６２からＲＧＢの三板画像を所定のブロックサイズ、例えば８×８画素単位で読み出して、公知のＤＣＴ（Discrete Cosine Transform）により周波数成分に変換し、変換した周波数成分から、各ブロックの高周波成分量を求めて、ブロック単位で領域推定部７３へ転送する。
【０１３４】
領域推定部７３は、高周波成分量に比例したラベルをそのブロックに対して付与し、これをバッファ６３へ転送する。
【０１３５】
補正部１８は、バッファ６３に記憶されているラベル情報を読み出して、上記間引き部６１によって間引きされた割合と、上記高周波検出部７５で使用したブロックサイズと、に応じて該ラベル情報を拡大処理し、ノイズ推定部１７から転送される画素単位のノイズ量を補正するようになっている。
【０１３６】
なお、上述では周波数成分への変換をＤＣＴにより行っているが、もちろんこれに限定されるものではなく、フーリエ（Fourier）変換やウェーブレット（Wavelet）変換などの適宜の変換を広く使用することが可能である。
【０１３７】
次に、図１２を参照して、ノイズ推定部１７の構成の一例について説明する。
【０１３８】
このノイズ推定部１７の基本的な構成は、上述した第１の実施形態において図６に示したノイズ推定部１７と同様であるが、係数算出部４６とパラメータ用ＲＯＭ４７と関数演算部４８とに代えて、ノイズ量算出手段でありルックアップテーブル手段たるルックアップテーブル部８１が設けられているのが異なる部分である。
【０１３９】
ルックアップテーブル部８１は、制御部２２と双方向に接続されて制御されるようになっており、上記平均算出部４３、ゲイン算出部４４、標準値付与部４５から情報を入力して、処理結果を補正部１８へ出力するようになっている。
【０１４０】
このルックアップテーブル部８１は、信号値レベル，ゲイン，シャッタ速度，および撮像素子の温度と、ノイズ量と、の間の関係を上述した第１の実施形態と同様の手段により予めルックアップテーブルとして構築し記録したものであり、上記平均算出部４３により算出された注目画素の信号値レベルと、上記ゲイン算出部４４により算出されたゲインと、上記制御部２２から転送されるシャッタ速度および撮像素子の温度に関する情報と、上記標準値付与部４５により必要に応じて付与された標準値と、に基づいて、該ルックアップテーブルを参照し、ノイズ量を推定し補正部１８へ転送する。
【０１４１】
なお、上述では、撮影時にノイズ低減処理を行うように構成されているが、これに限定されるものではない。例えば、ＣＣＤ５から出力される映像信号を未処理のままのＲａｗデータとしておき、このＲａｗデータに、上記制御部２２からの撮影時の撮像素子の温度、ゲイン、シャッタ速度等の情報をヘッダ情報として付加する。このヘッダ情報が付加されたＲａｗデータをコンピュータ等の処理装置に出力して、該処理装置において、ソフトウェアにより処理するようにしても良い。
【０１４２】
図１３および図１４を参照して、コンピュータにおいて画像処理プログラムによりノイズ低減処理を行う例について説明する。図１３と図１４は、一連の処理に係るが、図面の都合上２つに分割されたものである。
【０１４３】
処理を開始すると、まず、Ｒａｗデータでなる全色信号と、温度、ゲイン、シャッタ速度などの情報を含むヘッダ情報と、を読み込む（ステップＳ１）。
【０１４４】
次に、映像信号を所定サイズに間引きして（ステップＳ２）、公知の線形補間によりＲＧＢの三板画像を生成する（ステップＳ３）。
【０１４５】
生成したＲＧＢから色差信号Ｃｂ，Ｃｒを求めて、これらの色差信号Ｃｂ，Ｃｒが所定の範囲内にある色を肌色領域として抽出する（ステップＳ４）。
【０１４６】
一方で、上記ステップＳ３において生成したＲＧＢから輝度信号Ｙを求めて、この輝度信号Ｙが所定の閾値以下となる領域を暗部領域として抽出する（ステップＳ５）。
【０１４７】
ステップＳ４において抽出した肌色領域とステップＳ５において抽出した暗部領域とに関するラベル付けを行って（ステップＳ６）、付けたラベル情報を出力する（ステップＳ７）。
【０１４８】
次に、ステップＳ１で読み込んだ映像信号を色信号毎に分離して（ステップＳ８）、注目画素を中心とした所定サイズの局所領域、例えば４×１画素単位の局所領域を抽出し（ステップＳ９）、注目画素の信号値レベルをこの局所領域の平均値として算出する（ステップＳ１０）。
【０１４９】
さらに、ステップＳ１において読み込んだヘッダ情報から、温度、ゲイン、シャッタ速度などのパラメータを求めるが、このときに、もし、ヘッダ情報に必要なパラメータが存在しない場合は、所定の標準値を割り当てる（ステップＳ１１）。
【０１５０】
ステップＳ１０において求めた信号値レベルとステップＳ１１において求めた温度、ゲイン、シャッタ速度等のパラメータとに基づいて、ルックアップテーブルを参照することによりノイズ量を算出する（ステップＳ１２）。
【０１５１】
その一方で、ステップＳ７において出力されたラベル情報を読み込んで、現注目画素に対応するラベルをステップＳ１４へ転送する（ステップＳ１３）。
【０１５２】
ステップＳ１２において求めたノイズ量を、ステップＳ１３において読み込んだラベル情報に基づいて補正する（ステップＳ１４）。
【０１５３】
ステップＳ８において分離された色信号を水平ライン単位で抽出し（ステップＳ１５）、ステップＳ１４において補正されたノイズ量に基づいて公知のヒステリシススムージングを行う（ステップＳ１６）。
【０１５４】
そして、全水平ラインについての処理が終了したか否かを判断して（ステップＳ１７）、終了していない場合は上記ステップＳ９〜Ｓ１６の処理を繰り返して行う。
【０１５５】
一方、全水平ラインについての処理が終了している場合には、水平方向に平滑化された信号を出力する（ステップＳ１８）。
【０１５６】
次に、水平方向に平滑化された信号に対して、注目画素を中心とした所定のサイズの局所領域、例えば１×４画素単位の局所領域を抽出し（ステップＳ１９）、注目画素の信号値レベルをこの局所領域の平均値として算出する（ステップＳ２０）。
【０１５７】
さらに、ステップＳ１において読み込んだヘッダ情報から、温度、ゲイン、シャッタ速度などのパラメータを求めるが、このときに、もし、ヘッダ情報に必要なパラメータが存在しない場合は、所定の標準値を割り当てる（ステップＳ２１）。
【０１５８】
ステップＳ２０において求めた信号値レベルとステップＳ２１において求めた温度、ゲイン、シャッタ速度等のパラメータとに基づいて、ルックアップテーブルを参照することによりノイズ量を算出する（ステップＳ２２）。
【０１５９】
その一方で、ステップＳ７において出力されたラベル情報を読み込んで、現注目画素に対応するラベルをステップＳ２４へ転送する（ステップＳ２３）。
【０１６０】
ステップＳ２２において求めたノイズ量を、ステップＳ２３において読み込んだラベル情報に基づいて補正する（ステップＳ２４）。
【０１６１】
ステップＳ１８において水平方向に平滑化された色信号を垂直ライン単位で抽出し（ステップＳ２５）、ステップＳ２４において補正されたノイズ量に基づいて公知のヒステリシススムージングを行う（ステップＳ２６）。
【０１６２】
そして、全垂直ラインについての処理が終了したか否かを判断して（ステップＳ２７）、終了していない場合は上記ステップＳ１９〜Ｓ２６の処理を繰り返して行う。
【０１６３】
一方、全垂直ラインについての処理が終了している場合には、水平方向および垂直方向の両方に平滑化された信号を出力する（ステップＳ２８）。
【０１６４】
その後、全ての色信号についての処理が終了したか否かを判断し（ステップＳ２９）、終了していない場合には上記ステップＳ８〜Ｓ２８の処理を繰り返して行い、また、終了している場合には、この処理を終える。
【０１６５】
このような第２の実施形態によれば、上述した第１の実施形態とほぼ同様の効果を奏するとともに、肌色検出、暗部検出、高周波検出を行って１画面中の各領域の撮影状況を求め、ノイズ量を領域毎に補正しているために、各領域に適した高精度なノイズ低減処理を行って、主観的に好ましい高品位な画像を得ることができる。また、第１の実施形態に示したような画面全体の撮影状況を求める場合と、この第２の実施形態に示したような各領域の撮影状況を求める場合とを、必要に応じて使い分けることにより、用途に応じた多様な撮像システムを構築することも可能となる。
【０１６６】
そして、映像信号を所定間隔で間引いてサイズを縮小した信号から各領域の撮影状況を推定しているために、高速な処理が可能になるとともに、作業用のメモリサイズが小さくて済むために、撮像システムを低コストで構築することが可能となる。
【０１６７】
さらに、ノイズ量を算出するときにルックアップテーブルを用いているために、高速な処理を行うことが可能となる。
【０１６８】
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【０１６９】
【発明の効果】
以上説明したように本発明の撮像システムおよび画像処理プログラムによれば、撮影状況に応じて画像内のノイズ量を適切に低減して主観的に好ましい高品質な画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における撮像システムの構成を示すブロック図。
【図２】上記第１の実施形態の色フィルタにおける原色ベイヤー型のフィルタ構成を示す図。
【図３】上記第１の実施形態における撮影状況推定部の構成を示すブロック図。
【図４】上記第１の実施形態において、評価測光用の分割パターンと評価用パラメータとを説明するための図。
【図５】上記第１の実施形態において、ＡＦ情報とＡＥ情報から撮影シーンを推定するときの分類を示す図表。
【図６】上記第１の実施形態におけるノイズ推定部の構成を示すブロック図。
【図７】上記第１の実施形態において、ノイズ量の定式化を説明するための線図。
【図８】上記第１の実施形態において、ノイズ量の定式化に用いるパラメータを説明するための線図。
【図９】上記第１の実施形態におけるノイズ低減部の構成を示すブロック図。
【図１０】本発明の第２の実施形態における撮像システムの構成を示すブロック図。
【図１１】上記第２の実施形態における撮影状況推定部の構成例を示すブロック図。
【図１２】上記第２の実施形態におけるノイズ推定部の構成を示すブロック図。
【図１３】上記第２の実施形態のコンピュータにおいて画像処理プログラムにより行われるノイズ低減処理の一部を示すフローチャート。
【図１４】上記第２の実施形態のコンピュータにおいて画像処理プログラムにより行われるノイズ低減処理の他の一部を示すフローチャート。
【符号の説明】
１…レンズ系
２…絞り
３…ローパスフィルタ
４…色フィルタ
５…ＣＣＤ（撮像素子）
６…温度センサ
７…ＣＤＳ
８…増幅器
９…Ａ／Ｄ変換器
１０…画像バッファ
１１…測光評価部
１２…プレＷＢ部
１３…合焦点検出部
１４…ＡＦモータ
１５…色信号分離部（分離手段）
１６…撮影状況推定部（撮影状況推定手段）
１７…ノイズ推定部（ノイズ推定手段）
１８…補正部（補正手段）
１９…ノイズ低減部（ノイズ低減手段）
２０…信号処理部
２１…出力部
２２…制御部（パラメータ算出手段）
２３…外部Ｉ／Ｆ部
３１…合焦位置推定部（合焦位置推定手段）
３２…被写体分布推定部（被写体分布推定手段）
３３…夜景推定部
３４…全体推定部（全体推定手段）
４１…局所領域抽出部
４２…バッファ
４３…平均算出部（パラメータ算出手段）
４４…ゲイン算出部（パラメータ算出手段）
４５…標準値付与部（付与手段）
４６…係数算出部（ノイズ量算出手段、係数算出手段）
４７…パラメータ用ＲＯＭ（係数算出手段）
４８…関数演算部（ノイズ量算出手段、関数演算手段）
５１…水平ライン抽出部
５２…第１スムージング部（スムージング手段）
５３…バッファ
５４…垂直ライン抽出部
５５…第２スムージング部（スムージング手段）
５６…閾値設定部（閾値設定手段）
６１…間引き部（間引き手段）
６２…補間部
６３…バッファ
７１…肌色検出部（画像特性検出手段、特定色検出手段）
７２…暗部検出部（画像特性検出手段、特定輝度検出手段）
７３…領域推定部（領域推定手段）
７５…高周波検出部（画像特性検出手段、周波数検出手段）
８１…ルックアップテーブル部（ノイズ量算出手段、ルックアップテーブル手段）

Claims (15)

1. 複数の画素を配列してなる撮像素子からのデジタル化された信号中に含まれるノイズの量を、一画素毎に、または複数画素でなる所定の単位面積毎に、推定するノイズ推定手段と、
   上記信号による画像が撮影されたときの撮影状況を推定する撮影状況推定手段と、
   この撮影状況推定手段により推定された撮影状況に基づき上記ノイズ推定手段により推定されたノイズ量を補正する補正手段と、
   この補正手段により補正されたノイズ量に基づき上記信号中のノイズを低減するノイズ低減手段と、
   を具備したことを特徴とする撮像システム。
2. 上記撮像素子の前面に配置された色フィルタと、
   該撮像素子から出力される信号をこの色フィルタ毎の信号に分離する分離手段と、
   をさらに具備したことを特徴とする請求項１に記載の撮像システム。
3. 上記ノイズ推定手段は、
   上記信号の信号値レベルと、上記撮像素子の温度と、上記信号に対するゲインと、撮影時のシャッタ速度と、の内の少なくとも１つの情報に基づいてパラメータを算出するパラメータ算出手段と、
   このパラメータ算出手段により算出されたパラメータに基づいてノイズ量を算出するノイズ量算出手段と、
   を有して構成されたものであることを特徴とする請求項１または請求項２に記載の撮像システム。
4. 上記撮影状況推定手段は、上記信号による画像が撮影されたときの画面全体に関する撮影状況を推定する全体推定手段と、該信号による画像が撮影されたときの各領域毎の撮影状況を推定する領域推定手段と、の少なくとも一方を有して構成されたものであることを特徴とする請求項１または請求項２に記載の撮像システム。
5. 上記撮影状況推定手段は、合焦情報と測光情報とズーム位置情報と視線入力情報とストロボ発光情報との内の少なくとも１つの情報に基づいて、上記信号による画像が撮影されたときの画面全体に関する撮影状況を推定する全体推定手段を有して構成されたものであることを特徴とする請求項１または請求項２に記載の撮像システム。
6. 上記撮影状況推定手段は、
   合焦情報に基づいて、合焦位置が、少なくとも風景撮影と人物撮影と接写撮影とを含む３種類以上の中の何れの撮影による合焦位置であるかを推定する合焦位置推定手段と、
   測光情報に基づいて、被写体分布が、少なくとも画面全体と中央重点と中心部とを含む３種類以上の中の何れの撮影による被写体分布であるかを推定する被写体分布推定手段と、
   上記合焦位置推定手段によって推定した合焦位置と上記被写体分布推定手段によって推定した被写体分布とを組み合わせて、上記信号による画像が撮影されたときの画面全体に関する撮影状況を推定する全体推定手段と、
   を有して構成されたものであることを特徴とする請求項１または請求項２に記載の撮像システム。
7. 上記撮影状況推定手段は、測光情報に基づいて、上記信号による画像が撮影されたときの画面全体に関する撮影状況が、夜景撮影であるか否かを推定して判断する全体推定手段を有して構成されたものであることを特徴とする請求項１または請求項２に記載の撮像システム。
8. 上記撮影状況推定手段は、
   上記信号に基づき、該信号による画像の特性を検出する画像特性検出手段と、この画像特性検出手段により検出された画像特性に基づいて上記信号による画像が撮影されたときの各領域の撮影状況を推定する領域推定手段と、
   を有して構成されたものであることを特徴とする請求項１または請求項２に記載の撮像システム。
9. 上記画像特性検出手段は、上記信号から画像特性として特定色領域を検出する特定色検出手段と、上記信号から画像特性として特定輝度領域を検出する特定輝度検出手段と、上記信号から画像特性として所定サイズの局所領域における周波数情報を求める周波数検出手段と、の内の少なくとも１つを有して構成されたものであることを特徴とする請求項８に記載の撮像システム。
10. 上記撮影状況推定手段は、上記信号を間引く間引き手段をさらに有して構成され、
    上記画像特性検出手段は、この間引き手段により間引かれた信号に基づき画像の画像特性を検出するものであることを特徴とする請求項８に記載の撮像システム。
11. 上記ノイズ低減手段は、
    上記補正手段により補正されたノイズ量に基づいて、一画素毎に、または複数画素でなる所定の単位面積毎に、ノイズの振幅値を閾値として設定する閾値設定手段と、
    この閾値設定手段により設定された閾値以下となる上記信号中の振幅成分を低減するスムージング手段と、
    を有して構成されたものであることを特徴とする請求項１または請求項２に記載の撮像システム。
12. 上記ノイズ量算出手段は、パラメータとして、上記信号の信号値レベルＬと、上記撮像素子の温度Ｔと、上記信号に対するゲインＧと、撮影時のシャッタ速度Ｓと、を用いてノイズ量Ｎを算出するものであって、
    上記温度ＴとゲインＧとをパラメータとする３つの関数ａ（Ｔ，Ｇ），ｂ（Ｔ，Ｇ），ｃ（Ｔ，Ｇ）と、上記シャッタ速度Ｓをパラメータとする関数ｄ（Ｓ）と、に基づき４つの係数Ａ，Ｂ，Ｃ，Ｄを各々算出する係数算出手段と、
    この係数算出手段により算出された上記４つの係数Ａ，Ｂ，Ｃ，Ｄで規定される関数式
    Ｎ＝（ＡＬ^B＋Ｃ）Ｄ
    に基づいてノイズ量Ｎを算出する関数演算手段と、
    を有して構成されたものであることを特徴とする請求項３に記載の撮像システム。
13. 上記ノイズ量算出手段は、標準のパラメータ値である標準値を付与する付与手段をさらに有して構成され、
    上記パラメータは、上記パラメータ算出手段により算出された値、または上記付与手段によって付与された標準値、であることを特徴とする請求項１２に記載の撮像システム。
14. 上記ノイズ量算出手段は、
    上記パラメータ算出手段から得られなかったパラメータに関して標準のパラメータ値である標準値を付与する付与手段と、
    上記パラメータ算出手段または上記付与手段から得られる、信号値レベルと温度とゲインとシャッタ速度と、を入力としてノイズ量を求めるルックアップテーブル手段と、
    を有して構成されたものであることを特徴とする請求項３に記載の撮像システム。
15. コンピュータに、
    複数の画素を配列してなる撮像素子からのデジタル化された信号中に含まれるノイズの量を、一画素毎に、または複数画素でなる所定の単位面積毎に、推定するノイズ推定手順と、
    上記信号による画像が撮影されたときの撮影状況を推定する撮影状況推定手順と、
    この撮影状況推定手順により推定された撮影状況に基づき上記ノイズ推定手順により推定されたノイズ量を補正する補正手順と、
    この補正手順により補正されたノイズ量に基づき上記信号中のノイズを低減するノイズ低減手順と、
    を実行させるための画像処理プログラム。

Images