JP5290734B2 - ノイズ低減装置及びノイズ低減方法 - Google Patents

Description

本発明は、ノイズ低減装置及びノイズ低減方法に関する。

デジタルスチルカメラ、ビデオカメラ等の撮像装置において、光情報を電気信号に変換する撮像素子から出力された電気信号に基づいて生成される画像データは、ノイズを含むため、画質の劣化が生じる。そこで、ノイズを低減する方法として、画像データに対してフィルタ処理をする場合がある。

例えば、特許文献１には、画像データのノイズを低減する技術が開示されている。特許文献１の技術では、信号レベルだけでなく、撮影時の撮像素子温度、露光時間に応じたアナログゲインなどの動的に変化する要因を考慮してノイズ量を推定し、このノイズ量及び注目画素と近傍画素の情報に応じて平滑化処理を制御する。

特開２００６−８７０３０号公報

ところで、撮像装置を用いて撮影する被写体には、樹木などの植物が遠景に含まれる場合がある。このとき、樹木の葉や花は、被写体像全体に比べて非常に細かい。植物が遠景で撮影された画像において、植物部分は、細部が確実に表現されていることによって本物らしく見えるという解像感が得られることが重要である。しかし、画像における遠景の植物の部分は、他の画像部分に比べて比較的高周波成分が多い。そのため、撮像装置内などで画像処理をする際、植物部分による高周波成分と、その他のノイズ成分とを区別することが困難であった。その結果、ノイズ低減（ＮＲ：noise reduction）処理すると、植物部分の画像がぼけてしまうという問題があった。

また、例えば特許文献１の技術を用いて、注目画素近傍が特定色であるという情報、例えば緑色であるという情報を判定することで、植物部分のノイズ低減強度を低下させることが考えられる。しかし、植物ではない人工物（例えば自動車、看板など）が緑色であるとき、その人工物部分の画像に含まれるノイズを低減することができないという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、遠景の植物の被写体像が含まれる画像において遠景の植物を対象として適切にノイズ低減処理を施すことができ、解像感を得ることが可能な、新規かつ改良されたノイズ低減装置及びノイズ低減方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、画像データの注目画素の画素値及び注目画素近傍の画素の画素値に基づいて、注目画素及び注目画素近傍からなる画像が遠景の植物の被写体像であるか否かを判定する被写体像判定部と、判定結果に応じて注目画素を平滑化する平滑化部とを有するノイズ低減装置が提供される。

この構成により、画像データの注目画素の画素値及び注目画素近傍の画素の画素値に基づいて、注目画素及び注目画素近傍からなる画像が遠景の植物の被写体像であるか否かが判定され、判定結果に応じて注目画素が平滑化される。

上記被写体像判定部は、注目画素の画素値及び注目画素近傍の画素の画素値に基づいて、注目画素及び注目画素近傍の画素における高周波成分を算出する高周波成分算出部と、注目画素及び注目画素近傍の画素の色相値の平均値と、注目画素及び注目画素近傍の画素の彩度値の平均値を算出する色相彩度平均値算出部と、注目画素及び注目画素近傍の画素の彩度値の分散値を算出する彩度分散値算出部と、算出された高周波成分、色相値の平均値、彩度値の平均値、及び彩度値の分散値に基づいて、注目画素及び注目画素近傍からなる画像が遠景の植物の被写体像であるか否かを判定する判定部とを有する。

上記平滑化部は、ローパスフィルタであり、注目画素及び注目画素近傍からなる画像が遠景の植物の被写体像であると判定されたとき、遠景の植物の被写体像ではないと判定された時に比べて透過させる周波数範囲を広くする。

上記被写体像判定部は、注目画素の画素値及び注目画素近傍の画素の画素値のうち赤外線成分値を算出する赤外線成分値算出部を更に有する。

上記判定部は、算出された高周波成分が、注目画素及び注目画素近傍の画素において所定値以上含まれ、算出された色相値の平均値と、彩度値の平均値がそれぞれ所定範囲内に含まれ、算出された彩度値の分散値が所定値以上であるとき、注目画素及び注目画素近傍からなる画像が遠景の植物の被写体像であると判定する。

上記判定部は、更に、算出された赤外線成分値が、注目画素の輝度値に応じて変化する所定値以上であるとき、注目画素及び注目画素近傍からなる画像が遠景の植物の被写体像であると判定する。

また、上記課題を解決するために、本発明の別の観点によれば、画像データの注目画素の画素値及び注目画素近傍の画素の画素値に基づいて、注目画素及び注目画素近傍からなる画像が遠景の植物の被写体像であるか否かを判定するステップと、判定結果に応じて注目画素を平滑化するステップとを有するノイズ低減方法が提供される。

上記遠景の植物の被写体像であるか否かを判定するステップは、注目画素の画素値及び注目画素近傍の画素の画素値に基づいて、注目画素及び注目画素近傍の画素における高周波成分を算出するステップと、注目画素及び注目画素近傍の画素の色相値の平均値と、注目画素及び注目画素近傍の画素の彩度値の平均値を算出するステップと、注目画素及び注目画素近傍の画素の彩度値の分散値を算出するステップと、算出された高周波成分、色相値の平均値、彩度値の平均値、及び彩度値の分散値に基づいて、注目画素及び注目画素近傍からなる画像が遠景の植物の被写体像であるか否かを判定するステップとを有する。

以上によれば、遠景の植物の被写体と同色（例えば緑色）の人工物が被写体像に含まれている場合でも、植物を判定することができる。そして、植物の被写体像であると判定できるため、植物の被写体と同色（例えば緑色）の画素に対してノイズ低減処理をする際、画像にぼけが生じないようにノイズ低減処理を施すことができる。

本発明によれば、遠景の植物の被写体像が含まれる画像において遠景の植物を対象として適切にノイズ低減処理を施すことができ、解像感を得ることができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（第１の実施形態の構成）
まず、図１を参照して、本発明の第１の実施形態に係る撮像装置１００の構成について説明する。図１は、本実施形態に係る撮像装置１００を示すブロック図である。

撮像装置１００は、例えば静止画像を撮影することができるデジタルスチカメラである。撮像装置１００は、例えば、レンズブロック１０２、撮像素子１１０、前処理部１２０、画像メモリ１４２、画像信号処理部１４４、全体信号処理部・制御部１４６、レンズ駆動部１４８、ＪＰＥＧ処理部１５０、ＬＣＤ１６０、メモリカード１７０、操作部１８０などからなる。なお、撮像装置１００は、動画像を撮影することができるビデオカメラであってもよい。

レンズブロック１０２は、図示しないが、例えばズームレンズ、絞り、フォーカスレンズなどからなる。レンズブロック１０２は、外部の光情報を撮像素子１１０に結像させる光学系システムであり、被写体からの光を撮像素子１１０まで透過させる。ズームレンズは、焦点距離を変化させて画角を変えるレンズである。絞りは、透過する光量を調節する機構である。フォーカスレンズは、光軸方向に移動することで撮像素子１１０の撮像面に被写体像を合焦させる。フォーカスレンズは、レンズ駆動部１４８によって駆動される。

撮像素子１１０は、光電変換素子の一例であり、レンズブロック１０２を透過して入射した光情報を電気信号に変換する光電変換が可能な複数の素子から構成される。各素子は受光した光量に応じた電気信号を生成する。撮像素子１１０は、ＣＣＤ（charge coupled device）センサー、ＣＭＯＳ（complementary metal oxide semiconductor）センサー等を適用することができる。

なお、撮像素子１１０の露光時間を制御するため、非撮影時に光を遮って撮影時のみ光が当たるように、メカニカルシャッター（図示せず。）を適用することができる。また、これに限定されず、電子シャッターを適用してもよい。なお、メカニカルシャッター又は電子シャッターの動作は、全体信号処理部・制御部１４６に接続されたシャッターボタン（操作部１８０）のスイッチによって行われる。

撮像素子１１０は、更にＣＤＳ／ＡＭＰ部、Ａ／Ｄ変換部を有する。ＣＤＳ／ＡＭＰ部（相関二重サンプリング回路（correlated double sampling）／増幅器（amplifier））は、撮像素子１１０から出力された電気信号に含まれる低周波ノイズを除去すると共に、電気信号を任意のレベルまで増幅する。Ａ／Ｄ変換部は、ＣＤＳ／ＡＭＰ部から出力された電気信号をデジタル変換してデジタル信号を生成する。Ａ／Ｄ変換部は、生成したデジタル信号を前処理部１２０に出力する。

前処理部１２０は、Ａ／Ｄ変換部から出力されたデジタル信号に対して処理を施し、画像処理が可能となる画像信号を生成する。前処理部１２０は、例えば、撮像素子１１０の画素欠陥補正、黒レベル補正、シェーディング補正、ＡＦ評価値の算出などの処理を行う。前処理部１２０は、生成した画像信号を例えば画像信号処理部１４４に出力する。また、前処理部１２０は、画像メモリ１４２への画像データの読み書きを制御する。

画像メモリ１４２は、例えばＳＤＲＡＭ（synchronous DRAM）であり、撮影した画像の画像データを一時的に保存する。画像メモリ１４２は、複数の画像の画像データを記憶できる記憶容量を有している。画像メモリ１４２への画像の読み書きは、前処理部１２０によって制御される。

画像信号処理部１４４は、前処理部１２０から映像信号を受け、輝度信号と色信号に変換処理する。画像信号処理部１４４は、後述するノイズ低減部１３０を有し、ノイズ低減処理をする。また、画像信号処理部１４４は、ＷＢ制御値、γ値、エッジ（輪郭）強調制御値などに基づいて、画像処理された画像信号を生成する。画像信号処理部１４４は、生成した映像信号を全体信号処理部・制御部１４６に送る。

全体信号処理部・制御部１４６は、プログラムによって演算処理装置及び制御装置として機能し、撮像装置１００内に設けられた各構成要素の処理を制御する。全体信号処理部・制御部１４６は、例えば、レンズ駆動部１４８に信号を出力してレンズブロック１０２のフォーカスレンズを駆動させる。また、全体信号処理部・制御部１４６は、操作部１８０からの信号に基づいて撮像装置１００の各構成要素を制御する。なお、本実施形態においては、全体信号処理部・制御部１４６が１つだけからなる構成であるが、信号系の命令と操作系の命令とを別々のＣＰＵで行うなど複数のＣＰＵから構成されてもよい。

レンズ駆動部１４８は、フォーカス制御開始の操作信号を受けると、フォーカスレンズを一方向に移動する制御信号を生成して、生成した制御信号をレンズブロック１０２に出力する。レンズ駆動部１４８は、前処理部１２０で算出されたＡＦ評価値に基づいて、フォーカスレンズの合焦位置を算出する。なお、ＡＦ評価値は、画像信号の輝度値に基づいて前処理部１２０で算出されたものである。ＡＦ評価値は、例えば画像のコントラスト値であり、コントラスト値が最大となったとき、被写体像が撮像素子１１０の撮像面１１０Ａで合焦していると判断する（コントラスト検出方式）。なお、本実施形態のフォーカス制御はコントラスト検出方式に限定されず、他の方式によって行われてもよい。

ＪＰＥＧ処理部１５０は、全体信号処理部・制御部１４６からの映像データに対して、例えばＪＰＥＧ（Joint Photographic Experts Group）規格などの静止画像の符号化方式で圧縮符号化処理を行う。また、メモリカード１７０から供給された静止画像の符号化データに対して伸張復号化処理を行う。

ＬＣＤ１６０は、例えばＶＲＡＭから画像データを受けて、画面に画像を表示する。ＬＣＤ１６０は、例えば撮像装置１００の本体に設けられる。ＬＣＤ１６０が表示する画像は、例えば、ＶＲＡＭから読み出された撮影前の画像（ライブビュー表示）、撮像装置１００の各種設定画面や、撮像して記録された画像などである。本実施形態では、表示部としてＬＣＤ１６０としたが、本発明はかかる例に限定されず、例えば有機ＥＬディスプレイなどであってもよい。

なお、ＶＲＡＭ（video RAM）は、画像表示用のメモリであり、複数のチャネルを有する。ＶＲＡＭは、画像メモリ１４２からの画像表示用の画像データの入力と、ＬＣＤ１６０への画像データの出力を同時に実行できる。ＬＣＤ１６０の解像度や最大発色数はＶＲＡＭの容量に依存する。

メモリカード１７０は、画像データの書き込み、又は記録された画像データや設定情報などの読み出しがされる。メモリカード１７０は、例えば、磁気ディスク、半導体記憶媒体などの記録媒体であり、撮影された画像データを記録する。記録媒体であれば、メモリカード１７０に限定されず、光ディスク（ＣＤ、ＤＶＤ、ブルーレイディスク等）、光磁気ディスクなどでもよい。メモリカード１７０は、撮像装置１００から着脱可能に構成されてもよい。

操作部１８０は、例えば、撮像装置１００に設けられた上下左右キー、電源スイッチ、モードダイアル、シャッターボタンなどである。操作部１８０は、ユーザーによる操作に基づいて操作信号を全体信号処理部・制御部１４６等に送る。例えば、シャッターボタンは、ユーザーによる半押し（Ｓ１操作）、全押し（Ｓ２操作）、解除が可能である。シャッターボタンは、半押しされたときフォーカス制御開始の操作信号を出力し、半押し解除でフォーカス制御が終了する。また、シャッターボタンは、全押しされたとき、撮影開始の操作信号を出力する。

なお、撮像装置１００における一連の処理は、ハードウェアで処理してもよいし、コンピュータ上のプログラムによるソフトウェア処理で実現してもよい。

（ノイズ低減部１３０の構成）
次に、図２を参照して、本実施形態に係るノイズ低減部１３０の構成について説明する。図２は、本実施形態に係るノイズ低減部１３０を示すブロック図である。

ノイズ低減部１３０は、ノイズ低減装置の一例であり、例えば画像信号処理部１４４に設けられる。ノイズ低減部１３０は、例えば、入力部１３１と、被写体像判定部１３２と、フィルタ処理選択部１３４と、フィルタ処理部１３５と、出力部１３６などを有する。

入力部１３１は、撮像素子１１０から出力された画像データが、輝度信号及び色信号に変換処理された後の輝度−色差信号からなる画像データが入力される。入力された画像データは、被写体像判定部１３２に送られる。

被写体像判定部１３２は、画像データの注目画素の画素値と、注目画素近傍の画素の画素値から、注目画素が対象としている被写体像であるか否かを判定する。ここで、対象としている被写体像とは、本実施形態では遠景の樹木等の植物の被写体像である。樹木などの植物が遠景に含まれる場合、樹木の葉（緑色の青葉や、黄色、赤色等の紅葉など）や、花（桜の花等）は、被写体像全体に比べて非常に細かい。被写体像が遠景の植物であるか否かを判定することによって、植物であると判定された部分を通常のノイズと区別することができる。

被写体像判定部１３２は、例えば、特徴算出部１３７と、判定部１３８などからなる。特徴算出部１３７は、注目画素が対象としている被写体像であると判定できる基準となる値を算出する。本実施形態では、対象としている被写体像が遠景の植物である。注目画素が遠景の植物の被写体像であると判定できる基準となる値は、（１）高周波成分、（２）色相値の平均値と、彩度値の平均値、（３）彩度値の分散値である。特徴算出部１３７は、例えば、高周波成分算出部１５２と、色相彩度平均値算出部１５４と、彩度分散値算出部１５６などからなる。

高周波成分算出部１５２は、注目画素の画素値及び注目画素近傍の画素の画素値に基づいて、注目画素及び注目画素近傍の画素における高周波成分を算出する。色相彩度平均値算出部１５４は、注目画素及び注目画素近傍の画素の色相値に基づいて、注目画素及び注目画素近傍の画素の色相値の平均値を算出する。また、色相彩度平均値算出部１５４は、注目画素及び注目画素近傍の画素の彩度値に基づいて、注目画素及び注目画素近傍の画素の彩度値の平均値を算出する。彩度分散値算出部１５６は、注目画素及び注目画素近傍の画素の彩度値に基づいて、注目画素及び注目画素近傍の画素の彩度値の分散値を算出する。

判定部１３８は、特徴算出部１３７で算出された判定基準となる各値（例えば、算出された高周波成分、色相値の平均値、彩度値の平均値、及び彩度値の分散値）に基づいて、注目画素が、対象としている被写体像（遠景の植物の被写体像）であるか否かを判定する。例えば、判定部１３８は、算出された高周波成分が、注目画素及び注目画素近傍の画素において所定値以上含まれ、算出された色相値の平均値と、彩度値の平均値がそれぞれ所定範囲内に含まれ、算出された彩度値の分散値が所定値以上であるとき、注目画素及び注目画素近傍からなる画像が遠景の植物の被写体像であると判定する。

フィルタ処理選択部１３４は、判定部１３８の判定結果に基づいて、フィルタ処理部１３５に記録された複数のフィルタのうち、少なくとも１つのフィルタを選択する。選択されるフィルタは、画像データ（判定部１３８の判定結果）に応じて異なる。フィルタ処理選択部１３４は、どのフィルタが選択されるべきかの情報をフィルタ処理部１３５に送る。

フィルタ処理部１３５は、本実施形態では、複数種類のフィルタが記憶部に記録されている。フィルタ処理部１３５は平滑化部の一例であり、フィルタは例えばローパスフィルタである。そして、注目画素及び注目画素近傍からなる画像が遠景の植物の被写体像であると判定されたとき、遠景の植物の被写体像ではないと判定された時に比べて透過させる周波数範囲を広くする。フィルタ処理部１３５は、フィルタ処理選択部１３４からどのフィルタが選択されるべきかの情報を受ける。また、フィルタ処理部１３５は、入力部１３１から画像データを受けて、どのフィルタが選択されるべきかの情報に基づいて、画像データの注目画素に対してフィルタ処理を行う。即ち、フィルタ処理部１３５は、フィルタ処理選択部１３４で画像データに応じて選択されたフィルタが注目画素を平滑化し、画像データに含まれるノイズを低減する。フィルタ処理部１３５は、フィルタ処理された画像データを出力部１３６に送る。

出力部１３６は、フィルタ処理された画像データをノイズ低減部１３０の外部に出力する。出力された画像データは、例えば色補間処理、ホワイトバランス調整、ガンマ処理などがされる。

なお、ノイズ低減部１３０における一連の処理は、ハードウェアで処理してもよいし、コンピュータ上のプログラムによるソフトウェア処理で実現してもよい。

（ノイズ低減部１３０の動作）
次に、図３を参照して、本実施形態に係るノイズ低減部１３０の動作について説明する。図３は、本実施形態に係るノイズ低減部１３０の動作を示すフローチャートである。

まず、ノイズ低減部１３０の入力部１３１に輝度信号（Ｙ）、色差信号（Ｃｂ、Ｃｒ）からなる画像データが入力される（ステップＳ１０１）。なお、ノイズ低減部１３０には、ＹＣｂＣｒ信号の画像データが直接入力されてもよいし、カラーフィルタがベイヤ（Bayer）配列された撮像素子から出力された信号によるＲＡＷデータでもよい。また、ＲＧＢ色空間によるＲＧＢ信号など他の色空間で表現される信号でもよい。なお、ＲＧＢ信号が入力された場合は信号を輝度−色差信号に変換するステップが追加される。

そして、特徴算出部１３７において、入力された画像データの注目画素の画素値と、注目画素近傍の画素の画素値から、注目画素が遠景の植物であると判定できる基準となる値を算出する。

図６で示すように、色差信号Ｃｂと、色差信号Ｃｒを直交座標で色空間を表現すると、原点からの距離ｒは彩度を表し、Ｃｒ軸からの角度θは色相を表す。図６は、ＣｂＣｒ信号で表された色空間を示すグラフである。そこで、例えば、色相彩度平均値算出部１５４や彩度分散値算出部１５６が、注目画素及び注目画素近傍の画素の色差信号（Ｃｒ、Ｃｂ）を極座標変換する（ステップＳ１０２）。これにより、ある画素の色差信号（Ｃｒ、Ｃｂ）が、（Ｖ_Ｃｒ、Ｖ_Ｃｂ）であったときの彩度ｒと、色相θが分かる。

例えば、彩度ｒは、

で表され、
また、色相θは、

で表される。

次に、色相彩度平均値算出部１５４が、注目画素及び注目画素近傍の画素の彩度値ｒに基づいて、下記の数式を用いて注目画素及び注目画素近傍の画素の彩度値ｒの平均値を算出する（ステップＳ１０３）。

また、色相彩度平均値算出部１５４が、注目画素及び注目画素近傍の画素の色相値θに基づいて、下記の数式を用いて注目画素及び注目画素近傍の画素の色相値θの平均値を算出する（ステップＳ１０３）。

更に、彩度分散値算出部１５６が、注目画素及び注目画素近傍の画素の彩度値ｒに基づいて、下記の数式を用いて注目画素及び注目画素近傍の画素の彩度値ｒの分散値を算出する（ステップＳ１０３）。

一方、高周波成分算出部１５２が、注目画素の画素値及び注目画素近傍の画素の画素値に基づいて、注目画素及び注目画素近傍の画素における高周波成分を算出する。例えば、高周波成分算出部１５２は、注目画素の画素値及び注目画素近傍の画素の画素値に基づいて、注目画素及び注目画素近傍の空間周波数を検出する（ステップＳ１０４）。

具体的には、画像データについて２次元ＤＣＴ（discrete cosine transform：離散コサイン変換）を行ってＤＣＴ係数を算出する。例えば、図４に示すように、画像データを５×５画素のブロックに分割する場合について説明する。図４は、画像データの画素の配列を示す説明図である。図４は、５×５画素のブロックを抽出したものであり、図４中のＡは、注目画素を表わす。各画素の画素値をf(x,y)とすると、ブロック毎のＤＣＴ係数F(u,v)は、次式で表わされる。

これにより、ＤＣＴ係数F(u,v)は図５に示すように配列される。図５は、ＤＣＴ係数の配列を示す説明図である。各ブロックの左上端は直流（ＤＣ）成分を表わす。そして、高周波成分が注目画素及び注目画素近傍の画素において所定値以上含まれるか否かを判断するために、下記の数式により係数ｋ_ｆＨを算出する。係数ｋ_ｆＨは、図５のＣ１〜Ｃ７のＤＣＴ係数と、Ｄ１〜Ｄ９のＤＣＴ係数の２乗和の平方根である。

次に、判定部１３８が、特徴算出部１３７で算出された判定基準となる各値（例えば、算出された高周波成分、色相値の平均値、彩度値の平均値、及び彩度値の分散値）に基づいて、注目画素が、対象としている被写体像（遠景の植物の被写体像）であるか否かを判定する（ステップＳ１０５）。

まず、条件１として、係数ｋ_ｆＨが所定値以上であるか否かを判定する。係数ｋ_ｆＨが比較的大きい値では高周波成分が多い。高周波成分が多ければ、画像に遠景の植物が含まれる可能性があるからである。例えば、

を満たすか否かを判定する。

また、条件２として、彩度値ｒ及び色相値θの平均値が所定範囲内であるか否かを判定する。彩度値ｒ及び色相値θの平均値が例えば植物の葉の色（青葉の緑色、紅葉の黄色や赤色など）や花の色（桜の淡いピンク色など）に近ければ、画像に遠景の植物が含まれる可能性があるからである。例えば、緑色の領域であるかを判定するため、

かつ

を満たすか否かを判定する。

更に、条件３として、彩度値ｒの分散値が所定値以上であるか否かを判定する。彩度値ｒの分散値（ばらつき）が大きければ、色の変化が大きく、画像に遠景の植物が含まれる可能性があるからである。例えば、

を満たすか否かを判定する。

上述した条件１〜３を全て満たすとき、判定部１３８は、注目画素が、遠景の植物の被写体像であると判定する。一方、条件１〜３のいずれか１つを満たさないときは、判定部１３８は、注目画素が、遠景の植物の被写体像ではないと判定する。なお、上記の条件１〜３で示した数値は、８ｂｉｔ（０〜２５５）のレベルを持つ画像であって、コンパクトカメラでＩＳＯ１００程度のノイズを持つときに適用する値の例である。従って、ＩＳＯ感度が他の値であるときは、条件１〜３で示した数値は異なる値となる。

そして、フィルタ処理選択部１３４で、注目画素が、遠景の植物の被写体像であるか否かによって、フィルタ処理部１３５における複数のフィルタのうち少なくとも１つのフィルタが選択される（ステップＳ１０６）。

その後、選択されたフィルタ処理部１３５のフィルタが、画像データの注目画素に対してフィルタ処理をする（ステップＳ１０７）。

例えば、注目画素が遠景の植物の被写体像であると判定された場合は、比較的弱いＬＰＦ（ローパスフィルタ）を選択する。図８に比較的弱いＬＰＦの一例を示す。これにより、遠景の植物の被写体像の注目画素に対して、比較的弱いＬＰＦ処理することになり、遠景の植物の被写体像に適切なノイズ低減処理をすることができる。

例えば、注目画素が遠景の植物の被写体像ではないと判定された場合は、比較的強いＬＰＦを選択する。図９に比較的強いＬＰＦの一例を示す。これにより、遠景の植物の被写体像以外の注目画素に対して、比較的強いＬＰＦ処理することになり、遠景の植物の被写体像以外の被写体像に適切なノイズ低減処理をすることができる。最後に、フィルタ処理された画像データがノイズ低減部１３０の外部に出力される（ステップＳ１０８）。

以下、本実施形態のノイズ低減部１３０の効果を説明する。例えば、表面がフラット（平滑）な人工物の被写体像は、重畳してくるノイズの特性として、図７（Ｂ）のように彩度値方向、色相値方向にほぼ均一なばらつきを持つ。そのため、色差信号の分布は略円の分布となる。また、比較的高周波成分が少なくなる。なお、図中に示した

は、上述したステップＳ１０３で算出した彩度値ｒの平均値及び色相値θの平均値である。図７は、ＣｂＣｒ信号で表された色空間を示すグラフである。図７（Ｂ）は、人工物の被写体像におけるＣｂＣｒ信号の分布の一例を示す。

一方、遠景の植物の被写体像は、明るさや色の変化が大きいため、図７（Ａ）のように色差信号のばらつきが大きくなり、特に彩度値ｒ方向にばらつきが大きくなる。そのため、色差信号の分布は僅かに楕円形状の分布となる。また、比較的高周波成分が多くなる。図７（Ａ）は、遠景の植物の被写体像におけるＣｂＣｒ信号の分布の一例を示す。なお、図中に示した

は、上述したステップＳ１０３で算出した彩度値ｒの平均値及び色相値θの平均値である。

このように、本実施形態は、人工物の被写体像と、遠景の植物の被写体像が有する色差信号の分布と、高周波成分の違いに着目して、本実施形態では、画像に遠景の植物が含まれるか否かを判定する。

これにより、画像データにおける遠景の植物の被写体像に対して、ノイズ低減処理を比較的弱めにすることができ、植物部分の画像がぼけてしまうことなく解像感のある画像を得ることができる。一方、植物と同様の色成分を有する植物以外の被写体像に対しては、ノイズ低減処理を弱めることなく通常の処理を行なうことができ、ノイズの低減を確実に行うことができる。例えば、植物の色に近い色を有する人工物（自動車や看板等）に対してノイズが除去されないという問題を回避することができる。

（第２の実施形態）
次に、本発明の第２の実施形態に係る撮像装置２００について説明する。本実施形態では、撮像素子１１０に、赤外線のみを透過させる可視光線除去フィルタが設けられることで、被写体像の赤外線量を検出できる。そして、赤外線量を参照することで、画像に遠景の植物の被写体像が含まれるかを判断する。

例えば、ノイズ低減部１３０における被写体像判定部１３２が、更に赤外線成分値算出部を有する。赤外線成分値算出部は、注目画素の画素値及び注目画素近傍の画素の画素値のうち赤外線成分値を算出する。そして、判定部１３８が、第１の実施形態で説明した条件１〜３に加えて、算出された赤外線成分値が所定値以上であるか否かという条件４を判定する。植物からの赤外線量は、人工物に比べて値が高くなるため、赤外線成分値が高ければ、画像に遠景の植物が含まれる可能性があるからである。なお、上記の所定値は、注目画素の輝度値Ｙに比例して変化するように決定する。赤外線量は、輝度が高くなると値が高くなるためである。

そして、上述した条件１〜４を全て満たすとき、判定部１３８は、注目画素が、遠景の植物の被写体像であると判定する。一方、条件１〜４のいずれか１つを満たさないときは、判定部１３８は、注目画素が、遠景の植物の被写体像ではないと判定する。

このように、第１の実施形態で説明した条件１〜３に加えて条件４を考慮することで、更に精度良く遠景の植物の被写体像であるか否かを判定でき、遠景の植物の被写体像が含まれる画像において遠景の植物を対象として適切にノイズ低減処理を施すことができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、ノイズ低減部１３０が画像信号処理部１４４に設けられ、輝度信号、色差信号からなる画像データに対してノイズ低減処理を施す例について説明したが、本発明はこの例に限定されない。例えば、ノイズ低減部は、画像データが、撮像素子１１０から出力され、画素欠陥補正がされた画像データ（ＲＡＷデータ）に対して、ノイズ低減処理をしてもよい。このとき、ノイズ低減部は、例えば前処理部１２０に設けられる。

また、上記実施形態では、交流成分Ｃ１〜Ｃ７，Ｄ１〜Ｄ９を使用して係数ｋ_ｆＨを算出する場合について説明したが、本発明はこの例に限定されない。例えば、交流成分Ｂ１〜Ｂ５，Ｃ１〜Ｃ７，Ｄ１〜Ｄ９を使用して係数ｋ_ｆＨを算出してもよい。

また、上記実施形態では、画像データを５×５画素のブロックに分割する場合について説明したが、本発明はこの例に限定されず、例えば、８×８画素のブロック、１０×１０画素のブロックに分割するなど、分割するブロックの大きさは任意である。また、ノイズ低減のためのフィルタ処理は、上述したフィルタに限定されず、他の処理で行ってもよい。

また、上記実施形態では、フィルタ処理部１３５において適用するローパスフィルタの種類を被写体像が遠景の植物であるか否かに応じて変更する場合について説明したが、本発明はこの例に限定されない。例えば、被写体像が遠景の植物であるか否かに関わらず適用するローパスフィルタは同一としてもよく、このとき、元の画像に対してフィルタ処理する際、フィルタ処理する注目画素とフィルタ処理しない注目画素の比率を、被写体像が遠景の植物であるか否かに応じて変更する。

本発明の第１の実施形態に係る撮像装置を示すブロック図である。 同実施形態に係るノイズ低減部を示すブロック図である。 同実施形態に係るノイズ低減部の動作を示すフローチャートである。 画像データの画素の配列を示す説明図である。 ＤＣＴ係数の配列を示す説明図である。 ＣｂＣｒ信号で表された色空間を示すグラフである。 ＣｂＣｒ信号で表された色空間を示すグラフである。 ローパスフィルタ（ＬＰＦ）の一例を示す説明図である。 ローパスフィルタ（ＬＰＦ）の一例を示す説明図である。

符号の説明

１００、２００ 撮像装置
１０２ レンズブロック
１１０ 撮像素子
１２０ 前処理部
１３０ ノイズ低減部
１３１ 入力部
１３２ 被写体像判定部
１３４ フィルタ処理選択部
１３５ フィルタ処理部
１３６ 出力部
１３７ 特徴算出部
１３８ 判定部
１４２ 画像メモリ
１４４ 画像信号処理部
１４６ 全体信号処理部・制御部
１４８ レンズ駆動部
１５０ ＪＰＥＧ処理部
１５２ 高周波成分算出部
１５４ 色相彩度平均値算出部
１５６ 彩度分散値算出部
１６０ ＬＣＤ
１７０ メモリカード
１８０ 操作部

Claims (7)

1. 画像データの注目画素の画素値及び前記注目画素近傍の画素の画素値に基づいて、前記注目画素及び前記注目画素近傍からなる画像が遠景の植物の被写体像であるか否かを判定する被写体像判定部と、
   前記判定の結果に応じて前記注目画素を平滑化する平滑化部と
   を有し、
   前記平滑化部は、ローパスフィルタであり、
   前記注目画素及び前記注目画素近傍からなる画像が遠景の植物の被写体像であると判定されたとき、遠景の植物の被写体像ではないと判定された時に比べて透過させる周波数範囲を広くする、ノイズ低減装置。
2. 前記被写体像判定部は、
   前記注目画素の画素値及び前記注目画素近傍の画素の画素値に基づいて、前記注目画素及び前記注目画素近傍の画素における高周波成分を算出する高周波成分算出部と、
   前記注目画素及び前記注目画素近傍の画素の色相値の平均値と、前記注目画素及び前記注目画素近傍の画素の彩度値の平均値を算出する色相彩度平均値算出部と、
   前記注目画素及び前記注目画素近傍の画素の彩度値の分散値を算出する彩度分散値算出部と、
   算出された前記高周波成分、前記色相値の平均値、前記彩度値の平均値、及び前記彩度値の分散値に基づいて、前記注目画素及び前記注目画素近傍からなる画像が遠景の植物の被写体像であるか否かを判定する判定部と
   を有する、請求項１に記載のノイズ低減装置。
3. 前記被写体像判定部は、
   前記注目画素の画素値及び前記注目画素近傍の画素の画素値のうち赤外線成分値を算出する赤外線成分値算出部を更に有する、請求項１又は２に記載のノイズ低減装置。
4. 前記判定部は、算出された前記高周波成分が、前記注目画素及び前記注目画素近傍の画素において所定値以上含まれ、算出された前記色相値の平均値と、前記彩度値の平均値がそれぞれ所定範囲内に含まれ、算出された前記彩度値の分散値が所定値以上であるとき、前記注目画素及び前記注目画素近傍からなる画像が遠景の植物の被写体像であると判定する、請求項２に記載のノイズ低減装置。
5. 前記判定部は、更に、算出された赤外線成分値が、前記注目画素の輝度値に応じて変化する所定値以上であるとき、前記注目画素及び前記注目画素近傍からなる画像が遠景の植物の被写体像であると判定する、請求項３に記載のノイズ低減装置。
6. 画像データの注目画素の画素値及び前記注目画素近傍の画素の画素値に基づいて、前記注目画素及び前記注目画素近傍からなる画像が遠景の植物の被写体像であるか否かを判定するステップと、
   前記判定の結果に応じて前記注目画素を平滑化するステップと
   を有し、
   前記平滑化するステップは、ローパスフィルタにより行い、
   前記注目画素及び前記注目画素近傍からなる画像が遠景の植物の被写体像であると判定されたとき、遠景の植物の被写体像ではないと判定された時に比べて透過させる周波数範囲を広くする、ノイズ低減方法。
7. 前記遠景の植物の被写体像であるか否かを判定するステップは、
   前記注目画素の画素値及び前記注目画素近傍の画素の画素値に基づいて、前記注目画素及び前記注目画素近傍の画素における高周波成分を算出するステップと、
   前記注目画素及び前記注目画素近傍の画素の色相値の平均値と、前記注目画素及び前記注目画素近傍の画素の彩度値の平均値を算出するステップと、
   前記注目画素及び前記注目画素近傍の画素の彩度値の分散値を算出するステップと、
   算出された前記高周波成分、前記色相値の平均値、前記彩度値の平均値、及び前記彩度値の分散値に基づいて、前記注目画素及び前記注目画素近傍からなる画像が遠景の植物の被写体像であるか否かを判定するステップと
   を有する、請求項６に記載のノイズ低減方法。

Images