JP2010178301A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】主観画質を向上させることが可能な画像処理装置等を提供する。
【解決手段】本発明の画像処理装置は、処理対象画像と処理対象画像に対する過去の画像とを保持する記録手段と、処理対象画像内の対象画素を含む第１の所定領域と対象画素に対して過去の画像の第２の所定領域とを抽出する画素抽出手段と、対象画素に対するノイズ量を推定するノイズ量推定手段と、第１の所定領域内の対象画素とその周辺の画素との第１の類似度、及び、第１の所定領域内の対象画素と第２の所定領域内の画素との第２の類似度を算出する類似度算出手段と、類似度に係る特徴量を算出する類似度特徴量算出手段と、特徴量に基づいて類似度を修正する類似度修正手段と、修正された類似度に基づいてフィルタ係数を算出するフィルタ係数算出手段と、フィルタ係数に基づいて対象画素のノイズを低減するノイズ低減手段と、を有する。
【選択図】図１

Description

本発明は、画像処理装置及び画像処理方法に関し、特に、動画像信号に対してノイズ低減処理を行う画像処理装置及び画像処理方法に関するものである。

動画像信号は、指定時間間隔で撮像されたフレーム画像が複数集まって構成された信号である。一般に、各フレーム画像は、フレーム内の局所空間に対する相関を持ち、また、隣接フレームは、フレーム間での局所時間に対する相関を持った信号として仮定できる。

前述の動画像信号は、例えば、ＣＣＤまたはＣＭＯＳ等の撮像素子を備えたビデオカメラを用いて任意の被写体を撮像した際に、該ビデオカメラの撮像部を構成するレンズを経て該撮像素子上に結像した被写体像を、該撮像素子を構成する画素単位で夫々光電変換しつつ順次出力することにより得ることができる。また、前述の動画像信号は、増幅器により所定の輝度レベルとなるように増幅され、かつ、Ａ／Ｄ変換器によりデジタル化されたデジタル画像として更なる処理が施される。

一方、前述のビデオカメラを用いて被写体を撮像する際には、撮像素子の特性に起因するノイズが撮像画像に重畳される。そして、前述のノイズとしては、光電変換の統計的な性質に起因するショットノイズが大勢を占めている。

ショットノイズは、画像信号値の平方根に比例する平均振幅を具備するとともに、時間方向及び空間方向に対して統計的にランダムなノイズとなることが知られており、例えば、撮像素子への結像光量の不足に応じてゲイン量を持ち上げたような場合に顕著に現れる。

前述のショットノイズのようなランダムノイズが重畳された動画像信号に対するノイズ低減処理としては、空間相関を利用したフレーム内ノイズ低減処理、及び、時間相関を利用したフレーム間ノイズ低減処理が考えられる。そして、空間相関を利用したフレーム内ノイズ低減処理、及び、時間相関を利用したフレーム間ノイズ低減処理についての種々の提案が従来なされている。

時間相関を利用したノイズ低減処理としては、例えば、ノイズ低減後のフレームを過去フレームとして利用することにより大きなノイズ低減量を得ることが可能な、巡回型ノイズ低減処理が知られている。但し、前述の巡回型ノイズ低減処理は、過去のフレームとの相関を前提とした方法であるため、例えばシーンチェンジまたは動きが大きなシーンに対して処理を行った場合に、前のフレームの画像が現在のフレームに（残像のように）重畳されてしまうという欠点、及び、エッジの周辺において前フレームとの相関が無くなることに起因して一時的にノイズ低減効果が低下してしまうという欠点がある。

一方、特許文献１には、フレーム内相関とフレーム間相関との両方を併用することにより、シーンチェンジまたは動きが大きなシーンに対してもノイズ低減能力を向上させることが可能な技術について記載されている。

特許文献１に記載のノイズ低減システムによれば、１フレームまたは１フィールド遅延させるための画像メモリを具備し、新たに入力された中心画素データと、該中心画素データの近傍の画素データと、該画像メモリに記録されている既にノイズ低減された１フレームまたは１フィールド前の画像データにおける該中心画素データの近傍の画素データとを用いて非線形フィルタ処理を行うことにより、ノイズ低減画素データを出力する構成を有している。さらに、特許文献１に記載の前記非線形フィルタ処理によれば、前記中心画素データと相関が高い近傍画素のデータに対しては大きな重み係数を割り当て、また、前記中心画素データと相関が低い画素に対しては小さな重み係数を割り当てて加重平均を行っている。

前述の特許文献１に記載のノイズ低減システムによれば、フレーム内相関とフレーム間相関との両方を併用しつつノイズ低減処理を行うことができる。また、特許文献１に記載のノイズ低減システムによれば、特に撮像画像が静止状態にある場合において、加重平均に使用する１フレーム前または１フィールド前の画素、及び、現フィールド画素で重み係数の大きな画素が増えることに伴い、平均化に寄与する画素数が増えるため、ノイズ低減を効果的に行うことができる。さらに、特許文献１に記載のノイズ低減システムによれば、撮像画像に大きな動きまたはシーンチェンジがある場合には、自動的に１フレーム前または１フィールド前の画素よりも現フィールド画素に大きな重み係数が与えられることにより、略現フィールド画素での加重平均がなされる。そのため、特許文献１に記載のノイズ低減システムによれば、撮像画像に大きな動きまたはシーンチェンジがある場合であっても、静止状態に比べて効果が小さくなるものの、十分なノイズ低減効果を得ることができる。

但し、特許文献１に記載のノイズ低減方法によれば、画素相関の算出方法が画像内において適応的に変化するような記述は無く、画像内で一律に評価されると解される。そのため、特許文献１に記載のノイズ低減システムによれば、画像に含まれる構造の保持とノイズ低減効果とを画像内において適応的に両立させる最適な制御ができていなかった。

一方、画像に含まれる構造とノイズ低減効果とを画像内において適応制御を試みるための技術としては、例えば、特許文献２に記載の技術がある。

特許文献２によれば、時間相関性と空間相関性とを解析することにより、処理対象画素に対するテクスチャ判定処理を行った後、時間フィルタ処理した画素単位において空間フィルタのフィルタ強度を調整する、という技術が記載されている。より具体的には、特許文献２によれば、テクスチャ判定に基づいて対象画素に対する平坦度をその周辺領域の画素を用いて算出し、該平坦度が大きければ空間フィルタ強度を大とし、また、該平坦度が小さければ空間フィルタ強度を小さくする、という技術が記載されている。

また、フィルタ強度のパラメータに関しては、例えば一般的なεフィルタの場合、平滑化画素として使用するか否かを判定するために用いる対象画素と、該対象画素の周辺画素の差分絶対値との閾値としている。このような方法を用いた場合、フィルタ強度のパラメータが画像の構造に適した空間フィルタ強度となるように制御されることにより、画像内の構造物に対するぼけが抑えられるため、主観的な画質の向上を図ることができる。

動画像に対して時間相関及び空間相関を利用してノイズ低減を行う、特許文献１及び特許文献２に記載の技術によれば、時空間の画素間相関及び画像の構造を考慮しつつ空間フィルタ強度を制御している反面、画像に重畳されるノイズの特性については考慮されていない。具体的には、特許文献１及び特許文献２に記載の技術によれば、例えば、静止領域にあってはノイズに埋もれる程度に小さな微細構造を潰さずにノイズ低減を行い、かつ、動領域にあってはノイズ低減を優先しつつも構造をできるだけ潰さないよう処理する、といったような、より最適化された適応制御ができているとは言えなかった。

本発明は、前述した事情に鑑みてなされたものであり、微細構造の保持とノイズ低減量とを、動画像中の動領域及び静止領域の夫々において最適に制御することにより、主観画質を向上させることが可能な画像処理装置及び画像処理方法を提供することを目的としている。

本発明における画像処理装置は、時系列的に入力される画像に対してノイズ低減処理を行う画像処理装置において、処理対象画像と該処理対象画像に対する過去の画像とを保持する記録手段と、前記記録手段において保持された前記処理対象画像内の対象画素を含む第１の所定領域の複数画素と、該対象画素に対して過去の画像の第２の所定領域の複数画素と、を抽出する画素抽出手段と、前記対象画素に対するノイズ量を推定するノイズ量推定手段と、前記第１の所定領域内の対象画素とその周辺の画素との第１の類似度、及び、前記第１の所定領域内の対象画素と前記第２の所定領域内の画素との第２の類似度を、前記ノイズ量に基づいて算出する類似度算出手段と、前記第１の所定領域における前記第１の類似度に係る第１の特徴量、及び、前記第２の所定領域における前記第２の類似度に係る第２の特徴量を算出する類似度特徴量算出手段と、前記第１の特徴量及び前記第２の特徴量に基づき、前記第１の類似度及び前記第２の類似度を修正する類似度修正手段と、前記類似度修正手段により修正された前記第１の類似度及び前記第２の類似度に基づき、前記第１の所定領域の各画素及び前記第２の所定領域の各画素に対するフィルタ係数を算出するフィルタ係数算出手段と、前記フィルタ係数に基づいて前記対象画素のノイズを低減するノイズ低減手段と、を有することを特徴とする。

本発明における画像処理装置は、好ましくは、前記類似度算出手段により算出される類似度は、前記対象画素の画素値に対する前記第１の所定領域または前記第２の所定領域の各画素値の差分値の絶対値と、前記ノイズ量と、に基づいて決定される係数を変数とする関数値である。

本発明における画像処理装置は、好ましくは、前記類似度特徴量算出手段は、前記第１の所定領域における前記第１の類似度の総和を前記第１の特徴量として算出し、前記第２の所定領域における前記第２の類似度の総和を前記第２の特徴量として算出する。

本発明における画像処理装置は、好ましくは、前記類似度特徴量算出手段は、前記第１の所定領域における第１の類似度及び前記ノイズ量に基づき、前記第１の所定領域内の最大変動量を算出する最大変動量算出手段を有する。

本発明における画像処理装置は、好ましくは、前記第１の所定領域内におけるエッジ量を検出するエッジ量検出手段をさらに有し、前記類似度修正手段は、さらに、前記エッジ量に基づいて前記第１の類似度を修正する。

本発明における画像処理装置は、好ましくは、前記類似度修正手段は、前記第１の類似度の総和と前記第２の類似度の総和とを比較する比較手段と、前記第１の類似度の総和に対する第１の目標値を算出し、該第１の目標値に基づいて前記第１の類似度を修正する第１類似度決定手段と、前記第２の類似度の総和に対する第２の目標値を算出し、該第２の目標値に基づいて前記第２の類似度を修正する第２類似度決定手段と、前記比較手段の比較結果に基づき、前記第１類似度決定手段または前記第２類似度決定手段を選択する処理選択手段と、を有する。

本発明における画像処理装置は、好ましくは、前記処理選択手段は、前記比較手段の比較結果において、前記第１の類似度の総和が前記第２の類似度の総和より大きいと判断された場合には前記第１類似度決定手段を選択し、前記第１の類似度の総和が前記第２の類似度の総和より小さいと判断された場合には前記第２類似度決定手段を選択する。

本発明における画像処理装置は、好ましくは、前記第１の目標値は、前記第１の類似度の総和に対する前記第２の類似度の総和の差分を、前記第１の類似度の総和に加算した値である。

本発明における画像処理装置は、好ましくは、前記第２の目標値は、前記第１の類似度の総和である。

本発明における画像処理装置は、好ましくは、前記フィルタ決定手段において決定されるフィルタ係数は、バイラテラルフィルタに対応するものである。

本発明における画像処理方法は、時系列的に入力される画像に対してノイズ低減処理を行う画像処理方法において、処理対象画像と該処理対象画像に対する過去の画像とを保持する記録ステップと、前記記録ステップにおいて保持された前記処理対象画像内の対象画素を含む第１の所定領域の複数画素と、該対象画素に対して過去の画像の第２の所定領域の複数画素と、を抽出する画素抽出ステップと、前記対象画素に対するノイズ量を推定するノイズ量推定ステップと、前記第１の所定領域内の対象画素とその周辺の画素との第１の類似度、及び、前記第１の所定領域内の対象画素と前記第２の所定領域内の画素との第２の類似度を、前記ノイズ量に基づいて算出する類似度算出ステップと、前記第１の所定領域における前記第１の類似度に係る第１の特徴量、及び、前記第２の所定領域における前記第２の類似度に係る第２の特徴量を算出する類似度特徴量算出ステップと、前記第１の特徴量及び前記第２の特徴量に基づき、前記第１の類似度及び前記第２の類似度を修正する類似度修正ステップと、前記類似度修正ステップにより修正された前記第１の類似度及び前記第２の類似度に基づき、前記第１の所定領域の各画素及び前記第２の所定領域の各画素に対するフィルタ係数を算出するフィルタ係数算出ステップと、前記フィルタ係数に基づいて前記対象画素のノイズを低減するノイズ低減ステップと、を有することを特徴とする。

本発明における画像処理方法は、好ましくは、前記類似度算出ステップにより算出される類似度は、前記対象画素の画素値に対する前記第１の所定領域または前記第２の所定領域の各画素値の差分値の絶対値と、前記ノイズ量と、に基づいて決定される係数を変数とする関数値である。

本発明における画像処理方法は、好ましくは、前記類似度特徴量算出ステップは、前記第１の所定領域における前記第１の類似度の総和を前記第１の特徴量として算出し、前記第２の所定領域における前記第２の類似度の総和を前記第２の特徴量として算出する。

本発明における画像処理方法は、好ましくは、前記類似度特徴量算出ステップは、前記第１の所定領域における第１の類似度及び前記ノイズ量に基づき、前記第１の所定領域内の最大変動量を算出する最大変動量算出ステップを有する。

本発明における画像処理方法は、好ましくは、前記第１の所定領域内におけるエッジ量を検出するエッジ量検出ステップをさらに有し、前記類似度修正ステップは、さらに、前記エッジ量に基づいて前記第１の類似度を修正する。

本発明における画像処理方法は、好ましくは、前記類似度修正ステップは、前記第１の類似度の総和と前記第２の類似度の総和とを比較する比較ステップと、前記第１の類似度の総和に対する第１の目標値を算出し、該第１の目標値に基づいて前記第１の類似度を修正する第１類似度決定ステップと、前記第２の類似度の総和に対する第２の目標値を算出し、該第２の目標値に基づいて前記第２の類似度を修正する第２類似度決定ステップと、前記比較ステップの比較結果に基づき、前記第１類似度決定ステップまたは前記第２類似度決定ステップを選択する処理選択ステップと、を有する。

本発明における画像処理方法は、好ましくは、前記処理選択ステップは、前記比較ステップの比較結果において、前記第１の類似度の総和が前記第２の類似度の総和より大きいと判断された場合には前記第１類似度決定ステップを選択し、前記第１の類似度の総和が前記第２の類似度の総和より小さいと判断された場合には前記第２類似度決定ステップを選択する。

本発明における画像処理方法は、好ましくは、前記第１の目標値は、前記第１の類似度の総和に対する前記第２の類似度の総和の差分を、前記第１の類似度の総和に加算した値である。

本発明における画像処理方法は、好ましくは、前記第２の目標値は、前記第１の類似度の総和である。

本発明における画像処理方法は、好ましくは、前記フィルタ決定ステップにおいて決定されるフィルタ係数は、バイラテラルフィルタに対応するものである。

本発明における画像処理装置及び画像処理方法によると、微細構造の保持とノイズ低減量とを、動画像中の動領域及び静止領域の夫々において最適に制御することにより、主観画質を向上させることが可能である。

本発明の実施形態に係る画像処理装置の要部の構成を示す機能ブロック図。 第１の実施形態におけるノイズ低減部の具体的な構成の一例を示す機能ブロック図。 図２のノイズ低減部におけるフレーム内類似度算出部の具体的な構成の一例を示す機能ブロック図。 図２のノイズ低減部におけるフレーム間類似度算出部の具体的な構成の一例を示す機能ブロック図。 図２のノイズ低減部における類似度決定部の具体的な構成の一例を示す機能ブロック図。 図５の類似度決定部における類似度比較判定部の具体的な構成の一例を示す機能ブロック図。 現フレーム及び過去フレームにおける、処理対象画素とその周辺抽出領域とを示す模式図。 輝度値とノイズ推定量との関係の一例を示す図。 フレーム内類似度算出パラメータにおける上限値及び下限値と、フレーム間類似度算出パラメータにおける上限値及び下限値と、を示す図。 フレーム内類似度の総和とフレーム間類似度の総和との関係の一例を示す概念図。 フレーム内類似度の総和とフレーム間類似度の総和との関係の、図１０Ａとは異なる例を示す概念図。 図２のノイズ低減部におけるノイズ低減処理部の具体的な構成の一例を示す機能ブロック図。 第１の実施形態のノイズ低減部において行われる処理の手順を示すフローチャート。 第２の実施形態におけるノイズ低減部の具体的な構成の一例を示す機能ブロック図。 第２の実施形態のノイズ低減部において行われる処理の一部を示すフローチャート。 第２の実施形態のノイズ低減部において行われる処理の、図１４とは異なる一部を示すフローチャート。 第２の実施形態のノイズ低減部において行われる処理の、図１４及び図１５とは異なる一部を示すフローチャート。 ベイヤ配列の単板撮像素子のフィルタ配置を示す図。 現フレームと過去フレームとから抽出された領域に含まれる構造を示した図。

以下、図面を参照して本発明の実施形態を説明する。

（第１の実施形態）
図１から図１２は、本発明の第１の実施形態に係るものである。図１は、本発明の実施形態に係る画像処理装置の要部の構成を示す機能ブロック図である。図２は、第１の実施形態におけるノイズ低減部の具体的な構成の一例を示す機能ブロック図である。図３は、図２のノイズ低減部におけるフレーム内類似度算出部の具体的な構成の一例を示す機能ブロック図である。図４は、図２のノイズ低減部におけるフレーム間類似度算出部の具体的な構成の一例を示す機能ブロック図である。図５は、図２のノイズ低減部における類似度決定部の具体的な構成の一例を示す機能ブロック図である。図６は、図５の類似度決定部における類似度比較判定部の具体的な構成の一例を示す機能ブロック図である。図７は、現フレーム及び過去フレームにおける、処理対象画素とその周辺抽出領域とを示す模式図である。

図８は、輝度値とノイズ推定量との関係の一例を示す図である。図９は、フレーム内類似度算出パラメータにおける上限値及び下限値と、フレーム間類似度算出パラメータにおける上限値及び下限値と、を示す図である。図１０Ａは、フレーム内類似度の総和とフレーム間類似度の総和との関係の一例を示す概念図である。図１０Ｂは、フレーム内類似度の総和とフレーム間類似度の総和との関係の、図１０Ａとは異なる例を示す概念図である。図１１は、図２のノイズ低減部におけるノイズ低減処理部の具体的な構成の一例を示す機能ブロック図である。図１２は、第１の実施形態のノイズ低減部において行われる処理の手順を示すフローチャートである。

画像処理装置１１０は、図１に示すように、撮像部１００と、色信号分離部１０１と、複数のノイズ低減部１０２と、補間処理部１０３と、色補正処理部１０４と、階調補正部１０５と、圧縮記録部１０６と、システム制御部１０７と、を有して構成されている。

撮像部１００は、図示しないレンズ及び撮像素子を具備して構成されている。撮像部１００の前記レンズを経て前記撮像素子上に結像した画像は、光電変換されつつアナログ信号として出力される。そして、前記アナログ信号は、図示しない増幅部により増幅され、図示しないＡ／Ｄ変換部によりデジタルデータに変換された後、色信号分離部１０１へ出力される。

なお、本実施形態においては、撮像部１００の撮像素子は、ＣＣＤまたはＣＭＯＳセンサ等のチップ上にＲＧＢ原色カラーフィルタが市松状に各画素に１色配置された、図１７に示すようなベイヤ配列の単板素子を前提に説明するが、特にこのような配列等に限定されるものではない。具体的には、撮像部１００の撮像素子は、例えば、Ｃｙ、Ｍｇ、Ｙｅ及びＧの補色フィルタを有した単板素子であっても良く、または、複数のモノクロ撮像素子とダイクロイックプリズムとを具備するとともに、該ダイクロイックプリズムを介して色分離した光を夫々の撮像素子に結像させるような、多板構成としても良い。

色信号分離部１０１は、撮像部１００からのデジタルデータをＲ、Ｇｒ、Ｇｂ及びＢ画素信号毎に分離する。そして、色信号分離部１０１は、分離した各画素信号に対してホワイトバランス処理を施し、Ｇ信号に対するゲインをＲ信号及びＢ信号にかけた後、４つの色信号を夫々対応するノイズ低減部１０２へ出力する。

ノイズ低減部１０２は、色信号分離部１０１から出力される色信号毎にノイズ低減処理を施した後、該ノイズ低減処理後の各色信号を補間処理部１０３へ出力する。

補間処理部１０３は、一の画素に１色しかない色信号に対し、該一の画素の周辺画素における同色及び異色の画素値を用いることにより、該一の画素に存在しない２色の補間信号を作成する。このような処理により、補間処理部１０３は、１画素につき３色の色信号を具備する、同時化されたＲＧＢ信号を生成して色補正処理部１０４へ出力する。

色補正処理部１０４は、補間処理部１０３からの出力信号としての、撮像部１００の特性に起因するデバイス色空間上のＲＧＢ信号を、出力先となるモニタ等の色域（例えばｓＲＧＢ）に変換する処理を行う。そして、色補正処理部１０４は、前記処理を行った後のＲＧＢ信号を階調補正部１０５へ出力する。

階調補正部１０５は、出力先となるモニタ等の特性に応じた階調変換処理を色補正処理部１０４からのＲＧＢ信号に対して施した後、該階調変換処理後のＲＧＢ信号を圧縮記録部１０６へ出力する。

圧縮記録部１０６は、階調補正部１０５からのＲＧＢ信号を輝度色差信号であるＹＣｂＣｒ信号に変換し、ＪＰＥＧまたはＭＰＥＧ等の高能率圧縮処理を該ＹＣｂＣｒ信号に対して施した後、該高能率圧縮処理後の信号を記録媒体に記録する。

システム制御部１０７は、前述の各部の処理を、画像処理装置１１０の全体で機能的に動作させるための制御信号を出力する。すなわち、画像処理装置１１０の各部は、システム制御部１０７から出力される制御信号に基づいて夫々動作する。

ここで、ノイズ低減部１０２の具体的な構成について説明を行う。

ノイズ低減部１０２は、Ｎラインメモリ２００と、領域抽出部２０１と、フレーム内類似度算出部２０２と、フレーム間類似度算出部２０３と、類似度変換用ＬＵＴ２０４と、ノイズ量推定部２０５と、類似度決定部２０６と、フィルタ係数算出部２０７と、ノイズ低減処理部２０８と、フレームメモリ２０９と、制御部２１０と、を具備して構成されている。

Ｎラインメモリ２００には、色信号分離部１０１から出力される１種類の色信号が現フレーム入力画像データとして入力される。前記現フレーム入力画像データは、ノイズ低減処理の時間遅延を吸収するために、Ｎラインメモリ２００において一時的に保持される。

領域抽出部２０１は、Ｎラインメモリ２００に保持されている現フレーム入力画像データと、フレームメモリ２０９に格納されている１フレーム期間前のノイズ低減処理済みの画像データ（このフレームを以降、過去フレームと記す）と、を読み込む。そして、領域抽出部２０１は、例えば図７に示すように、現フレーム７０２における処理対象画素Ｐ（ｒ₀，ｔ₀）と、現フレーム７０２におけるＮ_x×Ｎ_y画素のサイズを有する領域画素Ｐ（ｒ，ｔ₀）と、過去フレーム７０１において現フレーム７０２と空間的に同一領域に位置する領域画素Ｐ（ｒ，ｔ₀−１）と、を抽出する。そして、領域抽出部２０１は、抽出した各画素を、フレーム内類似度算出部２０２、フレーム間類似度算出部２０３、ノイズ量推定部２０５、及び、ノイズ低減処理部２０８へ出力する。

ここで、ｒはｒ₀を中心とする矩形領域Ｎ_x×Ｎ_yの画素位置を示し、ｔ₀は現フレームの時刻を示し、ｔ₀−１は現フレームに対して１フレーム前の時刻を示すものとする。

また、Ｐ（ｒ，ｔ₀−１）は、ノイズ低減済の信号であるため、ノイズ低減前の原信号であるＰ（ｒ，ｔ₀）とは本来異なるものである。しかし、本実施形態においては、時刻に関するパラメータ以外については、表記上の区別を行わずに説明を行うものとする。

ノイズ量推定部２０５は、入力される現フレームの領域画素Ｐ（ｒ，ｔ₀）に対応する処理対象画素Ｐ（ｒ₀，ｔ₀）に重畳されているノイズ量を、領域画素Ｐ（ｒ，ｔ₀）と制御部２１０から入力されるパラメータに基づき推定し、推定結果をフレーム内類似度算出部２０２及びフレーム間類似度算出部２０３へ出力する。

ノイズ量推定部２０５におけるノイズ量Ｎ（Ｒ）の推定は、輝度値とノイズ量との関係を示す図８のようなノイズモデルと、制御部２１０からの処理パラメータに基づく関数Ｐａ（ゲイン量，露出時間，温度，…）と、に基づいて行われる。また、輝度値Ｒは、処理対象画素Ｐ（ｒ₀，ｔ₀）そのものを使用しても良く、領域画素Ｐ（ｒ，ｔ₀）の平均値を使用しても良く、領域画素Ｐ（ｒ，ｔ₀）に対してバイラテラルフィルタ処理した結果を用いても良い。なお、ノイズ量Ｎ（Ｒ）の推定の際にノイズ量推定部２０５が行う処理は、後述するノイズ推定量算出部１１０４が行う処理と略同様のものとなる。そのため、ここでは詳細な説明を省略するものとする。

フレーム内類似度算出部２０２は、入力されるノイズ量Ｎ（Ｒ）と、現フレームの領域画素Ｐ（ｒ，ｔ₀）とに基づき、Ｎ_x×Ｎ_y画素からなる領域画素Ｐ（ｒ，ｔ₀）に対応するフレーム内類似度候補Ｓｃ₁（ｒ，ｔ₀）、Ｓｃ₂（ｒ，ｔ₀）及びＳｃ₃（ｒ，ｔ₀）を算出し、算出結果を類似度決定部２０６へ出力する。

また、フレーム内類似度算出部２０２は、入力されるノイズ量Ｎ（Ｒ）と、処理対象画素Ｐ（ｒ₀，ｔ₀）と、過去フレームの領域画素Ｐ（ｒ，ｔ₀−１）とに基づき、Ｎ_x×Ｎ_y画素からなる領域画素に対応するフレーム間類似度候補Ｓｃ₁（ｒ，ｔ₀−１）、Ｓｃ₂（ｒ，ｔ₀−１）、Ｓｃ₃（ｒ，ｔ₀−１）を算出し、算出結果を類似度決定部２０６へ出力する。

類似度決定部２０６は、入力されるフレーム内類似度候補Ｓｃ₁（ｒ，ｔ₀）、Ｓｃ₂（ｒ，ｔ₀）及びＳｃ₃（ｒ，ｔ₀）の中から１つの類似度Ｓ（ｒ，ｔ₀）を決定し、フレーム間類似度候補Ｓｃ₁（ｒ，ｔ₀−１）、Ｓｃ₂（ｒ，ｔ₀−１）及びＳｃ₃（ｒ，ｔ₀−１）の中から１つの類似度Ｓ（ｒ，ｔ₀−１）を決定する。そして、類似度決定部２０６は、決定結果としての類似度Ｓ（ｒ，ｔ₀）及び類似度Ｓ（ｒ，ｔ₀−１）をフィルタ係数算出部２０７へ出力する。

フィルタ係数算出部２０７は、入力される類似度Ｓ（ｒ，ｔ₀）及びＳ（ｒ，ｔ₀−１）に基づき、Ｎ_x×Ｎ_y×２となるフィルタ係数Ｆ（ｒ，ｔ）を算出し、算出結果をノイズ低減処理部２０８へ出力する。ここで、ｔは、ｔ₀またはｔ₀−１の値を取る変数であるとする。

ノイズ低減処理部２０８は、入力される領域画素Ｐ（ｒ，ｔ₀）と、領域画素Ｐ（ｒ，ｔ₀−１）と、フィルタ係数Ｆ（ｒ，ｔ）と、制御部２１０からの処理パラメータとに基づいて処理対象画素Ｐ（ｒ₀，ｔ₀）に対するノイズ低減処理画素Ｐo（ｒ₀，ｔ₀）を算出し、算出結果を補間処理部１０３及びフレームメモリ２０９へ出力する。

フレームメモリ２０９は、２フレーム分の記録容量を有して構成されている。具体的には、フレームメモリ２０９は、現在ノイズ低減に使用している１フレーム期間前にノイズ低減処理された過去フレームではなく、２フレーム期間前に処理された過去フレームに上書きするようなリングバッファ構成を有している。

制御部２１０は、システム制御部１０７との間においてパラメータの受け渡しを行う。具体的には、制御部２１０は、システム制御部１０７から出力されるパラメータ情報のうち、撮像部１００及び色信号分離部１０１に起因するパラメータである、ノイズ量算出処理に関する処理パラメータをノイズ量推定部２０５及びノイズ低減処理部２０８へ出力する。

次に、フレーム内類似度算出部２０２の詳細な構成について、図３を参照しつつ説明を行う。

フレーム内類似度算出部２０２は、フレーム内差分絶対値算出部３０１と、フレーム内類似度第１算出部３０２と、フレーム内類似度第２算出部３０３と、フレーム内類似度第３算出部３０４と、フレーム内類似度候補出力部３０５と、フレーム内パラメータ候補値算出部３０６と、を具備して構成されている。

フレーム内差分絶対値算出部３０１は、下記数式（１）を用いつつ、入力される領域画素Ｐ（ｒ，ｔ₀）に含まれる処理対象画素Ｐ（ｒ₀，ｔ₀）とＰ（ｒ，ｔ₀）との間の差分値のの絶対値を取ることにより差分値Ｄ（ｒ，ｔ₀）を算出した後、算出結果をフレーム内類似度第１算出部３０２、フレーム内類似度第２算出部３０３、及び、フレーム内類似度第３算出部３０４へ出力する。

D(r,t₀)＝｜P(r,t₀)−P(r₀,t₀)｜ …（１）

フレーム内パラメータ候補値算出部３０６は、ノイズ量推定部２０５から出力されるノイズ量Ｎ（Ｒ）に対応したパラメータの下限値σ_vL(intra)、中間値σ_vM(intra)及び上限値σ_vU(intra)を決定する。そして、フレーム内パラメータ候補値算出部３０６は、下限値σ_vL(intra)をフレーム内類似度第１算出部３０２へ出力し、中間値σ_vM(intra)をフレーム内類似度第２算出部３０３へ出力し、上限値σ_vU(intra)をフレーム内類似度第３算出部３０４へ出力する。ここで、パラメータの下限値σ_vL(intra)、中間値σ_vM(intra)及び上限値σ_vU(intra)は、ノイズ量Ｎ（Ｒ）に対応して予め決められた輝度値Ｒの関数となっており、例えば下記数式（２）、（３）及び（４）により示すものとなる。

σ_vL(intra)(R)＝α_L×N(R)＋β_L …（２）
σ_vM(intra)(R)＝{(α_L＋α_U)×N(R)＋(β_L＋β_U)}／2 …（３）
σ_vU(intra)(R)＝α_U×N(R)＋β_U …（４）

なお、α_L、β_L、α_U及びβ_Uは、α_L＜α_U、β_L≦β_Uという大小関係を有するように予め決められた係数値である。また、ノイズ量Ｎ（Ｒ）は、輝度値Ｒに依存する関数である。

ここで、上記３つのパラメータは、上記Ｄ（ｒ，ｔ₀）をノイズ量に基づいて正規化するための値である。具体的には、輝度Ｒに対する下限値σ_vL(intra)（Ｒ）が図９の９０１に相当し、また、輝度Ｒに対する上限値σ_vU(intra)（Ｒ）が図９の９０３に相当する。

フレーム内類似度第１算出部３０２は、類似度変換用ＬＵＴ２０４のテーブルを参照することにより、入力される差分値Ｄ（ｒ，ｔ₀）及びσ_vL(intra)（Ｒ）の値を、ガウス関数値としての類似度Ｓｃ₁（ｒ，ｔ₀）に変換する。なお、この際に用いられる変換式は、下記数式（５）に示すものとなる。

Sc₁(r,t₀)＝exp(−{D(r,t₀)／σ_vL(intra)(R)}² ／2) …（５）

フレーム内類似度第２算出部３０３は、類似度変換用ＬＵＴ２０４のテーブルを参照することにより、入力される差分値Ｄ（ｒ，ｔ₀）及びσ_vM(intra)（Ｒ）の値を、ガウス関数値としての類似度Ｓｃ₂（ｒ，ｔ₀）に変換する。なお、この際に用いられる変換式は、下記数式（６）に示すものとなる。

Sc₂(r,t₀)＝exp(−{D(r,t₀)／σ_vM(intra)(R)}²／2) …（６）

フレーム内類似度第３算出部３０４は、類似度変換用ＬＵＴ２０４のテーブルを参照することにより、入力される差分値Ｄ（ｒ，ｔ₀）及びσ_vU(intra)（Ｒ）の値を、ガウス関数値としての類似度Ｓｃ₃（ｒ，ｔ₀）に変換する。なお、この際に用いられる変換式は、下記数式（７）に示すものとなる。

Sc₃(r,t₀)＝exp(−{D(r,t₀)／σ_vU(intra)(R)}²／2) …（７）

そして、これらの類似度Ｓｃ₁（ｒ，ｔ₀）、Ｓｃ₂（ｒ，ｔ₀）及びＳｃ₃（ｒ，ｔ₀）は、それぞれフレーム内類似度候補出力部３０５へ出力される。

フレーム内類似度候補出力部３０５は、入力される類似度Ｓｃ₁（ｒ，ｔ₀）、Ｓｃ₂（ｒ，ｔ₀）及びＳｃ₃（ｒ，ｔ₀）を時分割多重して類似度決定部２０６へ出力する。

続いて、フレーム間類似度算出部２０３の詳細な構成について、図４を参照しつつ説明を行う。

フレーム間類似度算出部２０３は、フレーム間差分絶対値算出部４０１と、フレーム間類似度第１算出部４０２と、フレーム間類似度第２算出部４０３と、フレーム間類似度第３算出部４０４と、フレーム間類似度候補出力部４０５と、フレーム間パラメータ候補値算出部４０６と、を具備して構成されている。

フレーム間差分絶対値算出部４０１は、下記数式（８）を用いつつ、入力される領域画素Ｐ（ｒ，ｔ₀−１）と処理対象画素Ｐ（ｒ₀，ｔ₀）との間の差分値の絶対値を取ることにより差分値Ｄ（ｒ，ｔ₀−１）を算出した後、算出結果をフレーム間類似度第１算出部４０２、フレーム間類似度第２算出部４０３、及び、フレーム間類似度第３算出部４０４へ出力する。

D(r,t₀-1)＝｜P(r,t₀-1)−P(r₀,t₀)｜ …（８）

フレーム間パラメータ候補値算出部４０６は、ノイズ量推定部２０５から出力されるノイズ量Ｎ（Ｒ）に対応したパラメータの下限値σ_vL(inter)、中間値σ_vM(inter)及び上限値σ_vU(inter)を決定する。そして、フレーム間パラメータ候補値算出部４０６は、上限値σ_vU(inter)をフレーム間類似度第１算出部４０２へ出力し、中間値σ_vM(inter)をフレーム間類似度第２算出部４０３へ出力し、下限値σ_vL(inter)をフレーム間類似度第３算出部４０４へ出力する。ここで、パラメータの下限値σ_vL(inter)、中間値σ_vM(inter)及び上限値σ_vU(inter)は、ノイズ量Ｎ（Ｒ）に対応して予め決められた輝度値Ｒの関数となっており、例えば下記数式（９）、（１０）及び（１１）により示すものとなる。

σ_vL(inter)(R)＝γ_L×N(R)＋δ_L …（９）
σ_vM(inter)(R)＝{(γ_L＋δ_U)×N(R)＋(γ_L＋δ_U)}／2 …（１０）
σ_vU(inter)(R)＝γ_U×N(R)＋δ_U …（１１）

なお、γ_L、δ_L、γ_U及びδ_Uは、γ_L＜γ_U、δ_L≦δ_Uという大小関係を有するように予め決められた係数値である。また、ノイズ量Ｎ（Ｒ）は、輝度値Ｒに依存する関数である。

ここで、上記３つのパラメータは、Ｄ（ｒ，ｔ₀−１）をノイズ量に基づいて正規化するための値である。具体的には、輝度Ｒに対する下限値σ_vL(inter)（Ｒ）が図９の９０２に相当し、また、輝度Ｒに対する上限値σ_vU(inter)（Ｒ）が図９の９０４に相当する。

図９に示すように、フレーム内類似度算出に使用するパラメータの上下限値に対してフレーム間類似度算出に使用するパラメータの上下限値が相対的に小さい理由は、過去フレームがノイズ低減済みの信号であることを加味したためである。また、残像の発生を起こさないようにするために、γ_L及びγ_Uと、δ_L及びδ_Uとをさらに小さい係数値としても良い。

フレーム間類似度第１算出部４０２は、類似度変換用ＬＵＴ２０４のテーブルを参照することにより、入力される差分値Ｄ（ｒ，ｔ₀−１）及びσ_vU(inter)（Ｒ）の値を、ガウス関数値としてのＳｃ₁（ｒ，ｔ₀−１）に変換する。なお、この際に用いられる変換式は、下記数式（１２）に示すものとなる。

Sc₁(r,t₀-1)＝exp(−{D(r,t₀-1)／σ_vU(inter)(R)}²／2) …（１２）

フレーム間類似度第２算出部４０３は、類似度変換用ＬＵＴ２０４のテーブルを参照することにより、入力される差分値Ｄ（ｒ，ｔ₀−１）及びσ_vM(inter)（Ｒ）の値を、ガウス関数値としてのＳｃ₂（ｒ，ｔ₀−１）に変換する。なお、この際に用いられる変換式は、下記数式（１３）に示すものとなる。

Sc₂(r,t₀-1)＝exp(−{D(r,t₀-1)／σ_vM(inter)(R)}²／2) …（１３）

フレーム間類似度第３算出部４０４は、類似度変換用ＬＵＴ２０４のテーブルを参照することにより、入力される差分値Ｄ（ｒ，ｔ₀−１）及びσ_vL(inter)（Ｒ）の値を、ガウス関数値としてのＳｃ₃（ｒ，ｔ₀−１）に変換する。なお、この際に用いられる変換式は、下記数式（１４）に示すものとなる。

Sc₃(r,t₀-1)＝exp(−{D(r,t₀-1)／σ_vL(inter)(R)}²／2) …（１４）

そして、これらの類似度Ｓｃ₁（ｒ，ｔ₀−１）、Ｓｃ₂（ｒ，ｔ₀−１）及びＳｃ₃（ｒ，ｔ₀−１）は、それぞれフレーム間類似度候補出力部４０５へ出力される。

フレーム間類似度候補出力部４０５は、入力される類似度Ｓｃ₁（ｒ，ｔ₀−１）、Ｓｃ₂（ｒ，ｔ₀−１）及びＳｃ₃（ｒ，ｔ₀−１）を時分割多重して類似度決定部２０６へ出力する。

続いて、類似度決定部２０６の詳細な構成について、図５を参照しつつ説明を行う。

類似度決定部２０６は、フレーム内類似度候補分離部５００と、フレーム内類似度第１総和算出部５０１と、フレーム内類似度第２総和算出部５０２と、フレーム内類似度第３総和算出部５０３と、フレーム間類似度候補分離部５０４と、フレーム間類似度第１総和算出部５０５と、フレーム間類似度第２総和算出部５０６と、フレーム間類似度第３総和算出部５０７と、エッジ有無判定部５０８と、類似度比較判定部５０９と、フレーム内類似度選択部５１０と、フレーム間類似度選択部５１１と、を具備して構成されている。

フレーム内類似度候補分離部５００には、多重化された類似度Ｓｃ₁（ｒ，ｔ₀）、Ｓｃ₂（ｒ，ｔ₀）及びＳｃ₃（ｒ，ｔ₀）が入力される。そして、フレーム内類似度候補分離部５００は、多重化された類似度Ｓｃ₁（ｒ，ｔ₀）、Ｓｃ₂（ｒ，ｔ₀）及びＳｃ₃（ｒ，ｔ₀）をそれぞれ分離した後、類似度Ｓｃ₁（ｒ，ｔ₀）をフレーム内類似度第１総和算出部５０１へ出力し、類似度Ｓｃ₂（ｒ，ｔ₀）をフレーム内類似度第２総和算出部５０２へ出力し、類似度Ｓｃ₃（ｒ，ｔ₀）をフレーム内類似度第３総和算出部５０３へ出力する。

フレーム内類似度第１総和算出部５０１は、類似度Ｓｃ₁（ｒ，ｔ₀）に対するＮ_x×Ｎ_y領域内の総和値を算出し、算出結果を類似度比較判定部５０９へ出力する。

フレーム内類似度第２総和算出部５０２は、類似度Ｓｃ₂（ｒ，ｔ₀）に対するＮ_x×Ｎ_y領域内の総和値を算出し、算出結果を類似度比較判定部５０９へ出力する。

フレーム内類似度第３総和算出部５０３は、類似度Ｓｃ₃（ｒ，ｔ₀）に対するＮ_x×Ｎ_y領域内の総和値を算出し、算出結果を類似度比較判定部５０９へ出力する。

フレーム間類似度第１総和算出部５０５は、類似度Ｓｃ₁（ｒ，ｔ₀−１）に対するＮ_x×Ｎ_y領域内の総和値を算出し、算出結果を類似度比較判定部５０９へ出力する。

フレーム間類似度第２総和算出部５０６は、類似度Ｓｃ₂（ｒ，ｔ₀−１）に対するＮ_x×Ｎ_y領域内の総和値を算出し、算出結果を類似度比較判定部５０９へ出力する。

フレーム間類似度第３総和算出部５０７は、類似度Ｓｃ₃（ｒ，ｔ₀−１）に対するＮ_x×Ｎ_y領域内の総和値を算出し、算出結果を類似度比較判定部５０９へ出力する。

エッジ有無判定部５０８は、ノイズ量推定部２０５からのノイズ量Ｎ（Ｒ）と、フレーム内類似度候補分離部５００からの類似度Ｓｃ₁（ｒ，ｔ₀）とに基づいて抽出領域内におけるエッジの有無を判定し、判定結果を類似度比較判定部５０９へ出力する。

ここで、エッジ有無判定部５０８は、類似度Ｓｃ₁（ｒ，ｔ₀）に対応する抽出領域がノイズ量推定部２０５により推定されるノイズ量に対して十分に大きな輝度変化を示す領域か否かにより、エッジの有無の判定を行う。

具体的には、まず、エッジ有無判定部５０８は、ノイズ量相当の係数により正規化されている類似度Ｓｃ₁（ｒ，ｔ₀）に対してノイズ量推定部２０５から入力されるノイズ量Ｎ（Ｒ）を乗算することにより、画像全体において絶対評価可能な値として変換した類似度を作成する。次に、エッジ有無判定部５０８は、この変換後の類似度に対する最大変化量（抽出領域内のダイナミックレンジ量）を算出した後、該最大変化量と予め設定した所定閾値ＴＨ_eとの比較を行う。そして、エッジ有無判定部５０８は、前記最大変化量が閾値ＴＨ_eより大きい場合にはエッジ有りと判定し、また、前記最大変化量が該閾値ＴＨ_e以下である場合にはエッジ無しと判定する。

続いて、類似度比較判定部５０９の詳細な構成について、図６を参照しつつ説明を行う。

類似度比較判定部５０９は、類似度総和目標値算出部６０１と、フレーム内類似度総和選択部６０２と、フレーム間類似度総和選択部６０３と、を具備して構成されている。

類似度総和目標値算出部６０１は、フレーム内類似度第１総和算出部５０１から出力される類似度総和値ΣＳｃ₁（ｒ，ｔ₀）と、フレーム間類似度第１総和算出部５０５から出力される類似度総和値ΣＳｃ₁（ｒ，ｔ₀−１）とにおける大小関係の比較を行う。ここで、Σはrに関する総和を示し、以降においてはΣ_rとも記載する。

具体的には、類似度総和目標値算出部６０１は、ΣＳｃ₁（ｒ，ｔ₀）＞ΣＳｃ₁（ｒ，ｔ₀−１）＋εであることを検出した場合、フレーム内相関がフレーム間相関より高い状態である（第１のタイプである）と判定する。また、類似度総和目標値算出部６０１は、ΣＳｃ₁（ｒ，ｔ₀）＋ε＜ΣＳｃ₁（ｒ，ｔ₀−１）であることを検出した場合、フレーム間相関がフレーム内相関より高い状態である（第２のタイプである）と判定する。さらに、類似度総和目標値算出部６０１は、｜ΣＳｃ₁（ｒ，ｔ₀）−ΣＳｃ₁（ｒ，ｔ₀−１）｜≦εであることを検出した場合、フレーム内とフレーム間とが略同等の相関を具備した状態である（第３のタイプである）と判定する。なお、εは、ノイズにより変化する類似度のバラツキ量を規定する定数である。

そして、類似度総和目標値算出部６０１は、類似度総和値ΣＳｃ₁（ｒ，ｔ₀）と類似度総和値ΣＳｃ₁（ｒ，ｔ₀−１）との比較による判定結果を、フレーム内類似度総和選択部６０２とフレーム間類似度総和選択部６０３とへ出力する。

フレーム内類似度総和選択部６０２には、類似度総和目標値算出部６０１における判定結果と、フレーム内類似度第１総和算出部５０１により算出された類似度総和値ΣＳｃ₁（ｒ，ｔ₀）と、フレーム内類似度第２総和算出部５０２により算出された類似度総和値ΣＳｃ₂（ｒ，ｔ₀）と、フレーム内類似度第３総和算出部５０３により算出された類似度総和値ΣＳｃ₃（ｒ，ｔ₀）と、が夫々入力される。そして、フレーム内類似度総和選択部６０２は、類似度総和値ΣＳｃ₁（ｒ，ｔ₀）、ΣＳｃ₂（ｒ，ｔ₀）及びΣＳｃ₃（ｒ，ｔ₀）に基づき、後段のノイズ低減処理に適した類似度となる総和のインデックス値をフレーム内類似度選択部５１０へ出力する。

フレーム間類似度総和選択部６０３には、類似度総和目標値算出部６０１における判定結果と、フレーム間類似度第１総和算出部５０５により算出された類似度総和値ΣＳｃ₁（ｒ，ｔ₀−１）と、フレーム間類似度第２総和算出部５０６により算出された類似度総和値ΣＳｃ₂（ｒ，ｔ₀−１）と、フレーム間類似度第３総和算出部５０７により算出された類似度総和値ΣＳｃ₃（ｒ，ｔ₀−１）と、が夫々入力される。そして、フレーム間類似度総和選択部６０３は、後段のノイズ低減処理に適した類似度となる総和のインデックス値をフレーム間類似度選択部５１１へ出力する。

ここで、総和の選択処理についての説明を、フレーム内類似度の総和とフレーム間類似度の総和との関係を示す図である、図１０Ａ及び図１０Ｂ等に基づいて行う。

ΣＳｃ₁（ｒ，ｔ₀）＞ΣＳｃ₁（ｒ，ｔ₀−１）＋εとなる第１のタイプは、図１０Ａ及び図１０Ｂにおける右下の領域に位置する。そして、この領域は、動領域に対応するものであり、過去フレームからの所定領域の抽出画素Ｐ（ｒ，ｔ₀−１）内において、処理対象画素Ｐ（ｒ₀，ｔ₀）との間の相関の高い画素が減ってしまった状態に相当する。

また、ΣＳｃ₁（ｒ，ｔ₀）＋ε＜ΣＳｃ₁（ｒ，ｔ₀−１）となる第２のタイプは、図１０Ａ及び図１０Ｂにおける左上の領域に位置する。そして、この領域は、動領域に対応するものであり、過去フレームからの所定領域の抽出画素Ｐ（ｒ，ｔ₀−１）内において、処理対象画素Ｐ（ｒ₀，ｔ₀）との間の相関の高い画素が増加した状態に相当する。

例えば図１８に示すように、過去フレーム抽出領域１８０１においてエッジを有する２つの平坦領域１８０３及び１８０４と、現フレーム抽出領域１８０２においてエッジを有する２つの平坦領域１８０５及び１８０６とがあり、処理対象画素Ｐ（ｒ₀，ｔ₀）の位置を符号１８０７の位置とした場合、前述の第２のタイプに相当する状態は、過去フレームの相関の高い画素が現フレームの相関の高い画素よりも多くなっているか、または、過去フレーム抽出領域と現フレーム抽出領域とが全く異なる構造を具備するとともに、見かけ上の相関が大きな画素が過去フレームに多く発生しているか、のいずれかの状態であると考えられる。これらのうち、特に後者の例においては、混入ノイズ量に影響される微細構造領域において、見かけ上の相関が大きな画素が多く発生すると考えられる。

また、｜ΣＳｃ₁（ｒ，ｔ₀）− ΣＳｃ₁（ｒ，ｔ₀−１）｜≦εとなる第３のタイプは、図１０Ａ及び図１０Ｂにおける点線斜線群により示した中央部分の領域に位置する。そして、この領域は、静止領域または略静止領域に対応するものであり、フレーム内とフレーム間との相関が同程度である場合に相当する。

図１０Ａの点１００１は、前述の第１のタイプとなった場合の値を例示するものである。図１０Ａの点１００２は、フレーム内類似度Ｓｃ₂（ｒ，ｔ₀）及びフレーム間類似度Ｓｃ₁（ｒ，ｔ₀−１）の値を示すものである。図１０Ａの点１００３は、フレーム内類似度Ｓｃ₃（ｒ，ｔ₀）及びフレーム間類似度Ｓｃ₁（ｒ，ｔ₀−１）の値を示すものである。

図１０Ａの点１００１は、前述したように、動領域に対応するものであり、フレーム内類似度の総和に対するフレーム間類似度の総和が相対的に小さい状態を示している。この状態においては、フレーム内相関が高い画素のみにより平滑化処理が行われるため、ノイズ混入量が大きくなるにつれてノイズ低減効果が十分に得られなくなる。

特に、処理対象画素Ｐ（ｒ₀，ｔ₀）が急峻なエッジ部の境界に位置する場合においては、ノイズが十分に低減されないため、例えば、エッジの動きに付随してノイジーな領域が移動するといったような目障りな状態が発生する。ここで、前提条件として、前記エッジ部周辺において、動きによる残像現象が発生しないようなフレーム間類似度Ｓｃ₁（ｒ，ｔ₀−１）が得られる程度に小さなパラメータσ_vU(inter)（Ｒ）を採用している場合を想定している。

そこで、処理対象画素Ｐ（ｒ₀，ｔ₀）が前述のような位置に存在する場合において生じ得る、前記目障りな状態を軽減するために、フレーム間類似度Ｓｃ₁（ｒ，ｔ₀−１）が小さくなっている状態を、フレーム内類似度Ｓｃ₁（ｒ，ｔ₀）が大きくなるように補填しつつ修正する。補填候補としては、例えば、図１０Ａの点１００２及び点１００３の値が挙げられる。そして、図１０Ａの点１００２及び点１００３の値のうち、より適したいずれか一方を用いてノイズ低減効果を向上させることにより、目障りなノイズの発生を抑えることができる。

ここで、図１０Ａの点１００２及び点１００３の値のうち、ノイズ低減においてより適している補填候補の選択は、例えば、点１００２を点１００１を中心に９０度回転させた点１００４と、点１００３を点１００１を中心に９０度回転させた点１００５との比較により行われる。具体的には、点１００４及び点１００５において、図１０Ａの点線斜線により示した中央部分の領域に含まれているか否か、及び、どちらが境界線１００６により近い位置にあるか、の比較結果に応じた一方の補填候補が選択される。

図１０Ａに示す例においては、点１００５が点線斜線により示した中央部分の領域に含まれるため、該点１００５に対応する点１００３の値を、ノイズ低減においてより適した補填候補であるとして選択する。すなわち、前述した、ノイズ低減においてより適している補填候補の選択に係る条件は、静止状態を想定した場合の類似度の総和に近づけることを意味し、ノイズ低減量を静止状態と同等のレベルにすることにより、背景が静止領域である場合に動領域との境界部において生じるノイズ低減量の違いを抑えるという主旨に基づいて設定されたものである。

図１０Ｂの点１００７は、前述の第２のタイプとなった場合の値を例示するものである。図１０Ｂの点１００８は、フレーム内類似度Ｓｃ₁（ｒ，ｔ₀）及びフレーム間類似度Ｓｃ₂（ｒ，ｔ₀−１）の値を示すものである。図１０Ｂの点１００９は、フレーム内類似度Ｓｃ₁（ｒ，ｔ₀）及びフレーム間類似度Ｓｃ₃（ｒ，ｔ₀−１）の値を示すものである。

図１０Ｂの点１００７は、前述したように、動領域に対応するものであり、フレーム間類似度の総和に対するフレーム内類似度の総和が相対的に小さい状態を示している。この状態においては、前述したように、エッジ部によるものか、または、相関の無いパターンによるものかに応じて以降の処理が分けられる。

前者（エッジ部によるもの）の場合においては、点１００７の値をそのまま利用することによりノイズ低減効果を得ることができる。一方、後者（相関の無いパターンによるもの）の場合において点１００７の値を用いると、ノイズの影響により見かけ上相関のあるように振舞う画素を用いて平滑化が行われるため、画像の微細構造が潰れてしまう可能性がある。

そこで、点１００７の値を、フレーム間類似度Ｓｃ₁（ｒ，ｔ₀−１）を減らすようにパラメータσ_vU(inter)（Ｒ）を小さくして算出した２つの類似度候補としての、点１００８の値または１００９の値のいずれかに切り替える。なお、２つの類似度候補から一方を選択するための判定条件としては、点１００８及び１００９において、図１０Ｂの点線斜線により示した中央部分の領域に含まれているか否か、及び、どちらが境界線１０１０により近い位置にあるか、の比較結果に応じたものとなる。

図１０Ｂに示す例においては、点１００９が点線斜線により示した中央部分の領域に含まれるため、該点１００９の値を選択する。

すなわち、前述した、２つの類似度候補から一方を選択するための判定条件は、静止状態を想定した場合の類似度の総和に近づけることによりノイズ低減量を静止状態と同等のレベルにするという主旨に基づいて設定されたものである。これにより、相対的にフレーム間類似度の影響を抑えることができるため、必要以上に微細構造を潰さないようにすることができる。

前述の説明においては、フレーム内類似度総和とフレーム間類似度総和をパラメータとして用いつつより最適なフレーム内類似度またはフレーム間類似度を決定するものとして述べたが、前述の条件によれば、抽出領域Ｐ（ｒ，ｔ₀）がエッジ部を有するかどうかの判定が必要となる。そして、本実施形態においては、抽出領域Ｐ（ｒ，ｔ₀）がエッジ部を有するかどうかの判定結果として、エッジ有無判定部５０８におけるエッジ有無判定結果を利用するものとする。

従って、フレーム内類似度総和選択部６０２は、抽出領域Ｐ（ｒ，ｔ₀）にエッジが存在し、かつ、ΣＳｃ₁（ｒ，ｔ₀）＞ΣＳｃ₁（ｒ，ｔ₀−１）＋εの場合においては、ΣＳｃ₂（ｒ，ｔ₀）またはΣＳｃ₃（ｒ，ｔ₀）のうち、２ΣＳｃ₁（ｒ，ｔ₀）−ΣＳｃ₁（ｒ，ｔ₀−１）−εの値に近い一方の値を選択し、それ以外の場合においては一律にＳｃ₁（ｒ，ｔ₀）の値を選択する。

また、フレーム間類似度総和選択部６０３は、抽出領域Ｐ（ｒ，ｔ₀）にエッジが存在せず、かつ、ΣＳｃ₁（ｒ，ｔ₀）＋ε＜ ΣＳｃ₁（ｒ，ｔ₀−１）の場合はΣＳｃ₂（ｒ，ｔ₀−１）またはＳｃ₃（ｒ，ｔ₀−１）のうち、ΣＳｃ₁（ｒ，ｔ₀）＋εの値に近い一方の値を選択し、それ以外の場合においては一律にＳｃ₁（ｒ，ｔ₀−１）の値を選択する。

フレーム内類似度選択部５１０及びフレーム間類似度選択部５１１は、それぞれ入力された類似度インデックス値に基づいて対応する類似度を１つ選択し、選択結果をフィルタ係数算出部２０７へ出力する。

フィルタ係数算出部２０７は、フレーム内類似度選択部５１０により選択された類似度Ｓ（ｒ，ｔ₀）と、フレーム間類似度選択部５１１により選択された類似度Ｓ（ｒ，ｔ₀−１）とに基づき、Ｎ_x×Ｎ_y×２画素により構成される抽出領域Ｐ（ｒ，ｔ₀）及びＰ（ｒ，ｔ₀−１）に対応するフィルタ係数Ｆ（ｒ，ｔ₀）及びＦ（ｒ，ｔ₀−１）を、下記数式（１５）及び（１６）を用いて算出する。

F(r,t₀)＝S(r,t₀)×W_intra(|ｒ-r₀|) …（１５）
F(r,t₀-1)＝S(r,t₀-1)×W_inter(|ｒ-r₀|) …（１６）

なお、上記数式（１５）におけるＷ_intra(|ｒ−ｒ₀|)、及び、上記数式（１６）におけるＷ_inter(|ｒ−ｒ₀|)は、処理対象画素位置ｒ₀に対する距離重みであり、具体的には、下記数式（１７）及び（１８）として夫々示されるものである。

W_intra(|ｒ-r₀|)＝exp(-{|r-r₀|／σ_s(intra)}²／2) …（１７）
W_inter(|ｒ-r₀|)＝exp(-{|r-r₀|／σ_s(inter)}²／2) …（１８）

ここで、上記数式（１７）におけるσ_s(intra) 、及び、上記数式（１８）におけるσ_s(inter) は、予め決められた定数であるとする。また、上記数式（１７）におけるＷ_intra(|ｒ−ｒ₀|)の値、及び、上記数式（１８）におけるＷ_inter(|ｒ−ｒ₀|)の値は、事前の計算によりＲＯＭテーブルとして保持しておくことが可能である。

そして、フィルタ係数算出部２０７は、算出したＦ（ｒ，ｔ₀）及びＦ（ｒ，ｔ₀−１）をノイズ低減処理部２０８へ出力する。

続いて、ノイズ低減処理部２０８の詳細な構成について、図１１を参照しつつ説明を行う。

ノイズ低減処理部２０８は、積和演算処理部１１０１と、正規化処理部１１０２と、逆数変換用ＬＵＴ１１０３と、ノイズ推定量算出部１１０４と、コアリング処理部１１０５と、を具備して構成されている。

図１１に示す構成のノイズ低減処理部２０８によれば、フィルタ係数算出部２０７から出力されるフィルタ係数Ｆ（ｒ，ｔ₀）及びＦ（ｒ，ｔ₀−１）が積和演算処理部１１０１及び正規化処理部１１０２に入力されるとともに、領域抽出部２０１から出力される抽出領域Ｐ（ｒ，ｔ₀）及びＰ（ｒ，ｔ₀−１）が積和演算処理部１１０１及びコアリング処理部１１０５に入力される。また、図１１に示す構成のノイズ低減処理部２０８によれば、制御部２１０から出力されるノイズ量算出に起因するパラメータがノイズ推定量算出部１１０４に入力される。

積和演算処理部１１０１は、フィルタ係数Ｆ（ｒ，ｔ₀）及びＦ（ｒ，ｔ₀−１）と、抽出領域Ｐ（ｒ，ｔ₀）及びＰ（ｒ，ｔ₀−１）とに基づいて積和演算処理を行うことにより、正規化前のリファレンス信号Ｒ（ｒ₀，ｔ₀）を算出し、算出結果を正規化処理部１１０２に出力する。ここで、リファレンス信号Ｒ（ｒ₀，ｔ₀）は、下記数式（１９）を用いることにより算出される。

R(r₀,t₀)＝Σ_r｛ F(r,t₀)P(r,t₀)＋F(r,t₀-1)P(r,t₀-1) ｝ …（１９）

正規化処理部１１０２は、フィルタ係数Ｆ（ｒ，ｔ₀）及びＦ（ｒ，ｔ₀−１）の総和を算出し、該総和に基づいて正規化係数Ｎｏｒｍ（ｒ₀）を算出する。そして、正規化処理部１１０２は、算出した正規化係数Ｎｏｒｍ（ｒ₀）を逆数変換用ＬＵＴ１１０３により逆数に変換した後、変換結果をノイズ推定量算出部１１０４へ出力する。なお、正規化係数Ｎｏｒｍ（ｒ₀）は、下記数式（２０）を用いることにより算出される。

Norm(r₀)＝Σ_r{F(r, t₀)+ F(r, t₀-1)} …（２０）

その後、正規化処理部１１０２は、リファレンス信号Ｒ（ｒ₀，ｔ₀）に対して正規化処理を施すことによりＲｎ（ｒ₀，ｔ₀）を算出し、算出結果をノイズ推定量算出部１１０４へ出力する。なお、Ｒｎ（ｒ₀，ｔ₀）は、下記数式（２１）を用いることにより算出される。

Rn(r₀,t₀)＝R(r₀,t₀)／Norm(r₀) …（２１）

ノイズ推定量算出部１１０４は、入力信号としてのリファレンス信号Ｒｎ（ｒ₀，ｔ₀）が既に用意されていることを除き、ノイズ量推定部２０５と基本的に同一の処理を行うものとして構成されている。

ここで、ノイズ推定量算出部１１０４におけるノイズ推定方法について、図８を参照しつつ説明を行う。

Ｒｎ（ｒ₀，ｔ₀）は、例えば図８に示すような、事前の測定において得られたノイズモデルＮｍ（Ｒ）により、ノイズ量Ｎ（Ｒｎ（ｒ₀，ｔ₀））に変換される。

撮像装置におけるノイズモデルＮｍ（Ｒｎ（ｒ₀，ｔ₀））は、特定の撮像装置にて予め均一輝度領域となる複数のパッチを撮影した後、その各パッチ内の所定領域の平均輝度値と標準偏差とを測定することにより得られる多項式近似曲線に対して最小二乗法を適用した関数として算出される。なお、このようなノイズモデルＮｍ（Ｒｎ（ｒ₀，ｔ₀））は、多項式係数を保持したままのものであっても良く、また、複数点からなる折れ線データとしてＬＵＴ化されたものであっても良い。

ノイズ量Ｎ（Ｒｎ（ｒ₀，ｔ₀））は、例えば、撮像部１００において指定されるゲイン量、ＩＳＯ感度、露出時間、センサ自体の温度、及び、色信号分離部１０１のホワイトバランス処理に伴うゲイン量等の、ノイズ量を増大させるパラメータの関数Ｐａ（ゲイン量，露出時間，温度，…）を、前述のノイズモデルＮｍ（Ｒｎ（ｒ₀，ｔ₀））に対して乗算することにより算出される。

ノイズ推定量算出部１１０４は、制御部２１０を介して入力される前述の各パラメータに基づき、前記関数Ｐａを算出する。なお、前記関数Ｐａは、例えば多項式またはＬＵＴのような、関数値を求められるように表現されているものとする。

従って、ノイズ量Ｎ（Ｒｎ（ｒ₀，ｔ₀））は、下記数式（２２）により求められる。

N(Rn(r₀,t₀))＝Nm(Rn(r₀,t₀))×Pa(ゲイン量,露出時間,温度,…) …（２２）

ノイズ推定量算出部１１０４は、算出したノイズ量Ｎ（Ｒｎ（ｒ₀，ｔ₀））をコアリング処理部１１０５へ出力する。

コアリング処理部１１０５は、処理対象画素Ｐ（ｒ₀，ｔ₀）と、リファレンス信号Ｒｎ（ｒ₀，ｔ₀）と、ノイズ量Ｎ（Ｒ）とに基づいてコアリング処理を行うことにより、処理対象画素Ｐ（ｒ₀，ｔ₀）に対するノイズ低減処理画素Ｐ₀（ｒ₀，ｔ₀）を算出し、算出結果を補間処理部１０３及びフレームメモリ２０９へ出力する。

具体的には、コアリング処理部１１０５は、｜Ｐ（ｒ₀，ｔ₀）−Ｒｎ（ｒ₀，ｔ₀）｜＜Ｎ（Ｒｎ（ｒ₀，ｔ₀））の場合においては、Ｒｎ（ｒ₀，ｔ₀）をノイズ低減処理画素Ｐ₀（ｒ₀，ｔ₀）とする。また、コアリング処理部１１０５は、Ｐ（ｒ₀，ｔ₀）−Ｒｎ（ｒ₀，ｔ₀）≧Ｎ（Ｒｎ（ｒ₀，ｔ₀））の場合においては、Ｐ（ｒ₀，ｔ₀）−Ｎ（Ｒｎ（ｒ₀，ｔ₀））をノイズ低減処理画素Ｐ₀（ｒ₀，ｔ₀）とする。一方、コアリング処理部１１０５は、Ｐ（ｒ₀，ｔ₀）−Ｒｎ（ｒ₀，ｔ₀）≦−Ｎ（Ｒｎ（ｒ₀，ｔ₀））の場合においては、Ｐ（ｒ₀，ｔ₀）＋Ｎ（Ｒｎ（ｒ₀，ｔ₀））をノイズ低減処理画素Ｐ₀（ｒ₀，ｔ₀）とする。

以上に述べたように、本実施形態のノイズ低減処理によれば、ノイズ量を基準に算出したフレーム内とフレーム間との類似度を動画像の局所的な状態に応じて修正しながら３次元バイラテラルフィルタ係数を算出するため、動画像の動静に応じたノイズ低減効果を最大限に引き出すことができ、さらに、必要に応じて微細構造を維持することができる。

続いて、ノイズ低減部１０２が１フレーム期間において行う処理の手順について、図１２のフローチャートを参照しつつ説明する。

色信号分離部１０１から入力される現フレームの色分離単色データがノイズ低減部１０２のＮラインメモリ２００に格納された後、Ｎラインメモリ２００と、１フレーム期間前のノイズ低減処理済みの過去フレームデータが格納されているフレームメモリ２０９とから、現時点において処理対象となる画素、及び、該処理対象となる画素の周辺領域の画素からなる所定領域を抽出する。（ステップ１２０１）
次に、現フレームの抽出領域から処理対象画素に重畳されているノイズ量を推定（ステップ１２０２）し、ノイズ推定量に基づいて処理対象画素に対するフレーム内類似度とフレーム間類似度とを算出（ステップ１２０３）する。

さらに、フレーム内類似度とノイズ推定量とに基づいて抽出領域のエッジの有無を判定（ステップ１２０４）し、フレーム内類似度の総和とフレーム間類似度の総和とエッジ有無判定結果とに基づき、フレーム内類似度とフレーム間類似度とを修正（ステップ１２０５）する。

そして、修正後のフレーム内類似度とフレーム間類似度とにより、現フレームの抽出領域に作用させるフィルタ係数を算出（ステップ１２０６）し、算出したフィルタ係数に基づいて抽出領域に対するフィルタ処理を行い、処理対象画素に対するノイズ低減処理結果を算出（ステップ１２０７）する。

ノイズ低減処理が施された処理対象画素は、補間処理部１０３へ出力されるとともに、過去フレームとして保持する巡回用フレームメモリに格納（ステップ１２０８）される。

その後、処理対象画素が１フレーム内の最後の画素か否かを判定（ステップ１２０９）し、１フレーム内の最後の画素ではない場合には、ステップ１２０１からの一連の処理を繰り返し行う。一方、処理対象画素が１フレーム内の最後の画素である場合には、一連の処理を終了する。

ところで、巡回型の３次元バイラテラルフィルタを用いたノイズ低減処理によれば、動領域のエッジ部において残像を発生させない条件としてフレーム間類似度を設定した場合に、その副作用として、該エッジ部周辺に低減できないノイズが付着した目障りな画像となってしまう。

これに対し、本実施形態によれば、エッジ周辺のみに対し、ノイズ量に基づいた制限付きでフレーム内類似度をより大きな類似度に変更しつつフィルタ係数を算出するため、目障りなノイズを低減することができ、さらに、必要以上に構造を潰さないように制御することができる。また、本実施形態によれば、動領域にあってノイズに影響されるレベルの微細構造領域に対し、ノイズ量に基づいた制限付きでフレーム間類似度を小さくするように変更しつつフィルタ係数を算出するため、ノイズ低減効果を必要以上に落とすことなく微細構造を残すことができる。

本実施形態においては、３次元バイラテラルフィルタを用いたノイズ低減処理を行うものとして説明を行ったが、これに限定されるものではなく、例えば、バイラテラルフィルタの代わりに有理フィルタを用いたとしても同様の効果を得ることができる。なお、この場合の類似度は、輝度差の差分絶対値と処理対象画素に含まれる推定されたノイズ量との加算結果の逆数に基づいて算出されることになる。また、前記類似度は、ノイズで正規化された輝度差の差分絶対値が大きくなるにつれて小さな値を与える任意の関数を用いて算出されるものであっても良い。

本実施形態においては、フレーム間及びフレーム内において夫々予め３つの類似度候補を算出した後、その中から最終類似度を選択するような構成としたが、このような構成に限定されるものではなく、例えば、フレーム間及びフレーム内において夫々予め２つまたは４つ以上の類似度候補を算出した後、その中から最終類似度選択するような構成であっても良い。

本実施形態においては、巡回型の３次元フィルタとして構成したが、巡回型でなくとも良い。なお、この場合においては、フレーム遅延を発生させるフレームメモリの入力を入力信号に接続するように構成すれば良い。

（第２の実施形態）
図１３から図１６は、本発明の第２の実施形態に係るものである。図１３は、第２の実施形態におけるノイズ低減部の具体的な構成の一例を示す機能ブロック図である。図１４は、第２の実施形態のノイズ低減部において行われる処理の一部を示すフローチャートである。図１５は、第２の実施形態のノイズ低減部において行われる処理の、図１４とは異なる一部を示すフローチャートである。図１６は、第２の実施形態のノイズ低減部において行われる処理の、図１４及び図１５とは異なる一部を示すフローチャートである。

なお、以降の説明において、第１の実施形態と同様の構成を持つ部分については、詳細な説明を省略する。また、本実施形態におけるノイズ低減部の構成は、第１の実施形態におけるノイズ低減部１０２と類似の構成を有している。そのため、本実施形態においては、第１の実施形態におけるノイズ低減部１０２と異なる部分について主に説明を行うものとする。

第１の実施形態のノイズ低減部１０２は、処理対象画素のノイズ量に基づき、フレーム内類似度算出部２０２とフレーム間類似度算出部２０３とにおいて夫々３つの類似度候補を算出し、類似度決定部２０６においてその中から最適な類似度を夫々１つ選択する、という処理を行うものである。一方、本実施形態のノイズ低減部１０２は、処理対象画素のノイズ量に基づいて決められた類似度算出用パラメータの上限値及び下限値により設定されるパラメータ定義域を細かく分割し、最適な条件を満足する類似度となるまで繰り返し処理を行うものである。

これに伴い、本実施形態のノイズ低減部１０２によれば、図１３に示すように、フレーム内類似度算出部１３０１、フレーム間類似度算出部１３０２及び類似度決定部１３０４の構成が第１の実施形態のノイズ低減部１０２と異なり、さらに、抽出領域から直接エッジの有無を判定するフレーム内エッジ判定部１３０３が新たに追加されている。

ここで、前述の各部における処理について、図１４、図１５及び図１６のフローチャートを参照しつつ説明を行う。

図１４のフローチャートに示す一連の処理は、図１２のフローチャートに示すステップ１２０３の処理に対応するものである。

フレーム内類似度算出部１３０１は、処理対象画素Ｐ（ｒ₀，ｔ₀）のノイズ量Ｎに基づくフレーム内類似度算出用パラメータの上限値及び下限値を決定し、決定結果を類似度決定部１３０４へ出力する。（ステップ１４０１）
フレーム間類似度算出部１３０２は、処理対象画素Ｐ（ｒ₀，ｔ₀）のノイズ量Ｎに基づくフレーム間類似度算出用パラメータの上限値及び下限値を決定し、決定結果を類似度決定部１３０４へ出力する。（ステップ１４０２）
また、フレーム内類似度算出部１３０１は、決定したフレーム内類似度算出用パラメータの下限値を用いてフレーム内類似度を算出し、算出結果を類似度決定部１３０４へ出力する。（ステップ１４０３）
一方、フレーム間類似度算出部１３０２は、決定したフレーム間類似度算出用パラメータの上限値を用いてフレーム間類似度を算出し、算出結果を類似度決定部１３０４へ出力する。（ステップ１４０４）
図１５のフローチャートに示す一連の処理は、図１２のフローチャートに示すステップ１２０４の処理に対応するものである。

フレーム内エッジ判定部１３０３は、領域抽出部２０１により抽出された領域の領域画素Ｐ（ｒ，ｔ₀）に対し、水平、垂直及び斜め方向に対するソーベルフィルタまたはラプラシアンフィルタを作用させることによりエッジ成分を検出した後、抽出領域内において検出したエッジ成分を加算することによりエッジ強度判定量を算出する。（ステップ１５０１）
そして、フレーム内エッジ判定部１３０３は、前記エッジ強度判定量と所定の閾値との比較判定を行い、判定結果としてのエッジ有無情報を類似度決定部１３０４へ出力する。（ステップ１５０２）
図１６のフローチャートに示す一連の処理は、図１２のフローチャートに示すステップ１２０５の処理に対応するものである。

類似度決定部１３０４は、フレーム内類似度の抽出領域内総和ΣＳ（ｒ，ｔ₀）を算出（ステップ１６０１）し、フレーム間類似度の抽出領域内総和ΣＳ（ｒ，ｔ₀−１）を算出（ステップ１６０２）する。

さらに、類似度決定部１３０４は、算出した２つの総和ΣＳ（ｒ，ｔ₀）及びΣＳ（ｒ，ｔ₀−１）に対し、ΣＳ（ｒ，ｔ₀）＋ε＜ΣＳ（ｒ，ｔ₀−１）の条件が成り立つか否かを判定（ステップ１６０３）する。そして、類似度決定部１３０４は、前記条件が成り立たない場合には、後述のステップ１６１０の処理を引き続き行い、また、前記条件が成り立つ場合には、抽出領域に強エッジが存在しないか否かを判定（ステップ１６０４）する。

類似度決定部１３０４は、フレーム内エッジ判定部１３０３から出力されるエッジ有無情報に基づく判定を行うことにより、抽出領域に強エッジが存在しない場合には、フレーム間類似度総和閾値ＴＨｐを算出（ステップ１６０５）した後、フレーム間類似度算出用パラメータを所定量だけ小さくするように修正（ステップ１６０６）する。

類似度決定部１３０４は、修正後のフレーム間類似度算出用パラメータとフレーム間類似度算出部１３０２から出力される下限値とを比較（ステップ１６０７）する。そして、類似度決定部１３０４は、修正後のフレーム間類似度算出用パラメータが前記下限値以上である場合には、該修正後のフレーム間類似度算出用パラメータをフレーム間類似度算出部１３０２へ出力する。

フレーム間類似度算出部１３０２は、前記修正後のフレーム間類似度算出用パラメータに基づいてフレーム間類似度Ｓ（ｒ，ｔ₀−１）を再算出した後、再算出結果を類似度決定部１３０４へ戻し、フレーム間類似度の総和ΣＳ（ｒ，ｔ₀−１）を算出する。（ステップ１６０８）
類似度決定部１３０４は、再算出されたフレーム間類似度の総和ΣＳ（ｒ，ｔ₀−１）と、フレーム間類似度総和閾値ＴＨｐとを比較（ステップ１６０９）する。そして、類似度決定部１３０４は、ΣＳ（ｒ，ｔ₀−１）≧ＴＨｐである場合にはステップ１６０６に戻って処理を行い、また、ΣＳ（ｒ，ｔ₀−１）＜ＴＨｐである場合には後述のステップ１６１７の処理を引き続き行う。

なお、ステップ１６０４の処理により強エッジが存在すると判定された場合、及び、ステップ１６０７の処理により修正後のパラメータが下限値未満と判定された場合のいずれにおいても、後述のステップ１６１７の処理が行われる。

一方、類似度決定部１３０４は、算出した２つの総和ΣＳ（ｒ，ｔ₀）及びΣＳ（ｒ，ｔ₀−１）に対し、ΣＳ（ｒ，ｔ₀）＋ε＜ΣＳ（ｒ，ｔ₀−１）の条件が成り立たない場合には、ΣＳ（ｒ，ｔ₀）＞ΣＳ（ｒ，ｔ₀−１）＋εの条件が成り立つか否かの判定をさらに行う。（ステップ１６１０）そして、類似度決定部１３０４は、前記条件が成り立たない場合には、後述のステップ１６１７の処理を引き続き行い、また、前記条件が成り立つ場合には、抽出領域に強エッジが存在するか否かを判定（ステップ１６１１）する。

類似度決定部１３０４は、抽出領域に強エッジが存在する場合には、フレーム内類似度総和閾値ＴＨｃを算出（ステップ１６１２）した後、フレーム内類似度算出用パラメータを所定量だけ大きくするように修正（ステップ１６１３）する。

類似度決定部１３０４は、修正後のフレーム内類似度算出用パラメータとフレーム内類似度算出部１３０１から出力される上限値とを比較（ステップ１６１４）する。そして、類似度決定部１３０４は、修正後のフレーム内類似度算出用パラメータが前記上限値以下である場合には、該修正後のフレーム内類似度算出用パラメータをフレーム内類似度算出部１３０１へ出力する。

フレーム内類似度算出部１３０１は、前記修正後のフレーム内類似度算出用パラメータに基づいてフレーム内類似度Ｓ（ｒ，ｔ₀）を再算出した後、再算出結果を類似度決定部１３０４へ戻し、フレーム内類似度の総和ΣＳ（ｒ，ｔ₀）を算出する。（ステップ１６１５）
類似度決定部１３０４は、再算出されたフレーム内類似度の総和ΣＳ（ｒ，ｔ₀）と、フレーム内類似度総和閾値ＴＨｃとを比較（ステップ１６１６）する。そして、類似度決定部１３０４は、ΣＳ（ｒ，ｔ₀）≦ＴＨｃである場合にはステップ１６１３に戻って処理を行い、また、ΣＳ（ｒ，ｔ₀）＞ＴＨｐである場合には後述のステップ１６１７の処理を引き続き行う。

なお、ステップ１６１１の処理により強エッジが存在しないと判定された場合、及び、ステップ１６１４の処理により修正後のパラメータが上限値を超えていると判定された場合のいずれにおいても、後述のステップ１６１７の処理が行われる。

そして、類似度決定部１３０４は、更新された最新のフレーム内類似度Ｓ（ｒ，ｔ₀）及びフレーム間類似度Ｓ（ｒ，ｔ₀−１）を、フィルタ係数算出部２０７へ出力する。（ステップ１６１７）
以上に述べた本実施形態の処理によれば、推定されたノイズ量に応じた設定範囲内でフレーム内とフレーム間とにおける類似度算出パラメータを細かく指定できるため、所望のフレーム内類似度及びフレーム間類似度に精度良く合わせることができる。そのため、以上に述べた本実施形態の処理によれば、動領域及び静止領域における構造と、ノイズ量とに適応したフィルタ係数を算出することができる。

なお、本発明は、上述した各実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

１００ 撮像部
１０１ 色信号分離部
１０２ ノイズ低減部
１０３ 補間処理部
１０４ 色補正処理部
１０５ 階調補正部
１０６ 圧縮記録部
１０７ システム制御部
１１０ 画像処理装置
２００ Ｎラインメモリ
２０１ 領域抽出部
２０２，１３０１ フレーム内類似度算出部
２０３，１３０２ フレーム間類似度算出部
２０４ 類似度変換ＬＵＴ
２０５ ノイズ量推定部
２０６，１３０４ 類似度決定部
２０７ フィルタ係数算出部
２０８ ノイズ低減処理部
２０９ フレームメモリ
２１０ 制御部
１３０３ フレーム内エッジ判定部

特開平６−６２２８３号公報 特開２００６−２２９７４９号公報

Claims (20)

1. 時系列的に入力される画像に対してノイズ低減処理を行う画像処理装置において、
   処理対象画像と該処理対象画像に対する過去の画像とを保持する記録手段と、
   前記記録手段において保持された前記処理対象画像内の対象画素を含む第１の所定領域の複数画素と、該対象画素に対して過去の画像の第２の所定領域の複数画素と、を抽出する画素抽出手段と、
   前記対象画素に対するノイズ量を推定するノイズ量推定手段と、
   前記第１の所定領域内の対象画素とその周辺の画素との第１の類似度、及び、前記第１の所定領域内の対象画素と前記第２の所定領域内の画素との第２の類似度を、前記ノイズ量に基づいて算出する類似度算出手段と、
   前記第１の所定領域における前記第１の類似度に係る第１の特徴量、及び、前記第２の所定領域における前記第２の類似度に係る第２の特徴量を算出する類似度特徴量算出手段と、
   前記第１の特徴量及び前記第２の特徴量に基づき、前記第１の類似度及び前記第２の類似度を修正する類似度修正手段と、
   前記類似度修正手段により修正された前記第１の類似度及び前記第２の類似度に基づき、前記第１の所定領域の各画素及び前記第２の所定領域の各画素に対するフィルタ係数を算出するフィルタ係数算出手段と、
   前記フィルタ係数に基づいて前記対象画素のノイズを低減するノイズ低減手段と、
   を有することを特徴とする画像処理装置。
2. 前記類似度算出手段により算出される類似度は、前記対象画素の画素値に対する前記第１の所定領域または前記第２の所定領域の各画素値の差分値の絶対値と、前記ノイズ量と、に基づいて決定される係数を変数とする関数値であることを特徴とする請求項１に記載の画像処理装置。
3. 前記類似度特徴量算出手段は、前記第１の所定領域における前記第１の類似度の総和を前記第１の特徴量として算出し、前記第２の所定領域における前記第２の類似度の総和を前記第２の特徴量として算出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記類似度特徴量算出手段は、前記第１の所定領域における第１の類似度及び前記ノイズ量に基づき、前記第１の所定領域内の最大変動量を算出する最大変動量算出手段を有することを特徴とする請求項３に記載の画像処理装置。
5. 前記第１の所定領域内におけるエッジ量を検出するエッジ量検出手段をさらに有し、
   前記類似度修正手段は、さらに、前記エッジ量に基づいて前記第１の類似度を修正することを特徴とする請求項３に記載の画像処理装置。
6. 前記類似度修正手段は、
   前記第１の類似度の総和と前記第２の類似度の総和とを比較する比較手段と、
   前記第１の類似度の総和に対する第１の目標値を算出し、該第１の目標値に基づいて前記第１の類似度を修正する第１類似度決定手段と、
   前記第２の類似度の総和に対する第２の目標値を算出し、該第２の目標値に基づいて前記第２の類似度を修正する第２類似度決定手段と、
   前記比較手段の比較結果に基づき、前記第１類似度決定手段または前記第２類似度決定手段を選択する処理選択手段と、
   を有することを特徴とする請求項４または５に記載の画像処理装置。
7. 前記処理選択手段は、前記比較手段の比較結果において、前記第１の類似度の総和が前記第２の類似度の総和より大きいと判断された場合には前記第１類似度決定手段を選択し、前記第１の類似度の総和が前記第２の類似度の総和より小さいと判断された場合には前記第２類似度決定手段を選択することを特徴とする請求項６に記載の画像処理装置。
8. 前記第１の目標値は、前記第１の類似度の総和に対する前記第２の類似度の総和の差分を、前記第１の類似度の総和に加算した値であることを特徴とする請求項６に記載の画像処理装置。
9. 前記第２の目標値は、前記第１の類似度の総和であることを特徴とする請求項６に記載の画像処理装置。
10. 前記フィルタ決定手段において決定されるフィルタ係数は、バイラテラルフィルタに対応するものであることを特徴とする請求項１乃至９のいずれか一項に記載の画像処理装置。
11. 時系列的に入力される画像に対してノイズ低減処理を行う画像処理方法において、
    処理対象画像と該処理対象画像に対する過去の画像とを保持する記録ステップと、
    前記記録ステップにおいて保持された前記処理対象画像内の対象画素を含む第１の所定領域の複数画素と、該対象画素に対して過去の画像の第２の所定領域の複数画素と、を抽出する画素抽出ステップと、
    前記対象画素に対するノイズ量を推定するノイズ量推定ステップと、
    前記第１の所定領域内の対象画素とその周辺の画素との第１の類似度、及び、前記第１の所定領域内の対象画素と前記第２の所定領域内の画素との第２の類似度を、前記ノイズ量に基づいて算出する類似度算出ステップと、
    前記第１の所定領域における前記第１の類似度に係る第１の特徴量、及び、前記第２の所定領域における前記第２の類似度に係る第２の特徴量を算出する類似度特徴量算出ステップと、
    前記第１の特徴量及び前記第２の特徴量に基づき、前記第１の類似度及び前記第２の類似度を修正する類似度修正ステップと、
    前記類似度修正ステップにより修正された前記第１の類似度及び前記第２の類似度に基づき、前記第１の所定領域の各画素及び前記第２の所定領域の各画素に対するフィルタ係数を算出するフィルタ係数算出ステップと、
    前記フィルタ係数に基づいて前記対象画素のノイズを低減するノイズ低減ステップと、
    を有することを特徴とする画像処理方法。
12. 前記類似度算出ステップにより算出される類似度は、前記対象画素の画素値に対する前記第１の所定領域または前記第２の所定領域の各画素値の差分値の絶対値と、前記ノイズ量と、に基づいて決定される係数を変数とする関数値であることを特徴とする請求項１１に記載の画像処理方法。
13. 前記類似度特徴量算出ステップは、前記第１の所定領域における前記第１の類似度の総和を前記第１の特徴量として算出し、前記第２の所定領域における前記第２の類似度の総和を前記第２の特徴量として算出することを特徴とする請求項１１または１２に記載の画像処理方法。
14. 前記類似度特徴量算出ステップは、前記第１の所定領域における第１の類似度及び前記ノイズ量に基づき、前記第１の所定領域内の最大変動量を算出する最大変動量算出ステップを有することを特徴とする請求項１３に記載の画像処理方法。
15. 前記第１の所定領域内におけるエッジ量を検出するエッジ量検出ステップをさらに有し、
    前記類似度修正ステップは、さらに、前記エッジ量に基づいて前記第１の類似度を修正することを特徴とする請求項１３に記載の画像処理方法。
16. 前記類似度修正ステップは、
    前記第１の類似度の総和と前記第２の類似度の総和とを比較する比較ステップと、
    前記第１の類似度の総和に対する第１の目標値を算出し、該第１の目標値に基づいて前記第１の類似度を修正する第１類似度決定ステップと、
    前記第２の類似度の総和に対する第２の目標値を算出し、該第２の目標値に基づいて前記第２の類似度を修正する第２類似度決定ステップと、
    前記比較ステップの比較結果に基づき、前記第１類似度決定ステップまたは前記第２類似度決定ステップを選択する処理選択ステップと、
    を有することを特徴とする請求項１４または１５に記載の画像処理方法。
17. 前記処理選択ステップは、前記比較ステップの比較結果において、前記第１の類似度の総和が前記第２の類似度の総和より大きいと判断された場合には前記第１類似度決定ステップを選択し、前記第１の類似度の総和が前記第２の類似度の総和より小さいと判断された場合には前記第２類似度決定ステップを選択することを特徴とする請求項１６に記載の画像処理方法。
18. 前記第１の目標値は、前記第１の類似度の総和に対する前記第２の類似度の総和の差分を、前記第１の類似度の総和に加算した値であることを特徴とする請求項１６に記載の画像処理方法。
19. 前記第２の目標値は、前記第１の類似度の総和であることを特徴とする請求項１６に記載の画像処理方法。
20. 前記フィルタ決定ステップにおいて決定されるフィルタ係数は、バイラテラルフィルタに対応するものであることを特徴とする請求項１１乃至１９のいずれか一項に記載の画像処理方法。

Images