JP2013214272A - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】画像に対する効率的なノイズ低減処理を実現する装置および方法を提供する。
【解決手段】ノイズ低減対象画素の画素値補正に適用する参照領域構成画素の画素値の度数分布データを含む画像解析情報を生成する画像解析部と、画像解析情報を適用して画素値補正を実行する画素値補正部を有する。画像解析部は輝度値に応じて異なるビン幅の複数のビンを設定し、各ビン対応の輝度範囲の画素数を度数データとして設定した度数分布データを生成する。画素値補正部はノイズ低減対象画素の画素値の含まれるビンである補正対象画素対応ビン、および該補正対象画素対応ビンに隣接する予め設定した既定数のビンを選択し、選択ビンに含まれる参照画素の画素値を適用した演算処理によりノイズ低減対象画素の補正画素値を算出する。
【選択図】図５

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、画像のノイズ低減を行う画像処理装置、および画像処理方法、並びにプログラムに関する。

画像のノイズ低減処理（ＮＲ：Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）を実行する場合、例えば同じ被写体を含む連続撮影された複数枚の画像を適用した処理が行われる。なお、複数の画像を利用したノイズ低減等の画像処理技術を開示した従来技術としては、例えば、特許文献１（特開２００９−１９４７００）、あるいは特許文献２（特開２００９−２９０８２７号公報）等がある。

これらの文献には、例えば連続撮影された複数画像を利用し、各画像にノイズ低減対象画素（注目画素）を中心とした参照領域を設定し、参照領域に含まれる画素値の加算平均などによりノイズ低減対象画素（注目画素）の補正画素値を算出してノイズ低減を行う処理を開示している。

ノイズ低減処理を行う場合、より多くの画像を利用することで、効果的なノイズ低減が実現されることが知られている。
また、位置合わせをした時間的に連続した画像を加算平均する三次元ノイズ低減（ＮＲ）アルゴリズムにおいては、ＮＲ効果を上げるために参照範囲を広くすることが有効であることが知られている。

しかし、参照範囲を広くすると、参照範囲に含まれる画素数が増大する。また、参照範囲にある画素には、ノイズ低減対象となる注目画素の画素値と大きく異なる画素値を有する画素も含まれる。これは、例えば動被写体の存在や、エラー画素の存在、あるいは撮影環境の突発的な変化などに起因する。これらの様々な要因によって、参照領域内に注目画素の画素値と大きく異なる画素が発生することがある。

このようにノイズ低減対象となる注目画素の画素値と大きく異なる画素値を、注目画素の補正画素値の算出処理、例えば加算平均処理に適用してしまうと、注目画素の補正画素値が誤った画素値に設定されてしまう。
従って、ノイズ低減対象となる注目画素の画素値と大きく異なる画素値を有する画素については参照領域に含まれていても、補正画素値の算出処理に含めない設定とすることが必要となる。
このように、補正対象画素の画素値と大きく離れた参照領域内の画素を排除して、選択された参照画素のみの加算平均などにより補正画素値を算出することで高精度なノイズ低減が可能となる。

上記の処理を行う場合、例えばノイズ低減処理対象となる注目画素の周辺領域に設定した参照領域内の画素各々について加算平均処理に適用してよいか否かの判定処理が必要となる。
この判定処理は、例えば注目画素の輝度値と参照領域の各画素の輝度値との差分を、予め設定した閾値と比較する処理によって行われる。注目画素の輝度値と参照領域の画素の輝度値との差分が閾値未満である場合にのみ、加算平均処理の対象画素とするものである。
しかし、上記判定処理を行う場合、参照領域に含まれる全ての画素毎に閾値との比較を実行する必要があり、参照領域に含まれる画素数が多い場合には、計算コストが増大するという問題が発生する。

特開２００９−１９４７００号公報 特開２００９−２９０８２７号公報

本開示は、例えば上記問題点に鑑みてなされたものであり、効率的なノイズ低減を行う画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
ノイズ低減対象画素の画素値補正に適用する参照画素を選択するための参照領域に含まれる画素の画素値に対応する度数分布データを含む画像解析情報を生成する画像解析部と、
前記画像解析情報を適用して画素値補正を実行する画素値補正部を有し、
前記画像解析部は、
輝度値に応じて異なる大きさの輝度範囲をビン幅に設定した異なるビン幅の複数のビンを設定し、各ビン対応の輝度範囲の画素数を度数データとして設定した度数分布データを生成し、
前記画素値補正部は、
前記ノイズ低減対象画素の画素値の含まれるビンである補正対象画素対応ビン、および該補正対象画素対応ビンに隣接する予め設定した既定数のビンを選択し、選択ビンに含まれる参照画素の画素値を適用した演算処理により前記ノイズ低減対象画素の補正画素値を算出する画像処理装置にある。

さらに、本開示の画像処理装置の一実施態様において、前記画素値補正部は、前記選択ビンに含まれる参照画素の画素値の加算平均処理により、前記ノイズ低減対象画素の補正画素値を算出する。

さらに、本開示の画像処理装置の一実施態様において、前記画像解析部は、輝度値とノイズ標準偏差との対応関係データを利用し、輝度値Ｙに対応するノイズ標準偏差σ（Ｙ）の値、または予め設定した係数ｋを乗算したｋσ（Ｙ）を前記ビン幅として設定した度数分布データを生成する。

さらに、本開示の画像処理装置の一実施態様において、前記画像解析部は、前記異なるビン幅の複数のビンを設定した度数分布データに併せて、各ビン対応の画素の画素値総和データを付随データとして生成する。

さらに、本開示の画像処理装置の一実施態様において、前記画像解析部は、前記付随データとして、各ビン対応の画素のＹ，Ｕ，Ｖ各画素値の総和データを生成する。

さらに、本開示の画像処理装置の一実施態様において、前記画素値補正部は、前記ノイズ低減対象画素の画素値と、前記選択ビンの付随データであるＵ，Ｖ各画素値の総和データから算出した選択ビンのＵおよびＶの平均値との差分が既定閾値未満のビンを再選択し、再選択ビンに含まれる参照画素の画素値を適用した演算処理により前記ノイズ低減対象画素の補正画素値を算出する。

さらに、本開示の画像処理装置の一実施態様において、前記画素値補正部は、前記ノイズ低減対象画素の含まれる中央ビンのＵおよびＶの各平均値と、前記選択ビンのＵおよびＶの各平均値との差分が既定閾値未満のビンを再選択し、再選択ビンに含まれる参照画素の画素値を適用した演算処理により前記ノイズ低減対象画素の補正画素値を算出する。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、前記ノイズ低減対象画素を含む画像を縮小する画像縮小部を有し、前記画像解析部は、前記画像縮小部の生成した縮小画像に基づいて前記画像解析情報を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記画像縮小部は、エッジ保存平滑化処理を実行して縮小画像を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記画像解析部は、前記ノイズ低減対象画素を含む画像を含む複数の連続撮影画像の対応画素領域を参照領域として設定し、該参照領域に含まれる画素の画素値に対応する度数分布データを含む画像解析情報を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記画像解析部は、前記度数分布データを各画像単位で生成し、生成した画像単位の度数分布データをＦＩＦＯバッファに格納し、ＦＩＦＯバッファに格納した複数の画像の度数分布データの演算処理により、複数の連続撮影画像に設定された参照領域に含まれる画素の画素値に対応する度数分布データを含む画像解析情報を生成する。

さらに、本開示の第２の側面は、
画像処理装置において画素のノイズ低減処理を実行する画像処理方法であり、
画像解析部が、ノイズ低減対象画素の画素値補正に適用する参照画素を選択するための参照領域に含まれる画素の画素値に対応する度数分布データを含む画像解析情報を生成する画像解析ステップと、
画素値補正部が、前記画像解析情報を適用して画素値補正を実行する画素値補正ステップを実行し、
前記画像解析ステップは、
輝度値に応じて異なる大きさの輝度範囲をビン幅に設定した異なるビン幅の複数のビンを設定し、各ビン対応の輝度範囲の画素数を度数データとして設定した度数分布データを生成するステップであり、
前記画素値補正ステップは、
前記ノイズ低減対象画素の画素値の含まれるビンである補正対象画素対応ビン、および該補正対象画素対応ビンに隣接する予め設定した既定数のビンを選択し、選択ビンに含まれる参照画素の画素値を適用した演算処理により前記ノイズ低減対象画素の補正画素値を算出するステップである画像処理方法にある。

さらに、本開示の第３の側面は、
画像処理装置において画素のノイズ低減処理を実行させるプログラムであり、
画像解析部に、ノイズ低減対象画素の画素値補正に適用する参照画素を選択するための参照領域に含まれる画素の画素値に対応する度数分布データを含む画像解析情報を生成させる画像解析ステップと、
画素値補正部に、前記画像解析情報を適用して画素値補正を実行させる画素値補正ステップを実行させ、
前記画像解析ステップは、
輝度値に応じて異なる大きさの輝度範囲をビン幅に設定した異なるビン幅の複数のビンの設定し、各ビン対応の輝度範囲の画素数を度数データとして設定した度数分布データを生成させるステップであり、
前記画素値補正ステップは、
前記ノイズ低減対象画素の画素値の含まれるビンである補正対象画素対応ビン、および該補正対象画素対応ビンに隣接する予め設定した既定数のビンを選択し、選択ビンに含まれる参照画素の画素値を適用した演算処理により前記ノイズ低減対象画素の補正画素値を算出させるステップであるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、画像に対する効率的なノイズ低減処理を実現する装置および方法を提供する。
具体的には、ノイズ低減対象画素の画素値補正に適用する参照領域構成画素の画素値の度数分布データを含む画像解析情報を生成する画像解析部と、画像解析情報を適用して画素値補正を実行する画素値補正部を有する。画像解析部は輝度値に応じて異なるビン幅の複数のビンを設定し、各ビン対応の輝度範囲の画素数を度数データとして設定した度数分布データを生成する。画素値補正部はノイズ低減対象画素の画素値の含まれるビンである補正対象画素対応ビン、および該補正対象画素対応ビンに隣接する予め設定した既定数のビンを選択し、選択ビンに含まれる参照画素の画素値を適用した演算処理によりノイズ低減対象画素の補正画素値を算出する。
これらの処理により、各画素対応の問題画素判定処理を逐次、行うことなく、補正対象画素と類似する画素値を持つ画素のみを速やかに選択可能となり、効率的な画素値補正処理が実現される。

三次元ノイズ低減（ＮＲ：Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）処理について説明する図である。 三次元ノイズ低減（ＮＲ：Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）処理について説明する図である。 付随情報付き可変ビン幅度数分布データ（ヒストグラム）を適用した本開示のノイズ低減（ＮＲ）処理の概要について説明する図である。 問題画素を排除し加算平均対象として選択すべき参照画素を決定する処理例について説明する図である。 本開示の画像処理装置の一構成例について説明する図である。 本開示の画像処理装置の処理例について説明する図である。 本開示の画像処理装置の画像縮小部の構成と処理例について説明する図である。 本開示の画像処理装置の画像縮小部の構成と処理例について説明する図である。 本開示の画像処理装置の画像解析部の構成と処理例について説明する図である。 本開示の画像処理装置の画像解析部の実行する処理の一例について説明する図である。 本開示の画像処理装置の画像解析部の実行する処理の一例について説明する図である。 本開示の画像処理装置の画素値補正部の実行する処理の一例について説明する図である。 本開示の画像処理装置の画素値補正部の実行する処理の一例について説明する図である。 本開示の画像処理装置の画素値補正部の実行する処理の一例について説明する図である。 本開示の画像処理装置の画素値補正部の実行する処理の一例について説明する図である。 本開示の画像処理装置の一構成例について説明する図である。 本開示の画像処理装置の一構成例について説明する図である。 本開示の画像処理装置のハードウェア構成例について説明する図である。

以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．本開示の処理の概要について
１−１．一般的な三次元ノイズ低減（ＮＲ）処理について
１−２．付随情報付き可変ビン幅度数分布データ（ヒストグラム）を適用した本開示のノイズ低減（ＮＲ）処理について
２．本開示の画像処理装置の構成例について
３．本開示の画像処理装置の実行するノイズ低減処理の詳細について
３−１．画像縮小部の処理について
３−２．画像解析部の処理について
３−３．画素値補正部の処理について
４．本開示の画像処理装置の変形例について
４−１．生成した補正画像をフィードバックして繰り返し補正を実行する実施例
４−２．ヒストグラムをＦＩＦＯバッファに格納し、順次更新して利用する実施例
４−３．補正画素値算出に適用する参照ビンの選択閾値と、重み係数の調整（チューニング）を行う実施例
５．画像処理装置のハードウェア構成例について
６．本開示の構成のまとめ

［１．本開示の処理の概要について］
本開示の画像処理装置の実行する処理の概要について説明する。

［１−１．一般的な三次元ノイズ低減（ＮＲ）処理について］
まず、図１、図２を参照して一般的な三次元ノイズ低減（ＮＲ：Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）処理について説明する。
三次元ノイズ低減（ＮＲ）処理は、複数の連続撮影画像を適用して、同一被写体の撮影領域と推定される対応画素位置の画素値を加算平均する処理を基本としている。
図１（ａ）に示す例では、
撮影時間ｔ＝１の画像１１、
撮影時間ｔ＝２の画像１２、
撮影時間ｔ＝３の画像１３、
これら３枚の連続撮影画像を利用した例を示している。

例えば画素値はＲＧＢ、あるいはＹＵＶなど様々な要素を有するが、それぞれの要素ごとに補正値が決定される。
図１に示す例は、一例としてＹ（輝度値）の補正処理例を示している。
撮影時間ｔ＝１の画像１１の注目画素の輝度値＝Ｙ１、
撮影時間ｔ＝２の画像１２の参照画素の輝度値＝Ｙ２、
撮影時間ｔ＝３の画像１３の参照画素の輝度値＝Ｙ３、
とする。
なお、各画像１１〜１３の注目画素は、例えば各画像の同一の座標位置に設定する。

例えば基準画像を撮影時間ｔ＝１の画像１１として、撮影時間ｔ＝１の画像１１の注目画素の画素値、本例では輝度値（Ｙ１）を補正する三次元ＮＲを実行する場合、
撮影時間ｔ＝１の画像１１の注目画素の輝度値＝Ｙ１、
撮影時間ｔ＝２の画像１２の参照画素の輝度値＝Ｙ２、
撮影時間ｔ＝３の画像１３の参照画素の輝度値＝Ｙ３、
これらの３つの輝度値の加算平均、
（Ｙ１＋Ｙ２＋Ｙ３）／３
を算出し、
この加算平均値を画像１１の注目画素の補正画素値とする処理が基本である。

ただし、この加算平均処理による補正画素値を算出する場合、参照画素に含まれる問題画素を排除する必要がある。問題画素とは、例えば動被写体の存在や、エラー画素、あるいは撮影環境の突発的な変化などに起因して、注目画素の画素値とかけ離れた画素値が設定された画素である。
本例では、
撮影時間ｔ＝２の画像１２の参照画素、
撮影時間ｔ＝３の画像１３の参照画素、
これらの参照画素が注目画素の画素値と大きくかけ離れているか否かを判定することが必要となる。

具体的には、図１（ｂ）に示すように、
注目画素のＹ値と、参照画素のＹ値との差分を予め定めた閾値と比較する。
注目画素のＹ値と、参照画素のＹ値との差分が、予め定めた閾値未満であれば、問題画素ではない正常画素と判定する。
一方、注目画素のＹ値と、参照画素のＹ値との差分が、予め定めた閾値未満であれば、問題画素であると判定する。

なお、閾値としては、例えば画素の輝度値Ｙに応じて推定されるノイズ量が適用可能である。
図１（ｃ）は、横軸に輝度値（Ｙ）、縦軸に各輝度値に応じて各画素に含まれると推定されるノイズの標準偏差σ（ｙ）を示している。
一般的に輝度値の高い画素に含まれるノイズ量は低くなり、輝度の低い画素には多くのノイズ量が含まれる傾向があり、輝度値（Ｙ）とノイズ標準偏差σ（ｙ）との対応関係は図１（ｃ）に示すグラフのような設定となることが知られている。

閾値として、この輝度値Ｙに応じた標準偏差σ（ｙ）、あるいは係数ｋ、例えばｋ＝１，２などの係数を乗算した閾値ｋσ（ｙ）を用いることで、画素値（輝度値）に応じた問題画素判別が可能となる。

このような判定処理によって、参照領域内の画素から問題画素を排除して、正常画素のみを適用して、注目画素の補正画素値を算出する。
例えば、撮影時間ｔ＝３の画像１３の参照画素が問題画素であると判定され、撮影時間ｔ＝２の画像１２の参照画素が正常画素であると判定された場合は、以下の式によって、撮影時間ｔ＝１の画像１１の注目画素の画素値（本例では輝度値Ｙ）を算出する。
Ｙ＝（Ｙ１＋Ｙ２）／２
このような補正画素値を算出することで、動被写体の影響や、エラー画素の影響を排除した高精度なノイズ低減が実現される。

図１に示す例は、３枚の画像から１つの対応画素位置の画素のみを利用した処理例であるが、より精度の高い補正処理（ノイズ低減処理）を行うために、補正対象画素（注目画素）の周辺領域に参照領域を設定した処理が行われる。

図２には、撮影時間ｔ＝１の注目画素２１を中心とした３×３の画素領域を参照領域として設定した例を示している。
図２に示す例では、撮影時間ｔ＝１〜４の４枚の連続撮影画像を利用した例を示している。
図２に示す例では、注目画素２１の補正画素値の算出用に設定された参照領域の総画素数は３６となる。すなわち、１枚の画像に３×３＝９画素であり、４枚の画像であるので４×９＝３６となる。
これらの３６画素中、注目画素を除く３５画素について、先に図１を参照して説明した問題画素判定処理、すなわち、注目画素の画素値と、参照画素の画素値との差分を予め定めた閾値と比較する処理が必要となる。

このように、参照領域を1つの画像内で広げ、さらに時間軸方向にも拡大しようとすると、参照領域に含まれる画素数は増大することになり、問題画素判定処理も画素数に応じて実行することが必要となり、計算コストの増大をもたらすことになる。

［１−２．付随情報付き可変ビン幅度数分布データ（ヒストグラム）を適用した本開示のノイズ低減（ＮＲ）処理について］
次に、図３以下を参照して、上記問題点を解決する本開示の処理、すなわち、付随情報付き可変ビン幅度数分布データ（ヒストグラム）を適用した本開示のノイズ低減（ＮＲ）処理の概要について説明する。

図３、図４は、本開示の画像処理装置の実行するノイズ低減処理の概要を説明する図である。
図３（ａ）は、図２と同様、各画像に３×３画素の参照領域を設定し、撮影時間ｔ＝１〜４の４枚の画像に同一の大きさ（３×３画素）の参照領域を設定し、注目画素を含む参照画素数＝３６の設定としたノイズ低減処理を行う場合の参照領域設定例を示している。

本開示の画像処理装置は、この参照領域に含まれる画素の画素値、例えば輝度値（Ｙ）のヒストグラム（度数分布）を設定する。
さらに、生成するヒストグラムに設定するビンの幅を一律ではなく、各画素値（輝度値Ｙ）に応じて推定されるノイズ量に応じた設定とする。
さらに、ヒストグラムに併せて、ヒストグラムに設定される各ビン単位で、画素値構成パラメータ（例えばＹＵＶ）の平均値を算出しておく。

図３（ｂ）は、図３（ａ）に示す３６画素の輝度値（Ｙ）のヒストグラムである。
横軸が輝度値（Ｙ）
縦軸が度数、すなわち画素数、
である。
なお、ここで、注意すべきは、各ビン（図に示すヒストグラムの棒グラフの各棒に相当）の設定範囲、すなわち輝度範囲が等しくないことである。

例えば図３（ｂ）に示すビン（ｂｉｎ１）は、輝度値（Ｙ）が４０〜８０の範囲、すなわち輝度範囲：８０−４０＝４０の設定とした画素数を示している。
しかし、例えばビン（ｂｉｎ２）は、輝度値（Ｙ）が１０５〜１２０の範囲、すなわち輝度範囲：１２０−１０５＝１５の設定とした画素数を示すビンである。
また、ビン（ｂｉｎ３）は、輝度値（Ｙ）が１５０〜１５６の範囲、すなわち輝度範囲：１５６−１５０＝６の設定とした画素数を示すビンである。

このように、各ビンの設定範囲、すなわち輝度範囲が不均一な設定となっている。以下では、各ビンの設定範囲、すなわち輝度範囲を「ビン幅」として説明する。
ビン幅は、各画素値（本例では輝度値）に応じて推定されるノイズ量に応じて決定する。

図３（ｃ）は、先に図１（ｃ）を参照して説明したと同様のグラフ、すなわち横軸に輝度値（Ｙ）、縦軸に各輝度値に応じて各画素に含まれると推定されるノイズの標準偏差σ（ｙ）を示している。
一般的に輝度値の高い画素に含まれるノイズ量は低くなり、輝度の低い画素には多くのノイズ量が含まれる傾向があり、輝度値（Ｙ）とノイズ標準偏差σ（ｙ）との対応関係は図３（ｃ）に示すグラフのような設定となることが知られている。

図３（ｂ）に示すヒストグラムに設定される各ビンのビン幅は、この図３（ｃ）の輝度対応ノイズ標準偏差データに基づいて決定する。
例えば、
図３（ｂ）に示すビン（ｂｉｎ１）は、輝度値（Ｙ）が４０〜８０の範囲、すなわち、中心輝度値≒６０の画素数を示すビンであるが、このビン幅は、図３（ｃ）に示す輝度値≒６０に対応するノイズ標準偏差σ（ｙ）の値（Ｌ１）、あるいは係数ｋを乗算したｋσ（ｙ）（＝ｋＬ１）に設定する。ｋは調整パラメータであり、予め設定した固定値としてもよいし、例えばユーザによって設定可能な構成としてもよい。

同様に、図３（ｂ）に示すビン（ｂｉｎ２）は、輝度値（Ｙ）が１０５〜１２０の範囲、すなわち、中心輝度値≒１１２の画素数を示すビんであるが、このビン幅は、図３（ｃ）に示す輝度値≒１１２に対応するノイズ標準偏差σ（ｙ）の値（Ｌ２）、あるいは係数ｋを乗算したｋσ（ｙ）（＝ｋＬ２）に設定する。

同様に、図３（ｂ）に示すビン（ｂｉｎ３）は、輝度値（Ｙ）が１５０〜１５６の範囲、すなわち、中心輝度値≒１５３の画素数を示すビんであるが、このビン幅は、図３（ｃ）に示す輝度値≒１５３に対応するノイズ標準偏差σ（ｙ）の値（Ｌ３）、あるいは係数ｋを乗算したｋσ（ｙ）（＝ｋＬ３）に設定する。
このように、ノイズ標準偏差σ（ｙ）の値が大きければビン幅を大きくし、ノイズ標準偏差σ（ｙ）の値が小さければビン幅を小さくする。

本開示の画像処理装置では、このように画素値に応じて異なるビン幅を持つヒストグラムを生成し、このヒストグラムを適用して注目画素の補正画素値を算出するための参照画素、すなわち、例えば問題画素を排除し加算平均対象として選択すべき参照画素を決定する。
図４を参照してこの参照画素選択処理について説明する。

図４（ａ）は、図３（ａ）、図２と同様の参照領域の設定例を示している。連続撮影された４枚の画像に設定された３×３の画素領域である。
補正対象画素を、撮影時間ｔ＝１の注目画素３１とする。
４枚の画像の３×３の画素領域の３６画素に基づいて、前述した手順に従って図４（ｂ）に示すヒストグラムを生成する。

ここで、ノイズ低減処理対象の注目画素３１の輝度値Ｙが、Ｙ＝１３５であるとする。
まず、このノイズ低減処理対象の注目画素３１の輝度値Ｙ＝１３５の属するヒストグラムのビンを検出する。
図４（ｂ）に示すビンＸが、注目画素３１の輝度値Ｙ＝１３５の属するヒストグラムのビンである。
このビンＸと、
ヒストグラムの隣接する前後２ビンずつを参照画素の含まれるビンとして選択する。

ビンＸと、
ビンＸに隣接する低輝度側の２ビンと、
ビンＸに隣接する高輝度側の２ビンと、
これらの計５ビンに含まれる画素を参照画素として選択する。
これらのビンに含まれる画素は、注目画素３１の画素値（輝度値）に比較的近い画素値を持つ画素の集合によって設定されている。
図に示す例では、輝度値Ｙ＝１０５〜１５６の範囲内の画素の集合となっている。
従って問題画素、すなわち注目画素と画素値の大きく離れた画素は含まれていない。

本開示の画像処理装置では、このようにヒストグラムからのビン選択処理を行う。
注目画素の含まれるビンと、前後２ビンを参照するのみで、図４（ａ）に示す参照画素３５画素各々について、図１を参照して説明した閾値による問題画素判定を行うことなく、注目画素との差分が２σ未満の近い画素値を持つ画素のみを選択したのと同等の処理が実現される。

これらの選択されたビンに含まれる画素の画素値情報を利用して注目画素の補正画素値、すなわちノイズ低減後の画素値が決定される。これらの処理の詳細については後述する。

［２．本開示の画像処理装置の構成例について］
次に、図５を参照して、本開示の画像処理装置の構成例について説明する。
図５は、本開示の一実施例に係る画像処理装置１００の構成例を示す図である。
図５に示すように、画像処理装置１００は、画像縮小部１０１、画像バッファ（ＦＩＦＯ）１０２、画像解析部１０３、画素値補正部１０４を有する。
画像処理装置１００は、入力画像１２１を入力し、ノイズ低減処理としての画素値補正を実行して出力画像１２２を生成して出力する。

なお、図５は、本開示の画像処理装置の実行する処理を説明するために、各処理の処理単位のブロックを示しているが、各ブロックの処理は、例えばプログラム（ソフトウェア）を用いた処理として実行可能である。従って、本開示の画像処理装置は、例えばプログラム実行部としてのＣＰＵと、ＣＰＵによって実行されるプログラムを格納し、さらに画像格納領域やワークエリアとして利用可能なメモリを持つハードウェア構成によって実現可能である。
具体的には、静止画や動画を撮影する撮像装置の例えばＤＳＰ（デジタル信号処理部）に図５に示す構成に従った処理を実行させる設定とすることが可能である。

図５に示す画像処理装置１００において、ノイズ低減処理（ＮＲ）対象として入力する入力画像１２１は、静止画または動画のいずれでもよい。
図６に以下の各入力画像に対する処理例を示している。
（Ａ）静止画に対する処理例
（Ｂ）動画に対する処理例
これらを示している。

（Ａ）静止画に対する処理を実行する場合、連続撮影された複数の静止画を入力し、その１枚を補正対象とする基準画像として、基準画像の各画素のノイズ低減処理を実行する。このノイズ低減処理において、基準画像中のノイズ低減処理対象画素（注目画素）の周囲に設定した参照領域、さらに、連続撮影された複数画像の対応画素領域を参照領域として、参照領域中の画素の画素値を利用して、ノイズ低減処理対象画素（注目画素）の画素値補正処理を実行する。

また、（Ｂ）動画に対する処理を実行する場合、動画の各フレームを入力し、そのフレーム画像の各画素のノイズ低減処理を実行する。このノイズ低減処理において、ノイズ低減処理対象画素（注目画素）の周囲に設定した参照領域と、複数の先行撮影フレーム画像の対応画素領域を参照領域として、参照領域中の画素の画素値を利用して、ノイズ低減処理対象画素（注目画素）の画素値補正処理を実行する。

［３．本開示の画像処理装置の実行するノイズ低減処理の詳細について］
以下、図５に示す画像処理装置１００の各構成部の処理の詳細について説明する。

［３−１．画像縮小部の処理について］
まず、図５に示す画像処理装置１００の画像縮小部１０１の構成と処理の詳細について説明する。
なお、図５に示す画像処理装置１００は入力画像、例えばカメラの撮影した撮影画像を縮小した後、縮小画像を構成する画素をノイズ低減処理対象とした処理を実行する構成としている。

これは、処理の効率化や、画像の記憶領域の削減などを実現するためであり、縮小画像を生成せずに、図５に示す入力画像１２１を縮小することなく、画像バッファ１０２に入力して、画像解析部１０３の処理を行う構成としてもよい。
以下では、本開示の画像処理装置の一実施例として、入力画像１２１を縮小して処理を行う実施例について説明する。

図５に示す画像縮小部１０１は、入力画像１２１を縮小する処理を実行する例えば１枚の入力画像の構成画素の８×８画素を１画素に設定するなどの処理によって、画素数を削減した縮小画像を生成して画像バッファ１０２に格納する。
これらは、すべての入力画像に対して実行する。
すなわち、連続撮影された静止画像、あるいは動画像の各フレーム画像に対して実行する。
画像縮小部１０２の生成した縮小画像は画像バッファ（ＦＩＦＯ）１０２に格納される。画像バッファ（ＦＩＦＯ）１０２はＦＩＦＯバッファであり、連続撮影画像に対応する縮小画像を時系列に格納する。

画像縮小部１０１は、入力画像の画素比数を削減した縮小画像を生成する構成であり、具体的な構成としては様々な構成が可能である。
図７に画像縮小部１０１の１つの構成例を示す。
図７に示す画像縮小部１０１は、エッジ保存平滑化処理部１３１、サブサンプル部１３２を有する。

図７に示す画像縮小部１０１のエッジ保存平滑化処理部１３１は、入力画像の平坦部（画素値変化の少ない領域）では強い平滑化を施し、エッジ領域（画素値変化の大きい領域）では弱い平滑化を施すエッジ保存型の平滑化処理を実行する。
サブサンプル部１３２は、エッジ保存平滑化処理部１３１における平滑化処理画像データを入力して縮小画像の各画素に対する画素値設定処理を実行して縮小画像１４１を生成して出力する。

図８を参照して、エッジ保存平滑化処理部１３１の詳細構成と処理例について説明する。
図８に示すように、エッジ保存平滑化処理部１３１はＨａａｒ変換部１５１、段数決定部１５２、低域複写部１５３を有する。
Ｈａａｒ変換部１５１は入力画像１２１に対するＨａａｒ変換を実行し、入力画像を高域部分と低域部分に分解する。領域分割を行う。さらに、段数決定部１５２は、再帰的分割処理の回数を高域係数の合計から判定する。
低域信号複写手段１５３は、領域ごとに決定された段数に応じた無低域信号で画像を埋めていく処理を実行する。

図８の下段に、Ｈａａｒ変換を用いた処理例として、
（ａ）入力画像
（ｂ）縮小倍率：１、分解段数４、
（ｃ）縮小倍率：１、分解段数５、
（ｄ）縮小倍率：２、分解段数４、
これらの各処理例を示す。

（ａ）入力画像中には楕円計のオブジェクトがえがかれている。この楕円オブジェクトの線分の描かれた線分領域がエッジ領域であり、その他の領域が平坦領域に相当する。
Ｈａａｒ変換部１５１は、このようなエッジ領域と平坦領域の判別を行う。段数決定部１５２は、分解段数を決定する。エッジ領域ほど細かく分解される。
図８の下段に示す（ｂ），（ｄ）は分解段数４、（ｃ）は分解段数５の例である。
図８の（ｂ）〜（ｄ）に示す分解された細区分矩形領域に含まれる画素には同一の画素値が設定されることになる。この画素値設定を行うのが低域複写部１５３である。
サブサンプル部１３２は、これらの結果に基づいて、縮小率に応じた画素構成に従って、縮小画像を構成する各画素の画素値を設定し、縮小画像１４１を生成して画像バッファ（ＦＩＦＯ）１０２に格納する。

なお、図７、図８を参照して説明した画像縮小部１０１の構成は一例であり、画像縮小部１０１は、この例示構成に限らず、入力画像の画素数を削減した縮小画像を生成する構成であれば、様々な構成が利用可能である。
図５に示すように、画像縮小部１０１の生成した縮小画像は、画像バッファ（ＦＩＦＯ）１０２に、順次格納される。

［３−２．画像解析部の処理について］
次に、図５に示す画像処理装置１００の画像解析部１０３の構成と処理の詳細について説明する。
画像解析部１０３は、画像縮小部１０１が生成し、画像バッファ１０２に格納された縮小画像を用いた画像解析を実行する。
具体的には、付随情報付き度数分布データを生成する。
ヒストグラムは、先に図３、図４を参照して説明した参照領域の画素の画素値（例えば輝度値Ｙ）の度数分布データであり、不均一なビン幅からなるヒストグラムである。

図９に画像解析部１０３の一構成例を示す。
図９に示すように、画像解析部１０３は、ヒストグラムビン幅決定部１８１、画像解析情報生成部１８２を有する。
ヒストグラムビン幅決定部１８１は、先に図３、図４を参照して説明したヒストグラムに設定する各ビンのビン幅、すなわち、各ビンに対応する画素値範囲を設定する処理を行う。

画像解析情報生成部１８２は、ヒストグラムビン幅決定部１８１の決定したビン幅を設定したヒストグラムを生成し、さらに、各ビン対応の画素値情報として、各ビンに対応する画素集合の各画素値の平均値、例えばＹ、Ｕ、Ｖ各々の平均値を算出する。

なお、以下に説明する実施例では、入力画像および入力画像から生成された縮小画像の各画素には、画素値としてＹＵＶ、すなわち輝度情報Ｙと色差情報Ｕ，Ｖの各値が設定されているものとする。
ヒストグラムの生成には、各画素の輝度値（Ｙ）を適用した処理を実行する。

なお、入力画像がＹＵＶではなく、例えばＲＧＢの画素値が設定された画像であれば、ＲＧＢ値に基づく処理を行う構成としてもよい。例えばＲＧＢの値から輝度値Ｙを算出する画素値変換処理を実行してＹＵＶと同様の処理を実行することが可能である。
ＲＧＢ値から、輝度値（Ｙ）を算出する場合は、以下の変換式、
Ｙ＝Ｒ＋２Ｇ＋Ｂ
上記変換式を適用して輝度値（Ｙ）を算出することが可能である。

図９の下段には、ヒストグラムの生成単位データの例を示している。
ここでは、一例として、入力画像の８×８画素を１画素として設定した縮小画像４枚の各々に設定された３×３画素の参照領域の構成画素３×３×４＝３６画素をヒストグラムの設定単位とする。
ヒストグラムは、縮小画像の注目画素単位で逐次、生成する。注目画素は、例えば撮影時間ｔ＝１の縮小画像に含まれる３×３画素の参照領域の中心の画素となる。

撮影時間ｔ＝１〜４の４枚の縮小画像から同一座標位置の３×３画素を参照領域として選択し、これらの３×３×４＝３６画素をヒストグラムの設定単位とする。
画像解析部１０３は、縮小画像の構成画素から１つずつ注目画素を選択し、各注目画素に対応する参照領域を設定して、設定した参照領域に含まれる画素に基づいて注目画素対応のヒストグラムを生成する。
すなわち、画像解析部１０３は、縮小画像の各構成画素単位で、逐次、画像解析情報としての付随情報付き度数分布データを生成して図５に示す画像処理装置１００の画素値補正部１０４に出力する。
図５に示す画像処理装置１００の画素値補正部１０４は、縮小画像の１画素単位の画像解析情報を利用して、その縮小画像の１画素に対応する縮小前の入力画像の画素、例えば８×８画素の画素値補正を実行する。

図９に示す画像解析部１０３のヒストグラムビン幅決定部１８１の実行する処理の詳細について、図１０を参照して説明する。
ヒストグラムビン幅決定部１８１は、先に図３、図４を参照して説明したヒストグラムに設定する各ビンのビン幅、すなわち、各ビンに対応する画素値範囲を設定する処理を行う。

ヒストグラムビン幅決定部１８１は、予め画像処理装置のメモリに格納された図１０（ａ）に示すゲインに応じた輝度−ノイズ量テーブルから、画像撮影時のゲイン情報に従って、１つの輝度−ノイズ量対応データを選択する。
図１０（１）に示す輝度−ノイズ量テーブルは、先に図３（ｃ）を参照して説明したテーブルと同様のテーブルである。

すなわち、
横軸に輝度値（Ｙ）、
縦軸にノイズの標準偏差σ（ｙ）、
を示している。
一般的に輝度値の高い画素に含まれるノイズ量は低くなり、輝度の低い画素には多くのノイズ量が含まれる傾向があり、輝度値（Ｙ）とノイズ標準偏差σ（ｙ）との対応関係は図１０（１）に示すグラフのような設定となることが知られている。

ただし、画像撮影時のゲインが高いほどノイズ量も大きくなる傾向があり、画像処理装置のメモリには、様々なゲインに応じた輝度−ノイズ量対応データが格納されている。ヒストグラムビン幅決定部１８１は、画像撮影時のゲイン情報に従って、１つの輝度−ノイズ量対応データを選択する。
図１０（２）に示すデータが、選択された輝度−ノイズ量対応データである。

ヒストグラムビン幅決定部１８１は、この図１０（２）に示す輝度−ノイズ量対応データを利用してヒストグラムの各ビンのビン幅を決定する。
ヒストグラムは、先に説明したように、本例では、図９の下段に示す縮小画像４枚各々に設定された３×３画素、計３６画素の輝度値（Ｙ）に基づいて生成する。

ただし、先に図３、図４を参照して説明したように、ヒストグラムに設定するビンのビン幅は均一ではなく輝度（Ｙ）に応じた推定ノイズ量に従って異なる設定となる。
図１０（３）は、ヒストグラムビン幅決定部１８１の実行するビン幅決定処理の具体例を説明する図である。

図１０（３ａ）は、図１０（２）に示すゲインに応じて選択された輝度−ノイズ量対応データである。
横軸には輝度値Ｙ（０〜２５５）を設定し、縦軸にはノイズ標準偏差σ_（Ｙ）を設定する。
例えば、輝度値Ｙと、ノイズ標準偏差σ_（Ｙ）との対応関係は以下の通りである。
輝度値Ｙ＝０→ノイズ標準偏差σ_（Ｙ）＝５、
輝度値Ｙ＝５→ノイズ標準偏差σ_（Ｙ）＝１０、
輝度値Ｙ＝１５→ノイズ標準偏差σ_（Ｙ）＝１５、
輝度値Ｙ＝３０→ノイズ標準偏差σ_（Ｙ）＝１０、
輝度値Ｙ＝４０→ノイズ標準偏差σ_（Ｙ）＝８、
輝度値Ｙ＝４７→ノイズ標準偏差σ_（Ｙ）＝７、
輝度値Ｙ＝５４→ノイズ標準偏差σ_（Ｙ）＝６、
： ：
輝度値Ｙ＝２５２→ノイズ標準偏差σ_（Ｙ）＝２、
輝度値Ｙ＝２５４→ノイズ標準偏差σ_（Ｙ）＝２、
このような対応関係にある。

この場合のヒストグラムのビン幅は以下のように設定する。
なお、ビンインデックスを低輝度から高輝度の各ビンに０，１，２，３・・として設定するものとする。

ビン０のビン幅は以下のように設定する。
輝度値Ｙ＝０のノイズ標準偏差σ_（Ｙ）＝５に従って、ビン幅（輝度幅）＝５とする。
ビン０は、ビン幅（輝度幅）＝５、具体的には、輝度値Ｙ＝０〜４の画素値（輝度値）に対応するビンとする。

ビン１のビン幅は以下のように設定する。
輝度値Ｙ＝５のノイズ標準偏差σ_（Ｙ）＝１０に従って、ビン幅（輝度幅）＝１０とする。
ビン１は、ビン幅（輝度幅）＝１０、具体的には、輝度値Ｙ＝５〜１４の画素値（輝度値）に対応するビンとする。

ビン２のビン幅は以下のように設定する。
輝度値Ｙ＝１５のノイズ標準偏差σ_（Ｙ）＝１５に従って、ビン幅（輝度幅）＝１５とする。
ビン２は、ビン幅（輝度幅）＝１５、具体的には、輝度値Ｙ＝１５〜２９の画素値（輝度値）に対応するビンとする。

ビン３のビン幅は以下のように設定する。
輝度値Ｙ＝３０のノイズ標準偏差σ_（Ｙ）＝１０に従って、ビン幅（輝度幅）＝１０とする。
ビン３は、ビン幅（輝度幅）＝１０、具体的には、輝度値Ｙ＝３０〜３９の画素値（輝度値）に対応するビンとする。

以下、同様に、輝度値Ｙに応じたノイズ標準偏差σ_（Ｙ）の値を取得して、取得したノイズ標準偏差σ_（Ｙ）の値を、その輝度値Ｙに対応するビン幅として設定する。最高輝度、例えばＹ＝２５５まで、到達したら、ビン幅決定処理は終了する。

なお、上記の説明では、ビン幅を、輝度値Ｙに対応するノイズ標準偏差σ_（Ｙ）の値をそのまま適用している。すなわち、
ビン幅＝σ_（Ｙ）
としているが、例えば調整パラメータとしての乗算パラメータ（乗算係数）ｋを用いて、
ビン幅＝ｋ・σ_（Ｙ）
としてビン幅を決定してもよい。パラメータｋは予め設定した固定値としてもよいし、ユーザの設定可能なパラメータとしてもよい。

このようにして決定したビン幅のデータ例を図１０（３ｃ）に示す。
図１０（３ｃ）に示すように、
ビンインデックス０，１，２，・・・に対応する各ビンの輝度値範囲とビン幅が決定される。ヒストグラムビン幅決定部１８１は、具体的には例えば以下のビン幅決定データを生成する。
ビン０，Ｙ＝０〜４，ビン幅＝５、
ビン１，Ｙ＝５〜１４，ビン幅＝１０、
ビン２，Ｙ＝１５〜２９，ビン幅＝１５、
ビン３，Ｙ＝３０〜３９，ビン幅＝１０、
ビン４，Ｙ＝４０〜４６，ビン幅＝８、
ビン５，Ｙ＝４７〜５３，ビン幅＝７、
ビン６，Ｙ＝５４〜５９，ビン幅＝６、
： ： ：
ビンｋ−１，Ｙ＝２５２〜２５３，ビン幅＝２、
ビンｋ，Ｙ＝２５４〜２５５，ビン幅＝２、

このように、ヒストグラムビン幅決定部１８１は、参照領域の各画素の画素値（輝度値）の度数分布データであるヒストグラムの設定ビンの各々について、輝度に応じた推定ノイズ量に従って異なるビン幅（画素値（輝度値）の幅）を設定する。

次に、図９に示す画像解析部１０３の画像解析情報生成部１８２は、ヒストグラムビン幅決定部１８１の決定したビン幅情報を入力し、ヒストグラムを生成する。さらにヒストグラムに設定した各ビン単位の画素値情報を含む付随情報を生成する。すなわち付随情報付き度数分布データを生成する。

この処理について、図１１を参照して説明する。
図１１には、画像解析情報生成部１８２の生成する画像解析情報、すなわち、付随情報付き度数分布データを示している。

付随情報付き度数分布データは、補正対象画像として選択される基準画像中のノイズ低減処理対象画素（注目）を中心とする参照領域と、基準画像の連続撮影画像における参照領域（基準画像の参照領域と同一座標位置）、これらの参照領域の構成画素の画素値（輝度値）の度数分布データを基本情報として含む。
これは、図９を参照して説明したヒストグラム生成処理単位データを利用して生成される。

図１１に示す付随情報付き度数分布データの表は、左端から、
（ａ）ビンインデックス
（ｂ）輝度値範囲
（ｃ）ビン幅
（ｄ）度数
（ｅ）Ｙ和
（ｆ）Ｕ和
（ｇ）Ｖ和
これらの対応データを示している。
このデータが、画像解析情報生成部１８２の生成する画像解析情報、すなわち、付随情報付き度数分布データの一例である。

ビンインデックスは、ヒストグラムの各ビンのインデックス、すなわち識別番号である。
輝度値範囲は、各ビンの輝度値範囲を示している。
例えば、ビン０は、参照領域に含まれる画素中、輝度値Ｙ＝０〜４の画素に対応するビンである。
ビン幅は、各ビンのビン幅であり、輝度値の設定範囲に対応する。
例えば、ビン０は、参照領域に含まれる画素中、輝度値Ｙ＝０〜４の画素に対応するビンであり、その輝度の設定範囲０〜４、すなわち輝度範囲として５を有し、このえがビン幅となる。

度数は、各ビンに対応する参照画素中の画素数を示している。ヒストグラムの基本データである。
例えばビン０は、参照領域に含まれる画素中、輝度値Ｙ＝０〜４の画素に対応するビンであり、図１１のデータでは、度数＝０であり、この輝度範囲の画素が参照領域には存在しないことを示している。
例えばビン１は、参照領域に含まれる画素中、輝度値Ｙ＝５〜１４の画素に対応するビンであり、図１１のデータでは、度数＝３であり、この輝度範囲の画素が参照領域に３画素、存在することを示している。

なお、図１１には表に示すビン幅、および度数分布データと、グラフ化したヒストグラムとの対応例を示している、

Ｙ和、Ｕ和、Ｖ和は、各ビンに含まれる画素の画素値（Ｙ，Ｕ，Ｖ）の各画素値の総和である。
例えばビン１（輝度値Ｙ＝５〜１４）には３画素が含まれる。
これら３画素を画素ａ，ｂ，ｃとし、これら３画素の画素値を、例えば、
画素ａ＝（Ｙａ，Ｕａ，Ｖａ）、
画素ｂ＝（Ｙｂ，Ｕｂ，Ｖｂ）、
画素ｃ＝（Ｙｃ，Ｕｃ，Ｖｃ）、
とする。

この場合、
ビン１のＹ和、Ｕ和、Ｖ和は、以下のように算出する。
Ｙ和＝Ｙｓｕｍ１＝Ｙａ＋Ｙｂ＋Ｙｃ
Ｕ和＝Ｕｓｕｍ１＝Ｕａ＋Ｕｂ＋Ｕｃ
Ｖ和＝Ｖｓｕｍ１＝Ｖａ＋Ｖｂ＋Ｖｃ

このように、Ｙ和、Ｕ和、Ｖ和は、各ビンに含まれる画素の画素値（Ｙ，Ｕ，Ｖ）の各画素値の総和として算出される。
画像解析部１０３は、このように、ヒストグラムの基本データである度数情報と、上記のビン対応のＹ和、Ｕ和、Ｖ和の値を算出してヒストグラムの付随データとする。

画像解析部１０３は、図１１に示す表に対応する付随情報付き度数分布データを、各注目画素、すなわちノイズ低減対象となる注目画素単位で生成して、図５に示す画像処理装置１００の画素値補正部１０４に出力する。
なお、前述したように、付随情報付き度数分布データは縮小画像の１画素単位で生成される。

図５に示す画像処理装置１００の画素値補正部１０４は、縮小画像の１画素単位の画像解析情報（付随情報付き度数分布データ）を利用して、その縮小画像の１画素に対応する縮小前の入力画像の画素、例えば８×８画素の画素値補正を実行する。

［３−３．画素値補正部の処理について］
図１２以下を参照して、図５に示す画像処理装置１００の画素値補正部１０４の処理の詳細について説明する。

図５に示すように、画素値補正部１０４は、
（ａ）入力画像１２１、
（ｂ）画像解析情報（付随情報付き度数分布データ）１２３
これらを入力する。
画素値補正部１０４は、これらの入力情報を利用して、入力画像１２１の構成画素のノイズ低減処理、すなわち画素値補正処理を実行する。

なお、前述したように、画像解析部１０３から入力する画像解析情報（付随情報付き度数分布データ）１２３は、縮小画像の１画素単位のデータである。画素値補正部１０４は、この縮小画像の１画素単位の画像解析情報（付随情報付き度数分布データ）を利用して、その縮小画像の１画素に対応する縮小前の入力画像の画素、例えば８×８画素の画素値補正を実行する。

図１２には、画素値補正部１０４の入力する以下のデータを示している。
（Ａ）補正対象画像（入力画像１２１）
（Ｂ）画像解析結果（付随情報付き度数分布データ１２３）
画素値補正部１０４は、これらのデータを入力する。
ただし、前述したように、
（Ａ）補正対象画像（入力画像１２１）は、縮小前の画像であり、
（Ｂ）画像解析結果（付随情報付き度数分布データ１２３）は、縮小画像の１画素対応の解析データである。

図１２に示すように、例えば、（Ａ）に示す入力画像１２１の８×８画素領域を縮小画像の１画素２０２として、この縮小画像（ｔ＝１）の画素２０２を注目画素として３×３画素の中心に設定し、さらに連続撮影画像（ｔ＝１〜４）の４枚の縮小画像の同一座標位置に設定した参照領域に含まれる画素に基づいて図１２（Ｂ）に示す画像解析結果（付随情報付き度数分布データ１２３）が生成されている。

画素値補正部１０４は、図１２（Ｂ）に示す画像解析結果（付随情報付き度数分布データ１２３）を適用して入力画像の８×８画素２０１の画素値補正を行う。

例えば、（Ａ）入力画像１２１の８×８画素２０１を構成する１つの画素２３１を補正する場合の処理について説明する。
画素２３１のＹＵＶ値が、（Ｙｔｇｔ，Ｕｔｇｔ，Ｖｔｇｔ）であるとする。
具体的には、例えば、Ｙｔｇｔ＝４３であるとする。

画素値補正部１０４は、まず、この入力画像の画素２３１の輝度値Ｙ＝４３の含まれるビンを、（Ｂ）画像解析結果（付随情報付き度数分布データ１２３）から選択する。
ビン４が輝度値範囲４０〜４６のビンであり、画素２３１の輝度Ｙ＝４３はこのビン４に対応する。

なお、ゲインが大きく、例えば、注目画素の輝度値Ｙに大きなノイズがのっている場合、正しい対応ビン選択が困難となる場合がある。このような場合は、注目画素２３１の周辺画素を用いて簡単なローパスフィルタ、例えば３〜５タップ数のＬＰＦを適用した平滑化処理を実行し、平滑化後の輝度値Ｙを適用して対応ビン選択を行う構成としてもよい。このような処理をおこなうことで安定した結果が得られる。

その後、画素値補正部１０４は、選択したビン４の前後各々２ビンを選択する。結果として、以下の５つのビンを選択する。
（１）ビン２：輝度範囲＝１５〜２９、度数＝２、
（２）ビン３：輝度範囲＝３０〜３９、度数＝５、
（３）ビン４：輝度範囲＝４０〜４６、度数＝４、
（４）ビン５：輝度範囲＝４７〜５３、度数＝２、
（５）ビン６：輝度範囲＝５４〜５９、度数＝７、
画素値補正部１０４は、これらの５つのビンを選択する。

このビン選択処理をヒストグラムに対応付けて示すと、図１３に示す設定となる。
補正対象画素である注目画素２３１の輝度値Ｙは、Ｙ＝４３であり、対応ビンはビン４である。
このビン４の前後の２ビンを各々選択する。
ビン２，３と、
ビン５，６
これらのビンを選択する。
選択されたビン２〜６の輝度範囲は、Ｙ＝１５〜５９の範囲となり、補正対象画素である注目画素２３１の輝度Ｙ＝４３に比較的近い値の画素のみによって構成されることになる。

なお、これらのビン２〜６に含まれる画素数は、度数の加算値であり、２＋５＋４＋２＋７＝２０となる。
ヒストグラムの構成画素数が３６であるから、その中から２０個の画素が選択され、１６個の画素が排除されたことを意味する。

１つの処理例としては、これらの選択された５つのビンの画素の加算平均により、注目画素２３１の画素値を算出する構成が可能である。
すなわち、ビン２〜６を構成する２０個の画素のＹＵＶの加算平均によって算出するＹＵＶの各値を、注目画素２３１の補正画素値（ＹＵＶ）とする。
このような補正処理が可能である。

なお、既に各ビンに含まれる画素の（ＹＵＶ）各々の加算値、すなわち総和は、図に示すようにＹ和（Ｙｓｕｍ）、Ｕ和（Ｕｓｕｍ）、Ｖ和（Ｖｓｕｍ）として算出済みであり、例えば５ビンに含まれる画素のＹＵＶの加算平均を行う場合、各加算値（Ｙｘｕｍ，Ｕｓｕｍ，Ｖｓｕｍ）と度数データを利用して簡易に算出することが可能となる。

例えば、ビン２〜６に含まれる画素のＹの加算平均は、以下のようにして算出できる。
Ｙ＝（Ｙｓｕｍ_２＋Ｙｓｕｍ_３＋Ｙｓｕｍ_４＋Ｙｓｕｍ_５＋Ｙｓｕｍ_６）／（２＋５＋４＋２＋７）
Ｕ，Ｖについても同様に、各加算値（Ｕｓｕｍ，Ｖｓｕｍ）と度数データを利用して簡易に算出することが可能となる。

しかし、さらに、補正精度を高めるためには、付随情報、すなわち、図１２（Ｂ）に示す画像解析結果（付随情報付き度数分布データ１２３）中のＵ和、Ｖ和の各データを利用した処理を行うことが有効である。

図１４を参照して、この付随情報（Ｕ和、Ｖ和）を利用した補正処理例について説明する。
図１４にも、図１２と同様、画素値補正部１０４の入力する以下のデータを示している。
（Ａ）補正対象画像（入力画像１２１）
（Ｂ）画像解析結果（付随情報付き度数分布データ１２３）

画素値補正部１０４は、先に図１２、図１３を参照して説明した処理によって、補正対象画素である注目画素２３１の補正に適用する５つのビン２〜ビン６を選択済みであるとする。
画素値補正部１０４は、さらに、この５つのビンについて、付随情報（Ｕ和、Ｖ和）を利用したビン選択を行う。

この処理が図１４（Ｃ）に示すＵＶチャンネルの確認処理である。
図１４（Ｃ）に示すように、補正対象画素（注目画素）と参照ビン（本例ではビン２，３，４，５，６）とのＵＶ各チャンネルの値の差分が予め定めた閾値未満であるか否かを判定する。
具体的には、以下の（式１）に従って判定する。

・・・・・（式１）

なお、上記（式１）において、
Ｕｔｇｔ：補正対象画素（注目画素）のＵ値、
Ｖｔｇｔ：補正対象画素（注目画素）のＶ値、
Ｕｓｕｍｉ：ビンｉのＵ和、
Ｖｓｕｍｉ：ビンｉのＶ和、
Ｆｒｅｑｉ：ビンｉの度数、
Ｔｈｕ，Ｔｈｖ：予め設定した既定閾値、
である。

上記（式１）を満足するビンのみが選択され、上記（式１）を満足しないビンは排除される。
結果として、例えばビン２，４，５のみが上記（式１）を満足し、ビン３，６は上記（式１）を満足しなかった場合、図１４（Ｄ）に示すように、ビン２，４，５のみが最終的な参照ビンとして選択される。

これらの最終選択ビンに含まれるデータを利用して補正対象画素である注目画素２３１の画素値（Ｙ，Ｕ，Ｖ）の各値が決定される。
この処理について、図１５を参照して説明する。

図１５（Ｄ）には、図１４を参照して説明した処理によって最終選択された参照ビンであるビン２，４，５の付随情報付き度数分布データを示している。
画素値補正部１０４は、この最終選択ビンの付随情報付き度数分布データを利用して、補正対象画素である注目画素２３１の画素値（Ｙ，Ｕ，Ｖ）の各値を算出する。

具体的には、図１５（Ｅ）に示すように、補正対象画素である注目画素２３１のＹＵＶ＝（Ｙｔｇｔ，Ｕｔｇｔ，Ｖｔｇｔ）とも参照ビン２，４，５のＹ和（Ｙｓｕｍ）、Ｕ和（Ｕｓｕｍ）、Ｖ和（Ｖｓｕｍ）と各ビンの度数（Ｆｒｅｑ）を適用して以下の（式２）に従った加算平均処理により、注目画素２３１の補正画素値（Ｙｏｕｔ，Ｕｏｕｔ，Ｖｏｕｔ）を算出する。

・・・・・（式２）

なお、上記（式２）において、
Ｙｔｇｔ：補正対象画素（注目画素）のＹ値、
Ｕｔｇｔ：補正対象画素（注目画素）のＵ値、
Ｖｔｇｔ：補正対象画素（注目画素）のＶ値、
Ｙｓｕｍｉ：ビンｉのＹ和、
Ｕｓｕｍｉ：ビンｉのＵ和、
Ｖｓｕｍｉ：ビンｉのＶ和、
Ｆｒｅｑｉ：ビンｉの度数、
である。

ａｉ，ｂｉ，ｃｉは、ビンｉの重み係数であり、例えば、
ａｉ＝ｂｉ＝ｃｉ＝１、
あるいは、補正対象画素である注目画素対応のビンの重みを大きくし、注目画素対応ビンから遠いビンほど重みを小さくするといった設定が可能である。
なお、本例では、最終選択ビンはビン２，４，５であるので、ｉ＝２，４，５の設定となる。

なお、上記処理例では、Ｙ，Ｕ，Ｖとも参照ビンの選択処理を一律の処理として説明したが、各チャンネル単位で選択基準を緩めるあるいは厳しくするなどチャンネルごとに異なる処理を行う構成としてもよい。

また、例えば図１２に示す補正対象となる注目画素２３１の画素値が、縮小画像の対応画素、すなわち画素２０２の画素値に十二分に近い場合、ノイズ低減の必要のない極平坦領域と判断することが可能である。このような場合は、重み付加算平均処理を適用した補正処理をスキップして注目画素値をそのまま出力してもよい。このような処理により、計算量を削減することができる。

さらに、上記のようなビン選択を実行することで、参照ビンの数、あるいは参照ビンに対応する度数が少なくなり、参照画素数が減少してしまう場合がある。このような場合は、ノイズ低減効果が期待できない。具体的には、例えば、動被写体等で参照範囲に類似輝度を有する画素が少ない場合などにこのような事態が発生する。

このような場合は、予め作成もしくは適宜、より広い参照範囲を設定して処理を行う。このような参照領域の拡張により、最適なノイズ削減効果を得ることができる。
なお、具体的にはも例えば空間の参照範囲は控えめ、時間方向参照範囲を大きくとることで劣化の少ないノイズ低減処理が可能となる。ただし、動被写体が存在する場合などには、空間方向の参照範囲を広く取ることで、劣化の抑制とノイズ低減効果を両立することができる。

［４．本開示の画像処理装置の変形例について］
本開示の画像処理装置の構成例として図５に示す画像処理装置１００の構成と処理について説明してきた。
本開示の画像処理装置の構成例としては、図５に示す構成に限らず、様々構成が可能である。以下に示す本開示の画像処理装置の複数の変形例について、順次、説明する。
（１）生成した補正画像をフィードバックして繰り返し補正を実行する実施例、
（２）ヒストグラムをＦＩＦＯバッファに格納し、順次更新して利用する実施例、
（３）補正画素値算出に適用する参照ビンの選択閾値と、重み係数のチューニングを行う実施例、
以下、これらの実施例について、順次説明する。

［４−１．生成した補正画像をフィードバックして繰り返し補正を実行する実施例］
まず、図１６を参照して、本開示の処理によって生成した補正画像をフィードバックして繰り返し補正を実行する実施例について説明する。
図１６に示す画像処理装置３００は、図５に示す画像処理装置１００と同様、
画像縮小部１０１、
画像バッファ１０２、
画像解析部１０３、
画素値補正部１０４、
これらの各構成を有する。
さらに、
第２画像縮小部３２１を有する。

第２画像小部３２１は、画素値補正部１０４が生成した補正画像３０１を入力して縮小画像を生成し、生成した縮小画像を画像バッファ１０２に格納する処理を実行する。

すなわち、先に説明した図５に示す構成を有する画像処理装置１００は、画素値補正部１０４において補正した画素値を持つ画像を出力画像１２２として出力していたが、図１６に示す画像処理装置３００は、画素値補正部１０４の生成した補正画像を、さらに、画像バッファ１０２に格納し、補正画像を適用して、再度、補正画像を生成する。あるいは、補正画像を参照画像として適用して、異なるフレームの画像の補正を行うといった処理を実行する構成である。

すなわち、画素値補正部１０４は、補正対象とする入力画像１２１に基づいて補正画像３０１を生成し、さらに、補正画像３０１に対して、上述した処理と同様の処理を繰り返し実行して出力画像１２２を生成する。
あるいは、画素値補正部１０４は、補正対象とする入力画像１２１に基づいて補正画像３０１を生成し、さらに、次の入力画像の補正処理に際して、補正画像３０１に参照領域を設定して、上述した処理と同様の処理を実行して出力画像１２２を生成する。
このように補正画像を適用して、再度処理を行うことで、補正精度の向上が期待される。

［４−２．ヒストグラムをＦＩＦＯバッファに格納し、順次更新して利用する実施例］
次に、ヒストグラムをＦＩＦＯバッファに格納し、順次更新して利用する実施例について説明する。
図１７に本実施例に係る画像処理装置５００の構成例を示す。
図１７に示す画像処理装置５００は、図５に示す画像処理装置１００と同様、
画像縮小部１０１、
画像バッファ１０２、
画像解析部１０３、
画素値補正部１０４、
これらの各構成を有する。
さらに、
画像解析情報バッファ（ＦＩＦＯ）５０１を有する。

画像解析情報バッファ（ＦＩＦＯ）５０１には、画像解析部１０３の生成した画像解析情報を格納する。
画像解析部１０３は、先の実施例において説明したように、図１１に示す付随情報付き度数分布データを生成する。
前述したように、この図１１に示す付随情報付き度数分布データは、例えば図９を参照して説明したヒストグラム生成処理単位データを利用して生成される。

すなわち、図１１に示す付随情報付き度数分布データは、例えば４枚の連続撮影画像の縮小画像各々の３×３＝９画素、計３６画素の画素データに基づいて生成されるデータである。

図１７に示す画像解析部１０３は、各縮小画像単位の付随情報付き度数分布データを生成して、生成した各画像対応のデータを画像解析情報バッファ（ＦＩＦＯ）５０１に順次、格納する。
具体的には、例えば、
（１）撮影時間ｔ＝１の画像フレームＦ（ｔ１）の縮小画像に対応する付随情報付き度数分布データ［Ｄ−Ｆ（ｔ１）］
（２）撮影時間ｔ＝２の画像フレームＦ（ｔ２）の縮小画像に対応する付随情報付き度数分布データ［Ｄ−Ｆ（ｔ２）］
（３）撮影時間ｔ＝３の画像フレームＦ（ｔ３）の縮小画像に対応する付随情報付き度数分布データ［Ｄ−Ｆ（ｔ３）］
（４）撮影時間ｔ＝４の画像フレームＦ（ｔ４）の縮小画像に対応する付随情報付き度数分布データ［Ｄ−Ｆ（ｔ４）］
このような、画像単位の付随情報付き度数分布データを生成して画像解析情報バッファ（ＦＩＦＯ）５０１に順次、格納する。

なお、画像解析部１０３は、各縮小画像の各画素（ｘ，ｙ）を注目画素として設定した場合の各画素（ｘ，ｙ）対応の「付随情報付き度数分布データ［Ｄ−Ｆ（ｔｎ）］」を生成して画像解析情報バッファ（ＦＩＦＯ）５０１に順次、格納する。

画像解析情報バッファ（ＦＩＦＯ）５０１には、上記のように、４枚の連続撮影画像に対応する各画素対応の「付随情報付き度数分布データ［Ｄ−Ｆ（ｔｎ）］」が格納される。
画像解析部１０３は、この４枚の画像に対応する「付随情報付き度数分布データ［Ｄ−Ｆ（ｔｎ）］」から、同一画素位置（ｘ，ｙ）に対応する４つのデータを加算して、先に図１１を参照して説明した付随情報付き度数分布データを生成して、画素値補正部１０４に出力する。

画像解析情報バッファ（ＦＩＦＯ）５０１は、例えば４枚の画像に対応する付随情報付き度数分布データを格納可能なＦＩＦＯバッファであり、ｔ＝１〜４の画像対応のデータが格納され、ｔ＝１〜４の画像に基づく付随情報付き度数分布データを画素値補正部に出力した後、ｔ＝１対応の付随情報付き度数分布データは、次のｔ＝５の画像に対応する付随情報付き度数分布データに置き換えられる。
このように、画像解析情報バッファ（ＦＩＦＯ）５０１は、順次、最新の４枚の画像対応の付随情報付き度数分布データを格納するように更新される。

この構成により、画像解析部１０３は、画像解析情報バッファ（ＦＩＦＯ）５０１に格納された４枚の画像に対応する「付随情報付き度数分布データ［Ｄ−Ｆ（ｔｎ）］」を利用したデータ加算処理によって、先に図１１を参照して説明した付随情報付き度数分布データを生成して、画素値補正部１０４に出力することが可能となる。

［４−３．補正画素値算出に適用する参照ビンの選択閾値と、重み係数の調整（チューニング）を行う実施例］
次に、補正画素値算出に適用する参照ビンの選択閾値と、重み係数の調整（チューニング）を行う実施例について説明する。
先に説明したように、画素値補正部１０４は、例えば図１４、図１５を参照して説明した処理によって画素値を補正する。
具体的には、例えば、図１４に示すように、補正対象画素である注目画素２３１の補正に適用するビンとして、図１２、図１３を参照して説明した処理によって５つのビン２〜ビン６が選択されている場合、この５つのビンについて、付随情報（Ｕ和、Ｖ和）を利用してビン選択を行う。

この処理が図１４（Ｃ）に示すＵＶチャンネルの確認処理である。
図１４（Ｃ）に示すように、補正対象画素（注目画素）と参照ビン（本例ではビン２，３，４，５，６）とのＵＶ各チャンネルの値の差分が予め定めた閾値Ｔｈｕ，Ｔｈｖ未満であるか否かを判定する。
具体的には、先に説明した（式１）、すなわち以下の（式１）に従って判定する。

・・・・・（式１）

なお、上記（式１）において、
Ｕｔｇｔ：補正対象画素（注目画素）のＵ値、
Ｖｔｇｔ：補正対象画素（注目画素）のＶ値、
Ｕｓｕｍｉ：ビンｉのＵ和、
Ｖｓｕｍｉ：ビンｉのＶ和、
Ｆｒｅｑｉ：ビンｉの度数、
Ｔｈｕ，Ｔｈｖ：予め設定した既定閾値、
である。

上記（式１）を満足するビンのみが選択され、上記（式１）を満足しないビンは排除される。
結果として、例えばビン２，４，５のみが上記（式１）を満足し、ビン３，６は上記（式１）を満足しなかった場合、図１４（Ｄ）に示すように、ビン２，４，５のみが最終的な参照ビンとして選択される。

これらの最終選択ビンに含まれるデータを利用して補正対象画素である注目画素２３１の画素値（Ｙ，Ｕ，Ｖ）の各値が決定される。
この処理については、先に図１５を参照して説明したとおりである。

図１５（Ｄ）には、図１４を参照して説明した処理によって最終選択された参照ビンであるビン２，４，５の付随情報付き度数分布データを示している。
画素値補正部１０４は、この最終選択ビンの付随情報付き度数分布データを利用して、補正対象画素である注目画素２３１の画素値（Ｙ，Ｕ，Ｖ）の各値を算出する。

具体的には、図１５（Ｅ）に示すように、補正対象画素である注目画素２３１のＹＵＶ＝（Ｙｔｇｔ，Ｕｔｇｔ，Ｖｔｇｔ）とも参照ビン２，４，５のＹ和（Ｙｓｕｍ）、Ｕ和（Ｕｓｕｍ）、Ｖ和（Ｖｓｕｍ）と各ビンの度数（Ｆｒｅｑ）を適用して先に説明した（式２）、すなわち、以下に示す（式２）に従った加算平均処理により、注目画素２３１の補正画素値（Ｙｏｕｔ，Ｕｏｕｔ，Ｖｏｕｔ）を算出する。

・・・・・（式２）

なお、上記（式２）において、
Ｙｔｇｔ：補正対象画素（注目画素）のＹ値、
Ｕｔｇｔ：補正対象画素（注目画素）のＵ値、
Ｖｔｇｔ：補正対象画素（注目画素）のＶ値、
Ｙｓｕｍｉ：ビンｉのＹ和、
Ｕｓｕｍｉ：ビンｉのＵ和、
Ｖｓｕｍｉ：ビンｉのＶ和、
Ｆｒｅｑｉ：ビンｉの度数、
ａｉ，ｂｉ，ｃｉは、ビンｉの重み係数である。

このように、前述の実施例では、参照画素に設定するビンの選択処理に際して、前述の（式１）を適用して、補正対象画素（注目画素）と参照ビンとのＵＶ各チャンネルの値の差分が予め定めた閾値Ｔｈｕ，Ｔｈｖ未満であるか否かを判定する処理を実行していた。
また、補正画素値の算出においては、前述の（式２）を適用した処理を実行していた。この画素値算出には各ビン（ｉ）対応の重み係数ａｉ，ｂｉ，ｃｉを用いた処理を行なっていた。

これらの処理において、
（ａ）ビン選択に適用する閾値Ｔｈｕ，Ｔｈｖ、
（ｂ）画素値算出に適用する重み係数ａｉ，ｂｉ，ｃｉ、
これらの各パラメータの値は、補正対象画像や補正態様に応じて、適宜調整する構成としてもよい。
具体的には、例えば以下のような調整（チューニング）を行うことが好ましい。

輝度信号の加算平均はテクスチャ劣化を招きやすい。しかし、上記（式１）で適用する閾値Ｔｈｕ，Ｔｈｖや、上記（式２）に適用する重み係数ａｉ，ｂｉ，ｃｉを調整することで、テクスチャ劣化を抑えノイズ低減を行うことが可能となる。
このためのパラメータ調整は、例えば、以下の設定とする。
参照ビンの範囲を決定する上記（式１）中の閾値Ｔｈｕ，Ｔｈｖはゆるめの設定とし、
補正画素値を算出する上記（式２）の色差算出に適用する重み係数ｂｉ，ｃｉを広いビンになだらかに乗算する設定とし、輝度算出に適用する重み係数ａｉを狭いビン範囲に大きく乗算するように設定する。
このようなパラメータ調整を実行することでテクスチャ劣化を抑えノイズ低減を行うことが可能となる。

また、色ノイズが大きい場合、先に説明した（式１）に従って参照ビンの選択を行うと以下の問題が発生することがある。
すなわち、補正対象画素（注目画素）のＵ値：Ｕｔｇｔ、補正対象画素（注目画素）のＶ値：Ｖｔｇｔのノイズが大きく、真の値と大きく異なると、真の値の近傍のビンを排除してしまう可能性が高くなる。この場合、ノイズ低減効果が低下してしまう。

このような問題の発生を防止するためには、例えば、以下の（式３）に示す判定式を適用したビン選択を実行してもよい。

・・・・・（式３）

なお、上記（式３）において、
Ｕｓｕｍｃｅｎｔｅｒ：補正対象画素（注目画素）の属する中央ビンのＵ和、
Ｖｓｕｍｃｅｎｔｅｒ：補正対象画素（注目画素）の属する中央ビンのＶ和、
Ｆｒｅｑｃｅｎｔｅｒ：補正対象画素（注目画素）の属する中央ビンの度数、
Ｕｓｕｍｉ：ビンｉのＵ和、
Ｖｓｕｍｉ：ビンｉのＶ和、
Ｆｒｅｑｉ：ビンｉの度数、
Ｔｈｕ，Ｔｈｖ：予め設定した既定閾値、
である。

上記の（式３）は、補正対象画素（注目画素）の属する中央ビン（Ｃｅｎｔｅｒ）と周囲ビンとの色差の差分に応じて参照ビンの選択範囲を決定する判定式である。
上記（式３）を満足するビンを参照ビンとして選択する。

この（式３）の判定式に従って参照ビンの選択を実行することで、補正対象画素（注目画素）のＵ値：Ｕｔｇｔ、補正対象画素（注目画素）のＶ値：Ｖｔｇｔのノイズが大きい場合でも、真の値の近傍のビンを排除してしまう可能性を低減することができ、適切な参照ビン選択を実現することが可能となる。

ただし、色差による制限判定を複数画素からなるブロック単位に行うことで、ブロック内に複数の色が混ざっている領域では誤判定を起こす可能性がある。従って、補正対象画像のノイズ量に応じて、（式１）、（式３）のいずれの判定式を選択するかを決定して適用することが好ましい。
ノイズの少ない画像に対しては（式１）を適用し、ノイズの多い画像の場合は、（式３）を適用するといった処理を行なう構成とするのが望ましい。
なお、（式１）、（式３）のいずれの判定式を用いたビン選択処理は、生成したヒストグラムによって実行可能であり、ヒストグラム作成時に予め求めておくことも可能である。

［５．画像処理装置のハードウェア構成例について］
最後に、図１８を参照して、上述した処理を実行する画像処理装置の１つのハードウェア構成例について説明する。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、または記憶部９０８に記憶されているプログラムに従って各種の処理を実行する。例えば、上述の各実施例において説明した縮小画像生成処理、画像解析処理、画像解析結果を適用したノイズ低減処理等の画像処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３には、ＣＰＵ９０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ９０１、ＲＯＭ９０２、およびＲＡＭ９０３は、バス９０４により相互に接続されている。

ＣＰＵ９０１はバス９０４を介して入出力インタフェース９０５に接続され、入出力インタフェース９０５には、キーボード、マウス、マイクロホンなどよりなる入力部９０６、ディスプレイ、スピーカなどよりなる出力部９０７が接続されている。ＣＰＵ９０１は、入力部９０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部９０７に出力する。

入出力インタフェース９０５に接続されている記憶部９０８は、例えばハードディスクからなり、ＣＰＵ９０１が実行するプログラムや各種のデータを記憶する。通信部９０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

入出力インタフェース９０５に接続されているドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア９１１を駆動し、記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部９０８に転送され記憶される。

［６．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） ノイズ低減対象画素の画素値補正に適用する参照画素を選択するための参照領域に含まれる画素の画素値に対応する度数分布データを含む画像解析情報を生成する画像解析部と、
前記画像解析情報を適用して画素値補正を実行する画素値補正部を有し、
前記画像解析部は、
輝度値に応じて異なる大きさの輝度範囲をビン幅に設定した異なるビン幅の複数のビンを設定し、各ビン対応の輝度範囲の画素数を度数データとして設定した度数分布データを生成し、
前記画素値補正部は、
前記ノイズ低減対象画素の画素値の含まれるビンである補正対象画素対応ビン、および該補正対象画素対応ビンに隣接する予め設定した既定数のビンを選択し、選択ビンに含まれる参照画素の画素値を適用した演算処理により前記ノイズ低減対象画素の補正画素値を算出する画像処理装置。

（２）前記画素値補正部は、前記選択ビンに含まれる参照画素の画素値の加算平均処理により、前記ノイズ低減対象画素の補正画素値を算出する前記（１）に記載の画像処理装置。
（３）前記画像解析部は、輝度値とノイズ標準偏差との対応関係データを利用し、輝度値Ｙに対応するノイズ標準偏差σ（Ｙ）の値、または予め設定した係数ｋを乗算したｋσ（Ｙ）を前記ビン幅として設定した度数分布データを生成する前記（１）または（２）に記載の画像処理装置。

（４）前記画像解析部は、前記異なるビン幅の複数のビンを設定した度数分布データに併せて、各ビン対応の画素の画素値総和データを付随データとして生成する前記（１）〜（３）いずれかに記載の画像処理装置。
（５）前記画像解析部は、前記付随データとして、各ビン対応の画素のＹ，Ｕ，Ｖ各画素値の総和データを生成する前記（４）に記載の画像処理装置。
（６）前記画素値補正部は、前記ノイズ低減対象画素の画素値と、前記選択ビンの付随データであるＵ，Ｖ各画素値の総和データから算出した選択ビンのＵおよびＶの平均値との差分が既定閾値未満のビンを再選択し、再選択ビンに含まれる参照画素の画素値を適用した演算処理により前記ノイズ低減対象画素の補正画素値を算出する前記（５）に記載の画像処理装置。

（７）前記画素値補正部は、前記ノイズ低減対象画素の含まれる中央ビンのＵおよびＶの各平均値と、前記選択ビンのＵおよびＶの各平均値との差分が既定閾値未満のビンを再選択し、再選択ビンに含まれる参照画素の画素値を適用した演算処理により前記ノイズ低減対象画素の補正画素値を算出する前記（５）に記載の画像処理装置。

（８）前記画像処理装置は、前記ノイズ低減対象画素を含む画像を縮小する画像縮小部を有し、前記画像解析部は、前記画像縮小部の生成した縮小画像に基づいて前記画像解析情報を生成する前記（１）〜（７）いずれかに記載の画像処理装置。
（９）前記画像縮小部は、エッジ保存平滑化処理を実行して縮小画像を生成する前記（８）に記載の画像処理装置。

（１０）前記画像解析部は、前記ノイズ低減対象画素を含む画像を含む複数の連続撮影画像の対応画素領域を参照領域として設定し、該参照領域に含まれる画素の画素値に対応する度数分布データを含む画像解析情報を生成する前記（１）〜（９）いずれかに記載の画像処理装置。
（１１）前記画像解析部は、
前記度数分布データを各画像単位で生成し、生成した画像単位の度数分布データをＦＩＦＯバッファに格納し、ＦＩＦＯバッファに格納した複数の画像の度数分布データの演算処理により、複数の連続撮影画像に設定された参照領域に含まれる画素の画素値に対応する度数分布データを含む画像解析情報を生成する前記（１０）に記載の画像処理装置。

さらに、上記した装置およびシステムにおいて実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、画像に対する効率的なノイズ低減処理を実現する装置および方法を提供する。
具体的には、ノイズ低減対象画素の画素値補正に適用する参照領域構成画素の画素値の度数分布データを含む画像解析情報を生成する画像解析部と、画像解析情報を適用して画素値補正を実行する画素値補正部を有する。画像解析部は輝度値に応じて異なるビン幅の複数のビンを設定し、各ビン対応の輝度範囲の画素数を度数データとして設定した度数分布データを生成する。画素値補正部はノイズ低減対象画素の画素値の含まれるビンである補正対象画素対応ビン、および該補正対象画素対応ビンに隣接する予め設定した既定数のビンを選択し、選択ビンに含まれる参照画素の画素値を適用した演算処理によりノイズ低減対象画素の補正画素値を算出する。
これらの処理により、各画素対応の問題画素判定処理を逐次、行うことなく、補正対象画素と類似する画素値を持つ画素のみを速やかに選択可能となり、効率的な画素値補正処理が実現される。

１００ 画像処理装置
１０１ 画像縮小部
１０２ 画像バッファ
１０３ 画像解析部
１０４ 画素値補正部
１２１ 入力画像
１２２ 出力画像
１２３ 画像解析情報
１３１ エッジ保存平滑化処理部
１３２ サブサンプル部
１４１ 縮小画像
１５１ Ｈａａｒ変換部
１５２ 段数決定部
１５３ 低域複写部
１８１ ヒストグラムビン幅決定部
１８２ 画像解析情報生成部
３００ 画像処理装置
３０１ 補正画像
３２１ 第２画像縮小部
５００ 画像処理装置
５０１ 画像解析情報バッファ
９０１ ＣＰＵ
９０２ ＲＯＭ
９０３ ＲＡＭ
９０４ バス
９０５ 入出力インタフェース
９０６ 入力部
９０７ 出力部
９０８ 記憶部
９０９ 通信部
９１０ ドライブ
９１１ リムーバブルメディア

Claims (13)

1. ノイズ低減対象画素の画素値補正に適用する参照画素を選択するための参照領域に含まれる画素の画素値に対応する度数分布データを含む画像解析情報を生成する画像解析部と、
   前記画像解析情報を適用して画素値補正を実行する画素値補正部を有し、
   前記画像解析部は、
   輝度値に応じて異なる大きさの輝度範囲をビン幅に設定した異なるビン幅の複数のビンを設定し、各ビン対応の輝度範囲の画素数を度数データとして設定した度数分布データを生成し、
   前記画素値補正部は、
   前記ノイズ低減対象画素の画素値の含まれるビンである補正対象画素対応ビン、および該補正対象画素対応ビンに隣接する予め設定した既定数のビンを選択し、選択ビンに含まれる参照画素の画素値を適用した演算処理により前記ノイズ低減対象画素の補正画素値を算出する画像処理装置。
2. 前記画素値補正部は、
   前記選択ビンに含まれる参照画素の画素値の加算平均処理により、前記ノイズ低減対象画素の補正画素値を算出する請求項１に記載の画像処理装置。
3. 前記画像解析部は、
   輝度値とノイズ標準偏差との対応関係データを利用し、輝度値Ｙに対応するノイズ標準偏差σ（Ｙ）の値、または予め設定した係数ｋを乗算したｋσ（Ｙ）を前記ビン幅として設定した度数分布データを生成する請求項１に記載の画像処理装置。
4. 前記画像解析部は、
   前記異なるビン幅の複数のビンを設定した度数分布データに併せて、各ビン対応の画素の画素値総和データを付随データとして生成する請求項１に記載の画像処理装置。
5. 前記画像解析部は、
   前記付随データとして、各ビン対応の画素のＹ，Ｕ，Ｖ各画素値の総和データを生成する請求項４に記載の画像処理装置。
6. 前記画素値補正部は、
   前記ノイズ低減対象画素の画素値と、前記選択ビンの付随データであるＵ，Ｖ各画素値の総和データから算出した選択ビンのＵおよびＶの平均値との差分が既定閾値未満のビンを再選択し、再選択ビンに含まれる参照画素の画素値を適用した演算処理により前記ノイズ低減対象画素の補正画素値を算出する請求項５に記載の画像処理装置。
7. 前記画素値補正部は、
   前記ノイズ低減対象画素の含まれる中央ビンのＵおよびＶの各平均値と、前記選択ビンのＵおよびＶの各平均値との差分が既定閾値未満のビンを再選択し、再選択ビンに含まれる参照画素の画素値を適用した演算処理により前記ノイズ低減対象画素の補正画素値を算出する請求項５に記載の画像処理装置。
8. 前記画像処理装置は、
   前記ノイズ低減対象画素を含む画像を縮小する画像縮小部を有し、
   前記画像解析部は、前記画像縮小部の生成した縮小画像に基づいて前記画像解析情報を生成する請求項１に記載の画像処理装置。
9. 前記画像縮小部は、
   エッジ保存平滑化処理を実行して縮小画像を生成する請求項８に記載の画像処理装置。
10. 前記画像解析部は、
    前記ノイズ低減対象画素を含む画像を含む複数の連続撮影画像の対応画素領域を参照領域として設定し、該参照領域に含まれる画素の画素値に対応する度数分布データを含む画像解析情報を生成する請求項１に記載の画像処理装置。
11. 前記画像解析部は、
    前記度数分布データを各画像単位で生成し、生成した画像単位の度数分布データをＦＩＦＯバッファに格納し、ＦＩＦＯバッファに格納した複数の画像の度数分布データの演算処理により、複数の連続撮影画像に設定された参照領域に含まれる画素の画素値に対応する度数分布データを含む画像解析情報を生成する請求項１０に記載の画像処理装置。
12. 画像処理装置において画素のノイズ低減処理を実行する画像処理方法であり、
    画像解析部が、ノイズ低減対象画素の画素値補正に適用する参照画素を選択するための参照領域に含まれる画素の画素値に対応する度数分布データを含む画像解析情報を生成する画像解析ステップと、
    画素値補正部が、前記画像解析情報を適用して画素値補正を実行する画素値補正ステップを実行し、
    前記画像解析ステップは、
    輝度値に応じて異なる大きさの輝度範囲をビン幅に設定した異なるビン幅の複数のビンを設定し、各ビン対応の輝度範囲の画素数を度数データとして設定した度数分布データを生成するステップであり、
    前記画素値補正ステップは、
    前記ノイズ低減対象画素の画素値の含まれるビンである補正対象画素対応ビン、および該補正対象画素対応ビンに隣接する予め設定した既定数のビンを選択し、選択ビンに含まれる参照画素の画素値を適用した演算処理により前記ノイズ低減対象画素の補正画素値を算出するステップである画像処理方法。
13. 画像処理装置において画素のノイズ低減処理を実行させるプログラムであり、
    画像解析部に、ノイズ低減対象画素の画素値補正に適用する参照画素を選択するための参照領域に含まれる画素の画素値に対応する度数分布データを含む画像解析情報を生成させる画像解析ステップと、
    画素値補正部に、前記画像解析情報を適用して画素値補正を実行させる画素値補正ステップを実行させ、
    前記画像解析ステップは、
    輝度値に応じて異なる大きさの輝度範囲をビン幅に設定した異なるビン幅の複数のビンの設定し、各ビン対応の輝度範囲の画素数を度数データとして設定した度数分布データを生成させるステップであり、
    前記画素値補正ステップは、
    前記ノイズ低減対象画素の画素値の含まれるビンである補正対象画素対応ビン、および該補正対象画素対応ビンに隣接する予め設定した既定数のビンを選択し、選択ビンに含まれる参照画素の画素値を適用した演算処理により前記ノイズ低減対象画素の補正画素値を算出させるステップであるプログラム。

Images