JP6041133B2 - 画像処理装置、画像処理方法、画像処理プログラムおよびチップ回路 - Google Patents

Description

本開示は、撮像された画像に含まれるノイズを低減する画像処理装置に関する。

特許文献１は、画像内の着目画素から空間的にランダムに軸を設定し、その軸上の画素に対してノイズ平滑化処理を行う画像処理装置を開示する。これにより、処理後の画像に含まれるノイズの周波数が低周波成分に偏ることを抑制することができる。

また、非特許文献１は、画像内の着目画素と、その周辺画素の画素値の違いを考慮してノイズ平滑化処理を行う画像処理技術を開示する。これにより、画像中の模様を残しつつ、ノイズを低減することできる。

特開平０９−１３８８４９号公報

トマシ，マンドゥッチ著（C.Tomash and R.Maduchi），「濃淡画像及びカラー画像のためのバイラテラルフィルタリング（Bilateral Filtering for Gray and Color Images）」，１９９８年 米国電気電子技術者協会 コンピュータヴィジョン国際会議予稿集（Proceedings of the 1998 IEEE International Conference on Computer Vision, Bombay,India）

本開示は、画像に含まれるノイズの周波数分布特性を維持しつつ、ノイズを低減することができる画像処理装置を提供する。

本開示における、入力画像に対してノイズ平準化処理を行う画像処理装置は、前記入力画像は、前記入力画像の着目画素に関して、ランダムに定められた各参照画素について、当該着目画素を含む第１の領域と当該参照画素を含む第２の領域との類似度を算出することによって、この類似度が高くなるにつれて値が大きくなる乗算係数を、それぞれ算出する第１の算出部と、前記各参照画素に割り当てられた乱数を算出する第２の算出部と、前記各参照画素の画素値に、前記各参照画素についての前記乗算係数と、前記各参照画素に割り当てられた乱数とを乗算し、当該乗算結果の総和を演算する積和演算部と、前記各参照画素についての前記乗算係数に、前記各参照画素に割り当てられた乱数を乗算し、当該乗算結果の総和を演算する係数総和部と、前記積和演算部の演算結果を前記係数総和部の演算結果で除算し、当該除算結果を、前記着目画素の画素値として出力する除算部とを備えている。

本開示における画像処理装置は、画像に含まれるノイズの周波数分布特性を維持しつつ、ノイズを低減することができる。

実施の形態１に係る画像処理装置の構成を示すブロック図である。 実施の形態１に係る画像処理装置の動作を説明するためのフローチャートである。 入力画像における各画素および各領域を説明するための図である。 ノイズ平準化処理における複数の関数の周波数特性を示す図である。 カラーフィルタアレイを介して得られた画像とその画像内の各画素の例を示す図である。 輝度画像および色差画像における参照画素の設定例を示す図である。 １つの画像における参照画素の設定例を示す図である。 複数の画像における着目画素と参照画素の設定例を示す図である。 複数の画像が入力される場合における画像処理装置の動作を説明するためのフローチャートである。 複数の画像における着目画素と参照画素の別の設定例を示す図である。 多値乱数を用いた場合の参照画素の設定例を示す図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
以下、図１〜図４を用いて、実施の形態１を説明する。

［１−１．画像処理装置の構成］
図１は、実施の形態１に係る画像処理装置の構成を示すブロック図である。画像処理装置１０は、第１の算出部１１と、第２の算出部１２と、積和演算部１３と、係数総和部１４と、除算部１５と、出力部１６とを備える。

画像処理装置１０は、入力画像Ｉを受け、入力画像Ｉに対して、以下に示す数式（１）に示されるノイズ平準化処理を施して出力画像Ｉ’を生成する。出力画像Ｉ’は、ノイズ平準化処理によって入力画像Ｉに含まれるランダムノイズ（以下、ノイズと表記する。）が低減された画像である。なお、本実施の形態ではモノクロ画像を扱うこととする。

数式（１）において、Ｉ（ｘ，ｙ）は入力画像Ｉを、Ｉ（ｘ＋ｕ，ｙ＋ｖ）は入力画像Ｉに含まれる画素（ｘ，ｙ）の周辺画素を、Ｉ’（ｘ，ｙ）は出力画像Ｉ’を表す。

第１の算出部１１は、数式（１）に示すｇ（ｘ，ｕ，ｙ，ｖ）の算出処理を行う。ここで、ｇ（ｘ，ｕ，ｙ，ｖ）は、入力画像Ｉに含まれる、画素（ｘ，ｙ）で示される着目画素と画素（ｘ＋ｕ，ｙ＋ｖ）で示される参照画素との乗算係数（以下、乗算係数ｇと表記する。）を表す。また、数式（１）におけるｕ，ｖ∈Ｒ１は、画素（ｘ，ｙ）の周辺領域、例えば、後述する第１および第２の領域２４，２５を示す。

図２は、入力画像と、その画像内の各画素および各領域の例を示す図である。図２に示す入力画像Ｉには、ノイズ平準化処理の対象となる着目画素２０と、第１の乱数値が割り当てられた複数の参照画素２１と、第２の乱数値が割り当てられた複数の非参照画素２２とが設定されている。本実施の形態では、入力画像Ｉの各画素には、例えば０と１からなる２値の乱数が割り当てられており、第１の乱数値として１が割り当てられている画素が参照画素２１である。なお、入力画像Ｉにおいて、全ての画素に乱数が割り当てられている必要はなく、ノイズ平準化処理の対象となる範囲の画素に乱数が割り当てられていればよい。また、第２の乱数値として０が割り当てられている画素は非参照画素２２である。

図２において、点線で囲まれた領域は、着目画素２０を中心とした複数の画素を含む第１の領域２４である。太線で囲まれた領域は、参照画素２１を中心とした複数の画素を含む第２の領域２５である。なお、本実施の形態では、第１および第２の領域２４，２５は同形状であるとする。

第１の算出部１１は、以下の数式（２），（３）を用いて、第１および第２の領域２４，２５の類似度を判定し、判定結果に基づいて乗算係数ｇを算出する。

数式（２）は乗算係数ｇを算出するために用いられ、数式（３）は第１および第２の領域２４，２５の類似度を算出するために用いられる。

数式（２）において、Ｓ（ｘ，ｕ，ｙ，ｖ）は、画素（ｘ，ｙ）と画素（ｘ＋ｕ，ｙ＋ｖ）との類似度を示す。本実施の形態では、このＳの値が小さいほど、両画素が似ていることを示し、Ｓの値が大きいほど、両画素が似ていないことを示す。また、ｗは、単調減少関数である。ここで、単調減少関数ｗとは、Ｓの値が大きくなるにつれて値が小さくなり、Ｓの値が小さくなるにつれて値が大きくなるような関数であり、例えば、ガウス関数、指数関数、線形関数、および区分線形関数などである。

数式（３）において、Ｊ（ｘ，ｙ）は、画素（ｘ，ｙ）を含む第１の領域２４を示し、Ｊ（ｘ＋ｕ，ｙ＋ｖ）は、画素（ｘ＋ｕ，ｙ＋ｖ）を含む第２の領域２５を示す。また、Ｄは、第１および第２の領域２４，２５に含まれる画素の画素値の差を算出する関数である。つまり、関数Ｄを用いて、第１および第２の領域２４，２５において対応する画素の画素値の差を用いて類似度を示すＳを算出することができる。

本実施の形態では、数式（２），（３）によって、着目画素２０と参照画素２１の類似度を、第１および第２の領域２４，２５の類似度を用いて評価している。関数Ｄとして、例えば、第１および第２の領域２４，２５において対応する画素の画素値の差分絶対値の和を求める関数や、画素値の差分の２乗和を求める関数を用いることができる。

以上のように、第１の算出部１１において、第１および第２の領域２４，２５の類似度に基づいて乗算係数ｇが算出される。なお、図２において、第２の領域２５は、複数の参照画素２１のそれぞれに対応して設定されるため、第１の算出部１１は、各参照画素２１に対応する乗算係数ｇを算出することになる。

第２の算出部１２は、数式（１）に示すｆ（ｘ，ｕ，ｙ，ｖ）の算出処理を行う。ｆ（ｘ，ｕ，ｙ，ｖ）は、入力画像Ｉの各画素に割り当てられた乱数（以下、乱数ｆと表記する。）である。なお、第２の算出部１２は、乱数ｆを逐次発生してもよいし、あらかじめ生成された乱数ｆをメモリ等から読み出して用いてもよい。また、乱数ｆの期待値ｅは一定、あるいは一定に近い値とする。例えば、図２において、乱数ｆの期待値ｅは０．１である。ここで、乱数ｆとして、複数の参照画素２１に割り当てられた乱数値（本実施の形態では１）を乱数ｆ１と表記することとする。

積和演算部１３は、数式（１）に示す分子の演算を行う。具体的に、積和演算部１３は、複数の参照画素２１の画素値と、各参照画素２１に対応する乗算係数ｇと、乱数ｆ１とを乗算する。そして、乗算結果の総和を演算する。

係数総和部１４は、数式（１）に示す分母の演算を行う。具体的に、係数総和部１４は、複数の参照画素２１のそれぞれに対応する乗算係数ｇと乱数ｆ１とを乗算し、乗算結果の総和を演算する。

除算部１５は、数式（１）に示す除算を行う。つまり、除算部１５によって加算平均が行われて、出力画像Ｉ’が生成される。そして、出力部１６から出力画像Ｉ’が出力される。出力部１６はＳＤＩ（Serial Digital Interface）端子、ＨＤＭＩ（High-Definition Multimedia Interface）端子などの映像端子である。

［１−２．画像処理装置の動作］
以上のように構成された画像処理装置１０について、その動作を説明する。

図３は、本実施の形態に係る画像処理装置の動作を説明するためのフローチャートである。

まず、ステップＳ１０において、画像処理装置１０に入力画像Ｉが入力される。

ステップＳ１１では、第１の領域２４と第２の領域２５との類似度に基づく単調減少関数を用いて、入力画像Ｉに含まれる複数の参照画素２１のそれぞれに対応する複数の乗算係数ｇが算出される。

ステップＳ１２では、入力画像Ｉの各画素に割り当てられた乱数ｆが算出される。これにより、各参照画素２１に割り当てられた乱数ｆ１が算出される。

ステップＳ１３では、各参照画素２１の画素値と、各参照画素２１に対応する乗算係数ｇと、乱数ｆ１とが乗算され、乗算結果の総和であるＳｕｍ１が算出される。

ステップＳ１４では、各参照画素２１に対応する乗算係数ｇと乱数ｆ１とが乗算され、乗算結果の総和であるＳｕｍ２が算出される。

ステップＳ１５では、Ｓｕｍ１がＳｕｍ２で除算されることによって、着目画素２０の画素値が算出される。以上のようなノイズ平準化処理を、入力画像Ｉの全ての着目画素２０について繰り返し行うことで、出力画像Ｉ’が生成される。

ステップＳ１６では、上述した処理の結果として得られた出力画像Ｉ’が出力される。なお、ステップＳ１１とステップＳ１２の順序を入れ替えてもよい。

［１−３．効果等］
以上のように、本実施の形態では、着目画素２０を含む第１の領域２４と、参照画素２１を含む第２の領域２５との類似度に基づく単調減少関数を用いて、着目画素２０と参照画素２１との乗算係数ｇが算出される。参照画素２１は、入力画像Ｉに含まれる画素のうち、乱数ｆ１が割り当てられた画素である。つまり、複数の参照画素２１は、入力画像Ｉにおいてランダムに存在する。

そして、各参照画素２１の画素値と、各参照画素２１に対応する乗算係数ｇと、乱数ｆ１とが乗算され、この乗算結果の総和Ｓｕｍ１が演算される。また、各参照画素２１に対応する乗算係数ｇと乱数ｆ１とが乗算され、この乗算結果の総和Ｓｕｍ２が演算される。そして、Ｓｕｍ１がＳｕｍ２で除算されることで、着目画素２０に対するノイズ平準化処理が行われる。したがって、入力画像Ｉに含まれる複数の画素に対してノイズ平準化処理を行うことで、入力画像Ｉに含まれるノイズが低減された出力画像Ｉ’が生成される。

本実施の形態では、ノイズ平準化処理に、第２の算出部１２から得られる２値乱数が用いられる。以下、この効果について説明する。

図４は、ノイズ平準化処理における複数の関数の周波数特性を示す図である。図４に示すように、指数関数およびガウス関数をノイズ平準化処理に用いた場合、ノイズの周波数成分のうち、低周波成分の強度が高く、高周波成分の強度が低くなっているのがわかる。図４において、強度が１であるということは、ノイズをそのまま通すこと、つまり出力画像にノイズがそのまま現れることを示すため、指数関数やガウス関数を用いた場合、低周波成分のノイズをより多く通し、高周波成分のノイズが１０％以下に低減されることになる。したがって、指数関数やガウス関数を用いたノイズ平準化処理では、処理後の画像におけるノイズの周波数成分が低周波に偏ってしまう。換言すると、処理後の画像において、不要なノイズが除去されるだけでなく、例えば画像の質感を保つために必要なノイズも除去されてしまうおそれがある。このようなノイズが除去されると、人間は、その画像をＣＧ（Computer Graphics）であるかのように感じてしまう。

これに対して、本実施の形態では、図２に示すように、各画素に２値の乱数ｆを割り当て、乱数ｆのうち乱数ｆ１が割り当てられた画素を参照画素２１としている。このように、２値乱数を用いたノイズ平準化処理では、図４に示すように、ノイズの周波数成分の強度が、低周波から高周波にわたってほぼ一様であることがわかる。したがって、２値乱数を用いたノイズ平準化処理では、低周波成分のノイズであっても高周波成分のノイズであっても、偏りなく、ノイズをほぼ一様に通す。なお、「ほぼ一様に通す」とは、例えば、ノイズの各周波数成を約１０％またはそれ以上通すことをいう。

このように、本実施の形態では、ノイズの周波数成分が低周波に偏ることを抑制することができるため、入力画像Ｉに含まれるノイズの周波数分布特性を維持することができる。すなわち、出力画像Ｉ’に必要なノイズを残すことができるため、出力画像Ｉ’は、人間の視覚に自然な画像として映る。

一般に、画像に含まれる複数の画素について、それらの位置と関係ない乱数を用いてノイズ平準化処理を行うと、画像中のエッジ部分や模様部分のように、画素値が大きく変化する画素が大幅に乱れるおそれがある。

本実施の形態では、着目画素２０と参照画素２１との乗算係数ｇを、着目画素２０を含む第１の領域２４と参照画素２１を含む第２の領域２５との類似度に基づく単調減少関数を用いて算出することで、この乱れを抑制することができる。また、本実施の形態では、画素同士ではなく、第１および第２の領域２４，２５の類似度を用いているため、ノイズの影響を抑制でき、類似度を高精度に比較することができる。

以上、本実施の形態によると、ノイズ平準化処理に用いる参照画素がランダムに選択されるため、画像に含まれるノイズの周波数分布特性を維持しつつ、ノイズを低減することができる。

−変形例１−
実施の形態１では、入力画像Ｉをモノクロ画像として説明したが、画像処理装置１０は、カラーフィルタアレイ（以下、ＣＦＡと表記する。）を介して得られるＣＦＡ画像に対して、直接ノイズ平準化処理を行ってもよい。以下、入力画像ＩをＣＦＡ画像とした場合について説明する。

図５は、カラーフィルタアレイを介して得られた画像とその画像内の各画素の例を示す図である。図５（Ａ）に示す画像は、Ｒ（赤），Ｇ（緑），Ｂ（青），Ｗ（白）の４種類のカラーフィルタを介して得られた画像である。図５（Ａ）において、着目画素２０は画素Ｗであり、参照画素２１は着目画素２０と同色の画素Ｗである。図５（Ａ）において、斜線が付された参照画素２１である画素Ｗには第１の乱数値として１が割り当てられている。

また、図５（Ｂ）に示す画像は、ＣＦＡがＢａｙｅｒ配列である場合の画像の例を示す。図５（Ｂ）において、着目画素２０は画素Ｇであり、参照画素２１は着目画素２０と同色の画素Ｇである。図５（Ｂ）において、斜線が付された参照画素２１である画素Ｇには第１の乱数値として１が割り当てられている。

図５において、着目画素２０および参照画素２１以外の画素は第２の乱数値として０が割り当てられた非参照画素２２（図２参照）である。図５に示すように、画素の配置、つまりＣＦＡの配置が上下２画素単位で同一色の画素が現れるような周期性を持つ場合、各参照画素２１は、着目画素２０から偶数列だけ離れた位置、あるいは偶数行だけ離れた位置に存在するように設定されていてもよい。

図５に示すようなＣＦＡ画像を用いる場合、第１および第２の領域２４，２５（図２参照）には、参照画素２１と異なる色の画素が含まれていてもよい。これにより、第１および第２の領域２４，２５の類似度の判定に用いられる画素数が増えるため、類似度の判定精度を向上することができる。

以上のように、本変形例によると、ＣＦＡ画像に対して、通常のカラー画像へのデモザイク処理（demosaicing）を行うことなく、画像に含まれるノイズを除去することができる。

一般に、ノイズを含む画像をデモザイク処理すると、隣接する異なる色の画素のノイズが相互に影響し、実際には存在しない色（偽色：false color）が生じることがある。

これに対して、本変形例では、ＣＦＡ画像に対して、直接、ノイズ平準化処理を行うことができるため、デモザイク処理が不要となる。したがって、上述した偽色が発生することがない。

なお、本変形例では、４色のＣＦＡを用いた場合について説明したが、色の種類および数は任意である。また、ＣＦＡの各画素の配置はランダムであってもよい。

−変形例２−
次に、画像処理装置１０にカラー画像を入力する場合について説明する。カラー画像は、例えば、Ｒ，Ｇ，Ｂ、あるいはＹ，Ｃｂ，Ｃｒといった複数のチャネルを含んでいる。本変形例では、Ｙ，Ｃｂ，Ｃｒのチャネルを含むカラー画像への適用例を説明する。

図６は、輝度画像および色差画像における参照画素の例を示す図である。図６（Ａ），（Ｂ）は同一のカラー画像を構成するものであり、図６（Ａ）は、Ｙ（輝度）画像における着目画素と第１の乱数値として１が割り当てられた複数の参照画素の例を示す。また、図６（Ｂ）は、ＣｂＣｒ（色差）画像における着目画素と第１の乱数値として１が割り当てられた複数の参照画素の例を示す。

ここで、図６（Ａ）に示す各画素に割り当てられた乱数の期待値ｅは例えば０．０７５であり、図６（Ｂ）に示す各画素に割り当てられた乱数の期待値ｅは例えば０．１２５である。したがって、色差画像における参照画素２１の数は、輝度画像における参照画素２１の数よりも多くなる。

このように、輝度画像に対する乱数の期待値よりも色差画像に対する乱数の期待値を上げることで、色差画像に含まれるノイズ除去効果を高めることができる。なお、輝度画像および色差画像のそれぞれに対するノイズ平準化処理において、乱数の期待値が変更可能であればよい。

また、輝度画像と色差画像とで乱数の期待値を変えずに、参照画素の設定範囲を広げてもよい。具体的に、輝度画像に対しては、例えば１０×１０の画素の範囲に参照画素を設定し、色差画像に対しては、例えば１５×１５の画素の範囲に参照画素を設定するようにしてもよい。このように、輝度画像と色差画像とで、参照画素の設定範囲を変更してもよい。

一般に、画像に対するノイズ除去効果が高まりすぎると、画像のぼけが増加する場合がある。ところが、人間の視覚特性では、画像の輝度成分よりも色差成分の空間分解能が低いため、色差画像のノイズがより多く除去されることによって色差画像のぼけが増加しても、人間の視覚に影響を与えにくい。したがって、人間は、色差画像のノイズがより多く除去されたカラー画像を自然な画像として見ることができる。

以上のように、画像を構成するチャネルに応じて乱数の期待値を変更したり、参照画素の設定範囲を変更したりすることで、主観的な画質を維持しながら、ノイズ除去効果を効率的に高めることができる。

なお、いわゆるＲＧＢ画像に含まれるノイズの強度や視認性に基づいて、ＲＧＢ画像を構成する各チャネルに応じて、乱数の期待値を変更したり、参照画素の設定範囲を変更ししたりしてもよい。

−変形例３−
変形例２では、カラー画像を構成する各チャネルに応じて、乱数の期待値や参照画素の設定範囲を変更する場合について説明したが、１つの画像内における着目画素と参照画素との類似度に基づいて、乱数の期待値や参照画素の設定範囲を変更してもよい。

例えば、任意の着目画素２０について、係数総和部１４が演算した結果（数式（１）の分母）の値が小さい場合、除算部１５による加算平均の効果が低くなる。これは、その任意の着目画素２０の周辺に、着目画素２０と類似した画素が少ない場合に生じる。したがって、このような場合に、乱数の期待値や参照画素の設定範囲を変更して、ノイズ除去効果を高めるようにしてもよい。以下、このような場合について、図７を用いて具体的に説明する。

図７は、１つの画像内における参照画素の設定例を示す図である。図７（Ａ）は２値乱数の期待値ｅが０．０７５である場合を示す。

図７（Ａ）に示す着目画素２０に対するノイズ平準化処理において、係数総和部１４の演算結果の値が所定値以下であった場合、ノイズ平準化処理に用いる参照画素２１の数を増やすために、２値乱数の期待値ｅを上げる。

図７（Ｂ）は、２値乱数の期待値ｅが０．１２５である場合を示す。期待値ｅを上げることにより、図７（Ｂ）に示す参照画素２１の数は、図７（Ａ）よりも多くなる。

また、図７（Ｃ）に示すように、参照画素２１の設定範囲を広げてもよい。なお、２値乱数の期待値ｅを上げるとともに、参照画素２１の設定範囲を広げてもよい。つまり、ノイズ平準化処理において、参照画素２１の数が増加するようにすればよい。

以上、本変形例によると、各着目画素２０に対するノイズ除去効果を、画像内で均一化することができるとともに、画像内のノイズ除去効果を高めることができる。

−変形例４−
上述した画像処理装置１０は、カラー画像やモノクロ画像など、単一の画像に対してノイズ平準化処理を行うものとして説明したが、時間的に連続して撮像された複数の画像に対してノイズ平準化処理を行ってもよい。つまり、画像処理装置１０は、動画像に対しても適用することができる。

図８は、時間的に連続して入力された画像における着目画素と参照画素の設定例を示す図である。

図８（Ａ）は時刻ｔ−１における入力画像の例、図８（Ｂ）は時刻ｔにおける入力画像の例、図８（Ｃ）は時刻ｔ＋１における入力画像の例を示す。

図８では、連続する入力画像のうち、例えば図８（Ｂ）の入力画像に着目画素２０が設定され、図８（Ａ）〜（Ｃ）の入力画像のそれぞれに複数の参照画素が設定されている。つまり、複数入力される画像のうちのいずれかに着目画素２０が設定されており、着目画素２０が設定された画像と、この画像の前後に入力された画像とにそれぞれ複数の参照画素２１が設定されている。したがって、本変形例では、第１の領域２４（図２参照）は図８（Ｂ）に示す画像に設定され、第２の領域２５（図２参照）は図８（Ａ）〜（Ｃ）に示す画像のそれぞれに設定される。

本変形例における画像処理装置１０について、その動作を説明する。

図９は、複数の画像が入力される場合における画像処理装置の動作を説明するためのフローチャートである。

ステップＳ２０において、画像処理装置１０に入力画像Ｉが入力される。

ステップＳ２１では、入力画像Ｉの第１の領域２４と、入力画像Ｉおよびその前後の画像の第２の領域２５との類似度に基づく単調減少関数を用いて、各時刻における画像のそれぞれに含まれる複数の参照画素２１に対応する複数の乗算係数ｇ（ｔ）が算出される。なお、乗算係数ｇ（ｔ）は、乗算係数ｇに時間軸方向の概念を含めたものである。

ステップＳ２２では、各時刻における画像のそれぞれに割り当てられた乱数ｆ（ｔ）が算出される。これにより、各時刻における画像のそれぞれに含まれる各参照画素２１に割り当てられた乱数ｆ１（ｔ）が算出される。なお、乱数ｆ（ｔ）および乱数ｆ１（ｔ）は、乱数ｆおよび乱数ｆ１に時間軸方向の概念を含めたものである。

ステップＳ２３では、各時刻における各参照画素２１の画素値と、各参照画素２１に対応する乗算係数ｇ（ｔ）と、乱数ｆ１（ｔ）とが乗算され、乗算結果の総和であるＳｕｍ１が算出される。

ステップＳ２４では、乗算係数ｇ（ｔ）と乱数ｆ１（ｔ）とが乗算され、乗算結果の総和であるＳｕｍ２が算出される。

ステップＳ２５では、Ｓｕｍ１がＳｕｍ２で除算される。以上のようなノイズ平準化処理を、入力画像Ｉの全ての着目画素２０について繰り返し行うことで、出力画像Ｉ’が生成される。

ステップＳ２６では、上述した処理の結果として得られた出力画像Ｉ’が出力される。なお、ステップＳ２１とステップＳ２２の順序を入れ替えてもよい。

以上、本変形例では、時間軸方向における複数の画像をノイズ平準化処理に用いることができる。したがって、単一の画像を用いてノイズ平準化処理を行う場合に比べて参照画素２１の数が多くなるため、ノイズ除去効果が向上する。

−変形例５−
変形例４では、複数の画像を用いて１つの画像に含まれるノイズを除去する場合について説明したが、複数の画像のそれぞれに対してノイズ平準化処理を行ってもよい。

図１０は、時間的に連続して入力された複数の画像における着目画素と参照画素の別の設定例を示す図である。

図１０（Ａ）は、時刻ｔ−１における入力画像の例、図１０（Ｂ）は時刻ｔにおける入力画像の例、図１０（Ｃ）は時刻ｔ＋１における入力画像の例を示す。

図１０（Ａ）〜（Ｃ）に示す画像において、着目画素２０Ａ〜２０Ｃは同じ画素位置に設定されているとする。そして、図１０（Ａ）〜（Ｃ）に示す画像内の各参照画素２１Ａ〜２１Ｃは、それぞれ異なる画素位置に設定される。つまり、各時刻における画像において、同じ位置の着目画素２０Ａ〜２０Ｃに対して、参照画素２１Ａ〜２１Ｃの位置がそれぞれ異なるように乱数ｆ（ｔ）が割り当てられる。ここで、図１０（Ａ）〜（Ｃ）に示す各画像における乱数ｆ（ｔ）の期待値ｅはそれぞれ同じであってもよく、各画像における参照画素２１Ａ〜２１Ｃの設定範囲は同じであってもよい。

以上、本変形例では、連続する複数の画像における同じ位置の画素に対するノイズ除去効果が時間的に変化することになる。また、画像に残存するノイズの時間的な周波数特性が低周波に偏ることを抑制することができる。その結果、複数の画像を動画像として再生する場合に、違和感の少ない自然なノイズを残したまま、その動画像を見ることができる。

−変形例６−
上述した実施の形態１および各変形例では、２値乱数を用いる場合について説明したが、３値以上の多値乱数を用いてもよい。

図１１は、多値乱数を用いた場合の参照画素の設定例を示す図である。図１１において、乱数は、例えば第１〜第４の乱数値を含んでおり、これらの値は例えば０から１の間をとる。参照画素２１は、乱数として第１の乱数値（例えば１）が割り当てられた画素である。また、参照画素２３は、第１の乱数値よりも小さく、かつ第２の乱数値（例えば０）よりも大きい第３の乱数値（例えば０．６）が割り当てられた画素であり、参照画素２６は、第３の乱数値よりも小さく、かつ第２の乱数値よりも大きい第４の乱数値（例えば０．３）が割り当てられた画素である。

つまり、本変形例では、参照画素２１，２３，２６を用いて、着目画素２０に対するノイズ平準化処理が行われる。

このように、多値乱数を用いると、２値乱数を用いる場合に比べて、乱数値を小刻みに変化させることができるため、画像内に突発的に存在する、画素値が極端に大きい画素や極端に小さい画素の影響を受けにくくなる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１および変形例１〜６を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１および変形例１〜６で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。

実施の形態１における図１において、除算部１５と出力部１６とを一体としてもよい。また、図２において、第１および第２の領域２４，２５は重なっていなくてもよい。また、第１の領域２４に参照画素２１が含まれていなくてもよく、第２の領域２５には少なくとも１つの参照画素が含まれていればよい。さらに、着目画素２０は第１の領域２４の中心でなくてもよく、参照画素２１は第２の領域２５の中心でなくてもよい。また、第１の領域２４の形状および第２の領域２５の形状は、完全に一致していなくてもよく、ほぼ同じであればよい。つまり、第１の領域２４と第２の領域２５との類似度の比較ができればよい。

また、実施の形態１において、数式（２）に示す関数ｗとして複数の関数を例示したが、例示した複数の関数を、画像に含まれるノイズの強度に応じて切り替えてもよい。また、関数ｗとして１つの関数を用いる場合、画像に含まれるノイズの強度に応じて、その関数の形状を変化させてもよい。

また、実施の形態１および変形例１〜６において、乱数値および期待値ｅは任意である。

また、変形例４および変形例５において、画像処理装置１０に入力される複数の画像は、時間的に連続している必要はない。また、時刻ｔにおける画像と、時刻ｔよりも時間的に前の画像および後の画像の少なくとも一方を用いてもよい。

また、変形例５における図１０（Ａ）〜（Ｃ）に示す各画像を、変形例４で説明した方法で生成してもよい。

また、実施の形態１および変形例１〜６では、ハードウェアである画像処理装置１０によってノイズ平準化処理を行う場合について説明したが、コンピュータプログラムとしてソフトウェアによりノイズ平準化処理を実現してもよい。

コンピュータプログラムは、例えばコンピュータが読み取り可能な、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録して配布されたり、インターネット等の通信回線を介して配布されたりする。このコンピュータプログラムは、図３や図９に示すフローチャートの各処理をコンピュータに実行させるような画像処理プログラムである。つまり、この画像処理プログラムは、図１に示す、第１の算出部１１、第２の算出部１２、積和演算部１３、係数総和部１４、除算部１５のそれぞれの機能をコンピュータに実行させるものである。なお、ソフトウェアおよびハードウェアを混在させてもよい。

さらに、上述のコンピュータプログラムが組み込まれた、いわゆるデジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）のような、１つまたは複数のチップ回路を用いて、ノイズ平準化処理を実現してもよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、画像に含まれるノイズを低減する画像処理装置として有用である。具体的には、デジタルスチルカメラ、デジタルビデオカメラ、カメラ機能付き携帯電話機、スマートフォンなどに適用可能である。また、本開示は、ノイズを低減するためのコンピュータプログラムとしても適用可能であり、さらに、そのようなコンピュータプログラムを組み込んだＤＳＰ等のハードウェアに適用可能である。

１０ 画像処理装置
１１ 第１の算出部
１２ 第２の算出部
１３ 積和演算部
１４ 係数総和部
１５ 除算部
２０ 着目画素
２１ 参照画素
２４ 第１の領域
２５ 第２の領域
ｆ 乱数
ｇ 乗算係数
Ｉ 入力画像
Ｉ’ 出力画像

Claims (14)

1. 入力画像に対してノイズ平準化処理を行う画像処理装置であって、
   前記入力画像の着目画素に関して、ランダムに定められた各参照画素について、当該着目画素を含む第１の領域と当該参照画素を含む第２の領域との類似度を算出し、この類似度が高くなるにつれて値が大きくなる乗算係数を、前記各参照画素についてそれぞれ算出する第１の算出部と、
   前記各参照画素に割り当てられた乱数を算出する第２の算出部と、
   前記各参照画素について、当該参照画素の画素値に、当該参照画素についての前記乗算係数と、当該参照画素に割り当てられた乱数とを乗算して、第１乗算結果をそれぞれ求め、前記各参照画素についてそれぞれ求めた前記第１乗算結果の総和を演算する積和演算部と、
   前記各参照画素について、当該参照画素についての前記乗算係数に、当該参照画素に割り当てられた乱数を乗算して、第２乗算結果をそれぞれ求め、前記各参照画素についてそれぞれ求めた前記第２乗算結果の総和を演算する係数総和部と、
   前記積和演算部の演算結果を前記係数総和部の演算結果で除算し、当該除算結果を、前記着目画素の画素値として出力する除算部とを備えている
   ことを特徴とする画像処理装置。
2. 請求項１の画像処理装置において、
   前記入力画像は、カラーフィルタを介して当該画像処理装置に入力されるものであり、
   前記着目画素と前記各参照画素とは同色の画素である
   ことを特徴とする画像処理装置。
3. 請求項２の画像処理装置において、
   前記各参照画素は、前記着目画素から偶数列あるいは偶数行離れた位置に存在する
   ことを特徴とする画像処理装置。
4. 請求項１の画像処理装置において、
   前記入力画像は、輝度画像および色差画像を含むカラー画像であり、
   前記第２の算出部は、前記輝度画像と前記色差画像とで、前記乱数の期待値を変更することを特徴とする画像処理装置。
5. 請求項１の画像処理装置において、
   前記入力画像は、輝度画像および色差画像を含むカラー画像であり、
   前記色差画像において前記各参照画素が定められた画素の範囲は、前記輝度画像よりも広い
   ことを特徴とする画像処理装置。
6. 請求項１の画像処理装置において、
   前記第１の算出部は、前記着目画素と前記各参照画素との類似度を判定するものであり、
   前記第２の算出部は、前記第１の算出部による類似度の判定結果に応じて前記乱数の期待値を変更する
   ことを特徴とする画像処理装置。
7. 請求項１の画像処理装置において、
   前記第１の算出部は、前記着目画素と前記各参照画素との類似度を判定するものであり、
   前記類似度が低い参照画素が多くなるにつれて、前記入力画像において前記各参照画素が定められた画素の範囲が広くなる
   ことを特徴とする画像処理装置。
8. 請求項１の画像処理装置において、
   前記入力画像は、当該画像処理装置に複数入力されるものであり、
   前記着目画素は、前記複数入力される入力画像のいずれかに設定され、
   前記各参照画素は、前記着目画素が設定される入力画像および当該入力画像の前および後の少なくとも一方の入力画像に設定される
   ことを特徴とする画像処理装置。
9. 請求項８の画像処理装置において、
   前記着目画素および前記各参照画素は、前記複数入力される入力画像のそれぞれに設定されるものであり、
   前記各参照画素は、前記着目画素が前記複数入力される入力画像のそれぞれにおける同一の画素である場合、前記複数入力される入力画像において、それぞれ異なる画素である
   ことを特徴とする画像処理装置。
10. 請求項１の画像処理装置において、
    前記乱数は、１あるいは０の値をとる２値乱数である
    ことを特徴とする画像処理装置。
11. 請求項１の画像処理装置において、
    前記乱数は、多値乱数である
    ことを特徴とする画像処理装置。
12. 入力画像に対してノイズ平準化処理を行う画像処理方法であって、
    前記入力画像の着目画素に関して、ランダムに定められた各参照画素について、当該着目画素を含む第１の領域と当該参照画素を含む第２の領域との類似度を算出する類似度算出ステップと、
    前記類似度が高くなるにつれて値が大きくなる乗算係数を、前記各参照画素についてそれぞれ算出する第１の算出ステップと、
    前記各参照画素に割り当てられた乱数を算出する第２の算出ステップと、
    前記各参照画素について、当該参照画素の画素値に、当該参照画素についての前記乗算係数と、当該参照画素に割り当てられた乱数とを乗算して、第１乗算結果をそれぞれ求め、前記各参照画素についてそれぞれ求めた前記第１乗算結果の総和を演算する積和演算ステップと、
    前記各参照画素について、当該参照画素についての前記乗算係数に、当該参照画素に割り当てられた乱数を乗算して、第２乗算結果をそれぞれ求め、前記各参照画素についてそれぞれ求めた前記第２乗算結果の総和を演算する係数総和ステップと、
    前記積和演算ステップの演算結果を前記係数総和ステップの演算結果で除算し、当該除算結果を、前記着目画素の画素値として算出する除算ステップとを備えている
    ことを特徴とする画像処理方法。
13. コンピュータに、入力画像に対してノイズ平準化処理を行わせるための画像処理プログラムであって、
    前記入力画像の着目画素に関して、ランダムに定められた各参照画素について、当該着目画素を含む第１の領域と当該参照画素を含む第２の領域との類似度を算出する類似度算出機能、
    前記類似度が高くなるにつれて値が大きくなる乗算係数を、前記各参照画素についてそれぞれ算出する第１の算出機能、
    前記各参照画素に割り当てられた乱数を算出する第２の算出機能、
    前記各参照画素について、当該参照画素の画素値に、当該参照画素についての前記乗算係数と、当該参照画素に割り当てられた乱数とを乗算して、第１乗算結果をそれぞれ求め、前記各参照画素についてそれぞれ求めた前記第１乗算結果の総和を演算する積和演算機能、
    前記各参照画素について、当該参照画素についての前記乗算係数に、当該参照画素に割り当てられた乱数を乗算して、第２乗算結果をそれぞれ求め、前記各参照画素についてそれぞれ求めた前記第２乗算結果の総和を演算する係数総和機能、および
    前記積和演算機能による演算結果を前記係数総和機能による演算結果で除算し、当該除算結果を、前記着目画素の画素値として算出する除算機能、をコンピュータに実行させる
    ことを特徴とする画像処理プログラム。
14. 請求項１３の画像処理プログラムが組み込まれている
    ことを特徴とするチップ回路。

Images