JP5906848B2 - 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム - Google Patents

Description

本発明は、例えば、処理対象となる画像よりも前または後に生成された画像を用いてその処理対象画像上の画素の値に含まれるノイズ成分を低減させる画像補正装置、画像補正方法及び画像補正用コンピュータプログラムに関する。

従来より、動画像または連写された複数の静止画像といった時間的に連続する複数の画像を用いて、その複数の画像のうちの何れかの画像の各画素の画素値に含まれるノイズ成分を低減させる技術が研究されている。このような技術は、３次元ノイズリダクション(3-dimensional noise reduction, 3DNR)と呼ばれる。

3DNRを用いた画像補正装置の一例では、時間軸方向における画像上の各画素の値の揺らぎ成分が除去すべきノイズ成分となる。そこで画像補正装置は、時間的に連続する複数の画像の同じ位置にある画素の値を時間的に平均することで、ノイズ成分を低減する。しかし、それら複数の画像において、移動物体が写っている動き領域の位置は画像ごとに異なる。そのため、複数画像間で同一位置の画素の値を時間的に平均すると、特に動き領域の境界周辺では、移動物体が写った画素の値と移動物体が写っていない画素の値とが平均化されるので、その境界周辺に移動物体の残像が生じ、その結果として画像がボケてしまう。

そこで、動き領域に対して画像空間フィルタを適用し、動き領域以外の静止領域に対して時空間フィルタを適用する技術が提案されている（例えば、特許文献１を参照）。

特開２００８−１９３１４２号公報

しかしながら、上記の技術でも、動き領域内に写っている被写体が微細な構造を持っていると、画像空間フィルタが適用されることによってその微細な構造がボケてしまうおそれがある。また、動き領域内に写っている被写体の境界も、画像空間フィルタが適用されることによってボケてしまう。

そこで本明細書は、移動物体が写っている領域及びその周辺領域についても、残像によるボケを抑制しつつ、画素値に含まれるノイズ成分を低減可能な画像補正装置を提供することを目的とする。

一つの実施形態によれば、画像補正装置が提供される。この画像補正装置は、第１の画像上の注目画素の周囲に第１のフィルタ領域を設定し、第１のフィルタ領域の中から、注目画素の値に基づいて設定される所定の基準値を含む第１の許容範囲内の画素値を持つ第１の画素を選択する第１の画素選択部と、第１の画像よりも前または後に生成された少なくとも一つの第２の画像上の注目画素と同位置にある基準画素の周囲に第２のフィルタ領域を設定し、第２のフィルタ領域の中から、所定の基準値を含む第２の許容範囲内の画素値を持つ第２の画素を選択する第２の画素選択部と、第１の画素の値及び第２の画素の値を合成することにより得られた値を注目画素の補正値とする合成部とを有する。

本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。

本明細書に開示された画像補正装置は、移動物体が写っている領域及びその周辺領域についても、残像によるボケを抑制しつつ、画素値に含まれるノイズ成分を低減できる。

画像補正装置が組み込まれた撮像装置の構成図である。 画像補正装置により実行される処理の概要を示す模式図である。 一つの実施形態による画像補正装置の構成図である。 （ａ）は、注目画像の注目画素に対して設定されるフィルタ範囲及び選択される画素の一例を示す図であり、（ｂ）は、参照画像に対して設定されるフィルタ範囲及び選択される画素の一例を示す図である。 画像補正装置により実行される画像補正処理の動作フローチャートである。 変形例において、参照画像に対する画素選択の順序の一例を示す図である。 変形例において、注目画像に対する画素選択の順序の一例を示す図である。 一実施形態またはその変形例による画像補正装置の各部の機能を実現するコンピュータプログラムが動作することにより、画像補正装置として動作するコンピュータの構成図である。

以下、図を参照しつつ、一つの実施形態による、画像補正装置について説明する。
この画像補正装置は、注目画像の各画素の値を、その注目画像の前または後に生成された１枚以上の参照画像を用いて補正することにより、注目画像の各画素の値に含まれるノイズ成分を低減する。そのために、この画像補正装置は、注目画像上に設定される任意の注目画素の周囲に設定されたフィルタ領域から、注目画素の値を基準値として定められる画素値の第１の許容範囲内の値を持つ画素を選択する。同様に、この画像補正装置は、各参照画像上の注目画素と同じ位置にある基準画素の周囲に設定されたフィルタ領域からも、注目画素の値を基準値として定められる画素値の第２の許容範囲内の値を持つ画素を選択する。そしてこの画像補正装置は、選択された画素の値を合成することで得られる値を注目画素の補正値とすることで、移動物体が写っている領域及びその周辺領域についても、移動物体の残像によるボケことを抑制しつつ、3DNRの効果を得られるようにする。

また、本実施形態では、処理対象となる画像は、RGB表色系で表され、各色ごとに8ビットの階調を持つカラーデジタル画像である。また以下の説明における画素値は、特定の色の成分を表す。そして色成分ごとに、下記に説明する処理が実行される。
なお、各色成分の階調を表すビット数は8ビットに限られず、例えば、4ビットあるいは10ビットでもよい。また処理対象となる画像は、YUV表色系あるいはHSV表色系といった他の表色系で表されるカラーデジタル画像であってもよい。この場合には、以下の説明における画素値は、色相、彩度、輝度などの成分を表す。そして成分ごとに、下記の処理が実行される。あるいは、処理対象となる画像は、各画素が輝度値のみを持つグレー画像であってもよい。
さらに、処理対象となる画像が動画像データに含まれる画像である場合、その画像は、プログレッシブ方式により生成されるフレームであってもよく、あるいは、インターレース方式によって生成されるフィールドであってもよい。

図１は、一つの実施形態による画像補正装置が組み込まれた撮像装置の概略構成図である。撮像装置１は、時間的に連続する複数の画像を生成可能な撮像装置であり、例えば、ビデオカメラ、動画撮影機能を有する携帯電話機、あるいは動画撮影機能または連写機能を有するデジタルカメラである。図１に示すように、撮像装置１は、カメラモジュール２と、操作部３と、表示部４と、記憶部５と、画像補正装置６と、制御部７とを有する。さらに撮像装置１は、撮像装置１をコンピュータ、またはテレビといった他の機器と接続するために、ユニバーサルシリアルバスなどのシリアルバス規格に従ったインターフェース回路（図示せず）を有していてもよい。また制御部７と、撮像装置１のその他の各部とは、例えば、バスにより接続されている。

カメラモジュール２は、２次元状に配置された固体撮像素子のアレイを有するイメージセンサと、そのイメージセンサ上に被写体の像を結像する撮像光学系とを有する。そしてカメラモジュール２は、一定の周期で被写体の像が写った画像を生成する。なお、上記のように、この画像は、RGB表色系で表され、各色ごとに8ビットの階調を持つカラーデジタル画像である。そしてカメラモジュール２は、画像を生成する度に、その生成した画像を記憶部５に記憶させる。

操作部３は、例えば、撮像装置１をユーザが操作するための各種の操作ボタンまたはダイヤルスイッチを有する。そして操作部３は、ユーザの操作に応じて、撮影または合焦の開始などの制御信号またはシャッター速度、絞り径などを設定するための設定信号を制御部７へ送信する。

表示部４は、例えば、液晶ディスプレイ装置といった表示装置を有し、制御部７から受け取った各種の情報、またはカメラモジュール２により生成された画像を表示する。なお、操作部３と表示部４とは、例えば、タッチパネルディスプレイを用いて一体的に形成されてもよい。

記憶部５は、例えば、読み書き可能な揮発性または不揮発性の半導体メモリ回路を有する。そして記憶部５は、カメラモジュール２から受け取った画像を記憶する。また記憶部５は、画像補正装置６からの読み出し要求によって画像を画像補正装置６へ渡し、また、記憶部５は、画像補正装置６から受け取った、各画素の画素値に含まれるノイズ成分が低減された補正画像を記憶する。さらに、画像補正装置６が有する各機能が、制御部７が有するプロセッサ上で実行されるコンピュータプログラムにより実現される場合、そのコンピュータプログラムを記憶してもよい。

画像補正装置６は、処理対象となる注目画像の各画素の値を、その注目画像の前または後に生成された参照画像を用いて補正することにより、注目画像の各画素の値に含まれるノイズ成分を低減させた補正画像を生成する。なお、画像補正装置６の詳細については後述する。

制御部７は、少なくとも一つのプロセッサ及びその周辺回路を有し、撮像装置１全体を制御する。例えば、制御部７は、操作部３から受け取った設定信号及び被写体の露光量に応じて、シャッタースピードまたは絞り径を設定する。また制御部７は、画像補正装置６により補正された画像に対してカラーバランスを調整したり、エッジ強調またはコントラスト強調といった処理を実行してもよい。

以下、画像補正装置６により実行される処理の概要について説明する。
図２は、画像補正装置６により実行される画像補正処理の概要を示す模式図である。図２には、注目画像２００と、注目画像２００の後に生成され、かつ時間的に連続する２枚の参照画像２１０、２２０が示されている。画像補正装置６は、注目画像２００上の注目画素２０１の値を、注目画素２０１の周囲の画素の値と２枚の参照画像２１０及び２２０における、注目画素と同一の位置にある基準画素２１１、２２１の周囲の画素の値とを用いて補正する。そのために、画像補正装置６は、各画像において、注目画素２０１及び基準画素２１１、２２１の周囲に、それぞれ、フィルタ領域２０２、２１２及び２２２を設定する。そして画像補正装置６は、各フィルタ領域から、基準値である注目画素の値を含む所定の許容範囲内にある画素値を持つ画素を選択する。ここで、各画像の右側に示したグラフは、それぞれ、注目画素あるいは基準画素を通る水平方向の線Xに沿った、フィルタ領域内の画素値のプロファイルを表している。各グラフにおいて横軸は水平方向の画素の位置を表している。そして注目画素及び基準画素の位置は、'P'で表されている。また縦軸は画素値を表す。そして、画素値の許容範囲２０４は点線で示されている。プロファイル２０５は、注目画像２００における線X上のフィルタ領域２０２内の画素値のプロファイルである。またプロファイル２１５及び２２５は、それぞれ、参照画像２１０及び２２０における、線X上のフィルタ領域２１２または２２２内の画素値のプロファイルである。

この例では、注目画像２００において、注目画素２０１には移動物体２０３の一部が写っている。そのため、注目画像２００からは、注目画素２０１を含む、点線で囲まれた画素群２０６が選択される。
一方、参照画像２１０、２２０では、移動物体２０３が右方へ向けて移動したために、基準画素２１１、２２１には移動物体２０３は写っていない。しかし、画像補正装置６では、注目画素２０１と同位置にある基準画素２１１、２２１だけでなく、その周囲に設定されたフィルタ領域２１２、２２２に含まれ、かつ、注目画素２０１の画素値を基準値として設定された許容範囲内の画素が選択される。そのため、参照画像２１０、２２０からも、移動物体２０３が写っている画素に相当する、点線で囲まれた画素群２１６及び２２６が選択される。そして画像補正装置６は、これら時間的に連続する３枚の画像から選択された画素の値に基づいて注目画素２０１の補正値を求めるので、移動物体２０３の残像が生じることを防止しつつ、3DNRの効果を得ることができる。

以下、画像補正装置６の各構成要素について説明する。図３に、画像補正装置６の構成図を示す。画像補正装置６は、空間類似画素選択部１１と、時間類似画素選択部１２と、合成部１３とを有する。
画像補正装置６が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として形成される。また、画像補正装置６が有するこれらの各部は、それぞれ、別個の回路として形成されてもよい。

空間類似画素選択部１１は、処理対象となる注目画像上の各画素を順次注目画素とし、その注目画素の周囲に所定のフィルタ領域を設定する。そして空間類似画素選択部１１は、そのフィルタ領域から、注目画素の値を基準値として設定される第１の許容範囲内の画素値を持つ画素を選択する。なお、フィルタ領域は、例えば、注目画素を中心とする、縦3画素×横3画素の大きさを持つ矩形領域である。また第１の許容範囲は、撮像装置１の電子回路で生じるノイズ、及び、個々の画素に相当する撮像素子に入射する光子数の揺らぎによるノイズから想定される画素値の揺らぎに相当する範囲、例えば、画素値が0〜255で表される場合、基準値±25に設定される。
空間類似画素選択部１１は、注目画像上で選択した画素の位置を表す情報を合成部１３へ通知する。

時間類似画素選択部１２は、注目画像の前または後に生成された少なくとも１枚の参照画像に対して、注目画像上の注目画素と同位置にある基準画素の周囲に所定のフィルタ領域を設定する。そして時間類似画素選択部１２は、そのフィルタ領域から、注目画素の値を基準値として設定される第２の許容範囲内の画素値を持つ画素を選択する。

参照画像は、第２のフィルタ領域内に注目画素に写っている被写体と同じ被写体が写っている画素が含まれるように、注目画像に対して時間軸方向に連続する画像であることが好ましい。しかし、参照画像は、注目画像に対して時間軸方向に連続する画像に限定されない。例えば、注目画像がインターレース方式で取得されたフィールドのうち、奇数行のデータのみを含むトップフィールドであるとする。この場合、参照画像も、注目画像直前または直後に生成されるボトムフィールドではなく、注目画像よりも前あるいは後に生成されたトップフィールドとすることができる。また時間類似画素選択部１２は、注目画像よりも前に取得された画像のみを参照画像としてもよく、あるいは、注目画像よりも後に取得された画像のみを参照画像としてもよい。

なお、参照画像に対して設定されるフィルタ領域は、注目画像に対して設定されるフィルタ領域よりも大きい方が好ましい。これにより、注目画素に写っている被写体が移動物体でも、参照画像上に設定されたフィルタ領域内に、注目画素に写っていたその被写体上の点と同一の点が含まれる可能性が高まる。例えば、参照画像に対して設定されるフィルタ領域は、注目画素を中心とする、縦5画素×横5画素の大きさを持つ矩形領域である。

また参照画像に対して設定される第２の許容範囲は、注目画像に対して設定される第１の許容範囲よりも狭いことが好ましい。上記のように、参照画像に設定されるフィルタ領域は、注目画像に対するフィルタ領域よりも広いので、参照画像に設定されるフィルタ領域には、注目画素に写っている被写体と異なる被写体が写っている画素の数も多い。しかし、画素値の許容範囲を狭く設定することで、注目画素に写っている被写体と異なる被写体が写っている画素が選択される可能性が低減される。例えば、画素値が0〜255で表される場合、第２の許容範囲は、基準値±15に設定される。

図４（ａ）は、注目画像の注目画素に対して設定されるフィルタ範囲及び選択される画素の一例を示す図である。図４（ａ）において、注目画像４００の各画素内に示された数値は、その画素の値を示す。この例では、注目画素４０１を中心とする縦3×横3画素のフィルタ領域４１０が設定されている。第１の許容範囲が注目画素４０１の画素値192に対して±25の範囲であるとすると、注目画素４０１の他、注目画素４０１の左隣の画素４０２（画素値185）、左下方の画素４０３（画素値203）及び右下方の画素４０４（画素値190）が選択される。

図４（ｂ）は、図４（ａ）に示された注目画像についての参照画像４２０に対して設定されるフィルタ範囲及び選択される画素の一例を示す図である。図４（ｂ）において、各画素内に示された数値は、その画素の値を示す。この例では、注目画素と同位置にある基準画素４２１を中心とする縦5×横5画素のフィルタ領域４３０が設定されている。第２の許容範囲が図４（ａ）に示された注目画素４０１の画素値192に対して±15の範囲であるとすると、ハッチングで示された7個の画素４２２が選択される。

なお、参照画像が複数設定される場合、時間類似画素選択部１２は、注目画像から時間的に離れた参照画像に対して設定されるフィルタ領域ほど、そのフィルタ領域のサイズを大きくしてもよい。また時間類似画素選択部１２は、注目画像から時間的に離れた参照画像に対して設定される第２の許容範囲ほど狭くしてもよい。

時間類似画素選択部１２は、各参照画像について、その参照画像を表す識別情報とともに、選択した画素の位置を表す情報を合成部１３へ通知する。

合成部１３は、空間類似画素選択部１１によって選択された注目画像上の画素の画素値と、時間類似画素選択部１２によって選択された画素の画素値とを合成することにより得られた値を、注目画像上の注目画素の補正値として算出する。本実施形態では、合成部１３は、選択された画素の平均値を、注目画像上の注目画素の値とする。例えば、図４（ａ）及び図４（ｂ）に示された選択画素の例では、選択画素の値の平均値は、(192+185+203+190+190+185+188+187+195+204+199)/11=192.5となるので、その平均値の整数部分である192が注目画素の値となる。
なお、合成部１３は、空間類似画素選択部１１によって選択された注目画像上の画素の画素値と、時間類似画素選択部１２によって選択された画素の画素値の中央値を、注目画像上の注目画素の補正値としてもよい。この場合には、図４（ａ）及び図４（ｂ）に示された選択画素の例では、選択画素の値の中央値は190であるので、注目画素の補正値は190となる。

図５は、画像補正装置６により実行される画像補正処理の動作フローチャートである。
画像補正装置６は、記憶部５に記憶されている画像の中から、処理対象となる画像を注目画像として読み込み、かつ、注目画像よりも前または後に生成された少なくとも１枚の参照画像を読み込む（ステップＳ１０１）。
画像補正装置６は、注目画像上の画素のうち、注目画素に設定されていない画素を注目画素に設定する（ステップＳ１０２）。例えば、画像補正装置６は、左上端の画素から順に、ラスタスキャン順に従って各画素を順次注目画素に設定する。

空間類似画素選択部１１は、注目画像上の注目画素の周囲にフィルタ領域を設定する（ステップＳ１０３）。そして空間類似画素選択部１１は、フィルタ領域内で注目画素の値を基準値として設定される第１の許容範囲内に含まれる画素値を持つ画素を選択する（ステップＳ１０４）。空間類似画素選択部１１は、注目画像上で選択した画素の位置を表す情報を合成部１３へ通知する。

また時間類似画素選択部１２は、各参照画像に対して、その参照画像上で注目画素と同位置にある基準画素の周囲にフィルタ領域を設定する（ステップＳ１０５）。そして時間類似画素選択部１２は、フィルタ領域内で注目画素の値を基準値として設定される第２の許容範囲内に含まれる画素値を持つ画素を選択する（ステップＳ１０６）。時間類似画素選択部１２は、各参照画像について、その参照画像を表す識別情報とともに、選択した画素の位置を表す情報を合成部１３へ通知する。

合成部１３は、選択された画素の値を合成することにより得られた値を注目画素の補正値として算出する（ステップＳ１０７）。上記のように、選択された画素の値を合成することにより得られた値は、例えば、選択された画素の値の平均値または中央値とすることができる。
その後、画像補正装置６は、注目画像上で注目画像に設定されていない画素が残っているか否か判定する（ステップＳ１０８）。注目画像上で注目画像に設定されていない画素が残っている場合（ステップＳ１０８−Ｙｅｓ）、画像補正装置６は、ステップＳ１０２以降の処理を繰り返す。

一方、注目画像上で注目画像に設定されていない画素が残っていない場合（ステップＳ１０８−Ｎｏ）、画像補正装置６は、各画素がこの画像補正処理によって補正された画素値を持つ補正された注目画像を制御部７へ出力する（ステップＳ１０９）。なお、画像補正装置６は、補正された注目画像を記憶部５に記憶させてもよい。そして画像補正装置６は、この画像補正処理を終了する。
なお、画像補正装置６は、ステップＳ１０３及びＳ１０４の処理と、ステップＳ１０５及びＳ１０６の処理とを並列に実行してもよい。あるいは、画像補正装置６は、ステップＳ１０３及びＳ１０４の処理と、ステップＳ１０５及びＳ１０６の処理の順序を入れ替えてもよい。

なお、画像補正装置６から出力された補正された注目画像は、他の画像に対する参照画像として利用されてもよい。

以上に説明してきたように、この画像補正装置は、参照画像に対しても、ある程度の大きさを持つフィルタ領域を設定して、そのフィルタ領域内から、注目画素の値に近い値を持つ画素を、注目画素の値を補正するために選択する。このようにして選択された画素には、注目画素に写っている被写体と同じ被写体が写っている可能性が高い。そのため、この画像補正装置は、注目画素に写っている被写体が移動物体であっても、残像によるボケを防止しつつ、3DNR効果を得ることができる。またこの画像補正装置は、トラッキング処理を行わなくても、注目画素に写っている被写体と同じ被写体が写っている可能性が高い画素を選択できる。そのため、この画像補正装置は、演算量の増加を抑制しつつ、異なる時間に生成された複数の画像を、画素値のノイズ成分の抑制に利用できる。

なお、本発明は上記の実施形態に限定されるものではない。変形例によれば、時間類似画素選択部１２は、設定されたフィルタ領域内で、基準画素に近い画素から順に、その画素の値が第２の許容範囲内に含まれているか否かを調べることにより、第１の所定数の画素が選択された時点で画素の選択を終了してもよい。
例えば、注目画素に写っている被写体が静止物体であれば、参照画像上では、注目画素と同位置にある基準画素に近い画素ほど注目画素に写っている被写体と同じ被写体が写っている可能性が高い。そこで、時間類似画素選択部１２は、基準画素に近い画素から順に画素の選択を行っていくことで、フィルタ領域内の全ての画素についてその画素値が許容範囲内に含まれているか否かを調べなくて済むことがある。その結果、時間類似画素選択部１２は、演算量を削減できる。
なお、第１の所定数は、例えば、参照画像上に設定されるフィルタ領域に含まれる画素の総数の1/2未満、例えば、12に設定される。

図６は、この変形例における、参照画像に対する画素選択の順序の一例を示す図である。この例では、矢印６００がフィルタ領域６１０内の各画素についての画素選択の順序を表している。矢印６００に示されるように、基準画素６０１が最初に選択処理の対象となり、次に、基準画素６０１の左隣の画素６０２が選択処理の対象となる。その後、時計回りに順次選択処理の対象となる画素が設定される。なお、選択処理の対象となる画素は、基準画素６０１を中心として反時計回りに順次設定されてもよい。

同様に、空間類似画素選択部１１も、注目画素に近い画素から順に、その画素の値が第１の許容範囲内に含まれているか否かを調べることにより、第２の所定数の画素が選択された時点で画素の選択を終了してもよい。これにより、空間類似画素選択部１１は、演算量を削減できる。
なお、第２の所定数は、例えば、注目画像上に設定されるフィルタ領域に含まれる画素の総数の1/2、例えば、5に設定される。

図７は、この変形例における、注目画像に対する画素選択の順序の一例を示す図である。この例では、矢印７００が、フィルタ領域７１０内の各画素についての画素選択の順序を表している。矢印７００に示されるように、注目画素７０１が最初に選択処理の対象となり、次に注目画素７０１の左隣の画素７０２が選択処理の対象となる。その後、時計回りに順次選択処理の対象となる画素が設定される。なお、注目画素７０１自身は常に選択される。また、選択処理の対象となる画素は、注目画素７０１を中心として反時計回りに順次設定されてもよい。

また、参照画像から十分な数の画素が選択されれば、3DNRの効果が得られるので、注目画像そのものから選択される画素数は少なくてもよい。そこで、空間類似画素選択部１１は、参照画像から選択された画素の数（以下、選択画素数と呼ぶ）が第１の所定数に達しなかった場合に限り、注目画素の周囲で第１の許容範囲内に含まれている画素値を持つ画素を選択してもよい。この場合、空間類似画素選択部１１は、最大で、第１の所定数から選択画素数を減じた数の画素を注目画素の周囲に設定されたフィルタ領域から選択する。その際、空間類似画素選択部１１は、上記のように、注目画素から近い順に画素の選択を行ってもよい。なお、この変形例においても、空間類似画素選択部１１は、選択画素数が第１の所定数に達しているか否かにかかわらず、注目画素自身については選択する。
また参照画像が複数ある場合、空間類似画素選択部１１は、全ての参照画像からの選択画素の合計が第１の所定数に達しなかった場合に限り、注目画素の周囲で第１の許容範囲内に含まれている画素値を持つ画素を選択してもよい。

さらに他の変形例によれば、画像補正装置は、画素値の許容範囲を設定するための基準値を決定するために、注目画像の注目画素の周囲に設定されたフィルタ領域内で、注目画素の値を中心とする範囲内の画素値を持つ画素を選択してもよい。そして画像補正装置は、選択された画素の値及び注目画素の値の平均値または中央値を基準値として第１及び第２の許容範囲を設定してもよい。この場合、基準値を設定するための画素を選択するための画素値の範囲は、第１の許容範囲よりも狭く設定されることが好ましい。これにより、画像補正装置は、注目画素の値そのものを基準値とするよりも、ノイズ成分を平滑化できるので、より適切な許容範囲を設定できる。
また画像補正装置は、第１及び第２の許容範囲のうちの少なくとも何れか一方について、基準値から上限までの幅と基準値から下限までの幅とを異ならせてもよい。

さらに他の変形例によれば、画像補正装置は、注目画像上の一部の画素についてのみ、上記の実施形態または変形例による画像補正処理を実行してもよい。例えば、画素値が輝度値を表している場合、カメラモジュール２に対して設定されたゲインが小さく、かつ、画素値が大きいほど、ノイズ成分の影響は低下する。そこで画像補正装置は、例えば、ゲインが、所定値以下で、かつ、画素値が所定の閾値以上の画素に対しては、画像補正処理を行わないようにしてもよい。これにより、画像補正装置は、注目画像全体に対する演算量をより削減できる。なお、ゲインの所定値は、例えば、感度がISO100〜ISO200相当となる値に設定され、画素値の閾値は、例えば、画素値が8ビットで表される場合、127〜200に設定される。

さらに他の変形例によれば、画像補正装置が、制御部７の代わりに、補正された画像に対してカラーバランスを調整したり、エッジ強調またはコントラスト強調といった処理を実行してもよい。

上記の実施形態またはその変形例による画像補正装置の各部の機能は、プロセッサ上で実行されるコンピュータプログラムにより実現されてもよい。そのようなコンピュータプログラムは、磁気記録媒体、光記録媒体といったコンピュータ読み取り可能な記録媒体に記録された形で提供されてもよい。

図８は、上記の実施形態またはその変形例による画像補正装置の各部の機能を実現するコンピュータプログラムが動作することにより、画像補正装置として動作するコンピュータの構成図である。
コンピュータ１００は、ユーザインターフェース部１０１と、通信インターフェース部１０２と、記憶部１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース部１０１、通信インターフェース部１０２、記憶部１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。

ユーザインターフェース部１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部１０１は、例えば、ユーザの操作に応じて、画像補正処理を開始させる操作信号をプロセッサ１０５へ出力する。

通信インターフェース部１０２は、コンピュータ１００を時間的に連続する複数の画像を生成可能な撮像装置（図示せず）と接続するための通信インターフェース及びその制御回路を有してもよい。そのような通信インターフェースは、例えば、Universal Serial Bus（ユニバーサル・シリアル・バス、USB）とすることができる。
さらに、通信インターフェース部１０２は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。
この場合には、通信インターフェース部１０２は、通信ネットワークに接続された他の機器から、時間的に連続する複数の画像を取得し、その複数の画像を記憶部１０３に記憶させる。また通信インターフェース部１０２は、プロセッサ１０５から受け取った補正画像を通信ネットワークを介して他の機器へ出力してもよい。

記憶部１０３は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部１０３は、プロセッサ１０５上で実行される画像補正処理を実行するためのコンピュータプログラム、及びその画像補正処理の途中で得られる中間計算結果などを記憶する。また記憶部１０３は、通信インターフェース部１０２から受け取った画像、またはプロセッサ１０５により生成された補正画像などを記憶する。

記憶媒体アクセス装置１０４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、画像補正処理用のコンピュータプログラムを読み込み、プロセッサ１０５に渡す。また記憶媒体アクセス装置１０４は、プロセッサ１０５により生成された補正画像を記憶媒体１０６に書き込んでもよい。

プロセッサ１０５は、上記の実施形態または変形例による画像補正処理用コンピュータプログラムを実行することにより、処理対象となる画像の各画素の値に含まれるノイズ成分を低減した補正画像を生成する。そしてプロセッサ１０５は、生成された補正画像を記憶部１０３に保存し、または通信インターフェース部１０２を介して他の機器へ出力する。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
第１の画像上の注目画素の周囲に第１のフィルタ領域を設定し、該第１のフィルタ領域の中から、前記注目画素の値に基づいて設定される所定の基準値を含む第１の許容範囲内の画素値を持つ第１の画素を選択する第１の画素選択部と、
前記第１の画像よりも前または後に生成された少なくとも一つの第２の画像上の前記注目画素と同位置にある基準画素の周囲に第２のフィルタ領域を設定し、該第２のフィルタ領域の中から、前記所定の基準値を含む第２の許容範囲内の画素値を持つ第２の画素を選択する第２の画素選択部と、
前記第１の画素の値及び前記第２の画素の値を合成することにより得られた値を前記注目画素の補正値とする合成部と、
を有する画像補正装置。
（付記２）
前記第２の画素選択部は、前記第２のフィルタ領域内に含まれる画素のうち、前記基準画素に近い画素から順に、前記第２の許容範囲内に含まれる値を持つ画素を前記第２の画素として選択し、該選択された前記第２の画素の数が第１の所定数に達すると前記第２の画素の選択を停止する、付記１に記載の画像補正装置。
（付記３）
前記第１の画素選択部は、選択された前記第２の画素の数が前記第１の所定数未満である場合、前記注目画素に近い画素から順に、前記第１の許容範囲内に含まれる値を持つ画素を前記第１の画素として選択し、該選択された前記第１の画素の数と前記第２の画素の数の合計が前記第１の所定数に達すると前記第１の画素の選択を停止し、一方、選択された前記第２の画素の数が前記第１の所定数に達していると、前記注目画素だけを前記第１の画素として選択する、付記２に記載の画像補正装置。
（付記４）
前記第１の画素選択部は、前記第１のフィルタ領域内に含まれる画素のうち、前記注目画素に近い画素から順に、前記第１の許容範囲内に含まれる値を持つ画素を前記第１の画素として選択し、該選択された前記第１の画素の数が第２の所定数に達すると、前記第１の画素の選択を停止する、付記１または２に記載の画像補正装置。
（付記５）
前記第２の許容範囲は前記第１の許容範囲よりも狭い、付記１〜４の何れか一項に記載の画像補正装置。
（付記６）
前記基準値は、前記注目画素の値である、付記１〜５の何れか一項に記載の画像補正装置。
（付記７）
前記基準値は、前記第１のフィルタ領域内に含まれる画素のうち、所定の画素値の範囲内に含まれる値を持つ画素の値の平均値または中央値であり、該所定の画素値の範囲は、前記注目画素の値を含み、かつ前記第１の許容範囲よりも狭い、付記１〜６の何れか一項に記載の画像補正装置。
（付記８）
前記第１の画素の値及び前記第２の画素の値を合成することにより得られた値は、前記第１の画素の値及び前記第２の画素の値の平均値または中央値である、付記１〜７の何れか一項に記載の画像補正装置。
（付記９）
第１の画像上の注目画素の周囲に第１のフィルタ領域を設定し、該第１のフィルタ領域の中から、前記注目画素の値に基づいて設定される所定の基準値を含む第１の許容範囲内の画素値を持つ第１の画素を選択し、
前記第１の画像よりも前または後に生成された少なくとも一つの第２の画像上の前記注目画素と同位置にある基準画素の周囲に第２のフィルタ領域を設定し、該第２のフィルタ領域の中から、前記所定の基準値を含む第２の許容範囲内の画素値を持つ第２の画素を選択し、
前記第１の画素の値及び前記第２の画素の値を合成することにより得られた値を前記注目画素の補正値とする、
ことを含む画像補正方法。
（付記１０）
第１の画像上の注目画素の周囲に第１のフィルタ領域を設定し、該第１のフィルタ領域の中から、前記注目画素の値に基づいて設定される所定の基準値を含む第１の許容範囲内の画素値を持つ第１の画素を選択し、
前記第１の画像よりも前または後に生成された少なくとも一つの第２の画像上の前記注目画素と同位置にある基準画素の周囲に第２のフィルタ領域を設定し、該第２のフィルタ領域の中から、前記所定の基準値を含む第２の許容範囲内の画素値を持つ第２の画素を選択し、
前記第１の画素の値及び前記第２の画素の値を合成することにより得られた値を前記注目画素の補正値とする、
ことをコンピュータに実行させるための画像補正用コンピュータプログラム。

１ 撮像装置
２ カメラモジュール
３ 操作部
４ 表示部
５ 記憶部
６ 画像補正装置
７ 制御部
１１ 空間類似画素選択部（第１の画素選択部）
１２ 時間類似画素選択部（第２の画素選択部）
１３ 合成部
１００ コンピュータ
１０１ ユーザインターフェース部
１０２ 通信インターフェース部
１０３ 記憶部
１０４ 記憶媒体アクセス装置
１０５ プロセッサ
１０６ 記憶媒体

Claims (6)

1. 第１の画像上の注目画素の周囲に第１のフィルタ領域を設定し、該第１のフィルタ領域の中から、前記注目画素の値に基づいて設定される所定の基準値を含む第１の許容範囲内の画素値を持つ第１の画素を選択する第１の画素選択部と、
   前記第１の画像よりも前または後に生成された少なくとも一つの第２の画像上の前記注目画素と同位置にある基準画素の周囲に、前記第１のフィルタ領域よりも広い第２のフィルタ領域を設定し、該第２のフィルタ領域の中から、前記所定の基準値を含む第２の許容範囲内の画素値を持つ第２の画素を選択する第２の画素選択部と、
   前記第１の画素の値及び前記第２の画素の値を合成することにより得られた値を前記注目画素の補正値とする合成部と、
   を有する画像補正装置。
2. 前記第２の画素選択部は、前記第２のフィルタ領域内に含まれる画素のうち、前記基準画素に近い画素から順に、前記第２の許容範囲内に含まれる値を持つ画素を前記第２の画素として選択し、該選択された前記第２の画素の数が第１の所定数に達すると前記第２の画素の選択を停止する、請求項１に記載の画像補正装置。
3. 前記第１の画素選択部は、選択された前記第２の画素の数が前記第１の所定数未満である場合、前記注目画素に近い画素から順に、前記第１の許容範囲内に含まれる値を持つ画素を前記第１の画素として選択し、該選択された前記第１の画素の数と前記第２の画素の数の合計が前記第１の所定数に達すると前記第１の画素の選択を停止し、一方、選択された前記第２の画素の数が前記第１の所定数に達していると、前記注目画素だけを前記第１の画素として選択する、請求項２に記載の画像補正装置。
4. 前記第２の許容範囲は前記第１の許容範囲よりも狭い、請求項１〜３の何れか一項に記載の画像補正装置。
5. 第１の画像上の注目画素の周囲に第１のフィルタ領域を設定し、該第１のフィルタ領域の中から、前記注目画素の値に基づいて設定される所定の基準値を含む第１の許容範囲内の画素値を持つ第１の画素を選択し、
   前記第１の画像よりも前または後に生成された少なくとも一つの第２の画像上の前記注目画素と同位置にある基準画素の周囲に、前記第１のフィルタ領域よりも広い第２のフィルタ領域を設定し、該第２のフィルタ領域の中から、前記所定の基準値を含む第２の許容範囲内の画素値を持つ第２の画素を選択し、
   前記第１の画素の値及び前記第２の画素の値を合成することにより得られた値を前記注目画素の補正値とする、
   ことを含む画像補正方法。
6. 第１の画像上の注目画素の周囲に第１のフィルタ領域を設定し、該第１のフィルタ領域の中から、前記注目画素の値に基づいて設定される所定の基準値を含む第１の許容範囲内の画素値を持つ第１の画素を選択し、
   前記第１の画像よりも前または後に生成された少なくとも一つの第２の画像上の前記注目画素と同位置にある基準画素の周囲に、前記第１のフィルタ領域よりも広い第２のフィルタ領域を設定し、該第２のフィルタ領域の中から、前記所定の基準値を含む第２の許容範囲内の画素値を持つ第２の画素を選択し、
   前記第１の画素の値及び前記第２の画素の値を合成することにより得られた値を前記注目画素の補正値とする、
   ことをコンピュータに実行させるための画像補正用コンピュータプログラム。

Images