JP2012216109A - 画像処理装置と画像処理方法 - Google Patents

Abstract

【課題】ノイズ除去を行ってもエッジ部分の鮮明さが失われておらず画質の良好な画像を得ることができるようにする。
【解決手段】縮小部２１は、複数の縮小率で入力画像を縮小して複数の縮小画像を生成する。ノイズ除去処理部２２は、縮小画像毎にノイズ除去処理を行い、ノイズ除去画像を生成する。拡大部２３は、ノイズ除去画像をそれぞれ拡大して、サイズの等しい拡大画像を生成する。混合部２４は、拡大画像のうち、異なる２つ以上の拡大画像を混合して出力画像を生成する。複数の縮小率で縮小された画像に対してノイズ除去が行われるので、それぞれの拡大画像はエッジ部分の色滲みが異なり、異なる２つ以上の拡大画像の混合割合を調整することで、エッジ部分の鮮明さが失われておらず画質の良好な画像を得ることができるようになる。
【選択図】 図２

Description

この技術は、画像処理装置と画像処理方法に関する。詳しくは、画像のノイズ除去において、エッジ部分の鮮明さが失われていない画質の良好なノイズ除去画像を生成できるようにする。

従来、画像処理装置は、例えば画像からエッジ情報を抽出して画像処理を行う場合に、ノイズ部分が画像に含まれているとエッジ情報の抽出でノイズ部分の影響を避けることができないことから、画像のノイズ除去を行っている。また、ノイズ除去において、例えばエッジ情報を利用した画像マッチング処理を実行すると、マッチング処理に多くの時間を要する、あるいはマッチング精度が向上しない等の問題がある。このような問題を解決するために、画像処理装置は、例えば平均化フィルタ、ガウシアンフィルタ等を用いた平滑化処理によってノイズを除去することが行われている。しかし、平滑化処理によってノイズを除去すると、エッジ部分は一層不鮮明になってしまい、エッジ情報の抽出が困難となってしまう。

そこで、画像処理装置は、メディアンフィルタを用いてフィルタ処理を行うことにより、エッジ部分の鮮明さを失うことなくドット状のノイズを除去することが行われている。また、特許文献１は、輝度値の差分が所定の閾値以内の画素のみを用いて平滑化処理を行うことで、輪郭がボケることなく、入力信号の輪郭を保存したまま、擬似輪郭やノイズを低減することが可能とされている。

また、大きな範囲のノイズを除去したい場合、広範囲のフィルタ演算が必要である。ここで、単にフィルタの範囲を広くすると演算回路の規模や処理時間の増大を招いてしまう。このため、特許文献２では、入力画像を縮小してからフィルタ処理を行うことが開示されている。

特開２００６−０１４０２４号公報 特開２０１０−１５７１６３号公報

ところで、入力画像を縮小してからフィルタ処理を行う場合、エッジ等で色滲みが発生して画質の劣化を招いてしまう。特にエッジの色滲みは、赤系の色で知覚しやすい。

そこで、この技術では、ノイズ除去を行ってもエッジ部分の鮮明さが失われておらず画質の良好な画像を得ることができる画像処理装置と画像処理方法を提供することを目的とする。

本技術の第１の側面は、複数の縮小率で入力画像を縮小して複数の縮小画像を生成する縮小部と、前記縮小画像毎にノイズ除去処理を行い、ノイズ除去画像を生成するノイズ除去処理部と、前記ノイズ除去画像をそれぞれ拡大して、サイズの等しい拡大画像を生成する拡大部と、前記拡大画像のうち、異なる２つ以上の拡大画像を混合して出力画像を生成する混合部とを備える画像処理装置にある。

本技術においては、複数の縮小率で入力画像を縮小して複数の縮小画像毎にノイズ除去処理を行い、ノイズ除去画像が生成される。ノイズ除去処理部は、複数種類のフィルタを用いて構成されており、フィルタ構成が組み替え可能とされている。例えば、入力画像の色判別結果に基づき、特定色に対してはノイズ除去性能の高い第１のフィルタ構成、特性色以外は処理の速い第２のフィルタ構成とされる。また、縮小率に応じてフィルタ構成が設定される。ノイズ除去画像はサイズの等しい拡大画像に拡大されて、異なる２つ以上の拡大画像が混合されて出力画像が生成される。混合する拡大画像の混合割合は、混合する拡大画像の相関に基づいて算出される。例えば混合する拡大画像の色差信号を用いて拡大画像の相関が判別されて、相関が低くなるに伴い、縮小率が大きい画像の割合が多くなるように混合割合が算出される。また、入力画像の色判別結果に基づき、特定色に対して混合する画像の混合割合を増減させる。例えば入力画像が特定色である場合に、縮小率が大きい画像の割合が増加される。

本技術の第２の側面は、複数の縮小率で入力画像を縮小して複数の縮小画像を生成する工程と、前記縮小画像毎にノイズ除去処理を行い、ノイズ除去画像を生成する工程と、前記ノイズ除去画像をそれぞれ拡大して、サイズの等しい拡大画像を生成する工程と、前記拡大画像のうち、異なる２つ以上の拡大画像を混合して出力画像を生成する工程と含む画像処理方法にある。

本技術によれば、複数の縮小率で入力画像が縮小されて、複数の縮小画像毎にノイズ除去処理が行われてノイズ除去画像が生成される。また、ノイズ除去画像をそれぞれ拡大してサイズの等しい拡大画像が生成されて、異なる２つ以上の拡大画像を混合して出力画像が生成される。このように、複数の縮小率で縮小された画像に対してノイズ除去が行われるので、それぞれの拡大画像はエッジ部分の色滲みが異なり、異なる２つ以上の拡大画像を混合することで、エッジ部分の鮮明さが失われておらず画質の良好な画像を得ることができるようになる。

撮像装置の構成を例示した図である。 第１の実施の形態の構成を示す図である。 第１の実施の形態の動作を示す図である。 入力画像と出力画像のデータ配列を例示した図である。 画像の縮小と拡大を示す図である。 待ち時間を利用してノイズ除去性能を向上させたノイズ除去処理部の構成を示す図である。 ノイズ除去処理の組み替えを可能としたノイズ除去処理部の構成を示す図である。 第２の実施の形態の構成を示す図である。 第２の実施の形態の動作を示す図である。 第３の実施の形態の構成を示す図である。 第３の実施の形態の動作を示す図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像処理装置を用いたシステムの構成
２．第１の実施の形態
２−１．第１の実施の形態の構成
２−２．第１の実施の形態の動作
３．第２の実施の形態
３−１．第２の実施の形態の構成
３−２．第２の実施の形態の動作
４．第３の実施の形態
４−１．第３の実施の形態の構成
４−２．第３の実施の形態の動作

＜１．画像処理装置を用いたシステムの構成＞
図１は、本技術の画像処理装置を用いたシステム、例えば撮像装置の構成を例示している。撮像装置１０は、撮像光学系１１、撮像部１２、カメラ信号処理部１３、信号変換部１４、ノイズ除去部２０、および制御部３０を備えている。

撮像光学系１１は、レンズを主体として構成されており、図示しない被写体の光学像を撮像部１２の受光面に結像させる。

撮像部１２は、ＣＭＯＳやＣＣＤ等の固体撮像素子を用いて構成されている。撮像部１２は、撮像光学系１１によって受光面に結像された光学像に応じた撮像信号を生成する。また、撮像部１２は、撮像信号に対して相関二重サンプリング処理（ＣＤＳ）やアナログ増幅処理、Ａ／Ｄ変換処理等を行ってカメラ信号処理部１３に出力する。

カメラ信号処理部１３は、撮像部１２から供給された画像信号に対してガンマ補正や輝度調整、色補正等の処理を行い、処理後の画像信号を信号変換部１４に出力する。

信号変換部１４は、信号変換を行い、カメラ信号処理部１３から供給された画像信号を所定の方式の画像信号、例えば輝度信号と色差信号に変換してノイズ除去部２０に出力する。

本技術の画像処理装置に相当するノイズ除去部２０は、信号変換部１４から供給された画像信号に対してノイズ除去処理を行う。なおノイズ除去部２０の構成および動作については後述する。

制御部３０にはユーザインタフェース（Ｉ／Ｆ）部３１が接続されている。ユーザＩ／Ｆ部３１は、ユーザからの操作入力を受け付けるものであり、電源スイッチやシャッターキー、ズームキー等の各種の操作キー、メニュー表示やメニュー項目の選択および各種設定を行うための操作キー等が設けられている。ユーザＩ／Ｆ部は、ユーザ操作に応じた操作信号を制御部３０に出力する。

制御部３０は、マイクロコンピュータ等を用いて構成されており、記憶しているプログラムを実行して、操作信号に基づき撮像装置１０の動作がユーザ操作に応じた動作となるように各部を制御する。

＜２．第１の実施の形態＞
［２−１．第１の実施の形態の構成］
図２は、本技術の画像信号処理部に相当するノイズ除去部の第１の実施の形態の構成を示している。ノイズ除去部２０は、縮小部２１、ノイズ除去処理部２２、拡大部２３、混合部２４を備えている。

縮小部２１は、入力画像の縮小を行う。縮小部２１は、例えば第１縮小処理部２１-1と第２縮小処理部２１-2および第３縮小処理部２１-3を備えている。第１縮小処理部２１-1は、入力画像を第１のサイズ（例えば１／３倍のサイズ：縮小率３３．３３％）に縮小して、第１縮小画像の画像信号をノイズ除去処理部２２に出力する。第２縮小処理部２１-2は、入力画像を第２のサイズ（例えば１／９倍のサイズ：縮小率１１．１１％）に縮小して、第２縮小画像の画像信号をノイズ除去処理部２２に出力する。第３縮小処理部２１-3は、入力画像を第２のサイズ（例えば１／１８倍のサイズ：縮小率５．５６％）に縮小して、第３縮小画像の画像信号をノイズ除去処理部２２に出力する。

なお、実施の形態において、サイズとは画素数を意味しており、例えば１／ｎ倍のサイズとは、水平方向および垂直方向の画素数が１／ｎ倍、ｎ倍のサイズとは、水平方向および垂直方向の画素数がｎ倍であることを示している。

縮小部２１は、図２に示す縮小率に限らず、指定値により複数の縮小率で縮小画像の画像信号を生成する構成であってもよい。また、縮小部は、指定値により複数の縮小率を持つ単一の演算部で構成してもよい。

ノイズ除去処理部２２は、縮小部２１から供給された画像信号のノイズ除去処理を行う。ノイズ除去処理部２２は、例えば第１ノイズ除去処理部２２-1と第２ノイズ除去処理部２２-2および第３ノイズ除去処理部２２-3を備えている。各ノイズ除去処理部は、ローパスフィルタ、イプシロンフィルタ、バイラテラルフィルタ等の近傍画素平均化フィルタ、またはこれらのフィルタの組合せで構成されている。第１ノイズ除去処理部２２-1は、縮小部２１の第１縮小処理部２１-1から出力された画像信号に対してフィルタ処理を行い、画像信号のノイズを除去して拡大部２３に出力する。第２ノイズ除去処理部２２-2は、縮小部２１の第２縮小処理部２１-2から出力された画像信号に対してフィルタ処理を行い、画像信号のノイズを除去して拡大部２３に出力する。第３ノイズ除去処理部２２-3は、縮小部２１の第３縮小処理部２１-3から出力された画像信号に対してフィルタ処理を行い、画像信号のノイズを除去して拡大部２３に出力する。

拡大部２３は、ノイズ除去処理部２２から供給された画像信号を用いて画像の拡大を行う。拡大部２３は、例えば第１拡大処理部２３-1と第２拡大処理部２３-2および第３拡大処理部２３-3を備えている。各拡大処理部は、二アレストネイバー、バイリニア、バイキュービックなどの方法を用いて画像の拡大を行う。第１拡大処理部２３-1は、ノイズ除去処理部２２の第１ノイズ除去処理部２２-1から出力された画像信号を用いて拡大処理を行い、画像を第１のサイズ（例えば３倍のサイズ）に拡大した拡大画像の画像信号を生成して混合部２４に出力する。第２拡大処理部２３-2は、ノイズ除去処理部２２の第２ノイズ除去処理部２２-2から出力された画像信号を用いて拡大処理を行い、画像を第２のサイズ（例えば９倍のサイズ）に拡大した拡大画像の画像信号を生成して混合部２４に出力する。第３拡大処理部２３-3は、ノイズ除去処理部２２の第３ノイズ除去処理部２２-3から出力された画像信号を用いて拡大処理を行い、画像を第３のサイズ（例えば１８倍のサイズ）に拡大した拡大画像の画像信号を生成して混合部２４に出力する。

なお、ノイズ除去部２０は、拡大部２３の拡大倍率を、縮小部２１で縮小された画像を元のサイズに戻す倍率とすれば、出力する画像のサイズを入力された画像と等しくできる。また、拡大部の拡大倍率は、各拡大処理部から出力される拡大画像の画素数が同じ画素数となれば、他の拡大率であってもよい。また、拡大部２３は、指定値により複数の拡大率を持つ単一の演算部で構成してもよい。

混合部２４は、拡大部２３から出力された画像の混合処理を行う。混合部２４は、例えば、第１混合処理部２４-1と第２混合処理部２４-2および第３混合処理部２４-3を備えている。第１混合処理部２４-1は、拡大部２３の第２拡大処理部２３-2から出力された画像信号と第３拡大処理部２３-3から出力された画像信号を用いて混合処理を行い、第１混合画像の画像信号を生成する。第１混合処理部２４-1は、生成した第１混合画像の画像信号を第２混合処理部２４-2に出力する。第２混合処理部２４-2は、第１混合処理部２４-1から出力された第１混合画像の画像信号と、拡大部２３の第１拡大処理部２３-1から出力された画像信号を用いて混合処理を行い、第２混合画像の画像信号を生成する。第２混合処理部２４-2は、生成した第２混合画像の画像信号を第３混合処理部２４-3に出力する。第３混合処理部２４-3は、第２混合処理部２４-2から出力された第２混合画像の画像信号と、入力画像の画像信号を用いて混合処理を行い、出力画像の画像信号を生成する。

なお、以下の説明では、各部に入力される信号と各部から出力される信号を以下のように記述する。

第１縮小処理部２１-1，第２縮小処理部２１-2，第３縮小処理部２１-3に入力される画像信号ＤＶa
ＤＶa＝Ｙ1(x,y)，Ｙ2(x,y)，Ｃｂ(x,y)，Ｃｒ(x,y)
第１縮小処理部２１-1から出力される画像信号ＤＳ1
ＤＳ1＝ｄｓ1_Ｙ1(x',y')，ｄｓ1_Ｙ2(x',y')，ｄｓ1_ｃb(x',y')，ｄｓ1_ｃr(x',y')
第２縮小処理部２１-2から出力される画像信号ＤＳ2
ＤＳ2＝ｄｓ2_Ｙ1(x'',y'')，ｄｓ2_Ｙ2(x'',y'')，ｄｓ2_ｃb(x'',y'')，ｄｓ2_ｃr(x'',y'')
第３縮小処理部２１-3から出力される画像信号ＤＳ3
ＤＳ3＝ｄｓ3_Ｙ1(x''',y''')，ｄｓ3_Ｙ2(x''',y''')，ｄｓ3_ｃb(x''',y''')，ｄｓ3_ｃr(x''',y''')
第１ノイズ除去処理部２２-1から出力される画像信号ＤＮ1
ＤＮ1＝ｄｓ1_Ｙ1(x',y')，ｄｓ1_Ｙ2(x',y')，ｎｒ1_ｃb(x',y')，ｎｒ1_ｃr(x',y')
第２ノイズ除去処理部２２-2から出力される画像信号ＤＮ2
ＤＮ2＝ｄｓ2_Ｙ1(x'',y'')，ｄｓ2_Ｙ2(x'',y'')，ｎｒ2_ｃb(x'',y'')，ｎｒ2_ｃr(x'',y'')
第３ノイズ除去処理部２２-3から出力される画像信号ＤＮ3
ＤＮ3＝ｄｓ3_Ｙ1(x''',y''')，ｄｓ3_Ｙ2(x''',y''')，ｎｒ3_ｃb(x''',y''')，ｎｒ3_ｃr(x''',y''')
第１拡大処理部２３-1から出力される画像信号ＤＵ1
ＤＵ1＝ｕｓ1_Ｙ1(x,y)，ｕｓ1_Ｙ2(x,y)，ｕｓ1_ｃb(x,y)，ｕｓ1_ｃr(x,y)
第２拡大処理部２３-2から出力される画像信号ＤＵ2
ＤＵ2＝ｕｓ2_Ｙ1(x,y)，ｕｓ2_Ｙ2(x,y)，ｕｓ2_ｃb(x,y)，ｕｓ2_ｃr(x,y)
第３拡大処理部２３-3から出力される画像信号ＤＵ3
ＤＵ3＝ｕｓ3_Ｙ1(x,y)，ｕｓ3_Ｙ2(x,y)，ｕｓ3_ｃb(x,y)，ｕｓ3_ｃr(x,y)
第１混合処理部２４-1から出力される画像信号ＤＭ1
ＤＭ1＝ｂｌ1_Ｙ1(x,y)，ｂｌ1_Ｙ2(x,y)，ｂｌ1_ｃb(x,y)，ｂｌ1_ｃr(x,y)
第２混合処理部２４-2から出力される画像信号ＤＭ2
ＤＭ2＝ｂｌ2_Ｙ1(x,y)，ｂｌ2_Ｙ2(x,y)，ｂｌ2_ｃb(x,y)，ｂｌ2_ｃr(x,y)
第３混合処理部２４-3から出力される画像信号ＤＶb
ＤＶb＝ｂｌ3_Ｙ1(x,y)，ｂｌ3_Ｙ2(x,y)，ｂｌ3_ｃb(x,y)，ｂｌ3_ｃr(x,y)

［２−２．第１の実施の形態の動作］
図３は、第１の実施の形態の動作、すなわちノイズ除去部２０の動作を示すフローチャートである。ステップＳＴ１でノイズ除去部２０は、縮小画像の生成を行う。ノイズ除去部２０の縮小部２１は、信号変換部１４から供給された画像信号を用いて縮小画像の画像信号を生成してステップＳＴ２に進む。

ステップＳＴ２でノイズ除去部２０は、ノイズ除去画像の生成を行う。ノイズ除去部２０のノイズ除去処理部２２は、縮小画像の画像信号を用いてノイズ除去処理を行い、ノイズ除去画像の画像信号を生成してステップＳＴ３に進む。

ステップＳＴ３でノイズ除去部２０は、拡大画像の生成を行う。ノイズ除去部２０の拡大部２３は、ノイズ除去画像の画像信号を用いて画像の拡大処理を行い、拡大画像の画像信号を生成してステップＳＴ４に進む。

ステップＳＴ４でノイズ除去部２０は、第１混合画像の生成を行う。ノイズ除去部２０の混合部２４は、第１混合処理部２４-1で混合処理を行い、第１混合画像の画像信号を生成してステップＳＴ５に進む。

ステップＳＴ５でノイズ除去部２０は、第２混合画像の生成を行う。ノイズ除去部２０の混合部２４は、第２混合処理部２４-2で混合処理を行い、第２混合画像の画像信号を生成してステップＳＴ６に進む。

ステップＳＴ６でノイズ除去部２０は、出力画像の生成を行う。ノイズ除去部２０の混合部２４は、第３混合処理部２４-3で混合処理を行い、第２混合画像の画像信号と入力画像の画像信号を用いて混合処理を行い、出力画像の画像信号を生成してステップＳＴ７に進む。

ステップＳＴ７でノイズ除去部２０は、画像出力を行う。ノイズ除去部２０は混合部２４で生成された出力画像の画像信号を出力する。

次に、具体的動作について説明する。図４は、入力画像と出力画像のデータ配列を例示している。画像信号は、単位画素の信号が輝度信号Ｙ1，Ｙ2、および色差信号Ｃｒ，Ｃｂで構成されているとして以下の説明を行う。また、注目座標（ｘ，ｙ）の各信号は、Ｙ1(x,y)，Ｙ2(x,y)，Ｃｂ(x,y)，Ｃｒ(x,y)として表現する。

ノイズ除去部２０は、入力画像を縮小した縮小画像を用いてノイズ除去を行い、ノイズ除去画像を生成する。また、ノイズ除去部２０は、ノイズ除去画像を拡大して拡大画像を生成する。図５は、画像の縮小と拡大を示しており、例えば縮小部２１の第１縮小処理部２１-1で１／３倍のサイズである縮小画像、拡大部２３の第１拡大処理部２３-1で３倍のサイズである拡大画像を生成する場合を示している。

第１縮小処理部２１-1は、水平・垂直方向に、それぞれ縮小率の逆数である画素範囲、すなわち水平３画素×垂直３画素の範囲内の信号を平均化して、縮小画像の１画素の信号とする。第１縮小処理部２１-1は、このような処理を水平３画素×垂直３画素の範囲毎に行うことで、図５の（Ａ）に示す画像から図５の（Ｂ）に示す１／３縮小画像を生成する。

第１拡大処理部２３-1は、二アレストネイバー、バイリニア、バイキュービックなどの方法を用いて画像の拡大を行う。例えば二アレストネイバーを用いる場合、第１拡大処理部２３-1は、拡大後の画素が拡大前のどこの座標に位置していたかを算出して、算出した位置に最も近い画素の信号を拡大後の画素の信号として用いる。第１拡大処理部２３-1は、このような処理を繰り返し行うことで、図５の（Ｂ）に示す画像から図５の（Ｃ）に示す×３拡大画像を生成する。また、他の縮小率や拡大率でも同様な処理を行うことで、縮小画像や拡大画像を生成できる。なお、本実施の形態のように縮小率が３段階以上あり、平均化範囲が最も広い第３縮小処理部２１-3のように縦横１８画素であり、第３ノイズ除去処理部２２-3のフィルタ領域が縦横９画素である場合、フィルタ範囲は擬似的に縦横１６２（＝１８×９）となる。したがって、第３ノイズ除去処理部２２-3のノイズ除去処理は、低周波ノイズに対して効果が得られる。

また、縮小部２１において、縮小率によっては、縮小処理の終端部に端数が出る場合がある。この場合、縮小部２１は、終端部のみ平均化する画素数を変更してもよい。また、縮小部２１は、端数が発生しないように入力画像の画素数を増減してもよい。

縮小部２１の各縮小処理部から出力される縮小画像のデータは、ノイズ除去処理部２２に順次供給してもよく、システム内外の記憶領域に一度保存してから、ノイズ除去処理部２２に供給してもよい。縮小部２１からノイズ除去処理部２２に、縮小画像のデータを順次供給すれば、ノイズ除去処理部２２は、縮小処理が終わった部分からノイズ除去処理を開始できる。

ノイズ除去処理部２２は、縮小画像の各画素（ｘ，ｙ）について平均化フィルタ処理を行う。平均化フィルタ処理では、単純ローパスフィルタ、イプシロンフィルタ、バイラテラルフィルタなど様々な種類のフィルタを用いることができる。また、ノイズを除去できる範囲は、フィルタの範囲で決定される。したがって、ノイズ除去処理部２２-1，２２-2，２２-3で同じノイズ除去フィルタを用いた場合、第１ノイズ除去処理部２２-1＜第２ノイズ除去処理部２２-2＜第３ノイズ除去処理部２２-3の順に強いノイズ除去処理が可能である。

第１ノイズ除去処理部２２-1は、第１縮小処理部２１-1で生成された第１縮小画像の輝度信号に基づき閾値を設定する。例えば、第１縮小画像の輝度信号の平均値を閾値とする。第２ノイズ除去処理部２２-2は、第２縮小処理部２１-2で生成された第２縮小画像の輝度信号に基づき閾値を設定する。例えば、第２縮小画像の輝度信号の平均値を閾値とする。第３ノイズ除去処理部２２-3は、第３縮小処理部２１-3で生成された第３縮小画像の輝度信号に基づき閾値を設定する。例えば、第３縮小画像の輝度信号の平均値を閾値とする。

このように、ノイズ除去処理部２２は、入力された画像信号に基づいて閾値の設定を行い、設定された閾値を用いてノイズ除去を行う画像部分を決定して、決定した画像部分に対してノイズ除去処理を行う。

ところで、縮小画像の画素数は、１／３縮小画像＞１／９縮小画像＞１／１８縮小画像の順であり、各ノイズ除去処理部が処理しなければならない画素数も第１ノイズ除去処理部２２-1＞第２ノイズ除去処理部２２-2＞第３ノイズ除去処理部２２-3の順となる。このため、各ノイズ除去処理部で並列してノイズ除去処理を行い、ノイズ除去処理を同時に開始すると、第１ノイズ除去処理部２２-1で処理が終了するまでに、第２ノイズ除去処理部２２-2と第３ノイズ除去処理部２２-3で待ち時間が発生する。したがって、待ち時間を利用することでノイズ除去性能を向上させる。または、待ち時間が発生しないようにノイズ除去処理部２２をスケジューリングする。

図６は、待ち時間を利用してノイズ除去性能を向上させたノイズ除去処理部２２の構成を示している。待ち時間は、演算規模を大きくしてノイズ除去性能を向上させるための時間として利用できる。したがって、第２ノイズ除去処理部２２-2は、第１ノイズ除去処理部２２-1よりも処理しなければならない画素数が少ないことから、第１ノイズ除去処理部２２-1に比べてノイズ除去性能の高いフィルタを用いてノイズ除去処理を行う。例えば第２ノイズ除去処理部２２-2は、第１ノイズ除去処理部２２-1で用いられる単純ローパスフィルタ（ＬＰＦ）よりもノイズ除去性能の高いイプシロンフィルタ（ＥＰＳ）を用いてノイズ除去処理を行う。同様に、第３ノイズ除去処理部２２-3は、第２ノイズ除去処理部２２-2よりも処理しなければならない画素数が少ないことから、第２ノイズ除去処理部２２-2に比べてノイズ除去性能の高いフィルタを用いてノイズ除去処理を行う。例えば第３ノイズ除去処理部２２-3は、第２ノイズ除去処理部２２-2で用いられるイプシロンフィルタ（ＥＰＳ）よりもノイズ除去性能の高いバイラテラルフィルタ（ＢＬ）を用いてノイズ除去処理を行う。

待ち時間が発生しないようにスケジューリングを行う場合、処理の終わったノイズ除去処理部が、別のノイズ除去処理部の担当する未処理の部分のノイズ除去を行うようにする。また、各ノイズ除去処理部における処理終了の時間差が少なくなるように、各ノイズ除去処理部で行うノイズ除去処理を組み替えるようにしてもよい。

図７は、ノイズ除去処理の組み替えを可能としたノイズ除去処理部の構成を示している。ノイズ除去処理部２２-1，２２-2，２２-3は、例えば単純ローパスフィルタ（ＬＰＦ）、イプシロンフィルタ（ＥＰＳ）、およびバイラテラルフィルタ（ＢＬ）を備えている。また、ノイズ除去処理部２２-1，２２-2，２２-3は、ノイズ除去処理を行うフィルタの組み替えが可能とされており、ノイズ除去処理終了の時間差が少なくなるように、ノイズ除去処理を行うフィルタを設定する。例えば、第１ノイズ除去処理部２２-1は、単純ローパスフィルタ（ＬＰＦ）のみを用いてノイズ除去処理を行う。第２ノイズ除去処理部２２-2は、単純ローパスフィルタ（ＬＰＦ）とイプシロンフィルタを用いてノイズ除去処理を行う。第３ノイズ除去処理部２２-3は、単純ローパスフィルタ（ＬＰＦ）とバイラテラルフィルタを用いてノイズ除去処理を行う。なお、図７において、破線で示すフィルタは、入力信号に対してノイズ除去処理を行うことなく出力することを示している。

さらに、ノイズ除去処理の組み替えを可能とすれば、信号レベルが大きくノイズが問題にならない入力信号については、フィルタ処理範囲を小さくする。または、簡易なフィルタ構成に変更することで過剰なノイズ除去処理を減らし、処理の高速化を行うことも可能である。また、フィルタ処理範囲も可変にしておくことで、入力画像に合わせてノイズ除去周波数特性を最適化することもできる。

拡大部２３は、ノイズの除去されている縮小画像の拡大を行う。例えば、拡大部２３は、縮小部２１で縮小される前のサイズに画像を拡大する。また、拡大部２３は、入力画像と異なる所定サイズでノイズ除去部２０から画像出力を行う場合、拡大部２３の拡大処理部２３-1，２３-2，２３-3は、所定サイズに画像を拡大する。

混合部２４は、拡大画像の画像信号の混合処理を行い、混合画像の画像信号を生成する。混合部２４は、混合する拡大画像の混合割合を、混合する拡大画像の相関に基づいて算出する。例えば、混合部２４は、ある座標（ｘ，ｙ）において、混合する拡大画像が視覚的に似ている場合、縮小の割合が高く低域までノイズが除去されている拡大画像の割合を大きくする。また、混合部２４は、混合する拡大画像が視覚的に似ていない場合、拡大による滲みが小さい拡大画像の割合を大きくする。

混合する拡大画像が視覚的に似ているか否かの判断は、例えば赤色系の色滲みを軽減させる場合、色差信号Ｃｒの差分を算出して、差分が予め設定された閾値未満の場合は視覚的に似ており、差分が閾値以上の場合は視覚的に似ていないと判断する。また、判断結果に応じて色差信号Ｃｒを混合する。

例えば、第１混合処理部２４-1は、第２拡大処理部２３-2で生成された第２拡大画像と第３拡大処理部２３-3で生成された第３拡大画像を混合する。第１混合処理部２４-1は、ある座標（ｘ，ｙ）において第２拡大画像と第３拡大画像の色差信号Ｃｒ（−１２７≦０≦１２７）の差分Ｄcr23（絶対値，０≦Ｄcr23≦２５４）を式（１）のように算出する。
Ｄcr23(x,y)＝｜ｕｓ3_ｃr(x,y)−ｕｓ2_ｃr(x,y)｜ ・・・（１）

混合割合は、差分Ｄcr23に基づいて設定する。例えば差分Ｄcr23が閾値「１０」未満である場合、第２拡大画像に対する第３拡大画像の混合率Ｂcr23(x,y)は式（２）に基づいて決定する。また、差分Ｄcr23が閾値「１０」以上である場合、第２拡大画像に対する第３拡大画像の混合率Ｂcr23(x,y)は式（３）に基づいて決定する。
Ｂcr23(x,y)＝Ｄcr23／１０ （０≦Ｄcr23＜１０） ・・・（２）
Ｂcr23(x,y)＝１ （１０≦Ｄcr23） ・・・（３）

すなわち、差分Ｄcr23が大きくなるに伴い第３拡大画像の割合を多くして、差分Ｄcr23が閾値以上である場合は、第３拡大画像のみを用いる。

第１混合処理部２４-1は、具体的には式（４）の演算を行い、第１混合画像の（ｘ，ｙ）座標における色差信号ｂｌ1_ｃr(x,y)を算出する。
ｂｌ1_ｃr(x,y)＝Ｂcr23(x,y)・ｕｓ2_ｃr(x,y)
＋（１−Ｂcr23(x,y)）・ｕｓ3_ｃr(x,y) ・・・（４）

第２混合処理部２４-2は、第１混合処理部２４-1で生成された第１混合画像と第１拡大処理部２３-1で生成された第１拡大画像を混合する。第２混合処理部２４-2は、ある座標（ｘ，ｙ）において第１混合画像と第１拡大画像の色差信号Ｃｒ（−１２７≦０≦１２７）の差分Ｄcr123（絶対値：０≦Ｄcr123≦２５４）を式（５）のように算出する。
Ｄcr123(x,y)＝｜ｂｌ1_ｃr(x,y)−ｕｓ1_ｃr(x,y)｜ ・・・（５）

混合割合は、差分Ｄcr123に基づいて設定する。例えば差分Ｄcr123が閾値「１０」未満である場合、第１混合画像に対する第１拡大画像の混合率Ｂcr123(x,y)は式（６）に基づいて決定する。また、差分Ｄcr123が閾値「１０」以上である場合、第１混合画像に対する第１拡大画像の混合率Ｂcr123(x,y)は式（７）に基づいて決定する。
Ｂcr123(x,y)＝Ｄcr123／１０ （０≦Ｄcr123＜１０） ・・・（６）
Ｂcr123(x,y)＝１ （１０≦Ｄcr123） ・・・（７）

すなわち、差分Ｄcr123が大きくなるに伴い第１拡大画像の割合を多くして、差分Ｄcr123が閾値以上である場合は、第１拡大画像のみを用いる。

第２混合処理部２４-2は、具体的には式（８）の演算を行い、第２混合画像の（ｘ，ｙ）座標における色差信号ｂｌ2_ｃr(x,y)を算出する。
ｂｌ2_ｃr(x,y)＝Ｂcr123(x,y)・ｕｓ1_ｃr(x,y)
＋（１−Ｂcr123(x,y)）・ｂｌ1_ｃr(x,y) ・・・（８）

第３混合処理部２４-3は、第２混合処理部２４-2生成された第２混合画像と入力画像を混合する。第３混合処理部２４-3は、ある座標（ｘ，ｙ）において第２混合画像と入力画像の色差信号Ｃｒ（−１２７≦０≦１２７）の差分Ｄcr0123（絶対値：０≦Ｄcr0123≦２５４）を式（９）のように算出する。
Ｄcr0123(x,y)＝｜ｂｌ2_ｃr(x,y)−ｃr(x,y)｜ ・・・（９）

混合割合は、差分Ｄcr0123に基づいて設定する。例えば差分Ｄcr0123が閾値「１０」未満である場合、第２混合画像に対する入力画像の混合率Ｂcr0123(x,y)は式（１０）に基づいて決定する。また、差分Ｄcr0123が閾値「１０」以上である場合、第２混合画像に対する入力画像の混合率Ｂcr0123(x,y)は式（１１）に基づいて決定する。
Ｂcr0123(x,y)＝Ｄcr0123／１０ （０≦Ｄcr0123＜１０） ・・・（１０）
Ｂcr0123(x,y)＝１ （１０≦Ｄcr0123） ・・・（１１）

すなわち、差分Ｄcr0123が大きくなるに伴い入力画像の割合を多くして、差分Ｄcr0123が閾値以上である場合は、入力画像のみを用いる。

第３混合処理部２４-3は、具体的には式（１２）の演算を行い、出力画像の（ｘ，ｙ）座標における色差信号ｂｌ3_ｃr(x,y)を算出する。
ｂｌ3_ｃr(x,y)＝Ｂcr0123(x,y)・ｃr(x,y)
＋（１−Ｂcr0123(x,y)）・ｂｌ2_ｃr(x,y) ・・・（１２）

また、入力画像の精度が悪い場合、例えばノイズの多い暗い画像に対しては、混合率Ｂcr0123＝０とすることで、第３混合処理部２４-3の処理をスルーして第２混合画像を出力画像としてもよい。

さらに、上述の説明は色差信号Ｃｒについての処理を説明したが、色差信号Ｃｂに対しても同様に、縮小処理、ノイズ除去処理、拡大処理および混合処理を行うことで、青色系の色滲みを防止できる。

混合部２４は、色差信号Ｃｂの差分を算出して、差分が予め設定された閾値未満の場合は視覚的に似ており、差分が閾値以上の場合は視覚的に似ていないと判断する。また、判断結果に応じて色差信号Ｃｂを混合する。

例えば、第１混合処理部２４-1は、第２拡大処理部２３-2で生成された第２拡大画像と第３拡大処理部２３-3で生成された第３拡大画像を混合する。第１混合処理部２４-1は、ある座標（ｘ，ｙ）において第２拡大画像と第３拡大画像の色差信号Ｃｂ（−１２７≦０≦１２７）の差分Ｄcb23（絶対値，０≦Ｄcb23≦２５４）を式（１３）のように算出する。
Ｄcb23(x,y)＝｜ｕｓ3_ｃb(x,y)−ｕｓ2_ｃb(x,y)｜ ・・・（１３）

混合割合は、差分Ｄcb23に基づいて設定する。例えば差分Ｄcb23が閾値「１０」未満である場合、第２拡大画像に対する第３拡大画像の混合率Ｂcb23(x,y)は式（１４）に基づいて決定する。また、差分Ｄcb23が閾値「１０」以上である場合、第２拡大画像に対する第３拡大画像の混合率Ｂcb23(x,y)は式（１５）に基づいて決定する。
Ｂcb23(x,y)＝Ｄcb23／１０ （０≦Ｄcb23＜１０） ・・・（１４）
Ｂcb23(x,y)＝１ （１０≦Ｄcb23） ・・・（１５）

すなわち、差分Ｄcb23が大きくなるに伴い第３拡大画像の割合を多くして、差分Ｄcb23が閾値以上である場合は、第３拡大画像のみを用いる。

第１混合処理部２４-1は、具体的には式（１６）の演算を行い、第１混合画像の（ｘ，ｙ）座標における色差信号ｂｌ1_ｃb(x,y)を算出する。
ｂｌ1_ｃb(x,y)＝Ｂcb23(x,y)・ｕｓ2_ｃb(x,y)
＋（１−Ｂcb23(x,y)）・ｕｓ3_ｃb(x,y) ・・・（１６）

第２混合処理部２４-2は、第１混合処理部２４-1で生成された第１混合画像と第１拡大処理部２３-1で生成された第１拡大画像を混合する。第２混合処理部２４-2は、ある座標（ｘ，ｙ）において第１混合画像と第１拡大画像の色差信号Ｃｂ（−１２７≦０≦１２７）の差分Ｄcb123（絶対値：０≦Ｄcb123≦２５４）を式（１７）のように算出する。
Ｄcb123(x,y)＝｜ｂｌ1_ｃb(x,y)−ｕｓ1_ｃb(x,y)｜ ・・・（１７）

混合割合は、差分Ｄcb123に基づいて設定する。例えば差分Ｄcb123が閾値「１０」未満である場合、第１混合画像に対する第１拡大画像の混合率Ｂcb123(x,y)は式（１８）に基づいて決定する。また、差分Ｄcb123が閾値「１０」以上である場合、第１混合画像に対する第１拡大画像の混合率Ｂcb123(x,y)は式（１９）に基づいて決定する。
Ｂcb123(x,y)＝Ｄcb123／１０ （０≦Ｄcb123＜１０） ・・・（１８）
Ｂcb123(x,y)＝１ （１０≦Ｄcb123） ・・・（１９）

すなわち、差分Ｄcb123が大きくなるに伴い第１拡大画像の割合を多くして、差分Ｄcb123が閾値以上である場合は、第１拡大画像のみを用いる。

第２混合処理部２４-2は、具体的には式（２０）の演算を行い、第２混合画像の（ｘ，ｙ）座標における色差信号ｂｌ2_ｃb(x,y)を算出する。
ｂｌ2_ｃb(x,y)＝Ｂcb123(x,y)・ｕｓ1_ｃb(x,y)
＋（１−Ｂcb123(x,y)）・ｂｌ1_ｃb(x,y) ・・・（２０）

第３混合処理部２４-3は、第２混合処理部２４-2生成された第２混合画像と入力画像を混合する。第３混合処理部２４-3は、ある座標（ｘ，ｙ）において第２混合画像と入力画像の色差信号Ｃｂ（−１２７≦０≦１２７）の差分Ｄcb0123（絶対値：０≦Ｄcb0123≦２５４）を式（２１）のように算出する。

Ｄcb0123(x,y)＝｜ｂｌ2_ｃb(x,y)−ｃb(x,y)｜ ・・・（２１）
混合割合は、差分Ｄcb0123に基づいて設定する。例えば差分Ｄcb0123が閾値「１０」未満である場合、第２混合画像に対する入力画像の混合率Ｂcb0123(x,y)は式（２２）に基づいて決定する。また、差分Ｄcb0123が閾値「１０」以上である場合、第２混合画像に対する入力画像の混合率Ｂcb0123(x,y)は式（２３）に基づいて決定する。

Ｂcb0123(x,y)＝Ｄcb0123／１０ （０≦Ｄcb0123＜１０） ・・・（２２）
Ｂcb0123(x,y)＝１ （１０≦Ｄcb0123） ・・・（２３）
すなわち、差分Ｄcb0123が大きくなるに伴い入力画像の割合を多くして、差分Ｄcb0123が閾値以上である場合は、入力画像のみを用いる。

第３混合処理部２４-3は、具体的には式（２４）の演算を行い、第３混合画像の（ｘ，ｙ）座標における色差信号ｂｌ3_ｃb(x,y)を算出する。
ｂｌ3_ｃb(x,y)＝Ｂcb0123(x,y)・ｃb(x,y)
＋（１−Ｂcb0123(x,y)）・ｂｌ2_ｃb(x,y) ・・・（２４）

また、入力画像の精度が悪い画像に対しては、混合率Ｂcb0123＝０とすることで、第３混合処理部２４-3の処理をスルーして第２混合画像を出力画像としてもよい。

さらに、混合部２４では、色差信号Ｃｒ，Ｃｂを用いて、混合率を個々に算出したが、一方の色差信号の処理で算出した混合率を他方の色差信号の処理で用いるようにしてもよい。例えば色差信号Ｃｒについて算出された混合率を、色差信号Ｃｂの処理における混合率として用いるようにしてもよい。すなわち、混合率Ｂcb23，Ｂcb123，Ｂcb0123は、式（２５）〜（２７）のように設定する。この場合、混合部２４はそれぞれの色差信号を用いて混合率を算出する必要がないので、それぞれの色差信号を用いて混合率を個々に算出する場合に比べて高速に混合処理を行うことができる。
Ｂcb23 ＝Ｂcr23 ・・・（２５）
Ｂcb123 ＝Ｂcr123 ・・・（２６）
Ｂcb0123 ＝Ｂcr0123 ・・・（２７）

また、混合率を決定するための指標は、混合する画像の色差信号の差分に限らす、視覚特性に応じた差分を用いてもよい。また、入力画像の画像信号がＬ^＊ａ^＊ｂ^＊表色系の場合、色差ΔＥ^＊ab＝〔(ΔＬ^＊)^２＋(Δａ^＊)^２＋(Δｂ^＊)^２〕^１／２に基づいて混合率を決定してもよい。

このように、複数の縮小率で縮小された画像に対してノイズ除去が行われるので、それぞれの拡大画像はエッジ部分の色滲みが異なる。したがって、異なる２つ以上の拡大画像を混合することで、エッジ部分の鮮明さが失われておらず画質の良好な画像を得ることができるようになる。例えば混合する拡大画像の色差信号を用いて拡大画像の相関が判別されて、相関が低くなる色滲みが目立ちやすい部分では、縮小率が大きい縮小画像のノイズ処理後の拡大画像の割合を大きくする。具体的には、第１混合処理部２４-1では、縮小率が大きい縮小画像（１／９縮小画像）のノイズ処理後の拡大画像の割合を多くして、縮小率が小さい縮小画像（１／１８縮小画像）のノイズ処理後の拡大画像の割合を少なくする。このように混合割合を設定することで、色滲みが目立ちやすい部分では、色滲みを生じやすい拡大画像の割合が少なくされるので、色滲みが軽減された画質の良好な画像を得ることができる。また、色滲みが目立ちにくい部分では、縮小率が小さい縮小画像のノイズ処理後の拡大画像の割合を大きくすることで、大きな範囲のノイズを除去することが可能となり、強いノイズ除去効果を得ることができる。また、縮小率に応じてフィルタ構成を設定すれば、ノイズ除去に要する時間を無駄にせず効率のよいフィルタ処理を行うことができる。

＜３．第２の実施の形態＞
ところで、色滲みが発生する部位は、通常の場合、入力画像の一部分にしか存在しない。また、平均化フィルタによってノイズを除去する場合に解像劣化を生じる。したがって、色滲みが発生しやすい色領域を判別して、フィルタ処理が行われていない入力画像の混合割合を判別された色領域の部分だけ増やすことで処理強度を弱めて、色滲みを軽減させてもよい。第２の実施の形態では、色領域の判別結果に基づいて混合割合を制御する場合について説明する。

［３−１．第２の実施の形態の構成］
図８は、ノイズ除去部の第２の実施の形態の構成を示している。ノイズ除去部２０ａは、第１の実施の形態と同様に、縮小部２１、ノイズ除去処理部２２、拡大部２３、混合部２４を備えている。さらに、第２の実施の形態では、色判別部２５が設けられている。

縮小部２１は、入力画像の縮小を行う。例えば、第１縮小処理部２１-1は、入力画像を第１のサイズに縮小して、第１縮小画像の画像信号をノイズ除去処理部２２に出力する。第２縮小処理部２１-2は、入力画像を第２のサイズに縮小して、第２縮小画像の画像信号をノイズ除去処理部２２に出力する。第３縮小処理部２１-3は、入力画像を第２のサイズに縮小して、第３縮小画像の画像信号をノイズ除去処理部２２に出力する。

ノイズ除去処理部２２は、縮小部２１から供給された画像信号のノイズ除去処理を行う。例えば、第１ノイズ除去処理部２２-1は、縮小部２１の第１縮小処理部２１-1から出力された画像信号に対してフィルタ処理を行い、画像信号のノイズを除去して拡大部２３に出力する。第２ノイズ除去処理部２２-2は、縮小部２１の第２縮小処理部２１-2から出力された画像信号に対してフィルタ処理を行い、画像信号のノイズを除去して拡大部２３に出力する。第３ノイズ除去処理部２２-3は、縮小部２１の第３縮小処理部２１-3から出力された画像信号に対してフィルタ処理を行い、画像信号のノイズを除去して拡大部２３に出力する。

拡大部２３は、ノイズ除去処理部２２から供給された画像信号を用いて画像の拡大を行う。例えば、第１拡大処理部２３-1は、ノイズ除去処理部２２の第１ノイズ除去処理部２２-1から出力された画像信号を用いて拡大処理を行い、画像を第１のサイズに拡大した拡大画像の画像信号を生成して混合部２４に出力する。第２拡大処理部２３-2は、ノイズ除去処理部２２の第２ノイズ除去処理部２２-2から出力された画像信号を用いて拡大処理を行い、画像を第２のサイズに拡大した拡大画像の画像信号を生成して混合部２４に出力する。第３拡大処理部２３-3は、ノイズ除去処理部２２の第３ノイズ除去処理部２２-3から出力された画像信号を用いて拡大処理を行い、画像を第３のサイズに拡大した拡大画像の画像信号を生成して混合部２４に出力する。

混合部２４は、拡大部２３から出力された画像の混合処理を行う。例えば、第１混合処理部２４-1は、拡大部２３の第２拡大処理部２３-2から出力された画像信号と第３拡大処理部２３-3から出力された画像信号を用いて混合処理を行い、第１混合画像の画像信号を生成する。第２混合処理部２４-2は、第１混合処理部２４-1から出力された第１混合画像の画像信号と、拡大部２３の第１拡大処理部２３-1から出力された画像信号を用いて混合処理を行い、第２混合画像の画像信号を生成する。第３混合処理部２４-3は、第２混合処理部２４-2から出力された第２混合画像の画像信号と、入力画像の画像信号を用いて混合処理を行い、出力画像の画像信号を生成する。さらに、第３混合処理部２４-3は、色判別結果に基づき、色滲みが発生しやすい色領域では、縮小率が大きい画像すなわち入力画像（縮小率１００％）の割合を増やして、色滲みを軽減させる。

色判別部２５は、輝度信号および色差信号から各画素の色を判別して、色判別結果を混合部２４に出力する。色判別部２５による色判別処理には様々な手法を用いることが可能である。例えば、色判別部２５は、輝度信号および色差信号の信号レベルから各画素の色を判別する。

［３−２．第２の実施の形態の動作］
図９は、第２の実施の形態の動作、すなわちノイズ除去部２０ａの動作を示すフローチャートである。ステップＳＴ１１でノイズ除去部２０ａは、縮小画像の生成を行う。ノイズ除去部２０ａの縮小部２１は、信号変換部１４から供給された画像信号を用いて縮小画像の画像信号を生成してステップＳＴ１２に進む。

ステップＳＴ１２でノイズ除去部２０ａは、ノイズ除去画像の生成を行う。ノイズ除去部２０ａのノイズ除去処理部２２は、縮小画像の画像信号を用いてノイズ除去処理を行い、ノイズ除去画像の画像信号を生成してステップＳＴ１３に進む。

ステップＳＴ１３でノイズ除去部２０ａは、拡大画像の生成を行う。ノイズ除去部２０ａの拡大部２３は、ノイズ除去画像の画像信号を用いて画像の拡大処理を行い、拡大画像の画像信号を生成してステップＳＴ１４に進む。

ステップＳＴ１４でノイズ除去部２０ａは、第１混合画像の生成を行う。ノイズ除去部２０ａの混合部２４は、第１混合処理部２４-1で混合処理を行い、第１混合画像の画像信号を生成してステップＳＴ１５に進む。

ステップＳＴ１５でノイズ除去部２０ａは、第２混合画像の生成を行う。ノイズ除去部２０ａの混合部２４は、第２混合処理部２４-2で混合処理を行い、第２混合画像の画像信号を生成してステップＳＴ１６に進む。

ステップＳＴ１６でノイズ除去部２０ａは、所定の色領域であるか判別する。ノイズ除去部２０ａの色判別部２５は、各画素の色判別を行い、判別結果を混合部２４に出力する。混合部２４は、色判別結果に基づき、所定の色領域の画素の場合はステップＳＴ１７に進み、所定の色領域の画素でない場合はステップＳＴ１８に進む。

ステップＳＴ１７でノイズ除去部２０ａは混合割合を変更する。ノイズ除去部２０ａの混合部２４は、第３混合処理部２４-3で第２拡大画像と入力画像の混合処理を行う場合の混合割合を変更して、入力画像の割合を増加させてステップＳＴ１８に進む。

ステップＳＴ１８でノイズ除去部２０ａは、出力画像の生成を行う。ノイズ除去部２０ａの混合部２４は、第３混合処理部２４-3で混合処理を行い、第２混合画像の画像信号と入力画像の画像信号を用いて混合処理を行い、出力画像の画像信号を生成してステップＳＴ１９に進む。

ステップＳＴ１９でノイズ除去部２０ａは、画像出力を行う。ノイズ除去部２０ａは混合部２４で生成された出力画像の画像信号を出力する。

このように、所定の色領域で入力画像の割合を増加させれば、色滲みを軽減させることができる。また、特許文献１のように、輝度値の差分が所定の閾値以内の画素のみを用いて平滑化処理を実行すると、輝度差が小さい色領域は平滑化処理が除外されないため、輝度差が小さい色領域で鮮明さが失われてしまう。しかし、本技術は、色判別を行い、所定の色領域で縮小率が大きい画像の割合を増加させることによりノイズ除去処理の強度を弱めることで、鮮明さが失われてしまうことを防止できる。なお、図８および図９では、第３混合処理部２４-3で混合処理を行うことにより生成された画像信号を出力画像の画像信号としているが、例えば第２混合処理部２４-2で混合処理を行うことにより生成された画像信号を出力画像の画像信号とすることもできる。この場合、第２混合処理部２４-2は、色判別結果に基づき、色滲みが発生しやすい色領域では、縮小率が大きい画像すなわち第１拡大処理部２３-1から出力された画像信号の割合を増やすことで、色滲みを軽減させることができる。

＜４．第３の実施の形態＞
上述のように、色滲みが発生する部位は、通常の場合、入力画像の一部分にしか存在しない。したがって、色滲みが発生しやすい色領域を判別して、その領域部分だけフィルタ処理を変更することで、エッジ抽出性能およびノイズ除去性能を向上させて高画質化をはかり、色滲みの発生しにくい領域では、演算規模を小さくして高速化をはかることができる。第３の実施の形態では、色領域の判別結果に基づいてフィルタ処理動作を制御する場合について説明する。

［４−１．第３の実施の形態の構成］
図１０は、ノイズ除去部の第３の実施の形態の構成を示している。ノイズ除去部２０ｂは、第１の実施の形態と同様に、縮小部２１、ノイズ除去処理部２２、拡大部２３、混合部２４、色判別部２５を備えている。

縮小部２１は、入力画像の縮小を行う。例えば、第１縮小処理部２１-1は、入力画像を第１のサイズに縮小して、第１縮小画像の画像信号をノイズ除去処理部２２に出力する。第２縮小処理部２１-2は、入力画像を第２のサイズに縮小して、第２縮小画像の画像信号をノイズ除去処理部２２に出力する。第３縮小処理部２１-3は、入力画像を第２のサイズに縮小して、第３縮小画像の画像信号をノイズ除去処理部２２に出力する。

ノイズ除去処理部２２は、縮小部２１から供給された画像信号のノイズ除去処理を行う。例えば、第１ノイズ除去処理部２２-1は、縮小部２１の第１縮小処理部２１-1から出力された画像信号に対してフィルタ処理を行い、画像信号のノイズを除去して拡大部２３に出力する。第２ノイズ除去処理部２２-2は、縮小部２１の第２縮小処理部２１-2から出力された画像信号に対してフィルタ処理を行い、画像信号のノイズを除去して拡大部２３に出力する。第３ノイズ除去処理部２２-3は、縮小部２１の第３縮小処理部２１-3から出力された画像信号に対してフィルタ処理を行い、画像信号のノイズを除去して拡大部２３に出力する。

また、ノイズ除去処理部２２は、図７に示すように、ノイズ除去処理の組み替えが可能とされており、色判別部２５からの色判別結果に基づき、ノイズ除去処理に用いるフィルタを選択する。例えばノイズ除去処理部２２は、処理速度を優先したノイズ除去処理やノイズ除去性能を優先したノイズ除去処理を行う。

拡大部２３は、ノイズ除去処理部２２から供給された画像信号を用いて画像の拡大を行う。例えば、第１拡大処理部２３-1は、ノイズ除去処理部２２の第１ノイズ除去処理部２２-1から出力された画像信号を用いて拡大処理を行い、画像を第１のサイズに拡大した拡大画像の画像信号を生成して混合部２４に出力する。第２拡大処理部２３-2は、ノイズ除去処理部２２の第２ノイズ除去処理部２２-2から出力された画像信号を用いて拡大処理を行い、画像を第２のサイズに拡大した拡大画像の画像信号を生成して混合部２４に出力する。第３拡大処理部２３-3は、ノイズ除去処理部２２の第３ノイズ除去処理部２２-3から出力された画像信号を用いて拡大処理を行い、画像を第３のサイズに拡大した拡大画像の画像信号を生成して混合部２４に出力する。

混合部２４は、拡大部２３から出力された画像の混合処理を行う。例えば、第１混合処理部２４-1は、拡大部２３の第２拡大処理部２３-2から出力された画像信号と第３拡大処理部２３-3から出力された画像信号を用いて混合処理を行い、第１混合画像の画像信号を生成する。第２混合処理部２４-2は、第１混合処理部２４-1から出力された第１混合画像の画像信号と、拡大部２３の第１拡大処理部２３-1から出力された画像信号を用いて混合処理を行い、第２混合画像の画像信号を生成する。第３混合処理部２４-3は、第２混合処理部２４-2から出力された第２混合画像の画像信号と、入力画像の画像信号を用いて混合処理を行い、出力画像の画像信号を生成する。

色判別部２５は、輝度信号および色差信号から各画素の色を判別して、色判別結果をノイズ除去処理部２２に出力する。色判別部２５による色判別処理には様々な手法を用いることが可能である。例えば、色判別部２５は、輝度信号および色差信号の信号レベルから各画素の色を判別する。なお、色判別部２５は、色判別結果を制御部３０に供給して、ノイズ除去部２０ｂのノイズ除去処理部２２で行われるノイズ除去処理を制御部３０で切り替えるようにしてもよい。

［４−２．第３の実施の形態の動作］
図１１は、第３の実施の形態の動作、すなわちノイズ除去部２０ｂの動作を示すフローチャートである。ステップＳＴ３１でノイズ除去部２０ｂは、縮小画像の生成を行う。ノイズ除去部２０ｂの縮小部２１は、信号変換部１４から供給された画像信号を用いて縮小画像の画像信号を生成してステップＳＴ３２に進む。

ステップＳＴ３２でノイズ除去部２０ｂは、所定の色領域であるか判別する。ノイズ除去部２０ｂの色判別部２５は、各画素の色判別を行い、判別結果をノイズ除去処理部２２に出力する。ノイズ除去処理部２２は、色判別結果に基づき、所定の色領域の画素の場合はステップＳＴ３３に進み、所定の色領域の画素でない場合はステップＳＴ３４に進む。

ステップＳＴ３３でノイズ除去部２０ｂは、高速ノイズ除去設定を行う。ノイズ除去部２０ｂのノイズ除去処理部２２は、処理速度を優先したノイズ除去処理を行うようにノイズ除去処理に用いるフィルタを選択してステップＳＴ３５に進む。例えばノイズ除去処理部２２は、単純ローパスフィルタ（ＬＰＦ）のみを用いてノイズ除去処理を行うようにする。

ステップＳＴ３４でノイズ除去部２０ｂは、高性能ノイズ除去設定を行う。ノイズ除去部２０ｂのノイズ除去処理部２２は、ノイズ除去性能を優先したノイズ除去処理を行うようにノイズ除去処理に用いるフィルタを選択してステップＳＴ３５に進む。例えばノイズ除去処理部２２は、バイラテラルフィルタ（ＢＬ）や、バイラテラルフィルタと他のフィルタを組み合わせて用いてノイズ除去処理を行うようにする。

ステップＳＴ３５でノイズ除去部２０ｂは、ノイズ除去画像の生成を行う。ノイズ除去部２０ｂのノイズ除去処理部２２は、ステップＳＴ３３はたはステップＳＴ３４で設定されたフィルタを使用して縮小画像の画像信号のノイズ除去処理を行い、ノイズ除去画像の画像信号を生成してステップＳＴ３６に進む。

ステップＳＴ３６でノイズ除去部２０ｂは、拡大画像の生成を行う。ノイズ除去部２０ｂの拡大部２３は、ノイズ除去画像の画像信号を用いて画像の拡大処理を行い、拡大画像の画像信号を生成してステップＳＴ３７に進む。

ステップＳＴ３７でノイズ除去部２０ｂは、第１混合画像の生成を行う。ノイズ除去部２０ｂの混合部２４は、第１混合処理部２４-1で混合処理を行い、第１混合画像の画像信号を生成してステップＳＴ３８に進む。

ステップＳＴ３８でノイズ除去部２０ｂは、第２混合画像の生成を行う。ノイズ除去部２０ｂの混合部２４は、第２混合処理部２４-2で混合処理を行い、第２混合画像の画像信号を生成してステップＳＴ３９に進む。

ステップＳＴ３９でノイズ除去部２０ｂは、出力画像の生成を行う。ノイズ除去部２０ｂの混合部２４は、第３混合処理部２４-3で混合処理を行い、第２混合画像の画像信号と入力画像の画像信号を用いて混合処理を行い、出力画像の画像信号を生成してステップＳＴ４０に進む。

ステップＳＴ４０でノイズ除去部２０ｂは、画像出力を行う。ノイズ除去部２０ｂは混合部２４で生成された出力画像の画像信号を出力する。

このように、ノイズ除去処理部を複数種類のフィルタで構成して、フィルタ構成を組み替え可能として、入力画像の色判別結果に基づき、特定色に対してはノイズ除去性能の高い第１のフィルタ構成、特性色以外は処理の速い第２のフィルタ構成とすれる。このようなフィルタ構成とすれば、エッジ部分の鮮明さが失われておらず画質の良好な画像を効率よく得ることができる。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

さらに、縮小率や拡大率は上述の例示に限られない。また、縮小部では３段階の縮小画像を生成する場合について説明したが、２段階または４段階以上であってもよい。また、ノイズ除去処理部２２の処理内容は、別の構成でもよく、外部指定値にしたがい処理を行わない経路を設けてもよい。本技術の効果は色ノイズに限定されず、本技術思想は輝度信号に含まれるノイズに関しても適用できる。色差信号と輝度信号とでは、ノイズの周波数、振幅の特徴が異なるため、最適なフィルタ範囲や閾値も異なるという差分があるのみである。また、画像処理装置は撮像装置に適用できるだけでなく、画像の記録再生や編集および出力等を行う装置、例えば画像編集装置、画像記録再生装置、プリンタ等にも適用できる。

本技術は、上述の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

本技術の画像処理装置と画像処理方法では、複数の縮小率で入力画像が縮小されて、複数の縮小画像毎にノイズ除去処理が行われてノイズ除去画像が生成される。また、ノイズ除去画像をそれぞれ拡大してサイズの等しい拡大画像が生成されて、異なる２つ以上の拡大画像を混合して出力画像が生成される。このように、複数の縮小率で縮小された画像に対してノイズ除去が行われるので、それぞれの拡大画像はエッジ部分の色滲みが異なり、異なる２つ以上の拡大画像を混合することで、エッジ部分の鮮明さが失われておらず画質の良好な画像を得ることができるようになる。したがって、画像の記録再生や編集および出力等を行う装置、例えば撮像装置や画像編集装置、画像記録再生装置、プリンタ等に適している。

１０・・・撮像装置、１１・・・撮像光学系、１２・・・撮像部、１３・・・カメラ信号処理部、１４・・・信号変換部、２０，２０ａ，２０ｂ・・・ノイズ除去部、２１・・・縮小部、２１-1・・・第１縮小処理部、２１-2・・・第２縮小処理部、２１-3・・・第３縮小処理部、２２・・・ノイズ除去処理部、２２-1・・・第１ノイズ除去処理部、２２-2・・・第２ノイズ除去処理部、２２-3・・・第３ノイズ除去処理部、２３・・・拡大部、２３-1・・・第１拡大処理部、２３-2・・・第２拡大処理部、２３-3・・・第３拡大処理部、２４・・・混合部、２４-1・・・第１混合処理部、２４-2・・・第２混合処理部、２４-3・・・第３混合処理部、２５・・・色判別部、３０・・・制御部、３１・・・ユーザインタフェース部

Claims (10)

1. 複数の縮小率で入力画像を縮小して複数の縮小画像を生成する縮小部と、
   前記縮小画像毎にノイズ除去処理を行いノイズ除去画像を生成するノイズ除去処理部と、
   前記ノイズ除去画像をそれぞれ拡大して、サイズの等しい拡大画像を生成する拡大部と、
   前記拡大画像のうち、異なる２つ以上の拡大画像を混合して出力画像を生成する混合部と
   を備える画像処理装置。
2. 前記混合部は、混合する拡大画像の混合割合を、該混合する拡大画像の相関に基づいて算出する請求項１記載の画像処理装置。
3. 前記混合部は、前記混合する拡大画像の色差信号を用いて前記混合割合を算出する請求項２記載の画像処理装置。
4. 前記混合部は、前記相関が低くなるに伴い、縮小率が大きい画像の割合を多くする請求項２記載の画像処理装置。
5. 前記入力画像の色判別を行う色判別部をさらに備え、
   前記混合部は、前記入力画像と前記混合後の拡大画像を混合して前記出力画像の生成を行い、色判別結果に基づき特定色に対して、前記混合する画像の混合割合を増減させる請求項1の画像処理装置。
6. 前記混合部は、前記入力画像が前記特定色である場合に、前記縮小率が大きい画像の割合を増加させる請求項５の画像処理装置。
7. 前記ノイズ除去処理部は、複数種類のフィルタを用いて構成し、前記縮小画像のノイズ除去処理を行うフィルタ構成を組み替え可能とする請求項１記載の画像処理装置。
8. 前記入力画像の色判別を行う色判別部をさらに備え、
   前記ノイズ除去処理部は、色判別結果に応じて前記フィルタ構成を切り替える請求項７の画像処理装置。
9. 前記ノイズ除去処理部は、色判別結果に基づき特定色に対しては第１のフィルタ構成、前記特性色以外は第２のフィルタ構成として、前記第１のフィルタ構成は前記第２のフィルタ構成よりもノイズ除去性能の高いフィルタ構成、前記第２のフィルタ構成は前記第１のフィルタ構成よりも処理の速いフィルタ構成とする請求項８記載の画像処理装置。
10. 複数の縮小率で入力画像を縮小して複数の縮小画像を生成する工程と、
    前記縮小画像毎にノイズ除去処理を行い、ノイズ除去画像を生成する工程と、
    前記ノイズ除去画像をそれぞれ拡大して、サイズの等しい拡大画像を生成する工程と、
    前記拡大画像のうち、異なる２つ以上の拡大画像を混合して出力画像を生成する工程と
    含む画像処理方法。

Images