JP2015162706A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】解像度の低下と色にじみを抑えつつ、モアレの発生を抑制できるようにする。
【解決手段】斜めモアレ指標値検出部１３が、斜め方向のモアレの発生の程度を示す斜めモアレ指標値を検出し、混合処理部４１に出力する。水平垂直モアレ指標値検出部１４が、HV相関検出部６５より供給される水平方向および垂直方向の相関値に基づいて、水平垂直方向のモアレの発生の程度を示す水平垂直モアレ指標値を検出し混合処理部４２に出力する。混合処理部４１は、斜めLPF３１により斜めモアレキャンセル画像信号と入力画像信号を斜めモアレ指標値に基づいて混合する。混合処理部４２は、HVLPF３２によりHVモアレキャンセル画像信号と混合処理部４１より出力されてくる画像信号を水平垂直モアレ指標値に基づいて混合する。本技術は、撮像装置に適用することができる。
【選択図】図２

Description

本技術は、画像処理装置および方法、並びにプログラムに関し、特に、色モアレに起因する偽色の発生を抑制できるようにした画像処理装置および方法、並びにプログラムに関する。

撮像装置は、各画素に分光特性を持ったカラーフィルタを有し、それぞれの画素で異なる波長の光を光電変換しデジタル信号として標本化する。

一般的に用いられているベイヤ配列の撮像装置は、RGB（赤色・緑色・青色）のカラーフィルタで構成され、画素の半数は緑色のカラーフィルタとされ、残りの半数の画素数が赤色と青色のカラーフィルタとなっている。

ところが、このカラーフィルタが用いられることにより偽色が発生することがあり、この対策に向けた技術が提案されている（特許文献１乃至４参照）。

特開２０１３−０４８４１０号公報 特開２０１２−１０４９６８号公報 特開２００９−２５３６１６号公報 特開２００６−１２１４５３号公報

ところで、一般的な撮像装置では、各画素にRGB（赤色・緑色・青色）の３色を同時化する処理を行うが、この同時化処理で各色の標本化周波数の違いによる折り返りが発生してしまう。

この折り返りが周期的な偽色（色モアレ）となって見えることがある。

しかしながら、上述した特許文献１乃至４に係る技術では、この色モアレに起因する偽色を抑制することができないことがあった。

本技術は、このような状況に鑑みてなされたものであり、特に、解像度の低下や色にじみを抑えつつ、色モアレに起因する偽色の発生を抑制できるようにするものである。

本技術の一側面の画像処理装置は、所定の色画素配列がなされた入力画像における各画素の属する絵柄の方向を検出する方向検出部と、前記方向に応じて、前記入力画像における各画素の画素値の周期性によるモアレの発生の程度をモアレ指標値として検出するモアレ検出部と、前記モアレ検出部により検出された前記モアレ指標値に基づいて、前記入力画像におけるモアレの発生を抑制するモアレ抑制部とを含む。

前記方向検出部には、前記絵柄の方向を、水平方向および垂直方向に対する方向相関値として検出させ、前記モアレ検出部には、水平方向のモアレ指標値である水平モアレ指標値を検出する水平モアレ検出部と、垂直方向のモアレ指標値である垂直モアレ指標値を検出する垂直モアレ検出部と、前記方向相関値に応じて、前記水平モアレ指標値および前記垂直モアレ指標値を混合して前記モアレ指標値を生成する混合処理部とを含ませるようにすることができ、前記混合処理部により生成された前記モアレ指標値を検出結果として出力させるようにすることができる。

前記入力画像より水平方向および垂直方向の前記モアレを低減して水平垂直モアレ低減画像を生成する水平垂直モアレ低減画像生成部をさらに含ませるようにすることができ、前記モアレ抑制部には、前記モアレ指標値に基づいた混合比で、前記入力画像と、前記水平垂直モアレ低減画像とを混合することで、前記入力画像におけるモアレの発生を抑制させるようにすることができる。

前記水平垂直モアレ低減画像生成部は、前記入力画像の各画素に対して、水平方向および垂直方向の低域通過特性を備えたフィルタとすることができる。

前記入力画像より斜め方向の前記モアレを低減して斜めモアレ低減画像を生成する斜めモアレ低減画像生成部と、前記入力画像における斜め方向のモアレの発生の程度を斜めモアレ指標値として検出する斜めモアレ検出部とをさらに含ませるようにすることができ、前記モアレ抑制部には、前記斜めモアレ指標値に基づいた混合比で、前記入力画像と、前記斜めモアレ低減画像とを混合することで、前記入力画像におけるモアレの発生を抑制させるようにすることができる。

前記斜めモアレ検出部には、斜め45°方向のモアレ指標値である斜め45°モアレ指標値を検出する斜め45°モアレ検出部と、斜め135°方向のモアレ指標値である斜め135°モアレ指標値を検出する斜め135°モアレ検出部と、前記斜め45°モアレ指標値および前記斜め135°モアレ指標値のうちの最大値を前記斜めモアレ指標値として検出する最大値検出部を含ませるようにすることができ、前記最大値検出部により検出された前記斜めモアレ指標値を検出結果として出力させるようにすることができる。

前記斜めモアレ低減画像生成部は、前記入力画像の各画素に対して、前記斜め方向の低域通過特性を備えたフィルタとすることができる。

前記入力画像より水平方向および垂直方向の前記モアレを低減して水平垂直モアレ低減画像を生成する水平垂直モアレ低減画像生成部と、前記入力画像より斜め方向の前記モアレを低減する斜めモアレ低減画像を生成する斜めモアレ低減画像生成部と、前記入力画像における斜め方向のモアレの発生の程度を斜めモアレ指標値として検出する斜めモアレ検出部とをさらに含ませるようにすることができ、前記方向検出部には、前記絵柄の方向を、水平方向および垂直方向に対する方向相関値として検出させ、前記モアレ検出部には、水平方向のモアレ指標値である水平モアレ指標値を検出する水平モアレ検出部と、垂直方向のモアレ指標値である垂直モアレ指標値を検出する垂直モアレ検出部とを含ませ、前記方向相関値に応じて、前記水平モアレ指標値および前記垂直モアレ指標値を混合して前記モアレ指標値を生成する混合処理部とを含ませ、前記混合処理部により生成された前記モアレ指標値を検出結果として出力させ、前記斜めモアレ検出部には、斜め45°方向のモアレ指標値である斜め45°モアレ指標値を検出する斜め45°モアレ検出部と、斜め135°方向のモアレ指標値である斜め135°モアレ指標値を検出する斜め135°モアレ検出部とを含ませ、前記斜め45°モアレ指標値および前記斜め135°モアレ指標値のうちの最大値を前記斜めモアレ指標値として検出する最大値検出部を含ませ、前記最大値検出部により検出された前記斜めモアレ指標値を検出結果として出力させ、前記モアレ抑制部には、前記モアレ指標値に基づいた混合比で、前記入力画像と、前記水平垂直モアレ低減画像とを混合して一次モアレ抑制画像を生成させ、さらに、前記一次モアレ抑制画像と、前記斜めモアレ低減画像とを、前記斜めモアレ指標値に基づいた混合比で混合することで、前記入力画像におけるモアレの発生を抑制させるようにすることができる。

前記色画素配列はベイヤ配列とすることができる。

本技術の一側面の画像処理方法は、所定の色画素配列がなされた入力画像における各画素の属する絵柄の方向を検出し、前記方向に応じて、前記入力画像における各画素の画素値の周期性によるモアレの発生の程度をモアレ指標値として検出し、検出された前記モアレ指標値に基づいて、前記入力画像におけるモアレの発生を抑制するステップを含む。

本技術の一側面のプログラムは、所定の色画素配列がなされた入力画像における各画素の属する絵柄の方向を検出する方向検出ステップと、前記方向に応じて、前記入力画像における各画素の画素値の周期性によるモアレの発生の程度をモアレ指標値として検出するモアレ検出ステップと、前記モアレ検出ステップの処理により検出された前記モアレ指標値に基づいて、前記入力画像におけるモアレの発生を抑制するモアレ抑制ステップとを含む処理をコンピュータに実行させる。

本技術の一側面においては、所定の色画素配列がなされた入力画像における各画素の属する絵柄の方向が検出され、前記方向に応じて、前記入力画像における各画素の画素値の周期性によるモアレの発生の程度がモアレ指標値として検出され、検出された前記モアレ指標値に基づいて、前記入力画像におけるモアレの発生が抑制される。

本技術の一側面の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。

本技術の一側面によれば、解像度低下や色のにじみを抑制しつつ、色モアレに起因する偽色の発生を抑制させることが可能となる。

本技術を適用した画像処理装置の実施の形態の構成例を示すブロック図である。 図１の画像処理部の一実施の形態の構成例を説明するブロック図である。 モアレの発生を抑制するLPFの構成例を説明する図である。 モアレの発生の程度を示す指標値を検出するためのHPFおよびモアレの発生の程度を示す指標の検出結果に掛けるLPFの例を説明する図である。 方向相関値を検出するためのフィルタの構成例を説明する図である。 図２の画像処理部による画像処理を説明するフローチャートである。 斜めモアレ指標値検出処理を説明するフローチャートである。 斜めモアレ指標値検出処理を説明する図である。 斜めモアレ指標値検出処理を説明する図である。 水平垂直モアレ指標値検出処理を説明するフローチャートである。 水平垂直モアレ指標値検出処理を説明する図である。 水平垂直モアレ指標値検出処理を説明する図である。 汎用のパーソナルコンピュータの構成例を説明する図である。

＜画像処理装置の構成例＞
図１は、本技術を適用した画像処理装置の一実施の形態の構成例を示している。図１の画像処理装置は、入力画像の色モアレの発生状況に応じて、色モアレの発生を抑制して出力するものである。

より詳細には、図１の画像処理装置は、光学撮像部１、撮像素子２、画像処理部３、画像記録部４、および画像表示部５を備えている。

光学撮像部１は、レンズなどの光学機器により構成されており、入射する光を撮像素子２上で結像させる。

撮像素子２は、例えば、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）などから構成されており、光学撮像部１により結像された入射光による光電効果により電荷を発生し、発生した電荷に基づいて画像信号を発生して画像処理部３に出力する。

画像処理部３は、撮像素子２より供給されてくる画像信号に発生する色モアレに起因する偽色を抑制し、HDD（Hard Disc Drive）やSSD（Solid State Drive）などの画像記録部４に出力して記録させる、または、LCD（Liquid Crystal Display）や有機EL（Electro Luminescence）などからなる画像表示部５に出力して表示させる。

＜画像処理部の構成例＞
次に、図２のブロック図を参照して、画像処理部３の構成例について説明する。

画像処理部３は、モアレキャンセル部１１、モアレ抑制部１２、斜めモアレ指標値検出部１３、および水平垂直モアレ指標値検出部１４を備えている。

モアレキャンセル部１１は、入力画像より水平垂直方向に発生するモアレ、および斜め方向に発生するモアレを低減して出力する。より詳細には、モアレキャンセル部１１は、斜めLPF（Low Pass Filter）３１、およびHV（水平方向および垂直方向）LPF３２を備えている。

斜めLPF３１は、入力画像信号の斜め方向のモアレを低減しキャンセルする、例えば、図３の右部で示されるようなフィルタであり、入力画像信号より斜め方向のモアレを低減し、キャンセルした斜めモアレキャンセル画像信号をモアレ抑制部１２の混合処理部４１に出力する。図３の右部のフィルタは、図中の中心位置の注目画素と、その周囲に隣接する８画素とに対応する３画素×３画素の合計９画素に対応するフィルタであり、上段の左から１，０，１、中段の左から０，４，０、および下段の左から１，０，１のフィルタ係数からなるフィルタである。

尚、図３の右部で示されるフィルタはLPF３１の一例に過ぎず、入力画像信号の斜め方向のモアレを低減しキャンセルする機能を備えたフィルタであれば、これ以外のフィルタであってもよい。また、図３の右部においては、３画素×３画素のフィルタであるが、同様の機能を備えたフィルタであれば、これ以外のサイズのフィルタであってもよい。さらに、以降において参照するフィルタについては、いずれも一例に過ぎないものであるので、同様の機能を備える限り、フィルタ係数、およびサイズについては、それ以外のものでもよいものである。

HV（水平方向および垂直方向）LPF３２は、入力画像信号の水平方向および垂直方向のモアレを低減しキャンセルする、例えば、図３の左部で示されるようなフィルタであり、入力画像信号より水平方向および垂直方向のモアレを低減しキャンセルしたHVモアレキャンセル画像信号をモアレ抑制部１２の混合処理部４２に出力する。図３の左部のフィルタは、図中の中心位置の注目画素と、その周辺に隣接する８画素とに対応する３画素×３画素の合計９画素に対応するフィルタであり、上段の左から０，１，０、中段の左から１，４，１、下段の左から０，１，０のフィルタ係数からなるフィルタである。

モアレ抑制部１２は、混合処理部４１，４２を備えており、斜めモアレ指標値検出部１３より供給されてくる斜めモアレ指標値、および水平垂直モアレ指標値検出部１４より供給されてくる水平垂直モアレ指標値に基づいて、入力画像と、斜めモアレキャンセル画像信号およびHVモアレキャンセル画像信号とを混合することで、モアレを抑制する。

より詳細には、混合処理部４１は、斜めモアレ指標値検出部１３より供給されてくる斜めモアレ指標値に基づいた混合比で、入力画像信号および斜めモアレキャンセル画像信号を画素単位で混合して、斜めモアレキャンセル混合画像信号を混合処理部４２に出力する。

混合処理部４２は、水平垂直モアレ指標値検出部１４より供給されてくるHVモアレ指標値に基づいた混合比で、斜めモアレキャンセル混合画像信号およびHVモアレキャンセル画像信号を画素単位で混合して、出力画像信号を生成して出力する。

斜めモアレ指標値検出部１３は、入力画像信号より斜め方向、特に、45°方向、および135°方向のモアレの発生の程度を示す斜めモアレ指標値を検出してモアレ抑制部１２の混合処理部４１に出力する。

より詳細には、斜めモアレ指標値検出部１３は、正規化部５１、斜めモアレ検出部５２、LPF５３、および変調部５４を備えている。

正規化部５１は、例えば、図４の左部で示されるような中心位置となる注目画素に対して隣接する８画素に対応する３画素×３画素からなるHPF（High Pass Filter）と正規化処理部とを備えている。正規化部５１は、まず、後段の検出処理の精度を向上させるために、入力画像信号の各画素についてHPFにより高域通過処理を施す。さらに、正規化部５１は、HPFによりフィルタ処理された注目画素を中心とする３画素×３画素の範囲における標準偏差を求め、標準偏差により正規化し、MR45検出部７１およびMR135検出部７２に出力する。

ここで、図４の左部のHPFは、図中の中心位置の注目画素と、その周辺に隣接する８画素とに対応する３画素×３画素の合計９画素に対応するフィルタであり、上段の左から１，−２，１、中段の左から−２，４，−２、下段の左から１，−２，１のフィルタ係数からなるフィルタである。

斜めモアレ検出部５２は、MR45検出部７１、MR135検出部７２、および最大値検出部７３を備えており、入力画像信号より斜め方向のモアレの発生の程度を示す斜めモアレ指標値MRを検出する。

より詳細には、MR45検出部７１は、正規化された入力画像信号に基づいて、水平方向に対して斜め45°方向におけるモアレ、すなわち、斜めモアレの発生の程度を示す斜め45°モアレ指標値MR45を算出し最大値検出部７３に出力する。

MR135検出部７２は、正規化された入力画像信号に基づいて、水平方向に対して斜め135°方向におけるモアレ、すなわち、斜めモアレの発生の程度を示す斜め135°モアレ指標値MR135を算出し最大値検出部７３に出力する。

最大値検出部７３は、斜めモアレの発生の程度を示す斜め45°モアレ指標値MR45および斜め135°モアレ指標値MR135のいずれか最大値を斜めモアレ指標値MRとしてLPF５３に出力する。

LPF５３は、例えば、図４の右部で示される３画素×３画素からなるフィルタであり、斜め方向のモアレらしさを示す斜めモアレ指標値MRを平滑化して変調部５４に出力する。尚、図４の右部のLPF５３は、図中の中心位置の注目画素と、その周辺に隣接する８画素とに対応する３画素×３画素の合計９画素に対応するフィルタであり、上段の左から１，１，１、中段の左から１，１，１、下段の左から１，１，１のフィルタ係数からなるフィルタである。

変調部５４は、斜めモアレ指標値MRの高検出値を低減する変調処理を施して混合処理部４１に出力する。

水平垂直モアレ指標値検出部１４は、入力画像信号より水平方向および垂直方向のモアレの発生の程度を示すHVモアレ指標値MRHVを検出してモアレ抑制部１２の混合処理部４１に出力する。

より詳細には、水平垂直モアレ指標値検出部１４は、正規化部６１、水平垂直モアレ検出部６２、LPF６３、変調部６４、およびHV相関検出部６５を備えている。

正規化部６１は、基本的な構成は正規化部５１と同一の機能を備えたものである。

水平垂直モアレ検出部６２は、MRH検出部８１、MRV検出部８２、および混合処理部８３を備えており、入力画像信号より水平垂直方向のモアレの発生の程度を示す指標値であるHVモアレ指標値MRHVを検出する。

より詳細には、MRH検出部８１は、正規化された入力画像信号に基づいて、水平方向におけるモアレ、すなわち、H（水平）モアレの発生の程度を示すH（水平）モアレ指標値MRHを算出し混合処理部８３に出力する。

MRV検出部８２は、正規化された入力画像信号に基づいて、垂直方向におけるモアレ、すなわち、V（垂直）モアレの発生の程度を示すV（垂直）モアレ指標値MRVを算出し混合処理部８３に出力する。

混合処理部８３は、HV相関検出部６５より供給されてくる方向相関値に基づいて、H（水平）モアレ指標値MRHおよびV（垂直）モアレ指標値MRVを混合して、水平垂直モアレ指標値MRHVを生成し、LPF６３に出力する。

HV相関検出部６５は、絵柄を構成する各画素について、例えば、注目画素を中心とした５画素×５画素の画素値を使って周囲の画素が垂直方向の画像に属するのか、水平方向の画像に属するのかを示す方向相関値を検出する。より詳細には、HV相関検出部６５は、色フィルタ毎に方向性を検波し、周囲の緑色画素の帯域通過フィルタ（BPF）処理結果の和によって検波する。また、HV相関検出部６５は、水平方向の方向性（dh）を検出する例として、色画素の配列がベイヤ配列であって、中心画素が緑色画素の場合、図５の最左列で示されるように３か所の水平方向の（−１，２，−１）フィルタ処理結果の和として求める。また、中心画素が赤色または青色画素の場合、HV相関検出部６５は、水平方向の方向性（dh）を、図５の右から２列目で示されるように２か所の水平方向の（−１，２，−１）フィルタ処理結果の和として求める。

一方、垂直方向の方向性（dv）については、HV相関検出部６５は、図５の左から２列目および最右部で示されるように、図５の最左部および右から２列目のフィルタに対して、90度回転したフィルタ処理を施す。

そして、HV相関検出部６５は、方向相関値（dhv）を、垂直方向および水平方向の方向性の比率dhv（＝dh／（dh＋dv））として算出し混合処理部８３に出力する。

尚、図５においては、ベイヤ配列の場合について説明したが、RGBの色配列に合わせた構成とされていれば、それ以外の配列でもよい。

混合処理部８３は、水平方向のモアレの発生の程度を示すHモアレ指標値MRHおよび垂直方向のモアレの発生の程度を示すVモアレ指標値MRVを比率dhvに基づいて混合し、HVモアレ指標値MRHV（＝dh／（dh＋dv）×MRH＋（（１−dh／（dh＋dv））×MRV）としてLPF６３に出力する。

LPF６３は、LPF５３と同様の機能を備えたものであり、例えば、図４の右部で示される３画素×３画素からなるフィルタであり、水平方向および垂直方向のモアレらしさを示す指標値であるHVモアレ指標値MRHVを平滑化して変調部６４に出力する。

変調部６４は、HVモアレ検波値MRHVの高検出値を低減する変調処理を施してモアレ抑制部１２の混合処理部４２に出力する。

＜図２の画像処理部による画像処理＞
次に、図６のフローチャートを参照して、図２の画像処理部による画像処理を説明する。

ステップＳ１１において、斜めモアレ指標値検出部１３は、斜めモアレ検出処理を実行し、斜めモアレ指標値MRを検出する。

＜斜めモアレ指標値検出処理＞
ここで、図７のフローチャートを参照して、斜めモアレ指標値検出部１３による斜めモアレ指標値検出処理について説明する。

ステップＳ３１において、正規化部５１は、例えば、図４の左部で示されるような３画素×３画素からなるHPFを、入力画像信号の各画素に掛けて、高帯域通過処理を施す。

ステップＳ３２において、正規化部５１は、高帯域通過処理が施された入力画像信号の各画素について、例えば、３画素×３画素の範囲において、標準偏差を求め、この標準偏差に基づいて正規化し、斜めモアレ検出部５２に出力する。

ステップＳ３３において、斜めモアレ検出部５２のMR45検出部７１は、正規化された入力画像信号の各画素について、水平方向に対して斜め45°方向におけるモアレ、すなわち、斜めモアレの発生の程度を示す斜め45°モアレ指標値MR45を検出し最大値検出部７３に出力する。

より具体的には、MR45検出部７１は、まず、正規化された入力画像信号の各画素に対して、例えば、図８の左部で示されるように、注目画素を中心とする９画素×９画素の範囲に対して、図中の三角印の４画素からなる画素列Ｌ１乃至Ｌ４のそれぞれについて、画素値の平均値ａｖ１乃至ａｖ４を算出する。また、MR45検出部７１は、同様に、図中の丸印の５画素からなる画素列Ｌ１１乃至Ｌ１４のそれぞれについて、平均値ａｖ１１乃至ａｖ１５を算出する。

MR45検出部７１は、図８の左部で示されるように、平均値ａｖ１１，ａｖ１２の平均値ａｖ２１を、平均値ａｖ１２，ａｖ１３の平均値ａｖ２２を、平均値ａｖ１３，ａｖ１４の平均値ａｖ２３を、平均値ａｖ１４，ａｖ１５の平均値ａｖ２４をそれぞれ算出する。この処理により、三角印の画素から得られる平均値ａｖ２１乃至ａｖ２４と、丸印の画素から得られる平均値ａｖ１乃至ａｖ４との位相が揃えられる。

また、MR45検出部７１は、図８の左部で示されるように、平均値ａｖ１，ａｖ２１の和となる平均値和ａｖ５１、平均値ａｖ２，ａｖ２２の和となる平均値和ａｖ５２、平均値ａｖ３，ａｖ２３の和となる平均値和ａｖ５３、平均値ａｖ４，ａｖ２４の和となる平均値和ａｖ５４をそれぞれ算出する。

さらに、MR45検出部７１は、図８の左部で示されるように、平均値ａｖ１，ａｖ２１の差となる平均値差ａｖ６１、平均値ａｖ２，ａｖ２２の差となる平均値差ａｖ６２、平均値ａｖ３，ａｖ２３の差となる平均値差ａｖ６３、平均値ａｖ４，ａｖ２４の差となる平均値差ａｖ６４をそれぞれ算出する。

また、MR45検出部７１は、平均値和ａｖ５１乃至ａｖ５４の標準偏差を和標準偏差ｓｓａとして算出すると共に、平均値差ａｖ６１乃至ａｖ６４の標準偏差を差標準偏差ｓｓｄとして算出する。

さらに、MR45検出部７１は、図８の右部で示されるように、画素列Ｌ１乃至Ｌ４およびＬ１１乃至Ｌ１４のそれぞれの画素値について標準偏差ｍｓ１乃至ｍｓ４およびｍｓ１１乃至ｍｓ１５を算出し、これらの平均値を標準偏差平均値ｓｍｓとして算出する。

そして、MR45検出部７１は、以下の式（１）で定義されるMR45第１指標MR45_1を算出する。

MR45_1＝ｍａｘ（０，（ｓｓｄ−ｓｓａ）／（ｓｓｄ＋ｓｓａ＋ｅｐｓ））
・・・（１）

ここで、MR45_1は、MR45第１指標を、ｍａｘ（Ａ，Ｂ）は、ＡまたはＢのいずれか最大値を選択する関数を、ｓｓｄは、差標準偏差を、ｓｓａは、和標準偏差を、ｅｐｓは、式（１）における演算において分母が０となることを避けるための所定の定数をそれぞれ表している。

また、MR45検出部７１は、図９の標準偏差平均値ｓｍｓにより規定される関数よりMR45第２指標MR45_2を特定する。尚、図９においては、縦軸が、MR45第２指標MR45_2を、横軸が標準偏差平均値ｓｍｓを示している。すなわち、標準偏差平均値ｓｍｓが０乃至閾値ｔｈ１の場合、MR45第２指標MR45_2は１となり、標準偏差平均値ｓｍｓが閾値ｔｈ１乃至ｔｈ２の場合、MR45第２指標MR45_2は、標準偏差平均値ｓｍｓに反比例した値となり、標準偏差平均値ｓｍｓが閾値ｔｈ２より大きい場合、MR45第２指標MR45_2は、ゼロとなる。

そして、MR45検出部７１は、以下の式（２）で示される演算により斜め45°方向における斜めモアレの発生の程度を示す斜め45°モアレ指標値MR45を算出する。

MR45＝MR45_1×MR45_2
・・・（２）

ここで、MR45は、斜め45°方向における斜めモアレの発生の程度を示す斜め45°モアレ指標値を、MR45_1は、上述したMR45第１指標を、MR45_2は、上述したMR45第２指標を、それぞれ表している。

すなわち、MR45検出部７１は、差標準偏差ｓｓｄおよび和標準偏差ｓｓａを算出することにより、各画素の周囲に形成される画素列Ｌ１乃至Ｌ４およびＬ１１乃至Ｌ１５における周期性の有無を表す指標値を算出する。例えば、図８の左部で示されるように、三角印で表される画素からなる画素列Ｌ１乃至Ｌ４と、丸印で表される画素からなる画素列Ｌ１１乃至Ｌ１５との間に、同位相、または逆位相の周期性が生じているものとすると、差標準偏差ｓｓｄおよび和標準偏差ｓｓａのいずれかが大きな値を取ることになる。これにより、色モアレが発生している場合、MR45第１指標MR45_1の値が大きくなる。

一方、MR45第１指標MR45_1の値が大きな値であっても、モアレではなく現実にバラツキの大きな配色からなる画像である場合、図８の右部で示される標準偏差平均値ｓｍｓは大きな値となる。この場合、図９に示されるMR45第２指標MR45_2の特性により、MR45第２指標MR45_2が小さな値となる。逆に、標準偏差平均値ｓｍｓが小さく、バラツキが小さい場合、MR45第２指標MR45_2は１となるため、MR45第１指標MR45_1が45°モアレ指標値MR45となる。

結果として、このような処理により、斜め45°方向における斜めモアレの発生の程度を示す斜め45°モアレ指標値MR45を求めることが可能となる。

ステップＳ３４において、MR135検出部７２は、正規化された入力画像信号の各画素について、水平方向に対して斜め135°方向におけるモアレ、すなわち、斜めモアレの発生の程度を示す、斜め135°モアレ指標値MR135を算出し最大値検出部７３に出力する。尚、MR135検出部７２における処理は、MR45検出部７１において処理対象となった画素列を90°回転させた処理であり、実質的に処理は同様であるので、その説明は省略するものとする。

ステップＳ３５において、最大値検出部７３は、各画素について、MR45検出部７１より供給されてくる斜め45°モアレ指標値MR45、およびMR135検出部７２より供給されてくる斜め135°モアレ指標値MR135のうち、各画素について最大値を斜めモアレ指標値MRとしてLPF５３に供給する。

ステップＳ３６において、LPF５３は、例えば、最大値検出部７３より供給されてくる各画素における斜めモアレ指標値MRについて、図４の右部で示されるようなフィルタにより低域通過処理を施し、変調部５４に出力する。

ステップＳ３７において、変調部５４は、各画素について低域通過処理がなされた斜めモアレ指標値MRについて、高検出値を低減する変調処理を施してモアレ抑制部１２の混合処理部４１に出力する。

すなわち、図７のフローチャートを参照して説明した斜めモアレ指標値検出処理により各画素について、斜め方向のモアレの発生の程度を示す斜めモアレ指標値MRが求められて、モアレ抑制部１２の混合処理部４１に供給される。尚、ここで求められる斜めモアレ指標値MRは、０乃至１の値であるため、斜めモアレキャンセル画像信号との混合比としてそのまま使用することが可能である。

ここで、図６のフローチャートの説明に戻る。

ステップＳ１２において、斜めLPF３１は、入力画像信号の各画素に対して、例えば、図３の右部で示されるようなフィルタにより、斜め方向モアレをキャンセルさせる処理を施して、斜めモアレキャンセル画像信号を生成して混合処理部４１に出力する。

ステップＳ１３において、混合処理部４１は、変調部５４より供給される斜めモアレ指標値MRに基づいた混合比で、入力画像信号の各画素と、斜めモアレキャンセル処理画像信号の各画素とを混合し、一次モアレ抑制画像信号を生成し、混合処理部４２に出力する。

ステップＳ１４において、水平垂直モアレ指標値検出部１４のHV相関検出部６５は、入力画像信号に基づいて、各画素の方向相関値を検出して混合処理部８３に出力する。

より詳細には、HV相関検出部６５は、色フィルタ毎に方向性を、周囲の緑色画素の帯域通過フィルタ（BPF）処理結果の和によって検波する。また、HV相関検出部６５は、水平方向の方向性（dh）を検出する例として、注目画素が緑色画素の場合、図５の最左部で示されるように３か所の水平方向の（−１，２，−１）フィルタ処理結果の和として求める。また、注目画素が赤色または青色画素の場合、HV相関検出部６５は、図５の右から２列目で示されるように２か所の水平方向の（−１，２，−１）フィルタ処理結果の和として求める。

垂直方向の方向性（dv）については、HV相関検出部６５は、注目画素が緑色画素の場合、図５の左から２列目で示されるように、３か所の垂直方向の（−１，２，−１）フィルタ処理結果の和として求める。また、注目画素が赤色または青色画素の場合、HV相関検出部６５は、図５の最右列で示されるように２か所の水平方向の（−１，２，−１）フィルタ処理結果の和として求める。

すなわち、垂直方向の方向性（dv）については、図５の最右部、および左から２列目で示されるように、図５の最左部および右から２列目のフィルタに対して、90度回転したフィルタ処理が施される。

そして、HV相関検出部６５は、方向相関値（dhv）を、垂直方向および水平方向の方向性の比率dhv（＝dh／（dh+dv））として算出して混合処理部８３に出力する。

ステップＳ１５において、水平垂直モアレ指標値検出部１４は、水平垂直モアレ指標値検出処理を実行し、HVモアレ指標値MRHVを検出する。

＜水平垂直モアレ指標値検出処理＞
ここで、図１０のフローチャートを参照して、水平垂直モアレ指標値検出部１４における水平垂直モアレ指標値検出処理について説明する。

ステップＳ５１において、正規化部６１は、例えば、図４の左部で示されるような３画素×３画素からなるHPFを、入力画像信号の各画素に掛けて、高帯域通過処理を施す。

ステップＳ５２において、正規化部６１は、高帯域通過処理が施された入力画像信号の各画素について、例えば、３画素×３画素の範囲において、標準偏差を求め、この標準偏差に基づいて正規化し、水平垂直モアレ検出部６２に出力する。

ステップＳ５３において、水平垂直モアレ検出部６２のMRV検出部８２は、正規化された入力画像信号の各画素について、垂直方向におけるモアレ、すなわち、垂直モアレの発生の程度を示す垂直モアレ指標値MRVを算出し混合処理部８３に出力する。

より具体的には、MRV検出部８２は、まず、正規化された入力画像信号における垂直方向の画素列について、例えば、図１１の左部で示されるように、注目画素を中心とする７画素×７画素の範囲に対して、図中の丸印または三角印で示される７画素からなる画素列Ｌ２１乃至Ｌ２３のそれぞれについて、画素値の平均値ａｖ１０１乃至ａｖ１０３を算出する。また、MRV検出部８２は、同様に、図中の丸印または三角印で示される７画素からなる画素列Ｌ３１乃至Ｌ３４のそれぞれについて、平均値ａｖ１１１乃至ａｖ１１４を算出する。

また、MRV検出部８２は、図１１の左部で示されるように、平均値ａｖ１１１，ａｖ１１２の平均値ａｖ１２１を、平均値ａｖ１１２，ａｖ１１３の平均値ａｖ１２２を、平均値ａｖ１１３，ａｖ１１４の平均値ａｖ１２３をそれぞれ算出する。

さらに、MRV検出部８２は、図１１の左部で示されるように、平均値ａｖ１０１，ａｖ１２１の和となる平均値和ａｖ１５１、平均値ａｖ１０２，ａｖ１２２の和となる平均値和ａｖ１５２、平均値ａｖ１０３，ａｖ１２３の和となる平均値和ａｖ１５３をそれぞれ算出する。

また、MRV検出部８２は、図１１の左部で示されるように、平均値ａｖ１０１，ａｖ１２１の差となる平均値差ａｖ１６１、平均値ａｖ１０２，ａｖ１２２の差となる平均値差ａｖ１６２、平均値ａｖ１０３，ａｖ１２３の差となる平均値差ａｖ１６３をそれぞれ算出する。

さらに、MRV検出部８２は、平均値和ａｖ１５１乃至ａｖ１５３の標準偏差を和標準偏差ｈｖｓａとして算出すると共に、平均値差ａｖ１６１乃至ａｖ１６３の標準偏差を差標準偏差ｈｖｓｄとして算出する。

また、MRV検出部８２は、図１１の右部で示されるように、画素列Ｌ２１乃至Ｌ２３およびＬ３１乃至Ｌ３４のそれぞれの画素値について標準偏差ｍｓ１０１乃至ｍｓ１０３およびｍｓ１１１乃至ｍｓ１１４を算出し、これらの平均値を標準偏差平均値ｈｖｍｓとして算出する。

そして、MRV検出部８２は、以下の式（３）で定義されるMRV第１指標MRV_1を算出する。

MRV_1＝ｍａｘ（０，（ｈｖｓｄ−ｈｖｓａ）／（ｈｖｓｄ＋ｈｖｓａ＋ｅｐｓ））
・・・（３）

ここで、MRV_1は、MRV第１指標を、ｍａｘ（Ａ，Ｂ）は、ＡまたはＢのいずれか最大値を選択する関数を、ｈｖｓｄは、差標準偏差を、ｈｖｓａは、和標準偏差を、ｅｐｓは、式（３）の演算における分母が０となることを避けるための所定の定数をそれぞれ表している。

また、MRV検出部８２は、図１２の標準偏差平均値ｈｖｍｓにより規定される関数よりMRV第２指標MRV_2を特定する。尚、図１２においては、縦軸が、MRV第２指標MRV_2を、横軸が標準偏差平均値ｈｖｍｓを示している。すなわち、標準偏差平均値ｈｖｍｓが０乃至閾値ｔｈ１の場合、MRV第２指標MRV_2は１となり、標準偏差平均値ｈｖｍｓが閾値ｔｈ１乃至ｔｈ２の場合、MRV第２指標MRV_2は、標準偏差平均値ｈｖｍｓに反比例した値となり、標準偏差平均値ｈｖｍｓが閾値ｔｈ２より大きい場合、MRV第２指標MRV_2は、ゼロとなる。

そして、MRV検出部８２は、以下の式（４）で示される演算により斜め45°方向における垂直モアレの発生の程度を示す垂直モアレ指標値MRVを算出する。

MRV＝MRV_1×MRV_2
・・・（４）

ここで、MRVは、垂直方向における垂直モアレの発生の程度を示す垂直モアレ指標値を、MRV_1は、上述したMRV第１指標を、MRV_2は、上述したMRV第２指標を、それぞれ表している。

すなわち、MRV検出部８２は、差標準偏差ｈｖｓｄおよび和標準偏差ｈｖｓａを算出することにより、各画素の周囲に形成される画素列Ｌ２１乃至Ｌ２３およびＬ３１乃至Ｌ３４における周期性の有無を表す指標値を算出する。すなわち、図１１の左部で示されるように、丸印または三角印で表される７画素からなる画素列Ｌ２１乃至Ｌ２３と、丸印または三角印で表される７画素からなる画素列Ｌ３１乃至Ｌ３４との間に、同位相、または逆位相の周期性が生じているものとすると、差標準偏差ｈｖｓｄおよび和標準偏差ｈｖｓａのいずれかが大きな値を取ることになる。これにより、色モアレが発生している場合、MRV第１指標MRV_1の値が大きくなる。

一方、MRV第１指標MRV_1の値が大きな値であっても、モアレではなく現実にバラツキの大きな配色からなる画像である場合、図１２の右部で示される標準偏差平均値ｈｖｍｓは大きな値となる。この場合、図１２に示されるMRV第２指標MRV_2の特性により、MRV第２指標MRV_2が小さな値となる。逆に、標準偏差平均値ｈｖｍｓが小さく、バラツキが小さい場合、MRV第２指標MRV_2は１となるため、MRV第１指標MRV_1が指標値MRVとなる。

結果として、このようにして求められる垂直モアレ指標値MRVにより、垂直方向における垂直モアレの発生の程度を求めることが可能となる。

ステップＳ５４において、MRH検出部８１は、正規化された入力画像信号の各画素について、水平方向におけるモアレ、すなわち、水平モアレの発生の程度を示す水平モアレ指標値MRHを算出し混合処理部８３に出力する。尚、MRH検出部８１における処理は、MRV検出部８２において処理対象となった画素列を90°回転させた処理であり、実質的に処理は同様であるので、その説明は省略するものとする。

ステップＳ５５において、混合処理部８３は、各画素について、MRV検出部８２より供給されてくる垂直モアレ指標値MRV、およびMRH検出部８１より供給されてくる水平モアレ指標値MRHを、HV相関検出部６５より供給されてくる比率に基づいて、混合し水平垂直モアレ指標値MRHVとしてLPF６３に供給する。

ステップＳ５６において、LPF６３は、例えば、混合処理部８３より供給されてくる水平垂直モアレ指標値MRHVの各画素について、図４の右部で示されるようなフィルタにより低域通過処理を施し、変調部６４に出力する。

ステップＳ５７において、変調部６４は、各画素について低域通過処理がなされた水平垂直モアレ指標値MRHVの高検出値を低減する変調処理を施して混合処理部４２に出力する。

すなわち、図１０のフローチャートを参照して説明した水平垂直モアレ指標値検出処理により各画素について、水平垂直方向のモアレの発生の程度を示す水平垂直モアレ指標値MRHVが求められて、混合処理部４２に供給される。尚、ここで求められる水平垂直モアレ指標値MRHVは、０乃至１の値であるため、HVモアレキャンセル画像信号の混合比としてそのまま使用することが可能である。

ここで、図６のフローチャートの説明に戻る。

ステップＳ１６において、HVLPF３２は、入力画像信号の各画素に対して、例えば、図３の左部で示されるようなフィルタにより、水平垂直方向モアレをキャンセルさせる処理を施してHVモアレキャンセル画像信号を生成して混合処理部４２に出力する。

ステップＳ１７において、混合処理部４２は、変調部６４より供給される水平垂直モアレ指標値に基づいた混合比で、混合処理部４１より出力される一次モアレ抑制画像信号の各画素と、HVモアレキャンセル画像信号の各画素とを混合し、出力画像信号を生成し出力する。

以上の処理により、斜めモアレキャンセル画像信号、および水平垂直モアレキャンセル画像信号を入力画像に対して、斜めモアレの発生の程度を示す斜めモアレ指標値、および水平垂直モアレの発生の程度を示す水平垂直モアレ指標値に応じた割合で混合することが可能となる。結果として、斜めモアレキャンセル処理された画像、および水平垂直モアレキャンセル処理された画像をそのまま利用することで生じる解像度の低下や色のにじみなどを抑制しつつ、色モアレに起因する偽色の発生を抑制することが可能となる。

尚、以上においては、正規化部６１が水平垂直モアレ指標値検出処理の前処理（図１０のステップＳ５１，Ｓ５２の処理）に使用される例について説明してきたが、実験により正規化部６１は省略しても略同等の効果を奏することが確認されているため、必要に応じて省略する構成としても良い。

また、以上においては、入力画像信号に対して、斜めモアレ指標値に基づいた混合比で、斜めモアレキャンセル画像信号を混合して、一次モアレ抑制画像信号を生成した後、水平垂直モアレ指標値に基づいた混合比で、この一次モアレ抑制画像信号と水平垂直モアレキャンセル画像信号とを混合する例について説明してきた。

しかしながら、斜めモアレキャンセル画像信号が斜めモアレ指標値に基づいて、水平垂直モアレキャンセル画像信号が水平垂直モアレ指標値基づいて、それぞれ入力画像に混合されることで効果を奏するものであるので、斜めモアレキャンセル画像信号および水平垂直モアレキャンセル画像信号を入力画像に混合させる順序は前後を入れ替えるようにしてもよい。

さらに、以上においては、斜めモアレについては、水平方向に対して45°および135°の周期性を利用する例について説明してきたが、それ以外の角度の周期性を利用するようにしても良い。

ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図１３は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

尚、本技術は、以下のような構成も取ることができる。
（１） 所定の色画素配列がなされた入力画像における各画素の属する絵柄の方向を検出する方向検出部と、
前記方向に応じて、前記入力画像における各画素の画素値の周期性によるモアレの発生の程度をモアレ指標値として検出するモアレ検出部と、
前記モアレ検出部により検出された前記モアレ指標値に基づいて、前記入力画像におけるモアレの発生を抑制するモアレ抑制部と
を含む画像処理装置。
（２） 前記方向検出部は、前記絵柄の方向を、水平方向および垂直方向に対する方向相関値として検出し、
前記モアレ検出部は、
水平方向のモアレ指標値である水平モアレ指標値を検出する水平モアレ検出部と、
垂直方向のモアレ指標値である垂直モアレ指標値を検出する垂直モアレ検出部と、
前記方向相関値に応じて、前記水平モアレ指標値および前記垂直モアレ指標値を混合して前記モアレ指標値を生成する混合処理部とを含み、
前記混合処理部により生成された前記モアレ指標値を検出結果として出力する
（１）に記載の画像処理装置。
（３） 前記入力画像より水平方向および垂直方向の前記モアレを低減して水平垂直モアレ低減画像を生成する水平垂直モアレ低減画像生成部をさらに含み、
前記モアレ抑制部は、前記モアレ指標値に基づいた混合比で、前記入力画像と、前記水平垂直モアレ低減画像とを混合することで、前記入力画像におけるモアレの発生を抑制する
（２）に記載の画像処理装置。
（４） 前記水平垂直モアレ低減画像生成部は、前記入力画像の各画素に対して、水平方向および垂直方向の低域通過特性を備えたフィルタである
（３）に記載の画像処理装置。
（５） 前記入力画像より斜め方向の前記モアレを低減して斜めモアレ低減画像を生成する斜めモアレ低減画像生成部と、
前記入力画像における斜め方向のモアレの発生の程度を斜めモアレ指標値として検出する斜めモアレ検出部とをさらに含み、
前記モアレ抑制部は、前記斜めモアレ指標値に基づいた混合比で、前記入力画像と、前記斜めモアレ低減画像とを混合することで、前記入力画像におけるモアレの発生を抑制する
（１）に記載の画像処理装置。
（６） 前記斜めモアレ検出部は、
斜め45°方向のモアレ指標値である斜め45°モアレ指標値を検出する斜め45°モアレ検出部と、
斜め135°方向のモアレ指標値である斜め135°モアレ指標値を検出する斜め135°モアレ検出部と、
前記斜め45°モアレ指標値および前記斜め135°モアレ指標値のうちの最大値を前記斜めモアレ指標値として検出する最大値検出部を含み、
前記最大値検出部により検出された前記斜めモアレ指標値を検出結果として出力する
（５）に記載の画像処理装置。
（７） 前記斜めモアレ低減画像生成部は、前記入力画像の各画素に対して、前記斜め方向の低域通過特性を備えたフィルタである
（５）に記載の画像処理装置。
（８） 前記入力画像より水平方向および垂直方向の前記モアレを低減して水平垂直モアレ低減画像を生成する水平垂直モアレ低減画像生成部と、
前記入力画像より斜め方向の前記モアレを低減して斜めモアレ低減画像を生成する斜めモアレ低減画像生成部と、
前記入力画像における斜め方向のモアレの発生の程度を斜めモアレ指標値として検出する斜めモアレ検出部とをさらに含み、
前記方向検出部は、前記絵柄の方向を、水平方向および垂直方向に対する方向相関値として検出し、
前記モアレ検出部は、
水平方向のモアレ指標値である水平モアレ指標値を検出する水平モアレ検出部と、
垂直方向のモアレ指標値である垂直モアレ指標値を検出する垂直モアレ検出部とを含み、
前記方向相関値に応じて、前記水平モアレ指標値および前記垂直モアレ指標値を混合して前記モアレ指標値を生成する混合処理部とを含み、
前記混合処理部により生成された前記モアレ指標値を検出結果として出力し、
前記斜めモアレ検出部は、
斜め45°方向のモアレ指標値である斜め45°モアレ指標値を検出する斜め45°モアレ検出部と、
斜め135°方向のモアレ指標値である斜め135°モアレ指標値を検出する斜め135°モアレ検出部とを含み、
前記斜め45°モアレ指標値および前記斜め135°モアレ指標値のうちの最大値を前記斜めモアレ指標値として検出する最大値検出部を含み、
前記最大値検出部により検出された前記斜めモアレ指標値を検出結果として出力し、
前記モアレ抑制部は、
前記モアレ指標値に基づいた混合比で、前記入力画像と、前記水平垂直モアレ低減画像とを混合して一次モアレ抑制画像を生成し、さらに、前記一次モアレ抑制画像と、前記斜めモアレ低減画像とを、前記斜めモアレ指標値に基づいた混合比で混合することで、前記入力画像におけるモアレの発生を抑制する
（１）に記載の画像処理装置。
（９） 前記色画素配列はベイヤ配列である
（１）に記載の画像処理装置。
（１０） 所定の色画素配列がなされた入力画像における各画素の属する絵柄の方向を検出し、
前記方向に応じて、前記入力画像における各画素の画素値の周期性によるモアレの発生の程度をモアレ指標値として検出し、
検出された前記モアレ指標値に基づいて、前記入力画像におけるモアレの発生を抑制する
ステップを含む画像処理方法。
（１１） 所定の色画素配列がなされた入力画像における各画素の属する絵柄の方向を検出する方向検出ステップと、
前記方向に応じて、前記入力画像における各画素の画素値の周期性によるモアレの発生の程度をモアレ指標値として検出するモアレ検出ステップと、
前記モアレ検出ステップの処理により検出された前記モアレ指標値に基づいて、前記入力画像におけるモアレの発生を抑制するモアレ抑制ステップと
を含む処理をコンピュータに実行させるプログラム。

１ 光学撮像部， ２ 撮像素子， ３ 画像処理部， ４ 画像記録部， ５ 画像表示部， １１ モアレキャンセル部， １２ モアレ抑制部， １３ 斜めモアレ指標値検出部， １４ 水平垂直モアレ指標値検出部， ３１ 斜めLPF， ３２ HVLPF， ４１，４２ 混合処理部， ５１ 正規化部， ５２ 斜めモアレ検出部， ５３ LPF， ５４ 変調部， ６１ 正規化部， ６２ 水平垂直モアレ検出部， ６３ LPF， ６４ 変調部， ６５ HV相関検出部， ７１ MR45検出部， ７２ MR135検出部， ７３ 最大値検出部， ８１ MRH検出部， ８２ MRV検出部， ８３ 混合処理部

Claims (11)

1. 所定の色画素配列がなされた入力画像における各画素の属する絵柄の方向を検出する方向検出部と、
   前記方向に応じて、前記入力画像における各画素の画素値の周期性によるモアレの発生の程度をモアレ指標値として検出するモアレ検出部と、
   前記モアレ検出部により検出された前記モアレ指標値に基づいて、前記入力画像におけるモアレの発生を抑制するモアレ抑制部と
   を含む画像処理装置。
2. 前記方向検出部は、前記絵柄の方向を、水平方向および垂直方向に対する方向相関値として検出し、
   前記モアレ検出部は、
   水平方向のモアレ指標値である水平モアレ指標値を検出する水平モアレ検出部と、
   垂直方向のモアレ指標値である垂直モアレ指標値を検出する垂直モアレ検出部と、
   前記方向相関値に応じて、前記水平モアレ指標値および前記垂直モアレ指標値を混合して前記モアレ指標値を生成する混合処理部とを含み、
   前記混合処理部により生成された前記モアレ指標値を検出結果として出力する
   請求項１に記載の画像処理装置。
3. 前記入力画像より水平方向および垂直方向の前記モアレを低減して水平垂直モアレ低減画像を生成する水平垂直モアレ低減画像生成部をさらに含み、
   前記モアレ抑制部は、前記モアレ指標値に基づいた混合比で、前記入力画像と、前記水平垂直モアレ低減画像とを混合することで、前記入力画像におけるモアレの発生を抑制する
   請求項２に記載の画像処理装置。
4. 前記水平垂直モアレ低減画像生成部は、前記入力画像の各画素に対して、水平方向および垂直方向の低域通過特性を備えたフィルタである
   請求項３に記載の画像処理装置。
5. 前記入力画像より斜め方向の前記モアレを低減して斜めモアレ低減画像を生成する斜めモアレ低減画像生成部と、
   前記入力画像における斜め方向のモアレの発生の程度を斜めモアレ指標値として検出する斜めモアレ検出部とをさらに含み、
   前記モアレ抑制部は、前記斜めモアレ指標値に基づいた混合比で、前記入力画像と、前記斜めモアレ低減画像とを混合することで、前記入力画像におけるモアレの発生を抑制する
   請求項１に記載の画像処理装置。
6. 前記斜めモアレ検出部は、
   斜め45°方向のモアレ指標値である斜め45°モアレ指標値を検出する斜め45°モアレ検出部と、
   斜め135°方向のモアレ指標値である斜め135°モアレ指標値を検出する斜め135°モアレ検出部と、
   前記斜め45°モアレ指標値および前記斜め135°モアレ指標値のうちの最大値を前記斜めモアレ指標値として検出する最大値検出部を含み、
   前記最大値検出部により検出された前記斜めモアレ指標値を検出結果として出力する
   請求項５に記載の画像処理装置。
7. 前記斜めモアレ低減画像生成部は、前記入力画像の各画素に対して、前記斜め方向の低域通過特性を備えたフィルタである
   請求項５に記載の画像処理装置。
8. 前記入力画像より水平方向および垂直方向の前記モアレを低減して水平垂直モアレ低減画像を生成する水平垂直モアレ低減画像生成部と、
   前記入力画像より斜め方向の前記モアレを低減して斜めモアレ低減画像を生成する斜めモアレ低減画像生成部と、
   前記入力画像における斜め方向のモアレの発生の程度を斜めモアレ指標値として検出する斜めモアレ検出部とをさらに含み、
   前記方向検出部は、前記絵柄の方向を、水平方向および垂直方向に対する方向相関値として検出し、
   前記モアレ検出部は、
   水平方向のモアレ指標値である水平モアレ指標値を検出する水平モアレ検出部と、
   垂直方向のモアレ指標値である垂直モアレ指標値を検出する垂直モアレ検出部とを含み、
   前記方向相関値に応じて、前記水平モアレ指標値および前記垂直モアレ指標値を混合して前記モアレ指標値を生成する混合処理部とを含み、
   前記混合処理部により生成された前記モアレ指標値を検出結果として出力し、
   前記斜めモアレ検出部は、
   斜め45°方向のモアレ指標値である斜め45°モアレ指標値を検出する斜め45°モアレ検出部と、
   斜め135°方向のモアレ指標値である斜め135°モアレ指標値を検出する斜め135°モアレ検出部とを含み、
   前記斜め45°モアレ指標値および前記斜め135°モアレ指標値のうちの最大値を前記斜めモアレ指標値として検出する最大値検出部を含み、
   前記最大値検出部により検出された前記斜めモアレ指標値を検出結果として出力し、
   前記モアレ抑制部は、
   前記モアレ指標値に基づいた混合比で、前記入力画像と、前記水平垂直モアレ低減画像とを混合して一次モアレ抑制画像を生成し、さらに、前記一次モアレ抑制画像と、前記斜めモアレ低減画像とを、前記斜めモアレ指標値に基づいた混合比で混合することで、前記入力画像におけるモアレの発生を抑制する
   請求項１に記載の画像処理装置。
9. 前記色画素配列はベイヤ配列である
   請求項１に記載の画像処理装置。
10. 所定の色画素配列がなされた入力画像における各画素の属する絵柄の方向を検出し、
    前記方向に応じて、前記入力画像における各画素の画素値の周期性によるモアレの発生の程度をモアレ指標値として検出し、
    検出された前記モアレ指標値に基づいて、前記入力画像におけるモアレの発生を抑制する
    ステップを含む画像処理方法。
11. 所定の色画素配列がなされた入力画像における各画素の属する絵柄の方向を検出する方向検出ステップと、
    前記方向に応じて、前記入力画像における各画素の画素値の周期性によるモアレの発生の程度をモアレ指標値として検出するモアレ検出ステップと、
    前記モアレ検出ステップの処理により検出された前記モアレ指標値に基づいて、前記入力画像におけるモアレの発生を抑制するモアレ抑制ステップと
    を含む処理をコンピュータに実行させるプログラム。

Images