JP6378496B2

JP6378496B2 - 画像処理装置、制御方法及び記録媒体

Info

Publication number: JP6378496B2
Application number: JP2014035994A
Authority: JP
Inventors: 貴幸原
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-02-26
Filing date: 2014-02-26
Publication date: 2018-08-22
Anticipated expiration: 2034-02-26
Also published as: JP2015162759A

Description

本発明は、画像処理装置、制御方法及び記録媒体に関し、特に画像に含まれるノイズを低減する技術に関する。

デジタルカメラ等の撮像装置で撮影して得られた画像には、撮影条件によってはノイズが含まれることがある。ノイズは現像過程によるゲイン処理等によって増幅された場合に目立ちうるため、画像にはノイズを低減するためのノイズリダクション処理（ＮＲ処理）が適用される。ＮＲ処理は、ノイズと判定された画素をその周囲の画素を用いて補正するため、画像の全体に対して該処理を適用した場合に、その適用レベルによっては画像がボケたような状態になりうる。特に、画像内の被写体像のエッジにこのような処理がなされると、画像の解像感を低下させる要因にもなる。

従って、画像に対してＮＲ処理を適用する際には、適用する画素がエッジ部であるか、それ以外の所謂平坦部であるかによって、それぞれ処理を異ならせる行うものがある（特許文献１及び２）。

特開２０００−３３１１５２号公報特開２００８−６１２１７号公報

一方で、近年の撮像装置の中には、高感度撮影に対応可能な撮像素子が採用されるものもある。高感度撮影は現像過程による信号増幅率がより高いため、画像内に発生したランダムノイズが被写体像の信号レベルよりも高くなることがある。このようなランダムノイズは、エッジ部であるか否かの判断においてエッジ部と判別されることがあり、特許文献１及び２のようなＮＲ処理を行った場合に好適な補正結果が得られない可能性があった。

本発明は、上述の問題点に鑑みてなされたものであり、ノイズが含まれる画像おいて、含まれるエッジを好適に検出する画像処理装置、制御方法及び記録媒体を提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備えることを特徴とする。具体的には画像処理装置は、所定の時間内に撮影された複数の入力画像を取得する取得手段と、取得手段により取得された複数の入力画像から、各々の画像内の被写体像のエッジを強調したエッジ画像を生成する第１の生成手段と、第１の生成手段により生成された複数のエッジ画像間における被写体像の位置ずれを補正する補正手段と、補正手段により位置ずれが補正された複数のエッジ画像において、ノイズがエッジとして検出されている画素を特定する特定手段と、特定手段により特定されたノイズがエッジとして検出されている画素の情報に基づいて、複数のエッジ画像から、ノイズを低減した出力エッジ画像を生成する第２の生成手段と、を有し、特定手段は、複数のエッジ画像のうち、画像間の画素値の差分の絶対値が閾値を上回る画素を、ノイズがエッジとして検出されている画素として特定することを特徴とする。

このような構成により本発明によれば、ノイズが含まれる画像おいて、含まれるエッジを好適に検出することが可能となる。

本発明の実施形態１に係る画像処理装置１００の機能構成を示したブロック図本発明の実施形態に係る第１のエッジ画像生成部１０１及び第２のエッジ画像生成部１０２の詳細構成を例示したブロック図本発明の実施形態に係る出力エッジ画像の生成を説明するための図本発明の実施形態２に係る画像処理装置１００の機能構成を示したブロック図本発明の実施形態２に係るエッジＮＲ処理部４０１の詳細構成を例示したブロック図本発明の実施形態２に係るエッジ方向検出部５０１において使用する方向テンプレートを例示した図本発明の実施形態２に係る適応ＮＲ処理部５０２におけるＮＲ処理に使用される画素を例示した図本発明の実施形態２に係る第１の平坦ＮＲ処理部４０２及び第２の平坦ＮＲ処理部４０３におけるＮＲ処理を説明するための図本発明の実施形態２に係るエッジ加工部４０６の詳細構成を例示したブロック図本発明の実施形態２に係る画像合成部４０７の詳細構成を例示したブロック図

［実施形態１］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。以下に説明する一実施形態は、画像処理装置の一例として、画像から被写体像のエッジ部を検出したエッジ画像を生成可能なＰＣ等の装置に、本発明を適用した例を説明する。しかし、本発明は、画像から被写体像のエッジ部を検出することが可能な任意の機器に適用可能である。また、本明細書において、「エッジ部」とは、空間周波数が高く、周波数領域における振幅の起伏が急峻となっている領域を指し、「平坦部」とは、周波数領域における振幅の起伏がなだらかな領域を指すものとする。

《画像処理装置１００の構成》
図１は、本発明の実施形態に係る画像処理装置１００の、エッジ画像生成に係る機能構成を示すブロック図である。本実施形態では画像処理装置１００には、同一の被写体を同一の撮影条件で連続撮影して得られた２つの画像を用いて、ランダムノイズを低減し、好適にエッジ部を示すエッジ画像を生成する例について説明する。しかし、本発明の実施において処理対象となる複数の画像はこれに限られるものでなく、同一の被写体を所定の時間内に撮影して得られた複数の画像であってもよい。また、以下に示す画像処理装置１００の構成は、各々が入力された画像を順次処理する回路として構成されてもよいし、不図示の制御部により、記録媒体に記録された所定の動作プログラムに基づいてその動作が制御されるものであってもよい。

処理対象となる第１の入力画像及び第２の入力画像は各々、第１のエッジ画像生成部１０１または第２のエッジ画像生成部１０２に入力される。第１のエッジ画像生成部１０１及び第２のエッジ画像生成部１０２は、入力された画像に対して所定のフィルタを適用することによりエッジ画像を生成する。例えば第１のエッジ画像生成部１０１及び第２のエッジ画像生成部１０２は、図２（ａ）に示すような詳細構成を有していればよい。

図２（ａ）では、入力された画像には水平Ｓｏｂｅｌフィルタ２０１及び垂直Ｓｏｂｅｌフィルタ２０３が適用され、水平方向及び垂直方向の各々についてエッジ成分を強調した画像に変換される。水平Ｓｏｂｅｌフィルタ２０１及び垂直Ｓｏｂｅｌフィルタ２０３で適用されるフィルタは、それぞれ図２（ｂ）、（ｃ）に示すようなフィルタであってよい。このように水平方向及び垂直方向の各々についてエッジが強調された画像は、絶対値フィルタ２０２または絶対値フィルタ２０４に入力されて絶対値化がなされたのち、加算器２０５において加算され、第１のエッジ画像または第２のエッジ画像として出力される。

位置合わせ部１０３は、第１のエッジ画像生成部１０１及び第２のエッジ画像生成部１０２から出力された第１のエッジ画像及び第２のエッジ画像において、被写体像の位置合わせする処理を行う。処理対象である第１の入力画像と第２の入力画像とは、連続して撮影されてはいるが、その間に撮影者の手振れ等によって、とらえている被写体像が２次元に移動している可能性があるため、位置合わせ部１０３においてその位置ずれを補正する。具体的には位置合わせ部１０３は、例えば第１のエッジ画像と第２のエッジ画像のユークリッド距離を算出することで位置ずれ量を取得し、第１のエッジ画像と被写体像が一致するように第２のエッジ画像を変更して出力する。また位置合わせ部１０３は、第１のエッジ画像についてはそのまま出力する。本実施形態では、位置合わせ部１０３は第１のエッジ画像を基準に第２のエッジ画像の位置合わせを行うものとして説明するが、本発明の実施はこれに限られるものではない。位置合わせ部１０３は、第１のエッジ画像を第２のエッジ画像に合わせる、あるいは両画像をずれの中間位置に合わせるとしてもよい。

エッジ合成部１０４は、位置ずれが解消された第１のエッジ画像及び第２のエッジ画像を合成し、ランダムノイズを低減した出力エッジ画像を生成する。

〈出力エッジ画像の生成〉
ここで、エッジ合成部１０４において生成される出力エッジ画像の生成方法及び原理について以下に詳細を説明する。

エッジ合成部１０４は、まず入力された第１のエッジ画像及び位置合わせ後の第２のエッジ画像から差分画像を生成する。差分画像の生成においては画像間の違いが判ればよいため、差分画像の各画素の画素値ｄは、絶対値を用いて
ｄ＝｜ｅ１−ｅ２｜
とする。ここで、ｅ１及びｅ２はそれぞれ第１のエッジ画像、第２のエッジ画像の同一画素位置の画素値（同一被写体像に係る画素値）である。

上述したように、第１の入力画像及び第２の入力画像のＳ／Ｎ比が低いような場合、画像内に発生したランダムノイズはエッジ画像化後にはエッジとして残存しうる。しかしながら、被写体像において本来エッジである部分については常にエッジとして現れる一方で、ランダムノイズの誤認識によりエッジとして残存した部分は、必ずしも常にエッジとしては現れない。つまり、ランダムノイズは常に同じ位置に同じ信号レベルで発生するとは限らない。従って、本実施形態ではエッジ合成部１０４においてエッジ画像間の差分をとることにより、ランダムノイズがエッジとして誤認識された箇所を推定する。即ち、本来的にエッジである部分はエッジ画像間の差分をとった場合には差分が０に近くなり、ランダムノイズである部分はエッジ画像間の差分をとった場合には差分が０とはならず、ノイズに応じた値を示すことになる。故に、本実施形態ではエッジ合成部１０４は、差分絶対値と閾値との大小比較により、各画素がエッジであるか否かを判断する。

なお、本実施形態のように２種類の入力画像が同一の撮影条件にて撮影されたものとすれば、このような現象が現れるが、２種類の入力画像は異なる撮影条件であってもよい。この場合、撮影条件に応じて信号レベルが上下するため、撮影条件に応じて正規化した後に、差分絶対値を算出するようにすればよい。即ち、画像処理装置１００に入力される複数の画像は同一の撮影条件により撮影されたものであることが好ましいが、本発明の実施においてこれは必須の要件ではない。

エッジ合成部１０４は、得られた差分画像の画素値と閾値Ｔとを比較し、各画素がランダムノイズを誤認識したことにより現れたエッジであるか否かを判断する。具体的にはエッジ合成部１０４は、画素値が閾値Ｔ以下である差分画像の画素については、第１のエッジ画像及び第２のエッジ画像の同じ画素位置の画素が、本来的なエッジ部あるいは正しく認識された平坦部を示すと判断する。またエッジ合成部１０４は、画素値が閾値Ｔを上回る差分画像の画素については、第１のエッジ画像及び第２のエッジ画像の同じ画素位置の画素はランダムノイズを誤認識したことにより現れたエッジ、即ち本来的には平坦部であったものと判断する。ここで閾値Ｔは、第１の入力画像あるいは第２の入力画像の撮影条件のうち、ＩＳＯ感度や画素に対応するエリア（撮影環境）における輝度の大きさによって決定されるものとする。例えば輝度が高いエリアでは信号レベルが高いノイズが発生しうるため、Ｔはそれに伴い大きく設定される。

本実施形態ではエッジ合成部１０４は、本来的なエッジ部あるいは正しく認識された平坦部であると判断した画素については第１のエッジ画像からの画素を出力エッジ画像の同画素位置の画素に割り当てる。またエッジ合成部１０４は、ランダムノイズを誤認識したことにより現れたエッジであると判断した画素については第１のエッジ画像及び第２のエッジ画像を加重平均することにより出力エッジ画像の同画素位置の画素を生成する。加重平均の重みは閾値Ｔを用いて線型的に決定されてよく、両方のケースを総合すると第２のエッジ画像の画素に対して割り当てられる加重ｗは
ｗ＝ｄ−Ｔ（ｄ＞Ｔ）
ｗ＝０（ｄ≦Ｔ）
として表すことができる。つまり、出力エッジ画像の各画素ｅは、第１のエッジ画像及び第２のエッジ画像の加重が図３（ａ）及び（ｂ）のようになるため、
ｅ＝｛ｅ１・（Ｔ−ｗ）＋ｅ２・ｗ｝／Ｔ
として算出することができる。

即ち、本実施形態の画像処理装置１００において生成される出力エッジ画像は、同一被写体について生成した複数のエッジ画像間における差分が閾値以下の画素についてはランダムノイズがないと判断し、１つのエッジ画像の画素のみを用いる。また、同一被写体について生成した複数のエッジ画像間における差分が閾値を上回る画素についてはランダムノイズが発生していると判断し、複数のエッジ画像の画素を加重平均することにより、ノイズの影響を低減した画素を生成する。このようにすることで、ランダムノイズを低減し、好適に本来的なエッジ部を識別可能なエッジ画像を得ることができる。なお、ノイズであると判断した画素については、複数のエッジ画像の画素値を加重平均する代わりに、複数のエッジ画像のうち最も小さい画素値を選択するようにしてもよい。

また、本実施形態では２つの入力画像から１つの出力エッジ画像を生成する方法について説明したが、本発明の実施において入力画像の数はこれに限られるものでないことは容易に理解されよう。即ち、本発明で生成される出力エッジ画像は、複数のエッジ画像間においてノイズであると判断した画素については複数のエッジ画像の画素値を加重平均し、ノイズではないと判断した画素についてはいずれか１つのエッジ画像の画素値を用いればよいものである。従って、３以上の入力画像についても、同様に本発明が適用であることは言うまでもない。

以上説明したように、本実施形態の画像処理装置は、ノイズが含まれる画像おいて、含まれるエッジを好適に検出することができる。具体的には画像処理装置は、所定の時間内に撮影された複数の入力画像を取得し、取得した複数の入力画像から、各々の画像内の被写体像のエッジを強調したエッジ画像を生成する。また、生成した複数のエッジ画像間における被写体像の位置ずれを補正し、ノイズがエッジとして検出されている画素を特定する。そして画像処理装置は、ノイズがエッジとして検出されている画素の情報に基づいて、複数のエッジ画像から、ノイズを低減した出力エッジ画像を生成する。

［実施形態２］
上述した実施形態では、ノイズの影響を低減したエッジ画像を生成する方法について説明したが、本実施形態では同様のエッジ画像を生成しつつ、エッジ部及び平坦部の各々を適切にノイズ低減した画像を生成する方法について説明する。

《画像処理装置１００の機能構成》
図４は、本発明の実施形態に係る画像処理装置１００の、エッジ部及び平坦部の各々について異なるノイズリダクション（ＮＲ）処理を行った画像の生成に係る機能構成を示すブロック図である。本実施形態では、実施形態１と同様に、同一の被写体を同一の撮影条件で連続撮影して得られた２つの画像を用いて、入力した画像におけるランダムノイズを低減した画像を生成する例について説明する。以下の機能構成の説明において、実施形態１と同様の処理を行うブロックについては同一の参照番号を付して説明を省略し、本実施形態に固有の構成についてのみ説明するものとする。

処理対象となる第１の入力画像は、エッジＮＲ処理部４０１、第１の平坦ＮＲ処理部４０２、第１のエッジ画像生成部１０１、位置合わせ部４０４及び動体検出部４０５に入力される。また処理対象となる第２の入力画像は、位置合わせ部４０４、第２のエッジ画像生成部１０２、第２の平坦ＮＲ処理部４０３に入力される。

エッジＮＲ処理部４０１は、第１の入力画像のエッジを識別し、該エッジの種類に応じたＮＲ処理を実行し、エッジ部ＮＲ画像を生成する。本実施形態ではエッジＮＲ処理部４０１は、図５に示される構成を有するものとして説明するが、エッジの種類に応じて入力画像のエッジ部のノイズ低減を行う既存の手法のいずれを用いてもよい。

エッジ方向検出部５０１は、第１の入力画像の全画素がエッジを示すものと仮定し、各画素についてエッジ方向を検出する。具体的にはエッジ方向検出部５０１は、着目画素を中心とする５×５画素の領域を参照し、図６に示されるようなエッジ方向検出用の方向テンプレートのいずれに該当するかを判定し、着目画素についてのエッジ方向を検出結果として出力する。エッジ方向の検出においてエッジ方向検出部５０１は、参照している５×５画素から方向テンプレートにおいて直線を構成する画素（図６の各パターンにおいてハッチングされる画素）の画素値を抽出する。そして、抽出した５画素と着目画素について画素値の差の絶対値の総和（ＳＡＤ値）を算出する。エッジ方向検出部５０１は、方向テンプレートの全てについてＳＡＤ値を算出し、１２方向のうちＳＡＤ値が最少となる方向を着目画素のエッジ方向として出力する。

適応ＮＲ処理部５０２は、エッジ方向検出部５０１におけるエッジ方向の検出結果に基づき、第１の入力画像に対してエッジ方向に応じたＮＲ処理を実行する。具体的には適応ＮＲ処理部５０２は、着目画素に対して、図７に示されるようなエッジ方向に対応する７画素（ハッチングで示される画素）のうち、着目画素との画素値の差の絶対値が所定値以下となる画素を用いて画素値の平均値を算出する。そして適応ＮＲ処理部５０２は、平均値をＮＲ処理後の着目画素の画素値として決定する。このようにして適応ＮＲ処理部５０２は、第１の入力画像の全画素についてエッジ方向に適応したＮＲ処理が適用されたエッジ部ＮＲ画像を生成し、出力する。

第１の平坦ＮＲ処理部４０２及び第２の平坦ＮＲ処理部４０３は、入力された画像に対してエッジ方向を考慮しないＮＲ処理、即ちエッジＮＲ処理部４０１で行われるＮＲ処理とは異なる処理を実行する。本実施形態では第１の平坦ＮＲ処理部４０２及び第２の平坦ＮＲ処理部４０３は、第１の入力画像または第２の入力画像の全画素について、図８に示されるような着目画素を中心とする７×７画素を参照する。そして、７×７画素のうち、着目画素の画素値の差の絶対値が所定値以下となる画素を用いて画素値の平均値を算出し、ＮＲ処理後の着目画素の画素値として決定する。このようにすることで、第１の平坦ＮＲ処理部４０２及び第２の平坦ＮＲ処理部４０３は、エッジ等の周囲画素との画素値の差が生じうる画像を除いた平坦部に対して、平滑化を適用した第１の平坦部ＮＲ画像あるいは第２の平坦部ＮＲ画像を出力する。

位置合わせ部４０４は、入力された第１の入力画像と第２の入力画像において、被写体像の位置合わせをする処理を行い、画像間の手振れの影響を補正する。具体的には位置合わせ部４０４は、実施形態１の位置合わせ部１０３と同様に画像間のユークリッド距離から位置ずれ量を取得し、第１の入力画像と被写体像が一致するように第２の入力画像を射影変換等により変更して出力する。また位置合わせ部４０４は、取得した位置ずれ量を用いて第２のエッジ画像及び第２の平坦部ＮＲ画像を変更し、出力する。また位置合わせ部４０４は、第１の入力画像についてはそのまま出力する。

動体検出部４０５は、位置ずれが解消された第１の入力画像と第２の入力画像から、画像間において動きのあった被写体に対応する領域を検出する。具体的には動体検出部４０５は、第１の入力画像と第２の入力画像とを画素ごとに画素値の差分を算出し、該差分が所定値以上となる画素とその周辺画素とを動体領域として特定する。動体検出部４０５は、検出した動体領域情報を出力する。

エッジ加工部４０６は、実施形態１と同様にエッジ合成部１０４で生成された出力エッジ画像に対して、さらにエッジを太く、かつなだらかにするための加工処理を行う。該加工処理は、まず図９（ａ）に示すように最大値フィルタ９０１において、例えば着目画素を中心とする５×５画素のうちの最大の画素値を着目画素に割り当てる処理を適用する。その後、ローパスフィルタ９０２において図９（ｂ）に示されるようなローパスフィルタを適用し、正規化した値を生成することにより行われる。

このようにエッジＮＲ処理部４０１、第１の平坦ＮＲ処理部４０２、第２の平坦ＮＲ処理部４０３、位置合わせ部４０４、動体検出部４０５及びエッジ加工部４０６において生成された画像等は、画像合成部４０７に入力され、ノイズ低減画像の生成に用いられる。本実施形態の画像合成部４０７は、図１０に示されるような詳細構成を有する。

平坦画像生成部１００１は、入力された第１の平坦部ＮＲ画像、第２の平坦部ＮＲ画像、及び動体領域情報から、ランダムノイズの影響を低減した平坦部ＮＲ画像（平滑化画像）を生成する。具体的には平坦画像生成部１００１は、動体領域情報に基づき、動体が検出された領域については所謂二重像の発生を防ぐため第１の平坦部ＮＲ画像のみから抽出した画素を平坦部ＮＲ画像の画素として使用する。また動体が検出されなかった領域については、第１の平坦部ＮＲ画像と第２の平坦部ＮＲ画像の画素値の平均値を平坦部ＮＲ画像の画素として割り当てる。このようにすることで、平坦画像生成部１００１は、第１の平坦ＮＲ処理部４０２あるいは第２の平坦ＮＲ処理部４０３の平滑化処理において残存したランダムノイズに係る画素について、ノイズの影響を低減する。

そしてＮＲ画像生成部１００２は、加工後の出力エッジ画像に基づいて、エッジ部ＮＲ画像と平坦部ＮＲ画像とを合成し、ノイズ低減画像を生成する。具体的にはＮＲ画像生成部１００２は、加工後の出力エッジ画像において画素値がエッジ部を示す値域に分類される画素については、エッジ部ＮＲ画像から対応する画素を抽出してノイズ低減画像の画素とする。また加工後の出力エッジ画像において画素値が平坦部を示す値域に分類される画素については、平坦部ＮＲ画像から対応する画素を抽出してノイズ低減画像の画素とする。また加工後の出力エッジ画像において画素値がエッジ部を示す値域と平坦部を示す値域との中間の値域に分類される画素については、該画素値に応じてエッジ部ＮＲ画像と平坦部ＮＲ画像とを加重平均することにより得られた画素値を割り当てる。このようにすることで、ＮＲ画像生成部１００２は、実施形態１の手法により得られた出力エッジ画像を参照し、エッジ部、平坦部、そしてランダムノイズによる影響が現れた部分の各々について好適にノイズを低減した画像を生成することができる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

所定の時間内に撮影された複数の入力画像を取得する取得手段と、
前記取得手段により取得された複数の入力画像から、各々の画像内の被写体像のエッジを強調したエッジ画像を生成する第１の生成手段と、
前記第１の生成手段により生成された複数のエッジ画像間における被写体像の位置ずれを補正する補正手段と、
前記補正手段により位置ずれが補正された複数のエッジ画像において、ノイズがエッジとして検出されている画素を特定する特定手段と、
前記特定手段により特定された前記ノイズがエッジとして検出されている画素の情報に基づいて、前記複数のエッジ画像から、ノイズを低減した出力エッジ画像を生成する第２の生成手段と、を有し、
前記特定手段は、前記複数のエッジ画像のうち、画像間の画素値の差分の絶対値が閾値を上回る画素を、前記ノイズがエッジとして検出されている画素として特定する
ことを特徴とする画像処理装置。
所定の時間内に撮影された複数の入力画像を取得する取得手段と、
前記取得手段により取得された複数の入力画像から、各々の画像内の被写体像のエッジを強調したエッジ画像を生成する第１の生成手段と、
前記第１の生成手段により生成された複数のエッジ画像間における被写体像の位置ずれを補正する補正手段と、
前記補正手段により位置ずれが補正された複数のエッジ画像において、ノイズがエッジとして検出されている画素を特定する特定手段と、
前記特定手段により特定された前記ノイズがエッジとして検出されている画素の情報に基づいて、前記複数のエッジ画像から、ノイズを低減した出力エッジ画像を生成する第２の生成手段と、を有し、
前記第２の生成手段は、前記ノイズがエッジとして検出されている画素と同一画素位置を有する前記出力エッジ画像の画素については、前記複数のエッジ画像の画素値を加重平均することにより画素値を求める
ことを特徴とする画像処理装置。
所定の時間内に撮影された複数の入力画像を取得する取得手段と、
前記取得手段により取得された複数の入力画像から、各々の画像内の被写体像のエッジを強調したエッジ画像を生成する第１の生成手段と、
前記第１の生成手段により生成された複数のエッジ画像間における被写体像の位置ずれを補正する補正手段と、
前記補正手段により位置ずれが補正された複数のエッジ画像において、ノイズがエッジとして検出されている画素を特定する特定手段と、
前記特定手段により特定された前記ノイズがエッジとして検出されている画素の情報に基づいて、前記複数のエッジ画像から、ノイズを低減した出力エッジ画像を生成する第２の生成手段と、を有し、
前記第２の生成手段は、前記ノイズがエッジとして検出されていない画素と同一画素位置を有する前記出力エッジ画像の画素については、前記複数のエッジ画像のうちのいずれか１つのエッジ画像の画素値を用いる
ことを特徴とする画像処理装置。
所定の時間内に撮影された複数の入力画像を取得する取得手段と、
前記取得手段により取得された複数の入力画像から、各々の画像内の被写体像のエッジを強調したエッジ画像を生成する第１の生成手段と、
前記第１の生成手段により生成された複数のエッジ画像間における被写体像の位置ずれを補正する補正手段と、
前記補正手段により位置ずれが補正された複数のエッジ画像において、ノイズがエッジとして検出されている画素を特定する特定手段と、
前記特定手段により特定された前記ノイズがエッジとして検出されている画素の情報に基づいて、前記複数のエッジ画像から、ノイズを低減した出力エッジ画像を生成する第２の生成手段と、
前記複数の入力画像のうちの１つの入力画像に対して、エッジ方向に応じたノイズを低減する第１のノイズ低減手段と、
前記複数の入力画像の各々に対して、エッジとして検出された画素を除いた画素のノイズを低減する前記第１のノイズ低減手段とは異なる第２のノイズ低減手段と、
前記第１のノイズ低減手段によりノイズが低減された前記１つの入力画像と、前記第２のノイズ低減手段によりノイズが低減された前記複数の入力画像とを、前記出力エッジ画像に基づいて合成し、前記１つの入力画像のノイズを低減したノイズ低減画像を生成する第３の生成手段と、を有する
ことを特徴とする画像処理装置。
前記第３の生成手段は、前記ノイズが低減された複数の入力画像を合成して１つの平滑化画像を生成し、該平滑化画像と前記ノイズが低減された１つの入力画像とを用いて前記ノイズ低減画像を生成することを特徴とする請求項４に記載の画像処理装置。
前記第３の生成手段は、
前記出力エッジ画像においてエッジとして認識される画素については前記ノイズが低減された１つの入力画像の画素を前記ノイズ低減画像の画素として用い、
前記出力エッジ画像においてエッジとして認識されない画素については、前記平滑化画像の画素、あるいは前記ノイズが低減された１つの入力画像と前記平滑化画像とを用いて得られた画素値を有する画素を前記ノイズ低減画像の画素として用いる
ことを特徴とする請求項５に記載の画像処理装置。
前記複数の入力画像について、画像間で被写体の動きが生じた動体領域を検出する検出手段をさらに有し、
前記第３の生成手段は、前記平滑化画像を生成する際に、前記検出手段により検出された動体領域については、前記ノイズが低減された１つの入力画像のうちの１つの画像の画素を、前記平滑化画像の画素として用いる
ことを特徴とする請求項５または６に記載の画像処理装置。
画像処理装置の取得手段が、所定の時間内に撮影された複数の入力画像を取得する取得工程と、
前記画像処理装置の第１の生成手段が、前記取得工程において取得された複数の入力画像から、各々の画像内の被写体像のエッジを強調したエッジ画像を生成する第１の生成工程と、
前記画像処理装置の補正手段が、前記第１の生成工程において生成された複数のエッジ画像間における被写体像の位置ずれを補正する補正工程と、
前記画像処理装置の特定手段が、前記補正工程において位置ずれが補正された複数のエッジ画像において、ノイズがエッジとして検出されている画素を特定する特定工程と、
前記画像処理装置の第２の生成手段が、前記特定工程において特定された前記ノイズがエッジとして検出されている画素の情報に基づいて、前記複数のエッジ画像から、ノイズを低減した出力エッジ画像を生成する第２の生成工程と、を有し、
前記特定工程において前記特定手段は、前記複数のエッジ画像のうち、画像間の画素値の差分の絶対値が閾値を上回る画素を、前記ノイズがエッジとして検出されている画素として特定する
ことを特徴とする画像処理装置の制御方法。
画像処理装置の取得手段が、所定の時間内に撮影された複数の入力画像を取得する取得工程と、
前記画像処理装置の第１の生成手段が、前記取得工程において取得された複数の入力画像から、各々の画像内の被写体像のエッジを強調したエッジ画像を生成する第１の生成工程と、
前記画像処理装置の補正手段が、前記第１の生成工程において生成された複数のエッジ画像間における被写体像の位置ずれを補正する補正工程と、
前記画像処理装置の特定手段が、前記補正工程において位置ずれが補正された複数のエッジ画像において、ノイズがエッジとして検出されている画素を特定する特定工程と、
前記画像処理装置の第２の生成手段が、前記特定工程において特定された前記ノイズがエッジとして検出されている画素の情報に基づいて、前記複数のエッジ画像から、ノイズを低減した出力エッジ画像を生成する第２の生成工程と、を有し、
前記第２の生成工程において前記第２の生成手段は、前記ノイズがエッジとして検出されている画素と同一画素位置を有する前記出力エッジ画像の画素については、前記複数のエッジ画像の画素値を加重平均することにより画素値を求める
ことを特徴とする画像処理装置の制御方法。
画像処理装置の取得手段が、所定の時間内に撮影された複数の入力画像を取得する取得工程と、
前記画像処理装置の第１の生成手段が、前記取得工程において取得された複数の入力画像から、各々の画像内の被写体像のエッジを強調したエッジ画像を生成する第１の生成工程と、
前記画像処理装置の補正手段が、前記第１の生成工程において生成された複数のエッジ画像間における被写体像の位置ずれを補正する補正工程と、
前記画像処理装置の特定手段が、前記補正工程において位置ずれが補正された複数のエッジ画像において、ノイズがエッジとして検出されている画素を特定する特定工程と、
前記画像処理装置の第２の生成手段が、前記特定工程において特定された前記ノイズがエッジとして検出されている画素の情報に基づいて、前記複数のエッジ画像から、ノイズを低減した出力エッジ画像を生成する第２の生成工程と、を有し、
前記第２の生成工程において前記第２の生成手段は、前記ノイズがエッジとして検出されていない画素と同一画素位置を有する前記出力エッジ画像の画素については、前記複数のエッジ画像のうちのいずれか１つのエッジ画像の画素値を用いる
ことを特徴とする画像処理装置の制御方法。
画像処理装置の取得手段が、所定の時間内に撮影された複数の入力画像を取得する取得工程と、
前記画像処理装置の第１の生成手段が、前記取得工程において取得された複数の入力画像から、各々の画像内の被写体像のエッジを強調したエッジ画像を生成する第１の生成工程と、
前記画像処理装置の補正手段が、前記第１の生成工程において生成された複数のエッジ画像間における被写体像の位置ずれを補正する補正工程と、
前記画像処理装置の特定手段が、前記補正工程において位置ずれが補正された複数のエッジ画像において、ノイズがエッジとして検出されている画素を特定する特定工程と、
前記画像処理装置の第２の生成手段が、前記特定工程において特定された前記ノイズがエッジとして検出されている画素の情報に基づいて、前記複数のエッジ画像から、ノイズを低減した出力エッジ画像を生成する第２の生成工程と、
前記画像処理装置の第１のノイズ低減手段が、前記複数の入力画像のうちの１つの入力画像に対して、エッジ方向に応じたノイズを低減する第１のノイズ低減工程と、
前記画像処理装置の第２のノイズ低減手段が、前記複数の入力画像の各々に対して、エッジとして検出された画素を除いた画素のノイズを低減する前記第１のノイズ低減工程とは異なる第２のノイズ低減工程と、
前記画像処理装置の第３の生成手段が、前記第１のノイズ低減工程においてノイズが低減された前記１つの入力画像と、前記第２のノイズ低減工程においてノイズが低減された前記複数の入力画像とを、前記出力エッジ画像に基づいて合成し、前記１つの入力画像のノイズを低減したノイズ低減画像を生成する第３の生成工程と、を有する
ことを特徴とする画像処理装置の制御方法。
コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを記録した記録媒体。