JP6305290B2 - 画像処理装置、撮像装置、画像処理方法 - Google Patents

Description

本発明は、孤立点としての固定パターンノイズを補正する画像処理装置、撮像装置、画像処理方法に関する。

光学系により結像された被写体の光学像を電気信号に変換する撮像装置において、撮像装置から発生される孤立点としての固定パターンノイズ（以下、適宜ＦＰＮという）を補正する技術は、従来より種々のものが提案されており、例えば次のような方法がある。
（１）ＦＰＮの位置を予め記憶しておき、記憶した位置のＦＰＮを補正する技術。
（２）２枚の画像の差分からＦＰＮを補正する技術。
（２Ａ）撮像素子を遮光した状態でＦＰＮ画像を取得し、通常撮影画像からＦＰＮ画像を減算することでＦＰＮを補正する技術。
（２Ｂ）撮像素子を遮光することなく、露光時間の異なる２枚の画像を取得して、長時間露光画像から短時間露光画像を減算することでＦＰＮを補正する技術（例えば、特開２０１１−２２８７７１号公報参照）。
（３）撮影された画像データ自体からＦＰＮを検出して補正する技術（例えば、特開２００７−８１７０４号公報参照）。

特開２０１１−２２８７７１号公報 特開２００７−８１７０４号公報

しかしながら、（１）に記載の技術では、ＦＰＮの位置を予め記憶しておく必要があるために、時間経過などによって発生した後発のＦＰＮを補正することができない。

また、（２）に記載の技術では、取得される２枚の画像に撮影時刻の時間差があり、特に、遮光を行わない（２Ｂ）の技術では時間差に応じた被写体の変化の影響を受けるために、固定パターンノイズを正確に検知して補正することが難しい（特に、長秒露光時）。一方、（２Ａ）に記載の技術では、メカニカルシャッタ機構などの遮光機構が必要となる上に、撮影時間も長くなってしまう。

一方、（３）に記載の技術、具体的に特開２００７−８１７０４号公報では、周辺画素との相関関係から孤立点を検出する技術が用いられている。しかしこの場合、周辺との相関性が低い被写体（例えば、「星」や「点光源」などの空間周波数が高い被写体）をＦＰＮと区別することが難しく、「星」や「点光源」などをＦＰＮであると誤認識して補正してしまう可能性がある。そのために、該公報には、輝度分布や露光時間、撮影時刻等に基づいてシーン判定および撮影条件判定を行い、被写体が夜空の「星」であると判定された場合に、ＦＰＮであると判別するための閾値を厳しく設定するという技術が記載されている。ただし、閾値を厳しくすると、「星」をＦＰＮであると誤認識して除去してしまうことが減少する代わりに、強いＦＰＮしか補正できず、軽度や中度のＦＰＮが補正されずに残ってしまう課題があった。

こうして従来では、撮像装置の機構に依存することなく（例えば、遮光機構の有無に関わらず）、ＦＰＮを適切に補正することができなかった。

本発明は上記事情に鑑みてなされたものであり、撮像装置の機構に依存することなくＦＰＮを適切に補正することができる画像処理装置、撮像装置、画像処理方法を提供することを目的としている。

本発明のある態様による画像処理装置は、取得された画像の撮影シーンが、着目画素と、該着目画素の近傍に位置する周辺画素と、の相関性が低い孤立点としての被写体を含む低相関シーンであるか否かを判定する撮影シーン判定部と、上記画像における、上記着目画素と複数の上記周辺画素との相関性をそれぞれ示す複数の相関評価値を算出する相関評価値算出部と、上記画像の撮影シーンが上記低相関シーンであるときには、該低相関シーンでないときよりも、上記着目画素との相関性が高い上記周辺画素から算出された上記相関評価値の重みを重くする重付設定部と、上記相関評価値算出部により算出された複数の上記相関評価値を、上記重みに基づき重み付け加算することにより、上記着目画素の孤立点度を算出する孤立点度算出部と、上記孤立点度の大きさに応じて、上記着目画素の画素値を、上記周辺画素の画素値に基づき補正する固定パターンノイズ補正部と、を備えている。

本発明のある態様による撮像装置は、上記画像処理装置と、撮像を行って画像を取得する撮像部と、を有し、上記画像処理装置は、上記撮像部により取得された画像を処理する。

本発明のある態様による画像処理方法は、取得された画像の撮影シーンが、着目画素と、該着目画素の近傍に位置する周辺画素と、の相関性が低い孤立点としての被写体を含む低相関シーンであるか否かを判定する撮影シーン判定ステップと、上記画像における、上記着目画素と複数の上記周辺画素との相関性をそれぞれ示す複数の相関評価値を算出する相関評価値算出ステップと、上記画像の撮影シーンが上記低相関シーンであるときには、該低相関シーンでないときよりも、上記着目画素との相関性が高い上記周辺画素から算出された上記相関評価値の重みを重くする重付設定ステップと、上記相関評価値算出ステップにより算出された複数の上記相関評価値を、上記重みに基づき重み付け加算することにより、上記着目画素の孤立点度を算出する孤立点度算出ステップと、上記孤立点度の大きさに応じて、上記着目画素の画素値を、上記周辺画素の画素値に基づき補正する固定パターンノイズ補正ステップと、を有する。

本発明の画像処理装置、撮像装置、画像処理方法によれば、撮像装置の機構に依存することなくＦＰＮを適切に補正することが可能となる。

本発明の実施形態１において、画像処理装置が適用された撮像装置の構成を示すブロック図。 上記実施形態１における画像処理部の構成を示すブロック図。 上記実施形態１において、ＣＰＵおよびＦＰＮ処理部の構成の詳細を示すブロック図。 上記実施形態１の撮像装置における撮影処理を示すフローチャート。 上記実施形態１の図４のステップＳ７における撮影シーン判定の処理の詳細を示すフローチャート。 上記実施形態１の図４のステップＳ８における画像処理の詳細を示すフローチャート。 上記実施形態１の図６のステップＳ４２におけるＦＰＮ処理の詳細を示すフローチャート。 上記実施形態１の図６のステップＳ４２におけるＦＰＮ処理の変形例の詳細を示すフローチャート。 上記実施形態１の図７または図８のステップＳ５９におけるＦＰＮ補正処理の詳細を示すフローチャート。 上記実施形態１において、着目画素がＧ画素である場合の周辺画素の例を示す図。 上記実施形態１において、着目画素がＲ画素である場合の周辺画素の例を示す図。 上記実施形態１において、着目画素がＢ画素である場合の周辺画素の例を示す図。 上記実施形態１において、相関評価値と基本重み係数ＫＢとの関係を示す線図。 上記実施形態１において、着目画素と、近傍の同色周辺画素と、の画素値の一例を示す図。 上記実施形態１において、着目画素と、近傍の同色周辺画素と、の画素値の他の例を示す図。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図１５は本発明の実施形態１を示したものであり、図１は画像処理装置が適用された撮像装置１の構成を示すブロック図である。

本実施形態は、画像処理装置を撮像装置１に適用したものとなっている。

この撮像装置１は、レンズ１１と、絞り１２と、メカニカルシャッタ１３と、駆動部１４と、撮像素子１５と、Ａ−ＡＭＰ１６と、ＡＤＣ１７と、バス１８と、ＤＲＡＭ１９と、画像処理部２０と、露出制御部２１と、焦点検出部２２と、撮像制御部２３と、ジャイロセンサ２４と、加速度センサ２５と、ＧＰＳセンサ２６と、ビデオエンコーダ２７と、ＲＯＭ２８と、操作部２９と、ＣＰＵ３０と、を備えている。

レンズ１１は、フォーカスレンズを含みフォーカス位置を調節可能に構成されていて、被写体ＯＢＪの光学像を撮像素子１５上に結像するための撮影光学系である。ここではレンズ１１が、さらに、焦点距離可変なズームレンズであるものとする。

絞り１２は、撮影光束の通過範囲を規定することにより、レンズ１１により結像される被写体像の明るさやボケ量などを制御するものである。

メカニカルシャッタ１３は、レンズ１１と撮像素子１５との間に配置されていて、撮像素子１５に到達する光束の通過時間を規制することにより、露出を制御するためのものである。

駆動部１４は、レンズ１１、絞り１２、およびメカニカルシャッタ１３を駆動制御するものである。すなわち、駆動部１４は、レンズ１１のフォーカスレンズを駆動して焦点調節を行い、絞り１２を駆動して絞り開口径を調節し、メカニカルシャッタ１３を駆動して開放動作と閉じ動作とを行う。

撮像素子１５は、レンズ１１を介して結像された光学像を光電変換して電気的な画像信号を生成するものである。この撮像素子１５は、例えば、原色ベイヤー配列のカラーフィルタを備えた単板カラー撮像素子として構成されていて、１画素につきＲＧＢ色成分の内の何れか１色の色成分のみが得られる画像が生成される。

Ａ−ＡＭＰ１６は、撮像素子１５から出力されるアナログの画像信号を増幅するアナログアンプである。

ＡＤＣ１７は、Ａ−ＡＭＰ１６により増幅されたアナログの画像信号をデジタルの画像信号（以下では適宜、画像データという）に変換するものである。ここで変換された画像データ（ＲＡＷ画像データなどと呼ばれる）は、ＤＲＡＭ１９に保存される。

なお、レンズ１１と、絞り１２と、メカニカルシャッタ１３と、駆動部１４と、撮像素子１５と、Ａ−ＡＭＰ１６と、ＡＤＣ１７とは、撮像装置１において、撮像を行って画像を取得する撮像部を構成している。従って、撮像装置１に適用されている画像処理装置は、この撮像部により取得された画像を処理するものとなっている。

バス１８は、撮像装置１内のある部分から他の部分へ命令やデータ等を転送する転送路である。ここに図１に示す例では、バス１８に、ＡＤＣ１７と、ＤＲＡＭ１９と、画像処理部２０と、露出制御部２１と、焦点検出部２２と、撮像制御部２３と、ジャイロセンサ２４と、加速度センサ２５と、ＧＰＳセンサ２６と、ビデオエンコーダ２７と、ＲＯＭ２８と、ＣＰＵ３０と、が接続されている。

ＤＲＡＭ１９は、処理中の画像データや各種のデータ等を一時的に記憶する記憶部である。後述するような撮影シーンの判定に使われる各種のデータも、このＤＲＡＭ１９に記憶される。

画像処理部２０は、ＤＲＡＭ１９から画像データを読み出すと共に、必要に応じて各種のデータを読み出して、画像データに後述するような画像処理（例えば、表示用の画像処理、あるいは記録用の画像処理）を行うものであり、処理内用については後で図２や図６等を参照してより詳細に説明する。ここで画像処理部２０により画像処理された表示用画像データまたは記録用画像データは、ＤＲＡＭ１９に再び保存される。ここに表示用画像データは、後述するビデオエンコーダ２７により処理されてＬＣＤ／ＴＶ２に表示される。このＬＣＤ／ＴＶ２は、撮像装置１に内蔵されたものであっても、撮像装置１の外部に接続されたものであっても何れでも構わない。また、記録用画像データは、フラッシュメモリ３等の記録媒体に記録される。このフラッシュメモリ３は、撮像装置１に内蔵されたものであっても、撮像装置１に対して着脱自在のメモリカード等であっても何れでも構わない。

露出制御部２１は、ＤＲＡＭ１９から画像データを読み出して、適切な露出条件、つまりシャッタ速度、ＩＳＯ感度、および絞り値（いわゆるＦ値）を算出する。ここで算出された露出条件は、ＤＲＡＭ１９に保存され、撮像制御部２３による制御に利用されると共に、画像処理を行う際にＣＰＵ３０等を介して利用される。

焦点検出部２２は、ＤＲＡＭ１９から画像データを読み出して、例えばコントラストＡＦ等により被写体までの距離に対応するフォーカス位置を検出しフォーカス情報を生成するものである。ここで生成されたフォーカス情報は、ＤＲＡＭ１９に保存される。

撮像制御部２３は、撮像素子１５の読み出し方式等を制御するものである。

ジャイロセンサ２４は、撮像装置１の角速度を検出して出力する。ここで出力された角速度は、ＤＲＡＭ１９に保存される。

加速度センサ２５は、撮像装置１の加速度を検出して出力する。ここで出力された加速度は、ＤＲＡＭ１９に保存される。

ＧＰＳセンサ２６は、撮像装置１の現在位置を示す緯度／経度の情報（ＧＰＳ情報）を出力する。ここで、画像を撮影したときの位置情報として出力されたＧＰＳ情報は、ＤＲＡＭ１９に保存される。

ビデオエンコーダ２７は、ＤＲＡＭ１９から表示用画像データを読み出して表示用の画像信号を生成し出力するものである。このビデオエンコーダ２７から出力された画像信号は、上述したように、ＬＣＤ／ＴＶ２に表示される。

ＲＯＭ２８は、この撮像装置１の動作に必要な各種の処理プログラムや設定値などを不揮発に記憶するものであり、例えば、追記可能、あるいは書き換え可能なメモリとして構成されている。

操作部２９は、この撮像装置１に対する操作入力を行うためのユーザインタフェースであり、撮像装置１の電源をオン／オフするための電源ボタン、撮影開始を指示するための撮影ボタン、夜景モードやマニュアル撮影モードなどを設定するためのモード設定ボタン、マニュアル撮影モードにおけるシャッタ速度や絞り値、ＩＳＯ感度などを設定するための設定ボタン、固定パターンノイズ（ＦＰＮ）補正強度を設定するための設定ボタン、時刻を設定するための時刻設定ボタン、その他各種の設定ボタンなどが含まれている。

ＣＰＵ３０は、この撮像装置１内の各部を統合的に制御する制御部である。例えば、ＣＰＵ３０は、焦点検出部２２により検出されたフォーカス位置へレンズ１１を駆動するように駆動部１４へ指令を送信する。また、ＣＰＵ３０は、露出制御部２１により算出された絞り値へ絞り１２を駆動するように駆動部１４へ指令を送信する。さらに、ＣＰＵ３０は、露出制御部２１により算出されたシャッタ速度で露光が行われるように、駆動部１４と撮像制御部２３との少なくとも一方へ指令を送信する（ここに露光時間の制御が、メカニカルシャッタ１３により行われる場合には駆動部１４へ指令が送信され、撮像素子１５のいわゆる素子シャッタにより行われる場合には撮像制御部２３へ指令が送信される）。加えて、ＣＰＵ３０は、露出制御部２１により算出されたＩＳＯ感度で増幅が行われるように、Ａ−ＡＭＰ１６へ指令を送信する。ＣＰＵ３０は、各部へ設定した撮影設定情報（例えば、レンズ１１の焦点距離（ズーム位置）、絞り値、シャッタ速度、ＩＳＯ感度、フォーカス情報、操作部２９から入力されたユーザ操作に係るメニュー情報（例えば、ＦＰＮ補正強度の設定値など））をＤＲＡＭ１９に保存する。ただし、ユーザが設定したメニュー情報の内の、電源オフ時にも記憶しておく必要がある情報は、さらに、ＲＯＭ２８などにも保存する。また、ＣＰＵ３０は、ＤＲＡＭ１９に記憶された加速度／角速度を読み出して、この撮像装置１のブレ量を算出し、算出したブレ量をＤＲＡＭ１９に保存する。さらに、ＣＰＵ３０は、静止画像の撮影時刻をＤＲＡＭ１９に保存する。

次に、図２は画像処理部２０の構成を示すブロック図である。

画像処理部２０は、ホワイトバランス（ＷＢ）補正処理部４１と、固定パターンノイズ（ＦＰＮ）処理部４２と、同時化処理部４３と、輝度特性変換部４４と、エッジ強調処理部４５と、ノイズリダクション（ＮＲ）処理部４６と、色再現処理部４７と、を備えている。

ＷＢ補正処理部４１は、白色の被写体が白色として見えるように、画像のＲＧＢ各色成分のカラーバランスを補正する。

ＦＰＮ処理部４２は、後で詳しく説明するように、画像中に孤立点として存在する固定パターンノイズを除去（あるいは低減）するＦＰＮ処理を行う。

同時化処理部４３は、１画素につきＲＧＢ成分の内の１色成分のみが得られているベイヤー配列のＲＡＷ画像データに対して、着目画素に存在しない色成分を周辺画素から補間して求めることにより、１画素につきＲＧＢの３色成分が揃った画像データを生成する処理を行う。

輝度特性変換部４４は、画像の輝度成分の階調変換を行う。

エッジ強調処理部４５は、画像中のエッジ成分を抽出してエッジ強調係数を乗算し、元の画像に加算することでエッジ強調を行う。

ＮＲ処理部４６は、周波数に応じたコアリング処理などを画像データに行うことによりノイズ低減処理を行う。ここではＦＰＮ処理部４２による固定パターンノイズ除去後にも存在しているランダムノイズや周期性ノイズなどが低減される。

色再現処理部４７は、画像の色再現を行う。

続いて、図３はＣＰＵ３０およびＦＰＮ処理部４２の構成の詳細を示すブロック図である。

ＣＰＵ３０は撮影シーン判定部５１を、ＦＰＮ処理部４２は相関評価値算出部５２、重付設定部５３、孤立点度算出部５４、および固定パターンノイズ（ＦＰＮ）補正部５５を、それぞれ備えている。ただし、この構成に限定されるものではなく、例えば撮影シーン判定部５１をＦＰＮ処理部４２内に設ける等の構成を採用しても構わない。

撮影シーン判定部５１は、後で図５を参照して詳細に説明するように、撮像装置１が取得した各種の情報に基づき画像の撮影シーンを推定し、取得された画像の撮影シーンが低相関シーンであるか否かを判定する。ここに、低相関シーンは、着目画素と、着目画素の近傍に位置する周辺画素と、の相関性が低い孤立点としての被写体（例えば、高輝度の点像被写体などであって、ＦＰＮであると誤認識され易い被写体）を含む撮影シーンのことである。この低相関シーンの具体例としては、夜空の星を撮影する星空撮影シーンや、点状の光源が存在することがある夜景撮影シーンなどが挙げられる。こうした撮影シーンは、ＦＰＮが顕著に目立ち易い暗部を含むシーンでもある。

相関評価値算出部５２は、着目画素と、着目画素の近傍にある複数の周辺画素との相関性をそれぞれ示す複数の相関評価値を算出する。

重付設定部５３は、画像の撮影シーンが低相関シーン（例えば、星空撮影シーンや夜景撮影シーン）であるときには、低相関シーンでないとき（後述する一般撮影シーン）よりも、着目画素との相関性が高い周辺画素から算出された相関評価値の重みを重くする。

孤立点度算出部５４は、相関評価値算出部５２により算出された複数の相関評価値を、重付設定部５３により設定された重みに基づき重み付け加算することにより、着目画素の孤立点度を算出する。

ＦＰＮ補正部５５は、着目画素の孤立点度の大きさに応じて、着目画素の画素値を、周辺画素の画素値に基づき補正する。

撮像装置１に適用された画像処理装置は、上述した撮影シーン判定部５１、相関評価値算出部５２、重付設定部５３、孤立点度算出部５４、およびＦＰＮ補正部５５を含むが、これらに限らず、ＣＰＵ３０全体や画像処理部２０全体、あるいは、ＤＲＡＭ１９、ＲＯＭ２８、操作部２９等をさらに含んでも構わない。

図４は、撮像装置１における撮影処理を示すフローチャートである。

例えばメカニカルシャッタ１３を開放してライブビューを行っている状態で、撮像装置１の図示しないメイン処理から静止画像を撮影するこの処理に入ると、まず、撮影設定情報やＧＰＳ情報などを取得してＤＲＡＭ１９に記憶する（ステップＳ１）。ここで取得する撮影設定情報は、例えば、レンズ１１の焦点距離（ズーム位置）、絞り値、シャッタ速度、ＩＳＯ感度、メニュー情報などである。ここでＤＲＡＭ１９に記憶された情報は、後で画像処理の際に利用される。

次に、駆動部１４がレンズ１１内のフォーカスレンズを駆動して焦点調節を行う（ステップＳ２）。この焦点調節により設定されたレンズ１１のフォーカス情報は、ＤＲＡＭ１９に記憶され、後で画像処理の際に利用される。

続いて、ライブビューで取得された画像に基づいて、露出制御部２１が露出条件を算出して設定する（ステップＳ３）。ここで算出された露出条件、つまり、シャッタ速度、ＩＳＯ感度、および絞り値は、ＤＲＡＭ１９に記憶され、後で画像処理の際に利用される。

そして、メカニカルシャッタ１３を一旦閉じてから開くことにより、あるいは撮像素子１５の画素リセットを終了することにより、画像の露光を開始する（ステップＳ４）。

露光開始と同時、あるいは露光開始の少し前の時点から、手ブレ補正を行う（ステップＳ５）。この手ブレ補正は、ジャイロセンサ２４により検出された角速度および加速度センサ２５により検出された加速度に基づいて移動距離算出演算等を行うことにより撮像装置のブレ量（いわゆる手ブレ量）を算出し、算出したブレ量を相殺するように、例えばレンズ１１と撮像素子１５との少なくとも一方を移動させることにより行われる。ただし、この方法に限らず、その他のブレ補正法を用いても構わない。ここで算出された画像を撮影したときのブレ量は、ＤＲＡＭ１９に記憶され、後で画像処理の際に利用される。

ステップＳ４において露光を開始した時点から、シャッタ速度で定められた露光時間が経過したら、メカニカルシャッタ１３を閉じるか、あるいは撮像素子１５の各画素の電荷をフォトダイオードから撮像素子１５内のメモリへ転送することにより、露光を終了する。露光が終了したら、さらに、撮像素子１５から画像信号を読み出して、Ａ−ＡＭＰ１６およびＡＤＣ１７により処理した後に、ＤＲＡＭ１９に記憶する（ステップＳ６）。

ＣＰＵ３０の撮影シーン判定部５１は、ステップＳ１において取得した撮影設定情報やＧＰＳ情報などに基づいて、後で図５を参照して説明するような撮影シーン判定の処理を行う（ステップＳ７）。

そして、画像処理部２０が、後で図６を参照して説明するような画像処理を行う（ステップＳ８）。

その後、画像処理部２０により記録用に処理された画像データをフラッシュメモリ３に記録し、また、画像処理部２０により表示用に処理された画像データをＬＣＤ／ＴＶ２に表示してから（ステップＳ９）、この処理から図示しないメイン処理に復帰する。

図５は図４のステップＳ７における撮影シーン判定の処理の詳細を示すフローチャートである。

この処理を開始すると、撮影シーン判定部５１は、ＤＲＡＭ１９から被写体判断に必要な情報を取得する（ステップＳ２１）。

そして、ライブビューにおいて取得された画像も含む撮影時刻の異なる複数の撮影データから、画像における被写体の移動量を算出する（ステップＳ２２）。この被写体の移動量は、例えば、公知のブロックマッチング等を用いた動きベクトル算出法により画像処理部２０等により求められる。求められた被写体の移動量は、ＣＰＵ３０の制御に基づき、ＤＲＡＭ１９に記憶される。

また、静止画像として取得された撮影データから画像の輝度分布情報（例えば、輝度ヒストグラム等）を算出する（ステップＳ２３）。算出した輝度分布情報は、ＣＰＵ３０の制御に基づき、ＤＲＡＭ１９に記憶される。

絞り値、ＩＳＯ感度、シャッタ速度に基づいて、例えばアペックスシステムの演算式から画像の輝度値Ｂｖを求める（ステップＳ２４）。求めた輝度値Ｂｖは、ＣＰＵ３０の制御に基づき、ＤＲＡＭ１９に記憶される。なお、ここでは画像の輝度値をアペックスシステムにより求めたが、これに限らずその他の公知の算出法、例えば、全画素の輝度値の平均値、あるいは全輝度相当画素（例えばＧ画素）の画素値の平均値、などにより求めるようにしても構わない。

次に、静止画像を取得したときのレンズ１１の焦点距離（ズーム位置）が、例えばいわゆる３５ｍｍフィルム換算で５０ｍｍ以下であるか否かを判定する（ステップＳ２５）。ここに、３５ｍｍフィルム換算で５０ｍｍのレンズは、標準レンズなどといわれる。

ここで５０ｍｍ以下であると判定された場合には、ステップＳ２４において算出した輝度値Ｂｖが０以下であるか否かを判定する（ステップＳ２６）。

ここで０以下であると判定された場合には、ＤＲＡＭ１９からＦＰＮ補正強度の設定値を読み出して、補正強度が弱であるか否かを判定する（ステップＳ２７）。

ここで弱でないと判定された場合には、ＤＲＡＭ１９から静止画像の撮影時刻を読み出して、撮影時刻が夜間であるか否かを判定する（ステップＳ２８）。ここに夜間の判定は、例えば午後６時〜午前６時までの固定時間を夜間と判定する手段を用いても構わないが、季節や緯度および経度によって夜間である時間帯が異なることを考慮して、これらの情報に基づいてより正確な夜間の判定を行うようにするとより良い。

ここで夜間であると判定された場合には、ＧＰＳセンサから読み出したＧＰＳ情報により示される撮影場所の緯度および経度が、特定の緯度および経度に一致するか否かを判定する（ステップＳ２９）。ここに、例えば星の撮影には特に適した場所があることが知られている。従って、ここでは、撮影場所がこうした特定の場所に該当するか否かを判定する。

ここで、特定の緯度および経度に一致すると判定された場合には、ＤＲＡＭ１９から取得したフォーカス情報に基づいて、フォーカス位置が無限遠であるか否かを判定する（ステップＳ３０）。

ここで、無限遠であると判定された場合には、ＤＲＡＭ１９から撮像装置１のブレ量を読み出し、読み出したブレ量を所定の閾値と比較することにより手ブレがあるか否か、すなわち、撮像装置１が手持ちで撮影されたかあるいは例えば三脚に固定された状態で撮影されたかを判定する（ステップＳ３１）。

ここで、手ブレがないと判定された場合には、ステップＳ２２において算出した被写体の移動量から、画像内に移動する被写体が存在するか否かを判定する（ステップＳ３２）。

ここで、移動被写体が存在しないと判定された場合には、ステップＳ２５〜Ｓ３２の結果を総合して低相関シーンである度合いが所定の閾度合いよりも高い撮影シーン、つまり、着目画素と、該着目画素の近傍に位置する周辺画素と、の相関性が低い孤立点としての被写体を含む低相関シーンであると判定される。そして、ステップＳ２３において算出した輝度分布に所定以上のばらつきがあるか否か、つまり、輝度分布が例えば暗い被写体と明るい被写体とに大きく分かれているか否か、を判定する（ステップＳ３３）。このばらつきは、例えば、輝度分布の分散や標準偏差などに基づき判定される。

ここで、輝度分布に所定以上のばらつきがあると判定された場合には、星空撮影であると判定する（ステップＳ３４）。

また、ステップＳ３３において、輝度分布のばらつきが所定未満であると判定された場合には、夜景撮影であると判定する（ステップＳ３５）。この夜景撮影シーンは、低相関シーンである度合いが所定の閾度合いよりは高いものの星空撮影シーンよりは低い撮影シーンである。このように、撮影シーン判定部５１は、画像の撮影シーンが低相関シーンである度合いも判定しており、ここでは輝度分布のばらつきに基づき判定を行っている。ただし、低相関シーンである度合いの判定を、輝度分布のばらつき以外の方法により行っても構わないことは勿論である。

さらに、ステップＳ２５〜Ｓ３２の何れかにおいてＮＯと判定された場合、つまり、ステップＳ２５において５０ｍｍよりも大きいと判定された場合、ステップＳ２６において輝度値Ｂｖが０よりも大きいと判定された場合、ステップＳ２７において補正強度が弱であると判定された場合、ステップＳ２８において撮影時刻が夜間でないと判定された場合、ステップＳ２９において撮影場所が特定の緯度および経度に一致しないと判定された場合（つまり、特定の緯度に一致しないことと特定の経度に一致しないこととの少なくとも一方が成立すると判定された場合）、ステップＳ３０においてフォーカス位置が無限遠でないと判定された場合、ステップＳ３１において手ブレがあると判定された場合、ステップＳ３２において移動被写体が存在すると判定された場合には、星空でも夜景でもない一般撮影であると判定する（ステップＳ３６）。この一般撮影シーンは、上述したように、低相関シーンではない撮影シーンである。

こうして、ステップＳ３４〜Ｓ３６の何れかにより撮影シーンを判定したら、この処理から図４に示す処理にリターンする。

なお、図５に示す例では、判定に用いる各値を所定の閾値と比較して判断分岐を行ったが、各値に基づいた各判定要素の信頼度を算出して、判断するようにしても良い。

また、図５に示した撮影シーン判定の処理は、判定法の単なる一例であり、この判定法に限定されることなく、その他の判定法等も広く採用することが可能である。

図６は、図４のステップＳ８における画像処理の詳細を示すフローチャートである。

この処理を開始すると、ＷＢ補正処理部４１が、ホワイトバランス補正処理を行う（ステップＳ４１）。

次に、ＦＰＮ処理部４２が、後で図７または図８を参照して説明するように、画像中に孤立点として存在する固定パターンノイズを除去または低減するＦＰＮ処理を行う（ステップＳ４２）。

続いて、同時化処理部４３が同時化処理を行い（ステップＳ４３）、輝度特性変換部４４が画像の輝度成分の階調変換を行い（ステップＳ４４）、エッジ強調処理部４５がエッジ強調を行い（ステップＳ４５）、ＮＲ処理部４６がノイズ低減処理を行い（ステップＳ４６）、色再現処理部４７が画像の色再現処理を行って（ステップＳ４７）、この処理から図４に示す処理にリターンする。

図７は、図６のステップＳ４２におけるＦＰＮ処理の詳細を示すフローチャートである。

この処理を開始すると、ＦＰＮ処理部４２は、画像データ中のある画素を着目画素に設定して、着目画素の画素値と、この着目画素の近傍にある複数の同色の周辺画素の画素値と、を読み込む（ステップＳ５１）。

ここに、図１０は着目画素がＧ画素である場合の周辺画素の例を示す図、図１１は着目画素がＲ画素である場合の周辺画素の例を示す図、図１２は着目画素がＢ画素である場合の周辺画素の例を示す図である。

図１０〜図１２に示す例では、着目画素ＣがＧ画素、Ｒ画素、またはＢ画素の何れである場合にも、近傍に位置する８つの画素（ここでは、Ｇ１〜Ｇ８、Ｒ１〜Ｒ８、またはＢ１〜Ｂ８）が、周辺画素として設定される（ただし、周辺画素数が８に限定されるものでないことはいうまでもなく、周辺画素数をより一般にｉｍａｘ（ｉｍａｘは１以上の整数）と書くことができる）。

以下では、図１０に示したように、周辺画素数が８であって、着目画素ＣがＧ画素である場合を例に挙げて説明する。

次に、相関評価値算出部５２が、着目画素Ｃと周辺画素Ｇ１〜Ｇ８との相関評価値を算出する（ステップＳ５２）。具体例として、相関評価値算出部５２は、着目画素Ｃの画素値と周辺画素Ｇ１〜Ｇ８の画素値との例えば差分絶対値を、相関評価値ＲＥＧ１〜ＲＥＧ８としてそれぞれ算出する（従って、相関評価値算出部５２は、相関評価値の算出を四則演算（加算、減算、乗算、除算）（ここに、絶対値をとることは、負の数値に対する（−１）の乗算であるために、四則演算に含まれる）に基づき行っており、コンピュータ処理に適した演算法を用いている）（ただし、相関評価値は、差分絶対値に限るものではなく、着目画素Ｃと周辺画素との相関性に応じて変化する値であれば広く採用することができる）。ここで算出された相関評価値ＲＥＧ１〜ＲＥＧ８が、例えば、次の数式１に示すようになったものとする。
［数１］
ＲＥＧ１＝｜Ｃ−Ｇ１｜＝３０
ＲＥＧ２＝｜Ｃ−Ｇ２｜＝５
ＲＥＧ３＝｜Ｃ−Ｇ３｜＝８０
ＲＥＧ４＝｜Ｃ−Ｇ４｜＝７
ＲＥＧ５＝｜Ｃ−Ｇ５｜＝１２０
ＲＥＧ６＝｜Ｃ−Ｇ６｜＝９０
ＲＥＧ７＝｜Ｃ−Ｇ７｜＝８０
ＲＥＧ８＝｜Ｃ−Ｇ８｜＝７０

相関評価値算出部５２は、さらに、算出した８つの相関評価値ＲＥＧ１〜ＲＥＧ８を、値が小さい順（つまり、相関性が高い順）にソートして、次の数式２に示すように、ＲＥ１〜ＲＥ８とする（ステップＳ５３）。
［数２］
ＲＥ１＝ＲＥＧ２＝｜Ｃ−Ｇ２｜＝５
ＲＥ２＝ＲＥＧ４＝｜Ｃ−Ｇ４｜＝７
ＲＥ３＝ＲＥＧ１＝｜Ｃ−Ｇ１｜＝３０
ＲＥ４＝ＲＥＧ８＝｜Ｃ−Ｇ８｜＝７０
ＲＥ５＝ＲＥＧ３＝｜Ｃ−Ｇ３｜＝８０
ＲＥ６＝ＲＥＧ７＝｜Ｃ−Ｇ７｜＝８０
ＲＥ７＝ＲＥＧ６＝｜Ｃ−Ｇ６｜＝９０
ＲＥ８＝ＲＥＧ５＝｜Ｃ−Ｇ５｜＝１２０

次に、図５に示した撮影シーン判定により得られた結果が、低相関シーンである度合いが高い星空撮影シーンであるか否かを判定する（ステップＳ５４）。

このステップＳ５４において星空撮影シーンでないと判定された場合には、低相関シーンではあるが、その度合いが星空撮影シーンよりも低い夜景撮影シーンであるか否かを判定する（ステップＳ５５）。

ステップＳ５４において星空撮影シーンであると判定された場合には、次の数式３に示すように、ソート後の順位が第１位の（つまり、最も相関性が高い）相関評価値ＲＥ１を着目画素Ｃの孤立点度ＩＰに設定する（ステップＳ５６）。
［数３］
ＩＰ＝ＲＥ１＝５

また、ステップＳ５５において、夜景撮影シーンであると判定された場合には、ソート後の順位が第１位から所定順位ｉ位までの（つまり、最も相関性が高いものから所定順位ｉ位までの）相関評価値ＲＥ１〜ＲＥｉの重み付け加算平均を、着目画素Ｃの孤立点度ＩＰに設定する（ステップＳ５７）。ただし、ｉ＜ｉｍａｘであって、ここでは例えば、ｉ＝３、つまり第１位から第３位までの相関評価値の重み付け加算平均を、孤立点度ＩＰに設定するものとする。

ここに、重み係数Ｋは、重付設定部５３によって、例えば図１３に示すような、相関評価値が大きいほど値が小さくなる（単調減少関数で表される）基本重み係数ＫＢに基づき設定され、ここではＫ＝ＫＢとして設定するものとする。ここに、図１３は、相関評価値と基本重み係数ＫＢとの関係を示す線図である。

ただし、基本重み係数ＫＢは、相関評価値が大きくなると値が漸近的に小さくなるに限るものではなく、例えば段階的に小さくなる（ステップ状の単調減少関数で表される）ように設定しても良い。

なお、ここでは相関評価値として差分絶対値を用いており、値が小さいほど相関性が高いことを示すために、基本重み係数ＫＢを相関評価値が大きいほど（つまり相関性が低いほど）値が小さくなるように設定している。しかし、相関評価値として例えば差分絶対値の逆数を用いる場合などには、値が大きいほど相関性が高いことを示すために、この場合には、基本重み係数ＫＢを相関評価値が小さいほど値が小さくなるように設定することになるのはいうまでもない。要は、基本重み係数ＫＢは、相関性が高いほど高く設定されるということである。

具体的な一例として、階調幅（ダイナミックレンジ）の所定割合をＤｘとしたときに、ここでは、相関評価値ＲＥｉ（ｉ＝１〜ｉｍａｘ）（この例では、ｉｍａｘ＝８）に各対応する基本重み係数ＫＢ（ＲＥｉ）は、次のように設定されるものとする。

すなわち、次の数式４
［数４］
ｎ×Ｄｘ≦ＲＥｉ≦（ｎ＋１）×Ｄｘ （ｎ＝０のとき）
ｎ×Ｄｘ＜ＲＥｉ≦（ｎ＋１）×Ｄｘ （ｎ＝１以上のとき）
を満たす０以上の整数ｎに対して、数式５
［数５］
ＫＢ（ＲＥｉ）＝１／（ｎ＋１）
により基本重み係数ＫＢ（ＲＥｉ）を設定するものとする。

具体的に、８ビット（２５６階調：０〜２５５）の階調幅の、例えば１／２５である１０をＤｘとすると、
ｎ ＲＥｉの範囲 ＫＢの値
０ ０〜１０ １／１＝１．００
１ １０〜２０ １／２＝０．５０
２ ２０〜３０ １／３＝０．３３
３ ３０〜４０ １／４＝０．２５
４ ４０〜５０ １／５＝０．２０
５ ５０〜６０ １／６＝０．１７
６ ６０〜７０ １／７＝０．１４
７ ７０〜８０ １／８＝０．１３
８ ８０〜９０ １／９＝０．１１
… … …
１１ １１０〜１２０ １／１２＝０．０８
… … …
となるために、基本重み係数ＫＢは次の数式６に示すように設定される。
［数６］
ＫＢ（ＲＥ１＝５）＝１．００
ＫＢ（ＲＥ２＝７）＝１．００
ＫＢ（ＲＥ３＝３０）＝０．３３
ＫＢ（ＲＥ４＝７０）＝０．１４
ＫＢ（ＲＥ５＝８０）＝０．１３
ＫＢ（ＲＥ６＝８０）＝０．１３
ＫＢ（ＲＥ７＝９０）＝０．１１
ＫＢ（ＲＥ８＝１２０）＝０．０８

上述したように、ここでは重み係数Ｋは基本重み係数ＫＢと等しくなるように設定されるために、ソート後の順位第ｉ位（ｉ＝１〜８）の相関評価値ＲＥｉに対する重み係数Ｋ（ｉ）は、次の数式７に示すようになる。
［数７］
Ｋ（ｉ）＝ＫＢ（ＲＥｉ）

例えばこのような重み係数Ｋ（ｉ）を用いて、孤立点度ＩＰは、孤立点度算出部５４により、次の数式８に示すように算出される。
［数８］

数式２および数式６に示した具体例の場合には、ＩＰ＝（１．００×５＋１．００×７＋０．３３×３０）／（１．００＋１．００＋０．３３）＝９．４となり、数式３に示した星空撮影シーンのときのＩＰ＝５よりも大きな値となる。

また、上述のように、孤立点度算出部５４は、孤立点度ＩＰの算出を四則演算に基づき行っており、コンピュータ処理に適した演算法を用いている。

ここに、星空撮影シーンと夜景撮影シーンとは、上述したように何れも低相関シーンであるが、孤立点度ＩＰを算出する際の相関評価値ＲＥ１〜ＲＥ３の重みを比較すると、
（星空撮影シーン）
ＲＥ１：１．００
ＲＥ２：０
ＲＥ３：０
（夜景撮影シーン）
ＲＥ１：１．００／（１．００＋１．００＋０．３３）＝０．４３
ＲＥ２：１．００／（１．００＋１．００＋０．３３）＝０．４３
ＲＥ３：０．３３／（１．００＋１．００＋０．３３）＝０．１４
となって、重付設定部５３は、低相関シーンである度合いの高さ（上述したように、星空撮影シーンは夜景撮影シーンよりも低相関シーンである度合いが高い）に応じて、着目画素Ｃとの相関性が高い周辺画素から算出された相関評価値の、孤立点度を算出する際の重み付けを重くしていることが分かる。さらに、重付設定部５３は、０にしない相関評価値の重みを、相関評価値が小さいほど重くしていることも分かる。

一方、ステップＳ５５において、夜景撮影シーンでない、つまり一般撮影シーンであると判定された場合には、全ての順位の（つまり、ソート後の順位が第１位から第ｉｍａｘ位までの）相関評価値ＲＥ１〜ＲＥｉｍａｘの重み付け加算平均を着目画素Ｃの孤立点度ＩＰに設定する（ステップＳ５８）。

すなわち、孤立点度算出部５４は、上述した重み係数Ｋ（ｉ）を用いて、孤立点度ＩＰを、次の数式９に示すように算出する。
［数９］

数式２および数式６に示した具体例の場合には、数式９による算出結果はＩＰ＝２４．７となり、数式３に示した星空撮影シーンのときのＩＰ＝５、および数式８を用いる夜景撮影シーンのときのＩＰ＝９．４よりも大きな値となる。

この一般撮影の場合に、孤立点度ＩＰを算出する際の相関評価値ＲＥ１〜ＲＥ８の重みは、分母＝１．００＋１．００＋０．３３＋０．１４＋０．１３＋０．１３＋０．１１＋０．０８＝２．９２を用いれば、
ＲＥ１：１．００／２．９２＝０．３４
ＲＥ２：１．００／２．９２＝０．３４
ＲＥ３：０．３３／２．９２＝０．１１
ＲＥ４：０．１４／２．９２＝０．０５
ＲＥ５：０．１３／２．９２＝０．０４
ＲＥ６：０．１３／２．９２＝０．０４
ＲＥ７：０．１１／２．９２＝０．０４
ＲＥ８：０．０８／２．９２＝０．０３
となって、上述した星空撮影シーンや夜景撮影シーンの場合と比較すれば分かるように、重付設定部５３は、画像の撮影シーンが低相関シーンであるとき（星空撮影シーンや夜景撮影シーン）には、低相関シーンでないとき（一般撮影シーン）よりも、着目画素Ｃとの相関性が高い周辺画素から算出された相関評価値の重みを重くしていることが分かる。

こうして、ステップＳ５６〜Ｓ５８の何れかの処理により孤立点度ＩＰが設定されたら、ＦＰＮ補正部５５が、孤立点度ＩＰに基づき、後で図９を参照して説明するようなＦＰＮ補正処理を行う（ステップＳ５９）。

その後、全ての画素についての処理が終了したか否かを判定し（ステップＳ６０）、まだ終了していないと判定された場合には、着目画素Ｃの位置を移動してから（ステップＳ６１）上述したステップＳ５１へ戻り、移動後の着目画素Ｃに対して上述したような処理を行う。

一方、ステップＳ６０において、全画素についての処理が終了したと判定された場合には、この処理から図６に示す処理にリターンする。

図８は、図６のステップＳ４２におけるＦＰＮ処理の変形例の詳細を示すフローチャートである。図７に示した処理では、重み係数Ｋを基本重み係数ＫＢと等しくなるように設定したが、この図８に示す処理は、基本重み係数ＫＢに撮影シーンに応じたマスクＭをかけたものを重み係数Ｋとして設定するようになっている。

すなわち、この処理を開始すると、上述したステップＳ５１〜Ｓ５４の処理を行い、必要に応じてステップＳ５５の処理も行う。

そして、重付設定部５３は、撮影シーンが何れであっても、基本重み係数ＫＢ（ＲＥｉ）に、星空用マスクＭ（ｉ）をかけて次の数式１０に示すように重み係数Ｋ（ｉ）を決定するようになっている。
［数１０］
Ｋ（ｉ）＝Ｍ（ｉ）×ＫＢ（ＲＥｉ）

まず、ステップＳ５４において星空撮影シーンであると判定された場合には、ｉｍａｘ＝８のときの星空用マスクＭは、次の数式１１
［数１１］
Ｍ＝（Ｍ（１），Ｍ（２），Ｍ（３），Ｍ（４）
，Ｍ（５），Ｍ（６），Ｍ（７），Ｍ（８））
＝（１，０，０，０，０，０，０，０）
に示すようになり、着目画素Ｃとの相関性が低い周辺画素から算出された相関評価値ＲＥの重みを０にすることにより相関評価値ＲＥの算出に用いる周辺画素を実質的に選択しており、図７に示したステップＳ５６の順位第１位の相関評価値ＲＥ１のみを選択することと等価である。

これにより、数式６に示したような基本重み係数ＫＢの例では、重付設定部５３は、重み係数Ｋを次の数式１２に示すように決定する（ステップＳ６５）。
［数１２］
Ｋ＝（Ｋ（１），Ｋ（２），Ｋ（３），Ｋ（４）
，Ｋ（５），Ｋ（６），Ｋ（７），Ｋ（８））
＝（１．００，０，０，０，０，０，０，０）

また、ステップＳ５５において、夜景撮影シーンであると判定された場合には、夜景用マスクＭは、次の数式１３、
［数１３］
Ｍ＝（Ｍ（１），Ｍ（２），Ｍ（３），Ｍ（４）
，Ｍ（５），Ｍ（６），Ｍ（７），Ｍ（８））
＝（１，１，１，０，０，０，０，０）
に示すようになり、着目画素Ｃとの相関性が低い周辺画素から算出された相関評価値ＲＥの重みを０にすることにより相関評価値ＲＥの算出に用いる周辺画素を実質的に選択していて、図７に示したステップＳ５７の順位第１位から順位第３位（より一般には、順位第１位から所定順位）の相関評価値ＲＥ１〜ＲＥ３を選択することと等価である。

これにより、数式６に示したような基本重み係数ＫＢの例では、重付設定部５３は、重み係数Ｋを次の数式１４に示すように決定する（ステップＳ６６）。
［数１４］
Ｋ＝（Ｋ（１），Ｋ（２），Ｋ（３），Ｋ（４）
，Ｋ（５），Ｋ（６），Ｋ（７），Ｋ（８））
＝（１．００，１．００，０．３３，０，０，０，０，０）

一方、ステップＳ５５において、夜景撮影シーンでない、つまり一般撮影シーンであると判定された場合には、一般用マスクＭは、次の数式１５、
［数１５］
Ｍ＝（Ｍ（１），Ｍ（２），Ｍ（３），Ｍ（４）
，Ｍ（５），Ｍ（６），Ｍ（７），Ｍ（８））
＝（１，１，１，１，１，１，１，１）
に示すようになり、図７に示したステップＳ５８の全ての順位の相関評価値ＲＥｉを選択することと等価である。

これにより、重付設定部５３は、重み係数Ｋを上述した数式７と同様にＫ（ｉ）＝ＫＢ（ＲＥｉ）として決定し、数式６に示したような基本重み係数ＫＢと同じとする（ステップＳ６７）。

こうして、ステップＳ６５〜Ｓ６７の何れかの処理により重み係数Ｋ（つまり、Ｋ（１）〜Ｋ（ｉｍａｘ））が決定されたら、孤立点度算出部５４は、上述した数式９を用いて孤立点度ＩＰを算出する（ステップＳ６８）。これにより、ステップＳ６５において算出される孤立点度ＩＰは図７のステップＳ５６において算出される孤立点度ＩＰと、ステップＳ６６において算出される孤立点度ＩＰは図７のステップＳ５７において算出される孤立点度ＩＰと、ステップＳ６７において算出される孤立点度ＩＰは図７のステップＳ５８において算出される孤立点度ＩＰと、それぞれ同一となる。

その後のステップＳ５９〜Ｓ６１の処理は図７と同様である。

こうして、この図８に示すような撮影シーンに応じたマスクＭを用いて重み係数Ｋを決定し数式９を用いて孤立点度ＩＰを算出する処理は、図７に示したような撮影シーンに応じて適宜の順位の相関評価値ＲＥｉを選択して孤立点度ＩＰを算出する処理と等価となっている。

続いて、図９は、図７または図８のステップＳ５９におけるＦＰＮ補正処理の詳細を示すフローチャートである。

この処理を開始すると、着目画素Ｃに対して算出された孤立点度ＩＰが、所定の閾値以下であるか否かを判定する（ステップＳ７１）。

ここで、所定の閾値以下であると判定された場合には、ＦＰＮではないとして、着目画素ＣのＦＰＮ補正は行わない（ステップＳ７２）。

また、ステップＳ７１において所定の閾値よりも大きいと判定された場合には、着目画素Ｃの画素値と周辺画素と画素値とを用いて、算出された孤立点度ＩＰに応じた重み付け補間を行うことにより、着目画素ＣのＦＰＮ補正を実行する（ステップＳ７３）。

具体的に、着目画素Ｃの画素値をＶ（０）、ｉ＝１〜８までの周辺画素の画素値Ｖ（ｉ）に基づき得られる画素値をＶａｖｅ、孤立点度ＩＰの取り得る最大値をＩＰｍａｘとすると、ＦＰＮ補正処理後の着目画素Ｃの画素値Ｖ’（０）は、画素値Ｖ（０）と画素値Ｖａｖｅとを孤立点度ＩＰに応じて重み付け混合した値として、例えば次の数式１６に示すように算出される。
［数１６］
Ｖ’（０）＝Ｖ（０）×（ＩＰ／ＩＰｍａｘ）
＋Ｖａｖｅ×｛１−（ＩＰ／ＩＰｍａｘ）｝

ここに、周辺画素の画素値Ｖ（ｉ）に基づき得られる画素値Ｖａｖｅの一例として、次の数式１７に示すような周辺画素の画素値Ｖ（ｉ）の単純平均、
［数１７］

が挙げられるが、画素間距離に応じた重み付け加算平均や、エッジ検出結果に基づく重み付け加算平均などを用いてより高精度に算出した平均値であっても良い。

さらに、着目画素Ｃの補正に用いる画素値Ｖａｖｅは、周辺画素の画素値Ｖ（ｉ）の平均値に限るものではなく、周辺画素の画素値Ｖ（ｉ）の中央値を用いても良いし、その他の周辺画素の画素値Ｖ（ｉ）に基づき得られる画素値を適宜に用いるようにしても構わない。

ステップＳ７２またはステップＳ７３の処理を行ったら、この処理から図７または図８に示す処理にリターンする。

次に、図１４は、着目画素Ｃと、近傍の同色周辺画素と、の画素値の一例を示す図である。この図１４および後述する図１５に示す３×３画素配置の内の、中央に位置する画素が着目画素Ｃである。

この図１４に示す例は、着目画素Ｃが例えば星空における星であって、ＦＰＮであると誤検出したくない場合であるものとする。

このとき、例えば、上記特開２００７−８１７０４号公報に記載の技術では、周辺画素の平均画素値と、着目画素Ｃの画素値と、の差分の絶対値が所定の閾値以上である場合に孤立点であるとするＦＰＮ検出を行っている。

具体的に図１４に示す例では、周辺画素の平均画素値は（７０×３＋１０×５）／８＝３２．５となるから、差分の絶対値は｜８０−３２．５｜＝４７．５である。従って、ＦＰＮであると誤検出しないためには、ＦＰＮであるか否かを判別するための閾値を４８以上に設定する必要がある。

これに対して、本実施形態の構成では、星空撮影シーンであると判定された場合には、相関評価値の順位第１位の相関評価値が孤立点度ＩＰに設定されるために、孤立点度はＩＰ＝｜８０−７０｜＝１０となる。従って、ＦＰＮであるか否かを判別するための閾値、すなわち、図９のステップＳ７１における判定閾値を、１１以上に設定すれば足りることになる。

こうして、ＦＰＮ判定閾値を大きくしなくても誤検出を抑制することができるために、ＦＰＮの検出漏れを低減することが可能となる。この点について、図１５を参照してさらに説明する。

図１５は、着目画素Ｃと、近傍の同色周辺画素と、の画素値の他の例を示す図である。

この図１５に示す例は、着目画素Ｃが、周辺画素との画素値の差が小さい弱いＦＰＮであり、ＦＰＮ検出漏れをしたくない場合であるものとする。

上記特開２００７−８１７０４号公報に記載の技術の場合には、この図１５に示す例では、次のような演算が行われる。

周辺画素の平均画素値は（１０×８）／８＝１０となるから、差分の絶対値は｜４０−１０｜＝３０である。従って、上述したような、誤検出を防ぐための閾値（４８以上）を用いると、ＦＰＮでないと判定され、検出漏れが生じることになる。

これに対して、本実施形態の構成では、孤立点度として算出されるＩＰ＝｜４０−１０｜＝３０は、誤検出を防ぐための閾値の下限値１１よりも大きいために、閾値を１１〜２９の間において設定していれば、検出漏れを防ぐことができる。

こうして、本実施形態の構成によれば、誤検出の抑制と、検出漏れの低減と、の両立を図ることが可能となっている。

このような実施形態１によれば、撮影シーンを判定して、低相関シーンであるときには着目画素との相関性が高い周辺画素から算出された相関評価値の重みを重くして重み付け加算することにより、着目画素の孤立点度を算出するようにしたために（逆にいえば、低相関シーンでないときには着目画素との相関性が低い周辺画素から算出された相関評価値の重みもある程度加味して重み付け加算することにより、着目画素の孤立点度を算出するようにしたために）、撮像装置の機構に依存することなく（具体例としては、メカニカルシャッタ等の遮光機構を必須とすることなく）ＦＰＮを適切に補正することが可能となる。しかも、撮影シーン判定の結果に基づいているために、このＦＰＮ補正は、被写体に依らないロバスト性の高い補正となる。

このとき、ＦＰＮを補正することにより画質劣化を低減することができるだけでなく、ＦＰＮと誤判定することに起因する画質劣化が起こり難い利点がある。例えば、星空撮影において星の画像が複数画素に渡っている場合に、星の画像の輪郭部分がＦＰＮであると誤判定されると星の輪郭が削られて小さくなってしまうことがあるが、星空撮影シーンの場合には相関性の高い周辺画素との間の相関評価値のみが考慮されるために孤立点であると判定される誤判定を減らすことができ、こうした形状の欠落を軽減することができる。

また、取得された画像自体からＦＰＮを検出して補正しているために、製品出荷後に発生した後発のＦＰＮについても有効に低減することができる。

さらに、従来技術のような、メカニカルシャッタを閉じた状態で暗画像を取得してＦＰＮを検出する操作や、検出したＦＰＮを事前登録する操作などが不要となるために、手間を省いてユーザビリティーを向上することができる。

そして、画像中に例えば線状をなす強いエッジが存在し、エッジ上にＦＰＮが存在している場合に、もしエッジ方向とは異なる方向の相関性が高い周辺画素のみが孤立点検出に用いられるとＦＰＮでないとの誤判定が生じる可能性があるが、低相関シーンでない一般撮影シーンでは相関性が低い周辺画素も孤立点検出に用いられるために、こうした誤検出を低減することができる。そして、低相関シーンである星空撮影シーンの場合には、極端に強いエッジが存在することは少ないために、撮影シーンとの親和性も高い。

また、低相関シーンであるときには着目画素との相関性が低い周辺画素から算出された相関評価値の重みを０にすることにより、相関評価値の算出に用いる周辺画素を実質的に選択するようにしたために、相関性が低い周辺画素の影響を受けることなく低相関シーンにおける孤立点を正確に検出することが可能となる。

さらに、低相関シーンである度合いの高さに応じて、着目画素との相関性が高い周辺画素から算出された相関評価値の、孤立点度を算出する際の重み付けを重くするようにしたために、撮影シーンに応じた適切な孤立点の検出を行うことができる。

そして、着目画素の画素値と周辺画素の画素値との差分絶対値として算出した相関評価値の重みを、相関評価値が小さいほど重くするようにしたために、相関性の評価を差分絶対値に基づき行って、差分絶対値に大きさに応じた重み付けで孤立点度を簡単かつ適切に算出することができる。

加えて、相関評価値の算出および孤立点度の算出を四則演算に基づき行うようにしたために、コンピュータ演算に適した処理を行うことができ、ＦＰＮ検出処理に要する時間を短縮することができる。

また、固定パターンノイズ補正を、着目画素の画素値の少なくとも一部を周辺画素の画素値により置き換えることで行うようにしたために、周辺画素との親和性が高い補正を行うことができる。

さらに、固定パターンノイズ補正を、孤立点度が所定の閾値以上である場合に孤立点度に応じた強度で行うようにしたために、ＦＰＮでない画素の補正を行うことはなく、強いＦＰＮは高い強度で補正することができ、ＦＰＮの影響が十分に低減された高品質の画像を取得することが可能となる。

そして、固定パターンノイズ補正を、上述した数式１６により行うようにしたために、コンピュータ演算に適した処理を行うことができ、ＦＰＮ補正処理に要する時間を短縮することができる。

加えて、撮影シーンの判定を、焦点距離と、輝度値と、固定パターンノイズ補正強度の設定値と、撮影時刻と、位置情報と、フォーカス情報と、撮像装置のブレ量と、被写体の移動量と、輝度分布情報と、絞り値と、シャッタ速度と、ＩＳＯ感度と、の内の少なくとも１つを用いて行うようにしたために、画像の取得に付随して得られる各種の情報に基づく簡便なシーン判定が可能となる。このとき、複数の情報を用いることで、より正確なシーン判定を行うことができる。

また、星空撮影シーンを低相関シーンと判定するようにしたために、固定パターンノイズが目立ち易い星空撮影に対して有効にＦＰＮ補正を行うことができる。

このとき、星空撮影シーンの方が夜景撮影シーンよりも低相関シーンである度合いが高いと判定するようにしたために、ＦＰＮと誤検出され易い高輝度の点像被写体がより多く存在する星空撮影画像を、より効果的にＦＰＮ補正することができる。

また、画像処理装置を撮像装置に適用したために、撮像装置内でＦＰＮ補正を行うことができ、撮像後に別途の操作を要することなく高品質の画像を取得することができ、ユーザビリティーが向上する。

なお、上述では主として画像処理装置（および画像処理装置が適用された撮像装置）について説明したが、画像処理装置と同様の処理を行うための画像処理方法であっても良いし、コンピュータに画像処理方法を実行させるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…撮像装置
２…ＬＣＤ／ＴＶ
３…フラッシュメモリ
１１…レンズ
１２…絞り
１３…メカニカルシャッタ
１４…駆動部
１５…撮像素子
１６…Ａ−ＡＭＰ
１７…ＡＤＣ
１８…バス
１９…ＤＲＡＭ
２０…画像処理部
２１…露出制御部
２２…焦点検出部
２３…撮像制御部
２４…ジャイロセンサ
２５…加速度センサ
２６…ＧＰＳセンサ
２７…ビデオエンコーダ
２８…ＲＯＭ
２９…操作部
３０…ＣＰＵ
４１…ＷＢ補正処理部
４２…ＦＰＮ処理部
４３…同時化処理部
４４…輝度特性変換部
４５…エッジ強調処理部
４６…ＮＲ処理部
４７…色再現処理部
５１…撮影シーン判定部
５２…相関評価値算出部
５３…重付設定部
５４…孤立点度算出部
５５…ＦＰＮ補正部

Claims (12)

1. 取得された画像の撮影シーンが、着目画素と、該着目画素の近傍に位置する周辺画素と、の相関性が低い孤立点としての被写体を含む低相関シーンであるか否かを判定する撮影シーン判定部と、
   上記画像における、上記着目画素と複数の上記周辺画素との相関性をそれぞれ示す複数の相関評価値を算出する相関評価値算出部と、
   上記画像の撮影シーンが上記低相関シーンであるときには、該低相関シーンでないときよりも、上記着目画素との相関性が高い上記周辺画素から算出された上記相関評価値の重みを重くする重付設定部と、
   上記相関評価値算出部により算出された複数の上記相関評価値を、上記重みに基づき重み付け加算することにより、上記着目画素の孤立点度を算出する孤立点度算出部と、
   上記孤立点度の大きさに応じて、上記着目画素の画素値を、上記周辺画素の画素値に基づき補正する固定パターンノイズ補正部と、
   を備えたことを特徴とする画像処理装置。
2. 上記重付設定部は、上記画像の撮影シーンが上記低相関シーンである度合いが所定の閾度合いよりも高いときには、上記着目画素との相関性が低い上記周辺画素から算出された上記相関評価値の重みを０にすることにより、該相関評価値の算出に用いる周辺画素を実質的に選択することを特徴とする請求項１に記載の画像処理装置。
3. 上記撮影シーン判定部は、さらに、画像の撮影シーンが低相関シーンである度合いを判定し、
   上記重付設定部は、上記画像の撮影シーンが上記低相関シーンであるときに、さらに、該低相関シーンである度合いの高さに応じて、上記着目画素との相関性が高い上記周辺画素から算出された上記相関評価値の、上記孤立点度を算出する際の重み付けを重くすることを特徴とする請求項２に記載の画像処理装置。
4. 上記相関評価値算出部および上記孤立点度算出部は、上記相関評価値の算出および上記孤立点度の算出を、四則演算に基づき行うことを特徴とする請求項３に記載の画像処理装置。
5. 上記相関評価値算出部は、上記相関評価値を、上記着目画素の画素値と上記周辺画素の画素値との差分絶対値として算出し、
   上記重付設定部は、さらに、０にしない上記相関評価値の重みを、該相関評価値が小さいほど重くすることを特徴とする請求項４に記載の画像処理装置。
6. 上記固定パターンノイズ補正部は、上記孤立点度が上記所定の閾値以上である場合には、上記孤立点度に応じた強度で、上記着目画素の画素値の少なくとも一部を上記周辺画素の画素値により置き換えることを特徴とする請求項５に記載の画像処理装置。
7. 上記固定パターンノイズ補正部は、上記着目画素の画素値と、複数の上記周辺画素の画素値に基づき得られる画素値とを、上記孤立点度に応じて重み付け混合した値として、補正後の上記着目画素の画素値を算出することを特徴とする請求項６に記載の画像処理装置。
8. 上記撮影シーン判定部は、上記画像を取得したときの撮影光学系の焦点距離と、上記画像の輝度値と、固定パターンノイズ補正強度の設定値と、上記画像の撮影時刻と、上記画像を取得したときの位置情報と、フォーカス情報と、上記画像を取得したときの撮像装置のブレ量と、上記画像における被写体の移動量と、上記画像の輝度分布情報と、絞り値と、シャッタ速度と、ＩＳＯ感度と、の内の少なくとも１つを用いて、上記撮影シーンの判定を行うことを特徴とする請求項１に記載の画像処理装置。
9. 上記撮影シーン判定部は、星空撮影シーンを上記低相関シーンと判定することを特徴とする請求項１に記載の画像処理装置。
10. 上記撮影シーン判定部は、星空撮影シーンおよび夜景撮影シーンを上記低相関シーンと判定し、さらに、星空撮影シーンの方が夜景撮影シーンよりも低相関シーンである度合いが高いと判定することを特徴とする請求項３に記載の画像処理装置。
11. 請求項１に記載の画像処理装置と、
    撮像を行って画像を取得する撮像部と、
    を有し、
    上記画像処理装置は、上記撮像部により取得された画像を処理することを特徴とする撮像装置。
12. 取得された画像の撮影シーンが、着目画素と、該着目画素の近傍に位置する周辺画素と、の相関性が低い孤立点としての被写体を含む低相関シーンであるか否かを判定する撮影シーン判定ステップと、
    上記画像における、上記着目画素と複数の上記周辺画素との相関性をそれぞれ示す複数の相関評価値を算出する相関評価値算出ステップと、
    上記画像の撮影シーンが上記低相関シーンであるときには、該低相関シーンでないときよりも、上記着目画素との相関性が高い上記周辺画素から算出された上記相関評価値の重みを重くする重付設定ステップと、
    上記相関評価値算出ステップにより算出された複数の上記相関評価値を、上記重みに基づき重み付け加算することにより、上記着目画素の孤立点度を算出する孤立点度算出ステップと、
    上記孤立点度の大きさに応じて、上記着目画素の画素値を、上記周辺画素の画素値に基づき補正する固定パターンノイズ補正ステップと、
    を有することを特徴とする画像処理方法。

Images