JP2017195442A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】撮影画像に対する適切な領域弁別を可能とし、領域ごとに適切な画像処理を可能にすることを課題とする。【解決手段】全体制御演算部（１０９）は、撮影画像から星空画像の占有画像領域を選出して、その占有画像領域のヒストグラムに基づいて撮影画像を星領域と空領域とに弁別する。撮像信号処理部（１０７）は、星領域と空領域ごとに、それら星領域と空領域に応じた画像処理（ノイズリダクション処理等）を行う。【選択図】図１

Description

本発明は、撮影された画像を処理する画像処理装置、画像処理方法、及びプログラムに関する。

近年は、デジタルスチルカメラやデジタルビデオカメラにおいて、星空を主被写体とした星空画像の撮影を可能にする機能へのニーズが高まっている。デジタルカメラにおける星空画像の撮影では、暗い星をより明るく撮るために撮像素子の高感度化が必要であるが、撮像素子の高感度化ではランダムノイズの発生が問題となる。星空画像撮影の際のランダムノイズ低減には、星空画像内で星が写っている領域（以下、星領域とする。）と空が写っている領域（以下、空領域とする。）に対し、それぞれ異なる適切な画像処理を施すことが効果的である。この画像処理を実施するためには、星空画像を星領域と空領域とに適切に弁別する必要がある。

特許文献１には、星空画像を空領域（バックグラウンド）と星領域とに分ける際、星空画像からヒストグラムを生成し、そのヒストグラムを用いて星空画像を空領域と星領域とに分ける手法が開示されている。この特許文献１では、ヒストグラムの最大ピークが空領域に起因しており、その最大ピークを基準にすることで空領域の明度を算出し、その空領域の明度に基づいて星空画像を空領域と星領域とに分けている。

特開２００２−２２００９８号公報

しかしながら、特許文献１に記載の技術は、星空のみを撮影した星空画像を対象として空領域と星領域の領域弁別を行うようになされているため、例えば星空以外の風景や建物が写りこんでいるような星空画像には適用できない。例えば、建物等が写りこんだ星空画像の場合、ヒストグラムの最大ピークは建物に起因したものとなり、このため、建物などに起因した最大ピークが基準になされて明度が算出されてしまう。したがって、この場合、空領域の正しい明度が算出されず、空領域と星領域の領域弁別が適切になされなくなって、領域ごとに適切な画像処理を施すことができなくなる。

そこで、本発明は、撮影画像に対する適切な領域弁別を可能にして、領域ごとに適切な画像処理を可能にすることを目的とする。

本発明は、撮影画像から所定の画像により占有されている占有画像領域を選出して、前記占有画像領域のヒストグラムに基づいて前記撮影画像を領域弁別し、前記領域弁別された領域ごとに、各領域に応じた画像処理を行うことを特徴とする。

本発明によれば、撮影画像に対する適切な領域弁別が可能となり、領域ごとに適切な画像処理が可能になる。

実施形態の撮像装置の概略構成を示す図である。 星空以外の風景が写りこんだ星空画像のヒストグラムの例を示す図である。 第１の実施形態における撮影動作のフローチャートである。 領域分割処理の詳細なフローチャートである。 領域分割の一例を示す図である。 領域弁別処理の詳細なフローチャートである。 実施形態における星空占有領域の画像のヒストグラムを示す図である。 第２の実施形態における撮影動作のフローチャートである。 第２の実施形態の表示枠とメッセージの表示例を示す図である。

以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
図１は、本実施形態の画像処理装置の一適用例としての撮像装置の概略的なシステム構成を示す図である。本実施形態の撮像装置は、例えばデジタルスチルカメラやデジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末などの各種携帯情報端末などに適用可能である。図１に示す撮像装置は、レンズ１０１、レンズ駆動部１０２、メカシャッタ１０３、絞り１０４、シャッタ・絞り駆動部１０５、撮像素子１０６を有する。さらに、撮像装置は、撮像信号処理部１０７、第１メモリ部１０８、全体制御演算部１０９、記録媒体制御Ｉ／Ｆ部１１０、表示部１１１、記録媒体１１２、外部Ｉ／Ｆ部１１３、第２メモリ部１１４、操作部１１５を有する。

レンズ１０１は、ズームレンズ、フォーカスレンズを有し、レンズ駆動部１０２によりズームレンズやフォーカスレンズ等が駆動される。メカシャッタ１０３と絞り１０４は、シャッタ・絞り駆動部１０５により駆動される。レンズ１０１を通った被写体像は、絞り１０４にて適切な光量に調整され、撮像素子１０６に結像される。被写体像として撮像素子１０６に入射した光は、撮像素子１０６内で光電変換されて電気信号に変換される。撮像素子１０６は、相関２重サンプリング（ＣＤＳ）回路、利得調整回路、Ａ／Ｄ変換回路等を有している。撮像素子１０６では、光電変換により得られた電気信号に対し、ＣＤＳ回路、利得調整回路、及びＡ／Ｄ変換回路により、相関２重サンプリング、利得調整、アナログ信号からデジタル信号への変換が行われる。

撮像素子１０６から出力されたデジタル信号は、撮像信号処理部１０７に送られる。撮像信号処理部１０７は、本実施形態の処理手段、領域弁別手段の一例である。撮像信号処理部１０７は、例えば、ノイズを軽減するローパスフィルタ処理やノイズリダクション処理、シェーディング補正処理、ホワイトバランス（ＷＢ）処理などの各種の画像信号処理、その他の各種の補正処理、画像データの圧縮処理等を行う。また、詳細は後述するが、撮像信号処理部１０７は、撮影画像を複数の画像領域に分割する領域分割処理、領域分割された各画像領域や撮影画像全体のヒストグラムの生成処理、撮影画像から星領域と空領域とを弁別する領域弁別処理等を行う。撮像信号処理部１０７により信号処理が施された後の画像データは、第１メモリ部１０８に格納される。以後、これらレンズ１０１から入射した被写体像をデジタル信号に変換し、撮像信号処理部１０７により信号処理を行って第１メモリ部１０８に格納するまでの一連の動作を、撮影動作と呼び、その撮影動作により得られた画像を撮影画像と呼ぶ。

全体制御演算部１０９は、撮像装置全体の制御と各種演算を行う。第１メモリ部１０８は、撮影画像の画像データを一時的に記憶する。記録媒体１１２は、半導体メモリ等の着脱可能記憶媒体であり、記録媒体制御Ｉ／Ｆ部１１０により、撮影画像の画像データの記録又は読み出しが行われる。記録媒体制御Ｉ／Ｆ部１１０は、全体制御演算部１０９による制御の下で、記録媒体１１２に対し撮影画像の画像データを記録し、また、記録媒体１１２に記録された撮影画像の画像データを読み出す。表示部１１１は、撮影画像の画像データから表示画像を生成して、液晶ディスプレイなどの表示装置の画面上に表示させる。外部Ｉ／Ｆ部１１３は、外部コンピュータ等と通信を行うためのインターフェースである。第２メモリ部１１４は、全体制御演算部１０９による演算結果のデータを記憶する。操作部１１５は、ユーザにより操作される。例えば、画像撮影の際、ユーザが操作部１１５を介して入力したＩＳＯ感度や絞り値、シャッタースピード等の撮影条件に関する情報は、全体制御演算部１０９に送られる。このときの全体制御演算部１０９は、これらの撮影条件に関する情報に基づいて撮像装置全体を制御して、ＩＳＯ感度や絞り値、シャッタースピードなどを設定する。全体制御演算部１０９は、本実施形態における選出手段と制御手段の機能も実現している。

また、本実施形態の撮像装置は、撮像素子１０６の高感度化により、例えば星空を主被写体とする星空画像の撮影が可能となされている。本実施形態の撮像装置は、星空画像を撮影した場合、その星空画像から、星が写っている領域（星領域）と、バックグランドである空が写っている領域（空領域）とに弁別する領域弁別処理を行う。

ここで、例えば星空画像の中に山や建物などの星空以外のオブジェクトが写りこんでいる場合について考えてみる。図２は、星空画像の中に、山や建物などが写りこんでいる場合の星空画像の画素信号値（ＬＳＢ）のヒストグラムの一例を示す図である。図２の例では、星空画像の画素信号値（ＬＳＢ）のヒストグラムの最大ピークＰ１が例えば非常に暗い山や建物などに起因し、その次に大きなピークＰ２が山や建物などよりも明るい空領域に起因しているとする。この図２のような場合、前述した特許文献１等に記載された従来の手法では、暗い山や建物などに起因した最大ピークＰ１が基準となされて撮影画像の明度が算出されることになる。この場合、星空画像のうち星ではないバックグランドの空の明度が適切に算出されず、このため、星空画像から空領域と星領域を適切に弁別することができなくなる。空領域と星領域の領域弁別が適切になされなかった場合、例えば本来ならば空領域に適したノイズリダクション処理等が行われるべき領域に対して、適切なノイズリダクション処理が行われず、空領域に目立つノイズが残った星空画像になってしまうことがある。逆に、星領域に対して例えば過剰なノイズリダクション処理等が行われてしまうことで、例えば光の弱い小さな星が消されてしまった星空画像や、殆ど見えなくなった星空画像になってしまうことがある。

このようなことから、本実施形態の撮像装置は、星空画像の中から、星空以外の建物や山等のオブジェクトが存在していない星空占有領域を、本実施形態における占有画像領域として選出する。また、本実施形態の撮像装置は、その星空占有領域から生成したヒストグラムを基に、星空画像の星領域と空領域とを弁別する領域弁別処理を行う。そして、撮像装置は、その領域弁別により分けられた星領域と空領域に対し、それぞれ異なる適切な画像処理（ノイズリダクション処理等）を施すことで、星空画像からランダムノイズが効果的に低減された、高画質の星空画像を生成可能としている。

＜第１の実施形態の領域弁別処理と画像処理＞
図３は、図１に示した撮像装置において、星空画像の撮影が行われ、その星空画像を星領域と空領域に領域弁別し、それら星領域と空領域にそれぞれ適切な信号処理（例えばノイズリダクション処理）が行われるまでの動作を示すフローチャートである。図３のフローチャートに示した処理は、本実施形態に係る画像処理プログラムを、例えばＣＰＵが実行することにより実現されてもよい。本実施形態に係る画像処理プログラムは、例えば不図示のＲＯＭ等に予め用意されていてもよく、また不図示の外部記憶媒体から読み出されたり、不図示のインターネット等のネットワークからダウンロードされたりして、不図示のＲＡＭ等にロードされてもよい。以下の説明では、図３の各処理のステップＳ１０１〜ステップＳ１０５をＳ１０１〜Ｓ１０５と略記し、これは他のフローチャートにおいても同様とする。

撮像装置の全体制御演算部１０９は、図３のＳ１０１において、操作部１１５を介してユーザから入力された撮影条件に関する情報に基づき、画像撮影のための各種パラメータを初期化し、その初期化したパラメータを第２メモリ部１１４に記憶させる。ユーザにより入力される撮影条件に関する情報は、前述した画像撮影の際のＩＳＯ感度や絞り値、シャッタースピード等の情報である。Ｓ１０１の後、全体制御演算部１０９は、Ｓ１０２に処理を進める。

Ｓ１０２では、全体制御演算部１０９は、レンズ駆動部１０２、シャッタ・絞り駆動部１０５、撮像素子１０６、撮像信号処理部１０７、第１メモリ部１１４を制御して、撮像動作を行わせる。撮像動作により第１メモリ部１１４に格納された撮影画像は、横方向（水平方向）がＭ［ピクセル］、縦方向（垂直方向）がＮ［ピクセル］の画像であり、各画素の画素値はＦ（ｉ，ｊ）で表され、Ｆは画素信号値、ｉとｊは（０≦ｉ≦Ｍ，０≦ｊ≦Ｎ）である。Ｓ１０２の後、全体制御演算部１０９は、Ｓ１０３に処理を進める。

Ｓ１０３の処理は、全体制御演算部１０９と撮像信号処理部１０７により行われる。Ｓ１０３において、撮像信号処理部１０７は、撮影画像を複数の領域に均等に分割し、全体制御演算部１０９は、それら複数に分割された領域の中で、星空のみで占有されている占有画像領域（星空占有領域）を選出する処理を行う。以下の説明では、Ｓ１０３の処理を領域分割処理と呼ぶことにする。領域分割処理の詳細は後述する。Ｓ１０３の後、全体制御演算部１０９は、Ｓ１０４に処理を進める。

Ｓ１０４の処理は、全体制御演算部１０９による制御の下で、撮像信号処理部１０７により行われる。Ｓ１０４において、撮像信号処理部１０７は、Ｓ１０３で選出された星空占有領域の画像に基づいて、撮影画像の全ての画素をそれぞれ２値化する。以下、撮影画像の全画素を２値化した後の画像を２値化画像と呼ぶ。２値化画像の各画素の画素値はＢ（ｉ，ｊ）で表され、Ｂは"０"又は"１"の値となり、ｉとｊは（０≦ｉ≦Ｍ，０≦ｊ≦Ｎ）である。以下の説明では、Ｓ１０４の処理を領域弁別処理と呼ぶことにする。領域弁別処理の詳細は後述する。Ｓ１０４の後、全体制御演算部１０９は、Ｓ１０５に処理を進める。

Ｓ１０５の処理は、全体制御演算部１０９による制御の下で、撮像信号処理部１０７により行われる。Ｓ１０５において、撮像信号処理部１０７は、２値化画像を基に、撮影画像を星領域と空領域とに弁別し、それら星領域と空領域に対してそれぞれ異なる適切なノイズリダクション処理を行う。２値化画像を基に、撮影画像を星領域と空領域とに弁別する領域分割処理の詳細は後述する。

ここで、空領域に適用する処理をノイズリダクションＡ、星領域に適用する処理をノイズリダクションＢとした場合、撮像信号処理部１０７は、下記のような条件分岐によりノイズリダクションの処理を分けている。
Ｂ（ｉ,ｊ）＝０の場合はＦ（ｉ,ｊ）にノイズリダクションＡをかける。
Ｂ（ｉ,ｊ）＝１の場合はＦ（ｉ,ｊ）にノイズリダクションＢをかける。
なお、分岐条件の詳細については後述する。また、ノイズリダクション処理自体は公知の処理でありここではその詳細な説明については省略する。Ｓ１０５のノイズリダクション処理後、全体制御演算部１０９は、図３のフローチャートの処理を終了する。

図４は、図３のＳ１０３にて行われる領域分割処理のフローチャートである。
図４のＳ２０１では、撮像信号処理部１０７は、撮影画像を任意の数の領域に均等に分割する処理を行う。一例として、図５に示すように、撮像信号処理部１０７は、撮影画像を３×３の９個の領域Ｄ１〜Ｄ９に均等に分割する。なお、Ｓ２０１では、均等分割だけでなく、各領域の大きさを異ならせるような分割が行われてもよい。Ｓ２０１の後、撮像信号処理部１０７は、Ｓ２０２に処理を進める。

Ｓ２０２では、撮像信号処理部１０７は、Ｓ２０１で９個に分割された領域Ｄ１〜Ｄ９から、それぞれの画素信号値（ＬＳＢ）のヒストグラムを生成して、それら各ヒストグラムのデータを全体制御演算部１０９に送る。このときの全体制御演算部１０９は、撮像信号処理部１０７から得られたヒストグラムの比較演算処理を行って、後述するように、各領域Ｄ１〜Ｄ９の中から星空占有領域を選出する処理を行う。Ｓ２０２の後、全体制御演算部１０９は、図４のフローチャートの処理を終了して、図３のＳ１０４に処理を進める。

以下、図４のＳ２０２で行われる星空占有領域の選出処理の詳細について説明する。
全体制御演算部１０９は、図４のＳ２０２において、撮像信号処理部１０７が各領域Ｄ１〜Ｄ９からそれぞれ生成したヒストグラムを用い、下記の第１条件〜第３条件による条件判別を行うことにより、各領域Ｄ１〜Ｄ９の中から星空占有領域を選出する。なお、下記の第１条件〜第３条件におけるα、β、γ、δは任意の値であり、星空占有領域の判別精度によって決められる。ただし、α≧０、β≧１、γ≧２、δ≧０である。

第１条件は、各領域Ｄ１〜Ｄ９のそれぞれの領域内平均値ＡＤｎ（ｎ＝１，２，３，・・・，９）と、撮影画像の全域（全画素）の信号値を積分して平均を求めた画像内平均値Ａａとで、下記式（１）を満たすか否かという条件である。
ＡＤｎ＞Ａａ＋α ・・・式（１）

第２条件は、各領域Ｄ１〜Ｄ９のヒストグラムにおいて、極大点の度数が所定値以上となるピーク数が所定個数以上存在しているか否かという条件である。本実施形態では、第２条件は、例えば極大点の度数がβ以上となるピーク数がγ個以上分布しているか否かという条件である。

第３条件は、撮像素子１０６の出力信号における所定の標準偏差σと、主なピーク（例えば最大ピーク）の半値幅Ｈｗとが、下記式（２）を満たすか否かという条件である。なお、標準偏差σは、レンズ１０１から絞り１０４までの光学系及び撮像素子１０６に起因したシェーディングの情報と、ＩＳＯ感度設定やシャッタースピード等に応じて撮像素子１０６に生ずるランダムノイズのばらつきとにより求められる値である。標準偏差σは、撮影動作ごとに求められてもよいし、予め求めておいてもよい。
σ＜Ｈｗ＋δ ・・・式（２）

ここで、前述した第１条件は、撮影画像から、明らかに明るい領域であると判定できる領域を除外するための条件である。第２条件は、撮影画像から、星空以外の建物や山等のオブジェクトが写っている領域を除外するための条件である。第３条件は、撮影画像から、一般的な星空のみの領域から求められるヒストグラムに対して明らかにかけ離れた形状のヒストグラムを持つ領域を除外するための条件である。

全体制御演算部１０９は、分割された各領域Ｄ１〜Ｄ９のうち、第１条件〜第３条件に一つでも当てはまる領域は星空占有領域でないと判定し、一方、全てに当てはまらない領域は星空占有領域であるとして選出する。図５の例の場合、分割された９個の領域Ｄ１〜Ｄ９のうち、第１条件〜第３条件に一つも当てはまらないのは、領域Ｄ１，Ｄ２，Ｄ３であると考えられる。より具体的に説明すると、領域Ｄ１，Ｄ２，Ｄ３は、星空のみが写っている領域であるため、第１条件と第２条件には当てはまらず、また第３条件についても当てはまらないと考えられる。一方、領域Ｄ４，Ｄ５，Ｄ６は、星空だけでなく、山の一部（稜線等）などの他のオブジェクトも写っている領域であるため、第２条件に当てはまると考えられる。また、領域Ｄ７，Ｄ８，Ｄ９は、星空が写っておらず、山腹や森等の様々なオブジェクトが写っているため、第３条件に当てはまると考えられる。したがって、全体制御演算部１０９は、Ｓ２０２において、９個の領域Ｄ１〜Ｄ９のうち、第１条件〜第３条件の何れにも当てはまらない、領域Ｄ１，Ｄ２，Ｄ３を、星空占有領域として選出することになる。

また、本実施形態の撮像装置は、例えば、ヒストグラムのピーク数が多過ぎる場合には、ヒストグラムの分解能を下げるようにしてピーク数を減らしてから、その中の最大ピークを検出するようなことも可能となされている。逆に、ヒストグラムからピーク検出が困難な場合、本実施形態の撮像装置は、ヒストグラムの分解能を上げることでピーク検出を可能にしてから、最大ピークを検出するようなことも可能となされている。以下、ヒストグラムの分解能が変更される例について、ヒストグラムのダイナミックレンジが２５６ＬＳＢであり、ヒストグラムの分解能の初期設定が２ＬＳＢであった場合を例に挙げて説明する。

ヒストグラムのピーク数が多過ぎる場合、例えば各領域Ｄ１〜Ｄ９の全てが第２条件に当てはまってしまい、本来ならば星空占有領域として選出されるべき領域が選出されなくなることがある。このため、ヒストグラムのピーク数が多過ぎて各領域Ｄ１〜Ｄ９の全てが第２条件に当てはまるような場合、全体制御演算部１０９は、撮像信号処理部１０７を制御して、分解能を初期設定の２ＬＳＢから例えば４ＬＳＢに下げてヒストグラムを生成させる。このように、分解能を４ＬＳＢに下げることでヒストグラムのピーク数を減らしてから、ヒストグラム比較演算処理をやり直せば、星空占有領域として選出されるべき領域を、正しく選出できる可能性が高くなる。なお、分解能を４ＬＳＢに下げても、依然としてヒストグラムのピーク数が多い場合には、全体制御演算部１０９は、撮像信号処理部１０７を制御して、さらに分解能を下げるようにしてもよい。

一方、ヒストグラムからピーク検出が困難な場合には、例えば本来ならば星空占有領域として選出されるべき領域が、第３条件に当てはまる領域として判定されてしまうようになる可能性が高い。このため、ヒストグラムからピーク検出が困難で各領域Ｄ１〜Ｄ９の全てが第３条件に当てはまってしまう場合、全体制御演算部１０９は、撮像信号処理部１０７を制御して、分解能を初期設定の２ＬＳＢから例えば１ＬＳＢに上げてヒストグラムを生成させる。このように、分解能を１ＬＳＢに上げることでヒストグラムからピーク検出を可能にしてから、ヒストグラム比較演算処理をやり直せば、星空占有領域として選出されるべき領域を、正しく選出できる可能性が高くなる。なお、分解能を１ＬＳＢに下げても、ヒストグラムのピーク検出が困難な場合には、全体制御演算部１０９は、撮像信号処理部１０７を制御して、さらに分解能を上げる（例えば小数点で表される分解能に上げる）ようにしてもよい。

図６は、図３のＳ１０４にて行われる領域弁別処理のフローチャートである。
図６のＳ５０１では、撮像信号処理部１０７は、前述した各領域Ｄ１〜Ｄ９の中から星空占有領域として選出された領域（以下、領域Ｘとする。）のヒストグラム（以下、ヒストグラムＨｘとする。）を生成する。図５の例の場合、星空占有領域として選出された領域Ｄ１，Ｄ２，Ｄ３の３つを統合した領域が領域Ｘであり、撮像信号処理部１０７は、その領域ＸのヒストグラムＨｘを求める。図７は、領域ＸのヒストグラムＨｘの例を示しており、全体制御演算部１０９は、ヒストグラムＨｘの最大ピーク点Ｐ（ｐ,ｑ）を算出する。なお、ｐは画素信号値、ｑは個数である。Ｓ５０１の後、全体制御演算部１０９は、Ｓ５０２に処理を進める。

Ｓ５０２では、全体制御演算部１０９は、ヒストグラムＨｘと最大ピーク点Ｐ（ｐ,ｑ）とを基に、ｐ＜ｐ'かつ０．５ｌｏｇ（ｑ）≒ｑ'となる点Ｐ'（ｐ'，ｑ'）を検出し、その点Ｐ'（ｐ'，ｑ'）から閾値Ｓ＝ｐ'を算出する。Ｓ５０２の後、全体制御演算部１０９は、Ｓ５０３に処理を進める。

Ｓ５０３では、全体制御演算部１０９による制御の下、撮像信号処理部１０７は、閾値Ｓ（＝ｐ'）と、撮影画像の各画素値Ｆ（ｉ，ｊ）（０≦ｉ≦Ｍ，０≦ｊ≦Ｎ）とを、下記式（３）、式（４）により比較して、撮影画像の全ての画素を２値化する。これにより、２値化画像（各画素の画素値Ｂ（ｉ，ｊ）（０≦ｉ≦Ｍ，０≦ｊ≦Ｎ））が得られる。
Ｆ（ｉ，ｊ）＞Ｓの場合、Ｂ（ｉ，ｊ）＝１ ・・・式（３）
Ｆ（ｉ，ｊ）≦Ｓの場合、Ｂ（ｉ，ｊ）＝０ ・・・式（４）

ここで、本実施形態において、閾値Ｓは、撮影画像の各画素を星領域の画素として扱うか、又は、星領域以外の領域（空領域）の画素として扱うかを、判別するための閾値として使用される。また本実施形態において、閾値Ｓは、図７の領域Ｄ１，Ｄ２，Ｄ３の星空占有領域のヒストグラム（Ｈｘ）から生成された値であり、領域Ｄ４〜Ｄ９のような星空以外のオブジェクトによる影響を受けていない値である。そして、本実施形態では、撮影画像と閾値Ｓとの比較により、撮影画像を２値化して２値化画像を生成し、この２値化画像の２値の"０"と"１"に基づいて、撮影画像の各画素を星領域の画素とそれ以外の領域（空領域や建物等の領域）とに弁別する。このように、本実施形態では、撮影画像の各画素は、星領域の画素とそれ以外の領域（空領域）とに適切に弁別されている。このため、本実施形態では、撮影画像の星領域に対する適切なノイズリダクション処理と、空領域に対する適切なノイズリダクション処理とを行うことができる。したがって、本実施形態によれば、高感度条件下で撮影された星空画像の空領域のランダムノイズが良好に補正され、また、明るさが少ない小さな星領域が消されてしまうようなことがない、高画質な星空画像が得られるようになる。

以上説明したように、第１の実施形態によれば、星空と共に例えば山や建物などの風景が写りこんだ画像においても、適切に星領域と空領域を弁別することができる。したがって、第１の実施形態によれば、星領域と空領域に対してそれぞれ適切なノイズリダクション処理等の信号処理を施すことが可能となり、星の解像度を落とさず、高感度条件下でもランダムノイズの少ない高画質な星空画像を得ることが可能となる。

＜第２の実施形態における領域弁別処理＞
第２の実施形態では、撮影時に、ユーザに対して、撮影を行う際の構図内の所定の枠内に星空のみを入れるように要請し、その所定の枠内の画像領域を星空占有領域とする例である。第２の実施形態の場合、撮像装置は、撮影時の構図内に所定の枠を設定し、ユーザに対して、その枠内に被写体として星空のみを入れるように促す。そして、第２の実施形態の撮像装置は、その枠内の画像領域から得られるヒストグラムを基に、星空画像を星領域と空領域に弁別する。第２の実施形態の撮像装置のシステム構成は図１と同様であるため、構成の説明については省略する。

図８は、第２の実施形態の撮像装置において、星空画像の撮影が行われ、その星空画像を星領域と空領域に弁別し、それら星領域と空領域でそれぞれ信号処理（例えばノイズリダクション処理）が行われるまでの動作を示すフローチャートである。Ｓ６０１の処理は、第１の実施形態における図３のＳ１０１の処理と同様であるため、ここでは説明を省略する。Ｓ６０１の後、全体制御演算部１０９は、Ｓ６０２に処理を進める。

Ｓ６０２では、全体制御演算部１０９は、表示部１１１の画面に表示されているライブビュー画像に対して重ねるようにして、被写体として星空のみが入るようにユーザに促すための所定の枠を示す表示枠を表示させる。また、全体制御演算部１０９は、その表示枠内に、被写体として星空のみを入るようにユーザに促す内容のメッセージについても表示させる。全体制御演算部１０９は、本実施形態におけるガイド情報としてそれら表示枠の画像情報やメッセージの画像情報を生成して、表示部１１１に画面表示させる。第２の実施形態の場合、その表示枠内の画像が星空占有領域として選出されることになる。

図９は、第２の実施形態において、表示部１１１の表示画面例を示す図である。図９の例では、図中点線で示す表示枠７０１が、被写体として星空のみを入れることをユーザに要請するための所定の枠となされている。また、表示枠７０１内の例えば上部には、一例として「この枠に星空のみをいれてください」のメッセージが表示される。なお、図９の例では、実際の星空撮影条件を鑑みて、表示枠７０１が画面上部に配置されているが、表示枠７０１は例えば画面中央部付近に配置されてもよい。

また、表示枠７０１の大きさや表示位置は、例えばユーザによる操作部１１５を介した操作により変更することも可能となされている。これにより、ユーザが撮影したい構図内の星空領域の位置及び範囲に合わせるように、表示枠の大きさと位置を設定することが可能となり、撮像装置は、その表示枠内の画像を星空占有領域とすることができる。Ｓ６０２の後、全体制御演算部１０９は、Ｓ６０４に処理を進める。

Ｓ６０４では、全体制御演算部１０９は、Ｓ６０２においてユーザにより星空のみが被写体として入れられた表示枠、若しくは、ユーザ自身が操作部１１５を介して指定した表示枠による星空占有領域に対して、第１の実施形態と同様の領域弁別処理を行う。第２の実施形態の場合、表示枠による星空占有領域のヒストグラムＨｘを求め、以下、前述の第１の実施形態の図６で説明したのと同様にして２値化画像を生成する。Ｓ６０４の後、全体制御演算部１０９は、Ｓ６０５に処理を進める。Ｓ６０５の処理は、図１のＳ１０５の処理と同様であるため、その説明は省略する。

以上説明したように、第２の実施形態においても前述した第１の実施形態の場合と同様に、適切に星領域と空領域を弁別することができ、したがって、星領域と空領域に対して適切な信号処理を施すことが可能となり、高画質な星空画像を得ることが可能となる。また、第２の実施形態の場合、第１の実施形態のように複数に分割した領域Ｄ１〜Ｄ９についてそれぞれヒストグラムを生成して比較演算を行うような処理が無いため、比較的簡易かつ少ない演算量で上述した星領域と空領域の領域弁別処理が実現可能となる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１ 撮像素子、１０７ 撮像信号処理部、１０８ 第１メモリ部、１０９ 全体制御演算部、１１１ 表示部、１１４ 第２メモリ部、１１５ 操作部

Claims (19)

1. 撮影により得られた撮影画像から、所定の画像により占有されている占有画像領域を選出する選出手段と、
   前記選出された前記占有画像領域のヒストグラムに基づいて、前記撮影画像を領域弁別する領域弁別手段と、
   前記領域弁別された領域ごとに、各領域に応じた画像処理を行う処理手段と、
   を有することを特徴とする画像処理装置。
2. 前記選出手段は、前記撮影画像を複数の画像領域に分割し、前記複数に分割された画像領域ごとのヒストグラムに基づいて、前記撮影画像から、前記所定の画像による前記占有画像領域を選出することを特徴とする請求項１に記載の画像処理装置。
3. 前記選出手段は、所定の条件を用いた条件判別により、前記複数に分割された画像領域ごとに、前記占有画像領域であるか否かを判別することを特徴とする請求項２に記載の画像処理装置。
4. 前記選出手段は、前記占有画像領域であると判別された複数の画像領域を統合し、
   前記領域弁別手段は、前記複数の画像領域が統合された前記占有画像領域の前記ヒストグラムに基づいて前記領域弁別を行うことを特徴とする請求項３に記載の画像処理装置。
5. 前記選出手段は、前記所定の条件として、前記複数の画像領域ごとの画素値の平均値が前記撮影画像の画素値の平均値より大きいか否かを判別する第１の条件を用い、前記第１の条件を満たす前記画像領域を、前記占有画像領域から除外することを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記選出手段は、前記所定の条件として、前記複数の画像領域ごとのヒストグラムに所定値以上のピークが所定個数以上存在するか否かを判別する第２の条件を用い、前記第２の条件を満たす前記画像領域を、前記占有画像領域から除外することを特徴とする請求項３乃至５の何れか１項に記載の画像処理装置。
7. 前記選出手段は、前記複数の全ての画像領域が前記第２の条件を満たす場合には、前記複数の画像領域ごとのヒストグラムの分解能を初期設定の分解能より下げることを特徴とする請求項６に記載の画像処理装置。
8. 前記選出手段は、前記所定の条件として、前記撮影画像の画像信号に基づく所定の標準偏差よりも、前記複数の画像領域ごとのヒストグラムの最大ピークの半値幅が大きいか否かを判別する第３の条件を用い、前記第３の条件を満たす前記画像領域を、前記占有画像領域から除外することを特徴とする請求項３乃至７の何れか１項に記載の画像処理装置。
9. 前記標準偏差は、前記撮影画像を撮影する際の光学系及び撮像素子に応じたシェーディングの情報と、前記撮影画像を撮影する際のＩＳＯ感度設定に応じて撮像素子に生ずるランダムノイズのばらつきとにより求められる値であることを特徴とする請求項８に記載の画像処理装置。
10. 前記選出手段は、前記複数の全ての画像領域が前記第３の条件を満たす場合には、前記複数の画像領域ごとのヒストグラムの分解能を初期設定の分解能より上げることを特徴とする請求項８又は９に記載の画像処理装置。
11. 前記選出手段は、前記撮影画像の撮影がなされる際に、撮影の構図内に設定された所定の枠内の画像領域を、前記所定の画像により占有されている前記占有画像領域として選出することを特徴とする請求項１に記載の画像処理装置。
12. 前記撮影画像の撮影がなされる際に、撮影の構図内に設定された前記所定の枠内に、前記所定の画像により占有されている画像領域を入れることをユーザに要請するガイド情報を生成して、表示装置に表示させる制御手段を有することを特徴とする請求項１１に記載の画像処理装置。
13. 前記制御手段は、撮影の構図内に設定された前記所定の枠を表す表示枠と、前記表示枠の中に前記所定の画像により占有されている画像領域を入れることをユーザに要請するメッセージとを、前記ガイド情報として生成して、前記表示装置に画面表示させることを特徴とする請求項１２に記載の画像処理装置。
14. 前記制御手段は、ユーザにより設定された位置と大きさの情報に基づいて、前記表示装置に画面表示される前記表示枠の位置と大きさを制御することを特徴とする請求項１３に記載の画像処理装置。
15. 前記領域弁別手段は、前記選出された前記占有画像領域のヒストグラムの最大ピークに基づいて、前記撮影画像の前記領域弁別を行うことを特徴とする請求項１乃至１４の何れか１項に記載の画像処理装置。
16. 前記選出手段は、前記所定の画像として、前記撮影画像から星空の画像のみにより占有されている占有画像領域を選出し、
    前記領域弁別手段は、前記星空の画像のみにより占有されている前記占有画像領域のヒストグラムに基づいて、前記撮影画像を星領域と空領域とに領域弁別し、
    前記処理手段は、前記領域弁別された前記星領域に応じた画像処理と前記空領域に応じた画像処理とを行うことを特徴とする請求項１乃至１５の何れか１項に記載の画像処理装置。
17. 前記処理手段は、前記画像処理として、前記領域弁別された領域ごとに、各領域に応じたノイズリダクション処理を行うことを特徴とする請求項１乃至１６の何れか１項に記載の画像処理装置。
18. 撮影画像から所定の画像により占有されている占有画像領域を選出して、前記占有画像領域のヒストグラムに基づいて前記撮影画像を領域弁別し、前記領域弁別された領域ごとに、各領域に応じた画像処理を行うことを特徴とする画像処理装置の画像処理方法。
19. コンピュータを、請求項１乃至１７の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images