JP5251629B2 - 画像処理装置、撮像装置、画像処理方法、及び、コンピュータプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法、及び、コンピュータプログラムに関する。

従来から、デジタルカメラ等の撮像装置によって撮像された画像データに対し、ホワイトバランスの補正を行う技術がある。ホワイトバランスの補正は、例えば、画像データのＲ、Ｇ、Ｂの信号の比率を変えることにより行う。

特許第３８４９８３４号公報（特許文献１）には、オートホワイトバランスを行うために、撮影ＥＶ値を用いて光源種を判別することと、その光源種に基づいてホワイトバランスの補正を行うことが記載されている。また、例えば、特開２００４−６４４６８号公報（特許文献２）には、画像データのＲＧＢの各色の平均値に基づいて、光源種を判定してホワイトバランス補正を行うことが記載されている。

しかしながら、上記特許文献１及び２に記載のオートホワイトバランス制御方法等の発明では、光源種に基づいて、一枚の画像のデータに対して一様に補正を行うため、一の画像の中で、複数の光源の影響がある場合については考慮されていない。

例えば、一の画像の中で、光源に照射されている部分と、陰となっている部分とでは、それぞれに異なる色特性がある。そのような画像に対し、何れか一方の光源種の影響に基づいて、ホワイトバランスの補正を行うと、他の一方の領域の色が不自然になることがある。

より詳細には、例えば、デジタルカメラのような撮影装置を用いて撮影する際に、被写体に日向領域と日陰領域とがある場合に、全画面に対して、均一なホワイトバランス処理すると日向領域又は日陰領域の色が不自然になることがある。例えば、日陰領域に人物がある場合に、背景にある日向領域に合わせて色を調整すると、人物の顔色は青くなり、不健康な色になる。日陰領域にいる人物に合わせて色を調整すると背景にある緑の森は赤くなり不自然な色になる。

このように、画像の全面に対して、一様にホワイトバランス処理を行うと、画像中に日向領域と日陰領域とが同時に存在するとき、両方の領域に最適な色再現はできない課題があった。

本発明は、上記の点に鑑みて、これらの問題を解消するために発明されたものであり、画像中の光源に照射されている部分と光源から陰となる部分とに、それぞれ最適な画像処理を行う画像処理装置、撮像装置、画像処理方法、及び、コンピュータプログラムを提供することを目的としている。

上記目的を達成するために、本発明の画像処理装置は次の如き構成を採用した。
本発明の画像処理装置は、入力された画像データを、該画像データの特徴量に基づいて、日向領域と日陰領域とに分離する日向日陰分離手段と、前記日向領域に適した画像処理の情報と、前記日陰領域に適した画像処理の情報と、を取得する情報取得手段と、前記日向領域に適した画像処理の情報により、前記日向領域に対する画像処理を行い、及び／又は、前記日陰処理に適した画像処理の情報により、前記日陰領域に適した画像処理を行う、画像処理手段と、を有する画像処理装置であって、前記日向日陰分離手段は、前記画像データの画素の輝度値をＹ、画素の赤成分の値をＲ、画素の青成分の値をＢ、予め定められた第１の傾斜率をＫ、第１の閾値をＹ＿ｔｈｒｅ、前記第１の傾斜率と異なるように予め定められた、空領域を示すための第２の傾斜率をＫｓ、前記第１の閾値と異なるように予め定められた、空領域を示すための第２の閾値をＹ＿ｔｈｒｅＳとしたとき、Ｙ＜Ｋ・Ｂ／Ｒ及びＹ＜Ｙ＿ｔｈｒｅを満たし、かつＹ＜Ｋｓ・Ｂ／Ｒ及びＹ＜Ｙ＿ｔｈｒｅＳを満たさない画素を日陰領域と判断し、それ以外の画素を日向領域と判断する。

これにより、これらの問題を解消するために発明されたものであり、画像中の光源に照射されている部分と光源から陰となる部分とに、それぞれ最適な画像処理を行う画像処理装置を提供することができる。

なお、上記課題を解決するため、本発明は、上記画像処理装置を有する撮像装置、上記画像処理装置において実行される画像処理方法、及び、その画像処理方法をコンピュータに実行させるコンピュータプログラムとしてもよい。

本発明の画像処理装置、撮像装置、画像処理方法、及び、コンピュータプログラムによれば、画像中の光源に照射されている部分と光源から陰となる部分とに、それぞれ最適な画像処理を行う画像処理装置、撮像装置、画像処理方法、及び、コンピュータプログラムを提供することが可能になる。

図１は、輝度値Ｙと赤成分と青成分との比Ｂ／Ｒとの相関図である。 図２は、日向領域と日陰領域とを分離するパラメータを得る処理を行う構成を示すブロック図である。 図３は、実施形態に係る撮像装置の機能構成の例を示すブロック図である。 図４は、領域分離パラメータを説明する図である。 図５は、実施の形態にかかるデジタルカメラのハードウェア構成を示すブロック図である。 図６は、日向領域と日陰領域とを分離した結果を示す図である。 図７は、撮像装置１００における画像補正処理を示すフロー図である。 図８は、実施の形態に係る画像処理装置の機能構成の例を示すブロック図である。 図９は、実施の形態に係る画像処理装置のハードウェア構成を示すブロック図である。 図１０は、実施の形態に係る画像処理装置における画像補正処理を示すフロー図である。 図１１は、日向領域と日陰領域とを分離するパラメータを得る処理を行う構成を示すブロック図である。 図１２は、画像サンプルが有する画素の、輝度値ＹとＢｓ／Ｒとの相関関係を示す図である。 図１３は、空領域を分離するパラメータを得る処理を行う構成を示すブロック図である。 図１４は、第３の実施の形態に係る画像処理装置の例を示す図である。 図１５は、空識別パラメータの例を示す図である。 図１６は、日向領域、日陰領域、及び、空領域を説明する図である。 図１７は、撮像装置１００における画像補正処理を示すフロー図である。 図１８は、画像処理装置７００における画像補正処理を示すフロー図である。

以下、実施の形態を図面に基づき説明する。なお、以下の説明において、日陰領域と日向領域とを「分割」する処理を、「分離」する処理ともいう。

〔日向領域と日陰領域とを分離する実施の形態〕
（日向領域と日陰領域とに分離する処理の説明）
本実施の形態における、画像を日向領域と日陰領域に分離する方法を説明する。
画像データの画素の輝度値をＹとし、画素の赤成分の値Ｒと画素の青成分の値Ｂの比率Ｂ／Ｒを用いて、画像データから日向領域と日陰領域とを分離する。日向領域と日陰領域とを分離するため、ＹとＢ／Ｒの分離条件を求める。

より詳細には、予め日向領域、日陰領域の範囲の情報を有する画像データ（以下、「画像サンプル」という。）を用いて、各領域における画素毎にＹとＢ／Ｒの値を求め、分離条件を得る。

図１は、輝度値Ｙと赤成分と青成分との比Ｂ／Ｒとの相関図である。画像サンプルは、画素毎に、日向領域に属するか、日陰領域に属するかの情報を有するので、それぞれの画素毎に、輝度値ＹとＢ／Ｒとの相関関係を求め、図１の相関図を得る。相関図では、日向領域の画素と日陰領域の画素とが、分離してそれぞれクラスタとして分布する。そこで、２つのクラスタを分離する条件を求めれば良い。

例えば、輝度値Ｙと比Ｂ／Ｒの値を用い、日向領域と、日陰領域とを分離するには、式（１）及び式（２）で表される条件に基づくとよい。より詳細には、式（１）と式（２）との条件を満足する画素を日陰領域に含まれる画素と判断する。ここで、Ｋは直線部の傾斜率であり、Ｙ＿ｔｈｒｅは輝度の閾値である。

Ｙ＜Ｋ・Ｂ／Ｒ （１）
Ｙ＜Ｙ＿ｔｈｒｅ （２）

式（１）及び式（２）により定められる条件により、日向領域と日陰領域との画素を分離できる。

式（１）の分離条件は、撮影条件の露出、オートホワイトバランス（以下、「ＡＷＢ」という。）等の設定により、変更されることがあり、例えば、デジタルカメラにおいて撮影条件毎に決定されるとよい。また、閾値Ｙ＿ｔｈｒｅは、撮影条件によって、変わることがある。そこで、予め、複数の撮影条件に対して、それぞれの閾値を測定する実験を行い、パラメータＫ、Ｙ＿ｔｈｒｅをパラメータＤＢに記録すればよい。

図２は、日向領域と日陰領域とを分離するパラメータを得る処理を行う構成を示すブロック図である。図２の構成は、画像サンプル入力部２０１、パラメータ計算部２０２、パラメータ出力部２０３を有する。画像サンプル入力部２０１は、画像サンプルが入力される。画像サンプルは、日向領域と、日陰領域との範囲の情報を有する。

パラメータ計算部２０２は、それぞれの領域の画素値により、図１で説明した相関を得ることにより、パラメータＫとＹ＿ｔｈｒｅを計算する。パラメータ出力部２０３は、パラメータ計算部２０２で取得されたパラメータを出力する。

（第１の実施の形態−デジタルカメラの例）
図３は、本実施形態に係る撮像装置の機能構成の例を示すブロック図である。図３の撮像装置３００は、例えば、デジタルカメラとして構成され、撮像部３０１、日向／日陰領域分離処理部３０２、画像補正処理部３０３、画像出力部３０４、カメラパラメータ入力部３０５、領域分割パラメータ取得部３０６、及び、領域分離パラメータデータベース（以下、「領域分離パラメータＤＢ」という。）３０７を有する。

撮像部３０１は、被写体を撮像して得られた画像データを取得し、日向／日陰領域分離処理部３０２に入力させる。撮像部３０１は、例えば、デジタルカメラにおける撮像機能を実現する手段である。

日向／日陰領域分離処理部３０２は、撮像部３０１から入力された画像データに対して、日向領域と日陰領域とを分離する処理を行う。分離する処理は、領域分割パラメータ取得部３０６から入力される領域分離パラメータに基づく処理を行う。より詳細には、式（１）及び式（２）に示された条件に従う画素を、日陰領域の画素とし、それらの条件に従わない画素を、日向領域の画素とする。

カメラパラメータ入力部３０５は、デジタルカメラにおける撮影条件パラメータを取得する。撮影条件パラメータは、「カメラパラメータ」ともいう。領域分割パラメータ取得部３０６は、撮影条件パラメータに基づいて、領域分離パラメータを取得する。領域分離パラメータは、領域分離パラメータＤＢ３０７に格納されている。

図４は、領域分離パラメータを説明する図である。図４では、撮影条件パラメータ毎に対応するＫ値及びＹ＿ｔｈｒｅ値が示されている。図４に示す、Ｋ値及びＹ＿ｔｈｒｅ値を、それぞれ、式（１）及び式（２）に代入することにより、撮影条件パラメータ毎に対応する、日向領域と日陰領域とを分離する処理が行われる。

画像補正処理部３０３は、分離された日向領域と日陰領域とに対し、それぞれの領域に適したオートホワイトバランス処理を行う。より詳細には、それぞれの領域のＲゲイン、Ｇゲイン、Ｂゲイン、つまりＲ、Ｇ、Ｂ画素の比率を求め、処理を行う。画像出力部３０４は、画像補正処理部３０３により処理された画像を出力する。なお、オートホワイトバランス処理は、それぞれの領域毎に適した処理パラメータに基づいてもよい。処理パラメータは、例えば、領域分離パラメータＤＢ３０７に格納され、領域分割パラメータ取得部３０６により読み出されることにより、画像補正処理部３０３に入力されるとよい。

（デジタルカメラのハードウェア構成）
図５は、本実施の形態にかかるデジタルカメラのハードウェア構成を示すブロック図である。図５の撮像装置１００は、撮影光学系１、メカシャッタ２、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）３、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関２重サンプリング）回路４、Ａ／Ｄ変換器５、モータ６、タイミング信号発生器７、画像処理回路８、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１、ＳＤＲＡＭ（ＳｙｎｃｈｒｏｎｏｕｓＤＲＡＭ）１２、圧縮伸張器１３、メモリ１４、操作部１５、及び、液晶ディスプレイ（以下、「ＬＣＤ１６」という）１６を有する。

被写体光は、まず撮影光学系１を通してＣＣＤ３に入射される。撮影光学系１とＣＣＤ３との間に配置されるメカシャッタ２は、ＣＣＤ３への入射光を遮断することが出来る。なお、撮影光学系１及びメカシャッタ２は、モータ６により駆動される。

ＣＣＤ３は、撮像面に結像された光学像を電気信号に変換し、アナログの画像データを出力する。ＣＣＤ３から出力された画像データは、ＣＤＳ回路４によりノイズ成分を除去され、Ａ／Ｄ変換器５によりアナログデータがデジタルデータに変換された後、画像処理回路８に対して出力される。

画像処理回路８は、画像データを一時的に格納するＳＤＲＡＭ１２を用いて、ＲＧＢ信号をＹＣｒＣｂ信号に変換する処理、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、色変換処理等の各種画像処理を行う。ホワイトバランス制御処理は、画像情報の色濃さを調整する。コントラスト補正処理は、画像情報のコントラストを調整する。エッジ強調処理は、画像情報のシャープネスを調整し、色変換処理は、画像情報の色合いを調整する。また、画像処理回路８は、信号処理や画像処理が施された画像情報を液晶ディスプレイ１６に表示する。

画像処理回路８により、画像処理が施された画像データは、圧縮伸張器１３においてデータ圧縮された後、メモリ１４に記録されるとよい。圧縮伸張器１３は、操作部１５から取得した指示により、画像処理回路８から出力される画像データを圧縮してメモリ１４に出力し、また、メモリ１４から読み出した画像データを伸張して画像処理回路８に出力する。

ＣＣＤ３、ＣＤＳ回路４及びＡ／Ｄ変換器５は、タイミング信号を発生するタイミング信号発生器７を介してＣＰＵ９によって、タイミングが制御されている。さらに、画像処理回路８、圧縮伸張器１３、メモリ１４も、ＣＰＵ９によって制御されている。

撮像装置１００において、ＣＰＵ９はプログラムに従って各種演算処理を行い、プログラムなどを格納した読み出し専用メモリであるＲＯＭ１１および各種の処理過程で利用するワークエリア、各種データ格納エリアなどを有する読み出し書き込み自在のメモリであるＲＡＭ１０などを内蔵し、これらがバスラインによって相互接続されている。

撮像装置１００は、入力された画像データをメモリ領域ＳＤＲＡＭ１２に一時的に保存する。このとき、日向日陰領域分離処理プログラム、及び、画像補正プログラムがＲＯＭ１１から読み出されて起動され、日向領域と日陰領域との分離処理を行う。日向領域と日陰領域との分離処理は、ＲＯＭ１１に格納されている領域分離パラメータＤＢ３０７からパラメータを読み出し、そのパラメータにより分離処理を行う。日向領域と日陰領域とを分離した結果は、ＳＤＲＡＭ１２に保存される。

図６は、日向領域と日陰領域とを分離した結果を示す図である。領域Ａ及びＢは日陰領域、領域Ｃ及びＤは日向領域である。

次に、画像補正プログラムによる画像補正処理が行われる。日陰領域の画像に対しては、白い部分が探し出され、白い部分による日陰領域のＲ、Ｇ、ＢのゲインＲｇ＿Ｓ， Ｇｇ＿Ｓ， Ｂｇ＿Ｓが算出される。日向領域の画像に対しては、同様に、白い領域を探して、Ｒｇ＿Ｂ、Ｇｇ＿Ｂ、Ｂｇ＿Ｂのゲインが算出される。日向領域及び日陰領域のそれぞれのゲインに基づいて、オートホワイトバランス処理を行う。

本実施の形態のデジタルカメラで実行される画像処理プログラムは、日向日陰分離機能、画像補正機能を含むモジュール構成となっている。ＣＰＵ９が記憶媒体から画像処理プログラムを読み出して実行することにより各部が主記憶装置上にロードされ、日向領域及び日陰領域を抽出する処理と、日向領域及び日陰領域のそれぞれに対するオートホワイトバランス処理とを実行し、処理された画像データが圧縮され、メモリカード上の記憶領域に格納される。

（撮像装置１００における画像補正処理の例）
図７は、撮像装置１００における画像補正処理を示すフロー図である。図７のステップＳ１０１では、撮像手段により被写体が撮影され、画像データが取得される。ステップＳ１０１に続いてステップＳ１０２及びステップＳ１０４に進む。

ステップＳ１０１に続くステップＳ１０２では、ステップＳ１０１において撮像された際のカメラパラメータが取得される。ステップＳ１０２に続いてステップＳ１０３に進み、ステップＳ１０２で取得されたカメラパラメータに対応する、画像処理パラメータが取得される。画像処理パラメータは、例えば、日向領域と日陰領域とを分離する領域分離パラメータであり、例えば、図４に示すＫ値及びＹ＿ｔｈｒｅ値である。

画像処理パラメータは、また例えば、画像データに対する画像処理の際に用いられる処理パラメータを含んでもよい。画像処理パラメータは、領域分離パラメータＤＢ３０７に格納されているものが読み出されるとよい。

一方、ステップＳ１０１に続くステップＳ１０４では、日向領域と日陰領域との分離処理が行われる。ここでは、ステップＳ１０３で取得された領域分離パラメータにより、分離処理が行われる。

ステップＳ１０４に続いてステップＳ１０５に進み、ステップＳ１０４で分離された、日向領域及び日陰領域のそれぞれに対し、処理パラメータに基づく画像色補正の処理が行われる。これにより、日向領域と日陰領域とのそれぞれに対し、好適なオートホワイトバランス処理が行われる。なお、処理パラメータは、ステップＳ１０３において、領域分離パラメータＤＢ３０７から読み出されたものでもよい。

ステップＳ１０５に続いてステップＳ１０６に進み、ステップＳ１０５で処理された画像データが出力される。

（第２の実施の形態−画像処理装置による実現）
第２の実施の形態について、図面を参照して説明する。ここでは、第１の実施の形態と異なる部分について説明する。

本実施例における画像処理装置は、撮影装置から記録した画像データが、ファイルの形式により画像入力部から入力される。入力された画像データに対して、日向日陰領域分離処理を行い、それぞれの領域についてオートホワイトバランス処理を行う。

（画像処理装置の機能構成の例）
図８は、本実施の形態に係る画像処理装置の機能構成の例を示すブロック図である。図８の画像処理装置４００において、図３における撮像装置３００と同一の機能及び構成を有するブロックについては同一の符号を付し、ここでは説明を省略する。

図８の画像処理装置４００では、画像入力部４０１及びカメラパラメータ取得部４０５が、図３の撮像装置３００と構成が異なっている。画像入力部４０１は、画像データをファイルの形式で取得する。例えば、外部から入力される画像データでもよく、図示しない記憶装置等から読み出される画像データでもよい。

カメラパラメータ取得部４０５は、画像入力部４０１により取得された画像データの中から、カメラパラメータを取得する。例えば、画像データから、Ｅｘｉｆデータを取得することにより、カメラパラメータが取得される。

なお、本実施の形態の画像処理装置では、画像補正処理部３０３において、日陰領域にのみ画像処理を行うことにより、背景ぼかしの機能を実現してもよい。

（画像処理装置のハードウェア構成）
図９は、本実施の形態に係る画像処理装置のハードウェア構成を示すブロック図である。画像処理装置２００は、ＲＡＭ２１、ＲＯＭ２２、通信インタフェース（以下、「通信Ｉ／Ｆ」という。）２３、ＣＰＵ２４、ハードディスク装置（以下、「ＨＤＤ」という。）２５、ＣＤ−ＲＯＭドライブ２０、及び、メモリカードドライブ２７を有する。

ＣＰＵ２４は、画像処理装置２００が有する各デバイス及び接続されている各デバイスを制御する。ＣＰＵ２４には、ＢＩＯＳなどを記憶した読出し専用メモリであるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２と、各種データを書換え可能に記憶してＣＰＵの作業エリアとして機能するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１とがバスを介して接続されて、マイクロコンピュータの機能を実現する。

バスには、さらに、コンピュータプログラムが記憶されたＨＤＤ２５、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭを読み取るＣＤ−ＲＯＭドライブ２０、及び、プリンタ等の外部の装置との通信を司るインタフェースである通信Ｉ／Ｆ２３とが接続されている。

記録媒体２８は、例えば、ＣＤ−ＲＯＭであり、ＣＰＵ２４が実行するコンピュータプログラムが記憶されている。ＣＰＵ２４は、記録媒体２８に記憶されているコンピュータプログラムをＣＤ−ＲＯＭドライブ２０で読み取り、ＨＤＤ２５にインストールする。これにより、上述したような各種の処理を行うことが可能な状態となる。また、メモリカード２９には、画像情報などが格納され、メモリカードドライブ２７で読み取られる。なお、本実施の形態は、ＣＤ−ＲＯＭドライブ２０及びメモリカードドライブ２７に代えて、他の記憶媒体から情報を読み出すドライブ装置が接続されてもよい。

記憶媒体は、また、ＣＤ−ＲＯＭやメモリカードのみならず、ＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フロッピー（登録商標）ディスクなどの各種磁気ディスク、半導体メモリ等、各種方式のメディアでもよい。

ＣＰＵ２４によって実行されるコンピュータプログラムは、また、インターネットなどのネットワークに接続されているサーバ装置等からダウンロードされ、ＨＤＤ２５にインストールされてもよい。この場合に、送信側のサーバ装置に接続され、コンピュータプログラムを記憶している記憶装置も、本実施形態に係る記憶媒体である。

本実施の形態に係るコンピュータプログラムは、所定のＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）上で動作するものであってもよい。その場合には、後述の各種処理の一部をＯＳに実行させてもよく、ワープロソフト等の所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。

本実施の形態のコンピュータプログラムが、ＣＰＵ２４によって実行されることにより、図８に示す機能の各ブロックが実現される。

（画像処理装置４００における画像補正処理の例）
図１０は、画像処理装置４００における画像補正処理を示すフロー図である。図１０のステップＳ２０１では、カメラパラメータを含む画像データのファイルが取得される。ステップＳ２０１に続いてステップＳ２０２及びステップＳ２０４に進む。

ステップＳ２０１に続くステップＳ２０２では、ステップＳ２０１において取得された画像データのファイルから、カメラパラメータが取得される。ステップＳ２０２に続いてステップＳ２０３に進み、ステップＳ２０２で取得されたカメラパラメータに対応する、画像処理パラメータが取得される。画像処理パラメータは、例えば、日向領域と日陰領域とを分離する領域分離パラメータであり、例えば、図４に示すＫ値及びＹ＿ｔｈｒｅ値である。

画像処理パラメータは、また例えば、画像データに対する画像処理の際に用いられる処理パラメータを含んでもよい。画像処理パラメータは、領域分離パラメータＤＢ３０７に格納されているものが読み出されるとよい。

一方、ステップＳ２０１に続くステップＳ２０４では、日向領域と日陰領域との分離処理が行われる。ここでは、ステップＳ２０３で取得された領域分離パラメータにより、分離処理が行われる。

ステップＳ２０４に続いてステップＳ２０５に進み、ステップＳ２０４で分離された、日向領域及び日陰領域のそれぞれに対し、処理パラメータに基づく画像色補正の処理が行われる。これにより、日向領域と日陰領域とのそれぞれに対し、好適なオートホワイトバランス処理が行われる。なお、処理パラメータは、ステップＳ２０３において、領域分離パラメータＤＢ３０７から読み出されたものでもよい。

ステップＳ２０５では、また、オートホワイトバランス処理に代えて、背景ぼかし処理が行われてもよい。例えば、日陰領域の画素に対してぼかし処理を行うことにより、背景ぼかしの機能が実現できる。ステップＳ２０５に続いてステップＳ２０６に進み、ステップＳ２０５で処理された画像データが出力される。

（コンピュータプログラムの態様）
本実施形態の画像処理装置が有する各機能を実現するコンピュータプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の画像処理を実現するコンピュータプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、本実施の形態に係るコンピュータプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

本実施形態の画像処理装置で実行されるコンピュータプログラムは、また、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供されてもよい。

（本実施形態の画像処理装置によって処理される画像データのファイル構成の例）
本実施形態に係る画像処理装置によって処理される画像データのファイルは、被写体が撮影された際の、撮影条件が記録されているとよい。撮影条件の情報は、画像データのファイル内に記録される。

なお、本実施の形態において、「分離手段」は「日向／日陰領域分離処理部３０２」に対応する。「情報取得手段」は「領域分割パラメータ取得部３０６」に対応する。

「画像処理手段」は「画像補正処理部３０３」に対応する。「記憶手段」は「領域分離パラメータＤＢ３０７」に対応する。「撮像手段」は、「撮像部３０１」に対応する。

〔空領域を日向領域とする実施の形態〕
例えば、デジタルカメラを用いて撮影する場合に、被写体に日向領域と日陰領域とがあるときに、全画面に対して均一なホワイトバランス処理をすると日向領域又は日陰領域の色が不自然になることがある。例えば、人物が日陰領域にあり、背景が日向領域にある場合に、日向領域に合わせて色を調整すると、人物の顔色は青くなり、不健康な色になる。また、日陰領域にある人物に合わせて色を調整すると、例えば、背景に緑の森がある場合には、森の色の赤味が強くなり不自然な色になる。

例えば、特開２０００−２２４６０８号公報（特許文献３）に記載の撮像装置の発明では、画像の輝度および色情報を用いて、画像の光源種を推定する。推定した光源種に適したホワイトバランス制御を行う。特許文献３に記載の撮像装置では、画像全面に対して、ホワイトバランス処理を行うので、画像の中に日向領域と日陰領域とが同時に存在する場合に、両方の領域に最適な色再現を行うことは考慮されていない。

特に、画像の中に青空領域が存在する場合には、青空領域は、日陰領域として分割される傾向がある。そして、青空領域を日陰領域として分割し、色の補正を行うと、青空領域の赤味が強くなる課題がある。

そこで、本実施の形態では、青空領域を含む空領域を、日向領域として分割する例について、説明する。

（空領域を日向領域とする実施の形態における画像処理の概略）
（１）日向領域と日陰領域とを分割する
（１Ａ）日向領域と日陰領域とを区別する情報が対応づけられている画像データから特徴データを抽出する。例えば、特徴データは、Ｒ、Ｇ、Ｂの値、輝度値、画像内の位置等である。
（１Ｂ）（１Ａ）で抽出した特徴データを、学習データとして、日向領域と日陰領域とを分離する条件（以下、「日向日陰分離条件」という。）を求める。
（１Ｃ）日向日陰分離条件により、日向領域と日陰領域とを分割する。

（２）空領域を分離する
（２Ａ）空領域と空領域ではない領域とを区別する情報が対応づけられている画像データから、特徴データを抽出する。
（２Ｂ）（２Ａ）で抽出した特徴データを、学習データとして、空領域と空ではない領域とを分離する条件（以下、「空領域分離条件」という。）を求める。
（２Ｃ）空領域分離条件により、空領域と空でない領域を分割する。

（３）（１Ｃ）で分割された日陰領域のうち、（２Ｃ）で識別された空領域となる領域を、日向領域とする。
（４）日向領域と日陰領域とのそれぞれに対して、オートホワイトバランス処理を行う。

（（１）日向領域と日陰領域とを分離する処理）
（１Ａ）の日向領域と日陰領域とに分割する処理は、第１の実施の形態における処理と同一であるので、ここでは説明を省略する。

図１１は、日向領域と日陰領域とを分離するパラメータを得る処理を行う構成を示すブロック図である。図１１の構成は、画像サンプル入力部５０１、特徴量抽出部５０２、パラメータ計算部５０３、及び、パラメータ出力部５０４を有する。

画像サンプル入力部５０１は、画像サンプルが入力される。画像サンプルは、画素毎に、日向領域と日陰領域との何れに属するかの情報が対応づけられている。

特徴量抽出部５０２は、画像サンプルから特徴データを抽出する。パラメータ計算部５０３は、第１の実施の形態の図１で説明した相関を得ることにより、パラメータＫとＹ＿ｔｈｒｅを計算する。パラメータ出力部５０４は、パラメータ計算部５０３で計算されたパラメータを出力する。

（（２）空領域を識別する処理）
画像から空領域を識別する処理について、以下説明する。

（（２Ａ）特徴量抽出）
入力された画像データから所定の特徴量を抽出する。特徴量は、例えば、輝度値Ｙ、Ｒ成分とＢ成分との比Ｂ／Ｒ、等がある。なお、特徴量は、画像処理装置の特性や、被写体の特性に応じて、他の特徴量を用いてもよい。例えば、Ｒ、Ｇ、Ｂのそれぞれの値、輝度値、彩度、明度、又は、画素の画面内の位置等でよい。

（（２Ｂ）空領域分離条件を求める）
空領域分離条件は、空識別パラメータとして求める。予め、空領域の情報を有する画像サンプルを用い、学習により分離条件を求める。図１２は、画像サンプルが有する画素の、輝度値ＹとＢ／Ｒとの相関関係を示す図である。図１２の相関図は、横軸をＢｓ／Ｒ、縦軸をＹｓとする。なお、添字ｓは、空領域に係る値であることを表す。

図１２の相関図では、空領域に含まれる画素と、空ではない領域に含まれる画素とが、それぞれ、分離したクラスタとして分布する。そこで、２つのクラスタを分離する条件を求め、これを空領域分離条件とする。空領域分離条件を表す数を、空識別パラメータという。

例えば、輝度値Ｙｓと比Ｂｓ／Ｒとの値を用い、空領域と空ではない領域とを分離するには、次式（３）及び式（４）で表される条件に基づくとよい。より詳細には、式（３）と式（４）との条件を満足する画素を、空領域に含まれる画素と判断する。ここで、直線部の傾斜率Ｋｓと、輝度値の閾値Ｙ＿ｔｈｒｅＳが、空識別パラメータである。

Ｙｓ＜Ｋｓ・Ｂｓ／Ｒ （３）
Ｙｓ＜Ｙ＿ｔｈｒｅＳ （４）

式（３）及び式（４）により定められる条件により、空領域の画素を分離することができる。

式（３）及び式（４）による分離条件は、撮影する際の、露出、ＡＷＢ等の設定により、変更されることがあり、例えば、デジタルカメラにおいては、撮影条件毎に決定されるとよい。また、閾値Ｙ＿ｔｈｒｅＳは、撮影条件によって変わることがある。そこで、予め複数の撮影条件に対して、それぞれの空識別パラメータを測定する実験を行い、パラメータＫｓ、Ｙ＿ｔｈｒｅＳをパラメータＤＢに記録すればよい。

図１３は、空領域を分離するパラメータを得る処理を行う構成を示すブロック図である。図１３の構成は、画像サンプル入力部６０１、特徴量抽出部６０２、パラメータ計算部６０３、及び、パラメータ出力部６０４を有する。

画像サンプル入力部６０１は、画像サンプルが入力される。画像サンプルは、画素毎に、空領域に属するか否かの情報が対応づけられている。

特徴量抽出部６０２は、画像サンプルから特徴データを抽出する。パラメータ計算部６０３は、図１２で説明した相関を得ることにより、パラメータＫｓとＹ＿ｔｈｒｅＳを計算する。パラメータ出力部６０４は、パラメータ計算部６０３で計算されたパラメータを出力する。

なお、日向日陰分離条件、又は、空領域分離条件を定める際に、２つ以上の特徴量を用いる場合には、特徴量の相関を多次元空間にマップさせて、分離条件、すなわち空識別パラメータを求めればよい。

（（２Ｃ）空領域の分割）
（２Ｂ）で求めた空分離条件により、入力される画像データから、空領域を分離させる。これにより、画像データが、空領域と空ではない領域とに分割される。より詳細には、入力される画像データの各画素の値が、式（３）及び式（４）を満たす場合には、空領域と判断する。また、入力される画像データの各画素の値が、式（３）と式（４）との何れか一以上を満たさない場合には、空領域ではないと判断する。

（（３）日向／日陰領域分割結果と空識別結果の統合）
日向領域と日陰領域とを分離した結果と空領域を分離した結果とを統合する。ここでは、（２）の処理で、空領域として分離された領域は、日向領域とする。
（（４）分離処理後の画像に対するＡＷＢ）
（１）から（３）による日向領域と日陰領域との分離結果を用いて、日向領域と日陰領域とのそれぞれに対し、所定のパラメータによるＡＷＢ処理を行う。

日向領域と日陰領域を分離する際に、青空領域が存在する場合、青空領域は日陰にある被写体と同じく、青白い色合いを持つ傾向がある。そのため、空領域が日陰領域として、分離されやすく、分離後にそれぞれの領域に適した処理を行うことができない。本実施の形態によれば、空領域を日向領域とすることにより、領域毎に適する処理を行うことができる。

（第３の実施の形態−画像処理装置の例）
図１４は、本実施の形態に係る画像処理装置の例を示す図である。図１４の画像処理装置７００は、画像入力部７０１、特徴量抽出部７０２、空領域識別部７０３、空識別パラメータ取得部７０４、空識別パラメータＤＢ７０５、日向／日陰領域分離処理部７０６、領域分割パラメータ取得部３０６、領域分割パラメータデータベース（以下、「領域分割パラメータＤＢ」という。）３０７、画像補正処理部３０３、画像出力部３０４、及び、カメラパラメータ入力部７１１を有する。

なお、図３の撮像装置３００と同一の機能及び構成を有する各部は、図３と同一の符号を付し、ここでは説明を省略する。

画像入力部７０１は、画像データを受け付ける。画像データは、図示しない撮像装置又は画像処理装置等から入力される。特徴量抽出部７０２は、入力された画像データから、輝度値Ｙ及びＢ／Ｒを抽出する。

空領域識別部７０３は、特徴量抽出部７０２で抽出された特徴量により、空領域の分離を行う。空領域識別部７０３は、空領域の分離を行う際の空識別パラメータを、空識別パラメータ取得部７０４から取得する。

空識別パラメータ取得部７０４は、空領域の分離を行う際の空識別パラメータを、カメラパラメータ入力部７１１から入力されるカメラパラメータから取得する。カメラパラメータは、画像データが図示しない撮像装置により撮像される際の、撮像装置に設定される値である。カメラパラメータの項目は、例えば、露出、露光時間、ＩＳＯ感度、シャッタースピード、及び、絞り等がある。

空識別パラメータ取得部７０４は、カメラパラメータ入力部７１１から入力されるカメラパラメータに対応する空識別パラメータを取得する。空識別パラメータは、画像データから空領域を識別する際に用いるパラメータである。空識別パラメータ取得部７０４は、また、空領域を他の領域と区別する情報を含む画像データの特徴量から、空識別パラメータを生成するとよい。生成した空識別パラメータは、空識別パラメータＤＢに格納される。空識別パラメータ取得部７０４は、空識別パラメータＤＢ７０５に格納されている空識別パラメータを、空領域識別部７０３に対して出力する。

図１５は、空領域を分離する際に用いる、空識別パラメータの例を示す図である。図１５では、異なる撮影条件毎に、図１２のグラフにおける傾きＫｓ及び輝度の上限値Ｙ＿ｔｈｒｅＳが示されている。

空識別パラメータは、例えば、次のように定めるとよい。
（１） 明るい日における外光下での撮影では、露光時間が短くなる。そこで、露光時間が短い場合は、空領域の分離を行う際の輝度の閾値を、露光時間が長い場合よりも小さな値とする。
（２） 雨の日の撮影では、露光時間が長くなる。そこで、露光時間が長い場合は、空領域の分離を行う際の輝度の閾値を、露光時間が短い場合よりも大きな値とする。

空識別パラメータＤＢ７０５は、空識別パラメータ取得部７０４により取得された空識別パラメータを保持し、空識別パラメータ取得部７０４に対して、その空識別パラメータを出力する。

日向／日陰領域分離処理部７０６は、入力された画像データに対し、日向領域と日陰領域とを分離する。日向／日陰領域分離処理部７０６は、特徴量抽出部７０２で抽出された特徴量により、日向領域と日陰領域との分離を行う。日向／日陰領域分離処理部７０６は、日向領域と日陰領域の分離を行う際の領域分離パラメータを、領域分割パラメータ取得部３０６から取得する。

日向領域と日陰領域とを分離する際の領域分離パラメータは、例えば、図１に示す相関図から得るとよい。また、日向領域と日陰領域とを分離する際の領域分離パラメータの例を、図４に示す。図１及び図４に係る説明は、第１の実施例で行っているので、ここでは省略する。

図１４に戻り、日向／日陰領域分離処理部７０６は、さらに、空領域識別部７０３で分離された空領域を、日向領域とする。例えば、日向／日陰領域分離処理部７０６は、日向領域と日陰領域との分離を先ず行い、日陰領域として分離された領域のうち、空領域と識別された領域を日向領域に変更してもよい。これにより、「青み」の強い空領域を日陰領域と判断することを避けることができる。

（デジタルカメラのハードウェア構成）
本実施の形態にかかるデジタルカメラのハードウェア構成は、図５に示す構成と同一である。ここでは、第１の実施の形態と異なる点について説明する。

撮像装置１００は、入力された画像データをメモリ領域ＳＤＲＡＭ１２に一時的に保存する。このとき、空領域分離処理プログラムがＲＯＭ１１から読み出されて起動され、空領域の分離処理を行う。空領域の分離処理は、ＲＯＭ１１からＲＯＭ１１に格納されている空識別パラメータＤＢ７０５からパラメータを読み出し、そのパラメータにより分離処理を行う。空領域を分離した情報は、ＳＤＲＡＭ１２に保存される。

さらに、日向日陰領域分離処理プログラム、及び、画像補正プログラムがＲＯＭ１１から読み出されて起動され、日向領域と日陰領域との分離処理を行う。日向領域と日陰領域との分離処理は、ＲＯＭ１１に格納されている領域分離パラメータＤＢ３０７からパラメータを読み出し、そのパラメータにより分離処理を行う。日向領域と日陰領域とを分離した結果は、ＳＤＲＡＭ１２に保存される。

本実施の形態のデジタルカメラで実行される画像処理プログラムは、空領域識別機能、日向日陰分離機能、及び、画像補正機能を含むモジュール構成となっている。ＣＰＵ９が記憶媒体から画像処理プログラムを読み出して実行することにより各部が主記憶装置上にロードされ、空領域を抽出し、さらに、日向領域及び日陰領域を抽出する処理と、日向領域及び日陰領域のそれぞれに対するオートホワイトバランス処理とを実行し、処理された画像データが圧縮され、メモリカード上の記憶領域に格納される。

図１６は、日向領域、日陰領域、及び、空領域を説明する図である。図１６において、日陰領域は、領域Ａ及び領域Ｂである。日向領域は、領域Ｃ及び領域Ｅである。また、空領域は、領域Ｓである。日向領域は、輝度Ｙの値が大きく、日陰領域は、輝度Ｙの値が小さい。また、空領域の輝度Ｙの値は、日向領域よりは小さい。そこで、空領域Ｓを日向領域とする。

次に、画像補正プログラムによる画像補正処理が行われる。日陰領域の画像に対しては、白い部分が探し出され、白い部分による日陰領域のＲ、Ｇ、ＢのゲインＲｇ＿Ｓ， Ｇｇ＿Ｓ， Ｂｇ＿Ｓが算出される。日向領域の画像に対しては、同様に、白い領域を探して、Ｒｇ＿Ｂ、Ｇｇ＿Ｂ、Ｂｇ＿Ｂのゲインが算出される。日向領域及び日陰領域のそれぞれのゲインに基づいて、オートホワイトバランス処理を行う。

本実施の形態のデジタルカメラで実行される画像処理プログラムは、空領域識別機能、日向日陰分離機能、画像補正機能を含むモジュール構成となっている。ＣＰＵ９が記憶媒体から画像処理プログラムを読み出して実行することにより各部が主記憶装置上にロードされ、日向領域及び日陰領域を抽出する処理と、日向領域及び日陰領域のそれぞれに対するオートホワイトバランス処理とを実行し、処理された画像データが圧縮され、メモリカード上の記憶領域に格納される。

（撮像装置１００における画像補正処理の例）
図１７は、撮像装置１００における画像補正処理を示すフロー図である。図１７のステップＳ５０１では、カメラパラメータ入力部７１１が、撮像手段により被写体が撮像される際のカメラパラメータを取得する。ステップＳ５０１に続いてステップＳ５０２及びステップＳ５０３に進む。ステップＳ５０２では、領域分割パラメータ取得部３０６が、カメラパラメータに対応する、日向領域と日陰領域とを分割する際の領域分割パラメータを取得する。一方、ステップＳ５０３では、空識別パラメータ取得部７０４が、カメラパラメータに対応する、空領域を識別する際の空識別パラメータを取得する。

一方、ステップＳ６０１では、画像入力部７０１から画像データが入力される。この画像データは、撮像手段が、ステップＳ５０１において取得されるカメラパラメータによる撮影により取得される。ステップＳ６０１に続いてステップＳ６０２に進み、特徴量抽出部７０２が、ステップＳ６０１で入力された画像データの特徴量を抽出する。

ステップＳ６０２に続いてステップＳ６０３に進み、ステップＳ６０２で抽出された特徴量と、ステップＳ５０３で取得された空識別パラメータと、に基づいて、ステップＳ６０１で入力された画像データにおける空領域を識別して分離する。

ステップＳ６０３に続いてステップＳ６０４に進み、日向／日陰領域分離処理部７０６が、ステップＳ６０２で抽出された特徴量と、ステップＳ５０２で取得された日向領域と日陰領域とを分割する際の、領域分割パラメータと、に基づいて、ステップＳ６０１で入力された画像データにおける日向領域と日陰領域とを分離する。日向／日陰領域分離処理部７０６は、さらに、ステップＳ６０３で取得された空領域の情報に基づいて、空領域を日向領域に加える。

ステップＳ６０４に続いてステップＳ６０５に進み、画像補正処理部３０３が、ステップＳ６０４で分離された、日向領域及び日陰領域のそれぞれに対し、領域の特性に適した処理を行う。画像補正処理部３０３は、例えば、ＡＷＢ処理等の画像を補整する処理を行う。ステップＳ６０５に続いてステップＳ６０６に進み、画像出力部３０４が、ステップＳ６０５で画像処理が施された画像データを出力する。

（第４の実施の形態−画像処理装置による実現）
第４の実施の形態について、図面を参照して説明する。ここでは、第１ないし第３の実施の形態と異なる部分について説明する。

本実施例における画像処理装置は、撮影装置から記録した画像データが、ファイルの形式により画像入力部から入力される。入力された画像データに対して、日向日陰領域分離処理を行い、それぞれの領域についてオートホワイトバランス処理を行う。

（画像処理装置の機能構成の例）
本実施の形態に係る画像処理装置の機能構成の例は、図１４の画像処理装置７００と同一である。

（画像処理装置のハードウェア構成）
本実施形態に係る画像処理装置のハードウェア構成の例は、図９に示す画像処理装置２００と同一である。

本実施の形態に係るコンピュータプログラムは、所定のＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）上で動作するものであってもよい。その場合には、後述の各種処理の一部をＯＳに実行させてもよく、ワープロソフト等の所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
本実施の形態のコンピュータプログラムが、ＣＰＵ２４によって実行されることにより、図１４に示す機能の各ブロックが実現される。

（画像処理装置７００における画像補正処理の例）
図１８は、画像処理装置７００における画像補正処理を示すフロー図である。図１８のステップＳ７０１では、画像入力部７０１から、画像ファイルが入力される。画像ファイルは、例えば、ＨＤＤ２５から読み出される。画像ファイルは、また、図示しない外部装置から、通信Ｉ／Ｆ２３等により入力されてもよい。

ステップＳ７０１に続いて、ステップＳ７０２、ステップＳ７０４、及び、ステップＳ８０１に進む。ステップＳ７０２では、カメラパラメータ入力部７１１が、ステップＳ７０１で入力された画像ファイルから、カメラパラメータを取得する。例えば、画像ファイルのＥｘｉｆデータを取得することにより、カメラパラメータが取得される。

ステップＳ７０２に続いてステップＳ７０３に進み、領域分割パラメータ取得部３０６が、ステップＳ７０２で取得されたカメラパラメータに対応する、日向領域と日陰領域とを分割する際の領域分割パラメータを取得する。領域分割パラメータは、領域分割パラメータＤＢ３０７から読み出される。

ステップＳ７０４では、ステップＳ７０２と同一の処理が行われる。なお、ステップＳ７０４を実行することに代えて、ステップＳ７０２に続いてステップＳ７０３とステップＳ７０５とに進んでもよい。ステップＳ７０４に続くステップＳ７０５では、空識別パラメータ取得部７０４が、ステップＳ７０４で取得されたカメラパラメータに対応する空領域を抽出する際の空識別パラメータを取得する。空識別パラメータは、空識別パラメータＤＢから読み出される。

一方、ステップＳ８０１では、ステップＳ７０１で入力された画像ファイルから、画像の特徴量を抽出する。ステップＳ８０１に続いてステップＳ８０２に進み、空領域識別部７０３が、ステップＳ８０１で取得された特徴量と、ステップＳ７０５で取得された空識別パラメータと、により、ステップＳ７０１で入力された画像ファイルの画像から、空領域を分離する。

ステップＳ８０２に続いてステップＳ８０３に進み、日向／日陰領域分離処理部７０６が、ステップＳ８０１で取得された特徴量と、ステップＳ７０３で取得された領域分割パラメータと、により、日向領域と日陰領域との分割を行う。日向／日陰領域分離処理部７０６は、さらに、日陰領域のうち、ステップＳ８０２で分離された空領域を、日向領域とする。

ステップＳ８０３に続いてステップＳ８０４に進み、画像補正処理部３０３が、ステップＳ８０３で分離された、日向領域と日向領域とに、それぞれに適する画像補正処理を行う。

なお、本実施の形態の画像処理装置では、画像補正処理部３０３において、日陰領域にのみ画像処理を行うことにより、背景ぼかしの機能を実現してもよい。

ステップＳ８０４に続いてステップＳ８０５に進み、画像出力部３０４が、ステップＳ８０４で処理された画像データを出力する。

（コンピュータプログラムの態様）
本実施形態の画像処理装置が有する各機能を実現するコンピュータプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の画像処理を実現するコンピュータプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、本実施の形態に係るコンピュータプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

本実施形態の画像処理装置で実行されるコンピュータプログラムは、また、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供されてもよい。

（本実施形態の画像処理装置によって処理される画像データのファイル構成の例）
本実施形態に係る画像処理装置によって処理される画像データのファイルは、被写体が撮影された際の、撮影条件が記録されているとよい。撮影条件の情報は、画像データのファイル内に記録される。

以上、発明を実施するための最良の形態について説明を行ったが、本発明は、この最良の形態で述べた実施の形態に限定されるものではない。本発明の主旨をそこなわない範囲で変更することが可能である。

以上のように、本発明にかかる画像処理装置は、ホワイトバランス処理に有用であり、特に、デジタルカメラに適している。

１ 撮影光学系
２ メカシャッタ
３ ＣＣＤ
４ ＣＤＳ回路
５ Ａ／Ｄ変換器
６ モータ
７ タイミング信号発生器
８ 画像処理回路
１３ 圧縮伸張器
１４ メモリ
１５ 操作部
１６ 液晶ディスプレイ
２０ ＣＤ−ＲＯＭドライブ
２１ ＲＡＭ
２２ ＲＯＭ
２３ 通信Ｉ／Ｆ
２４ ＣＰＵ
２５ ＨＤＤ
２７ メモリカードドライブ
２８ 記録媒体
２９ メモリカード
１００ 撮像装置
２００ 画像処理装置
２０１ 画像サンプル入力部
２０２ パラメータ計算部
２０３ パラメータ出力部
３００ 撮像装置
３０１ 撮像部
３０２ 日向／日陰領域分離処理部
３０３ 画像補正処理部
３０４ 画像出力部
３０５ カメラパラメータ入力部
３０６ 領域分割パラメータ取得部
４００ 画像処理装置
４０１ 画像入力部
４０５ カメラパラメータ取得部
５０１ 画像サンプル入力部
５０２ 特徴量抽出部
５０３ パラメータ計算部
５０４ パラメータ出力部
６０１ 画像サンプル入力部
６０２ 特徴量抽出部
６０３ パラメータ計算部
６０４ パラメータ出力部
７００ 画像処理装置
７０１ 画像入力部
７０２ 特徴量抽出部
７０３ 空領域識別部
７０４ 空識別パラメータ取得部
７０６ 日向／日陰領域分離処理部
７１１ カメラパラメータ入力部

特許第３８４９８３４号公報 特開２００４−６４４６８号公報 特開２０００−２２４６０８号公報

Claims (12)

1. 入力された画像データを、該画像データの特徴量に基づいて、日向領域と日陰領域とに分離する日向日陰分離手段と、
   前記日向領域に適した画像処理の情報と、前記日陰領域に適した画像処理の情報と、を取得する情報取得手段と、
   前記日向領域に適した画像処理の情報により、前記日向領域に対する画像処理を行い、及び／又は、前記日陰処理に適した画像処理の情報により、前記日陰領域に適した画像処理を行う、画像処理手段と、を有する画像処理装置であって、
   前記日向日陰分離手段は、前記画像データの画素の輝度値をＹ、画素の赤成分の値をＲ、画素の青成分の値をＢ、予め定められた第１の傾斜率をＫ、第１の閾値をＹ＿ｔｈｒｅ、前記第１の傾斜率と異なるように予め定められた、空領域を示すための第２の傾斜率をＫｓ、前記第１の閾値と異なるように予め定められた、空領域を示すための第２の閾値をＹ＿ｔｈｒｅＳとしたとき、Ｙ＜Ｋ・Ｂ／Ｒ及びＹ＜Ｙ＿ｔｈｒｅを満たし、かつＹ＜Ｋｓ・Ｂ／Ｒ及びＹ＜Ｙ＿ｔｈｒｅＳを満たさない画素を日陰領域と判断し、それ以外の画素を日向領域と判断することを特徴とする画像処理装置。
2. 日向領域の領域情報と日陰領域の領域情報とを有する第１のサンプル画像データの日向領域の特徴量と、前記第１のサンプル画像データの日陰領域の特徴量と、に基づいて、前記第１の傾斜率であるＫ及び前記第１の閾値であるＹ＿ｔｈｒｅを取得する分離パラメータ取得手段を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像データが、撮像手段により撮像される際のカメラパラメータと対応づけられる場合に、
   前記分離パラメータ取得手段は、前記カメラパラメータに基づいて、前記第１の傾斜率であるＫ及び前記第１の閾値であるＹ＿ｔｈｒｅを取得することを特徴とする請求項２に記載の画像処理装置。
4. 空領域の領域情報を有する第２のサンプル画像データの空領域の特徴量に基づいて、前記第２の傾斜率であるＫｓ及び前記第２の閾値であるＹ＿ｔｈｒｅＳを取得する空識別パラメータ取得手段を有することを特徴とする請求項１ないし３の何れか一項に記載の画像処理装置。
5. 前記画像データが、撮像手段により撮像される際のカメラパラメータと対応づけられる場合に、
   前記空識別パラメータ取得手段は、前記カメラパラメータに基づいて、前記第２の傾斜率であるＫｓ及び前記第２の閾値であるＹ＿ｔｈｒｅＳを取得することを特徴とする請求項４に記載の画像処理装置。
6. 前記日向領域に適した画像処理の情報及び前記日陰領域に適した画像処理の情報は、それぞれの領域に対する色値補正の情報であることを特徴とする請求項１ないし５の何れか一項に記載の画像処理装置。
7. 請求項１ないし６の何れか一項に記載の画像処理装置と、
   被写体を撮像して画像データを生成して前記画像処理装置に入力させる撮像手段と、
   を有する撮像装置。
8. 入力された画像データを、該画像データの特徴量に基づいて、日向領域と日陰領域とに分離する日向日陰分離ステップと、
   前記日向領域に適した画像処理の情報と、前記日陰領域に適した画像処理の情報と、を取得する情報取得ステップと、
   前記日向領域に適した画像処理の情報により、前記日向領域に対する画像処理を行い、及び／又は、前記日陰処理に適した画像処理の情報により、前記日陰領域に適した画像処理を行う、画像処理ステップと、を有する画像処理方法であって、
   前記日向日陰分離ステップでは、前記画像データの画素の輝度値をＹ、画素の赤成分の値をＲ、画素の青成分の値をＢ、予め定められた第１の傾斜率をＫ、第１の閾値をＹ＿ｔｈｒｅ、前記第１の傾斜率と異なるように予め定められた、空領域を示すための第２の傾斜率をＫｓ、前記第１の閾値と異なるように予め定められた、空領域を示すための第２の閾値をＹ＿ｔｈｒｅＳとしたとき、Ｙ＜Ｋ・Ｂ／Ｒ及びＹ＜Ｙ＿ｔｈｒｅを満たし、かつＹ＜Ｋｓ・Ｂ／Ｒ及びＹ＜Ｙ＿ｔｈｒｅＳを満たさない画素を日陰領域と判断し、それ以外の画素を日向領域と判断することを特徴とする画像処理方法。
9. 日向領域の領域情報と日陰領域の領域情報とを有する第１のサンプル画像データの日向領域の特徴量と、前記第１のサンプル画像データの日陰領域の特徴量と、に基づいて、前記第１の傾斜率であるＫ及び前記第１の閾値であるＹ＿ｔｈｒｅを取得する分離パラメータ取得ステップを有することを特徴とする請求項８に記載の画像処理方法。
10. 空領域の領域情報を有する第２のサンプル画像データの空領域の特徴量に基づいて、前記第２の傾斜率であるＫｓ及び前記第２の閾値であるＹ＿ｔｈｒｅＳを取得する空識別パラメータ取得ステップを有することを特徴とする請求項８又は９に記載の画像処理方法。
11. 前記日向領域に適した画像処理の情報及び前記日陰領域に適した画像処理の情報は、それぞれの領域に対する色値補正の情報であることを特徴とする請求項８ないし１０の何れか一項に記載の画像処理方法。
12. 請求項８ないし１１の何れか一項に記載の画像処理方法を、コンピュータに実行させるためのコンピュータプログラム。

Images