JP5821214B2 - 画像処理装置と画像処理方法およびプログラム - Google Patents

Description

この発明は、画像処理装置と画像処理方法およびプログラムに関する。詳しくは、特定色の色領域を正しく容易に抽出できるようにする。

従来、撮像画像から特定色の色領域を抽出する場合、光源の影響を受けて特定色の色領域を正しく抽出できないことがある。例えば、タングステン灯などの低色温度光源下で撮像を行うことにより得られた撮像画像から黄色や赤色の色領域を抽出する場合、無彩色な領域が光源の影響を受けて抽出対象となってしまう。このため、特許文献１では、特定色の色領域を検出する際に、色温度情報に応じて、特定色を検出する際の輝度信号と色信号の閾値を変更することが行われている。

また、光源の影響を補正するため、撮像装置等ではホワイトバランス調整機能が設けられている。このため、特許文献２では、特定色の色領域に対して画像処理を施す際に、ホワイトバランスによる白色点の変化に応じて、外部からの指定に応じた色領域を変化させることが行われている。

特開２００９−１７０９６６号公報 特開２００５−３３３４３３号公報

ところで、色温度情報に応じて、特定色を検出する際の輝度信号と色信号の閾値を変更する場合、色温度情報に基づき閾値をどのように変更するかを示す変更情報、または色温度毎の閾値を予め用意しておかなければならない。また、ホワイトバランスによる白色点の変化に応じて色領域を変化させる場合でも、白色点の変化に応じて色領域をどのように変化させるかを示す変更情報を予め用意しておく必要がある。すなわち、色領域を抽出するためには多くの情報を予め用意しておく必要があり、光源の色温度によらず特定色の色領域を抽出することは容易でない。

そこで、本技術では、特定色の色領域を正しく容易に抽出できる画像処理装置と画像処理方法およびプログラムを提供することを目的とする。

本技術の第１の側面は、撮像時における光源の色温度を推定する色温度推定部と、前記推定された色温度が所定の色温度範囲内である場合に、前記推定された色温度に基づいて画像信号のホワイトバランスを調整する第１のホワイトバランス調整と、前記推定された色温度が前記所定の色温度範囲内でない場合であっても、前記推定された色温度に基づいて前記画像信号のホワイトバランスを調整する第２のホワイトバランス調整を行うホワイトバランス調整部と、前記第２のホワイトバランス調整が行われた画像信号を用いて、特定色の色領域を抽出する色領域抽出部とを有する画像処理装置にある。

本技術においては、撮像時における光源の色温度が推定される。例えば、撮像画像の画像信号に基づいて、あるいは色温度センサ等を用いて色温度が推定される。第１のホワイトバランス調整では、推定された色温度が所定の色温度範囲内である場合に、推定された色温度に基づいて画像信号のホワイトバランスの調整が行われる。また、第２のホワイトバランス調整では、推定された色温度が所定の色温度範囲内でない場合であっても、推定された色温度に基づいて前記画像信号のホワイトバランスの調整が行われる。この第２のホワイトバランス調整が行われた画像信号を用いて、特定色の色領域の抽出が行われる。また、ホワイトバランスの調整が行われた画像信号を用いて、色領域の抽出結果に基づき画像調整、例えば抽出された色領域または抽出された色領域を除く他の領域に対して、輝度と彩度と鮮鋭度の少なくとも何れかの調整が行われる。ホワイトバランスの調整が行われた画像信号としては、例えば第１のホワイトバランス調整が行われた画像信号が用いられる。さらに、抽出する領域の特定色は、ユーザ操作に応じて設定される。

本技術の第２の側面は、撮像時における光源の色温度を推定する工程と、前記推定された色温度が所定の色温度範囲内である場合に、前記推定された色温度に基づいて画像信号のホワイトバランスを調整する第１のホワイトバランス調整と、前記推定された色温度が前記所定の色温度範囲内でない場合であっても、前記推定された色温度に基づいて前記画像信号のホワイトバランスを調整する第２のホワイトバランス調整を行う工程と、前記第２のホワイトバランス調整が行われた画像信号を用いて、特定色の色領域を抽出する工程とを有する画像処理方法にある。

本技術の第３の側面は、画像処理をコンピュータで実行させるプログラムであって、撮像時における光源の色温度が所定の色温度範囲内である場合に、前記色温度に基づいて画像信号のホワイトバランスを調整する第１のホワイトバランス調整と、前記色温度が前記所定の色温度範囲内でない場合であっても、前記色温度に基づいて前記画像信号のホワイトバランスを調整する第２のホワイトバランス調整を行う手順と、前記第２のホワイトバランス調整が行われた画像信号を用いて、特定色の色領域を抽出する手順とを前記コンピュータで実行させるプログラムにある。

なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本技術によれば、撮像時における光源の色温度が推定される。この推定された色温度が所定の色温度範囲内である場合に、推定された色温度に基づいて画像信号のホワイトバランスを調整する第１のホワイトバランス調整が行われる。また、推定された色温度が所定の色温度範囲内でない場合であっても、推定された色温度に基づいて画像信号のホワイトバランスを調整する第２のホワイトバランス調整が行われる。さらに、第２のホワイトバランス調整が行われた画像信号を用いて、特定色の色領域の抽出が行われる。このように、第２のホワイトバランス調整が行われた画像信号を用いて特定色の色領域の抽出が行われることから、色温度情報に基づき閾値をどのように変更するかを示す変更情報または色温度毎の閾値等を予め用意しなくとも、光源の色温度にかかわらず特定色の色領域を正しく容易に抽出できる。

撮像装置の構成を例示した図である。 第１の実施の形態の動作を示すフローチャートである。 所定の色温度範囲を示す図である。 色差信号Ｃｂ，Ｃｒを用いたときの色判定基準を例示した図である。 画像調整動作を説明するための図である。 第２の実施の形態の動作を示すフローチャートである。 第２の実施の形態の動作を説明するための図である。

以下、発明を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像装置の構成
２．第１の実施の形態の動作
３．第２の実施の形態の動作

＜１．撮像装置の構成＞
図１は、本技術の画像処理装置を用いた撮像装置の構成を例示している。撮像装置１０は、撮像光学系１１、撮像部１２、前処理部１３、色温度推定部２１、ホワイトバランス調整部２２、色領域抽出部２３、画像調整部２４、後処理部３１、エンコード部３２、出力部３３、制御部４０、ユーザインタフェース部４１を有している。なお、色温度推定部２１、ホワイトバランス調整部２２、色領域抽出部２３、画像調整部２４は、本技術の画像処理装置を構成する。

撮像光学系１１は、レンズを主体として構成されており、図示しない被写体の光学像を撮像部１２の受光面に結像させる。

撮像部１２は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor ）やＣＣＤ(Charge Coupled Device）等の固体撮像素子を用いて構成されている。撮像部１２は、撮像光学系１１によって受光面に結像された光学像に応じた撮像信号を生成して前処理部１３に出力する
前処理部１３は、撮像部１２から供給された撮像信号に対して相関二重サンプリング処理（ＣＤＳ：Correlated Double Sampling）やアナログ増幅処理、Ａ／Ｄ変換処理等を行って色温度推定部２１に出力する。

色温度推定部２１は、前処理部１３から供給された撮像信号を用いてホワイトバランス制御のための信号成分検出を行い、その検波結果に基づいて撮像画像生成時における光源の色温度を推定する。また、色温度推定部２１は、撮像信号を用いて撮像画像生成時における光源の色温度を推定する場合に限らず、例えば色温度センサを用いて撮像画像生成時における光源の色温度を推定してもよい。

ホワイトバランス調整部２２は、色温度推定部２１で推定された色温度に基づきホワイトバランスゲインを設定して、設定したホワイトバランスゲインで各色信号の信号レベルを調整することでホワイトバランス調整を行う。また、ホワイトバランス調整部２２は、推定された色温度が所定の色温度範囲内である場合に、推定された色温度にホワイトバランスを追従させる第１のホワイトバランス調整を行う。さらに、ホワイトバランス調整部２２は、推定された色温度が所定の色温度範囲内だけでなく色温度範囲内でない場合にも、推定された色温度にホワイトバランスを追従させる第２のホワイトバランス調整を行う。ホワイトバランス調整部２２は、第２のホワイトバランス調整後の画像信号を色領域抽出部２３に出力する。また、ホワイトバランス調整部２２は、第１のホワイトバランス調整後の画像信号または第２のホワイトバランス調整後の画像信号を画像調整部２４に出力する。なお、ホワイトバランス調整部２２は、色領域抽出部２３で特定色の色領域を抽出する場合に、第２のホワイトバランス調整を行うようにしてもよい。

色領域抽出部２３は、第２のホワイトバランス調整後の画像信号を用いて、撮像画像における特定色の色領域を抽出して抽出結果を画像調整部２４に出力する。

画像調整部２４は、ホワイトバランス調整が行われた画像信号に対して、色領域の抽出結果に基づいた画像調整を行う。例えば色領域の抽出結果に基づき、抽出された色領域または抽出された色領域を除く他の色領域に対して、彩度と輝度および鮮鋭度の少なくとも何れかの調整を行う。画像調整部２４は、画像調整後の画像信号を後処理部３１に出力する。また、画像調整部２４は、彩度と輝度および鮮鋭度の少なくとも何れかの調整に限らず、他の画像調整を行うようにしてもよい。

後処理部３１は、画像調整部２４から出力された画像信号を用いて後処理を行う。後処理部３１は、後処理として例えば撮像画像のサイズ変更を行うリサイズ処理、撮像画像の向きを変える回転処理、撮像画像の反転処理等を行う。後処理部３１は、後処理後の画像信号をエンコード部３２に出力する。

エンコード部３２は、後処理部３１から供給された画像信号を圧縮符号化して、所定形式の符号化データを生成する。例えば、エンコード部３２は、ＪＰＥＧやＭＰＥＧ等の方式を用いて圧縮符号化を行い、符号化データを生成して出力部３３に出力する。

出力部３３は、エンコード部３２から供給された符号化データを外部に出力する処理を行う。例えば符号化データを外部機器に供給したり、記憶媒体に記録する処理を行う。

制御部４０にはユーザインタフェース（Ｉ／Ｆ）部４１が接続されている。ユーザインタフェース部４１は、ユーザからの操作入力を受け付けるものであり、電源スイッチやシャッターキー、ズームキー等の各種の操作キー、メニュー表示やメニュー項目の選択および各種設定を行うための操作キー等が設けられている。さらに、ユーザインタフェース部４１では、色領域抽出部２３で抽出する色領域の特定色を指定する操作や、画像調整部２４でどのような画像調整を行うか指定する操作、後処理部３１でどのような後処理を行うか指定する操作等が行われる。ユーザインタフェース部４１は、ユーザ操作に応じた操作信号を制御部４０に出力する。

制御部４０は、マイクロコンピュータ等を用いて構成されており、記憶しているプログラムを実行して、撮像装置１０の動作がユーザ操作に応じた動作となるように操作信号に基づいて各部を制御する。

＜２．第１の実施の形態の動作＞
図２は、画像処理装置の第１の実施の形態の動作を示すフローチャートである。ステップＳＴ１で色温度推定部２１は、色温度推定を行う。色温度推定部２１は、撮像画像生成時における光源の色温度を推定してステップＳＴ２に進む。

ステップＳＴ２でホワイトバランス調整部２２は、推定した色温度が所定の色温度範囲内であるか判別する。ホワイトバランス調整部２２は、推定した色温度が所定の色温度範囲内にある場合、ステップＳＴ３に進む。また、ホワイトバランス調整部２２は、推定した色温度が所定の色温度範囲内にない場合、すなわち、推定した色温度が所定の色温度範囲よりも低い温度または高い温度である場合、ステップＳＴ４に進む。

ステップＳＴ３でホワイトバランス調整部２２は、推定した色温度を第１色温度と第２色温度に設定してステップＳＴ７に進む。なお、第１色温度は、第１のホワイトバランス調整を行う場合に用いられる撮像画像生成時の光源の色温度とする。また、第２色温度は、第２のホワイトバランス調整を行う場合に用いられる撮像画像生成時における光源の色温度とする。なお、第１色温度と第２色温度は、同じ推定値である。

ステップＳＴ４でホワイトバランス調整部２２は、推定した色温度が所定の色温度範囲よりも低い色温度か判別する。ホワイトバランス調整部２２は、推定した色温度が所定の色温度範囲よりも低い色温度である場合、ステップＳＴ５に進む。また、ホワイトバランス調整部２２は、推定した色温度が所定の色温度範囲よりも高い色温度である場合、ステップＳＴ６に進む。

ステップＳＴ５でホワイトバランス調整部２２は、範囲下限色温度を第１色温度、推定した色温度を第２色温度に設定してステップＳＴ７に進む。なお、範囲下限色温度は、図３に示すように、所定の色温度範囲の下限を示す色温度である。

ステップＳＴ６でホワイトバランス調整部２２は、範囲上限色温度を第１色温度、推定した色温度を第２色温度に設定してステップＳＴ７に進む。なお、図３に示すように、範囲上限色温度は、所定の色温度範囲の上限を示す色温度である。

ステップＳＴ７でホワイトバランス調整部２２は、色領域の抽出を行うか判別する。ホワイトバランス調整部２２は、色領域抽出部２３が特定色の色領域を抽出するように設定されている場合、ステップＳＴ８に進み、色領域を抽出するように設定されていない場合、ステップＳＴ１２に進む。

ステップＳＴ８でホワイトバランス調整部２２は、第２のホワイトバランス調整を行う。ホワイトバランス調整部２２は、撮像画像生成時における光源の色温度が第２色温度であるとして、ホワイトバランスゲインを設定して各色信号の信号レベルを調整することで第２のホワイトバランス調整を行いステップＳＴ９に進む。

ステップＳＴ９でホワイトバランス調整部２２は、信号変換を行う。ホワイトバランス調整部２２は、例えば三原色の画像信号を用いてホワイトバランス調整を行った場合、ホワイトバランス調整後の三原色の画像信号を輝度信号と色差信号に変換してステップＳＴ１０に進む。なお、ステップＳＴ９の信号変換は、ホワイトバランス調整部２２から出力される画像信号と、色領域抽出部２３で特定色の色領域を抽出する場合に用いる画像信号の信号方式が異なる場合に設けられる処理である。したがって、ホワイトバランス調整部２２から出力される画像信号と、色領域抽出部２３で特定色の色領域を抽出する場合に用いる画像信号の信号方式が等しい場合、ステップＳＴ９の処理を設ける必要はない。例えばホワイトバランス調整が行われた三原色の画像信号を用いて色領域を抽出する場合、または輝度信号と色差信号を用いてホワイトバランス調整を行う場合、ステップＳＴ９の信号変換は不要となる。

ステップＳＴ１０で色領域抽出部２３は、色領域の抽出を行う。色領域抽出部２３は第２のホワイトバランス調整が行われた画像信号を用いて、撮像画像における特定色の色領域を抽出してステップＳＴ１１に進む。ここで、色領域抽出部２３で用いる画像信号は、第２のホワイトバランス調整が行われた画像信号、すなわち、推定した色温度が所定の色温度範囲内でない場合でも、正しくホワイトバランス調整が行われた画像信号、すなわち推定した色温度に応じてホワイトバランス調整が行われた画像信号である。したがって、色領域抽出部２３は、第２のホワイトバランス調整が行われた画像信号と、予め設定されている特定色の色判定基準を比較して正しく特定色の色領域を抽出できる。図４は、色差信号Ｃｂ，Ｃｒを用いたときの色判定基準を例示している。色領域抽出部２３は、特定色を切り替え可能として、例えばユーザが特定色として「青」を選択した場合、色差信号Ｃｂ，Ｃｒが「青」の範囲となる画像の領域を抽出する。また、例えばユーザが特定色として「黄」を選択した場合、色差信号Ｃｂ，Ｃｒが「黄」の範囲となる画像の領域を抽出する。さらに、図示せずも肌色の色判定基準を設けて、人物の顔や手等の領域を自動的に抽出するようにしてもよい。また、第２のホワイトバランス調整が行われた画像信号を用いていることから、色判定基準を色温度毎に設ける必要がなく、特定色の色領域の抽出を容易に行うことができる。

ステップＳＴ１１で画像調整部２４は、画像調整を行う。画像調整部２４は、色領域の抽出結果に基づき、抽出された色領域または抽出された色領域を除く他の色領域に対して調整を行う。例えば、画像調整部２４は、抽出された色領域を除く他の領域に対して、彩度を低下させて無彩色とすれば、いわゆるパーシャルカラーの画像を生成できる。また、抽出された色領域の輝度を調整してコントラストを高めることで、図５の（Ａ）に示す撮像画像から、図５の（Ｂ）に示すように、偏光フィルタを利用したような撮像画像を生成できる。さらに、輝度や彩度に限らず、鮮鋭度を調整してもよい。例えば抽出された色領域を除く他の領域に対して、鮮鋭度を低下させる処理を行えば、特定色の色領域の被写体にフォーカスを合わせたような撮像画像を生成することができる。

ステップＳＴ７で色領域の抽出を行わないと判別されてステップＳＴ１２に進むと、ホワイトバランス調整部２２は、第１のホワイトバランス調整を行う。ホワイトバランス調整部２２は、撮像画像生成時における光源の色温度が第１色温度であるとして、ホワイトバランスゲインを設定して各色信号の信号レベルを調整することで第１のホワイトバランス調整を行いステップＳＴ１３に進む。すなわち、第１のホワイトバランス調整では、推定した色温度が所定の色温度範囲内である場合、色温度に追従してホワイトバランス調整が行われる。また、第１のホワイトバランス調整では、推定した色温度が所定の色温度範囲よりも低い温度である場合、色温度を範囲下限色温度としてホワイトバランス調整が行われる。さらに、第１のホワイトバランス調整では、推定した色温度が所定の色温度範囲よりも高い温度である場合、色温度を範囲上限色温度としてホワイトバランス調整が行われる。したがって、推定した色温度が所定の色温度範囲内でない場合、第１のホワイトバランス調整が行われた画像信号に基づく画像は、光源の雰囲気を残した画像となる。

ステップＳＴ１３でホワイトバランス調整部２２は、信号変換を行う。ホワイトバランス調整部２２は、例えば三原色の画像信号を用いてホワイトバランス調整を行った場合、ホワイトバランス調整後の三原色の画像信号を輝度信号と色差信号に変換する。なお、ステップＳＴ１３の信号変換は、ホワイトバランス調整部２２から出力される画像信号と、後処理部３１で後処理に用いる画像信号の信号方式が異なる場合に設けられる処理である。したがって、ホワイトバランス調整部２２から出力される画像信号と、後処理部３１で後処理に用いる画像信号の信号方式が等しい場合、ステップＳＴ１３の処理を設ける必要はない。

このように、色領域抽出部２３は、第２のホワイトバランス調整が行われた画像信号を用いて色領域の抽出を行う。すなわち、推定された色温度が所定の色温度範囲内にない場合でも、推定された色温度に応じてホワイトバランス調整が行われて、ホワイトバランス調整が行われた画像信号を用いて色領域の抽出が行われる。したがって、色温度情報に基づき閾値をどのように変更するかを示す変更情報または色温度毎の閾値等を予め用意しなくとも、光源の色温度にかかわらず特定色の色領域を正しく容易に抽出できる。

また、第２のホワイトバランス調整が行われた画像信号に対して、特定色の色領域の判別結果に応じて画像調整を行うことで、推定した色温度に応じてホワイトバランスが調整された画像で画像調整の処理結果を確認することが可能となる。

なお、色領域の抽出を行わない場合、第１のホワイトバランス調整が行われるので、推定された色温度が所定の色温度範囲よりも低い場合や高い場合、光源の色味を残した画像を生成できる。

＜３．第２の実施の形態の動作＞
ところで、第１の実施の形態の動作では、第２のホワイトバランス調整が行われた画像信号に対して、色領域の判別結果に基づき画像調整を行っている。しかし、色領域の判別結果に基づいて、第１のホワイトバランス調整が行われた画像信号に対して画像調整を行えば、光源の雰囲気を残した画像に対して、特定色の色領域の判別結果に応じて画像調整が行われた画像を生成できる。以下、第２の実施の形態では、色領域の判別結果に基づいて、第１のホワイトバランス調整が行われた画像信号に対して画像調整を行う場合について説明する。

図６は、画像処理装置の第２の実施の形態の動作を示すフローチャートである。ステップＳＴ２１で色温度推定部２１は、色温度推定を行う。色温度推定部２１は、撮像画像生成時における光源の色温度を推定してステップＳＴ２２に進む。

ステップＳＴ２２でホワイトバランス調整部２２は、推定した色温度が所定の色温度範囲内であるか判別する。ホワイトバランス調整部２２は、推定した色温度が所定の色温度範囲内にある場合、ステップＳＴ２３に進む。また、ホワイトバランス調整部２２は、推定した色温度が所定の色温度範囲内にない場合、すなわち、推定した色温度が所定の色温度範囲よりも低い温度または高い温度である場合、ステップＳＴ２４に進む。

ステップＳＴ２３でホワイトバランス調整部２２は、推定した色温度を第１色温度と第２色温度に設定してステップＳＴ２７に進む。第１色温度は、第１のホワイトバランス調整を行う場合に用いられる撮像画像生成時の光源の色温度とする。また、第２色温度は、第２のホワイトバランス調整を行う場合に用いられる撮像画像生成時における光源の色温度とする。なお、第１色温度と第２色温度は、同じ推定値である。

ステップＳＴ２４でホワイトバランス調整部２２は、推定した色温度が所定の色温度範囲よりも低い色温度か判別する。ホワイトバランス調整部２２は、推定した色温度が所定の色温度範囲よりも低い色温度である場合、ステップＳＴ２５に進む。また、ホワイトバランス調整部２２は、推定した色温度が所定の色温度範囲よりも高い色温度である場合、ステップＳＴ２６に進む。

ステップＳＴ２５でホワイトバランス調整部２２は、範囲下限色温度を第１色温度、推定した色温度を第２色温度に設定してステップＳＴ２７に進む。範囲下限色温度は、所定の色温度範囲の下限を示す色温度である。

ステップＳＴ２６でホワイトバランス調整部２２は、範囲上限色温度を第１色温度、推定した色温度を第２色温度に設定してステップＳＴ２７に進む。範囲上限色温度は、所定の色温度範囲の上限を示す色温度である。

ステップＳＴ２７でホワイトバランス調整部２２は、色領域の抽出を行うか判別する。ホワイトバランス調整部２２は、色領域抽出部２３が特定色の色領域を抽出するように設定されている場合、ステップＳＴ２８に進み、色領域を抽出するように設定されていない場合、ステップＳＴ３４に進む。

ステップＳＴ２８でホワイトバランス調整部２２は、第２のホワイトバランス調整を行う。ホワイトバランス調整部２２は、撮像画像生成時における光源の色温度が第２色温度であるとして、ホワイトバランスゲインを設定して各色信号の信号レベルを調整することで第２のホワイトバランス調整を行いステップＳＴ２９に進む。

ステップＳＴ２９でホワイトバランス調整部２２は、信号変換を行う。ホワイトバランス調整部２２は、例えば三原色の画像信号を用いてホワイトバランス調整を行った場合、ホワイトバランス調整後の三原色の画像信号を輝度信号と色差信号に変換してステップＳＴ３０に進む。なお、ホワイトバランス調整部２２から出力される画像信号と、色領域抽出部２３で特定色の色領域を抽出する場合に用いる画像信号の信号方式が等しい場合、上述したようにステップＳＴ２９の処理を設ける必要はない。

ステップＳＴ３０で色領域抽出部２３は、色領域の抽出を行う。色領域抽出部２３は第２のホワイトバランス調整が行われた画像信号を用いて、撮像画像における特定色の色領域を抽出してステップＳＴ３１に進む。ここで、色領域抽出部２３で用いる画像信号は、第２のホワイトバランス調整が行われた画像信号、すなわち、推定した色温度が追従設定範囲を超えている場合でも、正しくホワイトバランス調整が行われた画像信号、すなわち推定した色温度に応じてホワイトバランス調整が行われた画像信号である。したがって、色領域抽出部２３は、第２のホワイトバランス調整が行われた画像信号を用いることで、正しく特定色の色領域を抽出できる。

ステップＳＴ３１でホワイトバランス調整部２２は、第１のホワイトバランス調整を行う。ホワイトバランス調整部２２は、撮像画像生成時における光源の色温度が第１色温度であるとして、ホワイトバランスゲインを設定して各色信号の信号レベルを調整することで第１のホワイトバランス調整を行いステップＳＴ３２に進む。

ステップＳＴ３２でホワイトバランス調整部２２は、信号変換を行う。ホワイトバランス調整部２２は、例えばホワイトバランス調整部２２から、三原色の画像信号が供給された場合、三原色の画像信号を輝度信号と色差信号に変換してステップＳＴ３３に進む。なお、ステップＳＴ３２の信号変換は、ホワイトバランス調整部２２から出力される画像信号と、画像調整部２４で画像調整に用いる画像信号の信号方式が異なる場合に設けられる処理である。したがって、ホワイトバランス調整部２２から出力される画像信号と、画像調整部２４で画像調整に用いる画像信号の信号方式が等しい場合、ステップＳＴ３２の処理を設ける必要はない。

ステップＳＴ３３で画像調整部２４は、画像調整を行う。画像調整部２４は、色領域の抽出結果に基づき、抽出された色領域または抽出された色領域を除く他の色領域に対して、第１のホワイトバランス調整が行われた画像信号の調整を行う。画像調整部２４は、上述のように彩度や輝度，鮮鋭度等の調整を行う。

ステップＳＴ２７で色領域の抽出を行わないと判別されてステップＳＴ３４に進むと、ホワイトバランス調整部２２は、第１のホワイトバランス調整を行う。ホワイトバランス調整部２２は、撮像画像生成時における光源の色温度が第１色温度であるとして、ホワイトバランスゲインを設定して各色信号の信号レベルを調整することで第１のホワイトバランス調整を行いステップＳＴ３５に進む。

ステップＳＴ３５でホワイトバランス調整部２２は、信号変換を行う。ホワイトバランス調整部２２は、例えば三原色の画像信号を用いてホワイトバランス調整を行った場合、ホワイトバランス調整後の三原色の画像信号を輝度信号と色差信号に変換する。なお、ステップＳＴ３５の信号変換は、ホワイトバランス調整部２２から出力される画像信号と、後処理部３１で後処理に用いる画像信号の信号方式が異なる場合に設けられる処理である。したがって、ホワイトバランス調整部２２から出力される画像信号と、後処理部３１で後処理に用いる画像信号の信号方式が等しい場合、ステップＳＴ３５の処理を設ける必要はない。

このように、色領域抽出部２３は、第２のホワイトバランス調整が行われた画像信号を用いて色領域の抽出を行う。したがって、色領域抽出部２３は、色温度情報に基づき閾値をどのように変更するかを示す変更情報または色温度毎の閾値を予め用意しなくとも、光源の色温度にかかわらず特定色の色領域を正しく容易に抽出できる。

さらに、色領域の抽出を行う場合、第１のホワイトバランス調整が行われた画像信号に対して、色抽出結果に基づき画像調整が行われる。したがって、撮影光源の雰囲気を残した画像に対して、特定色の色領域の判別結果に応じて画像調整を行った画像を生成できる。

図７は、第２の実施の形態の動作を説明するための図である。図７の（Ａ）は撮像画像を例示しており、被写体として例えば手前側の花ＰＡと奥側の花ＰＢが含まれている。ここで、手前側の花ＰＡは特定色とする。また、奥側の花ＰＢは、正しくホワイトバランス調整が行われた画像上では特定色と異なる色であり、光源の色温度が下限色温度よりも低いため光源の色温度に追従したホワイトバランス調整が行われていない画像上では、特定色に類似した色になるとする。

この場合、光源の色温度が下限色温度よりも低いため光源の色温度に追従したホワイトバランス調整が行われていない画像信号を用いて特定色の色領域を抽出すると、図７の（Ｂ）に示すように、特定色である手前の花と奥側の花が特定色の色領域と誤判別されてしまう。なお、特定色の色領域でない領域は縞模様で示している。

このため、パーシャルカラー処理を行い特定色の色領域以外の部分の彩度を無彩色としたり、特定色の色領域以外の部分の鮮鋭度を低下させて、特定色の色領域を強調する場合、図７の（Ｃ）に示すように特定色でない奥側の花も強調されてしまう。

しかし、本技術では、撮像時における光源の色温度が下限色温度よりも低い場合でも、光源の色温度に基づいてホワイトバランス調整が行われた画像信号を用いて特定色の色領域が抽出される。したがって、図７の（Ｄ）に示すように、特定色である手前の花のみが特定色の色領域と判別されて、図７の（Ｅ）に示すように、手前の花のみを強調して表示できるようになる。

さらに、第１のホワイトバランス調整が行われた画像信号に対して、色抽出結果に基づき画像調整が行われることから、画像調整後の画像は光源の雰囲気を残した画像に対して、特定色の色領域の判別結果に応じて画像調整が行われた画像となる。

なお、色領域の抽出を行わない場合、第１のホワイトバランス調整が行われるので、推定された色温度が所定の色温度範囲よりも低い場合または高い場合、光源の色味を残した画像を生成できる。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ(Local Area Network)やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本技術は、上述した実施の形態に限定して解釈されるべきではない。この実施の形態は、例示という形態で本技術を開示しており、例えば図４に示すように色差信号Ｃｂ，Ｃｒを用いて「青」「赤」「黄」「緑」の何れかを特定色として色領域を抽出する場合に限られるものではない。例えば三原色の画像信号を用いた色領域の抽出や、他の色を特定色として色領域の抽出を行うようにしてもよく、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

本技術の画像処理装置と画像処理方法およびプログラムでは、撮像時における光源の色温度が所定の色温度範囲内である場合に、色温度に基づいて画像信号のホワイトバランスを調整する第１のホワイトバランス調整が行われる。また、色温度が所定の色温度範囲内でない場合であっても、色温度に基づいて画像信号のホワイトバランスを調整する第２のホワイトバランス調整が行われる。さらに、第２のホワイトバランス調整が行われた画像信号を用いて、特定色の色領域の抽出が行われる。このように、第２のホワイトバランス調整が行われた画像信号を用いて特定色の色領域の抽出が行われることから、色温度情報に基づき閾値をどのように変更するかを示す変更情報または色温度毎の閾値等を予め用意しなくとも、光源の色温度にかかわらず特定色の色領域を正しく容易に抽出できる。

１０・・・撮像装置、１１・・・撮像光学系、１２・・・撮像部、１３・・・前処理部、２１・・・色温度推定部、２２・・・ホワイトバランス調整部、２３・・・色領域抽出部、２４・・・画像調整部、３１・・・後処理部、３２・・・エンコード部、３３・・・出力部、４０・・・制御部、４１・・・ユーザインタフェース（Ｉ／Ｆ）部

Claims (13)

1. 撮像時における光源の色温度を推定する色温度推定部と、
   前記推定された色温度が所定の色温度範囲内である場合に、前記推定された色温度に基づいて画像信号のホワイトバランスを調整する第１のホワイトバランス調整と、前記推定された色温度が前記所定の色温度範囲内でない場合であっても、前記推定された色温度に基づいて前記画像信号のホワイトバランスを調整する第２のホワイトバランス調整を行うホワイトバランス調整部と、
   前記第２のホワイトバランス調整が行われた画像信号を用いて、特定色の色領域を抽出する色領域抽出部と
   を有する画像処理装置。
2. 前記ホワイトバランス調整部でホワイトバランスの調整が行われた画像信号を用いて、前記色領域の抽出結果に基づき画像調整を行う画像調整部をさらに有する請求項１記載の画像処理装置。
3. 前記画像調整部は、前記ホワイトバランス調整部で前記第１のホワイトバランス調整が行われた画像信号に対して前記画像調整を行う請求項２記載の画像処理装置。
4. 前記画像調整部は、前記色領域の抽出結果に基づき、前記画像信号の少なくとも抽出された色領域または抽出された色領域を除く他の領域に対して、輝度の調整を行う請求項２記載の画像処理装置。
5. 前記画像調整部は、前記色領域の抽出結果に基づき、前記画像信号の少なくとも抽出された色領域または抽出された色領域を除く他の領域に対して、彩度の調整を行う請求項２記載の画像処理装置。
6. 前記画像調整部は、前記色領域の抽出結果に基づき、前記画像信号の少なくとも抽出された色領域または抽出された色領域を除く他の領域に対して、鮮鋭度の調整を行う請求項２記載の画像処理装置。
7. 前記色領域抽出部は、前記第２のホワイトバランス調整が行われた画像信号と、色温度によらず特定色毎に予め設定されている色判定基準を比較して色領域の抽出を行う請求項１記載の画像処理装置。
8. 前記色領域抽出部は、前記特定色を切り替え可能とする請求項１記載の画像処理装置。
9. 前記ホワイトバランス調整部は、前記色領域抽出部で色領域の抽出を行わない場合、前記第１のホワイトバランス調整を行う請求項１記載の画像処理装置。
10. 前記色温度推定部は、ホワイトバランス調整前の画像から前記色温度を推定する請求項１記載の画像処理装置。
11. 前記色温度推定部は、ホワイトバランス調整後の画像以外から前記色温度を推定する請求項１記載の画像処理装置。
12. 撮像時における光源の色温度を推定する工程と、
    前記推定された色温度が所定の色温度範囲内である場合に、前記推定された色温度に基づいて画像信号のホワイトバランスを調整する第１のホワイトバランス調整と、前記推定された色温度が前記所定の色温度範囲内でない場合であっても、前記推定された色温度に基づいて前記画像信号のホワイトバランスを調整する第２のホワイトバランス調整を行う工程と、
    前記第２のホワイトバランス調整が行われた画像信号を用いて、特定色の色領域を抽出する工程と
    を有する画像処理方法。
13. 画像処理をコンピュータで実行させるプログラムであって、
    撮像時における光源の色温度が所定の色温度範囲内である場合に、前記色温度に基づいて画像信号のホワイトバランスを調整する第１のホワイトバランス調整と、前記色温度が前記所定の色温度範囲内でない場合であっても、前記色温度に基づいて前記画像信号のホワイトバランスを調整する第２のホワイトバランス調整を行う手順と、
    前記第２のホワイトバランス調整が行われた画像信号を用いて、特定色の色領域を抽出する手順と
    を前記コンピュータで実行させるプログラム。