JP4731202B2

JP4731202B2 - 色補正処理方法及びこれを用いた色補正処理装置

Info

Publication number: JP4731202B2
Application number: JP2005141275A
Authority: JP
Inventors: 俊策利弘; 伊公子吉田
Original assignee: NK Works Co Ltd
Current assignee: Noritsu Precision Co Ltd
Priority date: 2005-05-13
Filing date: 2005-05-13
Publication date: 2011-07-20
Anticipated expiration: 2025-05-13
Also published as: JP2006318276A

Description

本発明は、三原色表現された画素からなる顔領域を含む撮影画像データの色補正処理技術に関する。

現在、写真プリント業界では、写真フィルムに形成された撮影画像をフィルムスキャナを用いてデジタル化して得られた撮影画像データや、デジタルカメラなどのデジタル撮影機器によって直接撮影画像をデジタル化して得られた撮影画像データに濃度補正や色補正などの画像処理を施した後これをプリントデータに変換し、このプリントデータに基づいてプリントユニットを駆動して、撮影画像をプリント媒体に形成するデジタル写真処理技術が主流である。

このようなデジタル写真処理技術の分野では、例えば、撮像素子により写真フィルムを測光して得られるコマごとのＲ（赤）・Ｇ（緑）・Ｂ（青）又はＣ（シアン）・Ｍ（マゼンタ）・Ｙ（イエロー）といった三原色表現された撮影画像データに基づいて画質の良好な画像をプリント媒体に形成するため、入力された撮影画像データの濃度を補正する処理が行われている。濃度補正方法としては、濃度特性曲線（ガンマ特性）による濃度補正が一般的である。つまり、入力画像データの濃度階調に対してプリント媒体上で発色する濃度階調は一致しないので、プリント媒体上で発色する濃度階調が人間の視覚特性に適したものになるように設定された濃度特性曲線を用いて入力画像データを補正し、この補正された出力画像データに基づいて最終的に得られる写真プリント上で発色している濃度階調が人間の視覚特性に応じたものになるようにしている。濃度特性曲線としては、理論的かつ経験的な知識に基づいて作成された基本的な濃度特性曲線がよく知られており、以前からこのような基本的な濃度特性曲線が利用されている。
しかしながら、撮影画像の被写体状況や撮影環境状況は千差万別であり、基本的な濃度特性曲線では、入力された撮影画像データの撮像シーンによっては、適切な出力画像データを得られないという問題が生じている。例えば、オーバー／アンダー露出（露光過多／露光過少）で取得された撮影画像データを補正する場合は、撮影画像データを構成する各画素の輝度が低輝度（シャドウ部）または高輝度（ハイライト部）に偏り過ぎているのに対して、基本的な濃度特性曲線におけるシャドウ部およびハイライト部の傾斜率は緩やかになっているため、入力濃度に対して出力濃度が極めて弱くなるように補正されてしまう。

このような問題を解決するため、基本濃度特性曲線を出力側基準で複数の領域に分割し、画像の濃度の代表値に対して、基本濃度特性曲線がとり得る入力輝度の範囲を変更するための調整率を定めたデータテーブルを上記領域別に設定し、入力画像を構成する各画素の濃度から、入力画像の濃度の代表値を求め、求めた代表値と上記データテーブルとから、入力画像に応じた調整率を領域ごとに検出し、領域ごとで、基準となるガンマカーブのとり得る出力輝度の範囲は一定としつつ、基本濃度特性曲線がとり得る入力濃度の範囲に入力画像に応じた調整率をかけることで、基本濃度特性曲線を修正し、その修正された濃度特性曲線で入力撮影画像データを濃度補正するものがある（例えば特許文献１参照。）。しかしながら、このように修正された濃度特性曲線を用いて濃度補正することにより、上述の問題はある程度改善されるが、なお、特定の撮影画像、例えば人物写真などではその効果は十分ではない。

人物撮影画像に対する適正な濃度補正を行うために、人物の肌色に相当する色相を有する画素のＲＧＢデータの特徴量と人物が含まれている可能性の高い領域の画素のＲＧＢデータの特徴量とに基づいて濃度特性曲線を修正することにより、人物の濃度が適正に補正されるように工夫されたものもある（例えば、特許文献２参照。）。この技術では、ある程度の確率をもって人物撮影画像の改善が得られるが、肌色画素が一義的に人物を規定するものではないので、被写体によっては不適当な濃度補正が施されることになる。

撮影画像データからオペレータが顔領域を指定して、その顔領域に基づいた濃度補正を行う技術も知られているが（例えば特許文献３、特許文献４参照。）、単純に人物の顔に濃度を合わせるような修正を基本濃度特性曲線に施して、濃度補正した場合、逆光撮影画像やストロボ撮影画像では過剰補正となって、やはり不自然な写真プリントを出力してしまうことも少なくない。

さらに、画像の各画素を色相空間における角度で表示したときその角度を変換するための関数を取得する関数取得部と、前記関数に従い各画素の色相を変換して第２画像を生成する画像変換部とを備え、その関数が入力角をそのまま出力する所定の不動区間と色の変化を禁止する区間を定義したものである画像処理装置も知られている（例えば特許文献５参照。）。しかしながらこの画像処理装置では、変換すべき色を指定し、変換関数を編集するといったような面倒で熟練が必要な作業が要求され、補正作業に大きな負担がともなう。

特開２００３−３０４３９８号公報（段落番号０００８、００２１、図１）特開２００２−３６９０２０号公報（段落番号０００４−０００８、図５）特開平６−５９３５３号公報（段落番号００２４、００４８、図３）特開２００１−２１８０４７号公報（段落番号０００９−００１０、００２４−００２８、図２）特開２００１−１４４９８６号公報（段落番号００３３−００４７、図４）

上記実状に鑑み、本発明の課題は、顔領域を含む撮影画像データに対する適正な色補正を簡単に行うことができる色補正処理技術を提供することである。

三原色表現された画素からなる顔領域を含む撮影画像データの色補正処理方法において上記課題を解決するため、本発明による色補正処理方法は、前記撮影画像データの前記顔領域から顔平均濃度値を算出するステップと、前記顔平均濃度値を色相と彩度によって座標位置が決まる色相円系での座標値に変換するステップと、前記座標値によって規定される色相と目標色相との相違度に基づいて色相円系での補正シフト量を算定するステップと、前記補正シフト量が赤色成分を減少させるものであり、前記顔平均濃度値の前記色相円系での座標値の色相が赤領域である場合、当該補正シフト量を略赤色成分の強さを表す第１方向の第１シフト量と当該第１方向に直交する第２方向の第２シフト量とに分解し、当該第１シフト量を抑制するとともに、当該抑制された第１シフト量と当該第２シフト量とを前記補正シフト量として合成することにより、赤色成分の減少を抑制するように前記補正シフト量を調整するステップと、前記補正シフト量に基づいて前記撮影画像データに含まれている顔領域の色補正を行うステップとから構成されている。

この方法によれば、顔領域を構成する画素（三原色、例えばＲＧＢ濃度値をもつ）の平均値である顔平均濃度値を色相と彩度をパラメータとする色相円系の色空間に変換して得られる座標値がもつ元となる色相値を色補正の目標とするべき目標色相値に近づける補正を行う際、元となる色相値と目標色相値の相違度に基づいて適正な補正シフト量を算定し、その補正シフト量に基づいて顔領域を構成する画素が補正される。顔領域を構成する画素を補正する際に、この顔領域を構成する三原色表現された画素群を一旦色相円系の色空間に変換し、そこで目標となる色相値に近づけるべく算定された補正シフト量に基づいて顔領域を構成する画素を色補正するので、顔領域の色相が適正になるような色補正が実現する。また、本構成では、顔領域画素群の色相円系での位置である座標値で規定される色相が赤領域の場合、赤成分の減少が抑制されるように前記補正シフト量が調整されるため、好ましくないと考えられる人物の顔色として赤成分の減少を抑制することができる。

上述したような顔領域の特性値としての顔平均濃度値に基づいて算定された補正シフト量で顔領域を補正することに代えて、この補正シフト量で顔領域以外の領域も、つまり撮影画像全体を色補正しても、人物を被写体とする撮影画像においては好ましい結果が得られる。このため、上記補正シフト量に基づいて前記顔領域を含む撮影画像データ全体の色補正を行う画像処理技術も本発明の対象としている。

本発明の好適な実施形態の１つでは、前記顔領域の色補正を行うステップにおいて、前記補正シフト量を三原色表現された三原色補正シフト量に逆変換するとともに、この逆変換で得られた前記三原色補正シフト量に基づいて色補正を行う。つまり、色相円系の色空間において適正な顔色を得るための補正シフト量を求め、この色相円系の色空間での補正シフト量を逆変換することで三原色空間（例えばＲ・Ｇ・Ｂ空間）での補正シフト量である三原色補正シフト量を求めて、この三原色補正シフト量を顔領域を構成する全ての画素に適用することで顔領域の色補正が簡単かつスムーズに行える。

また、算定された補正シフト量に基づいて顔領域を構成する画素の色補正を行う際に、顔領域以外の画素との調和や色相以外の補正も考慮するため、前記撮影画像データ全体に対する補正量を算出するステップを備え、前記顔領域の色補正を行うステップにおいて、調整可能な割合で前記三原色補正シフト量と前記撮影画像データ全体に対する補正量とを融合した補正量を算出し、当該融合された補正量に基づいて前記撮影画像データを補正するように構成することも利点がある。例えば、上述した特許文献などに示されている従来の画像補正と組み合わせ、それらの補正の割合（両者の補正の融合度合い）を調整することでより違和感のない色補正が実現する。

一般的に色相円系の色空間では色相と彩度がパラメータとなっており、彩度に応じて色相値の変化がもたらす視覚上の影響が異なることを考慮するならば、顔領域を構成する画素群の色相円系の色空間での位置である座標値で規定される彩度に応じて顔領域の画素に対する補正シフト量が調整されることは違和感のない写真プリントを出力するために重要である。

ここで採用される色相円系が原点からの距離で彩度を示すとともに角度で色相を示す極座標で表現されるものである場合、前記目標色相は目標角度として設定され、前記補正シフト量は前記座標値を彩度を維持しながら前記目標角度に近づけるためのシフト量とすることで、簡単に本発明の顔領域色補正処理が実現する。そのような色相円系の色空間として、ＨＳＶ色相系（ＨＳＢ色相系）や、後で本発明の実施形態として詳しく説明されるＰＱ色空間が挙げられる。

本発明では、上述した顔領域を含む撮影画像データの色補正処理方法をコンピュータに実行させるプログラムやそのプログラムを記録した媒体も権利の対象とするものである。

さらに、本発明では、上述した顔領域を含む撮影画像データの色補正処理方法を実施する色補正処理装置も権利の対象としており、そのような色補正処理装置は、前記撮影画像データの前記顔領域から顔平均濃度値を算出する顔平均濃度算出部と、前記顔平均濃度値を色相と彩度によって座標位置が決まる色相円系での座標値に変換する色相円系変換部と、前記座標値によって規定される色相と目標色相との相違度に基づいて色相円系での補正シフト量を算定するとともに、当該補正シフト量が赤色成分を減少させるものであり、前記顔平均濃度値の前記色相円系での座標値の色相が赤領域である場合、当該補正シフト量を略赤色成分の強さを表す第１方向の第１シフト量と当該第１方向に直交する第２方向の第２シフト量とに分解し、当該第１シフト量を抑制するとともに、当該抑制された第１シフト量と当該第２シフト量とを前記補正シフト量として合成することにより、赤色成分の減少を抑制するように当該補正シフト量を調整する補正シフト量算定部と、前記補正シフト量に基づいて前記撮影画像データの少なくとも顔領域の色補正を行う色補正部とから構成されている。当然ながら、このような色補正処理装置も上述した色補正処理方法で述べたすべての作用効果を得ることができ、さらに上述した好適な実施形態を組み込むことも可能である。
本発明によるその他の特徴及び利点は、以下図面を用いた実施形態の説明により明らかになるだろう。

本発明による、三原色表現された画素値、例えばＲ・Ｇ・Ｂ色空間で表現された撮影画像データに含まれている顔領域の色補正処理の原理が図１に示されている。Ｒ・Ｇ・Ｂ撮影画像データが入力されると、その撮影画像中に顔が存在している場合にその顔領域の位置を出力する顔検出処理がなされる（＃０１）。この顔検出処理は公知の顔検出アルゴリズムを用いて自動的に行うのが好ましいが、オペレータの目視でマニュアル検出することも本発明では排除されていない。

検出された顔領域の画素が読み出されて平均演算処理によってその平均濃度値が顔平均濃度値として出力される（＃０２）。得られた顔平均濃度値はＲＧＢ／ＰＱ変換処理によって、Ｒ・Ｇ・Ｂ色空間の値からＰＱ色空間のＰＱ座標値に変換される（＃０３）。Ｒ・Ｇ・Ｂ色空間の値からＰＱ色空間のＰＱ座標値への変換式は以下に示すマトリックス演算によって求めることができる。

このＲＧＢ／ＰＱ変換によって作り出されるＰＱ色空間は図２に示すように、縦軸がＱ軸で、横軸がＰ軸となっている。このＰＱ座標で決定されるＰＱ色空間は、極座標で考察すると理解し易い。極座標で考察すると、その角度で色相が表され、原点からの距離で彩度が表される。つまり、原点領域が無彩色領域となり、π／６の角度（位相角）がシアン、π／２の角度が青、π／６の角度がシアン、５π／６の角度がマゼンタ、−５π／６の角度が赤、−π／２の角度がイエロー、−π／６の角度が緑となっている。

補正シフト量算定処理では、予め実験的に求められているＰＱ色空間における目標となる色相（適正な顔色）である目標色相を示す角度（図２で点線で示されている）とＰＱ座標値が比較され、その位置的な相違度に基づいてＰＱ座標値を目標色相に近づけるための補正シフト量が求められる（＃０４）。この補正シフト量はＰ成分とＱ成分とからなるベクトルとみなされる。

補正シフト量が算定されると、第１色補正処理として、この補正シフト量に基づいて顔領域画素の補正を行い、補正された顔領域画素（画像データ）を求める（＃０５）。この第１色補正処理の典型的な具体例としては、補正シフト量のＰ成分とＱ成分をＲＧＢ／ＰＱ逆変換することにより、Ｒ・Ｇ・Ｂ色空間におけるＲＧＢ補正シフト量（三原色補正シフト量）を求め、このＲＧＢ補正シフト量を顔領域の全画素に施して補正された顔領域画素を得ると良い。

以上の処理で、本発明による実質的な顔領域の色補正処理が終了するが、撮影画像の画像処理としては濃度バランスやコントラストの調整なども重要であるため、入力されている撮影画像データに対する別な色補正アルゴリズムによる演算を通じて別な色補正係数を求めておき（＃０６）、この別な色補正係数による補正画素と先のＲＧＢ補正シフト量による補正画素を所定の割合で融合させることにより、最終的な補正顔領域画素を得る第２色補正処理（融合処理）（＃０７）を付加することが望ましい。

上記ステップ＃０５〜＃０７においては、算定された補正シフト量から顔領域の色補正が実施されているが、これに代えて算定された補正シフト量から撮影画像全体の色補正が実施されてもよい。

次に、上述した顔領域の色補正原理を採用した顔領域を含む撮影画像データのための色補正処理モジュールを搭載した写真プリント装置を説明する。図３はその写真プリント装置を示す外観図であり、この写真プリント装置は、印画紙Ｐに対して露光処理と現像処理とを行う写真プリンタとしてのプリントステーション１Ｂと、現像済み写真フィルム２ａやデジタルカメラ用メモリカード２ｂなどの画像入力メディアから取り込んだ撮影画像を処理してプリントステーション１Ｂで使用されるプリントデータの生成・転送などを行う操作ステーション１Ａとから構成されている。

この写真プリント装置はデジタルミニラボとも称せられるものであり、図４からよく理解できるように、プリントステーション１Ｂは２つの印画紙マガジン１１に納めたロール状の印画紙Ｐを引き出してシートカッター１２でプリントサイズに切断すると共に、このように切断された印画紙Ｐに対し、バックプリント部１３で色補正情報やコマ番号などのプリント処理情報を印画紙Ｐの裏面に印字するとともに、プリント露光部１４で印画紙Ｐの表面に撮影画像の露光を行い、この露光後の印画紙Ｐを複数の現像処理槽を有した処理槽ユニット１５に送り込んで現像処理する。乾燥の後に装置上部の横送りコンベア１６からソータ１７に送られた印画紙Ｐ、つまり写真プリントＰは、このソータ１７の複数のトレイにオーダ単位で仕分けられた状態で集積される（図３参照）。

上述した印画紙Ｐに対する各種処理に合わせた搬送速度で印画紙Ｐを搬送するために印画紙搬送機構１８が敷設されている。印画紙搬送機構１８は、印画紙搬送方向に関してプリント露光部１４の前後に配置されたチャッカー式印画紙搬送ユニット１８ａを含む複数の挟持搬送ローラ対から構成されている。

プリント露光部１４には、副走査方向に搬送される印画紙Ｐに対して、主走査方向に沿って操作ステーション１Ａからのプリントデータに基づいてＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色のレーザ光線の照射を行うライン露光ヘッドが設けられている。処理槽ユニット１５は、発色現像処理液を貯留する発色現像槽１５ａと、漂白定着処理液を貯留する漂白定着槽１５ｂと、安定処理液を貯留する安定槽１５ｃを備えている。

前記操作ステーション１Ａのデスク状コンソールの上部位置には、写真フィルム２ａの撮影画像コマから撮影画像データ（以下単に画像データと略称する）を２０００ｄｐｉを超える解像度でもって取得することができるフィルムスキャナ２０が配置されており、デジタルカメラ等に装着される撮影画像記録媒体２ｂとして用いられている各種半導体メモリやＣＤ−Ｒなどから画像データを取得するメディアリーダ２１は、この写真プリント装置のコントローラ３として機能する汎用パソコンに組み込まれている。この汎用パソコンには、さらに各種情報を表示するモニタ２３、各種設定や調整を行う際に用いる操作入力部として利用される操作入力デバイスとしてのキーボード２４やマウス２５も接続されている。

この写真プリント装置のコントローラ３は、ＣＰＵを中核部材として、写真プリント装置の種々の動作を行うための機能部をハードウエア又はソフトウエアあるいはその両方で構築しているが、図５に示されているように、本発明に特に関係する機能部としては、フィルムスキャナ２０やメディアリーダ２１によって読み取られた画像データを取り込んで次の処理のために必要な前処理を行う画像入力部３１と、各種ウインドウや各種操作ボタンなどを含むグラフィック操作画面の作成やそのようなグラフィック操作画面を通じてのユーザ操作入力（キーボード２４やマウス２５などによる）から制御コマンドを生成するグラフィックユーザインターフェース（以下ＧＵＩと略称する）を構築するＧＵＩ部３３と、ＧＵＩ部３３から送られてきた制御コマンドや直接キーボード２４等から入力された操作命令に基づいて所望のプリントデータを生成するために画像入力部３１からメモリ３０に転送された画像データに対する画像処理等を行うプリント管理部３２と、色補正等のプレジャッジプリント作業時にプリントソース画像や予想仕上がりプリント画像としてのシミュレート画像さらにはＧＵＩ部３３から送られてきたグラフィックデータをモニタ２３に表示させるためのビデオ信号を生成するビデオ制御部３５と、画像処理が完了した処理済み画像データに基づいてプリントステーション１Ｂに装備されているプリント露光部１４に適したプリントデータを生成するプリントデータ生成部３６と、顧客の要望に応じて生の画像データや画像処理が完了した処理済み画像データなどをＣＤ−Ｒに書き込むための形式にフォーマットするフォーマッタ部３７などが挙げられる。

画像入力部３１は、撮影画像記録媒体がフィルム２ａの場合プレスキャンモードと本スキャンモードとのスキャンデータを別々にメモリ３０に送り込み、それぞれの目的に合わせた前処理を行う。また、撮影画像記録媒体がメモリカード２ｂの場合取り込んだ画像データにサムネイル画像データ（低解像度データ）が含まれている場合はモニタ２３での一覧表示などの目的で使用するため撮影画像の本データ（高解像度データ）とは別にメモリ３０に送り込むが、もしサムネイル画像データが含まれていない場合は本データから縮小画像を作り出してサムネイル画像データとしてメモリ３０に送り込む。

プリント管理部３２は、プリントサイズやプリント枚数などを管理するプリント注文処理ユニット４０、メモリ３０に展開された画像データに対して各種画像処理を施す画像処理ユニット５０を備えている。

画像処理ユニット５０には、メモリ３０に展開された画像データから顔検出アルゴリズムを用いて検出された顔領域に関する顔検出情報を出力する顔検出モジュール６０、顔検出モジュール６０から出力された顔検出情報に基づいて画像データに含まれている顔領域の色補正を行う顔領域色補正モジュール７０と、それ自体は公知な色補正アルゴリズムに従って画像データ全体の補正を行う画像補正モジュール８０と、その他のフォトレタッチ機能を実現する手段が基本的にはプログラムの形で実装されている。

顔領域色補正モジュール７０は、図６に示すように、顔検出モジュール６０からの顔検出情報に基づいてメモリ３０に展開されている画像データから顔領域の画素を抽出してそれらの平均濃度値である顔平均濃度値（ＲＧＢ値）を算出する顔平均濃度算出部７１と、この算出された顔平均濃度値を前述したＰＱ色空間に変換してその変換値としてのＰＱ座標値（以下単に座標値と称する）を出力する色相円系変換部としてのＲＧＢ／ＰＱ変換部７２と、出力された座標値によって規定される色相と目標色相（ＰＱ色空間における所定角度又は原点を通る直線）との相違度に基づいてＰＱ色空間での補正シフト量を算定する補正シフト量算定部７３と、この補正シフト量に基づいて画像データ全体あるいは画像データに含まれている顔領域の色補正を行う色補正部７４とを備えている。さらに、この色補正部７４には、補正シフト量算定部７３で算定された補正シフト量をＲＧＢ色空間でのＲＧＢ補正シフト量（三原色補正シフト量に対応する）に逆変換する色相円系逆変換部としてのＲＧＢ／ＰＱ逆変換部７４ａと、画像補正モジュール８０で算定された画像データ全体の補正係数による補正とＲＧＢ補正シフト量による補正との割合を調整して最終的な顔領域の補正係数を決定する補正融合部７４ｂが含まれている。この補正融合部による補正の調整は本発明による顔領域の色補正処理の必須要件ではなく、ＲＧＢ補正シフト量によって直接顔領域の色補正をメモリ３０に展開されている画像データに対して行ってもよい。この場合、補正融合部７４ｂは省略される。

このように構成された顔領域のための色補正モジュール７０による画像処理の手順を以下に説明する。この画像処理の流れは、図７に示されているが、まず、フィルムスキャナ２０やメディアリーダ２１を通じて取り込まれた画像データがメモリ３０に展開される（＃１１）。まず顔検出モジュール６０から出力された顔検出情報から顔が検出されたかどうかがチェックされ（＃１２）、顔が検出されていない場合（＃１２No分岐）、この処理を終了し、画像補正モジュール８０による通常の色補正だけが行われる。

顔が検出されている場合（＃１２Yes分岐）、検出された顔領域に属する画素を画像データから読み出して、顔平均濃度算出部７１がそのＲＧＢ平均値を顔平均濃度値として算出する（＃１３）。算出された顔平均濃度値はＲＧＢ色空間上での値であるので、これはＲＧＢ／ＰＱ変換部７２でＰＱ色空間上の座標値に前述した変換マトリックスを用いて変換される（＃１４）。

顔平均濃度値のＰＱ色空間上の座標値が得られると、この座標値と目標となる顔色を規定するＰＱ座標上の角度、つまり原点をとおる直線に近づけるための補正シフト量が補正シフト量算定部７３によって算定される（＃１４）。この補正シフト量算定の基本的なアルゴリズムを図８を用いて説明する。この図はＰＱ座標の第３象限を示しており、顔平均濃度値のＰＱ色空間上の座標ポイントがＫで示されているが、ここでは説明の関係上２つの座標ポイントＫ1とＫ2が例示されている。さらにＬで示された直線が目標となる顔色を規定しており、この直線Ｌは顔領域を含む多数の撮影画像を統計的に処理することによって得られるもので、ここでは約７／９πの角度をもつ直線となっている。前述したようにＰＱ色空間におけるこの角度は色相を規定しており、それはやや黄色がかった赤色である。原則的には、補正シフト量は、顔平均濃度値のＰＱ色空間上の座標ポイントＫを直線Ｌ上にシフトする量であり、その際実質的に彩度を維持するためそのシフトの向きは直線Ｌに対してほぼ垂直にする。この原則に従うと、座標ポイントＫ2のケースでは補正シフト量は座標ポイントＫ2から直線Ｌに直交する変位ベクトルで表され、その変位ベクトルのＰ成分：ΔＰ2とＱ成分：ΔＱ2がＰＱ座標での補正シフト量となります。同様にすれば、座標ポイントＫ1の補正シフト量は座標ポイントＫ1から直線Ｌに直交する変位ベクトルで表されることになるが、この場合その変位ベクトルのＱ成分：ΔＱ1が赤色成分を減少させる方向となってしまう。そのため、人の肌色に関しては赤成分の減少や緑成分の増加は不都合であることを考慮して、このようなケースでは、Ｑ成分：ΔＱ1を大きさを抑制するように変位ベクトル、結果的には補正シフト量を修正する必要がある。

また、このアルゴリズムでは、顔平均濃度値のＰＱ色空間上の座標ポイントＫによって規定される彩度に応じて、つまり座標ポイントＫの原点からの距離に応じて、ＰＱ座標での補正シフト量であるΔＰとΔＱに重み（係数）をかけて修正している。そのような彩度と重みの関係の一例が図９に示されている。さらに、もう一つの補正シフト量の修正項目として、顔平均濃度値のＰＱ色空間上の座標ポイントＫによって規定される色相（ＰＱ色空間では角度）に応じても補正シフト量を修正することも考慮されている。その修正された補正量の一例として、図１０に座標ポイントＫの角度（色相）とＰＱ座標での補正シフト量であるΔＰとΔＱの関係が示されている。補正シフト量算定部７３では、顔平均濃度値のＰＱ色空間上の座標ポイントＫを目標の顔色である直線Ｌに近づけるための補正シフト量を算定するとともに、上述したような補正シフト量の修正が行われる（＃１６）。

この実施形態では、補正シフト量が算定されると、色補正部がこの補正シフト量に基づく色補正と画像補正モジュール８０によって決定された補正係数に基づく色補正が融合化（平均化）され（＃１７）、最終的にメモリ３０に展開されている画像データの顔領域に含まれる画素に対する色補正が実行される（＃１７）。この融合処理による顔領域の色補正には種々の手順が提案される。
その１つは、画像補正モジュール８０によって決定された補正係数（通常ＲＧＢ補正シフト量として表される）をＲＧＢ／ＰＱ変換部７２を用いてＰＱ色空間上に変換してＰＱ補正係数を求め、このＰＱ補正係数と、補正シフト量算定部７３で算定された補正シフト量を融合して、例えばその融合割合を調整するために重み付き平均演算して、最終的に得られたＰＱ色空間上での補正量を上述した変換マトリックスの逆行列を用いたＲＧＢ／ＰＱ逆変換部７４ａによってＲＧＢ色空間での補正量に変換して、この補正量を用いて、画像データの顔領域に含まれる画素に対する色補正を実行することである。
他の１つは、補正シフト量算定部７３で算定された補正シフト量をＲＧＢ／ＰＱ逆変換部７４ａによってＲＧＢ色空間での補正シフト量に変換し、この補正シフト量と画像補正モジュール８０によって決定された補正係数を融合して最終的に得られたＲＧＢ色空間での補正量を用いて、画像データの顔領域に含まれる画素に対する色補正を実行することである。

なお、上述した説明では、補正融合部７４ｂでの融合処理はそれぞれの補正量を融合していたが、それぞれの補正量で色補正された画素（ＲＧＢ画素値）を融合するような処理を採用してもよい。

さらには、補正シフト量から顔領域だけの色補正が実施されているが、これに代えて算定された補正シフト量から撮影画像全体の色補正が実施されてもよい。

上述した実施の形態では、本発明による色補正処理技術は、印画紙Ｐに対し、露光エンジンを備えたプリント露光部１４で撮影画像の露光を行い、この露光後の印画紙Ｐを複数の現像処理する、いわゆる銀塩写真プリント方式の写真プリント装置に採用されていたが、もちろん、例えば、フィルムや紙にインクを吐出して画像を形成するインクジェットプリント方式や感熱転写シートを用いた熱転写方式など、種々の写真プリント装置にも採用することができる。

本発明による顔領域を含む撮影画像データの色補正処理の原理を説明する説明図ＰＱ色空間を説明する説明図本発明による色補正処理モジュールを搭載した写真プリント装置の外観図写真プリント装置のプリントステーションの構成を模式的に示す模式図写真プリント装置のコントローラ内に構築される機能要素を説明する機能ブロック図色補正処理モジュールの機能構成を示す機能ブロック図色補正処理モジュールを用いた顔領域の色補正処理の手順を示すフローチャートＰＱ色空間における補正シフト量の算定を説明する説明図補正シフト量の修正に用いられる彩度と重みの関係を示す関係図座標ポイントの角度（色相）とＰＱ座標での補正シフト量であるΔＰとΔＱの関係を示す関係図

符号の説明

３０：メモリ
６０：顔検出モジュール
７０：（顔領域）色補正モジュール
８０：画像補正モジュール
７１：顔平均濃度算出部
７２：ＲＧＢ／ＰＱ変換部（色相円系変換部）
７３：補正シフト量算定部
７４：色補正部
７４ａ：ＲＧＢ／ＰＱ逆変換部
７４ｂ：補正融合部

Claims

三原色表現された画素値からなる顔領域を含む撮影画像データの色補正処理方法において、
前記撮影画像データの前記顔領域から顔平均濃度値を算出するステップと、
前記顔平均濃度値を色相と彩度によって座標位置が決まる色相円系での座標値に変換するステップと、
前記座標値によって規定される色相と目標色相との相違度に基づいて色相円系での補正シフト量を算定するステップと、
前記補正シフト量が赤色成分を減少させるものであり、前記顔平均濃度値の前記色相円系での座標値の色相が赤領域である場合、当該補正シフト量を略赤色成分の強さを表す第１方向の第１シフト量と当該第１方向に直交する第２方向の第２シフト量とに分解し、当該第１シフト量を抑制するとともに、当該抑制された第１シフト量と当該第２シフト量とを前記補正シフト量として合成することにより、赤色成分の減少を抑制するように前記補正シフト量を調整するステップと、
前記補正シフト量に基づいて前記撮影画像データに含まれている顔領域の色補正を行うステップと、
からなることを特徴とする色補正処理方法。
三原色表現された画素値からなる顔領域を含む撮影画像データの色補正処理方法において、
前記撮影画像データの前記顔領域から顔平均濃度値を算出するステップと、
前記顔平均濃度値を色相と彩度によって座標位置が決まる色相円系での座標値に変換するステップと、
前記座標値によって規定される色相と目標色相との相違度に基づいて色相円系での補正シフト量を算定するステップと、
前記補正シフト量が赤色成分を減少させるものであり、前記顔平均濃度値の前記色相円系での座標値の色相が赤領域である場合、当該補正シフト量を略赤色成分の強さを表す第１方向の第１シフト量と当該第１方向に直交する第２方向の第２シフト量とに分解し、当該第１シフト量を抑制するとともに、当該抑制された第１シフト量と当該第２シフト量とを前記補正シフト量として合成することにより、赤色成分の減少を抑制するように前記補正シフト量を調整するステップと、
前記補正シフト量に基づいて前記撮影画像データの色補正を行うステップと、
からなることを特徴とする色補正処理方法。
前記色補正を行うステップにおいて、前記補正シフト量を三原色表現された三原色補正シフト量に逆変換するとともに、この逆変換で得られた前記三原色補正シフト量に基づいて色補正を行うことを特徴とする請求項１又は２に記載の色補正処理方法。
前記撮影画像データ全体に対する補正量を算出するステップを備え、
前記顔領域の色補正を行うステップにおいて、調整可能な割合で前記三原色補正シフト量と前記撮影画像データ全体に対する補正量とを融合した補正量を算出し、当該融合された補正量に基づいて前記撮影画像データを補正することを特徴とする請求項３に記載の色補正処理方法。
前記色相円系での補正シフト量を算定するステップにおいて、前記座標値で規定される彩度に応じて前記補正シフト量が調整されることを特徴とする請求項１〜４のいずれか１項に記載の色補正処理方法。
前記色相円系が原点からの距離で彩度を示すとともに角度で色相を示す極座標で表現されており、前記目標色相は目標角度として設定され、前記補正シフト量は前記座標値を彩度を維持しながら前記目標角度に近づけるためのシフト量であることを特徴とする請求項１〜５のいずれか１項に記載の色補正処理方法。
三原色表現された画素からなる顔領域を含む撮影画像データの色補正処理のために、
前記撮影画像データの前記顔領域から顔平均濃度値を算出する機能と、
前記顔平均濃度値を色相と彩度によって座標位置が決まる色相円系での座標値に変換する機能と、
前記座標値によって規定される色相と目標色相との相違度に基づいて色相円系での補正シフト量を算定する機能と、
前記補正シフト量が赤色成分を減少させるものであり、前記顔平均濃度値の前記色相円系での座標値の色相が赤領域である場合、当該補正シフト量を略赤色成分の強さを表す第１方向の第１シフト量と当該第１方向に直交する第２方向の第２シフト量とに分解し、当該第１シフト量を抑制するとともに、当該抑制された第１シフト量と当該第２シフト量とを前記補正シフト量として合成することにより、赤色成分の減少を抑制するように前記補正シフト量を調整する機能と、
前記補正シフト量に基づいて前記撮影画像データの少なくとも顔領域の色補正を行う機能と、
をコンピュータに実現させる画像処理プログラム。
三原色表現された画素からなる顔領域を含む撮影画像データの色補正処理装置において、
前記撮影画像データの前記顔領域から顔平均濃度値を算出する顔平均濃度算出部と、
前記顔平均濃度値を色相と彩度によって座標位置が決まる色相円系での座標値に変換する色相円系変換部と、
前記座標値によって規定される色相と目標色相との相違度に基づいて色相円系での補正シフト量を算定するとともに、当該補正シフト量が赤色成分を減少させるものであり、前記顔平均濃度値の前記色相円系での座標値の色相が赤領域である場合、当該補正シフト量を略赤色成分の強さを表す第１方向の第１シフト量と当該第１方向に直交する第２方向の第２シフト量とに分解し、当該第１シフト量を抑制するとともに、当該抑制された第１シフト量と当該第２シフト量とを前記補正シフト量として合成することにより、赤色成分の減少を抑制するように当該補正シフト量を調整する補正シフト量算定部と、
前記補正シフト量に基づいて前記撮影画像データの少なくとも顔領域の色補正を行う色補正部と、
からなることを特徴とする顔領域の色補正処理装置。
前記色補正部は前記補正シフト量を三原色表現された三原色補正シフト量に逆変換する色相円系逆変換部を備え、前記三原色補正シフト量に基づいて色補正を行うことを特徴とする請求項８に記載の顔領域の色補正処理装置。