JP2009022044A - 画像処理装置及び画像処理プログラム - Google Patents

Abstract

【課題】 階調補正後に最適な彩度の画像を得ることができるよう調整を行うことを可能とした画像処理装置及び画像処理プログラムを提供する。
【解決手段】 測光評価部７の測光情報と合焦点検出部８の合焦情報とに基づき撮影状況を推定する撮影状況推定部１８と、長時間露光画像と短時間露光画像を各々輝度信号と色差信号に分離するＹ／Ｃ分離部１２と、長時間露光画像の輝度信号レベルに基づき適正露光域を抽出する適正露光抽出部１３と、適正露光域の輝度信号を撮影状況に応じて重み付けして階調補正する輝度補正部３２と、階調補正前後の輝度信号と色再現の理論限界特性とに基づき適正露光域の色差信号を補正する色差補正部３３と、補正後の輝度信号と色差信号を合成するＹ／Ｃ合成部３４と、Ｙ／Ｃ合成後の長時間露光画像と短時間露光画像を合成して広ダイナミックレンジ画像を生成する画像合成部１５と、を備えた画像処理装置。
【選択図】 図１３

Description

本発明は、画像処理装置及び画像処理プログラムに係り、より詳しくは、異なる露光条件で撮像された複数の画像から一の広ダイナミックレンジ画像を生成する画像処理装置及び画像処理プログラムに関する。

従来より、異なる露光条件で撮像された複数の画像を合成して一の広ダイナミックレンジ画像を生成する画像処理装置が提案されている。

このようなものの一例として、特願平１１−３３８５５１号（特開２０００−２２８７４７号公報）には、各画像を適正露光領域と不適正露光領域に分割して、各適正露光領域毎に階調補正を行い、階調補正された各画像毎の適正露光領域を合成して一の広ダイナミックレンジ画像を生成する画像処理装置が記載されており、さらに、この画像処理装置を適用した機器の例として、被写体をより広いダイナミックレンジで撮像することができるスーパーラチチュードデジタルカメラが記載されている。

このスーパーラチチュードデジタルカメラにおける階調変換処理は、エッジ部のヒストグラム平坦化に基づいて行っており、このヒストグラム平坦化は、主要被写体はエッジが多く、背景などの非主要部はエッジが少ないことを前提とした技術である。

一方、従来のデジタルカメラでは、輝度信号を階調変換するときの係数に基づいて色差信号も変換するようになっている。すなわち、輝度Ｙorg が階調変換特性ＦによりＹtra ＝Ｆ（Ｙorg ）のように変換されるものとすると、従来においては、輝度信号の変換係数gainを、
gain＝Ｙtra ／Ｙorg
として求めて、この変換係数をそのまま用いて、
Ｃｂtra ＝gain・Ｃｂorg
Ｃｒtra ＝gain・Ｃｒorg
のように色差信号の変換を行っていた。
特開２０００−２２８７４７号公報

上述したような主要被写体にはエッジが多いという前提に基づくヒストグラム平坦化の技術は、比較的広い範囲の被写体に対応することができるものではあるが、対応しきれない場合もあり得る。こうした例外に該当する可能性のある例としては、複雑な形状や輪郭を有する背景の下で人物が比較的小さく写っている場合が挙げられる。このときには、背景部からエッジが多く検出されるために該背景が主要被写体であると判断されてしまい、人物に割り当てられる階調幅が少なくなってしまうことになる。

また、上述したような色差信号を輝度信号と同様の変換係数を用いて階調変換する技術では、高輝度部で不自然な色が生成されることがある。すなわち、色空間（例えばＹ，Ｃｂ，Ｃｒ空間）内における色再現には理論限界特性（本発明の実施形態を示す図１１参照）があり、この色再現の理論限界特性は、大筋において、輝度Ｙを増加させて行くに従い色再現可能な色差範囲が広がり、ある輝度Ｙを越えたところで今度は色再現可能な色差範囲が狭まるという特性となっている。つまり、輝度が低ければ全体が黒っぽくなるために色再現範囲が狭く、適宜の輝度では広い範囲の色を再現することができ、さらに輝度が高くなると全体に白っぽくなるために色再現範囲が再び狭くなるという特性である。

こうした色再現範囲を考慮することなく輝度と同様に階調変換をしてしまうと、色再現範囲の限界に近づいたりあるいは越えてしまったりして、階調変換後の色が白っぽくなることがあった。こうした課題に対応するために、従来においても高輝度部の彩度を抑制する処理を付加してはいたが、充分なものとはいえず、色再現性をより向上させる技術の実現が望まれている。

本発明は上記事情に鑑みてなされたものであり、色再現の理論限界特性を考慮したことにより、階調補正後に最適な彩度の画像を得ることができるよう調整を行うことを可能とした画像処理装置及び画像処理プログラムを提供することを目的としている。

上記の目的を達成するために、本発明の一態様による画像処理装置は、同一被写体に対して異なる露光条件で撮像された複数の画像からなる画像群を処理して一の広ダイナミックレンジ画像を生成する画像処理装置であって、
上記画像群中の各画像毎に画像信号を輝度信号と色差信号に分離する輝度色差分離手段と、
上記輝度信号の信号レベルに基づき適正露光域を抽出する抽出手段と、
上記適正露光域の輝度信号に関して階調補正を行う階調補正手段と、
上記輝度色差分離手段から出力された階調補正前の輝度信号と、上記階調補正手段から出力された階調補正後の輝度信号と、色再現の理論限界特性と、に基づいて上記適正露光域の色差信号の補正を行う色差補正手段と、
上記階調補正後の輝度信号と上記補正後の色差信号とをもとの画像信号に合成する輝度色差合成手段と、
上記合成された適正露光域の画像信号を合成することにより一の広ダイナミックレンジ画像を生成する合成手段と、
を備えている。

また、本発明の一態様による画像処理プログラムは、同一被写体に対して異なる露光条件で撮像された複数の画像からなる画像群を処理して一の広ダイナミックレンジ画像を生成する画像処理プログラムであって、
上記画像群中の各画像毎に画像信号を輝度信号と色差信号に分離する輝度色差分離ステップと、
上記輝度信号の信号レベルに基づき適正露光域を抽出する抽出ステップと、
上記適正露光域の輝度信号に関して階調補正を行う階調補正ステップと、
上記輝度色差分離ステップにより出力された階調補正前の輝度信号と、上記階調補正ステップにより出力された階調補正後の輝度信号と、色再現の理論限界特性と、に基づいて上記適正露光域の色差信号の補正を行う色差補正ステップと、
上記階調補正後の輝度信号と上記補正後の色差信号とをもとの画像信号に合成する輝度色差合成ステップと、
上記合成された適正露光域の画像信号を合成することにより一の広ダイナミックレンジ画像を生成する合成ステップと、
をコンピュータに実行させるものである。

本発明による画像処理装置及び画像処理プログラムは、色再現の理論限界特性を考慮したことにより、階調補正後に最適な彩度の画像を得ることができるよう調整を行うことを可能とした。

以下、図面を参照して本発明の実施の形態を説明する。
図１から図７は本発明の第１の実施形態を示したものであり、図１は電子カメラの基本的な構成を示すブロック図である。

本実施形態は、本発明の画像処理装置を電子カメラに適用したものであり、簡単のために短時間露光による画像と長時間露光による画像との２画像を合成して一の広ダイナミックレンジ画像を得る場合について説明するが、もちろんより多数の画像を合成する場合に適用することも可能である。

この電子カメラは、電子シャッタ機能を有する単板式のカラーＣＣＤ等でなり、被写体像を光電変換して画像信号として出力するためのＣＣＤ４と、このＣＣＤ４上に被写体像を結像するためのレンズ系１と、このレンズ系１を通過した光束の通過範囲を制御するための絞り２と、この絞り２を通過した光束から不要な高周波成分を除去するための光学フィルタでなるローパスフィルタ３と、上記ＣＣＤ４から出力された後に図示しない相関二重サンプリング回路等でノイズ成分の除去が行われその後に増幅等がなされたアナログの画像信号をデジタル信号に変換するためのＡ／Ｄ変換器５と、このＡ／Ｄ変換器５によりデジタル化された一画面分の画像データを各蓄積するものであり長時間露光による画像と短時間露光による画像とをそれぞれ記憶する第１画像用バッファ６ａおよび第２画像用バッファ６ｂと、これらの内の測光用および焦点検出用のデータを蓄積するのにも用いられる第１画像用バッファ６ａから画像データを読み出して輝度分布を求め撮像時に適正露光となるように上記絞り２の開口径や上記ＣＣＤ４の電子シャッタを制御する測光評価部７と、上記第１画像用バッファ６ａから画像データを読み出して合焦位置の検出を行いその検出結果に基づいて後述するＡＦモータ９を制御する合焦点検出部８と、この合焦点検出部８に制御されて上記レンズ系１のＡＦ用レンズを駆動し上記ＣＣＤ４上に被写体像を結像させるようにするＡＦモータ９と、上記第１，第２画像用バッファ６ａ，６ｂから読み出された単板の画像データを補間して３板の画像データに変換する補間部１０と、補間後の画像データを蓄積する作業用バッファ１１と、この作業用バッファ１１から読み出した３板の画像データを輝度信号Ｙと色差信号Ｃｂ，Ｃｒとに分離する輝度色差分離手段たるＹ／Ｃ分離部１２と、このＹ／Ｃ分離部１２からまず輝度信号Ｙを読み出して、画面全体を構成する各画素について、その画素が適切な露出であるか否かを信号レベルにより判別し、その結果に基づき分割画像情報を抽出して出力する抽出手段たる適正露光抽出部１３と、上記測光評価部７から出力される測光情報と上記合焦点検出部８から出力される合焦情報とに基づいて後で詳しく説明するように撮影状況を推定する撮影状況推定手段たる撮影状況推定部１８と、この撮影状況推定部１８による推定結果を参照して特徴量であるエッジのヒストグラムを算出するときの重み付けを行い変換特性を算出して上記適正露光抽出部１３から出力される適正露光域の階調変換を行う階調補正手段たる変換特性算出部１４と、上記適正露光抽出部１３から出力される領域情報を参照しながら上記変換特性算出部１４から出力される階調変換後の長時間露光に係る画像および短時間露光に係る画像を合成して一の広ダイナミックレンジ画像を生成する合成手段たる画像合成部１５と、この画像合成部１５により合成された広ダイナミックレンジ画像を例えば記録媒体や表示装置などに出力する出力部１６と、上記測光評価部７や合焦点検出部８の検出結果を受け取るとともに、上記補間部１０、適正露光抽出部１３、撮影状況推定部１８、変換特性算出部１４、画像合成部１５、出力部１６を含むこの電子カメラ全体の制御を行う制御部１７と、を有して構成されている。

次に、図２は、上記撮影状況推定部１８の詳細な構成を示すブロック図である。

上記合焦点検出部８から出力され制御部１７を介して入力される合焦（ＡＦ）情報は、合焦位置推定手段たる合焦位置推定部２０に入力されて、その被写体距離に応じて例えば風景撮影（５ｍ〜∞）、人物撮影（１ｍ〜５ｍ）、接写撮影（１ｍ以下）の３種類（図５参照）の何れかに分類される。

また、上記測光評価部７から出力されて制御部１７を介して入力される測光（ＡＥ）情報は、被写体分布推定手段たる被写体分布推定部２１に入力されて、その輝度分布が幾つかに分類される。

具体的には、まず、上記測光評価部７は、ＣＣＤ４上の領域を例えば図４に示すように１３個に分類して、分割測光を行うようになっている。この図４は、評価測光用の分割パターンの一例を示す図である。

すなわち、最中央部の真ん中の領域をａ1 、その左隣をａ2 、右隣をａ3 とする。

さらに、この最中央部を取り巻く内周部の内の上記領域ａ1 の上下を各ａ4 、ａ5 とし、該領域ａ4 の左右を各ａ6 、ａ7とし、上記領域ａ5 の左右を各ａ8 、ａ9 とする。

そして、該内周部を取り巻く外周部の内の左上をａ10、右上をａ11、左下をａ12、右下をａ13とする。

このような領域による分割測光において、上記被写体分布推定部２１は、次の各評価用パラメータを計算する。
［数１］
Ｓ1 ＝|ａ2 −ａ3 |
［数２］
Ｓ2 ＝max(|ａ4 −ａ6 |，|ａ4 −ａ7 |)
［数３］
Ｓ3 ＝max(ａ10，ａ11)−Ａｖ
Ａｖ＝（Σａi ）／１３

すなわち、評価用パラメータＳ1 は、最中央部の左右の輝度差を示すもの、評価用パラメータＳ2 は、内周部の上側中央と上側左右の何れかとの輝度差の大きい方を示すもの、評価用パラメータＳ３は、外周部の上側左右何れか大きい方と画面全体の平均輝度との差を示すものとなっている。

このような評価用パラメータを被写体分布推定部２１から得るとともに、合焦位置の分類を上記合焦位置推定部２０から得て、統合手段たる統合部２２において図５に示すような統合的な分類を行う。この図５は、ＡＦ情報とＡＥ情報からのシーンの分類パターンを示す図表である。

図示のように、ＡＦ情報が５ｍ〜∞のときには、風景撮影であるとして、さらに上記評価用パラメータＳ3 を所定値Ｔｈ1 と比較する。このとき、評価用パラメータＳ3 が所定値Ｔｈ1 よりも大きければａ10またはａ11の何れか少なくとも一方は画面全体の平均輝度よりもある程度以上輝度が高いことになるために、上部に空のある風景であると判断する（Ｔｙｐｅ１）。一方、評価用パラメータＳ3 が所定値Ｔｈ1 よりも小さい場合には、これとは逆に上部に空がないかまたはあっても少ない風景であると判断する（Ｔｙｐｅ２）。

次に、ＡＦ情報が１ｍ〜５ｍのときには、人物撮影であるとして、さらに上記評価用パラメータＳ2 を所定値Ｔｈ2 と比較する。このとき、評価用パラメータＳ2 が所定値Ｔｈ2 よりも大きければ一人のポートレートであると判断し（Ｔｙｐｅ３）、一方、所定値Ｔｈ2 よりも小さければ複数人のポートレートであると判断する（Ｔｙｐｅ４）。

さらに、ＡＦ情報が１ｍ以下のときには、接写撮影であるとして、さらに上記評価用パラメータＳ1 を所定値Ｔｈ3 と比較する。このとき、評価用パラメータＳ1 が所定値Ｔｈ3 よりも大きければ単一の物体のクローズアップであると判断し（Ｔｙｐｅ５）、一方、所定値Ｔｈ3 よりも小さければ複数の物体のクローズアップであると判断する（Ｔｙｐｅ６）。

このようなタイプに分類した結果が、上記統合部２２から変換特性算出部１４に出力される。

続いて、図３は上記変換特性算出部の詳細な構成を示すブロック図である。

上記適正露光抽出部１３は、上述したように、まず長時間露光画像の輝度信号Ｙを読み出して、画面全体を構成する各画素の信号レベルを所定値と比較することにより、その画素が、適切な露出であるか否かを判別するものであり、適正露光と判断された画素の集合が長時間露光に係る適正露光域となり、この長時間露光に係る適正露光域以外の部分を短時間露光に係る適正露光域とするようになっている。

上記適正露光抽出部１３から出力される長時間露光の適正露光域の輝度信号Ｙが、特徴量算出手段たるエッジ抽出部２６に入力されると、このエッジ抽出部２６では上記制御部１７の制御に基づきエッジ検出を行う。具体的には、このエッジ抽出部２６は、例えばラプラシアンやＳｏｂｅｌ等の一般的なエッジ検出オペレータでなり、該エッジ検出オペレータによる強度が所定の閾値以上であれば、参照位置にはエッジが存在するとし、そうでない場合にはエッジではないとする２値情報を出力するものである。

一方、上記撮影状況推定部１８によりタイプ分類された結果が選択手段たる重みパターン選択部２４に入力されると、この重みパターン選択部２４では上記制御部１７の制御に基づき、図６に示すような複数の重みパターンが予め記憶されている重みパターン用ＲＯＭ２５からそのタイプに応じた重みパターンを選択する。この図６は、上記図５に示したような分類パターンに基づくヒストグラム算出時の重み係数を示す図であり、図６（Ａ）は上記Ｔｙｐｅ１に、図６（Ｂ）は上記Ｔｙｐｅ２に、図６（Ｃ）は上記Ｔｙｐｅ３に、図６（Ｄ）は上記Ｔｙｐｅ４に、図６（Ｅ）は上記Ｔｙｐｅ５に、図６（Ｆ）は上記Ｔｙｐｅ６にそれぞれ対応した重みパターンとなっている。

こうして、ヒストグラム作成手段たるヒストグラム作成部２７は、上記エッジ抽出部２６から出力された結果に基づき、エッジを構成する画素やその近傍画素について、輝度レベルに対する出現頻度を示すエッジヒストグラムを算出するが、このヒストグラムを作成する際に、上記図６に示したように画像中の画素位置に応じた重み付けを行って算出するようになっている。さらに、このヒストグラム作成部２７では、算出されたエッジヒストグラムを積分するなどにより、累積エッジヒストグラムに変換する。

階調変換曲線算出手段たる変換曲線算出部２８では、エッジヒストグラムをガウシアンカーネル等を用いてコンボリューションすることにより目標ヒストグラムを生成し、この目標ヒストグラムと上記ヒストグラム作成部２７から出力された累積エッジヒストグラムとを用いて階調補正特性となるトーンカーブを算出する。

変換手段たる変換部２９は、上記適正露光抽出部１３から入力される画像データに、この変換曲線算出部２８から得られるトーンカーブに基づいた階調補正を行い、階調補正後の画像データを上記画像合成部１５に出力する。この変換部２９では、まず長時間露光に係る輝度信号Ｙの階調補正を行い、次に該長時間露光に係る色差信号Ｃｂ，Ｃｒの階調補正を順次行って画像合成部１５に出力し、その後に、短時間露光に係る輝度信号Ｙと色差信号Ｃｂ，Ｃｒの階調補正を同様に行って画像合成部１５に出力する。

画像合成部１５では、まず、長時間露光に係る階調補正後の輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒを受け取って、該長時間露光に係る例えばＲＧＢ信号を生成し、次に、短時間露光に係る階調補正後の輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒを受け取って、該短時間露光に係る同ＲＧＢ信号を生成する。その後にこれらを合成することにより、一の広ダイナミックレンジ画像を生成して出力するようになっている。

次に、図７は、画像変換の処理を示すフローチャートである。

単板でなる上記ＣＣＤ４に結像された被写体像は、異なる露光条件で複数回撮像されるようになっており、上述したように、例えば長時間露光による撮像と短時間露光による撮像とがこの順に行われて、順次画像信号として出力される。

これらの画像信号は、Ａ／Ｄ変換器５によってデジタル信号に変換された後に、第１画像用バッファ６ａと第２画像用バッファ６ｂにそれぞれ記憶される。

上記測光評価部７と合焦点検出部８は、これらの内の一方の第１画像用バッファ６ａに蓄積された長時間露光の画像データに基づいて、上述したように、ＡＥ情報とＡＦ情報を制御部１７に出力する（ステップＳ１）。

一方、上記第１画像用バッファ６ａおよび第２画像用バッファ６ｂに記憶されている画像データは、補間部１０に順次送られて、Ｒ画像データ、Ｇ画像データ、Ｂ画像データのそれぞれについて補間を行うことにより、３板の画像データに変換されて（ステップＳ２）、作業用バッファ１１に記憶される。

Ｙ／Ｃ分離部１２では、この作業用バッファ１１からＲＧＢ画像データを読み出して、輝度信号Ｙと色差信号Ｃｂ，Ｃｒとを、次の数式４に示すように算出する（ステップＳ３）。
［数４］
Ｙ ＝ ０．２９９００Ｒ＋０．５８７００Ｇ＋０．１４４００Ｂ
Ｃｂ＝−０．１６８７４Ｒ−０．３３１２６Ｇ＋０．５００００Ｂ
Ｃｒ＝ ０．５００００Ｒ−０．４１８６９Ｇ−０．０８１３１Ｂ

適正露光抽出部１３は、これらの内の輝度信号Ｙの信号レベルを、各画素毎に所定の閾値と比較することにより、適正露光域に属するか否かを判断することにより分割画像情報を抽出して出力する（ステップＳ４）。

その後、変換特性算出部１４内のエッジ抽出部２６において、輝度信号Ｙにラプラシアン等の公知の２ 次微分フィルタをかけてエッジ成分を抽出し（ステップＳ５）、抽出したエッジ成分に標準偏差の例えば２倍程度の閾値を設けることで２値化処理を行う（ステップＳ６）。

一方で、上記撮影状況推定部１８において、ＡＦ情報とＡＥ情報とに基づいて上述したように撮影状況を推定し（ステップＳ７）、重みパターンがＴｙｐｅ１からＴｙｐｅ６の何れであるかを選択する（ステップＳ８）。そして、選択した重みパターンに対応する図６に示すような重み係数を重みパターン用ＲＯＭ２５から読み込む（ステップＳ９）。

こうして、上記ステップＳ６で２値化されたエッジ成分とステップＳ９で読み込まれた重みパターンとに基づいて上記ヒストグラム作成部２７が重み付けしたエッジヒストグラムを作成して（ステップＳ１０）、このエッジヒストグラムからさらに累積エッジヒストグラムを生成する（ステップＳ１１）。
こうして得た累積エッジヒストグラムに基づいて、上記変換曲線算出部２８が階調変換曲線を算出する（ステップＳ１２）。

続く変換部２９では、上記適正露光抽出部１３から出力される輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒを、上記変換曲線算出部２８から得られた階調変換曲線によって変換処理し（ステップＳ１３）、変換した画像データを出力するようになっている（ステップＳ１４）。

なお、上述では撮影状況を推定するのに測光情報と合焦情報の両方を用いているが、これらの内の一方のみを用いて推定し重み付けを変えることも可能である。また、測光情報と合焦情報に限らず、ズーム位置情報やマルチスポット測光情報、視線入力情報、ストロボの発光情報、電子カメラの縦横位置を検出する検出センサの情報、ホワイトバランス情報などの内の一以上を参照すれば、より詳細に撮影状況を推定することが可能となる。

さらに、上述したような撮影状況に応じた階調補正の技術は、カラー画像にのみ適用されるものではなく、白黒画像にも適用することが可能である。

そして、この第１の実施形態においては、電子カメラ内の回路として構成した画像処理装置により撮影状況に応じた階調補正を行っているが、このような処理を、コンピュータの処理プログラムにより行うことも可能である。この場合には、画像ファイルの例えばヘッダ部分に測光情報や合焦情報などの撮影情報を記録しておき、コンピュータにおいてこれらの撮影情報を基に撮影状況を推定して、その撮影状況に適した階調補正を行うようにすればよい。

また、この画像処理装置は、電子カメラに適用するに限るものではなく、例えばプリンタ装置などの画像を扱う機器にも広く適用することが可能である。

このような第１の実施形態によれば、合焦情報や測光情報などの撮影情報に基づいて撮影状況を判断し、エッジヒストグラムを作成する際にこの撮影状況に応じた重み付けを行うようにしたために、主要被写体を考慮し撮影シーンに最も適した階調補正を行うことが可能となる。

図８から図１２は本発明の第２の実施形態を示したものであり、図８は電子カメラの基本的な構成を示すブロック図、図９は輝度補正部の詳細な構成を示すブロック図、図１０は色差補正部の詳細な構成を示すブロック図、図１１は色再現の理論限界特性を考慮して色差補正を行う様子を示す線図、図１２は画像変換の処理を示すフローチャートである。

この第２の実施形態において、上述の第１の実施形態と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

この第２の実施形態では、Ｙ／Ｃ分離部１２により分離された輝度信号Ｙと色差信号Ｃｂ，Ｃｒは、適正露光抽出部１３を経て、階調補正手段たる輝度補正部３２と色差補正手段たる色差補正部３３とにそれぞれ入力されるようになっている。

上記輝度補正部３２は、図９に示すように、上記適正露光抽出部１３から出力される適正露光域の輝度信号Ｙを受け取り、輝度についての階調補正を行うものであり、特徴量算出手段たるエッジ抽出部４０と、ヒストグラム作成手段たるヒストグラム作成部４１と、階調変換曲線算出手段たる変換曲線算出部４２と、輝度変換手段たる輝度変換部４３と、を有して構成されている。

この輝度補正部３２における処理を、図１２も参照して説明する。

輝度補正部３２は、上記適正露光抽出部１３から出力される適正露光域の輝度信号Ｙを読み込み（ステップＳ２１）、上記エッジ抽出部４０がラプラシアン等のフィルタをかけてエッジ成分を抽出し（ステップＳ２２）、画素毎に所定の閾値と比較してエッジであるか否かを決定する２値化処理を行う（ステップＳ２３）。

このエッジ抽出部４０から出力された情報に基づき、ヒストグラム作成部４１が、輝度に対するエッジの出現頻度を示すエッジヒストグラムを生成し（ステップＳ２４）、さらにこれを積分するなどにより累積エッジヒストグラムを作成する（ステップＳ２５）。

変換曲線算出部４２は、このヒストグラム作成部４１から出力された累積エッジヒストグラムなどを用いて上述したように階調補正特性となるトーンカーブを算出する（ステップＳ２６）。

輝度変換部４３は、この変換曲線に基づいて、上記制御部１７の制御により輝度信号Ｙを階調変換して（ステップＳ２７）、色差補正部３３に出力するとともに、輝度色差合成手段たるＹ／Ｃ合成部３４に出力する（ステップＳ２８）。

このように、適正露光抽出部１３から出力される階調補正前の輝度信号をＹorg とし、上記輝度変換部４３により階調補正された後の輝度信号をＹtra とすると、これらの輝度信号Ｙorg およびＹtra は、次に説明するように、色差補正部３３において色差の階調を補正する際に用いられる。

上記色差補正部３３は、図１０に示すように、上記適正露光抽出部１３から出力される適正露光域の色差信号Ｃｂ，Ｃｒを受け取り、色差についての階調補正を行うものであり、第１の算出手段たる第１補正係数算出部４７と、第２の算出手段たる第２補正係数算出部４５と、色再現限界特性用ＲＯＭ４６と、色差変換手段たる色差変換部４８とを有して構成されている。

この色差補正部３３においては、上記第１補正係数算出部４７が、上記適正露光抽出部１３から階調補正前の輝度信号Ｙorg を受け取って、この輝度信号Ｙorg に対応する色再現範囲ｂorg を次の数式５に示すように計算する（ステップＳ３１）。
［数５］
ｂorg ＝Ｂ（Ｙorg ）

ここに、関数Ｂ（Ｙ）は、色空間（Ｙ，Ｃｂ，Ｃｒ空間）内における色再現の理論限界特性を示す関数であり、例えば図１１に模式的に示すように、輝度Ｙを増加させて行くに従い色再現可能な色差範囲が広がり、ある輝度Ｙを越えたところで今度は色再現可能な色差範囲が狭まるという特性を持ったものである。

この数式５に示すような計算は、例えば、上記色再現限界特性用ＲＯＭ４６に記憶されているテーブルデータ等を参照して（ステップＳ３０）、輝度Ｙorg に対応する色再現範囲ｂorg を求めることにより行う。

上記色再現限界特性用ＲＯＭ４６は、色再現の理論限界特性を示す上記関数Ｂ（Ｙ）をテーブルデータとして予め記憶しているものであり、ここでは演算による負荷や処理速度等を考慮してＲＯＭ化したテーブルデータを用いるようにしているが、もちろん、実際に計算を行うようにしても構わない。

次に、上記第２補正係数算出部４５が、上記輝度補正部３２から階調補正後の輝度信号Ｙtra を受け取って、この輝度信号Ｙtra に対応する色再現範囲ｂtra を、上述した数式５と同様の次の数式６に示すように計算する（ステップＳ３２）。
［数６］
ｂtra ＝Ｂ（Ｙtra ）

この数式６に示すような計算も、同様に、上記色再現限界特性用ＲＯＭ４６に記憶されているテーブルデータ等を参照して（ステップＳ３０）、輝度Ｙtra に対応する色再現範囲ｂtra を求めることにより行う。

上記色差変換部４８は、第１の補正係数である上記ｂorg と、第２の補正係数である上記ｂtra に基づいて、色差信号に対する変換係数ｇａｉｎc を次の数式７に示すように計算する。
［数７］
ｇａｉｎc ＝ｂtra ／ｂorg

こうして、色差信号に対する変換係数ｇａｉｎc を、階調補正前の輝度信号Ｙorg での色再現の理論限界特性ｂorg と、階調補正後の輝度信号Ｙtra での色再現の理論限界特性ｂtra と、の比となるように定義することで、輝度と同じ変換係数を使った場合のような白とび等を発生させることなく、彩度を保った忠実な色再現を行うことができるようにしている。

この変換係数ｇａｉｎc が求められたところで、上記適正露光抽出部１３から補正前の色差信号Ｃｂorg とＣｒorg を順次受け取って（ステップＳ２９）、補正後の色差信号Ｃｂtra とＣｒtra を次の数式８に示すように計算する（ステップＳ３３）。
［数８］
Ｃｂtra ＝ｇａｉｎc ・Ｃｂorg
Ｃｒtra ＝ｇａｉｎc ・Ｃｒorg

このように変換された色差信号Ｃｂtra ，Ｃｒtra は、Ｙ／Ｃ合成部３４に出力される（ステップＳ３４）。

Ｙ／Ｃ合成部３４では、階調変換後の輝度信号Ｙtra と変換後の色差信号Ｃｂtra ，Ｃｒtra とをＹ／Ｃ合成して例えばＲＧＢ信号に変換し、上記画像合成部１５に出力する。

この画像合成部１５において、長時間露光に係る階調変換後の適正露光画像部分と短時間露光に係る階調変換後の適正露光画像部分とを合成して、一の広ダイナミックレンジ画像を生成した後に、上記出力部１６から出力するようになっている。

なお、この第２の実施形態においては、電子カメラ内の回路として構成した画像処理装置により色再現の理論限界特性を考慮した階調補正を行っているが、このような処理をコンピュータの処理プログラムにより行うことも可能である。

また、この画像処理装置は、電子カメラに適用するに限るものではなく、例えばプリンタ装置などの画像を扱う機器に広く適用することが可能である。

このような第２の実施形態によれば、色差信号については色再現の理論限界特性を考慮した階調補正を行うようにしたために、画像の階調補正を行っても適切な彩度を維持することができる。

図１３は本発明の第３の実施形態を示したものであり、電子カメラの基本的な構成を示すブロック図である。

この第３の実施形態において、上述の第１，第２の実施形態と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

この第３の実施形態は、上述した第１の実施形態と第２の実施形態の機能を兼ね合わせた機能を発現するものとして構成されていて、つまり、輝度信号の階調変換特性を算出する際に撮影状況に応じた重み付けを行うとともに、色差信号の変換特性を算出する際には色再現の理論限界特性を考慮するようにしたものである。

すなわち、撮影状況推定部１８により推定された上記図５に示すような撮影状況の分類結果が、上記輝度補正部３２に入力されるようになっていて、該輝度補正部３２において輝度信号のエッジヒストグラムを作成する際に、図６に示すような重み付けが行われる。

こうして得られた特性曲線に基づいて階調変換された輝度信号が色差補正部３３に入力されると、上述した第２の実施形態と同様に、色再現の理論限界特性を示すテーブルを参照しながら第２の補正係数が算出され、同様に階調変換前の輝度信号に基づいて第１の補正係数が算出される。そして、これら第１の補正係数と第２の補正係数とに基づいて色差信号に係る変換係数が算出され、色差に適した変換が行われて上記Ｙ／Ｃ合成部３４に出力される。

このＹ／Ｃ合成部３４において、輝度補正部３２から出力される階調変換後の輝度信号と色差補正部３３から出力される変換後の色差信号とをＹ／Ｃ合成して画像合成部１５に出力し、該画像合成部１５において、長時間露光に係る階調変換後の適正露光画像部分と短時間露光に係る階調変換後の適正露光画像部分とを合成して、一の広ダイナミックレンジ画像を生成した後に、上記出力部１６から出力するようになっている。

なお、この第３の実施形態においても、電子カメラ内の回路として階調補正を行っているが、このような処理を、コンピュータの処理プログラムにより行うことも可能である。

また、この画像処理装置は、電子カメラに適用するに限るものではなく、例えばプリンタ装置などの画像を扱う機器に広く適用することが可能である。

このような第３の実施形態によれば、上述した第１の実施形態の効果と、第２の実施形態の効果との双方を奏することができる。

なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

なおまた、請求項１による本発明の画像処理装置によれば、階調補正前後の輝度信号と色再現の理論限界特性とに基づき色差信号の補正を行っているために、階調補正後に最適な彩度の画像を得ることができる。

請求項２による本発明の画像処理装置によれば、撮影状況を推定してそれに応じて輝度信号の階調補正を行うようにしたために、主要被写体の階調幅を適応的に調整することが可能となり、さらに、階調補正前後の輝度信号と色再現の理論限界特性とに基づき色差信号の補正を行っているために、階調補正後に最適な彩度の画像を得ることができる。

請求項３による本発明の画像処理装置によれば、請求項２に記載の発明と同様の効果を奏するとともに、合焦情報と測光情報とに基づいて、撮影状況を適切に推定することが可能となる。

請求項４による本発明の画像処理装置によれば、請求項２に記載の発明と同様の効果を奏するとともに、階調補正手段が、適正露光域の特徴量に重み付けしてヒストグラムを作成し階調変換曲線を算出することにより、主要被写体を考慮した適切な階調変換を行うことができる。

請求項５による本発明の画像処理装置によれば、請求項１に記載の発明と同様の効果を奏するとともに、階調補正手段が、適正露光域の特徴量からヒストグラムを作成して階調変換曲線を算出することにより、適切な階調変換を行うことができる。

請求項６による本発明の画像処理装置によれば、請求項１または請求項２に記載の発明と同様の効果を奏するとともに、色差補正手段が、階調補正前の輝度信号と色再現の理論限界特性とから算出した第１の補正係数と、階調補正後の輝度信号と色再現の理論限界特性とから算出した第２の補正係数と、を用いることにより、色差信号の変換を適切に行うことができる。

請求項７による本発明の画像処理プログラムによれば、階調補正前後の輝度信号と色再現の理論限界特性とに基づき色差信号の補正を行っているために、階調補正後に最適な彩度の画像を得ることができる。

本発明の第１の実施形態の電子カメラの基本的な構成を示すブロック図。 上記第１の実施形態の撮影状況推定部の詳細な構成を示すブロック図。 上記第１の実施形態の変換特性算出部の詳細な構成を示すブロック図。 上記第１の実施形態における評価測光用の分割パターンの一例を示す図。 上記第１の実施形態において、ＡＦ情報とＡＥ情報からのシーンの分類パターンを示す図表。 上記第１の実施形態において、上記図５に示したような分類パターンに基づくエッジヒストグラム算出時の重み係数を示す図。 上記第１の実施形態における画像変換の処理を示すフローチャート。 本発明の第２の実施形態の電子カメラの基本的な構成を示すブロック図。 上記第２の実施形態の輝度補正部の詳細な構成を示すブロック図。 上記第２の実施形態の色差補正部の詳細な構成を示すブロック図。 上記第２の実施形態において、色再現の理論限界特性を考慮して色差補正を行う様子を示す線図。 上記第２の実施形態における画像変換の処理を示すフローチャート。 本発明の第３の実施形態の電子カメラの基本的な構成を示すブロック図。

符号の説明

７…測光評価部
８…合焦点検出部
１２…Ｙ／Ｃ分離部（輝度色差分離手段）
１３…適正露光抽出部（抽出手段）
１４…変換特性算出部（階調補正手段）
１５…画像合成部（合成手段）
１６…出力部
１７…制御部
１８…撮影状況推定部（撮影状況推定手段）
２０…合焦位置推定部（合焦位置推定手段）
２１…被写体分布推定部（被写体分布推定手段）
２２…統合部（統合手段）
２４…重みパターン選択部（選択手段）
２５…重みパターン用ＲＯＭ
２６，４０…エッジ抽出部（特徴量算出手段）
２７，４１…ヒストグラム作成部（ヒストグラム作成手段）
２８，４２…変換曲線算出部（階調変換曲線算出手段）
２９…変換部（変換手段）
３２…輝度補正部（階調補正手段）
３３…色差補正部（色差補正手段）
３４…Ｙ／Ｃ合成部（輝度色差合成手段）
４３…輝度変換部（輝度変換手段）
４５…第２補正係数算出部（第２の算出手段）
４６…色再現限界特性用ＲＯＭ
４７…第１補正係数算出部（第１の算出手段）
４８…色差変換部（色差変換手段）

Claims (7)

1. 同一被写体に対して異なる露光条件で撮像された複数の画像からなる画像群を処理して一の広ダイナミックレンジ画像を生成する画像処理装置であって、
   上記画像群中の各画像毎に画像信号を輝度信号と色差信号に分離する輝度色差分離手段と、
   上記輝度信号の信号レベルに基づき適正露光域を抽出する抽出手段と、
   上記適正露光域の輝度信号に関して階調補正を行う階調補正手段と、
   上記輝度色差分離手段から出力された階調補正前の輝度信号と、上記階調補正手段から出力された階調補正後の輝度信号と、色再現の理論限界特性と、に基づいて上記適正露光域の色差信号の補正を行う色差補正手段と、
   上記階調補正後の輝度信号と上記補正後の色差信号とをもとの画像信号に合成する輝度色差合成手段と、
   上記合成された適正露光域の画像信号を合成することにより一の広ダイナミックレンジ画像を生成する合成手段と、
   を具備したことを特徴とする画像処理装置。
2. 撮影状況を推定する撮影状況推定手段をさらに具備し、
   前記階調補正手段は、上記適正露光域の輝度信号に関して上記撮影状況に基づき階調補正を行うことを特徴とする請求項１に記載の画像処理装置。
3. 上記撮影状況推定手段は、
   合焦情報から少なくとも風景撮影、人物撮影、接写撮影の３種類の合焦位置を推定する合焦位置推定手段と、
   測光情報から少なくとも画面全体、中央重点、中心部の３種類の被写体分布を推定する被写体分布推定手段と、
   上記合焦位置推定手段が推定した合焦位置と上記被写体分布推定手段が推定した被写体分布とを組み合わせて撮影状況を統合的に推定する統合手段と、
   を有してなるものであることを特徴とする請求項２に記載の画像処理装置。
4. 上記階調補正手段は、
   上記撮影状況に基づき重み係数の配置を選択する選択手段と、
   上記適正露光域に関してエッジを算出する特徴量算出手段と、
   上記エッジを構成する画素やその近傍画素の輝度信号のレベルと、その輝度信号のレベルを有する画素の出現頻度との対応関係を示すエッジヒストグラムにおいて表現された画素の出現頻度に対して、上記画素の画素位置に割り当てられた上記選択された重み係数を重み付けることによって上記エッジに関する重み付きヒストグラムを作成するヒストグラム作成手段と、
   上記重み付きヒストグラムに基づき階調変換曲線を算出する階調変換曲線算出手段と、
   上記階調変換曲線を用いて階調変換を行う変換手段と、
   を有してなるものであることを特徴とする請求項２または３に記載の画像処理装置。
5. 上記階調補正手段は、
   上記適正露光域に関してエッジを算出する特徴量算出手段と、
   上記エッジを構成する画素やその近傍画素の輝度信号のレベルと、その輝度信号のレベルを有する画素の出現頻度との対応関係を示すヒストグラムを作成するヒストグラム作成手段と、
   上記ヒストグラムに基づき階調変換曲線を算出する階調変換曲線算出手段と、
   上記階調変換曲線を用いて輝度信号の変換を行う輝度変換手段と、
   を有してなるものであることを特徴とする請求項１に記載の画像処理装置。
6. 上記色差補正手段は、
   上記階調補正前の輝度信号と、上記色再現の理論限界特性と、に基づいて第１の補正係数を算出する第１の算出手段と、
   上記階調補正後の輝度信号と、上記色再現の理論限界特性と、に基づいて第２の補正係数を算出する第２の算出手段と、
   上記第１の補正係数と第２の補正係数とを用いて色差信号の変換を行う色差変換手段と、
   を有してなるものであることを特徴とする請求項１から５のいずれかに記載の画像処理装置。
7. 同一被写体に対して異なる露光条件で撮像された複数の画像からなる画像群を処理して一の広ダイナミックレンジ画像を生成する画像処理プログラムであって、
   上記画像群中の各画像毎に画像信号を輝度信号と色差信号に分離する輝度色差分離ステップと、
   上記輝度信号の信号レベルに基づき適正露光域を抽出する抽出ステップと、
   上記適正露光域の輝度信号に関して階調補正を行う階調補正ステップと、
   上記輝度色差分離ステップにより出力された階調補正前の輝度信号と、上記階調補正ステップにより出力された階調補正後の輝度信号と、色再現の理論限界特性と、に基づいて上記適正露光域の色差信号の補正を行う色差補正ステップと、
   上記階調補正後の輝度信号と上記補正後の色差信号とをもとの画像信号に合成する輝度色差合成ステップと、
   上記合成された適正露光域の画像信号を合成することにより一の広ダイナミックレンジ画像を生成する合成ステップと、
   をコンピュータに実行させることを特徴とする画像処理プログラム。

Images