JP7296745B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

従来、デジタルカメラなどで撮影で取得した画像をＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）などの汎用的な形式として取得し、該データに対し、画像処理を施すことが行われている。

より高品質の画像を取得するため、センサー受光データ（以下、ＲＡＷデータ）を利用する方法も存在する。ＲＡＷデータを利用した画像処理において、起こり得る弊害の一つとして、ビット精度の飽和が挙げられる。８ビットの２５６階調（０～２５５）の場合、画像修正などにより、所定の倍率をかけるゲイン処理などでは、２５５を超える画素が発生し、飽和画素として階調劣化を引き起こす。特許文献１では、ゲイン調整により、飽和する画素を警告として、出力する技術が開示されている。

一方、画像の表示に使用される表示装置については、昨今、高輝度化が進んでいる。従来、１００ｎｉｔ（ｎｉｔは輝度の単位）程度であった表示装置は、光源技術などの進歩に伴い、１０００ｎｉｔを超えるものが、使用され始めている。

特開平１１－７５０７６号公報

ＲＡＷデータの画像修正フローでは、表示上、飽和画素であったとしても、その後の処理において、飽和画素にならない場合がある。これはＲＡＷデータの有する情報と、表示に使用されるＲＧＢデータの違いに起因する。また、ＲＡＷデータにおいては、撮影時の画像の状態に応じて、階調の復元の可否が異なる。

撮影時において画像修正における影響の度合いを不明のままにした場合、撮影後の画像内の各領域に対して行われた処理の内容や程度を把握することが困難となる。また、撮影時において画像修正における影響の度合いを通知する場合には、昨今の高輝度にて表示する表示装置の構成を考慮して表示を行う必要がある。

上記課題を解決するために本願発明は以下の構成を有する。すなわち、画像処理装置であって、第１の輝度レンジを有する画像データの輝度値を取得する第１の取得手段と、前記画像データを出力する、前記第１の輝度レンジよりも小さい第２の輝度レンジの情報を取得する第２の取得手段と、前記第１の輝度レンジから前記第２の輝度レンジへの輝度値の変換の対応関係に基づき、前記画像データにおける前記第１の輝度レンジを複数の領域に分類する分類手段と、前記複数の領域それぞれに属する輝度値を有する画素を識別可能なように、前記画像データを基に生成された表示画像を表示する表示手段とを有し、前記分類手段は、前記第１の輝度レンジから前記第２の輝度レンジへの輝度値の変換を行った場合に、階調特性の復元が可能な領域と、階調特性の復元が不可能な領域とに分類し、更に、階調特性が劣化している領域と、階調特性が劣化していない領域とに分類することを特徴とする。

本発明により、画像中の階調特性の復元が可能な領域を通知することができる。

本発明の課題の詳細を説明するための図。 本発明の第１の実施形態に係る画像処理装置の構成例を示す図。 本発明の第１の実施形態に係るＲＧＢ生成部の構成例を示す図。 本発明の第１の実施形態に係る入力輝度と表示装置の輝度の変換を表す図。 本発明の第１の実施形態に係るハイライト復元処理のフローチャート。 本発明の第１の低周波を取得するフィルタを示す図である。 本発明の第１の実施形態に係る輝度領域算出部を説明するための図。 本発明の第１の実施形態に係る高輝度表示装置における、輝度領域算出部を説明するための図。 本発明の第１の実施形態に係る輝度領域算出部の処理のフローチャート。 本発明の表示例を示す図。 本発明の第２の実施形態の輝度領域算出部の処理のフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［階調復元が可能な領域について］
図１は、入力輝度と出力輝度との対応関係を示す図である。図１において、横軸は撮影するシーンの輝度を示し、縦軸は、画像の輝度を表示装置にて表示する際の出力輝度を示す。図１中の変換特性１１０は、表示するための変換特性を示している。一般的な撮像装置では、撮影シーンを測光した輝度値を、予め定めた所定の出力値になるよう相対的な関係になっている。

シーン輝度１０１の領域については、撮像時において撮像装置のＲＧＢのセンサー出力値が全て飽和してしまう高輝度レンジのため、Ｒ（レッド）信号、Ｇ（グリーン）信号、Ｂ（ブルー）信号が全て飽和した画素、つまり白画素として表示されることになる。シーン輝度１０２の領域は、例えば、クリップ処理を行った場合には、Ｒ信号、Ｇ信号、Ｂ信号が飽和状態となり白画素になる。しかし、例えば、シーン輝度１０２において、特開２０１５－１５６６１５号公報に記載されているような方法を用いた場合、飽和画素とならない輝度レンジとなる。その結果、どちらも白画素でありながら、シーン輝度１０１では階調復元できず、シーン輝度１０２では階調復元が可能となる。

なお、特開２０１５－１５６６１５号公報の処理によりシーン輝度１０２の領域が白画素になることは避けることができるが、必ずしもシーン輝度１０２の領域の階調が復元することが望ましいとは限らない。シーン輝度１０２の領域が白画素になり、ハイライト部が白画素となることでコントラストが付いた画像になる場合もあり、ユーザーの意図に依存して選択されるべきである。

さらに低輝度部の領域を参照すると、シーン輝度１０３、１０４の領域では、白画素になることはなく、いずれも階調性を有している。図１中の点線１０５は、入力輝度をそのまま出力輝度とする場合を示す。点線１０５よりも傾きが大きく、立っている場合は、少なくともシーンの輝度階調性を劣化させることなく表現していると想定される。逆に、点線１０５よりも傾きが小さく、寝ている場合は、階調はあるものの、シーンの輝度から階調性が低下していると想定される。図１中の点１０６は、点線１０５と、階調を再現する変換特性１１０の交点であり、この点を境に、低輝度側の傾きが大きく、高輝度側は小さくなっている。

以上のように、シーン輝度１０１、１０２、１０３の領域はいずれも階調性が低下している領域である。上述したように、そのうち、シーン輝度１０１は、復元することはできない。

本発明では、上記のような階調復元の可否が異なるシーン輝度の各領域を通知することを目的とする。

＜第１の実施形態＞
［画像処理装置］
図２は、本実施形態に係るシステムの構成例を示す。本実施形態において、システムは、画像処理装置２０、表示装置２１、保存装置２２、および撮像装置２３を含んで構成される。画像処理装置２０には、表示装置２１、保存装置２２、および撮像装置２３が接続されている。なお、保存装置２２の代わりに、印刷装置（不図示）が接続されていてもよい。また、図示していないが、各装置内には、各ブロックを制御、動作させるためのＣＰＵ、ＲＡＭ、ＲＯＭが搭載されている。なお、システムに設けられた各装置はそれぞれ別個の装置である必要はなく、１または複数の装置に統合されてもよい。

画像処理装置２０は、ＲＡＷ取得部２０１、ＲＧＢデータ生成部２０２、現像設定部２０３、表示輝度取得部２０４、輝度領域算出部２０５、表示画像生成部２０６、およびハイライト復元部２０７を含んで構成される。

ＲＡＷ取得部２０１は、撮像装置２３において対象となるシーンがレンズを通してセンサー（撮像素子）で光電変換されることで得られたＲＡＷデータを取得する。撮像装置２３では、所定の露光条件の撮像処理により、ＲＡＷデータが取得される。なお、ＲＡＷデータの取得方法はこの限りではなく、ＲＡＷ取得部２０１は、脱着可能な記憶メモリ装置（不図示）を経由し、予め撮像装置２３にて撮影したＲＡＷデータを取得してもよい。

ＲＧＢデータ生成部２０２は、使用者が現像設定部２０３で予め設定した現像設定値、および表示輝度取得部２０４により取得された表示装置２１の輝度値に基づき、階調特性を決定し、ＲＧＢデータ生成を実施する。

図３は、本実施形態に係るＲＧＢデータ生成部２０２の詳細な構成例を示す。ＲＧＢデータ生成部２０２は、色補間部３０１、ＷＢ調整部３０２、ガンマ補正部３０３、ノイズ除去部３０４、シャープネス処理部３０５、及び色処理部３０６を含んで構成される。色補間部３０１は、単色（Ｒ、Ｇ、Ｂ）の信号で構成されたＲＡＷデータ内の画素の各々に、デベイヤー処理またはモザイク処理を実施する。ホワイトバランス（ＷＢ）調整部３０２は、現像設定部２０３の設定に従い、ホワイトバランス処理を適用する。具体的には、Ｒ，Ｇ，Ｂの各信号値に対し、設定された係数を乗じることになる。ガンマ補正部３０３は、現像設定部２０３のほか、表示輝度取得部２０４にて取得した表示装置２１の輝度を考慮し、ガンマ補正が施される。このほか、ノイズ除去部３０４によるノイズ除去処理、シャープネス処理部３０５によるシャープネス処理が、必要に応じ適用される。色処理部３０６は、色相の調整、高輝度領域の色曲りを抑圧する。以上のように、ＲＧＢデータ生成部２０２における各ブロックの処理では、ＲＡＷデータが、使用者の設定に従ったＲＧＢデータに変換される。

図２に戻って説明を行う。輝度領域算出部２０５は、ＲＡＷ取得部２０１にて取得したＲＡＷデータ、現像設定部２０３にて受け付けた現像設定値、および、表示輝度取得部２０４にて取得した表示装置２１の輝度値に基づき、ＲＡＷデータにおける輝度領域の算出を実施する。本処理の詳細は後述する。

表示画像生成部２０６は、輝度領域算出部２０５により算出された輝度領域に基づき、ＲＧＢデータ生成部２０２にて生成されたＲＧＢデータに基づいて表示画像を生成する。ＲＧＢデータである画像をその後、ハイライトを復元する場合、ハイライト復元部２０７により、処理を適用する。

［ハイライト復元処理］
次に、本実施形態に係るハイライト復元部２０７で実施されるハイライト復元処理について説明を行う。図４に入力の輝度レンジ（ダイナミックレンジ：以下、Ｄレンジ）と出力のＤレンジが異なり、入力Ｄレンジの方が広い場合の例を示す。入力のＤレンジは２００％であり、出力側（ここでは表示装置２１）は１００ｎｉｔの輝度を有するものとする。輝度１％＝１ｎｉｔで表示するとした場合、２００％を表示しようとすると、２００ｎｉｔの出力Ｄレンジが必要となる。

図４中、曲線４０１は、２００ｎｉｔの出力Ｄレンジにて出力する場合を示す。曲線４０１は、直線でなく点４００を通っている。点４００は、撮影時に、シーン内の所定領域を測光した輝度となっており、該輝度値は予め決められた出力輝度値になるよう、設定されている。点４００が基準となり、シーンの輝度が決定されることになるため、点４００を通過することが必要となり、曲線４０１は、それに従い生成されている。つまり、曲線４０１に基づいて出力した画像データを、２００ｎｉｔの表示装置で表示した場合、理想的な表示となる。図４の例の場合、点４００は、入力側の輝度レンジにおいて、１８％の位置が利用されている。

一方、本例では、１００ｎｉｔの表示装置を出力装置として想定するため、曲線４０２のような変換特性カーブが施される。曲線４０２についても、基準となる点４００を経由していることから、測光ポイント（点４００）の輝度は、表示装置の輝度が変わったとしても、変わらない。例えば、人物（ポートレート）撮影であれば、顔などの肌領域が同ポイントとなり、表示装置の輝度によらず、表示上の肌色の輝度値は変わらない。この場合において、入出力間のＤレンジの違いを吸収するためには、ハイライト部（図４の右側における高輝度側の領域に相当）の階調性を落とすことになる。曲線４０２では、点４００よりも高輝度側において傾きが小さくなることになり、結果として、高輝度側ではコントラストの低下した、いわゆる眠い画像となる。これを回避するため、所定の入力輝度以上を白画素とし、コントラストのある画像を実現する方法もある。しかしながら、この方法を適用するとハイライトの階調性が低下してしまう。

本実施形態に係るハイライト復元処理では、Ｒｅｔｉｎｅｘ処理により、ハイライトを復元しつつ、コントラストを維持する処理を適用する。Ｒｅｔｉｎｅｘ処理は、画像を照明光成分と反射光成分に分離し、この照明光成分をＤレンジ圧縮し、反射光成分を保持することで、元の画像のコントラストを保持したまま、Ｄレンジ圧縮を実現する。この照明光成分は、実質的に低周波成分であり、反射光成分は実質的に高周波成分であるといえる。本実施形態では、以降、低周波成分と高周波成分に統一して説明する。

［Ｒｅｔｉｎｅｘ処理］
図５は、本実施形態で用いられるＲｅｔｉｎｅｘ処理のフローチャートを示す。本処理フローは、例えば、ハイライト復元部２０７にて実行される。

Ｓ５０１にて、ハイライト復元部２０７は、対象とするＲ、Ｇ、Ｂ信号を有する画像を取得する。本実施形態においては、ＲＧＢデータ生成部２０２にて生成されたＲＧＢデータがここで取得される画像に該当する。

Ｓ５０２にて、ハイライト復元部２０７は、下記の式（１）に従い、ＲＧＢ画像における各画素を輝度値に変換する。式（１）において、記号“・”は積を示す。
Ｙ＝０．２９９・Ｒ＋０．５８７・Ｇ＋０．１１４Ｂ …式（１）

Ｓ５０３にて、ハイライト復元部２０７は、Ｓ５０２にて変換した各画素の輝度値に対して、低周波成分に周波数分解を行う。低周波成分Ｌは、輝度成分に対してフィルタリング処理を行うことで生成する。図６を用いて、フィルタリング処理についてガウス型フィルタを例に説明する。フィルタ６０１において、フィルタサイズが５×５の大きさを表し、ピクセルごとに係数値が設定されている。画像の横方向をｘ、縦方向をｙ、座標（ｘ，ｙ）のピクセル値をｐ（ｘ，ｙ）、フィルタ係数値をｆ（ｘ，ｙ）とすると、注目画素ごとに以下の式（２）で表す方法でフィルタリング処理を行う。注目画素６０２を中心に、画像データをフィルタが走査するごとに式（２）の計算を行う。フィルタ６０１を用いてすべての画素を走査し終わると、低周波成分画像が得られる（Ｌ（ｘ，ｙ））。式（２）において、記号“・”は積を示す。
Ｌ（ｘ，ｙ）＝｛１／Σｆ（ｘ，ｙ）｝・Σ｛ｆ（ｘ，ｙ）×ｐ（ｘ，ｙ）｝ …式（２）

尚、本実施形態ではフィルタ特性がガウス型を例に説明したが、これに限定するものではなく、例えば、バイラテラルフィルタの様なエッジ保存型のフィルタであってもよい。エッジ保存型のフィルタを使用すれば、コントラスト補正をした際に、エッジ部分に発生するアーティファクトのハロを低減することができる。

Ｓ５０４にて、ハイライト復元部２０７は、Ｓ５０３で生成した低周波成分Ｌを利用し、高周波成分Ｈを抽出する。Ｓ５０２にて変換した各画素の輝度値に基づく入力輝度画像をＩとすると、高周波成分Ｈは、以下の式（３）に従って算出できる。
Ｈ＝Ｉ／Ｌ …式（３）

なお、上記の式（３）では、入力画像Ｉを低周波成分Ｌで除算することによって生成したが、以下の式（４）で表されるように、入力輝度画像Ｉから低周波成分Ｌを減算することで生成してもよい。
Ｈ＝Ｉ－Ｌ …式（４）

Ｓ５０５にて、ハイライト復元部２０７は、低周波成分Ｌに対してＤレンジ圧縮を行う。ここでは、図４の曲線４０２に示すような変換を行う。具体的には、入力輝度に対し、圧縮後の変換値の対応が記載されたルックアップテーブルなどを参照することで変換を行ってもよいし、予め設定された変換式に従って処理を行ってもよい。ここで生成された画像Ｉ’は、Ｄレンジ圧縮のみが行われたものになっており、レンジは表示側の輝度レンジである１００ｎｉｔに合致するが、コントラストの低い、いわゆる眠い画像になっている。

Ｓ５０６にて、ハイライト復元部２０７は、Ｓ５０５により得られた画像Ｉ’に対し、Ｓ５０４で生成した高周波成分Ｈを重畳することにより、コントラスト低下を補う。処理後の画像を画像Ｉ’’とすると、以下の式（５）により復元画像が得られる。
Ｉ’’＝Ｉ’＊Ｈ …式（５）

画像Ｉ’’は、Ｄレンジとしては、表示側の輝度レンジである１００ｎｉｔに合致している。更に、画像Ｉ’’の高周波成分のコントラストは、Ｄレンジ圧縮前、つまり、図４の曲線４０１の特性を有する画像となっている。これにより、コントラストが保持されたＤレンジ圧縮後の画像が生成される。

尚、Ｒｅｔｉｎｅｘ処理の照明光成分および反射光成分をそれぞれ、低周波成分および高低周波成分として記載したが、それぞれの周波数は画一的なものである必要はなく、表示装置の大きさなど、観察環境により、可変させてもよい。ここでの観察環境とは、表示装置が設定される位置の明るさであってもよいし、印刷物として画像を出力する場合にはその印刷物に用いられる記録媒体等の属性であってもよい。また、観察環境や出力装置の輝度レンジの他にも、参照する出力情報を用いてよい。

一方、本処理によりハイライト復元した画像を得ることは可能となるが、全ての画像に対し、この処理を適用することが望ましいとは言えない。例えば、ハイライトを飛ばすことにより、コントラストのついたメリハリのある画像を得やすい点がある。主被写体以外の不必要な情報をなくすことが出来ることや、背景でボケた領域（いわゆる玉ボケと言われる部分）の輝度が上がり、好適な画質になりやすい、などのメリットがある。

尚、本実施形態では、撮像装置２３や、表示装置２１が付属する画像処理装置２０内に、ハイライト復元部２０７が設けられているが、本処理部を別の画像処理装置に実装してもよい。例えば、画像をレタッチするＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）上のアプリケーションなどに、同処理を実施し、撮影したデータをＰＣに取り込み、ハイライト復元処理することでも実現可能である。

［輝度領域算出処理］
次に、本実施形態に係る輝度領域算出部２０５における輝度領域算出処理ついて説明を行う。図７では、ある所定の入力Ｄレンジのデータを、それよりも小さい出力輝度（Ｙｎｉｔ）の表示装置に表示する場合を想定している。図７において、横軸は入力輝度を示し、縦軸は出力輝度を示す。

最初に、完全飽和輝度となる完全飽和輝度点Ｘを算出する。この完全飽和輝度点Ｘは、例えば、撮像装置のセンサー特性と、ホワイトバランス設定により決定されるものである。つまり、完全飽和輝度点Ｘに対応する輝度値は、撮像装置における撮影情報に基づいて決定することができる。一例として、上述した特開２０１５－１５６６１５号公報に記載の置換処理において、該センサーで読み取り、飽和点が拡張された場合を想定する。Ｒ、Ｇ、Ｂの全チャンネルが飽和する信号出力値に対し、各チャンネルのホワイトバランス係数で除算した信号値を求める。得られた値から求められるシーン輝度を逆算することで、全チャンネルの飽和する完全飽和輝度点Ｘを求めることができる。一般的には、Ｇチャンネル、Ｂチャンネル、Ｒチャンネルの順に飽和を始めるため、完全飽和輝度点Ｘは、最後のＲチャンネルが飽和する輝度値となる。図７において、完全飽和輝度点Ｘよりも右側の領域は、階調復元が不可能となる領域に相当する。

次に、階調劣化輝度点Ｍを算出する。まず、出力輝度が飽和値となる飽和開始点Ｎは、センサーのいずれかのチャンネルが飽和する輝度に相当する。上述したように、一般的には、Ｇチャンネルから飽和を始めるため、飽和開始点Ｎは、Ｇチャンネルが飽和値に到達する輝度値となる。図７において、完全飽和輝度点Ｘと飽和開始点Ｎとの間の領域は、階調復元が可能な領域となる。表示輝度取得部２０４により取得された表示装置２１の表示輝度値と、飽和開始点Ｎ、使用者が設定するガンマカーブに基づき、輝度変換カーブｇ（Ｙ）が生成される。ここで、Ｙは入力輝度を示す。

上記の使用者の設定としては、例えば風景用、ポートレート用などの用途毎に分類され、それにあったガンマカーブの特性を反映することができる。また、忠実再現用、細部重視など、実現する画質や出力用途に基づいた設定を行う形としても構わない。これらの設定は、例えば、画像処理装置２０が提供するＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）が用いられてよい。

輝度変換カーブｇ（Ｙ）の特性として、飽和開始点Ｎより高い輝度は、飽和画素として変換される。つまり、ハイライト部の飽和領域は存在するものの、コントラストの高い画像を実現していることになる。

階調劣化輝度点Ｍは、輝度変換カーブｇ（Ｙ）と、入力輝度と出力輝度が一致する、傾き４５度の線との交点により求められる。階調劣化輝度点Ｍよりも高輝度側では、輝度変換カーブｇ（Ｙ）の傾きが小さくなり、階調劣化が起きる領域となる。なお、階調劣化輝度点Ｍは、必ずしも輝度変換カーブｇ（Ｙ）と傾き４５度の直線との交点である必要はない。例えば、輝度変換カーブｇ（Ｙ）の傾きが所定よりも小さくなり、階調劣化が顕著になる輝度値を設定してもよい。具体的には、階調劣化輝度点として、図７中の点Ｍ’を設定してよい。この場合、輝度変換カーブｇ（Ｙ）の微分値ｇ’（Ｙ）が、所定の傾きＳ以下となる点を求めることになる。つまり、以下の式（６）を満たす場合となる。
ｇ’（Ｍ’）≦Ｓ …式（６）
Ｓは視覚特性などから、人間が階調変化を検知できない最少傾き値を指定してもよい。

尚、上記したホワイトバランス係数を決定するための設定や、ガンマカーブ設定などは、ＲＡＷ取得部２０１で取得したＲＡＷデータの中に、メタデータとして記載されて情報を用いてよい。もしくは、これらの設定に対する取得手段を別途設けてもよい。以上、本処理により、所定の設定条件の中における、階調劣化輝度点Ｍおよび完全飽和輝度点Ｘが算出される。

図８は、図７にて説明した同様の設定例において、出力側である表示装置の輝度が異なる場合のグラフを示す。表示装置の輝度が図７よりも高いことから、縦軸のＤレンジが高くなっている。それに伴い、階調劣化輝度点Ｍが、図７と比較してより高くなっていることが分かる。一方、センサーの特性とホワイトバランスの設定により決定される完全飽和輝度点Ｘは、図７の表示輝度の場合と変わらないままとなる。

［表示画像生成処理］
次に、輝度領域算出部２０５により決定された階調劣化輝度点Ｍおよび完全飽和輝度点Ｘに基づいて表示画像生成部２０６で生成する表示画像について説明する。図９は、本実施形態に係る表示画像を生成する処理フローである。本処理は、表示画像生成部２０６にて実行される。

本処理では、完全に飽和し、その後の処理においても復元不能な領域を黒画素（Ｒ，Ｇ，Ｂ）＝（０，０，０）で表示し、階調が復元する領域を緑画素（Ｒ，Ｇ，Ｂ）＝（０，２５５，０）として表示させる（信号値は０～２５５の８ｂｉｔとする）。なお、表示における色の組み合わせは上記に限定するものではなく、例えば、ユーザーが任意に設定可能であってもよい。

また、ここでは、ＲＧＢデータ生成部２０２で作成された対象画像Ｉの画素値をＰ（ｉ，ｊ）とし、生成された表示画像Ｉ’の画素値をＰ’（ｉ，ｊ）とする。ここで、ｉ、ｊはそれぞれ、画像中の画素位置を表し、０≦ｉ≦横幅画素数、０≦ｊ≦縦幅画素数とする。ここでは、原点（０，０）は、対象画像Ｉの左上として説明する。

Ｓ９０１にて、表示画像生成部２０６は、対象となる画素位置の画素値Ｐ（ｉ，ｊ）を取得する。

Ｓ９０２にて、表示画像生成部２０６は、ＲＧＢデータ生成部２０２において、色補間部３０１およびＷＢ調整部３０２による処理のみが施された画像Ｓ（ｉ，ｊ）を取得する。Ｓ（ｉ，ｊ）では、ガンマ補正部３０３といった輝度を変化させる処理が行われず、結果として、撮影シーンの輝度そのもののＲＧＢ値が取得されることになる。

Ｓ９０３にて、表示画像生成部２０６は、ＲＧＢ形式となっているＳ（ｉ，ｊ）を輝度値Ｙ（ｉ，ｊ）に変換する。ここでの変換は、上述した式（１）に基づいて変換すればよい。

Ｓ９０４にて、表示画像生成部２０６は、輝度領域算出部２０５にて求められた完全飽和輝度点ＸとＹ（ｉ，ｊ）の比較を行う。比較の結果、Ｙ（ｉ，ｊ）が完全飽和輝度点Ｘ以上であれば（Ｓ９０４にてＹＥＳ）Ｓ９０８へ進み、そうでなければ（Ｓ９０４にてＮＯ）Ｓ９０５へ進む。

Ｓ９０５にて、表示画像生成部２０６は、輝度領域算出部２０５にて求められた階調劣化輝度点ＭとＹ（ｉ，ｊ）の比較を行う。比較の結果、Ｙ（ｉ，ｊ）が階調劣化輝度点Ｍ以上であれば（Ｓ９０５にてＹＥＳ）Ｓ９０７へ進み、そうでなければ（Ｓ９０５にてＮＯ）Ｓ９０６へと進む。

Ｓ９０６にて、表示画像生成部２０６は、Ｐ’（ｉ，ｊ）の値を元の画素値Ｐ（ｉ，ｊ）として決定する。そして、Ｓ９０９へ進む。

Ｓ９０７にて、表示画像生成部２０６は、Ｐ’（ｉ，ｊ）の値を緑、つまり（Ｒ，Ｇ，Ｂ）＝（０，２５５，０）として決定する。そして、Ｓ９０９へ進む。

Ｓ９０８にて、表示画像生成部２０６は、Ｐ’（ｉ，ｊ）の値を黒、つまり（Ｒ，Ｇ，Ｂ）＝（０，０，０）として決定する。そして、Ｓ９０９へ進む。

Ｓ９０９にて、表示画像生成部２０６は、画像中の全画素に対し、処理が行われたか否かの判定を行う。行われていない場合（Ｓ９０９にてＮＯ）Ｓ９０１に戻り、未処理の画素の処理を実施する。例えば、このとき、ｉまたは／およびｊの値をインクリメントすることで、次の未処理の画素に対象が移される。全ての画素に対して処理を行った場合は（Ｓ９０９にてＹＥＳ）本処理フローを終了する。

［処理結果の例］
図１０は、本実施形態における処理結果の例を示す。図１０（ａ）は、通常表示される画像Ｉであり、各画素はＰ（ｉ，ｊ）の信号値を有する。画像における撮影シーンとしては、海１００１に沈むに夕日１００２を撮影したものであり、空の中には雲１００３も存在している。

図１０（ｂ）は、本実施形態に係る処理を適用した表示画像であり、図１０（ｂ）において黒で塗り潰されている領域１００４は、白画素になり、飽和している部分を示す。この領域１００４は、この後のいかなる処理においても復元できない領域である。図１０（ｂ）において、斜線にて示された領域１００５は緑で塗り潰されている領域である。この領域１００５は、上述したハイライト復元機能などにより、階調性を向上させることが可能な領域である。

本実施形態に係る処理を行った画像の表示方法としては、所定のボタンや操作が行われた場合に、図１０（ｂ）を表示してもよいし、図１０（ａ）と交互に表示を切り替えしながら見せてもよい。もしくは、処理前後の両画像を並べて表示してもよい。つまり、画像において、各領域を識別可能に表示すればよい。

図１０（ｃ）は、使用者の指示に基づいてハイライト復元部２０７により上述した処理が、図１０（ａ）に示す画像Ｉに対しいて適用された状態を示す。このとき、図１０（ｃ）では、図１０（ａ）と比較して、領域１００４以外の領域の階調性が向上したものとなっている。

図１０（ｄ）は、表示装置が高輝度の場合において表示される同シーンでの例となる。図８で示したように、図７の場合と比較して表示装置の高輝度側の表示性能が向上するため、階調劣化輝度点Ｍが高輝度側にシフトする。この結果、図１０（ｄ）では、図１０（ｂ）と比較して、緑の領域１００５が減少した表示画像になっている。

上述したように、本実施形態では、撮像装置２３と表示装置２１を伴う画像処理装置２０において、表示装置に階調復元性を提示することを実現している。これにより、画像中の階調復元が可能な領域を識別可能に、使用者に通知することが可能となる。その結果、例えば、階調性の復元領域を確認しながら撮影することで、撮影の失敗を減らしたり、作業効率を向上させたりすることが可能となる。

＜第２の実施形態＞
第１の実施形態では、階調再現性の表示にいて、３つの領域に分類した例を説明した。具体的には、劣化しており回復不能な黒領域、劣化しており回復可能な緑領域、及び、階調劣化のない領域を表示として用いた。本発明の第２の実施形態では、さらに細かく分類を行い、より詳細を使用者に通知する例を記載する。なお、第１の実施形態と重複する箇所については説明を省略し、差分のみを説明する。

本実施形態では、第１の実施形態と同様、表示画像生成部２０６では、画素値Ｐ（ｉ，ｊ）を有する画像データＩから、階調再現性を通知するための画素値Ｐ’（ｉ，ｊ）を有する画像データＩ’を生成する。本実施形態において、画像データＩ’は、以下の４つの領域に分類された表示画像を例に挙げて説明する。
階調性劣化している／Ｐ（ｉ，ｊ）で白画素である／復元不能
階調性劣化している／Ｐ（ｉ，ｊ）で白画素である／復元可能
階調性劣化している／Ｐ（ｉ，ｊ）で白画素でない／復元可能
階調性劣化していない／Ｐ（ｉ，ｊ）で白画素でない／復元可能

つまり、本実施形態では、第１の実施形態にて図７に示した階調劣化輝度点Ｍと飽和開始点Ｎの間を示す領域を更に通知可能とする構成である。なお、設定に応じて、Ｍ’と飽和開始点Ｎとの間となるような構成であってもよい。

各領域の表示は、以下の値となるように、Ｐ’（ｉ，ｊ）を生成する。なお、カッコ内の数字はそれぞれ、Ｒ、Ｇ、Ｂの信号値を示す。
１： 黒画素 Ｐ’（ｉ，ｊ）＝（０，０，０）
２： 黄画素 Ｐ’（ｉ，ｊ）＝（２５５，２５５，０）
３： 緑画素 Ｐ’（ｉ，ｊ）＝（０，２５５，０）
４： 元の画素 Ｐ’（ｉ，ｊ）＝ Ｐ（ｉ，ｊ）
なお、表示における色の組み合わせは上記に限定するものではなく、例えば、ユーザーが表示態様を任意に設定可能であってもよい。

［処理フロー］
図１１は、本実施形態に係る表示画像を生成するためのフローチャートである。本処理は、表示画像生成部２０６にて実行される。なお、第１の実施形態にて述べた図９と重複する処理は、同じ参照番号を付し、差分のみを説明する。

Ｓ９０４における比較の結果、比較の結果、Ｙ（ｉ，ｊ）が完全飽和輝度点Ｘ以上であれば（Ｓ９０４にてＹＥＳ）Ｓ９０８へ進み、そうでなければ（Ｓ９０４にてＮＯ）Ｓ１１０１へ進む。

Ｓ１１０１にて、表示画像生成部２０６は、輝度領域算出部２０５にて求められた飽和開始点ＮとＹ（ｉ，ｊ）の比較を行う。比較の結果、Ｙ（ｉ，ｊ）が飽和開始点Ｎ以上であれば（Ｓ１１０１にてＹＥＳ）Ｓ１１０２へ進み、そうでなければ（Ｓ１１０１にてＮＯ）Ｓ９０５へと進む。

Ｓ１１０２にて、表示画像生成部２０６は、Ｐ’（ｉ，ｊ）の値を黄色、つまり（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，０）として決定する。そして、Ｓ９０９へ進む。

［処理結果の例］
図１０（ｅ）は、本実施形態に係る処理結果の例を示す。図１０（ｅ）中、横線にて示された領域１００６が、その後のハイライト復元処理において復元できる領域を示す。一方、黒にて示された領域１００４は、その後のハイライト復元領域において復元できない領域を示す。このように、本実施形態による処理結果としての表示を提示することで、白になっている画素であっても、撮影後のハイライト復元処理において、復元できる領域と、そうでない領域を識別することが可能となる。

上述したように、本実施形態では、第１の実施形態と比べて、さらに高輝度側の階調再現性をより細かく分割することで、使用者により詳細な情報を通知することを実現している。尚、第１の実施形態で説明した復元可能な緑領域の判定（図９のＳ９０５）において、飽和開始点Ｎとの比較に拡張してもよい。この場合、緑領域は、復元可能な階調劣化領域を意味することになる。

本発明は上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピューターにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

２０…画像処理装置、２１…表示装置、２２…保存装置、２３…撮像装置、２０１…ＲＡＷ取得部、２０２…ＲＧＢデータ生成部、２０３…現像設定部、２０４…表示輝度取得部、２０５…輝度領域算出部、２０６…表示画像生成部、２０７…ハイライト復元部

Claims (12)

1. 第１の輝度レンジを有する画像データの輝度値を取得する第１の取得手段と、
   前記画像データを出力する、前記第１の輝度レンジよりも小さい第２の輝度レンジの情報を取得する第２の取得手段と、
   前記第１の輝度レンジから前記第２の輝度レンジへの輝度値の変換の対応関係に基づき、前記画像データにおける前記第１の輝度レンジを複数の領域に分類する分類手段と、
   前記複数の領域それぞれに属する輝度値を有する画素を識別可能なように、前記画像データを基に生成された表示画像を表示する表示手段と
   を有し、
   前記分類手段は、前記第１の輝度レンジから前記第２の輝度レンジへの輝度値の変換を行った場合に、階調特性の復元が可能な領域と、階調特性の復元が不可能な領域とに分類し、更に、階調特性が劣化している領域と、階調特性が劣化していない領域とに分類することを特徴とする画像処理装置。
2. 前記分類手段は更に、前記第１の輝度レンジから前記第２の輝度レンジへの輝度値の変換を行った場合に、輝度値が飽和している領域と、輝度値が飽和していない領域とに分類することを特徴とする請求項１に記載の画像処理装置。
3. 前記分類手段は、前記画像データの画素のＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の値の少なくともいずれかが飽和している輝度値を基準として、輝度値が飽和している領域を分類することを特徴とする請求項２に記載の画像処理装置。
4. 前記分類手段は、前記第１の輝度レンジから前記第２の輝度レンジへの輝度値の変換の対応関係において入力と出力が一致する輝度値を基準として、階調特性が劣化している領域を分類することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記分類手段は、前記画像データを撮影した撮影装置における撮影情報に基づいて、階調特性の復元が可能な領域を分類することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記撮影情報は、前記撮影装置が有する光電変換手段にて使用されるセンサーの特性の情報を含むことを特徴とする請求項５に記載の画像処理装置。
7. 前記表示手段は、前記複数の領域をそれぞれ異なる表示態様にて表示させることを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記階調特性の復元は、前記画像データの低周波成分に対して輝度レンジの圧縮を行い、圧縮後の低周波成分に前記画像データの高周波成分を重畳することで行われることを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
9. 前記低周波成分および前記高周波成分は、前記画像データを出力した際の観察環境の情報に基づいて決定されることを特徴とする請求項８に記載の画像処理装置。
10. 前記画像データは、撮像素子において光電変換されたＲＡＷデータであることを特徴とする請求項１乃至９のいずれか一項に記載の画像処理装置。
11. 第１の輝度レンジを有する画像データの輝度値を取得する第１の取得工程と、
    前記画像データを出力する、前記第１の輝度レンジよりも小さい第２の輝度レンジの情報を取得する第２の取得工程と、
    前記第１の輝度レンジから前記第２の輝度レンジへの輝度値の変換の対応関係に基づき、前記画像データにおける前記第１の輝度レンジを複数の領域に分類する分類工程と、
    前記複数の領域それぞれに属する輝度値を有する画素を識別可能なように、前記画像データを基に生成された表示画像を表示する表示工程と
    を有し、
    前記分類工程において、前記第１の輝度レンジから前記第２の輝度レンジへの輝度値の変換を行った場合に、階調特性の復元が可能な領域と、階調特性の復元が不可能な領域とに分類し、更に、階調特性が劣化している領域と、階調特性が劣化していない領域とに分類することを特徴とする画像処理方法。
12. コンピューターを、
    第１の輝度レンジを有する画像データの輝度値を取得する第１の取得手段、
    前記画像データを出力する、前記第１の輝度レンジよりも小さい第２の輝度レンジの情報を取得する第２の取得手段、
    前記第１の輝度レンジから前記第２の輝度レンジへの輝度値の変換の対応関係に基づき、前記画像データにおける前記第１の輝度レンジを複数の領域に分類する分類手段、
    前記複数の領域それぞれに属する輝度値を有する画素を識別可能なように、前記画像データを基に生成された表示画像を表示する表示手段
    として機能させ、
    前記分類手段は、前記第１の輝度レンジから前記第２の輝度レンジへの輝度値の変換を行った場合に、階調特性の復元が可能な領域と、階調特性の復元が不可能な領域とに分類し、更に、階調特性が劣化している領域と、階調特性が劣化していない領域とに分類することを特徴とするプログラム。

Images