JP2004222076A - 画像処理プログラム及び方法 - Google Patents

Abstract

【課題】メインデータとハイライトデータのレンジ合成によって完成画像を生成する際に、ユーザーの意図を正確に反映した画像処理を行う。
【解決手段】ＣＣＤ−ＲＡＷ記録モードで記録されたＣＣＤ−ＲＡＷデータは、ＣＣＤ−ＲＡＷアプリケーションによって各種の画像処理が施されて再生される。ＣＣＤ−ＲＡＷアプリケーションは、メインデータのみからなる標準的なデータに対しては、ガンマ補正とトーンカーブ補正処理とをまとめて実行する。他方、メインデータとハイライトデータとからなる特殊画像データを再生する場合には、ガンマ補正とレンジ合成とを行った後、トーンカーブ補正を実行する。レンジ合成後にトーンカーブ補正がおこなれるので、メインデータとハイライトデータのいずれに対しても、ユーザーによって指定された補正パラメータが適用される。
【選択図】 図５

Description

【０００１】
【発明の属する技術分野】
本発明は、各画素のデータが、低輝度域から中輝度域までの階調を表現するメイン画像データと、メイン画像データでは表現できない高輝度域の階調を表現するハイライト画像データとから構成される画像データの画像処理方法及びプログラムに関するものである。
【０００２】
【従来の技術】
ＣＣＤイメージセンサなどの撮像手段によって被写体を撮像して撮影画像をデジタルデータとして記録するデジタルカメラが知られている。ＣＣＤイメージセンサは、多数の受光素子（画素）がマトリックス状に配列された光電面を備えており、光電面の前方には、各画素がＲ（赤），Ｇ（緑），Ｂ（青）のいずれかに対応するようにカラーフイルタアレイが配置されている。この光電面に結像した被写体像を光電変換して、各画素毎に入射光量に応じた電荷をアナログの撮像信号として出力する。
【０００３】
アナログの撮像信号は、Ａ／Ｄコンバータによってデジタルに変換され、変換直後のデータは、ＣＣＤ−ＲＡＷデータ（生データ）と呼ばれる。ＣＣＤ−ＲＡＷデータは、１画素につき１色相当の情報しか持たないデータであるため、そのままでは観賞に堪えられるものではない。そのため、デジタルカメラの多くは、このＣＣＤ−ＲＡＷデータに対してカメラ内部でガンマ補正，ホワイトバランス補正などの各種の画像補正処理を施すことにより観賞可能な完成画像を生成し、この完成画像をＪＰＥＧ形式やＴＩＦＦ形式などの汎用的な画像ファイルの形式でメモリーカードなどのストレージメディアに記録する。
【０００４】
しかし、プロカメラマンやハイアマチュアなどのカメラユーザーからは、ＣＣＤ−ＲＡＷデータを基に自分の好みの補正や加工を加えて完成画像を生成したいという要望が多い。こうしたユーザー向けのハイスペックモデルの中には、ＣＣＤイメージセンサによって取り込まれたＣＣＤ−ＲＡＷデータを、カメラ内部で画像補正処理を実行せずに、そのままストレージメディアに記録するＣＣＤ−ＲＡＷ記録モードを搭載した機種がある。
【０００５】
このモードで記録されたＣＣＤ−ＲＡＷデータは、専用の画像処理プログラム（以下、ＣＣＤ−ＲＡＷアプリケーションと呼ぶ）がインストールされたパーソナルコンピュータなどによって、ゲイン補正及びガンマ補正の他、ユーザーの好みに応じてトーンカーブ補正，シャープネス補正，彩度補正などの画像処理が施されて再生されるとともに、ＪＰＥＧやＴＩＦＦなどの一般的な画像ファイル形式に変換される。ユーザーは、操作画面に表示されるプレビュー画像を確認しながら、所望する補正レベルを指定する。ＣＣＤ−ＲＡＷアプリケーションは、ユーザーの指定に応じて補正パラメータなどを設定し、その処理条件に従って補正処理を実行する。これにより、ユーザーの意図した画質の完成画像が得られる。
【０００６】
ところで、ＣＣＤイメージセンサなどの撮像素子は、一般的に写真フイルムと比較して輝度信号の再現能力を表すダイナミックレンジ（再現可能な最小値と最大値の比率）が狭いので、明暗差の大きいシーンを撮影した場合には、高輝度域が白飛びしたり、低輝度域が黒くつぶれてしまうといったことが生じる。しかし、近年の半導体製造技術の進歩により、ＣＣＤイメージセンサによって広いダイナミックレンジを持つ画像を得る方法が各種提案されてきている。
【０００７】
その１つに、例えば、図７（Ａ）に示すように、１つの画素７１が、主画素７１ａとこの主画素７１ａよりも受光面積が小さい副画素７１ｂとから構成された特殊なＣＣＤイメージセンサ７０を使用して、感度の高い主画素７１ａからメインデータを、感度の低い副画素７１ｂからハイライトデータをそれぞれ取り込む方法がある。図７（Ｂ）のグラフに示すように、主画素７１ａは感度が高いため、副画素７１ｂと比較して少ない入射光量で飽和する。他方、副画素７１ｂは感度が低いため、主画素７１ａよりも多い入射光量で飽和する。これにより、主画素７１ａからは前記メインデータを、副画素７１ｂからは前記ハイライトデータをそれぞれ取り出すことができる。こうして得られたメインデータとハイライトデータは、１つの画像ファイルに格納される。この画像ファイルは、例えば、下記特許文献１に記載された画像形成方法で再生される。この再生プロセスでは、メインデータとハイライトデータとに基づいてレンジ合成処理が施される。
【０００８】
このようなメインデータとハイライトデータからなる特殊画像データは、広いダイナミックレンジが得られることから上述のハイスペックモデルユーザーのニーズに合致する。そこで、上述したＣＣＤ−ＲＡＷアプリケーションで、標準的な画像データ（１画素のデータがメインデータのみからなるデータ）に加えて、特殊画像データも再生できるようにすることが検討されている。
【０００９】
【特許文献１】
特開２００１−８０９２号公報
【００１０】
【発明が解決しようとする課題】
従来のＣＣＤ−ＲＡＷアプリケーションでは、通常、ガンマ補正を行った後に、トーンカーブ補正などのユーザーの好みに応じた補正処理がなされる。また、ガンマ補正とトーンカーブ補正は、そのどちらについても補正パラメータをテーブル化したＬＵＴ（ルックアップテーブル）を使用して処理を行うのが一般的である。
【００１１】
これらガンマ補正とトーンカーブ補正は、ともに入力信号レベルに対する出力信号レベルを変換するという点で共通していることから、ガンマ補正用ＬＵＴとトーンカーブ補正ＬＵＴとを結合して、これらの処理をまとめて実行するようにすれば、処理の簡略化を実現することができる。
【００１２】
こうしたトーンカーブ補正処理とガンマ補正処理の結合処理は、標準画像データに対して実行する場合には問題はない。しかし、特殊画像データの場合には、メインデータの他に、ハイライトデータが含まれるため、標準画像データと同様のプロセスでメインデータのみに結合処理を行うと、ハイライトデータが表現する高輝度域についてトーンカーブ補正の効果を得ることができない。そこで、メインデータとハイライトデータの両方に対して結合処理を行うことも考えられるが、こうすると、ユーザーは、メインデータとハイライトデータの両方についてトーンカーブの補正パラメータを指定しなければならないので、処理条件の指定が複雑になり、ユーザーが意図した画質を得るのが難しいという問題があった。
【００１３】
本発明は、メインデータとハイライトデータのレンジ合成によって得られる完成画像に、ユーザーの意図を正確に反映することができる画像処理方法及びプログラムを提供することを目的とする。
【００１４】
【課題を解決するための手段】
前記目的を達成するために、本発明の画像処理プログラム及び方法は、各画素のデータが、主として低輝度域から中輝度域までの階調を表現するメインデータと、このメインデータで表現できない高輝度域の階調を表現するハイライトデータとの２種類のデータから構成され、これら２種類のデータに基づいてレンジ合成処理が施されることにより広いダイナミックレンジを持つ合成画像が生成可能な特殊画像データに対して、前記レンジ合成処理とともに、少なくともガンマ補正処理及びトーンカーブ補正処理を含む画像補正処理をコンピュータに実行させる場合に、前記レンジ合成処理及びガンマ補正処理を実行させた後に、前記処理条件に基づいて、トーンカーブ補正処理を実行させることを特徴とするものである。
【００１５】
さらに、各画素のデータが１種類のデータからなる標準画像データと、前記特殊画像データとを識別するデータ種を識別して、前記標準画像データに対しては、ガンマ補正処理とトーンカーブ補正処理の各補正パラメータを結合した結合ＬＵＴを使用して、ガンマ補正処理とトーンカーブ補正処理とをまとめて実行させるようにするとよい。
【００１６】
【発明の実施の形態】
図１に示すデジタルカメラ１０は、ＣＣＤ−ＲＡＷ記録モードを備えており、この記録モードで取り込まれたＣＣＤ−ＲＡＷデータは、カメラ内部で画像処理が施されずに、そのままストレージメディア１１に記録される。ストレージメディア１１としては、メモリーカードの他、マイクロドライブ（商品名）などが使用される。また、デジタルカメラ１０は、ＣＣＤイメージセンサとして、上述した特殊なＣＣＤイメージセンサ７０（図７参照）を備えており、ＣＣＤ−ＲＡＷ記録モードでは、メインデータのみからなる標準画像データと、メインデータとハイライトデータとからなる特殊画像データの両方を記録できるようになっている。これらの各画像データは、それぞれ標準画像ファイル及び特殊画像ファイルの各形式で格納される。これらの各ファイルは、それぞれを識別できるように異なる拡張子が付与される。
【００１７】
ＣＣＤ−ＲＡＷデータは、画像処理プログラムがインストールされたパーソナルコンピュータ１２に取り込まれて、各種の画像処理が実行されて再生される。パーソナルコンピュータ１２は、コンピュータ本体１３と、モニタ１４と、キーボード１６及びマウス１７などの入力装置１８からなる。
【００１８】
図２に示すように、コンピュータ本体１３には、ＣＰＵ２１，ＲＡＭ２２，ハードディスクドライブで構成されるデータストレージ２３，通信Ｉ／Ｆ２４からなる。通信Ｉ／Ｆ２４は、通信ケーブルを介してデジタルカメラ１０と接続して、カメラ本体にセットされたストレージメディア１１からコンピュータ本体１３内に画像ファイルを取り込む画像入力手段である。ＲＡＭ２２は、ＣＰＵ２１が処理を実行する際の作業用のメモリである。
【００１９】
データストレージ２３には、画像処理プログラムであるＣＣＤ−ＲＡＷアプリケーション２６がインストールされている。このＣＣＤ−ＲＡＷアプリケーション２６で生成された完成画像は、データストレージ２３に出力される。ＣＣＤ−ＲＡＷアプリケーション２６は、プログラム本体２７，標準画像用ＬＵＴ２８，特殊画像用ＬＵＴ２９，操作画面データ３０などからなる。
【００２０】
このＣＣＤ−ＲＡＷアプリケーション２６は、標準画像ファイルと特殊画像ファイルとを識別するデータ種識別と、ユーザーの指定に応じて画像処理条件を設定する処理条件設定と、設定された処理条件に従って各種の画像処理を実行する画像処理の各ステップとをＣＰＵ２１に実行させる。データ種の識別は、例えば、各ファイルの拡張子に基づいて行われる。
【００２１】
標準画像用ＬＵＴ２８及び特殊画像用ＬＵＴ２９は、ガンマ補正やトーンカーブ補正をする際の補正パラメータをテーブル形式に格納したものである。これら各ＬＵＴ２８，２９は、必要に応じてＲＡＭ２２にロードされて使用される。後述するように、ＣＣＤ−ＲＡＷアプリケーション２６は、データ種に応じて異なるプロセスで画像処理を実行する。その際、各ＬＵＴ２８，２７もデータ種に応じて使い分けられる。
【００２２】
標準画像データの画像処理プロセスでは、ガンマ補正とトーンカーブ補正とがまとめて実行されるので、標準画像用ＬＵＴ２８には、ガンマ補正とトーンカーブ補正とを結合した結合ＬＵＴ２８ａが含まれている。他方、特殊画像データのプロセスでは、ガンマ補正とトーンカーブ補正とがそれぞれ単独で実行されるので、特殊画像用ＬＵＴ２９には、ガンマ補正用のＬＵＴ２９ａと、トーンカーブ補正用のＬＵＴ２９ｂとがそれぞれ含まれている。補正パラメータとしては、予め定められた所定の既定値が設定されており、その補正パラメータが各ＬＵＴに格納されている。この既定の補正パラメータは、ユーザーの指定により調整が可能であり、各ＬＵＴは、それに応じて修正される。
【００２３】
図３に示すように、結合ＬＵＴ２８ａは、ガンマ補正用のＬＵＴ２８ｂと、トーンカーブ補正用のＬＵＴ２８ｃとを結合したものである。ガンマ補正とトーンカーブ補正は、ともに各画素の入力信号レベルに対する出力信号レベルを変換するものであるから、結合ＬＵＴ２８ａを使用することにより、変換処理が１回で済むため、処理が簡略化されて、処理時間が短縮される。
【００２４】
図４に示すように、ＣＣＤ−ＲＡＷアプリケーション２６は、モニタ１４に表示された操作画面３１を通じて各種の操作指示を受け付けるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を採用している。操作画面３１は、画像表示領域３２と調整部表示領域３３とからなる。画像表示領域３２には、選択された画像ファイルのプレビュー画像３４が表示される。ＣＣＤ−ＲＡＷアプリケーション２６は、所望の画像ファイルを選択した状態で起動され、その起動直後に、選択された画像ファイルのデータ種（標準画像か特殊画像か）の識別を行う。そして、そのデータ種に応じた処理条件（補正パラメータ）の既定値が設定されるともに、操作画面３１がモニタ１４に表示される。プレビュー画像３４には、設定された処理条件が適用されるようになっており、これにより、ユーザーによって指定される処理条件の結果が予め確認できるようになっている。
【００２５】
調整部表示領域３３には、トーンカーブ補正，ホワイトバランス補正，彩度補正，シャープネス補正，明るさ補正の各処理条件を指定するための各調整部３６，３７，３８，３９が設けられている。トーンカーブ調整部３６には、横軸と横軸に入力信号レベルと出力信号レベルを取った座標上にトーンカーブ３６ａが表示される。このトーンカーブ３６ａは、マウス１７のポインタ４１を曲線の各部に合わせてドラッグすることで、変形される。図４に示したように、トーンカーブ３６ａをＳ字カーブにすると、画像のハイライト部分（横軸方向の右側）の明るさが増す一方、シャドウ部分（横軸方向の左側）の明るさが低下する。これにより、明るい部分は十分に明るく、暗い部分は十分に暗いというように画像全体のコントラストをはっきりさせることができる。また、このトーンカーブ３６ａの形状によって、入力信号の各輝度域に対して割り当てられる出力信号の階調幅が決まるので、トーンカーブ３６ａの形状を調整することにより、各輝度域のコントラストを調節することができる。
【００２６】
その他の各調整部３７〜３９には、目盛とその目盛上を移動するスライダ３７ａ〜３９ａが設けられている。ポインタ４１を、各スライダ３７ａ〜３９ａに合わせて、それぞれを目盛方向にドラッグすることにより各補正処理の補正レベルが調整される。また、画像表示領域３２の下には、処理条件を確定する決定ボタン４３と、処理条件を既定値に戻すためのキャンセルボタン４４とが設けられている。決定ボタン４３をマウス１７でクリック操作すると、ＣＣＤ−ＲＡＷアプリケーション２６は、ユーザーによって指定された補正レベルに応じて、予め設定された処理条件の既定値を修正する。例えば、トーンカーブ３６ａの調整が行われると、トーンカーブ補正用のＬＵＴに格納された補正パラメータが変更される。
【００２７】
図５は、特殊画像データと標準画像データのそれぞれの画像処理プロセスの説明図である。図５（Ａ）に示すように、標準画像データは、ゲイン補正処理を行った後、ガンマ補正とトーンカーブ補正とをまとめて実行する結合処理が行われる。この結合処理は、前記結合ＬＵＴ２８ａに基づいて行われる。そして、この結合処理後、その他の補正処理が実行されて完成画像がデータストレージ２３に出力される。
【００２８】
他方、図５（Ｂ）に示すように、特殊画像データは、メインデータとハイライトデータに対してゲイン補正処理が行われる。ガンマ補正処理は、標準画像データと異なり、メインデータとハイライトデータのそれぞれに対して単独で行われる。このガンマ補正処理では、特殊画像用のガンマ補正ＬＵＴ２９ａが使用される。この後、メインデータとハイライトデータに基づいてレンジ合成処理がなされて、広いダイナミックレンジを持つ合成データが生成される。そして、この合成データに対して、特殊画像用のトーンカーブ補正ＬＵＴ２９ｂを使用して、トーンカーブ補正が単独でなされる。トーンカーブ補正がなされた後、その他の補正処理が実行されて完成画像がデータストレージ２３に出力される。
【００２９】
以下、上記構成による作用について、図６のフローチャートを参照しながら説明する。デジタルカメラ１０のＣＣＤ−ＲＡＷ記録モードで記録された画像ファイルを選択して起動指示が与えられると、ＣＣＤ−ＲＡＷアプリケーション２６が起動する。ＣＣＤ−ＲＡＷアプリケーション２６が起動されると、ＣＰＵ２１は、ＣＣＤ−ＲＡＷアプリケーション２６の各処理ステップを実行する。ＣＰＵ２１は、起動直後に、まず、画像ファイルの拡張子に基づいて、データ種を判定する。そして、標準画像データの場合には、標準画像用のＬＵＴ２８を選択して、標準画像用の処理条件の既定値を設定する。他方、特殊画像データの場合には、特殊画像用のＬＵＴ２９を選択して、特殊画像用の処理条件の既定値を設定する。
【００３０】
さらに、モニタ１４に操作画面３１を表示する。プレビュー画像３４は、設定された処理条件の既定値に基づいて生成される。ユーザーは、プレビュー画像３４を見ながら、マウス１７を通じて各調整部３６〜４０を操作して、所望の処理条件を指定する。この処理条件の指定に際しては、特殊画像データであっても、トーンカーブ補正はレンジ合成後に行われるので、メインデータとハイライトデータのそれぞれに対して処理条件を指定する必要がないので、処理条件の調整が複雑になることはない。ＣＰＵ２１は、処理条件が調整されると、ユーザーの指定に応じて処理条件の既定値を変更し、変更した補正パラメータに基づいてプレビュー画像３４を更新する。このように処理条件がプレビュー画像３４に反映されるので、調整がしやすい。
【００３１】
調整が終了した場合には、決定ボタン４３をマウス１７でクリックする。これにより調整した処理条件が確定する。ＣＰＵ２１は、確定した処理条件に基づいて、画像処理を実行する。標準画像データの場合には、図５（Ａ）に示した画像処理プロセスを実行し、特殊画像データの場合には、図５（Ｂ）に示した画像処理プロセスを実行する。特殊画像データは、レンジ合成後の合成データに対して、トーンカーブ補正が実行されるので、低輝度域から高輝度域の全域に渡ってトーンカーブ補正の効果が得られる。このため、ユーザーの意図が、完成画像に正確に反映される。
【００３２】
上記実施形態では、画像処理プログラムをコンピュータにインストールした形態で説明しているが、本発明の画像処理方法は、この形態に限られず、例えば、専用の画像処理装置によって実現したり、また、画像処理プログラムをデジタルカメラ本体に組み込んで、デジタルカメラで実現するなど、種々の形態に適用可能である。
【００３３】
【発明の効果】
以上詳細に説明したように、本発明は、各画素のデータが、主として低輝度域から中輝度域までの階調を表現するメインデータと、このメインデータで表現できない高輝度域の階調を表現するハイライトデータとの２種類のデータから構成され、これら２種類のデータに基づいてレンジ合成処理が施されることにより広いダイナミックレンジを持つ合成画像が生成可能な特殊画像データに対して、前記レンジ合成処理とともに、少なくともガンマ補正処理及びトーンカーブ補正処理を含む画像補正処理を実行する場合に、前記レンジ合成処理及びガンマ補正処理を実行させた後に、前記処理条件に基づいて、トーンカーブ補正処理を実行するようにしたから、ユーザーの意図を正確に反映した完成画像を得ることができる。
【００３４】
また、各画素のデータが１種類のデータからなる標準画像データと、前記特殊画像データとを識別するデータ種を識別して、前記標準画像データに対しては、ガンマ補正処理とトーンカーブ補正処理の各補正パラメータを結合した結合ＬＵＴを使用して、ガンマ補正処理とトーンカーブ補正処理とをまとめて実行するようにしたので、処理の簡略化にも寄与する。
【図面の簡単な説明】
【図１】ＣＣＤ−ＲＡＷデータの再生方法の説明図である。
【図２】ＣＣＤ−ＲＡＷアプリケーションとそれがインストールされたパーソナルコンピュータの構成図である。
【図３】結合ＬＵＴの説明図である。
【図４】ＣＣＤ−ＲＡＷアプリケーションの操作画面の説明図である。
【図５】標準画像データと特殊画像データの画像処理プロセスの説明図である。
【図６】ＣＣＤ−ＲＡＷアプリケーションを使用してＣＣＤ−ＲＡＷデータから完成画像を生成する手順を示すフローチャートである。
【図７】広いダイナミックレンジを持つ画像を生成可能なＣＣＤイメージセンサの説明図である。
【符号の説明】
１０ デジタルカメラ
１１ ストレージメディア
１２ パーソナルコンピュータ
２６ ＣＣＤ−ＲＡＷアプリケーション
２８ 標準画像用ＬＵＴ
２９ 特殊画像用ＬＵＴ
３１ 操作画面

Claims (4)

1. 各画素のデータが、主として低輝度域から中輝度域までの階調を表現するメインデータと、このメインデータで表現できない高輝度域の階調を表現するハイライトデータとの２種類のデータから構成され、これら２種類のデータに基づいてレンジ合成処理が施されることにより広いダイナミックレンジを持つ合成画像が生成可能な特殊画像データに対して、前記レンジ合成処理とともに、少なくともガンマ補正処理及びトーンカーブ補正処理を含む画像補正処理をコンピュータに実行させる画像処理プログラムであって、
   ユーザーの指定に応じて既定の処理条件を変更するステップを含んでおり、
   前記レンジ合成処理及びガンマ補正処理を実行させた後に、前記処理条件に基づいて、トーンカーブ補正処理を実行させることを特徴とする画像処理プログラム。
2. 各画素のデータが１種類のデータからなる標準画像データと、前記特殊画像データとを識別するデータ種識別ステップを含んでおり、前記標準画像データに対しては、ガンマ補正処理とトーンカーブ補正処理の各補正パラメータを結合した結合ＬＵＴを使用して、ガンマ補正処理とトーンカーブ補正処理とをまとめて実行させることを特徴とする請求項１記載の画像処理プログラム。
3. 各画素のデータが、主として低輝度域から中輝度域までの階調を表現するメインデータと、このメインデータで表現できない高輝度域の階調を表現するハイライトデータとの２種類のデータから構成され、これら２種類のデータに基づいてレンジ合成処理が施されることにより広いダイナミックレンジを持つ合成画像が生成可能な特殊画像データに対して、前記レンジ合成処理とともに、少なくともガンマ補正処理及びトーンカーブ補正処理を含む画像補正処理を施す画像処理方法において、
   前記ガンマ補正処理及びレンジ合成処理を実行した後に、ユーザーの指定に応じて変更された処理条件に基づいて、トーンカーブ補正処理を実行することを特徴とする画像処理方法。
4. 各画素のデータが１種類のデータからなる標準画像データと、前記特殊画像データとを識別して、前記標準画像データに対しては、ガンマ補正処理とトーンカーブ補正処理の各補正パラメータを結合した結合ＬＵＴを使用して、ガンマ補正処理とトーンカーブ補正処理とをまとめて実行することを特徴とする請求項３記載の画像処理方法。

Images