JP3667181B2

JP3667181B2 - Image processing method and image processing apparatus

Info

Publication number: JP3667181B2
Application number: JP37553899A
Authority: JP
Inventors: 良介井口; 学山添; 興宜土屋; 勇治秋山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-12-28
Filing date: 1999-12-28
Publication date: 2005-07-06
Anticipated expiration: 2019-12-28
Also published as: JP2001189862A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理方法および画像処理装置に関し、例えば、デジタル写真画像などのような画像データに対して輝度補正処理を行うための画像処理方法および画像処理装置に関するものである。
【０００２】
【従来の技術】
近年、ハードコピー技術、特にフルカラーのハードコピー技術が急速に発展しつつある。特に、インクジェット方式による印刷技術は、インクドットによる粒状感の低減などにより、その印刷画質が銀塩写真と同等のものとなりつつあり、また、その比較的簡易な印刷方式によって広く普及しているものである。このような点から、インクジェット方式によるプリンタと高画素のデジタルカメラとを用い、撮像画像またはそれを加工した画像の忠実な再現も可能となってきている。
【０００３】
このような撮像画像を印刷するシステムでは、基本的に印刷デバイスであるプリンタなどによって実現できる濃度範囲が、デジタルカメラ等のそれとは異なるという問題がある。例えば、インクジェット方式のプリンタの場合、撮像された画像の濃度に対して高濃度部において実現可能な濃度が比較的低いという問題がある。これは、デジタルカメラを用いる場合に限らず、スキャナなどの光学的な画像読取りデバイスを用いたシステムやＣＲＴ等のディスプレーの画像を印刷するシステムでも同様である。そして、以上のような本質的な問題によって、撮像等した画像を印刷すると、実際の色に比べて明るすぎたりまたは暗すぎるといった場合がある。
【０００４】
このため、本出願人は、画像処理における特に輝度補正処理によってこれに対処する方法を提案している。すなわち、基本的に画像全体において高濃度部領域の割合が多くなるよう画像データにおける輝度を補正し、これにより、印刷画像の全体的な濃度を増して印刷デバイスの実現可能な最高濃度が比較的低いという点を補う提案である。そして、この際、上記輝度の補正で明るく補正する程度(以下、これを「γ値」ともいう。明るく補正するほどγ値は大きい)を判断するため、画像データにおける各輝度の度数を示すヒストグラムを解析し、そのヒストグラムにおける所定の最高輝度や最低輝度に基づいて高輝度領域や低輝度領域の分布を知り、これに応じて補正の程度(補正条件)を定めている。
【０００５】
【発明が解決しようとする課題】
しかしながら、上述したγ値を定める輝度補正処理では、ヒストグラムの最高輝度、最低輝度等のみに基づいて、印刷すべき画像データにおける輝度分布を判断するものであるため、正確な輝度分布を把握できない場合がある。例えば、低輝度領域が比較的少ない(明るい画像)にも拘わらず、比較的高い輝度周辺に分布のピークがあることによってその上記所定の最低輝度自体は比較高い値を示すような輝度分布では、比較的明るい画像と判断してγ値を小さな値としてしまい、その結果、印刷画像における高濃度部画像のつぶれ等を生じることがある。
【０００６】
特に、仮に適切なγ値を得ることができたとしても、そのγ値で全ての輝度領域で一体に補正を行う場合には、高輝度領域や中間領域の補正による印刷画像は鮮やかな色を実現できるが、特に低輝度領域の補正による印刷画像の高濃度部の階調が適切に表現されず、色のいわゆる潰れを生じることがある。
【０００７】
本発明は上述したこのような点をさらに改善するためになされたものであり、その目的とするところは、画像におけるより詳細な明るさの判定パラメータに基づいてその画像の明るさを判定し、それぞれの画像に最適な補正の程度を求めるとともに、特に印刷画像における高濃度部の階調を維持しつつその濃度の増大を図ることにより、画像データが示す画像のより忠実な再現を行うことができる画像処理方法および画像処理装置を提供することにある。
【０００９】
【課題を解決するための手段】
そのために本発明では、画像データの輝度を補正するための画像処理方法であって、前記画像データが示す画像の輝度のヒストグラムにおいて、輝度の最大値から低輝度側へ累積した度数が所定の度数となる輝度の値であるハイライトポイントを求めて該ハイライトポイントと所定の閾値とを比較し、当該ハイライトポイントが前記閾値より大きいとき当該閾値より小さいときよりも明るい画像と判別する、前記画像の明るさの度合いの判別を行い、前記ヒストグラムにおいて、該ヒストグラム作成の対象となった画素数に対する第１の低輝度領域の累積度数の割合を求め、前記判別した画像の明るさの度合いが明るいほど、同じ前記累積度数の割合に対して画像をより暗くするように補正の程度を決定し、さらに、前記ヒストグラム作成の対象となった画素数に対する、第１の低輝度領域とは異なる第２の低輝度領域の累積度数の割合を求め、前記決定した補正の程度の画像を暗くする程度が一定以上の場合において、前記第２の低輝度領域の累積度数の割合が所定値以上のときは、当該第２の低輝度領域の前記補正の程度を、当該輝度データが示す階調を維持するような補正の程度に変更し、該変更されまたは変更されない前記第２の低輝度領域の補正の程度を含む前記補正の程度に応じて前記画像データの輝度を補正する、ステップを有することを特徴とする。
【００１１】
また、画像データの輝度を補正するための画像処理装置であって、前記画像データが示す画像の輝度のヒストグラムにおいて、輝度の最大値から低輝度側へ累積した度数が所定の度数となる輝度の値であるハイライトポイントを求めて該ハイライトポイントと所定の閾値とを比較し、当該ハイライトポイントが前記閾値より大きいとき当該閾値より小さいときよりも明るい画像と判別する、前記画像の明るさの度合いの判別を行う判別手段と、前記ヒストグラムにおいて、該ヒストグラム作成の対象となった画素数に対する第１の低輝度領域の累積度数の割合を求める第１取得手段と、前記判別した画像の明るさの度合いが明るいほど、同じ前記累積度数の割合に対して画像をより暗くするように補正の程度を決定する決定手段と、さらに、前記ヒストグラム作成の対象となった画素数に対する、第１の低輝度領域とは異なる第２の低輝度領域の累積度数の割合を求める第２取得手段と、前記決定した補正の程度の画像を暗くする程度が一定以上の場合において、前記第２の低輝度領域の累積度数の割合が所定値以上のときは、当該第２の低輝度領域の前記補正の程度を、当該輝度データが示す階調を維持するような補正の程度に変更し、該変更されまたは変更されない前記第２の低輝度領域の補正の程度を含む前記補正の程度に応じて前記画像データの輝度を補正する補正手段と、を具えたことを特徴とする。
【００１２】
以上の構成によれば、上記判別した画像の明るさの度合いが明るいほど、同じ上記第１の低輝度領域の累積度数の割合に対して画像をより暗くするように補正の程度を決定し、さらに、上記決定した補正の程度の画像を暗くする程度が一定以上の場合において、上記第２の低輝度領域の累積度数の割合が所定値以上のときは、当該第２の低輝度領域の上記補正の程度を、当該輝度データが示す階調を維持するような補正の程度に変更し、該変更されまたは変更されない上記第２の低輝度領域の補正の程度を含む前記補正の程度に応じて前記画像データの輝度を補正するので、判別された画像の明暗に応じて、補正対象である画像の低輝度領域の分布に関連させて補正の程度を異ならせることができる。例えば、暗い画像と判別された場合は、同じ低輝度領域の分布(低輝度領域の割合)でも明るい画像と判断される場合より、暗くする程度をより低くすることができ、これにより、全体的に暗い画像で、例えば低輝度領域の分布が比較的少ない画像については全体的に低濃度で印刷することが可能となり、印刷画像における高濃度部のいわゆる潰れを防止できる。一方、明るい画像と判断される場合は、逆に、暗くする程度をより高くすることができ、これにより、プリンタ等の印刷デバイスが本来的に有している比較的低濃度の出力特性を補った印刷を行うことができる。
この作用効果に加え、上記補正の程度が決定され、さらに、第２の低輝度領域の累積度数の割合が、例えば少ないと判定されたとすると、印刷画像全体の濃度を上げようとしても濃く潰れる面積の割合が小さいと判断して、上記決定された補正の程度をそのまま用い、一方、上記第２の低輝度領域の累積度数の割合が比較的多い場合は、印刷画像全体の濃度を上げようとすると、濃く潰れる高濃度部の面積の割合は大きいと判断し、第２の低輝度領域の階調は維持するよう補正の程度を変更することが可能となる。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００１４】
＜第１の実施形態＞
図１は、本発明の一実施形態にかかる印刷システムの概略構成を示すブロック図である。本システムは、概略、ホストコンピュータ１００、プリンタ１０６およびモニタ１０５を有して構成されるものである。すなわち、ホストコンピュータ１００には、例えばインクジェット方式のプリンタ１０６とモニタ１０５が双方向通信可能に接続されている。
【００１５】
ホストコンピュータ１００は、ＯＳ（オペレーティングシステム）１０２を有し、また、このＯＳ１００による管理下においてそれぞれの処理を行う、ワードプロセッサ、表計算、画像処理、インターネットブラウザ等のアプリケーション１０１、このアプリケーションによって発行され、出力画像を示す各種描画命令群（イメージ描画命令、テキスト描画命令、グラフィックス描画命令）を処理して印刷データを作成するプリンタドライバ１０３、および同様にアプリケーション１０１が発行する各種描画命令群を処理してモニタ１０６に表示を行うモニタドライバ１０４を同様のソフトウエアとして有している。
【００１６】
また、ホストコンピュータ１００は、上述のソフトウエアによって動作可能な各種ハードウエアとして中央演算処理装置ＣＰＵ１０８、ハードディスクドライバＨＤ１０７、ランダムアクセスメモリ(ＲＡＭ)１０９、リードオンリーメモリ(ＲＯＭ)１１０等を備える。すなわち、ＣＰＵ１０８は、上述のソフトウエアに従った処理にかかる信号処理を実行し、ハードディスクドライバ１０７によって駆動されるハードディスクやＲＯＭ１１０には、それらの各種ソフトウエアが予め格納されており、必要に応じて読み出されて用いられる。また、ＲＡＭ１０９は、上記ＣＰＵ１０８による信号処理実行のワークエリア等として用いられる。
【００１７】
図１に示される実施形態として、例えば、一般的に普及しているＩＢＭ社のＡＴ互換機のパーソナルコンピュータにMicrosoft社のWindows98をＯＳとして使用し、任意の印刷処理が可能なアプリケーションをインストールし、モニタとプリンタを接続したものを挙げることができる。
【００１８】
以上の構成を有したプリントシステムにおいて、ユーザーは、アプリケーション１０１によってモニタ１０５に表示された表示画像に基づき、同様にアプリケーションによる処理を介して文字などのテキストに分類されるテキストデータ、図形などのグラフィックスに分類されるグラフィックスデータ、自然画などに分類されるイメージ画像データなどからなる画像データを作成することができる。
【００１９】
そして、この作成した画像データの印刷出力がユーザーによって指示されると、アプリケーション１０１はＯＳ１０２に印刷出力要求を行うとともに、グラフィックスデータ部分をグラフィックス描画命令、イメージ画像データ部分をイメージ描画命令として構成した、出力画像を示す描画命令群をＯＳ１０２に発行する。これに対し、ＯＳ１０２はアプリケーションの印刷出力要求を受け、その印刷を行うプリンタに対応したプリンタドライバ１０３に描画命令群を発行する。
【００２０】
プリンタドライバ１０３は、ＯＳ１０２から入力した印刷要求と描画命令群を処理しプリンタ１０５で印刷可能な形態の印刷データを作成してプリンタ１０５に転送する。この場合に、プリンタ１０５がラスタープリンタである場合は、プリンタドライバ１０３はＯＳ１０２からの描画命令に対して、順次画像補正処理を行い、そして順次ＲＧＢ２４ビットページメモリにラスタライズし、すべての描画命令をラスタライズした後にＲＧＢ２４ビットページメモリの内容をプリンタ１０５が印刷可能なデータ形式、例えばＣＭＹＫデータに変換を行いプリンタに転送する。
【００２１】
図２は、プリンタドライバ１０３で行われる処理を示す図である。プリンタドライバ１０３の処理は、大別して、画像補正処理とプリンタ用補正処理からなる。
【００２２】
画像補正処理１２０は、ＯＳ１０２から入力した描画命令群に含まれる輝度信号Ｒ、Ｇ、Ｂからなる色情報に対して、画像補正処理を行う。詳しくは、レッド(Ｒ)、グリーン(Ｇ)、ブルー(Ｂ)の色情報を基に、後述の自動階調補正処理を行う。一方、プリンタ用補正処理部１２１は、まず画像補正処理１２０によって補正された色情報の描画命令をラスタライズし、Ｒ、Ｇ、Ｂ２４ビットのページメモリにラスター画像を生成する。そして、所定の画素毎に印刷を行うプリンタの色再現性に依存したシアン(Ｃ)、マゼンタ(Ｍ)、イエロー(Ｙ)、ブラック(Ｋ)データを生成し、プリンタ１０５に転送する。
【００２３】
次に、画像補正処理１２０の処理である自動階調補正処理について説明する。自動階調補正処理は、イメージ描画命令で示される画像データのうち、イメージ画像に対して行う。従って、例えば画像データの中にグラフィックス画像やイメージ画像が含まれている場合は、その画像データからイメージ画像部分を抽出し、これに対して自動階調補正処理を行う。
【００２４】
図３は、この自動階調補正における主に各信号の変換を概念的に示す図であり、また、図４はその処理手順を示すフローチャートである。本実施形態の自動階調補正は、画像データにおける各輝度値の度数を集計したヒストグラムを用い印刷すべき画像の明るさに関する判定を行い、適切な補正の程度(γ値)を定めることによって行うものである。以下、図４に示すフローチャートを主に参照してこの処理を説明する。
【００２５】
(ヒストグラム集計)
図４に示すように、最初にステップＳ１のヒストグラム集計処理において、まず、入力されたＲＧＢの画像信号を、画像の明るさに関する成分である輝度Ｙと色味に関する成分である色差信号Ｃｒ、Ｃｂに変換する(図３のＢ１)。その変換式は以下のように表されるものである。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
Ｃｒ＝Ｒ−Ｙ
Ｃｂ＝Ｂ−Ｙ
次に、変換された各信号Ｙ、Ｃｒ、Ｃｂの内、輝度に相当する信号Ｙについて、画像データにおける各画素毎の輝度値(信号Ｙの値)を調べ、０〜２５５で示されるそれぞれの輝度値毎にその輝度を有する画素の度数を集計し、輝度のヒストグラム（度数分布）を作成する。
このように作成されたヒストグラムは、例えば、画像データが全体的に明るい画像を示すときは図５に示すように高輝度側に分布が偏り、一方、全体的に暗めの画像を示すときは図６に示すように低輝度側に分布が偏ったものとなる。
なお、上述の輝度ヒストグラムの作成は、画像全体における輝度の度数分布を調べるのが目的としてなされることから、度数の集計は必ずしも全画素について行う必要はなく、例えば１６００(画素)×１２００(画素)の画像データに対しては、横に１５(画素)ずつ、縦に１１(画素)ずつ間引いた画素について集計を行ってもよいし、あるいはそれらの画素それぞれについて周囲画素との平均値を用いてもよい。
【００２６】
(階調曲線判定)
次に、ステップＳ２では、上述のようにして求めたヒストグラムに基づき階調曲線判定処理を行う。すなわち、輝度補正におけるγ値に対応した補正曲線である階調曲線をどのようなものとするかについて判定する。本実施形態の階調曲線判定は、以下に述べる２つのパラメータ、すなわち、ハイライトポイントおよびγパラメータ(低輝度領域の画素数)によって処理される画像の明るさを判定し、これに基づいてγ値、すなわち、それに対応する階調曲線を定める。
【００２７】
図７は、このγ判定処理の詳細を示すフローチャートであり、これを参照して本実施形態のγ判定処理を説明する。
【００２８】
▲１▼ハイライトポイント判定部
ステップＳ２１のハイライトポイント判定処理では、上記ヒストグラムから処理対象である画像におけるハイライトポイントを算出する(ステップＳ２１１)。
【００２９】
本実施形態では、輝度信号Ｙの上記ヒストグラムにおいて輝度範囲の最高輝度値（輝度値２５５）から、順に低輝度側に向かいながら各輝度値の度数を累積し、ここで求めた累積度数が、例えば、処理対象である画像データの全画素数の１．０％と一致した輝度値、または最初に全画素数の１．０％を越えた輝度値を求め、この点をハイライトポイント(以下、「ＨＬＰ」ともいう)とする。
【００３０】
次に、このようにして求めたＨＬＰと輝度値について予め定めた閾値Ｔｈを用いてこれらの大きさを比較し、ＨＬＰ＞Ｔｈとき、画像は明るい画像、ＨＬＰ≦Ｔｈときは、画像は暗い画像と判定する(ステップＳ２１２)。すなわち、この処理によって明暗について２種の画像に判別する。なお、本実施形態で用いる閾値Ｔｈは、比較的高輝度の値を用い、例えば２２０等を用いる。
【００３１】
例えば、図５に示す明るめの画像のヒストグラムでは、ＨＬＰが閾値Ｔｈを越えて（ＨＬＰ＞Ｔｈ）おり、従って、明るい画像と判定される。この場合、前述したようにヒストグラムは全体的に高輝度側に分布が偏っており、結果的にＨＬＰも高輝度側に位置している。
一方、図６に示す暗めの画像のヒストグラムでは、ＨＬＰが閾値Ｔｈよりも低く（ＨＬＰ≦Ｔｈ）、暗い画像と判定される。この場合、全体的に低輝度側に輝度分布が偏っており、ＨＬＰも低輝度側に位置することから、このような判定が行われる。
【００３２】
以上のように処理対象画像のヒストグラムからハイライトポイントを求め、これに基づいて画像の全体的な明暗を判別することにより、図８にて後述されるように、判別された明暗に応じて、補正対象である画像の低輝度領域の分布に関連させて補正の程度、すなわち、γ値を異ならせることができる。例えば、暗い画像と判別された場合は、同じ低輝度領域の分布(低輝度領域の割合)でも明るい画像と判断される場合より、小さなγ値で補正する(濃度を高くする；暗くする)確率をより低くすることができ、これにより、全体的に暗い画像で、例えば低輝度領域の分布が比較的少ない画像については全体的に低濃度で印刷することが可能となり、印刷画像における高濃度部のいわゆる潰れを防止できる。一方、明るい画像と判断される場合は、逆に、小さなγ値で補正する(濃度を高くする；暗くする)確率をより高くすることができ、これにより、プリンタ等の印刷デバイスが本来的に有している比較的低濃度の出力特性を補った印刷を行うことができる。
【００３３】
なお、ＨＬＰの算出は、必ずしも上述した方法によって求める必要はなく、従来知られている方式を適宜用いてもよい。
【００３４】
また、他の画像補正処理、例えば前述したいわゆる色かぶり補正、コントラスト補正、彩度補正と組み合わせて本実施形態の自動階調補正処理を行う場合には、この画像処理で予め用いたＨＬＰを使用することもできる。なお、この場合、ハイライトポイントを用いる代わりに、上記色かぶり補正等で同様に用いられるシャドーポイントを用いて画像の明るさ(暗さを)判別することができ、これに基づいて以下の処理を行うことができることは、以下の説明からも自明なことである。
【００３５】
▲２▼低輝度領域(シャドー領域)の画素数判定（γパラメータ判定）
次に、ステップＳ２２において、ハイライトポイント判定によって明暗２種に大別された画像について、同様にステップＳ１で求めたヒストグラムを用いて低輝度領域分布の判定を行う。
【００３６】
この低輝度領域の画素数判定処理では、まず、ステップＳ２２１で処理対象画像の全画素数に対する所定の低輝度領域の累積度数の割合であるS_lowを求める。これは、低輝度領域の分布をより詳細に求めることにより、補正の程度、すなわちγ値について適切なものを求め、特に、印刷画像の低濃度部におけるいわゆる潰れを生じさせることなく全体的な濃度の増大を図ることを可能とするものである。
【００３７】
最初に、前処理として、低輝度領域での累積度数Ｓを求める。この低輝度領域での累積度数Ｓは、ヒストグラムにおいて輝度範囲の最低輝度値（輝度値０）から高輝度側に向かって所定の輝度値までの累積度数として求められるものである。本実施形態では、最大輝度値（輝度値２５５）の１／４となる輝度値（輝度値６４）までの累積度数を低輝度領域の累積度数Ｓとして求める。
【００３８】
次に、上述のように求めた低輝度領域の累積度数Ｓが、全画素数に占める割合S_lowを算出する。
【００３９】
すなわち、ここで、S_low＝（低輝度領域の累積度数Ｓ）／（全画素数）(％)である。
【００４０】
なお、前述のヒストグラム集計の際に、画素を間引いて、間引きヒストグラムを作成した場合には、上記S_lowの定義式での分母は、ヒストグラム作成の対象となった画素数である。
【００４１】
次に、ステップＳ２２２において上記で求めたS_lowを用いてγ値(γパラメータ)の判定を行う。
【００４２】
この判定は、具体的には、図８に示すテーブルのS_lowが属する範囲を決定する処理である。すなわち、このS_lowの範囲は、上述のＨＬＰ判定に応じた画像の明暗により範囲を異ならせるものであり、明るい画像と判定されたものについて、S_low＝０〜３０、S_low＝３１〜６０、S_lowが６１以上の３種の範囲に分類される。一方、ＨＬＰ判定で、暗い画像と判定されたものについては、 S_low＝０〜１５、S_low＝１６〜３０、S_lowが３１以上の３種の範囲に分類される。
【００４３】
例えば、図５に示す明るめの画像の場合、斜線で示した領域の全画素数に対する割合がS_lowとなる。この例では、S_lowは全画素数の１０％となり、従って、上記ＨＬＰ判定で明るい画像と判断されるとともに、S_lowは、０〜３０の範囲と判定される。一方、図６に示す暗めの画像の例では、斜線で示した領域S_lowは、全画素数の４０％となり、したがって、上記ＨＬＰ判定で暗い画像と判断されるとともに、S_lowは３１以上の範囲と判定される。
【００４４】
ここで、仮に、上述のように累積度数の割合を用いず、前述のシャドウポイント（ヒストグラムにおける最小輝度値から順番に高輝度側に向かいながらそれぞれの度数を累積し、例えば全画素数の１．０％と一致または最初に越えた値となった輝度値）のみを用いて低輝度部の分布を判定する方法を用いた場合には、低輝度領域の実際の分布状態が適切に反映されない、画像の明るさについての判定を行うこととなる。例えば、シャドウポイント自体は比較的高めの輝度値を示しつつも、実際には、シャドウポイント周辺の輝度値に度数分布のピークがあって低輝度領域の度数分布自体は少ない画像の場合、明るめの画像であると誤った判定をして小さなγ値(濃度を高くする輝度補正)が選択され、結果として画像上の比較的大きな部分を占める暗い部分が潰れてしまうことがある。
【００４５】
これに対し、上述の実施形態のように、低輝度領域における累積度数を求め、この累積度数の全画素数に占める割合S_lowを用いることにより、より実際の低輝度分布が反映された画像の明暗を判定を行うことができ、上述のような、暗めの画像についても適切な階調補正を行うことができる。
【００４６】
なお、上記実施形態では、S_lowの範囲について輝度値０〜６０の範囲を均等に区分したが、より詳しく低輝度領域の情報を求める場合は、低輝度領域をいくつかに分割してそれぞれに対して場合分けを行ってもよいし、また、S_lowが０〜３０までは２倍、３１〜６０までは１倍して足し合わせるといった重み付けをしてもよい。
【００４７】
▲３▼補正γ値決定
以上の低輝度領域の画素数判定処理により、低輝度領域の割合S_lowが属する範囲が決定されることにより、処理対象画像は、図８に示されるように、明３種、暗３種の計６種に分類されることになる。そして、次のステップＳ２３では、図８に示すテーブルを用いてγ値を決定する。
【００４８】
本実施形態のγ値は、図９に示す階調曲線(補正テーブル)から明らかなように、０．８、１．０または１．２が設定される。なお、このγ値は、前述したようにより明るく(印刷画像において、より濃度が低く)補正する程度を表すものであり、個々の入力輝度値に対する補正の割合を示すものではない。個々の入力値に対する補正の割合は、同図のそれぞれのテーブルを表す曲線で表されるものである。
【００４９】
上記６種に分類された画像に関するγ値の決定は、図８に示すテーブルを用い、例えば上記ＨＬＰ判定が明るい画像の判定の場合、S_low＝０〜３０のときはγ＝０．８、S_low＝３１〜６０のときはγ＝１．０（つまり補正せず）、S_lowが６１以上のときはγ＝１．２といったように設定される。具体的には、後述のようにそれぞれのγ値に応じた補正用ルックアップテーブル(ＬＵＴ)が用意される。
【００５０】
図５に示す明るめの画像の場合、ＨＬＰは閾値Ｔｈより大きく且つS_lowは１０％であるので、図８に示すテーブルより、この画像は明るい画像と判定され、γ値は０．８に設定される。このγ値決定により、比較的高い輝度領域まで暗くする(印刷濃度を高くする)補正がなされ、全体的に最適な濃度の印刷画像となる。また、低輝度領域の画素に割合が少ないことから、画像の潰れる部分が少なくて済む。
【００５１】
一方、図６に示す暗めの画像では、ＨＬＰがＴｈより小さく且つS_lowが４０％であるため、図８に示すテーブルによって、γ値は１．２に設定される。このγ値設定により、印刷される画像全体が明るくなり、特に画像の４０％を占める低輝度部分が明るくなり、濃度のバランスがとれた印刷画像となる。
【００５２】
なお、上記の説明では、▲１▼ハイライトポイント判定において、画像の明るさの判定を２段階で行ったが、より最適なγ値を求めるために、明るい画像、中間画像、暗い画像といった３段階以上に場合分けしてより詳細な判定を行ってもよい。その場合、▲２▼低輝度領域の画素数判定は図８に示したS_lowの閾値に加え、中間画像の場合、例えばS_low＝０〜２０でγ＝０．８、S_low＝２１〜４０でγ＝１．０、S_lowが４１以上でγ＝１．２とすることができる。
▲４▼低輝度領域(シャドー領域)の階調維持判定
次に、図７に示すステップS２４において、低輝度領域の階調維持判定を行う。これは、上述のようにして決定したγ値によって補正した場合、その補正による印刷画像において高濃度部分がどの程度濃く潰れる部分があるかを判定し、それに応じて、γ補正処理を行って印刷画像を色濃くする際に、その高濃度領域の階調を維持すべきかを判定する処理である。
【００５３】
まず、前述のように求めたヒストグラムにおける輝度範囲の下端の輝度値（輝度値０）から高輝度側に向かい、所定の点（輝度値Ｘ）までの度数を累積する。このXは、例えば最大輝度値（輝度値２５５）の１／８となる点（輝度値３２）とすることができる。このXまでの輝度範囲は、以下で示す階調曲線決定処理において階調曲線が修正される可能性のある範囲である。換言すれば、この範囲の階調を調整することにより、印刷画像における高濃度部の階調を維持しつつ色の潰れを防いで全体として階調の良好な画像を得ることができる範囲である。これは、経験上または実験的に求めることができる。
【００５４】
このように求めたＸまでの累積度数を、上述の
【外１】

の画素数判定処理で求めた累積度数と同様にＳ’とする。次に、累積度数Ｓ’が全画素数の何％に当たるかを算出する。この低輝度領域における累積度数の全画素数に対する割合をS_low’とする。すなわち、S_lowと同様、S_low’＝（低輝度領域の累積度数Ｓ’）／（全画素数）(％)である。
【００５５】
例えば図５に示す画像の場合、濃い斜線で示した領域がS_low’で示される割合を有する領域となり、ここでは５％である。この例のようにS_low’が小さい場合は、小さなγ値の階調曲線が設定されて印刷画像を色濃くする補正がなされたとしても色が潰れる領域も少ないことがこの図からもわかる。一方、図６に示す例ではS_low’は２０％である。この例は、S_low’が比較的大きな値であり、この場合、小さなγ値の階調曲線が設定されると中間輝度領域から高輝度領域にかけては鮮やかな色となるが、この領域の２０％を占める低輝度領域を補正して得られる印刷画像の高濃度領域は暗く潰れることになる。
【００５６】
図９において、例えば、処理対象画像について、上述の▲３▼補正γ値決定でγ＝０．８とされ、次に、上記▲４▼低輝度領域の階調維持判定処理でS_low’の値が、例えばS_low’＝０〜５と判定されたとすると、印刷画像全体の濃度を上げようとしても濃く潰れる面積の割合が小さいと判断して、単純に得られたγ値をそのまま用いた前述の式で示される階調曲線を適用する。一方、γ値が０．８で、S_low’が６以上の場合、印刷画像全体の濃度を上げようとすると、濃く潰れる高濃度部の面積の割合は大きいと判断し、輝度値０〜Ｘまでの画素の階調は維持し（つまり、γを１として補正をせず）、輝度値Ｘ＋１以上から最大輝度値（輝度値２５５）までの範囲は、前述の式と同様の式で表される階調曲線(図９におけるS_low’＝２０で表せられる曲線)による補正を行う。詳しくは、同図に示す例では、０≦Ｙ≦３０の範囲で、Ｙ′＝Ｙ、３１≦Ｙ≦２５５の範囲で、Ｙ′＝２２４×{〔（Ｙ−３１）／２２４〕^1/ ^γ}＋３１である。
【００５７】
以上の説明はγ値が０．８の場合に関するものであるが、階調曲線を変更するか否かについて上記S_low’の値で判別するための閾値(上例のように、γが０．８のときは、６)は、γ値毎に、異ならせることができる。但し、γ値が１以上の場合は、印刷画像を濃くする補正とはならないため、本実施形態では階調曲線の変更は行われない。
【００５８】
なお、上記の実施形態では、輝度値Ｘを処理対象である画像に関係なく一定のものとしたが、ヒストグラムによってＸの値を異ならせてもよい。また、図９に示す例で、輝度値０〜Ｘの領域では、補正を行わない(γ値が１)ものとしたが、S_lowの値が例えば６〜１９％の場合は、輝度値０〜Ｘ間の階調曲線の直線の傾きを１／２にするなど、低輝度領域の階調を多少潰して輝度値Ｘ以上の領域の階調を広げてもよい。
【００５９】
また、上述の例では、図９に示すように輝度値Ｘにおいて、低輝度領域の直線と中間輝度および高輝度領域のγ曲線とを単純に繋ぎ合わせたが、この直線と曲線をスムースにつなぎ合わせて階調をより連続的に表現することもできることは勿論である。
【００６０】
(ＬＵＴ作成)
以上説明した階調曲線判定処理(図４のステップＳ２)を終了すると、図４に示すステップＳ３でＬＵＴ作成を行う。すなわち、階調曲線判定処理で得られたγ値が示す階調曲線に基づいて輝度補正のためのルックアップテーブル（ＬＵＴ）を作成する。
【００６１】
本実施形態のＬＵＴは、上述のようにして得られたγ値の逆数を各入力輝度信号の最大輝度に対する比に累乗したものに最大輝度値を乗じて得られるものを出力輝度信号とする補正を行うものであり、輝度範囲の全ての値（輝度値０〜２５５）に対応して、上記γ値を用いた補正関係で得られる全ての輝度値を記したものである。
すなわち、ＬＵＴＬ［Ｙ］は、入力輝度信号をＹ、出力輝度信号をＹ‘とすると、Ｙ’＝２５５×［（Ｙ／２５５）^1/ ^γ］なる式によって表される変換を行い、動的に作成されるものである。すなわち、対象画像の処理ごとに作成される。このように補正テーブルを動的に作成することにより、必要となるメモリ量を削減することができる。
【００６２】
なお、上記ＬＵＴは、動的に作成する代わりに上記γ値毎に、予めメモリ上に静的に用意してもよいことは勿論である。
(補正)
次に、図４に示すステップＳ４において、輝度信号Ｙの補正を行う。すなわち、上記のように作成したＬＵＴＬ［Ｙ］によって、入力画像の輝度値ＹをＹ’＝Ｌ［Ｙ］として変換し、輝度補正を行う（図３に示すＢ２の処理）。
【００６３】
さらに、輝度補正された輝度信号Ｙ’および入力画像の色差信号Ｃｒ、ＣｂをＲ、Ｇ、Ｂの各信号に戻し(図３に示すＢ３の処理)、補正された画像信号Ｒ’Ｇ’Ｂ’を作成する。
【００６４】
なお、上述の実施形態では、輝度値Ｙに関する補正について説明したが、Ｒ、Ｇ、Ｂの各信号に対して直接同様の補正を行っても良い。この際、上述のＬＵＴを用い、そのＬＵＴにおいてＹの代わりにＲ、Ｇ、Ｂ、Ｙ′の代わりにＲ′、Ｇ′、Ｂ′を用いて補正を行うことができる。
【００６５】
このようなＲ、Ｇ、Ｂ信号に対する補正は、ＲＧＢ―ＹＣｒＣｂ変換が不要であるため、処理速度の向上を図ることができる。
【００６６】
＜他の実施形態＞
本発明は上述のように、複数の機器（たとえばホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても一つの機器（たとえば複写機、ファクシミリ装置）からなる装置に適用してもよい。
【００６７】
また、前述した実施形態の機能を実現するように各種のデバイスを動作させるように該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施形態機能を実現するための図４、図７に示すようなソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本発明の範疇に含まれる。
【００６８】
またこの場合、前記ソフトウェアのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。
【００６９】
かかるプログラムコードを格納する記憶媒体としては例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００７０】
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００７１】
さらに供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。
【００７２】
【発明の効果】
以上の説明から明らかなように、本発明によれば、シャドー領域が画像における大きな部分を占めるときは、出力画像における高濃度部の色の潰れを防ぎつつ画像全体の濃度増大を図ることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態にかかるプリントシステムの構成を示すブロック図である。
【図２】上記システムにおけるプリンタドライバの処理を示す図である。
【図３】上記プリンタドライバの処理のうち画像補正処理として行われる自動階調補正処理における主に信号変換の構成を示す図である。
【図４】上記自動階調補正処理の手順を示すフローチャートである。
【図５】上記自動階調補正処理の処理対象である画像が明るい画像である場合のヒストグラムを示す図である。
【図６】上記自動階調補正処理の処理対象である画像が明るい画像である場合のヒストグラムを示す図である。
【図７】図４に示す上記自動階調補正処理における階調曲線判定の処理手順を示すフローチャートである。
【図８】上記階調曲線判定処理で用いるテーブルの内容を示し、画像の種類に応じたγ値の定め方を説明する図である。
【図９】輝度補正テーブルの変換特性曲線を示し、低輝度領域の階調維持のための階調曲線の変更を説明する図である。
【符号の説明】
１００ホストコンピュータ
１０１アプリケーション
１０２ ОＳ（オペレーティングシステム）
１０３プリンタドライバ
１０４モニタドライバ
１０５モニタ
１０６プリンタ
１０７ＨＤ
１０８ＣＰＵ
１０９ＲＡＭ
１１０ＲＯＭ
１２０画像補正処理
１２１プリンタ用補正処理[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing method and an image processing apparatus, and more particularly to an image processing method and an image processing apparatus for performing luminance correction processing on image data such as a digital photographic image.
[0002]
[Prior art]
In recent years, hard copy technology, particularly full-color hard copy technology, is rapidly developing. In particular, the printing technique based on the ink jet method is becoming equivalent to a silver halide photograph due to the reduction of graininess caused by ink dots, and is also widely used due to its relatively simple printing method. It is. From such a point, it has become possible to faithfully reproduce a captured image or an image obtained by processing the image using an inkjet printer and a high-pixel digital camera.
[0003]
In such a system for printing a captured image, there is a problem that the density range that can be basically realized by a printer as a printing device is different from that of a digital camera or the like. For example, in the case of an ink jet printer, there is a problem that the density that can be realized in the high density portion is relatively low with respect to the density of the captured image. This is not limited to the case of using a digital camera, and the same applies to a system using an optical image reading device such as a scanner or a system for printing a display image such as a CRT. Due to the above essential problems, when an image that has been captured is printed, it may be too bright or too dark compared to the actual color.
[0004]
For this reason, the present applicant has proposed a method for dealing with this by image processing, particularly by luminance correction processing. In other words, the brightness in the image data is basically corrected so that the ratio of the high density area in the entire image is increased, thereby increasing the overall density of the print image, and the maximum density that can be achieved by the printing device is relatively high. It is a proposal to compensate for the low point. At this time, a histogram indicating the frequency of each luminance in the image data is used to determine the degree of brightness correction (hereinafter also referred to as “γ value”. The γ value increases as the brightness is corrected). And the distribution of the high luminance region and the low luminance region is obtained based on the predetermined maximum luminance and minimum luminance in the histogram, and the degree of correction (correction condition) is determined accordingly.
[0005]
[Problems to be solved by the invention]
However, in the luminance correction processing for determining the γ value described above, the luminance distribution in the image data to be printed is determined based only on the maximum luminance, the minimum luminance, etc. of the histogram, and therefore the accurate luminance distribution cannot be grasped. There is. For example, in the luminance distribution in which the predetermined minimum luminance itself shows a comparatively high value because there is a distribution peak around a relatively high luminance even though the low luminance area is relatively small (bright image), The image is determined to be a relatively bright image, and the γ value is set to a small value. As a result, the high density portion image may be crushed in the printed image.
[0006]
In particular, even if an appropriate γ value can be obtained, if correction is performed in all luminance regions with the γ value, the printed image obtained by correcting the high luminance region or the intermediate region has a vivid color. Although it can be realized, the gradation of the high-density portion of the printed image due to correction of the low-luminance region is not properly expressed, and so-called color collapse may occur.
[0007]
The present invention has been made in order to further improve the above-described point, and the object of the present invention is to determine the brightness of the image based on a more detailed brightness determination parameter in the image, and In addition to finding the optimum degree of correction for each image and increasing the density while maintaining the gradation of the high density part in the printed image, it is possible to reproduce the image indicated by the image data more faithfully. An object is to provide an image processing method and an image processing apparatus.
[0009]
[Means for Solving the Problems]
  Therefore, in the present invention, there is provided an image processing method for correcting the luminance of image data, wherein the frequency accumulated from the maximum luminance value to the low luminance side is a predetermined frequency in the luminance histogram of the image indicated by the image data. Determining a highlight point that is a brightness value to be compared with a predetermined threshold value, and when the highlight point is greater than the threshold value, it is determined that the image is brighter than when the threshold value is smaller than the threshold value, The degree of brightness of the image is determined, and in the histogram, the ratio of the cumulative frequency of the first low luminance area to the number of pixels for which the histogram is created is obtained, and the brightness level of the determined image is determined. The degree of correction is determined so that the brighter the image, the darker the image with respect to the same cumulative frequency ratio. In the case where the ratio of the cumulative frequency of the second low-luminance area different from the first low-luminance area to the number of pixels that become an elephant is obtained and the degree of darkening the image of the determined degree of correction is a certain level or more, When the ratio of the cumulative frequency of the second low-luminance area is equal to or greater than a predetermined value, the correction level of the second low-luminance area is set to a correction level that maintains the gradation indicated by the luminance data. And changing the luminance of the image data in accordance with the degree of correction including the degree of correction of the second low-luminance region that is changed or not changed.
[0011]
  An image processing apparatus for correcting the luminance of image data, wherein the frequency accumulated from the maximum luminance value to the low luminance side is a predetermined frequency in the luminance histogram of the image indicated by the image data. The brightness of the image is determined by obtaining a highlight point that is a value and comparing the highlight point with a predetermined threshold, and when the highlight point is greater than the threshold, the image is determined to be brighter than when it is less than the threshold Determination means for determining the degree of the image, first acquisition means for determining a ratio of the cumulative frequency of the first low-luminance area to the number of pixels for which the histogram is created in the histogram, and brightness of the determined image Determining means for determining the degree of correction to darken the image with respect to the same cumulative frequency ratio as the degree of brightness increases; and The second acquisition means for obtaining the ratio of the cumulative frequency of the second low-luminance area different from the first low-luminance area to the number of pixels for which the histogram is created, and darkening the image of the determined degree of correction In the case where the degree to be performed is a certain level or more, and the ratio of the cumulative frequency of the second low-luminance area is equal to or greater than a predetermined value, the gradation that the luminance data indicates the degree of correction of the second low-luminance area Correction means for correcting the brightness of the image data in accordance with the degree of correction including the degree of correction of the second low-luminance region that is changed or not changed, It is characterized by comprising.
[0012]
  According to the above configuration, the aboveThe degree of correction is determined such that the higher the degree of brightness of the determined image is, the darker the image is with respect to the ratio of the cumulative frequency of the same first low-brightness region, and the degree of correction determined above When the degree of darkening the image of the second low-luminance area is equal to or greater than a predetermined value and the degree of correction of the second low-luminance area is the luminance data The brightness of the image data is corrected in accordance with the degree of correction including the degree of correction of the second low-luminance region that is changed or not changed.Therefore, the degree of correction can be made different in relation to the distribution of the low luminance area of the image to be corrected according to the brightness of the determined image. For example, if the image is determined to be a dark image, it will be darker than if it is determined to be a bright image even in the same low-brightness area distribution (ratio of low-brightness areas)degreeThis makes it possible to print an overall dark image, for example, an image having a relatively low distribution of low-luminance regions, at an overall low density. Can be prevented from being crushed. On the other hand, if it is determined that the image is bright, it will be darkened.degreeThus, it is possible to perform printing that compensates for the relatively low density output characteristics inherent in printing devices such as printers.
  thisIn addition to the function and effect, if the degree of correction is determined, and it is determined that the ratio of the cumulative frequency of the second low-brightness area is small, for example, the area of the area to be crushed deeply even if the density of the entire printed image is increased. If it is determined that the ratio is small and the determined degree of correction is used as it is, and if the ratio of the cumulative frequency of the second low-luminance area is relatively large, an attempt is made to increase the density of the entire print image. It is possible to determine that the ratio of the area of the high density portion that is darkly crushed is large, and to change the degree of correction so as to maintain the gradation of the second low luminance region.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0014]
<First Embodiment>
FIG. 1 is a block diagram showing a schematic configuration of a printing system according to an embodiment of the present invention. This system generally includes a host computer 100, a printer 106, and a monitor 105. That is, for example, an inkjet printer 106 and a monitor 105 are connected to the host computer 100 so as to be capable of bidirectional communication.
[0015]
The host computer 100 has an OS (Operating System) 102, and is issued by an application 101 such as a word processor, spreadsheet, image processing, and Internet browser that performs respective processing under the management of the OS 100. Processes various drawing command groups (image drawing commands, text drawing commands, graphics drawing commands) indicating output images to generate print data, and similarly processes various drawing command groups issued by the application 101. The monitor driver 104 for displaying on the monitor 106 is provided as similar software.
[0016]
The host computer 100 also includes a central processing unit CPU 108, a hard disk driver HD 107, a random access memory (RAM) 109, a read only memory (ROM) 110, and the like as various hardware that can be operated by the above-described software. That is, the CPU 108 executes signal processing for processing according to the above-described software, and the hard disk and the ROM 110 driven by the hard disk driver 107 store these various software in advance. It is read and used. The RAM 109 is used as a work area for executing signal processing by the CPU 108.
[0017]
As an embodiment shown in FIG. 1, for example, an application capable of arbitrary print processing is installed using a Windows 98 of Microsoft as an OS on a personal computer of an AT compatible machine of IBM, which is generally popular, Examples include a monitor and a printer connected.
[0018]
In the print system having the above-described configuration, the user can also perform graphic data such as text data and graphics that are classified into text such as characters based on the display image displayed on the monitor 105 by the application 101 and similarly through processing by the application. It is possible to create image data including graphics data classified into a class, image image data classified into a natural image, and the like.
[0019]
When the user instructs the print output of the created image data, the application 101 makes a print output request to the OS 102 and configures the graphics data portion as a graphics drawing command and the image image data portion as an image drawing command. The drawing command group indicating the output image is issued to the OS 102. In response to this, the OS 102 receives an application print output request and issues a drawing command group to the printer driver 103 corresponding to the printer that performs the printing.
[0020]
The printer driver 103 processes the print request and drawing command group input from the OS 102, creates print data in a form that can be printed by the printer 105, and transfers the print data to the printer 105. In this case, when the printer 105 is a raster printer, the printer driver 103 sequentially performs image correction processing on the rendering command from the OS 102 and sequentially rasterizes it into the RGB 24-bit page memory, and rasterizes all the rendering commands. After that, the contents of the RGB 24-bit page memory are converted into a data format printable by the printer 105, for example, CMYK data, and transferred to the printer.
[0021]
FIG. 2 is a diagram illustrating processing performed by the printer driver 103. The processing of the printer driver 103 is roughly divided into image correction processing and printer correction processing.
[0022]
The image correction process 120 performs an image correction process on the color information including the luminance signals R, G, and B included in the drawing command group input from the OS 102. Specifically, the automatic gradation correction process described later is performed based on the color information of red (R), green (G), and blue (B). On the other hand, the printer correction processing unit 121 first rasterizes the color information drawing command corrected by the image correction processing 120 and generates a raster image in an R, G, B 24-bit page memory. Then, cyan (C), magenta (M), yellow (Y), and black (K) data depending on the color reproducibility of the printer that performs printing for each predetermined pixel is generated and transferred to the printer 105.
[0023]
Next, the automatic gradation correction process that is the process of the image correction process 120 will be described. The automatic gradation correction processing is performed on the image image among the image data indicated by the image drawing command. Therefore, for example, when a graphics image or an image image is included in the image data, an image image portion is extracted from the image data, and automatic gradation correction processing is performed on the image image portion.
[0024]
FIG. 3 is a diagram conceptually showing mainly the conversion of each signal in this automatic gradation correction, and FIG. 4 is a flowchart showing the processing procedure. The automatic gradation correction according to the present embodiment is performed by determining the brightness of an image to be printed using a histogram obtained by summing up the frequency of each luminance value in the image data and determining an appropriate correction degree (γ value). Is. Hereinafter, this processing will be described mainly with reference to the flowchart shown in FIG.
[0025]
(Histogram aggregation)
As shown in FIG. 4, in the histogram totalization process of step S <b> 1, first, the input RGB image signal is converted from luminance Y, which is a component related to image brightness, and color difference signals Cr, Cb, which are components related to color. (B1 in FIG. 3). The conversion formula is expressed as follows.
Y = 0.299 × R + 0.587 × G + 0.114 × B
Cr = R−Y
Cb = BY
Next, for the signal Y corresponding to the luminance among the converted signals Y, Cr, and Cb, the luminance value (the value of the signal Y) for each pixel in the image data is checked, and each of the values indicated by 0 to 255 is checked. For each luminance value, the frequencies of pixels having the luminance are totaled, and a luminance histogram (frequency distribution) is created.
For example, when the image data shows an overall bright image, the histogram created in this way is biased toward the high luminance side as shown in FIG. As shown in FIG. 6, the distribution is biased toward the low luminance side.
Note that the above-described generation of the luminance histogram is performed for the purpose of examining the frequency distribution of luminance in the entire image. Therefore, it is not always necessary to count the frequencies for all pixels. For example, 1600 (pixels) × 1200 (pixels). ) Image data may be aggregated for pixels thinned by 15 (pixels) horizontally and 11 (pixels) vertically, or the average value of each of these pixels with the surrounding pixels is used. May be.
[0026]
(Gradation curve judgment)
Next, in step S2, gradation curve determination processing is performed based on the histogram obtained as described above. That is, it is determined what gradation curve is a correction curve corresponding to the γ value in luminance correction. The gradation curve determination according to the present embodiment determines the brightness of an image to be processed based on two parameters described below, that is, a highlight point and a γ parameter (number of pixels in a low luminance region), and based on this, γ A value, that is, a gradation curve corresponding to the value is determined.
[0027]
FIG. 7 is a flowchart showing details of the γ determination processing, and the γ determination processing of the present embodiment will be described with reference to this flowchart.
[0028]
(1) Highlight point determination unit
In the highlight point determination process in step S21, the highlight point in the image to be processed is calculated from the histogram (step S211).
[0029]
In the present embodiment, the frequency of each luminance value is accumulated in order from the highest luminance value (luminance value 255) in the luminance range in the above-described histogram of the luminance signal Y toward the lower luminance side, and the accumulated frequency obtained here is, for example, Then, a luminance value that matches 1.0% of the total number of pixels of the image data to be processed, or a luminance value that exceeds 1.0% of the total number of pixels is obtained first. Also referred to as “HLP”.
[0030]
Next, the magnitudes of the HLP thus obtained and the brightness value are compared using a predetermined threshold Th. When HLP> Th, the image is a bright image, and when HLP ≦ Th, the image is a dark image. (Step S212). That is, this process discriminates between two types of light and dark images. Note that the threshold Th used in the present embodiment is a relatively high luminance value, such as 220.
[0031]
For example, in the histogram of the bright image shown in FIG. 5, the HLP exceeds the threshold Th (HLP> Th), and therefore, it is determined that the image is bright. In this case, as described above, the distribution of the histogram is biased toward the high luminance side as a whole, and as a result, the HLP is also located on the high luminance side.
On the other hand, in the histogram of the dark image shown in FIG. 6, the HLP is lower than the threshold Th (HLP ≦ Th), and it is determined that the image is dark. In this case, since the luminance distribution is biased to the low luminance side as a whole and the HLP is also located on the low luminance side, such a determination is performed.
[0032]
As described above, the highlight point is obtained from the histogram of the processing target image, and based on this, the overall brightness of the image is determined. The degree of correction, that is, the γ value can be made different in relation to the distribution of the low luminance region of the image to be corrected. For example, when it is determined that the image is dark, the probability of correcting (increasing the density; making it darker) with a smaller γ value than when the image is determined to be a bright image even in the same low luminance region distribution (ratio of the low luminance region). This makes it possible to print an overall dark image, for example, an image having a relatively low distribution of low-luminance regions, at an overall low density. Can be prevented from being crushed. On the other hand, when it is determined that the image is bright, on the contrary, the probability of correcting with a small γ value (increasing the density; making it darker) can be further increased. Printing that compensates for the relatively low density output characteristics can be performed.
[0033]
Note that the HLP calculation is not necessarily performed by the above-described method, and a conventionally known method may be appropriately used.
[0034]
In addition, when performing the automatic gradation correction processing of this embodiment in combination with other image correction processing, for example, the so-called color fog correction, contrast correction, and saturation correction described above, the HLP used in advance for this image processing is used. You can also In this case, instead of using the highlight point, the brightness (darkness) of the image can be determined using the shadow point similarly used in the above-described color cast correction, etc., and based on this, the following processing is performed. It is obvious from the following description that the operation can be performed.
[0035]
(2) Judgment of the number of pixels in the low brightness area (shadow area) (gamma parameter judgment)
Next, in step S22, the low luminance region distribution is similarly determined using the histogram obtained in step S1 in the same manner for the images roughly classified into two types of light and dark by the highlight point determination.
[0036]
In the low-luminance area pixel number determination process, first, in step S221, S is the ratio of the cumulative frequency of the predetermined low-luminance area to the total number of pixels of the processing target image._lowAsk for. This is because the distribution of the low luminance area is obtained in more detail, and the degree of correction, that is, an appropriate value for the γ value is obtained. In particular, the overall density without causing the so-called collapse in the low density portion of the printed image. It is possible to increase this.
[0037]
First, as preprocessing, the cumulative frequency S in the low luminance region is obtained. The cumulative frequency S in the low luminance region is obtained as the cumulative frequency from the lowest luminance value (luminance value 0) in the luminance range to a predetermined luminance value toward the high luminance side in the histogram. In the present embodiment, the cumulative frequency up to the luminance value (luminance value 64) that is ¼ of the maximum luminance value (luminance value 255) is obtained as the cumulative frequency S of the low luminance area.
[0038]
Next, the ratio S of the cumulative frequency S of the low luminance area obtained as described above to the total number of pixels._lowIs calculated.
[0039]
That is, where S_low= (Cumulative frequency S of the low luminance area) / (total number of pixels) (%).
[0040]
Note that if the thinned histogram is created by thinning out pixels at the time of the above-mentioned histogram aggregation, the above S_lowThe denominator in the definition formula is the number of pixels for which a histogram is created.
[0041]
Next, S determined above in step S222._lowIs used to determine the γ value (γ parameter).
[0042]
More specifically, this determination is performed using S in the table shown in FIG._lowThis is a process for determining the range to which. That is, this S_lowThe range is different depending on the brightness and darkness of the image according to the above HLP determination._low= 0 to 30, S_low= 31-60, S_lowIs classified into three ranges of 61 or more. On the other hand, for HLP determinations that are determined to be dark images, S_low= 0-15, S_low= 16-30, S_lowIs classified into three ranges of 31 or more.
[0043]
For example, in the case of the bright image shown in FIG. 5, the ratio of the area indicated by hatching to the total number of pixels is S._lowIt becomes. In this example, S_lowIs 10% of the total number of pixels. Therefore, it is determined as a bright image by the above HLP determination, and S_lowIs determined to be in the range of 0-30. On the other hand, in the example of the dark image shown in FIG._lowIs 40% of the total number of pixels. Therefore, it is determined as a dark image by the HLP determination, and S_lowIs determined to be in a range of 31 or more.
[0044]
Here, suppose that the cumulative frequency ratio is not used as described above, and the respective shadow frequencies are accumulated in order from the minimum luminance value in the histogram toward the high luminance side in order from the minimum luminance value. In the case of using the method of determining the distribution of the low luminance part using only the luminance value that coincides with or exceeds 0%, the actual distribution state of the low luminance region is not appropriately reflected. The determination on the brightness of the image is made. For example, in the case of an image in which the shadow point itself shows a relatively high luminance value, but in reality, the luminance value around the shadow point has a frequency distribution peak and the frequency distribution itself in the low luminance region is small, If the image is erroneously determined, a small γ value (luminance correction for increasing the density) is selected, and as a result, a dark portion occupying a relatively large portion on the image may be crushed.
[0045]
On the other hand, as in the above-described embodiment, the cumulative frequency in the low luminance region is obtained, and the ratio S of the cumulative frequency to the total number of pixels is S._lowBy using this, it is possible to determine the contrast of an image that reflects a more actual low luminance distribution, and to perform appropriate gradation correction for a dark image as described above.
[0046]
In the above embodiment, S_lowThe range of luminance values 0 to 60 is equally divided with respect to the range of. However, when more detailed information on the low-brightness area is obtained, the low-brightness area may be divided into several parts and divided into cases. And S_lowMay be weighted by adding 2 times from 0 to 30 and 1 times from 31 to 60.
[0047]
(3) Determination of correction γ value
By the above pixel count determination process of the low brightness area, the ratio S of the low brightness area_lowWhen the range to which the image belongs is determined, the processing target images are classified into a total of six types, three types of light and three types of darkness, as shown in FIG. In the next step S23, the γ value is determined using the table shown in FIG.
[0048]
As is apparent from the gradation curve (correction table) shown in FIG. 9, 0.8, 1.0, or 1.2 is set as the γ value of this embodiment. Note that this γ value represents the degree of correction that is brighter (the density is lower in the print image) as described above, and does not indicate the correction ratio with respect to individual input luminance values. The correction ratio for each input value is represented by a curve representing each table in FIG.
[0049]
The γ value regarding the images classified into the above six types is determined using the table shown in FIG. 8. For example, when the HLP determination is a bright image determination, S_lowWhen = 0 to 30, γ = 0.8, S_low= 31 to 60, γ = 1.0 (that is, no correction), S_lowIs set to be such that γ = 1.2. Specifically, as will be described later, a correction lookup table (LUT) corresponding to each γ value is prepared.
[0050]
In the case of the bright image shown in FIG. 5, HLP is larger than the threshold Th and S_lowIs 10%, this image is determined to be a bright image from the table shown in FIG. 8, and the γ value is set to 0.8. By determining this γ value, correction is made to darken (increase the print density) to a relatively high luminance area, and a print image having an optimum density as a whole is obtained. In addition, since the ratio of the pixels in the low luminance region is small, there are few portions where the image is collapsed.
[0051]
On the other hand, in the dark image shown in FIG. 6, HLP is smaller than Th and S_lowIs 40%, the γ value is set to 1.2 by the table shown in FIG. By setting this γ value, the entire printed image becomes brighter, particularly the low-luminance portion that occupies 40% of the image becomes brighter, and the printed image has a balanced density.
[0052]
In the above description, the brightness of the image is determined in two stages in (1) highlight point determination. However, in order to obtain a more optimal γ value, 3 such as a bright image, an intermediate image, and a dark image are used. A more detailed determination may be made by dividing the case into stages. In that case, {circle over (2)} the number of pixels in the low luminance region is determined by the S shown in FIG._lowIn the case of an intermediate image, for example, S_low= 0 to 20 and γ = 0.8, S_low= 21-40, γ = 1.0, S_lowIs 41 or more and γ = 1.2.
(4) Gradation maintenance judgment of low brightness area (shadow area)
Next, in step S24 shown in FIG. This is because, when the correction is performed with the γ value determined as described above, it is determined how much the high density portion is crushed in the printed image by the correction, and the γ correction processing is performed accordingly to perform printing. This is a process for determining whether to maintain the gradation of the high density region when darkening the image.
[0053]
First, the frequencies from the luminance value (luminance value 0) at the lower end of the luminance range in the histogram obtained as described above to the high luminance side and to a predetermined point (luminance value X) are accumulated. This X can be, for example, a point (luminance value 32) that is 1/8 of the maximum luminance value (luminance value 255). The luminance range up to X is a range in which the gradation curve may be corrected in the gradation curve determination process described below. In other words, by adjusting the gradation in this range, it is a range in which an image with good gradation as a whole can be obtained while maintaining the gradation of the high density portion in the printed image and preventing color collapse. . This can be determined empirically or experimentally.
[0054]
  thisThe cumulative frequency up to X is calculated as above.
[Outside 1]

Similarly to the cumulative frequency obtained in the pixel number determination process, S ′ is set. Next, it is calculated what percentage of the total number of pixels the cumulative frequency S ′ corresponds to. The ratio of the cumulative frequency in this low luminance area to the total number of pixels is S_low'. That is, S_lowLike S_low'= (Cumulative frequency S' of the low luminance region) / (total number of pixels) (%).
[0055]
For example, in the case of the image shown in FIG._lowA region having a ratio indicated by 'here5%. S like this example_lowIt can also be seen from this figure that when ′ is small, even if a gradation curve with a small γ value is set and correction is made to darken the printed image, the area where the color is crushed is small. On the other hand, in the example shown in FIG._low'Is 20%. In this example, S_low'Is a relatively large value. In this case, when a gradation curve having a small γ value is set, a bright color is obtained from the intermediate luminance region to the high luminance region, but the low luminance region occupying 20% of this region. The high density area of the printed image obtained by correcting the above will be darkly crushed.
[0056]
In FIG. 9, for example, for the processing target image, γ = 0.8 is determined in the above-described (3) correction γ value determination, and then (4) S in the gradation maintenance determination processing in the low luminance region._lowThe value of ′ is, for example, S_lowIf it is determined that “= 0 to 5”, it is determined that the ratio of the area to be crushed is small even if the density of the entire print image is increased, and the obtained γ value is used as it is. Apply a tone curve. On the other hand, the γ value is 0.8 and S_lowWhen 'is 6 or more, when trying to increase the density of the entire printed image, the ratio of the area of the high density portion that is crushed deeply is determined to be large, and the gradation of the pixels from luminance values 0 to X is maintained (that is, The range from the luminance value X + 1 or higher to the maximum luminance value (luminance value 255) is corrected with a gradation curve (S in FIG. 9)._low(Curve represented by '= 20)). Specifically, in the example shown in the figure, 0 ′ ≦ Y ≦ 30, Y ′ = Y, 31 ≦ Y ≦ 255, Y ′ = 224 × {[(Y−31) / 224]^{1 /} ^γ} +31.
[0057]
The above explanation relates to the case where the γ value is 0.8._lowThe threshold value for discriminating by the value of ′ (6 when γ is 0.8 as in the above example) can be varied for each γ value. However, when the γ value is 1 or more, the correction is not made to darken the print image, and therefore the gradation curve is not changed in this embodiment.
[0058]
In the above embodiment, the luminance value X is constant regardless of the image to be processed. However, the value of X may be varied depending on the histogram. In the example shown in FIG. 9, correction is not performed (γ value is 1) in the region of luminance values 0 to X._lowFor example, when the value of the luminance curve is 6 to 19%, the gradation of the gradation curve between the luminance values 0 to X is halved, for example, the gradation of the low luminance area is slightly crushed and the area of the luminance value X or more The gradation may be expanded.
[0059]
In the above example, as shown in FIG. 9, in the luminance value X, the straight line in the low luminance region and the γ curve in the intermediate luminance and high luminance regions are simply connected, but the straight line and the curve are smoothly connected. Of course, the gradation can also be expressed more continuously.
[0060]
(LUT creation)
When the gradation curve determination process described above (step S2 in FIG. 4) is completed, LUT creation is performed in step S3 shown in FIG. That is, a lookup table (LUT) for luminance correction is created based on the gradation curve indicated by the γ value obtained in the gradation curve determination process.
[0061]
The LUT according to the present embodiment is a correction in which the output luminance signal is obtained by multiplying the reciprocal of the γ value obtained as described above to the power of the ratio to the maximum luminance of each input luminance signal and the maximum luminance value. All luminance values obtained by the correction relationship using the γ value are described corresponding to all values in the luminance range (luminance values 0 to 255).
That is, LUT L [Y] is Y ′ = 255 × [(Y / 255) where Y is the input luminance signal and Y ′ is the output luminance signal.^{1 /} ^γ] Is dynamically generated by performing the conversion represented by the following formula. That is, it is created for each processing of the target image. By dynamically creating the correction table in this way, the required memory amount can be reduced.
[0062]
Of course, the LUT may be statically prepared in advance on the memory for each γ value instead of being dynamically created.
(correction)
Next, in step S4 shown in FIG. 4, the luminance signal Y is corrected. That is, the luminance value Y of the input image is converted as Y ′ = L [Y] by the LUT L [Y] created as described above, and the luminance correction is performed (processing B2 shown in FIG. 3).
[0063]
Further, the luminance signal Y ′ whose luminance has been corrected and the color difference signals Cr and Cb of the input image are returned to the R, G and B signals (the processing of B3 shown in FIG. 3), and the corrected image signal R′G′B. 'Create.
[0064]
In the above-described embodiment, the correction related to the luminance value Y has been described. However, the same correction may be directly performed on the R, G, and B signals. At this time, using the above-described LUT, correction can be performed using R ′, G ′, and B ′ instead of R, G, B, and Y ′ in the LUT.
[0065]
Such correction for the R, G, and B signals does not require RGB-YCrCb conversion, so that the processing speed can be improved.
[0066]
<Other embodiments>
As described above, the present invention can be applied to a system composed of a plurality of devices (for example, a host computer, an interface device, a reader, a printer, etc.) but also to an apparatus composed of a single device (for example, a copying machine, a facsimile machine). May be.
[0067]
Also, FIGS. 4 and 7 for realizing the functions of the embodiment in an apparatus or a computer in the system connected to the various devices so as to operate the various devices so as to realize the functions of the above-described embodiments. The program implemented by operating the various devices according to the program stored in the computer or CPU (MPU) of the system or apparatus is also included in the scope of the present invention.
[0068]
Further, in this case, the program code of the software itself realizes the functions of the above-described embodiments, and the program code itself and means for supplying the program code to the computer, for example, a storage storing the program code The medium constitutes the present invention.
[0069]
As a storage medium for storing the program code, for example, a floppy disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.
[0070]
Further, by executing the program code supplied by the computer, not only the functions of the above-described embodiments are realized, but also the OS (operating system) in which the program code is running on the computer, or other application software, etc. It goes without saying that the program code is also included in the embodiment of the present invention even when the functions of the above-described embodiment are realized in cooperation with the embodiment.
[0071]
Further, after the supplied program code is stored in a memory provided in a function expansion board of a computer or a function expansion unit connected to the computer, a CPU provided in the function expansion board or function storage unit based on an instruction of the program code However, it is needless to say that the present invention includes a case where the functions of the above-described embodiment are realized by performing part or all of the actual processing.
[0072]
【The invention's effect】
As is apparent from the above description, according to the present invention, when the shadow region occupies a large portion of the image, it is possible to increase the density of the entire image while preventing color collapse of the high density portion in the output image. .
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a printing system according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating processing of a printer driver in the system.
FIG. 3 is a diagram mainly showing a signal conversion configuration in an automatic gradation correction process performed as an image correction process among the processes of the printer driver.
FIG. 4 is a flowchart showing a procedure of the automatic gradation correction process.
FIG. 5 is a diagram showing a histogram when an image to be processed by the automatic gradation correction process is a bright image.
FIG. 6 is a diagram showing a histogram when an image to be processed by the automatic gradation correction process is a bright image.
7 is a flowchart showing a processing procedure of gradation curve determination in the automatic gradation correction processing shown in FIG.
FIG. 8 is a diagram illustrating the contents of a table used in the gradation curve determination process and explaining how to determine a γ value according to the type of image.
FIG. 9 is a diagram illustrating a conversion characteristic curve of a luminance correction table and explaining a change of a gradation curve for maintaining a gradation in a low luminance region.
[Explanation of symbols]
100 Host computer
101 application
102 ОS (Operating System)
103 Printer driver
104 Monitor driver
105 Monitor
106 Printer
107 HD
108 CPU
109 RAM
110 ROM
120 Image correction processing
121 Printer correction processing

Claims

An image processing method for correcting the brightness of image data,
In the luminance histogram of the image indicated by the image data , a highlight point that is a luminance value at which the frequency accumulated from the maximum luminance value to the low luminance side becomes a predetermined frequency is obtained, and the highlight point and a predetermined threshold value are obtained. comparing, determines a brighter image than when the highlight point is less than the threshold value is greater than the threshold, performs the determination of the degree of brightness of the image,
In the histogram, the ratio of the cumulative frequency of the first low luminance region to the number of pixels for which the histogram was created is obtained,
The degree of correction is determined such that the brighter the determined image is, the darker the image with respect to the same cumulative frequency ratio ,
Further, the ratio of the cumulative frequency of the second low-luminance area different from the first low-luminance area to the number of pixels for which the histogram has been created is obtained,
When the degree of darkening the image of the determined degree of correction is a certain level or more, and the ratio of the cumulative frequency of the second low luminance area is equal to or greater than a predetermined value, the correction of the second low luminance area is performed. The degree is changed to a degree of correction that maintains the gradation indicated by the luminance data,
Correcting the brightness of the image data in accordance with the determined degree of correction including the degree of correction of the second low-luminance region that is changed or not changed ,
An image processing method comprising steps.

The predetermined threshold is a plurality of thresholds having different sizes, and is determined by varying the degree of correction for each of the plurality of brightness levels according to a comparison between each of the plurality of thresholds and the highlight point. The image processing method according to claim 1 .

A plurality of stages of different ranges of the cumulative frequency ratio of the first low-luminance area are defined for each of the plurality of stages of brightness, and the degree of correction differs for each of the determined plurality of stages. The image processing method according to claim 2, wherein the image processing method is defined.

An image processing apparatus for correcting the brightness of image data,
In the luminance histogram of the image indicated by the image data , a highlight point that is a luminance value at which the frequency accumulated from the maximum luminance value to the low luminance side becomes a predetermined frequency is obtained, and the highlight point and a predetermined threshold value are obtained. Discriminating means for discriminating the degree of brightness of the image , wherein when the highlight point is larger than the threshold, the image is determined to be brighter than when the highlight point is smaller than the threshold
In the histogram, first acquisition means for obtaining a ratio of the cumulative frequency of the first low-luminance region to the number of pixels for which the histogram is created;
Determining means for determining the degree of correction so that the higher the degree of brightness of the determined image, the darker the image for the same cumulative frequency ratio ;
A second acquisition means for obtaining a ratio of a cumulative frequency of a second low-luminance area different from the first low-luminance area to the number of pixels for which the histogram has been created;
When the degree of darkening the image of the determined degree of correction is a certain level or more, and the ratio of the cumulative frequency of the second low luminance area is equal to or greater than a predetermined value, the correction of the second low luminance area is performed. The degree is changed to a degree of correction so as to maintain the gradation indicated by the luminance data, and according to the determined degree of correction including the degree of correction of the second low luminance region that is changed or not changed Correction means for correcting the brightness of the image data;
An image processing apparatus comprising:

A storage medium for storing a program readable by an information processing device,
The program is image processing for correcting the brightness of image data,
In the luminance histogram of the image indicated by the image data , a highlight point that is a luminance value at which the frequency accumulated from the maximum luminance value to the low luminance side becomes a predetermined frequency is obtained, and the highlight point and a predetermined threshold value are obtained. comparing, determines a brighter image than when the highlight point is less than the threshold value is greater than the threshold, performs determine different degrees of brightness of the image,
In the histogram, the ratio of the cumulative frequency of the first low luminance region to the number of pixels for which the histogram was created is obtained,
The degree of correction is determined such that the brighter the determined image is, the darker the image with respect to the same cumulative frequency ratio ,
Further, the ratio of the cumulative frequency of the second low-luminance area different from the first low-luminance area to the number of pixels for which the histogram has been created is obtained,
When the degree of darkening the image of the determined degree of correction is a certain level or more, and the ratio of the cumulative frequency of the second low luminance area is equal to or greater than a predetermined value, the correction of the second low luminance area is performed. The degree is changed to a degree of correction that maintains the gradation indicated by the luminance data,
Correcting the brightness of the image data in accordance with the determined degree of correction including the degree of correction of the second low-luminance region that is changed or not changed ,
A storage medium comprising an image processing program having steps.