[go: up one dir, main page]

JP4415172B2 - Image processing apparatus, image processing method, and image processing program - Google Patents

Image processing apparatus, image processing method, and image processing program Download PDF

Info

Publication number
JP4415172B2
JP4415172B2 JP2001087192A JP2001087192A JP4415172B2 JP 4415172 B2 JP4415172 B2 JP 4415172B2 JP 2001087192 A JP2001087192 A JP 2001087192A JP 2001087192 A JP2001087192 A JP 2001087192A JP 4415172 B2 JP4415172 B2 JP 4415172B2
Authority
JP
Japan
Prior art keywords
luminance
input
luminance value
output
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001087192A
Other languages
Japanese (ja)
Other versions
JP2002288650A5 (en
JP2002288650A (en
Inventor
吉弘 三島
正樹 黒岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2001087192A priority Critical patent/JP4415172B2/en
Publication of JP2002288650A publication Critical patent/JP2002288650A/en
Publication of JP2002288650A5 publication Critical patent/JP2002288650A5/ja
Application granted granted Critical
Publication of JP4415172B2 publication Critical patent/JP4415172B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Cameras In General (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像のコントラスト調整に用いて好適な画像処理装置、画像処理方法、及び、画像処理プログラムに関する。
【0002】
【従来の技術】
従来、CCD型やMOS型の撮像素子を用いて画像を記録する電子スチルカメラ等においては、撮像した画像に対して適切なコントラストを確保するため、画像データに対して例えば図13に示したコントラスト処理が行われていた。この図において、KinL,KinHは、入力側の画像データの低輝度側及び高輝度側の設定値、KoL,KoHは、出力側の画像データの低輝度側及び高輝度側の設定値であり、従来のコントラスト処理では、入力側に設定されている輝度値(KinL,KinH)が、設定されている輝度値(KoL,KoH)とする所定の変換処理が行われている。
【0003】
また、それぞれの設定値は、撮像素子に存在する出力データの輝度分布の偏りや、画像記録方式等に応じて予め設定される値であり、各設定値は、
・KinL:黒つぶし側の検出しきい値
・KinH:白とばし側の検出しきい値
・KoL :出力データを生成するときの黒側の基準値
・KoH :出力データを生成するときの白側の基準値
となっている。
【0004】
かかるコントラスト処理においては、例えば輝度データが8ビット、KinL=32、KinH=224、KoL=0、KoH=255であるときには、32以下の入力データは0となり出力され、224以上のデータは255となり出力される。つまり32〜224の入力データは0〜255に線形変換処理されて出力される。これにより、画像データに、後段の処理に適した所定の輝度幅が確保されるのである。
【0005】
【発明が解決しようとする課題】
しかしながら、前述したコントラスト処理においては、入力側の検出しきい値(KinL,KinH)として、予め設定された固定値を用いることから、入力した画像データにおける輝度の分布状態によってコントラスト処理の効果に違いが生じていた。また、重要な画像情報が高輝度部分や低輝度部分に存在するときには、画像内の重要な部分に「白とび」や「黒つぶれ」が生じる場合があるという問題があった。図13は、画像内の重要な部分に「黒つぶれ」が生じる例を示した図であって、同図(a)が処理前の元画像における輝度成分のヒストグラム、同図(b)が処理後の画像における輝度成分のヒストグラムである。また、「黒つぶれ」が生じるような画像としては、例えば逆光で顔のアップを撮影したポートレートである。
【0006】
本発明は、かかる従来の課題に鑑みてなされたものであり、画像の内容に適したコントラスト調整が可能となる画像処理装置、画像処理方法、及び、画像処理プログラムを提供することを目的とする。
【0007】
【課題を解決するための手段】
前記課題を解決するために、請求項1記載の発明は、カラー画像データを入力する入力手段と、この入力手段によって入力されたカラー画像データの輝度の度数分布を示すヒストグラムデータを取得するヒストグラムデータ取得手段と、前記入力されたカラー画像データを出力する出力側が表現できるカラー画像データの制限内容に基づいて出力側低輝度値および出力側高輝度値を取得する出力側輝度値取得手段と、この出力側輝度値取得手段によって取得された出力側低輝度値および出力側高輝度値に対応する入力側低輝度値および入力側高輝度値を、前記ヒストグラムデータ取得手段によって取得されたヒストグラムデータにおける輝度分布の割合から設定する入力側輝度値設定手段と、前記出力側の目標平均輝度値を取得する目標平均輝度取得手段と、前記入力されたカラー画像データの平均輝度値を取得する平均輝度取得手段と、前記目標平均輝度取得手段によって取得された前記出力側の目標平均輝度値と前記平均輝度取得手段によって取得された平均輝度値とを比較する比較手段と、前記入力側輝度値設定手段によって設定された入力側低輝度値および入力側高輝度値と、前記比較手段による比較結果とに基づいて、前記入力されたカラー画像データの輝度成分を低輝度側または高輝度側に選択的に制御して輝度変換を行う輝度変換手段とを備えたことを特徴とする。
【0009】
また、請求項2記載の発明は、上記請求項1記載の発明において、前記平均輝度取得手段により取得された平均輝度値と前記目標平均輝度取得手段により取得された目標平均輝度値との比率を算出する第1の算出手段と、この第1の算出手段より算出された比率に応じ新たな出力側低輝度値および出力側高輝度値を算出する第2の算出手段と、この第2の算出手段により算出された新たな出力側低輝度値および出力側高輝度値を、前記出力側輝度値取得手段により取得された出力側低輝度値および出力側高輝度値に代えて設定する出力側輝度値設定手段とを更に備えたことを特徴とする。
【0013】
また、請求項記載の発明は、上記請求項1又は2記載の発明において、前記入力側低輝度値および入力側高輝度値の間の輝度幅と、前記出力側低輝度値および出力側高輝度値の間の輝度幅との比率を算出する算出手段と、この算出手段より算出された比率に応じて出力側の輝度の変化率を抑制する抑制手段とを更に備えたことを特徴とする。
【0015】
また、請求項記載の発明は、上記請求項1乃至いずれか記載の発明において、前記ヒストグラムデータ取得手段により取得されたヒストグラムデータは、入力されたカラー画像データに設定された1又は複数の検出エリアにおけるデータであることを特徴とする。
【0017】
また、請求項記載の発明は、上記請求項1乃至いずれか記載の発明において、撮像手段を更に備え、前記入力手段は、前記撮像手段による撮像に基づいて取得されたカラー画像データを入力することを特徴とする。
【0019】
また、請求項記載の発明は、上記請求項記載の発明において、前記検出エリアは、前記撮像手段による撮影時におけるフォーカスエリアを含むことを特徴とする。
【0021】
また、請求項記載の発明は、上記請求項5又は6記載の発明において、前記検出エリアは、前記撮像手段による撮影時における露光量検出エリアを含むことを特徴とする。
【0023】
前記課題を解決するために、請求項記載の発明は、カラー画像データを入力する入力ステップと、この入力ステップにて入力されたカラー画像データの輝度の度数分布を示すヒストグラムデータを取得するヒストグラムデータ取得ステップと、前記入力されたカラー画像データを出力する出力側が表現できるカラー画像データの制限内容に基づいて出力側低輝度値および出力側高輝度値を取得する出力側輝度値取得ステップと、この出力側輝度値取得ステップにて取得された出力側低輝度値および出力側高輝度値に対応する入力側低輝度値および入力側高輝度値を、前記ヒストグラムデータ取得ステップにて取得されたヒストグラムデータにおける輝度分布の割合から設定する入力側輝度値設定ステップと、前記出力側の目標平均輝度値を取得する目標平均輝度取得ステップと、前記入力されたカラー画像データの平均輝度値を取得する平均輝度取得ステップと、前記目標平均輝度取得ステップにて取得された前記出力側の目標平均輝度値と前記平均輝度取得ステップにて取得された平均輝度値とを比較する比較ステップと、前記入力側輝度値設定ステップにて設定された入力側低輝度値および入力側高輝度値と、前記比較ステップによる比較結果とに基づいて、前記入力されたカラー画像データの輝度成分を低輝度側または高輝度側に選択的に制御して輝度変換を行う輝度変換ステップとからなることを特徴とする。
【0025】
前記課題を解決するために、請求項記載の発明は、コンピュータを、カラー画像データを入力する入力手段、この入力手段によって入力されたカラー画像データの輝度の度数分布を示すヒストグラムデータを取得するヒストグラムデータ取得手段、前記入力されたカラー画像データを出力する出力側が表現できるカラー画像データの制限内容に基づいて出力側低輝度値および出力側高輝度値を取得する出力側輝度値取得手段、この出力側輝度値取得手段によって取得された出力側低輝度値および出力側高輝度値に対応する入力側低輝度値および入力側高輝度値を、前記ヒストグラムデータ取得手段によって取得されたヒストグラムデータにおける輝度分布の割合から設定する入力側輝度値設定手段、前記出力側の目標平均輝度値を取得する目標平均輝度取得手段、前記入力されたカラー画像データの平均輝度値を取得する平均輝度取得手段、前記目標平均輝度取得手段によって取得された前記出力側の目標平均輝度値と前記平均輝度取得手段によって取得された平均輝度値とを比較する比較手段、前記入力側輝度値設定手段によって設定された入力側低輝度値および入力側高輝度値と、前記比較手段による比較結果とに基づいて、前記入力されたカラー画像データの輝度成分を低輝度側または高輝度側に選択的に制御して輝度変換を行う輝度変換手段として機能させることを特徴とする。
【0028】
【発明の実施の形態】
以下、本発明の一実施の形態を図にしたがって説明する。
(第1の実施の形態)
図1は、本発明の第1の実施の形態に係る輝度変換装置を備えた電子スチルカメラ1を示す概略ブロック図である。
【0029】
電子スチルカメラ1は撮像レンズ2と、撮像素子3、カラープロセッサ4を有している。撮像素子3は、撮像レンズ2により結像された被写体像を撮像し、アナログのカラー画像信号としてカラープロセッサ4へ出力する。カラープロセッサ4は、撮像素子3から出力されるアナログの撮像信号のゲイン調整、カラー画像の各画素から輝度データ(Yデータ)と、2つの色データ(Cb,Crデータ)の作成等の信号処理、及び各画像信号(Y,Cb,Cr)のデジタル信号への変換を行う。カラープロセッサ4はバス5を介してCPU6に接続されており、カラープロセッサ4から送られた画像データはCPU6へ送られる。CPU6は、カラープロセッサ4から送られた画像データを例えばJPEG形式等の所定のフォーマットを有する画像データに圧縮し、圧縮後の画像データを、バス5を介して接続されているフラッシュメモリ等の記録メディア7に記録させる。
【0030】
CPU6にはバス5を介してROM8及びRAM9が接続されており、ROM8には、CPU6により実行される各種の制御プログラム、及び各部の制御時に使用される各種データが格納されている。そして、CPU6は上記制御プログラムに基づき各部を制御することにより、本発明の分布情報取得手段、設定値取得手段、設定手段などの各手段として機能する。RAM9は、カラープロセッサ4から出力された1フレーム分の画像データを一時的に記憶するとともに、CPU6による画像データの圧縮作業や各部の制御に伴い必要に応じて各種のデータを記憶するワークメモリとして使用される。また、記録メディア7に記録された画像データは、再生時にCPU6によって伸張された後、液晶表示装置10に表示される。さらに液晶表示装置10には、撮影待機状態で像された画像がスルー画像として表示される。
【0031】
次に、前記電子スチルカメラ1において、CPU6が実行する撮影した画像データに対するコントラスト処理に関する処理手順を図2のフローチャートに従い説明する。なお、以下の説明において、処理対象の画像データは、VGA(640×480)サイズの8bit画像データであるものとする。
【0032】
まず、CPU6は、出力データに設定する暗側基準値(出力側低輝度値)KoLと明側基準値(出力側高輝度値)KoHとにおける、輝度の最大値に対する割合(KoL/最大輝度、KoH/最大輝度)を計算する(ステップSA1)。暗側基準値KoLと明側基準値KoHの値は、後段の画像処理内容や出力装置により異なるが、前記液晶表示装置10が表現できる画像データに制限がある場合、例えば240以上は白になってしまう場合は「KoH=240」であり、16以下は黒になってしまう場合は「KoL=16」である。なお、前記の輝度の最大値に対する割合が固定値である場合には、ステップSA1は不要である。
【0033】
次に、元画像における輝度のヒストグラム(図3(a)参照)を検出した後(ステップSA2)、ステップSA1で求めた割合を分布の割合とみなし、上記ヒストグラムにおいて、その割合に該当する輝度値(KinL,KinH)を取得し、それを入力側の輝度データの暗側基準値(入力側低輝度値)KinLと明側基準値(入力側高輝度値)KinHに設定する(ステップSA3)。
【0034】
かかる処理では、KoL=16、KoH=240と設定した場合、
処理前の輝度データを小さい順に並べたときのn番目の輝度データの輝度をydata(n)と表現すると、
KinL=ydata((640×480)×( 16/255))
KinH=ydata((640×480)×(240/255))
となり、
KinLは、ヒストグラムの下から19275番目の輝度データの値
KinHは、ヒストグラムの下から289129番目の輝度データの値
となる。
【0035】
しかる後、KinL,KinH,KoL,KoHを基に、KinLがKoLに、かつKinHがKoHとなるように入力した輝度成分データ(Yデータ)に対して以下の輝度変換(本実施の形態では線形変換)を行う(ステップSA4)。より具体的には、以下の計算に基づき元画像の各画素の輝度値kを、新たな輝度値k’に変換し、処理を終了する。
(1)k<KinL のとき、
k’=(k/KinL)×KoL
(2)KinL<=k<KinH のとき、
k’=((k−KinL)/(KinH−KinL))×(KoH−KoL)+KoL
(3) KinH<=k のとき、
k’=((k−KinH)/(255−KinH))×(255−KoH)+KoH
【0036】
図3(c)は、以上のコントラスト処理の前後におけるトーンカーブを示した図であり、かかる処理においては、入力側の暗側基準値KinLと明側基準値KinHとが、元画像の輝度分布状態に応じて変化する。したがって、処理後の画像に、従来技術で説明したコントラスト処理とは異なり、元画像の輝度分布(図3(a)参照)が反映された輝度分布(図3(b)参照)を確保することができる。つまり、個々の画像に適した輝度調整を行うことができるとともに、画像内の重要な部分に「白とび」や「黒つぶれ」が生じる事態をなくし、常に良好な画像を得ることが可能となる。
【0037】
(第2の実施の形態)
次に、本発明の第2の実施の形態について説明する。本実施の形態は、撮影した画像データに対して、以下に述べるコントラスト処理を行う電子スチルカメラに関するものである。なお、電子スチルカメラの電気的構成、及び処理対象となる画像データについては、第1の実施の形態と同様である。
【0038】
図4は、本実施の形態におけるCPU6の処理動作を示すフローチャートである。CPU6は、第1の実施の形態と同様の手順で、入力側の暗側及び明側の設定値KinL,KinHを取得する(ステップSB1〜SB3)。次に、ステップSB2で取得したヒストグラムに基づき元画像の輝度平均を算出した後(ステップSB4)、ここで算出した輝度平均と、処理後の画像に確保すべき輝度平均(以下、目標輝度平均)とを比較する(ステップSB5)。目標輝度平均は、予め決められている輝度値であって、一般に画像の輝度平均として好まれている範囲(8bit輝度データでは、およそ128〜192)の輝度値であり、例えば「144」である。
【0039】
そして、輝度平均が目標輝度平均よりも小さいとき、すなわち元画像が比較的暗い画像の場合には(ステップSB5でYES)、出力側の暗側基準値KoLを入力側の設定値KinLと同一の値に変更した後(ステップSB6)、第1の実施の形態と同様の輝度変換(線形変換)を行う。つまり、入力側の暗側設定値KinLを越える範囲の輝度データのみを変換対象とした輝度変換(以下、白側のコントラスト処理)を行い(ステップSB8)、処理を終了する。図5(c)は、白側のコントラスト処理の例を示した図であり、出力側の設定値がKoL=32、KoH=235、入力側の設定値がKinL=32、KinH=140で、かつ輝度平均=64の場合である。なお、同図(a)は処理前の輝度分布、同図(b)は処理後の輝度分布を示す図である。この場合には、画像の明るい部分がより明るくなる。
【0040】
また、輝度平均が目標輝度平均よりも大きいとき、すなわち元画像が比較的明るい画像の場合には(ステップSB5でNO)、出力側の明側基準値KoHを入力側の設定値KinHと同一の値に変更した後(ステップSB7)、第1の実施の形態と同様の輝度変換(線形変換)を行う。つまり入力側の設定値KinH以下の輝度データのみを変換対象とした輝度変換(以下、黒側のコントラスト処理という)を行い(ステップSB8)、処理を終了する。図6(c)は、黒側のコントラスト処理の例を示した図であり、出力側の設定値がKoL=32、KoH=191、入力側の設定値がKinL=80、KinH=191で、かつ輝度平均=155の場合である。なお、同図(a)は処理前の輝度分布、同図(b)は処理後の輝度分布を示す図である。この場合には、画像の暗い部分がより暗くなる。
【0041】
以上のように、本実施の形態においては、暗い画像の場合には、画像の明るい部分がより明るなり、明るい画像の場合には、画像の暗い部分がより暗くなることから、コントラスト調整と同時に、主要画像領域における輝度変化のリニアリティを変更することなく、輝度分布の最適化を行うことができる。
【0042】
(第3の実施の形態)
次に、本発明の第3の実施の形態について説明する。本実施の形態は、撮影した画像データに対して、以下に述べるコントラスト処理を行う電子スチルカメラに関するものである。なお、電子スチルカメラの電気的構成、及び処理対象となる画像データについては、第1の実施の形態と同様である。
【0043】
図7は、本実施の形態におけるCPU6の処理動作を示すフローチャートであって、CPU6は、第1の実施の形態と同様の手順で、入力側の暗側及び明側の設定値KinL,KinHを取得する(ステップSC1〜SC3)。次に、ステップSC2で取得したヒストグラムに基づき元画像の輝度平均を算出した後(ステップSC4)、ここで算出した輝度平均と、処理後の画像に確保すべき輝度平均(以下、目標輝度平均)とを比較する(ステップSC5)。そして、その比較結果に応じて、後述する新たな暗側基準値KoL’と明側基準値KoH’とを演算するときの演算条件を設定する。
【0044】
すなわち、処理前の平均輝度が目標輝度平均に対して小さい(目標よりも暗い)時は、
演算条件を
KoL'=KoL,
KoH'=KoL'+((目標輝度平均−KoL')×(KinH−KinL)/(平均輝度−KinL))
とし(ステップSC6)、
処理前の平均輝度が目標輝度平均に対して大きい(目標よりも明るい)時は、
演算条件を
KoH'=KoH,
KoL'=KoH'−((KoH'−目標輝度平均)×(KinH−KinL)/(KinH−平均輝度))
とする(ステップSC7)。
【0045】
しかる後、ここで取得した KoL’,KoH’とステップSC3で取得したKinL,KinHとを基に、KinLがKoL’に、かつKinHがKoH’となるように入力した輝度データ(Yデータ)に対して輝度変換(線形変換)を行う(ステップSC9)。より具体的には、以下の計算に基づき元画像の各画素の輝度値kを、新たな輝度値k’に変換し、処理を終了する。
(1)k<KinL のとき、
k’=(k/KinL)×KoL’
(2)KinL<=k<KinH のとき、
k’=((k−KinL)/(KinH−KinL))×(KoH’−KoL’)+KoL’(3)KinH<=k のとき、
k’=((k−KinH)/(255−KinH))×(255−KoH’)+KoH’
【0046】
図8(c)は、以上のコントラスト処理の前後におけるトーンカーブを示した図であり、かかる実施の形態においては、元画像の平均輝度値と出力側に求められている目標平均輝度との比率に応じ、新たな出力側の設定値KoL’,KoH’を求め、それに基づき輝度変換を行うことから、処理後の画像の輝度幅を(図8(a)参照)、元画像の輝度幅に応じた自然な輝度幅(図8(b)参照)とすることができる。したがって、コントラスト処理によって画像全体の輝度が著しく変化することが防止でき、コントラスト調整と同時に最適な輝度調整が可能となる。
【0047】
また、前述した第2の実施の形態において懸念される次のような事態が回避できる。すなわち、処理前の輝度平均が目標輝度平均に対して小さい(目標よりも暗い画像の)時、処理後における輝度平均が目標輝度平均を大きく上回る(明るくなり過ぎる)といった事態や、処理前の輝度平均が目標輝度平均に対して大きい(目標よりも明るい画像の)時、処理後における輝度平均が目標輝度平均を大きく下回る(暗くなり過ぎる)といった事態を回避することが可能となる。なお、図9は、前者の場合を示した図8に対応する図である。
【0048】
(第4の実施の形態)
本実施の形態は、前述した各実施の形態において、最終的な輝度変換における輝度の演算ゲインを、前述した入力側の暗側及び明側の設定値(KinL,KinH)の間の輝度幅と、前述した出力側の暗側及び明側の設定値(KoL,KoH、又はKoL’,KoH’)の間の輝度幅との比率に応じて抑制するものである。
【0049】
すなわち、第3の実施の形態で図8に示した処理に即して説明すると、
GAINmax=(KoH'−KoL)/(KinH−KinL)
(ここで、GAINmaxは、演算ゲインの最大値)
とするものであり、より具体的には、以下の計算によって得られた演算ゲインに基づき輝度変換を行う。
【0050】
すなわち、演算ゲインをgとすると、
(1)k<KinL のとき、
g=(KoL’/KinL)
(2)KinL<=k<KinH のとき、
g=(KoH’−KoL’)/(KinH−KinL)
(3)KinH<=k のとき、
g=((255−KoH’)/(255−KinH)
により演算ゲインを求め、これに基づき輝度変換を行うようにする。
【0051】
図10(c)は、以上のコントラスト処理の前後におけるトーンカーブを示した図であり、本実施の形態においては、トーンカーブの傾きを輝度変換処理に即して自然な状態で抑制することができる。したがって、画像に含まれるノイズ成分が目立たなくなり、より高い画質を確保することができる。なお、図10(a)、(b)は、コントラスト処理の前後における画像の輝度分布の変化を示す図である。
【0052】
(第5の実施の形態)
次に、本発明の第5の実施の形態について説明する。本実施の形態は、撮影した画像データに対して、以下に述べるコントラスト処理を行う電子スチルカメラに関するものである。なお、電子スチルカメラの電気的構成、及び処理対象となる画像データについては、第1の実施の形態と同様である。
【0053】
図11は、本実施の形態におけるCPU6の処理動作を示すフローチャートであって、CPU6は、第1の実施の形態と同様の手順で、入力側の暗側及び明側の設定値KinL,KinHを取得する(ステップSD1〜SD3)。
【0054】
次に、出力側の明側基準値KoHが、入力側の明側の設定値KinHよりも大きいときで、さらに、出力側の暗側の設定値KoLが、入力側の暗側の設定値KinLよりも小さいときには(ステップSD4、SD6が共にNO)、設定値の修正を行わず、第1の実施の形態と同様の輝度変換(線形変換)を行う(ステップSD9)。
【0055】
また、出力側の明側基準値KoHが、入力側の明側の設定値KinHよりも大きいときで、さらに、出力側の暗側の設定値KoLが、入力側の暗側の設定値KinLよりも大きいときには(ステップSD4がNO、SD6がYES)、出力側の暗側基準値KoLを入力側の暗側の設定値KinLと同一の値に変更する (ステップSD8)。
【0056】
つまり第2の実施の形態で既説した、入力側の設定値KinLを越える範囲の輝度データのみを変換対象とした白側のコントラスト処理を行う設定値とする。その後、第1の実施の形態と同様の輝度変換(線形変換)を行う(ステップSD9)。
【0057】
また、出力側の明側基準値KoHが、入力側の明側の設定値KinHよりも小さいときで、さらに、出力側の暗側の設定値KoLが、入力側の暗側の設定値KinLよりも小さいときには(ステップSD4がYES、SD5がNO)、出力側の明側基準値KoHを入力側の設定値KinHと同一の値に変更する(ステップSD7)。
【0058】
つまり第2の実施の形態で既説した、入力側の設定値KinH以下の輝度データのみを変換対象とした黒側のコントラスト処理を行う設定値とする。その後、第1の実施の形態と同様の輝度変換(線形変換)を行う(ステップSD9)。
【0059】
また、出力側の明側基準値KoHが、入力側の明側の設定値KinHよりも小さいときで、さらに、出力側の暗側の設定値KoLが、入力側の暗側の設定値KinLよりも大きいときには(ステップSD4、SD5が共にYES)、そのまま処理を終了する。
【0060】
かかる処理においては、コントラスト処理の効果が確実に出る条件画像に対してのみ処理が行われることとなる。したがって、画像処理における無駄な処理処理時間、消費電力を削減することができる。
【0061】
(第6の実施の形態)
一方、前述したコントラスト処理においては、元画像における輝度のヒストグラムを、撮像素子3によって取り込まれた画像全体の輝度データから取得するようにしたが、図12(a)に示すように、全画像領域50内に、予め輝度データの検出エリアを検出する検出エリアA(形状は任意)を設定しておき、前述した各コントラスト処理においては、検出エリアAにおける輝度のヒストグラムを用いるようにしてもよい。かかる構成においては、予め画像の重要な部分に検出エリアAを設定することにより、画像の重要な部分に最適な輝度処理を行うことができる。したがって、画像の重要な部分、及びその周辺が確実に鮮明になるという利点がある。
【0062】
また、前記検出エリアAを撮影時におけるフォーカスエリア、又はフォーカスエリアを含む範囲とすれば、撮影された画像の重要な部分における最適な輝度処理を確実に行うことができる。また、電子スチルカメラの使用者にあっては、検出エリアAを事前に設定する必要がなく、使用者に負担をかけることなく、撮影された画像の重要な部分、及びその周辺を鮮明にすることができる。
【0063】
また、前記検出エリアAを撮影時における露光量検出エリア、又は露光量検出エリアを含む範囲としてもよい。その場合においても、撮影された画像の重要な部分における最適な輝度処理を確実に行うことができる。しかも、電子スチルカメラの使用者にあっては、検出エリアAを事前に設定する必要がなく、使用者に負担をかけることなく、撮影された画像の重要な部分、及びその周辺を鮮明にすることができる。
【0064】
また、例えば図12(b)に示すように、予め全画像領域50を複数に分割することによって複数の検出エリアA1〜Anを設定しておき、撮影時や撮影後など、前述したコントラスト処理を行う以前に、使用者に重要な部分に対応する1又は複数(互いに隣接していると否とは問わない)の検出エリアを選択させ、選択された検出エリアにおける輝度のヒストグラムを用いて前述したコントラスト処理を行わせてもよい。その場合においても、撮影された画像の重要な部分、及びその周辺を鮮明にすることができる。さらには、選択された検出エリアだけでなく、それに隣接する複数の検出エリアを含む範囲における輝度のヒストグラムを用いるようにしてもよい。
【0065】
なお、以上説明した各実施の形態においては、カラープロセッサ4が輝度成分データ(Yデータ)を出力するものであり、CPU6がその輝度データ(Yデータ)に対して前述した処理を行う場合について説明したが、カラープロセッサ4が画像データとしてR,G,Bデータを出力するものである場合には、それらのデータについて前述したと同様の処理を行うようにしてもよい。また、電子スチルカメラ1が、撮像素子3によって取り込んだ画像に対してコントラスト処理を行う場合について説明したが、これに限らず、任意の画像ファイル等の画像ソースに対してコントラスト処理を行う他の画像処理装置に本発明を適用してもよい。その場合であっても前述した効果を得ることができる。また、主としてCPU6に所定の処理動作を行わせることにより、本発明の分布情報取得手段、設定値取得手段、設定手段などの各手段を実現したものについて説明したが、本発明の各手段を電器回路によって構成するようにしても構わない。
【0066】
【発明の効果】
以上説明したように、本発明によれば、入力されたカラー画像データからヒストグラムを取得し、このカラー画像データの出力側の表現できる制限内容に基づいて出力側低輝度値および出力側高輝度値を取得し、この出力側低輝度値および出力側高輝度値に対応する入力側低輝度値および入力側高輝度値を、ヒストグラムデータにおける輝度分布の割合から設定する。そして、出力側の目標平均輝度値と、入力されたカラー画像データの平均輝度値とを比較し、設定された入力側低輝度値および入力側高輝度値と、この比較結果とに基づいて、入力されたカラー画像データの輝度成分を低輝度側または高輝度側に選択的に制御するようにしたので、画像の内容に適したコントラスト調整が可能となる。
【図面の簡単な説明】
【図1】本発明の一実施の形態を示す電子スチルカメラの概略ブロック図である。
【図2】同実施の形態においてCPUが実行するコントラスト処理に関する処理手順を示すフローチャートである。
【図3】同実施の形態におけるコントラスト処理の内容及び、その結果を示す図であって、(a)は処理前の画像の輝度分布の変化を示すヒストグラム、(b)は処理後の画像の輝度分布の変化を示すヒストグラム、(c)は処理前後のトーンカーブを示す図である。
【図4】本発明の第2の実施の形態においてCPUが実行するコントラスト処理に関する処理手順を示すフローチャートである。
【図5】同実施の形態における白側のコントラスト処理の内容及び、その結果を示す、図3に対応する図である。
【図6】同実施の形態における黒側のコントラスト処理の内容及び、その結果を示す、図3に対応する図である。
【図7】本発明の第3の実施の形態においてCPUが実行するコントラスト処理に関する処理手順を示すフローチャートである。
【図8】同実施の形態におけるコントラスト処理の内容及び、その結果を示す、図3に対応する図である。
【図9】同実施の形態で回避可能となるコントラスト処理の内容及び、その結果を示す、図3に対応する図である。
【図10】本発明の第4の実施の形態におけるコントラスト処理の内容及び、その結果を示す、図3に対応する図である。
【図11】本発明の第5の実施の形態においてCPUが実行するコントラスト処理に関する処理手順を示すフローチャートである。
【図12】本発明の第6の実施の形態における、輝度データの検出エリアを示す図である。
【図13】従来技術におけるコントラスト処理の内容及び、その結果を示す図である。
【符号の説明】
1 電子スチルカメラ
3 撮像素子
4 カラープロセッサ
6 CPU
7 記録メディア
8 ROM
9 RAM
A 検出エリア
KinH 入力データの明側基準値
KinL 入力データの暗側基準値
KoH 出力データの明側基準値
KoH’ 出力データの明側基準値(補正後)
KoL 出力データの暗側基準値
KoL’ 出力データの暗側基準値(補正後)
[0001]
BACKGROUND OF THE INVENTION
The present invention is an image processing apparatus suitable for use in image contrast adjustment. , Image processing method, and image processing program About.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, in an electronic still camera or the like that records an image using a CCD type or MOS type imaging device, for example, the contrast shown in FIG. Processing was in progress. In this figure, KinL and KinH are set values on the low luminance side and high luminance side of the image data on the input side, KoL and KoH are set values on the low luminance side and high luminance side of the image data on the output side, In conventional contrast processing, predetermined conversion processing is performed in which the luminance values (KinL, KinH) set on the input side are set to the set luminance values (KoL, KoH).
[0003]
Each set value is a value set in advance according to the bias of the luminance distribution of the output data existing in the image sensor, the image recording method, etc.
・ KinL: Blackout side detection threshold
・ KinH: Detection threshold on the white-out side
-KoL: Reference value on the black side when generating output data
-KoH: White side reference value when generating output data
It has become.
[0004]
In such contrast processing, for example, when the luminance data is 8 bits, KinL = 32, KinH = 224, KoL = 0, KoH = 255, the input data below 32 is output as 0 and the data above 224 is 255. Is output. That is, the input data of 32 to 224 is linearly converted to 0 to 255 and output. As a result, a predetermined luminance width suitable for subsequent processing is secured in the image data.
[0005]
[Problems to be solved by the invention]
However, in the above-described contrast processing, a fixed value set in advance is used as the detection threshold value (KinL, KinH) on the input side. Therefore, the effect of the contrast processing differs depending on the luminance distribution state in the input image data. Has occurred. In addition, when important image information is present in a high-luminance portion or a low-luminance portion, there is a problem that “whiteout” or “blackout” may occur in an important portion of the image. FIG. 13 is a diagram showing an example in which “blackout” occurs in an important part in an image, where FIG. 13A shows a histogram of luminance components in the original image before processing, and FIG. 13B shows processing. It is a histogram of the luminance component in the subsequent image. An image in which “blackout” occurs is, for example, a portrait in which the face is photographed with backlight.
[0006]
The present invention has been made in view of such conventional problems, and an image processing apparatus capable of adjusting contrast suitable for the content of an image. , Image processing method, and image processing program The purpose is to provide.
[0007]
[Means for Solving the Problems]
In order to solve the above-mentioned problem, the invention according to claim 1 is characterized in that input means for inputting color image data and histogram data for acquiring histogram data indicating a frequency distribution of luminance of the color image data input by the input means. An output-side low-intensity value based on the restriction content of the color image data that can be expressed by the acquisition means and the output side that outputs the input color image data; Output side high brightness value Output side luminance value acquisition means for acquiring the output side low luminance value acquired by the output side luminance value acquisition means and Output side high brightness value Input-side luminance value setting means for setting the input-side low luminance value and the input-side high luminance value from the ratio of the luminance distribution in the histogram data acquired by the histogram data acquiring means, and the target average luminance on the output side Target average luminance acquisition means for acquiring a value, average luminance acquisition means for acquiring an average luminance value of the input color image data, and the target average luminance value on the output side acquired by the target average luminance acquisition means, Comparison means for comparing the average brightness value acquired by the average brightness acquisition means, input-side low brightness value and input-side high brightness value set by the input-side brightness value setting means, and comparison results by the comparison means Based on the above, the luminance is converted by selectively controlling the luminance component of the input color image data to the low luminance side or the high luminance side. Characterized in that a switch means.
[0009]
According to a second aspect of the present invention, in the first aspect of the present invention, the ratio between the average luminance value acquired by the average luminance acquisition unit and the target average luminance value acquired by the target average luminance acquisition unit is calculated. First calculation means for calculating, second calculation means for calculating a new output-side low luminance value and output-side high luminance value according to the ratio calculated by the first calculation means, and the second calculation A new output-side low brightness value and output-side high brightness value calculated by the means, the output-side low brightness value acquired by the output-side brightness value acquiring means, and Output side high brightness value And an output-side luminance value setting means for setting.
[0013]
Claims 3 The invention described is the above claim 1. Or 2 In the described invention, a calculating unit that calculates a ratio between a luminance width between the input-side low luminance value and the input-side high luminance value and a luminance width between the output-side low luminance value and the output-side high luminance value; The apparatus further comprises suppression means for suppressing the rate of change in luminance on the output side in accordance with the ratio calculated by the calculation means.
[0015]
Claims 4 The invention described is the above-mentioned claims 1 to 3 In any one of the inventions, the histogram data acquired by the histogram data acquisition means is data in one or a plurality of detection areas set in the input color image data.
[0017]
Claims 5 The invention described is the above-mentioned claims 1 to 4 In any one of the inventions, the image pickup device further includes an image pickup device, and the input device inputs color image data acquired based on the image pickup by the image pickup device.
[0019]
Claims 6 The invention described is the above claim. 5 In the described invention, the detection area includes a focus area at the time of photographing by the imaging means.
[0021]
Claims 7 The invention described is the above claim. 5 or 6 In the described invention, the detection area includes an exposure amount detection area at the time of photographing by the imaging means.
[0023]
In order to solve the problems, the claims 8 The described invention includes an input step of inputting color image data, a histogram data acquisition step of acquiring histogram data indicating a frequency distribution of luminance of the color image data input in the input step, and the input color image The output side low brightness value and the color image data that can be expressed by the output side Output side high brightness value Output-side luminance value acquisition step, and the output-side low luminance value acquired in the output-side luminance value acquisition step and Output side high brightness value An input side luminance value setting step for setting the input side low luminance value and the input side high luminance value from the ratio of the luminance distribution in the histogram data acquired in the histogram data acquisition step, and the output side target average A target average luminance acquisition step for acquiring a luminance value, an average luminance acquisition step for acquiring an average luminance value of the input color image data, and the target average luminance on the output side acquired in the target average luminance acquisition step A comparison step of comparing the value with the average luminance value acquired in the average luminance acquisition step, the input side low luminance value and the input side high luminance value set in the input side luminance value setting step, and the comparison Based on the comparison result of the step, the luminance component of the input color image data is selectively controlled to the low luminance side or the high luminance side. Characterized by comprising the luminance conversion step of performing luminance conversion.
[0025]
In order to solve the problems, the claims 9 The invention described in the above description is directed to an input unit for inputting color image data, a histogram data acquisition unit for acquiring histogram data indicating a frequency distribution of luminance of the color image data input by the input unit, and the input color image. The output side low brightness value and the color image data that can be expressed by the output side Output side high brightness value Output side luminance value acquisition means for acquiring the output side low luminance value acquired by the output side luminance value acquisition means and Output side high brightness value Input side luminance value setting means for setting the input side low luminance value and the input side high luminance value from the ratio of the luminance distribution in the histogram data acquired by the histogram data acquisition means, the target average luminance value on the output side Target average brightness acquisition means for acquiring, average brightness acquisition means for acquiring an average brightness value of the input color image data, target average brightness value on the output side acquired by the target average brightness acquisition means and the average brightness Comparing means for comparing the average luminance value acquired by the acquiring means, based on the input low luminance value and the input high luminance value set by the input luminance value setting means, and the comparison result by the comparing means , Luminance conversion means for performing luminance conversion by selectively controlling the luminance component of the input color image data to the low luminance side or the high luminance side It characterized thereby to function.
[0028]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
(First embodiment)
FIG. 1 is a schematic block diagram showing an electronic still camera 1 including a luminance conversion apparatus according to the first embodiment of the present invention.
[0029]
The electronic still camera 1 has an imaging lens 2, an imaging element 3, and a color processor 4. The imaging device 3 captures the subject image formed by the imaging lens 2 and outputs it to the color processor 4 as an analog color image signal. The color processor 4 performs signal processing such as gain adjustment of an analog image pickup signal output from the image pickup device 3 and generation of luminance data (Y data) and two color data (Cb, Cr data) from each pixel of the color image. , And each image signal (Y, Cb, Cr) is converted into a digital signal. The color processor 4 is connected to the CPU 6 via the bus 5, and the image data sent from the color processor 4 is sent to the CPU 6. The CPU 6 compresses the image data sent from the color processor 4 into image data having a predetermined format such as JPEG format, and records the compressed image data in a flash memory or the like connected via the bus 5. It is recorded on the medium 7.
[0030]
A ROM 8 and a RAM 9 are connected to the CPU 6 via the bus 5, and the ROM 8 stores various control programs executed by the CPU 6 and various data used when controlling each unit. And CPU6 functions as each means, such as a distribution information acquisition means of this invention, a setting value acquisition means, a setting means, by controlling each part based on the said control program. The RAM 9 temporarily stores image data for one frame output from the color processor 4, and also serves as a work memory for storing various data as necessary in accordance with image data compression work by the CPU 6 and control of each unit. used. The image data recorded on the recording medium 7 is displayed on the liquid crystal display device 10 after being decompressed by the CPU 6 during reproduction. Further, the image displayed in the shooting standby state is displayed on the liquid crystal display device 10 as a through image.
[0031]
Next, in the electronic still camera 1, a processing procedure related to contrast processing for captured image data executed by the CPU 6 will be described with reference to the flowchart of FIG. In the following description, it is assumed that the image data to be processed is VGA (640 × 480) size 8-bit image data.
[0032]
First, the CPU 6 determines the ratio (Kol / maximum luminance) of the maximum value of luminance between the dark side reference value (output side low luminance value) KoL and the bright side reference value (output side high luminance value) KoH set in the output data. KoH / maximum luminance) is calculated (step SA1). The values of the dark side reference value KoL and the bright side reference value KoH vary depending on the image processing content and output device in the subsequent stage, but when the image data that can be expressed by the liquid crystal display device 10 is limited, for example, 240 or more is white. "KoH = 240", and when 16 or less is black, "KoL = 16". If the ratio of the luminance to the maximum value is a fixed value, step SA1 is not necessary.
[0033]
Next, after detecting a luminance histogram (see FIG. 3A) in the original image (step SA2), the ratio obtained in step SA1 is regarded as a distribution ratio, and the luminance value corresponding to the ratio in the histogram is determined. (KinL, KinH) is acquired and set to the dark side reference value (input side low luminance value) KinL and the bright side reference value (input side high luminance value) KinH of the luminance data on the input side (step SA3).
[0034]
In such processing, when KoL = 16 and KoH = 240 are set,
If the luminance of the nth luminance data when luminance data before processing is arranged in ascending order is expressed as ydata (n),
KinL = ydata ((640 × 480) × (16/255))
KinH = ydata ((640 × 480) × (240/255))
And
KinL is the value of the 19275th luminance data from the bottom of the histogram.
KinH is the value of the 289129th luminance data from the bottom of the histogram
It becomes.
[0035]
Thereafter, based on KinL, KinH, KoL, and KoH, the following luminance conversion (linear in the present embodiment) is performed on the luminance component data (Y data) that is input so that KinL becomes KoL and KinH becomes KoH. Conversion) (step SA4). More specifically, the luminance value k of each pixel of the original image is converted into a new luminance value k ′ based on the following calculation, and the process ends.
(1) When k <KinL
k ′ = (k / KinL) × KoL
(2) When KinL <= k <KinH,
k ′ = ((k−KinL) / (KinH−KinL)) × (KoH−KoL) + KoL
(3) When KinH <= k,
k ′ = ((k−KinH) / (255−KinH)) × (255−KoH) + KoH
[0036]
FIG. 3C is a diagram showing tone curves before and after the above contrast processing. In such processing, the dark side reference value KinL and the bright side reference value KinH on the input side represent the luminance distribution of the original image. It changes according to the state. Therefore, unlike the contrast processing described in the prior art, a luminance distribution (see FIG. 3B) reflecting the luminance distribution of the original image (see FIG. 3A) is secured in the processed image. Can do. In other words, it is possible to perform brightness adjustment suitable for individual images, eliminate the occurrence of “overexposure” and “blackout” in important parts of the image, and always obtain a good image. .
[0037]
(Second Embodiment)
Next, a second embodiment of the present invention will be described. The present embodiment relates to an electronic still camera that performs contrast processing described below on captured image data. The electrical configuration of the electronic still camera and the image data to be processed are the same as those in the first embodiment.
[0038]
FIG. 4 is a flowchart showing the processing operation of the CPU 6 in the present embodiment. The CPU 6 acquires setting values KinL and KinH on the dark side and the bright side on the input side in the same procedure as in the first embodiment (steps SB1 to SB3). Next, after calculating the luminance average of the original image based on the histogram acquired in step SB2 (step SB4), the luminance average calculated here and the luminance average to be secured in the processed image (hereinafter, target luminance average) Are compared (step SB5). The target luminance average is a luminance value that is determined in advance, and is a luminance value in a range that is generally preferred as an average luminance of an image (approximately 128 to 192 in 8-bit luminance data), for example, “144”. .
[0039]
When the average brightness is smaller than the target average brightness, that is, when the original image is a relatively dark image (YES in step SB5), the dark reference value KoL on the output side is the same as the set value KinL on the input side. After changing to a value (step SB6), luminance conversion (linear conversion) similar to that of the first embodiment is performed. That is, luminance conversion (hereinafter, white-side contrast processing) is performed only for luminance data in a range exceeding the dark-side set value KinL on the input side (hereinafter, white-side contrast processing), and the processing is terminated. FIG. 5C is a diagram showing an example of white side contrast processing. The output side set values are KoL = 32, KoH = 235, the input side set values are KinL = 32, and KinH = 140. And the luminance average = 64. FIG. 4A shows a luminance distribution before processing, and FIG. 4B shows a luminance distribution after processing. In this case, the bright part of the image becomes brighter.
[0040]
Further, when the luminance average is larger than the target luminance average, that is, when the original image is a relatively bright image (NO in step SB5), the output-side bright reference value KoH is the same as the input-side set value KinH. After changing to a value (step SB7), luminance conversion (linear conversion) similar to that of the first embodiment is performed. That is, luminance conversion (hereinafter referred to as black side contrast processing) is performed only on luminance data of the input side set value KinH or less (step SB8), and the processing is terminated. FIG. 6C is a diagram showing an example of black side contrast processing. The output side set values are KoL = 32, KoH = 191, the input side set values are KinL = 80, and KinH = 191. And the luminance average = 155. FIG. 4A shows a luminance distribution before processing, and FIG. 4B shows a luminance distribution after processing. In this case, the dark part of the image becomes darker.
[0041]
As described above, in the present embodiment, in the case of a dark image, the bright part of the image becomes brighter, and in the case of a bright image, the dark part of the image becomes darker. The luminance distribution can be optimized without changing the linearity of the luminance change in the main image area.
[0042]
(Third embodiment)
Next, a third embodiment of the present invention will be described. The present embodiment relates to an electronic still camera that performs contrast processing described below on captured image data. The electrical configuration of the electronic still camera and the image data to be processed are the same as those in the first embodiment.
[0043]
FIG. 7 is a flowchart showing the processing operation of the CPU 6 in the present embodiment. The CPU 6 sets the input side dark side and bright side set values KinL and KinH in the same procedure as in the first embodiment. Obtain (steps SC1 to SC3). Next, after calculating the luminance average of the original image based on the histogram acquired in step SC2 (step SC4), the luminance average calculated here and the luminance average to be secured in the processed image (hereinafter, target luminance average) Are compared (step SC5). Then, according to the comparison result, calculation conditions for calculating a new dark side reference value KoL ′ and a bright side reference value KoH ′ to be described later are set.
[0044]
That is, when the average brightness before processing is smaller than the target brightness average (darker than the target),
Calculation conditions
KoL '= KoL,
KoH ′ = KoL ′ + ((target luminance average−KoL ′) × (KinH−KinL) / (average luminance−KinL))
(Step SC6),
When the average brightness before processing is larger than the target brightness average (brighter than the target),
Calculation conditions
KoH '= KoH,
KoL ′ = KoH ′ − ((KoH′−target luminance average) × (KinH−KinL) / (KinH−average luminance))
(Step SC7).
[0045]
Thereafter, based on the KoL ′, KoH ′ acquired here and the KinL, KinH acquired in step SC3, the luminance data (Y data) input so that KinL becomes KoL ′ and KinH becomes KoH ′. On the other hand, luminance conversion (linear conversion) is performed (step SC9). More specifically, the luminance value k of each pixel of the original image is converted into a new luminance value k ′ based on the following calculation, and the process ends.
(1) When k <KinL
k ′ = (k / KinL) × KoL ′
(2) When KinL <= k <KinH,
k ′ = ((k−KinL) / (KinH−KinL)) × (KoH′−KoL ′) + KoL ′ (3) When KinH <= k
k ′ = ((k−KinH) / (255−KinH)) × (255−KoH ′) + KoH ′
[0046]
FIG. 8C is a diagram showing the tone curve before and after the above contrast processing. In this embodiment, the ratio between the average luminance value of the original image and the target average luminance obtained on the output side. Accordingly, new output side set values KoL ′ and KoH ′ are obtained, and luminance conversion is performed based on the new values, so that the luminance width of the processed image is set to the luminance width of the original image (see FIG. 8A). The natural luminance width (see FIG. 8B) can be obtained. Accordingly, it is possible to prevent the brightness of the entire image from changing significantly due to the contrast processing, and it is possible to perform optimal brightness adjustment simultaneously with contrast adjustment.
[0047]
Further, the following situation which is a concern in the second embodiment described above can be avoided. That is, when the luminance average before processing is smaller than the target luminance average (for images darker than the target), the luminance average after processing greatly exceeds the target luminance average (too bright), or the luminance before processing When the average is larger than the target luminance average (for an image brighter than the target), it is possible to avoid a situation in which the luminance average after processing is much lower than the target luminance average (too dark). FIG. 9 is a diagram corresponding to FIG. 8 showing the former case.
[0048]
(Fourth embodiment)
In the present embodiment, in each of the embodiments described above, the luminance calculation gain in the final luminance conversion is set to the luminance width between the input side dark side and bright side set values (KinL, KinH) described above. The output side dark side and bright side set values (KoL, KoH, or KoL ′, KoH ′) are suppressed according to the ratio to the luminance width.
[0049]
That is, in the case of explaining in the third embodiment in accordance with the process shown in FIG.
GAINmax = (KoH'-KoL) / (KinH-KinL)
(Here GAINmax is the maximum value of the calculation gain)
More specifically, the luminance conversion is performed based on the calculation gain obtained by the following calculation.
[0050]
That is, if the calculation gain is g,
(1) When k <KinL
g = (KoL '/ KinL)
(2) When KinL <= k <KinH,
g = (KoH'-KoL ') / (KinH-KinL)
(3) When KinH <= k,
g = ((255-KoH ') / (255-KinH)
Thus, the calculation gain is obtained, and the luminance conversion is performed based on the calculation gain.
[0051]
FIG. 10C is a diagram showing the tone curve before and after the above contrast processing. In the present embodiment, the inclination of the tone curve is suppressed in a natural state in accordance with the luminance conversion processing. it can. Therefore, the noise component included in the image is not noticeable, and higher image quality can be ensured. FIGS. 10A and 10B are diagrams showing changes in the luminance distribution of the image before and after the contrast processing.
[0052]
(Fifth embodiment)
Next, a fifth embodiment of the present invention will be described. The present embodiment relates to an electronic still camera that performs contrast processing described below on captured image data. The electrical configuration of the electronic still camera and the image data to be processed are the same as those in the first embodiment.
[0053]
FIG. 11 is a flowchart showing the processing operation of the CPU 6 in the present embodiment. The CPU 6 sets the input side dark side and bright side set values KinL and KinH in the same procedure as in the first embodiment. Obtain (steps SD1 to SD3).
[0054]
Next, when the output-side bright-side reference value KoH is larger than the input-side bright-side set value KinH, the output-side dark-side set value KoL further becomes the input-side dark-side set value KinL. If it is smaller (NO in both steps SD4 and SD6), the set value is not corrected, and luminance conversion (linear conversion) similar to that in the first embodiment is performed (step SD9).
[0055]
Further, when the output side bright side reference value KoH is larger than the input side bright side set value KinH, the output side dark side set value KoL is more than the input side dark side set value KinL. Is larger (step SD4 is NO, SD6 is YES), the dark side reference value KoL on the output side is changed to the same value as the dark side set value KinL on the input side (step SD8).
[0056]
That is, it is set as the setting value for performing the white-side contrast processing only for the luminance data in the range exceeding the input-side setting value KinL, which has already been described in the second embodiment. Thereafter, luminance conversion (linear conversion) similar to that of the first embodiment is performed (step SD9).
[0057]
Further, when the output-side bright-side reference value KoH is smaller than the input-side bright-side set value KinH, the output-side dark-side set value KoL is more than the input-side dark-side set value KinL. Is smaller (step SD4 is YES, SD5 is NO), the bright side reference value KoH on the output side is changed to the same value as the set value KinH on the input side (step SD7).
[0058]
In other words, as described above in the second embodiment, the setting value for performing the black-side contrast processing using only the luminance data not more than the input-side setting value KinH as the conversion target is used. Thereafter, luminance conversion (linear conversion) similar to that of the first embodiment is performed (step SD9).
[0059]
Further, when the output-side bright-side reference value KoH is smaller than the input-side bright-side set value KinH, the output-side dark-side set value KoL is more than the input-side dark-side set value KinL. Is larger (both steps SD4 and SD5 are YES), the process is terminated as it is.
[0060]
In this process, the process is performed only on the condition image that reliably produces the effect of the contrast process. Therefore, useless processing time and power consumption in image processing can be reduced.
[0061]
(Sixth embodiment)
On the other hand, in the contrast processing described above, the luminance histogram in the original image is acquired from the luminance data of the entire image captured by the image sensor 3, but as shown in FIG. A detection area A for detecting a detection area of luminance data (arbitrary shape) may be set in advance in 50, and a luminance histogram in the detection area A may be used in each contrast process described above. In such a configuration, by setting the detection area A in an important part of the image in advance, it is possible to perform optimum luminance processing for the important part of the image. Therefore, there is an advantage that an important part of the image and its periphery are surely clear.
[0062]
Further, if the detection area A is a focus area at the time of shooting or a range including the focus area, it is possible to reliably perform optimum luminance processing in an important part of the shot image. In addition, it is not necessary for the user of the electronic still camera to set the detection area A in advance, and the important portion of the photographed image and its periphery are sharpened without imposing a burden on the user. be able to.
[0063]
The detection area A may be an exposure amount detection area at the time of photographing or a range including an exposure amount detection area. Even in such a case, it is possible to reliably perform optimum luminance processing in an important part of the photographed image. In addition, it is not necessary for the user of the electronic still camera to set the detection area A in advance, and the important part of the photographed image and its periphery are sharpened without imposing a burden on the user. be able to.
[0064]
For example, as shown in FIG. 12B, the plurality of detection areas A1 to An are set in advance by dividing the entire image region 50 into a plurality of parts, and the above-described contrast processing is performed at the time of photographing or after photographing. Before performing, the user is allowed to select one or more detection areas (whether or not adjacent to each other) corresponding to an important part, and the luminance histogram in the selected detection area is used as described above. Contrast processing may be performed. Even in such a case, an important part of the photographed image and its periphery can be sharpened. Furthermore, not only the selected detection area but also a luminance histogram in a range including a plurality of detection areas adjacent thereto may be used.
[0065]
In each of the embodiments described above, the color processor 4 outputs luminance component data (Y data), and the CPU 6 performs the above-described processing on the luminance data (Y data). However, when the color processor 4 outputs R, G, B data as image data, the same processing as described above may be performed on these data. Further, the case where the electronic still camera 1 performs the contrast process on the image captured by the image sensor 3 has been described. However, the present invention is not limited to this, and other processes that perform the contrast process on an image source such as an arbitrary image file. The present invention may be applied to an image processing apparatus. Even in such a case, the effects described above can be obtained. Further, the description has been given of the implementation of the respective means such as the distribution information acquisition means, the set value acquisition means, and the setting means of the present invention mainly by causing the CPU 6 to perform predetermined processing operations. You may make it comprise with a circuit.
[0066]
【The invention's effect】
As described above, according to the present invention, the histogram is obtained from the input color image data, and the output side low luminance value and the output content of the color image data are expressed based on the limitation contents that can be expressed on the output side. Output side high brightness value Get this output low brightness value and Output side high brightness value Are set based on the ratio of the luminance distribution in the histogram data. Then, the target average luminance value on the output side is compared with the average luminance value of the input color image data, and based on the set input-side low luminance value and input-side high luminance value, and this comparison result, Since the luminance component of the input color image data is selectively controlled to the low luminance side or the high luminance side, it is possible to adjust the contrast suitable for the content of the image.
[Brief description of the drawings]
FIG. 1 is a schematic block diagram of an electronic still camera showing an embodiment of the present invention.
FIG. 2 is a flowchart showing a processing procedure regarding contrast processing executed by a CPU in the embodiment;
FIGS. 3A and 3B are diagrams showing the contents and results of contrast processing in the embodiment, where FIG. 3A is a histogram showing a change in luminance distribution of an image before processing, and FIG. 3B is an image of the image after processing; A histogram showing a change in luminance distribution, (c) is a diagram showing a tone curve before and after processing.
FIG. 4 is a flowchart illustrating a processing procedure related to contrast processing executed by a CPU according to the second embodiment of the present invention.
5 is a diagram corresponding to FIG. 3 and showing the content of white side contrast processing and the result thereof in the embodiment; FIG.
6 is a diagram corresponding to FIG. 3 and showing the content of black side contrast processing and the result thereof in the embodiment; FIG.
FIG. 7 is a flowchart showing a processing procedure related to contrast processing executed by a CPU in the third embodiment of the present invention;
8 is a diagram corresponding to FIG. 3, showing the contents of contrast processing and the results thereof in the embodiment. FIG.
FIG. 9 is a diagram corresponding to FIG. 3 and showing the contents of contrast processing that can be avoided in the embodiment and the results thereof;
FIG. 10 is a diagram corresponding to FIG. 3 and showing the contents and results of contrast processing in the fourth embodiment of the present invention.
FIG. 11 is a flowchart illustrating a processing procedure related to contrast processing executed by a CPU according to the fifth embodiment of the present invention.
FIG. 12 is a diagram illustrating a luminance data detection area in the sixth embodiment of the present invention.
FIG. 13 is a diagram showing the contents of contrast processing in the prior art and the results thereof.
[Explanation of symbols]
1 Electronic still camera
3 Image sensor
4 Color processor
6 CPU
7 Recording media
8 ROM
9 RAM
A Detection area
KinH Input data bright side reference value
KinL Input data dark side reference value
KoH Output data bright side reference value
KoH 'Bright side reference value of output data (after correction)
KoL Output data dark side reference value
KoL 'dark side reference value of output data (after correction)

Claims (9)

カラー画像データを入力する入力手段と、
この入力手段によって入力されたカラー画像データの輝度の度数分布を示すヒストグラムデータを取得するヒストグラムデータ取得手段と、
前記入力されたカラー画像データを出力する出力側が表現できるカラー画像データの制限内容に基づいて出力側低輝度値および出力側高輝度値を取得する出力側輝度値取得手段と、
この出力側輝度値取得手段によって取得された出力側低輝度値および出力側高輝度値に対応する入力側低輝度値および入力側高輝度値を、前記ヒストグラムデータ取得手段によって取得されたヒストグラムデータにおける輝度分布の割合から設定する入力側輝度値設定手段と、
前記出力側の目標平均輝度値を取得する目標平均輝度取得手段と、
前記入力されたカラー画像データの平均輝度値を取得する平均輝度取得手段と、
前記目標平均輝度取得手段によって取得された前記出力側の目標平均輝度値と前記平均輝度取得手段によって取得された平均輝度値とを比較する比較手段と、
前記入力側輝度値設定手段によって設定された入力側低輝度値および入力側高輝度値と、前記比較手段による比較結果とに基づいて、前記入力されたカラー画像データの輝度成分を低輝度側または高輝度側に選択的に制御して輝度変換を行う輝度変換手段と
を備えたことを特徴とする画像処理装置。
Input means for inputting color image data;
Histogram data acquisition means for acquiring histogram data indicating the frequency distribution of luminance of the color image data input by the input means;
Output-side luminance value acquisition means for acquiring an output-side low luminance value and an output-side high luminance value based on the restriction content of the color image data that can be expressed by the output side that outputs the input color image data;
The input side low luminance value and the input side high luminance value corresponding to the output side low luminance value and the output side high luminance value acquired by the output side luminance value acquiring unit are included in the histogram data acquired by the histogram data acquiring unit. Input side luminance value setting means for setting from the ratio of the luminance distribution;
Target average luminance acquisition means for acquiring a target average luminance value on the output side;
Average luminance acquisition means for acquiring an average luminance value of the input color image data;
Comparison means for comparing the target average luminance value on the output side acquired by the target average luminance acquisition means with the average luminance value acquired by the average luminance acquisition means;
Based on the input side low brightness value and the input side high brightness value set by the input side brightness value setting means and the comparison result by the comparison means, the brightness component of the input color image data is set to the low brightness side or An image processing apparatus comprising: luminance conversion means for performing luminance conversion by selectively controlling on the high luminance side.
前記平均輝度取得手段により取得された平均輝度値と前記目標平均輝度取得手段により取得された目標平均輝度値との比率を算出する第1の算出手段と、
この第1の算出手段より算出された比率に応じ新たな出力側低輝度値および出力側高輝度値を算出する第2の算出手段と、
この第2の算出手段により算出された新たな出力側低輝度値および出力側高輝度値を、前記出力側輝度値取得手段により取得された出力側低輝度値および出力側高輝度値に代えて設定する出力側輝度値設定手段と
を更に備えたことを特徴とする請求項1記載の画像処理装置。
First calculation means for calculating a ratio between the average brightness value acquired by the average brightness acquisition means and the target average brightness value acquired by the target average brightness acquisition means;
Second calculating means for calculating a new output-side low luminance value and output-side high luminance value according to the ratio calculated by the first calculating means;
The new output-side low luminance value and output-side high luminance value calculated by the second calculating unit are replaced with the output-side low luminance value and output-side high luminance value acquired by the output-side luminance value acquiring unit. The image processing apparatus according to claim 1, further comprising: an output-side luminance value setting unit for setting.
前記入力側低輝度値および入力側高輝度値の間の輝度幅と、前記出力側低輝度値および出力側高輝度値の間の輝度幅との比率を算出する算出手段と、
この算出手段より算出された比率に応じて出力側の輝度の変化率を抑制する抑制手段と
を更に備えたことを特徴とする請求項1又は2記載の画像処理装置。
Calculation means for calculating a ratio between a luminance width between the input-side low luminance value and the input-side high luminance value and a luminance width between the output-side low luminance value and the output-side high luminance value;
Suppressing means for suppressing the rate of change in luminance on the output side according to the ratio calculated by the calculating means;
The image processing apparatus according to claim 1, further comprising:
前記ヒストグラムデータ取得手段により取得されたヒストグラムデータは、入力されたカラー画像データに設定された1又は複数の検出エリアにおけるデータであることを特徴とする請求項1乃至3いずれか記載の画像処理装置。 4. The image processing apparatus according to claim 1, wherein the histogram data acquired by the histogram data acquisition means is data in one or a plurality of detection areas set in the input color image data. . 撮像手段を更に備え、
前記入力手段は、前記撮像手段による撮像に基づいて取得されたカラー画像データを入力することを特徴とする請求項1乃至4いずれか記載の画像処理装置。
Further comprising an imaging means,
The image processing apparatus according to claim 1, wherein the input unit inputs color image data acquired based on imaging by the imaging unit.
前記検出エリアは、前記撮像手段による撮影時におけるフォーカスエリアを含むことを特徴とする請求項5記載の画像処理装置。The image processing apparatus according to claim 5, wherein the detection area includes a focus area at the time of shooting by the imaging unit . 前記検出エリアは、前記撮像手段による撮影時における露光量検出エリアを含むことを特徴とする請求項5又は6記載の画像処理装置。The image processing apparatus according to claim 5, wherein the detection area includes an exposure amount detection area at the time of photographing by the imaging unit . カラー画像データを入力する入力ステップと、An input step for inputting color image data;
この入力ステップにて入力されたカラー画像データの輝度の度数分布を示すヒストグラムデータを取得するヒストグラムデータ取得ステップと、A histogram data acquisition step for acquiring histogram data indicating the frequency distribution of the luminance of the color image data input in this input step;
前記入力されたカラー画像データを出力する出力側が表現できるカラー画像データの制限内容に基づいて出力側低輝度値および出力側高輝度値を取得する出力側輝度値取得ステップと、An output-side luminance value acquisition step for acquiring an output-side low luminance value and an output-side high luminance value based on the restriction content of the color image data that can be expressed by the output side that outputs the input color image data;
この出力側輝度値取得ステップにて取得された出力側低輝度値および出力側高輝度値に対応する入力側低輝度値および入力側高輝度値を、前記ヒストグラムデータ取得ステップにて取得されたヒストグラムデータにおける輝度分布の割合から設定する入力側輝度値設定ステップと、The input side low luminance value and the input side high luminance value corresponding to the output side low luminance value and the output side high luminance value acquired in the output side luminance value acquisition step, the histogram acquired in the histogram data acquisition step An input side luminance value setting step set from the ratio of the luminance distribution in the data;
前記出力側の目標平均輝度値を取得する目標平均輝度取得ステップと、A target average luminance acquisition step of acquiring a target average luminance value on the output side;
前記入力されたカラー画像データの平均輝度値を取得する平均輝度取得ステップと、An average luminance acquisition step of acquiring an average luminance value of the input color image data;
前記目標平均輝度取得ステップにて取得された前記出力側の目標平均輝度値と前記平均輝度取得ステップにて取得された平均輝度値とを比較する比較ステップと、A comparison step of comparing the target average luminance value on the output side acquired in the target average luminance acquisition step with the average luminance value acquired in the average luminance acquisition step;
前記入力側輝度値設定ステップにて設定された入力側低輝度値および入力側高輝度値と、前記比較ステップによる比較結果とに基づいて、前記入力されたカラー画像データの輝度成分を低輝度側または高輝度側に選択的に制御して輝度変換を行う輝度変換ステップとBased on the input low luminance value and input high luminance value set in the input luminance value setting step and the comparison result in the comparison step, the luminance component of the input color image data is set to the low luminance side. Or a luminance conversion step for performing luminance conversion by selectively controlling to the high luminance side, and
からなることを特徴とする画像処理方法。An image processing method comprising:
コンピュータを、Computer
カラー画像データを入力する入力手段、Input means for inputting color image data;
この入力手段によって入力されたカラー画像データの輝度の度数分布を示すヒストグラムデータを取得するヒストグラムデータ取得手段、Histogram data acquisition means for acquiring histogram data indicating the frequency distribution of luminance of the color image data input by the input means;
前記入力されたカラー画像データを出力する出力側が表現できるカラー画像データの制限内容に基づいて出力側低輝度値および出力側高輝度値を取得する出力側輝度値取得手段、Output-side luminance value acquisition means for acquiring an output-side low luminance value and an output-side high luminance value based on the restriction content of the color image data that can be expressed by the output side that outputs the input color image data;
この出力側輝度値取得手段によって取得された出力側低輝度値および出力側高輝度値に対応する入力側低輝度値および入力側高輝度値を、前記ヒストグラムデータ取得手段によって取得されたヒストグラムデータにおける輝度分布の割合から設定する入力側輝度値設定手段、The input side low luminance value and the input side high luminance value corresponding to the output side low luminance value and the output side high luminance value acquired by the output side luminance value acquiring unit are included in the histogram data acquired by the histogram data acquiring unit. Input side luminance value setting means to set from the ratio of the luminance distribution,
前記出力側の目標平均輝度値を取得する目標平均輝度取得手段、Target average luminance acquisition means for acquiring the target average luminance value on the output side;
前記入力されたカラー画像データの平均輝度値を取得する平均輝度取得手段、Average luminance acquisition means for acquiring an average luminance value of the input color image data;
前記目標平均輝度取得手段によって取得された前記出力側の目標平均輝度値と前記平均輝度取得手段によって取得された平均輝度値とを比較する比較手段、Comparison means for comparing the target average brightness value on the output side acquired by the target average brightness acquisition means with the average brightness value acquired by the average brightness acquisition means;
前記入力側輝度値設定手段によって設定された入力側低輝度値および入力側高輝度値と、前記比較手段による比較結果とに基づいて、前記入力されたカラー画像データの輝度成分を低輝度側または高輝度側に選択的に制御して輝度変換を行う輝度変換手段Based on the input side low brightness value and the input side high brightness value set by the input side brightness value setting means and the comparison result by the comparison means, the brightness component of the input color image data is set to the low brightness side or Luminance conversion means for selectively controlling to the high luminance side and performing luminance conversion
として機能させることを特徴とする画像処理プログラム。An image processing program characterized by functioning as
JP2001087192A 2001-03-26 2001-03-26 Image processing apparatus, image processing method, and image processing program Expired - Fee Related JP4415172B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001087192A JP4415172B2 (en) 2001-03-26 2001-03-26 Image processing apparatus, image processing method, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001087192A JP4415172B2 (en) 2001-03-26 2001-03-26 Image processing apparatus, image processing method, and image processing program

Publications (3)

Publication Number Publication Date
JP2002288650A JP2002288650A (en) 2002-10-04
JP2002288650A5 JP2002288650A5 (en) 2006-11-02
JP4415172B2 true JP4415172B2 (en) 2010-02-17

Family

ID=18942468

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001087192A Expired - Fee Related JP4415172B2 (en) 2001-03-26 2001-03-26 Image processing apparatus, image processing method, and image processing program

Country Status (1)

Country Link
JP (1) JP4415172B2 (en)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4167097B2 (en) 2003-03-17 2008-10-15 株式会社沖データ Image processing method and image processing apparatus
JP4280904B2 (en) * 2003-03-25 2009-06-17 セイコーエプソン株式会社 Image processing system, projector, program, information storage medium, and image processing method
KR100528537B1 (en) * 2003-04-04 2005-11-15 엘지전자 주식회사 Device and the Method for automatic controlling the lighting of liquid crystal display
KR100570966B1 (en) * 2003-11-17 2006-04-14 엘지.필립스 엘시디 주식회사 Driving Method and Driving Device of Liquid Crystal Display
KR100769728B1 (en) 2006-08-09 2007-10-23 삼성전기주식회사 Contrast Enhancement Apparatus and Method Using Histogram
JP2008118383A (en) * 2006-11-02 2008-05-22 Matsushita Electric Ind Co Ltd Digital camera
DE102006061658A1 (en) * 2006-12-27 2008-07-03 Siemens Ag Linlog image converter's sensitivity characteristic curve adjusting method for motor vehicle, involves generating fitted set of parameters from setting value of converter based on quantiles of frequency distribution of image signal value
JP4916378B2 (en) * 2007-05-15 2012-04-11 三洋電機株式会社 Imaging apparatus, image processing apparatus, image file, and gradation correction method
JP2009118297A (en) * 2007-11-08 2009-05-28 Dainippon Printing Co Ltd Quantization method and quantization device for specimen value
JP4632100B2 (en) * 2008-06-09 2011-02-16 ソニー株式会社 Image processing apparatus, image processing method, recording medium, and program
JP6525543B2 (en) * 2014-10-21 2019-06-05 キヤノン株式会社 IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM

Also Published As

Publication number Publication date
JP2002288650A (en) 2002-10-04

Similar Documents

Publication Publication Date Title
JP5713752B2 (en) Image processing apparatus and control method thereof
JP4720537B2 (en) Imaging device
KR20110004791A (en) Image Processing Apparatus and Computer-readable Recording Media
JP4433883B2 (en) White balance correction device, white balance correction method, program, and electronic camera device
JP4415172B2 (en) Image processing apparatus, image processing method, and image processing program
JP3184309B2 (en) Gradation correction circuit and imaging device
US8957991B2 (en) Imaging apparatus, image processing method and computer program for smoothing dynamic range of luminance of an image signal, color conversion process
CN105993170B (en) Image processing apparatus, camera device, image processing method
KR101650050B1 (en) Image processing apparatus, method, and program
JP2004246644A (en) Apparatus, method, and program for image processing
JP2006050042A (en) Image processing apparatus
JP2010183460A (en) Image capturing apparatus and method of controlling the same
JP2008294524A (en) Image processor and image processing method
KR101750986B1 (en) An apparatus and a method for processing image, and a computer-readable storage medium
JP2009296210A (en) Image processor and image processing method
JP3822486B2 (en) Electronic camera and signal processing method
JP2010183461A (en) Image capturing apparatus and method of controlling the same
JP2010268134A (en) Imaging device
JP2007174482A (en) Imaging apparatus, image processing method, and image processing program
JP2001209782A (en) Image pickup device and its method for photographing character
JP3368012B2 (en) Image data processing device
JP4027545B2 (en) Digital camera and method for photographing characters
JP4954658B2 (en) Image processing device
JP2019029781A (en) Image processing system
JP6849351B2 (en) Image processing equipment, image processing methods, and programs

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060920

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060920

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090918

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091027

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091109

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131204

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees