[go: up one dir, main page]

JP2003259154A - 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および白黒伸張処理方法 - Google Patents

画像処理システム、プロジェクタ、プログラム、情報記憶媒体および白黒伸張処理方法

Info

Publication number
JP2003259154A
JP2003259154A JP2002057083A JP2002057083A JP2003259154A JP 2003259154 A JP2003259154 A JP 2003259154A JP 2002057083 A JP2002057083 A JP 2002057083A JP 2002057083 A JP2002057083 A JP 2002057083A JP 2003259154 A JP2003259154 A JP 2003259154A
Authority
JP
Japan
Prior art keywords
brightness
range
emphasis
expansion
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002057083A
Other languages
English (en)
Other versions
JP3994265B2 (ja
Inventor
Masahito Nishizawa
雅人 西澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2002057083A priority Critical patent/JP3994265B2/ja
Publication of JP2003259154A publication Critical patent/JP2003259154A/ja
Application granted granted Critical
Publication of JP3994265B2 publication Critical patent/JP3994265B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Liquid Crystal Display Device Control (AREA)
  • Picture Signal Circuits (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

(57)【要約】 【課題】 輝度分布が偏っている場合であっても、黒浮
きを防止し、見た目のコントラストを改善することが可
能な画像処理システム、プロジェクタ、プログラム、情
報記憶媒体および白黒伸張処理方法を提供すること。 【解決手段】 輝度演算部110からの基準輝度に基づ
き、フレームごとの平均輝度を演算する平均輝度演算部
120と、基準輝度と平均輝度に基づき、標準偏差値を
演算する標準偏差演算部130と、平均輝度と標準偏差
値とに基づき、標準偏差値を所定倍した値をαとした場
合に、平均輝度−αから平均輝度+αまでのうち所定の
範囲を、映像信号の伸張を強調する強調範囲として設定
し、強調範囲以外の範囲を、映像信号の伸張を強調しな
い不強調範囲として設定する範囲設定部150と、基準
輝度が強調範囲内にある場合には不強調範囲内にある場
合と比べて伸張の度合いを相対的に高くして映像信号の
伸張を行う伸張処理部170とを画像処理部100に設
ける。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、映像信号を白方向
または黒方向に伸張する処理を行うための画像処理シス
テム、プロジェクタ、プログラム、情報記憶媒体および
白黒伸張処理方法に関する。
【0002】
【背景技術および発明が解決しようとする課題】例え
ば、液晶パネル等を用いて画像を表示する際に、入力映
像信号の最黒部分が所定レベルよりも浮いている場合、
当該最黒部分が所定レベルになるように入力映像信号を
黒方向に伸張することが行われている。また、入力映像
信号の最白部分が所定レベルよりも沈んでいる場合、当
該最白部分が所定レベルになるように入力映像信号を白
方向に伸張することが行われている。
【0003】しかし、例えば、映画のように大部分が暗
い画像の中の一部に白い字幕が含まれる画像を表示する
ような場合、画像の大部分の輝度は低く、狭い輝度範囲
に属しているが、字幕部分の輝度が高いために、画像全
体としては輝度分布が広くなる。
【0004】このような場合、広くなった輝度範囲に対
して伸張処理を行うために、画像の大部分が含まれる低
輝度部分の輝度範囲を適切に伸張することができない。
【0005】このような輝度分布が偏っている場合の階
調補正の手法として、特開2000−322047号公
報では、輝度のヒストグラムの分散値に応じて階調補正
を行う手法が提案されている。
【0006】当該手法では、累積ヒストグラムと、輝度
のヒストグラムの分散値から求まる係数(上記公報では
混合比と表現)に従って、輝度分布の偏りが小さい場合
は階調補正の度合いを大きくし、輝度分布の偏りが大き
い場合は階調補正の度合いを小さくしている。
【0007】このため、上記の場合のように、低輝度側
に輝度分布が偏っている場合には、ほとんど階調補正が
なされず、見た目のコントラストを改善する効果が少な
い。
【0008】本発明は、上記課題に鑑みなされたもので
あり、その目的は、輝度分布が偏っている場合であって
も、黒浮きを防止し、見た目のコントラストを改善する
ことが可能な画像処理システム、プロジェクタ、プログ
ラム、情報記憶媒体および白黒伸張処理方法を提供する
ことにある。
【0009】
【課題を解決するための手段】上記課題を解決するた
め、本発明に係る画像処理システムは、映像信号を白側
または黒側に伸張する処理を行う画像処理システムにお
いて、前記映像信号に基づき、所定の基準輝度を演算す
る輝度演算手段と、当該基準輝度に基づき、所定の画像
処理単位ごとの平均輝度を演算する平均輝度演算手段
と、前記基準輝度と、前記平均輝度とに基づき、前記基
準輝度の散らばり具合を示す標準偏差値を演算する標準
偏差演算手段と、前記平均輝度と、前記標準偏差値とに
基づき、前記標準偏差値を所定倍した値をαとした場合
に、前記平均輝度−αから前記平均輝度+αまでのうち
所定の範囲を、前記映像信号の伸張を強調する強調範囲
として設定し、強調範囲以外の範囲を、前記映像信号の
伸張を強調しない不強調範囲として設定する範囲設定手
段と、前記基準輝度が前記強調範囲内にある場合には前
記不強調範囲内にある場合と比べて伸張の度合いを相対
的に高くして前記映像信号の伸張を行う伸張処理手段
と、を含むことを特徴とする。
【0010】また、本発明に係るプロジェクタは、上記
画像処理システムを備えたことを特徴とする。
【0011】また、本発明に係るプログラムは、映像信
号を白側または黒側に伸張する処理を行うためのコンピ
ュータ読み取り可能なプログラムであって、コンピュー
タを、前記映像信号に基づき、所定の基準輝度を演算す
る輝度演算手段と、当該基準輝度に基づき、所定の画像
処理単位ごとの平均輝度を演算する平均輝度演算手段
と、前記基準輝度と、前記平均輝度とに基づき、前記基
準輝度の散らばり具合を示す標準偏差値を演算する標準
偏差演算手段と、前記平均輝度と、前記標準偏差値とに
基づき、前記標準偏差値を所定倍した値をαとした場合
に、前記平均輝度−αから前記平均輝度+αまでのうち
所定の範囲を、前記映像信号の伸張を強調する強調範囲
として設定し、強調範囲以外の範囲を、前記映像信号の
伸張を強調しない不強調範囲として設定する範囲設定手
段と、前記基準輝度が前記強調範囲内にある場合には前
記不強調範囲内にある場合と比べて伸張の度合いを相対
的に高くして前記映像信号の伸張を行う伸張処理手段と
して機能させることを特徴とする。
【0012】また、本発明に係る情報記憶媒体は、コン
ピュータにより読み取り可能な情報記憶媒体であって、
コンピュータを、上記手段として機能させるためのプロ
グラムを記憶したことを特徴とする。
【0013】本発明によれば、例えば、映画のように全
体が暗い画像の中で字幕部分の輝度が高いといった場合
であっても、平均輝度−αから平均輝度+αまでの所定
の範囲の伸張倍率を相対的に高めることにより、輝度が
集中している部分を十分に伸張することができる。
【0014】これにより、例えば、低輝度側に輝度分布
が偏った映像に対しても、見た目のコントラストを改善
することができる。
【0015】なお、前記画像処理単位としては、例え
ば、フレーム、フィールド等が該当する。
【0016】また、前記所定倍としては、例えば、3倍
〜4倍であってもよい。1倍〜2倍した値では範囲が狭
すぎ、5倍以上だと範囲が広すぎる場合もあるが、3倍
〜4倍とすることにより、適切な強調範囲を設定するこ
とができる。
【0017】また、前記画像処理システム、前記プロジ
ェクタ、前記プログラムおよび前記情報記憶媒体におい
て、前記範囲設定手段は、前記平均輝度−αが最小輝度
未満の場合には最小輝度を前記強調範囲の下限値として
設定し、前記平均輝度−αが最小輝度以上の場合には前
記平均輝度−αを前記強調範囲の下限値として設定し、
前記平均輝度+αが最大輝度を超える場合には最大輝度
を前記強調範囲の上限値として設定し、前記平均輝度+
αが最大輝度以下の場合には前記平均輝度+αを前記強
調範囲の上限値として設定してもよい。
【0018】これによれば、最小輝度と平均輝度−α、
最大輝度と平均輝度+αをそれぞれ比較して適切な方の
値を強調範囲の下限値または上限値として設定すること
ができる。
【0019】これにより、より適切に輝度の伸張を行う
ことができる。
【0020】また、前記画像処理システム、前記プロジ
ェクタ、前記プログラムおよび前記情報記憶媒体におい
て、前記伸張処理手段は、前記最小輝度が前記強調範囲
の下限値であり、かつ、前記最大輝度が前記強調範囲の
上限値である場合、前記最小輝度が前記強調範囲の下限
値未満であり、かつ、前記最大輝度が前記強調範囲の上
限値である場合、前記最小輝度が前記強調範囲の下限値
であり、かつ、前記最大輝度が前記強調範囲の上限値を
超える場合、前記最小輝度が前記強調範囲の下限値未満
であり、かつ、前記最大輝度が前記強調範囲の上限値を
超える場合のそれぞれの場合に応じて異なる伸張処理を
行ってもよい。
【0021】これによれば、最小輝度と強調範囲の下限
値、最大輝度と強調範囲の上限値をそれぞれ比較して比
較結果に応じて異なる伸張処理を行うことにより、輝度
の散らばりに応じた適切な伸張処理を行うことができ
る。
【0022】また、本発明に係る白黒伸張処理方法は、
映像信号に対して白黒伸張処理を行う白黒伸張処理方法
において、前記映像信号に基づき、入力輝度の全範囲を
複数の範囲に区分して当該範囲に属する入力輝度の分布
を把握し、前記複数の範囲において、当該範囲に属する
入力輝度の分布数が多い範囲を分布数が少ない範囲に比
べて相対的に伸張倍率を高めるように伸張倍率を決定
し、決定した伸張倍率に応じて前記映像信号を白側また
は黒側に伸張して出力輝度として出力することを特徴と
する。
【0023】本発明によれば、例えば、映画のように全
体が暗い画像の中で字幕部分の輝度が高いといった場合
であっても、入力輝度の分布が多い範囲の伸張倍率を相
対的に高めることにより、輝度が集中している部分を十
分に伸張することができる。
【0024】これにより、例えば、低輝度側に輝度分布
が偏った映像に対しても、見た目のコントラストを改善
することができる。
【0025】また、前記白黒伸張処理方法において、前
記全範囲における前記入力輝度の散らばり具合と、前記
入力輝度の最小値と、前記入力輝度の最大値とに基づ
き、前記分布数が多い範囲の下限値と上限値を決定して
もよい。
【0026】これによれば、全範囲における前記入力輝
度の散らばり具合と、最小輝度と、最大輝度に基づいて
分布数が多い範囲の下限値または上限値を設定すること
により、輝度の散らばり具合をより適切に考慮すること
ができ、より適切に輝度の伸張を行うことができる。
【0027】また、前記白黒伸張処理方法において、過
度の伸張を防止するために、最小輝度および最大輝度の
少なくとも一方の伸張倍率を低減してもよい。
【0028】これによれば、最小輝度および最大輝度の
少なくとも一方の伸張倍率を低減することにより、過度
の伸張を防止し、適切な伸張を行うことができる。
【0029】また、前記画像処理システム、前記プログ
ラム、前記情報記憶媒体および前記白黒伸張処理方法
は、液晶表示用に用いられるものであってもよい。
【0030】これによれば、液晶表示の場合に発生しや
すい黒浮きを適切に防止することができる。
【0031】
【発明の実施の形態】以下、本発明を、映像信号の一種
であるRGB信号を入力し、コントラストの増加等のた
め、映像信号を白側または黒側に伸張する白黒伸張処理
を行う液晶プロジェクタの画像処理部に適用した場合を
例に採り、図面を参照しつつ説明する。なお、以下に示
す実施形態は、特許請求の範囲に記載された発明の内容
を何ら限定するものではない。また、以下の実施形態に
示す構成の全てが、特許請求の範囲に記載された発明の
解決手段として必須であるとは限らない。
【0032】(機能ブロックの説明)図1は、本実施形
態の一例に係る画像処理部100の機能ブロック図であ
る。
【0033】本実施形態の画像処理部100は、RGB
信号に基づいて基準輝度を演算する輝度演算部110
と、基準輝度に基づき平均輝度を演算する平均輝度演算
部120と、基準輝度と平均輝度に基づき標準偏差値を
演算する標準偏差演算部130と、1フレームにおける
基準輝度の最大値と最小値を演算する最大最小輝度検出
部140とを含んで構成されている。
【0034】また、本実施形態の画像処理部100は、
平均輝度、標準偏差値、最小輝度、最大輝度に基づいて
伸張倍率を高める範囲を設定する範囲設定部150と、
伸張処理用の係数を演算する係数演算部160と、RG
B信号の伸張処理を行う伸張処理部170とを含んで構
成されている。
【0035】また、画像処理部100には情報記憶媒体
200が接続され、画像処理部100が情報記憶媒体2
00に記憶されたプログラムを読み取って範囲設定部1
50等の機能を画像処理部100内のコンピュータに実
現させることも可能となっている。
【0036】なお、画像処理部100は、情報記憶媒体
200ではなくホスト装置等に記憶されたプログラム
を、ネットワークを介して読み取って範囲設定部150
等の機能を実現することも可能である。
【0037】また、画像処理部100内の各部のハード
ウェアとしては回路やプログラムを用いて実現できる。
【0038】また、情報記憶媒体200としては、例え
ば、CD−ROM、DVD−ROM、ROM、RAM、
HDD等を適用でき、そのプログラムの読み取り方式は
接触方式であっても、非接触方式であってもよい。
【0039】(白黒伸張処理の説明)以下、画像処理部
100内の各部を用いた処理の流れについて説明する。
【0040】一般的な方式では、基準輝度は、0.30
×R信号+0.59×G信号+0.11×B信号として
求められている。このように重み付けが異なるのは人間
の目の感度が異なるからである。
【0041】しかし、白黒伸張を行う場合、上記数式を
用いて輝度を求めた場合、Gの輝度成分が高い部分がよ
り顕著に伸張されてしまう。
【0042】そこで、本実施形態の輝度演算部110
は、RGB形式で映像信号が入力される場合、基準輝度
Yを(R信号+G信号+B信号)/3として求めてい
る。
【0043】また、平均輝度演算部120は、1フレー
ムごとの基準輝度Yの平均値を演算する。
【0044】また、標準偏差演算部130は、基準輝
度、平均輝度に基づき、標準偏差値σを演算する。
【0045】さらに、最大最小輝度検出部140は、輝
度演算部110からの基準輝度に基づき、1フレームご
とに基準輝度の最大値と最小値を検出する。
【0046】なお、フレームの切り替わりのタイミング
については、平均輝度演算部120や最大最小輝度検出
部140は、垂直同期信号に基づいて判断することがで
きる。
【0047】次に、範囲設定部150以下の処理につい
て説明する。
【0048】図2は、本実施形態の一例に係る白黒伸張
処理のフローチャートである。
【0049】範囲設定部150は、入力される輝度範囲
において、伸張倍率を高くする強調範囲と伸張倍率を高
くしない不強調範囲を設定するために、まず、平均輝度
−4σと、平均輝度+4σを演算する(ステップS
2)。
【0050】そして、範囲設定部150は、平均輝度−
4σと、最大最小輝度検出部140によって求められた
最小輝度を比較し(ステップS4)、平均輝度−4σ<
最小輝度が成り立つ場合、強調範囲の下限値Lminとして
最小輝度を設定し(ステップS6)、平均輝度−4σ<
最小輝度が成り立たない場合、強調範囲の下限値Lminと
して平均輝度−4σを設定する(ステップS8)。
【0051】このような処理を行うのは、平均輝度−4
σよりも最小輝度のほうが大きい場合に強調範囲の下限
値として平均輝度−4σを設定すると、平均輝度−4σ
から最小輝度までの範囲は実際にはあり得ない輝度であ
るにも関わらず、強調範囲として設定してしまうことに
なり不適切だからである。
【0052】最小輝度の判定と同様に、範囲設定部15
0は、平均輝度+4σと、最大最小輝度検出部140に
よって求められた最大輝度を比較し(ステップS1
0)、平均輝度+4σ>最大輝度が成り立つ場合、強調
範囲の上限値Lmaxとして最大輝度を設定し(ステップS
12)、平均輝度+4σ>最大輝度が成り立たない場
合、強調範囲の上限値Lmaxとして平均輝度+4σを設定
する(ステップS14)。
【0053】以上のように、平均輝度、標準偏差値σ、
最小輝度、最大輝度に基づいて強調範囲を設定すること
により、輝度分布が集中している範囲を強調範囲として
設定することができる。
【0054】そして、伸張処理部170は、最小輝度、
最大輝度に応じた伸張処理を行う(ステップS16)。
【0055】以下、最小輝度、最大輝度に応じた伸張処
理(ステップS16)について説明する。
【0056】図3は、本実施形態の一例に係る最小輝
度、最大輝度に応じた伸張処理のフローチャートであ
る。
【0057】本実施の形態では、最大輝度に近い輝度の
階調および最小輝度に近い輝度の階調を、中間階調の輝
度に比べて伸張しないようにしている。なぜなら輝度が
0に近い領域、すなわち、黒に近い領域では最大輝度を
伸張すると色がつぶれてしまうからである。同様に、輝
度が1023に近く白に近い領域でも最大輝度を伸張す
ると色がつぶれてしまうからである。
【0058】また、このように、最大輝度や最小輝度に
近い領域で伸張倍率を下げた場合でも、最大輝度や最小
輝度に近い領域の画素の階調の変化は見分けにくいた
め、中間階調をより伸張させることにより、効果的に白
黒伸張を行うことができる。
【0059】このような伸張を行うため、伸張処理部1
70は、最小輝度と下限値Lmin、最大輝度と上限値Lmax
の大小関係で場合分けした4つの場合のそれぞれに応じ
て異なる伸張処理を行う。
【0060】まず、範囲設定部150は、最小輝度が下
限値Lminと等しく、かつ、最大輝度が上限値Lmaxと等し
い場合(ステップS22)、関数fを用いて、下限値Lm
inをLmin'に変換し、上限値LmaxをLmax'に変換する(ス
テップS28)。
【0061】なお、関数fは白黒伸張のための関数であ
る。
【0062】図4において、図4(A)は、本実施形態
の一例に係るLminおよび最小輝度を入力した場合の関数
fによる出力Lmin'およびLminlを示す図であり、図4
(B)は、本実施形態の一例に係るLminおよび最小輝度
を入力した場合の関数fによる出力Lmin'およびLminlを
示す図である。
【0063】図4(A)および図4(B)において、点
線が伸張前の入出力特性を示し、実線が伸張後の入出力
特性を示している。
【0064】図4(A)を見れば分かるように、最小輝
度の変換に関しては、低輝度側(黒側)の輝度0〜16
0の出力の変化は、高輝度側(白側)の輝度161〜1
023までの出力の変化と比べてなだらかになってい
る。
【0065】すなわち、上述したように、最小輝度に近
い輝度の階調を、中間階調の輝度に比べて伸張しないよ
うにしている。
【0066】また、図4(B)を見れば分かるように、
最大輝度の変換に関しては、高輝度側(白側)の輝度1
61〜1023までの出力の変化は、低輝度側(黒側)
の輝度0〜160の出力の変化と比べてなだらかになっ
ている。
【0067】すなわち、上述したように、最大輝度に近
い輝度の階調を、中間階調の輝度に比べて伸張しないよ
うにしている。
【0068】このように、最小輝度付近の輝度および最
大輝度付近の輝度の伸張倍率を低減することにより、過
度の伸張を防止し、適切な伸張を行うことができる。
【0069】また、最小輝度が下限値Lminと等しく、か
つ、最大輝度が上限値Lmaxと等しい場合(ステップS2
2)、係数演算部160は係数K2、K3を演算し(ス
テップS36)、伸張処理部170は伸張処理Aを行う
(ステップS44)。
【0070】なお、係数演算部160は係数K1〜K4
を演算し、伸張処理部170は伸張処理A〜Dを行う
が、これらの具体的な説明は後述する。なお、係数K1
〜K4は伸張処理A〜Dによって描かれる線形曲線の変
曲点となる。
【0071】また、範囲設定部150は、最小輝度が下
限値Lmin未満で、かつ、最大輝度が上限値Lmaxと等しい
場合(ステップS24)、関数fを用いて、最小輝度を
Lminlに変換し、下限値LminをLmin'に変換し、上限値Lm
axをLmax'に変換する(ステップS30)。
【0072】また、最小輝度が下限値Lmin未満で、か
つ、最大輝度が上限値Lmaxと等しい場合(ステップS2
4)、係数演算部160は係数K1、K2、K3を演算
し(ステップS38)、伸張処理部170は伸張処理B
を行う(ステップS46)。
【0073】また、範囲設定部150は、最小輝度が下
限値Lminと等しく、かつ、最大輝度が上限値Lmaxを超え
る場合(ステップS26)、関数fを用いて、最大輝度
をLmaxrに変換し、下限値LminをLmin'に変換し、上限値
LmaxをLmax'に変換する(ステップS30)。
【0074】また、最小輝度が下限値Lminと等しく、か
つ、最大輝度が上限値Lmaxを超える場合(ステップS2
6)、係数演算部160は係数K2、K3、K4を演算
し(ステップS40)、伸張処理部170は伸張処理C
を行う(ステップS48)。
【0075】また、上記のいずれの場合にもあてはまら
ない場合、すなわち、最小輝度が下限値Lmin未満で、か
つ、最大輝度が上限値Lmaxを超える場合、範囲設定部1
50は、関数fを用いて、最小輝度をLminlに変換し、
最大輝度をLmaxrに変換し、下限値LminをLmin'に変換
し、上限値LmaxをLmax'に変換する(ステップS3
4)。
【0076】また、最小輝度が下限値Lmin未満で、か
つ、最大輝度が上限値Lmaxを超える場合、係数演算部1
60は係数K1、K2、K3、K4を演算し(ステップ
S42)、伸張処理部170は伸張処理Dを行う(ステ
ップS50)。
【0077】以下、伸張処理A〜Dについて順に説明す
る。
【0078】伸張処理A〜Dでは、必要に応じて係数K
1〜K4を用いる。
【0079】ここで、K1=(Lmin'−Lminl)/(Lmin
−最小輝度)であり、K2=(Lmid−Lmin')/(Lmid
−Lmin)であり、K3=(Lmax'−Lmid)/(Lmax−Lmi
d)であり、K4=(Lmaxr−Lmax')/(最大輝度−Lma
x)である。
【0080】なお、Lmidとは、一般的にAPL(Average Pi
cture Level)と呼ばれる1画像内の平均輝度のことであ
る。すなわち、Lmid=(1画像内の輝度の総和)/(全
画素数)である。
【0081】図5は、本実施形態の一例に係る伸張処理
Aを行った場合の伸張処理前の輝度と伸張処理後の輝度
を示す図である。
【0082】R、G、Bの各色入力信号をCin、R、
G、Bの各色出力信号をCoutとする。
【0083】伸張処理Aでは、基準輝度がLmin以上かつ
Lmid未満の場合、Cout=(K2(1−Lmin/基準輝度)
+Lmin'/基準輝度)Cinとして色信号を出力し、基準輝
度がLmid以上かつLmax以下の場合、Cout=(K3(1−
Lmid/基準輝度)+Lmid/基準輝度)Cinとして色信号
を出力する。
【0084】このような入出力の変換を行うことによ
り、(R+G+B)/3によって求められる基準輝度の
輝度信号の入出力特性は、図5に示すように、(Lmin,
Lmin')、(Lmid,Lmid)、(Lmax,Lmax')を変曲点と
する線形のグラフとして表すことができる。
【0085】次に、伸張処理Bについて説明する。
【0086】図6は、本実施形態の一例に係る伸張処理
Bを行った場合の伸張処理前の輝度と伸張処理後の輝度
を示す図である。
【0087】伸張処理Bでは、基準輝度が最小輝度以上
かつLmin未満の場合、Cout=(K1(1−最小輝度/基
準輝度)+Lminl/基準輝度)Cinとして色信号を出力
し、基準輝度がLmin以上かつLmid未満の場合、Cout=
(K2(1−Lmin/基準輝度)+Lmin'/基準輝度)Cin
として色信号を出力し、基準輝度がLmid以上かつLmax未
満の場合、Cout=(K3(1−Lmid/基準輝度)+Lma
x'/基準輝度)Cinとして色信号を出力する。
【0088】このような入出力の変換を行うことによ
り、基準輝度の輝度信号の入出力特性は、図6に示すよ
うに、(最小輝度,Lminl)、(Lmin,Lmin')、(Lmi
d,Lmid)、(Lmax,Lmax')を変曲点とする線形のグラ
フとして表すことができる。
【0089】次に、伸張処理Cについて説明する。
【0090】図7は、本実施形態の一例に係る伸張処理
Cを行った場合の伸張処理前の輝度と伸張処理後の輝度
を示す図である。
【0091】伸張処理Cでは、基準輝度がLmin以上かつ
Lmid未満の場合、Cout=(K2(1−Lmin/基準輝度)
+Lmin'/基準輝度)Cinとして色信号を出力し、基準輝
度がLmid以上かつLmax未満の場合、Cout=(K3(1−
Lmid/基準輝度)+Lmid/基準輝度)Cinとして色信号
を出力し、基準輝度がLmax以上かつ最大輝度以下の場
合、Cout=(K4(1−Lmax/基準輝度)+Lmax'/基
準輝度)Cinとして色信号を出力する。
【0092】このような入出力の変換を行うことによ
り、基準輝度の輝度信号の入出力特性は、図7に示すよ
うに、(Lmin,Lmin')、(Lmid,Lmid)、(Lmax,Lma
x')、(最大輝度,Lmaxr)を変曲点とする線形のグラ
フとして表すことができる。
【0093】次に、伸張処理Dについて説明する。
【0094】図8は、本実施形態の一例に係る伸張処理
Dを行った場合の伸張処理前の輝度と伸張処理後の輝度
を示す図である。
【0095】伸張処理Dでは、基準輝度が最小輝度以上
かつLmin未満の場合、Cout=(K1(1−最小輝度/基
準輝度)+Lminl/基準輝度)Cinとして色信号を出力
し、基準輝度がLmin以上かつLmid未満の場合、Cout=
(K2(1−Lmin/基準輝度)+Lmin'/基準輝度)Cin
として色信号を出力し、基準輝度がLmid以上かつLmax未
満の場合、Cout=(K3(1−Lmid/基準輝度)+Lmid
/基準輝度)Cinとして色信号を出力し、基準輝度がLma
x以上かつ最大輝度以下の場合、Cout=(K4(1−Lma
x/基準輝度)+Lmax'/基準輝度)Cinとして色信号を
出力する。
【0096】このような入出力の変換を行うことによ
り、基準輝度の輝度信号の入出力特性は、図8に示すよ
うに、(最小輝度,Lminl)、(Lmin,Lmin')、(Lmi
d,Lmid)、(Lmax,Lmax')、(最大輝度,Lmaxr)を
変曲点とする線形のグラフとして表すことができる。
【0097】次に、輝度分布の変化について説明する。
【0098】図9において、図9(A)は従来の手法を
用いた場合のRGB信号伸張処理前後の輝度分布の変化
を示す図であり、図9(B)は本実施形態の手法を用い
た場合のRGB信号伸張処理前後の輝度分布の変化を示
す図である。
【0099】図9(A)と図9(B)を比較すれば分か
るように、従来はRGB信号伸張処理後の出力が不十分
な箇所もあるが、本実施形態によれば平均輝度±4σの
範囲以内の強調範囲の伸張度合いを高めることによりR
GB信号伸張処理後に十分な出力を得ている。
【0100】以上のように、本実施形態によれば、例え
ば、映画のように全体が暗い画像の中で字幕部分の輝度
が高いといった場合であっても、平均輝度−αから平均
輝度+αまでの所定の範囲の伸張倍率を相対的に高める
ことにより、輝度が集中している部分を十分に伸張する
ことができ、輝度が集中している部分でダイナミックレ
ンジを広く確保することができる。
【0101】これにより、例えば、低輝度側に輝度分布
が偏っているような画像に対しても、見た目のコントラ
ストを改善することができる。
【0102】また、特に液晶プロジェクタ等の液晶表示
装置では、光源から液晶パネルに光を投射するため黒浮
きが発生しやすいが、本実施形態によれば黒浮きを適切
に防止できる。
【0103】また、本実施形態によれば、最小輝度と平
均輝度−α、最大輝度と平均輝度+αをそれぞれ比較し
て適切な方の値を強調範囲の下限値または上限値として
設定することができる。
【0104】これにより、より適切に輝度の伸張を行う
ことができる。
【0105】さらに、本実施形態によれば、最小輝度と
強調範囲の下限値、最大輝度と強調範囲の上限値をそれ
ぞれ比較して比較結果に応じて異なる伸張処理を行うこ
とにより、輝度の散らばりに応じた適切な伸張処理を行
うことができる。
【0106】(変形例)以上、本発明を適用した好適な
実施の形態について説明してきたが、本発明の適用は上
述した実施例に限定されない。
【0107】例えば、上述した実施例では、標準偏差値
σを4倍した値をαとした場合に、α=4σを用いた
が、4倍に限定されず、例えば、3倍であってもよく、
整数倍でなくてもよい。σを1倍〜2倍した値では範囲
が狭すぎ、5倍以上だと範囲が広すぎる場合もあるが、
3倍〜4倍とすることにより、適切な強調範囲を設定す
ることができる。これは、ある分布において平均値±3
σの外の値をとる確率は、分布形状に関わらず、1/9
以下になることによる。
【0108】また、例えば、上述した画像処理部100
の各部を複数の装置に分散して白黒伸張処理を行っても
よい。
【0109】また、上述した実施例ではフレーム単位に
処理したが、例えば、フィールド単位に画像処理を行っ
てもよい。
【0110】また、上述した液晶プロジェクタ以外の表
示装置の画像処理部に対しても本実施形態の画像処理部
100を適用できる。このような表示装置としては、例
えば、液晶プロジェクタのほか、DMD(Digita
l MicromirrorDevice)を用いたプ
ロジェクタや、CRT(Cathode RayTub
e)、PDP(Plasma Display Pan
el)、FED(Field Emission Di
splay)、EL(Electro Lumines
cence)、直視型液晶表示装置等のディスプレイ装
置等が該当する。なお、DMDは、米国テキサスインス
ツルメンツ社の商標である。また、プロジェクタは前面
投写型のものに限られず、背面投写型のものであっても
よい。
【図面の簡単な説明】
【図1】本実施形態の一例に係る画像処理部の機能ブロ
ック図である。
【図2】本実施形態の一例に係る白黒伸張処理のフロー
チャートである。
【図3】本実施形態の一例に係る最小輝度、最大輝度に
応じた伸張処理のフローチャートである。
【図4】図4(A)は、本実施形態の一例に係るLminお
よび最小輝度を入力した場合の関数fによる出力Lmin'
およびLminlを示す図であり、図4(B)は、本実施形
態の一例に係るLminおよび最小輝度を入力した場合の関
数fによる出力Lmin'およびLminlを示す図である。
【図5】本実施形態の一例に係る伸張処理Aを行った場
合の伸張処理前の輝度と伸張処理後の輝度を示す図であ
る。
【図6】本実施形態の一例に係る伸張処理Bを行った場
合の伸張処理前の輝度と伸張処理後の輝度を示す図であ
る。
【図7】本実施形態の一例に係る伸張処理Cを行った場
合の伸張処理前の輝度と伸張処理後の輝度を示す図であ
る。
【図8】本実施形態の一例に係る伸張処理Dを行った場
合の伸張処理前の輝度と伸張処理後の輝度を示す図であ
る。
【図9】図9(A)は従来の手法を用いた場合のRGB
信号伸張処理前後の輝度分布の変化を示す図であり、図
9(B)は本実施形態の手法を用いた場合のRGB信号
伸張処理前後の輝度分布の変化を示す図である。
【符号の説明】
110 輝度演算部 120 平均輝度演算部 130 標準偏差演算部 140 最大最小輝度検出部 150 範囲設定部 160 係数演算部 170 伸張処理部 200 情報記憶媒体
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G09G 3/20 680 G09G 3/20 680C 3/36 3/36 Fターム(参考) 5C006 AA01 AA22 AF45 AF46 BC16 EC11 FA54 5C021 PA53 PA56 PA58 PA67 PA76 RA07 RA08 RB03 XA35 5C080 AA05 AA06 AA10 BB05 CC03 CC06 DD01 EE19 EE29 GG08 GG09 JJ02 JJ05 JJ07

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】 映像信号を白側または黒側に伸張する処
    理を行う画像処理システムにおいて、 前記映像信号に基づき、所定の基準輝度を演算する輝度
    演算手段と、 当該基準輝度に基づき、所定の画像処理単位ごとの平均
    輝度を演算する平均輝度演算手段と、 前記基準輝度と、前記平均輝度とに基づき、前記基準輝
    度の散らばり具合を示す標準偏差値を演算する標準偏差
    演算手段と、 前記平均輝度と、前記標準偏差値とに基づき、前記標準
    偏差値を所定倍した値をαとした場合に、前記平均輝度
    −αから前記平均輝度+αまでのうち所定の範囲を、前
    記映像信号の伸張を強調する強調範囲として設定し、強
    調範囲以外の範囲を、前記映像信号の伸張を強調しない
    不強調範囲として設定する範囲設定手段と、 前記基準輝度が前記強調範囲内にある場合には前記不強
    調範囲内にある場合と比べて伸張の度合いを相対的に高
    くして前記映像信号の伸張を行う伸張処理手段と、 を含むことを特徴とする画像処理システム。
  2. 【請求項2】 請求項1において、 前記範囲設定手段は、前記平均輝度−αが最小輝度未満
    の場合には最小輝度を前記強調範囲の下限値として設定
    し、前記平均輝度−αが最小輝度以上の場合には前記平
    均輝度−αを前記強調範囲の下限値として設定し、前記
    平均輝度+αが最大輝度を超える場合には最大輝度を前
    記強調範囲の上限値として設定し、前記平均輝度+αが
    最大輝度以下の場合には前記平均輝度+αを前記強調範
    囲の上限値として設定することを特徴とする画像処理シ
    ステム。
  3. 【請求項3】 請求項2において、 前記伸張処理手段は、前記最小輝度が前記強調範囲の下
    限値であり、かつ、前記最大輝度が前記強調範囲の上限
    値である場合、前記最小輝度が前記強調範囲の下限値未
    満であり、かつ、前記最大輝度が前記強調範囲の上限値
    である場合、前記最小輝度が前記強調範囲の下限値であ
    り、かつ、前記最大輝度が前記強調範囲の上限値を超え
    る場合、前記最小輝度が前記強調範囲の下限値未満であ
    り、かつ、前記最大輝度が前記強調範囲の上限値を超え
    る場合のそれぞれの場合に応じて異なる伸張処理を行う
    ことを特徴とする画像処理システム。
  4. 【請求項4】 請求項1〜3のいずれかに記載の画像処
    理システムを備えたことを特徴とするプロジェクタ。
  5. 【請求項5】 映像信号を白側または黒側に伸張する処
    理を行うためのコンピュータ読み取り可能なプログラム
    であって、 コンピュータを、 前記映像信号に基づき、所定の基準輝度を演算する輝度
    演算手段と、 当該基準輝度に基づき、所定の画像処理単位ごとの平均
    輝度を演算する平均輝度演算手段と、 前記基準輝度と、前記平均輝度とに基づき、前記基準輝
    度の散らばり具合を示す標準偏差値を演算する標準偏差
    演算手段と、 前記平均輝度と、前記標準偏差値とに基づき、前記標準
    偏差値を所定倍した値をαとした場合に、前記平均輝度
    −αから前記平均輝度+αまでのうち所定の範囲を、前
    記映像信号の伸張を強調する強調範囲として設定し、強
    調範囲以外の範囲を、前記映像信号の伸張を強調しない
    不強調範囲として設定する範囲設定手段と、 前記基準輝度が前記強調範囲内にある場合には前記不強
    調範囲内にある場合と比べて伸張の度合いを相対的に高
    くして前記映像信号の伸張を行う伸張処理手段として機
    能させることを特徴とするプログラム。
  6. 【請求項6】 請求項5において、 前記範囲設定手段は、前記平均輝度−αが最小輝度未満
    の場合には最小輝度を前記強調範囲の下限値として設定
    し、前記平均輝度−αが最小輝度以上の場合には前記平
    均輝度−αを前記強調範囲の下限値として設定し、前記
    平均輝度+αが最大輝度を超える場合には最大輝度を前
    記強調範囲の上限値として設定し、前記平均輝度+αが
    最大輝度以下の場合には前記平均輝度+αを前記強調範
    囲の上限値として設定することを特徴とするプログラ
    ム。
  7. 【請求項7】 請求項6において、 前記伸張処理手段は、前記最小輝度が前記強調範囲の下
    限値であり、かつ、前記最大輝度が前記強調範囲の上限
    値である場合、前記最小輝度が前記強調範囲の下限値未
    満であり、かつ、前記最大輝度が前記強調範囲の上限値
    である場合、前記最小輝度が前記強調範囲の下限値であ
    り、かつ、前記最大輝度が前記強調範囲の上限値を超え
    る場合、前記最小輝度が前記強調範囲の下限値未満であ
    り、かつ、前記最大輝度が前記強調範囲の上限値を超え
    る場合のそれぞれの場合に応じて異なる伸張処理を行う
    ことを特徴とするプログラム。
  8. 【請求項8】 コンピュータにより読み取り可能な情報
    記憶媒体であって、請求項5〜7のいずれかのプログラ
    ムを記憶したことを特徴とする情報記憶媒体。
  9. 【請求項9】 映像信号に対して白黒伸張処理を行う白
    黒伸張処理方法において、 前記映像信号に基づき、入力輝度の全範囲を複数の範囲
    に区分して当該範囲に属する入力輝度の分布を把握し、 前記複数の範囲において、当該範囲に属する入力輝度の
    分布数が多い範囲を分布数が少ない範囲に比べて相対的
    に伸張倍率を高めるように伸張倍率を決定し、 決定した伸張倍率に応じて前記映像信号を白側または黒
    側に伸張して出力輝度として出力することを特徴とする
    白黒伸張処理方法。
  10. 【請求項10】 請求項9において、 前記全範囲における前記入力輝度の散らばり具合と、前
    記入力輝度の最小値と、前記入力輝度の最大値とに基づ
    き、前記分布数が多い範囲の下限値と上限値を決定する
    ことを特徴とする白黒伸張処理方法。
  11. 【請求項11】 請求項9、10のいずれかにおいて、 過度の伸張を防止するために、最小輝度および最大輝度
    の少なくとも一方の伸張倍率を低減することを特徴とす
    る白黒伸張処理方法。
JP2002057083A 2002-03-04 2002-03-04 画像処理システム、プロジェクタ、プログラムおよび情報記憶媒体 Expired - Fee Related JP3994265B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002057083A JP3994265B2 (ja) 2002-03-04 2002-03-04 画像処理システム、プロジェクタ、プログラムおよび情報記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002057083A JP3994265B2 (ja) 2002-03-04 2002-03-04 画像処理システム、プロジェクタ、プログラムおよび情報記憶媒体

Publications (2)

Publication Number Publication Date
JP2003259154A true JP2003259154A (ja) 2003-09-12
JP3994265B2 JP3994265B2 (ja) 2007-10-17

Family

ID=28667439

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002057083A Expired - Fee Related JP3994265B2 (ja) 2002-03-04 2002-03-04 画像処理システム、プロジェクタ、プログラムおよび情報記憶媒体

Country Status (1)

Country Link
JP (1) JP3994265B2 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006292863A (ja) * 2005-04-07 2006-10-26 Sharp Corp 液晶表示装置及び表示方法
JP2006317897A (ja) * 2004-12-22 2006-11-24 Semiconductor Energy Lab Co Ltd 表示装置、及びその動作方法
JP2007110596A (ja) * 2005-10-17 2007-04-26 Matsushita Electric Ind Co Ltd 映像信号処理装置
CN100346635C (zh) * 2004-07-09 2007-10-31 精工爱普生株式会社 灰度特性修正装置、修正方法、图像处理、显示装置
JP2008139842A (ja) * 2006-11-10 2008-06-19 Seiko Epson Corp 画像表示制御装置
JP2009508173A (ja) * 2005-09-30 2009-02-26 エヌエックスピー ビー ヴィ ビデオレベルの動的ソフトクリッピング
CN100525469C (zh) * 2006-05-10 2009-08-05 广达电脑股份有限公司 图像处理装置及其方法
JP2010041174A (ja) * 2008-08-01 2010-02-18 Sanyo Electric Co Ltd 画像処理装置
US7667777B2 (en) 2004-07-16 2010-02-23 Lg Electronics Inc. Enhanced image display
US8319714B2 (en) 2004-12-22 2012-11-27 Semiconductor Energy Laboratory Co., Ltd. Display device, and method of operation thereof
JP2014207663A (ja) * 2013-03-21 2014-10-30 パナソニック株式会社 映像処理装置
JP2015233323A (ja) * 2011-03-15 2015-12-24 ドルビー ラボラトリーズ ライセンシング コーポレイション 画像データ変換のための方法及び装置
KR20180076206A (ko) * 2016-12-27 2018-07-05 한화에어로스페이스 주식회사 영상처리장치 및 그의 영상보정방법

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100346635C (zh) * 2004-07-09 2007-10-31 精工爱普生株式会社 灰度特性修正装置、修正方法、图像处理、显示装置
US7450776B2 (en) 2004-07-09 2008-11-11 Seiko Epson Corporation Gradation attributes control according to characteristics of image
US7667777B2 (en) 2004-07-16 2010-02-23 Lg Electronics Inc. Enhanced image display
JP2006317897A (ja) * 2004-12-22 2006-11-24 Semiconductor Energy Lab Co Ltd 表示装置、及びその動作方法
US8749464B2 (en) 2004-12-22 2014-06-10 Semiconductor Energy Laboratory Co., Ltd. Display device, and method of operation thereof
KR101296692B1 (ko) * 2004-12-22 2013-08-19 가부시키가이샤 한도오따이 에네루기 켄큐쇼 표시 장치, 및 그 동작 방법
US8319714B2 (en) 2004-12-22 2012-11-27 Semiconductor Energy Laboratory Co., Ltd. Display device, and method of operation thereof
JP2006292863A (ja) * 2005-04-07 2006-10-26 Sharp Corp 液晶表示装置及び表示方法
US8203574B2 (en) 2005-09-30 2012-06-19 Nxp B.V. Dynamic softclipping of video levels
JP2009508173A (ja) * 2005-09-30 2009-02-26 エヌエックスピー ビー ヴィ ビデオレベルの動的ソフトクリッピング
JP2007110596A (ja) * 2005-10-17 2007-04-26 Matsushita Electric Ind Co Ltd 映像信号処理装置
CN100525469C (zh) * 2006-05-10 2009-08-05 广达电脑股份有限公司 图像处理装置及其方法
JP2008139842A (ja) * 2006-11-10 2008-06-19 Seiko Epson Corp 画像表示制御装置
JP2010041174A (ja) * 2008-08-01 2010-02-18 Sanyo Electric Co Ltd 画像処理装置
US8390693B2 (en) 2008-08-01 2013-03-05 Sanyo Electric Co., Ltd. Image processing apparatus
JP2015233323A (ja) * 2011-03-15 2015-12-24 ドルビー ラボラトリーズ ライセンシング コーポレイション 画像データ変換のための方法及び装置
US9916809B2 (en) 2011-03-15 2018-03-13 Dolby Laboratories Licensing Corporation Method and apparatus for image data transformation
US10255879B2 (en) 2011-03-15 2019-04-09 Dolby Laboratories Licensing Corporation Method and apparatus for image data transformation
JP2014207663A (ja) * 2013-03-21 2014-10-30 パナソニック株式会社 映像処理装置
KR20180076206A (ko) * 2016-12-27 2018-07-05 한화에어로스페이스 주식회사 영상처리장치 및 그의 영상보정방법
KR102584522B1 (ko) 2016-12-27 2023-10-05 한화비전 주식회사 영상처리장치 및 그의 영상보정방법

Also Published As

Publication number Publication date
JP3994265B2 (ja) 2007-10-17

Similar Documents

Publication Publication Date Title
US7245764B2 (en) Image processing method and image processing apparatus utilizing luminance histograms, and projector
JP5334402B2 (ja) 映像のチラつきを改善するディスプレイ装置および方法
US8300070B2 (en) Moving image display device and moving image display method
US7548357B2 (en) Image processing device, image display device, image processing method, and image processing program
US8417032B2 (en) Adjustment of image luminance values using combined histogram
JP3741212B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および白黒伸張処理方法
JP2003259154A (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および白黒伸張処理方法
JP2006197584A (ja) 画像のrgb情報を利用したブラック/ホワイト拡張システム
JP2007259242A (ja) 映像信号処理
JP3961515B2 (ja) 画質改善装置およびその方法
JP2005353069A (ja) 彩度適応的な映像向上装置およびその方法
US7340091B2 (en) Method for adjusting image contrast
US20050259185A1 (en) Gamma correction apparatus and method capable of preventing noise boost-up
JP2004032207A (ja) 画像表示装置、プロジェクタ、プログラム及び記憶媒体
JPH06332399A (ja) 電子ディスプレイの制御方法およびその装置
JP2004007202A (ja) 画像処理装置
JP2006311162A (ja) 映像処理装置
JP4453805B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2008258925A (ja) ガンマ補正回路及びガンマ補正方法
JP2003046807A (ja) 画像表示装置および画像表示方法
JP2004101552A (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および白黒伸長処理方法
JP2010213356A (ja) 画像データを処理する方法、及び装置
KR100732676B1 (ko) 콘트라스트 향상장치 및 그 방법
US20120099786A1 (en) Electronic systems and methods for repairing scar images
JP4280904B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050121

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20051220

A977 Report on retrieval

Effective date: 20070511

Free format text: JAPANESE INTERMEDIATE CODE: A971007

A131 Notification of reasons for refusal

Effective date: 20070516

Free format text: JAPANESE INTERMEDIATE CODE: A131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070717

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100810

Year of fee payment: 3

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100810

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 4

Free format text: PAYMENT UNTIL: 20110810

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120810

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130810

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees