[go: up one dir, main page]

JP3865696B2 - 色変換装置および色変換方法 - Google Patents

色変換装置および色変換方法 Download PDF

Info

Publication number
JP3865696B2
JP3865696B2 JP2003026884A JP2003026884A JP3865696B2 JP 3865696 B2 JP3865696 B2 JP 3865696B2 JP 2003026884 A JP2003026884 A JP 2003026884A JP 2003026884 A JP2003026884 A JP 2003026884A JP 3865696 B2 JP3865696 B2 JP 3865696B2
Authority
JP
Japan
Prior art keywords
color
data
noise
correction amount
color correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003026884A
Other languages
English (en)
Other versions
JP2004241893A (ja
Inventor
周一 香川
博明 杉浦
正樹 山川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2003026884A priority Critical patent/JP3865696B2/ja
Publication of JP2004241893A publication Critical patent/JP2004241893A/ja
Application granted granted Critical
Publication of JP3865696B2 publication Critical patent/JP3865696B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、プリンタやビデオプリンタ、スキャナも印刷関連等のフルカラー印刷関連機器、あるいはモニター等の表示装置等に使用するデータ処理に係わり、中でも複数の色データで表現する画像データを使用機器等に合わせて色変換処理する色変換装置および方法に関する。
【0002】
【従来の技術】
従来の色変換装置および方法の一例が下記の特許文献1に記載されている。この従来の色変換装置および方法においては、第一の画像データを構成する第一の色データRi、Gi、Biの最小値αと最大値βを算出する手段と、第一の色データRi、Gi、Biと上記最小値αと最大値βを用いて色相データを算出する手段と、色相データを用いて色相データ間の第1の比較データを生成する手段と、第1の比較データを用いて色相データ間の第2の比較データを生成する手段と、色相データに基づいて演算を行う演算手段と、所定のマトリクス係数を発生する手段と、第1および第2の比較データと、演算手段からの出力と、色相データr、g、bと、上記マトリクス係数を用いて所定のマトリクス演算を行い、演算後の画像データを出力する手段と、出力された画像データに最小値αを加算して色変換された第二の画像データを合成して出力する手段を備える。
(特許文献1参照)
【0003】
【特許文献1】
特開2000−287074
【0004】
【発明が解決しようとする課題】
従来の色変換装置または色変換方法において、色データに雑音成分が含まれる場合において、色データの彩度や明度を高めるような処理を行うと、雑音成分の影響を更に強調することになり、画像が非常に見づらいものとなるという問題があった。また、色データ中に含まれる雑音成分の影響を軽減するために、雑音除去手段を介して色データを色変換手段へと入力すると、雑音成分は除去されるものの、本来のデータの変化部分の変化も緩やかになり、画像のボケが発生するという問題点があった。
【0005】
以下、上記の点についてより詳しく説明する。色変換は、画像表示装置において所望の色再現を得るために行われるが、上記の所望の色再現には「忠実な色再現」と「好ましい色再現」とがある。「忠実な色再現」とは、実物の色に忠実な色再現であり、その実現方法としては、NTSCやsRGBなどの規格や標準の色空間を用いた色再現を行うことが考えられる。一方、「好ましい色再現」とは、人間の視覚特性や記憶色を考慮した、人間がより好ましいと感じる色再現であり、必ずしも「忠実な色再現」とは一致しない。テレビ画像などの動画の表示の際の色再現においては、「好ましい色再現」行われる場合が多い。人間の記憶色では、空の色や芝の緑など、実際の色よりも鮮やかな、彩度や明度の高い色として記憶される傾向がある。したがって、「好ましい色再現」を実現するにあたっては、色の彩度や明度が高くなるような色変換処理が入力された色データに対して行われる場合が多い。また、忠実な色再現においても、色の彩度や明度が高くなるような色変換処理が入力された色データに対して行われる場合が少なくない。これは、使用される画像表示手段の有する色再現範囲が狭いことに起因する。
【0006】
一方、画像表示装置などに入力される第一の色データは、カメラなどの色データ生成側で生成された本来の色データとは必ずしも一致しない。これは、色データが伝送される過程において、種々の雑音の影響を受けるためである。伝送路を介してカメラにより生成した本来の色データを伝送し、画像表示装置に入力する場合を考える。カメラから出力される本来の色データをRs、Gs、Bsとし、それぞれ赤、緑、青を表す色データとする。また、画像表示装置に入力される第一の色データをRi、Gi、Biとする。伝送路において雑音の影響がなく、伝送に際する送信、受信の手続きが正確に行われれば、Rs=Ri、Gs=Gi、Bs=Biとなるはずである。しかし、実際には伝送路においては雑音の影響を受けることが考えられる。雑音が各色データにおよぼす影響である雑音成分をそれぞれRn、Gn、Bnとすると、画像表示装置に入力される第一の色データRi、Gi、Biは、Ri=Rs+Rn、Gi=Gs+Gn、Bi=Bs+Bnと表すことができる。
【0007】
上記の画像表示装置に入力される第一の色データRi、Gi、Biに対して、「好ましい色再現」を実現するために色の彩度や明度が高くなるような色変換処理を行う場合、結果として本来の色データ成分の彩度や明度を高めるとともに、雑音成分の彩度や明度をも高めることになる。
【0008】
画素データに含まれる雑音成分が白色雑音による場合、雑音成分は低周波から高周波までの広い周波数範囲の成分を持つ。また、画素データに含まれる雑音成分が、特定の周波数に強い成分を持つ場合も考えられる。例えば、伝送時に用いられる搬送波の影響による雑音成分である場合、雑音成分は搬送波の周波数付近に強い成分を持つこととなる。
【0009】
雑音成分が特定の周波数に強い成分を持つ場合、雑音除去手段はその周波数成分を除去する(減衰させる)ようなフィルタとして構成することとなる。一方、画像データに含まれる雑音成分が白色雑音による場合には、雑音成分のうち特に視覚的に目立つ周波数成分を除去する(減衰させる)ようなフィルタとして構成することが有効となる。視覚的に目立つ周波数成分は、厳密には表示装置の画素間隔や鑑賞距離なども考慮に入れて特定されることとなるが、現状の画像表示装置においては、雑音成分のうち画像データの画素周波数に近い高い周波数成分が目立つ場合が多く見られる。これは、現状の画像表示装置の画素間隔では、隣り合う画素のデータが雑音成分の影響により頻繁に互いに関連性なく変化すると、人間には大きな雑音として感じられるものと考えられる。ここで、画素周波数とは、連続する各画素の画像データが例えば、0、1、0、1、0、...と変化する際の周波数を指し、画像データのクロック周波数の1/2となる。
【0010】
以上のように、雑音除去手段は、雑音成分の特性によりその構成が決定されることとなる。以下、画像データの画素周波数に近い高い周波数成分の雑音成分を除去する場合を例にとって述べることとする。この場合、入力されたデータ中の高周波成分を遮断または大きく減衰させ、低周波成分を透過するローパスフィルタによって雑音除去手段を構成し、雑音除去手段を介して第一の色データを色変換手段へと入力することにより、雑音成分の強調を軽減することが可能となる。しかし、この場合には第一の色データ中に含まれる雑音成分とともに、本来の色成分の高周波成分もまた遮断され、画像のボケが発生するという問題が発生する。例えば、画像データの画素周波数の1/8以上の周波数を持つ雑音成分を除去するようなフィルタとして雑音除去手段を構成した場合、本来の色成分についても画像データの画素周波数の1/8以上の周波数が除去され、画像のボケが発生することとなる。
一般には、本来の色成分のうち、雑音除去手段3にて除去した周波数成分が除去されることとなる。
【0011】
本発明の目的は、色データの彩度や明度を高めるような処理を行った場合においても、色データに含まれる雑音成分の影響を更に強調することなく、また、雑音成分の影響の抑制による画像のボケの発生も抑えることが可能な色変換装置及び方法を提供することにある。
【0012】
【課題を解決するための手段】
この発明に係る色変換装置は、複数の第一の色データからなる画素毎の画像情報である第一の画像データを色変換して、複数の第二の色データからなる第二の画像データを求める色変換装置において、上記第一の画像データを用いて、当該第の画像データの明度および彩度の少なくともいずれかを変換するための色補正量の算出を行う色補正量演算手段と、上記色補正量演算手段により算出された色補正量に含まれる雑音の除去を行って、雑音除去された色補正量を求める雑音除去手段と、上記第一の画像データに上記雑音除去された色補正量を加算して、上記第二の画像データを求める加算手段とを備えることを特徴とする。
【0013】
【発明の実施の形態】
以下、この発明をその実施の形態を示す図面に基づいて具体的に説明する。
実施の形態1.
図1は、この発明の一実施形態による色変換装置の構成の一例を示すブロック図である。
【0014】
第一の色データRi、Gi、Biは色補正量生成手段1および色補正量加算手段2へと入力される。色補正量生成手段1は、雑音除去手段3および色補正量演算手段4を備え、第一の色データRi、Gi、Biは雑音除去手段3へと入力される。雑音除去手段3では、第一の色データ中の雑音成分を除去し、雑音除去された色データR2、G2、B2を出力する。雑音除去された色データR2、G2、B2は、色補正量演算手段4へと入力され、色補正量演算手段4で色補正量R1、G1、B1が算出される。色補正量加算手段2には、第一の色データRi、Gi、Biおよび色補正量R1、G1、B1が入力され、これらを加算することにより第二の色データRo、Go、Boが算出される。
なお、色補正量は、正の値を持つとは限らず、負の値を持つ場合もある。
【0015】
第一の色データは、伝送される過程において種々の雑音の影響を受けるため、画像生成の際に生成された本来の色データ成分と、その後の雑音の影響により発生した雑音成分より構成される。本来の色データをRs、Gs、Bsとし、それぞれ赤、緑、青を表す色データとする。また、第一の色データをRi、Gi、Biとする。雑音の影響がなければ、Rs=Ri、Gs=Gi、Bs=Biとなる。しかし、実際には雑音の影響を受けることになる。雑音が各色データにおよぼす影響である雑音成分をそれぞれRn、Gn、Bnとすると、画像表示装置に入力される第一の色データRi、Gi、Biは、Ri=Rs+Rn、Gi=Gs+Gn、Bi=Bs+Bnと表すことができる。すなわち、画像表示装置に入力される第一の色データRi、Gi、Biは、本来の色データ成分であるRs、Gs、Bsと、雑音成分であるRn、Gn、Bnとの和で表されることになる。
【0016】
従来の技術について述べたように、雑音除去手段3は、雑音成分の特性に応じてその構成が決定される。以下、画像データの画素周波数に近い高い周波数成分の雑音成分を除去する場合を例にとって述べることとする。この場合、入力されたデータ中の高周波成分を遮断または大きく減衰させ、低周波成分を透過するローパスフィルタによって雑音除去手段3を構成することができる。
より具体的には、画素周波数の約1/4.5以上、即ち画素データのクロック周波数の1/9以上の周波数成分を遮断又は大きく減衰させるローパスフィルタを用いることとする。
なお、構成が簡単なローパスフィルタとしては、連続する複数の画素の画像データの単純平均値を算出する構成が考えられる。このとき、フィルタ特性は、単純平均値の算出に用いる画素の数により決定されることになる。
【0017】
図2は、雑音除去手段3の部分的な構成、即ち色データRiよりR2を算出する部分の構成の一例を表すブロック図である。GiよりG2を算出する部分、BiよりB2を算出する部分も同様の構成とすることができる。図示のように、この雑音除去手段3は、複数のデータ格納部5a〜5hを含むデータシフト手段5と、重み付け加算手段6とを有する。
雑音除去手段3に入力された第一の色データRiは、データ格納部5aへと入力される。データ格納部5a〜5hは、互いに縦続接続されており、第一の色データが入力されるたびに、データ格納部5aのデータをデータ格納部5bへ、データ格納部5bのデータをデータ格納部5cへと、一斉にデータをシフトする。データ格納部5a〜5hに保持されるデータは、重み付け加算手段6へと入力される。
【0018】
重み付け加算手段6は、データ格納部5a〜5hからのデータに重み付け加算を施し、雑音除去された色データR2として出力する。重み付け加算手段6にて行われる重み付けを均等にすれば、即ち重み付係数を互いに同じ値にし、単純平均値を算出することになる。よって、雑音除去手段3により算出される雑音除去された色データR2は、下記式(1)にて表される。
【0019】
【数1】
Figure 0003865696
【0020】
式(1)において、Ri[n]はn番目に入力された第一の色データを表し、関数fは重み付け加算を表す。
なお、雑音除去手段に最初のデータが入力されたときには、データ格納部5a〜5hには全て最初のデータと同一のデータが一斉に入力されるものとする。また、雑音除去手段に最後のデータが入力された後には、データ格納部5aには雑音除去手段に入力された最後のデータと同一のデータが入力され続けるものとする。
【0021】
図3は、本来の色データRs、Gs、Bsの一例を表す図である。図において、横軸は各データの存在する画素位置を表し、縦軸は各データの大きさを表す。また、赤を表すデータRsに注目するため、Rsの変化は特に太線にて示している。画素位置0から16、および43から63においてはRs=80、Gs=48、Bs=48であり、画素位置17から42においてはRs=160、Gs=48、Bs=48である。これは、画素位置17から42にその両側と比較して彩度、明度の高い赤色が存在することを意味する。ここで、彩度は色信号の最大値と最小値の差を最大値にて除したもので表すことができ、明度は色信号の最大値で表すことができる。これによると、画素位置0から16、および43から63における彩度は0.4、明度は80と表され、画素位置17から42における彩度は0.7、明度は160と表される。
【0022】
図4は、本来の色データRs、Gs、Bsに雑音Rn、Gn、Bnが付加された場合の色データ、すなわち雑音成分が存在する場合の画像表示装置に入力される第一の色データRi、Gi、Biの一例を表す図である。図において、横軸は各データの存在する画素位置を表し、縦軸は各データの大きさを表す。また、赤を表すデータRiに注目するため、Riの変化は特に太線にて示している。図中で矢印にて示しているのは、画素位置26および27のRiであり、それぞれ値は146、174である。画素位置26および27のRiは、本来は同じ値になるべきであり、値に相違があるのは雑音成分の影響である。この時、画素位置26および27においてGiは40、46であり、Biは38、60である。
【0023】
ここで、重み付け加算手段6において、単純平均値が算出されるものとする。図4に示した第一の色データRi、Gi、Biを入力として、図2を参照して説明した雑音除去手段3にて求められる雑音除去された色データR2、G2、B2を図5に示す。図において、横軸は各データの存在する画素位置を表し、縦軸は各データの大きさを表す。図5より、雑音除去された色データR2、G2、B2において、データの変化部分の変化も緩やかになっているものの、雑音成分も除去されている。
【0024】
色補正量演算手段4は、雑音除去された色データR2、G2、B2を用いて色補正量R1、G1、B1を算出し、算出した色補正量R1、G1、B1を色補正量加算手段2へと出力する。色補正量加算手段2には第一の色データRi、Gi、Biも入力され、色補正量加算手段2において、色補正量R1、G1、B1と加算されて第二の色データRo、Go、Boが算出される。
【0025】
色補正量演算手段4は、例えば少なくとも一つの色の明度及び彩度の少なくとも一つを高めるための補正量を求めるための演算を行うものであり、例えば下記の式(2)に示す線形演算により色補正量R1、G1、B1を求める。
【0026】
【数2】
Figure 0003865696
【0027】
下記式(3)に示す係数は、式(2)に対して用いられる係数の一例である。
【0028】
【数3】
Figure 0003865696
【0029】
上記式(3)に示す係数は、画像データの一つの特定の色である赤の明度、彩度を高めるような係数である。簡単化のため雑音除去された色データR2、G2、B2の値が、第一の色データRi、Gi、Biと同じ値を持つものとし、例えば、雑音除去された色データがR2=80、G2=48、B2=48である場合を考える。この時、R1=24、G1=0、B1=0となり、第二の色データはRo=R2+R1=104、Go=G2+G1=48、Bo=B2+B1=48となる。また、雑音除去された色データがR2=160、G2=48、B2=48の場合、R1=48、G1=0、B1=0となり、第二の色データはRo=R2+R1=208、Go=G2+G1=48、Bo=B2+B1=48となる。雑音除去された色データに対して、前者では彩度は0.4、明度は80となり、後者では彩度は0.7、明度は160となる。一方、第二の色データに対して、前者では彩度は0.54、明度は104となり、後者では彩度は0.77、明度は208となる。よって、色変換を行うことにより画像データの明度、彩度ともに高くなっている。
【0030】
図6は、第二の色データRo、Go、Boの一例を表す図であり、図4に示した第一の色データRi、Gi、Biを入力とし、式(3)に示す係数を用いた場合に算出される第二の色データである。図において、横軸は各データの存在する画素位置を表し、縦軸は各データの大きさを表す。また、赤を表すデータRoに注目するため、Roの変化は特に太線にて示している。図中で矢印にて示しているのは、画素位置26および27のRoであり、それぞれ値は193、220である。
【0031】
ここで、画素位置26および27における第二の色データRoの値の差は、220−193=27である。一方、画素位置26および27における第一の色データRiの値の差は、174−146=28である。画素位置26および27における第一の色データRiの値の差は、雑音成分の影響により生じたものである。
【0032】
よって、本実施の形態における色変換装置または色変換方法によれば、色データに含まれる雑音成分の影響を更に強調することなく、色データの彩度や明度を高めるような処理が行われている。画像データ中の雑音成分の影響が強調されると、画像表示装置に表示される画像は非常に見づらいものとなるが、本実施の形態における色変換装置または色変換方法においては、第二の色データにおける雑音成分の大きさは第一の色成分におけるものと同等となり、雑音成分の影響の増大を回避している。
【0033】
なお、上記の例では、色補正量演算手段4が一つの色である赤の明度、彩度を高めるような演算を行っているが、二つ以上の色の明度、彩度を高めるような色補正量演算を行うこととしても良い。また明度や彩度を高めるのではなく、逆に低めるような色補正を行う場合にも本発明を適用することができる。明度や彩度を低める場合には色補正量が負の値となる。
【0034】
本実施の形態における色変換装置または色変換方法において、その特徴は、色補正量生成手段1に雑音除去手段3を備え、色補正量生成手段1において色補正量算出及び雑音除去を行って色補正量を求めて色補正量加算手段2に供給し、色補正量加算手段2では、上記のような雑音除去を経た色補正量と、上記のような雑音除去を経ない第一の画像データとを加算して第二の画像データを求めることである。以下、その効果について、色補正量生成手段1に雑音除去手段3を備えない場合との比較により、さらに詳しく述べる。
【0035】
上記図1に示す色変換装置において、雑音除去手段3をR2=Ri、G2=Gi、B2=Biとなるように構成すれば、雑音除去手段3を備えない場合と同等となる。
【0036】
先程と同様に、図3にて示される本来の色データRs、Gs、Bsに雑音成分が付加された図4にて示される第一の色データRi、Gi、Biが入力される場合を考える。すなわち、画素位置26および27において、本来の色データはともにRs=160、Gs=48、Bs=48である。また、画素位置26および27において、第一の色データはRi=146、Gi=40、Bi=38、およびRi=174、Gi=46、Bi=60である。
【0037】
雑音除去手段3が設けられていないので、R2=Ri、G2=Gi、B2=Biが色補正演算手段4に入力される。色補正量演算手段4では、上記式(3)に示す係数を用いた上記式(2)に示すマトリクス演算により色補正量R1、G1、B1を求める。色補正量加算手段2は、第一の色データRi、Gi、Biと色補正量R1、G1、B1を加算して第二の色データRo、Go、Boを算出する。
【0038】
図7は、雑音除去手段3が設けられておらず、R2=Ri、G2=Gi、B2=Biとなる場合における第二の色データRo、Go、Boを表す図である。図において、横軸は各データの存在する画素位置を表し、縦軸は各データの大きさを表す。雑音除去手段3を備えた場合に得られる第二の色データRo、Go、Boを表す図6と比較すると、色変換処理により雑音成分もまた強調されていることが見て取れる。図中で矢印にて示しているのは、画素位置26および27の第二の色データRoであり、それぞれ値は189、226である。一方、画素位置26および27の第一の色データRiの値はそれぞれ146、174である。画素位置26および27の第一の色データRiの値の差は174−146=28であり、この値は本画素位置における第一の色データ中に含まれる雑音成分の大きさを表す。一方、画素位置26および27の第二の色データRoの値の差は226−189=37となり、値が大きくなっている。これは、第一の色データに含まれる雑音成分が強調されていることを表す。画像データ中の雑音成分Rn、Gn、Bnの影響を強調されると、画像表示装置に表示される画像は非常に見づらいものとなる。
【0039】
ここで、前述の通り、雑音除去手段3を備えた本実施の形態における色変換装置にて得られる画素位置26および27における第二の色データRoの値の差は27であり、雑音成分は強調されていない。
【0040】
第一の色データ中に含まれる雑音成分の影響を軽減する方法としては、雑音除去手段を介して第一の色データを色変換手段へと入力することも考えられる。図8は、雑音除去手段を付加した従来の色変換装置の一例を表すブロック図であり、雑音除去手段3を介して色変換手段7に第一の色データを入力するように構成されている。第一の色データRi、Gi、Biは雑音除去手段3へと入力される。雑音除去手段3では、第一の色データ中の雑音成分を除去し、雑音除去された色データR2、G2、B2を出力する。雑音除去された色データR2、G2、B2は、色変換手段7へと入力される。色変換手段7は、色補正量演算手段4と色補正量加算手段2を備える。色補正量演算手段4は、上述の場合と同様に、上記式(3)に示す係数を用いた上記式(2)に示すマトリクス演算により、雑音除去された色データR2、G2、B2より、色補正量R1、G1、B1を算出する。色補正量加算手段2は、雑音除去された色データR2、G2、B2と色補正量R1、G1、B1をそれぞれ加算し、第二の色データRo、Go、Boを算出する。よって、図8に示す色変換装置において、第二の色データRo、Go、Boは下記式(4)にて表される。
【0041】
【数4】
Figure 0003865696
【0042】
雑音除去手段3は、上記図2を参照して説明した構成とすることができる。ここで、雑音除去手段3の重み付け加算手段6において、単純平均値が算出されるものとする。
【0043】
図8に示す色変換装置により求められる第二の色データRo、Go、Boを図9に示す。このとき、図4に示す本来の色データに雑音成分が付加された第一の色データが入力されるものとする。図において、横軸は各データの存在する画素位置を表し、縦軸は各データの大きさを表す。図9より、第二の色データRo、Go、Boにおける雑音成分は除去されているものの、図中に破線にて囲ったように、データの変化部分の変化も緩やかになっている。データの変化部分の変化も緩やかになると、画像のボケとして認識される。例えば、画像中の文字や境界部分にボケが発生することになる。
【0044】
特に、雑音の影響を受けていない色データ、すなわち雑音成分が含まれない色データが入力された場合に、この画像中のボケは特に問題となる。すなわち、雑音成分がない色データに対しては、画像のボケという欠点のみが発生することとなる。
【0045】
一方、本実施の形態の色変換装置(図1)により得られる第二の色データRo、Go、Bo(図6)においては、画像のボケも発生していない。すなわち、画素位置16から17へのデータの変化、および画素位置42から43へのデータの変化はなだらかになっていない。これは、第一の画像データRi、Gi、Biには雑音除去を施すことなく色補正量加算手段2に供給しているからである。
【0046】
以上より、本実施の形態における色変換装置または色変換方法によれば、色データの彩度や明度を高めるような処理を行った場合においても、色データに含まれる雑音成分の影響を更に強調することなく、また、雑音成分の影響の抑制による画像のボケの発生も抑えることが可能となる。
【0047】
近年、テレビの画像やDVDに記録したビデオの画像をパーソナルコンピュータにより見るような場合も増えつつある。一般に、ビデオ画像やテレビ画像には大きな雑音成分が含まれる場合が多い。一方、パーソナルコンピュータにて発生されるグラフィック画面は非常に雑音成分が少なく、また文字情報など精細度が要求される表示も多く、画像のボケは非常に問題となる。一方、画像表示装置においては、入力される画像データが、ビデオ画像やテレビ画像を表すものであるか、文字情報を表すものであるかを判別する手段がない場合が一般的である。したがって、パーソナルコンピュータにてビデオ画像やテレビ画像を観賞する際には、ビデオ画像やテレビ画像における雑音成分の強調を抑制でき、しかもパーソナルコンピュータで発生されるグラフィックの画面における画像のボケも抑制可能な本発明の色変換装置または色変換方法は非常に有用である。
【0048】
なお、上記においては、色補正量演算手段の構成としてはマトリクス演算方式であるものとしたが、テーブル変換方式であっても同様である。テーブル変換方式は、入力される色データの組のそれぞれに対して変換後のデータを指定できるため、様々な変換特性が実現可能である長所があるが、データの時間的、空間的な変化、すなわち雑音の影響に対しては、マトリクス演算方式と比較して特に改善されるものでない。したがって、色補正量生成手段に雑音除去手段を備えることにより、色データに含まれる雑音成分の影響を更に強調することなく色変換処理が行えるという効果は、マトリクス演算方式と同様である。
【0049】
また、本実施の形態では、ハードウェアで実現する場合について述べたが、同様の処理をソフトウェアによって実現することも可能である。
【0050】
実施の形態2.
上記実施の形態1においては、色補正量生成手段は、雑音除去手段により雑音を除去されたデータを用いて色補正量を求めるように構成した。このようにする代りに、色補正量生成手段は、画像データから色補正量算出を行った後、雑音除去手段で雑音除去を行って色補正量を求めるように構成することもできる。
【0051】
図10は、この発明の実施形態2による色変換装置の構成の一例を示すブロック図である。第一の色データRi、Gi、Biは色補正量生成手段1bおよび色補正量加算手段2へと入力される。色補正量生成手段1bは、色補正量演算手段4bおよび雑音除去手段3を備え、第一の色データRi、Gi、Biは色補正量演算手段4bへと入力される。色補正量演算手段4bでは、第一の色データRi、Gi、Biより色補正量R3、G3、B3を算出し、雑音除去手段3へと出力する。雑音除去手段3では、色補正量演算手段4bから出力される色補正量R3、G3、B3に含まれる雑音成分を除去し、雑音除去された色データを色補正量R1、G1、B1として出力する。色補正量加算手段2には、第一の色データRi、Gi、Biおよび色補正量R1、G1、B1が入力され、これらを加算することにより第二の色データRo、Go、Boが算出される。
【0052】
上記実施の形態1と同様に、第一の色データは、画像生成の際に生成された本来の色データ成分Rs、Gs、Bsと、雑音成分Rn、Gn、Bnより、Ri=Rs+Rn、Gi=Gs+Gn、Bi=Bs+Bnと表すことができる。色補正量演算手段4bは、第一の色データRi、Gi、Biが入力され、色補正量R3、G3、B3を出力する他は、上記実施の形態1における色補正量演算手段4と同様の構成とすることができる。すなわち、色補正量演算手段4bにおいては、上記式(2)と同様の下記式(5)に示す線形演算により色補正量R3、G3、B3を求める。即ち、式(5)の演算も、上記式(2)と同様、例えば少なくとも一つの色の明度及び彩度の少なくとも一つを高めるための補正量を求めるためのものである。
【0053】
【数5】
Figure 0003865696
【0054】
上記式(5)における演算係数もまた、上記実施の形態1で用いたのと同一の下記式(3)に示す係数を用いることができる。下記式(3)に示す係数は、画像データの一つの特定の色である赤の明度、彩度を高める係数である。
【0055】
【数6】
Figure 0003865696
【0056】
上記実施の形態1と同様に、図4にて示される第一の色データRi、Gi、Biが入力される場合を考える。すなわち、画素位置26および27において、第一の色データはRi=146、Gi=40、Bi=38、およびRi=174、Gi=46、Bi=60である。
【0057】
図11は、色補正量演算手段4bから出力される色補正量R3、G3、B3を示す図である。図において、横軸は各データの存在する画素位置を表し、縦軸は各データの大きさを表す。画素位置26および27において、色補正量はR3=43、G3=0、B3=0、およびR3=52、G3=0、B3=0である。
【0058】
雑音除去手段3は、上記実施の形態1に関し図2を参照して説明したのと同じ構成とすることができる。但し、色補正量演算手段4bから出力される色補正量R3、G3、B3を入力とし、雑音除去された色補正量R1、G1、B1を出力とする。
ここで、雑音除去手段3の重み付け加算手段6において、単純平均値が算出されるものとする。
【0059】
図12は、雑音除去手段3から出力される色補正量R1、G1、B1を示す図である。図において、横軸は各データの存在する画素位置を表し、縦軸は各データの大きさを表す。画素位置26および27において、色補正量はR1=47、G1=0、B1=0、およびR1=46、G1=0、B1=0である。
【0060】
雑音除去手段3から出力された色補正量R1、G1、B1は、色補正量加算手段2にて第一の色データRi、Gi、Biに加算され、第二の色データRo、Go、Boが算出される。
図13は、色補正量加算手段2より出力される第二の色データRo、Go、Boの一例を表す図である。図において、横軸は各データの存在する画素位置を表し、縦軸は各データの大きさを表す。また、赤を表すデータRoに注目するため、Roの変化は特に太線にて示している。図中で矢印にて示しているのは、画素位置26および27のRoであり、それぞれ値は193、220である。
【0061】
ここで、画素位置26および27における第二の色データRoの値の差は、220−193=27である。一方、画素位置26および27における第一の色データRiの値の差は、174−146=28である。画素位置26および27における第一の色データRiの値の差は、雑音成分の影響により生じたものである。
【0062】
このように、本実施の形態における色変換装置または色変換方法においても、色データに含まれる雑音成分の影響を更に強調することなく、色データの彩度や明度を高める処理が行われている。
【0063】
実施の形態3.
図14は、この発明の実施形態3による色変換装置の構成の一例を示すブロック図である。第一の色データRi、Gi、Biは色補正量生成手段1cおよび色補正量加算手段2へと入力される。色補正量生成手段1cは、無彩色成分算出手段9、有彩色成分算出手段10、雑音除去手段3、色補正量演算手段4cを備え、第一の色データRi、Gi、Biは、無彩色成分算出手段9及び有彩色成分算出手段10へと入力される。無彩色成分算出手段9では、第一の色データRi、Gi、Biの最小値を選択し、無彩色成分データαとして出力する。無彩色成分データαは、第一の色データのうちの無彩色の成分、すなわちグレイ成分を表すデータである。
【0064】
図15は、無彩色成分データαを表す図である。図において、縦軸はデータの大きさを表す。無彩色成分データαの大きさは、第一の色データRi、Gi、Biが等量で存在する大きさであり、第一の色データに含まれるグレイ成分の大きさを表す。
【0065】
無彩色成分データαは、有彩色成分算出手段10及び色補正量演算手段4cへと入力される。有彩色成分算出手段10では、第一の色データRi、Gi、Biから無彩色成分データαを減じることにより、即ち、
R4=Ri−α
G4=Gi−α
B4=Bi−α
により、有彩色成分データR4、G4、B4を算出する。有彩色成分データは、第一の色データから無彩色成分を除いたものであり、第一の色データに含まれる色相、彩度の情報に関わるデータである。また、有彩色成分データは、第一の色データに含まれるグレイ成分には関わらない。
【0066】
有彩色成分データR4、G4、B4は雑音除去手段3へと入力され、雑音除去手段3は、雑音除去された有彩色成分データR5、G5、B5を算出する。雑音除去手段3は、上記実施の形態1に関し図2を参照して説明した構成(図2に示す回路を3つ備えた構成)とすればよく、この場合、第一の画像データRi、Gi、Biの代りに、有彩色成分データR4、G4、B4を入力信号とし、雑音除去された有彩色色成分データR5、G5、B5を出力信号とする。雑音除去された有彩色成分データR5、G5、B5は色補正量演算手段4cへと入力され、色補正量演算手段4cは、色補正量R1、G1、B1を算出する。色補正量演算手段4cは、下記の式(6)に示す演算により色補正量R1、G1、B1を算出する。式(6)の演算も、上記式(2)と同様、例えば少なくとも一つの色の明度及び彩度の少なくとも一つを高めるための補正量を求めるためのものである。
【0067】
【数7】
Figure 0003865696
【0068】
色補正量加算手段2には、第一の色データRi、Gi、Biおよび色補正量R1、G1、B1が入力され、これらを加算することにより第二の色データRo、Go、Boが算出される。
【0069】
上記実施の形態1と同様に、図4にて示される第一の色データRi、Gi、Biが入力される場合を考える。すなわち、画素位置26および27において、第一の色データはRi=146、Gi=40、Bi=38、およびRi=174、Gi=46、Bi=60である。
【0070】
図16は、有彩色成分データR4、G4、B4の一例を表す図であり、図4にて示される第一の色データRi、Gi、Biに対して求められる有彩色成分データR4、G4、B4を表す。図において、横軸は各データの存在する画素位置を表し、縦軸は各データの大きさを表す。画素位置26および27において、有彩色成分データはR4=108、G4=2、B4=0、およびR4=128、G4=0、B4=14である。
【0071】
ここで、雑音除去手段3の重み付け加算手段6において、単純平均値が算出されるものとする。この時、雑音除去された有彩色成分データR5、G5、B5は、図17にて示される。
【0072】
色補正量演算手段4cにおいては、上記式(6)に示す演算により色補正量R1、G1、B1を算出するが、係数として上記実施の形態1で用いたのと同一の下記式(3)に示す係数を用いることができる。下記式(3)に示す係数は、画像データの一つの特定の色である赤の明度、彩度を高める係数である。
【0073】
【数8】
Figure 0003865696
【0074】
図18は、上記式(3)に示す係数を用いた場合における第二の色データRo、Go、Boを表す図である。図において、横軸は各データの存在する画素位置を表し、縦軸は各データの大きさを表す。また、赤を表すデータRoに注目するため、Roの変化は特に太線にて示している。図中で矢印にて示しているのは、画素位置26および27のRoであり、それぞれ値は180、207である。ここで、画素位置26および27における第二の色データRoの値の差は、207−180=27である。一方、画素位置26および27における第一の色データRiの値の差は、174−146=28である。画素位置26および27における第一の色データRiの値の差は、雑音成分の影響により生じたものである。
【0075】
また、画素位置26において、第二の色データはRo=180、Go=40、Bo=38となり、彩度は0.79、明度は180となる。一方、画素位置26において、第一の色データはRi=146、Gi=40、Bi=38であり、彩度は0.74、明度は146となる。したがって、第二の色データにおいては、第一の色データと比較して彩度、明度ともに高くなっている。
さらに第一の色データとしてグレイのデータ、例えばRi=100、Gi=100、Bi=100が入力された場合、第二の色データもRo=100、Go=100、Bo=100となり、色変換の影響を受けない。
【0076】
以上より、本実施の形態における色変換装置または色変換方法において、色データに含まれる雑音成分の影響を更に強調することなく、色データの彩度や明度を高める処理が行われる。また、第一の色データを無彩色成分と有彩色成分に分離した後に色補正量を求めているので、無彩色(グレイ)の色再現に影響を与えることなく、色データの色相、彩度や明度の調整が可能となる。
また、有彩色成分に対してのみ雑音除去を行うので、白黒の画像データに対しては雑音除去の影響は生じない。例えば、パーソナルコンピュータにてカラーのビデオ画像を表示するとともに、白黒で表現された文書を表示した場合、ビデオ画像には雑音除去の効果が表れるが、白黒の文書には雑音除去の影響によるボケは生じない。
【0077】
実施の形態4.
上記実施の形態3においては、第一の色データを無彩色成分と有彩色成分に分離し、有彩色成分に対してのみ雑音除去するように構成した。このようにする代りに、有彩色成分のみでなく、無彩色成分に対しても有彩色成分と個別に雑音除去するように構成することもできる。
【0078】
図19は、この発明の実施形態4による色変換装置の構成の一例を示すブロック図である。第一の色データRi、Gi、Biは色補正量生成手段1dおよび色補正量加算手段2へと入力される。色補正量生成手段1dは、無彩色成分算出手段9、有彩色成分算出手段10、有彩色雑音除去手段11、無彩色雑音除去手段12、色補正量演算手段4cを備え、第一の色データRi、Gi、Biは、無彩色成分算出手段9及び有彩色成分算出手段10へと入力される。無彩色成分算出手段9では、第一の色データRi、Gi、Biの最小値を選択し、無彩色成分データαとして出力する。
【0079】
無彩色成分データαは、有彩色成分算出手段10及び無彩色雑音除去手段12へと入力される。有彩色成分算出手段10では、第一の色データRi、Gi、Biから無彩色成分データαを減じることにより、有彩色成分データR4、G4、B4を算出する。有彩色成分データR4、G4、B4は有彩色雑音除去手段11へと入力され、有彩色雑音除去手段11は、雑音除去された有彩色成分データR5、G5、B5を算出する。また、無彩色雑音除去手段12は、雑音除去された無彩色成分データを算出する。
【0080】
有彩色雑音除去手段11は、上記実施の形態1の雑音除去手段3と同じ構成(図2の構成を3つ備えたもの)とすることができる。この場合、有彩色雑音除去手段11は、有彩色成分算出手段10から出力される有彩色成分データR4、G4、B4を入力とし、雑音除去された有彩色成分データR5、G5、B5を出力する。無彩色雑音除去手段12は、上記実施の形態1の説明に用いた図2に示す構成とすることができ、無彩色成分算出手段9から出力される無彩色成分としての最小値αを入力とし、雑音成分が除去された無彩色成分を出力する。
雑音除去された有彩色成分データR5、G5、B5及び雑音除去された無彩色成分データは、色補正量演算手段4cへと入力され、色補正量演算手段4cは、色補正量R1、G1、B1を算出する。色補正量加算手段2には、第一の色データRi、Gi、Biおよび色補正量R1、G1、B1が入力され、これらを加算することにより第二の色データRo、Go、Boが算出される。
【0081】
本実施の形態における色変換装置においては、有彩色成分データのみでなく、無彩色成分データに対しても有彩色成分データと個別に雑音除去するように構成した点が、上記実施の形態3における色変換装置と異なる。無彩色成分データは、有彩色成分データとの組み合わせで彩度の情報に関わるが、単体では明るさの情報のみを持つデータであり、人間の視覚特性に対しては、有彩色データとは異なる特性を持つことが考えられる。したがって、有彩色成分データと個別に無彩色成分データ雑音除去することにより、それぞれ視覚特性に合わせた雑音除去の影響、効果の大きさを選択することが可能となる。
【0082】
【発明の効果】
この発明の色変換装置および方法は以上説明したように、複数の第一の色データからなる画素毎の画像情報である第一の画像データを色変換して、複数の第二の色データからなる第二の画像データを求める色変換装置において、上記第一の画像データに基づく色補正量算出及び雑音除去を行って色補正量を求める色補正量生成手段と、上記第一の画像データに上記色補正量を加算して、上記第二の画像データを求める加算手段とを備えるものであるので、色データの彩度や明度を高めるような処理を行った場合においても、色データに含まれる雑音成分の影響を更に強調することなく、また、雑音成分の影響の抑制による画像のボケの発生も抑えることが可能となる。
【図面の簡単な説明】
【図1】 この発明の実施の形態1による色変換装置の構成の一例を示すブロック図である。
【図2】 この発明の実施の形態1による色変換装置における雑音除去手段3の部分的な構成の一例を表すブロック図である。
【図3】 本来の色データRs、Gs、Bsの一例を表す図である。
【図4】 雑音成分が存在する場合の画像表示装置に入力される第一の色データの一例を表す図である。
【図5】 雑音除去された色データの一例を表す図である。
【図6】 この発明の実施の形態1における第二の色データの一例を表す図である。
【図7】 雑音除去手段をR2=Ri、G2=Gi、B2=Biとなるように構成した場合の第二の色データの一例を表す図である。
【図8】 雑音除去手段を付加した従来の色変換装置の一例を表すブロック図である。
【図9】 雑音除去手段を付加した従来の色変換装置により求められる第二の色データの一例を表す図である。
【図10】 この発明の実施の形態2による色変換装置の構成の一例を示すブロック図である。
【図11】 この発明の実施の形態2による色変換装置における色補正量演算手段から出力される色補正量の一例を示す図である。
【図12】 この発明の実施の形態2による色変換装置における雑音除去手段から出力される色補正量の一例を示す図である。
【図13】 この発明の実施の形態2による色変換装置における色補正量加算手段より出力される第二の色データの一例を表す図である。
【図14】 この発明の実施の形態3による色変換装置の構成の一例を示すブロック図である。
【図15】 無彩色成分データαを表す図である。
【図16】 この発明の実施の形態3による色変換装置における有彩色成分データの一例を表す図である。
【図17】 この発明の実施の形態3による色変換装置における雑音除去された有彩色成分データの一例を表す図である。
【図18】 この発明の実施の形態3による色変換装置における第二の色データの一例を表す図である。
【図19】 この発明の実施の形態4による色変換装置の構成の一例を示すブロック図である。
【符号の説明】
1、1b、1c、1d 色補正量生成手段、 2 色補正量加算手段、 3 雑音除去手段、 4、4b、4c 色補正量演算手段、 5 データシフト手段、 5a〜5h データ格納部、 6 重み付け加算手段、 7 色変換手段、10 有彩色成分算出手段、 11 有彩色雑音除去手段、 12 無彩色雑音除去手段。

Claims (8)

  1. 複数の第一の色データからなる画素毎の画像情報である第一の画像データを色変換して、複数の第二の色データからなる第二の画像データを求める色変換装置において、
    上記第一の画像データを用いて、当該第の画像データの明度および彩度の少なくともいずれかを変換するための色補正量の算出を行う色補正量演算手段と、
    上記色補正量演算手段により算出された色補正量に含まれる雑音の除去を行って、雑音除去された色補正量を求める雑音除去手段と、
    上記第一の画像データに上記雑音除去された色補正量を加算して、上記第二の画像データを求める加算手段と
    を備えることを特徴とする色変換装置。
  2. 上記雑音除去手段は、入力されたデータ中の高周波成分を遮断し、低周波成分を透過するローパスフィルタであることを特徴とする請求項1に記載の色変換装置。
  3. 上記ローパスフィルタが、画像データのクロック周波数の1/9以上の周波数成分を遮断するものであることを特徴とする請求項2に記載の色変換装置。
  4. 上記色補正量算出が、少なくとも一つの色の明度又は彩度を高めるための補正量を求めるものであることを特徴とする請求項1に記載の色変換装置。
  5. 複数の第一の色データからなる画素毎の画像情報である第一の画像データを色変換して、複数の第二の色データからなる第二の画像データを求める色変換方法において、
    上記第一の画像データを用いて当該第の画像データの明度および彩度の少なくともいずれかを変換するための色補正量の算出を行う色補正量演算ステップと、
    上記色補正量演算ステップにおいて算出された色補正量に含まれる雑音の除去を行って、雑音除去された色補正量を求める雑音除去ステップと、
    上記第一の画像データに上記雑音除去された色補正量を加算して、上記第二の画像データを求める加算ステップと
    を備えることを特徴とする色変換方法。
  6. 上記雑音除去ステップは、入力されたデータ中の高周波成分を遮断し、低周波成分を透過するローパスフィルタリングを行うことを特徴とする請求項5に記載の色変換方法。
  7. 上記ローパスフィルタリングが、画像データのクロック周波数の1/9以上の周波数成分を遮断するものであることを特徴とする請求項6に記載の色変換方法。
  8. 上記色補正量算出が、少なくとも一つの色の明度又は彩度を高めるための補正量を求めるものであることを特徴とする請求項5に記載の色変換方法。
JP2003026884A 2003-02-04 2003-02-04 色変換装置および色変換方法 Expired - Fee Related JP3865696B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003026884A JP3865696B2 (ja) 2003-02-04 2003-02-04 色変換装置および色変換方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003026884A JP3865696B2 (ja) 2003-02-04 2003-02-04 色変換装置および色変換方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2006220880A Division JP2006340395A (ja) 2006-08-14 2006-08-14 色変換装置および色変換方法

Publications (2)

Publication Number Publication Date
JP2004241893A JP2004241893A (ja) 2004-08-26
JP3865696B2 true JP3865696B2 (ja) 2007-01-10

Family

ID=32954763

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003026884A Expired - Fee Related JP3865696B2 (ja) 2003-02-04 2003-02-04 色変換装置および色変換方法

Country Status (1)

Country Link
JP (1) JP3865696B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010251883A (ja) * 2009-04-13 2010-11-04 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010251883A (ja) * 2009-04-13 2010-11-04 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記録媒体

Also Published As

Publication number Publication date
JP2004241893A (ja) 2004-08-26

Similar Documents

Publication Publication Date Title
JP4431607B2 (ja) 画像処理装置、画像形成装置、画像処理方法、コンピュータプログラム及び記録媒体
JP4967454B2 (ja) 画像補正回路、画像補正方法および画像表示装置
JP5370761B2 (ja) 映像信号処理装置および表示装置
JPS6359255A (ja) カラ−画像複製処理方法
US20090016635A1 (en) Edge-enhancement device and edge-enhancement method
JPWO2011067850A1 (ja) 画像処理装置
JP5129685B2 (ja) 輝度信号生成装置及び輝度信号生成方法、並びに撮像装置
JP4321064B2 (ja) 画像処理装置および画像処理プログラム
JP4869653B2 (ja) 画像処理装置
JP2004328564A (ja) カラー補正装置、カラー補正方法及びカラー補正プログラム、並びにカラー補正装置を用いたデジタルカメラ
JP4903254B2 (ja) 画像処理装置、画像形成装置、画像処理方法、コンピュータプログラム及び記録媒体
JP4571607B2 (ja) ノイズ低減装置および方法
US8249379B2 (en) Image processing apparatus and method and image display apparatus
JPH11275350A (ja) 画像処理方法及び装置
KR20060021665A (ko) 이동단말기에서의 화면 선명도 조절 장치 및 방법
JP3865696B2 (ja) 色変換装置および色変換方法
JP4234166B2 (ja) 画像処理装置および画像処理方法
JP2006340395A (ja) 色変換装置および色変換方法
JP2006115444A (ja) 画像処理方法、画像処理装置、画像処理プログラム、および電子カメラ
JP2005260908A (ja) 画像処理方法、及び画像処理装置、半導体装置、電子機器、画像処理プログラム、並びにコンピュータ読み取り可能な記録媒体
JP5103580B2 (ja) 画像処理装置およびデジタルカメラ
JP5247632B2 (ja) 画像処理装置及び方法、並びに画像表示装置及び方法
JP2004064227A (ja) 映像信号処理装置
JPH11346320A (ja) 映像信号処理装置
JP5409864B2 (ja) 輝度信号生成装置及び輝度信号生成方法、並びに撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060428

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060814

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061003

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091013

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101013

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111013

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121013

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131013

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees