JP3793987B2 - 補正カーブ生成方法、画像処理方法、画像表示装置および記録媒体 - Google Patents
補正カーブ生成方法、画像処理方法、画像表示装置および記録媒体 Download PDFInfo
- Publication number
- JP3793987B2 JP3793987B2 JP2000278272A JP2000278272A JP3793987B2 JP 3793987 B2 JP3793987 B2 JP 3793987B2 JP 2000278272 A JP2000278272 A JP 2000278272A JP 2000278272 A JP2000278272 A JP 2000278272A JP 3793987 B2 JP3793987 B2 JP 3793987B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- image
- image processing
- color correction
- projector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 44
- 238000003672 processing method Methods 0.000 title claims description 15
- 238000005286 illumination Methods 0.000 claims description 66
- 238000010586 diagram Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 239000003086 colorant Substances 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- NTSBMKIZRSBFTA-AIDOXSFESA-N Digoxigenin bisdigitoxoside Chemical compound C1[C@H](O)[C@H](O)[C@@H](C)O[C@H]1O[C@@H]1[C@@H](C)O[C@@H](O[C@@H]2C[C@@H]3[C@]([C@@H]4[C@H]([C@]5(CC[C@@H]([C@@]5(C)[C@H](O)C4)C=4COC(=O)C=4)O)CC3)(C)CC2)C[C@@H]1O NTSBMKIZRSBFTA-AIDOXSFESA-N 0.000 description 1
- 238000004737 colorimetric analysis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/57—Control of contrast or brightness
- H04N5/58—Control of contrast or brightness in dependence upon ambient light
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Color Image Communication Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Digital Computer Display Output (AREA)
- Video Image Reproduction Devices For Color Tv Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【発明の属する技術分野】
本発明は、使用環境の変化を補正することによって出力画像の見えを調整する補正カーブ生成方法、画像表示装置、画像処理方法および記録媒体に関する。
【0002】
【従来の技術】
プロジェクタなどの画像表示装置を用いる場合、部屋の照明やスクリーンなどの外部環境が変化しても製作者の意図した画像を再現できることが重要である。このような画像の見えを調整する考え方として、デバイスの入出力特性を管理して色を再現するカラーマネージメントという考え方があるが、使用環境の変化を加味したカラーマネージメントの具体的な手法に関しては明確になっていない。特に、環境の変化として、外部照明の色が変化する場合を考慮しなければ適切な色の再現を行うことは困難である。例えば、同じ白を表示する場合であっても、外部照明の色によってはやや黄色みがかった白に見えたりする。
【0003】
【発明が解決しようとする課題】
本発明は、上記問題点を解決するためになされたもので、外部照明の色が変化しても適切な色再現が可能な補正カーブ生成方法、画像処理方法、画像表示装置および記録媒体を提供することを課題とする。
【0004】
【課題を解決するための手段】
上記課題に鑑み、請求項1に記載の発明は、画像表示装置に入力される画像データを補正するための補正カーブを生成する方法であって、所定の外部照明の各色成分比を測定する測定工程と、当該測定された外部照明の各色成分比の差を解消するように入力画像データを補正する補正カーブを生成する補正カーブ生成工程と、を備えて構成される。
【0005】
以上のように構成された、画像表示装置に入力される画像データを補正するための補正カーブを生成する方法によれば、測定工程によって、所定の外部照明の各色成分比が測定される。そして、補正カーブ生成工程によって、当該測定された外部照明の各色成分比の差を解消するように入力画像データを補正する補正カーブが生成される。
【0006】
また、請求項2に記載の発明は、画像表示装置に入力される画像データに対する画像処理方法であって、所定の外部照明の各色成分比の差を解消する補正カーブを用いて、入力画像データを補正するように構成される。
【0007】
さらに、請求項3に記載の発明は、請求項2に記載の画像処理方法であって、各色成分比の異なる複数の外部照明の個々に対して、複数の補正カーブを有するように構成される。
【0008】
また、請求項4に記載の発明は、請求項2または3に記載の画像処理方法であって、前記所定の外部照明の各色成分比の差が、外部照明の各色成分比の差をオフセットすることによって解消されるように構成される。
【0009】
さらに、請求項5に記載の発明は、請求項4に記載の画像処理方法であって、前記オフセットの量を、色成分の平均から各色成分を減算することによって求めるように構成される。
【0010】
また、請求項6に記載の発明は、請求項4または5に記載の画像処理方法であって、前記オフセットの量が調節可能であるように構成される。
【0011】
さらに、請求項7に記載の発明は、請求項2乃至6のいづれか一項に記載の画像処理方法であって、補正カーブの丸め処理を行うように構成される。
【0012】
また、請求項8に記載の発明は、請求項7に記載の画像処理方法であって、前記丸め処理の程度が調節可能であるように構成される。
【0013】
さらに、請求項9に記載の発明は、請求項3乃至8のいづれか一項に記載の画像処理方法であって、外部照明の各色成分比に基づき、生成された複数の補正カーブの中から一の補正カーブを選択する選択工程を備え、選択された補正カーブに基づいて、入力画像データに画像処理を行うように構成される。
【0014】
また、請求項10に記載の発明は、請求項9に記載の画像処理方法であって、前記選択工程における外部照明の各色成分比を入力するための工程をさらに備えて構成される。
【0015】
さらに、請求項11に記載の発明は、請求項9に記載の画像処理方法であって、前記選択工程における外部照明の各色成分比を測定するするための工程をさらに備えて構成される。
【0016】
また、請求項12に記載の発明は、入力される画像データに対して所望の画像処理を行って画像を表示する画像処理装置であって、所定の外部照明の各色成分比の差を解消する補正カーブを用いて、入力画像データを補正するように構成される。
【0017】
さらに、請求項13に記載の発明は、入力される画像データに対して所望の画像処理を行って画像を表示する画像表示装置であって、請求項1に記載の補正カーブ生成方法における測定工程および補正カーブ生成工程を順次繰返し、順次生成される補正カーブに基づいて入力画像データに対して画像処理を行うように構成される。
【0018】
また、請求項14に記載の発明は、請求項12に記載の画像処理装置であって、各色成分比の異なる複数の外部照明の個々に対して、複数の補正カーブを有するように構成される。
【0019】
さらに、請求項15に記載の発明は、入力される画像データに対して所望の画像処理を行って画像を表示する画像表示装置であって、請求項1に記載の補正カーブ生成方法における測定工程および補正カーブ生成工程を、各色成分比の異なる複数の外部照明の個々に対して、複数回繰り返すことによって生成された複数の補正カーブを格納するための格納手段を備えて構成される。
【0020】
また、請求項16に記載の発明は、請求項12乃至15のいづれか一項に記載の画像処理装置であって、前記所定の外部照明の各色成分比の差が、外部照明の各色成分比の差をオフセットすることによって解消されるように構成される。
【0021】
さらに、請求項17に記載の発明は、請求項16に記載の画像処理装置であって、前記オフセットの量を、色成分の平均から各色成分を減算することによって求めるように構成される。
【0022】
また、請求項18に記載の発明は、請求項16または17に記載の画像処理装置であって、前記オフセットの量が調節可能であるように構成される。
【0023】
さらに、請求項19に記載の発明は、請求項12乃至18のいづれか一項に記載の画像処理装置であって、補正カーブの丸め処理を行うように構成される。
【0024】
また、請求項20に記載の発明は、請求項19に記載の画像処理装置であって、前記丸め処理の程度が調節可能であるように構成される。
【0025】
さらに、請求項21に記載の発明は、請求項14乃至20のいづれか一項に記載の画像処理装置であって、外部照明の各色成分比に基づき、生成された複数の補正カーブの中から一の補正カーブを選択する選択手段を備え、選択された補正カーブに基づいて、入力画像データに画像処理を行うように構成される。
【0026】
また、請求項22に記載の発明は、請求項21に記載の画像処理装置であって、前記選択手段における外部照明の各色成分比を入力するための手段をさらに備えて構成される。
【0027】
さらに、請求項23に記載の発明は、請求項21に記載の画像処理装置であって、前記選択手段における外部照明の各色成分比を測定するするための手段をさらに備えて構成される。
【0028】
また、請求項24に記載の発明は、画像表示装置に入力される画像データに対する画像処理をコンピュータに実行させるためのプログラムを記録したコンピュータによって読取可能な記録媒体であって、所定の外部照明の各色成分比の差を解消する補正カーブを用いて入力画像データに対する画像処理をコンピュータに実行させるためのプログラムを記録してコンピュータによって読取可能に構成される。
【0029】
さらに、請求項25に記載の発明は、請求項24に記載の記録媒体であって、各色成分比の異なる複数の外部照明の個々に対して、複数の補正カーブを有するように構成される。
【0030】
また、請求項26に記載の発明は、請求項24または25に記載の記録媒体であって、前記所定の外部照明の各色成分比の差が、外部照明の各色成分比の差をオフセットすることによって解消されるように構成される。
【0031】
さらに、請求項27に記載の発明は、請求項26に記載の記録媒体であって、前記オフセットの量を、色成分の平均から各色成分を減算することによって求めるように構成される。
【0032】
また、請求項28に記載の発明は、請求項26または27に記載の記録媒体であって、前記オフセットの量が調節可能であるように構成される。
【0033】
さらに、請求項29に記載の発明は、請求項24乃至28のいづれか一項に記載の記録媒体であって、補正カーブの丸め処理を行うように構成される。
【0034】
また、請求項30に記載の発明は、請求項29に記載の記録媒体であって、前記丸め処理の程度が調節可能であるように構成される。
【0035】
さらに、請求項31に記載の発明は、請求項25乃至30のいづれか一項に記載の記録媒体であって、外部照明の各色成分比に基づき、生成された複数の補正カーブの中から一の補正カーブを選択する選択処理を備え、選択された補正カーブに基づいて、入力画像データに画像処理を行うように構成される。
【0036】
また、請求項32に記載の発明は、請求項31に記載の記録媒体であって、前記選択処理における外部照明の各色成分比を入力するための処理をさらに備えて構成される。
【0037】
さらに、請求項33に記載の発明は、請求項31に記載の記録媒体であって、前記選択処理における外部照明の各色成分比を測定するするための処理をさらに備えて構成される。
【0038】
また、請求項34に記載の発明は、画像表示装置に入力される画像データに対する画像処理を行うための補正カーブを記録したコンピュータによって読取可能な記録媒体であって、前記補正カーブが、所定の外部照明の各色成分比の差を解消するように構成されている。
【0039】
さらに、請求項35に記載の発明は、請求項34に記載の記録媒体であって、各色成分比の異なる複数の外部照明の個々に対して、複数の補正カーブを有するように構成される。
【0040】
また、請求項36に記載の発明は、請求項34または35に記載の記録媒体であって、前記所定の外部照明の各色成分比の差が、外部照明の各色成分比の差をオフセットすることによって解消されるように構成される。
【0041】
さらに、請求項37に記載の発明は、請求項36に記載の記録媒体であって、前記オフセットの量を、色成分の平均から各色成分を減算することによって求めるように構成される。
【0042】
また、請求項38に記載の発明は、請求項36または37に記載の記録媒体であって、前記オフセットの量が調節可能であるように構成される。
【0043】
さらに、請求項39に記載の発明は、請求項34乃至38のいづれか一項に記載の記録媒体であって、補正カーブの丸め処理を行うように構成される。
【0044】
また、請求項40に記載の発明は、請求項39に記載の記録媒体であって、前記丸め処理の程度が調節可能であるように構成される。
【0045】
【発明の実施の形態】
以下、図面を参照して、本発明の好適な実施の形態について説明する。
【0046】
第1実施形態
システム構成
図1に、本発明の画像表示装置の一実施形態にかかるプロジェクタ20を用いたシステムの概略説明図を示す。本発明の画像表示装置としては、プロジェクタの他、CRT、液晶ディスプレイなども含まれる。
【0047】
スクリーン10のほぼ正面に設けられたプロジェクタ20から、所定の画像が投影される。この場合、照明器具50からの外部照明80によって画像表示領域12の画像の見え方は大きく異なってしまう。例えば、同じ白を表示する場合であっても、外部照明80の色によってはやや黄色みがかった白に見えたりする。
【0048】
図2に、本発明の第1実施形態にかかるプロジェクタ20内の画像処理部100の機能ブロック図を示す。
【0049】
本発明の第1実施形態にかかるプロジェクタ内の画像処理部100は、アナログ形式の画像入力信号をデジタル信号に変換するA/D変換部110と、一次元色補正テーブルを各RGB画像入力信号に対して適用して所望の色補正を行う色補正部120と、デジタル信号をアナログ信号に変換するためのD/A変換部130と、液晶ライトバルブを駆動して画像の投影表示を行うためのL/V(ライトバルブ)駆動部140と、デバイス(プロジェクタ)の特性を保存するためのデバイス特性保存用メモリ160と、プロジェクタおよび外部照明のスクリーンによる反射光を測定するための光センサ170と、デバイス特性保存用メモリ160に保存されたデバイス特性と光センサ170の測色値とに基づき外部照明の影響を考慮した色補正テーブルを生成する色補正テーブル生成部150と、を備えて構成される。
【0050】
本発明によるプロジェクタでは、パーソナルコンピュータなどから供給されるアナログ形式の画像入力信号が、A/D変換部110によってデジタル画像信号に変換される。そして、当該変換されたデジタル画像信号は、色補正テーブル生成部150によって生成される色補正テーブルを参照して、色補正部120によって外部照明の影響を考慮した所望の色補正がなされる。色補正されたデジタル画像信号は、D/A変換部130によってアナログ信号に変換される。L/V駆動部140は、当該変換されたアナログ信号に基づき、液晶ライトバルブを駆動して画像の投影表示を行う。
【0051】
画像処理部100の動作
次に、図3を参照して、本発明の第1実施形態にかかるプロジェクタ20内の画像処理部100の動作を説明する。なお、以下に説明する色補正テーブルの生成・書込処理などの画像処理部100による処理は、プロジェクタ20のプログラム格納部(図示せず)に記録された画像処理プログラムを実行することによって行われる。前記プログラム格納部は、画像処理プログラムを記録した媒体を構成する。さらに、当該画像処理プログラム自体も、本願発明の範囲内に包含される。
【0052】
まず、本発明によるプロジェクタ20の使用が開始されると、色補正テーブル生成部150によって色補正テーブルの生成・書換処理が行われる(ステップ204)。当該色補正テーブルの生成・書換処理に関しては、以下で図4を参照して詳細に説明する。
【0053】
そして、色補正テーブルの生成・書換処理の後、書き換えられた色補正テーブルを参照して色補正部120によって色補正された画像信号に基づき、画像の表示が行われる(ステップ206)。ここで、画像の表示を終了せず(ステップ208、No)、前回の色補正テーブルの生成・書換処理終了時から一定時間経過していない場合(ステップ210、No)、ステップ206の画像の表示状態が継続する。一方、画像の表示を終了せず(ステップ208、No)、前回の色補正テーブルの生成・書換処理終了時から一定時間経過した場合(ステップ210、Yes)、時間の経過とともに外部照明の色が変化する場合を考慮して、再度色補正テーブルの生成・書換処理を行い(ステップ204)、画像の表示を行う(ステップ206)。本発明によれば、一定時間毎に外部照明の色の変化を考慮して色補正テーブルを書き換えるので、外部照明の色が変化しても適切な色再現が可能となる。
【0054】
そして、プロジェクタの電源をオフするなどして画像の表示を終了する場合(ステップ208、Yes)には処理を終了する。
【0055】
色補正テーブルの生成・書換処理
次に、図4を参照して、本発明の第1実施形態にかかるプロジェクタ20内の色補正テーブル生成部150による色補正テーブルの生成・書換処理(図3のステップ204における処理)について説明する。
【0056】
色補正テーブルの生成・書換処理では、予め、暗室内でプロジェクタ(画像表示装置)20からR(赤)G(緑)B(青)bk(黒)の各色を出力させ、当該各色出力のスクリーンによる反射光のXYZ値を光センサ170などで測定し、デバイス特性保存用メモリ160に格納しておく。
【0057】
そして、プロジェクタ20からの出力がない状態で、外部照明のスクリーン10からの反射光のXYZ値を測定する(ステップ222)。
【0058】
次に、補正カーブの計算処理が行われる(ステップ226)。当該補正カーブの計算処理に関しては、以下で図5を参照して詳細に説明する。計算された補正カーブに基づいて、新たな一次元色補正テーブルが生成される。そして、色補正部120で参照される一次元色補正テーブルが、新たに生成された一次元色補正テーブルによって書き換えられ(ステップ228)、ステップ206に戻る。
【0059】
補正カーブの計算処理
次に、図5を参照して、本発明の第1実施形態にかかるプロジェクタ20内の色補正テーブル生成部150による補正カーブの計算処理(図4のステップ226における処理)について説明する。デバイス特性保存用メモリ160に格納されているプロジェクタからのR(赤)G(緑)B(青)bk(黒)出力のスクリーンによる反射光のXYZ値と、図4の222で求めた測定値と、に基づき以下のようにして補正カーブを求める。
【0060】
補正カーブの計算処理では、まず、ステップ222で求められた外部照明のXYZ値をプロジェクタのRGB値に変換する(ステップ230)。当該実施形態では、外部照明の色をプロジェクタのRGB値で表現するために、プロジェクタのRGB値とXYZ値との間の変換を行うための行列Mを、デバイス特性保存用メモリ160に格納されているプロジェクタの各色のXYZ値から求める。行列Mおよび変換式は、
【0061】
【数1】
となる。ここで、Xc、Yc、Zc(c=R,G,B,bk)はプロジェクタの各R,G,B,bk色のXYZ値、DR,DG,DBはRGBのデジタルの入力値(0〜255)を0から1の範囲に規格化したもの、γはプロジェクタの階調特性である。ガンマは、対象となるプロジェクタの階調特性を実際に測定して求め、その平均的な値を用いるのが適当である。当該実施の形態では、一例として、γ=2.2とする。
【0062】
そして、照明のXYZ値をXi,Yi,Ziとすると、照明の色をプロジェクタのRGBの混色として表現する場合のRGB値ri,gi,biは、
【0063】
【数2】
となる。
【0064】
次に、ri,gi,biを用いて補正カーブを算出する(ステップ234)。完全な等色の再現は、式(4)で求められるri,gi,biをそのままプロジェクタのRGBの出力からオフセットとして減算することによって実現される。しかしながら、この方法では、プロジェクタの階調が大きくつぶれてしまい現実的ではない。
【0065】
そこで、当該実施形態では、図6に示すように、ri,gi,biの平均値からの差Δr、Δg、Δbをオフセットとして差し引くという方法をとる。
【0066】
このようにして、測色的には照明の色の影響を補正することができるが、人間の目の順応度や対比の効果を加味して補正量を調整する場合は、Δr、Δg、Δbの値をα倍(0<α<1)する。測定によって得られた照明の色に対して100%(α=1)の補正をかけると測色的には正しい補正が行われるが、補正のかかり過ぎによって不自然な画像再現になってしまう場合がある。この現象を解消するために、補正量を調整する。補正量αは、各環境下において実際に画像の評価を行いながら調整する必要がある。αの値としては、0.2〜0.5が好適である。
【0067】
以上の処理を式で示すと以下のようになる。但し、説明を簡単にするためRの式のみを示す。
【0068】
r’(DR)=r(DR)−αΔr
r(DR)=DR γ
Δr=ri−(ri+gi+bi)/3
上式中のr(DR)は、入力値DRに対するプロジェクタのRの補正前の出力輝度、r’(DR)は補正後の出力輝度である。
【0069】
以上より、補正前の入力値をDRin、補正後の入力値をDRoutとすれば、補正カーブは、
となる。r’(DR)、g’(DG)、b’(DB)のグラフおよび補正カーブ(DRout、DGout、DBout)の例を図7および図8にそれぞれ示す。
【0070】
次に、補正カーブの丸め処理を行う(ステップ236)。
【0071】
以上のようにして求めた補正カーブでは、図8に示すように低階調領域付近で階調がつぶれてしまうことがある。このため、補正カーブを丸めることによって、階調がつぶれ過ぎないようにする。
【0072】
1)補正量を減少させる丸め処理
まず、Doutが変化しない階調がなくなるように、補正量ΔD=Dout−Dinを、
ΔD → ΔD−(ΔD)β … (10)
のように減少させる。この変換を行うと、図9に示すように補正量が大きい程、補正量の減少も大きくなるので、結果として補正カーブが丸められる。上記式(10)のβは丸め処理の強さを示すパラメータで、β=0の場合には丸めの処理を行わない状態となり、β=∞の場合にはDout=Dinとなる。βの値は1.5が適当である。図9の(1)に、補正量を減少させる丸め処理を行った場合のDoutとDinとの関係を示す。
【0073】
2)近傍で平均化する丸め処理
図9の(1)に示す補正カーブには鋭利な角部が残るので、さらに、各点で近傍平均をとる。具体的には、階調データを33点(Din×255=0,8,16,…,255)で計算して、各点において前後2点ずつを加えた計5点の平均をとる。これらの処理を行うことによって、Doutが0または1のまま変化しない階調のない補正カーブを生成することができる。
【0074】
前記補正カーブの算出にあたっては、プロジェクタのγ、補正量αおよび丸め処理のパラメータβの4つのパラメータが必要となる。これらの値を調節することによって、同一の算出方法でも様々な補正カーブを生成することができる。
【0075】
第2実施形態
図11に、本発明の第2実施形態にかかるプロジェクタ20内の画像処理部100の機能ブロック図を示す。第1実施形態と同一の構成要素に関しては、第2実施形態においても同一の参照番号を付す。
【0076】
本発明の第2実施形態にかかるプロジェクタ内の画像処理部100は、第1実施形態と同様に、アナログ形式の画像入力信号をデジタル信号に変換するA/D変換部110と、一次元色補正テーブルを各RGB画像入力信号に対して適用して所望の色補正を行う色補正部120と、デジタル信号をアナログ信号に変換するためのD/A変換部130と、液晶ライトバルブを駆動して画像の投影表示を行うためのL/V(ライトバルブ)駆動部140と、を備えて構成される。
【0077】
本発明の第2実施形態にかかるプロジェクタ内の画像処理部100は、さらに、複数種類の外部照明に対して生成された色補正テーブルを格納するための色補正テーブル格納部190と、光センサ170の測色値に基づき、色補正テーブル格納部190に格納されている色補正テーブルの中から好適な色補正テーブルを選択する色補正テーブル選択部180と、を備えている。
【0078】
本発明の第2実施形態によるプロジェクタでは、第1実施形態と同様にして生成された色補正テーブルを色補正テーブル格納部190に予め格納しておく。そして、実際に画像を表示する際に、色補正テーブル選択部180が、光センサの測色値に基づき、適切な色補正テーブルを選択する。そして、当該選択された色補正テーブルに基づき、色補正部120は、デジタル画像入力信号に対して、外部照明の影響を考慮した所望の色補正を施す。色補正されたデジタル画像入力信号は、D/A変換部130によってアナログ信号に変換され、当該変換されたアナログ信号に基づき、L/V駆動部140は液晶ライトバルブを駆動して画像の投影表示を行う。
【0079】
色補正テーブルの生成・格納処理
本発明の第2実施形態にかかるプロジェクタ20では、予め、複数種類の外部照明に対して、第1実施形態と同様に補正カーブの計算処理を行ない、計算された補正カーブに基づいて、一次元色補正テーブルを生成し、当該生成された一次元色補正テーブルと、各外部照明のスクリーン10からの反射光のXYZ値とが色補正テーブル格納部190に予め格納されている。
【0080】
画像処理部100の動作
次に、図12を参照して、本発明の第2実施形態にかかるプロジェクタ20内の画像処理部100の動作を説明する。なお、以下に説明する画像処理部100による処理は、第1実施形態と同様に、プロジェクタ20のプログラム格納部(図示せず)に記録された画像処理プログラムを実行することによって行われる。前記プログラム格納部は、画像処理プログラムを記録した媒体を構成する。さらに、当該画像処理プログラム自体も、本願発明の範囲内に包含される。
【0081】
まず、本発明によるプロジェクタ20の使用が開始されると、光センサ170によって外部照明のスクリーン10からの反射光のXYZ値が測定される(ステップ302)。
【0082】
次に、色補正テーブル選択部180は、色補正テーブル格納部190に格納されている反射光のXYZ値を参照して、光センサ170によって測定された外部照明のスクリーン10からの反射光のXYZ値に最も近似するXYZ値に対して生成された対応色補正テーブルを、色補正テーブル格納部190の中から選択して、色補正部120に対して、対応色補正テーブルを通知する。そして、色補正部120は、対応色補正テーブルを色補正テーブル格納部190から読み出し、色補正テーブルを当該対応色補正テーブルに書き換える(ステップ304)。
【0083】
そして、色補正テーブルの選択・書換処理の後、書き換えられた色補正テーブルを参照して色補正部120によって色補正された画像信号に基づき、画像の表示が行われる(ステップ306)。ここで、画像の表示を終了せず(ステップ308、No)、前回の色補正テーブルの選択・書換処理終了時から一定時間経過していない場合(ステップ310、No)、ステップ306の画像の表示状態が継続する。一方、画像の表示を終了せず(ステップ308、No)、前回の色補正テーブルの選択・書換処理終了時から一定時間経過した場合(ステップ310、Yes)、時間の経過とともに外部照明の色が変化する場合を考慮して、再度外部照明のスクリーン10からの反射光のXYZ値測定(ステップ302)および色補正テーブルの選択・書換処理を行い(ステップ304)、画像の表示を行う(ステップ306)。本発明によれば、一定時間毎に外部照明の明るさの変化を考慮して色補正テーブルを書き換えるので、外部照明の色が変化しても適切な色再現が可能となる。
【0084】
そして、プロジェクタの電源をオフするなどして画像の表示を終了する場合(ステップ308、Yes)には処理を終了する。
【0085】
第3実施形態
図13に、本発明の第3実施形態にかかるプロジェクタ20内の画像処理部100の機能ブロック図を示す。第1および第2実施形態と同一の構成要素に関しては、第3実施形態においても同一の参照番号を付す。
【0086】
本発明の第3実施形態にかかるプロジェクタ内の画像処理部100は、第1および第2実施形態と同様に、アナログ形式の画像入力信号をデジタル信号に変換するA/D変換部110と、一次元色補正テーブルを各RGB画像入力信号に対して適用して所望の色補正を行う色補正部120と、デジタル信号をアナログ信号に変換するためのD/A変換部130と、液晶ライトバルブを駆動して画像の投影表示を行うためのL/V(ライトバルブ)駆動部140と、を備えて構成される。
【0087】
さらに、本発明の第3実施形態にかかるプロジェクタ内の画像処理部100は、第2実施形態と同様に、複数種類の外部照明に対して生成された色補正テーブルを格納するための色補正テーブル格納部190と、色補正テーブル格納部190に格納されている色補正テーブルの中から好適な色補正テーブルを選択する色補正テーブル選択部180と、を備えている。
【0088】
本発明の第3実施形態にかかるプロジェクタ内の画像処理部100は、(1)外部照明の輝度値を入力するための輝度入力手段200をさらに備えている点、および(2)前記色補正テーブル選択部180が、輝度入力手段200によって入力されたXYZ値に基づき、色補正テーブル格納部190に格納されている色補正テーブルの中から好適な色補正テーブルを選択する点において、第2実施形態とは異なる。
【0089】
色補正テーブルの生成・格納処理に関しては、第2実施形態と同様なので、その説明を省略する。
【0090】
画像処理部100の動作
次に、図14を参照して、本発明の第3実施形態にかかるプロジェクタ20内の画像処理部100の動作を説明する。
【0091】
以下に説明する画像処理部100による処理は、第1および第2実施形態と同様に、プロジェクタ20のプログラム格納部(図示せず)に記録された画像処理プログラムを実行することによって行われる。前記プログラム格納部は、画像処理プログラムを記録した媒体を構成する。さらに、当該画像処理プログラム自体も、本願発明の範囲内に包含される。
【0092】
第3実施形態にかかるプロジェクタ20内の画像処理部100の動作は、基本的に、第2実施形態と同様である。
【0093】
第2実施形態では、ステップ302において、一定時間毎に光センサ170によって外部照明のスクリーン10からの反射光のXYZ値が測定され、色補正テーブル選択部180が、当該測定された外部照明のスクリーン10からの反射光のXYZ値に最も近似するXYZ値に対して生成された対応色補正テーブルを、色補正テーブル格納部190の中から選択する。
【0094】
一方、第3実施形態では、ステップ402において、輝度入力手段200によって外部照明のスクリーン10からの反射光のXYZ値が入力され、色補正テーブル選択部180が、色補正テーブル格納部190に格納されている反射光のXYZ値を参照して、当該入力されたXYZ値に最も近似するXYZ値に対して生成された対応色補正テーブルを、色補正テーブル格納部190の中から選択する点において異なる。
【0095】
輝度入力手段200によって外部照明のスクリーン10からの反射光のXYZ値が入力されると(ステップ402、Yes)、色補正テーブル選択部180は、色補正部120に対して、対応色補正テーブルを通知する。そして、色補正部120は、対応色補正テーブルを色補正テーブル格納部190から読み出し、色補正テーブルを当該対応色補正テーブルに書き換える(ステップ404)。そして、書き換えられた色補正テーブルを参照して色補正部120によって色補正された画像信号に基づき、画像の表示が行われる(ステップ406)。
【0096】
一方、輝度入力手段200によって外部照明のスクリーン10からの反射光のXYZ値が入力されない場合(ステップ402、No)、色補正テーブルの書き換えを行わずに、画像の表示が行われる(ステップ406)。
【0097】
そして、プロジェクタの電源をオフするなどして画像の表示を終了するまで、上記ステップ402〜406が繰り返される(ステップ408)。
【図面の簡単な説明】
【図1】本実施形態の一例にかかるプロジェクタ20を用いたシステムの概略説明図である。
【図2】本発明の第1実施形態にかかるプロジェクタ20内の画像処理部の機能ブロック図である。
【図3】本発明の第1実施形態にかかるプロジェクタ20内の画像処理部100の動作を説明するためのフローチャートである。
【図4】本発明の第1実施形態にかかるプロジェクタ20内の色補正テーブル生成部150による色補正テーブルの生成・書換処理を説明するためのフローチャートである。
【図5】本発明の第1実施形態にかかるプロジェクタ20内の色補正テーブル生成部150による補正カーブの計算処理を説明するためのフローチャートである。
【図6】補正カーブの算出原理を説明するための図である。
【図7】補正後のプロジェクタの出力を示すグラフ図である。
【図8】丸め処理前の補正カーブを示すグラフ図である。
【図9】補正カーブの丸め処理を説明するための図である。
【図10】丸め処理後の補正カーブを示すグラフ図である。
【図11】本発明の第2実施形態にかかるプロジェクタ20内の画像処理部100の機能ブロック図である。
【図12】本発明の第2実施形態にかかるプロジェクタ20内の画像処理部100の動作を説明するためのフローチャートである。
【図13】本発明の第3実施形態にかかるプロジェクタ20内の画像処理部100の機能ブロック図である。
【図14】本発明の第3実施形態にかかるプロジェクタ20内の画像処理部100の動作を説明するためのフローチャートである。
【符号の説明】
10 スクリーン
20 プロジェクタ
50 照明器具
60 光センサ
80 環境光
100 画像処理部
110 A/D変換部
120 色補正部
130 D/A変換部
140 L/V駆動部
150 色補正テーブル生成部
170 光センサ
180 色補正テーブル選択部
190 色補正テーブル格納部
200 輝度入力手段
Claims (3)
- 入力される画像データに基づいて画像をスクリーンに投影して表示を行う画像表示装置に入力される画像データに対する画像処理方法であって、
補正手段が、所定の外部照明が前記スクリーンに反射された反射光の各色成分の差を、前記各色成分と該各色成分の平均との差を低減するようにして、低減する補正カーブを用いて、入力画像データを補正する補正工程、
を備えた画像処理方法。 - 入力される画像データに基づいて画像をスクリーンに投影して表示を行う画像表示装置であって、
所定の外部照明が前記スクリーンに反射された反射光の各色成分の差を、前記各色成分と該各色成分の平均との差を低減するようにして、低減する補正カーブを用いて、入力画像データを補正する補正手段、
を備えた画像処理装置。 - 入力される画像データに基づいて画像をスクリーンに投影して表示を行う画像表示装置における画像処理をコンピュータに実行させるためのプログラムを記録したコンピュータによって読取可能な記録媒体であって、
所定の外部照明が前記スクリーンに反射された反射光の各色成分の差を、前記各色成分と該各色成分の平均との差を低減するようにして、低減する補正カーブを用いて、入力画像データを補正する補正処理、
をコンピュータに実行させるためのプログラムを記録したコンピュータによって読取可能な記録媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000278272A JP3793987B2 (ja) | 2000-09-13 | 2000-09-13 | 補正カーブ生成方法、画像処理方法、画像表示装置および記録媒体 |
EP01121647A EP1189457A3 (en) | 2000-09-13 | 2001-09-13 | Correction curve generating method, image processing method, image display unit and storage medium |
US09/950,923 US7046843B2 (en) | 2000-09-13 | 2001-09-13 | Correction curve generating method, image processing method, image display unit, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000278272A JP3793987B2 (ja) | 2000-09-13 | 2000-09-13 | 補正カーブ生成方法、画像処理方法、画像表示装置および記録媒体 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005305872A Division JP2006109498A (ja) | 2005-10-20 | 2005-10-20 | 画像処理方法、画像処理装置および記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002095021A JP2002095021A (ja) | 2002-03-29 |
JP3793987B2 true JP3793987B2 (ja) | 2006-07-05 |
Family
ID=18763462
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000278272A Expired - Fee Related JP3793987B2 (ja) | 2000-09-13 | 2000-09-13 | 補正カーブ生成方法、画像処理方法、画像表示装置および記録媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US7046843B2 (ja) |
EP (1) | EP1189457A3 (ja) |
JP (1) | JP3793987B2 (ja) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3719411B2 (ja) * | 2001-05-31 | 2005-11-24 | セイコーエプソン株式会社 | 画像表示システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 |
US7595811B2 (en) | 2001-07-26 | 2009-09-29 | Seiko Epson Corporation | Environment-complaint image display system, projector, and program |
US7391475B2 (en) * | 2002-01-31 | 2008-06-24 | Hewlett-Packard Development Company, L.P. | Display image generation with differential illumination |
US7460179B2 (en) * | 2002-01-31 | 2008-12-02 | Hewlett-Packard Development Company, L.P. | Adaptive image display |
US7283181B2 (en) * | 2002-01-31 | 2007-10-16 | Hewlett-Packard Development Company, L.P. | Selectable color adjustment for image display |
JP2003323610A (ja) * | 2002-03-01 | 2003-11-14 | Nec Corp | プロジェクタの色補正方法および色補正装置 |
JP3719424B2 (ja) | 2002-05-09 | 2005-11-24 | セイコーエプソン株式会社 | 画像処理システム、プロジェクタ、画像処理方法、プログラムおよび情報記憶媒体 |
JP4445693B2 (ja) * | 2002-05-17 | 2010-04-07 | 日本電気株式会社 | プロジェクタの投射面色補正方法、プロジェクタの投射面色補正システムおよびプロジェクタの投射面色補正用プログラム |
US7184054B2 (en) * | 2003-01-21 | 2007-02-27 | Hewlett-Packard Development Company, L.P. | Correction of a projected image based on a reflected image |
CN100417175C (zh) * | 2003-09-11 | 2008-09-03 | 松下电器产业株式会社 | 视觉处理装置、视觉处理方法和半导体器件 |
KR101027825B1 (ko) | 2003-09-11 | 2011-04-07 | 파나소닉 주식회사 | 시각 처리 장치, 시각 처리 방법, 시각 처리 프로그램 및반도체 장치 |
WO2005027040A1 (ja) * | 2003-09-11 | 2005-03-24 | Matsushita Electric Industrial Co., Ltd. | 画像処理装置、画像処理方法および画像処理プログラム |
EP1667065B1 (en) * | 2003-09-11 | 2018-06-06 | Panasonic Intellectual Property Corporation of America | Visual processing apparatus, visual processing method, visual processing program, and semiconductor device |
EP1667066B1 (en) * | 2003-09-11 | 2020-01-08 | Panasonic Intellectual Property Corporation of America | Visual processing device, visual processing method, visual processing program, integrated circuit, display device, imaging device, and mobile information terminal |
US7221374B2 (en) * | 2003-10-21 | 2007-05-22 | Hewlett-Packard Development Company, L.P. | Adjustment of color in displayed images based on identification of ambient light sources |
US7581841B2 (en) | 2004-03-19 | 2009-09-01 | Nec Display Solutions, Ltd. | Luminance correcting apparatus, luminance correcting method, and projector |
US20050285145A1 (en) * | 2004-06-23 | 2005-12-29 | Nadarajah Narendran | Web image transfer system using LED based lighting systems |
US20070091435A1 (en) * | 2005-10-21 | 2007-04-26 | Hewlett-Packard Development Company, L.P. | Image pixel transformation |
US7712903B2 (en) * | 2006-01-26 | 2010-05-11 | Fuji Xerox Co., Ltd. | Remote instruction system, remote instruction method and program product for remote instruction |
JP5200341B2 (ja) * | 2006-06-28 | 2013-06-05 | 富士ゼロックス株式会社 | 遠隔指示システム及び遠隔指示方法 |
WO2011083603A1 (ja) * | 2010-01-08 | 2011-07-14 | シャープ株式会社 | 電子機器、彩度調整方法、プログラムおよび記録媒体 |
WO2011103377A1 (en) | 2010-02-22 | 2011-08-25 | Dolby Laboratories Licensing Corporation | System and method for adjusting display based on detected environment |
JP5565139B2 (ja) * | 2010-06-28 | 2014-08-06 | セイコーエプソン株式会社 | 画像処理装置、投射型表示装置および画像処理方法 |
JP5775414B2 (ja) * | 2011-10-12 | 2015-09-09 | 日本電信電話株式会社 | 投影輝度調整方法、投影輝度調整装置、コンピュータプログラム及び記録媒体 |
US9013502B2 (en) * | 2011-12-29 | 2015-04-21 | Tektronix, Inc. | Method of viewing virtual display outputs |
FR3004817B1 (fr) * | 2013-04-19 | 2015-05-15 | Thales Sa | Systeme de visualisation hybride affichant des informations en superposition sur l exterieur |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4974017A (en) * | 1988-09-27 | 1990-11-27 | Fuji Photo Film Co., Ltd. | Method of determining exposure |
US5371537A (en) * | 1991-10-31 | 1994-12-06 | Eastman Kodak Company | Method and apparatus for automatically calibrating a CRT display |
JP2741996B2 (ja) * | 1992-10-30 | 1998-04-22 | 大日本スクリーン製造株式会社 | 正規化曲線の作成方法 |
DE69414151T2 (de) * | 1993-02-16 | 1999-03-18 | Fuji Photo Film Co., Ltd., Minami-Ashigara, Kanagawa | Verfahren für die Korrektur des Graugleichgewichts von einem Farbbild, welches auf einem Negativ-Film aufgenommen worden ist |
US5835465A (en) * | 1993-05-26 | 1998-11-10 | Richo Company, Ltd. | Magneto-optic disk drive controlling apparatus |
JP3263772B2 (ja) * | 1994-06-09 | 2002-03-11 | 三菱電機株式会社 | 映像表示装置 |
KR0177937B1 (ko) * | 1994-08-04 | 1999-05-01 | 구자홍 | 영상표시기기의 영상 자동 보정 장치와 방법 |
JP3307110B2 (ja) | 1994-10-17 | 2002-07-24 | 富士ゼロックス株式会社 | 画像処理装置 |
JP2907057B2 (ja) * | 1995-04-20 | 1999-06-21 | 日本電気株式会社 | 輝度自動調整装置 |
US6094185A (en) * | 1995-07-05 | 2000-07-25 | Sun Microsystems, Inc. | Apparatus and method for automatically adjusting computer display parameters in response to ambient light and user preferences |
JPH10174017A (ja) * | 1996-12-16 | 1998-06-26 | Mitsubishi Electric Corp | テレビジョン受像機及びその色温度制御方法 |
EP0863677B1 (en) * | 1997-03-08 | 2004-09-08 | Lg Electronics Inc. | Surrounding light judging method and video compensation control apparatus using the same |
WO1999023637A1 (fr) | 1997-10-31 | 1999-05-14 | Sony Corporation | Procede et dispositif de traitement d'images, procede et systeme d'emission/reception d'images et support correspondant |
KR100299759B1 (ko) | 1998-06-29 | 2001-10-27 | 구자홍 | 영상표시기기의 화면 상태 자동 조정 장치와 방법 |
JP3719498B2 (ja) * | 2000-09-13 | 2005-11-24 | セイコーエプソン株式会社 | 補正カーブ生成方法、画像処理方法、画像表示装置および記録媒体 |
JP3719499B2 (ja) * | 2000-09-13 | 2005-11-24 | セイコーエプソン株式会社 | 補正カーブ生成方法、画像処理方法、画像表示装置および記録媒体 |
-
2000
- 2000-09-13 JP JP2000278272A patent/JP3793987B2/ja not_active Expired - Fee Related
-
2001
- 2001-09-13 US US09/950,923 patent/US7046843B2/en not_active Expired - Fee Related
- 2001-09-13 EP EP01121647A patent/EP1189457A3/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
US20020051001A1 (en) | 2002-05-02 |
US7046843B2 (en) | 2006-05-16 |
EP1189457A3 (en) | 2003-05-02 |
JP2002095021A (ja) | 2002-03-29 |
EP1189457A2 (en) | 2002-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3793987B2 (ja) | 補正カーブ生成方法、画像処理方法、画像表示装置および記録媒体 | |
JP3719499B2 (ja) | 補正カーブ生成方法、画像処理方法、画像表示装置および記録媒体 | |
JP3775666B2 (ja) | 画像表示装置 | |
JP4445693B2 (ja) | プロジェクタの投射面色補正方法、プロジェクタの投射面色補正システムおよびプロジェクタの投射面色補正用プログラム | |
JP3719411B2 (ja) | 画像表示システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 | |
JP3514257B2 (ja) | 画像処理システム、プロジェクタ、画像処理方法、プログラムおよび情報記憶媒体 | |
JP3719424B2 (ja) | 画像処理システム、プロジェクタ、画像処理方法、プログラムおよび情報記憶媒体 | |
JP4110408B2 (ja) | 画像表示システム、プロジェクタ、画像処理方法および情報記憶媒体 | |
JP3719498B2 (ja) | 補正カーブ生成方法、画像処理方法、画像表示装置および記録媒体 | |
JP2002262304A (ja) | 画像表示装置、画像処理方法およびプログラム | |
WO2001015129A1 (fr) | Procede de mesure d'affichage et procede de preparation de profil | |
JP2006129456A (ja) | 画像表示装置の補正データ生成方法及び画像表示装置の製造方法 | |
JP2002094822A (ja) | 補正カーブ生成方法、画像処理方法、画像表示装置および記録媒体 | |
JP3731666B2 (ja) | 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 | |
JPH09186896A (ja) | 色信号変換方法、画像処理装置及び方法 | |
US7148902B2 (en) | Color characterization of projectors | |
JP3693159B2 (ja) | 画像処理方法、画像表示装置および記録媒体 | |
JP2007259472A (ja) | プロジェクタの投射面色補正方法、プロジェクタの投射面色補正システムおよびプロジェクタの投射面色補正用プログラム | |
JP4506616B2 (ja) | 画像表示装置、画像処理方法およびプログラム | |
JP2006109498A (ja) | 画像処理方法、画像処理装置および記録媒体 | |
JP2003114669A (ja) | 画像表示装置、画像処理方法、プログラムおよび記録媒体 | |
JPWO2002048996A1 (ja) | 画像表示装置 | |
JP2004274268A (ja) | 色変換演算子生成装置、方法、プログラム、記録媒体およびプロジェクタ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040929 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041125 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050818 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051020 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20051121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060320 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060402 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090421 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100421 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110421 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110421 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120421 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130421 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130421 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140421 Year of fee payment: 8 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |