JP4216474B2 - 発光ダイオードまたはその他のスペクトル光源を使用する画像処理装置カラー・キャリブレーションの方法 - Google Patents
発光ダイオードまたはその他のスペクトル光源を使用する画像処理装置カラー・キャリブレーションの方法 Download PDFInfo
- Publication number
- JP4216474B2 JP4216474B2 JP2000556331A JP2000556331A JP4216474B2 JP 4216474 B2 JP4216474 B2 JP 4216474B2 JP 2000556331 A JP2000556331 A JP 2000556331A JP 2000556331 A JP2000556331 A JP 2000556331A JP 4216474 B2 JP4216474 B2 JP 4216474B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- image processing
- led
- processing device
- response
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/52—Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/52—Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts
- G01J3/524—Calibration of colorimeters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
- H04N1/6033—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Color Image Communication Systems (AREA)
- Facsimile Image Signal Circuits (AREA)
- Spectrometry And Color Measurement (AREA)
Description
(発明の背景)
(1)発明の分野
本発明は一般に、画像処理装置の色の検証およびキャリブレーション、ならびに補正調整に関する。
【0002】
(2)背景情報
色は基本的に、物体から反射された光の各種波長を受け取った後に人間視覚系が知覚するものである。この色認識は、人間の視覚系のスペクトル感度とも呼ばれる。知覚された色を数値で表すために、いろいろな方法が開発されており、そのうちの1つにCommission Internationale de 1’Eclairge(CIE)という国際機構によって開発されたXYZ三刺激値がある。XYZ三刺激値は人間視覚系は赤、緑、青の3原色に対する受容体があり、知覚されたすべての色はこれら3原色を混ぜたものであるという理論に基づいている。
【0003】
図1は、XYZ三刺激値に関して人間視覚系に対応するスペクトル感度を示している。理想的には、画像処理装置の応答チャネルが正確にXYZ三刺激値を再現するものであれば、理論上は、その画像処理装置は視覚系で知覚された色を正確に再現することも可能である。しかし、このような画像処理装置の生産方法は複雑なので、XYZ三刺激値を正確に再現するのは実際的ではない。
【0004】
図2は、画像処理装置の赤、緑、および青の応答例を示している。応答はできる限りXYZ三刺激値と相関するように変換し、画像処理装置が人間視覚系によって知覚される色に正確に対応する出力を出すようにするのが望ましい。これは、画像処理装置上で実行されるカラー・キャリブレーションの機能である。
【0005】
カラー・キャリブレーションの機能は、XYZ三刺激値にできる限り(つまり、最小二乗誤差)近いイメージ・センサーの応答をもたらすカラー・キャリブレーション行列(たとえば、3×3行列)を見つけることである。カラー・キャリブレーション3×3行列を決定する方法の例としては、24色を表し、一般に色空間のさまざまな領域の色を示す、ニューヨーク州ニューウィンザーのMacbeth/Kollmorgen Instruments Corporationが販売しているMacbeth Colorchecker(登録商標)ターゲットなどの公知のXYZ三刺激値の複数の反射カラー・ターゲットをとる方法がある。画像処理装置によって生成される対応する赤、緑、および青(RGB)値をとることにより、ターゲットのXYZ三刺激値に近い値を表すキャリブレーション行列が見つかる。数学的には、この変換は以下のように表すことができる。
【0006】
キャリブレーションする画像処理装置を使用して、対応するRGB値を生成する画像処理装置により24色ターゲットを読み取る。カラー・ターゲットのそれぞれのXYZ三刺激値は公知であることに留意されたい。測定されたRGB値は、測定データ行列(MEAS)にロードされるが、例は次のとおりである。
【数1】
【0007】
RGB値とXYZ三刺激値との関係は、次の式で表すことができる。
【数2】
【0008】
3×3カラー・キャリブレーション行列はさらに次の式で指定できる。
【数3】
【0009】
ただし、M11、...、M33は、カラー・キャリブレーション行列のカラー・キャリブレーション係数である。
【0010】
そこで、カラー・キャリブレーション係数は次の式で計算される。
【数4】
【0011】
上記の式では、MEASTはMEAS行列の転置を意味している。
【0012】
( )-1は逆行列を意味する。さらにXn、Yn、Znは、それぞれのターゲットnのXYZ三刺激値である。
【0013】
上記より、カラー・キャリブレーション係数を選択し、画像処理装置のRGB値をカラー・ターゲットのXYZ三刺激値にマッピングするのにもっともよく当てはまるものに対応する最小化された最小二乗誤差を得る。この方法で得られた係数がなぜ最小二乗誤差を与えるかということは直ちには理解されないであろうが、さらなる考察はBox、HunterおよびHunter著「Statistics for Experimenters」(John Wiley and Sons,New York,1978)の498ページから502ページに見ることができる。有意な精度桁数を最低でも3桁として係数値を計算し、格納することが望ましい。適切な輝度が得られる限り、係数の大きさは重要ではなく、係数間の比のみが重要であることに留意されたい。そこで、次の行列は、
【数5】
カラー・キャリブレーション精度に関して等価である。
【0014】
この方法は基本的には正しい手法であるが、大量生産で実行するにはやっかいである。たとえば、Macbeth Colorchecker(登録商標)に対する試験済み画像処理装置の応答を蓄積するには、複数のカラー・ターゲット、通常24色が必要である。つまり、24色のターゲットがキャリブレーションされる画像処理装置ごとに順次画像処理されるということである。この手法はかなり時間を要するため生産の流れが妨げられ、生産コスト上昇につながる。一般に、製造で生産される各画像処理装置はRGB応答の変動に対応する独自のカラー・キャリブレーション行列が設定されていると想定され、そのため、各画像処理装置は個別にキャリブレーションされることになる。さらに、ターゲットはキャリブレーション中に頻繁に変化するので、取り扱い時にターゲットが汚染される可能性があり、その結果、キャリブレーションが不正確になる。さらに、ターゲットは光に絶えず晒されていると色あせる場合があるため、使用しないときには特別に保管する必要があり、また頻繁に交換する必要もある。さらに、反射カラー・ターゲットの色は照明光とともに変化するため、色温度および強度を常時チェックする必要のあるCIE D65照明に対応する基準光源が用意される。さらに、カラー・ターゲットを使用する際に、適切なターゲット距離関係がキャリブレーション対象のイメージ・センサーに存在するように比較的広い生産領域を割り当てなければならない。したがって、必要なのは、反射カラー・ターゲット使用に関する困難のないカラー・キャリブレーション係数とカラー・キャリブレーション行列を生成する方法と装置である。
【0015】
(発明の要約)
画像処理装置のカラー・キャリブレーションを行う方法と装置を開示する。画像処理装置は、複数の光源の照射を受ける。カラー・チャネル応答を画像処理装置から得て、カラー・キャリブレーション係数を決定する。
【0016】
本発明の方法および装置の目的、特長、および利点は、以下の説明で明らかになるであろう。
【0017】
(発明の詳細な説明)
本発明は、一組の発光ダイオード(LED)またはその他の光源を使用してカラー・キャリブレーション行列を生成するために画像処理装置へ刺激を供給する。それによって、反射カラー・ターゲットを使用するうえでの欠点の多くを克服している。LEDの特性上の特徴の1つが、光出力安定性が非常に高いことであることを理解されたい。また、光源は放射光源を意味するものであると理解することは明白である。さらに、本発明はCMOSおよびCCDデバイスの両方、ならびに他の画像処理装置で実施できることを理解されたい。さらに、例示的実施形態は赤、緑、および青(RGB)応答に関して記述されるが、決してこれを制限と解釈すべきではないことを理解されたい。他の表色系も同様に適用できるが、他のものには、たとえば、シアン、マゼンタ、黄色(CMY)の表色系と特にシアン、マゼンタ、黄色、緑(CMYG)の表色系がある。したがって、いろいろな表色系からの応答はカラー・チャネル応答と総称される。さらに、例示的実施形態は3×3行列に関して記述されるが、カラー・キャリブレーションの性質に応じて、他の行列、たとえば、3×n行列やm×n行列を使用することができ、m、nは整数である。
【0018】
図3は本発明の例示的実施形態の図である。キャリブレーション計測器10は、開口部16を持つチャンバ12を備えており、キャリブレーションされる画像処理装置18がチャンバ12の内側にアクセスできるようにしている。チャンバ12内には、画像処理装置18用の刺激を供給する複数のLEDまたはその他の光源14が組み込まれている。LEDまたはその他の光源14は、記載された例示的方法に従ってコンピュータ20によって制御できる。コンピュータ20はさらに、画像処理装置18からRGB出力を受け取り、それらの出力値を使用して、カラー・キャリブレーション・プログラムを実行し、画像処理装置18用の3×3カラー・キャリブレーション行列を生成する。生成された3×3カラー・キャリブレーション行列は、画像処理装置18内の読み取り専用メモリ(ROM)などのメモリ・デバイスに格納することができ、その後、これを使用して、読み取られたRGB値を対応するXYZ三刺激値にマッピングする。キャリブレーション計測器10を使用して様々な画像処理装置をキャリブレーションすることによって、反射カラー・ターゲットは必要なくなった。特に、LEDまたはその他の光源14を使用することにより、カラー・ターゲットの場合と同じキャリブレーションの結果が得られる。一般に、5個のLEDを使用するが、カバーするカラー領域に応じて6個以上のLEDまたは3個程度のLEDを使用できる。5個のLEDを使用する際に、430、470、545、590、および660nmのピーク時放出波長を使用して、Macbeth Colorchecker(登録商標)ターゲットに対応する反射カラー・ターゲットとともにキャリブレーションを使用して得る場合のような結果を与える刺激を得られる。しかし、他のピーク波長は実現されるべき所望の特定結果に応じて使用することができることを留意されたい。この場合、特定のピーク波長は市販されているLEDの波長に合致するように選択されているが、カラー・キャリブレーション行列の色係数と強い相関関係を与える。次に示すのは、ダイオードの中心波長(単位:nm)とメーカーの社名の一覧である。
【0019】
430nm Cree Research,Durham,N.C.
450nm Nichia America Corp.,Mountville,PA
470nm Micro Electronics Corp.,Santa Clara,CA
481nm Hewlett−Packard,Palo Alto,CA
544nm Toshiba American Electronics Components,Inc.,Irvine,CA.
562nm Toshiba American Electronics Components,Inc.,Irvine,CA.
590nm Toshiba American Electronics Components,Inc.,Irvine,CA.
592nm Hewlett−Packard,Palo Alto,CA
612nm Toshiba American Electronics Components,Inc.,Irvine,CA.
615nm Hewlett−Packard,Palo Alto,CA
637nm Hewlett−Packard,Palo Alto,CA
644nm Hewlett−Packard,Palo Alto,CA,Toshiba American Electronics Components,Inc.,Irvine,CA.
660nm Toshiba American Electronics Components,Inc.,Irvine,CA.
【0020】
狭帯域(つまり、波長±5nm)のLEDとは反対に広帯域(つまり、ピーク波長±50nm)のバンド・スプレッドのLEDを使用することでカラー・キャリブレーション行列の係数との相関関係が改善されることに留意されたい。
【0021】
残りの数字については、3×3カラー・キャリブレーション行列を生成する各種の例示的方法を、5個のLEDセットに関して説明するが、これは制限として解釈すべきではない。
【0022】
図4は本発明の例示的実施形態の図である。この例では、3×3カラー・キャリブレーション行列を生成するカラー・キャリブレーションは、5個のLEDによって生成されるRGB値に直接適用される。直接適用することにより、LEDの光が色空間の様々な領域内で色を定義するのに充分であるという仮定がある。したがって、実施形態では、Macbeth Colorchecker(R)ターゲットとの相関を求めることによってはキャリブレーションせず、キャリブレーション要件に応じて適切な色精度を与えるのに充分な場合がある。方法は次のとおりである。
【0023】
ブロック41はLEDのXYZ三刺激値を決定するステップを説明している。これは、分光光度計を使用して行うことができる。5個のLEDを次のように表す。
【0024】
XD1、YD1、ZD1は、LED#1のXYZ三刺激値である。
XD2、YD2、ZD2は、LED#2のXYZ三刺激値である。
XD3、YD3、ZD3は、LED#3のXYZ三刺激値である。
XD4、YD4、ZD4は、LED#4のXYZ三刺激値である。
XD5、YD5、ZD5は、LED#5のXYZ三刺激値である。
【0025】
ブロック42は、キャリブレーションする画像処理装置が5個のLEDにより順次照らされ、RGB応答が記録されることを示している。記録されるRGB応答を次のものとする。
【0026】
RD1、GD1、BD1はLED#1に対する画像処理装置のRGB応答である。
RD2、GD2、BD2はLED#2に対する画像処理装置のRGB応答である。
RD3、GD3、BD3はLED#3に対する画像処理装置のRGB応答である。
RD4、GD4、BD4はLED#4に対する画像処理装置のRGB応答である。
RD5、GD5、BD5はLED#5に対する画像処理装置のRGB応答である。
【0027】
ブロック43は、記録済みのRGB応答が次のMEAS行列にロードされることを示している。
【数6】
【0028】
ブロック44は、3×3行列のカラー・キャリブレーション係数(つまり、M11、...、M33)が次の式で決定されることを示している。
【数7】
【0029】
図5は本発明の他の例示的実施形態を示す。この例は統計的相関付けを伴う。この例示的方法をわかりやすくするため、図6を使用する。図6は、Macbeth Colorchecker(登録商標)の24の反射カラー・ターゲットに対する試験済みの画像処理装置の複数の応答61をまとめた表60であり、これらは5個のLED65に対して応答する画像処理装置のRGB応答でプロットされる3×3行列63のカラー・キャリブレーション係数によって定義されている。画像処理装置がキャリブレーションされると、蓄積されたデータを利用して、5個のLEDの結果と3×3行列の係数との統計的相関を求める。図5は、この手順を詳しく説明したものである。ブロック51は、キャリブレーション対象の画像処理装置を示しており、これはMacbeth Colorchecker(登録商標)に対応する24色反射カラー・ターゲットに晒される。ただし、他のカラー・ターゲットも、ターゲットのXYZ三刺激値が公知であれば、使用可能である。さらに、ターゲットの数は、所望の結果に応じて変更できる。ブロック52は、3×3カラー・キャリブレーション行列が、24色ターゲットの読み込まれたRGB値から作成されることを示している。この手順については、上の「背景情報」の項ですでに説明している。カラー・ターゲットを使用してカラー・キャリブレーションから得られる3×3行列を次の式で表す。
【数8】
【0030】
ただし、M11、...、M33は、カラー・キャリブレーション行列のカラー・キャリブレーション係数である。
【0031】
ブロック53は、同じ画像処理装置が一連の5個のLEDによる刺激を受け、5個のLEDについてのRGB応答が記録されることを示す。試験対象の画像処理装置に対し、5個のLEDの光を順次当て、全部で15個の応答を記録する。使用する5個のLEDをLED#1〜LED#5として、RD1はLED#1に対する画像処理装置の赤チャネル応答を表すとする。同様に、GD1はLED#1に対する画像処理装置の緑チャネル応答を表すとし、以下同様に続ける。画像処理装置の応答は次のように表すことができる。
【0032】
RD1、GD1、BD1はLED#1に対する画像処理装置のRGB応答である。
RD2、GD2、BD2はLED#2に対する画像処理装置のRGB応答である。
RD3、GD3、BD3はLED#3に対する画像処理装置のRGB応答である。
RD4、GD4、BD4はLED#4に対する画像処理装置のRGB応答である。
RD5、GD5、BD5はLED#5に対する画像処理装置のRGB応答である。
【0033】
ブロック54は、所望の数の画像処理装置のキャリブレーションが済むまでブロック51〜53を繰り返すことを示している。結合した蓄積データから、図6に示されているような表を構築できる。ブロック55ないし56は、充分なデータが蓄積された後、多項式回帰を使用してカラー・ターゲットの結果とLEDの結果との相関を求めるステップを示している。多項式回帰は、連立方程式を使用して測定された変数応答の相関を近似できるという理論に基づいている。多項式回帰は、線形代数ではよく知られているが、画像処理装置とのからみでの多項式回帰法の考察については、Henry R.Kang著「Color Technology for Electronic Imaging Devices」(SPIE Optical Engineering Press)の55ページ〜62ページに見ることができる。要約すると、複数の画像処理装置から得られるデータを利用し、統計回帰を用いて、LEDに対する画像処理装置の応答と、カラー・ターゲットを使用して同じ画像処理装置から得られる3×3行列の係数との相関を求めるという方法である。正味の結果は、次の形式の式である。
M11=P0+P1 *RD1+P2 *GD1+P3 *BD1+P4 *RD2+P5 *GD2+P6 *BD2+P7 *RD3+P8 *GD3+P9 *BD3+P10 *RD4+P11 *GD4+P12 *BD4+P13 *RD5+P14 *GD5+P15 *BD5
【0034】
ただし、値P0、...、P15は、統計的に求められた相関係数を表す。相関係数は、良く知られている統計手法を使用したり、あるいはSAS Institute,Inc.,Cary,NC.から市販されているJMPなどの統計解析プログラムを使用して、求めることができる。いかなる場合も、ブロック57〜58で表されるカラー・キャリブレーション行列の色係数(つまり、M11、M12、...、M33)ごとに異なる組の相関係数を求める必要がある。ブロック59は、3×3行列の係数と5個のLEDに対する画像処理装置の応答との相関を求める一組の式が得られた後、カラー・ターゲットは必要なくなり、その後の画像処理装置のカラー・キャリブレーションにその一組の式を使用するということを示している。この方法の利点は、Macbeth Colorchecker(登録商標)を継続的に使用せずに「黄金の標準(golden standard)」との間接的比較によりカラー・キャリブレーション係数を決定するという点にある。
【0035】
図7は本発明の他の実施形態の図である。この例では、同時に点灯するLEDを組み合わせてMacbeth Colorchecker(登録商標)の色のシミュレーションを行う必要がある。つまり、LEDの光を基準として使用することによって、いくつかの重み付き係数の組に応じて同時に電力が与えられるLED光を組み合わせることにより、標準CIE D65照明のもとでのMacbeth Colorchecke(登録商標)ターゲットと同じ色特性が得られる。シミュレートされた色は、画像処理装置に一度に1つずつ送られ、関連するRGB応答が記録される。その後、カラー・ターゲットを使用したときに実行したのと同様な方法でカラー・キャリブレーションを実行する。このカラー・キャリブレーション手順については、上の「背景情報」の項で説明している。図7は、この例示的方法の詳細を説明する図である。ブロック71は、LEDのXYZ三刺激値を決定するステップを説明している。これは、分光光度計を使用して行うことができる。5個のLEDを次のように表す。
【0036】
XD1、YD1、ZD1は、LED#1のXYZ三刺激値である。
XD2、YD2、ZD2は、LED#2のXYZ三刺激値である。
XD3、YD3、ZD3は、LED#3のXYZ三刺激値である。
XD4、YD4、ZD4は、LED#4のXYZ三刺激値である。
XD5、YD5、ZD5は、LED#5のXYZ三刺激値である。
【0037】
ブロック72は、次のように表されるシミュレートするMacbethカラーのXYZ三刺激値を決定するステップを説明している。
XMac1、YMac1、ZMac1は、Macbethカラー#1のXYZ三刺激値である。
XMac2、YMac2、ZMac2は、Macbethカラー#2のXYZ三刺激値である。
:
:
XMac24、YMac24、ZMac24−Macbethカラー#24のXYZ三刺激値である。
【0038】
ブロック73は、Macbethカラーのシミュレーションが行えるように、LEDに適用される一組の重み付き係数を決定するステップを説明している。この関係は次のように表すことができる。
【数9】
【0039】
ただし、(f1,1、...、f1,5)は一組の重み付き係数である。上記の関係は次のように書き直すことができる。
【数10】
【0040】
各Macbethカラーごとに同様の式を書くことができる。
【数11】
【0041】
上記の式で、重み付き係数fの第1の添え字は照合するMacbethカラーを指している(つまり、1〜24)。第2の添え字は、重み付き係数と関連するLEDを指している(つまり、1〜5)。
【0042】
上の関係式は、シミュレーションに必要な一組の重み付き係数を決定するために次のように書き換えられる。
【数12】
【0043】
ただし、[MLED]Tは[MLED]の転置行列である。選択された5個のLEDにはMacbeth Colorchecker(登録商標)の色すべてを記述できる基準がなければならない。しかし、この条件が正確に満たされていない場合、Macbethカラーに近い代替の合成可能な色を使用することができる。それとは別に、必要な色空間をよりよく含むため異なる光源を選択することもできる。この場合、5個のLEDのピーク波長はそれぞれ430、470、545、590、および660nmである。
【0044】
ブロック74は、上からの得られた一連の重み付き係数を格納することを示している。ブロック75は、シミュレートするMacbethカラーのそれぞれについて一組の重み付き係数を見つけるためにブロック71〜74を繰り返すことを説明している。ブロック76〜78は、各Macbethカラーに対応する24組の重み付き係数を格納した後、重み付き係数で示される比率にある駆動電力により5個のLEDを同時に点灯することを示している。試験されている画像処理装置により色のイメージが取り込まれ、RGB応答が記録される。全体で、24個のイメージが取り込まれ、Macbeth Colorchecker(登録商標)の24色に対するシステム応答全体が累計される。ブロック79は、3×3カラー・キャリブレーション行列を生成するためにこれらの応答を「背景情報」の項で説明したカラー・キャリブレーション手順で使用することを示している。
【0045】
この方法の利点は、等価のMacbethカラーが直接合成されるため、分光光度計で直接測定し、色表現(color rendition)の精度を決定できるというものである。これは、キャリブレーション計測器自体がキャリブレーションされていることを確認する便利な方法である(つまり、キャリブレーション・トレーサビリティの方法を提供する)。
【0046】
図8は本発明の他の実施形態の図である。この例示的方法では、MacbethカラーをLEDで合成するのではなく、LEDの刺激に対するシステム応答を認識するという方法を採用して、標準Macbethカラーに対してはどのようなシステム応答かを決定し、予測する。次いで、これらの予測を使用して、カラー・キャリブレーションで必要な応答データを提供し、3×3カラー・キャリブレーション行列を生成する。この方法は、システム応答の線形性を想定しており、またMacbeth Colorchecker(登録商標)のすべての色を記述できる基準がLEDにあるという仮定に基づいている。この仮定が正確に満たされていない場合は、代替色を使用する。
【0047】
ブロック81は、ゼロ入力に対する試験された画像処理装置のRGB応答の切片(intercept)を決定するステップを示している。このステップは、キャリブレーションされる画像処理装置のオフセットを決定するために実行する。結果に対しより正確な直線補間を行うことを目的としている。たとえば、オフセットが正である画像処理装置の場合、オフセットの補正は本質的に、暗色フレーム・サブトラクション(つまり、暗状態に対する画像処理装置の応答に対応するオフセット)と等価とすることができる。
【0048】
これらのオフセットをR0、G0、B0と呼ぶ。たとえば、
【数13】
【0049】
ブロック82は、5個のLEDをそれぞれによって画像処理装置を照明し、画像処理装置の応答をLEDごとに記録するステップを説明している。LEDに対する画像処理装置の応答を次のように表す。
【0050】
RD1、GD1、BD1はLED#1に対する画像処理装置のRGB応答である。
RD2、GD2、BD2はLED#2に対する画像処理装置のRGB応答である。
RD3、GD3、BD3はLED#3に対する画像処理装置のRGB応答である。
RD4、GD4、BD4はLED#4に対する画像処理装置のRGB応答である。
RD5、GD5、BD5はLED#5に対する画像処理装置のRGB応答である。
【0051】
ブロック83は、5個のLEDに対する上記の画像処理装置の応答を格納することを説明している。
【0052】
ブロック84は、24色のMacbethカラーのそれぞれと関連する一組の重み付き係数を計算するステップを示している。この一組の重み付き係数を決定する手順については、図7に関して説明した。
【0053】
ブロック85は、等価のMacbeth色応答を決定するために5個のLEDに対する画像処理装置のRGB応答に、計算して求めた一組の重み付き係数を適用することを示している。
【0054】
例えば
【数14】
【0055】
ブロック86は、上の「背景情報」の項で説明したようにMEASテーブルにロードされた上記からの計算で求めた等価の応答の使用と、3×3カラー・キャリブレーション行列を求めるために実行するカラー・キャリブレーション手順を示している。
【0056】
この方法では、5個のフレーム(つまり、LEDごとに1つのフレーム)を取り込むことのみを必要とするが、24色反射カラー・ターゲットを使用してキャリブレーションを実行したかのようにカラー・キャリブレーション行列を決定しができる。
【0057】
しかし、添付の特許請求の範囲に記載されているように、本発明の広範な精神と範囲を逸脱することなくさまざまな修正および変更を加えられることは明白であろう。したがって、本明細書と図面は、制限のためではなく、例示するためのものと見なすべきである。したがって、本発明の範囲は付属の特許請求の範囲によってのみ制限されるべきである。
【図面の簡単な説明】
【図1】 XYZ三刺激値に関して人間の目に対応するスペクトル感度の図である。
【図2】 画像処理装置の赤、青、および緑(RGB)の応答例を示す図である。
【図3】 キャリブレーション計測器を説明する本発明の例示的実施形態の図である。
【図4】 本発明の例示的実施形態の図である。
【図5】 統計的相関を使用する本発明の例示的実施形態の図である。
【図6】 画像処理装置の応答の相関を求めるために使用される例示的な表である。
【図7】 いくつかの組の重み付き係数を使用する本発明の例示的実施形態の図である。
【図8】 いくつかの組の重み付き係数を使用する本発明の他の例示的実施形態の図である。
Claims (1)
- 異なるスペクトル放射特性と既知の色値を有する複数の異なる光放射源からの光を放射するステップと、
一組の色チャンネル応答を発生させるために光で画像処理装置を照射するステップと、
一組のチャンネル応答と前記既知の色値から画像処理装置用のカラー・キャリブレーション係数を決定するステップと、
から構成されることを特徴とする画像処理装置のカラー・キャシブレーションを行う方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/102,875 | 1998-06-23 | ||
US09/102,875 US6205244B1 (en) | 1998-06-23 | 1998-06-23 | Method for imager device color calibration utilizing light-emitting diodes or other spectral light sources |
PCT/US1999/013163 WO1999067738A1 (en) | 1998-06-23 | 1999-06-10 | Method for imager device color calibration utilizing light-emitting diodes or other spectral light sources |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2002519877A JP2002519877A (ja) | 2002-07-02 |
JP2002519877A5 JP2002519877A5 (ja) | 2006-07-27 |
JP4216474B2 true JP4216474B2 (ja) | 2009-01-28 |
Family
ID=22292126
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000556331A Expired - Fee Related JP4216474B2 (ja) | 1998-06-23 | 1999-06-10 | 発光ダイオードまたはその他のスペクトル光源を使用する画像処理装置カラー・キャリブレーションの方法 |
Country Status (9)
Country | Link |
---|---|
US (3) | US6205244B1 (ja) |
JP (1) | JP4216474B2 (ja) |
KR (1) | KR100437583B1 (ja) |
CN (1) | CN1210672C (ja) |
AU (1) | AU4435499A (ja) |
DE (1) | DE19983327C2 (ja) |
GB (1) | GB2353913B (ja) |
TW (1) | TW436611B (ja) |
WO (1) | WO1999067738A1 (ja) |
Families Citing this family (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6542185B1 (en) * | 1998-01-07 | 2003-04-01 | Intel Corporation | Method and apparatus for automated optimization of white and color balance on video camera |
US6205244B1 (en) * | 1998-06-23 | 2001-03-20 | Intel Corporation | Method for imager device color calibration utilizing light-emitting diodes or other spectral light sources |
JP3758377B2 (ja) * | 1998-09-14 | 2006-03-22 | コニカミノルタビジネステクノロジーズ株式会社 | 画像読取装置および色収差補正方法 |
JP2000134483A (ja) * | 1998-10-26 | 2000-05-12 | Minolta Co Ltd | 画像読取装置 |
US7286166B2 (en) * | 1999-05-27 | 2007-10-23 | Intel Corporation | Calibrating digital cameras for varying ambient light conditions |
US7081976B2 (en) * | 2000-11-29 | 2006-07-25 | Xerox Corporation | Color calibration alarm apparatus and method for use in an image-rendering device |
DE10108277A1 (de) * | 2001-02-21 | 2002-08-29 | Franz Josef Gasmann | Aufnahmegerät, Verfahren zur Rekonstruktion einer Bildinformation und Verfahren zur Kalibrierung einer Bildinformation |
US6576881B2 (en) | 2001-04-06 | 2003-06-10 | Koninklijke Philips Electronics N.V. | Method and system for controlling a light source |
US7116354B2 (en) * | 2001-06-20 | 2006-10-03 | Xenogen Corporation | Absolute intensity determination for a light source in low level light imaging systems |
US6919919B2 (en) * | 2002-02-06 | 2005-07-19 | Xenogen Corporation | Light calibration device for use in low level light imaging systems |
US6677958B2 (en) * | 2001-06-22 | 2004-01-13 | Eastman Kodak Company | Method for calibrating, characterizing and driving a color flat panel display |
US6600562B1 (en) * | 2002-01-11 | 2003-07-29 | Koninklijke Philips Electronics N.V. | Method of extended color sense and estimation for RGB LED illuminants |
US7629573B2 (en) * | 2002-02-06 | 2009-12-08 | Xenogen Corporation | Tissue phantom calibration device for low level light imaging systems |
US7649185B2 (en) * | 2002-02-06 | 2010-01-19 | Xenogen Corporation | Fluorescent phantom device |
US7012634B2 (en) * | 2002-03-28 | 2006-03-14 | Eastman Kodak Company | System and method for calibrating an image capture device |
US6759814B2 (en) | 2002-03-28 | 2004-07-06 | Eastman Kodak Company | Illuminator and method of making same |
JP3856221B2 (ja) * | 2002-05-15 | 2006-12-13 | シャープ株式会社 | 携帯電話機 |
US20040056965A1 (en) * | 2002-09-20 | 2004-03-25 | Bevans Michael L. | Method for color correction of digital images |
US20040119860A1 (en) * | 2002-12-23 | 2004-06-24 | Eastman Kodak Company | Method of colorimetrically calibrating an image capturing device |
US8634014B2 (en) * | 2004-04-05 | 2014-01-21 | Hewlett-Packard Development Company, L.P. | Imaging device analysis systems and imaging device analysis methods |
KR101128227B1 (ko) * | 2004-04-05 | 2012-03-26 | 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. | 촬영 장치 교정 방법 및 촬영 장치 교정 장치 |
US8705151B2 (en) * | 2004-04-05 | 2014-04-22 | Hewlett-Packard Development Company, L.P. | Imaging device calibration methods, imaging device calibration instruments, imaging devices, and articles of manufacture |
US8587849B2 (en) * | 2004-04-05 | 2013-11-19 | Hewlett-Packard Development Company, L.P. | Imaging systems, imaging device analysis systems, imaging device analysis methods, and light beam emission methods |
US20060077487A1 (en) * | 2004-08-12 | 2006-04-13 | Tribeca Imaging Laboratories | Digital color fidelity |
EP1628495A1 (en) * | 2004-08-17 | 2006-02-22 | Dialog Semiconductor GmbH | Multi-processing of a picture to speed up calculation for this picture |
EP1648181A1 (en) * | 2004-10-12 | 2006-04-19 | Dialog Semiconductor GmbH | A multiple frame grabber |
US7538755B2 (en) * | 2004-11-02 | 2009-05-26 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | System, method and apparatus using addressable light sensors |
US7760253B2 (en) * | 2005-02-08 | 2010-07-20 | Hewlett-Packard Development Company, L.P. | Imaging device analysis methods, imaging device analysis systems, and articles of manufacture |
US8019170B2 (en) | 2005-10-05 | 2011-09-13 | Qualcomm, Incorporated | Video frame motion-based automatic region-of-interest detection |
US8208758B2 (en) * | 2005-10-05 | 2012-06-26 | Qualcomm Incorporated | Video sensor-based automatic region-of-interest detection |
CN101317185B (zh) * | 2005-10-05 | 2014-03-19 | 高通股份有限公司 | 基于视频传感器的自动关注区检测 |
DE102005048240A1 (de) * | 2005-10-07 | 2007-04-19 | Stefan Steib | Verfahren zur spektralen, integrierten Kalibrierung eines Bildsensors mittels monochromatischer Lichtquellen |
GB2431791B (en) * | 2005-10-28 | 2010-12-01 | Hewlett Packard Development Co | A proofing method and apparatus |
JP2007188128A (ja) * | 2006-01-11 | 2007-07-26 | Omron Corp | カラー画像を用いた測定方法および測定装置 |
US7369072B2 (en) * | 2006-08-31 | 2008-05-06 | Micron Technology, Inc. | Method and apparatus for calibrating imaging device circuits |
US8035688B2 (en) * | 2007-07-19 | 2011-10-11 | Xerox Corporation | Method, system and apparatus for jointly calibrating color digital cameras and monitors |
DE102008016756A1 (de) * | 2008-03-31 | 2009-10-01 | Tridonicatco Schweiz Ag | Anordnung und Verfahren zur Steuerung von LEDs |
JP5142890B2 (ja) * | 2008-08-27 | 2013-02-13 | キヤノン株式会社 | 画像処理方法及び画像処理装置 |
DE102009018095A1 (de) * | 2009-04-20 | 2010-10-21 | Carlo Gavazzi Services Ag | Digitalkamera und Verfahren zum Prüfen der Funktion einer Digitalkamera |
WO2010123499A1 (en) * | 2009-04-22 | 2010-10-28 | Hewlett-Packard Development Company, L.P. | Spatially-varying spectral response calibration data |
EP2612200A4 (en) | 2010-09-01 | 2015-11-25 | Spectral Instr Imaging Llc | EXPLORATION OF A LIGHT SOURCE ARRANGEMENT |
US9347894B2 (en) | 2010-09-01 | 2016-05-24 | Spectral Instruments Imaging, LLC | Methods and systems for producing visible light and x-ray image data |
WO2014071302A1 (en) | 2012-11-02 | 2014-05-08 | Variable, Inc. | Computer-implemented system and method for color sensing, storage and comparison |
US10425637B2 (en) | 2014-10-31 | 2019-09-24 | Hewlett-Packard Development Company, L.P. | Cross-calibration of imagers |
CN105306774A (zh) * | 2015-11-05 | 2016-02-03 | 苏州威盛视信息科技有限公司 | 一种成像装置 |
CN107131955A (zh) * | 2016-02-26 | 2017-09-05 | 富泰华工业(深圳)有限公司 | 光学测量装置及测量方法 |
RU2626575C1 (ru) * | 2016-06-28 | 2017-07-28 | Акционерное общество "Научно-исследовательский институт современных телекоммуникационных технологий" (АО "НИИ СТТ") | Способ оперативной оценки спектральных характеристик чувствительности цифровых фотокамер |
US10674581B2 (en) * | 2017-02-22 | 2020-06-02 | Signify Holding B.V. | Optimizing multichannel luminaire control using a color efficient matrix |
RU2659898C1 (ru) * | 2017-07-24 | 2018-07-04 | Акционерное общество "Научно-исследовательский институт современных телекоммуникационных технологий" | Способ оперативной точной оценки спектральных характеристик чувствительности цифровых фотокамер |
CN108510931B (zh) * | 2018-03-26 | 2021-07-27 | 明基智能科技(上海)有限公司 | 色彩校正装置 |
KR101952394B1 (ko) * | 2018-03-28 | 2019-05-02 | 천병민 | 레티넥스 모델 기반 엘이디영상 색 보정 방법 |
CN109085740A (zh) * | 2018-09-28 | 2018-12-25 | 长春长光中天光电科技有限公司 | 一种数字光刻系统光强不均匀度的测定及校正方法 |
US10746599B2 (en) | 2018-10-30 | 2020-08-18 | Variable, Inc. | System and method for spectral interpolation using multiple illumination sources |
DE112020002947T5 (de) * | 2019-06-18 | 2022-03-17 | ams Sensors Germany GmbH | Spektrale Rekonstruktion der Detektorempfindlichkeit |
WO2024225172A1 (en) * | 2023-04-26 | 2024-10-31 | Sony Semiconductor Solutions Corporation | Information processing apparatus, information processing method, program, image processing device, and image processing method |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4306768A (en) * | 1979-04-13 | 1981-12-22 | Taito America Corporation | Creation of multiplanular images |
EP0475554B1 (en) * | 1990-02-05 | 1997-08-06 | Scitex Corporation Ltd. | Apparatus and method for colour calibration |
US5191406A (en) * | 1990-04-20 | 1993-03-02 | Nikon Corporation | Method and apparatus for rapid scanning of color images |
JPH0646448A (ja) * | 1992-07-21 | 1994-02-18 | Sony Corp | 画像処理方法および装置 |
US5303028A (en) * | 1992-08-24 | 1994-04-12 | Eastman Kodak Company | Spectrometer apparatus for calibrating color imaging apparatus |
JPH06233333A (ja) * | 1993-01-29 | 1994-08-19 | Imaizumi Shokai:Kk | ビデオカメラの較正方法及び較正システム |
JP3417993B2 (ja) * | 1994-04-27 | 2003-06-16 | 富士通株式会社 | 色補正方法および装置 |
US5844880A (en) * | 1995-04-27 | 1998-12-01 | Sanyo Electric Co., Ltd. | Disk playback device with changer allowing playback of one disk while another can be exchanged |
US5781206A (en) * | 1995-05-01 | 1998-07-14 | Minnesota Mining And Manufacturing Company | Apparatus and method for recalibrating a multi-color imaging system |
US5729361A (en) * | 1995-06-30 | 1998-03-17 | Logitech, Inc. | Color scanner using both variable led exposure time and photo detector output compensation |
US5754448A (en) * | 1995-07-12 | 1998-05-19 | Minnesota Mining And Manufacturing Company | System and method for color characterization and transformation |
US5850542A (en) * | 1995-09-15 | 1998-12-15 | International Business Machines Corporation | Microprocessor instruction hedge-fetching in a multiprediction branch environment |
US5668596A (en) * | 1996-02-29 | 1997-09-16 | Eastman Kodak Company | Digital imaging device optimized for color performance |
JP3624604B2 (ja) * | 1996-12-28 | 2005-03-02 | 株式会社ニコン | 撮像装置の色再現補正装置および補正方法 |
AUPO542897A0 (en) * | 1997-03-03 | 1997-03-27 | Meat Research Corporation | Calibration of imaging system |
JPH1127526A (ja) * | 1997-07-07 | 1999-01-29 | Olympus Optical Co Ltd | 画像読み取り装置 |
US6531308B2 (en) * | 1997-11-04 | 2003-03-11 | Eli Lilly And Company | Ketoreductase gene and protein from yeast |
US6661915B1 (en) * | 1998-02-13 | 2003-12-09 | Suga Test Instruments | Illumination variable colorimetric method and colorimeter |
US5982957A (en) * | 1998-03-31 | 1999-11-09 | Eastman Kodak Company | Scanner illumination |
US6205244B1 (en) * | 1998-06-23 | 2001-03-20 | Intel Corporation | Method for imager device color calibration utilizing light-emitting diodes or other spectral light sources |
US6300621B1 (en) * | 1998-12-09 | 2001-10-09 | Intel Corporation | Color calibration device and method |
US6538770B1 (en) * | 1999-11-24 | 2003-03-25 | Xerox Corporation | Color printer color control system using dual mode banner color test sheets |
-
1998
- 1998-06-23 US US09/102,875 patent/US6205244B1/en not_active Expired - Lifetime
-
1999
- 1999-06-03 TW TW088109217A patent/TW436611B/zh not_active IP Right Cessation
- 1999-06-10 JP JP2000556331A patent/JP4216474B2/ja not_active Expired - Fee Related
- 1999-06-10 KR KR10-2000-7014527A patent/KR100437583B1/ko not_active IP Right Cessation
- 1999-06-10 GB GB0031144A patent/GB2353913B/en not_active Expired - Fee Related
- 1999-06-10 CN CNB998078484A patent/CN1210672C/zh not_active Expired - Fee Related
- 1999-06-10 DE DE19983327T patent/DE19983327C2/de not_active Expired - Fee Related
- 1999-06-10 WO PCT/US1999/013163 patent/WO1999067738A1/en active IP Right Grant
- 1999-06-10 AU AU44354/99A patent/AU4435499A/en not_active Abandoned
-
2000
- 2000-08-18 US US09/642,388 patent/US7016533B1/en not_active Expired - Fee Related
-
2005
- 2005-11-18 US US11/283,375 patent/US7382918B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN1210672C (zh) | 2005-07-13 |
DE19983327T1 (de) | 2001-05-31 |
CN1307710A (zh) | 2001-08-08 |
KR20010053063A (ko) | 2001-06-25 |
KR100437583B1 (ko) | 2004-06-26 |
GB0031144D0 (en) | 2001-01-31 |
GB2353913A (en) | 2001-03-07 |
JP2002519877A (ja) | 2002-07-02 |
GB2353913B (en) | 2002-12-18 |
WO1999067738A1 (en) | 1999-12-29 |
TW436611B (en) | 2001-05-28 |
US20060078198A1 (en) | 2006-04-13 |
US6205244B1 (en) | 2001-03-20 |
DE19983327C2 (de) | 2002-06-20 |
US7016533B1 (en) | 2006-03-21 |
US7382918B2 (en) | 2008-06-03 |
AU4435499A (en) | 2000-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4216474B2 (ja) | 発光ダイオードまたはその他のスペクトル光源を使用する画像処理装置カラー・キャリブレーションの方法 | |
CN102331301B (zh) | 牙齿阴影映射 | |
JP5174307B2 (ja) | カラー信号処理 | |
CN105588642B (zh) | 色度计的校准 | |
US20060250668A1 (en) | Color chart processing apparatus, color chart processing method, and color chart processing program | |
US7974466B2 (en) | Method for deriving consistent, repeatable color measurements from data provided by a digital imaging device | |
WO2004045219A1 (ja) | 光源推定装置、光源推定方法、撮像装置および画像処理方法 | |
JP2003202267A (ja) | 合成着色料の色を電子ディスプレー上に再現する方法及び装置 | |
JP2008532401A (ja) | 基準反射スペクトルを用いた反射スペクトル推定と色空間変換 | |
US7616314B2 (en) | Methods and apparatuses for determining a color calibration for different spectral light inputs in an imaging apparatus measurement | |
CN113194303A (zh) | 图像白平衡方法、装置、电子设备和计算机可读存储介质 | |
Kim et al. | Characterization for high dynamic range imaging | |
CN113189021A (zh) | 基于光谱识别岩石颜色的方法 | |
Pointer et al. | Practical camera characterization for colour measurement | |
JP3943167B2 (ja) | 色変換方法 | |
JP4174707B2 (ja) | 分光測定システム、色再現システム | |
JP2007271567A (ja) | カラーフィルタの色差安定波長特定方法及びプログラム | |
JPH0998301A (ja) | 画像処理装置及び方法 | |
JP7450960B2 (ja) | 色度測定方法及び装置 | |
JP2009182845A (ja) | 画像処理装置および画像処理方法 | |
JP2009181449A (ja) | 画像処理装置および画像処理方法 | |
Litorja et al. | Development of surgical lighting for enhanced color contrast | |
CN117405230B (zh) | 一种成像色度计及光测量方法 | |
GB2377845A (en) | Correlating a plurality of imaging devices using a reference target and a plurality of light sources for device calibration. | |
JP3070827B2 (ja) | 色再現域獲得方法およびその装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060607 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060607 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080602 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080610 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081007 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081106 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131114 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |