JP2933487B2 - クロマフォーマット変換の方法 - Google Patents
クロマフォーマット変換の方法Info
- Publication number
- JP2933487B2 JP2933487B2 JP16390094A JP16390094A JP2933487B2 JP 2933487 B2 JP2933487 B2 JP 2933487B2 JP 16390094 A JP16390094 A JP 16390094A JP 16390094 A JP16390094 A JP 16390094A JP 2933487 B2 JP2933487 B2 JP 2933487B2
- Authority
- JP
- Japan
- Prior art keywords
- filter
- chroma format
- tap
- filters
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000006243 chemical reaction Methods 0.000 claims description 31
- 238000000034 method Methods 0.000 claims description 26
- 238000005070 sampling Methods 0.000 claims description 20
- 230000010363 phase shift Effects 0.000 claims description 16
- 241000023320 Luma <angiosperm> Species 0.000 description 27
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 27
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 7
- 238000011045 prefiltration Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N11/00—Colour television systems
- H04N11/06—Transmission systems characterised by the manner in which the individual colour picture signal components are combined
- H04N11/20—Conversion of the manner in which the individual colour picture signal components are combined, e.g. conversion of colour television standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Color Television Systems (AREA)
- Processing Of Color Television Signals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
に基づくビデオデータ圧縮に関し、具体的には、CCI
R4:2:2カラーフォーマット及びMPEG−2カラ
ーフォーマットの定義に適合したクロマ(chroma)フォ
ーマット変換の方法に関するものである。
関連する音響の汎用コード化のために開発された。デジ
タルビデオのためにサポートしているクロマフォーマッ
トは、MPEG−2草案国際規格ISO/IEC JT
C1/SC29WG11/702の「Information Tech
nology - Generic Coding of Moving Pictures and Ass
ociated Audio」 に規定されているように4:4:4、
4:2:2及び4:2:0である。MPEG−2国際規
格のメインプロファイルの適用のためには、エンコーダ
及びデコーダの入出力フォーマットは4:2:0フォー
マットと規定されている。これは、オリジナルの入力原
画像が4:2:0フォーマットでない場合、又は要求さ
れている出力が4:2:0フォーマットでない場合のど
ちらかでクロマフォーマット変換が必要であることを意
味している。
ォーマット変換は、CCIR勧告601の「Encoding P
arameters of Digital Television for Studio」に定義
されている。しかし、4:2:2と4:2:0との間の
変換はMPEG−2国際規格には規定されていない。こ
れは、クロマフォーマット変換がMPEG−2コーディ
ングプロセスの前処理又は後処理のどちらかと見なされ
ていることによるものである。MPEG−2は、如何な
る前処理及び後処理の技術も定義しようとするものでは
ない。個々のアプリケーション作成者にそれぞれの技術
を定義する余地が残されている。実際、MPEG−2の
発展段階ではISO/IEC JTC1/SC29/W
G11/N0400の「Test Model 5」で定義されてい
たフィルタのセットがあった。
のセットは、最終の4:2:0フィルタの定義には適合
していない。そのフィルタのセットは、後述するように
本発明の実施例における効果を評価する基準として用い
る。
ォーマットの変換の具体的な定義が無いということは、
この変換が重要でないということを意味しているのでは
ない。実際には、クロマフォーマットは、MPEG−2
国際規格に定義されているような定義に適合することが
必要である。特にカスケードコーディング法を用いるア
プリケーションでは、これにより画像コーディングの品
質が保証される。従って、効果的なクロマフォーマット
変換の方法が4:2:2と4:2:0との間のフォーマ
ットの変換のために必要である。この方法は、MPEG
−2国際規格に規定されている両フォーマットの定義に
適合していなければならないという課題がある。
のこのような課題を考慮し、クロマフォーマット変換演
算を4:2:2と4:2:0の2種のクロマフォーマッ
トの定義に厳密に適合して実行する前置フィルタ及び後
置フィルタのセットによるクロマフォーマット変換の方
法を提供することを目的とするものである。
ロマフォーマットデータがインターレースされているデ
ータか否かを判断し、インターレースされていないデー
タの場合は、ノンインターレース用フィルタを用いて変
換し、インターレースされている場合は、更に奇数フィ
ールドか偶数フィールドかを判断し、奇数フィールドの
場合は、奇数フィールド用フィルタを用いて変換し、偶
数フィールドの場合は、偶数フィールド用フィルタを用
いて変換するクロマフォーマット変換の方法である。
て、通常用いられているデジタル画像信号用のラスタ走
査フォーマットには2種類があるので、それらはクロマ
変換処理に影響を及ぼし、そして別々に処理されなけれ
ばならない。走査がインターレースモード又はノンイン
ターレースモードのどちらで行われるかに応じて、これ
らの2種のラスタ走査フォーマットから発生された画像
はインターレース画像又はノンインターレース画像と呼
ばれる。従って、本発明で開発され特許請求されている
フィルタには次の4種類があり、その例を次に示す。 1)ノンインターレース画像のための4:2:2から
4:2:0へのフォーマットをサブサンプリングする前
置フィルタ。
向にサブサンプリングして(間引いて)4:2:0クロ
マサンプルを得るように前置フィルタが設計される。こ
のフィルタはノンインターレース画像に基づいて設計さ
れているので、ノンインターレース画像のみに適用され
る。 2)ノンインターレース画像のための4:2:0から
4:2:2へのフォーマットをアップサンプリングする
後置フィルタ。
向にアップサンプリングして(補間して)4:2:2ク
ロマサンプルを得るように後置フィルタが設計される。
このフィルタはノンインターレース画像に基づいて設計
されているので、ノンインターレース画像のみに適用さ
れる。 3)インターレース画像のための4:2:2から4:
2:0へのフォーマットをサブサンプリングする前置フ
ィルタ。
向にサブサンプリングして4:2:0クロマサンプルを
得るように前置フィルタが設計される。このフィルタは
インターレース画像に基づいて設計されているので、イ
ンターレース画像のみに適用される。 4)インターレース画像のための4:2:0から4:
2:2へのフォーマットをアップサンプリングする後置
フィルタ。
向にアップサンプリングして4:2:2クロマサンプル
を得るように後置フィルタが設計される。このフィルタ
はインターレース画像に基づいて設計されているので、
インターレース画像のみに適用される。
2:0フォーマットの定義を調べるのが有益であろう。
この2種の定義を図4に示す。
は、4個の隣接する矩形状のルマ(luma)サンプルに対
応して2個のクロマサンプルがある。これら2個のクロ
マサンプルの位置は、4個の矩形状のルマサンプルの内
の2個の左側ルマサンプルと共置(cosited )されてい
る、即ち、同じラスタ位置にある。例えば、51、5
2、53及び54で示したサンプルは、位置51及び5
2のクロマサンプルと共置する上記の4個の矩形状のル
マサンプルを形成している。4:2:0クロマフォーマ
ットについては、4個の矩形状のルマサンプルに対して
1個のクロマサンプルのみがあり、このクロマサンプル
は4個の矩形状のルマサンプルの内の2個の左側ルマサ
ンプルの中間に位置している。これを図4に示す。サン
プル55、56、57及び58はそれら4個の矩形状の
ルマサンプルを形成し、2個の左側ルマサンプル55及
び56の中間にクロマサンプル59がある。従って、こ
れら2種のクロマフォーマットには2つの違いがある。
第1は、4個の矩形状のルマサンプル毎のクロマサンプ
ルの数であり、第2は、4個の矩形状のルマサンプルに
対するクロマサンプルの位置である。
0フォーマットに変換するには、クロマサンプルを係数
2で縦方向にサブサンプリングし、その後に残りのサン
プルを半ルマサンプル距離だけ下方にシフトしなければ
ならない。
2フォーマットに変換するには、クロマサンプルを先ず
係数2で縦方向にアップサンプリングし、その後に2個
のクロマサンプルをルマサンプルと同じ縦方向位置に半
サンプル距離だけ上方にシフトしなければならない。
は、1個のクロマサンプルを間引くか、又は1個のクロ
マサンプルを線形補間するだけで実行される。ノイズの
影響を少なくするために、ローパスフィルタが通常用い
られ、高周波ノイズをフィルタにより除去している。
IRフィルタによって実行することが出来る。1975
年に出版されたOppenheimの「Digital Signal
Processing」 によれば、(N−1)/2サンプリング
距離の位相シフトは、次の特性を有するFIRフィルタ
によって与えられる。
言すれば、それはフィルタのタップの数である。従っ
て、それはNタップFIRフィルタと呼ばれる。この特
性は、このFIRフィルタはそのサンプルの中心に関し
て対称であることを意味している。Nが偶数の値であれ
ば、位相シフト(N−1)/2は整数ではなく、所望の
半サンプル距離のシフトを包含している。
ト演算を示している。f(y)で示す原サンプルは、4
タップ対称フィルタH{h(0),h(1),h
(2),h(3)}によりフィルタされている。g
(y’)で示すその結果得られるサンプルは、f(y)
の縦方向位置に対して下方に1.5サンプル距離だけシ
フトされている。即ち、y'=y+1.5である。
すると、g(y’)はf(y+1)に対して半サンプル
距離の下方シフトを有している。即ち、y’=(y+
1)+0.5である。f(y+2)をシフトすべき原サ
ンプルとすると、g(y’)はf(y+2)に対して半
サンプル距離の上方シフトを有している。即ち、y’=
(y+2)−0.5である。従って、4タップ対称フィ
ルタを原クロマグリッドの異なった位置に置くことによ
って、上方又は下方のサンプル距離のシフトを実現する
ことが出来る。これが本発明のフィルタの設計に用いら
れた機構である。
クロマフォーマットデータがインターレースされている
データか否かを判断し、インターレースされていないデ
ータの場合は、ノンインターレース用フィルタを用いて
変換し、インターレースされている場合は、更に奇数フ
ィールドか偶数フィールドかを判断し、奇数フィールド
の場合は、奇数フィールド用フィルタを用いて変換し、
偶数フィールドの場合は、偶数フィールド用フィルタを
用いて変換する。
ーレース画像及びノンインターレース画像に対して同じ
ではない。それらを別々に扱う。
線形位相FIRフィルタであり、それは次式(数1)の
ように表される。
及びアップサンプリングの処理はビデオフレームの奇数
フィールドと偶数フィールドの差を考慮すること無く直
接実行することが出来る。 1)4:2:2から4:2:0へのサブサンプリング ノンインターレース画像に対する4:2:2から4:
2:0クロマフォーマットへのサブサンプリング演算を
図6に示す。4:2:0サンプルg(y’)は、4個の
クロマサンプルf(y−1)、f(y)、f(y+1)
及びf(y+2)から導き出される。g(y’)の位置
は、4:2:2画像内のf(y)のクロマサンプル位置
に対して半ルマサンプル距離だけ下方である。サブサン
プリング演算の必要性に基づいて、yは奇数の値のみを
取ることができ、4:2:0画像が4:2:2画像から
係数2によりサブサンプリングされるようになる。g
(y’)のサブサンプリング値は次式(数2)により計
算することが出来る。
表すことが出来る。
ョンに於いては、このフィルタマスクと画像サンプルの
畳込みの結果はフィルタマスクの各要素の合計により更
に除される。この場合、上記合計は2a+2bに等し
い。これは、画像エネルギーがフィルタ演算から変化し
ないことを保証するためである。この演算は本明細書で
述べられている全てのフィルタ演算に必要であり、他の
所では特に述べることはしない。 2)4:2:0から4:2:2へのアップサンプリング ノンインターレース画像に対する4:2:0から4:
2:2クロマフォーマットへのアップサンプリング演算
を図7に示す。4:2:2の奇数フィールドサンプルに
対しては、それらはフィルタ1を用いて、そのフィルタ
をf(y)に対して半ルマサンプル距離だけ上方に位置
させて4:2:0サンプルに形成される。Iサンプルは
それらの2個の隣接するサンプルから線形補間される。
g(y’O)の縦方向位置は、4:2:0画像内のf
(y)に対して(1/2)ルマサンプル距離だけ上にシ
フトされる。同様に、4:2:2の偶数フィールドサン
プルに対しては、それらはフィルタ2を用いて、そのフ
ィルタを4:2:0画像内のf(y)に対して(1/
2)ルマサンプル距離だけ下方に位置させて4:2:0
サンプルに形成される。その結果得られるサンプルg
(y’E)は、原4:2:0画像内のf(y)に対して
(1/2)ルマサンプル距離だけ下方の縦方向の位置シ
フトを有している。要するに、4:2:0画像内の各ク
ロマサンプルは、4:2:2画像内の2個のクロマサン
プルを発生する。一方のサンプルは奇数フィールドのも
のであり、(1/2)ルマサンプル距離だけ上方に位置
し、他方のサンプルは偶数フィールドのものであり、原
4:2:0画像内のf(y)に対して(1/2)ルマサ
ンプル距離だけ下方に位置している。
シフトを有する線形補間されたサンプルが次式(数4)
により与えられる。
クとして表すことが出来る。
トを有する線形補間されたサンプルは次式(数6)によ
り与えられる。
クとして表すことが出来る。
数フィールドのクロマサンプルは異なった時点で形成さ
れるので、それらは別々に処理される。奇数フィールド
サンプルはサブサンプリング又はアップサンプリングさ
れて新しい奇数フィールドサンプルを発生する。偶数フ
ィールドサンプルはサブサンプリング又はアップサンプ
リングされて新しい偶数フィールドサンプルを発生す
る。 1)4:2:2から4:2:0へのサブサンプリング a.奇数フィールドサブサンプリング 4:2:0画像の奇数フィールドサンプルは、図8に示
すように4:2:2画像の奇数フィールドサンプルから
サブサンプリングされる。位相シフトフィルタを適用す
るため、Iサンプルがそれらの2個の隣接する奇数フィ
ールドサンプルから線形補間される。4:2:0画像内
の、その結果得られる奇数フィールドサンプルが4:
2:2画像内のf(y)に対して半サンプル距離の下方
シフトを有するように、フィルタセンタはf(y)に対
して半ルマサンプルだけ下方に位置している。変数y
は、(y/2)+Iが奇数となるような値をとる。この
演算は次式(数8)で示すことが出来る。
クとしても表すことが出来る。
すように4:2:2インターレース画像の偶数フィール
ドサンプルからサブサンプリングされる。位相シフトフ
ィルタを適用するため、Iサンプルがそれらの2個の隣
接する偶数フィールドサンプルから線形補間される。
4:2:0画像内の、その結果得られる偶数フィールド
サンプルが4:2:2画像内のf(y)に対して半サン
プル距離の上方シフトを有するように、フィルタセンタ
はf(y)に対して半ルマサンプルだけ上方に位置して
いる。変数yは、(y/2)+Iが正の偶数となるよう
な値をとる。この演算は次式(数10)で示すことが出
来る。
スクとして表すことが出来る。
ルタは、奇数フィールド用のサブサンプリングフィルタ
のミラーであることが判るであろう。これにより、その
2個のフィルタの係数の1セットのみしか前置フィルタ
リング演算の実行のために記憶しておく必要がないとい
う利点がもたらされる。 2)4:2:0から4:2:2へのアップサンプリング a.奇数フィールドアップサンプリング 4:2:2インターレース画像の奇数フィールドサンプ
ルは、図10に示すように4:2:0画像の奇数サンプ
ルからアップサンプリングされる。4:2:0画像内の
1個の奇数サンプルが4:2:2画像内の2個の奇数サ
ンプルを発生する。フィルタ1及びフィルタ2が図10
に示すように位置を合わされて4:2:0画像上で用い
られる。補間値Iはそれらの2個の隣接する奇数サンプ
ルOから線形補間される。それらの値は次式(数12)
のように計算される。
に対して半ルマサンプル距離の上方シフトを有してい
る。他の得られるサンプルg(y’+2)は、f(y)
に対して1.5ルマサンプル距離の下方シフトを有して
いる。第1のアップサンプルされたサンプルg(y’)
に対しては、次式(数13)を用いることが出来る。
表すことが出来る。
g(y’+2)に対しては、次式(数15)を用いるこ
とが出来る。
スクとして表すことが出来る。
立している。このことは、異なった値a及びbは異なっ
た実行で用いられるであろうが、フィルタは固定されて
いるので、望ましい特徴である。 b.偶数フィールドアップサンプリング 4:2:2インターレース画像の偶数フィールドサンプ
ルは、図11に示すように4:2:0画像の偶数サンプ
ルからアップサンプリングされる。4:2:0画像内の
1個の偶数サンプルが4:2:2画像内の2個の偶数サ
ンプルを発生する。フィルタ1及びフィルタ2が図11
に示すように位置を合わされて4:2:0画像上で用い
られる。補間値Iはそれらの2個の隣接する偶数サンプ
ルEから線形補間される。それらの値は次式(数17)
のように計算される。
に対して半ルマサンプル距離の上方シフトを有してい
る。他の得られるサンプルg(y’+2)は、f(y)
に対して1.5ルマサンプル距離の下方シフトを有して
いる。第1のアップサンプルされたサンプルg(y’)
に対しては、次式(数18)を用いることが出来る。
表すことが出来る。
立している。更に、それが実行を簡略化出来るように、
それはf(2y+1)用のフィルタのミラーである。
g(y’+2)に対しては、次式(数20)を用いるこ
とが出来る。
スクとして表すことが出来る。
るフィルタのミラーである。
クロマフォーマットの定義に適合した4:2:2及び
4:2:0クロマフォーマット間の変換のための7種類
の異なったフィルタを開発した。これらの7種のフィル
タのうち、3対はそれらのフィルタサンプルの中心に関
してミラーの関係にある。従って、4:2:2と4:
2:0との間のクロマフォーマット変換の全ての場合を
満足させ得るのは4種のフィルタのみである。
づいて説明する。
フォーマット変換の方法を実現するためのビデオ符号化
システムの概要を示すブロック図である。すなわち、
4:2:2と4:2:0との間のクロマフォーマット変
換のためのサブサンプリングフィルタ61及びアップサ
ンプリングフィルタ68、並びにビデオコーディングシ
ステムを形成するMPEG−2エンコーダ63及びデコ
ーダ66を示す。
60は、4:2:2クロマフォーマットであり、開発さ
れたサブサンプリング及び位相シフトフィルタ61(詳
細は図2参照)により4:2:0クロマフォーマット6
2に変換される。その後、4:2:0ビデオ62はMP
EG−2エンコーダ63によりコード化され、MPEG
−2ビデオビットストリーム64を発生する。ビットス
トリーム64はデジタル記憶媒体に記憶されるか、又は
デジタルネットワークに送られる。受信ビットストリー
ム65はMPEG−2デコーダ66により復号され、再
構成された4:2:0クロマフォーマットビデオ信号6
7が出力される。この信号67は最終的に、アップサン
プリング及び位相シフトフィルタ68(詳細は図3参
照)により変換されて4:2:2クロマフォーマットビ
デオ信号69に戻される。本実施例では、基本の4タッ
プフィルタは[1771]に選択されている、即ち、a
=1、b=7とされている。
ブサンプリング処理のオペレーショナルダイアグラムを
示している。入力1は、CCIR601仕様書に適合し
ている4:2:2クロマサンプルである。入力1は先ず
インターレース検出器2により検出され、インターレー
ス画像及びノンインターレース画像用の別々のサブサン
プリングフィルタに向けられる。この4:2:2画像が
ノンインターレースであるならば、ライン4を介して4
タップ線形位相FIRフィルタ10に連結され、その出
力が4:2:0クロマサンプル13となる。
スであるならば、ライン3を介してフィールドスプリッ
タ5に連結され、そこで奇数フィールド6及び偶数フィ
ールド7に分離される。奇数フィールドサンプル6は3
タップフィルタ8によりサブサンプリングされ、その出
力は4:2:0奇数フィールドサンプル11となる。偶
数フィールドサンプル7は3タップフィルタ9によりサ
ブサンプリングされ、その出力は4:2:0偶数フィー
ルドサンプル12となる。
に、分離された偶数4:2:0及び奇数4:2:0は、
1個の画像としてマージされること無く直接用いること
が出来る。これにより後段のコーディングプロセスが簡
略化される。
ロマフォーマットをアップサンプルするオペレーショナ
ルダイアグラムを示している。入力20は4:2:0ク
ロマ画像であり、先ずインターレース検出器21により
検出される。この入力画像がインターレース画像である
ならば、ライン22を介してフィールドスプリッタ24
に連結され、そこで奇数フィールド25及び偶数フィー
ルド26に分離される。奇数フィールド25は、3タッ
プフィルタ27によりアップサンプリングされ奇数フィ
ールドの奇数ライン31を発生し、また2タップフィル
タ28によりアップサンプリングされ奇数フィールドの
偶数ライン32を発生する。これらの両出力は、フィー
ルドマージャー35に送られ、その出力が奇数フィール
ドサンプル37となる。
プフィルタ29及び2タップフィルタ30に送られる。
フィルタ29は偶数フィールドの奇数ライン33を出力
し、フィルタ30は偶数フィールドの偶数ライン34を
出力する。ライン33及び34の出力はフィールドマー
ジャー36に送られ、そこでマージされ偶数フィールド
サンプル38を形成する。奇数フィールドサンプル37
及び偶数フィールドサンプル38は別のフィールドマー
ジャー39により最終的にマージされ、完全なインター
レース4:2:2クロマ画像40を発生する。
であるならば、ライン23を介して2個の3タップフィ
ルタ41,42に送られる。フィルタ41は奇数フィー
ルドサンプル43を発生し、フィルタ42は偶数フィー
ルドサンプル44を発生する。その後、それらはフィー
ルドマージャー45によりマージされ、完全なノンイン
ターレース4:2:2クロマ画像46を発生する。
力された4:2:2画像データの統計的な解析だけで実
現され得る。又、図3に示すインターレース検出器21
は、デコードされたビットストリームからの画像コーデ
ィングパラメータから実現され得る。
2:0との間のクロマフォーマット変換のためのMPE
G−2プロジェクトのテストモデル5で定義されたフィ
ルタのセットがある。残念ながら、それらはMPEG−
2クロマフォーマットの最終的な定義には適合していな
い。それにもかかわらず、このフィルタセットを本発明
の効果を評価する基準として用いる。
変換のためのものであり、本発明により設計されたフィ
ルタと対応させて(表1)に示す。この表では、本発明
によるフィルタはNewフィルタと表されており、テス
トモデル5によるフィルタはTM5フィルタと表されて
いる。
スクから、新しい前置フィルタは、より短いフィルタ長
という意味から実現がより容易であることが判る。後置
フィルタについては、新しいフィルタはTM5より少し
だけ長い。SNRに関して「flower」シーケンスの1フ
レームに適用されたこれら2種類のフィルタの性能を表
2に示す。試験は次のように行われる。先ず、原4:
2:2flowerフレームが4:2:0にサブサンプリング
される。その後に、この4:2:0画像が直接アップサ
ンプリングされ、その4:2:2画像を再構成する。再
構成誤りはノイズとされ、原4:2:2画像と比較され
る。結果を(表2)にSNR(dB)で示す。
から再構成された4:2:2画像ではSNRが約1.2
dBも改善されていることを示している。カスケードコ
ーディングが用いられる場合には、新しいフィルタから
の結果はMPEG−2国際規格に規定されたクロマフォ
ーマットの定義に適合しているので、品質の改善は更に
高くなることが期待される。
発明は、クロマフォーマット変換演算を4:2:2と
4:2:0の2種のクロマフォーマットの定義に厳密に
適合して実行することができるという長所を有する。
変換の方法を実現するためのビデオ符号化システムの概
要を示すブロック図である。
のサブサンプリングフィルタを示すブロック図である。
のアップサンプリングフィルタを示すブロック図であ
る。
ロマフォーマット及び4:2:0クロマフォーマットの
定義を示す図である。
シフト演算を示す図である。
ブサンプリング処理を示す図である。
ップサンプリングを示す図である。
奇数フィールドサブサンプリング演算を示す図である。
偶数フィールドサブサンプリング演算を示す図である。
フィールドアップサンプリング演算を示す図である。
フィールドアップサンプリング演算を示す図である。
Claims (9)
- 【請求項1】 変換すべきクロマフォーマットデータが
インターレースされているデータか否かを判断し、イン
ターレースされていないデータの場合は、ノンインター
レース用フィルタを用いて変換し、インターレースされ
ている場合は、更に奇数フィールドか偶数フィールドか
を判断し、前記奇数フィールドの場合は、奇数フィール
ド用フィルタを用いて変換し、前記偶数フィールドの場
合は、偶数フィールド用フィルタを用いて変換するクロ
マフォーマット変換の方法であって、 ノンインターレース用フィルタ、奇数フィールド用フィ
ルタ、及び偶数フィールド用フィルタは、それぞれ4:
2:2クロマフォーマットデータに対してサブサンプリ
ング及び位相シフトの演算を行うことにより、前記4:
2:2クロマフォーマットデータを4:2:0クロマフ
ォーマットデータへ変換するダウンサンプル用フィルタ
であるか、もしくは、 それぞれ4:2:0クロマフォーマットデータに対して
アップサンプリング及び位相シフトの演算を行うことに
より、前記4:2:0クロマフォーマットデータを4:
2:2クロマフォーマットデータへ変換するアップサン
プリングフィルタであり、 位相シフトの演算は、対称的フィルタサンプルを有する
線形位相FIRフィルタにより実行され、半サンプル距
離位相シフトを与えるために、偶数タップ線形位相FI
Rフィルタが用いられ、 偶数タップ線形位相FIRフィルタは、一般マスクフォ
ーム[a,b,b,a](a及びbは2個の任意の整
数)で表すことのできる4タップを有し、その4タップ
線形位相FIRフィルタが前記クロマフォーマット変換
のためのデマンデッドフィルタを得る基礎として用いら
れるフィルタであることを特徴とする クロマフォーマッ
ト変換の方法。 - 【請求項2】 ノンインターレース用フィルタはFIR
フィルタのサブセットであって、そのサブセットは1個
のサブサンプリングフィルタ、又は2個のアップサンプ
リングフィルタを有することを特徴とする請求項1記載
のクロマフォーマット変換の方法。 - 【請求項3】 サブサンプリングフィルタは4タップ線
形位相FIRフィルタ[a,b,b,a]であり、その
フィルタは4:2:2クロマフォーマット画像内の所定
位置のサンプルに対して下方に半ルマ(輝度)サンプル
距離に位置していることを特徴とする請求項2記載のク
ロマフォーマット変換の方法。 - 【請求項4】 アップサンプリングフィルタは3タップ
フィルタであり、第1のフィルタは4:2:2画像の奇
数フィールドサンプルを発生する[2a+b,3b+
a,a]であり、第2のフィルタは4:2:2画像の偶
数フィールドサンプルを発生する[a,3b+a,2a
+b]であり、これらの2個のフィルタはそれらの中心
サンプルに関してミラーの関係にあることを特徴とする
請求項2記載のクロマフォーマット変換の方法。 - 【請求項5】 奇数フィールド用フィルタ及び偶数フィ
ールド用フィルタはFIRフィルタのサブセットであっ
て、そのサブセットは2個のサブサンプリングフィル
タ、又は4個のアップサンプリングフィルタを有するこ
とを特徴とする請求項1記載のクロマフォーマット変換
の方法。 - 【請求項6】 サブサンプリングフィルタは3タップフ
ィルタであり、第1の3タップフィルタ[a,3b+
a,2a+b]は4:2:2の奇数サンプルをサブサン
プリングして4:2:0の奇数サンプルを発生するのに
用いられ、第2の3タップフィルタ[2a+b,3b+
a,a]は4:2:2の偶数サンプルをサブサンプリン
グして4:2:0の偶数サンプルを生成するのに用いら
れ、前記第1の3タップフィルタは前記第2の3タップ
フィルタのミラーであることを特徴とする請求項5記載
のクロマフォーマット変換の方法。 - 【請求項7】 アップサンプリングフィルタは、4個の
うち2個が奇数フィールドアップサンプリングのための
フィルタであり、残りの2個が偶数フィールドアップサ
ンプリングのためのフィルタであることを特徴とする請
求項5記載のクロマフォーマット変換の方法。 - 【請求項8】 奇数フィールドアップサンプリングのた
めのフィルタは、2個のうち一方が3タップフィルタ
[2a+b,5a+7b,a]であり、もう一方が2タ
ップフィルタ[5,3]であることを特徴とする請求項
7記載のクロマフォーマット変換の方法。 - 【請求項9】 偶数フィールドアップサンプリングのた
めのフィルタは、2個のうち一方が3タップフィルタ
[a,5a+7b,2a+b]であり、もう一方が2タ
ップフィルタ[3,5]であることを特徴とする請求項
7記載のクロマフォーマット変換の方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16390094A JP2933487B2 (ja) | 1994-07-15 | 1994-07-15 | クロマフォーマット変換の方法 |
US08/502,278 US5650824A (en) | 1994-07-15 | 1995-07-13 | Method for MPEG-2 4:2:2 and 4:2:0 chroma format conversion |
EP19950111102 EP0692915A3 (en) | 1994-07-15 | 1995-07-14 | Process for converting from an MPEG-2 4: 2: 2 format to an MPEG-2 4: 2: 0 format |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16390094A JP2933487B2 (ja) | 1994-07-15 | 1994-07-15 | クロマフォーマット変換の方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0833002A JPH0833002A (ja) | 1996-02-02 |
JP2933487B2 true JP2933487B2 (ja) | 1999-08-16 |
Family
ID=15782961
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP16390094A Expired - Fee Related JP2933487B2 (ja) | 1994-07-15 | 1994-07-15 | クロマフォーマット変換の方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US5650824A (ja) |
EP (1) | EP0692915A3 (ja) |
JP (1) | JP2933487B2 (ja) |
Families Citing this family (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5528309A (en) | 1994-06-28 | 1996-06-18 | Sigma Designs, Incorporated | Analog video chromakey mixer |
JP2936315B2 (ja) * | 1996-01-22 | 1999-08-23 | 日本テレビ放送網株式会社 | 順次走査方式の伝送データの変換方法、及びその変換装置 |
US5719511A (en) | 1996-01-31 | 1998-02-17 | Sigma Designs, Inc. | Circuit for generating an output signal synchronized to an input signal |
JP3901287B2 (ja) * | 1997-02-27 | 2007-04-04 | 松下電器産業株式会社 | 映像信号変換装置、映像信号変換方法及び映像提供システム |
DE69835388T2 (de) * | 1997-03-17 | 2007-07-19 | Sony Corp. | Bildkodiergerät und Bilddekodiergerät |
US6184936B1 (en) * | 1997-10-06 | 2001-02-06 | Sigma Designs, Inc. | Multi-function USB capture chip using bufferless data compression |
EP0920212B1 (en) * | 1997-11-21 | 2007-01-17 | Matsushita Electric Industrial Co., Ltd. | Video signal coding apparatus |
KR100300948B1 (ko) * | 1997-12-26 | 2001-09-03 | 박종섭 | 영상색차신호의포맷변환장치 |
US6188730B1 (en) * | 1998-03-23 | 2001-02-13 | Internatonal Business Machines Corporation | Highly programmable chrominance filter for 4:2:2 to 4:2:0 conversion during MPEG2 video encoding |
GB9807201D0 (en) * | 1998-04-03 | 1998-06-03 | Nds Ltd | Filtering video signals containing chrominance information |
US6501507B1 (en) * | 1998-05-13 | 2002-12-31 | Barth Alan Canfield | Multimode interpolation filter as for a TV receiver |
JP2002526997A (ja) * | 1998-09-29 | 2002-08-20 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 符号化ビデオデータの変換 |
US6239842B1 (en) | 1998-12-18 | 2001-05-29 | Oplus Technologies Ltd. | Method of de-interlacing video signals using a mixed mode spatial and temporal approximation technique |
US6434197B1 (en) * | 1999-01-07 | 2002-08-13 | General Instrument Corporation | Multi-functional transcoder for compressed bit streams |
US6690834B1 (en) | 1999-01-22 | 2004-02-10 | Sigma Designs, Inc. | Compression of pixel data |
US6259741B1 (en) | 1999-02-18 | 2001-07-10 | General Instrument Corporation | Method of architecture for converting MPEG-2 4:2:2-profile bitstreams into main-profile bitstreams |
US6675297B1 (en) | 1999-03-01 | 2004-01-06 | Sigma Designs, Inc. | Method and apparatus for generating and using a tamper-resistant encryption key |
US6262771B1 (en) * | 1999-03-04 | 2001-07-17 | Victor Company Of Japan, Ltd. | Method and apparatus for converting picture signal, and recording and reproducing apparatus |
US6687770B1 (en) | 1999-03-08 | 2004-02-03 | Sigma Designs, Inc. | Controlling consumption of time-stamped information by a buffered system |
US6429900B1 (en) * | 1999-07-30 | 2002-08-06 | Grass Valley (U.S.) Inc. | Transmission of wideband chroma signals |
FR2801463B1 (fr) * | 1999-11-23 | 2002-04-12 | St Microelectronics Sa | Procede et systeme de traitement d'images numeriques |
US6529244B1 (en) | 1999-12-22 | 2003-03-04 | International Business Machines Corporation | Digital video decode system with OSD processor for converting graphics data in 4:4:4 format to 4:2:2 format by mathematically combining chrominance values |
US6674479B2 (en) * | 2000-01-07 | 2004-01-06 | Intel Corporation | Method and apparatus for implementing 4:2:0 to 4:2:2 and 4:2:2 to 4:2:0 color space conversion |
KR100351816B1 (ko) * | 2000-03-24 | 2002-09-11 | 엘지전자 주식회사 | 포맷 변환 장치 |
US6654956B1 (en) | 2000-04-10 | 2003-11-25 | Sigma Designs, Inc. | Method, apparatus and computer program product for synchronizing presentation of digital video data with serving of digital video data |
JP3918497B2 (ja) * | 2000-11-02 | 2007-05-23 | 株式会社村田製作所 | 端面反射型表面波装置 |
US7006147B2 (en) * | 2000-12-22 | 2006-02-28 | Thomson Lincensing | Method and system for MPEG chroma de-interlacing |
JP3797209B2 (ja) | 2001-11-30 | 2006-07-12 | ソニー株式会社 | 画像情報符号化方法及び装置、画像情報復号方法及び装置、並びにプログラム |
US7202907B2 (en) | 2002-04-09 | 2007-04-10 | Zoran Corporation | 2:2 and 3:2 pull-down detection techniques |
US7136417B2 (en) | 2002-07-15 | 2006-11-14 | Scientific-Atlanta, Inc. | Chroma conversion optimization |
KR20060105408A (ko) * | 2005-04-01 | 2006-10-11 | 엘지전자 주식회사 | 영상 신호의 스케일러블 인코딩 및 디코딩 방법 |
KR20060109247A (ko) * | 2005-04-13 | 2006-10-19 | 엘지전자 주식회사 | 베이스 레이어 픽처를 이용하는 영상신호의 엔코딩/디코딩방법 및 장치 |
US8761252B2 (en) * | 2003-03-27 | 2014-06-24 | Lg Electronics Inc. | Method and apparatus for scalably encoding and decoding video signal |
TWI229562B (en) * | 2003-04-17 | 2005-03-11 | Mediatek Inc | Apparatus and method for signal processing of format conversion and combination of video signals |
US7474355B2 (en) * | 2003-08-06 | 2009-01-06 | Zoran Corporation | Chroma upsampling method and apparatus therefor |
US7193656B2 (en) * | 2003-08-14 | 2007-03-20 | Broadcom Corporation | Line address computer for providing coefficients to a chroma filter |
US7728878B2 (en) * | 2004-12-17 | 2010-06-01 | Mitsubishi Electric Research Labortories, Inc. | Method and system for processing multiview videos for view synthesis using side information |
US8854486B2 (en) | 2004-12-17 | 2014-10-07 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for processing multiview videos for view synthesis using skip and direct modes |
US8660180B2 (en) * | 2005-04-01 | 2014-02-25 | Lg Electronics Inc. | Method and apparatus for scalably encoding and decoding video signal |
WO2006113057A2 (en) * | 2005-04-15 | 2006-10-26 | Thomson Licensing | Down-sampling and up-sampling processes for chroma samples |
US8755434B2 (en) * | 2005-07-22 | 2014-06-17 | Lg Electronics Inc. | Method and apparatus for scalably encoding and decoding video signal |
US7746408B2 (en) * | 2006-02-08 | 2010-06-29 | Broadcom Corporation | Method and system for improving the appearance of deinterlaced chroma formatted video |
US7724305B2 (en) * | 2006-03-21 | 2010-05-25 | Mediatek Inc. | Video data conversion method and system for multiple receivers |
US8880571B2 (en) | 2006-05-05 | 2014-11-04 | Microsoft Corporation | High dynamic range data format conversions for digital media |
US8054886B2 (en) * | 2007-02-21 | 2011-11-08 | Microsoft Corporation | Signaling and use of chroma sample positioning information |
KR20080114388A (ko) * | 2007-06-27 | 2008-12-31 | 삼성전자주식회사 | 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법 |
JP5035154B2 (ja) * | 2008-03-07 | 2012-09-26 | 富士通株式会社 | 映像信号処理装置及び映像信号処理方法 |
JP5003620B2 (ja) * | 2008-03-11 | 2012-08-15 | 富士通株式会社 | 映像信号処理装置、及び映像信号処理方法 |
JP2010093672A (ja) | 2008-10-10 | 2010-04-22 | Sony Corp | 映像変換装置および方法、並びにプログラム |
WO2012176405A1 (ja) * | 2011-06-20 | 2012-12-27 | 株式会社Jvcケンウッド | 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号装置、画像復号方法及び画像復号プログラム |
KR102200578B1 (ko) * | 2011-06-30 | 2021-01-11 | 가부시키가이샤 제이브이씨 켄우드 | 화상 부호화 장치, 화상 부호화 방법, 화상 부호화 프로그램, 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램 |
CN103907355A (zh) * | 2011-11-02 | 2014-07-02 | 日本电气株式会社 | 视频编码设备、视频解码设备、视频编码方法、视频解码方法和程序 |
JP6125215B2 (ja) | 2012-09-21 | 2017-05-10 | 株式会社東芝 | 復号装置、及び符号化装置 |
US9979960B2 (en) * | 2012-10-01 | 2018-05-22 | Microsoft Technology Licensing, Llc | Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions |
CN105659618B (zh) * | 2012-12-19 | 2019-06-28 | 交互数字Ce专利控股公司 | 用于对图像/视频分辨率及其颜色二次采样进行自动检测的方法和装置 |
US20140205025A1 (en) * | 2013-01-22 | 2014-07-24 | Microsoft Corporation | Adaptive filter application to video data |
US9998750B2 (en) | 2013-03-15 | 2018-06-12 | Cisco Technology, Inc. | Systems and methods for guided conversion of video from a first to a second compression format |
KR101786414B1 (ko) | 2013-12-13 | 2017-10-17 | 브이아이디 스케일, 인크. | 보간을 이용하는 루마 및 크로마의 위상 정렬을 위한 컬러 색역 스케일러블 비디오 코딩 디바이스 및 방법 |
US9854201B2 (en) | 2015-01-16 | 2017-12-26 | Microsoft Technology Licensing, Llc | Dynamically updating quality to higher chroma sampling rate |
US9749646B2 (en) | 2015-01-16 | 2017-08-29 | Microsoft Technology Licensing, Llc | Encoding/decoding of high chroma resolution details |
US10349064B2 (en) | 2015-03-10 | 2019-07-09 | Apple Inc. | Adaptive chroma downsampling and color space conversion techniques |
WO2017083784A1 (en) | 2015-11-11 | 2017-05-18 | Apple Inc. | Adaptive chroma downsampling and color space conversion techniques |
US10368080B2 (en) | 2016-10-21 | 2019-07-30 | Microsoft Technology Licensing, Llc | Selective upsampling or refresh of chroma sample values |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0427288A (ja) * | 1990-05-23 | 1992-01-30 | Hitachi Ltd | ワイドアスペクト比テレビジョン信号の伝送方法及び装置 |
US5253041A (en) * | 1992-05-26 | 1993-10-12 | General Electric Company | Digital television signal compression apparatus |
US5278647A (en) * | 1992-08-05 | 1994-01-11 | At&T Bell Laboratories | Video decoder using adaptive macroblock leak signals |
JP3381855B2 (ja) * | 1992-12-28 | 2003-03-04 | ソニー株式会社 | 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置 |
JP2936299B2 (ja) * | 1993-07-22 | 1999-08-23 | 日本テレビ放送網株式会社 | 信号伝送・記録、及び入力・出力方法 |
DE69427236T2 (de) * | 1994-01-12 | 2001-10-25 | Thomson Consumer Electronics, Inc. | Video signal dekomprimierungssystem und multimode-video-aufwärtswandler |
US5489947A (en) * | 1994-06-17 | 1996-02-06 | Thomson Consumer Electronics, Inc. | On screen display arrangement for a digital video signal processing system |
-
1994
- 1994-07-15 JP JP16390094A patent/JP2933487B2/ja not_active Expired - Fee Related
-
1995
- 1995-07-13 US US08/502,278 patent/US5650824A/en not_active Expired - Lifetime
- 1995-07-14 EP EP19950111102 patent/EP0692915A3/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
JPH0833002A (ja) | 1996-02-02 |
EP0692915A3 (en) | 1997-06-04 |
EP0692915A2 (en) | 1996-01-17 |
US5650824A (en) | 1997-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2933487B2 (ja) | クロマフォーマット変換の方法 | |
JP3292486B2 (ja) | インターレース高精細度テレビジョン信号デジタル処理装置 | |
US6104753A (en) | Device and method for decoding HDTV video | |
US5835151A (en) | Method and apparatus for down-converting a digital signal | |
KR950000830B1 (ko) | 디지탈 비디오 신호의 부호화 방법 및 이를 이용한 고능률 부호화장치 | |
JPH01288187A (ja) | デジタルビデオ信号の空間―時間サブ―サンプリング装置およびこの装置を具える高品位テレビジョン画像伝送システム | |
JP2000041252A (ja) | 画像復号装置及び画像復号方法 | |
JP2000059793A (ja) | 画像復号装置及び画像復号方法 | |
US5485215A (en) | HDTV raster converter and interpolation filter with section overlap | |
US20010016010A1 (en) | Apparatus for receiving digital moving picture | |
JP3540447B2 (ja) | 動画像符号化装置及び復号装置 | |
US6714593B1 (en) | Motion compensating prediction of moving image sequences | |
KR100971859B1 (ko) | Mpeg-2 크로마 업컨버전 아티팩트의 검출 및 정정 | |
Ohm et al. | Variable-raster multiresolution video processing with motion compensation techniques | |
JP2000036963A (ja) | 画像符号化装置、画像符号化方法および画像復号化装置 | |
US5438368A (en) | System for the compatible processing of a progressively scanned image signal in line interlaced format | |
US5457497A (en) | Method and apparatus for video signal bandwidth reduction with high quality compatible signal | |
US5303060A (en) | Apparatus for recording and/or reproducing HDTV signals | |
JP2000175194A (ja) | 画像復号装置及び画像復号方法 | |
JPH04369989A (ja) | 符号化方法及び符号化装置 | |
JP4016166B2 (ja) | 画像復号装置及び画像復号方法 | |
JP2648806B2 (ja) | 映像信号帯域圧縮伝送方法とその装置 | |
JP2002369155A (ja) | 画像変換方法および画像変換装置 | |
US20030103166A1 (en) | Method and apparatus for vertical compression and de-compression of progressive video data | |
JP3241368B2 (ja) | テレビジョン信号伝送方式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090528 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100528 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100528 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110528 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110528 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120528 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120528 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 14 |
|
LAPS | Cancellation because of no payment of annual fees |