JP3356078B2 - 圧縮ストリーム復号装置および圧縮ストリーム復号方法 - Google Patents
圧縮ストリーム復号装置および圧縮ストリーム復号方法Info
- Publication number
- JP3356078B2 JP3356078B2 JP27544998A JP27544998A JP3356078B2 JP 3356078 B2 JP3356078 B2 JP 3356078B2 JP 27544998 A JP27544998 A JP 27544998A JP 27544998 A JP27544998 A JP 27544998A JP 3356078 B2 JP3356078 B2 JP 3356078B2
- Authority
- JP
- Japan
- Prior art keywords
- picture
- frame memory
- decoded
- circuit
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Description
ion Picture Experts Grou
p:カラー動画を圧縮・伸長する標準)方式等のフレー
ム間予測符号化方式により符号化された圧縮ストリーム
を復号する圧縮ストリーム復号装置および圧縮ストリー
ム復号方法、特に、複数の圧縮ストリームを同時に復号
し、同一画面上に表示する技術に関する。
従来のこの種の技術について説明する。図7は、映像信
号復号化装置のブロック図である。
ク101は映像、および音声信号をMPEG方式により
圧縮符号化して得られたビット列を記録し、光ディスク
読み出し回路102は光ディスク1を読み出し、デイン
ターリーブおよび誤り訂正後ビット列121を出力す
る。103はビット列記憶用メモリであり、光ディスク
読み出し回路102から出力されたビット列121を記
憶し、読み出し制御回路104の与えるアドレス信号1
41に従ってビット列121を出力する。108は復号
化回路であり、入力されるビット列121を復号化して
再生画像とし、再生信号181を出力する。191〜1
93はフレームメモリであり、参照画像となるIピクチ
ャ、およびPピクチャの再生画像、およびBピクチャの
再生画像を記録するものである。
ャ)と呼ばれ、Iピクチャを1フレーム含む時間的に連
続した複数の画像フレームを示す図であり、MPEG方
式の予測方法をこの図を用いて説明する。図において、
各フレームの下に付与した数字は各フレームの連番を表
しており、連番が増える方向に時間が進んでいることを
示しており、復号の後はこの連番の順序に表示される。
例えば、連番6のフレームは連番5のフレームの次のフ
レームである。
ベットは、各フレームの予測方法を示しており、Iと付
したフレームはIピクチャと呼び、フレーム内の情報だ
けで符号化が可能なフレーム内符号化画像である。Pと
付したフレームはPピクチャと呼び、3フレーム前のI
ピクチャ,またはPピクチャ(コアピクチャという)を
参照画像として符号化が行われる片方向予測符号化画像
である。例えば、連番6のPピクチャは連番3のPピク
チャを参照画像として、片方向から予測符号化される。
Bと付したフレームはMPEG方式の特徴であるBピク
チャであって、前後のフレームを参照画像として符号化
が行われる両方向予測符号化画像である。例えば、連番
5のBピクチャは連番3と連番6のPピクチャを参照画
像として、両方向から予測符号化される。
られたビット列である。このように、各フレームの順序
は符号化処理,および復号化処理に都合の良い順序とな
っているため、図8に示す時間的に連続した各フレーム
の順序とは異なっている。例えば、I0 は連番0のフレ
ームのIピクチャ,P3 は連番3のフレームのPピクチ
ャ,B1 は連番1のフレームのBピクチャを示してい
る。
信号復号化装置の動作について説明する。光ディスク読
み出し回路102は、光ディスク101から信号を読み
取りGOPの連番の順にビット列121を出力する。こ
の出力されたビット列121は図9に示した順序にビッ
ト列記憶用メモリ103に書き込まれ、この後、ビット
列121は書き込まれた順に読み出されて復号化回路1
08に入力される。復号化回路108は入力されたビッ
ト列を順次復号化して再生出力181を得る。
に向かう順番で行われ、ピクチャI 0 は復号後にフレー
ムメモリ191に格納され、再生信号181として出力
される。ピクチャP3 は、フレームメモリ191に格納
されているピクチャI0 を参照して復号されてフレーム
メモリ192に格納され、再生信号181として出力さ
れる。ピクチャB1 は、フレームメモリ191,192
に格納されているピクチャI0 ,P3 を参照して復号さ
れてフレームメモリ193に格納され、再生信号181
として出力される。ピクチャB2 は、フレームメモリ1
91,192のピクチャI0 ,P3 を参照して復号され
てフレームメモリ193に格納され、再生信号181と
して出力される。ピクチャP6 は、フレームメモリ19
2のピクチャP3 を参照して復号されて、もはや不要と
なったピクチャI0 を格納しているフレームメモリ19
1に格納される。以下、同様である。
た従来の圧縮ストリーム復号装置では、複数の圧縮スト
リームを復号し、図10に示すように、同一画面に同時
に表示しようとすると、以下に示すような不具合が生じ
ることになる。ここでは、その一例として、3つの圧縮
ストリームA,B,Cを同時に表示する場合について説
明する。
むストリームに対するMPEG復号装置の動作を説明す
るための図であり、左方から右方に向かって経過する時
間ごとに、ストリームAについて、フィールドの別,復
号されるピクチャ,表示されるピクチャ,書き込みが行
われるフレームメモリおよび読み出しが行われるフレー
ムメモリを示している。
するには画面は2回走査されるが、各回の走査画面をい
い、その1回目と2回目を1,2と示しており、表示ピ
クチャのtop,bottomが対応する。また、復号
ピクチャはストリームAのみについて示したが、フィー
ルド1,2から成る1フレーム期間の残りの3分の2の
期間にストリームB,ストリームCについて時分割に復
号が行われる。さらに、表示ピクチャもストリームAの
みについて示したが、ストリームB,Cについても、図
10に示すようにストリームAと同時に表示されるため
のピクチャが当然に存在する。
び2番目のフレーム期間のフィールド1の期間(以下、
復号期間という)においては、前述のように、ピクチャ
I0が復号されフレームメモリA0 に格納される。2番
目の復号期間、つまり、2番目のフレーム期間のフィー
ルド2および3番目のフレーム期間のフィールド1の期
間では、ピクチャP3 の復号が行われ、フレームメモリ
A1 に書き込まれる。また、2番目の復号期間の後半、
つまり、3番目のフレーム期間のフィールド1では、先
にフレームメモリA0 に書き込まれたピクチャI0 のt
opであるI0topが表示、すなわちフレームメモリ
A0 から読み出される。3番目の復号期間では、ピクチ
ャB1 の復号およびフレームメモリA2 への書き込み
と、ピクチャI0 bottomの表示およびフレームメ
モリA0 からの読み出しと、ピクチャB1 topの表示
およびフレームメモリA2 からの読み出しとが行われ
る。
ここでは、前半Xにおいて、ピクチャB2 の復号および
フレームメモリA2 への書き込みと、ピクチャB1 bo
ttomの表示およびフレームメモリA2 からの読み出
しとが同時に発生する。つまり、フレームメモリA2 へ
の書き込みと読み出しとを同時に行わなければならず、
書き込みが先に終了する。したがって、3番目の復号期
間の後半から開始していたピクチャA2 の表示と読み出
しは、書き替え前と書き替え後のものについて行う、換
言すれば、X〜の時点まで保持する必要のあるピクチャ
B1 のデータがXの時点におけるピクチャB2 の復号に
より欠損し、再生画面が乱れることになるという不具合
が発生する。これは、3つのストリームを1つの復号器
によって復号するため、1つのストリームの復号のため
には、復号期間の三分の一の期間しか充当できないこと
に起因する。したがって、上述のような問題を解消する
ためには、ストリーム数と同数のMPEGビデオ復号器
を設け、各ストリームの復号を同時進行形で行う必要が
ある。
装置のブロック図であり、3つのストリームA,B,C
のそれぞれに対応した3つのフレームメモリ(以下、フ
レームメモリという)A0 ,A1 ,A2 と、B0 ,B
1 ,B2 と、C0 ,C1 ,C2と、3つのMPEGビデ
オ復号器26,27,28と、表示器3と、ビデオ同期
信号発生部4とを有する。MPEGビデオ復号器26
は、ストリームAについて、コアピクチャはフレームメ
モリA0 またはA1 、BピクチャはフレームメモリA2
に、MPEGビデオ復号器27は、ストリームBについ
て、コアピクチャはフレームメモリB0 またはB1 、B
ピクチャはフレームメモリB2 に、MPEGビデオ復号
器28は、ストリームCについて、コアピクチャはフレ
ームメモリC 0 またはC1 、Bピクチャはフレームメモ
リC2 にそれぞれ格納するような制御を行う。
を同時に表示するとはいえ、1画面表示のために、3つ
のMPEGビデオ復号器を使用するというのでは、いか
にも能がなく無駄があり、金物量が多くなる。
器を備えるのみで複数のストリームを同時に同一画面
に、かつ画面の乱れもなく円滑に表示できる圧縮ストリ
ーム復号装置および圧縮ストリーム復号方法を提供する
ことにある。
ムを復号するのに、1ストリームあたり4つのフレーム
メモリのみで足りる圧縮ストリーム復号装置および圧縮
ストリーム復号方法を提供することにある。
予測符号化を用いるMPEG方式により符号化された複
数の圧縮ストリームを入力し、前記圧縮ストリームを復
号し、復号したピクチャを出力するMPEGビデオ復号
器と、前記復号したピクチャを格納するフレームメモリ
とを有し、前記フレームメモリはピクチャタイプの数よ
りも冗長なフレームメモリ数を持つ組を前記圧縮ストリ
ーム毎に設けられ、前記フレームメモリの組のそれぞれ
は、IピクチャまたはPピクチャであるコアピクチャの
うちで最近復号したコアピクチャを格納するフレームメ
モリとコアピクチャのうちで1つ前に復号したコアピク
チャを格納するフレームメモリとBピクチャのうちで最
近復号したBピクチャを格納するフレームメモリと他の
ピクチャの予測符号化に不要であるピクチャを格納する
フレームメモリであって、復号開始後に前記MPEGビ
デオ復号器は、Iピクチャの復号なら復号したピクチャ
を前記最近復号したコアピクチャを格納するフレームメ
モリへ格納し、Pピクチャの復号なら前記1つ前に復号
したコアピクチャを格納するフレームメモリから読み出
したピクチャを用いて復号したピクチャを前記最近復号
したコアピクチャを格納するフレームメモリへ格納し、
Bピクチャの復号なら前記最近復号したコアピクチャを
格納するフレームメモリと前記1つ前に復号したコアピ
クチャを格納するフレームメモリから読み出したピクチ
ャを用いて復号したピクチャを前記最近復号したBピク
チャを格納するフレームメモリへ格納することを前記組
毎に行う圧縮ストリーム復号装置であって、前記MPE
Gビデオ復号器は、4つの前記フレームメモリに番号付
けした番号を各々保持する回路であるNot Use,
core1,core0,Bとを前記組毎に有し、復号
するピクチャがBピクチャであれば回路Bの保持する番
号と回路Not Useの保持する番号とを入れ替え、
復号するピクチャがコアピクチャであれば回路core
1の保持する番号を回路core0へ移し、回路cor
e0がそれまで保持していた番号を回路Not Use
へ移し、回路Not Useがそれまで保持していた番
号を回路core1へ移すものであり、回路Not U
seに保持する番号は、前記他のピクチャの予測符号化
に不要であるピクチャを格納するフレームメモリに対応
し、回路core1に 保持する番号は、前記最近復号し
たコアピクチャを格納するフレームメモリに対応し、回
路core0に保持する番号は、前記1つ前に復号した
コアピクチャを格納するフレームメモリに対応し、回路
Bに保持する番号は、前記最近復号したBピクチャを格
納するフレームメモリに対応し、これら4つの回路が保
持する番号を前記組毎に入れ替えることで前記各フレー
ムメモリの役割を前記組毎に使い回すことを特徴とす
る。
EG方式により符号化された複数の圧縮ストリームを入
力し、前記圧縮ストリームを復号し、復号したピクチャ
を出力するMPEGビデオ復号器と、前記復号したピク
チャを格納するフレームメモリとを有し、前記フレーム
メモリはピクチャタイプの数よりも冗長なフレームメモ
リ数を持つ組を前記圧縮ストリーム毎に設けられ、前記
フレームメモリの組のそれぞれは、IピクチャまたはP
ピクチャであるコアピクチャのうちで最近復号したコア
ピクチャを格納するフレームメモリとコアピクチャのう
ちで1つ前に復号したコアピクチャを格納するフレーム
メモリとBピクチャのうちで最近復号したBピクチャを
格納するフレームメモリと他のピクチャの予測符号化に
不要であるピクチャを格納するフレームメモリであっ
て、復号開始後に前記MPEGビデオ復号器は、Iピク
チャの復号なら復号したピクチャを前記最近復号したコ
アピクチャを格納するフレームメモリへ格納し、Pピク
チャの復号なら前記1つ前に復号したコアピクチャを格
納するフレームメモリから読み出したピクチャを用いて
復号したピクチャを前記最近復号したコアピクチャを格
納するフレームメモリへ格納し、Bピクチャの復号なら
前記最近復号したコアピクチャを格納するフレームメモ
リと前記1つ前に復号したコアピクチャを格納するフレ
ームメモリから読み出したピクチャを用いて復号したピ
クチャを前記最近復号したBピクチャを格納するフレー
ムメモリへ格納することを前記組毎に行う圧縮ストリー
ム復号方法であって、前記MPEGビデオ復号器は、4
つの前記フレームメモリに番号付けした番号を各々保持
する回路であるNot Use,core1,core
0,Bとを前記組毎に有し、復号するピクチャがBピク
チャであれば回路Bの保持する番号と回路Not Us
eの保持する番号とを入れ替え、復号するピクチャがコ
アピクチャであれば回路core1の保持する番号を回
路core0へ移し、回路core0がそれまで保持し
ていた番号を回路Not Useへ移し、回路Not
Useがそれまで保持していた番号を回路core1へ
移すものであり、回路Not Useに保持する番号
は、前記他のピクチャの予測符号化に不要であるピクチ
ャを格納するフレームメモリに対応し、回路core1
に保持する番号は、前記最近復号したコアピクチャを格
納するフレームメモリに対応し、 回路core0に保持
する番号は、前記1つ前に復号したコアピクチャを格納
するフレームメモリに対応し、回路Bに保持する番号
は、前記最近復号したBピクチャを格納するフレームメ
モリに対応し、これら4つの回路が保持する番号を前記
組毎に入れ替えることで前記各フレームメモリの役割を
前記組毎に使い回すことを特徴とする。
単位で交互に復号するとともに、復号に使用するフレー
ムメモリを4つ設けてピクチャタイプ対応に固定化せ
ず、同一フレームメモリについて書き込みと読み出しが
重複しないように使い回しをする構成とすることによっ
て、ただ1つの復号器を備えるだけで、複数のストリー
ムを同時に同一画面に、かつ画面の乱れもなく円滑に表
示できるようになったのである。
て説明する。
の実施の形態であるMPEG復号装置のブロック図を示
す。MPEG方式は、周知のように、フレーム間予測符
号化を基本とした高能率の圧縮符号化方式であり、複数
のフレームのそれぞれに対する予測方法を切替えること
によって、高い圧縮効率とシーケンス途中からの再生を
実現可能としている。
拠した3つのビデオストリーム(以下、ストリームと記
す)A,B,Cが同時に入力しても、ただ1つのMPE
Gビデオ復号器1でピクチャ単位で交互に復号すること
によって、図10に示したように、同一画面に同時に表
示する。そのために、メモリ2には、各ストリーム対応
に4つのフレームメモリを設け、また、MPEGビデオ
復号器1内のMPEGビデオ制御部5の制御方法を考案
した。
レームメモリA0 ,A1 ,A2 ,A 3 と、ストリームB
対応の4つのフレームメモリB0 ,B1 ,B2 ,B3
と、ストリームC対応の4つのフレームメモリC0 ,C
1 ,C2 ,C3 とから成る。各ストリーム対応の4つの
フレームメモリは、ピクチャタイプで固定せず、いずれ
のタイプのピクチャでも格納できるように、MPEGビ
デオ制御部5によって使い回しされる。
オ制御部5の他に、ストリームA,B,Cを時分割で選
択する選択器6と、入力されたストリームのビデオデー
タを可変長復号する可変長符号復号器VLDと、可変長
符号復号器VLDから入力されるデータを逆量子化する
逆量子化器IQと、逆量子化器IQから入力されるデー
タを2次元逆離散コサイン変換する2次元逆離散コサイ
ン変換器IDCTと、動き補償器MCとを有する。
チャがIピクチャの場合は、2次元逆離散コサイン変換
器IDCTから入力されるデータを、そのままメモリ2
に出力し、また、現在復号しているピクチャがPピクチ
ャの場合は、IDCTから入力されるデータと、前もっ
て復号してメモリ2に格納されているコアピクチャのデ
ータとを、加算して、再度メモリ2に出力し、また、現
在復号しているピクチャがBピクチャの場合は、IDC
Tから入力されるデータと、前もって復号してメモリ2
に格納されている2つのコアピクチャ(IまたはPピク
チャ)のデータとを、加算して、再度メモリ2に出力す
る。
号発生器4からのビデオ同期信号18と、VLDからの
復号中のピクチャのピクチャタイプ信号20にしたがっ
て、メモリ2への書き込みアドレス、メモリ2からの読
み出しアドレス21を生成する。
のビデオ同期信号19にしたがって、ピクチャのデータ
17をメモリ2から読み出し、出力画像として出力し、
ビデオ同期信号発生器4は、ビデオ同期信号18,19
を発生する。
ロック図であり、タイミング発生部7と、ストリームA
用のフレームメモリ制御部8A,ストリームB用のフレ
ームメモリ制御部8B,ストリームC用のフレームメモ
リ制御部8Cと、アドレス生成部9とから成る。
生部4からのビデオ同期信号18から、デコード開始信
号22A,22B,22Cを発生し、それぞれフレーム
メモリ制御部8A,8B,8Cに供給する。デコード開
始信号22A,22B,22Cは、表示器3における画
面の1フレーム期間に1つづつ等間隔で発生する。
信号22Aと、可変長符号変換器VLDからのピクチャ
タイプ信号20とにより、ストリームAに対する書き込
みフレームメモリ番号信号23,ストリームAに対する
第1読み出しフレームメモリ番号信号24および第2読
み出しフレームメモリ番号信号25を発生する。ここ
で、ピクチャタイプ信号20がIピクチャを示している
ときは、書き込みフレームメモリ番号信号23,ピクチ
ャタイプ信号20がPピクチャを示しているときは、書
き込みフレームメモリ番号信号23および第1読み出し
フレームメモリ番号信号24,ピクチャタイプ信号がB
ピクチャを示しているときは、書き込みフレームメモリ
番号信号23,第1読み出しフレームメモリ番号信号2
4および第2読み出しフレームメモリ番号信号25を発
生する。フレームメモリ制御部8Bとフレームメモリ制
御部8Cについても、フレームメモリ制御部8Aと同様
に動作する。
リ制御部8A,8B,8Cからの書き込みフレームメモ
リ番号信号23,第1読み出しフレームメモリ番号信号
24および第2読み出しフレームメモリ番号信号25に
よりメモリ2のアドレス信号21を生成してメモリ2に
供給する。
説明する。図1のストリームA,B,Cは、例えば、テ
レビ放送の3つのチャンネルから送られてくるMPEG
規格に準拠したビデオデータである。これを図10に示
したように、同一画面に同時に表示する。
ピクチャを含むストリームに対する本MPEG復号装置
の動作を説明するための図であり、左方から右方に向か
って経過する時間ごとに、ストリームAについて、フィ
ールドの別,復号されるピクチャ,表示されるピクチ
ャ,書き込みが行われるフレームメモリおよび読み出し
が行われるフレームメモリを示している。
ームを表示するには画面は2回走査されるが、各回の走
査画面をいい、その1回目と2回目を1,2と示してお
り、表示ピクチャのtop,bottomが対応する。
また、復号ピクチャはストリームAのみについて示した
が、フィールド1,2から成る1フレーム期間の残りの
3分の2の期間にストリームB,ストリームCについて
も時分割に復号が行われる。さらに、表示ピクチャもス
トリームAのみについて示したが、ストリームB,Cに
ついても、図に示すようにストリームAと同時に表示さ
れるためのピクチャが当然に存在する。
re0,core1,Bとは、フレームメモリ制御部8
A,8B,8Cにおける書き込みフレームメモリ番号信
号23,第1読み出しフレームメモリ番号信号24およ
び第2読み出しフレームメモリ番号信号25を発生する
ためのアルゴリズム上の変数を示している。
たコアピクチャが格納されるフレームメモリの番号を示
し、Bピクチャ復号時の第2読み出しフレームメモリ番
号ともなる。また、変数core0とは、変数core
1の示すフレームメモリに格納されているコアピクチャ
の、1つ前に復号されたコアピクチャが格納されるフレ
ームメモリの番号を示し、Pピクチャ復号時およびBピ
クチャ復号時の第1読み出しフレームメモリ番号ともな
る。また、変数Bは、最近復号されたBピクチャが格納
されるフレームメモリの番号を示す。さらに、変数No
t Useとは、従来必要だった3つのフレームメモリ
に対して付加された冗長な第4のフレームメモリの番号
を示すものであり、復号されるピクチャがコアピクチャ
なら変数core0、Bピクチャなら変数Bの内容がセ
ットされる。つまり、復号のためには、もはや不要とな
った最古のフレームメモリ番号を変数Not Useに
セットするのである。そして、次に復号されるピクチャ
がコアピクチャなら変数Not Useの内容は変数c
ore1、Bピクチャなら変数Bにセットされる。この
ような工夫により、ピクチャタイプに固定化しないフレ
ームメモリの自在な使い回しができるようになった。
トで示す。復号開始後、先ず、ピクチャタイプ信号20
により、当該ピクチャがBピクチャか否かが問われる
(図4のステップS1)。Bピクチャなら、変数Bの内
容を中間変数tempに入力し、変数Not Useの
内容を変数Bに、中間変数tempの内容を変数Not
Useに入力する(S2)。これは、Bピクチャの復号
に当たって、これまで未使用だったフレームメモリの番
号を変数Bに入力して、復号後のBピクチャをその番号
のフレームメモリに格納するのであるが(S3)、それ
には変数Bの内容をひとまず中間変数tempに退避し
ておき、中間変数tempの内容を変数Not Use
に入力することにより、最古の、復号には不要フレーム
メモリの番号を変数Not Useに入力するようにし
たものである。
Bピクチャでない、すなわちコアピクチャであるとき
は、変数core0の内容を中間変数tempに退避し
ておいてから、変数core1の内容を変数core0
に、変数Not Useの内容を変数core1に移
し、その後に中間変数tempの内容を変数Not U
seに入力する(S4)。これは、コアピクチャの復号
に当たって、復号後のピクチャを格納するフレームメモ
リの番号を変数core1に入力し、これまでの変数c
ore1の内容を変数core0に移すことによって、
変数core0が最近復号されたピクチャの1つ前のコ
アピクチャを格納するフレームメモリの番号を保持し、
また、これまでの変数core0の内容を変数Not
Useに移すことによって、最古の、復号には不要なフ
レームメモリの番号を変数Not Useに入力するよ
うにしたものである。復号後のピクチャは変数core
1の示すフレームメモリに格納される(S5)。なお、
このような処理はストリームごとに行われる。
4つの変数core1,core0,BおよびNot
Useと、中間変数tempとを用いて、4つのフレー
ムメモリをローテーションさせながら使用し、ビデオデ
ータをピクチャ単位で交互に復号するようにしたため、
1つの復号器で複数のビデオデータを円滑に復号し、同
一画面に同時に表示できるようになったのである。実
際、図4のアルゴリズムによると、I,P,Bピクチャ
は、すべてのフレームメモリA0 〜A3 に格納され得
る。
る。先ず、初期状態においては、変数Not Use,
core0,core1およびBは、それぞれ0,1,
2,3に設定されている。1番目のフレーム期間におい
ては、ピクチャI0 が復号されるので、図4のS1→S
4→S5のルートを辿ることになる。この結果、変数N
ot Useは1、変数core0は2、変数core
1は0、変数Bは3となり、この結果、I0 ピクチャは
フレームメモリA0 に格納される(S5)。
期間)の内、最初の1/3フレーム期間で、ストリーム
AのI0 ピクチャを復号し終えたあとで、ストリームB
のピクチャの復号を開始する。ここでもストリームAと
同様に図4のフローチャートに従って復号するピクチャ
を格納するフレームメモリを決定する。なお、ストリー
ムBの格納フレームメモリの決定は、フレームメモリ制
御部BがストリームAとは全く独立に行う。ストリーム
Aと同じく1/3フレーム期間でストリームBの1ピク
チャの復号を終え、最後の1/3フレーム期間でストリ
ームCの1ピクチャの復号を行う。ストリームCについ
てもストリームA,Bと同様に格納フレームメモリを決
定する。
について、Not Use=3、core0=0、co
re1=1、B=2となっており、フレームメモリA0
にはI0 ピクチャ、フレームメモリA1 にはP3 ピクチ
ャ、フレームメモリA2 にはB1 ピクチャが格納されて
いる。Pの時点では、B2 ピクチャを復号するので、図
4のフローチャートに従って、Not Use=2、c
ore0=0、core1=1、B=3となり、B2 ピ
クチャはフレームメモリA3 に格納される。B 2 ピクチ
ャの復号に際して、フレームメモリA0 のI0 ピクチ
ャ、フレームメモリA1 のP3 ピクチャが動き補償の参
照フレームとして用いられている。
メモリA2 に格納されているB1 ピクチャである。フレ
ームメモリが異なるため、B1 ピクチャの表示とB2 ピ
クチャの復号は、無関係に行うことができるので、従来
技術におけるような不具合は起こらない。
Pピクチャのみから成るストリームに対するフレームメ
モリ決定について、図5により説明する。図5中Qの時
点の直前では、ストリームAについて、Not Use
=0、core0=1,core1=2、B=3となっ
ており、フレームメモリA0 にはI0 ピクチャ、フレー
ムメモリA1 にはP1 ピクチャ、フレームメモリA2 に
はP2 ピクチャがが格納されている。Qの時点では、P
3 ピクチャを復号するので、図4のフローチャートに従
って、Not Use=1、core0=2、core
1=0、B=3となり、P3 ピクチャはフレームメモリ
A0 に格納される。P3 ピクチャの復号に際して、フレ
ームメモリA2 のP2 ピクチャが動き補償の参照フレー
ムとして用いられている。
メモリA1 に格納されているP1 ピクチャである。フレ
ームメモリが異なるので、P1 ピクチャの表示とP3 ピ
クチャの復号は、無関係に行うことができる。
ストリームをピクチャ毎に復号し、また、復号するピク
チャを格納するフレームメモリを、復号を開始するごと
に、図4のフローチャートに従い決定する。
グラミングして、半導体メモリ、磁気ディスク等のコン
ピュータ読み込み可能な記録媒体に記録し、フレームメ
モリ制御部8A,8B,8Cに読み込ませて実行させる
ようにしてもよい。そのようなプログラムは、最近復号
されたコアピクチャが格納されるフレームメモリの番号
を示す変数core1と、該変数core1が示すフレ
ームメモリに格納されているコアピクチャの1つ前に復
号されたコアピクチャが格納されるフレームメモリの番
号を示す変数core0と、最近復号されたBピクチャ
が格納されるフレームメモリの番号を示す変数Bと、未
使用のフレームメモリの番号を示す変数Not Use
と、中間変数tempとを有し、復号時のピクチャがB
ピクチャなら、変数B,Not Use,tempの内
容をそれぞれ変数temp,B,Not Useに移
し、また復号時のピクチャがコアピクチャなら、変数c
ore0,core1,Not Use,tempの内
容をそれぞれ変数temp,core0,core1,
Not Useに移すことにより、復号したピクチャを
格納するフレームメモリを決定する。
ウェアで実現した場合のフレームメモリ制御部8Aの構
成を図6に示すが、フレームメモリ制御部8B,8Cに
ついても同様である。この回路は、上述の変数Not
Use,core1,core0,Bに対応するそれぞ
れ2ビットのフリップフロップ(以下、F/Fと記す)
10,11,12,13と、コアピクチャならF/F1
2、BピクチャならF/F13を選択するセレクタ14
と、コアピクチャならF/F11、BピクチャならF/
F13を選択するセレクタ15とから成る。
はコアピクチャについてのローテーションパスを形成
し、前述のフレームメモリの使い回しを行うためにフレ
ームメモリ番号00〜11を保持する。また、F/F1
0およびF/F13はBピクチャについてのローテーシ
ョンパスを形成し、前述のフレームメモリの使い回しを
行うためのフレームメモリ番号00〜11を保持する。
ピクチャタイプ信号20がコアピクチャを指定し、かつ
デコード開始信号22Aが“1”のときに“1”となる
イネーブル信号E0 に応答して、それぞれF/F10,
F/F11の出力がセットされる。また、F/F10
は、ピクチャタイプ信号20がコアピクチャまたはBピ
クチャを指定し、かつデコード開始信号22Aが“1”
のときに“1”となるイネーブル信号E2 に応答して、
セレクタ14の出力、すなわちコアピクチャのときはF
/F12、BピクチャのときはF/F13の出力がセッ
トされる。また、F/F13は、ピクチャタイプ信号2
0がBピクチャを指定し、かつデコード開始信号22A
が“1”のときに“1”となるイネーブル信号E1 に応
答して、F/F10の出力がセットされる。
のストリームをピクチャ単位で交互に復号するととも
に、復号に使用するフレームメモリを4つ設けて、ピク
チャタイプに対して固定しないこととし、同一フレーム
メモリについて書き込みと読み出しが重複しないように
使い回しをする構成としたため、ただ1つの復号器を備
えるだけで、複数のストリームを同時に同一画面に、か
つ画面の乱れもなく円滑に表示できるようになるという
効果を有する。
示すブロック図
Gビデオ制御部の構成図
チャを含むストリームに対する復号・表示のタイミング
チャート
レームメモリ決定のフローチャート
チャを含まないストリームに対する復号・表示のタイミ
ングチャート
レームメモリ制御部の構成図
ム復号装置の構成図
画像フレームを示す図
たビット列を示す図
た様子を示す図
示のタイミングチャート
トリーム復号装置の構成図
モリ) B0 ,B1 ,B2 ,B3 フレームメモリ(フレームメ
モリ) C0 ,C1 ,C2 ,C3 フレームメモリ(フレームメ
モリ) VLD 可変長符号復号器 IQ 逆量子化器 IDCT 2次元逆離散コサイン変換器 MC 動き補償器
Claims (2)
- 【請求項1】 予測符号化を用いるMPEG方式により
符号化された複数の圧縮ストリームを入力し、前記圧縮
ストリームを復号し、復号したピクチャを出力するMP
EGビデオ復号器と、前記復号したピクチャを格納する
フレームメモリとを有し、前記フレームメモリはピクチ
ャタイプの数よりも冗長なフレームメモリ数を持つ組を
前記圧縮ストリーム毎に設けられ、前記フレームメモリ
の組のそれぞれは、IピクチャまたはPピクチャである
コアピクチャのうちで最近復号したコアピクチャを格納
するフレームメモリとコアピクチャのうちで1つ前に復
号したコアピクチャを格納するフレームメモリとBピク
チャのうちで最近復号したBピクチャを格納するフレー
ムメモリと他のピクチャの予測符号化に不要であるピク
チャを格納するフレームメモリであって、復号開始後に
前記MPEGビデオ復号器は、Iピクチャの復号なら復
号したピクチャを前記最近復号したコアピクチャを格納
するフレームメモリへ格納し、Pピクチャの復号なら前
記1つ前に復号したコアピクチャを格納するフレームメ
モリから読み出したピクチャを用いて復号したピクチャ
を前記最近復号したコアピクチャを格納するフレームメ
モリへ格納し、Bピクチャの復号なら前記最近復号した
コアピクチャを格納するフレームメモリと前記1つ前に
復号したコアピクチャを格納するフレームメモリから読
み出したピクチャを用いて復号したピクチャを前記最近
復号したBピクチャを格納するフレームメモリへ格納す
ることを前記組毎に行う圧縮ストリーム復号装置であっ
て、前記MPEGビデオ復号器は、4つの前記フレーム
メモリに番号付けした番号を各々保持する回路であるN
ot Use,core1,core0,Bとを前記組
毎に有し、復号するピクチャがBピクチャであれば回路
Bの保持する番号と回路Not Useの保持する番号
とを入れ替え、復号するピクチャがコアピクチャであれ
ば回路core1の保持する番号を回路core0へ移
し、回路core0がそれまで保持していた番号を回路
Not Useへ移し、回路Not Useがそれまで
保持していた番号を回路core1へ移すものであり、
回路Not Useに保持する番号は、前記他のピクチ
ャの予測符号化に不要であるピクチャを格納するフレー
ムメモリに対応し、回路core1に保持する番号は、
前記最近復号したコアピクチャを格納するフレームメモ
リに対応し、回路core0に保持する番号は、前記1
つ前に復号したコアピクチャを格納するフレームメモリ
に対応し、回路Bに保持する番号は、前記最近復号した
Bピクチャを格納するフレームメモリに対応し、これら
4つの回路が保持する番号を前記組毎に入れ替えること
で前記各フレームメモリの役割を前記組毎に使い回すこ
とを特徴とする圧縮ストリーム復号装置。 - 【請求項2】 予測符号化を用いるMPEG方式により
符号化された複数の圧縮ストリームを入力し、前記圧縮
ストリームを復号し、復号したピクチャを出力するMP
EGビデオ復号器と、前記復号したピクチャを格納する
フレームメモリとを有し、前記フレームメモリはピクチ
ャタイプの数よりも冗長なフレームメモリ数を持つ組を
前記圧縮ストリーム毎に設けられ、前記フレームメモリ
の組のそれぞれは、IピクチャまたはPピクチャである
コアピクチャのうちで最近復号したコアピクチャを格納
するフレームメモリとコアピクチャのうちで1つ前に復
号したコアピクチャを格納するフレームメモリとBピク
チャのうちで最近復号したBピクチャを格納するフレー
ムメモリと他のピクチャの予測符号化に不要であるピク
チャを格納するフレームメモリであって、復号開始後に
前記MPEGビデオ復号器は、Iピクチャの復号なら復
号したピクチャを前記最近復号したコアピクチャを格納
するフレームメモリへ格納し、Pピクチャの復号なら前
記1つ前に復号したコアピクチャを格納するフレームメ
モリから読み出したピクチャを用いて復号したピクチャ
を前記最近復号したコアピクチャを格納するフレームメ
モリへ格納し、Bピクチャの復号なら前記最近復号した
コアピクチャを格納するフレームメモリと前記1つ前に
復号したコアピクチャを格納するフレームメモリから読
み出したピクチャを用いて復号したピクチャを前記最近
復号したBピクチャを格納するフレームメモリへ格納す
ることを前記組毎に行う圧縮ストリーム復号方法であっ
て、前記MPEGビデオ復号器は、4つの前記フレーム
メモリに番号付けした番号を各々保持する回路であるN
ot Use,core1,core0,Bとを前記組
毎に有し、復号するピクチャがBピクチャであれば回路
Bの保持する番号と回路Not Useの保持する番号
とを入れ替え、復号するピクチャがコアピクチャであれ
ば回路core1の保持する番号を回路core0へ移
し、回路core0がそれまで保持していた番号を回路
Not Useへ移し、回路Not Useがそれまで
保持していた番号を回路core1へ移すものであり、
回路Not Useに保持する番号は、前記他のピクチ
ャの予測符号化に不要であるピクチャを格納するフレー
ムメモリに対応し、回路core1に保持する番号は、
前記最近復号したコアピクチャを格納するフレームメモ
リに対応し、回路core0に保持する番号は、前記1
つ前に復号したコアピクチャを格納するフレームメモリ
に対応し、回路Bに保持する番号は、前記最近復号した
Bピクチャを格納するフレームメモリに対応し、これら
4つの回路が保持する番号を前記組毎に入れ替えること
で前記各フレームメモリの役割を前記組毎に使い回すこ
とを特徴とする圧縮ストリーム復号方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27544998A JP3356078B2 (ja) | 1998-09-29 | 1998-09-29 | 圧縮ストリーム復号装置および圧縮ストリーム復号方法 |
US09/407,566 US6414993B1 (en) | 1998-09-29 | 1999-09-28 | Decoding system available for compressed data streams for concurrently reproducing stable pictures method for decoding compressed data streams and information storage medium for strong programmed instructions representative of the method |
DE1999146683 DE19946683B4 (de) | 1998-09-29 | 1999-09-29 | Decodiersystem für komprimierte Datenströme zum gleichzeitigen Reproduzieren stabiler Bilder, Verfahren zum Decodieren komprimierter Datenströme und Informationsspeichermedium zum Speichern von das Verfahren darstellenden Programmbefehlen |
US10/067,564 US6912254B2 (en) | 1998-09-29 | 2002-02-05 | Decoding system available for compressed data streams for concurrently reproducing stable pictures method for decoding compressed data streams and information storage medium for storing programmed instructions representative of the method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27544998A JP3356078B2 (ja) | 1998-09-29 | 1998-09-29 | 圧縮ストリーム復号装置および圧縮ストリーム復号方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000106677A JP2000106677A (ja) | 2000-04-11 |
JP3356078B2 true JP3356078B2 (ja) | 2002-12-09 |
Family
ID=17555692
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP27544998A Expired - Fee Related JP3356078B2 (ja) | 1998-09-29 | 1998-09-29 | 圧縮ストリーム復号装置および圧縮ストリーム復号方法 |
Country Status (3)
Country | Link |
---|---|
US (2) | US6414993B1 (ja) |
JP (1) | JP3356078B2 (ja) |
DE (1) | DE19946683B4 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7865021B2 (en) | 2004-12-06 | 2011-01-04 | Nec Electronics Corporation | Compressed stream decoding apparatus and method |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002171523A (ja) * | 2000-09-22 | 2002-06-14 | Matsushita Electric Ind Co Ltd | 画像復号装置,画像復号方法,及びプログラム記憶媒体 |
US7253818B2 (en) * | 2001-08-07 | 2007-08-07 | Ati Technologies, Inc. | System for testing multiple devices on a single system and method thereof |
US7016418B2 (en) * | 2001-08-07 | 2006-03-21 | Ati Technologies, Inc. | Tiled memory configuration for mapping video data and method thereof |
US20030161395A1 (en) * | 2002-02-28 | 2003-08-28 | Byers Charles Calvin | Method and apparatus for improving channel selection performance of compressed digital video systems |
WO2003081423A1 (en) * | 2002-03-22 | 2003-10-02 | Telefonaktiebolaget Lm Ericsson | Method for processing data streams divided into a plurality of process steps |
US8284844B2 (en) | 2002-04-01 | 2012-10-09 | Broadcom Corporation | Video decoding system supporting multiple standards |
US7305173B2 (en) * | 2002-06-20 | 2007-12-04 | Sony Corporation | Decoding device and decoding method |
FR2842979B1 (fr) * | 2002-07-24 | 2004-10-08 | Thomson Licensing Sa | Procede et dispositif de traitement de donnees numeriques |
US7391469B2 (en) * | 2003-10-05 | 2008-06-24 | Mediatek Inc. | Method and apparatus for video decoding and de-interlacing |
US20090196356A1 (en) * | 2005-09-14 | 2009-08-06 | Mitsunori Houki | Multi-stream decoder apparatus |
JP4532375B2 (ja) * | 2005-09-21 | 2010-08-25 | 株式会社日立国際電気 | 映像復号装置 |
KR20100069220A (ko) * | 2008-12-16 | 2010-06-24 | 삼성전자주식회사 | 복수의 비디오를 처리하는 비디오 처리장치, 이에 적용되는비디오 처리방법, 기록매체 및 디스플레이 장치 |
JP6234770B2 (ja) * | 2013-10-24 | 2017-11-22 | ルネサスエレクトロニクス株式会社 | 動画像復号処理装置、動画像符号化処理装置およびその動作方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR910004274B1 (ko) * | 1988-04-16 | 1991-06-25 | 삼성전자 주식회사 | 픽처-인-픽처에 있어서 복수화면 회전 이동 간격 제어회로 및 제어방법 |
KR940003668B1 (ko) * | 1990-06-29 | 1994-04-25 | 삼성전자 주식회사 | 복호신호 에러 수정장치 |
EP0477969B1 (en) * | 1990-09-27 | 1997-12-29 | Canon Kabushiki Kaisha | Fixater and recording apparatus using the same |
JP3161017B2 (ja) * | 1992-04-16 | 2001-04-25 | ソニー株式会社 | 動画像復号化装置 |
JPH05300486A (ja) | 1992-04-20 | 1993-11-12 | Nec Corp | 可変長符号化、復号化回路 |
JP3037822B2 (ja) | 1992-05-15 | 2000-05-08 | 株式会社東芝 | デジタル多チャンネル伝送システムの受信機 |
JPH06311449A (ja) * | 1993-02-26 | 1994-11-04 | Sony Corp | テレビジョン受像機 |
US5398072A (en) * | 1993-10-25 | 1995-03-14 | Lsi Logic Corporation | Management of channel buffer in video decoders |
JP2863096B2 (ja) | 1994-08-29 | 1999-03-03 | 株式会社グラフィックス・コミュニケーション・ラボラトリーズ | 並列処理による画像復号装置 |
JP3535297B2 (ja) | 1996-01-26 | 2004-06-07 | ローム株式会社 | 画像データ復号方法およびこの方法を用いた画像データ復号装置 |
JPH09224251A (ja) | 1996-02-16 | 1997-08-26 | Toshiba Corp | 動画像符号化装置及び動画像復号化装置 |
JPH1079941A (ja) * | 1996-09-05 | 1998-03-24 | Fujitsu Ltd | 画像処理装置 |
US5909224A (en) * | 1996-10-18 | 1999-06-01 | Samsung Electronics Company, Ltd. | Apparatus and method for managing a frame buffer for MPEG video decoding in a PC environment |
JPH11220711A (ja) * | 1998-02-03 | 1999-08-10 | Fujitsu Ltd | 多地点会議システム及び会議端末装置 |
US6353700B1 (en) * | 1998-04-07 | 2002-03-05 | Womble Multimedia, Inc. | Method and apparatus for playing an MPEG data file backward |
US6243140B1 (en) * | 1998-08-24 | 2001-06-05 | Hitachi America, Ltd | Methods and apparatus for reducing the amount of buffer memory required for decoding MPEG data and for performing scan conversion |
US6295089B1 (en) * | 1999-03-30 | 2001-09-25 | Sony Corporation | Unsampled hd MPEG video and half-pel motion compensation |
-
1998
- 1998-09-29 JP JP27544998A patent/JP3356078B2/ja not_active Expired - Fee Related
-
1999
- 1999-09-28 US US09/407,566 patent/US6414993B1/en not_active Expired - Fee Related
- 1999-09-29 DE DE1999146683 patent/DE19946683B4/de not_active Expired - Fee Related
-
2002
- 2002-02-05 US US10/067,564 patent/US6912254B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7865021B2 (en) | 2004-12-06 | 2011-01-04 | Nec Electronics Corporation | Compressed stream decoding apparatus and method |
Also Published As
Publication number | Publication date |
---|---|
US6414993B1 (en) | 2002-07-02 |
DE19946683B4 (de) | 2005-05-04 |
JP2000106677A (ja) | 2000-04-11 |
DE19946683A1 (de) | 2000-03-30 |
US20020071490A1 (en) | 2002-06-13 |
US6912254B2 (en) | 2005-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3591033B2 (ja) | 符号化データの特殊再生方法および特殊再生装置 | |
JP3356078B2 (ja) | 圧縮ストリーム復号装置および圧縮ストリーム復号方法 | |
JP2007312002A (ja) | Mpegビデオ再生装置、およびmpegビデオ再生方法 | |
JP2009033640A (ja) | 画像復号化装置 | |
JPH09200695A (ja) | 高速再生のためのビデオデータの復号化方法及びその装置 | |
JP3871348B2 (ja) | 画像信号復号化装置及び画像信号復号化方法 | |
JP2000217109A (ja) | 動画像再生装置及び再生方法 | |
JP2000101969A (ja) | 再生装置及び再生方法 | |
US5841935A (en) | Coding method and recording and reproducing apparatus | |
JP3308129B2 (ja) | 画像信号復号化方法及び画像信号復号化装置 | |
JP2006324848A (ja) | 情報処理装置及び情報処理方法 | |
JPH11313283A (ja) | 動画像データ再生装置及び動画像データの逆再生方法 | |
JPH09261589A (ja) | 画像データ復号表示方法および装置 | |
JPH11155129A (ja) | Mpeg画像再生装置およびmpeg画像再生方法 | |
JP2001285877A (ja) | 圧縮符号化データ復号装置および復号方法 | |
JP3039416B2 (ja) | 映像記憶再生装置 | |
JP3134672B2 (ja) | 映像信号のコマ送り再生処理装置 | |
JP4284830B2 (ja) | 動画像編集復号化装置及びその方法 | |
JP2002218396A (ja) | 情報再生装置および情報再生方法、記録媒体、並びにプログラム | |
JP2000175151A (ja) | Mpeg再生装置及びmpeg再生方法 | |
JP2001103427A (ja) | 圧縮画像再生装置及びプログラム記録媒体 | |
KR20000035681A (ko) | 엠피이지 재생 장치 및 엠피이지 재생 방법 | |
JP2007531435A (ja) | メニューを生成する方法及び装置 | |
JPH07170485A (ja) | 画像再生装置及び画像復号装置 | |
JP2001320653A (ja) | 画像復号装置及び画像復号方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081004 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091004 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091004 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101004 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101004 Year of fee payment: 8 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101004 Year of fee payment: 8 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111004 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121004 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131004 Year of fee payment: 11 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |