JP4468497B2 - ディジタル符号化ビデオフィルムの原データを再生する方法及び装置 - Google Patents
ディジタル符号化ビデオフィルムの原データを再生する方法及び装置 Download PDFInfo
- Publication number
- JP4468497B2 JP4468497B2 JP17893098A JP17893098A JP4468497B2 JP 4468497 B2 JP4468497 B2 JP 4468497B2 JP 17893098 A JP17893098 A JP 17893098A JP 17893098 A JP17893098 A JP 17893098A JP 4468497 B2 JP4468497 B2 JP 4468497B2
- Authority
- JP
- Japan
- Prior art keywords
- picture
- pictures
- decoded
- counter
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 20
- 230000015654 memory Effects 0.000 claims description 55
- 230000004044 response Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 9
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 4
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
- G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
- G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
- G11B27/3036—Time code signal
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
- G11B27/3081—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is a video-frame or a video-field (P.I.P)
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/24—Systems for the transmission of television signals using pulse code modulation
- H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
- H04N7/54—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal the signals being synchronous
- H04N7/56—Synchronising systems therefor
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Description
【発明の属する技術分野】
本発明は、ディジタル的に符号化されたビデオフィルムの原データを再生する方法、並びに、その方法を実施する装置に関する。
【0002】
【従来の技術】
本発明は、多数のピクチャタイプ(I,B,P)の中の特定のピクチャタイプが符号化中に個別の各ピクチャに割り付けられ、符号化順は少なくとも一部で表示順と一致していない汎用的なタイプのディジタル符号化されたビデオフィルムの原データを再生する方法に基づいている。
【0003】
このタイプの装置は、近年、例えば、市販されているDVD(ディジタル多用途ディスク)再生装置の結果として知られるようになった。これらの装置は、所謂DVD規格(バージョン1.0)に準拠して設計されている。この規格では、ビデオフィルムの再生に関して、所謂MPEG標準であるMPEG1及びMPEG2が参照される。MPEG2標準は、ISO/IEC 13818: 1994 "Information technology - generic coding of moving pictures and associated audio" の名称で公知である。MPEG1標準は、ISO/IEC 11172: 1993 "Information Technology - coding of moving pictures and associated audio for digital storagemedia up to about 1.5 Mbit/s" の名称で公知である。DVDの場合に、ビデオ符号化タイプは上記の二つの標準の中の一方によって定義される。上記標準によれば、ビデオフィルムの個別のピクチャーは符号化ディジタルデータストリーム(ビットストリーム)に変換される。多量の情報が各ピクチャー毎にビットストリームに与えられる。ディジタルビットストリームの詳細の全てを説明することは不可能である。上記の標準に関して上記の引用文献を参照することによって必要な詳細を得ることができる。
【0004】
従来のDVD再生装置には、日常動作中に全くエラーを生ずることなく動作し続け得ないという問題点がある。その問題点が生ずる一つの理由は、DVD自体の記憶密度の劇的な増加に起因して、あらゆる状況でエラーの無い読取を行うことが不可能であることによる。僅かなスクラッチ並びにごみ及び油のスポットによって、充分な情報の読取が非常に容易に阻害され得る。この記録の特質は、スクラッチ/スポットが比較的小さい場合であっても、かなり広い領域が高記憶密度のために影響され、正しく評価されないことを意味する。この結果として、エラー隠蔽手段が存在するにも係わらず、画質及び音質が時折低下する。本発明は、オーディオ情報の復号化ではなく、ピクチャ表示に関する特定の問題を取り扱う。
【0005】
以下、より詳細に説明するように、ビデオ情報項目はDVD上の所謂セクタに記憶される。セクタは2048バイトのディジタルビデオ情報からなる。かかるセクタ内のデータは著しく大幅に圧縮され、それに応じて僅かな冗長性しかないので、セクタ中の僅か数項目のデータだけが正確に読み取れないにも係わらず、情報の一部が失われたときデータは完全に復号化できなくなるので、屡々、全セクタがビデオ情報として削除される。その結果として、全セクタがビデオフィルムの再生中に省略される場合があり得る。MPEG標準であるMPEG1及びMPEG2は、重要度に従ってビデオデータの階層的な分割を仮想的に行う。データの中には、ピクチャの全系列のビデオ情報項目を再現するため重要なデータ、個別のピクチャの情報だけを再現する他のデータ、ピクチャ内の特定の区画の情報項目を再現するため絶対欠くことのできないデータがある。
【0006】
本発明は、特に、所謂グループオブピクチャ(GOP)に適合するデータを詳細に考慮する。従って、ディジタルデータストリームは、グループオブピクチャヘッダGOPHと称されるセクションが設けられ、かつ、重要なシステム時間基準データを含む。システムクロックは上記データで供給され、特にDVD再生装置内の全ての動作を同期させる。DVD再生装置内のシステムクロックは、システム基準データによって時々再調整されるので、ビデオ復号化動作とビデオ符号化動作との間で同期した動作が保証される。更に、グループオブピクチャに対し特有のGOPヘッダが存在するのと同じように、個別のピクチャに対しピクチャヘッダと称されるヘッダが存在する。このヘッダは、特に、所謂時間基準コード(temporal reference code)と称される。このコードは10ビット幅の数字により構成され、実際上グループオブピクチャ内でのこのピクチャの位置を示し、このピクチャがグループオブピクチャ内で表示される時を最終的に管理し、換言すれば、このコードによってピクチャの表示順が指定される。ピクチャオブグループ内の個別のピクチャは、このようにして連続的に番号付けされている。しかし、ピクチャは符号化動作中に特定の方法で一体的にごちゃ混ぜにされるので、符号化順は表示順と対応しなくなる。その原因は、MPEG1標準及びMPEG2標準に準拠して3種類のピクチャタイプが設けられ、ピクチャはピクチャタイプに応じて別々に符号化されるからである。イントラ符号化画像に対応する所謂Iピクチャは公知である。Iピクチャは1個のピクチャの情報項目しか含まないので、他のピクチャとは独立して復号化することが可能である。単方向予測画像に対応する所謂Pピクチャは別のピクチャタイプとして設けられている。Pピクチャは先行するI又はPピクチャに基づいて予測され、その結果として、データ量が削減される。しかし、Pピクチャは先行のI又はPピクチャに依存する。双方向予測画像に対応するBピクチャは、第3のピクチャタイプとして設けられる。Bピクチャは2個の隣接したI又はPピクチャに依存する。Bピクチャは隣接したI又はPピクチャから予測される。平均値が形成され、原画像との差が計算される。差のある場合に限りビデオ情報項目の一部が残されるので、Bピクチャはデータ量に関して著しく削減される。このように数種類のピクチャタイプを設けるためには、符号化の目的のための表示順を入れ替える必要がある。特に、Bピクチャは、符号化形式で前後にIピクチャ又はPピクチャが在る場合に限り符号化され得る。その結果として、データストリームにおいて時間順に連なるI又はPピクチャは、実際には時間的に先に表示されるべきBピクチャより常に先に現れる。元の表示順は、同時に伝達された時間基準コードを用いて復号化動作中に再現される。
【0007】
【発明が解決しようとする課題】
ところが、エラーに起因してGOPヘッダが失われ、既に復号化されメモリ内に置かれたピクチャよりも小さい時間基準コードを有する別のグループのピクチャが突然に復号化されるときに問題が生ずる。特に、より大きい時間基準コードを有し、実際には先に表示されるべきピクチャが小さい基準コードを有し、実際には後に表示されるべきピクチャよりも後だけに表示される場合が起こり得る。当然に、この結果として、視聴者が明らかに認め得る不正確なピクチャの表示がなされる。より大きい時間基準コードを有するピクチャは、フレームメモリに高い頻度で存在し続けるので、新しいピクチャオブグループ内の表示順は入れ替えられたままである。このため、非常に妨害性ある望ましくない画像のジッタが発生する。その影響は、以下、ピクチャを参照してより詳細に説明する。
【0008】
本発明は、GOPヘッダが失われた後に、特に表示順の望ましくない入れ替わりを防止することを目的とする。
【0009】
【課題を解決するための手段】
上記本発明の目的は請求項1に記載した方法によって解決される。本発明によれば、DVD再生装置の表示順を再現するため独立した時間基準が使用される。この場合、復号化されたデータストリームの僅かな数の情報項目が独立した時間基準を保証するため特定の時間周期に亘りバッファ記憶される。上記手段により得られる格別の利点は、GOPヘッダの消滅後に表示順の入れ替わりが生じないということである。
【0010】
請求項2には、表示順を正しく再現するため評価することができる有利な情報項目が記載されている。
請求項3には、特に、符号化動作の際に可変的なピクチャタイプの系列が許容され、符号化されるべきピクチャに対する固定的なピクチャタイプの系列が厳密に作成される必要がない場合に有効に使用することができる有利な方法が記載されている。
【0011】
請求項4には、符号化動作中に、頻繁に選択されるピクチャタイプの系列のための有効な方法が記載されている。
上記の本発明による方法を実施するための装置として、請求項5に記載された装置は、表示順を再現するための情報項目が多数の復号化されたピクチャに対し記憶され、独立した時間基準を保証するため制御ユニットによって評価されるテーブルが格納されていることが有利である。かかるテーブルは、ソフトウェアを用いて簡単な形で実現することが可能であり、その結果として回路上の経費は低く抑えられる。
【0012】
請求項6乃至8に記載された装置は、各請求項に記載されたカウンタの読みを用いることにより、先行するピクチャのピクチャタイプが容易に確認されるので同様に有利である。カウンタの読みは単純な数値の問題であるので、ピクチャタイプを直ちに得るため相互に容易に比較することができる。この情報をピクチャが表示用に既に放出されたか否かに関する情報と組み合わせて用いることにより、複数の先行したピクチャが併合して考慮された場合、表示用に次に放出されるべきピクチャに関する結果が容易に得られる。請求項11によれば、テーブルの寸法は、最大個数の連続したBピクチャと、このBピクチャと隣接したI又はPピクチャとを有するピクチャ系列をテーブル内に集め得るように適合される点が有利である。
【0013】
【発明の実施の形態】
以下、添付図面に記載された本発明の実施例を詳細に説明する。特に、DVD再生装置のビデオ画像復号化ユニットを一例として用いて本発明を詳細に説明する。
図1にはビデオ画像系列のヘッダSHと、GOP(グループオブピクチャ)ヘッダGOPHとが示されている。1番目のビデオ画像I0のデータはIピクチャであり、16番目のビデオ画像P15のデータはPピクチャであり、14番目のビデオ画像B13及び15番目のビデオ画像B14のデータは共にBピクチャである。17番目のビデオ画像はP16によって示される。従って、17番目の画像P16のデータはPピクチャである。図1の下方には、セクタVPi 乃至VPj が示されている。全てのセクタは2048バイトの同じ長さを有する。従って、1番目のビデオ画像I0は非常に多数のセクタを占有する。ビデオ画像P16は最後の3セクタVPj-2 乃至VPj を占める。
【0014】
図1に示されたグループオブピクチャヘッダGOPHは図2により詳細に示されている。グループオブピクチャヘッダGOPHはグループオブピクチャの開始コードGSCを含む。この開始コードGSCはデータストリーム内の明確なコードである。時間コード情報項目(システム時間基準)TCは、前述の通り、DVD再生装置のシステムクロックを再調整するため役立つ。また、MPEG2標準には、情報項目クローズドギャップ(closed _gap)CG及び情報項目ブロークンリンク(broken _link) BLが設けられているが、これらの情報項目の意味は本発明を理解するために必要ではないので、これ以上説明しない。
【0015】
図3に示されたピクチャヘッダはピクチャ開始コードPSCを含む。ピクチャ開始コードPSCはビットストリーム内で明確に識別され得る。また、ピクチャヘッダにはピクチャ用の時間基準コードTRが含まれている。上記の如く、時間基準コードTRはグループオブピクチャ内でピクチャの位置を指定する。この時間基準コードTRの情報を用いることにより、従来のDVD再生装置では、ピクチャの順が決定される。10ビットのデータワードが含まれているので、個別のグループオブピクチャ内に実際に現れる全部で1024個のピクチャに連続した番号を付けることができる。しかし、DVD規格では、多くても15乃至18個のピクチャからなるグループオブピクチャを確立することが推奨されている。また、ピクチャヘッドにはピクチャのピクチャタイプを指定するピクチャタイプPCTが含まれる。図3に示されたピクチャヘッドには、他に、vbv _delay, full _pel _forward _vector, forward _f _code, full_pel _backward_vector, backward_f _code, extra _bit _picture, extra _information _picture と夫々関連したパラメータVBF、FPFV、FFC、FPBV、BFC、EBP及びEIPが含まれる。これらの情報項目も本発明を理解するために特に重要ではないので、これ以上説明しない。
【0016】
グループオブピクチャのピクチャの復号化及び表示の時系列は、図4に更に詳細に示されている。最終的に表示されるべき順を表すピクチャーの系列が図4の最上行DIOに示されている。同図では、仮想的にIピクチャ、Bピクチャ、Pピクチャのランダム系列が選択されている。このようなピクチャ系列はDVD規格に従って許容されるが、DVD再生装置に対し推奨されるような最適な系列を構成しない。この点に関して以下に詳述する。図4に示された行DEOは行DIOに在るピクチャの系列の復号化順を示す。同図から明らかに分かるように、復号化順と表示順の相違点は、表示順ではPピクチャ又はIピクチャに時間的に先行して配置されているBピクチャがPピクチャ又はIピクチャの後に初めて復号化されることである。この系列のピクチャが復号化されるとき、及び、表示のため放出若しくは表示されるときの厳密な時系列が図4の別の2箇所に示されている。本例ではフレームメモリFMの例として、3個のフレームメモリA、B及びCが与えられる。IピクチャI0が復号化動作後に最初にフレームメモリAに書き込まれる。次に、IピクチャI1が復号化され、フレームメモリBに書き込まれる。本例では、ピクチャの片側をハッチングすることにより示されているように、個々の画像は二分される。ハッチング領域は夫々のピクチャの第1フィールドを表し、ハッチングされていない領域は夫々のピクチャの第2フィールドを表す。MPEG2標準によれば、2通りの方法でピクチャが符号化される。第1の方法では、ピクチャは二つのフィールドを共に用いて単一のピクチャとして符号化される(フレームピクチャ)。第2の方法では、個々のフィールドが別々に符号化される(フィールドピクチャ)。図4には両方のタイプのピクチャ符号化方法が示されている。本例では、Iピクチャを別々に符号化されたフィールドで復号化する場合に、第1フィールドをIピクチャとして符号化し、第2フィールドをPピクチャとして符号化することが可能になる特別な性質が利用されている。従って、各Iピクチャにおいて、一方のフィールドはIピクチャとして示され、他方のフィールドはPピクチャとして示されている。BピクチャとPピクチャの場合に、両方のフィールドは同じように符号化されるべきである。
【0017】
図4から明らかに分かるように、1番目のIピクチャI0の復号化と表示のための放出との間には3フィールド分の時間遅延がある。1番目のIピクチャI0は、IピクチャI1の第2フィールドの復号化の開始の時に表示するため放出される。垂直同期パルスはこの時間的オフセットに応じるために使用される。復号化されたピクチャが表示される時点は、点線で示された時間軸tの下側の部分に示されている。Bピクチャの場合の別の特殊な性質は、復号化時点及び表示時点の両方が互いに1フィールド分ずつオフセットしていることである。また、BピクチャだけがフレームメモリCに入れられる。フレームメモリCは、第2フィールドがフレームメモリの第2の部分に書き込まれている間に、第1の部分、即ち、第1フィールドが存在する部分がいかなる場合でも既にピクチャの表示のため読み出されているように構成される。他のフレームメモリA及びBも同様に構成される。
【0018】
図5には頻繁に使用されるピクチャの系列が示され、このピクチャの系列はDVD上にビデオデータを記録するためにも使用される。このピクチャの系列において、Iピクチャ又はPピクチャは、どちらも後に2個のBピクチャが続いている。グループオブピクチャは13個のピクチャI0−P12により構成されている。このグループオブピクチャには、同様に構成された次のグループオブピクチャが続く。ピクチャの表示順は行DIOに示されている。行DEOはピクチャの復号化順、即ち、ピクチャがビットストリームに生じる順序を表している。行FMは下の行に置かれた復号化されたピクチャが書き込まれるフレームメモリを指定する。行TRは各ピクチャの時間基準コードを指定する。
【0019】
図5を参照するに、読取エラーが時点tE で発生した特定の状況、即ち、後続のピクチャB11及び後続のGOPヘッダ、並びに、次のグループオブピクチャのピクチャI0を正確に読み取ることができなくなり、正確に復号化することもできなくなる状況が示されている。これに対し、検出回路は、次に、ビットストリーム中のピクチャp3の正確なピクチャヘッダを最初に検出し、復号化器はこの時点から復号化を開始する。図5の別の部分には、時間基準コードに基づいて表示順を再設定する場合に起こる状況が詳細に示されている。復号化されたピクチャp3はピクチャB10の表示に直後に表示される。特に、このピクチャp3は値3の時間基準コードを有し、この時間基準コードは、メモリAに在るピクチャp12の時間基準コードよりも小さい。その結果として、実際には遅れて表示されるべき後続のグループオブピクチャのピクチャp3が、先行したグループオブピクチャの先に復号化されたピクチャp12よりも先に表示される。この復号化されたピクチャp12の制止は、2番目のグループオブピクチャの別のピクチャの復号化の間にも広がる。かくして、全てのピクチャb1及びb2、並びに、p6、b4、b5、p9、b7、b8は、ピクチャp12の前に先に出力される。この場合、ピクチャp6及びp9は、実際にはBピクチャの後まで表示されるべきではないにもかかわらず、ピクチャb4及びb5並びにピクチャb7及びb8よりも先に表示される点で特に妨害性であるとみなされる。この結果として、ピクチャ順の入れ替えが生じ、視聴者にはジッタ画像の形式で明瞭に分かるようになる。ピクチャP12がフレームメモリAに持続的に維持され、Pピクチャ及びIピクチャに対しフレームメモリBしか利用できないので、実質的に全てのピクチャが直ちに出力されなければならないという事実に起因する。時点t6 において、新しいグループオブピクチャの時間基準コードが別々に処理されるので、新しいGOPヘッダは正確に評価され、ピクチャの系列はこの時点から安定する。ピクチャP12は先行したグループオブピクチャの最後のピクチャとして表示される。上記の如く表示順が入れ替わるだけではなく、復号化されたピクチャp3乃至p12は、結局、実際上他のピクチャ、即ち、特に、失われてしまった1番目のIピクチャI0に基づいて予測されているので、エラーを伴って表示されることに注意する必要がある。別の予測は、先行するグループオブピクチャI0−P12の最後のピクチャに基づいて行われる。夫々のピクチャの内容は、エラーがピクチャ内に極めて明瞭に識別され得るか否かを著しく左右する。ピクチャP12とピクチャI0との間でシーン変化が起こった場合、ピクチャの殆どの領域は間違いなく不正確に表示される。しかし、ピクチャに殆ど動きのないフィルム系列に関する場合、上記のエラーは視聴者には分からない。
【0020】
図6には、図5と同じ例に対し本発明による手段が適用された例が行GOP、IP及びBによって示されている。図6の他の行は、図5の最初の3行と対応する。行GOPにはグループオブピクチャエラー(GOPエラー)が示されている。GOPエラーは、GOPヘッダが正確に評価され、ビットストリーム内で検出される毎に増加される。行IPにはIPピクチャカウンタが示されている。IPピクチャカウンタは、ビットストリーム内でIピクチャ又はPピクチャが確認される毎に増加される。IPピクチャカウンタはGOPヘッダが正しく検出された後にリセットされる。行BはBピクチャカウンタを示す。BピクチャカウンタはBピクチャがビットストリームで検出される毎に増加される。BピクチャカウンタはGOPヘッダが正しく検出されたとき零にリセットされる。時点tE で読取エラーが発生した後、本例では、メモリ内に置かれ続けていたPピクチャP12が次に出力される。更なるピクチャb1乃至b12は正しい順序で表示される。その理由は、表示順がPピクチャヘッダによって指定された時間基準コードに基づいて決定されるのではなく、GOPカウンタ、IPピクチャカウンタ及びBピクチャカウンタの読みに基づく独立した時間基準が使用されるからである。上記の各カウンタの読みが評価される態様を以下に詳述する。
【0021】
そのため、最初に図7に示されたブロック図を説明する。同図には、MPEG2復号化器の機能的ユニット及び信号フローが示されている。MPEG2復号化器には、GOPヘッダ、ピクチャヘッダ等の種々のヘッダの開始コードの検出回路10と、データストリームの読み出されたデータ用のバッファメモリ11とが含まれる。また、復号化ユニット12は、ビデオデータの可変長符号化を逆にする。処理段13は逆量子化を行う。計算回路14は離散コサイン変換を逆にする。即ち、逆離散コサイン変換が行われる。回路15は個別のピクチャの動き補償を行う。最終的に、このように復号化されたデータは、上記の3種類のフレームメモリA、B及びCを収容するメモリユニット16に書き込まれる。最後に後処理段17が設けられ、制御信号を表し、ビットストリームとして伝送され得る一連のパラメータが処理される。上記パラメータには、例えば、色度のマトリクス化用の情報項目、及び、PAL又はNTSC方式色変調用の情報項目が含まれる。完全なビデオ信号が後処理段17の出力にYCB CR フォーマットで現れる。制御ユニット19は復号化器の種々の構成要素を制御する。制御ユニット19は、上記のGOPカウンタ、IPピクチャカウンタ及びBピクチャカウンタを含む。
【0022】
個々の構成要素の動作方法は、種々の刊行物によって当業者に公開されているので、これ以上説明する必要はないであろう。しかし、ビットストリーム内のGOPヘッダが失われた状況でも、制御ユニット19が表示順を決定する方法は、図8を参照して詳細に説明する。
この目的のため、制御ユニット19にはテーブル20が設けられている。ビットストリーム中の最後に復号化された4個のピクチャに関する情報項目は、このテーブル内に連続的に保持される。図8には図6の時点t1 、t2 、t3 、t4 、t5 及びt6 に対するテーブルのエントリが示されている。テーブル20は、実際上、5個の記憶場所により構成され、各記憶場所において、エントリは、ピクチャの第1フィールドの復号化後に1個の格納場所分だけ横方向にシフトされる。この時点で、夫々の場合に次に表示されるべきピクチャを決定する必要がある。この点に関して、図4を再度参照する。時点t1 に対する第1の実施例の場合に、行DI内のエントリは、4個の連続したピクチャに対し、夫々のピクチャがテーブルの最後の更新時点に既に表示されているか否かを示す。時点t1 では3個のピクチャしか復号化されていないので、いずれの場合にも、零がテーブルの第1の格納場所のいずれかに入れられる。3個の残りの復号化されたピクチャは未だ表示されていないこと、並びに、一方で、カウンタの読みから分かるように1番目及び2番目の復号化されたピクチャはIピクチャ又はPピクチャのいずれかの問題であること、他方で、ピクチャはフレームメモリA又はBに入れられていることから、3番目に到着したピクチャはBピクチャであるので、上記の1番目のピクチャと2番目のピクチャとの間に表示しなければならないことが直ちに分かる。この時点で、フレームメモリAから最初に復号化されたピクチャが表示されるべきである。このことは、テーブルの下にある命令「表示A」によって示されている。
【0023】
時点t2 におけるテーブルのエントリから、フレームメモリCに入れられた2個の各Bピクチャが既に表示され、先に復号化されたピクチャがフレームメモリAで依然として利用可能であり、その上、別のI又はBピクチャがフレームメモリCに新たに書き込まれていることが分かる。Bピクチャは既に出力されているので、メモリAにあるピクチャは次に出力される必要がある。このため、時点t2 においてフレームメモリAに保持されたままのPピクチャP6が次に出力される。
【0024】
時点t3 では、以下のコンフィギュレーションがテーブル20に作成される。最先のピクチャはBピクチャであり、既に表示されている。次に入れられたピクチャはI又はPピクチャのいずれかでなければならないが、未だ表示されていない。最後に、既に表示されたBピクチャが続き、その後に未だ表示されていないI又はPピクチャが続く。このコンフィギュレーションは、フレームメモリAにあるピクチャは、結局、既に表示された2番目のピクチャBに対する基準を表す必要があるので、次に表示されるべきことを明示する。従って、時点t3 において、メモリAに残されているPピクチャP12は表示のため放出される。
【0025】
時点t4 におけるテーブル20のコンフィギュレーションでは、メモリBが未だ表示されていないI又はPピクチャを収容し、既に表示されたBピクチャが次に入れられ、未だ表示されていないI又はPピクチャが後に続けられる。従って、上記の時点t2 の場合と同じ理由から、フレームメモリBは次に表示されるべきである。
【0026】
時点t5 におけるテーブル20のコンフィギュレーションによれば、2個のBピクチャが既に表示され、I又はPピクチャが次にフレームメモリAに入れられ、別のBピクチャが後に続くことが分かる。このことから、メモリAにあるピクチャがメモリC内のBピクチャに対する基準であるべきだとしても、より先行した基準がメモリBに存在しなければならないので、メモリCにあるピクチャは次に出力されるべきであることが分かる。
【0027】
時点t6 は最後の例である。時点t6 でのコンフィギュレーションは時点t2 のコンフィギュレーションと同じであり、その結果として、本例では、フレームメモリAにあるピクチャが次に出力されるべきことになる。このピクチャは時点t6 の場合には、Pピクチャp12である。図6の系列に対する他の全てのコンフィギュレーションが、上記の例に基づいて当業者によって設定、評価され得る。
【0028】
簡単化された実施例の場合に、復号化処理中に、Iピクチャ及びPピクチャはいずれもフレームメモリA及びフレームメモリBの一方だけに入れられ、BピクチャはフレームメモリCだけに入れられることが保証されるならば、GOPカウンタ、IPピクチャカウンタ及びBピクチャカウンタを無しで済ましてもよいことに注意する必要がある。この場合、I又はPピクチャが含まれているか、或いは、Bピクチャが含まれているかに関する事実から直接結論を導くことができる。当然ながら、テーブルは著しく簡略化される。GOPカウンタ、IPピクチャカウンタ及びBピクチャカウンタの読みに対するテーブル内のエントリへの代替として、復号化されたピクチャーの各ピクチャタイプに対応するコードをテーブルに入れてもよい。テーブル及び評価方法は、好ましくは、対応したコンピュータプログラムを用いて実現される。監視されるべき規則は包括的に説明されているので、当業者であればこのコンピュータプログラムを容易に実現することができる。
【0029】
任意のピクチャ系列が許容され、評価されるべき場合に、上記の方法を用いることによりピクチャ順は容易に確かめられる。上記規則によって明確に決定し得ないコンフィギュレーションが作成される場合、先行の復号化されたピクチャからの更なる情報項目が格納されるようにテーブルを拡大する必要がある。その結果として、たとえ任意のピクチャ系列であっても評価され、ピクチャ順を再現することが可能になる。
【0030】
上記の方法及び上記の装置は、実際上、DVD再生装置だけではなく、MPEG相当の復号化器が使用される全ての他の装置、即ち、異なるピクチャタイプを復号化する必要があり、かつ、復号化順が符号化順と一致しないような全ての他の装置で利用され得る。特に、本発明の方法及び装置は、ディジタルテレビジョンの衛星受信器、又は、地上若しくはケーブル式受信用セットトップボックスに利用できると共に、対応したコンピュータ用のプラグインカードにも利用できる。
【図面の簡単な説明】
【図1】DVDに記録されたデータの詳細と、DVDのセクタ間でのデータの分割とを示す図である。
【図2】GOPヘッダの構成を示す図である。
【図3】ピクチャヘッダの構成を示す図である。
【図4】サンプルビデオピクチャ系列の復号化動作の時系列を示す図である。
【図5】エラーが発生した場合に従来の方法におけるビデオピクチャ系列の処理の時系列を示す図である。
【図6】エラーが発生した場合に本発明による方法におけるビデオピクチャ系列の処理の時系列を示す図である。
【図7】本発明による装置の概略的なブロック図である。
【図8】図6に示されたビデオピクチャ系列の選択された時点でのテーブル内のエントリを示す図である。
【符号の説明】
10 ヘッダ検出回路
11 バッファメモリ
12 可変長復号化ユニット
13 逆量子化ユニット
14 逆離散コサイン変換ユニット
15 動き補償ユニット
16 メモリユニット
17 後処理段
19 制御ユニット
20 テーブル
A,B,C フレームメモリ
GOP グループオブピクチャカウンタ
IP IPピクチャカウンタ
B Bピクチャカウンタ
Claims (2)
- デジタル符号化されたビデオフィルムのオリジナルデータを再生する方法であって、
Iピクチャ,Bピクチャ及びPピクチャのタイプといった多数のピクチャタイプのうちの特定のピクチャタイプは、符号化の間に個々のピクチャのそれぞれに割り当てられ、符号化の順序は、表示順序に少なくとも部分的に対応せず、前記デジタル符号化されたビデオフィルムは、IPBBPBBPBB...の形式でグループオブピクチャ(GOP)を含み、
ビットストリームにおけるグループオブピクチャのヘッダの検出に応じてGOPカウンタをインクリメントするステップと、
前記ビデオフィルムのビデオフレームをデコードするステップと、
デコードされたビデオフレームを3つの利用可能なフレームメモリのうちのそれぞれ1つに書き込むステップと、前記3つの利用可能なフレームメモリのうちの専用の1つのフレームメモリは、デコードされたBピクチャを記憶し、前記3つの利用可能なフレームメモリのうちの残りの2つのフレームメモリは、デコードされたIピクチャ、デコードされたPピクチャを記憶し、
Bピクチャのデコードの後にBカウンタをインクリメントするステップと、
Iピクチャ又はPピクチャのデコードの後にIPカウンタをインクリメントするステップと、
前記3つの利用可能なメモリに書き込まれているIピクチャ、Pピクチャ及びBピクチャの表示状態を検出するステップと、
時間的に連続する所定数のピクチャについて、前記デコードされたIピクチャ、Pピクチャ又はBピクチャがそれぞれ書き込まれているフレームメモリに対応して前記GOPカウンタ値、前記IPカウンタ値、前記Bカウンタ値及び前記表示状態を含むテーブルを構築し、前記テーブルの内容に基づいて次に表示すべきピクチャを決定するステップとを含み、
前記決定するステップは、第一のBピクチャ、第一のI又はPピクチャ、第二のBピクチャ及び第二のI又はPピクチャがこの順序でデコードされてフレームメモリに記憶されているときであって、前記第一及び第二のBピクチャが表示されており、前記第一及び第二のI又はPピクチャが表示されていないとき、前記第一のI又はPピクチャを前記次に表示すべきピクチャとして決定するステップを含む、
ことを特徴とする方法。 - デコード手段、3つのフレームメモリ及び制御ユニットを有し、デジタル符号化されたビデオフィルムのオリジナルデータを再生する装置であって、
前記デジタル符号化されたビデオフィルムは、IPBBPBBPBB...の形式でグループオブピクチャ(GOP)を含み、
前記デコード手段は、前記ビデオフィルムのビデオフレームをデコードし、
前記3つのフレームメモリは、該3つのフレームメモリのそれぞれ1つにデコードされたビデオフレームを記憶し、前記3つのフレームメモリのうちの専用の1つのフレームメモリは、デコードされたBピクチャを記憶し、前記3つのフレームメモリのうちの残りの2つのフレームメモリは、デコードされたIピクチャ、デコードされたPピクチャを記憶し、
当該装置は、
前記ビデオストリームにおいて検出されたGOPのヘッダをカウントするGOPカウンタと、
Iピクチャ及びPピクチャをカウントするIPカウンタと、
BピクチャをカウントするBカウンタとを更に有し、
前記制御ユニットは、前記3つのフレームメモリに書き込まれているIピクチャ、Pピクチャ及びBピクチャの表示状態を検出し、時間的に連続する所定数のピクチャについて、前記デコードされたIピクチャ、Pピクチャ又はBピクチャがそれぞれ書き込まれているフレームメモリに対応して前記GOPカウンタ値、前記IPカウンタ値、前記Bカウンタ値及び前記表示状態を含むテーブルを構築し、前記テーブルの内容に基づいて次に表示すべきピクチャを決定し、
前記制御ユニットは、第一のBピクチャ、第一のI又はPピクチャ、第二のBピクチャ及び第二のI又はPピクチャがこの順序でデコードされてフレームメモリに記憶されているときであって、前記第一及び第二のBピクチャが表示されており、前記第一及び第二のI又はPピクチャが表示されていないとき、前記第一のI又はPピクチャを前記次に表示すべきピクチャとして決定する、
ことを特徴とする装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19727542:7 | 1997-06-28 | ||
DE19727542A DE19727542A1 (de) | 1997-06-28 | 1997-06-28 | Verfahren zur Regenerierung der Originaldaten eines digital codierten Videofilms und Vorrichtung zur Durchführung des Verfahrens |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1169363A JPH1169363A (ja) | 1999-03-09 |
JP4468497B2 true JP4468497B2 (ja) | 2010-05-26 |
Family
ID=7833943
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP17893098A Expired - Fee Related JP4468497B2 (ja) | 1997-06-28 | 1998-06-25 | ディジタル符号化ビデオフィルムの原データを再生する方法及び装置 |
Country Status (11)
Country | Link |
---|---|
US (1) | US6438318B2 (ja) |
EP (1) | EP0888014A3 (ja) |
JP (1) | JP4468497B2 (ja) |
KR (1) | KR100535296B1 (ja) |
CN (1) | CN1146247C (ja) |
CA (1) | CA2241703C (ja) |
DE (1) | DE19727542A1 (ja) |
HK (1) | HK1016394A1 (ja) |
ID (1) | ID20747A (ja) |
MY (1) | MY122104A (ja) |
SG (1) | SG67509A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
MXPA04001979A (es) | 2002-07-11 | 2004-08-02 | Matsushita Electric Ind Co Ltd | Metodo de codificacion de imagenes y metodo de decodificacion de imagenes. |
US20040258160A1 (en) * | 2003-06-20 | 2004-12-23 | Sandeep Bhatia | System, method, and apparatus for decoupling video decoder and display engine |
US8077778B2 (en) * | 2003-10-31 | 2011-12-13 | Broadcom Corporation | Video display and decode utilizing off-chip processor and DRAM |
JP4762145B2 (ja) * | 2004-09-03 | 2011-08-31 | パナソニック株式会社 | 記録媒体、記録装置、プログラム、記録方法、再生装置、再生方法 |
JP4867235B2 (ja) * | 2004-10-26 | 2012-02-01 | ソニー株式会社 | 情報処理装置および情報処理方法、記録媒体、並びに、プログラム |
JP2013247651A (ja) * | 2012-05-29 | 2013-12-09 | Canon Inc | 符号化装置、符号化方法およびプログラム |
CN112020653B (zh) | 2018-04-25 | 2024-01-26 | 美国西门子医学诊断股份有限公司 | 智能压力控制设备和保持诊断测试设备中歧管压力的方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3443041A1 (de) * | 1984-11-26 | 1986-05-28 | Siemens AG, 1000 Berlin und 8000 München | Verfahren zur verbesserung der uebertragungsqualitaet von pcm-codierten bildsignalen |
GB2187028B (en) | 1986-02-24 | 1989-11-08 | Sony Corp | Methods of and apparatus for processing timecode data in a recorded digital video signal |
JPH0269799A (ja) | 1988-09-06 | 1990-03-08 | Toshiba Corp | 表示制御装置 |
TW237589B (ja) * | 1991-02-27 | 1995-01-01 | Gen Electric | |
JP3112532B2 (ja) * | 1991-12-13 | 2000-11-27 | 株式会社東芝 | 可変長符号の記録再生装置及びその記録再生方法 |
US5535008A (en) * | 1993-03-16 | 1996-07-09 | Victor Company Of Japan, Ltd. | Method for jump-reproducing video data of moving picture coded with high efficiency |
JP2550856B2 (ja) * | 1993-05-17 | 1996-11-06 | 日本電気株式会社 | 動画像符号化前処理装置 |
DE69430617T2 (de) | 1993-07-12 | 2002-12-05 | Sony Corp., Tokio/Tokyo | Dekoder und verfahren zur dekodierung |
JP3509080B2 (ja) | 1993-10-15 | 2004-03-22 | ソニー株式会社 | データ再生装置 |
JP3192307B2 (ja) | 1994-02-03 | 2001-07-23 | 松下電器産業株式会社 | 復号ビデオ画像シーケンス再配列方法 |
JPH07226917A (ja) * | 1994-02-14 | 1995-08-22 | Toshiba Corp | 画像再生方式及び装置 |
PL180012B1 (pl) | 1994-02-28 | 2000-11-30 | Sony Corp | Sposób i urzadzenie do odtwarzania danych z nosnika zapisu PL PL PL PL PL PL |
US5809201A (en) * | 1994-06-24 | 1998-09-15 | Mitsubishi Denki Kabushiki Kaisha | Specially formatted optical disk and method of playback |
JP3491366B2 (ja) * | 1995-01-31 | 2004-01-26 | ソニー株式会社 | 符号化データの特殊再生方法および特殊再生装置 |
JP3484834B2 (ja) * | 1995-07-28 | 2004-01-06 | ソニー株式会社 | データ符号化/復号化方法および装置 |
KR100188701B1 (ko) * | 1996-01-08 | 1999-06-01 | 윤종용 | 가변속 고속 재생기능을 갖는 가변 비트율 동화상복호화장치 |
JPH1013791A (ja) * | 1996-06-24 | 1998-01-16 | Matsushita Electric Ind Co Ltd | 映像信号復号化方法,及び映像信号復号化装置 |
-
1997
- 1997-06-28 DE DE19727542A patent/DE19727542A1/de not_active Withdrawn
-
1998
- 1998-06-01 KR KR1019980020251A patent/KR100535296B1/ko not_active IP Right Cessation
- 1998-06-08 SG SG1998001318A patent/SG67509A1/en unknown
- 1998-06-09 US US09/094,317 patent/US6438318B2/en not_active Expired - Lifetime
- 1998-06-10 ID IDP980853A patent/ID20747A/id unknown
- 1998-06-12 MY MYPI98002629A patent/MY122104A/en unknown
- 1998-06-13 EP EP98110857A patent/EP0888014A3/en not_active Withdrawn
- 1998-06-19 CN CNB981150020A patent/CN1146247C/zh not_active Expired - Fee Related
- 1998-06-24 CA CA002241703A patent/CA2241703C/en not_active Expired - Fee Related
- 1998-06-25 JP JP17893098A patent/JP4468497B2/ja not_active Expired - Fee Related
-
1999
- 1999-03-24 HK HK99101226A patent/HK1016394A1/xx not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
CA2241703A1 (en) | 1998-12-28 |
MY122104A (en) | 2006-03-31 |
SG67509A1 (en) | 1999-09-21 |
JPH1169363A (ja) | 1999-03-09 |
US6438318B2 (en) | 2002-08-20 |
US20010048805A1 (en) | 2001-12-06 |
HK1016394A1 (en) | 1999-10-29 |
KR100535296B1 (ko) | 2006-03-20 |
CN1146247C (zh) | 2004-04-14 |
EP0888014A3 (en) | 2000-02-23 |
DE19727542A1 (de) | 1999-01-07 |
ID20747A (id) | 1999-02-25 |
EP0888014A2 (en) | 1998-12-30 |
KR19990006559A (ko) | 1999-01-25 |
CA2241703C (en) | 2006-07-11 |
CN1206300A (zh) | 1999-01-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8249167B2 (en) | PVR-support video decoding system | |
EP1936999B1 (en) | Method of setting a system time clock at the start of an MPEG sequence | |
KR100405249B1 (ko) | 디코딩및리버스재생장치및방법 | |
EP0964576B1 (en) | Method and arrangement for receiving digital video signals | |
US6628890B1 (en) | Digital recording/reproduction apparatus | |
JP3172635B2 (ja) | ディジタル記録再生装置 | |
KR100577836B1 (ko) | 기록된 디지털 텔레비전 신호에서 디스크 소프트 에러를숨기기 위한 방법 및 장치 | |
EP0664650B1 (en) | Decoding method and apparatus | |
JPH08181946A (ja) | 画像データ符号化方法及び装置、画像データ記録媒体、画像データ復号化方法及び装置 | |
JP2001346205A (ja) | 信号の誤りを隠蔽する方法 | |
US6798839B2 (en) | Image processing device, television receiver and image reproducing device | |
US7305171B2 (en) | Apparatus for recording and/or reproducing digital data, such as audio/video (A/V) data, and control method thereof | |
JPH0918870A (ja) | タイミング検出回路及びその方法 | |
JP4468497B2 (ja) | ディジタル符号化ビデオフィルムの原データを再生する方法及び装置 | |
JP2776212B2 (ja) | 符号記録装置 | |
JP3156597B2 (ja) | 画像情報復号化再生装置および画像情報復号化再生方法 | |
US6373905B1 (en) | Decoding apparatus and decoding method | |
JP3253530B2 (ja) | 動画像記録装置 | |
US6018609A (en) | Compressed television signal recording and reproducing apparatus | |
KR20010050137A (ko) | 디지털신호 기록장치 및 기록매체 | |
JP2002010254A (ja) | 特徴点検出方法および記録再生装置 | |
US20030091331A1 (en) | Method for implementing low-speed playback of a digital broadcast program | |
JP2002033712A (ja) | パケット処理装置及びそのパケット出力方法 | |
KR19980035945A (ko) | 디스크 재생시스템의 피아이피(pip)장치 | |
KR0183812B1 (ko) | 트릭 플레이를 위한 디지탈 비디오 테이프의 기록 및 재생 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050622 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080507 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080805 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080808 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081202 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20090302 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090305 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090601 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090714 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20091013 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20091016 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100202 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100225 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140305 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |