JPH10509576A

JPH10509576A - 符号化ディジタル・ビデオ信号復号方法および装置

Info

Publication number: JPH10509576A
Application number: JP9512526A
Authority: JP
Inventors: ペーターフベルタスフレンケン
Original assignee: フィリップスエレクトロニクスネムローゼフェンノートシャップ
Priority date: 1995-09-20
Filing date: 1996-09-19
Publication date: 1998-09-14
Also published as: EP0792557A1; US5936670A; WO1997011562A1; EP0792557B1; KR970707686A; DE69615528D1; DE69615528T2

Abstract

(57)【要約】従来慣用のＭＰＥＧ復号器は、入力バッファ、慣用の２個の基準フレームおよびＢ情報を含めるために約１６メガビットの外部メモリを必要とする。さきに提案されたように、そのメモリ容量の約２．８メガビットは、Ｂ情報の蓄積を省略することによって節約することができる。本発明によれば、メモリに蓄積した基準フレームを１個だけ用いるＭＰＥＧ復号によりメモリ容＋と内部処理とのさらなる交換が提案され、メモリからは直接に取戻し得ない表示情報の再構成に要するＢおよびＰの全情報が即時に復号される。この提案の方法および装置には、つぎの２復号副過程、すなわち、マクロブロック・パラメータに対する第１の復号副過程、即時復号の原理による画像要素に対する第２の復号副過程および後続基準フレームの復号処理後に先行基準フレームを更新するための第３の復号副過程が設けられている。

Description

【発明の詳細な説明】符号化ディジタル・ビデオ信号復号方法および装置本発明は、マクロブロックと呼ぶ固定サイズの画像領域に副分割した映像に対応し、それぞれ、他のフレームからの情報を用いずに符号化し、もしくは、先行基準フレームおよび関連した動き情報からの動き補正予測によって予測したＩ型もしくはＰ型のフレームと、Ｉ型もしくはＰ型の前後の基準フレームおよび関連した動き情報から双方向に補間したＢ型のフレームとのいずれかに対応した符号化データの形で伝送乃至蓄積されたディジタル信号の復号方法であって、マクロブロックの復号処理のために、各マクロブロック毎に、関連したパラメータおよび画像要素に対応するＩ型，Ｐ型もしくはＢ型の符号化マクロブロック・データの入力ビット流を蓄積し、それぞれの型に応じて符号化データを復号し、そのようにして得た復号データにより再構成した画像を表示する各過程を備えたディジタル信号復号方法に関するものである。本発明は、この方法を実施するために、マクロブロックと呼ぶ固定サイズの画像領域に副分割した映像に対応し、それぞれ、他のフレームからの情報を用いずに符号化し、もしくは、先行基準フレームおよび関連した動き情報からの動き補正予測によって予測したＩ型もしくはＰ型のフレームと、Ｉ型もしくはＰ型の前後の基準フレームおよび関連した動き情報から双方向に補間したＢ型のフレームとのいずれかに対応した符号化データの形で伝送乃至蓄積されたディジタル信号の復号装置であって、Ｉ型，Ｐ型もしくはＢ型の符号化マクロブロック・データの入力ビット流を復号する手段、各型に応じて前記符号化マクロブロック・データを復号する手段、少なくとも前記先行基準フレームを蓄積する手段、様式変換の後にこのようにして得た復号データに従って再構成した画像を表示する手段、並びに、前記蓄積手段、前記復号手段および前記表示手段相互間の接続のためのバス手段を備えたディジタル信号復号装置に関するものでもある。かかる本発明は、（通常の精細度もしくは高精細度のテレビジョンである）ディジタル・テレビジョンの分野で、特にその特性をここで論ずるテレビジョン信号がディジタル動き画像の復号用のＭＰＥＧ標準と両立し得る場合に適用される。国際規格標準化機構、いわゆるＩＳＯは、ここ数年間に、ディジタル・データ圧縮のアルゴリズム、特にＭＰＥＧ標準（ＭＰＥＧは動き画像専門家グループの略）を開発して来た。この標準は、圧縮装置と減圧装置との両立性を達成し、ビデオ信号の符号化ディジタル表現と復号方法との両方を特定する限りにおいて、二つの主要技術、すなわち、各画像内の空間的冗長性を除去し得る圧縮すべき信号の正当な変形と画像系列の時間的冗長性を除去し得る画像間の動き補正とに基づいている。動き補正は、符号化済み画像群とその画像群に関する動きを代表するデータとの結合に含まれる技術である。動き補正予測とも呼ばれるこの技術は、現下の画像は、以前の時点における画像の移行として局部的に模し得る、とするものである。この「局部的」という語は、移行の大きさと方向とは、画像のどの部分においても同じである必要がない、ことを意味する。画像をブロック群、もしくは、複数のブロックを含むマクロブロック群に副分割すると、（例えば）先行画像の１マクロブロックから現行画像のマクロブロックへの移行は、かかるマクロブロック群間の変位を表わすベクトルによって説明される。したがって、符号化過程は、最早マクロブロック自体には関係せず、先行および現下のマクロブロック間の差引きによって得られる誤差マクロブロックに関係する。逆復号過程は、原画像の再構成を可能にする。ＭＰＥＧ標準のもとでは、画像は、それぞれ多数のマクロブロックを含む一連の切片群に分割される。各マクロブロックは、１６×１６個の画像要素すなわち画素群の領域をカバーし、それぞれ、８×８画素群の輝度ブロック４個と８×８画素群の色度ブロック２個とを備え、動き補正が１６× １６画素群のマクロブロック間で行なわれ（画素レベルよりも寧ろ動きベクトルによるマクロブロック全体の動きの符号化により、データ圧縮の増大が達成され）る。（「内部」、「予測」および「補間」と呼ぶ）３種類の画像がＭＰＥＧ標準で考えられ、Ｉ型画像、いわゆる内部画像は、他の画像からの情報を何ら用いずに符号化される（かかるＩ画像は、最も稀に用いられても、符号化画像の系列の例えばランダム・アクセスを可能にし、）Ｐ型画像、いわゆる予測画像は、Ｉ型もしくはＰ型の先行画像からの動き補正によって予測され（直前の画像からの画素値の増分変化のみが符号化され）、Ｂ型画像、いわゆる補間画像は、先行もしくは後続のＩ型もしくはＰ型両画像からの双方向動き補正補間によって得られる。対応する動きベクトルの発生は、つぎのとおりである。予測画像については、（先行画像のフィールドを参照して）１個の前方動きベクトルが、各フィールドのマクロブロック毎に、先行した予測もしくは内部画像の同じ順位のフィールドに関して（すなわち、現下の画像がそれぞれ奇数もしくは偶数フィールドであれば、予測もしくは内部の先行画像のそれぞれ奇数もしくは偶数フィールドに関して）計算される。双方向補間画像については、先行および後続の予測もしくは内部画像の同じ順位のフィールドに関して前方および後方の動きベクトルが計算され（特に直近の予測もしくは内部画像の反対順位のフィールドに関して第３の変位ベクトルが計算され）る。米国特許台５２９４９７４号は、ＭＰＥＧ標準による構文を有するディジタル・データ流を得るために設けた符号化装置の構成を示しており、一方、かかるＭＰＥＧディジタル・データ流を復号するために設けた復号器は、例えば、文書ＩＳＣＡＳ９４，ロンドン，１９９４年５月３．２２章「ＭＰＥＧ復号器のＶＬＳＩ実施」に記載されている。この文書に記載のような復号器の構成は、図１を参照して想起される。入力符号化信号は、復号副組立１０で受信され、その出力信号は、表示すべき画素群の輝度（および色度）に対応している。蓄積副組立２０にバス３０を介して接続された復号副組立１０は、復号装置１１および表示装置１２を備えている。復号装置１１から取出した復号信号は、１６×１６画素群のマクロブロックの形で、いわゆる４：２：０様式による蓄積副組立２０に蓄積される。ついで、蓄積されたマクロブロック群は、そのマクロブロック群を所望の出力インターレース・モード４：２：２に適応させる（とともに欠落した色度情報を再構成する）表示装置１２に向けて送り出す。図２は、復号装置１１がＭＰＥＧ標準に従って機能する態様を示す。ＭＰＥＧデータ流の復号信号は、まずバッファメモリ１１０に蓄積されて、画像系列およびその画像系列中の各画素グループからなるヘッダが読取られる。各画素の始端とその型とが識別された後に、各マクロブロックの復号過程が可変長復号回路１２０によって行なわれる。（個別余弦逆変換回路１４０における）正常な逆変換が後続する（逆量子化回路１３０における）各データブロックもしくはマクロブロックの逆量子化の後に、動き補正回路１５０は、変位ベクトル群と（符号化モードによる内部もしくは相互間の）各マクロブロックの型を示す信号群とを受信して、予測のマクロブロック群を得る。内部モードのものを除き、かかるマクロブロックは、ついで、加算器１６０により復号信号に加算され、その出力端に、画像群の再構成を見込んで表示される信号群をもたらす。かかる画像群がＩ型もしくはＰ型であれば、Ｂ画像の再構成に有用であるから、基準メモリに蓄積される。かかる画像群は、（かかるＢ画像の再構成を見込んで）表示されるときの順序とは異なる順序で伝送乃至蓄積されているので、表示される前に並べ直さなければならない。ＭＰＥＧ復号器の多くは、通例、１６．８メガビット（１メガビット＝２²⁰ビット）の外部メモリを備えている。例えば７２０×５７６画素群の画像サイズについては、このメモリ容量がつぎに示すように副分割される。（ａ）入力バッファ・メモリ１１０：約２．５メガビット；（ｂ）基準画像用基準メモリ（かかる先行および後続の画像がＢ画像のマクロブロック群の双方向補間に必要なことはすでに述べてある）：画素当たり７２０ ×５７６×８×１．５メガビットすなわち５メガビット；（ｃ）各Ｂ画像用メモリ：約３．８メガビット。総メモリ容量は、１６．３（２．５＋２×５＋３．８）メガビットの値となり、したがって、他の用途（例えば、テレテキスト、グラフィック、オンスクリーン表示等）に用い得るのは５００キロビットに過ぎず、かかる用途に用いるには不充分である。１９９４年１１月２５日出願の優先権を有するが未公告の同一出願人による欧州特許出願第９４４０２７０８．５号は、かかる欠点を直して上述の他の用途にも備え得るようにしたＭＰＥＧ信号の復号方法を提案している。しかしながら、その方法を説明する前に、図３乃至図９を参照して、ＭＰＥＧ符号器のバッファメモリを用いる態様を想起するのが有用である。図３は、１２画像の全群（ＧＯＰ）用のかかる復号器の入力符号化データ流を示し、その画像群はＩ型、Ｐ型もしくはＢ型である（双方向予測を用いるために、その画像群のもとの順番Ｂ_-1Ｂ₀Ｉ₁Ｂ₂Ｂ₃Ｂ₄Ｂ₅Ｂ₆Ｂ₇Ｂ₈Ｂ₉Ｐ₁₀Ｂ₁₁Ｂ₁₂は修正されて、Ｉ₁Ｂ_-1Ｂ₀Ｐ₄Ｂ₂Ｂ₃Ｐ₇Ｂ₅Ｂ₆Ｐ₁₀Ｂ₈Ｂ₉Ｉ₁₃----になっている）。かかる入力データは、ここではＦＩＦ０型（第１入力、第１出力）とするメモリ１１０に引渡され、そのＦＩＦ０メモリにおける蓄積過程の展開を図４に示す。所定の画像に関する全データがそのメモリに納まると、ＭＰＥＧ復号器は、つぎのタイム・スケジュールに従って、その画像（図５）を復号することができる。（ａ）内部画像Ｉ₁を復号して、その内部画像Ｉ₁を他の画像（予測画像Ｐ₇）に置き換え得るまで、すなわち、６画像期間だけ、第１基準メモリ（図６）に蓄積する：（ｂ）引続く２画像期間に、画像Ｉ₁に引続く符号化画像Ｂ_-1およびＢ₀を双方向に補間し、かかる画像の各フィールド（奇数フィールド＋偶数フィールド）の表示（図９）を見込んで表示メモリ（図８）内に蓄積する：（ｃ）画像Ｉ₁については、予測画像Ｐ₄を同様に復号し、その予測画像Ｐ₄を他の画像（予測画像Ｐ₁₀）に置き換え得るまで第２基準メモリ（図７）内に蓄積する：（ｄ）画像Ｉ₁を表示する（奇数フィールドおよび偶数フィールド）：（ｅ）符号化画像Ｂ₂およびＢ₃を補間し、かかる画像の両フィールドの表示（図９）を見込んで表示メモリ（図８）に蓄積する：（ｆ）画像Ｐ₄以下を順次に表示する：復号過程および表示過程を、前者は伝送の順番で、また、後者はもとの順番でそれぞれ実行する。かかる従来慣用のＭＰＥＧ復号器に比べると、前述の欧州特許出願は、Ｂ画像に対応する復号データが表示過程を見込んで要請された時点でＢ画像の復号過程を実施することを提案しており、したがって、Ｂ画像は、「即時復号」原理に従って（対応する復号データは最早表示メモリ内に蓄積されていない）複合され、この目的に関する限り、インターレース・フィールドを有する映像に対応し、その映像を分割するとともに、それぞれ輝度ブロックおよび色度ブロックを含んだマクロブロック群の順次符号化に基づいたデータ圧縮の後に、それぞれ、他の画像フレームからの情報を用いずに符号化され、もしくは、Ｉフレームあるいは他のＰフレームからの動き補正予測によって予測されたＩ型もしくはＰ型のフレームと、先行もしくは後続のＩ型もしくはＰ型のフレームを見込んで双方向に補間されたＢ型のフレームとのいずれかに対応する符号化データで伝送乃至蓄積されているディジタル信号を復号する方法を提案している。この方法は、すでに復号され、もしくは、復号されて表示されるはずのフレーム群を蓄積するために外部メモリのメモリ領域を使用し、Ｂフレームの各マクロブロックの少なくとも輝度ブロック群の復号過程のために、つぎの連続した２副過程を備えている。（１）マクロブロックに対する全符号化データのうち、マクロブロック・パラメータのみを復号するための正常速度での第１副過程であり、得られた復号データは、ついで、外部メモリの「補助メモリ」と呼ばれる部分に蓄積される。（２）前記全符号化データのうち、画像要素に対応するデータのみを復号するための第２副過程であり、この第２副過程は、復号データが表示側で要求された時点で、画像要素に関連した復号データの蓄積過程はすべて排除する「即時復号」原理に従って実行される。通常の変換は第１副過程に含まれないのであるから、その実行は、従来慣用の可変長復号過程より簡単であり、また、関連したマクロブロック・パラメータは、すべて補助メモリから取出し得るのであるから、極めて急速な第２副過程となし得ることになる。かかる２段階の復号処理により３メガビット程度メモリ容量を節約し得ることになる。かかるメモリ容量のさらなる縮減を達成するのは極めて魅力的であるが、メモリ帯域幅に大きく影響することなしには実施不可能であるように見える。しかしながら、本発明の目的は、より大きいメモリ容量を節約するために、ビデオ復号の変形を提案することにある。この目的のために、本発明は、説明の前文に規定したとおりのディジタル信号の復号方法であって、前記復号過程がつぎの各副過程、すなわち、（１）符号化したマクロブロック・データのうち、関連したマクロブロック・パラメータのみを復号して、得られた復号信号を補助データとして蓄積するための第１復号副過程、（２）前記復号したマクロブロック・データのうち、画像要素に対応するデータのみを復号するために、予測もしくは補間したマクロブロックの画像要素に関連した復号データの蓄積過程をすべて排除した即時復号の原理に従って表示過程に復号データを必要とする速度で行なう第２復号副過程、（３）後続基準フレームの復号処理の後に当該後続基準フレームで置換する先行基準フレームの更新を行なうための第３復号副過程を備えたディジタル・ビデオ信号復号方法に関するものである。内部処理の複雑性のさらなる増大を許せば、基準メモリを１個だけ用いるかかるＭＰＥＧ復号方法は、画像の型がＩ，Ｐ，Ｂのいずれであっても可能であり、前述したＭＰＥＧ復号に比べて、５０ヘルツ地域で約１．６メガビット、６０ヘルツ地域で約０．８メガビットの付加的節約を暗示している。本発明の他の目的は、かかる方法を実施し得る復号装置を提案することにある。この目的のために、本発明は、説明の前文に規定したとおりの復号装置であって、各マクロブロックの関連パラメータのみに対応した復号データを蓄積する補助手段、並びに、前記蓄積手段、前記バス手段および前記表示手段を制御するとともに、（ａ）各マクロブロックの関連したパラメータのみに対応する符号化データを復号するとともに、このようにして得た復号データを補助蓄積手段に蓄積し、（ｂ）予測もしくは補間したマクロブロックの画像要素に関連した復号データの蓄積過程をすべて排除した即時復号の原理に従って前記表示手段に復号データを必要とする速度で画像要素のみに対応する符号化データを復号し、（ｃ）後続基準フレームの復号処理の後に当該後続フレームによる前記先行基準フレームの置換を行なうためにそれぞれ設けた３連続副過程に従って前記符号化マクロブロック・データの復号動作を処理する手段を備えたディジタル・ビデオ信号復号装置に関するものである。本発明の特殊性と利点とは、以下の説明およびつぎの添付図面から、何らの限定を加えることなく、明らかになろう。図１ＭＰＥＧ復号器の構成を示すブロック線図である。図２図１の復号器をＭＰＥＧ標準に従って実施する詳細な態様を示すブロック線図である。図３乃至図９ＭＰＥＧ復号器のバッファ・メモリを使用する態様をそれぞれ示す線図である。図１０Ｂフレームの再構成の従来慣用の態様を示す線図である。図１１および図１２本発明による復号方法の第１および第２の復号副過程のタイミングをそれぞれ示す線図である。図１３本発明により（過去の基準フレームのみを蓄積した場合に）行なう後方動き補正を説明する線図である。図１４および図１５本発明による３復号副過程相互間の時間的関係および双方向補間マクロブロックの復号原理の概要をそれぞれ示す線図およびブロック線図である。図１１乃至図１５を参照して説明した改良復号方法は、基準フレームメモリを１個のみ用いたＭＰＥＧ信号の復号を目指したものである。過去の基準フレームのみが完全に復号した形で蓄積されるが、予測のＰフレームに対しては、それで十分であり、双方向に予測したＢフレームの再構成も単一の基準フレームのみによって達成される。図１０は、Ｂフレームの再構成が一般に行なわれる態様を示したものである。Ｂフレームの８×８画素からなるブロック群を備えた部分が同図の中間部に表わしてあり、その左側には（ＦＰと表示した）前方予測に用いた過去のＩ（もしくはＰ）フレームの一部、また、その右側には（ＢＰと表示した）後方予測に用いた未来のＰフレームの一部がそれぞれ表わしてある。この再構成は、Ｂ予測誤差信号の復号、過去および未来の基準フレームからする双方向予測およびかかる動作１，２，３の相加（前方および後方の予測の和の半分を復号した予測誤差に相加する）を必要とする。本発明によれば、前方予測のみが、そのＢフレームに対応した前方動きベクトルの助けを借りて、メモリから直接になされる。最早メモリで利用し得ない未来のフレームからの情報を必要とする後方予測については、そのフレームを「即時に」再構成する。この復号方法を以下に詳細に説明する。この復号方法は、各マクロブロックに対応する完全符号化データのうち、関連のあるマクロブロック・パラメータ（すなわち、マクロブロック・オーバヘッド、および、そのアドレス、量子化ステップ・サイズ、ブロック長、マクロブロック当たりの動きベクトル等）のみを復号するための公称速度の（すなわち、フレーム周波数の）復号副過程を備えている。得られた復号データは、補助データと呼ばれ、復号器の外部メモリの補助メモリと呼ばれる部分に蓄積される。Ｉ，ＰおよびＢの各フレームに関するこの第１復号副過程は、図１１のタイミング図を参照すれば一層よく理解されよう。この図は、つぎの情報をライン１および２上に順次に示す。（１）入力ＦＩＦ０メモリの内容：（２）ＦＩＦ０メモリ内の読取り動作および補助メモリ内の書込み動作が関連するフレーム群（第１復号副過程は全フレーム群に関係するのであるから、関連したマクロブロック・パラメータはフレーム群のそれぞれに対して蓄積される）：連続した２フレームの補助データはメモリに保持される。この第１復号副過程には、表示すべきフィールド群の予測誤差信号の「即時」復号を実施するために設けた第２復号副過程が後続する。この予測誤差信号は、表示過程が直接に必要とするのであるから、この復号副過程は、その表示過程に揃えられ、表示速度で（フィールド群の周波数で）行なわれ、最早公称速度では行なわれない。したがって、全マクロブロック群（復号が５０ヘルツもしくは６０ヘルツの地域で行なわれる、という事実によれば１６２０個もしくは１３５０個のマクロブロック群）がフィールド当たりに復号される。ＰおよびＢのフレーム群に関係する第２復号副過程は、図１２のタイミング図を参照すれば、さらによく理解されよう。この図は、１乃至６の線上につぎの情報を順次に示している。（１）入力ＦＩＦ０メモリの内容：（２）当該ＦＩＦ０メモリ内の読取り動作が関係するフレーム群：（３）補助メモリ内の読取り動作が関係するフレーム群：（４）基準メモリにおける（Ｐフレーム群の前方予測に対する）読取り動作が関係するフレーム群：（５）基準メモリにおけるメモリ内容の更新のための書込み動作が関係するフレーム群：（６）情報として表示されるフレーム群。関係のあるフレーム群もしくはマクロブロック群によれば、つぎのいくつかの状態を識別しなければならない。（ａ）Ｂフレーム群の内部符号化フレーム群および内部符号化マクロブロック群はさらなる予測を必要としない：したがって、復号の結果は、図１２の線６に示すように、直接に表示に用いることができ、入力ＦＩＦＯメモリ（線２）および同じフレーム期間中の補助メモリ（線３）の読取りの後にフレームＩ₁（奇数および偶数のフレーム群）が表示されることを示している：（ｂ）予測の符号化フレーム群およびＢフレーム群の予測の符号化マクロブロックについては、過去の基準フレームからの動きの予測が復号予測誤差になお加算されなければならず：その基準フレームは、完全に復号された形でメモリ内に存在している、と（第３復号副過程の説明中に見れるように）想像される（例えば、単一の蓄積符号化フレームＩ₁および対応する動きベクトルを用いた前方予測（線４のＦＷＰ）の後に、予測の符号化フレームＰ４が復号される（線６）：（ｃ）各双方向予測Ｂフレームについては、過去および未来の基準フレームからの予測を用いた動き補正が行われなければならないが、（(b)項に見られるような）前方予測のみは、そのＢフレームに関連した前方ベクトルの助けを借りて基準メモリから直接に行なうことができ：後方予測は、メモリでは利用し得ず（この未来のフレームは蓄積されていない）、「即時に」再構成されなければならない情報を未来のフレームから必要とする。双方向補間マクロブロック群については、未来の基準フレームの「即時」復号を行なうために、第３復号副過程が設けられる。この未来のフレームは蓄積されていないので、蓄積された基準フレームのみが用いられる。予測誤差信号の復号は、前方予測ともども、以前に示したようにして得られる。反対に、後方予測は、図１３を参照してここに示すようにして行なわれる。後方Ｂベクトルの助けを借りて、未来のＰフレームのいずれの１６×１６領域が予測のために必要であるかが、マクロブロック毎にまず判定される。一般に、包含された領域は、マクロブロックの境界と一致しない。したがって、未来のフレームにおけるその領域内の復号情報を得るには、９輝度ブロックと４色度ブロックとを完全に復号しなければならない（１マクロブロック内の輝度ブロック群は、それぞれ独立に復号することができ、そうでなければ１６輝度ブロックを復号しなければならないものとする：かかる個別の復号は、第１復号副過程の期間中に、入力バッファ内のなお圧縮されているマクロブロックの位置における情報が判定されている場合、すなわち、その位置の情報が、その第１副過程の期間中に正常の速度で復号される関連したマクロブロック・パラメータのリストに含まれている場合には、可能である）。復号の後に、復号情報は、復号された予測誤差信号およびすでに得られている前方予測の結果に加算することができる。この加算の結果にさらに加算されるべき後方予測は、適切な動きベクトルが用いられるものとすれば、蓄積された基準フレームから直接に行なうことができ：この予測のためのベクトルは、Ｐフレーム内の前方ベクトルとＢフレーム内の後方ベクトルとを合計することによって得られる。しかしながら、その加算については、図１３に示すように、包含されたマクロブロックのそれぞれの動きの型を考慮に入れなければならず：マクロブロック毎に、主に外部メモリを正しくアドレスすることに基づき、マクロブロック毎に、Ｂフレームの１後方ベクトルとＰフレームの４前方ベクトルと（動きの型と）がその予測過程に含まれる。この蓄積された基準フレームから後方予測が行なわれるや否や、基準フレームの更新がこの第３副過程によって行なわれることに注目すべきである。例えば、フレームＩ₁は、新たな単一の蓄積基準フレームとなるフレームＰ４に置換される。第３副過程全体は、図１４に摘要を示したタイミング図を参照すれば、一層よく理解され、このタイミング図により、この副過程を先行過程と比較することが可能となり、線１乃至１０上のつぎのような情報が順次に示される。（１）入力ＦＩＦＯメモリの内容；（２，３，４）第１、第２および第３の副過程期間中に入力メモリ内の読取り動作がそれぞれ関係するフレーム群；（５，６，７）つぎの各項(ａ)，(ｂ)，(ｃ)がそれぞれ関係するフレーム群；（ａ）（修正した伝送順の系列中の順次の全画像Ｉ₁，Ｂ−₁，Ｂ₀，Ｐ₄，Ｂ₂ ，Ｂ₃，Ｐ₇，Ｂ₅，Ｂ₆--- に関係がある）第１復号副過程の期間中における補助メモリ内の補助データ（関連したマクロブロック・パラメータ群）の書込み動作；（ｂ）Ｉ₁（奇数フィールドおよび引続く偶数フィールド）、Ｐ４（３フレーム周期遅れ）、Ｐ７等の表示動作を正当化（最終線１０参照）するための、第２「即時」復号副過程期間中の補助メモリ内の補助データ（関連したマクロブロック・パラメータ）の読取り動作；（ｃ）前方動き補正ＦＷ−ＭＣ（線９参照）および未来の基準フレームの「即時」復号の後に、なお蓄積されている過去の基準フレーム（対応するベクトルは、過去のフレームに関係するＰフレーム内の前方ベクトルと、未来のフレームに関係するＢフレーム内の後方ベクトルとを合計することによって得られる）から直接になされる後方動き補正ＢＷ−ＭＣ（線４参照）および基準フレームの更新を正当化するために、第３復号副過程の期間中の補助メモリ内における補助データの読取り動作：（８）次の予測フレームの前方予測および第３復号副過程による双方向の次のＢフレームの補間を許すフレームの基準メモリ内における基準フレーム更新（すなわち書込み動作）が関係するフレーム群；（９）（次のＢフレームの補間を見込んだ）動き補正ＦＷ−ＭＣ用および予測フレームの予測を見込んだ）前方予測ＦＷＰ用に用いられたとおりの更新した基準フレーム群；（10）（もとの順番と同じ順番で）表示されるフレーム群。この概略のタイミング図に加えて、図１５に示すようなブロック線図が双方向に予測したマクロブロック群の復号の原理を一層良く理解するのに有用となり得る。その図に現われた過程はつぎのとおりである。（ａ）符号化したＩ，ＰもしくはＢの各フレームに対応する入力符号化データが入力ＦＩＦＯメモリＩＭに蓄積される；（ｂ）第１復号副過程（１ＳＴＤＳＳ）が、補助メモリＡＭ（＝ＡＭ（Ｐ）＋ＡＭ（Ｂ））内のＢフレームおよびＰフレームの関連したマクロブロック・パラメータを蓄積することを許容する；（ｃ）第２復号副過程（２ＮＤＤＳＳ）が、表示すべきフィールド（Ｂフレームに対するＢdec、未来のＰフレームに対するＰdec）の予測誤差の「即時」復号および（基準メモリＲＭに蓄積した）過去の基準フレームＰＲＦからの前方予測ＦＷＰを行なうことを許容する；（ｄ）第３復号副過程（３ＲＤＤＳＳ）が、復号した予測誤差Ｐdec および（Ｐフレームにおける前方ベクトルＦＷＰおよびＢフレームにおける後方ベクトルＢＷＰを合計することにより、蓄積した基準フレームから行なわれる）後方予測Ｂpredを、復号した予測誤差Ｂdec および前方予測ＦＷＰに加算するとともに、（Ｂdec、Ｐdec、ＦＰＷおよびＢpredの加算を行なう加算器の出力が前記基準メモリＲＭの更新入力端に向けて送り返される）基準メモリ更新を取扱うことを許容する；（ｅ）前記加算器の出力が、走査変換器ＳＣに向けて送られ、表示過程ＤＳの前に、マクロブロックから走査線への変換を行なう。したがって、３段階過程の復号方法が、従来周知の諸方法に比して格別のメモリ容量節約を可能にすることを説明して来た。この方法を実施するために、本発明による復号方法は、まず復号すべきデイジタル信号の入力ビット流を蓄積するためにＦＩＦＯメモリのような記憶手段を備える。記憶手段は、先行基準フレームを蓄積するためにも設けられる。したがって、復号手段は、一方では（Ｉ型、Ｐ型もしくはＢ型の）各マクロブロックの符号化関連パラメータを備え、他方ではかかるマクロブロックのそれぞれの画像要素に対応した符号化信号を備えた蓄積信号を復号するために働かされる。復号装置の他の部分全てを制御するとともに符号化マクロブロック・データの復号動作を処理する手段の監督のもとに、かかる復号手段は、補助手段に復号した補助データの形で蓄積してあるマクロブロック毎の関連パラメータのみに対応する符号化データの復号副過程を行ない、引続いて、「即時復号」原理による画像要素のみに対応する符号化データの復号副過程を行ない、最後に、（後続基準フレームの復号処理の後に）先行基準フレームの後続基準フレームによる置換により記憶手段の内容の更新を行なう。復号データに従って再構成した画像を表示するための、画素周波数で動作する手段が、その復号データを適切な様式に変換するとともに、その変換した復号データおよび関連のある映像同期信号を表示スクリーンに送るために、つぎに設けられる。本発明は、明らかに、以上に説明した実施例に限られるものではなく、本発明の範囲を逸脱することなく、変形もしくは改良を考え得るものである。例えば、一般に単一のチップ・ビデオ復号器の形で構成される上述の復号装置は、３段階復号動作を行なうために設けられ、したがって、従来周知のプロセッサに比べて変更されている制御・処理手段を除き主要部分は従来周知の装置に対応していることに留意することができる。かかる制御・処理手段は、適切なメモリ・アドレスの発生およびメモリ・アクセスのためのバス仲介を行なうために特に組織した一連のプログラム化した指令を指導しており、そのメモリ・アクセスは、一般に、８×８画像要素のブロックの大きさに対応した小さいバーストをなして行なわれる。以上に説明した復号装置においては、入力符号化データ、先行基準フレームおよび補助データにそれぞれ対する蓄積手段が互いに組合わされて、単一の物理的メモリを形成し、上述の指示に従って前述の制御・処理手段により制御されている。

Claims

【特許請求の範囲】１．マクロブロックと呼ぶ固定サイズの画像領域に副分割した映像に対応し、それぞれ、他のフレームからの情報を用いずに符号化し、もしくは、先行基準フレームおよび関連した動き情報からの動き補正予測によって予測したＩ型もしくはＰ型のフレームと、Ｉ型もしくはＰ型の前後の基準フレームおよび関連した動き情報から双方向に補間したＢ型のフレームとのいずれかに対応した符号化データの形で伝送乃至蓄積されたディジタル信号の復号方法であって、マクロブロックの復号処理のために、各マクロブロック毎に、関連したパラメータおよび画像要素に対応するＩ型，Ｐ型もしくはＢ型の符号化マクロブロック・データの入力ビット流を蓄積し、それぞれの型に応じて符号化データを復号し、そのようにして得た復号データにより再構成した画像を表示する各過程を備えたディジタル信号復号方法において、前記復号過程がつぎの各副過程、すなわち、（１）符号化したマクロブロック・データのうち、関連したマクロブロック・パラメータのみを復号して、得られた復号信号を補助データとして蓄積するための第１復号副過程、（２）前記復号したマクロブロック・データのうち、画像要素に対応するデータのみを復号するために、予測もしくは補間したマクロブロックの画像要素に関連した復号データの蓄積過程をすべて排除した即時復号の原理に従って表示過程に復号データを必要とする速度で行なう第２復号副過程、（３）後続基準フレームの復号処理の後に当該後続基準フレームで置換する先行基準フレームの更新を行なうための第３復号副過程を備えたディジタル・ビデオ信号復号方法。２．マクロブロックと呼ぶ固定サイズの画像領域に副分割した映像に対応し、それぞれ、他のフレームからの情報を用いずに符号化し、もしくは、先行基準フレームおよび関連した動き情報からの動き補正予測によって予測したＩ型もしくはＰ型のフレームと、Ｉ型もしくはＰ型の前後の基準フレームおよび関連した動き情報から双方向に補間したＢ型のフレームとのいずれかに対応した符号化データの形で伝送乃至蓄積されたディジタル信号の復号装置であって、Ｉ型，Ｐ型もしくはＢ型の符号化マクロブロック・データの入力ビット流を復号する手段、各型に応じて前記符号化マクロブロック・データを復号する手段、少なくとも前記先行基準フレームを蓄積する手段、様式変換の後にこのようにして得た復号データに従って再構成した画像を表示する手段、並びに、前記蓄積手段、前記復号手段および前記表示手段相互間の接続のためのバス手段を備えたディジタル信号復号装置において、各マクロブロックの関連パラメータのみに対応した復号データを蓄積する補助手段、並びに、前記蓄積手段、前記バス手段および前記表示手段を制御するとともに、（ａ）各マクロブロックの関連したパラメータのみに対応する符号化データを復号するとともに、このようにして得た復号データを補助蓄積手段に蓄積し、（ｂ）予測もしくは補間したマクロブロックの画像要素に関連した復号データの蓄積過程をすべて排除した即時復号の原理に従って前記表示手段に復号データを必要とする速度で画像要素のみに対応する符号化データを復号し、（ｃ）後続基準フレームの復号処理の後に当該後続フレームによる前記先行基準フレームの置換を行なうためにそれぞれ設けた３連続副過程に従って前記符号化マクロブロック・データの復号動作を処理する手段を備えたディジタル・ビデオ信号復号装置。３．入力符号化データのための前記蓄積手段、先行基準フレームのための前記蓄積手段、および、関連したパラメータに対応する復号データのための前記補助蓄積手段が互いに組合わされて、前記制御手段によって制御される単一の物理的メモリを形成する請求項２記載のディジタル・ビデオ信号復号装置。