JP3891198B2 - 復号装置及び方法、並びに伝送装置及び方法 - Google Patents

Description

本発明は、ディジタル信号をデータ圧縮伸張を伴って符号化し、復号し、再符号化し、伝送するための復号装置及び方法、並びに伝送装置及び方法に関する。

一般的に、画像データは大量であり、これをそのまま伝送すると広い帯域を必要とし、記憶すると多くの記憶容量が必要になる。特に、動画像のデータ量は、膨大であるので、伝送帯域及び記憶容量をたくさん必要とする。このため、近年では、画像データの圧縮、すなわちディジタル画像の符号化技術が考えられてきた。

動画像データの圧縮には、蓄積メディア動画像符号化の国際標準会議ＭＰＥＧ（Moving Picture Expert Groupの略）が標準化した符号化技術が使われている。この符号化技術を以下では単にＭＰＥＧとして説明を続ける。このＭＰＥＧは、離散コサイン変換ＤＣＴ（Discrete Cosine Transform）、動き補償ＭＣ（Motion Compensation)、Ｂピクチャといった技術からなる。

ＭＰＥＧは、フレーム内（intra-frame、イントラフレーム）で符号化されたフレームであるＩピクチャと、過去のフレームを順方向に使って符号化されたＰピクチャと、過去と未来の双方向のフレームを使って符号化されたＢピクチャにより符号化フレームを構成する。ここで、ＰピクチャとＢピクチャは、フレーム間（inter-frame、インターフレーム）で符号化されたフレームである。

このような符号化は、入力画像をＮ×Ｎのマクロブロックに分割し、動きベクトルをブロック毎に用意して、その動きベクトルと入力画像との差分を符号化するものである。図１２の（Ａ）の（ｍ−１）フレームの以前の再生画像（予測画像）であるＩピクチャを図１２の（Ｂ）に示すように動きベクトルＶ_Ｍ分ずらして差分を作り符号化する。

ここで、エンコーダとデコーダよりなるコーデックを連続して行う場合、例えばディジタルビデオテープレコーダでダビングを繰り返すような場合、例えばフレーム間で符号化されるＢピクチャとフレーム内で符号化されるＩピクチャの位相関係が、前段と次段で同じであれば、コーデックの回数が重なっても画質の劣化は起きない。すなわち、インターフレーム、イントラフレーム混在の形でデータ圧縮を実現するようなディジタル映像機器同士の接続では、圧縮し符号化された機器特有のデータフォーマットで受渡しする閉じた系の場合には、自らのヘッダなどにこれらの位相情報を記録し伝送すればコーデックの回数が重なっても画質の劣化が無い。

特許第３１６３８３０号公報 特許第３３０７３７９号公報 特許第３１６４１１０号公報

ところで、最近、ディジタル映像機器の接続では、シリアルディジタルインターフェース（Serial Digital Interface、ＳＤＩという。）を使用し映像データをインターフェースするのが標準になりつつある。このため、インターフレーム、イントラフレーム混在の形で映像信号をデータ圧縮するような映像機器同士の接続において、ＳＤＩでインターフェースされた圧縮映像データからいわゆる４：２：２コンポーネント符号化方式であるＣＣＩＲ．Ｒｅｃ６０１等の既存の映像フォーマットの形式にコーデックを繰り返すような場合を考慮すると、上述したような位相情報を伝える方法がとられていないので、位相が守られない接続、編集によって位相が不連続になる接続などに対応することができず、コーデックを繰り返す度に画質劣化が発生していた。すなわち、例えばＳＤＩによってインターフェースされた映像信号について、インターフレームとイントラフレームの位相が毎回交番するような場合には、その位相情報を伝える方法がとられていないと、その都度無視できない画質劣化が発生してしまっていた。

本発明は、上記実情に鑑みてなされたものであり、インターフェースされた映像データの復号化信号と共に、該映像データのインターフレームとイントラフレームの位相関係を示す位相情報を送信し、コーデックの際に画質の劣化を発生させず、また、インターフェースされた復号化映像データと該映像データのインターフレームとイントラフレームの位相関係を受信し、コーデックの際に画質の劣化を発生させないような復号装置及び方法、並びに伝送装置及び方法の提供を目的とする。

本発明に係る復号装置は、符号化データを復号処理する復号装置において、上記符号化データに対する過去の符号化処理において利用された、グループオブピクチャ内においてピクチャがどの位置に配列されているかを示す位相情報を、上記符号化データとともに取得する取得手段と、上記符号化データを復号処理して画像データを生成する復号手段と、上記復号手段により生成された画像データに対して再符号化処理が行われる際に、上記位相情報に示される配列を保持して再符号化処理が行われるように、上記位相情報を伝送する伝送手段とを備えることにより上記課題を解決する。

また、本発明に係る復号装置は、符号化データを復号処理する復号装置において、上記符号化データに対する過去の符号化処理において利用された、Ｉピクチャとして符号化されたピクチャと他のＩピクチャとして符号化されたピクチャとが互いに何フレーム離れているかを示す位相情報を、上記画像データとともに取得する取得手段と、上記符号化データを復号処理して画像データを生成する復号手段と、上記復号手段により生成された画像データに対して再符号化処理が行われる際に、上記位相情報に示される配列を保持して再符号化処理が行われるように、上記位相情報を伝送する伝送手段とを備えることにより上記課題を解決する。

また、本発明に係る復号装置は、符号化データを復号処理する復号装置において、上記符号化データに対する過去の符号化処理において利用された、Ｐピクチャとして符号化されたピクチャと他のＰピクチャとして符号化されたピクチャとが互いに何フレーム離れているか、又は、Ｂピクチャとして符号化されたピクチャと他のＢピクチャとして符号化されたピクチャとが互いに何フレーム離れているか、又は、Ｉピクチャとして符号化されたピクチャとＰピクチャとして符号化されたピクチャとが互いに何フレーム離れているか、又は、Ｐピクチャとして符号化されたピクチャとＢピクチャとして符号化されたピクチャとが互いに何フレーム離れているか、又は、Ｂピクチャとして符号化されたピクチャとＩピクチャとして符号化されたピクチャとが互いに何フレーム離れているか、を示す位相情報を、上記画像データとともに取得する取得手段と、上記符号化データを復号処理して画像データを生成する復号手段と、上記復号手段により生成された画像データに対して再符号化処理が行われる際に、上記位相情報に示される配列を保持して再符号化処理が行われるように、上記位相情報を伝送する伝送手段とを備えることにより上記課題を解決する。

また、本発明に係る伝送装置は、符号化データを復号処理して画像データを生成する際に、上記符号化データに対する過去の符号化処理において利用された、グループオブピクチャ内においてピクチャがどの位置に配列されているかを示す位相情報を取得する取得手段と、上記画像データに対して再符号化処理が行われる際に、上記位相情報に示される配列を保持して再符号化処理が行われるように、上記位相情報を伝送する伝送手段とを備えることにより上記課題を解決する。

また、本発明に係る伝送装置は、符号化データを復号処理して画像データを生成する際に、上記符号化データに対する過去の符号化処理において利用された、Ｉピクチャとして符号化されたピクチャと他のＩピクチャとして符号化されたピクチャとが互いに何フレーム離れているかを示す位相情報を取得する取得手段と、上記画像データに対して再符号化処理が行われる際に、上記位相情報に示される配列を保持して再符号化処理が行われるように、上記位相情報を伝送する伝送手段とを備えることにより上記課題を解決する。

また、本発明に係る伝送装置は、符号化データを復号処理して画像データを生成する際に、上記符号化データに対する過去の符号化処理において利用された、Ｐピクチャとして符号化されたピクチャと他のＰピクチャとして符号化されたピクチャとが互いに何フレーム離れているか、又は、Ｂピクチャとして符号化されたピクチャと他のＢピクチャとして符号化されたピクチャとが互いに何フレーム離れているか、又は、Ｉピクチャとして符号化されたピクチャとＰピクチャとして符号化されたピクチャとが互いに何フレーム離れているか、又は、Ｐピクチャとして符号化されたピクチャとＢピクチャとして符号化されたピクチャとが互いに何フレーム離れているか、又は、Ｂピクチャとして符号化されたピクチャとＩピクチャとして符号化されたピクチャとが互いに何フレーム離れているか、を示す位相情報を取得する取得手段と、上記画像データに対して再符号化処理が行われる際に、上記位相情報に示される配列を保持して再符号化処理が行われるように、上記位相情報を伝送する伝送手段とを備えることにより上記課題を解決する。

さらに本発明は、上述したような各復号装置にそれぞれ対応する復号方法を提供することができ、また、上述したような各伝送装置にそれぞれ対応する伝送方法を提供することができる。

グループ化されたブロック内におけるフレーム内復号化信号とフレーム間復号化信号が、これらの位相関係を示す位相情報と共に送信されてくれば、受信側は該位相情報に基づいて、上記ブロック内復号化信号の順番と同じ順番となるようにフレーム内符号化信号とフレーム間符号化信号を得ることができる。このため、コーデックの際に画質の劣化を発生させない。

本発明は、グループ化されたブロック内におけるフレーム内復号化信号とフレーム間復号化信号の位相関係を示す位相情報を、該ブロック内の各復号化信号と共に送信するので、コーデックの際に画質の劣化を生じさせない。

本発明は、グループ化されたブロック内におけるフレーム内復号化信号とフレーム間復号化信号の位相関係を示す位相情報を検出し、該位相情報に応じて上記ブロック内の各復号化信号の順番と同じ順番となるようにフレーム内符号化信号とフレーム間符号化信号を得るので、コーデックの際に画質の劣化を生じさせない。

本発明は、グループ化されたブロック内におけるフレーム内復号化信号とフレーム間復号化信号の位相情報を検出し、該位相情報に応じて上記ブロック内復号化信号の順番と同じ順番となるようにフレーム内符号化信号とフレーム間復号化信号を得ると共に、該フレーム内符号化信号とフレーム間符号化信号を復号化し、フレーム内復号化信号とフレーム間復号化信号の位相情報と共にグループ化されたブロック単位で送信するので、コーデック処理の際に画質の劣化を生じさせず、コーデック処理の繰り返しを品質を保って行うことができる。

以下、本発明に係る再符号化装置及び方法、復号装置及び方法、符号化装置及び方法、並びに伝送装置及び方法の実施例を説明する。この実施例は、蓄積メディア動画像符号化の国際標準会議ＭＰＥＧ（Moving Picture Expert Groupの略）が標準化した符号化技術により圧縮されたディジタルビデオデータを送受信するディジタルビデオデータ送受信装置である。

このディジタルビデオデータ送受信装置は、フレーム内（intra-frame、イントラフレーム）で符号化されたフレームであるＩピクチャと、過去のフレームを順方向に使って符号化されたＰピクチャと、過去と未来の双方向のフレームを使って符号化されたＢピクチャにより構成された符号化フレームを使ってディジタルビデオデータを送受信する。特に、Ｉピクチャは、離散コサイン変換ＤＣＴ（Discrete Cosine Transform）による変換符号化で、Ｂピクチャは、動き補償ＭＣ（Motion Compensation)＋ＤＣＴによる予測符号化＋変換符号化で得られる。

このディジタルビデオデータ送受信装置は、図１に示すエンコーダ１０と図２に示すデコーダ３０からなっており、エンコード処理とデコード処理のコーデック処理をエンコーダ１０とデコーダ３０で行っている。ここで、エンコーダ１０は、受信装置に相当し、グループ化されたブロック内におけるフレーム内復号化信号とフレーム間復号化信号の位相関係を示す位相情報を検出し、該位相情報に応じて上記ブロック内の各復号化信号の順番と同じ順番となるようにフレーム内符号化信号とフレーム間符号化信号を得る。また、デコーダ３０は、送信装置に相当し、グループ化されたブロック内におけるフレーム内復号化信号とフレーム間復号化信号の位相関係を示す位相情報を、該ブロック内の各復号化信号と共に送信する。

なお、以下の説明では、このディジタルビデオデータ送受信装置がシリアルディジタルインターフェース（Serial Digital Interface、ＳＤＩという。）を使用し多段に接続されているとして説明を進める。

先ず、エンコーダ１０には、ＳＤＩによってインターフェースされた映像入力が供給される。この映像入力は、前段のディジタルビデオデータ送受信装置のデコーダによってデコーダされた映像データである。前段のディジタルビデオデータ送受信装置のエンコーダでは、Ｉピクチャ、Ｐピクチャ及びＢピクチャを符号化データとして出力している。ここで、Ｉピクチャ、Ｐピクチャ及びＢピクチャは、所定の順番で配列され、映像データの符号化の単位となるグループオブピクチャ（Group of Pictures：ＧＯＰ）を構成している。一方、デコーダでは、Ｉピクチャ、Ｐピクチャ及びＢピクチャよりなるＧＯＰをデコード処理している。

そして、前段のディジタルビデオデータ送受信装置にＳＤＩを介して接続された後段のディジタルビデオデータ送受信装置のエンコーダ１０は、前段のデコーダでデコード処理されたＩピクチャ、Ｐピクチャ及びＢピクチャよりなるＧＯＰを再度エンコード処理する。

上記映像データは、位相情報検出回路１１及び減算器１３及びスイッチ１４の被選択端子ｂに供給される。位相情報検出回路１１は、この映像データから該映像データのイントラフレームとインターフレームの位相関係を示す後述する位相情報を検出する。この位相情報検出回路１１で検出された位相情報は、制御回路１２に供給される。この制御回路１２は、上記位相情報に応じてスイッチ１４、２３及び２６の切り換えを制御する。

減算器１３は、上記映像データから後述する動き補償ＭＣ（Motion Compensation)成分を減算し、スイッチ１４の被選択端子ｃに供給する。このスイッチ１４は、被選択端子ｂに供給された上記映像データと被選択端子ｃに供給された上記減算出力とを制御回路１２の制御に応じ選択端子ａで切り換えてＤＣＴ回路１５に供給する。

ＤＣＴ回路１５は、スイッチ１４の切り換え出力を離散コサイン変換することで、フレーム内の画像の変化具合いにより符号量を減少し、該ＤＣＴ変換出力を量子化回路１６に供給する。量子化回路１６は、ＤＣＴ変換出力を小さい値で表現することで符号量を減らし、該出力である量子化出力を可変長符号化回路１７及び逆量子化回路１９に供給する。

可変長符号化回路１７は、量子化回路１６により減らされた符号量をさらに減らすため、出現度の高い符号に短い符号を割り当て、全体としての符号量をさらに減らす。この可変長符号化回路１７の可変長符号化出力は、ＥＣＣエンコーダ１８に供給されてエラー訂正処理され、該エンコーダ１０の符号化出力となる。

一方、逆量子化回路１９は、量子化回路１６で符号量が減らされた量子化出力を逆量子化し、該逆量子化出力を逆ＤＣＴ（図中にはＩＤＣＴと示す。）回路２０に供給する。この逆ＤＣＴ回路２０は、上記逆量子化出力を逆離散コサイン変換し、該逆ＤＣＴ出力を加算器２１に供給する。

加算器２１は、この逆ＤＣＴ出力にスイッチ２２を介してＭＣ成分を加算し、スイッチ２３の選択端子ａに供給する。このスイッチ２３が制御回路１２の制御により選択端子ａを被選択端子ｂに切り換えると加算器２１の加算出力は、フレームメモリ２４に供給される。

フレームメモリ２４は、加算器２１の加算出力を１フレーム分記憶する。このフレームメモリ２４の１フレーム分の記憶データは、後ろ向き予測動き補償回路２５での後向き予測動き補償処理に用いられる。この後ろ向き予測動き補償回路２５は、１フレーム分の記憶データに後向きの動き補償処理を施し、該後向き動き補償出力をスイッチ２６の被選択端子ｂに供給する。フレームメモリ２４に記憶された１フレーム分の記憶データは、さらにフレームメモリ２８に記憶される。このフレームメモリ２８に記憶された記憶データは、合計２フレーム分遅延され、前向き予測動き補償回路２７に供給される。この前向き予測動き補償回路２７は、２フレーム分遅延された遅延出力に前向きの動き補償処理を施し、該前向き動き補償出力をスイッチ２６の被選択端子ｃに供給する。

スイッチ２６は、制御回路１２の制御により選択端子ａを被選択端子ｂ又は被選択端子ｃに切り換えることで、後向き予測による動き補償信号又は前向き予測による動き補償信号を減算器１３に供給する。

例えば、このエンコーダ１０に入力された映像データが復号化されたＩピクチャであることが判明していれば、このエンコーダ１０は差分をとらずＤＣＴ回路１５、量子化回路１６、可変長符号化１７及びＥＣＣエンコーダ１８を介して該復号化されたＩピクチャをエンコード処理する。

また、例えば、このエンコーダ１０に入力された映像データが復号化されたＰピクチャであることが判明していれば、このエンコーダ１０は予測画像（差分をとる基準となる画像）として、入力で時間的に前に位置しすでに復号化されたＩピクチャ又はＰピクチャを用い、再度Ｐピクチャをエンコード処理する。

また、例えば、このエンコーダ１０に入力された映像データが復号化されたＢピクチャであることが判明していれば、このエンコーダ１０は予測画像として時間的に前に位置しすでに復号化されたＩピクチャ又はＰピクチャ、時間的に後ろに位置するすでに復号化されたＩピクチャ又はＰピクチャ、及びその両方から作られた補間画像の３種類を用い、再度Ｂピクチャをエンコード処理する。

ここで、位相情報検出回路１１は、前段のデコーダのデコード処理時に付加される位相情報を検出している。この位相情報は、例えばＩピクチャ、Ｐピクチャ及びＢピクチャがＧＯＰ内でどの位置に配列されているかを示す信号であればよい。すなわち、この位相情報は、ＧＯＰがどのように構成されているかを示す情報である。例えば、位相情報としては、ＩピクチャとＰピクチャ又はＰピクチャとＰピクチャとの距離（１フレームを単位として何フレーム分離れているかにより示す。）Ｍと、ＩピクチャとＩピクチャとの距離Ｎが考えられる。例えば、図３の（Ａ）に示すＧＯＰはＭ＝３、Ｎ＝９であり、図３の（Ｂ）に示すＧＯＰはＭ＝２、Ｎ＝２である。また、例えば、位相情報としては、ＧＯＰがどのように区切られているかを示す信号でもよい。さらにまた、位相情報としては、Ｉピクチャ、Ｐピクチャ及びＢピクチャであることをそれぞれフレーム毎に示すような信号でもよい。

この位相情報は、映像信号の劣化を防ぐためにあるので、偶数ライン及び奇数ラインのアクティブビデオ以前に位置することが必要である。このため、この位相情報は、少なくともディジタルフィールドブランキングにほぼ等しい垂直ブランキング内に挿入する必要がある。さらに、この位相情報は、映像スイッチングポイント以降に乗せることが必要となる。したがって、この位相情報は、例えば、図４の（Ａ）に示すように偶数及び奇数ラインの垂直ブランキング内の補助（Ancillary、以下ＡＮＣという。）エリア内の、図４の（Ｂ）に示すＤＩＤエリアに書き込まれるのが好ましい。ここで、ＤＩＤはデータＩＤのことである。また、ＡＮＣエリアは、ＥＡＶとＳＡＶの間に設けられた補助データ用のエリアである。ＥＡＶはエンドオブアクティブビデオ（End of Active Video）のことであり、ＳＡＶはスタートオブアクティブビデオ（Start of Active Video）のことである。また、ＡＤＦエリアはＡＮＣデータフラグ記録エリアである。また、ＤＢＮエリアはＡＮＣデータのユニット番号が記録されたエリアである。また、ＤＣエリアはＡＮＣデータのワード数を示すエリアである。ＡＮＣデータエリアは、最大２５５ワードのＡＮＣデータを記録できる。そして、ＳＡＶの前のＣＳエリアは、ＤＩＤ〜ＡＮＣデータのチェックサムが示されるエリアである。

この位相情報検出回路１１が上記位相情報を検出すると、その位相情報に基づいて制御回路１２は、スイッチ１４、２３及び２６の切り換えを制御し、前段のディジタルビデオデータ送受信装置のデコーダでのデコード処理に同期させたエンコード処理をエンコーダ１０に行わせることができる。

次に、このディジタルビデオデータ送受信装置のデコーダ３０には、エンコーダ１０によって符号化されたＩピクチャ、Ｐピクチャ及びＢピクチャの符号化入力が供給される。

図２において、変換復号化系３１を構成するＥＣＣデコーダ３２は、供給された符号化入力にエラー訂正処理を施し、該ＥＣＣデコード出力を可変長復号化回路３３、制御回路３８及びＳＤＩエンコーダ３７に供給する。可変長復号化回路３３は、ＥＣＣデコーダ出力に可変長復号化処理を施し、該復号化出力を逆量子化回路３４に供給する。逆量子化回路３４は、上記復号化出力に逆量子化処理を施し、該逆量子化出力を逆ＤＣＴ回路３５に供給する。逆ＤＣＴ回路３５は、上記逆量子化出力に逆ＤＣＴ処理を施し、該逆ＤＣＴ出力をスイッチ３６の被選択端子ｂ及び加算器３９に供給する。

加算器３９は、逆ＤＣＴ回路３５の逆ＤＣＴ出力に後述する動き補償ＭＣ成分を加算し、該加算出力をスイッチ３６の被選択端子ｃに供給する。このスイッチ３６は、被選択端子ｂに供給された逆ＤＣＴ出力と被選択端子ｃに供給された上記加算出力とを制御回路３８の制御に応じて選択端子ａで切り換えてＳＤＩエンコーダ３７及びフレームメモリ４２に供給する。

ＳＤＩエンコーダ３７は、ＥＣＣデコーダ３２から供給されるＥＣＣデコード出力に応じてスイッチ３６の出力をシリアルディジタルインターフェース用にエンコード処理し、復号化された映像データを出力する。この際、このＳＤＩエンコーダ３７は、上記位相情報を図４を用いて説明したように上記映像データに付加する。

フレームメモリ４２は、スイッチ３６の切り換え出力を１フレーム分記憶する。このフレームメモリ４２の１フレーム分の記憶データは、前向き予測動き補償回路４１での前向き予測動き補償処理に用いられる。この前向き予測動き補償回路４１は、１フレーム分の記憶データに前向きの動き補償処理を施し、該前向き動き補償出力をスイッチ４０の被選択端子ｂに供給する。フレームメモリ４２に記憶された記憶データは、さらにフレームメモリ４３に記憶される。このフレームメモリ４３に記憶された記憶データは、合計２フレーム分遅延され、後ろ向き予測動き補償回路４４に供給される。この後ろ向き動き補償回路４４は、２フレーム分遅延された遅延出力に後ろ向きの動き補償を施し、該後ろ向き動き補償出力をスイッチ４０の被選択端子ｃに供給する。

スイッチ４０は、制御回路３８の制御により選択端子ａを被選択端子ｂ又は被選択端子ｃに切り換えることで、前向き予測による動き補償信号又は後ろ向き予測による動き補償信号を加算器３９に供給する。

以下に、このディジタルビデオデータ送受信装置が上記位相情報に応じて行うエンコード処理とデコード処理を説明する。このディジタルビデオデータ送受信装置のエンコーダ１０が、前段のディジタルビデオデータ送受信装置のデコーダのＳＤＩエンコーダが上記ＡＮＣエリアに挿入した位相情報を、位相情報検出回路１１で検出し、該検出位相情報に応じてイントラフレームとインターフレームをエンコード処理するのは、前段のディジタルビデオデータ送受信装置のイントラフレームに関する処理とインターフレームに関する処理との関係を崩すことなく、すなわちＧＯＰを崩すことなく処理を進めるためである。

このような関係、すなわち前段のディジタルビデオデータ送受信装置と後段のディジタルビデオデータ装置装置でＧＯＰを崩すことなくコーデック処理を進めると、１回目を除く２回目以降のコーデック処理での信号劣化が無くなる。例えば、ディジタルビデオデータ送受信装置を図５のように接続する場合を考慮する。この図５において、ディジタルビデオデータ送受信装置５１、５９及び６４は、イントラフレームによる符号化画像であるＩピクチャと、インターフレームによる符号化画像であるＢピクチャとの位相関係を各装置内で守りながらコーデック処理を進めている。ここで、ＩピクチャはＤＣＴによる変換符号化で、ＢピクチャはＭＣ＋ＤＣＴによる変換符号化により得られる。また、該当するフレームに対して、時間的に前の動き補償フレームで差分をとるときを前方予測、時間的に後ろの動き補償フレームで差分をとるときを後方予測、両方でとるときを両方向予測という。

ディジタルビデオデータ送受信装置５１、５９及び６４は、予測符号の差分信号を生成するとき、各装置内において図中ＤＣＴ-Ｑ-ＩＤＣＴと記された変換符号化回路（以下、ＤＣＴ-Ｑ-ＩＤＣＴ回路という。）での変換符号化処理の後の画像であるＩピクチャを使っている。このような場合をローカルデコーダ有りとする。また、各ディジタルビデオデータ送受信装置５１、５９及び６４においては、３フレーム完結であるからフレーム並びはＩＢＩ・・・である。つまり、３フレームでＢピクチャを作っている。

例えば、ディジタルビデオデータ送受信装置５１には、入力映像信号ｆ_０が供給されている。入力映像信号ｆ_０は、本来、１本のＳＤＩインターフェースでディジタルビデオデータ送受信装置５１に供給されるが、ここでは説明の都合上３本の線を用いて説明する。この３本の線は、時間的にずれて入力するフレーム画像を同時に示すために使っている。この３本の線のうちの先ず１本目（シリアルインターフェースでいうと一番最初の入力データ）の入力映像信号をｆ_０（１）とし、以下ｆ_０（２）、ｆ_０（３）とする。同様に、ディジタルビデオデータ送受信装置５１の出力（ディジタルビデオデータ送受信装置５９の入力であるが、以下では前段に接続されたディジタルビデオデータ送受信装置の出力とする。）をｆ_１（１）、ｆ_１（２）及びｆ_１（３）、ディジタルビデオデータ送受信装置５９の出力をｆ_２（１）、ｆ_２（２）及びｆ_２（３）、ディジタル送受装置６４の出力をｆ_３（１）、ｆ_３（２）及びｆ_３（３）とする。

また、例えば、ディジタルビデオデータ送受信装置５１の内部では、コーデック処理をエンコーダとデコーダによってそれぞれ行わせているが、ＤＣＴ-Ｑ-ＩＤＣＴ回路５２、ＤＣＴ-Ｑ-ＩＤＣＴ回路５５及びＤＣＴ-Ｑ-ＩＤＣＴ回路５８の各再量子化回路Ｑがエンコード処理とデコード処理を分ける部分となる。この再量子化回路Ｑの量子化ステップと、ＩＤＣＴ回路の出力丸めが信号に歪を与え、画像歪の原因を作る。

但し、変換符号化回路であるＤＣＴ-Ｑ-ＩＤＣＴ回路で、常に信号歪が起こるわけではなく、単純に変換の繰り返しを行うとき、目的の精度を満足する演算精度をこの系に与えれば１回目を除く２回目以降のコーデック処理での信号劣化はない。

例えば、ディジタルビデオデータ送受信装置５１の内部でのコーデック処理を考慮する。先ず、入力映像信号ｆ_０（１）及びｆ_０（３）をＤＣＴ-Ｑ-ＩＤＣＴ回路５２及び５８で変換符号した変換出力を動き補償（図中ＭＣという。）回路５３及び５７で動き補償し、該２つのＭＣ出力を入力映像信号ｆ_０（２）から減算器５４で減算する。次に、この減算器５４の減算出力をＤＣＴ-Ｑ-ＩＤＣＴ回路５５で変換符号化する。そして、ＤＣＴ-Ｑ-ＩＤＣＴ回路５５の変換出力にＭＣ回路５３及び５７の２つのＭＣ出力を加算器５６で加算する。すると、加算器５６は、Ｂピクチャを出力する。すなわち、このディジタルビデオデータ送受信装置５１は、デコード出力ｆ_１（２）としてＢピクチャを出力する。ここで、デコード出力ｆ_１（１）及びｆ_１（３）は、１回目の変換符号化処理を行うＤＣＴ-Ｑ-ＩＤＣＴ回路５２及び５８において、再量子化部Ｑ及びＩＤＣＴ部が発生する信号歪を受けたＩピクチャとなる。

ここで、Ｉピクチャが単純に繰り返される場合には、２回目以降に信号の劣化が生じないのであるから、ディジタルビデオデータ送受信装置５９のＭＣ回路６０及び６１の出力も変化がない。したがって、１回目のＤＣＴ-Ｑ-ＩＤＣＴ回路５５の変換出力と、Ｂピクチャを復元して得た画像からＭＣ出力を減じて得られた減算器６２の減算出力は、同一のものである。これがＤＣＴ-Ｑ-ＩＤＣＴ回路６３の入力となるのであるから、Ｂピクチャもまた２回目以降の信号劣化がなくなる。

次に、ディジタルビデオデータ送受信装置を図６のように接続する場合を考慮する。この図６においても、ディジタルビデオデータ送受信装置７１、８１及び８６は、イントラフレームによる符号化画像であるＩピクチャと、インターフレームによる符号化画像であるＢピクチャとの位相関係を各装置内で守りながらコーデック処理を進めている。なお、ディジタルビデオデータ送受信装置７１、８１及び８６は、予測符号の差分信号を生成するとき、各装置内において変換符号化前の入力信号によって予測符号化の差分を作っている。このような場合をローカルデコーダ無しとする。

例えば、ディジタルビデオデータ送受信装置７１の内部でのコーデック処理を考慮する。先ず、入力映像信号ｆ_０（１）及びｆ_０（３）をＤＣＴ-Ｑ-ＩＤＣＴ回路７２及び８０に供給する前にＭＣ回路７３及び７８で動き補償し、該２つのＭＣ出力を入力映像信号ｆ_０（２）から減算器７５で減算する。次に、この減算器７５の減算出力をＤＣＴ-Ｑ-ＩＤＣＴ回路７６で変換符号化する。そして、ＤＣＴ-Ｑ-ＩＤＣＴ回路７６の変換出力にＭＣ回路７４及び７９の２つのＭＣ出力を加算器７７で加算する。すると、加算器７７は、Ｂピクチャを出力する。ここで、ＭＣ回路７４及び７９は、ＤＣＴ-Ｑ-ＩＤＣＴ回路７２及び８０の変換出力をＭＣ補償している。すなわち、このディジタルビデオデータ送受信装置７１は、デコード出力ｆ_１（２）としてＢピクチャを出力する。ここで、デコード出力ｆ_１（１）及びｆ_１（３）は、１回目の変換符号化処理を行うＤＣＴ-Ｑ-ＩＤＣＴ回路７２及び８０において、再量子化部Ｑ及びＩＤＣＴ部が発生する信号歪を受けたＩピクチャとなる。

ここで、Ｉピクチャが単純に繰り返される場合には、２回目以降に信号の劣化が生じないのであるから、ディジタルビデオデータ送受信装置８１のＭＣ回路８２及び８３の出力も変化がなく、ＭＣ回路７４及び７９の出力と等しくなる。したがって、全く同じものを減算器８４でデコード出力ｆ1（２）であるＢピクチャから減算することになるので、ＤＣＴ-Ｑ-ＩＤＣＴ回路７６の変換出力とＤＣＴ-Ｑ-ＩＤＣＴ回路８５の変換出力は等しくなる。したがって、Ｉピクチャの劣化無しの条件と同じになり、この場合もＢピクチャは２回目以降の劣化を生じさせない。

例えば、図５に示したローカルデコーダが有る場合において、ＧＯＰ内のＩＢＩの位相が崩れない状態でコーデックを繰り返した場合には、図７に示すように、映像信号を初めてコーデックした処理の後には信号劣化が生じない。この図７では、信号劣化の尺度を縦軸に示すＳ／Ｎで示している。また、横軸にはコーデックの回数を示している。ただし、この図７のように、Ｓ／Ｎが一定となるのは、量子化器を含んだ直交変換器が出力精度を満たすように設計されているときである。それ以外では、演算精度により緩やかに右下がりとなる。

なお、以下では、コーデック処理毎にＧＯＰ内の位相が崩れた場合を想定して、ＩピクチャとＢピクチャが交番するような場合について説明する。

例えば、図８に示すような場合、すなわち、ディジタルビデオデータ送受信装置９１、９２、９３及び９４がＳＤＩインターフェースで接続され、コーデック処理を繰り返す場合を考慮する。

ディジタルビデオデータ送受信装置９１には、入力映像信号ｆ_０が供給されている。入力映像信号ｆ_０は、本来、１本のＳＤＩインターフェースでディジタルビデオデータ送受信装置９１に供給されるが、ここでは説明の都合上５本の線を用いて説明する。この５本の線は、時間的にずれて入力するフレーム画像を同時に示すために使っている。この５本の線のうちの先ず１本目（シリアルインターフェースでいうと一番最初の入力データ）の入力映像信号をｆ_０（１）とし、以下ｆ_０（２）、ｆ_０（３）、ｆ_０（４）、ｆ_０（５）とする。同様に、ディジタルビデオデータ送受信装置９１の出力（ディジタルビデオデータ送受信装置９２の入力であるが、以下では前段に接続されたディジタルビデオデータ送受信装置の出力とする。）をｆ_１（１）、ｆ_１（２）、ｆ_１（３）、ｆ_１（４）及びｆ_１（５）とする。同様に、ディジタルビデオデータ送受信装置９２の出力をｆ_２（１）、ｆ_２（２）、ｆ_２（３）、ｆ_２（４）及びｆ_２（５）とする。ディジタルビデオデータ送受信装置９３の出力をｆ_３（１）、ｆ_３（２）、ｆ_３（３）、ｆ_３（４）及びｆ_３（５）とする。同様に、ディジタルビデオデータ送受信装置９４の出力をｆ_４（１）、ｆ_４（２）、ｆ_４（３）、ｆ_４（４）及びｆ_４（５）とする。また、この図８は、ローカルデコーダ有りの場合を示している。

この図８に示したような場合、各ディジタルビデオデータ送受信装置間では、イントラフレームにより符号化されたＩピクチャと、インターフレームにより符号化されたＢピクチャやＰピクチャの位相関係をコーデック処理毎に交番させているので、図５に示したような関係が成立せず、コーデック処理の回数を重ねる度に図９の特性図に示すように信号の劣化が生じることになる。この図９においては、信号の劣化の様子をＳ／Ｎの変化として示している。

また、図１０には、ローカルデコーダが無い場合のディジタルビデオデータ送受信装置９５、９６、９７及び９８の位相関係が崩れた場合を想定した接続を示す。

この場合においても、各ディジタルビデオデータ送受信装置では、イントラフレームにより符号化されたＩピクチャと、インターフレームにより符号化されたＢピクチャやＰピクチャの位相関係をコーデック処理毎に交番させているので、図５に示したような関係が成立せず、コーデック処理の回数を重ねる度に図１１の特性図に示すように信号の劣化が生じることになる。

このようにコーデック処理毎にＧＯＰ内のＩピクチャ、Ｐピクチャ、Ｂピクチャの位相関係が交番することによる画質の劣化の発生を抑えるため、本発明の実施例のディジタルビデオデータ送受信装置では、上述したように位相情報検出回路１１によって位相情報を検出し、該検出位相情報に応じて制御回路１２がスイッチ１４、２３及び２６を制御して、コーデック処理を行っている。

なお、本発明に係る再符号化装置及び方法、復号装置及び方法、符号化装置及び方法、並びに伝送装置及び方法は、上記実施例にのみ限定されるものではなく、例えば他の動画圧縮復号化を繰り返すコーデック処理を行う送受信装置に適用されてもよい。

また、上記位相情報は、例えばＡＮＣデータとして予備の情報を提供するものであるから、各装置間でコーデックの種類が異なる場合は、無視してもよいしあるいは一部利用してもよい。

本発明の実施の形態によれば、グループ化されたブロック内におけるフレーム内復号化信号とフレーム間復号化信号の位相関係を示す位相情報を、該ブロック内の各復号化信号と共に送信するので、コーデックの際に画質の劣化を損なわせない。

本発明の実施の形態によれば、グループ化されたブロック内におけるフレーム内復号化信号とフレーム間復号化信号の位相関係を示す位相情報を検出し、該位相情報に応じて上記ブロック内の各復号化信号の順番と同じ順番となるようにフレーム内符号化信号とフレーム間符号化信号を得るので、コーデックの際に画質の劣化を損なわせない。

本発明の実施の形態によれば、グループ化されたブロック内におけるフレーム内復号化信号とフレーム間復号化信号の位相情報を検出し、該位相情報に応じて上記ブロック内復号化信号の順番と同じ順番となるようにフレーム内符号化信号とフレーム間復号化信号を得ると共に、該フレーム内符号化信号とフレーム間符号化信号を復号化し、フレーム内復号化信号とフレーム間復号化信号の位相情報と共にグループ化されたブロック単位で送信するので、コーデック処理の際に画質の劣化を生じさせず、コーデック処理の繰り返しを品質を保って行うことができる。

本発明の実施例のディジタルビデオデータ送受信装置のエンコード側の概略構成を示すブロック図である。 本発明の実施例のディジタルビデオデータ送受信装置のデコード側の概略構成を示すブロック図である。 位相情報を説明するための図である。 位相情報の挿入場所を説明するための図である。 ローカルデコーダ有りの場合のディジタルビデオデータ送受信装置の動作を説明するための図である。 ローカルデコーダ無しの場合のディジタルビデオデータ送受信装置の動作を説明するための図である。 ディジタルビデオデータ送受信装置で２回目以降のコーデックにおいて画質の劣化が生じないことを示すための特性図である。 ローカルデコーダ有りの場合の従来のディジタルビデオデータ送受信装置の動作を説明するための図である。 図８を用いて説明した従来のディジタルビデオデータ送受信装置のコーデックでの画質劣化を示すための特性図である。 ローカルデコーダ無しの場合の従来のディジタルビデオデータ送受信装置の動作を説明するための図である。 図１０を用いて説明した従来のディジタルビデオデータ送受信装置のコーデックでの画質劣化を示すための特性図である。 ＭＰＥＧによる符号化処理を説明するための図である。

符号の説明

１１ 位相情報検出回路、 １２ 制御回路、 １５ 離散コサイン変換回路、 １６ 量子化回路、 １７ 可変長符号化回路、 １８ エラー訂正処理回路、 １９ 逆量子化回路、 ２０ 逆ＤＣＴ回路、 ２４，２８ フレームメモリ、 ２５ 後ろ向き予測動き補償回路、 ２７ 前向き予測動き補償回路

Claims (16)

1. 符号化データを復号処理する復号装置において、
   上記符号化データに対する過去の符号化処理において利用された、グループオブピクチャ内においてピクチャがどの位置に配列されているかを示す位相情報を、上記符号化データとともに取得する取得手段と、
   上記符号化データを復号処理して画像データを生成する復号手段と、
   上記復号手段により生成された画像データに対して再符号化処理が行われる際に、上記位相情報に示される配列を保持して再符号化処理が行われるように、上記位相情報を伝送する伝送手段と
   を備える復号装置。
2. 上記伝送手段は、上記取得手段により取得された上記位相情報を、上記画像データとともに伝送することを特徴とする
   請求項１記載の復号装置。
3. 上記伝送手段は、上記取得手段により取得された上記位相情報を、上記画像データに多重化して伝送することを特徴とする
   請求項１記載の復号装置。
4. 上記画像データは垂直ブランキング期間を有しており、
   上記伝送手段は、上記位相情報を上記画像データの垂直ブランキング期間に多重化する
   請求項３記載の復号装置。
5. 上記画像データは、ＳＤＩ（Serial Digital Interface）フォーマットの画像データである
   請求項４記載の復号装置。
6. 符号化データを復号処理する復号装置において、
   上記符号化データに対する過去の符号化処理において利用された、Ｉピクチャとして符号化されたピクチャと他のＩピクチャとして符号化されたピクチャとが互いに何フレーム離れているかを示す位相情報を、上記画像データとともに取得する取得手段と、
   上記符号化データを復号処理して画像データを生成する復号手段と、
   上記復号手段により生成された画像データに対して再符号化処理が行われる際に、上記位相情報に示される配列を保持して再符号化処理が行われるように、上記位相情報を伝送する伝送手段と
   を備える復号装置。
7. 符号化データを復号処理する復号装置において、
   上記符号化データに対する過去の符号化処理において利用された、Ｐピクチャとして符号化されたピクチャと他のＰピクチャとして符号化されたピクチャとが互いに何フレーム離れているか、又は、Ｂピクチャとして符号化されたピクチャと他のＢピクチャとして符号化されたピクチャとが互いに何フレーム離れているか、又は、Ｉピクチャとして符号化されたピクチャとＰピクチャとして符号化されたピクチャとが互いに何フレーム離れているか、又は、Ｐピクチャとして符号化されたピクチャとＢピクチャとして符号化されたピクチャとが互いに何フレーム離れているか、又は、Ｂピクチャとして符号化されたピクチャとＩピクチャとして符号化されたピクチャとが互いに何フレーム離れているか、を示す位相情報を、上記画像データとともに取得する取得手段と、
   上記符号化データを復号処理して画像データを生成する復号手段と、
   上記復号手段により生成された画像データに対して再符号化処理が行われる際に、上記位相情報に示される配列を保持して再符号化処理が行われるように、上記位相情報を伝送する伝送手段と
   を備える復号装置。
8. 符号化データを復号処理して画像データを生成する際に、上記符号化データに対する過去の符号化処理において利用された、グループオブピクチャ内においてピクチャがどの位置に配列されているかを示す位相情報を取得する取得手段と、
   上記画像データに対して再符号化処理が行われる際に、上記位相情報に示される配列を保持して再符号化処理が行われるように、上記位相情報を伝送する伝送手段と
   を備える伝送装置。
9. 符号化データを復号処理して画像データを生成する際に、上記符号化データに対する過去の符号化処理において利用された、Ｉピクチャとして符号化されたピクチャと他のＩピクチャとして符号化されたピクチャとが互いに何フレーム離れているかを示す位相情報を取得する取得手段と、
   上記画像データに対して再符号化処理が行われる際に、上記位相情報に示される配列を保持して再符号化処理が行われるように、上記位相情報を伝送する伝送手段と
   を備える伝送装置。
10. 符号化データを復号処理して画像データを生成する際に、上記符号化データに対する過去の符号化処理において利用された、Ｐピクチャとして符号化されたピクチャと他のＰピクチャとして符号化されたピクチャとが互いに何フレーム離れているか、又は、Ｂピクチャとして符号化されたピクチャと他のＢピクチャとして符号化されたピクチャとが互いに何フレーム離れているか、又は、Ｉピクチャとして符号化されたピクチャとＰピクチャとして符号化されたピクチャとが互いに何フレーム離れているか、又は、Ｐピクチャとして符号化されたピクチャとＢピクチャとして符号化されたピクチャとが互いに何フレーム離れているか、又は、Ｂピクチャとして符号化されたピクチャとＩピクチャとして符号化されたピクチャとが互いに何フレーム離れているか、を示す位相情報を取得する取得手段と、
    上記画像データに対して再符号化処理が行われる際に、上記位相情報に示される配列を保持して再符号化処理が行われるように、上記位相情報を伝送する伝送手段と
    を備える伝送装置。
11. 符号化データを復号処理する復号方法において、
    上記符号化データに対する過去の符号化処理において利用された、グループオブピクチャ内においてピクチャがどの位置に配列されているかを示す位相情報を、上記符号化データとともに取得する取得工程と、
    上記符号化データを復号処理して画像データを生成する復号工程と、
    上記復号工程により生成された画像データに対して再符号化処理が行われる際に、上記位相情報に示される配列を保持して再符号化処理が行われるように、上記位相情報を伝送する伝送工程と
    を備える復号方法。
12. 符号化データを復号処理する復号方法において、
    上記符号化データに対する過去の符号化処理において利用された、Ｉピクチャとして符号化されたピクチャと他のＩピクチャとして符号化されたピクチャとが互いに何フレーム離れているかを示す位相情報を、上記画像データとともに取得する取得工程と、
    上記符号化データを復号処理して画像データを生成する復号工程と、
    上記復号工程により生成された画像データに対して再符号化処理が行われる際に、上記位相情報に示される配列を保持して再符号化処理が行われるように、上記位相情報を伝送する伝送工程と
    を備える復号方法。
13. 符号化データを復号処理する復号方法において、
    上記符号化データに対する過去の符号化処理において利用された、Ｐピクチャとして符号化されたピクチャと他のＰピクチャとして符号化されたピクチャとが互いに何フレーム離れているか、又は、Ｂピクチャとして符号化されたピクチャと他のＢピクチャとして符号化されたピクチャとが互いに何フレーム離れているか、又は、Ｉピクチャとして符号化されたピクチャとＰピクチャとして符号化されたピクチャとが互いに何フレーム離れているか、又は、Ｐピクチャとして符号化されたピクチャとＢピクチャとして符号化されたピクチャとが互いに何フレーム離れているか、又は、Ｂピクチャとして符号化されたピクチャとＩピクチャとして符号化されたピクチャとが互いに何フレーム離れているか、を示す位相情報を、上記画像データとともに取得する取得工程と、
    上記符号化データを復号処理して画像データを生成する復号工程と、
    上記復号工程により生成された画像データに対して再符号化処理が行われる際に、上記位相情報に示される配列を保持して再符号化処理が行われるように、上記位相情報を伝送する伝送工程と
    を備える復号方法。
14. 符号化データを復号処理して画像データを生成する際に、上記符号化データに対する過去の符号化処理において利用された、グループオブピクチャ内においてピクチャがどの位置に配列されているかを示す位相情報を取得する取得工程と、
    上記画像データに対して再符号化処理が行われる際に、上記位相情報に示される配列を保持して再符号化処理が行われるように、上記位相情報を伝送する伝送工程と
    を備える伝送方法。
15. 符号化データを復号処理して画像データを生成する際に、上記符号化データに対する過去の符号化処理において利用された、Ｉピクチャとして符号化されたピクチャと他のＩピクチャとして符号化されたピクチャとが互いに何フレーム離れているかを示す位相情報を取得する取得工程と、
    上記画像データに対して再符号化処理が行われる際に、上記位相情報に示される配列を保持して再符号化処理が行われるように、上記位相情報を伝送する伝送工程と
    を備える伝送方法。
16. 符号化データを復号処理して画像データを生成する際に、上記符号化データに対する過去の符号化処理において利用された、Ｐピクチャとして符号化されたピクチャと他のＰピクチャとして符号化されたピクチャとが互いに何フレーム離れているか、又は、Ｂピクチャとして符号化されたピクチャと他のＢピクチャとして符号化されたピクチャとが互いに何フレーム離れているか、又は、Ｉピクチャとして符号化されたピクチャとＰピクチャとして符号化されたピクチャとが互いに何フレーム離れているか、又は、Ｐピクチャとして符号化されたピクチャとＢピクチャとして符号化されたピクチャとが互いに何フレーム離れているか、又は、Ｂピクチャとして符号化されたピクチャとＩピクチャとして符号化されたピクチャとが互いに何フレーム離れているか、を示す位相情報を取得する取得工程と、
    上記画像データに対して再符号化処理が行われる際に、上記位相情報に示される配列を保持して再符号化処理が行われるように、上記位相情報を伝送する伝送工程と
    を備える伝送方法。

Images