JP3895414B2

JP3895414B2 - 映像復号化装置

Info

Publication number: JP3895414B2
Application number: JP33526696A
Authority: JP
Inventors: 智子安成; 秀樹福田
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1996-12-16
Filing date: 1996-12-16
Publication date: 2007-03-22
Anticipated expiration: 2016-12-16
Also published as: JPH10174094A

Description

【０００１】
【発明の属する技術分野】
本発明は、圧縮符号化処理された映像信号をエラーレベルに応じて復号化する映像復号化装置に関するものである。
【０００２】
【従来の技術】
圧縮符号化処理された符号化データは、光ディスクや磁気ディスク等の記録媒体に記録されたり、通信で送られてきたりする。そしてこれらの符号化データは、復号化装置によって人間が目で認識できる映像信号に復号化処理される。
【０００３】
しかしながら、記録媒体に記録された符号化データを読み出すとき、あるいは通信経路などの状況で符号化データに誤り（以下、エラーという）が生じたとき、本来の符号化データが得られず、正常な復号化処理を行うことはできなくなる。このような場合はユーザーに不快感を与えることになる。そこで現在の復号化装置は、このようなエラーを含む符号化データが入力されたとき、このエラーを検出してエラーによる画像の乱れをできるだけ目立たないようにし、引き続き復号化処理を続けるようにつくられている。つまりエラーによる悪影響を除去し、できるだけ早く正常な復号化処理に戻らなければならない。
【０００４】
まず現在用いられている圧縮符号化方法の国際標準符号化方式（ISO/IEC JTC 1/SC 29N 0 981 Rev ）について説明する。以下この方式をMPEG2 と呼ぶ。この圧縮符号化方式は次の３つのフレーム符号化処理方法を持つ。即ち、入力された映像信号のフレーム内符号化処理と、過去のフレームを参照フレームにする前方向フレーム予測符号化処理と、過去のフレームと未来のフレームを参照フレームにする両方向フレーム予測符号化処理とである。フレーム内符号化処理されたフレームをＩピクチャー、前方向フレーム予測符号化処理されたフレームをＰピクチャー、両方向フレーム予測符号化処理されたフレームをＢピクチャーと呼ぶ。更に参照フレームと比較して現在符号化されているフレームがどれだけ動いたかを示す情報を動きベクトルと呼ぶ。この動きベクトルを用いて、予測符号化処理されたフレームを復号化処理する。
【０００５】
またｐを正の整数（ｐ＞２）とするとき、符号化された連続するフレームについては、ｐフレーム毎にフレーム内符号化処理あるいは前方向フレーム予測符号化処理する。そしてフレーム内符号化処理あるいは前方向フレーム予測符号化処理したフレーム間のフレームは、両方向フレーム予測符号化処理をする。このように符号化された映像信号の全フレーム数をＬとするとき、Ｌは（ｐ＋１）以上であるというように符号化処理される。
【０００６】
またこの符号化方法で圧縮符号化処理された符号化データは階層構造になっている。このような符号化データの構造を図２に示す。先に述べた符号化処理は図２のマクロブロック層のマクロブロック単位に処理される。つまり動きベクトルもマクロブロック毎に持つことになる。
【０００７】
またMPEG2 ではプロファイル(Profile) とレベル(Level) という概念が導入されている。MPEG2 は汎用符号化の国際標準を目的として考えられたものであるため、多くのアプリケーションをカバーし、またHDTVなどの高品位なサービスやレベルの提供を可能にする。プロファイルは符号化方法の違いを示し、レベルは出力画像の解像度などを示している。図３にMPEG2 のプロファイルとレベルの詳細を示す。
【０００８】
次にMPEG2 で符号化された符号化データを復号化処理する復号化装置において、エラーを含んだ符号化データが入力された場合の現在行われているエラー処理方法について述べる。ここでは、符号化データのエラーの起きる位置で、大きく二つの処理に分ける。図２に示すようにピクチャー層以上のエラーであるなら、次のシーケンスヘッダまで復号化処理をスキップする。またスライス層以下のエラーならば、エラーの起きたスライス層の復号化処理をスキップして、次のスライス層から復号化処理を開始する。
【０００９】
そしてエラーの起きた部分は、前に復号化処理できたフレームを参照フレームとして、エラーが起きたスライスＳｊの上のスライスＳｉの動きベクトルを用いて前方向フレーム予測符号化処理をして補正を行う。この状態を図４に示す。また図５に補正処理するときの参照するフレームについて示す。図５より判るように、符号化処理方法に関わらず、斜線部で示すエラーの起きたフレームの前に表示されたＩピクチャー又はＰピクチャーを参照フレームとしている。
【００１０】
【発明が解決しようとする課題】
エラーは、符号化データが復号化装置に入力されるときの状況によって、いつ生じるか判らない。また、またエラーが生じる場所も予想がつかない。そこであらゆる場合に柔軟に対応できるようなエラー対策を考える必要がある。また、エラーが発生しても、速やかに復号化処理に復帰し、エラーが起きた部分の画質をできるだけ符号化時の画像に近づけるよう補正する必要がある。
【００１１】
本発明は、このような従来の問題点に鑑みてなされたものであって、入力された符号化データにエラーが生じたとき、そのエラーを検出した後に速やかに効率的な補正をし、復号処理に復帰できる映像復号化装置を実現することを目的とする。
【００１２】
【課題を解決するための手段】
上記課題を達成するために本願の請求項１記載の発明は、ビデオ信号をＭＰＥＧ２圧縮符号化処理して得られた符号化データを復号化処理する映像復号化装置であって、前記符号化データのプロファイルとレベルとを検出する手段と、検出された前記プロファイルとレベルとに基づいて、前記符号化データが満足すべき条件を示す復号化制御情報を出力する手段と、前記符号化データを入力し復号化パラメータを出力する手段と、前記復号化パラメータと前記復号化制御情報と入力し、前記復号化パラメータが前記復号化制御情報に示された条件を満たすか否かを判定するエラー判定手段と、を含むものである。
ここで前記条件は、ビデオ信号の最大画面サイズに関する条件としてもよい。
【００１３】
【発明の実施の形態】
本発明は、圧縮符号化処理された映像の符号化データの構造を上層から下層にかけて仕分けをし、符号化データに生じたエラーの属する階層をエラーレベルとし、前記エラーレベルに応じて符号化データの復号化処理を行う映像復号化装置であって、所定の圧縮符号化アルゴリズムで圧縮符号化処理された符号化データを入力とし、前記圧縮符号化アルゴリズムの符号化レベルを検出する符号化レベル検出手段と、前記符号化レベル検出手段によって検出された符号化レベルを入力とし、前記符号化レベルと前記圧縮符号化アルゴリズムの制約に基づいて、前記圧縮符号化アルゴリズムが満たすべき復号化制御情報を出力する復号化制御情報出力手段と、前記符号化データと前記エラーレベルを入力とし、前記エラーレベルに基づいて符号化データの解析を開始し、映像信号の復号に必要な係数データ及び復号化パラメータを出力する符号化データ解析手段と、前記符号化データ解析手段の出力する前記復号化パラメータを記憶する復号化パラメータメモリと、前記符号化データ解析手段の出力する復号化パラメータ及び係数データと前記復号化制御情報出力手段の出力する復号化制御情報とを入力とし、前記復号化パラメータ及び係数データと前記復号化制御情報とを比較し、前記復号化パラメータ及び係数データが前記復号化制御情報を満たしているか否かを判定し、満たしていないものに対してその情報をエラー情報として出力するエラー検出手段と、前記エラー検出手段が出力する前記エラー情報を前記エラーレベルに変換して出力するエラー情報変換手段と、前記符号化データ解析手段の出力する前記復号化パラメータ及び前記係数データと前記エラー情報変換手段が出力する前記エラーレベルとを入力とし、前記エラーレベルに基づいて前記圧縮符号化アルゴリズムに沿って復号化処理を開始し、映像信号を復号する出力映像構成手段と、前記出力映像構成手段の出力する映像信号を格納するフレームメモリと、前記復号化パラメータメモリに保持された前記復号化パラメータ及び前記フレームメモリに保持された映像信号を入力し、前記エラー情報変換手段で検出されたエラーレベルに基づいて、所定の補正処理を開始し、再び前記フレームメモリに補正した映像信号を格納する出力映像補正手段と、を具備するものとしてもよい。また、前記復号化制御情報出力手段は、前記符号化レベル検出手段の出力する前記符号化レベルを満足するような復号化制御情報を提供するものとしてもよい。
【００１４】
また、前記復号化制御情報出力手段の出力する前記復号化制御情報は、前記符号化レベル検出手段で検出された前記符号化レベルにおいて、前記符号化データ解析手段で処理を行う際の重要度に基づいて前記エラーレベルが割当てられているものとしてもよい。
【００１５】
また、前記復号化制御情報出力手段の出力する前記復号化制御情報は、前記符号化レベル検出手段で検出された前記符号化レベルにおいて、続く復号化処理に与える影響の大きさに基づいて前記エラーレベルが割当てられるものとしてもよい。
【００１６】
また、前記エラー情報変換手段は、復号化制御情報に対して割り当てる前記エラーレベルは、前記出力映像構成手段及び前記出力映像補正手段での処理に対応付けられているものとしてもよい。
【００１７】
また、前記エラー情報変換手段は、前記エラー検出手段が出力する前記エラー情報を、前記エラー情報に割当てられている前記エラーレベルに変換して出力するものとしてもよい。
【００１８】
また、前記エラー情報変換手段の出力する前記エラーレベルは、前記符号化データ解析手段、前記出力映像構成手段、及び前記出力映像補正手段のいずれの動作を開始するかを決定するものとしてもよい。
【００１９】
また、前記符号化データ解析手段は、前記入力符号化データを遅延させる遅延手段を有し、前記エラー情報変換手段から出力される前記エラーレベルの入力を待ち、前記エラーレベルの入力によって符号化データの解析を開始するものとしてもよい。
【００２０】
また、前記復号化パラメータメモリは、前記符号化データ解析手段から出力された過去の復号化パラメータを蓄えるメモリとしてもよい。
【００２１】
また、前記符号化レベル検出手段で検出する圧縮符号化アルゴリズムは、フレーム内符号化処理したフレームをＩピクチャーとし、過去のフレームを参照して前方向フレームを予測符号化処理したフレームをＰピクチャーとし、過去のフレームと未来のフレームを参照して両方向フレームを予測符号化したフレームをＢピクチャーとするとき、前記３種類のピクチャーから組み立てられたＬ枚のフレームが映像シーケンスとして入力されたき、連続したフレームについて、ｐ（Ｌ−１＞ｐ＞２なる自然数）フレーム毎に前記Ｉピクチャー又はＰピクチャーを配置し、前記Ｉピクチャー又前記Ｐピクチャーの間に前記Ｂピクチャーを配置したものとしてもよい。
【００２２】
また、前記出力映像構成手段は、前記エラー情報変換手段の出力する前記エラーレベルに基づいて復号化処理を開始するものとしてもよい。
【００２３】
また、前記出力映像補正手段は、前記エラー情報変換手段の出力する前記エラーレベルに基づいて補正処理を開始するものとしてもよい。
【００２４】
また、前記出力映像補正手段は、前記復号化パラメータメモリの出力する前記復号化パラメータのうち、エラーが検出された位置より過去に求められた動き情報と、現在復号化処理しているフレームに対する参照フレームとを入力し、現在復号化処理しているフレームのフレーム符号化処理方法と同様の方法で予測を行うことにより、補正した映像信号を出力するものとしてもよい。
【００２５】
また、前記出力映像補正手段は、前記復号化パラメータメモリの出力する前記復号化パラメータのうち、エラーが検出された位置より前の動き情報及び後の動き情報と、現在復号化処理しているフレームに対する参照フレームとを入力し、前の動き情報を用いて現在復号化処理しているフレーム符号化処理方法と同様の方法で予測を行って第１の補正映像信号を生成し、後の動き情報を用いて現在復号化処理しているフレーム符号化処理方法と同様の方法で予測を行って第２の補正映像信号を生成し、前記第１及び第２の補正映像信号の平均化処理した第３の補正映像信号を出力するものとしてもよい。
【００２６】
次に本発明の一実施の形態における映像復号化装置について図面を参照しつつ説明する。図１は本実施の形態における映像復号化装置の全体構成を示すブロック図である。映像復号化装置は符号化レベル検出器１１、復号化制御情報出力器１２、エラー検出器１３、エラー情報変換器１４、符号化データ解析器１５、復号化パラメータメモリ１６、出力映像構成器１７、出力映像補正器１８、フレームメモリ１９を含んで構成される。
【００２７】
符号化レベル検出器１１は、復号化処理すべき符号化データを入力し、圧縮符号化アルゴリズムの符号化レベルと図３に示す符号化データのプロファイルとレベルを検出するものである。復号化制御情報出力器１２は、符号化レベル検出器１１が検出したプロファイルとレベルと圧縮符号化アルゴリズムの制約に基づいて、復号化対象の符号化データが満足すべき条件を、復号化制御情報として出力するものである。復号化制御情報出力器１２の出力する復号化制御情報は、続く復号化処理に与える影響の大きさによってレベルが割り当てられている。
【００２８】
エラー検出器１３は、復号化制御情報出力器１２が出力する復号化制御情報と、符号化データ解析器１５が出力する復号化パラメータ及び係数データを入力して、復号化パラメータが復号化制御情報の示す条件に満足しているか否かを判定し、満足していなければエラー情報を出力するものである。
【００２９】
エラー情報変換器１４は、エラー検出器１３が出力したエラー情報を、それに割り当てられているエラーレベルに変換して出力するものである。符号化データ解析器１５は、復号化処理したい符号化データとエラー情報変換器１４が出力するエラーレベルとを入力し、エラーレベルに基づいて符号化データの解析処理を開始し、係数データ及び動きベクトルや符号化処理方法などの復号化パラメータを出力するものである。
【００３０】
復号化パラメータメモリ１６は、符号化データ解析器１５が出力する復号化パラメータを格納するメモリである。復号化パラメータは、ヘッダ部分に記述してある情報で、例えば画像サイズ、フレームレート、コーディングタイプ、動きベクトルの検索範囲を示すｆコード等である。出力映像構成器１７は、符号化データ解析器１５が出力する復号化パラメータと係数データ、およびエラー情報変換器１４が出力するエラーレベルを入力し、エラーレベルに基づいて復号化処理を開始し、フレームメモリ１９に出力映像信号を与えるものである。
【００３１】
出力映像補正器１８は、符号化データ解析器１５が出力する復号化パラメータと、エラー情報変換器１４が出力するエラーレベルと、フレームメモリ１９に格納してある映像信号とを入力し、エラーレベルに基づいて補正処理を開始し、フレームメモリ１９に補正した映像信号を与えるものである。フレームメモリ１９は、出力映像構成器１７および出力映像補正器１８の出力映像信号を格納するものである。
【００３２】
このように構成された映像復号化装置の動作を説明する。符号化データ解析器１５はデータの遅延手段を持っており、符号化データが入力されてもエラー情報変換器１４からエラーレベルが入力されなければ解析処理を開始しない。そのためエラー検出器１３は、初期状態では符号化データ解析器１５の情報を用いず、復号化制御情報出力器１２の情報で動作を開始し、エラーなしという情報をエラー情報変換器１４に出力する。エラー情報変換器１４は受け取った情報をエラーレベルに変換する。
【００３３】
初期状態ではエラーなしであり、符号化データ解析器１５に対して初期状態のエラーレベルが与えられるよう設定してある。また、このときのエラーレベルでは、出力映像構成器１７及び出力映像補正器１８は動作をしない。次に符号化データ解析器１５が解析を開始すると、図２に示されるような階層構造になっている符号化データを、上位のシーケンス層から下位のブロック層まで解析していく。そして解析した復号化パラメータと係数データを出力する。それから、エラー検出器１３は、符号化データ解析器１５が解析した復号化パラメータを、復号化制御情報出力器１２が出力する復号化制御情報と比較することでエラーを検出する。
【００３４】
エラー検出器１３は、不一致が起きた情報をエラー情報変換器１４に渡し、またエラーがなければエラーなしという情報を返す。エラー情報変換器１４は入力されたエラー情報を、その情報に割り当てられているエラーレベルに変換して出力する。このエラーレベルは符号化データ解析器１５、出力映像構成器１７、及び出力映像補正器１８の動作開始を制御するものである。そして出力映像構成器１７又は出力映像補正器１８の処理により、フレームメモリ１９に映像信号が格納される。符号化データ解析器１５、出力映像構成器１７、及び出力映像補正器１８の動作の開始は、エラーレベルの値によって行われる。
【００３５】
次にエラーレベルについて説明する。復号化制御情報出力器１２が出力する復号化制御情報にはそれぞれエラーレベルが割り当てられている。
【００３６】
例えばＭＰ＠ＭＬの符号化データが入力された場合、復号化制御情報出力器１２が出力する復号化制御情報の一例を図６に示す。各復号化制御情報に割り当てられたエラーレベルは、復号化処理においての重要度、または使用頻度などに応じて自由に設定されるものである。また復号化制御情報も符号化データ解析器１５の性能に応じて自由に変更できる。このエラーレベルによって復号化器の動作も決定される。その一例を図７に示す。本図に示すようにエラーレベルは０〜５でレベル付けされている。
【００３７】
エラーレベル＝０は、入力された符号化データのデコード処理を続ける上で、最も必要な項目に付いて不具合が生じたことを示す。この場合はこれ以上デコード処理を続けることはできず、次のシーケンス層までデコード処理をスキップする。そして次に見つかったシーケンス層からデコード処理を復帰させる。従って符号化データ解析器１５はエラー情報変換器１４からエラーレベル＝０を受けたときは、次のシーケンス層からデコード処理を行う。
【００３８】
エラーレベル＝１は、入力された符号化データのデコード処理を続ける上で、必要な項目に付いて不具合が生じたことを示す。この場合のエラーはGOP 内でのデコード処理に影響を与えるものであるから、次のシーケンス層又はGOP 層までデコード処理をスキップして、次に見つかったシーケンス層又はGOP 層からデコード処理を復帰させる。符号化データ解析器１５はエラーレベル＝１を受けたときは、次のGOP 層からデコード処理を行う。
【００３９】
エラーレベル＝２は、検出されたエラーがピクチャー層に記述してある情報に含まれることを意味する。この場合はフレーム内でのみエラーが影響するので、次のピクチャー層、シーケンス層、又はGOP 層までデコード処理をスキップする。そして次に見つかったピクチャー層、シーケンス層、又はGOP 層からデコード処理を復帰させ、符号化データ解析器１５がこの指定された層からのデコード処理を行う。
【００４０】
エラーレベル＝３は、ブロック層のエラーである。これは画面全体からみて一部分のエラーであるから、補正処理する。エラーレベル＝３を受けた出力映像補正器１８は、所定の補正方法でエラーが起きた部分を補正処理して出力する。
【００４１】
エラーレベル＝４は、エラーが検出されたが入力符号化データをデコードする上で大して問題にならないもので、無視してデコード処理を継続して行う。出力映像構成器１７はエラーレベル＝４を受け取ると、符号化データ解析器１５の出力情報を用いて再復号化処理を行い、映像信号を出力する。
【００４２】
エラーレベル＝５は、初期状態で出力されるエラーレベルである。これを受けて符号化データ解析器１５はシーケンス層からのデコード処理を開始する。こうして符号化データ解析器１５は、図２に示されるような符号化データを上位のシーケンス層からブロック層まで順位解析していくものである。
【００４３】
図８に出力映像構成器１７の一構成例を示す。出力映像構成器１７に入力された係数データは逆量子化器２１で逆量子化処理される。逆量子化器２１で出力されたデータは逆離散コサイン変換器２２で逆離散コサイン変換される。またスイッチャー２８を介してフレームメモリ２３又は２４に蓄えられている映像を用いて、動き補償器２５で動き補償を行う。この動きベクトルは加算器２６に出力され、逆ＤＣＴ器２２の出力と加算が行われる。ここでの加算結果はスイッチャー２７を介してフレームメモリ２３又は２４に蓄えられる。フレームメモリ２３及び２４は、フレーム内符号化、前方向フレーム予測符号化、及び両方向フレーム予測符号化の３つの予測符号化モードによってスイッチャー２７により切り換えられる。
【００４４】
出力映像補正器１８は、図４に示されるように一つ上のスライスでデコードされた動きベクトルを用いて、エラーが検出されたところから次のスライスまで予測符号化処理を行う。このときエラーが起きたのがＢピクチャーとすると、両方向フレーム予測符号化処理が行われる。またＰピクチャーであれば、前方向フレーム予測符号化処理が行われる。図９は上記の補正処理を行う際の参照フレームを示した説明図である。ここで補正に用いられるフレームは、エラーが検出される直前まで使用されていた参照フレームと同じものである。図９（ａ）がＢピクチャー、（ｂ）がＰピクチャーのハッチングで示すフレームでエラーが起きた場合に補正のための参照フレームを示す一例である。
【００４５】
図１０に出力映像補正器１８の補正方法の一例を示す。出力映像補正器１８は、エラーが起きたスライスＳｊより一つ上のスライスＳｉでデコードされた動きベクトルを用いて、エラーが検出された所から次のスライスの先頭まで、エラーが起きたフレームと同じ符号化処理方法で補正処理をする。図９（ａ）に示される例は、Ｂピクチャーでエラーが起きた例であり、時間的に前後する２枚のフレームを参照フレームとする両方向予測符号化処理が行われる。図９（ｂ）はＰピクチャーでエラーが起きた例を示し、時間的に前のフレームを参照フレームとして前方向予測符号化処理が行われる。
【００４６】
【発明の効果】
以上のように本発明によれば、デコード処理中にエラーが検出された場合、そのエラーレベルに応じて処理方法を変えることができ、デコード処理あるいは補正処理をするにあたり、デコード処理への復帰が早くなり、入力符号化データの情報をより正確にデコードすることができる。またエラー時の処理方法を決定するエラーレベルは、ユーザーが設定できるという柔軟性が生じる。また、出力映像のエラーが起きた部分を補正する場合、エラーが発生したフレームの符号化処理方法と同じ処理方法で補正することにより、従来の方法より画質がよくなるよう補正することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態における映像復号化装置のブロック図である。
【図２】 MPEG2 符号化データの階層構造を示す説明図である。
【図３】 MPEG2 のプロファイルとレベルを示した説明図である。
【図４】エラー補正方法の一例である。
【図５】エラー補正を行う場合の参照フレームの一例である。
【図６】本実施の形態で用いられる復号化制御情報の一例を示す説明図である。
【図７】本実施の形態で用いられるエラーレベルの一例を示す説明図である。
【図８】本実施の形態の出力映像構成器の構成例を示すブロック図である。
【図９】出力映像補正器のエラー補正時の参照フレームの一例である。
【図１０】出力映像補正器のエラー補正の一例を示す説明図である。
【符号の説明】
１１符号化レベル検出器
１２復号化制御情報出力器
１３エラー検出器
１４エラー情報変換器
１５符号化データ解析器
１６復号化パラメータメモリ
１７出力映像構成器
１８出力映像補正器
１９フレームメモリ
２１逆量子化器
２２逆離散コサイン変換器
２３，２４フレームメモリ
２５動き補償器
２６加算器
２７，２８スイッチャー

Claims

ビデオ信号をＭＰＥＧ２圧縮符号化処理して得られた符号化データを復号化処理する映像復号化装置であって、
前記符号化データのプロファイルとレベルとを検出する手段と、
検出された前記プロファイルとレベルとに基づいて、前記符号化データが満足すべき条件を示す復号化制御情報を出力する手段と、
前記符号化データを入力し復号化パラメータを出力する手段と、
前記復号化パラメータと前記復号化制御情報とを入力し、前記復号化パラメータが前記復号化制御情報に示された条件を満たすか否かを判定するエラー判定手段と、を含む映像復号化装置。
前記条件は、ビデオ信号の最大画面サイズに関する条件であることを特徴とする請求項１記載の映像復号化装置。