JP2000102018A - 動画像復号方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】 誤り検出による画像の歪みが後続する画像に
伝播しない動画像復号方法及び装置を提供する。 【解決手段】 本発明は、誤り検出信号が与えられた場
合に、その誤りが検出されたスライスの位置情報等を誤
り情報記憶部２０８に記憶し、予測画像構成部２０３で
参照される画像部分が誤りを検出したものである場合
に、復元画像記憶部２０５に記憶されたその画像部分が
誤りを検出していない他の復元フレームその画像部分
と、このフレームと本来参照されるはずだったフレーム
との時間差分を考慮して動きベクトル計算部２０７で計
算し直された計算後動きベクトルとから、予測画像構成
部２０３で予測画像を構成することを特徴とする。

Description

【発明の詳細な説明】

【発明の属する技術分野】本発明は動画像復号方法及び
装置に関し、例えば、ＩＴＵ−Ｔ（International Tele
communication Union - Teleconmmunication Standardi
zation Sector ）で勧告されたＨ．２６３やＩＳＯ（In
ternational Organization for Standardization）で標
準化されたＭＰＥＧ２で、符号化された動画像を復号す
る方法及び装置に適用して好適なものである。

【従来の技術】文献１：『特開平９−２００７４３号公
報』 ディジタル通信において、膨大な情報量を持つ動画像デ
ータを送信しようとする場合には、動画像データは情報
圧縮が施されて冗長を削られる。一般に標準になってい
る動画像符号化方法において、その圧縮方法には、時間
的に前のフレームとの差分を符号化（フレーム間符号化
と呼ぶ）して時間方向の冗長度を削減する方法がある。
このような方法で圧縮された動画像データに誤りが生じ
たり、データが途中で無くなってしまった場合には、そ
の時のフレームの画像が大きく歪むと共に、時間的に前
のフレームとの差分を符号化しているために、後続する
フレームに歪みが伝播していくことになる。例えば、現
在標準になっているＨ．２６３やＭＰＥＧ２の動画像符
号化方式では、図２に示すように、フレームをある大き
さ（16画素＊16画素）のブロック（このブロックを「マ
クロブロック」と呼ぶ）に区切って符号化し、符号化さ
れたマクロブロックを１個又は複数個まとめ、このまと
めたそれぞれの符号化データの間に同期をとるための可
変長符号である同期符号語を挿入している。このような
マクロブロックのまとまりをＧＯＢ（Group Of Bloc
k）、スライス、ビデオパケット等と呼ぶが、ここで
は、統一して「スライス」と呼ぶことにする。ここで、
データが欠落したり、誤り検出されたりすると、同期符
号語により次のスライスからは復号可能となるが、デー
タ欠落又は誤りのあるスライスは復号することができな
くなる。そのため、上記文献１に開示された動画像復号
方法には、データ欠落又は誤りのあったスライスに、そ
のスライスと同じ位置にある前のフレームの画像部分を
挿入して、できるだけ誤りの少ない画像に近づける方法
が示されている。この方法は、図３のように、動きの比
較的少ないような動画像に対して有効である。図４は、
上記文献１に開示された動画像復号方法を実現する従来
の動画像復号装置の構成を示すブロック図である。以
下、従来の動画像復号方法について、図４を参照しなが
ら説明する。図４において、ビットストリーム復号部１
００では、与えられたビットストリームから可変長符号
等が復号されて解釈が行われ、その結果、このビットス
トリームが可変係数情報と動きベクトル情報とに分離さ
れる。ここで、可変長符号表に現れない符号語が出現し
たり、あり得ない場所に同期符号語が出現する等の場合
には、誤りを検出したとして誤り検出信号が誤り検出情
報通知部１０６に出力される。予測誤差復号部１０１で
は、ビットストリーム復号部１００で分離された変換係
数情報が復号されて、予測誤差が復元される。例えば、
Ｈ．２６３やＭＰＥＧ２の符号化方式においては、予測
誤差復号部１０１が図５に示す詳細構成を有するもので
あり、変換係数情報が逆量子化部１０７に入力されて逆
量子化され、その後、逆変換部１０８で逆ＤＣＴ（Disc
rete Cosine Transform ）変換されることによって、予
測誤差が復元される。ここで、逆量子化された時点で、
変換係数のＤＣ（直交変換）値が所定値内に収まってい
ない場合、誤りを検出したとして誤り検出信号が誤り検
出情報通知部１０６に出力される。動きベクトル復号部
１０２では、ビットストリーム復号部１００で分離され
た動きベクトル情報が復号されて、動きベクトルが復元
される。ここで、動きベクトルがフレーム外の場所を示
している等のあり得ないものであった場合には、誤りを
検出したとして誤り検出信号が誤り検出情報通知部１０
６に出力される。予測画像構成部１０３では、復元画像
記憶部１０５に記憶されている１つ前に復元したフレー
ムの画像に、動きベクトル復号部１０２で復元された動
きベクトルが加えられて、予測画像が構成される。予測
誤差加算部１０４では、予測画像構成部１０３で構成さ
れた予測画像に、予測誤差復号部１０１で復元されたを
予測誤差が加算されて、画像が復元されることになる。
ここで、復元された画像は、次のフレーム画像の復元に
用いるために、復元画像記憶部１０５に保持される。な
お、復元画像記憶部１０５は、１つ前の１フレーム分だ
けの画像情報を保持できる容量を持っている。ここで、
ビットストリーム復号部１００、予備誤差復号部１０
１、又は動きベクトル復号部１０２で誤りが検出され、
誤り検出通知部１０６に誤り検出信号が与えられた場合
には、復元画像記憶部１０５で、その誤り検出されたス
ライスと同じ位置の前のフレームの画像部分が出力さ
れ、予測画像構成部１０３で、その画像部分が誤り検出
されたスライスに挿入され、予測誤差加算部１０４でそ
のスライスに予測誤差が加算されないように、誤り検出
通知部１０６が、予測画像構成部１０３と予備誤差加算
部１０４と復元画像記憶部１０５とに通知する。その結
果、復元された画像の誤りが検出されたスライスには、
そのスライスと同じ位置にある１つ前のフレームの画像
部分がそのまま挿入されることになる。

【発明が解決しようとする課題】ところで、従来の動画
像復号方法では、誤りが検出されたスライスに、そのス
ライスと同じ位置にある１つ前のフレームの画像部分が
そのまま挿入されるので、誤りが検出されたスライスの
画像部分の動きベクトル（時間的変化）が大きい場合に
は、誤りが検出されたスライスの画像部分がそれ以外の
画像に対してずれてしまい、復元された画像が歪んでし
まう。ここで、従来の動画像復号方法では、１つ前に復
元された画像に動きベクトルを加えて画像を復元するの
で、前に復元された画像が誤り検出によって歪んでしま
った場合に、それ以降に復元される画像にも歪みが伝播
してしまうという課題があった。具体的に、図６を参照
しながら説明すると、ｎフレーム目の動きベクトルの大
きいスライス部分で誤りが検出され、その部分の画像が
復元できない場合には、ｎ−１フレーム目の同じスライ
ス部分の画像で置き換えられることになるが、置き換え
られるスライス部分の動きベクトルが大きいために、そ
のスライス部分の画像がそれ以外の画像に対してずれて
しまい、復元された画像が歪んでしまう。ここで、ｎ＋
１フレームはｎフレームの画像に動きベクトルを加えて
復元するので、ｎ＋１フレームにもｎフレームの歪みが
伝播してしまうことになる。そのため、誤り検出による
画像の歪みが後続する画像に伝播しない動画像復号方法
及び装置が求められていた。

【課題を解決するための手段】かかる課題を解決するた
め、第１の本発明は、動き補償機能を有する予測画像符
号化方式で符号化された動画像符号化データを復号する
動画像復号方法において、（１）過去に復元した時刻が
異なる複数の画像と、その各画像について、誤り検出さ
れた、符号化の際に動きベクトルを算出する単位である
部分領域を指定する誤り領域指定情報とを記憶し、
（２）現時刻の画像における復号しようとしている部分
領域について到来した受信動きベクトルと、記憶されて
いる上記誤り領域指定情報とから、復号しようとしてい
る上記部分領域の復元に用いる１又は複数の参照用過去
画像を決定すると共に、その参照用の過去画像上で、復
号しようとしている上記部分領域に対応した領域を規定
するための参照用動きベクトルを決定し、（３）決定さ
れた参照用過去画像及び参照用動きベクトルを参照し
て、復号しようとしている部分領域についての復元画像
を得ることを特徴とする。また、第２の本発明は、動き
補償機能を有する予測画像符号化方式で符号化された動
画像符号化データを復号する動画像復号方法において、
（１）過去に復元した時刻が異なる複数の画像と、その
各画像について、誤り検出された、符号化の際に動きベ
クトルを算出する単位である部分領域を指定する誤り領
域指定情報と、過去に復元した各画像の構成要素である
各部分領域について到来した過去受信動きベクトルとを
記憶し、（２）現時刻の画像における復号しようとして
いる部分領域について到来した受信動きベクトルと、記
憶されている上記誤り領域指定情報及び上記過去受信動
きベクトルとから、復号しようとしている上記部分領域
の復元に用いる１又は複数の参照用過去画像を決定する
と共に、その参照用の過去画像上で、復号しようとして
いる上記部分領域に対応した領域を規定するための参照
用動きベクトルを決定し、（３）決定された参照用過去
画像及び参照用動きベクトルを参照して、復号しようと
している部分領域についての復元画像を得ることを特徴
とする。さらに、第３の本発明は、動き補償機能を有す
る予測画像符号化方式で符号化された動画像符号化デー
タを復号する動画像復号装置において、（１）過去に復
元した時刻が異なる複数の画像と、その各画像につい
て、誤り検出された、符号化の際に動きベクトルを算出
する単位である部分領域を指定する誤り領域指定情報と
を記憶する記憶手段と、（２）現時刻の画像における復
号しようとしている部分領域について到来した受信動き
ベクトルと、記憶している上記誤り領域指定情報とか
ら、復号しようとしている上記部分領域の復元に用いる
１又は複数の参照用過去画像を決定すると共に、その参
照用の過去画像上で、復号しようとしている上記部分領
域に対応した領域を規定するための参照用動きベクトル
を決定する復号時参照情報決定手段と、（３）決定され
た参照用過去画像及び参照用動きベクトルを参照して、
復号しようとしている部分領域についての復元画像を得
る画像復号手段とを有することを特徴とする。さらにま
た、第４の本発明は、動き補償機能を有する予測画像符
号化方式で符号化された動画像符号化データを復号する
動画像復号装置において、（１）過去に復元した時刻が
異なる複数の画像と、その各画像について、誤り検出さ
れた、符号化の際に動きベクトルを算出する単位である
部分領域を指定する誤り領域指定情報と、過去に復元し
た各画像の構成要素である各部分領域について到来した
過去受信動きベクトルとを記憶する記憶手段と、（２）
現時刻の画像における復号しようとしている部分領域に
ついて到来した受信動きベクトルと、記憶している上記
誤り領域指定情報及び上記過去受信動きベクトルとか
ら、復号しようとしている上記部分領域の復元に用いる
１又は複数の参照用過去画像を決定すると共に、その参
照用の過去画像上で、復号しようとしている上記部分領
域に対応した領域を規定するための参照用動きベクトル
を決定する復号時参照情報決定手段と、（３）決定され
た参照用過去画像及び参照用動きベクトルを参照して、
復号しようとしている部分領域についての復元画像を得
る画像復号手段とを有することを特徴とする。

【発明の実施の形態】（Ａ） 第１の実施形態 以下、本発明による動画像復号方法及び装置を適用した
第１の実施形態について、図面を参照しながら詳述す
る。 （Ａ−１） 構成の説明 図１は、第１の実施形態の動画像復号装置の構成を示す
ブロック図である。図１において、この実施形態の動画
像復号装置は、ビットストリーム復号部２００と、予測
誤差復号部２０１と、動きベクトル復号部２０２と、予
測画像構成部２０３と、予測誤差加算部２０４と、復元
画像記憶部２０５と、誤り検出情報通知部２０６と、動
きベクトル計算部２０７と、誤り情報記憶部２０８とを
有する。まず、各構成要素について説明する。ビットス
トリーム復号部２００は、与えられたビットストリーム
から可変長符号等を復号して解釈を行い、その結果、ビ
ットストリームを可変係数情報と動きベクトル情報とに
分離するものである。ここで、ビットストリーム中に、
可変長符号表に現れない符号語が出現したり、あり得な
い場所に同期符号語が出現する等の場合には、誤りが検
出されたとして誤り検出信号を誤り検出情報通知部２０
６に出力する。予測誤差復号部２０１は、ビットストリ
ーム復号部２００で分離された変換係数情報を復号し
て、予測誤差を復元するものである。ここで、変換係数
の値が所定値内に収まっていない等のあり得ないもので
あった場合には、誤りが検出されたとして誤り検出信号
を誤り検出情報通知部２０６に出力する。動きベクトル
復号部２０２は、ビットストリーム復号部２００で分離
された動きベクトル情報を復号して、予測画像を構成す
るときに用いる動きベクトルを復元するものである。こ
こで、動きベクトルがフレーム外の場所を示している等
のあり得ないものであった場合には、誤りを検出したと
して誤り検出信号が誤り検出情報通知部２０６に出力さ
れる。なお、与えられたビットストリームはマクロブロ
ック単位で符号化されたものであるので、予測誤差復号
部２０１及び動きベクトル復号部２０２で復元される予
測誤差及び動きベクトルはマクロブロック単位で復元さ
れることになる。予測画像構成部２０３は、誤り検出情
報通知部２０６から誤り検出信号が与えられた旨の通知
がない場合で、誤り情報記憶部２０８から参照復元画像
誤り信号が与えられないときには、動きベクトル復号部
２０２で復元された動きベクトルのマクロブロックに対
応する１つ前のフレームの画像部分を復元画像記憶部２
０５から参照し、動きベクトル復号部１０２で復元され
た動きベクトルをこの参照画像部分に加えて、このマク
ロブロックの予測画像部分を生成し、各マクロブロック
の予測画像部分を同様に生成することによって、予測画
像を構成するものである。また、誤り情報記憶部２０８
から参照復元画像誤り信号が与えられたときには、動き
ベクトル復号部２０２で復元された動きベクトルのマク
ロブロックに対応する、復元画像記憶部２０５から出力
される所定の複数前のフレームの画像部分に、動きベク
トル計算部２０７で計算された計算後動きベクトルを加
えて、このマクロブロックの予測画像部分を生成するも
のである。一方、誤り検出情報通知部２０６から誤り検
出信号が与えられた旨の通知があった場合には、その通
知があったスライスと同じ位置ある１つ前のフレームの
画像部分を復元画像記憶部２０５から参照し、その画像
部分をそのままそのスライスに挿入して予測画像にする
ものである。予測誤差加算部２０４は、予測画像構成部
２０３で構成された予測画像に、予測誤差復号部２０１
で復元された予測誤差を加算して、画像を復元するもの
である。ここで、誤り検出情報通知部２０６から誤り検
出信号が与えられた旨の通知があった場合には、その通
知があったスライスには予測誤差を加えないで、画像を
復元するものである。なお、この復元された画像は、次
のフレームの復元に用いるために、復元画像記憶部２０
５に記憶されることになる。復元画像記憶部２０５は、
予測誤差加算部２０４で復元された画像を、１フレーム
分だけの画像情報を記憶できるだけでなく、所定の複数
フレーム分の画像情報を記憶でき、予測画像構成部２０
３で参照される画像部分を出力するものである。ここ
で、図７は、復元画像記憶部２０５の詳細構成を示すブ
ロック図である。図７において、復元画像記憶部２０５
は、各フレームの画像を記憶するＮ＋１個のフレーム記
憶部２０９−０〜２０９−Ｎと、空いているフレーム記
憶部または一番古いフレームが格納されているフレーム
記憶部を選定し、この選定したフレーム記憶部に予測誤
差加算部２０４で復元した画像を記憶させると共に、そ
の記憶させたフレーム記憶部の識別情報を誤り情報記憶
部２０８に出力する記憶制御切替部２１０と、誤り検出
情報通知部２０６又は誤り情報記憶部２０８からの信号
に基づいて予測画像構成部２０３で参照されるフレーム
を記憶するフレーム記憶部を選定して予測画像構成部２
０３に出力する出力切り替え部２１１と有する。なお、
出力切り替え部２１１では、誤り検出通知部２０６から
誤り検出信号が与えられた旨の通知があった場合には、
その誤りスライスを、そのスライスと同じ位置の１つ前
のフレームの画像部分で置き換えるため、１つ前に復元
されたフレームが記憶されているフレーム記憶部が選定
され、それ以外の場合で誤り情報記憶部２０８から参照
復元画像誤り信号が与えられたときには、後述する図９
に示すアルゴリズムに従ってフレーム記憶部が選定さ
れ、それ以外のときは１つ前に復元されたフレームが格
納されているフレーム記憶部が選定されることになる。
誤り検出情報通知部２０６は、ビットストリーム復号部
２００、予備誤差復号部２０１、又は動きベクトル復号
部２０２で誤りが検出されて誤り検出信号が与えられた
場合に、復元画像記憶部２０５で誤りが検出されたスラ
イスと同じ位置の１つ前の画像部分が予測画像構成部２
０３に出力され、予測画像構成部２０３で誤りが検出さ
れたスライスにそのスライスと同じ位置の１つ前の画像
部分が挿入されて予測画像が構成され、予測誤差加算部
２０４でその構成した予測画像の誤りが検出されたスラ
イスに予測誤差が加えられないように、予測画像構成部
２０３と予備誤差加算部２０４と復元画像記憶部２０５
とに通知するものである。また、誤り検出情報通知部２
０６は、誤り検出信号が与えられた場合に、その誤りが
検出されたスライスの位置情報と、そのスライスを有す
るフレーム番号情報と、そのフレームを記憶する復元画
像記憶部２０５のフレーム記憶部の識別情報とから構成
される復元画像誤り情報を、誤り情報記憶部２０８に記
憶させるものである。なお、フレーム番号情報は、誤り
検出されたフレームがどのフレームであるかを識別でき
るものであり、同時にそのフレームの時間情報をも知る
ことができる。すなわち、誤り情報記憶部２０８には、
どのフレームのどの部分（スライス）で誤り検出され復
号不可能であったかという情報が保持されていることに
なる。動きベクトル計算部２０７は、誤り情報記憶部２
０８から参照復元画像誤り信号が与えられた場合に、後
述する図９に示すアルゴリズムに従って参照されるフレ
ームと、本来参照されるべき１つ前のフレームとの時間
差分を考慮して、動きベクトル復号部２０２で復元され
た動きベクトルを計算し直した動きベクトルを出力する
ものである。誤り情報記憶部２０８は、誤り検出情報通
知部２０６からの復元画像誤り情報を記憶すると共に、
この復元画像誤り情報に基づいて復元画像記憶部２０５
から予測画像構成２０３に出力されて参照される画像部
分が誤りを検出したものである場合に、復元画像記憶部
で後述する図９に示すアルゴリズムに従って参照するフ
レームの画像部分が出力され、動きベクトル計算部２０
７でその選定された参照フレームに基づく動きベクトル
が計算し直され、予測画像構成部２０３でこの参照フレ
ームにこの計算後動きベクトルが加えられたものが予測
画像部分になるように、予測画像構成部２０３と復元画
像記憶部２０５と動きベクトル計算部２０７とに参照復
元画像誤り信号を出力するものである。 （Ａ−２） 動作の説明 以上のような構成を有する動画像復号装置の動作につい
て、従来とは異なる点を中心に説明する。まず、概念的
な動作について、図８を参照しながら説明する。図８に
おいて、ｎ＋１フレーム目の図示するマクロブロックを
復号しようとする際に、参照するｎフレーム目の薄いグ
レーの部分（スライス）が誤って復号不可能でった場
合、動きベクトルが示す部分に含まれる画像歪みがその
まま予測画像として用いられてしまう。これを避けるた
めに、ｎフレーム目の薄いグレーの部分を参照する代わ
りに、動きベクトルを２倍の大きさにして、ｎ−１フレ
ーム目を参照する（ｎ−１フレーム目の濃いグレーの部
分）。このようにすると、Ｎフレーム目の画像歪みをそ
のまま利用することなく予測画像を構成することができ
る。なお、ここでは、ｎ−１フレームの参照する画像部
分が誤っていない場合について説明したが、ｎ−１フレ
ームが誤っている場合には、ｎ−２フレームさらにｎ−
３フレーム ．．．と誤っていないフレームが見つかる
まで参照されることになる。また、この場合、動きベク
トルの倍率をかえる必要があるが、その倍率を何倍のに
するかは後述する。次に、この実施形態の予測画像構成
の動作について、図１及び図７と図９のフローチャート
とを参照しながら説明する。なお、図９のフレーチャー
トは、画素毎に動作させるものである。まず、動きベク
トル復号部２０２から出力される動きベクトルＶを計算
後動きベクトルＶｄに代入しておく（ステップＡ１）。
ステップＡ２で、計算後動きベクトルＶｄから参照すべ
き復元画像の位置を求め、その復元画像が誤っていない
かを誤り情報記憶部２０８の誤り情報から調べ、参照す
べき復元画像が誤っている場合には、ステップＡ３に進
む。参照すべき復元画像が誤っている場合とは、計算後
動きベクトルＶｄの示す部分が図８のｎフレーム目の薄
いグレーのスライスに含まれている場合である。参照す
べき復元画像が誤っていない場合には、計算後動きベク
トルＶｄと参照すべき復元画像から予測画像を構成する
（ステップＡ６）。ステップＡ３では、参照すべき復元
画像よりも時間的１つ前に復元されたフレームが復元画
像記憶部２０５のフレーム記憶部２０９−０〜Ｎのいず
れに存在するか否かを調べる。ステップＡ３で偽である
場合には、現在の計算後動きベクトルＶｄと選ばれてい
る復元画像とから予測画像を構成することになる（ステ
ップＡ６）。ステップＡ３で真である場合には、参照す
べき復元画像よりも時間的１つ前に復元されたフレーム
を参照すべき復元画像とする（ステップＡ４）。そして
ステップＡ５で参照すべき復元画像のフレーム番号、復
元としている画像のフレーム番号、及び復元しようとし
ている画像の１つ前に復元された画像のフレーム番号か
ら、計算後動きベクトルＶｄを計算し直す。計算後動き
ベクトルＶｄの計算方法は下記式１のようになる。 式１：Ｖｄ＝｛（ＴＲｄ−ＴＲｒ）／（ＴＲｄ−ＴＲｐ）｝ ＊ Ｖ ここで、ＴＲｄは、復号しようとする画像のフレーム番
号から計算される時間情報、ＴＲｒは、参照すべき画像
のフレーム番号から計算される時間情報、ＴＲｐは、復
号しようとする画像の１つ前に復元された画像のフレー
ム番号から計算される時間情報を表す。この実施形態の
場合、フレーム番号がそのまま時間情報を表すとする
と、下記式２のように、計算後動きベクトルＶｄの値
は、動きベクトルＶの２倍となる。 式２：Ｖｄ＝［｛（ｎ＋１）−（ｎ−１）｝／｛（ｎ＋１）−ｎ｝］ ＊ Ｖ ＝ ２ ＊ Ｖ 計算後動きベクトルＶｄを計算した後、ステップＡ２に
戻り、再び、計算後動きベクトルＶｄが示す参照すべき
復元画像が誤っているか否かを調べる。ステップＡ２か
らステップＡ５を繰り返すことにより、誤り検出される
復号不可能となっていない参照すべき復元画像を見つけ
だし、その復元画像から予測画像を構成することができ
る。 （Ａ−３） 効果の説明 以上のように、第１の実施形態によれば、（１）誤り検
出信号が与えられた場合に、その誤りが検出されたスラ
イスの位置情報と、そのスライスを有するフレーム番号
情報と、そのフレームを記憶する復元画像記憶部２０５
のフレーム記憶部の識別情報とから構成される復元画像
誤り情報を、誤り情報記憶部２０８に記憶させる誤り検
出情報通知部２０６と、（２）復元画像誤り情報に基づ
いて、予測画像構成２０３で参照される画像部分が誤り
を検出したものである場合に、参照復元画像誤り信号を
出力する誤り情報記憶部２０８と、（３）予測誤差加算
部２０４で復元された画像を所定の複数フレーム分記憶
し、誤り情報記憶部２０８から参照復元画像誤り信号が
与えられた場合に、図９に示すアルゴリズムに従って参
照するフレームの画像部分を出力する復元画像記憶部２
０５と、（４）誤り情報記憶部２０８から参照復元画像
誤り信号が与えられた場合に、図９に示すアルゴリズム
に従って参照されるフレームと本来参照されるべき１つ
前のフレームとの時間差分を考慮して、動きベクトル復
号部２０２で復元された動きベクトルを計算し直した動
きベクトルを出力する動きベクトル計算部２０７と、
（５）復元画像記憶部２０５からの参照フレームの画像
部分に、動きベクトル計算部２０７からの計算後動きベ
クトルを加えて予測画像を構成する予測画像構成部２０
３とを有するので、１つ前に復元された画像が誤り検出
によって歪んでしまった場合でも、それ以降に復元され
る画像に歪みが伝播することを防ぐことができる。具体
的に、図１０を参照しながら説明すると、動きのある部
分で誤りがあった（ｎフレーム目）としても、その部分
は予測画像として用いないで、代わりに、それよりも時
間的に前に復元されたフレーム（ｎ−１フレーム目）を
用いて予測画像を構成するように制御しているので、図
１０のｎフレーム目の画像歪みがその後のフレーム（ｎ
＋１フレーム目）に影響しないようになる。 （Ｂ） 第２の実施形態 以下、本発明による動画像復号方法及び装置を適用した
第２の実施形態について、図面を参照しながら詳述す
る。図１１は、第２の実施形態の動画像復号装置構成を
示すブロック図である。図１１において、この実施形態
の動画像復号装置は、ビットストリーム復号部３００
と、予測誤差復号部３０１と、動きベクトル復号部３０
２と、予測画像構成部３０３と、予測誤差加算部３０４
と、復元画像記憶部３０５と、誤り検出情報通知部３０
６と、動きベクトル計算部３０７と、誤り情報記憶部３
０８と、動きベクトル記憶部３１２とを有する。なお、
図１１において、動きベクトル計算部３０７及び動きベ
クトル記憶部３１２以外の構成要素は、図１に示した第
１の実施形態の同一名の構成要素と同様であり、説明を
省略する。従って、以下、動きベクトル計算部３０７及
び動きベクトル記憶部３１２の構成要素について説明す
る。動きベクトル計算部３０７は、誤り情報記憶部３０
８から参照復元画像誤り信号が与えられた場合に、後述
する図１３に示すアルゴリズムに従って参照されるフレ
ームの画像部分と本来参照されるべき１つ前のフレーム
の画像部分との間の動きベクトルが、動きベクトル記憶
部３１２に記憶された復元された画像の動きベクトルに
基づいて計算されて、さらにこの計算された動きベクト
ルと動きベクトル復号部３０２で復号された動きベクト
ルとを合成した動きベクトルを予測画像構成部３０３に
出力するものである。動きベクトル記憶部３１２は、動
きベクトル復号部３０２で復元された動きベクトルを、
復元画像記憶部３０５で記憶できるフレーム分記憶する
ものである。ここで、記憶されている動きベクトルは、
誤り情報記憶部３０８から復元画像誤り信号を受け取っ
たときに、動きベクトル計算部３０７での動きベクトル
計算に用いられることになり、動きベクトル記憶部３１
２と動きベクトル計算部３０７とに接続されており、ま
た、誤り情報記憶部３０８からの復元画像誤り信号を与
えられるようになっている。次に、このような構成を有
する動画像復号装置の動作について、第１の実施形態と
は異なる点を中心に説明する。まず、概念的な動作につ
いて、図１２を参照しながら説明する。図１２におい
て、ｎ＋１フレーム目の図示するマクロブロックを復号
しようとする際に、参照するｎフレーム目の薄いグレー
の部分（スライス）が誤って復号不可能でった場合、動
きベクトルが示す部分に含まれる画像歪みがそのまま予
測画像として用いられてしまう。これを避けるために、
ｎフレーム目の薄いグレーの部分を参照する代わりに、
動きベクトルを計算し直して、ｎ−１フレーム目を参照
する。参照すべき復元画像が存在する部分は、動きベク
トルＶを用いてｎフレーム目から予測画像を構成し復元
画像が存在しない部分（濃いグレー部分）は、計算し直
した動きベクトルＶｄを用いてｎ−１フレーム目から予
測画像を構成する。次に、動きベクトルの計算方法につ
いて、図１２を参照しながら説明する。まず、復号しよ
うとするマクロブロックの動きベクトルＶが指し示す１
つ前のフレームの画像部分（図１２ではｎフレーム目の
太枠部分）のうち参照すべき復元画像の一部分だけでも
存在するか否かを調べる。もし存在する場合には、対応
する復元画像の動きベクトルが動きベクトル記憶部３１
２に保持されているはずであるので、その動きベクトル
を取り出す。図１２では、ｎフレーム目のとのマク
ロブロックは復号できるので、それらのマクロブロック
に対する動きベクトルＶとＶを取り出す。Ｖｄは、
下記式３に示すように、その動きベクトルを重み付けし
て和をとり、動きベクトルＶに足し込む。なお、重みａ
及びｂは、動きベクトルＶが指し示す１つ前のフレーム
の画像部分（図１２ではｎフレーム目の太枠部分）で、
マクロブロック、がそれぞれ占めている面積の比を
表している。また、Ｖｄの初期値はＶである。 式３：Ｖｄ＝Ｖｄ＋（ａ＊Ｖ）＋（ｂ＊Ｖ） 上記式３は、図１２に示すように、参照すべき復元画像
が２つのみの場合であるが、３つ以上のマクロブロック
にまたがっている場合には、下記式４のように計算す
る。なお、重みａ１、ａ２、....、ａｎは、動きベクト
ルＶが指し示す１つ前のフレームの画像部分で、それぞ
れのマクロブロックが占めている面積比を表す。また、
Ｖｄの初期値はＶである。 式４：Ｖｄ＝Ｖｄ＋（ａ１＊Ｖ１）＋（ａ２＊Ｖ２）＋....＋（ａｎ＊Ｖｎ） 復号しようとするマクロブロックの動きベクトルＶが指
し示す１つ前のフレームの画像部分（図１２ではｎフレ
ーム目の太枠部分）のうち参照すべき復元画像が全く存
在しない場合（参照すべき復元画像が誤りスライスに完
全に含まれてしまう場合）は、第１の実施形態と同様に
動き下区採るＶｄを計算する。このようにすると、ｎフ
レーム目の画像歪みをそのまま利用することなく予測画
像を構成することができる。次に、この実施形態の予測
画像構成の動作について、図１１及び図１２と図１３の
フローチャートとを参照しながら説明する。なお、図１
３のフレーチャートは、画素毎に動作させるものであ
る。まず、動きベクトル復号部３０２から出力される動
きベクトルＶを計算後動きベクトルＶｄに代入しておく
（ステップＢ１）。ステップＢ２で、計算後動きベクト
ルＶｄから参照すべき復元画像の位置を求め、その復元
画像が誤っていないかを誤り情報記憶部３０８の誤り情
報から調べ、参照すべき復元画像が誤っている場合に
は、ステップＢ３に進む。参照すべき復元画像が誤って
いる場合とは、計算後動きベクトルＶｄの示す部分が図
１２のｎフレーム目の薄いグレーのスライスに含まれて
いる場合である。参照すべき復元画像が誤っていない場
合には、計算後動きベクトルＶｄと参照すべき復元画像
から予測画像を構成する（ステップＢ８）。ステップＢ
３では、参照すべき復元画像よりも時間的１つ前に復元
されたフレームが復元画像記憶部３０５のｎ＋１個のフ
レーム記憶部のいずれに存在するか否かを調べる。ステ
ップＢ３で偽である場合には、現在の計算後動きベクト
ルＶｄと選ばれている復元画像とから予測画像を構成す
ることになる（ステップＢ８）。ステップＢ３で真であ
る場合には、参照すべき復元画像よりも時間的１つ前に
復元されたフレームを参照すべき復元画像とする（ステ
ップＢ４）。そして、復号しようとするマクロブロック
に対する参照すべき復元画像が一部分でも残っているか
否かを判定する（ステップＢ５）。ステップＢ５で真で
ある場合には、動きベクトル記憶部３１２で記憶されて
いる動きベクトルを用いて上記式３又は式４のように計
算後動きベクトルＶｄを計算し直し（ステップＢ６）、
ステップＢ２に戻る。ステップＢ５で偽である場合に
は、ステップＢ５で参照すべき復元画像のフレーム番
号、復号化しようとしている画像のフレーム番号、及び
復号化しようとしている画像の１つ前に復元された画像
のフレーム番号から動きベクトルＶｄを計算し直す。こ
の計算後動きベクトルＶｄの計算方法は第１の実施形態
で示した上記式１のように行う。そして、ステップＢ２
に戻り、再び計算後動きベクトルＶｄが示す参照すべき
復元画像が誤っているか否かを調べる。ステップＢ２か
らステップＢ６又はＢ７を繰り返すことにより、誤り検
出される復号不可能となっていない参照すべき復元画像
を見つけ出し、その復元画像から予測画像を構成するこ
とができる。以上のように、第２の実施形態によれば、
第１の実施形態と同様な効果が得られる。また、第２の
実施形態によれば、第１の実施形態では、動きベクトル
計算部での動きベクトル計算は、フレームの時間間隔に
のみ比例するので、画像内の物体の動きが等速度運動し
ているものに対してのみ有効であったが、第２の実施形
態ではそれに加えて、過去に復号された動きベクトルを
も用いて復号するので、画像内の物体の動きに加速度が
あっても対応することができる。 （Ｃ） 他の実施形態 上記各実施形態においては、誤り検出通知部が受け取る
誤り検出信号は、ビットストリーム復号部、予測誤差復
号部、及び動きベクトル復号部から受け取っていたが、
動画像復号装置の外部に誤り検出機能を持つ場合には、
その外部からの誤り検出信号を受け取るようにしても良
い。また、第２の実施形態では、動きベクトル計算部で
の動きベクトルの計算（上記式４に示す計算）は、動き
ベクトル記憶部に格納されている動きベクトルのみを用
いているが、第１の実施形態の計算方法も考慮に入れ、
下記式５のように計算することもできる。なお、重みａ
１、ａ２、....、ａｎの比は、動きベクトルＶが指し示
す１つ前のフレームの画像部分で、それぞれのマクロブ
ロックが占めている面積の比を表す。また、Ｖｄの初期
値はＶである。 式５：Ｖｄ＝ｂ１*{Ｖｄ＋(ａ１*Ｖ１)＋(ａ２*Ｖ２)＋....＋(ａｎ*Ｖｎ)} ＋ｂ２*[{(ＴＲｄ−ＴＲｒ)／(ＴＲｄ−ＴＲｐ)*Ｖ)} さらに、第２の実施形態では、上記式４での重みａ１、
ａ２、....、ａｎは、必ずしも、動きベクトルＶが指し
示す１つ前のフレームの画像部分でそれぞれのマクロブ
ロックが占めている面積の比である必要も無く、別の値
にすることもできる。さらにまた、第２の実施形態で
は、動きベクトル記憶部の容量は、復元画像記憶部に記
憶されている復元画像分の動きベクトルを保持するため
の容量が必要であるように説明したが、それより少なく
ても良い。この場合、復元画像のみが記憶されていて、
それに対応する動きベクトルが記憶されていない場合が
あるが、そのような場合には、上記式４又は式５のよう
に動きベクトルを計算する代わりに、第１の実施形態の
ように式２で計算すれば動作可能である。また、上記各
実施形態では、図８及び図１２に示すように、復号する
フレームの１つ（又は複数）前のフレームの画像部分に
おいて、復元画像がある部分は、動きベクトルを用いて
予測画像部分を生成し、一方、復元画像がない部分は、
さらに１つ前のフレームの画像部分から計算後動きベク
トルを用いて予測画像部分を生成するものを示したが、
１つ前のフレームの画像部分に復元画像がある部分にお
いても、さらに１つ前のフレームの画像部分から計算後
動きベクトルを用いて予測画像部分を生成するものであ
っても良い。

【発明の効果】以上のように、第１の本発明によれば、
動き補償機能を有する予測画像符号化方式で符号化され
た動画像符号化データを復号する動画像復号方法におい
て、（１）過去に復元した時刻が異なる複数の画像と、
その各画像について、誤り検出された、符号化の際に動
きベクトルを算出する単位である部分領域を指定する誤
り領域指定情報とを記憶し、（２）現時刻の画像におけ
る復号しようとしている部分領域について到来した受信
動きベクトルと、記憶されている上記誤り領域指定情報
とから、復号しようとしている上記部分領域の復元に用
いる１又は複数の参照用過去画像を決定すると共に、そ
の参照用の過去画像上で、復号しようとしている上記部
分領域に対応した領域を規定するための参照用動きベク
トルを決定し、（３）決定された参照用過去画像及び参
照用動きベクトルを参照して、復号しようとしている部
分領域についての復元画像を得るので、上記受信ベクト
ルで復号しようとする過去画像の領域部分が誤り検出さ
れて参照できない場合あっても、この領域部分が参照で
きる参照用過去画像と参照用動きベクトルとを決定し、
この決定した参照用過去画像及び参照用動きベクトルに
よって復号しようとしている部分領域についての復元画
像を得ることができ、誤り検出による画像の歪みが後続
する画像に伝播することを防ぐことができる。また、第
２の本発明によれば、動き補償機能を有する予測画像符
号化方式で符号化された動画像符号化データを復号する
動画像復号方法において、（１）過去に復元した時刻が
異なる複数の画像と、その各画像について、誤り検出さ
れた、符号化の際に動きベクトルを算出する単位である
部分領域を指定する誤り領域指定情報と、過去に復元し
た各画像の構成要素である各部分領域について到来した
過去受信動きベクトルとを記憶し、（２）現時刻の画像
における復号しようとしている部分領域について到来し
た受信動きベクトルと、記憶されている上記誤り領域指
定情報及び上記過去受信動きベクトルとから、復号しよ
うとしている上記部分領域の復元に用いる１又は複数の
参照用過去画像を決定すると共に、その参照用の過去画
像上で、復号しようとしている上記部分領域に対応した
領域を規定するための参照用動きベクトルを決定し、
（３）決定された参照用過去画像及び参照用動きベクト
ルを参照して、復号しようとしている部分領域について
の復元画像を得るので、第１の本発明と同様の効果が得
られると共に、上記参照用過去画像と上記参照用動きベ
クトルを上記過去受信動きベクトルからも含めて決定
し、上記参照用過去画像と上記参照用動きベクトルの精
度を向上することができる。さらに、第３の本発明によ
れば、動き補償機能を有する予測画像符号化方式で符号
化された動画像符号化データを復号する動画像復号装置
において、（１）過去に復元した時刻が異なる複数の画
像と、その各画像について、誤り検出された、符号化の
際に動きベクトルを算出する単位である部分領域を指定
する誤り領域指定情報とを記憶する記憶手段と、（２）
現時刻の画像における復号しようとしている部分領域に
ついて到来した受信動きベクトルと、記憶している上記
誤り領域指定情報とから、復号しようとしている上記部
分領域の復元に用いる１又は複数の参照用過去画像を決
定すると共に、その参照用の過去画像上で、復号しよう
としている上記部分領域に対応した領域を規定するため
の参照用動きベクトルを決定する復号時参照情報決定手
段と、（３）決定された参照用過去画像及び参照用動き
ベクトルを参照して、復号しようとしている部分領域に
ついての復元画像を得る画像復号手段とを有するので、
上記受信ベクトルで復号しようとする過去画像の領域部
分が誤り検出されて参照できない場合あっても、この領
域部分が参照できる参照用過去画像と参照用動きベクト
ルとを決定し、この決定した参照用過去画像及び参照用
動きベクトルによって復号しようとしている部分領域に
ついての復元画像を得ることができ、誤り検出による画
像の歪みが後続する画像に伝播することを防ぐことがで
きる。さらにまた、第４の本発明によれば、動き補償機
能を有する予測画像符号化方式で符号化された動画像符
号化データを復号する動画像復号装置において、（１）
過去に復元した時刻が異なる複数の画像と、その各画像
について、誤り検出された、符号化の際に動きベクトル
を算出する単位である部分領域を指定する誤り領域指定
情報と、過去に復元した各画像の構成要素である各部分
領域について到来した過去受信動きベクトルとを記憶す
る記憶手段と、（２）現時刻の画像における復号しよう
としている部分領域について到来した受信動きベクトル
と、記憶している上記誤り領域指定情報及び上記過去受
信動きベクトルとから、復号しようとしている上記部分
領域の復元に用いる１又は複数の参照用過去画像を決定
すると共に、その参照用の過去画像上で、復号しようと
している上記部分領域に対応した領域を規定するための
参照用動きベクトルを決定する復号時参照情報決定手段
と、（３）決定された参照用過去画像及び参照用動きベ
クトルを参照して、復号しようとしている部分領域につ
いての復元画像を得る画像復号手段とを有するので、第
３の本発明と同様の効果が得られると共に、上記参照用
過去画像と上記参照用動きベクトルを上記過去受信動き
ベクトルからも含めて決定し、上記参照用過去画像と上
記参照用動きベクトルの精度を向上することができる。

【図面の簡単な説明】

【図１】第１の実施形態の動画像復号装置の構成を示す
ブロック図である。

【図２】マクロブロックとスライスの説明図である。

【図３】従来の動画像復号方法において、動きの小さい
部分に誤りを検出した場合の説明図である。

【図４】従来の動画像復号装置の構成を示すブロック図
である。

【図５】従来の動画像復号装置の予測誤差復号部１０１
の詳細構成を示すブロック図である。

【図６】従来の動画像復号方法において、動きの大きい
部分に誤りを検出した場合の説明図である。

【図７】第１の実施形態の復元画像記憶部２０５の詳細
構成を示すブロック図である。

【図８】第１の実施形態の動作概念の説明図である。

【図９】第１の実施形態の予測画像構成の動作を示すフ
ローチャートである。

【図１０】第１の実施形態による効果の説明図である。

【図１１】第２の実施形態の動画像復号装置の構成を示
すブロック図である。

【図１２】第２の実施形態の動作概念の説明図である。

【図１３】第２の実施形態の予測画像構成の動作を示す
フローチャートである。

【符号の説明】

２０３…予測画像構成部、２０５…復元画像記憶部、２
０７…動きベクトル計算部、２０８…誤り情報記憶部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 中井 敏久 東京都港区虎ノ門１丁目７番12号 沖電気 工業株式会社内 Ｆターム(参考） 5C059 KK01 MA01 MA05 MC11 NN01 NN08 NN11 NN21 NN28 NN34 PP04 RF01 RF09 RF11 SS06 SS07 TA21 TA25 TA62 TA65 TA76 TB08 TC11 TC22 TD18 UA05

Claims (10)

【特許請求の範囲】
1. 【請求項１】 動き補償機能を有する予測画像符号化方
   式で符号化された動画像符号化データを復号する動画像
   復号方法において、 過去に復元した時刻が異なる複数の画像と、その各画像
   について、誤り検出された、符号化の際に動きベクトル
   を算出する単位である部分領域を指定する誤り領域指定
   情報とを記憶し、 現時刻の画像における復号しようとしている部分領域に
   ついて到来した受信動きベクトルと、記憶されている上
   記誤り領域指定情報とから、復号しようとしている上記
   部分領域の復元に用いる１又は複数の参照用過去画像を
   決定すると共に、その参照用の過去画像上で、復号しよ
   うとしている上記部分領域に対応した領域を規定するた
   めの参照用動きベクトルを決定し、 決定された参照用過去画像及び参照用動きベクトルを参
   照して、復号しようとしている部分領域についての復元
   画像を得ることを特徴とする動画像復号方法。
2. 【請求項２】 上記受信動きベクトルと上記参照用過去
   画像の時刻と現時刻との時間差情報とに基づいて、上記
   参照用動きベクトルを決定することを特徴とする請求項
   １に記載の動画像復号方法。
3. 【請求項３】 動き補償機能を有する予測画像符号化方
   式で符号化された動画像符号化データを復号する動画像
   復号方法において、 過去に復元した時刻が異なる複数の画像と、その各画像
   について、誤り検出された、符号化の際に動きベクトル
   を算出する単位である部分領域を指定する誤り領域指定
   情報と、過去に復元した各画像の構成要素である各部分
   領域について到来した過去受信動きベクトルとを記憶
   し、 現時刻の画像における復号しようとしている部分領域に
   ついて到来した受信動きベクトルと、記憶されている上
   記誤り領域指定情報及び上記過去受信動きベクトルとか
   ら、復号しようとしている上記部分領域の復元に用いる
   １又は複数の参照用過去画像を決定すると共に、その参
   照用の過去画像上で、復号しようとしている上記部分領
   域に対応した領域を規定するための参照用動きベクトル
   を決定し、 決定された参照用過去画像及び参照用動きベクトルを参
   照して、復号しようとしている部分領域についての復元
   画像を得ることを特徴とする動画像復号方法。
4. 【請求項４】 上記受信動きベクトルと上記誤り領域指
   定情報とから、上記参照用動きベクトルを決定するため
   に使用する上記１又は複数の過去受信動きベクトルが存
   在する場合には、その上記過去受信動きベクトルと、そ
   の上記過去受信動きベクトルの上記参照用動きベクトル
   に対するパラメータとを決定することを特徴とする請求
   項３に記載の動画像復号方法。
5. 【請求項５】 上記受信動きベクトルと上記誤り領域指
   定情報とから、上記参照用動きベクトルを決定するため
   に使用する上記１又は複数の過去受信動きベクトルが存
   在しない場合には、上記受信動きベクトルと上記参照用
   過去画像の時刻と現時刻との時間差情報とに基づいて、
   上記参照用動きベクトルを決定することを特徴とする請
   求項４に記載の動画像復号方法。
6. 【請求項６】 動き補償機能を有する予測画像符号化方
   式で符号化された動画像符号化データを復号する動画像
   復号装置において、 過去に復元した時刻が異なる複数の画像と、その各画像
   について、誤り検出された、符号化の際に動きベクトル
   を算出する単位である部分領域を指定する誤り領域指定
   情報とを記憶する記憶手段と、 現時刻の画像における復号しようとしている部分領域に
   ついて到来した受信動きベクトルと、記憶している上記
   誤り領域指定情報とから、復号しようとしている上記部
   分領域の復元に用いる１又は複数の参照用過去画像を決
   定すると共に、その参照用の過去画像上で、復号しよう
   としている上記部分領域に対応した領域を規定するため
   の参照用動きベクトルを決定する復号時参照情報決定手
   段と、 決定された参照用過去画像及び参照用動きベクトルを参
   照して、復号しようとしている部分領域についての復元
   画像を得る画像復号手段とを有することを特徴とする動
   画像復号装置。
7. 【請求項７】 上記復号時参照情報決定手段は、上記受
   信動きベクトルと上記参照用過去画像の時刻と現時刻と
   の時間差情報とに基づいて、上記参照用動きベクトルを
   決定することを特徴とする請求項６に記載の動画像復号
   装置。
8. 【請求項８】 動き補償機能を有する予測画像符号化方
   式で符号化された動画像符号化データを復号する動画像
   復号装置において、 過去に復元した時刻が異なる複数の画像と、その各画像
   について、誤り検出された、符号化の際に動きベクトル
   を算出する単位である部分領域を指定する誤り領域指定
   情報と、過去に復元した各画像の構成要素である各部分
   領域について到来した過去受信動きベクトルとを記憶す
   る記憶手段と、 現時刻の画像における復号しようとしている部分領域に
   ついて到来した受信動きベクトルと、記憶している上記
   誤り領域指定情報及び上記過去受信動きベクトルとか
   ら、復号しようとしている上記部分領域の復元に用いる
   １又は複数の参照用過去画像を決定すると共に、その参
   照用の過去画像上で、復号しようとしている上記部分領
   域に対応した領域を規定するための参照用動きベクトル
   を決定する復号時参照情報決定手段と、 決定された参照用過去画像及び参照用動きベクトルを参
   照して、復号しようとしている部分領域についての復元
   画像を得る画像復号手段とを有することを特徴とする動
   画像復号装置。
9. 【請求項９】 上記復号時参照情報決定手段は、上記受
   信動きベクトルと上記誤り領域指定情報とから、上記参
   照用動きベクトルを決定するために使用する上記１又は
   複数の過去受信動きベクトルが存在する場合には、その
   上記過去受信動きベクトルと、その上記過去受信動きベ
   クトルの上記参照用動きベクトルに対するパラメータと
   を決定することを特徴とする請求項８に記載の動画像復
   号装置。
10. 【請求項１０】 上記復号時参照情報決定手段は、上記
    受信動きベクトルと上記誤り領域指定情報とから、上記
    参照用動きベクトルを決定するために使用する上記１又
    は複数の過去受信動きベクトルが存在しない場合には、
    上記受信動きベクトルと上記参照用過去画像の時刻と現
    時刻との時間差情報とに基づいて、上記参照用動きベク
    トルを決定することを特徴とする請求項９に記載の動画
    像復号装置。