JPH05328324A - 動き補償フレーム間予測符号化のリフレッシュ方式 - Google Patents

Abstract

(57)【要約】 【目的】動き補償フレーム間予測符号化と周期的リフレ
ッシュを併用した場合、受信チャンネルを切り替えたと
きに画像に障害が残るのを防止する。 【構成】動き補償フレーム間予測符号化を用いた画像伝
送方式において、１フレームあるいは１フィールド内の
一領域（ＲＡ）に強制的にフレーム内符号化（以下、こ
れをリフレッシュとする）を使用し、数フレーム、ある
いは数フィールドに渡ってこの領域（ＲＡ）をずらして
ゆくことで画面全体のデータのリフレッシュを行なう時
に、上記フレーム内符号化モードを使用する領域を、動
きベクトルの探索範囲に応じてオーバーラップ（Ｌ）さ
せるものである。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】動き補償フレーム間予測符号化を
用いた画像伝送システムに用いられるもので、フレーム
内符号化処理であるリフレッシュを行う方法を改善し
た、動き補償フレーム間予測符号化のリフレッシュ方式
に関する。

【０００２】

【従来の技術】動き補償フレーム間予測符号化を用いた
画像伝送システムの従来例を以下に説明する。

【０００３】画像情報をデジタル化すると膨大な情報量
が発生するため、画像の相関関係を用いて送信する情報
量を減らすことが行なわれる。そのためには、動き補償
フレーム間予測符号化とフレーム内符号化が使われるこ
とが多い。そして、これらの符号化は画素を数十個集め
た画素ブロックを単位として処理が行なわれる。図４
（Ａ）に、動き補償フレーム間予測符号化を行なう送信
機を示す。

【０００４】入力端子１には、映像データが入力され、
減算器２及び動き検出及び補償回路７に入力される。減
算器２では、スイッチ８がオンしているときは、スイッ
チ８を介してフレーム間予測信号と入力信号との減算処
理が行われる。減算器２の出力は、符号器３に入力され
て符号化される。符号器３の出力は、予測誤差信号とし
て出力端子９に導出されると共に復号器４に入力され復
号される。復号された信号は、減算器２の出力と同じで
あり、加算器５に入力される。加算器５には、動き検出
及び補償回路７の出力も入力されており、その加算出力
は、フレームメモリ６に入力される。動き検出及び補償
回路７は、フレームメモリ６の出力（前フレームの信
号）と入力端子１に入力している現フレームの信号とを
比較して、前フレームの画像に対して現フレームの画像
に動きがあるかどうかを検出し、動きベクトルを得ると
共に、その動き分だけ前フレームの画像を補正して出力
している。従って、加算器５の出力は、現フレームの信
号を予測した信号としてメモリ６に格納されることにな
る。また動きがあった場合には、スイッチ８がオンされ
て前フレームから現フレームの信号を予測した信号と、
現フレームの信号との差（つまり予測誤差）信号が減算
器２から得られることになる。さらに、上記の送信機の
動作を説明する。

【０００５】今、現在送信しているデータのフレームを
フレームＰ、次に送信するフレームをフレームＮとし、
スイッチ７は閉じているものとする。フレームＰのデー
タは復号器４と加算器５によって画像データに復号化さ
れ、フレームメモリ６に保存されている。そして、動き
検出及び補償回路７ではフレーム間に生じる画像の動き
を検出し、その動きに応じて前フレームのデータを変異
して次のフレームの予測画像データを作ることで符号化
の効率化を図っている。

【０００６】図４（Ｂ）は動き検出及び補償回路７の動
作の概略を示している。動き検出及び補償回路７では、
まず現フレームＮ内に画素ブロックｎを定める。次に、
フレームメモリ６に格納されている前フレームＰ内に、
画素ブロックｎがフレームＮ内で占める位置を包含する
ような領域ＳＡを定める。ＳＡはサーチ・エリアと呼ば
れる。領域ＳＡ内から画素ブロックｎと同じ大きさの任
意の画素ブロックｐ１を切り出し、ｐ１とｎ間で同じ位
置を占める画素間の差分値ｄの絶対値の和を求める。ｐ
１の位置は１画素分づつ移され、その和が最小になった
ｐ１をｐとする。そしてｐとｎの位置のズレを動きベク
トルＶとする。また、ｐとｎの差分値ｄは予測誤差信号
ｄとなる。動きベクトルＶと予測誤差信号ｄはフレーム
Ｎ内の画素ブロックｎのデータとして送信される。

【０００７】図５に受信機の構成を示す。入力端子１０
を介して予測誤差信号が復号器１１に入力される。復号
された予測誤差信号は、画像としては不完全であるか
ら、加算器１２において動き補償回路１５からの信号が
スイッチ１３を介して加算される。加算器１２の出力
は、出力端子１７に導出されると共に、フレームメモリ
１４に格納される。フレームメモリ１４の出力は、動き
補償回路１５に入力され、端子１６からの動きベクトル
に応じて位置補正される。つまり前フレームの画像が動
きベクトルにより位置補正され、さらに予測誤差信号を
加算されることにより現フレームの画像として完成され
るようになっている。

【０００８】さらに動作を説明する。現在示しているフ
レームＰのデータをフレームメモリ１４に保存し、スイ
ッチ１３は閉じているものとする。図４（Ｂ）の前フレ
ームＰ内にある画素ブロックｐは、送られてきた動きベ
クトルＶ分だけ動き補償回路１５によって変位され、加
算器１２で画素の予測誤差信号ｄを加えられてフレーム
Ｎ内の画素ブロックｎに復号化される。

【０００９】上記の動き補償フレーム間予測符号化シス
テムでは、その処理形態としてフレーム内符号化処理と
フレーム間符号化処理がある。フレーム内符号化処理
は、リフレッシュと呼ばれる。フレーム内符号化はフレ
ーム内だけの画素データを、予測せずに直接符号化して
送信する伝送方法である。従って、フレーム内符号化を
用いた場合、受信機では前フレームＰのデータを使わず
にフレームＮの画面を再生できる。フレーム間符号化処
理では、前のフレームのデータに予測誤差のデータを加
えることで次のフレームのデータを作り情報量を少なく
している。そしてフレーム内符号化処理とフレーム間符
号化処理を活用することにより、全体的には伝送情報量
を少なくして効率化を図っている。

【００１０】しかしフレーム間符号化処理が連続して行
われているとき、ある時点で受信機が受信したデータに
誤りがあったとすると、そこで発生した誤差は、訂正さ
れずにそのあと残り続けることになる。このエラーの伝
搬をなくすためには、フレーム内符号化を定期的に用い
てフレーム内のデータの誤差の蓄積を防ぐリフレッシュ
が必要である。リフレッシュには、１度に１画面分のリ
フレッシュを行なう場合と、１画面を幾つかに分割して
１回で一つの領域をリフレッシュし、数フレームあるい
は数フィールドかけて１画面分のリフレッシュを行う周
期的リフレッシュがある。

【００１１】ここでは、送信時に比較的容易に送信バッ
ファの制御が行なえる周期リフレッシュについて説明す
る。なおフレーム内符号化は、画素ブロックに動き補償
フレーム間予測符号化を施したときのデータ量とフレー
ム内符号化を施したときのデータ量とを比較し場合、フ
レーム内符号化のデータ量のほうが少ないときであって
も強制的に実行される。フレーム内符号化を行なう場合
には、システムにおけるスイッチ８、スイッチ１３は開
いている。

【００１２】図６は、周期的リフレッシュの説明図であ
る。同図ではフレームを短冊型に区切り、１フレームに
ついて短冊一つ分の領域を強制的にフレーム内符号化し
て送信している。フレーム内符号化が行なわれる短冊ａ
１の位置はフレームごとに順に送られる。例えば、１フ
レームを１１分割してａ１を定義する場合には、画面が
１１フレーム分送られた時に全ての短冊についてフレー
ム内符号化が一回ずつ行なわれ、画面全体が１回リフレ
ッシュされたことになる。動き補償フレーム間予測符号
化を行なうシステムの基本的な動作は、以上の通りであ
る。

【００１３】ところでテレビ受信機を用いる場合、ユー
ザーは複数のチャンネルの中から任意のチャンネルに任
意の時間で切り替えて使うことになる。そこで、受信機
側で受信チャンネルをＡからＢへ切り替えたときを考え
る。このとき、Ｂチャンネルの送信機側では受信機がチ
ャンネルを切り替えたことがわからないので、引き続き
動き補償フレーム間予測符号化を用いて画面データを送
信する。ところが、受信機が表示しているフレームＰは
Ａチャンネルのものであって、新しいチャンネルの画面
を構成するために必要なＢチャンネルの画像データは持
っていない。よって動き補償フレーム間予測符号化を用
いた領域ではＢチャンネルの画面を構成できず、ユーザ
ーから見た場合、新しいチャンネルをしばらくは完全な
形で受信できないことになる。

【００１４】このチャンネル切り替えを行なう際に、新
しいＢチャンネルの画像を構成するためにも周期的リフ
レッシュは有効である。ＡからＢへチャンネルを切り替
えたとき、図６のａ２の領域で動き補償フレーム間予測
符号化を用いられた画素ブロックは、新しいＢチャンネ
ルの画像にならない。しかしａ１の部分は、前述の通り
フレームＰの画像データを使わずに画像を再生できるの
でＢチャンネルの画像になる。そして、１１フレーム後
には画面１フレーム分のデータがＢチャンネルのものに
なり、新しいチャンネルが受信できるはずである。

【００１５】ところが、このシステムでは、符号化の際
に動き補償を用いているために、１１フレーム後の画面
全体のデータが、完全に新しいチャンネルのものに切り
替わらない場合が生じる。

【００１６】図７（７Ａ）は、１１フレーム後の画面全
体のデータが、完全に新しいチャンネルのものに切り替
わらない場合の例を示している。ＡはＡチャンネルの信
号（実際には１１フレーム後であるから乱れた信号とな
っている）、ＢはＢチャンネルの信号でありリフレッシ
ュ済みの領域であり、以下領域Ａ、領域Ｂとする。領域
Ａの注目すべき画素ブロックは四角で囲んである。図７
Ａ（ａ）に示した時点ではＢチャンネル側がリフレッシ
ュ済みであるものとする。このとき、領域Ａの画素ブロ
ックが図７Ａ（ｂ）に示したように動いているものであ
った場合、動き補償が行われているために、続いて行わ
れる処理では旧いチャンネルのデータが混在する領域Ａ
の信号を領域Ｂの一部に取り込むことになり、領域Ａの
一部分Ｘが、フレーム間符号化により新しい領域Ｂ（１
１フレーム前にすでにリフレッシュ済み）のデータのみ
からなる領域に浸食していくことが起こりうる。この部
分Ｘは、次のフレームのリフレッシュによって図７Ａ
（ｃ）時点のように周囲が新しいチャンネルのデータに
書き換えられても旧いチャンネルのデータを持ったまま
残される。

【００１７】図７（７Ｂ）は、周期的リフレッシュの周
期と部分Ｘの動きの関係によっては領域Ａの画像データ
ｂを消し去ることが不可能となる場合の例を示してい
る。例えば、リフレッシュ領域αに乱れた画像データを
持つ部分Ｘが存在したとする（図７Ｂ（ａ））。領域α
をリフレッシュする前に部分Ｘが領域βに動き補償され
て移動し（時点図７Ｂ（ｂ））、次に領域βをリフレッ
シュする直前に同じ部分Ｘが再び領域αに移動したとす
ると（時点図７Ｂ（ｃ））、領域αとβが共にリフレッ
シュされたにも関わらず、乱れた画像データを持つ部分
Ｘは消されずに残っている。これが繰り返されたとする
と、領域αとβのリフレッシュを何回行ったとしても乱
れた領域Ａのデータを持つ部分Ｘは残り続ける。

【００１８】

【発明が解決しようとする課題】上記したように、動き
補償フレーム間予測符号化と周期リフレッシュを併用し
た場合に、乱れた画像がリフレッシュ領域を浸食してリ
フレッシュが無効となり、復号動作開始時に即座に良好
な画像が再生されないという使用上の不便があった。こ
の発明は、チャンネル切り替え時でも短時間で良好な画
像を再生できる動き補償フレーム間予測符号化のリフレ
ッシュ方式を提供することを目的とする。

【００１９】

【課題を解決するための手段】周期リフレッシュにおい
てフレーム内符号化モードを用いる領域に、領域同志が
重なり合うオーバーラップ部分を設け、このオーバーラ
ップ部分の大きさは、動きベクトルの探索範囲に応じて
設定されるものである。

【００２０】

【作用】上記した、オーバーラップ部分の存在により、
動き補償の存在下であっても、リフレッシュされた領域
にリフレッシュされていない領域からデータが持ち込ま
れることがなくなり、受信機でチャンネルを切り替えた
ときに、リフレッシュが１周期行なわれる程度の期間で
画面全体を新しいチャンネルの画像に完全に切り替える
ことができる。

【００２１】

【実施例】以下、この発明の実施例を図面を参照して説
明する。

【００２２】図１はこの発明の一実施例の説明図であ
る。図に示すように、画素ブロックｎはＷ１画素×Ｗ１
画素の大きさを持ち、この画素ブロックｎに対応するサ
ーチエリアＳＡは、ｎの上下左右にＬＷ画素の幅をとっ
た領域とする。リフレッシュ領域ＲＡのオーバーラップ
部分Ｌは、リフレッシュ領域ＲＡの移動方向側に画素ブ
ロックｎのサーチエリアＳＡを覆う幅だけ付加する。こ
のオーバーラップ部分Ｌの幅は図ではＬＷである。以上
の条件のもとで、動き補償フレーム間予測符号化を行な
いつつ周期リフレッシュを行なった時の様子を説明す
る。

【００２３】図２に示すように、現在からみてひとつ前
のフレームはリフレッシュ領域ＲＡ０とそれに付加され
たオーバーラップ部分Ｌ０によってリフレッシュが行な
われている。ここで、現在のフレームのリフレッシュ領
域ＲＡ０内にある画素ブロックｎ１を作るために前のフ
レームの画素ブロックｐ１が使われるとき、リフレッシ
ュのオーバーラップ部分Ｌ０がＳＡ１を覆うように設定
されているので、ｐ１は確実にＲＡ０とＬ０を合わせた
領域の内部に存在する。よって、ｎ１を構成するための
ｐ１のデータは、全てリフレッシュ済みの領域のデータ
が用いられることになる。

【００２４】また、現在のフレームのリフレッシュ領域
ＲＡ０の外にある画素ブロックｎ２を作るために、前の
フレームの画素ブロックｐ２が使われるとすると、画素
ブロックｎ２の範囲でリフレッシュのオーバーラップ部
分Ｌ０と重なった部分には、リフレッシュ領域ＲＡ０と
そのオーバーラップ部分Ｌ０によってリフレッシュされ
た領域以外からのデータが持ち込まれることになるが、
このリフレッシュされた領域以外からのデータはリフレ
ッシュ領域ＲＡ０には決して持ち込まれないことにな
る。

【００２５】これをチャンネル切り替えの立場から表現
する。現在のフレームの前のフレームのリフレッシュ領
域ＲＡ０とそのオーバーラップ部分Ｌ０によってリフレ
ッシュされたために新しいチャンネルＢのデータだけか
らなる領域Ｂのうち、リフレッシュ領域ＲＡ０には上記
の理由により旧いチャンネルのデータが混在する領域Ａ
のデータは持ち込まれない。またリフレッシュのオーバ
ーラップ部分Ｌ０には旧いチャンネルのデータが持ち込
まれるが、このＬ０は次のリフレッシュ時にリフレッシ
ュ領域ＲＡ１によって新しいチャンネルのデータにあら
ためて書き直される。つまり、リフレッシュが終わった
領域にリフレッシュの移動方向からＡチャンネルのデー
タを持ったブロックが浸食してくることはない。

【００２６】一方、全ての画素ブロックは、周期的リフ
レッシュが１画面分行なわれるあいだに一回は周期的リ
フレッシュの移動方向側に位置する。ゆえに受信機に表
示される画像は、Ｂチャンネルの画像データによる周期
的リフレッシュが画面１枚ないし２枚分行なわれるあい
だに、完全に新しいチャンネルＢの画像だけから構成さ
れることになる。

【００２７】上記の実施例では、オーバーラップ部分を
リフレッシュ領域の経時的移動方向側に付加したが、図
３（Ａ）に示すように移動方向とは逆側に、あるいは図
３（Ｂ）の様にリフレッシュ領域の両側に付加した場合
も上記と同様に、リフレッシュが画面１枚分ないし２枚
分行なわれるあいだに画面全体の画像を新しいチャンネ
ルの画像にすることがができる。

【００２８】

【発明の効果】以上に述べたように、動き補償フレーム
間予測符号化と周期的リフレッシュを併用した場合、リ
フレッシュ領域にオーバーラップ部分を設けることで受
信チャンネルを切り替え時の障害を除くことができる。

【図面の簡単な説明】

【図１】この発明の一実施例におけるサーチ・エリアと
リフレッシュ領域とオーバーラップ部分の説明図。

【図２】この発明の方式によりリフレッシュを行った場
合の動き補償信号処理の説明図。

【図３】この発明の方式の他の実施例におけるオーバー
ラップ部分の説明図。

【図４】この発明に関わる送信機の原理を示すブロック
図及び動き補償の説明図。

【図５】この発明に関わる受信機の原理を示すブロック
図。

【図６】周期的リフレッシュを説明するための概念図。

【図７】従来のリフレッシュ方式でチャンネル切り替え
を行なった場合の問題点を説明するための説明図。

【符号の説明】

Ｗ１、Ｗ２…画素ブロックの幅、ＳＡ…サーチエリア、
ＲＡ…リフレッシュ領域、Ｌ…ＲＡに付加されたオーバ
ーラップ部分、ＬＷ…動きベクトルの探索範囲、ＲＡ０
…現在のフレームのひとつの前のフレームのリフレッシ
ュ領域、Ｌ０…ＲＡ０に付加されたオーバーラップ部
分、ｎ１，ｎ２…現在のフレームの画素ブロック、ｐ
１、ｐ２…ひとつ前のフレームの画素ブロック、ＲＡ１
…現在のフレームのリフレッシュ領域、ＳＡ１…ｎ１の
サーチ・エリア、ＳＡ２…ｎ２のサーチ・エリア、Ｌ１
…リフレッシュ領域ＲＡに、ＲＡの移動方向と逆側に付
加されたオーバーラップ部分、Ｌ２…リフレッシュ領域
ＲＡに、ＲＡらの移動方向側に付加されたオーバーラッ
プ部分、Ｎ、Ｐ…時間的にとなりあったフレーム、ｎ，
ｐ，ｐ’…画素ブロック、ＳＡ…サーチ・エリア、ｄ…
画素の間の差分値、Ｖ…動きベクトル。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 動き補償フレーム間予測符号化を用いた
   画像伝送方式において、 １フレームあるいは１フィールド内の一領域に強制的に
   フレーム内符号化（以下、これをリフレッシュとする）
   を使用し、数フレーム、あるいは数フィールドに渡って
   この領域をずらしてゆくことで画面全体のデータのリフ
   レッシュを行なう時に、上記フレーム内符号化モードを
   使用する領域を、動きベクトルの探索範囲に応じてオー
   バーラップさせることを特徴とする動き補償フレーム間
   予測符号化のリフレッシュ方式。
2. 【請求項２】 前記オーバーラップさせる部分は、前記
   領域において当該領域をずらして行く側に設定すること
   を特徴とする請求項１記載の動き補償フレーム間予測符
   号化のリフレッシュ方式。
3. 【請求項３】 前記オーバーラップさせる部分は、前記
   領域において当該領域をずらして行く側とは反対側に設
   定することを特徴とする請求項１記載の動き補償フレー
   ム間予測符号化のリフレッシュ方式。