JPH0191584A - 動画伝送方法および装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、動画像の伝送を行う動画伝送方法および装置
に関し、特に画像品質が高く、かつ伝送効率が高い動画
伝送方法および装置に関する。

〔従来の技術〕

テレビ会議システムのように、帯域が広く、しかも回線
使用コストが高い伝送路を用いて動画像の伝送を行う場
合には、一般に動画帯域圧縮技術が用いられる。

動画帯域圧縮技術の中でもフレーム間差分符号化方式は
、効率の良い画像伝送が可能なため種々の方式が開発さ
れ利用されている。

フレーム間差分符号化方式は、連続するフレームの間に
強い相関があることを利用し、フレーム間の差分のみを
符号化して伝送することによって帯域圧縮を行うもので
ある。しかしながらこの方式では、フレーム間の差分情
報が伝送誤り等で正確に受信側へ受信されないと、その
後のフレーム全てが正確に再生されないという欠点を持
つ。

この問題に対して一般に誤り訂正符号を用いることによ
り、エラーに対する耐力を高め、さらに誤り訂正不能な
誤りを検出した場合には、リフレッシュ制御が使われて
いる。

リフレッシュ制御とは、誤り訂正不能な誤りを検出した
場合、フレーム間差分符号化を行わず、フレーム内符号
化等を用いて新しいフレームの画像情報を転送し直すも
のである。その次のフレームからはフレーム間差分符号
化に切り替えられる。

第７図に、前述の従来技術における各フレームの送受信
の動作シーケンス図を示す。送信側では、フレーム間差
分符号化方式を用いており、フレーム＃１〜フレーム＃
５については各々１つ前のフレームと差分をとり、これ
を符号化して伝送する。

受信側では、１つ前のフレームを保持し伝送されてきた
フレーム間差分情報を加算して画像の再生を行う。

第７図において、フレーム＃４は伝送中に訂正不能なエ
ラーを起こしている。この場合、受信側はこの伝送エラ
ーを検出したため、送信側にリフレッシュ（Ｒｅｆｒｅ
ｓｈ）要求を行っている。また、後続するフレーム＃５
は、−度エラーが起きた後は、無効となりフレーム＃４
と同様に廃棄される。その後、送信側では、符号化方式
をフレーム間差分符号化からフレーム内符号化へ切り替
え、新しいフレームを送信する。フレーム付６以降はｉ
ｌｌ［のフレーム間差分符号化を行っており元のモード
となっている。

ここで問題なのは、フレーム内符号化では、圧縮率が低
くフレーム間差分符号化に比べてはるかに発生情報量が
大きくなる。例えば、フレーム間差分符号化で１．５Ｍ
ｂｐｓの回線を使用している場合、１フレーム約５０ｋ
ｂｉｔの発生率であるが、リフレッシュを行うと１フレ
一ムＩＭｂｉｔ〜２Ｍｂｉｔの情報が発生し、従って２
０フレーム〜４０フレーム（約１秒間）のリフレッシュ
時間を要する。その間、受信再生画像は静上状態（フリ
ーズ状態）となるため、動画品質は急激に劣化する。

第８図、第９図にそれぞれフレーム間差分符号化を用い
た動画伝送装置の一例である送信側ならびに受信側のブ
ロック図を示す。

第８図に示す送信側において、フレームメモリ３０は１
つ前のフレーム情報を保持するものであり、信号線３４
から各フレームの動画信号のフレーム情報Ｘが入力され
る。各フレーム情報Ｘは、差分器３１で信号線３５から
の１つ前のフレーム情報と差がとられ、フレーム間差分
情報ｅが求まる。このフレーム間差分情報ｅは、量子化
器３２で帯域圧縮され、得られたフレーム間差分情和合
は、信号線３６を経て伝送路へ送出される。通常ここで
は不等長符号化をさらに行うが、ここでは略している。

また、このようにして得られたフレーム間差分情報ｅと
、１つ前のフレーム情報量は加算器３３で加えられ新た
なフレーム情ｆｌａが生成されフレームメモリ３０で保
持される。

一方、第９図の受信側においては、伝送路の信号線４３
から誤り検出器４２および信号線４４を介して受信され
たフレーム間差分情報合は、加算器４１で、信号線４６
からのフレームメモリ４０内の１つ前のフレーム情報と
加算されて新たな画像フレームが再生され信号線４５へ
出力される。同時に再生画像はフレームメモリ４０へ保
持され、次のフレーム再生に用いられる。誤り検出器４
２が誤りを検出した場合、信号線４７を介して送信側ヘ
リフレッシュ要求を行う。

さて、このようなフレーム間差分符号化方式による動画
伝送に対し、近年、さらに動き補償を付加した動画伝送
方法ならびに伝送装置が出現している。この方法は、第
８図、第９図に示す伝送装置のフレームメモリ３０．４
０からの読み出し部に可変遅延器を設け、各フレーム毎
に動画像の動きベクトルを検出し、この動画像の動きベ
クトルに応じてフレーム内の画像を時間的にずらして読
み取ることによって動き補償をした予測フレームを生成
し、現在のフレームと差分をとるもので、より大きな帯
域圧縮効果が得られる。しかし、この場合でも第７図の
ように伝送誤りがあるとりフレッシュを要するのは変わ
らず、かつその場合に画像の品質を劣化させてしまうこ
とはまぬがれない。

〔発明が解決しようとする問題点〕

上述のように、従来技術において、フレーム間差分符号
化方式による動画の伝送中にエラーが発生すると、その
後の画面再生が不能となりリフレッシュを行わざるを得
ない。リフレッシュする時に発生ずる情報は、瞬間的に
３０Ｍｂｐｓ以上となる。

これを３８４ｋｂｐｓ〜１．５Ｍｂｐｓのフレーム間差
分符号化用回線で送信するめには少なくとも１秒〜数秒
間画像が静止してしまい動画品質の大きな劣化をもたら
す。

本発明の目的は、このような欠点を除去し、誤りが生じ
ても数フレーム＜１００ｍ５ｅｃ　〜２００ｒｎｓｅｃ
　）程度の間しか画像を静止させずに動画の再生を行う
ことのできる動画伝送方法および装置を提供することに
ある。

〔問題点を解決するための手段〕

本発明の動画伝送方法は、連続するフレーム間の差分情
報を符号化して伝送するフレーム間予測符号化方式を用
いて送信側と受信側とで動画像の伝送を行う動画伝送方
法であって、 各フレーム間差分情報にシーケンス番号を付加して伝送
し、フレーム間差分情報の伝送中に伝送誤りが起きた場
合、受信側では、この伝送誤りを検知したのち最後に誤
りなく受信したフレーム間差分情報のシーケンス番号を
示す情報を送信側へ通知し、送信側では、この通知に応
動して前記最後に誤りなく受信されたフレームと現在の
フレームとのフレーム間差分情報を送信するように、一
時的にフレーム間間隔を変化させてフレーム間予測符号
化を行うことを特徴としている。

本発明の動画伝送装置は、フレーム間予測符号化方式を
用いた動画像の伝送装置であって、送信側は、 各フレームの画像情報を保持するＮ個（Ｎは正の整数）
のフレームメモリを有し、これらＮ個のフレームメモリ
は、第１番目のフレームメモリには毎フレームごとに新
しいフレームの画像情報が入力され、かつ第に番目（２
≦ｋ≦Ｎ）のフ【／−ムメモリには毎フレームごとに第
ｋ−１番目のフレームメモリに保持されていた画像ＩＮ
　ＩＩが入力されるように互いに縦続接続され、 前記Ｎ個のフレームメモリの各出力端から１つの出力画
像情報を選択して出力するセレクタを有し、 選択された出力画像情報と、現在のフレームの画像情報
との差分を符号化する手段を有し、前記差分符号化され
たフレーム間差分情報にシーケンス番号を付加して伝送
する手段を有し、通常動作時においては、前記第１番目
のフレームメモリから１フレーム前の画像情報を出力す
るように前記セレクタを制御し、受信側から最後に誤り
なく受信されたフレームのシーケンス番号を示す情報が
通知された場合には、この最後に誤りなく受信されたフ
レームの画像情報を前記Ｎ個のフレームメモリから出力
するように前記セレクタを制御する手段を有し、 受信側は、 受信した各フレーム間差分情報の誤りを検出した場合に
、最後に誤りなく受信したフレーム間差分情報のシーケ
ンス番号を示す情報を送信側に通知するとともに、この
最後に誤りなく受信したフレームとの差分情報を受信す
るまでに受信するフレーム間差分情報を全て廃棄する手
段とを有する、ことを特徴としている。

また、本発明の動画伝送装置は、動き補償フレーム間予
測符号化方式を用いた動画像の伝送装置であって、 送信側は、 各フレームの画像情報を保持するＮ個（Ｎは正の整数）
のフレームメモリを有し、これらＮ個のフレームメモリ
は、第１番目のフレームメモリには毎フレームごとに新
しいフレームの画像情報が入力され、かつ第に番目（２
≦ｋ≦Ｎ）のフレームメモリには毎フレームごとに第ｋ
−１番目のフレームメモリに保持されていた画像情報が
入力されるように互いに縦続接続されており、前記Ｎ個
のフレームメモリの各出力端から１つの出力画像情報を
選択して佳′力するセレクタを有し、 選択された出力画像情報に対し、フレーム間の画像動き
ベクトル量に応じて可変遅延をかける可変遅延器を有し
、 前記可変遅延器から出力される画像情報と現在のフレー
ムの画像情報との差分を符号化する手段を有し、 前記フレーム間の画像動きベクトル量と前記差分符号化
されたフレーム間差分情報とをシーケンス番号を付加し
て伝送する手段を有し、通常動作時においては、前記第
１番目のフレームメモリから１つ前の画像情報を出力す
るように前記セレクタを制御し、受信側から最後に誤り
なく受信されたフレームのシーケンス番号を示す情報が
通知された場合には、この最後に誤りなく受信されたフ
レームの画像情報を前記Ｎ個のフレームメモリから出力
するように前記セレクタを制御する手段を有し、 通常動作時においては、１つ前のフレームと現在のフレ
ームとの間の画像の動きベクトル量を検知し、受信側か
ら最後に誤りなく受信されたフレームのシーケンス番号
を示す情報が通知された場合には、この最後に誤りなく
受信されたフレームと現在のフレームの間の画像の動き
ベクトル量を検知する手段を有し、 受信側は、 受信した各フレーム間差分情報あるいは動きベクトル量
の誤りを検出した場合に、最後に誤りなく受信したフレ
ーム間差分情報と動きベクトル■のシーケンス番号を送
信側に通知するとともに、最後に誤りなく受信したフレ
ームとの差分情報と動きベクトル量を受信するまでに受
信するフレーム間差分情報と動きベクトル量を全て廃棄
する手段とを有する、 ことを特徴としている。

〔作用〕

本発明は伝送誤りが起きた場合に、従来技術のようにリ
フレッシュを行わないで、フレーム間差分情報のみを伝
送して画像の再生を行うものである。

まず、伝送する各フレーム情報にはシーケンス番号が付
けられている。通常動作時、誤りがなければ送受信側の
動作は従来技術と同じである。伝送誤りが発生した場合
、受信側は最後に正しく受信したフレーム情報のシーケ
ンス番号を送信側へ伝える。送信側は、そのシーケンス
番号をもつフレーム情報をシフトレジスタ形に接続され
たフレームメモリ内に保持し、このフレーム情報とこれ
から送ろうとするフレーム情報との差分を取って符号化
するというものである。受信側は、この最後に正しく受
信したフレーム情報と最新のフレーム情報との差分情報
を受は取ることによって、即座に画像の再生が可能とな
る。

このようにフレーム間差分情報のみで伝送誤りに対処す
ると、受信側から送信側への誤り発生の通知に要する時
間とこれに応動して新たなフレーム間差分情報を送信側
から受信側へ伝送する時間の和は、高々２フレーム〜数
フレームの間であり、ｌＱＱｍｓｅｃ〜２００ｍ５ｅｃ
程度画像が停止するだけとなり動画品質の向上が可能と
なる。

また、動き補償を付加すれば、より大きな帯域圧縮効果
が得られる。

〔実施例〕

次に、本発明の実施例について図面を参照して説明する
。

第１図は、本発明による動画伝送方法の一実施例を示す
シーケンス図である。フレーム＃１．・・・、フレーム
＃９・・・のフレーム情報の伝送において、フレーム＃
４に対するフレーム間差分情報の伝送中にエラーが発生
しているものとする。

送信側では、フレーム＃１〜フレーム＃３までは通常の
フレーム間差分符号化方式に従って動画の伝送を行う。

すなわち、連続するフレーム間の差分情報が伝送され、
各フレームに対応する伝送情報Ｇこシーケンス番号ＳＮ
＃を付加している。例えばフレーム＃２はフレーム＃１
との差分情報が符号化され、シーケンス番号ＳＮ＃２が
付加されて伝送される。なお本発明では、シーケンス番
号とフレーム番号とは必ずしも一致するものではない。

以上のようにして、フレーム＃１〜フレーム＃３が伝送
される。

ここで、フレーム＃４に対応するシーケンス番号ＳＮ＃
４のフレーム間差分情報が誤り訂正不能な伝送誤りを起
こしたとする。この時点で、受信側は、フレーム＃３ま
で正常に受信している。そこで受信側は、フレーム＃３
をフリーズ状態（静止状態）として再生するとともにシ
ーケンス番号ＳＮ＃３まで正確に受信したことを送信側
へ通知する。この通知は、情報“ＲＥＪ＃３”を送信側
へ送ることにより行われる。この通知情報“ＲＥＪ＃３
°により送信側は、シーケンス番号ＳＮ＃３以降のシー
ケンス番号ＳＮ＃４．ＳＮ＃５の伝送画像信号の受信が
失敗したことを知る。

通常ならばこの時点で、送信側は、フレーム＃６を、フ
レーム＃５と差分をとって、シーケンス番号ＳＮ＃６を
付加して伝送しようとするところであるが、ここでは以
下の制御を行う。すなわち通知情報“ＲＥＪ＃３″によ
って、フレーム＃３は正確に受信されていることが確認
されるので、フレーム＃６は、フレーム＃３と差分がと
られて符号化される。伝送する画像情報に付加されるシ
ーケンス番号は、シーケンス番号ＳＮ＃４からつけ直す
。これは受信側において伝送されてくるフレーム情報の
どれから受信するか判断するためである。受信側では、
フレーム＃４に対応するシーケンス番号ＳＮ＃４の画像
情報が誤った時点で、シーケンス番号ＳＮ＃３の画像情
報まで正常に受信されているので、次にシーケンス番号
ＳＮ＃４の画像情報が送られてくるのを待っているので
ある。従って、受信側はすでに受信したフレーム＃５に
対するシーケンス番号ＳＮ＃５の画像情報を廃棄する。

このようにしてフレーム＃３と差分がとられたフレーム
＃６の画像情報（シーケンス番号ＳＮ＃４）が受信され
ると、受信側は、フリーズ状態としていたフレーム＃３
とシーケンス番号ＳＮ＃４の画像情報の和をとってフレ
ーム＃６を再生する。

従って、フレーム＃４が異常受信を起こしてもフレーム
＃６以降はまた通常の動画の再生が可能となり、この場
合画像のフリーズ状態は高々２フレーム（６０ｓｓｅｃ
）程度と非常に短い。

本実施例の動画伝送方法では、伝送エラーが起きた後の
シーケンス番号ＳＮ＃を用い受信側でシーケンスチエツ
クを行うことによって、最後に正しく受信されたフレー
ムとの差分情報を判別している。この判別方法の他にも
、最後に正しく受信されたフレームとの差分情報と通常
のフレーム差分器ｆｌとを区別するための情報をさらに
付加して判別する方法も考えられる。この場合、シーケ
ンス番号は、誤りが起きてもうち直さなくてよい。

また、本実施例においては、誤り受信が起きた場合に、
最後に誤りなく受信したフレームのシーケンス番号を送
信側に通知したが、誤ったフレームのシーケンス番号を
通知してもよい。その場合、誤ったフレームのシーケン
ス番号の１つ前のフレームからの差分情報を送るように
制御すればよい。

以上、フレーム間差分符号化方式を用いた動画伝送方法
について説明したが、動き補償フレーム間予測符号化方
式を用いた場合も、上記手順が同様に適用できる。

次に単純フレーム間差分符号化方式を用いた動画伝送装
置の一実施例について説明する。第２図はこの斬画伝送
装置の送信側ブロック図であり、第３図は受信側ブロッ
ク図である。

第２図に示す送信側装置は、＃１フレームメモＩ７５０
１．　＃　２フレームメモリ５０２．　＃　３フレーム
メモリ５０３．　＃　４フレームメモリ５０４　と、セ
レクタ５５と、差分器５１と、量子化器５２と、加算器
５３と、制御部５４とで構成される。

フレームメモリ５０１．５０２．５０３．５０４は、互
いにその出力と入力とが接続された縦続接続となってい
る。すなわち、＃１フレームメモリ５０１の出力は＃２
フレームメモリ５０２の入力と接続されており、＃２フ
レームメモリ５０２の出力は＃３フレームメモリ５０３
の入力と接続されており、＃３フレームメモリ５０３の
出力は＃４フレームメモリ５０４の入力と接続されてい
る。なお、＃ｌフレームメモリ５０１の入力は加算器５
３の出力と接続されている。このように接続された＃１
フレームメモリ５０１には１フレーム前の画像情報が、
＃２フレームメモリ５０２には２フレーム前の画像情報
が、＃３フレームメモリ５０３には３フレーム前の画像
情報が、＃４フレームメモリ５０４には４フレーム前の
画像情報がそれぞれ保持される。これは、ｋ番目のフレ
ームメモリへ入力された画像情報を各フレーム時間ごと
にに＋１番目のフレームメモリへ順次シフトして行くこ
とにより実現される。

セレクタ５５は、各フレームメモリ　５０１〜５０４の
出力端８１〜Ｓ４から、何フレーム前の画像情報を取り
出すかを選択する。

差分器５１は、人力されたフレームの画像情報Ｘとセレ
クタ５５から出力されるフレームの画像情報交との差を
とり、フレーム間情報ｅを出力する。

量子化器５２は、差分器５１から出力されるフレーム間
差分情報ｅの帯域圧縮を行う。

加算器５３は、量子化器５２から出力されるフレーム間
差分器ｌｅとセレクタ５５から出力される画像情報とを
加え、新たな画像情報を生成する。

制御部５４は、量子化器５２から出力される各フレーム
間差分情報０にシーケンス番号ＳＮ＃を付加する。また
、制御部５４は、通常動作時、＃１フレームメモリ５０
１から１フレーム前の画像情報を出力するようにセレク
タ５５を制御し、かつ受信側から最後に誤りなく受信さ
れたフレームのシーケンス番号を示す情報が通知された
場合には、この最後に誤りなく受信されたフレームの画
像情報を複数のフレームメモリ　５０１〜５０４から出
力するようにセレクタ５５を制御する。

一方、第３図に示される受信側装置は、誤り検出器６２
と、制御部６３と、スイッチ６４と、加算器６１と、フ
レームメモリ６０とで構成される。

誤り検出器６２は、送信側から送信されたフレーム間差
分情報ｅを受信して、誤りを検出する。誤りを検出した
場合には、制御部６３に通知する。

スイッチ６４は、誤り検出器６２から加算器６エへのフ
レーム間画像情報の出力を制御する。

制御部６３は、送信側装置より送信されたシーケンス番
号ＳＮ＃が順序を守って伝送されているかをチエツクす
る。また、スイッチ６４の開閉を制御しており、伝送誤
りがない場合、スイッチ６４を閉じ、フレーム間差分情
報を加算器６１に入力させる。

また、誤りを検知した時点で、エラーが発生したことを
示す情報を送信側へ送る。

加算器６１は、誤り検出器６２からのフレーム間差分情
報と、フレームメモリ６０からの画像情報との加算を行
い、新たなフレームの画像情報を再生するとともにフレ
ームメモリ６０へ再入力する。フレームメモリ６０は、
加算器６１で再生された画像情報を保持する。

次に、第２図、第３図に示された動画伝送装置の動作を
、第１図の動作シ・−ケンス図を参照しながら説明する
。

通常動作時、第２図に示される送信側装置においては、
セレクタ５５は＃１フレームメモリ５０１からの出力端
Ｓ１を選択する状態になっている。−方、第３図に示さ
れる受信側装置においては、スイッチ６４は閉じられて
いる。このような状態での動画伝送装置の通常時の動作
は第８図、第９図に示される従来の送受信装置と同様の
動作を行う。

送信側では、入力画像情報ｘが１つ前のフレームの画像
情報と差分器５１で差分がとられる。１つ前のフレーム
は＃１フレームメモリ５０１に保持されている。この差
分情報ｅは量子化器５２で量子化されて差分情報合とし
て伝送される。加算器５３で量子化器５２の出力ｅと１
つ前のフレームの画像情報交とが加算され、次のフレー
ムの画像情報が生成され＃ｌフレームメモリ５０１へ入
力される。

受信側では、伝送路から受信したフレーム間差分情報Ｑ
とフレームメモリ６０内の１つ前のフレームの画像情報
とが加算器６１で加算されて新たな画像フレームが再生
される。同時に再生画像はフレームメモリ６０へ保持さ
れ、次のフレーム再生に用いられる。

さてここで、第１図のシーケンスのように伝送中に誤り
が起きた場合を例にとって第２図、第３図の送受信装置
の動作を説明する。第１図においてフレーム＃４に関す
るフレーム間差分情報（シーケンス番号ＳＮ＃４）を受
信した時点で、第３図の受信側装置において、誤り検出
器６２が伝送誤りを検知し、これを制御部６３に通知す
る。制御部６３は、この時点でスイッチ６４を開放し、
加算器６■の入力を切る。また、この時点でフレームメ
モリ６０には最後に正しく受信されたフレーム＃３の画
像情報が保持されたままなので、再生画像はスイッチ６
４が開放されている限りフレーム＃３をフリーズし２て
いる状態となる。

制御部６３は誤りを検知した時点で通知情報“ＲＥＪ＃
３”を送信側装置へ送る。これはフレーム＃３までは正
常受信しそれ以降はエラーが発生したことを送信側へ伝
えるためである。制御部６３は、次に送信側からシーケ
ンス番号ＳＮ＃４を受信するまでスイッチ６４を開けて
おき、それまでに受信するフレームは廃棄する。

これに対して第２図の送信側装置の動きは、以下の通り
である。受信側装置からの通知情報“ＲＥＪ＃３”を送
信側装置の制御部５４が受は取った時、フレーム＃５を
送信した直後だったとする。

つまり、シーケンス番号ＳＮ＃５を送信した直後である
が、この時点で、＃１フレームメモリ５０１にはフレー
ム＃５の画像情報が、＃２フレームメモリ５０２にはフ
レーム＃４の画像情報が、＃３フレームメモリ５０３に
はフレーム＃３の画像情報が、＃４フレームメモリ５０
４にはフ１／−ム＃２の画像情報がそれぞれ保持されて
いる。制御部５４は、次にシーケンス番号ＳＮ＃６を送
るべき時点のところ、通知情報“ＲＥＪ＃３”の受信に
より、シーケンス番号ＳＮ＃３に対応するフレームまで
しか正常受信されてないことを知り、シーケンス番号Ｓ
Ｎ＃３に対応するフレーム＃３が保持されている＃３フ
レームメモリ５０３から画像情報を出力するようにセレ
クタ５５を制御する。これは制御線５４１を介して行う
。この時、＃３フレームメモリ５０３の出力端Ｓ３を選
択する方法は、シーケンス番号の比較で実現される。つ
まり次にシーケンス番号ＳＮ＃６を送信する時点で情報
“ＲＥＪ＃３”が通知されたので、６−３＝３となり３
番目の出力ポートＳ３が選択される。もし、情報“ＲＥ
Ｊ＃２”が通知されれば出力端Ｓ４が、情報“ＲＥＪ＃
４”ならば出力端Ｓ２が選ばれる。このようにして、最
後に正しく受信されたフレームの画像情報を複数のフレ
ームメモリの中から選択して出力し、新たなフレームの
画像情報との差分がとられて符号化されて伝送される。

この時、付加するシーケンス番号として、ここでは最後
に正しく受信されたシーケンス番号ＳＮ＃３の次のシー
ケンス番号ＳＮ＃４から用いられる。

以上の動作に対し第３図の受信側は、シーケンス番号Ｓ
Ｎ＃４が付加されたフレーム＃３とフレーム＃６との差
分情報を受信した時点で、制御部６３はスイッチ６４を
再び閉じてフレームメモリ６０に保持されたフレーム＃
３の画像情報と加算をとることで、フレーム＃６の画像
情報を再生することができる。以後は、送信側のセレク
タ５５を出力端Ｓ１に切り戻して通常時の動作に戻る。

以上の誤り回復に要する時間は、情報“ＲＥＪ＃”の通
知ならびにフレーム間隔が変更されてフレーム間差分符
号化された情報が受信されるまでの時間である。両者の
制御は以上述べたように単純なのでハード制御化は十分
可能であるため、誤り回復時間は上記の例では２フレ一
ム〜数フレーム程度ですむ。ここではフレームメモリを
４段しか設けなかったが、情報“ＲＥＪ＃”を通知する
のに要する時間に応じてその数を増設すればよい。

また、情報“ＲＥＪ＃”もしくは誤り回復用のフレーム
がさらに誤った場合は、受信側の制御部６３がタイムア
ウトを起こして、従来技術と同様にリフレッシュを送信
側へ通知すればよい。つまり、誤り訂正不能な誤りが誤
り回復制御時に再び起きない限り、リフレッシュを起こ
すことなくフレーム間差分符号化のみで誤り回復が可能
となる。

次に、動き補償フレーム間予測符号化方式を用いた動画
伝送装置の一実施例について説明する。

第４図はこの動画伝送装置の送信側ブロック図であり、
第５図は受信側ブロック図である。

第４図に示す送信側装置は、＃１フレームメモＩ７７０
１．　＃　２フレームメモリ７０２．　＃　３フレーム
メモリ７０３．　＃　４フレームメモリ７０４　と、セ
レクタ７５と、差分器７１と、量子化器７２と、加算器
７３と、制御部７４と、ベクトル検出器７７と、可変遅
延器７６とで構成される。この送信側装置は、第２図に
示す送信側装置に、さらにベクトル検出器７７と、可変
遅延器７６を付加した構成となっている。

ベクトル検出器７７は、入力されるフレーム間の画像の
動き方向とその量を示す動きベクトル量を出力するもの
である。このベクトル検出器７７の構成を第６図に示す
。ベクトル検出器７７は、ベクトル検出部９０とセレク
タ９１とで構成される。ベクトル検出部９０は、各々の
入力フレーム画像７７０が１つ前のフレームもしくは２
つ、３つ、４つ前のフレームに対しどの程度動きがあっ
たかを検出する。

ここでベクトル検出部９０は、信号線９０１に１つ前の
フレームに対する動きベクトルｌｖｌを、信号線９０２
に２つ前のフレームに対する動きベクトル量ｖ２を、信
号線９０３に３つ前のフレームに対する動きベクトルｌ
ｖ３を、信号線９０４に４つ前のフレームに対する動き
ベクトルｉｖ４を各々出力する。セレクタ９１は制御部
７４から制御線７４１を介しての制御に応じて、ベクト
ルｆｆ１Ｖ１〜ベクトルｍＶ４の中から選択して信号線
７７１に１つのベクトル量ｖを出力する。ここではフレ
ーム＃３に対するフレーム＃６の動きベクトルはｖ３で
あり信号線９０３が選択される。

可変遅延器７６は、ベクトル検出器７７から出力される
ベクトル量をもとに、セレクタ７５から出力される画像
情報のフレーム内の各画素ブロックをずらして読み出す
。

これらベクトル検出器７７、可変遅延器７６以外の他の
要素については、第２図に示されているものと同じであ
る。

一方、第５図に示される受信側装置は、誤り検出器８２
と、制御部８３と、スイッチ８４１．８４２と、加算器
８１と、フレームメモリ８０と、可変遅延器８４とで構
成される。この受信側装置は、第３図に示されている受
信側装置に対し、さらに可変遅延部８４と、スイッチ８
４２を付加した構成となっている。

スイッチ８４２は、制御部８３により制御され、誤り検
出器８２を介して入力される送信側からの画像−ラ 動きベクトル量Ｖを可変遅延器８４に送る。

可変遅延器８４は、スイッチ８４２からのベクトル量を
もとに、フレームメモリ８０からの画像情報のフレーム
内の各画素ブロックをずらして読み出す。

前述したスイッチ８４２．可変遅延器８４以外の要素に
ついては、第３図に示されているものとほぼ同様である
。

次に、第４図、第５図に示された動画伝送装置の動作に
ついて説明する。

通常、動き補償は以下のようにして実行される。

第４図に示す送信側装置においては、ベクトル検出器７
７は信号線７７０を経て送られてくる画像情報Ｘから、
フレーム間における画像の動き方向とその量を示すベク
トル量を検出する。これをもとに、前のフレームに対し
て動き分だけ画像を補正して次のフレームを予測する。

これは、前のフレームの画像情報をフレームメモリ７０
１〜７０４から読み出す時に動きベクトル量だけフレー
ム内の各画素ブロックをずらして読み出す可変遅延器７
６を用いて行っている。このようにして動き補正のかか
ったフレームの予測差分情ｌｅと動きベクトルｉｌｖを
シーケンス番号ＳＮ＃を付加して伝送することで、さら
に単純フレーム間予測の場合より帯域圧縮の効果が高ま
る。

第５図の受信側でも同様に、前に受信したフレームの画
像情報を保持するフレームメモリ８０の読み出しに、受
信した動きベクトルＩ■に応じて可変遅延器７６で可変
遅延をかけておき、読み出した画像情報と予測差分情報
ｅとを加算器８１で加算して再生画像Ｘを得る。

以上の動きは通常の誤りがない場合であり、第４図にお
いてセレクタ７５は出力端Ｓ１を選択する状態となって
おり、可変遅延量を制御するベクトル量ｖとして１フレ
一ム間のベクトル量が出力されるようにベクトル検出器
７７は動作する。受信側の第５図においてもスイッチ８
４１．８４２は通常動作時は閉じられる。その他、シー
ケンス番号ＳＮ＃の扱い方、フレームメモリ７０１〜７
０４の動作は、第２図、第３図の場合と同じである。

次に誤りが発生したときの動作を説明する。ここでも第
１図の伝送シーケンスのように、フレーム＃４に誤りが
発生した場合について説明を行う。

概略的には第２図、第３図の場合と同様であるので、本
発明に特徴的な点を中心に述べる。第５図の受信側にお
いて、誤り検出器８２が誤りを検出した場合、制御部８
３はスイッチ８４１．８４２を開く。この時点でフレー
ムメモリ８０内には１つ前のフレーム＃３が保持されて
おり、可変遅延器８４にはベクトル″０″が加わってフ
レーム＃３がフリーズ状態となって再生される。制御部
８３は情報“ＲＥＪ＃３”を送信側へ通知する。

第４図の送信側の制御部７４が情報“ＲＥＪ＃３”を受
信した時、次にフレーム＃６に対する画像情報をシーケ
ンス番号ＳＮ＃６をつけて送る前であったとする（第１
図参照）。このとき第２図、第３図と同様に、最後に正
しく受信されたフレーム＃３の画像情報を複数のフレー
ムメモリ７０１〜７０４の一つから選択するように制御
部７４はセレクタ７５を制御する。さらに制御部７４は
、ベクトル検出器７７に対し最後に正しく受信されたフ
レーム＃３に対して次に伝送しようとするフレーム＃６
とのフレーム間隔が３であることを制御線７４１を介し
て伝える。ベクトル検出器７７は、これに応動してフレ
ーム＃３に対するフレーム＃６の動きベクトル→ ｉｌｖを出力する。

このようにして制御部７４は、最後に正しく受信された
フレームの画像情報を＃３フレームメモリ７０３から出
力させ、かつフレーム＃３と次のフレル検出器７７から
検出させる。そして可変遅延器７６で動き補償を行った
上で、差分２Ｓ７１で予測差分情報ｅを生成する。この
予測差分情報は量子化器７２で量子化され、差分器ＩＨ
としてベクトル■と一緒に伝送される。この時、第２図
、第３図と同様にシーケンス番号をシーケンス番号ＳＮ
＃４からつけ直す。受信側では、シーケンス番号ＳＮ＃
４を受信した時点で制御部８３がスイッチ８４１．８．
ｉ２を閉じて、フレーム＃６の再生画像を生成するので
ある。

本実施例においてベクトル検出器７７の構成は、第６図
のように複数のベクトルを選択するようにしているが他
の構成であってもよく、第６図のベクトル検出器の構成
に限定されるものではない。

このようにして動き補償を用いる場合の誤り回復も何フ
レーム分前のフレームに対してベクトル量を検知するか
という手段を加えることにより誤り回復効果が得られ、
かつさらに帯域圧縮が可能となる。

〔発明の効果〕

以上説明したように、本発明によれば、フレーム間差分
情報の伝送中に誤りが発生しても、数フレームの間、画
像を静止させるのみで動画の再生ができる効果がある。

【図面の簡単な説明】

第１図は、本発明による動画伝送方法の動作シーケンス
図、 第２図は、本発明による動画伝送装置の送信側ブロック
図、 第３図は、本発明による動画伝送装置の受信側ブロック
図、 第４図は、動き補償を用いた本発明による動画伝送装置
の送信側ブロック図、 第５図は、動き補償を用いた本発明による動画伝送装置
の受信側ブロック図、 第６図は、動き補償を用いた本発明による動画伝送装置
送信側におけるベクトル検出器のブロック図、 第７図は、従来方式による動画伝送方法の動作シーケン
ス図、 第８図は、従来技術による動画伝送装置の送信側ブロッ
ク図、 第９図は、従来技術による動画伝送装置の受信側ブロッ
ク図である。 ３０、４０．６０．８０・・・フレームメモリ３１、５
１．７１・・・・・差分器 ３２、５２．７２・・・・・量子化器 ３３、４１；　５３．６Ｌ　７３．８１・・・加算器４
２、６２．８２・・・・・誤り検出器５４、６３．７４
．８３・・・制御部 ５５、７５．９１・・・・・セレクタ ７６、８４・・・・・・・可変遅延器 ７７・・・・・・・・・ベクトル検出器９０・・・・・
・・・・ベクトル検出部５０１、５０２．５０３．５０
４゜ ７０１、７０２．７０３．７０４・・・フレームメモリ
第１図 １−Ｉ！：州回− ｄ噴蛇モ・９ 牟■陀条・Ｓ 第６図 第７図

Claims (3)

【特許請求の範囲】
1. （１）連続するフレーム間の差分情報を符号化して伝送
   するフレーム間予測符号化方式を用いて送信側と受信側
   とで動画像の伝送を行う動画伝送方法であって、 各フレーム間差分情報にシーケンス番号を付加して伝送
   し、フレーム間差分情報の伝送中に伝送誤りが起きた場
   合、受信側では、この伝送誤りを検知したのち最後に誤
   りなく受信したフレーム間差分情報のシーケンス番号を
   示す情報を送信側へ通知し、送信側では、この通知に応
   動して前記最後に誤りなく受信されたフレームと現在の
   フレームとのフレーム間差分情報を送信するように、一
   時的にフレーム間間隔を変化させてフレーム間予測符号
   化を行うことを特徴とする動画伝送方法。
2. （２）フレーム間予測符号化方式を用いた動画像の伝送
   装置であって、 送信側は、 各フレームの画像情報を保持するＮ個（Ｎは正の整数）
   のフレームメモリを有し、これらＮ個のフレームメモリ
   は、第１番目のフレームメモリには毎フレームごとに新
   しいフレームの画像情報が入力され、かつ第ｋ番目（２
   ≦ｋ≦Ｎ）のフレームメモリには毎フレームごとに第ｋ
   −１番目のフレームメモリに保持されていた画像情報が
   入力されるように互いに縦続接続され、 前記Ｎ個のフレームメモリの各出力端から１つの出力画
   像情報を選択して出力するセレクタを有し、 選択された出力画像情報と、現在のフレームの画像情報
   との差分を符号化する手段を有し、前記差分符号化され
   たフレーム間差分情報にシーケンス番号を付加して伝送
   する手段を有し、通常動作時においては、前記第１番目
   のフレームメモリから１フレーム前の画像情報を出力す
   るように前記セレクタを制御し、受信側から最後に誤り
   なく受信されたフレームのシーケンス番号を示す情報が
   通知された場合には、この最後に誤りなく受信されたフ
   レームの画像情報を前記Ｎ個のフレームメモリから出力
   するように前記セレクタを制御する手段を有し、 受信側は、 受信した各フレーム間差分情報の誤りを検出した場合に
   、最後に誤りなく受信したフレーム間差分情報のシーケ
   ンス番号を示す情報を送信側に通知するとともに、この
   最後に誤りなく受信したフレームとの差分情報を受信す
   るまでに受信するフレーム間差分情報を全て廃棄する手
   段とを有する、ことを特徴とする動画伝送装置。
3. （３）動き補償フレーム間予測符号化方式を用いた動画
   像の伝送装置であって、 送信側は、 各フレームの画像情報を保持するＮ個（Ｎは正の整数）
   のフレームメモリを有し、これらＮ個のフレームメモリ
   は、第１番目のフレームメモリには毎フレームごとに新
   しいフレームの画像情報が入力され、かつ第ｋ番目（２
   ≦ｋ≦Ｎ）のフレームメモリには毎フレームごとに第ｋ
   −１番目のフレームメモリに保持されていた画像情報が
   入力されるように互いに縦続接続されており、 前記Ｎ個のフレームメモリの各出力端から１つの出力画
   像情報を選択して出力するセレクタを有し、 選択された出力画像情報に対し、フレーム間の画像動き
   ベクトル量に応じて可変遅延をかける可変遅延器を有し
   、 前記可変遅延器から出力される画像情報と現在のフレー
   ムの画像情報との差分を符号化する手段を有し、 前記フレーム間の画像動きベクトル量と前記差分符号化
   されたフレーム間差分情報とをシーケンス番号を付加し
   て伝送する手段を有し、 通常動作時においては、前記第１番目のフレームメモリ
   から１つ前の画像情報を出力するように前記セレクタを
   制御し、受信側から最後に誤りなく受信されたフレーム
   のシーケンス番号を示す情報が通知された場合には、こ
   の最後に誤りなく受信されたフレームの画像情報を前記
   Ｎ個のフレームメモリから出力するように前記セレクタ
   を制御する手段を有し、 通常動作時においては、１つ前のフレームと現在のフレ
   ームとの間の画像の動きベクトル量を検知し、受信側か
   ら最後に誤りなく受信されたフレームのシーケンス番号
   を示す情報が通知された場合には、この最後に誤りなく
   受信されたフレームと現在のフレームの間の画像の動き
   ベクトル量を検知する手段を有し、 受信側は、 受信した各フレーム間差分情報あるいは動きベクトル量
   の誤りを検出した場合に、最後に誤りなく受信したフレ
   ーム間差分情報と動きベクトル量のシーケンス番号を送
   信側に通知するとともに、最後に誤りなく受信したフレ
   ームとの差分情報と動きベクトル量を受信するまでに受
   信するフレーム間差分情報と動きベクトル量を全て廃棄
   する手段とを有する、ことを特徴とする動画伝送装置。