JPS61214885A - 動画像信号の符号化・復号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は動画像信号の画面間に存在する相関を用いて予
測符号化する技術に関する。

、　えばテレビ信号の場合などはフレームと呼ばれる画
面の間に存在する相関を利用するフレーム間予測符号化
が有効であることはよく知られている。

特にこの方式は静止画から動きを少ししか含まない準静
止側に対して、非常に高い圧縮率を実現すると同時に良
い品質の再生画像が得られる。

しかしながら、動きが大きくなると画面間の相関が低下
するため、高い圧縮率を保持しようとすると画質が低下
せざるを得ないという弱点があった。これを補完するた
めに画面内の動きを用いて確度の高い予測を行い、大き
な動きを含む画像に対しても高圧縮率、かつ高品質画像
を実現する動き補償と呼ばれる手法が応用された。これ
社たとえばティー・イシグロ（Ｔ。Ｉ　ｓｈｉｇｕｒｏ
　）他による解説［テレビジョン　バンドウィドス　コ
ンプレッション　トランスミッシ冒ン　バイ　モーシ冒
ンコンベンセイティド　インターフレーム　コーディン
グ（Ｔｅ１ｅｖｉｓｉｏｎ　Ｂａｎｄｗｉｄｔｈ　Ｃｏ
ｍｐｒ＠ｓｓｌｏｎＴｒａｎｓｒｎ１ｇｓｌｏｎ　ｂｙ
　Ｍｏｔｉｏｎ−Ｃｏｍｐｅｎｓａｔｅｄ　Ｉｎｔｅｒ
ｆｒａｍｅＣｏｄｉｎｇ　）　Ｊ　（Ｉ　ＢＥＥ　Ｃｏ
ｍｍｕｎｉＷｉｏｎ　Ｍａｇａｚｌｎｅ　。

ｐｐ。２４−３°Ｏ、Ｎｏｖｅｍｂｅｒ　　１９８２　
）に詳しい。この動き補償を用いても動きが非常に速い
場合などはその効果が低下し、設定された伝送速度と比
較すると過分の情報が発生することも十分に有シ得るこ
とである。この場合には発生する情報量を少しでも減少
させるために、予測誤差の量子化特性を密なものから粗
いものへと変化させたシ、あるいは符号化すべき画素数
を減らす、いわゆるサブサンプリングや符号化するフィ
ールド数を減らすフィールド間引きなどが適用されるの
みならず符号化の停止もあシうる。この場合には、粗い
量子化に起因するダーティ・ウィンドウ効果と呼ばれる
薄汚れた窓を通して画像を見るような劣化や、サブサン
プリングやフィールド間引きに起因する空間解像度の低
下よりも目立つ動きの一時停止が起ることになる。動き
が速くて動き補償が余シ効果的でない場合にも発生情報
量を軽減する一つの方法として動き補償による予測誤差
に対して直交変換を適用する方法がある。たとえば、ジ
エイ・アール・ジェイン（Ｊ、Ｒ，Ｊａｉｎ　）等によ
る論文「ディスプレースメント　メジャメント　アンド
　イック　アプリケーション　イン　インターフレーム
　イメージ　コーディング（Ｄｉｓｐｌａｃｅｍｅｎｔ
Ｍｅａｓｕｒｅｍｅｎｔ　ａｎｄ　Ｉｔｓ　ａｐｐＨｃ
ａｔｉｏｎ　ｉｎ　ＩｎｔｅｒｆｒａｍｅＩｍａｇｅ　
Ｃｏｄｉｎｇ）Ｊ　　（ＩＥＥＥ　　Ｔｒａｎｓ　Ｃｏ
ｍｍｕｎ、　ｖｏｌＣＯＭ−２９、Ｎｏ、　１２．　ｐ
ｐ、　１７９９−１８０８．Ｄｅｃｅｍｂｅｒ１９８１
　）Ｋ示されている。しかしながら、低速度の伝送を考
える時には直交変換後の変換係数の交流成分の大部分は
無視せざるを得ない。この時通常は複雑な柄に相当する
係数を切り捨てる操作が行なわれる。この結果、変化の
多い部分は等制約に平滑化されることになる。

動きが非常に速い時にはこの平滑化により画像が多少ボ
ケても支障ない場合が多い。もともと現行の蓄積形ＴＶ
左カメラ撮像すれば、速く動く物体は必然的にボケてい
る。すなわち、動き補償が十分できないほど速い動きに
対する動き補償フレーム間予測誤差はもともとフレーム
内相関が強く直交変換に適合し、前記平滑化によっても
視覚的劣化は少ない。しかしながら、動き補償の効果が
発揮される程度の速さの動きに対しては、その予測誤差
は動き物体の輪郭周辺に孤立して発生することが多い。

すなわち予測誤差信号自身の画面内相関は非常に低い。

もともと直交変換が画像信号の冗長度低減に有効である
のは画面内の相関が高いからであシ、低くなると直交変
換を用いるメリットはなくなる。この時に直交変換を適
用すると復号され九画像にボケが生じ、視覚的には大き
な劣化として目につく。

（発明の目的） 本発明は画面間の相関が非常に高い静止−余シ速くない
動きに対してはボケのない鮮明な復号画像が、画面間の
相関が大巾に低する速い動きに対しては滑らかな動きが
、その中間の速さの動きに対しては両者の中間の画質が
、それぞれ再現され、しかもこの画質を滑らかに変化さ
せることができる符号化・復号化装置を実現することを
目的とする。

（発明の構成） 本発明によれば、画面間の相関を用いて予測信号を発生
する手段、該予測信号と前記動画像より予測誤差を発生
する手段、該予測誤差をあらかじめ定められた複数画素
からなるブロック単位に直交変換し変換係数を得る手段
、該変換係数を量子化する第１の量子化手段、該第１の
量子化手段の出力を前記ブロック単位に前記直交変換に
対応する直交逆変換を行なう手段、該直交逆変換の結果
と空間的に一致する前記予測誤差との間で減答を行なう
手段、該減算結果を量子化する第２の量子化手段、該第
２の量子化手段の出力と前記直交逆変換手段の出力およ
び前記予測信号より局部復号信号を発生する手段、該局
部復号信号を前記動画像のおよそ１画面時間だけ遅延し
前記予測信号の発生手段へ供給する手段、少なくとも第
１の量子化手段の出力と第２の量子化手段の出力を符号
変換する手段、 とを具備することを特徴とする動画像信号の符号化装置
が得られる。

また、本発明によれば、符号変換された予測誤差に関す
る２種の情報を符号逆変換する手段、該符号逆変換され
た２種の中のあらかじめ定められた一方に対し直交逆変
換を行なう手段、前記画面間の相関を用いて予測信号を
発生する手段、該予測信号と、前′記直交逆変換手段の
出力および前記直交逆変換されなかった方の予測誤差に
関する情報を用いて復号画像信号を発生する手段、該復
号画像信号を前記動画像信号におよそ１画面時間だけ遅
延し、前記予測信号の発生手段へ供給する手段、 とを具備することを特徴とする動画像信号の復号化装置
が得られる。

（発明の原理） 本発明は、動き補償を適用する時にその効果が最大とな
るので、画面間の相関、の例として動き補償を用いて以
下の説明を行々う。しかしながら、本発明はこれを適用
する場合に限定されるものではない。

本発明の原理について第１図及び第２図を参照して説明
する。第２図に動き補償が可能な速さで水平方向に動く
人物肩上像を例にとシ、これに対して動き補償フレーム
間予測を適用した時の予測誤差の発生状態を示す。これ
は動き補償が効果的であった場合の例であるが、この時
の零でない予測誤差（図中斜線）は動き物体の輪郭部分
に孤立して、あるいはせいぜい線状に連なって発生する
ことが多い。このような状態の予測誤差に直交ｉ換を適
用すると、得られる変換係数は特定の係数が大きくなる
ことは無く、むしろ多数の係数がゼロに近い微小な振巾
をもつことになる。そしてこれに量子化を適用するとほ
とんどの係数がゼロになることになる、直交変換を適用
すると後でその逆変換を行なわねば表らないが、このよ
うにほとんどの係数がゼロあるいは微小であれば逆変換
後の値（予測誤差）もまたほとんどゼロとなる。すなわ
ち、輪郭部分について復号画像は明らかに歪を含む。孤
立的あるいは高々線状に連なった信号に直交変換を行な
い量子化すると、もとの信号はほとんど無くなってしま
うので、このような場合には直交変換を用いたことによ
る信号の歪が大きい。このような場合には、直交変換は
用いない方が良い。しかし、逆に動きが非常に速くて動
き補償の効果が低下した時には直交変換による大巾な発
生情報量の低減効果は滑らかな動きを再現する上で非常
に有効である。

これを実現するＫあたって、直交変換を適用・非適用と
いうように切換えて使用すると切換前後での画質の変化
が大きく、視覚的に大きな劣化となる。これを防ぐため
、第１図に示すように動き補償フレーム間予測誤差に直
交変換を適用し、変換係数の量子化後に直交逆変換する
。そして、この量子化による歪を補正するために直交逆
変換後の予測誤差と直交変換前の予測誤差との間の差を
量子化する。この２種の量子化の精度の選び方次第で直
交変換の寄与の程度を連続的に変化させることができる
。

すなわち、動き補償が効果的である間は、直交変換の寄
与を強く制限し、その効果が低下してきたら大巾に適用
するようにすると直交変換による輪郭部分の起シ得る劣
化を回避でき、かつその中間における画質の不連続を小
さく抑えることができる。動き補償の効果の有無の評価
についてはたとえば、検出された動ベクトルの値が動き
補償範囲の限界ぎりぎシであるか否かを調べると容易に
わかる。何故なら通常の動ベクトル検出においては、補
償範囲を超える速い動きに対してはもっとも近い補償範
囲内の値に制限する一種のリミッタ動作が適用されるの
が普通であるからである。たとえばＸ方向に動いている
物体の動きの速さＶ。

補償範囲をＶ□工とする時ＫＶ＞Ｖ□工であっても検出
結果としてはｖｍａｘにする。仁の時ｋ、実際の速さが
ｖｍ、工である場合との区別はつかないが、直交変換を
適用するか否かの評価においてはほとんど影響を与えな
い。

以上より、たとえば検出結果が動き補償範囲ギリギリの
時には直交変換を積極的に用い、そうでない時には変換
結果に対する量子化を非常に粗くし、実質的に予測誤差
のみを符号化するようＫすればよい。動ベクトルが伝送
される場合には、この選択を表わす信号を伝送する必要
はない。また動ベクトルをアいる代シに、複数以上をま
とめると、動き補償範囲内にある速さの動きに対しては
輪郭部分をとくに少ない歪にて再生するために直交変換
に粗い量子化特性を用い実質的に抑えて予測誤差そのも
のを密に量子化し、動き補償範囲ギリギリの時には逆に
直交変換に比較的密な量子化を適用する。この中間にお
いては、予測誤差とその直交変換結果に粗・密の中間程
度の量子化を適用する。これにより滑らかな画質の変化
が実現される。ま九、動き補償を行なう時のブロックの
大きさは、直交変換を実行する時のブロックと同一の大
きさくしておくと装置構成上具合が良い。とくに直交変
換の場合にはブロックの大きさを２ｎライン×２１画素
としておくと都合が良いので、動き補償を行なうときの
ブロックの大きさもこのようにすると良い。

（実施例） 以下に図面を参照しつつ本発明の実施例について詳しく
説明する。

第３図及び第４図を用いて符号化装置の動作を説明する
。線１０００を介して入力される動画像信号は動ベクト
ル検出回路１０と遅延回路１１に供給される。動ベクト
ル検出回路１０は複数個の画素からなるブロック（たと
えばＮラインｘＭ画素）単位に画像内の動きの速さと方
向（動ベクトル）を検出し、これを線２０００を介して
可変遅延回路２２に供給すると同時に遅延回路２３へも
供給する。可変遅延回路２２はこの動ベクトルが示す速
さと方向に従って、フレームメモリ２１より供給される
およそ１画面時間遅延した局部復号信号に遅延を与え、
これと予測信号として線２２００を介して減算器１２と
遅延回路２９を経由して加算器２０へそれぞれ供給する
。減算器１２は遅延回路１１より供給される、動ベクト
ル検出回路１０における動ベクトルの検出、出力に要す
る時間だけ遅延した動画像信号とこの予測信号とから予
測誤差信号を発生し、線１２００を介して直交変換器１
３と遅延回路１６へ供給する。直交変換器１３では変換
に適したブロック毎にアダマール変換や離散コサイン変
換などに代表される直交変換により、予測誤差の直交変
換が行なわれる。この時のブロックの大きさは先の動ベ
クトルを検出する時のブロック（Ｎライン×Ｍ画素）と
一致させ、かつたとえばＭミＮ＝２”（ｎは正整数）に
とると処理が容易となる。直交変換器１３の出力は量子
化器１４によ多量子化され、この量子化出力は線１４０
０を介して符号変換器２６と直交逆変換器１５へ供給さ
れる。直交逆変換器１５は、直交変換器１３に訃いて用
いられた直交変換に対応する逆変換を行ない、結果を加
算器２０へ供給する。

一方線１２００を介して遅延回路１６へ供給された予測
誤差は、直交変換器１３における演算、出力に要する時
間だけ遅延した後に、減算器１９において直交逆変換器
１５の出力と減算され量子化器１７にてこの差分は量子
化される。量子化器１７の出力は線１７００を介して加
算器２０と符号変換器２６に供給される。遅延回路２９
は入力信号である予測信号を、直交変換器１３と直交逆
変換器１５における演算と結果の出力に要する時間だけ
遅延して、加算器２０へ供給する。

加算器２０は量子化器１７の出力、直交逆変換器１５お
よび遅延回路２９から供給される予測信号とから局部復
号信号を発生し、およそ動画像の１画面時間を記憶する
フレームメモリ２１に供給する。このフレームメモリ２
１の出力に対し、可変遅延回路２２は、動ベクトルが示
す速さと方向に対応する遅延時間を与え、予測信号とし
て出力する。もし、動ベクトルが静止を表わしている場
合には、遅延回路１６、フレームメモリ２１および可変
遅延回路２２１Ｃおける合計遅延時間は丁度１画面時間
となる。ただし、減算器１２、量子化器１７、減算器１
９、加算器２０においては遅延はないものとする。

符号変換器２６は線２３００を介して遅延回路２３より
供給される動ベクトルを符号変換すると同時に、線１７
００を介して供給される量子化器１７の出力、および）
［１４００を介して供給される量子化器１４の出力もま
た符号変換する。この符号変換器２６の動作については
後述する。符号変換器２６において発生している符号量
の監視信号は線２６２７を介して符号化制御回路２７へ
供給され、使用すべき量子化特性の決定に利用される。

量子化器１４．１７の各々に対する量子化特性の選択指
示信号は線２７１４．２７１７をそれぞれ介して供給さ
れる。これは同時に、符号変換器２６へも直交逆変換器
１５における遅延時間だけ遅延させる遅延回路３２．３
１を通って供給される。

ここで第４図を用いて符号変換器２６の動作を詳しく説
明する。

線１７００を介して供給される量子化器１７の出力は、
符号器Ａ２６１に用意された、たとえばこの出力に対し
て統計的に求められた分布よジノ・フマン符号のような
能率の良い不等長符号により符号変換される。

同様に、線１４００を介して供給される量子化された変
換結果は符号器Ｂ２６２に用意されている、変換結果に
対して統計的に求められた各変換係数の分布よりハフマ
ン符号のような能率の良い不等長符号により符号変換さ
れる。線３２００．３１００を介してそれぞれ供給され
る量子化特性の選択指示信号は、各指示状態を表わす符
号に各々符号器Ｃ２６３、符号器Ｄ２６４にて変換され
る。線２３００を介して供給される動ベクトルも符号変
換される。

動ベクトルの分布に適合したへ７７ン符号を構成するこ
とは容易で、これを用いて符号変換器Ｅ２６５は動ベク
トルを符号変換する。符号器Ａ２６１．符号器Ｂ２６２
．符号器Ｃ２６３，符号器Ｄ２６４．符号器Ｅ２６５の
出力は、多重化器２６８において予め定められた順序で
多重化され、伝送路３０００の伝送速度あるいは記録媒
体の書き込み速度との整合を図るバッファメモリ２６９
に供給される。このバッファメモリ２６９におけるメモ
リの使用状態（０〜１００％）を示す監視信号は線２６
２７を介して符号化制御回路２７へ供給される。

つぎに、第５図及び第６図を用いて復号化装置の動作を
説明する。

伝送路３０００または記録媒体より供給される符号変換
された動画像信号は、符号逆変換器５０において符号逆
変換され、予測誤差と直交逆変換結果との差、変換結果
、動ベクトルがそれぞれ線５００１．５００２．５００
３を介して出力される。符号逆変換器５０の詳細につい
ては後述する。

ｉ１！５００２を介して供給される信号に対して直交逆
変換器５１は符号化装置において用いられた直交変換に
対応する逆変換を行なう。この時、本来線５００１を通
るべき信号が線５００２を介して供給される信号に混在
していても差支えない。少なくともこの信号内に正しく
符号逆変換された変換結果が含まれて居ればよい。同様
に線５００１を介して供給される信号は、少なくとも正
しく符号逆変換された予測誤差と直交逆変換の差が含ま
れて居ればよい。

線５００１を介して供給される信号は、直交逆変換器５
１における遅延時間だけ遅延回路５２にて遅延し、加算
器５４に供給され、る。線５００３を介して供給される
動ベクトルは、遅延回路５７において遅延回路５２と同
じ時間だけ遅延を受けた後、可変遅延回路５５における
予測信号の発生に用いられる。加算器５４は、遅延回路
５２の出力、直交逆変換器５１の出力および可変遅延回
路５５より供給される予測信号を用いて動画像信号を復
号し線５ｏｏｏを介して復号化装置から出力する。この
時、同時に動画像信号のおよそ１画面を記憶できるフレ
ームメモリ５６にも供給する。可変遅延回路５５はフレ
ームメモリ５６の出力を用いて、動ベクトルに従い予測
信号を発生する。この可変遅延回路５５は符号化装置に
おける可変遅延回路２２と同一の構成でよい。

つぎに第６図を参照して、符号逆変換回路５０の動作を
詳しく説明する。

伝送路３０００を介して供給される符号変換された信号
はまず分離回路５００において、直交変換結果、予測誤
差と直交逆変換結果との差、量子化特性の選択指示信号
、動ベクトル、に分離され各に線５０５６を介しては復
号器Ｃ５０３と復号器Ｄ５０４．線５０５５を介しては
復号器Ｅ５０５に供給される。復号器Ｅ５０５は動ベク
トルの符号逆変換器であシ符号器Ｅ２６５に対応する。

符号逆変換された動ベクトルは線５００３を介して出力
される。

符号変換されている量子化特性の選択指示信号は復号器
Ｃ５０３と復号器Ｄ５０４で符号逆変換されるが、予測
誤差が符号変換されたブロックについては復号器Ｃ５０
３が、直交変換結果が符号変換されたブロックについて
は復号器Ｄ５０４が、それぞれ正しい符号逆変換を実行
するが、これ以外の時には誤まった符号逆変換を実行す
る。この結果は、線５５３１．５５４２を介して復号器
Ａ３０１　、復号器Ｂ５０２に各々供給され、遅延回路
５０６より供給される符号変換された予測誤差を直交逆
変換結果との差あるいは直交変換結果の符号逆変換時に
用いるべき量子化特性を指定するのに利用される。

遅延回路５０６は量子化特性の選択指示信号の復号器Ｃ
５０３、復号器Ｄ５０４における符号逆変換。

出力に要する時間だけ、入力を遅延させる。復号器Ａ３
０１．復号器Ｂ５０２では各々指定された量子化特性に
対応する符号逆変換が実行され、その結果は線５００１
．５００２を各々介して出力される。

この時の符号逆変換は、復号器Ａ３０１については線５
５３１を介して供給される上記選択指示信号が正しく符
号逆変換されているブロックについて、かつ予測誤差と
直交逆変換結果との差が符号変換されている時のみ正し
い符号逆変換が実行され、他方復号器Ｂ５０２について
は線５５４２を介して供給される上記選択信号が正しく
符号逆変換されているブロックについて、かつ直交変換
結果が符号変換されている時９み正しい符号逆変換が実
行される。これ以外は誤まった符号逆変換を実行するこ
とになシ、出力をゼロとする。

符号化装置（第３図）において、量子化器１４゜１７の
量子化特性の選択に動ベクトルを用いる時には、遅延回
路２３より遅延回路１１．１６における遅延時間の和に
相当する点にタップをとシ、このタップ出力を符号化制
御回路２７へ供給すればよい。動ベクトルが動き補償範
囲ギリギリの場合には、たとえば量子化器１７の出力が
ゼロになるような粗い特性を指示し、反対に静止に近い
動きであれば、量子化器１４の出力がゼロになるように
粗い特性を指示する。

（発明の効果） 本発明を用いると、画面間の相関が非常に高い比較的速
くない動きに対してはボケのない鮮明な動画像が再現で
き、画面間の相関が大巾に低下する速い動きに対しては
フレーム間予測誤差に直交変換を適用して、若干のボケ
は生じるものの大巾な発生情報量の削減により滑らかな
動きが再現できるなど、あらゆる動きの速さについて良
好な画質が提供できるため、その効果はきわめて大であ
る。

【図面の簡単な説明】

第１図及び第２図は本発明の詳細な説明する図、第３図
及び第４図は本発明に係る符号化装置の実施例を説明す
る図、第５図及び第６図は本発明に係る復号化装置を説
明する図である。 図中、１０動ベクトル検出回路、１１，１６゜２３，２
９，３１．３２は遅延回路、１２．１９は減算器、１３
は直交変換器、１４．１７は量子化器、１５は直交逆変
換器、２０は加算器、２１はフレームメモリ、２２は可
変遅延回路、２６は符号変換器、２７は符号化制御回路
、３０００は伝送路あるいは記鎌媒体、５０は符号逆変
換器、５１は直交逆変換器、５２．５７は遅延回路、５
４は加算器、５５は可変遅延回路、５６はフレームメモ
リ、である。 半　　ｊ　　　図 亭　　　２　　　図

Claims (1)

1. 【特許請求の範囲】 １、動画像の符号化にあたり、画面間の相関を用いて予
   測信号を発生する手段、該予測信号と前記動画像より予
   測誤差を発生する手段、該予測誤差をあらかじめ定めら
   れた複数画素からなるブロック単位に直交変換し変換係
   数を得る手段、該変換係数を量子化する第１の量子化手
   段、該第１の量子化手段の出力を前記ブロック単位に前
   記直交変換に対応する直交逆変換を行なう手段、該直交
   逆変換の結果と空間的に一致する前記予測誤差との間で
   減算を行なう手段、該減算結果を量子化する第２の量子
   化手段、該第２の量子化手段の出力と前記直交逆変換手
   段の出力および前記予測信号より局部復号信号を発生す
   る手段、該局部復号信号を前記動画像のおよそ１画面時
   間だけ遅延し前記予測信号の発生手段へ供給する手段、
   少なくとも第１の量子化手段の出力と第２の量子化手段
   の出力を符号変換する手段、 とを具備することを特徴とする動画像信号の符号化装置
   。 ２、画面間の相関を用いる予測誤差に関する２種の情報
   を少なくとも含み符号変換された信号より動画像信号の
   予測復号化を行なうにあたり、符号変換された予測誤差
   に関する２種の情報を符号逆変換する手段、該符号逆変
   換された２種の中のあらかじめ定められた一方に対し直
   交逆変換を行なう手段、前記画面間の相関を用いて予測
   信号を発生する手段、該予測信号と、前記直交逆変換手
   段の出力および前記直交逆変換されなかった方の予測誤
   差に関する情報を用いて復号画像信号を発生する手段、
   該復号画像信号を前記動画像信号のおよそ１画面時間だ
   け遅延し、前記予測信号の発生手段へ供給する手段、 とを具備することを特徴とする動画像信号の復号化装置
   。