JPH03229586A - 処理量適応型の動き補償動画像符号化方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［概　要コ 画像情報について画面をある大きさのブロックに分割し
、これらの各ブロックについて、予測画面の中から予測
誤差が最小となるブロックを探索することにより、高能
率符号化を行なう、動き補償動画像符号化方式に関し、 単位時間当たりの伝送フレーム数に応じて処理量を適応
的に切り替えることができるようにすることを目的とし
、 単位時間当たりの伝送フレーム数に応じ、動き補償のた
めの探索ブロック数を変更するように構成する。

［産業上の利用分野］ 本発明は１画像情報について画面をある大きさのブロッ
クに分割し、これらの各ブロックについて、予測画面の
中から予測誤差が最小となるブロックを探索することに
より、高能率符号化を行なう、動き補償動画像符号化方
式に関する。

例えば、テレビ電話やテレビ会議での画像信号について
いえば、その２つのフレーム間では対応する画像は一般
に似通った値をもつため、このようなフレーム間の情報
は強い相関をもつ。このために、画像信号の帯域圧縮符
号化が施されるが、このとき動画像について動き補償を
施すことにより予測誤差を求める。

ここで、動き補償方式は、動画像帯域圧縮方式の１つで
、動き補償フレーム間符号化方式ともいい、これはフレ
ーム間の相関を利用し、動きの検出を行なうことにより
、時間軸方向の冗長度を大きく削減する方式である。

［従来の技術］ 第６図は動き補償方式を説明するためのシステム構成図
であるが、この第６図において、１０１は送信部で、こ
の送信部１０１では、入力信号（原画情報）に対し、動
き補償手段１０２によって例えば最小二乗誤差や絶対値
誤差等から予測誤差を求めることにより動き補償を施し
、量子化手段１０３によって量子化を施し、更には符号
化手段１０４によって符号化して、入力信号を受信部１
０５へ送ることが行なわれる。

そして、受信部１０５では、受信信号を復号化手段１０
６によって復号化し、動き補償手段１０７によって送信
部１０１と同様にして動き補償を施し、更には逆量子化
手段１０８によって逆量子化して再生画像として出力す
るようになっている。

［発明が解決しようとする課題］ ところで、動き補償動画像符号化方式では、画面をある
大きさのブロック（たとえば８画素×８ライン）に分割
し、各ブロックについて予測画面の中から予測誤差が最
も小さいブロックを探索することが行なわれるようにな
っている。従って、探索対象ブロック数が多くなると、
これに比例して処理量も増加する。

今、圧縮対象画像信号として、通常のＮＴＳＣ信号を考
えると、毎秒３０枚の画面が入力される。

一般的には、毎秒３０画面全部の伝送を行なうことが望
ましいが、入力されるシーンによっては、伝送画面数が
大きく変わり、動きの大きなシーンやシーンチェンジで
は、予測が当たらず、この場合は１画面当たりの発生情
報量が増えるため、伝送画面数は、例えば５〜１ｏフレ
一ム／秒にまで大きく減少する。

そして、このような場合を考慮して、従来の設計法では
、上記動き補償予測に必要な探索処理を行なうための回
路として、どのような場合でも、３０画面伝送できるだ
けのハードウェアを持つようにしているので、回路規模
が大きくなり、これにより動きの大きなシーン等で伝送
画面数が減少した時は、ハードウェアの持っている処理
能力が無駄になってしまうという問題点がある。

ところで、一般的には、動き補償の探索ブロック数を上
げれば、大きな動きにも追従でき、予測誤差信号のパワ
ーは減少して、符号化効率は上がるが、それだけ多くの
処理能力が必要となる。

通常、ハードウェアの処理能力は定まっているので、そ
れを最大限に使用し符号化効率を落さないようにしなけ
ればならない。

一般に、動きの大きなシーンでは、それだけ多くのブロ
ックを探索する必要があるが、このとき１画面当たりの
発生情報量が多いため、伝送フレーム数は落ちる。また
、動きが小さく静止したようなシーンでは、多くのブロ
ック数を探索する必要がなく、このときの１画面当たり
の発生情報量が小さいため、伝送画面数を上げることが
できる。

一方、伝送フレーム数が落ちると、ある処理能力をもつ
ハードウェアは多くのブロックを探索することができ、
逆に伝送フレーム数が上がると探索できるブロック数が
減る。

従って、動きが大きく伝送フレーム数が落ちた時には、
探索ブロック数を増やし、動きが小さく伝送フレーム数
が上がった時には、探索ブロック数を減らすという、つ
まり単位時間当たりの伝送フレーム数に応じて適応的に
動き補償の探索ブロック数を変えることによって、ハー
ドウェアの能力を最大限に発揮することができ、符号化
効率も大きく落とすことがなくなって、これにより従来
の問題点が解決される。

本発明は、このような発明者の知見に基づき創案された
もので、単位時間当たりの伝送フレーム数に応して処理
量を適応的に切り替えることができるようにした、処理
量適応型の動き補償動画像符号化方式を提供することを
目的としている。

［課題を解決するための手段］ 第１図は本発明の原理ブロック図である。

この第１図においても、送信部１において、入力信号（
原画情報）に対し、動き補償手段２によって例えば最小
二乗誤差や絶対値誤差等から予測誤差を求めることによ
り動き補償を施し、ｊｔ量子化手段によって量子化を施
すことが行なわれるようになっている。

ところで、動き補償手段２には、探索ブロック数変更手
段２Ａが設けられている。ここで、この探索ブロック数
変更手段２Ａは、単位時間当たりの伝送フレーム数に応
じ、動き補償のための探索ブロック数を変更するもので
ある。

［作　用コ 上述の本発明の処理量適応型の動き補償動画像符号化方
式では、画像情報について画面をある大きさのブロック
に分割し、各ブロックについて、予測画面の中から予測
誤差が最小となるブロックを探索することにより、高能
率符号化を行なうが、動き補償手段２の探索ブロック数
変更手段２Ａによって、単位時間当たりの伝送フレーム
数に応じ、動き補償のための探索ブロック数を変更する
ことが行なわれる。これにより単位時間当たりの伝送フ
レーム数に応じ、処理量が適応的に切り替えられる。

［実施例コ 以下、図面を参照して本発明の詳細な説明する。

第２図は本発明の一実施例を示すブロック図で、この第
２図において、１は送信部で、この送信部１では、例え
ばテレビカメラからのディジタル入力信号（原画情報）
に対し、動き補償手段２によって例えば最小二乗誤差や
絶対値誤差等から予測誤差を求めることにより動き補償
を施し、量子化手段３によって量子化を施し、更には符
号化手段４によって符号化して、入力信号を受信部５へ
送ることか行なわれる。

ここで、動き補償とは、現画面上のブロックｉ［第５図
（ａ）参照コについて、予測画面（例えばフレーム間予
測のときは前画面）上のブロックｊ工＋Ｊｚ＋’−・＋
ｊｎ［第５図（ｂ）参照］とのマツチング演算を行ない
、ある評価法で決まる誤差が最も小さいブロックを検出
する処理をいう。ここて、評価法の一例として、差分絶
対値和による評価法が挙げられる。かかる評価法は、ブ
ロックｉ内のデータ（画素値）をｄｋ　（ｋ＝１〜ｍ、
　ｍはブロック内の画素数）とし、ブロックｊｉ（ｉ＝
　ｌ　−ｎ　）内のデータをｄ　ｋ　’　　（ｋ　＝　
１−　ｍ　）としたとき、ブロックｊｊの評価値Ｓｉを
により求めるものである。

そして、上記Ｓｉが最小となるブロックｊｉが最適予測
ブロックとなる。

また、ブロックＪ１を表すのに、ブロック１からの位置
のずれを示すベクトルＶｉ［第５図（ｂ）参照コを用い
、複数の検出対象ベクトルをリストとして記憶しておく
。

そして、上記の最適予測ブロックに対応するベクトルが
最適ベクトルとして使用されるのである。

ところで、動き補償手段２は、第３図に示すように、フ
レームメモリ２１．可変遅延部２２．動き補償検出部２
３をそなえている。

ここで、フレームメモリ２１は前画面を予測画面として
１フレ一ム分記憶するもので、可変遅延部２２はフレー
ムメモリ２１からのフィードバックするための画像デー
タを、動き補償検出部２３からの最適ベクトル情報に基
づき所定量遅延させるものである。

動き補償検出部２３は、原画面情報と予測画面情報（前
画面情報）とから上記の最適ベクトルを求めて、この最
適ベクトル情報を受信部５へ送るとともに、可変遅延部
２２へ送るものであるが、上記の最適ベクトルを求める
際に、単位時間当たりの伝送フレーム数に応じ、動き補
償のための探索ブロック数を変更する機能を有している
。

このために、動き補償検出部２３は、ベクトルリスト２
３１．評価値計算回路２３２．カウンタ２３３、比較器
２３４．探索ブロック数設定部２３５をそなえている。

ここで、ベクトルリスト２３１は、複数の検出対象ベク
トルｖ１〜Ｖｎをリストとして記憶しておくもので、例
えばＲＯＭが使用される。

評価値計算回路２３２は、原画面のブロックｉ内のデー
タ（画素値）ｄｋと、予測画面のブロックｊｊ内のデー
タｄｋ’とから、前述の（１）式を用いて、ブロックｊ
ｉの評価値Ｓｉが最小となるブロックｊｉを計算し、こ
のブロックに対応する最適ベクトルをベクトルリスト２
３１から読み出して、可変遅延部２２および受信部５へ
出力するものである。

カウンタ２３３は、ベクトルリスト２３１の特定のベク
トルを指示するポインタとして機能し、このカウンタ２
３３はクリア信号によって、クリアされると、評価値計
算回路２３２があるブロックｊｉについて評価演算する
度に、インクリメントされるようになっている。なお、
このカウンタ２３３からのカウントアツプ値はベクトル
リスト２３１のほか、比較器２３４へも入力されるよう
になっている。

比較器２３４は、カウンタ２３３からの計数信号と探索
ブロック数設定部２３５がらの参照信号とを比較して１
両者が等しくなると、終了信号を出すものである。

探索ブロック数設定部２３５は、符号化手段４のバッフ
ァメモリでの蓄積量等の情報から得られる単位時間当た
りの伝送フレーム数情報に基づいて探索ブロック数を変
更するもので、例えば単位時間当たりの伝送フレーム数
が落ちた時には、探索ブロック数を増やし、伝送フレー
ム数が上がった時には、探索ブロック数を減らすように
変更するものである。

このような構成により、この動き補償検出部２３におい
ては、各ブロックの処理開始時にカウンタ２３３をクリ
アして、最初のベクトルを出力させ、その後１つのベク
トルの処理が終わる毎にカウンタをインクリメント（＋
１）ｔ、て、ＲＯＭに記憶されたベクトルリスト２３１
中のベクトルを順次指示していくことにより、評価値Ｓ
ｉが最小となるベクトルを探していくが、このとき、伝
送速度あるいは１データ当たりのビット数などから探索
ブロック数設定部２３５にて決められた最大値（対象ブ
ロック数；これは伝送ブロック数に応じて可変する値で
ある）に達したかどうかを、比較器２３４で検出してお
り、もし達すると、終了信号を出し、その時点で評価値
Ｓ１が最小のものに対応するベクトルを最適ベクトルと
して出力する。

この場合、検索ブロック数は単位時間当たりの伝送フレ
ーム数に応じて変更されているので、処理量を適応的に
切り替えることができる。すなわち、動きが大きく伝送
フレーム数が落ちた時には、探索ブロック数を増やし、
動きが小さく伝送フレーム数が上がった時には、探索ブ
ロック数を減らすことが行なわれるので、ハードウェア
の能力を最大限に発揮することができ、しかも符号化効
率も大きく落とすこともなくなるのである。

もちろん、上記の動き補償検出部２３の機能をソフトウ
ェア処理によっても実現することができる。そして、こ
の場合の処理要領を示すと、第４図のようになる。すな
わち、伝送レートあるいは伝送画面数（単位時間当たり
の伝送フレーム数）のしきい値をρ個（ｒｌ〜ｒΩ；ｒ
ｌ〉・・〉ｒＱ）用意して、まずステップＡＩで、伝送
画面数がｒｌより大きいかどうかを判定し、もし大きけ
れば、ステップＡ２で、探索ブロック数りを例えば１に
設定し、もし小さければ、ステップＡ３で、伝送画面数
がｒ２より大きいかどうかを判定し、もし大きければ、
ステップＡ４で、探索ブロック数りを例えば５に設定す
る。その後も、同様の判定および探索ブロック数りの設
定を行なっていき、最後に、ステップＡ５で、伝送画面
数がｒＱより大きいかどうかを判定し、もし大きければ
、ステップＡ６で、探索ブロック数りを例えば１０に設
定する。そして、もし伝送画面数がｒｌｌより大きくな
ければ、ステップＡ７で、探索ブロック数りを１０より
大きな値ｎに設定する。

その後は、ステップＡ８で、ｉ＝１．Ｓ＝最大値とおい
て、初期化したあと、ステップＡ９で、ベクトルｖ１の
評価値Ｓｉを上記（１）式より計算し、これまでの最小
値より小さければ、最小値を更新して、同時に対応する
ベクトル（またはインデックス）を記憶する（ステップ
ＡＩＯ〜Ａ１３）。

そして、開始時に決めた数りだけ演算が終ったら、ステ
ップＡ１２でｙｅｓルートをとって、ステップＡ１４で
、最適予測ベクトルを決定する。

なお、受信部５では、受信信号を復号化手段６によって
復号化し、動き補償手段７によって送信部１と同様にし
て動き補償を施し、更には逆量子化手段８によって逆量
子化して再生画像として出力するようになっている。

上述の構成により、画像情報について画面をある大きさ
のブロックｉに分割し、各ブロックｉについて、予測画
面の中から予測誤差が最小となるブロックｊを探索する
ことにより、高能率符号化を行なうが、動き補償手段２
の探索ブロック数変更手段によって、単位時間当たりの
伝送フレーム数に応じ、動き補償のための探索ブロック
数を変更することが行なわれる。これにより単位時間当
たりの伝送フレーム数に応じ、処理量が適応的に切り替
えられるので、すなわち、動きが大きく伝送フレーム数
が落ちた時には、探索ブロック数を増やし、動きが小さ
く伝送フレーム数が上がった時には、探索ブロック数を
減らすことが行なわれるので、ハードウェアの能力を最
大限に発揮することができ、しかも符号化効率も大きく
落とすこともなくなるのである。

そして、このようにして最適ベクトルが求められ、入力
データの予測誤差信号が量子化されると、これらが符号
化されて受信部５へ送られるが、受信部５では、これら
の最適ベクトルや予測誤差信号の情報を含む受信信号を
復号化手段６によって復号化し、動き補償手段７が受信
した最適ベクトルを用いて動き補償を施し、更には逆量
子化手段８が受信した予測誤差信号を用いて逆量子化し
て、再生画像が出力されるのである。

［発明の効果コ 以上詳述したように、本発明の処理量適応型の動き補償
動画像符号化方式によれば、単位時間当たりの伝送フレ
ーム数に応じ、動き補償のための探索ブロック数を変更
することが行なわれるので、符号化効率を落すことなく
、ハードウェアの処理能力を最大限に引き出すことがで
きるという利点がある。

【図面の簡単な説明】

第１図は本発明の原理ブロック図、 第２図は本発明の一実施例を示すブロック図、第３図は
本発明の一実施例の要部を示すブロック図、 第４図は本発明の一実施例の作用を説明するフローチャ
ート、 第５図（ａ）、（ｂ）は動き補償の原理を説明する図、 第６図は動き補償方式を説明するためのシステム構成図
である。 図に−おいて、 １は送信部、 ２は動き補償手段。 ２Ａは探索ブロック数変更手段、 ３は量子化手段、 ４は符号化手段、 ５は受信部、 ６は復号化手段、 ７は動き補償手段、 ８は逆量子化手段、 ２１はフレームメモリ、 ２２は可変遅延部、 ２３は動き補償検出部、 ２３１はベクトルリスト、 ２３２は評価値計算回路、 ２３３はカウンタ、 ２３４は比較器、 ２３５は探索ブロック数設定部である。

Claims (1)

1. 【特許請求の範囲】 画像情報について画面をある大きさのブロックに分割し
   、各ブロックについて、予測画面の中から予測誤差が最
   小となるブロックを探索することにより、高能率符号化
   を行なう、動き補償動画像符号化方式において、 単位時間当たりの伝送フレーム数に応じ、動き補償のた
   めの探索ブロック数を変更することを特徴とする、処理
   量適応型の動き補償動画像符号化方式。