JPH01289386A

JPH01289386A - 背景予測を用いた動画像の予測符号化方式とその装置

Info

Publication number: JPH01289386A
Application number: JP63119844A
Authority: JP
Inventors: Yoshihiro Miyamoto; 義弘宮本
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1988-05-16
Filing date: 1988-05-16
Publication date: 1989-11-21
Anticipated expiration: 2012-06-18
Also published as: JP2621337B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】（産業上の利用分野）本発明は、背景画像を用いた動画像の予測符号化方式及
び予測符号化装置に関するものである。

（従来の技術）従来、動画像の高能率符号化方式に関しては、予測符号
化方式が知られている。その構成回路の一例を第４図に
示す。この方式は画素データ９０から画像のフレーム間
及びフレーム内相関を利用して得た予測値９１を差し引
き、その差分値９２を符号化するもので、予測回路とし
てフレーム内予測回路５６、フレーム間予測回路５７及
び背景予測回路５８を並列接続し、切り替えスイッチ５
９により選択的にいずれかを接続する構成となっている
。切り替え選択方式としては、各画素毎に予測差分が最
も小さくなるモードを逐次検定する方式や、既に符号化
されている周辺画素において予測差分が最小であったモ
ードから、現画素の選択モードを推定する方式が知られ
ている。この様に多モード選択方式を採る理由は、通常
のテレビジョン信号ではフレーム間相関が高いのでフレ
ーム間予測符号化が効率的であるが、シーンチェンジや
激しい動きにより画像のフレーム間相関が低下した場合
には、画像のフレーム内相関を用いたフレーム内予測符
号化、もしくは背景予測符号化を行なう方が効率が良い
からである。特に動く被写体の背後から現れてくる画像
部分についてはフレーム間及びフレーム内の両方の相関
とも小さいので、動く被写体部分をできるだけ排除した
背景画像を用いて予測を行う。

上記のような背景画像の抽出方式としては、電子情報通
信学会論文誌’８５／Ｉ　Ｖｏｌ、ＪＧ８−Ｂ　Ｎｏ、
Ｉ（：報告されているものがある。これは、画像フレー
ム内の各画素の信号ルレベルが２フレ一ム間でほとんど
変化しない場合には、この画素が背景部分を表示してい
ると考え、背景画像の信号レベルをあらかじめ定められ
た大きさだけ前記画素の信号レベルに近付くように更新
する。この方式では、背景が照明の状態などで変化する
場合にも、予測に用いる背景画像を緩やかに更新するこ
とができる。

また、一連の画像フレーム期間で背景部分にほとんど変
化がない場合には、特願昭６２−１６５９５７号明細書
により提案されている方式を用いてもよい。この方式は
画像内のある画素が背景を表示している期間は、前記画
素の信号レベルがほとんど変化せず時間軸方向に平坦領
域を示すことを利用するもので、本例の場合、シーンチ
ェンジと次なるシーンチェンジの間の一連の動画像にお
いて、それぞれの画素の信号レベルの平坦領域を背景デ
ータとして抽出し、前記複数の平坦領域から適当なもの
を選択して、その平均値として背景レベルを決定する。

これを全画素に行うことで背景画像を生成する。生成さ
れた背景画像は上記−連の動画像の背景予測に用いられ
る。

（発明が解決しようとする問題点）フレームワークの固定している一定期間の動画像におい
ては、主観的には画像内の背景の大部分を背景画像を用
いて予測し、予測差分情報の発生を抑えることが期待さ
れる。しかし従来の予測符号化方式では、背景部分でも
多くの場合にフレーム間及びフレーム内の予測が用いら
れ、予測差分としてなお多くの情報を発生する。これは
背景予測に用いる背景画像が複数の画像フレームから抽
出された平均的な性格のものであるので、実際の画像フ
レームの背景部分においても、むしろフレーム間での相
関の方が高いためであり、なおかつ幾らかの予測差分を
発生することによる。また雑音などによる変化でフレー
ム間相関の小さくなった背景部分に対してもフレーム内
予測の方が背景予測よりも予測差分が小さくなることが
多いことにもよる。

本発明の目的は、一連の動画像の予測符号化において、
その背景部分に対してできるだけ背景画像を用いた予測
を行うことで、少なくとも主観的に劣化が少なく、かつ
発生情報量を抑えた予測符号化方式及び予測符号化装置
を提供することにある。

（問題を解決するための手段）本発明の動画像予測符号化方式は、画像フレーム内の各
画素に対し、その信号レベルと背景予測に用いられる背
景画像との差分値をあらかじめ定めたしきい値と比較し
、少なくとも前記比較結果をもとに背景予測を適用する
画素を決定すると共にその予測差分値を零とすることを
特徴とするもので、また本発明の動画像予測符号化装置
は、画像フレーム内の各画素に対し、その信号レベルと
背景予測に用いられる背景画像との差分値をあらかじめ
定めたしきい値と比較し、前記比較結果をもとに背景予
測を適用する画素を決定すると共に、前記画素の符号化
に同期して背景予測選択情報を出力する予測モード制御
手段と、前記背景予測選択情報にもとづき複数の予測手
段の中から背景予測を選択する予測器と、同情報にもと
づき予測差分信号を強制的に零とする零レベル出力回路
とを持つ予測符号化手段と、を少なくとも具備すること
を特徴とするものである。

（作用）本発明は、動画像の各フレームで変化の少ない背景部分
と判断されたところについて、これを予測生成された背
景画像で置き換えても主観評価上は余り劣化を生じない
ことを利用するものである。

本発明では、まず人力された画像フレームの各画素に対
して、その信号レベルと背景画像との差分を評価する。

次に各画素の予測符号化を行なう際に、前記差分値とあ
らかじめ定められたしきい値との比較結果から、背景予
測により予測符号化する画素を決定する。これにより雑
音及び小さな信号レベルのゆらぎしか示さない背景の大
部分に対して背景予測を適用することが可能となる。ま
た、前記背景予測が適用された各画素に対してはその予
測差分値を零とすることで、画像内の背景部分における
発生情報量を低く抑えることができる。

（実施例）以下、本発明の実施例を第１図〜第３図を用いて説明す
る。

第１図は、本発明の予測符号化方式を実現する一実施例
の基本ブロック図である。まず入力された画像信号３に
対して予測符号化回路１で各予測モードにおける予測値
４が求められ、これらを予測モード制御回路２に供給す
る。予測モード制御回路２では画像信号３と前記予測値
４を比較して、予測符号化回路１にどの予測モードを選
択するかを示す予測モード選択情報５を供給するが、背
景予測による予測差分絶対値があらかじめ定められたし
きい値より小さい場合には、前記情報５として背景予測
選択情報を供給する。次に予測符号化回路１では、入力
画像信号３と選択された予測値４との差分を符号化する
が、少なくとも前記背景予測選択情報が供給された場合
には予測差分値を強制的に零とする。

第２図は、本発明による動画像符号・復号システムの一
実施例を示すブロック図である。まず入力画像信号７０
に対して、フレー上向予測回路２０、フレーム間予測回
路２１及び背景予測回路２２の各々により予測値７１が
求められ、これを予測モード制御回路１３に供給する。

予測モード制御回路１３では、前記予測値７１と入力画
像信号７０との差分の大きさから予測モード選択情報７
２を生成出力するが、背景予測差分の大きさがあらかじ
め定められたしきい値よりも小さい場合には、前記予測
モード選択情報７２として背景予測選択情報を出力する
。次に予測モード選択情報７２にもとづいてスイッチ回
路２３により予測値７３が選択され、減算器１８でこの
予測値７３と入力画像信号７０との差分値７４が計算さ
れるが、背景予測選択情報がスイッチ回路１７に供給さ
れている場合には、強制的に零レベル出力回路１４に接
続して前記差分値を零とする。差分値は量子化回路１５
で量子化された後に、符号変換回路２４で符号化される
一方、逆憬子化回路１６で逆量子化され加算器１９で前
記予測値７３に加算した上で、予測器１２に供給される
。また予測モード選択情報７２も符号変換回路２゛４に
おいて符号化される。

第３図は本発明による動画像圧縮記録再生システムの一
実施例である。予測符号化の手順は第２図の場合と基本
的に同じであるが、背景予測回路３８には一連の動画像
信号８０の符号化に先だって、あらかじめ作成した背景
画像８４を記憶している。この背景画像８４も予測差分
信号と同様に符号変換回路４０により符号化され、復号
器３１においては一連の動画像の再生に先だって復号化
されて背景画像８６として、背景予測に用いられる。

本発明の予測符号化方式において、予測モードは画素毎
に逐次選択するだけでなく、複数の画素からなるブロッ
ク単位で選択してもよい。この場合にはブロック単位で
画像信号と背景画像を比較した場合に、画素当りの差分
があるしきい値より小さいブロックに背景予測を適用し
、背景予測を選択したブロック内の全ての画素の予測差
分値を零とする。

また、画像フレーム内での画素毎の背景予測差分値の分
布を見て、あらためてどの画素に背景予測を適用するか
を決定してもよい。例えば、あらかじめ定められたしき
い値と比較して、前記背景予測差分値の小さい画素が集
中している画像部分を切り出し、この部分内の画素全て
に背景予測を適用する。一方、前記差分値の小さな画素
が散在している部分は、背景予測から切り離す。前述の
切り出し部分は可変形状でもよく、あらかじめ定められ
た大きさのブロック単位で処理してもよい。さらに、あ
る画素の背景予測差分値を複数フレーム期間に渡り観測
した上で、特定のフレームでのみ前記差分値が大きくな
るが、前後のフレーム期間では各々連続して差分値の小
さい場合には、この差分値の大きなフレームにおいても
背景予測を適用することとしたり、逆に、ある期間内で
画素の信号そのもののフレーム間差分は小さくても、背
景予測差分値が次第に増大し、やがてあらかじめ定めた
しきい値を越えて増大する場合には、この期間全体で背
景予測を適用しないとすることも可能である。

なお、画像信号を本発明の予測符号化装置に入力するに
先だって、フィルタ回路に通すことで画像フレーム内の
背景部分における雑音など無意味な変動を取り除いてお
けば、本発明の効果を増進させることができる。

（発明の効果）本発明では、背景画像を基準として差分の小さい画像部
分に対して背景予測を適用するので、背景予測モードが
効率的に利用される。また本方式により背景予測が選択
された場合には予測差分を零とするので、画像フレーム
全体としての発生情報量を抑えることができる。

【図面の簡単な説明】第１図は、本発明の予測符号化方式の一実施例の基本ブ
ロック図、第２図は、本発明による動画像の符号番復号システムの
一実施例を示すブロック図、第３図は、本発明による動画像圧縮記録再生システムの
一実施例を示すブロック図、第４図は、従来の動画像予測符号・復号システムの一例
を示すブロック図である。図において、１・・・予測符号化回路、２・・・予測モード制御回路
、１０，３０．５０−・・符号器、１１，３１゜５１・
・・復号器、１２．２８，３２，４３．５２・・・予測
器、１３．４５・・・予測モード制御回路、１４・・・
零レベル出力回路、１５・・・量子化回路、１６゜２６
・・・逆量子化回路、１７，２３，３３，３９゜５９・
・・スイッチ回路、１８，３４．５４・・・減算器、１
９，２９，３５，４４，５５．６０・・・加算器、２０
，３８．５６・・・フレーム内予測回路、２１．３７．
５７・・・フレーム間予測回路、２２゜３８．５８・・
・背景予測回路、２４．４０・・・符号変換回路、２５
．４２・・・符号逆変換回路、２７゜５３・・・モード
制御回路、４１・・・符号記録媒体。

Claims

【特許請求の範囲】

（１）背景予測を用いた動画像の予測符号化方式におい
て、画像フレーム内の各画素に対し、その信号レベルと
背景予測に用いられる背景画像との差分値をあらかじめ
定めたしきい値と比較し、少なくとも前記比較結果をも
とに背景予測を適用する画素を決定すると共にその予測
差分値を零とすることを特徴とする予測符号化方式。
（２）画像フレーム内の各画素において、その信号レベ
ルと背景予測に用いられる背景画像との差分値をあらか
じめ定めたしきい値と比較し、前記比較結果をもとに背
景予測を適用する画素を決定すると共に、前記画素の符
号化に同期して背景予測選択情報を出力する予測モード
制御手段と、前記背景予測選択情報にもとづき複数の予
測手段の中から背景予測を選択する予測器と、同情報に
もとづき予測差分信号を強制的に零とする零レベル出力
回路とを持つ予測符号化手段と、を少なくとも具備した
、動画像の予測符号化装置。