JPH0646402A - 動画像圧縮装置 - Google Patents

Abstract

(57)【要約】 【目的】 移動体のエッジ部分のまとわりを防止するこ
とができ、動画全体の画質を向上させる。 【構成】 動画像圧縮装置１０は、部分画像１１を各ブ
ロック２１，２２，２３，２４に細分化するブロック化
部３２と、各ブロック２１，２２，２３，２４の予測誤
差エネルギを算出する誤差エネルギ算出部と、算出され
た誤差エネルギに基づいて部分画像の動きが移動体のエ
ッジを追いかけていることを判別する部分画像モード判
断部と、部分画像モード判断部の判断結果に基づいて符
号の重み付けを変えるように符号化する符号化部とを備
える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動き補償による時間方
向の予測を伴う動画像圧縮装置に関する。

【０００２】

【従来の技術】時間方向の予測を伴う動画像圧縮装置で
は、カメラのＰＡＮや被写体の移動による予測効率の低
下を軽減させるために、動きを補償による予測を行って
いる。この動き補償は、着目フレームと参照フレーム間
で対象領域の動きベクトルを検出し、参照フレームにお
いて動きベクトル分だけずらした位置を参照画素とし、
これを予測値として着目画素との差分（予測誤差）を伝
送する方法である。例えば、動き補償予測を図７に示す
ように予測元画像の動きベクトルを基に移動体の動きを
予測し、原画像においてその動きを補償している。動き
補償は１６×１６画素のブロック単位で前画像のそのブ
ロックの位置の近傍で一番差分が少ないところを探索
し、それとの差分をとることによりさらに送らなければ
ならないデータを削減するという手法であり、動きベク
トルを検出する手段として図８に示すように一般に動き
補償の対象となる部分画像の元の場所から一定の範囲内
をサーチし、最も誤差の少ない場所を選ぶという方法を
とっている。

【０００３】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の動画像圧縮装置にあっては、動き補償の対象
となる部分画像の元の場所から一定の範囲内をサーチ
し、最も誤差の少ない場所を選ぶという方法をとってい
たため、移動がＰＡＮによるものなのか、移動物体の中
なのかあるいは移動体のエッジを追いかけたものなのか
ということがわからず、移動物体のエッジを追いかけた
動き補償の場合、その部分の背景の予測が大きくはずれ
てしまうことがあり、その結果移動体のまわりに何かま
とわりついているような画像になってしまうという欠点
があった。すなわち、動き補償は剛体の移動を前提とし
ており、圧縮しようとしているあるマスクブロックが完
全に剛体（移動体）の中に含まれてしまった場合と、移
動体のエッジにかかった場合とがある。完全に中に含ま
れてしまった場合は基本的に移動体は剛体であるから同
じ模様であることが予測されるから問題はないが、エツ
ジにかかった場合は背景は全部外れてしまうことにな
り、エッジ付近に何かまとわりついたような画像になっ
てしまう。そこで本発明は、移動体のエッジ部分のまと
わり感を防止することができ、動画全体の画質を向上さ
せることができる動画像圧縮装置を提供することを目的
とする。

【０００４】

【課題を解決するための手段】請求項１記載の発明は、
上記目的達成のため、画像データに対し直交変換手段に
より時間軸方向に圧縮を行う時間予測を伴った動画像圧
縮装置において、予測のために切出した移動体のエッジ
があることを判別し、該エッジがあるときには符号化の
重みを上げるようにしている。請求項２記載の発明は、
画像データに対し直交変換手段により時間軸方向に圧縮
を行う時間予測を伴った動画像圧縮装置において、予測
のために切出した部分画像を所定のブロックに細分化す
るブロック化手段と、前記ブロック化手段により細分化
された各ブロック毎に予測誤差エネルギを算出する予測
誤差エネルギ算出手段と、前記予測誤差エネルギ算出手
段により算出された各ブロック毎の予測誤差エネルギに
基づいて前記部分画像が移動体のエッジであることを判
別する判別手段と、前記判別手段の出力に基づいて符号
化の重みを変えて画像データを符号化する符号化手段
と、を備えている。前記ブロック化手段は、例えば請求
項３に記載されているように、動き補償のために切出し
た部分画像を、直交変換手段に用いられるブロックと同
様の大きさのブロックに細分化するようにしてもよく、
前記判別手段は、例えば請求項４に記載されているよう
に、前記予測誤差エネルギ算出手段により算出された各
ブロック毎の予測誤差エネルギに所定の偏りがあるとき
前記部分画像が移動体のエッジを追いかけていると判別
するようにしてもよい。また、前記符号化手段は、例え
ば請求項５に記載されているように、部分画像毎の量子
化幅を変えることにより符号化の重みを変えるようにし
てもよく、前記直交変換手段は、例えば請求項６に記載
されているように、離散コサイン変換（ＤＣＴ）を行う
離散コサイン変換手段であってもよい。

【０００５】

【作用】本発明の手段の作用は次の通りである。請求項
１、２、３、４、５及び６記載の発明では、先ず、予測
のために切出した部分画像がブロック化手段により所定
のブロックに細分化され、予測誤差エネルギ算出手段に
よって細分化された各ブロック毎に予測誤差エネルギが
算出される。この場合、動き補償のために切出したマス
クブロックを直交変換に用いるブロックに分け、これら
のブロック毎に予測誤差エネルギを算出するようにして
もよい。そして、判別手段により部分画像が移動体のエ
ッジであることが判別されると、符号化手段がこの判別
結果に基づいて符号化の重みを変えて画像データを符号
化する。従って、移動体のエッジ部分のまとわり感を防
止することが出来る。

【０００６】

【実施例】以下、本発明を図面に基づいて説明する。原理説明 先ず、本発明の基本的な考え方を説明する。一般に、時
間予測を伴う動画像圧縮装置では、ある時点の画像は、
それよりも過去もしくは未来の画像からの予測によりそ
の差分を圧縮対象のデータとしている。図１ら示すよう
に一枚の画像１０はいくつかの部分画像１１に分けら
れ、それぞれの部分画像１１について別々に動き補償を
含む予測処理が行われる。そこで、予測処理が終了した
時、図２に示すように該当する部分画像をさらにいくつ
かのブロック２１，２２，２３，２４に分け、それぞれ
のブロック２１，２２，２３，２４の予測誤差エネルギ
を算出する。すなわち、動き補償は、１６×１６の１マ
クロブロック毎で移動が行われるから、１つのマクロブ
ロックには４つの８×８のブロックが存在する。動き補
償を求めるということは換言すれば予測誤差エネルギを
算出することであるからカメラのＰＡＮ等により、画像
全体が移動した場合や移動体の中に部分画像が完全に含
まれている場合は、各ブロック２１，２２，２３，２４
の予測誤差エネルギはだいたい均一化される。しかし、
図３に示すように部分画像が移動体と背景の両方を含ん
でいる場合、どちらかの予測が大きく外れることが予測
される。この場合各ブロック２１，２２，２３，２４の
予測誤差エネルギの値に偏りが生じると考えられる。す
なわち、マクロブロック１１中の各ブロック２１，２
２，２３，２４の予測誤差エネルギがだいたい均一のと
きは画像全体が移動した場合や移動体の中に部分画像が
完全に含まれている場合等移動体のエッジではないと考
えられ、また、各ブロック２１，２２，２３，２４の予
測誤差エネルギが違うものが１つのマクロブロック中に
含まれていた場合には移動体のエッジを追いかけていた
と考えられる。例えば、図３に示すように左上の部分に
背景が含まれていると、そこの予測誤差エネルギが他の
予測誤差エネルギよりも大きくなる。すなわち、ｅ１＞
ｅ２≒ｅ３≒ｅ４となる。

【０００７】ある程度以上の偏りが生じた場合、それは
移動体のエッジを追いかけていると判断し、符号化時
に、重要度を上げて画質を向上させるようにする。重要
度を上げる方法として、例えば、直交変換を伴う画像圧
縮については、量子化幅を変更する方法がある。また、
動画では動いている部分に注意が集中しやすいため、そ
の部分の画質の優先度を上げることで視覚的な効果を期
待できるようにする。

【０００８】実施例 図４は本発明に係る動画像圧縮装置の一実施例を示す図
である。先ず、構成を説明する。図４は動画像圧縮装置
のブロック図であり、この図において、動画像圧縮装置
の符号化器は、画像モード、予測モード、動きベクトル
及び各種制御信号を出力して、システム全体の制御を行
なうコントローラ３０と、データ圧縮すべき画像データ
を記憶する画像メモリ３１と、画像メモリ３１から読み
出した画像データに動き補償フレーム間予測処理による
予測結果を減算する減算器３２と、減算器３２により減
算された画像データをコントローラ３０に出力するとと
もに、該画像データに対しＤＣＴ演算を行なうＤＣＴ演
算部３３と、コントローラ３０で決定された量子化幅に
従ってＤＣＴ演算の出力データを一定の誤差の範囲内で
量子化する量子化部３４と、量子化部３４により量子化
された画像データに対し画像データのほか各種ブロック
属性信号を可変長符号化した後、定められたデータ構造
の符号列に多重化するビデオマルチプレックス符号化部
（ＶＬＣ）３５と、変動する情報発生を一定レートに平
滑化するバッファ３６と、周期的なフレーム内符号化フ
レームを基本とした動き補償予測を行なう動き補償フレ
ーム間予測部３７と、により構成されている。

【０００９】上記動き補償フレーム間予測部３７は、量
子化部３４により量子化された画像データを逆量子化す
る逆量子化部３８と、逆量子化部３８により量子化前の
画像データに戻されたデータに対し逆ＤＣＴ（ＩＤＣ
Ｔ）演算を施すＩＤＣＴ演算部３９と、ＩＤＣＴ演算部
３９によりＤＣＴ処理される前の画像データに戻された
データに動き補償を加算する加算器４０と、コントロー
ラ３０からの画像モード、予測モードに従って信号経路
を切り換えるスイッチ４１、４２、４３と、コントロー
ラ３０で演算処理（図６参照）された動きベクトルによ
り動き補償予測を行なう予測器４４、４５とから構成さ
れる。

【００１０】また、動画像圧縮装置の復号器は、上記符
号化器とは逆の動作を行なうものであり、具体的には、
図５に示すように、変動する情報発生を一定レートに平
滑するバッファ４６と、バッファ４６に記憶された復号
化すべき画像データを前記ビデオマルチプレックス符号
化部（ＶＬＣ）３５の処理と逆の処理を行なって復号化
する逆ビデオマルチプレックス復号化部（ＶＬＣ^-1）４
７と、ＶＬＣ^-1４７で決定された量子化幅に従ってＶＬ
Ｃ^-1４７の出力に対し逆量子化する逆量子化部４８と、
逆量子化部４８で逆量子化されたデータに対し逆ＤＣＴ
演算を施すＩＤＣＴ演算部４９と、ＩＤＣＴ演算部４９
の出力に予測結果を加算する加算器５０と、ＶＬＣ^-1４
７からの画像モード、予測モードに従って信号経路を切
り換えるスイッチ５１、５２、５３と、ＶＬＣ^-1４７で
算出された動きベクトルにより動き補償予測を行なう予
測器５４、５５とから構成される。

【００１１】次に、本実施例の動作を説明する。図６に
おいて、先ず、ステップＳ３１の動きベクトル検出部で
部分画像の動きベクトルを検出する。図１に示すよう
に、一枚の画像はいくつかの部分画像１１に分けられ、
それぞれの部分画像１１について別々に動き補償を含む
予測処理が行われる。本実施例では、予測処理によって
算出された動きベクトルを用いるようにする。次いで、
図２に示すようにステップＳ３２のブロック化部により
部ブロック画像１１をさらにいくつかのブロックに細分
化し、ステップＳ３３の誤差エネルギ算出部で各ブロッ
クの誤差エネルギを算出する。次いで、ステップＳ３４
のモード判断部により各ブロックの誤差エネルギを基に
該当部分画像の動きが移動体のエッジを追いかけている
のか否かを判別し移動体のエッジを追いかけているとき
は、ステップＳ３５の符号化部で符号化の重要度を上げ
て動画像データを符号化して符号化処理を終了する。す
なわち、図３に示すように部分画像が移動体と背景の両
方を含んでいる場合には予測が大きく外れて各部の予測
誤差エネルギに大きな偏りが生じる。従って、ある樋度
以上の偏りが生じた場合、それは移動体の悦路を追いか
けていると判断し、符号化時に重要度を上げる。例え
ば、直交変換を伴う画像圧縮については細かく量子化が
できるように量子化幅を変更するようにする。なお、符
号化の重要度を上げ、移動体のエッジ付近の画質を向上
させる方法としては上記量子化幅の変更だけに限らず、
例えば直交変換の計算法を変えるようにしてもよい。ま
た、動画では動いている部分に注意が集中しやすいた
め、その部分の画質の優先度を上げることで視覚的な効
果が期待できる。

【００１２】以上説明したように、本実施例の動画像圧
縮装置は、部分画像１１を各ブロック２１，２２，２
３，２４に細分化するブロック化部（ステップＳ３２）
と、各部２１，２２，２３，２４の予測誤差エネルギを
算出する誤差エネルギ算出部（ステップＳ３３）と、算
出された誤差エネルギに基づいて部分画像の動きが移動
体のエッジを追いかけているかを判別する部分画像モー
ド判断部（ステップＳ３４）と、部分画像モード判断部
（ステップＳ３４）の判断結果に基づいて符号の重み付
けを変えるように符号化する符号化部（ステップＳ３
５）とを備えているので、動き補償により移動体のエッ
ジを追いかけているかどうかの判断が可能となり、エッ
ジを追いかけている部分画像の符号化の重要度を上げる
ことで視覚的な画質を向上させることができる。

【００１３】なお、本実施例では動画像圧縮装置をＭＰ
ＥＧアルゴリズムに基づく動画像圧縮装置に適用した例
であるが、勿論これには限定されず、移動体のエッジを
判別して符号化の重要度を上げるものであれば全ての装
置に適用可能であることは言うまでもない。

【００１４】また、本実施例では、マクロブロックをＤ
ＣＴをかける８×８画素のブロックに細分化して予測誤
差エネルギを算出するようにしてるのが、部分画像を細
分化させ、細分化したブロックの予測誤差エネルギに基
づいて移動体のエッジを判別するものであればどのよう
な細分化でもよい。例えば、ＤＣＴをかけるブロックの
大きさと同じでなくてもよい。

【００１５】また、本実施例では、変換符号化方式にＤ
ＣＴを適用しているが、このＤＣＴ方式には限定され
ず、例えば、アダマール変換、ハール（Harr）変換、傾
斜変換（スラント変換）、対称性サイン変換などを用い
た動画像圧縮装置に適用することができる。

【００１６】さらに、上記動画像圧縮装置等を構成する
回路や部材の数、種類などは前述した実施例に限られな
いことは言うまでもなく、ソフトウェア（例えば、Ｃ言
語）により実現するようにしてもよい。

【００１７】

【発明の効果】請求項１、２、３、４、５及び６記載の
発明によれば、予測のために切出した部分画像に移動体
のエッジがあることを判別し、該エッジがあるときには
符号化の重みを上げるようにしているので、移動体のエ
ッジ部分のまとわり感を防止することができ、動画全体
の画質を向上させることができる。

【図面の簡単な説明】

【図１】動画像圧縮装置の部分画像を示す図である。

【図２】動画像圧縮装置のブロック毎の予測誤差エネル
ギ算出を示す図である。

【図３】動画像圧縮装置の各ブロックの誤差エネルギの
偏りを説明するための図である。

【図４】動画像圧縮装置の符号化器のブロック構成を示
す図である。

【図５】動画像圧縮装置の復号化器のブロック構成を示
す図である。

【図６】動画像圧縮装置の動作を示すフローチャートで
ある。

【図７】動画像圧縮装置の動き補償予測を示す図であ
る。

【図８】動画像圧縮装置の動きベクトルサーチ範囲を示
す図である。

【符号の説明】

１０ 動画像圧縮装置 １１ 部分画像 ２１，２２，２３，２４ ブロック ３１ 動きベクトル検出部 ３２ ブロック化部 ３３ 誤差エネルギ算出部 ３４ 部分画像モード判断部 ３５ 符号化部

Claims (6)

【特許請求の範囲】
1. 【請求項１】 画像データに対し直交変換手段により時
   間軸方向に圧縮を行う時間予測を伴った動画像圧縮装置
   において、 予測のために切出した移動体のエッジがあることを判別
   し、該エッジがあるときには符号化の重みを上げるよう
   にしたことを特徴とする動画像圧縮装置。
2. 【請求項２】 画像データに対し直交変換手段により時
   間軸方向に圧縮を行う時間予測を伴った動画像圧縮装置
   において、 予測のために切出した部分画像を所定のブロックに細分
   化するブロック化手段と、 前記ブロック化手段により細分化された各ブロック毎に
   予測誤差エネルギを算出する予測誤差エネルギ算出手段
   と、前記予測誤差エネルギ算出手段により算出された各
   ブロック毎の予測誤差エネルギに基づいて前記部分画像
   が移動体のエッジであることを判別する判別手段と、前
   記判別手段の出力に基づいて符号化の重みを変えて画像
   データを符号化する符号化手段と、 を具備したとを特徴とする動画像圧縮装置。
3. 【請求項３】 前記ブロック化手段は、動き補償のため
   に切出した部分画像を、直交変換手段に用いられるブロ
   ックと同様の大きさのブロックに細分化するようにした
   ことを特徴とする請求項２に記載の動画像圧縮装置。
4. 【請求項４】 前記判別手段は、前記予測誤差エネルギ
   算出手段により算出された各ブロック毎の予測誤差エネ
   ルギに所定の偏りがあるとき前記部分画像が移動体のエ
   ッジを追いかけていると判別するようにしたことを特徴
   とする請求項２に記載の動画像圧縮装置。
5. 【請求項５】 前記符号化手段は、部分画像毎の量子化
   幅を変えることにより符号化の重みを変えるようにした
   ことを特徴とする請求項２に記載の画像圧縮方法。
6. 【請求項６】 前記直交変換手段は、離散コサイン変換
   （ＤＣＴ）を行う離散コサイン変換であることを特徴と
   する請求項１又は請求項２の何れかに記載の画像圧縮方
   法。