JP3426092B2

JP3426092B2 - 動画像符号化装置における動き補償フレーム間予測方法

Info

Publication number: JP3426092B2
Application number: JP24146996A
Authority: JP
Inventors: 直樹冨澤
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1996-09-12
Filing date: 1996-09-12
Publication date: 2003-07-14
Anticipated expiration: 2016-09-12
Also published as: US6208690B1; JPH1093975A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動き補償フレーム
間予測を行うことにより得た予測画像フレームと入力画
像フレームとの差としての予測誤差情報を符号化する動
画像符号化装置における動き補償フレーム間予測方法に
関し、特に予測方法にワープ予測を用いたものであり、
より詳しくは、適合的にアフィン変換を施す領域を変化
させる動き補償フレーム間予測方式を用いた動画像符号
化装置における動き補償フレーム間予測方法に係わる。

【０００２】

【従来の技術】従来より、ＩＳＤＮ（Integrated Servi
ces Digital Network）などの高速ディジタル網におい
ては、テレビ電話やテレビ会議等を用途として動画像通
信が実現されている。また、ＰＨＳ（Personal Handyph
one System）に代表される無線伝送網の進展、およびＰ
ＳＴＮ（Public Switched Telephone Network）網にお
けるデータ変調・復調の進展、さらに画像圧縮技術の進
展に伴い、より低ビットレート網における動画像通信へ
の要求が高まっている。

【０００３】動画像情報を圧縮する符号化方式として
は、Ｈ．２６１、Ｈ．２６３等がすでに国際標準化され
ている。これらの方式は、フレーム間予測符号化および
フレーム内符号化を組み合わせて行うハイブリッド映像
符号化方式を採用している。

【０００４】フレーム間予測符号化は、動画像を符号化
する際に、参照画像フレームから予測画像フレームを生
成し、現画像フレームとの差分を符号化することで符号
量を減少させ伝送することで、伝送路の効率的な利用を
図るものである。

【０００５】フレーム間予測符号化には、ブロックマッ
チング、アフィン変換、ワープ予測などが知られてい
る。以下に、アフィン変換を用いた従来のフレーム間予
測方法について説明する。まず、アフィン変換について
説明する。アフィン変換は、ある画像フレームから別の
画像フレームへの写像を６つのパラメータにより表現す
ることにより行われる。一般的に、アフィンパラメータ
の計算の簡便化などの理由により、アフィン変換は、三
角形領域を対象として行われる。

【０００６】図３は、前方向予測を行う場合のアフィン
変換を用いたフレーム間予測の説明図を示すものであ
る。なお、この図３において、７０１はコントロールグ
リッドである。現画像フレームのコントロールグリッド
点Ａ、Ｂ、Ｃ、Ｄの動きベクトルを探索した結果、参照
フレームのコントロールグリッド点Ａ′、Ｂ′、Ｃ′、Ｄ
が対応する位置であったとする。

【０００７】アフィンパラメータを求めるためには、ま
ず、４つのコントロールグリッド点のうち３点を選択し
領域の分割を行う。例えば、現画像フレームでは、Ａ、
Ｂ、ＣとＢ、Ｃ、Ｄのような領域の分割を行う。対応し
て参照画像フレームではＡ′、Ｂ′、ＣとＢ′、Ｃ′、Ｄに
分割される。

【０００８】領域を三角形に分割した後、各三角形の頂
点の位置（一方が頂点の位置で、片方が動きベクトルで
も良い）よりアフィンパラメータを計算する。そして、
求められたアフィンパラメータより分割された三角形領
域の内部の画素全てを予測画像フレームに写像すること
により、予測画像フレームを生成する。次に、画像を
適応領域に分割する方法を説明する。まず、図４（ａ）
のような１６×１６画素単位のコントロールグリッド点
で基本動きベクトルを探索する。また、図４（ｂ）に示
す８×８画素単位に付加動きベクトルも探索する。該基
本または付加動きベクトルを使ってアフィン変換を行う
際の領域分割パターンを例として図５及び図６に示す。
図５中の領域分割の中で簡易的に示すパターンを用いて
も良い。図６においては領域分割パターンには平行移動
を含め、９個の領域分割パターンがある。タイプ１が平
行移動であり、タイプ２、３が２分割（アフィン変換２
回）、タイプ４〜７が５分割（アフィン変換５回）、タ
イプ８、９が８分割（アフィン変換８回）である。これ
らの中から適当なタイプを選択することにより行う。

【０００９】図７は従来技術例（Ａ）の動き補償予測の
フローチャートである。ステップ３０１では入力画像フ
レームと参照画像フレームとにより動きベクトルを求め
る。続いて、ステップ３０２ではブロック毎に図６に示
すアフィン変換領域分割タイプ２〜９においてそれぞれ
アフィン変換を施す。ステップ３０３では平行移動タイ
プ（タイプ１）、並びにアフィン変換されたタイプ２〜
９でそれぞれ予測誤差評価値を計算し、最小誤差のタイ
プを決定する。ステップ３０４では決定された領域分割
タイプや、動きベクトルといったサイド情報を符号化す
る。

【００１０】また、この他の従来例（Ｂ）として図８に
あげる方法がある。ステップ４０１において、図４
（ａ）に示す動きベクトルを探索する。ステップ４０２
では、領域分割数２つ（アフィン変換を２回行う）の領
域分割タイプ２と３でアフィン変換を行う。続いて、ス
テップ４０３では、それぞれタイプの予測誤差評価値を
計算し、平行移動のタイプ１ならびにアフィン変換のタ
イプ２と３で予測誤差評価値が小さいタイプを選択す
る。ステップ４０４では該３個のタイプの中で選択され
たタイプの予測誤差評価値を、予め設定しておいた所望
の値をしきい値Ｔとして、しきい値Ｔ以下であれば、こ
のタイプを採用し、ステップ４０５でサイド情報を符号
化する。しきい値Ｔを越えるならばステップ４０１に戻
る。

【００１１】ステップ４０１では図４（ｂ）の動きベク
トルを探索し、ステップ４０２では、アフィン変換を５
回行う領域分割タイプ４〜７でアフィン変換を施す。ス
テップ４０３ではこれらの予測誤差評価値を求め、最も
予測誤差の少ないタイプを選択する。ステップ４０４で
は選択されたタイプの予測誤差評価値をしきい値Ｔによ
り判定し、しきい値Ｔ以下であれば、このタイプを採用
し、ステップ４０５でサイド情報を符号化し、しきい値
Ｔを超えるならばステップ４０１に戻る。

【００１２】ステップ４０１では前に求めた図４（ｂ）
の動きベクトルを用い、ステップ４０２でアフィン変換
を８回行う領域分割タイプ８、９でアフィン変換を施
し、ステップ４０３は予測誤差の少ない方を採用する。
このようにして採用されたタイプをステップ４０５にお
いてサイド情報として符号化する。

【００１３】

【発明が解決しようとする課題】しかしながら、従来の
技術（Ａ）ではアフィン変換領域分割タイプを決定する
ために、すべてのタイプでアフィン変換を行っている。
このためアフィン変換の回数が多く演算量が大きい。

【００１４】また、従来の技術（Ｂ）では上述の課題、
特にアフィン変換の回数が余計にかかる点はある程度解
決されているが、該技術では必ず最初に領域分割数２の
タイプでアフィン変換を行うので、平行移動タイプが選
択された場合、該アフィン変換処理が無駄になる。ま
た、アフィン変換を行い、予測誤差評価値を求める場
合、図６のタイプ２と４に示される網部領域は同じもの
であり、再びアフィン変換を行うのは無駄がある。

【００１５】本発明は、上記従来の課題に鑑みてなした
ものであり、これら課題を解決した動画像符号化装置に
おける動き補償フレーム間予測方法を提供するものであ
る。

【００１６】

【課題を解決するための手段】かかる課題を解決するた
めに、動き補償フレーム間予測において、動きベクトル
および参照画像フレームより、処理領域のブロック平行
移動による予測フレームを求め、入力画像フレームとの
予測誤差評価値を求め、しきい値と該予測誤差評価値を
比較し、しきい値をこえない場合は平行移動による予測
フレームを採用し、予測誤差情報を符号化し、しきい値
を超える場合は、動きベクトルおよび参照画像フレーム
より該画像に適応した処理領域を分割し、アフィン変換
を用いた予測フレームを採用し、予測誤差情報を符号化
し、また、予測画像フレームおよび動きベクトル、該領
域分割情報などのサイド情報を出力する。

【００１７】また、入力画像に適応した処理領域を分割
する際に、ブロック中を三角領域に分割するタイプを複
数用意し、これらのうち分割数の少ないものから順に予
測誤差評価値を計算し、しきい値により判定し、しきい
値を下回った段階で適当な領域として採用する。

【００１８】また、画像の符号量が増大した際に、動き
ベクトルを減らし、かつ演算量を減らすために、予測誤
差評価値をしきい値で判定する際、領域分割数の多いタ
イプに対して、しきい値を大きくする。

【００１９】

【００２０】

【００２１】また、三角領域でアフィン変換を行って、
予測誤差評価値を求める際に、面積の小さな領域の予測
誤差評価値が相対的に大きくなるような重みづけを施す
ことにより演算量を減らす。

【００２２】

【発明の実施の形態】図１に実施の形態の動き補償フレ
ーム間予測の制御フローチャートを示す。ステップ１０
１では、ブロック平行移動で動き補償フレーム間予測を
行うための動きベクトルを探索する。これは、例えばマ
クロブロックの中央の画素を代表として動きベクトルを
探索する。探索例としては、予測フレーム中の動きベク
トルを求める画素を中心とする探索範囲（マスク）を設
定し、マスク中に存在する全画素との画素値の差をと
り、差が最小の画素への移動分を動きベクトルとする。
ここで、探索するマスク中の画素は、近接する画素間の
平均を画素値とする半画素も含めてもよい。

【００２３】ステップ１０２において、上記の動きベク
トルを用いてブロック平行移動で求めた予測画像と、入
力画像とにより一度誤差情報量（予測誤差）の評価値を
計算する。予測誤差評価値の計算は、例えば予測画像と
入力画像間のＳＡＤ（Sum ofAbsolute Difference）を
用い、ＳＡＤ値を評価値としたり、該二画像間の二乗平
均値を評価値とする方法等が考えられる。

【００２４】ステップ１０３では、該評価値と、予め設
定したしきい値Ｔ１とを比較して、該評価値がしきい値
Ｔ１以下であれば、動き補償予測モードをブロック平行
移動モードと決定し、平行移動タイプ（図６中タイプ
１）を予測画像フレーム中のブロックとして採用する。
そして、ステップ１０４以降のアフィン変換等の処理は
行わずステップ１１０に移行する。

【００２５】また、該評価値がしきい値Ｔ１を超える場
合は、動き補償予測モードをアフィン変換モードとして
ステップ１０４以降の処理を行う。ここで、しきい値Ｔ
１は、特に固定値でなくても良く、符号化制御におい
て、例えば対象画像の動きが激しい等の理由で、符号量
が大きく増加した際に、処理量を少なくするためにしき
い値を大きくするように動的に設定してブロック平行移
動モードが選択され易くすることも考えられる。

【００２６】ステップ１０４では、図４（ａ）に示すコ
ントロールグリッド上の基本動きベクトルを探索する。
探索方法はステップ１０１の方法と同様である。ステッ
プ１０５では、求めた基本動きベクトルからアフィン変
換を図６のタイプ２、または３のいずれかのタイプ中に
含まれる三角領域で行う。

【００２７】ステップ１０６では、ステップ１０５で求
めたアフィン変換値によって行った動き補償予測の予測
誤差評価値を計算する。該評価値の計算方法はステップ
１０２の場合と同様である。ステップ１０７の条件は、
領域分割数が同じタイプすべての評価値を求めるための
ものである。ステップ１０８で、タイプ２、３それぞれ
の予測誤差評価値を比較し、評価値の小さい方を選択す
る。

【００２８】そして、ステップ１０９において、上記で
選択したタイプを、実際の動き補償予測に採用するのか
を判定するのに、予測誤差評価値と予め設定したしきい
値Ｔ２を比較する。該評価値がしきい値Ｔ２以下であれ
ば選択されたタイプを予測画像フレームとして採用し、
ステップ１１０でサイド情報として選択したタイプ番号
と動きベクトルを符号化する。

【００２９】しきい値Ｔ２を超える場合は、ステップ１
０４で図４（ｂ）に示す付加動きベクトルを探索する。
探索方法は、上記ステップ１０１の探索方法と同様であ
る。ステップ１０５で図６のタイプ４〜７のいずれか一
つのタイプ中に含まれる三角領域でアフィン変換を行
い、ステップ１０６で該タイプの予測誤差評価値を計算
し、ステップ１０７の条件によりタイプ４〜７の予測誤
差評価値を求める。

【００３０】そして、ステップ１０８でタイプ４〜７の
予測誤差評価値を比較し、該評価値が最小であるタイプ
を選択する。ステップ１０９では、該選択タイプの予測
誤差評価値をしきい値Ｔ２と比較し、しきい値Ｔ２以下
であれば該タイプを予測画像フレームとして採用し、し
きい値Ｔ２を超える場合は、ステップ１０４に戻り、タ
イプ８、９に対してステップ１０４〜１０９の処理を行
う。

【００３１】この時、ステップ１０４においてタイプ４
〜７の判定処理で付加動きベクトルをすでに求めている
ので、ステップ１０４は処理なしとするのも良い。ま
た、以上の処理で仮に全タイプの予測誤差評価値がしき
い値を超えてしまう場合は、デフォルトとしてブロック
平行移動タイプを採用したり、分割数２のタイプ２また
は３を採用したりする。

【００３２】そして、ステップ１１０では、上記の手法
で決定された領域分割タイプや、ブロック平行移動また
はアフィン変換に使用した動きベクトルをサイド情報と
して符号化して出力する。

【００３３】また、この他の例として、領域分割タイプ
を決定するための予測誤差評価値を計算する際に、図６
の分割数２（タイプ２、３）→分割数５（タイプ４〜
７）→分割数８（タイプ８、９）のように分割数が多く
なる順に相対的に予測誤差評価値が大きくなるよう、重
みづけを施す。そして、より分割数の少ないタイプを選
択し易くする。

【００３４】上記の実施の形態、並びに先に述べた従来
の技術では、アフィン変換による動き補償予測を行うに
あたり、画像に適応した処理領域に分割する際に、複数
の分割タイプを設定して、そのうちの１タイプを採用す
ることによって行っている。

【００３５】該領域分割パターンの一例である図６に示
したタイプ２〜９の領域分割パターン中には、網部で示
した２つの領域のように異なるタイプ中に同じアフィン
変換をする領域がある。図６のタイプ２〜９のうち、上
記のように同じ領域を１回のアフィン変換で行うように
すると、全タイプ２〜９の予測誤差を求めるのに必要な
アフィン変換は２０回で済むことになるが、一方、上記
の方法をとらないで、タイプごと独立に処理を行うと、
４０回のアフィン変換が必要になる。

【００３６】図２は、上記の点を考慮した場合の処理の
フローチャートを示す。ステップ２０１では、基本なら
びに付加動きベクトルの探索をする。探索方法は上記の
実施の形態で述べた方法が考えられる。ステップ２０２
では、例えば、図６中の三角形状の領域(1)〜(20)（図
面において、領域(1)はと表記、領域(2)以下について
も、同様に、、・・・と表記する。）のうち、一つ
の領域でアフィン変換を行う。

【００３７】ステップ２０３では、該領域で予測誤差評
価値を求め、該評価値を一時記憶する。ここで、該評価
値を求める際に、図６に示すタイプの中において、領域
(1)〜(4)よりも相対的に面積の小さい領域である領域
(5)〜(20)に予測誤差評価値が大きくなるように重みを
つけて計算してもよい。そして、ステップ２０４の条件
で図６の領域(1)〜(20)の２０通りの三角形状の領域に
ついて全てアフィン変換を行い、予測誤差評価値を求め
るようにする。

【００３８】ステップ２０５では、各分割タイプの予測
誤差評価値を求めるために、記憶されている領域(1)〜
(20)の予測誤差評価値を読み出し、これらの和により、
図６のタイプ２〜９におけるブロック単位の予測誤差評
価値を計算する。ステップ２０６では、このようにして
求められたブロック単位の予測誤差評価値から、誤差最
小のタイプを決定する。

【００３９】ここで、誤差最小のタイプを決定する際
に、上記の実施の形態で述べたようにタイプ２、３の領
域分割数が２のタイプから分割数８のタイプへ順にしき
い値Ｔ２によって比較し、採用するかどうかを判定する
方法も考えられる。また、タイプによって分割数が多い
ものに予測誤差評価値が大きくなるように重みづけをす
ることによって予測誤差評価値を比較するのも良い。こ
の場合、分割数の少ないタイプが選択されやすくなり、
このため、サイド情報の符号化において動きベクトルの
符号量を減らすことができ、符号化効率が向上する。そ
して、ステップ２０７でサイド情報を符号化して出力す
る。このように、ある三角領域で一度アフィン変換して
求めた予測誤差評価値を記憶しておき、再び使用するこ
とでアフィン変換の回数が減り、演算量を減らすことが
できる。また、動きベクトルを探索し直すこともなく処
理の効率化が高まるという効果が得られる。

【００４０】

【発明の効果】以上の説明から、本発明によると、以下
のような効果が得られる。最初にブロック平行移動で予
測誤差評価値を求め、該評価値がしきい値以下であれば
動き補償フレーム間予測に平行移動を用いることによ
り、対象画像によってはアフィン変換をせずに動き補償
予測を行うブロックが存在するので、アフィン変換分の
演算量を減少することができる。また、アフィン変換の
ために必要な動きベクトルを探索する必要がなくなり、
そのための演算量を減らすことができる。

【００４１】ブロック平行移動による予測誤差評価値が
しきい値を上回った場合、アフィン変換をする回数が少
ないタイプから予測誤差評価値を計算し、しきい値と比
べて、これより下回った時に、この領域分割タイプを採
用し、以後のアフィン変換を打ち切ることにより、余計
なアフィン変換を行う必要がなくなり、探索する動きベ
クトルが減るので演算量の減少が可能である。

【００４２】しきい値を画像の符号量によって動的に変
えることにより、演算量の減少だけでなく、符号化効率
の向上がなされ、システムの高効率化が可能である。

【００４３】領域分割タイプの中にある三角領域のう
ち、面積の小さな領域の三角形に予測誤差評価値が大き
くなるよう重みづけをして予測誤差評価値を計算するこ
とにより、演算量の減少だけでなく、符号化効率の向上
がなされ、システムの高効率化が可能である。

【図面の簡単な説明】

【図１】本発明による動画像符号化装置の動き補償フ
レーム間予測方法の実施の形態の処理の流れを示すフロ
ーチャート図である。

【図２】動画像符号化装置の動き補償フレーム間予測
方法の他の処理の流れを示すフローチャート図である。

【図３】被写体の変形および前方向予測を行う場合の
アフィン変換を用いたフレーム間予測を説明するための
図である。

【図４】アフィン変換によって動き補償フレーム間予
測を行う場合の、アフィン変換に必要な動きベクトルを
表す図である。

【図５】本発明における動き補償フレーム間予測を行
う際のブロック領域分割パターンの一例を示す図であ
る。

【図６】本発明における動き補償フレーム間予測を行
う際のブロック領域分割パターンの一例を示す図であ
る。

【図７】従来における動画像符号化装置の動き補償フ
レーム間予測方法の処理の流れの例（Ａ）を表すフロー
チャート図である。

【図８】従来における動画像符号化装置の動き補償フ
レーム間予測部部の処理の流れの例（Ｂ）を表すフロー
チャート図である。

【符号の説明】

７０１：コントロールグリッド

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平８−65680（ＪＰ，Ａ) 特開平６−113287（ＪＰ，Ａ) 特開平８−37664（ＪＰ，Ａ) 特開平９−51537（ＪＰ，Ａ) 特開平９−261651（ＪＰ，Ａ) 中屋、苗村、原島，動画像の16ｋｂ／ｓ符号化，画像符号化シンポジウム第７回シンポジウム資料（ＰＣＳＪ92）, 日本，1992年10月７日，ｐ．129−132 (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68

Claims

(57)【特許請求の範囲】

【請求項１】動き補償フレーム間予測を行うことによ
り得た予測画像フレームと入力画像フレームとの差とし
ての予測誤差情報を符号化する動画像符号化装置におけ
る動き補償フレーム間予測方法であって、動き補償フレーム間予測において、動きベクトルおよび
参照画像フレームより、処理領域のブロック平行移動に
よる予測画像フレームを求めるとともに、入力画像フレ
ームとの予測誤差評価値を求めて、該予測誤差評価値が
しきい値をこえない場合は、平行移動による予測画像フ
レームを採用して予測誤差情報を符号化し、また、該予測誤差評価値がしきい値を超える場合は、画像中を
複数のブロックに分割し、該ブロック中を更に三角形に
領域分割するタイプを複数用意しておき、領域分割数の
少ないタイプから順次、該三角領域にアフィン変換を行
ってブロック単位の予測誤差評価値を計算し、該予測誤
差評価値がしきい値を下回った段階の領域分割タイプを
用いた予測画像フレームを採用して予測誤差情報を符号
化して、符号化した予測誤差情報および動きベクトル、該領域分
割タイプなどのサイド情報を出力することを特徴とする
動画像符号化装置における動き補償フレーム間予測方
法。
【請求項２】上記しきい値は、画像の符号量が増大し
た際に平行移動または領域分割数の少ないタイプが選択
されやすいように動的に変化することを特徴とした請求
項１記載の動画像符号化装置における動き補償フレーム
間予測方法。
【請求項３】上記ブロック中を三角領域に分割した際
に、より小さな三角領域に予測誤差評価値が大きくなる
ように重みづけをし、これによりブロック単位の予測誤
差評価値を計算するようにしたことを特徴とする請求項
１または２に記載の動画像符号化装置における動き補償
フレーム間予測方法。
【請求項４】上記予測誤差評価値を求める方法とし
て、予測画像と入力画像間のＳＡＤ（Sum of Absolute
Difference）値を用いることを特徴とした請求項１、２
または３に記載の動画像符号化装置における動き補償フ
レーム間予測方法。
【請求項５】上記予測誤差評価値を求める方法とし
て、予測画像と入力画像間の二乗平均値を用いるように
したことを特徴とする請求項１、２または３に記載の動
画像符号化装置における動き補償フレーム間予測方法。