JPH02260987A - フレーム間符号化装置における動き補償方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ この発明はフレーム間符号化装置における動き補償方式
、特に動き補償の演算量を低減するに好適な動き補償方
式に関するものである。

［従来の技術］ 第８図から第１０図までは例えば文献「動き補償・背景
予測を用いたフレーム間符号化方式Ｊ（電子通信学会論
文誌−８５／ＩＶｏ１．Ｊ６８−ＢＮｏ、１ｐ７７〜ｐ
８４黒田英夫、武用直樹、橋本秀雄共著）に示される従
来の動き補償演算方法の説明図で、特に全探索形の方法
を例示するものである。

図において、（１）は画像データの入力信号、（２）は
入力データを一旦１フレーム分記憶する入力フレームバ
ッファ、（３）は現在の入力フレム中の所定位置の動き
補償用のブロックサイズ、ＬＩ　Ｘｊ！２を有する現在
入力ブロック、（４）は前回人力フレーム再生データ中
における現在入力ブロック（３）とマツチング処理を行
う対象となるブロックの存在する範囲Ｊ！、ｌ　＋２ｍ
、　Ｊ２２　＋２０を示す動きベクトル探索範囲である
。

この場合、探索対象ブロック数Ｍは Ｍ−（２ｍ＋１）Ｘ　（２ｎ＋１）　　・−（１００）
となり、探索範囲は水平方向に−ｍ〜十ｍ画素の範囲、
垂直方向に−ｎ〜＋ｎ画素の範囲となる。

動き補償は、フレーム間符号化伝送方式において現在人
力フレームデータと前回入力フレーム再生データのフレ
ーム間相関を利用して、現在入力フレームデータにより
近い予ΔＰＩ信号を求める処理を所定の大きさのブロッ
ク単位で処理するものである。

そして、現在入力フレームデータ中の現在人カブロック
（３）と最も相関の高いブロックすなわち差分絶対値和
が最小となる条件等によりブロック間歪量の最も少ない
ブロックを前回入力フレーム再生データ中の動きベクト
ル探索範囲（４）から探索し、動きベクトルと予測信号
を得ている。

また、図において、（５）は入力信号（１）の現在入力
ブロック（３）と前回の入力信号再生ブタとして与えら
れた動きベクトル探索範囲（４）の相関近似計算により
予／ＩＩＩＪ信号を求める動き補償部、（６）は動き補
償部（５）から出力される予７ｉｐ＋信号、（７）は動
き補償部（５）から出力される動きベクトル情報である
。

更に、（９）は入力ブロック信号（３）と予７１１１信
号（６）との差分信号（８）を符号化して符号化信号（
１０）を出力する符号化部、（１１）は符号化部（９）
で符号化された符号化信号（１ｏ）を復号化する復号化
部である。

そして、（１４）は復号化部（１１）からの復号化信号
（１２）と動き補償部（５）からの予測信号（６）を加
算して再生データ（１３）に戻してこれを記憶すると共
に動き補償部（５）に動きベクトル探索範囲（４）を与
えるフレームメモリ、（１５）は送信バッファ、−（１
６）は送信信号である。

次いで、動作を第９図及び第１０図に従って説明する。

現在入力フレーム中の現在入力ブロック（３）で特定の
位置のｆｌ　Ｘｊ！２のサイズのブロックＸに対して前
回入力フレーム再生データ中の動きベクトル探索範囲（
４）内のＭ個のブロックとの間のブロック間歪量を計算
し、この歪の最小値すなわち最小歪を与える最小歪ブロ
ックｙｉの現在入力ブロック（３）の位置に対する相対
位置すなわち動きベクトルＶを求めると共に該ブロック
ｙｉの信号ｙ　ｓｉｎを予測信号（６）として出力する
ものである。

そして、フレーム間符号化伝送では信号の受信側におい
ても予測信号（６）を生成し得る。

例えば、与えられた動きベクトル探索節ｖｆＪ（４）内
で探索対象となる動きベクトルＶの個数をＭ（２以上の
整数）とすると、特定の動きベクトル■の位置の前フレ
ーム・ブロックと現在の入力ブロックとの歪量として差
分絶対値和を用いた場合、歪量は ｄｉ−Σ１ｙｉＰ−ＸＰＩ　　　　　・・・　（１０１
）Ｐ−１ となる。ここで、入力ブロックは Ｘ＝ｆｘｌ、Ｘ２、−−−−−−　ｘ　Ｌ　ｌ　、探索
対象ブロックは ｙｉｍ（ｙｉｌ、ｙｉ２、・・・・・・ｙ　ｉ　Ｌｌ、
ｉ＝１〜ＭＳＬはＪｌ　ｌ！２である。そして、動きベ
クトルＶは Ｖ＝Ｖｉ　ｔＩＩｉｎ　ｄｉｌ　ｉ−１〜Ｍｌ　−（１
０２）で求められる。

そして、この場合の演算ｍｓ１は絶対差分値和演算をａ
マシンサ・ｆクル、比較処理をｂマインサイクルとした
場合、 Ｓ１＝Ｍ（Ｌｘａ＋ｂ）　　　　　　　＋＋＋　（１０
３）となる。

ここで、例えばａ−１マシンサイクル、ｂ−２マシンサ
イクル、１１−８．１２−８、ｍ−８、ｎ−８とした場
合、Ｌ−６４、Ｍ−２８９となり、Ｓ１γ１９０００　
　　　　　　　　・・・（１０４）マシンサイクルとな
る。この演算ＱＳＩはハードウェアの構成から見れば非
常に大きい値であり、映像信号であるフレームの周期に
合せてバイブライン処理等の高速の演算系が用いられて
いる。

しかし、ハードウェアの簡素化は大きな課題であり、例
えば特開昭６３−１８１５８５号公報のｒＴＶ信号の動
き補償フレーム間符号化装置」では演算量の低減の目的
で木探索形の動き補償演算を行う方法が提案されている
。

本探索形動き補償演算方法は、第１１図に示すように、
動きベクトル探索範囲（４）内を等間隔に低い密度の第
１の探索対象ブロック（０）を配置し、その中で最小歪
を与えるブロックＯを検出すると、次にそのブロックＯ
を中心とした狭い領域内で第２の探索対象ブロック（ロ
）を配置し、その中で最小歪を与えるブロック口を検出
し、更にそのブロック口を中心とする領域内で第３の探
索対象ブロック（Δ）を設定して最小歪を与えるブロッ
クΔを検出し、最終的に動きベクトル探索範囲（４）内
で最小歪を与えるブロック△を特定するというものであ
る。

この場合の演算量Ｓ２は Ｓ２＝　（９ＸＬＸａ＋９Ｘｂｌ　　×３−・・（１０
５）となる。従って、前述と同じ条件下では８２ご１，
８００ マシンサイクルとなり、この本探索形の動き補償演算方
法は全探索形より演算量が少なくて済む。

［発明が解決しようとする課題］ 従来の動き補償演算方法は、以上のように構成されてい
るので、動き補償演算で確実性の高い全探索を行おうと
すると演算量が増大してハードウェアの構成が大規模と
なり、−力木探索等により演算量を低減した場合、最小
歪ブロックの検出性能が劣る、すなわち最初の低密度の
探索時のマツチングの過程で本来の最小歪ブロックの位
置と離れた位置のブロックが選択される可能性があり、
目標とする最小歪二に達せず相関無しの判定がなされる
ケースが増大して非効率な伝送を享受せざるを得ない等
の問題点があった。

この発明は、上述した課題を解決するためになされたも
ので、最小歪ブロックの検出性能を劣化させることな（
演算量を少なくしてハードウェアの簡素化と小型化を図
ることのできる動き補償方式を得ることを目的とする。

［課題を解決するための手段］ この発明に係る動き補償方法は、時系列的に順次入力さ
れる複数のフレーム、からなるディジタル画像データの
現在の人力フレームを複数のブロックに分割して現在の
入力フレームの画像データの各ブロックに対して前回の
入力フレーム再生デの中のブロックとの間でパターン間
の近似を計算して最小歪を与えるブロックと動きベクト
ルを検出する際に、予め符号化対象ブロックを均等に分
割できる大きさを持つ小ブロック（平均値ブロック）に
分割し、これら平均値ブロック単位の平均値を１フレー
ム分について求めておき、前回フレーム再生データ中の
動きベクトル探索範囲である符号化対象人力データブロ
ックの位置を中心として所定の大きさを持つ第１の動き
ベクトル探索範囲を設定する。

そして、第１の探索範囲内において均等になるように粗
い密度でｎ個（ｎは１以上の整数）の第１の探索動きベ
クトル群を配置し、該動きベクトルの示す位置のブロッ
クデータ内平均値ブロックの平均値から成る平均値パタ
ーンと現在入力ブロックである入力データブロック内の
平均値パターンとのパターン類似度を示す平均値歪量を
個々の動きベクトル毎に求める。

それから、平均値歪量が最小となるブロックを第１の探
索領域内で検出し、この平均値歪量が最小となった平均
値最小歪ブロックを中心にして第１の探索範囲より小と
なる大きさを持つ第２の動きベクトル探索範囲を限定化
探索範囲として設定し、該第２の探索範囲内では高い密
度で第２の探索動きベクトル群を配置する。

更に、第２の動きベクトル群に基づいて入力データブロ
ックと最も近似するブロックを画素を用いた最小歪量に
基づいて検出し、この最小歪をもたらすブロックとその
動きベクトルを最終的な予測信号及び動きベクトルとす
るように構成したものである。

［作用］ 上述構成に基づき、動き補償部は動きベクトル探索範囲
内において、探索対象ブロックを低密度で配置して計算
対象動きベクトルによりこれらブロックの平均値パター
ン間歪量が最小となるブロックを最小歪ブロックとして
検出し、該最小歪ブロックを中心として限定化探索範囲
を高密度の探索対象ブロックとして設定し、該ブロック
の中から動きベクトルを検出し、先ず平均値パターンで
歪量を比較することで高い精度での最小歪ブロックの存
在位置の絞り込みが可能となり、その後に限定化された
領域内で高密度の動きベクトル探索を行うことで演算量
を抑制しなから高い精度の検出を行う。

［実施例コ 以下、図面に沿って、この発明の一実施例について説明
する。

なお、前述した部分と同−又は相当部には同一符号を付
して説明を省略する。

第１図は動きｈａ償フレーム間符号化装置の構成図であ
る。図において、（１７）は再生フレーム１フレーム分
について、動き補償に用いるｊ！ＩＸＪ１２サイズのブ
ロックを均等に分割できる所定の大きさの小ブロック（
平均値ブロック）単位にその平均値ブロック内画素の平
均値（１８）を求める平均値計算回路、（１９）は１フ
レーム分の平均値ブロック単位の平均値（１８）を保持
する平均値フレームメモリである。

そして、第２図は動き補償部（５）の内部構成図であり
、図において、（２１）は符号化対象入力ブロック内で
上記平均値ブロック単位の平均値（］８）を計算する平
均値計算回路、（２３）は該入力ブロック内の平均値ブ
ロックの各平均値を１つのパターンとして保持する入力
平均値メモリである。

また、（２４）は入ツノブロックの平均値パターンと上
記平均値フレームメモリ（１９）内の平均値パターンと
の間で歪量計算を行いかつ最小歪ブロックを検出する平
均値パターンマツチング回路、（２６）は入力ブロック
とフレームメモリ内探索範囲内ブロックとの間で画像間
歪量を計算して最小歪ブロックの位置検出を行う画素パ
ータンマツチング回路である。

更に、第４図及び第５図は平均値パターン最小歪による
第１段目動きベクトル検出方法の説明図であり、図にお
いて、（２０）は再生フレーム平均値パターンの探索範
囲、（２２）は入力ブロックの平均値パターン、（２７
）は平均値ブロックである。

ついで、本発明の詳細な説明する。

入力信号（１）は従来同様の動作により符号化部（９）
にて符号化されかつ復号化部（１１）にて復号化されて
復号再生データ（１３）となり、該復号再生データ（１
３）は従来同様にフレームメモリ（１４）に格納される
と共に１フレームをｋｌ　Ｘｋ２の大きさの平均値ブロ
ック（２７）に分割され、該平均値ブロック毎に画素の
平均値を求められる（第１図参照）。

そして、この時の平均値ブロックを動き補償に用いる４
１　Ｘｉ２の大きさのブロックを均等に分割できるサイ
ズとすると、Ｊ！ｌ　ＸＪ１２ブロック中にＪ　（Ｊ　
＝　（Ｊ！ｌ　ＸＪ！２　）　／　（ｋｌ　ｘｋ２　）
の平均値が存在する。

なお、この際の各平均値ブロック内の画素平均値ａｊ　
　（ｊ＝１〜Ｊ）をまとめて１つのパターンＡとして扱
うことにする。

すなわち、Ａ−（ａｌ、ａ２、・・・・・・ａｌｌ　　
とする。

ついで、動きベクトル検出の方法は、第３図のフローチ
ャートに示すように、第１段目として探索動きベクトル
の配置１３Ｉ隔を平均値ブロックのサイズに合せて最小
歪ブロックを探索する（ステップ５１）（第６図参照）
。

そして、入力ブロック（３）に対しては平均値計算回路
（２１）で平均値パターン（２２）を算出しておき、こ
の入力ブロック平均値パターンと、動きベトルの位置の
ブロックに相当する前フレームの平均値パターンとの間
でマツチング歪計算及び最小歪ブロック検出を平均値パ
ターンマツチング回路（２４）にて実行する（ステップ
５２）（第５図参照）。

平均値歪量は以下の式で示される。

ｄ−ｑ−Σ　Ｉ　ａｌ　−ａｙｆｌ　　　−（１０７）
なお、入力ブロック平均値パターンＡ　−（ａ　ｌ　ｓ
ａ２、・・・ａＪｌ、再生フレーム平均値パターンＡＶ
　−（ａｙｌｘ　ａｙ２、−ａｌｌ　　とする。

この際、平均値パターンマツチングを用いることにより
演算量は１人カブロック及び再生フレームブロック当り
で平均値算出にＪ！ｌ　Ｘｊ！２マシンサイクル、平均
値パターンマツチング１回当りＪマシンサイクルとなる
。

従って、第１段目探索において、所要演算量Ｃ１は、 ＣＩ　−（Ｊ！ｌ　Ｘｊ！２　）　Ｘ　（Ｍｌ　＋　１
）＋ＭＩ　ｘＪｘａ＋ＭＩ　Ｘｂ−（１０８）となる。

次に、画素パターンマツチング回路（２６）における動
き検出ステップは、第７図に示すように、平均値パータ
ンマツチング回路（２４）で求めた最小歪ブロック（２
８）を中心としてｍ１Ｘｎｌのサイズを有する限定化探
索範囲（２９）を設定し、該範囲内において高密度に探
索対象となる動きベクトルを配置する（ステップＳ３）
。

限定化探索範囲（２９）内での演算量０２はｔ（２ｍｌ
　＋１）（２ｎｌ　＋１）ｘＬｘａｌ・・・（１０９） と、比較処理の （２ｍｌ　＋１）（２ｎｌ　＋１）＋ｂとの和となる。

ここで、Ｊｌ−８，１２−８、ｍ−８、ｎｍ　８、平均
値ブロックｋｌ−４、ｋ２−４、演算マシンサイクル数
ａ−１（差分絶対値）、ｂ−２（比較処理）とすると、
探索ベクトル個数Ｍｌ−２５個、Ｊ−４個となる。

従って、第１段目における所要演算ｆｆ１ｃ１は約１８
００となる。

また、第２段目の探索において限定化探索範囲をｍｌ−
３、ｎ】＝３とすると、第２段目における所要演算量Ｃ
２は約３２００マシンサイクルとなる。

以上により、１人カブロック当り５０００マシンサイク
ルとなり、従来の全探索の演算量の約１／４となる。

なお、上述実施例においては、入力ブロックを小ブロッ
クに分割して該小ブロックによるサンプルデータパター
ンとして小ブロック内画素平均値による平均値パータン
を用いた事例を示したが、これに限らず、小ブロツク内
の特定位置の画素値を取り出したサンプルデータパター
ンを用いても同様の効果を得ることができる。

［発明の効果］ 以上発明したように、この発明によれば動きベクトル探
索範囲の絞り込みにブロック内平均値パターン間歪量を
用いることで絞り込み時点でのマツチング誤りを防ぐと
共に絞り込まれた領域に対してのみ高密度の動きベクト
ル探索を行うので、演算量を減少すると共に装置の簡素
化が可能となり検出精度の高い動きベクトルの検出が可
能な動き補償方式が得られる効果がある。

【図面の簡単な説明】

第１図は本発明に係る動き補償フレーム間符号化装置の
構成を示す機能ブロック図、第２図は動き補償部の内部
構成を示す機能ブロック図、第３図は本発明の作用を示
すフローチャート図、第４図は平均値パターン算出の説
明図、第５図は第１段目の平均値パターンを用いた動き
ベクトル検出の説明図、第６図は平均値パターンによる
動きベクトル検出時の探索動きベクトルの配置説明図、
第７図は第１段目の動きベクトル検出により限定された
探索範囲での第２段目の動きベクトル検出の説明図、第
８図は従来の動き補償フレーム間符号化装置の構成を示
す機能ブロック図、第９図（ａ）、（ｂ）は従来の動き
ベクトル検出方法の説明図、第１０図は従来の全探索形
動きベクトル検出方法の説明図、第１１図は従来の木探
索形動きベクトル検出方法の説明図である。 図において、（５）は動き補償部、（１７）はサンプリ
ング回路、（１９）はサンプルデータメモリ、（２８）
は最小歪ブロックである。 なお、図中、同一符号は同一、又は相当部分を示す。 代理人　弁理士　大　岩　増　雄 （外　２名） ψｎきべ゛クトレ挾出【ミ４ｇ吾尺理っフロー六ヤー）
第３図 蕃１投１丁基学動さＮクトレ装置ｚ 第６図 動！ｌ棉４潰和ｊｈ説呵図 第７図 第 図 （Ｇ） ｖ：Ｔｈ！Ｉベク）・し くｂ） 第 図 手 続 補 正 書（自発） １、事件の表示 特願平 号 ２、発明の名称 フレーム間符号化装置における動き補償方式３、補正を
する者 一〇 イＡ１來。イ條ｉ艮ｉｆｆ＞４１−グきイ１ｂイ１１奏
簿１渉シム・（ズ！明日第 図 ５、補正の対象 明細書の発明の詳細な説明及び図面の簡単な説明の欄。 ６、補正の内容

Claims (1)

【特許請求の範囲】
1. 　時系列的に順次入力される複数のフレームから成るデ
   ィジタル画像データの現在の入力フレームを複数のブロ
   ックに分割しかつ現在の入力フレームの画像データの各
   ブロックに対して前回の入力フレーム符号化再生データ
   中のブロックとの間でパターン間の近似を計算すると共
   に最小歪を与えるブロックと動きベクトルを検出する動
   き補償部を備え、該動き補償部により求めた最小歪ブロ
   ックを予測信号として符号化伝送処理を行うフレーム間
   符号化装置における動き補償方式において、上記再生デ
   ータを上記入力ブロックを均等に分割できる大きさの小
   ブロックで分割し、この小ブロック内画素の平均値また
   は特定位置の画素値をサンプルとして抽出するサンプリ
   ング回路と、該サンプリング回路が抽出するサンプル値
   を少なくとも１フレーム分記憶するサンプルデータメモ
   リとを備え、上記動き補償部は、上記サンプリング回路
   と同様に上記入力ブロックに対して各小ブロックごとの
   平均値または特定画素値から成るサンプルデータパター
   ンを求め、上記動きベクトルを検出する際に上記再生フ
   レームデータ中に上記入力ブロックと同一位置を中心と
   して上記小ブロックの大きさの倍数となる位置に第１の
   探索動きベクトル群を配置し、これらの動きベクトルの
   示す位置のブロック内サンプルデータパターンを上記サ
   ンプルデータメモリから読出して上記入力ブロックのサ
   ンプルデータパターンとの間でパターン類似度を示す歪
   量を算出し、それらの歪量の中から最小歪を与える第１
   の探索動きベクトルを検出し、そして該第１の探索動き
   ベクトルを中心として高い密度で第２の探索動きベクト
   ル群を配置し、第２の探索動きベクトル群に基づいて上
   記再生フレーム中のブロック内画素パターンと上記入力
   ブロック内画素パターンとの間で上記歪量の算出を行い
   、それらの歪量の中から最小歪を与えるブロック及びそ
   の動きベクトルを検出し、それらを最終的な予測信号及
   び動きベクトルとして出力することを特徴とするフレー
   ム間符号化装置における動き補償方式。