JPH0951536A - 動きベクトル検出方法と装置 - Google Patents

Abstract

(57)【要約】 【課題】 階層化によるブロックマッチングの演算量を
低減し、半画素精度ブロックマッチング器のハードウエ
ア規模と消費電力を低減する、動きベクトル検出装置の
提供。 【解決手段】 被符号化画像から探索領域を読み出すア
ドレス生成器１１１と、バッファメモリ１３２に格納さ
れている探索領域中から符号化対象ブロックの移動元ブ
ロックを探索し、該移動元から符号化対象ブロックまで
の動きベクトルを複数画素精度で求める２画素精度ブロ
ックマッチング器１０１と、これによって得られた２画
素精度の動きベクトルにより指定された移動元のブロッ
クを中心とする探索領域を、画像用メモリ４０に格納さ
れている探索対象の符号化画像を符号化後に復号化して
再生した単画素精度の再生画像から単画素精度の動きベ
クトルを求める単画素精度ブロックマッチング器１００
と、半画素精度画像精度画像生成器１５０と、半画素精
度ブロックマッチング器で構成されている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像符号化に用
いられる高精度の動きベクトル検出装置に関する。

【０００２】

【従来の技術】動画像の符号化装置は、マルチメディア
の中核を担う技術として注目を集めている。その中で、
すでに、Ｈ２６１、ＭＰＥＧ１の規格を満たす多くの符
号化装置が開発され、実用に供されている。最近では、
より高精細な画像の符号化を行うＭＰＥＧ２の規格が標
準化され、そのための符号化ＬＳＩの開発が活発に行わ
れている。

【０００３】Ｈ２６１、ＭＰＥＧ１，ＭＰＥＧ２等の符
号化処理を小型、経済的に実現する上でのポイントは、
符号化対象の画像のブロックが前後に位置する画像のど
こから移動してきたと看做されるかを計算する動きベク
トル検出装置の動作にかかっている。すなわち、動きベ
クトル検出の標準的な方法となっている符号化対象ブロ
ックと前後の画像との間の一致度を見る照合処理（以下
ブロックマッチング処理と称す）の処理量が非常に大き
く、全符号化処理の大半を占める上に、画像を格納する
メモリと動きベクトル検出装置との間で膨大なデータの
入出力を行う必要があるからである。

【０００４】従来の動画像符号化装置の典型的な構成を
図４に示す。

【０００５】この装置は、動き補償ユニット２０１、Ｄ
ＣＴ／Ｑユニット２０２、ＶＬＣユニット２０３および
画像メモリ２０４とからなる。動き補償ユニット２０１
は、符号化対象画像ブロックについて、画像用メモリ２
０４から読み出される探索対象の再生画像の探索領域の
なかから、図８に示すように、移動元と看做される画像
ブロックを探索し、それによって見つかった移動元から
符号化対象画像ブロックまでの変移量を動きベクトルと
して検出するブロックマッチング器２１０と、画像用メ
モリから再生画像の探索領域を読み出すためのアドレス
と動きベクトルをもとに移動元の再生画像ブロックを読
み出すためのアドレスを生成するアドレス生成器２１１
と、符号化対象画像ブロックと移動元の再生画像ブロッ
クとの間の差分を計算し、結果を予測誤差画像ブロック
として出力する減算器２１２とからなる。ＤＣＴ／Ｑユ
ニット２０２は、予測誤差画像ブロックにＤＣＴ変換を
かけるＤＣＴ変換器（以下ＤＣＴと称す）２２０と、そ
の変換結果を量子化し、その結果を逆量子化器（以下Ｉ
Ｑと称す）２２３とＶＬＣユニット２０３に出力する量
子化器（以下Ｑと称す）２２２と、量子化結果を逆量子
化し量子化前の状態に戻す逆量子化器（以下ＩＱと称
す）２２３と、ＩＱ２２３からの出力に逆ＤＣＴ変換を
かけ、予測誤差画像ブロックを再生する逆ＤＣＴ変換器
（以下ＩＤＣＴと称す）２２１と、再生した予測誤差画
像ブロックと、動き補償ユニット２０１から入力される
移動元の再生画像ブロックとを加算することにより再生
画像ブロックを生成し、結果を画像用メモリに出力する
加算器２４と、再生画像ブロックが再生画像用メモリの
中で再生画像を形成するように所定のアドレスを生成す
るアドレス生成器２２５とからなる。

【０００６】また、ＶＬＣユニット２０３は、ＤＣＴ／
Ｑユニット２０２からの入力に可変長符号化をかけた後
ビットストリームとして外部に出力するユニットであ
る。

【０００７】また、ブロックマッチング器２１０の具体
的構成については、C. H. Hsieand T. P. Lin, "VLSI
Architecture for Block-Matching Motion EstimationA
lgorithm", IEEE Trans. Circuits & Syst. for Video
Technol.,Vol.2, No.2pp. 169-175(1997)が詳細に解説
している。

【０００８】また、以下に述べる単画素精度の探索領
域、２画素精度の探索領域、半画素精度の探索領域につ
いては、図６（ａ），６（ｂ）、６（ｃ）にそれぞれ図
示している。

【０００９】この従来の符号化装置は、符号化の途中保
持すべき画像が再生画像に限られ、画像用メモリのサイ
ズを低減できるメリットがある。また、符号化の品質に
も定評がある。そのため、この符号化方式を前提とした
種々の符号化装置が実現されている。これに対して、ブ
ロックマッチングの演算量を低減するためにサブサンプ
リングによって生成した２画素精度の画像間で求めた移
動元を中心とするよりも狭い探索範囲で、半画素精度の
動きベクトルを再度検出し直す階層的な動きベクトル検
出装置が実現されている。これについては N. Hayashi
et al.:"A Com-pact Motion Estimator with a Simplif
ied Vector Search Strategy Maintain-ing Encoded Pi
cture Quarity, IEEE 1995 CUSTOM INTEFRATED CIRCUIT
CONFER-ENCE, pp. 409-412(1995)に解説されている。

【００１０】図５はこの従来型の動きベクトル検出装置
２６０の構成を示した図であり、図９（ａ）は図５の動
きベクトル検出装置によるブロックマッチングの方法の
説明図である。この動きベクトル検出装置は、２画素精
度のブロックマッチング器１０１と、半画素精度ブロッ
クマッチング器１０２と、アドレス生成器１１０、１１
１と、バッファメモリ１３２、１３３と、半画素精度画
像生成器１５０とからなり、外部の画像用メモリ４０、
４１に接続されている。

【００１１】図６（ａ）は単画素精度の原画像（局部復
号画像）、図６（ｂ）は２画素精度の探索領域、図６
（ｃ）は半画素精度の探索領域を示す図である。

【００１２】外部から入力される２画素精度の符号化対
象ブロックは２画素精度のブロックマッチング器１０１
にテンプレートの画像ブロックとして送られ、予め画像
用メモリ４１からバッファメモリ１３２にアドレス生成
器１１１によって読みだしておく符号化対象ブロックの
符号化対象画像上の座標と同座標の探索対象画像上のブ
ロックを中心とした探索領域との間で、ブロックマッチ
ングを行い、２画素精度の動きベクトルを求める。続い
て、この２画素精度の動きベクトルから求まる移動元を
探索領域の中心とする半画素精度のブロックマッチング
を、半画素精度のブロックマッチング器１０２が、バッ
ファメモリ１３０から読み出すテンプレートの符号化対
象画像生成器から出力される半画素精度の探索領域との
間で行い、半画素精度の動きベクトルを求める（図９
（ａ））。この際の半画素精度の探索領域は、アドレス
生成器１１０により、２画素精度のブロックマッチング
器１０１から出力された動きベクトルで指定される移動
元を中心とする単画素精度の探索領域を画像用メモリか
ら読み出し、バッファメモリ１３３を経由して、半画素
画像生成器１５０に入力することにより生成される。

【００１３】

【発明が解決しようとする課題】上述した従来の動きベ
クトル検出装置では、狭い探索範囲といっても、２画素
精度で求めた移動元に対し、図９（ａ）に示すように、
少なくとも周囲１．５画素分広げた探索範囲の４８種類
の移動元の候補に対して、ブロックマッチングを行っ
て、探索し直す必要があり、階層化したにも関わらず探
索のための演算量が十分に低減されず、半画素精度のブ
ロックマッチング器のハード規模が大きくなったり、消
費電力が大きくなる欠点があった。ここで図９はマッチ
ング時にテンプレートの原点があてがわれる位置を示し
ており、移動元の原点を中心に繰返し行うマッチング回
数を明確に読み取ることができる。

【００１４】本発明の目的は、階層化によるブロックマ
ッチングの演算量低減の効果を十分大きくし、半画素精
度ブロックマッチング器のハードウエア規模と消費電力
を低減する動きベクトル検出装置の提供することであ
る。

【００１５】

【課題を解決するための手段】本発明の動きベクトル検
出方法は、被符号化画像から切り出す符号化対象ブロッ
クに対して、別に設けられている探索対象の画像の中で
移動元と看做せるブロックを探索し、探索された移動元
から前記符号化対象ブロックまでの変位量を動きベクト
ルとして求める動きベクトル検出方法において、探索対
象の被符号化画像から複数画素精度で探索領域を読み出
し、その領域の中から符号化対象ブロックの移動元と看
做せるブロックを探索し、探索された移動元から符号化
対象ブロックまでの動きベクトルを複数画素精度で求め
た後、前記複数画素精度で求められた移動元と看做せる
ブロックを探索し、該移動元から符号化対象ブロックま
での動きベクトルを単画素精度で求めるステップと、前
記単画素精度の動きベクトルにより指定された移動元ブ
ロックから半画素精度の探索領域を生成し、該探索領域
から移動元ブロックを探索し、前記符号化ブロックまで
の動きベクトルを半画素精度で求めるステップを有して
いる。

【００１６】また、本発明の動きベクトル検出装置は、
被符号化画像から切り出す符号化対象ブロックに対し
て、別に設けられている探索対象の画像の中で移動元と
看做せるブロックを探索し、それによって見つかった移
動元から前記符号化対象ブロックまでの変位量を動きベ
クトルとして求める動きベクトル検出装置において、復
数画素精度の探索対象の被符号化画像から探索領域を読
み出し、その領域の中から符号化対象ブロックの移動元
と看做せるブロックを探索し、探索された移動元から符
号化対象ブロックまでの動きベクトルを複数画素精度で
求めた後、複数画素精度の動きベクトルにより指定され
た移動元のブロックを中心とする探索領域を,前記探索
対象の被符号化画像を符号化後に復号化して再生した単
画素精度の再生画像から切出して保持する手段と、前記
保持する手段により保持された探索領域の中から移動元
と看做せるブロックを探索し、探索された移動元から前
記符号化対象ブロックまでの動きベクトルを単画素精度
で求める手段と、前記動きベクトルを単画素精度で求め
る手段により求められた単画素精度の動きベクトルによ
り指定される移動元のブロックを中心とする半画素精度
の探索領域を、前記保持手段に保持された単画素精度の
局部復号画像の探索領域から生成する手段と、前記探索
領域を生成する手段により生成された半画素精度の探索
領域の中から移動元と看做せるブロックを探索し、探索
された移動元から前記符号化対象ブロックまでの動きベ
クトルを半画素精度で求める手段を有している。

【００１７】

【発明の実施の形態】複数画素精度の探索と半画素精度
の探索の間に単画素精度の探索を挿入し、単画素精度の
探索で指定された移動元を中心として半画素精度の探索
を行うことにより、移動元候補が４８種類から８種類で
よくなり、これに対して単画素精度のブロックマッチン
グが８回分増加することになる。

【００１８】図１０は本発明の動きベクトル検出方法の
基本のフローチャートである。

【００１９】まず、被符号化画像から符号化対象ブロッ
クの移動元を含む２画素精度のブロックを読み出す（ス
テップ１）。ステップ１の読み出しによって求めた移動
元を探索し、そこから符号化対象ブロック迄の２画素精
度の動きベクトルを求める（ステップ２）。ここまでは
従来と同様の動作である。

【００２０】次に、２画素精度の移動元ブロックから、
移動元を単画素精度のブロックに限局して探索し、そこ
から符号化対象ブロック迄の単画素精度の動きベクトル
を求める（ステップ３）。ステップ３で求めた移動元ブ
ロックから半画素精度の移動元ブロックを探索し、そこ
から符号化対象ブロック迄の半画素精度の動きベクトル
を求める（ステップ４）。

【００２１】

【実施例】次に、本発明の実施例について図面を参照し
て説明する。

【００２２】図１は本発明の動きベクトル検出方法が適
用された動きベクトル検出装置の第１の実施例のブロッ
ク図である。

【００２３】この動きベクトル検出装置１６０は、２画
素精度ブロックマッチング器１０１と、単画素精度ブロ
ックマッチング器１００と、半画素精度ブロックマッチ
ング器１０２と、アドレス生成器１１０、１１１、１１
３と、バッファメモリ１３２、１３３と、半画素精度画
像生成器１５０とからなり、外部設置の画像用メモリ４
０、４１と接続されている。

【００２４】図９（ｂ）は本発明の動きベクトル検出方
法の説明図である。

【００２５】外部から入力される２画素精度の符号化対
象ブロックは２画素精度のブロックマッチング器１０１
に図７（ｂ）に示すようなテンプレートの画像ブロック
として送られ、予め画像用メモリ４１からバッファメモ
リ１３２にアドレス生成器１１１によって読みだしてお
く符号化対象ブロックの符号化対象画像上の座標と同座
標の探索対象画像上のブロックを中心とした探索領域と
の間で、ブロックマッチングを行い（図９（ｂ）の○
印）、２画素精度の動きベクトルを求める。続いて、こ
の動きベクトルで指定された移動元の探索領域を中心と
する単画素精度のブロックマッチング（図９（ｂ）の△
印）を、単画素精度のブロックマッチング器１００が、
図７（ａ）に示すようなテンプレートの符号化対象ブロ
ックとバッファメモリ１３３から読み出す探索領域との
間で行い、単画素精度の動きベクトルを求める。この際
の探索領域は、２画素精度の移動元を中心として周囲１
画素広げた領域で、ブロックマッチング器１０１から出
力される２画素精度の動きベクトルと、別途設定する符
号化対象ブロックの符号化対象原画像における座標と、
移動元のブロックの属する再生画像の格納先の先頭アド
レス等をもとにアドレス生成器１１０で生成するアドレ
スにより、画像用メモリ４０からバッファメモリ１３３
に読み出す。さらに、この単画素精度の動きベクトルか
ら求まる移動元を探索領域の中心とする半画素精度のブ
ロックマッチング（図９（ｂ）のｘ印）を、半画素精度
のブロックマッチング器１０２が、テンプレートの符号
化対象画像と半画素精度画像生成器から出力される半画
素精度の探索領域との間で行い、半画素精度の動きベク
トルを求める。この際の半画素精度の探索領域は、単画
素精度のブロックマッチング器１００から出力される動
きベクトルをもとに、アドレス生成器１１３により生成
するアドレスで単画素精度の動きベクトルで指定される
移動元を周囲１画素分広げた領域をバファメモリ１３３
から読み出し、半画素画像生成器１５０に入力すことに
より生成する。

【００２６】半画素精度のブロックマッチング器１０２
は、単画素精度のブロックマッチングのおかげで、移動
元の精度が単画素精度まであがっている。このため、不
確定さの領域は、周囲１．５画素分広げた領域から周囲
０．５画素分広げた領域まで縮小し、ブロックマッチン
グの回数が４８回から８回（図２に示す）にまで低減さ
れる。このため、通常、半画素精度のブロックマッチン
グに用いる演算器のアレーの性能を１／６にまで低減で
きる。これは、ここの演算器の性能が同じであるとすれ
ばアレーのサイズを１／６まで低減できることを意味す
る。これに対して、新たに必要となる単画素精度のブロ
ックマッチング器のハードウエアの規模は、不確定さの
領域が２画素精度の移動元の周囲１画素分広げた領域で
あり、ブロックマッチングの回数が８回と少なくてすむ
ことから、低減された半画素精度のブロックマッチング
器のハードウエアと同等になる。結局、動きベクトル検
出装置のハードウエア規模の大半を占める両方のブロッ
クマッチング器のハードウエア規模は、従来の１／３程
度まで低減される。ここで、探索領域に対してどのよう
にブロックマッチングの回数が計算されるかということ
と、テンプレートの画像ブロックのサイズが２ｘ２で、
移動元に対して周囲１画素広げた４Ｘ４の探索領域に対
して、８種類のブロックマッチングの場合があることと
を図２に示す。図９は従来のブロックマッチング方法と
本発明のブロックマッチング方法の説明図である。マッ
チング時にテンプレートの原点があてがわれる位置を示
す図９からは、従来方法と比べた本願の効果を読み取る
ことができる。従来の方法では半画素精度のブロックマ
ッチンＧの回数が４８回（ｘの個数）に対し、本願で
は、単画素精度の回数が８回、引き続く半画素精度のブ
ロックマッチングの回数が８回で合計１６回であり、本
願による方が１／３となる。

【００２７】図３は本発明の動きベクトル検出装置の第
２の実施例のブロック図である。

【００２８】この装置の第１の実施例との違いは、ブロ
ックマッチング器の出力の動きベクトルを直接アドレス
生成器に入力するのではなく、マイクロプロセッサ３０
０を経由して、アドレス生成器１１４、１１５に入力す
るようにした点である。これによって、アドレス生成器
１１４、１１５は、アドレス生成器１１０、１１３に比
べてかなり単純かされる。移動元アドレス等から探索領
域をアクセスするための複雑な前処理を、マイクロプロ
セッサ３００に分担させるようにしているからである。
これによって、先頭アドレスと読みだしデータ数のみア
ドレス生成器に入力することとなり、アドレス生成器の
機能は、先頭アドレスを読み出し、データ数分だけイン
クリメントして出力するだけの単純なものとなる。

【００２９】本実施例では、特許請求の範囲で複数画素
精度と表現した縮小画像を、簡単のために２画素精度と
したが（縦、横共に２画素からなる４画素を１画素に縮
小した場合の精度）、３画素精度、４画素精度、あるい
は縦は単画素精度、横は２画素精度と任意の複数画素精
度をとることができ、３画素精度以上の場合には、単画
素精度の探索領域が広がるので本発明の効果は一層高ま
ることになる。

【００３０】

【発明の効果】以上説明したように本発明は、複数画素
精度の探索と半画素精度の探索の間に単画素精度の探索
を挿入し、単画素精度の探索で指定された移動元を中心
として半画素精度の探索を行うことにより、移動元候補
が４８種類から８種類となり、単画素精度のブロックマ
ッチングが８回必要になったことを考慮しても、２画素
のブロックマッチング以降の演算量が１／３にまで低減
され、２画素精度を除くブロックマッチング器のハード
ウエア規模は従来の１／３程度にまで低減され、また、
半画素の探索領域の生成に従来読み出していた単画素精
度の探索領域をそのまま単画素精度のブロックマッチン
グに用いているため、単画素精度のブロックマッチング
を追加したことによる画像用メモリに対するデータ入出
力量の増加もないと言う効果がある。

【図面の簡単な説明】

【図１】本発明の動きベクトル検出方法が適用された動
きベクトル検出装置の第１の実施例のブロック図であ
る。

【図２】ブロックマッチング回数の数え方を示す図であ
る。

【図３】本発明の動きベクトル検出装置の第２の実施例
のブロック図である。

【図４】従来の動画像符号化装置の典型的な構成図であ
る。

【図５】従来の動画像符号化装置の動きベクトル検出装
置のブロック図である。

【図６】（ａ）は単画素精度の原画像あるいは局部復号
画像、（ｂ）は２画素精度の探索領域を示す図、（ｃ）
は半画素精度の探索領域を示す図である。

【図７】（ａ）は単画素精度の探索のテンプレートを示
す図、（ｂ）は２画素精度の探索のテンプレートを示す
図である。

【図８】動きベクトル探索の概念を示す図である。

【図９】（ａ）は従来の方法によるブロックマッチング
方法の説明図、（ｂ）は本発明によるブロックマッチン
グ方法の説明図である。

【図１０】本発明の動きベクトル検出方法の基本的フロ
ーチャートである。

【符号の説明】

４０ 画像用メモリ（非縮小画像用） ４１ 画像用メモリ（縮小画像用） １００ 単画素精度ブロックマッチング器 １０１ ２画素精度ブロックマッチング器 １０２ 半画素精度ブロックマッチング器 １１０ アドレス生成器 １１１ アドレス生成器 １１３ アドレス生成器 １１４ アドレス生成器 １１５ アドレス生成器 １３２ バッファメモリ １３３ バッファメモリ １５０ 半画素精度画像生成器 １６０ 動きベクトル検出装置 ２０１ 動き補償ユニット ２０２ ＤＣＴ／Ｑユニット ２０３ ＶＬＣユニット（ＶＬＣ） ２０４ 画像用メモリ ２１０ ブロックマッチング器 ２１１ アドレス生成器 ２１２ 原算器（−） ２２０ ＤＣＴ変換器（ＤＣＴ） ２２１ 逆ＤＣＴ変換器（ＩＤＣＴ） ２２２ 量子化器（Ｑ） ２２３ 逆量子化器（ＩＱ） ２２４ 加算器（＋） ２２５ アドレス生成器 ２６０ 動きベクトル検出装置

フロントページの続き (72)発明者 小野 尚紀 東京都千代田区内幸町一丁目１番６号 日 本電信電話株式会社内

Claims (2)

【特許請求の範囲】
1. 【請求項１】 被符号化画像から切り出す符号化対象ブ
   ロックに対して、別に設けられている探索対象の画像の
   中で移動元と看做せるブロックを探索し、探索された移
   動元から前記符号化対象ブロックまでの変位量を動きベ
   クトルとして求める動きベクトル検出方法において、 探索対象の被符号化画像から複数画素精度で探索領域を
   読み出し、その領域の中から符号化対象ブロックの移動
   元と看做せるブロックを探索し、探索された移動元から
   符号化対象ブロックまでの動きベクトルを複数画素精度
   で求めた後、前記複数画素精度で求められた移動元と看
   做せるブロックを探索し、該移動元から符号化対象ブロ
   ックまでの動きベクトルを単画素精度で求めるステップ
   と、 前記単画素精度の動きベクトルにより指定された移動元
   ブロックから半画素精度の探索領域を生成し、該探索領
   域から移動元ブロックを探索し、前記符号化ブロックま
   での動きベクトルを半画素精度で求めるステップを有す
   ることを特徴とする動きベクトル検出方法。
2. 【請求項２】 被符号化画像から切り出す符号化対象ブ
   ロックに対して、別に設けられている探索対象の画像の
   中で移動元と看做せるブロックを探索し、それによって
   見つかった移動元から前記符号化対象ブロックまでの変
   位量を動きベクトルとして求める動きベクトル検出装置
   において、 復数画素精度の探索対象の被符号化画像から探索領域を
   読み出し、その領域の中から符号化対象ブロックの移動
   元と看做せるブロックを探索し、探索された移動元から
   符号化対象ブロックまでの動きベクトルを複数画素精度
   で求めた後、複数画素精度の動きベクトルにより指定さ
   れた移動元のブロックを中心とする探索領域を,前記探
   索対象の被符号化画像を符号化後に復号化して再生した
   単画素精度の再生画像から切出して保持する手段と、 前記保持する手段により保持された探索領域の中から移
   動元と看做せるブロックを探索し、探索された移動元か
   ら前記符号化対象ブロックまでの動きベクトルを単画素
   精度で求める手段と、 前記動きベクトルを単画素精度で求める手段により求め
   られた単画素精度の動きベクトルにより指定される移動
   元のブロックを中心とする半画素精度の探索領域を、前
   記保持手段に保持された単画素精度の局部復号画像の探
   索領域から生成する手段と、 前記探索領域を生成する手段により生成された半画素精
   度の探索領域の中から移動元と看做せるブロックを探索
   し、探索された移動元から前記符号化対象ブロックまで
   の動きベクトルを半画素精度で求める手段を有すること
   を特徴とする動きベクトル検出装置。