JPH11308617A

JPH11308617A - ディジタル画像符号化装置とこれに用いる動きベクトル検出装置

Info

Publication number: JPH11308617A
Application number: JP11350298A
Authority: JP
Inventors: Yuichi Okuda; 裕一奥田; Yukio Isobe; 幸雄磯部; Satoshi Motosu; 聰本巣; Tomoo Kobori; 智生小堀
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1998-04-23
Filing date: 1998-04-23
Publication date: 1999-11-05

Abstract

(57)【要約】【課題】画質低下を最小限に留めて動き推定の演算量
を削減して、MPEG2符号化装置の消費電力を低減し、パ
ン情報を用いて精度の高い動き推定を行なう。【解決手段】動きベクトル検出部７ｃは、参照画像バ
ッファ７ｂの参照画像データから入力画像バッファ７ａ
の符号化するＭＢの動きベクトルを探索するが、分散値
算出部７ｈで得られる動きベクトルの分散値が閾値より
も小さいか否かに応じて、動きベクトル検出部７ｃに設
定される探索範囲の広さを切り換え、また、狭い探索範
囲では、平均値算出部７ｇで得られる動きベクトルの平
均値に応じたオフセットが掛けられる。また、外部がＣ
ＰＵＩＦ８を介してパン情報が値保持部７ｅに供給さ
れると、このパン情報に応じて動きベクトル検出部７ｃ
での探索範囲を広くしたり、狭くしたりし、また、狭い
探索範囲の場合、パン情報に応じたオフセットがこの探
索範囲に掛けられる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディジタル画像信
号を高能率で符号化するディジタル画像信号符号化装置
と、これに用いられ、時間軸方向の冗長度を削減する動
き補償(フレーム間予測)に必要な動きベクトルを検出す
る動きベクトル検出装置に関する。

【０００２】

【従来の技術】ディジタル画像信号符号化装置として、
従来、例えば、「ITU−Tホワイトブック、オーディオビ
ジュアル/マルチメディア関連(Ｈシリーズ)勧告集」財
団法人日本ITU協会平成7年2月18日発行 pp.375〜595
（以下、文献１という）に規定されている動画像圧縮技
術Ｈ.２６２(通称、ＭＰＥＧ２方式)による符号化装置
が知られている。ＭＰＥＧ２方式は放送や通信，蓄積メ
ディアなどの多様なアプリケーションに適用されること
を前提とする汎用的な規格である。

【０００３】ＭＰＥＧ２方式において、時間軸方向の冗
長度を削減するために、動き補償を行ない、高い圧縮効
率を得ている。動き補償とは、圧縮する画像(ピクチャ)
を１６×１６画素からなるマクロブロックＭＢに分割
し、マクロブロックＭＢ毎に参照画像中の動きベクトル
によって示される１６×１６画素からなる画像データと
の差分をとり、その差分画像データを符号化するもので
ある。

【０００４】ＭＰＥＧ２方式では、、動きベクトルを用
いた動き補償によって差分画像データを符号化したマク
ロブロックＭＢをノンイントラ（フレーム間予測符号
化）ＭＢという、動きベクトルを使用せずに差分をとら
ないで符号化したマクロブロックＭＢをイントラ（フレ
ーム内予測符号化）ＭＢという。また、イントラＭＢの
みで構成されるピクチャをＩピクチャといい、参照画像
データとして表示順で過去のピクチャの画像データのみ
を使用するピクチャをＰピクチャといい、参照画像デー
タとして表示順で過去と未来の両方のピクチャの画像デ
ータを使用することができるピクチャをＢピクチャとい
う。なお、このＢピクチャの参照画像データとして使用
するのはＩピクチャとＰピクチャの画像データであり、
Ｂピクチャの画像データは参照画像データとして用いら
れない。

【０００５】ここで、参照画像データとして用いること
ができるＩ，Ｐピクチャを参照画像ということにする
が、連続して配置されるｘ枚の画像（ピクチャ）毎に参
照画像が現れる場合、符号化されたＭＰＥＧ２ビットス
トリームのｍ値はｘであるという。

【０００６】動き補償に用いる動きベクトルを検出する
ためには、符号化すべき入力画像データと参照画像デー
タとを８×８画素からなるブロック単位でマッチングを
とるブロックマッチングという手法が、主に、用いられ
ている。

【０００７】ＭＰＥＧ２方式での符号化では、この動き
ベクトルを探索する動き推定(Motion Estimation：以
下、ＭＥという)の処理に必要な演算量が、一般に、そ
の他の演算である離散コサイン変換や量子化，可変長符
号化などと比較して、非常に多いものとなる。そして、
演算量の多さは消費電力の増加につながり、ＭＰＥＧ２
方式による符号化装置（以下、ＭＰＥＧ２符号化装置と
いう）における消費電力は、主に、ＭＥ処理に費やされ
る。

【０００８】符号化された画像の画質劣化を押さえつ
つ、ＭＥ処理の演算量を削減するために、従来では、例
えば、「1997年電子情報通信学会総合大会C−12−34」
（以下、文献２という）で発表されているように、過去
の動きベクトルの履歴を利用して探索範囲の形を適応的
に変化させることにより、画質劣化をおさえつつ動きベ
クトルの探索範囲を狭くするという方法が知られてい
る。

【０００９】

【発明が解決しようとする課題】近年のディジタル技術
の発展により、動画像を扱う機器はより小さく、より軽
くなっている。この小型・軽量化技術の発展により、今
後ますます携帯機器の需要が高まって行く。

【００１０】ところで、これら携帯機器は電池によって
駆動されるので、電池の寿命をより長く持たせるために
は、より低消費電力の回路を使用することが望まれる。
ＭＰＥＧ２符号化装置では、演算量の大半はＭＥに当て
られているので、ここでの消費電力を低減するために
は、動きベクトルの探索範囲を縮小したり、探索を簡略
化したりしてＭＥの演算量を削減することが考えられる
が、このことは符号化された画質に悪影響を及ぼすとい
う第１の問題があった。

【００１１】また、上記文献２に記載のように、動きベ
クトルの探索範囲の形を適応的に変化させる方法では、
探索範囲の形を複雑に制御することにより、大きな探索
範囲を持つ場合とほぼ同等の画質が得られるが、文献２
には、探索範囲の形を決定する制御方法が示されておら
ず、その機能を充分に使うことができないであろうこと
が考えられる。

【００１２】一方、ＭＰＥＧ２符号化をシステム全体と
して考えたとき、パンが行なわれる場合、画面全体のパ
ンの情報はＭＰＥＧ２符号化装置以外の手段によって検
出している場合がある。また、パンが行なわれていると
きには、動きベクトルがパンによって移動した先を表わ
している場合が多いので、ＭＥ処理を行なう装置が動き
ベクトルを探索する範囲は、パンによって移動した先の
周囲に限ってもよく、それ以外の場所を探索するのは無
駄が多いという第２の問題があった。

【００１３】本発明の第１の目的は、上記第１の問題を
解消し、簡易な回路構成でもって、符号化された画像の
画質劣化を抑えつつＭＥの演算量を削減し、ＭＰＥＧ２
符号化装置の消費電力を低減することができるようにし
たディジタル画像符号化装置とこれに用いる動きベクト
ル検出装置を提供することにある。

【００１４】本発明の第２の目的は、上記第２の問題を
解消し、外部で検出されたパンの情報をＭＰＥＧ２符号
化装置で有効に利用し、動きベクトルの無駄な探索動作
をなくすようにしたディジタル画像符号化装置とこれに
用いる動きベクトル検出装置を提供することにある。

【００１５】

【課題を解決するための手段】上記第１の目的を達成す
るために、本発明は、ＭＥを行なう回路ブロックに、動
きベクトルの探索範囲を制限するモードと該探索範囲に
オフセットをつける機能とこれらを自律的に初期状態に
戻す機能とを設けたものである。

【００１６】通常、動画像の時間軸方向の相関は高い
が、あるときは相関が低くなる。一般に、時間軸方向の
相関が高い動画像をＭＰＥＧ２で符号化する場合には、
動きベクトルがほぼ同一の方向を指す場合が多い。一
方、時間軸方向の相関が低い動画像をＭＰＥＧ２で符号
化する場合、動きベクトルはランダムな方向を指す。従
って、過去の参照画像データを用いた動きベクトルの探
索の結果、この動きベクトルの方向が似たようなところ
に集中しているときには、探索範囲を制限するモードを
設定するとともに、制限した探索範囲のオフセット（も
との広い探索範囲内での位置を決めるもの）を適宜設定
する。また、この制限された探索範囲が正しい動きベク
トルを検出できる範囲から外れているようであれば、自
律的に探索範囲を初期の広い状態に戻す。

【００１７】このようにすることにより、動きベクトル
の探索結果に大きな影響を与えることなく探索範囲を狭
くすることができ、この結果、ＭＥの演算量が削減され
るので、符号化された画像の画質劣化を抑えつつＭＰＥ
Ｇ２符号化装置の低消費電力化を実現することができ
る。

【００１８】上記第２の目的を達成するために、本発明
は、上記の探索範囲を制限するモードとこの探索範囲に
オフセットをつける機能とを外部から設定することがで
きるようするとともに、ＭＰＥＧ２符号化装置で検出さ
れた動きベクトルに関する情報を外部から参照すること
ができるようにした。

【００１９】ＭＰＥＧ２符号化装置の外部で検出したパ
ン情報からどのような動きベクトルが検出されるかを予
測し、その予測された値を上記のオフセット値として設
定する。また、実際に検出された動きベクトルに関する
情報から探索範囲を制限してもよいかどうか判断し、上
記の探索範囲を制限するモードを設定する。このように
することにより、外部で検出されたパンの情報をＭＰＥ
Ｇ２符号化装置で有効に利用することが可能になる。

【００２０】

【発明の実施の形態】以下、本発明の実施形態を図面を
用いて説明する。図１は本発明によるディジタル画像符
号化装置の第１の実施形態を示すブロック図であって、
１は画像データの入力端子、２はＭＰＥＧ２符号化装
置、３はＳＤＲＡＭ（同期式記憶保持動作が必要な随時
読出し，書込み動作が可能な半導体記憶素子）ブロッ
ク、４はＣＰＵ（中央処理ユニット）ブロック、５はビ
ットストリームの出力端子、６はＶＩＤＥＯ（ビデオ）
ブロック、７はＭＥ（動き推定処理）ブロック、８はＣ
ＰＵＩＦ（ＣＰＵインターフェース）ブロック、９は
ＭＣ（動き補償）ブロック、１０はＪＵＤＧＥ（判定）
ブロック、１１はＤＣＴ/ＩＤＣＴ（離散コサイン変換/
逆離散コサイン変換）ブロック、１２はＱ/ＩＱ（量子
化/逆量子化）ブロック、１３はＲＡＴＥ（レート制
御）ブロック、１４はＶＬＣ（可変長符号化）ブロッ
ク、１５はＣＯＤＥ（コード）ブロック、１６はＳＤＲ
ＡＭアドレスバス、１７はＳＤＲＡＭデータバスであ
る。

【００２１】同図において、ＳＤＲＡＭブロック３は
Ｉ，Ｐピクチャの画像データが参照画像データとして格
納されており、ＳＤＲＡＭアドレスバス１６から読出ア
ドレスが供給されることにより、ＳＤＲＡＭブロック３
でのこの読出アドレスによる領域から参照画像データが
読み出されてＳＤＲＡＭデータバス１７に出力される。
これをＳＤＲＡＭブロック３からの読出しという。ま
た、ＳＤＲＡＭアドレスバス１６から書込アドレスが、
ＳＤＲＡＭデータバス１７から画像データが夫々供給さ
れると、ＳＤＲＡＭブロック３でのこの書込アドレスに
よる領域にこの画像データが書き込きれる。これをＳＤ
ＲＡＭブロック３への書込みという。

【００２２】次に、ＭＰＥＧ２符号化装置２の各部の動
作について説明する。

【００２３】ＭＰＥＧ２方式では、画像(ピクチャ)の動
き補償を行なうための参照画像として、表示順で過去と
未来の両方の画像を使用可能とする。このために、画像
の入力順（即ち、表示順）と符号化順は必ずしも一致し
ない。例えば、図７（ａ）に示すように、ピクチャ
Ｐ₁，Ｐ₂，Ｐ₃，Ｐ₄がその順に入力されたものとする
と、これらが符号化されたときには、図７（ｂ）に示す
ように、ピクチャＰ₁，Ｐ₄，Ｐ₂，Ｐ₃の順となる。

【００２４】入力端子１から入力される各ピクチャの画
像データはＶＩＤＥＯブロック６に供給されるが、この
ＶＩＤＥＯブロック６では、入力されるピクチャの順序
が、上記のように、符号化する順に並び替えられ、夫々
のピクチャ毎に輝度信号Ｙと２つの色差信号（Ｒ−Ｙ）
_,（Ｂ−Ｙ）とに分離されるとともに、これら夫々の信
号毎にマクロブロックＭＢに分割される。ここで、マク
ロブロックＭＢ中の輝度信号は１６×１６画素からな
り、マクロブロックＭＢ中の色差信号（Ｒ−Ｙ），(Ｂ
−Ｙ）（なお、これらをまとめて、色差信号Ｃという）
は、水平，垂直とも１/２に間引かれて８×８画素から
なっている。かかる輝度信号ＹはマクロブロックＭＢ毎
に順次ＭＥブロック７，ＭＣブロック９及びＪＵＤＧＥ
ブロック１０に供給され、また、２つの色差信号Ｃもマ
クロブロックＭＢ毎にＭＣブロック９に供給される。

【００２５】ＭＥブロック７は、マクロブロックＭＢ毎
に、ＶＩＤＥＯブロック６からの輝度信号ＹとＳＤＲＡ
Ｍブロック３から読み出された参照画像データＤ₄を用
いて動きベクトルＭＶを探索し、ＭＣブロック９に供給
する。そこで、ＭＣブロック９は、この探索された動き
ベクトルＭＶを用いて、マクロブロックＭＢ毎に、ＶＩ
ＤＥＯブロック６からの輝度信号Ｙとこのマクロブロッ
クＭＢに対応するＳＤＲＡＭブロック３から読み出した
参照画像データＤ₄の輝度成分のマクロブロックＭＢと
の差分画像データＤ₂を生成する。ＪＵＤＧＥブロック
１０は、マクロブロックＭＢ毎に、この差分画像データ
Ｄ₂とＶＩＤＥＯブロック６からの輝度信号Ｙとの夫々
の分散値を算出し、これら分散値のうちの小さい方がよ
り少ない符号量で符号化できると判定して、その判定結
果をイントラＭＢ判定信号Ｓ₄としてＭＥブロック７，
ＭＣブロック９及びＣＰＵＩＦブロック８に供給す
る。

【００２６】そこで、ＭＣブロック９は、このイントラ
ＭＢ判定信号Ｓ₄からして、輝度信号Ｙの分散値の方が
小さいと判定されているときには、ＶＩＤＥＯブロック
６から供給されるマクロブロックＭＢの輝度信号Ｙの１
６×１６画素を、さらに、夫々が８×８画素からなる４
個のブロックに分割し、また、ＶＩＤＥＯブロック６か
ら供給されるマクロブロックＭＢの色差信号Ｃ夫々の８
×８画素をそのままブロックとし、これら６個のブロッ
クを時分割多重してブロックデータＤ₃としてＤＣＴ/Ｉ
ＤＣＴブロック１１に供給する。また、差分画像データ
Ｄ₂の分散値の方が小さいと判定されているときには、
この差分画像データＤ₂を夫々８×８画素からなる４個
のブロックに分割し、また、ＶＩＤＥＯブロック６から
供給される２つの色差信号Ｃと、ＳＤＲＡＭブロック３
から読み出される参照画像データＤ₄の上記動きベクト
ルＭＶで決まる８×８画素との夫々の色差信号との差分
画像データを生成し、これらをそのままブロックとし
て、これら４個の輝度信号Ｙのブロックと色差信号Ｃの
２個のブロックとからなる６個の８×８画素からなるブ
ロックを時分割多重し、ブロックデータＤ₃としてＤＣ
Ｔ/ＩＤＣＴブロック１１に供給する。

【００２７】以上のようなブロックデータＤ₃は、ＤＣ
Ｔ/ＩＤＣＴブロック１１で離散コサイン変換され、Ｑ/
ＩＱブロック１２で量子化された後、ＶＬＣブロック１
４で可変長符号化されてＭＰＥＧ２ビットストリームと
なる。このＭＰＥＧ２ビットストリームは、ＣＯＤＥブ
ロック１５で送信バッファに一旦蓄積されて読出しが制
御されることにより、所定の一定ビットレートに平滑化
されて出力端子５から出力される。

【００２８】また、ＶＬＣブロック１４で生成した画像
データの符号量の情報がＲＡＴＥブロック１３に供給さ
れ、これと予め設定されたビットレート情報とから、出
力端子５から出力されるＭＰＥＧ２ビットストリームの
ビットレートを一定に保つためには、Ｑ/ＩＱブロック
１２でどの程度粗く量子化をかけるべきかを算出し、Ｑ
/ＩＱブロック１２はこの算出値に応じた量子化を行な
う。また、ＲＡＴＥブロック１３は、この一定のビット
レートが破綻しないために許容できる１マクロブロック
ＭＢ当りの発生符号量を算出し、ＶＬＣブロック１４
は、この算出値に応じて、１ＭＢ当りの発生符号量がこ
のビットレートを破綻させない値を超えないように符号
化処理が制御される。

【００２９】ところで、ＭＰＥＧ２方式では、非可逆符
号化を行なうため、入力端子１から入力されるもとの画
像（入力画像）と出力端子５から出力されたＭＰＥＧ２
ビットストリームを復号した画像とは異なったものにな
る。このＭＰＥＧ２ビットストリームを復号する受信側
の復号器では、差分画像データから元の画像データを再
生するために、参照画像データとして、復号された画像
データを使用するので、送信側のＭＰＥＧ２符号化装置
２において、ＭＣブロック９で差分画像データを生成す
る際に、入力画像データをそのまま参照画像データとし
て使用すると、このＭＰＥＧ２符号化装置での参照画像
データと受信側の復号器での参照画像データとの間の差
が問題となる。この差をなくすために、ＭＰＥＧ２符号
化装置２側でも、このＭＰＥＧビットストリームを復号
した画像データを参照画像データとして用いるようにし
なければならない。これをローカルデコードという。

【００３０】このローカルデコードは、次のようにして
行なわれる。即ち、上記のように、ＶＬＣブロック１４
では、ビットレート制御のために、１ＭＢ当りの発生符
号量を制限しており、それを超える画像データは可変長
符号化されない。このために、Ｑ/ＩＱブロック１２か
ら出力された画像データの一部が可変長符号化されない
場合がある。そこで、ＭＰＥＧ２ビットストリームをデ
コードした値とローカルデコードの値とを一致させるた
めに、ＶＬＣブロック１４から可変長符号化した分の画
像データをＱ/ＩＱブロック１２に供給して逆量子化
し、さらに、ＤＣＴ/ＩＤＣＴブロック１１で逆離散コ
サイン変換してＭＣブロック９に供給する。ＭＣブロッ
ク９では、ノンイントラＭＢの差分画像データは参照画
像データが加算されて画像データに戻され、イントラＭ
Ｂのデータはそのままで復号画像データが生成され、Ｉ
ピクチャとＰピクチャの復号画像データが参照画像デー
タＤ₁ として、ＳＤＲＡＭデータバス１７を介し、ＳＤ
ＲＡＭブロック３に保存される。

【００３１】図２は図１における動きベクトル検出装置
としてのＭＥブロック７の第1の実施形態を示すブロッ
ク図であって、７ａは入力画像バッファ、７ｂは参照画
像バッファ、７ｃは動きベクトル検出部、７ｄは参照画
像読出アドレス発生部、７ｅは値保持部、７ｆは判定計
数部、７ｇは平均値算出部、７ｈは分散値算出部であ
り、図１に対応する部分には同一符号をつけて重複する
説明を省略する。

【００３２】ＶＩＤＥＯブロック６（図１）から供給さ
れる輝度信号Ｙの１６×１６画素からなるマクロブロッ
クＭＢは入力画像バッファ７ａに格納され、また、この
マクロブロックＭＢに対してＳＤＲＡＭブロック３から
読み出された参照画像データＤ₄は参照画像バッファ７
ｂに格納される。ここで、参照画像バッファ７ｂは、水
平１２８画素×垂直５６画素の参照画像データＤ₄を格
納する。

【００３３】この参照画像バッファ７ｂからは、入力画
像バッファ７ａに格納されたマクロブロックＭＢに対す
る動きベクトルＭＶの探索範囲の参照画像データが読み
出され、入力画像バッファ７ａから読み出されるマクロ
ブロックＭＢの画像データとともに、動きベクトル検出
部７ｃに供給されるのであるが、動きベクトルの探索範
囲は、後述するように、通常の広い探索範囲と制限され
た狭い探索範囲とに設定可能である。ここで、通常の広
い探索範囲は、入力画像バッファ７ａから読み出される
マクロブロックＭＢに対応する位置を中心として、水平
方向で−５６〜＋５６画素，垂直方向で−２０〜＋２０
画素からなる範囲であり（マクロブロックＭＢに対応す
る領域（１６×１６画素）の領域も含めると、水平１２
８画素×垂直５６画素の大きさ）、また、制限された狭
い探索範囲は、水平方向で−２４〜＋２４画素，垂直方
向で−８〜＋８画素からなる範囲である（マクロブロッ
クＭＢに対応する領域の領域も含めると、水平６４画素
×垂直３２画素の大きさとなる）。

【００３４】動きベクトル検出部７ｃでは、入力画像バ
ッファ７ａから供給されるマクロブロックＭＢの画像デ
ータと参照画像バッファ７ｂからの探索範囲の画像デー
タとのブロックマッチングをとることにより、このマク
ロブロックＭＶに対する動きベクトルＭＶを検出する。
このブロックマッチングは、輝度信号Ｙの場合、１６×
１６画素からなるマクロブロックＭＢに対して探索範囲
を上下左右に移動させることにより、夫々の移動位置毎
の１６×１６画素の領域との相関（予測誤差）を求める
ものである。

【００３５】このようにして、入力画像の１つのマクロ
ブロックＭＢについて動きベクトルＭＶが求まると、次
のマクロブロックＭＢの動きベクトルＭＶの探索を行な
うのであるが、このマクロブロックＭＢに対する探索範
囲はその１つ前のマクロブロックＭＢに対する探索範囲
とは異なる。このため、次のマクロブロックＭＢの動き
ベクトルＭＶの探索を行なうときには、これに対する探
索範囲を設定するために、ＳＤＲＡＭブロック３から参
照画像データの読出しが行なわれるが、続けて動きベク
トルＭＶの探索を行なう２つのマクロブロックＭＢに対
する探索範囲は大部分が重なり合っており、１つ前のマ
クロブロックＭＢの動きベクトルＭＶの探索に使用した
探索範囲の参照画像データの一部を再使用することがで
きる。このため、ＳＤＲＡＭブロック３から読み出して
参照画像バッファ７ｂに取り込む参照画像データの範囲
は、上記通常の広い探索範囲では、水平１６画素×垂直
５６画素の範囲であり、上記制限された狭い探索範囲で
は、水平１６画素×垂直３２画素の範囲である。

【００３６】参照画像読出アドレス発生部７ｄは、ＳＤ
ＲＡＭブロック３から参照画像データの読出範囲を制限
するモードと、この読出位置にオフセットをつける機能
とを備えており、これらモードと機能との設定はＣＰＵ
ＩＦブロック８によって行なわれる。

【００３７】次に、ＣＰＵＩＦブロック８による参照
画像読出アドレス発生部７ｄのかかるモードと機能につ
いて説明するが、その前に、図３〜図６により、符号化
する入力画像，参照画像間の相関と動きベクトルやその
探索範囲との関係について説明する。但し、図３は入力
画像と参照画像との相関が低い場合の動きベクトルの分
布図、図４は入力画像と参照画像との相関が高い場合の
動きベクトルの分布図、図５は入力画像と参照画像との
相関が高い場合の探索範囲の制限とオフセットとの説明
図、図６は探索範囲が制限された状態で符号化する入力
画像と参照画像との相関が低い場合の説明図である。

【００３８】なお、これに図３〜図６において、範囲α
−βは通常の広い探索範囲を表わしており、この探索範
囲α−βの縦軸が立てられている中心がこの探索範囲α
−βでの符号化する入力画像データのマクロブロックＭ
Ｂの位置とするものである。動きベクトルを探索する場
合には、相対的に上記のような画素範囲を持つ探索範囲
内でマクロブロックＭＢを、例えば、半画像分ずつ移動
させることにより、高い相関部分を探索するものである
が、図３〜図６における縦軸の「動きベクトルの分布密
度」とは、複数のＭＢに対して検出された動きベクトル
の分布の程度を示すものである。例えば、図３の場合に
は、入力画像，参照画像間の相関が低く、動きベクトル
がランダムに検出されていることを示している。また、
図４の場合には、動きベクトルが検出される率が高いこ
とを示している。

【００３９】符号化する入力画像と参照画像の相関が低
い場合には、動きベクトルは、図３に示すように、動き
ベクトル検出部７ｃでの探索範囲α−βに万遍なく検出
される。そして、入力画像と参照画像との相関が低い
と、これらの差分画像の分散が大きくなる傾向にあるの
で、ＪＵＤＧＥブロック１０での判定結果はイントラＭ
Ｂが多いということになる。

【００４０】逆に、例えば、単純なパンを行なっている
ような画像のように、入力画像と参照画像との相関が高
い場合には、検出される動きベクトルは、図４で示すよ
うに、パンによる画像の移動を表わすベクトルを中心と
する領域に集まり、ＪＵＤＧＥブロック１０の判定結果
はノンイントラＭＢが多いということになる。

【００４１】このように、探索範囲α−β内での狭い範
囲に動きベクトルが集まっている場合には、図５で示す
ように、その位置を表わす動きベクトルの平均値Ｖａに
対する探索範囲でのオフセット値Ｎ_OFを指定し、探索範
囲をこの動きベクトルの大半が含まれる狭い探索範囲
（即ち、探索範囲α’−β’）に制限しても、符号化し
た画像の画質に大きな影響は与えない。なお、この制限
された狭い探索範囲α’−β’に対し、上記の探索範囲
α−βが上記通常の広い探索範囲となる。

【００４２】また、エンコード中、シーンの切り替えな
どによって入力画像と参照画像との相関が低くなった
り、パンの方向が変化したりして、動きベクトルが集中
する場所が制限れた狭い探索範囲α’−β’からはずれ
た場合には、探索範囲をもとの通常の広い範囲α−βに
戻さなくてはならない。

【００４３】図６は上記の制限された狭い探索範囲α’
−β’が設定されているときに、入力画像と参照画像と
の相関が低くなった場合を示すものであるが、このとき
には、探索範囲α’−β’外の斜線部で検出されるはず
の動きベクトルが正しく検出されず、イントラＭＢの判
定が非常に多くなる。従って、制限された狭い探索範囲
が設定されているときにイントラＭＢが多いという判定
があった場合には、図３に示す通常の広い探索範囲α−
βに戻す必要がある。

【００４４】以上のように、広い探索範囲と狭い探索範
囲の設定と、狭い範囲の探索範囲のオフセットの設定と
が行なわれるものであるが、まず、図２において、外部
設定有効モード設定信号Ｓ₃ の値が０であり、ＣＰＵ
ＩＦブロック８からの参照画像読出アドレス発生部７
ｄの設定を行なわない場合について説明する。

【００４５】動きベクトルの探索範囲を上記の広い探索
範囲にするか、狭い探索範囲に制限するかは、以下のよ
うにして、Ｐピクチャの符号化の際に決定される。

【００４６】即ち、Ｐピクチャに符号化しているとき
に、動きベクトル検出部７ｃで検出された動きベクトル
ＭＶの平均値Ｖａ（図５）を平均値算出部７ｇで算出
し、動きベクトルＭＶの分散値を分散値算出部７ｈで算
出して夫々値保持部７ｅに供給する。また、ＪＵＤＧＥ
ブロック１０のイントラ/ノンイントラ判定結果から判
定計数部７ｆがこのＰピクチャ内のイントラＭＢの個数
を計数し、その計数値を値保持部７ｅに供給する。

【００４７】このＰピクチャの符号化が終了すると、値
保持部７ｅは取り込んだ平均値Ｖａから読出位置のオフ
セット値Ｎ_OFを算出し、この結果を読出位置オフセット
信号Ｓ₅として動きベクトル検出部７ｃと参照画像読出
アドレス発生部７ｄとに供給する。この読出位置オフセ
ットＳ₅の算出法は後述する。また、分散値算出部７ｈ
で算出された分散値が予め設定された閾値以下であると
きには、参照画像データの読出範囲(即ち、探索範囲）
を制限してもよいと判断し、読出範囲制限信号Ｓ₆を動
きベクトル検出部７ｃと参照画像読出アドレス発生部７
ｄと参照バッファ７ｂとに供給する。この場合には、参
照画像読出アドレス発生部７ｄは、この読出範囲制限信
号Ｓ₆により、ＳＤＲＡＭ３からの参照画像データの読
出範囲を、入力画像バッファ７ａに格納されたマクロブ
ロックＭＢに対応した位置を中心とした狭い探索範囲に
対するように、狭く制限する。

【００４８】また、値保持部７ｅから読出範囲制限信号
Ｓ₆が出力されているときに、読出位置オフセットＳ₅も
出力されるときには、この読出位置オフセットＳ₅に応
じて、ＳＤＲＡＭ３からの参照画像データの読出範囲の
位置を設定する。この読出位置オフセットＳ₅がない場
合には、ＳＤＲＡＭ３での参照画像データの読出範囲
は、入力画像バッファ７ａに格納されたマクロブロック
ＭＢに対応する位置が中心位置となる範囲であるが、読
出位置オフセットＳ₅があると、この中心位置がこの読
出位置オフセットＳ₅が表わすオフセット値Ｎ_OFに応じ
た量だけずれたものとなる。また、参照画像バッファ７
ｂでは、参照画像読出アドレス発生部７ｄによって設定
されたＳＤＲＡＭ３での読出範囲の参照画像データが書
き込まれて狭い探索範囲の参照画像データが格納される
ことになり、読出範囲制限信号Ｓ₆に応じてかかる参照
画像データが読み出されて動きベクトル検出部７ｃに供
給される。このようにして、動きベクトル検出部７ｃ
は、例えば、図５に示すように、読出位置オフセットＳ
₅ に応じたオフセット値Ｎ_OFを持つ制限された狭い探索
範囲α’−β’が設定されることになる。

【００４９】なお、判定計数部７ｆが一定以上の計数値
を出力しているときには（即ち、イントラＭＢの個数が
多いときには）、読出位置オフセット信号Ｓ₅は０とな
り、また、読出範囲制限信号Ｓ₆も出力されない。ま
た、分散値算出部７ｈで算出される分散値が上記閾値よ
りも大きいときにも、同様に、読出位置オフセット信号
Ｓ₅と読出範囲制限信号Ｓ₆が出力されない。この場合に
は、参照画像読出アドレス発生部７ｄは、入力画像バッ
ファ７ａに格納されたマクロブロックＭＢに対応した位
置を中心とした広い探索範囲に対するように、参照画像
データを読み出すようにし、これを参照画像バッファ７
ｂに格納させる。また、動きベクトル検出部７ｃでは、
参照画像バッファ７ｂから参照画像データを読み取っ
て、図３に示す通常の広い探索範囲α−βのように、入
力画像バッファ７ａに格納されたマクロブロックＭＢに
対応した位置を中心とした広い探索範囲が設定される。

【００５０】探索範囲を制限された狭い探索範囲α’−
β’とするモードでは、通常の広い探索範囲α−βであ
る場合に比べ、参照画像バッファ７ｂからの参照画像デ
ータの読出範囲が縦横夫々１/２となり、動きベクトル
検出部７ｃの動作時間が１/４となる。また、次のマク
ロブロックＭＢでの動きベクトルの探索のためにＳＤＲ
ＡＭブロック３から参照画像データを読み出すためのＳ
ＤＲＡＭブロック３へのアクセス量も減少し、ＭＥブロ
ック７の消費電力を低減することができる。また、かか
るモードにあるときに広い探索範囲α−βが必要になっ
たときには、上記のように、自律的にこの広い探索範囲
α−βを戻すので、符号化された画像への影響は最小限
に押さえられる。

【００５１】次のピクチャの符号化時には、参照画像読
出アドレス発生部７ｄは、読出範囲制限信号Ｓ₆が０で
なければ、読出範囲を制限して、さらに、読出位置オフ
セット信号Ｓ₅が０でなければ、これに応じてこの読出
位置をオフセットしてＳＤＲＡＭブロック３から参照画
像データを読み出し、また、読出範囲制限信号Ｓ₆が０
であれば、通常の広い読出範囲でＳＤＲＡＭブロック３
から参照画像データを読み出す。

【００５２】ここで、エンコードされる動画像のｍ値が
一定であるならば、次のＰピクチャでの読出位置オフセ
ットは動きベクトルの平均値Ｖａとしてよい。このｍ値
が変化した場合には、ｍ値に応じてスケーリングする。

【００５３】次に、Ｂピクチャにおける読出位置オフセ
ットの決定について説明する。図７はこの第１の実施形
態における動きベクトルのスケーリングの説明図であっ
て、図７（ａ）は表示順(入力順)でのピクチャの並び
を、図７（ｂ）は符号化順でのピクチャの並びを夫々示
している。

【００５４】図７(ａ)において、いま、順番に入力され
る４個のピクチャＰ₁，Ｐ２，Ｐ₃，Ｐ₄に着目し、これ
らピクチャ中の特定の画像がピクチャＰ₁，Ｐ₂，Ｐ₃，
Ｐ₄の順に位置を変えていくものとし、これら夫々のピ
クチャにおいて、この特定の画像に含まれるマクロブロ
ックＭＢをピクチャＰ₁でマクロブロックＭＢ₁とし、ピ
クチャＰ₂でマクロブロックＭＢ₂とし、ピクチャＰ₃で
マクロブロックＭＢ₃とし、ピクチャＰ₄でマクロブロッ
クＭＢ₄とする。ここでは、パンが行なわれているもの
とし、このために、画像全体が同方向に同速度で移動す
る。図７では、この特定の画像のの表示位置のマクロブ
ロックＭＢが、ピクチャＰ₁，Ｐ₂，Ｐ₃，Ｐ₄の順に、左
下隅から右上隅へマクロブロックＭＢ₁，ＭＢ₂，Ｍ
Ｂ₃，ＭＢ₄と移動していく状態を示している。これらマ
クロブロックＭＢ₁〜ＭＢ₄の画像は互いに相関が非常に
高い。なお、説明の便宜上、これらマクロブロックＭＢ
₁〜ＭＢ₄間の間隔を誇張して示している。

【００５５】かかるピクチャＰ₁〜Ｐ₄は、ピクチャＰ₁
がＩピクチャとして、ピクチャＰ₄がＰピクチャとし
て、また、ピクチャＰ₂，Ｐ₃がＢピクチャとして夫々符
号化されると、図７（ｂ）に示すように、Ｉピクチャに
符号化されたピクチャＰ₁，Ｐピクチャに符号化された
ピクチャＰ₄，Ｂピクチャに符号化されたピクチャＰ₂，
Ｂピクチャに符号化されたピクチャＰ₃ の順に配列され
ることになる。従って、この場合のＭＰＥＧ２ビットス
トリームのｍ値は３である。

【００５６】このようにピクチャＰ₁〜Ｐ₄を符号化する
場合には、ピクチャＰ₁ は、Ｉピクチャとして符号化さ
れるので、この符号化に動きベクトルは関係ない。

【００５７】次に、ピクチャＰ₄をＰピクチャに符号化
する場合には、このピクチャＰ₄のマクロブロックＭＢ₄
に対して、このマクロブロックＭＢ₄に応じた範囲のピ
クチャＰ₁の画像データがＳＤＲＡＭ３から読み出され
て、参照画像データＤ₄として、参照画像バッファ７ｂ
に格納されている。そして、この場合、値保持部７ｅか
らは読出位置オフセット信号Ｓ₅も読出範囲制限信号Ｓ₆
も出力されていないものとすると、参照画像バッファ７
ｄからは、このマクロブロックＭＢ₄の位置を中心とす
る通常の広い範囲の探索範囲を含む読出範囲の参照画像
データが読み出されて動きベクトル検出部７ｃに供給さ
れ、この探索範囲でマクロブロックＭＢ₄に対する動き
ベクトルＭＶの探索が行なわれる。

【００５８】ここで、動きベクトルＭＶ₁がこの探索範
囲内にあるとすると、ピクチャＰ₁，Ｐ₄は相関が非常に
高いものであるから、この場合の動きベクトルの分布密
度は、図４で示したように、ＭＶ₁付近に集中すること
となる。この場合の平均値算出部７ｇで算出される動き
ベクトルの平均値ＶａはＭＶ₁に近い値であり、また、
分散値算出部７ｈで算出される動きベクトルの分散値は
予め設定されている閾値よりも低いものとする。

【００５９】次のＢピクチャに符号化するピクチャＰ₂
のマクロブロックＭＢ₂を符号化する場合には、入力が
先行したピクチャＰ₁の画像データを参照画像データと
する動きベクトルＭＶ₂（これを前方向動きベクトルと
いう）の探索（前方向動きベクトル探索）と、入力順序
が後のピクチャＰ₄の画像データを参照画像データとす
る動きベクトルＭＶ₃の探索（後方向動きベクトル探
索）とが行なわれる。

【００６０】まず、前方向動きベクトルＭＶ₂の探索で
は、探索範囲のオフセット値Ｎ_OF（図５）やＳＤＲＡＭ
３からの参照画像データの読出位置オフセット値は、先
に求めたピクチャＰ₄の動きベクトルＭＶ₁の平均値Ｖａ
の１/３の大きさでこの動きベクトルＭＶ₁と同方向に設
定される。

【００６１】次に、後方向動きベクトルＭＶ₃の探索が
行なわれるのであるが、この場合には探索範囲のオフセ
ット値Ｎ_OF（図５）やＳＤＲＡＭ３からの参照画像デー
タの読出位置オフセット値は、先に求めたピクチャＰ₄
の動きベクトルＭＶ₁の平均値Ｖａの２/３の大きさでこ
の動きベクトルＭＶ₁ と逆方向に設定される。

【００６２】さらに、次のピクチャＰ₃でのマクロブロ
ックＭＢ₃を符号化するときには、ピクチャＰ₂の場合と
同様にして、ピクチャＰ₁の画像データを参照画像デー
タとする前方向動きベクトルＭＶ₄の探索を行なう前方
向動きベクトル探索と、ピクチャＰ₄ の画像データを参
照画像データとする後方向動きベクトルＭＶ₅の探索を
行なう後方向動きベクトル探索とが行なわれる。

【００６３】この場合には、前方向動きベクトルＭＶ₄
の探索では、探索範囲のオフセット値Ｎ_OF（図５）やＳ
ＤＲＡＭ３からの参照画像データの読出位置オフセット
値は、先に求めたピクチャＰ₄ の動きベクトルＭＶ₁の
平均値Ｖａの２/３の大きさでこの動きベクトルと同方
向に設定される。

【００６４】また、同様にして、後方向動きベクトルＭ
Ｖ₅の探索が行なわれるのであるが、この場合には、探
索範囲のオフセット値Ｎ_OF（図５）やＳＤＲＡＭ３から
の参照画像データの読出位置オフセット値は、先に求め
たピクチャＰ₄の動きベクトルＭＶ₁の平均値Ｖａの１／
３の大きさでこの動きベクトルＶａと逆方向に設定され
る。

【００６５】ＭＰＥＧ２ビットストリームのｍ値が３の
場合、ピクチャＰ₄の次に続くピクチャＰ₅，Ｐ₆（図７
に図示せず）を飛び越えて、ピクチャＰ₇（図７に図示
せず）を、ピクチャＰ₄の画像データを参照画像データ
として、Ｐピクチャに符号化する。この場合にも、値保
持部７ｅにピクチャＰ₄の動きベクトルＭＶ₁の平均値Ｖ
ａが保持され、また、ピクチャＰ₄で算出された動きベ
クトルＭＶ₁の分散値は閾値よりも低いので、値保持部
７ｅから、これら平均値Ｖａと分散値に応じて、読出位
置オフセット信号Ｓ₅と読出範囲制限信号Ｓ₆が出力さ
れ、動きベクトル検出部７ｅに制限された狭い探索範囲
が設定され、この場合の探索範囲のオフセット値Ｎ
_OF（図５）やＳＤＲＡＭ３からの参照画像データの読出
位置オフセット値は、先に求めたピクチャＰ₄の動きベ
クトルＭＶ₁の平均値Ｖａと同じ大きさで、この動きベ
クトルＭＶ₁と同方向に設定される。ここでＭＰＥＧ２
ビットストリームのｍ値が３以外に変化した場合、この
場合の探索範囲のオフセット値Ｎ_OF（図５）やＳＤＲＡ
Ｍ３からの参照画像データの読出位置オフセット値は、
ピクチャＰ₄の動きベクトルＭＶ₁の平均値Ｖａ×ｍ値/
３の大きさで、この動きベクトルＭＶ₁と同方向に設定
される。

【００６６】かかるピクチャＰ₇の符号化で動きベクト
ルＭＶの平均値Ｖａが新たに変化すると、値保持部７ｅ
では、この新たな平均値Ｖａに更新され、次のＰピクチ
ャの符号化で更新されるまでこの平均値Ｖａが保持され
る。

【００６７】以上の動きベクトルＭＶの探索において、
分散値算出部７ｈで算出された分散値が閾値よりも高い
ときには、値保持部７ｅからは読出位置オフセット信号
Ｓ₅と読出範囲制限信号Ｓ₆が出力されず（この場合で
も、値保持部７ｅでは、平均値Ｖａがそのまま保持され
ている）、従って、ＳＤＲＡＭ３からの画像の読出範囲
も広げられて、動きベクトル検出部７ｃには、通常の広
い探索範囲が設定される。

【００６８】なお、以上の説明はＭＰＥＧ２ビットスト
リームのｍ値が３の場合であるが、このｍ値が２の場合
（２ピクチャ毎に１つの参照画像(ＩまたはＰピクチャ)
となる）でも、Ｂピクチャに符号化されるピクチャの前
方向動きベクトル探索でのＳＤＲＡＭ３の参照画像デー
タ読出位置オフセット値Ｎ_OFは、先行して入力されたＰ
ピクチャの動きベクトルＭＶの平均値Ｖａの１/２の大
きさでこの動きベクトルＭＶと同方向に設定され、後方
向動きベクトル探索でのＳＤＲＡＭ３の参照画像データ
の読出位置オフセット値Ｎ_OFは、Ｐピクチャの動きベク
トルＭＶの平均値Ｖａの１/２の大きさでこの動きベク
トルＭＶと逆方向に設定される。これ以外については、
上記と同様である。

【００６９】次に、ＣＰＵＩＦブロック８からの外部
設定有効モード信号Ｓ₃の値が１である場合の動作につ
いて説明する。

【００７０】図１において、ＣＰＵブロック４は、ＣＰ
ＵＩＦブロック８から、マクロブロックＭＢ毎に、動
きベクトルＭＶの検出結果とイントラＭＢ判定信号Ｓ₄
の値とを受け取り、ユーザ定義のアルゴリズムを用い
て、ＳＤＲＡＭ３の参照画像データ読出位置オフセット
値とベクトル探索範囲制限信号Ｓ₁の値とを算出する
（ここでは、例えば、上記の平均値Ｖａの代わりに最頻
値を、分散値の代わりに絶対値差分和を夫々用いるアル
ゴリズムが考えられる）。

【００７１】そして、外部設定有効モード信号Ｓ₃の値
を１とし、オフセット値設定信号Ｓ₂の値を上記の算出
した参照画像データ読出位置オフセットとし、ベクトル
探索範囲制限信号Ｓ₁の値を、ベクトル探索範囲制限を
行なう場合には、１として、夫々ＣＰＵＩＦブロック
８に設定する。

【００７２】図２において、値保持部７ｅでは、読出範
囲制限信号Ｓ₆の値をＣＰＵＩＦブロック８からのベク
トル探索範囲制限信号Ｓ₁の値に、読出位置オフセット
信号Ｓ₅の値をオフセット値設定信号Ｓ₂の値に夫々設定
して出力する。このように、参照画像データ読出位置オ
フセット値とベクトル探索範囲制限信号Ｓ₁の値とをＣ
ＰＵブロック４から設定することができるようにするこ
とにより、外部で検出されたパンの情報などをＭＰＥＧ
２符号化装置２で利用することができる。

【００７３】なお、この第１の実施形態では、上記のよ
うに、平均値と分散値を用いたが、これは、ほかの計算
法、例えば、平均値の代わりに最頻値を、分散値の代わ
りに絶対値差分和を夫々用いるようにしてもよい。

【００７４】また、この第１の実施形態では、参照画像
データ読出位置オフセットと探索範囲との制限をＰピク
チャが符号化されたときに更新するようにしたが、各ピ
クチャ毎に参照画像データ読出位置オフセットや探索範
囲の制限を計算して更新するようにすることも可能であ
る。また、ピクチャ単位ではなく、過去の決められた個
数のマクロブロックＭＢでの動きベクトルＭＶの平均値
や分散値の情報をもとにして、マクロブロックＭＢ毎や
複数のマクロブロックＭＢ毎に参照画像データ読出位置
オフセットと探索範囲の制限を更新していくようにする
ことも可能である。

【００７５】さらに、この第１の実施形態では、探索範
囲として広いモードと制限された狭いモードとの２種類
としたが、探索範囲を大きさが異なる３以上のモードを
選択制御するようにすることもできる。

【００７６】図８は本発明によるディジタル画像符号化
装置に用いる動きベクトル検出装置の第２の実施形態を
示すブロック図であって、７ｉは探索ポイントカウン
タ、７ｊは探索範囲判定結果保持部であり、図２に対応
する部分には同一符号をつけて重複する説明を省略す
る。この実施形態も、図１におけるＭＥ部７として用い
ることができる。

【００７７】同図において、ＭＥブロック７は、全探索
モードと狭探索モードの２つのモードを有しており、狭
探索モードは５つの探索ポイント（探索範囲）がある。

【００７８】図９はこのＭＥブロック７の探索範囲を示
すものであって、同図（ａ）はＰピクチャ符号化時の探
索範囲を、同図（ｂ）はＢピクチャ符号化時の探索範囲
を夫々示している。

【００７９】図９(ａ)において、Ｐピクチャ符号化時の
全探索モードでの探索範囲は、(イ）として示すよう
に、水平−５６〜＋５６画素，垂直−２０〜＋２０画素
（マクロブロックＭＢに対応する位置での１６×１６画
素の領域も含めて水平１２８画素×垂直５６画素の大き
さ）の非常に広い探索範囲ＳＰ₁であり、同じく狭探索
モード時での探索範囲は、（ロ）として示すように、水
平−２４〜＋２４画素，垂直−６〜＋６画素（マクロブ
ロックＭＢに対応する位置での１６×１６画素の領域も
含めて水平６４画素×垂直２８画素)の探索ポイントが
(１，１）の狭い探索範囲ＳＰ₂₁である。この狭探索モ
ードでは、この探索範囲ＳＰ₂₁の他に、(ハ)として示す
ように、広い探索範囲ＳＰ₁に対し、左半部の中央部の
探索ポイントを(０，１)とする探索範囲ＳＰ₂₂と、中央
部の上半部の探索ポイントを(１，０)する狭い探索範囲
ＳＰ₂₃と、右半部の中央部の探索ポイントを(２，１)と
する狭い探索範囲ＳＰ₂₄と、中央部の下半部の探索ポイ
ントを(１，２)とする狭い探索範囲ＳＰ₂₅との４個もあ
り、これら５個の探索範囲ＳＰ₂₁〜ＳＰ₂₅は水平，垂直
で同じ画素数の範囲である。

【００８０】図９(ｂ)において、Ｂピクチャ符号化時の
全探索モードでの探索範囲は、(イ）として示すよう
に、水平−２９〜＋２９画素，垂直−２０〜＋２０画素
(マクロブロックＭＢに対応する位置での１６×１６画
素の領域も含めて水平６４画素×垂直５６画素)の広い
探索範囲ＳＢ₁であり、狭探索モード時の探索範囲は水
平−８〜＋８画素，垂直−６〜＋６画素（マクロブロッ
クＭＢに対応する位置での１６×１６画素の領域も含め
て水平３２画素×垂直２８画素）の非常に狭い探索範囲
である。この狭探索モードでの探索範囲は、全探索モー
ドでの探索範囲ＳＢ₁に対する位置関係及び探索ポイン
トがＰピクチャ符号化時の狭探索モード時と同様であっ
て、(ロ),(ハ) として示すように、５個の探索範囲ＳＢ
₂₁，ＳＢ₂₂，ＳＢ₂₃，ＳＢ₂₄，ＳＢ₂₅がある。

【００８１】まず、図８において、ＭＥブロック７が全
探索モードで動作している場合について説明する。

【００８２】探索ポイントカウンタ７ｉ内には、狭探索
モードの各探索ポイントに夫々１つずつカウンタが設け
られており、各探索ポイントに入る動きベクトルの発生
数を夫々のカウンタでカウントしておき、各探索ポイン
トの計数結果Ｓ₉をピクチャ単位でＣＰＵＩＦブロック
８を通してＣＰＵブロック４にレポートする。

【００８３】ＭＰＥＧ２方式では、ピクチャとしてフィ
ールドピクチャとフレームピクチャの２種類があるが、
フレームピクチャの場合には、フレーム動きベクトルと
フィールド動きベクトルの２種類の動きベクトルがあ
る。このため、動きベクトル検出部７ｃでフィールド動
きベクトルが検出された場合、探索ポイントカウンタ７
ｉはこれをフレーム動きベクトルに変換してカウントす
る。

【００８４】また、Ｂピクチャの場合、前方向動きベク
トルと後方向動きベクトルとがあるが、後方向動きベク
トルは探索範囲の中心に関して対称となる位置の探索ポ
イントに入るものとして加算される。例えば、探索ポイ
ント（０，１）に後方向動きベクトルが検出されると、
探索範囲の中心に関してこの探索ポイント（０，１）と
は対称な位置の探索ポイント（２，１）のカウンタに加
算する。

【００８５】さらに、探索ポイントが重なっている領域
で動きベクトルが検出された場合には、その動きベクト
ルが属する全ての探索ポイントのカウンタで重複してカ
ウントする。

【００８６】次に、ＣＰＵブロック４における探索モー
ドの判定処理について説明する。

【００８７】斜め方向の動きベクトル発生頻度が高い場
合（どの探索ポイントにも属さない動きベクトルが多
い）には、次のピクチャを全探索モードのピクチャとす
る。いずれかの探索ポイントで動きベクトル発生頻度が
事前に設定されたた閾値以上であれば、次のピクチャを
狭探索モードとしてもよいが、むやみに狭探索モードへ
遷移することを防ぐために、過去の連続する数個のピク
チャでの判定結果を保存しておき、該当する狭探索ポイ
ントが判定された割合が一定以上であれば、狭探索モー
ドへ遷移する。このとき、複数の探索ポイントで同一の
発生頻度であれば、探索ポイント（１，１）が最も優先
度が高く、以下（０，１）、（２，１）、（１，０）、
（１，２）の順で優先度が低くなる。

【００８８】以上の判定によって狭探索モードへの遷移
が決定すると、次のピクチャでは、狭探索モードとし、
探索ポイントは最も動きベクトル発生頻度の高かった探
索ポイントとする。この結果は、ＣＰＵＩＦブロック
８を通し、探索範囲選択信号Ｓ₈としてＭＥブロック７
の判定結果保持部７ｊに供給される。判定結果保持部７
ｊは、この探索範囲選択信号Ｓ₈を適切なタイミングで
保持し、探索範囲信号Ｓ₇として参照バッファ７ｂ，動
きベクトル検出部７ｃ及び参照画像読出アドレス発生部
７ｄに供給する。次のピクチャでは、参照画像読出アド
レス発生部７ｄは、探索範囲信号Ｓ₇ で指定された探索
ポイントを読み出し、動きベクトル検出部７ｃは探索範
囲信号Ｓ７で指定された探索ポイントのみを探索する。

【００８９】ＭＥブロック７が狭探索モードで動作して
いるときに、図２に示したＭＥ７と同様、シーンの切り
替えなどで入力画像と参照画像との相関が低くなった
り、パンの方向が変化したりして、動きベクトルＭＶの
集中する場所が探索範囲からはずれてしまう場合、全探
索モードへの復帰が必要である。ここで、１ピクチャ中
の同じ水平方向の配列での左端のマクロブロックＭＢか
ら右端のマクロブロックＭＢまでのマクロブロックＭＢ
の列をマクロブロックＭＢラインというとすると、全探
索モードへの復帰を判定するために、予めいくつかのマ
クロブロックＭＢラインでは、全探索モードで動きベク
トルを検出することにしておき（以下、かかるマクロブ
ロックＭＢラインを全探索マクロブロックＭＢラインと
いう）、狭探索モードの各探索ポイント内の動きベクト
ル発生数をカウントする。ＣＰＵブロック４は全探索マ
クロブロックＭＢラインであることを判断し、狭探索モ
ードが判定されていても、そのマクロブロックＭＢライ
ンでは、判定結果保持部７ｊに対して全探索モードを指
定する。これにより、このマクロブロックＭＢラインで
は、ＭＥブロック７が全探索モードで動作する。

【００９０】探索ポイントカウンタ７ｉは、全探索マク
ロブロックＭＢラインで、各探索ポイントに入る動きベ
クトルの発生数をマクロブロックＭＢライン単位でカウ
ントし、その結果を探索ポイント計数結果Ｓ₉としてＣ
ＰＵプロック４にレポートする。ＣＰＵブロック４は、
探索ポイント計数結果Ｓ₉を受け取り、現ピクチャで指
定された探索ポイントでの動きベクトル発生数が閾値以
上であれば、引き続き狭探索モードで同じ探索ポイント
での動きベクトル探索を指定する。それ以外であれば、
現ピクチャ内の次のマクロブロックＭＢラインからは、
全探索モードで動きベクトルの探索を指定する。ピクチ
ャ内での狭探索モードでの探索ポイントの変更や全探索
モードから狭探索モードへの変更は、画質に与える影響
が大きいので、行なわない。

【００９１】また、ＣＰＵブロック４は、ＪＵＤＧＥブ
ロック１０（図２）からのイントラ/ノンイントラＭＢ
の判定結果を受け取っており、全探索マクロブロックＭ
Ｂライン以外であっても、マクロブロックＭＢライン単
位でイントラＭＢの割合が多くなった場合、次のマクロ
ブロックＭＢラインから全探索モードへ復帰させる。

【００９２】なお、この実施形態では、狭探索モードで
の探索ポイント（狭探索ポイント：狭い探索範囲）を５
個としたが、探索ポイントの個数は、これに限らず、５
個よりも多くてもよいし、少なくてもよい。

【００９３】また、この実施形態では、狭探索ポイント
を互いに一部が重なるように設定したが、広い探索範囲
を複数の領域に区切り、区切られた夫々の領域を狭探索
ポイントとしてもよい。

【００９４】さらに、この実施形態では、１回の探索で
使用できる狭探索ポイントは１つであったが、複数の狭
探索ポイントで探索するようにしてもよい。

【００９５】さらにまた、この実施形態では、各探索ポ
イントに入る動きベクトルの発生数をカウントしてお
き、そのカウント値が高い狭探索ポイントを選択するも
のであったが、カウント値が低い狭探索ポイントでの動
きベクトルの探索を行なわないというアルゴリズムも考
えられる。

【００９６】上記の例をいくつか組み合わせて、例え
ば、全探索モードの探索範囲を４×４＝１６個の領域に
分割し、夫々を狭探索ポイントとする。各狭探索ポイン
トでの動きベクトルの発生数をカウントしておき、動き
ベクトルの９５％以上が含まれるように狭探索ポイント
を複数個選び、それを次からの動き推定に用いるといっ
た実施形態も考えられる。

【００９７】図１０は本発明によるディジタル画像符号
化装置の携帯型ビデオカメラへの一応用例を示すブロッ
ク図である。１８はＭＰＥＧ２エンコーダ（本発明によ
るディジタル画像符号化装置）、１９は撮像部、２０は
手ぶれ補正部、２１はパン検出センサ、２２はＣＰＵブ
ロック、２３ａは磁気テープによる記録部、２３ｂは固
定ディスク装置による記録部、２４はＣＰＵバスであ
る。

【００９８】同図において、携帯型の電気機器では、機
器の電力供給を電池に頼るため、低消費電力化による電
池寿命の増加が必要である。また、携帯型のビデオカメ
ラでは、従来の携帯型ビデオカメラで多く採用されてい
るように、パン検出センサ８０３を用いて画像のパンを
検出し、この検出結果に応じて画像の手ぶれを補正する
ようにしている。

【００９９】パン検出センサ２１は、撮像部１９の出力
画像信号からパンの情報を検出し、手ぶれ補正ブロック
２０とＣＰＵブロック２２とに供給する。なお、パン検
出センサ２１としては、ジャイロや加速度センサなどを
内蔵し、これらによってパン情報を検出するようにして
もよい。手ぶれ補正ブロック２０は、このパン情報をも
とに画像信号の手ぶれによる影響を補正し、手ぶれが補
正された画像信号はＭＰＥＧ２エンコーダ１８に供給さ
れる。ＭＰＥＧ２エンコーダ１８で符号化された画像情
報は、記録部２３ａもしくは２３ｂに記録される。

【０１００】なお、このＭＰＥＧ２エンコーダ１８は、
図１におけるＭＰＥＧ２符号化装置２とＳＤＲＡＭブロ
ック３とからなるものである。

【０１０１】一方、パン検出センサ２１からのパン情報
はＣＰＵブロック２２で解析されて、ＭＰＥＧ２エンコ
ーダ１８におけるＭＥブロック７（図１）での適切な探
索範囲のオフセット値が計算され、その計算値がＣＰＵ
バス２４を介してＭＰＥＧ２エンコーダ１８に供給され
る。これにより、ＭＰＥＧ２エンコーダ１８では、パン
に対応した適切な動きベクトルを検出することができ
る。

【０１０２】また、ＣＰＵブロック２２は、ＭＰＥＧ２
エンコーダ１８からのデータをＣＰＵバス２４を介して
取り込んで計算し、この計算結果に応じてＭＰＥＧ２エ
ンコーダ１８での動きベクトルの探索範囲の制限を指定
する。これにより、システム全体の低消費電力化が図れ
る。さらに、電池の残り容量不足などの理由によって緊
急に消費電力を押さえたいときには、ＣＰＵブロック２
２が探索範囲を制限したままにすることにより、さらな
る低消費電力化が図れる。

【０１０３】図１１は本発明によるディジタル画像符号
化装置の遠隔操作自動カメラへの一応用例を示すブロッ
ク図であって、２５は運台、２６はカメラ、２７，２８
は伝送部、２９は制御部、３０は伝送線であり、図１０
に対応する部分には同一符号をつけて重複する説明を省
略する。

【０１０４】同図において、カメラ２６の遠隔操作を行
なう場合、このカメラ２６で撮影して得られる映像信号
を制御部２９に供給しなければならない。しかし、伝送
路３０の帯域が狭いなどの理由により、カメラ２６から
出力される画像データＰＤをそのままでは伝送しきれな
い場合がある。この応用例では、カメラ２６の出力画像
データＰＤを、一旦、ＭＰＥＧ２エンコーダ１８に供給
することにより、符号化してその情報量を圧縮し、しか
る後、伝送部２７で伝送路３０での伝送に適した信号形
態に変換して伝送路３０を伝送し、伝送部２８でもとの
信号形態に変換して制御部２９に供給され、復号されて
映像が再生されるものである。このようにして、ＭＰＥ
Ｇ２エンコーダ１８は、画像データＰＤをこれより狭い
帯域の伝送路３０で伝送するのに有効である。

【０１０５】この応用例では、制御部２９からのカメラ
操作信号ＣＯが伝送部２８で処理されて伝送路３０を伝
送され、伝送部２７で処理されてカメラ操作信号ＣＯ'
として雲台２５に供給される。これにより、制御部２９
からカメラ２６の方向を制御することができる。

【０１０６】ここで、カメラ操作信号ＣＯ'をＣＰＵブ
ロック２２で解析され、カメラ２６がどのように動く
か、予め計算される。この場合、カメラ２６の動きとカ
メラ２６のレンズの焦点距離とにより、前ピクチャから
現ピクチャまでどのくらいの画素数分パンしたかを計算
でき、その計算結果をもとに、ＭＰＥＧ２エンコーダ１
８での探索範囲の適切なオフセットを計算してこれをＭ
ＰＥＧ２エンコーダ１８に設定することができる。これ
により、ＭＰＥＧ２エンコーダ１８では、パンに対応し
た適切な動きベクトルを検出することができる。

【０１０７】なお、以上の説明では、主にＭＰＥＧ２符
号化装置についてであったが、例えば、ＭＰＥＧ１や
Ｈ.２６３のような他の規格に対応したディジタル画像
符号化装置や携帯型ビデオカメラの手ぶれ補正装置のパ
ン検出装置など、動き推定装置を用いる装置にも同様に
本発明を適用することができる。

【０１０８】

【発明の効果】以上説明したように、本発明によれば、
動きベクトルの探索範囲を狭く制限モードと該探索範囲
にオフセットをつける機能を設け、過去のベクトル探索
の結果をもとにオフセット値と探索範囲とを操作するも
のであるから、画質の劣化を最小限に押さえたまま電力
消費の多くを占めるＭＥ演算量を削減することができ、
この結果、ＭＰＥＧ２符号化装置全体の消費電力を低減
することができる。

【０１０９】また、本発明によれば、外部のパン検出装
置による動き推定の最適化については、オフセット値と
探索範囲を外部ＣＰＵによって設定することにより、外
部で検出されるパンに応じた動き推定の最適化が可能と
なる。

【図面の簡単な説明】

【図１】本発明による動きベクトル検出装置及びそれを
用いたディジタル画像符号化装置の第１の実施形態を示
すブロック図である。

【図２】図１に示したＭＰＥＧ２符号化装置でＭＥブロ
ックとして用いる本発明による動きベクトル検出装置の
第１の実施形態を示すブロック図である。

【図３】符号化画像と参照画像との相関が低い場合の動
きベクトルの分布図である。

【図４】符号化画像と参照画像との相関が高い場合の動
きベクトルの分布図である。

【図５】符号化画像と参照画像との相関が高い場合の探
索範囲の制限とオフセットの説明図である。

【図６】探索範囲が制限された状態で符号化画像と参照
画像との相関が低い場合の説明図である。

【図７】図１に示した第１の実施形態における動きベク
トルのスケーリングの説明図である。

【図８】図１に示したディジタル画像符号化装置にＭＥ
ブロックとして使用可能な動きベクトル検出装置の第２
の実施形態を示すブロック図である。

【図９】図８に示した実施形態における動きベクトル検
出のための探索範囲の説明図である。

【図１０】本発明によるディジタル画像符号化装置の一
応用例を示すブロック図である。

【図１１】本発明によるディジタル画像符号化装置の他
の応用例を示すブロック図である。

【符号の説明】

１画像データの入力端子２ＭＰＥＧ２符号化装置３ＳＤＲＡＭ４ＣＰＵブロック５ビットストリームの出力端子６ＶＩＤＥＯプロック７ＭＥブロック７ａ入力画像バッファ７ｂ参照画像バッファ７ｃ動きベクトル検出部７ｄ参照画像読出アドレス発生部７ｅ値保持部、７ｆ判定計数部７ｇ平均値算出部７ｈ分散値算出部７ｉ探索ポイントカウンタ７ｊ判定結果保持部８ＣＰＵＩＦブロック９ＭＣブロック１０ＪＵＤＧＥブロック１１ＤＣＴ／ＩＤＣＴブロック１２Ｑ／ＩＱブロック１３ＲＡＴＥブロック１４ＶＬＣブロック１５ＣＯＤＥブロック１６ＳＤＲＡＭアドレスバス１７ＳＤＲＡＭデータバス１８ＭＰＥＧ２エンコーダ１９撮像部２０手ぶれ補正部２１パン検出センサ２２ＣＰＵ２３ａ，２３ｂ記録部２５雲台２６カメラ２９制御部３０伝送路

───────────────────────────────────────────────────── フロントページの続き (72)発明者本巣聰神奈川県横浜市戸塚区吉田町292番地株式会社日立製作所マルチメディアシステム開発本部内 (72)発明者小堀智生神奈川県横浜市戸塚区吉田町292番地株式会社日立製作所マルチメディアシステム開発本部内

Claims

【特許請求の範囲】

【請求項１】動画像を圧縮符号化するディジタル画像
符号化装置であって、該動画像の画像データを入力する入力手段と、参照画像の画像データを蓄積するための蓄積手段と、該入力手段から入力される該動画の画像データ毎に動き
ベクトルの探索範囲が設定され、設定された探索範囲で
の該参照画像の画像データを該蓄積手段から読み取り、
該探索範囲の該画像データを用いて入力された該動画の
画像データに対する動きベクトルを検出する動きベクト
ル検出手段と、該動きベクトル検出手段で検出された該動きベクトルを
用いて、該動きベクトルに対応する入力された該動画象
の画像データを符号化する符号化手段と、該動きベクトル検出手段に設定される該探索範囲の大き
さを可変とする制御手段とを備えたことを特徴とするデ
ィジタル画像符号化装置。
【請求項２】請求項１において、前記動きベクトル検出手段は、前記蓄積手段での前記参照画像の画像データの読出しの
ためのアドレス信号を発生する参照画像読出アドレス発
生手段と、該アドレス信号に応じて前記蓄積手段から読み出された
前記参照画像の画像データを蓄積し、前記探索範囲の画
像データを保持する参照画像バッファ手段と、前記入力手段からの前記動画像の画像データを蓄積する
入力画像バッファ手段と、該参照画像バッファ手段に蓄積された前記参照画像の画
像データと該入力画像バッファ手段に蓄積された前記動
画像の画像データとが供給され、前記探索範囲内で、前
記参照画像の画像データと前記動画像の入力画像データ
との相対位置を変化させつつ、夫々の相対的な位置関係
毎に前記参照画像の画像データと前記動画像の画像デー
タとの間で予測誤差を算出して、該予測誤差が最小とな
る前記参照画像の画像データと前記動画像の画像データ
との位置関係を検出し、検出した該予測誤差が最小とな
る該位置関係を表わす動きベクトルを生成，出力する画
像位置検出手段とを有し、前記制御手段は、前記画像位置検出手段によって検出された前記参照画像
の画像データと前記入力された動画像の画像データとの
間の相対位置と該相対位置に応じた情報を用いて前記探
索範囲の大きさを決定し、前記符号化手段からの符号化
が行われたか否かを示すの情報に応じて、決定した該大
きさを指定する前記制御信号を出力する参照範囲制御手
段を有することを特徴とするディジタル画像符号化装
置。
【請求項３】入力手段から動画像の入力画像データが
所望のブロック単位で入力され、該所望のブロック単位
の入力画像データ毎に、探索範囲の参照画像の画像デー
タを用いて動きベクトルを検出する動きベクトル検出装
置において、参照画像の画像データを蓄積する蓄積手段と、該蓄積手段での該参照画像の画像データを読み出す領域
を指定するアドレス信号を発生するアドレス発生手段
と、該蓄積手段から読み出された該参照画像の画像データが
書き込まれ、該探索範囲の参照画像の画像データを記憶
する参照画像バッファ手段と、該所望のブロック単位の入力画像データを記憶する入力
画像バッファ手段と、該参照画像バッファ手段から該探索範囲の参照画像の画
像データを、該入力画像バッファ手段から該所望のブロ
ック単位の入力画像データを夫々読み取り、該探索範囲
内で該参照画像の画像データと該所望のブロック単位の
入力画像データとの相対位置関係を順次変化させなが
ら、夫々の該相対位置関係毎に該参照画像の画像データ
と該所望のブロック単位の入力画像データとの予測誤差
を算出して、該予測誤差が最小となる該相対位置関係を
検出し、検出した該相対位置関係を表わし該所望のブロ
ック単位の入力画像データの符号化のための動きベクト
ルを生成，出力する動きベクトル検出部と、該動きベクトル検出部で検出される該相対位置関係毎の
該予測誤差の分布と、該動きベクトルが該所望のブロッ
ク単位の入力画像データの符号化に使用されたか否かを
示す情報とに応じて該探索範囲の大きさを指定する制御
信号を生成する探索範囲制御手段とを備え、該動きベク
トル検出部で設定される該探索範囲の大きさを該制御信
号に応じて可変とすることを特徴とする動きベクトル検
出装置。
【請求項４】請求項３において、前記動きベクトル検出部は、前記参照画像を上下左右に
移動する範囲として、広い範囲と狭い範囲との２種類の
動作方式を持ち、該狭い範囲での探索位置が複数である
ことを特徴とする動きベクトル検出装置。
【請求項５】請求項４において、前記狭い範囲での前記参照画像位置の検出から前記広い
範囲での前記参照画像位置の検出へと遷移するために、
予め設定されていた場合には、無条件で広い範囲での前
記参照画像位置の検出を行ない、前記設定された位置で
の前記参照画像位置の検出が妥当であるか否かを判断す
ることを特徴とする動きベクトル検出装置。
【請求項６】請求項４において、前記探索範囲が狭い範囲であるとき、前記探索範囲制御
手段は、前記動きベクトル検出部で検出される前記相対
位置関係毎の前記予測誤差の分布の偏り位置に応じて、
前記探索範囲の位置にオフセットを設定することを特徴
とする動きベクトル検出装置。