[go: up one dir, main page]

JPH05268594A - 動画像の動き検出装置 - Google Patents

動画像の動き検出装置

Info

Publication number
JPH05268594A
JPH05268594A JP9141992A JP9141992A JPH05268594A JP H05268594 A JPH05268594 A JP H05268594A JP 9141992 A JP9141992 A JP 9141992A JP 9141992 A JP9141992 A JP 9141992A JP H05268594 A JPH05268594 A JP H05268594A
Authority
JP
Japan
Prior art keywords
image
picture
motion
data
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP9141992A
Other languages
English (en)
Inventor
Katsuji Igarashi
勝治 五十嵐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP9141992A priority Critical patent/JPH05268594A/ja
Priority to US08/033,144 priority patent/US5416522A/en
Priority to EP19930104382 priority patent/EP0561392B1/en
Priority to DE69328747T priority patent/DE69328747T2/de
Publication of JPH05268594A publication Critical patent/JPH05268594A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【構成】 ピクチャ間の対応する位置のマッチ度を検出
するブロックマッチングによりブロックの動きを検出す
るものであって、マッチングを行うマクロブロック間の
動きベクトル及び動き角度を考慮して対応する各位置を
計算する計算手段とこの計算手段による各位置に対して
絶対値差分和を求めこれを累算する累算手段とを有する
各積算器１２及び、マクロブロック単位で各積算器１２
の出力を集めこれらのうちの最小値を判別する判別回路
１３を備えてなる。 【効果】 動きベクトルのみならず動き角度をも検出す
ることができ、例えば画像符号化及び復号化装置に適用
することで、平行移動するだけでなく動き角度も変わる
画像に対して有効な動き補償を行うことが可能となる。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、いわゆるブロックマッ
チングによりブロック画像の動き検出を行う動き検出装
置に関するものである。
【０００２】
【従来の技術】画像信号を高能率符号化する方式とし
て、例えば、ＭＰＥＧ（Moving PictureExperts Grou
p）による標準化案では、いわゆるディジタルストレー
ジメディア用の画像信号の高能率符号化方式が規定され
ている。ここで、当該方式で対象としているストレージ
メディアは、いわゆるＣＤ（コンパクトディスク）やＤ
ＡＴ（ディジタルオーディオテープ），ハードディスク
等のように、連続的な転送速度が約１．５Ｍbit/sec 以
下のものである。また、これは、直接復号器に接続され
るだけでなく、コンピュータのバス，ＬＡＮ（ローカル
・エリア・ネットワーク），テレコミュニケーション等
の伝送媒体を介して接続されることも想定されており、
更に、正順再生だけでなく、ランダムアクセスや高速再
生、逆順再生等のような特殊機能についても考慮されて
いる。
【０００３】上記ＭＰＥＧによる画像信号の高能率符号
化方式の原理は、以下に示すようなものである。
【０００４】すなわち、この高能率符号化方式では、先
ず、画像間の差分を取ることで時間軸方向の冗長度を落
とし、その後、いわゆる離散コサイン変換（ＤＣＴ）処
理と可変長符号とを使用して空間軸方向の冗長度を落と
すようにしている。
【０００５】上記時間軸方向の冗長度について以下に述
べる。
【０００６】一般に、連続した動画では、時間的に前後
の画像と、ある注目している画像（すなわちある時刻の
画像）とは良く似ているものである。このため、例え
ば、図９に示すように、今から符号化しようとしている
画像と、時間的に前方の画像との差分を取り、その差分
を伝送するようにすれば、時間軸方向の冗長度を減らし
て伝送する情報量を少なくすることが可能となる。この
ようにして符号化される画像は、後述する前方予測符号
化画像（Predictive-coded picture、Ｐピクチャ或いは
Ｐフレーム）と呼ばれる。同様に、上記今から符号化し
ようとしている画像と、時間的に前方或いは後方若しく
は、前方及び後方から作られた補間画像との差分をと
り、それらのうち小さな値の差分を伝送するようにすれ
ば、時間軸方向の冗長度を減らして伝送する情報量を少
なくすることが可能となる。このようにして符号化され
る画像は、後述する両方向予測符号化画像（Bidirectio
nallyPredictive-coded picture、Ｂピクチャ或いはＢ
フレーム）と呼ばれる。なお、この図９において、図中
Ｉで示す画像は後述する画像内符号化画像（イントラ符
号化画像：Intra-coded picture 、Ｉピクチャ或いはＩ
フレーム）を示し、図中Ｐで示す画像は上記Ｐピクチャ
を示し、図中Ｂで示す画像は上記Ｂピクチャを示してい
る。
【０００７】また、各予測画像を作るためには、いわゆ
る動き補償が行われる。すなわちこの動き補償によれ
ば、例えば８×８画素の単位ブロックにより構成される
例えば１６×１６画素のブロック（以下マクロブロック
と呼ぶ）を作り、前画像の当該マクロブロックの位置の
近傍で一番差分の少ないところを探索し、この探索され
たマクロブロックとの差分をとることにより、送らなけ
ればならないデータを削減することができる。実際に
は、例えば、上記Ｐピクチャ（前方予測符号化画像）で
は、動き補償後の予測画と差分をとったものと、当該動
き補償後の予測画と差分をとらないものとのうち、デー
タ量の少ないものを上記１６×１６画素のマクロブロッ
ク単位で選択して符号化する。
【０００８】しかし、上述のような場合、例えば物体が
動いた後ろから出てきた部分（画像）に関しては、多く
のデータを送らなければならない。そこで、例えば上記
Ｂピクチャ（両方向予測符号化画像）では、既に復号化
された動き補償後の時間的に前方或いは後方の画像及
び、その両者を足して作った補間画像と上記今から符号
化しようとしている画像との差分と、当該差分を取らな
いものすなわち今から符号化しようとしている画像の四
者のうち、一番データ量の少ないものが符号化される。
【０００９】次に、上記空間軸方向の冗長度について以
下に述べる。
【００１０】画像データの差分は、そのまま伝送するの
ではなく、上記８×８画素の単位ブロック毎に離散コサ
イン変換（ＤＣＴ）をかける。当該ＤＣＴは、画像を画
素レベルでなく、コサイン関数のどの周波数成分がどれ
だけ含まれているかで表現するものであり、例えば２次
元ＤＣＴにより、８×８画素の単位ブロックのデータ
は、８×８のコサイン関数の成分の係数ブロックに変換
される。例えば、テレビカメラで撮影したような自然画
の画像信号は滑らかな信号になることが多く、この場
合、当該画像信号に対して上記ＤＣＴ処理を施すことに
より効率良くデータ量を落とすことができる。
【００１１】すなわち例えば、上述の自然画の画像信号
のような滑らかな信号の場合、上記ＤＣＴをかけること
により、ある係数の回りに大きな値が集中するようにな
る。この係数を量子化すると、上記８×８の係数ブロッ
クは殆どが０になり、大きな係数のみが残るようにな
る。そこで、この８×８の係数ブロックのデータを伝送
する際には、いわゆるジグザグスキャンの順で、非零係
数とその係数の前にどれだけ０が続いたかを示すいわゆ
る０ランを一組としたいわゆるハフマン符号で送るよう
にすることで、伝送量を減らすことが可能となる。ま
た、復号器側では、逆の手順で画像を再構成する。
【００１２】ここで、上述した符号化方式が取り扱うデ
ータの構造を図１０に示す。すなわち、この図１０に示
すデータ構造は、下から順に、ブロック層と、マクロブ
ロック層と、スライス層と、ピクチャ層と、グループオ
ブピクチャ（ＧＯＰ：Groupof Picture）層と、ビデオ
シーケンス層とからなる。以下、この図１０において下
の層から順に説明する。
【００１３】先ず、上記ブロック層において、当該ブロ
ック層のブロックは、輝度又は色差の隣合った８×８の
画素（８ライン×８画素の画素）から構成される。上述
したＤＣＴ（離散コサイン変換）は、この単位ブロック
毎にかけられる。
【００１４】上記マクロブロック層において、当該マク
ロブロック層のマクロブロックは、左右及び上下に隣合
った４つの輝度ブロック（輝度の単位ブロック）Ｙ0 ，
Ｙ1，Ｙ2 ，Ｙ3 と、画像上では上記輝度ブロックと同
じ位置に当たる色差ブロック（色差の単位ブロック）Ｃ
r ，Ｃb との全部で６個のブロックで構成される。これ
らブロックの伝送の順は、Ｙ0 ，Ｙ1 ，Ｙ2 ，Ｙ3 ，Ｃ
r ，Ｃb の順である。ここで、当該符号化方式におい
て、予測画（差分をとる基準の画像）に何を用いるか、
或いは差分を送らなくても良いか等は、このマクロブロ
ック単位で判断される。
【００１５】上記スライス層は、画像の走査順に連なる
１つ又は複数のマクロブロックで構成されている。この
スライスの頭（ヘッダ）では、画像内における動きベク
トル及びＤＣ（直流）成分の差分がリセットされ、ま
た、最初のマクロブロックは、画像内での位置を示すデ
ータを持っており、したがってエラーが起こった場合で
も復帰できるようになされている。そのため、上記スラ
イスの長さや始まる位置は任意となり、伝送路のエラー
状態によって変えられるようになっている。
【００１６】上記ピクチャ層において、ピクチャすなわ
ち１枚１枚の画像は、少なくとも１つ又は複数の上記ス
ライスから構成される。そして、それぞれが符号化の方
式にしたがって、上述のようなイントラ符号化画像（Ｉ
ピクチャ或いはＩフレーム），上記前方予測符号化画像
（Ｐピクチャ或いはＰフレーム），両方向予測符号化画
像（Ｂピクチャ或いはＢフレーム），ＤＣイントラ符号
化画像（DC coded (D)picture）の４種類の画像に分類
される。
【００１７】ここで、上記イントラ符号化画像（Ｉピク
チャ）においては、符号化される時に、その画像１枚の
中だけで閉じた情報のみを使用する。したがって、言い
換えれば、復号化する時にＩピクチャ自身の情報のみで
画像が再構成できることになる。実際には、差分を取ら
ずにそのままＤＣＴ処理して符号化を行う。この符号化
方式は、一般的に効率が悪いが、これを随所に入れてお
けば、ランダムアクセスや高速再生が可能となる。
【００１８】上記前方予測符号化画像（Ｐピクチャ）に
おいては、予測画像（差分をとる基準となる画像）とし
て、入力で時間的に前に位置し既に復号化されたＩピク
チャ又はＰピクチャを使用する。実際には、動き補償さ
れた予測画像との差を符号化するのと、差を取らずにそ
のまま符号化する（イントラ符号）のと何れか効率の良
い方を上記マクロブロック単位で選択する。
【００１９】上記両方向予測符号化画像（Ｂピクチャ）
においては、予測画像として時間的に前に位置し既に復
号化されたＩピクチャ又はＰピクチャ及び、その両方か
ら作られた補間画像の３種類を使用する。これにより、
上記３種類の動き補償後の差分の符号化とイントラ符号
との中で一番効率の良いものをマクロブロック単位で選
択できる。
【００２０】上記ＤＣイントラ符号化画像は、ＤＣＴの
ＤＣ係数のみで構成されるイントラ符号化画像であり、
他の３種の画像と同じシーケンスには存在できないもの
である。
【００２１】上記グループオブピクチャ（ＧＯＰ）層
は、１又は複数枚のＩピクチャと、０又は複数枚の非Ｉ
ピクチャとから構成されている。ここで、符号器への入
力順を、例えば、１Ｉ，２Ｂ，３Ｂ，４Ｐ＊５Ｂ，６
Ｂ，７Ｉ，８Ｂ，９Ｂ，１０Ｉ，１１Ｂ，１２Ｂ，１３
Ｐ，１４Ｂ，１５Ｂ，１６Ｐ＊１７Ｂ，１８Ｂ，１９
Ｉ，２０Ｂ，２１Ｂ，２２Ｐのようにした時、当該符号
器の出力すなわち復号器の入力は、例えば、１Ｉ，４
Ｐ，２Ｂ，３Ｂ＊７Ｉ，５Ｂ，６Ｂ，１０Ｉ，８Ｂ，９
Ｂ，１３Ｐ，１１Ｂ，１２Ｂ，１６Ｐ，１４Ｂ，１５Ｂ
＊１９Ｉ，１７Ｂ，１８Ｂ，２２Ｐ，２０Ｂ，２１Ｂと
なる。このように符号器の中で順序の入れ換えがなされ
るのは、例えば、上記Ｂピクチャを符号化又は復号化す
る場合には、その予測画像となる時間的には後方である
上記Ｉピクチャ又はＰピクチャが先に符号化されていな
くてはならないからである。ここで、上記Ｉピクチャの
間隔（例えば９）及び、Ｉピクチャ又はＢピクチャの間
隔（例えば３）は自由である。また、Ｉピクチャ又はＰ
ピクチャの間隔は、当該グループオブピクチャ層の内部
で変わってもよいものである。なお、グループオブピク
チャ層の切れ目は、上記＊で表されている。また、上記
ＩはＩピクチャ、上記ＰはＰピクチャ、上記ＢはＢピク
チャを示している。
【００２２】上記ビデオシーケンス層は、画像サイズ、
画像レート等が同じ１又は複数のグループオブピクチャ
層から構成される。
【００２３】
【発明が解決しようとする課題】上述したように、ＭＰ
ＥＧで標準化された動画像符号では、先ず、１枚の画像
をピクチャ内で圧縮した情報が送られ、次にこの画像を
動き補償した画像との差分が伝送される。
【００２４】更に、従来の動き補償においては、上記マ
クロブロック毎に１個の動きベクトルが伝送され、画像
復号器側では既に復号した画像を当該動きベクトルに基
づいて平行移動（動き補償）し、画像に対して差分量を
少なくすることによって、伝送情報を減らして能率良く
画像を伝送することを可能としている。
【００２５】しかし、例えば人間が腕を振り上げる画像
のように腕の位置のみならず角度まで変わってしまう動
きに対しては、上記動き補償は適切な予測画を作ること
ができずに差分量が増え、画質も劣化するようになる。
【００２６】そこで、本発明は、上述のような実情に鑑
みて提案されたものであり、動画像符号化及び復号化装
置に適用可能であり、この動画像符号化及び復号化装置
において平行移動するだけでなく動き角度も変わる画像
に対して有効な動き補償を行うことを可能となす動画像
の動き検出装置を提供することを目的とするものであ
る。
【００２７】
【課題を解決するための手段】本発明の動画像の動き検
出装置は、上述の目的を達成するために提案されたもの
であり、入力画像信号の１画面より小なる画素の２次元
配列であるブロックを単位とし、時間的に異なる画像信
号の間の対応する位置のマッチ度を検出するブロックマ
ッチングにより、該ブロックの動きを検出する動画像の
動き検出装置において、上記ブロックマッチングを行う
ブロック間の動きベクトル及び動き角度を考慮して上記
対応する各位置を計算する計算手段と、上記計算手段に
よる各位置に対して絶対値差分和を求めこれを累算する
累算手段と、ブロック単位で上記累算手段の出力を集め
これらのうちの最小値を判別する判別手段とを備えてな
るものである。
【００２８】言い換えれば、本発明の動き検出装置は、
入力画像信号の１画面より小なる画素の２次元配列であ
るブロックを単位として、対応する位置のマッチ度を検
出するブロックマッチングにより該ブロックの動きを検
出する動画像の動き検出装置において、上記ブロック毎
の動きベクトル及び動き角度を検出し、当該各動きベク
トル及び各動き角度に対する絶対値差分和を積算する積
算手段とを備えてなるものである。
【００２９】すなわち、本発明の動画像の動き検出装置
を動画像符号化装置に適用することで、当該動画像符号
化装置においては、上記動き検出装置で求めたブロック
毎の動きベクトル及び動き角度の情報に基づいて回転付
きの動き補償を行い、この動き補償による予測画を作
り、この予測画像と入力画像との差分を符号化すること
で、能率良く動画像の符号化が可能となる。
【００３０】
【作用】本発明の動画像の動き検出装置によれば、ブロ
ック毎の動きベクトルのみならず動き角度をも検出して
いるため、後の動画像符号化の際に動き角度の情報を用
いた動き補償が可能となり、したがって符号化の効率を
上げることができるようになる。
【００３１】
【実施例】以下、本発明の実施例を図面を参照しながら
説明する。
【００３２】本実施例の動画像の動き検出装置は、図１
に示すように、入力画像信号の１画面より小なる画素の
２次元配列であるマクロブロックを単位とし、時間的に
異なる画像信号の間（ピクチャ間）の対応する位置のマ
ッチ度を検出するブロックマッチングにより、該ブロッ
クの動きを検出する動画像の動き検出装置であって、上
記ブロックマッチングを行うマクロブロック間の動きベ
クトル及び動き角度を考慮して上記対応する各位置を計
算する計算手段と上記計算手段による各位置に対して絶
対値差分和を求めこれを累算する累算手段とを有する各
積算器１２及び、上記マクロブロック単位で上記各積算
器１２の出力を集めこれらのうちの最小値を判別する判
別回路１３を備えてなるものである。
【００３３】この図１において、入力端子１０を介した
上記入力画像信号は、遅延レジスタ１１に送られる。
【００３４】ここで、本実施例において、上記ブロック
マッチングの捜索範囲を例えば±Ｋピクセル（画素）分
の範囲とし、マクロブロックの大きさを例えばＬ×Ｌピ
クセルとすると、上記遅延レジスタ１１のタップは、Ｃ
（−Ｍ，−Ｍ）〜Ｃ（Ｍ，Ｍ）個必要となる。ただし、
Ｍ＝（Ｋ×２1/2 ／２）×（Ｌ−１）である。
【００３５】本実施例では、上記マクロブロックを４×
４ピクセルとし、上記捜索範囲を当該マクロブロックに
対して例えば水平方向に±３ピクセル，垂直方向±３ピ
クセル分の範囲としている。したがって、上記捜索範囲
は±５ピクセルで、上記遅延レジスタ１１のタップは、
Ｃ（−５，−５）〜Ｃ（５，５）個となる。なお、この
４×４ピクセルのマクロブロック内の位置（Ｘ，Ｙ）
は、図２に示すようになる。
【００３６】また、本実施例では、上記ブロックマッチ
ングを例えばフレーム間の画像（ピクチャ）で行うよう
にしている。
【００３７】この例において、上記遅延レジスタ１１
は、具体的には、図３に示すように構成されることにな
る。すなわち、この図３に示す遅延レジスタ１１は、１
フレーム分入力データを遅延させるフレームメモリ２
と、５水平走査ライン（５Ｈ）分の遅延回路６と、１ラ
イン分の画素数より１１画素分少ない遅延（Ｈ−１１）
を行う遅延回路４と、１画素分の遅延回路（レジスタ）
３とから構成されるものである。なお、上記レジスタ３
の１１個と上記遅延回路４との組合せにより１ライン分
の遅延が可能となる。
【００３８】この図３において、上記入力端子１０から
の入力画像信号（画像データ）は、上記５水平走査ライ
ン（５Ｈ）分の遅延回路６と上記フレームメモリ２とに
送られる。上記遅延回路６以降の構成は、Ｍライン＋
（Ｍ＋１）ピクセルの遅延すなわち５ライン＋６ピクセ
ルの遅延を行う構成であり、具体的には、上記５水平走
査ライン（５Ｈ）分の遅延回路６を介した信号は６個の
上記１画素分のレジスタ３を介した後、端子２１から取
り出される。この端子２１から取り出されるデータＲ
は、ブロックマッチングを行う際の現ピクチャのマクロ
ブロックの中心位置が上記捜索範囲内の５ライン×６ピ
クセルの位置と考える時、前ピクチャ（１フレーム前の
画像）の同じ位置のマクロブロックの中心位置のデータ
である。言い換えると、現ピクチャのマクロブロックの
中心位置が上記捜索範囲の５ライン×６ピクセルの位置
と考える時、前ピクチャの同じ位置を中心にしたマクロ
ブロックを含む捜索範囲内の全てのマクロブロックの領
域がブロックマッチングにおける比較される対称とな
る。
【００３９】また、上記フレームメモリ２を介したデー
タは、上記遅延回路６へ入力するデータに対して１フレ
ーム遅延されたデータ（前ピクチャのデータ）である。
ここで、図３に示すように、上記フレームメモリ２の後
段の構成は、１１段のレジスタ３と（Ｈ−１１）の遅延
回路４とが直列接続されているので、上記フレームメモ
リ２を介した直後のデータから５ラインと６画素分遅延
したＣ（０，０）のタップのデータが、上記端子２１の
データＲに対して１フレームの時間差を有することにな
る。
【００４０】この図３においては、入力端子１０には、
通常の画像信号と同様に水平走査したデータ列が来るの
で、各タップには、現ピクチャの上記データＲに対して
前ピクチャの各画素データが得られるようになる。すな
わち、画像が入力されると、データＲとＣ(i,j) のデー
タには１ピクチャ＋ｊライン＋１ピクセルの遅延差がで
きる。例えば、Ｃ（１，０）には、Ｃ（０，０）すなわ
ちデータＲに対応する画素よりも水平に１画素分古いデ
ータが出るようになる。
【００４１】ここで、動きベクトルを求めるためには、
上記図３の各タップのデータＣ（ｉ，ｊ）と上記データ
Ｒとの差分絶対値を取り、この差分絶対値を上記マクロ
ブロック分集めて（累算して）、その最小値を求める処
理を行う。
【００４２】また、動き角度を求める場合には、下記の
式を用いて求められた位置（ｉ，ｊ）に対応するタップ
のデータＣ（ｉ，ｊ）と上記データＲとの差分絶対値を
取り、この差分絶対値を上記マクロブロック分集めてそ
の最小値を求める処理を行う。
【００４３】 ｉ＝Ｖx ＋Ｘ cosθ−Ｙ sinθ (1) ｊ＝Ｖy ＋Ｘ sinθ＋Ｙ cosθ (2)
【００４４】なお、上記式(1),(2) 中のθは動き角度、
（Ｖx ，Ｖy ）は動きベクトル、（Ｘ，Ｙ）はマクロブ
ロック内のピクセルの位置である。
【００４５】すなわち、上記マクロブロック分の累算が
終わった後に、この累算量が最小となった動き（Ｖx ，
Ｖy ，θ）が、上記動きベクトル及び動き角度の求めら
れた解（解ベクトル）である。
【００４６】このようなことを行うため、上記図１の遅
延レジスタ１１の後段に設けられる各積算器１２は図４
の如く構成され、判定回路１３は図５の如く構成され
る。
【００４７】ここで、本実施例において、例えば、上記
マクロブロック数をｋ個とし、動きベクトルのＸ成分Ｖ
ｘをｈ個とし、動きベクトルのＹ成分Ｖｙをｍ個とし、
動き角度θのサンプル数をｎ個とした時、上記図４（図
１）の積算器１２は、ｋ×ｈ×ｍ×ｎ個用意される。ま
た、この場合の上記図１の判定回路１３は、上記マクロ
ブロック数に対応してｋ個用意される。
【００４８】上記図４において、本実施例の各積算器１
２は、上記ブロックマッチングを行うマクロブロック間
の動きベクトル及び動き角度を考慮して上記対応する各
位置を計算する計算手段である計算回路２２と、上記計
算回路２２による各位置に対して絶対値差分和を求めこ
れを累算する累算手段である引算器２４，切換スイッチ
２５，絶対値（ＡＢＳ）化回路２６，加算器２７及びレ
ジスタ（メモリ）２８とからなるアキュムレータ（累加
算器）とを備えてなるものである。
【００４９】すなわちこの図４において、各積算器１２
の各端子２０には、それぞれ上記図３の各タップからの
データＣ（−５，−５），Ｃ（−５，−４），Ｃ（−
５，−３），・・・，Ｃ（５，５）が供給され、端子２
１には上記データＲが供給される。上記各端子２０に供
給された各データは、セレクタ２３に送られる。
【００５０】また、上記計算回路２２では、上記動きベ
クトル及び動き角度を考慮した上記捜索範囲内の例えば
全て（間引いてもよい）の画素の位置を表す（ｉ，ｊ）
を計算し、この計算により求められた（ｉ，ｊ）の位置
に対応して、上記セレクタ２３に供給される上記Ｃ
（ｉ，ｊ）の中から何れか一つのデータを選び出すため
の選択制御信号を出力する。この選択制御信号が上記セ
レクタ２３に送られる。
【００５１】上記端子２１を介したデータＲと上記セレ
クタ２３で選ばれたＣ（ｉ，ｊ）のデータとは、引算器
２４に送られ、当該引算器２４で差分が取られる。当該
引算器２４からの差分データは、切換スイッチ２５を介
して上記絶対値化回路２６に送られる。上記切換スイッ
チ２５は、上記データＲの属するマクロブロックに対応
する積算器１２のみＯＮ側が選ばれ、他の積算器はＯＦ
Ｆ側が選ばれる。
【００５２】上記絶対値化回路２６で上記差分データの
絶対値がとられた後の絶対値データは、加算器２７とレ
ジスタ２８からなるアキュムレータにより累算される。
【００５３】このようにして各積算器１２で求めた各累
算値は、各マクロブロック毎の累算値出力Ｏ（Ｂ0 ，Ｖ
ｘo ，Ｖｙ0 ，θ0 ），Ｏ（Ｂ0 ，Ｖｘo ，Ｖｙ0 ，θ
1 ），・・・，Ｏ（Ｂk ，Ｖｘh ，Ｖｙm ，θn ）とし
て、端子２９を介して出力される。この各端子２９から
の累算出力は、それぞれ図５（図１）に示す本実施例装
置の判定回路（ベクトル判定回路）１３の対応する端子
３０に送られる。
【００５４】当該図５の判定回路１３では、各マクロブ
ロック単位で上記累算出力を集め、その最小値を判別す
る。これにより、当該判定回路１３からは、各マクロブ
ロックに対応する動きベクトル及び動き角度の情報（解
ベクトル）が得られるようになる。これら解ベクトルの
データは、それぞれ対応する端子１４から、後段の後述
する例えば動画像符号化装置の予測器に送られる。
【００５５】図６には、上述した本実施例の動画像の動
き検出装置が適用される動画像符号化装置の概略構成を
示す。なお、この図６に示す符号化装置では、前述した
ように、画像内符号化画像（ピクチャ内符号化、Ｉピク
チャ），前方予測符号化画像（一方向予測ピクチャ間符
号化、Ｐピクチャ），両方向予測符号化画像（双方向ピ
クチャ間符号化、Ｂピクチャ）の３通りに符号化を行
う。
【００５６】すなわち、上記Ｉピクチャでは、全てのマ
クロブロックでピクチャ内符号化される。具体的には、
入力画像がマクロブロックを構成するブロック単位でＤ
ＣＴ変換され、そのＤＣＴ係数が量子化された後、可変
長符号化される。
【００５７】また、上記Ｐピクチャでは、前のＩピクチ
ャ又はＰピクチャを参照とし、上述した実施例の動き検
出装置からなる図６の動き検出器５１によって検出され
た動きベクトルと動き角度のデータに基づいて動き補償
がなされる。この動き補償された画像との差分がＤＣＴ
変換され、量子化され、可変長符号化される。
【００５８】ここで、当該差分情報が多く、上記ピクチ
ャ内符号化が有利と判定された場合は、マクロブロック
毎にピクチャ内符号化に切り換えることができる。
【００５９】さらに、上記Ｂピクチャでは、前のＩピク
チャ又はＰピクチャから動き補償した画像、後ろのＩピ
クチャ又はＰピクチャから動き補償した画像、そしてこ
れら２画像の平均画像のうち最も似ている画像との差分
が同様に符号化される。
【００６０】このときも、上記Ｐピクチャの場合と同様
にマクロブロック毎にピクチャ内符号化に切り換えるこ
とができる。
【００６１】この図６の構成において、入力端子５０に
は、ディジタルの画像信号が供給され、上述した実施例
の動き検出装置が適用される動き検出器５１を介した後
のマクロブロックのデータが差分検出器５２に伝送され
る。当該差分検出器５２には、上記動き検出器５１から
の動きベクトル及び動き角度のデータに基づいて動作す
る動き補償付ピクチャバッファの予測器６０からの動き
補償された予測画像データも供給され、当該差分検出器
５２でこれらの差分が検出される。
【００６２】上記差分検出器５２の出力は、直交変換
（ＤＣＴ）処理を行うＤＣＴ回路５３に送られる。当該
ＤＣＴ回路５３でＤＣＴ処理されて得られたＤＣＴ係数
データは、量子化器５４に送られる。当該量子化器５４
からの量子化データは、例えばいわゆるハフマン符号化
やランレングス符号化等の可変長符号化処理を行う可変
長符号化回路５５を及びバッファ５６を介して、出力端
子６１から符号化データとして出力される。
【００６３】また、上記予測器２０には、上記量子化器
５４からの量子化データが、当該量子化器５４での量子
化処理の逆量子化処理を行う逆量子化器５７と上記ＤＣ
Ｔ回路５３でのＤＣＴ処理の逆ＤＣＴ処理を行う逆ＤＣ
Ｔ回路５８とを介し、更に加算器５９を介したデータが
供給されるようになっている。上記加算器５９では、上
記逆ＤＣＴ回路５８の出力と当該予測器２０の出力との
加算が行われる。なお、バッファ５６からは、当該バッ
ファ５６のオーバーフロウを防止するための信号が、上
記量子化器５４にフィードバックされるようになってい
る。
【００６４】このようにして得られた符号を復号する復
号装置の構成を図７に示す。
【００６５】この図７において、例えば、上記符号化装
置からの符号化されたデータは、一旦、ＣＤ等のストレ
ージメディアに記録される。このＣＤ等から再生されて
きた符号化データは、図７の端子７０を介し、先ず、逆
可変長符号化回路７１でシーケンス毎，ピクチャグルー
プ毎，スライス（マクロブロックのグループ）毎にヘッ
ダ情報等が復号化される。
【００６６】ここで、量子化幅は、スライスヘッダに含
まれる。そしてマクロブロック毎に復号方式を示すマク
ロブロックタイプが復号され、量子化幅（更新のとき）
のデータ、前方向動きベクトルと前方動き角度のデー
タ、後方動きベクトルと後方動き角度のデータのうち、
この復号方式に必要な情報を復号する。
【００６７】これらのパラメータのうち、画像情報は逆
量子化処理を行う逆量子化回路７３に送られ、上記前方
向動きベクトル及び前方動き角度のデータと後方動きベ
クトル及び後方動き角度のデータは動き補償器１０１，
１０２にそれぞれ送られる。上記逆量子化回路７３を介
した画像情報は、その後、逆ＤＣＴ処理を行う逆ＤＣＴ
回路７４を介して復号化されて加算器７６に送られる。
このとき、上記マクロブロックタイプによってピクチャ
内符号モード／ピクチャ間符号モードのどちらであるか
の判定が行われ、この判定結果に応じてモードスイッチ
７７が切り換えられる。当該モードスイッチ７７の切り
換えにより、上記逆ＤＣＴ回路７４の出力を参照画像に
加算するか或いは加算しないことの切り換えが行われ
る。このようにしてい復号化された画像は、Ｉピクチャ
又はＰピクチャの場合はピクチャバッファ８４又は８１
に（Ｉピクチャ，Ｐピクチャを処理する度毎に交互に）
入力され、Ｂピクチャの場合はピクチャバッファ８２に
入力される。なお、このピクチャバッファへの書き込み
はスイッチ７８の切り換えにより制御される。
【００６８】動き補償は、Ｐピクチャを復号する場合、
作られた画像がピクチャバッファ８４に入力されるとき
にはピクチャバッファ８１内の画像を参照とし、ピクチ
ャバッファ８１に入力されるときにはピクチャバッファ
８４内の画像を参照とし、また、それぞれの補償器１０
１，１０２に動きベクトルと動き角度の情報が送られた
場合、これらを用いて参照画像からマクロブロック毎に
動き補償された画像を取り出す。
【００６９】このときピクセル単位で動きベクトル，動
き角度，マクロブロック内位置によってリードしてくる
メモリアドレスを計算する。上記ピクチャバッファ８
１，８２，８４に書き込まれるアドレスはアドレス発生
器１０４，１０５，１０６により与えられる。このアド
レス発生器１０４，１０５，１０６ではマクロブロック
のヘッダ情報の中のマクロブロックアドレスインクリメ
ントからピクチャバッファ８１，８２，８４でのアドレ
スインクリメント値を計算し、各々のマクロブロックの
先頭アドレスを求めている。
【００７０】さらに、Ｂピクチャを復号する場合はピク
チャバッファ８４，８１それぞれについてＰピクチャと
同様に動き補償された画像を生成する。動き補償された
画像はマクロブロックタイプによってスイッチ９１が切
り換えられ、加算器７６で復号された差分画像と加算さ
れる。
【００７１】なお、上記スイッチ９１には、上記動き補
償器１０１，１０２の出力を加算器８９で加算した後に
割算器９０で１／２とされた信号と、上記動き補償器１
０１，１０２の各出力とが供給される。当該スイッチ９
１の出力は、上記スイッチ７７に送られる。
【００７２】また、各ピクチャバッファ８１，８２，８
４の出力は、スイッチ１０３を介して画像のディスプレ
イ１００に送られる。当該ディスプレイ１００には、復
号された順番ではなく、図８のような再生画像の順で表
示されるように、各ピクチャバッファからの出力が上記
スイッチ１０３により切り換えられて送られる。
【００７３】本発明実施例の動き検出装置においては、
マクロブロック毎に動きベクトル及び動き角度を検出し
ているため、後にこれら動きベクトル及び動き角度の情
報を用いて符号化を行うことによって能率良く動画像を
符号化することが可能となる。したがって、復号装置で
は少ない情報量で画像を再生することができる。また、
情報量が少なくされる分、他の部分に多く情報を配分し
た高画質の画像を再生することが可能となる。
【００７４】
【発明の効果】上述のように、本発明の動画像の動き検
出装置においては、ブロックマッチングを行うブロック
の動きベクトル及び動き角度を考慮して求めた各位置に
対して、絶対値差分和を求め、更にこれを累算し、その
後累算値の最小値を求めるようにすることにより、動き
ベクトルのみならず動き角度をも検出することができる
ようになっている。
【００７５】したがって、本発明の動き検出装置を例え
ば画像符号化及び復号化装置に適用することで、この動
画像符号化及び復号化装置において平行移動するだけで
なく動き角度も変わる画像に対して有効な動き補償を行
うことが可能となる。
【図面の簡単な説明】
【図１】本発明実施例の動画像の動き検出装置の全体の
概略構成を示すブロック回路図である。
【図２】本実施例のマクロブロック内の位置（Ｘ，Ｙ）
を示す図である。
【図３】本実施例動き検出装置の遅延レジスタの具体的
構成を示すブロック回路図である。
【図４】本実施例動き検出装置の積算器の具体的構成を
示すブロック回路図である。
【図５】本実施例動き検出装置の判定回路とその入力デ
ータを示すブロック回路図である。
【図６】本実施例の動き検出装置が適用される動画像符
号化装置の概略構成を示すブロック回路図である。
【図７】動画像符号化装置に対応する復号化装置の概略
構成を示すブロック回路図である。
【図８】本実施例の符号化の手順及び復号後の再生画像
の順番を示す図である。
【図９】予測符号化画像を説明するための図である。
【図１０】ＭＰＥＧによる標準化案のデータ構造を示す
図である。
【符号の説明】
１１・・・・・・・・・遅延レジスタ １２・・・・・・・・・積算器 １３・・・・・・・・・判定回路 ２２・・・・・・・・・計算回路 ２３・・・・・・・・・セレクタ ２４・・・・・・・・・引算器 ２５・・・・・・・・・切換スイッチ ２６・・・・・・・・・絶対値化回路 ２７・・・・・・・・・加算器 ２８・・・・・・・・・レジスタ

Claims (1)

    【特許請求の範囲】
  1. 【請求項１】 入力画像信号の１画面より小なる画素の
    ２次元配列であるブロックを単位とし、時間的に異なる
    画像信号の間の対応する位置のマッチ度を検出するブロ
    ックマッチングにより、該ブロックの動きを検出する動
    画像の動き検出装置において、 上記ブロックマッチングを行うブロック間の動きベクト
    ル及び動き角度に対応する各位置を計算する計算手段
    と、 上記計算手段による各位置に対して絶対値差分和を累算
    する累算手段とを備えてなることを特徴とする動画像の
    動き検出装置。
JP9141992A 1992-03-18 1992-03-18 動画像の動き検出装置 Withdrawn JPH05268594A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP9141992A JPH05268594A (ja) 1992-03-18 1992-03-18 動画像の動き検出装置
US08/033,144 US5416522A (en) 1992-03-18 1993-03-16 Motion detection apparatus for moving pictures and encoding and decoding apparatus for picture signals
EP19930104382 EP0561392B1 (en) 1992-03-18 1993-03-17 Motion detection apparatus for moving pictures and encoding apparatus for picture signals
DE69328747T DE69328747T2 (de) 1992-03-18 1993-03-17 Bewegungsdetektionsvorrichtung für bewegte Bilder und Vorrichtung zum Kodieren von Bildsignalen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9141992A JPH05268594A (ja) 1992-03-18 1992-03-18 動画像の動き検出装置

Publications (1)

Publication Number Publication Date
JPH05268594A true JPH05268594A (ja) 1993-10-15

Family

ID=14025854

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9141992A Withdrawn JPH05268594A (ja) 1992-03-18 1992-03-18 動画像の動き検出装置

Country Status (4)

Country Link
US (1) US5416522A (ja)
EP (1) EP0561392B1 (ja)
JP (1) JPH05268594A (ja)
DE (1) DE69328747T2 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0606675A3 (en) * 1992-12-16 1994-12-21 Ibm Method for lossless compression of moving picture video.
JP3050736B2 (ja) * 1993-12-13 2000-06-12 シャープ株式会社 動画像符号化装置
US6052414A (en) * 1994-03-30 2000-04-18 Samsung Electronics, Co. Ltd. Moving picture coding method and apparatus for low bit rate systems using dynamic motion estimation
US5886743A (en) * 1994-12-28 1999-03-23 Hyundai Electronics Industries Co. Ltd. Object-by information coding apparatus and method thereof for MPEG-4 picture instrument
WO1996033575A1 (en) * 1995-04-18 1996-10-24 Advanced Micro Devices, Inc. Video decoder using block oriented data structures
KR100355375B1 (ko) * 1995-11-01 2002-12-26 삼성전자 주식회사 영상부호화장치에있어서양자화간격결정방법및회로
US5719642A (en) * 1996-05-07 1998-02-17 National Science Council Of R.O.C. Full-search block matching motion estimation processor
US5781239A (en) * 1996-06-20 1998-07-14 Lsi Logic Corporation System and method for performing an optimized inverse discrete cosine transform with improved efficiency
JP3623056B2 (ja) * 1996-09-10 2005-02-23 ソニー株式会社 動画像圧縮装置
AU1941797A (en) * 1997-03-17 1998-10-12 Mitsubishi Denki Kabushiki Kaisha Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
JPH11346369A (ja) * 1998-06-01 1999-12-14 Nec Corp 動ベクトル検出回路
JP2000013643A (ja) * 1998-06-18 2000-01-14 Sony Corp ノイズ低減装置および方法、映像信号処理装置、並びに動き検出方法
US6473876B1 (en) * 1999-06-29 2002-10-29 Sony Corporation Method and apparatus for encoding of bitstreams using rotation
US6493842B1 (en) 1999-06-29 2002-12-10 Sony Corporation Time-varying randomization for data synchronization and implicit information transmission
US6389562B1 (en) 1999-06-29 2002-05-14 Sony Corporation Source code shuffling to provide for robust error recovery
US6539517B1 (en) 1999-11-09 2003-03-25 Sony Corporation Data transformation for explicit transmission of control information
KR100766657B1 (ko) 2001-10-17 2007-10-15 마쯔시다덴기산교 가부시키가이샤 동화상 부호화 방법 및 동화상 복호화 방법
EP1383339A1 (en) 2002-07-15 2004-01-21 Matsushita Electric Industrial Co., Ltd. Memory management method for video sequence motion estimation and compensation
CN101472179A (zh) * 2007-12-29 2009-07-01 辉达公司 多个视频标准下的运动补偿的二维内插结构
CN101895675B (zh) * 2010-07-26 2012-10-03 杭州海康威视软件有限公司 一种移动侦测方法和装置
US9307262B2 (en) * 2011-01-13 2016-04-05 Texas Instruments Incorporated Methods and systems for facilitating multimedia data encoding utilizing configured buffer information
JP6676873B2 (ja) * 2014-09-22 2020-04-08 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60168276A (ja) * 1984-02-13 1985-08-31 Kokusai Denshin Denwa Co Ltd <Kdd> 画面上の移動体の動き方向検出方式
US5028995A (en) * 1987-10-28 1991-07-02 Hitachi, Ltd. Picture signal processor, picture signal coder and picture signal interpolator
US5047850A (en) * 1989-03-03 1991-09-10 Matsushita Electric Industrial Co., Ltd. Detector for detecting vector indicating motion of image
AU612543B2 (en) * 1989-05-11 1991-07-11 Panasonic Corporation Moving image signal encoding apparatus and decoding apparatus
JPH0385884A (ja) * 1989-08-29 1991-04-11 Sony Corp 画像の動き検出回路
JPH03201110A (ja) * 1989-12-28 1991-09-03 Toyota Central Res & Dev Lab Inc 自律走行車の位置方位検出装置
JPH0832048B2 (ja) * 1990-01-23 1996-03-27 日本ビクター株式会社 動きベクトル検出装置
GB2246488B (en) * 1990-07-24 1994-04-20 Sony Corp Motion dependant video signal processing
JP3103894B2 (ja) * 1991-02-06 2000-10-30 ソニー株式会社 ビデオデータの手振れ補正装置およびその方法
JP3116967B2 (ja) * 1991-07-16 2000-12-11 ソニー株式会社 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
DE69328747T2 (de) 2001-03-08
DE69328747D1 (de) 2000-07-06
US5416522A (en) 1995-05-16
EP0561392B1 (en) 2000-05-31
EP0561392A3 (en) 1994-08-24
EP0561392A2 (en) 1993-09-22

Similar Documents

Publication Publication Date Title
JPH05268594A (ja) 動画像の動き検出装置
US5539466A (en) Efficient coding apparatus for picture signal and decoding apparatus therefor
JP3092280B2 (ja) 画像信号の高能率符号化及び復号化装置
EP0907289B1 (en) Efficient decoding apparatus for picture signal
KR100345968B1 (ko) 화상신호의고능률부호화,복호화장치및기록매체
JP3331351B2 (ja) 画像データ符号化方法及び装置
JP3532709B2 (ja) 動画像符号化方法および装置
JP2755851B2 (ja) 動画像符号化装置及び動画像符号化方法
JP3257052B2 (ja) 画像信号の高能率符号化装置及びその方法
JP2947103B2 (ja) 動画像符号化装置及び動画像符号化方法
JPH0698311A (ja) 画像信号の高能率符号化及び復号化装置
JP2883592B2 (ja) 動画像復号化装置及び動画像復号化方法
JP2883585B2 (ja) 動画像符号化装置及び動画像符号化方法
JPH0630332A (ja) 動画像の符号化及び復号化装置
JP3449370B2 (ja) 画像データ復号化方法及び装置
JP2758378B2 (ja) 動画像復号化装置及び動画像復号化方法
JP3415390B2 (ja) 動画像符号化装置及び動画像符号化方法
JP3381167B2 (ja) 画像信号の高能率復号化装置及びその方法
JP3496926B2 (ja) 画像データ復号化方法
JPH0686268A (ja) 映像信号の符号化装置
JPH0638166A (ja) 動画像符号化および復号化装置ならびにディスク
JPH1093976A (ja) 動き検出装置
HK1032871B (en) Efficient coding apparatus for picture signal
JPH0686267A (ja) 映像信号の符号化装置
JPH06217344A (ja) 動き補償装置及びこれを用いた符号化装置

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 19990518