JPH08265781A - 動きベクトル特定方法及び装置 - Google Patents
動きベクトル特定方法及び装置Info
- Publication number
- JPH08265781A JPH08265781A JP18208895A JP18208895A JPH08265781A JP H08265781 A JPH08265781 A JP H08265781A JP 18208895 A JP18208895 A JP 18208895A JP 18208895 A JP18208895 A JP 18208895A JP H08265781 A JPH08265781 A JP H08265781A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- motion vector
- feature points
- feature point
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 動きベクトルを正確に特定するための改善
された方法及び装置を提供すること。 【構成】 各特徴点を囲む４つの特徴点から前斜方形
を規定する手段と、特徴点に対する初期動きベクトルを
検出する手段と、初期動きベクトルの各々に対して変位
を加えてＮ個の候補動きベクトルを発生する手段と、前
斜方形に対応する現斜方形を現フレーム内に規定すると
共に、Ｎ個の候補動きベクトルに対応する、それぞれ４
つの三角形からなるＮ個の三角形セットを現斜方形内に
生成し、更に各三角形セットに対する予測画素値を発生
する手段と、各画素の画素値と予測画素値とから差分画
素値を発生する引き算器と、各三角形セットに対して差
分画素値を平均しＮ個のエラー値を算出する手段と、最
小エラー値を選択する手段と、最小エラー値に対応する
候補動きベクトルを選択する手段とを含む。
された方法及び装置を提供すること。 【構成】 各特徴点を囲む４つの特徴点から前斜方形
を規定する手段と、特徴点に対する初期動きベクトルを
検出する手段と、初期動きベクトルの各々に対して変位
を加えてＮ個の候補動きベクトルを発生する手段と、前
斜方形に対応する現斜方形を現フレーム内に規定すると
共に、Ｎ個の候補動きベクトルに対応する、それぞれ４
つの三角形からなるＮ個の三角形セットを現斜方形内に
生成し、更に各三角形セットに対する予測画素値を発生
する手段と、各画素の画素値と予測画素値とから差分画
素値を発生する引き算器と、各三角形セットに対して差
分画素値を平均しＮ個のエラー値を算出する手段と、最
小エラー値を選択する手段と、最小エラー値に対応する
候補動きベクトルを選択する手段とを含む。
Description
【０００１】
【産業上の利用分野】本発明は映像信号を符号化する映
像信号符号化装置に関し、特に、現フレームとその前フ
レームとを用いて選択された画素に対する動きベクトル
を特定する方法及び装置に関する。
像信号符号化装置に関し、特に、現フレームとその前フ
レームとを用いて選択された画素に対する動きベクトル
を特定する方法及び装置に関する。
【０００２】
【従来の技術】周知のように、従来のディジタル映像信
号の伝送はアナログ信号の伝送より良好な画質を保持し
うる。一連のイメージ「フレーム」から構成されたイメ
ージ信号がディジタル信号として表現される場合、特
に、高精細度テレビ（HDTV）システムの場合、大量のデ
ータが伝送されなければならない。しかし、従来の伝送
チャンネルの使用可能な周波数領域は制限されているの
で、大量のディジタルデータを圧縮してその量を低減す
る必要がある。多様な圧縮技法のうち、確率的符号化技
法と、時間的、空間的圧縮技法とを組み合わせた、いわ
ゆるハイブリッド符号化技法が最も効率的なものとして
知られている。
号の伝送はアナログ信号の伝送より良好な画質を保持し
うる。一連のイメージ「フレーム」から構成されたイメ
ージ信号がディジタル信号として表現される場合、特
に、高精細度テレビ（HDTV）システムの場合、大量のデ
ータが伝送されなければならない。しかし、従来の伝送
チャンネルの使用可能な周波数領域は制限されているの
で、大量のディジタルデータを圧縮してその量を低減す
る必要がある。多様な圧縮技法のうち、確率的符号化技
法と、時間的、空間的圧縮技法とを組み合わせた、いわ
ゆるハイブリッド符号化技法が最も効率的なものとして
知られている。
【０００３】殆どのハイブリッド符号化技法は、動き補
償ＤＰＣＭ（差分パルス符号変調）、２次元ＤＣＴ（離
散的コサイン変換）、ＤＣＴ係数の量子化、ＶＬＣ（可
変長符号化）などを用いる。
償ＤＰＣＭ（差分パルス符号変調）、２次元ＤＣＴ（離
散的コサイン変換）、ＤＣＴ係数の量子化、ＶＬＣ（可
変長符号化）などを用いる。
【０００４】動き補償ＤＰＣＭは、現フレームとその前
フレームとの間の物体の動きを特定し、物体の動きに応
じて現フレームを予測して、現フレームとその予測値と
の間の差を表す差分信号を生成する方法である。この方
法は、例えば、Staffan Ericssonの論文“「Fixed and
Adaptive Predictors for Hybrid Predictive/Transfor
m Coding」,IEEE Transactions on Communications,COM
-33,NO.12（1985年12月）”、またはNinomiya及びOhtsu
kaの論文“「A Motion Compensated Interframe Coding
Scheme for Television Pictures」,IEEE Transaction
s on Communications,COM-30,NO.1（1982年1月）”に開
示されている。
フレームとの間の物体の動きを特定し、物体の動きに応
じて現フレームを予測して、現フレームとその予測値と
の間の差を表す差分信号を生成する方法である。この方
法は、例えば、Staffan Ericssonの論文“「Fixed and
Adaptive Predictors for Hybrid Predictive/Transfor
m Coding」,IEEE Transactions on Communications,COM
-33,NO.12（1985年12月）”、またはNinomiya及びOhtsu
kaの論文“「A Motion Compensated Interframe Coding
Scheme for Television Pictures」,IEEE Transaction
s on Communications,COM-30,NO.1（1982年1月）”に開
示されている。
【０００５】詳述すると、動き補償ＤＰＣＭに於いて
は、現フレームと前フレームとの間で推定された物体の
動きに基づいて、現フレームをその対応する前フレーム
から予測する。このような推定された動きは、前フレー
ムと現フレームとの間の変位を表す２次元動きベクトル
により表すことができる。
は、現フレームと前フレームとの間で推定された物体の
動きに基づいて、現フレームをその対応する前フレーム
から予測する。このような推定された動きは、前フレー
ムと現フレームとの間の変位を表す２次元動きベクトル
により表すことができる。
【０００６】物体の画素の変位を推定するには、多様な
方法があるが、一般に２つのタイプに分類しうる。この
ような動き推定技法の一つは、特徴点を用いた、画素単
位による動き推定である。
方法があるが、一般に２つのタイプに分類しうる。この
ような動き推定技法の一つは、特徴点を用いた、画素単
位による動き推定である。
【０００７】ここで、各特徴点は、周囲の画素を代表し
うる画素として定義される。特徴点に基づいた動き推定
技法に於いては、最初に、前フレーム内に含まれる全て
の画素から複数の特徴点が選択される。
うる画素として定義される。特徴点に基づいた動き推定
技法に於いては、最初に、前フレーム内に含まれる全て
の画素から複数の特徴点が選択される。
【０００８】その次に、選択された特徴点に対する動き
ベクトルがブロック整合アルゴリズムを採用して特定さ
れるが、ここで、各々の動きベクトルは、前フレーム内
に於ける１つの特徴点と現フレーム内に於ける対応する
整合点、即ち、最も類似な画素との間の空間的変位を表
す。より詳しく述べると、各々の特徴点に対する整合点
は、現フレーム内において対応する特徴点の位置を囲
む、予め定められた領域として規定される探索領域で探
索される。しかし、画素単位の動き推定においては、ブ
ロック内の全画素が同一方向に移動しない場合、例えば
特徴点の正確な動きを推定しにくいという欠点を有す
る。
ベクトルがブロック整合アルゴリズムを採用して特定さ
れるが、ここで、各々の動きベクトルは、前フレーム内
に於ける１つの特徴点と現フレーム内に於ける対応する
整合点、即ち、最も類似な画素との間の空間的変位を表
す。より詳しく述べると、各々の特徴点に対する整合点
は、現フレーム内において対応する特徴点の位置を囲
む、予め定められた領域として規定される探索領域で探
索される。しかし、画素単位の動き推定においては、ブ
ロック内の全画素が同一方向に移動しない場合、例えば
特徴点の正確な動きを推定しにくいという欠点を有す
る。
【０００９】
【発明が解決しようとする課題】従って、本発明の主な
目的は、選択された画素に対する真の動きベクトルを特
定する改善された方法及びその装置を提供することにあ
る。
目的は、選択された画素に対する真の動きベクトルを特
定する改善された方法及びその装置を提供することにあ
る。
【００１０】
【課題を解決するための手段】上記の目的を達成するた
めに、本発明によれば、現フレームとその前フレームと
の間で、前フレーム上にマップピングされた四角形グリ
ッドのノード上に位置された画素の位置により規定され
る特徴点に対する真の動きベクトルを特定する動きベク
トル特定方法であって、（ａ）前記特徴点の各々を対象
特徴点として順次選択する過程であって、該対象特徴点
は、それに隣接する４つの特徴点により取り囲まれるこ
とによって前斜方形を規定し、該前斜方形は前記対象特
徴点とそれに隣接する２つの特徴点とを連結することに
よって形成される４つの三角形からなる三角形セットを
有する該過程と、（ｂ）前記特徴点に対する１セットの
初期動きベクトルを、前記現フレームとその前フレーム
とを用いて検知する過程と、（ｃ）前記対象特徴点の各
々に対応する初期動きベクトルの各々に、予め定められ
たＮ個の変位を加えることによって、Ｎ個の候補動きベ
クトルからなる候補動きベクトルのサブセットを発生す
る過程と、（ｄ）前記前フレームに於ける前記前斜方形
の各々に対応する前記現フレームに於ける現斜方形を、
前記第１セットの初期動きベクトルを用いて規定する過
程と、（ｅ）前記Ｎ個の候補動きベクトルに基づいて、
前記現斜方形内に形成される４つの三角形からなるＮ個
の三角形セットを発生する過程と、（ｆ）前記各々の現
斜方形の前記４つの三角形からなるＮ個の三角形セット
の各々に対して、各三角形に含まれる各画素に対する予
測された画素を前記前フレームから取り出して、各画素
に対する予測画素値を発生する過程と、（ｇ）前記各画
素の画素値から予測画素値を引き算することによって、
前記４つの三角形よりなる三角形セットの各々に含まれ
る前記各画素に対する差分画素値を発生する過程と、
（ｈ）前記Ｎ個の三角形セットの各々に対して、前記差
分画素値を平均することによって、前記Ｎ個の三角形セ
ットの各々に対応するＮ個のエラー値を計算する過程
と、（ｉ）前記Ｎ個のエラー値を比較して、最小のエラ
ー値を一つ選択する過程と、（ｊ）前記選択された最小
のエラー値に対応する候補動きベクトルを真の動きベク
トルとして、前記Ｎ個の候補動きベクトルから選択する
過程とを含むことを特徴とする動きベクトル特定方法が
提供される。
めに、本発明によれば、現フレームとその前フレームと
の間で、前フレーム上にマップピングされた四角形グリ
ッドのノード上に位置された画素の位置により規定され
る特徴点に対する真の動きベクトルを特定する動きベク
トル特定方法であって、（ａ）前記特徴点の各々を対象
特徴点として順次選択する過程であって、該対象特徴点
は、それに隣接する４つの特徴点により取り囲まれるこ
とによって前斜方形を規定し、該前斜方形は前記対象特
徴点とそれに隣接する２つの特徴点とを連結することに
よって形成される４つの三角形からなる三角形セットを
有する該過程と、（ｂ）前記特徴点に対する１セットの
初期動きベクトルを、前記現フレームとその前フレーム
とを用いて検知する過程と、（ｃ）前記対象特徴点の各
々に対応する初期動きベクトルの各々に、予め定められ
たＮ個の変位を加えることによって、Ｎ個の候補動きベ
クトルからなる候補動きベクトルのサブセットを発生す
る過程と、（ｄ）前記前フレームに於ける前記前斜方形
の各々に対応する前記現フレームに於ける現斜方形を、
前記第１セットの初期動きベクトルを用いて規定する過
程と、（ｅ）前記Ｎ個の候補動きベクトルに基づいて、
前記現斜方形内に形成される４つの三角形からなるＮ個
の三角形セットを発生する過程と、（ｆ）前記各々の現
斜方形の前記４つの三角形からなるＮ個の三角形セット
の各々に対して、各三角形に含まれる各画素に対する予
測された画素を前記前フレームから取り出して、各画素
に対する予測画素値を発生する過程と、（ｇ）前記各画
素の画素値から予測画素値を引き算することによって、
前記４つの三角形よりなる三角形セットの各々に含まれ
る前記各画素に対する差分画素値を発生する過程と、
（ｈ）前記Ｎ個の三角形セットの各々に対して、前記差
分画素値を平均することによって、前記Ｎ個の三角形セ
ットの各々に対応するＮ個のエラー値を計算する過程
と、（ｉ）前記Ｎ個のエラー値を比較して、最小のエラ
ー値を一つ選択する過程と、（ｊ）前記選択された最小
のエラー値に対応する候補動きベクトルを真の動きベク
トルとして、前記Ｎ個の候補動きベクトルから選択する
過程とを含むことを特徴とする動きベクトル特定方法が
提供される。
【００１１】また、本発明の他の実施例によると、現フ
レームとその前フレームとの間で、前フレーム上にマッ
プピングされた四角形グリッドのノード上に位置された
画素の位置により規定される特徴点に対する真の動きベ
クトルを特定する動きベクトル特定装置であって、
（ａ）前記特徴点の各々を対象特徴点として順次選択す
る手段であって、該対象特徴点は、それに隣接する４つ
の特徴点により取り囲まれることによって前斜方形を規
定し、該前斜方形は前記対象特徴点とそれに隣接する２
つの特徴点とを連結することによって形成される４つの
三角形からなる三角形セットを有する該手段と、（ｂ）
前記特徴点に対する１セットの初期動きベクトルを、前
記現フレームとその前フレームとを用いて検知する検知
手段と、（ｃ）前記対象特徴点の各々に対応する初期動
きベクトルの各々に、予め定められたＮ個の変位を加え
ることによって、Ｎ個の候補動きベクトルからなる候補
動きベクトルのサブセットを発生する手段と、（ｄ）前
記前フレームに於ける前記前斜方形の各々に対応する前
記現フレームに於ける現斜方形を、前記第１セットの初
期動きベクトルを用いて規定する手段と、（ｅ）前記Ｎ
個の候補動きベクトルに基づいて、前記現斜方形内に形
成される４つの三角形からなるＮ個の三角形セットを発
生する手段と、（ｆ）前記各々の現斜方形の前記４つの
三角形からなるＮ個の三角形セットの各々に対して、各
三角形に含まれる各画素に対する予測された画素を前記
前フレームから取り出して、各画素に対する予測画素値
を発生する手段と、（ｇ）前記各画素の画素値から予測
画素値を引き算することによって、前記４つの三角形よ
りなる三角形セットの各々に含まれる前記各画素に対す
る差分画素値を発生する手段と、（ｈ）前記Ｎ個の三角
形セットの各々に対して、前記差分画素値を平均するこ
とによって、前記Ｎ個の三角形セットの各々に対応する
Ｎ個のエラー値を計算する手段と、（ｉ）前記Ｎ個のエ
ラー値を比較して、最小のエラー値を一つ選択する手段
と、（ｊ）前記選択された最小のエラー値に対応する候
補動きベクトルを真の動きベクトルとして、前記Ｎ個の
候補動きベクトルから選択する手段とを含むことを特徴
とする動きベクトル特定装置が提供される。
レームとその前フレームとの間で、前フレーム上にマッ
プピングされた四角形グリッドのノード上に位置された
画素の位置により規定される特徴点に対する真の動きベ
クトルを特定する動きベクトル特定装置であって、
（ａ）前記特徴点の各々を対象特徴点として順次選択す
る手段であって、該対象特徴点は、それに隣接する４つ
の特徴点により取り囲まれることによって前斜方形を規
定し、該前斜方形は前記対象特徴点とそれに隣接する２
つの特徴点とを連結することによって形成される４つの
三角形からなる三角形セットを有する該手段と、（ｂ）
前記特徴点に対する１セットの初期動きベクトルを、前
記現フレームとその前フレームとを用いて検知する検知
手段と、（ｃ）前記対象特徴点の各々に対応する初期動
きベクトルの各々に、予め定められたＮ個の変位を加え
ることによって、Ｎ個の候補動きベクトルからなる候補
動きベクトルのサブセットを発生する手段と、（ｄ）前
記前フレームに於ける前記前斜方形の各々に対応する前
記現フレームに於ける現斜方形を、前記第１セットの初
期動きベクトルを用いて規定する手段と、（ｅ）前記Ｎ
個の候補動きベクトルに基づいて、前記現斜方形内に形
成される４つの三角形からなるＮ個の三角形セットを発
生する手段と、（ｆ）前記各々の現斜方形の前記４つの
三角形からなるＮ個の三角形セットの各々に対して、各
三角形に含まれる各画素に対する予測された画素を前記
前フレームから取り出して、各画素に対する予測画素値
を発生する手段と、（ｇ）前記各画素の画素値から予測
画素値を引き算することによって、前記４つの三角形よ
りなる三角形セットの各々に含まれる前記各画素に対す
る差分画素値を発生する手段と、（ｈ）前記Ｎ個の三角
形セットの各々に対して、前記差分画素値を平均するこ
とによって、前記Ｎ個の三角形セットの各々に対応する
Ｎ個のエラー値を計算する手段と、（ｉ）前記Ｎ個のエ
ラー値を比較して、最小のエラー値を一つ選択する手段
と、（ｊ）前記選択された最小のエラー値に対応する候
補動きベクトルを真の動きベクトルとして、前記Ｎ個の
候補動きベクトルから選択する手段とを含むことを特徴
とする動きベクトル特定装置が提供される。
【００１２】
【実施例】以下、本発明の実施例について図面を参照し
ながらより詳しく説明する。
ながらより詳しく説明する。
【００１３】図１には、本発明による動き推定ブロック
２００を用いた映像信号符号化システムのブロック図が
示されている。入力ディジタル映像信号は、第１フレー
ムメモリ１００へ与えられて格納される。
２００を用いた映像信号符号化システムのブロック図が
示されている。入力ディジタル映像信号は、第１フレー
ムメモリ１００へ与えられて格納される。
【００１４】動き推定ブロック２００に於いては、第１
フレームメモリ１００から取り出したラインＬ１０上の
現フレームと、第２フレームメモリ１２４からラインＬ
１２上に供給される再構成された前フレーム信号とを処
理して選択された画素、即ち、前フレームに於ける複数
の特徴点に対する第１セットの動きベクトルを特定す
る。動き推定ブロック２００に関する詳細は、以後図２
を参照しつつより詳細に説明する。動き推定ブロック２
００からの動きベクトルは、現フレーム動きベクトル検
知ブロック１２６及びエントロピー符号化器１０７へラ
インＬ２０を介して加えられて、また、特徴点に対する
位置データは、ラインＬ２５を介して現フレーム動きベ
クトル検知ブロック１２６へ供給される。
フレームメモリ１００から取り出したラインＬ１０上の
現フレームと、第２フレームメモリ１２４からラインＬ
１２上に供給される再構成された前フレーム信号とを処
理して選択された画素、即ち、前フレームに於ける複数
の特徴点に対する第１セットの動きベクトルを特定す
る。動き推定ブロック２００に関する詳細は、以後図２
を参照しつつより詳細に説明する。動き推定ブロック２
００からの動きベクトルは、現フレーム動きベクトル検
知ブロック１２６及びエントロピー符号化器１０７へラ
インＬ２０を介して加えられて、また、特徴点に対する
位置データは、ラインＬ２５を介して現フレーム動きベ
クトル検知ブロック１２６へ供給される。
【００１５】現フレーム動きベクトル検知ブロック１２
６に於いては、動き推定ブロック２００からの第１セッ
トの真の動きベクトル及び位置データを用いて、現フレ
ームに於ける全画素に対する第２セットの動きベクトル
が特定される。第２セットの動きベクトルを特定するた
めに、最初に、準特徴点が特定される。このような準特
徴点は前フレームの特徴点から第１セットの動きベクト
ルだけシフトされた現フレームの画素を表す。準特徴点
が特定された後、現フレームに於ける残りの画素点であ
る非特徴点に対する動きベクトルが、次のように特定さ
れる。
６に於いては、動き推定ブロック２００からの第１セッ
トの真の動きベクトル及び位置データを用いて、現フレ
ームに於ける全画素に対する第２セットの動きベクトル
が特定される。第２セットの動きベクトルを特定するた
めに、最初に、準特徴点が特定される。このような準特
徴点は前フレームの特徴点から第１セットの動きベクト
ルだけシフトされた現フレームの画素を表す。準特徴点
が特定された後、現フレームに於ける残りの画素点であ
る非特徴点に対する動きベクトルが、次のように特定さ
れる。
【００１６】最初、準特徴点を連結するラインセグメン
トによって複数の重複しない多角形、例えば、三角形が
規定される。その後、これらの多角形の各々を形成する
準特徴点と対応する特徴点との間の位置関係に基づい
て、現フレームの各多角形に含まれる各画素に対する前
フレーム上の予測位置が特定される。これらの予測位置
に基づいて、各画素に対する予測画素値が前フレームか
ら得られる。その後、現フレームの画素と前フレームか
ら予測された画素との間の変位から、現フレームの各画
素に対する動きベクトルが特定される。特定された第２
セットの動きベクトルは、動き補償ブロック１３０へ提
供され、画素単位で現フレームを予測する。
トによって複数の重複しない多角形、例えば、三角形が
規定される。その後、これらの多角形の各々を形成する
準特徴点と対応する特徴点との間の位置関係に基づい
て、現フレームの各多角形に含まれる各画素に対する前
フレーム上の予測位置が特定される。これらの予測位置
に基づいて、各画素に対する予測画素値が前フレームか
ら得られる。その後、現フレームの画素と前フレームか
ら予測された画素との間の変位から、現フレームの各画
素に対する動きベクトルが特定される。特定された第２
セットの動きベクトルは、動き補償ブロック１３０へ提
供され、画素単位で現フレームを予測する。
【００１７】この動き補償ブロック１３０は、予測され
た現フレームに含まれるべき各画素の値を、第２フレー
ムメモリ１２４から第２セットに含まれる動きベクトル
の各々を用いて取り出すことによって、予測された現フ
レーム信号をラインＬ３０を介して減算器１０２及び加
算器１１５へ提供する。
た現フレームに含まれるべき各画素の値を、第２フレー
ムメモリ１２４から第２セットに含まれる動きベクトル
の各々を用いて取り出すことによって、予測された現フ
レーム信号をラインＬ３０を介して減算器１０２及び加
算器１１５へ提供する。
【００１８】減算器１０２は、ラインＬ１１上の現フレ
ーム信号からラインＬ３０上の予測された現フレーム信
号を引き算すると共に、その結果データ、即ち、現フレ
ームと予測された現フレームの間の差分画素値を表すフ
レーム間差分信号を映像信号符号化器１０５へ伝達す
る。ここで、このフレーム間差分信号は、例えば、離散
的コサイン変換（ＤＣＴ）及び公知の量子化技法の何れ
かを用いて量子化された一組の変換係数に符号化され
る。
ーム信号からラインＬ３０上の予測された現フレーム信
号を引き算すると共に、その結果データ、即ち、現フレ
ームと予測された現フレームの間の差分画素値を表すフ
レーム間差分信号を映像信号符号化器１０５へ伝達す
る。ここで、このフレーム間差分信号は、例えば、離散
的コサイン変換（ＤＣＴ）及び公知の量子化技法の何れ
かを用いて量子化された一組の変換係数に符号化され
る。
【００１９】その後、その量子化された変換係数は、エ
ントロピー符号化器１０７及び映像信号復号化器１１３
へ伝送される。エントロピー符号化器１０７に於いて
は、映像信号符号化器１０５からの量子化された変換係
数とラインＬ２０を通じて供給された第１セットの動き
ベクトルとが、効果的に伝送されるように、例えば、ラ
ンレングス法と可変長符号化技法との組み合わせを用い
て符号化される。一方、映像信号復号化器１１３は、映
像信号符号化器１０５からの量子化された変換係数を逆
量子化及び逆離散的コサイン変換を用いて再構成された
フレーム間差分信号に再度変換する。
ントロピー符号化器１０７及び映像信号復号化器１１３
へ伝送される。エントロピー符号化器１０７に於いて
は、映像信号符号化器１０５からの量子化された変換係
数とラインＬ２０を通じて供給された第１セットの動き
ベクトルとが、効果的に伝送されるように、例えば、ラ
ンレングス法と可変長符号化技法との組み合わせを用い
て符号化される。一方、映像信号復号化器１１３は、映
像信号符号化器１０５からの量子化された変換係数を逆
量子化及び逆離散的コサイン変換を用いて再構成された
フレーム間差分信号に再度変換する。
【００２０】映像信号復号化器１１３からの再構成され
たフレーム間差分信号、及び動き補償ブロック１３０か
らの予測された現フレーム信号は、加算器１１５にて組
み合わせられることによって、第２フレームメモリ１２
４に前フレームとして書き込まれる再構成された現フレ
ーム信号を発生する。
たフレーム間差分信号、及び動き補償ブロック１３０か
らの予測された現フレーム信号は、加算器１１５にて組
み合わせられることによって、第２フレームメモリ１２
４に前フレームとして書き込まれる再構成された現フレ
ーム信号を発生する。
【００２１】本発明の動き推定ブロック２００を除く、
上述した映像信号符号化システムの詳細な説明は、本特
許出願と出願人を同じくする係属中の米国特許出願「ME
THODAND APPARATUS FOR ENCODING/DECODING A VIDEO SI
GNAL」の明細書に開示されており、本明細書に引証とし
て加えられる。
上述した映像信号符号化システムの詳細な説明は、本特
許出願と出願人を同じくする係属中の米国特許出願「ME
THODAND APPARATUS FOR ENCODING/DECODING A VIDEO SI
GNAL」の明細書に開示されており、本明細書に引証とし
て加えられる。
【００２２】非特徴点に対する動きベクトルを特定する
映像信号符号化装置の他の例も、1994年12月30日に本特
許出願と同一出願人により出願された、係属中の米国特
許出願第08/367,520号「METHOD AND APPARATUS FOR ENC
ODING A VIDEO SIGNAL USINGPIXEL-BY-PIXEL MOTION PR
EDICTION」明細書に開示されている。この文献も本明細
書に引証として加えられる。
映像信号符号化装置の他の例も、1994年12月30日に本特
許出願と同一出願人により出願された、係属中の米国特
許出願第08/367,520号「METHOD AND APPARATUS FOR ENC
ODING A VIDEO SIGNAL USINGPIXEL-BY-PIXEL MOTION PR
EDICTION」明細書に開示されている。この文献も本明細
書に引証として加えられる。
【００２３】映像信号符号化装置に於いては、非特徴点
に対する画素位置の動きベクトルは、その画素位置に最
も近い準特徴点までの距離と、動きベクトルを計算する
のに用いられる別の準特徴点を含むように予め定められ
た拡張半径との和により定義される半径を有する円形境
界内に位置する非特徴点を平均することによって、特定
される。
に対する画素位置の動きベクトルは、その画素位置に最
も近い準特徴点までの距離と、動きベクトルを計算する
のに用いられる別の準特徴点を含むように予め定められ
た拡張半径との和により定義される半径を有する円形境
界内に位置する非特徴点を平均することによって、特定
される。
【００２４】図２を参照すると、図１に示した本発明の
動き推定ブロック２００の詳細なブロック図が示されて
いる。
動き推定ブロック２００の詳細なブロック図が示されて
いる。
【００２５】図２に示したように、第２フレームメモリ
１２４からのラインＬ１２上の前フレーム信号は特徴点
選択ブロック２１０、特徴点動きベクトル検知ブロック
２１２及び動き予測ブロック２３０へ入力される。ま
た、ラインＬ１０上の現フレーム信号は第３フレームメ
モリ２０５へ入力される。
１２４からのラインＬ１２上の前フレーム信号は特徴点
選択ブロック２１０、特徴点動きベクトル検知ブロック
２１２及び動き予測ブロック２３０へ入力される。ま
た、ラインＬ１０上の現フレーム信号は第３フレームメ
モリ２０５へ入力される。
【００２６】特徴点選択ブロック２１０に於いては、前
フレームに含まれる画素の中から複数の特徴点が選択さ
れる。特徴点の各々はフレーム内の物体の動きを表し得
る画素として定義される。図３には、１０×７画素のフ
レームが例として示されている。フレームの中心付近に
動く物体が存在し、この動く物体の動きをＡ乃至Ｉの一
組の画素により表現することができる場合、これらの画
素がそのフレームの特徴点として選択される。本発明の
好適実施例では、図４に示したような四角形グリッドを
用いたグリッド技法によって特徴点が特定される。図中
で、特徴点はグリッドのノード上に位置する。
フレームに含まれる画素の中から複数の特徴点が選択さ
れる。特徴点の各々はフレーム内の物体の動きを表し得
る画素として定義される。図３には、１０×７画素のフ
レームが例として示されている。フレームの中心付近に
動く物体が存在し、この動く物体の動きをＡ乃至Ｉの一
組の画素により表現することができる場合、これらの画
素がそのフレームの特徴点として選択される。本発明の
好適実施例では、図４に示したような四角形グリッドを
用いたグリッド技法によって特徴点が特定される。図中
で、特徴点はグリッドのノード上に位置する。
【００２７】図２を再度参照すると、特徴点選択ブロッ
ク２１０からの選択された特徴点の位置データは、図１
に示したラインＬ２５を通じて現フレーム動きベクトル
検知ブロック１２６へ供給されると共に、特徴点動きベ
クトル検知ブロック２１２と斜方形発生器２１６へ入力
され格納される。
ク２１０からの選択された特徴点の位置データは、図１
に示したラインＬ２５を通じて現フレーム動きベクトル
検知ブロック１２６へ供給されると共に、特徴点動きベ
クトル検知ブロック２１２と斜方形発生器２１６へ入力
され格納される。
【００２８】斜方形発生器２１６は、特徴点の各々を以
後処理対象とする特徴点（対象特徴点）として順次選択
する。図５に例示したように、対象特徴点、例えば、
「Ｅ」は、対象特徴点として選択されなかった隣接する
４つの特徴点Ａ、Ｂ、Ｃ、Ｄにより取り囲まれており、
それによって、例えば中央に対象特徴点Ｅが位置し、４
つの三角形ＡＢＥ、ＢＣＥ、ＣＤＥ、及びＤＡＥからな
る三角形セットを有する“前斜方形（ａ ｐｒｅｖｉｏ
ｕｓ ｒｈｏｍｂｕｓ）”５２のような前斜方形が形成
される。各々の対象特徴点（例えば、Ｅ）に対する情報
はラインＬ５２を通じて動きベクトル変位発生器２１８
へ供給され、一方、前斜方形を形成する対象特徴点とそ
れに隣接する特徴点（例えば、Ａ、Ｂ、Ｃ、Ｄ）の情報
は、ラインＬ５４を通じて動き予測ブロック２３０へ送
られる。
後処理対象とする特徴点（対象特徴点）として順次選択
する。図５に例示したように、対象特徴点、例えば、
「Ｅ」は、対象特徴点として選択されなかった隣接する
４つの特徴点Ａ、Ｂ、Ｃ、Ｄにより取り囲まれており、
それによって、例えば中央に対象特徴点Ｅが位置し、４
つの三角形ＡＢＥ、ＢＣＥ、ＣＤＥ、及びＤＡＥからな
る三角形セットを有する“前斜方形（ａ ｐｒｅｖｉｏ
ｕｓ ｒｈｏｍｂｕｓ）”５２のような前斜方形が形成
される。各々の対象特徴点（例えば、Ｅ）に対する情報
はラインＬ５２を通じて動きベクトル変位発生器２１８
へ供給され、一方、前斜方形を形成する対象特徴点とそ
れに隣接する特徴点（例えば、Ａ、Ｂ、Ｃ、Ｄ）の情報
は、ラインＬ５４を通じて動き予測ブロック２３０へ送
られる。
【００２９】特徴点動きベクトル検知ブロック２１２に
於いては、特徴点に対する第１セットの初期動きベクト
ルが、第３フレームメモリ２０５内に格納された現フレ
ーム信号と特徴点選択ブロック２１０からの特徴点の位
置データとに基づいて検知される。第１セットの初期動
きベクトルの各々は、前フレームに於ける特徴点と現フ
レームに於ける最も類似した画素との間の空間的変位を
表す。画素単位で動きベクトルを検出するのに、利用可
能な処理アルゴリズムは多数あるが、本発明の好適実施
例に於いては、ブロック整合アルゴリズムが用いられて
いる。即ち、特徴点の位置データが特徴点選択ブロック
２１０から受信されると、その中心に特徴点を有する、
例えば５×５画素からなる前フレームの特徴点ブロック
が第２フレームメモリ１２４（図１）からラインＬ１２
を通じて取り出される。然る後に、第１フレームメモリ
１００（図１）から取り出される、例えば１０×１０画
素からなる現フレームの探索領域に含まれる同一の大き
さの複数の候補ブロックの各々と特徴点ブロックとの類
似度を、平均絶対エラー（ＭＡＥ）あるいは平均２乗エ
ラー（ＭＳＥ）のようなエラー関数を用いて計算して、
特徴点ブロックに対する初期の動きベクトルを特定す
る。ここで、その動きベクトルは、特徴点ブロックと最
小エラー値をもたらす候補ブロックとの間の変位として
特定される。特定された動きベクトルは、特徴点の動き
ベクトルに設定される。
於いては、特徴点に対する第１セットの初期動きベクト
ルが、第３フレームメモリ２０５内に格納された現フレ
ーム信号と特徴点選択ブロック２１０からの特徴点の位
置データとに基づいて検知される。第１セットの初期動
きベクトルの各々は、前フレームに於ける特徴点と現フ
レームに於ける最も類似した画素との間の空間的変位を
表す。画素単位で動きベクトルを検出するのに、利用可
能な処理アルゴリズムは多数あるが、本発明の好適実施
例に於いては、ブロック整合アルゴリズムが用いられて
いる。即ち、特徴点の位置データが特徴点選択ブロック
２１０から受信されると、その中心に特徴点を有する、
例えば５×５画素からなる前フレームの特徴点ブロック
が第２フレームメモリ１２４（図１）からラインＬ１２
を通じて取り出される。然る後に、第１フレームメモリ
１００（図１）から取り出される、例えば１０×１０画
素からなる現フレームの探索領域に含まれる同一の大き
さの複数の候補ブロックの各々と特徴点ブロックとの類
似度を、平均絶対エラー（ＭＡＥ）あるいは平均２乗エ
ラー（ＭＳＥ）のようなエラー関数を用いて計算して、
特徴点ブロックに対する初期の動きベクトルを特定す
る。ここで、その動きベクトルは、特徴点ブロックと最
小エラー値をもたらす候補ブロックとの間の変位として
特定される。特定された動きベクトルは、特徴点の動き
ベクトルに設定される。
【００３０】全ての特徴点に対する初期動きベクトルを
検知した後、第１セットの初期動きベクトルは、動きベ
クトル格納ユニット２１４へ加えられ格納される。動き
ベクトル格納ユニット２１４内に格納された初期動きベ
クトルは、次いで、動きベクトル変位発生器２１８と動
き予測ブロック２３０とへ提供される。
検知した後、第１セットの初期動きベクトルは、動きベ
クトル格納ユニット２１４へ加えられ格納される。動き
ベクトル格納ユニット２１４内に格納された初期動きベ
クトルは、次いで、動きベクトル変位発生器２１８と動
き予測ブロック２３０とへ提供される。
【００３１】動きベクトル変位発生器２１８は、予め定
められたＮ個の変位を斜方形発生器２１６により選択さ
れた対象特徴点の各々に対応する初期動きベクトルへ与
えることによって、１つの初期動きベクトルにつきＮ個
の候補動きベクトルからなる候補動きベクトルのサブセ
ットを生成する。本発明の好適実施例に於いては、変位
を各初期動きベクトルに対して水平及び垂直方向に
（０，０）から（±２，±２）の範囲内で設定すること
が好ましい。この場合、上記Ｎは２５となる。Ｎ個の候
補動きベクトルからなる候補動きベクトルのサブセット
は、セレクタ２４２と動き予測ブロック２３０へ提供さ
れる。
められたＮ個の変位を斜方形発生器２１６により選択さ
れた対象特徴点の各々に対応する初期動きベクトルへ与
えることによって、１つの初期動きベクトルにつきＮ個
の候補動きベクトルからなる候補動きベクトルのサブセ
ットを生成する。本発明の好適実施例に於いては、変位
を各初期動きベクトルに対して水平及び垂直方向に
（０，０）から（±２，±２）の範囲内で設定すること
が好ましい。この場合、上記Ｎは２５となる。Ｎ個の候
補動きベクトルからなる候補動きベクトルのサブセット
は、セレクタ２４２と動き予測ブロック２３０へ提供さ
れる。
【００３２】動き予測ブロック２３０は、現在の斜方形
に含まれる画素に対する予測値を前フレームから求める
ために、前斜方形に対応する現フレームの斜方形（現斜
方形）を発生する。現斜方形を発生するために、動きベ
クトル格納ユニット２１４から前斜方形を形成する４つ
の頂点に対する動きベクトルを取り出し、これらの４つ
の特徴点、即ち、前斜方形上の４つの頂点（例えば、
Ａ、Ｂ、Ｃ、及びＤ）からそれらの各々に対応する動き
ベクトルだけシフトされた現フレームの画素を表す準特
徴点（例えば、Ａ′、Ｂ′、Ｃ′及びＤ′）を特定す
る。準特徴点を特定した後、４つの準特徴点を連結する
ことによって現斜方形（例えば、図６の６２）が規定さ
れる。これに関連して、現斜方形の生成に関する情報
は、現斜方形発生器２０６へ提供される。
に含まれる画素に対する予測値を前フレームから求める
ために、前斜方形に対応する現フレームの斜方形（現斜
方形）を発生する。現斜方形を発生するために、動きベ
クトル格納ユニット２１４から前斜方形を形成する４つ
の頂点に対する動きベクトルを取り出し、これらの４つ
の特徴点、即ち、前斜方形上の４つの頂点（例えば、
Ａ、Ｂ、Ｃ、及びＤ）からそれらの各々に対応する動き
ベクトルだけシフトされた現フレームの画素を表す準特
徴点（例えば、Ａ′、Ｂ′、Ｃ′及びＤ′）を特定す
る。準特徴点を特定した後、４つの準特徴点を連結する
ことによって現斜方形（例えば、図６の６２）が規定さ
れる。これに関連して、現斜方形の生成に関する情報
は、現斜方形発生器２０６へ提供される。
【００３３】しかる後、前斜方形に於ける対象特徴点に
対するＮ個の候補動きベクトルからなる候補動きベクト
ルのサブセットによって、現斜方形内に発生されるＮ個
の対象準特徴点からなる対象準特徴点のサブセットが特
定される。準特徴点及びＮ個の対象準特徴点を特定した
後、Ｎ個の対象準特徴点の各々とその各々に隣接する２
つの準特徴点とを連結することによって、Ｎ個の対象準
特徴点の各々に対して、４つの三角形よりなる三角形セ
ットが特定される。図６に、４つの準特徴点Ａ′、
Ｂ′、Ｃ′及びＤ′を連結して現斜方形（例えば、６
２）を発生するプロセスが例示されている。現斜方形６
２は、対象準特徴点Ｅ′を有しており、例えば、図５に
示した前斜方形５２に対応する４つの三角形Ａ′Ｂ′
Ｅ′、Ｂ′Ｃ′Ｅ′、Ｃ′Ｄ′Ｅ′及びＤ′Ａ′Ｅ′か
らなる三角形セットを有している。同図では詳細に示さ
れていないが、各々の現斜方形は、前斜方形に於ける特
徴点Ｅから求められたＮ個の候補動きベクトルによっ
て、このように４つの三角形からなるＮ個の三角形セッ
トを有する。
対するＮ個の候補動きベクトルからなる候補動きベクト
ルのサブセットによって、現斜方形内に発生されるＮ個
の対象準特徴点からなる対象準特徴点のサブセットが特
定される。準特徴点及びＮ個の対象準特徴点を特定した
後、Ｎ個の対象準特徴点の各々とその各々に隣接する２
つの準特徴点とを連結することによって、Ｎ個の対象準
特徴点の各々に対して、４つの三角形よりなる三角形セ
ットが特定される。図６に、４つの準特徴点Ａ′、
Ｂ′、Ｃ′及びＤ′を連結して現斜方形（例えば、６
２）を発生するプロセスが例示されている。現斜方形６
２は、対象準特徴点Ｅ′を有しており、例えば、図５に
示した前斜方形５２に対応する４つの三角形Ａ′Ｂ′
Ｅ′、Ｂ′Ｃ′Ｅ′、Ｃ′Ｄ′Ｅ′及びＤ′Ａ′Ｅ′か
らなる三角形セットを有している。同図では詳細に示さ
れていないが、各々の現斜方形は、前斜方形に於ける特
徴点Ｅから求められたＮ個の候補動きベクトルによっ
て、このように４つの三角形からなるＮ個の三角形セッ
トを有する。
【００３４】しかる後、Ｎ個の対象準特徴点の各々に対
して、アフィン変換技法を用いて現斜方形内の画素の予
測を行う。本技術分野では知られているように、動く物
体の回転、変換及び大きさ変更などの任意の処理はアフ
ィン変換技法により表すことができる。
して、アフィン変換技法を用いて現斜方形内の画素の予
測を行う。本技術分野では知られているように、動く物
体の回転、変換及び大きさ変更などの任意の処理はアフ
ィン変換技法により表すことができる。
【００３５】図５及び図６に示したように、現フレーム
に於ける３つの画素、即ち、２つの頂点（例えばＡ′、
Ｂ′）と対象準特徴点の一つ（例えばＥ′）とが、前斜
方形に於けるそれら各々の特徴点（例えばＡ、Ｂ及び
Ｅ）に対応する準特徴点として特定されるとすると、現
斜方形の三角形（例えば三角形Ａ′Ｂ′Ｅ′）内の画素
は、次のようなアフィン変換式（１）により前斜方形の
三角形（例えば三角形ＡＢＥ）内の画素に対応付けられ
る。
に於ける３つの画素、即ち、２つの頂点（例えばＡ′、
Ｂ′）と対象準特徴点の一つ（例えばＥ′）とが、前斜
方形に於けるそれら各々の特徴点（例えばＡ、Ｂ及び
Ｅ）に対応する準特徴点として特定されるとすると、現
斜方形の三角形（例えば三角形Ａ′Ｂ′Ｅ′）内の画素
は、次のようなアフィン変換式（１）により前斜方形の
三角形（例えば三角形ＡＢＥ）内の画素に対応付けられ
る。
【００３６】
【数１】
【００３７】ここで、（ｘ，ｙ）は現フレーム内の画素
のｘ及びｙ座標を、（ｘ′，ｙ′）は前フレーム上の予
測された画素の座標を、そしてａ、ｂ、ｃ、ｄ、ｅ、及
びｆはアフィン変換係数を表す。
のｘ及びｙ座標を、（ｘ′，ｙ′）は前フレーム上の予
測された画素の座標を、そしてａ、ｂ、ｃ、ｄ、ｅ、及
びｆはアフィン変換係数を表す。
【００３８】これらの６つのアフィン変換係数は、特徴
点と準特徴点の３つのセット（例えば、Ａ−Ａ′、Ｂ−
Ｂ′、及びＥ−Ｅ′）から得られる６つの線形方程式を
計算することによって得られる。一旦、６つのアフィン
変換係数が求められると、三角形（例えば三角形Ａ′
Ｂ′Ｅ′）内の残りの画素の各々はアフィン変換式を用
いて前フレーム内の三角形（例えば三角形ＡＢＥ）内の
１画素とマッチングされる。このようにして、現斜方形
内に含まれる各三角形内の画素は、前斜方形上で予測さ
れる。２つの連続する三角形の境界上の画素は、２つの
三角形の何れか１つから予測し得る。４つの三角形から
なる各三角形セットに対応する、予測された画素に対す
る値は、第２フレームメモリ１２４から取り出され、動
き予測ブロック２３０から減算器２３２へ提供される。
現斜方形内の画素を予測するプロセスは、４つの三角形
からなるＮ個の三角形セット全てに対して繰り返しされ
る。
点と準特徴点の３つのセット（例えば、Ａ−Ａ′、Ｂ−
Ｂ′、及びＥ−Ｅ′）から得られる６つの線形方程式を
計算することによって得られる。一旦、６つのアフィン
変換係数が求められると、三角形（例えば三角形Ａ′
Ｂ′Ｅ′）内の残りの画素の各々はアフィン変換式を用
いて前フレーム内の三角形（例えば三角形ＡＢＥ）内の
１画素とマッチングされる。このようにして、現斜方形
内に含まれる各三角形内の画素は、前斜方形上で予測さ
れる。２つの連続する三角形の境界上の画素は、２つの
三角形の何れか１つから予測し得る。４つの三角形から
なる各三角形セットに対応する、予測された画素に対す
る値は、第２フレームメモリ１２４から取り出され、動
き予測ブロック２３０から減算器２３２へ提供される。
現斜方形内の画素を予測するプロセスは、４つの三角形
からなるＮ個の三角形セット全てに対して繰り返しされ
る。
【００３９】一方、現斜方形発生器２０６は、動き予測
ブロック２３０から提供された現斜方形情報に応じて、
現斜方形の各々に対する画素値を第３フレームメモリ２
０５から減算器２３２へ提供する。
ブロック２３０から提供された現斜方形情報に応じて、
現斜方形の各々に対する画素値を第３フレームメモリ２
０５から減算器２３２へ提供する。
【００４０】しかる後、減算器２３２は、各現斜方形の
画素値から、動き予測ブロック２３０から提供される予
測された画素値を引き算することによって、現斜方形の
４つの三角形からなる各三角形セットに対して、差分画
素値を計算する。
画素値から、動き予測ブロック２３０から提供される予
測された画素値を引き算することによって、現斜方形の
４つの三角形からなる各三角形セットに対して、差分画
素値を計算する。
【００４１】エラー値計算器２３４は、４つの三角形か
らなるＮ個の三角形セットの各々に対して、差分画素値
を平均することによって、現斜方形のＮ個の三角形セッ
トの各々に対するエラー値を計算して、現斜方形の各々
に対してＮ個のエラー値からなるエラー値のセットを生
成する。
らなるＮ個の三角形セットの各々に対して、差分画素値
を平均することによって、現斜方形のＮ個の三角形セッ
トの各々に対するエラー値を計算して、現斜方形の各々
に対してＮ個のエラー値からなるエラー値のセットを生
成する。
【００４２】コンパレータ２４０は、各セットに於ける
Ｎ個のエラー値を比較し、各セットから最小のエラー値
を選択する。この比較結果に基づいて、コンパレータ２
４０は各現斜方形に対して最小のエラー値を表す選択信
号を発生した後、その信号をセレクタ２４２に加える。
セレクタ２４２は、コンパレータ２４０からの選択信号
に応じて、動きベクトル変位発生器２１８からの対応す
るＮ個の候補動きベクトルからなる候補動きベクトルの
サブセットから、選択されたエラー値に対応する候補動
きベクトルを、各特徴点に対する真の動きベクトルとし
て選択する。その後、その選択された各特徴点の真の動
きベクトルの各々は、図１に示したラインＬ２０を通じ
て現フレーム動きベクトル検知ブロック１２６へ提供さ
れる。
Ｎ個のエラー値を比較し、各セットから最小のエラー値
を選択する。この比較結果に基づいて、コンパレータ２
４０は各現斜方形に対して最小のエラー値を表す選択信
号を発生した後、その信号をセレクタ２４２に加える。
セレクタ２４２は、コンパレータ２４０からの選択信号
に応じて、動きベクトル変位発生器２１８からの対応す
るＮ個の候補動きベクトルからなる候補動きベクトルの
サブセットから、選択されたエラー値に対応する候補動
きベクトルを、各特徴点に対する真の動きベクトルとし
て選択する。その後、その選択された各特徴点の真の動
きベクトルの各々は、図１に示したラインＬ２０を通じ
て現フレーム動きベクトル検知ブロック１２６へ提供さ
れる。
【００４３】上記に於いて、本発明の特定の実施例につ
いて説明したが、請求項に記載の本発明の範囲を逸脱す
ることなく当業者は種々の改変をなし得るであろう。
いて説明したが、請求項に記載の本発明の範囲を逸脱す
ることなく当業者は種々の改変をなし得るであろう。
【００４４】
【発明の効果】従って、本発明によれば、現フレームと
その以前フレームとを用いて、選択された画素の動きベ
クトルを正確に特定することができる。
その以前フレームとを用いて、選択された画素の動きベ
クトルを正確に特定することができる。
【図１】本発明の動き推定装置（動き推定ブロック）を
採用した映像信号符号化器のブロック図である。
採用した映像信号符号化器のブロック図である。
【図２】図１に示された動き推定装置（動き推定ブロッ
ク）の詳細ブロック図である。
ク）の詳細ブロック図である。
【図３】特徴点を規定する例示的なフレームを示した図
である。
である。
【図４】本発明の好適な実施例により、特徴点を選択す
るための四角形グリッドの形態を例示する図である。
るための四角形グリッドの形態を例示する図である。
【図５】前フレームに於ける斜方形の形成を例示する図
である。
である。
【図６】現フレームに於ける斜方形の形成を例示する図
である。
である。
５２ 前斜方形 ６２ 現斜方形 １００ 第１フレームメモリ １０２ 減算器 １０５ 映像信号符号化器 １０７ エントロピー符号化器 １１３ 映像信号復号化器 １１５ 加算器 １２４ 第２フレームメモリ １２６ 現フレーム動きベクトル検知ブロック １３０ 動き補償ブロック ２００ 動き推定ブロック ２０５ 第３フレームメモリ ２０６ 現斜方形発生器 ２１０ 特徴点選択ブロック ２１２ 特徴点動きベクトル検知ブロック ２１６ 斜方形発生器 ２１４ 動きベクトル格納ユニット ２１８ 動きベクトル変位発生器 ２３０ 動き予測ブロック ２３２ 減算器 ２３４ エラー値計算器 ２４０ コンパレータ ２４２ セレクタ Ａ 特徴点 Ｂ 特徴点 Ｃ 特徴点 Ｄ 特徴点 Ｅ 対象特徴点 Ａ′ 準特徴点 Ｂ′ 準特徴点 Ｃ′ 準特徴点 Ｄ′ 準特徴点 Ｅ′ 対象準特徴点
Claims (6)
- 【請求項１】 現フレームとその前フレームとの間
で、前記前フレーム上にマップピングされた四角形グリ
ッドのノード上に位置する画素の位置により規定される
特徴点に対する真の動きベクトルを特定する動きベクト
ル特定方法であって、 （ａ）前記特徴点の各々を対象特徴点として順次選択す
る過程であって、該対象特徴点は、それに隣接する４つ
の特徴点により取り囲まれることによって前斜方形を規
定し、該前斜方形は前記対象特徴点とそれに隣接する２
つの特徴点とを連結することによって形成される４つの
三角形からなる三角形セットを有する該過程と、 （ｂ）前記特徴点に対する１セットの初期動きベクトル
を、前記現フレームとその前フレームとを用いて検知す
る過程と、 （ｃ）前記対象特徴点の各々に対応する初期動きベクト
ルの各々に、予め定められたＮ個の変位を加えることに
よって、Ｎ個の候補動きベクトルからなる候補動きベク
トルのサブセットを発生する過程と、 （ｄ）前記前フレームに於ける前記前斜方形の各々に対
応する前記現フレームに於ける現斜方形を、前記第１セ
ットの初期動きベクトルを用いて規定する過程と、 （ｅ）前記Ｎ個の候補動きベクトルに基づいて、前記現
斜方形内に形成される４つの三角形からなるＮ個の三角
形セットを発生する過程と、 （ｆ）前記各々の現斜方形の前記４つの三角形からなる
Ｎ個の三角形セットの各々に対して、各三角形に含まれ
る各画素に対する予測された画素を前記前フレームから
取り出して、各画素に対する予測画素値を発生する過程
と、 （ｇ）前記各画素の画素値から予測画素値を引き算する
ことによって、前記４つの三角形よりなる三角形セット
の各々に含まれる前記各画素に対する差分画素値を発生
する過程と、 （ｈ）前記Ｎ個の三角形セットの各々に対して、前記差
分画素値を平均することによって、前記Ｎ個の三角形セ
ットの各々に対応するＮ個のエラー値を計算する過程
と、 （ｉ）前記Ｎ個のエラー値を比較して、最小のエラー値
を一つ選択する過程と、 （ｊ）前記選択された最小のエラー値に対応する候補動
きベクトルを真の動きベクトルとして、前記Ｎ個の候補
動きベクトルから選択する過程とを含むことを特徴とす
る動きベクトル特定方法。 - 【請求項２】 前記現斜方形を規定する過程（ｄ）
が、 前記特徴点及びその動きベクトルに基づいて前記現フレ
ーム内の対応する準特徴点を特定し、前記前斜方形を規
定する特徴点に対応する準特徴点を連結することにより
前記現斜方形を形成する過程を含むことを特徴とする請
求項１に記載の動きベクトル特定方法。 - 【請求項３】 前記予測画素値の生成過程（ｆ）が、 前記各三角形を形成する準特徴点とそれらの準特徴点に
対応する特徴点との間の位置関係に基づいて、前記各三
角形内の画素に対する予測された位置を前記前フレーム
上で特定する過程と、 前記予測された位置に基づいて、前記各画素に対する予
測画素値を提供する過程とを含むことを特徴とする請求
項２に記載の動きベクトル特定方法。 - 【請求項４】 現フレームとその以前フレームとの間
で、前記前フレーム上にマップピングされた四角形グリ
ッドのノード上に位置する画素の位置により規定される
特徴点に対する真の動きベクトルを特定するための動き
ベクトル特定装置であって、 （ａ）前記特徴点の各々を対象特徴点として順次選択す
る手段であって、該対象特徴点は、それに隣接する４つ
の特徴点により取り囲まれることによって前斜方形を規
定し、該前斜方形は前記対象特徴点とそれに隣接する２
つの特徴点とを連結することによって形成される４つの
三角形からなる三角形セットを有する該手段と、 （ｂ）前記特徴点に対する１セットの初期動きベクトル
を、前記現フレームとその前フレームとを用いて検知す
る検知手段と、 （ｃ）前記対象特徴点の各々に対応する初期動きベクト
ルの各々に、予め定められたＮ個の変位を加えることに
よって、Ｎ個の候補動きベクトルからなる候補動きベク
トルのサブセットを発生する手段と、 （ｄ）前記前フレームに於ける前記前斜方形の各々に対
応する前記現フレームに於ける現斜方形を、前記第１セ
ットの初期動きベクトルを用いて規定する手段と、 （ｅ）前記Ｎ個の候補動きベクトルに基づいて、前記現
斜方形内に形成される４つの三角形からなるＮ個の三角
形セットを発生する手段と、 （ｆ）前記各々の現斜方形の前記４つの三角形からなる
Ｎ個の三角形セットの各々に対して、各三角形に含まれ
る各画素に対する予測された画素を前記前フレームから
取り出して、各画素に対する予測画素値を発生する手段
と、 （ｇ）前記各画素の画素値から予測画素値を引き算する
ことによって、前記４つの三角形よりなる三角形セット
の各々に含まれる前記各画素に対する差分画素値を発生
する手段と、 （ｈ）前記Ｎ個の三角形セットの各々に対して、前記差
分画素値を平均することによって、前記Ｎ個の三角形セ
ットの各々に対応するＮ個のエラー値を計算する手段
と、 （ｉ）前記Ｎ個のエラー値を比較して、最小のエラー値
を一つ選択する手段と、 （ｊ）前記選択された最小のエラー値に対応する候補動
きベクトルを真の動きベクトルとして、前記Ｎ個の候補
動きベクトルから選択する手段とを含むことを特徴とす
る動きベクトル特定装置。 - 【請求項５】 前記現斜方形を規定する手段が、 前記特徴点及びその動きベクトルに基づいて前記現フレ
ーム内の対応する準特徴点を特定し、前記前斜方形を規
定する特徴点に対応する準特徴点を連結することにより
前記現斜方形を形成する手段を含むことを特徴とする請
求項４に記載の動きベクトル特定装置。 - 【請求項６】 前記予測画素値の生成手段が、 前記各三角形を形成する準特徴点とそれらの準特徴点に
対応する特徴点との間の位置関係に基づいて、前記各三
角形内の画素に対する予測された位置を前記前フレーム
上で特定する手段と、 前記予測された位置に基づいて、前記各画素に対する予
測画素値を提供する手段とを含むことを特徴とする請求
項５に記載の動きベクトル特定装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019950005713A KR0171146B1 (ko) | 1995-03-18 | 1995-03-18 | 특징점을 이용한 움직임 벡터 검출 장치 |
| KR1995P5713 | 1995-03-18 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH08265781A true JPH08265781A (ja) | 1996-10-11 |
Family
ID=19410075
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18208895A Pending JPH08265781A (ja) | 1995-03-18 | 1995-06-26 | 動きベクトル特定方法及び装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US5581308A (ja) |
| EP (1) | EP0734178A3 (ja) |
| JP (1) | JPH08265781A (ja) |
| KR (1) | KR0171146B1 (ja) |
| CN (1) | CN1131876A (ja) |
Families Citing this family (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR0170932B1 (ko) * | 1994-12-29 | 1999-03-20 | 배순훈 | 영상의 시각적, 기하학적 특성에 따른 고속 움직임 추정장치 |
| KR100235343B1 (ko) * | 1994-12-29 | 1999-12-15 | 전주범 | 영역분할 기법을 이용한 동영상신호 부호화기의 움직임 벡터 측정장치 |
| KR0181029B1 (ko) * | 1995-03-15 | 1999-05-01 | 배순훈 | 에지를 이용한 특징점 선정장치 |
| KR0171120B1 (ko) * | 1995-04-29 | 1999-03-20 | 배순훈 | 특징점 기반 움직임 보상을 이용한 비디오 신호 부호화에서의 움직임 영역 설정방법 및 장치 |
| US5668608A (en) * | 1995-07-26 | 1997-09-16 | Daewoo Electronics Co., Ltd. | Motion vector estimation method and apparatus for use in an image signal encoding system |
| JP2798120B2 (ja) * | 1995-08-04 | 1998-09-17 | 日本電気株式会社 | 動き補償フレーム間予測方法及び動き補償フレーム間予測装置 |
| KR100207390B1 (ko) * | 1995-09-15 | 1999-07-15 | 전주범 | 계층적인 움직임 추정기법을 이용하는 음직임 벡터 검출방법 |
| US5949919A (en) * | 1995-10-05 | 1999-09-07 | Microsoft Corporation | Precompression extrapolation method |
| US6084908A (en) * | 1995-10-25 | 2000-07-04 | Sarnoff Corporation | Apparatus and method for quadtree based variable block size motion estimation |
| KR100209793B1 (ko) * | 1995-10-28 | 1999-07-15 | 전주범 | 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치 |
| US5963272A (en) * | 1995-10-31 | 1999-10-05 | Sarnoff Corporation | Method and apparatus for generating a reference image from an image sequence |
| US5838828A (en) * | 1995-12-12 | 1998-11-17 | Massachusetts Institute Of Technology | Method and apparatus for motion estimation in a video signal |
| US5764283A (en) * | 1995-12-29 | 1998-06-09 | Lucent Technologies Inc. | Method and apparatus for tracking moving objects in real time using contours of the objects and feature paths |
| US6181747B1 (en) * | 1996-02-01 | 2001-01-30 | Hughes Electronics Corporation | Methods and systems for high compression rate encoding and decoding of quasi-stable objects in video and film |
| US5982438A (en) * | 1996-03-22 | 1999-11-09 | Microsoft Corporation | Overlapped motion compensation for object coding |
| US6037988A (en) * | 1996-03-22 | 2000-03-14 | Microsoft Corp | Method for generating sprites for object-based coding sytems using masks and rounding average |
| US5982909A (en) * | 1996-04-23 | 1999-11-09 | Eastman Kodak Company | Method for region tracking in an image sequence using a two-dimensional mesh |
| JPH1098729A (ja) * | 1996-09-20 | 1998-04-14 | Hitachi Ltd | フレーム間予測画像の合成方法 |
| US5940129A (en) * | 1996-12-06 | 1999-08-17 | Hughes Electronics Corporation | Methods and systems for super compression of prior known objects in video and film |
| US6400831B2 (en) | 1998-04-02 | 2002-06-04 | Microsoft Corporation | Semantic video object segmentation and tracking |
| US6711278B1 (en) | 1998-09-10 | 2004-03-23 | Microsoft Corporation | Tracking semantic objects in vector image sequences |
| US6438254B1 (en) * | 1999-03-17 | 2002-08-20 | Matsushita Electric Industrial Co., Ltd. | Motion vector detection method, motion vector detection apparatus, and data storage media |
| US7663695B2 (en) * | 2000-05-05 | 2010-02-16 | Stmicroelectronics S.R.L. | Method and system for de-interlacing digital images, and computer program product therefor |
| EP1511311B1 (en) * | 2003-08-26 | 2007-04-04 | STMicroelectronics S.r.l. | Method and system for de-interlacing digital images, and computer program product therefor |
| EP1152621A1 (en) * | 2000-05-05 | 2001-11-07 | STMicroelectronics S.r.l. | Motion estimation process and system. |
| US7327787B1 (en) * | 2000-11-20 | 2008-02-05 | Intel Corporation | Method and apparatus for motion estimation |
| JP4197434B2 (ja) * | 2001-02-21 | 2008-12-17 | エヌエックスピー ビー ヴィ | 動き推定の容易化 |
| JP2003199111A (ja) * | 2001-12-27 | 2003-07-11 | Matsushita Electric Ind Co Ltd | 予測装置、符号化装置、逆予測装置、復号装置、及び、演算装置 |
| US6983020B2 (en) * | 2002-03-25 | 2006-01-03 | Citrix Online Llc | Method and apparatus for fast block motion detection |
| WO2005059831A1 (en) * | 2003-12-11 | 2005-06-30 | Philips Intellectual Property & Standards Gmbh | Elastic image registration |
| JP4311258B2 (ja) * | 2004-04-02 | 2009-08-12 | ソニー株式会社 | 係数データの生成装置および生成方法、係数種データの生成装置および生成方法、情報信号処理装置、並びにプログラムおよびそれを記録した記録媒体 |
| US7616782B2 (en) * | 2004-05-07 | 2009-11-10 | Intelliview Technologies Inc. | Mesh based frame processing and applications |
| US7589720B2 (en) * | 2004-08-04 | 2009-09-15 | Microsoft Corporation | Mesh editing with gradient field manipulation and user interactive tools for object merging |
| TWI243600B (en) * | 2004-09-17 | 2005-11-11 | Primax Electronics Ltd | Selected area comparison method with high-operational efficient |
| US8243805B2 (en) * | 2006-11-14 | 2012-08-14 | Microsoft Corporation | Video completion by motion field transfer |
| KR101369224B1 (ko) * | 2007-03-28 | 2014-03-05 | 삼성전자주식회사 | 움직임 보상 필터링을 이용한 영상 부호화, 복호화 방법 및장치 |
| US8509552B1 (en) * | 2009-03-09 | 2013-08-13 | Marvell International Ltd. | Digital image processing error concealment method |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5048112A (en) * | 1990-04-25 | 1991-09-10 | Hughes Aircraft Company | Data decompression system and method |
| SE9002647L (sv) * | 1990-08-15 | 1991-09-02 | Televerket | Metod foer roerelsekompensering och elastisk deformation i bildsekvenser |
| FR2670923A1 (fr) * | 1990-12-21 | 1992-06-26 | Philips Lab Electronique | Dispositif de correlation. |
| US5453800A (en) * | 1991-10-17 | 1995-09-26 | Sony Corporation | Apparatus for judging a hand movement of an image |
| JP3068304B2 (ja) * | 1992-01-21 | 2000-07-24 | 日本電気株式会社 | 動画像符号化方式および復号化方式 |
| JP2789967B2 (ja) * | 1992-11-02 | 1998-08-27 | 松下電器産業株式会社 | 動きベクトル検出装置 |
| FI97008C (fi) * | 1993-06-02 | 1996-09-25 | Nokia Oy Ab | Menetelmä videokuvan ennustamiseksi käsittelyjärjestyksessä edellisen kuvan perusteella |
| US5398068A (en) * | 1993-09-02 | 1995-03-14 | Trustees Of Princeton University | Method and apparatus for determining motion vectors for image sequences |
-
1995
- 1995-03-18 KR KR1019950005713A patent/KR0171146B1/ko not_active IP Right Cessation
- 1995-05-22 US US08/446,351 patent/US5581308A/en not_active Expired - Lifetime
- 1995-05-24 EP EP19950107989 patent/EP0734178A3/en not_active Withdrawn
- 1995-06-02 CN CN95105516A patent/CN1131876A/zh active Pending
- 1995-06-26 JP JP18208895A patent/JPH08265781A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP0734178A2 (en) | 1996-09-25 |
| US5581308A (en) | 1996-12-03 |
| CN1131876A (zh) | 1996-09-25 |
| EP0734178A3 (en) | 1998-05-27 |
| KR0171146B1 (ko) | 1999-03-20 |
| KR960036750A (ko) | 1996-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5581308A (en) | Method and apparatus for determining true motion vectors for selected pixels | |
| US5668608A (en) | Motion vector estimation method and apparatus for use in an image signal encoding system | |
| KR0171118B1 (ko) | 비디오신호 부호화 장치 | |
| US5760846A (en) | Apparatus for estimating motion vectors for feature points of a video signal | |
| US5612743A (en) | Method for encoding a video signal using feature point based motion estimation | |
| US5689306A (en) | Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction | |
| US5546129A (en) | Method for encoding a video signal using feature point based motion estimation | |
| US5751362A (en) | Apparatus for encoding a video signal using feature point based motion estimation | |
| US5673339A (en) | Method for encoding a video signal using feature point based motion estimation | |
| US5619281A (en) | Method and apparatus for detecting motion vectors in a frame decimating video encoder | |
| JP4242656B2 (ja) | 動きベクトル予測方法及び動きベクトル予測装置 | |
| US5686973A (en) | Method for detecting motion vectors for use in a segmentation-based coding system | |
| KR100209793B1 (ko) | 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치 | |
| US5638129A (en) | Image processing apparatus using a pixel-by-pixel motion estimation based on feature points | |
| US5627591A (en) | Image processing system using a pixel-by-pixel motion estimation based on feature points | |
| JP3681784B2 (ja) | 映像信号符号化装置 | |
| US5731851A (en) | Method for determining feature points based on hierarchical block searching technique | |
| US6020925A (en) | Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction | |
| JP2955526B2 (ja) | 動画像符号化方法及び装置 | |
| US5625417A (en) | Image processing system using a feature point-based motion estimation | |
| KR0178228B1 (ko) | 이미지 신호 복호화용 개선된 움직임 벡터 추정 방법 및 장치 | |
| KR0174455B1 (ko) | 화소단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치 | |
| JP2765528B2 (ja) | 半画素精度動きベクトル探索装置 | |
| JPH08205176A (ja) | 映像信号符号化装置及び映像信号符号化方法 | |
| JPH0946711A (ja) | 動きベクトル推定方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040608 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041102 |