[go: up one dir, main page]

JPH1175203A - Motion vector detector - Google Patents

Motion vector detector

Info

Publication number
JPH1175203A
JPH1175203A JP17318998A JP17318998A JPH1175203A JP H1175203 A JPH1175203 A JP H1175203A JP 17318998 A JP17318998 A JP 17318998A JP 17318998 A JP17318998 A JP 17318998A JP H1175203 A JPH1175203 A JP H1175203A
Authority
JP
Japan
Prior art keywords
block
search
motion vector
sub
search block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP17318998A
Other languages
Japanese (ja)
Inventor
Sung-Joo Park
省柱 朴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WiniaDaewoo Co Ltd
Original Assignee
Daewoo Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daewoo Electronics Co Ltd filed Critical Daewoo Electronics Co Ltd
Publication of JPH1175203A publication Critical patent/JPH1175203A/en
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • G06T7/238Analysis of motion using block-matching using non-full search, e.g. three-step search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/53Multi-resolution motion estimation; Hierarchical motion estimation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20064Wavelet transform [DWT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a motion vector detector by which a motion vector of a wavelet transformed video signal is detected through pattern classification. SOLUTION: The motion vector detector includes a current wavelet division section 410 that applies wavelet transformation to a current frame to generate M-sets of hierarchical current video images, a preceding wavelet division section 430 that applies wavelet transformation to a preceding frame to generate M-sets of hierarchical current video images, a retrieval block pattern classification section that classifies a retrieval block at a lowermost layer into any of prescribed patterns, an object block pattern classification section that classifies each object block corresponding to the retrieved block into any of prescribed patterns, and a motion estimate section 420 that retrieves an optimum object block based on the patterns to detect a displacement vector and obtains a displacement vector with respect to the retrieval block at the highermost layer based on the displacement vector so as to decide it as a motion vector.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、動きベクトル推定
装置に関し、特に、パターン分類によってウェーブレッ
ト変換映像信号の動きベクトルを検出する動きベクトル
検出装置に関する。
The present invention relates to a motion vector estimating apparatus, and more particularly, to a motion vector estimating apparatus for detecting a motion vector of a wavelet-transformed video signal by pattern classification.

【0002】[0002]

【従来の技術】離散的ウェーブレット変換(discrete wa
velet transform;DWT)技法は、不安定な映像信号を表現
するのに適するフレキシビリティと人間視覚特性に適す
る性質とのため、最近、映像処理分野において相当な関
心を持たれている。ウェーブレット表現は、時間及び周
波数の関数として表される映像信号の多解像度/多周波
数の表現を提供する。
2. Description of the Related Art Discrete wavelet transform (discrete wa
The velet transform (DWT) technique has recently received considerable interest in the field of video processing due to its flexibility for representing unstable video signals and its properties for human visual characteristics. Wavelet representations provide a multi-resolution / multi-frequency representation of a video signal expressed as a function of time and frequency.

【0003】このような多能は、映像及びビデオの符号
化の際に役に立つ。自然的な映像及びビデオは不安定な
性質を有するので、ウェーブレット変換は各成分を比較
的安定化させ符号化に適するように、不安定な信号を多
拡張(multi-scaled)ウェーブレットに分割する。また、
多様な符号化方法及びパラメータが各ウェーブレットの
統計的特性に適用可能であるので、各々の安定な成分の
符号化が全体的に不安定な信号の符号化よりより効果的
である。さらに、ウェーブレットの表現は、精神物理学
及び生理学の研究で報告されたように、人間視覚の経験
する空間変調、周波数変調された性質に良好に附合して
いる。
[0003] Such versatility is useful in video and video encoding. Because natural video and video have unstable properties, the wavelet transform splits the unstable signal into multi-scaled wavelets so that each component is relatively stable and suitable for coding. Also,
Since a variety of coding methods and parameters are applicable to the statistical properties of each wavelet, coding each stable component is more effective than coding a totally unstable signal. In addition, the wavelet representation is well tied to the spatially and frequency-modulated nature of human vision as reported in psychophysical and physiological studies.

【0004】例えば、1995年12月19日にYa-Qin Zhang氏
に許与された米国特許第5,477,272号に開示されたよう
な典型的なウェーブレット分割技法においては、ビデオ
フレームは相異なる解像度を有する複数の階層に分割さ
れ、同一の階層における各サブ映像は相異なる周波数帯
域に対応する。図1は、通常のウェーブレット分割過程
を説明する模式図である。現フレームS1 が第1ウェー
ブレット分割部110 に入力され、階層1の各サブ映像、
即ち、S2 、W2 1、W2 2、W2 に分割される。その後、
サブ映像S2 は第2ウェーブレット分割部120 に入力さ
れ、階層2の各サブ映像、即ち、S4 、W4 1、W4 2、W
4 3に分割される。続けて、サブ映像S4は第3ウェーブ
レット分割部130 に入力され、階層2の各サブ映像、即
ち、S8、W8 1、W8 2、W8 3に分割される。
In a typical wavelet segmentation technique, for example, as disclosed in US Pat. No. 5,477,272 granted to Ya-Qin Zhang on Dec. 19, 1995, video frames have different resolutions. It is divided into a plurality of layers, and each sub-image in the same layer corresponds to a different frequency band. FIG. 1 is a schematic diagram illustrating a normal wavelet division process. The current frame S 1 is input to the first wavelet splitting unit 110, and each sub-image of layer 1 is
That is split into S 2, W 2 1, W 2 2, W 2. afterwards,
Sub video S 2 is input to the second wavelet decomposition unit 120, each sub-picture of the hierarchy 2, i.e., S 4, W 4 1, W 4 2, W
Divided into 4 3 Subsequently, the sub-picture S 4 is inputted to the third wavelet decomposition unit 130, each sub-picture of the hierarchy 2, i.e., is divided into S 8, W 8 1, W 8 2, W 8 3.

【0005】これらのサブ映像はピラミッド構造をなし
て、図2に示すような画像表現を提供する。ウェーブレ
ット変換された現フレームS1 は2レベルの解像度深さ
を有し、各階層における3個のサブ映像及び1つのロー
パスサブ映像よりなる10個のサブ映像から構成される。
サブ映像S4 は、サブ映像S8 と階層3におけるサブ映
像W8 1、W8 2、W8 3との組み合せによって形成され、サ
ブ映像S2 は、サブ映像S4 と階層2におけるサブ映像
4 1、W4 2、W4 3との組み合せによって形成され、現フ
レームS1 は、サブ映像S2 と階層1におけるサブ映像
2 1、W2 2、W 2 3との組み合せによって形成される。
[0005] These sub-pictures have a pyramid structure.
Thus, an image representation as shown in FIG. 2 is provided. Wavy
Current frame S converted1Is two levels of resolution depth
And three sub-pictures and one row in each layer
It consists of 10 sub-images consisting of pass sub-images.
Sub-picture SFourIs the sub-picture S8And sub-screens in hierarchy 3
Statue W8 1, W8 Two, W8 ThreeFormed in combination with
Video STwoIs the sub-picture SFourAnd sub-pictures in layer 2
WFour 1, WFour Two, WFour ThreeFormed by the combination of
Laem S1Is the sub-picture STwoAnd sub-pictures in layer 1
WTwo 1, WTwo Two, W Two ThreeIs formed in combination with

【0006】図3は、通常の多解像度動き推定 (multi-
resolution motion estimation;MRME) 法を説明する模
式図である。まず、現フレームS1 が分割されて複数の
サブ映像S8 、W8 1、W8 2、W8 3、W4 1、W4 2、W3
2 1、W2 2、W2 3が生成され、また前フレームPS1
分割されて複数のサブ映像PS8 、PW8 1、PW8 2、P
8 3、PW4 1、PW4 2、PW4 3、PW2 1、PW2 2、PW
2 3が生成される。ここで、前フレームPS1 と該当サブ
映像PS8 、PW8 1、PW8 2、PW8 3、PW4 1、P
4 2、PW4 3、PW2 1、PW2 2、PW2 3は説明の便宜上
省略する。
FIG. 3 shows a conventional multi-resolution motion estimation.
FIG. 3 is a schematic diagram illustrating a resolution motion estimation (MRME) method. First, a plurality of sub-images S 8 the current frame S 1 is divided, W 8 1, W 8 2 , W 8 3, W 4 1, W 4 2, W 3,
W 2 1, W 2 2, W 2 3 are generated, also the previous frame PS 1 is divided a plurality of sub-images PS 8, PW 8 1, PW 8 2, P
W 8 3, PW 4 1, PW 4 2, PW 4 3, PW 2 1, PW 2 2, PW
2 3 is generated. Here, the previous frame PS 1 and the corresponding sub image PS 8, PW 8 1, PW 8 2, PW 8 3, PW 4 1, P
W 4 2, PW 4 3, PW 2 1, PW 2 2, PW 2 3 are omitted for convenience of explanation.

【0007】その後、現フレームS1 における各サブ映
像は複数の探索ブロックに分けられる。同一階層に属し
ているサブ映像内の各探索ブロックの大きさは互いに同
一である。最上位階層Mに属しているサブ映像内の探索
ブロックの大きさがP×Pであると、階層mに属してい
るサブ映像内の探索ブロックの大きさはP・2M-m ×P
・2M-m となる。ここで、M、P及びmは各々正の整数
であって、典型的にM、Pの値は3、2である。
Thereafter, each sub-picture in the current frame S 1 is divided into a plurality of search blocks. The size of each search block in the sub-video belonging to the same hierarchy is the same. If the size of the search block in the sub-picture belonging to the highest hierarchy M is P × P, the size of the search block in the sub-picture belonging to the hierarchy m is P · 2 Mm × P
・ 2 Mm . Here, M, P and m are each a positive integer, and the values of M and P are typically 3 and 2, respectively.

【0008】然る後、各サブ映像における各探索ブロッ
クは、前フレームPS1 の該当サブ映像に基づいて動き
推定される。例えば、図3中で、サブ映像S8 における
探索ブロック302 が通常のブロック整合アルゴリズムに
よって動き推定されると仮定する。この場合、サブ映像
8 における探索ブロック302 に対応する探索領域が前
サブ映像PS8 で形成され、複数の候補ブロックが該当
探索領域で生成される。次に、サブ映像S8 における探
索ブロック302 と各候補ブロックとの間のエラー値が計
算される。このエラー値は、例えば、サブ映像S8 にお
ける探索ブロック302 の画素値と候補ブロックの該当画
素値との間の平均絶対エラーである。
[0008] Thereafter, each search block in each sub-picture is motion estimated based prior to the relevant sub-picture frames PS 1. For example, in FIG. 3, it is assumed that the search block 302 in the sub-image S 8 is motion-estimated by a normal block matching algorithm. In this case, a search area corresponding to the search block 302 in the sub-image S 8 is formed in the previous sub-image PS 8 , and a plurality of candidate blocks are generated in the corresponding search area. Then, error values between the search block 302 and the candidate block in the sub-picture S 8 is calculated. This error value is, for example, an average absolute error between the corresponding pixel values of the candidate block of the search block 302 in the sub-image S 8.

【0009】計算されたエラー値のうち、最小のエラー
値が選択され、サブ映像S8 における探索ブロック302
と最小のエラー値をもたらす最適候補ブロック304 との
間の差分が検出される。この差分値は、サブ映像S8
おける探索ブロック302 の動きベクトルMVS8 として決
定される。
[0009] Of the calculated error value, the minimum error value is selected, the search in the sub-picture S 8 block 302
And the difference between the best candidate block 304 that yields the smallest error value is detected. This difference value is determined as the motion vector MVS 8 of the search block 302 in the sub-picture S 8 .

【0010】この動きベクトルMVS8 に基づいて、サ
ブ映像W8 1における探索ブロック306 に対応する探索領
域がサブ映像PW8 1で形成されることで、探索ブロック
306に対する動き推定が行われる。詳述すると、サブ映
像PW8 1において、サブ映像W8 1における探索ブロック
306 の位置と同一の位置が検出され、検出位置は動きベ
クトルMVS8 だけ変位される。その後、サブ映像PW
8 1における探索領域が変位位置の周りに形成され、サブ
映像W8 1における探索ブロック306 がサブ映像S8 にお
ける探索ブロック302 と同一の方法にて動き推定される
ことによって、最適候補ブロック308 がその探索領域で
検出される。その後、サブ映像W8 2、W 8 3における各探
索ブロックも、サブ映像W8 1における探索ブロック306
と同一の方法にて動き推定される。
This motion vector MVS8Based on
Video W8 1Search area corresponding to search block 306 in
Area is sub-picture PW8 1The search block is formed by
Motion estimation for 306 is performed. To elaborate,
Image PW8 1At the sub-picture W8 1Search block in
The same position as the position 306 is detected, and the detected position is
Kutor MVS8Is only displaced. After that, the sub video PW
8 1The search area at is formed around the displacement position and
Video W8 1The search block 306 in the sub-image S8In
Motion estimation using the same method as the search block 302
Thus, the best candidate block 308 is
Is detected. Then, the sub video W8 Two, W 8 ThreeEach search in
The sub block W8 1Search block 306 in
The motion is estimated in the same manner as

【0011】拡張動きベクトル2MVS8 に基づいて、
サブ映像W4 1における探索ブロック310 に対応する探索
領域がサブ映像PW4 1で形成されることによって、探索
ブロック310 に対する動き推定が行われる。即ち、サブ
映像PW4 1において、サブ映像W4 1における探索ブロッ
ク310 の位置と同一の位置が検出され、検出位置は動き
ベクトル2MVS8 だけ変位される。その後、サブ映像
PW4 1における探索領域が変位位置の周りに形成され、
サブ映像W4 1における探索ブロック310 がサブ映像W8 1
における探索ブロック306 と同一の方法にて動き推定さ
れることによって、最適候補ブロック312 がその探索領
域で検出される。その後、サブ映像W4 2、W4 3における
各探索ブロックも、サブ映像W4 1における探索ブロック
310 と同一の方法にて動き推定される。
[0011] Based on the extended motion vector 2 MVS 8 ,
By searching the area corresponding to the search block 310 in the sub-picture W 4 1 are formed in the sub-picture PW 4 1, motion estimation is performed for the search block 310. That is, in the sub image PW 4 1, the same position and the position of the search block 310 in the sub-picture W 4 1 is detected, the detection position is displaced by the motion vector 2MVS 8. Then, the search area in the sub video PW 4 1 is formed around the displaced position,
Sub video W 4 search block 310 is a sub video W 8 1 in 1
The optimal candidate block 312 is detected in the search area by performing motion estimation in the same manner as the search block 306 in. Then, even the search block in the sub image W 4 2, W 4 3, the search block in the sub-picture W 4 1
Motion estimation is performed in the same way as 310.

【0012】拡張動きベクトル4MVS8 に基づいて、
サブ映像W2 1における探索ブロック314 に対応する探索
領域がサブ映像PW2 1で形成されることによって、探索
ブロック314 に対する動き推定が行われる。即ち、サブ
映像PW2 1において、サブ映像W2 1における探索ブロッ
ク314 の位置と同一の位置が検出され、検出位置は動き
ベクトル4MVS8 だけ変位される。その後、サブ映像
PW2 1における探索領域が変位位置の周りに形成され、
サブ映像W2 1における探索ブロック314 がサブ映像W4 1
における探索ブロック310 と同一の方法にて動き推定さ
れることによって、最適候補ブロック316 がその探索領
域で検出される。その後、サブ映像W2 2、W2 3における
各探索ブロックも、サブ映像W2 1における探索ブロック
314 と同一の方法にて動き推定される。
[0012] Based on the extended motion vector 4MVS 8 ,
By searching the area corresponding to the search block 314 in the sub-picture W 2 1 is formed by the sub-picture PW 2 1, motion estimation is performed for the search block 314. That is, in the sub image PW 2 1, the same position and the position of the search block 314 in the sub-picture W 2 1 is detected, the detection position is displaced by the motion vector 4MVS 8. Then, the search area in the sub video PW 2 1 is formed around the displaced position,
Sub video W 2 search block 314 in one sub-image W 4 1
By performing motion estimation in the same manner as in the search block 310, the optimal candidate block 316 is detected in the search area. Then, even the search block in the sub image W 2 2, W 2 3, the search block in the sub-picture W 2 1
Motion estimation is performed in the same manner as in 314.

【0013】一方、サブ映像W2 1における探索ブロック
314に対応する最適候補ブロック316が図3に示すように
検出される場合、サブ映像W2 1における探索ブロック31
4から最適候補ブロック316 までの変位はMVW2 1であ
る。その後、4MVS8 とMVW2 1との間の差分が計算
されて、サブ映像W2 1における探索ブロック314 の動き
ベクトル差分MVDW2 1として出力される。
[0013] On the other hand, the search block in the sub-image W 2 1
If the best candidate block 316 corresponding to 314 is detected as shown in FIG. 3, the search in the sub image W 2 1 Block 31
Displacement from 4 to the best candidate block 316 is MVW 2 1. Then, it is computed difference between the 4MVS 8 and MVW 2 1, is outputted as a motion vector differential MVDW 2 1 of the search block 314 in the sub-picture W 2 1.

【0014】このようなMRME法においては、全てのサブ
映像に対する動きベクトルが検出され伝送されるので、
計算過程が複雑である。このため、低周波数帯域に該当
するサブ映像のみに適用する動き推定法が、図4に示す
ように提案されている。この新規な技法は、サブ映像S
8 が現フレームS1 より1/64程度の大きさに過ぎない
が、現フレームS1 に存在する総エネルギのほぼ大部分
を含んでおり、人間視覚が高周波数帯域よりは低周波数
帯域で生じるエラーにより敏感であるという概念に基づ
く。
In such an MRME method, since motion vectors for all sub-pictures are detected and transmitted,
The calculation process is complicated. For this reason, a motion estimation method applied to only the sub-video corresponding to the low frequency band has been proposed as shown in FIG. This new technique is based on the sub-picture S
8 but it is only a size of about 1/64 the current frame S 1, includes a substantially large portion of the total energy present in the current frame S 1, resulting in a low frequency band than human vision high frequency band Based on the concept of being more sensitive to errors.

【0015】この技法によれば、サブ映像S8 における
探索ブロック318 と該当最適候補ブロック320 との間の
動きベクトルMV8 は2倍拡張され、サブ映像S4 にお
ける探索ブロック322 の初期動きベクトルとして用いら
れて動きベクトルMV4 及び動きベクトル差分MVD4
を検出することになる。この動きベクトル差分MVD 4
は2MV8 とMV4 との間の差分である。また、サブ映
像S4 における探索ブロック322 と該当最適候補ブロッ
ク324 との間の動きベクトルMV4 は2倍拡張され、サ
ブ映像S2 における探索ブロック326 の初期動きベクト
ルとして用いられて動きベクトルMV2 及び動きベクト
ル差分MVD2 を検出することになる。この動きベクト
ル差分MVD2 は2MV4 とMV2 との間の差分であ
る。また、サブ映像S2 における探索ブロック326 と該
当候補ブロック328 との間の動きベクトルMV2 は2倍
拡張され、サブ映像S1 における探索ブロック330 の初
期動きベクトルとして用いられて動きベクトルMV1
び動きベクトル差分MVD1を検出することになる。こ
の動きベクトルMV1 は探索ブロック330 と該当候補ブ
ロック332 との間の変位であり、動きベクトル差分MV
1 は2MV2 とMV 1 との間の差分である。
According to this technique, the sub-picture S8In
Between the search block 318 and the optimal candidate block 320
Motion vector MV8Is doubled and the sub-picture SFourIn
Used as the initial motion vector for the search block 322
Motion vector MVFourAnd motion vector difference MVDFour
Will be detected. This motion vector difference MVD Four
Is 2MV8And MVFourIs the difference between In addition,
Image SFourSearch block 322 and the best candidate block
Motion vector MV betweenFourIs doubled and the
Video STwoMotion vector of search block 326 in
Motion vector MVTwoAnd motion vector
MVDTwoWill be detected. This movement vector
MVDTwoIs 2MVFourAnd MVTwoIs the difference between
You. Also, the sub video STwoAt search block 326 and
Motion vector MV between this candidate block 328 andTwoIs twice
Extended, sub-picture S1First of search block 330 in
Motion vector MV used as the initial motion vector1Passing
And motion vector difference MVD1Will be detected. This
Motion vector MV1Is the search block 330 and the
This is the displacement between the lock 332 and the motion vector difference MV.
D1Is 2MVTwoAnd MV 1Is the difference between

【0016】前述したように、低周波数帯域に該当する
サブ映像のみを動き推定することによって、動き推定の
計算過程をより単純化することができる。しかしなが
ら、この技法においては、サブ映像S8における探索ブロ
ックの動きベクトルが、探索ブロックと該当探索領域で
生成される全ての候補ブロックとをブロックマッチング
して検出されるので、計算プロセスをより単純化する必
要がある。
As described above, by estimating the motion of only the sub-picture corresponding to the low frequency band, the calculation process of the motion estimation can be further simplified. However, in this technique, since the motion vector of the search block in the sub-image S 8 is detected and all of the candidate blocks that are generated by the search block corresponding search area by block matching, more simplified calculation process There is a need to.

【0017】[0017]

【発明が解決しようとする課題】従って、本発明の主な
目的は、パータン分類によってウェーブレット変換映像
信号の動きベクトルを検出する動きベクトル検出装置を
提供することにある。
SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide a motion vector detecting device for detecting a motion vector of a wavelet transformed video signal by pattern classification.

【0018】[0018]

【課題を解決するための手段】上記の目的を達成するた
めに、本発明によれば、映像信号に表現される現フレー
ムと基準フレームとの間の動きベクトルを検出する動き
ベクトル検出装置であって、前記現フレームをウェーブ
レット変換して、M個の階層的現映像を生成する第1ウ
ェーブレット変換手段であって、最上位階層における現
映像は前記現フレームに対応し、より高い階層における
現映像はより低い階層における現映像より高い解像度を
有し、各々の現映像は同一の数の探索ブロックを有し、
前記のより低い階層における各探索ブロックは、前記の
より高い階層における各探索ブロックと対応する、前記
第1ウェーブレット変換手段と、前記基準フレームをウ
ェーブレット変換して、M個の階層的基準映像を生成す
る第2ウェーブレット変換手段であって、最上位階層に
おける基準映像は前記基準フレームに対応し、一つの階
層における基準サブ映像は同一階層における各探索ブロ
ックに対応する複数の候補ブロックを有し、前記同一階
層における各探索ブロック及び該当候補ブロックの大き
さは互いに同一である、前記第2ウェーブレット変換手
段と、最下位階層における探索ブロックを予め定められ
たパターンのうちのいずれか一つに分類する第1パータ
ン分類手段と、前記探索ブロックに相応する各候補ブロ
ックを、前記予め定められたパターンのうちのいずれか
一つに分類する第2パータン分類手段と、前記探索ブロ
ック及び前記候補ブロックに関する前記パターンに基づ
いて最適の候補ブロックを探索して、前記探索ブロック
と前記最適の候補ブロックとの間の変位を表す、前記探
索ブロックに対する変位ベクトルを検出する最適候補ブ
ロック探索手段と、前記検出した変位ベクトルに基づい
て前記最上位階層における探索ブロックの変位ベクトル
を求め、該当変位ベクトルを前記最上位階層における前
記探索ブロックに対する動きベクトルとして決定する動
きベクトル決定手段とを含むことを特徴とする動きベク
トル検出装置が提供される。
According to the present invention, there is provided a motion vector detecting apparatus for detecting a motion vector between a current frame represented by a video signal and a reference frame. A first wavelet transform unit for performing a wavelet transform on the current frame to generate M hierarchical current images, wherein a current image in a highest layer corresponds to the current frame and a current image in a higher layer Has a higher resolution than the current video in the lower hierarchy, each current video has the same number of search blocks,
Each of the search blocks in the lower layer corresponds to each of the search blocks in the higher layer, and the first wavelet transform means and the reference frame are wavelet transformed to generate M hierarchical reference images. A second wavelet transform means, wherein the reference image in the highest layer corresponds to the reference frame, the reference sub-image in one layer has a plurality of candidate blocks corresponding to each search block in the same layer, The size of each search block and the corresponding candidate block in the same layer is the same as each other. The second wavelet transform unit and the second classifier that classifies the search block in the lowest layer into one of predetermined patterns. 1 pattern classification means and each candidate block corresponding to the search block A second pattern classifying unit that classifies the search block and the optimum block based on the pattern related to the search block and the candidate block. An optimal candidate block searching means for detecting a displacement vector with respect to the search block, representing a displacement between the candidate blocks, and a displacement vector of the search block in the highest hierarchy based on the detected displacement vector; Is determined as a motion vector for the search block in the uppermost hierarchy.

【0019】[0019]

【発明の実施の形態】以下、本発明の好適実施例につい
て図面を参照しながらより詳しく説明する。図5は、本
発明による動きベクトル検出装置400 の概略的なブロッ
ク図である。図5に示すように、現フレームS1 がライ
ンL402 を介して現ウェーブレット分割部410 及び動き
推定部420 に入力される。この現ウェーブレット分割部
410は図1及び図2に示したように、現フレームS1
複数のサブ映像に分割し、低周波数帯域の現サブ映像
(即ち、S2 、S4 及びS8 )を各々ラインL412 、L
414 、L416 を介して動き推定部420 に供給する。
Preferred embodiments of the present invention will be described below in detail with reference to the drawings. FIG. 5 is a schematic block diagram of a motion vector detecting device 400 according to the present invention. As shown in FIG. 5, a current frame S 1 is input to a current wavelet dividing unit 410 and a motion estimating unit 420 via a line L402. This current wavelet division
410 As is shown in FIGS. 1 and 2, by dividing the current frame S 1 into a plurality of sub-images, current sub picture in the low frequency band (i.e., S 2, S 4 and S 8) each line L412, L
414 and L416 to the motion estimator 420.

【0020】一方、メモリ490 はその出力を前フレーム
PS1 として、ラインL492を介して、動き推定部420 、
前ウェーブレット分割部430 及び動き補償部440 に供給
する。前ウェーブレット分割部430 は低周波数帯域の前
サブ映像(即ち、PS2 、PS4 及びPS8 )を各々ラ
インL432 、L434 、L436 を介して動き推定部420に
供給する。これらの各サブ映像PS2 、PS4 及びPS
8 は、メモリ490 から供給される前フレームPS1 を分
割することによって得られる。
On the other hand, the memory 490 sets the output as the previous frame PS 1 via the line L492 and outputs the motion estimator 420,
It is supplied to the previous wavelet dividing section 430 and the motion compensating section 440. The front wavelet dividing unit 430 supplies the low frequency band front sub-images (ie, PS 2 , PS 4 and PS 8 ) to the motion estimating unit 420 via lines L432, L434 and L436, respectively. Each of these sub-pictures PS 2 , PS 4 and PS
8 is obtained by dividing a frame PS 1 before it is supplied from the memory 490.

【0021】動き推定部420 は、現フレームS1 におけ
る各探索ブロックに対する動きベクトルを検出して動き
補償部440 及び伝送機(図示せず)に供給する。図6、
図7及び図8は、動き推定部420 の動き推定過程を詳細
に説明する模式図である。動き補償部440 は、動き推定
部420 から供給される動きベクトルと、メモリ490 から
ラインL492を介して供給される前フレームPS1 におけ
る該当最適候補ブロックとを受け取る。この動き補償部
440 は受け取った動きベクトルを用いて最適候補ブロッ
クに対して動き補償を行って、動き補償最適候補ブロッ
クを減算部450 及び加算部480 に供給する。
The motion estimator 420 detects a motion vector for each search block in the current frame S 1 and supplies the motion vector to the motion compensator 440 and a transmitter (not shown). FIG.
FIGS. 7 and 8 are schematic diagrams for explaining the motion estimation process of the motion estimation unit 420 in detail. The motion compensation unit 440 receives the motion vector supplied from the motion estimation unit 420, and a corresponding best candidate block in the frame PS 1 prior to being fed via a line L492 from the memory 490. This motion compensator
The 440 performs motion compensation on the optimal candidate block using the received motion vector, and supplies the motion-compensated optimal candidate block to the subtractor 450 and the adder 480.

【0022】減算部450 は現フレームS1 における探索
ブロックから動き補償最適候補ブロックを減算して、エ
ラー信号を2次元離散的コサイン変換(DCT) &量子化
(Q) 部460 に供給する。このDCT&Q部460 は、受け
取ったエラー信号に対して離散的コサイン変換及び量子
化を行って、量子化DCT係数の組を可変長符号化(VL
C) 部465 及びIDCT&IQ部470 に供給する。このV
LC 部465 はDCT&Q部460 から受け取った量子化D
CT係数の組に対して可変長符号化を行ってVLC信号
を伝送機に送り出す。IDCT&IQ部470 は、DCT
&Q部460 からの量子化DCT係数の組に対して逆離散
的コサイン変換及び逆量子化を行って、復元エラー信号
を加算部480 に供給する。この加算部480 は、IDCT
&IQ部470から受け取った復元エラー信号と動き補償
部440 から受け取った動き補償最適候補ブロックとを加
算して、現フレームS1 における再構成探索ブロックを
発生する。現フレームS1 における再構成探索ブロック
は次のフレームに対する前フレームとして、メモリ490
に格納される。
The subtraction unit 450 subtracts the motion compensation optimum candidate block from the search block in the current frame S 1 and converts the error signal into a two-dimensional discrete cosine transform (DCT) & quantization.
(Q) Supply to section 460. The DCT & Q section 460 performs discrete cosine transform and quantization on the received error signal, and performs variable length coding (VL
C) Supply to the section 465 and the IDCT & IQ section 470. This V
LC section 465 is the quantization D received from DCT & Q section 460.
Variable length coding is performed on the set of CT coefficients, and a VLC signal is sent to the transmitter. IDCT & IQ unit 470 is DCT
An inverse discrete cosine transform and inverse quantization are performed on the set of quantized DCT coefficients from & Q section 460, and a restoration error signal is supplied to addition section 480. This adder 480 is an IDCT
& Restoration error signal received from the IQ section 470 and the motion compensation best candidate blocks received from the motion compensation unit 440 adds, to generate the reconstructed search blocks in the current frame S 1. The reconstruction search block in the current frame S 1 is stored in the memory 490 as a previous frame for the next frame.
Is stored in

【0023】図6は、図5中の動き推定部420 の詳細な
ブロック図である。パターンブロック整合部422 は、ラ
インL416 を通じてサブ映像S8 を、ラインL436 を通
じてサブ映像PS8 を各々受取って、画素値分布のパタ
ーンの分類によってサブ映像S8 における各探索ブロッ
クを動き推定する。パターンブロック整合部422 の動き
推定過程の詳細は、図7を参照して説明する。探索ブロ
ック形成部422-1 はラインL416 からのサブ映像S8
受け取って、各々が所定の大きさP×P(例えば、2×
2個の画素)よりなる複数の探索ブロックに分けて、探
索ブロックパターン分類部422-2 に供給する。
FIG. 6 is a detailed block diagram of the motion estimator 420 in FIG. The pattern block matching unit 422 receives the sub-image S 8 through the line L416 and the sub-image PS 8 through the line L436, and estimates the motion of each search block in the sub-image S 8 by classifying the pattern of the pixel value distribution. Details of the motion estimation process of the pattern block matching unit 422 will be described with reference to FIG. Search block formation unit 422-1 receives the sub image S 8 from the line L416, each predetermined size P × P (e.g., 2 ×
It is divided into a plurality of search blocks consisting of two pixels) and supplied to a search block pattern classification unit 422-2.

【0024】この探索ブロックパターン分類部422-2
は、図8に示すように、サブ映像S8における各探索ブ
ロックのパターンを分類する。サブ映像S8 の大きさが
12×8個の画素であり、サブ映像S8 における探索ブロ
ックの大きさが2×2個の画素であるので、探索ブロッ
クの数は24である。例えば、サブ映像S8 における1つ
の探索ブロック710 は4つの画素を有するが、上部左側
の画素の値は92であり、上部右側の画素の値は124 であ
り、下部左側の画素の値は115 であり、下部右側の画素
の値は109 である。そして、探索ブロックパターン分類
部422-2 は4つの画素値を互いに比較して各画素に優先
順位を割り当てる。その後、探索ブロックパターン分類
部422-2 は、優先順位の割り当てられたサブ映像S8
おける探索ブロック720 とサブ映像S8 における探索ブ
ロック710 が属するパターンとを発生する。この場合、
探索ブロック720 の優先順位の値は図8に示すように、
上部左側の画素、下部右側の画素、下部左側の画素、上
部右側の画素の順に1、2、3、4が割り当てられる。
もし、2つまたは複数の画素が同じ画素値を有する場合
は、該当画素には同一の優先順位が割り当てられる。
This search block pattern classification unit 422-2
As shown in FIG. 8, classifies the pattern of each search block in the sub-images S 8. The size of the sub-image S 8 is
Since there are 12 × 8 pixels and the size of the search block in the sub-picture S 8 is 2 × 2 pixels, the number of search blocks is 24. For example, one search block 710 in the sub-picture S 8 has four pixels, the values of the upper left pixel is 92, a value of the upper right pixel 124, the value of the lower left pixel 115 And the value of the lower right pixel is 109. Then, the search block pattern classification unit 422-2 compares the four pixel values with each other and assigns a priority to each pixel. Thereafter, the search block pattern classifying unit 422-2, the search block 710 in the search block 720 and the sub-picture S 8 in the sub-image S 8 assigned priority generates a pattern belongs. in this case,
The priority value of the search block 720 is, as shown in FIG.
Pixels 1, 2, 3, and 4 are assigned in the order of upper left pixel, lower right pixel, lower left pixel, and upper right pixel.
If two or more pixels have the same pixel value, the pixels are assigned the same priority.

【0025】その後、サブ映像S8 における各探索ブロ
ックに対する情報及びパターン情報が、第1ブロック整
合部422-6 に入力される。ここで、探索ブロックの情報
はサブ映像S8 における各探索ブロックの画素値を表
し、パターン情報は各探索ブロックが何らかのパターン
に属するかを表す。
Thereafter, information and pattern information for each search block in the sub-picture S 8 are input to the first block matching unit 422-6. Here, the information search block represents the pixel value of each search block in the sub-picture S 8, the pattern information indicates whether each search block belongs to some pattern.

【0026】一方、図7中の候補ブロック形成部422-3
は、ラインL436 を介してサブ映像PS8 を受け取っ
て、サブ映像PS8 で複数の候補ブロックを形成する。
図8を参照すると、サブ映像PS8 の大きさが12×8個
の画素であるので、サブ映像S 8 における探索ブロック
と同一の大きさ(即ち、2×2個の画素)を有する77個
の候補ブロックがサブ映像PS8 で形成される。その
後、候補ブロック形成部422-3 は、サブ映像PS8 にお
ける各候補ブロックの画素値を表す候補ブロック情報を
候補ブロックパターン分類部422-4 に供給する。
On the other hand, the candidate block forming section 422-3 in FIG.
Is the sub-picture PS via line L4368Receive
And sub video PS8Form a plurality of candidate blocks.
Referring to FIG. 8, the sub-image PS8The size of 12 x 8
, The sub-picture S 8Search block in
77 pixels having the same size as (i.e., 2 × 2 pixels)
Candidate block is sub-picture PS8Is formed. That
Then, the candidate block forming unit 422-3 outputs the sub-picture PS8In
Candidate block information representing the pixel value of each candidate block
This is supplied to the candidate block pattern classification unit 422-4.

【0027】この探索ブロックパターン分類部422-4 は
図8に示したように、サブ映像PS 8 における各候補ブ
ロックのパターンを分類する。例えば、サブ映像PS8
における候補ブロック740 は4つの画素を有するが、上
部左側の画素の値は120 であり、上部右側の画素の値は
112 であり、下部左側の画素の値は108 であり、下部右
側の画素の値は98である。そして、候補ブロックパター
ン分類部422-4 はこれらの4つの画素値を互いに比較し
て、各画素に優先順位を割り当てる。その後、候補ブロ
ックパターン分類部422-4 は、優先順位の割り当てられ
たサブ映像PS 8 における候補ブロック740 とサブ映像
PS8 における候補ブロック740 が属するパターンとを
発生する。この場合、候補ブロック740 の優先順位の値
は図8に示すように、下部右側の画素、下部左側の画
素、上部右側の画素、上部左側の画素の順に1、2、
3、4が割り当てられる。もし、2つまたは複数の画素
が同じ画素値を有する場合は、該当画素には同一の優先
順位が割り当てられる。
This search block pattern classification unit 422-4
As shown in FIG. 8Each candidate
Classify lock patterns. For example, sub video PS8
The candidate block 740 at has four pixels,
The value of the pixel on the left is 120, and the value of the pixel on the top right is
112, and the value of the lower left pixel is 108,
The value of the pixel on the side is 98. And the candidate block putter
The classification unit 422-4 compares these four pixel values with each other.
Then, a priority is assigned to each pixel. Then, the candidate bro
The pattern classification unit 422-4 assigns priority.
Sub video PS 8Block 740 and sub video in
PS8And the pattern to which candidate block 740 belongs to
Occur. In this case, the priority value of candidate block 740
Is the lower right pixel and the lower left pixel as shown in FIG.
1, 2, right upper pixel, upper left pixel in order
3, 4 are assigned. If two or more pixels
Have the same pixel value, they have the same priority
Rankings are assigned.

【0028】その後、サブ映像PS8 における各候補ブ
ロックに対する情報及びパターン情報が、探索領域形成
部422-5 に入力される。ここで、パターン情報はサブ映
像PS8 における各候補ブロックが何らかのパターンに
属するかを表す。
Thereafter, information and pattern information for each candidate block in the sub-picture PS 8 are input to the search area forming unit 422-5. Here, the pattern information indicates whether each candidate block in the sub-picture PS 8 belongs to any pattern.

【0029】探索領域形成部422-5 はサブ映像PS8
おける複数の探索領域を形成する。この場合、サブ映像
PS8 における各探索領域はサブ映像S8 における探索
ブロックのうちのいずれか一つに相応する。図8を再び
参照すると、サブ映像PS8において、サブ映像S8
おける探索ブロック710 の位置と同じ位置を探索し、そ
の位置の周りにサブ映像PS8 における探索領域730 を
形成する。サブ映像PS8 における各候補ブロックに対
する候補ブロック情報、パターン情報及び探索領域情報
は探索領域形成部422-5 に格納される。ここで、探索領
域情報は、サブ映像PS8 における各探索領域がサブ映
像S8 における何らかの探索ブロックに相応するかを表
す。
The search area formation section 422-5 forms a plurality of search regions in the sub video PS 8. In this case, the search area in the sub video PS 8 is corresponds to one of the search block in the sub-image S 8. Referring again to FIG. 8, in the sub-image PS 8 , the same position as the position of the search block 710 in the sub-image S 8 is searched, and a search area 730 in the sub-image PS 8 is formed around the position. Candidate block information for each candidate block in the sub video PS 8, the pattern information and the search area information is stored in the search area formation section 422-5. Here, the search area information indicates whether each search area in the sub-picture PS 8 corresponds to some search block in the sub-picture S 8 .

【0030】第1ブロック整合部422-6 は、サブ映像S
8 における各探索ブロックに対して動き推定を行う。詳
述すると、第1ブロック整合部422-6 は探索ブロックの
動き推定の際、サブ映像S8 における探索ブロックに相
応するサブ映像PS8 における探索領域内にあり、サブ
映像S8 における探索ブロックのパターンと同一のパタ
ーンを有するサブ映像PS8 における候補ブロックを、
探索領域形成部422-5から取出す。サブ映像S8 におけ
る探索ブロックと同一のパターンを有するサブ映像PS
8 における候補ブロックが存在しない場合、サブ映像P
8 における該当探索ブロックにあるサブ映像PS8
おける全ての候補ブロックが、探索領域形成部422-5 か
ら取出される。
The first block matching unit 422-6 outputs the sub-picture S
In step 8 , motion estimation is performed for each search block. More specifically, the first block matching unit 422-6 is the time of motion estimation search block, located in the search area in the sub video PS 8 corresponding to a search block in the sub-picture S 8, the search block in the sub-picture S 8 A candidate block in the sub-picture PS 8 having the same pattern as the pattern,
Extracted from the search area forming unit 422-5. Sub video PS having the same pattern as the search block in the sub-picture S 8
If the candidate block at 8 is not present, the sub video P
All candidate blocks in the sub video PS 8 in the appropriate search block at S 8 is taken out from the search area formation section 422-5.

【0031】然る後、サブ映像PS8 における取出され
た各候補ブロックとサブ映像S8 における探索ブロック
との間のエラー値が計算される。このエラーの値は、例
えば、サブ映像S8 における探索ブロックの画素値とサ
ブ映像PS8 における取出された候補ブロックの該当画
素値との間の平均絶対エラーである。サブ映像PS8
おける取出された各候補ブロックのうち、最小のエラー
をもたらす候補ブロックがサブ映像PS8 における最適
候補ブロックとして決定され、この最適候補ブロックか
らサブ映像S8 における探索ブロックまでの変位が、サ
ブ映像S8 における探索ブロックに対する動きベクトル
MV8 として決定される。こうして決定された動きベク
トルMV8 は、図6中の第2ブロック整合部424 に供給
される。
Thereafter, the error value between each of the extracted candidate blocks in the sub-picture PS 8 and the search block in the sub-picture S 8 is calculated. The value of this error is, for example, an average absolute error between the corresponding pixel values of preparative issued candidate block in the pixel value and the sub image PS 8 of the search block in the sub-image S 8. Among the candidate blocks issued collected in the sub-video PS 8, candidate block which yields a minimum error is determined as the optimum candidate block in the sub video PS 8, the displacement from the best candidate block to the search block in the sub-picture S 8 , The motion vector MV 8 for the search block in the sub-picture S 8 . The motion vector MV 8 thus determined is supplied to the second block matching unit 424 in FIG.

【0032】この第2ブロック整合部424 はラインL414
上のサブ映像S4 、ラインL434上のサブ映像PS4 、及
び図7中の第1ブロック整合部422-6 からのサブ映像S
8 における探索ブロックに対する動きベクトルMV8
受取る。サブ映像S4 は、各々が所定の大きさ2p×2
p(例えば、4×4個の画素)を有する複数の探索ブロ
ックに分けられる。然る後、サブ映像S4 における探索
ブロックに相応する探索領域が、サブ映像S8 における
該当探索ブロックの拡大された動きベクトル(例えば、
2MV8 )に基づいてサブ映像PS4 内で形成される。
The second block matching section 424 is connected to the line L414
Upper sub-image S 4 , sub-image PS 4 on line L434, and sub-image S from first block matching unit 422-6 in FIG.
Receiving a motion vector MV 8 to the search block at 8. Each of the sub-images S 4 has a predetermined size of 2p × 2
It is divided into a plurality of search blocks having p (for example, 4 × 4 pixels). Thereafter, the search region corresponding to a search block in the sub-image S 4 is an enlarged motion vector of the corresponding search block in the sub-image S 8 (e.g.,
2MV 8 ) and is formed in the sub-picture PS 4 .

【0033】詳述すると、サブ映像S4 における探索ブ
ロックの位置と同一の位置をサブ映像PS4 内で検出
し、この検出位置を2MV8 だけ変位させて変位位置を
生成する。その後、サブ映像PS4 における探索領域を
その変位位置の周りに形成し、この探索領域内でサブ映
像S4 における探索ブロックを動き推定する。その後、
サブ映像S4 における探索領域内で、最小のエラーをも
たらす変位を検出し、この変位をサブ映像S4 における
探索ブロックに対する動きベクトルMV4 として決定す
る。こうして決定された動きベクトルMV4 は、第3ブ
ロック整合部426に供給される。
[0033] More specifically, to detect the same position as the position of the search block in the sub video S 4 in the sub video PS 4, to generate a displaced position by displacing the detected position only 2 MV 8. Thereafter, a search area in the sub video PS 4 around its displaced position, motion estimation search block in the sub-image S 4 in this search area. afterwards,
In the search area in the sub-picture S 4, to detect a displacement resulting in a minimum error, and determines the displacement as the motion vector MV 4 to the search block in the sub-image S 4. The motion vector MV 4 thus determined is supplied to the third block matching unit 426.

【0034】第3ブロック整合部426 はラインL412上の
サブ映像S2 、ラインL432上のサブ映像PS2 、第2ブ
ロック整合部424 からの2MV4 に基づいて、サブ映像
2における探索ブロックに対する動きベクトルMV2
を決定して第4ブロック整合部428に供給する。この第
4ブロック整合部428 はラインL402上の現フレーム
1 、ラインL492上の前フレームPS1 、第3ブロック
整合部426 からの2MV2に基づいて、現フレームS1
における探索ブロックに対する動きベクトルMV1を決
定する。これらの動きベクトルMV2 及びMV1 を求め
る過程は、動きベクトルMV4 を求める過程と類似であ
る。即ち、第3ブロック整合部426 及び第4ブロック整
合部428 は、第2ブロック整合部424 と同一の機能を行
って動きベクトルMV2 及びMV1 を求める。
The third block matching unit 426 is located on the line L412.
Sub-picture STwo, Sub-picture PS on line L432Two, 2nd bu
2MV from lock alignment part 424FourBased on the sub-picture
STwoMotion vector MV for search block inTwo
Is determined and supplied to the fourth block matching unit 428. This second
4-block matching unit 428 is the current frame on line L402
S1 , Previous frame PS on line L4921, Third block
2MV from matching unit 426TwoBased on the current frame S1
Motion vector MV for search block in1Decide
Set. These motion vectors MVTwoAnd MV1Ask for
Is the motion vector MVFourIs similar to the process of finding
You. That is, the third block matching unit 426 and the fourth block
The combining unit 428 performs the same function as the second block matching unit 424.
Is the motion vector MVTwoAnd MV1Ask for.

【0035】その後、最後に求められた現フレームS1
における探索ブロックに対する動きベクトルMV1 は、
動き報償部440 及び伝送機へ送られる。上記において、
本発明の好適な実施の形態について説明したが、本発明
の請求範囲を逸脱することなく、当業者は種々の改変を
なし得るであろう。
After that, the last obtained current frame S 1
Is the motion vector MV 1 for the search block in
It is sent to the motion reward section 440 and the transmitter. In the above,
Having described the preferred embodiments of the invention, those skilled in the art will be able to make various modifications without departing from the scope of the invention.

【0036】[0036]

【発明の効果】従って、本発明によれば、サブ映像S8
における探索ブロックに対する動き推定が、サブ映像S
8 における探索ブロックとこの探索ブロックと同一のパ
ターンを有するサブ映像PS8 における候補ブロックと
の間で行われるので、計算の過程をより一層単純化する
ことができる。
Therefore, according to the present invention, the sub-picture S 8
The motion estimation for the search block in
Since the search is performed between the search block in 8 and the candidate block in the sub-picture PS 8 having the same pattern as the search block, the calculation process can be further simplified.

【図面の簡単な説明】[Brief description of the drawings]

【図1】通常のウェーブレット分割過程を説明する模式
図である。
FIG. 1 is a schematic diagram illustrating a normal wavelet division process.

【図2】ピラミッド構造をなすサブ映像を示す模式図で
ある。
FIG. 2 is a schematic diagram showing a sub-image having a pyramid structure.

【図3】通常の多解像度動き推定(MRME)法を説明する模
式図である。
FIG. 3 is a schematic diagram illustrating a general multi-resolution motion estimation (MRME) method.

【図4】低周波数帯域に該当するサブ映像のみを動き推
定する方法を説明する模式図である。
FIG. 4 is a schematic diagram illustrating a method of estimating a motion of only a sub video corresponding to a low frequency band.

【図5】本発明による動きベクトル検出装置の概略的な
ブロック図である。
FIG. 5 is a schematic block diagram of a motion vector detecting device according to the present invention.

【図6】図5中の動き推定部の詳細なブロック図であ
る。
FIG. 6 is a detailed block diagram of a motion estimator in FIG. 5;

【図7】図6中のパターンブロック整合部の詳細なブロ
ック図である。
FIG. 7 is a detailed block diagram of a pattern block matching unit in FIG. 6;

【図8】本発明による動き推定部の動き推定過程を詳細
に説明する模式図である。
FIG. 8 is a schematic diagram illustrating in detail a motion estimation process of a motion estimation unit according to the present invention.

【符号の説明】[Explanation of symbols]

110, 120, 130 ウェーブレット分割部 302, 306, 310, 314, 318, 322, 326, 330 探索ブロッ
ク 304, 308, 312, 316, 320, 324, 328, 332 最適候補ブ
ロック 400 動きベクトル検出装置 410 現ウェーブレット分割部 420 動き推定部 422 パターンブロック整合部 424 第2ブロック整合部 426 第3ブロック整合部 428 第4ブロック整合部 422-1 探索ブロック形成部 422-2 探索ブロックパターン分類部 422-3 候補ブロック形成部 422-4 候補ブロックパターン分類部 422-5 探索領域形成部 422-6 第1ブロック整合部 430 前ウェーブレット分割部 440 動き補償部 450 減算部 460 離散的コサイン変換(DCT) &量子化(Q)部 465 可変長符号化(VLC) 部 470 逆離散的コサイン変換(IDCT)&逆量子化(IQ)部 480 加算部 490 メモリ 710, 720 探索ブロック 730 サブ映像PS8 における探索領域 740, 750 候補ブロック S1 現フレーム S2,S4,S8,W8 1, W8 2, W8 3, W4 1, W4 2, W4 3, W
2 1, W2 2, W2 3 現フレームにおけるサブ映像
110, 120, 130 Wavelet splitter 302, 306, 310, 314, 318, 322, 326, 330 Search block 304, 308, 312, 316, 320, 324, 328, 332 Optimal candidate block 400 Motion vector detector 410 Current Wavelet dividing unit 420 Motion estimating unit 422 Pattern block matching unit 424 Second block matching unit 426 Third block matching unit 428 Fourth block matching unit 422-1 Search block forming unit 422-2 Search block pattern classification unit 422-3 Candidate block Formation section 422-4 Candidate block pattern classification section 422-5 Search area formation section 422-6 First block matching section 430 Pre-wavelet division section 440 Motion compensation section 450 Subtraction section 460 Discrete cosine transform (DCT) & quantization (Q ) Section 465 Variable length coding (VLC) section 470 Inverse discrete cosine transform (IDCT) & inverse quantization (IQ) section 480 Addition section 490 Memory 710, 720 Search block 730 Search area in sub-picture PS 8 740, 750 candidates Block S 1 current frame S 2 , S 4, S 8, W 8 1, W 8 2, W 8 3, W 4 1, W 4 2, W 4 3, W
2 1, W 2 2, W 2 3 sub video in the current frame

Claims (9)

【特許請求の範囲】[Claims] 【請求項1】 映像信号に表現される現フレームと基準
フレームとの間の動きベクトルを検出する動きベクトル
検出装置であって、 前記現フレームをウェーブレット変換して、M個の階層
的現映像を生成する第1ウェーブレット変換手段であっ
て、最上位階層における現映像は前記現フレームに対応
し、より高い階層における現映像はより低い階層におけ
る現映像より高い解像度を有し、各々の現映像は同一の
数の探索ブロックを有し、前記より低い階層における各
探索ブロックは前記より高い階層における各探索ブロッ
クと対応する、前記第1ウェーブレット変換手段と、 前記基準フレームをウェーブレット変換して、M個の階
層的基準映像を生成する第2ウェーブレット変換手段で
あって、最上位階層における基準映像は前記基準フレー
ムに対応し、一つの階層における基準サブ映像は同一階
層における各探索ブロックに対応する複数の候補ブロッ
クを有し、前記同一階層における各探索ブロック及び該
当候補ブロックの大きさは互いに同一である、前記第2
ウェーブレット変換手段と、 最下位階層における探索ブロックを予め定められたパタ
ーンのうちのいずれか一つに分類する第1パータン分類
手段と、 前記探索ブロックに相応する各候補ブロックを、前記予
め定められたパターンのうちのいずれか一つに分類する
第2パータン分類手段と、 前記探索ブロック及び前記候補ブロックに関する前記パ
ターンに基づいて最適の候補ブロックを探索して、前記
探索ブロックと前記最適の候補ブロックとの間の変位を
表す、前記探索ブロックに対する変位ベクトルを検出す
る最適候補ブロック探索手段と、 前記検出した変位ベクトルに基づいて前記最上位階層に
おける探索ブロックに対する変位ベクトルを求め、該当
変位ベクトルを前記最上位階層における前記探索ブロッ
クに対する動きベクトルとして決定する動きベクトル決
定手段とを含むことを特徴とする動きベクトル検出装
置。
1. A motion vector detecting apparatus for detecting a motion vector between a current frame represented in a video signal and a reference frame, the wavelet transform being performed on the current frame to generate M hierarchical current videos. A first wavelet transform means for generating, wherein a current image in a highest layer corresponds to the current frame, a current image in a higher layer has a higher resolution than a current image in a lower layer, and each current image is A first wavelet transform unit having the same number of search blocks, wherein each search block in the lower hierarchy corresponds to each search block in the higher hierarchy; A second wavelet transform means for generating a hierarchical reference image of The reference sub-image in one layer has a plurality of candidate blocks corresponding to each search block in the same layer, and the size of each search block and the corresponding candidate block in the same layer is the same. Second
A wavelet transform unit; a first pattern classifying unit that classifies a search block in the lowest hierarchy into one of predetermined patterns; and each candidate block corresponding to the search block, A second pattern classifying unit that classifies the search block and the candidate block based on the pattern related to the search block and the candidate block; An optimal candidate block searching means for detecting a displacement vector for the search block, the displacement vector for the search block in the highest hierarchical layer based on the detected displacement vector, The motion vector for the search block in the upper layer is And a motion vector determining means for determining the motion vector.
【請求項2】 一つの階層における各探索ブロックの大
きさが互いに同一であることを特徴とする請求項1に記
載の動きベクトル検出装置。
2. The motion vector detecting device according to claim 1, wherein the size of each search block in one hierarchy is the same.
【請求項3】 P及びQが1より大きい整数である時、
前記最下位階層における各探索ブロックの大きさがP×
Qであることを特徴とする請求項2に記載の動きベクト
ル検出装置。
3. When P and Q are integers greater than 1,
The size of each search block in the lowest hierarchy is P ×
The motion vector detecting device according to claim 2, wherein Q is Q.
【請求項4】 前記第1及び第2パータン分類手段が、
内在されているP×Q個の画素値に基づいて、1つのブ
ロックのパターンを決定するブロックパターン決定手段
を各々有することを特徴とする請求項3に記載の動きベ
クトル検出装置。
4. The first and second pattern classification means,
4. The motion vector detecting device according to claim 3, further comprising a block pattern determining means for determining a pattern of one block based on P × Q pixel values contained therein.
【請求項5】 前記ブロックパターン決定手段が、前記
ブロックにおけるP×Q個の画素の各々を該当画素値の
大きさの順序を表す数字に代替して、前記ブロックのパ
ターンを決定することを特徴とする請求項4に記載の動
きベクトル検出装置。
5. The block pattern deciding unit decides a pattern of the block by substituting each of the P × Q pixels in the block with a number representing the order of magnitude of a corresponding pixel value. The motion vector detecting device according to claim 4, wherein
【請求項6】 前記最適候補ブロック探索手段が、 前記探索ブロックのパターンと同一のパターンを有する
複数の候補ブロックを選択する候補ブロック選択手段
と、 前記複数の候補ブロックのうち前記最適の候補ブロック
を決定する最適候補ブロック決定手段とを有することを
特徴とする請求項5に記載の動きベクトル検出装置。
6. The optimum candidate block searching means, the candidate block selecting means for selecting a plurality of candidate blocks having the same pattern as the pattern of the search block, and the optimum candidate block among the plurality of candidate blocks. The motion vector detecting device according to claim 5, further comprising: an optimal candidate block determining unit for determining.
【請求項7】 前記変位ベクトル決定手段が、 次のより低い階層における探索ブロックに対する変位ベ
クトルに基づいて、該当候補ブロックに対して一つの階
層における探索ブロックを動き推定して、前記階層にお
ける最適の候補ブロックを検索する動き推定手段と、 前記階層において、前記最適の候補ブロックと前記探索
ブロックとの間の変位を表す、前記探索ブロックに対す
る変位ベクトルを決める変位ベクトル決め手段と、 前記最上位階層における前記探索ブロックに対する前記
変位ベクトルが得られるまで、次のより高い階層におけ
る探索ブロックを反復的に動き推定して該当変位ベクト
ルを決定する反復手段とを備えることを特徴とする請求
項6に記載の動きベクトル検出装置。
7. The displacement vector determination means, based on a displacement vector for a search block in the next lower hierarchy, motion-estimates a search block in one hierarchy for the corresponding candidate block, and Motion estimation means for searching for a candidate block; displacement vector determination means for determining a displacement vector for the search block, representing a displacement between the optimal candidate block and the search block in the hierarchy; 7. The method according to claim 6, further comprising: iteratively estimating a search block in a next higher layer repeatedly to determine a corresponding displacement vector until the displacement vector for the search block is obtained. Motion vector detection device.
【請求項8】 1つの階層における探索ブロックの大き
さが、次のより低い階層における探索ブロックの大きさ
より2×2倍大きいことを特徴とする請求項7に記載の
動きベクトル検出装置。
8. The motion vector detecting device according to claim 7, wherein the size of the search block in one hierarchy is 2 × 2 times larger than the size of the search block in the next lower hierarchy.
【請求項9】 前記M、P及びQの値は、各々4、2及
び2であることを特徴とする請求項8に記載の動きベク
トル検出装置。
9. The motion vector detecting device according to claim 8, wherein the values of M, P, and Q are 4, 2, and 2, respectively.
JP17318998A 1997-06-30 1998-06-19 Motion vector detector Pending JPH1175203A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1019970029477A KR19990005282A (en) 1997-06-30 1997-06-30 Hierarchical Motion Estimation Method Using Pattern Classification in Wavelet Transform Domain
KR97-29477 1997-06-30

Publications (1)

Publication Number Publication Date
JPH1175203A true JPH1175203A (en) 1999-03-16

Family

ID=19512453

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17318998A Pending JPH1175203A (en) 1997-06-30 1998-06-19 Motion vector detector

Country Status (3)

Country Link
JP (1) JPH1175203A (en)
KR (1) KR19990005282A (en)
GB (1) GB2327008A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7555166B2 (en) 2003-07-31 2009-06-30 Samsung Electronics Co., Ltd. Pattern analysis-based motion vector compensation apparatus and method

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100815977B1 (en) * 2005-04-20 2008-03-24 주식회사 메디슨 Method and system for estimating motion from consecutive images
US7894527B2 (en) * 2005-09-16 2011-02-22 Sony Corporation Multi-stage linked process for adaptive motion vector sampling in video compression
KR101678654B1 (en) * 2010-06-11 2016-11-22 에스케이 텔레콤주식회사 Method and Apparatus of adaptive motion vector predictors selection for competition-based motion vector coding, and Recording Medium therefor
KR101241508B1 (en) * 2011-04-01 2013-03-11 한양대학교 산학협력단 Methods of motion vector estimation using classfier and apparatuses for using the same
JP6723173B2 (en) * 2017-02-10 2020-07-15 富士フイルム株式会社 Image processing apparatus, method and program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5477272A (en) * 1993-07-22 1995-12-19 Gte Laboratories Incorporated Variable-block size multi-resolution motion estimation scheme for pyramid coding
JP3277418B2 (en) * 1993-09-09 2002-04-22 ソニー株式会社 Apparatus and method for detecting motion vector

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7555166B2 (en) 2003-07-31 2009-06-30 Samsung Electronics Co., Ltd. Pattern analysis-based motion vector compensation apparatus and method

Also Published As

Publication number Publication date
KR19990005282A (en) 1999-01-25
GB2327008A (en) 1999-01-06
GB9812513D0 (en) 1998-08-05

Similar Documents

Publication Publication Date Title
US5561475A (en) Variable block matching motion estimation apparatus
JP3621152B2 (en) Feature point identification apparatus and method
JPH1175204A (en) Motion vector detector
US5686973A (en) Method for detecting motion vectors for use in a segmentation-based coding system
US5748247A (en) Refinement of block motion vectors to achieve a dense motion field
KR0171146B1 (en) Motion vector detection device using feature points
EP0533195A2 (en) Picture signal encoding and/or decoding apparatus
KR100251548B1 (en) Apparatus of predicting motion for digital image and method thereof
US8045620B2 (en) Image processing apparatus, image processing method and computer readable medium
JP2000513897A (en) Image segmentation and object tracking method and corresponding system
KR20010033798A (en) Hierarchical motion estimation apparatus and method using variable block sizes
JPH11168703A (en) Motion estimation and compensation field rate up conversion method for video, and device for actuating the method
KR960039997A (en) Method and apparatus for encoding video signal using feature point based motion estimation
EP1503598A1 (en) Motion vector detecting method and system and devices incorporating the same
JPH0955943A (en) Video signal encoding device
JPH1175203A (en) Motion vector detector
US5808685A (en) Block matching motion estimation apparatus employing a weight function
US7327787B1 (en) Method and apparatus for motion estimation
CN113269086A (en) Vilog editing method and system
KR0178230B1 (en) Image processing system using a feature point-based motion estimation
Seo et al. A least-squares-based 2-D filtering scheme for stereo image compression
US6687295B1 (en) Method and apparatus for motion estimation for encoding sequential frames
EP0720384B1 (en) Block matching motion estimation apparatus employing a weight function
JP2853973B2 (en) Hierarchical motion vector detection method and apparatus
KR0174451B1 (en) Method and apparatus for detecting a motion vector of a variable block based on a block matching algorithm