JP2005501491A - グローバル動きパラメータを用いた動きベクトル符号化方法および装置 - Google Patents
グローバル動きパラメータを用いた動きベクトル符号化方法および装置 Download PDFInfo
- Publication number
- JP2005501491A JP2005501491A JP2003524271A JP2003524271A JP2005501491A JP 2005501491 A JP2005501491 A JP 2005501491A JP 2003524271 A JP2003524271 A JP 2003524271A JP 2003524271 A JP2003524271 A JP 2003524271A JP 2005501491 A JP2005501491 A JP 2005501491A
- Authority
- JP
- Japan
- Prior art keywords
- macroblock
- global motion
- motion vector
- local motion
- image frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000013598 vector Substances 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims description 15
- 230000008569 process Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
低ビットレートでビデオの符号化および復号を可能にする。画像を符号化または復号するのにグローバル動きベクトル符号化方式が使用される。グローバル動きパラメータと現在の画像フレームとが関連づけされ、現在の画像フレーム内の個々のマクロブロックに対するグローバル動きパラメータからローカル動きベクトルが誘導される。次いで、このローカル動きベクトルは現在の基準フレーム内の基準ブロックを識別するのに使用され、これら基準ブロックは現在の画像フレーム内のマクロブロックを符号化または復号するのに使用される。
Description
【技術分野】
【0001】
高度ビデオ符号化では、これまで、グローバル動き補償(GMC)技術、例えばMPEG−4で使用される「スプライト」符号化技術、およびH.263+の付属書Pにおける「基準ピクチャーリサンプリング」技術が使用されてきた。これら技術は通常、同じようなステップに従う。
【背景技術】
【0002】
図1を参照すると、各現在の画像フレーム12に対し、グローバル動きベクトル16に基づき、1つの基準画像14が誘導される。このグローバル動きベクトル16は前の画像フレーム18と現在の画像フレーム12との間のグローバル画像の変化を考慮するものであり、例えば、グローバル動きベクトル16はフレーム18と12との間で生じたカメラの角度、カメラのズーミングなどの変化を考慮する。次に、現在の画像12が符号化され、基準フレーム14を使って復号される。例えば、マクロブロック(MB)20内の画像の部分は基準画像14内の関連するマクロブロック22内の画像と全く同じとなり得る。このようなケースの場合、マクロブロック20内の画像情報は符号化しなくてもよい。基準フレーム14内のブロック22の画像データは現在の画像12のマクロブロック20内にコピーできる。
【発明の開示】
【0003】
これらGMC技術は、ビットレートを減らし、かつ画質を高めることによって低ビットレートのビデオ符号化の利点を実証した。しかしながら、GMCは計算上の複雑さを増している。現在の画像フレーム12に対し、グローバル動きベクトル16に基づき、エンコーダおよびデコーダの双方で基準画像14を再構成したり、更新しなければならない。このことは、計算期間およびメモリスペースの点でデコーダ側で特に高価となる。
【0004】
その他の状況では、対象が前の画像18から現在の画像12まで位置を変えることがある。マクロブロック20内の画像情報が前の画像フレーム18からどこへ移動したかをローカル動きベクトル26が識別する。マクロブロック20に対して符号化しなければならない情報は、ローカル動きベクトル26と、マクロブロック20内の画像情報とマクロブロック28内の画像情報との残差だけである。このローカル動きベクトルビデオ符号化技術はGMCほど計算が複雑ではないが、画像12内の各マクロブロック20に対し、ローカル動きベクトル26を別々に符号化し、次に送信し、記憶しなければならないので、一般に、より多くのビットを必要とする。
【0005】
本発明は、上記従来技術に関連した上記の問題およびそれ以外の問題を解決しようとするものである。
【0006】
(発明の概要)
1つの画像を符号化したり、復号するのに、グローバル動きベクトル符号化方式が使用される。現在の画像フレームには複数のグローバル動きパラメータが関連しており、現在の画像フレーム内の個々のマクロブロックに対し、グローバル動きパラメータからローカル動きベクトルが誘導される。このローカル動きベクトルは、次いで、現在の基準フレーム内の基準ブロックを識別するのに使用される。この基準ブロックは、現在の画像フレーム内のマクロブロックを符号化したり、復号するのに使用される。
【発明を実施するための最良の形態】
【0007】
(詳細な説明)
エンコーダまたはデコーダのいずれかにおいて、基準画像を再構成しなくてもよいように、ローカル動きベクトル符号化のためにグローバル動きパラメータが使用される。
【0008】
(グローバル動きパラメータを用いた動きベクトルの符号化)
図2は、現在のTMLビデオコーデックに使用される従来のビットシンタックスを示す。このTMLビデオコーデックはガイスル・ビヨンテガード氏著の論文「H.26Lのテストモデル長期番号8(TML−8)ドラフト0」、ITU−Tビデオ符号化の専門家グループ(VCEG)会議、2001年6月28日に記載されている。
【0009】
図2を参照すると、ビットストリーム30は画像フレーム内における符号化されたピクチャーヘッダー32と、これに続くすべての画像マクロブロック34(MB)の符号化とを含む。各個々のMB34は符号化され、MBモード36、すなわちフレーム間予測(インターMB)またはフレーム内予測(イントラMB)のために必要なローカル動きベクトルを含む。フレーム間予測はMBを符号化し、復号するのに前に誘導された基準フレームからのマクロブロックを使用することを意味し、フレーム内予測は符号化および復号のために同じ画像フレーム内でマクロブロックを使用することを意味する。画像の残差に対し、個々のMB34の後に変換係数39が続く。
【0010】
図3は、GMVC(グローバル動きベクトル符号化)に対して使用される符号化シンタックスを示す。符号化されたGMVCビットストリーム40は図2におけるピクチャーヘッダー32に類似したピクチャーヘッダー42を含む。現在のフレームに対してGMVCがオンとなっているか、またはオフとなっているかのシグナルを出すために、各INTERフレームに対し、ピクチャーヘッダー42の直後にGMVC_フラグ44が追加される。
【0011】
図4の表1には、このGMVC_フラグ44に対するコードワード番号がリストされている。GMVCがオフである場合、ビットストリーム40に対するシンタックスの残りは図2に示されたビットストリームシンタックスに類似する。図2に示した元のTMLシンタックスと図3に示したGMVCシンタックスとを比較した場合、GMVC_フラグ44に対するインターフレームごとに1つのイクストラビットが必要とされるに過ぎない。
【0012】
GMVCがオンである場合、GMVC_フラグ44とその後に続くMB48の後にグローバル動きベクトル(GMV)46が符号化される。各MB48はMB48で使用される符号化モードを識別するMBモード50を含む。従来の符号化モードが識別された場合、図2に類似するMBに対し、動きベクトル52が符号化される。
【0013】
MBモード50がGMVCモードのうちの1つであると判断された場合、どの動きベクトルも符号化されない。その理由は、MB48内のすべてのサブブロックに対する動きベクトルは双線形内挿法によってGMV46から誘導されたものであるからである。
【0014】
図5の表2には、図3に示されたGMVCシンタックス40で使用された異なるMBモード50に対するコードワードの値をリストしたものである。GMVCモードは画像を符号化するのに使用されたMBサイズを識別する。例えば、GMVCフラグ44がオフであり、MBモードが3の値を有するときは8×8ピクセルのMBに対してローカル動きベクトルが符号化され、その後に残差54が続く。GMVCフラグ44がオンであり、MBモードがxである場合は、GMVCのコピーが表示され、マクロブロックに対してローカル動きベクトルまたは残差は符号化されない。記号「x」は明示的に符号化する必要がないCOPYまたはGMVC_COPYを意味する。例えば、COPYまたはGMVC_のCOPYの信号を出すのに、ランレングス符号化を使用できる。GMVCフラグ44がオンであり、MBモードが0である場合、ローカル動きベクトルは符号化されず、マクロブロックに対して残差だけが符号化される。
【0015】
動きベクトル計算
図6を参照し、画像フレーム60がサイズH×Vを有すると仮定する。双線形動きベクトル内挿法に対し、動きベクトルν 00、ν H0、ν 0Vおよびν HVが使用され、これら動きベクトルはフレーム60の4つのコーナー(0,0)、(H−4,0)、(0,V−4)および(H−4,V−4)における4つの4×4サブブロックの動きベクトルをそれぞれ示す。数字「4」は4×4ピクセルのサブブロックサイズを使用する一例である。しかしながら、この値はサブブロックのサイズに従って変わってもよい。例えば8×8のサブブロックに対しては4つのコーナー(0,0)、(H−8,0)、(0,V−8)および(H−8,V−8)に動きベクトルが位置する。(x、y)における左上のピクセルを有するサブブロックの動きベクトルは次のように誘導される。
【0016】
【数1】
【0017】
ここで、r 0、r x、r y、r xyは次のように定義される。
【0018】
【数2】
【0019】
ローカル動きベクトルの分解能は変わることができる。一例において、ローカル動きベクトルは1/4のピクセルで表示される。従って、1の動きベクトルの値が1/4のピクセルを意味し、4の動きベクトルは1つのピクセルを意味する。符号化/復号中の不一致を防止するために、式(1)の出力は最も近い整数にしてもよいし、また端数がちょうど1/2であるときは四捨五入で切り上げてもよい。実施を容易にするために、式(1)は次のように実行できる。
【0020】
【数3】
【0021】
所定の画像フレームに対し、GMVC_フラグ44がオンにセットされた場合、図3に示されるように、GMVC_フラグ44の直後においてグローバル動きベクトルパラメータ46でr 0、r x、r yおよびr xyの水平および垂直成分が符号化される。GMVに対するコードブックは他の符号化方式、例えば、動きベクトル差(MVD)に対して使用されるコードブックに類似するように選択できる。このMVDはローカル動きベクトル(MV)とローカル動きベクトル予測(MVP)との差、すなわち、MV=MVP+MVDである。式2における分母(H−4)(L−4)は一定である。フレームサイズが一旦決定されると、除算は乗算と次のシフトに容易に置換できる。従って、デコーダ側で要求される計算はわずかになる。
【0022】
図7を参照すると、式(1)を使って、GMVCモードの画像フレームにおける各MBに対する動きベクトルが誘導される。例えば、現在の画像フレーム72の4つのコーナーに対して4つのグローバル動きベクトル70が関連している。このとき、MB74は復号中である。MBモード50(図3)はMB74を符号化されたGMVCとして識別する。従って、デコーダはMB74の左上のコーナーに対し、xピクセルの位置76およびyピクセルの位置78を識別する。次に、ローカル動きベクトル80を発生するのに、式1に記載されたように、グローバル動きベクトル70と共にこれらxおよびyピクセルの位置が使用される。
【0023】
ローカル動きベクトル80は基準フレーム84内の基準MB82をポイントする。MB74に対するGMVCコードがGMVCコピー(図5)を表示する場合、MB74内に基準MB82の内容がコピーされる。MB74に対するGMVCコードがコピーでない場合、MB74に対する符号化されたビットストリーム内に残差が存在する。デコーダはMB74に対する画像の値を誘導するのに、これら残差を基準MB82へ加える。
【0024】
図8は、GMVCがどのように同じMB74内の4×4サブブロック86を符号化できるかを示している。この例では、サブブロックはピクセルの4×4アレイである。しかしながら、MBおよびサブブロックは任意のサイズにすることができる。式1を使って、MB74内の個々の各サブブロック86に対し、ローカル動きベクトル88が誘導される。例えば、まず、左上コーナーにおけるxおよびyのロケーション90を識別することにより、サブブロック86Aに対するローカル動きベクトルが誘導される。次に、ローカル動きベクトル88Aを誘導するのに、式1を使って、xおよびyのロケーション90に対し、グローバル動きベクトル70が内挿される。
【0025】
ローカル動きベクトル88Aは基準フレーム84内のサブブロック92をポイントする。次に、サブブロック86A内の画像を構成するのに、基準サブブロック92が使用される。MB74内のその他のサブブロック86も同じように復号される。例えば、サブブロック86Bの左上コーナーは画像フレーム72内のロケーション94内に位置する。サブブロックが4×4ピクセルのサイズである場合、サブブロック86Bはロケーション(x、y)におけるサブブロック86Aに対するロケーション(x+4、y)に位置する。ローカル動きベクトル88Bを誘導するのに、式1を使って、グローバル動きベクトル70がピクセルロケーション(x+4、y)へ内挿される。次に、基準フレーム84内の基準サブブロック96を識別するのに、ローカル動きベクトル88Bが使用される。現在の画像フレーム72内のサブブロック86Bに対する画像を再構成するのに、サブブロック96内の画像情報が使用される。MB74における他のサブブロック86に対しても同様なプロセスが実行される。
【0026】
図5の表2に示されるように、マクロブロックに対して2つのGMVCモードがある。
【0027】
第1のモードはGMVC_COPYモードである。このモードは現在のビデオ符号化規格で使用される「スキップ」または「コピー」モードに類似する。従来の「コピー」モードはマクロブロックすなわち現在の基準フレーム内の同じロケーションにあるマクロブロックの直接の「コピー」を表示する。「GMVC_COPY」における差はGMVC_COPYモードにおける各動きを補償されたブロックの「コピー」が式(1)で誘導される動きベクトルに従うことである。GMVC_フラグが画像フレームに対して「オン」になっている場合には、従来の「コピー」モードはない。
【0028】
第2のGMVCモードはGMVC_16モードである。マクロブロックがGMVC_16モードである場合、ビットストリームとなるように残差変換係数だけが符号化される。そのマクロブロックに対するローカル動きベクトルは式(1)から誘導される。ローカル動きベクトルによりポイントされる基準フレームマクロブロックと現在のマクロブロックとの差は残差変換係数として符号化される。
【0029】
現在のTMLシンタックスでは、「コピー」モードはGMVCフレーム用の「GMVC_COPY」モードに置換されており、GMVCフレーム用の可能な他の符号化モードに新しいモード「GMVC_16」が追加されている。GMVCフレーム内のすべての非GMVCモードに対し、図2に示されているように、ビットストリーム内に明示的にローカル動きベクトルが符号化されている。
【0030】
「COPY」または「GMVC_COPY」モードを明示的に符号化する必要はない。符号化の効率を増すのにランレングス符号化を使用できる。GMVC_COPYモードのMBのストリング内の各MB用のコピーコードワードを発生する代わりに、各非GMVC_COPY MBの前にGMVC_COPYモードであるMBの数を信号として表示できる。
【0031】
ビデオシーケンス内にカメラの動きが存在する時は、GMVC_COPY MBの数は元のTMLビットストリーム内の従来のCOPY MB内の数よりも多くなる性質がある。従って、「GMVC_COPY」モードに対し、ランレングス符号化を実施すると、より多数のビットを節約できる。GMVCモードはGMVCモードを使用しない場合よりもより相関性のある真の動きベクトルを与える傾向があるので、画像フレームの視覚的な画質および符号化効率も改善される。
【0032】
図9は、GMVC方式を実現するエンコーダおよびデコーダのブロック図を示す。これらのエンコーダおよびデコーダは、任意のプログラマブルプロセッサデバイスまたはディスクリート回路で実現できる。画像アプリケーション、例えば、ビデオフォン、カメラ、ビデオカメラ、テレビ、ストリーミングビデオアプリケーションまたは画像データを符号化または復号する他の任意のアプリーションでもこのGMVC方式を使用できる。
【0033】
エンコーダ99は入力ビデオソース100からの画像フレームを受信する。ボックス122および124を除けば、エンコーダの回路は従来のエンコーダに類似している。画像フレームはボックス104内で、例えば、離散的コサイン変換により変換される。これら画像フレームはボックス106内で量子化され、次にボックス108内で可変レングス符号化される。ボックス108の出力信号は符号化された画像データである。
【0034】
量子化された画像フレームはボックス110で逆量子化され、ボックス112で逆変換される。ボックス116でループフィルタが適用され、この結果得られる基準フレームがフレームバッファ118に記憶される。ブロック120において、現在の画像フレームと現在の基準フレームとを比較することにより、ブロック動き推定が実行される。このブロック動き推定120はローカル動きベクトルを発生し、これらローカル動きベクトルはコンパレータ102から発生された残差と共に符号化される。
【0035】
ボックス122でグローバル動きパラメータが推定され、GMVC符号化を特定の画像フレームに対して使用するかどうかを判断するように、これら推定パラメータはブロック動き判断ボックス124で使用される。GMVC符号化を使用する場合、MBに対してどの符号化モードを使用するかを表示するコードワードと共に、符号化ビットストリーム109に対し、ボックス122で推定されたグローバル動きパラメータが加えられる。
【0036】
デコーダ130はボックス132で可変ランレングス復号を実行し、ボックス134で逆量子化を実行する。ボックス136内の逆変換は加算回路138に逆変換ビットストリームを出力する。加算器138にはフレームバッファ144内の基準フレームも供給され、現在の画像フレームを再構成するように、逆変換器136からの出力と共に使用される。加算器138からの出力はボックス140内のループフィルタを通過し、ボックス142内で復号されたビデオ信号として出力される。
【0037】
ブロック動き判断ボックス124によって発生されたGMVC_フラグ44およびGMVCモード50(図3)に基づき、特定の画像フレーム内の特定のMB上でGMVCを実行することをデコーダ内のブロック動き判断ボックス146が決定する。
【0038】
テスト結果
図10は、主にガイスル・ビヨンデガード著「H.26Lのための推奨シミュレーション条件」、文書VCEG−M75、ITU−Tビデオ符号化専門グループ(VCEG)会議、オースティン、米国テキサス州、2001年4月2日〜4日に記載されたVCEG−M75で指定された「シミュレーション条件」に主に従って実行されたテスト結果を示す。
【0039】
TML−8コーデックと比較するように、TML−8ソフトウェアにはグローバル動きベクトル符号化方式が統合されている。推奨されるGMVC技術の利点を実証するように、テストの設定には300フレームのCIFフォーマットの「コースト−ガード」シーケンスが追加された。動きサーチレンジパラメータは16に設定され、RD最適化オプションはオフにされた。
【0040】
グローバル動きまたはカメラの動きを有するシーケンス、例えば「フォアマン」、「モバイル」、「テンピート」および「コーストガード」に対しては、特に最適化パラメータ(QP)値が大きいときの低ビットレートケースでビットが大幅に節約できた。例えば、QPが28のとき、「フォアマン」に対するビットの節約率は11.4%であり、「モバイル」に対するビットの節約率は10.2%であり、「テンピート」に対するビットの節約率は8.1%であり、「コーストガード」に対するビットの節約率は19.5%である。動きベクトル符号化は高ビットレートではビットストリーム全体のあまり重要ではない部分となるので、QP値がより低いときにはGMVCは元のTML−8コーデックに極めて類似したビットレートおよびビデオ画質を送る。
【0041】
元のTMLコーデックでは、従来の「コピー」モードによりグローバル動きがシーン内に存在するときに不快なアーティファクト(不整合)が生じる。GMVC技術を用いた場合、これらアーティファクトは大幅に除去される。GMVC技術はビットレートを低減し、視覚的な画質を高めることによって、低ビットレートのビデオ符号化に対する大きな利点を与える。GMVC方式は大きな量のグローバル動き、すなわちカメラの動きがあるようなモバイル環境におけるビデオアプリケーションに対して特に有効である。GMVCを使用しない時にはGMVC方式をイネーブルまたはディスエーブルするのに、フレーム当たり1ビットしか必要としない。従って、符号化の効率に対するオーバーヘッドは無視できる。このGMVC方式はエンコーダにもデコーダにも符号化の複雑性を更に増すことはない。
【0042】
これまで説明したシステムは、専用プロセッサシステム、マイクロコントローラ、プログラマブルロジックデバイスまたは演算の一部またはすべてを実行するマイクロプロセッサを使用できる。これまで説明した演算の一部はソフトウェアで実行してもよいし、他の演算はハードウェアで実行してもよい。
【0043】
便宜上、演算は種々の内部に接続された機能ブロックまたは別個のソフトウェアモジュールとして記載した。しかしながら、このようなことは不要であり、明瞭な境界を設けることなく、単一のロジックデバイス、プログラムまたは演算にこれら機能的なブロックまたはモジュールを等価的に組み合わせるようなケースがあり得る。いずれの場合においても、機能ブロックおよびソフトウェアモジュール、または上記機能は自ら実行することもできるし、ハードウェアまたはソフトウェアのいずれかで他の演算と組み合わせて実行することもできる。
【0044】
以上で、本発明の好ましい実施例において本発明の原理について記載し、図示したので、かかる原理から逸脱することなく、配置および細部において本発明を変更できることは明白であるはずである。特許請求の範囲にある変形例および変更例についても権利の請求を行うものである。
【図面の簡単な説明】
【0045】
【図1】従来の符号化シンタックスを示す図である。
【図2】符号化されたビットストリームに対して使用される従来のシンタックスの図である。
【図3】グローバル動きベクトル符号化(GMVC)に対して使用されるシンタックスの図である。
【図4】GMVCに対して使用されるコードワードの表である。
【図5】GMVCに対して使用されるコードワードの表である。
【図6】GMVCに対して使用されるグローバル動きベクトルを示す図である。
【図7】GMVC中にマクロブロック(MB)を再構成するのに、ローカル動きベクトルをどのように示すかを示す図である。
【図8】GMVC中にサブブロックを再構成するのに、ローカル動きベクトルをどのように示すかを示す図である。
【図9】GMVCを実行するエンコーダおよびデコーダを示すブロック図である。
【図10】GMVCの結果を示す表である。
【0001】
高度ビデオ符号化では、これまで、グローバル動き補償(GMC)技術、例えばMPEG−4で使用される「スプライト」符号化技術、およびH.263+の付属書Pにおける「基準ピクチャーリサンプリング」技術が使用されてきた。これら技術は通常、同じようなステップに従う。
【背景技術】
【0002】
図1を参照すると、各現在の画像フレーム12に対し、グローバル動きベクトル16に基づき、1つの基準画像14が誘導される。このグローバル動きベクトル16は前の画像フレーム18と現在の画像フレーム12との間のグローバル画像の変化を考慮するものであり、例えば、グローバル動きベクトル16はフレーム18と12との間で生じたカメラの角度、カメラのズーミングなどの変化を考慮する。次に、現在の画像12が符号化され、基準フレーム14を使って復号される。例えば、マクロブロック(MB)20内の画像の部分は基準画像14内の関連するマクロブロック22内の画像と全く同じとなり得る。このようなケースの場合、マクロブロック20内の画像情報は符号化しなくてもよい。基準フレーム14内のブロック22の画像データは現在の画像12のマクロブロック20内にコピーできる。
【発明の開示】
【0003】
これらGMC技術は、ビットレートを減らし、かつ画質を高めることによって低ビットレートのビデオ符号化の利点を実証した。しかしながら、GMCは計算上の複雑さを増している。現在の画像フレーム12に対し、グローバル動きベクトル16に基づき、エンコーダおよびデコーダの双方で基準画像14を再構成したり、更新しなければならない。このことは、計算期間およびメモリスペースの点でデコーダ側で特に高価となる。
【0004】
その他の状況では、対象が前の画像18から現在の画像12まで位置を変えることがある。マクロブロック20内の画像情報が前の画像フレーム18からどこへ移動したかをローカル動きベクトル26が識別する。マクロブロック20に対して符号化しなければならない情報は、ローカル動きベクトル26と、マクロブロック20内の画像情報とマクロブロック28内の画像情報との残差だけである。このローカル動きベクトルビデオ符号化技術はGMCほど計算が複雑ではないが、画像12内の各マクロブロック20に対し、ローカル動きベクトル26を別々に符号化し、次に送信し、記憶しなければならないので、一般に、より多くのビットを必要とする。
【0005】
本発明は、上記従来技術に関連した上記の問題およびそれ以外の問題を解決しようとするものである。
【0006】
(発明の概要)
1つの画像を符号化したり、復号するのに、グローバル動きベクトル符号化方式が使用される。現在の画像フレームには複数のグローバル動きパラメータが関連しており、現在の画像フレーム内の個々のマクロブロックに対し、グローバル動きパラメータからローカル動きベクトルが誘導される。このローカル動きベクトルは、次いで、現在の基準フレーム内の基準ブロックを識別するのに使用される。この基準ブロックは、現在の画像フレーム内のマクロブロックを符号化したり、復号するのに使用される。
【発明を実施するための最良の形態】
【0007】
(詳細な説明)
エンコーダまたはデコーダのいずれかにおいて、基準画像を再構成しなくてもよいように、ローカル動きベクトル符号化のためにグローバル動きパラメータが使用される。
【0008】
(グローバル動きパラメータを用いた動きベクトルの符号化)
図2は、現在のTMLビデオコーデックに使用される従来のビットシンタックスを示す。このTMLビデオコーデックはガイスル・ビヨンテガード氏著の論文「H.26Lのテストモデル長期番号8(TML−8)ドラフト0」、ITU−Tビデオ符号化の専門家グループ(VCEG)会議、2001年6月28日に記載されている。
【0009】
図2を参照すると、ビットストリーム30は画像フレーム内における符号化されたピクチャーヘッダー32と、これに続くすべての画像マクロブロック34(MB)の符号化とを含む。各個々のMB34は符号化され、MBモード36、すなわちフレーム間予測(インターMB)またはフレーム内予測(イントラMB)のために必要なローカル動きベクトルを含む。フレーム間予測はMBを符号化し、復号するのに前に誘導された基準フレームからのマクロブロックを使用することを意味し、フレーム内予測は符号化および復号のために同じ画像フレーム内でマクロブロックを使用することを意味する。画像の残差に対し、個々のMB34の後に変換係数39が続く。
【0010】
図3は、GMVC(グローバル動きベクトル符号化)に対して使用される符号化シンタックスを示す。符号化されたGMVCビットストリーム40は図2におけるピクチャーヘッダー32に類似したピクチャーヘッダー42を含む。現在のフレームに対してGMVCがオンとなっているか、またはオフとなっているかのシグナルを出すために、各INTERフレームに対し、ピクチャーヘッダー42の直後にGMVC_フラグ44が追加される。
【0011】
図4の表1には、このGMVC_フラグ44に対するコードワード番号がリストされている。GMVCがオフである場合、ビットストリーム40に対するシンタックスの残りは図2に示されたビットストリームシンタックスに類似する。図2に示した元のTMLシンタックスと図3に示したGMVCシンタックスとを比較した場合、GMVC_フラグ44に対するインターフレームごとに1つのイクストラビットが必要とされるに過ぎない。
【0012】
GMVCがオンである場合、GMVC_フラグ44とその後に続くMB48の後にグローバル動きベクトル(GMV)46が符号化される。各MB48はMB48で使用される符号化モードを識別するMBモード50を含む。従来の符号化モードが識別された場合、図2に類似するMBに対し、動きベクトル52が符号化される。
【0013】
MBモード50がGMVCモードのうちの1つであると判断された場合、どの動きベクトルも符号化されない。その理由は、MB48内のすべてのサブブロックに対する動きベクトルは双線形内挿法によってGMV46から誘導されたものであるからである。
【0014】
図5の表2には、図3に示されたGMVCシンタックス40で使用された異なるMBモード50に対するコードワードの値をリストしたものである。GMVCモードは画像を符号化するのに使用されたMBサイズを識別する。例えば、GMVCフラグ44がオフであり、MBモードが3の値を有するときは8×8ピクセルのMBに対してローカル動きベクトルが符号化され、その後に残差54が続く。GMVCフラグ44がオンであり、MBモードがxである場合は、GMVCのコピーが表示され、マクロブロックに対してローカル動きベクトルまたは残差は符号化されない。記号「x」は明示的に符号化する必要がないCOPYまたはGMVC_COPYを意味する。例えば、COPYまたはGMVC_のCOPYの信号を出すのに、ランレングス符号化を使用できる。GMVCフラグ44がオンであり、MBモードが0である場合、ローカル動きベクトルは符号化されず、マクロブロックに対して残差だけが符号化される。
【0015】
動きベクトル計算
図6を参照し、画像フレーム60がサイズH×Vを有すると仮定する。双線形動きベクトル内挿法に対し、動きベクトルν 00、ν H0、ν 0Vおよびν HVが使用され、これら動きベクトルはフレーム60の4つのコーナー(0,0)、(H−4,0)、(0,V−4)および(H−4,V−4)における4つの4×4サブブロックの動きベクトルをそれぞれ示す。数字「4」は4×4ピクセルのサブブロックサイズを使用する一例である。しかしながら、この値はサブブロックのサイズに従って変わってもよい。例えば8×8のサブブロックに対しては4つのコーナー(0,0)、(H−8,0)、(0,V−8)および(H−8,V−8)に動きベクトルが位置する。(x、y)における左上のピクセルを有するサブブロックの動きベクトルは次のように誘導される。
【0016】
【数1】
【0017】
ここで、r 0、r x、r y、r xyは次のように定義される。
【0018】
【数2】
【0019】
ローカル動きベクトルの分解能は変わることができる。一例において、ローカル動きベクトルは1/4のピクセルで表示される。従って、1の動きベクトルの値が1/4のピクセルを意味し、4の動きベクトルは1つのピクセルを意味する。符号化/復号中の不一致を防止するために、式(1)の出力は最も近い整数にしてもよいし、また端数がちょうど1/2であるときは四捨五入で切り上げてもよい。実施を容易にするために、式(1)は次のように実行できる。
【0020】
【数3】
【0021】
所定の画像フレームに対し、GMVC_フラグ44がオンにセットされた場合、図3に示されるように、GMVC_フラグ44の直後においてグローバル動きベクトルパラメータ46でr 0、r x、r yおよびr xyの水平および垂直成分が符号化される。GMVに対するコードブックは他の符号化方式、例えば、動きベクトル差(MVD)に対して使用されるコードブックに類似するように選択できる。このMVDはローカル動きベクトル(MV)とローカル動きベクトル予測(MVP)との差、すなわち、MV=MVP+MVDである。式2における分母(H−4)(L−4)は一定である。フレームサイズが一旦決定されると、除算は乗算と次のシフトに容易に置換できる。従って、デコーダ側で要求される計算はわずかになる。
【0022】
図7を参照すると、式(1)を使って、GMVCモードの画像フレームにおける各MBに対する動きベクトルが誘導される。例えば、現在の画像フレーム72の4つのコーナーに対して4つのグローバル動きベクトル70が関連している。このとき、MB74は復号中である。MBモード50(図3)はMB74を符号化されたGMVCとして識別する。従って、デコーダはMB74の左上のコーナーに対し、xピクセルの位置76およびyピクセルの位置78を識別する。次に、ローカル動きベクトル80を発生するのに、式1に記載されたように、グローバル動きベクトル70と共にこれらxおよびyピクセルの位置が使用される。
【0023】
ローカル動きベクトル80は基準フレーム84内の基準MB82をポイントする。MB74に対するGMVCコードがGMVCコピー(図5)を表示する場合、MB74内に基準MB82の内容がコピーされる。MB74に対するGMVCコードがコピーでない場合、MB74に対する符号化されたビットストリーム内に残差が存在する。デコーダはMB74に対する画像の値を誘導するのに、これら残差を基準MB82へ加える。
【0024】
図8は、GMVCがどのように同じMB74内の4×4サブブロック86を符号化できるかを示している。この例では、サブブロックはピクセルの4×4アレイである。しかしながら、MBおよびサブブロックは任意のサイズにすることができる。式1を使って、MB74内の個々の各サブブロック86に対し、ローカル動きベクトル88が誘導される。例えば、まず、左上コーナーにおけるxおよびyのロケーション90を識別することにより、サブブロック86Aに対するローカル動きベクトルが誘導される。次に、ローカル動きベクトル88Aを誘導するのに、式1を使って、xおよびyのロケーション90に対し、グローバル動きベクトル70が内挿される。
【0025】
ローカル動きベクトル88Aは基準フレーム84内のサブブロック92をポイントする。次に、サブブロック86A内の画像を構成するのに、基準サブブロック92が使用される。MB74内のその他のサブブロック86も同じように復号される。例えば、サブブロック86Bの左上コーナーは画像フレーム72内のロケーション94内に位置する。サブブロックが4×4ピクセルのサイズである場合、サブブロック86Bはロケーション(x、y)におけるサブブロック86Aに対するロケーション(x+4、y)に位置する。ローカル動きベクトル88Bを誘導するのに、式1を使って、グローバル動きベクトル70がピクセルロケーション(x+4、y)へ内挿される。次に、基準フレーム84内の基準サブブロック96を識別するのに、ローカル動きベクトル88Bが使用される。現在の画像フレーム72内のサブブロック86Bに対する画像を再構成するのに、サブブロック96内の画像情報が使用される。MB74における他のサブブロック86に対しても同様なプロセスが実行される。
【0026】
図5の表2に示されるように、マクロブロックに対して2つのGMVCモードがある。
【0027】
第1のモードはGMVC_COPYモードである。このモードは現在のビデオ符号化規格で使用される「スキップ」または「コピー」モードに類似する。従来の「コピー」モードはマクロブロックすなわち現在の基準フレーム内の同じロケーションにあるマクロブロックの直接の「コピー」を表示する。「GMVC_COPY」における差はGMVC_COPYモードにおける各動きを補償されたブロックの「コピー」が式(1)で誘導される動きベクトルに従うことである。GMVC_フラグが画像フレームに対して「オン」になっている場合には、従来の「コピー」モードはない。
【0028】
第2のGMVCモードはGMVC_16モードである。マクロブロックがGMVC_16モードである場合、ビットストリームとなるように残差変換係数だけが符号化される。そのマクロブロックに対するローカル動きベクトルは式(1)から誘導される。ローカル動きベクトルによりポイントされる基準フレームマクロブロックと現在のマクロブロックとの差は残差変換係数として符号化される。
【0029】
現在のTMLシンタックスでは、「コピー」モードはGMVCフレーム用の「GMVC_COPY」モードに置換されており、GMVCフレーム用の可能な他の符号化モードに新しいモード「GMVC_16」が追加されている。GMVCフレーム内のすべての非GMVCモードに対し、図2に示されているように、ビットストリーム内に明示的にローカル動きベクトルが符号化されている。
【0030】
「COPY」または「GMVC_COPY」モードを明示的に符号化する必要はない。符号化の効率を増すのにランレングス符号化を使用できる。GMVC_COPYモードのMBのストリング内の各MB用のコピーコードワードを発生する代わりに、各非GMVC_COPY MBの前にGMVC_COPYモードであるMBの数を信号として表示できる。
【0031】
ビデオシーケンス内にカメラの動きが存在する時は、GMVC_COPY MBの数は元のTMLビットストリーム内の従来のCOPY MB内の数よりも多くなる性質がある。従って、「GMVC_COPY」モードに対し、ランレングス符号化を実施すると、より多数のビットを節約できる。GMVCモードはGMVCモードを使用しない場合よりもより相関性のある真の動きベクトルを与える傾向があるので、画像フレームの視覚的な画質および符号化効率も改善される。
【0032】
図9は、GMVC方式を実現するエンコーダおよびデコーダのブロック図を示す。これらのエンコーダおよびデコーダは、任意のプログラマブルプロセッサデバイスまたはディスクリート回路で実現できる。画像アプリケーション、例えば、ビデオフォン、カメラ、ビデオカメラ、テレビ、ストリーミングビデオアプリケーションまたは画像データを符号化または復号する他の任意のアプリーションでもこのGMVC方式を使用できる。
【0033】
エンコーダ99は入力ビデオソース100からの画像フレームを受信する。ボックス122および124を除けば、エンコーダの回路は従来のエンコーダに類似している。画像フレームはボックス104内で、例えば、離散的コサイン変換により変換される。これら画像フレームはボックス106内で量子化され、次にボックス108内で可変レングス符号化される。ボックス108の出力信号は符号化された画像データである。
【0034】
量子化された画像フレームはボックス110で逆量子化され、ボックス112で逆変換される。ボックス116でループフィルタが適用され、この結果得られる基準フレームがフレームバッファ118に記憶される。ブロック120において、現在の画像フレームと現在の基準フレームとを比較することにより、ブロック動き推定が実行される。このブロック動き推定120はローカル動きベクトルを発生し、これらローカル動きベクトルはコンパレータ102から発生された残差と共に符号化される。
【0035】
ボックス122でグローバル動きパラメータが推定され、GMVC符号化を特定の画像フレームに対して使用するかどうかを判断するように、これら推定パラメータはブロック動き判断ボックス124で使用される。GMVC符号化を使用する場合、MBに対してどの符号化モードを使用するかを表示するコードワードと共に、符号化ビットストリーム109に対し、ボックス122で推定されたグローバル動きパラメータが加えられる。
【0036】
デコーダ130はボックス132で可変ランレングス復号を実行し、ボックス134で逆量子化を実行する。ボックス136内の逆変換は加算回路138に逆変換ビットストリームを出力する。加算器138にはフレームバッファ144内の基準フレームも供給され、現在の画像フレームを再構成するように、逆変換器136からの出力と共に使用される。加算器138からの出力はボックス140内のループフィルタを通過し、ボックス142内で復号されたビデオ信号として出力される。
【0037】
ブロック動き判断ボックス124によって発生されたGMVC_フラグ44およびGMVCモード50(図3)に基づき、特定の画像フレーム内の特定のMB上でGMVCを実行することをデコーダ内のブロック動き判断ボックス146が決定する。
【0038】
テスト結果
図10は、主にガイスル・ビヨンデガード著「H.26Lのための推奨シミュレーション条件」、文書VCEG−M75、ITU−Tビデオ符号化専門グループ(VCEG)会議、オースティン、米国テキサス州、2001年4月2日〜4日に記載されたVCEG−M75で指定された「シミュレーション条件」に主に従って実行されたテスト結果を示す。
【0039】
TML−8コーデックと比較するように、TML−8ソフトウェアにはグローバル動きベクトル符号化方式が統合されている。推奨されるGMVC技術の利点を実証するように、テストの設定には300フレームのCIFフォーマットの「コースト−ガード」シーケンスが追加された。動きサーチレンジパラメータは16に設定され、RD最適化オプションはオフにされた。
【0040】
グローバル動きまたはカメラの動きを有するシーケンス、例えば「フォアマン」、「モバイル」、「テンピート」および「コーストガード」に対しては、特に最適化パラメータ(QP)値が大きいときの低ビットレートケースでビットが大幅に節約できた。例えば、QPが28のとき、「フォアマン」に対するビットの節約率は11.4%であり、「モバイル」に対するビットの節約率は10.2%であり、「テンピート」に対するビットの節約率は8.1%であり、「コーストガード」に対するビットの節約率は19.5%である。動きベクトル符号化は高ビットレートではビットストリーム全体のあまり重要ではない部分となるので、QP値がより低いときにはGMVCは元のTML−8コーデックに極めて類似したビットレートおよびビデオ画質を送る。
【0041】
元のTMLコーデックでは、従来の「コピー」モードによりグローバル動きがシーン内に存在するときに不快なアーティファクト(不整合)が生じる。GMVC技術を用いた場合、これらアーティファクトは大幅に除去される。GMVC技術はビットレートを低減し、視覚的な画質を高めることによって、低ビットレートのビデオ符号化に対する大きな利点を与える。GMVC方式は大きな量のグローバル動き、すなわちカメラの動きがあるようなモバイル環境におけるビデオアプリケーションに対して特に有効である。GMVCを使用しない時にはGMVC方式をイネーブルまたはディスエーブルするのに、フレーム当たり1ビットしか必要としない。従って、符号化の効率に対するオーバーヘッドは無視できる。このGMVC方式はエンコーダにもデコーダにも符号化の複雑性を更に増すことはない。
【0042】
これまで説明したシステムは、専用プロセッサシステム、マイクロコントローラ、プログラマブルロジックデバイスまたは演算の一部またはすべてを実行するマイクロプロセッサを使用できる。これまで説明した演算の一部はソフトウェアで実行してもよいし、他の演算はハードウェアで実行してもよい。
【0043】
便宜上、演算は種々の内部に接続された機能ブロックまたは別個のソフトウェアモジュールとして記載した。しかしながら、このようなことは不要であり、明瞭な境界を設けることなく、単一のロジックデバイス、プログラムまたは演算にこれら機能的なブロックまたはモジュールを等価的に組み合わせるようなケースがあり得る。いずれの場合においても、機能ブロックおよびソフトウェアモジュール、または上記機能は自ら実行することもできるし、ハードウェアまたはソフトウェアのいずれかで他の演算と組み合わせて実行することもできる。
【0044】
以上で、本発明の好ましい実施例において本発明の原理について記載し、図示したので、かかる原理から逸脱することなく、配置および細部において本発明を変更できることは明白であるはずである。特許請求の範囲にある変形例および変更例についても権利の請求を行うものである。
【図面の簡単な説明】
【0045】
【図1】従来の符号化シンタックスを示す図である。
【図2】符号化されたビットストリームに対して使用される従来のシンタックスの図である。
【図3】グローバル動きベクトル符号化(GMVC)に対して使用されるシンタックスの図である。
【図4】GMVCに対して使用されるコードワードの表である。
【図5】GMVCに対して使用されるコードワードの表である。
【図6】GMVCに対して使用されるグローバル動きベクトルを示す図である。
【図7】GMVC中にマクロブロック(MB)を再構成するのに、ローカル動きベクトルをどのように示すかを示す図である。
【図8】GMVC中にサブブロックを再構成するのに、ローカル動きベクトルをどのように示すかを示す図である。
【図9】GMVCを実行するエンコーダおよびデコーダを示すブロック図である。
【図10】GMVCの結果を示す表である。
Claims (23)
- 現在の画像フレームに関連したグローバル動きパラメータを有する工程と、
前記現在の画像フレーム内の個々のマクロブロックに対するグローバル動きパラメータからローカル動きベクトルを誘導する工程と、
基準フレーム内の基準ブロックを識別するのに前記ローカル動きベクトルを使用する工程と、
前記現在の画像フレーム内の前記マクロブロックを符号または復号するために、前記識別された基準ブロックを使用する工程とを備えた、画像を符号化または復号するための方法。 - 前記現在の画像フレームのコーナーに関連した4つのグローバル動きベクトルを識別する工程と、
前記現在の画像フレーム内の前記マクロブロックのロケーションに対し前記4つのグローバル動きベクトルを内挿することにより、前記ローカル動きベクトルを発生する工程とを含む、請求項1記載の方法。 - 関連するローカル動きベクトルを発生するのに前記グローバル動きパラメータを使用する前記マクロブロックを識別するコードワードを発生する工程を含む、請求項1記載の方法。
- 前記現在の画像フレーム内の前記マクロブロックと実質的に同じである前記基準フレーム内の基準ブロックを識別するのに、前記誘導されたローカル動きベクトルを使用する工程と、
前記識別された基準ブロックを前記マクロブロック内にコピーすることにより復号されたコピータイプのマクロブロックとして前記マクロブロックを符号化する工程とを含む、請求項1記載の方法。 - 前記基準ブロックと前記マクロブロックとの間の残差を識別する工程と、
前記マクロブロックに対する前記残差だけを符号化する工程を含む、請求項5記載の方法。 - コピータイプまたは残差タイプのいずれかの、符号化されたグローバル動きベクトルとして識別されたマクロブロックを含む、符号化されたビットストリームを受信する工程と、
前記グローバル動きベクトルの符号化されたマクロブロックに対するローカル動きベクトルだけを誘導する工程と、
前記基準フレーム内の基準ブロックを識別するように、誘導されたローカル動きベクトルを使用する工程と、
前記コピータイプのマクロブロックに対する前記識別された基準ブロックをコピーする工程と、
前記残差タイプのマクロブロックに対する前記識別された基準ブロックに符号化された残差を加える工程とを備えた、請求項1記載の方法。 - 前記マクロブロックに対するローカル動きベクトルを発生するのに、前記グローバル動きパラメータを使用する場合、グローバル動きベクトル符号化を使用して前記現在の画像フレーム内の前記マクロブロックの一部を符号化し、復号する工程と、
別の符号化方式を使って前記現在の画像フレーム内の他のマクロブロックを符号化し、復号する工程とを含む、請求項1記載の方法。 - 前記グローバル動きパラメータを使って同じマクロブロック内の個々のサブブロックに対するサブブロックローカル動きベクトルを発生する工程と、
前記サブブロックのローカル動きベクトルによってポイントされた前記基準フレーム内の個々の基準サブブロックを識別する工程と、
前記識別された基準サブブロックを使って前記サブブロックを別々に符号化し、復号する工程とを含む、請求項1記載の方法。 - 画像フレームに関連するグローバル動き推定パラメータから誘導されたローカル動きベクトルであって、識別されたマクロブロックに対するローカル動きベクトルを誘導することによって、符号化された画像フレームを復号するプロセッサを備え、該プロセッサが、現在の基準フレーム内の基準ブロックを識別するのに前記ローカル動きベクトルを使用し、次に現在フレーム内の前記マクロブロックを再構成するように前記基準ブロックを使用するようになっているデコーダ。
- 前記プロセッサが前記現在フレーム内の前記マクロブロックのロケーションに前記グローバル動き推定パラメータを内挿することにより前記ローカル動きベクトルを発生する、請求項10記載のデコーダ。
- 前記プロセッサがグローバル動きベクトルで符号化されたマクロブロックを識別する符号化された画像フレームと共に含まれるコードワードを検出する、請求項10記載のデコーダ。
- 前記マクロブロックが前記基準ブロックの直接のコピーであることを前記コードワードが表示する、請求項12記載のデコーダ。
- 前記マクロブロックを再構成するのに前記基準ブロックに残差が加えられたことを前記コードワードが表示する、請求項12記載のデコーダ。
- 前記プロセッサが異なるサブブロックに対するローカル動きベクトルを発生するのに、前記グローバル動き推定パラメータを使用し、前記プロセッサが前記現在の基準フレーム内の異なる基準サブブロックを識別するのに前記ローカル動きベクトルを使用し、次に、前記現在フレーム内の前記サブブロックを再構成するのに、前記識別された基準サブブロックを使用する、請求項10記載のデコーダ。
- 画像フレームに対する一組のグローバル動き推定パラメータを符号化し、前記グローバル動き推定パラメータから復号中に誘導されたローカル動き推定パラメータを有する、前記画像フレーム内のマクロブロックを識別するプロセッサを含むエンコーダ。
- 前記グローバル動き推定パラメータが前記画像フレームのコーナーに関連したグローバル動きベクトルを含む、請求項16記載のエンコーダ。
- 前記プロセッサが前記グローバル動き推定パラメータとブロック動き推定パラメータとを比較し、前記グローバル動き推定パラメータから誘導された前記ローカル動き推定パラメータをどのマクロブロックが使用するかを決定する、請求項17記載のエンコーダ。
- 前記プロセッサが前記グローバル動き推定パラメータから前記ローカル動き推定パラメータを誘導する前記マクロブロックを識別するコードワードを発生する、請求項16記載のエンコーダ。
- 前記グローバル動き推定パラメータから誘導された前記ローカル動き推定パラメータによってポイントされた、基準ブロックから直接コピーされたマクロブロックを前記プロセッサが識別する、請求項16記載のエンコーダ。
- ローカル動き推定パラメータではなく、前記識別されたマクロブロックに対する残差を前記プロセッサが符号化する、請求項16記載のエンコーダ。
- 前記プロセッサが符号化された画像フレームでランレングス符号化を実行する、請求項16記載のエンコーダ。
- 前記マクロブロックがN×Nのピクセルアレイ(ここでNは整数である)であり、前記サブブロックがM×Mのピクセルアレイ(ここでMはN以下の整数である)である、請求項16記載のエンコーダ。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/938,337 US7050500B2 (en) | 2001-08-23 | 2001-08-23 | Method and apparatus for motion vector coding with global motion parameters |
PCT/JP2002/008390 WO2003019950A1 (en) | 2001-08-23 | 2002-08-20 | Method and apparatus for motion vector coding with global motion parameters |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005501491A true JP2005501491A (ja) | 2005-01-13 |
Family
ID=25471279
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003524271A Pending JP2005501491A (ja) | 2001-08-23 | 2002-08-20 | グローバル動きパラメータを用いた動きベクトル符号化方法および装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7050500B2 (ja) |
EP (1) | EP1428393A4 (ja) |
JP (1) | JP2005501491A (ja) |
WO (1) | WO2003019950A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011086963A1 (ja) * | 2010-01-15 | 2011-07-21 | ソニー株式会社 | 画像処理装置および方法 |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7227896B2 (en) * | 2001-10-04 | 2007-06-05 | Sharp Laboratories Of America, Inc. | Method and apparatus for global motion estimation |
US20030123738A1 (en) * | 2001-11-30 | 2003-07-03 | Per Frojdh | Global motion compensation for video pictures |
US20050105621A1 (en) | 2003-11-04 | 2005-05-19 | Ju Chi-Cheng | Apparatus capable of performing both block-matching motion compensation and global motion compensation and method thereof |
KR100994773B1 (ko) | 2004-03-29 | 2010-11-16 | 삼성전자주식회사 | 계층적 움직임 추정에 있어서 움직임 벡터 생성 방법 및장치 |
JP4449692B2 (ja) * | 2004-10-20 | 2010-04-14 | 株式会社ニコン | 電子カメラ |
US20070025444A1 (en) * | 2005-07-28 | 2007-02-01 | Shigeyuki Okada | Coding Method |
KR101366092B1 (ko) | 2006-10-13 | 2014-02-21 | 삼성전자주식회사 | 다시점 영상의 부호화, 복호화 방법 및 장치 |
KR101356735B1 (ko) * | 2007-01-03 | 2014-02-03 | 삼성전자주식회사 | 전역 움직임 벡터를 사용해서 움직임 벡터를 추정하기 위한방법, 장치, 인코더, 디코더 및 복호화 방법 |
KR100823287B1 (ko) * | 2007-01-03 | 2008-04-21 | 삼성전자주식회사 | 전역 차이 벡터를 이용한 다시점 영상의 부호화, 복호화방법 및 장치 |
US8548261B2 (en) | 2007-04-11 | 2013-10-01 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding multi-view image |
KR101392732B1 (ko) * | 2007-08-20 | 2014-05-08 | 삼성전자주식회사 | 손떨림에 의한 움직임 추정 장치 및 방법, 그를 이용한영상 촬상 장치 |
US20120207217A1 (en) * | 2008-12-19 | 2012-08-16 | Thomson Licensing | Video coding based on global movement compensation |
FR2940576A1 (fr) * | 2008-12-19 | 2010-06-25 | Thomson Licensing | Procede de codage video base sur la compensation de mouvement global et dispositifs apparentes |
KR101444691B1 (ko) * | 2010-05-17 | 2014-09-30 | 에스케이텔레콤 주식회사 | 참조영상 구성 및 인덱싱 장치 및 방법 |
US10404996B1 (en) * | 2015-10-13 | 2019-09-03 | Marvell International Ltd. | Systems and methods for using multiple frames to adjust local and global motion in an image |
CN106658019B (zh) | 2015-10-31 | 2019-11-12 | 华为技术有限公司 | 参考帧编解码的方法与装置 |
US11082713B2 (en) | 2015-11-20 | 2021-08-03 | Mediatek Inc. | Method and apparatus for global motion compensation in video coding system |
US20190335197A1 (en) * | 2016-11-22 | 2019-10-31 | Electronics And Telecommunications Research Institute | Image encoding/decoding method and device, and recording medium having bitstream stored thereon |
US20190364298A1 (en) * | 2016-11-22 | 2019-11-28 | Electronics And Telecommunications Research Institute | Image encoding/decoding method and device, and recording medium having bitstream stored thereon |
CN109348244B (zh) * | 2018-11-20 | 2021-05-18 | 浙江齐聚科技有限公司 | 视频编码参数的配置方法、装置、设备和存储介质 |
CN111770334B (zh) * | 2020-07-23 | 2023-09-22 | 西安万像电子科技有限公司 | 数据编码方法及装置、数据解码方法及装置 |
WO2022115999A1 (zh) * | 2020-12-01 | 2022-06-09 | 深圳市大疆创新科技有限公司 | 一种数据处理方法及数据处理设备 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2586686B2 (ja) | 1990-04-19 | 1997-03-05 | 日本電気株式会社 | 動画像の動き情報検出装置および動画像の動き補償フレーム間予測符号化装置 |
JP3505199B2 (ja) | 1992-06-30 | 2004-03-08 | 株式会社リコー | ビデオカメラジッタ補正装置、データ圧縮装置、データ伸長装置、データ圧縮方法及びデータ伸長方法 |
JPH06245201A (ja) | 1993-02-12 | 1994-09-02 | Toshiba Corp | 高能率符号化復号化システム |
US5440345A (en) * | 1992-07-17 | 1995-08-08 | Kabushiki Kaisha Toshiba | High efficient encoding/decoding system |
US5473379A (en) | 1993-11-04 | 1995-12-05 | At&T Corp. | Method and apparatus for improving motion compensation in digital video coding |
KR0148154B1 (ko) * | 1994-06-15 | 1998-09-15 | 김광호 | 움직임크기에 따른 동영상데이타의 부호화방법 및 장치 |
JP3183155B2 (ja) * | 1996-03-18 | 2001-07-03 | 株式会社日立製作所 | 画像復号化装置、及び、画像復号化方法 |
US6037988A (en) | 1996-03-22 | 2000-03-14 | Microsoft Corp | Method for generating sprites for object-based coding sytems using masks and rounding average |
US6205178B1 (en) | 1996-09-20 | 2001-03-20 | Hitachi, Ltd. | Method and synthesizing a predicted image, video coding device and video coding method |
US6055330A (en) * | 1996-10-09 | 2000-04-25 | The Trustees Of Columbia University In The City Of New York | Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information |
JP3774954B2 (ja) | 1996-10-30 | 2006-05-17 | 株式会社日立製作所 | 動画像の符号化方法 |
DE69725186T2 (de) | 1996-12-30 | 2004-06-17 | Sharp K.K. | Sprite-gestütztes videocodiersystem |
AU5577398A (en) * | 1997-02-14 | 1998-09-08 | Nippon Telegraph & Telephone Corporation | Predictive coding method and decoding method for dynamic image |
JP2952226B2 (ja) | 1997-02-14 | 1999-09-20 | 日本電信電話株式会社 | 動画像の予測符号化方法および復号方法、動画像予測符号化または復号プログラムを記録した記録媒体、および、動画像予測符号化データを記録した記録媒体 |
US5844613A (en) | 1997-03-17 | 1998-12-01 | Microsoft Corporation | Global motion estimator for motion video signal encoding |
WO1998044739A1 (en) * | 1997-03-31 | 1998-10-08 | Sharp Kabushiki Kaisha | Mosaic generation and sprite-based image coding with automatic foreground and background separation |
JP3052893B2 (ja) * | 1997-05-16 | 2000-06-19 | 日本電気株式会社 | 動画像符号化装置 |
WO1998059496A1 (en) * | 1997-06-25 | 1998-12-30 | Nippon Telegraph And Telephone Corporation | Moving vector predictive coding method and moving vector decoding method, predictive coding device and decoding device, and storage medium stored with moving vector predictive coding program and moving vector decoding program |
US7206346B2 (en) * | 1997-06-25 | 2007-04-17 | Nippon Telegraph And Telephone Corporation | Motion vector predictive encoding method, motion vector decoding method, predictive encoding apparatus and decoding apparatus, and storage media storing motion vector predictive encoding and decoding programs |
KR19990008977A (ko) * | 1997-07-05 | 1999-02-05 | 배순훈 | 윤곽선 부호화 방법 |
US5956026A (en) | 1997-12-19 | 1999-09-21 | Sharp Laboratories Of America, Inc. | Method for hierarchical summarization and browsing of digital video |
JP3753578B2 (ja) * | 1999-12-07 | 2006-03-08 | Necエレクトロニクス株式会社 | 動きベクトル探索装置および方法 |
KR100683849B1 (ko) * | 2000-06-28 | 2007-02-15 | 삼성전자주식회사 | 디지털 영상 안정화기능을 갖는 디코더 및 디지털영상안정화방법 |
-
2001
- 2001-08-23 US US09/938,337 patent/US7050500B2/en not_active Expired - Lifetime
-
2002
- 2002-08-20 WO PCT/JP2002/008390 patent/WO2003019950A1/en not_active Application Discontinuation
- 2002-08-20 JP JP2003524271A patent/JP2005501491A/ja active Pending
- 2002-08-20 EP EP02758861A patent/EP1428393A4/en not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011086963A1 (ja) * | 2010-01-15 | 2011-07-21 | ソニー株式会社 | 画像処理装置および方法 |
CN102696227A (zh) * | 2010-01-15 | 2012-09-26 | 索尼公司 | 图像处理设备和方法 |
Also Published As
Publication number | Publication date |
---|---|
EP1428393A4 (en) | 2007-05-09 |
US7050500B2 (en) | 2006-05-23 |
US20030043912A1 (en) | 2003-03-06 |
EP1428393A1 (en) | 2004-06-16 |
WO2003019950A1 (en) | 2003-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2005501491A (ja) | グローバル動きパラメータを用いた動きベクトル符号化方法および装置 | |
JP4440640B2 (ja) | 画像ブロックの復号方法 | |
CN114556955A (zh) | 参考图片重采样与视频编解码工具之间的相互作用 | |
JP7391203B2 (ja) | ビデオコーディングツールを洗練する使用およびシグナリング | |
JP3861698B2 (ja) | 画像情報符号化装置及び方法、画像情報復号装置及び方法、並びにプログラム | |
JP7395727B2 (ja) | ビデオ・データを処理する方法、装置及び記憶方法 | |
CN114503574A (zh) | 视频编解码中的缩放窗口 | |
JP2008544708A (ja) | 適応補間を使用する映像符号化及び復号化の方法と装置 | |
US7577200B2 (en) | Extended range variable length coding/decoding of differential motion vector information | |
TW202127885A (zh) | 視訊編解碼系統中的視訊處理方法和裝置 | |
MXPA06002494A (es) | Transformacion plegada condicional. | |
US8599921B2 (en) | Adaptive partition subset selection module and method for use therewith | |
CN114424573A (zh) | 视频编解码中的参考样点位置推导 | |
US8194748B2 (en) | Apparatus for scalable encoding/decoding of moving image and method thereof | |
WO2019069601A1 (ja) | 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法およびプログラム | |
JP2022553363A (ja) | ビデオ・データを処理する方法、装置及び記憶媒体 | |
JP2001508632A (ja) | 動き補償予測画像符号化および復号化 | |
JP2024129124A (ja) | ビデオ復号化方法、コンピューティング装置、非一時的コンピュータ可読記憶媒体、及びビットストリームを格納する方法 | |
JP2006279573A (ja) | 符号化装置と方法、ならびに復号装置と方法 | |
JP2007243784A (ja) | 動画像復号装置および動画像復号方法 | |
JP2023519939A (ja) | 映像コーディングにおけるスライスタイプ | |
CN113994684A (zh) | 用于针对视频编解码的预测相关残差缩放的方法和设备 | |
US20100246682A1 (en) | Scaled motion search section with downscaling and method for use therewith | |
CN119072925A (zh) | 用于视频处理的方法、装置及介质 | |
JP7565398B2 (ja) | 映像信号をエンコーディングするための方法、映像エンコーディングデバイス、非一時的なコンピュータ可読記憶媒体、コンピュータプログラム及びビットストリームを記憶するための方法。 |