JP2002058037A - 動き推定方法 - Google Patents
動き推定方法Info
- Publication number
- JP2002058037A JP2002058037A JP2001051163A JP2001051163A JP2002058037A JP 2002058037 A JP2002058037 A JP 2002058037A JP 2001051163 A JP2001051163 A JP 2001051163A JP 2001051163 A JP2001051163 A JP 2001051163A JP 2002058037 A JP2002058037 A JP 2002058037A
- Authority
- JP
- Japan
- Prior art keywords
- search
- point
- mad
- value
- minimum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】 動き推定方法を提供する。
【解決手段】 本発明による動き推定方法は、（ａ）探
索ブロックの中心点及び周辺探索点に対して平均絶対差
（ＭＡＤ）を計算する段階と、（ｂ）中心点でＭＡＤ値
が最小である場合には中心点周辺に対して動き推定を行
う段階と、（ｃ）中心点でＭＡＤ値が最小でない場合に
は周辺探索点との相関関係を用いて動き推定を行う段階
を含むことを特徴とし、映像圧縮時に画質をあまり劣化
させずに、計算量を顕著に減らすことによって映像圧縮
の速度を向上させる。
索ブロックの中心点及び周辺探索点に対して平均絶対差
（ＭＡＤ）を計算する段階と、（ｂ）中心点でＭＡＤ値
が最小である場合には中心点周辺に対して動き推定を行
う段階と、（ｃ）中心点でＭＡＤ値が最小でない場合に
は周辺探索点との相関関係を用いて動き推定を行う段階
を含むことを特徴とし、映像圧縮時に画質をあまり劣化
させずに、計算量を顕著に減らすことによって映像圧縮
の速度を向上させる。
Description
【０００１】
【発明の属する技術分野】本発明は動き推定方法に係
り、より詳細には、計算量を減らした動き推定方法に関
する。
り、より詳細には、計算量を減らした動き推定方法に関
する。
【０００２】
【従来の技術】動映像の高圧縮コーディングのために効
率良く除去しなければならない４種の冗長度がある。第
１番目は、信号成分中に存在する冗長度である。第２番
目は、データの統計的な発生確率に起因する統計的な冗
長度である。第３番目は、ピクチャー間の時間的な冗長
度である。第４番目は、ピクチャー内の空間的な冗長度
である。
率良く除去しなければならない４種の冗長度がある。第
１番目は、信号成分中に存在する冗長度である。第２番
目は、データの統計的な発生確率に起因する統計的な冗
長度である。第３番目は、ピクチャー間の時間的な冗長
度である。第４番目は、ピクチャー内の空間的な冗長度
である。
【０００３】信号成分中に存在する冗長度は色度に対す
る相対的な輝度の比率が２：１であるものを使って低減
できる。統計的な冗長度はコーディング時にデータ発生
の分布を用いて平均ビット数を減らす可変長コーディン
グによって低減できる。空間的な冗長度はＤＣＴ変換に
より低減できる。動映像で大いに発生する時間的な冗長
度は動き推定（Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ；
ＭＥ）及び動き補償（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａ
ｔｉｏｎ；ＭＣ）により低減できる。
る相対的な輝度の比率が２：１であるものを使って低減
できる。統計的な冗長度はコーディング時にデータ発生
の分布を用いて平均ビット数を減らす可変長コーディン
グによって低減できる。空間的な冗長度はＤＣＴ変換に
より低減できる。動映像で大いに発生する時間的な冗長
度は動き推定（Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ；
ＭＥ）及び動き補償（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａ
ｔｉｏｎ；ＭＣ）により低減できる。
【０００４】前記冗長度を減らすための従来の動き推定
方法によれば、全域探索（ＦｕｌｌＳｅａｒｃｈ；Ｆ
Ｓ）がブロック整合アルゴリズムとして用いられる。全
域探索がブロック整合アルゴリズムとして用いられる場
合、エンコーダの複雑性は動き推定のアルゴリズムに従
属している。この方法は、動映像コーディングにおいて
最も高い圧縮率を表わす。しかし、過度な計算量により
コーダの全体的な性能は低い。
方法によれば、全域探索（ＦｕｌｌＳｅａｒｃｈ；Ｆ
Ｓ）がブロック整合アルゴリズムとして用いられる。全
域探索がブロック整合アルゴリズムとして用いられる場
合、エンコーダの複雑性は動き推定のアルゴリズムに従
属している。この方法は、動映像コーディングにおいて
最も高い圧縮率を表わす。しかし、過度な計算量により
コーダの全体的な性能は低い。
【０００５】前述のような問題点を解決するための他の
動き推定方法によれば、よく知られている３-ステップ
探索または４-ステップ探索に基づき計算量を減らして
いる。これらの方法は現在処理しようとするブロックと
固定された探索領域内の全てのブロックとを比較するこ
とにより現在処理しようとするブロックと最も類似した
ブロックを探索する。３-ステップ探索方法は相対的に
簡単でかつ正確に動き推定を行うことができる。
動き推定方法によれば、よく知られている３-ステップ
探索または４-ステップ探索に基づき計算量を減らして
いる。これらの方法は現在処理しようとするブロックと
固定された探索領域内の全てのブロックとを比較するこ
とにより現在処理しようとするブロックと最も類似した
ブロックを探索する。３-ステップ探索方法は相対的に
簡単でかつ正確に動き推定を行うことができる。
【０００６】しかし、計算量を減らすことにより高速の
ブロック整合が行えるような動き推定方法への要求が依
然として存在する。
ブロック整合が行えるような動き推定方法への要求が依
然として存在する。
【０００７】
【発明が解決しようとする課題】本発明の目的は、計算
量を減らすことにより高速のブロック整合が行えるよう
な動き推定方法を提供するところにある。
量を減らすことにより高速のブロック整合が行えるよう
な動き推定方法を提供するところにある。
【０００８】
【課題を解決するための手段】前記目的を達成するため
に、本発明による動き推定方法は、（ａ）探索ブロック
の中心点及び周辺探索点に対して平均絶対差（ＭＡＤ）
を計算する段階と、（ｂ）中心点でＭＡＤ値が最小であ
る場合には中心点周辺に対して動き推定を行う段階と、
（ｃ）中心点でＭＡＤ値が最小でない場合には周辺探索
点との相関関係を用いて動き推定を行う段階とを含むこ
とを特徴とする。
に、本発明による動き推定方法は、（ａ）探索ブロック
の中心点及び周辺探索点に対して平均絶対差（ＭＡＤ）
を計算する段階と、（ｂ）中心点でＭＡＤ値が最小であ
る場合には中心点周辺に対して動き推定を行う段階と、
（ｃ）中心点でＭＡＤ値が最小でない場合には周辺探索
点との相関関係を用いて動き推定を行う段階とを含むこ
とを特徴とする。
【０００９】また、前記（ｂ）段階は、（ｂ-１）前記
（ａ）段階において、中心点でＭＡＤ値が最小であると
判断されると、中心点から所定の予測距離だけ離れた新
しい所定個数の探索点を追加する段階と、（ｂ-２）追
加された探索点に対してＭＡＤ値を計算して最小のＭＡ
Ｄ値をもつ探索点の変位値を動きベクターとして決定す
る段階とを含むことが好ましい。
（ａ）段階において、中心点でＭＡＤ値が最小であると
判断されると、中心点から所定の予測距離だけ離れた新
しい所定個数の探索点を追加する段階と、（ｂ-２）追
加された探索点に対してＭＡＤ値を計算して最小のＭＡ
Ｄ値をもつ探索点の変位値を動きベクターとして決定す
る段階とを含むことが好ましい。
【００１０】また、前記（ｃ）段階は、（ｃ-１）前記
（ａ）段階において中心点でＭＡＤ値が最小でないと判
断されると、周辺探索点間の相関関係を用いて動きの方
向を決定する段階を含むことが好ましい。
（ａ）段階において中心点でＭＡＤ値が最小でないと判
断されると、周辺探索点間の相関関係を用いて動きの方
向を決定する段階を含むことが好ましい。
【００１１】また、前記相関関係は、最小ＭＡＤ値をも
つ探索点とその周辺探索点との間の相関には最小ＭＡＤ
値をもつ探索点のＭＡＤ値と周辺探索点のＭＡＤ値との
絶対差に基づくことが可能である。
つ探索点とその周辺探索点との間の相関には最小ＭＡＤ
値をもつ探索点のＭＡＤ値と周辺探索点のＭＡＤ値との
絶対差に基づくことが可能である。
【００１２】また、前記（ｃ）段階は、（ｃ-１）最小
のＭＡＤ値が周辺探索点のうちどれか一つにある場合に
は周辺探索点間の相関関係に基づき第２段階のための新
しい探索点を設定する段階と、（ｃ-２）前記（ｃ-１）
段階で設定された探索点に対してＭＡＤ値を計算する段
階と、（ｃ-３）前記（ｃ-２）段階で計算された結果で
最小ＭＡＤ値をもつ探索点と周辺探索点との間の相関関
係に基づき第３段階のための新しい探索中心点を設定す
る段階とを含むことが好ましい。
のＭＡＤ値が周辺探索点のうちどれか一つにある場合に
は周辺探索点間の相関関係に基づき第２段階のための新
しい探索点を設定する段階と、（ｃ-２）前記（ｃ-１）
段階で設定された探索点に対してＭＡＤ値を計算する段
階と、（ｃ-３）前記（ｃ-２）段階で計算された結果で
最小ＭＡＤ値をもつ探索点と周辺探索点との間の相関関
係に基づき第３段階のための新しい探索中心点を設定す
る段階とを含むことが好ましい。
【００１３】また、前記（ｃ-３）段階は、（ｃ-３-
１）中心点と周辺探索点との間のＭＡＤ値の絶対差が小
さい方向で中心点と周辺探索点との中間点を選択する段
階と、（ｃ-３-２）前記中間点及び前記中心点に対して
ＭＡＤ値を計算してＭＡＤ値が小さい点を新しい探索点
として設定する段階とを含むことが好ましい。
１）中心点と周辺探索点との間のＭＡＤ値の絶対差が小
さい方向で中心点と周辺探索点との中間点を選択する段
階と、（ｃ-３-２）前記中間点及び前記中心点に対して
ＭＡＤ値を計算してＭＡＤ値が小さい点を新しい探索点
として設定する段階とを含むことが好ましい。
【００１４】また、前記（ｃ-３）段階後に、（ｃ-４）
新しく設定された探索中心点から所定の予測距離だけ離
れた所定個数の探索点を追加する段階と、（ｃ-５）追
加された探索点に対してＭＡＤ値を計算して最小のＭＡ
Ｄ値をもつ探索点の変位値を動きベクターとして決定す
る段階とをさらに含むことが好ましい。
新しく設定された探索中心点から所定の予測距離だけ離
れた所定個数の探索点を追加する段階と、（ｃ-５）追
加された探索点に対してＭＡＤ値を計算して最小のＭＡ
Ｄ値をもつ探索点の変位値を動きベクターとして決定す
る段階とをさらに含むことが好ましい。
【００１５】また、代案的に、前記平均絶対差（ＭＡ
Ｄ）は、平均二乗誤差（Ｍｅａｎ Ｓｑｕａｒｅ Ｄｉｆ
ｆｅｒｅｎｃｅ；ＭＳＤ）であることも可能である。
Ｄ）は、平均二乗誤差（Ｍｅａｎ Ｓｑｕａｒｅ Ｄｉｆ
ｆｅｒｅｎｃｅ；ＭＳＤ）であることも可能である。
【００１６】
【発明の実施の形態】以下、添付した図面に基づき、本
発明の好ましい実施形態について詳細に説明する。
発明の好ましい実施形態について詳細に説明する。
【００１７】図１は、本発明の実施形態による動き推定
方法の主な段階を示したフローチャートである。本実施
形態では３段階の動き推定に基づく場合を例として説明
する。
方法の主な段階を示したフローチャートである。本実施
形態では３段階の動き推定に基づく場合を例として説明
する。
【００１８】本発明による動き推定方法は、第一に、例
えば、秒当たり２０ないし３０フレームの動映像内で統
計的に動きベクターの約７０％は動きベクター座標
（０，０）に集中しているということを用いる。図２
（ａ）、図２（ｂ）、図２（ｃ）及び図２（ｄ）には"
カーフォン（Ｃａｒｐｈｏｎｅ）"、"フォアマン（Ｆｏ
ｒｅｍａｎ）"、"マムアンドドータ（Ｍｏｍ ＆ Ｄａｕ
ｇｈｔｅｒ）"、及び"スジー（Ｓｕｓｉｅ）"の４種の
ＱＣＩＦ（Ｑｕａｄｒａｔｕｒｅ Ｃｏｍｍｏｎ Ｉｎｔ
ｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ）映像シーケンスで
の動きベクター分布が各々示されている。図２を参照す
ると、動きベクターの分布が（０，０）の周囲に集中し
ているということが分かる。
えば、秒当たり２０ないし３０フレームの動映像内で統
計的に動きベクターの約７０％は動きベクター座標
（０，０）に集中しているということを用いる。図２
（ａ）、図２（ｂ）、図２（ｃ）及び図２（ｄ）には"
カーフォン（Ｃａｒｐｈｏｎｅ）"、"フォアマン（Ｆｏ
ｒｅｍａｎ）"、"マムアンドドータ（Ｍｏｍ ＆ Ｄａｕ
ｇｈｔｅｒ）"、及び"スジー（Ｓｕｓｉｅ）"の４種の
ＱＣＩＦ（Ｑｕａｄｒａｔｕｒｅ Ｃｏｍｍｏｎ Ｉｎｔ
ｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ）映像シーケンスで
の動きベクター分布が各々示されている。図２を参照す
ると、動きベクターの分布が（０，０）の周囲に集中し
ているということが分かる。
【００１９】第二に、本発明による動き推定方法では、
探索点間の相関関係を考慮する。詳細に、ほとんどの動
きベクターは以前に決定された平均二乗誤差または平均
絶対誤差（Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅ
ｎｃｅ；ＭＡＤ）が最小となる方向に移動しようとする
傾向があり、局部的な最小で探索が行われ易いという点
を考慮する。このため、任意の探索点が局部的な最小と
して決定されると、その点を動きベクターを求める点と
して決定し、そうでない場合にはＭＡＤ値に基づく周辺
探索点間の相関関係を用いることにより探索の計算量を
減らす。本実施形態において、任意の一方向で周辺探索
点とのＭＡＤ値の差が小さいということはその方向への
動きが存在する可能性が高いということを表わす。この
ように本発明の実施形態では、周辺探索点とのＭＡＤ値
の違いを、一つの探索点と周辺探索点との間の相関関係
として用いる。
探索点間の相関関係を考慮する。詳細に、ほとんどの動
きベクターは以前に決定された平均二乗誤差または平均
絶対誤差（Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅ
ｎｃｅ；ＭＡＤ）が最小となる方向に移動しようとする
傾向があり、局部的な最小で探索が行われ易いという点
を考慮する。このため、任意の探索点が局部的な最小と
して決定されると、その点を動きベクターを求める点と
して決定し、そうでない場合にはＭＡＤ値に基づく周辺
探索点間の相関関係を用いることにより探索の計算量を
減らす。本実施形態において、任意の一方向で周辺探索
点とのＭＡＤ値の差が小さいということはその方向への
動きが存在する可能性が高いということを表わす。この
ように本発明の実施形態では、周辺探索点とのＭＡＤ値
の違いを、一つの探索点と周辺探索点との間の相関関係
として用いる。
【００２０】図３は、第１段階の処理過程を説明するた
めの図である。図３に示されたように、探索中心点から
±４予測距離をもつ４つの探索位置（ａ，ｂ，ｃ，ｄ）
が新しい探索点として設定される。次に、第１段階にお
いて、設定された探索点に対してＭＡＤ値を計算する
（ステップ１０２）。次に、中心点（ｏ）でＭＡＤ値が
最小であるかを判断する（ステップ１０４）。ステップ
１０４は、動きベクターの方向が中心にあるかどうかを
決定するための段階として理解できる。もし、中心
（ｏ）でＭＡＤが最小であれば±１の予測距離だけ離れ
た新しい８個の探索点を追加し（ステップ１１０）、追
加された探索点に対してＭＡＤ値を計算して最小のＭＡ
Ｄ値をもつ探索点の変位値を動きベクターとして決定す
る（ステップ１１２）。
めの図である。図３に示されたように、探索中心点から
±４予測距離をもつ４つの探索位置（ａ，ｂ，ｃ，ｄ）
が新しい探索点として設定される。次に、第１段階にお
いて、設定された探索点に対してＭＡＤ値を計算する
（ステップ１０２）。次に、中心点（ｏ）でＭＡＤ値が
最小であるかを判断する（ステップ１０４）。ステップ
１０４は、動きベクターの方向が中心にあるかどうかを
決定するための段階として理解できる。もし、中心
（ｏ）でＭＡＤが最小であれば±１の予測距離だけ離れ
た新しい８個の探索点を追加し（ステップ１１０）、追
加された探索点に対してＭＡＤ値を計算して最小のＭＡ
Ｄ値をもつ探索点の変位値を動きベクターとして決定す
る（ステップ１１２）。
【００２１】一方、ステップ１０４において、中心点
（ｏ）でＭＡＤ値が最小でないと判断された場合、最小
のＭＡＤ値が探索点（ａ，ｂ，ｃ，ｄ）にある場合には
周辺探索点間の相関関係を用いて動きの方向を決定す
る。すなわち、最小のＭＡＤ値が探索点（ａ，ｂ，ｃ，
ｄ）にある場合には周辺探索点間の相関関係に基づき第
２段階のための新しい探索点を設定する（ステップ１２
０）。
（ｏ）でＭＡＤ値が最小でないと判断された場合、最小
のＭＡＤ値が探索点（ａ，ｂ，ｃ，ｄ）にある場合には
周辺探索点間の相関関係を用いて動きの方向を決定す
る。すなわち、最小のＭＡＤ値が探索点（ａ，ｂ，ｃ，
ｄ）にある場合には周辺探索点間の相関関係に基づき第
２段階のための新しい探索点を設定する（ステップ１２
０）。
【００２２】図４（ａ）は、最小探索点と周辺探索点と
の間の相関関係を調べるためにカーフォン及びマムアン
ドドータの各テスト映像の１００フレームに存在する全
てのブロックに対して８個の探索点を設定した例を示し
たものであり、図４Ｂ及び図４（ｃ）は、該当探索点上
での平均ＭＡＤ値を計算した結果を示したものである。
図４Ｂを参照すると、探索点（ｄ）が最小ＭＡＤ点であ
り、│ＭＡＤ（ｄ）−ＭＡＤ（ｃ）│は２７であり、│
ＭＡＤ（ｄ）−ＭＡＤ（ｂ）│は３１であって、│ＭＡ
Ｄ（ｄ）−ＭＡＤ（ｃ）│<│ＭＡＤ（ｄ）−ＭＡＤ
（ｂ）│の関係が成立つ。これは、（ｄ）点と（ｃ）点
との間にある（ｄｃ）点のＭＡＤ値が（ｂ）と（ｄ）点
との間にある（ｂｄ）点のＭＡＤ値よりは小さいという
ことが分かる。このことから、差値が小さい方向により
小さいＭＡＤ値が分布されることが分かる。
の間の相関関係を調べるためにカーフォン及びマムアン
ドドータの各テスト映像の１００フレームに存在する全
てのブロックに対して８個の探索点を設定した例を示し
たものであり、図４Ｂ及び図４（ｃ）は、該当探索点上
での平均ＭＡＤ値を計算した結果を示したものである。
図４Ｂを参照すると、探索点（ｄ）が最小ＭＡＤ点であ
り、│ＭＡＤ（ｄ）−ＭＡＤ（ｃ）│は２７であり、│
ＭＡＤ（ｄ）−ＭＡＤ（ｂ）│は３１であって、│ＭＡ
Ｄ（ｄ）−ＭＡＤ（ｃ）│<│ＭＡＤ（ｄ）−ＭＡＤ
（ｂ）│の関係が成立つ。これは、（ｄ）点と（ｃ）点
との間にある（ｄｃ）点のＭＡＤ値が（ｂ）と（ｄ）点
との間にある（ｂｄ）点のＭＡＤ値よりは小さいという
ことが分かる。このことから、差値が小さい方向により
小さいＭＡＤ値が分布されることが分かる。
【００２３】また、図４（ｃ）を参照すると、探索点
（ａ）が中心点であり、│ＭＡＤ（ａ）−ＭＡＤ（ｂ）
│は１７８であり、│ＭＡＤ（ａ）−ＭＡＤ（ｃ）│は
２３であって、│ＭＡＤ（ａ）−ＭＡＤ（ｂ）│>│Ｍ
ＡＤ（ａ）−ＭＡＤ（ｃ）│の関係が成立ち、（ｃａ）
点のＭＡＤ値が（ａｂ）点のＭＡＤ値よりも小さいとい
うことが分かる。探索点間の相関は点ｂ、ｃ、またはｄ
が中心点である場合にも成立つ。
（ａ）が中心点であり、│ＭＡＤ（ａ）−ＭＡＤ（ｂ）
│は１７８であり、│ＭＡＤ（ａ）−ＭＡＤ（ｃ）│は
２３であって、│ＭＡＤ（ａ）−ＭＡＤ（ｂ）│>│Ｍ
ＡＤ（ａ）−ＭＡＤ（ｃ）│の関係が成立ち、（ｃａ）
点のＭＡＤ値が（ａｂ）点のＭＡＤ値よりも小さいとい
うことが分かる。探索点間の相関は点ｂ、ｃ、またはｄ
が中心点である場合にも成立つ。
【００２４】すなわち、本発明による動き推定方法は、
第１段階でマクロブロックの中心（ｏ）に該当する探索
点以外の探索点（ａ，ｂ，ｃ，ｄ）が最小ＭＡＤ値をも
つ探索点として決定されると、動きベクター方向成分の
推定に周辺探索点間の相関を用いる。本実施形態におい
て、最小ＭＡＤ値をもつ探索点とその周辺探索点との間
の相関には最小ＭＡＤ値をもつ探索点のＭＡＤ値と周辺
探索点のＭＡＤ値との絶対差を用いる。すなわち、下記
式による場合に対して次の段階での探索点及び動きを推
定する。 （数１） │ＭＡＤ（ａ）−ＭＡＤ（ｂ）│＝│ＭＡＤ（ａ）−ＭＡＤ（ｃ）│ （数２） │ＭＡＤ（ａ）−ＭＡＤ（ｂ）│>│ＭＡＤ（ａ）−ＭＡＤ（ｃ）│ （数３） │ＭＡＤ（ａ）−ＭＡＤ（ｂ）│<│ＭＡＤ（ａ）−ＭＡＤ（ｃ）│
第１段階でマクロブロックの中心（ｏ）に該当する探索
点以外の探索点（ａ，ｂ，ｃ，ｄ）が最小ＭＡＤ値をも
つ探索点として決定されると、動きベクター方向成分の
推定に周辺探索点間の相関を用いる。本実施形態におい
て、最小ＭＡＤ値をもつ探索点とその周辺探索点との間
の相関には最小ＭＡＤ値をもつ探索点のＭＡＤ値と周辺
探索点のＭＡＤ値との絶対差を用いる。すなわち、下記
式による場合に対して次の段階での探索点及び動きを推
定する。 （数１） │ＭＡＤ（ａ）−ＭＡＤ（ｂ）│＝│ＭＡＤ（ａ）−ＭＡＤ（ｃ）│ （数２） │ＭＡＤ（ａ）−ＭＡＤ（ｂ）│>│ＭＡＤ（ａ）−ＭＡＤ（ｃ）│ （数３） │ＭＡＤ（ａ）−ＭＡＤ（ｂ）│<│ＭＡＤ（ａ）−ＭＡＤ（ｃ）│
【００２５】図１には示されていないが、前式１の条件
を満足する場合には探索点（ａ）上で±１の推定距離を
もつ８個の探索点を設定し、最小ＭＡＤをもつ探索点の
変位値を動きベクターとして決定する。
を満足する場合には探索点（ａ）上で±１の推定距離を
もつ８個の探索点を設定し、最小ＭＡＤをもつ探索点の
変位値を動きベクターとして決定する。
【００２６】また、図４（ａ）に示されたように、前式
２の条件に該当する場合には探索点（ａ）と探索点
（ｃ）との間の中間点（ｃａ）が新しく設定され、各々
の他の探索点に対して比較計算結果により第２段階が行
われる。 （数４） ＭＡＤ（ａ）＝ＭＡＤ（ｃａ） （数５） ＭＡＤ（ａ）>ＭＡＤ（ｃａ） （数６） ＭＡＤ（ａ）<ＭＡＤ（ｃａ）
２の条件に該当する場合には探索点（ａ）と探索点
（ｃ）との間の中間点（ｃａ）が新しく設定され、各々
の他の探索点に対して比較計算結果により第２段階が行
われる。 （数４） ＭＡＤ（ａ）＝ＭＡＤ（ｃａ） （数５） ＭＡＤ（ａ）>ＭＡＤ（ｃａ） （数６） ＭＡＤ（ａ）<ＭＡＤ（ｃａ）
【００２７】前式４の条件を満足する場合には、探索点
（ａ）と探索点（ａｃ）との中間点上で±１の推定距離
をもつ８個の探索点を新しく設定し、最小ＭＡＤをもつ
探索点の変位値を動きベクターとして決定する。また、
前式５の条件を満足する場合には、点（ｃａ）を第２段
階のための新しい探索中心点として設定する。次に、新
しい探索中心点（ｃａ）から±２の推定距離をもつ４つ
の探索点を設定する。前式６の条件を満足する場合に
は、点（ａ）を第２段階のための新しい探索中心点とし
て設定する。次に、新しい探索中心点（ａ）から±２の
推定距離をもつ４つの探索点を設定する。すなわち、新
しく設定された探索中心点から±２の予測距離だけ離れ
た４つの探索点を設定する（ステップ１２２）。
（ａ）と探索点（ａｃ）との中間点上で±１の推定距離
をもつ８個の探索点を新しく設定し、最小ＭＡＤをもつ
探索点の変位値を動きベクターとして決定する。また、
前式５の条件を満足する場合には、点（ｃａ）を第２段
階のための新しい探索中心点として設定する。次に、新
しい探索中心点（ｃａ）から±２の推定距離をもつ４つ
の探索点を設定する。前式６の条件を満足する場合に
は、点（ａ）を第２段階のための新しい探索中心点とし
て設定する。次に、新しい探索中心点（ａ）から±２の
推定距離をもつ４つの探索点を設定する。すなわち、新
しく設定された探索中心点から±２の予測距離だけ離れ
た４つの探索点を設定する（ステップ１２２）。
【００２８】次に、ステップ１２２で設定された探索点
に対してＭＡＤ値を計算する（ステップ１２４）。次
に、ステップ１２４で計算された結果で最小ＭＡＤ値を
もつ探索点と周辺探索点との間の相関関係に基づき第３
段階のための新しい探索中心点を設定する（ステップ１
２６）。次に、第３段階では設定された探索中心点から
±１の予測距離だけ離れた８つの探索点を追加する（ス
テップ１２８）。次に、追加された探索点に対してＭＡ
Ｄ値を計算して最小のＭＡＤ値をもつ探索点の変位値を
動きベクターとして決定する（ステップ１３０）。
に対してＭＡＤ値を計算する（ステップ１２４）。次
に、ステップ１２４で計算された結果で最小ＭＡＤ値を
もつ探索点と周辺探索点との間の相関関係に基づき第３
段階のための新しい探索中心点を設定する（ステップ１
２６）。次に、第３段階では設定された探索中心点から
±１の予測距離だけ離れた８つの探索点を追加する（ス
テップ１２８）。次に、追加された探索点に対してＭＡ
Ｄ値を計算して最小のＭＡＤ値をもつ探索点の変位値を
動きベクターとして決定する（ステップ１３０）。
【００２９】図５は、動きベクター（７，１）を推定す
る過程の例を説明するための図である。図５を参照する
と、第１段階において、最小ＭＡＤ値は探索点（ｏ）で
ない探索点（ｄ）の場合に該当する。本発明によれば、
このような場合には、周辺探索点間の相関関係を用い
る。相関関係を分析すると、│ＭＡＤ（ｄ）−ＭＡＤ
（ｃ）│>│ＭＡＤ（ｄ）−ＭＡＤ（ｂ）│の条件を満
足するので、探索点（ｂ）と探索点（ｄ）との間の中間
点（ｅ）のＭＡＤを計算する。探索点（ｂ）に対するＭ
ＡＤは探索点（ｅ）に対するＭＡＤよりも大きいため、
探索点（ｅ）を第２段階のための新しい探索点として設
定し、探索中心（ｅ）から±２の推定距離をもつ４つの
探索点（ｆ）、（ｇ）、（ｈ）及び（ｉ）を設定し、第
２段階を行う。探索点（ｉ）が最小ＭＡＤをもち、│Ｍ
ＡＤ（ｉ）−ＭＡＤ（ｈ）│>│ＭＡＤ（ｉ）−ＭＡＤ
（ｇ）│の条件を満足する場合には、探索点（ｉ）と探
索点（ｇ）との中間点（ｊ）に対してＭＡＤを計算す
る。ＭＡＤ（ｇ）はＭＡＤ（ｊ）よりも大きいため、第
３段階では探索点（ｊ）を中心点とする±１の推定距離
に位置する８個の探索点を追加で設定する。最後の段階
では最適点（７，１）が与えられ、この点に対する距離
を用いて動きベクターが決定される。
る過程の例を説明するための図である。図５を参照する
と、第１段階において、最小ＭＡＤ値は探索点（ｏ）で
ない探索点（ｄ）の場合に該当する。本発明によれば、
このような場合には、周辺探索点間の相関関係を用い
る。相関関係を分析すると、│ＭＡＤ（ｄ）−ＭＡＤ
（ｃ）│>│ＭＡＤ（ｄ）−ＭＡＤ（ｂ）│の条件を満
足するので、探索点（ｂ）と探索点（ｄ）との間の中間
点（ｅ）のＭＡＤを計算する。探索点（ｂ）に対するＭ
ＡＤは探索点（ｅ）に対するＭＡＤよりも大きいため、
探索点（ｅ）を第２段階のための新しい探索点として設
定し、探索中心（ｅ）から±２の推定距離をもつ４つの
探索点（ｆ）、（ｇ）、（ｈ）及び（ｉ）を設定し、第
２段階を行う。探索点（ｉ）が最小ＭＡＤをもち、│Ｍ
ＡＤ（ｉ）−ＭＡＤ（ｈ）│>│ＭＡＤ（ｉ）−ＭＡＤ
（ｇ）│の条件を満足する場合には、探索点（ｉ）と探
索点（ｇ）との中間点（ｊ）に対してＭＡＤを計算す
る。ＭＡＤ（ｇ）はＭＡＤ（ｊ）よりも大きいため、第
３段階では探索点（ｊ）を中心点とする±１の推定距離
に位置する８個の探索点を追加で設定する。最後の段階
では最適点（７，１）が与えられ、この点に対する距離
を用いて動きベクターが決定される。
【００３０】もし、第１段階で終了された場合には、最
小探索点の数は最も小さい５＋８=１３となる。全ての
過程を経て動きベクターが決定された場合には最小探索
点の数は最も大きい５＋１＋４＋１＋８=１９となる。
小探索点の数は最も小さい５＋８=１３となる。全ての
過程を経て動きベクターが決定された場合には最小探索
点の数は最も大きい５＋１＋４＋１＋８=１９となる。
【００３１】従来の動き推定方法及び本発明の動き推定
方法の性能を評価するために模擬実験を行った。比較の
対象は最も正確に動きを推定する全域探索（ＦＳＭ）と
比較的に速く動きを推定する３段階探索（３ＳＳ）及び
最近良好な性能を示すと知られている４段階探索（４Ｓ
Ｓ）である。計算量を比較するための項目はマクロブロ
ック当たり平均探索点（Ａｖｅｒａｇｅ Ｓｅａｒｃｈ
ｉｎｇ Ｐｏｉｎｔ；ＡＳＰ）を選択した。表１には、
ＡＳＰの比較結果を示した。
方法の性能を評価するために模擬実験を行った。比較の
対象は最も正確に動きを推定する全域探索（ＦＳＭ）と
比較的に速く動きを推定する３段階探索（３ＳＳ）及び
最近良好な性能を示すと知られている４段階探索（４Ｓ
Ｓ）である。計算量を比較するための項目はマクロブロ
ック当たり平均探索点（Ａｖｅｒａｇｅ Ｓｅａｒｃｈ
ｉｎｇ Ｐｏｉｎｔ；ＡＳＰ）を選択した。表１には、
ＡＳＰの比較結果を示した。
【表１】
【００３２】表１を参照すると、本発明による動き推定
方法は従来の技術の動き推定方法（ＦＳＭ、３ＳＳ、４
ＳＳ）に比べてマクロブロック当たり平均探索点（ＡＳ
Ｐ）の数が低いということが分かる。すなわち、本発明
による動き推定方法は、計算量を顕著に減らすことによ
り映像圧縮の速度を向上させる。
方法は従来の技術の動き推定方法（ＦＳＭ、３ＳＳ、４
ＳＳ）に比べてマクロブロック当たり平均探索点（ＡＳ
Ｐ）の数が低いということが分かる。すなわち、本発明
による動き推定方法は、計算量を顕著に減らすことによ
り映像圧縮の速度を向上させる。
【００３３】また、動き推定の精密度を比較するための
項目はデシベル（ｄＢ）で表わされるＰＳＮＲを使用し
た。表２には、各テスト映像の１００フレームに対して
平均ＰＳＮＲを測定した結果を示した。
項目はデシベル（ｄＢ）で表わされるＰＳＮＲを使用し
た。表２には、各テスト映像の１００フレームに対して
平均ＰＳＮＲを測定した結果を示した。
【表２】
【００３４】表２を参照すると、本発明による動き推定
方法は従来の技術の動き推定方法（ＦＳＭ、３ＳＳ、４
ＳＳ）に比べて映像圧縮時に画質をあまり劣化させない
ということが分かる。
方法は従来の技術の動き推定方法（ＦＳＭ、３ＳＳ、４
ＳＳ）に比べて映像圧縮時に画質をあまり劣化させない
ということが分かる。
【００３５】また、前述のように本発明による動き推定
方法は、個人向けまたはサーバー級のコンピュータ内で
実行されるプログラムにて作成可能である。前記プログ
ラムを構成するプログラムコード及びコードセグメント
は当該分野のコンピュータプログラマーによって容易に
推論できる。また、前記プログラムはコンピュータにて
読み取り可能な記録媒体に貯蔵できる。前記記録媒体は
磁気記録媒体、光記録媒体、及び電波媒体を含む。
方法は、個人向けまたはサーバー級のコンピュータ内で
実行されるプログラムにて作成可能である。前記プログ
ラムを構成するプログラムコード及びコードセグメント
は当該分野のコンピュータプログラマーによって容易に
推論できる。また、前記プログラムはコンピュータにて
読み取り可能な記録媒体に貯蔵できる。前記記録媒体は
磁気記録媒体、光記録媒体、及び電波媒体を含む。
【００３６】
【発明の効果】以上述べたように、本発明によれば、従
来の技術の動き推定方法に比べて映像圧縮時に画質をあ
まり劣化させずに、計算量を顕著に減らすことによって
映像圧縮の速度を向上させる。
来の技術の動き推定方法に比べて映像圧縮時に画質をあ
まり劣化させずに、計算量を顕著に減らすことによって
映像圧縮の速度を向上させる。
【図１】 本発明の実施形態による動き推定方法の主な
段階を示したフローチャートである。
段階を示したフローチャートである。
【図２】 （ａ）"カーフォン（Ｃａｒｐｈｏｎｅ）"の
ＱＣＩＦ（Ｑｕａｄｒａｔｕｒｅ Ｃｏｍｍｏｎ Ｉｎｔ
ｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ）映像シーケンスで
の動きベクター分布を各々示した図である。（ｂ）"フ
ォアマン（Ｆｏｒｅｍａｎ）"のＱＣＩＦ映像シーケン
スでの動きベクター分布を各々示した図である。
（ｃ）"マムアンドドータ（Ｍｏｍ ＆ Ｄａｕｇｈｔｅ
ｒ）"のＱＣＩＦ映像シーケンスでの動きベクター分布
を各々示した図である。（ｃ）"スジー（Ｓｕｓｉｅ）"
のＱＣＩＦ映像シーケンスでの動きベクター分布を各々
示した図である。
ＱＣＩＦ（Ｑｕａｄｒａｔｕｒｅ Ｃｏｍｍｏｎ Ｉｎｔ
ｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ）映像シーケンスで
の動きベクター分布を各々示した図である。（ｂ）"フ
ォアマン（Ｆｏｒｅｍａｎ）"のＱＣＩＦ映像シーケン
スでの動きベクター分布を各々示した図である。
（ｃ）"マムアンドドータ（Ｍｏｍ ＆ Ｄａｕｇｈｔｅ
ｒ）"のＱＣＩＦ映像シーケンスでの動きベクター分布
を各々示した図である。（ｃ）"スジー（Ｓｕｓｉｅ）"
のＱＣＩＦ映像シーケンスでの動きベクター分布を各々
示した図である。
【図３】 第１段階の処理過程を説明するための図であ
る。
る。
【図４】 （ａ）最小探索点と周辺探索点との間の相関
関係を調べるためにカーフォン及びマムアンドドータの
各テスト映像の１００フレームに存在する全てのブロッ
クに対して８個の探索点を設定した例を示した図であ
る。（ｂ）該当探索点上での平均ＭＡＤ値を計算した結
果を示した図である。（ｃ）該当探索点上での平均ＭＡ
Ｄ値を計算した結果を示した図である。
関係を調べるためにカーフォン及びマムアンドドータの
各テスト映像の１００フレームに存在する全てのブロッ
クに対して８個の探索点を設定した例を示した図であ
る。（ｂ）該当探索点上での平均ＭＡＤ値を計算した結
果を示した図である。（ｃ）該当探索点上での平均ＭＡ
Ｄ値を計算した結果を示した図である。
【図５】 動きベクター（７，１）を推定する過程の例
を説明するための図である。
を説明するための図である。
Claims (9)
- 【請求項１】 （ａ）探索ブロックの中心点及び周辺探
索点に対して平均絶対差（ＭＡＤ）を計算する段階と、
（ｂ）中心点でＭＡＤ値が最小である場合には中心点周
辺に対して動き推定を行う段階と、（ｃ）中心点でＭＡ
Ｄ値が最小でない場合には周辺探索点との相関関係を用
いて動き推定を行う段階とを含むことを特徴とする動き
推定方法。 - 【請求項２】 前記（ｂ）段階は、（ｂ-１）前記（ａ）
段階において、中心点でＭＡＤ値が最小であると判断さ
れると、中心点から所定の予測距離だけ離れた新しい所
定個数の探索点を追加する段階と、（ｂ-２）追加され
た探索点に対してＭＡＤ値を計算して最小のＭＡＤ値を
もつ探索点の変位値を動きベクターとして決定する段階
とを含むことを特徴とする請求項１に記載の動き推定方
法。 - 【請求項３】 前記（ｃ）段階は、（ｃ-１）前記（ａ）
段階において、中心点でＭＡＤ値が最小でないと判断さ
れると、周辺探索点間の相関関係を用いて動きの方向を
決定する段階を含むことを特徴とする請求項１に記載の
動き推定方法。 - 【請求項４】 前記相関関係は、最小ＭＡＤ値をもつ探
索点とその周辺探索点との間の相関には最小ＭＡＤ値を
もつ探索点のＭＡＤ値と周辺探索点のＭＡＤ値との絶対
差に基づくことを特徴とする請求項３に記載の動き推定
方法。 - 【請求項５】 前記（ｃ）段階は、（ｃ-１）最小のＭＡ
Ｄ値が周辺探索点のうちどれか一つにある場合には周辺
探索点店間の相関関係に基づく第２段階のための新しい
探索点を設定する段階と、（ｃ-２）前記（ｃ-１）段階
で設定された探索点に対してＭＡＤ値を計算する段階
と、（ｃ-３）前記（ｃ-２）段階で計算された結果で最
小ＭＡＤ値をもつ探索点と周辺探索点との間の相関関係
に基づき第３段階のための新しい探索中心点を設定する
段階とを含むことを特徴とする請求項１に記載の動き推
定方法。 - 【請求項６】 前記（ｃ-３）段階は、（ｃ-３-１）中心
点と周辺探索点との間のＭＡＤ値の絶対差が小さい方向
で中心点と周辺探索点との中間点を選択する段階と、
（ｃ-３-２）前記中間点及び前記中心点に対してＭＡＤ
値を計算してＭＡＤ値が小さい点を新しい探索点として
設定する段階とを含むことを特徴とする請求項５に記載
の動き推定方法。 - 【請求項７】 前記平均絶対差（ＭＡＤ）は平均二乗誤
差（ＭＳＤ）であることを特徴とする請求項１ないし６
のいずれか一項に記載の動き推定方法。 - 【請求項８】 前記（ｃ-３）段階後に、（ｃ-４）新し
く設定された探索中心点から所定の予測距離だけ離れた
所定個数の探索点を追加する段階と、（ｃ-５）追加さ
れた探索点に対しＭＡＤ値を計算して最小のＭＡＤ値を
もつ探索点の変位値を動きベクターとして決定する段階
とをさらに含むことを特徴とする請求項５または６のい
ずれかに記載の動き推定方法。 - 【請求項９】 前記平均絶対差（ＭＡＤ）は平均二乗誤
差（ＭＳＤ）であることを特徴とする請求項８に記載の
動き推定方法。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US22155300P | 2000-07-28 | 2000-07-28 | |
| KR200056150 | 2000-09-25 | ||
| KR1020000056150A KR100782800B1 (ko) | 2000-07-28 | 2000-09-25 | 움직임 추정 방법 |
| KR221.553 | 2000-09-25 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002058037A true JP2002058037A (ja) | 2002-02-22 |
| JP3625771B2 JP3625771B2 (ja) | 2005-03-02 |
Family
ID=26638412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001051163A Expired - Fee Related JP3625771B2 (ja) | 2000-07-28 | 2001-02-26 | 動き推定方法 |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP1176829A1 (ja) |
| JP (1) | JP3625771B2 (ja) |
| CN (1) | CN1159919C (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007096805A (ja) * | 2005-09-29 | 2007-04-12 | Megachips Lsi Solutions Inc | 動き探索方法 |
| CN100340116C (zh) * | 2005-01-21 | 2007-09-26 | 浙江大学 | 一种复杂度可分级的运动估计方法 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BRPI0412539A (pt) * | 2003-07-15 | 2006-09-19 | Thomson Licensing | estimativa de movimento com comparação de blocos de busca rápida |
| JP4488805B2 (ja) * | 2004-06-25 | 2010-06-23 | パナソニック株式会社 | 動きベクトル検出装置および方法 |
| KR101217627B1 (ko) * | 2006-02-02 | 2013-01-02 | 삼성전자주식회사 | 블록 기반의 움직임 추정 방법 및 장치 |
-
2001
- 2001-01-20 CN CNB011017058A patent/CN1159919C/zh not_active Expired - Fee Related
- 2001-01-31 EP EP01300863A patent/EP1176829A1/en not_active Withdrawn
- 2001-02-26 JP JP2001051163A patent/JP3625771B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100340116C (zh) * | 2005-01-21 | 2007-09-26 | 浙江大学 | 一种复杂度可分级的运动估计方法 |
| JP2007096805A (ja) * | 2005-09-29 | 2007-04-12 | Megachips Lsi Solutions Inc | 動き探索方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3625771B2 (ja) | 2005-03-02 |
| CN1346216A (zh) | 2002-04-24 |
| EP1176829A1 (en) | 2002-01-30 |
| CN1159919C (zh) | 2004-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6785333B2 (en) | Motion vector coding method | |
| US20110064138A1 (en) | Device and method for performing half pixel accuracy fast search in video coding | |
| KR101342268B1 (ko) | 모션 보상을 위한 자연 형상 영역 | |
| EP1389016A2 (en) | Motion estimation and block matching pattern using minimum measure of combined motion and error signal data | |
| US20030063673A1 (en) | Motion estimation and/or compensation | |
| US8428135B2 (en) | Device and method for fast sub sample block-matching motion estimation in video encoders | |
| JP2011035928A (ja) | 動き補償動画像符号化装置及び動き補償動画像復号装置 | |
| JPH09261662A (ja) | ディジタルビデオ符号化器における動き推定方法および装置 | |
| EP1158806A1 (en) | Motion vector coding | |
| US20080212675A1 (en) | Motion Vector Estimating Device, and Motion Vector Estimating Method | |
| US6996180B2 (en) | Fast half-pixel motion estimation using steepest descent | |
| KR100782800B1 (ko) | 움직임 추정 방법 | |
| JP3955297B2 (ja) | デジタル動画像トランスコーディングのためのモーションベクトル推定方法 | |
| JP2002058037A (ja) | 動き推定方法 | |
| EP1295483B1 (en) | Method of performing motion estimation | |
| US20060056511A1 (en) | Flexible polygon motion estimating method and system | |
| KR100451184B1 (ko) | 모션 벡터 탐색 방법 | |
| US7885335B2 (en) | Variable shape motion estimation in video sequence | |
| JP2002539685A (ja) | ブロックマッチング動き推定 | |
| US20240422309A1 (en) | Selection of projected motion vectors | |
| US11930188B2 (en) | Reference region determination apparatus and program | |
| JP2937134B2 (ja) | 動きベクトル探索方法 | |
| JP2006254347A (ja) | 画像符号化装置 | |
| KR100502138B1 (ko) | 이웃하는 움직임 벡터를 이용한 가이디드 탐색방법 | |
| JPH11275587A (ja) | 動きベクトル生成装置、画像符号化装置、動きベクトル生成方法及び画像符号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041019 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041022 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041130 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071210 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121210 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121210 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131210 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |