[go: up one dir, main page]

JP4102973B2 - 動画像の符号化方法および復号化方法、これを用いた装置とプログラム - Google Patents

動画像の符号化方法および復号化方法、これを用いた装置とプログラム Download PDF

Info

Publication number
JP4102973B2
JP4102973B2 JP2002122379A JP2002122379A JP4102973B2 JP 4102973 B2 JP4102973 B2 JP 4102973B2 JP 2002122379 A JP2002122379 A JP 2002122379A JP 2002122379 A JP2002122379 A JP 2002122379A JP 4102973 B2 JP4102973 B2 JP 4102973B2
Authority
JP
Japan
Prior art keywords
pixel
motion vector
filter
reference image
decimal point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2002122379A
Other languages
English (en)
Other versions
JP2003319398A (ja
Inventor
慶一 蝶野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=29267445&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP4102973(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2002122379A priority Critical patent/JP4102973B2/ja
Priority to EP15194878.3A priority patent/EP3043564B1/en
Priority to EP15194875.9A priority patent/EP3043563B1/en
Priority to US10/503,317 priority patent/US7835440B2/en
Priority to CN200910206099XA priority patent/CN101686396B/zh
Priority to PCT/JP2003/004797 priority patent/WO2003092300A1/ja
Priority to EP03747221.4A priority patent/EP1499134B1/en
Priority to CN2007101692955A priority patent/CN101175207B/zh
Priority to CNB038031469A priority patent/CN100358367C/zh
Priority to KR20047011913A priority patent/KR100660358B1/ko
Priority to EP15194877.5A priority patent/EP3043561B1/en
Publication of JP2003319398A publication Critical patent/JP2003319398A/ja
Publication of JP4102973B2 publication Critical patent/JP4102973B2/ja
Application granted granted Critical
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は動画像の符号化／復号技術に関し、特に、動き補償に用いる小数点画素の補間を、フィルタ係数を適応的に切り替えて符号化を行う動画像符号化／復号プログラム、方法および装置に関する。
【０００２】
【従来の技術】
ディジタル放送システムやサービス等において、多くの動画像信号は圧縮符号化されて伝送・蓄積される。
【０００３】
図１６は、典型的な動画像信号の符号化器の構成を示すブロック図である。図１６に示される符号化器は、局所的復号器を含んでおり、周波数変換器１１、量子化装置１２、可変長符号化器１３、逆量子化装置１４、逆周波数変換手段器１５、フレームメモリ１６、動き補償装置１７，および動きベクトル検出装置１８より構成されている。
【０００４】
入力画像は、符号化器に入力されて複数のブロックに分割される。入力画像にフレーム間予測が行われる場合、それぞれのブロックは、動き補償装置１７によって、過去に復号された画像から生成された予測値が減じられる。ここで、フレーム間予測とは、過去に再構築された参照画像を用いて、現在の画像を符号化する方法である。
【０００５】
次に、この画像ブロックは、周波数変換器１１によって周波数領域に変換される。周波数領域に変換された画像ブロックは、量子化装置１２によって量子化される。上記量子化された画像ブロックは、可変長符号化器１３によってエントロピー符号化されて、蓄積される。
【０００６】
局所的復号として、上記量子化された画像ブロックは、逆量子化装置１４、逆周波数変換器１５により、再びもとの空間領域に戻される。
【０００７】
フレーム間予測の場合、上記予測値が画像ブロックに加えられ、再構築画像を形成する。この再構築画像は、次の画像の符号化に用いられるので参照画像と呼ばれる。上記参照画像はフレームメモリ１６に格納されて、動きベクトル検出装置１８、動き補償装置１７に用いられる。動きベクトル検出装置１８は、入力画像のブロックと上記参照画像から、動きベクトルを検出する。動き補償装置１７は、上記動きベクトルと上記参照画像から予測値を生成する。
【０００８】
図１７は図１６に示した符号化器に対応する復号器の構成を示すブロック図である。図１７に示される復号器は、可変長復号化器１９、逆量子化装置２０、逆周波数変換器２１、動き補償装置２２、フレームメモリ２３で構成されている。逆量子化装置２０、逆周波数変換器２１、動き補償装置２２およびフレームメモリ２３の動作は、符号化器の内部復号器の逆量子化装置１４、逆周波数変換手段器１５、動き補償装置１７およびフレームメモリ１６と同じである。
【０００９】
復号では、まず、可変長復号化器１９により、入力を符号化された表現からもとの表現に戻す。次に、復号された変換係数に、逆量子化、逆周波数変換を行い、変換係数を空間領域の画像ブロックに戻す。フレーム間予測の場合、空間領域に戻された画像ブロックに予測値を加え、再構築画像を形成する。この予測値は、フレームメモリ２３に格納された参照画像と可変長復号化器１９から供給される動きベクトルによって生成される。再構築画像は、次に復号する画像に利用されるのでフレームメモリ２３に格納される。
【００１０】
【発明が解決しようとする課題】
上記の動画像信号の符号化効率を改善する手段として、プレフィルタを用いることや小数点画素精度の動き補償などがある。プレフィルタは、入力画像の帯域をフィルタによって操作することで符号化効率を改善する。これに対して、小数点画素精度の動き補償は、参照画像に小数精度の動きを作り出すことによって符号化効率を改善する。
【００１１】
プレフィルタは、入力画像の帯域制限を行うので、動画像の符号化効率を直接向上させるものではない。また、従来方式における小数点画素精度の動き補償は、小数点画素を固定のフィルタを用いて補間する。このため、動画像の性質、ビットレートに応じた小数点画素の補間ができない。
【００１２】
本発明は上述したような従来技術に鑑みてなされたものであって、動き補償の効果を高め、符号化効率を改善することのできる動画像の符号化／復号方法を実現することを目的とする。
【００１３】
【課題を解決するための手段】
本発明の動画像符号化方法は、参照画像に複数の補間処理を行い、前記複数の補間処理された参照画像と入力画像から最良の符号化効率となる動きベクトルと補間処理を求める動画像符号化方法であって、
前記補間処理は前記参照画像の画素の画素値から前記補間処理された参照画像の画素の画素値を求める際に前記参照画像の画素と前記補間処理された参照画像の画素の位置の差に相当する位相量とは異なる位相量のずらしを行うフィルタリングであることを特徴とする。
前記補間処理された参照画像の画素の位置とは、前記動きベクトルが示す位置としてもよい。
また、前記異なるずらしの位相量の精度は小数点画素精度であるとしてもよい。
また、前記動きベクトルの画素精度は小数点画素精度であるとしてもよい。
また、前記最良の符号化効率とは、参照画像と入力画像との差分量と、動きベクトルと補間処理を同定する符号の伝送符号量の重み付け和が最小であるとしてもよい。
【００１４】
本発明の動画像復号化方法は、入力された補間処理の情報によって、複数の補間処理から１つの補間処理を選択するステップと、入力された動きベクトルの情報と選択した補間処理に基づいて、動き補償予測をするステップと、を有する動画像復号化方法であって、
前記補間処理は前記参照画像の画素の画素値から前記補間処理された参照画像の画素の画素値を求める際に前記参照画像の画素と前記補間処理された参照画像の画素の位置の差に相当する位相量とは異なる位相量のずらしを行うフィルタリングであることを特徴とする。
前記補間処理された参照画像の画素の位置とは、前記動きベクトルが示す位置としてもよい。
また、前記異なるずらしの位相量の精度は小数点画素精度であるとしてもよい。
また、前記動きベクトルの画素精度は小数点画素精度であるとしてもよい。
本発明の他の形態による動画像符号化方法は、小数点精度の動きベクトルで表現される参照画像の小数点位置に、複数のフィルタを用いて複数の画像を補間するステップと、前記補間された参照画像と入力画像から最も符号化効率が良い動きベクトルとフィルタの組を検出するステップと、検出された動きベクトルの小数点位置と検出されたフィルタに対応する参照画像を用いて小数点精度の動き補償予測をするステップと、検出されたフィルタと動きベクトルの情報を可変長符号化するステップとを有する動画像符号化方法であって、
補間するステップにて、前記フィルタの位相の小数点精度が、動きベクトルの小数点精度とは異なることを特徴とする。
【００１５】
本発明の動画像復号化方法は、入力されたフィルタの情報によって、小数点精度の動きベクトルで表現される参照画像の小数点位置を補間するフィルタを選択するステップと、入力された動きベクトルの情報と選択したフィルタに基づいて、小数点精度の動き補償予測をするステップと、を有する動画像復号化方法であって、
フィルタを選択するステップにて、選択候補のフィルタの位相がそれぞれ異なることを特徴とする。
この場合、前記フィルタの位相の小数点精度が、動きベクトルの小数点精度とは異なるとしてもよい。
【００１６】
本発明の動画像符号化装置は、参照画像に複数の補間処理を行い、前記複数の補間処理された参照画像と入力画像から最良の符号化効率となる動きベクトルと補間処理を求める動画像符号化装置であって、
前記補間処理を、前記参照画像の画素の画素値から前記補間処理された参照画像の画素の画素値を求める際に前記参照画像の画素と前記補間処理された参照画像の画素の位置の差に相当する位相量のずらしを行うフィルタリングとして行う補間フィルタを有することを特徴とする。
前記補間処理された参照画像の画素の位置とは、前記動きベクトルが示す位置としてもよい。
また、前記異なるずらしの位相量の精度は小数点画素精度であるとしてもよい。
また、前記動きベクトルの画素精度は小数点画素精度であるとしてもよい。
また、前記最良の符号化効率とは、参照画像と入力画像との差分量と、動きベクトルと補間処理を同定する符号の伝送符号量の重み付け和が最小であるとしてもよい。
【００１７】
本発明の動画像復号化装置は、入力された補間処理の情報によって、複数の補間処理から１つの補間処理を選択する手段と、入力された動きベクトルの情報と選択した補間処理に基づいて、動き補償予測をする手段と、を有する動画像復号化装置であって、
前記複数の補間処理を、前記参照画像の画素の画素値から前記補間処理された参照画像の画素の画素値を求める際に前記参照画像の画素と前記補間処理された参照画像の画素の位置の差に相当する位相量とは異なる位相量のずらしを行うフィルタリングとして行う補間フィルタを有することを特徴とする。
前記補間処理された参照画像の画素の位置とは、前記動きベクトルが示す位置としてもよい。
また、前記異なるずらしの位相量の精度は小数点画素精度であるとしてもよい。
また、前記動きベクトルの画素精度は小数点画素精度であるとしてもよい。
【００１８】
本発明の他の形態による動画像符号化装置は、小数点精度の動きベクトルで表現される参照画像の小数点位置に、複数のフィルタを用いて複数の画像を補間する手段と、前記補間された参照画像と入力画像から最も符号化効率が良い動きベクトルとフィルタの組を検出する手段と、検出された動きベクトルの小数点位置と検出されたフィルタに対応する参照画像を用いて小数点精度の動き補償予測をする手段と、検出されたフィルタと動きベクトルの情報を可変長符号化する手段とを有する動画像符号化装置であって、
補間する手段は、前記フィルタの位相の小数点精度が、動きベクトルの小数点精度とは異なることを特徴とする。
【００１９】
本発明の他の形態による動画像復号化装置は、入力されたフィルタの情報によって、小数点精度の動きベクトルで表現される参照画像の小数点位置を補間するフィルタを選択する手段と、入力された動きベクトルの情報と選択したフィルタに基づいて、小数点精度の動き補償予測をする手段と、を有する動画像復号化装置であって、
フィルタを選択する手段は、選択候補のフィルタの位相がそれぞれ異なるとしてもよい。
また、フィルタを選択する手段は、前記フィルタの位相の小数点精度が、動きベクトルの小数点精度とは異なるとしてもよい。
【００２０】
本発明のプログラムは上記のいずれかに記載の動画像符号化方法をコンピュータに実行させる。
【００２１】
本発明の他の形態によるプログラムは上記のいずれかに記載の動画像復号化方法をコンピュータに実行させる。
【００２２】
【発明の実施の形態】
次に、本発明の実施形態について図面を参照して詳細に説明する。
【００２３】
第１実施形態
図１は本発明による第１実施形態の構成を示すブロック図である。本実施形態は、制御装置、記憶装置、入力装置および表示装置からなる一般的なコンピュータシステムを用いて構成されるものであり、図１にはその要部となる部分のみが示されている。
【００２４】
フィルタ／補間画像記憶装置１０１、動きベクトル／フィルタ係数検出装置１０２、予測値生成装置１０３を含む。これらは、図１６に示した符号化方式のフレームメモリ／動き補償部／動きベクトル検出に相当するものであり、これら以外の構成は図１６に示した符号化器と同じ構成とされている。このため、以下の説明では図１６も参照して本実施形態について説明する。
【００２５】
本実施形態は、本実施形態を含むコンピュータシステムの主記憶に余裕があり、補間画像を複数格納できる場合に構築されるものであり、以下にその構成と動作を説明する。
【００２６】
フィルタ／補間画像記憶装置１０１は、フィルタ１０１１と補間画像記憶装置１０２１とが組合わされた複数の組と、各組の補間画像記憶装置１０２１出力を入力し、いずれかを選択的に動きベクトル／フィルタ検出装置１０２および予測値生成装置１０３へ出力するスイッチ１０１３とで構成される。
【００２７】
各フィルタ１０１１はそれぞれ異なるフィルタ特性を有するもので、入力される再構築画像から小数点位置補間画像を生成し、補間画像記憶装置１０２１に供給する。
【００２８】
補間画像記憶装置１０２１は、フィルタ１０１１から供給される補間画像を格納する。
【００２９】
なお、再構築画像を記憶する手段を別途に設け、必要に応じて逐次読み出す構成とする場合には、補間画像記憶装置１０２１を設けることなく、フィルタ１０１１で逐次計算された結果を出力することとしてもよい。
【００３０】
動きベクトル／フィルタ検出装置１０２は、動きベクトル検出装置１０２１とフィルタ検出装置１０２２で構成される。この動きベクトル／フィルタ検出装置１０２は、スイッチ１０１３を操作可能に構成されており、入力画像と補間画像から、最も符号化効率の良い動きベクトルとフィルタの組を検出し、予測値生成装置１０３および可変長符号化器１３（図１６参照）へ供給する。
【００３１】
動きベクトル検出装置１０２１は、画像を入力し、また、スイッチ１０１３を操作可能に構成されており、スイッチ１０１３を順次切り替えて各補間画像記憶装置１０１２に格納されている各補間画像を入力して参照し、参照した補間画像と入力画像から、後述するブロックコストを求め、最もブロックコストの小さな動きベクトルと予測誤差の組をフィルタ検出装置１０２２へ供給する。なお、予測誤差とは、入力画像と再構築画像の差分である。
【００３２】
フィルタ検出装置１０２２は、動きベクトル検出装置１０２１から供給される各補間画像記憶装置１０１２に格納されている各補間画像の動きベクトルと予測誤差、および、フィルタ情報を用いて後述する符号化コストを求め、最も符号化コストの小さな画像を生成したフィルタ１０１１を検出する。また、検出された動きベクトルとフィルタの組を予測値生成１０３および可変長符号化器１３へ供給する。
【００３３】
ここで、動きベクトル検出１０２１とフィルタ検出１０２２を一体化し、ブロックコストおよび符号化コストの最も小さな動きベクトルとフィルタの組を検出するように構成してもよい。
【００３４】
予測値生成装置１０３は動きベクトル検出装置１０２１と同様に、スイッチ１０１３を操作可能に構成されており、動きベクトル／フィルタ検出装置１０２より供給される動きベクトルとフィルタを用いて予測値を生成する。具体的には、フィルタに対応する補間画像をスイッチ１０１３の切り替えにより参照し、動きベクトルを用いて補間画像から予測値を読み出す。なお、動きベクトル／フィルタ検出装置１０２に予測値を記憶する機能を設け、動きベクトル／フィルタ検出装置１０２が、予測値を直接生成できるように構成してもよい。
【００３５】
次に、本実施形態の動作について、図２を参照して説明する。図２は本実施形態の動作を示すフローチャートである。
【００３６】
ステップＳ１０１では、再構築画像にフィルタ／補間画像記憶装置１０１を用いて複数の小数点位置補間画像を生成し、複数の補間画像を格納する。
【００３７】
画像を構成する画素をｘ（ｉ，ｊ）、画像のサイズをＷｘＨ，補間フィルタ係数（ｆ１，ｆ２，ｆ３，ｆ４）とすると、ｘ（ｉ，ｊ）とｘ（ｉ＋１，ｊ）の中間に位置する２分の１画素は、以下の数式で補間される。
【００３８】
【数１】
Figure 0004102973
【００３９】
式１を画像の横方向、縦方向に適応させることで２分の１画素の補間が完了する。２分の１小数点位置の補間画像のサイズは４ｘＷｘＨとなる。４分の１画素、８分の１画素は、上記を繰り返すことで得られ、それぞれの補間画像サイズは１６ｘＷｘＨ、６４ｘＷｘＨとなる。
【００４０】
また、ｎ分の１画素の補間を行う場合に一般的な、補間精度と小数点画素位置に応じたフィルタを用いて直接補間することとしてもよい。
【００４１】
続くステップＳ１０２では、ステップＳ１０１で得られた各補間画像から、動きベクトル／フィルタ検出装置１０２を用いて各補間画像別にブロックコストが最も小さな動きベクトルと予測誤差の組を求める。
【００４２】
ブロックコスト（Block cost）は、動きベクトル検出装置１０２１により算出され、入力画像を構成する画素をｓ（ｉ，ｊ），補間された再構築画像を構成する画素をｓ（ｉ，ｊ），ブロックのサイズをＭｘＮ、動きベクトルを（ｖｘ，ｖｙ）、動きベクトル予測を（ｐｘ，ｐｙ）、ベクトル符号量を求める関数をＶＦ（ｘ，ｙ）、αをベクトル符号量の重みづけパラメータとすると以下の数式で示される。
【００４３】
【数２】
Figure 0004102973
【００４４】
続くステップＳ１０３では、ステップＳ１０２で得られた動きベクトルと予測誤差の組と補間画像を特定するフィルタ係数を用いて、フィルタ検出１０２２により、符号化コスト（Encode cost）を求める。予測誤差の符号量をＥ，フィルタ係数をcoeff１、フィルタ係数の符号量を求める関数をＦＦ（coeff）とすると、このフィルタ係数に対する符号化コストは、以下で与えられる
【００４５】
【数３】
Figure 0004102973
【００４６】
なお、式３−１における第１項の予測誤差符号量を求める演算量を削減しようとする場合には、符号化コストは、ブロックコストを再利用して、
【００４７】
【数４】
Figure 0004102973
【００４８】
としてもよい。
【００４９】
もし、フィルタを、サイズのブロックＰ個の単位で切り替える場合（フレームはブロックの集合でもある）、フィルタ係数coeff１に対する符号化コストは、
【００５０】
【数５】
Figure 0004102973
【００５１】
で与えられる。ブロックコストには、当然ながら予測誤差の符号量を用いることができる。ただしブロックの集合単位で、フィルタ係数の切り替えを行う場合、ブロックの個数だけ、動きベクトルと予測誤差およびブロックコストを記憶しておくことが必要となり、フィルタ検出装置１０２２はこれらを記憶する機能を備えている。
【００５２】
続くステップＳ１０４では、ステップＳ１０３で得られた最も符号化コストの小さなフィルタ係数と動きベクトルの組を、可変長符号化器１３および予測値生成装置１０３に供給する。
【００５３】
続くステップＳ１０５では、ステップＳ１０４により得られたフィルタ係数と動きベクトルを用いた予測値生成装置１０３による予測値の生成が行なわれる。予測値の生成において予測値生成装置１０３は、フィルタ係数に応じてスイッチ１０１３を切り替えて参照する補間画像を選択し、動きベクトルを用いて予測値を読出して生成する。
【００５４】
以上のステップは、予め求められたフィルタ係数をどのようにして選択するかについて述べているが、フィルタ係数そのものを見積もるアルゴリズムと用意に組み合わせることが可能なことは言うまでもない。
【００５５】
第２実施形態
次に、本発明の第２の実施形態について説明する。本実施形態は、本実施形態を含むコンピュータシステムの主記憶に余裕がなく、補間画像を複数格納できない場合に構築されるものであり、以下にその構成と動作を説明する。
【００５６】
図３は本発明の第２の実施形態の要部構成を示すブロック図である。
【００５７】
本実施形態は、フィルタ／補間画像蓄積１０１ｂ、動きベクトル／フィルタ係数検出１０２ｂ、予測値生成１０３ｂとを備えている。図１に示した実施形態の構成要素と比較すると、フィルタ／補間画像蓄積装置１０１ｂはフィルタ／補間画像蓄積装置１０１、動きベクトル／フィルタ係数検出装置１０２ｂは動きベクトル／フィルタ係数検出装置１０２、予測値生成装置１０３ｂは予測値生成装置１０３と同様の動作を行う。これらの相違点は、フィルタ／補間画像蓄積装置１０１ｂを構成するフィルタ１０１１ｂと補間画像記憶装置１０１２ｂが一組しかなく、動きベクトル／フィルタ検出装置１０２ｂおよび予測値生成装置１０３ｂがフィルタ係数を更新する信号線を備えていることである。また、フィルタ１０１１ｂと補間画像記憶装置１０１２ｂが一組しかないことからスイッチ１０１３は設けられていない。
【００５８】
図４は、図３に示した実施形態の動作を示すフローチャートである。
【００５９】
図４に示されるフローチャートはステップＳ１０１ｂ〜Ｓ１０７ｂから構成されるが、図２に示した第1の実施形態のフローチャートと比較すると、ステップＳ１０１ｂはステップＳ１０１，ステップＳ１０２ｂはステップＳ１０２，ステップＳ１０３ｂはステップＳ１０３，ステップＳ１０４ｂはステップＳ１０４，ステップＳ１０５ｂはステップＳ１０１，ステップＳ１０６ｂはステップＳ１０５と同様の処理を行う。
【００６０】
本実施形態と第1の実施形態とが動作において大きく異なる点は、ステップＳ１０１ｂにて行なわれる小数点画素補間、ステップＳ１０２ｂにて行なわれる動きベクトル検出、ステップＳ１０３ｂにて行なわれるコスト比較において、補間画像記憶装置１０１２ｂに格納された補間画像を上書きしながら最適なフィルタと動きベクトルの組を検出する点で異なり、さらに、ステップＳ１０４ｂの後に、予測生成装置１０３ｂが参照したい補間画像が補間画像記憶装置１０１２ｂに格納されているかの確認を行い、補間画像が補間画像記憶装置１０１２ｂに格納されていない場合には、ステップＳ１０５にて再度小数点画素の補間を行ってから、ステップＳ１０６にて予測値生成を行う点である。
【００６１】
本実施形態の構成は、主記憶に余裕が無いときに有効である。ただし、参照したい補間画像が補間画像記憶１０１２ｂに残っていない場合には、再度フィルタで補間画像を生成する必要があるので、第１の実施形態の構成よりも演算量が増加する。
【００６２】
第３実施形態
次に、本発明の第３の実施形態について説明する。本実施形態は、本実施形態を含むコンピュータシステムの主記憶に復号において余裕がなく、小数点位置補間画像を格納できない場合に構築されるものであり、以下にその構成と動作を説明する。
【００６３】
図５は本実施形態の要部構成を示すブロック図である。本実施形態は、フィルタ切替装置２０１、予測値生成装置２０２を含む。これらは、図１６に示した符号化方式のフレームメモリ／動き補償部／動きベクトル検出に相当するものであり、これら以外の構成は図１６に示した符号化器と同じ構成とされている。このため、以下の説明では図１６も参照して本実施形態について説明する。
【００６４】
フィルタ切替装置２０１は、可変長復号から供給されるフィルタ係数情報に応じて、予測値生成装置２０２のフィルタ係数を切り替える。
【００６５】
予測値生成装置２０２は、整数画素読出し装置２０２１、フィルタ２０２２、予測値読出し装置２０２３で構成されており、可変長復号から供給される動きベクトルを用いて、再構築画像から整数画素を読出し、フィルタリングを行い、予測値を生成する。
【００６６】
整数画素読み出し装置２０２１は、可変長復号から供給される動きベクトルを用いて、予測値を含む整数画素を再構築画像から読み込む。読み込んだ整数画素は、フィルタ２０２２に供給される。
【００６７】
フィルタ２０２２は、フィルタ切替装置２０１によって切り替えられたフィルタ係数を用いて、整数画素読出し装置２０２１から供給される整数画素に小数点画素を補間する。もちろん、フィルタ係数が、可変長復号から供給されるフィルタ係数情報によって直接切り替え可能なことは言うまでもない。
【００６８】
予測値読出し装置２０２３は、フィルタ２０２２から供給される補間画素と可変長復号から供給される動きベクトルを用いて、予測値ブロックを読み出す。
【００６９】
図６は、図５に示した実施形態の動作を示すフローチャートである。
【００７０】
ステップＳ２０１では、可変長復号より供給される動きベクトルを用いて、整数画素読み出し装置２０２１によって、再構築画像から整数画素ブロックを読み出す。
【００７１】
ステップＳ２０２では、可変長復号より供給されるフィルタ係数情報を用いて、フィルタ切替装置２０１により、フィルタ２０２２のフィルタ係数を切り替える。
【００７２】
ステップＳ２０３では、整数画素読み出し装置２０１から供給される整数画素を、ステップＳ２０２によって切り替えられたフィルタ係数を用いて、フィルタ２０２２により小数点画素を補間する。
【００７３】
ステップＳ２０４では、ステップＳ２０３で得られた補間画像から、可変長復号より供給される動きベクトルを用いて、予測値読出し装置２０２３により予測値を読み出す。
【００７４】
第４実施形態
次に、本発明の第４の実施形態について説明する。本実施形態は、本実施形態を含むコンピュータシステムの主記憶に余裕があり、複数の小数点位置補間画像を格納できる場合に構築されるものであり、以下にその構成と動作を説明する。
【００７５】
図７は本発明の第４の実施形態の要部構成を示すブロック図である。
【００７６】
図７に示されるように、本実施形態は、選択補間画像切替装置２０１ｂ、予測値生成装置２０２ｂを含む。選択補間画像切替装置２０１ｂは、可変長復号から供給されるフィルタ係数情報によって、予測値生成装置２０２ｂが、参照する補間画像を切り替える。
【００７７】
予測値生成装置２０２は、複数の組のフィルタ２０２１ｂと補間画像記憶装置２０２２ｂ、予測値読出し装置２０２３ｂで構成される。
【００７８】
フィルタ２０２１ｂと補間画像蓄積２０２２ｂは、フィルタ計算を行って小数点画素補間画像を格納する。予測値読出し装置２０２３ｂは、選択補間画像切替装置２０１ｂによって選択された、補間画像を参照し、可変長復号から供給される動きベクトルを用いて予測値を読み出す。
【００７９】
図８は、図７に示した実施形態の動作を示すフローチャートである。
【００８０】
ステップＳ２０１ｂでは、複数組のフィルタ２０２１ｂと補間画像記憶２０２２ｂによって、再構築画像から複数の小数点位置補間画像を生成し、格納する。
【００８１】
ステップＳ２０２ｂでは、可変長復号から供給されるフィルタ係数情報を用いて選択補間画像切替装置２０１ｂによって、予測値読出し装置２０３ｂが参照する補間画像を選択する。
【００８２】
ステップＳ２０３ｂでは、可変長復号から供給される動きベクトルと選択補間画像切り替え装置２０１ｂが選択する補間画像記憶２０２２ｂに格納された補間画像を用いて、予測値生成装置２０２３ｂによって、予測値を読み出す。
【００８３】
上記の構成は、領域、ブロック、あるいは、画素単位での小数点位置補間画像フィルタの切り替えが不要になる。よって、プロセッサのアーキテクチャが、フィルタ係数切り替えのオーバーヘッドを嫌い、かつ、主記憶を大量にもつ場合に有効である。
【００８４】
第５実施形態
次に、本発明の第５の実施形態について説明する。本実施形態の要部構成は図１に示した第１の実施形態、または、図３に示した第２の実施形態と同様であるため、構成については図示省略する。
【００８５】
本実施形態は、第１または第２の実施形態におけるフィルタ１０１１，１０１１ｂで用いるフィルタ係数として、少なくとも位相の異なる複数のフィルタ係数を用いることを特徴とするもので、動作は第１実施形態または第２の実施形態と同様である。
【００８６】
本実施形態の効果について、まず、フィルタの位相をずらすことによる効果について説明する。
【００８７】
まず、従来行なわれている４分の１画素補間の動作について説明する。小数点画素の補間は、図９に示すようにフィルタ１を用いる１段目の処理により整数画素から２分の１画素を生成し、フィルタ２を用いる２段目の処理で２分の１画素から４分の１画素を生成するといったように２段階の処理により行われる。
【００８８】
上記の２段階の処理により、図１０（ａ）〜（ｃ）に示すように中間位置の補間を繰り返す。補間により、横方向に並んだ整数画素と整数画素の間には、３つの小数点画素が作り出される。
【００８９】
ここで、図１１（ａ）〜（ｃ）に示すように、故意に１段目の補間フィルタだけを右方向に４分の１だけずらすと、見かけ上は４分の１刻みだが、２段目の補間で１／８，５／８画素を作り出すことができる。また、図１１（ｄ）〜（ｆ）に示すように、左方向に４分の１だけずらした場合には、２段目の補間で３／８，７／８画素を作り出すことができる。
【００９０】
上記のように左右に４分の１ずれたフィルタによって、見かけ上４分の１画素精度の動き補償でも、整数画素と整数画素の間に補間される３つの小数点画素が、８分の１刻みの値をとることができる。もちろん、位相のずらしかたにより、１６分の１、３２分の１画素刻みの値をとれることは言うまでも無い。
【００９１】
次に、本実施形態で行なわれる位相をずらす方法について説明する。
【００９２】
図１２（ａ），（ｂ）は、１／２画素を補間するフィルタおよび１／４画素を補間するフィルタのフィルタ係数をそれぞれ示している。
【００９３】
各図において、破線は理想フィルタを示し、実線は破線を１／２または１／４画素ずらしたフィルタを示している。図１２（ａ）に示す例では、１／２画素位置の画素値を求めるフィルタ係数を示しており、このフィルタ係数(a,b,c,c,b,a)は、理想フィルタを１／２ずらすことによって得られる。P(i)を画素値とすると、1/2位置の画素値P(1/2)は、以下の式によって求められる。
【００９４】
【数６】
Figure 0004102973
【００９５】
図１２（b）に示す例では、１／4画素位置の画素値を求めるフィルタ係数を示しており、このフィルタ係数(d,e,f,g,h,i)は、理想フィルタを１／4ずらすことによって得られる。1/2位置の場合と同様に、1/4位置の画素値P(1/4)は、以下の式によって求められる。
【００９６】
【数７】
Figure 0004102973
【００９７】
補間された小数点位置の画素を右に４分の１ずらすには、１／２位置に１／２画素を補間するフィルタＡの代わりに、同じ１／２位置に１／４画素を補間するフィルタＢを用いる。つまり、フィルタ係数そのものを切り替えることで、位相を操作することができる。
【００９８】
本実施形態における各フィルタ１０１１または１０１１ｂは上記のように位相が異なるフィルタ係数とされており、これらを用いて補間を行なうことにより、第１または第２の実施形態の効果に加えて、細かな精度の動き補償が可能となり、符号化効率が改善されたものとなる。
【００９９】
第６実施形態
次に、本発明の第６の実施形態について説明する。本実施形態の要部構成は図５に示した第３の実施形態、または、図７に示した第４の実施形態と同様であるため、構成については図示省略する。
【０１００】
本実施形態は、第３または第４の実施形態におけるフィルタ２０２１，２０２１ｂで用いるフィルタ係数として、少なくとも位相の異なる複数のフィルタ係数を用いることを特徴とするもので、動作は第３実施形態または第４の実施形態と同様である。
【０１０１】
また、位相の異なるフィルタは、第５の実施形態で示したフィルタと同じであるため、詳細な説明は省略する。
【０１０２】
本実施形態においては、第３または第４の実施形態の効果に加えて、細かな精度の動き補償が可能となり、符号化効率が改善されたものとなる。
【０１０３】
第７実施形態
次に、本発明の第７の実施形態について説明する。本実施形態の要部構成は図１に示した第１の実施形態、または、図３に示した第２の実施形態と同様であるため、構成については図示省略する。
【０１０４】
本実施形態は、第１または第２の実施形態におけるフィルタ１０１１，１０１１ｂとして、少なくとも帯域の異なるフィルタ係数のものを用いることを特徴とするもので、動作は第１実施形態または第２の実施形態と同様である。
【０１０５】
本実施形態の効果について、まず、フィルタ帯域を変えることで得られる効果について説明する。
【０１０６】
図１３は広帯域なフィルタで小数点画素を補間した場合と、狭帯域なフィルタで小数点画素を補間した場合を示す図である。
【０１０７】
図１３（ａ）に示す画像を図１３（ｂ）に示される広帯域な振幅特性のフィルタと狭帯域な振幅特性のフィルタを用いることにより、図１３（ｃ），（ｄ）に示す補間画像が得られる。広帯域なフィルタで小数点画素を補間した方が、エッジ情報を保存できることが図１３（ｃ）からわかる。エッジが多い、つまり、高域成分が多い画像は、広帯域なフィルタを使うことでエッジ情報が保存され、動き補償の効果が改善される。
【０１０８】
ただし、低ビットレートで量子化雑音が、偽エッジとして多く生じる場合、広帯域なフィルタを用いて小数点画素の補間を行うと雑音までも保存されてしまう。図１４（ａ）〜（ｄ）はこのような保存状態を示す図である。このため、動き補償の効果が悪くなる。よって低ビットレートでは、狭帯域なフィルタ係数を用いて小数点画素補間することで符号化効率が改善できる。
【０１０９】
次に、小数点画素が保存する帯域を変更の方法を示す。
【０１１０】
図１３および図１４に示した広帯域フィルタの係数をＡ，狭帯域フィルタの係数をＢとする。フィルタ係数をＡからＢへ切り替えることで、狭帯域なフィルタで小数点補間することができ、フィルタ係数をＢからＡへ切り替えることで、広帯域なフィルタで小数点補間することができる。
【０１１１】
つまり、各帯域特性に対応するフィルタ係数を切り替えて、内挿を行うことで小数点画素が保存する帯域を変えることができる。
【０１１２】
第８実施形態
次に、本発明の第８の実施形態について説明する。本実施形態の要部構成は図５に示した第３の実施形態、または、図７に示した第４の実施形態と同様であるため、構成については図示省略する。
【０１１３】
本実施形態は、第３または第４の実施形態におけるフィルタ２０２１，２０２１ｂとして、少なくとも帯域の異なるフィルタ係数のものを用いることを特徴とするもので、動作は第３実施形態または第４の実施形態と同様である。また、帯域の異なるフィルタは、第７実施形態で示したフィルタと同じであるため、詳細な説明は省略する。
【０１１４】
本実施形態においては、第３または第４の実施形態の効果に加えて、小数点画素が保存する帯域を変えることができる。
【０１１５】
図１５は、本発明による動画像符号化／復号装置をインプリメントした情報処理システムの一例の概略構成を示すブロック図である。
【０１１６】
本発明による動画像符号化／復号装置は、以上の説明からも明らかなように、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
【０１１７】
図１７に示す情報処理システムは、プロセッサ３０１，プログラムメモリ３０２，記憶媒体３０３および３０４からなる。記憶媒体３０３および３０４は、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体としては、ハードディスク等の磁気記憶媒体を用いることができる。
【０１１８】
【発明の効果】
本発明により、動画像の性質やビットレートに応じた小数点位置補間するフィルタ係数を切り替えることで、動画像の符号化効率を改善できる。このフィルタ係数の切り替えは、フィルタ選択と見積もりを含む。フィルタ選択は、帯域および位相の異なるフィルタ係数を予め用意しておき、用意しておいたフィルタ係数から最適なフィルタ係数を選択することを意味する。一方のフィルタ見積もりは、フィルタ係数を適応アルゴリズム等によって算出し、算出されたフィルタ係数を切り替えに用いることを意味する。
【０１１９】
フィルタの位相を操作することで、細かい精度の動き補償が可能となり、符号化効率が改善し、フィルタの帯域操作によって、画像の高域成分および量子化雑音をコントロールできるので、動き補償の効果が高まり符号化効率が改善する。
【０１２０】
また、フィルタ係数を画像ブロック単位以上で切り替える場合、フィルタリングの演算量は変わらず、切り替えによるオーバーヘッド演算量も小さいので、復号の演算量増加も小さい。
【図面の簡単な説明】
【図１】本発明による第１実施形態で複数の補間画像記憶を備える場合の構成を表すブロック図である。
【図２】本発明による第１実施形態で複数の補間画像記憶を備える場合の動作を表すフローチャートである。
【図３】本発明による第２実施形態で１つの補間画像記憶を備える場合の構成を表すブロック図である。
【図４】本発明による第２実施形態で補間画像記憶を備えない場合の動作を表すフローチャートである。
【図５】本発明による第３実施形態で補間画像記憶を備えない場合の構成を表すブロック図である。
【図６】本発明による第３実施形態で複数の補間画像記憶を備える場合の動作を表すフローチャートである。
【図７】本発明による第４実施形態で複数の補間画像記憶を備える場合の構成を表すブロック図である。
【図８】本発明による第４実施形態で複数の補間画像記憶を備える場合の動作を表すフローチャートである。
【図９】小数点画素の補間ステップを示す図である。
【図１０】位相をずらさず小数点画素を補間した場合の図である。
【図１１】位相をずらして小数点画素を補間した場合の図である。
【図１２】２分の１画素を補間するフィルタと４分の１画素を補間するフィルタの違いを示す図である。
【図１３】帯域の広いフィルタで補間をおこなうことでエッジが保存されることを示す図である。
【図１４】帯域の広いフィルタがノイズも保存してしまうことを示す図である。
【図１５】本発明による動画像符号化／復号装置をインプリメントした情報処理システムの一般的な概略的ブロック構成図である。
【図１６】従来方式の符号化ブロック図である。
【図１７】従来方式の復号ブロック図である。
【符号の説明】
１１ 周波数変換装置
１２ 量子化装置
１３ 可変長符号化装置
１４ 逆量子化装置
１５ 逆周波数変換装置
１６ フレームメモリ
１７ 動き補償装置
１８ 動きベクトル検出装置
１９ 可変長復号化装置
２０ 逆量子化装置
２１ 逆周波数変換装置
２２ 動き補償装置
２３ フレームメモリ
１０１ フィルタ／補間画像記憶装置
１０１１ フィルタ
１０１２ 補間画像記憶装置
１０２ 動きベクトル／フィルタ検出装置
１０２１ 動きベクトル検出装置
１０２２ フィルタ検出装置
１０３ 予測画像生成装置
１０１ｂ フィルタ／補間画像記憶装置
１０１１ｂ フィルタ
１０１２ｂ 補間画像記憶装置
１０２ｂ 動きベクトル／フィルタ検出装置
１０２１ｂ 動きベクトル検出装置
１０２２ｂ フィルタ検出装置
１０３ｂ 予測画像生成装置
２０１ フィルタ切替装置
２０２ 予測値生成装置
２０２１ 整数画素読み出し装置
２０２２ フィルタ
２０２３ 予測値読出し装置
２０１ｂ 選択補間画像切替装置
２０２ｂ 予測値生成装置
２０２１ｂ フィルタ
２０２２ｂ 補間画像記憶装置
２０２３ｂ 予測値読出装置
３０１ プロセッサ
３０２ プログラムメモリ
３０３ 記憶媒体
３０４ 記憶媒体

Claims (26)

  1. 参照画像に複数の補間処理を行い、前記複数の補間処理された参照画像と入力画像から最良の符号化効率となる動きベクトルと補間処理を求める動画像符号化方法であって、
    前記補間処理は前記参照画像の画素の画素値から前記補間処理された参照画像の画素の画素値を求める際に前記参照画像の画素と前記補間処理された参照画像の画素の位置の差に相当する位相量とは異なる位相量のずらしを行うフィルタリングであることを特徴とする動画像符号化方法。
  2. 前記補間処理された参照画像の画素の位置は、前記動きベクトルが示す位置であることを特徴とする請求項１記載の動画像符号化方法。
  3. 前記異なる位相量のずらしの精度は小数点画素精度であることを特徴とする請求項１または請求項２記載の動画像符号化方法。
  4. 前記動きベクトルの画素精度は小数点画素精度であることを特徴とする請求項１ないし請求項３のいずれかに記載の動画像符号化方法。
  5. 前記最良の符号化効率とは、参照画像と入力画像との差分量と、動きベクトルと補間処理を同定する符号の伝送符号量の重み付け和が最小であることを特徴とする請求項１ないし請求項４のいずれかに記載の動画像符号化方法。
  6. 入力された補間処理の情報によって、複数の補間処理から１つの補間処理を選択するステップと、入力された動きベクトルの情報と選択した補間処理に基づいて、動き補償予測をするステップと、を有する動画像復号化方法であって、
    前記補間処理は前記参照画像の画素の画素値から前記補間処理された参照画像の画素の画素値を求める際に前記参照画像の画素と前記補間処理された参照画像の画素の位置の差に相当する位相量とは異なる位相量のずらしを行うフィルタリングであることを特徴とする動画像復号化方法。
  7. 前記補間処理された参照画像の画素の位置は、前記動きベクトルが示す位置であることを特徴とする請求項６記載の動画像復号化方法。
  8. 前記異なる位相量のずらしの精度は小数点画素精度であることを特徴とする請求項６または請求項７記載の動画像復号化方法。
  9. 前記動きベクトルの画素精度は小数点画素精度であることを特徴とする請求項６ないし請求項８のいずれかに記載の動画像復号化方法。
  10. 小数点精度の動きベクトルで表現される参照画像の小数点位置に、複数のフィルタを用いて複数の画像を補間するステップと、前記補間された参照画像と入力画像から最も符号化効率が良い動きベクトルとフィルタの組を検出するステップと、検出された動きベクトルの小数点位置と検出されたフィルタに対応する参照画像を用いて小数点精度の動き補償予測をするステップと、検出されたフィルタと動きベクトルの情報を可変長符号化するステップとを有する動画像符号化方法であって、
    補間するステップにて、前記フィルタの位相の小数点精度が、動きベクトルの小数点精度とは異なることを特徴とする動画像符号化方法。
  11. 入力されたフィルタの情報によって、小数点精度の動きベクトルで表現される参照画像の小数点位置を補間するフィルタを選択するステップと、入力された動きベクトルの情報と選択したフィルタに基づいて、小数点精度の動き補償予測をするステップと、を有する動画像復号化方法であって、
    フィルタを選択するステップにて、選択候補のフィルタの位相がそれぞれ異なることを特徴とする動画像復号化方法。
  12. 請求項１１記載の動画像復号化方法において、
    前記フィルタの位相の小数点精度が、動きベクトルの小数点精度とは異なることを特徴とする動画像復号化方法。
  13. 参照画像に複数の補間処理を行い、前記複数の補間処理された参照画像と入力画像から最良の符号化効率となる動きベクトルと補間処理を求める動画像符号化装置であって、
    前記補間処理を、前記参照画像の画素の画素値から前記補間処理された参照画像の画素の画素値を求める際に前記参照画像の画素と前記補間処理された参照画像の画素の位置の差に相当する位相量とは異なる位相量のずらしを行うフィルタリングとして行う補間フィルタを有することを特徴とする動画像符号化装置。
  14. 前記補間処理された参照画像の画素の位置は、前記動きベクトルが示す位置であることを特徴とする請求項１３記載の動画像符号化装置。
  15. 前記異なる位相量のずらしの精度は小数点画素精度であることを特徴とする請求項１３または請求項１４記載の動画像符号化装置。
  16. 前記動きベクトルの画素精度は小数点画素精度であることを特徴とする請求項１３ないし請求項１５のいずれかに記載の動画像符号化装置。
  17. 前記最良の符号化効率とは、参照画像と入力画像との差分量と、動きベクトルと補間処理を同定する符号の伝送符号量の重み付け和が最小であることを特徴とする請求項１３ないし請求項１６のいずれかに記載の動画像符号化装置。
  18. 入力された補間処理の情報によって、複数の補間処理から１つの補間処理を選択する手段と、入力された動きベクトルの情報と選択した補間処理に基づいて、動き補償予測をする手段と、を有する動画像復号化方法であって、
    前記補間処理を、前記参照画像の画素の画素値から前記補間処理された参照画像の画素の画素値を求める際に前記参照画像の画素と前記補間処理された参照画像の画素の位置の差に相当する位相量とは異なる位相量のずらしを行うフィルタリングとして行う補間フィルタを有することを特徴とする動画像復号化装置。
  19. 前記補間処理された参照画像の画素の位置は、前記動きベクトルが示す位置であることを特徴とする請求項１８記載の動画像復号化装置。
  20. 前記異なるずらしの位相量の精度は小数点画素精度であることを特徴とする請求項１８または請求項１９記載の動画像復号化装置。
  21. 前記動きベクトルの画素精度は小数点画素精度であることを特徴とする請求項１８ないし請求項２０のいずれかに記載の動画像復号化装置。
  22. 小数点精度の動きベクトルで表現される参照画像の小数点位置に、複数のフィルタを用いて複数の画像を補間する手段と、前記補間された参照画像と入力画像から最も符号化効率が良い動きベクトルとフィルタの組を検出する手段と、検出された動きベクトルの小数点位置と検出されたフィルタに対応する参照画像を用いて小数点精度の動き補償予測をする手段と、検出されたフィルタと動きベクトルの情報を可変長符号化する手段とを有する動画像符号化装置であって、
    補間する手段は、前記フィルタの位相の小数点精度が、動きベクトルの小数点精度とは異なることを特徴とする動画像符号化装置。
  23. 入力されたフィルタの情報によって、小数点精度の動きベクトルで表現される参照画像の小数点位置を補間するフィルタを選択する手段と、入力された動きベクトルの情報と選択したフィルタに基づいて、小数点精度の動き補償予測をする手段と、を有する動画像復号化装置であって、
    フィルタを選択する手段は、選択候補のフィルタの位相がそれぞれ異なることを特徴とする動画像復号化装置。
  24. 請求項２３記載の動画像復号化装置において、
    フィルタを選択する手段は、前記フィルタの位相の小数点精度が、動きベクトルの小数点精度とは異なることを特徴とする動画像復号化装置。
  25. 請求項１ないし請求項５、請求項１０のいずれかに記載の動画像符号化方法をコンピュータに実行させるプログラム。
  26. 請求項６ないし請求項９、請求項１１、請求項１２のいずれかに記載の動画像復号化方法をコンピュータに実行させるプログラム。
JP2002122379A 2002-04-24 2002-04-24 動画像の符号化方法および復号化方法、これを用いた装置とプログラム Expired - Lifetime JP4102973B2 (ja)

Priority Applications (11)

Application Number Priority Date Filing Date Title
JP2002122379A JP4102973B2 (ja) 2002-04-24 2002-04-24 動画像の符号化方法および復号化方法、これを用いた装置とプログラム
EP03747221.4A EP1499134B1 (en) 2002-04-24 2003-04-16 Moving picture decoding method and a device that uses this method
CNB038031469A CN100358367C (zh) 2002-04-24 2003-04-16 运动图片编码和解码方法以及使用该方法的设备
US10/503,317 US7835440B2 (en) 2002-04-24 2003-04-16 Moving picture coding method and decoding method, and apparatus and program using the same
CN200910206099XA CN101686396B (zh) 2002-04-24 2003-04-16 运动图片编码和解码方法以及使用该方法的设备和程序
PCT/JP2003/004797 WO2003092300A1 (en) 2002-04-24 2003-04-16 Moving picture coding method and decoding method, and apparatus and program using the same
EP15194878.3A EP3043564B1 (en) 2002-04-24 2003-04-16 Moving picture encoding and decoding method, and a device and program that use this method
CN2007101692955A CN101175207B (zh) 2002-04-24 2003-04-16 运动图片编码和解码方法以及运动图片编码和解码设备
EP15194875.9A EP3043563B1 (en) 2002-04-24 2003-04-16 Moving picture encoding and decoding method, and a device and program that use this method
KR20047011913A KR100660358B1 (ko) 2002-04-24 2003-04-16 동화상 코딩 방법 및 디코딩 방법, 및 이 방법을 사용하는장치 및 프로그램
EP15194877.5A EP3043561B1 (en) 2002-04-24 2003-04-16 Moving picture encoding and decoding method, and a device and program that use this method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002122379A JP4102973B2 (ja) 2002-04-24 2002-04-24 動画像の符号化方法および復号化方法、これを用いた装置とプログラム

Publications (2)

Publication Number Publication Date
JP2003319398A JP2003319398A (ja) 2003-11-07
JP4102973B2 true JP4102973B2 (ja) 2008-06-18

Family

ID=29267445

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002122379A Expired - Lifetime JP4102973B2 (ja) 2002-04-24 2002-04-24 動画像の符号化方法および復号化方法、これを用いた装置とプログラム

Country Status (6)

Country Link
US (1) US7835440B2 (ja)
EP (4) EP3043564B1 (ja)
JP (1) JP4102973B2 (ja)
KR (1) KR100660358B1 (ja)
CN (3) CN101686396B (ja)
WO (1) WO2003092300A1 (ja)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060109247A (ko) 2005-04-13 2006-10-19 엘지전자 주식회사 베이스 레이어 픽처를 이용하는 영상신호의 엔코딩/디코딩방법 및 장치
US8761252B2 (en) 2003-03-27 2014-06-24 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
KR20060105407A (ko) 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US8824553B2 (en) * 2003-05-12 2014-09-02 Google Inc. Video compression method
KR100621137B1 (ko) * 2004-02-27 2006-09-13 세이코 엡슨 가부시키가이샤 동화상 부호화 장치 및 동화상 처리장치
FR2867328A1 (fr) * 2004-03-02 2005-09-09 Thomson Licensing Sa Procede de decodage d'une sequence d'images codee avec echelonnabilite spatiale et temporelle
EP1646243B1 (en) 2004-09-30 2009-06-24 Kabushiki Kaisha Toshiba Information processing apparatus and program for use in the same
US9071847B2 (en) * 2004-10-06 2015-06-30 Microsoft Technology Licensing, Llc Variable coding resolution in video codec
US8243820B2 (en) 2004-10-06 2012-08-14 Microsoft Corporation Decoding variable coded resolution video with native range/resolution post-processing operation
US8660180B2 (en) 2005-04-01 2014-02-25 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
KR100880640B1 (ko) * 2005-04-01 2009-01-30 엘지전자 주식회사 스케일러블 비디오 신호 인코딩 및 디코딩 방법
TWI280805B (en) * 2005-07-20 2007-05-01 Novatek Microelectronics Corp Method and apparatus for cost calculation in decimal motion estimation
US8755434B2 (en) 2005-07-22 2014-06-17 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US20070160134A1 (en) * 2006-01-10 2007-07-12 Segall Christopher A Methods and Systems for Filter Characterization
JP2007306538A (ja) * 2006-04-12 2007-11-22 Matsushita Electric Ind Co Ltd 画像復号装置及び方法
US7916791B2 (en) * 2006-06-16 2011-03-29 International Business Machines Corporation Method and system for non-linear motion estimation
TWI367457B (en) * 2006-07-03 2012-07-01 Nippon Telegraph & Telephone Image processing method and apparatus, image processing program, and storage medium for storing the program
CN100452882C (zh) * 2006-08-07 2009-01-14 清华大学 可变块大小运动补偿的数据缓存方法及其实现装置
US9014280B2 (en) 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
KR100878536B1 (ko) 2006-11-08 2009-01-13 삼성전자주식회사 영상 보간 방법 및 장치
KR100835662B1 (ko) 2006-12-04 2008-06-09 부산대학교 산학협력단 필터 예측 기능을 가지는 움직임 보상 예측 장치 및 이를이용한 동영상 압축 장치 및 방법
US7944969B2 (en) * 2007-01-05 2011-05-17 Freescale Semiconductor, Inc. Method and system for sampling video data
US8107571B2 (en) * 2007-03-20 2012-01-31 Microsoft Corporation Parameterized filters and signaling techniques
EP1983759A1 (en) * 2007-04-19 2008-10-22 Matsushita Electric Industrial Co., Ltd. Estimation of separable adaptive interpolation filters for hybrid video coding
JP4139430B1 (ja) * 2007-04-27 2008-08-27 シャープ株式会社 画像処理装置及び方法、画像表示装置及び方法
US8090031B2 (en) * 2007-10-05 2012-01-03 Hong Kong Applied Science and Technology Research Institute Company Limited Method for motion compensation
WO2009046601A1 (en) * 2007-10-09 2009-04-16 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Method for motion compensation
EP2048886A1 (en) * 2007-10-11 2009-04-15 Panasonic Corporation Coding of adaptive interpolation filter coefficients
US8576906B2 (en) * 2008-01-08 2013-11-05 Telefonaktiebolaget L M Ericsson (Publ) Adaptive filtering
KR101591825B1 (ko) * 2008-03-27 2016-02-18 엘지전자 주식회사 비디오 신호의 인코딩 또는 디코딩 방법 및 장치
JP5062483B2 (ja) * 2008-04-01 2012-10-31 ソニー株式会社 信号処理装置および方法、並びにプログラム
US8811484B2 (en) 2008-07-07 2014-08-19 Qualcomm Incorporated Video encoding by filter selection
US10123050B2 (en) 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
EP2334081A4 (en) * 2008-10-03 2012-03-14 Sony Corp IMAGE PROCESSING DEVICE AND METHOD
US9078007B2 (en) 2008-10-03 2015-07-07 Qualcomm Incorporated Digital video coding with interpolation filters and offsets
US9143803B2 (en) 2009-01-15 2015-09-22 Qualcomm Incorporated Filter prediction based on activity metrics in video coding
CN102422642B (zh) * 2009-05-11 2015-03-25 株式会社Ntt都科摩 动态图像编码装置、方法和程序以及动态图像解码装置、方法和程序
JP2011082725A (ja) * 2009-10-06 2011-04-21 Nippon Telegr & Teleph Corp <Ntt> 映像符号化方法，映像符号化装置，映像復号方法，映像復号装置，映像符号化・復号方法，およびプログラム
EP2489189A1 (en) * 2009-10-14 2012-08-22 Thomson Licensing Methods and apparatus for adaptive coding of motion information
WO2011118946A2 (ko) * 2010-03-21 2011-09-29 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
FR2959376A1 (fr) * 2010-04-22 2011-10-28 France Telecom Procede de traitement d'une information de mouvement, procedes de codage et de decodage, dispositifs, signal et programme d'ordinateur correspondants
JP5805991B2 (ja) * 2010-05-07 2015-11-10 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ピクチャ・シーケンスを符号化する方法、それに対応する再構築方法、および当該シーケンスを表す符号化データのストリーム
JP5524762B2 (ja) * 2010-08-12 2014-06-18 日本電信電話株式会社 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
JP5485851B2 (ja) * 2010-09-30 2014-05-07 日本電信電話株式会社 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
ES2688379T3 (es) 2010-11-26 2018-11-02 Nec Corporation Dispositivo de descodificación de video, método de descodificación de video y programa
US8964853B2 (en) 2011-02-23 2015-02-24 Qualcomm Incorporated Multi-metric filtering
WO2012134046A2 (ko) * 2011-04-01 2012-10-04 주식회사 아이벡스피티홀딩스 동영상의 부호화 방법
WO2012178178A2 (en) * 2011-06-24 2012-12-27 General Instrument Corporation Selection of phase offsets for interpolation filters for motion compensation
CN103108175A (zh) * 2011-11-09 2013-05-15 深圳市德赛微电子技术有限公司 多模视频解码器中运动补偿结构
CN106331722B (zh) 2015-07-03 2019-04-26 华为技术有限公司 图像预测方法和相关设备
US10194170B2 (en) * 2015-11-20 2019-01-29 Mediatek Inc. Method and apparatus for video coding using filter coefficients determined based on pixel projection phase
ES2853700T3 (es) 2016-04-15 2021-09-17 Magic Pony Tech Limited Compensación de movimiento utilizando interpolación de imagen temporal
CN107139724A (zh) * 2017-03-31 2017-09-08 斑马信息科技有限公司 用于车辆的车载屏幕动态显示方法及其车载中控系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0710103B2 (ja) * 1987-06-11 1995-02-01 三菱電機株式会社 画像符号化伝送装置
US5475501A (en) * 1991-09-30 1995-12-12 Sony Corporation Picture encoding and/or decoding method and apparatus
JP2611591B2 (ja) * 1991-10-31 1997-05-21 日本ビクター株式会社 動き補償装置
JP3090763B2 (ja) 1992-02-06 2000-09-25 富士通株式会社 動画像符号化装置
JP2606523B2 (ja) * 1992-02-28 1997-05-07 日本ビクター株式会社 予測符号化装置及び復号化装置
JPH0638197A (ja) * 1992-06-30 1994-02-10 Sony Corp 符号器、復号器、および符号化方法
JP3201343B2 (ja) 1992-07-03 2001-08-20 ケイディーディーアイ株式会社 インターレース動画像の動き補償予測装置
JPH06121174A (ja) 1992-10-02 1994-04-28 Hitachi Ltd 符号化復号化装置
JP3529432B2 (ja) * 1994-06-30 2004-05-24 株式会社東芝 動画像符号化／復号化装置
JP3745425B2 (ja) 1995-11-15 2006-02-15 日本放送協会 動きベクトル検出方法および動きベクトル検出用適応切り替え型前置フィルタ
JPH1070717A (ja) 1996-06-19 1998-03-10 Matsushita Electric Ind Co Ltd 画像符号化装置及び画像復号化装置
JPH10178560A (ja) 1996-12-17 1998-06-30 Oki Electric Ind Co Ltd ノイズ除去回路
EP0901734B1 (en) * 1997-03-12 2004-02-18 Matsushita Electric Industrial Co., Ltd. Mpeg decoder providing multiple standard output signals
JP2897763B2 (ja) 1997-07-28 1999-05-31 日本ビクター株式会社 動き補償符号化装置、復号化装置、符号化方法及び復号化方法
US6259734B1 (en) * 1998-04-03 2001-07-10 Matsushita Electric Industrial Co., Ltd. Image processing method, image processing apparatus, and data storage media
JP4272771B2 (ja) * 1998-10-09 2009-06-03 キヤノン株式会社 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体
DE10120395A1 (de) 2001-04-25 2002-10-31 Bosch Gmbh Robert Einrichtung zur Interpolation von Abtastwerten sowie Bildencoder und Bilddecoder
JP4129374B2 (ja) 2001-09-18 2008-08-06 松下電器産業株式会社 画像符号化方法および画像復号化方法
US7630566B2 (en) * 2001-09-25 2009-12-08 Broadcom Corporation Method and apparatus for improved estimation and compensation in digital video compression and decompression
US7154512B2 (en) * 2001-10-26 2006-12-26 Jaldi Semiconductor Corp. System and method for image warping
KR100418437B1 (ko) * 2001-12-24 2004-02-14 (주)씨앤에스 테크놀로지 멀티미디어 신호처리를 위한 영상복원 프로세서
MXPA04006814A (es) * 2002-01-14 2004-12-06 Nokia Corp Filtros dinamicos de codificacion.
US7110459B2 (en) * 2002-04-10 2006-09-19 Microsoft Corporation Approximate bicubic filter

Also Published As

Publication number Publication date
CN101175207B (zh) 2012-05-02
EP3043564A1 (en) 2016-07-13
EP1499134A4 (en) 2010-06-16
CN101175207A (zh) 2008-05-07
CN101686396B (zh) 2013-04-03
JP2003319398A (ja) 2003-11-07
EP1499134B1 (en) 2016-12-28
EP3043563A1 (en) 2016-07-13
CN101686396A (zh) 2010-03-31
CN100358367C (zh) 2007-12-26
EP3043561B1 (en) 2017-06-21
WO2003092300A1 (en) 2003-11-06
EP3043564B1 (en) 2017-08-09
KR20040096548A (ko) 2004-11-16
KR100660358B1 (ko) 2006-12-21
EP3043561A1 (en) 2016-07-13
EP1499134A1 (en) 2005-01-19
US7835440B2 (en) 2010-11-16
EP3043563B1 (en) 2017-09-20
CN1625902A (zh) 2005-06-08
US20050105617A1 (en) 2005-05-19

Similar Documents

Publication Publication Date Title
JP4102973B2 (ja) 動画像の符号化方法および復号化方法、これを用いた装置とプログラム
US7116831B2 (en) Chrominance motion vector rounding
JP4625240B2 (ja) コンピュータ実施される方法、システムおよびコンピュータ可読媒体
JP5302010B2 (ja) 多重解像度ビデオ符号化および復号化のための再サンプリングおよび画像サイズ変更の演算方法
JP2924431B2 (ja) 符号化方式
JP3277111B2 (ja) 動画像符号化装置および動画像復号化装置
EP1353514A2 (en) Sub-pixel interpolation in motion estimation and compensation
US20030156646A1 (en) Multi-resolution motion estimation and compensation
JP2007060673A (ja) 画像予測装置、画像符号化装置、画像復号化装置、画像予測方法、画像符号化方法、画像復号化方法、記録媒体及びプログラム
JP2004297566A (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
JP2010507352A (ja) 下層のフィルタリングを備えたスケーラブルビデオ符号化
JP2003339050A (ja) マルチステージ補間の丸め制御
CN101194515A (zh) 使用平滑预测基于多层的视频编码和解码方法以及视频编码器和解码器
JP2004208320A (ja) 並列補間及びサーチ・ハードウェアを備えた運動評価エンジン
JPH09233477A (ja) 動きベクトル生成方法
JP2005318297A (ja) 動画像符号化・復号方法及び装置
JPWO2005055613A1 (ja) 動画像の符号化方法及び装置、並びに動画像の復号方法及び装置
KR101690253B1 (ko) 영상 처리 장치 및 그 방법
US20120300848A1 (en) Apparatus and method for generating an inter-prediction frame, and apparatus and method for interpolating a reference frame used therein
JP4403094B2 (ja) スケーラブル符号化方法，スケーラブル復号方法，これらの装置，およびそれらのプログラム，並びにそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP6071618B2 (ja) 画像処理装置及びプログラム
JP2006309652A (ja) 信号処理方法及び信号処理装置

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20041216

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20041216

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050318

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080311

R150 Certificate of patent or registration of utility model

Ref document number: 4102973

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110404

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120404

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120404

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130404

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130404

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140404

Year of fee payment: 6

EXPY Cancellation because of completion of term