[go: up one dir, main page]

JP4820191B2 - 動画像符号化装置及びプログラム - Google Patents

動画像符号化装置及びプログラム Download PDF

Info

Publication number
JP4820191B2
JP4820191B2 JP2006070170A JP2006070170A JP4820191B2 JP 4820191 B2 JP4820191 B2 JP 4820191B2 JP 2006070170 A JP2006070170 A JP 2006070170A JP 2006070170 A JP2006070170 A JP 2006070170A JP 4820191 B2 JP4820191 B2 JP 4820191B2
Authority
JP
Japan
Prior art keywords
quantization
prediction
prediction error
luminance component
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006070170A
Other languages
English (en)
Other versions
JP2007251453A (ja
Inventor
君彦 数井
安弘 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2006070170A priority Critical patent/JP4820191B2/ja
Priority to EP20060253987 priority patent/EP1835763B1/en
Priority to US11/461,004 priority patent/US8059713B2/en
Priority to KR20060079841A priority patent/KR100853931B1/ko
Priority to CN2006101261540A priority patent/CN101039434B/zh
Publication of JP2007251453A publication Critical patent/JP2007251453A/ja
Application granted granted Critical
Publication of JP4820191B2 publication Critical patent/JP4820191B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Description

本発明は、マルチメディア符号化及び復号化の技術に関し、特に、カラー動画像を輝度成分と色差成分とで表現してフレーム間動き予測符号化を行う圧縮符号化の技術に関する。
一般に動画像の情報量は非常に大きく、メディア蓄積やネットワーク伝送をそのままで行うことはコストが非常に高くなる。このため、動画像を可逆若しくは非可逆方式で圧縮符号化する技術開発・標準化が従来から広く行われてきた。その代表例が、MPEG(Moving Picture Experts Group)で標準化されたMPEG−1、MPEG−2、MPEG−4、AVC/H.264である。
これらの標準では、フレーム間動き予測符号化を採用している。フレーム間動き予測符号化は、フレーム間で相関度が高い部分を検索し、両者の位置差分(動きベクトル)と両者の画素値差分(予測誤差)とを符号化するものである。動画像ではフレーム間の相関度が一般的に高いことから、画素差分値が元の画素値と比較して小さくなるので、高い圧縮効率が実現できる。
動きベクトルの検索・決定方法は上述した標準では規定されていない。従って、符号化装置の画質性能は動きベクトルの予測精度に大きく左右されるこことなる。但し、動きベクトル検出の処理量は、探索範囲や探索位置数を大きくするに従い非常に大きくなるため、画質と装置の回路規模・消費電力との間にはトレードオフが存在する。
動きベクトルの検出では、一般的に、輝度成分のみを用いる。これは、色差成分の解像度は輝度成分の解像度に比べて小さいので、色差成分の解像度のみを落としても主観画質の劣化は微少なものに留まるからである。カラー動画像における輝度成分Yと色差成分Cb及びCrとの情報比率Y:Cb:Crとして、一般的には4:2:0形式が用いられることが多いのも、このことによるものである。
このような、輝度成分のみを用いた動きベクトル検出方法は通常の画像の場合には問題ないのであるが、輝度成分が一様(テクスチャがない)であって且つ色差成分のみにテクスチャがあるような画像の場合には、動きベクトルの予測精度が低下し、主観画質が大きく劣化してしまうことがある。
図4を用いてこの問題を説明する。
図4の画面例は、赤色の円状の前景物体(同図においては網掛けの円で表現している)が、右から左に移動している状態を表したものである。なお、この画面例では、前景と背景との輝度成分は一定であり、色差成分のみに違いがあるものとする。
図4において、(a)の行には、現在のフレームの画像成分を示しており、(b)の行には、(a)よりも単位時間前の時刻におけるフレームの画像成分を示している。
図4の例においては、同図に示した破線の矢印が正しい動きベクトルである。ところが、この画面例では、画面全体に渡って輝度成分が一様なために、動きベクトルが同図に示した実線の矢印のように誤検出されてしまったとする。図4の(c)の行には、この誤検出の結果として得られる動き補償後フレームの画像成分を表している。
動き補償後フレームは、現在のフレームの画像成分から動き補償フレームを減算することによって得られる。なお、動き補償フレームは、現在から単位時間前の時刻におけるフレームを動きベクトル分空間的にずらしたものである。上述したように、動きベクトルは実線矢印のように誤検出されているので、図4の例における動き補償フレームは、(b)の行に示されているフレームにおける赤色の前景物体を、当該実線矢印とは逆方向にずらしたものとなる。(a)の行に示されている現在のフレームからこの動き補償フレームを減算すると、動き補償後フレームには、(c)に示すように、赤色の前景物体の他に、シアン色(赤色の補色)である物体の像(同図においては黒色の円で表現している)が現れてしまうことになる。
このように、輝度成分が一様な場合には、動きベクトルの探索に相関度を用いるため、正しい動きベクトルを得ることができずに誤った動きベクトルを検出してしまうことがある。この結果、図4からも分かるように、動き補償後フレーム((c)の行のフレーム)は元画像のフレーム((a)の行のフレーム)に比べて情報量が多くなってしまう。ここで、ビットレート(発生情報量)が予め決められており、このビットレートの制限をこの場合にも守るには、量子化パラメータ(量子化の分解能)を大きくすることになるのであるが、これは結果として色差成分の量子化誤差が増えることとなる。しかもこの場合には輝度成分が一様であるために、色差成分の量子化誤差が視覚的に目立つこととなり、主観画質の大きな劣化となる。
この問題に関し、例えば特許文献1では、動きベクトル探索において、輝度成分の予測誤差の累積値と色差成分の予測誤差の累積値との合計を、動きベクトルの精度評価値として用いる技術が開示されている。
また、この問題に対する別のアプローチとして、画質劣化が発生すると予測される小ブロックの量子化パラメータを小さくすること(適応量子化)が考えられる。一般的な適応量子化に関して、例えば、特許文献2、特許文献3、及び特許文献4にそれぞれ技術が開示されている。
このうち、特許文献2に開示されている技術は、量子化パラメータを、ブロックのアクティビティ、平坦度、及びバッファ蓄積度から決定するというものである。また、特許文献3に開示されている技術は、人肌等の所定の色を持つブロックの量子化パラメータを小さくするというものである。また、特許文献4に開示されている技術は、他フレームのブロックから参照されるブロックの情報量を大きくするというものである。
特開平8−102965号公報 特開平7−107481号公報 特表2001−522174号公報 特開2002−64829号公報
上掲した特許文献1に開示されている技術では、動きベクトル探索において常に色差成分を使用しており、輝度成分のみを用いる場合に比べ演算量が増大する。これは、例えばデジタルカメラのような回路規模や消費電力を抑える必要のある符号化装置を実現する場合には重大な問題になる。
また、上掲した特許文献2、特許文献3、及び特許文献4に開示されている技術では、いずれも、画像によっては、画質劣化の発生する小ブロックの予測が妥当とはいえない場合もあり得る。
本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、輝度成分のみを用いる動きベクトル探索において、輝度成分が一様な場合の主観画質の劣化を低減することである。
本発明の態様のひとつである動画像符号化装置は、輝度成分と色差成分とで表現されている動画像のフレーム間で行う動きベクトルの予測の結果に基づいて当該動画像の圧縮符号化を行う動画像符号化装置であって、当該動画像のフレーム上に設定される小ブロックに対し当該動きベクトルの予測結果に基づいた動き補償予測により輝度成分の予測誤差を算出する輝度成分予測誤差算出手段と、当該動き補償予測により色差成分の予測誤差を算出する色差成分予測誤差算出手段と、輝度成分予測誤差算出手段で算出された輝度成分の予測誤差、及び色差成分予測誤差算出手段で算出された色差成分の予測誤差を入力とし、複数の量子化方法の中から最適な量子化方法を決定する量子化方法決定手段と、当該量子化方法決定手段で決定された量子化方法で、量子化を行う量子化手段と、を有することを特徴とするものであり、この特徴によって前述した課題を解決する。
この構成によれば、輝度成分のみを用いる動きベクトル探索において、動きベクトルの予測精度の変動を検出し、当該検出結果に応じて小ブロックの量子化精度を変化させることができる。
なお、上述した本発明に係る動画像符号化装置において、当該色差成分予測誤差の小ブロック内累積値が当該輝度成分予測誤差の小ブロック内累積値に比べて大きくなると、当該動きベクトルの予測精度の低下を予測精度指標として示すように構成することができる。
この構成によれば、予測精度指標が動きベクトルの予測精度の低下を示したときに、小ブロックの量子化精度を向上させる制御を行うことができる。
なお、このとき、当該色差成分予測誤差の小ブロック内累積値と当該輝度成分予測誤差の小ブロック内累積値との比が所定の閾値よりも大きくなると、当該動きベクトルの予測精度の低下を予測精度指標として示すように構成することもできる。
この構成によれば、予測精度指標が動きベクトルの予測精度の顕著な低下を示したときに、小ブロックの量子化精度を向上させる制御を行うことができる。
また、前述した本発明に係る動画像符号化装置において、当該量子化方法決定手段は、当該量子化における量子化パラメータを制御するように構成することができる。
この構成によれば、小ブロックの量子化精度を変化させることができる。
なお、このとき、当該予測精度指標が当該動きベクトルの予測精度の低下を示したときには、当該量子化方法決定手段は、当該量子化パラメータを小さくするように構成することができる。
この構成によれば、動きベクトルの予測精度が低下したときに、小ブロックの量子化精度が向上する。
なお、このとき、当該量子化方法決定手段は、更に、圧縮符号化された動画像の情報量に基づいて当該量子化手段を制御して、当該量子化後の画像情報における輝度成分の情報量を変化させるように構成することができる。ここで、当該量子化方法決定手段は、当該量子化後の画像情報における輝度成分の情報量を削減する制御を当該量子化手段に対して行うことにより、当該圧縮符号化された動画像の情報量を所定の閾値に収めるように構成することができる。
この構成によれば、量子化パラメータを小さくしたことにより圧縮符号化された動画像の情報量が過剰に大きくなることが防止される。しかも、輝度成分が一様な場合における画像の成分は輝度成分よりも色差成分が主であるので、輝度成分の情報量を削減しても主観画質の劣化はわずかなものに留まる。
なお、このとき、当該量子化方法決定手段による制御は、当該量子化後の画像情報における輝度成分の係数値のうち、当該係数値の絶対値が所定値よりも小さいものをゼロにする制御であるように構成することができる。
若しくは、このとき、当該量子化方法決定手段による制御は、当該量子化におけるデッドゾーン幅を広げる制御であるように構成することもできる。
上述したどちらの構成によっても、量子化後の画像情報における輝度成分の情報量が削減される。
なお、輝度成分と色差成分とで表現されている動画像のフレーム間で行う動きベクトルの予測の結果に基づいた当該動画像の圧縮符号化をコンピュータに行わせるためのプログラムであって、当該動画像のフレーム上に設定される小ブロックに対し当該動きベクトルの予測結果に基づいた動き補償予測を行い輝度成分の予測誤差を算出する処理と、当該動き補償予測を行い色差成分の予測誤差を算出する処理と、当該輝度成分の予測誤差と色差成分の予測誤差から最適な量子化方法を決定する処理と、決定された量子化方法で量子化する処理と、をコンピュータに行わせるためのプログラムであっても、このプログラムを当該コンピュータで実行させることにより、上述した本発明に係る動画像符号化装置と同様の作用・効果を奏するので、前述した課題が解決される。
本発明によれば、以上のようにすることにより、輝度成分のみを用いる動きベクトル探索において、輝度成分が一様な場合の主観画質の劣化が低減するという効果を奏する。
まず、本発明の実施形態の概要を説明する。
画面中のある小ブロックにおいて、輝度成分のみが一様で且つ色差成分のみにテクスチャがある場合、動きベクトルの予測精度が落ちる。このとき、輝度成分は一様なため、動きベクトルの予測精度が落ちても、輝度成分の予測誤差累積値は小さい。一方、色差成分の予測誤差累積値は、輝度成分の予測誤差累積値に比べて相対的に大きくなる。
そこで、本発明の実施形態では、輝度成分の予測誤差累積値と色差成分の予測誤差累積値との比を、動きベクトルの予測精度の指標として算出する。そして、この指標が、動きベクトルの予測精度の低下を示したときには、主観画質が低下する可能性のある小ブロックと判定し、量子化パラメータを他の小ブロックよりも小さくする。
このようにすると、画面中の小ブロックに対する動きベクトル予測精度の低下した小ブロックの割合が低い場合には、量子化パラメータを小さくすることによる影響度は低くなるので、他の小ブロックの主観画質は維持しつつ、動きベクトル予測精度の低下した小ブロックの主観画質が向上することになる。
また、本発明の実施形態では、上述した構成に加え、動きベクトルの予測精度が低下した小ブロックにおいて、量子化パラメータを小さくしたことで情報量が過剰に大きくなることを防ぐために、輝度成分の量子化後の係数を切り捨てて当該輝度成分の情報量を削減するようにする。これは、「輝度成分のみが一様」といっても一般的には多少の予測誤差があるため、ビットレートが制限されている場合には、量子化パラメータを小さくしたことによる情報量の増加が無視できなくなるからである。また、このような切り捨てを行っても、このような場合の画像の成分は輝度成分よりも色差成分が主であるため、主観画質の劣化はわずかである。
なお、ここでは、量子化後の係数を切り捨てる手法として、量子化後の係数の絶対値が閾値よりも小さい場合には全て「0」とするという第一の手法と、量子化におけるデッドゾーン幅を広くするという第二の手法とを提供する。
以下、本発明の実施の形態を図面に基づいて説明する。
まず図1について説明する。同図は、本発明を実施する符号化装置10の構成を示している。
動きベクトル検出・補償部11は、入力された動画像の処理フレームと、フレームバッファ17に格納されている、過去にローカル復号された参照フレームとの間で、輝度成分のみを用いての動きベクトルの予測を行い、最適動きベクトルを画像の小ブロック毎に決定する。加えて、当該参照フレームと最適動きベクトルとに基づいて動き補償フレームを作成し、減算器12へ出力する。更に、入力された動画像の処理フレームと作成した動き補償フレームとの誤差累積値を、輝度成分と色差成分とで別々に量子化パラメータ制御部18へ通知する。
入力された動画像の処理フレームと作成した動き補償フレームとについての輝度成分の誤差累積値SAD_Y 及び色差成分の誤差累積値SAD_C は、以下のように計算される。
上記の式において、org_Y[] 、org_Cb[]、org_Cr[]は、それぞれ、入力動画像の処理フレームの小ブロックに含まれる輝度(Y)成分、色差(Cb)成分、色差(Cr)成分である。また、pred_Y[]、pred_Cb[] 、pred_Cr[] は、それぞれ、検出動きベクトルに基づく予測小ブロックの輝度(Y)成分、色差(Cb)成分、色差(Cr)成分である。また、N及びMは、小ブロック内に含まれる輝度(Y)成分及び色差(Cb及びCr)成分それぞれのサンプル数である。
減算器12は、入力された動画像の処理フレームと、動きベクトル検出・補償部11から出力された動き補償フレームとの間で減算処理を行う。
DCT部13は、減算器12から出力される予測誤差画素に対し、DCT(離散コサイン変換)演算を適用して周波数変換する。
量子化部14は、周波数変換された予測誤差画素に対し、量子化パラメータ制御部18から渡される量子化パラメータと輝度成分情報量削減の指示とに従って量子化処理を行う。
IDCT・逆量子化部15は、量子化部14の出力に対し、量子化パラメータ制御部18から渡された量子化パラメータを用いての逆量子化処理とIDCT(逆離散コサイン変換)演算とを行う。
加算器16は、IDCT・逆量子化部15の出力と、動きベクトル検出・補償部11の出力とを加算してローカル復号フレームを生成する。
フレームバッファ17は、加算器16から出力されるローカル復号フレームを格納して一時的に保持しておくメモリである。
量子化パラメータ制御部18は、量子化パラメータを決定すると共に、その決定値によって必要な場合には輝度成分情報量削減の指示を量子化部14へ行う。
可変長符号化部19は、周波数変換され量子化された動き予測誤差画素値を、可変長符号化する。
次に図2について説明する。同図は、量子化パラメータ制御部18によって行われる制御処理の詳細をフローチャートで示したものである。
図2において、まずS101では、可変長符号化部19での発生情報量を取得する処理が行われ、続くS102において、取得した発生情報量に基づき、ベースとなる量子化パラメータを、画像の小ブロック毎に算出する処理が行われる。この量子化パラメータQPの算出は、ビットレート制限を遵守するレート管理方式として周知の各種の方式を用いて行うことができる。例えば、前掲した特許文献2、特許文献3、若しくは特許文献4に開示されている方式は利用可能である。
なお、この後のS103以降の処理も、画像の小ブロック毎について行われる。
S103では、動きベクトル検出・補償部11から通知される輝度成分の誤差累積値SAD_Y と色差成分の誤差累積値SAD_C とを取得する処理が行われ、続くS104において、前述した動きベクトルの予測精度の指標、すなわち、取得した輝度成分の誤差累積値SAD_Y と色差成分の誤差累積値SAD_C との比、を算出する処理が行われる。そして、続くS105において、この指標が、動きベクトルの予測精度の低下を示しているか否かを判定する処理が行われる。
なお、量子化パラメータQPを小さくするか否かの判定は、下記の式が成立するか否かを以って行うようにしてもよい。
上記の式において、THは、外部から与えるパラメータである。つまり、上記の式が成立する場合は、輝度成分の誤差累積値SAD_Y に対する色差成分の誤差累積値SAD_C の比(SAD_C/SAD_Y )が所定の閾値よりも大きい場合であるから、これはすなわち、本発明において動きベクトルの予測精度が低下していると判定すべき場合である。なお、前述した4:2:0形式のカラー動画像の場合では、このTHの値として例えば「3」が与えられる。
S105の判定処理において、動きベクトルの予測精度が低下していると判定されたとき(判定結果がYesのとき)には、S106において、可変長符号化部19での発生情報量に基づいて算出された量子化パラメータQPに対し、下記の式
で示される低減処理を施す。なお、上記の式におけるOffsetの値として、AVC/H.264符号化の場合には、例えば「6」が用いられる。そして、続くS107において、上記の式で得られた量子化パラメータQP’を量子化部14とIDCT・逆量子化部15とへ通知する処理が行われる。
一方、S105の判定処理において、動きベクトルの予測精度は低下していないと判定されたとき(判定結果がNoのとき)には、S106の処理を実行することなくS107に処理を進め、S102の処理によって算出されていた量子化パラメータQPを量子化部14とIDCT・逆量子化部15とへ通知する処理が行われる。
S108では、S101の処理で取得した発生情報量が所定値(例えば、符号化装置10に対して予め定められているビットレート)以内に収まっているか否かを判定する処理が行われる。ここで、収まっていると判定されたとき(判定結果がYesのとき)にはS101へと処理を戻して上述した処理が繰り返される。一方、収まっていないと判定されたとき(判定結果がNoのとき)にはS109に処理を進める。
S109では、量子化後の輝度成分の発生情報量を削減する手法として、符号化装置10に対して予め設定されているものは、前述した第一の手法と第二の手法とのうちのどちらであるかを判定する処理が行われる。ここで、第一の手法が設定されているのであれば、S110において、量子化後の係数の絶対値が閾値(例えば「1」)よりも小さい場合には全て「0」とすることで輝度成分の情報量を削減する指示を量子化部14へ通知する処理が行われる。一方、第二の手法が設定されているのであれば、S111において、量子化におけるデッドゾーン幅を広くすることで輝度成分の情報量を削減する指示を量子化部14へ通知する処理が行われる。
ここで、第二の手法、すなわち、量子化におけるデッドゾーン幅を広くすることで輝度成分の情報量を削減する手法について、更に説明する。
量子化部14による量子化の処理は、例えば下記のような式で表現することができる。
c’=(c+(dz<<(QP−1)))>>(QP)
上記の式において、「<<」は左ビットシフト、「>>」は右ビットシフトを表している。また、cは量子化前の係数、c’は量子化後の係数である。更に、QPは量子化パラメータであり、上記の式は、係数cを2QP値で量子化することを表している。なお、dzは量子化におけるデッドゾーン幅を決めるパラメータである。ここで、dzの値を小さくするとデッドゾーン幅が広くなり、量子化後の係数は小さくなる。
上記の式において、例えば、c=6(二進数で「110」)、QP=3、dz=0.5の場合を考える。この場合、(dz<<(QP−1))=2(二進数で「10」)であるから、(c+(dz<<(QP−1)))=8(二進数で「1000」)となる。従って、c’=1(二進数でも「1」)となる。
一方、上記の場合において、デッドゾーン幅を広くしてdz=0.25とした場合を考える。この場合、(dz<<(QP−1))=1(二進数でも「1」)であるから、(c+(dz<<(QP−1)))=7(二進数で「111」)となる。従って、c’=0となる。こうして、量子化パラメータを小さくしたことによる輝度成分の量子化後の情報量の増加が抑制される。
以上のS110若しくはS111の処理を終えたときには、S101へと処理を戻して上述した処理が繰り返される。
以上の処理を行う量子化パラメータ制御部18により、量子化パラメータの決定、及び、その決定値によって必要な場合における量子化部14への輝度成分情報量削減の指示が行われる。
図1に示した構成の符号化装置10は、以上のように動作するので、回路規模や消費電力の制約等の理由で動きベクトルの検出に輝度成分のみを用いるようにしても、輝度成分のみが一様であるために動きベクトル予測精度が低下する部分の主観画質の劣化が低減される。
なお、図1に示した符号化装置10によって行われる動画像の符号化を、標準的な構成を有するコンピュータ、すなわち、図3に示すように、コンピュータ30全体の動作制御を司るCPU31、CPU31が各種の処理を行う際に必要に応じて作業用として使用するRAM32、CPU31によって実行される基本制御プログラムやその実行の際に必要に応じて使用される各種のデータが予め格納されているROM33、CPU31によって実行される各種の制御プログラムやその実行の際に必要に応じて使用される各種のデータを格納しておく磁気ディスク記憶装置34、例えばCD(Compact Disc)やMO(Magneto Optical )ディスク、DVD(Digital Versatile Disc)等の可搬型記録媒体40に記録されている各種のデータを読み取るデータ読取装置35、例えばマウス等のポインティングデバイスやキーボート装置などを有して構成されていてそれらに対する操作の内容に対応付けられているユーザからの指示を取得する入力部36、CPUの指示に応じて所定の画像を表示する表示部37、他の機器との間で各種のデータの授受を行うI/F(インタフェース)部38、などを備えるコンピュータ30に行わせることも可能である。
特に、このようなコンピュータ30で本発明を実施するためには、例えば、上述した実施形態においては量子化パラメータ制御部18が行っていた、図2に示した制御処理をコンピュータ30のCPU31に行わせるための制御プロプログラムを作成して上述したような可搬型記録媒体40に記録しておき、その制御プログラムをコンピュータ30に読み込ませてCPU31で実行させればよい。
なお、上述した制御プログラムを格納しておく記録媒体としては、可搬型記録媒体40の代わりに、インターネット等の通信回線50に接続されているプログラムサーバ60として機能するコンピュータシステムが備えている記憶装置61を用いるようにしてもよい。この場合には、上述した制御プログラムを表現するデータ信号で搬送波を変調して得られる伝送信号を、プログラムサーバ60から伝送媒体である通信回線50を通じてコンピュータ30へ伝送するようにする。一方、コンピュータ30では。この伝送信号を受信して復調して元の制御プログラムを再現することによりこの制御プログラムをCPU31で実行できるようになる。
以上本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではない。
なお、上記した実施の形態から次のような構成の技術的思想が導かれる。
(付記1)
輝度成分と色差成分とで表現されている動画像のフレーム間で行う動きベクトルの予測の結果に基づいて当該動画像の圧縮符号化を行う動画像符号化装置であって、
前記動画像のフレーム上に設定される小ブロックに対し前記動きベクトルの予測結果に基づいた動き補償予測により輝度成分の予測誤差を算出する輝度成分予測誤差算出手段と、
前記動き補償予測により色差成分の予測誤差を算出する色差成分予測誤差算出手段と、
前記輝度成分予測誤差算出手段で算出された輝度成分の予測誤差、及び前記色差成分予測誤差算出手段で算出された色差成分の予測誤差を入力とし、複数の量子化方法の中から最適な量子化方法を決定する量子化方法決定手段と、
前記量子化方法決定手段で決定された量子化方法で、量子化を行う量子化手段と、
を有することを特徴とする動画像符号化装置。
(付記2)
前記色差成分予測誤差の小ブロック内累積値が前記輝度成分予測誤差の小ブロック内累積値に比べて大きくなると、前記動きベクトルの予測精度の低下を予測精度指標として示すことを特徴とする付記1に記載の動画像符号化装置。
(付記3)
前記色差成分予測誤差の小ブロック内累積値と前記輝度成分予測誤差の小ブロック内累積値との比が所定の閾値よりも大きくなると、前記動きベクトルの予測精度の低下を予測精度指標として示すことを特徴とする付記2に記載の動画像符号化装置。
(付記4)
前記量子化方法決定手段は、前記量子化における量子化パラメータを制御することを特徴とする付記1から3のいずれか1項に記載の動画像符号化装置。
(付記5)
前記予測精度指標が前記動きベクトルの予測精度の低下を示したときには、前記量子化方法決定手段は、前記量子化パラメータを小さくすることを特徴とする付記4に記載の動画像符号化装置。
(付記6)
前記量子化方法決定手段は、更に、圧縮符号化された動画像の情報量に基づいて前記量子化手段を制御して、前記量子化後の画像情報における輝度成分の情報量を変化させることを特徴とする付記5に記載の動画像符号化装置。
(付記7)
前記量子化方法決定手段は、前記量子化後の画像情報における輝度成分の情報量を削減する制御を前記量子化手段に対して行うことにより、前記圧縮符号化された動画像の情報量を所定の閾値に収めることを特徴とする付記6に記載の動画像符号化装置。
(付記8)
前記量子化方法決定手段による制御は、前記量子化後の画像情報における輝度成分の係数値のうち、当該係数値の絶対値が所定値よりも小さいものをゼロにする制御であることを特徴とする付記7に記載の動画像符号化装置。
(付記9)
前記量子化方法決定手段による制御は、前記量子化におけるデッドゾーン幅を広げる制御であることを特徴とする付記7に記載の動画像符号化装置。
(付記10)
輝度成分と色差成分とで表現されている動画像のフレーム間で行う動きベクトルの予測の結果に基づいた当該動画像の圧縮符号化をコンピュータに行わせるためのプログラムであって、
前記動画像のフレーム上に設定される小ブロックに対し前記動きベクトルの予測結果に基づいた動き補償予測を行い輝度成分の予測誤差を算出する処理と、
前記動き補償予測を行い色差成分の予測誤差を算出する処理と、
前記輝度成分の予測誤差と前記色差成分の予測誤差とから最適な量子化方法を決定する処理と、
決定された量子化方法で量子化する処理と、
をコンピュータに行わせるためのプログラム。
(付記11)
前記色差成分予測誤差の小ブロック内累積値が前記輝度成分予測誤差の小ブロック内累積値に比べて大きくなると、前記動きベクトルの予測精度の低下を予測精度指標として示すことを特徴とする付記10に記載のプログラム。
(付記12)
前記色差成分予測誤差の小ブロック内累積値が前記輝度成分予測誤差の小ブロック内累積値との比が所定の閾値よりも大きくなると、前記動きベクトルの予測精度の低下を予測精度指標として示すことを特徴とする付記11に記載のプログラム。
(付記13)
前記量子化の制御では、当該量子化における量子化パラメータを制御することを特徴とする付記10から12までのうちのいずれか1項に記載のプログラム。
(付記14)
前記予測精度指標が前記動きベクトルの予測精度の低下を示したときには、前記量子化の制御によって、前記量子化パラメータを小さくすることを特徴とする付記13に記載のプログラム。
(付記15)
前記量子化の制御では、更に、圧縮符号化された動画像の情報量に基づいて当該量子化を制御して、当該量子化後の画像情報における輝度成分の情報量を変化させることを特徴とする付記14に記載のプログラム。
(付記16)
前記量子化の制御では、当該量子化後の画像情報における輝度成分の情報量を削減する制御を行うことにより、前記圧縮符号化された動画像の情報量を所定の閾値に収めることを特徴とする付記15に記載のプログラム。
(付記17)
前記量子化の制御は、当該量子化後の画像情報における輝度成分の係数値のうち、当該係数値の絶対値が所定値よりも小さいものをゼロにする制御であることを特徴とする付記16に記載のプログラム。
(付記18)
前記量子化の制御は、当該量子化におけるデッドゾーン幅を広げる制御であることを特徴とする付記16に記載のプログラム。
(付記19)
輝度成分と色差成分とで表現されている動画像のフレーム間で行う動きベクトルの予測の結果に基づいて当該動画像の圧縮符号化を行う方法であって、
前記動画像のフレーム上に設定される小ブロックに対し前記動きベクトルの予測結果に基づいた動き補償を行ったときにおける輝度成分の予測誤差の当該小ブロックでの累積値と、当該動き補償を行ったときにおける色差成分の予測誤差の当該小ブロックでの累積値との比を、当該動きベクトルの予測精度の指標として算出し、
前記予測精度指標に基づいて前記小ブロックの画像情報の量子化を制御する、
ことを特徴とする動画像符号化方法。
(付記20)
前記量子化の制御では、更に、圧縮符号化された動画像の情報量に基づいて当該量子化を制御して、当該量子化後の画像情報における輝度成分の情報量を変化させることを特徴とする付記19に記載の動画像符号化方法。
本発明を実施する符号化装置の構成を示す図である。 量子化パラメータ制御部によって行われる制御処理の詳細をフローチャートで示した図である。 本発明を実施するコンピュータの構成例を示す図である。 従来技術の問題点を説明する図である。
符号の説明
10 符号化装置
11 動きベクトル検出・補償部
12 減算器
13 DCT部
14 量子化部
15 IDCT・逆量子化部
16 加算器
17 フレームバッファ
18 量子化パラメータ制御部
19 可変長符号化部
30 コンピュータ
31 CPU
32 ROM
33 RAM
34 磁気ディスク装置
35 データ読み取り装置
36 入力部
37 表示部
38 I/F部
40 可搬型記録媒体
50 通信回線
60 プログラムサーバ
61 記憶装置

Claims (6)

  1. 輝度成分と色差成分とで表現されている動画像のフレーム間で行う動きベクトルの予測の結果に基づいて当該動画像の圧縮符号化を行う動画像符号化装置であって、
    前記動画像のフレーム上に設定される小ブロックに対し前記動きベクトルの予測結果に基づいた動き補償予測により輝度成分の予測誤差を算出する輝度成分予測誤差算出手段と、
    前記動き補償予測により色差成分の予測誤差を算出する色差成分予測誤差算出手段と、
    前記輝度成分予測誤差算出手段で算出された輝度成分の予測誤差前記色差成分予測誤差算出手段で算出された色差成分の予測誤差とを比較し、当該比較の結果に基づいて量子化パラメータの大きさを制御する量子化パラメータ制御手段と、
    前記量子化パラメータ制御手段により制御されている量子化パラメータで、量子化を行う量子化手段と、
    を有し、
    前記量子化パラメータ制御手段は、前記色差成分の予測誤差の小ブロック内累積値と前記輝度成分の予測誤差の小ブロック内累積値との比が所定の閾値よりも大きくなったときに、前記量子化パラメータを小さくする制御を行う、
    ことを特徴とする動画像符号化装置。
  2. 前記量子化パラメータ制御手段は、更に、圧縮符号化された動画像の情報量に基づいて前記量子化手段を制御して、前記量子化後の画像情報における輝度成分の情報量を変化させることを特徴とする請求項に記載の動画像符号化装置。
  3. 前記量子化パラメータ制御手段は、前記量子化後の画像情報における輝度成分の情報量を削減する制御を前記量子化手段に対して行うことにより、前記圧縮符号化された動画像の情報量を所定の閾値に収めることを特徴とする請求項に記載の動画像符号化装置。
  4. 前記量子化パラメータ制御手段による制御は、前記量子化後の画像情報における輝度成分の係数値のうち、当該係数値の絶対値が所定値よりも小さいものをゼロにする制御であることを特徴とする請求項に記載の動画像符号化装置。
  5. 前記量子化パラメータ制御手段による制御は、前記量子化におけるデッドゾーン幅を広げる制御であることを特徴とする請求項に記載の動画像符号化装置。
  6. 輝度成分と色差成分とで表現されている動画像のフレーム間で行う動きベクトルの予測の結果に基づいた当該動画像の圧縮符号化をコンピュータに行わせるためのプログラムであって、
    前記動画像のフレーム上に設定される小ブロックに対し前記動きベクトルの予測結果に基づいた動き補償予測を行い輝度成分の予測誤差を算出する処理と、
    前記動き補償予測を行い色差成分の予測誤差を算出する処理と、
    前記輝度成分の予測誤差と前記色差成分の予測誤差とを比較し、当該比較の結果に基づいて量子化パラメータの大きさを制御する処理と、
    前記制御処理により制御されている量子化パラメータで量子化する処理と、
    をコンピュータに行わせ
    前記制御処理は、前記色差成分の予測誤差の小ブロック内累積値と前記輝度成分の予測誤差の小ブロック内累積値との比が所定の閾値よりも大きくなったときに、前記量子化パラメータを小さくする制御を行う、
    プログラム。
JP2006070170A 2006-03-15 2006-03-15 動画像符号化装置及びプログラム Expired - Fee Related JP4820191B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2006070170A JP4820191B2 (ja) 2006-03-15 2006-03-15 動画像符号化装置及びプログラム
EP20060253987 EP1835763B1 (en) 2006-03-15 2006-07-31 Video coding apparatus and method
US11/461,004 US8059713B2 (en) 2006-03-15 2006-07-31 Video coding apparatus
KR20060079841A KR100853931B1 (ko) 2006-03-15 2006-08-23 동화상 부호화 장치 및 기록 매체
CN2006101261540A CN101039434B (zh) 2006-03-15 2006-08-25 视频编码装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006070170A JP4820191B2 (ja) 2006-03-15 2006-03-15 動画像符号化装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2007251453A JP2007251453A (ja) 2007-09-27
JP4820191B2 true JP4820191B2 (ja) 2011-11-24

Family

ID=38180732

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006070170A Expired - Fee Related JP4820191B2 (ja) 2006-03-15 2006-03-15 動画像符号化装置及びプログラム

Country Status (5)

Country Link
US (1) US8059713B2 (ja)
EP (1) EP1835763B1 (ja)
JP (1) JP4820191B2 (ja)
KR (1) KR100853931B1 (ja)
CN (1) CN101039434B (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090268096A1 (en) * 2008-04-28 2009-10-29 Siou-Shen Lin Video processing method for determining target motion vector according to chrominance data and film mode detection method according to chrominance data
KR101493789B1 (ko) * 2008-07-14 2015-02-17 삼성디스플레이 주식회사 표시 장치
JP5234368B2 (ja) * 2009-09-30 2013-07-10 ソニー株式会社 画像処理装置および方法
JP5328629B2 (ja) * 2009-12-17 2013-10-30 株式会社メガチップス エンコーダおよび画像変換装置
KR20120016991A (ko) * 2010-08-17 2012-02-27 오수미 인터 프리딕션 방법
JP5625073B2 (ja) * 2011-01-19 2014-11-12 ルネサスエレクトロニクス株式会社 画像符号化装置及び画像復号装置
CN102158699B (zh) * 2011-03-28 2012-12-12 广州市聚晖电子科技有限公司 一种带有图像增强功能的嵌入式视频压缩编码系统
US8964833B2 (en) * 2011-07-19 2015-02-24 Qualcomm Incorporated Deblocking of non-square blocks for video coding
KR20130050149A (ko) 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
JP2013172323A (ja) 2012-02-21 2013-09-02 Toshiba Corp 動き検出装置、画像処理装置および画像処理システム
US10148982B2 (en) 2012-07-27 2018-12-04 Hewlett-Packard Development Company, L.P. Video compression using perceptual modeling
KR20150056811A (ko) 2012-11-13 2015-05-27 인텔 코포레이션 차세대 비디오를 위한 콘텐츠 적응적 변환 코딩
CN105100549B (zh) * 2015-07-27 2018-06-29 京东方科技集团股份有限公司 图像补偿方法及装置
KR102584526B1 (ko) 2016-09-26 2023-10-05 한화비전 주식회사 영상 처리 장치 및 방법

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5218435A (en) 1991-02-20 1993-06-08 Massachusetts Institute Of Technology Digital advanced television systems
US5434623A (en) 1991-12-20 1995-07-18 Ampex Corporation Method and apparatus for image data compression using combined luminance/chrominance coding
JPH05227520A (ja) * 1992-02-14 1993-09-03 Hitachi Ltd 画像圧縮符号化装置
US5283646A (en) * 1992-04-09 1994-02-01 Picturetel Corporation Quantizer control method and apparatus
JP3063380B2 (ja) * 1992-04-28 2000-07-12 三菱電機株式会社 高能率符号化装置
JP3013602B2 (ja) * 1992-05-29 2000-02-28 三菱電機株式会社 映像信号符号化装置
JPH0723385A (ja) * 1993-06-21 1995-01-24 Nec Corp 高能率符号化装置
JPH07107481A (ja) * 1993-09-30 1995-04-21 Sony Corp 画像信号符号化方法及び画像信号符号化装置
JPH07115668A (ja) * 1993-10-19 1995-05-02 Toshiba Corp 画像圧縮装置及び画像圧縮方法
JPH07322298A (ja) * 1994-05-30 1995-12-08 Matsushita Electric Ind Co Ltd 符号化装置
JP3480067B2 (ja) * 1994-09-30 2003-12-15 ソニー株式会社 画像符号化装置及び方法
JPH1013859A (ja) * 1996-06-26 1998-01-16 Mitsubishi Electric Corp 画像用高能率符号化器及び画像用高能率復号化器及び画像用高能率符号化復号化システム
KR20010031548A (ko) * 1997-10-28 2001-04-16 칼 하인쯔 호르닝어 디지털화된 영상을 처리하기 위한 방법 및 장치
JPH11243551A (ja) * 1997-12-25 1999-09-07 Mitsubishi Electric Corp 動き補償装置と動画像符号化装置及び方法
CN100366089C (zh) * 1998-03-05 2008-01-30 松下电器产业株式会社 图像编码方法、图像编码译码方法、图像编码装置或图像记录再生装置
CN1199468C (zh) * 2000-01-12 2005-04-27 皇家菲利浦电子有限公司 图像数据压缩
FI115946B (fi) * 2000-05-05 2005-08-15 Nokia Corp Menetelmä virheiden havaitsemiseksi videoinformaatiosta
JP3945676B2 (ja) * 2000-08-23 2007-07-18 株式会社Kddi研究所 動画像の量子化制御装置
JP2002354266A (ja) 2001-05-22 2002-12-06 Canon Inc 画像処理装置、画像処理システム、画像処理方法、記録媒体およびプログラム
US20030112863A1 (en) * 2001-07-12 2003-06-19 Demos Gary A. Method and system for improving compressed image chroma information
JP2003284091A (ja) * 2002-03-25 2003-10-03 Toshiba Corp 動画像符号化方法及び動画像符号化装置
CA2491522C (en) * 2002-07-01 2014-12-09 E G Technology Inc. Efficient compression and transport of video over a network

Also Published As

Publication number Publication date
KR100853931B1 (ko) 2008-08-25
EP1835763A2 (en) 2007-09-19
JP2007251453A (ja) 2007-09-27
CN101039434A (zh) 2007-09-19
EP1835763B1 (en) 2012-06-06
EP1835763A3 (en) 2008-10-08
US20070217507A1 (en) 2007-09-20
CN101039434B (zh) 2010-05-12
KR20070093781A (ko) 2007-09-19
US8059713B2 (en) 2011-11-15

Similar Documents

Publication Publication Date Title
JP4820191B2 (ja) 動画像符号化装置及びプログラム
JP4194479B2 (ja) 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP5173409B2 (ja) 符号化装置および符号化装置を備えた動画像記録システム
JP2006519565A (ja) ビデオ符号化
US20120027092A1 (en) Image processing device, system and method
KR101090586B1 (ko) 부호화 장치/복호화 장치, 부호화 방법/복호화 방법 및 기록 매체
JP2005191706A (ja) 動画像符号化方法及びその装置
CN101491106A (zh) 图像处理设备和方法及程序
KR20040069210A (ko) 코딩 정보 및 로컬 공간 특징을 이용한 디지털 비디오신호들의 후처리에서의 선명도 향상
US9106917B2 (en) Video encoding apparatus and video encoding method
JP5613319B2 (ja) 映像符号化装置、映像符号化方法および映像符号化プログラム
JP2003304538A (ja) 画像符号化装置、画像復号化装置及びそれらの方法
CN1964491A (zh) 动态图像编码装置和图像记录再现装置
JP3982615B2 (ja) 符号化動画像データの方式変換装置
JP2001251627A (ja) 符号化装置、符号化方法及びプログラムを記録した記録媒体
JP5180887B2 (ja) 符号化装置およびその方法
JP2007221201A (ja) 動画像符号化装置及び動画像符号化プログラム
RU2643477C1 (ru) Устройство кодирования видео с предсказанием, способ кодирования видео с предсказанием, программа кодирования видео с предсказанием, устройство декодирования видео с предсказанием, способ декодирования видео с предсказанием и программа декодирования видео с предсказанием
JP2007251996A (ja) 動画像符号化方法及びその装置
JP4196929B2 (ja) ノイズ検出装置及びノイズ検出プログラム
JP4561701B2 (ja) 動画像符号化装置
JP2011004051A (ja) 動画像符号化方法,動画像符号化装置および動画像符号化プログラム
JP2006157084A (ja) 画像符号化装置、画像符号化方法、及びコンピュータプログラム
JP2008245237A (ja) 画像処理方法、画像処理装置およびそれを用いた撮像装置
JP2006165801A (ja) 符号化モード判定装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110830

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110902

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4820191

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees