[go: up one dir, main page]

JP5722506B2 - 映像復号化装置 - Google Patents

映像復号化装置 Download PDF

Info

Publication number
JP5722506B2
JP5722506B2 JP2014531703A JP2014531703A JP5722506B2 JP 5722506 B2 JP5722506 B2 JP 5722506B2 JP 2014531703 A JP2014531703 A JP 2014531703A JP 2014531703 A JP2014531703 A JP 2014531703A JP 5722506 B2 JP5722506 B2 JP 5722506B2
Authority
JP
Japan
Prior art keywords
intra prediction
mode
block
quantization
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014531703A
Other languages
English (en)
Other versions
JP2014530557A (ja
Inventor
シン ジ パク，
シン ジ パク，
Original Assignee
インフォブリッジ ピーティーイー． エルティーディー．
インフォブリッジ ピーティーイー． エルティーディー．
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インフォブリッジ ピーティーイー． エルティーディー．, インフォブリッジ ピーティーイー． エルティーディー． filed Critical インフォブリッジ ピーティーイー． エルティーディー．
Publication of JP2014530557A publication Critical patent/JP2014530557A/ja
Application granted granted Critical
Publication of JP5722506B2 publication Critical patent/JP5722506B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H04N19/45—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder performing compensation of the inverse transform mismatch, e.g. Inverse Discrete Cosine Transform [IDCT] mismatch
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、映像復号化装置に関し、残差ブロックを生成するために利用される量子化パラメータ予測子を現在ブロックの左側及び上側コーディングユニットの量子化パラメータを利用する装置に関する。
映像データを効率的に格納し、又は送信するためには、映像データを符号化しなければならない。映像データを符号化する技術には、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ ｃｏｄｉｎｇ）などがある。前記技術は、一つのピクチャをマクロブロックに分け、前記マクロブロック単位にイントラ符号化を実行するかインター符号化を実行するかを決定した後、前記決定された方式にそれぞれのマクロブロックを符号化する。
最も最近の映像圧縮技術であるＨ．２６４ではイントラ符号化の効率を上げるためにイントラ予測を実行する。即ち、現在ブロックを符号化するために参照ピクチャを参照するものではなく、符号化しようとする現在ブロックと空間的に隣接した画素値を利用して予測ブロックを生成する。具体的に、隣接した画素値を利用して原本マクロブロックと比較して歪曲が少ないイントラ予測モードを選択し、選択されたイントラ予測モード及び隣接した画素値を利用して符号化しようとする現在ブロックに対する予測ブロックを生成する。そして、現在ブロックと予測ブロックとの差信号で構成される残差ブロックを生成し、前記残差ブロックを変換、量子化、エントロピー符号化する。また、前記予測ブロックの生成に利用されたイントラ予測モードも符号化する。
しかし、Ｈ．２６４では現在ブロックの左側及び上側ブロックのイントラ予測モードの方向性と関係なく現在ブロックのイントラ予測モードを符号化するため、符号化効率が落ちる問題点がある。また、残差ブロックの符号化効率を増加させるために、イントラ予測モードの数が増加する場合にはＨ．２６４のイントラ予測モード符号化方式より符号化効率が高いイントラ予測モードを符号化／復号化する方式が要求される。
また、Ｈ．２６４と違って、多様な大きさの符号化単位が許容される場合、量子化パラメータを適応的に変更することで、テクスチャの符号化効率を向上させることができるが、この場合、量子化パラメータを送信するために多くのビット数が必要である。したがって、前記ビット数を効果的に減らすことができる方式が要求される。
本発明が解決しようとする目的は、現在ブロックの量子化パラメータを符号化大きさによって適応的に調節することによって、映像品質を向上させ、前記量子化パラメータを効果的に符号化／復号化することによって、量子化パラメータ送信に必要とするビット数を減らすことで、映像の符号化及び復号化効率を向上させる装置を提供することである。
前記目的を達成するために、本発明の一実施例に係る映像復号化装置は、現在ブロックのイントラ予測モードを復元して現在ブロック又は現在ブロックのサブブロック単位に予測ブロックを生成するイントラ予測部と、残差信号を２次元の量子化ブロックに変換する逆スキャニング部と、前記量子化ブロックを量子化パラメータを利用して逆量子化する逆量子化部と、前記逆量子化ブロックを逆変換する逆変換部と、を含み、前記量子化パラメータを復元するために利用される量子化パラメータ予測子は、現在コーディングユニット（ＣＵ）の左側量子化コーディングユニットの量子化パラメータ及び上側コーディングユニットの量子化パラメータを利用して生成される。
前記映像復号化装置において、前記量子化パラメータは、前記量子化パラメータ予測子及び受信された残余量子化パラメータを加えて生成され、前記量子化パラメータ予測子は、前記左側量子化コーディングユニットの量子化パラメータ及び前記上側コーディングユニットの量子化パラメータの平均値である。
前記映像復号化装置の前記イントラ予測部は、現在ブロックの左側及び上側ブロックのイントラ予測モードを利用して３個のイントラ予測モードを含むＭＰＭグループを構成し、前記ＭＰＭグループ及び受信されたイントラ予測情報を利用して現在ブロックのイントラ予測モードを復元し、現在ブロックの左側及び上側ブロックのイントラ予測モードが有効でない場合、前記ＭＰＭグループは、プレーナモード、ＤＣモード、及び垂直モードを含む。
本発明による映像復号化装置は、現在ブロックのイントラ予測モードを復元して現在ブロック又は現在ブロックのサブブロック単位に予測ブロックを生成するイントラ予測部と、残差信号を２次元の量子化ブロックに変換する逆スキャニング部と、前記量子化ブロックを量子化パラメータを利用して逆量子化する逆量子化部と、前記逆量子化ブロックを逆変換する逆変換部と、を含み、前記量子化パラメータを復元するために利用される量子化パラメータ予測子は、現在コーディングユニット（ＣＵ）の左側量子化コーディングユニットの量子化パラメータ及び上側コーディングユニットの量子化パラメータを利用して生成される。
したがって、量子化パラメータを符号化大きさによって適応的に調節することによって、映像品質を向上させ、前記量子化パラメータを効果的に符号化／復号化することによって、量子化パラメータ送信に必要とするビット数を減らすことで、映像の圧縮効率を向上させることができる。
本発明は、例えば以下の項目を提供する。
（項目１）
現在ブロックのイントラ予測モードを復元して現在ブロック又は現在ブロックのサブブロック単位に予測ブロックを生成するイントラ予測部；
残差信号を２次元の量子化ブロックに変換する逆スキャニング部；
前記量子化ブロックを量子化パラメータを利用して逆量子化する逆量子化部；及び、
前記逆量子化ブロックを逆変換する逆変換部；を含み、
前記量子化パラメータを復元するために利用される量子化パラメータ予測子は、現在コーディングユニット（ＣＵ）の左側量子化コーディングユニットの量子化パラメータ及び上側コーディングユニットの量子化パラメータを利用して生成されることを特徴とする映像復号化装置。
（項目２）
前記量子化パラメータは、前記量子化パラメータ予測子及び受信された残余量子化パラメータを加えて生成されることを特徴とする項目１に記載の映像復号化装置。
（項目３）
前記量子化パラメータ予測子は、前記左側量子化コーディングユニットの量子化パラメータ及び前記上側コーディングユニットの量子化パラメータの平均値であることを特徴とする項目１に記載の映像復号化装置。
（項目４）
前記イントラ予測部は、現在ブロックの左側及び上側ブロックのイントラ予測モードを利用して３個のイントラ予測モードを含むＭＰＭグループを構成し、前 記ＭＰＭグループ及び受信されたイントラ予測情報を利用して現在ブロックのイントラ予測モードを復元することを特徴とする項目１に記載の映像復号化装置。
（項目５）
現在ブロックの左側及び上側ブロックのイントラ予測モードが有効でない場合、前記ＭＰＭグループは、プレーナモード、ＤＣモード、及び垂直モードを含むことを特徴とする項目４に記載の映像復号化装置。
（項目６）
前記イントラ予測情報は、受信されたイントラ予測モードグループ指示子と予測モードインデックスを含むことを特徴とする項目４に記載の映像復号化装置。
（項目７）
前記イントラ予測情報は、受信されたイントラ予測モードグループ指示子と予測モードインデックスを含むことを特徴とする項目４に記載の映像復号化装置。
本発明の一実施例に係る動映像符号化装置を示すブロック構成図である。 本発明の一実施例に係る動映像復号化装置を示すブロック構成図である。 本発明の一実施例に係る動映像復号化装置でのイントラ予測ブロックを生成する方法に対して説明する。 本発明に一実施例に係るイントラ予測モードを示す。 本発明の一実施例に係るイントラ予測ブロック装置３００を示すブロック構成図である。 本発明の一実施例に係る残差ブロックを復元する順序を示すブロック図である。 本発明の一実施例に係る量子化パラメータを復元する順序を示すブロック図である。
以下、本発明の多様な実施例を例示的な図面を介して詳細に説明する。本発明は、多様な変更を加えることができ、多様な実施例を有することができるため、本発明を特定の実施形態に対して限定するものではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むと理解されなければならない。各図面の説明において、類似の参照符号を類似の構成要素に対して使用した。
本発明による動映像符号化装置及び動映像復号化装置は、パソコン、ノートブック、個人用携帯端末機、携帯型マルチメディアプレーヤ、スマートフォン、無線通信端末機、ＴＶなどのユーザ端末機又はサービスを提供するサーバなどである。また、前記動映像符号化装置及び動映像復号化装置は、各種機器又は有無線ネットワークと通信を実行するための通信モデムなどの通信装置、映像を符号化又は復号化し、又は符号化／復号化のための各種プログラムとデータを格納するためのメモリ、プログラムを実行して演算及び制御するためのマイクロプロセッサなどを具備する装置である。
図１は、本発明の一実施例に係る動映像符号化装置を示すブロック構成図である。
本発明に一実施例に係る動映像符号化装置１００は、イントラ予測部１１０、インター予測部１２０、変換及び量子化部１３０、エントロピー符号化部１４０、逆量子化及び逆変換部１５０、後処理部１６０、ピクチャバッファ１７０、減算部１９０、及び加算部１９５を含む。
イントラ予測部１１０は、現在ブロックが含まれるピクチャ又はスライスの復元された画素を利用してイントラ予測ブロックを生成する。イントラ予測部１１０は、予測符号化する現在ブロックの大きさによって予め設定された個数のイントラ予測モードの中から一つを選択し、前記選択されたイントラ予測モードによって予測ブロックを生成する。
インター予測部１２０は、前記ピクチャバッファ１７０に格納された参照ピクチャを利用して動き推定を実行し、動き予測のために参照ピクチャインデックス及び動きベクトルを決定する。そして、前記参照ピクチャインデックス及び動きベクトルを利用して現在ブロックのインター予測ブロックを生成する。
変換及び量子化部１３０は、現在ブロックとイントラ予測部１１０又はインター予測部１２０で生成された予測ブロックの残差ブロックを変換して量子化する。前記変換は、水平及び垂直方向の１次元変換マトリクスにより行われる。イントラ予測の残差ブロックは、変換ブロックの大きさ（即ち、残差ブロックの大きさ）及びイントラ予測モードによって決定される変換マトリクスにより変換される。インター予測の残差ブロックは、予め定められた変換マトリクスにより変換される。
変換及び量子化部１３０は、前記変換ブロックを量子化ステップサイズを利用して量子化する。前記量子化ステップサイズは、予め定められた大きさ以上の符号化単位別に変更されることができる。
前記量子化された変換ブロックは、逆量子化及び逆変換部１５０とエントロピー符号化部１４０に提供される。
逆量子化及び逆変換部１５０は、前記量子化された変換ブロックを逆量子化し、前記逆量子化された変換ブロックを逆変換して残差ブロックを復元する。加算器は、前記逆量子化及び逆変換部１５０により復元された残差ブロック及びイントラ予測部１１０又はインター予測部１２０からの予測ブロックを加えて復元ブロックを生成する。
後処理部１６０は、復元されたピクチャの画質を改善するためのものであり、デブロッキングフィルタリング部１６１、オフセット適用部１６２、及びループフィルタリング部１６３を含む。
デブロッキングフィルタリング部１６１は、予測ブロック及び変換ブロックの境界にデブロッキングフィルタを適応的に適用する。前記境界は、８×８グリッドに置かれている境界に限定することができる。デブロッキングフィルタリング部１６１は、フィルタリングする境界（ｂｏｕｎｄａｒｙ）を決定し、前記境界強度（ｂｏｕｎａｒｙ ｓｔｒｅｎｇｔｈ）を決定し、前記境界強度が０より大きい場合にはデブロッキングフィルタを前記境界に適用するかどうかを判断する。前記境界をフィルタリングすると決定すると、前記境界に適用するフィルタを選択し、選択されたフィルタにより境界をフィルタリングする。
オフセット適用部１６２は、デブロッキングフィルタリング部を経た映像内の画素と原本画素との間のディストーション（ｄｉｓｔｏｒｔｉｏｎ）を減少させるために、ピクチャ又はスライス単位にオフセットを適用するかどうかを決定する。または、スライスを複数個のオフセット領域に分割し、各オフセット領域別にオフセットタイプを決定することができる。オフセットタイプは、予め定められた個数のエッジオフセットタイプとバンドオフセットタイプを含むことができる。オフセットタイプがエッジオフセットタイプの場合には各画素が属するエッジタイプを決定し、これに対応するオフセットを適用する。前記エッジタイプは、現在画素と隣接する２個の画素値の分布を基準に決定する。
ループフィルタリング部１６３は、オフセット適用部１６２を経た復元映像と原本映像を比較した値に基づいて復元映像を適応的にループフィルタリングする。コーディング単位に復元映像をループフィルタリングするかどうかが決定される。各コーディングユニットによって適用されるループフィルタの大きさ及び係数は変わることができる。コーディングユニット別前記適応的ループフィルタの適用可否を示す情報は、各スライスヘッダに含まれることができる。色差信号の場合には、ピクチャ単位に適応的ループフィルタの適用可否を決定することができる。したがって、色差成分の各々がフィルタリングされるかどうかを示す情報をスライスヘッダ又はピクチャヘッダが含むことができる。
ピクチャバッファ１７０は、後処理された映像データを後処理部１６０から入力を受け、ピクチャ（ｐｉｃｔｕｒｅ）単位に映像を復元して格納する。ピクチャは、フレーム単位の映像、又はフィールド単位の映像である。
エントロピー符号化部１４０は、変換及び量子化部１３０により量子化された量子化係数情報、イントラ予測部１４０から受信されたイントラ予測情報、インター予測部１５０から受信された動き情報等をエントロピー符号化する。エントロピー符号化部１４０は、前記量子化された変換ブロックの係数を１次元の量子化係数情報に変換するために、スキャン部１４５を含む。
スキャン部１４５は、前記量子化された変換ブロックの係数を１次元に変換するためのスキャンタイプを決定する。スキャンタイプは、方向性イントラ予測モード及び変換ブロックの大きさによって変わることができる。量子化係数のスキャン順序は、逆方向にスキャンする。
前記量子化された変換ブロックが所定大きさより大きい場合には、前記変換係数が複数個の下位ブロックに分割されてスキャンされる。それぞれの下位ブロックの前記変換係数に適用されるスキャンタイプは同じである。前記下位ブロック間に適用されるスキャンタイプはジグザグスキャンであってもよく、前記各下位ブロックの変換係数に適用されるスキャンタイプと同じであってもよい。
図２は、本発明の一実施例に係る動映像復号化装置２００を示すブロック構成図である。
本発明の一実施例による動映像復号化装置２００は、エントロピー復号化部２１０、逆量子化部２２０、逆変換部２３０、イントラ予測部２４０、インター予測部２５０、後処理部２６０、ピクチャバッファ２７０、加算部２８０を含む。
エントロピー復号化部２１０は、受信されたビットストリームを復号し、イントラ予測情報、インター予測情報、量子化係数情報などに分離する。エントロピー復号化部２１０は、復号化されたイントラ予測情報をイントラ予測部２４０に供給し、復号化されたインター予測情報をインター予測部２５０に供給する。エントロピー復号化部２１０は、前記復号化された量子化係数情報を逆スキャンするための逆スキャン部２１５を含む。
逆スキャン部２１５は、前記量子化係数情報を２次元配列の量子化ブロックに変換する。前記変換のために複数個のスキャンタイプの中から一つを選択する。スキャンタイプは、方向性イントラ予測モード及び変換ブロックの大きさによって変わることができる。量子化係数のスキャン順序は逆方向にスキャンする。前記量子化された変換ブロックが所定大きさより大きい場合には、前記変換係数が複数個の下位ブロックに分割されてスキャンされる。それぞれの下位ブロックの前記変換係数に適用されるスキャンタイプは同じである。前記下位ブロック間に適用されるスキャンタイプはジグザグスキャンであってもよく、前記各下位ブロックの変換係数に適用されるスキャンタイプと同じであってもよい。
逆量子化部２２０は、現在コーディングユニットの量子化ステップサイズ予測子を決定し、前記決定された量子化ステップサイズ予測子及び受信された残差量子化ステップサイズを加えて現在コーディングユニットの量子化ステップサイズを復元する。逆量子化部２２０は、前記量子化ステップサイズと逆量子化マトリクスを利用して前記量子化ブロックを逆量子化する。前記量子化ブロックの大きさ及び予測モードによって前記量子化マトリクスが決定される。即ち、同じ大きさの量子化ブロックに対しても前記現在ブロックの予測モード及びイントラ予測モードのうち少なくとも一つに基づいて量子化マトリクスが選択される。
逆変換部２３０は、逆量子化された変換ブロックを逆変換して残差ブロックを復元する。前記逆量子化ブロックに適用する逆変換マトリクスは、予測モード及びイントラ予測モードによって決定されることができる。
加算部２８０は、逆変換部２３０により復元された残差ブロック及びイントラ予測部２４０又はインター予測部２５０により生成される予測ブロックを加えて復元ブロックを生成する。
イントラ予測部２４０は、エントロピー復号化部２１０から受信されたイントラ予測情報に基づいて現在ブロックのイントラ予測モードを復元する。そして、復元されたイントラ予測モードによって予測ブロックを生成する。
インター予測部２５０は、エントロピー復号化部２１０から受信されたインター予測情報に基づいて参照ピクチャインデックスと動きベクトルを復元する。そして、前記参照ピクチャインデックスと動きベクトルを利用して現在ブロックに対する予測ブロックを生成する。小数精密度の動き補償が適用される場合には選択された補間フィルタを適用して予測ブロックを生成する。
後処理部２６０の動作は、図１の後処理部１６０の動作と同様であるため省略する。
ピクチャバッファ２７０は、後処理部２６０により後処理された復号映像をピクチャ単位に格納する。
図３は、本発明の一実施例に係るイントラ予測ブロックを生成する方法に対して説明する。
まず、受信されたビットストリームからイントラ予測情報をエントロピー復号化する（Ｓ１１０）。
イントラ予測情報は、イントラ予測モードグループ指示子と予測モードインデックスを含む。前記イントラ予測モードグループ指示子は、現在ブロックのイントラ予測モードがＭＰＭグループに属するか、ＭＰＭ以外のグループに属するかを示す。予測モードインデックスは、イントラ予測モードグループ指示子が示すイントラ予測モードグループ内での特定イントラ予測モードを示す情報である。
前記イントラ予測モードグループ指示子は、ｕｎｓｉｇｎｅｄ ｉｎｔｅｇｅｒの形態で受信されることができる。この場合、前記イントラ予測モードグループ指示子は、エントロピー復号化されずに使われることもできる。または、前記イントラ予測モードグループ指示子は、現在スライスのタイプによって適応的にエントロピー符号化されることもできる。例えば、前記スライスタイプによって決定されるコンテキストを利用してエントロピー符号化されることができる。したがって、復元時にも現在スライスタイプによって決定されるコンテキストを利用して復元されることができる。前記予測モードインデックスは、ＭＰＭグループに属する場合と属しない場合に互いに異なる方式にエントロピー符号化される。したがって、エントロピー復号化時にも互いに異なる方式にエントロピー復号化される。具体的に、前記イントラ予測モードグループ指示子が、現在ブロックのイントラ予測モードがＭＰＭグループに属することを示す場合、前記予測モードインデックスは、ｔｒｕｎｃａｔｅｄ Ｅｘｐ−Ｇｏｌｏｍｂ ｃｏｄｅ又はｔｒｕｎｃａｔｅｄ ｕｎａｒｙ方式に二進化されてエントロピー符号化される。したがって、エントロピー復号化を実行して二進化情報を得た後、前記方式を利用して予測モードインデックスを復元する。前記イントラ予測モードグループ指示子が、現在ブロックのイントラ予測モードがＭＰＭグループに属しないことを示す場合、前記予測モードインデックスは、固定長さに二進化されることができる。したがって、エントロピー復号化を実行して二進化情報を得た後、前記予測モードインデックスを復元することができる。
次に、現在ブロックに隣接したブロックのイントラ予測モードを利用してＭＰＭグループを生成し、前記ＭＰＭグループを利用して現在ブロックのイントラ予測モードを復元する（Ｓ１２０）。ＭＰＭグループは、３個のイントラ予測モードで構成される。図４を参照して説明する。図４は、本発明に一実施例に係るイントラ予測モードを示す。
１）現在ブロックの上側及び左側ブロックのイントラ予測モードが存在して互いに異なる場合、前記ＭＰＭグループは、前記２個のイントラ予測モードと１個の追加イントラ予測モードで構成される。
前記２個のイントラ予測モードのうち一つがＤＣモードであり、他の一つがフラッタモードでない場合、前記追加イントラ予測モードはプレーナモードである。同様に、前記二つのイントラ予測モードのうち一つがプレーナモードであり、他の一つがＤＣモードである場合、前記追加イントラ予測モードはＤＣモードである。
前記２個のイントラ予測モードがＤＣモード及びプレーナモードである場合、前記追加イントラ予測モードは、垂直モード又は水平モードである。
前記２個のイントラ予測モードがＤＣモード及びプレーナモードでない場合、前記追加イントラ予測モードは、前記２個のイントラ予測モード間の方向性を有するイントラ予測モードであり、又はＤＣモード又はプレーナモードである。
２）現在ブロックの上側及び左側ブロックのイントラ予測モードが存在して同じ場合、前記ＭＰＭグループは、前記イントラ予測モード及び２個の追加イントラ予測モードを含む。
前記イントラ予測モードがＤＣモード及びプレーナモードでない場合、前記２個の追加イントラ予測モードは、前記イントラ予測モードに隣接する２個のイントラ予測モードに設定される。前記イントラ予測モードがＤＣモードの場合、前記２個の追加イントラ予測モードは、プレーナモード及び垂直モードである。
３）現在ブロックの上側及び左側ブロックのイントラ予測モードのうち一つのみが存在する場合、前記ＭＰＭグループは、前記イントラ予測モード及び２個の追加イントラ予測モードを含む。前記２個の追加イントラ予測モードは、前記イントラ予測モードにより決定される。
４）現在ブロックの上側及び左側ブロックのイントラ予測モードが存在しない場合、前記ＭＰＭグループは、ＤＣモード、プレーナモード、及び垂直モードを含むことができる。
前記イントラ予測モードグループ指示子が前記ＭＰＭグループを示すと、前記予測モードインデックスが示すイントラ予測モードを、前記ＭＰＭグループから選択することで、現在ブロックのイントラ予測モードに決定する。前記イントラ予測モードグループ指示子は、現在ブロックのイントラ予測モードがＭＰＭグループに属するか、ＭＰＭ以外のグループに属するかを示すフラグ情報である。
前記イントラ予測モードグループ指示子が前記ＭＰＭグループを示さないと、イントラ予測部２４０は、ＭＰＭグループに属するイントラ予測モードを除いたイントラ予測モード（以下、残余イントラ予測モードという）のうち、前記予測モードインデックスが示すイントラ予測モードを現在ブロックのイントラ予測モードに決定する。前記残余イントラ予測モードに与えられる予測モードインデックスは、ＭＰＭグループの構成によって変わる。即ち、前記復号された予測モードインデックスは、ＭＰＭグループの構成によって再配列された残余イントラ予測モードのインデックスを示す。したがって、前記復号された予測モードインデックス及びＭＰＭグループに属するイントラ予測モードによって現在ブロックのイントラ予測モードを前記残余イントラ予測モードの中から選択する。
具体的に、現在ブロックの前記残余イントラ予測モードをモード番号順に再配列し、前記受信された予測モードインデックスに対応する順序のイントラ予測モードを現在ブロックのイントラ予測モードとして選択する。この場合、前記残余イントラ予測モードを再配列することもできるが、現在ブロックの前記イントラ予測モードインデックスと前記ＭＰＭグループに属するイントラ予測モード番号を比較することで、現在ブロックのイントラ予測モードを決定することもできる。
前記方法は、非方向性モードのうち、ＤＣにモード番号２、プレーナモードにモード番号３４を付与し、残りのモードに方向性モードを付与した場合に適用されることができる。しかし、現在ブロックのイントラ予測モードとしてプレーナモード及びＤＣモードが選択される確率が他の方向性モードより高いため、プレーナモードに小さいモード番号（例えば、モード番号０）を適用して前記方法を適用することができる。この場合、他の後順位モード番号のモード番号が１ずつ増加するようになる。
または、非方向性モードに最も低いインデックスを付与することもできる。一例として、現在ブロックのイントラ予測モードがプレーナモードであり、前記残余イントラ予測モードにプレーナモードが含まれる場合、前記イントラ予測モードインデックスは０を含むことができる。他の例として、前記残余イントラ予測モードにプレーナモード及びＤＣモードが含まれる場合、プレーナモード、ＤＣモード、方向性モードの順に整列された状態で前記予測モードインデックスに対応する順序のイントラ予測モードが現在ブロックのイントラ予測モードに設定されることができる。他の例として、プレーナモードにモード番号０、ＤＣモードにモード番号１を割り当てたり、ＤＣモードにモード番号０、プレーナモードにモード番号１を割り当てたりすることもできる。この場合、現在ブロックの前記イントラ予測モードインデックスと前記ＭＰＭグループに属するイントラ予測モード番号を比較することで、現在ブロックのイントラ予測モードを決定することができる。
次に、現在ブロックの変換大きさを示す情報を利用して予測ブロックの大きさを決定する（Ｓ１３０）。
前記予測ブロックの大きさが現在ブロックの大きさと同じ場合には、現在ブロックのイントラ予測モード及び現在ブロックの参照画素を利用して予測ブロックを生成する。前記参照画素は、現在ブロック以前に復元された画素又は生成された画素である。
前記予測ブロックの大きさが現在ブロックの大きさより小さい場合、即ち、現在ブロックが複数個のサブブロックに分けられてイントラ予測が実行される場合には、各サブブロックの予測ブロック生成時に同じイントラ予測モード（即ち、現在ブロックのイントラ予測モード）が利用される。また、復号化順序上、２番目以後のサブブロックの予測ブロックは、先行するサブブロックの復元画素を利用して生成される。したがって、各サブブロック単位に予測ブロック生成、残差ブロック生成、及び復元ブロック生成が終わった後、次の順序のサブブロックの予測ブロックが生成される。
次に、前記予測ブロックの大きさに対応するブロックの参照画素が有効かどうかを判断する（Ｓ１４０）。前記参照画素は、既に復号化されて復元された画素である。前記参照画素のうち少なくとも一つが有効でないと判断される場合には参照画素を生成する（Ｓ１５０）。
具体的に、全ての参照画素が有効でないと判断される場合には、２Ｌ−１値に代替する。ここで、Ｌは輝度成分の階調を示すためのビット数である。
有効でない参照画素位置を基準に片側方向にのみ有効な参照画素が存在する場合には、前記有効な参照画素のうち最も近い位置にある参照画素を複写して参照画素を生成する。
有効でない参照画素位置を基準に有効な参照画素が両側方向に存在する場合、予め定められた方向の最も近い位置の参照画素を複写し、又はそれぞれの方向に最も隣接した参照画素２個の平均値で参照画素を生成することができる。
次に、参照画素をフィルタリングするかどうかを決定する（Ｓ１６０）。前記復元されたイントラ予測モード及び予測ブロックの大きさによって前記参照画素を適応的にフィルタリングする（Ｓ１７０）。
イントラ予測モードがＤＣモードである場合には参照画素をフィルタリングしない。イントラ予測モードが垂直モード及び水平モードである場合にも参照画素をフィルタリングしない。しかし、イントラ予測モードが前記垂直モード及び水平モード以外の方向性モードである場合には、前記イントラ予測モード及び前記予測ブロックの大きさによって適応的に参照画素をフィルタリングする。前記予測ブロックの大きさが４×４である場合には、イントラ予測モードに関係なく、複雑度減少のために参照画素をフィルタリングしない。前記フィルタリングは、参照画素間の画素値の変化量をスムージング（ｓｍｏｏｔｈｉｎｇ）するためのことであり、ｌｏｗ−ｐａｓｓ ｆｉｌｔｅｒを利用する。Ｌｏｗ−ｐａｓｓ ｆｉｌｔｅｒは、３−ｔａｐフィルタである［１，２，１］又は５−ｔａｐフィルタである［１，２，４，２，１］である。前記予測ブロックの大きさが８×８〜３２×３２の場合、前記予測ブロックの大きさが大きくなることによってより多くの数のイントラ予測モードで参照画素をフィルタリングする。
次に、イントラ予測モードによって予測ブロックを生成する（Ｓ１８０）。前記予測ブロックに使われる参照画素は、前記予測ブロックの大きさ及びイントラ予測モードによって適応的にフィルタリングされた画素である。
ＤＣモードでは（ｘ＝０，．．．，Ｎ−１、ｙ＝−１）位置のＮ個の上側参照画素と（ｘ＝−１、ｙ＝０，．．．，Ｍ−１）位置の左側参照画素及び（ｘ＝−１、ｙ＝−１）位置のコーナー画素の平均値が予測ブロックの予測画素に決定されることができる。しかし、前記参照画素と隣接する位置の予測画素は、前記平均値と前記予測画素に隣接する参照画素の加重平均を利用して生成することができる。プレーナモードでも、前記ＤＣモードと同様の方式に予測画素を生成することができる。
垂直モードでは垂直方向に位置する参照画素が予測画素となる。しかし、左側画素と隣接した予測画素は、前記垂直方向の参照画素と、前記左側参照画素の変化量を利用して生成されることができる。前記変化量は、コーナー参照画素と前記予測画素に隣接する参照画素との間の変化量を示す。水平モードでも前記垂直モードと方向のみが異なり、同様の方式に予測画素を生成することができる。
図５は、本発明の一実施例に係るイントラ予測ブロック装置３００を示すブロック構成図である。本発明によるイントラ予測ブロック生成装置３００は、パーシング部３１０、予測モード復号化部３２０、予測ブロック大きさ決定部３３０、参照画素有効性判断部３４０、参照画素生成部３５０、参照画素フィルタリング部３６０、予測ブロック生成部３７０を含む。
パーシング部３１０は、受信されたビットストリームからイントラ予測情報及び変換ブロック大きさ情報をエントロピー復号化する。
イントラ予測情報は、イントラ予測モードグループ指示子と予測モードインデックスを含む。前記イントラ予測モードグループ指示子は、現在ブロックのイントラ予測モードがＭＰＭグループに属するか、ＭＰＭ以外のグループに属するかを示す。予測モードインデックスは、イントラ予測モードグループ指示子が示すイントラ予測モードグループ内での特定イントラ予測モードを示す情報である。前記イントラ予測情報のエントロピー復号化方法は、図３のＳ１１０と同様である。
前記変換大きさ情報は、符号器から送信される変換大きさを示す少なくとも一つ以上のフラグ（ｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇ）を含む。
予測モード復号化部３２０は、現在ブロックに隣接したブロックのイントラ予測モードを利用してＭＰＭグループを生成し、前記ＭＰＭグループ及び前記エントロピー復号化されたイントラ予測情報を利用することで、現在ブロックのイントラ予測モードを復元する。ＭＰＭグループは、３個のイントラ予測モードで構成される。予測モード復号化部３２０は、
１）現在ブロックの上側及び左側ブロックのイントラ予測モードが存在して互いに異なる場合、前記ＭＰＭグループは、前記２個のイントラ予測モードと１個の追加イントラ予測モードで構成される。
前記２個のイントラ予測モードのうち一つがＤＣモードであり、他の一つがフラッタモードでない場合、前記追加イントラ予測モードはプレーナモードである。同様に、前記二つのイントラ予測モードのうち一つがプレーナモードであり、他の一つがＤＣモードである場合、前記追加イントラ予測モードはＤＣモードである。
前記２個のイントラ予測モードがＤＣモード及びプレーナモードである場合、前記追加イントラ予測モードは、垂直モード又は水平モードである。
前記２個のイントラ予測モードがＤＣモード及びプレーナモードでない場合、前記追加イントラ予測モードは、前記２個のイントラ予測モード間の方向性を有するイントラ予測モードであり、又はＤＣモード又はプレーナモードである。
２）現在ブロックの上側及び左側ブロックのイントラ予測モードが存在して同じ場合、前記ＭＰＭグループは、前記イントラ予測モード及び２個の追加イントラ予測モードを含む。
前記イントラ予測モードがＤＣモード及びプレーナモードでない場合、前記２個の追加イントラ予測モードは、前記イントラ予測モードに隣接する２個のイントラ予測モードに設定される。前記イントラ予測モードがＤＣモードの場合、前記２個の追加イントラ予測モードは、プレーナモード及び垂直モードである。
３）現在ブロックの上側及び左側ブロックのイントラ予測モードのうち一つのみが存在する場合、前記ＭＰＭグループは、前記イントラ予測モード及び２個の追加イントラ予測モードを含む。前記２個の追加イントラ予測モードは、前記イントラ予測モードにより決定される。
４）現在ブロックの上側及び左側ブロックのイントラ予測モードが存在しない場合、前記ＭＰＭグループは、ＤＣモード、プレーナモード、及び垂直モードを含むことができる。
前記イントラ予測モードグループ指示子が前記ＭＰＭグループを示すと、前記予測モードインデックスが示すイントラ予測モードを、前記ＭＰＭグループから選択することで、現在ブロックのイントラ予測モードに決定する。前記イントラ予測モードグループ指示子は、現在ブロックのイントラ予測モードがＭＰＭグループに属するか、ＭＰＭ以外のグループに属するかを示すフラグ情報である。
前記イントラ予測モードグループ指示子が前記ＭＰＭグループを示さないと、イントラ予測部２４０は、ＭＰＭグループに属するイントラ予測モードを除いたイントラ予測モード（以下、残余イントラ予測モードという）のうち、前記予測モードインデックスが示すイントラ予測モードを現在ブロックのイントラ予測モードに決定する。前記残余イントラ予測モードに与えられる予測モードインデックスは、ＭＰＭグループの構成によって変わる。即ち、前記復号された予測モードインデックスは、ＭＰＭグループの構成によって再配列された残余イントラ予測モードのインデックスを示す。したがって、前記復号された予測モードインデックス及びＭＰＭグループに属するイントラ予測モードによって現在ブロックのイントラ予測モードを前記残余イントラ予測モードの中から選択する。
具体的に、現在ブロックの前記残余イントラ予測モードをモード番号順に再配列し、前記受信された予測モードインデックスに対応する順序のイントラ予測モードを現在ブロックのイントラ予測モードとして選択する。この場合、前記残余イントラ予測モードを再配列することもできるが、現在ブロックの前記イントラ予測モードインデックスと前記ＭＰＭグループに属するイントラ予測モード番号を比較することで、現在ブロックのイントラ予測モードを決定することもできる。
前記ＭＰＭグループ構成方法は、非方向性モードのうち、ＤＣにモード番号２、プレーナモードにモード番号３４を付与し、残りのモードに方向性モードを付与した場合に適用されることができる。しかし、現在ブロックのイントラ予測モードとしてプレーナモード及びＤＣモードが選択される確率が他の方向性モードより高いため、プレーナモードに小さいモード番号（例えば、モード番号０）を適用して前記方法を適用することができる。この場合、他の後順位モード番号のモード番号が１ずつ増加するようになる。
または、非方向性モードに最も低いインデックスを付与することもできる。一例として、現在ブロックのイントラ予測モードがプレーナモードであり、前記残余イントラ予測モードにプレーナモードが含まれる場合、前記イントラ予測モードインデックスは０を含むことができる。他の例として、前記残余イントラ予測モードにプレーナモード及びＤＣモードが含まれる場合、プレーナモード、ＤＣモード、方向性モードの順に整列された状態で前記予測モードインデックスに対応する順序のイントラ予測モードが現在ブロックのイントラ予測モードに設定されることができる。他の例として、プレーナモードにモード番号０、ＤＣモードにモード番号１を割り当てたり、ＤＣモードにモード番号０、プレーナモードにモード番号１を割り当てたりすることもできる。この場合、現在ブロックの前記イントラ予測モードインデックスと前記ＭＰＭグループに属するイントラ予測モード番号を比較することで、現在ブロックのイントラ予測モードを決定することができる。
予測ブロック大きさ決定部３３０は、前記ブロック変換大きさを利用して現在ブロックの予測ブロックの大きさを決定する。予測ブロックの大きさは、現在ブロックの大きさ又は現在ブロックのサブブロックの大きさを有することができる。
前記予測ブロックの大きさが現在ブロックの大きさと同じ場合には、現在ブロックのイントラ予測モード及び現在ブロックの参照画素を利用して予測ブロックを生成する。前記参照画素は、現在ブロック以前に復元された画素又は生成された画素である。
前記予測ブロックの大きさが現在ブロックの大きさより小さい場合、即ち、現在ブロックが複数個のサブブロックに分けられてイントラ予測が実行される場合には、各サブブロックの予測ブロック生成時に同じイントラ予測モード（即ち、現在ブロックのイントラ予測モード）が利用される。また、復号化順序上、２番目以後のサブブロックの予測ブロックは、先行するサブブロックの復元画素を利用して生成される。したがって、各サブブロック単位に予測ブロック生成、残差ブロック生成、及び復元ブロック生成が終わった後、次の順序のサブブロックの予測ブロックが生成される。
参照画素有効性判断部３４０は、前記予測ブロックの大きさに対応するブロックの参照画素が有効かどうかを判断する。前記参照画素は、既に復号化されて復元された画素である。
参照画素生成部３５０は、前記参照画素のうち少なくとも一つが有効でないと判断される場合には参照画素を生成する。
具体的に、全ての参照画素が有効でないと判断される場合には、２Ｌ−１値に代替する。ここで、Ｌは輝度成分の階調を示すためのビット数である。
有効でない参照画素位置を基準と片側方向にのみ有効な参照画素が存在する場合には、前記有効な参照画素のうち最も近い位置にある参照画素を複写して参照画素を生成する。
有効でない参照画素位置を基準に有効な参照画素が両側方向に存在する場合、予め定められた方向の最も近い位置の参照画素を複写し、又はそれぞれの方向に最も隣接した参照画素２個の平均値で参照画素を生成することができる。
参照画素フィルタリング部３６０は、参照画素をフィルタリングするかどうかを決定し、前記復元されたイントラ予測モード及び予測ブロックの大きさによって前記参照画素を適応的にフィルタリングする。
イントラ予測モードがＤＣモードである場合には参照画素をフィルタリングしない。イントラ予測モードが垂直モード及び水平モードである場合にも参照画素をフィルタリングしない。しかし、イントラ予測モードが前記垂直モード及び水平モード以外の方向性モードである場合には、前記イントラ予測モード及び前記予測ブロックの大きさによって適応的に参照画素をフィルタリングする。前記予測ブロックの大きさが４×４である場合には、イントラ予測モードに関係なく、複雑度減少のために参照画素をフィルタリングしない。前記フィルタリングは、参照画素間の画素値の変化量をスムージング（ｓｍｏｏｔｈｉｎｇ）するためのことであり、ｌｏｗ−ｐａｓｓ ｆｉｌｔｅｒを利用する。Ｌｏｗ−ｐａｓｓ ｆｉｌｔｅｒは、３−ｔａｐフィルタである［１，２，１］又は５−ｔａｐフィルタである［１，２，４，２，１］である。前記予測ブロックの大きさが８×８〜３２×３２の場合、前記予測ブロックの大きさが大きくなることによってより多くの数のイントラ予測モードで参照画素をフィルタリングする。
予測ブロック生成部３７０は、イントラ予測モードによって予測ブロックを生成する。前記予測ブロックに使われる参照画素は、前記予測ブロックの大きさ及びイントラ予測モードによって適応的にフィルタリングされた画素である。
ＤＣモードでは（ｘ＝０，．．．，Ｎ−１、ｙ＝−１）位置のＮ個の上側参照画素と（ｘ＝−１、ｙ＝０，．．．，Ｍ−１）位置の左側参照画素及び（ｘ＝−１、ｙ＝−１）位置のコーナー画素の平均値が予測ブロックの予測画素に決定されることができる。しかし、前記参照画素と隣接する位置の予測画素は、前記平均値と前記予測画素に隣接する参照画素の加重平均を利用して生成することができる。プレーナモードでも、前記ＤＣモードと同様の方式に予測画素を生成することができる。
垂直モードでは垂直方向に位置する参照画素が予測画素となる。しかし、左側画素と隣接した予測画素は、前記垂直方向の参照画素と、前記左側参照画素の変化量を利用して生成されることができる。前記変化量は、コーナー参照画素と前記予測画素に隣接する参照画素との間の変化量を示す。水平モードでも前記垂直モードと方向のみが異なり、同様の方式に予測画素を生成することができる。
図６は、本発明の一実施例に係る残差ブロックを復元する順序を示すブロック図である。
現在ブロック又はサブブロック単位に受信された残差信号を復号化し、２次元量子化ブロックを生成する（Ｓ２１０）。
量子化パラメータを利用して前記量子化ブロックを逆量子化する（Ｓ２２０）。
前記逆量子化ブロックを逆変換し、残差ブロックを復元する（Ｓ２３０）。
図７は、本発明の一実施例に係る量子化パラメータを復元する順序を示すブロック図である。量子化パラメータの復元過程は、図２の逆量子化部２２０で実行されることができる。
量子化パラメータの変更を許容する最小大きさのＣＵサイズ（以下、最小量子化ＣＵサイズという）を復元する（Ｓ３１０）。
前記最小量子化ＣＵサイズは、下記の方法のうち一つでシグナリングされることができる。
第１の方法では、シーケンスパラメータセット（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）でｃｕ＿ｑｐ＿ｄｅｌｔａ＿ｅｎａｂｌｅｄ＿ｆｌａｇを利用してＱＰをＬＣＵ単位に変更するか、その下位のＣＵでも追加的に変更が可能にするかを示すことができる。ｃｕ＿ｑｐ＿ｄｅｌｔａ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１、即ち、ＬＣＵより小さいＣＵでのＱＰＹ変更を許容する場合には、ピクチャパラメータセット（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）でｍａｘ＿ｃｕ＿ｑｐ＿ｄｅｌｔａ＿ｄｅｐｔｈを介して最小量子化ＣＵサイズをシグナリングすることができる。
第２の方法では、ｃｕ＿ｑｐ＿ｄｅｌｔａ＿ｅｎａｂｌｅｄ＿ｆｌａｇとｍａｘ＿ｃｕ＿ｑｐ＿ｄｅｌｔａ＿ｄｅｐｔｈを各々送信するものではなく、ジョイントコーディングを介して一つの情報（ｃｕ＿ｑｐ＿ｄｅｌｔａ＿ｄｅｐｔｈ）で前記最小量子化ＣＵサイズをシグナリングする。即ち、シーケンスパラメータセットでは最小量子化ＣＵサイズと関連した情報を送信せず、ピクチャパラメータセットでｃｕ＿ｑｐ＿ｄｅｌｔａ＿ｄｅｐｔｈを介して最小量子化ＣＵサイズを送信する。それにより、前記最小量子化ＣＵサイズ情報の送信に必要とするビット数を減らすことができるだけでなく、量子化パラメータの変更を許容する大きさをＰＰＳ毎に適応的に調節することができ、符号化性能が向上することができる。
前記最小量子化ＣＵサイズに基づいて、量子化パラメータ予測子を求める（Ｓ３２０）。前記量子化パラメータ予測子は、現在ＣＵの左側量子化パラメータ及び現在ＣＵの上側量子化パラメータ予測子を利用して生成することができる。例えば、前記左側量子化パラメータ及び上側量子化パラメータの平均値を前記量子化パラメータ予測子に設定することができる。
前記量子化パラメータ予測子及び受信された残差量子化パラメータを加えて量子化パラメータを復元する（Ｓ３３０）。
現在ＣＵが前記最小量子化ＣＵサイズより大きい又は同じ場合には、現在ＣＵの量子化パラメータを復元する。しかし、現在ＣＵが前記最小量子化ＣＵサイズより小さい場合、前記最小量子化ＣＵサイズに含まれる複数個のＣＵは、同じ量子化パラメータを有する。
以上、実施例を参照して説明したが、該当技術分野の熟練された当業者は、特許請求の範囲に記載された本発明の思想及び領域から外れない範囲内で本発明を多様に修正及び変更させることができることを理解することができる。

Claims (4)

  1. 現在ブロックのイントラ予測モードを復元して現在ブロックまたは現在ブロックのサブブロック単位に予測ブロックを生成するイントラ予測部；
    残差信号を２次元の量子化ブロックに変換する逆スキャニング部；
    前記量子化ブロックを量子化パラメータを利用して逆量子化する逆量子化部；及び、
    前記逆量子化部により逆量子化されたブロックを逆変換する逆変換部；を含み、
    前記量子化パラメータを復元するために利用される量子化パラメータ予測子は、現在コーディングユニット（ＣＵ）の左側量子化コーディングユニットの量子化パラメータ及び上側コーディングユニットの量子化パラメータを利用して生成され、
    前記予測ブロックの大きさは、変換大きさ情報によって決定され、
    前記イントラ予測モードは、現在ブロックの左側及び上側ブロックの有効なイントラ予測モードを利用して決定される３個のイントラ予測モードを含むＭＰＭグループ、受信されるイントラ予測モード指示子及び予測モードインデックスを利用して復元され、
    現在ブロックの上側及び左側ブロックのイントラ予測モードのうち一つのみが有効な場合、２個のイントラ予測モードが前記ＭＰＭグループに追加されることを特徴とする映像復号化装置。
  2. 前記量子化パラメータは、前記量子化パラメータ予測子及び受信された残余量子化パラメータを加えて生成されることを特徴とする請求項１に記載の映像復号化装置。
  3. 前記量子化パラメータ予測子は、前記左側量子化コーディングユニットの量子化パラメータ及び前記上側コーディングユニットの量子化パラメータの平均値であることを特徴とする請求項１に記載の映像復号化装置。
  4. 現在ブロックの左側及び上側ブロックのイントラ予測モードが有効でない場合、前記ＭＰＭグループは、プレーナモード、ＤＣモード、及び垂直モードを含むことを特徴とする請求項１に記載の映像復号化装置。
JP2014531703A 2011-10-24 2012-04-20 映像復号化装置 Active JP5722506B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2011-0108460 2011-10-24
KR20110108456 2011-10-24
KR20110108460 2011-10-24
KR10-2011-0108456 2011-10-24
PCT/KR2012/003085 WO2013062198A1 (ko) 2011-10-24 2012-04-20 영상 복호화 장치

Related Child Applications (4)

Application Number Title Priority Date Filing Date
JP2015061974A Division JP5989841B2 (ja) 2011-10-24 2015-03-25 映像復号化装置
JP2015061973A Division JP5989840B2 (ja) 2011-10-24 2015-03-25 映像復号化装置
JP2015061971A Division JP5989838B2 (ja) 2011-10-24 2015-03-25 映像復号化装置
JP2015061972A Division JP5989839B2 (ja) 2011-10-24 2015-03-25 映像復号化装置

Publications (2)

Publication Number Publication Date
JP2014530557A JP2014530557A (ja) 2014-11-17
JP5722506B2 true JP5722506B2 (ja) 2015-05-20

Family

ID=48168004

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2014531703A Active JP5722506B2 (ja) 2011-10-24 2012-04-20 映像復号化装置
JP2015061972A Active JP5989839B2 (ja) 2011-10-24 2015-03-25 映像復号化装置
JP2015061974A Active JP5989841B2 (ja) 2011-10-24 2015-03-25 映像復号化装置
JP2015061973A Active JP5989840B2 (ja) 2011-10-24 2015-03-25 映像復号化装置
JP2015061971A Active JP5989838B2 (ja) 2011-10-24 2015-03-25 映像復号化装置

Family Applications After (4)

Application Number Title Priority Date Filing Date
JP2015061972A Active JP5989839B2 (ja) 2011-10-24 2015-03-25 映像復号化装置
JP2015061974A Active JP5989841B2 (ja) 2011-10-24 2015-03-25 映像復号化装置
JP2015061973A Active JP5989840B2 (ja) 2011-10-24 2015-03-25 映像復号化装置
JP2015061971A Active JP5989838B2 (ja) 2011-10-24 2015-03-25 映像復号化装置

Country Status (18)

Country Link
US (6) US9288488B2 (ja)
EP (5) EP3402200B1 (ja)
JP (5) JP5722506B2 (ja)
KR (1) KR20130045155A (ja)
CN (6) CN108111848B (ja)
CY (1) CY1121422T1 (ja)
DK (4) DK3402201T3 (ja)
ES (5) ES2789198T3 (ja)
HR (1) HRP20190354T1 (ja)
HU (5) HUE059717T2 (ja)
LT (1) LT2773117T (ja)
MX (5) MX338989B (ja)
PL (5) PL3402200T3 (ja)
PT (4) PT3402201T (ja)
RS (1) RS58300B1 (ja)
SI (1) SI2773117T1 (ja)
TR (1) TR201819073T4 (ja)
WO (1) WO2013062198A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110113561A (ko) * 2010-04-09 2011-10-17 한국전자통신연구원 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치
KR20130050149A (ko) * 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
KR102365685B1 (ko) 2015-01-05 2022-02-21 삼성전자주식회사 인코더의 작동 방법과 상기 인코더를 포함하는 장치들
EP3598760A1 (en) * 2015-06-11 2020-01-22 Intellectual Discovery Co., Ltd. Method for encoding and decoding image using adaptive deblocking filtering, and apparatus therfor
BR112018007925A2 (pt) * 2015-11-06 2018-10-30 Huawei Technologies Co., Ltd. método e aparelho de dequantização de coeficiente de transformada, e dispositivo de decodificação
CN113810705B (zh) 2016-04-29 2024-05-10 世宗大学校产学协力团 用于对图像信号进行编码和解码的方法和装置
WO2018044087A1 (ko) * 2016-08-31 2018-03-08 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN109479144A (zh) * 2016-10-13 2019-03-15 富士通株式会社 图像编码/解码方法、装置以及图像处理设备
CN116896633A (zh) * 2016-10-28 2023-10-17 韩国电子通信研究院 视频编码/解码方法和设备以及存储比特流的记录介质
PT3552393T (pt) * 2016-12-23 2023-05-30 Huawei Tech Co Ltd Um aparelho de codificação para sinalizar um modo de intra-predição direcional de extensão dentro de um conjunto de modos de intra-predição direcional
WO2018212577A1 (ko) 2017-05-17 2018-11-22 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2018221554A1 (ja) * 2017-06-01 2018-12-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、符号化方法、復号装置及び復号方法
CN118233633A (zh) * 2018-11-08 2024-06-21 交互数字Vc控股公司 基于块的表面的视频编码或解码的量化
CN112752101B (zh) * 2019-10-29 2022-02-22 北京新唐思创教育科技有限公司 一种视频质量优化方法、装置及存储介质

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8761252B2 (en) 2003-03-27 2014-06-24 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
KR20060109247A (ko) * 2005-04-13 2006-10-19 엘지전자 주식회사 베이스 레이어 픽처를 이용하는 영상신호의 엔코딩/디코딩방법 및 장치
TWI347172B (en) 2004-01-19 2011-08-21 Suntory Holdings Ltd Beverage comprising fine pulp, production method of same, and edible material for same
JP2006005438A (ja) * 2004-06-15 2006-01-05 Sony Corp 画像処理装置およびその方法
KR100654436B1 (ko) * 2004-07-07 2006-12-06 삼성전자주식회사 비디오 코딩 방법과 디코딩 방법, 및 비디오 인코더와디코더
WO2006004331A1 (en) * 2004-07-07 2006-01-12 Samsung Electronics Co., Ltd. Video encoding and decoding methods and video encoder and decoder
NO322043B1 (no) * 2004-12-30 2006-08-07 Tandberg Telecom As Fremgangsmate for forenklet entropikoding
KR20070016663A (ko) 2005-08-04 2007-02-08 김해광 블록 기반 영상 부호화 및 재생 방법 및 장치
KR100723507B1 (ko) 2005-10-12 2007-05-30 삼성전자주식회사 Ｉ-프레임 움직임 예측을 이용한 동영상 압축 장치의 적응양자화 제어기 및 적응 양자화 제어 방법
CA2655970A1 (en) * 2006-07-07 2008-01-10 Telefonaktiebolaget L M Ericsson (Publ) Video data management
CN101491107B (zh) * 2006-07-07 2012-07-18 艾利森电话股份有限公司 一种对图像元素组进行解码的方法及其相关的编码器、解码器
US8331448B2 (en) 2006-12-22 2012-12-11 Qualcomm Incorporated Systems and methods for efficient spatial intra predictabilty determination (or assessment)
US8571104B2 (en) * 2007-06-15 2013-10-29 Qualcomm, Incorporated Adaptive coefficient scanning in video coding
US20090161757A1 (en) * 2007-12-21 2009-06-25 General Instrument Corporation Method and Apparatus for Selecting a Coding Mode for a Block
KR101433170B1 (ko) 2008-01-05 2014-08-28 경희대학교 산학협력단 인접 블록의 공간 예측 방향성을 이용하여 화면 내 예측모드를 추정하는 인코딩 및 디코딩 방법, 그 장치
US8542730B2 (en) 2008-02-22 2013-09-24 Qualcomm, Incorporated Fast macroblock delta QP decision
CN100596202C (zh) * 2008-05-30 2010-03-24 四川虹微技术有限公司 一种快速帧内模式选择方法
KR101306834B1 (ko) * 2008-09-22 2013-09-10 에스케이텔레콤 주식회사 인트라 예측 모드의 예측 가능성을 이용한 영상 부호화/복호화 장치 및 방법
US8582645B2 (en) 2009-06-11 2013-11-12 Texas Instruments Incorporated Reducing flicker in the display of video streams
KR101702553B1 (ko) 2009-07-04 2017-02-03 에스케이 텔레콤주식회사 영상 부호화/복호화 방법 및 장치
KR101510108B1 (ko) 2009-08-17 2015-04-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US9154798B2 (en) * 2009-09-14 2015-10-06 Thomson Licensing Methods and apparatus for efficient video encoding and decoding of intra prediction mode
WO2011078562A2 (ko) * 2009-12-21 2011-06-30 한국전자통신연구원 인트라 예측 부호화 방법 및 부호화 방법, 그리고 상기 방법을 수행하는 인트라 예측 부호화 장치 및 인트라 예측 복호화 장치
JP4924708B2 (ja) 2009-12-28 2012-04-25 ソニー株式会社 復号装置及び方法
WO2011099792A2 (ko) * 2010-02-10 2011-08-18 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
US8588303B2 (en) * 2010-03-31 2013-11-19 Futurewei Technologies, Inc. Multiple predictor sets for intra-frame coding
PL3125554T3 (pl) 2010-08-17 2019-02-28 M&K Holdings Inc. Urządzenie do kodowania trybu intra-predykcji
US20120114034A1 (en) 2010-11-08 2012-05-10 Mediatek Inc. Method and Apparatus of Delta Quantization Parameter Processing for High Efficiency Video Coding
WO2012122495A1 (en) 2011-03-10 2012-09-13 Huawei Technologies Co., Ltd. Using multiple prediction sets to encode extended unified directional intra mode numbers for robustness
CN102209243B (zh) * 2011-05-27 2012-10-24 山东大学 基于线性模型的深度图帧内预测方法
US9654785B2 (en) * 2011-06-09 2017-05-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
KR20110111339A (ko) * 2011-08-23 2011-10-11 한국전자통신연구원 화면내 예측 시스템에서 최적 모드를 예측하는 장치 및 방법
GB2494468B (en) * 2011-09-12 2014-01-15 Canon Kk Method and device for encoding or decoding information representing prediction modes
DK3139596T3 (da) 2011-09-13 2020-01-06 Hfi Innovation Inc Fremgangsmåde og apparat til intra-modus-kodning i hevc
CN107197310B (zh) * 2011-10-07 2020-02-21 英迪股份有限公司 对视频信号进行解码的方法

Also Published As

Publication number Publication date
CN108093262B (zh) 2022-01-04
JP5989839B2 (ja) 2016-09-07
PL3402202T3 (pl) 2022-12-19
LT2773117T (lt) 2018-12-27
ES2927471T3 (es) 2022-11-07
ES2710214T3 (es) 2019-04-23
HUE041726T2 (hu) 2019-05-28
CN108093261B (zh) 2022-01-04
US20160182908A1 (en) 2016-06-23
SI2773117T1 (sl) 2019-02-28
HUE059717T2 (hu) 2022-12-28
JP2015136172A (ja) 2015-07-27
PT3402201T (pt) 2022-09-23
EP3402202B8 (en) 2022-09-14
ES2935823T3 (es) 2023-03-10
US10523942B2 (en) 2019-12-31
EP3402201B1 (en) 2022-08-10
ES2928699T3 (es) 2022-11-22
MX339135B (es) 2016-05-13
US10523943B2 (en) 2019-12-31
US20160182909A1 (en) 2016-06-23
WO2013062198A1 (ko) 2013-05-02
MX338990B (es) 2016-05-09
CN103931186B (zh) 2018-03-09
JP5989841B2 (ja) 2016-09-07
DK3402201T3 (da) 2022-10-31
US10587877B2 (en) 2020-03-10
JP2015136173A (ja) 2015-07-27
TR201819073T4 (tr) 2019-01-21
HUE050655T2 (hu) 2020-12-28
EP2773117A4 (en) 2015-04-29
MX338989B (es) 2016-05-09
KR20130045155A (ko) 2013-05-03
CN108093261A (zh) 2018-05-29
CN108111848A (zh) 2018-06-01
EP3402199B1 (en) 2020-03-04
CN108174213B (zh) 2022-07-12
EP3402199A1 (en) 2018-11-14
JP2015156683A (ja) 2015-08-27
HUE060005T2 (hu) 2023-01-28
EP2773117B1 (en) 2018-11-28
CN108093260A (zh) 2018-05-29
MX2014003541A (es) 2014-08-26
EP2773117A1 (en) 2014-09-03
PL3402200T3 (pl) 2023-04-11
US20160173879A1 (en) 2016-06-16
PT2773117T (pt) 2019-03-04
PL3402201T3 (pl) 2022-12-19
CN108093260B (zh) 2022-01-04
US20160173880A1 (en) 2016-06-16
HRP20190354T1 (hr) 2019-04-05
DK3402200T3 (da) 2023-04-24
PT3402202T (pt) 2022-09-23
EP3402202A1 (en) 2018-11-14
CN108093262A (zh) 2018-05-29
US20200177881A1 (en) 2020-06-04
JP2015136174A (ja) 2015-07-27
EP3402201A1 (en) 2018-11-14
JP5989838B2 (ja) 2016-09-07
RS58300B1 (sr) 2019-03-29
ES2789198T3 (es) 2020-10-26
PL3402199T3 (pl) 2020-08-24
PL2773117T3 (pl) 2019-05-31
US20140219339A1 (en) 2014-08-07
CN108111848B (zh) 2022-07-12
PT3402200T (pt) 2022-12-07
CN103931186A (zh) 2014-07-16
EP3402200B1 (en) 2022-11-23
DK2773117T3 (en) 2019-03-18
JP2014530557A (ja) 2014-11-17
JP5989840B2 (ja) 2016-09-07
CY1121422T1 (el) 2020-05-29
HUE060890T2 (hu) 2023-04-28
EP3402200A1 (en) 2018-11-14
MX338988B (es) 2016-05-09
EP3402201B8 (en) 2022-09-14
US10523941B2 (en) 2019-12-31
EP3402202B1 (en) 2022-08-10
US11785218B2 (en) 2023-10-10
US9288488B2 (en) 2016-03-15
DK3402202T3 (da) 2022-10-31
CN108174213A (zh) 2018-06-15

Similar Documents

Publication Publication Date Title
JP6974516B2 (ja) 復元ブロック生成方法、予測情報符号化方法、ビットストリーム、コンピュータ可読媒体
JP6047616B2 (ja) 映像復号化装置
JP5846674B2 (ja) イントラ予測モード復号化方法及び装置
JP5989841B2 (ja) 映像復号化装置
KR102393178B1 (ko) 복원 블록을 생성하는 방법 및 장치

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20140814

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150121

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150313

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150325

R150 Certificate of patent or registration of utility model

Ref document number: 5722506

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250