[go: up one dir, main page]

JP2020501427A - 画像符号化/復号化方法、装置、及びビットストリームを保存した記録媒体 - Google Patents

画像符号化/復号化方法、装置、及びビットストリームを保存した記録媒体 Download PDF

Info

Publication number
JP2020501427A
JP2020501427A JP2019528700A JP2019528700A JP2020501427A JP 2020501427 A JP2020501427 A JP 2020501427A JP 2019528700 A JP2019528700 A JP 2019528700A JP 2019528700 A JP2019528700 A JP 2019528700A JP 2020501427 A JP2020501427 A JP 2020501427A
Authority
JP
Japan
Prior art keywords
prediction
block
unit
function
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019528700A
Other languages
English (en)
Other versions
JP2020501427A5 (ja
Inventor
ソン ヒュン チョ
ソン ヒュン チョ
ジュン ウォン カン
ジュン ウォン カン
ヒュン スク コ
ヒュン スク コ
スン チャン リム
スン チャン リム
ジン ホー リー
ジン ホー リー
ハ ヒュン リー
ハ ヒュン リー
ドン サン ジュン
ドン サン ジュン
フイ ヨン キム
フイ ヨン キム
ビョン ウー ジョン
ビョン ウー ジョン
ナム ウク キム
ナム ウク キム
ソン スー ジョン
ソン スー ジョン
ジン ソー チョイ
ジン ソー チョイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sungkyunkwan University
Original Assignee
Sungkyunkwan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sungkyunkwan University filed Critical Sungkyunkwan University
Publication of JP2020501427A publication Critical patent/JP2020501427A/ja
Publication of JP2020501427A5 publication Critical patent/JP2020501427A5/ja
Priority to JP2023211230A priority Critical patent/JP7682984B2/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本発明は、画像符号化/復号化方法及び装置に関する。本発明に係る画像復号化方法は、予測モードインデックスを復号化するステップと、予測モードインデックスが関数ベースの画面内予測を指示するかどうかを判断するステップと、予測モードインデックスが関数ベースの画面内予測を指示する場合、関数を生成するための変数を誘導するステップと、誘導された変数に基づいて関数を生成するステップと、生成された関数を用いて画面内予測を行うステップとを含む。【選択図】図7

Description

本発明は、画像符号化/復号化方法、装置、及びビットストリームを保存した記録媒体に関する。具体的には、本発明は、関数を用いた画面内予測を行う画像符号化/復号化方法、装置、及び本発明の画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体に関する。
最近、高解像度、高品質の画像、例えばHD(High Definition)画像及びUHD(Ultra High Definition)画像への需要が多様な応用分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて相対的にデータ量が増加するので、従来の有線・無線ブロードバンド回線などの媒体を用いて画像データを送信したり従来の記憶媒体を用いて保存したりする場合には、送信費用と保存費用が増加することになる。このような画像データの高解像度、高品質化に伴って発生する問題を解決するためには、より高い解像度及び画質を有する画像に対する高効率画像符号化(encoding)/復号化(decoding)技術が求められる。
画像圧縮技術として、現在ピクチャの以前又は以後のピクチャから、現在ピクチャに含まれている画素値を予測する画面間(inter)予測技術、現在ピクチャ内の画素情報を用いて、現在ピクチャに含まれている画素値を予測する画面内(intra)予測技術、残余信号のエネルギーを圧縮するための変換及び量子化技術、出現頻度の高い値に短い符号を割り当て、出現頻度の低い値に長い符号を割り当てるエントロピー符号化技術などの様々な技術が存在し、これらの画像圧縮技術を利用して画像データを効果的に圧縮して送信又は保存することができる。
本発明は、圧縮効率が向上した画像符号化/復号化方法及び装置を提供することを目的とする。
また、本発明は、関数を用いた画面内予測を行う画像符号化/復号化方法及び装置を提供することを目的とする。
また、本発明は、本発明の画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体を提供することを目的とする。
本発明による画像復号化方法は、予測モードインデックスを復号化するステップと、予測モードインデックスが関数ベースの画面内予測を指示するかどうかを判断するステップと、予測モードインデックスが関数ベースの画面内予測を指示する場合、関数を生成するための変数を誘導するステップと、誘導された変数に基づいて関数を生成するステップと、生成された関数を用いて画面内予測を行うステップとを含むことができる。
本発明によれば、圧縮効率が向上した画像符号化/復号化方法及び装置を提供することができる。
また、本発明によれば、関数を用いた画面内予測を行う画像符号化/復号化方法及び装置を提供することができる。
また、本発明によれば、本発明の画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体を提供することができる。
本発明が適用される符号化装置の一実施形態に係る構成を示すブロック図である。 本発明が適用される復号化装置の一実施形態に係る構成を示すブロック図である。 画像を符号化及び復号化するときの画像の分割構造を示す概略図である。 画面内予測過程の実施形態を説明するための図である。 画面内予測に使用されたモードにインデックスを付与した一実施形態を示す図である。 動作分類2の場合の画面内予測モードのインデックス情報の一実施形態を示す図である。 動作分類2を行う復号化器の動作の一実施形態を説明するための図である。 動作分類2を行う復号化器の動作の他の実施形態を説明するための図である。 動作分類3を行う復号化器の動作の一実施形態を説明するための図である。 現在ブロックの画面内予測に使用できる周辺の復元サンプルラインを例示的に示す図である。
本発明は、様々な変更を加えることができ、様々な実施形態を有することができるので、特定の実施形態を図面に例示し、詳細な説明に詳細に説明する。ところが、これは本発明を特定の実施形態について限定するものではなく、本発明の思想及び技術範囲に含まれるすべての変更、均等物ないし代替物を含むものと理解されるべきである。図面において類似する参照符号は、様々な側面にわたって同一又は類似の機能を指し示す。図面における要素の形状及び大きさなどは、より明確な説明のために誇張することがある。後述する例示的実施形態についての詳細な説明は、特定の実施形態を例示として示す添付図面を参照する。これらの実施形態は、当業者が実施形態を実施し得る程度に十分に詳細に説明される。様々な実施形態は、互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施形態に関連して本発明の精神及び範囲を逸脱することなく、様々な実施形態に実現できる。また、それぞれの開示された実施形態内の個別構成要素の位置又は配置は、実施形態の精神及び範囲を逸脱することなく変更可能であることが理解されるべきである。したがって、後述する詳細な説明は、限定的な意味として取るものではなく、例示的な実施形態の範囲は、適切に説明されるならば、それらの請求項が主張するのと均等なすべての範囲及び添付の請求項によってのみ限定される。
本発明において、用語「第1」、「第2」などは多様な構成要素の説明に使用できるが、これらの構成要素は上記の用語により限定されてはならない。これらの用語は、一つの構成要素を他の構成要素から区別する目的にのみ使われる。例えば、本発明の権利範囲を外れない限り、第1構成要素は第2構成要素と命名することができ、同様に、第2構成要素も第1構成要素と命名することができる。用語「及び/又は」は、複数の関連した記載項目の組み合わせ又は複数の関連した記載項目のいずれかを含む。
本発明のある構成要素が他の構成要素に「連結されて」いる或いは「接続されて」いるとした場合には、その他の構成要素に直接連結されている或いは接続されていることもあるが、それらの間に別の構成要素が介在することもあると理解されるべきである。これに対し、ある構成要素が他の構成要素に「直接連結されて」いる或いは「直接接続されて」いるとした場合には、それらの間に別の構成要素が介在しないと理解されるべきである。
本発明の実施形態に示す構成部は、互いに異なる特徴的な機能を示すために独立に図示されるもので、各構成部が分離されたハードウェア又は一つのソフトウェア構成単位からなることを意味しない。すなわち、各構成部は、説明の便宜上、それぞれの構成部に羅列して含むもので、各構成部のうちの少なくとも2つの構成部が合わせられて一つの構成部をなすか、或いは一つの各構成部が複数の構成部に分けられて機能を行うことができ、このような各構成部の統合された実施形態及び分離された実施形態も、本発明の本質から外れない限り、本発明の権利範囲に含まれる。
本発明で使用した用語は、単に特定の実施形態を説明するために使われたものであり、本発明を限定するものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本発明において、「含む」又は「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品又はこれらの組み合わせが存在することを指定するものであり、一つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品又はこれらの組み合わせの存在又は付加可能性を予め排除しないと理解されるべきである。つまり、本発明において、特定の構成を「含む」と記述する内容は、該当構成以外の構成を排除するものではなく、追加の構成が本発明の実施又は本発明の技術的思想の範囲に含まれ得ることを意味する。
本発明の一部の構成要素は、本発明において本質的な機能を行う不可欠の構成要素ではなく、単に性能を向上させるための選択的構成要素であり得る。本発明は、単に性能向上のために使用される構成要素を除く、本発明の本質の実現に必要不可欠な構成部のみを含んで実現でき、単に性能向上のために使用される選択的構成要素を除く必須構成要素のみを含む構造も本発明の権利範囲に含まれる。
以下、図面を参照して、本発明の実施形態について具体的に説明する。本明細書の実施形態を説明するにあたり、関連した公知の構成又は機能についての具体的な説明が本明細書の要旨を曖昧にするおそれがあると判断された場合、その詳細な説明は省略し、図面上の同一の構成要素については同一の参照符号を使用し、同一の構成要素についての重複説明は省略する。
また、以下において、画像は動画像(video)を構成する一つのピクチャを示すこともあり、動画像自体を示すこともある。例えば、「画像の符号化及び/又は復号化」は、「ビデオの符号化及び/又は復号化」を意味することができ、「ビデオを構成する画像のうちの一つの画像の符号化及び/又は復号化」を意味することもできる。ここで、ピクチャは画像と同じ意味を持つことができる。
用語説明
符号化器(Encoder):符号化(Encoding)を行う装置を意味する。
復号化器(Decoder):復号化(Decodng)を行う装置を意味する。
ブロック(Block):サンプル(Sample)のM×N配列である。ここで、MとNは正の整数値を意味し、ブロックは一般に2次元形状のサンプル配列を意味することができる。ブロックはユニットを意味することができる。現在ブロックは、符号化時に符号化の対象となる符号化対象ブロック、復号化時に復号化の対象となる復号化対象ブロックを意味することができる。また、現在ブロックは符号化ブロック、予測ブロック、残予ブロック及び変換ブロックのうちの少なくとも一つであり得る。
サンプル(Sample):ブロックを構成する基本単位である。ビット深度(bit depth、B)に応じて0から2Bd−1までの値で表現できる。本発明において、サンプルは画素又はピクセルと同じ意味で使用できる。
ユニット(Unit):画像符号化及び復号化の単位を意味する。画像の符号化及び復号化において、ユニットは、一つの画像を分割した領域であり得る。また、ユニットは、一つの画像を細分化されたユニットに分割して符号化或いは復号化するとき、その分割された単位を意味することができる。画像の符号化及び復号化において、ユニットごとに、予め定義された処理が行われ得る。一つのユニットは、ユニットに比べてより小さい大きさを持つサブユニットにさらに分割できる。機能に応じて、ユニットは、ブロック(Block)、マクロブロック(Macroblock)、符号化ツリーユニット(Coding Tree Unit)、符号化ツリーブロック(Coding Tree Block)、符号化ユニット(Coding Unit)、符号化ブロック(Coding Block)、予測ユニット(Prediction Unit)、予測ブロック(Prediction Block)、残予ユニット(Residual Unit)、残予ブロック(Residual Block)、変換ユニット(Transform Unit)、変換ブロック(Transform Block)などを意味することができる。また、ユニットは、ブロックと区分して指し示すために、輝度(Luma)成分ブロック、それに対応する色差(Chroma)成分ブロック、及び各ブロックに対する構文要素を含むことを意味することができる。ユニットは、様々なサイズと形状を持つことができ、特に、ユニットの形状は、長方形だけでなく、正方形、台形、三角形、五角形など、2次元的に表現できる幾何学的図形を含むことができる。また、ユニット情報は、符号化ユニット、予測ユニット、残予ユニット、変換ユニットなどを指し示すユニットのタイプ、ユニットの大きさ、ユニットの深さ、ユニットの符号化及び復号化順序などのうちの少なくとも一つを含むことができる。
符号化ツリーユニット(Coding Tree Unit):一つの輝度成分(Y)符号化ツリーブロックに関連した2つの色差成分(Cb、Cr)符号化ツリーブロックから構成される。また、前記ブロックと各ブロックに対する構文要素を含むことを意味することもできる。各符号化ツリーユニットは、符号化ユニット、予測ユニット、変換ユニットなどのサブユニットを構成するために、四分木(quad tree)、二分木(binary tree)などの一つ以上の分割方式を用いて分割できる。入力画像の分割のように画像の復号化/符号化過程で処理単位となるピクセルブロックを指し示すための用語として使用できる。
符号化ツリーブロック(Coding Tree Block):Y符号化ツリーブロック、Cb符号化ツリーブロック及びCr符号化ツリーブロックのうちのいずれかを示すための用語として使用できる。
周辺ブロック(Neighbor block):現在ブロックに隣接するブロックを意味する。現在ブロックに隣接するブロックは、現在ブロックと境界が接しているブロック、又は現在ブロックから所定の距離内に位置するブロックを意味することができる。周辺ブロックは、現在ブロックの頂点に隣接するブロックを意味することができる。ここで、現在ブロックの頂点に隣接するブロックとは、現在ブロックの横に隣接する隣接ブロックと縦に隣接するブロック、又は現在ブロックの縦に隣接する隣接ブロックと横に隣接するブロックであり得る。周辺ブロックは、復元された周辺ブロックを意味することもある。
復元された周辺ブロック(Reconstructed Neighbor Block):現在ブロックの周辺に空間的(Spatial)/時間的(Temporal)に既に符号化或いは復号化された周辺ブロックを意味する。このとき、復元された周辺ブロックは、復元された周辺ユニットを意味することができる。復元された空間的周辺ブロックは、現在ピクチャ内のブロックでありながら符号化及び/又は復号化を介して既に復元されたブロックであり得る。復元された時間的周辺ブロックは、参照ピクチャ内で現在ピクチャの現在ブロックと同じ位置の復元されたブロック又はその周辺ブロックであり得る。
ユニット深さ(Depth):ユニットが分割された程度を意味する。ツリー構造(Tree Structure)において、ルートノード(Root Node)は深さが最も浅く、リーフノード(Leaf Node)は深さが最も深いといえる。また、ユニットをツリー構造で表現したときにユニットが存在するレベル(Level)がユニット深さを意味することができる。
ビットストリーム(Bitstream):符号化された画像情報を含むビットの列を意味する。
パラメータセット(Parameter Set):ビットストリーム内の構造のうちのヘッダー情報に該当する。ビデオパラメータセット(video parameter set)、シーケンスパラメータセット(sequence parameter set)、ピクチャパラメータセット(picture parameter set)、適応パラメータセット(adaptation parameter set)のうちの少なくとも一つがパラメータセットに含まれ得る。また、パラメータセットはスライス(slice)ヘッダー及びタイル(tile)ヘッダー情報を含むこともできる。
パーシング(Parsing):ビットストリームをエントロピー復号化して構文要素(Syntax Element)の値を決定することを意味するか、或いはエントロピー復号化自体を意味することができる。
シンボル(Symbol):符号化/復号化対象ユニットの構文要素、符号化パラメータ(coding parameter)、変換係数(Transform Coefficient)の値などのうちの少なくとも一つを意味することができる。また、シンボルは、エントロピー符号化の対象或いはエントロピー復号化の結果を意味することができる。
予測ユニット(Prediction Unit):画面間予測、画面内予測、画面間補償、画面内補償、動き補償などの予測を行うときの基本ユニットを意味する。一つの予測ユニットは、サイズが小さい複数のパーティション(Partition)又はサブ予測ユニットに分割されてもよい。
予測ユニットパーティション(Prediction Unit Partition):予測ユニットが分割された形状を意味する。
変換ユニット(Transform Unit):変換、逆変換、量子化、逆量子化、変換係数符号化/復号化のように残余信号(residual signal)符号化/復号化を行うときの基本ユニットを意味する。一つの変換ユニットは、分割されてサイズの小さい複数の変換ユニットに分割できる。
スケーリング(Scaling):変換係数レベルに因数を掛ける過程を意味する。変換係数レベルに対するスケーリングの結果として変換係数を生成することができる。スケーリングを逆量子化(dequantization)とも呼ぶことができる。
量子化パラメータ(Quantization Parameter):量子化において変換係数に対して変換係数レベル(transform coefficient level)を生成するときに使用する値を意味することができる。又は、逆量子化において変換係数レベルをスケーリング(scaling)して変換係数を生成するときに使用する値を意味することもできる。量子化パラメータは、量子化ステップサイズ(step size)にマッピングされた値であり得る。
デルタ量子化パラメータ(Delta Quantization Parameter):予測された量子化パラメータと符号化/復号化対象ユニットの量子化パラメータとの差分値を意味する。
スキャン(Scan):ブロック或いは行列内係数の順序をソートする方法を意味する。例えば、2次元配列を1次元配列状にソートすることをスキャンという。又は、1次元配列を2次元配列状にソートすることもスキャン或いは逆スキャン(Inverse Scan)と呼ぶことができる。
変換係数(Transform Coefficient):符号化器で変換を行ってから生成された係数値を意味する。復号化器でエントロピー復号化及び逆量子化のうちの少なくとも一つを行ってから生成された係数値を意味することもできる。変換係数又は残予信号に量子化を適用した、量子化されたレベル又は量子化変換係数レベル(transform coefficient level)も変換係数の意味に含まれ得る。
量子化されたレベル(Quantized Level):符号化器で変換係数又は残余信号に量子化を行って生成された値を意味する。又は、復号化器で逆量子化を行う前に逆量子化の対象となる値を意味することもできる。同様に、変換及び量子化の結果である量子化変換係数レベルも量子化されたレベルの意味に含まれ得る。
ノンゼロ変換係数(Non−zero Transform Coefficient):値の大きさが0ではない変換係数、或いは値の大きさが0ではない変換係数レベルを意味する。
量子化行列(Quantization Matrix):画像の主観的画質或いは客観的画質を向上させるために量子化或いは逆量子化過程で利用する行列を意味する。量子化行列をスケーリングリスト(scaling list)とも呼ぶことができる。
量子化行列係数(Quantization Matrix Coefficient):量子化行列内の各元素(element)を意味する。量子化行列係数を行列係数(matrix coefficient)とも呼ぶことができる。
基本行列(Default Matrix):符号化器と復号化器で予め定義されている所定の量子化行列を意味する。
非基本行列(Non−default Matrix):符号化器と復号化器で予め定義されず、ユーザーによってシグナリングされる量子化行列を意味する。
図1は本発明が適用される符号化装置の一実施形態に係る構成を示すブロック図である。
符号化装置100は、エンコーダ、ビデオ符号化装置又は画像符号化装置であり得る。ビデオは、一つ以上の画像を含むことができる。符号化装置100は、一つ以上の画像を順次符号化することができる。
図1を参照すると、符号化装置100は、動き予測部111、動き補償部112、イントラ予測部120、スイッチ115、減算器125、変換部130、量子化部140、エントロピー符号化部150、逆量子化部160、逆変換部170、加算器175、フィルタ部180、及び参照ピクチャバッファ190を含むことができる。
符号化装置100は、入力画像に対してイントラモード及び/又はインターモードで符号化を行うことができる。また、符号化装置100は、入力画像に対する符号化を介してビットストリームを生成することができ、生成されたビットストリームを出力することができる。生成されたビットストリームは、コンピュータ可読記録媒体に保存されるか、或いは有線/無線伝送媒体を介してストリミングされ得る。予測モードとしてイントラモードが使用される場合、スイッチ115はイントラに転換でき、予測モードとしてインターモードが使用される場合、スイッチ115はインターに転換できる。ここで、イントラモードは画面内予測モードを意味することができ、インターモードは画面間予測モードを意味することができる。符号化装置100は、入力画像の入力ブロックに対する予測ブロックを生成することができる。また、符号化装置100は、予測ブロックが生成された後、入力ブロック及び予測ブロックの差分(residual)を符号化することができる。入力画像は、現在符号化の対象である現在画像と称されることもある。入力ブロックは、現在符号化の対象である現在ブロック或いは符号化対象ブロックと称されることもある。
予測モードがイントラモードである場合、イントラ予測部120は、現在ブロックの周辺に既に符号化/復号化されたブロックのピクセル値を参照画素として用いることができる。イントラ予測部120は、参照画素を用いて空間的予測を行うことができ、空間的予測を介して入力ブロックに対する予測サンプルを生成することができる。ここで、イントラ予測は画面内予測を意味することができる。
予測モードがインターモードである場合には、動き予測部111は、動き予測過程で参照画像から入力ブロックと最もよくマッチする領域を検索することができ、検索された領域を用いて動きベクトルを導出することができる。参照画像は参照ピクチャバッファ190に保存できる。
動き補償部112は、動きベクトルを用いる動き補償を行うことにより、予測ブロックを生成することができる。ここで、インター予測は画面間予測或いは動き補償を意味することができる。
前記動き予測部111と動き補償部112は、動きベクトルの値が整数値を持たない場合に参照画像内の一部の領域に対して補間フィルタ(Interpolation Filter)を適用して予測ブロックを生成することができる。画面間予測或いは動き補償を行うために、符号化ユニットを基準に、該当符号化ユニットに含まれている予測ユニットの動き予測及び動き補償方法がスキップモード(Skip Mode)、マージモード(Merge mode)、向上した動きベクトル予測(Advanced Motion Vector Prediction、AMVP)モード、及び現在ピクチャ参照モードのうちのいずれの方法であるかを判断することができ、各モードに応じて、画面間予測或いは動き補償を行うことができる。
減算器125は、入力ブロック及び予測ブロックの差分を用いて残余ブロック(residual block)を生成することができる。残余ブロックは残余信号とも称される。残余信号は、原信号と予測信号との差(difference)を意味することができる。又は、残余信号は、原信号と予測信号との差を変換(transform)するか、量子化するか、又は変換及び量子化することにより生成された信号であり得る。残余ブロックはブロック単位の残余信号であり得る。
変換部130は、残余ブロックに対して変換(transform)を行って変換係数(transform coefficient)を生成することができ、変換係数を出力することができる。ここで、変換係数は、残余ブロックに対する変換を行うことにより生成された係数値であり得る。変換省略(transform skip)モードが適用される場合、変換部130は残余ブロックに対する変換を省略することもできる。
変換係数又は残余信号に量子化を適用することにより、量子化されたレベル(quantized level)が生成できる。以下、実施形態では、量子化されたレベルも変換係数と称されることがある。
量子化部140は、変換係数又は残余信号を量子化パラメータに基づいて量子化することにより、量子化されたレベルを生成することができ、量子化されたレベルを出力することができる。このとき、量子化部140では、量子化行列を用いて変換係数を量子化することができる。
エントロピー符号化部150は、量子化部140で算出された値、又は符号化過程で算出された符号化パラメータ(Coding Parameter)値などに対して確率分布によるエントロピー符号化を行うことにより、ビットストリーム(bitstream)を生成することができ、ビットストリームを出力することができる。エントロピー符号化部150は、画像のピクセルに関する情報及び画像の復号化のための情報に対するエントロピー符号化を行うことができる。例えば、画像の復号化のための情報は構文要素(syntax element)などを含むことができる。
エントロピー符号化が適用される場合、高い発生確率を有するシンボル(symbol)に少ない数のビットが割り当てられ、低い発生確率を有するシンボルに多い数のビットが割り当てられてシンボルが表現されることにより、符号化対象シンボルに対するビット列のサイズが減少できる。エントロピー符号化部150は、エントロピー符号化のために指数ゴロム(exponential Golomb)、CAVLC(Context−Adaptive Variable Length Coding)、CABAC(Context−Adaptive Binary Arithmetic Coding)などの符号化方法を使用することができる。例えば、エントロピー符号化部150は、可変長符号化(Variable Length Coding/Code;VLC)テーブルを用いてエントロピー符号化を行うことができる。また、エントロピー符号化部150は、対象シンボルの2値化(binarization)方法及び対象シンボル/ビン(bin)の確率モデル(probability model)を導出した後、導出された2値化方法、確率モデル、コンテキストモデル(Context Model)を用いて算術符号化を行うこともできる。
エントロピー符号化部150は、変換係数レベルを符号化するために、変換係数スキャニング(Transform Coefficient Scanning)方法を介して2次元のブロック形状係数を1次元のベクトルに変更することができる。
符号化パラメータ(Coding Parameter)は、構文要素のように符号化器で符号化されて復号化器へシグナリングされる情報(フラグ、インデックスなど)だけでなく、符号化或いは復号化過程で誘導される情報を含むことができ、画像を符号化又は復号化するときに必要な情報を意味することができる。例えば、ユニット/ブロックサイズ、ユニット/ブロック深さ、ユニット/ブロック分割情報、ユニット/ブロック分割構造、四分木分割か否か、二分木分割か否か、二分木分割の方向(横方向或いは縦方向)、二分木分割の形態(対称分割或いは非対称分割)、画面内予測モード/方向、参照サンプルフィルタリング方法、予測ブロックフィルタリング方法、予測ブロックフィルタタップ、予測ブロックフィルタ係数、画面間予測モード、動き情報、動きベクトル、参照画像インデックス、画面間予測方向、画面間予測インジケータ、参照画像リスト、参照画像、動きベクトル予測候補、動きベクトル候補リスト、マージモードの使用有無、マージ候補、マージ候補リスト、スキップ(skip)モードの使用有無、補間フィルタの種類、補間フィルタタップ、補間フィルタ係数、動きベクトルのサイズ、動きベクトル表現の精度、変換種類、変換サイズ、1次変換の使用有無情報、2次変換の使用有無情報、1次変換インデックス、2次変換インデックス、残予信号有無情報、符号化ブロックパターン(Coded Block Pattern)、符号化ブロックフラグ(Coded Block Flag)、量子化パラメータ、量子化行列、画面内ループフィルタの適用か否か、画面内ループフィルタ係数、画面内ループフィルタタップ、画面内ループフィルタの形状/形態、デブロッキングフィルタの適用か否か、デブロッキングフィルタ係数、デブロッキングフィルタタップ、デブロッキングフィルタの強度、デブロッキングフィルタの形状/形態、適応的サンプルオフセットの適用か否か、適応的サンプルオフセット値、適応的サンプルオフセットのカテゴリー、適応的サンプルオフセットの種類、適応的ループ内フィルタの適用か否か、適応的ループ内フィルタ係数、適応的ループ内フィルタタップ、適応的ループ内フィルタの形状/形態、二値化/逆二値化方法、コンテキストモデル決定方法、コンテキストモデルアップデート方法、レギュラーモードの実行有無、バイパスモードの実行有無、コンテキストビン、バイパスビン、変換係数、変換係数レベル、変換係数レベルのスキャニング方法、画像ディスプレイ/出力順序、スライス識別情報、スライスタイプ、スライス分割情報、タイル識別情報、タイルタイプ、タイル分割情報、ピクチャタイプ、ビット深度、輝度信号或いは色差信号に対する情報のうちの少なくとも一つの値又は組み合わせ形態が符号化パラメータに含まれ得る。
ここで、フラグ或いはインデックスをシグナリング(signaling)するというのは、エンコーダでは該当フラグ或いはインデックスをエントロピー符号化(Entropy Encoding)してビットストリーム(Bitstream)に含むことを意味することができ、デコーダではビットストリームから当該フラグ或いはインデックスをエントロピー復号化(Entropy Decoding)することを意味することができる。
符号化装置100がインター予測を用いた符号化を行う場合、符号化された現在画像は、後で処理される他の画像に対する参照画像として使用できる。よって、符号化装置100は、符号化された現在画像をさらに復元又は復号化することができ、復元又は復号化された画像を参照画像として保存することができる。
量子化されたレベルは、逆量子化部160で逆量子化(dequantization)でき、逆変換部170で逆変換(inverse transform)できる。逆量子化及び/又は逆変換された係数は、加算器175を介して予測ブロックと合わせられ得る。逆量子化及び/又は逆変換された係数と予測ブロックとを合わせることにより、復元ブロック(reconstructed block)が生成できる。ここで、逆量子化及び/又は逆変換された係数は、逆量子化及び逆変換のうちの少なくとも一つが行われた係数を意味し、復元された残余ブロックを意味することができる。
復元ブロックはフィルタ部180を経ることができる。フィルタ部180は、デブロッキングフィルタ(deblocking filter)、サンプル適応的オフセット(Sample Adaptive Offset;SAO)、適応的ループフィルタ(Adaptive Loop Filter;ALF)などの少なくとも一つを復元ブロック又は復元画像に適用することができる。フィルタ部180はインループフィルタ(in−loop filter)とも称される。
デブロッキングフィルタは、ブロック間の境界に生じたブロック歪みを除去することができる。デブロッキングフィルタを行うか否かを判断するために、ブロックに含まれている幾つかの列又は行に含まれているピクセルに基づいて、現在ブロックにデブロッキングフィルタを適用するか否かを判断することができる。ブロックにデブロッキングフィルタを適用する場合、必要なデブロッキングフィルタリング強度に応じて、互いに異なるフィルタを適用することができる。
サンプル適応的オフセットを用いて符号化エラーを補償するために、ピクセル値に適正オフセット(offset)値を加えることができる。サンプル適応的オフセットは、デブロッキングを行った画像に対してピクセル単位で原本画像とのオフセットを補正することができる。画像に含まれているピクセルを一定数の領域に区分した後、オフセットを行うべき領域を決定し、該当領域にオフセットを適用する方法、又は各ピクセルのエッジ情報を考慮してオフセットを適用する方法を使用することができる。
適応的ループフィルタは、復元画像と原画像とを比較した値に基づいてフィルタリングを行うことができる。画像に含まれているピクセルを所定のグループに分けた後、当該グループに適用されるべきフィルタを決定してグループごとに差別的にフィルタリングを行うことができる。適応的ループフィルタを適用するか否かに関連した情報は、符号化ユニット(Coding Unit、CU)別にシグナリングでき、それぞれのブロックに応じて、適用される適応的ループフィルタの形状及びフィルタ係数は異なり得る。
フィルタ部180を経た復元ブロック又は復元画像は、参照ピクチャバッファ190に保存できる。図2は本発明が適用される復号化装置の一実施形態に係る構成を示すブロック図である。
復号化装置200はデコーダ、ビデオ復号化装置又は画像復号化装置であり得る。
図2を参照すると、復号化装置200は、エントロピー復号化部210、逆量子化部220、逆変換部230、イントラ予測部240、動き補償部250、加算器255、フィルタ部260、及び参照ピクチャバッファ270を含むことができる。
復号化装置200は、符号化装置100から出力されたビットストリームを受信することができる。復号化装置200は、コンピュータ可読記録媒体に保存されたビットストリームを受信するか、或いは有線/無線伝送媒体を介してストリミングされるビットストリームを受信することができる。復号化装置200は、ビットストリームに対してイントラモード又はインターモードで復号化を行うことができる。また、復号化装置200は、復号化を介して復元された画像又は復号化された画像を生成することができ、復元された画像又は復号化された画像を出力することができる。
復号化に使用される予測モードがイントラモードである場合、スイッチがイントラに転換できる。復号化に使用される予測モードがインターモードである場合、スイッチがインターに転換できる。
復号化装置200は、入力されたビットストリームを復号化し、復元された残余ブロック(reconstructed residual block)を取得することができ、予測ブロックを生成することができる。復元された残余ブロック及び予測ブロックが取得されると、復号化装置200は、復元された残余ブロックと予測ブロックを加えることにより、復号化の対象となる復元ブロックを生成することができる。復号化対象ブロックは現在ブロックと称されることもある。
エントロピー復号化部210は、ビットストリームに対する確率分布に基づくエントロピー復号化を行うことにより、シンボルを生成することができる。生成されたシンボルは、量子化されたレベル形態のシンボルを含むことができる。ここで、エントロピー復号化方法は、上述したエントロピー符号化方法の逆過程であり得る。
エントロピー復号化部210は、変換係数レベルを復号化するために、変換係数のスキャニング方法によって1次元のベクトル形態係数を2次元のブロック形態に変更することができる。
量子化されたレベルは、逆量子化部220で逆量子化でき、逆変換部230で逆変換できる。量子化されたレベルは、逆量子化及び/又は逆変換が行われた結果であって、復元された残余ブロックとして生成できる。このとき、逆量子化部220は、量子化されたレベルに量子化行列を適用することができる。
イントラモードが使用される場合、イントラ予測部240は、復号化対象ブロック周辺の、既に復号化されたブロックのピクセル値を用いる空間的予測を行うことにより、予測ブロックを生成することができる。
インターモードが使用される場合、動き補償部250は、動きベクトル及び参照ピクチャバッファ270に保存されている参照画像を用いる動き補償を行うことにより、予測ブロックを生成することができる。前記動き補償部250は、動きベクトルの値が整数値を持たない場合に参照画像内の一部の領域に対して補間フィルタを適用して予測ブロックを生成することができる。動き補償を行うために、符号化ユニットを基準に、該当符号化ユニットに含まれている予測ユニットの動き補償方法がスキップモード、マージモード、AMVPモード、及び現在ピクチャ参照モードのうちのいずれであるかを判断することができ、各モードに応じて動き補償を行うことができる。
加算器225は、復元された残余ブロック及び予測ブロックを加算して復元ブロックを生成することができる。フィルタ部260は、デブロッキングフィルタ、サンプル適応的オフセット及び適応的ループフィルタのうちの少なくとも一つを復元ブロック又は復元画像に適用することができる。フィルタ部260は復元画像を出力することができる。復元ブロック又は復元画像は、参照ピクチャバッファ270に保存されてインター予測に使用できる。
図3は画像を符号化及び復号化するときの画像の分割構造を示す概略図である。図3は一つのユニットが複数のサブユニットに分割される実施形態を概略的に示す。
画像を効率よく分割するために、符号化及び復号化において、符号化ユニット(Coding Unit;CU)が使用できる。画像符号化/復号化の基本単位として符号化ユニットが使用できる。また、画像符号化/復号化の際に、画面内モード及び画面間モードが区分される単位で符号化ユニットを使用することができる。符号化ユニットは、予測、変換、量子化、逆変換、逆量子化、又は変換係数の符号化/復号化過程のために使用される基本単位であり得る。
図3を参照すると、画像300は、最大符号化ユニット(Largest Coding Unit;LCU)単位で順次分割され、LCU単位で分割構造が決定される。ここで、LCUは、符号化ツリーユニット(Coding Tree Unit;CTU)と同一の意味で使用できる。ユニットの分割は、ユニットに該当するブロックの分割を意味することができる。ブロック分割情報には、ユニットの深さ(depth)に関する情報が含まれ得る。深さ情報は、ユニットが分割される回数及び/又は程度を示すことができる。一つのユニットは、ツリー構造(tree structure)に基づいて深さ情報をもって階層的に分割できる。それぞれの分割されたサブユニットは、深さ情報を持つことができる。深さ情報は、CUの大きさを示す情報であり、各CUごとに保存できる。
分割構造は、LCU310内での符号化ユニット(Coding Unit;CU)の分布を意味することができる。このような分布は、一つのCUを複数(2、4、8、16などを含む2以上の正の整数)のCUに分割するか否かによって決定することができる。分割により生成されたCUの横幅と縦幅は、それぞれ分割前のCUの横幅の半分及び縦幅の半分であるか、分割された個数に応じて分割前のCUの横幅よりも小さいサイズ及び縦幅よりも小さいサイズを持つことができる。CUは複数のCUに再帰的に分割できる。CUの分割は、予め定義された深さ又は予め定義されたサイズまで再帰的に行われ得る。例えば、LCUの深さは0であり、最小符号化ユニット(Smallest Coding Unit;SCU)の深さは予め定義された最大深さであり得る。ここで、LCUは、上述したように、最大の符号化ユニットのサイズを持つ符号化ユニットであり、SCUは、最小の符号化ユニットのサイズを持つ符号化ユニットであり得る。LCU310から分割が始まり、分割によってCUの横幅及び/又は縦幅が減少するたびに、CUの深さは1ずつ増加する。
また、CUが分割されるか否かに対する情報は、CUの分割情報を介して表現できる。分割情報は1ビットの情報であり得る。SCUを除いた全てのCUは、分割情報を含むことができる。例えば、分割情報の値が第1値であれば、CUが分割されなくてもよく、分割情報の値が第2値であれば、CUが分割されてもよい。
図3を参照すると、深さ0のLCUは64×64ブロックであり得る。0は最小深さであり得る。深さ3のSCUは8×8ブロックであり得る。3は最大深さであり得る。32×32ブロック及び16×16ブロックのCUはそれぞれ深さ1及び深さ2で表現できる。
例えば、一つの符号化ユニットが4つの符号化ユニットに分割される場合、分割された4つの符号化ユニットの横幅及び縦幅は、分割される前の符号化ユニットの横幅及び縦幅と比較してそれぞれの半分のサイズを持つことができる。一例として、32×32サイズの符号化ユニットが4つの符号化ユニットに分割される場合、分割された4つの符号化ユニットはそれぞれ16×16のサイズを持つことができる。一つの符号化ユニットが4つの符号化ユニットに分割される場合、符号化ユニットは四分木(quad−tree)状に分割されたといえる。
例えば、一つの符号化ユニットが2つの符号化ユニットに分割される場合、分割された2つの符号化ユニットの横幅或いは縦幅は、分割される前の符号化ユニットの横幅或いは縦幅と比較して半分のサイズを持つことができる。一例として、32×32サイズの符号化ユニットが2つの符号化ユニットに縦分割される場合、分割された2つの符号化ユニットは、それぞれ16×32のサイズを持つことができる。一つの符号化ユニットが2つの符号化ユニットに分割される場合、符号化ユニットは二分木(binary−tree)状に分割されたといえる。図3のLCU320は、四分木分割及び二分木分割が全て適用されたLCUの一例である。
図4は画面内予測過程の実施形態を説明するための図である。
画面内予測モードは、非方向性モード又は方向性モードであり得る。非方向性モードは、DCモード又はプランナー(Planar)モードであり得る。方向性モード(angular mode)は、特定の方向又は角度を持つ予測モードであり得る。前記画面内予測モードは、モード番号、モード値、モード数及びモード角度のうちの少なくとも一つで表現できる。画面内予測モードの数は、前記非方向性及び方向性モードを含む一つ以上のM個であり得る。
画面内予測モードの数は、ブロックのサイズを問わず、N個に固定できる。又は、画面内予測モードの数は、ブロックのサイズ及び/又は色成分(color component)のタイプに応じて異なり得る。例えば、ブロックのサイズが大きくなるほど、画面内予測モードの数は多くなり得る。又は、ルマ成分ブロックの画面内予測モードの数は、色差成分ブロックの画面内予測モードの数よりも多いことがある。
現在ブロックを画面内予測するために、復元された周辺ブロックに含まれるサンプルが、現在ブロックの参照サンプルとして利用可能であるかどうかを検査するステップが行われ得る。現在ブロックの参照サンプルとして利用できないサンプルが存在する場合、復元された周辺ブロックに含まれているサンプルのうちの少なくとも一つのサンプル値をコピー及び/又は補間した値を用いて、参照サンプルとして利用できないサンプルのサンプル値に置き換えた後、現在ブロックの参照サンプルとして利用することができる。
画面内予測の際に、画面内予測モード及び現在ブロックのサイズのうちの少なくとも一つに基づいて、参照サンプル又は予測サンプルのうちの少なくとも一つにフィルタを適用することができる。
プランナーモードの場合は、現在ブロックの予測ブロックを生成するとき、予測対象サンプルの予測ブロック内の位置に応じて、現在サンプルの上側及び左側参照サンプル、現在ブロックの右上側及び左下側参照サンプルの重み付け和を用いて、予測対象サンプルのサンプル値を生成することができる。また、DCモードの場合は、現在ブロックの予測ブロックを生成するとき、現在ブロックの上側及び左側参照サンプルの平均値を用いることができる。また、方向性モードの場合は、現在ブロックの上側、左側、右上側、及び/又は左下側参照サンプルを用いて予測ブロックを生成することができる。予測サンプル値の生成のために、実数単位の補間を行うこともできる。
現在ブロックの画面内予測モードは、現在ブロックの周辺に存在するブロックの画面内予測モードから予測してエントロピー符号化/復号化することができる。現在ブロックと周辺ブロックの画面内予測モードが同一であれば、所定のフラグ情報を用いて、現在ブロックと周辺ブロックの画面内予測モードが同一であるという情報をシグナリングすることができる。また、複数の周辺ブロックの画面内予測モードのうち、現在ブロックの画面内予測モードと同じ画面内予測モードに対するインジケータ情報をシグナリングすることができる。現在ブロックと周辺ブロックの画面内予測モードが互いに異なる場合、周辺ブロックの画面内予測モードに基づいてエントロピー符号化/復号化を行うことにより、現在ブロックの画面内予測モード情報をエントロピー符号化/復号化することができる。
以下、関数ベースの画面内予測を行って画面内予測の誤差を減らすことができる方法及び装置について説明する。
画像の圧縮に用いられる画面内予測は、画面間予測に比べて、一般に大きい予測誤差を発生させて圧縮効果に劣るという問題がある。特に、画面内予測の対象サンプルが予測に用いられる参照サンプルから遠く離れているほど、予測誤差が大きくなる。画面内予測の場合は、選択されたイントラ予測モードの方向性に基づいて、予測すべきブロックの外郭参照サンプルから外挿法(extrapolation)を用いて予測サンプルを生成するため、予測対象ブロック内のサンプルが選択された予測モードの方向性とは異なる性質を持つ場合、予測の精度が低下するおそれがある。
本発明で使用できる関数は、正規(Normal)関数、ラプラシアン(Laplacian)関数、コサイン(Cosine)関数、ベータ(Beta)関数、指数(Exponential)関数、対数正規(Lognormal)関数、ガンマ(Gamma)関数、パレート(Pareto)関数、均等(Uniform)関数、トライアンギュラー(Triangular)関数及びロジスティック(Logistic)関数のうちの少なくとも一つであり、関数の種類は、これに限定されない。また、関数は、原画像を介して規定されてもよく、参照サンプルを用いて得られる変数を介して規定されてもよい。或いは、一つ又はそれ以上の参照サンプルを用いて近似された関数が規定されてもよい。
本発明によれば、所定の関数を用いることにより、現在ブロックに対する予測サンプルを生成することができる。例えば、本発明に係る画面内予測は、数式1の正規関数を用いて行われ得る。
前記数式1は、参照サンプルを用いて生成することができる一変数正規分布の関数である。前記数式1において、xは参照サンプルの位置情報であり、aは正規分布関数の平均値であり、正規分布のピーク値がある位置情報である。bは、正規分布における標準偏差値を意味し、正規分布の広がり程度を示す情報である。cは正規分布の振幅(amplitude)を意味する。
前記数式1の一変数正規分布をそれぞれの参照サンプルで近似し、近似過程は数式3乃至数式6の通りである。
数式2は、正規分布の積分(integration)整理を利用した積分方程式である。当該積分方程式の二つの積分項をそれぞれ数式3と数式4の漸化式で近似することができる。
項に対する漸化式であり得る。前記数式において、rは参照サンプル値であり得る。ここで、kは参照サンプルの順序を意味する。xはk番目の参照サンプルの位置を意味する。参照サンプルの場合、xの値が整数であるため、kとxは同じ値であるといえる。
数式3と数式4の漸化式に基づいてエラーが最小化される式を求めると、AとBは、数式5の通りに表わすことができる。
前記数式5を用いて計算されたAとBに基づいて、下記数式6を用いることにより、a、b、cを計算することができる。
数式5及び数式6に基づいて、上側の参照サンプルと左側の参照サンプルに対してそれぞれ近似して出てきた値を、数式1に代入する。2つの数式1をコンボリューション(convolution)することにより、二変数(bivariate)関数を誘導することができる。
その結果、数式7のように予測サンプル位置x、yに基づいて関数ベースの予測サンプルを生成して使用することができる。数式7において、x、yは2次元ブロックにおける位置情報を意味する。
関数ベースの画面内予測の動作は、三つの場合に分けて説明できる。これをそれぞれ動作分類1、動作分類2、動作分類3と定義するとき、動作分類1は、関数ベースの画面内予測のみを画面内予測符号化に使用する場合である。動作分類1の動作は、次の通りである。
図1のイントラ予測部120は、一つの関数或いは複数の関数を生成して関数ベースの予測を行うことができる。この際、符号化器は、使用可能な複数の関数のうちのいずれかを選択することができる。一つの関数を選択するための方法として、レート・歪みコスト(rate−distortion cost)が最小となる関数を選択することができる。関数の種類別に関数を定義するのに必要な変数を決定することができる。前記変数を決定するときは、参照サンプルを使用することができる。又は、符号化対象画像を使用することができる。又は、既に符号化された画像の全部又は一部の領域を使用することができる。
図5は画面内予測に使用されたモードにインデックスを付与した一実施形態を示す図である。
画面内予測のために選択された予測モードを指示するために、図5に示すインデックスを使用することができる。このとき、選択された予測モードを指示するインデックスは、ビットストリームの構文要素(Syntax Element)を伝送するための様々な段階を介して符号化及び/又は伝送することができる。例えば、前記インデックスは、SPS(Sequence Parameter Set)、VPS(Video Parameter Set)、CU(Coding Unit)、CTU(Coding Tree Unit)、TU(Transform Unit)、PU(Prediction Unit)、Slice、GOP(Group Of Pictures)単位などの段階のうちの少なくとも一つを介して伝送できる。
符号化器は、画面内予測のために選択された予測モードを指示するインデックスを符号化し、当該関数を規定するための変数を符号化することができる。符号化器は符号化された情報を伝送し、復号化器はこれを受信して復号化することができる。
関数を規定するための変数は、二つのグループに分類できる。変数グループ1に該当する変数は、符号化器が復号化器へ伝送しなくても、復号化器の内部で既に受信された参照サンプル又は既に受信された又は既に復元された画像データを用いて、該当変数値を自体的に把握することができる。したがって、復号化器は、予測モードを指示するインデックスを受信すると、変数グループ1に該当する変数を自体的に推定(誘導)して画面内予測に使用することができる。
変数グループ2に該当する変数は、その値を符号化器が復号化器へ伝送することを特徴とする。又は、実現に応じて、復号化器が、所定の精度でインデックスが指示する関数を推定(誘導)した後、変数グループ2に属する変数値を用いてその関数をより正確に決定するようにしてもよい。この場合、復号化器は、画面内予測モードを指示するインデックスを受信すると、変数グループ2に該当する変数を受信して画面内予測に使用することができる。
動作分類2は、関数ベースの画面内予測の他に、他の画面内予測モード(例えば、方向性予測、DC及び/又はPlanar予測モードなど)のうちのいずれかのモードを選択することができる。もちろん、この場合にも、レート・歪みコスト(rate−distortion cost)が最小となる予測モードを選択することができる。図1のイントラ予測部120でDC、Planar、方向性予測などの予測モードと関数ベースの予測モードが一緒に競争して、レート・歪みコスト(rate−distortion cost)が最小となるモードを選択することができる。このとき、関数ベースの予測モードは、一つの関数のみ、或いは複数の関数を使用することができる。
図6は動作分類2の場合の画面内予測モードのインデックス情報の一実施形態を示す図である。
動作分類2の場合、符号化器は、レート・歪みコスト(rate−distortion cost)が最小となるイントラ予測モードを選択することができる。最小のレート・歪みコストを探すために、複数のイントラ予測モードに対するレート・歪みコストを計算することができる。関数ベースの予測の場合は、利用可能な関数の種類別に、その関数を定義する変数を参照サンプル又は入力画像を用いて推定(誘導)することができる。このとき、最小コストを有するモードが決定されると、図6に示すようなインデックス値が符号化(伝送)できる。このとき、インデックスがSPS、VPS、CU、CTU、TU、PU、Slice、GOP単位などの様々な段階のうちの少なくとも一つの段階を介して伝送できるのは、前述した通りである。関数ベースのモードに該当する変数グループ1又は変数グループ2についての説明は、動作分類1について説明した通りである。
図7は動作分類2を行う復号化器の動作の一実施形態を説明するための図である。
動作分類2を行う復号化器は、ビットストリームの入力を受けて、エントロピー復号化、逆変換、逆量子化過程などを経て予測誤差信号を復元することができる。復元された予測誤差信号は、予測サンプルと合わせられて復元画像を得ることができる。このとき、予測サンプルを生成するために、画面内予測方法を指示する予測モードインデックスの伝送をビットストリームを介して符号化器から受けて復号化することができる(S710)。
ステップS720で、前記予測モードインデックスが関数ベースの画面内予測を指示するかどうかが判断できる。
前記予測モードインデックスが関数ベースの画面内予測を指示する場合には(すなわち、S720でYes)、該当するモードに対する変数が誘導できる(S730)。具体的には、予測モードインデックスが指示する予測モードに変数グループ1が存在すると、周辺参照サンプルなどを用いて変数グループ1を誘導することができる。予測モードインデックスが指示する予測モードに変数グループ2が存在する場合には、変数グループ2に該当する変数値を受信されたビットストリームからパーシング(復号化)することにより誘導することができる。周辺参照サンプルなどに基づいて誘導された変数(変数グループ1)と、さらにビットストリームからパーシングして誘導された変数(変数グループ2)のうちの少なくとも一つに基づいて関数を生成し(S740)、生成された関数を用いて予測サンプルを生成することができる(S750)。
前記予測モードインデックスが関数ベースの画面内予測を指示しない場合には(すなわち、S720でNo)、DC、Planar及び方向性(Angular)予測モードのうちのいずれかに基づいて画面内予測を行うことにより、予測サンプルを生成することができる(S750)。
動作分類2の場合は、前述したように、DC、Planar、方向性予測などと関数予測モードのうちの一つを指示する予測モードインデックスを用いて、復号化に使用されるイントラ予測モードを把握することができる。しかし、必ずしもこれに限定されず、所定の情報(例えば、FBIP_flag)をシグナリングすることにより、一つの関数或いは複数の関数を使用することもできる。FBIP_flag(Function Based Intra Prediction Flag)は、本発明に係る関数ベースの画面内予測が行われるかどうかを指示する情報であり得る。
符号化器は、FBIP_flagを符号化してビットストリームを介して復号化器へ伝送し、復号化器は、ビットストリームからFBIP_flagを受信することができる。
図8は動作分類2を行う復号化器の動作の他の実施形態を説明するための図である。
ステップS810で、ビットストリームからFBIP_flagを復号化することができる。ステップS820で、FBIP_flag値がチェックできる。FBIP_flag値が第1値であれば、復号化器はDC、Planar、方向性予測などの予測モード情報をパーシングすることなく、関数ベースの予測モード情報とこれに関連する情報(例えば、変数グループ2に該当する変数値に関する情報)をビットストリームから復号化することができる(S830)。また、復号化器は、周辺参照サンプルなどを用いて、変数グループ1に該当する変数を誘導し、ビットストリームから追加パーシングされた情報に基づいて、変数グループ2に該当する変数を誘導することができる(S840)。前記誘導された変数グループ1及び変数グループ2に該当する変数を用いて関数を生成し(S850)、生成された関数を用いて予測サンプルを生成することができる(S870)。前
もしFBIP_flag値が第2値であれば、復号化器は、DC、Planar、方向性予測などの予測モード情報をパーシングし(S860)、パーシングされた予測モードが指示するDC、Planar、方向性予測などの一つの方法で画面内予測を行うことができる(S870)。前記第2値は、例えば0であり得る。
動作分類3の場合は、DC、Planar、方向性予測などの予測モードによって生成された予測サンプルを、関数ベースの予測モードを介して得られる追加情報を用いて補完することができる。図1のイントラ予測部120でDC、Planar、方向性予測などの予測モードに関数ベースの画面内予測を介して得られる追加情報を用いて補完を行うことができる。前記補完は重み付け和又は重みの積によって実現できる。このとき、関数ベースの画面内予測は、一つの関数のみ、或いは複数の関数を使用することができる。
動作分類3の符号化器は、レート・歪みコスト(rate−distortion cost)が最小となるイントラ予測モードを選択することができる。DC、Planar、方向性予測などの予測モードを介して生成された予測サンプルと、関数ベースの補完を行って生成された予測サンプルを用いて、レート・歪みコストを計算することができる。関数ベースの予測が補完モードとして使用される場合、FBIP_flagを第1値(例えば、1)に決定して伝送することができる。関数ベースの補完モードが使用されない場合、FBIP_flagを第2値(例えば、0)に決定して伝送することができる。
関数ベースの予測が補完モードとして使用されるときに最小コストを持つと、FBIP_flagは1に決定されて符号化できる。この場合、図5に示されたインデックスが伝送できる。このとき、インデックスはSPS、VPS、CU、CTU、TU、PU、Slice、GOP単位などの複数の段階のうちの少なくとも一つの段階を介して伝送できるのは、前述した通りである。関数ベースのモードに該当する変数グループ1又は変数グループ2についての説明は、動作分類1について説明した通りである。
図9は動作分類3を行う復号化器の動作の一実施形態を説明するための図である。
動作分類3を行う復号化器は、ビットストリームの入力を受け、エントロピー復号化、逆変換、逆量子化過程などを経て予測誤差信号を復元することができる。復元された予測誤差信号は、予測サンプルと合わせられて復元画像を得ることができる。
復号化器は、DC、Planar、方向性予測などの予測モードに基づいて予測サンプルを生成することができる(S910)。その後、FBIP_flagをビットストリームから復号化し(S920)、FBIP_flagが第2値(例えば、0)であれば(ステップS930でNo)、追加の過程なしに、前記生成された予測サンプルが最終予測サンプルとして決定できる(S970)。
FBIP_flagが第1値(例えば、1)(ステップS930でYes)であり、選択された関数ベースの予測モードに該当する変数グループ1が存在すれば、周辺参照サンプルなどを用いて、変数グループ1に該当する変数値を誘導することができる。また、選択された関数ベースの予測モードに該当する変数グループ2が存在すれば、変数グループ2に該当する変数値をビットストリームから復号化することができる(S940)。周辺参照サンプルから得た変数(変数グループ1)とさらにビットストリームからパーシングして誘導された変数(変数グループ2)のうちの少なくとも一つに基づいて関数を生成し(S950)、生成された関数を用いて予測サンプルを生成することができる(S960)。
最後に、DC、Planar、方向性予測などの予測モードを用いて生成された予測サンプル(ステップS910で生成された予測サンプル)と関数ベースの予測モードを用いて生成された予測サンプル(ステップS960で生成された予測サンプル)の重み付け和或いは重みの積によって最終予測サンプルを生成することができる(S970)。
又は、前記変数グループ1又は変数グループ2のうちの少なくとも一つを介して生成された関数を用いて、オフセットサンプルを生成することもできる。DC、Planar、方向性予測などの予測モードを介して生成された予測サンプルに対して、前記オフセットサンプルを加算又は減算して、最終予測サンプルを生成することもできる。又は、前述した関数ベースの予測モードを介して生成された予測サンプルとオフセットサンプルをすべて用いて、最終予測サンプルを生成することもできる。
動作分類3に基づいて重み付け和を計算する方法は、下記数式8に基づいて行われ得る。
前記数式8において、P´は重み付け和によって生成された予測サンプル、PはDC、Planar、方向性予測などによって生成された予測サンプル、Pは関数ベースの予測サンプル、αは重みをそれぞれ意味することができる。
動作分類3に応じて重みを乗じる方法は、下記数式9に基づいて行われ得る。
前記数式9において、P´は重みを乗じて生成された予測サンプル、PはDC、Planar、方向性予測などによって生成された予測サンプル、αは関数ベースの重みをそれぞれ意味することができる。すなわち、重みを乗じる方法は、DC、Planar、方向性予測などの予測モードによって生成された予測サンプルに関数ベースの重みを乗じる方式である。この時、例えば、正規分布関数ベースの重みを求めるときは、振幅(amplitude)を示す数式6のcが
として使用できる。
現在ブロック(例えば、PU)の周辺参照サンプルを用いて、関数(例えば、正規分布関数)ベースの予測サンプルの変数を予測することができる。現在ブロックの原信号を参照して、関数ベースの予測サンプルの変数を予測することができる。現在ブロックの予測サンプルを生成するために、関数ベースの予測サンプルを、符号化器/復号化器に既に定義されたN個の画面内予測モード(例えば、35種類の画面内予測モード)の代わりに使用することができる。
現在ブロックに対して画面内予測を行うとき、外挿法を用いた画面内予測モード(例えば、符号化器/復号化器に既に定義されたN個の画面内予測モード)に関数ベースの画面内予測モードを追加してレート・歪みコスト(Rate−distortion cost)を競争させて、さらに良い予測モードを使用することができる。現在ブロックに対して外挿法を用いた画面内予測モード(例えば、符号化器/復号化器に既に定義されたN個の画面内予測モード)と関数ベースの画面内予測モードとを重み付け和して予測サンプルとして使用することができる。現在ブロックの予測サンプルを符号化器/復号化器に既に定義されたN個の画面内予測モードに基づいて生成するとき、関数の分布に従うように予測器を実現することもできる。現在ブロックの属性に応じて、関数ベースの画面内予測技法を適用するかどうかを決定することができる。ここで、属性は、現在ブロックのサイズ、形状(例えば、正方形かどうか、横/縦方向の非正方形かどうかなど)、深さ(例えば、分割深さ)、変換係数の存否、変換スキップの有無、1次変換か2次変換か、輝度成分か色差成分かのうちの少なくとも一つを意味することができる。関数ベースの画面内予測技法は、特定の成分要素(例えば、輝度成分)に対してのみ適用できる。
現在ブロックに対して関数ベースの画面内予測を適用するかどうかは、現在ブロックの周辺ブロックから誘導できる。前記周辺ブロックは、現在ブロックの所定の位置に隣接するブロックであって、左下側、左側、左上側、上側及び右上側ブロックのうちの少なくとも一つであり得る。
図10は現在ブロックの画面内予測に利用可能な周辺の復元サンプルラインを例示的に示す図である。
図10に示すように、現在ブロックに隣接する一つ以上の復元サンプルラインを用いて、参照サンプルが構成できる。
例えば、図10に示された複数の復元サンプルラインの中からいずれか一つを選択し、選択された復元サンプルラインを用いて参照サンプルを構成することができる。前記選択された復元サンプルラインは、複数の復元サンプルラインの中から特定のラインに固定的に選択できる。又は、前記選択された復元サンプルラインは、複数の復元サンプルラインの中から特定のラインに適応的に選択できる。この時、選択される復元サンプルラインに対するインジケータがシグナリングできる。
例えば、図10に示された複数の復元サンプルラインのうちの一つ以上の復元サンプルラインの組み合わせを用いて、参照サンプルを構成することができる。一例として、参照サンプルは、一つ以上の復元サンプルの重み付け和(又は加重平均)で構成できる。前記重み付け和に用いられる重みは、現在ブロックからの距離に基づいて付与できる。この際、現在ブロックに近いほど、より大きい重みが付与でき、例えば、下記数式10が使用できる。
又は、現在ブロックからの距離又は画面内予測モードのうちの少なくとも一つに基づいて、複数の復元サンプルの平均値、最大値、最小値、中央値及び最頻値のうちの少なくとも一つの値を用いて参照サンプルを構成することができる。
又は、連続する複数の復元サンプルの値の変化(変化量)に基づいて、参照サンプルを構成することができる。例えば、連続する二つの復元サンプルの値がしきい値以上異なるかどうか、連続する複数の復元サンプルの値が連続的に又は不連続的に変化するかどうかなどの少なくとも一つに基づいて参照サンプルを構成することができる。例えば、rec[−1、−1]とrec[−2、−1]がしきい値以上異なる場合、ref[−1、−1]はrec[−1、−1]と決定されるか、rec[−1、−1]に所定の重みを与えた加重平均を適用した値と決定され得る。例えば、連続する複数の復元サンプルの値が現在ブロックに近づくほどnずつ変わる場合、参照サンプルref[−1、−1]=rec[−1、−1]−nと決定できる。
前記参照サンプルの構成に用いられる復元サンプルラインの個数、位置、構成方法のうちの少なくとも一つは、現在ブロックの上側又は左側の境界がピクチャ、スライス、タイル、符号化ツリーブロック(CTB)のうちの少なくとも一つの境界に該当する場合によって異なるように決定できる。
たとえば、復元サンプルライン1と2を用いて参照サンプルを構成するにあたり、現在ブロックの上側境界がCTB境界に該当する場合、上側に対しては復元サンプルライン1を用い、左側に対しては復元サンプルライン1及び2を用いることができる。
たとえば、復元サンプルライン1乃至4を用いて参照サンプルを構成するにあたり、現在ブロックの上側境界がCTB境界に該当する場合、上側に対しては復元サンプルライン1及び2を用い、左側に対しては復元サンプルライン1乃至4を用いることができる。
たとえば、復元サンプルライン2を用いて参照サンプルを構成するにあたり、現在ブロックの上側境界がCTB境界に該当する場合、上側に対しては復元サンプルライン1を用い、左側に対しては復元サンプルライン2を用いることができる。
上記の過程を介して構成される参照サンプルのラインは、一つ以上の複数であり得る。
前記現在ブロックの上側の参照サンプル構成方法と左側の参照サンプル構成方法とが異なり得る。
上記の方法のうちの少なくとも一つで参照サンプルを構成したことを示す情報を符号化/復号化することができる。例えば、複数の復元サンプルラインを使用したかどうかを示す情報を符号化/復号化することができる。
上述のように、複数の参照サンプルラインから誘導された一つ又は複数のラインの参照サンプルは、本発明の参照サンプルとして使用できる。
これらの実施形態は、符号化器及び復号化器で同様の方法で行われ得る。
前記実施形態を適用する順序は、符号化器と復号化器で互いに異なってもよく、符号化器と復号化器で互いに同じでもよい。
輝度及び色差信号それぞれに対して前記実施形態を行うことができ、輝度及び色差信号に対する前記実施形態を同様に行うことができる。
本発明の実施形態が適用されるブロックの形状は、正方形状(square)或いは非正方形状(non−square)を有することができる。
本発明の前記実施形態は、符号化ブロック、予測ブロック、変換ブロック、ブロック、現在ブロック、符号化ユニット、予測ユニット、変換ユニット、ユニット及び現在ユニットのうちの少なくとも一つのサイズに応じて適用できる。ここでのサイズは、前記実施形態が適用されるために、最小サイズ及び/又は最大サイズとして定義されてもよく、前記実施形態が適用される固定サイズとして定義されてもよい。また、前記実施形態は、第1サイズでは第1実施形態が適用されてもよく、第2サイズでは第2実施形態が適用されてもよい。すなわち、前記実施形態は、サイズに応じて複合的に適用できる。また、本発明の前記実施形態は、最小サイズ以上及び最大サイズ以下の場合にのみ適用されてもよい。すなわち、前記実施形態は、ブロックサイズが一定の範囲内に含まれる場合にのみ適用されてもよい。
例えば、現在ブロックのサイズが8×8以上である場合にのみ、前記実施形態が適用できる。例えば、現在ブロックのサイズが4×4である場合にのみ、前記実施形態が適用できる。例えば、現在ブロックのサイズが16×16以下である場合にのみ、前記実施形態が適用できる。例えば、現在ブロックのサイズが16×16以上であり、64×64以下である場合にのみ前記実施形態が適用できる。
本発明の実施形態は、時間的階層(temporal layer)に応じて適用できる。前記実施形態が適用可能な時間的階層を識別するために、別途の識別子(identifier)がシグナリングされ、当該識別子によって特定された時間的階層に対して前記実施形態が適用できる。ここでの識別子は、前記実施形態が適用可能な最下位階層及び/又は最上位階層と定義されてもよく、前記実施形態が適用される特定の階層を指示するものと定義されてもよい。また、前記実施形態が適用される固定された時間的階層が定義されてもよい。
例えば、現在画像の時間的階層が最下位階層である場合にのみ、前記実施形態が適用できる。例えば、現在画像の時間的階層識別子が1以上である場合にのみ、前記実施形態が適用できる。例えば、現在画像の時間的階層が最上位階層である場合にのみ、前記実施形態が適用できる。
本発明の実施形態が適用されるスライスの種類(slice type)が定義され、当 該スライスの種類に応じて本発明の前記実施形態が適用できる。
上述した実施形態において、これらの方法は、一連のステップ又はユニットでフローチャートに基づいて説明されているが、本発明は、これらのステップの順序に限定されるものではなく、あるステップは、上述したのとは異なるステップと異なる順序で又は同時に発生することができる。また、当該技術分野における通常の知識を有する者であれば、フローチャートに示されたステップが排他的ではなく、他のステップが含まれるか、フローチャートの一つ又はそれ以上のステップが本発明の範囲に影響することなく削除できることを理解することができるだろう。
上述した実施形態は、様々な態様の例示を含む。様々な態様を示すためのすべての可能な組み合わせを記述することはできないが、当該技術分野における通常の知識を有する者は、他の組み合わせが可能であることを認識することができるだろう。よって、本発明は、以下の特許請求の範囲内に属するすべての様々な交替、修正及び変更を含むといえる。
以上説明した本発明に係る実施形態は、様々なコンピュータ構成要素を介して実行できるプログラム命令の形で実現され、コンピュータ可読記録媒体に記録できる。前記コンピュータ可読記録媒体は、プログラム命令、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ可読記録媒体に記録されるプログラム命令は、本発明のために特別に設計及び構成されたもの、又はコンピュータソフトウェア分野の当業者に公知されて使用可能なものである。コンピュータ可読記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープなどの磁気媒体、CD−ROM、DVDなどの光記録媒体、フロプティカルディスク(floptical disk)などの磁気−光媒体(magneto−optical media)、及びROM、RAM、フラッシュメモリなどのプログラム命令を保存し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって作られる機械語コードだけでなく、インタプリターなどを用いてコンピュータによって実行できる高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を行うために一つ以上のソフトウェアモジュールとして作動するように構成でき、その逆も同様である。
以上で、本発明が、具体的な構成要素などの特定の事項、限定された実施形態及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明は前記実施形態に限定されるものではない。本発明の属する技術分野における通常の知識を有する者であれば、このような記載から多様な修正及び変形を図ることができる。
よって、本発明の思想は、上述した実施形態に限定されて定められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等に又は等価的に変形したすべてのものは本発明の思想の範疇に属するというべきである。
本発明は、画像の符号化/復号化に利用可能である。

Claims (1)

  1. 予測モードインデックスを復号化するステップと、
    予測モードインデックスが関数ベースの画面内予測を指示するかどうかを判断するステップと、
    予測モードインデックスが関数ベースの画面内予測を指示する場合、関数を生成するための変数を誘導するステップと、
    誘導された変数に基づいて関数を生成するステップと、
    生成された関数を用いて画面内予測を行うステップとを含む、画像復号化方法。
JP2019528700A 2016-11-29 2017-11-27 画像符号化/復号化方法、装置、及びビットストリームを保存した記録媒体 Pending JP2020501427A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023211230A JP7682984B2 (ja) 2016-11-29 2023-12-14 画像符号化/復号化方法、装置、及びビットストリームを保存した記録媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20160159884 2016-11-29
KR10-2016-0159884 2016-11-29
PCT/KR2017/013606 WO2018101687A1 (ko) 2016-11-29 2017-11-27 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023211230A Division JP7682984B2 (ja) 2016-11-29 2023-12-14 画像符号化/復号化方法、装置、及びビットストリームを保存した記録媒体

Publications (2)

Publication Number Publication Date
JP2020501427A true JP2020501427A (ja) 2020-01-16
JP2020501427A5 JP2020501427A5 (ja) 2021-01-14

Family

ID=62241484

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019528700A Pending JP2020501427A (ja) 2016-11-29 2017-11-27 画像符号化/復号化方法、装置、及びビットストリームを保存した記録媒体
JP2023211230A Active JP7682984B2 (ja) 2016-11-29 2023-12-14 画像符号化/復号化方法、装置、及びビットストリームを保存した記録媒体

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023211230A Active JP7682984B2 (ja) 2016-11-29 2023-12-14 画像符号化/復号化方法、装置、及びビットストリームを保存した記録媒体

Country Status (6)

Country Link
US (4) US10869049B2 (ja)
EP (1) EP3550835A4 (ja)
JP (2) JP2020501427A (ja)
KR (4) KR102387909B1 (ja)
CN (5) CN116962687A (ja)
WO (1) WO2018101687A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116847109A (zh) 2017-07-06 2023-10-03 Lx 半导体科技有限公司 图像编码/解码方法、发送方法和数字存储介质
CN115442598A (zh) * 2017-10-20 2022-12-06 韩国电子通信研究院 图像编码、解码方法以及存储比特流的记录介质
CN111279695B (zh) * 2017-10-26 2024-03-29 韩国电子通信研究院 用于基于非对称子块的图像编码/解码的方法及装置
KR20190139785A (ko) * 2018-06-08 2019-12-18 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2020056798A1 (zh) * 2018-09-21 2020-03-26 华为技术有限公司 一种视频编解码的方法与装置
WO2020075862A1 (ja) * 2018-10-12 2020-04-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US11616966B2 (en) * 2019-04-03 2023-03-28 Mediatek Inc. Interaction between core transform and secondary transform
KR20200119744A (ko) * 2019-04-10 2020-10-20 한국전자통신연구원 화면 내 예측에서 예측 모드 관련 신호를 시그널링하는 방법 및 장치
JP7337952B2 (ja) * 2019-04-17 2023-09-04 エルジー エレクトロニクス インコーポレイティド Bdpcmを用いた画像符号化/復号化方法、装置、及びビットストリームを伝送する方法
KR20220146663A (ko) * 2021-06-28 2022-11-01 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 비디오 복구 방법, 장치, 기기, 매체 및 컴퓨터 프로그램
WO2023091780A1 (en) * 2021-11-22 2023-05-25 Beijing Dajia Internet Information Technology Co., Ltd. Planar mode improvement for intra prediction
KR20230174182A (ko) * 2022-06-20 2023-12-27 현대자동차주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013034163A (ja) * 2011-06-03 2013-02-14 Sony Corp 画像処理装置及び画像処理方法
JP2013141187A (ja) * 2012-01-06 2013-07-18 Sony Corp 画像処理装置及び画像処理方法
WO2019009540A1 (ko) * 2017-07-06 2019-01-10 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101138393B1 (ko) * 2005-07-15 2012-04-26 삼성전자주식회사 부호화 모드에 따른 컬러 성분간 예측을 이용한 컬러 영상및 비디오 부호화/복호화 방법 및 장치
RU2523963C2 (ru) * 2010-04-23 2014-07-27 Соо Ми ОХ Устройство и способ кодирования изображения
US8902978B2 (en) * 2010-05-30 2014-12-02 Lg Electronics Inc. Enhanced intra prediction mode signaling
CA3014052C (en) * 2010-07-14 2020-12-15 Ntt Docomo, Inc. Low-complexity intra prediction for video coding
KR101562158B1 (ko) * 2010-07-15 2015-10-20 미쓰비시덴키 가부시키가이샤 동영상 부호화 장치, 동영상 복호 장치, 동영상 부호화 방법 및 동영상 복호 방법
US9025661B2 (en) * 2010-10-01 2015-05-05 Qualcomm Incorporated Indicating intra-prediction mode selection for video coding
CN105872566B (zh) * 2011-01-12 2019-03-01 三菱电机株式会社 图像编码装置和方法、以及图像译码装置和方法
JP2013034162A (ja) * 2011-06-03 2013-02-14 Sony Corp 画像処理装置及び画像処理方法
JP6034010B2 (ja) * 2011-10-24 2016-11-30 ソニー株式会社 符号化装置、符号化方法、およびプログラム
KR20130049522A (ko) * 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 방법
US8693551B2 (en) * 2011-11-16 2014-04-08 Vanguard Software Solutions, Inc. Optimal angular intra prediction for block-based video coding
US9554136B2 (en) 2011-12-05 2017-01-24 Lg Electronics Inc. Method and device for intra prediction
WO2013113997A1 (en) * 2012-02-01 2013-08-08 Nokia Corporation Method and apparatus for video coding
CN104813669B (zh) * 2012-09-21 2018-05-22 诺基亚技术有限公司 用于视频编码的方法和装置
US9813709B2 (en) * 2012-09-28 2017-11-07 Nippon Telegraph And Telephone Corporation Intra-prediction encoding method, intra-prediction decoding method, intra-prediction encoding apparatus, intra-prediction decoding apparatus, program therefor and recording medium having program recorded thereon
KR101835358B1 (ko) * 2012-10-01 2018-03-08 지이 비디오 컴프레션, 엘엘씨 향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩
KR102114252B1 (ko) 2013-07-05 2020-05-22 삼성전자 주식회사 영상을 부호화하기 위한 영상 예측 모드 결정 방법 및 장치
GB2516424A (en) * 2013-07-15 2015-01-28 Nokia Corp A method, an apparatus and a computer program product for video coding and decoding
US10142627B2 (en) * 2015-06-18 2018-11-27 Qualcomm Incorporated Intra prediction and intra mode coding
EP3142365A1 (en) * 2015-09-14 2017-03-15 Thomson Licensing Method and apparatus for encoding and decoding a light field based image, and corresponding computer program product

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013034163A (ja) * 2011-06-03 2013-02-14 Sony Corp 画像処理装置及び画像処理方法
JP2013141187A (ja) * 2012-01-06 2013-07-18 Sony Corp 画像処理装置及び画像処理方法
WO2019009540A1 (ko) * 2017-07-06 2019-01-10 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Also Published As

Publication number Publication date
KR102387909B1 (ko) 2022-04-18
KR102467487B1 (ko) 2022-11-16
KR20220051319A (ko) 2022-04-26
US20250142101A1 (en) 2025-05-01
US11503316B2 (en) 2022-11-15
WO2018101687A1 (ko) 2018-06-07
KR20240118708A (ko) 2024-08-05
JP2024026375A (ja) 2024-02-28
JP7682984B2 (ja) 2025-05-26
CN110024385B (zh) 2023-06-30
US20200021828A1 (en) 2020-01-16
US12225222B2 (en) 2025-02-11
US20230007829A1 (en) 2023-01-12
CN117041564A (zh) 2023-11-10
KR20180061027A (ko) 2018-06-07
CN110024385A (zh) 2019-07-16
CN116647679A (zh) 2023-08-25
CN116723314A (zh) 2023-09-08
EP3550835A4 (en) 2020-04-29
EP3550835A1 (en) 2019-10-09
US20210067794A1 (en) 2021-03-04
CN116962687A (zh) 2023-10-27
US10869049B2 (en) 2020-12-15
KR20220158210A (ko) 2022-11-30

Similar Documents

Publication Publication Date Title
KR102487618B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102424240B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102595070B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN111149359B (zh) 用于对图像进行编码/解码的方法和装置以及存储有比特流的记录介质
JP7682984B2 (ja) 画像符号化/復号化方法、装置、及びビットストリームを保存した記録媒体
KR20230113257A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한기록 매체
KR102668281B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20190043482A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN118301348A (zh) 图像编码/解码方法和设备以及存储比特流的记录介质
CN113841399B (zh) 图像编码/解码方法和设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230518

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230815