[go: up one dir, main page]

JP5138709B2 - 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法 - Google Patents

画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法 Download PDF

Info

Publication number
JP5138709B2
JP5138709B2 JP2010003109A JP2010003109A JP5138709B2 JP 5138709 B2 JP5138709 B2 JP 5138709B2 JP 2010003109 A JP2010003109 A JP 2010003109A JP 2010003109 A JP2010003109 A JP 2010003109A JP 5138709 B2 JP5138709 B2 JP 5138709B2
Authority
JP
Japan
Prior art keywords
intra
encoding
prediction mode
mode
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010003109A
Other languages
English (en)
Other versions
JP2010110006A (ja
Inventor
芳美 守屋
俊一 関口
和夫 杉本
悦久 山田
光太郎 浅井
篤道 村上
優一 出原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=37668575&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP5138709(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2010003109A priority Critical patent/JP5138709B2/ja
Publication of JP2010110006A publication Critical patent/JP2010110006A/ja
Application granted granted Critical
Publication of JP5138709B2 publication Critical patent/JP5138709B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、画像圧縮符号化技術や圧縮画像データ伝送技術等に用いられるデジタル画像信号符号化装置、デジタル画像信号復号装置、デジタル画像信号符号化方法、およびデジタル画像信号復号方法に関する。
従来、MPEGやITU-T H.26xなどの国際標準映像符号化方式では、主として４：２：０フォーマットと呼ばれる標準化された入力信号フォーマットの使用を前提としてきた。４：２：０とは、RGBなどのカラー動画像信号を輝度成分(Y)と２つの色差成分(Cb、Cr)に変換し、水平・垂直ともに色差成分のサンプル数を輝度成分の半分に削減したフォーマットである。色差成分は輝度成分に比べて視認性が落ちることから、従来の国際標準映像符号化方式では、このように符号化を行う前に色差成分のダウンサンプルを行うことで符号化対象の原情報量を削減しておくことを前提としていた。一方、近年のビデオディスプレイの高解像度化、高階調化に伴い、色差成分をダウンサンプルすることなく輝度成分と同一サンプルで符号化する方式についても検討が行われている。輝度成分と色差成分とがまったく同一のサンプル数のフォーマットは４：４：４フォーマットと呼ばれる。MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格(以下、AVC)では、４：４：４フォーマットを入力とする符号化方式として「ハイ４：４：４プロファイル」が策定されている。図１０に示すように、従来の４：２：０フォーマットが色差成分のダウンサンプルを前提としたためにY、Cb、Crという色空間定義にのみ限定されたのに対し、４：４：４フォーマットでは色成分間にサンプル比の区別がないため、Y、Cb、Crのほか、R,G,Bを直接使用したり、その他複数の色空間定義を利用することが可能である。４：２：０フォーマットを用いた映像符号化方式では、その色空間はY、Cb、Crに決まっていたため符号化処理中に色空間の種別を考慮する必要はなかったが、上記のAVCハイ４：４：４プロファイルにおいては色空間定義が符号化処理そのものに影響を与える方式になっている。一方で、現在のハイ４：４：４プロファイルは、Y、Cb、Cr空間で定義された４：２：０フォーマットを符号化対象とするその他のプロファイルとの互換性を考慮するため、４：４：４フォーマットの圧縮効率を最適とする設計になっているとはいえない。
MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格
たとえば、AVCの４：２：０フォーマットを符号化対象とするハイ４：２：０プロファイルでは、輝度成分１６ｘ１６画素からなるマクロブロック領域において、対応する色差成分はCb、Crとも各８ｘ８画素ブロックとなる。ハイ４：２：０プロファイルにおけるイントラマクロブロック符号化には、同一ピクチャ中の周辺サンプル値を用いた空間予測(イントラ予測)が採用されており、輝度成分と色差成分は別々のイントラ予測モードを使用することになっている。輝度成分は図３の９種類の中からもっとも予測効率の高いものを、色差成分はCb、Cr共通で図９に示す４種類の中からもっとも予測効率が高いものをイントラ予測モードとして選択する(CbとCrは別々の予測モードを使用することはできない)。また、ハイ４：２：０プロファイルにおける動き補償予測では、輝度成分に対してのみ動き補償予測の単位となるブロックサイズ情報と予測に用いる参照画像情報、各ブロックごとの動きベクトル情報を多重化し、色差成分は輝度成分と同じ情報を用いて動き補償予測を行うことになっている。このような方式は、４：２：０フォーマットが画像の構造(テクスチャ)の表現に大きく寄与する輝度成分に比べ色差成分の寄与が小さいという色空間定義の前提のもとでなりたつものである。しかしながら、現在のハイ４：４：４プロファイルは、マクロブロックあたりの色差信号のブロックサイズが１６ｘ１６画素に拡張された状態においても、４：２：０フォーマットの色差用イントラ予測モードを単純に拡張した方式となっているのみであり、また、４：２：０フォーマットのときと同様、1成分を輝度成分とみなし、1成分の情報のみしか多重化せずに3成分に共通のインター予測モード、参照画像情報および動きベクトル情報で動き補償予測が行われることになっており、画像信号の構造表現に際して各色成分が同等に寄与する４：４：４フォーマットでは必ずしも最適な予測方法とはいえない。
そこで、本発明は、上記従来技術に述べたように、４：４：４フォーマットのような色成分間にサンプル比の区別のない動画像信号を符号化するにあたり、最適性を高めた符号化装置、復号装置、符号化方法、復号方法を提供することを目的とする。
本発明にかかわる画像復号装置は、複数の色成分で構成されるカラー画像を所定の領域に分割した単位で圧縮符号化することによって生成されたビットストリームを入力として、カラー画像信号を復号する画像復号装置において、前記ビットストリームから前記領域ごとにイントラ予測モードを復号するとともに、前記領域の予測誤差信号を復号する復号部と、前記復号されたイントラ予測モードに基づいて予測画像を生成する予測画像生成部と、前記復号された予測誤差信号と前記予測画像とを加算して復号画像を生成する加算部を備え、前記復号部は、前記符号化単位となる領域ごとに各色成分共通のイントラ予測モードに基づいて予測画像を生成するか否かを示すイントラ予測モード共通化識別情報を復号し、前記予測画像生成部は、第一の色成分用の第一のイントラ予測モードセットと、前記第一のイントラ予測モードセットとは異なるその他の色成分用の第二のイントラ予測モードセットとを備え、前記イントラ予測モード共通化識別情報が各色成分共通のイントラ予測モードで復号することを示す場合には、すべての色成分に対して前記第一の色成分のイントラ予測モードに基づいて予測画像を生成するものである。
本発明の画像符号化装置、画像復号装置、画像符号化方法、画像復号方法によれば、Y、Cb、Crなどの固定された色空間に限定せず多様な色空間を利用する符号化を行う場合において、各色成分で用いるイントラ予測モード情報やインター予測モード情報を柔軟に選択できるように構成することができ、色空間の定義が種々に及ぶ場合にも最適な符号化処理を行うことができる。
実施の形態１における映像符号化装置の構成を示す説明図 実施の形態１における映像復号装置の構成を示す説明図 図１の空間予測部２で評価されるイントラ４ｘ４予測モードの予測画像生成方法を説明する説明図 図１の空間予測部２で評価されるイントラ１６ｘ１６予測モードの予測画像生成方法を説明する説明図 図１の映像符号化装置において行われるイントラ予測モード判定処理の手順を説明するフローチャート 実施の形態１における映像符号化装置から出力されるビデオビットストリームのデータ配列を示す説明図 図２の映像復号装置において行われるイントラ予測復号処理の手順を説明するフローチャート 実施の形態１における映像符号化装置から出力されるビデオビットストリームの別のデータ配列の形態を示す説明図 AVC規格における色差成分対応イントラ予測モードの予測画像生成方法を説明する説明図 従来と現在のマクロブロックを説明する説明図 実施の形態２における映像符号化装置の構成を示す説明図 実施の形態２における映像復号装置の構成を示す説明図 図１１の空間予測部２で評価されるイントラ８ｘ８予測モードの予測画像生成方法を説明する説明図 図１１の映像符号化装置において行われるイントラ符号化モード判定処理の手順を説明するフローチャート 実施の形態２における映像符号化装置から出力されるビデオビットストリームのデータ配列を示す説明図 実施の形態２における映像符号化装置から出力されるビデオビットストリームの別のデータ配列を示す説明図 図１２の映像復号装置において行われるイントラ予測復号処理の手順を説明するフローチャート 実施の形態３におけるC0成分のイントラ予測モード符号化処理のパラメータを説明する説明図 実施の形態３におけるC1成分のイントラ予測モード符号化処理のパラメータを説明する説明図 実施の形態３におけるC2成分のイントラ予測モード符号化処理のパラメータを説明する説明図 実施の形態３におけるイントラ予測モード符号化処理の流れを示すフローチャート 実施の形態３におけるイントラ予測モード符号化処理の別の流れを示すフローチャート 実施の形態３におけるイントラ予測モード復号処理の流れを示すフローチャート 実施の形態４における映像符号化装置から出力されるビデオビットストリームの別のデータ配列を示す説明図 実施の形態５におけるイントラ予測モード符号化処理の別の流れを示すフローチャート 実施の形態５におけるテーブル化された予測値設定の規則を示す説明図 実施の形態６における符号化手順を示すフローチャート 実施の形態６におけるCurrIntraPredModeの二値系列構成を示す説明図 実施の形態６におけるCurrIntraPredModeの別の二値系列構成を示す説明図 実施の形態７における映像符号化装置の構成を示す説明図 実施の形態７における映像復号装置の構成を示す説明図 マクロブロックの単位を示す説明図 実施の形態７におけるインター予測モード判定処理の流れを示すフローチャート 実施の形態７における映像符号化装置から出力されるビデオストリームのデータ配列を示す説明図 実施の形態７における可変長復号部２５で行われる処理の流れを示すフローチャート 実施の形態７における映像符号化装置から出力されるビデオストリームの別のデータ配列を示す説明図 実施の形態７における映像符号化装置から出力されるビデオストリームの別のデータ配列を示す説明図 実施の形態８におけるインター予測モード判定処理の流れを示すフローチャート 実施の形態８におけるマクロブロックのレベルにおけるビットストリームのデータ配列を示す説明図 実施の形態８におけるインター予測画像生成処理の流れを示すフローチャート 実施の形態８におけるマクロブロックのレベルにおけるビットストリームの別のデータ配列を示す説明図 実施の形態８におけるマクロブロックのレベルにおけるビットストリームの別のデータ配列を示す説明図 実施の形態９におけるインター予測モード判定処理の流れを示すフローチャート 実施の形態９におけるインター予測画像生成処理の流れを示すフローチャート 動きベクトル符号化部の構成を示す説明図 動きベクトル符号化部の動作を示す説明図 動きベクトル復号部の構成を示す説明図 ビットストリームシンタックスの様子を示す説明図 実施の形態１１におけるマクロブロック符号化データの構成を示す説明図 実施の形態１１における図４９中のCn成分ヘッダ情報の符号化データの詳細構成を示す説明図 実施の形態１１におけるマクロブロック符号化データの別の構成を示す説明図 実施の形態１１におけるビットストリームの構成を示す説明図 実施の形態１１におけるスライスの構成を示す説明図 実施の形態１２における可変長符号化部１１の算術符号化処理に関わる内部構成を示す説明図 実施の形態１２における可変長符号化部１１の算術符号化処理の流れを示すフローチャート 実施の形態１２における図５５中のステップＳ１６２の処理の詳細な流れを示す説明図 コンテクストモデル(ctx)の概念を示す説明図 マクロブロックの動きベクトルに関するコンテクストモデルの例を示す説明図 実施の形態１２における可変長復号部２５の算術復号処理に関わる内部構成を示す説明図 実施の形態１２における可変長復号部２５の算術復号処理の流れを示すフローチャート 実施の形態１２におけるコンテクストモデル１１ｆを示す説明図 実施の形態１２におけるカレントマクロブロックのモードの違いを示す説明図 実施の形態１３における符号化装置・復号装置の構成を示す説明図 実施の形態１３における映像符号化装置の構成を示す説明図 実施の形態１３における映像復号装置の構成を示す説明図 実施の形態１４における共通符号化処理を示す説明図 実施の形態１４における独立符号化処理を示す説明図 実施の形態１４の符号化装置・復号装置におけるピクチャ間の時間方向の動き予測参照関係を示す説明図 実施の形態１４の符号化装置で生成され実施の形態１４の復号装置が入力・復号処理の対象とするビットストリームの構造の一例を示す説明図 共通符号化処理、独立符号化処理それぞれの場合のスライスデータのビットストリーム構成を示す説明図 実施の形態１４の符号化装置の概略構成を示す説明図 符号化装置側での処理遅延を小さくする様子を示す説明図 第１のピクチャ符号化部の内部構成を示す説明図 第２のピクチャ符号化部の内部構成を示す説明図 実施の形態１４の復号装置の概略構成を示す説明図 第１のピクチャ復号部の内部構成を示す説明図 第２のピクチャ復号部の内部構成を示す説明図 色空間変換処理を施した第１のピクチャ符号化部の内部構成を示す説明図 色空間変換処理を施した第１のピクチャ符号化部の内部構成を示す説明図 逆色空間変換処理を施した第１のピクチャ符号化部の内部構成を示す説明図 逆色空間変換処理を施した第１のピクチャ符号化部の内部構成を示す説明図 従来のYUV４：２：０フォーマットのビットストリームに含まれるマクロブロックヘッダ情報の符号化データの構成を示す説明図 従来のYUV４：２：０フォーマットのビットストリームに対する互換性を確保する第１のピクチャ復号部の予測部４６１の内部構成を示す説明図 実施の形態１５における多重化する符号化データのビットストリームの構成を示す説明図 AUD NALユニットで始まるアクセスユニット内のピクチャデータが符号化される際のピクチャ符号化タイプの情報を示す説明図 実施の形態１５における多重化する符号化データのビットストリームの構成を示す説明図
実施の形態１．
本実施の形態１では、４：４：４フォーマットで入力される映像フレームを１６×１６画素の矩形領域(マクロブロック)に均等分割した単位でフレーム内に閉じた符号化を行う符号化装置、および対応する復号装置について説明する。また、本符号化装置、復号装置は非特許文献１であるMPEG-4AVC(ISO/IEC 14496-10)/ITU-T H.264規格で採用される符号化方式をベースとして、本発明に固有の特徴を付与したものとする。
図１に、本実施の形態１における映像符号化装置の構成を、図２に本実施の形態１における映像復号装置の構成を示す。図２において、図１の符号化装置の構成要素と同じ番号が付されている要素は同一の要素であることを示す。
以下、これらの図に基づいて符号化装置ならびに復号装置全体の動作と、本実施の形態１の特徴的な動作であるイントラ予測モード判定処理およびイントラ予測復号処理について説明する。
１．符号化装置の動作概要
図１の符号化装置において、入力映像信号１は、個々の映像フレームが４：４：４フォーマットで入力される。入力される映像フレームは、図１０に示すように、３つの色成分を同一サイズの16画素×16画素のブロックに分割してまとめたマクロブロック単位で符号化装置に入力されるものとする。
まず、空間予測部２において、メモリ１６に格納される局部復号画像１５を用いて、該マクロブロックの単位で、各色成分ごとにイントラ予測処理が行われる。メモリは各色成分ごとに３面用意される（本実施の形態では３面として説明するが、設計により適宜変更してよい）。イントラ予測のモードには、図３に示す4画素×4ラインのブロックの単位でその周辺画素を用いた空間予測を行うイントラ４ｘ４予測モード、図４に示す16画素×16ラインのマクロブロックの単位でその周辺画素を用いた空間予測を行うイントラ１６ｘ１６予測モードがある。
(a)イントラ４ｘ４予測モード
マクロブロック内の輝度信号16×16画素ブロックを4×4画素ブロックで構成される16個のブロックに分割し、図３に示す９つのモードのいずれかを4×4画素ブロック単位に選択する。すでに符号化を終え、局部復号処理されてメモリ１６に格納された周囲のブロック（左上、上、右上、左）の画素を予測画像生成に用いる。
Intra4x4_pred_mode = 0: 隣接する上部の画素をそのまま予測画像として使用する。
Intra4x4_pred_mode = 1: 隣接する左部の画素をそのまま予測画像として使用する。
Intra4x4_pred_mode = 2: 隣接する8つの画素の平均値を予測画像として使用する。
Intra4x4_pred_mode = 3: 隣接する画素から2〜3画素ごとに加重平均を求め予測画像として使用する(右45度エッジに対応)。
Intra4x4_pred_mode = 4: 隣接する画素から2〜3画素ごとに加重平均を求め予測画像として使用する(左45度エッジに対応)。
Intra4x4_pred_mode = 5: 隣接する画素から2〜3画素ごとに加重平均を求め予測画像として使用する(左22.5度エッジに対応)。
Intra4x4_pred_mode = 6: 隣接する画素から2〜3画素ごとに加重平均を求め予測画像として使用する(左67.5度エッジに対応)。
Intra4x4_pred_mode = 7: 隣接する画素から2〜3画素ごとに加重平均を求め予測画像として使用する(右22.5度エッジに対応)。
Intra4x4_pred_mode = 8: 隣接する画素から2〜3画素ごとに加重平均を求め予測画像として使用する(左112.5度エッジに対応)。
イントラ４ｘ４予測モードを選択する場合、マクロブロックあたりのモード情報は16個必要となる。したがって、モード情報自体の符号量を削減するため、モード情報は隣接するブロック間との相関が高いことを利用して、隣接するブロックのモード情報から予測符号化を行う。
(b)イントラ１６ｘ１６予測モード
マクロブロックサイズに相当する16×16画素ブロックを一度に予測するモードであり、図４に示す4つのモードのいずれかをマクロブロック単位に選択する。イントラ４ｘ４予測モードと同様、すでに符号化を終え、局部復号処理されてメモリ１６に格納された周囲のマクロブロック（左上、上、左）の画素を予測画像生成に用いる。
Intra16x16_pred_mode = 0: 上マクロブロックの最下辺の16画素を予測画像として使用する。
Intra16x16_pred_mode = 1: 左マクロブロックの最右辺の16画素を予測画像として使用する。
Intra16x16_pred_mode = 2: 上マクロブロックの最下辺の16画素(図４のA部分)と左マクロブロックの最左辺の16画素(図４のB部分)の合計32画素の平均値を予測画像として使用する。
Intra16x16_pred_mode = 3: 左上のマクロブロックの右下隅の画素、上マクロブロックの最下辺の15画素(白抜き画素を除いた部分)、左マクロブロックの最右辺の15画素(白抜き画素を除いた部分)の合計31画素を用いて所定の演算処理（使用する画素と予測する画素位置に応じた重み付け加算処理）により予測画像を得る。
本実施の形態１における映像符号化装置は、イントラ予測モード共通化識別フラグ２３に基づき、３つの色成分に対するイントラ予測処理方法を切り替えることを特徴とする。この点については、下記２で詳しく述べる。
空間予測部２では、図３や図４に示した全モードないしはサブセットに対して予測処理を実行して減算器３により予測差分信号４を得る。予測差分信号４は符号化モード判定部５においてその予測効率が評価され、空間予測部２で実行した予測処理の中から、予測対象のマクロブロックに対して最適な予測効率が得られる予測モードを符号化モード６として出力する。ここで、符号化モード６は、イントラ４ｘ４予測モードを用いるか、イントラ１６ｘ１６予測モードを用いるかの判別情報(図６のイントラ符号化モードに相当)とともに、予測単位領域あたりで使用する個々の予測モード情報(上記Intra4x4_pred_mode ないしはIntra16x16_pred_mode)も含むものとする。予測単位領域は、イントラ４ｘ４予測モードの場合は4x4画素ブロック、イントラ１６ｘ１６予測モードの場合は16x16画素ブロックに相当する。符号化モード６の選定にあたっては、符号化制御部１９の判断で定まる各符号化モードに対する重み係数２０が加味されることもある。符号化モード判定部５において符号化モード６を用いて得られる最適な予測差分信号４は、直交変換部８へ出力される。直交変換部８は入力される予測差分信号４を変換し直交変換係数として量子化部９へ出力する。量子化部９は入力される直交変換係数を、符号化制御部１９によって定まる量子化パラメータ２１に基づいて量子化を行い、量子化済み変換係数１０として可変長符号化部１１へ出力する。量子化済み変換係数１０は、可変長符号化部１１にてハフマン符号化や算術符号化などの手段によりエントロピー符号化される。また、量子化済み変換係数１０は逆量子化部１２、逆直交変換部１３を経て局部復号予測差分信号１４へ復元され、符号化モード６に基づいて生成される予測画像７と加算器１８で加算することで局部復号画像１５が生成される。局部復号画像１５は以降のイントラ予測処理に用いるためメモリ１６へ格納される。また、可変長符号化部１１には、当該マクロブロックに対してデブロッキングフィルタを施すか否かを示すデブロッキングフィルタ制御フラグ２４も入力される(空間予測部２で実施される予測処理には、デブロッキングフィルタが施される前の画素データをメモリ１６に格納して用いるのでデブロッキングフィルタ処理自体は符号化処理には必要はないが、復号装置側ではデブロッキングフィルタ制御フラグ２４の指示によってデブロッキングフィルタを行って最終的な復号画像を得る)。
可変長符号化部１１に入力されるイントラ予測モード共通化識別フラグ２３、量子化済み変換係数１０、符号化モード６、量子化パラメータ２１は所定の規則(シンタックス)に従ってビットストリームとして配列・整形され、送信バッファ１７へ出力される。送信バッファ１７では符号化装置が接続される伝送路の帯域や記録媒体の読み出し速度に合わせてビットストリームを平滑化してビデオストリーム２２として出力する。また、送信バッファ１７中のビットストリーム蓄積状況に応じて符号化制御部１９へフィードバック情報を出力し、以降の映像フレームの符号化における発生符号量を制御する。
２．符号化装置におけるイントラ予測モード判定処理
本実施の形態１の符号化装置の特徴であるイントラ予測モード判定処理について詳述する。本処理は上記3つの色成分をまとめたマクロブロックの単位で実施され、主として、図１の符号化装置における空間予測部２、符号化モード判定部５によって行われる。また、本処理の流れを示すフローチャートを図５に示す。以下、ブロックを構成する3つの色成分の画像データをC0、C1、C2とする。
まず、符号化モード判定部５は、イントラ予測モード共通化識別フラグ２３を受け取り、その値に基づいてC0、C1、C2で共通のイントラ予測モードを使用するか否かを判断する(図５のステップS1)。共通化する場合はステップS2以降へ、共通化しない場合はステップS5以降へ進む。
イントラ予測モードをC0、C1、C2で共通化する場合は、符号化モード判定部５は空間予測部２に対して、選択しうるすべてのイントラ4x4予測モードを通知し、空間予測部２はそのすべての予測効率を評価して、C0、C1、C2で共通の最適なイントラ4x4予測モードを選択する(ステップS2)。次いで、符号化モード判定部５は空間予測部２に対して、選択しうるすべてのイントラ16x16予測モードを通知し、空間予測部２はそのすべての予測効率を評価して、C0、C1、C2で共通の最適なイントラ16x16予測モードを選択する(ステップS3)。符号化モード判定部５はステップS2、S3で得たモードのうちより予測効率上最適なモードを最終的に選択して(ステップS4)、処理を終了する。
イントラ予測モードをC0、C1、C2で共通化せず、C0、C1、C2でそれぞれ一番よいモードを選択する場合は、符号化モード判定部５は空間予測部２に対して、Ci (i<=0<3)成分で選択しうるすべてのイントラ4x4予測モードを通知し、空間予測部２はそのすべての予測効率を評価して、Ci (i<=0<3)成分における最適なイントラ4x4予測モードを選択する(ステップS6)。同様に最適なイントラ16x16予測モードを選択する(ステップS7)。最後にステップS8にてCi (i<=0<3)成分における最適なイントラ予測モードを判定する。
空間予測部２で行われる予測モードの予測効率評価の規範としてはたとえば、Jm = Dm + λRm(λ：正数)
で与えられるレート・ひずみコストを用いることができる。ここで、Dmはイントラ予測モードmを適用した場合の符号化歪または予測誤差量である。符号化歪とは、イントラ予測モードmを適用して予測誤差を得、予測誤差を変換・量子化した結果から映像を復号して符号化前の信号に対する誤差を計測するものである。予測誤差量は、イントラ予測モードmを適用した場合の予測画像と符号化前の信号との差分を得、その差分の大きさを定量化したもので、たとえば差分絶対値和(Sum of Absolute Distance: SAD)などが用いられる。Rmはイントラ予測モードmを適用した場合の発生符号量である。つまり、Jmはイントラ予測モードmを適用した場合の符号量と劣化度とのトレードオフを規定する値であり、最小のJmを与えるイントラ予測モードmが最適解を与える。
符号化装置がステップS2以降の処理を行った場合、イントラ予測モードの情報は、３つの色成分を含むマクロブロックに対して１つ割り当てられる。一方、ステップS5以降の処理を行った場合は、各色成分に対してそれぞれイントラ予測モード情報が割り当てられる。したがって、マクロブロックに対して割り当てられるイントラ予測モードの情報が異なるため、符号化装置がS2以降の処理過程を行ったか、S5以降の処理過程を行ったかはイントラ予測モード共通化識別フラグ２３をビットストリームに多重化して復号装置側で認識できるようにする必要がある。このようなビットストリームのデータ配列を図６に示す。
同図はマクロブロックのレベルにおけるビットストリームのデータ配列を示しており、イントラ符号化モード２８はイントラ4x4かイントラ16x16かを判別する情報、基本イントラ予測モード２９はイントラ予測モード共通化識別フラグ２３が「C0、C1、C2で共通」であることを示す場合は共通イントラ予測モード情報を示し、「C0、C1、C2で共通」でないことを示す場合はC0に対するイントラ予測モード情報を示す。拡張イントラ予測モード３０は、イントラ予測モード共通化識別フラグ２３が「C0、C1、C2で共通」でないことを示す場合にのみ多重化され、C1、C2に対するイントラ予測モード情報を示す。ついで量子化パラメータ２１、量子化済み変換係数１０が多重化される。図１における符号化モード６は、上記イントラ符号化モード２８とイントラ予測モード(基本・拡張)を総称したものである(図６には図１で可変長符号化部１１に入力されているデブロッキングフィルタ制御フラグ２４が含まれていないが、本実施の形態１の特徴を説明するために必要な構成要素ではないため割愛している)。
従来の映像符号化標準で採用されてきた４：２：０フォーマットでは、色空間の定義がY、Cb、Crに固定されていたが、４：４：４フォーマットではY、Cb、Crに限定せず多様な色空間を利用することができる。図６のようにイントラ予測モード情報を構成することで、入力映像信号１の色空間の定義が種々に及ぶ場合にも最適な符号化処理を行うことができる。たとえば、色空間がRGBで定義される場合はR、G、Bの各成分には均等に映像テクスチャの構造が残存しているため、共通のイントラ予測モード情報を用いることでイントラ予測モード情報自体の冗長性を削減して符号化効率を高めることができる。一方、Y、Cb、Crで色空間が定義される場合、映像テクスチャの構造はYに集約されるため、必ずしも共通のイントラ予測モードが最適な結果を与えるわけではない。そこで、拡張イントラ予測モード３０を適応的に利用することで最適な符号化効率を得ることができる。
３．復号装置の動作概要
図２の復号装置は、図１の符号化装置から出力される図６の配列に従うビデオストリーム２２を受信して、３つの色成分が同一サイズ(４：４：４フォーマット)のマクロブロックの単位で復号処理を行い、個々の映像フレームを復元するものとする。
まず、可変長復号部２５はストリーム２２を入力とし、所定の規則(シンタックス)に従ってストリーム２２を解読して、イントラ予測モード共通化識別フラグ２３、量子化済み変換係数１０、符号化モード６、量子化パラメータ２１などの情報を抽出する。量子化済み変換係数１０は量子化パラメータ２１とともに逆量子化部１２へ入力され、逆量子化処理が行われる。ついでその出力が逆直交変換部１３へ入力され、局部復号予測差分信号１４へ復元される。一方、空間予測部２に対しては符号化モード６とイントラ予測モード共通化識別フラグ２３が入力され、これらの情報に従って予測画像７を得る。予測画像７を得る具体的な手順については後述する。局部復号予測差分信号１４と予測画像７は加算器１８により加算され、暫定復号画像１５を得る(これは符号化装置における局部復号画像１５とまったく同じ信号である)。暫定復号画像１５は以降のマクロブロックのイントラ予測に用いられるためメモリ１６へ書き戻される。メモリは各色成分ごとに３面用意される（本実施の形態では３面として説明するが、設計により適宜変更してよい）。また、可変長符号化部２５によって解読されたデブロッキングフィルタ制御フラグ２４の指示に基づいてデブロッキングフィルタ２６を暫定復号画像１５に対して作用させ、最終的な復号画像２７を得る。
４．復号装置におけるイントラ予測復号処理
本実施の形態１の復号装置の特徴であるイントラ予測画像生成処理について詳述する。本処理は上記3つの色成分をまとめたマクロブロックの単位で実施され、主として、図２の復号装置における可変長復号部２５、空間予測部２によって行われる。また、本処理の流れを示すフローチャートを図７に示す。
図７のフローチャートのうち、S10〜S14は可変長復号部２５において行われる。可変長復号部２５への入力であるビデオストリーム２２は、図６のデータ配列に従うものとする。ステップS10では図６のデータのうちイントラ符号化モード２８がまず復号され、ついでイントラ予測モード共通化識別フラグ２３が復号される(ステップS11)。さらに基本イントラ予測モード２９が復号される(ステップS12)。ステップS13では、イントラ予測モード共通化識別フラグ２３の結果を用いてイントラ予測モードをC0、C1、C2で共通化するかどうかを判断し、共通化の場合はC0、C1、C2のすべてに対して基本イントラ予測モード２９を用いることとし、共通化しない場合は基本イントラ予測モード２９をC0のモードとして使用し、さらに拡張イントラ予測モード３０を復号して(ステップS14)、C1,C2のモード情報を得る。以上の処理過程を経て各色成分の符号化モード６が確定するため、これを空間予測部２へ出力し、ステップS15〜S17にしたがって各色成分のイントラ予測画像を得る。イントラ予測画像を得るプロセスは図３、図４の手順に従うもので図１の符号化装置で行う処理と同じである。
図８に、図６のビットストリームデータ配列のバリエーションを示す。図７では、イントラ予測モード共通化識別フラグ２３は、マクロブロックレベルのフラグとしてでなく、スライス、ピクチャ、シーケンスなどの上位データレイヤに位置するフラグとして多重化され、かつ、拡張イントラ予測モード３０の符号語を定義する符号テーブルを複数あるうちのいずれかから選択できるよう、拡張イントラ予測モードテーブル指示フラグ３１を備えるようにした。これにより、スライス以上の上位レイヤでの切り替えで十分な予測効率が確保できる場合は、マクロブロックレベルでイントラ予測モード共通化識別フラグ２３を逐一多重化することなくオーバヘッドビットを削減できる。また、拡張イントラ予測モード３０については、拡張イントラ予測モードテーブル指示フラグ３１を設けることにより、基本イントラ予測モード２９と同一の定義でなく、C1、C2成分に特化した予測モードの定義を選択することが可能となり、色空間の定義に適応した符号化処理を行うことが可能となる。たとえば、AVCの４：２：０フォーマットの符号化では、色差成分(Cb、Cr)に対しては、輝度（Y）とは異なるイントラ予測モードセットが定義されている。４：２：０フォーマットではマクロブロック内の色差信号は8画素×8ラインであり、図９に示す4つのモードのいずれかをマクロブロック単位に選択して復号処理を行う。色差信号はCbとCrの2種類があるが、同じモードを使用する。intra_chroma_pred_mode = 0のDC予測を除いては、図４のイントラ16×16予測モードと同様の予測処理となるが、DC予測では8×8ブロックを4つの4×4ブロックに分割し、それぞれのブロックごとに平均値を求める画素の位置を変更して処理を行う。同図で「a+x, a or x」となっているブロックは、画素aと画素xが共に利用可能な場合にはaとxの8画素、aのみが利用可能な場合にはaの4画素、xのみ利用可能な場合にはxの4画素のみを用いて平均値を求め、予測画像７として使用する。aとxともに利用不可能な場合には値128を予測画像７として使用する。「b or x」となっているブロックは、画像bが利用可能な場合にはbの4画素を、画素xのみが利用可能な場合にはxの4画素を用いて平均値を求める。
このように、色成分の性質に応じてイントラ予測モードのセットに変更を要する場合、図８のシンタックスのような構成により、より最適な符号化効率を得ることができる。
実施の形態２．
本実施の形態２では、４：４：４フォーマットで入力される映像フレームを１６×１６画素の矩形領域(マクロブロック)に均等分割した単位でフレーム内に閉じた符号化を行う別の符号化装置、および対応する復号装置について説明する。本符号化装置、復号装置は実施の形態１と同様、非特許文献１であるMPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格で採用される符号化方式をベースとして、本発明に固有の特徴を付与したものとする。
図１１に、本実施の形態２における映像符号化装置の構成を、図１２に本実施の形態２における映像復号装置の構成を示す。図１１において、図１の符号化装置の構成要素と同じ番号が付されている要素は同一の要素であることを示す。図１２において、図１１の符号化装置の構成要素と同じ番号が付されている要素は同一の要素であることを示す。図１１における３２は変換ブロックサイズ識別フラグであり、３３はイントラ符号化モード共通化識別フラグである。
以下、これらの図に基づいて本実施の形態２の符号化装置ならびに復号装置全体の動作と、本実施の形態２の特徴的な動作であるイントラ符号化・予測モード判定処理およびイントラ予測復号処理について説明する。
１．符号化装置の動作概要
図１１の符号化装置において、入力映像信号１は、個々の映像フレームが４：４：４フォーマットであって、かつ３つの色成分が図１０に示すように同一サイズのマクロブロックに分割してまとめられた単位で符号化装置に入力されるものとする。
空間予測部２においては、メモリ１６に格納される局部復号画像１５を用いて、該マクロブロックの単位で、各色成分ごとにイントラ予測処理が行われる。イントラ予測のモードには、図３に示す４画素×４ラインのブロックの単位でその周辺画素を用いた空間予測を行うイントラ４ｘ４予測モード、図１３に示す８画素×８ラインのブロックの単位でその周辺画素を用いた空間予測を行うイントラ８ｘ８予測モード、図４に示す１６画素×１６ラインのマクロブロックの単位でその周辺画素を用いた空間予測を行うイントラ１６ｘ１６予測モードがある。本実施の形態２における符号化装置では、変換ブロックサイズ識別フラグ３２の状態に従ってイントラ４ｘ４予測モードとイントラ８ｘ８予測モードとを切り替えて用いる。あるマクロブロックを４ｘ４予測、８ｘ８予測、１６ｘ１６予測のいずれのイントラ予測モードを用いて符号化するかは、図６と同様にイントラ符号化モードで表現できる。本実施の形態２における符号化装置では、イントラ符号化モードとして、イントラ４ｘ４予測モードかイントラ８ｘ８予測モードかのいずれかを用いて符号化を行うイントラＮｘＮ予測符号化モード(Ｎは４ないしは８)と、イントラ１６ｘ１６予測モードを用いて符号化を行うイントラ１６ｘ１６予測符号化モードの２種類を設ける。以下、イントラ符号化モード別に説明を進める。
(a)イントラＮｘＮ予測符号化モード
マクロブロック内の輝度信号１６ｘ１６画素ブロックを４ｘ４画素ブロックで構成される１６個のブロックに分割し、各４ｘ４画素ブロックに対して個別に予測モードを選択するイントラ４ｘ４予測モードと、マクロブロック内の輝度信号１６ｘ１６画素ブロックを８ｘ８画素ブロックで構成される４個のブロックに分割し、各８ｘ８画素ブロックに対して個別に予測モードを選択するイントラ８ｘ８予測モードとを選択的に切り替えながら符号化を行うモードである。イントラ４ｘ４予測モードとイントラ８ｘ８予測モードの切り替えは、変換ブロックサイズ識別フラグ３２の状態に連動する。この点は後述する。イントラ４ｘ４予測モードについては、実施の形態１で説明したように、図３に示す９つのモードのいずれかを４ｘ４画素ブロック単位に選択する。すでに符号化を終え、局部復号処理されてメモリ１６に格納された周囲のブロック（左上、上、右上、左）の画素を予測画像生成に用いる。
一方、イントラ８ｘ８予測モードは、図１３に示す９つのモードのいずれかを８ｘ８画素ブロック単位に選択する。図３との対比で明らかなように、イントラ４ｘ４予測モードの予測方法を８ｘ８画素ブロックに適合するように変更を加えたものである。
Intra8x8_pred_mode = 0: 隣接する上部の画素をそのまま予測画像として使用する。
Intra8x8_pred_mode = 1: 隣接する左部の画素をそのまま予測画像として使用する。
Intra8x8_pred_mode = 2: 隣接する8つの画素の平均値を予測画像として使用する。
Intra8x8_pred_mode = 3: 隣接する画素から2〜3画素ごとに加重平均を求め予測画像として使用する(右45度エッジに対応)。
Intra8x8_pred_mode = 4: 隣接する画素から2〜3画素ごとに加重平均を求め予測画像として使用する(左45度エッジに対応)。
Intra8x8_pred_mode = 5: 隣接する画素から2〜3画素ごとに加重平均を求め予測画像として使用する(左22.5度エッジに対応)。Intra8x8_pred_mode = 6: 隣接する画素から2〜3画素ごとに加重平均を求め予測画像として使用する(左67.5度エッジに対応)。
Intra8x8_pred_mode = 7: 隣接する画素から2〜3画素ごとに加重平均を求め予測画像として使用する(右22.5度エッジに対応)。
Intra8x8_pred_mode = 8: 隣接する画素から2〜3画素ごとに加重平均を求め予測画像として使用する(左112.5度エッジに対応)。
イントラ４ｘ４予測モードを選択する場合、マクロブロックあたりのモード情報は１６個必要となる。したがって、モード情報自体の符号量を削減するため、モード情報は隣接するブロック間との相関が高いことを利用して、隣接するブロックのモード情報から予測符号化を行う。同様にイントラ８ｘ８予測モードを選択する場合も隣接するブロック間でイントラ予測モードの相関が高いことを利用して、隣接するブロックのモード情報から予測符号化を行う。
(b)イントラ１６ｘ１６予測符号化モード
マクロブロックサイズに相当する１６ｘ１６画素ブロックを一度に予測するモードであり、図４に示す４つのモードのいずれかをマクロブロック単位に選択する。イントラ４ｘ４予測モードと同様、すでに符号化を終え、局部復号処理されてメモリ１６に格納された周囲のマクロブロック（左上、上、左）の画素を予測画像生成に用いる。モード種別は実施の形態１における図４の説明の通りである。イントラ１６ｘ１６予測符号化モードでは、変換ブロックサイズは常に４ｘ４とする。ただし、まず４ｘ４ブロック単位のDC(直流成分、平均値)を１６個分集め、その単位で４ｘ４ブロック変換を行い、DC分を除いた残りの交流成分を４ｘ４ブロックごとに変換する２段階の変換を施す。
本実施の形態２における映像符号化装置は、イントラ符号化モード共通化識別フラグ３３に基づき、３つの色成分に対するイントラ予測・変換・符号化方法を切り替えることを特徴とする。この点については、下記２で詳しく述べる。
空間予測部２では、入力される３つの色成分の信号に対して、イントラ符号化モード共通化識別フラグ３３の指示に基づいてイントラ予測モードの評価を行う。イントラ符号化モード共通化識別フラグ３３は、入力される３つの色成分それぞれについて個別にイントラ符号化モードを割り当てるか、３成分すべてに同じイントラ符号化モードを割り当てるかを指示する。これは以下の背景による。
４：４：４フォーマットでは、従来から符号化に用いられてきたY、Cb、Cr色空間以外に、RGBを直接利用することも可能である。Y、Cb、Cr色空間は、Cb、Crの信号から映像のテクスチャ構造に依存する成分が取り除かれる。Y成分とCb、Cr２成分との間では最適なイントラ符号化方法が変化する確率が高い。(現に、ハイ４：２：０プロファイルなど、AVC/H.264の４：２：０フォーマットを対象とする符号化方式では、Y成分とCb、Cr成分で用いるイントラ予測モードの設計が異なっている)。一方、RGB色空間で符号化を行う場合は、Y、Cb、Cr色空間のように色成分間でのテクスチャ構造の除去を行わず、同一空間上の信号成分は相関が高くなるため、イントラ符号化モードを共通的に選択できるように構成することで符号化効率を高められる可能性がある。この点は、色空間の定義だけでなく、ある特定の色空間を使用したとしても映像の性質によって左右される点であり、符号化方式自体は、そういった映像信号の性質に適応的に対応できることが望ましい。そこで、本実施の形態ではイントラ符号化モード共通化識別フラグ３３を設け、４：４：４フォーマット映像に対する柔軟な符号化を行うことができるよう符号化装置を構成した。
空間予測部２では、以上のように設定されるイントラ符号化モード共通化識別フラグ３３の状態に応じて、図３や図４、図１３に示した全イントラ予測モードないしは所定のサブセットに対して各色成分に対する予測処理を実行して減算器３により予測差分信号４を得る。予測分信号４は符号化モード判定部５においてその予測効率が評価され、空間予測部２で実行した予測処理の中から、対象のマクロブロックに対して最適な予測効率が得られるイントラ予測モードを選択する。ここで、イントラＮｘＮ予測が選ばれた場合、符号化モード６としてイントラＮｘＮ予測符号化モードを出力するとともに、予測モードがイントラ４ｘ４予測であった場合は、変換ブロックサイズ識別フラグ３２を「４ｘ４ブロックサイズでの変換」に設定する。また、予測モードがイントラ８ｘ８予測であった場合は、変換ブロックサイズ識別フラグ３２を「８ｘ８ブロックサイズでの変換」に設定する。変換ブロックサイズ識別フラグ３２の決定方法については様々な方法が考えられるが、本実施の形態２における符号化装置では、イントラＮｘＮ予測によって得られる残差に対して変換を行う場合のブロックサイズを定めるため、符号化モード判定部５において最適なイントラＮｘＮ予測モードが定まった後、そのＮ値にあわせて決定する方法が基本である。例えば、イントラ４ｘ４予測モードを用いる場合に変換ブロックサイズを８ｘ８画素ブロックとすると、予測の結果得られる予測差分信号４において４ｘ４ブロックの単位で予測信号の空間的連続性が断絶される可能性が高くなり、無駄な高周波成分が発生するため、変換による信号電力集中化の効果が薄れる。変換ブロックサイズを予測モードにあわせて４ｘ４画素ブロックとしておけば、このような問題は発生しない。
符号化モード判定部５においてイントラ１６ｘ１６予測が選ばれた場合、符号化モード６としてイントラ１６ｘ１６予測符号化モードを出力する。なお、符号化モード６の選定にあたっては、符号化制御部１９の判断で定まる各符号化モードに対する重み係数２０が加味されることもある。
符号化モード６によって得られる予測差分信号４は直交変換部８へ出力される。直交変換部８は入力される予測差分信号を変換し直交変換係数として量子化部９へ出力する。量子化部９は入力される直交変換係数を、符号化制御部１９によって定まる量子化パラメータ２１に基づいて量子化を行い、量子化済み変換係数１０として可変長符号化部１１へ出力する。
変換ブロックサイズが４ｘ４ブロック単位の場合、直交変換部８に入力される予測差分信号４は、４ｘ４ブロック単位に分割され直交変換され、量子化部９にて量子化が行われる。変換ブロックサイズが８ｘ８ブロック単位の場合、直交変換部８に入力される予測差分信号４は、８ｘ８ブロック単位に分割され直交変換され、量子化部９にて量子化が行われる。
量子化済み変換係数１０は、可変長符号化部１１にてハフマン符号化や算術符号化などの手段によりエントロピー符号化される。また、量子化済み変換係数１０は変換ブロックサイズ識別フラグ３２などに基づくブロックサイズにて逆量子化部１２、逆直交変換部１３を経て局部復号予測差分信号１４へ復元され、符号化モード６に基づいて生成される予測画像７と加算器１８で加算することで局部復号画像１５が生成される。局部復号画像１５は以降のイントラ予測処理に用いるためメモリ１６へ格納される。また、可変長符号化部１１には、当該マクロブロックに対してデブロッキングフィルタを施すか否かを示すデブロッキングフィルタ制御フラグ２４も入力される(空間予測部２で実施される予測処理には、デブロッキングフィルタが施される前の画素データをメモリ１６に格納して用いるのでデブロッキングフィルタ処理自体は符号化処理には必要はないが、復号装置側ではデブロッキングフィルタ制御フラグ２４の指示によってデブロッキングフィルタを行って最終的な復号画像を得る)。
可変長符号化部１１に入力されるイントラ符号化モード共通化識別フラグ３３、量子化済み変換係数１０、符号化モード６、量子化パラメータ２１は所定の規則(シンタックス)に従ってビットストリームとして配列・整形され、送信バッファ１７へ出力される。送信バッファ１７では符号化装置が接続される伝送路の帯域や記録媒体の読み出し速度に合わせてビットストリームを平滑化してビデオストリーム２２として出力する。また、送信バッファ１７中のビットストリーム蓄積状況に応じて符号化制御部１９へフィードバック情報を出力し、以降の映像フレームの符号化における発生符号量を制御する。
２．符号化装置におけるイントラ符号化モード・予測モード判定処理
本実施の形態２の符号化装置の特徴であるイントラ符号化モードおよびイントラ予測モードの判定処理について詳述する。本処理は上記３つの色成分をまとめたマクロブロックの単位で実施され、主として、図１１の符号化装置における空間予測部２、符号化モード判定部５によって行われる。また、本処理の流れを示すフローチャートを図１４に示す。以下、ブロックを構成する３つの色成分の画像データをC0、C1、C2とする。
まず、符号化モード判定部５は、イントラ符号化モード共通化識別フラグ３３を受け取り、その値に基づいてC0、C1、C2で共通のイントラ符号化モードを使用するか否かを判断する(図１４のステップS20)。共通化する場合はステップS21以降へ、共通化しない場合はステップS22以降へ進む。
イントラ符号化モードをC0、C1、C2で共通化する場合は、符号化モード判定部５は空間予測部２に対して、選択しうるすべてのイントラ予測モード(イントラＮｘＮ予測、イントラ１６ｘ１６予測)を通知し、空間予測部２はそのすべての予測効率を評価して、全成分に最適なイントラ符号化モードおよびイントラ予測モードを選択する(ステップS21)。
一方、C0、C1、C2でそれぞれ最適なイントラ符号化モードを選択する場合は、符号化モード判定部５は空間予測部２に対して、Ci(i<=0<3)成分で選択しうるすべてのイントラ予測モード(イントラＮｘＮ予測、イントラ１６ｘ１６予測)を通知し、空間予測部２はそのすべての予測効率を評価して、Ci(i<=0<3)成分における最適なイントラ４ｘ４予測モードを選択する(ステップS23)。
上記ステップS21、S23において、空間予測部２がイントラ４ｘ４予測モードを最適な予測効率を与えるモードとして選択した場合、変換ブロックサイズ識別フラグ３２は「４ｘ４ブロックサイズでの変換」に設定され、空間予測部２がイントラ８ｘ８予測モードを最適な予測効率を与えるモードとして選択した場合、変換ブロックサイズ識別フラグ３２は「８ｘ８ブロックサイズでの変換」に設定される。
空間予測部２で行われる予測モードの予測効率評価の規範としてはたとえば、Jm = Dm + λRm(λ：正数)で与えられるレート・ひずみコストを用いることができる。ここで、Dmはイントラ予測モードmを適用した場合の符号化歪または予測誤差量である。符号化歪とは、イントラ予測モードmを適用して予測誤差を得て、予測誤差を変換・量子化した結果から映像を復号して符号化前の信号に対する誤差を計測するものである。予測誤差量は、イントラ予測モードmを適用した場合の予測画像と符号化前の信号との差分を得て、その差分の大きさを定量化したもので、たとえば差分絶対値和(Sum of Absolute Distance: SAD)などが用いられる。Rmはイントラ予測モードmを適用した場合の発生符号量である。つまり、Jmはイントラ予測モードmを適用した場合の符号量と劣化度とのトレードオフを規定する値であり、最小のJmを与えるイントラ予測モードmが最適解を与える。
符号化装置がステップS21以降の処理を行った場合、イントラ符号化モードの情報は、３つの色成分を含むマクロブロックに対して、１つ割り当てられる。一方、ステップS22以降の処理を行った場合は、各色成分に対してそれぞれイントラ符号化モード情報(計３つ)が割り当てられる。したがって、マクロブロックに対して割り当てられるイントラ予測モードの情報が異なるため、符号化装置がS21以降の処理過程を行ったか、S23以降の処理過程を行ったかはイントラ符号化モード共通化識別フラグ２３をビットストリームに多重化して復号装置側で認識できるようにする必要がある。このようなビットストリームのデータ配列を図１５に示す。
図１５において、マクロブロックレベルでビットストリームに多重化されるイントラ符号化モード０(34a)、１(34b)、２(34c)はそれぞれ、C0、C1、C2成分に対する符号化モード６を示す。イントラ符号化モードがイントラＮｘＮ予測符号化モードである場合には、変換ブロックサイズ識別フラグ３２、イントラ予測モードの情報がビットストリームに多重化される。一方、イントラ符号化モードがイントラ１６ｘ１６予測符号化モードである場合には、イントラ予測モードの情報はイントラ符号化モード情報の一部として符号化され、変換ブロックサイズ識別フラグ３２、イントラ予測モードの情報はビットストリームに多重化されない。イントラ符号化モード共通化識別フラグ３３が「C0、C1、C2で共通」であることを示す場合には、イントラ符号化モード１(34b)・２(34c)、変換ブロックサイズ識別フラグ１(32b)・２(32c)、イントラ予測モード１(35b)・２(35c)はビットストリームに多重化されない(図１５中の点線の丸印部分がその分岐を示す)。このときは、イントラ符号化モード0(34a)、変換ブロックサイズ識別フラグ0(32a)、イントラ予測モード0(35a)がそれぞれ全色成分共通の符号化情報として機能する。イントラ符号化モード共通化識別フラグ３３は、図１５においてはスライス、ピクチャ、シーケンスなど、マクロブロックよりも上位レベルのビットストリームデータとして多重化される例を示す。特に、本実施の形態２に挙げた例のように用いる場合は、シーケンスを通じて色空間が変化しないことが多いことから、シーケンスレベルにイントラ符号化モード共通化識別フラグ３３を多重化しておくことで目的を達成できる。
本実施の形態２では、イントラ符号化モード共通化識別フラグ３３を「全成分で共通かどうか」という意味で用いたが、これは入力映像信号１の色空間定義に応じて例えば「C1、C2など特定の２成分で共通かどうか」という意味で使用してもよい(Y、Cb、Crのような場合、CbとCrとでは共通化できる可能性が高い)。さらに、イントラ符号化モード共通化識別フラグ３３の共通化範囲をイントラ符号化モードのみに限定し、イントラＮｘＮ予測モードを使用する場合には、各色成分で独立に変換ブロックサイズやＮｘＮ予測モードを選択できるように構成してもよい(図１６)。図１６のようなシンタックス構成により、ＮｘＮ予測を必要とするような複雑な絵柄の映像に対して、符号化モード情報を共通化しつつも、色成分ごとに予測方法を変更することができ、予測効率を高めることができる。
なお、イントラ符号化モード共通化識別フラグ３３の情報は、符号化装置と復号装置の双方であらかじめ何らかの手段で既知となっていれば、ビデオのビットストリーム中に載せて伝送しなくてもよい。その場合、例えば符号化装置はイントラ符号化モード共通化識別フラグ３３をいずれかの値に固定化して符号化を行うように構成してもよいし、ビデオのビットストリームとは別に伝送してもよい。
３．復号装置の動作概要
図１２の復号装置は、図１１の符号化装置から出力される図１５の配列に従うビデオストリーム２２を受信して、３つの色成分が同一サイズ(４：４：４フォーマット)のマクロブロックの単位で復号処理を行い、個々の映像フレームを復元するものとする。
まず、可変長復号部２５はストリーム２２を入力とし、所定の規則(シンタックス)に従ってストリーム２２を解読して、イントラ符号化モード共通化識別フラグ３３、量子化済み変換係数１０、符号化モード６、量子化パラメータ２１などの情報を抽出する。量子化済み変換係数１０は量子化パラメータ２１とともに逆量子化部１２へ入力され、逆量子化処理が行われる。ついでその出力が逆直交変換部１３へ入力され、局部復号予測差分信号１４へ復元される。一方、空間予測部２に対しては符号化モード６とイントラ符号化モード共通化識別フラグ３３が入力され、これらの情報に従って予測画像７を得る。予測画像７を得る具体的な手順については後述する。局部復号予測差分信号１４と予測画像７は加算器１８により加算され、暫定復号画像１５を得る(これは符号化装置における局部復号画像１５とまったく同じ信号である)。暫定復号画像１５は以降のマクロブロックのイントラ予測に用いられるためメモリ１６へ書き戻される。メモリは各色成分ごとに３面用意される。また、可変長符号化部２５によって解読されたデブロッキングフィルタ制御フラグ２４の指示に基づいてデブロッキングフィルタ２６を暫定復号画像１５に対して作用させ、最終的な復号画像２７を得る。
４．復号装置におけるイントラ予測復号処理
本実施の形態２の復号装置の特徴であるイントラ予測画像生成処理について詳述する。本処理は上記３つの色成分をまとめたマクロブロックの単位で実施され、主として、図１２の復号装置における可変長復号部２５、空間予測部２によって行われる。また、本処理の流れを示すフローチャートを図１７に示す。
図１７のフローチャートのうち、S25〜S38は可変長復号部２５において行われる。可変長復号部２５への入力であるビデオストリーム２２は、図１５のデータ配列に従うものとする。ステップS25では図１５のデータのうちイントラ符号化モード0(34a)(C0成分対応)がまず復号される。結果、イントラ符号化モード0(34a)が「イントラＮｘＮ予測」である場合は、変換ブロックサイズ識別フラグ0(32a)とイントラ予測モード0(35a)とが復号される(ステップS26,S27)。次いで、イントラ符号化モード共通化識別フラグ３３の状態に基づき、イントラ符号化・予測モード情報が全色成分で共通と判断された場合は、イントラ符号化モード0(34a)、変換ブロックサイズ識別フラグ0(32a)、イントラ予測モード0(35a)を、C1およびC2成分で用いる符号化情報として設定する(ステップS29、S30)。図１７はマクロブロック単位の処理を図示しており、ステップS29の判断に用いるイントラ符号化モード共通化識別フラグ３３は、図１７のSTARTのプロセスに入る前に、スライス以上のレイヤレベルで可変長復号部２５によってビットストリーム２２から読み出されているものとする。
図１７におけるステップS29にてイントラ符号化・予測モード情報が各色成分ごとに符号化と判断された場合は、続くステップS31〜S38のプロセスにおいて、C1およびC2成分用のイントラ符号化・予測モード情報を復号する。以上の処理過程を経て各色成分の符号化モード６が確定し、これを空間予測部２へ出力して、ステップS39〜S41にしたがって各色成分のイントラ予測画像を得る。イントラ予測画像を得るプロセスは図３、図４、図１３の手順に従うもので図１１の符号化装置で行う処理と同じである。
なお、前述のように、イントラ符号化モード共通化識別フラグ３３の情報は、符号化装置と復号装置の双方であらかじめ何らかの手段で既知となっていれば、復号装置は、ビデオのビットストリーム中からその値を解析するのでなく、例えばあらかじめ固定の値で復号を行うように構成してもよいし、ビデオのビットストリームとは別に伝送してもよい。
従来の映像符号化標準で採用されてきた４：２：０フォーマットでは、色空間の定義がY、Cb、Crに固定されていたが、４：４：４フォーマットではY、Cb、Crに限定せず多様な色空間を利用することができる。図１５や図１６のようにイントラマクロブロックの符号化情報を構成することで、入力映像信号１の色空間の定義や映像信号の性質に応じて最適な符号化処理を行えるとともに、かような符号化処理の結果得られるビットストリームを一意に解釈して映像復号再生処理を行うことができる。
実施の形態３．
本実施の形態３では、図１１の符号化装置、図１２の復号装置の別の構成例を示す。本符号化装置、復号装置は実施の形態１と同様、非特許文献１であるMPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格で採用される符号化方式をベースとして、本発明に固有の特徴を付与したものとする。本実施の形態３における映像符号化装置は、図１１で説明した実施の形態２の符号化装置のうち、可変長符号化部１１のみが異なる。本実施の形態３における映像復号装置は、図１２で説明した実施の形態２の復号装置のうち、可変長復号部２５のみが異なる。他は実施の形態２と同様の動作とし、ここでは差異部分のみを説明する。
１．符号化装置におけるイントラ予測モード情報の符号化手順
実施の形態２の符号化装置においては、その可変長符号化部１１では、イントラＮｘＮ予測モードの情報について、ビットストリーム上のデータ配列は示したが、特にその符号化手順を示さなかった。本実施の形態では、その符号化手順の具体的な方法を示す。本実施の形態では特に、イントラＮｘＮ予測モードの値が色成分間で高い相関を有する場合を考慮し、各色成分で得られたイントラＮｘＮ予測モードについて、色成分間での値の相関を利用したエントロピー符号化を行う点に特徴がある。
以下の説明では、図１６の形式のビットストリーム配列を前提とする。また、説明の簡略化のため、イントラ符号化モード共通化識別フラグ３３の値は、イントラ符号化モードをC0、C1、C2で共通化する、と設定し、イントラ符号化モードをイントラＮｘＮ予測モード、変換ブロックサイズ0〜2を４ｘ４ブロックであるとする。この際、イントラ予測モード0〜2(35a〜35c)はすべてイントラ４ｘ４予測モードになる。図１８〜図２０において、符号化の対象となるカレントマクロブロックはＸとする。また、その左隣のマクロブロックはマクロブロックＡ、真上のマクロブロックをマクロブロックＢとする。
C0、C1、C2の各色成分の符号化手順の説明図として、図１８〜図２０を用いる。また、手順のフローチャートを図２１、図２２に示す。
図１８はマクロブロックＸのC0成分の様子を示している。ここで、符号化対象の４ｘ４ブロックをブロックＸ、ブロックＸの左、上の４ｘ４ブロックをそれぞれブロックＡ、ブロックＢと呼ぶこととする。マクロブロックＸのうち、符号化対象の４ｘ４ブロックの位置に応じて２つのケースがある。Case１は、符号化対象の４ｘ４ブロックに対して、その左、上の４ｘ４ブロックがカレントマクロブロックＸの外、すなわち、マクロブロックＡないしはマクロブロックＢに属する場合である。Case２は、符号化対象の４ｘ４ブロックに対して、その左、上の４ｘ４ブロックがカレントマクロブロックＸの内部、すなわち、マクロブロックＸに属する場合である。いずれに場合にせよ、イントラ４ｘ４予測モードはマクロブロックＸ内の個々の４ｘ４ブロックＸに対して１つずつ割り当てられ、これをCurrIntraPredModeとする。また、ブロックＡのイントラ４ｘ４予測モードをIntraPredModeA、ブロックＢのイントラ４ｘ４予測モードをIntraPredModeBとする。IntraPredModeA、IntraPredModeBはともに、ブロックＸを符号化する時点ではすでに符号化済みの情報である。あるブロックＸのイントラ４ｘ４予測モードを符号化するにあたり、まずこれらのパラメータの割り当てを行う(図２１におけるステップS50)。
次に、ブロックＸのCurrIntraPredModeに対する予測値predCurrIntraPredModeを下式で定める(ステップS51)。predCurrIntraPredMode = Min( IntraPredModeA, IntraPredModeB )
次に、C0成分のCurrIntraPredMode の符号化を行う。ここでは、CurrIntraPredMode = predCurrIntraPredModeならば、予測値と同じであることを示す１ビットのフラグ(prev_intra_pred_mode_flag)を符号化する。CurrIntraPredMode != predCurrIntraPredModeならば、CurrIntraPredModeとpredCurrIntraPredModeを比較してCurrIntraPredModeのほうが小さい場合、CurrIntraPredModeをそのまま符号化する。CurrIntraPredModeのほうが大きい場合、CurrIntraPredMode-1を符号化する(ステップS52)。
if(CurrIntraPredMode == predCurrIntraPredMode)
{
prev_intra_pred_mode_flag = 1;
}
else
{
prev_intra_pred_mode_flag = 0;
if( CurrIntraPredMode < predCurrIntraPredMode)
rem_intra_pred_mode = CurrIntraPredMode;
else
rem_intra_pred_mode = CurrIntraPredMode - 1;
}
Encode prev_intra_pred_mode_flag;
If(prev_intra_pred_mode_flag == 0)
Encode rem_intra_pred_mode;
次に、図１９により、C1成分の符号化手順を示す。まず、C0成分と同様、ブロックＸの位置に応じて、IntraPredModeA、IntraPredModeBなどの近傍の符号化パラメータを設定する(ステップS53)。
次に、ブロックＸのCurrIntraPredModeに対する予測値候補１ predCurrIntraPredMode1 を下式で定める(ステップS54)。predCurrIntraPredMode1 = Min( IntraPredModeA, IntraPredModeB )
もしC0成分において、prev_intra_pred_mode_flag＝1ならば、このpredCurrIntraPredMode1をそのままC1成分のブロックXにおけるpredCurrIntraPredMode に採用する。これは以下の理由による。C0成分の同一ブロック位置でprev_intra_pred_mode_flag＝1が採用されたということは、C0成分においては近傍画像領域において予測モード間の相関が高かったことを意味している。C0成分とC1成分の間でテクスチャ構造の相関を除去し切れていないRGB信号などの場合においては、このような場合、C1成分においてもC0成分と同様、近傍画像領域間に相関が高い可能性がある。したがって、C1成分の予測値はC0成分のイントラ４ｘ４予測モードに依存しないと判断する。
一方、C0成分において、prev_intra_pred_mode_flag＝0、すなわち、rem_intra_pred_modeを符号化した場合(ステップS55)は、C0成分の CurrIntraPredMode を予測値候補２とする(ステップS56)。すなわち、predCurrIntraPredMode2 = CurrIntraPredMode_C0これを予測値候補とする背景は以下の通りである。C0成分でrem_intra_pred_modeを符号化するということは、C0成分においては近傍画像領域間でのイントラ予測の相関が低いことを意味する。その場合、C1成分でも同様に近傍画像領域間での相関が低いことが予想され、異なる色成分における同一ブロック位置のイントラ予測モードのほうが、よりよい予測値を与える可能性がある。
C1成分のブロックＸにおける CurrIntraPredMode の予測値は最終的に、predCurrIntraPredMode1か、predCurrIntraPredMode2のどちらか一方の値として定める(ステップS57)。どちらの値を用いるかは１ビットのフラグ(pred_flag)で追加符号化する。ただし、pred_flagは、CurrIntraPredModeが予測値に一致するときだけ符号化し、一致しない場合（rem_intra_pred_modeを符号化する場合）予測値はpredCurrIntraPredMode1を用いる。
以上の手順を式で記載すると
If( prev_intra_pred_mode_flag_C0==1 )
{
predCurrIntraPredMode = Min( IntraPredModeA, IntraPredModeB );
}
else
{
predCurrIntraPredMode1 = Min( IntraPredModeA, IntraPredModeB );
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
if( CurrIntraPredMode == predCurrIntraPredMode1 )
{
prev_intra_pred_mode_flag = 1;
pred_flag = 0; // 予測値候補１を使う
}
else if(CurrIntraPredMode == predCurrIntraPredMode2 )
{
prev_intra_pred_mode_flag = 1;
pred_flag = 1; // 予測値候補２を使う
}
else
{
prev_intra_pred_mode_flag = 0;
if( CurrIntraPredMode < predCurrIntraPredMode1 )
rem_intra_pred_mode = CurrIntraPredMode;
else
rem_intra_pred_mode = CurrIntraPredMode - 1;
}
}
Encode prev_intra_pred_mode_flag ;
if(prev_intra_pred_mode_flag == 1)
Encode pred_flag;
else // If(prev_intra_pred_mode_flag == 0)
Encode rem_intra_pred_mode ;
となる。結果、prev_intra_pred_mode_flag、pred_flag、rem_intra_pred_modeが符号化データとして符号化される(ステップS58)。
次に、図２０により、C2成分の符号化手順を示す。まず、C0、C1成分と同様、ブロックＸの位置に応じて、IntraPredModeA、IntraPredModeBなどの近傍の符号化パラメータを設定する(ステップS59)。
次に、ブロックＸのCurrIntraPredModeに対する予測値候補１ predCurrIntraPredMode1 を下式で定める(ステップS60)。predCurrIntraPredMode1 = Min( IntraPredModeA, IntraPredModeB )
もしC0、C1成分の両方において、prev_intra_pred_mode_flag＝1ならば、このpredCurrIntraPredMode1をそのままC1成分のブロックＸにおける predCurrIntraPredMode に採用する。これは以下の理由による。C0、C1成分の同一ブロック位置でprev_intra_pred_mode_flag＝1が採用されたということは、C0、C1成分においては近傍画像領域において予測モード間の相関が高かったことを意味している。C0、C1成分とC2成分の間でテクスチャ構造の相関を除去し切れていないRGB信号などの場合においては、このような場合、C2成分においてもC0、C1成分と同様、近傍画像領域間に相関が高い可能性がある。したがって、C2成分の予測値はC0、C1成分のイントラ４ｘ４予測モードに依存しないと判断する。
一方、C0ないしはC1成分において、prev_intra_pred_mode_flag＝0、すなわち、rem_intra_pred_modeを符号化した場合(ステップS61)は、C0ないしはC1成分の CurrIntraPredMode を予測値候補２とする(ステップS62)。すなわち、
If( prev_intra_pred_mode_flag_C0 == 0 && pred_intra_pred_mode_flag_C1 == 1 )predCurrIntraPredMode2 = CurrIntraPredMode_C0;
else if(prev_intra_pred_mode_flag_C0 == 1 && pred_intra_pred_mode_flag_C1 == 0 )predCurrIntraPredMode2 = CurrIntraPredMode_C1;
else
predCurrIntraPredMode2 = CurrIntraPredMode_C1;
これを予測値候補とする背景は以下の通りである。C0ないしはC1成分でrem_intra_pred_modeを符号化するということは、C0ないしはC1成分においては近傍画像領域間でのイントラ予測の相関が低いことを意味する。その場合、C2成分でも同様に近傍画像領域間での相関が低いことが予想され、異なる色成分における同一ブロック位置のイントラ予測モードのほうが、よりよい予測値を与える可能性がある。また、この考え方によれば、C0、C1成分ともにrem_intra_pred_modeを符号化する場合には、C0、C1の両方のカレントイントラ予測モードが予測値の候補となりうるが、ここでは、C1成分のカレントイントラ予測モードを予測値として採用する。その理由は、YUV色空間が入力される場合、C0は輝度、C1/C2は色差として扱われる可能性が高く、その場合、C0よりもC1のほうがよりC2の予測モードに近いと考えられるからである。RGB色空間入力の場合においては、C0を選ぶかC1を選ぶかはそれほど大きなファクタにはならず、一般的にC1成分を予測値に採用するのは妥当と考えられる（設計によりC2成分を予測値に採用してもよい）。
C2成分のブロックＸにおける CurrIntraPredMode の予測値は最終的に、predCurrIntraPredMode1か、predCurrIntraPredMode2のどちらか一方の値として定める(ステップS63)。どちらの値を用いるかは１ビットのフラグ(pred_flag)で追加符号化する。
以上の手順を式で記載すると
If( prev_intra_pred_mode_flag_C0 == 1 && prev_intra_pred_mode_flag == 1 )
{
predCurrIntraPredMode = Min( IntraPredModeA, IntraPredModeB );
}
else
{
predCurrIntraPredMode1 = Min( IntraPredModeA, IntraPredModeB );If( prev_intra_pred_mode_flag_C0 == 0 && pred_intra_pred_mode_flag_C1 == 1 )predCurrIntraPredMode2 = CurrIntraPredMode_C0;else if(prev_intra_pred_mode_flag_C0 == 1 && pred_intra_pred_mode_flag_C1 == 0 )predCurrIntraPredMode2 = CurrIntraPredMode_C1;
else
predCurrIntraPredMode2 = CurrIntraPredMode_C1;
if( CurrIntraPredMode == predCurrIntraPredMode1 ) { prev_intra_pred_mode_flag = 1; pred_flag = 0; // 予測値候補１を使う
}
else if(CurrIntraPredMode == predCurrIntraPredMode2 )
{
prev_intra_pred_mode_flag = 1;
pred_flag = 1; // 予測値候補２を使う
}
else
{
prev_intra_pred_mode_flag = 0;
if( CurrIntraPredMode < predCurrIntraPredMode1 )
rem_intra_pred_mode = CurrIntraPredMode;
else
rem_intra_pred_mode = CurrIntraPredMode - 1;
}
}
Encode prev_intra_pred_mode_flag ;
if(prev_intra_pred_mode_flag == 1)
Encode pred_flag;
else // If(prev_intra_pred_mode_flag == 0)
Encode rem_intra_pred_mode ;となる。結果、prev_intra_pred_mode_flag、pred_flag、rem_intra_pred_modeが符号化データとして符号化される(ステップS64)。
以上のべた符号化手順は、イントラ８ｘ８予測モードに対しても同様に定義できる。イントラＮｘＮ予測モードをこのような手順で符号化することにより、他の色成分において選択される予測モードとの間の相関を利用することができ、予測モード自体の符号量を削減して、符号化効率を向上することができる。
図２１と図２２の違いは、MBあたりのイントラ予測モードの符号化処理を各色成分ごとに分離して行うか、まとめて行うかの違いである。図２１の場合は４ｘ４ブロックの単位で各色成分の符号化が行われ、それらを16パターン集めたものがビットストリームに配列される（ステップS65）。図２２の場合は、各色成分の16個の４ｘ４ブロックがまとめて符号化され、それを色成分別にビットストリームに配列した形態になる（ステップS66、S67、S68）。
なお、上記述べた手順では、pred_flag は、prev_intra_pred_mode_flag が１のときのみ有効な情報としているが、prev_intra_pred_mode_flag が0の場合も包含するように定めてもよい。すなわち、例えば、C1成分の例をとると、
If( prev_intra_pred_mode_flag_C0 == 1 )
{
predCurrIntraPredMode = Min( IntraPredModeA, IntraPredModeB );if( CurrIntraPredMode == predCurrIntraPredMode )
{
prev_intra_pred_mode_flag = 1;
}
Else{
if( CurrIntraPredMode < predCurrIntraPredMode )
rem_intra_pred_mode = CurrIntraPredMode;
else
rem_intra_pred_mode = CurrIntraPredMode - 1;
}
}
else
{
predCurrIntraPredMode1 = Min( IntraPredModeA, IntraPredModeB );
predCurrIntraPredMode2 = CurrIntraPredMode_C0;if( CurrIntraPredMode == predCurrIntraPredMode1 )
{
prev_intra_pred_mode_flag = 1;
pred_flag = 0; // 予測値候補１を使う}else if(CurrIntraPredMode == predCurrIntraPredMode2 )
{
prev_intra_pred_mode_flag = 1;
pred_flag = 1; // 予測値候補２を使う
}
else
{
prev_intra_pred_mode_flag = 0;
if( | CurrIntraPredMode - predCurrIntraPredMode1 | <
| CurrIntraPredMode predCurrIntraPredMode2 | )
{
pred_flag = 0;
predCurrIntraPredMode = predCurrIntraPredMode1;
}
Else
{
pred_flag = 1;
predCurrIntraPredMode = predCurrIntraPredMode2;
}
if( CurrIntraPredMode < predCurrIntraPredMode )
rem_intra_pred_mode = CurrIntraPredMode;
else
rem_intra_pred_mode = CurrIntraPredMode - 1;
}
}
Encode prev_intra_pred_mode_flag ;
If(prev_intra_pred_mode_flag_C0 == 0)
Encode pred_flag;
If(prev_intra_pred_mode_flag == 0)
Encode rem_intra_pred_mode ;
のような手順で符号化するように構成してもよい。この方法では、C0成分の同一位置のブロックにおけるイントラ予測モードにおいてrem_intra_pred_modeを符号化する場合には常時pred_flagを符号化することになるが、prev_intra_pred_mode_flag = 0の場合でもより精度のよい予測値を使用することができ、符号化効率の改善が期待できる。また、さらに進めて、C0成分の同一位置のブロックにおけるイントラ予測モードにおいてrem_intra_pred_modeを符号化するかどうかに依存せず、pred_flagを符号化するように構成してもよい。この場合は常時C0成分のイントラ予測モードを予測値候補として使用することになる。
すなわち、この場合の式は以下のようになる。
predCurrIntraPredMode1 = Min( IntraPredModeA, IntraPredModeB );
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
if( CurrIntraPredMode == predCurrIntraPredMode1 )
{
prev_intra_pred_mode_flag = 1;
pred_flag = 0; // 予測値候補１を使う
}
else if(CurrIntraPredMode == predCurrIntraPredMode2 )
{
prev_intra_pred_mode_flag = 1;
pred_flag = 1; // 予測値候補２を使う
}
else
{
prev_intra_pred_mode_flag = 0;
if( | CurrIntraPredMode - predCurrIntraPredMode1 | <
| CurrIntraPredMode predCurrIntraPredMode2 | )
{
pred_flag = 0;
predCurrIntraPredMode = predCurrIntraPredMode1;
}
Else
{
pred_flag = 1;
predCurrIntraPredMode = predCurrIntraPredMode2;}
if( CurrIntraPredMode < predCurrIntraPredMode )
rem_intra_pred_mode = CurrIntraPredMode;
else
rem_intra_pred_mode = CurrIntraPredMode - 1;
}
Encode prev_intra_pred_mode_flag ;
Encode pred_flag;If(prev_intra_pred_mode_flag == 0)
Encode rem_intra_pred_mode ;
なお、pred_flag は、４ｘ４ブロック単位でなく、マクロブロックやシーケンスの単位で設定するようにしてもよい。マクロブロック単位で設定する場合は、マクロブロック内のすべての４ｘ４ブロックについて、予測値候補１ないしは予測値候補２のどちらを使うかを共通化するので、pred_flagとして伝送するオーバヘッド情報をさらに削減できる。また、入力色空間定義に応じて予測値候補１ないしは予測値候補２のどちらを使うかを定めるために、シーケンスの単位で定めるようにすることもできる。この場合はマクロブロックごとにもpred_flagを伝送する必要がなくなり、さらにオーバヘッド情報を削減できる。
２．復号装置におけるイントラ予測モード情報の復号手順
実施の形態２の復号装置においては、その可変長復号部２５では、イントラＮｘＮ予測モードの情報について、ビットストリーム上のデータ配列は示したが、特にその復号手順を示さなかった。本実施の形態３では、その復号手順の具体的な方法を示す。本実施の形態３では特に、イントラＮｘＮ予測モードの値が色成分間で高い相関を有する場合を考慮し、各色成分で得られたイントラＮｘＮ予測モードについて、色成分間での値の相関を利用したエントロピー符号化が行われたビットストリームを復号する点に特徴がある。
以下の説明では、図１６の形式のビットストリーム配列を前提とする。また、説明をイントラ予測モードの復号手順に限定するため、ビットストリーム中のイントラ符号化モード共通化識別フラグ３３の値は、イントラ符号化モードをC0、C1、C2で共通化する、と設定されているものとする。また、イントラ符号化モードはイントラＮｘＮ予測モード、変換ブロックサイズ0〜2は４ｘ４ブロックが指定されているものとする。この際、イントラ予測モード0〜2(35a〜35c)はすべてイントラ４ｘ４予測モードになる。符号化装置と同様、復号装置においても、図１８〜図２０の関係を用いる。復号装置では、復号の対象となるカレントマクロブロックをＸとする。また、その左隣のマクロブロックはマクロブロックＡ、真上のマクロブロックをマクロブロックＢとする。復号手順のフローチャートを図２３に示す。図２３において、図２１、図２２と同じ番号を付与したステップは符号化装置の処理と同じ処理を実行することを示す。
図１８はマクロブロックＸのC0成分の様子を示している。マクロブロックＸのうち、復号対象の４ｘ４ブロックの位置に応じて２つのケースがある。Case１は、復号対象の４ｘ４ブロックに対して、その左、上の４ｘ４ブロックがカレントマクロブロックＸの外、すなわち、マクロブロックＡないしはマクロブロックＢに属する場合である。Case２は、復号対象の４ｘ４ブロックに対して、その左、上の４ｘ４ブロックがカレントマクロブロックＸの内部、すなわち、マクロブロックＸに属する場合である。ここで、復号対象の４ｘ４ブロックをブロックＸ、ブロックＸの左、上の４ｘ４ブロックをそれぞれブロックＡ、ブロックＢと呼ぶこととする。いずれに場合にせよ、イントラ４ｘ４予測モードはマクロブロックＸ内の個々の４ｘ４ブロックＸに対して１つずつ割り当てられ、これをCurrIntraPredModeとする。また、ブロックＡのイントラ４ｘ４予測モードをIntraPredModeA、ブロックＢのイントラ４ｘ４予測モードをIntraPredModeBとする。IntraPredModeA、IntraPredModeBはともに、ブロックＸを符号化する時点ではすでに復号済みの情報である。あるブロックＸのイントラ４ｘ４予測モードを復号するにあたり、まずこれらのパラメータの割り当てを行う(ステップS50)。
次に、ブロックＸのCurrIntraPredModeに対する予測値 predCurrIntraPredMode を下式で定める(ステップS51)。predCurrIntraPredMode = Min( IntraPredModeA, IntraPredModeB )
次に、CurrIntraPredMode = predCurrIntraPredModeであるかどうかを示す１ビットのフラグ(prev_intra_pred_mode_flag)を復号する。prev_intra_pred_mode_flag = 1は、CurrIntraPredMode = predCurrIntraPredModeであることを意味する。さもなくば(prev_intra_pred_mode_flag = 0)、rem_intra_pred_mode の情報をビットストリーム中から復号する。rem_intra_pred_mode とpredCurrIntraPredModeを比較してrem_intra_pred_modeの方が小さい場合、CurrIntraPredMode = rem_intra_pred_modeとする。CurrIntraPredModeの方が大きい場合、CurrIntraPredMode = rem_intra_pred_mode ＋1とする(ステップS65)。
これらの手順をまとめると以下のようになる。
predCurrIntraPredMode = Min( IntraPredModeA, IntraPredModeB );
Decode prev_intra_pred_mode_flag;
if(prev_intra_pred_mode_flag == 1)
{
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode )
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode + 1;}
次に、図１９により、C1成分の復号手順を示す。まず、C0成分と同様、ブロックＸの位置に応じて、IntraPredModeA、IntraPredModeBなどの近傍の符号化パラメータを設定する(ステップS53)。
次に、ブロックＸのCurrIntraPredModeに対する予測値候補１ predCurrIntraPredMode1 を下式で定める(ステップS54)。predCurrIntraPredMode1 = Min( IntraPredModeA, IntraPredModeB )
もしC0成分において、prev_intra_pred_mode_flag＝1ならば、このpredCurrIntraPredMode1をそのままC1成分のブロックＸにおける predCurrIntraPredMode に採用する。これは符号化装置において説明した理由と同様である。
一方、C0成分において、prev_intra_pred_mode_flag＝0、すなわち、rem_intra_pred_modeを復号した場合(ステップS55)は、C0成分の CurrIntraPredMode を予測値候補２とする(ステップS56)。すなわち、predCurrIntraPredMode2 = CurrIntraPredMode_C0これを予測値候補とする背景も符号化装置において説明した理由と同様である。
C1成分のブロックＸにおける CurrIntraPredMode の予測値は最終的に、predCurrIntraPredMode1か、predCurrIntraPredMode2のどちらか一方の値として定める(ステップS57)。どちらの値を用いるかは１ビットのフラグ(pred_flag)を復号して定める。ただし、pred_flagは、CurrIntraPredModeが予測値に一致するときだけ復号し、一致しない場合（rem_intra_pred_modeを復号する場合）予測値はpredCurrIntraPredMode1を用いる。
予測値候補１、予測値候補２、prev_intra_pred_mode_flag、pred_flag、rem_intra_pred_modeが与えられた上で、以下の手順により、CurrIntraPredModeを復号する(ステップS66)。if( prev_intra_pred_mode_flag_C0 == 1 )
{
pred_flag = 0; // このときはpred_flagはビットストリームには含まれない
predCurrIntraPredMode = Min( IntraPredModeA, IntraPredModeB );
Decode prev_intra_pred_mode_flag;
if(prev_intra_pred_mode_flag == 1)
{
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode )
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode + 1;
}
}
else
{
predCurrIntraPredMode1 = Min( IntraPredModeA, IntraPredModeB );
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
Decode prev_intra_pred_mode_flag;
if(prev_intra_pred_mode_flag == 1)
{
Decode pred_flag;
If( pred_flag == 0 )
predCurrIntraPredMode = predCurrIntraPredMode1;
Else
predCurrIntraPredMode = predCurrIntraPredMode2;
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
predCurrIntraPredMode = predCurrIntraPredMode1;
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode )
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode + 1; }}
次に、図２０により、C2成分の復号手順を示す。まず、C0、C1成分と同様、ブロックＸの位置に応じて、IntraPredModeA、IntraPredModeBなどの近傍の符号化パラメータを設定する(ステップS59)。
次に、ブロックＸのCurrIntraPredModeに対する予測値候補１ predCurrIntraPredMode1 を下式で定める(ステップS60)。predCurrIntraPredMode1 = Min( IntraPredModeA, IntraPredModeB )
もしC0、C1成分の両方において、prev_intra_pred_mode_flag＝1ならば、このpredCurrIntraPredMode1をそのままC1成分のブロックＸにおける predCurrIntraPredMode に採用する。これは符号化装置において説明した理由と同様である。
一方、C0ないしはC1成分において、prev_intra_pred_mode_flag＝0、すなわち、rem_intra_pred_modeを復号した場合(ステップS61)は、C0ないしはC1成分の CurrIntraPredMode を予測値候補２とする(ステップS62)。
すなわち、
If( prev_intra_pred_mode_flag_C0 == 0 && pred_intra_pred_mode_flag_C1 == 1 )predCurrIntraPredMode2 = CurrIntraPredMode_C0;else if(prev_intra_pred_mode_flag_C0 == 1 && pred_intra_pred_mode_flag_C1 == 0 )predCurrIntraPredMode2 = CurrIntraPredMode_C1;elsepredCurrIntraPredMode2 = CurrIntraPredMode_C1;
これを予測値候補とする背景も符号化装置において説明した理由と同様である。
C2成分のブロックＸにおける CurrIntraPredMode の予測値は最終的に、predCurrIntraPredMode1か、predCurrIntraPredMode2のどちらか一方の値として定める(ステップS63)。どちらの値を用いるかは１ビットのフラグ(pred_flag)を復号して定める。ただし、pred_flagは、CurrIntraPredModeが予測値に一致するときだけ復号し、一致しない場合（rem_intra_pred_modeを復号する場合）は、予測値はpredCurrIntraPredMode1を用いる。
予測値候補１、予測値候補２、prev_intra_pred_mode_flag、pred_flag、rem_intra_pred_modeが与えられた上で、以下の手順により、CurrIntraPredModeを復号する(ステップS71)。if(prev_intra_pred_mode_flag_C0 == 1 && prev_intra_pred_mode_flag_C1 == 1 )
{
pred_flag = 0; // このときはpred_flagはビットストリームには含まれない
predCurrIntraPredMode = Min( IntraPredModeA, IntraPredModeB );
Decode prev_intra_pred_mode_flag;
if(prev_intra_pred_mode_flag == 1)
{
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode )
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode + 1;
}
}
else
{
predCurrIntraPredMode1 = Min( IntraPredModeA, IntraPredModeB );If( prev_intra_pred_mode_flag_C0 == 0 && pred_intra_pred_mode_flag_C1 == 1 )predCurrIntraPredMode2 = CurrIntraPredMode_C0;else if(prev_intra_pred_mode_flag_C0 == 1 && pred_intra_pred_mode_flag_C1 == 0 )predCurrIntraPredMode2 = CurrIntraPredMode_C1;elsepredCurrIntraPredMode2 = CurrIntraPredMode_C1; Decode prev_intra_pred_mode_flag;
if(prev_intra_pred_mode_flag == 1)
{ Decode pred_flag;
If( pred_flag == 0 )
predCurrIntraPredMode = predCurrIntraPredMode1;
Else
predCurrIntraPredMode = predCurrIntraPredMode2;
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
predCurrIntraPredMode = predCurrIntraPredMode1;
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode )
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode + 1;
}
}
以上のべた復号手順は、イントラ８ｘ８予測モードに対しても同様に定義できる。イントラＮｘＮ予測モードをこのような手順で復号することにより、他の色成分において選択される予測モードとの間の相関を利用して、予測モード自体の符号量を削減し、符号化効率を向上させたビットストリームを復号することができる。
なお、上記述べた手順では、pred_flag は、prev_intra_pred_mode_flag が１となっている場合にのみ復号される情報としているが、prev_intra_pred_mode_flag が０の場合も包含する情報として復号するようにしてもよい。
すなわち、例えば、C1成分の例をとると、if( prev_intra_pred_mode_flag_C0 == 1 )
{
predCurrIntraPredMode = Min( IntraPredModeA, IntraPredModeB );
Decode prev_intra_pred_mode_flag;
if(prev_intra_pred_mode_flag == 1)
{ CurrIntraPredMode == predCurrIntraPredMode;

}
else

{
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode )
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode + 1;
}
}
else
{
predCurrIntraPredMode1 = Min( IntraPredModeA, IntraPredModeB );
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
Decode prev_intra_pred_mode_flag;
Decode pred_flag;If( pred_flag == 0 )
predCurrIntraPredMode = predCurrIntraPredMode1;
Else
predCurrIntraPredMode = predCurrIntraPredMode2;
if(prev_intra_pred_mode_flag == 1)
{
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode )
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode + 1;
}
}
のような手順で復号するように構成してもよい。この方法の効果は対応する符号化装置側での符号化手順の記載中に述べたとおりである。また、さらに進めて、C0成分の同一位置のブロックにおけるイントラ予測モードにおいてrem_intra_pred_modeを復号するかどうかに依存せず、pred_flagを復号するように構成してもよい。この場合は常時C0成分のイントラ予測モードを予測値候補として使用することになる。
すなわち、
predCurrIntraPredMode1 = Min( IntraPredModeA, IntraPredModeB );
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
Decode prev_intra_pred_mode_flag;
Decode pred_flag;If( pred_flag == 0 )
predCurrIntraPredMode = predCurrIntraPredMode1;
Else
predCurrIntraPredMode = predCurrIntraPredMode2;
if(prev_intra_pred_mode_flag == 1)
{
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode )
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode + 1;
}
となる。
なお、符号化装置の説明で述べたように、pred_flag は、４ｘ４ブロック単位でなく、マクロブロックやシーケンスの単位でビットストリームに含まれていてもよい。マクロブロック単位で設定する場合は、マクロブロック内のすべての４ｘ４ブロックについて、予測値候補１ないしは予測値候補２のどちらを使うかを共通化するので、復号するpred_flagのオーバヘッド情報が削減される。また、入力色空間定義に応じて予測値候補１ないしは予測値候補２のどちらを使うかを定めるために、シーケンスの単位で定めるようにすることもできる。この場合はマクロブロックごとにもpred_flagを伝送する必要がなくなり、さらにオーバヘッド情報を削減される。
実施の形態４．
実施の形態２にて図１６の形式のビットストリームについて説明した。実施の形態２では、イントラ符号化モードが「イントラNxN予測」を示している場合、変換ブロックサイズ識別フラグ0〜2(32a〜32c)の値に応じて、C0、C1、C2各色成分のイントラ予測モードがイントラ4x4予測モードか、イントラ8x8予測モードと認識されることを述べた。本実施の形態４では、このビットストリーム配列を変更して図２４に示すように、C1、C2成分について、イントラ予測モード指示フラグ１、２(36a,36b)をシーケンスレベルで伝送するように構成する。イントラ予測モード指示フラグは、イントラ符号化モードにおいてイントラNxN予測モードが選択される場合で、かつ変換ブロックサイズ識別フラグが4x4変換を指示している場合、すなわちイントラ4x4予測モードの場合に有効であって、この値に応じて、以下の２つの状態を切り替えることを可能とする。状態１：C1ないしはC2成分に対しても、使用するイントラ4x4予測モードは図３の９つから個別に選択し符号化する。状態２：C1ないしはC2成分に対しては、使用するイントラ4x4予測モードをDC予測、つまり図３のintra4x4_pred_mode = 2に限定し、イントラ予測モード情報を符号化しない。
例えば、Y、Cb、Crのような色空間で符号化を行う場合で、HDTV以上などの高解像度映像の場合、4x4ブロックはきわめて小さい画像領域に対応する。このとき、特にCb、Cr成分といった画像のテクスチャ構造を保持していない成分に対して９つもの予測モードを選択する余地を与えるよりも、予測モード情報自体を１つに固定化してオーバヘッドとなる予測モード情報を伝送しないほうが効率的な場合がある。このようなビットストリーム配列を行うことによって、入力色空間の性質や映像の特性に応じた最適な符号化が可能になる。
図２４の形式のビットストリームを受ける復号装置は、可変長復号部２５においてイントラ予測モード指示フラグ(36a,36b)を復号し、その値によって、ビットストリームが状態１で符号化されているか、状態２で符号化されているかを識別するように構成しておく。これによって、C1ないしはC2成分に対して、ビットストリームからイントラ4x4予測モードを復号して使用するか、DC予測つまり図３のintra4x4_pred_mode = 2を固定的に適用するかを判断する。
また、本実施の形態４では、状態２は、C1ないしはC2成分に対して、intra4x4_pred_mode = 2に限定するとしたが、予測モード情報を１つに固定すればよく、他の予測モードでもよい。また、状態２は、C1ないしはC2成分に対して、C0と同じイントラ4x4予測モードを使用する、というように定めてもよい。この場合も、C1ないしはC2成分についてはイントラ4x4予測モードを符号化する必要がないのでオーバヘッドビットを削減できる。
実施の形態５．
本実施の形態５では、図１１の符号化装置、図１２の復号装置の別の構成例を示す。本実施の形態５における符号化装置、復号装置は上記の他の実施の形態と同様、非特許文献１であるMPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格で採用される符号化方式をベースとして、本発明に固有の特徴を付与したものとする。本実施の形態５における映像符号化装置は、実施の形態２、３で説明した図１１の符号化装置の構成のうち、可変長符号化部１１の動作のみが異なる。本実施の形態５における映像復号装置は、実施の形態２、３で説明した図１２の復号装置の構成のうち、可変長復号部２５の動作のみが異なる。他は実施の形態２、３と同様の動作とし、ここでは差異部分のみを説明する。
１．符号化装置におけるイントラ予測モード情報の符号化手順
実施の形態３の符号化装置においては、その可変長符号化部１１では、図１６の形式によるビットストリームにおいて、イントラNxN予測モード情報の具体的な符号化方法について示した。本実施の形態５では、その符号化手順の別の具体的な方法を示す。本実施の形態５では特に、イントラNxN予測モードの値が画像パターンとしてのテクスチャの構造を反映することに着目し、同一色成分中の近傍画素領域内で適応的な予測を行う方法を与える点に特徴がある。以下の説明では、図１６の形式のビットストリーム配列を前提とする。また、本実施の形態５では、C0、C1、C2の各成分のイントラNxN予測モード情報の符号化は色成分ごとに独立に符号化することとして、C0成分の符号化方法をC1、C2にも同様に適用するものとし、説明の簡略化のため、C0成分についてのみ説明する。イントラ符号化モード共通化識別フラグ３３の値は、イントラ符号化モードをC0、C1、C2で共通化する、と設定し、イントラ符号化モードをイントラNxN予測モード、変換ブロックサイズ識別フラグ0〜2(32a〜32c)を4x4ブロックであるとする。この際、イントラ予測モード0〜2(35a〜35c)はすべてイントラ4x4予測モードになる。C0成分のイントラNxN予測モード情報の符号化手順の説明図として、図１８を用いる。図１８において、符号化の対象となるカレントマクロブロックはＸとする。また、その左隣のマクロブロックはマクロブロックＡ、真上のマクロブロックをマクロブロックＢとする。また、符号化手順のフローチャートを図２５に示す。
実施の形態３では、図１８において個々の4x4ブロックＸに対して１つずつ割り当てられているイントラ4x4予測モードCurrIntraPredModeに対する予測値 predCurrIntraPredMode を、IntraPredModeA, IntraPredModeBのうち小さいほうの値を一意に割り当てた。これは、現在のAVC/H.264規格でも採用されている方法であり、イントラNxN予測モードの値が大きくなるほど、予測画像生成方式が画像パターンの方向性を加味した画素補間を伴う複雑なモードになっており、一般的な画像パターンへの適合性が高いモードには小さい値が割り振られることに起因する。ビットレートが低い場合には、歪の増分よりも予測モードの符号量増分のほうがモード選択に大きな影響を及ぼすため、この方式でも全体の符号化効率にとっては有益であるが、逆に、ビットレートが比較的高い場合は、予測モードの符号量の増分よりも歪の増分のほうがモード選択に大きな影響を与えることから、かならずしもIntraPredModeA, IntraPredModeBのうち小さいほうの値が最適とはいえなくなる。このような観察に基づいて、本実施の形態５では、この予測値設定を、以下に説明するようにIntraPredModeA, IntraPredModeBの状態に応じて適応化することで予測値の精度を向上させる。この手順では、画像パターンとしてみた場合にCurrIntraPredModeをもっともよく推定できると判断される値として、IntraPredModeA, IntraPredModeBの状態をもとにpredCurrIntraPredMode を定める(ステップS73,S74,S75)。
(1)IntraPredModeA, IntraPredModeBがともに0から2の範囲にあるときは、MIN(IntraPredModeA, IntraPredModeB)をpredCurrIntraPredModeとする。(2)IntraPredModeA, IntraPredModeBのいずれかが3以上のときで、IntraPredModeA, IntraPredModeBの予測の方向がまったく異なるとき (例：IntraPredModeAが3で、IntraPredModeBが4のとき)は、DC予測(intra4x4_pred_mode = 2) をpredCurrIntraPredModeとする。(3)IntraPredModeA, IntraPredModeBのいずれかが3以上のときで、予測の方向が同じとき(例：IntraPredModeAが3でIntraPredModeBが7のとき（いずれも右上からの予測）)は、画素を補間する予測モード(上述の例では7)をpredCurrIntraPredModeとする。
なお、実施の形態３と同様、IntraPredModeA、IntraPredModeBなど符号化のための準備処理は事前に行っておく(ステップS50,S53,S59)。結果、predCurrIntraPredMode は、IntraPredModeA, IntraPredModeBの値から一意に導かれる。この予測値設定の規則をテーブル化したものを図２６に示す。図２６において網がけされた部分は、従来のMIN(IntraPredModeA, IntraPredModeB)の規則には従わないケースで、画像パターンの連続性からよりよい予測値が判断されるケースである。上記手順(1)では、クラス0のテーブルが使用される。(2)、(3)ではクラス１のテーブルが使用される。
以上の結果、predCurrIntraPredModeが定まった後は、実施の形態３で述べたC0成分の残りの符号化手順を実行することで符号化を完了する(ステップS52,S58,S64)。
つまり、
if(CurrIntraPredMode == predCurrIntraPredMode)
{
prev_intra_pred_mode_flag = 1;
}
else
{
prev_intra_pred_mode_flag = 0;
if( CurrIntraPredMode < predCurrIntraPredMode)
rem_intra_pred_mode = CurrIntraPredMode;
else
rem_intra_pred_mode = CurrIntraPredMode - 1;
}
Encode prev_intra_pred_mode_flag;
If(prev_intra_pred_mode_flag == 0)
Encode rem_intra_pred_mode;
となる。
以上のべた符号化手順は、イントラ8x8予測モードに対しても同様に定義できる。イントラNxN予測モードをこのような手順で符号化することにより、同一色成分の近傍画素領域における予測モードの相関をよりよく利用することができ、予測モード自体の符号量を削減して、符号化効率を向上することができる。
２．復号装置におけるイントラ予測モード情報の復号手順
実施の形態３の復号装置においては、図１６の形式によるビットストリームに対して、可変長復号部２５でのイントラNxN予測モードの情報の具体的な復号手順の一つを示した。本実施の形態５では、復号手順の別の具体的な方法を示す。本実施の形態５では特に、イントラNxN予測モードの値が画像パターンとしてのテクスチャの構造を反映することに着目し、同一色成分中の近傍画素領域内で適応的な予測を行って符号化が行われたビットストリームを復号する点に特徴がある。
以下の説明では、図１６の形式のビットストリーム配列を前提とする。また、説明の簡略化のため、ビットストリーム中のイントラ符号化モード共通化識別フラグ３３の値は、イントラ符号化モードをC0、C1、C2で共通化する、と設定されているものとする。また、イントラ符号化モードはイントラNxN予測モード、変換ブロックサイズ識別フラグ0〜2(32a〜32c)は4x4ブロックが指定されているものとする。この際、イントラ予測モード0〜2(35a〜35c)はすべてイントラ4x4予測モードになる。符号化装置と同様、復号装置においても、図１８の関係を用いてC0成分についてのみ説明する(C1、C2は同等の手順でC0とは独立に復号する)。復号装置では、復号の対象となるカレントマクロブロックをＸとする。また、その左隣のマクロブロックはマクロブロックＡ、真上のマクロブロックをマクロブロックＢとする。
実施の形態３では、符号化装置の説明にも記したように、図１８において個々の4x4ブロックＸに対して１つずつ割り当てられているイントラ4x4予測モードCurrIntraPredModeに対する予測値 predCurrIntraPredMode を、IntraPredModeA, IntraPredModeBのうち小さいほうの値を一意に割り当てた。これに対し、本実施の形態５における復号装置では、predCurrIntraPredModeを符号化手順に示した手順と全く同じ手順で、図２６のテーブルを用いて決定する。IntraPredModeA, IntraPredModeBはすでに復号されて既知であるため、符号化手順とまったく同じ処理を行うことが可能である。
その後の手順は、実施の形態３に述べたC0成分の復号手順と等価である。まとめると以下のようになる。
Decode prev_intra_pred_mode_flag;i
f(prev_intra_pred_mode_flag == 1)
{
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode )
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode + 1;}
以上のべた復号手順は、イントラ8x8予測モードに対しても同様に定義できる。イントラNxN予測モードをこのような手順で復号することにより、同一色成分の近傍画素領域における予測モードの相関をよりよく利用して、予測モード自体の符号量を削減した符号化ビットストリームを復号することができる。
また、上述の例では図２６のテーブルを固定的に使用してpredCurrIntraPredModeを定めて符号化・復号を行ったが、図２６のテーブルを初期値として、IntraPredModeA, IntraPredModeBの状態に対して最も発生しやすいイントラ予測モードをpredCurrIntraPredModeとして逐次更新しながら符号化・復号するように構成してもよい。例えば、図２６の「クラス＝０、IntraPredModeA＝０、IntraPredModeB＝０、predCurrIntraPredMode＝０」なる組み合わせにおいて、上述の実施の形態ではIntraPredModeA＝０、IntraPredModeB＝０の場合には、常にpredCurrIntraPredModeを0とした。しかし、映像信号自体は非定常信号であるため、映像の内容によっては、この組み合わせが必ずしもベストである保証はない。最悪の場合、映像全体を通じて、ほとんどのケースでpredCurrIntraPredModeが予測値としてヒットしない可能性もゼロではない。したがって、例えば、IntraPredModeA＝０、IntraPredModeB＝０の場合に発生するCurrIntraPredModeの頻度をカウントしておき、CurrIntraPredModeの符号化・復号が終わるたびに、IntraPredModeA、IntraPredModeBの状態に対して最も発生頻度の高い予測モードをもってpredCurrIntraPredModeを更新するように構成する。このような構成により、CurrIntraPredModeの符号化・復号に用いる予測値を映像内容に照らして最適な値に設定することができる。
実施の形態６．
本実施の形態６では、図１１の符号化装置、図１２の復号装置の別の構成例を示す。本実施の形態６における符号化装置、復号装置は上記の他の実施の形態と同様、非特許文献１であるMPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格で採用される符号化方式をベースとして、本発明に固有の特徴を付与したものとする。本実施の形態６における映像符号化装置は、実施の形態２、３、５で説明した図１１の符号化装置の構成のうち、可変長符号化部１１の動作のみが異なる。本実施の形態６における映像復号装置は、実施の形態２、３、５で説明した図１２の復号装置の構成のうち、可変長復号部２５の動作のみが異なる。他は実施の形態２、３、５と同様の動作とし、ここでは差異部分のみを説明する。
１．符号化装置におけるイントラ予測モード情報の符号化手順
実施の形態３や実施の形態５の符号化装置においては、図１６の形式によるビットストリームについて、イントラNxN予測モード情報の具体的な符号化方法について示した。本実施の形態６では、その符号化手順の別の具体的な方法を示す。本実施の形態６では特に、イントラNxN予測モードの値が画像パターンとしてのテクスチャの構造を反映することに着目し、同一色成分中の近傍画素領域内で適応的な算術符号化を行う方法を与える点に特徴がある。以下の説明では、図１６の形式のビットストリーム配列を前提とする。また、本実施の形態６では、C0、C1、C2の各成分のイントラNxN予測モード情報の符号化は色成分ごとに独立に符号化することとして、C0成分の符号化方法をC1、C2にも同様に適用するものとし、説明の簡略化のため、C0成分についてのみ説明する。イントラ符号化モード共通化識別フラグ３３の値は、イントラ符号化モードをC0、C1、C2で共通化する、と設定し、イントラ符号化モードをイントラNxN予測モード、変換ブロックサイズ識別フラグ0〜2(32a〜32c)を4x4ブロックであるとする。この際、イントラ予測モード0〜2(35a〜35c)はすべてイントラ4x4予測モードになる。C0成分のイントラNxN予測モード情報の符号化手順の説明図として、図１８を用いる。図１８において、符号化の対象となるカレントマクロブロックはXとする。また、その左隣のマクロブロックはマクロブロックA、真上のマクロブロックをマクロブロックBとする。符号化手順のフローチャートを図２７に示す。
実施の形態３、５では、図１８において個々の4x4ブロックＸに対して１つずつ割り当てられているイントラ4x4予測モードCurrIntraPredModeに対する予測値 predCurrIntraPredMode を、IntraPredModeA, IntraPredModeBのうち小さいほうの値を一意に割り当て、それと等しい場合にはprev_intra_pred_mode_flagを１としてブロックＸに対するイントラ４x４予測モードの符号化を打ち切り、異なる場合に、rem_intra_pred_modeによって符号を伝送するように構成した。本実施の形態では、IntraPredModeA, IntraPredModeBの状態を利用してCurrIntraPredMode を直接算術符号化する。この際、AVC/H.264規格に採用されているコンテクスト適応二値算術符号化に従う符号化手順を用いる。
まず、符号化対象のCurrIntraPredModeを図２８に示す形式にしたがって二値表現化する(ステップS76)。二値系列の第１ビンは、CurrIntraPredModeが縦方向予測か、横方向予測かを分類する符号になっている(図３参照)。この例では、DC予測(intra4x4_pred_mode = 2)を横方向予測に分類しているが、これは縦方向予測に分類するように構成してもよい。第２ビンは、縦方向、横方向のそれぞれで出現頻度が最も高いと考えられる予測モード値に対してTerminateビットを与える。第３ビン以降は、残存する予測モード値の中で出現頻度が高いものから順次Terminateされるように符号構成する。（図２８における二値系列構成の第２ビン以降は実際の画像データ符号化の過程でのシンボル発生確率に応じて設定されることが望ましい）
算術符号化は、二値系列の各ビンに対し、順次、使用する(0,1)生起確率テーブルを選択しながら実行する。第１ビンの符号化では、算術符号化に用いるコンテクストを以下のように定める(ステップS78)。
コンテクストA(CA)：イントラ予測モードが縦方向予測か、横方向予測かをバイナリ表現するフラグ intra_pred_direction_flag をIntraPredModeA、IntraPredModeBに対して定義し、以下の４状態をコンテクスト値とする。
CA = (intra_pred_direction_flag for IntraPredModeA == 1) + (intra_pred_direction_flag for IntraPredModeB == 1);
ここで、intra_pred_direction_flagは例えば図３にて、intra4x4_pred_modeが値０、３、５、７をとる場合は縦方向予測(＝０)、値１、２、４、６、８をとる場合は横方向予測（＝１）に分類する。CAの４状態には、それぞれ、あらかじめIntraPredModeA、IntraPredModeBの状態を前提とするCurrIntraPredModeの条件付確率を求めておき、それに基づいて定まる(0,1)の初期生起確率テーブルを割り当てておく。このようにコンテクストを構成することで、第１ビンの条件付生起確率をよりよく推定することが可能となり、算術符号化の効率を高めることができる。CAの値に応じて第１ビンの生起確率テーブルを選択して算術符号化を実行する。また、符号化値をもって生起確率テーブルを更新する(ステップS79)。
第２ビン以降については、あらかじめ各予測モード値の発生確率に応じて定まる(0,1)の初期生起確率テーブルを割り当てておく(ステップS80)。次いで、第1ビンと同様に二値算術符号化、生起確率テーブル更新を行う(ステップS81)。
以上のべた符号化手順は、イントラ8x8予測モードに対しても同様に定義できる。イントラNxN予測モードをこのような手順で符号化することにより、同一色成分の近傍画素領域における予測モードの相関を利用して、予測モード情報の符号化に適応算術符号化を適用することができるので、符号化効率を向上することができる。
２．復号装置におけるイントラ予測モード情報の復号手順
実施の形態３、５の復号装置においては、図１６の形式によるビットストリームに対して、可変長符号部２５でのイントラNxN予測モードの情報の具体的な復号手順の一つを示した。本実施の形態６では、復号手順の別の具体的な方法を示す。本実施の形態６では特に、イントラNxN予測モードの値が画像パターンとしてのテクスチャの構造を反映することに着目し、同一色成分中の近傍画素領域内で適応的な算術符号化を用いて符号化が行われたビットストリームを復号する点に特徴がある。
以下の説明では、図１６の形式のビットストリーム配列を前提とする。また、説明の簡略化のため、ビットストリーム中のイントラ符号化モード共通化識別フラグ３３の値は、イントラ符号化モードをC0、C1、C2で共通化する、と設定されているものとする。また、イントラ符号化モードはイントラNxN予測モード、変換ブロックサイズ識別フラグ0〜2(32a〜32c)は4x4ブロックが指定されているものとする。この際、イントラ予測モード0〜2(35a〜35c)はすべてイントラ4x4予測モードになる。符号化装置と同様、復号装置においても、図１８の関係を用いてC0成分についてのみ説明する(C1、C2は同等の手順でC0とは独立に復号する)。復号装置では、復号の対象となるカレントマクロブロックをＸとする。また、その左隣のマクロブロックはマクロブロックＡ、真上のマクロブロックをマクロブロックＢとする。
実施の形態３、５では、符号化装置の説明にも記したように、図１８において個々の4x4ブロックＸに対して１つずつ割り当てられているイントラ4x4予測モードCurrIntraPredModeに対する予測値 predCurrIntraPredMode を、IntraPredModeA, IntraPredModeBのうち小さいほうの値を一意に割り当て、prev_intra_pred_mode_flagを復号してその値が１の場合にはCurrIntraPredModeとしてpredCurrIntraPredModeを採用し、prev_intra_pred_mode_flagがゼロの場合は、rem_intra_pred_modeを復号することによってブロックＸのイントラ4x4予測モードを復元するように構成した。これに対し、本実施の形態６では、IntraPredModeA, IntraPredModeBの状態を利用してCurrIntraPredMode を直接算術復号する。この際、AVC/H.264規格に採用されているコンテクスト適応二値算術復号に従う復号手順を用いる。
復号対象のCurrIntraPredModeは、図２８に示す形式にしたがって二値系列として符号化されているものとし、この系列を左端から順次二値算術復号していく。本実施の形態６の符号化手順で説明したとおり、二値系列の第１ビンは、CurrIntraPredModeが縦方向予測か、横方向予測かを分類する符号になっており(図３参照)、第２ビン以降は予測モード値の中で出現頻度が高いものから順次Terminateされるように符号構成されている。この符号構成の理由については符号化手順で述べたとおりである。
復号プロセスでは、まず、第１ビンの復号に際して、符号化手順で用いたコンテクストと同じCAを定める。CAの値に応じて第１ビンの生起確率テーブルを選択して算術復号を実行して第１ビンを復元する。また、復号値をもって生起確率テーブルを更新する。
第２ビン以降については、あらかじめ各予測モード値の発生確率に応じて定まる(0,1)の初期生起確率テーブルを割り当てておく。次いで、第１ビンと同様に二値算術復号、生起確率テーブル更新を行う。図２８の二値系列は各予測モード値を一意に特定できるように構成されているため、所定の数だけビンを復元したところで逐次CurrIntraPredModeが復号される。
以上のべた復号手順は、イントラ8x8予測モードに対しても同様に定義できる。イントラNxN予測モードをこのような手順で復号することにより、同一色成分の近傍画素領域における予測モードの相関を利用した算術符号化によって予測モード自体の符号量を削減した符号化ビットストリームを復号することができる。
上述の例において、図２８のテーブルは他にもバリエーションが考えられる。例えば、図２９のような二値系列を構成する方法でもよい。ここでは、第１ビンには以下のコンテクストＢを用いる。
コンテクストB(CB)：イントラ予測モードがDC予測か、DC予測でないかをバイナリ表現するフラグ intra_dc_pred_flag をIntraPredModeA、IntraPredModeBに対して定義し、以下の４状態をコンテクスト値とする。
CA = (intra_dc_pred_flag for IntraPredModeA == 1) + (intra_dc_pred_flag for IntraPredModeB == 1);
ここで、intra_dc_pred _flagは図３にて、intra4x4_pred_modeが値2をとる場合は１、その他の値をとる場合は０に設定する。CB の4状態には、それぞれ、あらかじめIntraPredModeA、IntraPredModeBの状態を前提とするCurrIntraPredModeの条件付確率を求めておき、それに基づいて定まる第１ビンの値(0,1)の初期生起確率テーブルを割り当てておく。図２９では、CurrIntraPredModeがDC予測の場合に、第１ビンは値０を、DC予測以外の場合は第１ビンは値１をとるように設計している。また、第２ビンには、上述のコンテクストA(CA)を用いることとした。このようにコンテクストを構成することで、第１ビンおよび第２ビンのいずれに対しても条件付生起確率をよりよく推定することが可能となり、算術符号化の効率を高めることができる。
実施の形態７．
本実施の形態７では、４：４：４フォーマットで入力される映像フレームを１６×１６画素の矩形領域(マクロブロック)に均等分割した単位でフレーム間予測を用いて符号化を行う符号化装置、および対応する復号装置について説明する。また、本符号化装置、復号装置はMPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格(以下、AVC)で採用される符号化方式をベースとして、本発明に固有の特徴を付与したものとする。
図３０に、本実施の形態７における映像符号化装置の構成を、図３１に本実施の形態７における映像復号装置の構成を示す。図３１において、図３０の符号化装置の構成要素と同じ番号が付されている要素は同一の要素であることを示す。
以下、これらの図に基づいて符号化装置ならびに復号装置全体の動作と、本実施の形態７の特徴的な動作であるインター予測モード判定処理と動き補償予測復号処理について説明する。
１．符号化装置の動作概要
図３０の符号化装置において、入力映像信号１は、個々の映像フレームが４：４：４フォーマットであって、かつ３つの色成分を同一サイズのマクロブロックに分割してまとめた単位で符号化装置に入力されるものとする。
まず、動き補償予測部１０２において、メモリ１６に格納される１フレーム以上の動き補償予測参照画像データの中から１フレームの参照画像を選択し、該マクロブロックの単位で、各色成分ごとに動き補償予測処理が行われる。メモリは各色成分ごとに３面用意される（本実施の形態では３面として説明するが、設計により適宜変更してよい）。動き補償予測を行うブロックサイズには、７種類用意されており、まずマクロブロック単位に、図３２(a)から(d)に示すように、１６ｘ１６、１６ｘ８、８ｘ１６、８ｘ８のいずれかのサイズを選択することができる。さらに８ｘ８が選択された場合には、各８ｘ８ブロックごとに、図３２(e)から(h)に示すように、８ｘ８、８ｘ４、４ｘ８、４ｘ４のいずれかのサイズを選択することができる。選択したサイズ情報は、マクロブロック単位のサイズ情報はマクロブロックタイプとして、８ｘ８ブロック単位のサイズ情報はサブマクロブロックタイプとして出力される。なお、それぞれのブロックごとに選択した参照画像の識別番号と動きベクトル情報が出力される。
本実施の形態７における映像符号化装置は、インター予測モード共通化識別フラグ１２３に基づき、３つの色成分に対する動き補償予測処理方法を切り替えることを特徴とする。この点については、下記２で詳しく述べる。
動き補償予測部１０２では、図３２に示した全ブロックサイズないしはサブブロックサイズ、および所定の探索範囲のすべての動きベクトル１３７および選択可能な１枚以上の参照画像に対して動き補償予測処理を実行して、動きベクトル１３７と１枚の参照画像と減算器３により予測差分信号４を得る。予測差分信号４は符号化モード判定部５においてその予測効率が評価され、動き補償予測部１０２で実行した予測処理の中から、予測対象のマクロブロックに対して最適な予測効率が得られるマクロブロックタイプ／サブマクロブロックタイプ１０６と動きベクトル１３７と参照画像の識別番号を出力する。マクロブロックタイプ／サブマクロブロックタイプ１０６の選定にあたっては、符号化制御部１９の判断で定まる各タイプに対する重み係数２０が加味されることもある。また、選定されたタイプと動きベクトル１３７と参照画像に基づく動き補償予測によって得られる予測差分信号４を直交変換部８へ出力する。直交変換部８は入力される予測差分信号４を変換し直交変換係数として量子化部９へ出力する。量子化部９は入力される直交変換係数を、符号化制御部１９によって定まる量子化パラメータ２１に基づいて量子化を行い、量子化済み変換係数１０として可変長符号化部１１へ出力する。量子化済み変換係数１０は、可変長符号化部１１にてハフマン符号化や算術符号化などの手段によりエントロピー符号化される。また、量子化済み変換係数１０は逆量子化部１２、逆直交変換部１３を経て局部復号予測差分信号１４へ復元され、選定されたマクロブロックタイプ／サブマクロブロックタイプ１０６と動きベクトル１３７と参照画像に基づいて生成される予測画像７と加算器１８で加算することで局部復号画像１５が生成される。局部復号画像１５は以降の動き補償予測処理に用いるためメモリ１６へ格納される。また、可変長符号化部１１には、当該マクロブロックに対してデブロッキングフィルタを施すか否かを示すデブロッキングフィルタ制御フラグ２４も入力される（動き補償予測部１０２で実施される予測処理には、デブロッキングフィルタが施される前の画素データをメモリ１６に格納して用いるのでデブロッキングフィルタ処理自体は符号化処理には必要はないが、復号装置側ではデブロッキングフィルタ制御フラグ２４の指示によってデブロッキングフィルタを行って最終的な復号画像を得る）。
可変長符号化部１１に入力されるインター予測モード共通化識別フラグ１２３、量子化済み変換係数１０、マクロブロックタイプ／サブマクロブロックタイプ１０６、動きベクトル１３７、参照画像識別番号、量子化パラメータ２１は所定の規則(シンタックス)に従ってビットストリームとして配列・整形され、送信バッファ１７へ出力される。送信バッファ１７では符号化装置が接続される伝送路の帯域や記録媒体の読み出し速度に合わせてビットストリームを平滑化してビデオストリーム２２として出力する。また、送信バッファ１７中のビットストリーム蓄積状況に応じて符号化制御部１９へフィードバックをかけ、以降の映像フレームの符号化における発生符号量を制御する。
２．符号化装置におけるインター予測モード判定処理
本実施の形態７の符号化装置の特徴であるインター予測モード判定処理について詳述する。なお以下の記述でインター予測モードとは、上述の動き補償予測の単位となるブロックサイズ、すなわちマクロブロックタイプ／サブマクロブロックタイプを指し、インター予測モード判定処理とは、マクロブロックタイプ／サブマクロブロックタイプと動きベクトルと参照画像を選定する処理のことである。本処理は上記３つの色成分をまとめたマクロブロックの単位で実施され、主として、図３０の符号化装置における動き補償予測部１０２、符号化モード判定部５によって行われる。また、本処理の流れを示すフローチャートを図３３に示す。以下、ブロックを構成する３つの色成分の画像データをC0、C1、C2とする。
まず、符号化モード判定部５は、インター予測モード共通化識別フラグ１２３を受け取り、その値に基づいてC0、C1、C2で共通のインター予測モードと共通の動きベクトル１３７および共通の参照画像を使用するか否かを判断する(図３３のステップS100)。共通化する場合はステップS101以降へ、さもなくばステップS102以降へ進む。
インター予測モードと動きベクトル１３７および参照画像をC0、C1、C2で共通化する場合は、符号化モード判定部５は動き補償予測部１０２に対して、選択しうるすべてのインター予測モードと動きベクトル探索範囲と参照画像を通知し、動き補償予測部１０２はそのすべての予測効率を評価して、C0、C1、C2で共通の最適なインター予測モードと動きベクトル１３７と参照画像を選択する(ステップS101)。
インター予測モードと動きベクトル１３７および参照画像をC0、C1、C2で共通化せず、C0、C1、C2でそれぞれ一番よいモードを選択する場合は、符号化モード判定部５は動き補償予測部１０２に対して、Ci (i<=0<3)成分で選択しうるすべてのインター予測モードと動きベクトル探索範囲と参照画像を通知し、動き補償予測部１０２はそのすべての予測効率を評価して、Ci (i<=0<3)成分における最適なインター予測モードと動きベクトル１３７と参照画像を選択する(ステップS102、S103、S104)。
動き補償予測部１０２で行われる予測モードの予測効率評価の規範としてはたとえば、
Jm,v,r = Dm,v,r + λRm,v,r(λ：正数)
で与えられるレート・ひずみコストを用いることができる。ここで、Dm,v,rはインター予測モードmと所定範囲の動きベクトルvと参照画像rを適用した場合の符号化歪または予測誤差量である。符号化歪とは、インター予測モードmと動きベクトルvと参照画像rを適用して予測誤差を得、予測誤差を変換・量子化した結果から映像を復号して符号化前の信号に対する誤差を計測するものである。予測誤差量は、インター予測モードmと動きベクトルvと参照画像rを適用した場合の予測画像と符号化前の信号との差分を得、その差分の大きさを定量化したもので、たとえば差分絶対値和(Sum of Absolute Distance: SAD)などが用いられる。Rm,v,rはインター予測モードmと動きベクトルvと参照画像rを適用した場合の発生符号量である。つまり、Jm,v,rはインター予測モードmおよび動きベクトルvと参照画像rを適用した場合の符号量と劣化度とのトレードオフを規定する値であり、最小のJm,v,rを与えるインター予測モードmと動きベクトルvと参照画像rが最適解を与える。
符号化装置がステップS101以降の処理を行った場合、インター予測モードと動きベクトル１３７および参照画像の情報は、３つの色成分を含むマクロブロックに対して１組割り当てられる。一方、ステップS102以降の処理を行った場合は、各色成分に対してそれぞれインター予測モード情報と動きベクトル１３７および参照画像が割り当てられる。したがって、マクロブロックに対して割り当てられるインター予測モードと動きベクトル１３７と参照画像の情報が異なるため、符号化装置がS101以降の処理過程を行ったか、S102以降の処理過程を行ったかはインター予測モード共通化識別フラグ１２３をビットストリームに多重化して復号装置側で認識できるようにする必要がある。このようなビットストリームのデータ配列を図３４に示す。
図３４はマクロブロックのレベルにおけるビットストリームのデータ配列を示しており、マクロブロックタイプは、イントラかインターかを示し、インターモードのときには動き補償の単位となるブロックサイズを示す情報を含む。サブマクロブロックタイプは、マクロブロックタイプで８ｘ８ブロックサイズが選択された場合にのみ多重化され、各８ｘ８ブロックごとのブロックサイズ情報を含む。基本マクロブロックタイプ１２８と基本サブマクロブロックタイプ１２９はインター予測モード共通化識別フラグ１２３が「C0、C1、C2で共通」であることを示す場合は共通マクロブロックタイプおよび共通サブマクロブロックタイプを示し、さもなくばC0に対するマクロブロックタイプおよびサブマクロブロックタイプを示す。拡張マクロブロックタイプ１３０および拡張サブマクロブロックタイプ１３１は、インター予測モード共通化識別フラグ１２３が「C0、C1、C2で共通」でないことを示す場合にのみC1、C2各々に対して多重化され、C1、C2に対するマクロブロックタイプおよびサブマクロブロックタイプを示す。
参照画像識別番号は、動き補償単位となる８ｘ８ブロックサイズ以上のブロックごとに選択する参照画像を特定するための情報である。インターフレームのときには、選択できる参照画像は１フレームであるので、１ブロックごとに１つの参照画像識別番号が多重化される。動きベクトル情報は、動き補償単位となるブロックごとに１組の動きベクトル情報を多重化する。参照画像識別番号および動きベクトル情報は、マクロブロックに含まれる動き補償の単位となるブロックの個数分多重化される必要がある。基本参照画像識別番号１３２および基本動きベクトル情報１３３はインター予測モード共通化識別フラグ１２３が「C0、C1、C2で共通」であることを示す場合は、共通の参照画像識別番号および共通の動きベクトル情報を示し、さもなければC0に対する参照画像識別番号および動きベクトル情報を示す。拡張参照画像識別番号１３４および拡張動きベクトル情報１３５は、インター予測モード共通化識別フラグ１２３が「C0、C1、C2で共通」でないことを示す場合にのみC1、C2各々に対して多重化され、C1、C2に対する参照画像識別番号および動きベクトル情報を示す。
ついで量子化パラメータ２１、量子化済み変換係数１０が多重化される。（図３４には図３０で可変長符号化部１１に入力されているデブロッキングフィルタ制御フラグ２４が含まれていないが、本実施の形態７の特徴を説明するために必要な構成要素ではないため割愛している）
従来の映像符号化標準で採用されてきた４：２：０フォーマットでは、色空間の定義がY、Cb、Crに固定されていたが、４：４：４フォーマットではY、Cb、Crに限定せず多様な色空間を利用することができる。図３４のようにインター予測モード情報を構成することで、入力映像信号１の色空間の定義が種々に及ぶ場合にも最適な符号化処理を行うことができる。たとえば、色空間がRGBで定義される場合にR、G、Bの各成分に均等に映像テクスチャの構造が残存している領域では、共通のインター予測モード情報と共通の動きベクトル情報を用いることでインター予測モード情報と動きベクトル情報自体の冗長性を削減して符号化効率を高めることができる。これに対し、例えば赤味がまったくない領域(R成分が0)では、R成分に最適なインター予測モードと動きベクトル情報とG,B成分に最適なインター予測モードと動きベクトル情報は異なるはずである。そこで、拡張インター予測モードと拡張参照画像識別情報および拡張動きベクトル情報を適応的に利用することで最適な符号化効率を得ることができる。
３．復号装置の動作概要
図３１の復号装置は、図３０の符号化装置から出力される図３４の配列に従うビデオストリーム２２を受信して、３つの色成分が同一サイズ(４：４：４フォーマット)のマクロブロックの単位で復号処理を行い、個々の映像フレームを復元するものとする。
まず、可変長復号部２５はストリーム２２を入力とし、所定の規則(シンタックス)に従ってビデオストリーム２２を解読して、インター予測モード共通化識別フラグ１２３、量子化済み変換係数１０、マクロブロックタイプ／サブマクロブロックタイプ１０６、参照画像識別番号、動きベクトル情報、量子化パラメータ２１などの情報を抽出する。量子化済み変換係数１０は量子化パラメータ２１とともに逆量子化部１２へ入力され、逆量子化処理が行われる。ついでその出力が逆直交変換部１３へ入力され、局部復号予測差分信号１４へ復元される。一方、動き補償予測部１０２に対してはマクロブロックタイプ／サブマクロブロックタイプ１０６とインター予測モード共通化識別フラグ１２３と動きベクトル１３７と参照画像識別番号が入力され、これらの情報に従って予測画像７を得る。予測画像７を得る具体的な手順については後述する。局部復号予測差分信号１４と予測画像７は加算器１８により加算され、暫定復号画像１５を得る(これは符号化装置における局部復号画像１５とまったく同じ信号である)。暫定復号画像１５は以降のマクロブロックの動き補償予測に用いられるためメモリ１６へ書き戻される。メモリは各色成分ごとに３面用意される（本実施の形態では３面として説明するが、設計により適宜変更してよい）。また、可変長復号部２５によって解読されたデブロッキングフィルタ制御フラグ２４の指示に基づいてデブロッキングフィルタ２６を暫定復号画像１５に対して作用させ、最終的な復号画像２７を得る。
４．復号装置におけるインター予測復号処理
図３１の復号装置は、図３０の符号化装置から出力される図３４の配列に従うビデオストリーム２２を受信して、３つの色成分が同一サイズ(４：４：４フォーマット)のマクロブロックの単位で復号処理を行い、個々の映像フレームを復元するものとする。
本実施の形態７の復号装置の特徴であるインター予測画像生成処理について詳述する。本処理は上記３つの色成分をまとめたマクロブロックの単位で実施され、主として、図３１の復号装置における可変長復号部２５、動き補償予測部１０２によって行われる。また、本処理のうち可変長復号部２５で行われる処理の流れを示すフローチャートを図３５に示す。
可変長復号部２５への入力であるビデオストリーム２２は、図３４のデータ配列に従うものとする。ステップS110では図３４のデータのうちインター予測モード共通化識別フラグ１２３が復号される(ステップS110)。さらに基本マクロブロックタイプ１２８および基本サブマクロブロックタイプ１２９が復号される(ステップS111)。ステップS112では、インター予測モード共通化識別フラグ１２３の結果を用いてインター予測モードをC0、C1、C2で共通化するかどうかを判断し、共通化の場合は(ステップS112でYes)C0、C1、C2のすべてに対して基本マクロブロックタイプ１２８および基本サブマクロブロックタイプ１２９を用いることとし、さもなければ(ステップS112でNo)基本マクロブロックタイプ１２８および基本サブマクロブロックタイプ１２９はC0のモードとして使用し、さらにC1、C2の各々に対して拡張マクロブロックタイプ１３０および拡張サブマクロブロックタイプ１３１を復号して(ステップS113)、C1、C2のインター予測モード情報を得る。次に基本参照画像識別番号１３２と基本動きベクトル情報１３３を復号し(ステップS114)、インター予測モード共通化識別フラグ１２３が、「C0、C1、C2で共通化」することを示す場合には(ステップS115でYes)、C0、C1、C2のすべてに対して基本参照画像識別番号１３２および基本動きベクトル情報１３３を用いることとし、さもなければ(ステップS115でNo)基本参照画像識別番号１３２および基本動きベクトル情報１３３はC0の情報として使用し、さらにC1、C2の各々に対して拡張参照画像識別番号１３４および拡張動きベクトル情報１３５を復号する(ステップS116)。以上の処理過程を経て各色成分のマクロブロックタイプ／サブマクロブロックタイプ１０６、参照画像識別番号および動きベクトル情報が確定するため、これらを動き補償予測部１０２へ出力し、各色成分の動き補償予測画像を得る。
図３６に、図３４のビットストリームデータ配列のバリエーションを示す。図３６では、インター予測モード共通化識別フラグ１２３は、マクロブロックレベルのフラグとしてではなく、スライス、ピクチャ、シーケンスなどの上位データレイヤに位置するフラグとして多重化されるようにした。これにより、スライス以上の上位レイヤでの切り替えで十分な予測効率が確保できる場合は、マクロブロックレベルで予測モード共通化識別フラグ１２３を逐一多重化することなくオーバヘッドビットを削減できる。
図３４、図３６では、インター予測モード共通化識別フラグ１２３をマクロブロック毎またはスライス、ピクチャ、シーケンスなどの上位データレイヤに多重化したが、インター予測モード共通化識別フラグ１２３を多重化せずに４：４：４フォーマットで符号化する場合には常に各成分に異なるインター予測モードと動きベクトル情報を用いるようにしてもよい。その場合のビットストリームデータの配列を図３７に示す。図３７では、インター予測モード共通化識別フラグ１２３は存在せず、シーケンスなどの上位データレイヤに４：４：４フォーマットの入力画像を扱うことを指示するプロファイル情報１３６が多重化され、このプロファイル情報の復号結果によって、拡張マクロブロックタイプ１３０、拡張サブマクロブロックタイプ１３１、拡張参照画像識別番号１３４、拡張動きベクトル情報１３５が多重化される。
実施の形態８．
実施の形態７では、マクロブロックタイプ／サブマクロブロックタイプ、動きベクトル、参照画像の各々を色成分ごとに異なるものにすることができるようにしたが、本実施の形態８ではマクロブロックタイプ／サブマクロブロックタイプと参照画像を各成分で共通とし、動きベクトルのみを各成分で異なるものにすることができることを特徴とする映像符号化装置、映像復号装置について記述する。本実施の形態８における映像符号化装置および映像復号装置の構成は実施の形態７における図３０および図３１と同じであるが、インター予測モード共通化識別フラグ１２３の代わりに動きベクトル共通化識別フラグ１２３ｂを使用している点が異なる。
１．符号化装置におけるインター予測モード判定処理
本実施の形態８の符号化装置の特徴であるインター予測モード判定処理について実施の形態７と異なる処理を中心に詳述する。
本処理は上記３つの色成分をまとめたマクロブロックの単位で実施され、主として、図３０の符号化装置における動き補償予測部１０２、符号化モード判定部５によって行われる。また、本処理の流れを示すフローチャートを図３８に示す。以下、ブロックを構成する３つの色成分の画像データをC0、C1、C2とする。
まず、符号化モード判定部５は、動きベクトル共通化識別フラグ１２３ｂを受け取り、その値に基づいてC0、C1、C2で共通の動きベクトル１３７を使用するか否かを判断する(図３７のステップS120)。共通化する場合はステップS121以降へ、さもなくばステップS122以降へ進む。
動きベクトル１３７をC0、C1、C2で共通化する場合は、符号化モード判定部５は動き補償予測部１０２に対して、選択しうるすべてのインター予測モードと動きベクトル探索範囲と参照画像を通知し、動き補償予測部１０２はそのすべての予測効率を評価して、C0、C1、C2で共通の最適なインター予測モードと動きベクトル１３７と参照画像を選択する(ステップS121)。
動きベクトル１３７をC0、C1、C2で共通化せず、C0、C1、C2でそれぞれ一番よい動きベクトルを選択する場合は、符号化モード判定部５は動き補償予測部１０２に対して、選択しうるすべてのインター予測モードと動きベクトル探索範囲と参照画像を通知し、動き補償予測部１０２はそのすべての予測効率を評価して、C0、C1、C2で共通の最適なインター予測モードと参照画像を選択し(ステップS122)、さらにCi (i<=0<3)成分において最適な動きベクトルを選択する(ステップS123、S124、S125)。
動きベクトル共通化識別フラグ１２３ｂは、ビットストリームに多重化して復号装置側で認識できるようにする必要がある。このようなビットストリームのデータ配列を図３９に示す。
図３９はマクロブロックのレベルにおけるビットストリームのデータ配列を示している。マクロブロックタイプ１２８ｂとサブマクロブロックタイプ１２９ｂおよび参照画像識別番号１３２ｂは、「C0、C1、C2で共通」である。基本動きベクトル情報１３３は、動きベクトル共通化識別フラグ１２３ｂが「C0、C1、C2で共通」であることを示す場合は、共通の動きベクトル情報を示し、さもなければC0に対する動きベクトル情報を示す。拡張動きベクトル情報１３５は、動きベクトル共通化識別フラグ１２３ｂが「C0、C1、C2で共通」でないことを示す場合にのみC1、C2各々に対して多重化され、C1、C2に対する動きベクトル情報を示す。なお、図３０、３１におけるマクロブロックタイプ／サブマクロブロックタイプ１０６は、図３９におけるマクロブロックタイプ１２８ｂとサブマクロブロックタイプ１２９ｂの総称である。
２．復号装置におけるインター予測復号処理
本実施の形態８の復号装置は、本実施の形態８の符号化装置から出力される図３９の配列に従うビデオストリーム２２を受信して、３つの色成分が同一サイズ(４：４：４フォーマット)のマクロブロックの単位で復号処理を行い、個々の映像フレームを復元するものとする。
本実施の形態８の復号装置の特徴であるインター予測画像生成処理について実施の形態７と異なる処理を中心に詳述する。本処理は上記３つの色成分をまとめたマクロブロックの単位で実施され、主として、図３１の復号装置における可変長復号部２５、動き補償予測部１０２によって行われる。また、本処理のうち可変長復号部２５で行われる処理の流れを示すフローチャートを図４０に示す。
可変長復号部２５への入力であるビデオストリーム２２は、図３９のデータ配列に従うものとする。ステップS126では、C0、C1、C2で共通のマクロブロックタイプ１２８ｂ、サブマクロブロックタイプ１２９ｂを復号する。復号したマクロブロックタイプ１２８ｂまたはサブマクロブロックタイプ１２９ｂによって、動き補償の単位となるブロックサイズが決まるので、次に動き補償の単位となるブロックごとにC0、C1、C2に共通の参照画像識別番号１３２ｂを復号する(ステップS127)。ステップS128では、動きベクトル共通化識別フラグ１２３ｂを復号する。次に動き補償の単位となるブロックごとに基本動きベクトル情報１３３を復号する(ステップS129)。ステップS130では、動きベクトル共通化識別フラグ１２３ｂの結果を用いて動きベクトル１３７をC0、C1、C2で共通化するかどうかを判断し、共通化の場合は(ステップS130でYes)C0、C1、C2のすべてに対して基本動きベクトル情報を用いることとし、さもなければ(ステップS130でNo)基本動きベクトル情報１３３はC0のモードとして使用し、さらにC1、C2の各々に対して拡張動きベクトル情報１３５を復号する(ステップS131)。以上の処理過程を経て各色成分のマクロブロックタイプ／サブマクロブロックタイプ１０６、参照画像識別番号および動きベクトル情報が確定するため、これらを動き補償予測部１０２へ出力し、各色成分の動き補償予測画像を得る。
図４１に、図３９のビットストリームデータ配列のバリエーションを示す。図３９では、動きベクトル共通化識別フラグ１２３ｂは、マクロブロックレベルのフラグとしてではなく、スライス、ピクチャ、シーケンスなどの上位データレイヤに位置するフラグとして多重化されるようにした。これにより、スライス以上の上位レイヤでの切り替えで十分な予測効率が確保できる場合は、マクロブロックレベルで動きベクトル共通化識別フラグ１２３ｂを逐一多重化することなくオーバヘッドビットを削減できる。
図３９、図４１では動きベクトル共通化識別フラグ１２３ｂをマクロブロック毎またはスライス、ピクチャ、シーケンスなどの上位データレイヤに多重化したが、動きベクトル共通化識別フラグ１２３ｂを多重化せずに４：４：４フォーマットで符号化する場合には常に各成分に異なる動きベクトル情報を用いるようにしてもよい。その場合のビットストリームデータの配列を図４２に示す。図４２では、動きベクトル共通化識別フラグ１２３ｂが存在せず、シーケンスなどの上位データレイヤに４：４：４フォーマットの入力画像を扱うことを指示するプロファイル情報１３６が多重化され、このプロファイル情報１３６の復号結果によって、拡張動きベクトル情報１３５が多重化される。
本実施の形態８では、マクロブロックタイプ／サブマクロブロックタイプ１０６と参照画像を各色成分に対して共通とし、動きベクトル１３７のみを色成分ごとに異なるものにすることができるようにした。これにより、各色成分に対して動きベクトル１３７のみを適応化することで十分な予測効率が得られる場合にはマクロブロックタイプ／サブマクロブロックタイプ１０６や参照画像識別番号は色成分ごとに多重化することなくオーバヘッドビットを削減できる。
実施の形態９．
実施の形態７では、インター予測モード共通化識別フラグ１２３またはプロファイル情報１３６によって、マクロブロックタイプ／サブマクロブロックタイプ１０６、動きベクトル１３７、参照画像の各々を３成分で共通にするか、色成分ごとに異なるものにするかを切り替えることができるようにしたが、本実施の形態９では、Y、Cb、Cr形式などの４：４：４フォーマット画像を想定し、輝度成分(Y)と色差成分(Cb、Cr)に対して異なるものにするかを切り替えることができるようにした(この場合、色差成分の２成分に対しては共通のモードを使用する)。すなわち、３成分で共通にするか、各成分ごとに異なるものにするか、あるいは輝度成分と色差成分に対して異なるものにするかを切り替えることができるようにしたことを特徴とする映像符号化装置および映像復号装置について説明する。本実施の形態９における映像符号化装置および映像復号装置の構成は実施の形態７における図３０および図３１と同じである。
１．符号化装置におけるインター予測モード判定処理
本実施の形態９の符号化装置の特徴であるインター予測モード判定処理について実施の形態７と異なる処理を中心に詳述する。
本処理は上記３つの色成分をまとめたマクロブロックの単位で実施され、主として、図３０の符号化装置における動き補償予測部１０２、符号化モード判定部５によって行われる。また、本処理の流れを示すフローチャートを図４３に示す。以下、ブロックを構成する３つの色成分の画像データをC0、C1、C2とする。
まず、符号化モード判定部５は、インター予測モード共通化識別フラグ１２３を受け取り、その値に基づいてC0、C1、C2で共通のインター予測モードと共通の動きベクトル１３７および共通の参照画像を使用するか否かを判断する(図４３のステップS132)。共通化する場合はステップS133以降へ、さもなくばステップS134以降またはステップS137以降へ進む。
インター予測モードと動きベクトル１３７および参照画像をC0、C1、C2で共通化する場合は、符号化モード判定部５は動き補償予測部１０２に対して、選択しうるすべてのインター予測モードと動きベクトル探索範囲と参照画像を通知し、動き補償予測部１０２はそのすべての予測効率を評価して、C0、C1、C2で共通の最適なインター予測モードと動きベクトル１３７と参照画像を選択する(ステップS133)。
インター予測モードと動きベクトル１３７および参照画像をC0、C1、C2で共通化せず、C0、C1、C2でそれぞれ一番よいモードを選択する場合は、符号化モード判定部５は動き補償予測部１０２に対して、Ci (i<=0<3)成分で選択しうるすべてのインター予測モードと動きベクトル探索範囲と参照画像を通知し、動き補償予測部１０２はそのすべての予測効率を評価して、Ci (i<=0<3)成分における最適なインター予測モードと動きベクトル１３７と参照画像を選択する(ステップS134、S135、S136)。
インター予測モードと動きベクトル１３７および参照画像をC1、C2で共通化し、C0(輝度成分相当)とC1,C2(色差成分相当)でそれぞれ一番よいモードを選択する場合は、符号化モード判定部５は動き補償予測部１０２に対して、C0成分で選択しうるすべてのインター予測モードと動きベクトル探索範囲と参照画像を通知し、動き補償予測部１０２はそのすべての予測効率を評価して、C0成分における最適なインター予測モードと動きベクトル１３７と参照画像を選択する(ステップS137)。さらにC1、C2成分で選択しうるすべてのインター予測モードと動きベクトル探索範囲と参照画像を通知し、動き補償予測部１０２はそのすべての予測効率を評価して、C1、C2で共通の最適なインター予測モードと動きベクトル１３７と参照画像を選択する(ステップS138)。
本実施の形態９における符号化装置が出力するビットストリームのデータ配列は図３４と同じであるが、インター予測モード共通化識別フラグ１２３が、「C1、C2で共通」であることを示す場合は、拡張マクロブロックタイプ１３０、拡張サブマクロブロックタイプ１３１、拡張参照識別番号１３４、拡張動きベクトル情報１３５は、C1、C2に対して共通の情報である。
２．復号装置におけるインター予測復号処理
本実施の形態９の復号装置は、本実施の形態９の符号化装置から出力される図３４の配列に従うビデオストリーム２２を受信して、３つの色成分が同一サイズ(４：４：４フォーマット)のマクロブロックの単位で復号処理を行い、個々の映像フレームを復元するものとする。
本実施の形態９の復号装置の特徴であるインター予測画像生成処理について実施の形態７と異なる処理を中心に詳述する。本処理は上記３つの色成分をまとめたマクロブロックの単位で実施され、主として、図３１の復号装置における可変長復号部２５、動き補償予測部１０２によって行われる。また、本処理のうち可変長復号部２５で行われる処理の流れを示すフローチャートを図４４に示す。
可変長復号部２５への入力であるビデオストリーム２２は、図３４のデータ配列に従うものとする。ステップS140では図３４のデータのうちインター予測モード共通化識別フラグ１２３が復号される(ステップS140)。さらに基本マクロブロックタイプ１２８および基本サブマクロブロックタイプ１２９が復号される(ステップS141)。ステップS142では、インター予測モード共通化識別フラグ１２３の結果を用いてインター予測モードをC0、C1、C2で共通化するかどうかを判断し、共通化の場合はC0、C1、C2のすべてに対して基本マクロブロックタイプ１２８および基本サブマクロブロックタイプ１２９を用いることとし、さもなければ基本マクロブロックタイプ１２８および基本サブマクロブロックタイプ１２９はC0のモードとして使用する。さらにC1、C2で共通の場合には、C1、C2成分で共通の拡張マクロブロックタイプ１３０および拡張サブマクロブロックタイプ１３１を復号する(ステップS143)。C0、C1、C2に対して異なるモードを使用する場合には、C1、C2の各々に対して拡張マクロブロックタイプ１３０および拡張サブマクロブロックタイプ１３１を復号して(ステップS144、S145、S146)、C1、C2のモード情報を得る。次に基本参照画像識別番号１３２と基本動きベクトル情報１３３を復号し(ステップS147)、インター予測モード共通化識別フラグ１２３が、「C0、C1、C2で共通化」することを示す場合には、C0、C1、C2のすべてに対して基本参照画像識別番号１３２および基本動きベクトル情報１３３を用いることとし、さもなければ基本参照画像識別番号１３２および基本動きベクトル情報１３３はC0の情報として使用し、さらにC1、C2で共通の場合には、C1、C2成分で共通の拡張参照画像識別番号１３４および拡張動きベクトル情報１３５を復号する(ステップS149)。C0、C1、C2に対して異なるモードを使用する場合には、C1、C2の各々に対して拡張参照画像識別番号１３４および拡張動きベクトル情報１３５を復号する(ステップS150、S151、S152)。以上の処理過程を経て各色成分のマクロブロックタイプ／サブマクロブロックタイプ１０６、参照画像識別番号および動きベクトル情報が確定するため、これらを動き補償予測部１０２へ出力し、各色成分の動き補償予測画像を得る。
なおビットストリームのデータ配列が、図３６の場合も同様に、インター予測モード共通化識別フラグ１２３が、「C1、C2で共通」であることを示す場合は、拡張マクロブロックタイプ１３０、拡張サブマクロブロックタイプ１３１、拡張参照識別番号１３４、拡張動きベクトル情報１３５は、C1、C2に対して共通の情報であり、図３６に示すデータの配列に従うビデオストリームを出入力とする映像符号化装置および映像復号装置の動作は図３４の場合と同様である。
本実施の形態９では、マクロブロックタイプ／サブマクロブロックタイプ１０６、動きベクトル１３７、参照画像の各々を色成分ごとに異なるものにすることができるようにしたが、マクロブロックタイプ／サブマクロブロックタイプ１０６と参照画像は各成分で共通とし、動きベクトル１３７のみ３成分で共通にするか、各成分ごとに異なるものにするか、あるいはC1、C2で共通化し、C0とC1,C2でそれぞれ最適なものを選択するかを切り替えても良い。この場合のビットストリームのデータ配列は図３９または図４１に従い、この場合も、インター予測モード共通化識別フラグ１２３が、「C1、C2で共通」であることを示す場合は、拡張動きベクトル情報１３５は、C1、C2に対して共通の情報である。
実施の形態１０．
本実施の形態１０では、実施の形態７で述べた符号化装置の可変長符号化部１１において、入力される動きベクトル１３７を符号化し、ビットストリームに多重化する方法と、対応する復号装置の可変長復号部２５において、ビットストリームから動きベクトル１３７を復号する方法を述べる。
図４５は図３０に示す符号化装置の可変長符号化部１１の一部で、動きベクトル１３７を符号化する動きベクトル符号化部の構成である。
３つの色成分(C0、C1、C2)の動きベクトル１３７をC0、C1、C2の順番にビットストリームに多重化する方法について述べる。
C0の動きベクトル１３７をmv0とする。動きベクトル予測部１１１にて、C0の動きベクトル１３７の予測ベクトル(mvp0)を求める。図４６に示すように、符号化対象の動きベクトル(mv0)が位置するブロックに隣接するブロック(図４６のA、B、C)の動きベクトル(mvA0, mvB0, mvC0)をメモリより取得する。なおA、B、Cの動きベクトル１３７はすでにビットストリームに多重化されているものとする。mvA0、mvB0、mvC0の中央値をmvp0として算出する。算出した予測ベクトルmvp0と符号化対象の動きベクトルmv0を差分動きベクトル算出部１１２へ入力する。差分動きベクトル算出部１１２ではmv0とmvp0の差分ベクトル(mvd0)を算出する。算出したmvd0は差分動きベクトル可変長符号化部１１３へ入力され、ハフマン符号化や算術符号化などの手段によりエントロピー符号化される。
次にC1の動きベクトル(mv1)を符号化する。動きベクトル予測部１１１にて、C1の動きベクトル１３７の予測ベクトル(mvp1)を求める。図４６に示すように、符号化対象の動きベクトル(mv1)が位置するブロックに隣接するブロックの動きベクトル(mvA1、mvB1、mvC1)とmv1が位置するブロックと同位置のC0の動きベクトル(mv0)をメモリ１６より取得する。なおA、B、Cの動きベクトル１３７はすでにビットストリームに多重化されているものとする。mvA1、mvB1、mvC1、mv0の中央値をmvp1として算出する。算出した予測ベクトルmvp1と符号化対象の動きベクトルmv1を差分動きベクトル算出部１１２へ入力し、mv1とmvp1の差分動きベクトル(mvd1=mv1-mvp1)を算出する。算出したmvd1は差分動きベクトル可変長符号化部１１３へ入力され、ハフマン符号化や算術符号化などの手段によりエントロピー符号化される。
次にC2の動きベクトル(mv2)を符号化する。動きベクトル予測部１１１にて、C2の動きベクトル１３７の予測ベクトル(mvp2)を求める。図４６に示すように、符号化対象の動きベクトル(mv2)が位置するブロックに隣接するブロックの動きベクトル(mvA2、mvB2、mvC2)とmv2が位置するブロックと同位置のC0およびC1の動きベクトル(mv1、mv2)をメモリより取得する。mvA2、mvB2、mvC2、mv0、mv1の中央値をmvp2として算出する。算出した予測ベクトルmvp2と符号化対象の動きベクトルmv2を差分動きベクトル算出部１１２へ入力し、mv2とmvp2の差分動きベクトル(mvd2=mv2-mvp2)を算出する。算出したmvd2は差分動きベクトル可変長符号化部１１３へ入力され、ハフマン符号化や算術符号化などの手段によりエントロピー符号化される。
図４７に図３１に示す復号装置の可変長復号部２５の一部で、動きベクトル１３７を復号する動きベクトル復号部２５０の構成を示す。
動きベクトル復号部２５０ではC0、C1、C2の順番にビデオストリーム２２に多重化された３つの色成分の動きベクトル１３７を復号する。
差分動きベクトル可変長復号部２５１にて、ビデオストリーム２２に多重化された３つの色成分(C0、C1、C2)の差分動きベクトル(mvd0、mvd1、mvd2)を抽出し可変長復号する。
動きベクトル予測部２５２にて、C0、C1、C2の動きベクトル１３７の予測ベクトル(mvp0、mvp1、mvp2)を算出する。予測ベクトルの算出方法は符号化装置の動きベクトル予測部１１１と同じである。
次に動きベクトル算出部２５３にて差分動きベクトルと予測ベクトルを加算し動きベクトル(mvi=mvdi+mvpi(i=0,1,2))を算出する。算出した動きベクトル１３７は予測ベクトル候補として用いるためにメモリ１６に格納する。
本実施の形態１０によれば、動きベクトルを符号化および復号する際に、符号化対象の動きベクトルが位置するブロックに隣接する同一色成分ブロックの動きベクトルと、符号化対象の動きベクトルが位置するブロックと同位置にあって異なる色成分ブロックの動きベクトルを予測ベクトル候補として用いることにしたので、物体の境界領域などで同一色成分内の隣接するブロックの動きベクトルと連続性がない場合などに、異なる色成分の同位置のブロックの動きベクトルを予測ベクトル候補として用いることで動きベクトルの予測効率を高め、動きベクトルの符号量を削減する効果が得られる。
実施の形態１１．
本実施の形態１１では、実施の形態７で述べた符号化装置および復号装置から派生する別の符号化装置、復号装置の実施例について述べる。本実施の形態１１における符号化装置・復号装置は、マクロブロック中のC0、C1、C2成分を個別のヘッダ情報に従って符号化するか否かを所定の制御信号に応じて判断し、その制御信号の情報をビデオストリーム２２に多重化する。また、当該制御信号に応じてC0、C1、C2成分の復号に必要なヘッダ情報をビデオストリーム２２に多重化するとともに、当該制御信号に応じて伝送すべき動きベクトルや変換係数の情報がない場合のスキップ(またはnot coded)マクロブロックを効率よく符号化する手段を提供する点を特徴とする。
AVCも含め従来のMPEG映像符号化方式では、符号化対象のマクロブロックについて伝送すべき符号化情報が存在しないようなケースを特別にシグナリングすることで、当該マクロブロックの符号量を最小限に抑えた高能率符号化を実現している。例えば、あるマクロブロックを符号化しようとする場合、動き補償予測に用いる参照画像上でまったく同じ位置の画像データを予測画像として使用し(すなわち、動きベクトルがゼロ)、なおかつ得られた予測誤差信号を変換、量子化した結果、マクロブロック内の量子化後のすべての変換係数がゼロになる場合、復号側では逆量子化を行っても得られる予測誤差信号は振幅がゼロとなり、復号装置側へ伝送すべき変換係数データがなくなる。さらに、動きベクトルがゼロであることも結合仮定すれば、「動きベクトルゼロ、変換係数データ無し」という特別なマクロブロックタイプを定義することができる。このようなマクロブロックは従来、スキップマクロブロックまたはnot codedマクロブロックと呼ばれ、特別なシグナリングを行うことで余分な情報を伝送しないようにする工夫がなされている。AVCでは、動きベクトルの仮定を、「図３２(a)の１６ｘ１６予測を行う場合で、かつ動きベクトルの符号化に用いる予測値(予測ベクトルmvp0、mvp1、mvp2が該当)が実際の動きベクトルに等しい場合」という条件とし、その条件に合致し、かつ伝送すべき変換係数データがない場合に、スキップマクロブロックとみなす。従来のAVCでは、このスキップマクロブロックを符号化する場合に、使用する可変長符号化方式に応じて以下の2つの方法のいずれかを選択することになっている。
方法１：スライス内で連続するスキップマクロブロックの数(RUN長)をカウントし、RUN長を可変長符号化する。方法２：マクロブロックごとに、スキップマクロブロックか否かの指示フラグを符号化する。
各方法によるビットストリームシンタックスを図４８に示す。図４８(a)は、可変長符号化方式として適応ハフマン符号化を用いた場合(方法１)、図４８(b)は適応算術符号化を用いた場合(方法２)である。方法１の場合はmb_skip_run、方法２の場合は mb_skip_flagによってスキップマクロブロックのシグナリングを行っている。MB(n)はｎ番目の(スキップでない)マクロブロックの符号化データを指す。ここで、mb_skip_runやmb_skip_flagは、C0、C1、C2成分をひとまとめにしたマクロブロックを単位として割り当てられていることに注意されたい。
これに対して、本実施の形態１１における符号化装置・復号装置では、上記制御信号、すなわち実施の形態７で述べたインター予測モード共通化識別フラグ１２３相当の信号の状態に応じて、C0、C1、C2の各成分ごとに動きベクトルなどを含むヘッダ情報を変更し、スキップマクロブロックのシグナリングをC0、C1、C2の各成分ごとに行う方法を提供する。具体的なビットストリームシンタックスの例を図４９、図５０に示す。
図４９は本実施の形態１１の符号化装置が出力し、本実施の形態１１の復号装置の入力となるマクロブロック符号化データの構成を、図５０は図４９中のCn成分ヘッダ情報の符号化データの詳細構成を示す。以下では、このビットストリーム構成の効果を説明するため、ビットストリームを受信して映像信号を復元する復号装置側の動作を中心に説明する。復号装置の動作説明には図３１を参照する。
実施の形態７におけるインター予測モード共通化識別フラグ１２３は、定義を拡張し、マクロブロックヘッダ共通化識別フラグ１２３ｃと表現する。マクロブロックヘッダ共通化識別フラグ１２３ｃはC0成分ヘッダ情報１３９ａを基本マクロブロックヘッダ情報とみなし、C0成分ヘッダ情報１３９ａのみをC1、C2成分にも共通に用いるヘッダ情報として多重化するか、C1成分ヘッダ情報１３９ｂ、C2成分ヘッダ情報１３９ｃをそれぞれ個別に拡張ヘッダ情報として多重化するかを指示するフラグとする。マクロブロックヘッダ共通化識別フラグ１２３ｃはビデオストリーム２２から可変長復号部２５によって抽出・復号される。同フラグが、C0成分ヘッダ情報１３９ａのみをC1,C2成分にも共通に用いるヘッダ情報として多重化することを示す場合は、マクロブロック中のC0、C1、C2の全成分に対して、C0成分ヘッダ情報１３９aを用いた復号を行い、C1成分ヘッダ情報１３９ｂ、C2成分ヘッダ情報１３９ｃをそれぞれ個別に拡張ヘッダ情報として多重化することを示す場合は、マクロブロック中のC0、C1,C2それぞれの成分に固有のヘッダ情報１３９a〜１３９ｃを用いた復号を行うものとする。以下ではこの点をさらに詳しくマクロブロック単位の処理として説明する。
１．C0成分ヘッダ情報のみが多重化される場合
マクロブロックヘッダ共通化識別フラグ１２３ｃがC0成分ヘッダ情報１３９ａのみをC1,C2成分にも共通に用いるヘッダ情報として多重化することを示している場合は、C0、C1、C2の全成分に対して、C0成分ヘッダ情報１３９ａに含まれている各種マクロブロックヘッダ情報に基づいてマクロブロックの復号を行う。この場合は、C0成分スキップ指示情報１３８ａとC0成分ヘッダ情報１３９ａをC1、C2成分に対しても共通に適用することとするため、C1、C2成分についてのスキップ指示情報（１３８ｂ、１３８ｃ）、ヘッダ情報（１３９ｂ、１３９ｃ）はビットストリーム中に多重化されない。
可変長復号部２５はまずC0成分スキップ指示情報１３８ａを復号、評価する。ここでC0成分スキップ指示情報１３８ａが「スキップ」であることを示す場合は、C0成分ヘッダ情報１３９ａは符号化されていないものとみなし、C0成分ヘッダ情報１３９ａのうちの変換係数有効無効指示情報１４２はゼロ(符号化されている変換係数がまったくない)であるとみなす。これにより、C0〜C2成分変換係数データ（１４０ａ〜１４０ｃ）はすべて符号化されていないものとみなされ、マクロブロック中の量子化済み変換係数１０を全てゼロとして出力する。さらに、スキップマクロブロックの定義に従って、C0、C1、C2全成分の動きベクトル１３７を同一値に設定し出力する。
C0成分スキップ指示情報１３８ａが「スキップ」でないことを示す場合は、C0成分ヘッダ情報１３９ａが存在するものとし、その復号を行う。C0成分ヘッダ情報１３９ａの中で、マクロブロックタイプ１２８ｂがイントラ符号化を示していれば、イントラ予測モード１４１、変換係数有効無効指示情報１４２、(変換係数有効無効指示情報１４２が０でなければ)量子化パラメータを復号する。ここで変換係数有効無効指示情報１４２がゼロでなければ、C0〜C2成分変換係数データ（１４０ａ〜１４０ｃ）を復号して量子化済み変換係数１０の形式で出力する。変換係数有効無効指示情報１４２がゼロの場合は、C0〜C2成分変換係数データ（１４０ａ〜１４０ｃ）はすべてゼロであるとし、マクロブロック中の量子化済み変換係数１０を全てゼロとして出力する。マクロブロックタイプ１２８ｂがインター符号化を示していれば、必要に応じてサブマクロブロックタイプ１２９ｂを復号し、さらに参照画像識別番号１３２ｂ、動きベクトル情報１３３ｂ、変換係数有効無効指示情報１４２、(変換係数有効無効指示情報１４２が０でなければ)量子化パラメータ２１を復号する。ここで変換係数有効無効指示情報１４２がゼロでなければ、C0〜C2成分変換係数データ（１４０ａ〜１４０ｃ）を復号して量子化済み変換係数１０の形式で出力する。変換係数有効無効指示情報１４２がゼロの場合は、C0〜C2成分変換係数データ（１４０ａ〜１４０ｃ）はすべてゼロであるとし、マクロブロック中の量子化済み変換係数１０を全てゼロとして出力する。以上の動作による可変長復号部２５からの出力を用いて所定の処理手順に従ってマクロブロックの復号を行う点は実施の形態７と同様である。
２．C0、C1、C2成分について各対応ヘッダ情報が多重化される場合
マクロブロックヘッダ共通化識別フラグ１２３ｃがC1成分ヘッダ情報１３９ｂ、C2成分ヘッダ情報１３９ｃをC0成分ヘッダ情報１３９ａとは別にそれぞれ個別に拡張ヘッダ情報として多重化することを示している場合は、C0、C1、C2の各成分に対して、それぞれ対応するヘッダ情報（１３９ａ〜１３９ｃ）に含まれる各種マクロブロックヘッダ情報に基づいて各成分画像の復号を行う。この場合は、C1、C2成分についてのスキップ指示情報（１３８ｂ、１３８ｃ）、ヘッダ情報（１３９ｂ、１３９ｃ）がビットストリームに多重化される。
可変長復号部２５はまずC0成分スキップ指示情報１３８ａを復号、評価する。ここでC0成分スキップ指示情報１３８ａが「スキップ」であることを示す場合は、C0成分ヘッダ情報１３９ａは符号化されていないものとみなし、C0成分ヘッダ情報１３９ａのうちの変換係数有効無効指示情報１４２はゼロ(符号化されている変換係数がまったくない)であるとみなす。これにより、C0成分変換係数データ１４０ａは符号化されていないものとみなされ、C0成分における量子化済み全変換係数をゼロとする(つまり、マクロブロックヘッダ共通化識別フラグ１２３ｃの値により、C0成分スキップ指示情報１３８ａと変換係数有効無効指示情報１４２の関係が変化する)。さらに、C0成分の動きベクトル１３７をC0成分スキップの場合の定義に従って設定し出力する。
C0成分スキップ指示情報１３８ａが「スキップ」でないことを示す場合は、C0成分ヘッダ情報１３９ａが存在するものとし、その復号を行う。C0成分ヘッダ情報１３９ａの中で、マクロブロックタイプ１２８ｂがイントラ符号化を示していれば、イントラ予測モード１４１(フレーム内の被予測対象画素の近傍画素を予測値として用いることにする空間画素予測のモード)と、変換係数有効無効指示情報１４２、(変換係数有効無効指示情報１４２が０でなければ)量子化パラメータ２１を復号する。ここで変換係数有効無効指示情報１４２がゼロでなければ、C0成分変換係数データを復号して量子化済み変換係数１０の形式で出力する。変換係数有効無効指示情報がゼロの場合は、C0成分変換係数データはすべてゼロであるとする。マクロブロックタイプがインター符号化を示していれば、必要に応じてサブマクロブロックタイプを復号し、さらに参照画像識別番号、動きベクトル情報、変換係数有効無効指示情報、(変換係数有効無効指示情報が０でなければ)量子化パラメータを復号する。ここで変換係数有効無効指示情報がゼロでなければ、C0成分変換係数データを復号して量子化済み変換係数１０の形式で出力する。変換係数有効無効指示情報がゼロの場合は、C0成分変換係数データはすべてゼロであるとする。以上の処理手順を、C1、C2に対しても同様に行う。
以上の動作による可変長復号部２５からの出力を用いて所定の処理手順に従ってマクロブロック中のC0、C1、C2の各成分の復号を行う点は実施の形態７と同様である。
以上は復号装置側での動作を中心に述べたが、このようにビットストリームを構成することにより、以下の効果が得られる。まず、従来のAVCではマクロブロックあたりに利用可能なヘッダ情報（図５０）は1組しかなく、このヘッダ情報にしたがってC0〜C2の全成分をひとまとめでイントラ・インター判定を行って符号化を行う必要があった。一方、４：４：４フォーマットのように、画像信号の内容を伝える輝度信号相当の信号成分が3つの色成分に等価に含まれる場合に対しては、各成分への入力映像信号へのノイズの乗り方等に起因する信号特性のばらつきが生じることがあり、必ずしもC0〜C2の全成分をひとまとめで符号化することが最適ではないことがある。本実施の形態１１における図４９、図５０のビットストリーム構成を前提にすることで、符号化装置は、マクロブロックヘッダ共通化識別フラグ１２３ｃによって、C0〜C2の各成分ごとに信号特性に応じた最適な符号化モード(イントラ・インター符号化種別を含むマクロブロックタイプ)、動きベクトルなどを選択して符号化を行うことができ、符号化効率を高めることができる。また、従来はC0〜C2の全成分をひとまとめにしたマクロブロックの単位で符号化を行っていたため、全成分の符号化情報がすべて存在しないことを条件にスキップと判定を行っていたが、本実施の形態１１では、各成分ごとに符号化情報の有無をスキップ指示情報１３８で判別できるように構成したため、ある成分だけがスキップだが、別の成分はスキップでないというような場合に、全成分をスキップでないとする必要がなく、より効率的に符号量の割り当てを行うことが可能となる。なお、符号化装置において、スキップ指示情報１３８の値は、可変長符号化部１１にて、量子化済み変換係数データ１０と動きベクトル１３７・参照画像識別番号１３２ｂ、マクロブロックタイプ／サブマクロブロックタイプ１０６に基づき、
で述べたような符号化装置・復号装置の双方で一意に規定されるスキップマクロブロックの定義に従って決定される。
なお、本実施の形態１１による符号化装置・復号装置が扱うビットストリームの構成は、図５１のようにしてもよい。この例では、C0、C1、C2の各成分のスキップ指示情報（１３８）、ヘッダ情報（１３９ａ〜１３９ｃ）、変換係数データ（１４０ａ〜１４０ｃ）をそれぞれまとめて配置するようにした。この際、スキップ指示情報１３８は、C0、C1、C2の各状態をそれぞれ1ビットの符号シンボルで並べてもよいし、8状態を1つの符号シンボルにまとめて符号化するようにしてもよい。色成分間でスキップ状態に相関が高い場合は、符号シンボルをまとめて適切に算術符号化のコンテクストモデル（実施の形態１２で後述）を定義することによって、スキップ指示情報１３８そのものの符号化効率を高めることもできる。
なお、マクロブロックヘッダ共通化識別フラグ１２３ｃは、マクロブロック、スライス、ピクチャ、シーケンスなどの任意のデータレイヤの単位でビットストリームに多重してもよい。入力信号において定常的に色成分間の信号の性質の違いがある場合には、マクロブロックヘッダ共通化識別フラグ１２３ｃをシーケンスの単位で多重化するように構成すれば、より少ないオーバヘッド情報で効率的な符号化を行うことができる。マクロブロックヘッダ共通化識別フラグ１２３ｃをピクチャの単位で多重化するように構成すれば、マクロブロックタイプのバリエーションが少ないIピクチャではヘッダを共通化し、マクロブロックタイプのバリエーションが多いP、Bピクチャでは色成分ごとに個別のヘッダを使用することで符号化効率と演算負荷のバランスを改善するなどの効果が期待できる。さらにピクチャレイヤでの切り替えは、シーンチェンジなど、ピクチャごとに信号の性質が変化するような映像信号の符号化制御の観点からも望ましいといえる。マクロブロックヘッダ共通化識別フラグ１２３ｃをマクロブロックの単位で多重化することにすると、マクロブロックあたりの符号量が増加する反面、マクロブロックの単位で各色成分の信号状態を踏まえてヘッダ情報の共通化を行うか否かを制御することが可能となり、画像の局所的な信号の変動によりよく追随して圧縮効率を向上させる符号化装置を構成することができる。
AVCのようにピクチャタイプ相当の符号化タイプがスライスレベルで切り替わる場合は、マクロブロックヘッダ共通化識別フラグ１２３ｃをスライスごとに多重し、同フラグが「C0、C1、C2で共通」であることを示す場合は当該スライスは３つの色成分の符号化情報をすべて含むようにビットストリームを構成し、また、同フラグが「C0、C1、C2で共通」でないことを示す場合は、１つのスライスが１つの色成分の情報を含むようにビットストリームを構成する方法が考えられる。この様子を図５２に示す。図５２において、マクロブロックヘッダ共通化識別フラグ１２３ｃには、「カレントスライスは３つの色成分の符号化情報をすべて含んでいる」か「カレントスライスはある特定の色成分の符号化情報を含んでいる」かのスライス構成識別情報としての意味を持たせている。もちろん、このようなスライス構成識別情報をマクロブロックヘッダ共通化識別フラグ１２３ｃとは別に用意してもよい。「カレントスライスはある特定の色成分の符号化情報を含んでいる」と識別される場合には、それが「C0、C1、C2のうちどれか」という識別を含むものとする。また、このようにしてスライス単位で、一つのマクロブロックヘッダをC0、C1、C2成分で共通に用いるか(C0、C1、C2混在スライス)、C0、C1、C2成分ごとにマクロブロックヘッダを個別に多重するか(C0スライス、C1スライス、C2スライス)を切り替える場合、１ピクチャ内でこれら2種類のスライスが混在する場合においては、C0スライス、C1スライス、C2スライスは常に画面内の同一位置のマクロブロックを符号化したデータとして組にしてビットストリームに多重する制約を設ける。すなわち、スライスヘッダに含まれてスライスの先頭マクロブロックのピクチャ内位置を示すfirst_mb_in_sliceの値は、一組のC0スライス、C1スライス、C2スライスで常に同一の値をとり、かつ、一組のC0スライス、C1スライス、C2スライスに含まれるマクロブロックの個数は同じ数とする。この様子を図５３に示す。ビットストリームの構成にこのような制約を設けることにより、符号化装置では、ピクチャ内の局所的な信号の性質に応じて、C0、C1、C2混在スライスと、C0スライス、C1スライス、C2スライスの組のうち、符号化効率の高い符号化方法を適応的に選択して符号化することができ、復号装置はそのようにして効率的に符号化されたビットストリームを受信して映像信号を再生できる。例えば、図３１の復号装置に入力されるビットストリーム２２がこのような構成であるとすると、可変長復号部２５ではスライスデータが入力されるたびにスライス構成識別情報をビットストリームから復号し、これから復号しようとするスライスが図５２のいずれのスライスかを識別する。スライス構成識別情報から、C0スライス、C1スライス、C2スライスの組として符号化データが構成されると判断される場合は、インター予測モード共通化識別フラグ１２３(またはマクロブロックヘッダ共通化識別フラグ１２３ｃ)の状態を「C0、C1、C2で個別のインター予測モードまたは(マクロブロックヘッダ)を使用」であると定めて復号動作を行うようにすればよい。各スライスのfirst_mb_in_sliceの値とスライス中のマクロブロック個数が等しいことが保証されるため、これに基づいてC0、C1、C2混在スライスとピクチャ上でのオーバラップやギャップを発生させることなく復号処理が可能である。
また、C0、C1、C2の各スライスの信号の性質が大きく異なる場合にこのような制約を設けることによる符号化効率の低下を回避するため、ピクチャ内で異なるスライス構成識別情報の値を持つスライスの混在を許可するかしないかをピクチャレベルまたはシーケンスレベルで選択可能とする識別情報を付与するように構成してもよい。
実施の形態１２．
本実施の形態１２では、実施の形態１１で述べた符号化装置および復号装置から派生する別の符号化装置、復号装置の実施例について述べる。本実施の形態１２における符号化装置・復号装置は、マクロブロック中のC0、C1、C2各成分の符号化を、適応算術符号化方式を用いて行う場合に、算術符号化に用いるシンボル生起確率ならびにその学習過程を全成分で共有するか、各成分ごとに分離するかを、ビットストリーム中に多重される指示情報によって適応的に切り替えることを特徴とする。
本実施の形態１２は、符号化装置では図３０の可変長符号化部１１、復号装置では図３１の可変長復号部２５内の処理のみが実施の形態１１と異なり、それ以外の動作は実施の形態１１に順ずる。以下、本実施の形態１２のポイントである算術符号化および復号処理について詳細に説明する。
１．符号化処理
図５４は可変長符号化部１１における算術符号化処理に関わる内部構成を、図５５及び図５６はその動作フローを示す。
本実施の形態１２における可変長符号化部１１は、符号化対象データである動きベクトル１３７、参照画像識別番号１３２ｂ、マクロブロックタイプ／サブマクロブロックタイプ１０６、イントラ予測モード１４１、量子化済み変換係数１０などの個々のデータタイプに対して定義されるコンテクストモデル（後述）を定めるコンテクストモデル決定部１１a、各符号化対象データタイプについて定められる二値化規則に従って多値データを二値データに変換する二値化部１１ｂ、二値化後の個々のbinの値(0 or 1)の生起確率を与える生起確率生成部１１ｃ、生成された生起確率に基づいて算術符号化を実行する符号化部１１ｄ、生起確率情報を記憶するメモリ１１ｇから構成される。コンテクストモデル決定部１１aへの入力は、動きベクトル１３７・参照画像識別番号１３２ｂ、マクロブロックタイプ／サブマクロブロックタイプ１０６、イントラ予測モード１４１、量子化済み変換係数１０など、可変長符号化部１１に符号化対象データとして入力される各種データであって、符号化部１１ｄからの出力はビデオストリーム２２のマクロブロックに関わる情報に相当する。
(1)コンテクストモデル決定処理（図５５におけるステップS160）
コンテクストモデルとは、情報源シンボルの生起確率の変動要因となる他の情報との依存関係をモデル化したものであり、この依存関係に対応して生起確率の状態を切り替えることで、よりシンボルの実際の生起確率に適応した符号化を行うことが可能となる。図５７にコンテクストモデル(ctx)の概念を示す。なお、図５７では情報源シンボルは二値としたが、多値でも構わない。図５７の0〜2というctxの選択肢は、このctxを用いる情報源シンボルの生起確率の状態が、状況に応じて変化するであろうことを想定して定義されている。本実施の形態１２における映像符号化で言えば、あるマクロブロックにおける符号化データとその周辺のマクロブロックの符号化データとの間の依存関係に応じてctxの値が切り替えられる。例えば、図５８に、D. Marpe他, 「Video Compression Using Context-Based Adaptive Arithmetic Coding」, International Conference on Image Processing 2001に開示されるマクロブロックの動きベクトルに関するコンテクストモデルの例を示す。図５８において、ブロックCの動きベクトルが符号化対象であり（正確には、ブロックCの動きベクトルを近傍から予測した予測差分値mvdk(C)が符号化される）、ctx_mvd(C,k)がコンテクストモデルを示す。mvdk(A)はブロックAにおける動きベクトル予測差分値、mvdk(B)はブロックBにおける動きベクトル予測差分値をそれぞれ示し、コンテクストモデルの切り替え評価値ek(C)の定義に用いられる。評価値ek(C)は、近傍の動きベクトルのばらつき具合を示すことになり、一般的にはこのばらつきが小さい場合にはmvdk(C)は小さく、逆にek(C)が大きい場合はmvdk(C)も大きくなる傾向がある。したがって、mvdk(C)のシンボル生起確率は、ek(C)に基づいて適応化されることが望ましい。この生起確率のバリエーションセットがコンテクストモデルであり、このケースでは３種類の生起確率バリエーションがある、といえる。
この他、マクロブロックタイプ／サブマクロブロックタイプ１０６、イントラ予測モード１４１、量子化済み変換係数１０などの符号化対象データそれぞれについてあらかじめコンテクストモデルが定義され、符号化装置と復号装置で共有される。コンテクストモデル決定部１１ａでは、このような符号化対象データの種別に基づいてあらかじめ定められたモデルを選択する処理を行う（コンテクストモデルの中のどの生起確率バリエーションを選択するかは下記(3)の生起確率生成処理に該当する）。
(2)二値化処理（図５５におけるステップS161）
コンテクストモデルは、符号化対象データを二値化部１１ｂにて二値系列化し、二値系列の各bin(バイナリ位置)に応じて定められる。二値化の規則は、各符号化データの取りうる値のおおまかな分布に従い、可変長の二値系列への変換を行う。二値化は、本来多値を取りうる符号化対象データをそのまま算術符号化するよりもbin単位で符号化することにより確率数直線分割数を削減でき演算を簡略化できる、コンテクストモデルのスリム化が可能になるなどのメリットがある。
(3)生起確率生成処理（図５５におけるステップS162(ステップS162の詳細は図５６)） 上記(1)、(2)のプロセスで、多値の符号化対象データの二値化と、各binに適用するコンテクストモデルの設定が完了し、符号化準備が整う。次いで生起確率生成部１１ｃにて算術符号化に用いる生起確率状態の生成処理が行われる。各コンテクストモデルには、0/1の各値に対する生起確率のバリエーションが含まれているので、図５４に示すように、ステップS160で決定されたコンテクストモデル１１ｆを参照して処理を行う。図５８のek(C)に示したような生起確率選択のための評価値を定め、これに従って、参照するコンテクストモデルの選択肢の中からどの生起確率バリエーションを現在の符号化に用いるかを決定する（図５６のステップS162a）。さらに、本実施の形態１２における可変長符号化部１１は、生起確率情報記憶メモリ１１ｇを備え、符号化の過程で順次更新される生起確率状態１１ｈを色成分別に記憶する機構を備える。生起確率生成部１１ｃは、生起確率状態パラメータ共通化識別フラグ１４３の値に応じて、現在の符号化に用いる生起確率状態１１ｈをC0〜C2の色成分別に保持されたものから選択するか、C0成分用のものをC1、C2で共有するかを選択して、実際に符号化に用いる生起確率状態１１ｈを決定する(図５６のS162b〜S162d)。
生起確率状態パラメータ共通化識別フラグ１４３は、復号装置で同様の選択を行うことを可能とするため、ビットストリームに多重化する必要がある。このような構成とすることにより、以下の効果がある。例えば、図５８を例にとると、マクロブロックヘッダ共通化識別フラグ１２３ｃがC0成分ヘッダ情報１３９ａを他の成分でも使用することを示す場合、マクロブロックタイプ１２８ｂが１６ｘ１６予測モードを示していれば、図５８のek(C)はマクロブロックあたり１つだけ定まる。このときは、C0成分用に用意された生起確率状態を常時使用する。一方、マクロブロックヘッダ共通化識別フラグ１２３ｃが各成分に対応するヘッダ情報（１３９ａ〜１３９ｃ）を使用することを示す場合、マクロブロックタイプ１２８ｂがC0、C1、C2のいずれにおいても１６ｘ１６予測モードを示していれば、図５８のek(C)はマクロブロックあたり３つのバリエーションがありうる。後段の符号化部１１ｄでは、それぞれのバリエーションについて、C0成分で用意される生起確率状態１１ｈを共通的に使用、更新するか、または、各色成分別に用意される生起確率状態１１ｈを個別に使用、更新するかという2つの選択肢をとりうる。前者は、C0、C1、C2各成分でほぼ同じような動きベクトル分布をもつ場合、生起確率状態１１ｈを共通的に使用・更新することで学習回数が増え、よりよく動きベクトルの生起確率を学習できる可能性がある。後者は、逆にC0、C1、C2各成分でばらばらの動きベクトル分布をもつ場合、生起確率状態１１ｈを個別に使用・更新することで学習によるミスマッチを削減でき、よりよく動きベクトルの生起確率を学習できる可能性がある。映像信号は非定常であるため、このような適応制御が可能になることにより、算術符号化の効率を高めることができる。
(4)符号化処理
(3)によって、算術符号化プロセスに必要な確率数直線上の0/1各値の生起確率が得られるため、従来例にあげたプロセスにしたがって符号化部１１ｄにおいて算術符号化を行う（図５５のステップS163）。また、実際の符号化値(0 or 1)１１eは、生起確率生成部１１ｃへフィードバックされ、使用した生起確率状態１１ｈの更新のため、0/1発生頻度のカウントが行われる（ステップS164）。例えば、ある特定の生起確率状態１１ｈを用いて100個のbinの符号化処理が行われた時点で、当該生起確率バリエーションにおける0/1の生起確率が0.25、0.75であったとする。ここで、同じ生起確率バリエーションを用いて1が符号化されると、1の出現頻度が更新され、0/1の生起確率は0.247、0.752に変化する。このメカニズムにより、実際の生起確率に適応した効率的な符号化を行うことが可能となる。符号化値１１ｅは可変長符号化部１１からの出力となり、ビデオストリーム２２として符号化装置から出力される。
図５９は可変長復号部２５における算術復号処理に関わる内部構成を、図６０はその動作フローを示す。
本実施の形態１２における可変長復号部２５は、動きベクトル１３７・参照画像識別番号１３２ｂ、マクロブロックタイプ／サブマクロブロックタイプ１０６、イントラ予測モード１４１、量子化済み変換係数１０などの個々の復号対象データのタイプを特定して、それぞれに符号化装置と共通定義されるコンテクストモデルを定めるコンテクストモデル決定部１１a、復号対象データのタイプに基づいて定まる二値化規則を生成する二値化部１１ｂ、二値化規則とコンテクストモデルに従って、個々のbin(0 or 1)の生起確率を与える生起確率生成部１１ｃ、生成された生起確率に基づいて算術復号を実行し、その結果得られる二値系列と、上記二値化規則とから、動きベクトル１３７・参照画像識別番号１３２ｂ、マクロブロックタイプ／サブマクロブロックタイプ１０６、イントラ予測モード１４１、量子化済み変換係数１０などのデータを復号する復号部２５a、生起確率情報を記憶するメモリ１１ｇとから構成される。１１a〜１１ｃ及び１１ｇは図５４の可変長符号化部１１の内部構成要素と同一のものである。
(5)コンテクストモデル決定処理、二値化処理、生起確率生成処理
これらのプロセスは符号化装置側のプロセス(1)〜(3)に準ずる。なお、図示していないが、生起確率状態パラメータ共通化識別フラグ１４３は、ビデオストリーム２２からあらかじめ抽出されているものとする。
(6)算術復号処理
これから復号しようとするbinの生起確率が(6)までのプロセスで確定するため、復号部２５aにおいて、所定の算術復号処理プロセスにしたがって、binの値を復元する(図６０におけるステップS166)。binの復元値２５ｂは、生起確率生成部１１ｃへフィードバックされ、使用した生起確率状態１１ｈの更新のため、0/1発生頻度のカウントが行われる（ステップS164）。復号部２５aでは、各binの復元値が確定するごとに、二値化規則で定められる二値系列パターンとの合致を確認し、合致したパターンが指し示すデータ値を復号データ値として出力する(ステップS167)。復号データが確定しない限りは、ステップS166へ戻って復号処理を継続する。
以上の構成による、算術符号化ならびに算術復号処理を備えた符号化・復号装置によれば、マクロブロックヘッダ共通化識別フラグ１２３ｃに応じて適応的に色成分ごとの符号化情報を算術符号化する場合において、より効率的な符号化が可能となる。
なお、特に図示していないが、生起確率状態パラメータ共通化識別フラグ１４３を多重する単位はマクロブロック単位、スライス単位、ピクチャ単位、シーケンス単位のいずれでもよい。スライス、ピクチャ、シーケンスなどの上位データレイヤに位置するフラグとして多重化されるようにすることで、スライス以上の上位レイヤでの切り替えで十分な符号化効率が確保できる場合は、マクロブロックレベルで生起確率状態パラメータ共通化識別フラグ１４３を逐一多重化することなくオーバヘッドビットを削減できる。
また、生起確率状態パラメータ共通化識別フラグ１４３は、それ自体とは別のビットストリーム中に含まれる関連情報に基づいて復号装置の内部で定まる情報であってもよい。
本実施の形態１２において、マクロブロックヘッダ共通化識別フラグ１２３ｃをマクロブロック単位に算術符号化する際は、コンテクストモデル１１ｆについて図６１に示すモデルを用いる。図６１において、マクロブロックXにおけるマクロブロックヘッダ共通化識別フラグ１２３ｃの値をIDCXとする。マクロブロックCにおけるマクロブロックヘッダ共通化識別フラグ１２３ｃの符号化を行う場合は、マクロブロックAのマクロブロックヘッダ共通化識別フラグ１２３ｃの値IDCAと、マクロブロックBのマクロブロックヘッダ共通化識別フラグ１２３ｃの値IDCBとの値に基づいて、同図の式に基づいて、以下の3つの状態をとる。
・ 値０：A、Bの両方とも「C0、C1、C2で共通のマクロブロックヘッダを使用する」モードである
・ 値１：A、Bのうちいずれかが「C0、C1、C2で共通のマクロブロックヘッダを使用する」モードで、他方が「C0、C1、C2で個別のマクロブロックヘッダを使用する」モードである
・ 値２：A、Bの両方とも「C0、C1、C2で個別のマクロブロックヘッダを使用する」モードである このようにマクロブロックヘッダ共通化識別フラグ１２３ｃを符号化することにより、近傍のマクロブロックの符号化状態に適合して算術符号化を行うことができ、符号化効率を高めることができる。なお、符号化側でも復号側でも同じ手順でコンテクストモデルを定義して算術復号することは、上記本実施の形態１２の復号装置の動作説明から自明である。
また、本実施の形態１２において、マクロブロックヘッダ中に含まれる図５０のヘッダ情報(マクロブロックタイプ、サブマクロブロックタイプ、イントラ予測モード、参照画像識別番号、動きベクトル、変換係数有効無効指示情報、量子化パラメータ)については、それぞれ各情報種別ごとに定義されるコンテクストモデルで算術符号化を行うが、いずれのコンテクストモデルも図６２に示すように、カレントマクロブロックCに対して、マクロブロックA、Bの対応する情報を参照して定義される。ここで、図６２(a)のように、マクロブロックCが「C0、C1、C2で共通のマクロブロックヘッダを使用する」モードであって、マクロブロックBが「C0、C1、C2で個別のマクロブロックヘッダを使用する」モードである場合には、コンテクストモデル定義上の参照情報として、C0、C1、C2のいずれか特定の色成分の情報を用いる。
例えば、C0、C1、C2が、R、G、B色成分に対応する場合は、画像の構造をよく表現する信号として従来から符号化に用いられてきた輝度信号に最も近い成分を持つG成分を選択するといった方法が考えられる。それは「C0、C1、C2で共通のマクロブロックヘッダを使用する」モードでも、G成分を基準にしてマクロブロックヘッダの情報を定めて符号化を行うケースが多いと考えられるからである。
一方、逆のケースで、図６２(b)のように、マクロブロックCが「C0、C1、C2で個別のマクロブロックヘッダを使用する」モードであって、マクロブロックBが「C0、C1、C2で共通のマクロブロックヘッダを使用する」モードが存在する場合には、マクロブロックCでは、3つの色成分のヘッダ情報を符号化・復号する必要があるが、その際、各色成分のヘッダ情報のコンテクストモデル定義上の参照情報として、マクロブロックBについては3成分共通のヘッダ情報を3成分同じ値として用いることとする。また、自明であるが、マクロブロックAもBもCもすべてマクロブロックヘッダ共通化識別フラグ１２３ｃが同じ値を示す場合は、それぞれ対応する参照情報が常に存在するのでそれらを用いることとする。
なお、符号化側でも復号側でも同じ手順でコンテクストモデルを定義して算術復号することは、上記本実施の形態１２の復号装置の動作説明から自明である。また、どの成分の情報を参照したコンテクストモデルを用いるかが決まった後は、そのコンテクストモデルに対応付けられている生起確率状態の更新は生起確率状態パラメータ共通化識別フラグ１４３の状態に基づいて実行する。
また、本実施の形態１２において、C0、C1、C2成分の各変換係数データについても各符号化対象データの生起確率分布に応じた算術符号化が行われる。これらのデータはマクロブロックヘッダを共通化するしないに関わらず、常に3成分分の符号化データがビットストリームに含まれる。本実施の形態１２では、符号化入力信号の色空間上でイントラ予測、インター予測が行われて予測差分信号が得られるので、予測差分信号を整数変換して得られる変換係数データの分布は、図６２のようなマクロブロックヘッダを共通化するしないといった周辺の状態に関わらず、同様の生起確率分布になると考えられる。そこで、本実施の形態１２では、C0、C1、C2の各成分ごとに、マクロブロックヘッダを共通化するしないに関わらず、共通のコンテクストモデルを定義して符号化・復号に用いる。
なお、符号化側でも復号側でも同じ手順でコンテクストモデルを定義して算術復号することは、上記本実施の形態１２の復号装置の動作説明から自明である。また、どの成分の情報を参照したコンテクストモデルを用いるかが決まった後は、そのコンテクストモデルに対応付けられている生起確率状態の更新は生起確率状態パラメータ共通化識別フラグ１４３の状態に基づいて実行する。
実施の形態１３．
本実施の形態１３では、実施の形態７〜１２で述べた符号化装置および復号装置から派生する別の符号化装置、復号装置の実施形態について述べる。本実施の形態１３における符号化装置・復号装置は、実施の形態７〜１２に記載の符号化装置の入力段で色空間変換処理を行い、撮像後に符号化装置へ入力される映像信号の色空間を符号化に適した任意の色空間に変換して、復号側で撮像時の色空間へ戻すための逆変換処理を指定する情報をビットストリームに多重化する符号化装置と、逆変換処理を指定する情報をビットストリームから抽出して、実施の形態７〜１２に記載の復号装置によって復号画像を得たのち、逆変換処理を指定する情報に基づいて逆色空間変換を行う構成を特徴とする。
本実施の形態１３における符号化装置・復号装置の構成を図６３に示す。図６３により本実施の形態１３の符号化装置・復号装置について説明する。
本実施の形態１３の符号化装置は、実施の形態７〜１２の符号化装置３０３に加えて、その前段に色空間変換部３０１を備える。色空間変換部３０１は、１つまたは複数の色空間変換処理を備え、入力される映像信号の性質やシステムの設定などによって使用する色空間変換処理を選択して入力映像信号に対する色空間変換処理を行い、その結果得られる変換映像信号３０２を符号化装置３０３へ送る。また、同時に使用した色空間変換処理を識別する情報を色空間変換方法識別情報３０４として符号化装置３０３へ出力する。符号化装置３０３は、変換映像信号３０２を符号化対象信号として実施の形態７〜１２に示す方法で圧縮符号化したビットストリーム３０５に、色空間変換方法識別情報３０４を多重して伝送路へ送出、または記録メディアへの記録を行う記録装置へ出力する。
ここで、用意される色空間変換方法は、例えば、従来標準で用いられているRGBからYUVへの変換 C0 = Y = 0.299 x R + 0.587 x G + 0.114 x B C1 = U = -0.169 x R - 0.3316 x G + 0.500 x B C2 = V = 0.500 x R - 0.4186 x G - 0.0813 x Bや、色成分間の予測、 C0 = G' = G C1 = B' = B f(G) (ただし、f(G): G成分に対するフィルタ処理結果) C2 = R' = R f(G)や、RGBからYCoCgへの変換 C0 = Y = R/2 + G/2 + B/4 C1 = Co = R/2 B/2 C2 = Cg = -R/4 + G/2 B/4のような変換がある。色空間変換部３０１に対する入力はRGBに限定する必要はなく、また変換処理も上記3種に限定するものではない。
本実施の形態１３の復号装置は、実施の形態７〜１２の復号装置３０６に加えて、その後段に逆色空間変換部３０８を備える。復号装置３０６はビットストリーム３０５を入力として、色空間変換方法識別情報３０４をビットストリーム３０５から抽出して出力するとともに、実施の形態７〜１２に記載の復号装置の動作により得られる復号画像３０７を出力する。逆色空間変換部３０８は、上記色空間変換部３０１で選択可能な色空間変換方法のそれぞれに対して対応する逆変換処理を備え、復号装置３０６から出力される色空間変換方法識別情報３０４に基づいて色空間変換部３０１で実行された変換を特定して、復号画像３０７に対して逆変換処理を施し、本実施の形態１３の符号化装置に対する入力映像信号の色空間へ戻す処理を行う。
本実施の形態１３のような符号化装置・復号装置によれば、符号化の前段と復号処理の後段で符号化される映像信号に対して最適な色空間の変換処理を行うことにより、３つの色成分から構成される画像信号中に含まれる相関を符号化前に除去して、冗長度を少なくした状態で符号化を行うことができ、圧縮効率を高めることができる。従来のMPEG等の標準符号化方式では、符号化対象の信号の色空間をYUVの1種類に限定していたが、色空間変換部３０１、逆色空間変換部３０８を備え、色空間変換方法識別情報３０４をビットストリーム３０５に含めることにより、符号化入力される映像信号の色空間に関する制限をなくすことができ、かつ色成分間の相関を取り除く複数種類の手段の中から最適な変換を用いて符号化することが可能になる。
本実施の形態１３では、色空間変換部３０１、逆色空間変換部３０８を常に動作させるという前提で記載したが、これらの処理部を動作させず、従来の規格との互換性を確保することを指示する情報を、シーケンスなどの上位のレイヤで符号化する構成をとることも可能である。
また、本実施の形態１３の色空間変換部３０１、逆色空間変換部３０８を、本実施の形態７〜１２の符号化装置、復号装置の内部構成に取り入れるようにして、予測差分信号レベルでの色空間変換を行うように構成することもできる。このように構成した符号化装置を図６４に、復号装置を図６５に示す。図６４の符号化装置では、直交変換部８の代わりに変換部３１０が、逆直交変換部１３の代わりに逆変換部３１２が備えられ、図６５の復号装置では、逆直交変換部１３の代わりに逆変換部３１２が備えられている。
変換部３１０は、符号化モード判定部５から出力されるC0、C1、C2成分の予測差分信号４に対して、上記色空間変換部３０１の処理として示したように、複数の色空間変換処理の中から最適な変換処理を選択して色空間変換をまず実行する。その後、色空間変換の結果に対して直交変換部８相当の変換を実行する。どの変換を選択したかを示す色空間変換方法識別情報３１１は可変長符号化部１１に送り、ビットストリームに多重してビデオストリーム２２として出力する。また、逆変換部３１２では、まず逆直交変換部１３相当の逆変換を行った後、色空間変換方法識別情報３１１で指定される色空間変換処理を用いて逆色空間変換処理を実行する。
復号装置では、可変長復号部２５でビットストリームから色空間変換方法識別情報３１１を抽出して、その結果を逆変換部３１２へ送ることで、上述の符号化装置における逆変換部３１２と同様の処理を行う。このように構成することで、色成分の間に残存する相関が予測差分領域で十分に除去できるような場合は、それを符号化処理の一部として実行するようにでき、符号化効率を高める効果がある。ただし、C0、C1、C2成分で個別のマクロブロックヘッダを用いる場合には、そもそもC0成分はイントラ予測、C1成分はインター予測といったように、成分ごとに予測の方法が変化しうるため、予測差分信号４の領域での相関が保持されにくいこともある。したがって、C0、C1、C2成分で個別のマクロブロックヘッダを用いる場合は、変換部３１０、逆変換部３１２は色空間変換を実行しないように動作させるようにしてもよいし、予測差分信号４の領域で色空間変換を実行するかしないかを識別情報としてビットストリームに多重するように構成してもよい。なお、色空間変換方法識別情報３１１はシーケンス、ピクチャ、スライス、マクロブロックのいずれの単位で切り替えられるようにしてもよい。
図６４、図６５の符号化装置、復号装置の構成では、C0、C1、C2成分の各変換係数データは、色空間変換方法識別情報３１１に応じて符号化対象信号の信号定義ドメインが異なることになる。したがって、色空間変換方法識別情報３１１に応じて、変換係数データの分布は、異なる生起確率分布になるのが一般的と考えられる。そこで、図６４、６５のように符号化装置、復号装置を構成する場合は、C0、C1、C2の各成分ごとに、色空間変換方法識別情報３１１の状態ごとに個別の生起確率状態が対応付けられたコンテクストモデルを用いて符号化・復号を行う。
なお、符号化側でも復号側でも同じ手順でコンテクストモデルを定義して算術復号することは、上記本実施の形態１２の復号装置の動作説明から自明である。また、どの成分の情報を参照したコンテクストモデルを用いるかが決まった後は、そのコンテクストモデルに対応付けられている生起確率状態の更新は生起確率状態パラメータ共通化識別フラグ１４３の状態に基づいて実行する。
実施の形態１４．
本実施の形態１４では、上記実施の形態で述べた符号化装置・復号装置につき、さらに具体的な装置構成について言及する。
上記実施の形態では、符号化装置・復号装置の動作説明を、例えば図１、図２、図３０、図３１等に準ずる図面を用いて実施した。これらの図面では、３つの色成分からなる入力映像信号を符号化装置に一括入力して、装置内部で３つの色成分を共通の予測モードやマクロブロックヘッダに基づいて符号化するか個々の予測モードやマクロブロックヘッダに基づいて符号化するかを選択しながら符号化を行い、その結果得られるビットストリームを復号装置に入力して、復号装置内部で３つの色成分が予測モードやマクロブロックヘッダに基づいて符号化されているか個々の予測モードやマクロブロックヘッダに基づいて符号化されているかを、ビットストリームから復号して取り出したフラグ（例えば、イントラ予測モード共通化識別フラグ２３、インター予測モード共通化識別フラグ１２３等）に基づいて選択しながら復号処理を行い再生映像を得る動作を説明した。上記フラグはマクロブロック、スライス、ピクチャ、シーケンスなどの任意のデータレイヤの単位で符号化・復号してもよい旨はすでに明記したが、本実施の形態１４では、特に、３つの色成分信号を共通のマクロブロックヘッダで符号化するか、個別のマクロブロックヘッダで符号化するかを1フレーム（ないしは１フィールド）の単位で切り分けながら符号化・復号する装置構成・動作を具体的な図面をもとに説明する。以下、特に断らない限り、「１フレーム」と記載した場合は１フレームないしは１フィールドのデータ単位とみなす。
本実施の形態１４におけるマクロブロックヘッダは、図１５のような変換ブロックサイズ識別フラグ、図５０のようなマクロブロックタイプ・サブマクロブロックタイプ・イントラ予測モードなどの符号化・予測モード情報、参照画像識別番号・動きベクトルなどの動き予測情報、変換係数有効無効指示情報、変換係数に対する量子化パラメータ等、変換係数データ以外のマクロブロックオーバヘッド情報を含むものとする。
以降、１フレームの３つの色成分信号を共通のマクロブロックヘッダで符号化する処理を「共通符号化処理」、１フレームの３つの色成分信号を個別の独立したマクロブロックヘッダで符号化する処理を「独立符号化処理」と記す。同様に、１フレームの３つの色成分信号が共通のマクロブロックヘッダで符号化されたビットストリームからフレーム画像データを復号する処理を「共通復号処理」、１フレームの３つの色成分信号が個別の独立したマクロブロックヘッダで符号化されたビットストリームからフレーム画像データを復号する処理を「独立復号処理」と記す。本実施の形態１４における共通符号化処理では、図６６に示すように、１フレーム分の入力映像信号を３つの色成分をまとめた形のマクロブロックに分割する。一方、独立符号化処理では、図６７に示すように、１フレーム分の入力映像信号を３つの色成分に分離し、それらを単一の色成分からなるマクロブロックに分割する。つまり、共通符号化処理の対象となるマクロブロックは、C0、C1、C2の３つの色成分のサンプルを含むが、独立符号化処理の対象となるマクロブロックは、C0またはC1またはC2成分のうちのいずれか１つの成分のサンプルのみを含む。
図６８は、本実施の形態１４の符号化装置・復号装置における、ピクチャ間の時間方向の動き予測参照関係を示す説明図である。この例では、太縦棒線で示されるデータ単位をピクチャとし、ピクチャとアクセスユニットとの関係を囲み点線で示している。共通符号化・復号処理の場合、１ピクチャは、３つの色成分が混在した１フレーム分の映像信号を表すデータであって、独立符号化・復号処理の場合、１ピクチャはいずれか１つの色成分の１フレーム分の映像信号とする。アクセスユニットは、映像信号に対してオーディオ・音声情報などとの同期などを目的とするタイムスタンプを付与する最小データ単位であり、共通符号化・復号処理の場合、１つのアクセスユニットには１ピクチャ分のデータを含む（図６８の４２７ａ）。一方、独立符号化・復号処理の場合は１つのアクセスユニットに３つのピクチャが含まれる（図６８の４２７ｂ）。これは独立符号化・復号処理の場合、３つの色成分すべての同一表示時刻のピクチャがそろってはじめて１フレーム分の再生映像信号が得られるためである。なお、各ピクチャの上部に付与した番号は、ピクチャの時間方向の符号化・復号処理順序（AVCのframe_num）を示す。図６８では、ピクチャ間の矢印は動き予測の参照方向を示している。すなわち、独立符号化・復号処理の場合、同一アクセスユニットに含まれるピクチャの間での動き予測参照、ならびに異なる色成分間での動き予測参照は行わないものとし、C0、C1、C2の各色成分のピクチャを同一色成分の信号に限定して予測参照しながら符号化・復号する。このような構成とすることにより、本実施の形態１４における独立符号化・復号処理の場合は、各色成分の符号化・復号を、他の色成分の符号化・復号処理に全く依存することなく実行でき、並列処理が容易になる。
なお、AVCでは、自身はイントラ符号化を行うとともに、動き補償予測に用いる参照画像メモリの内容をリセットするIDR（instantaneous decoder refresh）ピクチャが定義されている。IDRピクチャは他のいかなるピクチャにも依存せずに復号可能であるためランダムアクセスポイントとして利用される。共通符号化処理の場合のアクセスユニットは、１アクセスユニット＝１ピクチャであるが、独立符号化処理の場合のアクセスユニットでは１アクセスユニットが複数ピクチャで構成されるため、ある色成分ピクチャがIDRピクチャである場合は他の残りの色成分ピクチャもIDRピクチャとして、IDRアクセスユニットを定義し、ランダムアクセス機能を確保する。
以下、共通符号化処理による符号化を行ったか、独立符号化処理による符号化を行ったかを示す識別情報を、本実施の形態１４では、共通符号化・独立符号化識別信号と呼ぶ。
図６９は、本実施の形態１４の符号化装置で生成され、本実施の形態１４の復号装置が入力・復号処理の対象とするビットストリームの構造の一例を示す説明図である。図６９は、シーケンスからフレームレベルまでのビットストリーム構成を示したもので、まず、シーケンスレベルの上位ヘッダ（AVCの場合、シーケンスパラメータセットなど）に、共通符号化・独立符号化識別信号４２３を多重しておく。個々のフレームはアクセスユニットの単位で符号化される。AUDとは、AVCにおいてアクセスユニットの切れ目を識別するためのユニークなNALユニットであるAccess Unit Delimiter NALユニットを示す。共通符号化・独立符号化識別信号４２３が「共通符号化処理によるピクチャ符号化」を示す場合は、アクセスユニットには１ピクチャ分の符号化データが含まれる。このときのピクチャは、前述のように３つの色成分が混在した１フレーム分の映像信号を表すデータであるとする。このとき、i番目のアクセスユニットの符号化データはスライスデータ Slice(i,j) の集合として構成される。jは、１ピクチャ内のスライスデータのインデックスである。
一方、共通符号化・独立符号化識別信号４２３が「独立符号化処理によるピクチャ符号化」を示す場合は、１ピクチャはいずれか１つの色成分の１フレーム分の映像信号である。このとき、p番目のアクセスユニットの符号化データは、アクセスユニット内のq番目のピクチャのスライスデータ Slice(p,q,r) の集合として構成される。rは、１ピクチャ内のスライスデータのインデックスである。RGBのように色成分が３成分で構成される映像信号の場合、qがとり得る値の個数は３である。また、３原色からなる映像信号に加えて例えばアルファブレンディングのための透過度情報のような付加データを同一アクセスユニットとして符号化・復号する場合や、４成分以上の色成分(例えばカラー印刷で使用されるYMCKなど)で構成される映像信号を符号化・復号する場合などは、qがとり得る値の個数は４以上となるように設定する。本実施の形態１４における符号化装置、復号装置は、独立符号化処理を選択すれば、映像信号を構成する各色成分をまったく独立に符号化するため、原理的に符号化・復号処理を変更することなく、色成分の枚数を自在に変更できる。将来、映像信号の色表現を行うための信号形式が変更された場合にも、本実施の形態１４における独立符号化処理で対応可能となる効果がある。
このような構成を実現するために、本実施の形態１４では、共通符号化・独立符号化識別信号４２３は「１アクセスユニット内に含まれ、各々が相互に動き予測参照することなく独立に符号化されるピクチャの数」という形で表現する。このとき、共通符号化・独立符号化識別信号４２３は上記パラメータqがとり得る値の個数で表現できることになり、このパラメータがとり得る値の個数を以降、num_pictures_in_auと呼ぶ。つまり、num_pictures_in_au = 1は「共通符号化処理」を示し、num_pictures_in_au = 3は本実施の形態１４における「独立符号化処理」を示す。色成分が４以上となる場合、num_pictures_in_au > 3なる値に設定すればよい。このようなシグナリングを行うことによって、復号装置はnum_pictures_in_auを復号、参照すれば共通符号化処理による符号化データと独立符号化処理による符号化データの区別ができるだけでなく、１つのアクセスユニット内に何枚の単一色成分ピクチャが存在するかを同時に知ることができ、将来の映像信号の色表現拡張への対応も可能にしつつ、共通符号化処理と独立符号化処理をビットストリーム中でシームレスに扱うことが可能である。
図７０は、共通符号化処理、独立符号化処理それぞれの場合のスライスデータのビットストリーム構成を示す説明図である。独立符号化処理によって符号化されたビットストリームでは、後述する効果を達成するため、復号装置で受信したスライスデータがアクセスユニット内のどの色成分のピクチャに属するスライスかを識別可能なように、スライスデータの先頭のヘッダ領域に色成分識別フラグ(color_channel_idc)を付与する。color_channel_idcは、その値が同じスライスをグループ化する。つまり、color_channel_idcの値が異なるスライス間では、いかなる符号化・復号の依存性（例えば動き予測参照、CABACのコンテキストモデリング・生起確率学習など）も持たせないものとする。このように規定することで、独立符号化処理の場合のアクセスユニット内の個々のピクチャの独立性が確保される。また、各スライスヘッダに多重されるframe_num（スライスが属するピクチャの符号化・復号処理順序）については、１アクセスユニット内の全色成分ピクチャにおいて同一の値とする。
図７１は、本実施の形態１４の符号化装置の概略構成を示す説明図である。図７１において、共通符号化処理は第１のピクチャ符号化部５０３ａにおいて実行され、独立符号化処理は第２のピクチャ符号化部５０３ｂ０、５０３ｂ１、５０３ｂ２(３つの色成分分を用意)において実行される。入力映像信号１は、スイッチ(SW)５０１によって第１のピクチャ符号化部５０３ａか、色成分分離部５０２および第２のピクチャ符号化部５０３ｂ０〜５０３ｂ２のいずれかに供給される。スイッチ５０１は、共通符号化・独立符号化識別信号４２３によって駆動され、入力映像信号１を指定されたパスへ供給する。以下では、共通符号化・独立符号化識別信号(num_pictures_in_au)４２３は、入力映像信号が４：４：４フォーマットの場合にシーケンスパラメータセットに多重され、シーケンスの単位で共通符号化処理と独立符号化処理を選択する信号とする場合について説明する。これは上記実施の形態７で述べたインター予測モード共通化識別フラグ１２３や、上記実施の形態１１で述べたマクロブロックヘッダ共通化識別フラグ１２３ｃと概念的に同一である。共通符号化処理を用いた場合は復号装置側では共通復号処理を実行し、独立符号化処理を用いた場合は復号装置側では独立復号処理を実行する必要があるため、共通符号化・独立符号化識別信号４２３はそれを指定する情報としてビットストリームに多重する必要がある。そのため、共通符号化・独立符号化識別信号４２３は多重化部５０４へ入力される。この共通符号化・独立符号化識別信号４２３の多重化単位は、シーケンス内のいくつかのピクチャ群からなるGOP(グループ・オブ・ピクチャ)の単位など、ピクチャよりも上位レイヤであればどのような単位であってもよい。
第１のピクチャ符号化部５０３ａでは、共通符号化処理を実行するために、入力映像信号１を図６６に示すように３つの色成分のサンプルをまとめた形式のマクロブロックへ分割して、その単位で符号化処理を進める。第１のピクチャ符号化部５０３ａにおける符号化処理は後述する。独立符号化処理が選択された場合は、入力映像信号１は色成分分離部５０２でC0、C1、C2の１フレーム分のデータへ分離され、それぞれ対応する第２のピクチャ符号化部５０３ｂ０〜５０３ｂ２へ供給される。第２のピクチャ符号化部５０３ｂ０〜５０３ｂ２では、色成分ごとに分離された１フレーム分の信号を図６７に示す形式のマクロブロックへ分割して、その単位で符号化処理を進める。第２のピクチャ符号化部における符号化処理は後述する。
第１のピクチャ符号化部５０３ａには、３つの色成分からなる１ピクチャ分の映像信号が入力され、符号化データはビデオストリーム４２２ａとして出力される。第２のピクチャ符号化部５０３ｂ０〜５０３ｂ２には、単一色成分からなる１ピクチャ分の映像信号が入力され、符号化データはビデオストリーム４２２ｂ０〜４２２ｂ２として出力される。これらビデオストリームは、共通符号化・独立符号化識別信号４２３の状態に基づいて多重化部５０４でビデオストリーム４２２ｃの形式に多重化され、出力される。
ビデオストリーム４２２ｃの多重化に際しては、独立符号化処理される場合のアクセスユニット中では、スライスデータのビットストリーム中での多重化順、伝送順を、アクセスユニット内のピクチャ（各色成分）間でインタリーブ可能とする（図７２）。この場合、復号装置側では、受信したスライスデータが、アクセスユニット内のどの色成分に属するスライスかを識別する必要がある。そのために、スライスデータの先頭のヘッダ領域に図７０のように多重する色成分識別フラグを利用する。
このような構成にすることにより、符号化装置では、図７１の符号化装置のように３つの色成分のピクチャをそれぞれ独立な第２のピクチャ符号化部５０３ｂ０〜５０３ｂ２の３セット使用して、並列処理により符号化を行う場合に、他の色成分ピクチャの符号化データの完成を待たずに、自身のピクチャのスライスデータが準備できればすぐに符号化データを送出可能となる。ＡＶＣでは１ピクチャを複数のスライスデータに分割して符号化することができ、スライスデータ長やスライス内に含まれるマクロブロックの個数については、符号化条件に応じて柔軟に変化させることができる。画像空間上で隣り合うスライスの間では、スライスの復号処理の独立性を確保するため、イントラ予測や算術符号化などの近傍コンテクストの利用ができないため、スライスデータ長はできるだけ長いほうが符号化効率は高い。一方、伝送や記録の過程でビットストリームに誤りが混入した場合は、スライスデータ長が短いほど誤りからの復帰が早まり、品質劣化を抑えやすくなる。色成分識別フラグを多重化することなく、スライスの長さや構成、色成分の順序などを固定的にしてしまうと、符号化装置においてビットストリームの生成条件が固定化されてしまい、多様な符号化要求条件に柔軟に対応することができなくなる。
また、図７２のようにビットストリームを構成することができれば、符号化装置では伝送に必要な送信バッファサイズ、すなわち符号化装置側での処理遅延を小さくすることができる。その様子を図７２に示す。もしピクチャをまたがるスライスデータの多重が許容されない場合、符号化装置は、ある特定の色成分のピクチャの符号化が終了するまでの間、他のピクチャの符号化データをバッファリングさせる必要がある。これはピクチャレベルでの遅延が発生することを意味する。一方、図７２最下部に示すように、スライスレベルでインタリーブ可能とすれば、ある特定の色成分のピクチャ符号化部はスライスデータの単位で符号化データを多重化部に出力することができ、遅延を抑制することができる。
なお、１つの色成分ピクチャ内においては、それに含まれるスライスデータはマクロブロックのラスタスキャン順で伝送するようにしてもよいし、１つのピクチャ内でもインタリーブ伝送を可能とするように構成してもよい。
以下、第１および第２のピクチャ符号化部の動作を詳しく説明する。
第1のピクチャ符号化部の動作概要
第１のピクチャ符号化部５０３ａの内部構成を図７３に示す。図７３において、入力映像信号１は、４：４：４フォーマットで、かつ図６６の形式の３つの色成分をまとめたマクロブロックの単位で入力されるものとする。
まず、予測部４６１において、メモリ１６ａに格納される動き補償予測参照画像データの中から参照画像を選択し、該マクロブロックの単位で動き補償予測処理が行われる。メモリ１６ａには、複数時刻に渡る、３つの色成分で構成される複数枚の参照画像データが格納され、予測部４６１では、これらの中からマクロブロックの単位で最適な参照画像を選択して動き予測を行う。メモリ１６ａ内の参照画像データの配置は、色成分ごとに面順次で分けて格納してもよいし、各色成分のサンプルを点順次で格納してもよい。動き補償予測を行うブロックサイズは７種類用意されており、まずマクロブロック単位に、図３２(a)から(d)に示すように、１６ｘ１６、１６ｘ８、８ｘ１６、８ｘ８のいずれかのサイズを選択することができる。さらに８ｘ８が選択された場合には、各８ｘ８ブロックごとに、図３２(e)から(h)に示すように、８ｘ８、８ｘ４、４ｘ８、４ｘ４のいずれかのサイズを選択することができる。
予測部４６１では、図３２のすべてまたは一部のブロックサイズ・サブブロックサイズ、および所定の探索範囲の動きベクトルおよび利用可能な１枚以上の参照画像に対してマクロブロックごとに動き補償予測処理を実行して、動きベクトル情報と予測に用いる参照画像識別番号４６３と減算器３により、動き補償予測単位となるブロックごとの予測差分信号４を得る。予測差分信号４は符号化モード判定部５においてその予測効率が評価され、予測部４６１で実行した予測処理の中から、予測対象のマクロブロックに対して最適な予測効率が得られるマクロブロックタイプ／サブマクロブロックタイプ１０６と動きベクトル情報・参照画像識別番号４６３を出力する。マクロブロックタイプ、サブマクロブロックタイプ、参照画像インデックス、動きベクトルなどのマクロブロックヘッダ情報はすべて、３つの色成分に対して共通のヘッダ情報として決定され、符号化に使用され、ビットストリームに多重化される。予測効率の最適性の評価にあたっては、演算量を抑制する目的で、ある所定の色成分（たとえばＲＧＢのうちのＧ成分、ＹＵＶのうちのＹ成分など）に対する予測誤差量だけを評価してもよいし、演算量は大きくなるが最適な予測性能を得るべくすべての色成分についての予測誤差量を総合評価するようにしてもよい。また、最終的なマクロブロックタイプ／サブマクロブロックタイプ１０６の選定にあたっては、符号化制御部１９の判断で定まる各タイプに対する重み係数２０が加味されることもある。
同様に、予測部４６１では、イントラ予測も実行する。イントラ予測実行時は、出力信号４６３には、イントラ予測モード情報が出力される。以降、特にイントラ予測、動き補償予測を区別しない場合には、出力信号４６３はイントラ予測モード情報、動きベクトル情報、参照画像識別番号をまとめて予測オーバヘッド情報と呼ぶ。イントラ予測についても所定の色成分だけの予測誤差量を評価してもよいし、すべての色成分についての予測誤差量を総合評価するようにしてもよい。最後に、マクロブロックタイプをイントラ予測にするか、インター予測にするかを、符号化モード判定部５において予測効率または符号化効率で評価して選定する。
選定されたマクロブロックタイプ／サブマクロブロックタイプ１０６と、予測オーバヘッド情報４６３に基づくイントラ予測・動き補償予測によって得られる予測差分信号４を変換部３１０へ出力する。変換部３１０は入力される予測差分信号４を変換し変換係数として量子化部９へ出力する。この際、変換を行う単位となるブロックのサイズを４ｘ４か８ｘ８のいずれかから選択するようにしてもよい。変換ブロックサイズを選択可能とする場合は、符号化時に選択されたブロックサイズを、変換ブロックサイズ指定フラグ４６４の値に反映し、同フラグをビットストリームに多重化する。量子化部９は入力される変換係数を、符号化制御部１９によって定まる量子化パラメータ２１に基づいて量子化を行い、量子化済み変換係数１０として可変長符号化部１１へ出力する。量子化済み変換係数１０は、３つの色成分分の情報を含み、可変長符号化部１１にてハフマン符号化や算術符号化などの手段によりエントロピー符号化される。また、量子化済み変換係数１０は逆量子化部１２、逆変換部３１２を経て局部復号予測差分信号１４へ復元され、選定されたマクロブロックタイプ／サブマクロブロックタイプ１０６と予測オーバヘッド情報４６３に基づいて生成される予測画像７と加算器１８で加算することで局部復号画像１５が生成される。局部復号画像１５は、デブロッキングフィルタ４６２でブロックひずみ除去処理を実施した後、以降の動き補償予測処理に用いるためメモリ１６ａへ格納される。可変長符号化部１１には、当該マクロブロックに対してデブロッキングフィルタを施すか否かを示すデブロッキングフィルタ制御フラグ２４も入力される。
可変長符号化部１１に入力される量子化済み変換係数１０、マクロブロックタイプ／サブマクロブロックタイプ１０６、予測オーバヘッド情報４６３、量子化パラメータ２１は所定の規則（シンタックス）に従ってビットストリームとして配列・整形され、図６６の形式のマクロブロックが１つないしは複数個まとまったスライスデータの単位でＮＡＬユニット化された符号化データとして送信バッファ１７へ出力される。送信バッファ１７では符号化装置が接続される伝送路の帯域や記録媒体の読み出し速度に合わせてビットストリームを平滑化してビデオストリーム４２２ａとして出力する。また、送信バッファ１７中のビットストリーム蓄積状況に応じて符号化制御部１９へフィードバックをかけ、以降の映像フレームの符号化における発生符号量を制御する。
なお、第１のピクチャ符号化部５０３ａの出力は、３成分をまとめた単位のスライスであってアクセスユニットをまとめた単位での符号量と等価であるため、送信バッファ１７はそのまま多重化部５０４内に配置してもよい。
本実施の形態１４における第１のピクチャ符号化部５０３ａでは、共通符号化・独立符号化識別信号４２３によってシーケンス中のすべてのスライスデータがＣ０、Ｃ１、Ｃ２混在スライス（すなわち、３つの色成分の情報が混在するスライス）であることが識別可能であるため、スライスヘッダに色成分識別フラグは多重化しない。
第２のピクチャ符号化部の動作概要
第２のピクチャ符号化部５０３ｂ０（５０３ｂ１、５０３ｂ２）の内部構成を図７４に示す。図７４において、入力映像信号１は、図６７の形式の単一色成分のサンプルからなるマクロブロックの単位で入力されるものとする。
まず、予測部４６１において、メモリ１６ｂに格納される動き補償予測参照画像データの中から参照画像を選択し、該マクロブロックの単位で動き補償予測処理を行う。メモリ１６ｂには、複数時刻に渡る、単一色成分で構成される複数枚の参照画像データを格納でき、予測部４６１では、これらの中からマクロブロックの単位で最適な参照画像を選択して動き予測を行う。メモリ１６ｂは３つの色成分分をまとめた単位でメモリ１６ａと共用するようにしてもよい。動き補償予測を行うブロックサイズには７種類用意されており、まずマクロブロック単位に、図３２(a)から(d)に示すように、１６ｘ１６、１６ｘ８、８ｘ１６、８ｘ８のいずれかのサイズを選択することができる。さらに８ｘ８が選択された場合には、各８ｘ８ブロックごとに、図３２(e)から(h)に示すように、８ｘ８、８ｘ４、４ｘ８、４ｘ４のいずれかのサイズを選択することができる。
予測部４６１では、図３２のすべてまたは一部のブロックサイズ・サブブロックサイズ、および所定の探索範囲の動きベクトルおよび利用可能な１枚以上の参照画像に対してマクロブロックごとに動き補償予測処理を実行して、動きベクトル情報と予測に用いる参照画像識別番号４６３と減算器３により、動き補償予測単位となるブロックごとの予測差分信号４を得る。予測差分信号４は符号化モード判定部５においてその予測効率が評価され、予測部４６１で実行した予測処理の中から、予測対象のマクロブロックに対して最適な予測効率が得られるマクロブロックタイプ／サブマクロブロックタイプ１０６と動きベクトル情報・参照画像識別番号４６３を出力する。マクロブロックタイプ、サブマクロブロックタイプ、参照画像インデックス、動きベクトルなどのマクロブロックヘッダ情報はすべて、入力映像信号１の単一色成分の信号に対するヘッダ情報として決定され、符号化に使用され、ビットストリームに多重化される。予測効率の最適性の評価にあたっては、符号化処理対象となる単一色成分に対する予測誤差量だけを評価する。また、最終的なマクロブロックタイプ／サブマクロブロックタイプ１０６の選定にあたっては、符号化制御部１９の判断で定まる各タイプに対する重み係数２０が加味されることもある。
同様に、予測部４６１では、イントラ予測も実行する。イントラ予測実行時は、出力信号４６３には、イントラ予測モード情報が出力される。以降、特にイントラ予測、動き補償予測を区別しない場合には、出力信号４６３はイントラ予測モード情報、動きベクトル情報、参照画像識別番号をまとめて予測オーバヘッド情報と呼ぶ。イントラ予測についても符号化処理対象となる単一色成分に対する予測誤差量だけを評価する。最後に、マクロブロックタイプをイントラ予測にするか、インター予測にするかを予測効率または符号化効率で評価して選定する。
選定されたマクロブロックタイプ／サブマクロブロックタイプ１０６と、予測オーバヘッド情報４６３によって得られる予測差分信号４を変換部３１０へ出力する。変換部３１０は入力される単一色成分分の予測差分信号４を変換し変換係数として量子化部９へ出力する。この際、変換を行う単位となるブロックのサイズを４ｘ４か８ｘ８のいずれかから選択するようにしてもよい。選択可能とする場合は、符号化時に選択されたブロックサイズを、変換ブロックサイズ指定フラグ４６４の値に反映し、同フラグをビットストリームに多重化する。量子化部９は入力される変換係数を、符号化制御部１９によって定まる量子化パラメータ２１に基づいて量子化を行い、量子化済み変換係数１０として可変長符号化部１１へ出力する。量子化済み変換係数１０は、単一色成分分の情報を含み、可変長符号化部１１にてハフマン符号化や算術符号化などの手段によりエントロピー符号化される。また、量子化済み変換係数１０は逆量子化部１２、逆変換部３１２を経て局部復号予測差分信号１４へ復元され、選定されたマクロブロックタイプ／サブマクロブロックタイプ１０６と予測オーバヘッド情報４６３に基づいて生成される予測画像７と加算器１８で加算することで局部復号画像１５が生成される。局部復号画像１５は、デブロッキングフィルタ４６２でブロックひずみ除去処理を実施した後、以降の動き補償予測処理に用いるためメモリ１６ｂへ格納される。可変長符号化部１１には、当該マクロブロックに対してデブロッキングフィルタを施すか否かを示すデブロッキングフィルタ制御フラグ２４も入力される。
可変長符号化部１１に入力される量子化済み変換係数１０、マクロブロックタイプ／サブマクロブロックタイプ１０６、予測オーバヘッド情報４６３、量子化パラメータ２１は所定の規則（シンタックス）に従ってビットストリームとして配列・整形され、図６７の形式のマクロブロックが１つないしは複数個まとまったスライスデータの単位でＮＡＬユニット化された符号化データとして送信バッファ１７へ出力される。送信バッファ１７では符号化装置が接続される伝送路の帯域や記録媒体の読み出し速度に合わせてビットストリームを平滑化してビデオストリーム４２２ｂ０（４２２ｂ１、４２２ｂ２）として出力する。また、送信バッファ１７中のビットストリーム蓄積状況に応じて符号化制御部１９へフィードバックをかけ、以降の映像フレームの符号化における発生符号量を制御する。
なお、第２のピクチャ符号化部５０３ｂ０〜５０３ｂ２の出力は、単一色成分のデータのみからなるスライスであって、アクセスユニットをまとめた単位での符号量制御が必要となる場合には、多重化部５０４内に全色成分のスライスを多重した単位での共通送信バッファを設け、同バッファの占有量をもとに各色成分の符号化制御部１９にフィードバックをかけるように構成してもよい。また、この際、全色成分の発生情報量だけを用いて符号化制御を行うようにしてもよいし、各色成分の送信バッファ１７の状態も加味して符号化制御を行うようにしてもよい。全色成分の発生情報量だけを用いて符号化制御を行う場合は、送信バッファ１７相当の機能を多重化部５０４内の共通送信バッファで実現することとして、送信バッファ１７を省略する構成をとることもできる。
本実施の形態１４における第２のピクチャ符号化部５０３ｂ０〜５０３ｂ２では、共通符号化・独立符号化識別信号４２３によってシーケンス中のすべてのスライスデータが単一色成分スライス（すなわち、Ｃ０スライスまたはＣ１スライスまたはＣ２スライス）であることが識別可能であるため、スライスヘッダに常に色成分識別フラグを多重化し、復号装置側でどのスライスがアクセスユニット内のどのピクチャデータに該当するかを識別できるようにする。このため、各第２のピクチャ符号化部５０３ｂ０〜５０３ｂ２は、それぞれの送信バッファ１７からの出力を１ピクチャ分ためることなく、１スライス分のデータがたまった時点で送出することができる。
なお共通符号化・独立符号化識別信号(num_pictures_in_au)は、共通符号化処理による符号化データと独立符号化処理による符号化データを区別する情報(共通符号化識別情報)と、１つのアクセスユニット内に何枚の単一色成分ピクチャが存在するかを示す情報(色成分の数)を同時に表現できるようにしたが、上記２つの情報を独立な情報として符号化してもよい。
なお、第１のピクチャ符号化部５０３ａと第２のピクチャ符号化部５０３ｂ０〜５０３ｂ２とは、マクロブロックヘッダ情報を３成分共通の情報として扱うか、単一の色成分の情報として扱うかの違いと、スライスデータのビットストリーム構成が異なるだけである。図７３や図７４における予測部や変換部・逆変換部、量子化部・逆量子化部、デブロッキングフィルタなどの基本的な処理ブロックの多くは、３つの色成分の情報とまとめて処理するか、単一の色成分の情報だけを扱うかの違いだけで、第１のピクチャ符号化部５０３ａと第２のピクチャ符号化部５０３ｂ０〜５０３ｂ２とで共通の機能ブロックで実現することもできる。したがって、図７１のような完全に独立な符号化処理部としてだけでなく、図７３や図７４の基本構成要素を適宜組み合わせて多様な符号化装置の実装を実現することができる。また、第１のピクチャ符号化部５０３ａにおけるメモリ１６ａの配置を面順次で持つことにすれば、参照画像格納メモリの構成を第１のピクチャ符号化部５０３ａと第２のピクチャ符号化部５０３ｂ０〜５０３ｂ２とで共通にできる。
なお、図示はしていないが、本実施の形態１４における符号化装置では、図６９、図７０の配列に従うビデオストリーム４２２ｃをバッファリングする仮想的なストリームバッファ（符号化ピクチャバッファ）と、復号画像４２７ａ、４２７ｂをバッファリングする仮想的なフレームメモリ（復号ピクチャバッファ）の存在を想定し、符号化ピクチャバッファのオーバーフロー・アンダーフローや、復号ピクチャバッファの破綻がないようにビデオストリーム４２２ｃを生成する。この制御は主として、符号化制御部１９で行う。これにより、復号装置において、ビデオストリーム４２２ｃを符号化ピクチャバッファと復号ピクチャバッファの動作（仮想バッファモデル）に従って復号する場合に、復号装置に破綻が生じないようにすることを保証する。仮想バッファモデルを以下に規定する。
符号化ピクチャバッファの動作はアクセスユニット単位で行う。上述のとおり、共通復号処理を行う場合には１アクセスユニットには１ピクチャ分の符号化データが含まれ、独立復号処理を行う場合には１アクセスユニットには色成分数分のピクチャ（３成分ならば３ピクチャ分）の符号化データが含まれている。符号化ピクチャバッファについて規定される動作は、アクセスユニットの最初のビットと最後のビットが符号化ピクチャバッファに入力される時刻とアクセスユニットのビットが符号化ピクチャバッファから読み出される時刻である。なお符号化ピクチャバッファからの読み出しは瞬時に行われると規定し、アクセスユニットのすべてのビットが同じ時刻に符号化ピクチャバッファから読み出されることする。アクセスユニットのビットは符号化ピクチャバッファから読み出されると、上位ヘッダ解析部へ入力され、上述のとおり、第１のピクチャ復号部または第２のピクチャ復号部にて復号処理が行われ、アクセスユニット単位に束ねられたカラー映像フレームとして出力される。なお符号化ピクチャバッファからビットを読み出して、アクセスユニット単位のカラー映像フレームとして出力するまでの処理は、仮想バッファモデルの規定上は瞬時に行われるものとする。アクセスユニット単位に構成されたカラー映像フレームは復号ピクチャバッファへ入力され、復号ピクチャバッファからの出力時刻が算出される。復号ピクチャバッファからの出力時刻は、符号化ピクチャバッファからの読み出し時刻に所定の遅延時間を加えた値である。この遅延時間はビットストリームに多重して復号装置を制御することが可能である。遅延時間が０の場合、すなわち復号ピクチャバッファからの出力時刻が符号化ピクチャバッファからの読み出し時刻に等しい場合には、カラー映像フレームが復号ピクチャバッファへ入力されると同時に復号ピクチャバッファから出力される。それ以外の場合、すなわち復号ピクチャバッファからの出力時刻が符号化ピクチャバッファからの読み出し時刻より遅い場合、復号ピクチャバッファからの出力時刻になるまでカラー映像フレームは復号ピクチャバッファに保存される。上述のとおり、アクセスユニット単位に復号ピクチャバッファからの動作が規定される。
図７５は、本実施の形態１４の復号装置の概略構成を示す説明図である。図７５において、共通復号処理は第1のピクチャ復号部６０３ａにおいて実行され、独立復号処理は色成分判定部６０２と第２のピクチャ復号部６０３ｂ０、６０３ｂ１、６０３ｂ２（３つの色成分分を用意）において実行される。
ビデオストリーム４２２ｃは、上位ヘッダ解析部６１０でＮＡＬユニット単位に分割され、シーケンスパラメータセットやピクチャパラメータセットなどの上位ヘッダ情報は、そのまま復号して復号装置内の第１のピクチャ復号部６０３ａ、色成分判定部６０２、第２のピクチャ復号部６０３ｂ０〜６０３ｂ２が参照可能な所定のメモリエリアへ格納しておく。シーケンス単位に多重される共通符号化・独立符号化識別信号４２３（num_pictures_in_au）は、上位ヘッダ情報の一部として復号・保持される。
復号されたnum_pictures_in_auはスイッチ（SW）６０１に供給され、スイッチ６０１はnum_pictures_in_au = 1ならば、ピクチャごとのスライスＮＡＬユニットを第１のピクチャ復号部６０３ａへ供給し、num_pictures_in_au = 3ならば、色成分判定部６０２に供給する。すなわち、num_pictures_in_au = 1ならば第１のピクチャ復号部６０３ａにより、共通復号処理が行われ、num_pictures_in_au = 3ならば３つの第２のピクチャ復号部６０３ｂ０〜６０３ｂ２により、独立復号処理が行われる。第１および第２のピクチャ復号部の詳細な動作は後述する。
色成分判定部６０２は、図７０で示した色成分識別フラグの値により、スライスＮＡＬユニットが現在のアクセスユニット内のいずれの色成分ピクチャに相当するかを識別して、適切な第２のピクチャ復号部６０３ｂ０〜６０３ｂ２へ分配供給する。このような復号装置の構成によって、図７２のようにアクセスユニット内でスライスがインタリーブされて符号化されたビットストリームを受信しても、どのスライスがどの色成分ピクチャに属するかを容易に判別し正しく復号できる効果がある。
第1のピクチャ復号部の動作概要
第１のピクチャ復号部６０３ａの内部構成を図７６に示す。第１のピクチャ復号部６０３ａは、図７１の符号化装置から出力される図６９、図７０の配列に従うビデオストリーム４４２ｃを、上位ヘッダ解析部６１０でＮＡＬユニット単位に分割した後、Ｃ０、Ｃ１、Ｃ２混在スライスの単位で受信して、図６６に示す３つの色成分のサンプルからなるマクロブロックを単位として復号処理を行い、出力映像フレームを復元する。
可変長復号部２５はＮＡＬユニットに分割されたビデオストリーム４４２ｃを入力とし、所定の規則（シンタックス）に従ってビデオストリーム４４２ｃを解読して、３成分分の量子化済み変換係数１０、および３成分で共通して用いられるマクロブロックヘッダ情報（マクロブロックタイプ／サブマクロブロックタイプ１０６、予測オーバヘッド情報４６３、変換ブロックサイズ指定フラグ４６４、量子化パラメータ２１）を抽出する。量子化済み変換係数１０は量子化パラメータ２１とともに、第１のピクチャ符号化部５０３ａと同じ処理を行う逆量子化部１２へ入力され、逆量子化処理が行われる。ついでその出力が第１のピクチャ符号化部５０３ａと同じ処理を行う逆変換部３１２へ入力され、局部復号予測差分信号１４へ復元される（変換ブロックサイズ指定フラグ４６４がビデオストリーム４２２ｃ中に存在すれば、それを逆量子化、逆変換処理過程で参照する）。一方、予測部４６１は、第１のピクチャ符号化部５０３ａ中の予測部４６１のうち、予測オーバヘッド情報４６３を参照して予測画像７を生成する処理だけが含まれ、予測部４６１に対してマクロブロックタイプ／サブマクロブロックタイプ１０６、予測オーバヘッド情報４６３が入力され、３成分分の予測画像７を得る。マクロブロックタイプがイントラ予測であることを示す場合は、予測オーバヘッド情報４６３からイントラ予測モード情報に従って３成分分の予測画像７を得、マクロブロックタイプがインター予測であることを示す場合は、予測オーバヘッド情報４６３から動きベクトル、参照画像インデックスに従って３成分分の予測画像７を得る。局部復号予測差分信号１４と予測画像７は加算器１８により加算され、３成分分の暫定復号画像（局部復号画像）１５を得る。暫定復号画像１５は以降のマクロブロックの動き補償予測に用いられるため、第１のピクチャ符号化部５０３ａと同じ処理を行うデブロッキングフィルタ４６２で３成分分の暫定復号画像サンプルに対してブロックひずみ除去処理を実施した後、復号画像４２７ａとして出力されるとともに、メモリ１６ａへ格納される。この際、可変長復号部２５によって解読されたデブロッキングフィルタ制御フラグ２４の指示に基づいてデブロッキングフィルタ処理を暫定復号画像１５に対して作用させる。メモリ１６ａには、複数時刻に渡る、３つの色成分で構成される複数枚の参照画像データが格納され、予測部４６１では、これらの中からマクロブロックの単位でビットストリームから抽出した参照画像インデックスで示される参照画像を選択して予測画像生成を行う。メモリ１６ａ内の参照画像データの配置は、色成分ごとに面順次で分けて格納してもよいし、各色成分のサンプルを点順次で格納してもよい。復号画像４２７ａは３つの色成分を含み、そのまま共通復号処理におけるアクセスユニット４２７ａ０を構成するカラー映像フレームとなる。
第２のピクチャ復号部の動作概要
第２のピクチャ復号部６０３ｂ０〜６０３ｂ２の内部構成を図７７に示す。第２のピクチャ復号部６０３ｂ０〜６０３ｂ２は、図７１の符号化装置から出力される図６９、図７０の配列に従うビデオストリーム４４２ｃが、上位ヘッダ解析部６１０でＮＡＬユニット単位に分割され、色成分判定部６０２で振り分けられたＣ０ないしは、Ｃ１ないしは、Ｃ２スライスＮＡＬユニット単位で受信して、図６７に示す単一色成分のサンプルからなるマクロブロックを単位として復号処理を行い、出力映像フレームを復元する。
可変長復号部２５はビデオストリーム４２２ｃを入力とし、所定の規則（シンタックス）に従ってビデオストリーム４２２ｃを解読して、単一色成分の量子化済み変換係数１０、および単一色成分に適用するマクロブロックヘッダ情報（マクロブロックタイプ／サブマクロブロックタイプ１０６、予測オーバヘッド情報４６３、変換ブロックサイズ指定フラグ４６４、量子化パラメータ２１）を抽出する。量子化済み変換係数１０は量子化パラメータ２１とともに第２のピクチャ符号化部５０３ｂ０（５０３ｂ１、５０３ｂ２）と同じ処理を行う逆量子化部１２へ入力され、逆量子化処理が行われる。ついでその出力が第２のピクチャ符号化部５０３ｂ０（５０３ｂ１、５０３ｂ２）と同じ処理を行う逆変換部３１２へ入力され、局部復号予測差分信号１４へ復元される（変換ブロックサイズ指定フラグ４６４がビデオストリーム４２２ｃ中に存在すれば、それを逆量子化、逆直交変換処理過程で参照する）。一方、予測部４６１は、第２のピクチャ符号化部５０３ｂ０（５０３ｂ１、５０３ｂ２）中の予測部４６１のうち、予測オーバヘッド情報４６３を参照して予測画像７を生成する処理だけが含まれ、予測部４６１に対してマクロブロックタイプ／サブマクロブロックタイプ１０６、予測オーバヘッド情報４６３が入力され、単一色成分の予測画像７を得る。マクロブロックタイプがイントラ予測であることを示す場合は、予測オーバヘッド情報４６３からイントラ予測モード情報に従って単一色成分の予測画像７を得、マクロブロックタイプがインター予測であることを示す場合は、予測オーバヘッド情報４６３から動きベクトル、参照画像インデックスに従って単一色成分の予測画像７を得る。局部復号予測差分信号１４と予測画像７は加算器１８により加算され、単一色成分マクロブロックの暫定復号画像１５を得る。暫定復号画像１５は以降のマクロブロックの動き補償予測に用いられるため、第２のピクチャ符号化部５０３ｂ０（５０３ｂ１、５０３ｂ２）と同じ処理を行うデブロッキングフィルタ２６で単一色成分の暫定復号画像サンプルに対してブロックひずみ除去処理を実施した後、復号画像４２７ｂとして出力されるとともに、メモリ１６ｂへ格納される。この際、可変長復号部２５によって解読されたデブロッキングフィルタ制御フラグ２４の指示に基づいてデブロッキングフィルタ処理を暫定復号画像１５に対して作用させる。復号画像４２７ｂは単一色成分のサンプルのみを含み、図７５における他の並列処理される第２のピクチャ復号部６０３ｂ０〜６０３ｂ２のそれぞれの出力である復号画像４２７ｂをアクセスユニット４２７ｂ０の単位に束ねることで、カラー映像フレームとして構成される。
以上のことから明らかなように、第１のピクチャ復号部６０３ａと第２のピクチャ復号部６０３ｂ０〜６０３ｂ２とは、マクロブロックヘッダ情報を３成分共通の情報として扱うか、単一の色成分の情報として扱うかの違いと、スライスデータのビットストリーム構成が異なるだけで、図７３や図７４における動き補償予測処理や逆変換、逆量子化などの基本的な復号処理ブロックの多くは第１のピクチャ復号部６０３ａと第２のピクチャ復号部６０３ｂ０〜６０３ｂ２とで共通の機能ブロックで実現できる。したがって、図７５のような完全に独立な復号処理部としてだけでなく、図７６や図７７の基本構成要素を適宜組み合わせて多様な復号装置の実装を実現することができる。また、第１のピクチャ復号部６０３ａにおけるメモリ１６ａの配置を面順次で持つことにすれば、メモリ１６ａ、メモリ１６ｂの構成を第１のピクチャ復号部６０３ａと第２のピクチャ復号部６０３ｂ０〜６０３ｂ２とで共通にできる。
なお、図７５の復号装置は、図７１の符号化装置の別の形態として、共通符号化・独立符号化識別信号４２３を常に「独立符号化処理」に固定化して、第１のピクチャ符号化部５０３ａを一切使用せず全フレームを独立符号化するように構成された符号化装置から出力されるビットストリームを受信して復号することももちろん可能である。また、図７５の復号装置の別の形態として、常に共通符号化・独立符号化識別信号４２３が「独立符号化処理」に固定化されることを前提とする利用形態では、スイッチ６０１や第１のピクチャ復号部６０３ａを省略した独立復号処理を行うのみの復号装置として構成してもよい。
なお共通符号化・独立符号化識別信号(num_pictures_in_au)は、共通符号化処理による符号化データと独立符号化処理による符号化データを区別する情報(共通符号化識別情報)と、１つのアクセスユニット内に何枚の単一色成分ピクチャが存在するかを示す情報(色成分の数)を含むようにしたが、上記２つの情報が独立な情報として符号化されていてもよい。
さらに、第１のピクチャ復号部６０３ａに、従来のYUV４：２：０フォーマットを対象として３成分まとめて符号化されたAVCハイプロファイル準拠のビットストリームの復号機能を備えるようにし、上位ヘッダ解析部６１０において、ビデオストリーム４２２ｃから復号するプロファイル識別子を参照していずれのフォーマットで符号化されたビットストリームかを判定し、判定結果を共通符号化・独立符号化識別信号４２３の信号線の情報の一部としてスイッチ６０１と第１のピクチャ復号部６０３ａに伝える構成をとれば、従来のYUV４：２：０フォーマットのビットストリームに対する互換性を確保する復号装置を構成することもできる。
なお、本実施の形態１４における第１のピクチャ符号化部５０３ａでは、スライスデータに３つの色成分の情報が混在し、かつ３つの色成分に対してまったく同じイントラ・インター予測処理を実施するため、予測誤差信号空間で、色成分間での信号相関が残存することがある。これを除去する工夫として、例えば、予測誤差信号に対して、上記実施の形態１３で述べたような色空間変換処理を施すように構成してもよい。このような構成をもつ第１のピクチャ符号化部５０３ａの例を図７８、図７９に示す。図７８は、色空間変換処理を、変換処理を行う前の画素レベルで実施する例であり、色空間変換部４６５を変換部３１０の前に、逆色空間変換部４６６を逆変換部３１２の後に配置する。図７９は、色空間変換処理を、変換処理を行った後で得られた係数データに対して処理対象の周波数成分を適宜選択しながら実施する例であり、色空間変換部４６５を変換部３１０の後に、逆色空間変換部４６６を逆変換部３１２の前に配置する。色空間変換を施す周波数成分を限定することで、特定の色成分に含まれる高周波ノイズ成分がノイズをあまり含まない他の色成分に伝播することを抑制することができる効果がある。色空間変換処理の対象となる周波数成分を適応選択可能とする場合には、復号側で符号化時の選択を判断するためのシグナリング情報４６７をビットストリームに多重化する。
色空間変換処理は、符号化対象の画像信号の性質に応じて上記実施の形態１３で述べたような複数の変換方式をマクロブロック単位に切り替えて使用するようにしてもよいし、マクロブロックの単位で変換有無を判定するように構成してもよい。選択可能な変換方式の種別をシーケンスレベルなどで指定しておき、それらの中からどれを選ぶかをピクチャ、スライス、マクロブロックなどの単位で指定するようにも構成できる。また、直交変換の前で実施するか、後で実施するかを選択可能なように構成してもよい。これらの適応符号化処理を行う場合は、選択可能なすべての選択肢について、符号化モード判定部５で符号化効率の評価を行ってもっとも符号化効率が高いものを選択するように構成することができる。これらの適応符号化処理を実施する場合は、復号側で符号化時の選択を判断するためのシグナリング情報４６７をビットストリームに多重化する。このようなシグナリングは、スライス、ピクチャ、GOP、シーケンスなどマクロブロックとは異なるレベルで指定してもよい。
図７８、図７９の符号化装置に対応する復号装置を図８０、図８１に示す。図８０は、図７８の符号化装置によって、変換処理前に色空間変換が行われて符号化されたビットストリームを復号する復号装置である。可変長復号部２５はビットストリームから、逆色空間変換部４６６において変換を行うか行わないかを選択する変換有無の情報や、逆色空間変換部４６６において実行可能な変換方式を選択する情報であるシグナリング情報４６７を復号して、逆色空間変換部４６６へ供給する。図８０の復号装置は、逆色空間変換部４６６において、これらの情報に基づいて逆変換後の予測誤差信号に対する色空間変換処理を実施する。また、図８１は、図７９の符号化装置によって、変換処理後に処理対象の周波数成分を選択して色空間変換を行うことによって符号化されたビットストリームを復号する復号装置である。可変長復号部はビットストリームから、逆色空間変換部４６６において変換を行うか行わないかを選択する変換有無の情報や、逆色空間変換部において実行される変換方式を選択する情報や、色空間変換を施す周波数成分を特定する情報などを含む識別情報であるシグナリング情報４６７を復号して逆色空間変換部４６６に供給する。図８１の復号装置は、逆色空間変換部４６６において、これらの情報に基づいて逆量子化後の変換係数データに対し色空間変換処理を実施する。
図８０、図８１の復号装置は、図７５の復号装置と同様、第１のピクチャ復号部６０３ａに、従来のYUV４：２：０フォーマットを対象として３成分まとめて符号化されたAVCハイプロファイル準拠のビットストリームの復号機能を備えるようにし、上位ヘッダ解析部６１０において、ビデオストリーム４２２ｃから復号するプロファイル識別子を参照していずれのフォーマットで符号化されたビットストリームかを判定し、判定結果を共通符号化・独立符号化識別信号４２３の信号線の情報の一部としてスイッチ６０１と第１のピクチャ復号部６０３ａに伝える構成をとれば、従来のYUV４：２：０フォーマットのビットストリームに対する互換性を確保する復号装置を構成することもできる。
図８２に従来のYUV４：２：０フォーマットのビットストリームに含まれるマクロブロックヘッダ情報の符号化データの構成を示す。図５０に示したCn成分ヘッダ情報と異なる点は、マクロブロックタイプがイントラ予測のときに、イントラ色差予測モード１４４の符号化データが含まれている点のみである。なおマクロブロックタイプがインター予測のときには、マクロブロックヘッダ情報の符号化データの構成は、図５０に示したCn成分ヘッダ情報と同じであるが、マクロブロックヘッダ情報に含まれる参照画像識別番号、動きベクトル情報を用いて輝度成分とは異なる方法で色差成分の動きベクトルが生成される。
従来のYUV４：２：０フォーマットのビットストリームに対する互換性を確保する復号装置の動作について説明する。上述のとおり、第１のピクチャ復号部６０３ａが従来のYUV４：２：０フォーマットのビットストリームの復号機能を備えるものとする。第１のピクチャ復号部の内部構成は図７６と同じである。
従来のYUV４：２：０フォーマットのビットストリームの復号機能を備えた第１のピクチャ復号部の可変長復号部２５の動作を説明する。ビデオストリーム４２２ｃが可変長復号部へ入力されると、色差フォーマット指示フラグを復号する。色差フォーマット指示フラグはビデオストリーム４２２ｃのシーケンスパラメータヘッダに含まれ、入力映像フォーマットが４：４：４か、４：２：２か、４：２：０か、４：０：０かのいずれかのフォーマットを示すフラグである。ビデオストリーム４２２ｃのマクロブロックヘッダ情報の復号処理は色差フォーマット指示フラグの値によって切り替えられる。マクロブロックタイプがイントラ予測を示している場合で、色差フォーマット指示フラグが４：２：０または４：２：２を示している場合にはイントラ色差予測モード１４４をビットストリームから復号する。色差フォーマット指示フラグが４：４：４を示している場合にはイントラ色差予測モード１４４の復号をスキップする。色差フォーマット指示フラグが４：０：０を示している場合、入力映像信号は輝度信号のみで構成されるフォーマット(４：０：０フォーマット)であるため、イントラ色差予測モード１４４の復号をスキップする。イントラ色差予測モード１４４以外のマクロブロックヘッダ情報の復号処理は、従来のYUV４：２：０フォーマットのビットストリームの復号機能を備えていない第１のピクチャ復号部６０３ａの可変長復号部と同じである。以上によりビデオストリーム４２２ｃが可変長復号部２５へ入力されると、色差フォーマット指示フラグ（図示せず）、３成分分の量子化済み変換係数１０、マクロブロックヘッダ情報（マクロブロックタイプ／サブマクロブロックタイプ１０６、予測オーバヘッド情報４６３、変換ブロックサイズ指定フラグ４６４、量子化パラメータ２１）を抽出する。予測部４６１には、色差指示フォーマット指示フラグ（図示せず）と予測オーバヘッド情報４６３が入力され、３成分分の予測画像７を得る。
図８３に従来のYUV４：２：０フォーマットのビットストリームに対する互換性を確保する第１のピクチャ復号部の予測部４６１の内部構成を示し、その動作を説明する。
切替部４６１１ａは、マクロブロックタイプを判別し、マクロブロックタイプがイントラ予測であることを示す場合は、切替部４６１１ｂにて色差フォーマット指示フラグの値を判別する。色差フォーマット指示フラグの値が、４：２：０または４：２：２のいずれかを示す場合には、予測オーバヘッド情報４６３からイントラ予測モード情報とイントラ色差予測モード情報に従って３成分分の予測画像７を得る。３成分のうち、輝度信号の予測画像は、イントラ予測モード情報に従って輝度信号イントラ予測部４６１２にて生成される。色差信号２成分の予測画像は、イントラ色差予測モード情報に従って、輝度成分とは異なる処理を行う色差信号イントラ予測部４６１３にて生成される。色差フォーマット指示フラグの値が、４：４：４を示す場合には、３成分すべての予測画像がイントラ予測モード情報に従って輝度信号イントラ予測部４６１２にて生成される。色差フォーマット指示フラグの値が、４：０：０を示す場合には、４：０：０フォーマットは輝度信号（１成分）のみで構成されるため、輝度信号の予測画像のみがイントラ予測モード情報に従って輝度信号イントラ予測部４６１２にて生成される。
切替部４６１１ａにてマクロブロックタイプがインター予測であることを示す場合は、切替部４６１１ｃにて色差フォーマット指示フラグの値を判別する。色差フォーマット指示フラグの値が４：２：０または４：２：２のいずれかを示す場合には、輝度信号については、輝度信号インター予測部４６１４にて予測オーバヘッド情報４６３から動きベクトル、参照画像インデックスに従って、AVC規格が定める輝度信号の予測画像生成方法に従って予測画像が生成される。色差信号２成分の予測画像については、色差信号インター予測部４６１５にて、予測オーバヘッド情報４６３から得られる動きベクトルを色差フォーマットに基づいてスケーリングして色差動きベクトルを生成し、予測オーバヘッド情報４６３から得られる参照画像インデックスが指示する参照画像から、上記色差動きベクトルに基づいてAVC規格の定める方法に従って予測画像が生成される。色差フォーマット指示フラグの値が、４：０：０を示す場合には、４：０：０フォーマットは輝度信号（１成分）のみで構成されるため、輝度信号の予測画像のみが動きベクトル、参照画像インデックスに従って輝度信号インター予測部４６１４にて生成される。
以上のように、従来のYUV４：２：０フォーマットの色差信号の予測画像を生成する手段を設け、ビットストリームから復号した色差フォーマット指示フラグの値に応じて３成分の予測画像の生成に用いる手段を切り替えるようにしたため、従来のYUV４：２：０フォーマットのビットストリームに対する互換性を確保する復号装置を構成することができる。
なお、図８０、図８１の復号装置に供給するビデオストリーム４２２ｃに、図７５の復号装置のように色空間変換処理をサポートしない復号装置でも復号が可能であるビットストリームかどうかを示す情報をシーケンスパラメータセットなどの単位で付与しておけば、図８０、図８１と図７５いずれの復号装置でもそれぞれの復号性能に応じたビットストリームの復号が可能であり、ビットストリームの互換性を確保しやすい効果がある。
実施の形態１５．
本実施の形態１５では、図７１や図７５など上記実施の形態１４の符号化装置・復号装置において、その入出力対象となるビットストリームの構成のみが異なる別の実施の形態について述べる。本実施の形態１５における符号化装置は、図８４に示すビットストリーム構成で符号化データの多重化を行う。
図６９の構成のビットストリームにおいて、AUD NALユニットは、その要素としてprimary_pic_typeという情報を含む。これは、AUD NALユニットで始まるアクセスユニット内のピクチャデータが符号化される際のピクチャ符号化タイプの情報を図８５に示す。
例えば、primary_pic_type = 0の場合は、ピクチャ内すべてがイントラ符号化されていることを示す。primary_pic_type = １の場合は、イントラ符号化されるスライスと、参照ピクチャリストを１つだけ使用して動き補償予測を行うことが可能なスライスとがピクチャ内で混在できることを示す。primary_pic_typeは１つのピクチャがどのような符号化モードを使用して符号化できるか、を規定する情報であるので、符号化装置側ではこの情報を操作することで、入力映像信号の性質やランダムアクセス機能などの種々の条件に適した符号化を行うことができる。上記実施の形態１４では、primary_pic_typeがアクセスユニットあたり１つだけしかないので、独立符号化処理を行う場合のアクセスユニットでは３つの色成分ピクチャでprimary_pic_typeは共通、とする。本実施の形態１５では、各色成分ピクチャの独立符号化を行う場合に、図６９のAUD NALユニット内に、num_pictures_in_auの値に応じて、追加で残り２つの色成分ピクチャ分のprimary_pic_typeを挿入するか、図８４のビットストリーム構成のように、各色成分ピクチャの符号化データを、色成分ピクチャの開始を示すNALユニット（Color Channel Delimiter）から開始するように構成し、このCCD NALユニット中に、対応するピクチャのprimary_pic_type情報を含むように構成する。この構成では、各色成分ピクチャの符号化データは１ピクチャ分まとめて多重されるので、上記実施の形態１４で述べた色成分識別フラグ（color_channel_idc）はスライスヘッダではなく、CCD NALユニットに含めるようにする。これにより、各スライスへの多重が必要であった色成分識別フラグの情報をピクチャ単位のデータに集約できるので、オーバヘッド情報を削減できる効果がある。また、バイト列として構成されるCCD NALユニットを検出してcolor_channel_idcを色成分ピクチャあたり１度だけ検証すればよく、可変長復号処理を行うことなく色成分ピクチャの先頭をすばやく見つけることができるので、復号装置側で、色成分ごとに復号対象のNALユニットを分離するためにスライスヘッダ中のcolor_channel_idcを逐一検証しなくてもよくなり、第２のピクチャ復号部へのデータ供給を円滑に行うことができる。
一方で、このような構成では、上記実施の形態１４の図７２で述べたような、符号化装置のバッファサイズ、処理遅延を低減する効果が薄れるため、色成分識別フラグはスライス単位に多重するか、色成分ピクチャ単位に多重するかをより上位のレベル（シーケンスやGOP）でシグナリングするように構成してもよい。このようなビットストリーム構成をとることで、符号化装置はその利用形態に応じて柔軟な実装を行うことが可能となる。
さらに別の実施の形態として、図８６に示すビットストリーム構成で符号化データの多重化を行ってもよい。図８６において、図８４ではCCD NALユニットに含むようにした color_channel_idc, primary_pic_typeは各AUDに含むようにする。本実施の形態１５におけるビットストリーム構成では、独立符号化処理の場合にも、１つのアクセスユニットに１つの（色成分）ピクチャが含まれるように構成する。このような構成でも、色成分識別フラグの情報をピクチャ単位のデータに集約できることによるオーバヘッド情報の削減効果、また、バイト列として構成されるAUD NALユニットを検出してcolor_channel_idcをピクチャあたり１度だけ検証すればよく、可変長復号処理を行うことなく色成分ピクチャの先頭をすばやく見つけることができるので、復号装置側で、色成分ごとに復号対象のNALユニットを分離するためにスライスヘッダ中のcolor_channel_idcを逐一検証することなく第２のピクチャ復号部へのデータ供給を円滑に行うことができる。一方、１フレームないしは１フィールドの画像は３つのアクセスユニットから構成されるため、３つのアクセスユニットが同一時刻の画像データであることを指定する必要がある。このため、図８６のビットストリーム構成では、さらにAUDの中に、各ピクチャのシーケンス番号（時間方向の符号化・復号順序等）を付与するように構成することもできる。このような構成によって、復号装置側では各ピクチャの復号・表示順や色成分属性、IDRの是非などを、スライスデータを一切復号することなく検証可能となり、ビットストリームレベルの編集や特殊再生を効率よく行うことが可能となる。
また、図６９、８４ないしは図８６のビットストリーム構成において、AUDやCCDの領域に、ひとつの色成分ピクチャに含まれるスライスNALユニットの個数を指定する情報を格納するように構成してもよい。
なお、上記すべての実施例について、変換処理、逆変換処理は、DCTのように直交性を保証する変換でもよいし、AVCのような、厳密にはDCTのような直交変換でなく、量子化・逆量子化処理と組み合わせて直交性を近似する変換であってもよい。また、変換を行わずに、予測誤差信号を画素レベルの情報として符号化するような構成であってもよい。
本発明は、画像圧縮符号化技術や圧縮画像データ伝送技術等に用いられるデジタル画像信号符号化装置、デジタル画像信号復号装置に適用することが可能である。
１ 入力映像信号、２ 空間予測部、３ 減算器、４ 予測差分信号、５ 符号化モード判定部、６ 符号化モード、７ 予測画像、８ 直交変換部、９ 量子化部、１０ 量子化済み変換係数、１１ 可変長符号化部、１１ａ コンテクストモデル決定部、１１ｂ 二値化部、１１ｃ 生起確率生成部、１１ｄ 符号化部、１１ｅ 符号化値、１１ｆ コンテクストモデル、１１ｇ 生起確率情報記憶メモリ、１１ｈ 生起確率状態、１２ 逆量子化部、１３ 逆直交変換部、１４ 局部復号予測差分信号、１５ 局部復号画像（暫定復号画像）、１６ メモリ、１７ 送信バッファ、１８ 加算器、１９ 符号化制御部、２０ 重み係数、２１ 量子化パラメータ、２２ ビデオストリーム、２３ イントラ予測モード共通化識別フラグ、２４ デブロッキングフィルタ制御フラグ、２５ 可変長復号部、２５ａ 復号部、２５ｂ bin復元値、２６ デブロッキングフィルタ、２７ 復号画像、２８ イントラ符号化モード、２９ 基本イントラ予測モード、３０ 拡張イントラ予測モード、３１ 拡張イントラ予測モードテーブル指示フラグ、３２ 変換ブロックサイズ識別フラグ、３３ イントラ符号化モード共通化識別フラグ、３４ イントラ符号化モード、３５ イントラ予測モード、３６ イントラ予測モード指示フラグ、１０２ 動き補償予測部、１０６ マクロブロックタイプ／サブマクロブロックタイプ、１２３ インター予測モード共通化識別フラグ、１２３ｂ 動きベクトル共通化識別フラグ、１２３ｃ マクロブロックヘッダ共通化識別フラグ、１２８ 基本マクロブロックタイプ、１２８ｂ マクロブロックタイプ、１２９ 基本サブマクロブロックタイプ、１２９ｂ サブマクロブロックタイプ、１３０ 拡張マクロブロックタイプ、１３１ 拡張サブマクロブロックタイプ、１３２ 基本参照画像識別番号、１３２ｂ 参照画像識別番号、１３３ 基本動きベクトル情報、１３４ 拡張参照画像識別番号、１３５ 拡張動きベクトル情報、１３６ プロファイル情報、１３７ 動きベクトル、１３８、１３８ａ、１３８ｂ、１３８ｃ スキップ指示情報、１３９ａ、１３９ｂ、１３９ｃ ヘッダ情報、１４０ａ、１４０ｂ、１４０ｃ 変換係数データ、１４１ イントラ予測モード、１４２ 変換係数有効無効指示情報、１４３ 生起確率状態パラメータ共通化識別フラグ、１４４ イントラ色差予測モード、１１１ 動きベクトル予測部、１１２ 差分動きベクトル算出部、１１３ 差分動きベクトル可変長符号化部、２５０ 動きベクトル復号部、２５１ 差分動きベクトル可変長復号部、２５２ 動きベクトル予測部、２５３ 動きベクトル算出部、３０１ 色空間変換部、３０２ 変換映像信号、３０３ 符号化装置、３０４ 色空間変換方法識別情報、３０５ ビットストリーム、３０６ 復号装置、３０７ 復号画像、３０８ 逆色空間変換部、３１０ 変換部、３１１ 色空間変換方法識別情報、３１２ 逆変換部、４２２ａ、４２２ｂ０、４２２ｂ１、４２２ｂ２、４２２ｃ ビデオストリーム、４２３ 共通符号化・独立符号化識別信号、４２７ａ、４２７ｂ 復号画像、４６１ 予測部、４６２ デブロッキングフィルタ、４６３ 予測オーバヘッド情報、４６４ 変換ブロックサイズ指定フラグ、４６５ 色空間変換部、４６６ 逆色空間変換部、４６７ シグナリング情報、５０１、６０１ スイッチ ５０２ 色成分分離部、５０３ａ 第１のピクチャ符号化部、５０３ｂ０、５０３ｂ１、５０３ｂ２ 第２のピクチャ符号化部、５０４ 多重化部、６０２ 色成分判定部、６０３ａ 第１のピクチャ復号部、６０３ｂ０、６０３ｂ１、６０３ｂ２ 第２のピクチャ復号部、６１０ 上位ヘッダ解析部、４６１１ａ、４６１１ｂ、４６１１ｃ 切替部、４６１２ 輝度信号イントラ予測部、４６１３ 色差信号イントラ予測部、４６１４ 輝度信号インター予測部、４６１５ 色差信号インター予測部。

Claims (4)

  1. 複数の色成分で構成されるカラー画像を所定の領域に分割した単位で圧縮符号化することによって生成されたビットストリームを入力として、カラー画像信号を復号する画像復号装置において、
    前記ビットストリームから前記領域ごとにイントラ予測モードを復号するとともに、前記領域の予測誤差信号を復号する復号部と、
    前記復号されたイントラ予測モードに基づいて予測画像を生成する予測画像生成部と、
    前記復号された予測誤差信号と前記予測画像とを加算して復号画像を生成する加算部を備え、
    前記復号部は、前記符号化単位となる領域ごとに各色成分共通のイントラ予測モードに基づいて予測画像を生成するか否かを示すイントラ予測モード共通化識別情報を復号し、
    前記予測画像生成部は、第一の色成分用の第一のイントラ予測モードセットと、前記第一のイントラ予測モードセットとは異なるその他の色成分用の第二のイントラ予測モードセットとを備え、前記イントラ予測モード共通化識別情報が各色成分共通のイントラ予測モードで復号することを示す場合には、すべての色成分に対して前記第一の色成分のイントラ予測モードに基づいて予測画像を生成する
    ことを特徴とする画像復号装置。
  2. 複数の色成分で構成されるカラー画像を所定の領域に分割した単位で圧縮符号化することによって生成されたビットストリームを入力として、カラー画像信号を復号する画像復号方法において、
    前記ビットストリームから前記領域ごとにイントラ予測モードを復号するとともに、前記領域の予測誤差信号を復号する復号ステップと、
    前記復号されたイントラ予測モードに基づいて予測画像を生成する予測画像生成ステップと、
    前記復号された予測誤差信号と前記予測画像とを加算して復号画像を生成する加算ステップを備え、
    前記復号ステップは、前記符号化単位となる領域ごとに各色成分共通のイントラ予測モードに基づいて予測画像を生成するか否かを示すイントラ予測モード共通化識別情報を復号し、
    前記予測画像生成ステップは、第一の色成分用の第一のイントラ予測モードセットと、前記第一のイントラ予測モードセットとは異なるその他の色成分用の第二のイントラ予測モードセットとを備え、前記イントラ予測モード共通化識別情報が各色成分共通のイントラ予測モードで復号することを示す場合には、すべての色成分に対して前記第一の色成分のイントラ予測モードに基づいて予測画像を生成する
    ことを特徴とする画像復号方法。
  3. 複数の色成分で構成されるカラー画像を入力として、所定の領域に分割した単位で圧縮符号化してビットストリームを生成する画像符号化装置において、
    予測画像生成部は、第一の色成分用の第一のイントラ予測モードセットと、前記第一のイントラ予測モードセットとは異なるその他の色成分用の第二のイントラ予測モードセットとを備え、前記符号化単位となる領域を各色成分共通のイントラ予測モードで予測符号化するか否かを示すイントラ予測モード共通化識別情報を符号化すると共に、すべての色成分に対して前記第一の色成分のイントラ予測モードで符号化する場合に前記第一の色成分のイントラ予測モードを符号化する符号化部を備えることを特徴とする画像符号化装置。
  4. 複数の色成分で構成されるカラー画像を入力として、所定の領域に分割した単位で圧縮符号化してビットストリームを生成する画像符号化方法において、
    予測画像生成部は、第一の色成分用の第一のイントラ予測モードセットと、前記第一のイントラ予測モードセットとは異なるその他の色成分用の第二のイントラ予測モードセットとを備え、前記符号化単位となる領域を各色成分共通のイントラ予測モードで予測符号化するか否かを示すイントラ予測モード共通化識別情報を符号化すると共に、すべての色成分に対して前記第一の色成分のイントラ予測モードで符号化する場合に前記第一の色成分のイントラ予測モードを符号化する符号化ステップを備えることを特徴とする画像符号化方法。
JP2010003109A 2005-07-22 2010-01-08 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法 Active JP5138709B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010003109A JP5138709B2 (ja) 2005-07-22 2010-01-08 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
JP2005212601 2005-07-22
JP2005212601 2005-07-22
JP2005294768 2005-10-07
JP2005294768 2005-10-07
JP2005294767 2005-10-07
JP2005294767 2005-10-07
JP2005377638 2005-12-28
JP2005377638 2005-12-28
JP2006085210 2006-03-27
JP2006085210 2006-03-27
JP2010003109A JP5138709B2 (ja) 2005-07-22 2010-01-08 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2006551668A Division JP4542107B2 (ja) 2005-07-22 2006-06-16 画像復号装置及び画像復号方法

Publications (2)

Publication Number Publication Date
JP2010110006A JP2010110006A (ja) 2010-05-13
JP5138709B2 true JP5138709B2 (ja) 2013-02-06

Family

ID=37668575

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2006551668A Active JP4542107B2 (ja) 2005-07-22 2006-06-16 画像復号装置及び画像復号方法
JP2010003109A Active JP5138709B2 (ja) 2005-07-22 2010-01-08 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2006551668A Active JP4542107B2 (ja) 2005-07-22 2006-06-16 画像復号装置及び画像復号方法

Country Status (10)

Country Link
US (1) US20090034856A1 (ja)
EP (1) EP1909508A4 (ja)
JP (2) JP4542107B2 (ja)
KR (5) KR101217400B1 (ja)
CN (5) CN102231835B (ja)
BR (1) BRPI0611672A2 (ja)
CA (2) CA2732532C (ja)
HK (2) HK1159913A1 (ja)
RU (1) RU2506714C1 (ja)
WO (1) WO2007010690A1 (ja)

Families Citing this family (136)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6882685B2 (en) 2001-09-18 2005-04-19 Microsoft Corporation Block transform and quantization for image and video coding
CN102231835B (zh) * 2005-07-22 2013-04-17 三菱电机株式会社 图像解码装置及方法
US8306112B2 (en) 2005-09-20 2012-11-06 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US8300694B2 (en) 2005-09-20 2012-10-30 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
CN101931801A (zh) 2005-09-20 2010-12-29 三菱电机株式会社 图像编码方法和图像编码装置以及图像编码比特流
US8300700B2 (en) 2005-09-20 2012-10-30 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
EP1972149B1 (en) 2006-01-10 2017-12-13 Thomson Licensing DTV Methods and apparatus for parallel implementations of 4:4:4 coding
KR101330630B1 (ko) 2006-03-13 2013-11-22 삼성전자주식회사 최적인 예측 모드를 적응적으로 적용하여 동영상을부호화하는 방법 및 장치, 동영상을 복호화하는 방법 및장치
US8250618B2 (en) * 2006-09-18 2012-08-21 Elemental Technologies, Inc. Real-time network adaptive digital video encoding/decoding
EP2136564A1 (en) * 2007-01-09 2009-12-23 Kabushiki Kaisha Toshiba Image encoding and decoding method and device
JP5026092B2 (ja) 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
JP2008193627A (ja) 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
US20080170793A1 (en) 2007-01-12 2008-07-17 Mitsubishi Electric Corporation Image encoding device and image encoding method
US8565519B2 (en) * 2007-02-09 2013-10-22 Qualcomm Incorporated Programmable pattern-based unpacking and packing of data channel information
US8942289B2 (en) 2007-02-21 2015-01-27 Microsoft Corporation Computational complexity and precision control in transform-based digital media codec
WO2008126139A1 (ja) * 2007-03-30 2008-10-23 Fujitsu Limited 画像データ圧縮装置及び復号装置
JP2010147508A (ja) * 2007-04-13 2010-07-01 Panasonic Corp 撮影装置及び再生装置
US8571104B2 (en) 2007-06-15 2013-10-29 Qualcomm, Incorporated Adaptive coefficient scanning in video coding
US8428133B2 (en) 2007-06-15 2013-04-23 Qualcomm Incorporated Adaptive coding of video block prediction mode
US8422803B2 (en) * 2007-06-28 2013-04-16 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
CN107105257B (zh) * 2007-06-29 2020-08-28 威勒斯媒体国际有限公司 图像编码装置、图像编码方法、图像译码装置、图像译码方法
US9648325B2 (en) * 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
EP2034742A3 (en) * 2007-07-25 2009-10-14 Hitachi Ltd. Video coding method and device
US8184715B1 (en) * 2007-08-09 2012-05-22 Elemental Technologies, Inc. Method for efficiently executing video encoding operations on stream processor architectures
TW200910971A (en) * 2007-08-22 2009-03-01 Univ Nat Cheng Kung Direction detection algorithms for H.264 intra prediction
JP2009094828A (ja) * 2007-10-10 2009-04-30 Hitachi Ltd 画像符号化装置及び画像符号化方法、画像復号化装置及び画像復号化方法
US8938009B2 (en) 2007-10-12 2015-01-20 Qualcomm Incorporated Layered encoded bitstream structure
BRPI0818444A2 (pt) 2007-10-12 2016-10-11 Qualcomm Inc codificação adaptativa de informação de cabeçalho de bloco de vídeo
EP2200330A1 (en) * 2007-10-15 2010-06-23 Mitsubishi Electric Corporation Image coding device, image decoding device, image coding method, and image decoding method
TWI388218B (zh) 2007-10-30 2013-03-01 Nippon Telegraph & Telephone 影像編碼方法與解碼方法、其程式及記錄有程式的記錄媒體
JP2009111691A (ja) * 2007-10-30 2009-05-21 Hitachi Ltd 画像符号化装置及び符号化方法、画像復号化装置及び復号化方法
US8121197B2 (en) * 2007-11-13 2012-02-21 Elemental Technologies, Inc. Video encoding and decoding using parallel processors
KR101291196B1 (ko) * 2008-01-25 2013-07-31 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US8761253B2 (en) * 2008-05-28 2014-06-24 Nvidia Corporation Intra prediction mode search scheme
EP2144432A1 (en) * 2008-07-08 2010-01-13 Panasonic Corporation Adaptive color format conversion and deconversion
KR20110040893A (ko) * 2008-07-10 2011-04-20 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법
US8325801B2 (en) * 2008-08-15 2012-12-04 Mediatek Inc. Adaptive restoration for video coding
KR101695681B1 (ko) * 2008-08-19 2017-01-13 콘텐트 아머 상황-기반의 적응형 이진 산술 코딩（ｃａｂａｃ）비디오 스트림 준수
WO2010021700A1 (en) 2008-08-19 2010-02-25 Thomson Licensing A propagation map
WO2010021682A1 (en) 2008-08-19 2010-02-25 Thomson Licensing Cabac/avc compliant watermarking of syntax elements in compressed video
EP2321966B1 (en) 2008-08-19 2020-10-07 ContentArmor Luminance evaluation
KR101635898B1 (ko) 2008-08-20 2016-07-04 톰슨 라이센싱 압축된 비디오의 워터마킹을 위한 워터마크들의 선택
KR101306834B1 (ko) * 2008-09-22 2013-09-10 에스케이텔레콤 주식회사 인트라 예측 모드의 예측 가능성을 이용한 영상 부호화/복호화 장치 및 방법
US8831099B2 (en) * 2008-12-17 2014-09-09 Nvidia Corporation Selecting a macroblock encoding mode by using raw data to compute intra cost
BR122015015910B1 (pt) * 2009-01-27 2022-05-10 Interdigital Vc Holdings, Inc Métodos e aparelhos para seleções de transformada em codificação e decodificação de vídeo
US9432674B2 (en) * 2009-02-02 2016-08-30 Nvidia Corporation Dual stage intra-prediction video encoding system and method
EP2230849A1 (en) * 2009-03-20 2010-09-22 Mitsubishi Electric R&D Centre Europe B.V. Encoding and decoding video data using motion vectors
KR101631278B1 (ko) * 2009-07-28 2016-06-16 삼성전자주식회사 모드 정보를 부호화, 복호화하는 방법 및 장치
KR101710622B1 (ko) * 2009-07-28 2017-02-28 삼성전자주식회사 스킵 모드에 따라 영상을 부호화, 복호화하는 방법 및 장치
KR101631280B1 (ko) * 2009-07-28 2016-06-16 삼성전자주식회사 스킵 모드에 기초한 영상을 복호화하는 방법 및 장치
KR101633459B1 (ko) 2009-08-10 2016-06-24 삼성전자주식회사 컬러 간의 상관 관계를 이용한 영상 데이터 인코딩 장치 및 방법, 그리고 영상 데이터 디코딩 장치 및 방법
US8861879B2 (en) 2009-09-17 2014-10-14 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image based on skip mode
WO2011040796A2 (ko) * 2009-10-01 2011-04-07 에스케이텔레콤 주식회사 가변 크기의 매크로블록을 이용한 영상 부호화/복호화 방법 및 장치
KR101479129B1 (ko) 2009-10-01 2015-01-06 에스케이텔레콤 주식회사 가변 크기의 매크로블록을 이용한 영상 부호화/복호화 방법 및 장치
US8355057B2 (en) * 2009-10-14 2013-01-15 Sony Corporation Joint scalar embedded graphics coding for color images
KR101487687B1 (ko) * 2010-01-14 2015-01-29 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
WO2011087320A2 (ko) * 2010-01-15 2011-07-21 삼성전자 주식회사 예측 부호화를 위해 가변적인 파티션을 이용하는 비디오 부호화 방법 및 장치, 예측 부호화를 위해 가변적인 파티션을 이용하는 비디오 복호화 방법 및 장치
CN106454380B (zh) * 2010-01-15 2019-04-05 三星电子株式会社 对视频进行解码的方法
WO2011088594A1 (en) 2010-01-25 2011-07-28 Thomson Licensing Video encoder, video decoder, method for video encoding and method for video decoding, separately for each colour plane
EP2526692A1 (en) * 2010-01-26 2012-11-28 Vidyo, Inc. Low complexity, high frame rate video encoder
WO2011100048A1 (en) 2010-02-09 2011-08-18 Thomson Licensing Watermark detection using a propagation map
KR20180028430A (ko) * 2010-02-17 2018-03-16 한국전자통신연구원 초고해상도 영상을 부호화하는 장치 및 방법, 그리고 복호화 장치 및 방법
CN105049860A (zh) * 2010-02-24 2015-11-11 夏普株式会社 图像解码装置
KR101540899B1 (ko) * 2010-04-09 2015-07-30 미쓰비시덴키 가부시키가이샤 화상 부호화 장치
WO2011126348A2 (en) * 2010-04-09 2011-10-13 Lg Electronics Inc. Method and apparatus for processing video data
CN106060559B (zh) 2010-04-13 2020-02-04 Ge视频压缩有限责任公司 解码器、重建数组的方法、编码器、编码方法及数据流
EP3614667A1 (en) 2010-04-13 2020-02-26 GE Video Compression, LLC Inter-plane prediction
KR101994900B1 (ko) 2010-04-13 2019-06-28 지이 비디오 컴프레션, 엘엘씨 이미지들의 멀티-트리 서브-디비젼을 이용한 비디오 코딩
EP3089450B1 (en) 2010-04-13 2022-08-31 GE Video Compression, LLC Sample region merging
KR101791242B1 (ko) 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
KR101791078B1 (ko) * 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
KR101813189B1 (ko) 2010-04-16 2018-01-31 에스케이 텔레콤주식회사 영상 부호화/복호화 장치 및 방법
KR20110123651A (ko) 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
US9510009B2 (en) 2010-05-20 2016-11-29 Thomson Licensing Methods and apparatus for adaptive motion vector candidate ordering for video encoding and decoding
MX2013000525A (es) * 2010-07-15 2013-03-22 Mitsubishi Electric Corp Dispositivo codificador de imagen movil, dispositivo descodificador de imagen movil, metodo de codificacion de imagen movil y metodo de descodificacion de imagen movil.
US20130182768A1 (en) * 2010-09-30 2013-07-18 Korea Advanced Institute Of Science And Technology Method and apparatus for encoding / decoding video using error compensation
EP3637777A1 (en) 2010-10-06 2020-04-15 NTT DoCoMo, Inc. Bi-predictive image decoding device and method
MY180607A (en) 2010-12-23 2020-12-03 Samsung Electronics Co Ltd Method and device for encoding intra prediction mode for image prediction unit, and method and device for decoding intra prediction mode for image prediction unit
CN102595124B (zh) 2011-01-14 2014-07-16 华为技术有限公司 图像编码解码方法、处理图像数据方法及其设备
KR101832682B1 (ko) * 2011-03-08 2018-02-26 가부시키가이샤 제이브이씨 켄우드 동화상 부호화 장치, 동화상 부호화방법 및 동화상 부호화 프로그램, 및 동화상 복호 장치, 동화상 복호 방법 및 동화상 복호 프로그램
JP5748553B2 (ja) * 2011-05-13 2015-07-15 キヤノン株式会社 撮像装置
CN103119943B (zh) * 2011-06-03 2017-03-08 太阳专利托管公司 图像编码方法及图像解码方法
CN105791834B (zh) * 2011-06-23 2018-01-02 Jvc 建伍株式会社 图像解码装置和图像解码方法
USRE47366E1 (en) 2011-06-23 2019-04-23 Sun Patent Trust Image decoding method and apparatus based on a signal type of the control parameter of the current block
EP2725791B1 (en) 2011-06-23 2023-08-23 Sun Patent Trust Image decoding method, image encoding method
WO2012176464A1 (ja) 2011-06-24 2012-12-27 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
CA2833855C (en) 2011-06-24 2018-08-28 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
WO2013001764A1 (ja) 2011-06-27 2013-01-03 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
PH12013502409A1 (en) 2011-06-28 2014-01-06 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
WO2013001767A1 (ja) 2011-06-29 2013-01-03 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
KR102060619B1 (ko) 2011-06-30 2019-12-30 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
KR102007047B1 (ko) 2011-06-30 2019-08-02 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
WO2013008438A1 (ja) 2011-07-11 2013-01-17 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
EP2736255A4 (en) * 2011-07-18 2014-12-17 Panasonic Ip Corp America PICTURE CODING, PICTURE DECODING, PICTURE CODING DEVICE, PICTURE DECODING DEVICE, AND PICTURE CODING / DECODING DEVICE
US20140169465A1 (en) * 2011-07-22 2014-06-19 Hitachi, Ltd. Video decoding method and image encoding method
PL4171031T3 (pl) * 2011-09-28 2024-10-28 Sun Patent Trust Urządzenie do dekodowania obrazów, urządzenie do kodowania/dekodowania obrazów, i komputerowo odczytywalny nośnik danych do przechowywania strumienia bitów
JP5415656B2 (ja) * 2011-11-07 2014-02-12 パナソニック株式会社 符号化方法および符号化装置
JP2013110517A (ja) 2011-11-18 2013-06-06 Canon Inc 動きベクトル符号化装置、動きベクトル符号化方法及びプログラム、動きベクトル復号装置、動きベクトル復号方法及びプログラム
CA2825767C (en) * 2011-12-21 2018-11-27 Panasonic Corporation Image coding method, image decoding method, image coding apparatus and image decoding apparatus
EP2800370A4 (en) * 2011-12-28 2015-08-19 Jvc Kenwood Corp VIDEO CODING DEVICE, VIDEO PROCESSING AND VIDEO PROGRAM, AND DEVICE, METHOD AND PROGRAM FOR VIDEO CODING
KR101568920B1 (ko) 2012-01-12 2015-11-12 미디어텍 인크. 유효성 맵 컨텍스트 선택의 단일화를 위한 방법 및 장치
CN104094604B (zh) 2012-01-20 2017-07-14 太阳专利托管公司 使用时间运动矢量预测对视频进行编码和解码的方法和装置
CN103220508B (zh) 2012-01-20 2014-06-11 华为技术有限公司 编解码方法和装置
EP3829177A1 (en) 2012-02-03 2021-06-02 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
JP6421931B2 (ja) 2012-03-06 2018-11-14 サン パテント トラスト 動画像符号化方法及び動画像符号化装置
GB2501535A (en) 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
JP6066583B2 (ja) * 2012-05-01 2017-01-25 キヤノン株式会社 動画像符号化装置及び動画像符号化方法
WO2013183268A1 (ja) 2012-06-08 2013-12-12 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像符号化復号装置
JP6168365B2 (ja) * 2012-06-12 2017-07-26 サン パテント トラスト 動画像符号化方法、動画像復号化方法、動画像符号化装置および動画像復号化装置
AU2013273686B2 (en) 2012-06-27 2017-03-02 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
JP6137817B2 (ja) * 2012-11-30 2017-05-31 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム
JP6151909B2 (ja) * 2012-12-12 2017-06-21 キヤノン株式会社 動画像符号化装置、方法およびプログラム
US9049442B2 (en) 2013-03-15 2015-06-02 Canon Kabushiki Kaisha Moving image encoding apparatus and method for controlling the same
KR101432769B1 (ko) * 2013-07-19 2014-08-26 에스케이텔레콤 주식회사 인트라 예측 모드의 예측 가능성을 이용한 영상 부호화/복호화 장치 및 방법
US10178408B2 (en) 2013-07-19 2019-01-08 Nec Corporation Video coding device, video decoding device, video coding method, video decoding method, and program
JP6265705B2 (ja) * 2013-11-25 2018-01-24 キヤノン株式会社 画像符号化装置及び画像符号化方法
JP6362370B2 (ja) * 2014-03-14 2018-07-25 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
AU2015343932A1 (en) * 2014-11-04 2017-06-01 Samsung Electronics Co., Ltd. Probability updating method for binary arithmetic coding/decoding, and entropy coding/decoding apparatus using same
EP3041233A1 (en) * 2014-12-31 2016-07-06 Thomson Licensing High frame rate-low frame rate transmission technique
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
WO2016157924A1 (ja) * 2015-03-27 2016-10-06 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
WO2017086738A1 (ko) * 2015-11-19 2017-05-26 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
KR20170058838A (ko) * 2015-11-19 2017-05-29 한국전자통신연구원 화면간 예측 향상을 위한 부호화/복호화 방법 및 장치
CN105407352A (zh) * 2015-11-23 2016-03-16 小米科技有限责任公司 图像压缩方法、装置及服务器
KR101640572B1 (ko) * 2015-11-26 2016-07-18 이노뎁 주식회사 효율적인 코딩 유닛 설정을 수행하는 영상 처리 장치 및 영상 처리 방법
JP6883218B2 (ja) * 2016-03-07 2021-06-09 ソニーグループ株式会社 符号化装置および符号化方法
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
RU169308U1 (ru) * 2016-11-07 2017-03-14 Федеральное государственное бюджетное образовательное учреждение высшего образования "Юго-Западный государственный университет" (ЮЗГУ) Устройство для оперативного восстановления видеосигнала RGB-модели
TWI627521B (zh) * 2017-06-07 2018-06-21 財團法人工業技術研究院 時序估算方法與模擬裝置
JP6525367B1 (ja) * 2018-05-28 2019-06-05 三菱電機株式会社 無線アクセスネットワークの管理装置
KR102666666B1 (ko) * 2018-06-01 2024-05-20 삼성전자주식회사 이미지 부호화 장치 및 이미지 복호화 장치
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding
WO2020255578A1 (ja) * 2019-06-19 2020-12-24 ソニー株式会社 画像処理装置および方法
US11475601B2 (en) * 2019-10-21 2022-10-18 Google Llc Image decoding during bitstream interruptions
US20230106242A1 (en) * 2020-03-12 2023-04-06 Interdigital Vc Holdings France Method and apparatus for video encoding and decoding
CN111314703B (zh) * 2020-03-31 2022-03-08 电子科技大学 一种基于失真类型传播分析的时域率失真优化方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07109990B2 (ja) * 1989-04-27 1995-11-22 日本ビクター株式会社 適応型フレーム間予測符号化方法及び復号方法
JP2683181B2 (ja) * 1992-05-12 1997-11-26 三菱電機株式会社 カラー画像処理装置
JP4326758B2 (ja) * 1995-11-02 2009-09-09 三菱電機株式会社 動画像符号化装置及び動画像復号化装置
JPH1013859A (ja) * 1996-06-26 1998-01-16 Mitsubishi Electric Corp 画像用高能率符号化器及び画像用高能率復号化器及び画像用高能率符号化復号化システム
JP3907705B2 (ja) * 1996-12-18 2007-04-18 トムソン コンシューマ エレクトロニクス インコーポレイテッド 多重フォーマットビデオ信号処理装置
EP2173103A3 (en) * 1997-02-13 2010-09-08 Mitsubishi Denki Kabushiki Kaisha Moving picture prediction system
JP3901287B2 (ja) * 1997-02-27 2007-04-04 松下電器産業株式会社 映像信号変換装置、映像信号変換方法及び映像提供システム
AU1941797A (en) * 1997-03-17 1998-10-12 Mitsubishi Denki Kabushiki Kaisha Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
US6493385B1 (en) * 1997-10-23 2002-12-10 Mitsubishi Denki Kabushiki Kaisha Image encoding method, image encoder, image decoding method, and image decoder
KR20010031320A (ko) * 1997-10-23 2001-04-16 다니구찌 이찌로오, 기타오카 다카시 화상 복호화 장치, 화상 부호화 장치, 화상 통신 시스템및 부호화 비트 스트림 변환장치
JP2001285863A (ja) * 2000-03-30 2001-10-12 Sony Corp 画像情報変換装置及び方法
US6757429B2 (en) * 2001-02-21 2004-06-29 Boly Media Communications Inc. Method of compressing digital images
JP4193406B2 (ja) * 2002-04-16 2008-12-10 三菱電機株式会社 映像データ変換装置および映像データ変換方法
EP1944977B1 (en) * 2002-05-28 2014-12-31 Sharp Kabushiki Kaisha Method and Systems for Image intra-prediction mode estimation, communication, and organization
US7970058B2 (en) * 2002-07-15 2011-06-28 Hitachi Consumer Electronics Co., Ltd. Moving picture encoding method and decoding method
JP4724351B2 (ja) * 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
US7469069B2 (en) * 2003-05-16 2008-12-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image using image residue prediction
JP4815107B2 (ja) * 2003-07-16 2011-11-16 三星電子株式会社 カラー平面間予測を利用した無損失映像符号化／復号化方法及び装置
CN101616330B (zh) * 2003-07-16 2012-07-04 三星电子株式会社 用于色彩图像的视频编码/解码装置和方法
JP4378126B2 (ja) * 2003-07-18 2009-12-02 株式会社ケーティーエス ラチェットレンチ及びその組立て方法
JP4617644B2 (ja) * 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
DE60317670T2 (de) * 2003-09-09 2008-10-30 Mitsubishi Denki K.K. Verfahren und Vorrichtung zur 3D-Teilbandvideokodierung
KR100964401B1 (ko) * 2003-10-23 2010-06-17 삼성전자주식회사 칼라 영상을 위한 인트라 부호화/복호화 방법 및 장치
KR20050061762A (ko) * 2003-12-18 2005-06-23 학교법인 대양학원 부호화 모드 결정방법, 움직임 추정방법 및 부호화 장치
JP2005349775A (ja) 2004-06-14 2005-12-22 Noritsu Koki Co Ltd 写真プリントシステム
US7751478B2 (en) 2005-01-21 2010-07-06 Seiko Epson Corporation Prediction intra-mode selection in an encoder
KR101246915B1 (ko) * 2005-04-18 2013-03-25 삼성전자주식회사 동영상 부호화 또는 복호화 방법 및 장치
JP2006304102A (ja) * 2005-04-22 2006-11-02 Renesas Technology Corp 画像符号化ユニットと画像符号化方法
CN102231835B (zh) * 2005-07-22 2013-04-17 三菱电机株式会社 图像解码装置及方法

Also Published As

Publication number Publication date
KR100957754B1 (ko) 2010-05-12
KR20080034131A (ko) 2008-04-18
CA2732532C (en) 2013-08-20
RU2506714C1 (ru) 2014-02-10
EP1909508A4 (en) 2011-05-25
CA2610276C (en) 2013-01-29
WO2007010690A1 (ja) 2007-01-25
CN102231835A (zh) 2011-11-02
EP1909508A1 (en) 2008-04-09
KR101037855B1 (ko) 2011-05-31
CN101815224A (zh) 2010-08-25
KR101217400B1 (ko) 2013-01-02
CN102281448B (zh) 2014-04-30
CA2610276A1 (en) 2007-01-25
JP2010110006A (ja) 2010-05-13
JP4542107B2 (ja) 2010-09-08
CN102281448A (zh) 2011-12-14
KR100995226B1 (ko) 2010-11-17
BRPI0611672A2 (pt) 2009-01-13
KR101213904B1 (ko) 2012-12-20
CN101218830B (zh) 2011-10-12
CN102231835B (zh) 2013-04-17
US20090034856A1 (en) 2009-02-05
CA2732532A1 (en) 2007-01-25
KR20100020984A (ko) 2010-02-23
KR20110124315A (ko) 2011-11-16
CN102176754A (zh) 2011-09-07
HK1159913A1 (en) 2012-08-03
HK1162791A1 (en) 2012-08-31
CN102176754B (zh) 2013-02-06
KR20110014656A (ko) 2011-02-11
CN101218830A (zh) 2008-07-09
KR20100083850A (ko) 2010-07-22
JPWO2007010690A1 (ja) 2009-01-29

Similar Documents

Publication Publication Date Title
JP5138709B2 (ja) 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
JP5296679B2 (ja) 画像復号装置および画像復号方法
RU2368095C1 (ru) Кодер изображения и декодер изображения, способ кодирования изображения и способ декодирования изображения, программа кодирования изображения и программа декодирования изображения и компьютерно-считываемый носитель записи, на котором записана программа кодирования изображения, и компьютерно-считываемый носитель записи, на котором записана программа декодирования изображения
US8488889B2 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20090123066A1 (en) Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein,
US20090034857A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080123947A1 (en) Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein
US20080165849A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080123977A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080159641A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080137744A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080130989A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080130990A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080130988A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120509

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120827

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121113

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121114

R150 Certificate of patent or registration of utility model

Ref document number: 5138709

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151122

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250