[go: up one dir, main page]

CN110365993A - 算术解码装置、图像解码装置、算术编码装置以及图像编码装置 - Google Patents

算术解码装置、图像解码装置、算术编码装置以及图像编码装置 Download PDF

Info

Publication number
CN110365993A
CN110365993A CN201910515390.9A CN201910515390A CN110365993A CN 110365993 A CN110365993 A CN 110365993A CN 201910515390 A CN201910515390 A CN 201910515390A CN 110365993 A CN110365993 A CN 110365993A
Authority
CN
China
Prior art keywords
sub
block
coefficient
context index
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910515390.9A
Other languages
English (en)
Other versions
CN110365993B (zh
Inventor
猪饲知宏
筑波健史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Has Media International Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=49673219&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN110365993(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Has Media International Ltd filed Critical Has Media International Ltd
Publication of CN110365993A publication Critical patent/CN110365993A/zh
Application granted granted Critical
Publication of CN110365993B publication Critical patent/CN110365993B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

为了实现硬件简化以及编码效率的提高,有无相邻子块系数上下文导出部(124c)在右相邻子块或者下相邻子块中有无子块系数标记为0时,以3个阶段的值且根据处理对象的子块中的处理对象的变换系数的位置来导出上下文索引。

Description

算术解码装置、图像解码装置、算术编码装置以及图像编码 装置
本申请为中国专利申请No201380028394.5的分案申请。
技术领域
本发明涉及对进行了算术编码的编码数据进行解码的算术解码装 置、以及具有这样的算术解码装置的图像解码装置。此外,涉及生成 进行了算术编码的编码数据的算术编码装置、以及具有这样的算术编 码装置的图像编码装置。
背景技术
为了有效率地传输或者记录活动图像,使用通过对活动图像进行 编码而生成编码数据的活动图像编码装置(图像编码装置)、以及通 过对该编码数据进行解码而生成解码图像的活动图像解码装置(图像 解码装置)。
作为具体的活动图像编码方式,例如举出在H.264/MPEG-4.AVC、 作为其后继编解码器(codec)的HEVC(High-Efficiency Video Coding, 高效视频编码)中提案的方式(非专利文献1)等。
在这样的活动图像编码方式中,构成活动图像的图像(图片 (picture))通过层次结构来管理,通常按每个块进行编码/解码,该 层次结构由通过分割图像而获得的片段、通过分割片段而获得的编码 单位(有时也称为编码单元(Coding Unit))、通过分割编码单位而 获得的块、以及由分区(partition)构成。
此外,在这样的编码方式中,通常基于通过对输入图像进行编码 及解码而获得的局部解码图像而生成预测图像,通过将该预测图像和 输入图像的差分图像(有时也称为“残差图像”或者“预测残差”) 按每个块实施DCT(Discrete Cosine Transform)变换等的频率变换而 获得的变换系数进行编码。
作为变换系数的具体的编码方式,已知上下文自适应可变长编码 (CAVLC:Context-based Adaptive Variable Length Coding)以及上下 文自适应二进制算术编码(CABAC:Context-based Adaptive Binary Arithmetic Coding)。
在CALVC中,通过对各变换系数依次扫描而设为一维的矢量之 后,表示各变换系数的值的语法(syntax)以及表示连续的0的长度(也 称为得分(run))的语法等进行编码。
在CABAC中,对表示变换系数的各种语法实施二进制处理,通 过该二进制处理而获得的二进制数据进行算术编码。这里,作为上述 各种语法,举出表示变换系数是否为0的标记、即表示有无非0变换 系数的标记significant_coeff_flag(也称为有无变换系数标记),以及 表示在处理顺序上最后的非0变换系数的位置的语法 last_significant_coeff_x及last_significant_coeff_y等。
此外,在CABAC中,在对一个符号(二进制数据的1比特,也 称为Bin)进行编码时,参照对处理对象的频率成分配的上下文索引, 进行与在由该上下文索引所指定的上下文变量中包含的概率状态索引 指示的发生概率对应的算术编码。此外,由概率状态索引所指定的发 生概率在每次对一个符号进行编码时被更新。
此外,在非专利文献1中,作为非0变换系数的编码方法,使用 2层编码。2层编码是如下编码方法:将变换单位分割为多个子块,关 于在该子块中包含的各个变换系数,对表示变换系数是否为非0的标 记(significant_coeff_flag)进行编码的同时,以子块单位对表示是否包 括非0变换系数的标记(也称为significant_coeff_group_flag或者coded_sub_block_flag)进行编码。
此外,在非专利文献1中,根据变换单位(Transform unit;TU)的 尺寸而如下进行编码。即,在小TU(4×4、8×8)中,作为子块尺寸 而使用4×4或者8×2,基于位置而导出分配给频率成分的上下文。在 基于位置的上下文导出中,对频率成分配根据在频域内的该频率成分 的位置而确定的上下文索引(也称为位置上下文)。
此外,在大TU(16×16、32×32、16×4、4×16、32×8、8×32) 中,作为子块尺寸而使用4×4,基于参照周边而导出分配给频率成分 的上下文。在基于参照周边的上下文导出中,对频率成分配根据该频 率成分的周边的频率成分中的非0变换系数的数目(即,参照significant_coeff_flag)而确定的上下文索引(也称为参照周边上下文)。
相对于此,在非专利文献2中,进行了废除如上述的基于参照周 边的上下文导出的提案,在HEVC测试模型之后的版本(HM7)中, 估计会采用这个提案。
在非专利文献2中,进行了如下提案:根据在相邻子块中是否有 非0变换系数,选择导出模式,根据所选择的导出模式,从子块内的 位置导出上下文索引。
使用图50~52表示非专利文献2的提案内容,则如下。关于图 50所示的处理对象的子块X,根据子块X的右相邻子块A以及下相邻 子块B中的非0变换系数的状态,求出以下的模式。
(模式0)在右相邻子块(xCG+1,yCG)以及下相邻子块(xCG, yCG+1)的任一个中有无子块系数标记的值都为0的情况。
(模式1)在右相邻子块(xCG+1,yCG)中有无子块系数标记 的值为1且在下相邻子块(xCG,yCG+1)中有无子块系数标记的值 为0的情况。
(模式2)在右相邻子块(xCG+1,yCG)中有无子块系数标记 的值为0且在下相邻子块(xCG,yCG+1)中有无子块系数标记的值 为1的情况。
(模式3)在右相邻子块(xCG+1,yCG)以及下相邻子块(xCG, yCG+1)的双方中有无子块系数标记的值为1的情况。
根据非专利文献2,使用下述式(X)求出表示上述模式的模式索 引idxCG。
idxCG=significant_coeff_group_flag[xCG+1][yCG]+(significant_coe ff_group_flag[xCG][yCG+1]<<1)···(X)
并且,根据模式索引idxCG,通过图51所示的方法,使用子块X 内的坐标(xB,yB)而导出上下文索引。参照图51说明在模式0~3 的情况下分别导出的上下文索引的值,则如下所述。
(在模式0的情况下)
在模式0的情况下,通过sigCtx=(xB+yB<=2)?1:0,导出上 下文索引。
上下文索引的值成为如图52(a)所示的配置。
(在模式1的情况下)
在模式1的情况下,通过sigCtx=(yB<=1)?1:0,导出上下文索 引。
因此,如图52(b)所示,在子块的第一行以及第二行中,上下 文索引的值成为1,在子块的第三行以及第四行中,上下文索引的值成 为0。
(在模式2的情况下)
在模式2的情况下,通过sigCtx=(xB<=1)?1:0,导出上下文 索引。
因此,如图52(c)所示,在子块的第一列以及第二列中,上下文 索引的值成为1,在子块的第三列以及第四列中,上下文索引的值成为 0。
(在模式3的情况下)
在模式3的情况下,通过sigCtx=(xB+yB<=4)?2:1,导出上 下文索引。
因此,在模式3的情况下,若子块内的坐标(xB,yB)的水平方 向的坐标xB和垂直方向的坐标yB之和为4以下,则上下文索引的值 为“1”,否则上下文索引的值为“0”。
由此,上下文索引的值成为如图52(d)所示的配置。
此外,在非专利文献3中,进行了如下提案:在8×8TU中,将 按每个扫描方向不同的子块的形状统一为4×4子块,进一步,在8× 8TU~32×32TU中,也根据在相邻子块中是否有非0变换系数,选择 导出模式,根据所选择的导出模式,从子块内的位置导出与有无变换 系数标记有关的上下文索引。此外,根据非专利文献3,进行了如下提 案:关于亮度的8×8TU,在扫描方向为斜向扫描的情况下和水平方向 扫描或者垂直方向扫描的情况下,区分与有无变换系数标记有关的上 下文。换言之,与斜向扫描时的上下文不同地,在水平方向扫描和垂 直方向扫描中共享上下文。
现有技术文献
非专利文献
非专利文献1:“Suggested bug-fixes for HEVC text specification draft 6(JCTVC-I0030)”,Joint Collaborative Team on Video Coding (JCT-VC)of ITU-TSG16WP3and ISO/IEC JTC1/SC29/WG119th Meeting:Geneva,CH,27April-7May 2012(2012年4月公开)
非专利文献2:“Non-CE3:Simplified context derivation for significancemap(JCTVC-I0296)”,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP 3and ISO/IEC JTC 1/SC 29/WG 119th Meeting:Geneva,CH,27April-7May 2012(2012年4月公 开)
非专利文献3:“Removal of the 8x2/2x8coefficient groups (JCTVC-J0256)”,Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 1110th Meeting: Stockholm,SW,11-20July 2012(2012年7月公开)
发明内容
发明要解决的课题
但是,在上述的现有技术中,依然存在有关变换系数的编码及解 码的处理复杂,编码效率不充分的问题。
本发明是鉴于上述的问题而完成的,其目的在于,实现一种算术 解码装置、图像解码装置、算术编码装置以及图像编码装置,其与现 有的结构相比,能够实现基于有关变换系数的编码及解码的处理的简 化的硬件简化以及编码效率的提高。
用于解决课题的手段
为了解决上述课题,本发明的一实施方式的算术解码装置,对将 对象图像按每个单位区域进行频率变换而获得的变换系数的编码数据 进行解码,其特征在于,包括:有无子块系数标记解码单元,按上述 单位区域被分割为多个子块的每个上述子块,对表示是否包括至少一 个非0变换系数的有无子块系数标记进行解码;以及上下文索引导出 单元,导出与表示处理对象的上述变换系数是否为0的有无变换系数 标记对应的上下文索引,上述上下文索引导出单元在与处理对象的子 块相邻的至少两个相邻子块中不包括上述非0变换系数的情况下,导 出值不同的三个上述上下文索引。
此外,为了解决上述课题,本发明的一实施方式的算术解码装置, 对将对象图像按每个单位区域进行频率变换而获得的变换系数的编码 数据进行解码,其特征在于,包括:有无子块系数标记解码单元,按 上述单位区域被分割为多个子块的每个上述子块,对表示是否包括至 少一个非0变换系数的有无子块系数标记进行解码;以及上下文索引 导出单元,导出与表示处理对象的上述变换系数是否为0的有无变换 系数标记对应的上下文索引,导出的上述上下文索引的数目根据在与 处理对象的子块相邻的至少两个相邻子块中是否包括上述非0变换系 数而不同。
此外,为了解决上述课题,本发明的一实施方式的图像解码装置 的特征在于,包括:上述算术解码装置;逆频率变换单元,对通过上 述算术解码装置而解码的变换系数进行逆频率变换,从而生成残差图 像;以及解码图像生成单元,将通过上述逆频率变换单元而生成的残 差图像和根据生成完毕的解码图像所预测的预测图像相加,从而生成 解码图像。
此外,为了解决上述课题,本发明的一实施方式的算术编码装置, 对表示将对象图像按每个单位区域进行频率变换而获得的变换系数的 各语法进行算术编码,其特征在于,包括:有无子块系数标记编码单 元,按以每个上述单位区域被分割为多个子块的该每个子块,对表示 是否包括至少一个非0变换系数的有无子块系数标记进行编码;以及 上下文索引导出单元,导出与表示处理对象的上述变换系数是否为0 的有无变换系数标记对应的上下文索引,上述上下文索引导出单元在 与处理对象的子块相邻的至少两个相邻子块中不包括上述非0变换系 数的情况下,导出值不同的三个上述上下文索引。
此外,为了解决上述课题,本发明的一实施方式的算术编码装置, 对表示将对象图像按每个单位区域进行频率变换而获得的变换系数的 各语法进行算术编码,其特征在于,包括:有无子块系数标记解码单 元,按以每个上述单位区域被分割为多个子块的该每个子块,对表示 是否包括至少一个非0变换系数的有无子块系数标记进行编码;以及 上下文索引导出单元,导出与表示处理对象的上述变换系数是否为0 的有无变换系数标记对应的上下文索引,导出的上述上下文索引的数 目根据在与处理对象的子块相邻的至少两个相邻子块中是否包括上述 非0变换系数而不同。
此外,为了解决上述课题,本发明的一实施方式的图像编码装置 的特征在于,包括:变换系数生成单元,将编码对象图像和预测图像 的残差图像按每个单位区域进行频率变换,从而生成变换系数;以及 上述的任一个算术编码装置,上述算术编码装置对作为通过上述变换 系数生成单元而生成的变换系数的语法进行算术编码,从而生成编码 数据。
发明效果
如以上所述,本发明的算术解码装置是如下结构:上下文索引导 出单元在判定为在与处理对象的子块相邻的任一个子块中不存在非0 变换系数时,基于该判定结果,根据处理对象的子块中的处理对象的 变换系数的位置,导出与在非0变换系数的发生概率低的情况、在非0 变换系数的发生概率高的情况、以及在非0变换系数的发生概率为高 的情况和低的情况之间的中间程度的情况分别对应的上下文索引。
因此,能够实现更加适合实际的变换系数的发生概率的上下文导 出模式,由此,能够实现编码效率的提高。
如以上所述,本发明的算术解码装置是如下结构:若上下文索引 导出单元将4×4尺寸的子块中的坐标设为(xB,yB)(其中,将xB 设为水平方向,将yB设为垂直方向,将子块左上设为原点(0,0)), 则在上述子块中应用的扫描顺序为斜向扫描的情况下,在判定出的方 向性为垂直方向时,在由(0,0)~(0,3)、(1,0)~(1,2) 以及(2,0)构成的区域中,与该区域以外的区域相比,进一步导出 与变换系数的发生概率高的情况对应的上下文索引,另一方面,在判 定出的方向性为水平方向时,在由(0,0)~(3,0)、(0,1)~ (2,1)以及(0,2)构成的区域中,与该区域以外的区域相比,进 一步导出与变换系数的发生概率高的情况对应的上下文索引。
因此,与以往相比,能够抑制子块内的上下文索引的转换。因此, 在如上所述那样定义0和1的重复数的硬件中,硬件的安装被简化。
如以上所述,本发明的算术解码装置是如下结构:包括变换系数 解码单元,该变换系数解码单元使用与由判定变换系数的分布的方向 性的方向性判定单元判定出的方向性对应的扫描顺序,对变换系数进 行解码。
根据上述结构,能够使用与变换系数的分布的方向性对应的扫描 顺序,对变换系数进行解码。因此,在如上所述那样定义0和1的重 复数的硬件中,硬件的安装被简化。
如以上所述,本发明的算术解码装置是如下结构:上下文索引导 出单元基于有无子块系数标记,关于与处理对象的子块相邻的各子块, 根据由对包括至少一个非0变换系数的子块的数进行计算的有系数子 块数计算单元计算出的数,使用处理对象的变换系数在上述处理对象 的子块中的水平方向的坐标以及垂直方向的坐标之和,导出上下文索引。
在上述结构中,起到可以不区分有无子块系数标记是右相邻子块 中的标记还是下相邻子块中的标记等、硬件的安装被简化的效果。
如以上所述,本发明的算术解码装置是如下结构:上下文索引导 出单元根据判定对与处理对象的子块相邻的各子块进行了解码的有无 子块系数标记的值的模式的模式判定单元的判定结果,使用处理对象 的变换系数在上述处理对象的子块中的水平方向以及垂直方向的各个 坐标的2比特表现中的上位比特,导出上下文索引。
如以上所述,本发明的算术解码装置是如下结构:包括变换系数 解码单元,该变换系数解码单元关于将4×4尺寸的子块进行4分割而 获得的2×2尺寸的各个部分区域,使用该部分区域内的扫描顺序,对 变换系数进行解码。
因此,由于能够抑制在扫描顺序上坐标(例如,扫描顺序上相邻 频率成分的坐标)大幅变化,所以能够将在空间上具有同种特性的变 换系数按顺序进行解码。其结果,编码效率提高。
如以上所述,本发明的算术解码装置是如下结构:上下文索引导 出单元基于与处理对象的子块相邻的子块中的有无子块系数标记,根 据由判定变换系数的分布的方向性的方向性判定单元判定出的方向 性,使用处理对象的子块在处理对象的单位区域中的坐标,导出上下 文索引。
根据上述结构,由于在存在横边缘或纵边缘的可能性高的情况下, 使用与非0变换系数的发生概率高的情况对应的上下文索引,所以能 够实现编码效率的提高。
如以上所述,本发明的算术解码装置是如下结构:在上下文索引 导出单元基于上述有无子块系数标记,对与处理对象的子块相邻的各 个子块判定了是否包括至少一个非0变换系数的结果中,在预定的数 目以上的子块中包括至少一个非0变换系数的情况下,在处理对象的 子块中一致导出与变换系数的发生概率高的情况对应的上述上下文索 引。
因此,在非0变换系数的发生概率一致高的情况下,能够在处理 对象的子块中一致地导出与变换系数的发生概率高的情况对应的上述 上下文索引,能够实现编码效率的提高。
如以上所示,根据本发明,与现有的结构相比,能够实现基于有 关变换系数的编码及解码的处理的简化的硬件简化以及编码效率的提 高。
另外,在具有与上述结构对应的结构的算术编码装置中,也能够 获得相同的效果。
附图说明
图1是表示本发明的实施方式的活动图像解码装置具有的有无系 数标记解码部的结构的框图。
图2是表示由本发明的实施方式的活动图像编码装置所生成、由 活动图像解码装置所解码的编码数据的数据结构的图,(a)~(d)是 分别表示图片层、片段层、树块层以及CU层的图。
图3(a)~(h)是表示PU分割类型的模式的图,分别表示PU 分割类型为2N×N、2N×nU、2N×nD、2N×N、2N×nU以及2N×nD 的情况下的分区形状。(i)~(o)是表示将正方形的节点以正方形或 者非正方形进行4叉树分割的分割方式的图。(i)表示正方形的分割, (j)表示横长的长方形的分割,(k)表示纵长的长方形的分割,(l) 表示横长的节点的横长的分割,(m)表示横长的节点的正方形的分割,(n)表示纵长的节点的纵长的分割,以及(o)表示纵长的节点的正 方形的分割。
图4是表示块和子块的关系的图。(a)表示4×4TU由以4×4 成分而成的1个子块构成的例。(b)表示8×8TU由以4×4成分而成 的4个子块构成的例。(c)表示16×16TU由以4×4成分而成的16 个子块构成的例。
图5是用于说明实施方式的解码处理及编码处理的扫描顺序的 图,(a)表示子块扫描为正扫描的情况,(b)表示子块内扫描为正扫 描的情况,(c)表示子块扫描为逆扫描的情况,(d)表示子块内扫描 为逆扫描的情况。
图6是用于说明实施方式中的非0变换系数的解码处理的图,(a) 表示在TU尺寸为8×8的块分割为4×4的尺寸的子块的情况下,以正 扫描方式扫描了各频率成分的情况下的扫描顺序,(b)例示在TU尺 寸以8×8的频率成分而成的频域中的非0的变换系数(非0变化系数), (c)表示对在解码对象的变换系数为(b)所示的情况下的各子块进行 了解码的有无子块系数标记significant_coeff_group_flag的各值,(d) 示出表示在解码对象的变换系数为图6(b)所示的情况下的非0变换 系数的有无的语法significant_coeff_flag的各值,(e)表示通过对在解 码对象的变换系数为(b)所示的情况下的语法 coeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag以及 coeff_abs_level_remaining进行解码而获得的各变换系数的绝对值,(f) 表示在解码对象的变换系数为(b)所示的情况下的语法coeff_sign_flag。
图7是表示实施方式的活动图像解码装置的结构的框图。
图8是表示实施方式的活动图像解码装置具有的可变长码解码部 的结构的框图。
图9是表示在实施方式的活动图像解码装置中能够利用的内部 (Intra)预测的方向的图。
图10是表示内部预测模式和与该内部预测模式建立对应的名称 的图。
图11是表示本发明的实施方式的活动图像解码装置具有的量化 残差信息解码部的结构的框图。
图12是表示由内部预测模式索引IntraPredMode和 log2TrafoSize-2的各值所指定的扫描索引scanIdx的例的表。
图13是用于说明扫描索引的图,(a)表示由扫描索引scanIdx的 各值所指定的扫描类型ScanType,(b)表示在TU尺寸为4×4时的 水平方向优先扫描(horizontal fastscan),(c)表示在TU尺寸为4 ×4时的垂直方向优先扫描(vertical fast scan),以及(d)表示在TU 尺寸为4×4时的斜向扫描(Up-right diagonal scan)的各扫描的扫描顺 序的一例。另外,(b)所示的水平方向优先扫描的特征在于,以将子 块分割为上下一半的小子块单位,向水平方向倾斜而按每1列扫描系 数,(c)所示的垂直方向优先扫描的特征在于,以将子块分割为左右 一半的小子块单位,向垂直方向倾斜而按每1列扫描系数。
图14是表示块以及子块的扫描顺序的图。(a)~(c)表示在 TU尺寸为8×8且子块尺寸为4×4时,通过扫描索引scanIdx而被指 定的各扫描类型的扫描顺序的一例。此外,(a)~(c)所示的各例中 的箭头表示正扫描方向。另外,(a)所示的水平方向优先扫描的特征 在于,以将子块分割为上下一半的小子块单位,向水平方向倾斜而按 每1列扫描系数,(b)所示的垂直方向优先扫描的特征在于,以将子 块分割为左右一半的小子块单位,向垂直方向倾斜而按每1列扫描系 数。
图15是表示块以及子块的扫描顺序的图。(a)~(c)表示在 TU尺寸为8×8且子块尺寸不同时,通过扫描索引scanIdx而被指定的 各扫描类型的扫描顺序的一例。此外,(a)~(c)所示的各例中的箭 头表示正扫描方向。另外,(a)所示的水平方向优先扫描的特征在于, 以横长的子块单位,向水平方向倾斜而按每1列扫描系数,(b)所示 的垂直方向优先扫描的特征在于,以纵长的子块为单位,向垂直方向 倾斜而按每1列扫描系数。
图16是表示实施方式的有无子块系数标记解码部的结构的框图。
图17是用于说明实施方式的有无子块系数标记解码部的解码处 理的图,(a)表示对象子块(xCG,yCG)和与对象子块的下侧相邻 的相邻子块(xCG,yCG+1),(b)表示对象子块(xCG,yCG)和 与对象子块的右侧相邻的相邻子块(xCG+1、yCG),(c)表示对象 子块(xCG,yCG)、与对象子块的下侧相邻的相邻子块(xCG,yCG +1)和与对象子块的右侧相邻的相邻子块(xCG+1、yCG)。
图18是用于说明实施方式的有无子块系数标记编码及解码处理 的图,(a)表示在16×16TU的频域中存在的变换系数,(b)表示对 各子块分配的有无子块系数标记。
图19是表示通过模式索引idxCG,用于从处理对象的频率成分的 子块内的坐标导出上下文索引的伪码的一例的图。
图20是表示基于图20所示的伪码的上下文索引导出方法中的上 下文索引的值的配置的图。
图21是表示子块内的扫描顺序的图。
图22是表示根据在相邻子块中是否有非0变换系数的状态,变更 对象子块内的扫描顺序的变形例的图。
图23是表示通过模式索引idxCG,用于从处理对象的频率成分的 子块内的坐标导出上下文索引的伪码的另一例的图。
图24是表示基于图23所示的伪码的上下文索引导出方法中的上 下文索引的值的配置的图。
图25是表示通过模式索引idxCG,用于从处理对象的频率成分的 子块内的坐标导出上下文索引的伪码的又一例的图。
图26是表示基于图25所示的伪码的上下文索引导出方法中的上 下文索引的值的配置的图。
图27是说明子块内的4个2×2部分区域中的扫描顺序的图。
图28是表示通过模式索引idxCG,用于从处理对象的频率成分的 子块内的坐标导出上下文索引的伪码的再又一例的图。
图29是表示基于图28所示的伪码的上下文索引导出方法中的上 下文索引的值的配置的图。
图30是表示用于执行变形例5的上下文索引导出方法的伪码的一 般结构的图。
图31是表示在图30所示的伪码中,设定了具体的阈值时的上下 文索引导出方法中的上下文索引的值的配置的图。
图32是表示在图30所示的伪码中,设定了其他的阈值时的上下 文索引导出方法中的上下文索引的值的配置的图。
图33是表示在图30所示的伪码中,设定了其他的阈值时的上下 文索引导出方法中的上下文索引的值的配置的图。
图34是表示通过模式索引idxCG,用于从处理对象的频率成分的 子块内的坐标导出上下文索引的伪码的再又一例的图。
图35是表示基于图33所示的伪码的上下文索引导出方法中的上 下文索引的值的配置的图。
图36是表示相对于处理对象的子块X的右相邻子块A、下相邻子 块B以及右下相邻子块C的位置的图。
图37是表示通过模式索引idxCG,用于从处理对象的频率成分的 子块内的坐标导出上下文索引的伪码的再又一例的图。
图38是表示基于图37所示的伪码的上下文索引导出方法中的上 下文索引的值的配置的图。
图39是表示在上述活动图像解码装置中包含的变换系数解码部 的变换系数解码处理的流程的流程图。
图40是用于更加具体地说明对有无子块系数标记进行解码的处 理的流程图。
图41是用于更加具体地说明对子块内的各非零有无变换系数标 记significant_coeff_flag进行解码的处理的流程图。
图42是表示有无系数标记解码部中的上下文索引的导出处理的 流程的一例的流程图。
图43是表示实施方式的活动图像编码装置的结构的框图。
图44是表示实施方式的活动图像编码装置具有的可变长码编码 部的结构的框图。
图45是表示本发明的实施方式的活动图像编码装置具有的量化 残差信息编码部的结构的框图。
图46是表示实施方式的有无子块系数标记编码部的结构的框图。
图47是表示实施方式的有无系数标记编码部的第二结构例的框 图。
图48是表示搭载了上述活动图像编码装置的发送装置、以及搭载 了上述活动图像解码装置的接收装置的结构的图。(a)表示搭载了活 动图像编码装置的发送装置,(b)表示搭载了活动图像解码装置的接 收装置。
图49是表示搭载了上述活动图像编码装置的记录装置、以及搭载 了上述活动图像解码装置的再现装置的结构的图。(a)表示搭载了活 动图像编码装置的记录装置,(b)表示搭载了活动图像解码装置的再 现装置。
图50表示相对于处理对象的子块X的右相邻子块A以及下相邻 子块B的位置的图。
图51是表示通过模式索引idxCG,用于从处理对象的频率成分的 子块内的坐标导出上下文索引的伪码的现有例的图。
图52是表示基于图51所示的伪码的上下文索引导出方法中的上 下文索引的值的配置的图。
图53是表示在图30所示的伪码中,设定了其他的阈值时的上下 文索引导出方法中的上下文索引的值的配置的图。
图54是表示通过模式索引idxCG,用于从处理对象的频率成分的 子块内的坐标导出上下文索引的伪码的再又一例的图。
图55是表示基于图54所示的伪码的上下文索引导出方法中的上 下文索引的值的配置的图。
图56是实现图29所示的上下文索引的值的配置的其他的伪码的 一例。
图57是实现图31所示的上下文索引的值的配置的其他的伪码的 一例。
图58是实现图32所示的上下文索引的值的配置的其他的伪码的 一例。
图59是实现图33所示的上下文索引的值的配置的其他的伪码的 一例。
图60是实现图53所示的上下文索引的值的配置的其他的伪码的 一例。
图61是表示在图30所示的伪码中,设定了其他的阈值时的上下 文索引导出方法中的上下文索引的值的配置的图。(变形例5-6)
图62是通过变形例5-6的模式索引idxCG,用于从处理对象的频 率成分的子块内的坐标导出上下文索引的再其他的伪码。
图63是表示在图30所示的伪码中,设定了其他的阈值时的上下 文索引导出方法中的上下文索引的值的配置的图。(变形例5-7)
图64是通过变形例5-7的模式索引idxCG,用于从处理对象的频 率成分的子块内的坐标导出上下文索引的再其他的伪码。
图65是表示变形例8的有无系数标记解码部124中的与有无变换 系数标记有关的上下文索引的导出的动作的流程图。
图66是在位置上下文导出部124b中,对4×4TU的各系数位置 分配的上下文索引的一例。
图67是表示图65中的步骤SX103-3的进一步详细的动作的流程 图。
图68是表示变形例8的有无变换系数标记的上下文索引的分配的 表。
图69是表示比较技术(非专利文献3)中的有无变换系数标记的 上下文索引的分配的表。
图70是通过变形例8-2的模式索引idxCG和扫描方向(扫描索引 scanIdx),用于从处理对象的频率成分的子块内的坐标导出上下文索 引的伪码。
图71是表示基于图70所示的伪码的上下文索引导出方法中的上 下文索引的值的配置的图。
图72是表示在图70所示的伪码中,对模式0的水平方向优先扫 描、垂直方向优先扫描的各加权系数和阈值设定了其他的值时的上下 文索引的值的配置的图。
图73是通过变形例8-2的模式索引idxCG和扫描方向(扫描索引 scanIdx),用于从处理对象的频率成分的子块内的坐标导出上下文索 引的又一例的伪码。
图74是说明比较技术(非专利文献3)中的上下文索引的偏移量 加算处理的动作的细节的流程图,是表示与图65中的步骤SX103对应 的动作的细节的流程图。
具体实施方式
基于附图说明本发明的解码装置以及编码装置的实施方式,则如 下所述。另外,本实施方式的解码装置是从编码数据解码活动图像的 装置。因此,以下,将其称为“活动图像解码装置”。此外,本实施 方式的编码装置是通过对活动图像进行编码而生成编码数据的装置。 因此,以下,将其称为“活动图像编码装置”。
但是,本发明的应用范围并不限定于此。即,如从以下的说明可 知,本发明的特征不以多个帧为前提也是成立的。即,与以活动图像 为对象还是以静止图像为对象无关,能够应用于普通的解码装置以及 普通的编码装置。
〔编码数据#1的结构〕
使用图2,说明由活动图像编码装置2所生成、由活动图像解码 装置1所解码的编码数据#1的结构例。编码数据#1例示性地包括序 列(sequence)以及构成序列的多个图片。
在序列层中,为了对处理对象的序列进行解码,规定了活动图像 解码装置1参照的数据的集合。在序列层中,包括序列参数集SPS、图 片参数集PPS、图片PICT。
图2表示编码数据#1中的图片层以下的层次的结构。图2的(a)~ (d)是分别表示规定图片PICT的图片层、规定片段S的片段层、规 定树块(Tree block)TBLK的树块层、规定在树块TBLK中包含的编 码单位(Coding Unit;CU)的CU层的图。
(图片层)
在图片层中,规定了为了对处理对象的图片PICT(以下,也称为 对象图片)进行解码而活动图像解码装置1参照的数据的集合。如图2 的(a)所示,图片PICT包括图片标题PH以及片段S1~SNS(NS是在 图片PICT中包含的片段的总数)。
另外,以下,在不需要区分各个片段S1~SNS的情况下,有时省略 标号的下标而记载。此外,关于在以下说明的编码数据#1中包含的数 据且标注下标的其他的数据也是同样的。
在图片标题PH中,包括为了决定对象图片的解码方法而活动图 像解码装置1参照的编码参数群。
(片段层)
在片段层中,规定了为了对处理对象的片段S(也称为对象片段) 进行解码而活动图像解码装置1参照的数据的集合。如图2的(b)所 示,片段S包括片段标题SH以及树块TBLK1~TBLKNC(NC是在片 段S中包含的树块的总数)。
在片段标题SH中,包括为了决定对象片段的解码方法而活动图 像解码装置1参照的编码参数群。指定片段类型的片段类型指定信息 (slice_type)是在片段标题SH中包含的编码参数的一例。
作为能够由片段类型指定信息所指定的片段类型,举出(1)在编 码时只使用内部预测的I片段、(2)在编码时使用单预测或者内部预 测的P片段、(3)在编码时使用单预测、双预测或者内部预测的B片 段等。
此外,在片段标题SH中,包括由活动图像解码装置1具有的环 路滤波器所参照的滤波器参数FP。滤波器参数FP包括滤波器系数群。 在滤波器系数群中,包括(1)指定滤波器的抽头数的抽头数指定信息、 (2)滤波器系数a0~aNT-1(NT是在滤波器系数群中包含的滤波器系 数的总数)、以及(3)偏移量。
(树块层)
在树块层中,规定了为了对处理对象的树块TBLK(以下,也称 为对象树块)进行解码而活动图像解码装置1参照的数据的集合。
树块TBLK包括树块标题TBLKH和编码单位信息CU1~CUNL (NL是在树块TBLK中包含的编码单位信息的总数)。这里,首先, 说明树块TBLK和编码单位信息CU的关系,则如下所述。
树块TBLK分割为用于确定用于内部预测或者外部(Inter)预测、 以及变换的各处理的块尺寸的单元。
树块TBLK的上述单元通过递归的4叉树分割而分割。以下,将 通过该递归的4叉树分割而获得的树结构称为编码树(coding tree)。
以下,将与作为编码树的末端的节点的叶(leaf)对应的单元参照 作为编码节点(coding node)。此外,由于编码节点成为编码处理的基 本的单位,所以以下也将编码节点称为编码单位(CU)。
即,编码单位信息CU1~CUNL是与将树块TBLK递归地进行4叉 树分割而获得的各编码节点(编码单位)对应的信息。
此外,编码树的根(root)与树块TBLK建立对应。换言之,树块 TBLK与递归地包括多个编码节点的4叉树分割的树结构的最上位节 点建立对应。
另外,各编码节点的尺寸为,该编码节点直接所属的编码节点(即, 该编码节点的上位1层次的节点的单元)的尺寸的纵横都是一半。
此外,各编码节点能够取的尺寸依赖于在编码数据#1的序列参 数集SPS中包含的、编码节点的尺寸指定信息以及最大层次深度 (maximum hierarchical depth)。例如,在树块TBLK的尺寸为64×64 像素且最大层次深度为3的情况下,该树块TBLK以下的层次中的编 码节点能够取4种尺寸,即64×64像素、32×32像素、16×16像素、 以及8×8像素中的任一个。
(树块标题)
在树块标题TBLKH中,包括为了决定对象树块的解码方法而活 动图像解码装置1参照的编码参数。具体而言,如图2的(c)所示, 指定对于对象树块的各CU的分割模式的树块分割信息SP_TBLK以 及指定量化步长的大小的量化参数差分Δqp(qp_delta)。
树块分割信息SP_TBLK是表示用于分割树块的编码树的信息, 具体而言,是指定在对象树块中包含的各CU的形状、尺寸、以及对象 树块内的位置的信息。
另外,树块分割信息SP_TBLK也可以不显式地包括CU的形状 或尺寸。例如,树块分割信息SP_TBLK也可以是表示是否对对象树 块整体或者树块的部分区域进行四分割的标记(split_coding_unit_flag) 的集合。此时,能够通过并用树块的形状或尺寸而确定各CU的形状或 尺寸。
此外,量化参数差分Δqp是对象树块中的量化参数qp和紧接着 在该对象树块之前编码的树块中的量化参数qp’的差分qp-qp’。
(CU层)
在CU层中,规定了为了对处理对象的CU(以下,也称为对象CU)进行解码而活动图像解码装置1参照的数据的集合。
这里,在说明在编码单位信息CU中包含的数据的具体的内容之 前,说明在CU中包含的数据的树结构。编码节点成为预测树(prediction tree;PT)以及变换树(transformtree;TT)的根的节点。说明预测树 以及变换树,则如下所述。
在预测树中,编码节点分割为一个或者多个预测块,规定各预测 块的位置和尺寸。若用其他的表现来说,则预测块是构成编码节点的 一个或者多个不重复的区域。此外,预测树包括通过上述的分割而获 得的一个或者多个预测块。
预测处理对该每个预测块进行。以下,也将作为预测的单位的预 测块称为预测单位(prediction unit;PU)。
大致而言,预测树中的分割的种类有内部预测的情况下和外部预 测的情况下的两种。
在内部预测的情况下,分割方法有2N×2N(与编码节点相同尺寸) 和N×N。
此外,在外部预测的情况下,分割方法有2N×2N(与编码节点相 同尺寸)、2N×N、N×2N、以及N×N等。
此外,在变换树中,编码节点分割为一个或者多个变换块,规定 各变换块的位置和尺寸。若用其他的表现来说,则变换块是构成编码 节点的一个或者多个不重复的区域。此外,变换树包括通过上述的分 割而获得的一个或者多个变换块。
变换处理对该每个变换块进行。以下,也将作为变换的单位的变 换块称为变换单位(transform unit;TU)。TU的尺寸由变换块的横宽 的对数log2TrafoWidth和纵宽的对数值log2TrafoHeight表示。此外, TU的尺寸还由通过以下式而获得的值log2TrafoSize表示。
log2TrafoSize=(log2TrafoWidth+log2TrafoHeight)>>1
以下,将具有横宽W×纵宽H的尺寸的TU称为W×HTU(例: 4×4TU)。
(编码单位信息的数据结构)
接着,参照图2的(d)说明在编码单位信息CU中包含的数据的 具体的内容。如图2的(d)所示,编码单位信息CU具体包括跳过(skip) 模式标记SKIP、CU预测类型信息Pred_type、PT信息PTI、以及TT 信息TTI。
[跳过标记]
跳过标记SKIP是表示对对象CU是否应用了跳过模式的标记,在 跳过标记SKIP的值为1的情况下,即对对象CU应用了跳过模式的情 况下,该编码单位信息CU中的PT信息PTI被省略。另外,跳过标记 SKIP在I片段中被省略。
[CU预测类型信息]
CU预测类型信息Pred_type包括CU预测方式信息PredMode以 及PU分割类型信息PartMode。有时也将CU预测类型信息简称为预测 类型信息。
CU预测方式信息PredMode是指定使用内部预测(内部CU)以 及外部预测(外部CU)中的哪一个作为关于在对象CU中包含的各PU 的预测图像生成方法的信息。另外,以下,将对象CU中的跳过、内部 预测、以及外部预测的类别称为CU预测模式。
PU分割类型信息PartMode是指定作为对象编码单位(CU)向各PU的分割的模式的PU分割类型的信息。以下,将这样根据PU分割 类型而将对象编码单位(CU)向各PU分割的情况称为PU分割。
例示性地,PU分割类型信息PartMode既可以是表示PU分割模 式的种类的索引,也可以指定在对象预测树中包含的各PU的形状、尺 寸、以及对象预测树内的位置。
另外,能够选择的PU分割类型根据CU预测方式和CU尺寸而不 同。此外,进一步而言,能够选择的PU分割类型在外部预测以及内部 预测的情况下分别不同。此外,关于PU分割类型的细节,在后面叙述。
[PT信息]
PT信息PTI是与在对象CU中包含的PT有关的信息。换言之, PT信息PTI是与在PT中包含的一个或者多个PU分别有关的信息的集 合。如上所述,由于预测图像的生成以PU为单位进行,所以PT信息 PTI在由活动图像解码装置1生成预测图像时参照。如图2的(d)所 示,PT信息PTI包括包含各PU中的预测信息等的PU信息PUI1~PUINP (NP是在对象PT中包含的PU的总数)。
预测信息PUI根据预测类型信息Pred_mode指定哪个预测方法而 包括内部预测参数PP_Intra或者外部预测参数PP_Inter。以下,也将 应用内部预测的PU称为内部PU,也将应用外部预测的PU称为外部 PU。
外部预测参数PP_Inter包括活动图像解码装置1通过外部预测而 生成外部预测图像时参照的编码参数。
作为外部预测参数PP_Inter,例如举出合并标记(merge_flag)、 合并索引(merge_idx)、估计动作矢量索引(mvp_idx)、参照图像 索引(ref_idx)、外部预测标记(inter_pred_flag)以及动作矢量残 差(mvd)。
内部预测参数PP_Intra包括活动图像解码装置1通过内部预测而 生成内部预测图像时参照的编码参数。
作为内部预测参数PP_Intra,例如举出估计预测模式标记、估计 预测模式索引以及剩余预测模式索引。
另外,在内部预测参数中,也可以包括表示是否使用PCM模式的 PCM模式标记。在PCM模式标记被编码的情况下,在PCM模式标记 表示使用PCM模式时,预测处理(内部)、变换处理以及熵编码的各 处理被省略。
[TT信息]
TT信息TTI是与在CU中包含的TT有关的信息。换言之,TT信 息TTI是与在TT中包含的一个或者多个TU分别有关的信息的集合, 在由活动图像解码装置1解码残差数据时参照。另外,以下,有时也 将TU称为块。
如图2的(d)所示,TT信息TTI包括指定对象CU向各变换块 的分割模式的TT分割信息SP_TU以及TU信息TUI1~TUINT(NT是 在对象CU中包含的块的总数)。
具体而言,TT分割信息SP_TU是用于决定在对象CU中包含的 各TU的形状、尺寸以及对象CU内的位置的信息。例如,TT分割信 息SP_TU能够由表示是否进行成为对象的节点的分割的信息 (split_transform_flag)和表示其分割的深度的信息(trafoDepth)实现。
此外,例如,在CU的尺寸为64×64的情况下,通过分割而获得 的各TU能够取32×32像素至4×4像素的尺寸。
TU信息TUI1~TUINT是与在TT中包含的一个或者多个TU分别 有关的专用的信息。例如,TU信息TUI包括量化预测残差(也称为量 化残差)。
各量化预测残差是活动图像编码装置2通过对作为处理对象的块 的对象块实施以下的处理1~3而生成的编码数据。
处理1:对从编码对象图像减去预测图像的预测残差进行频率变 换(例如,DCT变换(Discrete Cosine Transform,离散余弦变换));
处理2:对通过处理1而获得的变换系数进行量化;
处理3:对通过处理2而量化的变换系数进行可变长编码;
另外,上述的量化参数qp表示在活动图像编码装置2对变换系数 进行量化时使用的量化步长QP的大小(QP=2qp/6)。
(PU分割类型)
在PU分割类型中,若将对象CU的尺寸设为2N×2N像素,则存 在以下的合计8种模式。即,2N×2N像素、2N×N像素、N×2N像 素以及N×N像素的4个对称的分割(symmetricsplittings)、以及2N ×nU像素、2N×nD像素、nL×2N像素以及nR×2N像素的4个不对 称的分割(asymmetric splittings)。另外,意味着N=2m(m为1以上 的任意的整数)。以下,也将对称CU分割而获得的区域称为分区。
在图3的(a)~(h)中,关于各个分割类型,具体地图示CU 中的PU分割的边界的位置。
图3的(a)表示不进行CU的分割的2N×2N的PU分割类型。 此外,图3的(b)、(c)以及(d)分别表示PU分割类型为2N×N、 2N×nU以及2N×nD的情况下的分区的形状。此外,图3的(e)、 (f)以及(g)分别表示PU分割类型为N×2N、nL×2N以及nR×2N 的情况下的分区的形状。此外,图3的(h)表示PU分割类型为N×N 的情况下的分区的形状。
将图3的(a)以及(h)的PU分割类型,基于其分区的形状,也 称为正方形分割。此外,图3的(b)~(g)的PU分割类型也称为非 正方形分割。
此外,在图3的(a)~(h)中,对各区域附加的号码表示区域 的识别号,按照该识别号顺序对区域进行处理。即,该识别还表示区 域的扫描顺序。
[在外部预测的情况下的分割类型]
在外部PU中,定义了在上述8种分割类型中除了N×N(图3的 (h))以外的7种。另外,上述6个不对称的分割有时也称为AMP (Asymmetric Motion Partition,不对称运动分割)。
此外,N的具体的值由该PU所属的CU的尺寸而规定,nU、nD、 nL以及nR的具体的值根据N的值而确定。例如,128×128像素的外 部CU能够向128×128像素、128×64像素、64×128像素、64×64 像素、128×32像素、128×96像素、32×128像素以及96×128像素 的外部PU进行分割。
[在内部预测的情况下的分割类型]
在内部PU中,定义了以下的2种分割模式。不分割对象CU的、 即对象CU本身作为一个PU而被处理的分割模式2N×2N、以及将对 象CU向4个PU对称地分割的模式N×N。
因此,在内部PU中,以图3所示的例来说,能够取(a)以及(h) 的分割模式。
例如,128×128像素的内部CU能够向128×128像素以及64× 64像素的内部PU进行分割。
(TU分割类型)
接着,使用图3(i)~(o)说明TU分割类型。TU分割的模式 由CU的尺寸、分割的深度(trafoDepth)以及对象PU的PU分割类型 而确定。
此外,在TU分割的模式中,包括正方形的4叉树分割和非正方 形的4叉树分割。
图3的(i)~(k)表示将正方形的节点以正方形或者非正方形 进行4叉树分割的分割方式。更具体而言,图3的(i)表示将正方形 的节点以正方形进行4叉树分割的分割方式。此外,同图的(j)表示 将正方形的节点以横长的长方形进行4叉树分割的分割方式。并且,同图的(k)表示将正方形的节点以纵长的长方形进行4叉树分割的分 割方式。
此外,图3的(l)~(o)表示将非正方形的节点以正方形或者 非正方形进行4叉树分割的分割方式。更具体而言,图3的(l)表示 将横长的长方形的节点以横长的长方形进行4叉树分割的分割方式。 此外,同图的(m)表示将横长的长方形的节点以正方形进行4叉树分 割的分割方式。此外,同图的(n)表示将纵长的长方形的节点以纵长 的长方形进行4叉树分割的分割方式。并且,同图的(o)表示将纵长 的长方形的节点以正方形进行4叉树分割的分割方式。
(量化残差信息QD的结构)
量化残差信息QD也可以包括最后的非0变换系数的位置、子块 内的非0变换系数的有无、各位置中的非0变换系数的有无、变换系 数的等级、符号等的信息。
例如,量化残差信息QD也可以是包括语法last_significant_coeff_x、 last_significant_coeff_y、significant_coeff_group_flag、 significant_coeff_flag、coeff_abs_level_greater1_flag、 coeff_abs_level_greater2_flag、coeff_sign_flag、coeff_abs_level_remaining的结构。
变换系数从低频侧向高频侧进行顺序扫描。有时也将该扫描顺序 称为正扫描。另一方面,也使用与正扫描相反地从高频侧向低频侧的 扫描。有时也将该扫描顺序称为逆扫描。
语法last_significant_coeff_x及last_significant_coeff_y是沿着正扫 描方向表示最后的非0变换系数的位置的语法。另外,也可以将各语 法进一步分为prefix和suffix而进行编码。也可以使用末尾系数位置的 前缀last_significant_coeff_x_prefix、last_significant_coeff_y_prefix和末 尾系数位置的后缀last_significant_coeff_x_suffix、 last_significant_coeff_y_suffix而导出末尾系数位置。
语法significant_coeff_flag是关于以非0变换系数为起点沿着逆扫 描方向的各频率成分,表示有无非0变换系数的语法。语法 significant_coeff_flag是关于各xC,yC,若变换系数为0则取0、若变 换系数不为0则取1的标记。另外,也将语法significant_coeff_flag称 为有无变换系数标记或者简称为有无系数标记。另外,也可以将significant_coeff_flag作为独立的语法来处理,设为包括在表示变换系 数的绝对值的语法(例如,coeff_abs_level)中。此时,语法coeff_abs_level 的第1比特相当于significant_coeff_flag,导出以下的 significant_coeff_flag的上下文索引的处理相当于导出语法 coeff_abs_level的第1比特的上下文索引的处理。
活动图像解码装置1具有的可变长码解码部11(后述)将变换块 分割为多个子块,以子块作为处理单位,进行 significant_coeff_group_flag的解码。在量化残差信息QD中,包括以子 块单位表示在子块内是否存在至少一个非0变换系数的标记(有无子 块系数标记significant_coeff_group_flag)。
以下,参照图4~图6说明解码处理的概要。
首先,使用图4说明子块分割的例。图4是表示块和子块的关系 的图。图4(a)表示4×4TU由以4×4成分而成的1个子块构成的例。 图4(b)表示8×8TU由以4×4成分而成的4个子块构成的例。图4 (c)表示16×16TU由以4×4成分而成的16个子块构成的例。另外, TU尺寸和子块尺寸的关系以及分割方法并不限定于这个例。
图5(a)是表示对于将块进行分割而获得的多个(图5(a)中为 4×4=16个)子块的扫描顺序的图。以下,也将以子块为单位的扫描 称为子块扫描。在对子块如图5(a)所示那样进行扫描的情况下,对 子块内的各频域按照图5(b)所示的扫描顺序进行扫描。也将图5(a) 及图5(b)所示的扫描顺序称为“正扫描”。
图5(c)是表示对于将块进行分割而获得的多个(图5(b)中为 4×4=16个)子块的扫描顺序的图。在对子块如图5(c)所示那样进 行扫描的情况下,对子块内的各频域按照图5(d)所示的扫描顺序进 行扫描。也将图5(c)及图5(d)所示的扫描顺序称为“逆扫描”。
图6(a)~(f)的横轴表示水平方向频率xC(0≤xC≤7),纵 轴表示垂直方向频率yC(0≤yC≤7)。在以下的说明中,也将在频域 中包含的各部分区域中由水平方向频率xC以及垂直方向频率yC所指 定的部分区域称为频率成分(xC,yC)。此外,也将关于频率成分(xC,yC)的变换系数书写为Coeff(xC,yC)。变换系数Coeff(0,0)表 示DC成分,除此之外的变换系数表示DC成分以外的成分。在本说明 书中,有时也将(xC,yC)书写为(u,v)。
图6(a)是表示在TU尺寸为8×8的块分割为4×4的尺寸的子 块的情况下,各频率成分通过正扫描而被扫描的情况下的扫描顺序的 图。
图6(b)是例示由8×8的频率成分构成的频域中的非0的变换系 数(非0变换系数)的图。在图6(b)所示的例的情况下, last_significant_coeff_x=6、last_significant_coeff_y=0。
图6(c)是表示对在解码对象的变换系数为图6(b)所示的情况 下的各子块进行了解码的有无子块系数标记 significant_coeff_group_flag的各值的图。与包括至少一个非0变换系 数的子块有关的significant_coeff_group_flag作为值而取1,与一个也 不包括非0变换系数的子块有关的significant_coeff_group_flag作为值 而取0。
图6(d)是示出表示在解码对象的变换系数为图6(b)所示的情 况下的非0变换系数的有无的语法significant_coeff_flag的各值的图。 对于作为significant_coeff_group_flag=1的子块,significant_coeff_flag 按照逆扫描顺序进行解码,对于作为significant_coeff_group_flag=0的 子块,不进行对于该子块的significant_coeff_flag的解码处理,对于在 该子块中包含的全部频率成分的significant_coeff_flag设定为0(图6 (d)的左下的子块)。
图6(e)表示通过对在解码对象的变换系数为图6(b)所示的情 况下的语法coeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag 以及coeff_abs_level_remaining进行解码而获得的各变换系数的绝对 值。
图6(f)是表示在解码对象的变换系数为图6(b)所示的情况下 的语法coeff_sign_flag的图。
表示各变换系数的值的语法coeff_abs_level_greater1_flag、 coeff_abs_level_greater2_flag以及coeff_abs_level_remaining的解码根 据模式(高吞吐量模式)而变化。在子块的开始时,高吞吐量模式关 闭(OFF),在子块内的非0变换系数的数目成为预定的常数以上的时 刻,高吞吐量模式打开(ON)。在高吞吐量模式中,跳过一部分语法 的解码。
语法coeff_abs_level_greater1_flag是表示变换系数的绝对值是否 超过1的标记,对语法significant_coeff_flag的值为1的频率成分进行 编码。在变换系数的绝对值超过1时,coeff_abs_level_greater1_flag的 值为1,否则coeff_abs_level_greater1_flag的值为0。另外, coeff_abs_level_greater1_flag的解码在高吞吐量模式的情况下被跳过。
语法coeff_abs_level_greater2_flag是表示变换系数的绝对值是否 超过2的标记,在coeff_abs_level_greater1_flag的值为1时进行编码。 在变换系数的绝对值超过2时,coeff_abs_level_greater2_flag的值为1, 否则coeff_abs_level_greater2_flag的值为0。另外, coeff_abs_level_greater2_flag的解码在各子块中第1次以后以及在高吞吐量模式的情况下被跳过。
语法coeff_abs_level_remaining是在变换系数的绝对值为预定的基 础等级baseLevel的情况下,用于指定该变换系数的绝对值的语法,在 coeff_abs_level_greater1_flag的解码被跳过的情况下, coeff_abs_level_greater2_flag被跳过,在coeff_abs_level_greater1_flag 为1的情况下,在coeff_abs_level_greater2_flag的值为1时,进行编码。 语法coeff_abs_level_remaining的值是从变换系数的绝对值减去baseLevel的值。例如,coeff_abs_level_remaining=1表示变换系数的 绝对值为baseLevel+1。另外,baseLevel如以下定义。
baseLevel=1(在coeff_abs_level_greater1_flag的解码被跳过 的情况下)
baseLevel=2(除了上述以外,在coeff_abs_level_greater2_flag 的解码被跳过的情况下)
baseLevel=3(除了上述以外,在coeff_abs_level_greater2_flag 为1的情况下)
语法coeff_sign_flag是表示变换系数的符号(是正还是负)的标 记,除了进行符号隐匿(sign hiding)的情况之外,对语法 significant_coeff_flag的值为1的频率成分进行编码。语法 coeff_sign_flag在变换系数为正的情况下取1,在变换系数为负的情况下取0。
另外,符号隐匿是指,不使变换系数的符号显式地编码,而是通 过计算而算出的方法。
活动图像解码装置1具有的可变长码解码部11能够通过对语法 last_significant_coeff_x、last_significant_coeff_y、significant_coeff_flag、 coeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、 coeff_sign_flag、coeff_abs_level_remaining进行解码,生成关于各频率 成分的变换系数Coeff(xC,yC)。
另外,有时也将特定的区域(例如TU)内的非0变换系数的集合 称为有效图(significance map)。
关于各种语法的解码处理的细节在后面叙述,接着,说明活动图 像解码装置1的结构。
〔活动图像解码装置1〕
以下,参照图1、图7~图26说明本实施方式的活动图像解码装 置1。活动图像解码装置1是安装了在作为H.264/MPEG-4AVC规格的 后继编解码器的HEVC(High-EfficiencyVideo Coding,高效视频编码) 中提案的技术的解码装置。
图7是表示活动图像解码装置1的结构的框图。如图7所示,活 动图像解码装置1包括可变长码解码部11、预测图像生成部12、逆量 化/逆变换部13、加法器14、帧存储器15以及环路滤波器16。此外, 如图7所示,预测图像生成部12包括动作矢量复原部12a、外部预测图像生成部12b、内部预测图像生成部12c、以及预测方式决定部12d。 活动图像解码装置1是用于通过对编码数据#1进行解码而生成活动图 像#2的装置。
(可变长码解码部11)
图8是表示可变长码解码部11的主要部分结构的框图。如图8所 示,可变长码解码部11包括量化残差信息解码部111、预测参数解码 部112、预测类型信息解码部113以及滤波器参数解码部114。
可变长码解码部11通过预测参数解码部112从编码数据#1解码 与各分区有关的预测参数PP,并提供给预测图像生成部12。具体而言, 预测参数解码部112关于外部预测分区,从编码数据#1解码参照图像 索引、估计动作矢量索引以及包括动作矢量残差的外部预测参数PP_ Inter,并将这些提供给动作矢量复原部12a。另一方面,关于内部预测 分区,从编码数据#1解码估计预测模式标记、估计预测模式索引以及 包括剩余预测模式索引的内部预测参数PP_Intra,并将这些提供给内 部预测图像生成部12c。
此外,可变长码解码部11通过预测类型信息解码部113,从编码 数据#1解码关于各分区的预测类型信息Pred_type,并将其提供给预 测方式决定部12d。进一步,可变长码解码部11通过量化残差信息解 码部111,从编码数据#1解码与块有关的量化残差信息QD以及与包 括该块的TU有关的量化参数差分Δqp,并将这些提供给逆量化/逆变 换部13。此外,可变长码解码部11通过滤波器参数解码部114,从编 码数据#1解码滤波器参数FP,并将其提供给环路滤波器16。另外, 由于量化残差信息解码部111的具体的结构在后面叙述,所以在这里 省略说明。
(预测图像生成部12)
预测图像生成部12基于关于各分区的预测类型信息Pred_type, 识别各分区是应进行外部预测的外部预测分区还是应进行内部预测的 内部预测分区。并且,在前者的情况下,生成外部预测图像Pred_Inter 的同时,将所生成的外部预测图像Pred_Inter作为预测图像Pred而提 供给加法器14,在后者的情况下,生成内部预测图像Pred_Intra的同时,将所生成的内部预测图像Pred_Intra提供给加法器14。另外,预 测图像生成部12在对处理对象PU应用跳过模式的情况下,省略属于 该PU的其他的参数的解码。
(动作矢量复原部12a)
动作矢量复原部12a将与各外部预测分区有关的动作矢量mv,从 与其分区有关的动作矢量残差和与其他的分区有关的复原完毕的动作 矢量mv’复原。具体而言,(1)根据通过估计动作矢量索引而指定 的估计方法,从复原完毕的动作矢量mv’导出估计动作矢量,(2) 通过将导出的估计动作矢量和动作矢量残差相加而获得动作矢量mv。 另外,与其他的分区有关的复原完毕的动作矢量mv’能够从帧存储器 15读出。动作矢量复原部12a将复原的动作矢量mv与对应的参照图 像索引RI一同提供给外部预测图像生成部12b。
(外部预测图像生成部12b)
外部预测图像生成部12b根据画面间预测,生成与各外部预测分 区有关的动作补偿图像mc。具体而言,使用从动作矢量复原部12a提 供的动作矢量mv,从由同样从动作矢量复原部12a提供的参照图像索 引RI所指定的自适应滤波完毕解码图像P_ALF’生成动作补偿图像 mc。这里,自适应滤波完毕解码图像P_ALF’是通过对已经完成了帧 整体的解码的解码完毕的解码图像实施环路滤波器16的滤波器处理而 获得的图像,外部预测图像生成部12b能够从帧存储器15读出构成自 适应滤波完毕解码图像P_ALF’的各像素的像素值。由外部预测图像 生成部12b所生成的动作补偿图像mc作为外部预测图像Pred_Inter 而提供给预测方式决定部12d。
(内部预测图像生成部12c)
内部预测图像生成部12c生成与各内部预测分区有关的预测图像 Pred_Intra。具体而言,首先,基于从可变长码解码部11提供的内部 预测参数PP_Intra而确定预测模式,并将所确定的预测模式对对象分 区例如按照光栅扫描顺序分配。
这里,基于内部预测参数PP_Intra的预测模式的确定能够如下进 行。(1)对估计预测模式标记进行解码,在该估计预测模式标记表示 关于作为处理对象的对象分区的预测模式和对该对象分区的周边的分 区分配的预测模式相同的情况下,对对象分区分配已对该对象分区的 周边的分区分配的预测模式。(2)另一方面,在估计预测模式标记表 示关于作为处理对象的对象分区的预测模式和对该对象分区的周边的 分区分配的预测模式不同的情况下,对剩余预测模式索引进行解码, 对对象分区分配该剩余预测模式索引表示的预测模式。
内部预测图像生成部12c根据对对象分区分配的预测模式表示的 预测方法,通过画面内预测,从(局部)解码图像P生成预测图像Pred _Intra。由内部预测图像生成部12c所生成的内部预测图像Pred_Intra 提供给预测方式决定部12d。另外,内部预测图像生成部12c还能够设 为通过画面内预测,从自适应滤波完毕解码图像P_ALF生成预测图像Pred_Intra的结构。
使用图9说明预测模式的定义。图9表示预测模式的定义。如同 图所示,定义了36种预测模式,各个预测模式由“0”~“35”的号 码(内部预测模式索引)所确定。此外,如图10所示,对各预测模式 分配如下的名称。即,“0”是“Intra_Planar(Planar预测模式、平面 预测模式)”,“1”是“Intra DC(内部DC预测模式)”,“2”~“34” 是“Intra Angular(方向预测)”,“35”是“Intra From Luma”。“35” 是色差预测模式固有的模式,是基于亮度的预测而进行色差的预测的 模式。换言之,色差预测模式“35”是利用了亮度像素值和色差像素 值的相关的预测模式。色差预测模式“35”也称为LM模式。预测模 式数(intraPredModeNum)与对象块的尺寸无关而成为“35”。
(预测方式决定部12d)
预测方式决定部12d基于关于各分区所属的PU的预测类型信息 Pred_type,决定各分区是应进行外部预测的外部预测分区还是应进行 内部预测的内部预测分区。并且,在前者的情况下,将由外部预测图 像生成部12b所生成的外部预测图像Pred_Inter作为预测图像Pred而 提供给加法器14,在后者的情况下,将由内部预测图像生成部12c所 生成的内部预测图像Pred_Intra作为预测图像Pred而提供给加法器 14。
(逆量化/逆变换部13)
逆量化/逆变换部13(1)对从编码数据#1的量化残差信息QD进 行了解码的变换系数Coeff进行逆量化,(2)对通过逆量化而获得的 变换系数Coeff_IQ实施逆DCT(DiscreteCosine Transform)变换等 的逆频率变换,(3)将通过逆频率变换而获得的预测残差D提供给加 法器14。另外,在对从量化残差信息QD进行了解码的变换系数Coeff 进行逆量化时,逆量化/逆变换部13从自可变长码解码部11提供的量 化参数差分Δqp导出量化步长QP。量化参数qp能够通过对与紧接着 进行了逆量化及逆频率变换的TU有关的量化参数qp’加上量化参数 差分Δqp而导出,量化步长QP能够从量化参数qp例如通过QP=2pq/6 而导出。此外,逆量化/逆变换部13的预测残差D的生成以TU或者分 割了TU的块为单位进行。
另外,例如在对象块的尺寸为8×8像素的情况下,若将该对象块 中的像素的位置设为(i,j)(0≤i≤7、0≤j≤7),将位置(i,j)中 的预测残差D的值表示为D(i,j),将频率成分(u,v)(0≤u≤7、 0≤v≤7)中的进行了逆量化的变换系数表示为Coeff_IQ(u,v), 则例如通过以下的数学式(1)提供由逆量化/逆变换部13进行的逆DCT 变换。
[数1]
这里,(u,v)是与上述的(xC,yC)对应的变量。C(u)以及 C(v)如下提供。
·C(u)=1/√2(u=0)
·C(u)=1(u≠0)
·C(v)=1/√2(v=0)
·C(v)=1(v≠0)
(加法器14)
加法器14通过将从预测图像生成部12提供的预测图像Pred和从 逆量化/逆变换部13提供的预测残差D进行相加而生成解码图像P。生 成的解码图像P存储在帧存储器15中。
(环路滤波器16)
环路滤波器16具有如下功能:(1)作为进行解码图像P中的块 边界或者分区边界的周边的图像的平滑化(去块处理)的去块滤波器 (DF:Deblocking Filter)的功能,(2)作为对去块滤波器已作用的图 像,使用滤波器参数FP进行自适应滤波器处理的自适应滤波器(ALF:Adaptive Loop Filter)的功能。
(量化残差信息解码部111的细节)
量化残差信息解码部111是用于从在编码数据#1中包含的量化 残差信息QD解码关于各频率成分(xC,yC)的已量化的变换系数Coeff (xC,yC)的结构。这里,xC以及yC是表示频域中的各频率成分的 位置的索引,是分别与上述的水平方向频率u以及垂直方向频率v对 应的索引。以下,有时也将已量化的变换系数Coeff简称为变换系数 Coeff。
图11是表示量化残差信息解码部111的结构的框图。如图11所 示,量化残差信息解码部111包括变换系数解码部120及算术符号解 码部130。
(算术符号解码部130)
算术符号解码部130是用于将在量化残差信息QD中包含的各比 特参照上下文而解码的结构,如图1所示,包括上下文记录更新部131 及比特解码部132。
[上下文记录更新部131]
上下文记录更新部131是用于对由各上下文索引ctxIdx所管理的 上下文变量CV进行记录及更新的结构。这里,在上下文变量CV中, 包括(1)发生概率高的优势符号MPS(most probable symbol,概率最 大符号)和(2)指定该优势符号MPS的发生概率的概率状态索引 pStateIdx。
上下文记录更新部131通过参照从变换系数解码部120具有的各 部分提供的上下文索引ctxIdx及由比特解码部132所解码的Bin的值 而更新上下文变量CV的同时,将被更新的上下文变量CV记录至下一 次更新为止。另外,优势符号MPS是0或者1。此外,优势符号MPS 和概率状态索引pStateIdx在比特解码部132每次解码一个Bin时被更 新。
此外,上下文索引ctxIdx既可以直接指定关于各频率成分的上下 文,也可以是从对处理对象的每个TU设定的上下文索引的偏移量的增 加值(以下,相同)。
[比特解码部132]
比特解码部132参照在上下文记录更新部131中记录的上下文变 量CV,对在量化残差信息QD中包含的各比特(也称为Bin)进行解 码。此外,将通过解码而获得的Bin的值提供给变换系数解码部120 具有的各部分。此外,通过解码而获得的Bin的值还提供给上下文记录 更新部131,为了更新上下文变量CV而参照。
(变换系数解码部120)
如图1所示,变换系数解码部120包括末尾系数位置解码部121、 扫描顺序表格存储部122、系数解码控制部123、有无系数标记解码部、 系数值解码部125、解码系数存储部126以及有无子块系数标记解码部 127。
[末尾系数位置解码部121]
末尾系数位置解码部121对由比特解码部132提供的解码比特 (Bin)进行解释,对语法last_significant_coeff_x及 last_significant_coeff_y进行解码。解码后的语法last_significant_coeff_x 及last_significant_coeff_y提供给系数解码控制部123。此外,末尾系 数位置解码部121计算用于决定为了通过算术符号解码部130对语法 last_significant_coeff_x及last_significant_coeff_y的Bin进行解码的上 下文的上下文索引ctxIdx。计算出的上下文索引ctxIdx提供给上下文记 录更新部131。
[扫描顺序表格存储部122]
在扫描顺序表格存储部122中,以处理对象的TU(块)的尺寸、 表示扫描方向的类别的扫描索引以及沿着扫描顺序而赋予的频率成分 识别索引作为引数,存储有提供处理对象的频率成分的频域中的位置 的表格。
作为这样的扫描顺序表格的一例,举出ScanOrder。ScanOrder是 用于基于处理对象的TU的横宽的尺寸log2TrafoWidth、处理对象的TU 的纵宽的尺寸log2TrafoHeight、扫描索引scanIdx以及沿着扫描顺序而 赋予的频率成分识别索引n,取得处理对象的频率成分的频域中的位置 (xC,yC)的表格。另外,以下,有时也将处理对象的频率成分的频 域中的位置(xC,yC)简称为系数位置(xC,yC)。
此外,在扫描顺序表格存储部122中存储的表格由与处理对象的 TU(块)的尺寸和内部预测模式的预测模式索引建立关联的扫描索引 scanIdx所指定。在用于处理对象的TU的预测方法为内部预测的情况 下,系数解码控制部123参照由与该TU的尺寸和该TU的预测模式建 立关联的扫描索引scanIdx所指定的表格,决定频率成分的扫描顺序。
图12表示由内部预测模式索引IntraPredMode和指定TU尺寸的 值log2TrafoSize所指定的扫描索引scanIdx的例。在图12中, log2TrafoSize-2=0表示TU尺寸为4×4(与4×4像素对应), log2TrafoSize-2=1表示TU尺寸为8×8(与8×8像素对应)。此外,log2TrafoSize-2=2以及log2TrafoSize-2=3分别表示16×16以及32× 32的TU尺寸。
如图12所示,例如,在TU尺寸为4×4且内部预测模式索引为1 时,使用扫描索引=0,在TU尺寸为4×4且内部预测模式索引为6时, 使用扫描索引=2。
图13(a)表示由扫描索引scanIdx的各值所指定的扫描类型 ScanType。如图13(a)所示,在扫描索引为0时,指定斜向扫描(Up-right diagonal scan),在扫描索引为1时,指定水平方向优先扫描(horizontal fast scan),在扫描索引为2时,指定垂直方向优先扫描(vertical fact scan)。
另外,在CU预测方式信息PredMode为外部预测的情况下,能够 使用TU尺寸而导出扫描索引。在TU尺寸的幅度和高度一致的情况下, TU尺寸使用水平优先以及垂直优先以外的扫描顺序(扫描索引=0)。 在TU尺寸的幅度和高度不一致的情况下,在TU尺寸的幅度大于高度 的情况下,使用水平优先的扫描顺序(扫描索引=1)。另一方面,在 TU尺寸的高度大于幅度的情况下,使用垂直优先的扫描顺序(扫描索 引=2)。
此外,图13(b)~(d)表示在TU尺寸为4×4时的、由扫描索 引scanIdx所指定的各扫描类型(水平方向优先扫描(horizontal fast scan)、垂直方向优先扫描(verticalfast scan)以及、斜向扫描(Up-right diagonal scan))的扫描顺序的一例。此外,图13(b)~(d)所示的 各例表示正扫描方向。图13(b)所示的水平方向优先扫描的特征在于, 以将子块分割为上下一半的小子块单位,向水平方向倾斜而按每1列 扫描系数,适合在水平方向频率成分中系数集中的情况。此外,图13 (c)所示的垂直方向优先扫描的特征在于,以将子块分割为左右一半 的小子块单位,向垂直方向倾斜而按每1列扫描系数,适合在垂直方向频率成分中系数集中的情况。
图14(a)~(c)表示在TU尺寸为8×8且子块尺寸为4×4时 的、由扫描索引scanIdx所指定的各扫描类型的扫描顺序的一例。此外, 图14(a)~(c)所示的各例表示正扫描方向。图14(a)所示的水平 方向优先扫描的特征在于,以将子块分割为上下一半的小子块单位, 向水平方向倾斜而按每1列扫描系数,适合在水平方向频率成分中系 数集中的情况。此外,图14(b)所示的垂直方向优先扫描的特征在于, 以将子块分割为左右一半的小子块单位,向垂直方向倾斜而按每1列 扫描系数,适合在垂直方向频率成分中系数集中的情况。图14(c)所 示的斜向扫描的特征在于,向右上对角线方向扫描系数,适合在系数 的分布中没有特别有方向性的情况。
图15表示TU尺寸为8×8,通过扫描索引scanIdx,子块尺寸不 同的情况下的各扫描顺序的一例。
图15(a)表示TU尺寸为8×8,子块尺寸为8×2时的水平方向 优先扫描的一例。以图15(a)所示的8×2子块(横长的子块)单位, 向水平方向倾斜而按每1列扫描系数的方法适合在水平方向频率成分 中系数集中的情况。
图15(b)表示TU尺寸为8×8,子块尺寸为2×8时的垂直方向 优先扫描的一例。以图15(b)所示的2×8子块(纵长的子块)单位, 向垂直方向倾斜而按每1列扫描系数的方法适合在垂直方向频率成分 中系数集中的情况。
图15(c)表示TU尺寸为8×8,子块尺寸为4×4时的斜向扫描 的一例。
[子块扫描顺序表格]
此外,在扫描顺序表格存储部122中,存储有用于指定子块的扫 描顺序的子块扫描顺序表格。子块扫描顺序表格由与处理对象的TU (块)的尺寸和内部预测模式的预测模式索引(预测方向)建立关联 的扫描索引scanIdx所指定。在用于处理对象的TU的预测方法为内部 预测的情况下,系数解码控制部123参照由与该TU的尺寸和该TU的 预测模式建立关联的扫描索引scanIdx所指定的表格,决定子块的扫描 顺序。
[系数解码控制部123]
系数解码控制部123是用于控制量化残差信息解码部111具有的 各部分中的解码处理的顺序的结构。
具体而言,系数解码控制部123进行基于子块分割或子块扫描顺 序的各子块位置的供给、基于子块内扫描顺序的各频率成分的位置的 供给。
系数解码控制部123根据扫描顺序以及/或者TU尺寸而导出子块 尺寸,并以导出的子块尺寸来分割TU,从而将TU分割为子块。由于 分割的方法如图14以及图15所示,所以在这里省略其说明。
系数解码控制部123参照从末尾系数位置解码部121提供的语法 last_significant_coeff_x及last_significant_coeff_y,确定沿着正扫描的 最后的非0变换系数的位置的同时,按照以包括确定的最后的非0变 换系数的子块的位置为起点的扫描顺序并且是由在扫描顺序表格存储 部122中存储的子块扫描顺序表格所提供的扫描顺序的逆扫描顺序, 将各子块的位置(xCG,yCG)提供给有无子块系数标记解码部127。 此外,系数解码控制部123将与该TU的尺寸和该TU的预测模式建立 关联的扫描索引scanIdx提供给有无系数标记解码部124。
此外,系数解码控制部123关于成为处理对象的子块,按照由在 扫描顺序表格存储部122中存储的扫描顺序表格所提供的扫描顺序的 逆扫描顺序,将在成为该处理对象的子块中包含的各频率成分的位置 (xC,yC)提供给有无系数标记解码部124及解码系数存储部126。 这里,作为在成为处理对象的子块中包含的各频率成分的扫描顺序, 在内部预测的情况下,使用由内部预测模式索引IntraPredMode和指定 TU尺寸的值log2TrafoSize所指定的扫描索引scanIdx表示的扫描顺序 (水平方向优先扫描、垂直方向优先扫描、斜向扫描中的任一个), 在外部预测的情况下,使用斜向扫描(Up-right diagonal scan)即可。
这样,系数解码控制部123是如下结构:在对处理对象的单位区 域(块、TU)应用的预测方式为内部预测的情况下,根据该内部预测 的预测方向,设定子块扫描顺序以及子块内扫描顺序。
一般,由于内部预测模式和变换系数的偏向相互具有相关,所以 通过根据内部预测模式而转换扫描顺序,能够进行适合有无子块系数 标记、有无系数标记的偏向的扫描。由此,由于能够削减成为编码及 解码对象的有无子块系数标记以及有无系数标记的符号量,所以削减 处理量的同时,编码效率提高。
[有无子块系数标记解码部127]
有无子块系数标记解码部127对从比特解码部132提供的各Bin 进行解释,对由各子块位置(xCG,yCG)所指定的语法 significant_coeff_group_flag[xCG][yCG]进行解码。此外,有无子块系数 标记解码部127计算用于决定为了通过算术符号解码部130对语法significant_coeff_group_flag[xCG][yCG]的Bin进行解码的上下文的上 下文索引ctxIdx。计算出的上下文索引ctxIdx提供给上下文记录更新部 131。这里,语法significant_coeff_group_flag[xCG][yCG]是在由子块位 置(xCG,yCG)所指定的子块中包括至少一个非0变换系数的情况下 取1,在一个也不包括非0变换系数的情况下取0的语法。被解码的语 法significant_coeff_group_flag[xCG][yCG]的值存储在解码系数存储部 126中。
另外,关于有无子块系数标记解码部127的更具体的结构,在后 面叙述。
[有无系数标记解码部124]
本实施方式的有无系数标记解码部124对由各系数位置(xC,yC) 所指定的语法significant_coeff_flag[xC][yC]进行解码。被解码的语法 significant_coeff_flag[xC][yC]的值存储在解码系数存储部126中。此外, 有无系数标记解码部124计算用于决定为了通过算术符号解码部130 对语法语法significant_coeff_flag[xC][yC]的Bin进行解码的上下文的上 下文索引ctxIdx。计算出的上下文索引ctxIdx提供给上下文记录更新部131。关于有无系数标记解码部124的具体的结构,在后面叙述。
[系数值解码部125]
系数值解码部125对从比特解码部132提供的各Bin进行解释, 对语法coeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、 coeff_sign_flag以及coeff_abs_level_remaining进行解码的同时,基于 对这些语法进行了解码的结果,导出处理对象的频率成分中的变换系 数(更具体而言,非0变换系数)的值。此外,用于各种语法的解码的上下文索引ctxIdx提供给上下文记录更新部131。导出的变换系数的 值存储在解码系数存储部126中。
[解码系数存储部126]
解码系数存储部126是用于存储由系数值解码部125所解码的变 换系数的各值的结构。此外,在解码系数存储部126中,存储有由有 无系数标记解码部124所解码的语法significant_coeff_flag的各值。由 解码系数存储部126所存储的变换系数的各值提供给逆量化/逆变换部 13。
(有无子块系数标记解码部127的结构例)
以下,参照图16,说明有无子块系数标记解码部127的具体的结 构例。
图16是表示有无子块系数标记解码部127的结构例的框图。如图 16所示,有无子块系数标记解码部127包括有无子块系数标记上下文 导出部127a、有无子块系数标记存储部127b以及有无子块系数标记设 定部127c。
以下,举从系数解码控制部123对有无子块系数标记解码部127 按照逆扫描顺序提供子块位置(xCG,yCG)为例进行说明。另外,此 时,在与有无子块系数标记解码部127对应的编码装置侧的结构中, 按照正扫描顺序提供子块位置(xCG,yCG)。
(有无子块系数标记上下文导出部127a)
有无子块系数标记解码部127具有的有无子块系数标记上下文导 出部127a导出对由各子块位置(xCG,yCG)所指定的子块分配的上 下文索引。对子块分配的上下文索引在对表示关于该子块的语法 significant_coeff_group_flag的Bin进行解码时使用。此外,在导出上 下文索引时,参照在有无子块系数标记存储部127b中存储的解码完毕 的有无子块系数标记的值。有无子块系数标记上下文导出部127a将导 出的上下文索引提供给上下文记录更新部131。
在对子块分配的上下文索引的导出中,参照在子块位置(xCG, yCG)的右侧相邻的子块(xCG+1,yCG)(参照图17(b))的有无 子块系数标记和位于子块位置(xCG,yCG)的下方的子块(xCG,yCG +1)(参照图17(a))的有无子块系数标记。
即,具体而言,对子块分配的上下文索引使用子块位置(xCG, yCG)以及在有无子块系数标记存储部127b中存储的解码完毕的有无 子块系数标记的值而导出。
更详细而言,上下文索引参照对在子块位置(xCG,yCG)的右侧 相邻的子块(xCG+1,yCG)进行了解码的解码完毕有无子块系数标 记significant_coeff_group_flag[xCG+1][yCG]的值和对位于子块位置 (xCG,yCG)的下方的子块(xCG,yCG+1)进行了解码的解码完 毕有无子块系数标记siginificant_coeff_group_flag[xCG][yCG+1]的值, 如下设定。
ctxIdx=ctxIdxOffset+Min((significant_coeff_group_flag[xCG+1][yC G]+significant_coeff_group_flag[xCG][yCG+1]),1)
另外,初始值ctxIdxOffset由表示色空间的cIdx所确定。另外, 在不存在位于(xCG+1,yCG)或者(xCG,yCG+1)的解码完毕子 块的情况下,将位于(xCG+1、yCG)或者(xCG,yCG+1)的有无 子块系数标记的值作为零来处理。
(有无子块系数标记存储部127b)
在有无子块系数标记存储部127b中,存储有由有无子块系数标记 设定部127c所解码或者设定的语法significant_coeff_group_flag的各值。 有无子块系数标记设定部127c能够从有无子块系数标记存储部127b 读出对相邻子块分配的语法significant_coeff_group_flag。
(有无子块系数标记设定部127c)
有无子块系数标记设定部127c对从比特解码部132提供的各Bin 进行解释,对语法significant_coeff_group_flag[xCG][yCG]进行解码或 者设定。更具体而言,有无子块系数标记设定部127c参照子块位置 (xCG,yCG)以及对与由子块位置(xCG,yCG)所指定的子块相邻 的子块(也称为相邻子块)分配的语法significant_coeff_group_flag, 对语法significant_coeff_group_flag[xCG][yCG]进行解码或者设定。此 外,进行了解码或者设定的语法 significant_coeff_group_flag[xCG][yCG]的值提供给有无系数标记解码 部124。
如图17(c)所示,有无子块系数标记设定部127c参照对与子块 (xCG,yCG)相邻的子块(xCG+1、yCG)分配的有无子块系数标 记significant_coeff_group_flag[xCG+1][yCG]的值和对子块(xCG,yCG +1)分配的有无子块系数标记 significant_coeff_group_flag[xCG][yCG+1]的值,导出用于对有无子块系 数标记significant_coeff_group_flag[xCG][yCG+1]进行解码而使用的上 下文索引。
另外,由于在有无子块系数标记成为0的块中,有无系数标记解 码部124能够跳过有无系数标记significant_coeff_flag的解码,所以解 码处理被简化。
使用图18,若具体例示则成为如下。在变换系数如图18(a)所 示那样分布的情况下,对各个子块分配的有无子块系数标记成为如图 18(b)所示。即,在4×4的子块中,在第1行的子块中存在非0变 换系数,但在第2行以后的子块中不存在非0变换系数。
因此,在图18(b)所示的例中,有无系数标记解码部124在第2 行以后的子块的解码中,能够跳过有无系数标记significant_coeff_flag 的解码。
<<有无系数标记解码部124的结构例>>
以下,参照图1说明有无系数标记解码部124的详细的结构。图 1是表示有无系数标记解码部124的结构例的框图。有无系数标记解码 部124包括TU尺寸判定部124a、位置上下文导出部124b、有无相邻 子块系数上下文导出部124c以及有无系数标记设定部124e。
(TU尺寸判定部124a)
在TU尺寸判定部124a中,被输入处理对象的频率成分的位置(xC, yC)和变换块的对数值(log2TrafoWidth、log2TrafoHeight)。根据对 数值的尺寸,分别通过(1<<log2TrafoWidth)和(1<<log2TrafoHeight)而计 算频域的宽度width和高度height,能够获得TU尺寸。另外,也可以 直接输入频域的宽度和高度而不是对数值的尺寸。
TU尺寸判定部124a根据成为对象的TU尺寸,选择位置上下文 导出部124b或者有无相邻子块系数上下文导出部124c。在所选择的各 上下文导出部中,导出上下文索引ctxIdx。
例如,在TU尺寸为预定的尺寸以下的情况下(例如,4×4TU的 情况下),TU尺寸判定部124a选择位置上下文导出部124b。
对应于此,位置上下文导出部124b导出上下文索引ctxIdx,将所 导出的上下文索引分配给该解码对象的频率成分。
另一方面,在成为对象的TU尺寸大于预定的尺寸的情况下(例 如,8×8TU、16×16TU、32×32TU的情况下等),TU尺寸判定部 124a选择有无相邻子块系数上下文导出部124c。
对应于此,有无相邻子块系数上下文导出部124c导出上下文索引 ctxIdx,将所导出的上下文索引分配给该解码对象的频率成分。
另外,并不限定于上述,TU尺寸判定部124a也可以是关于直至 4×4TU~32×32TU为止的TU尺寸,执行共同的上下文索引ctxIdx导 出处理的结构。即,TU尺寸判定部124a也可以是与TU的尺寸无关地, 固定地选择位置上下文导出部124b以及有无相邻子块系数上下文导出 部124c中的任一个的结构。
(位置上下文导出部124b)
位置上下文导出部124b将对于对象频率成分的上下文索引 ctxIdx,基于频域中的该对象频率成分的位置(xC,yC)而导出。另外, 在导出与频率成分的位置无关地成为固定值的上下文索引ctxIdx的情 况下,也可以在位置上下文导出部124b中进行该导出处理。
(有无相邻子块系数上下文导出部124c)
有无相邻子块系数上下文导出部124c根据在相邻子块中是否有非0变换系数,选择上下文导出模式,并通过所选择的导出模式,从处理 对象的频率成分的子块内的坐标导出对于解码对象的频率成分的上下 文索引。关于其详细的实施例,在后面叙述。
(有无系数标记设定部124e)
有无系数标记设定部124e对从比特解码部132提供的各Bin进行 解释,设定语法significant_coeff_flag[xC][yC]。所设定的语法 significant_coeff_flag[xC][yC]提供给解码系数存储部126。
有无系数标记设定部124e在对象频域分割为子块的情况下,参照 对对象子块分配的语法significant_coeff_group_flag[xCG][yCG],在 significant_coeff_group_flag[xCG][yCG]的值为0的情况下,将关于在该 对象子块中包含的全部频率成分的significant_coeff_flag[xC][yC]设定 为0。
<<实施例:上下文索引的变化抑制>>
以下,说明有无相邻子块系数上下文导出部124c的具体的实施例。
具体而言,有无相邻子块系数上下文导出部124c如下导出上下文 索引sigCtx。
首先,有无相邻子块上下文导出部124c参照图17(b)所示的右 相邻子块以及图17(a)所示的下相邻子块,通过以下式(A),从各 个相邻子块中的有无子块系数标记求出作为确定上下文导出模式的索 引的模式索引idxCG。
idxCG=significant_coeff_group_flag[xCG+1][yCG]+(significant_coe ff_group_flag[xCG][yCG+1]<<1)…(A)
在上述式(A)中,如上所述,significant_coeff_group_flag是表示 在子块内是否存在至少一个非0变换系数的标记。在子块内存在至少 一个非0变换系数的情况下,significant_coeff_group_flag的值为“1”, 在不存在的情况下,significant_coeff_group_flag的值为“0”。
significant_coeff_group_flag[xCG+1][yCG]表示对子块位置(xCG, yCG)的右侧相邻的子块(xCG+1,yCG)进行了解码的解码完毕有 无子块系数标记的值,siginificant_coeff_group_flag[xCG][yCG+1]表示 对位于子块位置(xCG,yCG)的下方的子块(xCG,yCG+1)进行 了解码的解码完毕有无子块系数标记的值。
通过上述式(A),模式索引idxCG在下述的模式0~3中分别取 0~3的值。
(模式0)在右相邻子块(xCG+1,yCG)以及下相邻子块(xCG, yCG+1)的任一个中有无子块系数标记的值都为0的情况。
(模式1)在右相邻子块(xCG+1,yCG)中有无子块系数标记 的值为1且在下相邻子块(xCG,yCG+1)中有无子块系数标记的值 为0的情况。
(模式2)在右相邻子块(xCG+1,yCG)中有无子块系数标记 的值为0且在下相邻子块(xCG,yCG+1)中有无子块系数标记的值 为1的情况。
(模式3)在右相邻子块(xCG+1,yCG)以及下相邻子块(xCG, yCG+1)的双方中有无子块系数标记的值为1的情况。
接着,有无相邻子块系数上下文导出部124c根据通过上述式(A) 求出的模式索引idxCG,从处理对象的频率成分的子块内的坐标(xB, yB)导出对于解码对象的频率成分的上下文索引。
另外,子块内的坐标(xB,yB)能够使用TU中的系数位置(xC,yC)以及子块位置(xCG,yCG)而导出。即,子块内的坐标(xB, yB)能够通过xB=xC-(xCG<<2)、yB=yC-(yCG<<2)而导出。 此外,子块内的坐标(xB,yB)通过TU中的系数位置(xC,yC)和 “3”的基于运算符“&”的比特单位的逻辑与也能够导出。即,坐标 (xB,yB)通过计算
xB=xC&3、yB=yC&3
也能够求出。
若使用图19以及图20说明有无相邻子块系数上下文导出部124c 的上下文索引的导出方法,则如下所述。
图19是表示通过模式索引idxCG,用于从处理对象的频率成分的 子块内的坐标导出上下文索引的伪码的一例的图。若参照图19说明在 模式0~3的情况下中分别导出的上下文索引的值,则如下所述。另外, 图19中的x?y:z形式的书写表示如以下的逻辑运算。即,“在x为 “真”或者“非0”的情况下,评价y的值,否则评价z的值”。以下, 相同。
(在模式0的情况下)
在模式0的情况下,有无相邻子块系数上下文导出部124c通过 sigCtx=(xB+yB<=2)?1:0而导出上下文索引。
因此,在模式0的情况下,若子块内的坐标(xB,yB)的水平方 向的坐标xB和垂直方向的坐标yB之和为2以下,则上下文索引的值 为“1”,否则上下文索引的值为“0”。
由此,上下文索引的值成为如图20(a)所示的配置。
另外,在模式0中,也可以通过sigCtx=(xB+yB<3)?1:0而 导出上下文索引。
此外,在上下文索引中,sigCtx=0对应于非0变换系数的发生概 率低的情况,sigCtx=2对应于非0变换系数的发生概率高的情况。此 外,sigCtx=1对应于在非0变换系数的发生概率高的情况低的情况之 间的中间程度的情况。另外,在上述例中,说明了sigCtx=0对应于非 0变换系数的发生概率低的情况,sigCtx=2对应于非0变换系数的发生概率高的情况,但并不限定于此。取而代之,也可以将上下文索引 的值设定为,sigCtx=2对应于非0变换系数的发生概率低的情况, sigCtx=0对应于非0变换系数的发生概率高的情况,在以后的实施例 中也能够应用同样设定。即,在以后的实施例中,也可以将与各索引 模式idxCG中的子块内的各坐标对应的上下文索引的值“2”置换为“0”、 将与各索引模式idxCG中的子块内的各坐标对应的上下文索引的值“0” 置换为“2”而解释。
(在模式1的情况下)
在模式1的情况下,有无相邻子块系数上下文导出部124c基于将 子块内的坐标(xB,yB)和上下文索引建立对应的表格tbl1,导出上 下文索引。
如图19所例示,表格tbl1是具有{1,1,1,1,1,1,1, 0,1,0,0,0,0,0,0,0}的16个元素的排列。
有无相邻子块系数上下文导出部124c使用该表格tbl1,通过sigCtx =tbl1[xB+(yB<<2)]而导出上下文索引。
由此,上下文索引的值成为如图20(b)所示的配置。即,排列 的第1~4个元素与图20(b)所示的子块的第一行的(0,0)~(3, 0)分别对应。以下,相同地,排列的第5~8个、第9~12个、第13~ 16个元素分别与第二行、第三行以及第四行对应。
(在模式2的情况下)
在模式2的情况下,有无相邻子块系数上下文导出部124c基于将 子块内的坐标(xB,yB)和上下文索引建立对应的其他的表格tbl2, 导出上下文索引。
如图19所例示,表格tbl2是具有{1,1,1,0,1,1,0, 0,1,1,0,0,1,0,0,0}的16个元素的排列。
有无相邻子块系数上下文导出部124c使用该表格tbl2,通过sigCtx =tbl2[xB+(yB<<2)]而导出上下文索引。
由此,上下文索引的值成为如图20(c)所示的配置。即,排列的 元素和图20(c)所示的子块内的坐标的对应与模式1的情况相同。例 如,排列的第1~4个元素与图20(c)所示的子块的第一行的(0,0)~ (3,0)分别对应。
(在模式3的情况下)
在模式3的情况下,有无相邻子块系数上下文导出部124c通过 sigCtx=(xB+yB<=4)?2:1而导出上下文索引。
因此,在模式3的情况下,若子块内的坐标(xB,yB)的水平方 向的坐标xB和垂直方向的坐标yB之和为4以下,则上下文索引的值 为“2”,否则上下文索引的值为“1”。
由此,上下文索引的值成为如图20(d)所示的配置。
另外,在模式3中,也可以通过sigCtx=(xB+yB<5)?2:1而 导出上下文索引。以下,将上述的判定设为“x以下”还是设为“小于 x+1”是能够适当地变更的事项。
这里,关于上述结构的优点,进行与现有技术的比较例的对比的 同时进行说明。
首先,如图21所示,设为子块内的扫描顺序是斜向扫描(Up-right diagonalscan)。另外,图21所示的扫描顺序是正方向。
变换系数的解码按照逆扫描顺序,从图21所示的“15”到“0” 进行。
(比较例的结构)
以下,将图51以及图52所示的结构作为比较例。在比较例的结 构中,若在模式0~3中分别按照逆扫描顺序排列上下文索引,则成为 如下的序列。
模式0:0000000000111111
模式1:0001001100110111
模式2:0000010011011111
模式3:1112222222222222
这里,在模式1和模式2中,从“0”转换到“1”或者从“1”转 换到“0”的次数多。
具体而言,在模式1中,从“0”向“1”的转换有4次,从“1” 向“0”的转换有3次,合计产生7次转换。
此外,在模式2中,从“0”向“1”的转换有3次,从“1”向“0” 的转换有2次,合计产生5次转换。
在硬件中,有按照逆扫描顺序定义0的重复数和1的重复数,通 过定义而导出与子块内的位置对应的上下文索引的硬件。在这样的硬 件中,若0和1的转换次数多,则用于实现该硬件所需的结构的复杂 性增大。
(实施例的结构)
如以上所示,本实施例的活动图像解码装置1包括:算术解码装 置,关于通过将对象图像按每个单位区域进行频率变换而按每个频率 成分获得的各变换系数,对将表示该变换系数的各种语法进行算术编 码而获得的编码数据进行解码。算术解码装置包括:子块分割单元, 将与处理对象的单位区域对应的对象频域根据预定的定义而分割为4 ×4尺寸的子块;有无子块系数标记解码单元,关于通过上述子块分割 单元而分割的各子块,对表示在该子块中是否包括至少一个非0变换 系数的有无子块系数标记进行解码;方向性判定单元,基于与处理对 象的子块相邻的子块中的有无子块系数标记,判定变换系数的分布的方向性;以及上下文索引导出单元,导出对作为表示处理对象的上述 变换系数是否为0的语法的有无变换系数标记分配的上下文索引。上 述上下文索引导出单元是如下结构:在上述子块中应用的扫描顺序为 斜向扫描且判定出的方向性为垂直方向的情况下,若将上述4×4尺寸 的子块的坐标设为(xB,yB)(其中,将xB设为水平方向,将yB设 为垂直方向,将子块左上设为原点(0,0)),则在由(0,0)~(0, 3)、(1,0)~(1,2)以及(2,0)构成的区域中,与上述区域以 外的区域相比,进一步导出与变换系数的发生概率高的情况对应的上 述上下文索引。
此外,如以上所示,本实施例的活动图像解码装置1包括:算术 解码装置,关于通过将对象图像按每个单位区域进行频率变换而按每 个频率成分获得的各变换系数,对将表示该变换系数的各种语法进行 算术编码而获得的编码数据进行解码。算术解码装置包括:子块分割 单元,将与处理对象的单位区域对应的对象频域根据预定的定义而分 割为4×4尺寸的子块;有无子块系数标记解码单元,关于通过上述子 块分割单元而分割的各子块,对表示在该子块中是否包括至少一个非0 变换系数的有无子块系数标记进行解码;方向性判定单元,基于与处 理对象的子块相邻的子块中的有无子块系数标记,判定变换系数的分 布的方向性;以及上下文索引导出单元,导出对作为表示处理对象的 上述变换系数是否为0的语法的有无变换系数标记分配的上下文索引。 上述上下文索引导出单元是如下结构:在上述子块中应用的扫描顺序 为斜向扫描且判定出的方向性为水平方向的情况下,若将上述4×4尺 寸的子块的坐标设为(xB,yB)(其中,将xB设为水平方向,将yB 设为垂直方向,将子块左上设为原点(0,0)),则在由(0,0)~ (3,0)、(0,1)~(2,1)以及(0,2)构成的区域中,与上述 区域以外的区域相比,进一步导出与变换系数的发生概率高的情况对 应的上述上下文索引。
根据本实施例的有无相邻子块系数上下文导出部124c,模式1以 及2中的逆扫描顺序的上下文索引的序列分别成为如下。
模式1:0000001100111111
模式2:0000000011111111
在模式1中,从“0”向“1”的转换有2次,从“1”向“0”的 转换有1次,转换次数合计为3次。
在模式2中,转换次数只有从“0”向“1”的1次转换。
根据上述结构,与比较例的结构相比,能够大幅削减转换次数。 转换次数最多是模式1的3次,最少是模式2的1次。
这样,根据上述结构,能够抑制子块内的上下文索引的变化(转 换)。因此,在如上所述那样定义0和1的重复数的硬件中,硬件的 安装被简化。
另外,在向正扫描方向进行处理的情况下,获得与上述模式1以 及模式2的序列相反的序列。因此,即使在向正扫描方向进行处理的 情况下,也能够获得相同的效果。
(变形例)
以下,说明本发明的变形例。
<<变形例1:上下文索引的变化抑制2>>
以下,使用图22,说明根据在相邻子块中是否有非0变换系数的 状态,变更对象子块内的扫描顺序的变形例。
在本变形例中,系数解码控制部123进行按照基于如图22(a)~ (d)所示的扫描顺序的子块内扫描顺序的各频率成分的位置的供给。
另外,在图22(a)~(e)中,将表示扫描方向的箭头全部记载 为正方向,但在变换系数的解码处理中,向与箭头的朝向相反的逆扫 描方向进行处理。
此外,以下,例示性地,使用图51以及52所示的上下文索引的 配置。
以下,若关于模式0~3依次表示,则如下所述。
在模式0的情况下,如图22(a)所示,系数解码控制部123应用 斜向扫描(Up-rightdiagonal scan)。
在模式1的情况下,如图22(b)所示,系数解码控制部123应 用水平方向优先扫描。即,在 (significant_coeff_group_flag[xCG+1][yCG], significant_coeff_group_flag[xCG][yCG+1])=(1,0)的情况下,系 数解码控制部123应用水平方向优先扫描。
在模式2的情况下,如图22(c)所示,系数解码控制部123应用 垂直方向优先扫描。即,在(significant_coeff_group_flag[xCG+1][yCG],significant_coeff_group_flag[xCG][yCG+1])=(0,1)的情况下,系 数解码控制部123应用垂直方向优先扫描。
在模式3的情况下,如图22(d)所示,系数解码控制部123应 用斜向扫描(Up-rightdiagonal scan)。
[作用和效果]
如以上所示,变形例1的活动图像解码装置1包括:算术解码装 置,关于通过将对象图像按每个单位区域进行频率变换而按每个频率 成分获得的各变换系数,对将表示该变换系数的各种语法进行算术编 码而获得的编码数据进行解码。算术解码装置包括:子块分割单元, 将与处理对象的单位区域对应的对象频域分割为预定的尺寸的子块; 有无子块系数标记解码单元,关于通过上述子块分割单元而分割的各 子块,对表示在该子块中是否包括至少一个非0变换系数的有无子块 系数标记进行解码;方向性判定单元,基于与处理对象的子块相邻的 子块中的有无子块系数标记,判定变换系数的分布的方向性;以及变换系数解码单元,使用与由上述方向性判定单元判定出的方向性对应 的扫描顺序,对变换系数进行解码。
根据以上的结构,在水平方向上非0变换系数集中的可能性高的 情况下(图22(b)),使用水平方向优先扫描,在垂直方向上非0变 换系数集中的可能性高的情况下(图22(c)),使用垂直方向优先扫 描。
因此,能够按照非0变换系数的出现概率高的顺序进行扫描,由 此,能够提高编码效率。
此外,逆扫描顺序的上下文索引的序列成为如下所述。
模式0:0000000000111111
模式1:0000000011111111
模式2:0000000011111111
模式3:1112222222222222
因此,子块内的逆扫描顺序的上下文索引的0和1的转换最多成 为1次。
另外,在以上的说明中,设为在模式0以及3中使用斜向扫描 (Up-right diagonalscan)的结构,但取而代之,也可以设为使用如图 22(e)所示的折线扫描的结构。此外,上述的扫描顺序只要在扫描顺 序表格存储部122中存储即可。
<<变形例2:导出模式削减>>
以下,使用图23以及图24,说明根据相邻子块的非0变换系数 的有无的个数而转换上下文导出模式的变形例。
在本变形例中,有无相邻子块系数上下文导出部124c通过以下式 (B),求出作为从相邻子块(右相邻以及下相邻)中的有无子块系数 标记确定上下文导出模式的索引的模式索引idxCG。
idxCG=significant_coeff_group_flag[xCG+1][yCG]+significant_coef f_group_flag[xCG][yCG+1]…(B)
通过上述式(B),模式索引idxCG在下述的模式0~2中分别取 0~2的值。
(模式0)在右相邻子块(xCG+1,yCG)以及下相邻子块(xCG, yCG+1)的任一个中有无子块系数标记的值都为0的情况。
(模式1)在右相邻子块(xCG+1,yCG)以及下相邻子块(xCG, yCG+1)中的一个中有无子块系数标记的值为1且在另一个中有无子 块系数标记的值为0的情况。
(模式2)在右相邻子块(xCG+1,yCG)以及下相邻子块(xCG, yCG+1)的双方中有无子块系数标记的值为1的情况。
此外,在本变形例中,有无相邻子块系数上下文导出部124c通过 图23所示的方法而导出上下文索引。
图23是表示通过从式(B)获得的模式索引idxCG,用于从处理 对象的频率成分的子块内的坐标导出上下文索引的伪码的另一例的 图。
参照图23说明在模式0~3的情况下分别导出的上下文索引的值, 则如下所述。
(在模式0的情况下)
在模式0的情况下,有无相邻子块系数上下文导出部124c通过 sigCtx=(xB+yB<=2)?1:0而导出上下文索引。
即,在模式0的情况下,与上述实施例的模式0的情况相同。因 此,上下文索引的值成为如图24(a)所示的配置。
(在模式1的情况下)
在模式1的情况下,有无相邻子块系数上下文导出部124c通过 sigCtx=(xB+yB<=3)?1:0而导出上下文索引。
因此,在模式1的情况下,若子块内的坐标(xB,yB)的水平方 向的坐标xB和垂直方向的坐标yB之和为3以下,则上下文索引的值 为“1”,否则上下文索引的值为“0”。
由此,上下文索引的值成为如图24(b)所示的配置。
(在模式2的情况下)
在模式2的情况下,有无相邻子块上下文导出部124c通过sigCtx =(xB+yB<=4)?2:1而导出上下文索引。
即,在模式2的情况下,与上述实施例的模式3的情况相同。因 此,上下文索引的值成为如图24(c)所示的配置。
<<变形例2-1>>
以下,使用图54、图55,说明关于变形例2的模式0、模式1, 使用具有三个阶段的上下文索引的导出方法的变形例。在变形例2的 上下文索引的值的配置中,在各模式中取2个阶段的值,使得在模式0~ 1(图24(a)、(b))中为sigCtx=0或1,在模式2(图24(c)) 中为sigCTx=1或2。通过增加这个阶段,能够实现更加适合实际的变 换系数的发生状况的上下文索引的值的配置。图54是变形例2-1的、 通过从上述式(B)获得的模式索引idxCG,用于从处理对象的频率成 分的子块内的坐标导出上下文索引的伪码。图55是表示基于图54所 示的伪码的上下文索引导出方法中的上下文索引的值的配置的图。
另外,本变形例2-1还能够将导出模式削减的上述变形例2表现 为与后述的变形例5进行了组合的例。
(在模式0的情况下)
在模式0的情况下,有无相邻子块系数上下文导出部124c根据xB +yB的值,如下导出上下文索引。
在xB+yB为TH1以下的情况下,有无相邻子块系数上下文导出 部124c导出sigCtx=2。此外,在xB+yB大于TH1且为TH2以下的情 况下,有无相邻子块系数上下文导出部124c导出sigCtx=1。在除此以 外的情况下,有无相邻子块系数上下文导出部124c导出sigCtx=0。这 里,若设为阈值TH1=0、TH2=2,则上下文索引的值成为图55(a) 所示的配置。
(在模式1的情况下)
在模式1的情况下,有无相邻子块上下文导出部124c根据xB+ yB的值,如下导出上下文索引。
在xB+yB为TH3以下的情况下,有无相邻子块系数上下文导出 部124c导出sigCtx=2。此外,在xB+yB大于TH3且为TH4以下的情 况下,有无相邻子块系数上下文导出部124c导出sigCtx=1。在除此以 外的情况下,有无相邻子块系数上下文导出部124c导出sigCtx=0。这 里,若设为阈值TH3=1、TH4=3,则上下文索引的值成为图55(b) 所示的配置。
(在模式2的情况下)
例示性地,设为阈值TH5=4。在阈值TH5=4的情况下,与变形 例2中的模式2(图24(c))相同,所以省略说明。
另外,关于阈值TH1、TH2、TH3、TH4,考虑各模式中的非零变 换系数的发生概率的偏向,优选设定成为TH1<TH3、TH2<TH4。
在发明人进行的实验中,确认了变形例2-1尤其在内部预测块中, 与变形例2相比,能够进一步提高编码效率。变形例2-1的元素在模式 0、模式1中,将从最左上距离第一距离(模式0:xB+yB<=TH1、 模式1:xB+yB<=TH3)的位置的上下文索引的值设为表示发生概率 高的2,将从第一距离距离第二距离(模式0:TH1<xB+yB<=TH2、 模式1:TH3<xB+yB<=TH4)的位置的上下文索引的值设为表示发 生概率为中间程度的1,将除此之外的位置的上下文索引的值设为表示 发生概率低的0。
此外,关于阈值TH5而言,阈值TH5能够如上所述那样设定成为TH4≤TH5。
[作用和效果]
以上所示,变形例2的活动图像解码装置1包括:算术解码装置, 关于通过将对象图像按每个单位区域进行频率变换而按每个频率成分 获得的各变换系数,对将表示该变换系数的各种语法进行算术编码而 获得的编码数据进行解码。算术解码装置包括:子块分割单元,将与 处理对象的单位区域对应的对象频域分割为预定的尺寸的子块;有无 子块系数标记解码单元,关于通过上述子块分割单元而分割的各子块, 对表示在该子块中是否包括至少一个非0变换系数的有无子块系数标 记进行解码;有系数子块数计算单元,基于有无子块系数标记,关于 与处理对象的子块相邻的各子块,计算包括至少一个非0变换系数子 块的数目;以及上下文索引导出单元,导出对作为表示上述变换系数 是否为0的语法的有无变换系数标记分配的上下文索引,上述上下文 索引导出单元根据由有系数子块数计算单元计算出的数目,使用处理 对象的变换系数在上述处理对象的子块中的水平方向的坐标以及垂直 方向的坐标之和,导出上述上下文索引。
在上述结构中,也可以不区分有无子块系数标记是在右相邻子块 中的标记,还是在下相邻子块中的标记。
因此,与上述实施例相比,能够削减上下文导出模式数。此外, 各模式中的比较全部成为“xB+yB”和预定的阈值的比较。此外,在 图24(a)~(c)所示的配置中,关于斜向扫描(Up-right diagonal scan), 在子块内的扫描顺序上的上下文索引的转换次数只成为1次,在硬件 上的安装被简化。
以上所示的变形例2-1的活动图像解码装置包括:算术解码装置, 关于通过将对象图像按每个单位区域进行频率变换而按每个频率成分 获得的各变换系数,对将表示该变换系数的各种语法进行算术编码而 获得的编码数据进行解码。算术解码装置包括:子块分割单元,将与 处理对象的单位区域对应的对象频域分割为预定的尺寸的子块;有无 子块系数标记解码单元,关于通过上述子块分割单元而分割的各子块, 对表示在该子块中是否包括至少一个非0变换系数的有无子块系数标 记进行解码;有系数子块数计算单元,基于有无子块系数标记,关于 与处理对象的子块相邻的各子块,计算包括至少一个非0变换系数子 块的数目;以及上下文索引导出单元,导出对作为表示上述变换系数 是否为0的语法的有无变换系数标记分配的上下文索引,上述上下文 索引导出单元根据由有系数子块数计算单元计算出的数目,使用处理 对象的变换系数在上述处理对象的子块中的水平方向的坐标以及垂直 方向的坐标之和,根据处理对象的子块中的处理对象的变换系数的位置,导出与在非0变换系数的发生概率低的情况、在非0变换系数的 发生概率高的情况、以及在非0变换系数的发生概率为高的情况和低 的情况之间的中间程度的情况分别对应的上述上下文索引。
在上述结构中,也可以不区分有无子块系数标记是在右相邻子块 中的标记,还是在下相邻子块中的标记。
因此,与上述实施例相比,能够削减上下文导出模式数。此外, 各模式中的比较全部成为“xB+yB”和预定的阈值的比较。此外,在 图55(a)~(b)所示的配置中,关于斜向扫描(Up-right diagonal scan), 在子块内的扫描顺序上的上下文索引的转换次数只成为2次,在硬件 上的安装被简化。
进一步,上述上下文索引导出单元在判定为在与处理对象的子块 相邻的2个以上的子块中不存在非0变换系数时,基于该判定结果, 根据处理对象的子块中的处理对象的变换系数的位置,导出与在非0 变换系数的发生概率低的情况、在非0变换系数的发生概率高的情况、 以及在非0变换系数的发生概率为高的情况和低的情况之间的中间程 度的情况分别对应的上述上下文索引,能够实现编码效率的提高。尤 其,适合在处理对象的子块内的左上的位置中分配非0变换系数的发 生概率高的情况的结构。
此外,上述上下文索引导出单元在判定为在与处理对象的子块相 邻的1个以上的子块中存在非0变换系数且在1个以上的子块中不存 在非0变换系数时,基于该判定结果,根据处理对象的子块中的处理 对象的变换系数的位置,导出与在非0变换系数的发生概率低的情况、 在非0变换系数的发生概率高的情况、以及在非0变换系数的发生概 率为高的情况和低的情况之间的中间程度的情况分别对应的上述上下 文索引,能够实现编码效率的提高。尤其,适合在判定为在右或者下 相邻的子块中存在非0变换系数,分配在从处理对象的子块内的左上 斜向第一列和第二列中非0变换系数的发生概率高的情况的结构。此外,适合分配在从子块内的左上斜向第三列和第四列中非0变换系数 的发生概率为中间程度的情况的。
以上,根据变形例2-1,与变形例2相比,能够实现更加适合实际 的变换系数的发生概率的上下文导出模式,由此,能够实现编码效率 的提高。
<<变形例3:2×2模式>>
4×4尺寸的子块的坐标对X坐标以及Y坐标分别取0~3(2比特) 的值。以下,使用图25以及图26,说明不使用子块坐标的下位比特而 导出上下文索引的变形例。即,在以下所示的变形例中,以2×2尺寸 的单位导出上下文索引。
在本变形例中,有无相邻子块系数上下文导出部124c通过上述式 (A)求出模式索引idxCG的同时,根据由此获得的模式0~3,通过 图25所示的方法而导出上下文索引。
图25是表示通过从式(A)获得的模式索引idxCG,用于从处理 对象的频率成分的子块内的坐标导出上下文索引的伪码的又一例的 图。图26是表示基于图25所示的伪码的上下文索引导出方法中的上 下文索引的值的配置的图。
参照图25以及图26说明在模式0~3的情况下分别导出的上下文 索引的值,则如下所述。
(在模式0的情况下)
在模式0的情况下,有无相邻子块系数上下文导出部124c通过 sigCtx=((xB>>1)+(yB>>1)<=0)?1:0而导出上下文索引。
由此,上下文索引的值成为如图26(a)所示的配置。即,如图 26(a)所示,在将子块分割为左上、右上、左下以及右下的4个2×2 尺寸的部分区域时的左上的部分区域中,上下文索引的值成为1,在除 此之外的部分区域中,上下文索引的值成为0。
(在模式1的情况下)
在模式1的情况下,有无相邻子块系数上下文导出部124c通过 sigCtx=((yB>>1)<=0)?1:0而导出上下文索引。
由此,上下文索引的值成为如图26(b)所示的配置。即,如图 26(b)所示,在子块内的左上以及右上的部分区域中,上下文索引的 值成为1,在子块内的左下以及右下的部分区域中,上下文索引的值成 为0。
(在模式2的情况下)
在模式2的情况下,有无相邻子块系数上下文导出部124c通过 sigCtx=((xB>>1)<=0)?1:0而导出上下文索引。
由此,上下文索引的值成为如图26(c)所示的配置。即,如图 26(c)所示,在子块内的左上以及左下的部分区域中,上下文索引的 值成为1,在子块内的右上以及右下的部分区域中,上下文索引的值成 为0。
(在模式3的情况下)
在模式3的情况下,有无相邻子块系数上下文导出部124c通过 sigCtx=((xB>>1)+(yB>>1)<=1)?2:1而导出上下文索引。
由此,上下文索引的值成为如图26(d)所示的配置。即,如图 26(d)所示,在子块内的左上、右上以及左下的部分区域中,上下文 索引的值成为2,在子块内的右下的部分区域中,上下文索引的值成为 1。
变形例3的活动图像解码装置1的上下文索引导出方法是如图25 所示那样不参照子块内的坐标(xB、yB)的下位1比特的导出方法。 此外,变形例3的上下文索引的值的配置是如图26所示那样将构成子 块的进一步小的块(这里是2×2块)内的上下文索引的值设为一样的 结构。
[作用和效果]
以上所示,变形例3的活动图像解码装置1包括:算术解码装置, 关于通过将对象图像按每个单位区域进行频率变换而按每个频率成分 获得的各变换系数,对将表示该变换系数的各种语法进行算术编码而 获得的编码数据进行解码。算术解码装置包括:子块分割单元,将与 处理对象的单位区域对应的对象频域根据预定的定义而分割为4×4尺 寸的子块;有无子块系数标记解码单元,关于通过上述子块分割单元 而分割的各子块,对表示在该子块中是否包括至少一个非0变换系数 的有无子块系数标记进行解码;模式判定单元,判定对与处理对象的 子块相邻的各子块进行了解码的有无子块系数标记的值的模式;以及 上下文索引导出单元,导出对作为表示上述变换系数是否为0的语法 的有无变换系数标记分配的上下文索引,上述上下文索引导出单元根 据模式判定单元的判定结果,使用处理对象的变换系数在上述处理对 象的子块中的水平方向以及垂直方向的各个坐标的(2比特表现中的) 上位比特,导出上述上下文索引。
根据上述结构,能够由上位比特(4比特)的输入信息来实现上 下文索引导出处理。具体而言,子块内的X坐标的上位比特(1bit)、 子块内的Y坐标的上位比特(1bit)、X方向的相邻子块中的有无子块 系数标记(1bit)以及X方向的相邻子块中的有无子块系数标记(1bit) 的共4比特。
此外,由于从4比特的输入,导出0~2(2比特)的输出即可, 所以能够通过简单的比特运算而实现上下文索引导出处理。若具体说 明,则如下所述。
首先,如下定义x1、y1、x2以及y2(分别为1bit)。
x1=xB=(xC-(xCG<<2))>>1
y1=yB=(yC-(yCG<<2))>>1
x2=signifcanet_coeff_group_flag[xCG+1][yCG]
y2=significant_coeff_group_flag[xCG][yCG+1]
此时,能够通过以下的逻辑运算而实现上下文索引导出处理。
sigCtx=((x2&y2)&((y2&!y1)|(x2&!x1))<<1)|((x2&y2)& (x1&y1))|
(!x2&!y2)&(!x1&!y1)|
(!x2&y2&!x1)|
(y2&!x2&!y1)
由此,在上下文索引导出处理中能够排除条件分岐。
<<变形例4:2×2模式2>>
以下,使用图27说明作为对象子块内的扫描顺序,使用以2×2 单位的扫描顺序为单位的扫描顺序的变形例。
在本变形例中,系数解码控制部123进行按照基于如图27(a)以 及图27(b)所示的扫描顺序的子块内扫描顺序的各频率成分的位置的 供给。
另外,在图22(a)~(e)中,将表示扫描方向的箭头全部记载 为正方向,但在变换系数的解码处理中,向与箭头的朝向相反的逆扫 描方向进行处理。此外,上下文索引的配置并不限定于图51以及图52 所示,能够任意设定。
如图27(a)所示,系数解码控制部123也可以将子块内的部分区 域单位的扫描顺序设为左上、左下、右上以及右下的顺序。此外,系 数解码控制部123也可以将各2×2尺寸的部分区域内的频率成分的扫 描顺序设为左上、左下、右上以及右下的顺序。
此外,系数解码控制部123也可以将图27(a)所示的扫描顺序采 用于在垂直方向上非0变换系数集中的可能性高的情况。
此外,如图27(b)所示,系数解码控制部123也可以将子块内 的部分区域单位的扫描顺序设为左上、右上、左下以及右下的顺序。 此外,系数解码控制部123也可以将各2×2尺寸的部分区域内的频率 成分的扫描顺序设为左上、右上、左下以及右下的顺序。
此外,系数解码控制部123也可以将图27(b)所示的扫描顺序 采用于在水平方向上非0变换系数集中的可能性高的情况。
另外,上述的扫描顺序存储在扫描顺序表格存储部122中即可。
[作用和效果]
变形例4的活动图像解码装置1包括:算术解码装置,关于通过 将对象图像按每个单位区域进行频率变换而按每个频率成分获得的各 变换系数,对将表示该变换系数的各种语法进行算术编码而获得的编 码数据进行解码。算术解码装置包括:子块分割单元,将与处理对象 的单位区域对应的对象频域根据预定的定义而分割为4×4尺寸的子 块;以及变换系数解码单元,关于将上述4×4尺寸的子块进行4分割 而获得的2×2尺寸的部分区域,分别使用该部分区域内的扫描顺序而 解码变换系数。
根据上述结构,由于能够抑制在扫描顺序上坐标(例如,在扫描 顺序上相邻的频率成分的坐标)大幅变化,所以能够对在空间上具有 同种特性的变换系数依次进行解码。其结果,编码效率提高。
此外,在子块内的扫描顺序上的上下文索引的转换被抑制。
例如,在采用了图26(a)~(d)所示的上下文索引的值的配置 的情况下,逆扫描顺序中的上下文索引的0和1的转换最多成为1次。
此外,并不限定于此,还能够应用于图26(a)~(d)所示的上 下文索引的值的配置以外的配置。例如,在对图52(c)的上下文索引 的值的配置采用图27(a)所示的扫描顺序,对图52(b)的上下文索 引的值的配置采用了图27(b)所示的扫描顺序的情况下,能够将转换 次数抑制为1次。
<<变形例5:其他模式>>
以下,使用图28~32,说明在预定的上下文导出模式中,使用具 有三个阶段的上下文索引导出方法的变形例。
目前说明的上下文索引的值的配置是基于2阶段的值的配置。例 如,在使用图51以及图52示出的现有技术的上下文索引的值的配置 中,在各模式中取2阶段的值,使得在模式0~2中为sigCtx=0或1, 在模式3中为sigCTx=1或2。通过增加这个阶段,能够实现更加适合 实际的变换系数的发生状况的上下文索引的值的配置。
在本变形例中,有无相邻子块系数上下文导出部124c通过上述式 (A)而求出模式索引idxCG(模式0~3)。并且,有无相邻子块系数 上下文导出部124c在模式0~2中使用具有三个阶段的上下文索引导出 方法。此外,在模式1以及2中,分别使用表示在子块的Y坐标yB= 0、子块的X坐标xB=0的位置中编码效率最高的上下文。以下,说明 具体的变形例。
<变形例5-1>
使用图28以及图29,说明变形例5-1。图28是表示通过从式(A) 获得的模式索引idxCG,用于从处理对象的频率成分的子块内的坐标导 出上下文索引的伪码的再又一例的图。图29是表示基于图28所示的 伪码的上下文索引导出方法中的上下文索引的值的配置的图。
参照图28以及图29说明在模式0~3的情况下分别导出的上下文 索引的值,则如下所述。另外,图29所示的网格部分是从图52所示 的上下文索引的值的配置的变更部分。
(在模式0的情况下)
在模式0的情况下,有无相邻子块系数上下文导出部124c根据xB +yB的值而如下导出上下文索引。
在xB+yB为0以下的情况下,有无相邻子块系数上下文导出部 124c导出sigCtx=2。此外,在xB+yB大于0且为2以下的情况下, 有无相邻子块系数上下文导出部124c导出sigCtx=1。在除此以外的情 况下,有无相邻子块系数上下文导出部124c导出sigCtx=0。由此,上 下文索引的值成为如图29(a)所示的配置。
(在模式1的情况下)
在模式1的情况下,有无相邻子块系数上下文导出部124c根据yB 的值而如下导出上下文索引。
在yB为0以下的情况下,有无相邻子块系数上下文导出部124c 导出sigCtx=2。此外,在yB大于0且为1以下的情况下,有无相邻子 块系数上下文导出部124c导出sigCtx=1。在除此以外的情况下,有无 相邻子块系数上下文导出部124c导出sigCtx=0。由此,上下文索引的 值成为如图29(b)所示的配置。
即,如图29(b)所示,在子块的第一行中,上下文索引的值成 为2,在子块的第二行中,上下文索引的值成为1。此外,在子块的第 三行以及第四行中,上下文索引的值成为0。
(在模式2的情况下)
在模式2的情况下,有无相邻子块系数上下文导出部124c根据xB 的值而如下导出上下文索引。
在xB为0以下的情况下,有无相邻子块系数上下文导出部124c 导出sigCtx=2。此外,在xB大于0且为1以下的情况下,有无相邻子 块系数上下文导出部124c导出sigCtx=1。在除此以外的情况下,有无 相邻子块系数上下文导出部124c导出sigCtx=0。由此,上下文索引的 值成为如图29(c)所示的配置。
即,如图29(c)所示,在子块的第一列中,上下文索引的值成为 2,在子块的第二列中,上下文索引的值成为1。此外,在子块的第三 列以及第四列中,上下文索引的值成为0。
(在模式3的情况下)
在模式3的情况下,如图29(d)所示,有无相邻子块系数上下 文导出部124c与xB以及yB的值无关地,在子块内一致地导出 sigCtx=2。
另外,也可以通过图56所示的伪码而实现与变形例5-1的情况有 关的上下文索引的配置。图56是实现图29所示的上下文索引的值的 配置的其他的伪码的一例。进一步而言,图56所示的伪码是在图29 所示的伪码中变更了大小关系判定的边界值或者将大小关系判定变更 为同值判定的伪码。根据图56所示的伪码,与图29所示的伪码相同 地,能够实现图29所示的上下文索引值的配置。
<变形例5的一般的结构>
使用图30说明用于导出变形例5的上下文索引的伪码的一般的结 构。一般的结构使用预定的阈值TH1、TH2、TH3、TH4、TH5而导出。
(在模式0的情况下)
在模式0的情况下,有无相邻子块系数上下文导出部124c根据xB +yB的值而如下导出上下文索引。
在xB+yB为TH1以下的情况下,有无相邻子块系数上下文导出 部124c导出sigCtx=2。此外,在xB+yB大于TH1且为TH2以下的情 况下,有无相邻子块系数上下文导出部124c导出sigCtx=1。在除此以 外的情况下,有无相邻子块系数上下文导出部124c导出sigCtx=0。
(在模式1的情况下)
在模式1的情况下,有无相邻子块上下文导出部124c根据yB的 值而如下导出上下文索引。
在yB为TH3以下的情况下,有无相邻子块系数上下文导出部124c 导出sigCtx=2。此外,在yB大于TH3且为TH4以下的情况下,有无 相邻子块系数上下文导出部124c导出sigCtx=1。在除此以外的情况下, 有无相邻子块系数上下文导出部124c导出sigCtx=0。由此,上下文索 引的值成为如图31(b)所示的配置。
即,在子块的第TH3-1行以下的行中,上下文索引的值成为2, 在子块的从第TH3行至第TH4-1行中,上下文索引的值成为1。此外, 在子块的第TH4行中,上下文索引的值成为0。
(在模式2的情况下)
在模式2的情况下,有无相邻子块系数上下文导出部124c根据xB 的值而如下导出上下文索引。
在xB为TH3以下的情况下,有无相邻子块系数上下文导出部124c 导出sigCtx=2。此外,在xB大于TH3且为TH4以下的情况下,有无 相邻子块系数上下文导出部124c导出sigCtx=1。在除此以外的情况下, 有无相邻子块系数上下文导出部124c导出sigCtx=0。
即,在子块的第TH3-1列以下的列中,上下文索引的值成为2, 在子块的第TH3列至第TH4-1列中,上下文索引的值成为1。此外, 在子块的第TH4列中,上下文索引的值成为0。
(在模式3的情况下)
在模式3的情况下,有无相邻子块系数上下文导出部124c通过 sigCtx=(xB+yB<=TH5)?2:1而导出上下文索引。
因此,在模式3的情况下,若子块内的坐标(xB,yB)的水平方 向的坐标xB和垂直方向的坐标yB之和为TH5以下,则上下文索引的 值为“2”,否则上下文索引的值为“1”。
已经说明的变形例5-1是TH1=0、TH2=2、TH3=0、TH4=1、 TH5=6的例。在发明人进行的实验中,确认了变形例5-1尤其在内部 预测块中,与图51、图52的比较例相比,能够实现编码效率的提高。 变形例5-1的元素在模式0中将左上的位置的上下文索引的值设为表示 发生概率高的2,在模式1、模式2中将第1行、第1列的上下文索引 的值设为表示发生概率高的2,在模式3中将上下文索引的值设为固定 值(这里是表示发生概率高的2)。在发明人进行的实验中,确认了通 过模式1、2的变更而取得了编码效率的较大的提高,通过模式0的变 更而取得了编码效率的中间程度的提高,在如模式3的变更那样的简 化中编码效率没有下降。
另外,模式0在编码效率上适合将TH1设为0以上、将TH2设为 小于6。模式1、2在编码效率上适合将TH3设为0以上、将TH4设为 小于6。模式3在简化上适合将TH5设为6以上。
以下,使用图31~图33以及图53,进一步说明变形例5-2、变形 例5-3、变形例5-4、变形例5-5。
<变形例5-2>
使用图31说明变形例5-2。变形例5-2是TH1=-1、TH2=2、TH3 =0、TH4=1、TH5=6的例。变形例5-2的元素在模式1、模式2中 将第一行、第一列的上下文索引的值设为2、在模式3中将上下文索引 的值设为固定值(这里是2)。
图31是表示变形例5-2的上下文索引导出方法中的上下文索引的 值的配置的图。参照图31说明在模式0~3的情况下分别导出的上下 文索引的值,则如下所述。另外,图31所示的网格部分是从图52所 示的上下文索引的值的配置的变更部分。
(在模式0的情况下)
如图31(a)所示,是与图51、图52的比较例相同的导出方法、 相同的值的配置。
(在模式1~3的情况下)
如在图31(b)~(c)中分别所示,是与图28、图29的变形例 5-1相同的导出方法、相同的值的配置。
另外,也可以通过图57所示的伪码而实现与变形例5-2的情况有 关的上下文索引的配置。图57是实现图31所示的上下文索引的值的 配置的其他的伪码的一例。
更具体而言,图57所示的伪码是在设为TH1=-1、TH2=2、TH3 =0、TH4=1、TH5=6的图30的伪码中,适当地实施了大小关系判定 的边界值的变更以及大小关系判定向同值判定的变更等,使得能够实 现图31所示的上下文索引的值的配置的伪码。
根据图57所示的伪码,与在图30所示的伪码中,设为TH1=-1、 TH2=2、TH3=0、TH4=1、TH5=6的情况相同地,能够实现图31 所示的上下文索引的值的配置。
如以上所示,变形例5-2的上下文索引导出方法与变形例5-1相同 地,能够获得通过在模式1、模式2中将第一行、第一列的上下文索引 的值设为2所取得的编码效率提高、通过在模式3中将上下文索引的 值设为固定值所取得的简化的效果。此外,与变形例5-1不同,由于模 式0的上下文索引的值只为0和1的2个阶段,所以是复杂度低于变 形例5-1的结构。变形例5-2也与变形例5-1相同地,在发明人的实验 中,确认了尤其在内部预测块中,与图51、图52的比较例相比,能够 实现编码效率的提高。
<变形例5-3>
使用图32说明变形例5-3。变形例5-3是TH1=-1、TH2=2、TH3 =0、TH4=2、TH5=4的例。变形例5-2的元素在模式1、模式2中 将第1行、第1列的上下文索引的值设为2,在模式1、模式2中将第 3行、第3列的上下文索引的值设为1。
图32是表示变形例5-2的上下文索引导出方法中的上下文索引的 值的配置的图。参照图32说明在模式0~3的情况下分别导出的上下 文索引的值,则如下所述。另外,图32所示的网格部分是从图52所 示的上下文索引的值的配置的变更部分。
(在模式0的情况下)
如图32(a)所示,是与图51、图52的比较例相同的导出方法、 相同的值的配置。
(在模式1的情况下)
在模式1的情况下,有无相邻子块上下文导出部124c根据yB的 值而如下导出上下文索引。
在yB为0以下的情况下,有无相邻子块系数上下文导出部124c 导出sigCtx=2。此外,在yB大于0且为2以下的情况下,有无相邻子 块系数上下文导出部124c导出sigCtx=1。在除此以外的情况下,有无 相邻子块系数上下文导出部124c导出sigCtx=0。由此,上下文索引的 值成为如图32(b)所示的配置。
即,如图32(b)所示,在子块的第一行中,上下文索引的值成 为2,在子块的第二行以及第三行中,上下文索引的值成为1。此外, 在子块的第四行中,上下文索引的值成为0。
(在模式2的情况下)
在模式3的情况下,有无相邻子块系数上下文导出部124c根据xB 的值而如下导出上下文索引。
在xB为0以下的情况下,有无相邻子块系数上下文导出部124c 导出sigCtx=2。此外,在xB大于0且为2以下的情况下,有无相邻子 块系数上下文导出部124c导出sigCtx=1。在除此以外的情况下,有无 相邻子块系数上下文导出部124c导出sigCtx=0。由此,上下文索引的 值成为如图32(c)所示的配置。
即,如图32(c)所示,在子块的第一列中,上下文索引的值成为 2,在子块的第二列以及第三列中,上下文索引的值成为1。此外,在 子块的第四列中,上下文索引的值成为0。
(在模式3的情况下)
如图32(d)所示,是与图51、图52的比较例相同的导出方法、 相同的值的配置。
另外,也可以通过图58所示的伪码而实现与变形例5-3的情况有 关的上下文索引的配置。图58是实现图32所示的上下文索引的值的 配置的其他的伪码的一例。
更具体而言,图58所示的伪码是在设为TH1=-1、TH2=2、TH3 =0、TH4=1、TH5=4的图32的伪码中,适当地实施了大小关系判定 的边界值的变更以及大小关系判定向同值判定的变更等,使得能够实 现图32所示的上下文索引的值的配置的伪码。
根据图58所示的伪码,与在图30所示的伪码中,设为TH1=-1、 TH2=2、TH3=0、TH4=1、TH5=4的情况相同地,能够实现图32 所示的上下文索引的值的配置。
如以上所示,变形例5-3的上下文索引导出方法与变形例5-1相同 地,能够获得通过在模式1、模式2中将第一行、第一列的上下文索引 的值设为2所取得的编码效率提高。
<变形例5-4>
使用图33说明变形例5-4。变形例5-4是TH1=1、TH2=3、TH3 =0、TH4=2、TH5=6的例。变形例5-2的元素在模式1、模式2中 将第1行、第1列的上下文索引的值设为2,在模式1、模式2中将第 3行、第3列的上下文索引的值设为1。
图33是表示变形例5-4的上下文索引导出方法中的上下文索引的 值的配置。参照图33说明在模式0~3的情况下分别导出的上下文索 引的值,则如下所述。另外,图33所示的网格部分是从图52所示的 上下文索引的值的配置的变更部分。
(在模式0的情况下)
在模式0的情况下,有无相邻子块系数上下文导出部124c通过xB +yB的值而如下导出上下文索引。
在xB+yB为1以下的情况下,有无相邻子块系数上下文导出部 124c导出sigCtx=2。此外,在xB+yB大于1且为3以下的情况下, 有无相邻子块系数上下文导出部124c导出sigCtx=1。在除此以外的情 况下,有无相邻子块系数上下文导出部124c导出sigCtx=0。由此,上 下文索引的值成为如图33(a)所示的配置。
(在模式1~2的情况下)
如在图33(b)、(c)中分别所示,是与图32的变形例5-3相同 的导出方法、相同的值的配置。
(在模式3的情况下)
如图33(d)所示,是与图28、图29的变形例5-1相同的导出方 法、相同的值的配置。
另外,也可以通过图59所示的伪码而实现与变形例5-4的情况有 关的上下文索引的配置。图59是实现图33所示的上下文索引的值的 配置的其他的伪码的一例。
更具体而言,图59所示的伪码是在设为TH1=1、TH2=3、TH3 =0、TH4=2、TH5=6的图30的伪码中,适当地实施了大小关系判定 的边界值的变更以及大小关系判定向同值判定的变更等,使得能够实 现图33所示的上下文索引的值的配置的伪码。
根据图57所示的伪码,与在图30所示的伪码中,设为TH1=-1、 TH2=2、TH3=0、TH4=1、TH5=6的情况相同地,能够实现图33 所示的上下文索引的值的配置。
如以上所示,变形例5-4的上下文索引导出方法与变形例5-3相同 地,能够获得通过在模式1、模式2中将第一行、第一列的上下文索引 的值设为2所取得的编码效率提高。此外,与变形例5-1相同地,能够 获得通过在模式0中使用0、1、2的3个阶段作为上下文索引的值所 取得的编码效率提高。此外,与变形例5-1相同地,能够获得通过在模 式3中将上下文索引的值设为固定值所取得的简化的效果。
<变形例5-5>
使用图53说明变形例5-5。变形例5-5是TH1=-1、TH2=2、TH3 =-1、TH4=1、TH5=6的例。变形例5-5的元素在模式3中将上下文 索引的值设为固定值(这里是2)。
图53是表示变形例5-5的上下文索引导出方法中的上下文索引的 值的配置的图。参照图53说明在模式0~3的情况下分别导出的上下 文索引的值,则如下所述。另外,图53所示的网格部分是从图52所 示的上下文索引的值的配置的变更部分。
(在模式0~2的情况下)
如在图53(a)~(c)中分别所示,是与图51、图52的比较例 相同的导出方法、相同的值的配置。
(在模式3的情况下)
图53(d)所示,是与图28、图29的变形例5-1相同的导出方法、 相同的值的配置。
另外,也可以通过图60所示的伪码而实现与变形例5-5的情况有 关的上下文索引的配置。图60是实现图53所示的上下文索引的值的 配置的其他的伪码的一例。
更具体而言,图60所示的伪码是在设为TH1=-1、TH2=2、TH3 =-1、TH4=1、TH5=6的图30的伪码中,适当地实施了大小关系判 定的边界值的变更以及大小关系判定向同值判定的变更等,使得能够 实现图53所示的上下文索引的值的配置的伪码。
根据图60所示的伪码,与在图30所示的伪码中,设为TH1=-1、 TH2=2、TH3=-1、TH4=1、TH5=6的情况相同地,能够实现图53 所示的上下文索引的值的配置。
<变形例5-6>
使用图61说明变形例5-6。变形例5-6是TH1=1、TH2=2、TH3 =0、TH4=1、TH5=6的例。变形例5-6的元素在模式0中对成为xB +yB<2的部分设定表示非0变换系数的发生频度高的上下文索引的 值。
图61是表示变形例5-6的上下文索引导出方法中的上下文索引的 值的配置的图。参照图61说明在模式0~3的情况下分别导出的上下 文索引的值,则如下所述。
(在模式0的情况下)
有无相邻子块系数上下文导出部124c根据xB+yB的值而如下导 出上下文索引。
在xB+yB为1以下的情况下,有无相邻子块系数上下文导出部 124c导出sigCtx=2。此外,在xB+yB大于1且为2以下的情况下, 有无相邻子块系数上下文导出部124c导出sigCtx=1。在除此以外的情 况下,有无相邻子块系数上下文导出部124c导出sigCtx=0。由此,上 下文索引的值成为如图61(a)所示的配置。
(在模式1~3的情况下)
图61(b)~(d)是分别与图29(b)、图29(c)、图29(d) 的变形例5-1相同的导出方法、相同的值的配置。
另外,也可以通过图62所示的伪码而实现与变形例5-6的情况有 关的上下文索引的配置。如在上述变形例中所说明,还能够通过对图 30所示的伪码适当地实施大小关系判定的边界值的变更以及大小关系 判定向同值判定的变更等,获得图62所示的伪码。
如以上所示,变形例5-6的上下文索引导出方法与变形例5-1相同 地,能够获得通过在模式1、模式2中将第一行、第一列的上下文索引 的值设为2所取得的编码效率提高,通过在模式3中将上下文索引的 值设为固定值所取得的简化的效果。尤其,在直到8×8TU~32×32TU 为止进行基于有无相邻子块系数上下文导出部124c的上下文索引导出 时,通过在模式0中对成为xB+yB<2的部分设定表示非0变换系数 的发生频度高的上下文索引的值,起到编码效率提高的效果。
<变形例5-7>
使用图63说明变形例5-7。变形例5-7是TH1=1、TH2=3、TH3 =0、TH4=1、TH5=6的例。变形例5-7的元素在模式0中对系数位 置成为xB+yB<2的部分设定表示非0变换系数的发生频度高的上下 文索引的值,对成为1<xB+yB<4的部分设定表示非0变换系数的发生频度为中间程度的上下文索引的值。
图63是表示变形例5-7的上下文索引导出方法中的上下文索引的 值的配置的图。参照图63说明在模式0~3的情况下分别导出的上下 文索引的值,则如下所述。
(在模式0的情况下)
图63(a)是与图33(a)所示的变形例5-4相同的导出方法、相 同的值的配置。
(在模式1~3的情况下)
图63(b)~(d)是分别与图29(b)、图29(c)、图29(d) 的变形例5-1相同的导出方法、相同的值的配置。
另外,也可以通过图64所示的伪码而实现与变形例5-7的情况有 关的上下文索引的配置。如在上述变形例中所说明,还能够通过对图 30所示的伪码适当地实施大小关系判定的边界值的变更以及大小关系 判定向同值判定的变更等,获得图64所示的伪码。
如以上所示,变形例5-7的上下文索引导出方法与变形例5-1相同 地,能够获得通过在模式1、模式2中将第一行、第一列的上下文索引 的值设为表示非0变换系数的发生频度高的上下文索引的值所取得的 编码效率提高,通过在模式3中将上下文索引的值设为固定值所取得 的简化的效果。尤其,在直到8×8TU~32×32TU为止进行基于有无 相邻子块系数上下文导出部124c的上下文索引导出时,通过在模式0 中对成为xB+yB<2的部分设定表示非0变换系数的发生频度高的上 下文索引的值,对成为1<xB+yB<4的部分设定表示非0变换系数的 发生频度为中间程度的上下文索引的值,起到编码效率提高的效果。
[变形例5的补充事项]
此外,在以上所示的变形例5-1、5-4、5-6、5-7的活动图像解码 装置1中,上述上下文索引导出单元是如下结构:关于处理对象的子 块的右相邻的右相邻子块以及下相邻的下相邻子块判定有无子块系数 标记,在判定为在右相邻子块以及下相邻子块的双方中不存在非0变 换系数时,基于该判定结果,在表示子块内的系数位置的xB和yB之 和为第一阈值以下的情况下,导出与非0变换系数的发生概率高的情 况对应的上述上下文索引,在上述xB和yB之和大于第一阈值且为第 二阈值以下的情况下,导出与非0变换系数的发生概率为中间程度的 情况对应的上述上下文索引,在上述xB和yB之和大于第二阈值的情 况下,导出与非0变换系数的发生概率低的情况对应的上述上下文索 引。
根据以上的结构,能够实现更加适合实际的变换系数的发生概率 的上下文导出模式,由此,能够实现编码效率的提高。
尤其,通过将第一阈值设定为0,将第二阈值设定为2,能够导出 更加适合实际的非0变换系数的发生概率的上下文索引。此外,将第 一阈值设定为1,将第二阈值设定为2,也适合。此外,将第一阈值设 定为1,将第二阈值设定为3,也适合。
此外,在以上所示的变形例5-1~5-4、5-6、5-7的活动图像解码 装置1中,上述上下文索引导出单元是如下结构:关于右相邻的右相 邻子块以及下相邻的下相邻子块判定有无子块系数标记,在判定为在 右相邻子块或者下相邻子块中的任一个中都不存在非0变换系数时, 根据判定为不存在非0变换系数的子块的相邻方向,选择表示子块内 的系数位置的xB和yB中的任一个系数位置,在上述系数位置为第一 阈值以下的情况下,导出与非0变换系数的发生概率高的情况对应的 上述上下文索引,在上述系数位置大于第一阈值且为第二阈值以下的 情况下,导出与非0变换系数的发生概率为中间程度的情况对应的上述上下文索引,在上述系数位置大于第二阈值的情况下,导出与非0 变换系数的发生概率低的情况对应的上述上下文索引。
根据以上的结构,能够对实际的变换系数的发生概率设定适当的 阈值,能够实现更加适合的上下文导出模式,由此,能够实现编码效 率的提高。
此外,在以上所示的变形例5-1、5-3、5-4、5-5的活动图像解码 装置1中,上述上下文索引导出单元是如下结构:关于右相邻的右相 邻子块以及下相邻的下相邻子块判定有无子块系数标记,上述上下文 索引导出单元在对处理对象的子块判定为在右相邻子块及下相邻子块 的双方中存在非0变换系数时,对处理对象子块内的非0变换系数导 出固定的上下文索引。
根据以上的结构,能够抑制编码效率的下降的同时,简化上下文 索引的导出。
此外,在上述结构中,优选地,上述固定的上下文索引是与非0 变换系数的发生频度高的情况对应的上下文索引。
根据上述结构,能够固定地导出更加适合实际的变换系数的发生 概率的、与非0变换系数的发生概率高的情况对应的上下文索引。因 此,由于能够导出更加适合实际的变换系数的发生概率的固定的上下 文索引,所以能够进一步抑制编码效率的降低的同时,简化上下文索 引的导出。
[作用和效果]
以上所示的变形例5-1~5-4、5-6、5-7的活动图像解码装置1包 括:算术解码装置,关于通过将对象图像按每个单位区域进行频率变 换而按每个频率成分获得的各变换系数,对将表示该变换系数的各种 语法进行算术编码而获得的编码数据进行解码。算术解码装置包括: 子块分割单元,将与处理对象的单位区域对应的对象频域分割为预定 的尺寸的子块;有无子块系数标记解码单元,关于通过上述子块分割 单元而分割的各子块,对表示在该子块中是否包括至少一个非0变换 系数的有无子块系数标记进行解码;非0变换系数判定单元,基于进 行了解码的有无子块系数标记,判定在与处理对象的子块相邻的子块 中是否包括至少一个非0变换系数;以及上下文索引导出单元,导出 对作为表示处理对象的上述变换系数是否为0的语法的有无变换系数 标记分配的上下文索引,上述上下文索引导出单元在判定为在与处理 对象的子块相邻的任一个子块中不存在非0变换系数时,基于该判定 结果,根据处理对象的子块中的处理对象的变换系数的位置,导出与 非0变换系数的发生概率低的情况、非0变换系数的发生概率高的情 况、以及非0变换系数的发生概率为高的情况和低的情况之间的中间 程度的情况分别对应的上述上下文索引。
在以上所示的变形例5-1、5-4、5-6、5-7的活动图像解码装置1 中,上述上下文索引导出单元在判定为在与处理对象的子块相邻的2 个以上的子块中不存在非0变换系数时,基于该判定结果,根据处理 对象的子块中的处理对象的变换系数的位置而导出与非0变换系数的 发生概率低的情况、非0变换系数的发生概率高的情况以及非0变换 系数的发生概率为高的情况和低的情况之间的中间程度的情况分别对 应的上述上下文索引,所以能够实现编码效率的提高。尤其适合在处 理对象的子块内的左上的位置中分配非0变换系数的发生概率高的情 况的结构。
在以上所示的变形例5-1~5-4、5-6、5-7的活动图像解码装置1 中,上述上下文索引导出单元在判定为在与处理对象的子块相邻的1 个以上的子块中存在非0变换系数且判定为在1个以上的子块中不存 在非0变换系数时,基于该判定结果,根据处理对象的子块中的处理 对象的变换系数的位置而导出与非0变换系数的发生概率低的情况、 非0变换系数的发生概率高的情况以及非0变换系数的发生概率为高 的情况和低的情况之间的中间程度的情况分别对应的上述上下文索 引,所以能够实现编码效率的提高。尤其适合在判定为在右相邻的子 块中存在非0变换系数且在下相邻的子块中存在非0变换系数的子块 中,对处理对象的子块内的第一行分配非0变换系数的发生概率高的 情况的结构。在与此相对称的含以上,尤其适合在判定为在下相邻的 子块中存在非0变换系数且在右相邻的子块中存在非0变换系数的子 块中,对处理对象的子块内的第一列分配非0变换系数的发生概率高的情况的结构。
在以上所示的变形例5-1、5-3、5-4、5-5、5-6、5-7的活动图像解 码装置1中,上述上下文索引导出单元在对处理对象的子块判定为在2 个以上的子块中存在非0变换系数时,基于该判定结果,固定地导出 与非0变换系数的发生概率高的情况对应的上述上下文索引,所以能 够简化上下文索引的导出。
根据以上所示的变形例5-1~5-4、5-6、5-7的结构,能够实现更 加适合实际的变换系数的发生概率的上下文导出模式,由此,能够实 现编码效率的提高。
[关于变形例5和变形例1的组合]
另外,变形例5还能够与变形例1进行组合。如上所述,变形例 5是在各模式中以如下条件设定上下文索引的值的阶段的划分的结构。 即,在模式0中,根据xB+yB而设定上下文索引的值的阶段的划分。 在模式1中,根据yB而设定上下文索引的值的阶段的划分。在模式2 中,根据xB而设定上下文索引的值的阶段的划分。并且,在模式3中, 根据xB+yB而设定上下文索引的值的阶段的划分,或者,一致地设定 与非0变换系数的发生概率高的情况对应的上下文索引的值。
在使用了变形例1的扫描顺序的变换系数的解码处理中,通过根 据上述变形例5的条件而导出上下文索引,能够抑制子块内的逆扫描 顺序的上下文索引的0和1的转换次数。
更具体而言,在变形例5-1~5-5的模式0~3中,也可以使用以下 的扫描顺序。
在模式0的情况下,如图22(a)所示,系数解码控制部123也可 以应用斜向扫描(Up-right diagonal scan)。
在模式1的情况下,如图22(b)所示,系数解码控制部123应 用水平方向优先扫描。即,在 (significant_coeff_group_flag[xCG+1][yCG], significant_coeff_group_flag[xCG][yCG+1])=(1,0)的情况下,系 数解码控制部123也可以应用水平方向优先扫描。
在模式2的情况下,如图22(c)所示,系数解码控制部123应用 垂直方向优先扫描。即,在(significant_coeff_group_flag[xCG+1][yCG], significant_coeff_group_flag[xCG][yCG+1])=(0,1)的情况下,系 数解码控制部123也可以应用垂直方向优先扫描。
在模式3的情况下,如图22(d)所示,系数解码控制部123也 可以应用斜向扫描(Up-right diagonal scan)。
<<变形例6:参照绝对的坐标>>
以下,使用图34以及图35,说明除了子块内的坐标(xB,yB) 之外,还使用TU中的系数位置(xC,yC)而导出上下文索引的变形 例。
在本变形例中,有无相邻子块系数上下文导出部124c通过上述式 (A)而求出模式索引idxCG的同时,根据由此获得的模式0~3,通 过图34所示的方法而导出上下文索引。
图34是表示通过从式(A)获得的模式索引idxCG,用于从处理 对象的频率成分的子块内的坐标导出上下文索引的伪码的再又一例的 图。图35是表示基于图33所示的伪码的上下文索引导出方法中的上 下文索引的值的配置的图。
参照图34以及图35说明在模式0~3的情况下分别导出的上下文 索引的值,则如下所述。
(在模式0的情况下)
在模式0的情况下,有无相邻子块系数上下文导出部124c通过 sigCtx=(xB+yB<=2)?1:0而导出上下文索引。
即,在模式0的情况下,与上述实施例的模式0的情况相同。因 此,上下文索引的值成为如图35(a)所示的配置。
(在模式1的情况下)
在模式1的情况下,有无相邻子块系数上下文导出部124c根据系 数位置(xC,yC)的Y坐标yC而导出上下文索引。
在yC=0的情况下,有无相邻子块系数上下文导出部124c导出 sigCtx=2。因此,上下文索引的值成为如图35(e)所示的配置。即, 在yC=0的情况下,如图35(e)所示,在子块的第一行(上端)中, 上下文索引的值成为2。
相对于此,在不是yC=0的情况下,有无相邻子块系数上下文导 出部124c通过sigCtx=(yB<=1)?1:0而导出上下文索引。
因此,如图35(b)所示,在子块的第一行以及第二行中,上下 文索引的值成为1,在子块的第三行以及第四行中,上下文索引的值成 为0。
(在模式2的情况下)
在模式2的情况下,有无相邻子块系数上下文导出部124c根据系 数位置(xC,yC)的X坐标xC而导出上下文索引。
在xC=0的情况下,有无相邻子块系数上下文导出部124c导出 sigCtx=2。因此,上下文索引的值成为如图35(f)所示的配置。即, 在xC=0的情况下,如图35(f)所示,在子块的第一列(左端)中, 上下文索引的值成为2。
相对于此,在不是xC=0的情况下,有无相邻子块系数上下文导 出部124c通过sigCtx=(xB<=1)?1:0而导出上下文索引。
因此,如图35(c)所示,在子块的第一列以及第二列中,上下文 索引的值成为1,在子块的第三列以及第四列中,上下文索引的值成为 0。
(在模式3的情况下)
在模式3的情况下,有无相邻子块系数上下文导出部124c通过 sigCtx=(xB+yB<=4)?2:1而导出上下文索引。
因此,在模式3的情况下,若子块内的坐标(xB,yB)的水平方 向的坐标xB和垂直方向的坐标yB之和为4以下,则上下文索引的值 为“1”,否则上下文索引的值为“0”。
由此,上下文索引的值成为如图35(d)所示的配置。
[作用和效果]
变形例6的活动图像解码装置1包括:算术解码装置,关于通过 将对象图像按每个单位区域进行频率变换而按每个频率成分获得的各 变换系数,对将表示该变换系数的各种语法进行算术编码而获得的编 码数据进行解码。算术解码装置包括:子块分割单元,将与处理对象 的单位区域对应的对象频域分割为预定的尺寸的子块;有无子块系数 标记解码单元,关于通过上述子块分割单元而分割的各子块,对表示 在该子块中是否包括至少一个非0变换系数的有无子块系数标记进行 解码;方向性判定单元,基于与处理对象的子块相邻的子块中的有无 子块系数标记,判定变换系数的分布的方向性;以及上下文索引导出单元,导出对作为表示上述变换系数是否为0的语法的有无变换系数 标记分配的上下文索引,上述上下文索引导出单元根据由上述方向性 判定单元判定出的方向性,使用处理对象的子块在处理对象的单位区 域中的坐标,导出上述上下文索引。
根据上述结构,在模式1以及2中,xC=0或者yC=0的情况下, 使用与非0变换系数的发生概率高的情况对应的上下文索引。
在存在横边缘或纵边缘的情况下,存在非0变换系数在xC=0的 区域或者yC=0的区域中集中出现的倾向。
根据上述结构,由于在存在横边缘或、纵边缘的可能性高的情况 下,使用与非0变换系数的发生概率高的情况对应的上下文索引,所 以能够实现编码效率的提高。
另外,在模式1(模式2)中,也可以除了yC=0(xC=0)的判 定之外,或者,代替该判定,判定是否为xC=0且yC=0,根据判定 结果而导出上下文索引。
<<变形例7:一致高概率模式>>
以下,使用图36~图38,说明在相邻子块中非0变换系数多的可 能性高的情况、在处理对象的子块中一致地使用上下文索引的变形例。
在相邻子块中非0变换系数多的可能性高的情况下,在处理对象 的子块内可能一致地产生非0变换系数高的状况。
使用图36,说明在处理对象的子块内,与该子块内的坐标无关地, 一致地成为非0变换系数高的状况时的例。
在相对于图36所示的处理对象的子块X的右相邻子块A、下相邻 子块B以及右下相邻子块C的全部中存在非0变换系数的情况下,在 子块X中的非0变换系数的发生概率存在与该子块X中的坐标无关地 一致高的倾向。
在这样的情况下,优选不使用表示中间等级的发生概率的上下文 索引1,而是使用表示高等级的发生概率的上下文索引2。
在本变形例中,有无相邻子块系数上下文导出部124c通过以下式 (C),求出作为从相邻子块(右相邻以及下相邻)中的有无子块系数 标记确定上下文导出模式的索引的模式索引idxCG。
idxCG=significant_coeff_group_flag[xCG+1][yCG]+(significant_coe ff_group_flag[xCG][yCG+1]<<1) +(significant_coeff_group_flag[xCG+1][yCG+1]<<2)…(C)
通过上述式(C),模式索引idxCG取0~7的值。有无相邻子块 系数上下文导出部124c根据模式索引idxCG的值,按照以下的5个模 式导出上下文索引。
(模式0)在右相邻子块(xCG+1,yCG)、下相邻子块(xCG, yCG+1)以及右下相邻子块(xCG+1,yCG+1)的全部中有无子块 系数标记的值为0的情况。
(模式1)在右相邻子块(xCG+1,yCG)以及下相邻子块(xCG, yCG+1)的任一个中有无子块系数标记的值都为0的情况。
(模式2)在右相邻子块(xCG+1,yCG)以及下相邻子块(xCG, yCG+1)中的一个中有无子块系数标记的值为1、另一个中有无子块 系数标记的值为0的情况。
(模式3)在右相邻子块(xCG+1,yCG)以及下相邻子块(xCG, yCG+1)的双方中有无子块系数标记的值为1的情况。
(模式4)在右相邻子块(xCG+1,yCG)、下相邻子块(xCG, yCG+1)以及右下相邻子块(xCG+1,yCG+1)的全部中有无子块 系数标记的值为1的情况。
在本变形例中,有无相邻子块系数上下文导出部124c通过上述式 (C)而求出模式索引idxCG,根据由此获得的模式0~4,通过图37 所示的方法而导出上下文索引。
使用图37以及图38说明具体的上下文索引导出方法,则如下所 述。
图37是表示通过从式(C)获得的模式索引idxCG,用于从处理 对象的频率成分的子块内的坐标导出上下文索引的伪码的再又一例的 图。图38是表示基于图37所示的伪码的上下文索引导出方法中的上 下文索引的值的配置的图。另外,图38所示的网格部分是从图52所 示的上下文索引的值的配置的变更部分。
参照图37说明在模式0~4的情况下分别导出的上下文索引的值, 则如下所述。
(在模式4的情况下)
首先,有无相邻子块系数上下文导出部124c判定是否为模式4。 在模式4的情况下,如图38(e)所示,有无相邻子块系数上下文导出 部124c与xB以及yB的值无关地,在子块内一致地导出sigCtx=2。
在不是模式4的情况下,有无相邻子块系数上下文导出部124c以 下判定是否为模式0~3。另外,在图37中,“idxCG&3”计算idxCG 的下位2比特,由此,提取右相邻子块(xCG+1,yCG)以及下相邻 子块(xCG,yCG+1)的有无子块系数标记的值。
(在模式0的情况下)
在模式0的情况下,有无相邻子块系数上下文导出部124c通过 sigCtx=(xB+yB<=2)?1:0而导出上下文索引。
即,在模式0的情况下,与上述实施例的模式0的情况相同。因 此,上下文索引的值成为如图38(a)所示的配置。
(在模式1的情况下)
在模式1的情况下,有无相邻子块系数上下文导出部124c通过 sigCtx=(yB<=1)?1:0而导出上下文索引。
因此,如图38(b)所示,在子块的第一行以及第二行中,上下 文索引的值成为1,在子块的第三行以及第四行中,上下文索引的值成 为0。
(在模式2的情况下)
在模式2的情况下,有无相邻子块系数上下文导出部124c通过 sigCtx=(xB<=1)?1:0而导出上下文索引。
因此,如图38(c)所示,在子块的第一列以及第二列中,上下文 索引的值成为1,在子块的第三列以及第四列中,上下文索引的值成为 0。
(在模式3的情况下)
在模式3的情况下,有无相邻子块系数上下文导出部124c通过 sigCtx=(xB+yB<=4)?2:1而导出上下文索引。
因此,在模式3的情况下,若子块内的坐标(xB,yB)的水平方 向的坐标xB和垂直方向的坐标yB之和为4以下,则上下文索引的值 为“1”,否则上下文索引的值为“0”。
由此,上下文索引的值成为如图38(d)所示的配置。
如以上所述,在模式0~3的情况下,上下文索引的值的配置分别 与图52(a)~(d)所示的配置的例相同。
[作用和效果]
变形例7的活动图像解码装置包括:算术解码装置,关于通过将 对象图像按每个单位区域进行频率变换而按每个频率成分获得的各变 换系数,对将表示该变换系数的各种语法进行算术编码而获得的编码 数据进行解码。算术解码装置包括:子块分割单元,将与处理对象的 单位区域对应的对象频域分割为预定的尺寸的子块;有无子块系数标 记解码单元,关于通过上述子块分割单元而分割的各子块,对表示在 该子块中是否包括至少一个非0变换系数的有无子块系数标记进行解 码;有无相邻子块系数判定单元,基于上述有无子块系数标记,对与 处理对象的子块相邻的子块分别判定是否包括至少一个非0变换系数; 以及上下文索引导出单元,导出对作为表示上述变换系数是否为0的 语法的有无变换系数标记分配的上下文索引,上述上下文索引导出单 元在上述判定的结果,在预定的数目以上的子块中包括至少一个非0 变换系数的情况下,在处理对象的子块中一致地导出与变换系数的发 生概率高的情况对应的上述上下文索引。
根据上述结构,作为判定有无子块系数标记的对象的相邻子块, 除了右相邻子块A以及下相邻子块B之外,还使用右下相邻子块C。
基于上述对象的相邻子块中的有无子块系数标记的状态,判定在 处理对象的子块X中是否为非0变换系数的发生概率一致地高的状态。
此外,在处理对象的子块X中非0变换系数的发生概率一致地高 的状态的情况下,在处理对象的子块X中一致地使用与非0变换系数 的发生概率高的情况对应的上下文索引。由此,能够实现编码效率的 提高。
在以上的说明中,说明了在全部相邻子块中有无子块系数标记的 值为1的情况下,一致地使用与非0变换系数的发生概率高的情况对 应的上下文索引的结构,但并不限定于此。
也可以是在预定的数目以上的相邻子块中,有无子块系数标记的 值为1的情况下,一致地使用与非0变换系数的发生概率高的情况对 应的上下文索引的结构。在预定的数目以上的相邻子块中,有无子块 系数标记的值为1的情况下,称为是在处理对象的子块X中非0变换 系数的发生概率一致地高的状态。因此,在该结构中,也能够获得与 上述变形例5的结构相同的效果。
<变形例8>
在非专利文献3中,进行了如下提案:在8×8TU中,将按每个 扫描方向不同的子块的形状统一为4×4子块,进一步,在8×8TU~ 32×32TU中,也根据在相邻子块中是否有非0变换系数,选择导出模 式,根据所选择的导出模式,从子块内的位置导出与有无变换系数标 记有关的上下文索引。此外,根据非专利文献3,进行了如下提案:关 于亮度的8×8TU,在扫描方向为斜向扫描的情况下和水平方向扫描或 者垂直方向扫描的情况下,区分与有无变换系数标记有关的上下文。
但是,在8×8TU的亮度的情况下,水平方向优先扫描以及垂直 方向优先扫描只在内部预测中出现,使用的频度比斜向扫描低。此外, 水平方向优先扫描和垂直方向优先扫描的与各索引模式idxCG对应的 子块内的系数位置中的非0变换系数的发生频度的倾向(水平高优先 扫描和垂直方向优先扫描时的非0变换系数的发生频度的平均)非常 类似于斜向扫描时的非0变换系数的发生频度的倾向。因此,能够共 享在8×8TU的亮度中的斜向扫描、和垂直方向优先扫描和水平方向优 先扫描时的与有无变换系数标记有关的上下文。
以下,使用图65、图66、图67、图68,说明简化8×8TU中的 与有无变换系数标记有关的上下文索引的导出,削减与亮度中的有无 变换系数标记有关的上下文数的变形例8。
图65是表示变形例8的有无系数标记解码部124中的与有无变换 系数标记有关的上下文索引的导出的动作的流程图。
(步骤SX101)
TU尺寸判定部124a判定处理对象的TU尺寸是否小于预定尺寸 (例如,8×8TU)。在处理对象的TU尺寸小于预定尺寸的情况下(步 骤SX101中“是”),TU尺寸判定部124a选择位置上下文导出部124b 作为上下文导出单元,并进入步骤SX104。除此之外,进入步骤SX102(步骤SX101中“否”)。
在判定中,例如使用以下式。
log2TrafoSize<THSize
另外,作为阈值THSize,例如使用3。在阈值THsize中使用了3 的情况下,判定为4×4TU小于预定尺寸。8×8TU、16×4TU、4×16TU、 16×16TU、32×4TU、4×32TU、32×32TU判定为是预定尺寸以上。
(步骤SX102)
TU尺寸判定部124a在处理对象的TU尺寸为预定尺寸(例如,8 ×8TU)以上的情况下(步骤SX101中“否”),判定处理对象的变 换系数的位置是否为DC。在处理对象的变换系数的位置为DC的情况 下(步骤SX102中“是”),TU尺寸判定部124a选择位置上下文导 出部124b作为上下文导出单元,并进入步骤SX104。在除此之外的情 况下,TU尺寸判定部124a选择有无相邻子块系数上下文导出部124c 作为上下文导出单元,并进入步骤SX103(步骤SX102中“否”)。另 外,处理对象的变换系数的位置是否为DC,例如使用变换系数的位置(xC,yC),能够根据xC和yC之和是否等于0来判定。即,能够通 过判定“xC+yC==0”的真伪来判定。
(步骤SX104)
在处理对象的TU尺寸小于预定尺寸(例如,8×8TU)(步骤 SX101中“是”)或者处理对象的变换系数的位置为DC的情况下(步 骤SX102中“是”),选择作为上下文导出单元的位置上下文导出部 124b导出与图66所示的变换系数的位置(xC,yC)对应的有无变换 系数标记的上下文索引ctxIdx。图66是表示对4×4TU中的亮度或者 色差中的各系数位置分配的上下文索引的图。如图66所示,4×4TU 分割为“0”~“9”的9个区域的同时,对该9个区域分别分配了上 下文索引。因此,4×4TU的上下文数为“9”。另外,在处理对象的 变换系数的位置为DC的情况下,对图66中的4×4TU的DC成分分 配的值作为直至4×4TU~32×32TU为止共同的上下文索引而被分配。
(步骤SX103)
在处理对象的TU尺寸为预定尺寸(例如,8×8TU)以上(步骤 SX101中“否”)且处理对象的变换系数的位置不是DC的情况下(步 骤SX102中“否”),选择作为上下文导出单元的有无相邻子块系数 上下文导出部124c根据在相邻子块中是否有非0变换系数,选择导出模式,根据所选择的导出模式,从子块内的位置导出与有无变换系数 标记有关的上下文索引sigCtx(ctxIdx)。
在步骤SX103中的有无相邻子块系数上下文导出部124c的与有无 变换系数标记有关的上下文索引ctxIdx的更具体的处理,如下所述。
(步骤SX103-1)
有无相邻子块系数上下文导出部124c根据在相邻子块中是否有非 0变换系数,求出与导出模式对应的对应的模式索引idxCG。模式索引 idxCG能够通过上述的式(A)而导出。
(步骤SX103-2)
从与求出的模式索引idxCG对应的导出模式和子块内的位置,导 出与有无变换系数标记有关的上下文索引sigCtx(ctxIdx)。由于与模 式索引idxCG对应的导出模式例如能够设为上述的变形例5-1,所以省 略详细的说明。即,在模式索引idxCG为模式0的情况下,上下文索 引的值成为如图29(a)所示的配置。在模式索引idxCG为模式1的情 况下,上下文索引的值成为如图29(b)所示的配置。在模式索引idxCG 为模式2的情况下,上下文索引的值成为如图29(c)所示的配置。在 模式3的情况下,上下文索引的值成为如图29(d)所示的配置。
(步骤SX103-3)
有无相邻子块系数上下文导出部124c对在步骤SX103-2中求出的 上下文索引sigCtx(ctxIdx)加上预定的偏移量值,导出与处理对象的 变换系数有关的上下文索引sigCtx(ctxIdx)。
以下,关于步骤SX103-3中的预定的偏移量值的导出,以亮度为 例进行说明。图67是表示步骤SX103-3的进一步详细的动作的流程图。
(步骤SX201)
判定处理对象的子块位置(xCG,yCG)是否在高频。例如,能够 通过xCG+yCG>TH1来判定。在xCG和yCG之和大于预定阈值TH1 的情况下,判定为高频,在不满足的情况下,判定为低频。阈值TH1 例如能够设为0。此时,将包括DC成分的子块处理为低频。
(步骤SX202)
在处理对象的子块位置(xCG,yCG)在高频的情况下(步骤SX201 中“否”),对上下文索引sigCtx(ctxIdx)加上用于识别低频和高频 的上下文的预定的偏移量值offsetHighFreq。即,通过
sigCtx=sigCtx+offsetHighFreq
来求出sigCtx(ctxIdx)。另外,图67的步骤SX202所示的“+=” 运算符在对A和B如“A+=B”这样使用的情况下,意味着“A=A+B”。 以下,相同。
另外,在本实施例中,由于将非0变换系数的发生频度以“高”、 “中”、“低”的3个阶段来表示,所以作为预定的偏移量值 offsetHighFreq而使用“3”。
(步骤SX203)
判定处理对象的TU尺寸是否为预定尺寸(例如,8×8TU)。即, 通过判定
log2TrafoSize==THSize
的真伪来判定处理对象的TU尺寸是否为预定尺寸。
另外,作为阈值THSize,例如使用表示8×8TU的尺寸的“3”。
(步骤SX204)
在处理对象的TU尺寸为预定尺寸(例如,8×8TU)的情况下(步 骤SX203中“是”),为了识别满足阈值THSize的TU和除此之外的 TU的上下文,对上下文索引ctxIdx加上预定的偏移量值offsetNA。即, 计算
sigCtx=sigCtx+offsetNA。
这里,为了识别4×4TU和8×8TU的上下文,偏移量值offsetNA 例如设为图66所示的4×4TU的上下文数“9”。
(步骤SX205)
在处理对象的TU尺寸不是预定尺寸(例如,8×8TU)的情况下 (步骤SX203中“否”),为了识别满足阈值THSize的TU(8×8TU) 和除此之外的TU(16×16TU~32×32TU)的上下文,加上预定的偏 移量值offsetNB。即,
sigCtx=sigCtx+offsetNB
这里,为了识别8×8TU和16×16TU~32×32TU的上下文,偏 移量值offsetNB例如设为图66所示的4×4TU的上下文数“9”和8× 8TU的上下文数“6”之和“15”。8×8TU的上下文数为“6”是因为 在本实施例中以“高”、“中”、“低”的3个阶段来表示非0变换 系数的发生频度且在低频和高频中分别具有上下文数“3”。
以上,若在变形例8中,将用于识别上下文索引的各偏移量值 offsetHighFreq、offsetNA、offsetNB分别设为
offsetHighFreq=3、offsetNA=9、offsetNB=15
,则与有关亮度的有无变换系数标记有关的上下文索引的分配如 图68所示那样取0~20为止的值,分别为
·ctxIdx=0是DC用的上下文索引
·ctxIdx=1~8是4×4TU用的上下文索引
·ctxIdx=9~11是8×8TU用的上下文索引(低频)
·ctxIdx=12~14是8×8TU用的上下文索引(高频)
·ctxIdx=15~17是16×16TU~32×32TU用的上下文索引(低 频)
·ctxIdx=18~20是16×16TU~32×32TU用的上下文索引(高 频)
,成为共21个上下文数。
这里,关于上述结构的优点,进行与现有技术的比较例(非专利 文献3)的对比的同时进行说明。
<与比较技术有关的说明>
以下,说明比较技术(非专利文献3)的有无系数标记解码部中 的与有无变换系数标记有关的上下文索引的导出。
在变形例8和非专利文献3中,由于图65所示的上下文导出单元 的选择方法的流程是共同的,所以省略说明。此外,在图65的步骤 SX103中,由于直到步骤SX103-1~步骤SX103-2为止的处理在变形 例8和比较技术中是共同的,所以省略详细的说明。即,在比较技术 中,也根据在相邻子块中是否有非0变换系数,通过上述的式(X)来 导出与导出模式对应的对应的模式索引idxCG。之后,从与导出的模式 索引idxCG对应的导出模式和子块内的位置,导出与有无变换系数标 记有关的上下文索引。由于与模式索引idxCG对应的导出模式与上述 的变形例5-1相同,所以省略详细的说明。
在模式索引idxCG为模式0的情况下,上下文索引的值成为如图 29(a)所示的配置。在模式索引idxCG为模式1的情况下,上下文索 引的值成为如图29(b)所示的配置。在模式索引idxCG为模式2的情 况下,上下文索引的值成为如图29(c)所示的配置。在模式3的情况 下,上下文索引的值成为如图29(d)所示的配置。
以下,使用图74,详细说明在比较技术中的图65的步骤SX103-3 中的、对从与模式索引idxCG对应的导出模式和子块内的位置求出的 上下文索引加上各条件的偏移量的动作。
关于在比较技术中如何执行相当于图65的步骤SX103-3的预定的 偏移量值的导出,以亮度的情况为例进行说明。如图74所示,在比较 技术中,如下执行相当于图65的步骤SX103-3的处理SX103-3P。
(步骤SY201)
判定处理对象的子块位置(xCG,yCG)是否在高频。
(步骤SY202)
在处理对象的子块位置(xCG,yCG)在高频的情况下(步骤SY201 中“是”),对上下文索引sigCtx加上用于识别低频和高频的上下文 的预定的偏移量值。在非专利文献3中,通过sigCtx=sigCtx+3而计 算。
(步骤SY203)
判定处理对象的TU尺寸是否为8×8TU。
(步骤SY204)
在处理对象的TU尺寸为8×8TU的情况下(步骤SY203中“是”), 判定扫描方向是否为斜向扫描(Up-right diagonal scan)。
(步骤SY205)
在处理对象的TU中的扫描方向为斜向扫描的情况下(步骤SY204 中“是”),对上下文索引sigCtx加上用于识别斜向扫描和水平方向 优先扫描或者垂直方向优先扫描的上下文的预定的偏移量值。在比较 技术中,通过sigCtx=sigCtx+9而计算。
(步骤SY206)
在处理对象的TU中的扫描方向不是斜向扫描的情况下,即是水 平方向优先扫描或者垂直方向优先扫描的情况下(步骤SY204中 “否”),对上下文索引sigCtx加上用于识别斜向扫描和水平方向优 先扫描或者垂直方向优先扫描的上下文的预定的偏移量值。
在比较技术中,通过sigCtx=sigCtx+15而计算。
(步骤SY207)
在处理对象的TU尺寸不是8×8TU的情况下,即TU尺寸是16 ×16、32×32、4×16、16×4、8×32或者32×8的情况下(步骤SY203 中“否”),加上用于识别8×8TU的上下文的预定偏移量值。在比较 技术中,通过sigCtx=sigCtx+21而计算。
以上,比较技术中的与有关亮度的有无变换系数标记有关的上下 文索引的分配如图69所示那样取0~26为止的值,
·ctxIdx=0是DC用的上下文索引
·ctxIdx=1~8是4×4TU用的上下文索引
·ctxIdx=9~11是8×8TU的斜向扫描用的上下文索引(低频)
·ctxIdx=12~14是8×8TU的斜向扫描用的上下文索引(高频)
·ctxIdx=15~17是8×8TU的水平方向优先扫描、垂直方向优先 扫描用的上下文索引(低频)
·ctxIdx=18~20是8×8TU的水平方向优先扫描、垂直方向优先 扫描用的上下文索引(高频)
·ctxIdx=21~23是16×16TU~32×32TU用的上下文索引(低 频)
·ctxIdx=24~26是16×16TU~32×32TU用的上下文索引(高频)
,成为共27个上下文数。
在比较技术中,关于亮度的8×8TU,在扫描方向为斜向扫描的情 况下和水平方向优先扫描或者垂直方向优先扫描的情况下,区分与有 无变换系数标记有关的上下文。另一方面,在变形例8中,利用与水 平方向优先扫描和垂直方向优先扫描的各索引模式idxCG对应的子块 内的系数位置中的非0变换系数的发生频度的倾向(水平高优先扫描 和垂直方向优先扫描时的非0变换系数的发生频度的平均)非常类似 于斜向扫描时的非0变换系数的发生频度的倾向的特性,共享8×8TU 的亮度中的斜向扫描、和垂直方向优先扫描和水平方向优先扫描时的 与有无变换系数标记有关的上下文,从而削减扫描方向的与上下文的转换有关的分岐,且与比较技术相比,将与有关亮度的有无变换系数 标记有关的上下文索引的总数从26个削减到20个,共削减6个,所 以能够削减用于保持上下文的状态所需的存储器尺寸。此外,在发明 人进行的实验中,确认了在使用图29(a)~(d)作为与模式索引idxCG 对应的导出模式的情况下,编码效率不会因共享各上下文索引8×8TU 的亮度中的斜向扫描、和垂直方向优先扫描和水平方向优先扫描时的 与有无变换系数标记有关的上下文而下降。
[作用和效果]
以上,根据变形例8的结构,与比较技术相比,起到抑制编码效 率的下降的同时,与有无变换系数标记有关的上下文索引的导出处理 的简化以及通过削减上下文数而削减存储器尺寸的效果。
<变形例8-1>
在变形例8中,作为直到8×8TU~32×32TU为止与模式索引 idxCG对应的子块内的上下文索引的配置,与变形例5-1相同地,使用 图29(a)~图29(d)所示的模式来说明,但并不限定于此。
根据发明人进行的实验,作为在8×8TU~32×32TU中亮度的斜 向扫描、和水平方向优先扫描和垂直方向优先扫描时的非0变换系数 的平均的发生频度的倾向,确认了如下的情况。
即,在模式索引idxCG为模式0的情况下,即在右相邻子块(xCG +1,yCG)以及下相邻子块(xCG,yCG+1)的任一个中有无子块系 数标记的值都为0的情况下,有如以下的倾向P0-1~P0-3。
·P0-1:子块内的系数位置(xB,yB)成为xB+yB<2的位置的 非0变换系数的发生频度平均高。
·P0-2:子块内的系数位置(xB,yB)成为2≤xB+yB<3或者 2≤xB+yB<4的位置的非0变换系数的发生频度为中间程度。
·P0-3:子块内的系数位置(xB,yB)成为xB+yB≥3或者xB +yB≥4的位置中非0变换系数的发生频度低。
因此,考虑上述倾向,也可以在8×8TU~32×32TU中,将模式 0中的上下文索引的配置设为变形例5-6中的图61(a)或者变形例5-7 中的图63(a)。
在图61(a)的情况下,能够通过如下式而导出上下文索引。
sigCtx=(xB+yB<2)?2:(xB+yB<3)?1:0
在图63(a)的情况下,能够通过如下式而导出上下文索引。
sigCtx=(xB+yB<2)?2:(xB+yB<4)?1:0
以下,将上述的判定设为“x以下”还是设为“小于x+1”是能 够适当地变更的事项。
在模式索引idxCG为模式1的情况下,在右相邻子块(xCG+1, yCG)中有无子块系数标记的值为1且下相邻子块(xCG,yCG+1) 的有无子块系数标记的值为0时,有如以下的倾向P1-1~P1-3。
·P1-1:子块内的系数位置(xB,yB)成为yB<1的位置的非0 变换系数的发生频度平均高。
·P1-2:子块内的系数位置(xB,yB)成为1≤yB<2或者1≤yB <3的位置的非0变换系数的发生频度为中间程度。
·P1-3:子块内的系数位置(xB,yB)成为yB≥2或者yB≥3的 位置的非0变换系数的发生频度低。
因此,考虑上述倾向,在8×8TU~32×32TU中,也可以将模式 1中的上下文索引的配置代替图29(b)而设为图33(b)。
在图33(b)的情况下,能够通过如下式而导出上下文索引。
sigCtx=(yB<1)?2:(yB<3)?1:0
通过关于模式1设为上述结构,能够与变形例8相同地,抑制编 码效率的下降,简化有无变换系数标记的上下文索引的导出。
在模式索引idxCG为模式2的情况下,在右相邻子块(xCG+1, yCG)中有无子块系数标记的值为0且下相邻子块(xCG,yCG+1) 的有无子块系数标记的值为1时,有如下的倾向P2-1~P2-3。
·P2-1:子块内的系数位置(xB,yB)成为xB<1的位置的非0 变换系数的发生频度平均高。
·P2-2:子块内的系数位置(xB,yB)成为1≤xB<2或者1≤xB <3的位置的非0变换系数的发生频度为中间程度。
·P2-3:子块内的系数位置(xB,yB)成为xB≥2或者xB≥3的 位置中非0变换系数的发生频度低。
因此,考虑上述倾向,在8×8TU~32×32TU中,也可以将模式 2中的上下文索引的配置代替图29(c)而设为图33(c)。
在图33(c)的情况下,能够通过如下式而导出上下文索引。
sigCtx=(xB<1)?2:(xB<3)?1:0
通过关于模式2设为上述结构,能够与变形例8相同地,抑制编 码效率的下降,简化有无变换系数标记的上下文索引的导出。
在模式索引idxCG为模式3的情况下,在右相邻子块(xCG+1, yCG)中有无子块系数标记的值为1且下相邻子块(xCG,yCG+1) 的有无子块系数标记的值为1时,有如以下的倾向P3-1。
·P3-1:与子块内的系数位置(xB,yB)无关地,非0变换系数 的发生频度平均高或者为中间程度。
因此,考虑上述倾向,在8×8TU~32×32TU中,也可以将模式 3中的上下文索引的配置在图29(d)中代替表示非0变换系数的发生 频度高的“2”而设为表示非0变换系数的发生频度为中间程度的“1”。
此时,能够通过如下式而导出上下文索引。
sigCtx=1
[作用和效果]
[[关于模式0]]
以上,根据变形例8-1的结构,在活动图像解码装置1中,上述 上下文索引导出单元关于右相邻的右相邻子块以及下相邻的下相邻子 块判定有无子块系数标记,在判定为在右相邻子块以及下相邻子块的 双方中不存在非0变换系数时,基于该判定结果,在表示子块内的系 数位置的xB和yB之和为第一阈值以下的情况下,导出与非0变换系 数的发生概率高的情况对应的上述上下文索引,在上述xB和yB之和 大于第一阈值且为第二阈值以下的情况下,导出与非0变换系数的发 生概率为中间程度的情况对应的上述上下文索引,在上述xB和yB之 和大于第二阈值的情况下,导出与非0变换系数的发生概率低的情况 对应的上述上下文索引,能够实现更加适合实际的变换系数的发生概 率的上下文导出模式,由此,能够进一步抑制编码效率的下降的同时, 简化上下文索引的导出。尤其,通过将第一阈值设定为2、将第二阈值 设定为3,能够导出更加适合实际的非0变换系数的发生概率的适当的 上下文索引。尤其,在直到8×8TU~32×32TU为止将上下文索引的 导出共同化的情况下,通过将第一阈值设定为1、将第二阈值设定为2, 能够导出更加适合实际的非0变换系数的发生概率的适当的上下文索 引。此外,将第一阈值设定为2、将第二阈值设定为3,也适合。
[[关于模式1~2]]
以上,根据变形例8-1的结构,在活动图像解码装置1中,上述 上下文索引导出单元关于右相邻的右相邻子块以及下相邻的下相邻子 块判定有无子块系数标记,在判定为在右相邻子块或者下相邻子块的 任一个中不存在非0变换系数时,根据判定为不存在非0变换系数的 子块的相邻方向,选择表示子块内的系数位置的xB和yB中任一个系 数位置,在上述系数位置为第一阈值以下的情况下,导出与非0变换 系数的发生概率高的情况对应的上述上下文索引,在上述系数位置大 于第一阈值且为第二阈值以下的情况下,导出与非0变换系数的发生 概率为中间程度的情况对应的上述上下文索引,在上述系数位置大于第二阈值的情况下,导出与非0变换系数的发生概率低的情况对应的 上述上下文索引,能够实现更加适合实际的变换系数的发生概率的上 下文导出模式,由此,能够抑制编码效率的下降的同时,简化上下文 索引的导出。尤其,在直到8×8TU~32×32TU为止将上下文索引的 导出共同化的情况下,通过将第一阈值设定为0、将第二阈值设定为1, 能够导出更加适合实际的非0变换系数的发生概率的适当的上下文索 引。此外,将第一阈值设定为0、将第二阈值设定为2,也适合。
[[关于模式3]]
以上,根据变形例8-1的结构,在活动图像解码装置1中,上述 上下文索引导出单元关于右相邻的右相邻子块以及下相邻的下相邻子 块判定有无子块系数标记,在判定为在右相邻子块或者下相邻子块的 双方中存在非0变换系数时,基于该判定结果,固定地导出非0变换 系数的上下文索引。尤其,适合将固定地导出的非0变换系数的上下 文索引设定为表示非0变换系数的发生概率高的上下文索引。此外, 也适合将固定地导出的非0变换系数的上下文索引设定为表示非0变 换系数的发生概率为中间程度的上下文索引。由此,由于能够导出更 加适合实际的变换系数的发生概率的固定的上下文索引,所以能够抑 制编码效率的降低的同时,简化上下文索引的导出。
<变形例8-2>
在变形例8~变形例8-1中,将与模式索引idxCG对应的子块内 的上下文索引的配置,直到8×8TU~32×32TU为止设为共同化,但 并不限定于此。也可以根据扫描方向(扫描索引scanIdx),自适应性 地改变模式0~2的上下文索引的配置。由此,通过考虑每个扫描方向 的非0变换系数的发生频度的偏向而改变上下文索引的配置,与变形 例8~8-1相比,能够实现编码效率的改善。另外,在变形例8-2的情 况下,设为在有无相邻子块系数上下文导出部124c中,从外部输入扫 描方向(扫描索引scanIdx)。
图70表示根据扫描方向(扫描索引scanIdx)而改变子块内的上 下文索引的配置的情况下的导出与各模式索引idxCG对应的上下文索 引的伪码的一例。
根据发明人进行的实验,作为在8×8TU中斜向扫描、水平方向 优先扫描、垂直方向扫描时的模式0中的、各个非0变换系数的发生 频度的倾向,确认了如下情况。
<在斜向扫描的情况下(scanIdx==0)>
·子块内的系数位置(xB,yB)成为xB+yB<2的位置的非0 变换系数的发生频度平均高。
·子块内的系数位置(xB,yB)成为2≤xB+yB<3的位置的非 0变换系数的发生频度为中间程度。
·子块内的系数位置(xB,yB)成为xB+yB≥3的位置中非0 变换系数的发生频度低。
因此,考虑上述倾向,适合将斜向扫描时的模式0中的上下文索 引的配置设为图71(a)。
在图71(a)的情况下,能够通过如下式而导出上下文索引。
sigCtx=(xB+yB<2)?2:(xB+yB<3)?1:0
此外,也可以将上述式进行扩展,通过如下式来表示。
sigCtx=(xB+yB<TH1)?2:(xB+yB<TH2)?1:0
即,在xB+yB小于阈值TH1的情况下,导出表示非0变换系数 的发生频度高的上下文索引,在xB+yB为阈值TH1以上且小于阈值 TH2的情况下,导出表示非0变换系数的发生频度为中间程度的上下 文索引,在除此之外的情况下(xB+yB为阈值TH2以上的情况下), 导出表示非0变换系数的发生频度低的上下文索引。图71(a)的情况 为阈值TH1=2、阈值TH2=3的情况。
<在水平方向优先扫描的情况下(scanIdx==1)>
在水平方向优先扫描的情况下,有在水平方向的频率成分中非0 变换系数集中的倾向。尤其,在模式0的情况下,
·子块内的系数位置(xB,yB)成为xB+2×yB<3的位置的非 0变换系数的发生频度平均高。
·子块内的系数位置(xB,yB)成为3≤xB+2×yB<5的位置的 非0变换系数的发生频度为中间程度。
·子块内的系数位置(xB,yB)成为xB+2×yB≥5的位置中非 0变换系数的发生频度低。
因此,考虑上述倾向,适合将垂直方向优先扫描时的模式0中的 上下文索引的配置设为图71(b)。
在图71(b)的情况下,能够通过如下式而导出上下文索引。
sigCtx=(xB+2*yB<3)?2:(xB+2*yB<5)?1:0
此外,也可以将上述式进行扩展,通过如下式来表示。
sigCtx=(W1*xB+W2*yB<TH3)?2:(W1*xB+W2*yB<TH4)? 1:0
即,在加权和“W1×xB+W2×yB”小于阈值TH3的情况下,导 出表示非0变换系数的发生频度高的上下文索引,在加权和“W1×xB +W2×yB”为阈值TH3以上且小于阈值TH4的情况下,导出表示非0 变换系数的发生频度为中间程度的上下文索引,在除此之外的情况下(加权和“W1×xB+W2×yB”为阈值TH4以上的情况下),导出表 示非0变换系数的发生频度低的上下文索引。图71(b)的情况为加权 系数W1=1、加权系数W2=2、阈值TH3=3、阈值TH4=5的情况。 此外,在水平方向优先扫描的情况下,由于在水平方向上非0变换系 数集中,所以也可以设为加权系数W1=1、加权系数W2=1、阈值TH3 =1、阈值TH4=2,简化加权的计算,导出图29(b)所示的上下文索 引。此外,也可以设为加权系数W1=1、加权系数W2=3、阈值TH3 =4、阈值TH4=8,设为图72(a)所示的上下文索引的配置。
<在垂直方向优先扫描的情况下(scanIdx==2)>
在垂直方向优先扫描的情况下,有在垂直方向的频率成分中非0 变换系数集中的倾向。尤其,在模式0的情况下,
·子块内的系数位置(xB,yB)成为2×xB+yB<3的位置的非 0变换系数的发生频度平均高。
·子块内的系数位置(xB,yB)成为3≤2×xB+yB<5的位置的 非0变换系数的发生频度为中间程度。
·子块内的系数位置(xB,yB)成为2×xB+yB≥5的位置中非 0变换系数的发生频度低。
因此,考虑上述倾向,适合将垂直方向优先扫描时的模式0中的 上下文索引的配置设为图71(c)。
在图71(c)的情况下,能够通过如下式而导出上下文索引。
sigCtx=(2*xB+yB<3)?2:(2*xB+yB<5)?1:0
此外,也可以将上述式进行扩展,通过如下式来表示。
sigCtx=(W3*xB+W4*yB<TH5)?2:(W3*xB+W4*yB<TH6)? 1:0
即,在加权和“W3×xB+W4×yB”小于阈值TH5的情况下,导 出表示非0变换系数的发生频度高的上下文索引,在加权和“W3×xB +W4×yB”为阈值TH5以上且小于阈值TH6的情况下,导出表示非0 变换系数的发生频度为中间程度的上下文索引,在除此之外的情况下(在加权和“W3×xB+W4×yB”为阈值TH6以上的情况下),导出 表示非0变换系数的发生频度低的上下文索引。图71(c)的情况为加 权系数W3=2、加权系数W4=1、阈值TH5=3,阈值TH6=5的情况。 此外,在垂直方向优先扫描的情况下,由于在垂直方向上非0变换系 数集中,所以也可以设为加权系数W1=1、加权系数W2=1、阈值TH5 =1、阈值TH6=2,简化加权的计算,导出图29(c)所示的上下文索 引。此外,也可以设为加权系数W1=3、加权系数W2=1、阈值TH5 =4、阈值TH6=8,设为图72(b)所示的上下文索引的配置。
(在模式1~3的情况下)
如在图71(d)~(f)中分别所示,是与图29(b)、图29(c)、 图29(d)的变形例5-1相同的导出方法、相同的值的配置。
另外,关于模式1~3,也可以是与变形例5-1~变形例5-7中的模 式1~3中的任一个相同的导出方法、相同的值的配置。
另外,关于模式1以及模式2,也可以考虑每个扫描方向的方向 性的非0变换系数的偏向,与模式0相同地,根据每个扫描方向而自 适应性地改变上下文索引的配置。例如,通过图73所示的伪码而导出 上下文索引。另外,关于模式0、模式3,由于与图70所示的伪码的 模式0、模式3相同,所以省略说明。
(在模式1的情况下)
在斜向扫描的情况下,通过如下式来导出图29(b)所示的上下 文索引。
sigCtx=(yB==0)?2:(yB==1)?1:0
在水平方向优先扫描的情况下,通过如下式来导出图72(a)所示 的上下文索引。
sigCtx=(xB+3*yB<4)?2:(xB+3*yB<8)?1:0
在垂直方向优先扫描的情况下,通过如下式来导出图72(b)所 示的上下文索引。
sigCtx=(3*xB+yB<4)?2:(3*xB+yB<8)?1:0
(在模式2的情况下)
在斜向扫描的情况下,通过如下式来导出图29(c)所示的上下文 索引。
sigCtx=(xB==0)?2:(xB==1)?1:0
在水平方向优先扫描的情况下,通过如下式来导出图72(a)所示 的上下文索引。
sigCtx=(xB+3*yB<4)?2:(xB+3*yB<8)?1:0
在垂直方向优先扫描的情况下,通过如下式来导出图72(b)所 示的上下文索引。
sigCtx=(3*xB+yB<4)?2:(3*xB+yB<8)?1:0
以上,根据变形例8-2的结构,在活动图像解码装置1中,上述 上下文索引导出单元对处理对象的子块,关于右相邻的右相邻子块以 及下相邻的下相邻子块判定有无子块系数标记,并基于该判定结果而 导出上下文索引。
在扫描索引表示斜向扫描的情况下,在表示子块内的系数位置的 xB和yB之和小于第一阈值的情况下,导出与非0变换系数的发生概 率高的情况对应的上述上下文索引,在上述xB和yB之和为第一阈值 以上且小于第二阈值的情况下,导出与非0变换系数的发生概率为中 间程度的情况对应的上述上下文索引,在上述xB和yB之和为第二阈 值以上的情况下,导出与非0变换系数的发生概率低的情况对应的上 述上下文索引。
此外,在扫描索引表示水平方向优先扫描的情况下,在由表示子 块内的系数位置的xB和yB确定的加权和W1×xB+W2×yB的值小于 第三阈值的情况下,导出与非0变换系数的发生概率高的情况对应的 上述上下文索引,在上述加权和W1×xB+W2×yB的值为第三阈值以 上且小于第四阈值的情况下,导出与非0变换系数的发生概率为中间 程度的情况对应的上述上下文索引,在上述加权和W1×xB+W2×yB 的值为第四阈值以上的情况下,导出与非0变换系数的发生概率低的 情况对应的上述上下文索引。
此外,在扫描索引表示垂直方向优先扫描的情况下,在由表示子 块内的系数位置的xB和yB确定的加权和W3×xB+W4×yB的值小于 第三阈值的情况下,导出与非0变换系数的发生概率高的情况对应的 上述上下文索引,在上述加权和W3×xB+W4×yB的值为第三阈值以 上且小于第四阈值的情况下,导出与非0变换系数的发生概率为中间 程度的情况对应的上述上下文索引,在上述加权和W3×xB+W4×yB 的值为第四阈值以上的情况下,导出与非0变换系数的发生概率低的 情况对应的上述上下文索引。
因此,通过根据扫描索引而转换上下文导出模式,能够实现更加 适合扫描索引表示的每个扫描方向的实际的变换系数的发生概率的上 下文导出模式,由此,能够实现编码效率的提高。尤其,在直到8×8TU~ 32×32TU为止将上下文索引的导出共同化的情况下,在上述该判定结 果判定为在右相邻子块以及下相邻子块的双方中不存在非0变换系数时,关于斜向扫描,通过将第一阈值设定为2、将第二阈值设定为3, 能够导出更加适合实际的非0变换系数的发生概率的适当的上下文索 引。此外,将第一阈值设定为1、将第二阈值设定为2,也适合。此外, 在水平方向优先扫描的情况下,通过将加权系数W1设定为1、将加权 系数W2设定为2、将第三阈值设定为3、将第四阈值设定为5,能够 导出更加适合实际的非0变换系数的发生概率的适当的上下文索引。 此外,在垂直方向优先扫描的情况下,通过将加权系数W2设定为2、 将加权系数W2设定为1、将第三阈值设定为3、将第四阈值设定为5,能够导出更加适合实际的非0变换系数的发生概率的适当的上下文索 引。
此外,在上述该判定结果判定为在右相邻子块或者下相邻子块的 任一个中不存在非0变换系数时,关于斜向扫描,通过将第一阈值设 定为1、将第二阈值设定为2,能够导出更加适合实际的非0变换系数 的发生概率的适当的上下文索引。此外,在水平方向优先扫描的情况 下,通过将加权系数W1设定为1、将加权系数W2设定为3、将第三 阈值设定为4、将第四阈值设定为8,能够导出更加适合实际的非0变 换系数的发生概率的适当的上下文索引。此外,在垂直方向优先扫描 的情况下,通过将加权系数W2设定为3、将加权系数W2设定为1、 将第三阈值设定为4、将第四阈值设定为8,能够导出更加适合实际的 非0变换系数的发生概率的适当的上下文索引。
此外,在上述该判定结果判定为在右相邻子块及下相邻子块的双 方中存在非0变换系数时,通过导出固定的上下文索引,能够实现上 下文索引的导出的简化。
这里,在作为xB以及yB的加权和的W1×xB+W2×yB以及W3 ×xB+W4×yB中使用的权重W1~W4并不限定于上述,能够根据扫 描类型的方向性而任意设定。此外,阈值TH1~TH6也并不限定于上 述,能够根据扫描类型的每个方向性的非0变换系数的发生频度而适当地设定。
另外,在上述变形例8~8-2中,表示了将直到8×8TU~32×32TU 为止,通过有无相邻子块系数上下文导出部124c而导出非0变换系数 的上下文索引的例,但也可以对4×4TU应用。在4×4TU的情况下, 由于没有具有能够参照的有无子块系数标记的相邻子块,所以模式索 引idxCG只成为0。此时,除了DC之外,由于能够通过有无相邻子块 系数上下文导出部124c而统一直到4×4TU~32×32TU为止的非0变 换系数的上下文索引导出,所以能够获得电路规模的削减、上下文索 引导出处理的简化、上下文数的削减的效果。此外,关于直到4×4~ 32×32TU为止的DC成分,也可以通过上述有无相邻子块系数上下文 导出部124c而导出上下文索引。由此,能够获得进一步的电路规模的 削减、上下文索引导出处理的简化、上下文数的削减的效果。
(变换系数解码部120的处理的流程)
以下,参照图39~42说明变换系数解码部120的变换系数解码处 理的流程。
图39是表示变换系数解码部120的变换系数解码处理的流程的流 程图。
(步骤S21)
首先,变换系数解码部120具有的系数解码控制部123设定扫描 索引scanIdx。
(步骤S22)
接着,变换系数解码部120具有的末尾系数位置解码部121沿着 正扫描对表示最后的变换系数的位置的语法last_significant_coeff_x及 last_significant_coeff_y进行解码。
(步骤S23)
接着,系数解码控制部123开始以子块为单位的环路。另外,以 处于末尾系数的子块作为环路的开始位置,按照子块扫描的逆扫描顺 序进行子块单位的解码处理。
(步骤S24)
接着,变换系数解码部120具有的有无子块系数标记解码部127 对有无子块系数标记significant_coeff_group_flag进行解码。
(步骤S25)
接着,变换系数解码部120具有的有无系数标记解码部124对对 象子块内的各非零有无变换系数标记significant_coeff_flag进行解码。
(步骤S26)
接着,变换系数解码部120具有的系数值解码部125对对象副组 内的非0变换系数的符号及大小进行解码。这通过对各语法 coeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、 coeff_sign_flag、coeff_abs_level_remaining进行解码而进行。
(步骤S27)
本步骤是以子块为单位的环路的终端。(以步骤S23的子块为单 位的环路的终端)
[有无子块系数标记的解码处理]
图40是用于更加具体说明对有无子块系数标记进行解码的处理 (图39的步骤S24)的流程图。
有无子块系数标记解码部127在开始子块的环路之前,对在对象 频域中包含的有无子块系数标记significant_coeff_group_flag的值进行 初始化。该初始化处理通过将包括DC系数的子块的有无子块系数标记 和包括末尾系数的子块的有无子块系数标记设定为1,将除此之外的有 无子块系数标记设定为0而进行。
(步骤S244)
有无子块系数标记解码部124取得子块的位置。
(步骤S247)
有无系数标记解码部124判别对象子块是否为包括末尾系数或者 DC系数的子块。
(步骤S248)
在对象子块不是包括末尾系数或者DC系数的子块时(步骤S247 中“否”),有无系数标记解码部124对有无子块系数标记 significant_coeff_group_flag进行解码。
[有无系数标记的解码处理]
图41是用于更加具体说明对子块内的各非零有无变换系数标记 significant_coeff_flag进行解码的处理(图39的步骤S25)的流程图。
(步骤S254)
接着,有无系数标记解码部124开始对象子块内的环路。该环路 是以频率成分为单位的环路。
(步骤S255)
接着,有无系数标记解码部124取得变换系数的位置。
(步骤S256)
接着,有无系数标记解码部124判别在对象子块中是否存在非0 变换系数。
(步骤S257)
在对象子块中存在非0变换系数的情况下(步骤S256中“是”), 有无系数标记解码部124判别取得的变换系数的位置是否为末尾位置。
(步骤S254)
在取得的变换系数的位置不是末尾位置时(步骤S257中“否”), 有无系数标记解码部124关于处理对象的变换系数,通过预定的方法 而导出上下文索引。关于其详细动作,在后面说明。
(步骤S258)
接着步骤S254,有无系数标记解码部124对有无变换系数标记 significant_coeff_flag进行解码。
(步骤S259)
本步骤是以对象子块内的频率成分为单位的环路的终端。(步骤 S259的子块内的环路的终端)
<<上下文索引的导出处理>>
图42是表示有无系数标记解码部124中的上下文索引的导出处理 的流程的一例的流程图。换言之,图42是表示有无系数标记解码部124 具有的TU尺寸判定部124a、位置上下文导出部124b以及有无相邻子 块变换系数上下文导出部124c的动作(图41的步骤S253的详细的动 作)的流程图。
(步骤SB101)
TU尺寸判定部124a判定TU尺寸是否小于预定尺寸。在判定中, 例如使用以下式。
log2TrafoWidth+log2TrafoHeight<THSize
另外,作为阈值THSize,例如使用6。在阈值THsize中使用了6 的情况下,判定4×4TU小于预定尺寸。8×8TU、16×4TU、4×16TU、 16×16TU、32×4TU、4×32TU、32×32TU判定为是预定尺寸以上。 另外,阈值THSize也可以是0。此时,判定4×4TU~32×32TU为预 定尺寸以上。
(步骤SB104)
在处理对象的TU尺寸为预定尺寸以上的情况下(步骤SB101中 “否”),TU尺寸判定部124a选择有无相邻子块变换系数上下文导 出部124c作为上下文导出单元,通过所选择的有无相邻子块变换系数 上下文导出部124c,导出对象变换系数的上下文索引。
(步骤SB105)
在处理对象的TU尺寸小于预定尺寸的情况下(步骤SB101中 “是”),TU尺寸判定部124a选择位置上下文导出部124b作为上下 文导出单元,通过所选择的位置上下文导出部124b,导出对象变换系 数的上下文索引。
另外,并不限定于上述,TU尺寸判定部124a也可以是关于直到 4×4TU~32×32TU为止的TU尺寸,执行共同的上下文索引ctxIdx导 出处理的结构。即,TU尺寸判定部124a也可以是与TU的尺寸无关地, 固定地选择位置上下文导出部124b以及有无相邻子块系数上下文导出 部124c中的任一个的结构。
〔活动图像编码装置2〕
参照图43~图47说明本实施方式的活动图像编码装置2的结构。 活动图像编码装置2是安装了在H.264/MPEG-4AVC规格中采用的技 术以及在作为其后继编解码器的HEVC(High-Efficiency Video Coding, 高效视频编码)中提案的技术的编码装置。以下,关于与已经说明的 部分相同的部分,赋予相同的符号,并省略其说明。
图43是表示活动图像编码装置2的结构的框图。如图43所示, 活动图像编码装置2包括预测图像生成部21、变换/量化部22、逆量化 /逆变换部23、加法器24、帧存储器25、环路滤波器26、可变长码编 码部27以及减法器28。此外,如图43所示,预测图像生成部21包括内部预测图像生成部21a、动作矢量检测部21b、外部预测图像生成部 21c、预测方式控制部21d以及动作矢量冗长性删除部21e。活动图像 编码装置2是通过对活动图像#10(编码对象图像)进行编码而生成 编码数据#1的装置。
(预测图像生成部21)
预测图像生成部21将处理对象LCU递归地分割为一个或者多个 下位CU,将各叶CU进一步分割为一个或者多个分区,按每个分区生 成使用了画面间预测的外部预测图像Pred_Inter或者使用了画面内预 测的内部预测图像Pred_Intra。生成的外部预测图像Pred_Inter以及 内部预测图像Pred_Intra作为预测图像Pred而提供给加法器24以及减法器28。
另外,预测图像生成部21关于自适应了跳过模式的PU,省略属 于该PU的其他的参数的编码。此外,以将编码效率最佳化的方式决定 (1)对象LCU中的向下位CU以及分区的分割的方式、(2)是否应 用跳过模式、以及(3)按每个分区生成外部预测图像Pred_Inter以及 内部预测图像Pred_Intra中的哪一个。
(内部预测图像生成部21a)
内部预测图像生成部21a通过画面内预测而生成与各分区有关的 预测图像Pred_Intra。具体而言,(1)关于各分区选择在内部预测中 使用的预测模式,(2)使用所选择的预测模式,从解码图像P生成预 测图像Pred_Intra。内部预测图像生成部21a将所生成的内部预测图像 Pred_Intra提供给预测方式控制部21d。
此外,内部预测图像生成部21a从对对象分区的周边的分区分配 的预测模式,决定对于对象分区的估计预测模式,将表示该估计预测 模式和关于对象分区实际选择的预测模式是否相同的估计预测模式标 记作为内部预测参数PP_Intra的一部分,经由预测方式控制部21d而 提供给可变长码编码部27,可变长码编码部27将该标记包含在编码数 据#1中。
此外,内部预测图像生成部21a在关于对象分区的估计预测模式 和关于对象分区实际选择的预测模式不同的情况下,将表示关于对象 分区的预测模式的剩余预测模式索引作为内部预测参数PP_Intra的一 部分,经由预测方式控制部21d而提供给可变长码编码部27,可变长 码编码部27将该剩余预测模式索引包含在编码数据#1中。
另外,内部预测图像生成部21a在生成预测图像Pred_Intra时, 从图11所示的预测模式中,选择编码效率进一步提高的预测模式而应 用。
(动作矢量检测部21b)
动作矢量检测部21b检测与各分区有关的动作矢量mv。具体而言, (1)选择作为参照图像而利用的自适应滤波完毕解码图像P_ALF’, (2)通过在所选择的自适应滤波完毕解码图像P_ALF’中探索与对 象分区最佳近似的区域,检测与对象分区有关的动作矢量mv。这里, 自适应滤波完毕解码图像P_ALF’是通过对已经完成了帧整体的解码 的解码完毕的解码图像实施基于环路滤波器26的自适应的滤波器处理 而获得的图像,动作矢量检测部21b能够从帧存储器25读出构成自适 应滤波完毕解码图像P_ALF’的各像素的像素值。动作矢量检测部21b 将检测到的动作矢量mv与指定作为参照图像而利用的自适应滤波完 毕解码图像P_ALF’的参照图像索引RI一同,提供给外部预测图像 生成部21c及动作矢量冗长性删除部21e。
(外部预测图像生成部21c)
外部预测图像生成部21c通过画面间预测而生成与各外部预测分 区有关的动作补偿图像mc。具体而言,使用从动作矢量检测部21b提 供的动作矢量mv,根据由从动作矢量检测部21b提供的参照图像索引 RI所指定的自适应滤波完毕解码图像P_ALF’,生成动作补偿图像 mc。与动作矢量检测部21b相同地,外部预测图像生成部21c能够从 帧存储器25读出构成自适应滤波完毕解码图像P_ALF’的各像素的 像素值。外部预测图像生成部21c将生成的动作补偿图像mc(外部预 测图像Pred_Inter)与从动作矢量检测部21b提供的参照图像索引RI 一同,提供给预测方式控制部21d。
(预测方式控制部21d)
预测方式控制部21d将内部预测图像Pred_Intra及外部预测图像 Pred_Inter与编码对象图像进行比较,选择是进行内部预测还是进行 外部预测。在选择了内部预测的情况下,预测方式控制部21d将内部 预测图像Pred_Intra作为预测图像Pred而提供给加法器24及减法器 28的同时,将从内部预测图像生成部21a被提供的内部预测参数PP_Intra提供给可变长码编码部27。另一方面,在选择了外部预测的情况 下,预测方式控制部21d将外部预测图像Pred_Inter作为预测图像Pred 而提供给加法器24及减法器28的同时,将参照图像索引RI、从后述 的动作矢量冗长性删除部21e被提供的估计动作矢量索引PMVI及动作 矢量残差MVD作为外部预测参数PP_Inter而提供给可变长码编码部 27。此外,预测方式控制部21d将表示选择了内部预测图像Pred_Intra 及外部预测图像Pred_Inter中的哪一个预测图像的预测类型信息Pred _type提供给可变长码编码部27。
(动作矢量冗长性删除部21e)
动作矢量冗长性删除部21e删除由动作矢量检测部21b检测到的 动作矢量mv中的冗长性。具体而言,(1)选择在动作矢量mv的估 计中使用的估计方法,(2)根据所选择的估计方法而导出估计动作矢 量pmv,(3)从动作矢量mv减去估计动作矢量pmv而生成动作矢量残差MVD。动作矢量冗长性删除部21e将生成的动作矢量残差MVD 与表示所选择的估计方法的估计动作矢量索引PMVI一同,提供给预 测方式控制部21d。
(变换/量化部22)
变换/量化部22(1)对从编码对象图像减去预测图像Pred所得的 预测残差D按每个块(变换单位)实施DCT变换(Discrete Cosine Transform,离散余弦变换)等的频率变换,(2)对通过频率变换而获 得的变换系数Coeff_IQ进行量化,(3)将通过量化而获得的变换系 数Coeff提供给可变长码编码部27及逆量化/逆变换部23。另外,变换 /量化部22(1)按每个TU选择在量化时使用的量化步长QP,(2)将 表示所选择的量化步长QP的大小的量化参数差分Δqp提供给可变长 码编码部27,(3)将所选择的量化步长QP提供给逆量化/逆变换部 23。这里,量化参数差分Δqp是指,从与要进行频率变换及量化的TU 有关的量化参数qp(例如,QP=2pq/6)的值减去与紧之前进行了频率 变换及量化的TU有关的量化参数qp’的值所得的差分值。
另外,例如在对象块的尺寸为8×8像素的情况下,若将关于水平 方向的频率u以及垂直方向的频率v的量化前的变换系数表示为Coeff _IQ(u,v)(0≤u≤7、0≤v≤7),则由变换/量化部22进行的DCT 变换例如通过以下的数学式(2)来提供。
[数2]
这里,D(i,j)(0≤i≤7、0≤j≤7)表示在对象块中的位置(i, j)中的预测残差D。此外,如下提供C(u)以及C(v)。
·C(u)=1/√2(u=0)
·C(u)=1(u≠0)
·C(v)=1/√2(v=0)
·C(v)=1(v≠0)
(逆量化/逆变换部23)
逆量化/逆变换部23(1)对量化后的变换系数Coeff进行逆量化, (2)对通过逆量化而获得的变换系数Coeff_IQ实施逆DCT(Discrete Cosine Transform,离散余弦变换)变换等的逆频率变换,(3)将通过 逆频率变换而获得的预测残差D提供给加法器24。在对量化后的变换 系数Coeff进行逆量化时,利用从变换/量化部22提供的量化步长QP。 另外,从逆量化/逆变换部23输出的预测残差D是对输入到变换/量化 部22的预测残差D加上量化误差的值,但这里为了简化而使用共同的 称呼。逆量化/逆变换部23的更具体的动作与活动图像解码装置1具有 的逆量化/逆变换部13大致相同。
(加法器24)
加法器24通过将在预测方式控制部21d中选择的预测图像Pred 加到在逆量化/逆变换部23中生成的预测残差D,生成(局部)解码图 像P。在加法器24中生成的(局部)解码图像P提供给环路滤波器26 的同时存储在帧存储器25中,利用作为内部预测中的参照图像。
(可变长码编码部27)
可变长码编码部27通过对(1)从变换/量化部22提供的量化后 的变换系数Coeff以及Δqp、(2)从预测方式控制部21d提供的量化 参数PP(外部预测参数PP_Inter以及内部预测参数PP_Intra)、(3) 预测类型信息Pred_type、以及(4)从环路滤波器26提供的滤波器参 数FP进行可变长编码,生成编码数据#1。
图44是表示可变长码编码部27的结构的框图。如图44所示,可 变长码编码部27包括对量化后的变换系数Coeff进行编码的量化残差 信息编码部271、对预测参数PP进行编码的预测参数编码部272、对 预测类型信息Pred_type进行编码的预测类型信息编码部273以及对 滤波器参数FP进行编码的滤波器参数编码部274。关于量化残差信息 编码部271的具体的结构,在后面叙述,所以这里省略说明。
(减法器28)
减法器28通过从编码对象图像减去在预测方式控制部21d中选择 的预测图像Pred,生成预测残差D。在减法器28中生成的预测残差D 通过变换/量化部22而进行频率变换及量化。
(环路滤波器26)
环路滤波器26具有(1)作为进行解码图像P中的块边界或者分 区边界的周边的图像的平滑化(去块处理)的去块滤波器 (DF:Deblocking Filter)的功能、(2)作为对去块滤波器作用的图像, 使用滤波器参数FP而进行自适应滤波器处理的自适应滤波器 (ALF:Adaptive Loop Filter)的功能。
(量化残差信息编码部271的细节)
量化残差信息编码部271通过对量化后的变换系数Coeff(xC,yC) 进行上下文自适应二进制算术编码(CABAC:(Context-based Adaptive Binary Arithmetic Coding)),生成量化残差信息QD。在所生成的量 化残差信息QD中包含的语法如已经说明所述。
另外,如上所述,xC以及yC是表示频域中的各频率成分的位置 的索引,分别是与上述的水平方向频率u以及垂直方向频率v对应的 索引。另外,以下,有时也将量化后的变换系数Coeff简称为变换系数 Coeff。
图45是表示量化残差信息编码部271的结构的框图。如图45所 示,量化残差信息编码部271包括变换系数编码部220及算术符号编 码部230。
(算术符号编码部230)
算术符号编码部230是用于参照上下文对从变换系数编码部220 提供的各Bin进行编码而生成量化残差信息QD的结构,如图45所示, 包括上下文记录更新部231及比特编码部232。
[上下文记录更新部231]
上下文记录更新部231是用于对由各上下文索引ctxIdx所管理的 上下文变量CV进行记录及更新的结构。这里,在上下文变量CV中, 包括(1)发生概率高的优势符号MPS(most probable symbol)和(2) 指定该优势符号MPS的发生概率的概率状态索引pStateIdx。
上下文记录更新部231通过参照从变换系数编码部220具有的各 部分提供的上下文索引ctxIdx及由比特编码部232进行了编码的Bin 的值,更新上下文变量CV的同时,将被更新的上下文变量CV记录至 下一次更新为止。另外,优势符号MPS是0或者1。此外,优势符号 MPS和概率状态索引pStateIdx在比特解码部232每次解码一个Bin时 被更新。
此外,上下文索引ctxIdx既可以直接指定关于各频率成分的上下 文,也可以是从对处理对象的每个TU设定的上下文索引的偏移量的增 加值(以下,相同)。
[比特解码部232]
比特解码部232参照在上下文记录更新部231中记录的上下文变 量CV,对从变换系数编码部220具有的各部分提供的各Bin进行编码, 从而生成量化残差信息QD。此外,编码后的Bin的值还提供给上下文 记录更新部231,为了更新上下文变量CV而参照。
(变换系数编码部220)
如图44所示,变换系数编码部220包括末尾位置编码部221、扫 描顺序表格存储部222、系数编码控制部223、有无系数标记编码部224、 系数值编码部225、编码系数存储部226、有无子块系数标记227以及 语法导出部228。
[语法导出部228]
语法导出部228参照变换系数Coeff(xC,yC)的各值,导出用 于确定对象频域中的这些变换系数的语法last_significant_coeff_x、 last_significant_coeff_y、significant_coeff_flag、 coeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、 coeff_sign_flag以及coeff_abs_level_remaining的各值。导出的各语法 提供给编码系数存储部226。此外,在导出的语法中 last_significant_coeff_x、last_significant_coeff_y还提供给系数编码控制 部223及末尾位置编码部221。此外,在导出的语法中 significant_coeff_flag还提供给有无系数标记编码部224。另外,关于各 语法表示的内容,如上所述,所以这里省略说明。
[末尾位置编码部221]
末尾位置编码部221生成表示由语法导出部228提供的语法 last_significant_coeff_x、last_significant_coeff_y的Bin。此外,将生成 的各Bin提供给比特编码部232。此外,将指定用于对语法 last_significant_coeff_x及last_significant_coeff_y的Bin进行编码而参 照的上下文的上下文索引ctxIdx提供给上下文记录更新部231。
[扫描顺序表格存储部222]
在扫描顺序表格存储部222中,存储有以处理对象的TU(块)的 尺寸、表示扫描方向的类别的扫描索引以及沿着扫描顺序而赋予的频 率成分识别索引为引数,提供处理对象的频率成分的频域中的位置的 表格。作为这样的扫描顺序表格的一例,举出图4及图5所示的 ScanOrder。
此外,在扫描顺序表格存储部222中,存储有用于指定子块的扫 描顺序的子块扫描顺序表格。这里,子块扫描顺序表格由与处理对象 的TU(块)的尺寸和内部预测模式的预测模式索引建立关联的扫描索 引scanIdx所指定。
由于在扫描顺序表格存储部222中存储的扫描顺序表格及子块扫 描顺序表格与在活动图像解码装置1具有的扫描顺序表格存储部122 中存储的表格相同,所以这里省略说明。
[系数编码控制部223]
系数编码控制部223是用于控制量化残差信息编码部271具有的 各部分中的编码处理的顺序的结构。
具体而言,系数编码控制部223进行子块分割、根据子块扫描顺 序的各子块位置的提供、根据子块内扫描顺序的各频率成分的位置的 提供。
系数编码控制部223根据扫描顺序以及/或者TU尺寸而导出子块 尺寸,通过以导出的子块尺寸分割TU,从而将TU分割为子块。由于 分割的方法如图14以及图15所示,所以这里省略其说明。
(在TU尺寸为预定的尺寸以下的情况下)
在TU尺寸为预定的尺寸以下(例如4×4TU等)的情况下,系数 编码控制部223参照由语法导出部228提供的语法 last_significant_coeff_x及last_significant_coeff_y,确定沿着正扫描的 最后的非0变换系数的位置的同时,按照以确定的最后的非0变换系 数的位置为起点的扫描顺序并且是由在扫描顺序表格存储部222中存 储的子块扫描顺序表格所提供的扫描顺序的逆扫描顺序,将各频率成 分的位置(xC,yC)提供给有无系数标记解码部。
此外,系数解码控制部223将处理对象的TU的尺寸提供给变换 系数编码部220具有的各部分(省略图示)。
另外,系数编码控制部223也可以按照由在扫描顺序表格存储部 222中存储的扫描顺序表格所提供的扫描顺序的正扫描顺序,将各频率 成分的位置(xC,yC)提供给有无系数标记编码部224。
(在TU尺寸大于预定的尺寸的情况下)
在TU尺寸大于预定的尺寸的情况下,系数编码控制部223参照 从语法导出部228提供的语法last_significant_coeff_x及 last_significant_coeff_y,确定沿着正扫描的最后的非0变换系数的位置 的同时,按照以包括确定的最后的非0变换系数的子块的位置为起点 的扫描顺序并且是由在扫描顺序表格存储部222中存储的子块扫描顺 序表格所提供的扫描顺序的逆扫描顺序,将各子块的位置(xCG,yCG) 提供给有无子块系数标记解码部227。
此外,系数编码控制部223关于成为处理对象的子块,按照由在 扫描顺序表格存储部222中存储的扫描顺序表格所提供的扫描顺序的 逆扫描顺序,将在成为该处理对象的子块中包含的各频率成分的位置 (xC,yC)提供给有无系数标记编码部224。这里,作为在成为处理 对象的子块中包含的各频率成分的扫描顺序,在内部预测的情况下, 使用由内部预测模式索引IntraPredMode和指定TU尺寸的值 log2TrafoSize所指定的扫描索引scanIdx表示的扫描顺序(水平方向优 先扫描、垂直方向优先扫描、斜向扫描中的任一个),在外部预测的 情况下,使用斜向扫描(Up-right diagonal scan)即可。此外,系数编 码控制部223将与该TU的尺寸和该TU的预测模式建立关联的扫描索 引scanIdx提供给有无系数标记编码部224。
这样,系数编码控制部223是按照每个内部预测模式,转换扫描 顺序的结构。一般,由于内部预测模式和变换系数的偏向相互具有相 关,所以通过根据内部预测模式而转换扫描顺序,能够进行适合有无 子块系数标记、有无系数标记的偏向的扫描。由此,能够削减成为编 码及解码对象的有无子块系数标记以及有无系数标记的符号量,编码 效率提高。
[系数值编码部225]
系数值编码部225生成表示从语法导出部228提供的语法 coeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、 coeff_sign_flag以及coeff_abs_level_remaining的Bin。此外,将生成的 各Bin提供给比特编码部232。此外,将指定用于对这些语法的Bin进 行编码而参照的上下文的上下文索引ctxIdx提供给上下文记录更新部231。
[有无系数标记编码部224]
本实施方式的有无系数标记编码部224对由各位置(xC,yC)所 指定的语法significant_coeff_flag[xC][yC]进行编码。更具体而言,生成 表示由各位置(xC,yC)所指定的语法significant_coeff_flag[xC][yC] 的Bin。所生成的各Bin提供给比特编码部232。此外,有无系数标记 编码部224计算用于决定为了通过算术符号编码部230对语法significant_coeff_flag[xC][yC]的Bin进行编码的上下文的上下文索引 ctxIdx。计算出的上下文索引ctxIdx提供给上下文记录更新部231。关 于有无系数标记编码部的详细的结构例,在后面叙述。
[有无子块系数标记编码部227]
有无子块系数标记编码部227对由各子块位置(xCG,yCG)所指 定的语法significant_coeff_group_flag[xCG][yCG]进行编码。更具体而 言,生成表示由各子块位置(xCG,yCG)所指定的语法 significant_coeff_group_flag[xCG][yCG]的Bin。所生成的各Bin提供给 比特编码部232。此外,有无子块系数标记编码部227计算用于决定为 了通过算术符号编码部230对语法significant_coeff_flag[xC][yC]的Bin 进行编码的上下文的上下文索引ctxIdx。计算出的上下文索引ctxIdx 提供给上下文记录更新部231。
图46是表示有无子块系数标记编码部227的结构的框图。如图 46所示,有无子块系数标记编码部227包括上下文导出部227a、有无 子块系数标记存储部227b以及有无子块系数标记设定部227c。
以下,举出以从系数编码控制部223对有无子块系数标记编码部 227按照正扫描顺序提供子块位置(xCG,yCG)的情况为例,进行说 明。另外,此时,在活动图像解码装置1具有的有无子块系数标记解 码部127中,优选按照逆扫描顺序提供子块位置(xCG,yCG)。
(上下文导出部227a)
有无子块系数标记编码部227具有的上下文导出部227a导出对由 各子块位置(xCG,yCG)所指定的子块分配的上下文索引。对子块分 配的上下文索引在对表示关于该子块的语法 significant_coeff_group_flag的Bin进行解码时使用。此外,在导出上 下文索引时,参照在有无子块系数标记存储部227b中存储的有无子块 系数标记的值。上下文导出部227a将导出的上下文索引提供给上下文 记录更新部231。
(有无子块系数标记存储部227b)
在有无子块系数标记存储部227b中,存储有从有无系数标记编码 部224提供的语法significant_coeffgroup_flag的各值。有无子块系数标 记设定部227c能够从有无子块系数标记存储部227b读出对相邻子块分 配的语法significant_coeffgroup_flag。
(有无子块系数标记设定部227c)
有无子块系数标记设定部227c生成表示从有无系数标记编码部 224提供的语法significant_coeff_group_flag[xCG][yCG]的Bin。生成的 Bin提供给比特编码部232。
<<有无系数标记编码部224的结构例>>
图47是表示本实施方式的有无系数标记编码部224的结构例的框 图。如图47所示,有无系数标记编码部224包括TU尺寸判定部224a、 位置上下文导出部224b、有无相邻子块系数上下文导出部224c以及有 无系数标记设定部224e。
(TU尺寸判定部224a)
TU尺寸判定部224a根据成为对象的TU尺寸,选择位置上下文 导出部224b或者有无相邻子块系数上下文导出部224c。在所选择的各 上下文导出部中,导出上下文索引ctxIdx。
例如,在TU尺寸为预定的尺寸以下的情况下(例如,4×4TU的 情况下),TU尺寸判定部224a选择位置上下文导出部224b。
对应于此,位置上下文导出部224b导出上下文索引ctxIdx,并将 所导出的上下文索引分配给该解码对象的频率成分。
另一方面,在成为对象的TU尺寸大于预定的尺寸的情况下(例 如,8×8TU、16×16TU、32×32TU的情况下等),TU尺寸判定部 224a选择有无相邻子块系数上下文导出部224c。
对应于此,有无相邻子块系数上下文导出部224c导出上下文索引 ctxIdx,并将所导出的上下文索引分配给该解码对象的频率成分。
另外,并不限定于上述,TU尺寸判定部224a也可以是关于直到 4×4TU~32×32TU为止的TU尺寸,执行共同的上下文索引ctxIdx导 出处理的结构。即,导出方法控制部224a也可以是与TU的尺寸无关 地,固定地选择位置上下文导出部224b以及有无相邻子块系数上下文 导出部224c中的任一个的结构。
(位置上下文导出部224b)
位置上下文导出部224b基于频域中的该对象频率成分的位置,导 出对于对象频率成分的上下文索引ctxIdx。
(有无相邻子块系数上下文导出部224c)
有无相邻子块系数上下文导出部224c根据在相邻子块中是否有非 0变换系数,选择上下文导出模式,并通过所选择的导出模式,从处理 对象的频率成分的子块内的坐标导出对于编码对象的频率成分的上下 文索引。
(有无系数标记设定部224e)
有无系数标记设定部224e生成表示从语法导出部228提供的语法 significant_coeff_flag[xC][yC]的Bin。生成的Bin提供给比特编码部232。 此外,有无系数标记设定部224e参照在对象子块中包含的 significant_coeff_flag[xC][yC]的值,在对象子块中包含的全部 significant_coeff_flag[xC][yC]为0的情况下,即在该对象子块中不包括 非0变换系数的情况下,将与该对象子块有关的 significant_coeff_group_flag[xCG][yCG]的值设定为0,否则,将与该对 象子块有关的significant_coeff_group_flag[xCG][yCG]的值设定为1。被 这样赋予值的significant_coeff_group_flag[xCG][yCG]提供给有无子块 系数标记编码部227。
上述的有无系数标记编码部224具有与有无系数标记解码部124 对应的结构。
即,有无系数标记编码部224中的TU尺寸判定部224a、位置上 下文导出部224b、有无相邻子块系数上下文导出部224c以及有无系数 标记设定部224e分别与有无系数标记解码部124中的TU尺寸判定部 124a、位置上下文导出部124b、有无相邻子块系数上下文导出部124c 以及有无系数标记设定部124e对应。
例如,有无相邻子块系数上下文导出部224c的具体的处理与活动 图像解码装置1具有的有无相邻子块系数上下文导出部124c相同。
因此,关于有无系数标记编码部224中的各结构的细节,如在上 述的有无系数标记解码部124的各结构的说明中所示那样。即,在活 动图像解码装置1的实施例/变形例1~7中,若将活动图像解码装置1 的各结构换读为有无系数标记编码部224中的对应的结构,则能够理 解有无系数标记编码部224的结构。因此,这里省略其详细的说明。
如以上所示,本实施方式的活动图像编码装置1包括:算术编码 装置,关于通过将对象图像按每个单位区域进行频率变换而按每个频 率成分获得的各变换系数,对表示该变换系数的各种语法进行算术编 码。算术解码装置包括:子块分割单元,将与处理对象的单位区域对 应的对象频域分割为预定的尺寸的子块;有无子块系数标记编码单元, 关于通过上述子块分割单元而分割的各子块,对表示在该子块中是否 包括至少一个非0变换系数的有无子块系数标记进行编码;非0变换 系数判定单元,基于进行了编码的有无子块系数标记,判定在与处理 对象的子块相邻的子块中是否包括至少一个非0变换系数;以及上下 文索引导出单元,导出对作为表示处理对象的上述变换系数是否为0 的语法的有无变换系数标记分配的上下文索引,上述上下文索引导出 单元在判定为在与处理对象的子块相邻的任一个子块中不存在非0变 换系数时,基于该判定结果,根据处理对象的子块中的处理对象的变 换系数的位置,导出与非0变换系数的发生概率低的情况、非0变换 系数的发生概率高的情况、以及非0变换系数的发生概率为高的情况 和低的情况之间的中间程度的情况分别对应的上述上下文索引。
此外,如以上所示,本实施方式的活动图像编码装置1包括:算 术编码装置,关于通过将对象图像按每个单位区域进行频率变换而按 每个频率成分获得的各变换系数,对表示该变换系数的各种语法进行 算术编码。算术编码装置包括:子块分割单元,将与处理对象的单位 区域对应的对象频域根据预定的定义而分割为4×4尺寸的子块;有无 子块系数标记编码单元,关于通过上述子块分割单元而分割的各子块, 对表示在该子块中是否包括至少一个非0变换系数的有无子块系数标 记进行编码;方向性判定单元,基于与处理对象的子块相邻的子块中 的有无子块系数标记,判定变换系数的分布的方向性;以及上下文索 引导出单元,导出对作为表示处理对象的上述变换系数是否为0的语 法的有无变换系数标记分配的上下文索引,若上述上下文索引导出单 元将上述4×4尺寸的子块中的坐标设为(xB,yB)(其中,将xB设 为水平方向,将yB设为垂直方向,将子块左上设为原点(0,0)),则在上述子块中应用的扫描顺序为斜向扫描的情况下,在判定出的方 向性为垂直方向时,在由(0,0)~(0,3)、(1,0)~(1,2) 以及(2,0)构成的区域中,与该区域以外的区域相比,进一步导出 与变换系数的发生概率高的情况对应的上下文索引,另一方面,在判 定出的方向性为水平方向时,在由(0,0)~(3,0)、(0,1)~ (2,1)以及(0,2)构成的区域中,与该区域以外的区域相比,进 一步导出与变换系数的发生概率高的情况对应的上述上下文索引。
即,活动图像编码装置2具有与上述的活动图像解码装置1的结 构对应的结构。
因此,根据上述活动图像编码装置2,与上述的活动图像解码装 置1的情况相同地,能够削减变换系数的编码及解码的处理量。
此外,本发明还能够如下表现。本发明的一方式的算术解码装置 是关于通过将对象图像按每个单位区域进行频率变换而按每个频率成 分获得的各变换系数,对将表示该变换系数的各种语法进行算术编码 而获得的编码数据进行解码的算术解码装置,其特征在于,包括:子 块分割单元,将与处理对象的单位区域对应的对象频域分割为预定的 尺寸的子块;有无子块系数标记解码单元,关于通过上述子块分割单 元而分割的各子块,对表示在该子块中是否包括至少一个非0变换系 数的有无子块系数标记进行解码;非0变换系数判定单元,基于进行 了解码的有无子块系数标记,判定在与处理对象的子块相邻的子块中 是否包括至少一个非0变换系数;以及上下文索引导出单元,导出对 作为表示处理对象的上述变换系数是否为0的语法的有无变换系数标 记分配的上下文索引,上述上下文索引导出单元在判定为在与处理对 象的子块相邻的任一个子块中不存在非0变换系数时,基于该判定结 果,根据处理对象的子块中的处理对象的变换系数的位置,导出与在 非0变换系数的发生概率低的情况、在非0变换系数的发生概率高的 情况、以及在非0变换系数的发生概率为高的情况和低的情况之间的 中间程度的情况分别对应的上述上下文索引。
根据与处理对象的子块相邻的子块中的有无子块系数标记的值的 状况,有处理对象的子块内的非0变换系数的发生概率的分布阶段性 地不同的倾向。
例如,在存在相对于处理对象的子块的右相邻的右相邻子块以及 下相邻的下相邻子块时,在只有右相邻子块中的有无子块系数标记为1 的情况下和在只有右相邻子块中的有无子块系数标记为1的情况下, 上述发生概率的分布不同。
此外,上述发生概率的分布阶段性地不同是指,在处理对象的子 块中,非0变换系数的发生概率高的位置、中间程度的位置、低的位 置阶段性地不同。
根据上述结构,根据与处理对象的子块相邻的子块中的有无子块 系数标记的值的状况,导出与在非0变换系数的发生概率低的情况、 在非0变换系数的发生概率高的情况、以及在非0变换系数的发生概 率为高的情况和低的情况之间的中间程度的情况分别对应的上下文索 引。
由此,能够实现更加适合实际的变换系数的发生概率的上下文导 出模式,由此,能够实现编码效率的提高。
优选,本发明的算术解码装置的特征在于,上述非0变换系数判 定单元关于相对于处理对象的子块的右相邻的右相邻子块以及下相邻 的下相邻子块判定有无子块系数标记,上述上下文索引导出单元在判 定为在右相邻子块或者下相邻子块的任一个中不存在非0变换系数时, 根据判定为不存在非0变换系数的子块的相邻方向,在子块的左端或 者上端的位置中,导出与非0变换系数的发生概率高的情况对应的上 述上下文索引。
在右相邻子块中存在非0变换系数的情况下,有在处理对象的子 块的上端中非0变换系数的发生概率高的倾向。此外,在下相邻子块 中存在非0变换系数的情况下,有在处理对象的子块的左端中非0变 换系数的发生概率高的倾向。
根据上述结构,能够根据判定为不存在非0变换系数的子块的相 邻方向,在子块的左端或者上端的位置中,导出与非0变换系数的发 生概率高的情况对应的上述上下文索引。
其结果,能够导出更加适合如上所述的非0变换系数的发生概率 的上下文索引。
为了解决上述课题,本发明的算术解码装置是关于通过将对象图 像按每个单位区域进行频率变换而按每个频率成分获得的各变换系 数,对将表示该变换系数的各种语法进行算术编码而获得的编码数据 进行解码的算术解码装置,其特征在于,包括:子块分割单元,将与 处理对象的单位区域对应的对象频域根据预定的定义而分割为4×4尺 寸的子块;有无子块系数标记解码单元,关于通过上述子块分割单元 而分割的各子块,对表示在该子块中是否包括至少一个非0变换系数 的有无子块系数标记进行解码;方向性判定单元,基于与处理对象的 子块相邻的子块中的有无子块系数标记,判定变换系数的分布的方向 性;以及上下文索引导出单元,导出对作为表示处理对象的上述变换 系数是否为0的语法的有无变换系数标记分配的上下文索引,若上下 文索引导出单元将上述4×4尺寸的子块中的坐标设为(xB,yB)(其 中,将xB设为水平方向,将yB设为垂直方向,将子块左上设为原点 (0,0)),则在上述子块中应用的扫描顺序为斜向扫描的情况下, 在判定出的方向性为垂直方向时,在由(0,0)~(0,3)、(1,0)~ (1,2)以及(2,0)构成的区域中,与该区域以外的区域相比,进 一步导出与变换系数的发生概率高的情况对应的上述上下文索引,另 一方面,在判定出的方向性为水平方向时,在由(0,0)~(3,0)、 (0,1)~(2,1)以及(0,2)构成的区域中,与该区域以外的区 域相比,进一步导出与变换系数的发生概率高的情况对应的上述上下 文索引。
在上述结构中,变换系数的分布的方向性是指,具体而言,在有 相对于处理对象的子块的右相邻的右相邻子块以及下相邻的下相邻子 块的情况下如下所述。
在右相邻子块中的有无子块系数标记表示在该右相邻子块中一个 也不包括非0变换系数、在下相邻子块中的有无子块系数标记表示在 该下相邻子块中包括至少一个非0变换系数时,有在处理对象的子块 的左侧中发生非0变换系数的概率高的倾向。即,此时,变换系数的 分布的方向性成为垂直方向。
此时,在由(0,0)~(0,3)、(1,0)~(1,2)以及(2, 0)构成的区域中,与该区域以外的区域相比,发生非0变换系数的概 率比较高。
此外,在右相邻子块中的有无子块系数标记表示在该右相邻子块 中包括至少一个非0变换系数、在下相邻子块中的有无子块系数标记 表示在该下相邻子块中一个也不包括非0变换系数时,有在处理对象 的子块的上侧中发生非0变换系数的概率高的倾向。即,此时,变换 系数的分布的方向性成为水平方向。
此时,在由(0,0)~(3,0)、(0,1)~(2,1)以及(0, 2)构成的区域中,与该区域以外的区域相比,发生非0变换系数的概 率比较高。
此外,根据上述坐标显示,斜向扫描的正方向中的处理顺序以(0, 0)为起点,从(0,1)沿着右上对角方向到(1,0),从(0,2)沿 着右上对角方向到(2,0),从(0,3)沿着右上对角方向到(3,0), 从(1,3)沿着右上对角方向到(3,1),从(2,3)沿着右上对角 方向到(3,2),最后为(3,3)。
此外,关于现有技术而言,若将与变换系数的发生概率高的情况 对应的上下文索引设为1、将与低的情况对应的上述上下文索引设为0, 则上述斜向扫描的逆扫描顺序(实际的解码处理中的扫描顺序)的上 下文索引的序列成为
在水平方向的情况下:0001001100110111
在垂直方向的情况下:0000010011011111。
这样,在水平方向的情况下,从“0”到“1”的转换有4次、从 “1”到“0”的转换有3次,合计产生7次转换。
此外,在垂直方向的情况下,从“0”到“1”的转换有3次、从 “1”到“0”的转换有2次,合计产生5次转换。
相对于此,根据上述结构,在判定出的方向性为垂直方向时,在 由(0,0)~(0,3)、(1,0)~(1,2)以及(2,0)构成的区 域中,与该区域以外的区域相比,进一步导出与变换系数的发生概率 高的情况对应的上述上下文索引。
此时,若将与变换系数的发生概率高的情况对应的上下文索引设 为1、与低的情况对应的上述上下文索引设为0,则逆扫描顺序的上下 文索引的序列成为
在垂直方向的情况下:0000000011111111。
因此,0和1的转换次数只有从“0”到“1”的1次转换。
此外,在判定出的方向性为水平方向时,在由(0,0)~(3,0)、 (0,1)~(2,1)以及(0,2)构成的区域中,与该区域以外的区 域相比,进一步导出与变换系数的发生概率高的情况对应的上述上下 文索引。
此时,与上述相同地,逆扫描顺序的上下文索引的序列成为
在水平方向的情况下:0000001100111111。
因此,从“0”到“1”的转换有2次、从“1”到“0”的转换有 1次,转换次数为合计3次。
这样,根据上述结构,能够比以往抑制子块内的上下文索引的转 换。因此,在如上所述那样定义0和1的重复数的硬件中,硬件的安 装被简化。
为了解决上述课题,本发明的算术解码装置是关于通过将对象图 像按每个单位区域进行频率变换而按每个频率成分获得的各变换系 数,对将表示该变换系数的各种语法进行算术编码而获得的编码数据 进行解码的算术解码装置,其特征在于,包括:子块分割单元,将与 处理对象的单位区域对应的对象频域分割为预定的尺寸的子块;有无 子块系数标记解码单元,关于通过上述子块分割单元而分割的各子块, 对表示在该子块中是否包括至少一个非0变换系数的有无子块系数标 记进行解码;方向性判定单元,基于与处理对象的子块相邻的子块中 的有无子块系数标记,判定变换系数的分布的方向性;以及变换系数 解码单元,使用与由上述方向性判定单元判定出的方向性对应的扫描 顺序,对变换系数进行解码。
根据上述结构,能够使用与变换系数的分布的方向性对应的扫描 顺序,对变换系数进行解码。因此,即使使用了现有的上下文索引的 序列
水平方向的情况下:0001001100110111
垂直方向的情况下:0000010011011111
,通过使用与方向性对应的扫描顺序,也能够抑制子块内的逆扫 描顺序的上下文索引的0和1的转换。
因此,在如上所述那样定义0和1的重复数的硬件中,硬件的安 装被简化。
为了解决上述课题,本发明的算术解码装置是关于通过将对象图 像按每个单位区域进行频率变换而按每个频率成分获得的各变换系 数,对将表示该变换系数的各种语法进行算术编码而获得的编码数据 进行解码的算术解码装置,其特征在于,包括:子块分割单元,将与 处理对象的单位区域对应的对象频域分割为预定的尺寸的子块;有无 子块系数标记解码单元,关于通过上述子块分割单元而分割的各子块, 对表示在该子块中是否包括至少一个非0变换系数的有无子块系数标 记进行解码;有系数子块数计算单元,基于有无子块系数标记,关于 与处理对象的子块相邻的各子块,计算包括至少一个非0变换系数子 块的数目;以及上下文索引导出单元,导出对作为表示上述变换系数 是否为0的语法的有无变换系数标记分配的上下文索引,上述上下文 索引导出单元根据由有系数子块数计算单元计算出的数目,使用处理 对象的变换系数在上述处理对象的子块中的水平方向的坐标以及垂直 方向的坐标之和,导出上述上下文索引。
根据上述结构,能够根据包括至少一个非0变换系数相邻子块的 数目,使用处理对象的变换系数在上述处理对象的子块中的水平方向 的坐标以及垂直方向的坐标之和,导出上述上下文索引。
在上述结构中,也可以不区分有无子块系数标记是在右相邻子块 中的标记,还是在下相邻子块中的标记。
因此,与上述实施例相比,能够削减上下文导出模式数。此外, 各模式中的比较全部成为“xB+yB”和预定的阈值的比较。此外,关 于斜向扫描(Up-right diagonal scan),在子块内的扫描顺序上的上下 文索引的转换次数只成为1次,在硬件上的安装被简化。
如以上所述,根据上述结构,起到硬件的安装被简化的效果。
为了解决上述课题,本发明的算术解码装置是关于通过将对象图 像按每个单位区域进行频率变换而按每个频率成分获得的各变换系 数,对将表示该变换系数的各种语法进行算术编码而获得的编码数据 进行解码的算术解码装置,其特征在于,包括:子块分割单元,将与 处理对象的单位区域对应的对象频域根据预定的定义而分割为4×4尺 寸的子块;有无子块系数标记解码单元,关于通过上述子块分割单元 而分割的各子块,对表示在该子块中是否包括至少一个非0变换系数 的有无子块系数标记进行解码;模式判定单元,判定对与处理对象的 子块相邻的各子块进行了解码的有无子块系数标记的值的模式;以及 上下文索引导出单元,导出对作为表示上述变换系数是否为0的语法 的有无变换系数标记分配的上下文索引,上述上下文索引导出单元根 据模式判定单元的判定结果,使用处理对象的变换系数在上述处理对 象的子块中的水平方向以及垂直方向的各个坐标的2比特表现中的上 位比特,导出上下文索引。
根据上述结构,能够根据对与处理对象的子块相邻的各子块进行 了解码的有无子块系数标记的值的状况,使用处理对象的变换系数在 上述处理对象的子块中的水平方向以及垂直方向的各个坐标的2比特 表现中的上位比特,导出上述上下文索引。
根据上述结构,能够由4比特的输入信息来实现上下文索引导出 处理。具体而言,子块内的X坐标的上位比特(1bit)、子块内的Y 坐标的上位比特(1bit)、X方向的相邻子块中的有无子块系数标记 (1bit)以及X方向的相邻子块中的有无子块系数标记(1bit)的共4比特。
此外,由于从4比特的输入,导出0~2(2比特)的输出即可, 所以能够通过排除了条件分歧的简单的比特运算而实现上下文索引导 出处理。
为了解决上述课题,本发明的算术解码装置是关于通过将对象图 像按每个单位区域进行频率变换而按每个频率成分获得的各变换系 数,对将表示该变换系数的各种语法进行算术编码而获得的编码数据 进行解码的算术解码装置,其特征在于,包括:子块分割单元,将与 处理对象的单位区域对应的对象频域根据预定的定义而分割为4×4尺 寸的子块;以及变换系数解码单元,关于将上述4×4尺寸的子块进行 4分割而获得的2×2尺寸的部分区域,分别使用该部分区域内的扫描 顺序,对变换系数进行解码。
根据上述结构,关于将上述4×4尺寸的子块进行4分割而获得的 2×2尺寸的部分区域,分别使用该部分区域单位的扫描顺序,对变换 系数进行解码。
在上述部分区域单位内的扫描顺序中,例如能够使用2×2的部分 区域的左上、左下、右上以及右下的顺序。此外,上述部分区域单位 内的扫描顺序和部分区域间(部分区域单位)的扫描顺序能够作为一 套来应用。另外,实际的解码处理只要是按照逆扫描顺序进行的结构 即可。
根据上述结构,由于能够抑制在扫描顺序上坐标(例如,扫描顺 序上相邻频率成分的坐标)大幅变化的情况,所以能够将在空间上具 有同种特性的变换系数依次进行解码。其结果,编码效率提高。
为了解决上述课题,本发明的算术解码装置是关于通过将对象图 像按每个单位区域进行频率变换而按每个频率成分获得的各变换系 数,对将表示该变换系数的各种语法进行算术编码而获得的编码数据 进行解码的算术解码装置,其特征在于,包括:子块分割单元,将与 处理对象的单位区域对应的对象频域分割为预定的尺寸的子块;有无 子块系数标记解码单元,关于通过上述子块分割单元而分割的各子块, 对表示在该子块中是否包括至少一个非0变换系数的有无子块系数标 记进行解码;方向性判定单元,基于与处理对象的子块相邻的子块中 的有无子块系数标记,判定变换系数的分布的方向性;以及上下文索 引导出单元,导出对作为表示上述变换系数是否为0的语法的有无变 换系数标记分配的上下文索引,上述上下文索引导出单元根据由上述 方向性判定单元判定出的方向性,使用处理对象的子块在处理对象的 单位区域中的坐标,导出上述上下文索引。
根据上述结构,根据变换系数的分布的方向性,使用处理对象的 子块在处理对象的单位区域中的坐标,导出上述上下文索引。
在存在横边缘或纵边缘的情况下,有非0变换系数在处理对象的 单位区域(例如,TU)中的xC=0的区域或者yC=0的区域中集中出 现的倾向。
根据上述结构,由于在存在横边缘或纵边缘的可能性高的情况下, 使用与非0变换系数的发生概率高的情况对应的上下文索引,所以能 够实现编码效率的提高。
为了解决上述课题,本发明的算术解码装置是关于通过将对象图 像按每个单位区域进行频率变换而按每个频率成分获得的各变换系 数,对将表示该变换系数的各种语法进行算术编码而获得的编码数据 进行解码的算术解码装置,其特征在于,包括:子块分割单元,将与 处理对象的单位区域对应的对象频域分割为预定的尺寸的子块;有无 子块系数标记解码单元,关于通过上述子块分割单元而分割的各子块, 对表示在该子块中是否包括至少一个非0变换系数的有无子块系数标 记进行解码;有无相邻子块系数判定单元,基于上述有无子块系数标 记,对与处理对象的子块相邻的子块分别判定是否包括至少一个非0 变换系数;以及上下文索引导出单元,导出对作为表示上述变换系数 是否为0的语法的有无变换系数标记分配的上下文索引,上述上下文 索引导出单元在上述判定的结果,在预定的数目以上的子块中包括至 少一个非0变换系数的情况下,在处理对象的子块中一致地导出与变 换系数的发生概率高的情况对应的上述上下文索引。
根据上述结构,在预定的数目以上的子块中包括至少一个非0变 换系数的情况下,在处理对象的子块中一致地导出与变换系数的发生 概率高的情况对应的上述上下文索引。
这样,在非0变换系数的发生概率一致地高的情况下,在处理对 象的子块中,一致地导出与变换系数的发生概率高的情况对应的上述 上下文索引,所以能够实现编码效率的提高。
本发明的图像解码装置包括:上述算术解码装置;逆频率变换单 元,通过对由上述算术解码装置进行了解码的变换系数进行逆频率变 换,从而生成残差图像;以及解码图像生成单元,通过将由上述逆频 率变换单元生成的残差图像和从生成完毕的解码图像预测的预测图像 相加,从而生成解码图像。
这样构成的图像解码装置也是本发明的范畴,在这样的情况下, 也能够获得与上述算术解码装置相同的作用和效果。
为了解决上述课题,本发明的算术编码装置是关于通过将对象图 像按每个单位区域进行频率变换而按每个频率成分获得的各变换系 数,对表示该变换系数的各种语法进行算术编码的算术编码装置,其 特征在于,包括:子块分割单元,将与处理对象的单位区域对应的对 象频域分割为预定的尺寸的子块;有无子块系数标记编码单元,关于 通过上述子块分割单元而分割的各子块,对表示在该子块中是否包括 至少一个非0变换系数的有无子块系数标记进行编码;非0变换系数 判定单元,基于进行了编码的有无子块系数标记,判定在与处理对象 的子块相邻的子块中是否包括至少一个非0变换系数;以及上下文索引导出单元,导出对作为表示处理对象的上述变换系数是否为0的语 法的有无变换系数标记分配的上下文索引,上述上下文索引导出单元 在判定为在与处理对象的子块相邻的任一个子块中不存在非0变换系 数时,基于该判定结果,根据处理对象的子块中的处理对象的变换系 数的位置,导出与非0变换系数的发生概率低的情况、非0变换系数 的发生概率高的情况、以及非0变换系数的发生概率为高的情况和低 的情况之间的中间程度的情况分别对应的上述上下文索引。
为了解决上述课题,本发明的算术编码装置是关于通过将对象图 像按每个单位区域进行频率变换而按每个频率成分获得的各变换系 数,对表示该变换系数的各种语法进行算术编码的算术编码装置,其 特征在于,包括:子块分割单元,将与处理对象的单位区域对应的对 象频域根据预定的定义而分割为4×4尺寸的子块;有无子块系数标记 编码单元,关于通过上述子块分割单元而分割的各子块,对表示在该 子块中是否包括至少一个非0变换系数的有无子块系数标记进行编码; 方向性判定单元,基于与处理对象的子块相邻的子块中的有无子块系 数标记,判定变换系数的分布的方向性;以及上下文索引导出单元, 导出对作为表示处理对象的上述变换系数是否为0的语法的有无变换 系数标记分配的上下文索引,若上述上下文索引导出单元将上述4×4 尺寸的子块中的坐标设为(xB,yB)(其中,将xB设为水平方向, 将yB设为垂直方向,将子块左上设为原点(0,0)),则在上述子块 中应用的扫描顺序为斜向扫描的情况下,在判定出的方向性为垂直方 向时,在由(0,0)~(0,3)、(1,0)~(1,2)以及(2,0) 构成的区域中,与该区域以外的区域相比,进一步导出与变换系数的 发生概率高的情况对应的上下文索引,另一方面,在判定出的方向性 为水平方向时,在由(0,0)~(3,0)、(0,1)~(2,1)以及 (0,2)构成的区域中,与该区域以外的区域相比,进一步导出与变 换系数的发生概率高的情况对应的上述上下文索引。
此外,本发明的图像编码装置包括:变换系数生成单元,通过将 编码对象图像和预测图像的残差图像按每个单位区域进行频率变换, 生成变换系数;以及上述算术编码装置,上述算术编码装置通过对表 示由上述变换系数生成单元生成的变换系数的各种语法进行算术编 码,生成编码数据。
这样构成的算术编码装置以及图像编码装置也是本发明的范畴, 在这个情况下,也能够获得与上述算术解码装置相同的作用和效果。
(备注事项1)
上述的活动图像编码装置2及活动图像解码装置1能够搭载于进 行活动图像的发送、接收、记录、再现的各种装置而利用。另外,活 动图像既可以是通过摄像机等而拍摄到的自然活动图像,也可以是通 过计算机等而生成的人工活动图像(包括CG以及GUI)。
首先,参照图48说明能够将上述的活动图像编码装置2及活动图 像解码装置1利用于活动图像的发送及接收的情况。
图48的(a)是表示搭载了活动图像编码装置2的发送装置PROD _A的结构的框图。如图48的(a)所示,发送装置PROD_A包括: 编码部PROD_A1,通过对活动图像进行编码而获得编码数据;调制 部PROD_A2,使用由编码部PROD_A1获得的编码数据对载波进行 调制而获得调制信号;以及发送部PROD_A3,发送调制部PROD_ A2获得的调制信号。上述的活动图像编码装置2作为该编码部PROD _A1而利用。
发送装置PROD_A也可以作为对编码部PROD_A1输入的活动 图像的供给源,进一步包括拍摄活动图像的摄像机PROD_A4、记录 了活动图像的记录介质PROD_A5、用于从外部输入活动图像的输入 端子PROD_A6以及生成或者加工图像的图像处理部A7。在图48的(a)中,例示了发送装置PROD_A将这些全部具有的结构,但也可 以省略一部分。
另外,记录介质PROD_A5既可以是记录了没有编码的活动图像 的介质,也可以是记录了以与传输用的编码方式不同的记录用的编码 方式进行了编码的活动图像的介质。在后者的情况下,在记录介质 PROD_A5和编码部PROD_A1之间介入将从记录介质PROD_A5读 出的编码数据根据记录用的编码方式进行解码的解码部(未图示)即 可。
图48的(b)是表示搭载了活动图像解码装置1的接收装置PROD _B的结构的框图。如图48的(b)所示,接收装置PROD_B包括: 接收部PROD_B1,接收调制信号;解调部PROD_B2,通过对接收 部PROD_B1接收到的调制信号进行解调而获得编码数据;以及解码 部PROD_B3,通过对解调部PROD_B2获得的编码数据进行解码而 获得活动图像。上述的活动图像解码装置1作为该解码部PROD_B3 而利用。
接收装置PROD_B也可以作为解码部PROD_B3输出的活动图 像的供给目的地,进一步包括显示活动图像的显示器PROD_B4、用 于记录活动图像的记录介质PROD_B5以及用于将活动图像输出到外 部的输出端子PROD_B6。在图48的(b)中,例示了接收装置PROD_B将这些全部具有的结构,但也可以省略一部分。
另外,记录介质PROD_B5既可以是记录了没有编码的活动图像 的介质,也可以是记录了以与传输用的编码方式不同的记录用的编码 方式进行了编码的介质。在后者的情况下,在解码部PROD_B3和记 录介质PROD_B5之间介入将从解码部PROD_B3取得的活动图像根 据记录用的编码方式进行编码的编码部(未图示)即可。
另外,传输调制信号的传输介质既可以是无线,也可以是有线。 此外,传输调制信号的传输方式既可以是广播(这里,指发送目的地 没有预先确定的发送方式),也可以是通信(这里,指发送目的地预 先确定的发送方式)。即,调制信号的传输也可以通过无线广播、有 线广播、无线通信以及有线通信中的任一个而实现。
例如,地面数字广播的广播站(广播设备等)/接收站(电视接收 机等)是通过无线广播来发送接收调制信号的发送装置PROD_A/接收 装置PROD_B的一例。此外,电缆电视广播的广播站(广播设备等) /接收站(电视接收机等)是通过有线广播来发送接收调制信号的发送 装置PROD_A/接收装置PROD_B的一例。
此外,使用了互联网的VOD(Video On Demand,视频点播)服 务或动画共享服务等的服务器(工作站等)/客户端(电视接收机、个 人计算机、智能手机等)是通过通信来发送接收调制信号的发送装置 PROD_A/接收装置PROD_B的一例(通常,在LAN中作为传输介质而使用无线或者有线中的任一个,在WAN中作为传输介质而使用有 线)。这里,在个人计算机中,包括桌上型PC、膝上型PC以及平板 型PC。此外,在智能手机中,还包括多功能便携电话终端。
另外,动画共享服务的客户端除了具有将从服务器下载的编码数 据进行解码而在显示器中显示的功能之外,还具有将通过摄像机拍摄 到的活动图像进行编码而上载到服务器中的功能。即,动画共享服务 的客户端作为发送装置PROD_A及接收装置PROD_B的双方发挥作 用。
接着,参照图49说明能够将上述的活动图像编码装置2及活动图 像解码装置1利用于活动图像的记录及再现的情况。
图49的(a)是表示搭载了活动图像编码装置2的记录装置PROD _C的结构的框图。如图49的(a)所示,记录装置PROD_C包括: 编码部PROD_C1,通过对活动图像进行编码而获得编码数据;以及 写入部PROD_C2,将编码部PROD_C1获得的编码数据写入记录介 质PROD_M。上述的活动图像编码装置2作为该编码部PROD_C1 而利用。
另外,记录介质PROD_M(1)既可以是如HDD(Hard Disk Drive, 硬盘驱动器)或SSD(Solid State Drive,固态硬盘)等那样内置在记录装 置PROD_C中的类型,(2)也可以是如SD存储器卡或USB(Universal Serial Bus,通用串行总线)闪速存储器等那样连接到记录装置PROD _C的类型,(3)也可以是如DVD(Digital Versatile Disc,数字视盘) 或BD(Blu-ray Disc(注册商标),蓝光盘)等那样在内置于记录装置 PROD_C中的驱动器装置(未图示)中装填的类型。
此外,记录装置PROD_C也可以作为对编码部PROD_C1输入 的活动图像的供给源,进一步包括拍摄活动图像的摄像机PROD_C4、 用于从外部输入活动图像的输入端子PROD_C4、用于接收活动图像 的接收部PROD_C5以及生成或者加工图像的图像处理部C6。在图49的(a)中,例示了记录装置PROD_C将这些全部具有的结构,但 也可以省略一部分。
另外,接收部PROD_C5既可以是接收没有编码的活动图像的部 分,也可以是接收以与记录用的编码方式不同的传输用的编码方式进 行了编码的编码数据的部分。在后者的情况下,在接收部PROD_C5 和编码部PROD_C1之间之间介入对以传输用的编码方式进行了编码 的编码数据进行解码的传输用解码部(未图示)即可。
作为这样的记录装置PROD_C,例如举出DVD记录器、BD记 录器、HDD(Hard DiskDrive,硬盘驱动器)记录器等(此时,输入端 子PROD_C4或者接收部PROD_C5成为活动图像的主要的供给源)。 此外,可携式摄像机(此时,摄像机PROD_C3成为活动图像的主要 的供给源)、个人计算机(此时,接收部PROD_C5或者图像处理部 C6成为活动图像的主要的供给源)、智能手机(此时,摄像机PROD _C3或者接收部PROD_C5成为活动图像的主要的供给源)等也是这 样的记录装置PROD_C的一例。
图49的(b)是表示搭载了上述的活动图像解码装置1的再现装 置PROD_D的结构的框图。如图49的(b)所示,再现装置PROD_ D包括:读出部PROD_D1,读出写入记录介质PROD_M的编码数 据;以及解码部PROD_D2,通过对读出部PROD_D1读出的编码数 据进行解码而获得活动图像。上述的活动图像解码装置1作为该解码 部PROD_D2而利用。
另外,记录介质PROD_M(1)既可以是如HDD或SSD等那样 内置在再现装置PROD_D中的类型,(2)也可以是如SD存储器卡 或USB闪速存储器等那样连接到再现装置PROD_D的类型,(3)也 可以是如DVD或BD等那样在内置于再现装置PROD_D中的驱动器 装置(未图示)中装填的类型。
此外,再现装置PROD_D也可以作为解码部PROD_D2输出的 活动图像的供给目的地,进一步包括显示活动图像的显示器PROD_ D3、用于将活动图像输出到外部的输出端子PROD_D4以及发送活动 图像的发送部PROD_D5。在图49的(b)中,例示了再现装置PROD _D将这些全部具有的结构,但也可以省略一部分。
另外,发送部PROD_D5既可以是发送没有编码的活动图像的部 分,也可以是发送以与记录用的编码方式不同的传输用的编码方式进 行了编码的编码数据的部分。在后者的情况下,在解码部PROD_D2 和发送部PROD_D5之间介入以传输用的编码方式对活动图像进行编 码的编码部(未图示)即可。
作为这样的再现装置PROD_D,例如举出DVD播放器、BD播 放器、HDD播放器等(此时,连接了电视接收机等的输出端子PROD _D4成为活动图像的主要的供给目的地)。此外,电视接收机(此时, 显示器PROD_D3成为活动图像的主要的供给目的地)、数字标牌(也 称为电子挂牌或电子布告牌等,显示器PROD_D3或者发送部PROD _D5成为活动图像的主要的供给目的地)、桌上型PC(此时,输出端 子PROD_D4或者发送部PROD_D5成为活动图像的主要的供给目的 地)、膝上型或者平板型PC(此时,显示器PROD_D3或者发送部 PROD_D5成为活动图像的主要的供给目的地)、智能手机(此时, 显示器PROD_D3或者发送部PROD_D5成为活动图像的主要的供给 目的地)等也是这样的再现装置PROD_D的一例。
(备注事项2)
上述的活动图像解码装置1以及活动图像编码装置2的各模块既 可以通过在集成电路(IC芯片)上形成的逻辑电路而以硬件方式实现, 也可以使用CPU(CentralProcessing Unit,中央处理器)而以软件方式 实现。
在后者的情况下,上述各装置包括执行用于实现各功能的程序的 命令的CPU、存储了上述程序的ROM(Read Only Memory,只读存储 器)、展开上述程序的RAM(RandomAccess Memory,随机存取存储 器)、存储上述程序以及各种数据的存储器等的存储装置(记录介质) 等。并且,通过将实现上述的功能的软件即上述各装置的控制程序的 程序代码(执行形式程序、中间代码程序、源程序)以计算机能够读 取的方式记录的记录介质提供给上述各装置,其计算机(或者CPU或 MPU)读出在记录介质中记录的程序代码而执行,也能够达成本发明 的目的。
作为上述记录介质,例如,能够使用磁带或卡带等的带类、包括 软盘(注册商标)/硬盘等的磁盘或CD-ROM/MO/MD/DVD/CD-R等的 光盘的盘类、IC卡(包括存储卡)/光卡等的卡类、掩摸 ROM/EPROM/EEPROM(注册商标)/闪速ROM等的半导体存储器类、 或者PLD(Programmable logic device,可编程逻辑电路)或FPGA(Field Programmable GateArray,可编程门阵列)等的逻辑电路类等。
此外,也可以将上述各装置构成为能够与通信网络连接,经由通 信网络而提供上述程序代码。该通信网络只要能够传输程序代码即可, 没有特别限定。例如,可以利用互联网、内联网、外联网、LAN、ISDN、 VAN、CATV通信网、虚拟专用网(virtual privatenetwork)、电话线 路网、移动通信网、卫星通信网等。此外,作为构成该通信网络的传 输介质,只要能够传输程序代码的介质即可,并不限定于特定的结构 或者种类。例如还能够利用IEEE1394、USB、电力线传输、电缆TV 线路、电话线、ADSL(Asymmetric DigitalSubscriber Line,非对称数 字用户线路)线路等的有线,也可以使用IrDA或遥控那样的红外线、 Bluetooth(注册商标)、802.11无线、HDR(High Data Rate,高数据 率)、NFC(NearField Communication,近场通信)、DLNA(Digital Living Network Alliance,数字生活网络联盟)、移动电话网、卫星线 路、地面波数字网等的无线。
本发明并不限定于上述的各实施方式,在权利要求书所示的范围 内能够进行各种变更,将在不同的实施方式中分别公开的技术手段适 当地组合而获得的实施方式,也包含在本发明的技术范围中。
产业上的可利用性
本发明能够适当地使用于对进行了算术编码的编码数据进行解码 的算术解码装置以及生成进行了算术编码的编码数据的算术编码装 置。
符号说明
1 活动图像解码装置(图像解码装置)
11 可变长码解码部
111 量化残差信息解码部(算术解码装置)
120 变换系数解码部(变换系数解码单元)
123 系数解码控制部(子块分割单元)
124 有无系数标记解码部
124a TU尺寸判定部
124b 位置上下文导出部
124c 有无相邻子块系数上下文导出部(上下文索引导出单元、 非0变换系数判定单元、模式判定单元、方向性判定单元)
124e 有无系数标记设定部
127 有无子块系数标记解码部(有无子块系数标记解码单元)
127a 上下文导出部
127b 有无子块系数标记存储部
127c 有无子块系数标记设定部
130 算术符号解码部
131 上下文记录更新部
132 比特解码部
2 活动图像编码装置(图像编码装置)
27 可变长码编码部
271 量化残差信息编码部(算术编码装置)
220 变换系数编码部
223 系数编码控制部(子块分割单元)
224 有无系数标记编码部
224a TU尺寸判定部
224b 位置上下文导出部
224c 有无子块系数标记上下文导出部(上下文索引导出单元、 非0变换系数判定单元、方向性判定单元)
224e 有无系数标记设定部
227 有无子块系数标记编码部(有无子块系数标记编码单元)
227a 上下文导出部
227b 有无子块系数标记存储部
227c 有无子块系数标记设定部
228 语法导出部
230 算术符号编码部
231 上下文记录更新部
232 比特编码部

Claims (8)

1.一种算术解码方法,对每个单位区域进行变换系数的编码数据解码,所述方法包括:
针对多个子块中的每一个,解码有/无子块系数标记,上述标记表示一个或多个非0变换系数是否包括在上述多个子块中的相应的一个中,上述单位区域被分割为上述多个子块;以及
导出与表示目标子块的变换系数是否为0的有/无变换系数标记对应的上下文索引,其中
当在与上述目标子块的右侧相邻子块或与上述目标子块的下侧相邻子块中都不包括上述非0变换系数时,
在表示上述变换系数的位置的水平方向坐标和垂直方向坐标之和等于第一阈值的情况下,导出具有第一值的上下文索引,
在表示上述变换系数的位置的水平方向坐标和垂直方向坐标之和小于第二阈值的情况下,导出具有第二值的上下文索引,以及
在表示上述变换系数的位置的水平方向坐标和垂直方向坐标之和等于或大于上述第二阈值的情况下,导出具有第三值的上下文索引。
2.如权利要求1所述的算术解码方法,其中所述单位区域由帧组成,并且进一步包括显示显示器上的上述帧。
3.一种图像解码装置,其特征在于,包括:
存储器,以及
处理器,其中上述处理器配置成执行以下步骤:
针对多个子块中的每一个,解码有/无子块系数标记,上述标记表示一个或多个非0变换系数是否包括在上述多个子块中的相应的一个中,上述单位区域被分割为上述多个子块;以及
导出与表示目标子块的变换系数是否为0的有/无变换系数标记对应的上下文索引,其中
当在与上述目标子块的右侧相邻子块或与上述目标子块的下侧相邻子块中都不包括上述非0变换系数时,
在表示上述变换系数的位置的水平方向坐标和垂直方向坐标之和等于第一阈值的情况下,导出具有第一值的上下文索引,以及
在表示上述变换系数的位置的水平方向坐标和垂直方向坐标之和小于第二阈值的情况下,导出具有第二值的上下文索引,以及
在表示上述变换系数的位置的水平方向坐标和垂直方向坐标之和等于或大于上述第二阈值的情况下,导出具有第三值的上下文索引。
4.如权利要求3所述的图像解码装置,其中所述单位区域由帧组成,并且所述处理器进一步配置成显示显示器上的上述帧。
5.如权利要求4所述的图像解码装置,其中所述图像解码装置包括上述显示器。
6.如权利要求4所述的图像解码装置,其中所述图像解码装置是电视机、台式个人计算机、膝上型个人计算机、电话和平板电脑中的一个。
7.一种算术编码方法,对表示每个单位区域的变换系数的每个语法要素进行算数编码,所述方法包括:
针对多个子块中的每一个,编码有/无子块系数标记,上述标记表示一个或多个非0变换系数是否包括在上述多个子块中的相应的一个中,上述单位区域被分割为上述多个子块;以及
导出与表示目标子块的变换系数是否为0的有/无变换系数标记对应的上下文索引,其中
当在与上述目标子块的右侧相邻子块或与上述目标子块的下侧相邻子块中都不包括上述非0变换系数时,
在表示上述变换系数的位置的水平方向坐标和垂直方向坐标之和等于第一阈值的情况下,导出具有第一值的上下文索引,以及
在表示上述变换系数的位置的水平方向坐标和垂直方向坐标之和小于第二阈值的情况下,导出具有第二值的上下文索引,以及
在表示上述变换系数的位置的水平方向坐标和垂直方向坐标之和等于或大于上述第二阈值的情况下,导出具有第三值的上下文索引。
8.一种图像编码装置,其特征在于,包括:
存储器,以及
处理器,其中所述处理器配置成执行以下步骤:
针对多个子块中的每一个,编码有/无子块系数标记,上述标记表示一个或多个非0变换系数是否包括在上述多个子块中的相应的一个中,上述单位区域被分割为上述多个子块;以及
导出与表示目标子块的变换系数是否为0的有/无变换系数标记对应的上下文索引,其中
当在与上述目标子块的右侧相邻子块或与上述目标子块的下侧相邻子块中都不包括非0变换系数时,
在表示上述变换系数的位置的水平方向坐标和垂直方向坐标之和等于第一阈值的情况下,导出具有第一值的上下文索引,以及
在表示上述变换系数的位置的水平方向坐标和垂直方向坐标之和小于第二阈值的情况下,导出具有第二值的上下文索引,以及
在表示上述变换系数的位置的水平方向坐标和垂直方向坐标之和等于或大于上述第二阈值的情况下,导出具有第三值的上下文索引。
CN201910515390.9A 2012-06-01 2013-05-24 算术解码装置、图像解码装置、算术编码装置以及图像编码装置 Active CN110365993B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2012-126567 2012-06-01
JP2012126567 2012-06-01
JP2012178842 2012-08-10
JP2012-178842 2012-08-10
CN201380028394.5A CN104350753B (zh) 2012-06-01 2013-05-24 算术解码装置、图像解码装置、算术编码装置以及图像编码装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380028394.5A Division CN104350753B (zh) 2012-06-01 2013-05-24 算术解码装置、图像解码装置、算术编码装置以及图像编码装置

Publications (2)

Publication Number Publication Date
CN110365993A true CN110365993A (zh) 2019-10-22
CN110365993B CN110365993B (zh) 2021-08-06

Family

ID=49673219

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910515390.9A Active CN110365993B (zh) 2012-06-01 2013-05-24 算术解码装置、图像解码装置、算术编码装置以及图像编码装置
CN201380028394.5A Active CN104350753B (zh) 2012-06-01 2013-05-24 算术解码装置、图像解码装置、算术编码装置以及图像编码装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201380028394.5A Active CN104350753B (zh) 2012-06-01 2013-05-24 算术解码装置、图像解码装置、算术编码装置以及图像编码装置

Country Status (9)

Country Link
US (8) US9538205B2 (zh)
EP (1) EP2858353B1 (zh)
JP (1) JP6190361B2 (zh)
CN (2) CN110365993B (zh)
AU (1) AU2013268588B2 (zh)
CA (1) CA2873694A1 (zh)
ES (1) ES2729781T3 (zh)
HK (1) HK1204736A1 (zh)
WO (1) WO2013180023A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873244A (zh) * 2020-06-30 2021-12-31 华为技术有限公司 一种系数编解码方法和系数编解码装置

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10091529B2 (en) * 2010-07-09 2018-10-02 Samsung Electronics Co., Ltd. Method and apparatus for entropy encoding/decoding a transform coefficient
CN110365993B (zh) 2012-06-01 2021-08-06 威勒斯媒体国际有限公司 算术解码装置、图像解码装置、算术编码装置以及图像编码装置
AU2013278760B2 (en) * 2012-06-22 2016-10-27 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
CA2917419C (en) * 2013-07-24 2020-07-14 Microsoft Technology Licensing, Llc Scanning orders for non-transform coding
WO2016054090A1 (en) 2014-09-30 2016-04-07 Nunntawi Dynamics Llc Method to determine loudspeaker change of placement
WO2016074746A1 (en) 2014-11-14 2016-05-19 Huawei Technologies Co., Ltd. Systems and methods for mask based processing of a block of a digital image
CN108293125B (zh) 2014-11-14 2020-08-07 华为技术有限公司 一种数字图像处理系统和方法
WO2016074745A1 (en) 2014-11-14 2016-05-19 Huawei Technologies Co., Ltd. Systems and methods for processing a block of a digital image
CN108353179A (zh) * 2015-09-10 2018-07-31 三星电子株式会社 编码设备、解码设备及其编码方法和解码方法
US9942548B2 (en) * 2016-02-16 2018-04-10 Google Llc Entropy coding transform partitioning information
JP6881441B2 (ja) * 2016-05-13 2021-06-02 日本電気株式会社 算術符号化装置、算術符号化方法、及び、算術符号化回路
CN109479138B (zh) * 2016-07-13 2023-11-03 韩国电子通信研究院 图像编码/解码方法和装置
EP3270595A1 (en) * 2016-07-15 2018-01-17 Thomson Licensing Method and apparatus for last coefficient coding for adaptive transform based video compression
EP3270594A1 (en) * 2016-07-15 2018-01-17 Thomson Licensing Method and apparatus for advanced cabac context adaptation for last coefficient coding
US10694202B2 (en) * 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
KR20180089290A (ko) 2017-01-31 2018-08-08 세종대학교산학협력단 영상의 부호화/복호화 방법 및 장치
CN106991391A (zh) * 2017-03-30 2017-07-28 理光图像技术(上海)有限公司 文档处理装置以及文档处理和识别系统
JP2018182444A (ja) * 2017-04-07 2018-11-15 株式会社Jvcケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
CA3222632A1 (en) * 2017-04-13 2018-10-18 Lg Electronics Inc. Method and device for entropy encoding and decoding video signal
CN114430486A (zh) * 2017-04-28 2022-05-03 夏普株式会社 图像解码装置以及图像编码装置
US10630974B2 (en) * 2017-05-30 2020-04-21 Google Llc Coding of intra-prediction modes
US11457235B2 (en) 2017-08-29 2022-09-27 Kt Corporation Method for refining a motion vector derived under a merge mode using a difference vector
US10645408B2 (en) * 2017-09-17 2020-05-05 Google Llc Dual deblocking filter thresholds
KR20190088020A (ko) * 2018-01-17 2019-07-25 인텔렉추얼디스커버리 주식회사 다양한 변환 기술을 사용하는 비디오 코딩 방법 및 장치
US10491914B2 (en) * 2018-03-29 2019-11-26 Tencent America LLC Transform information prediction
EP3562156A1 (en) * 2018-04-27 2019-10-30 InterDigital VC Holdings, Inc. Method and apparatus for adaptive context modeling in video encoding and decoding
KR102488860B1 (ko) * 2018-09-02 2023-01-13 엘지전자 주식회사 영상 신호를 처리하기 위한 방법 및 장치
AU2018233042B2 (en) * 2018-09-21 2024-06-13 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a tree of blocks of video samples
CN114390280B (zh) * 2018-11-12 2023-08-18 Lg电子株式会社 图像解码方法、图像编码方法和数据发送方法
US10798419B2 (en) 2018-11-19 2020-10-06 Sony Corporation Embedded codec circuitry for sub-block based encoding of quantized prediction residual levels
US11463712B2 (en) * 2018-11-21 2022-10-04 Interdigital Vc Holdings, Inc. Residual coding with reduced usage of local neighborhood
CN111435993B (zh) * 2019-01-14 2022-08-26 华为技术有限公司 视频编码器、视频解码器及相应方法
US10666986B1 (en) * 2019-03-08 2020-05-26 Sony Corporation Sub-block based entropy coding for embedded image codec
WO2020207502A1 (en) 2019-04-12 2020-10-15 Beijing Bytedance Network Technology Co., Ltd. Most probable mode list construction for matrix-based intra prediction
CN113728647B (zh) * 2019-05-01 2023-09-05 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文编码
EP3959876A4 (en) 2019-05-31 2022-06-29 Beijing Bytedance Network Technology Co., Ltd. Restricted upsampling process in matrix-based intra prediction
JP2022534320A (ja) 2019-06-05 2022-07-28 北京字節跳動網絡技術有限公司 マトリクスベースイントラ予測のためのコンテキスト決定
CN114450963A (zh) * 2019-09-18 2022-05-06 松下电器(美国)知识产权公司 用于视频编码的系统和方法
WO2021060829A1 (ko) * 2019-09-23 2021-04-01 주식회사 케이티 비디오 신호 처리 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1311951A (zh) * 1998-06-09 2001-09-05 松下电器产业株式会社 图像编码装置、图像译码装置、文字核对装置和数据存储媒体
US20090003447A1 (en) * 2007-06-30 2009-01-01 Microsoft Corporation Innovations in video decoder implementations
US20090002379A1 (en) * 2007-06-30 2009-01-01 Microsoft Corporation Video decoding implementations for a graphics processing unit
WO2010143853A2 (ko) * 2009-06-07 2010-12-16 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 장치

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7379608B2 (en) * 2003-12-04 2008-05-27 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Arithmetic coding for transforming video and picture data units
CN100531386C (zh) * 2007-06-15 2009-08-19 上海富瀚微电子有限公司 一种上下文自适应二进制算术编码器及其方法
US8254455B2 (en) * 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
US7777654B2 (en) * 2007-10-16 2010-08-17 Industrial Technology Research Institute System and method for context-based adaptive binary arithematic encoding and decoding
US8138956B2 (en) * 2008-06-02 2012-03-20 Mediatek Inc. CABAC encoder and CABAC encoding method
KR101695681B1 (ko) * 2008-08-19 2017-01-13 콘텐트 아머 상황-기반의 적응형 이진 산술 코딩(cabac)비디오 스트림 준수
JP4962476B2 (ja) * 2008-11-28 2012-06-27 ソニー株式会社 算術復号装置
CN101771879B (zh) * 2010-01-28 2011-08-17 清华大学 基于cabac的并行归一化编码实现电路及编码方法
JP5580404B2 (ja) * 2010-03-29 2014-08-27 株式会社東芝 半導体装置
US20130003858A1 (en) * 2011-06-30 2013-01-03 Vivienne Sze Simplified Context Selection For Entropy Coding of Transform Coefficient Syntax Elements
CA2825767C (en) * 2011-12-21 2018-11-27 Panasonic Corporation Image coding method, image decoding method, image coding apparatus and image decoding apparatus
US9584812B2 (en) 2012-01-20 2017-02-28 Blackberry Limited Methods and devices for context set selection
US9106918B2 (en) * 2012-01-20 2015-08-11 Sony Corporation Coefficient coding harmonization in HEVC
JP5696684B2 (ja) 2012-04-13 2015-04-08 株式会社Jvcケンウッド 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法及び送信プログラム
US9124872B2 (en) * 2012-04-16 2015-09-01 Qualcomm Incorporated Coefficient groups and coefficient coding for coefficient scans
CN110365993B (zh) 2012-06-01 2021-08-06 威勒斯媒体国际有限公司 算术解码装置、图像解码装置、算术编码装置以及图像编码装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1311951A (zh) * 1998-06-09 2001-09-05 松下电器产业株式会社 图像编码装置、图像译码装置、文字核对装置和数据存储媒体
US20090003447A1 (en) * 2007-06-30 2009-01-01 Microsoft Corporation Innovations in video decoder implementations
US20090002379A1 (en) * 2007-06-30 2009-01-01 Microsoft Corporation Video decoding implementations for a graphics processing unit
WO2010143853A2 (ko) * 2009-06-07 2010-12-16 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873244A (zh) * 2020-06-30 2021-12-31 华为技术有限公司 一种系数编解码方法和系数编解码装置
CN113873244B (zh) * 2020-06-30 2023-10-20 华为技术有限公司 一种系数编解码方法和系数编解码装置

Also Published As

Publication number Publication date
CA2873694A1 (en) 2013-12-05
US11509898B2 (en) 2022-11-22
US20210044802A1 (en) 2021-02-11
CN104350753A (zh) 2015-02-11
US20200045317A1 (en) 2020-02-06
EP2858353B1 (en) 2019-03-20
EP2858353A4 (en) 2016-01-20
ES2729781T3 (es) 2019-11-06
JP6190361B2 (ja) 2017-08-30
AU2013268588B2 (en) 2017-03-02
US9538205B2 (en) 2017-01-03
US20170208330A1 (en) 2017-07-20
US11758140B2 (en) 2023-09-12
US10491900B2 (en) 2019-11-26
US9794572B2 (en) 2017-10-17
HK1204736A1 (zh) 2015-11-27
US12126806B2 (en) 2024-10-22
US20170302934A1 (en) 2017-10-19
US20170078702A1 (en) 2017-03-16
CN110365993B (zh) 2021-08-06
WO2013180023A1 (ja) 2013-12-05
AU2013268588A1 (en) 2015-01-15
US9699479B2 (en) 2017-07-04
CN104350753B (zh) 2019-07-09
US20220408092A1 (en) 2022-12-22
JPWO2013180023A1 (ja) 2016-01-21
US20230362381A1 (en) 2023-11-09
EP2858353A1 (en) 2015-04-08
US20150110199A1 (en) 2015-04-23
US10848764B2 (en) 2020-11-24

Similar Documents

Publication Publication Date Title
CN104350753B (zh) 算术解码装置、图像解码装置、算术编码装置以及图像编码装置
CN104380737B (zh) 算术解码装置
CN103907349B (zh) 算术解码装置、图像解码装置、算术编码装置以及算术解码方法
CN103828364B (zh) 图像解码装置、图像解码方法及图像编码装置
CN106851318B (zh) 偏移解码装置、偏移编码装置、图像滤波装置
CN104067614B (zh) 算术解码装置、图像解码装置以及算术编码装置
US10547861B2 (en) Image decoding device
CN104054343B (zh) 图像解码装置、图像编码装置
CN107454401B (zh) 图像处理装置和图像处理方法
CN103858430A (zh) 图像解码装置、图像解码方法及图像编码装置
CN109076219A (zh) 图像解码装置以及图像编码装置
JP2013192118A (ja) 算術復号装置、画像復号装置、算術符号化装置、および画像符号化装置
JP2013187869A (ja) 算術復号装置、算術符号化装置、画像復号装置、および画像符号化装置
JP2013141094A (ja) 画像復号装置、画像符号化装置、画像フィルタ装置、および符号化データのデータ構造
JP2015167267A (ja) 画像復号装置、および画像符号化装置
JP2014176039A (ja) 画像復号装置、および画像符号化装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40009087

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240801

Address after: Osaka, Japan

Patentee after: Sharp Corp.

Country or region after: Japan

Address before: Ai Erlandubailin

Patentee before: Velos Media, LLC

Country or region before: Ireland