CN114762348B

CN114762348B - 运动图像解码装置

Info

Publication number: CN114762348B
Application number: CN202080083650.0A
Authority: CN
Inventors: 中条健; 猪饲知宏; 青野友子; 佐佐木瑛一; 桥本知典
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2019-12-03
Filing date: 2020-11-26
Publication date: 2024-08-09
Anticipated expiration: 2040-11-26
Also published as: CN118972618A; WO2021111962A1; CN118972619A; CN118972617A; JP2023011955A; EP4072144A1; CN114762348A; US20240314347A1; US20220295091A1; US12041263B2; EP4072144A4

Abstract

有时，即使在应该进行通常的预测处理的情况下，也进行加权预测处理。本发明的运动图像解码装置具有：加权预测处理部，根据编码数据，对加权系数和偏移值件解码，将插补图像乘以加权系数并加上偏移值来生成预测图像；以及通常预测处理部，从插补图像生成预测图像，在加权预测处理部中，在双向预测的情况下，在不存在参照列表0和参照列表1两方的加权系数和偏移值的信息的情况下，由通常预测处理部生成双向预测图像。

Description

运动图像解码装置

技术领域

本发明的实施方式涉及预测图像生成装置、运动图像解码装置以及运动图像编码装置。

背景技术

为了高效地传输或记录运动图像，使用通过对运动图像进行编码而生成编码数据的运动图像编码装置，以及通过对该编码数据进行解码而生成解码图像的运动图像解码装置。

作为具体的运动图像编码方式，例如可以列举出H.264/AVC、H.265/HEVC(High-Efficiency Video Coding：高效运动图像编码)方式等。

在这样的运动图像编码方式中，构成运动图像的图像(图片)通过分级结构来管理，并按每个CU进行编码/解码，所述分级结构包括通过分割图像而得到的切片、通过分割切片而得到的编码树单元(CTU：Coding Tree Unit)、通过分割编码树单元而得到的编码单位(有时也称为编码单元(Coding Unit：CU))以及通过分割编码单位而得到的变换单元(TU：Transform Unit)。

此外，在这样的运动图像编码方式中，通常，基于通过对输入图像进行编码/解码而得到的局部解码图像而生成预测图像，对从输入图像(原图像)中减去该预测图像而得到的预测误差(有时也称为“差分图像”或“残差图像”)进行编码。作为预测图像的生成方法，可列举出画面间预测(帧间预测)和画面内预测(帧内预测)。

此外，作为近年来的运动图像编码和解码的技术，可列举出非专利文献1。

在非专利文献1中，通过变量weightedPredFlag切换加权预测(WeightedPrediction)。如果在slice_type等于P的情况下，设定为weightedPredFlag等于pps_weighted_pred_flag。在除此以外的情况下(slice_type等于B的情况下)，设定为weightedPredFlag等于(pps_weighted_bipred_flag&&！dmvrFlag)。在此，pps_weighted_pred_flag是表示在slice_type为P的情况下是否在由图片参数集(Picture ParameterSet)定义的变量中应用加权预测的标志。此外，pps_weighted_bipred_flag是表示在slice_type为B的情况下是否在由图片参数集定义的变量中应用加权预测的标志。变量dmvrFlag是表示是否进行后述的DMVR处理的变量。

通过变量weightedPredFlag的值来调用加权预测处理。如果在weightedPredFlag等于0、或者bcwIdx不等于0的情况下，寻呼通常的预测处理，在除此以外的情况下(weightedPredFlag为1且bcwIdx为0的情况下)，调用加权预测的处理。

现有技术文献

非专利文献

非专利文献1：“Versatile Video Coding(Draft 7)”，JVET-P2001-vE，JointVideo Exploration Team(JVET)of ITU-T SG 16WP 3and ISO/IEC JTC1/SC 29/WG 11，2019-11-14

发明内容

发明要解决的问题

然而，有时，即使在变量weightedPredFlag的值为1且调用了加权预测处理的情况下，作为结果也应该进行通常的预测处理。在非专利文献1中记载的方法中存在如下的问题：即使在这样的情况下也进行加权预测处理。

具体而言，在非专利文献1中，对于L0列表和L1列表中的每个参照图片而言，存在表示是否存在亮度和色差的加权系数和偏移值的标志，而在亮度和色差方面仅各存在一个相当于加权系数的分母的右移位值(设为X)。因此，在不存在针对参照列表的加权系数和偏移值的情况下，将加权系数的值设为2的X次方，将偏移值设为0来进行加权预测处理。因此，在L0预测或L1预测时，不存在针对参照列表的加权系数和偏移值的情况下，在本来应该进行通常的预测处理的位置，将加权系数的值设为2的X次方，将偏移值设为0来进行加权预测处理。此外，在双向预测时，在不存在L0列表和L1列表双方的加权系数和偏移值的情况下，在本来应该进行通常的双向预测处理的位置，将加权系数的值设为2的X，将偏移值设为0来进行加权预测处理。如此，存在如下的问题：即使在应该进行通常的预测处理的情况下，有时也进行加权预测处理。

技术方案

本发明的一个方案的运动图像解码装置的特征在于，具有：

加权预测处理部，根据编码数据，对加权系数和偏移值进行解码，将插补图像乘以加权系数并加上偏移值来生成预测图像；以及

通常预测处理部，从插补图像生成预测图像，

在加权预测处理部中，在双向预测的情况下，在不存在参照列表0和参照列表1两方的加权系数和偏移值的信息的情况下，由通常预测处理部生成双向预测图像。

此外，本发明的一个方案的运动图像解码装置的特征在于，具有：

通常预测处理部，从插补图像生成预测图像，

在加权预测处理部中，在单向预测(L0预测或L1预测)的情况下，在不存在该参照列表的加权系数和偏移值的信息的情况下，由通常预测处理部生成单向预测图像。

本发明的一个方案的运动图像编码装置的特征在于，具有：

加权预测处理部，将加权系数和偏移值作为编码数据进行编码，将插补图像乘以加权系数并加上偏移值来生成预测图像；以及

通常预测处理部，从插补图像生成预测图像，

此外，本发明的一个方案的运动图像编码装置的特征在于，具有：

通常预测处理部，从插补图像生成预测图像，

在加权预测处理部中，在单向预测的情况下，在不存在该参照列表的加权系数和偏移值的信息的情况下，由通常预测处理部生成单向预测图像。

有益效果

根据本发明的一个方案，按亮度、色差信号分别规定在运动图像编码/解码处理中不存在加权系数的情况下不进行加权预测，能解决上述的问题。

附图说明

图1是表示本实施方式的图像传输系统的构成的概略图。

图2是表示搭载有本实施方式的运动图像编码装置的发送装置和搭载有运动图像解码装置的接收装置的构成的图。PROD_A表示搭载有运动图像编码装置的发送装置，PROD_B表示搭载有运动图像解码装置的接收装置。

图3是表示搭载有本实施方式的运动图像编码装置的记录装置和搭载有运动图像解码装置的再现装置的构成的图。PROD_C表示搭载有运动图像编码装置的记录装置，PROD_D表示搭载有运动图像解码装置的再现装置。

图4是表示编码流的数据的分级结构的图。

图5是在本实施方式的图像传输系统中作为处理的对象的图像的概念图。

图6是表示参照图片和参照图片列表的一个示例的概念图。

图7是表示运动图像解码装置的构成的概略图。

图8是对运动图像解码装置的概略动作进行说明的流程图。

图9是表示切片报头的语法表的构成例的图。

图10是表示本申请的处理的一个示例的流程图。

图11是表示帧间预测参数推导部的构成的概略图。

图12是表示合并预测参数推导部和AMVP预测参数推导部的构成的概略图。

图13是表示仿射预测的运动矢量spMvLX[xi][yi]的图。

图14是表示帧间预测图像生成部的构成的概略图。

图15是内插滤波器(Interpolation Filter)处理中的系数的推导的表。

图16是内插滤波器处理中的系数的推导的表。

图17是内插滤波器处理中的系数的推导的表。

图18是内插滤波器处理中的系数的推导的表。

图19是内插滤波器处理中的系数的推导的表。

图20是内插滤波器处理中的系数的推导的表。

图21是内插滤波器处理中的系数的推导的表。

图22是表示运动图像编码装置的构成的框图。

图23是表示帧间预测参数编码部的构成的概略图。

图24是表示帧内预测参数编码部的构成的概略图。

图25是对BDOF部推导预测图像的处理的流程进行说明的流程图。

图26是表示BDOF部的构成的概略图。

图27是对加权预测的编码参数的语法进行说明的图。

图28是对加权预测的编码参数的语法进行说明的图。

图29是对BCW预测的语法进行说明的图。

图30是对加权预测的编码参数的语法进行说明的图。

具体实施方式

(第一实施方式)

以下，参照附图对本发明的实施方式进行说明。

图1是表示本实施方式的图像传输系统1的构成的概略图。

图像传输系统1是传输将转换了分辨率的不同分辨率的图像编码而得到的编码流，对所传输的编码流进行解码，将图像逆转换为原来的分辨率并显示的系统。图像传输系统1构成为包括：分辨率转换装置(分辨率转换部)51、运动图像编码装置(图像编码装置)11、网络21、运动图像解码装置(图像解码装置)31、分辨率逆转换装置(分辨率逆转换部)61以及运动图像显示装置(图像显示装置)41。

分辨率转换装置51对运动图像中所包括的图像T的分辨率进行转换，将包括不同分辨率的图像的可变分辨率运动图像信号供给至图像编码装置11。此外，分辨率转换装置51将表示图像的分辨率转换的有无的信息供给至运动图像编码装置11。在该信息表示分辨率转换的情况下，运动图像编码装置将后述的分辨率转换信息ref_pic_resampling_enabled_flag设定为1，并将其包括在编码数据的序列参数集SPS(Sequence ParameterSet)中进行编码。

向运动图像编码装置11输入转换了分辨率的图像T。

网络21将运动图像编码装置11生成的编码流Te传输至运动图像解码装置31。网络21是互联网(Internet)、广域网(WAN：Wide Area Network)、小型网络(LAN：Local AreaNetwork，局域网)或它们的组合。网络21不一定限定于双向的通信网，也可以是传输地面数字广播、卫星广播等广播波的单向的通信网。此外，网络21也可以用DVD(DigitalVersatile Disc：数字通用光盘，注册商标)、BD(Blue-ray Disc：蓝光光盘，注册商标)等记录有编码流Te的存储介质代替。

运动图像解码装置31对网络21所传输的编码流Te分别进行解码，生成可变分辨率解码图像信号并供给至分辨率逆转换装置61。

分辨率逆转换装置61在可变分辨率解码图像信号中所包括的分辨率转换信息表示分辨率转换的情况下，通过对分辨率转换后的图像进行逆转换来生成原始尺寸的解码图像信号。

运动图像显示装置41显示从分辨率逆转换部输入的解码图像信号所示的一个或多个解码图像Td中的全部或一部分。运动图像显示装置41例如具备液晶显示器、有机EL(Electro-luminescence：电致发光)显示器等显示设备。作为显示器的形式，可以列举出固定式、移动式、HMD等。此外，在运动图像解码装置31具有高处理能力的情况下，显示画质高的图像，在仅具有低处理能力的情况下，显示不需要高处理能力、高显示能力的图像。

图5是在图1所示的图像传输系统1中作为处理的对象的图像的概念图，是表示随着时间的经过的该图像的分辨率的变化的图。不过，在图5中，不区分是否对图像进行了编码。图5表示在图像传输系统1的处理过程中使分辨率降低而向图像解码装置31传输图像的示例。如图5所示，通常分辨率转换装置51进行使图像的分辨率降低的转换以减少所传输的信息的信息量。

<运算符>

以下对在本说明书中使用的运算符进行描述。

>>为向右位移，<<为向左位移，&为逐位AND，|为逐位OR，|＝为OR代入运算符，||表示逻辑和。

x？y：z是在x为真(0以外)的情况下取y、在x为假(0)的情况下取z的3项运算符。

Clip3(a，b，c)是将c限幅于a以上b以下的值的函数，是在c<a的情况下返回a、在c>b的情况下返回b、在其他情况下返回c的函数(其中a<＝b)。

abs(a)是返回a的绝对值的函数。

Int(a)是返回a的整数值的函数。

floor(a)是返回a以下的最大整数的函数。

ceil(a)是返回a以上的最小整数的函数。

a/d表示a除以d(舍去小数点以下)。

<编码流Te的构造>

在对本实施方式的运动图像编码装置11和运动图像解码装置31进行详细说明之前，对由运动图像编码装置11生成并由运动图像解码装置31进行解码的编码流Te的数据结构进行说明。

图4表示编码流Te中的数据的分级结构的图。编码流Te示例性地包括序列和构成序列的多张图片。图4中示出了表示既定序列SEQ的编码视频序列、规定图片PICT的编码图片、规定切片S的编码切片、规定切片数据的编码切片数据、编码切片数据中包括的编码树单元以及编码树单元中包括的编码单元的图。

(编码视频序列)

在编码视频序列中，规定有供运动图像解码装置31参照以便对处理对象的序列SEQ进行解码的数据的集合。如图4所示，序列SEQ包括视频参数集VPS(Video ParameterSet)、序列参数集SPS(Sequence Parameter Set)、图片参数集PPS(Picture ParameterSet)、自适应参数集(Adaptation Parameter Set：APS)、图片PICT以及补充增强信息SEI(Supplemental Enhancement Information)。

视频参数集VPS在由多层构成的运动图像中，规定有多个运动图像通用的编码参数的集合，以及运动图像中包括的多层和与各层关联的编码参数的集合。

在序列参数集SPS中，规定有供运动图像解码装置31参照以便对对象序列进行解码的编码参数的集合。例如，规定有图片的宽度、高度。需要说明的是，SPS可以存在多个。在该情况下，从PPS中选择多个SPS中的任一个。

在此，序列参数集SPS中包括以下的语法。

·ref_pic_resampling_enabled_flag：是规定在对参照对象SPS的单个序列中所包括的各图像进行解码的情况下，是否使用将分辨率设为可变的功能(重采样：resampling)的标志。从另一方面来说，该标志是表示在预测图像的生成中参照的参照图片的尺寸在单个序列所示的各图像间变化的标志。在该标志的值为1的情况下，应用上述重采样，在该标志的值为0的情况下，不应用上述重采样。

·pic_width_max_in_luma_samples：是在单个序列中的图像中以亮度块为单位来指定具有最大的宽度的图像的宽度的语法。此外，要求该语法的值不为0且为Max(8，MinCbSizeY)的整数倍。在此，MinCbSizeY是根据亮度块的最小尺寸而决定的值。

·pic_height_max_in_luma_samples：是在单个序列中的图像中以亮度块为单位来指定具有最大的高度的图像的高度的语法。此外，要求该语法的值不为0且为Max(8，MinCbSizeY)的整数倍。

·sps_temporal_mvp_enabled_flag：是规定在解码对象序列的情况下是否使用时间运动矢量预测的标志。如果该标志的值为1，则使用时间运动矢量预测，如果值为0，则不使用时间运动矢量预测。此外，能通过规定该标志来防止在参照不同分辨率的参照图片的情况下等所参照的坐标位置发生偏移。

在图片参数集PPS中，规定有供运动图像解码装置31参照以便对对象序列内的各图片进行解码的编码参数的集合。例如包括用于图片的解码的量化宽度的基准值(pic_init_qp_minus26)、指示加权预测的应用的标志(weighted_pred_flag)。需要说明的是，PPS可以存在多个。在该情况下，从对象序列内的各图片中选择多个PPS中的任一个。

在此，图片参数集PPS中包括以下的语法。

·ppic_width_in_luma_samples：是指定对象图片的宽度的语法。要求该语法的值不为0，为Max(8，MinCbSizeY)的整数倍，并且为pic_width_max_in_luma_samples以下的值。

·pic_height_in_luma_samples：是指定对象图片的高度的语法。要求该语法的值不为0，为Max(8，MinCbSizeY)的整数倍，并且为pic_height_max_in_luma_samples以下的值。

·conformance_window_flag：是表示是否连续通知一致性(裁剪)窗口偏移参数的标志，是表示显示一致性窗口的场所的标志。在该标志为1的情况下，通知该参数，在该标志为0的情况下，表示不存在一致性窗口偏移参数。

·conf_win_left_offset，conf_win_right_offset，conf_win_top_offset，conf_win_bottom_offset：是用于关于由输出用的图片坐标指定的矩形区域指定通过解码处理输出的图片的左、右、上、下位置的偏移值。此外，在conformance_window_flag的值为0的情况下，估计conf_win_left_offset、conf_win_right_offset、conf_win_top_offset、conf_win_bottom_offset的值为0。

·scaling_window_flag：是表示对象PPS中是否存在缩放窗口偏移参数的标志，是与所输出的图像尺寸的规定有关的标志。在该标志为1的情况下，表示在PPS中存在该参数，在该标志为0的情况下，表示在PPS中不存在该参数。此外，在ref_pic_resampling_enabled_flag的值为0的情况下，要求scaling_window_flag的值也为0。

·scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset、scaling_win_bottom_offset：是对于对象图片的左、右、上、下位置，以亮度样本为单位分别指定为了进行缩放比率计算而应用于图像尺寸的偏移的语法。此外，在scaling_window_flag的值为0的情况下，估计scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset、scaling_win_bottom_offset的值为0。此外，要求scaling_win_left_offset+scaling_win_right_offset的值小于pic_width_in_luma_samples，以及scaling_win_top_offset+scaling_win_bottom_offset的值小于pic_height_in_luma_samples。

输出用图片的宽度PicOutputWidthL和高度PicOutputHeightL按以下方式进行推导。

PicOutputWidthL＝pic_width_in_luma_samples-(scaling_win_right_offset+scaling_win_left_offset)

PicOutputHeightL＝pic_height_in_pic_size_units-(scaling_win_bottom_offset+scaling_win_top_offset)

·pps_collocated_from_l0_idc：是表示在参照该PPS的切片的切片报头中是否存在collocated_from_l0_flag的语法。在该语法的值为0的情况下，表示在该切片报头中存在collocated_from_l0_flag，在该语法的值为1或2的情况下，表示在该切片报头中不存在collocated_from_l0_flag。

(编码图片)

在编码图片中，规定有供运动图像解码装置31参照以便对处理对象的图片PICT进行解码的数据的集合。如图4所示，图片PICT包括图片报头PH、切片0～切片NS-1(NS为图片PICT中包括的切片的总数)。

以下，在无需对各切片0～切片NS-1进行区分的情况下，有时会省略代码的后缀来进行记述。此外，对于以下说明的编码流Te中包括的数据、即标注有后缀的其他数据而言也是同样的。

图片报头中包括以下的语法。

·pic_temporal_mvp_enabled_flag：是规定是否在与该图片报头建立了关联的切片的帧间预测中使用时间运动矢量预测的标志。在该标志的值为0的情况下，与该图片报头建立了关联的切片的语法要素被限制为在该切片的解码中不使用时间运动矢量预测。在该标志的值为1的情况下，表示在与该图片报头建立了关联的切片的解码中使用时间运动矢量预测。此外，在未规定该标志的情况下，估计为值为0。

(编码切片)

在编码切片中，规定有供运动图像解码装置31参照以便对处理对象的切片S进行解码的数据的集合。如图4所示，切片包括切片报头和切片数据。

切片报头中包括供运动图像解码装置31参照以便确定对象切片的解码方法的编码参数组。指定切片类型的切片类型指定信息(slice_type)是切片报头中包括的编码参数的一个示例。

作为能由切片类型指定信息指定的切片类型，可列举出：(1)在进行编码时仅使用帧内预测的I切片、(2)在进行编码时使用单向预测(L0预测)或帧内预测的P切片以及(3)在进行编码时使用单向预测(L0预测或L1预测)、双向预测或帧内预测的B切片等。需要说明的是，帧间预测不限于单向预测、双向预测，也可以使用更多的参照图片来生成预测图像。以下，称为P、B切片的情况是指包括能使用帧间预测的块的切片。

需要说明的是，切片报头中也可以包括对图片参数集PPS的参照(pic_parameter_set_id)。

此外，如图9所示，切片报头中可以包括以下的语法。

·collocated_from_l0_flag：是规定从哪个参照图片列表导出用于时间运动矢量预测的同位图片(collocated picture)的标志。在该标志的值为1的情况下，表示该图片从参照图片列表0(L0列表)导出，在该标志的值为0的情况下，表示该图片从参照图片列表1(L1列表)导出。此外，在未规定该标志的情况下，根据切片的类型和pps_collocated_from_l0_idc来估计0或1的值。

在切片类型为B以外的类型的情况下，估计为collocated_from_l0_flag为1。在切片类型为B的情况下，估计为collocated_from_l0_flag为pps_collocated_from_l0_idc-1。

·collocated_ref_idx：是用于时间运动矢量预测的同位图片的参照索引。此外，collocated_ref_idx的值由切片的类型或collocated_from_l0_flag的值来规定。在切片类型为P的情况下，或者在切片类型为B且collocated_from_l0_flag为1的情况下，collocated_ref_idx参照List0的图片。在切片类型为B且collocated_from_l0_flag为0的情况下，collocated_ref_idx参照List1的图片。在不存在collocated_ref_idx的情况下，估计为0。

在本实施方式中，如果表示编码图片的尺寸与参照图片的尺寸不同的变量RefPicIsScaled[collocated_from_l0_flag？0：1][collocated_ref_idx]的值为1，则将变量SliceTemporalMvpEnableFlag设定为0。否则，将变量SliceTemporalMvpEnableFlag设定为pic_temporal_mvp_enabled_flag的值。

由此，如果在由collocated_ref_idx指定了尺寸与编码图片的尺寸不同的参照图片的情况下，强制将变量SliceTemporalMvpEnableFlag设定为0，在该切片中，在不使用参照图片的运动矢量信息的情况下进行编码、解码处理。

图10以流程图示出上述的处理。首先。将作为规定从L0、L1的哪个参照图片列表导出用于时间的运动矢量预测的连接的同位图片(collocated picture)的标志的collocated_from_l0_flag的值代入变量X。(S201)接着，为了调查collocated_ref_idx所示的同位图片的尺寸是否与编码图片的尺寸不同，比较变量RefPicIsScaled的值是否为1。(S202)如果为1，则判断为同位图片的尺寸与编码图片的尺寸不同，将变量SliceTemporalMvpEnableFlag设定为0，不使用同位图片的运动矢量信息。(S203)如果不为1，则将作为图片等级中的标志的picTemporalMvpEnableFlag的值代入变量SliceTemporalMvpEnableFlag。(S204)

作为另一个实施方式，可以是如下方式：如果在由collocated_ref_idx指定了尺寸与编码图片的尺寸不同的参照图片的情况下，则设为在与编码图片的尺寸相同尺寸的参照图片中将ref_idx的最小值设为collocated_ref_idx，如果在不存在与编码图片的尺寸相同尺寸的参照图片的情况下，则强制将变量SliceTemporalMvpEnableFlag设定为0，在该切片中，在不使用参照图片的运动矢量信息的情况下进行编码、解码处理。

无论怎样，在由collocated_ref_idx指定了尺寸与编码图片的尺寸不同的参照图片的情况下，设定解码处理的动作始终相同的过程。

如此，不是禁止由collocated_ref_idx指定的尺寸与编码图片的尺寸不同的参照图片的编码数据的生成，而是定义在由collocated_ref_idx指定了尺寸与编码图片的尺寸不同的参照图片的情况下的处理，由此能保证解码处理的动作始终相同。

(编码切片数据)

在编码切片数据中，规定有供运动图像解码装置31参照以便对处理对象的切片数据进行解码的数据的集合。如图4的编码切片报头所示，切片数据包括CTU。CTU是构成切片的固定尺寸(例如64×64)的块，也称为最大编码单位(LCU：Largest Coding Unit)。

(编码树单元)

在图4中，规定有供运动图像解码装置31参照以便对处理对象的CTU进行解码的数据的集合。CTU通过递归的四叉树分割(QT(Quad Tree)分割)、二叉树分割(BT(BinaryTree)分割)或三叉树分割(TT(Ternary Tree)分割)分割成作为编码处理的基本单位的编码单元CU。将BT分割和TT分割统称为多叉树分割(MT(Multi Tree)分割)。将通过递归的四叉树分割而得到的树形结构的节点称为编码节点(Coding Node)。四叉树、二叉树以及三叉树的中间节点为编码节点，CTU本身也被规定为最上层的编码节点。

CT包括以下信息作为CT信息：表示是否进行CT分割的CU分割标志(split_cu_flag)、表示是否进行QT分割的QT分割标志(qt_split_cu_flag)、表示MT分割的分割方向的MT分割方向(mtt_split_cu_vertical_flag)、表示MT分割的分割类型的MT分割类型(mtt_split_cu_binary_flag)。split_cu_flag、qt_split_cu_flag、mtt_split_cu_vertical_flag、mtt_split_cu_binary_flag按每个编码节点来传输。

可以按照亮度和色差而使用不同的树。用treeType来表示树的类别。例如，在按照亮度(Y，cIdx＝0)和色差(Cb/Cr，cIdx＝1，2)，使用通用的树的情况下，用treeType＝SINGLE_TREE表示通用单个树。在按照亮度和色差，使用不同的两个树(DUAL树)的情况下，用treeType＝DUAL_TREE_LUMA表示亮度的树，用treeType＝DUAL_TREE_CHROMA表示色差的树。

(编码单元)

在图4中，规定有供运动图像解码装置31参照以便对处理对象的编码单元进行解码的数据的集合。具体而言，CU由CU报头CUH、预测参数、变换参数、量化变换系数等构成。在CU报头中规定有预测模式等。

预测处理存在以CU为单位进行的情况和以进一步分割CU而得到的子CU为单位进行的情况。在CU与子CU的尺寸相等的情况下，CU中的子CU为1个。在CU的尺寸大于子CU的尺寸的情况下，CU被分割成子CU。例如，在CU为8×8、子CU为4×4的情况下，CU被分割成4个子CU，包括水平分割的两部分和垂直分割的两部分。

预测的种类(预测模式)存在帧内预测和帧间预测两种。帧内预测是同一图片内的预测，帧间预测是指在互不相同的图片间(例如显示时刻间、层图像间)进行的预测处理。

变换/量化部处理以CU为单位来进行，但量化变换系数也可以以4×4等子块为单位来进行熵编码。

(预测参数)

预测图像由附加于块的预测参数导出。预测参数中存在帧内预测和帧间预测的预测参数。

以下，对帧间预测的预测参数进行说明。帧间预测参数由预测列表利用标志predFlagL0和predFlagL1、参照图片索引refIdxL0和refIdxL1以及运动矢量mvL0和mvL1构成。predFlagL0、predFlagL1是表示是否使用参照图片列表(L0列表、L1列表)的标志，在值为1的情况下，使用对应的参照图片列表。需要说明的是，在本说明书中记为“表示是否为××的标志”的情况下，将标志为0以外(例如1)设为是××的情况，将标志为0设为不是××的情况，在逻辑非、逻辑积等中将1视为真，将0视为假(以下同样)。不过，在实际的装置、方法中也可以使用其他值作为真值、假值。

在用于导出帧间预测参数的语法要素中，存在例如在合并模式中使用的仿射标志affine_flag、合并标志merge_flag、合并索引merge_idx、MMVD标志mmvd_flag、在AMVP模式中使用的用于选择参照图片的帧间预测标识符inter_pred_idc、参照图片索引refIdxLX、用于导出运动矢量的预测矢量索引mvp_LX_idx、差分矢量mvdLX以及运动矢量精度模式amvr_mode。

(参照图片列表)

参照图片列表是由存储于参照图片存储器306的参照图片构成的列表。图6是表示参照图片和参照图片列表的一个示例的概念图。在图6的表示参照图片的一个示例的概念图中，矩形表示图片，箭头表示图片的参照关系，横轴表示时间，矩形中的I、P、B分别表示帧内图片、单预测图片、双预测图片，矩形中的数字表示解码顺序。如图6的(a)所示，图片的解码顺序为I0、P1、B2、B3、B4，显示顺序为I0、B3、B2、B4、P1。图6中示出了图片B3(对象图片)的参照图片列表的示例。参照图片列表是表示参照图片的候选的列表，一张图片(切片)可以具有一个以上的参照图片列表。在图6的(b)的示例中，对象图片B3具有L0列表RefPicList0和L1列表RefPicList1这两个参照图片列表。在各CU中，由refIdxLX指定实际上以参照图片列表RefPicListX(X＝0或1)中的哪一张图片来进行参照。图6的(b)是refIdxL0＝2、refIdxL1＝0的示例。需要说明的是，LX是在不对L0预测和L1预测进行区分的情况下使用的记述方法，以下，通过将LX置换为L0、L1对针对L0列表的参数和针对L1列表的参数进行区分。

(合并预测和AMVP预测)

预测参数的解码(编码)方法中有合并预测(merge)模式和AMVP(Advanced MotionVector Prediction：先进运动矢量预测、自适应运动矢量预测)模式，merge_flag是用于识别它们的标志。合并预测模式是不将预测列表利用标志predFlagLX、参照图片索引refIdxLX、运动矢量mvLX包括于编码数据而从已处理的附近块的预测参数等推导出的模式。AMVP模式是将inter_pred_idc、refIdxLX、mvLX包括在编码数据中的模式。需要说明的是，mvLX被编码为识别预测矢量mvpLX的mvp_LX_idx和差分矢量mvdLX。此外，除了合并预测模式之外，也可以有仿射预测模式、MMVD预测模式。

inter_pred_idc是表示参照图片的种类和数量的值，取PRED_L0、PRED_L1、PRED_BI中的任一值。PRED_L0、PRED_L1分别表示使用在L0列表、L1列表中进行管理的一个参照图片的单向预测。PRED_BI表示使用在L0列表和L1列表中进行管理的两张参照图片的双向预测。

merge_idx是表示是否将从处理已完成的块推导出的预测参数候选(合并候选)中的任一个预测参数用作对象块的预测参数的索引。

(运动矢量)

mvLX表示不同的两个图片上的块间的移位量。将与mvLX有关的预测矢量、差分矢量分别称为mvpLX、mvdLX。

(帧间预测标识符inter_pred_idc和预测列表利用标志predFlagLX)

inter_pred_idc与predFlagL0、predFlagL1的关系能如下进行相互转换。

inter_pred_idc＝(predFlagL1<<1)+predFlagL0

predFlagL0＝inter_pred_idc&1

predFlagL1＝inter_pred_idc>>1

需要说明的是，帧间预测参数可以使用预测列表利用标志，也可以使用帧间预测标识符。此外，使用了预测列表利用标志的判定可以替换为使用了帧间预测标识符的判定。反之，使用了帧间预测标识符的判定也可以替换为使用了预测列表利用标志的判定。

(双向预测biPred的判定)

是否为双向预测的标志biPred能根据两个预测列表利用标志是否均为1而推导出。例如能通过以下算式推导出。

biPred＝(predFlagL0＝＝1&&predFlagL1＝＝1)

或者，biPred也能根据帧间预测标识符是否是表示使用两个预测列表(参照图片)的值而推导出。例如能通过以下算式推导出。

biPred＝(inter_pred_idc＝＝PRED_BI)？1∶0

(运动图像解码装置的构成)

对本实施方式的运动图像解码装置31(图7)的构成进行说明。

运动图像解码装置31构成为包括：熵解码部301、参数解码部(预测图像解码装置)302、环路滤波器305、参照图片存储器306、预测参数存储器307、预测图像生成部(预测图像生成装置)308、逆量化/逆变换部311以及加法部312、预测参数推导部320。需要说明的是，根据后文所述的运动图像编码装置11，也存在运动图像解码装置31中不包括环路滤波器305的构成。

参数解码部302还具备报头解码部3020、CT信息解码部3021以及CU解码部3022(预测模式解码部)，CU解码部3022还具备TU解码部3024。也可以将它们统称为解码模块。报头解码部3020从编码数据解码VPS、SPS、PPS、APS等参数集信息、切片报头(切片信息)。CT信息解码部3021从编码数据解码CT。CU解码部3022从编码数据解码CU。TU解码部3024在TU中包括预测误差的情况下，从编码数据解码QP更新信息(量化校正值)和量化预测误差(residual_coding)。

TU解码部3024在跳跃模式以外(skip_mode＝＝0)的情况下，从编码数据解码QP更新信息和量化预测误差。更具体而言，TU解码部3024在skip_mode＝＝0的情况下，对表示在对象块中是否包括量化预测误差的标志cu_cbp进行解码，在cu_cbp为1的情况下对量化预测误差进行解码。在cu_cbp不存在于编码数据的情况下导出为0。

TU解码部3024从编码数据解码表示变换基底的索引mts_idx。此外，TU解码部3024从编码数据解码表示二次变换的利用和变换基底的索引stIdx。stIdx在0的情况下表示不应用二次变换，在1的情况表示二次变换基底的集合(对)中一方的变换，在2的情况下表示上述对中另一方的变换。

此外，TU解码部3024也可以对子块变换标志cu_sbt_flag进行解码。在cu_sbt_flag为1的情况下，将CU分割成多个子块，仅对特定的一个子块的残差进行解码。而且，TU解码部3024也可以对表示子块的个数是4还是2的标志cu_sbt_quad_flag、表示分割方向的cu_sbt_horizontal_flag、表示包括非零的变换系数的子块的cu_sbt_pos_flag进行解码。

预测图像生成部308构成为包括帧间预测图像生成部309和帧内预测图像生成部310。

预测参数推导部320构成为包括帧间预测参数推导部303和帧内预测参数推导部304。

此外，在下文中对将CTU、CU用作处理单位的示例进行了记载，但不限于此，也可以以子CU为单位进行处理。或者，也可以设为将CTU、CU替换为块，将子CU替换为子块，以块或者子块为单位进行的处理。

熵解码部301对从外部输入的编码流Te进行熵解码，对各个代码(语法要素)进行解码。熵编码中存在如下方式：使用根据语法要素的种类、周围的状况而适当选择出的上下文(概率模型)对语法要素进行可变长度编码的方式；以及使用预定的表或计算式对语法要素进行可变长度编码的方式。前者的CABAC(Context Adaptive Binary ArithmeticCoding)将上下文的CABAC状态(主导符号的类别(0或1)和指定概率的概率状态索引pStateIdx)储存于存储器。熵解码部301在分段(块(tile)、CTU行、切片)的起点对所有CABAC状态进行初始化。熵解码部301将语法要素变换成二进制串(Bin String)，对二进制串的各位进行解码。在使用上下文的情况下，对语法要素的各位导出上下文索引ctxInc，使用上下文来对位进行解码，并更新所使用的上下文的CABAC状态。未使用上下文的位以等概率(EP，bypass)进行解码，省略ctxInc导出、CABAC状态。解码后的语法要素中存在用于生成预测图像的预测信息和用于生成差分图像的预测误差等。

熵解码部301将解码后的代码输出至参数解码部302。解码后的编码例如是指预测模式predMode、merge_flag、merge_idx、inter_pred_idc、refIdxLX、mvp_LX_idx、mvdLX、amvr_mode等。基于参数解码部302的指示来进行对哪一个代码进行解码的控制。

(基本流程)

图8是对运动图像解码装置31的概略动作进行说明的流程图。

(S1100：参数集信息解码)报头解码部3020从编码数据解码VPS、SPS、PPS等参数集信息。

(S1200：切片信息解码)报头解码部3020从编码数据解码切片报头(切片信息)。

以下，运动图像解码装置31通过针对对象图片中包括的各CTU重复进行S1300至S5000的处理来导出各CTU的解码图像。

(S1300：CTU信息解码)CT信息解码部3021从编码数据解码CTU。

(S1400：CT信息解码)CT信息解码部3021从编码数据解码CT。

(S1500：CU解码)CU解码部3022实施S1510、S1520，从编码数据解码CU。

(S1510：CU信息解码)CU解码部3022从编码数据解码CU信息、预测信息、TU分割标志split_transform_flag、CU残差标志cbf_cb、cbf_cr、cbf_luma等。

(S1520：TU信息解码)TU解码部3024在TU中包括预测误差的情况下，从编码数据解码QP更新信息、量化预测误差以及变换索引mts_idx。需要说明的是，QP更新信息是与作为量化参数QP的预测值的量化参数预测值qPpred的差分值。

(S2000：预测图像生成)预测图像生成部308针对对象CU中包括的各块，基于预测信息生成预测图像。

(S3000：逆量化/逆变换)逆量化/逆变换部311针对对象CU中包括的各TU，执行逆量化/逆变换处理。

(S4000：解码图像生成)加法部312通过将由预测图像生成部308提供的预测图像与由逆量化/逆变换部311提供的预测误差相加来生成对象CU的解码图像。

(S5000：环路滤波)环路滤波器305对解码图像施加去块滤波、SAO、ALF等环路滤波，生成解码图像。

(帧间预测参数推导部的构成)

图11中示出了表示本实施方式的帧间预测参数推导部303的构成的概略图。帧间预测参数推导部303基于从参数解码部302输入的语法要素，参照存储于预测参数存储器307的预测参数来推导出帧间预测参数。此外，将帧间预测参数输出至帧间预测图像生成部309、预测参数存储器307。帧间预测参数推导部303和作为其内部要素的AMVP预测参数推导部3032、合并预测参数推导部3036、仿射预测部30372、MMVD预测部30373、三角形(triangle)预测部30377、DMVR部30537、MV加法部3038是在运动图像编码装置、运动图像解码装置中通用的部，因此也可以将它们统称为运动矢量推导部(运动矢量推导装置)。

尺度参数推导部30378推导出参照图片的水平方向的缩放比RefPicScale[i][j][0]、参照图片的垂直方向的缩放比RefPicScale[i][j][1]以及表示是否对参照图片进行了缩放的RefPicIsScaled[i][j]。在此，i表示参照图片列表是L0列表还是L1列表，将j设为L0参照图片列表或L1参照图片列表的值，如下所示地进行推导。

RefPicScale[i][j][0]＝

((fRefWidth<<14)+(PicOutputWidthL>>1))/PicOutputWidthLRefPicScale[i][j][1]＝

((fRefHeight<<14)+(PicOutputHeightL>>1))/PicOutputHeightLRefPicIsScaled[i][j]＝

(RefPicScale[i][j][0]！＝(1<<14))||(RefPicScale[i][j][1]！＝(1<<14))

在此，变量PicOutputWidthL是在参照编码图片时计算水平方向的缩放比时的值，使用从编码图片的亮度的水平方向的像素数中减去左右的偏移值而得到的值。变量PicOutputHeightL是在参照编码图片时计算垂直方向的缩放比时的值，使用从编码图片的亮度的垂直方向的像素数中减去上下的偏移值而得到的值。变量fRefWidth设为列表i的参照列表值j的参照图片的PicOutputWidthL的值，变量fRefHight设为列表i的参照图片列表值j的参照图片的PicOutputHeightL的值。

在affine_flag为1，即表示仿射预测模式的情况下，仿射预测部30372推导出以子块为单位的帧间预测参数。

在mmvd_flag为1，即表示MMVD预测模式的情况下，MMVD预测部30373从由合并预测参数推导部3036推导出的合并候选和差分矢量推导出帧间预测参数。

在TriangleFlag为1，即表示traiangle预测模式的情况下，三角形预测部30377推导出三角形预测参数。

在merge_flag为1，即表示合并预测模式的情况下，推导出merge_idx，输出至合并预测参数推导部3036。

在merge_flag为0，即表示AMVP预测模式的情况下，AMVP预测参数推导部3032从inter_pred_idc、refIdxLX或mvp_LX_idx推导出mvpLX。

(MV加法部)

在MV加法部3038中将推导出的mvpLX与mvdLX相加，推导出mvLX。

(仿射预测部)

在仿射预测部30372中，1)推导出对象块的两个控制点CP0、CP1或三个控制点CP0、CP1、CP2的运动矢量，2)推导出对象块的仿射预测参数，3)从仿射预测参数推导出各子块的运动矢量。

在合并仿射预测的情况下，从对象块的邻接块的运动矢量推导出各控制点CP0、CP1、CP2的运动矢量cpMvLX[]。在帧间仿射预测的情况下，从各控制点CP0、CP1、CP2的预测矢量和从编码数据推导出的差分矢量mvdCpLX[]之和推导出各控制点的cpMvLX[]。

图13是表示从控制点CP0的运动矢量cpMvLX[0]、CP1的运动矢量cpMvLX[1]、CP2的运动矢量cpMvLX[2]推导出构成对象块(bW*bH)的各子块的运动矢量spMvLX的示例的图。如图13所示，spMvLX被推导为位于各子块的中心的点(xPosCb，yPosCb)的运动矢量。

仿射预测部30372从控制点的运动矢量推导出对象块的仿射预测参数(mvScaleHor、mvScalerVer、dHorX、dHorY、dHorX、dVerY)。

在mvScaleHor＝cpMvLX[0][0]<<7

mvScaleVer＝cpMvLX[0][1]<<7

dHorX＝(cpMvLX[1][0]-cpMvLX[0][0])<<(7-log2CbW)

dVerX＝(cpMvLX[1][1]-cpMvLX[0][1])<<(7-log2CbW)

numCpMv＝＝3的情况下，

在dHorY＝(cpMvLX[2][0]-cpMvLX[0][0])<<(7-log2CbH)

dVerY＝(cpMvLX[2][1]-cpMvLX[0][1])<<(7-log2CbH)

numCpMv！

＝3的情况下，

dHorY＝-dVerX

dVerY＝dHorX

在此，log2CbW、log2CbH为对象块的宽度bW、高度bH的对数值。

仿射预测部30372基于对象块的仿射预测参数，使用下述的算式推导出对象块中的spMvLX[i][j](i＝0，1，2……(bW/sbW)-1，j＝0，1，2……(bH/sbH)-1)。

xPosCb＝2+(i<<2)

yPosCb＝2+(j<<2)

spMvLX[i][j][0]＝mvScaleHor+dHorX*xPosCb+dHorY*yPosCb

spMvLX[i][j][1]＝mvScaleVer+dVerX*xPosCb+dVerY*yPosCb

也可以进一步进行循环移位来进行裁剪。

spMvLX[i][j][0]＝Clip3(-2^17，2^17，(spMvLX[i][j][0]+64)>>7)

spMvLX[i][j][1]＝Clip3(-2^17，2^17，(spMvLX[i][j][1]+64)>>7)

在此，sbW和sbH为对象子块的宽度和高度。

而且，在子块的左上块的坐标(xSb，ySb)，将spMvLX[i][j]分配给对应的画面内的mvLX。在此，x＝0..sbW-1，y＝0..sbH-1。

mvLX[xSb+x][yXb+y]＝spMv[i][j]

(合并预测)

图12中示出了表示本实施方式的合并预测参数推导部3036的构成的概略图。合并预测参数推导部3036具备合并候选推导部30361、合并候选选择部30362。需要说明的是，合并候选构成为包括预测参数(predFlagLX、mvLX、refIdxLX)，储存于合并候选列表。索引按照规定的规则被分配至储存于合并候选列表的合并候选。

合并候选推导部30361直接使用已解码的邻接块的运动矢量和refIdxLX来推导出合并候选。除此以外，合并候选推导部30361可以应用后述的空间合并候选推导处理、时间合并候选推导处理、成对合并候选推导处理以及零合并候选推导处理。

作为空间合并候选推导处理，合并候选推导部30361按照规定的规则读出预测参数存储器307所存储的预测参数，设定为合并候选。在参照图片的指定方法中，例如是处于距离对象块预定范围内的各邻接块(例如，分别与对象块的左A1、右B1、右上B0、左下A0、左上B2相接的块中的全部或一部分)的预测参数。将各合并候选称为A1、B1、B0、A0、B2。

在此，A1、B1、B0、A0、B2分别是从包含下述的坐标的块推导出的运动信息。在图9的对象图片中在合并候选的配置中示出A1、B1、B0、A0、B2的位置。

A1：(xCb-1，yCb+cbHeight-1)

B1：(xCb+cbWidth-1，yCb-1)

B0：(xCb+cbWidth，yCb-1)

A0：(xCb-1，yCb+cbHeight)

B2：(xCb-1，yCb-1)

将对象块的左上坐标设为(xCb，yCb)、宽度设为cbWidth、高度设为cbHeight。

作为时间合并推导处理，如图9的同位图片所示，合并候选推导部30361从预测参数存储器307读出对象块的右下CBR或包括中央的坐标的参照图像中的块C的预测参数来设为合并候选Col，储存于合并候选列表mergeCandList[]。

一般优先将块CBR加入mergeCandList[]，在CBR不具有运动矢量的(例如帧内预测块)情况、CBR位于图片外的情况下，将块C的运动矢量加入预测矢量候选。通过加入运动不同的可能性高的同位块的运动矢量作为预测候选，增加预测矢量的选项，提高编码效率。

在SliceTemporalMvpEnabledFlag为0或cbWidth*cbHeight为32以下的情况下，将对象块的同位运动矢量mvLXCol设定为0，将同位块的利用可能性标志availableFlagLXCol设定为0。

在除此以外(SliceTemporalMvpEnabledFlag为1)的情况下，实施下述处理。

例如合并候选推导部30361可以通过以下的算式推导出C的位置(xColCtr，yColCtr)和CBR的位置(xColCBr，yColCBr)。

xColCtr＝xCb+(cbWidth>>1)

yColCtr＝yCb+(cbHeight>>1)

xColCBr＝xCb+cbWidth

yColCBr＝yCb+cbHeight

如果CBR可利用，则利用CBR的运动矢量推导出合并候选COL。如果CBR不可利用，则使用C推导出COL。然后，将availableFlagLXCol设定为1。需要说明的是，参照图片也可以是在切片报头中通知过的collocated_ref_idx。

成对候选推导部从已储存于mergeCandList的两个合并候选(p0Cand、p1Cand)的平均值推导出成对候选avgK，储存于mergeCandList[]。

mvLXavgK[0]＝(mvLXp0Cand[0]+mvLXp1Cand[0])/2

mvLXavgK[1]＝(mvLXp0Cand[1]+mvLXp1Cand[1])/2

合并候选推导部30361推导出refIdxLX为0……M，mvLX的X分量、Y分量均为0的零合并候选Z0……ZM，储存于合并候选列表。

储存于mergeCandList[]的顺序例如是空间合并候选(A1、B1、B0、A0、B2)、时间合并候选Col、成对候选avgK、零合并候选ZK。需要说明的是，不可利用的(块为帧内预测等)参照块不储存于合并候选列表。

合并候选选择部30362通过以下的算式选择合并候选列表中所包括的合并候选中的merge_idx所示的合并候选N。

N＝mergeCandList[merge_idx]

在此，N是表示合并候选的标签，取A1、B1、B0、A0、B2、Col、avgK、ZK等。标签N所示的合并候选的运动信息由(mvLXN[0]，mvLXN[0])、predFlagLXN、refIdxLXN表示。

将所选出的(mvLXN[0]，mvLXN[0])、predFlagLXN、refIdxLXN选作对象块的帧间预测参数。合并候选选择部30362将所选出的合并候选的的帧间预测参数存储于预测参数存储器307，并且输出至帧间预测图像生成部309。

(DMVR)

接着，对DMVR部30537所进行的DMVR(Decoder side Motion Vector Refinement：解码器侧运动矢量修正)处理进行说明。DMVR部30537在针对对象CU，merge_flag为1的情况下或在跳过标志skip_flag为1的情况下，使用参照图像来修正合并预测部30374所推导出的该对象CU的mvLX。具体而言，在合并预测部30374所推导的预测参数为双向预测的情况下，使用从与两个参照图片对应的运动矢量推导出的预测图像来修正运动矢量。修正后的mvLX供给至帧间预测图像生成部309。

此外，在规定是否进行DMVR处理的标志dmvrFlag的推导中，作为将dmvrFlag设定为1的多个条件之一，包括上述的RefPicIsScaled[0][refIdxL0]的值为0，并且RefPicIsScaled[1][refIdxL1]的值为0。在dmvrFlag的值设定为1的情况下，执行由DMVR部30537进行的DMVR处理。

此外，在规定是否进行DMVR处理的标志dmvrFlag的推导中，作为将dmvrFlag设定为1的多个条件之一，包括作为表示是否存在后述的亮度的L0预测的加权预测的系数信息的标志的luma_weight_l0_flag[i]为0，并且作为表示是否存在亮度的L1预测的加权预测的系数信息的标志的luma_weight_l1_flag[i]的值为0。在dmvrFlag的值设定为1的情况下，执行由DMVR部30537进行的DMVR处理。

需要说明的是，在规定是否进行DMVR处理的标志dmvrFlag的推导中，作为将dmvrFlag设定为1的多个条件之一，也可以包括luma_weight_l0_flag[i]为0，并且luma_weight_l1_flag[i]的值为0，并且作为表示是否存在后述的色差的L0预测的加权预测的系数信息的标志的chroma_weight_l0_flag[i]为0，并且作为表示是否存在色差的L1预测的加权预测的系数信息的标志的chroma_weight_l1_flag[i]的值为0。在dmvrFlag的值设定为1的情况下，执行由DMVR部30537进行的DMVR处理。

(Prof)

此外，如果RefPicIsScaled[0][refIdxLX]的值为1，RefPicIsScaled[1][refIdxLX]的值为1，则将cbProfFlagLX的值设定为假(FALSE)。在此，cbProfFlagLX是规定是否进行仿射预测的预测细化(Prediction refinement：PROF)的标志。

(AMVP预测)

图12中示出了表示本实施方式的AMVP预测参数推导部3032的构成的概略图。AMVP预测参数推导部3032具备矢量候选推导部3033和矢量候选选择部3034。矢量候选推导部3033基于refIdxLX，根据预测参数存储器307所存储的已解码的邻接块的运动矢量推导出预测矢量候选，并储存于预测矢量候选列表mvpListLX[]。

矢量候选选择部3034选择mvpListLX[]的预测矢量候选中的mvp_LX_idx所示的运动矢量mvpListLX[mvp_LX_idx]作为mvpLX。矢量候选选择部3034将所选出的mvpLX输出至MV加法部3038。

(MV加法部)

MV加法部3038将从AMVP预测参数推导部3032输入的mvpLX和已解码的mvdLX相加，计算出mvLX。加法部3038将计算出的mvLX输出至帧间预测图像生成部309和预测参数存储器307。

mvLX[0]＝mvpLX[0]+mvdLX[0]

mvLX[1]＝mvpLX[1]+mvdLX[1]

(子块合并的详细分类)

对子块合并所关联的预测处理的种类进行总结。如上所述，大致分为合并预测和AMVP预测。

合并预测进一步分类如下。

·常规合并预测(基于块的合并预测)

·子块合并预测

子块合并预测进一步分类如下。

·子块预测(ATMVP)

·仿射预测

·继承仿射预测(inferred affine prediction：推断仿射预测)

·构成仿射预测(constructed affine prediction)

另一方面，AMVP预测分类如下。

·AMVP(平移)

·MVD仿射预测

MVD仿射预测进一步分类如下。

·4参数MVD仿射预测

·6参数MVD仿射预测

需要说明的是，MVD仿射预测是指对差分矢量进行解码并使用的仿射预测。

在子块预测中，与时间合并推导处理同样地判定对象子块的同位子块COL的利用可能性availableFlagSbCol，在可利用的情况下，推导出预测参数。至少在上述的SliceTemporalMvpEnabledFlag为0的情况下，将availableFlagSbCol设定为0。

MMVD预测(Merge with Motion Vector Difference：与运动矢量差合并)可以分类为合并预测，也可以分类为AMVP预测。对于前者而言，在merge_flag＝1的情况下对mmvd_flag和MMVD关联语法要素进行解码，对于后者而言，在merge_flag＝0的情况下对mmvd_flag和MMVD关联语法要素进行解码。

环路滤波器305是设于编码环路内的滤波器，是去除块失真、振铃失真来改善画质的滤波器。环路滤波器305对加法部312所生成的CU的解码图像实施去块滤波、取样自适应偏移(SAO)、自适应环路滤波(ALF)等滤波。

参照图片存储器306将CU的解码图像按每个对象图片和对象CU存储于预定的位置。

预测参数存储器307将预测参数按每个CTU或者CU存储于预定的位置。具体而言，预测参数存储器307存储由参数解码部302解码后的参数和由预测参数推导部320导出后的参数等。

预测图像生成部308被输入由预测参数推导部320导出的参数。此外，预测图像生成部308从参照图片存储器306中读出参照图片。预测图像生成部308在predMode所指示的预测模式下，使用参数和参照图片(参照图片块)来生成块或子块的预测图像。在此，参照图片块是指参照图片上的像素的集合(通常为矩形，因此称为块)，是为了生成预测图像而参照的区域。

(帧间预测图像生成部309)

在predMode指示帧间预测模式的情况下，帧间预测图像生成部309使用从帧间预测参数推导部303输入的帧间预测参数和参照图片，通过帧间预测来生成块或子块的预测图像。

图14是表示本实施方式的预测图像生成部308中所包括的帧间预测图像生成部309的构成的概略图。帧间预测图像生成部309构成为包括运动补偿部(预测图像生成装置)3091和合成部3095。合成部3095构成为包括：帧内帧间(IntraInter)合成部30951、三角形合成部30952、BDOF部30954、加权预测部3094。

(运动补偿)

运动补偿部3091(插补图像生成部3091)通过基于从帧间预测参数推导部303输入的帧间预测参数(predFlagLX、refIdxLX、mvLX)，从参照图片存储器306读出参照块来生成插补图像(运动补偿图像)。参照块是在由refIdxLX指定的参照图片RefPicLX上从对象块的位置移位了mvLX的位置的块。在此，在mvLX并非整数精度的情况下，实施称为运动补偿滤波的用于生成小数位置的像素的滤波，生成插补图像。

运动补偿部3091首先通过以下的算式推导出与预测块内坐标(x，y)对应的整数位置(xInt，yInt)和相位(xFrac，yFrac)。

xInt＝xPb+(mvLX[0]>>(log2(MVPREC)))+x

xFrac＝mvLX[0]&(MVPREC-1)

yInt＝yPb+(mvLX[1]>>(log2(MVPREC)))+y

yFrac＝mvLX[1]&(MVPREC-1)

在此，(xPb，yPb)为bW*bH尺寸的块的左上坐标，x＝0……bW-1，y＝0……bH-1，MVPREC表示mvLX的精度(1/MVPREC像素精度)。例如MVPREC＝16。

运动补偿部3091使用插值滤波器对参照图片refImg进行水平插补处理，由此推导出临时的图像temp[][]。以下的Σ是与k＝0..NTAP-1的k有关的和，shift1是调整值的区间的归一化参数，offset1＝1<<(shift1-1)。

temp[x][y]＝

(ΣmcFilter[xFrac][k]*refImg[xInt+k-NTAP/2+1][yInt]+offset1)>>shift1

接着，运动补偿部3091通过对临时的图像temp[][]进行垂直插补处理，推导出插补图像Pred[][]。以下的Σ是与k＝0..NTAP-1的k有关的和，shift2是调整值的区间的归一化参数，offset2＝1<<(shift2-1)。

Pred[x][y]＝(ΣmcFilter[yFrac][k]*temp[x][y+k-NTAP/2+1]+offset2)>>shift2需要说明的是，在双向预测的情况下，按每个L0列表、L1列表推导出上述的Pred[][](称为插补图像PredL0[][]和PredL1[][])，根据插补图像PredL0[][]和PredL1[][]生成Pred[][]。

需要说明的是，运动补偿部3091具有根据由尺度参数推导部30378推导出的参照图片的水平方向的缩放比RefPicScale[i][j][0]和参照图片的垂直方向的缩放比RefPicScale[i][j][1]对插补图像进行缩放的功能。

合成部3095具备：帧内帧间合成部30951、三角形合成部30952、加权预测部3094、BDOF部30954。

(内插滤波器处理)

以下，对于通过预测图像生成部308执行的内插滤波器处理，即应用上述的重采样而参照图片的尺寸在单个序列中变化的情况下的内插滤波器处理进行说明。需要说明的是，该处理例如可以通过运动补偿部3091来执行。

预测图像生成部308在从帧间预测参数推导部303输入的RefPicIsScaled[i][j]的值表示对参照图片进行了缩放的情况下，执行下述内插滤波器处理。

预测图像生成部308在对针对亮度的参照图片的尺寸进行校正时，推导出水平亮度内插滤波器系数fLH[p]的值和垂直亮度内插滤波器系数fLV[p]的值。在此，值p是与亮度样本的水平或垂直方向的每1/16的位置对应的值。xFracL或yFracL的1/16像素位置p的水平亮度内插滤波器系数fLH[p]如下所示地进行推导。

在仿射预测中，在块尺寸的水平方向、垂直方向两方均等于4的情况下，亮度内插滤波器系数fLH[p]使用图18。

在除此以外的情况下，在scalingRatio[0]大于28672的情况下，亮度内插滤波器系数fLH[p]使用图16。

在除此以外的情况下，在scalingRatio[0]大于20480的情况下，亮度内插滤波器系数fLH[p]使用图17。

在除此以外的情况下，亮度内插滤波器系数fLH[p]根据hpelIfIdx按图15来指定。

与yFracL相等的各1/16小数样本位置p的垂直亮度内插滤波器系数fLV[p]如下所示地进行推导。

在仿射预测中，在块尺寸的水平方向、垂直方向两方均等于4的情况下，亮度内插滤波器系数fLV[p]使用图18。

在除此以外的情况下，在scalingRatio[1]大于28672的情况下，亮度内插滤波器系数fLV[p]使用图16。

在除此以外的情况下，在scalingRatio[1]大于20480的情况下，亮度内插滤波器系数fLV[p]使用图17。

在除此以外的情况下，亮度内插滤波器系数fLV[p]根据hpelIfIdx使用图15。

将i＝0..7的情况下的亮度的整数像素位置设为(xInti，yInti)，将亮度的小数的像素位置(xFracL，yFracL)和亮度的参照像素排列refPicLXL、1/2像素内插滤波器的索引设为hpelIfIdx，亮度的插补图像的像素值predSampleLXL如下所示进行推导。

在xFracL和yFracL两方等于0，scalingRatio[0]和scalingRatio[1]两方小于20481的情况下，predSampleLXL的值如下所示地进行推导。以下，Σ表示与i＝0..7有关的和。

predSampleLXL＝refPicLXL[xInt3][yInt3]<<shift3

在除此以外的情况下，yFracL为0且scalingRatio[1]小于20481的情况下，predSampleLXL的值如下所示地进行推导。

predSampleLXL＝(ΣfLH[xFracL][i]*refPicLXL[xInti][yInt3])>>shift1

在除此以外的情况下，xFracL为0且scalingRatio[0]小于20481的情况下，predSampleLXL的值如下所示地进行推导。

predSampleLXL＝(ΣfLV[yFracL][i]*refPicLXL[xInt3][yInti])>>shift1

在除此以外的情况下，predSampleLXL的值如下所示地进行推导。

n＝0..7的像素排列temp[n]如下所示地进行推导。

temp[n]＝(ΣfLH[xFracL][i]*refPicLXL[xInti][yIntn])>>shift1

亮度的插补图像的像素值predSampleLXL如下所示地进行推导。

predSampleLXL＝(ΣfLV[yFracL][i]*temp[i])>>shift2

此外，预测图像生成部308在对针对色差的参照图片的尺寸进行校正时，推导出水平色差内插滤波器系数fCH[p]的值和垂直色差内插滤波器系数fCV[p]的值。此处的值p是与色差样本的水平或垂直方向的每1/32的位置对应的值。xFracC的1/32像素位置p的水平色差内插滤波器系数fCH[p]如下所示地进行推导。

在scalingRatio[0]大于28672的情况下，色差内插滤波器系数fCH[p]使用图21。

在除此以外的情况下，在scalingRatio[0]大于20480的情况下，色差内插滤波器系数fCH[p]使用图20。

在除此以外的情况下，色差内插滤波器系数fCH[p]使用图19。

与yFracC相等的各1/32小数像素位置p的垂直色差内插滤波器系数fCV[p]如下所示地进行推导。

在scalingRatio[1]大于28672的情况下，色差内插滤波器系数fCV[p]使用图21。

在除此以外的情况下，在scalingRatio[1]大于20480的情况下，色差内插滤波器系数fCV[p]使用图20。

在除此以外的情况下，色度内插滤波器系数fCV[p]使用图19。

将i＝0..3的情况下的色差的整数像素位置设为(xInti，yInti)，将色差的小数的像素位置(xFracL，yFracL)和色差的参照像素排列refPicLXL，色差的插补图像的像素值predSampleLXLC如下所示进行推导。

色差的插补图像的像素值predSampleLXC如下所示地进行推导。

在xFracC和yFracC两方为0且scalingRatio[0]和scalingRatio[1]两方小于20481的情况下，predSampleLXC的值如下所示地进行推导。以下，Σ表示i＝0..3的和。

predSampleLXC＝refPicLXC[xInt1][yInt1]<<shift3

在除此以外的情况下，yFracC为0且scalingRatio[1]小于20481的情况下，predSampleLXC的值如下所示地进行推导。

predSampleLXC＝(ΣfCH[xFracC][i]*refPicLXC[xInti][yInt1])>>shift1

在除此以外的情况下，xFracC为0且scalingRatio[0]小于20481的情况下，predSampleLXC的值如下所示地进行推导。

predSampleLXC＝(ΣfCV[yFracC][i]*refPicLXC[xInt1][yInti])>>shift1

在除此以外的情况下，predSampleLXC的值如下所示地进行推导、

n＝0..3的像素排列temp[n]如下所示地进行推导。

temp[n]＝(ΣfCH[xFracC][i]*refPicLXC[xInti][yIntn])>>shift1

色差的插补图像的像素值predSampleLXLC如下所示地进行推导。predSampleLXC＝(fCV[yFracC][0]*temp[0]+fCV[yFracC][1]*temp[1]+fCV[yFracC][2]*temp[2]+fCV[yFracC][3]*temp[3])>>shift2(帧内帧间合成处理)

帧内帧间合成部30951通过帧间预测图像与帧内预测图像的加权和来生成预测图像。

(三角形合成处理)

三角形合成部30952生成使用了上述的三角形预测的预测图像。

(BDOF预测)

接着，对BDOF部30954所进行的BDOF预测(Bi-Directional Optical Flow：双向光流、BDOF处理)的详细内容进行说明。BDOF部30954在双向预测模式下参照两个预测图像(第一预测图像和第二预测图像)和梯度校正项生成预测图像。

图25是说明推导预测图像的处理的流程的流程图。

在帧间预测参数解码部303判定为L0的单向预测的情况下(在S101中inter_pred_idc为0)，运动补偿部3091生成PredL0[x][y](S102)。在帧间预测参数解码部303判定为L1的单向预测的情况下(在S101中inter_pred_idc为1)，运动补偿部3091生成PredL1[x][y](S103)。另一方面，在帧间预测参数解码部303判定为双向预测模式的情况下(在S101中inter_pred_idc为2)，接着进行以下的S104的处理。在S104中，合成部3095参照表示是否进行BDOF处理的bdofAvailableFlag来判定是否进行BDOF处理。在bdofAvailableFlag表示真(TRUE)时，BDOF部30954执行BDOF处理来生成双向预测图像(S106)，在bdofAvailableFlag表示假时，合成部3095在通常的双方预测图像生成中生成预测图像(S105)。

在规定是否进行BDOF处理处理的标志bdofAvailableFlag的推导中，作为将bdofAvailableFlag设定为1的多个条件之一，包括上述的RefPicIsScaled[0][refIdxL0]的值为0，并且RefPicIsScaled[1][refIdxL1]的值为0。

此外，在规定是否进行BDOF处理的标志bdofAvailableFlag的推导中，作为将bdofAvailableFlag设定为1的多个条件之一，包括作为表示是否存在后述的亮度的L0预测的加权预测的系数信息的标志的luma_weight_l0_flag[i]为0，并且作为表示是否存在亮度的L1预测的加权预测的系数信息的标志的luma_weight_l1_flag[i]的值为0。

需要说明的是，在规定是否进行BDOF处理的标志bdofAvailableFlag的推导中，作为将bdofAvailableFlag设定为1的多个条件之一，帧间预测参数解码部303也可以包括luma_weight_l0_flag[i]为0，并且luma_weight_l1_flag[i]的值为0，并且作为表示是否存在后述的色差的L0预测的加权预测的系数信息的标志的chroma_weight_l0_flag[i]为0，并且作为表示是否存在色差的L1预测的加权预测的系数信息的标志的chroma_weight_l1_flag[i]的值为0。

使用图26对BDOF部30954所进行的具体的处理的内容进行说明。BDOF部30954具备：L0、L1预测图像生成部309541、梯度图像生成部309542、相关参数计算部309543、运动补偿修正值推导部309544以及双向预测图像生成部309545。BDOF部30954根据从运动补偿部3091接收到的插补图像和从帧间预测参数解码部303接收到的帧间预测参数生成预测图像，并输出至加法部312。需要说明的是，将从梯度图像推导出运动补偿修正值bdofOffset(运动补偿修正图像)，修正并推导出PredL0、PredL1的处理称为双向梯度变化处理。

在L0、L1预测图像生成部309541中，生成用于BDOF处理的L0和L1预测的插补图像predSamplesL0和predSamplesL1。

需要说明的是，设定为：变量shift1为6，变量shift2为4，变量shift3为1，变量shift4为Max(3，15-BitDepth)，变量offset4为1<<(shift4-1)，变量mvRefineThres为1<<4。predSamplesL0为L0预测的插补图像，predSamplesL1为L1预测的插补图像。

在bdofAvailableFlag为假的情况下，双向预测图像生成部309545以4×4像素块为单位，如下所示地推导出预测图像的像素值。

pbSamples[x][y]＝Clip3(0，(1<<BitDepth)-1，

(predSamplesL0[x+1][y+1]+offset4+predSamplesL1[x+1][y+1])>>shift4)

在除此以外的情况下(bdofAvailableFlag等于真)，当前的预测图像的像素值如下所示地进行推导。

预测图像排列内的对应的像素位置(x，y)的位置(hx，vy)如下所示地进行推导。

hx＝Clip3(1，W，x)

vy＝Clip3(1，H，y)

在此，W为处理块的水平方向的像素数，H为垂直方向的像素数。

在梯度图像生成部309542生成梯度图像。具体而言，梯度图像的变量gradientHL0[x][y]、gradientVL0[x][y]、gradientHL1[x][y]、gradientVL1[x][y]如下所示地进行推导。gradientHL0和gradientHL1表示水平方向的梯度图像，gradientVL0和gradientVL1表示垂直方向的梯度图像。gradientHL0[x][y]＝(predSamplesL0[hx+1][vy]>>shift1)-(predSampleL0[hx-1][vy])>>shift1)

gradientVL0[x][y]＝(predSampleL0[hx][vy+1]>>shift1)-(predSampleL0[hx][vy-1])>>shift1)

gradientHL1[x][y]＝(predSamplesL1[hx+1][vy]>>shift1)-(predSampleL1[hx-1][vy])>>shift1)

gradientVL1[x][y]＝(predSampleL1[hx][vy+1]>>shift1)-(predSampleL1[hx][vy-1])>>shift1)

此外，推导出变量diff[x][y]、tempH[x][y]以及tempV[x][y]。

diff[x][y]＝(predSamplesL0[hx][vy]>>shift2)-(predSamplesL1[hx][vy]>>shift2)

tempH[x][y]＝(gradientHL0[x][y]+gradientHL1[x][y])>>shift3

tempV[x][y]＝(gradientVL0[x][y]+gradientVL1[x][y])>>shift3

接着，相关参数计算部309543按每个4×4像素的块如下所示地推导出梯度积和变量sGx2、sGy2、sGxGy、sGxdI以及sGydI。

sGx2＝ΣΣabs(tempH[xSb+i][ySb+j])

sGy2＝ΣΣabs(tempV[xSb+i][ySb+j])

sGxGy＝ΣΣ(Sign(tempV[xSb+i][ySb+j])*tempH[xSb+i][ySb+j])

sGxdI＝ΣΣ(-Sign(tempH[xSb+i][ySb+j])*diff[xSb+i][ySb+j])

sGydI＝ΣΣ(-Sign(tempV[xSb+i][ySb+j])*diff[xSb+i][ySb+j])

在此，ΣΣ是在i＝-1..4、j＝-1..4中求出包括4×4像素的周围1像素的6×6像素的块的合计值的意思，abs(x)是返回x的绝对值的函数，Sign(x)是在x的值大于0的情况下返回1，x的值为0的情况下返回0，x的值小于0的情况下返回-1的函数。

接着，运动补偿修正值推导部309544使用推导出的梯度积和sGx2、sGy2、sGxGy、sGxdI以及sGydI推导出以4×4像素为单位的校正权重矢量(u，v)。

u＝sGx2>0？Clip3(-mvRefineThres+1，mvRefineThres-1，(sGxdI<<2)>>Floor(Log2(sGx2)))：0

v＝sGy2>0？Clip3(-mvRefineThres+1，mvRefineThres-1，((sGydI<<2)-((vx*sGxGy)>>1))>>Floor(Log2(sGy2))):0

运动补偿修正值推导部309544使用以4×4像素为单位的校正权重矢量(u，v)和梯度图像gradientHL0、gradientVL0、gradientHL1、gradientVL1推导出bdofOffset。

bdofOffset＝u*(gradientHL0[x+1][y+1]-gradientHL1[x+1][y+1])+v*(gradientVL0[x+1][y+1]-gradientVL1[x+1][y+1])

双向预测图像生成部309545使用上述的参数通过以下算式推导出4×4像素的预测图像的像素值Pred。

pbSamples[x][y]＝Clip3(0，(1<<BitDepth)-1，

(predSamplesL0[x+1][y+1]+offset4+predSamplesL1[x+1][y+1]+bdofOffset)>>shift4)

(加权预测)

加权预测部3094从插补图像PredLX生成块的预测图像pbSamples。首先，关于与加权预测部3094关联的语法进行说明。

图27的(a)表示序列参数集(Sequence Paramenter Set：SPS)中的sps_weighted_pred_flag和sps_weighted_bipred_flag的语法的示例。

sps_weighted_pred_flag等于1表示可能对参照SPS的P切片应用加权预测。sps_weighted_pred_flag等于0表示未对参照SPS的P切片应用加权预测。sps_weighted_bipred_flag等于1表示可能对参照SPS的B切片应用加权预测。sps_weighted_bipred_flag等于0表示未对参照SPS的B切片应用加权预测。

图27的(b)表示图片参数集(PPS)中的pps_weighted_pred_flag和pps_weighted_bipred_flag的语法的示例。

pps_weighted_pred_flag等于0表示未对参照PPS的P切片应用加权预测。pps_weighted_pred_flag等于1表示对参照PPS的P切片应用加权预测。在sps_weighted_pred_flag等于0时，加权预测部3094将pps_weighted_pred_flag的值设定为0。在不存在pps_weighted_pred_flag的情况下，值设定为0。

pps_weighted_bipred_flag等于0表示未对参照PPS的B切片应用加权预测。pps_weighted_bipred_flag等于1表示对参照PPS的B切片应用加权预测。在sps_weighted_bipred_flag等于0时，加权预测部3094将pps_weighted_bipred_flag的值设定为0。在不存在pps_weighted_bipred_flag的情况下，值设定为0。

图28表示通过切片报头调用的非专利文献1的加权预测参数语法(Weightedprediction parameters syntax)()。

在此，luma_log2_weight_denom是所有的亮度加权系数的分母的以2为底的对数。luma_log2_weight_denom的值必须在0到7的范围内。delta_chroma_log2_weight_denom是所有的色差加权系数的分母的以2为底的对数的差。在不存在delta_chroma_log2_weight_denom的情况下，推测为等于0。推导为变量ChromaLog2WeightDenom等于luma_log2_weight_denom+delta_chroma_log2_weight_denom，值必须在0到7的范围内。

在luma_weight_l0_flag[i]为1的情况下，表示存在L0预测的亮度分量的加权系数。在luma_weight_l0_flag[i]为0的情况下，表示不存在L0预测的亮度分量的加权系数。在不存在luma_weight_l0_flag[i]的情况下，加权预测部3094推测为等于0。在chroma_weight_l0_flag[i]为1的情况下，表示存在L0预测的色差预测值的加权系数。在chroma_weight_l0_flag[i]为0的情况下，表示不存在L0预测的色差预测值的加权系数。在不存在chroma_weight_l0_flag[i]的情况下，加权预测部3094推测为等于0。

delta_luma_weight_l0[i]是应用于使用了RefPicList[0][i]的L0预测的亮度预测值的加权系数的差。推导为变量LumaWeightL0[i]等于(1<<luma_log2_weight_denom)+delta_luma_weight_l0[i]。在luma_weight_l0_flag[i]等于1的情况下，delta_luma_weight_l0[i]的值必须在-128到127的范围内。在luma_weight_l0_flag[i]等于0的情况下，加权预测部3094推测为LumaWeightL0[i]等于2的luma_log2_weight_denom的乘方值(2^luma_log2_weight_denom)。

luma_offset_l0[i]是应用于使用了RefPicList[0][i]的L0预测的亮度预测值的加法偏移。luma_offset_l0[i]的值必须在-128到127的范围内。在luma_weight_l0_flag[i]等于0的情况下，加权预测部3094推测为luma_offset_l0[i]等于0。

delta_chroma_weight_l0[i][j]是应用于使用了在Cb中j为0，在Cr中j为1的RefPicList0[i]的L0预测的色度预测值的加权系数的差。推导为变量ChromaWeightL0[i][j]等于(1<<ChromaLog2WeightDenom)+delta_chroma_weight_l0[i][j]。在chroma_weight_l0_flag[i]等于1时，delta_chroma_weight_l0[i][j]的值必须在-128到127的范围内。在chroma_weight_l0_flag[i]为0的情况下，加权预测部3094推测为ChromaWeightL0[i][j]为等于2的ChromaLog2WeightDenom的乘方值(2^ChromaLog2WeightDenom)。delta_chroma_offset_l0[i][j]是应用于使用了在Cb中j为0，在Cr中j为1的RefPicList0[i]的L0预测的色度预测值的加法偏移的差。变量ChromaOffsetL0[i][j]如下所示地进行推导。

ChromaOffsetL0[i][j]＝Clip3(-128，127，

(128+delta_chroma_offset_l0[i][j]-

((128*ChromaWeightL0[i][j])>>ChromaLog2WeightDenom)))

delta_chroma_offset_l0[i][j]的值必须在-4*128到4*127的范围内。在chroma_weight_l0_flag[i]等于0的情况下，加权预测部3094推测为ChromaOffsetL0[i][j]等于0。

需要说明的是，将luma_weight_l1_flag[i]、chroma_weight_l1_flag[i]、delta_luma_weight_l1[i]、luma_offset_l1[i]、delta_chroma_weight_l1[i][j]以及delta_chroma_offset_l1[i][j]分别置换为luma_weight_l0_flag[i]、chroma_weight_l0_flag[i]、delta_luma_weight_l0[i]、luma_offset_l0[i]、delta_chroma_weight_l0[i][j]以及delta_chroma_offset_l0[i][j]进行解释，将l0、L0、list0以及List0分别置换为l1、l1、list1以及List1进行解释。

以下，对帧间预测参数推导部303的处理进行叙述。

在非专利文献1中，表示是否进行加权预测处理的变量weightedPredFlag如下所示地进行推导。

在slice_type等于P的情况下，设定为weightedPredFlag等于由PPS定义的pps_weighted_pred_flag。

除此以外，在slice_type等于B的情况下，设定为weightedPredFlag等于由PPS定义的pps_weighted_bipred_flag&&(！dmvrFlag)。

以下，bcw_idx是具有CU单位的权重的双向预测的权重索引。在未通知bcw_idx的情况下，设置为bcw_idx＝0。bcwIdx在合并预测模式下设置附近块的bcwIdxN，在AMVP预测模式下设置对象块的bcw_idx。

如果在变量weightedPredFlag的值等于0或变量bcwIdx的值为0的情况下，如下所示地推导出预测图像pbSamples来作为通常的预测图像处理。

在预测列表利用标志的一方(predFlagL0或predFlagL1)为1(单向预测)的(不使用加权预测)情况下，进行使PredLX(LX为L0或L1)与像素比特数bitDepth匹配的以下的算式的处理。

pbSamples[x][y]＝Clip3(0，(1<<bitDepth)-1，(PredLX[x][y]+offset1)>>shift1)

在此，shift1＝14-bitDepth，offset1＝1<<(shift1-1)。PredLX是L0或L1预测的插补图像。

此外，在预测列表利用标志两者(predFlagL0和predFlagL1)为1(双向预测PRED_BI)且不使用权重预测的情况下，进行将PredL0、PredL1平均，并使其平均数与像素比特数匹配的以下的算式的处理。

pbSamples[x][y]＝Clip3(0，(1<<bitDepth)-1，(PredL0[x][y]+PredL1[x][y]+offset2)>>shift2)

在此，shift2＝15-bitDepth，offset2＝1<<(shift2-1)。

如果在变量weightedPredFlag的值等于1且变量bcwIdx的值等于0的情况下，如下所示地推导出预测图像pbSamples来作为加权预测处理。

设定为变量shift1等于Max(2，14-bitDepth)。变量log2Wd、o0、o1、w0以及w1如下所示地进行推导。

如果cIdx为0且为亮度的情况下，应用以下算式。

log2Wd＝luma_log2_weight_denom+shift1

w0＝LumaWeightL0[refIdxL0]

w1＝LumaWeightL1[refIdxL1]

o0＝luma_offset_l0[refIdxL0]<<(bitDepth-8)

o1＝luma_offset_l1[refIdxL1]<<(bitDepth-8)

在除此以外(cIdx不等于0的色差)的情况下，应用以下算式。

log2Wd＝ChromaLog2WeightDenom+shift1

w0＝ChromaWeightL0[refIdxL0][cIdx-1]

w1＝ChromaWeightL1[refIdxL1][cIdx-1]

o0＝ChromaOffsetL0[refIdxL0][cIdx-1]<<(bitDepth-8)

o1＝ChromaOffsetL1[refIdxL1][cIdx-1]<<(bitDepth-8)

x＝0..nCbW-1和y＝0..nCbH-1的预测图像的像素值pbSamples[x][y]如下所示地进行推导。

接着，如果在predFlagL0等于1，predFlagL1等于0的情况下，预测图像的像素值pbSamples[x][y]如下所示地进行推导。

除此以外，如果在predFlagL0为0且predFlagL1为1的情况下，预测图像的像素值pbSamples[x][y]如下所示地进行推导。

除此以外，如果在predFlagL0等于1，predFlagL1等于1的情况下，预测图像的像素值pbSamples[x][y]如下所示地进行推导。

pbSamples[x][y]＝Clip3(0，(1<<bitDepth)-1，

(predSamplesL0[x][y]*w0+predSamplesL1[x][y]*w1+

((o0+o1+1)<<log2Wd))>>(log2Wd+1))

然而，在非专利文献1中记载的方法中，例如，对于L0列表中的每个参照图片中存在表示是否存在亮度的加权系数LumaWeightL0[i]和偏移值luma_offset_l0[refIdxL0]的标志luma_weight_l0_flag[i]，而就相当于加权系数的分母的右移位值而言，仅存在一个亮度的luma_log2_weight_denom。因此，在不存在针对参照列表的加权系数和偏移值的情况下，将加权系数的值设为2的luma_log2_weight_denom次方，将偏移值设为0来进行加权预测处理。因此，在L0预测或L1预测时，不存在针对参照列表的加权系数和偏移值的情况下，在本来应该进行通常的预测处理的位置，进行加权预测处理。此外，在双向预测时，在不存在L0列表和L1列表双方的加权系数和偏移值的情况下，在本来应该进行通常的双向预测处理的位置，进行加权预测处理。如此，存在如下的问题：即使在应该进行通常的预测处理的情况下，有时也进行加权预测处理。

因此，作为本实施方式，如下所示地定义函数WeightedPredFlag(slice_type，cIdx，refIdxL0，refIdxL1)。

WeightedPredFlag(slice_type，cIdx，refIdxL0，refIdxL1)＝

(slice_type＝＝P&&pps_weighted_pred_flag)？

((cIdx＝＝0)？luma_weight_l0_flag[refIdxL0]：chroma_weight_l0_flag[refIdxL0])：

((slice_type＝＝B&&pps_weighted_bipred_flag)？

((refIdxL0>＝0&&refIdxL1>＝0)？

((cIdx＝＝0)？(luma_weight_l0_flag[refIdxL0]||luma_weight_l1_flag[refIdxL1])：(chroma_weight_l0_flag[refIdxL0]||chroma_weight_l1_flag[refIdxL1]))：

((refIdxL0>＝0&&refIdxL1<0)？

((refIdxL0<0&&refIdxL1>＝0)？

((cIdx＝＝0)？luma_weight_l1_flag[refIdxL1]：chroma_weight_l1_flag[refIdxL1])：0)))

可以在进行与加权预测的排他处理的情况下使用该函数WeightedPredFlag(slice_type，cIdx，refIdxL0，refIdxL1)。图29的语法是用于为了使BCW预测和加权预测排他地进行动作而仅在不存在加权预测的系数的情况下通知bcw_idx[x0][y0]的示例。

除此以外，也能在加权预测处理中不存在亮度的加权系数的情况下应用DMVR处理和BDOF处理的情况下，设定函数WeightedPredFlag(B，0，refIdxL0，refIdxL1)的值等于0这一条件。

能在加权预测处理中不存在亮度和色差两方的加权系数的情况下应用DMVR处理和BDOF处理的情况下，设定函数WeightedPredFlag(B，0，refIdxL0，refIdxL1)和WeightedPredFlag(B，1，refIdxL0，refIdxL1)两方的值等于0这一条件。

表示是否进行加权预测处理的变量weightedPredFlag只要设定函数WeightedPredFlag(slice_type，cIdx，refIdxL0.refIdxL1)的值即可。

此外，在非专利文献1中记载的方法中，存在如下的问题：在即使在变量weightedPredFlag的值为1且调用了加权预测处理的情况下，作为结果也应该进行通常的预测处理的情况下，进行加权预测处理。

因此，在本实施方式的另一个实施方式中，加权预测部3094如下所示地推导出变量weightedPredFlag。

在slice_type等于P的情况下，将变量weightedPredFlag设定为

weightedPredFlag＝(cIdx＝＝0)？luma_weight_l0_flag[refIdxL0]：chroma_weight_l0_flag[refIdxL0]。

在除此以外(slice_type等于B)的情况下，如下所示地进行设定。

如果在refIdxL0为0以上且refIdxL1为0以上的情况下，变量weightedPredFlag设定为

weightedPredFlag＝(cIdx＝＝0)？

(luma_weight_l0_flag[refIdxL0]||luma_weight_l1_flag[refIdxL1])：

(chroma_weight_l0_flag[refIdxL0]||chroma_weight_l1_flag[refIdxL1])。

如果在refIdxL0为0以上且refIdxL1小于0的情况下，变量weightedPredFlag设定为

如果在refIdxL0小于0且refIdxL1为0以上的情况下，变量weightedPredFlag设定为

weightedPredFlag＝(cIdx＝＝0)？luma_weight_l1_flag[refIdxL1]：chroma_weight_l0_flag[refIdxL1]。

在除此以外的情况下，变量weightedPredFlag设定为

weightedPredFlag＝0。

通过如上所述地进行推导，能按亮度、色差信号分别规定在运动图像编码/解码处理中不存在加权系数的情况下，不进行加权预测，能解决上述的问题。

另外，作为本实施方式的另一个实施方式，示出了在加权预测处理的内部解决上述的问题的方法。

如果cIdx为0且为亮度的情况下，应用以下算式。

log2Wd＝luma_log2_weight_denom+shift1

WeightL0Flag＝luma_weight_l0_flag[refIdxL0]

WeightL1Flag＝luma_weight_l1_flag[refIdxL1]

w0＝LumaWeightL0[refIdxL0]

w1＝LumaWeightL1[refIdxL1]

o0＝luma_offset_l0[refIdxL0]<<(bitDepth-8)

o1＝luma_offset_l1[refIdxL1]<<(bitDepth-8)

在除此以外(cIdx不等于0的色差)的情况下，应用以下算式。

log2Wd＝ChromaLog2WeightDenom+shift1

WeightL0Flag＝chroma_weight_l0_flag[refIdxL0]

WeightL1Flag＝chroma_weight_l1_flag[refIdxL1]

w0＝ChromaWeightL0[refIdxL0][cIdx-1]

w1＝ChromaWeightL1[refIdxL1][cIdx-1]

o0＝ChromaOffsetL0[refIdxL0][cIdx-1]<<(bitDepth-8)

o1＝ChromaOffsetL1[refIdxL1][cIdx-1]<<(bitDepth-8)

如果在predFlagL0等于1，predFlagL1等于0的情况下，预测图像的像素值pbSamples[x][y]如下所示地进行推导。

通过如上所述地进行推导，能按亮度、色差信号分别规定在运动图像编码/解码处理中不存在加权系数的情况下不进行加权预测，能解决上述的问题。

作为另一个问题，在非专利文献1中，新导入了图片报头(Picture header)这一概念，但存在与之不对应的问题。

因此，作为本实施方式的另一个实施方式，在图片报头中新导入用于加权预测的标志信息。具体而言，如图30的(b)所示，在picture_header_rbsp()中导入pic_weighted_pred_flag和pic_weighted_bipred_flag，在切片报头(Slice header)中，如图30的(c)所示，在pic_weighted_pred_flag或pic_weighted_bipred_flag为1的情况下，调用pred_weight_table()。

通过设为如上所述的语法，按每个图片(Picture)切换加权预测处理。

作为另一个问题，在非专利文献1中，对于表示是否进行加权预测处理的变量weightedPredFlag，在slice_type等于B的情况下，设定为weightedPredFlag等于由PPS定义的pps_weighted_bipred_flag&&(！dmvrFlag)，但是，作为表示是否进行DMVR处理的变量的dmvrFlag为真的条件之一仅针对luma_weight_l0_flag[refIdxL0]和luma_weight_l1_flag[refIdxL1]两方为0这一亮度信号的加权预测处理而定义，因此，存在针对色差信号的处理加权预测处理的应用条件未明确化这一问题。

因此，作为本实施方式的另一个实施方式，对于变量weightedPredFlag，在slice_type等于B的情况下，设定为weightedPredFlag等于由PPS定义的pps_weighted_bipred_flag&&！(dmvrFlag&&cIdx＝＝0)。

通过设为如上所述的条件，即使在dmvrFlag为1的情况下，也使色差信号的情况的加权预测处理适当地进行动作，明确了加权预测处理的应用条件。

或者，也可以设为在DMVR处理或BDOF处理中都不进行亮度或色差的加权预测处理。而且，在slice_type等于B的情况下，设定为weightedPredFlag等于由PPS定义的pps_weighted_bipred_flag&&！dmvrFlag&&！bdofAvailableFlag。

通过设为如上所述的条件，明确了加权预测处理的应用条件。

(BCW预测)

BCW(Bi-prediction with CU-level Weights)预测是能切换按CU等级预先决定的加权系数的预测方法。

输入指定当前的编码块的宽度和高度的两个变量nCbW和nCbH、(nCbW)x(nCbH)的两个排列predSamplesL0和predSamplesL1、表示是否使用预测列表的标志predFlagL0和predFlagL1、参照索引refIdxL0和refIdxL1、BCW预测的索引bcw_idx以及指定亮度、色差分量的索引的变量cIdx，进行BCW预测处理，输出(nCbW)x(nCbH)的排列pbSamples的预测图像的像素值。

在按SPS等级表示是否使用该预测的sps_bcw_enabled_flag为真(TURE)且变量weightedPredFlag为0且两个参照索引refIdxL0和refIdxL1所示的参照图片中不存在任一个加权预测系数，并且编码块尺寸为一定以下的情况下，明示地通知CU等级的语法的bcw_idx，将该值代入变量bcwIdx。如果在不存在bcw_idx的情况下，将0代入变量bcwIdx。

在变量bcwIdx为0的情况下，预测图像的像素值如下所示地进行推导。

pbSamples[x][y]＝Clip3(0，(1<<bitDepth)-1，

(predSamplesL0[x][y]+predSamplesL1[x][y]+offset2)>>shift2)

在除此以外的情况下(bcwIdx不等于0的情况下)，应用以下算式。

设定为变量w1等于bcwWLut[bcwIdx]。bcwWLut[k]＝{4，5，3，10，-2}。

变量w0设定为(8-w1)。此外，预测图像的像素值如下所示地进行推导。

pbSamples[x][y]＝Clip3(0，(1<<bitDepth)-1，

(w0*predSamplesL0[x][y]+

w1*predSamplesL1[x][y]+offset3)>>(shift2+3))

在AMVP预测模式下使用BCW预测的情况下，帧间预测参数解码部303对bcw_idx进行解码，发送至BCW部30955。此外，在合并预测模式下使用BCW预测的情况下，帧间预测参数解码部303对合并索引merge_idx进行解码，合并候选推导部30361推导出各合并候选的bcwIdx。具体而言，合并候选推导部30361将用于合并候选的推导的邻接块的权重系数用作用于对象块的合并候选的权重系数。就是说，在合并模式下，将过去使用过的权重系数继承为对象块的权重系数。

(帧内预测图像生成部310)

在predMode表示帧内预测模式的情况下，帧内预测图像生成部310使用从帧内预测参数推导部304输入的帧内预测参数和从参照图片存储器306中读出的参照像素来进行帧内预测。

逆量化/逆变换部311将从参数解码部302输入的量化变换系数逆量化，来求出变换系数。

加法部312按每个像素将从预测图像生成部308输入的块的预测图像与从逆量化/逆变换部311输入的预测误差相加，生成块的解码图像。加法部312将块的解码图像存储于参照图片存储器306，并向环路滤波器305输出。

(运动图像编码装置的构成)

接着，对本实施方式的运动图像编码装置11的构成进行说明。图22是表示本实施方式的运动图像编码装置11的构成的框图。运动图像编码装置11构成为包括：预测图像生成部101、减法部102、变换/量化部103、逆量化/逆变换部105、加法部106、环路滤波器107、预测参数存储器(预测参数存储部、帧存储器)108、参照图片存储器(参照图像存储部、帧存储器)109、编码参数确定部110、参数编码部111、预测参数推导部120以及熵编码部104。

预测图像生成部101按每个CU每生成预测图像。预测图像生成部101包括已经说明的帧间预测图像生成部309和帧内预测图像生成部310，并省略其说明。

减法部102从图像T的像素值中减去从预测图像生成部101输入的块的预测图像的像素值，生成预测误差。减法部102将预测误差输出至变换/量化部103。

变换/量化部103对从减法部102输入的预测误差，通过频率变换计算出变换系数，并通过量化导出量化变换系数。变换/量化部103将量化变换系数输出至参数编码部111和逆量化/逆变换部105。

逆量化/逆变换部105与运动图像解码装置31中的逆量化/逆变换部311(图7)相同，在此省略其说明。计算出的预测误差输入至加法部106。

参数编码部111具备报头编码部1110、CT信息编码部1111、CU编码部1112(预测模式编码部)。CU编码部1112还具备TU编码部1114。以下，对各模块的概略动作进行说明。

报头编码部1110进行报头信息、分割信息、预测信息、量化变换系数等参数的编码处理。

CT信息编码部1111对QT、MT(BT、TT)分割信息等进行编码。

CU编码部1112对CU信息、预测信息、分割信息等进行编码。

TU编码部1114在TU中包括预测误差的情况下，对QP更新信息和量化预测误差进行编码。

CT信息编码部1111、CU编码部1112将帧间预测参数(predMode、merge_flag、merge_idx、inter_pred_idc、refIdxLX、mvp_LX_idx、mvdLX)、帧内预测参数(intra_luma_mpm_flag、intra_luma_mpm_idx、intra_luma_mpm_reminder、intra_chroma_pred_mode)、量化变换系数等语法要素提供至参数编码部111。

熵编码部104被从参数编码部111输入量化变换系数和编码参数(分割信息、预测参数)。熵编码部104对它们进行熵编码，生成并输出编码流Te。

预测参数推导部120是包括帧间预测参数编码部112、帧内预测参数编码部113的单元，根据从编码参数确定部110输入的参数来推导出帧内预测参数和帧内预测参数。导出的帧内预测参数和帧内预测参数输入至参数编码部111。

(帧间预测参数编码部的构成)

如图23所示，帧间预测参数编码部112构成为包括参数编码控制部1121、帧间预测参数推导部303。帧间预测参数推导部303是与运动图像解码装置共同的构成。参数编码控制部1121包括合并索引推导部11211和矢量候选索引推导部11212。

合并索引推导部11211推导出合并候选等，输出至帧间预测参数推导部303。矢量候选索引推导部11212推导出预测矢量候选等，输出至帧间预测参数推导部303和参数编码部111。

(帧内预测参数编码部113的构成)

如图24所示，帧内预测参数编码部113具备参数编码控制部1131和帧内预测参数推导部304。帧内预测参数推导部304是与运动图像解码装置共同的构成。

参数编码控制部1131推导出IntraPredModeY和IntraPredModeC。进而，参照mpmCandList[]来确定intra_luma_mpm_flag。将这些预测参数输出至帧内预测参数推导部304和参数编码部111。

不过，与运动图像解码装置不同，对帧间预测参数推导部303、帧内预测参数推导部304进行输入的是编码参数确定部110、预测参数存储器108，输出至参数编码部111。

加法部106将从预测图像生成部101输入的预测块的像素值和从逆量化/逆变换部105输入的预测误差按每个像素相加来生成解码图像。加法部106将生成的解码图像存储于参照图片存储器109。

环路滤波器107对加法部106所生成的解码图像，实施去块滤波、SAO、ALF。需要说明的是，环路滤波器107不一定包括上述三种滤波器，例如也可以是仅包括去块滤波器的构成。

预测参数存储器108将编码参数确定部110所生成的预测参数按每个对象图片和CU存储于预定的位置。

参照图片存储器109将环路滤波器107所生成的解码图像按每个对象图片和CU每存储于预定的位置。

编码参数确定部110选择编码参数的多个集合中的一个集合。编码参数是指上述的QT、BT或TT分割信息、预测参数或与它们关联生成的作为编码对象的参数。预测图像生成部101使用这些编码参数来生成预测图像。

编码参数确定部110对多个集合的每一个集合计算出表示信息量的尺寸和编码误差的RD成本值。RD成本值例如是代码量与平方误差乘以系数λ而得到的值之和。编码量是对量化误差和编码参数进行熵编码而得到的编码流Te的信息量。平方误差是在减法部102中计算出的预测误差的平方和。系数λ是大于预先设定的零的实数。编码参数确定部110选择计算出的成本值为最小的编码参数的集合。编码参数确定部110将所确定的编码参数输出至参数编码部111和预测参数推导部120。

需要说明的是，可以通过计算机实现上述的实施方式中的运动图像编码装置11、运动图像解码装置31的一部分，例如，熵解码部301、参数解码部302、环路滤波器305、预测图像生成部308、逆量化/逆变换部311、加法部312、预测参数推导部320、预测图像生成部101、减法部102、变换/量化部103、熵编码部104、逆量化/逆变换部105、环路滤波器107、编码参数确定部110以及预测参数编码部111。在该情况下，可以通过将用于实现该控制功能的程序记录于计算机可读记录介质，使计算机系统读入记录于该记录介质的程序并执行来实现。需要说明的是，在此提到的“计算机系统”是指内置于运动图像编码装置11、运动图像解码装置31中的任一个的计算机系统，采用包括OS、外围设备等硬件的计算机系统。此外，“计算机可读记录介质”是指软盘、磁光盘、ROM、CD-ROM等可移动介质、内置于计算机系统的硬盘等存储装置。而且，“计算机可读记录介质”也可以包括：像经由互联网等网络或电话线路等通信线路来发送程序的情况下的通信线那样短时间内、动态地保存程序的记录介质；以及像作为该情况下的服务器、客户端的计算机系统内部的易失性存储器那样保存程序固定时间的记录介质。此外，上述程序可以是用于实现上述功能的一部分的程序，也可以是能通过与已记录在计算机系统中的程序进行组合来实现上述功能的程序。

此外，也可以将上述的实施方式中的运动图像编码装置11、运动图像解码装置31中的一部分或全部作为LSI(Large Scale Integration：大规模集成电路)等集成电路而实现。运动图像编码装置11、运动图像解码装置31的各功能块可以单独地处理器化，也可以将一部分或全部集成来处理器化。此外，集成电路化的方法并不限于LSI，也可以通过专用电路或通用处理器来实现。此外，在随着半导体技术的进步而出现代替LSI的集成电路化的技术的情况下，也可以使用基于该技术的集成电路。

以上，参照附图对该发明的一个实施方式详细地进行了说明，但具体构成并不限于上述实施方式，在不脱离该发明的主旨的范围内，可以进行各种设计变更等。

〔应用例〕

上述运动图像编码装置11和运动图像解码装置31可以搭载于进行运动图像的发送、接收、记录、再现的各种装置而利用。需要说明的是，运动图像可以是通过摄像机等拍摄的自然运动图像，也可以是通过计算机等生成的人工运动图像(包括CG和GUI)。

首先，参照图2对能将上述的运动图像编码装置11和运动图像解码装置31用于运动图像的发送和接收的情况进行说明。

图2的PROD_A是表示搭载有运动图像编码装置11的发送装置PROD_A的构成的框图。如图2所示，发送装置PROD_A具备：通过对运动图像进行编码而得到编码数据的编码部PROD_A1、通过利用编码部PROD_A1所得到的编码数据对载波进行调制而得到调制信号的调制部PROD_A2以及发送调制部PROD_A2所得到的调制信号的发送部PROD_A3。上述的运动图像编码装置11被用作该编码部PROD_A1。

作为输入至编码部PROD_A1的运动图像的供给源，发送装置PROD_A也可以进一步具备：拍摄运动图像的摄像机PROD_A4、记录有运动图像的记录介质PROD_A5、用于从外部输入运动图像的输入端子PROD_A6以及生成或加工图像的图像处理部A7。在图2中举例示出了发送装置PROD_A具备全部这些的构成，但也可以省略一部分。

需要说明的是，记录介质PROD_A5可以是记录有未被编码的运动图像的介质，也可以是记录有以与传输用的编码方式不同的记录用的编码方式进行编码后的运动图像的介质。在后者的情况下，使按照记录用的编码方式对从记录介质PROD_A5读出的编码数据进行解码的解码部(未图示)介于记录介质PROD_A5与编码部PROD_A1之间为好。

图2的PROD_B是表示搭载有运动图像解码装置31的接收装置PROD_B的构成的框图。如图2所示，接收装置PROD_B具备：接收调制信号的接收部PROD_B1、通过对接收部PROD_B1所接收到的调制信号进行解调而得到编码数据的解调部PROD_B2以及通过对解调部PROD_B2所得到的编码数据进行解码而得到运动图像的解码部PROD_B3。上述的运动图像解码装置31被用作该解码部PROD_B3。

接收装置PROD_B作为解码部PROD_B3所输出的运动图像的供给目的地，也可以进一步具备显示运动图像的显示器PROD_B4、用于记录运动图像的记录介质PROD_B5以及用于将运动图像输出至外部的输出端子PROD_B6。在图2中举例示出了接收装置PROD_B具备全部这些的构成，但也可以省略一部分。

需要说明的是，记录介质PROD_B5可以是用于记录未被编码的运动图像的介质，也可以是以与传输用的编码方式不同的记录用的编码方式编码后的介质。在后者的情况下，使按照记录用的编码方式对从解码部PROD_B3获取到的运动图像进行编码的编码部(未图示)介于解码部PROD_B3与记录介质PROD_B5之间为好。

需要说明的是，传输调制信号的传输介质可以是无线的，也可以是有线的。此外，传输调制信号的传输方案可以是广播(在此，指发送目的地未预先确定的发送方案)，也可以是通信(在此，指发送目的地已预先确定的发送方案)。即，调制信号的传输可以通过无线广播、有线广播、无线通信以及有线通信中的任一个来实现。

例如，地面数字广播的广播站(广播设备等)/接收站(电视接收机等)是通过无线广播收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例。此外，有线电视广播的广播站(广播设备等)/接收站(电视接收机等)是通过有线广播收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例。

此外，使用互联网的VOD(Video On Demand：视频点播)服务、运动图像共享服务等服务器(工作站等)/客户端(电视接收机、个人计算机、智能手机等)是通过通信收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例(通常，在LAN中使用无线或有线的任一个作为传输介质，在WAN中使用有线作为传输介质)。在此，个人计算机包括台式PC、膝上型PC以及平板型PC。此外，智能手机中也包括多功能便携电话终端。

需要说明的是，运动图像共享服务的客户端除了对从服务器下载的编码数据进行解码并显示于显示器的功能以外，还具有对通过摄像机拍摄到的运动图像进行编码并上传至服务器的功能。即，运动图像共享服务的客户端发挥发送装置PROD_A和接收装置PROD_B这两方的功能。

接着，参照图3，对能将上述的运动图像编码装置11和运动图像解码装置31用于运动图像的记录和再现的情况进行说明。

图3的PROD_C是表示搭载有上述的运动图像编码装置11的记录装置PROD_C的构成的框图。如图3所示，记录装置PROD_C具备：通过对运动图像进行编码而得到编码数据的编码部PROD_C1和将编码部PROD_C1所得到的编码数据写入记录介质PROD_M的写入部PROD_C2。上述的运动图像编码装置11被用作该编码部PROD_C1。

需要说明的是，记录介质PROD_M可以是(1)如HDD(Hard Disk Drive：硬盘驱动器)、SSD(Solid State Drive：固态硬盘)等那样内置于记录装置PROD_C的类型的记录介质，也可以是(2)如SD存储卡、USB(Universal Serial Bus：通用串行总线)闪存等那样连接于记录装置PROD_C的类型的记录介质，还可以是(3)如DVD(Digital Versatile Disc：数字通用光盘、注册商标)、BD(Blu-ray Disc：蓝光光盘、注册商标)等那样装填至内置于记录装置PROD_C的驱动装置(未图示)的记录介质。

此外，作为输入至编码部PROD_C1的运动图像的供给源，记录装置PROD_C也可以进一步具备：拍摄运动图像的摄像机PROD_C3、用于从外部输入运动图像的输入端子PROD_C4、用于接收运动图像的接收部PROD_C5以及生成或加工图像的图像处理部PROD_C6。在图3中举例示出了记录装置PROD_C具备全部这些的构成，但也可以省略一部分。

需要说明的是，接收部PROD_C5可以接收未被编码的运动图像，也可以接收以与记录用的编码方式不同的传输用的编码方式编码后的编码数据。在后者的情况下，使对以传输用的编码方式编码后的编码数据进行解码的传输用解码部(未图示)介于接收部PROD_C5与编码部PROD_C1之间为好。

作为这种记录装置PROD_C，例如可举出：DVD记录器、BD记录器、HDD(Hard DiskDrive)记录器等(在该情况下，输入端子PROD_C4或接收部PROD_C5为运动图像的主要的供给源)。此外，便携式摄像机(在该情况下，摄像机PROD_C3为运动图像的主要的供给源)、个人计算机(在该情况下，接收部PROD_C5或图像处理部C6为运动图像的主要的供给源)、智能手机(在该情况下，摄像机PROD_C3或接收部PROD_C5为运动图像的主要的供给源)等也是这种记录装置PROD_C的一个示例。

图3PROD_D是表示搭载有上述的运动图像解码装置31的再现装置PROD_D的构成的框图。如图3所示，再现装置PROD_D具备：读出已写入记录介质PROD_M的编码数据的读出部PROD_D1和通过对读出部PROD_D1所读出的编码数据进行解码而得到运动图像的解码部PROD_D2。上述的运动图像解码装置31被用作该解码部PROD_D2。

需要说明的是，记录介质PROD_M可以是(1)如HDD、SSD等那样内置于再现装置PROD_D的类型的记录介质，也可以是(2)如SD存储卡、USB闪存等那样连接于再现装置PROD_D的类型的记录介质，也可以是(3)如DVD、BD等那样装填至内置于再现装置PROD_D的驱动装置(未图示)的记录介质。

此外，作为解码部PROD_D2所输出的运动图像的供给目的地，再现装置PROD_D也可以进一步具备：显示运动图像的显示器PROD_D3、用于将运动图像输出至外部的输出端子PROD_D4以及发送运动图像的发送部PROD_D5。在图3中举例示出了再现装置PROD_D具备全部这些的构成，但也可以省略一部分。

需要说明的是，发送部PROD_D5可以发送未被编码的运动图像，也可以发送以与记录用的编码方式不同的传输用的编码方式编码后的编码数据。在后者的情况下，使以传输用的编码方式对运动图像进行编码的编码部(未图示)介于解码部PROD_D2与发送部PROD_D5之间为好。

作为这种再现装置PROD_D，例如可列举出DVD播放器、BD播放器、HDD播放器等(在该情况下，连接有电视接收机等的输出端子PROD_D4为运动图像的主要供给目的地)。此外，电视接收机(在该情况下，显示器PROD_D3为运动图像的主要供给目的地)、数字标牌(也称为电子看板、电子公告板等，显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)、台式PC(在该情况下，输出端子PROD_D4或发送部PROD_D5为运动图像的主要供给目的地)、膝上型或平板型PC(在该情况下，显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)、智能手机(在该情况下，显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)等也是这种再现装置PROD_D的一个示例。

(硬件实现以及软件实现)

此外，上述的运动图像解码装置31和运动图像编码装置11的各块可以通过形成于集成电路(IC芯片)上的逻辑电路而以硬件方式实现，也可以利用CPU(Central ProcessingUnit：中央处理器)而以软件方式地实现。

在后者的情况下，上述各装置具备：执行实现各功能的程序的命令的CPU、储存上述程序的ROM(Read Only Memory：只读存储器)、展开上述程序的RAM(Random AccessMemory：随机存取存储器)、以及储存上述程序和各种数据的存储器等存储装置(记录介质)等。然后，本发明的实施方案的目的在于通过以下方式也能达到：将以计算机可读取的方式记录实现前述功能的软件即上述各装置的控制程序的程序代码(执行形式程序、中间代码程序、源程序)的记录介质供给至上述各装置，该计算机(或CPU、MPU)读出记录于记录介质的程序代码并执行。

作为上述记录介质，例如能使用：磁带、盒式磁带等带类；包括软盘(注册商标)/硬盘等磁盘、CD-ROM(Compact Disc Read-Only Memory：光盘只读存储器)/MO盘(Magneto-Optical disc：磁光盘)/MD(Mini Disc：迷你磁光盘)/DVD(Digital Versatile Disc：数字通用光盘，注册商标)/CD-R(CD Recordable：光盘刻录片)/蓝光光盘(Blu-ray Disc：注册商标)等光盘的盘类；IC卡(包括存储卡)/光卡等卡类；掩模ROM/EPROM(ErasableProgrammable Read-Only Memory：可擦可编程只读存储器)/EEPROM(ElectricallyErasableandProgrammableRead-OnlyMemory：电可擦可编程只读存储器)/闪存ROM等半导体存储器类；或者PLD(Programmable logic device：可编程逻辑器件)、FPGA(FieldProgrammable Gate Array：现场可编程门阵列)等逻辑电路类等。

此外，也可以将上述各装置构成为能与通信网络连接，并经由通信网络供给上述程序代码。该通信网络能传输程序代码即可，不被特别限定。例如，可利用互联网、内联网(intranet)、外联网(extranet)、LAN(Local Area Network：局域网)、ISDN(IntegratedServices Digital Network：综合业务数字网)、VAN(Value-Added Network：增值网络)、CATV(Community Antenna television/Cable Television：共用天线电视/有线电视)通信网、虚拟专用网(Virtual Private Network)、电话线路网、移动通信网、卫星通信网等。此外，构成该通信网络的传输介质也是为能传输程序代码的介质即可，不限定于特定的构成或种类。例如，无论在IEEE(Institute of Electrical and Electronic Engineers：电气和电子工程师协会)1394、USB、电力线输送、有线TV线路、电话线、ADSL(AsymmetricDigital Subscriber Line：非对称数字用户线路)线路等有线中，还是在如IrDA(InfraredData Association：红外线数据协会)、遥控器那样的红外线、BlueTooth(注册商标)、IEEE802.11无线、HDR(High Data Rate：高数据速率)、NFC(Near Field Communication：近场通讯)、DLNA(Digital Living Network Alliance：数字生活网络联盟，注册商标)、便携电话网、卫星线路、地面数字广播网等无线中都可利用。需要说明的是，本发明的实施方式即使以通过电子传输来将上述程序代码具体化的嵌入载波的计算机数据信号的形态也能够实现。

本发明的实施方式并不限定于上述的实施方式，能在权利要求所示的范围内进行各种变更。即，将在权利要求所示的范围内经过适当变更的技术方案组合而得到的实施方式也包括在本发明的技术范围内。

产业上的可利用性

本发明的实施方式能优选地应用于对将图像数据编码而得到的编码数据进行解码的运动图像解码装置，以及生成将图像数据编码而得到的编码数据的运动图像编码装置。此外，能优选地应用于由运动图像编码装置生成并被运动图像解码装置参照的编码数据的数据结构。

(关联申请的相互参照)

本申请对2019年12月3日提出申请的日本专利申请：日本特愿2019-218449主张优先权的利益，并通过对其进行参照而将其全部内容包括到本说明书中。

附图标记说明

31 图像解码装置

301 熵解码部

302 参数解码部

303 帧间预测参数推导部

304 帧内预测参数推导部

305、107 环路滤波器

306、109 参照图片存储器

307、108 预测参数存储器

308、101 预测图像生成部

309 帧间预测图像生成部

310 帧内预测图像生成部

311、105 逆量化/逆变换部

312、106 加法部

320 预测参数推导部

11 图像编码装置

102 减法部

103 变换/量化部

104 熵编码部

110 编码参数确定部

111 参数编码部

112 帧间预测参数编码部

113 帧内预测参数编码部

120 预测参数推导部

Claims

1.一种运动图像解码装置，其特征在于，具备：

加权预测部，(i)对第一标志、第二标志、第三标志以及第四标志进行解码，此处，等于1的所述第一标志表示存在亮度分量的L0预测的第一加权系数，等于0的所述第一标志表示不存在所述第一加权系数，等于1的所述第二标志表示存在所述亮度分量的L1预测的第二加权系数，等于0的所述第二标志表示不存在所述第二加权系数，等于1的所述第三标志表示存在色差分量的L0预测的第三加权系数，等于0的所述第三标志表示不存在所述第三加权系数，等于1的所述第四标志表示存在所述色差分量的L1预测的第四加权系数，等于0的所述第四标志表示不存在所述第四加权系数；(ii)基于所述第一标志导出所述第一加权系数，基于所述第二标志导出所述第二加权系数，基于所述第三标志导出所述第三加权系数，基于所述第四标志导出所述第四加权系数；

预测参数推导部，进行解码器侧运动矢量修正DMVR处理，所述DMVR处理用于使用对象CU的两个参照图像来输出修正后的运动矢量；以及

预测图像生成部，进行运动补偿和加权预测，生成帧间预测图像，

所述预测参数推导部在所述第一标志的值为0且所述第二标志的值为0，并且所述第三标志的值为0且所述第四标志的值为0的情况下，将表示是否进行所述DMVR处理的第五标志设定为1，且在所述第五标志为1的情况下进行所述DMVR处理，

所述预测图像生成部使用所述修正后的运动矢量进行所述运动补偿，使用所述第一加权系数、所述第二加权系数、所述第三加权系数及所述第四加权系数进行所述加权预测。