CN105122796B - 三维或多视图编码及解码系统中照度补偿的方法 - Google Patents

Abstract

本发明揭露了一种三维或多视图编码及解码的照度补偿方法。所述方法仅当照度补偿被启用，且当前编码单元是由一个2Nx2N预测单元来处理时，并入一照度补偿旗标。根据所述照度补偿旗标，所述照度补偿被应用于所述当前编码单元。在当前编码单元在合并模式被编码时，照度补偿旗标被并入，而不用检查当前参考图片是否为视图间参考图片。

Description

三维或多视图编码及解码系统中照度补偿的方法

【交叉引用】

本发明主张申请于2013年4月12日，序列号为PCT/CN2013/074136，标题为“Removal of Parsing Dependency for Illumination Compensation”的PCT专利申请的优先权。将此PCT专利申请以参考的方式并入本文中。

【技术领域】

本发明涉及视频编码。特别涉及三维或多视图编码及解码系统中照度补偿的方法。

【背景技术】

三维(Three-dimensional，以下简称为3D)电视技术是近年来的技术发展趋势，其试图给观看者带来轰动的观看体验(viewing experience)。多视图视频是一种用来捕获并呈现3D视频的技术。多视图视频通常是通过由多个相机同时捕获一个场景来创建，其中，多个相机被合适地定位以使每个相机从一个视角(viewpoint)来捕获该场景。具有大量与视图相关联的视频序列的多视图视频表示了巨量的数据(massive amount data)。因此，多视图视频需要大量的存储空间来存储和/或需要高的带宽来传送。因此，在本领域中，多视图视频编码技术被开发出来以减少所需要的存储空间以及传送带宽。一个直接方法可以简单地应用于现有的视频编码技术，使每个单个视图视频序列独立且忽视不同视图中的任何关联。这样的直接的技术将导致低下的编码性能。

为了提高多视图视频编码效率，多视图视频编码总是利用视图间冗余。两个视图之间的视差是由两个相关相机的位置以及角度而导致。因为所有相机是从不同的视角捕获相同的场景，所以多视图视频数据包括大量视图间冗余。利用视图间冗余，使用视差向量(disparity vector，DV)的编码工具已经被开发以用于3D高效视频编码(High EfficiencyVideo Coding，HEVC)以及3D先进视频编码(Advanced Video Coding)。例如，DV被用作先进运动向量预测(Advanced Motion Vector Prediction,AMVP)以及合并模式中的时间视图间运动向量候选(temporal inter-view motion vector candidate，TIVC)。DV也可被用作AMVP以及合并模式中视差视图间运动向量候选(disparity inter-view motion vectorcandidate，DIVC)。此外，DV被用于视图间残差预测(inter-view residual prediction，IVRP)以及视图合成预测(view synthesis prediction，VSP)。

此外，照度补偿(Illumination Compensation，IC)是一种减少由不同相机于不同位置捕获的两个视图的不同光线区域而导致的光强度(intensity)差值的技术。于HTM中，Liu等人所写的论文(“3D-CE2.h:Results of Illumination Compensation for Inter-View Prediction”,Joint Collaborative Team on 3D Video Coding ExtensionDevelopment of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC29/WG 11,2nd Meeting:Shanghai,CN,13–19Oct.2012,Document:JCT3V-B0045)中揭露了一种线性IC模型，用来补偿不同视图中的照度差异。IC模型中的参数被估计以用于每个预测单元(PredictionUnit，PU)，其中，每个PU使用可用的最近重建相邻像素。因此，不需要将IC参数传送到解码器。是否应用IC是在编码单元(coding unit，CU)等级决定，且IC旗标被编码以指示于此CU等级下IC是否被启用。旗标仅存在于使用视图间预测来编码的CU。如果用于CU的IC被启用，且CU中的PU通过时间预测(即，帧间预测)被编码，则PU块被认为是具有IC禁用。用于视图间预测的线性IC模型如等式(1)所示：

p(i,j)＝a_IC·r(i+dv_x,j+dv_y)+b_IC where(i,j)∈PU_c (1)

其中，PU_c是当前PU，(i，j)为PU_c中的像素坐标，(dv_x，dv_y)为PU_c的视差向量，p(i，j)PU_c的预测，r(·，·)来自相邻视图的PU的参考图片，且a_IC以及b_IC为线性IC模型的参数。

此外，为了提供切片级(slice-level)的自适应IC，编码器可以决定是否将IC应用于当前图片，并传送该决定到解码器。一个1比特的旗标可以被编码到第一切片的切片标头中，以指示是否IC被启用以用于图片中的第一切片以及其后续切片。用于IC决定的决定过程的示例如下所示。

1)形成当前图片以及视图间参考原始图片的像素光强度柱状图。

2)计算两个柱状图之间的SAD。

3)如果SAD超过阈值，IC旗标被设置为1；

4)否则，IC旗标被设置为0。

当前以及视图间参考图片的每个颜色的像素光强度分布是由柱状图来表示，且两个分布的相似性是通过两个柱状图的绝对差和(Sum of Absolute Differences，SAD)来测量。接着，将SAD与阈值相比较以确定是否对当前图片启用IC。阈值可以根据从待编码图片(underlying picture)或测试图片中收集的图片特性来确定。当IC被禁用于图片时，编码器不需要确定是否对当前图片的CU提供IC。在此情况下，不需要向解码器传送CU等级旗标。因此，在编码器侧以及解码器侧，都可以避免不必要的IC决定。

虽然IC可以提供显著的编码增益，但是根据当前基于HEVC的测试模型(HEVC-based Test Model，HTM)，IC会导致解析依赖(parsing dependency)问题。根据现存的HTM，IC旗标仅被使用于(signalled)图片间CU(inter CU)，其中，视图间预测被使用。解析器必须检查是否视图间参考数据被使用。如果视图间参考数据被使用，解析器将解析用于当前CU的IC旗标。因此，如果参考列表仅包含视图间参考图片，则IC旗标总是需要被解析。另一方面，如果参考列表仅包含跨时间参考图片，则IC旗标从来不需要被解析。在这两种情形下是没有解析依赖的。

当参考列表包括视图间以及跨时间(即，时间)参考图片时，可能会出现解析问题。如果当前CU中的所有PU都是以非合并模式(例如，AMVP模式)被编码，因为所有被使用的参考图片是通过用于非合并模式的参考索引(reference indices)来显式地表示,所以不会有解析依赖，其中AMVP模式为先进运动向量预测(Advanced Motion vector Prediction)模式。然而，根据现存的HTM，用于使用合并模式编码的PU的参考图片不是显式地表示。可替代的，参考索引(reference index)是由所选择的合并候选中导出。由于合并候选列表结构中的修剪过程(pruning process)，所导出的参考图片可取决于其相邻块的运动向量(motion vector，MV)。因为相邻块的MV来自于对应图片(collocated picture)，所导出的参考图片可间接地取决于对应图片。如果对应图片损坏(例如，由于传送错误)，则IC旗标的解析问题可能会发生。

图1A以及图1B为由于间接解析依赖而发生解析问题的示例的示意图。在此示例中，参考图片Ref 0以及参考图片Ref 1分别为跨时间(inter-time)以及视图间参考图片。当前CU被编码为2Nx2N合并模式，且所选择的合并候选是由合并索引1来指示。在此示例中，与前三个候选相关联的参考索引为0、0、以及1。由前两个候选中导出的MV被表示为MVa以及MVb，如图1A所示的示例中，MVa以及MVb是相等的，即，MVa＝MVb。此外，MVb是由时间运动向量预测(Temporal Motion Vector Prediction，TMVP)从对应图片中获取。在合并候选修剪过程中，因为第二可能候选与第一可能候选相等，第二可能候选将从候选列表中移除。此过程将导致如图1B所示的候选列表110。因此，合并索引1指的是具有视图间参考的第三原始候选(于第二候选被移除之前)。其结果是，如果对应图片在解码器中被正确地接收，则IC旗标需要被解析以用于此CU。然而，如果对应图片被损坏(例如，由于传送错误)，与相邻块相关联的候选MVb可能会被错误解码。这将会导致MVa！＝MVb，且在此情况下，第二候选将不会从候选列表中移除。这就会导致如图1B所示的候选列表120。因此，合并索引1将指向此候选列表中的第二可能候选，第二可能候选是一个跨时间参考。因此，根据现存的HTM，IC旗标不会被解析以用于此CU，且会出现解析问题。

因此，希望能开发出容错照度补偿(error-resilient illuminationcompensation)，其中，相应的语法解析能更好地应对错误。此外，所期望的是这样的容错照度补偿将不会对系统性能有任何明显的影响。

【发明内容】

本发明揭露了一种用于三维以及多视图编码以及解码的容错照度补偿的方法。本发明移除非直接解析依赖以增强照度补偿的容错性。于本发明的实施例中，只有当照度补偿被启用且当前编码单元由一个2Nx2N预测单元来处理时，才会将照度补偿旗标用于当前编码单元。如果当前编码单元是由具有其他大小的多个预测单元来处理，则照度补偿旗标不会被用于当前编码单元。照度补偿是根据照度补偿旗标应用到当前编码单元。如果用于当前编码单元的参考列表仅包括视图间参考图片，则当照度补偿被启用时，用于当前编码单元的照度补偿旗标总是会被并入到比特流(bitstream)中。如果用于当前编码单元的参考列表仅包含跨时间参考图片，照度补偿对当前编码单元是禁用的。

如果用于当前编码单元的照度补偿旗标被并入到对应于当前编码单元是由一个2Nx2N预测单元来编码的情形的比特流，则于非合并模式，在当前编码单元是由具有其它大小的多个预测单元来处理的情形下，照度补偿是被禁用的。如果用于当前编码单元的照度补偿旗标并入到比特流对应于当前编码单元是由一个2Nx2N预测单元来编码的情形，则于合并模式，在当前编码单元是由一个预测单元来处理的情形下，照度补偿旗标是由所选择的合并候选导出。为了允许对应于时间合并候选的所选择的合并候选的照度补偿旗标被已合并编码单元使用，由时间合并候选所表示对应图片的照度补偿旗标被储存以作为其它运动信息。如果由时间合并候选所表示的对应图片的照度补偿旗标是不可用的，则于合并模式，照度补偿将不会被应用于预测单元。

在本发明的另一实施例中，当前编码单元于合并模式或非合并模式中被编码，并且如果当前编码单元于合并模式中被编码，则不需要检查当前参考图片，照度补偿旗标就会被并入到用于当前编码单元的比特流。如果当前编码单元于非合并模式中被编码，则只有在当前参考图片是视图间参考图片时，照度补偿旗标被并入到用于当前编码单元的比特流。在当前编码单元于合并模式中被编码时，对应解码器总是解析用于当前编码单元的照度补偿旗标。

【附图说明】

图1A至图1B示出了由于候选列表中的错误，候选索引错误指向跨时间参考图片而不是指向视图间参考图片的解析问题的示例。

图2为根据本发明的实施例示出的具有解析依赖移除的3D编码系统的示范性流程图。

图3为根据本发明的实施例示出的具有解析依赖移除的3D解码系统的示范性流程图。

【具体实施方式】

如上所述，根据现存的3D编码，与照度补偿(Illumination Compensation，IC)相关联的解析问题可能会出现。此解析问题是由于非直接解析依赖出现的。当错误出现导致了候选列表中的错误合并候选时，会导致与照度补偿相关联的语法解析错误。因此，本发明通过移除与照度补偿相关联的非直接解析依赖克服了语法解析问题。

根据本发明，对于参考列表中具有视图间以及跨时间的切片，或视图间以及跨时间参考图片，且IC于切片等级被启用的情形，本发明的一个实施例包括以下两个修改。

1.IC旗标仅在具有2Nx2N PU的CU时使用。换句话说，该情形对应于一个CU被作为单个预测单元处理，而没有进一步的分区。对于对应于具有其它大小的多个PU(例如，2NxN，Nx2N以及NxN)的CU，IC被禁用。

2.对于合并模式中具有PU的CU，IC旗标是以与其它运动信息类似的方式从所选择的合并候选中导出。

根据以上实施例，因为IC旗标不会用于具有多个编码于合并模式中的PU的CU，所以解析依赖被完全地移除。

为了使以上实施例更便利，对应图片的IC旗标必须被储存为其它运动信息，因为IC旗标可能必须从时间合并候选中被导出。此外，对应图片中的IC旗标可以以压缩的形式被储存。

如果对应图片的IC旗标没有储存，用于从时间合并候选合并的具有PU的CU的IC将被关闭，因为IC旗标不能从时间合并候选共享。

当IC被允许用于已编码的切片或以编码的图片，下文的方法还可被应用于所有被编码的切片或图片中的CU，以移除由IC导致的解析依赖。

1.如果参考列表包含视图间以及跨时间参考图片，IC旗标仅用于具有一个或多个编码于非合并模式的PU的图片间CU。对于所有PU都编码于合并模式中的图片间CU，IC是关闭的。

2.如果参考列表包含视图间以及跨时间参考图片，IC旗标仅使用于具有一个或多个编码于非合并模式的PU的图片间CU。对于所有PU都编码于合并模式中的图片间CU，IC旗标是以与其它运动信息类似的方式从所选择的合并候选中导出。

3.在当前CU的一个或多个PU于合并模式被编码时，IC旗标总是被使用。如果当前CU于非合并模式(AMVP模式)中被编码，IC旗标只在当前参考图片是视图间参考图片时被使用。如果当前参考图片不是视图间参考图片(即，跨时间参考图片)，IC旗标不会被用于以非合并模式编码的当前CU。

4.对于所有CU，IC旗标总是被使用。然而，IC仅对使用视图间预测的CU生效。

5.对于所有CU，IC旗标总是被使用，且IC对使用视图间预测的CU以及使用跨时间预测的CU生效。

6.对于所有CU，IC旗标总是被使用，以及IC对使用视图间，跨时间预测或视图合成预测编码的CU生效。

7.对于所有非帧内编码CU(non-intra CU)，IC旗标总是被使用。然而，IC仅对使用视图间预测编码的CU生效。

8.对于所有非帧内编码CU，IC旗标总是被使用，且IC对使用视图间预测的CU以及使用跨时间预测的CU生效。

9.对于所有非帧内编码CU，IC旗标总是被使用，且IC对使用视图间，跨时间预测以及视图合成预测的CU生效。

为了减少与用于传输CU等级的IC旗标的负荷相关联的比特率，根据本发明的实施例，可以并入下文方案中的一个或多个以适应性地启用/禁用用于每个切片或图片的IC。

1.如果当前图片/切片是随机访问点(random access point，RAP)图片/切片，则IC旗标被设置为1；否则IC旗标被设置为0。

2.确定当前图片与参考图片之间的图片顺序计数(picture order count，POC)的差值。如果所有参考图片的绝对POC差值大于阈值，则IC旗标被设置为1；否则，IC旗标被设置为0。

3.计算当前图片以及视图间参考图片的色彩分量的两个强度柱状图之间的绝对差和(sum of absolute differences，SAD)。而且，确定当前图片与参考图片之间的POC的差值。如果SAD大于第一阈值，且用于所有参考图片的绝对POC差值大于第二阈值，则IC旗标被设置为1；否则，IC旗标被设置为0。

以上揭露的为IC移除解析依赖的实施例可以应用于彩色视频系统的任何色彩分量，例如，亮度以及色度分量。

根据本发明实施例的通过移除解析依赖来具有容错照度补偿的3D或多视视频编码系统的性能，与传统基于HTM-6.0的系统相比较。于表1中，根据本发明实施例，只有当编码单元被编码以作为一个2Nx2N预测单元时，才将照度补偿旗标用于编码单元，照度补偿被启用，且参考列表包括视图间以及跨时间参考图片。如果参考列表仅包含视图间参考图片，如同基于HTM-6.0的系统，照度补偿旗标总是被用于所有编码单元。如果参考列表仅包含跨时间参考图片，则照度补偿被禁用，且不需要将照度补偿旗标用于编码单元。性能比较是基于第一列中所列出的不同组的测试数据。系统配置是在普通的测试条件下。如表1所示，用于视图1以及视图2的BD率(BD-rate)增加了约0.1％，且几乎没有整体的编码效率损耗。换句话说，根据以上实施例，容错照度补偿的性能影响是很小的。

表1

于表2中，另一实施例与基于HTM 6.0的系统的性能做比较，其中，此实施例包含了用于所有非帧内编码编码单元的照度补偿旗标。如上所述，为了减少与用于所有非帧内编码编码单元的照度补偿旗标相关联的比特率，图片等级控制被应用，其中，仅当SAD大于第一阈值，且所有绝对POC差值大于第二阈值时，切片等级的照度补偿被启用。如表2所示，用于视图1以及视图2的BD率分别增加了约0.3％以及0.5％。

表2

图2为根据本发明的实施例示出的具有解析依赖移除的3D/多视图编码系统的示范性流程图。如步骤210所示，系统接收当前块，例如，附属视图中纹理图片的当前CU。当前块可以从存储器(例如，计算机存储器，缓冲器(RAM或DRAM)或其它媒体)中取回，或从处理器中接收。如步骤220所示，如果用于当前编码单元的参考列表中包含视图间以及跨时间参考图片，只有当照度补偿被启用，且当前编码单元由一个2Nx2N预测单元来处理时，用于当前编码单元的照度补偿旗标被并入比特流中。如果当前编码单元是由具有其它大小的多个预测单元来处理，则照度补偿旗标不会被并入比特流中。如步骤230所示，当照度补偿被启用，接下来根据照度补偿旗标对当前编码单元执行照度补偿。

图3为根据本发明的实施例示出的具有解析依赖移除的3D/多视图解码系统的示范性流程图。如步骤310所示，系统从比特流中接收与附属视图的纹理图片的当前编码单元相关联的已编码数据。已编码数据可以从存储器(例如，计算机存储器，缓冲器(RAM或DRAM)或其它媒体)中取回或从处理器中接收。如步骤320所示，重建当前编码单元以产生重建的当前编码单元。如步骤330所示，只有当照度补偿被启用，且当前编码单元由一个2Nx2N预测单元来处理时，来自比特流的用于当前编码单元的照度补偿旗标被解析。在当前编码单元是由具有其它大小的多个预测单元来处理时，来自比特流的照度补偿旗标不会被解析。如步骤340所示，当照度补偿被启用时，根据照度补偿旗标被对重建的当前编码单元执行照度补偿。

根据本发明的实施例，以上所示的流程图旨在说明具有解析依赖移除的3D/多视图编码的示例。本领域技术人员可以在不脱离本发明的精神实质的情况下修改每个步骤，重新排列所述步骤，分割步骤，或合并步骤来实施本发明。

以上描述可使本领域的普通技术人员如特定应用及其要求的上下文提供的来实践本发明。对本领域技术人员来说，对所描述的实施例的各种修改是显而易见的，且本文定义的一般原理可被应用于其它实施例。因此，本发明并非意在限定于以上所示及所描述的特定实施例，而是要符合与此公开揭露的原理和新颖特征相一致的最宽范围。在以上详细描述中，各种具体细节被示出以便提供本发明的彻底理解。然而，本领域技术人员应知晓本发明是可被实践的。

如上所述，本发明的实施例可以由各种硬件，软件代码，或两者的组合来实现。例如，本发明的实施例可以是被集成到视频压缩芯片电路，或被集成于视频压缩软件的程序代码以执行本文所描述的处理过程。本发明的实施例还可以是执行于数字信号处理器上的程序代码，以执行本文所描述的处理过程。本发明还可包含由计算机处理器，数字信号处理器，微处理器，或现场可编程门阵列执行的多个功能。根据本发明，通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码，这些处理器可被配置为执行特定任务。软件代码或固件代码可被开发为不同的编程语言以及不同的格式或风格。软件代码还可被编译以用于不同的目标平台。然而，根据本发明的不同的软件代码的代码格式、风格及语言，以及用于配置代码以执行任务的其他方式，均不会背离本发明的精神以及范围。

在不脱离其精神或本质特征的情况下，本发明可以其它特定形式来体现。所描述的示例在所考虑的所有的方面都只是说明性的而不是限制性的。因此，本发明的范围是由其所附的权利要求来指示的，而不是由上文的描述来指示的。在权利要求的等效范围及含义内的所有改变均包含于本发明范围之内。

Claims (11)

1.一种三维或多视图解码系统中照度补偿的方法，其特征在于，所述方法包括：

从比特流中接收与附属视图中纹理图片的当前编码单元相关联的已编码数据；

重建所述当前编码单元以产生重建的当前编码单元；

仅当所述照度补偿被启用，且所述当前编码单元为非帧内编码模式且所述当前编码单元是由一个2Nx2N预测单元来处理时，解析来自所述比特流的用于所述当前编码单元的照度补偿旗标，其中，当所述当前编码单元由具有其它大小的多个预测单元来处理时，用于所述当前编码单元的所述照度补偿旗标不被解析；以及

当所述照度补偿被启用时，根据所述照度补偿旗标将所述照度补偿应用于所述重建的当前编码单元。

2.如权利要求1所述的三维或多视图解码系统中照度补偿的方法，其特征在于，还包括：如果用于所述当前编码单元的参考列表仅包含视图间参考图片，当所述照度补偿被启用时，总是解析来自所述比特流的用于所述当前编码单元的所述照度补偿旗标。

3.如权利要求1所述的三维或多视图解码系统中照度补偿的方法，其特征在于，如果用于所述当前编码单元的参考列表仅包含跨时间参考图片，用于所述当前编码单元的所述照度补偿被禁用。

4.如权利要求1所述的三维或多视图解码系统中照度补偿的方法，其特征在于，如果并入到所述比特流的所述照度补偿旗标对应于所述当前编码单元是由所述的一个2Nx2N预测单元来编码的情形，则用于所述当前编码单元是由合并模式中的一个预测单元来处理的另一情形的所述照度补偿旗标是从所选择的合并候选中导出。

5.如权利要求4所述的三维或多视图解码系统中照度补偿的方法，其特征在于，所述所选择的合并候选对应于时间合并候选，且由所述时间合并候选参考的对应图片的所述照度补偿旗标被储存以作为其它运动信息。

6.如权利要求4所述的三维或多视图解码系统中照度补偿的方法，其特征在于，所述所选择的合并候选对应于时间合并候选，且由所述时间合并候选参考的对应图片的所述照度补偿旗标是不可用的，所述照度补偿不被应用于所述合并模式的所述一个预测单元。

7.一种三维或多视图编码系统中照度补偿的方法，其特征在于，所述方法包括：

接收附属视图的纹理图片的当前编码单元；

仅当所述照度补偿被启用，且所述当前编码单元为非帧内编码模式且所述当前编码单元由一个2Nx2N预测单元来处理时，将用于所述当前编码单元的照度补偿旗标并入到比特流，其中，当所述当前编码单元是由具有其它大小的多个预测单元来处理时，所述照度补偿旗标不会被并入以用于所述当前编码单元；以及

当所述照度补偿被启用，根据所述照度补偿旗标将所述照度补偿应用于所述当前编码单元。

8.如权利要求7所述的三维或多视图编码系统中照度补偿的方法，其特征在于，还包括：如果用于所述当前编码单元的参考列表仅包含视图间参考图片，当所述照度补偿被启用时，总是将用于所述当前编码单元的所述照度补偿旗标并入所述比特流。

9.如权利要求7所述的三维或多视图编码系统中照度补偿的方法，其特征在于，还包括，如果用于所述当前编码单元的参考列表仅包含跨时间参考图片，则对所述当前编码单元禁用所述照度补偿。

10.如权利要求7所述的三维或多视图编码系统中照度补偿的方法，其特征在于，如果所述照度补偿旗标并入到对应于所述当前编码单元是由非合并模式的所述一个或多个预测单元来编码的情形的所述比特流，则对于所述当前编码单元是由合并模式中多个预测单元来处理的另一情形，所述照度补偿被禁用。

11.如权利要求7所述的三维或多视图编码系统中照度补偿的方法，其特征在于，如果并入到所述比特流的所述照度补偿旗标对应于所述当前编码单元是由非合并模式的所述一个或多个预测单元来编码的情形，则用于所述当前编码单元是由合并模式的一个预测单元来处理的另一情形的所述照度补偿旗标是从所选择的合并候选中导出。