CN114556432A - 处理点云 - Google Patents

Abstract

至少一个实施例涉及用于对具有与点局部重构信息和模式相关联的不同层的3D点云进行编码、发信号通知和解码的方法。层可以与其自己的信息和模式相关联，或者相关联的元数据可以包括对与不同层相关地编码或解码的信息或模式的索引。

Description

处理点云

技术领域

本实施例中的至少一个一般而言涉及点云的处理。

背景技术

本节旨在向读者介绍本领域的各个方面，这些方面可以与下面描述和/或要求保护的本实施例中的至少一个的各个方面有关。该讨论被认为有助于向读者提供背景信息以促进对至少一个实施例的各个方面的更好理解。

点云可以被用于各种目的，诸如文化遗产/建筑物，其中以3D方式扫描如雕像或建筑物之类的物体，以便在不发送或访问物体的情况下共享物体的空间配置。而且，它是确保在物体可能被破坏的情况下保存物体的知识的方法；例如，被地震破坏的寺庙。此类点云通常是静态的、彩色的和巨大的。

另一个用例是在拓扑学和制图学中，其中使用3D表示允许地图不限于平面并且可以包括地貌。谷歌地图现在是3D地图的良好示例，但其使用网格而不是点云。不过，点云可以是3D地图的合适数据格式，并且此类点云通常是静态的、彩色的且巨大的。

汽车行业和自主汽车也是可以在其中使用点云的领域。自主汽车应当能够“探测”它们的环境，以基于其近邻的现实情况做出良好的驾驶决策。像LIDAR(Light DetectionAnd Ranging，光检测和测距)这样的典型传感器产生由决策引擎使用的动态点云。这些点云不打算供人类查看，它们通常小，不一定有颜色，并且是具有高捕获频率的动态性。这些点云可以具有其它属性，如LIDAR提供的反射率，因为这个属性提供有关感测到的物体的材料的良好信息，并可以有助于做出决策。

虚拟现实和沉浸式世界最近成为热门话题，并被许多人预见为2D平面视频的未来。与观看者只能看到观看者面前的虚拟世界的标准TV相比，其基本思想是让观看者沉浸在围绕着观看者的环境中。根据观看者在环境中的自由度，沉浸感有几个层次。点云是用于分发虚拟现实(VR)世界的良好格式候选。

在许多应用中，通过仅消耗合理数量的位速率(或用于存储应用的存储空间)同时维持可接受的(或优选地非常好的)体验质量，能够向最终用户分发动态点云(或将它们存储在服务器中)是重要的。这些动态点云的高效压缩是使许多沉浸式世界的分发链实用的关键点。

考虑到上述情况已设计了至少一个实施例。

发明内容

下面给出了本实施例中的至少一个的简化概要，以便提供对本公开的一些方面的基本理解。该概要不是对实施例的广泛概述。不旨在识别实施例的关键或至关重要的元素。以下概要仅以简化形式呈现本实施例中的至少一个的一些方面，作为文件中其它地方提供的更详细描述的前言。

根据至少一个实施例的一般方面，提供了一种方法，包括从数据流中解码第一分层图像和相关联的第一元数据。元数据包括指示是否要根据点局部重构方法对第一分层图像进行解码的第一标志。如果第一标志被启用，那么该方法还包括在所述第一元数据中检索第一点局部重构信息和第一点局部重构模式；并且根据所述第一点局部重构信息将所述第一点局部重构模式应用于所述第一分层图像以重构所述3D点云。

根据其它方面，如果在当前层的元数据中指示允许从与另一层相关联的元数据中检索这些数据的索引，那么可以在元数据中省略点局部重构信息和/或模式。

根据另一方面，提供了第二种方法。该方法包括对数据流中的第一分层图像和相关联的第一元数据进行编码。元数据包括：

-第一标志，指示是否根据点局部重构方法对第一分层图像进行解码；

以及

-如果第一标志被启用，那么第一点局部重构信息和第一点局部重构模式。

根据第二方法的其它方面，如果在当前层的元数据中指示允许从与另一层相关联的元数据中检索这些数据的索引，那么可以在元数据中省略点局部重构信息和/或模式。

根据另一方面，提供了一种装置。该装置包括处理器。处理器可以被配置为通过执行上面提到的任一方法对3D点云进行编码或解码。

根据至少一个实施例的另一个一般方面，提供了一种信号，该信号包括根据任何所描述的编码实施例或变体生成的数据。

根据至少一个实施例的另一个一般方面，位流被格式化为包括根据任何所描述的编码实施例或变体生成的数据内容。

根据至少一个实施例的另一个一般方面，提供了一种计算机程序产品，该计算机程序产品包括指令，指令在由计算机执行时使计算机执行任何所描述的解码实施例或变体。

通过下面结合附图对示例性实施例的详细描述，一般方面的这些和其它方面、特征和优点将变得显而易见。

附图说明

在附图中，图示了几个实施例的示例。附图示出：

图1图示了根据本实施例中的至少一个的基于两层的点云编码结构的示例的示意性框图；

图2图示了根据本实施例中的至少一个的基于两层的点云解码结构的示例的示意性框图；

图3图示了根据本实施例中的至少一个的基于图像的点云编码器的示例的示意性框图；

图3a图示了包括2个补丁及其2D界定方框的画布的示例；

图4图示了根据本实施例中的至少一个的基于图像的点云解码器的示例的示意性框图；

图5示意性地图示了根据本实施例中的至少一个的代表基础层BL的位流的语法的示例；

图6图示了其中实现各个方面和实施例的系统的示例的示意性框图；

图7图解地示出了根据本原理对3D点云进行解码的方法700；

图8图解地示出了根据本原理对3D点云进行编码的方法800。

具体实施方式

下文将参考附图更全面地描述本实施例中的至少一个，其中示出了本实施例中的至少一个的示例。但是，实施例可以以许多替代形式来实施并且不应当被解释为限于本文阐述的示例。因而，应当理解的是，无意将实施例限制于所公开的特定形式。相反，本公开旨在覆盖落入本申请的精神和范围内的所有修改、等同物和替代方案。

当附图以流程图的形式呈现时，应当理解的是，它还提供了对应装置的框图。类似地，当附图以框图的形式呈现时，应当理解的是，它还提供对应方法/过程的流程图。

附图中相似或相同的元素用相同的附图标记引用。

一些图表示在V-PCC中广泛使用的语法表，用于定义符合V-PCC的位流的结构。在那些语法表中，项“……”表示相对于V-PCC中给出的原始定义的语法的未改变部分，并在图中被移除以促进阅读。图中指示项的值的粗体项是通过解析位流获得的。语法表的右列指示用于对语法元素的数据进行编码的位数。例如，u(4)指示4位被用于对数据进行编码，u(8)指示8位，ae(v)指示上下文自适应算术熵编解码语法元素。

下面描述和设想的方面可以以许多不同的形式实现。下面的图1-15提供了一些实施例，但是设想其它实施例，并且图1-15的讨论不限制实施方式的广度。

这些方面中的至少一个一般而言涉及点云编码和解码，并且至少一个其它方面一般而言涉及传输生成或编码的位流。

更精确地说，本文描述的各种方法和其它方面可以被用于修改模块，例如，与元数据编码相关的模块(诸如发生在图3的补丁信息编码器3700中的模块)，以及与元数据解码相关的模块(诸如发生在图4的补丁信息解码器4400中或发生在图4的几何形状生成模块4500中的重构过程中的模块)。

而且，本方面不限于诸如与点云压缩相关的MPEG-I第5部分之类的MPEG标准，并且可以应用于例如其它标准和推荐，无论是预先存在的还是未来开发的，以及任何此类标准和推荐的扩展(包括MPEG-I第5部分)。除非另有指示，或技术上排除，否则本申请中描述的方面可以被单独或组合使用。

在下文中，图像数据是指数据，例如，特定图像/视频格式的2D样本的一个或几个阵列。特定图像/视频格式可以指定与图像(或视频)的像素值相关的信息。特定图像/视频格式还可以指定可以由显示器和/或任何其它装置用于例如可视化和/或解码图像(或视频)的信息。图像通常包括第一分量，其形状为样本的第一2D阵列，通常代表图像的亮度(luminance或luma)。图像还可以包括第二分量和第三分量，其形状是样本的其它2D阵列，通常代表图像的色度(chrominance或chroma)。一些实施例使用颜色样本的2D阵列的集合来表示相同的信息，诸如传统的三色RGB表示。

在一个或多个实施例中，像素值由C个值的矢量表示，其中C是分量的数量。矢量的每个值通常用多个位表示，这些位可以定义像素值的动态范围。

图像块是指属于图像的像素的集合。图像块的像素值(或图像块数据)是指属于这个图像块的像素的值。图像块可以具有任意形状，但是矩形是常见的。

点云可以由3D体积空间内的3D样本的数据集表示，该数据集具有独特的坐标并且还可以具有一个或多个属性。

这个数据集的3D样本可以由其空间位置(3D空间中的X、Y和Z坐标)以及可能由一个或多个相关联属性(例如，在RGB或YUV颜色空间中表示的颜色、透明度、反射率、双分量法矢量或表示这个样本的特征的任何特征)定义。例如，3D样本可以由6个分量((X,Y,Z,R,G,B)或等效的(X,Y,Z,y,U,V)定义，其中(X,Y,Z)定义3D空间中点的坐标并且(R,G,B)或(y,U,V)定义这个3D样本的颜色。相同类型的属性可以呈现多次。例如，多个颜色属性可以从不同的视角提供颜色信息。

点云可以是静态的或者动态的，这取决于云是否随时间改变。静态点云或动态点云的实例通常被表示为点云帧。应当注意的是，在动态点云的情况下，点的数量一般不是恒定的，而是相反，一般随时间改变。更一般地，如果任何事物随时间改变，诸如例如点的数量、一个或多个点的位置或任何点的任何属性，那么点云可以被认为是动态的。

作为示例，2D样本可以由6个分量(u,v,Z,R,G,B)或等价的(u,v,Z,y,U,V)定义。(u,v)定义2D样本在投影平面的2D空间中的坐标。Z是投影到这个投影平面上的3D样本的深度值。(R,G,B)或(y,U,V)定义这个3D样本的颜色。

根据本原理，标志是在数据流中编码的指示条件是否被启用的信息。例如，标志是指示在编码或解码数据流时处理器是否必须执行动作的信息。在另一个示例中，标志是指示数据流中的位序列是否遵守给定语法的信息。标志也可以是指示第二信息是否被编码在数据流中的第一信息。当条件被遵守时，标志被称为启用。可以通过数据流中的不同方式和/或位序列对标志进行编码。

图1图示了根据本实施例中的至少一个的基于两层的点云编码结构1000的示例的示意性框图。

基于两层的点云编码结构1000可以提供代表输入点云帧IPCF的位流B。可能地，所述输入点云帧IPCF表示动态点云的帧。然后，所述动态点云的帧可以由基于两层的点云编码结构1000独立于另一个帧进行编码。

基本上，基于两层的点云编码结构1000可以提供将位流B结构化为基础层BL和增强层EL的能力。基础层BL可以提供输入点云帧IPCF的有损表示，而增强层EL可以通过对基础层BL未表示的孤立点进行编码来提供更高质量(可能是无损)的表示。

基础层BL可以由如图3中所示的基于图像的编码器3000提供。所述基于图像的编码器3000可以提供表示输入点云帧IPCF的3D样本的几何/属性的几何形状/纹理图像。它可以允许丢弃要被孤立的3D样本。基础层BL可以由如图4中所示的基于图像的解码器4000解码，其可以提供中间重构的点云帧IRPCF。

然后，回到图1中基于两层的点云编码1000，比较器COMP可以将输入点云帧IPCF的3D样本与中间重构的点云帧IRPCF的3D样本进行比较，以便检测/定位遗漏的/孤立的3D样本。接下来，编码器ENC可以对遗漏的3D样本进行编码并且可以提供增强层EL。最后，基础层BL和增强层EL可以通过多路复用器MUX被多路复用在一起以生成位流B。

根据实施例，编码器ENC可以包括检测器，该检测器可以检测中间重构的点云帧IRPCF的3D参考样本R并将其关联到遗漏的3D样本M。

例如，根据给定的度量，与遗漏的3D样本M相关联的3D参考样本R可以是M的最近邻居。

根据实施例，编码器ENC然后可以将遗漏的3D样本M的空间位置及其属性编码为根据所述3D参考样本R的空间位置和属性确定的差异。

在变体中，那些差异可以被单独编码。

例如，对于遗漏的3D样本M，其中空间坐标为x(M)、y(M)和z(M)，那么x坐标位置差Dx(M)，y坐标位置差Dy(M)，z坐标位置差Dz(M)、R-属性分量差Dr(M)、G-属性分量差Dg(M)和B-属性分量差Db(M)可以如下计算：

Dx(M)＝x(M)-x(R)，

其中x(M)是3D样本M的x坐标，分别是由图3提供的几何图像中R，

Dy(M)＝y(M)-y(R)

其中y(M)是3D样本M的y坐标，分别是由图3提供的几何图像中的R，

Dz(M)＝z(M)-z(R)

其中z(M)是3D样本M的z坐标，分别是由图3提供的几何图像中的R，

Dr(M)＝R(M)-R(R)。

其中R(M)和R(R)分别是3D样本M和R的颜色属性的r颜色分量，

Dg(M)＝G(M)-G(R)。

其中G(M)和G(R)分别是3D样本M和R的颜色属性的g颜色分量，

Db(M)＝B(M)-B(R)。

其中B(M)和B(R)分别是3D样本M和R的颜色属性的b颜色分量。

图2图示了根据本实施例中的至少一个的基于两层的点云解码结构2000的示例的示意性框图。

基于两层的点云解码结构2000的行为取决于其能力。

具有有限能力的基于两层的点云解码结构2000可以通过使用解复用器DMUX仅从位流B访问基础层BL，然后可以通过点云解码器4000对基础层BL进行解码提供输入点云帧IPCF的忠实(但有损)版本的IRCFF，如图4中所示。

具有完整能力的基于两层的点云解码结构2000可以通过使用解复用器DMUX从位流B访问基础层BL和增强层EL两者。如图4中所示，点云解码器4000可以从基础层BL确定中间重构的点云帧IRPCF。解码器DEC可以从增强层EL确定互补点云帧CPCF。组合器COM然后可以将中间重构的点云帧IRPCF和互补点云帧CPCF组合在一起，因此提供输入点云帧IPCF的更高质量(可能无损的)表示(重构)CRPCF。

图3图示了根据本实施例中的至少一个的基于图像的点云编码器3000的示例的示意性框图。

基于图像的点云编码器3000充分利用现有的视频编解码器来压缩动态点云的几何和纹理(属性)信息。这是通过本质上将点云数据转换成不同视频序列的集合来实现的。

在特定实施例中，可以使用现有的视频编解码器生成和压缩两个视频，一个用于捕获点云数据的几何信息，另一个用于捕获纹理信息。现有视频编解码器的示例是HEVC主要简档编码器/解码器(ITU-T H.265Telecommunication standardization sector ofITU(02/2018),series H:audiovisual and multimedia systems,infrastructure ofaudiovisual services-coding of moving video,High efficiency video coding,Recommendation ITU-T H.265(ITU-TH.265ITU电信标准化部门(02/2018)，H系列：视听和多媒体系统，视听服务基础设施-移动视频编码，高效视频编码，ITU-T H.265建议书))。

用于解释这两个视频的附加元数据通常也被单独生成和压缩。这种附加元数据包括例如占用图OM和/或辅助补丁信息PI。

生成的视频位流和元数据然后可以被多路复用在一起以生成组合的位流。

应当注意的是，元数据通常表示整体信息的一小部分。大部分信息都在视频位流中。

这种点云编解码/解码过程的示例由测试模型类别2算法(也表示为V-PCC)给出，该算法实现了如ISO/IEC JTC1/SC29/WG11 MPEG2019/w18180(2019年1月，Marrakesh)中定义的MPEG草案标准。

在步骤3100中，模块PGM可以通过使用提供最佳压缩的策略将代表输入点云帧IPCF的数据集的3D样本分解成投影平面上的2D样本来生成至少一个补丁。

补丁可以被定义为2D样本的集合。

例如，在V-PCC中，首先估计每个3D样本的法线，例如在Hoppe等人的文章中所描述的。(Hugues Hoppe、Tony DeRose、Tom Duchamp、John McDonald、Werner Stuetzle。Surface reconstruction from unorganized points。ACM SIGGRAPH 1992Proceedings，71-78)。接下来，通过将每个3D样本与涵盖输入点云帧IPCF的3D样本的3D界定方框的六个定向平面之一相关联，获得输入点云帧IPCF的初始聚类。更精确地说，每个3D样本被聚类并与具有最接近法线的定向平面相关联(即，最大化点法线和平面法线的点积)。然后将3D样本投影到其相关联的平面。在其平面中形成连接的区域的3D样本的集合被称为连接的分量。连接的分量是具有相似法线和相同关联的定向平面的至少一个3D样本的集合。然后通过基于每个3D样本的法线和最近相邻样本的集群迭代更新与每个3D样本相关联的集群来细化初始聚类。最后一步包括从每个连接的分量生成一个补丁，这是通过将每个连接的分量的3D样本投影到与所述连接的分量相关联的定向平面上来完成的。补丁与辅助补丁信息PI相关联，该信息PI表示为每个补丁定义的辅助补丁信息，以解释与几何和/或属性信息对应的投影的2D样本。

例如，在V-PCC中，辅助补丁信息PI包括：1)指示涵盖连接的分量的3D样本的3D界定方框的六个定向平面之一的信息；2)相对于平面法线的信息；3)确定连接的组件相对于以深度、切向移位和双切向移位表示的补丁的3D位置的信息；以及4)诸如定义涵盖补丁的2D界定方框的投影平面中的坐标(u0,v0,u1,v1)之类的信息。

在步骤3200中，补丁打包模块PPM可以以通常最小化未使用空间的方式将至少一个生成的补丁映射(放置)到2D网格(也称为画布)上而没有任何重叠，并且可以保证2D网格的每个T×T(例如，16×16)块与唯一的补丁相关联。2D网格的给定最小块尺寸T×T可以指定放置在这个2D网格上的不同补丁之间的最小距离。2D网格分辨率可以取决于输入点云尺寸及其宽度W和高度H，并且块尺寸T可以作为元数据被传输到解码器。

辅助补丁信息PI还可以包括与2D网格的块和补丁之间的关联相关的信息。

在V-PCC中，辅助信息PI可以包括确定2D网格的块和补丁索引之间的关联的块到补丁索引信息(BlockToPatch)。

图3a图示了画布C的示例，其包括2个补丁P1和P2及其相关联的2D界定方框B1和B2。注意的是，两个界定方框可以在画布C中重叠，如图3a上所示。2D网格(画布的拆分)仅在界定方框内表示，但画布的拆分也发生在这些界定方框之外。与补丁相关联的界定方框可以被拆分为T×T块，通常为T＝16。

包含属于补丁的2D样本的T×T块可以被视为对应占用图OM中的被占用块。占用图OM的块然后可以指示块是否被占用，即，包含属于补丁的2D样本。

在图3a中，被占用块由白色的块表示，而浅灰色的块表示未被占用的块。图像生成过程(步骤3300和3400)利用至少一个生成的补丁到在步骤3200期间计算的2D网格上的映射，以将输入点云帧IPCF的几何形状和纹理存储为图像。

在步骤3300中，几何图像生成器GIG可以从输入点云帧IPCF、占用图OM和辅助补丁信息PI生成至少一个几何图像GI。几何图像生成器GIG可以利用占用图信息来检测(定位)被占用块，从而检测(定位)几何图像GI中的非空像素。

几何图像GI可以表示输入点云帧IPCF的几何形状并且可以是例如以YUV420-8位格式表示的W×H像素的单色图像。

为了更好地处置多个3D样本被投影(映射)到投影平面的同一2D样本(沿着相同的投影方向(线))的情况，可以生成多个图像，称为层。因此，不同的深度值D1、…、Dn可以与补丁的2D样本相关联，然后可以生成多个几何图像。

在V-PCC中，补丁的2D样本被投影到两层上。也被称为近层的第一层可以存储例如与具有较小深度的2D样本相关联的深度值D0。被称为远层的第二层可以存储例如与具有较大深度的2D样本相关联的深度值D1。可替代地，第二层可以存储深度值D1与D0之间的差值。例如，由第二深度图像存储的信息可以在区间[0,Δ]内，其与范围[D0,D0+Δ]中的深度值对应，其中Δ是用户定义的描述表面厚度的参数。

通过这种方式，第二层可以包含显著的类似轮廓的高频特征。因此，很明显，第二深度图像可能难以通过使用传统视频编解码器进行编解码，因此，深度值可能从所述解码的第二深度图像被很差地重构，这导致重构的点云帧的几何形状的质量差。

根据实施例，几何图像生成模块GIG可以通过使用辅助补丁信息PI来编解码(导出)与第一层和第二层的2D样本相关联的深度值。

在V-PCC中，3D样本在具有对应连接的分量的补丁中的位置可以用深度δ(u,v)、切向移位s(u,v)和双切向移位r(u,v)如下表示：

δ(u,v)＝δ0+g(u,v)

s(u,v)＝s0–u0+u

r(u,v)＝r0–v0+v

其中g(u,v)是几何图像的亮度分量，(u,v)是投影平面上与3D样本相关联的像素，(δ0,s0,r0)是3D样本所属的连接的分量的对应补丁的3D位置，并且(u0,v0,u1,v1)是所述投影平面中定义涵盖与所述连接的分量相关联的补丁的投影的2D界定方框的坐标。

因此，几何图像生成模块GIG可以将与层(第一或第二或两者)的2D样本相关联的深度值编码(导出)为亮度分量g(u,v)，由下式给出：g(u,v)＝δ(u,v)-δ0。应该注意的是，这个关系可以被用于从具有伴随的辅助补丁信息PI的重构的几何图像g g(u,v)重构3D样本位置(δ0,s0,r0)。

根据实施例，可以使用投影模式来指示第一几何图像GI0是否可以存储第一层或第二层的2D样本的深度值并且第二几何图像GI1是否可以存储与第二层或第一层的2D样本相关联的深度值。

例如，当投影模式等于0时，第一几何图像GI0可以存储第一层的2D样本的深度值，而第二几何图像GI1可以存储与第二层的2D样本相关联的深度值。反过来，当投影模式等于1时，第一几何图像GI0可以存储第二层的2D样本的深度值，而第二几何图像GI1可以存储与第一层的2D样本相关联的深度值。

根据实施例，可以使用帧投影模式来指示是否对所有补丁使用固定投影模式或者是否使用可变投影模式，其中在可变投影模式中，每个补丁可以使用不同的投影模式。

投影模式和/或帧投影模式可以作为元数据被传输。

例如可以在V-PCC的2.2.1.3.1节中提供帧投影模式决策算法。

根据实施例，当帧投影指示可以使用可变投影模式时，可以使用补丁投影模式来指示用于(反)投影补丁的适当模式。

补丁投影模式可以作为元数据被传输并且可能可以是包括在辅助补丁信息PI中的信息。

例如在V-PCC的2.2.1.3.2节中提供补丁投影模式决策算法。

根据步骤3300的实施例，与补丁的2D样本(u,v)对应的第一几何图像(例如，GI0)中的像素值可以表示与沿着与所述2D样本(u,v)对应的投影线定义的至少一个中间(in-between)3D样本相关联的深度值(u,v)。所述中间3D样本沿着投影线驻留并共享其深度值D1被编解码在第二几何图像(例如，GI1)中的2D样本(u,v)的相同坐标。另外，所述中间3D样本可以具有深度值D0和深度值D1之间的深度值。指定的位可以与每个所述中间3D样本相关联，如果中间3D样本存在，那么将指定的位设置为1，否则设置为0。

然后，沿着所述投影线的所有所述指定的位可以被级联以形成码字，以下称为增强增量深度(EDD，Enhanced-Delta-Depth)码。最后，所有的EDD代码都可以打包在图像中，例如在第一几何图像GI1或占用图OM中。

在步骤3400中，纹理图像生成器TIG可以从输入的点云帧IPCF、占用图OM、辅助补丁信息PI和从至少一个解码的几何图像DGI(视频解码器VDEC的输出)得出的重构的点云帧的几何形状生成至少一个纹理图像TI(图4中的步骤4200)。

纹理图像TI可以表示输入点云帧IPCF的纹理，并且可以是例如以YUV420-8位格式表示的W×H像素的图像。

纹理图像生成器TG可以利用占用图信息来检测(定位)被占用块，从而检测(定位)纹理图像中的非空像素。

纹理图像生成器TIG可以适于生成纹理图像TI并将其与每个几何图像/层DGI相关联。

根据实施例，纹理图像生成器TIG可以将与第一层的2D样本相关联的纹理(属性)值T0编解码(存储)为第一纹理图像TI0的像素值，并将与第二层的2D样本相关联的纹理值T1编解码(存储)为第二纹理图像TI1的像素值。

可替代地，纹理图像生成模块TIG可以将与第二层的2D样本相关联的纹理值T1编解码(存储)为第一纹理图像TI0的像素值，并将与第一层的2D样本相关联的纹理值D0编解码(存储)为第二几何图像GI1的像素值。

例如，可以如V-PCC的2.2.3、2.2.4、2.2.5、2.2.8或2.5节中所描述的那样获得3D样本的颜色。

根据实施例，填充过程可以应用于几何和/或纹理图像。填充过程可以被用于填充补丁之间的空白空间以生成适于视频压缩的分段平滑图像。

V-PCC的2.2.6和2.2.7节中提供了图像填充示例。

在步骤3500中，视频编码器VENC可以对生成的图像/层TI和GI进行编码。

在步骤3600中，编码器OMENC可以将占用图编码为例如V-PCC的2.2.2节中详述的图像。可以使用有损或无损编码。

根据实施例，视频编码器ENC和/或OMENC可以是基于HEVC的编码器。

在步骤3700中，编码器PIENC可以对辅助补丁信息PI和可能的附加元数据(诸如块尺寸T、几何形状/纹理图像的宽度W和高度H)进行编码。

根据实施例，辅助补丁信息可以被差分编码(如在例如V-PCC的2.4.1节中定义的)。

在步骤3800中，多路复用器可以应用于步骤3500、3600和3700的生成的输出，因此，这些输出可以被多路复用在一起以生成代表基础层BL的位流。应当注意的是，元数据信息表示整个位流的一小部分。大部分信息使用视频编解码器进行压缩。

图4图示了根据本实施例中的至少一个的基于图像的点云解码器4000的示例的示意性框图。

在步骤4100中，可以应用解复用器DMUX来对代表基础层BL的位流的编码的信息进行解复用。

在步骤4200中，视频解码器VDEC可以对编码的信息进行解码以导出至少一个解码的几何图像DGI和至少一个解码的纹理图像DTI。

在步骤4300中，解码器OMDEC可以对编码的信息进行解码以导出解码的占用图DOM。

根据实施例，视频解码器VDEC和/或OMDEC可以是基于HEVC的解码器。

在步骤4400中，解码器PIDEC可以对编码的信息进行解码以导出辅助补丁信息DPI。

可能地，元数据也可以从位流BL导出。

在步骤4500中，几何形状生成模块GGM可以从至少一个解码的几何图像DGI、解码的占用图DOM、解码的辅助补丁信息DPI和可能的附加元数据导出重构的点云帧IRPCF的几何形状RG。

几何形状生成模块GGM可以利用解码的占用图信息DOM来定位至少一个解码的几何图像DGI中的非空像素。与非空像素相关联的重构的3D样本的3D坐标然后可以从所述非空像素的坐标和所述重构的2D样本的值导出。

根据实施例，几何形状生成模块GGM可以从非空像素的坐标导出重构的3D样本的3D坐标。

根据实施例，几何形状生成模块GGM可以从非空像素的坐标、至少一个解码的几何图像DGI之一的所述非空像素的值、解码的辅助补丁信息并且可能从附加元数据导出重构的3D样本的3D坐标。

非空像素的使用基于2D像素与3D样本的关系。例如，利用V-PCC中的所述投影，重构的3D样本的3D坐标可以用深度δ(u,v)、切向移位s(u,v)和双切向移位r(u,v)如下表示：

δ(u,v)＝δ0+g(u,v)

s(u,v)＝s0–u0+u

r(u,v)＝r0–v0+v

其中g(u,v)是解码的几何图像DGI的亮度分量，(u,v)是与重构的3D样本相关联的像素，(δ0,s0,r0)是重构的3D样本所属的连接的分量的3D位置，并且(u0,v0,u1,v1)是投影平面中定义涵盖与所述连接的分量相关联的补丁的投影的2D界定方框的坐标。

在步骤4600中，纹理生成模块TGM可以从几何形状RG和至少一个解码的纹理图像DTI导出重构的点云帧IRPCF的纹理。

图5示意性地图示了根据本实施例中的至少一个的代表基础层BL的位流的示例语法。

位流包括位流报头SH和至少一个帧流组GOFS(Group Of Frame Stream)。

帧流组GOFS包括报头HS、代表占用图OM的至少一个语法元素OMS、代表至少一个几何图像(或视频)的至少一个语法元素GVS、代表至少一个纹理图像(或视频)的至少一个语法元素TVS以及代表辅助补丁信息和其它附加元数据的至少一个语法元素PIS。

在变体中，帧流组GOFS包括至少一个帧流。

图6示出了图示其中实现了各个方面和实施例的系统的示例的示意性框图。

系统6000可以被实施为一个或多个设备，包括以下描述的各种组件并被配置为执行本文档中描述的一个或多个方面。可以构成系统6000的全部或部分的装备的示例包括个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收器、个人视频记录系统、连接的家用电器、连接的车辆及其相关联的处理系统、头戴式显示设备(HMD、透视眼镜)、投影仪(投影机)、“洞穴”(包括多个显示器的系统)、服务器、视频编码器、视频解码器、处理来自视频解码器的输出的后处理器、向视频编码器提供输入的预处理器、web服务器、机顶盒，以及用于处理点云、视频或图像的任何其它设备，或其它通信设备。系统6000的元件可以单独地或组合地实施在单个集成电路、多个IC和/或分立组件中。例如，在至少一个实施例中，系统6000的处理和编码器/解码器元件可以跨多个IC和/或分立组件分布。在各种实施例中，系统6000可以经由例如通信总线或通过专用输入和/或输出端口通信地耦合到其它类似系统或其它电子设备。在各种实施例中，系统6000可以被配置为实现本文档中描述的一个或多个方面。

系统6000可以包括至少一个处理器6010，该至少一个处理器6010被配置为执行其中加载的指令，以用于实现例如本文档中描述的各个方面。处理器6010可以包括嵌入式存储器、输入输出接口和本领域已知的各种其它电路。系统6000可以包括至少一个存储器6020(例如，易失性存储器设备和/或非易失性存储器设备)。系统6000可以包括存储设备6040，其可以包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器仅存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备6040可以包括内部存储设备、附加存储设备和/或网络可访问存储设备。

系统6000可以包括编码器/解码器模块6030，其被配置为例如处理数据以提供编码的数据或解码的数据，并且编码器/解码器模块6030可以包括其自己的处理器和存储器。编码器/解码器模块6030可以表示可以被包括在设备中以执行编码和/或解码功能的(一个或多个)模块。如已知的，设备可以包括编码和解码模块之一或两者。此外，编码器/解码器模块6030可以被实现为系统6000的分开的元件，或者可以作为本领域技术人员已知的硬件和软件的组合结合到处理器6010内。

可以被加载到处理器6010或编码器/解码器6030上以执行本文档中描述的各个方面的程序代码可以被存储在存储设备6040中，并且随后被加载到存储器6020上以由处理器6010执行。根据各种实施例，在执行本文档中描述的过程期间，处理器6010、存储器6020、存储设备6040和编码器/解码器模块6030中的一个或多个可以存储各种项中的一项或多项。此类存储的项可以包括但不限于点云帧、编码/解码的几何形状/纹理视频/图像或编码/解码的几何形状/纹理视频/图像的部分、位流、矩阵、变量，以及对等式、公式、运算和运算的中间或最终结果逻辑。

在几个实施例中，处理器6010和/或编码器/解码器模块6030内部的存储器可以被用于存储指令并为可以在编码或解码期间执行的处理提供工作存储器。

但是，在其它实施例中，处理设备外部的存储器(例如，处理设备可以是或者处理器6010或者编码器/解码器模块6030)被用于这些功能中的一个或多个。外部存储器可以是存储器6020和/或存储设备6040，例如，动态易失性存储器和/或非易失性闪存。在几个实施例中，外部非易失性闪存被用于存储例如电视的操作系统。在至少一个实施例中，诸如RAM之类的快速外部动态易失性存储器可以被用作用于视频编解码和解码操作的工作存储器，诸如对于MPEG-2第2部分(也称为ITU-T Recommendation H.262和ISO/IEC 13818-2，也称为MPEG-2视频)、HEVC(高效视频编解码)或VVC(通用视频编解码)。

如方框6130中所指示的，可以通过各种输入设备提供对系统6000的元件的输入。此类输入设备包括但不限于(i)可以接收例如由广播公司通过空中传输的RF信号的RF部分，(ii)复合输入端子，(iii)USB输入端子，和/或(iv)HDMI输入端子。

在各种实施例中，方框6130的输入设备具有相关联的相应输入处理元件，如本领域中已知的。例如，RF部分可以与对于以下必要的元件相关联：(i)选择期望的频率(也称为选择信号，或将信号限制到频带内)，(ii)下变频所选择的信号，(iii)将频带再次限制到较窄的频带，以选择(例如)在某些实施例中可以被称为信道的信号频带，(iv)解调下变频和频带受限的信号，(v)执行纠错，以及(vi)多路分解以选择期望的数据分组流。各种实施例的RF部分可以包括一个或多个执行这些功能的元件，例如，频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可以包括执行各种这些功能(包括例如将接收到的信号下变频为更低频率(例如，中频或近基带频率)或基带)的调谐器。

在一个机顶盒实施例中，RF部分及其相关联的输入处理元件可以接收在有线(例如，电缆)介质上传输的RF信号。然后，RF部分可以通过滤波、下变频和再次滤波到期望的频带来执行频率选择。

各种实施例重新布置上述(和其它)元件的次序、移除这些元件中的一些，和/或添加执行类似或不同功能的其它元件。

添加元件可以包括在现有元件之间插入元件，诸如例如插入放大器和模数转换器。在各种实施例中，RF部分包括天线。

此外，USB和/或HDMI端子可以包括相应的接口处理器，用于通过USB和/或HDMI连接将系统6000连接到其它电子设备。应该理解的是，在必要时输入处理的各个方面(例如，Reed-Solomon纠错)可以例如在分开的输入处理IC内或在处理器6010内实现。类似地，在必要时可以在分开的接口IC内或处理器6010内实现USB或HDMI接口处理的各个方面。经解调、纠错和解复用的流可以被提供给各种处理元件，包括例如处理器6010，以及与存储器和存储元件结合操作的编码器/解码器6030，以在必要时处理数据流以在输出设备上呈现。

可以在集成壳体内提供系统6000的各种元件。在集成壳体内，可以使用合适的连接布置6140(例如，本领域已知的内部总线，包括I2C总线、布线和印刷电路板)互连各种元件并在它们之间传输数据。

系统6000可以包括通信接口6050，其使得能够经由通信信道6060与其它设备通信。通信接口6050可以包括但不限于被配置为在通信信道6060上发送和接收数据的收发器。通信接口6050可以包括但不限于调制解调器或网卡，并且通信信道6060可以例如在有线和/或无线介质内实现。

在各种实施例中，可以使用诸如IEEE 802.11之类的Wi-Fi网络将数据流传输到系统6000。这些实施例的Wi-Fi信号可以通过适于Wi-Fi通信的通信信道6060和通信接口6050被接收。这些实施例的通信信道6060通常可以连接到接入点或路由器，该接入点或路由器提供对包括互联网在内的外部网络的接入，以允许流传输应用和其它空中通信。

其它实施例可以使用机顶盒向系统6000提供流传输的数据，该机顶盒通过输入块6130的HDMI连接来递送数据。

还有其它实施例使用输入块6130的RF连接将流传输的数据提供给系统6000。

应该认识到的是，可以以多种方式实现信令。例如，在各种实施例中，一个或多个语法元素、标志等可以被用于向对应的解码器发信号通知信息。

系统6000可以向各种输出设备，包括显示器6100、扬声器6110和其它外围设备6120，提供输出信号。在实施例的各种示例中，其它外围设备6120可以包括独立DVR、盘播放器、立体声系统、照明系统和基于系统3000的输出提供功能的其它设备中的一个或多个。

在各种实施例中，控制信号可以使用诸如AV.Link(音频/视频链接)、CEC(消费电子控制)或启用设备到设备控制的其它通信协议的信令在系统6000和显示器6100、扬声器6110或其它外围设备6120之间通信，有或没有用户干预。

输出设备可以通过相应的接口6070、6080和6090经由专用连接通信地耦合到系统6000。

可替代地，可以经由通信接口6050使用通信信道6060将输出设备连接到系统6000。显示器6100和扬声器6110可以与电子设备(诸如例如电视)中的系统6000的其它组件集成在单个单元中。

在各种实施例中，显示接口6070可以包括显示驱动器，诸如例如定时控制器(TCon)芯片。

例如，如果输入端6130的RF部分是分开的机顶盒的一部分，那么显示器6100和扬声器6110可以可替代地与其它组件中的一个或多个分开。在显示器6100和扬声器6110可以是外部组件的各种实施例中，可以经由专用的输出连接(包括例如HDMI端口、USB端口或COMP输出端)来提供输出信号。

PLR代表点局部重构。PLR是可以被用于为点云帧生成附加的3D样本的重构方法。PLR通常在2D到3D投影之后立即应用，然后再进行任何其它处理，如例如几何形状或纹理平滑。

PLR将一层3D样本作为输入，并应用由PLR元数据驱动的滤波器的集合以生成附加的3D样本及其几何形状和纹理。

PLR可以是局部的，因为PLR元数据可以随画布的每个T×T块而改变，并且滤波器的集合可以使用小的邻域来生成附加的3D样本。注意的是，在编码器和解码器中必须使用相同的PLR元数据。

在典型条件下，与两层深度和纹理图像相比，使用带有PLR的单层深度和纹理图像提供更好的BD速率性能。通过投影到深度和纹理图像上，PLR元数据的编解码比常规的3D样本的编解码占用更少的位，因此降低了整体位速率。同时，附加的3D样本补偿由于使用较少层而造成的质量损失。

V-PCC包括PLR的实施方式，其中PLR由RDO(Rate-Distortion Optimization，速率失真优化)在编码器侧确定。PLR的所述实施方式定义多种模式，表示为PLRM(Point LocalReconstruction Mode，点局部重构模式)，用于重构(生成)点云帧的至少一个3D样本。每个PLRM由定义如何使用滤波器的PLRM元数据的特定值确定。

例如，在V-PCC的“9.4.4”节中，多个PLRM由V-PCC的“7.4.35Point localreconstruction semantics”节中描述的四个参数决定。所述四个参数作为PLRM元数据在位流中被传输：

·point_local_reconstruction_mode_interpolate_flag：

这个参数等于1指示在重构方法期间使用点插值；这个参数等于0指示在重构方法期间不使用点插值；

·point_local_reconstruction_mode_filling_flag

这个参数等于1指示在重构方法期间使用填充模式；这个参数等于0指示在重构过程期间不使用填充模式。

·point_local_reconstruction_mode_minimum_depth_minus1：

这个参数指定要在重构方法期间使用的最小深度值减1。

·point_local_reconstruction_mode_neighbor_minus1：

这个参数指定要在重构方法中使用的2D邻域的尺寸减1。

用于对PLR进行编解码的语法在如文档w18479中定义的V-PCC的“7.3.4.1”节中有详细说明。这个语法通过“blockToPatch”信息或通过补丁描述由T×T块(占用打包块尺寸)发送的PLRM元数据。blockToPatch结构为每个T×T像素块指示它所属的补丁。用于块到补丁块的16×16像素的尺寸是V-PCC测试模型软件中使用的典型值。本说明书(和本实施例中的至少一个)可以支持用于块到补丁索引和PLRM元数据的其它块尺寸。

根据本原理，对于编码器，有可能生成具有与其相关联的PLR模式的几个层。层概念允许高效地捕获所有那些3D点，并且PLR方法允许降低对这种投影进行编码所需的位速率。当前测试模型最多支持2层。添加在两层模式下使用PLR的可能性允许提高点云的压缩效率并使重构的点云更忠实于原件。

没有语法也没有方法来对多个层进行编码和解码，层有或没有与其相关联的PLR元数据。没有将PLR信息和/或模式与不同分层的图像相关联的信令方法。修改如例如在V-PCC标准的文档w18479中描述的现有语法并不简单，因为任何修改都意味着整个系统的适配。而且，粗略地为每一层添加PLR信息和模式而不考虑它们的使用会导致位速率的过载。因此，根据不同的实施例，缺乏在投影的不同层上高效使用PLR方法来编码、发信号通知、传输和解码3D点云的解决方案。此类解决方案是关于图7和8提出的。

将PLR修改为任意数量的层要求将实际的1层模式修改为多层模式的每一层。要求几个扩展：

·可用于每一层的按块/按补丁的PLR参数。

·可用于每一层的PLR信息。

·按层执行PLR重构。

应理解，PLR信息是指处理模式的PLR查找表以及其它高级PLR参数。PLR信息在point_local_reconstruction_information语法结构中被编解码。取决于如何发送PLR元数据，有几个实施例是可能的，例如：

·每层都有自己的PLR信息和按块/按补丁模式。

·几个层共享相同的PLR信息，但按层提供按块/补丁模式。

·共享的PLR信息和共享的PLR模式。

为清楚起见，在图7到xxx中，示出了与当前V-PCC语法(可在文档w18479中找到)相关的语法。

图7图解地示出了根据本原理对3D点云进行解码的方法700。在步骤710处，从源获得根据本原理编码的数据流。数据流包括代表用分层的图像编码的3D点云的数据。在步骤720处，从流中对层进行解码。层图像与元数据相关联，元数据至少包括指示这个层是否必须根据PLR方法进行解码的PLR标志。与这个层相关联的元数据是从流中解码的。它们可以是在不同时间和/或从数据流内的不同位置解码的。在步骤730处，执行测试以检查PLR标志是否被启用(例如，启用了设置为1的标志)。如果禁用PLR标志，那么使用老式方法对层进行反投影。否则，如果启用了PLR标志，意味着PLR方法适用于这个层，那么必须检索用于这个层的PLR信息和模式。在步骤740处，执行测试以检查元数据是否包括指向与另一层相关联的PLR信息的索引。如果不是，那么在步骤741处，从元数据中检索PLR信息并与允许检索它的索引一起存储在存储器中。如果在当前层的元数据中提供了PLR信息索引，那么在步骤742处，由于这个索引而从存储器中检索PLR信息。在步骤750处，执行测试以检查元数据中是否提供了PLR模式的索引。步骤750可以在步骤740之前、之后或并行发生。如果没有提供PLR模式索引，那么在步骤751处，从元数据中检索用于当前层的PLR模式并与允许检索它们的索引一起存储在存储器中。如果在当前层的元数据中提供了PLR模式索引，那么在步骤752处，由于这个索引而从存储器中检索PLR模式。在步骤760处，通过根据检索到的PLR信息将检索到的模式应用于层的像素，使用PLR方法对层进行反投影。

图8图解地示出了根据本原理对3D点云进行编码的方法800。在步骤810处，层被获得并被编码在数据流中。在接下来的步骤，与当前层相关联的元数据被编码在数据流中。这些元数据可以按时间在层之前或之后以及在数据流内被编码。在步骤820处，指示层是否必须根据PLR方法解码的PLR标志被编码在元数据中。如果启用了PLR标志(例如，启用了设置为1的标志)，那么在步骤840处执行测试以检查用于当前层的PLR信息是否已经(或将要)在与不同的层相关联的元数据中编码。如果不是，那么在步骤841处，将用于当前层的PLR信息编码在与这个当前层相关联的元数据中。否则，在步骤842处，对允许检索另一层的PLR信息的索引进行编码。在步骤850处执行测试以检查用于当前层的PLR模式是否已经(或将要)编码在与不同层相关联的元数据中。步骤850可以在步骤840之前、之后或并行执行。如果不与另一层共享PLR模式，那么在步骤851处，将用于当前层的PLR模式编码在与这个当前层相关联的元数据中。否则，在步骤852处，对允许检索另一层的PLR模式的索引进行编码。

以下描述详细描述对当前V-PCC规范(w18479)中描述的语法的提出的改变。

在实施例中，每一层具有其自己的PLR信息和按块/按补丁模式的PLR。在这个实施例中，按层优化PLR参数。

在序列参数集语法级别(w18479的第7.3.4.1段)，添加启用按层的PLR过程的可能性，如下所示：

sps_point_local_reconstruction_layer_enabled_flag[layer]等于1指示局部重构模式可以在点云重构过程期间被用于对应层索引上。sps_point_local_reconstruction_layer_enabled_flag[layer]等于0指示局部重构模式不应该在点云重构过程期间被用于对应层索引上。

在补丁序列参数集语法级别(w18479的第7.3.5.3段)，添加按层定义PLR信息的可能性，如下所示：

修改了point_local_reconstruction_information(layer)语法方法，以便将参数存储在点局部重构信息数组的索引“layer”中。修改后的方法在3.2.2节中示出。

补丁数据单元语法(w18479的第7.3.6.3段)修改如下：

增量补丁数据单元语法(w18479的第7.3.6.4段)修改如下：

修改后的点局部重构语法(w18479的子句7.3.6.6)被修改为将所有数据存储在二维数组中(层标识符和补丁索引)。提出的版本如下：

必须对重构过程应用以下修改(在w18479的第9.4.4段中描述)

在另一个实施例中，几个层共享相同的PLR信息。仍按层提供按块/按补丁模式的PLR。这个实施例允许降低发送PLR信息所需的位速率，代价是对几个层(最终是所有层，这会略微降低解码的点云的视觉质量)使用相同的模式集。发送PLR信息的一个或几个集合。由于PLR信息的集合的数量可以小于层数，因此索引指示每一层使用PLR信息的哪个集合。

在序列参数集语法级别(w18479的第7.3.4.1段)，添加按层启用PLR过程的可能性，如下所示：

sps_point_local_reconstruction_information_num_sets_minus1加1指示发送PLR信息参数的多少个集合。最小值为1，最大值为层数。关于当前的规范文本的唯一改变是使用数组(由id索引)以存储PLR信息。

在补丁序列参数集语法级别(w18479的第7.3.5.3段)，添加定义识别要由对应层使用的PLR信息的PLR信息ID的可能性，如下所示：

psps_point_local_reconstruction_information_set_id[layer]参数指示与索引为“layer”的层对应的PLR信息集的索引。必须对重构过程应用以下修改(在w18479的第9.4.4段中描述)

在另一个实施例中，PLR信息和共享的按块/补丁模式在多个层之间共享。这通过减少要发送的元数据的量来进一步降低位速率，代价是略微降低视觉质量和/或略微增加复杂性。

除了针对上述实施例提出的改变之外，以下各节详细描述对当前V-PCC规范(w18479)的提出的改变。

sps_point_local_reconstruction_information_num_sets_minus1加1指示发送PLR信息参数的多少个集合。最小值为1，最大值为层数。关于当前的规范文本的唯一改变是使用附加数组(由id索引)以存储PLR信息。在补丁序列参数集语法级别(w18479的第7.3.5.3段)，添加指示与PLR信息对应的标识符的可能性。

补丁数据单元语法(w18479的第7.3.6.3段)修改如下：

pdu_point_local_reconstruction_data_num_sets_minus1指示按补丁可用的PLR数据的版本的数量。pdu_point_local_reconstruction_data_set_id[patchIndex][layer]参数指示PLR数据集标识符以获取补丁“patchIndex”和层“layer”的PLR数据。

增量补丁数据单元语法(w18479的第7.3.6.4段)修改如下：

以下修改必须应用于重构过程(在w18479的第944段中描述)

在变体中，与当前实施例相比，补丁数据单元和增量补丁数据单元被如下简化，因为只有PLR数据必须在补丁级别被检索。

pfps_point_local_reconstruction_data_num_sets_minus1指示用于PLR数据的集合的数量。

pfps_point_local_reconstruction_data_set_id指示在pfps_point_local_reconstruction_data_num_sets_minus1个可能版本当中应当使用PLR数据的哪个集合。

在同一个实施例的另一个变体中，通过每个序列和每个层仅发送一次用于PLR数据的集合标识符来降低更高的位速率。此处使用的“序列”一词与HEVC标准中的含义相同。

与当前实施例相比，补丁数据单元和增量补丁数据单元被简化如下，因为只需要在补丁级别检索PLR数据。

psps_point_local_reconstruction_data_num_sets_minus1定义用于PLR数据的集合的数量。

psps_point_local_reconstruction_data_set_id指示在psps_point_local_reconstruction_data_num_sets_minus1加1个可能版本中应当使用PLR数据的哪个集合。

对重构过程的修改如下：

E3的pdu_point_local_reconstruction_data_set_id[f][p][l]被初始化为：

·用于E3.V1的pfps_point_local_reconstruction_data_set_id[f][l]；即，对于给定的帧，所有补丁都使用相同的集合ID；

·用于E3.V2的psps_point_local_reconstruction_data_set_id[l]；即，对于所有帧，所有补丁都使用相同的集合ID。

其中

·f与帧索引对应；

·p与补丁索引对应；

·l与层索引对应。

与当前实施例相比，用于PLR数据的集合的数量被指示：

·在帧级别(对于E3.V1)，带有pfps_point_local_reconstruction_data_num_sets_minus1，

·或序列级别(对于E3.V2)，带有psps_point_local_reconstruction_data_num_sets_minus1。

关于框图和操作流程图描述了一些示例。每个方框表示电路元件、模块或包括用于实现(一个或多个)指定逻辑功能的一个或多个可执行指令的代码的部分。还应当注意的是，在其它实施方式中，方框中标注的(一个或多个)功能可以不按指示的次序发生。例如，根据所涉及的功能，相继示出的两个方框实际上可以基本上并发地执行，或者有时可以以相反的次序执行这些方框。

可以在例如方法或过程、装置、计算机程序、数据流、位流或信号中实现本文描述的实施方式和方面。即使仅在单一形式的实施方式的上下文中讨论(例如，仅作为方法讨论)，所讨论的特征的实施方式也可以以其它形式(例如，装置或计算机程序)来实现。

方法可以在例如处理器中实现，处理器一般是指处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备。

此外，方法可以通过处理器执行的指令来实现，并且此类指令(和/或由实施方式产生的数据值)可以存储在计算机可读存储介质上。计算机可读存储介质可以采用实施在一个或多个计算机可读介质中并且具有实施在其上的可由计算机执行的计算机可读程序代码的计算机可读程序产品的形式。考虑到在其中存储信息的固有能力以及从其提供信息的检索的固有能力，如本文使用的计算机可读存储介质可以被认为是非暂时性存储介质。计算机可读存储介质可以是例如但不限于电子、磁、光学、电磁、红外或半导体系统、装置或设备，或前述的任何合适组合。应该认识到的是，以下虽然提供了可以对其应用本实施例的计算机可读存储介质的更具体示例，但是如本领域普通技术人员容易认识到的那样，仅仅是说明性的而非详尽列表：便携式计算机软盘；硬盘；只读存储器(ROM)；可擦除可编程只读存储器(EPROM或闪存)；便携式光盘只读存储器(CD-ROM)；光学存储设备；磁存储设备；或前述的任何合适组合。

指令可以形成有形地实施在处理器可读介质上的应用。

例如，指令可以在硬件、固件、软件或组合中。例如，可以在操作系统、单独的应用或两者的组合中找到指令。因此，处理器可以被表征为例如被配置为执行过程的设备和包括具有用于执行过程的指令的处理器可读介质(诸如存储设备)的设备。另外，除了指令之外或代替指令，处理器可读介质可以存储由实施方式产生的数据值。

装置可以在例如适当的硬件、软件和固件中实现。这种装置的示例包括个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收器、个人视频录制系统、连接的家用电器、头戴式显示设备(HMD、透视眼镜)、投影仪(投影机)、“洞穴”(包括多个显示器的系统)、服务器、视频编码器、视频解码器、处理来自视频解码器的输出的后处理器、向视频编码器提供输入的预处理器、web服务器、机顶盒，以及用于处理点云、视频或图像的任何其它设备，或其它通信设备。应当清楚的是，装备可以是移动的并且甚至安装在移动车辆中。

计算机软件可以由处理器6010或由硬件、或由硬件和软件的组合实现。作为非限制性示例，还可以通过一个或多个集成电路来实现实施例。存储器6020可以是适合于技术环境的任何类型并且可以使用任何适当的数据存储技术(诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器，作为非限制性的示例)来实现。处理器6010可以是适合于技术环境的任何类型，并且可以涵盖微处理器、通用计算机、专用计算机和基于多核体系架构的处理器中的一种或多种，作为非限制性示例。

如对于本领域普通技术人员来说显而易见的，实施方式可以产生各种被格式化为携带例如可以被存储或传输的信息的信号。信息可以包括例如用于执行方法的指令或由所描述的实施方式之一产生的数据。例如，信号可以被格式化为携带所描述的实施例的位流。这种信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码并用编码的数据流对载波进行调制。信号携带的信息可以是例如模拟或数字信息。如已知的，信号可以通过各种不同的有线或无线链路被传输。信号可以存储在处理器可读介质上。

本文使用的术语仅用于描述特定实施例的目的并且不旨在进行限制。如本文所使用的，单数形式“一个”、“一种”和“该”也可以旨在包括复数形式，除非上下文另有明确指示。将进一步理解的是，当在本说明书中使用时，术语“包括(includes)/包含(comprises)”和/或“包括(including)/包含(comprising)”可以指定所陈述的例如特征、整数、步骤、操作、元素和/或组件的存在，但不排除一个或多个其它特征、整数、步骤、操作、元素、组件和/或它们的组的存在或添加。而且，当元素被称为“响应”或“连接”到另一个元素时，它可以直接响应或连接到另一个元素，或者可以存在中间元素。相反，当元素被称为“直接响应”或“直接连接”到另一个元素时，不存在中间元素。

应该认识到的是，例如在“A/B”、“A和/或B”和“A和B中的至少一个”的情况下，符号/术语“/”、“和/或”和“至少一个”中的任何一个的使用可以旨在涵盖仅第一个列出的选项(A)的选择，或仅第二个列出的选项(B)的选择，或两个选项(A和B)的选择。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一个”的情况下，这样的措辞旨在涵盖仅第一个列出的选项(A)的选择，或仅第二个列出的选项(B)的选择，或仅第三个列出的选项(C)的选择，或仅第一个和第二个列出的选项(A和B)的选择，或仅第一个和第三个列出的选项(A和C)的选择，或仅第二个和第三个列出的选项(B和C)的选择，或所有三个选项(A和B和C)的选择。正如本领域和相关领域的普通技术人员清楚的那样，这可以扩展到与列出的一样多的项目。

在本申请中可以使用各种数值。特定值可以用于示例目的并且所描述的各方面不限于这些特定值。

将理解的是，虽然术语第一、第二等在本文中可以被用于描述各种元素，但这些元素不受这些术语的限制。这些术语仅用于将一个元素与另一个元素区分开来。例如，在不脱离本申请的教导的情况下，第一元素可以被称为第二元素，并且类似地，第二元素可以被称为第一元素。第一元素和第二元素之间不暗示排序。

对“一个实施例”或“实施例”或“一个实施方式”或“实施方式”及其其它变化的引用频繁地被用于传达特定特征、结构、特点等(结合实施例/实施方式描述的)包括在至少一个实施例/实施方式中。因此，出现在本申请各处的短语“在一个实施例中”或“在实施例中”或“在一个实施方式中”或“在实施方式中”以及任何其它变化的出现不一定都指相同的实施例。

类似地，本文对“根据实施例/示例/实施方式”或“在实施例/示例/实施方式中”及其其它变化的引用频繁地被用于传达特定特征、结构或特点(结合实施例/实施方式描述的)可以包括在至少一个实施例/示例/实施方式中。因此，出现在说明书中各处的表述“根据实施例/示例/实施方式”或“在实施例/示例/实施方式中”不一定都指相同的实施例/示例/实施方式，也不是单独或替代的实施例/示例/实施方式必须与其它实施例/示例/实施方式相互排斥。

权利要求中出现的附图标记仅用于说明并且对权利要求的范围没有限制作用。虽然没有明确描述，但是可以以任何组合或子组合来采用本实施例/示例和变体。

当图作为流程图呈现时，应当理解的是，它也提供对应装置的框图。类似地，当图作为框图呈现时，应当理解的是，它也提供对应方法/过程的流程图。

虽然其中一些图包括通信路径上的箭头以示出通信的主要方向，但应该理解的是，通信可以发生在与所描绘的箭头相反的方向上。

各种实施方式涉及解码。如本申请中使用的，“解码”可以涵盖例如对接收到的点云帧(可能包括对一个或多个点云帧进行编码的接收到的位流)执行以便产生适合显示或在重构的点云域中进一步处理的最终输出的过程的全部或部分。在各种实施例中，此类过程包括通常由基于图像的解码器执行的过程中的一个或多个。

作为进一步的示例，在一个实施例中，“解码”可以仅指熵解码，在另一个实施例中，“解码”可以仅指差分解码，而在另一个实施例中，“解码”可以指熵解码和差分解码的组合。基于具体描述的上下文，短语“解码过程”可以旨在具体地指操作的子集还是一般地指更广泛的解码过程将是清楚的，并且相信是本领域技术人员很好理解的。

各种实施方式都涉及编码。与以上关于“解码”的讨论类似，本申请中使用的“编码”可以涵盖例如对输入点云帧执行以便产生编码的位流的过程的全部或部分。在各种实施例中，此类过程包括通常由基于图像的解码器执行的过程中的一个或多个。

作为另外的示例，在一个实施例中，“编码”可以仅指熵编码，在另一个实施例中，“编码”可以仅指差分编码，而在另一个实施例中，“编码”可以指差分编码和熵编码的组合。基于特定描述的上下文，短语“编码过程”可以是旨在专门指操作的子集还是广义地指更广泛的编码过程将是显而易见的，并且相信本领域技术人员会很好地理解。

注意的是，如本文使用的语法元素(例如，标志oint_local_reconstruction_mode_present_flag)是描述性术语。因此，它们不排除其它语法元素名称的使用。

各种实施例参考速率失真优化。特别地，在编码过程期间，常常给出计算复杂性的约束，通常考虑速率与失真之间的平衡或折衷。通常将率失真优化公式化为最小化率失真函数，该函数是速率和失真的加权和。有多种解决率失真优化问题的方法。例如，这些方法可以基于对包括所有考虑的模式或译码参数值在内的所有编码选项的广泛测试，并对其译码成本以及译码和解码之后重建的信号的相关失真进行完整评估。也可以使用更快的方法来节省编码复杂性，特别是基于预测或预测残差信号而不是重建的信号来计算近似失真。也可以使用这两种方法的混合，诸如通过仅对一些可能的编码选项使用近似失真，而对其它编码选项使用完全失真。其它方法仅评估可能的编码选项的子集。更一般地，许多方法采用多种技术中的任何一种来执行优化，但是优化不一定是对译码成本和相关失真两者的完整评估。

此外，本申请可以提到“确定”各种信息。确定信息可以包括例如以下一项或多项：估计信息、计算信息、预测信息或从存储器中检索信息。

另外，本申请可以提到“访问”各种信息。访问信息可以包括例如以下一项或多项：接收信息、(例如，从存储器中)检索信息、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息。

此外，本申请可以提到“接收”各种信息。与“访问”一样，接收是广义的术语。接收信息可以包括以下一个或多个：例如，访问信息或检索信息(例如，从存储器)。另外，以一种或另一种方式，在诸如例如以下操作期间：存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息，通常涉及“接收”。

而且，如本文所使用的，词“信号”尤其是指向对应的解码器指示某物。例如，在某些实施例中，编码器用信号通知特定的语法元素SE和/或PLR元数据。以这种方式，在实施例中，可以在编码器侧和解码器侧使用相同的参数(PLR元数据)。因此，例如，编码器可以向解码器传输(明确信令)特定参数，使得解码器可以使用相同的特定参数。相反，如果解码器已经具有特定参数以及其它参数，那么可以使用信令而无需传输(隐式信令)以简单地允许解码器知道并选择特定参数。通过避免传输任何实际功能，在各种实施例中实现了位节省。应该认识到的是，可以以多种方式来完成信令。例如，在各种实施例中，一个或多个语法元素、标志等被用于将信息用信号通知给对应的解码器。虽然前面涉及词“信号”的动词形式，但词“信号”在本文中也可以用作名词。

已经描述了多个实施方式。不过，应该理解的是，可以进行各种修改。例如，可以组合、补充、修改或移除不同实施方式的元素以产生其它实施方式。此外，普通技术人员将理解的是，其它结构和过程可以替代所公开的结构和过程，并且由此产生的实施方式将以至少基本上相同的(一种或多种)方式执行至少基本上相同的(一个或多个)功能，以实现至少与所公开的实施方式基本相同的(一个或多个)结果。因而，本申请设想了这些和其它实施方式。

Claims (14)

1.一种用于对3D点云进行解码的方法，所述方法包括：

-从数据流中解码第一分层图像和相关联的第一元数据，所述元数据包括指示是否要根据点局部重构方法对所述第一分层图像进行解码的第一信息；

-在所述第一信息被启用的条件下：

在所述第一元数据中检索第一点局部重构信息和第一点局部重构模式；

根据所述第一点局部重构信息将所述第一点局部重构模式应用于所述第一分层图像以重构所述3D点云。

2.一种用于对3D点云进行解码的设备，所述设备包括处理器，所述处理器被配置用于：

-从数据流中解码第一分层图像和相关联的第一元数据，所述元数据包括指示是否要根据点局部重构方法对所述第一分层图像进行解码的第一信息；

-在所述第一信息被启用的条件下：

在所述第一元数据中检索第一点局部重构信息和第一点局部重构模式；

根据所述第一点局部重构信息将所述第一点局部重构模式应用于所述第一分层图像以重构所述3D点云。

3.如权利要求1所述的方法还包括或者如权利要求2所述的设备，其中所述处理器还被配置用于：

-从所述数据流中解码第二分层图像和相关联的第二元数据，所述第二元数据包括指示是否要根据点局部重构方法和所述第一点局部重构信息的索引对所述第二分层图像进行解码的第二信息；

-在所述第二信息被启用的条件下：

在所述第二元数据中检索第二点局部重构模式；

根据所述第一点局部重构信息将所述第二点局部重构模式应用于所述第二分层图像以重构所述3D点云。

4.如权利要求1或3所述的方法还包括或者如权利要求2或3所述的设备，其中所述处理器还被配置用于：

-从所述数据流中解码第三分层图像和相关联的第三元数据，所述第三元数据包括指示是否要根据点局部重构方法和所述第一或第二点局部重构模式的索引对所述第三分层图像进行解码的第三信息；

-在所述第三信息被启用的条件下：

在所述第三元数据中检索第三点局部重构信息；

根据所述第三点局部重构信息将所述第一或第二点局部重构模式应用于所述第三分层图像以重构所述3D点云。

5.如权利要求1或3或4之一所述的方法还包括或者如权利要求2至4之一所述的设备，其中所述处理器还被配置用于：

-从所述数据流中解码第四分层图像和相关联的第四元数据，所述第四元数据包括指示是否要根据点局部重构方法、所述第一或所述第二或所述第三点局部重构信息的索引和所述第一或所述第二或所述第三点局部重构模式的索引对所述第四分层图像进行解码的第四信息；

-在所述第四信息被启用的条件下：

根据所述第一或所述第二或所述第三点局部重构信息将所述第一或所述第二或所述第三点局部重构模式应用于所述第四分层图像以重构所述3D点云。

6.一种用于对3D点云进行编码的方法，所述方法包括：

-在数据流中对第一分层图像和相关联的第一元数据进行编码，所述元数据包括：

第一信息，指示是否要根据点局部重构方法对所述第一分层图像进行解码；以及

在所述第一信息被启用的条件下，第一点局部重构信息和第一点局部重构模式。

7.一种用于对3D点云进行编码的设备，所述设备包括处理器，所述处理器被配置用于：

-在数据流中对第一分层图像和相关联的第一元数据进行编码，所述元数据包括：

第一信息，指示是否要根据点局部重构方法对所述第一分层图像进行解码；以及

在所述第一信息被启用的条件下，第一点局部重构信息和第一点局部重构模式。

8.如权利要求6所述的方法还包括或者如权利要求7所述的设备，其中所述处理器还被配置用于：

-在所述数据流中对第二分层图像和相关联的第二元数据进行编码，所述第二元数据包括：

第二信息，指示是否要根据点局部重构方法对所述第二分层图像进行解码；

所述第一点局部重构信息的索引；以及

在所述第二信息被启用的条件下，第二点局部重构模式。

9.如权利要求6或8所述的方法还包括或者如权利要求7或8所述的设备，其中所述处理器还被配置用于：

-在所述数据流中对第三分层图像和相关联的第三元数据进行编码，所述第三元数据包括：

第三信息，指示是否要根据点局部重构方法对所述第三分层图像进行解码；

所述第一或所述第二点局部重构模式的索引；以及

在所述第三信息被启用的条件下，第三点局部重构信息。

10.如权利要求6或8或9之一所述的方法还包括或者如权利要求7至9之一所述的设备，其中所述处理器还被配置用于：

-在所述数据流中对第四分层图像和相关联的第四元数据进行编码，所述第四元数据包括：

第四信息，指示是否要根据点局部重构方法对所述第四分层图像进行解码；

所述第一或所述第二或所述第三点局部重构信息的索引；以及

所述第一或所述第二或所述第三点局部重构模式的索引。

11.一种包含数据内容的非暂时性计算机可读介质，所述数据内容是根据如权利要求6和8至10中的任一项所述的方法生成的，或者由权利要求7至10中的任一项所述的装置生成，用于使用处理器进行回放。

12.一种包括指令的计算机程序产品，当所述程序被计算机执行时，使所述计算机执行如权利要求1和3至5中的任一项所述的方法。

13.一种包括指令的计算机程序产品，当所述程序被计算机执行时，使所述计算机执行如权利要求6和8至10中的任一项所述的方法。

14.一种包括视频数据的信号，所述视频数据是根据如权利要求6和8至10中的任一项所述的方法生成的，或者由权利要求7至10中的任一项所述的装置生成，用于使用处理器进行回放。

Images