CN111630571A - 处理点云 - Google Patents

Abstract

至少一个实施例涉及方法，该方法用于向点云帧添加至少一个3D样本和向所述至少一个3D样本分配颜色编码模式，所述颜色编码模式指示与所述至少一个3D样本相关联的颜色信息是否在比特流中被显式编码或者所述颜色信息是否是隐式。

Description

处理点云

技术领域

本实施例中的至少一个一般涉及点云的处理。

背景技术

本部分旨在向读者介绍本领域的各个方面，这些方面可能与以下描述和/或要求保护的本实施例中的至少一个的各个方面有关。认为该讨论有助于向读者提供背景信息，以有助于更好地理解至少一个实施例的各个方面。

点云可用于多种目的，诸如文化遗产/建筑物，其中以3D扫描诸如雕像或建筑物之类的对象，以便在不发送或访问对象的情况下共享对象的空间配置。另外，在对象可能被破坏的情况下，它是确保保留对象的知识的方式。例如，经由地震的庙宇。这种点云典型是静态的，彩色的和巨大的。

另一使用情况是在地形和地图投影中，其中使用3D表示允许不限于平面而可以包括地势的地图。谷歌地图(Google Map)现在是3D地图的良好示例，但使用网格代替点云。然而，点云可能是3D地图的合适数据格式，并且这种点云典型是静态的，彩色的和巨大的。

汽车工业和自动驾驶汽车也是其中可以使用点云的领域。自动驾驶汽车应该能够″探测″其环境，以便根据紧邻邻居的现实做出良好的驾驶决定。像LIDAR(光检测和测距)那样的典型传感器产生由决定引擎使用的动态点云。这些点云不意图由人类观看，并且它们典型很小，不一定是彩色的，并且具有高捕获频率的动态性。这些点云可能具有其他属性，像由LIDAR提供的反射率，因为该属性提供有关被感测对象的材料的良好信息，并可能有助于做出决定。

虚拟现实和沉浸式世界近来已成为热门话题，并且许多人都将其预见为2D平面视频的未来。与其中观看者只能看着观看者面前的虚拟世界的标准电视相比，其基本想法是将观看者沉浸在观看者周围的环境中。取决于环境中观察者的自由度，沉浸性有若干个等级。点云是用于分发虚拟现实(VR)世界的良好格式候选。

在许多应用中，重要的是能够通过仅消耗合理量的比特率(或存储应用程序的存储空间)而将动态点云分发给最终用户(或将其存储在服务器中)，同时保持可接受的(或优选非常好的)体验质量。这些动态点云的有效压缩是关键，以使许多沉浸式世界的分发链可行。

考虑到上述情况，已经设计出至少一个实施例。

发明内容

以下呈现本实施例中的至少一个的简化的概述，以提供本公开的一些方面的基本理解。该发明内容不是实施例的广泛概述。其并非旨在标识实施例的关键或重要元素。以下概述仅以简化形式呈现本实施例中的至少一个的一些方面，作为本文其他地方提供的更详细描述的序言。

根据至少一个实施例的一般方面，提供一种方法，该方法向点云添加至少一个3D样本，并且向所述至少一个3D样本分配颜色编码模式，所述颜色编码模式指示与所述至少一个3D样本相关联的颜色信息是否被显式编码在比特流中，或者所述颜色信息是否是隐式的。

本实施例的至少一个或多个还提供一种设备，一种计算机程序，一种计算机可读存储介质和一种信号。

从以下结合附图对示例的描述，本实施例的至少一个的特定性质以及所述本实施例的所述至少一个的其他目的，优点，特征和用途将变得显而易见。

附图说明

在附图中，例示若干个实施例的示例。附图示出：

-图1例示根据本实施例中的至少一个的基于两层的点云编码结构的示例的示意性框图；

-图2例示根据本实施例中的至少一个的基于两层的点云解码结构的示例的示意性框图；

-图3例示根据本实施例中的至少一个的基于图像的点云编码器的示例的示意性框图。

-图3a示意性地例示根据步骤3100的示例补片(patch)生成；

-图4例示根据本实施例中的至少一个的基于图像的点云解码器4000的示例的示意性框图；

-图5示意性地例示根据本实施例中的至少一个的表示基本层BL的比特流的语法的示例；

-图6例示其中实现各个方面和实施例的系统的示例的示意性框图；

-图7例示根据本实施例中的至少一个的用于将至少一个填充3D样本添加到点云帧PCF的方法的示例的示意性框图；

-图7a例示图7的方法的实施例的示例的示意性框图；

-图7b例示根据本实施例中的至少一个的用于将至少一个填充3D样本添加到点云帧PCF的方法的示例的示意性框图；

-图8示意性地例示根据图7的方法的至少一个实施例的图3a的连接组件的示例；

-图9示意性地例示子步骤7110的示例；

-图10示意性地例示子步骤7110的示例；

-图11示意性地例示步骤7200的实施例的变型的示例；和

-图12示意性地例示步骤7200的实施例的变型的示例。

具体实现方式

在下文中参考附图更全面地描述本实施例中的至少一个，在附图中示出本实施例中的至少一个的示例。然而，实施例可以以许多替代形式来体现，并且不应被解释为限于本文阐述的示例。因此，应当理解，无意将实施例限制为公开的具体形式。相反，本公开旨在覆盖落入本申请的精神和范围内的所有修改，等同和替代。

当将图作为流程图呈现时，应当理解，其还提供对应装置的框图。类似地，当将图表示为框图时，应理解，其还提供对应方法/处理的流程图。相似或相同的元素用相同的附图标记表示。

下面描述和设想的方面可以以许多不同的形式实现。下面的图1至12提供一些实施例，但是可以设想其他实施例，并且图1至12的讨论不限制实现方式的广度。

方面中的至少一个一般涉及点云编码和解码，并且至少另一个方面一般涉及传输生成或编码的比特流。

更精确地，本文描述的各种方法和其他方面可以用于修改模块。它们可以正好在重构点云的几何结构(geometry)之后，或者在重构几何结构并分配颜色信息之后完成。补片生成模块PGM(图3中的步骤3100)，纹理图像生成器TIG(图3中的步骤3400)和几何结构生成模块GGM(图4中的步骤4500)是潜在修改的模块的示例。

例如，补片生成模块PGM(图3中的步骤3100)添加至少一个填充3D样本，并且显式地编码(或不编码)与所述至少一个填充3D样本相关联的颜色信息。纹理图像生成器TIG(图3中的步骤3400)或几何结构生成模块GGM(图4中的步骤4500)可以将内插的颜色信息或解码的颜色信息分配给填充3D样本。

此外，本方面不限于诸如涉及点云压缩的MPEG-I第5部分之类的MPEG标准，并且可以应用于例如现有或未来开发的其他标准和推荐以及任何这种标准和推荐(包括MPEG-I第5部分)的扩展。除非另外指出或在技术上被排除，否则本申请中描述的方面可以单独或组合使用。

在下文中，图像数据指代数据，例如，特定图像/视频格式的2D样本的一个或若干个阵列。特定图像/视频格式可以规定与图像(或视频)的像素值有关的信息。特定图像/视频格式也可以规定可由显示器和/或任何其他设备使用以例如可视化和/或解码图像(或视频)的信息。图像典型包括2D样本的第一阵列的形状的第一分量，通常表示图像的亮度(luminance)(或luma))。图像还可以包括2D样本的其他阵列的形状的第二分量和第三分量，通常表示图像的色度(chrominance)(或色度(chroma))。一些实施例使用颜色样本的一组2D阵列(诸如传统的三色RGB表示)来表示相同的信息。

在一个或多个实施例中由C值的矢量表示像素值，其中C是分量的数量。矢量的每个值典型地用可以定义像素值的动态范围的多个比特表示。

图像块意味着属于图像的一组像素。图像块的像素值(或图像块数据)指代属于该图像块的像素的值。尽管矩形是常见的，但是图像块可以具有任意形状。

点云可以由具有唯一坐标并且还可以具有一个或多个属性的3D体积空间内的3D样本的数据集表示。

该数据集的3D样本可以由其空间位置(在3D空间中的X，Y和Z坐标)以及可能由一个或多个相关联的属性来定义，例如，诸如在RGB或YUV颜色空间中表示的颜色、透明度，反射率，两分量法线矢量或表示此样本特征的任何特征。例如，3D样本可以由6个分量(X，Y，Z，R，G，B)或等效地(X，Y，Z，y，U，V)定义，其中(X，Y，Z)定义点在3D空间中的坐标，并且(R，G，B)或(y，U，V)定义该3D样本的颜色。相同类型的属性可能被多次呈现。例如，多个颜色属性可以从不同的视点提供颜色信息。

点云取决于云是否关于时间改变可以是静态的或动态的环境，>。静态点云或动态点云的实例通常表示为点云帧。应当注意，在动态点云的情况下，3D样本的数量一般不是恒定的，相反，一般随时间改变。更一般地，如果任何量随时间改变，例如点的数量，一个或多个点的位置或任何点的任何属性，则点云可以被认为是动态的。

作为示例，可以由6个分量(u，v，Z，R，G，B)或等效地(u，v，Z，y，U，V)定义2D样本。(u，v)定义投影平面的2D空间中的2D样本的坐标。Z是投影的3D样本到此投影平面上的深度值。(R，G，B)或(y，U，V)定义此3D样本的颜色。

图1例示根据本实施例中的至少一个的基于两层的点云编码结构1000的示例的示意性框图。

基于两层的点云编码结构1000可以提供表示输入点云帧IPCF的比特流B。所述输入点云帧IPCF可能表示动态点云的帧。然后，可以由基于两层的点云编码结构1000独立于另一帧来编码所述动态点云的帧。

基本上，基于两层的点云编码结构1000可以提供将比特流B结构化为基本层BL和增强层EL的能力。基本层BL可以提供输入点云帧IPCF的有损表示，并且增强层EL可以通过编码未由基本层BL表示的隔离的点来提供无损表示。作为可能的替代，增强层EL可以通过编码未由基本层BL表示的附加点来提供输入点云帧IPCF的更高质量(但有损)的表示。

基本层BL可以由如图3所示的基于图像的编码器3000提供，编码器3000可以提供表示输入点云帧IPCF的3D样本的几何结构/属性的几何结构/纹理图像，并且可以允许丢弃隔离的3D样本。基本层BL可以由图4例示的基于图像的解码器4000解码，解码器4000可以提供中间重构的点云帧IRPCF。

然后，回到图1中的基于两层的点云编码1000，比较器COMP可以将输入点云帧IPCF的3D样本与中间重构的点云帧IRPCF的3D样本比较，以便检测/定位丢失/隔离的3D样本。接下来，编码器ENC可以编码丢失的3D样本并且可以提供增强层EL。最后，可以通过复用器MUX将基本层BL和增强层EL复用在一起，以生成比特流B。

根据一个实施例，编码器ENC可以包括检测器，该检测器可以检测中间重构的点云帧IRPCF的3D参考样本R并将其与丢失的3D样本M相关联。编码器ENC也可以是基于图像的编码器。

例如，根据给定的度量，与丢失的3D样本M相关联的3D参考样本R可以是其最接近的M的邻域。

根据实施例，编码器ENC然后可以将丢失的3D样本M的空间位置及其属性编码为根据所述3D参考样本R的空间位置和属性确定的差。

在变型中，那些差可以被单独编码。

例如，对于丢失的3D样本M，利用空间坐标x(M)，y(M)和z(M)，x坐标差Dx(M)，y坐标位置差Dy(M)，z差Dz(M)，R属性分量差Dr(M)，G属性分量差Dg(M)和B属性分量差Db(M)可以如下计算：

Dx(M)＝x(M)-x(R)，

其中，x(M)是图3提供的几何图像中3D样本M，R的x坐标，

Dy(M)＝y(M)-y(R)

其中，y(M)是图3提供的几何图像中3D样本M，R的y坐标，

Dz(M)＝z(M)-z(R)，

其中，z(M)是图3提供的几何图像中3D样本M，R的z坐标，

Dr(M)＝R(M)-R(R)。

其中R(M)，R(R)分别是3D样本M，R的颜色属性的r颜色分量，

Dg(M)＝G(M)-G(R)。

其中G(M)，G(R)分别是3D样本M，R的颜色属性的g颜色分量，

Db(M)＝B(M)-B(R)。

其中B(M)，B(R)分别是3D样本M，R的颜色属性的b颜色分量。

图2例示根据本实施例中的至少一个的基于两层的点云解码结构2000的示例的示意性框图。

基于两层的点云解码结构2000的行为取决于其能力。

具有有限能力的基于两层的点云解码结构2000可以通过使用解复用器DMUX仅访问来自比特流B的基本层BL，并且然后可以通过由图4例示的点云解码器4000解码基本层BL来提供输入点云帧IPCF的可靠(但有损)版本RPCF。

具有全部能力的基于两层的点云解码结构2000可以通过使用解复用器DMUX从比特流B访问基本层BL和增强层EL二者。如图4例示，点云解码器4000可以从基本层BL确定重构的点云帧RPCF。解码器DEC可以从增强层EL确定互补点云帧CPCF。然后，组合器COM可以将重构的点云帧RPCF和互补点云帧CPCF组合在一起，以因此提供输入点云帧IPCF的无损(或更高质量)表示(重构)CRPCF。

图3例示根据本实施例中的至少一个的基于图像的点云编码器3000的示例的示意性框图。

基于图像的点云编码器3000利用现有的视频编解码器来压缩动态点云的几何结构和纹理(属性)信息。这通过本质上将点云数据转换为一组不同的视频序列来实现。

在具体实施例中，可以使用现有的视频编解码器来生成和压缩两个视频，一个用于捕获点云数据的几何结构信息并且另一个用于捕获纹理信息。现有视频编解码器的示例是HEVC主档次(profile)编码器/解码器(ITU(02/2018)的ITU-T H.265电信标准化部，系列H：视听和多媒体系统，视听服务的基础设施-运动视频的编码，高效视频编码，ITU-T H.265推荐书)。

典型地还单独生成和压缩用于解释两个视频的附加元数据。这样的附加元数据包括例如占用图OM和/或辅助补片信息PI。

然后可以将生成的视频比特流和元数据复用在一起，以生成组合的比特流。

应该注意的是，元数据典型表示少量的整体信息。大部分信息在视频比特流中。

这种点云编码/解码过程的示例由ISO/IEC JTC1/SC29/WG11 MPEG2018/N 18030和N17996(2018年10月，澳门)中定义的测试模型类别2算法(也称为V-PCC)给出。

在步骤3100中，补片生成模块PGM可以通过使用提供最佳压缩的策略将表示输入点云帧IPCF的数据集的3D样本分解为给定投影平面上的2D样本来生成至少一个补片。

补片可以定义为一组2D样本。

例如，在V-PCC中，每个3D样本的法线首先按照Hoppe等人(Hugues Hoppe，TonyDeRose，Tom Duchamp，John McDonald，Werner Stuetzle，Surface reconstruction fromunorganized points(从未被组织化的点重构表面)，ACM SIGGRAPH 1992 Proceedings，71-78)描述的进行估计。接下来，通过将每个3D样本与包含输入点云帧IPCF的3D样本的3D边界框的六个定向平面之一相关联，获得输入点云帧IPCF的初始聚类。更准确地，每个3D样本被聚类，并与具有最接近法线的定向平面相关联(也就是，最大化点法线和平面法线的点积)。然后，将3D样本投影到其关联的平面。在其平面上形成连接区域的一组3D样本称为连接分量。连接分量是一组至少一个3D样本，其具有相似的法线和相同的相关联定向平面。然后，通过基于每个3D样本的法线及其最接近相邻样本的聚类来迭代更新与每个3D样本相关联的聚类来细化初始聚类。最后的步骤在于从每个连接分量生成一个补片，这通过将每个连接分量的3D样本投影到与所述连接分量相关联的定向平面上来完成。

图3a示意性地例示根据步骤3100的实施例的补片生成的示例，其中，点云帧(这里，2D点云帧)已经被分割成四个连接分量：包括浅灰色矩形的第一连接分量(样本)，包含深灰色矩形的第二连接分量，包含阴影矩形的第三连接分量，包含虚线矩形的第四连接分量。如图所示，第一连接分量被投影到垂直的“线”上(在所示示例中，2D样本(而不是3D样本)沿着一条线(而不是一个平面)被投影)，导致在投影线的具有一个以上的深度值(在此示例中多达三个)的一些空间位置。然后，生成三个补片#1，#2和#3，以捕获相对于第一个连接分量的所有投影的信息(深度)。

补片与辅助补片信息PI相关联，辅助补片信息PI表示为每个补片定义的辅助补片信息，以解释对应于几何结构和/或属性信息的投影2D样本。

在V-PCC中，例如，辅助补片信息PI包括：1)指示涵盖连接分量的3D样本的3D边界框的六个定向平面之一的信息；2)相对于平面法线的信息；3)确定连接分量的3D位置相对于以深度，切向位移和双切向位移表示的补片的信息；和4)诸如定义涵盖补片的2D边界框的投影平面中的坐标(u0，v0，u1，v1)的信息。

在步骤3200中，补片打包模块PPM可以将至少一个生成的补片映射(放置)到2D网格(也称为画布)上，而不以最小化未使用的空间的方式进行任何重叠，并且可以保证2D网格的每个TxT(例如，16x16)块与唯一补片相关联。2D网格的给定最小块大小TxT可以指定放置在该2D网格上的不同补片之间的最小距离。2D网格分辨率可以取决于输入点云大小，并且其宽度W和高度H以及块大小T可以作为元数据发送到解码器。

辅助补片信息PI可以还包括关于2D网格的块和补片之间的相关联性的信息。

在V-PCC中，辅助信息PI包括用于补片索引信息的块，其确定2D网格的块和补片索引之间的相关联性。

包含属于补片的2D样本的TxT块可以被认为是对应的占用图OM中的占用的块。占用图OM的块然后可以指示块是否被占用，其包含属于补片的2D样本。

图像生成过程(步骤3300和3400)利用至少一个生成的补片到在步骤3200期间计算的2D网格上的映射，以将输入点云帧IPCF的几何结构和纹理存储为图像。

在步骤3300中，几何图像生成器GIG可以从输入点云帧IPCF，占用图OM和辅助补片信息PI生成至少一个几何图像GI。几何图像生成器GIG可以利用占用图信息以便检测(定位)几何图像GI中的占用的块以及由此的非空像素。

几何图像G1可以表示输入点云帧IPCF的几何结构，并且可以是例如以YUV420-8比特格式表示的WxH像素的单色图像。

为了更好地处理将多个3D样本投影(映射)到投影平面的相同2D样本(沿着相同投影方向(线))的情况，可以生成称为层的多个图像。因此，补片的2D样本可以具有与之相关联的不同的深度值D1，...，Dn，并且生成多个几何图像。

在V-PCC中，补片的2D样本被投影到两层上。第一层(也称为近层)可以存储例如与具有最低深度的2D样本相关联的深度值D0。第二层(称为远层)可以存储例如与具有最高深度的2D样本相关联的深度值D1和D0之间的差。因此，由第二深度图像存储的信息在与范围[D0，D0+Δ]中的深度值对应的间隔[0，Δ]内，其中Δ是描述表面厚度的用户定义参数。

通过这种方式，第二层可以包含明显的轮廓状高频特征。因此，显然看起来很难通过使用传统视频编码器来编码第二深度图像，并且因此，深度值从所述解码的第二深度图像重构很差，这导致重构的点云帧的几何结构的较差质量。

根据实施例，几何图像生成模块GIG可以通过使用辅助补片信息PI来编码(推导)与第一层和第二层的2D样本相关联的深度值。

在V-PCC中，可以以深度δ(u，v)，切向位移s(u，v)和双切向位移r(u，v)如下表达具有对应的连接分量的补片中的3D样本中的位置：

δ(u，v)＝δ0+g(u，v)

s(u，v)＝s0-u0+u

r(u，v)＝r0-v0+v

其中g(u，v)是几何图像的亮度分量，(u，v)是投影平面上与3D样本相关联的像素，(δ0，s0，r0)是3D样本所属的连接分量的对应补片的3D位置，并且(u0，v0，u1，v1)是所述投影平面中的坐标，以定义涵盖与所述连接分量相关联的补片的投影的2D边界框。

因此，几何图像生成模块GIG可以如下将与层(第一层或第二层或两者)的2D样本相关联的深度值编码(推导)为亮度分量g(u，v)：g(u，v)＝δ(u，v)-δ0。注意，可以利用该关系来从重构的几何图像g(u，v)与伴随的辅助补片信息PI来重构3D样本位置(δ0，s0，r0)。

根据实施例，投影模式可以用于指示第一几何图像GI0是否可以存储第一层或第二层的2D样本的深度值，第二几何图像GI1是否可以存储与第二层或第一层的2D样本相关联的深度值。

例如，当投影模式等于0时，则第一几何图像GI0可以存储第一层的2D样本的深度值，而第二几何图像GI1可以存储与第二层的2D样本相关联的深度值。相应地，当投影模式等于1时，第一几何图像GI0可以存储第二层的2D样本的深度值，并且第二几何图像GI1可以存储与第一层的2D样本相关联的深度值。

根据实施例，可以使用帧投影模式来指示是否将固定的投影模式用于所有补片，或者是否是其中每个补片可以使用不同的投影模式的可变投影模式，。

投影模式和/或帧投影模式可以作为元数据发送。

可以在例如V-PCC的2.2.1.3.1节中提供帧投影模式判定算法。

根据实施例，当帧投影指示可以使用可变投影模式时，补片投影模式可以用于指示用于(解投影)补片的适当模式。

补片投影模式可以作为元数据被发送，并且可能是辅助补片信息PI中包括的信息。

V-PCC的第2.2.1.3.2节提供补片投影模式判定算法作为示例。

如果给定的层的数量不足，使用若干个几何层可能仍无法正确捕获点云帧的几何结构。但是，增加层的数量增加了总比特率，由此降低压缩效率。

在步骤3400中，纹理图像生成器TIG可以从输入点云帧IPCF，占用图OM，辅助补片信息PI和从视频解码器VDEC的输出的至少一个解码的几何图像的DGI推导的重构的点云帧的几何结构，生成至少一个纹理图像TI(图4中的步骤4200)。

纹理图像TI可以表示输入点云帧IPCF的纹理，并且可以是例如以YUV420-8比特格式表示的WxH像素的图像。

纹理图像生成器TG可以利用占用图信息，以便检测(定位)占用的块以及由此的纹理图像中的非空像素。

纹理图像生成器TIG可以适配于生成纹理图像TI并将其与每个几何图像/层DGI相关联。

根据实施例，纹理图像生成器TIG可以编码(存储)与第一层的2D样本相关联的纹理(属性)值T0作为第一纹理图像TI0的像素值，和编码(存储)与第二层的2D样本相关联的纹理值T1作为第二纹理图像TI1的像素值。

替代地，纹理图像生成模块TIG可以编码(存储)与第二层的2D样本相关联的纹理值T1作为第一纹理图像TI0的像素值，和编码(存储)与第一层的2D样本相关联的纹理值D0作为第二几何图像GI1的像素值。

例如，可以获得3D样本的颜色，如V-PCC的2.2.3、2.2.4、2.2.5、2.2.8或2.5节中描述。

根据实施例，可以在几何和/或纹理图像上应用填充过程。目的是填充补片之间的空余空间，以生成适合视频压缩的分段平滑图像。

V-PCC的2.2.6和2.2.7节提供图像填充示例。

在步骤3500中，视频编码器VENC可以编码生成的图像/层TI和GI。

在步骤3600中，编码器OMENC可以编码占用图作为图像，例如在V-PCC的2.2.2节中详细描述。可以使用有损或无损编码。

根据实施例，视频编码器ENC和/或OMENC可以是基于HEVC的编码器。

在步骤3700中，编码器PIENC可以编码辅助补片信息PI以及可能的附加元数据，诸如，块大小T，几何/纹理图像的宽度W和高度H。

根据实施例，辅助补片信息可以被差分编码(例如，在V-PCC的2.4.1节定义)。

在步骤3800中，生成的视频比特流，步骤3500、3600和3700的输出，以可以一起被复用器一起复用，以生成表示基本层BL的比特流。应该注意的是，元数据信息表示整个比特流的一小部分。大部分信息使用视频编解码器压缩。

图4例示根据本实施例中的至少一个的基于图像的点云解码器4000的示例的示意性框图。

在步骤4100中，解复用器DMUX可以访问表示基本层BL的比特流的编码信息。

在步骤4200中，视频解码器VDEC可以对编码的信息进行解码以推导至少一个解码的几何图像DGI和至少一个解码的纹理图像DTI。

在步骤4300中，解码器OMDEC可以解码所编码的信息以推导解码的占用图DOM。

根据实施例，视频解码器VDEC和/或OMDEC可以是基于HEVC的解码器。

在步骤4400中，解码器PIDEC可以解码所编码的信息以推导辅助补片信息DPI。

可能地，元数据也可以从比特流BL推导。

在步骤4500中，几何结构生成模块GGM可以从至少一个解码的几何图像DGI，解码的占用图DOM，解码的辅助补片信息DPI以及可能的附加元数据中推导重构的点云帧RPCF(或IRPCF)的几何结构RG。

几何结构生成模块GGM可以利用解码的占用图信息DOM，以便在至少一个解码的几何图像DGI中定位非空像素。然后可以从所述非空像素的坐标和所述重构的2D样本的值中推导与非空像素相关联的重构的3D样本的3D坐标。

根据实施例，几何结构生成模块GGM可以从非空像素的坐标推导重构的3D样本的3D坐标。

根据实施例，几何结构生成模块GGM可以从非空像素的坐标，至少一个解码的几何图像DGI之一的所述非空像素的值，解码的辅助补片信息以及可能从附加的元数据中，推导重构的3D样本的3D坐标。

非空像素的使用基于与3D样本的2D像素关系。例如，利用V-PCC中的所述投影，可以以深度δ(u，v)，切向位移s(u，v)和双切向位移r(u，u)来如下表达重构的3D样本的3D坐标如下：

δ(u，v)＝δ0+g(u，v)

s(u，v)＝s0-u0+u

r(u，v)＝r0-v0+v

其中g(u，v)是解码的几何图像DGI的亮度分量，(u，v)是与重构的3D样本相关联的像素，(δ0，s0，r0)是重构的3D样本所属的连接分量的位置，并且(u0，v0，u1，v1)是定义包含与所述连接分量相关联的补片的投影的2D边界框的投影平面中的坐标。

在步骤4600中，纹理生成模块TGM可以从几何结构RG和至少一个解码的纹理图像DTI中推导重构的点云帧RPCF(或IRPCF)的纹理。

图5示意性地例示根据本实施例中的至少一个的表示基本层BL的比特流的示例语法。

比特流包括比特流首标BSH和至少一组帧流GOFS。

一组帧流GOFS包括首标HS，表示占用图OM的至少一个语法元素OMS，表示至少一个几何图像(或视频)的至少一个语法元素GVS，表示至少一个纹理图像(或视频)的至少一个语法元素TVS和表示辅助补片信息和其他附加元数据的至少一个语法元素PIS。

在变型中，一组帧流GOFS包括至少一个帧流。

图6示出示意框图，以例示其中实现各个方面和实施例的系统的示例。

系统6000可以体现为包括以下描述的各种组件的一个或多个设备，并且被配置为执行本文档中描述的一个或多个方面。可以形成系统6000的全部或一部分的设备示例包括个人计算机，膝上型计算机，智能电话，平板电脑，数字多媒体机顶盒，数字电视接收器，个人视频记录系统，连接的家用电器，头戴式显示设备(HMD，透视眼镜)，投影仪(投影机)，“洞穴”(包括多个显示器的系统)，服务器，视频编码器，视频解码器，处理来自视频解码器的输出的后处理器，为视频编码器提供输入的预处理器，Web服务器，机顶盒以及用于处理点云，视频或图像的任何其他设备或其他通信设备。系统6000的元件可以单独或组合地体现在单个集成电路，多个IC和/或分立组件中。例如，在至少一个实施例中，系统6000的处理和编码器/解码器元件可以分布在多个IC和/或分立组件上。在各种实施例中，系统6000可以经由例如通信总线或通过专用输入和/或输出端口通信地耦合到其他类似系统或其他电子设备。在各种实施例中，系统6000可以被配置为实现本文档中描述的一个或多个方面。

系统6000可以包括至少一个处理器6010，其被配置为执行其中加载的指令，以实现例如本文档中描述的各个方面。处理器6010可以包括嵌入式存储器，输入输出接口以及本领域已知的各种其他电路。系统6000可以包括至少一个存储器6020(例如，易失性存储设备和/或非易失性存储设备)。系统6000可以包括存储设备6040，其可以包括非易失性存储器和/或易失性存储器，包括但不限于电可擦可编程只读存储器(EEPROM)，只读存储器(ROM)，可编程只读存储器(PROM)，随机存取存储器(RAM)，动态随机存取存储器(DRAM)，静态随机存取存储器(SRAM)，闪存，磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备6040可以包括内部存储设备，附接的存储设备和/或网络可访问的存储设备。

系统6000可以包括编码器/解码器模块6030，其被配置为例如处理数据以提供编码的数据或解码的数据，并且编码器/解码器模块6030可以包括其自己的处理器和存储器。编码器/解码器模块6030可以表示可以被包括在设备中以执行编码和/或解码功能的(多个)模块。众所周知，设备可以包括编码和解码模块之一或两者。另外，编码器/解码器模块6030可以被实现为系统6000的单独的元件，或者可以作为硬件和软件的组合并入处理器6010内，如本领域技术人员已知。

可以被加载到处理器6010或编码器/解码器6030上以执行本文档中描述的各个方面的程序代码可以被存储在存储设备6040中，并且随后被加载到存储器6020上以由处理器6010执行。根据各种实施例，处理器6010，存储器6020，存储设备6040和编码器/解码器模块6030中的一个或多个可以在执行本文档中描述的过程期间存储各种项目中的一个或多个。这样存储的项目可以包括但不限于点云帧，编码/解码的几何/纹理视频/图像或编码/解码的几何/纹理视频/图像的一部分，比特流，矩阵，变量以及处理方程，公式，运算和运算逻辑的中间或最终结果。

在若干个实施例中，处理器6010和/或编码器/解码器模块6030内部的存储器可用于存储指令并为可以在编码或解码期间执行的处理提供工作存储器。

然而，在其他实施例中，处理设备(例如，处理设备可以是处理器6010或编码器/解码器模块6030)外部的存储器可以用于这些功能中的一个或多个。外部存储器可以是存储器6020和/或存储设备6040，例如，动态易失性存储器和/或非易失性闪存。在若干个实施例中，外部非易失性闪存可以用于存储电视的操作系统。在至少一个实施例中，诸如RAM的快速外部动态易失性存储器可以用作用于视频编码和解码操作的工作存储器，例如用于MPEG-2第2部分(也称为ITU-T推荐书H.262和ISO/IEC 13818-2，也称为MPEG-2视频)，HEVC(高效视频编码)或VVC(多功能视频编码)。

可以通过如框6130中指示的各种输入设备来提供对系统6000的元件的输入。这种输入设备包括但不限于(i)可以接收例如由广播公司空中传输的RF信号的RF部分，(ii)复合输入端子，(iii)USB输入端子和/或(iv)HDMI输入端子。

在各种实施例中，框6130的输入设备可以具有相关联的相应输入处理元件，如本领域中已知的。例如，RF部分可以与对于以下必要的元件相关联：(i)选择期望的频率(也称为选择信号，或者将信号带限制到频带)，(ii)将所选择的信号下转换；(iii)将带再次限制到较窄的频带，以选择(例如)在某些实施例中可以称为信道的信号频带；(iv)解调下转换和频带受限的信号，(v)执行纠错和(vi)解复用以选择期望的数据分组的流。各种实施例的RF部分可以包括一个或多个执行这些功能的元件，例如，频率选择器，信号选择器，带限制器，信道选择器，滤波器，下转换器，解调器，纠错器和解复用器。RF部分可以包括执行各种这些功能的调谐器，包括例如将接收到的信号下转换到较低频率(例如，中频率或近基带频率)或基带。

在一个机顶盒实施例中，RF部分及其相关联的输入处理元件可以接收通过有线(例如，电缆)介质传输的RF信号。然后，RF部分可以通过滤波，下转换和再次滤波到期望的频带来执行频率选择。

各种实施例重新布置上述(和其他)元件的顺序，移除这些元件中的一些，和/或添加执行类似或不同功能的其他元件。

添加元件可以包括在现有元件之间的插入元件，诸如，例如，插入放大器和模数转换器。在各种实施例中，RF部分可以包括天线。

另外，USB和/或HDMI端子可以包括相应的接口处理器，用于通过USB和/或HDMI连接将系统6000连接到其他电子设备。要理解，输入处理的各个方面(例如，里德-所罗门纠错)可以根据需要例如在单独的输入处理IC内或在处理器6010内实现。类似地，USB或HDMI接口处理的各方面可以根据需要在单独的接口IC内或在处理器6010内实现。可以将解调，纠错和解复用的流提供给各种处理元件，包括例如与存储器和存储元件结合操作的处理器6010，以及编码器/解码器6030，以根据需要处理数据流以呈现在输出设备上。

系统6000的各种元件可以设置在集成壳体内。在集成壳体内，各种元件可以使用合适的连接装置6140(例如，本领域中已知的内部总线，包括I2C总线，布线和印刷电路板)互连，并在它们之间传输数据。

系统6000可以包括使得能够经由通信信道6060与其他设备通信的通信接口6050。通信接口6050可以包括但不限于被配置为通过通信信道3060发送和接收数据的收发器。通信接口6050可以包括但不限于调制解调器或网卡，并且通信信道6060可以例如在有线和/或无线介质内实现。

数据可以在各种实施例中使用诸如IEEE 802.11的Wi-Fi网络流传输到系统6000。这些实施例的W-Fi信号可以在适配于Wi-Fi通信的通信信道6060和通信接口6050上接收。这些实施例的通信信道6060典型可以连接到提供对包括因特网的外部网络的访问的接入点或路由器，以允许流传输应用和其他空中通信。

其他实施例可以使用通过输入框6130的HDMI连接来传递数据的机顶盒向系统6000提供流传输的数据。

其他实施例可以使用输入框6130的RF连接将流传输的数据提供给系统6000。

要认识到，可以以各种方式来完成信令。例如，可以在各种实施例中使用一个或多个语法元素，标志等来将信息用信号发送给相应的解码器。

系统6000可以向包括显示器6100，扬声器6110和其他外围设备6120的各种输出设备提供输出信号。其他外围设备6120在实施例的各种示例中，可以包括独立DVR，磁盘播放器，立体声系统，照明系统和提供基于系统3000的输出的功能的其他设备中的一个或多个。

在各种实施例中，可以使用诸如AV.Link(音频/视频链路)，CEC(消费电子控制)或可以在有或没有用户干预的情况下使得设备到设备的控制成为可能的其他通信协议在系统3000和显示器6100，扬声器6110或其他外围设备6120之间通信控制信号。

输出设备可以通过各个接口6070、6080和6090经由专用连接通信地耦合到系统6000。

替代地，输出设备可以经由通信接口6050使用通信信道6060连接到系统3000。显示器6100和扬声器6110可以与电子设备(诸如，例如，电视)中的系统6000的其他组件集成在单个单元中。

在各种实施例中，显示接口6070可以包括显示驱动器，例如，时序控制器(T Con)芯片。

例如，如果输入6130的RF部分是单独的机顶盒的一部分，则显示器6100和扬声器6110可以替代地与一个或多个其他组件分开。在其中显示器6100和扬声器6110可以是外部组件的各种实施例中，可以经由专用输出连接(例如，包括HDMI端口，USB端口或COMP输出)提供输出信号。

图7例示根据本实施例中的至少一个的用于将至少一个3D样本(表示为填充3D样本)添加到点云帧PCF的方法的示例的示意性框图。

所述点云帧PCF是例如从至少一个解码的几何图像DGI推导的重构的点云帧，即，例如，中间重构的点云IRPCF，重构的点云帧RPCF或从图3的至少一个解码的几何图像DGI推导的重构的点云帧。

在步骤7100中，模块确定是否不得不将至少一个填充3D样本添加到点云帧PCF。

根据步骤7100的实施例，可以根据所述当前3D样本的相邻3D样本的深度值与所述当前3D样本的深度值之间的差，从点云帧PCF的当前3D样本中添加至少一个填充3D样本。

如果不得不添加填充3D样本，则在步骤7200中，将颜色编码模式分配给所述填充3D样本。所述颜色编码模式指示与所述3D样本相关联的颜色信息是否在比特流中被显式编码(显式颜色编码模式)或颜色信息是否是隐式的(隐式颜色编码模式)，即，所述颜色信息是否从与其他3D样本(包括点云帧PCT的3D样本以及可能的其他填充3D样本)相关联的颜色信息中推导出。

确定分配给填充3D样本的颜色信息是否被显式编码是质量(显式编码时)和比特率降低(隐式时)之间的折衷。

在步骤7300中，如果显式颜色编码模式与所述填充3D样本相关联，则与填充3D样本相关联的颜色信息被编码在比特流中。

可选地，在步骤7400中，颜色编码模式被编码在比特流中。

在比特率方面，图7的方法特别有利，因为使用填充3D样本降低了正确捕获点云帧的几何结构所需要的几何图像(层)的数量，如图8例示。与仅使用几何图像捕获点云帧的几何结构的方法相比，编码很有限数量的几何图像和填充3D样本降低总体比特率。

图8示意性地例示根据图7的方法的至少一个实施例处理的图3a的连接分量的示例。

代替保留(多达)三个补片以捕获与由浅灰色矩形表示的第一连接分量有关的所有投影的信息(图3a)，根据图7的方法保留单个层(补片#1)。例如，对应于第一层的补片，即，存储与具有最小深度的2D样本相关联的深度值D0的层。然后将所述补片#1解投影，并分析解投影的连接分量以检测然后由至少一个填充3D样本填充的潜在的孔。根据该示例，添加了三个填充3D样本P1，P2和P3。

根据步骤7100的实施例，如图7a例示，添加填充3D样本包括以下子步骤：

在子步骤7110中，对于点云PCF的至少一个当前3D样本Cur，计算当前3D样本的深度值Depth(Cur)和所述当前3D样本的相邻3D样本Ni的深度值Depth(Ni)之间的最大深度差(距离)deltaMax(Cur)：

deltaMax(Cur)＝max(Depth(Ni)-Depth(Cur))

其中Ni表示当前3D样本Cur的第i相邻3D样本，而max(a，b)是两个值a和b之间的通常的最大值函数。

根据子步骤7110的实施例，相邻3D样本Ni属于以当前3D样本为中心的NxN邻域。

根据子步骤7110的变型，相邻3D样本Ni在几何图像平面上的投影和当前3D样本Cur在所述几何图像平面上的投影属于相同几何图像(相同层)的相同补片。

根据子步骤7110的变型，相邻3D样本Ni在几何图像平面上的投影和当前3D样本Cur在所述几何图像平面上的投影属于相同几何图像(相同层)的不同补片。

根据子步骤7110的变型，相邻3D样本Ni在第一几何图像平面上的投影和当前3D样本Cur在第二几何图像平面上的投影，所述第一图像平面和第二几何图像平面对应于不同几何图像(不同层)。例如，所述几何图像之一存储与具有最低深度的2D样本(所谓的V-PCC中的第一层)相关联的深度值D0，并且另一个所述几何图像存储与具有最高深度的2D样本(所谓的V-PCC中的第二层)相关联的深度值D1。

根据子步骤7110的变型，如果当前3D样本的深度值Depth(Cur)和相邻3D样本Ni的深度值Depth(Ni)之间的差不属于由下限LB和上限UB定义的值的给定范围，则其被忽略。

例如，LB＝0和UB＝4。

当没有差属于值的给定范围时，最大深度差deltaMax(当前)可以设置为0。

在子步骤7120中，添加至少一个填充3D样本，其深度值范围从Depth(Cur)到Depth(Cur)+deltaMax(Cur)-1。

根据子步骤7120的实施例，在与表示当前3D样本到图像平面上的投影的2D样本相同的2D位置处，添加至少一个填充3D样本，直到最大深度差deltaMax(Cur)。因此，向(deltMax(Cur)-1)填充3D样本添加范围从Depth(Cur)到Depth(Cur)+deltaMax(Cur)-1的深度值。

当deltMax(Cur)＝0或＝1时，则还将填充3D样本添加到所述2D位置。

图9示意性地例示当deltaMax(Cur)等于0，1、2，3和4时的子步骤7110的示例。

浅灰色矩形表示当前的3D样本Cur，块矩形表示相邻的3D样本Ni，并且十字是用于添加的填充3D样本。为了易于例示示例，假设当前3D样本Cur具有单个相邻3D样本Ni。

在图9的第一示例EX1中，深度Depth(Cur)和深度Depth(Ni)之间的差等于5并且大于上限UP(＝4)。然后，deltMax(Cur)＝0，并且添加单个填充3D样本作为表示当前3D样本的投影的2D样本的2D位置，。

在图9的第二示例EX2中，深度Depth(Cur)和深度Depth(Ni)之间的差等于4。因此，deltMax(Cur)＝4，并且在与当前3D样本Cur相同的2D位置处添加三个填充3D样本(直到最大深度差deltaMax(Cur)-1)。

在图9的第三示例EX3中，深度Depth(Cur)和深度Depth(Ni)之间的差等于3。因此，deltMax(Cur)＝3，并且在与当前3D样本Cur相同的位置处添加两个填充3D样本(直到最大深度差deltaMax(Cur)-1)。

在图9的第四示例EX4中，深度Depth(Cur)和深度Depth(Ni)之间的差等于2。因此，deltMax(Cur)＝2，并且在与3D样本Cur相同的2D位置处添加一个填充3D样本(直到最大深度差deltaMax(Cur)-1)。

在图9的第五示例EX5中，深度Depth(Cur)和深度Depth(Ni)之间的差等于1。因此，deltMax(Cur)＝1并且添加单个填充3D样本，作为表示当前3D样本的投影的2D样本的2D位置。

在图9的第六示例EX6中，深度Depth(Cur)和深度Depth(Ni)之间的差等于0。因此，deltMax(Cur)＝0，并且添加单个填充3D样本作为表示当前3D样本的投影的2D样本的2D位置。

在图9的第七示例EX7中，下限LB等于0并且上限等于4。深度Depth(Cur)和深度Depth(Ni)之间的差等于-1。因此，deltMax(Cur)＝0并且添加单个填充3D样本作为表示当前3D样本的投影的2D样本的2D位置。

根据子步骤7120的另一实施例，在与表示当前3D样本在图像平面上的投影的2D样本相同的2D位置处，添加至少一个填充3D样本，直到最大深度差deltaMax(Cur)-1，并且在与表示具有等于deltMax(Cur)-1的深度值的相邻3D样本的投影的2D位置处，添加另一个填充3D样本。因此，向(deltMax(Cur)-1)填充3D样本添加范围从Depth(Cur)到Depth(Cur)+deltaMax(Cur)-1的深度值。

图10示意性地例示当deltaMax(Cur)等于0、1、2、3和4时子步骤7110的示例。

浅灰色矩形表示当前3D样本Cur，块矩形表示相邻3D样本Ni，并且十字用于添加的填充3D样本。为了更容易例示示例，假设当前3D样本Cur具有单个相邻3D样本Ni。

在图10的第二示例EX2中，深度Depth(Cur)和深度Depth(Ni)之间的差等于4。因此，deltMax(Cur)＝4，在与当前3D样本Cur相同的2D位置处添加两个填充3D样本(直到最大深度差deltaMax(Cur)-2)，并且在与表示设置deltMax(Cur)-1的相邻3D样本的投影的2D样本的2D位置处添加另一个填充3D样本。

在图10的第三示例EX3中，深度Depth(Cur)和深度Depth(Ni)之间的差等于3。因此，deltMax(Cur)＝3，在与当前3D样本Cur相同的2D位置处添加一个填充3D样本(直到最大深度差deltaMax(Cur)-2)，并且在与表示设置deltMax(Cur)-1的相邻3D样本的投影的2D样本的2D位置处添加另一个填充3D样本。

其他示例保持与图9中描述的相同。

根据子步骤7120的变型，最大深度差deltaMax(Cur)至少等于最小值minDepth：

deltaMax(Cur)＝max((Depth(Ni)-Depth(Cur))，minDepth)

例如，minDepth可以等于1或2。

该变型通过在必要时添加至少一个填充3D样本来确保重构的点云帧的最小厚度。

根据子步骤7120的变型，可以由速率/失真优化循环通过估计编码至少一个添加的填充3D样本的成本来定义minDepth的值。

根据子步骤7120的实施例，最小值MinDepth在比特流中被传输(发信号通知发信号)。

根据步骤7300的实施例，如果将显式颜色编码模式分配给填充3D样本，则将所述颜色信息编码在纹理图像T1中。

这使保真度最大化并降低解码复杂度。

根据步骤7200的实施例，根据与所述填充3D样本Cur相关联的最大深度差deltaMax(Cur)，将颜色编码模式的值分配给填充3D样本Cur。

根据步骤7200的实施例，如果最大深度差deltaMax(Cur)等于0或1，则将显式颜色编码模式分配给要添加的填充3D样本。如果最大深度差deltaMax(Cur)大于1，则将显式颜色编码模式分配给具有最高深度值的添加的填充3D样本。具有最高深度值的添加的填充3D样本是深度值等于Depth(Cur)+deltaMax(Cur)-1的添加的填充3D样本。然后，将隐式颜色编码模式分配给其余的添加的填充3D样本(如果存在)。

图11示意性地例示当deltaMax(Cur)等于0、1、2、3和4时的步骤7200的实施例的示例。

浅灰色矩形表示当前的3D样本Cur，块矩形表示相邻3D样本Ni，十字表示添加的填充3D样本，并且散列矩形表示具有设置为显式的颜色编码的添加的填充3D样本。为了更容易说明示例，假设当前3D样本Cur具有单个相邻3D样本Ni。

这里，图9的七个示例用于非限制性示例。

在图11的第一，第六和第七示例(EX1，EX6和EX7)中，最大深度差deltaMax(Cur)等于0，然后向位于表示当前3D样本Cur的投影的2D样本的2D位置处的填充3D样本分配显式颜色编码模式。

在图11的第二示例EX2中，最大深度差deltaMax(Cur)等于4，然后向具有最高深度值的添加的填充3D样本(即，具有深度值等于Depth(Cur)+3的添加的填充3D样本)分配显式颜色编码模式。向具有深度值等于Depth(Cur)+2的添加的填充样本和向具有深度值等于Depth(Cur)+1的添加的填充3D样本分配隐式颜色编码模式。

在图11的第三示例EX3中，最大深度差deltaMax(Cur)等于3，然后向具有最大深度值的添加的3D样本(即，具有深度值等于Depth(Cur)+2的添加的填充3D样本)分配显式颜色编码模式。向具有深度值等于Depth(Cur)+1的添加的填充3D样本分配隐式颜色编码模式。

在图11的第四示例EX4中，最大深度差deltaMax(Cur)等于2，然后向具有最高深度值的添加的填充3D样本(即，具有深度值等于Depth(Cur)+1的添加的3D样本)分配显式颜色编码模式。

在图11的第五示例EX5中，最大深度差deltaMax(Cur)等于1，然后向具有最高深度值的添加的填充3D样本(即，深度值等于Depth(Cur)的添加的填充3D样本)分配显式颜色编码模式。

根据步骤7200的变型实施例，在图12中例示，如果最大深度差deltaMax(Cur)等于0或1，则向要添加的填充3D样本分配显式颜色编码模式。如果最大深度差deltaMax(Cur)大于1，则向具有中间深度值的添加的填充3D样本分配显式颜色编码模式。具有中间深度值的添加的填充3D样本是具有深度值等于ceil(Depth(Curr)+deltaMax(Curr)/2)的添加的填充3D样本。然后，向剩余的添加的填充3D样本(如果存在)分配隐式颜色编码模式。

根据步骤7300的实施例，如果与填充3D样本相关联的颜色编码模式未指示颜色信息与所述填充3D样本相关联，则通过内插与所述填充3D样本的相邻3D样本Ni相关联的颜色信息来获得与填充3D样本相关联的颜色信息。

该实施例降低了比特率。

图7b例示根据本实施例中的至少一个的用于向点云帧PCF添加至少一个3D样本(表示为填充3D样本)的方法的示例的示意性框图。

在步骤7100中，如上所述，模块确定是否不得不将至少一个填充3D样本添加到点云帧PCF。

如果不得不添加填充3D样本，则在步骤7500中，解码器解码比特流以提供与所述至少一个填充3D样本相关联的颜色编码模式。

如果所述颜色编码模式指示与所述填充3D样本相关联的颜色信息被显式编码，则在步骤7600中，解码器解码比特流以提供与所述至少一个填充3D样本相关联的颜色信息。

如果所述颜色编码模式是隐式，则在步骤7700中，模块从与包括点云帧PCT的3D样本的其他3D样本以及可能的其他填充3D样本的相关联的颜色信息中推导颜色信息。

步骤7100的实施例和变型，如图7a例示，适用于图7b的方法。

另外，图7b的方法包括解码比特流以提供最小值minDepth。

任何公知的内插函数都可以用于内插与填充3D样本中的相邻3D样本相关联的颜色信息。

例如，颜色内插函数可以是与相邻3D样本Ni相关联的颜色信息的最大值，最小值，中间值或平均值。加权平均值也可以与从邻域距离定义的权重一起使用。

颜色内插函数的另一个示例由以下伪代码给出：

RefinedColor1＝原始帧中与重构的帧中最近的3D样本(点)的颜色的列表(每个重构的3D样本一个颜色)

RefinedColor2＝重构的帧中与原始帧最近的3D样本(点)的颜色列表(每个重构的3D样本一个n个颜色的列表)。

算法

上面以伪代码呈现的算法针对要求颜色内插的重构的点云中的每个当前3D样本执行以下步骤：

-在重构的点云帧(例如IRPCF)中找到最接近的彩色3D样本的颜色和位置；

-在原始点云帧(例如IPCF)中找到最接近的彩色3D样本的颜色和位置；

-基于所有3D样本到质心的距离来平均化所有3D样本的颜色(通过平均化所述3D样本的几何坐标来计算)；

-向当前3D样本分配这种平均颜色；和

-修改当前3D样本的颜色(每个颜色分量的+/-2差内)，以使原始3D样本的误差被最小化。

可以在不同的使用情况中使用图7(编码)和7b(解码)的方法。

在第一使用情况下，单个几何图像(层)可以用于编码点云帧PCF的几何结构。例如，所述单个几何图像可以存储与具有最低深度的2D样本相关联的深度值D0。接下来，可以根据图7或7b的方法添加至少一个填充3D样本。最后，当向所述至少一个填充3D样本分配显式颜色编码模式时，与点云PCF的3D样本相关联的颜色信息可以被编码为第一纹理图像TI0，并且与至少一个填充样本相关联的颜色信息被编码为第二纹理图像TI1。

在第二使用情况下，两个几何图像GI0和GI1(两层)可以用于编码点云帧PCF的几何结构。例如，第一几何图像可以存储与具有最低深度(第一层)的2D样本相关联的深度值D0，并且，第二几何图像GI1可以存储与具有最高深度(第二层)的2D样本相关联的深度值D1。接下来，可以根据图7或7b的方法添加至少一个填充3D样本。最后，与点云PCF的3D样本相关联的颜色信息可以被编码为两个纹理图像TI0和TI1。第一纹理图像TI1相对于第一几何图像GI0编码颜色信息，并且第二纹理图像TI1相对于第二几何图像GI1编码颜色信息。当向所述至少一个填充3D样本分配显式颜色编码模式时，第三纹理图像TI2可以编码与至少一个填充样本相关联的颜色信息。

在图1-12中，本文描述各种方法，并且每个方法包括用于实现描述的方法的一个或多个步骤或动作。除非方法的正确操作要求步骤或动作的特定顺序，否则可以修改或组合特定步骤和/或动作的顺序和/或使用。

关于框图和操作流程图描述一些示例。每个框表示包括用于实现(多个)指定逻辑功能的一个或多个可执行指令的电路元件，模块或代码部分。还应注意，在其他实现方式中，框中标注的(多个)功能可以不按所述顺序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时取决于所涉及的功能可以以相反的顺序执行。

本文描述的实现方式和各方面可以在例如方法或处理，装置，计算机程序，数据流或信号中实现。即使仅在单个实现方式的形式的上下文中讨论(例如，仅作为方法讨论)，讨论的特征的实现方式也可以以其他形式(例如，装置或计算机程序)实现。

方法可以在例如诸如例如处理器中实现，该处理器一般涉及处理设备，包括例如计算机，微处理器，集成电路或可编程逻辑设备。处理器还包括通信设备

另外，该方法可以由处理器执行的指令来实现，并且这样的指令(和/或由实现方式产生的数据值)可以存储在计算机可读存储介质上。计算机可读存储介质可以采取计算机可读程序产品的形式，该计算机可读程序产品体现在一个或多个计算机可读介质中并且具有可由计算机执行的体现在其上的计算机可读程序代码。本文使用的计算机可读存储介质被认为是非暂时性存储介质，其被给定在其中存储信息的固有能力以及提供从其中检索信息的固有能力。计算机可读存储介质可以是例如但不限于电，磁，光，电磁，红外或半导体系统，装置或设备，或者前述的任何合适的组合。要认识到，以下虽然提供本原理可以应用于的计算机可读存储介质的更具体示例，但仅仅是本领域普通技术人员容易理解的例示性而非详尽的列表：便携式计算机盘；硬盘；只读存储器(ROM)；可擦除可编程只读存储器(EPROM或闪存)；便携式压缩盘只读存储器(CD-ROM)；光学存储设备；磁存储设备；或者前述的任何合适的组合。

指令可以形成有形地体现在处理器可读介质上的应用程序。

指令可以是例如在硬件，固件，软件或组合。指令可以在例如操作系统，单独的应用程序或两者的组合中找到。因此，处理器的特征在于，例如，被配置为执行处理的设备和包括具有用于实施处理的指令的处理器可读介质的设备(诸如，存储设备)两者。此外，除了指令之外或代替指令，处理器可读介质可以存储由实现方式产生的数据值。

装置可以例如以适当的硬件，软件和固件来实现。这样的装置的示例包括个人计算机，膝上型计算机，智能电话，平板计算机，数字多媒体机顶盒，数字电视接收机，个人视频记录系统，连接的家用电器，头戴式显示设备(HMD，透视眼镜)，投影仪(投影机)，″洞穴″(包括多个显示器的系统)，服务器，视频编码器，视频解码器，处理来自视频解码器的输出的后处理器，为视频编码器提供输入的预处理器，web服务器，机顶盒以及用于处理点云，视频或图像的任何其他设备或其他通信设备。应当清楚，设备可以是移动的，甚至可以安装在移动车辆中。

计算机软件可以由处理器6010或由硬件或由硬件和软件的组合来实现。作为非限制性示例，实施例还可以由一个或多个集成电路来实现。作为非限制性示例，存储器6020可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，诸如光存储器设备，磁存储器设备，基于半导体的存储器设备，固定存储器和可移动存储器。作为非限制性示例，处理器6010可以是适合于技术环境的任何类型，并且可以包括微处理器，通用计算机，专用计算机和基于多核架构的处理器中的一个或多个。

对于本领域技术人员明显的是，实现方式可以产生各种信号，这些信号被格式化以承载可以例如被存储或传输的信息。该信息可以包括例如用于执行方法的指令，或者由描述的实现方式之一产生的数据。例如，信号可以被格式化以承载所描述的实施例的比特流。这样的信号可以被格式化，例如，作为电磁波(例如，使用频谱的射频部分)或者作为基带信号。格式化可以包括，例如，编码数据流和用编码的数据流调制载波。信号承载的信息可以是例如模拟或数字信息。如已知的，信号可以通过各种不同的有线或无线链路传输。信号可以存储在处理器可读介质上。

本文使用的术语仅用于描述特定实施例·的目的，并不旨在限制本原理。如本文使用的，单数形式“一”，“一个”和“该”旨在也包括复数形式，除非上下文另有明确说明。将进一步理解，当在本说明书中使用时，术语“包括”，“包含”，“包括”和/或“包括”指定陈述的特征，整数，步骤，操作，元件和/或分量的存在，但是不排除存在或附加一个或多个其他特征，整数，步骤，操作，元素，分量和/或其分组。此外，当元件被称为“响应”或“连接”到另一个元件时，它可以直接响应或连接到另一个元件，或者可以存在中间元件。相反，当元件被称为“直接响应”或“直接连接”到其他元件时，不存在中间元件。

要认识到，使用符号/术语″/″，″和/或″，和″至少一个″中的任何，例如在″A/B″，″A和/或B″和″A和B中的至少一个″的情况下，可以意图包括对第一所列选项(A)的选择、对第二所列选项(B)的选择、或对两个选项(A和B)的选择。作为进一步的示例，在″A、B和/或C″和″A、B和C中的至少一个″的情况中，这样的措辞意图包括对第一所列选项(A)的选择、对第二所列选择(B)的选择、对第三所列选项(C)的选择、对第一和第二所列选项(A和B)的选择、对第二和第三所列选项(B和C)的选择、对第一和第三所列选项(A和C)的选择、或对全部三个选项(A和B和C)的选择。如同对于本领域和相关领域中的普通技术人员来说容易地明显的那样，可以对于所列出的许多项目扩展该措辞。

在本申请中可以使用各种数值，例如minDepth或表面厚度。特定值可以出于示例目的，并且描述的方面不限于这些特定值。

将理解的是，尽管在本文中可以使用术语第一，第二等来描述各种元素，但是这些元素不受这些术语的限制。这些术语仅用于区分一个元素和另一个元素。例如，在不脱离本申请的教导的情况下，第一元素可以被称为第二元素，并且类似地，第二元素可以被称为第一元素。在第一元素和第二元素之间没有暗示排序。

对″一个实施例″或″实施例″或″一个实现方式″或″实现方式″及其其他变型的引用经常用来传达特定特征，结构，特性等(结合实施例/实现方式描述)包括在至少一个实施例/实现方式中。因此，在本申请中各处出现的短语″在一个实施例中″或″在实施例中″或″在一个实现方式中″或″在实现方式中″以及任何其他变型的出现不一定全部是指相同的实施例。

类似地，在本文中对″根据实施例/示例/实现方式″或″在实施例/示例/实现方式″及其其他变型的引用经常用来传达特定特征，结构或特性(结合实施例/示例/实现方式描述)可以包括在至少一个实施例/示例/实现方式中。因此，说明书中各个地方出现的″根据实施例/示例/实现方式″或″在实施例/示例/实现方式″的表达不一定都指相同的实施例/示例/实现方式，分离的或替代的实施例/示例/实现不一定与其他实施例/示例/实现方式相互排斥。

出现在权利要求中的附图标记仅是说明性的，并且对权利要求的范围没有限制作用。尽管没有明确描述，但是可以以任何组合或子组合来采用本实施例/示例和变型。

当将附图作为流程图呈现时，应当理解，其还提供对应装置的框图。类似地，当附图呈现为框图时，应当理解，其还提供对应方法/过程的流程图。

尽管一些图包括通信路径上的箭头以示出通信的主要方向，但是要理解，通信可以在与描绘的箭头相反的方向上发生。

各种实现方式涉及解码。如本申请中使用的″解码″可以涵盖例如在接收到的点云帧上执行的全部或部分处理，以便产生适合于显示的最终输出。在各种实施例中，这样的过程包括典型由基于图像的解码器执行的一个或多个过程。

作为进一步的示例，在一个实施例中，″解码″可以仅指代熵解码，在另一实施例中，″解码″可以仅指代差分解码，并且在另一实施例中，″解码″可以指代熵解码和差分解码的组合。短语″解码过程″是旨在专门指代操作的子集还是一般指代更广泛的解码过程是基于特定描述的上下文而清楚的，并且被本领域技术人员很好地理解。

各种实现方式涉及编码。以与上述关于″解码″的讨论类似的方式，在本申请中使用的″编码″可以涵盖例如在输入点云帧上执行的全部或部分处理，以便产生编码的比特流。在各种实施例中，这样的过程包括典型由基于图像的解码器执行的一个或多个过程。

作为进一步的示例，在一个实施例中，″编码″可以仅指代熵编码，在另一实施例中，″编码″可以仅指代差分编码，并且在另一实施例中，″编码″可以指代差分编码和熵编码的组合。短语″编码过程″是旨在专门指代操作的子集还是一般指代更广泛的编码过程是基于特定描述的上下文而清楚的，并且被本领域技术人员很好地理解。

另外，本申请可以涉及″确定″各种信息。确定信息可以包括例如以下中的一项或多项：估计信息，计算信息，预测信息或从存储器中检索信息。

此外，本申请可以指″访问″各种信息。访问信息可以包括以下一项或多项：例如，接收信息，(例如从存储器中)检索信息，存储信息，移动信息，复制信息，计算信息，确定信息，预测信息，或估计信息。

另外，术语″添加填充3D样本″意味着包括点云帧中的3D样本。例如，当将点云的3D样本存储为表、阵列的元素时，添加填充3D样本意味着将定义所述填充3D样本的信息存储在所述表(阵列)的新元素中。

另外，术语″填充″表示3D样本根据本实施例的至少一个而创建。

另外，术语给3D样本″分配″信息(例如颜色信息或颜色编码模式)意味着将所述信息与所述3D样本相关联，例如，与表(阵列)或任何其他形式相关联。

另外，本申请可以指代″接收″各种信息。接收与″访问″一样，旨在广义术语。接收信息可以包括例如访问信息或检索信息(例如，从存储器)中的一个或多个。此外，″接收″典型在操作期间(诸如例如，存储信息，处理信息，发送信息，移动信息，复制信息，擦除信息，计算信息，确定信息，预测信息或估算信息)以某种方式被涉及。

另外，如本文所使用的，词语″信号″除了其他指代外，是向对应的解码器指示某些东西。例如，在某些实施例中，编码器向所述至少一个填充3D样本发信号通知特定的颜色编码模式，所述颜色编码模式指示分配给所述至少一个填充3D样本的颜色信息是否在比特流中被显式编码，或者所述颜色信息是否是隐式，即，内插。以此方式，在一个实施例中，可以在编码器侧和解码器侧使用相同的参数。因此，例如，编码器可以向解码器发送(显式信令)特定参数，使得解码器可以使用相同的特定参数。相反，如果解码器已经具有特定参数以及其他参数，则可以使用信令而不发送(隐式信令)以简单地允许解码器知道并选择特定参数。通过避免传输任何实际功能，在各种实施例中实现比特节省。要认识到，可以以各种方式来完成信令。例如，在各个实施例中，一个或多个语法元素，标志等被用于将信息用信号发送给对应的解码器。尽管前面涉及词语″信号″的动词形式，但词语″信号″在本文中也可以用作名词。

已经描述多个实现方式。然而，将理解，可以进行各种修改。例如，可以组合，补充，修改或移除不同实现方式的元素以产生其他实现方式。另外，普通技术人员将理解，其他结构和处理可以替代公开的那些，并且作为结果的实现方式将以至少基本相同的(多个)方式执行至少基本相同的(多个)功能，以至少实现与公开的实现方式基本相同的(多个)结果。因此，本申请考虑这些和其他实现方式。

Claims (32)

1.一种方法，包括：

-向点云帧添加至少一个3D样本；和

-向所述至少一个3D样本分配颜色编码模式，所述颜色编码模式指示与所述至少一个3D样本相关联的颜色信息是否在比特流中被显式编码或者所述颜色信息是否是隐式的；和

-如果显式颜色编码模式与所述至少一个3D样本相关联，则在比特流中编码与至少一个3D样本相关联的颜色信息。

2.根据权利要求1所述的方法，其中，所述点云帧是通过对表示点云帧的几何结构的至少一个几何图像进行去投影而获得的。

3.权利要求1或2所述的方法，其中，根据点云帧的当前3D样本的相邻3D样本的深度值与所述当前3D样本的深度值之间的差，从当前3D样本添加至少一个3D样本。

4.根据权利要求1-3之一所述的方法，其中，至少一个3D样本被添加深度值，其范围从所述点云帧的当前3D样本的深度值到等于所述当前3D样本的深度值与最大深度差的总和减去1，所述最大深度差等于所述当前3D样本的深度和所述当前3D样本的相邻3D样本的深度之间的差。

5.根据权利要求4所述的方法，其中，在与表示所述点云帧的当前3D样本在图像平面上的投影的2D样本相同的2D位置处，添加至少一个3D样本，直至最大深度差。

6.根据权利要求5所述的方法，其中，当最大深度差等于0或1时，在所述2D位置处添加3D样本。

7.根据权利要求3所述的方法，其中，在与表示所述点云帧的当前3D样本在图像平面上的投影的2D样本相同的2D位置处，添加至少一个3D样本，直至最大深度差减去1，并且在表示具有深度值等于最大深度差减去1的相邻3D样本的投影的2D样本的2D位置处添加另一个3D样本。

8.根据权利要求4-7之一所述的方法，其中，最大深度差至少等于最小值。

9.根据权利要求8所述的方法，其中，所述最小值在比特流中传输。

10.根据权利要求3所述的方法，其中，当计算最大深度差时，如果点云帧的当前3D样本的深度值与相邻3D样本的深度值之间的差不属于给定范围的值，则忽略点云帧的当前3D样本的深度值与相邻3D样本的深度值之间的差。

11.根据权利要求4所述的方法，其中，根据与所述3D样本相关联的所述最大深度差，将颜色编码模式分配给3D样本。

12.根据权利要求1所述的方法，如果显式的颜色编码模式与3D样本相关联，则与所述3D样本相关联的颜色信息被编码为图像数据，并且如果隐式的颜色编码模式与3D样本相关联，则通过内插与其他3D样本相关联的颜色信息来获得与所述3D样本相关联的颜色信息。

13.根据权利要求1所述的方法，其中，所述方法还包括：在比特流中编码与3D样本相关联的颜色编码模式。

14.一种方法，包括：

-向点云帧添加至少一个3D样本；

-如果与所述至少一个3D样本相关联的颜色编码模式指示与所述至少一个3D样本相关联的颜色信息被显式地编码在比特流中，则从比特流中解码与所述至少一个3D样本相关联的颜色信息二

-否则，与所述至少一个3D样本相关联的颜色信息是从与点云帧的其他3D样本相关联的颜色信息推导的。

15.根据权利要求14所述的方法，其中，所述点云帧通过对表示点云帧的几何结构的至少一个几何图像进行去投影而获得的。

16.根据权利要求14或15所述的方法，其中，根据点云帧的当前3D样本的相邻3D样本的深度值与所述当前3D样本的深度值之间的差，从当前3D样本添加至少一个3D样本。

17.根据权利要求14或15所述的方法，其中，至少一个3D样本被添加深度值，其范围从所述点云帧的当前3D样本的深度值到等于所述当前3D样本的深度值与最大深度差的总和减去1，所述最大深度差等于所述当前3D样本的深度和所述当前3D样本的相邻3D样本的深度之间的差。

18.根据权利要求17所述的方法，其中，在与表示所述点云帧的当前3D样本在图像平面上的投影的2D样本相同的2D位置处，添加至少一个3D样本，直至最大深度差。

19.根据权利要求18所述的方法，其中，当最大深度差等于0或1时，则在所述2D位置处添加3D样本。

20.根据权利要求16所述的方法，其中，在与表示所述点云帧的当前3D样本在图像平面上的投影的2D样本相同的2D位置处，添加至少一个3D样本，直至最大深度差减去1，并且在与表示具有深度值等于最大深度差减去1的相邻3D样本的投影的2D样本的2D位置处添加另一个3D样本。

21.根据权利要求17-20之一所述的方法，其中，所述最大深度差至少等于最小值。

22.根据权利要求21所述的方法，其中，所述方法还包括：解码比特流以提供所述最小值。

23.根据权利要求17所述的方法，其中，当计算最大深度差时，如果点云帧的当前3D样本的深度值与相邻3D样本的深度值之间的差不属于给定范围的值，则忽略点云帧的当前3D样本的深度值与相邻3D样本的深度值之间的差。

24.根据权利要求14所述的方法，其中，如果显式的颜色编码模式与3D样本相关联，则与所述3D样本相关联的颜色信息被编码为图像数据，并且如果隐式的颜色编码模式与3D样本相关联，则通过内插与其他3D样本相关联的颜色信息来获得与所述3D样本相关联的颜色信息。

25.根据权利要求14所述的方法，其中，所述方法还包括：解码比特流以提供与3D样本相关联的颜色编码模式。

26.一种信号，包括用于至少一个3D样本的颜色编码模式，所述颜色编码模式指示与所述至少一个3D样本相关联的颜色信息是否在比特流中被显式编码，或者所述颜色信息是否是隐式的。

27.根据权利要求26所述的信号，其中，当与至少一个3D样本相关联的颜色编码模式指示颜色信息是显式的时，所述信号还包括与所述至少一个3D样本相关联的颜色信息。

28.根据权利要求26或27所述的信号，其中，信号还包括关于最大深度差的信息，所述最大深度差等于点云的当前3D样本的深度与所述当前3D样本的相邻3D样本的深度之间的差。

29.一种设备，包括至少一个处理器，配置为：

-向点云帧添加至少一个3D样本；和

-向所述至少一个3D样本分配颜色编码模式，所述颜色编码模式指示与所述至少一个3D样本相关联的颜色信息是否在比特流中被显式编码或者所述颜色信息是否是隐式的；和

-如果显式的颜色编码模式与所述至少一个3D样本相关联，则在比特流中编码与至少一个3D样本相关联的颜色信息。

30.一种设备，包括至少一个处理器，配置为：

-向点云帧添加至少一个3D样本；

-如果与所述至少一个3D样本相关联的颜色编码模式指示与所述至少一个3D样本相关联的颜色信息被显式地编码在比特流中，则从比特流中解码与所述至少一个3D样本相关联的颜色信息二

-否则，与所述至少一个3D样本相关联的颜色信息是与点云帧的其他3D样本相关联的颜色信息推导的。

31.一种非暂时性计算机可读介质，包括用于使一个或多个处理器执行以下操作的指令：

-向点云帧添加至少一个3D样本；和

-向所述至少一个3D样本分配颜色编码模式，所述颜色编码模式指示与所述至少一个3D样本相关联的颜色信息是否在比特流中被显式编码或者所述颜色信息是否是隐式的；和

-如果显式的颜色编码模式与所述至少一个3D样本相关联，则在比特流中编码与至少一个3D样本相关联的颜色信息。

32.一种非暂时性计算机可读介质，包括用于使一个或多个处理器执行以下操作的指令：

-向点云帧添加至少一个3D样本；

-如果与所述至少一个3D样本相关联的颜色编码模式指示与所述至少一个3D样本相关联的颜色信息被显式地编码在比特流中，则从比特流中解码与所述至少一个3D样本相关联的颜色信息二

-否则，与所述至少一个3D样本相关联的颜色信息是从与点云帧的其他3D样本相关联的颜色信息推导的。

Images