CN118369921A - 用于几何点云编码的自适应属性编码 - Google Patents

Abstract

在一些实施例中，点云解码器从点云码流解码点云。点云码流包括几何码流和属性码流。解码器解析属性码流，以识别残差编码顺序标志，该残差编码顺序标志被配置为指定残差编码顺序。如果残差编码顺序标志的值是第一值，则解码器确定属性流的至少一部分的残差编码顺序是第一顺序；如果标志的值是第二值，则解码器确定属性流的所述至少一部分的残差编码顺序是第二顺序。解码器根据所确定的残差编码顺序，将属性码流的所述至少一部分解码为属性残差，并且基于所解码的属性残差重建点云。

Description

用于几何点云编码的自适应属性编码

相关申请的交叉引用

本申请要求于2021年12月6日提交的美国临时申请第63/265,027号的标题为“Adaptive Attribute Coding for Geometry Point Cloud Coding(用于几何点云编码的自适应属性编码)”的优先权权益，在先申请的全部内容通过引用整体并入本文。

技术领域

本公开总体上涉及用于几何点云编码的计算机实现的方法和系统。具体地，本公开涉及用于几何点云编码的自适应属性编码。

背景技术

本公开的实施例涉及点云编码。点云是主要的三维(Three-Dimension，3D)数据表示之一，除了空间坐标之外，点云还提供与3D世界中的点相关联的属性。原始格式的点云需要大量的内存来存储或传输带宽。此外，更高分辨率的点云捕获技术的出现反过来对点云的大小提出了更高的要求。为了使点云可用，压缩是必要的。已经为点云压缩/编码(PointCloud Compression/coding，PCC)标准化活动提出了两种压缩技术：基于视频的PCC(Video-based PCC，V-PCC)和基于几何的PCC(Geometry-based PCC，G-PCC)。V-PCC方法是基于3D到二维(two-dimension，2D)投影，而G-PCC则相反，直接在3D空间中对内容进行编码。

发明内容

一些实施例涉及几何点云编码的自适应属性编码。在一个示例中，公开了一种用于从点云码流解码点云的方法，该点云码流包括几何码流和属性码流。该方法包括：解析属性码流，以识别残差编码顺序标志，该残差编码顺序标志被配置为指定残差编码顺序；确定残差编码顺序标志的值；响应于确定残差编码顺序标志的值是第一值，确定属性流的至少一部分的残差编码顺序是第一残差编码顺序；响应于确定残差编码顺序标志的值是第二值，确定属性流的至少一部分的残差编码顺序是第二残差编码顺序；根据所确定的残差编码顺序，将属性码流的至少一部分解码为属性残差；以及至少部分地基于所解码的属性残差重建点云。

在另一示例中，一种非暂时性计算机可读介质，其上存储有程序代码。该程序代码可由一个或多个用于执行操作的处理设备执行。操作包括：解析点云码流的属性码流，以识别残差编码顺序标志，该点云码流用于点云，该残差编码顺序标志被配置为指定残差编码顺序。点云码流包括属性码流和几何码流。操作还包括：确定残差编码顺序标志的值；响应于确定残差编码顺序标志的值是第一值，确定属性流的至少一部分的残差编码顺序是第一残差编码顺序；响应于确定残差编码顺序标志的值是第二值，确定属性流的至少一部分的残差编码顺序是第二残差编码顺序；根据所确定的残差编码顺序，将属性码流的至少一部分解码为属性残差；以及至少部分地基于所解码的属性残差重建点云。

在又一示例中，一种系统包括处理设备以及非暂时性计算机可读介质，该非暂时性计算机可读介质通信地耦合到处理设备。处理设备被配置为执行存储在非暂时性计算机可读介质中的程序代码，从而执行操作，所述操作包括：解析点云码流的属性码流，以识别残差编码顺序标志，该点云码流用于点云，该残差编码顺序标志被配置为指定残差编码顺序，点云码流包括属性码流和几何码流；确定残差编码顺序标志的值；响应于确定残差编码顺序标志的值是第一值，确定属性流的至少一部分的残差编码顺序是第一残差编码顺序；响应于确定残差编码顺序标志的值是第二值，确定属性流的至少一部分的残差编码顺序是第二残差编码顺序；根据所确定的残差编码顺序，将属性码流的至少一部分解码为属性残差；以及至少部分地基于所解码的属性残差重建点云。

上文提及这些说明性实施例不是为了限制或限定本公开，而是为了提供有助于理解的示例。在下文的详细描述中讨论了附加实施例，并且提供了进一步的描述。

附图说明

当参考附图阅读下文的详细描述时，可以更好地理解本公开的特征、实施例和优点。

图1示出了根据本公开的一些实施例的示例性编码系统的框图。

图2示出了根据本公开的一些实施例的示例性解码系统的框图。

图3示出了根据本公开的一些实施例的图1的编码系统中的示例性编码器的详细框图。

图4示出了根据本公开的一些实施例的图2的解码系统中的示例性解码器的详细框图。

图5A和5B分别示出了根据本公开的一些实施例的G-PCC的示例性八叉树结构和相应的数字表示。

图6示出了根据本公开的一些实施例的立方体的示例性结构以及与G-PCC的八叉树结构中的相邻立方体的关系。

图7示出了根据本公开的一些实施例的从点云码流解码点云的过程的示例。

具体实施方式

各种实施例提供了用于几何点云编码的自适应属性编码。点云由3D空间中的点的集合组成。3D空间中的每个点与几何位置以及相关的属性信息(例如，颜色、反射率等)相关联。为了有效地压缩点云数据，可以首先压缩点云的几何形状，然后根据点云编码技术(例如G-PCC)，基于几何信息压缩相应的属性，包括颜色或反射率。G-PCC已被广泛应用于虚拟现实/增强现实(Virtual Reality/Augmented Reality，VR/AR)、电信、自动驾驶汽车等领域；以及用于娱乐和工业应用，例如用于汽车或机器人的光探测和测距(Light DetectionAnd Ranging，LiDAR)扫描压缩以及用于导航的高清(High-Definition，HD)地图。运动图像专家组(Moving Picture Experts Group，MPEG)发布了第一版G-PCC标准，音频视频编码标准(Audio Video Coding，AVS)也正在开发G-PCC标准。

在G-PCC标准中，由于点云中的相邻点可能具有很强的相关性，因此已经开发了基于预测的编码方法，该基于预测的编码方法用于编写和编码点云属性。例如，可以从相邻的已编码属性，形成对点的属性的预测。然后，对当前属性和预测之间的差异(即残差)进行编码。为了对颜色属性的非零残差进行编码，将对属性残差的三个分量(例如，分量Y、U、V或量R、G、B)进行编码。在现有的G-PCC标准中，对三个分量进行编码的顺序被固定为两个备选的顺序之一-YUV/RGB残差编码顺序和UYV/GRB残差编码顺序。然而，不同的输入点云可能具有不同的YUV/RGB分量分布，并且具有固定残差编码顺序的G-PCC属性编码可能不能很好地适应于宽范围的输入点云，这导致了较低的编码效率。

本文所描述的各种实施例通过允许可以为点云的不同分区自适应地选择残差编码顺序来解决这些问题。提供以下非限制性示例来介绍一些实施例。在一个实施例中，通过使用导致了压缩码流中比特数较少的残差编码顺序，可以为点云或点云中的每个分区自适应地确定残差编码顺序。分区可以是序列、帧、切片、或者编码器在执行编码时作为单元处理的任何类型的分区。残差编码顺序标志可以在相应的级别使用，例如在序列参数集(Sequence Parameter Set，SPS)或切片或属性报头中使用，以指示哪个残差编码顺序将用于点云的分区。通过为点云或点云中的每个分区自适应地确定残差编码顺序，减小了编码码流的大小，从而提高了编码效率。

在进一步的示例中，唯一标识符可用于指示在几何切片报头中的活动的几何参数集合。例如，当切片报头中定义的参数被点云的其他分区(例如另一个切片)使用时，该标识符可以用于识别切片报头。此外，对于点云，可能存在多个几何序列参数集(例如，在多个几何报头中定义的几何序列参数集)。为了从多个几何序列集中指定在切片中使用的几何序列集，可以使用另一个唯一标识符并且将该唯一标识符添加到切片的几何切片报头中。

图1示出了根据本公开的一些实施例的示例性编码系统100的框图。图2示出了根据本公开的一些实施例的示例性解码系统200的框图。每个系统100或200可以应用或集成到能够进行数据处理的各种系统和装置中，例如计算机和无线通信设备。例如，系统100或200可以是以下的全部或部分：移动电话、台式计算机、膝上型计算机、平板电脑、车载计算机、游戏控制台、打印机、定位设备、可穿戴电子设备、智能传感器、虚拟现实(VirtualReality，VR)设备、增强现实(Augment Reality，AR)设备或具有数据处理能力的任何其他合适的电子设备。如图1和图2所示，系统100或200可以包括处理器102、存储器104和接口106。这些组件显示为通过总线相互连接，但也允许其他连接类型。应当理解，系统100或200可以包括用于执行本文所描述的功能的任何其他合适的组件。

处理器102可以包括微处理器，例如图形处理单元(Graphic Processing Unit，GPU)、图像信号处理器(Image Signal Processor，ISP)、中央处理单元(CentralProcessing Unit，CPU)、数字信号处理器(Digital Signal Processor，DSP)、张量处理单元(Tensor Processing Unit，TPU)、视觉处理单元(Vision Processing Unit，VPU)、神经处理单元(Neural Processing Unit，NPU)、协同处理单元(Synergistic ProcessingUnit，SPU)或物理处理单元(Physics Processing Unit，PPU)、微控制器单元(MicroController Unit，MCU)、专用集成电路(Application-Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑器件(Programmable Logic Device，PLD)、状态机、门控逻辑、分立硬件电路以及被配置为执行本公开中描述的各种功能的其他合适硬件。尽管在图1和图2中仅示出了一个处理器，但是可以理解，还可以包括多个处理器。处理器102可以是具有一个或多个处理核的硬件设备。处理器102可以执行软件。软件应广义地解释为指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用程序、软件应用程序、软件包、例程、子例程、对象、可执行文件、执行线程、过程、函数等，无论是称为软件、固件、中间件、微码、硬件描述语言还是其他。软件可以包括用解释语言、编译语言或机器码编写的计算机指令。在广泛的软件类别下，用于指示硬件的其他技术也是允许的。

存储器104可以广泛地包括存储器(又名主/系统存储器)和存储(又名辅存储器)。例如，存储器104可以包括：随机存取存储器(Random-Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、静态RAM(Static RAM，SRAM)、动态RAM(Dynamic RAM，DRAM)、铁电RAM(Ferro-Electric RAM，FRAM)、电可擦除可编程ROM(Electrically ErasableProgrammable ROM，EEPROM)、光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储器、硬盘驱动器(Hard Disk Drive，HDD)，例如磁盘存储器或其他磁存储设备、闪存驱动器、固态驱动器(Solid-State Drive，SSD)，或可用于以可由处理器102访问和执行的指令形式携带或存储所需程序代码的任何其他介质。广义地说，存储器104可以实施为任何计算机可读介质，例如非暂时性计算机可读介质。尽管在图1和图2中仅示出了一个存储器，但是可以理解，还可以包括多个存储器。

接口106可以广泛地包括数据接口和通信接口，其被配置为在与其他外部网络元件接收和发送信息的过程中接收和发送信号。例如，接口106可以包括输入/输出(Input/Output，I/O)设备和有线或无线收发器。尽管在图1和图2中仅示出了一个存储器，但是可以理解的是，还可以包括多个接口。

可以在系统100或200中以各种形式实现处理器102、存储器104和接口106，以用于执行点云编码功能。在一些实施例中，系统100或200的处理器102、存储器104和接口106在一个或多个片上系统(System-on-Chip，SOC)上实现(例如，集成)。在一个示例中，处理器102、存储器104和接口106可以集成在处理操作系统(Operating System，OS)环境中的应用处理的应用处理器(Application Processor，AP)SoC上，包括运行点云编码和点云解码的应用。在另一示例中，处理器102、存储器104和接口106可以集成在用于点云编码的专用处理器芯片上，例如专用于实时操作系统(Real-Time Operating System，RTOS)中的图形处理的GPU或ISP芯片。

如图1所示，在编码系统100中，处理器102可以包括一个或多个模块，例如编码器101。尽管图1示出了编码器101位于一个处理器102内，但是应当理解，编码器101可以包括一个或多个子模块，可以在彼此靠近或远离的不同处理器上实现这些子模块。编码器101(以及任何对应的子模块或子单元)可以是处理器102的硬件单元(例如，集成电路的一部分)，设计用于与由处理器102通过执行程序的至少一部分(即指令)来与处理器102实现的其他组件或软件单元一同使用。程序的指令可以存储在计算机可读介质上，例如存储器104，并且当由处理器102执行时，处理器102可以执行具有与点云编码相关的一个或多个功能的过程，例如体素化、变换、量化、算术编码等，详细描述参考下文。

类似地，如图2所示，在解码系统200中，处理器102可以包括一个或多个模块，例如解码器201。尽管图2示出了解码器201位于一个处理器102内，但是应当理解，解码器201可以包括一个或多个子模块，可以在彼此靠近或远离的不同处理器上实现这些子模块。解码器201(以及任何对应的子模块或子单元)可以是处理器102的硬件单元(例如，集成电路的一部分)，设计用于与由处理器102通过执行程序的至少一部分(即指令)来与处理器102实现的其他组件或软件单元一同使用。程序的指令可以存储在计算机可读介质上，例如存储器104，并且当由处理器102执行时，处理器102可以执行具有与点云解码相关的一个或多个功能的过程，例如算术解码、解量化、逆变换、重建、合成，详细描述参考下文。

图3示出了根据本公开的一些实施例的图1中的编码系统100中的示例性编码器101的详细框图。如图3所示，编码器101可以包括坐标变换模块302、体素化模块304、几何分析模块306和算术编码模块308，这些模块一同被配置为将与点云中的点相关联的位置编码到几何码流中(即，几何编码)。如图3所示，编码器101还可以包括颜色变换模块310、属性变换模块312、量化模块314和算术编码模块316，这些模块一同被配置为将与点云中的点相关联的属性编码到属性码流中(即，属性编码)。应理解，图3中所示的每一元素独立地示出以表示点云编码器中彼此不同的特征功能，并且这并不意味着每一组件由单独的硬件或单个软件的配置单元形成。即，为了便于说明，包含每一元素以作为元素来列出，并且至少两个元素可以被组合以形成单个元素，或者一个元素可以被划分为多个元素以执行功能。还应理解，元素中的一些不是执行本公开中描述的功能的必要元素，而是可以是用于改善性能的可选元素。还应理解，可以使用电子硬件、固件、计算机软件或其任意组合来实现这些元素。这些元素是否被实现为硬件、固件或软件取决于施加在编码器101上的特定应用和设计约束。还应理解，图3中所示的模块仅用于说明目的，并且在一些示例中，不同的模块可以包括在编码器101中用于点云编码。

如图3所示，可以分别对与点相关联的几何位置和属性进行编码。点云可以是位置为X_k＝(x_k,y_k,z_k)，k＝1,…,K以及属性为A_k＝(A_1k,A_2k,…,A_Dk)，k＝1,…,K的点的集合，其中，K是点云中的点的数量，D是每个点的属性的数量。在一些实施例中，属性编码取决于已解码的几何形状。因此，可以首先对点云位置进行编码。由于可以通过原始坐标系中的浮点数表示几何位置，所以坐标变换模块302和体素化模块304可以被配置为执行坐标变换；随后进行体素化处理，以量化和移除重复点。位置量化、重复点移除以及将属性分配给剩余点的过程称为体素化。体素化处理的点云可以使用例如八叉树结构以无损方式表示。几何分析模块306可以被配置为使用例如八叉树或三组方案(octree or trisoup scheme)来执行几何分析。算术编码模块308可以被配置为将来自几何分析模块306的所得到的结构算术编码到几何码流中。

在一些实施例中，几何分析模块306被配置为使用八叉树方案来执行几何分析。在八叉树方案下，立方体轴对齐的边界框B可以由两个极值点(0，0，0)和(2^d，2^d，2^d)限定，其中d是沿x、y或z方向的给定点云的最大的大小。所有点云的点都可以包含在该限定的立方体中。立方体可以被划分为八个子立方体，这创建了允许一个父立方体具有八个子立方体的八叉树结构；然后，可以通过递归地细分子立方体来构建八叉树结构，如图5A所示。如图5B所示，可以通过将1比特值与每个子立方体相关联以生成8比特代码，以指示每个子立方体是否包含点(即，立方体是满的(full)且值为1)或不包含点(即，立方体是空的(empty)且值为0)。只有尺寸大于1(即，非体素)的完整的子立方体可以被进一步细分。一个位置的几何信息(x,y,z)可以由所定义的八叉树结构表示。由于点可以被复制，多个点可以被映射到尺寸为1的相同子立方体(即，相同的体素)。为了处理此种情况，维数为1的每个子立方体的点数也进行算术编码。通过构造八叉树，与当前节点相关联的当前立方体可以由深度相同的六个立方体包围，这六个立方体与当前立方体共享一个面。取决于当前立方体的位置，一个立方体可以有多达六个相同大小的立方体来共享一个面，如图6所示。此外，当前立方体还可以具有与当前立方体共享线或点的一些相邻立方体。在一些示例中，点云可以被划分为不同粒度级别上的不同分区，例如序列、帧、切片，其中一个序列包含多个帧，一个帧包含多个切片，等等。

回到图3，关于属性编码，可选地，如果属性包括颜色，颜色变换模块310可以被配置为将每个点的红/绿/蓝(Red/Green/Blue，RGB)颜色属性转换成YCbCr(或YUV)颜色属性。属性变换模块312可以被配置为基于来自几何分析模块306(例如，使用八叉树方案)的结果，执行属性变换，包括但不限于区域自适应分层变换(Region Adaptive HierarchicalTransform，RAHT)、基于插值的分层最近相邻预测(预测变换)、以及具有更新/提升步骤(提升变换)的基于插值的分层最近相邻预测。可选地，量化模块314可以被配置为对来自属性变换模块312的属性的变换系数进行量化，以生成与每个点相关联的属性的量化级别，从而减小动态范围。算术编码模块316可以被配置为将与每个点或其量化级别相关联的属性的所得到的变换系数算术编码到属性码流中。

在一些实施例中，例如在属性变换模块312的预测变换和提升变换中，可以从相邻的已编码属性形成预测。然后，可以对当前属性和预测之间的差异(即，残差)进行编码。在对几何位置进行编码之后，可以使用莫顿代码(Morton code)或希尔伯特代码(Hilbertcode)将3D空间中的点云(例如，点云立方体)转换为1D阵列。立方体中的每个位置都有相应的Morton code或Hilbert code，但是有些位置可能没有任何相应的点云属性。换而言之，有些位置可能是空的。属性编码可以遵循预定义的Hilbert顺序或Hilbert顺序。可以根据Morton顺序或Hilbert顺序，从1D阵列中的先前已编码的点生成预测器。可以将当前点与其预测点之间的属性差异编码到码流中。

为了减少内存的使用，已经指定了一些预定义的数字来限制可用于生成预测的相邻点的数量。例如，先前的N个连续的已编码点中只有M个数据点可用于对当前属性进行编码。即，一组n个候选点可以用作候选，以选择一组m个预测点(m≤n)，用于预测属性编码中的当前点。集合中候选点的数量n等于或小于候选点的最大数量N(n≤N)，并且集合中预测点的数量m等于或小于预测点的最大数量M(m≤M)。例如，在AVS G-PCC软件中，M和N分别被设置为固定数字3和128。假设在当前点之前已经编码了128个以上的点。在此种情况下，128个先前已编码的相邻点中只有3个点可以用于根据预定义的顺序形成属性预测器。如果在当前点之前少于128个已编码的点，则所有这些已编码的点将被用作候选，以建立属性预测器。

更具体地，根据预定义的Morton或Hilbert顺序，选择当前点之前的先前的K个点(例如，K＝6)。然后，通过在N个数据点的坐标(x，y，z)上添加固定移位(例如，1)，将重新计算这N个点的新的Morton或Hilbert代码。假设当前位置处的新的Morton或Hilbert代码是X，将根据新的Morton或Hilbert代码顺序，选择当前位置之前设置的P点和之后设置的Q点。在这些预定义的K、P和Q点集中，选择M个点，这些已编码的点与当前点之间具有M个最近的“距离”。作为一个示例的距离d定义如下，同时也可以在其他示例中使用其他距离度量：

d＝|x1-x2|+ |y1-y2|+|z1-z2| (1)，

其中，(x1，y1，z1)和(x2，y2，z2)分别是当前点和候选点沿Morton或Hilbert顺序的坐标。

在另一示例中，基于Hilbert代码的完整搜索方法可以应用于AVS G-PCC属性编码。例如，搜索范围可以设置为128，且用于形成预测器的先前的点的数量被设置为M。如果在当前点之前已经编码了128个以上的点，则128个先前已编码的相邻点中只有M个点可以用于根据Hilbert顺序形成属性预测器。如果在当前点之前少于128个已编码的点，则所有这些已编码的点将被用作候选，以形成属性预测器。从超过128个先前已编码的点中选择M个点，这些已编码的点和当前点之间具有M个最近的“距离”。等式(1)中定义的距离d可以用作一个示例，同时也可以使用其他距离度量。一旦选择了M个最近的点，则形成这M个点的属性的加权平均值作为预测器，以对当前点的属性进行编码。

在一些示例中，可以通过行程编码，将当前点和其预测点之间的属性差异(即，残差)编码到码流中，其中，非零残差之间的零运行被存储为单个数据值和计数。取决于属性的类型，可以不同地定义非零残差。例如，如果属性是单值属性(如反射率)，则当残差不为零时，属性的残差也不为零。如果属性是多值属性(如YUV/RGB颜色属性)，则当三个分量中的任何一个分量不为零时，属性的残差也不为零。换而言之，只有当三个分量均为零时，颜色属性的残差才为零。非零残差中三个分量的每个值都需要被编码到码流中。

图4示出了根据本公开的一些实施例的图2中的解码系统200中的示例性解码器201的详细框图。如图4所示，解码器201可以包括算术解码模块402、几何合成模块404、重建模块406和坐标逆变换模块408，这些模块一同被配置为从几何码流中解码与点云中的点相关联的位置(即，几何解码)。如图4所示，解码器201还可以包括算术解码模块410、解量化模块412、属性逆变换模块414和颜色逆变换模块416，这些模块一同被配置为从属性码流中解码与点云中的点相关联的属性(即，属性解码)。应理解，图4中所示的每一元素独立地示出以表示点云解码器中彼此不同的特征功能，并且这并不意味着每一元素由单独的硬件或单个软件的配置单元形成。即，为了便于说明，将每一元素包括为所列出的元素，并且至少两个元素可以被组合以形成单个元素，或者一个元素可以被划分为多个元素以执行功能。还应理解，元素中的一些不是执行本公开中描述的功能的必要元素，而是可以是用于改善性能的可选元素。还应理解，可以使用电子硬件、固件、计算机软件或其任意组合来实现这些元素。这些元素是否被实现为硬件、固件或软件取决于施加在解码器201上的特定应用和设计约束。还应理解，图4中所示的模块仅用于说明目的，并且在一些示例中，不同的模块可以包括在解码器201中用于点云解码。

当接收或以其他方式获得点云码流(例如，由编码器101生成的几何码流或属性码流)时，可以以与点云编码器相反的过程，由解码器201对该码流进行解码。因此，为了便于描述，可以跳过上文相较于编码所描述的解码细节。算术解码模块402和410可以被配置为分别对几何码流和属性码流进行解码，以获得编码到码流中的各种信息。例如，算术解码模块410可以对属性码流进行解码，以获得与每个点相关联的属性信息，例如与每个点相关联的属性的量化级别或系数或属性残差。可选地，解量化模块412可以被配置为与每个点相关联的属性量化级别或属性残差进行解量化，以获得与每个点相关联的属性系数或属性残差。除了属性信息之外，算术解码模块410可以解码各种其他信息，例如用于设置属性编码的最大候选点数量的索引。

逆属性变换模块414可以被配置为执行逆属性变换，例如逆RAHT、逆预测变换或逆提升变换，以将来自变换域(例如，系数)的数据变换回属性域(例如，颜色属性的亮度和/或色度信息)。可选地，颜色逆变换模块416可以被配置为将YCbCr(或YUV)颜色属性转换成RGB颜色属性。对于几何解码，解码器201的几何合成模块404、重建模块406和坐标逆变换模块408可以被配置为分别执行编码器101的几何分析模块306、体素化模块304和坐标变换模块302的逆操作。

属性编码

在一些示例中，为了进一步压缩诸如颜色的属性，属性和其对于颜色属性的三个分量的一些或所有分量的预测之间的残差可以以特定顺序进行编码。例如，对于颜色属性，可以使用标志flagy_r来表示属性的分量Y(YUV的分量)或分量R(RGB的分量)的残差是否为零。如果属性的分量Y或R的残差为零，则标志flagy_r为零；否则，标志flagy_r为1。如果标志flagy_r为1，则将相应地按该顺序(即，Y、U、V或R、G、B)对YUV或RGB中的三个分量的残差进行编码。在一些示例中，如果标志flagy_r为1，则分量Y或R的残差不为零，并且残差减1被编码。如果标志flagy_r为零，则可以使用另一个标志flagyu_rg来表示分量YU或RG的残差是否为零。如果标志flagyu_rb为零，则分量V或分量B的残差不为零，并且将相应地对分量V或B的残差进行编码(例如，对分量V或分量B减1的残差进行编码)。如果标志flagyu_rb为1，则将相应地按该顺序(即U和V或G和B)对两个分量UV/GB的残差进行编码。这种残差编码顺序被称为YUV/RGB残差编码顺序。

在另一示例中，可以使用标志flagu_g表示属性的颜色分量U或G的残差是否为零。如果属性的分量U或G的残差为零，则标志flagu_g为零；否则，标志flagu_g为1。如果标志flagu_g为1，则将相应地按该顺序(即U、Y、V或G、R、B)对三个分量UYV/GRB的残差进行编码。在一些示例中，如果标志flagu_g为1，则分量U或G的残差不为零，并且残差减1被编码。如果flagu_g为零，则另一个标志(即flaguy_gr)表示两个分量UY/GR的残差是否为零。如果标志flaguy_gr为零，则相应地对分量V或B的残差进行编码(例如，对分量V或B减1的残差进行编码)。如果标志flaguy_gr为1，则将相应地按照Y和V或R和B的顺序对两个分量YV/RB的残差进行编码。这种残差编码顺序被称为UYV/GRB残差编码顺序。

然而，不同的PCC输入可能具有不同的YUV/RGB分量分布，并且具有固定残差编码顺序(YUV/RGB残差编码顺序或UYV/GRB残差编码顺序)的GPCC的属性编码可能不能很好地适应于宽范围的PCC输入，这导致了较低的编码效率。为了克服这一问题，可以使用不同的顺序，自适应地对属性残差进行编码，以实现更好的编码效率。

例如，可以使用一个比特标志来指示将使用哪种残差编码顺序。所提出的标志可以在多个级别(例如在序列参数集(SPS)、切片或属性报头中)上以信号发送。作为一个示例，下文示出了语法表，该语法表包括在音频视频编码标准(AVS)“GPCC WD5.0”的规范N3170的属性报头中以信号发送的所提出的标志残差_编码_顺序。添加的更改会以下划线示出，带删除线的文本将会从当前规范中删除。

残差_编码_顺序等于1将指定残差编码顺序为YUV/RGB残差编码顺序。残差_编码_ 顺序等于0将指定残差编码顺序为UYV/GRB残差编码顺序。

利用标志残差_编码_顺序，编码器可以选择导致了每个序列或切片的比特数较少的残差编码顺序，并且在适当的级别(例如SPS、切片或属性报头等)上，以信号发送标志残差_编码_顺序。在一些示例中，为整个点云确定残差编码顺序，并且指示所确定顺序的标志残差_编码_顺序可以在任何级别上签名，例如SPS、切片或属性报头等等。

虽然上述示例专注于二进制标志残差_编码_顺序，但该标志可以是多比特标志，因此使用两个以上的值来指示两个以上的残差编码顺序。例如，除了上文所讨论的两个残差编码顺序之外，编码器还可以根据点云的特征使用和选择诸如VYU/BGR残差编码顺序、UVY/RBG残差编码顺序的顺序。可以由属性码流中的标志残差_编码_顺序的相应值来指示所选择的残差编码顺序。

在进一步的示例中，唯一标识符可以用于指示在几何切片报头中设置的活动几何参数。例如，当切片报头中定义的参数被点云的其他分区(例如另一个切片)使用时，该标识符可以用于识别切片报头。此外，对于点云，可能存在多个几何序列参数集(例如，在多个几何报头中定义的几何序列参数集)。为了从多个几何序列集中指定在切片中使用的几何序列集，可以使用另一个唯一标识符并且将该唯一标识符添加到切片的几何切片报头中。作为一个示例，下文示出了语法表，该语法表包括AVS“GPCC WD5.0”，N3170的规范的切片报头中的两个提出的唯一标识符。在该示例中，两个标识符包括指示活动几何参数集合的gsh_几何_序列_参数_集合_标识和指示由为点云定义的多个几何序列集的切片所使用的几何序列参数集的gsh_几何_序列_参数_集合_标识。添加的更改会以下划线示出，带删除线的文本将会从当前规范中删除。

gsh_几何_参数_集合_标识指示活动的几何_参数_集合_标识的几何参数集合。 gsh_几何_序列_参数_集合_标识指定序列_参数_集合_标识的序列参数集的值。gsh_边界_ 框_存在_标志等于1指定几何切片边界框存在于码流中。gsh_边界_框_存在_标志等于0指 定几何切片边界框不存在于码流中。如果gsh_边界_框_存在_标志等于0，则边界框的大小 等于gpcc帧的大小。

在上述示例中，语法gsh_边界_框_存在_标志也被添加到切片报头中，以指示几何切片边界框是否存在于码流中。如果如此(例如，gsh_边界_框_存在_标志等于1)，则根据在切片报头中定义的边界框参数(例如，gsh_边界_框_偏移_x_上限、gsh_边界_框_偏移_x_下限等)确定边界框。如果gsh_边界_框_存在_标志指示几何切片边界框不存在于码流中(例如，gsh_边界_框_存在_标志等于0)，则边界框的大小等于默认值，例如，GPCC帧的大小。

在一些示例中，AVS“GPCC WD5.0”N3170的规范中的反射率和颜色属性数据编码可以修改如下。添加的更改会以下划线示出，带删除线的文本将会从当前规范中删除。

现在参考图7，图7描绘了根据本公开的一些实施例的用于从点云码流解码点云的过程700的示例。例如，过程700可以被实现为使用如上文所述的提议的改变来解码遵循G-PCC标准的视频。一个或多个计算设备通过执行合适的程序代码来实现图7所示的操作。例如，图2中的计算设备200可以通过执行相应的程序代码来实现图7中描绘的操作。出于说明的目的，参考附图中描绘的一些示例来描述过程700。然而，其他实现方式也是可能的。

在框702处，过程700包括：从点云码流解码点云。如上文所述，点云码流包括包含有点云的几何信息的几何码流以及包含有点云中的点的属性信息的属性码流。在框702处，过程700包括：解析属性码流，以识别残差编码顺序标志。该残差编码顺序标志被配置为指定属性编码的残差编码顺序。在一些示例中，残差编码顺序标志是1比特标志。在其他示例中，残差编码顺序标志可以是多比特标志。

在框704处，过程700包括：确定残差编码顺序标志的值。如果残差编码顺序标志的值是第一值(例如1)，则在框708处，过程700包括：确定属性流的至少一部分的残差编码顺序是第一残差编码顺序，例如上文所讨论的YUV/RGB残差编码顺序。如果残差编码顺序标志的值是第二值(例如0)，则在框710处，过程700包括：确定属性流的至少一部分的残差编码顺序是第二残差编码顺序，例如UYV/GRB残差编码顺序。如果残差编码顺序标志具有一个以上的值，则过程700可以涉及更多的操作，以基于残差编码顺序标志的值来确定残差编码顺序是另一个编码顺序。

在框712处，过程700包括：根据所确定的残差编码顺序，将属性码流的至少一部分解码为属性残差。在一些示例中，残差编码标志指示整个属性流的残差编码顺序，因此，解码包括根据确定的顺序对属性码流进行解码。在其他示例中，残差编码标志指示点云的分区的残差编码顺序，例如当执行编码时由编码器作为单元处理的序列、帧、切片或任何类型的分区，并且因此解码包括根据确定的顺序对点云的分区进行解码。在框714处，过程700包括：基于已解码的属性残差重建点云，如以上文关于图4详细讨论的。

在一些示例中，重建点云还包括：解析几何码流，以识别指示切片中使用的几何序列集的标识符。基于标识符，可以基于由标识符指定的几何序列集中指定的参数，对几何信息进行解码。同样，指示切片是否存在几何切片边界框的标志也可以从几何码流中识别。如果标志具有指示边界框存在的值，则切片的解码包括：根据几何码流中指定的参数(例如表示切片报头的码流的部分)，确定边界框。如果标志具有指示边界框不存在的值，则使用默认边界框执行解码。

在本公开的各个方面中，可以以硬件、软件、固件或其任意组合来实现。如果在软件中实现本文所描述的功能，这些功能可以作为指令存储在非暂时性计算机可读介质上。计算机可读介质包括计算机存储介质。存储介质可以是由处理器访问的任何可用介质，例如图1和2中的处理器102。作为示例而非限制，此种计算机可读介质可以包括：RAM、ROM、EEPROM、CD-ROM或其他光盘存储器、HDD(例如磁盘存储器或其他磁存储设备)、闪存驱动器、SSD，或任何其他可以用于以指令或数据结构的形式携带或存储所需的程序代码且可以由处理系统(例如移动设备或计算机)访问的介质。本文所使用磁盘和光盘包括：CD、激光盘、光盘、数字视频盘(Digital Video Disc，DVD)和软盘，其中磁盘通常以磁性方式再现数据，而光盘则以激光光学方式再现数据。上述组合也应包括在计算机可读介质的范围内。

本文阐述了许多具体细节，以提供对所要求保护的主题的透彻理解。然而，本领域技术人员将理解，要求保护的主题可以在没有这些具体细节的情况下实施。在其他情况下，没有详细描述普通技术人员已知的方法、装置或系统，以免模糊要求保护的主题。

除非另有明确说明，否则应当理解，在整个说明书的讨论中，使用诸如“处理”、“计算”、“计算出”、“确定”和“识别”等术语是指计算设备的动作或过程，该计算设备例如为一台或多台计算机或类似的一个或多个电子计算设备，其操纵或转换在计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内表示为物理电子或磁量的数据。

这里讨论的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括提供以一个或多个输入为条件的结果的组件的的任何合适布置。合适的计算设备包括基于多用途微处理器的计算机系统，该计算机系统访问所存储的软件，所存储的软件对从通用计算设备到实现本主题的一个或多个实施例的专用计算设备的计算系统进行编程或配置。可以使用任何合适的编程、脚本或其他类型的语言或语言组合实现将用于对计算设备进行编程或配置的软件中实现本文包含的教导。

本文所公开的方法的实施例可以在此种计算设备的操作中执行。上述示例中呈现的块的顺序可以变化-例如，块可以被重新排序、组合和/或分解为子块。一些块或进程可以并行执行。

本文中“适应于”或“配置为”的使用意味着作为一种开放和包容的语言，其不排除适应于或配置为执行附加任务或步骤的设备。此外，“基于”的使用意味着开放和包容，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作实际上可以基于所述条件或值之外的附加条件或值。本文包含的标题、列表和编号仅为了便于解释，并不意味着限制。

虽然已经针对具体实施例详细描述了本主题，但是应当理解，本领域技术人员在理解了前述内容后，可以容易地对这些实施例进行修改、变化和等同。因此，应理解，本公开是为了示例而不是限制的目的而呈现的，并且不排除包括对本领域普通技术人员来说显而易见的对本主题的修改、变化和/或添加。

Claims (20)

1.一种用于从点云码流解码点云的方法，所述点云码流包括几何码流和属性码流，所述方法包括：

解析所述属性码流，以识别残差编码顺序标志，所述残差编码顺序标志被配置为指定残差编码顺序；

确定所述残差编码顺序标志的值；

响应于确定所述残差编码顺序标志的值是第一值，确定所述属性流的至少一部分的残差编码顺序是第一残差编码顺序；

响应于确定所述残差编码顺序标志的值是第二值，确定所述属性流的所述至少一部分的残差编码顺序是第二残差编码顺序；

根据所述确定的残差编码顺序，将所述属性码流的所述至少一部分解码为属性残差；以及

至少部分地基于所解码的属性残差来重建所述点云。

2.根据权利要求1所述的方法，其中，所述第一残差编码顺序是YUV/RGB残差编码顺序，并且所述第二残差编码顺序是UYV/GRB残差编码顺序。

3.根据权利要求1所述的方法，其中，所述残差编码顺序标志被包含在所述属性流的属性报头、所述属性流的切片报头、或所述属性流的序列参数集中。

4.根据权利要求1所述的方法，还包括：响应于确定所述残差编码顺序标志的值是第三值，确定所述属性流的所述至少一部分的残差编码顺序是第三残差编码顺序。

5.根据权利要求1所述的方法，还包括：

解析所述几何码流，以识别标志，所述标志被配置为指示在切片中所使用的几何序列集；

其中，重建所述点云还包括：基于所述几何序列集重建所述点云中的所述切片的几何信息。

6.根据权利要求5所述的方法，其中，所述标志被包含于用于所述切片的几何切片报头中。

7.根据权利要求1所述的方法，还包括：

解析所述几何码流，以识别标志，所述标志被配置为指示在所述码流中是否存在几何切片边界框；

基于所述标志的值，确定所述几何切片边界框的大小；

其中，重建所述点云还包括：基于所述几何切片边界框的大小重建所述点云的几何信息。

8.一种非暂时性计算机可读介质，其上存储有程序代码，所述程序代码可由一个或多个用于执行操作的处理设备执行，所述操作包括：

解析点云的点云码流的属性码流，以识别残差编码顺序标志，所述残差编码顺序标志被配置为指定残差编码顺序，所述点云码流包括属性码流和几何码流；

确定所述残差编码顺序标志的值；

响应于确定所述残差编码顺序标志的值是第一值，确定所述属性流的至少一部分的残差编码顺序是第一残差编码顺序；

响应于确定所述残差编码顺序标志的值是第二值，确定所述属性流的所述至少一部分的残差编码顺序是第二残差编码顺序；

根据所确定的残差编码顺序，将所述属性码流的所述至少一部分解码为属性残差；以及

至少部分地基于所解码的属性残差来重建所述点云。

9.根据权利要求8所述的非暂时性计算机可读介质，其中，所述第一残差编码顺序是YUV/RGB残差编码顺序，并且所述第二残差编码顺序是UYV/GRB残差编码顺序。

10.根据权利要求8所述的非暂时性计算机可读介质，其中，所述残差编码顺序标志被包含在所述属性流的属性报头、所述属性流的切片报头、或所述属性流的序列参数集中。

11.根据权利要求8所述的非暂时性计算机可读介质，其中，所述操作还包括：响应于确定所述残差编码顺序标志的值是第三值，确定所述属性流的所述至少一部分的残差编码顺序是第三残差编码顺序。

12.根据权利要求8所述的非暂时性计算机可读介质，其中，所述操作还包括：

解析所述几何码流，以识别标志，所述标志被配置为指示在切片中所使用的几何序列集；

其中，重建所述点云还包括：基于所述几何序列集重建所述点云中的所述切片的几何信息。

13.根据权利要求12所述的非暂时性计算机可读介质，其中，所述标志被包含于用于所述切片的几何切片报头中。

14.根据权利要求8所述的非暂时性计算机可读介质，其中，所述操作还包括：

解析所述几何码流，以识别标志，所述标志被配置为指示在所述码流中是否存在几何切片边界框；

基于所述标志的值，确定所述几何切片边界框的大小；

其中，重建所述点云还包括：基于所述几何切片边界框的大小重建所述点云的几何信息。

15.一种系统，包括：

处理设备；以及

非暂时性计算机可读介质，所述非暂时性计算机可读介质通信地耦合到所述处理设备，其中，所述处理设备被配置为执行存储在所述非暂时性计算机可读介质中的程序代码，从而执行操作，所述操作包括：

解析点云的点云码流的属性码流，以识别残差编码顺序标志，所述残差编码顺序标志被配置为指定残差编码顺序，所述点云码流包括属性码流和几何码流；

确定所述残差编码顺序标志的值；

响应于确定所述残差编码顺序标志的值是第一值，确定所述属性流的至少一部分的残差编码顺序是第一残差编码顺序；

响应于确定所述残差编码顺序标志的值是第二值，确定所述属性流的所述至少一部分的残差编码顺序是第二残差编码顺序；

根据所确定的残差编码顺序，将所述属性码流的所述至少一部分解码为属性残差；以及

至少部分地基于所解码的属性残差重建所述点云。

16.根据权利要求15所述的系统，其中，所述第一残差编码顺序是YUV/RGB残差编码顺序，并且所述第二残差编码顺序是UYV/GRB残差编码顺序。

17.根据权利要求15所述的系统，其中，所述残差编码顺序标志被包含在所述属性流的属性报头、所述属性流的切片报头、或所述属性流的序列参数集中。

18.根据权利要求15所述的系统，其中，所述操作还包括：

响应于确定所述残差编码顺序标志的值是第三值，确定所述属性流的所述至少一部分的残差编码顺序是第三残差编码顺序。

19.根据权利要求15所述的系统，其中，所述操作还包括：

解析所述几何码流，以识别标志，所述标志被配置为指示在切片中所使用的几何序列集；

其中，重建所述点云还包括：基于所述几何序列集重建所述点云中的所述切片的几何信息。

20.根据权利要求15所述的系统，其中，所述操作还包括：

解析所述几何码流，以识别标志，所述标志被配置为指示在所述码流中是否存在几何切片边界框；

基于所述标志的值，确定所述几何切片边界框的大小；

其中，重建所述点云还包括：基于所述几何切片边界框的大小重建所述点云的几何信息。