[go: up one dir, main page]

CN119251439A - 基于优先化排序的变换而优化动态点云的系统和方法 - Google Patents

基于优先化排序的变换而优化动态点云的系统和方法 Download PDF

Info

Publication number
CN119251439A
CN119251439A CN202411089680.9A CN202411089680A CN119251439A CN 119251439 A CN119251439 A CN 119251439A CN 202411089680 A CN202411089680 A CN 202411089680A CN 119251439 A CN119251439 A CN 119251439A
Authority
CN
China
Prior art keywords
point cloud
server
client
change
representations
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202411089680.9A
Other languages
English (en)
Inventor
塔图·V·J·哈尔维艾宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PCMS Holdings Inc
Original Assignee
PCMS Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PCMS Holdings Inc filed Critical PCMS Holdings Inc
Publication of CN119251439A publication Critical patent/CN119251439A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供一种基于优先化排序的变换而优化动态点云的系统和方法，所公开的示例方法包括：(i)将第一点云传输到客户端，其中所述第一点云对应于参考点云，(ii)接收第二点云，以及(iii)从所述参考点云分层地确定所述第二点云中的变化，其中分层地确定所述变化包括：(a)识别所述第二点云中的已经从所述参考点云变化的第一区域，以及(b)对于具有最高优先级的第一区域，确定对从所述参考点云的第一变化进行近似的第一刚性3D变换，并且如果所述第一刚性3D变换不能被确定，则进一步确定要用于修改所述参考点云的第一点，其中所述第一点表示所述第一变化。

Description

基于优先化排序的变换而优化动态点云的系统和方法
本申请为申请日是2019年3月19日、题为“基于优先化排序的变换而优化动态点云的系统和方法”的中国专利申请No.201980031106.9的分案申请，该母案申请的内容通过引用而被整体结合于此。
交叉引用部分
本申请是以下申请的非临时申请并根据35U.S.C.§119(e)要求其权益：2018年3月20日提交的题为“System and Method for Optimizing Dynamic Point Clouds Based onPrioritized Transformations(基于优先化排序的变换而优化动态点云的系统和方法)”的美国临时专利申请No.62/645,603，该美国临时专利申请通过引用而被整体结合于此。
背景技术
随着新的系统和传感器变得可用于捕获高分辨率三维(3D)数据，出现了传输动态点云序列的大数据大小的挑战。例如，发布一个人的完整3D外观所需的数据吞吐量的测试已经揭示了限制高分辨率数据捕获和发布的实用性的若干网络瓶颈。
发明内容
根据一些实施例，一种在服务器处执行的方法包括：向客户端发送第一点云，其中所述第一点云对应于参考点云；接收第二点云；以及从所述参考点云分层地确定所述第二点云中的变化，其中分层地确定所述变化包括：识别所述第二点云中的已从所述参考点云变化的第一区域；优先化排序(prioritizing)所述第一区域；以及对于具有最高优先级的第一区域，确定是否存在对从所述参考点云的第一变化进行近似(approximate)的第一刚性3D变换；响应于确定存在所述第一刚性3D变换，确定对从所述参考点云的所述第一变化进行近似的所述第一刚性3D变换；以及响应于确定不存在所述第一刚性3D变换，进一步确定要用于修改所述参考点云的第一点，其中所述第一点表示所述第一变化。
根据一些实施例，一种在服务器处执行的方法包括：向客户端发送第一点云，其中所述第一点云对应于参考点云；接收第二点云；以及从所述参考点云分层地确定所述第二点云中的变化，其中分层地确定所述变化包括：识别所述第二点云中的已从所述参考点云变化的第一区域；优先化排序所述第一区域；以及对于具有最高优先级的第一区域，确定对从所述参考点云的第一变化进行近似的第一刚性3D变换，并且如果不能确定所述第一刚性3D变换，则进一步确定要用于修改所述参考点云的第一点，其中所述第一点表示所述第一变化。
在一些实施例中，用于修改所述参考点云的所述第一点包括以下至少一者：(i)要从参考点云移除的点或(ii)添加到所述参考点云的点。在一些实施例中，识别所述第一区域包括将所述第二点云与所述参考点云进行比较以识别所述第二点云中的偏离所述参考点云的区域。在一些实施例中，对所述第一区域进行优先化排序包括：至少部分基于所述客户端的当前视点，向所述第一区域中的每一个区域指派相应的第一优先级。在一些实施例中，将所述相应的第一优先级指派给所述第一区域中的每一个区域包括使用主要区域的大小、所述第一区域与所述参考点云的偏离量以及所述第一区域与所述客户端的所述当前视点的距离来确定所述相应的第一优先级。此外，在一些实施例中，确定所述第一刚性3D变换是否存在包括确定是否已经找到所述参考点云和所述第二点云之间的形状对应(correspondence)。
在一些实施例中，该方法还包括：从所述客户端接收所述当前视点。在一些实施例中，该方法还包括存储所述参考点云，并且如果已经确定了所述第一3D刚性变换，则通过向所述参考点云应用所述第一刚性3D变换来更新在所述服务器处存储的所述参考点云。在一些实施例中，该方法还包括向客户端发送关于具有最高优先级的第一区域的指示和3D变换以在客户端处更新所述参考点云。在一些实施例中，所述关于具有最高优先级的第一主要区域的指示包括包围体坐标。
在一些实施例中，该方法还包括存储所述参考点云，并且如果已经确定了所述第一点，则通过利用所述第一点修改所述参考点云来更新存储在所述服务器处的所述参考点云。在一些实施例中，该方法还包括向客户端发送关于所述第一点的指示以在客户端处更新所述参考点云。
在一些实施例中，分层地确定所述变化还包括：识别具有所述最高优先级的所述第一区域内的一个或多个第一子区域，对所述第一子区域进行优先化排序，并将经优先化排序的第一子区域添加到剩余的经优先化排序的第一区域。在一些实施例中，该方法还包括，对于在剩余的优先化排序的第一区域和所述优先化排序的第一子区域当中具有次高优先级的区域，确定(i)对从所述更新的参考点云的第二变化进行近似的第二刚性3D变换或(ii)要被用来修改所述更新的参考点云的第二点，其中所述第二点表示所述第二变化。就这一点而言，在一些实施例中，该方法还包括与客户端协商一处理预算，其中该处理预算提供可用于点云更新的至少时间量和带宽，并且其中仅当所述处理预算可用时才执行确定用于具有次高优先级的区域的第二刚性3D变换或第二点。
在一些实施例中，识别所述一个或多个第一子区域包括：将所述第二点云与所述更新的参考点云进行比较，以识别偏离所述更新的参考点云的较细粒度区域。在一些实施例中，对所述第一子区域进行优先化排序包括向每个所述第一子区域指派相应的第二优先级。在一些实施例中，该方法包括与客户端协商处理预算，其中该处理预算至少提供可用于点云更新的时间量和带宽。
在一些实施例中，所述参考点云或所述第二点云中的至少一者包括传感器数据。在一些实施例中，从存储介质接收所述参考点云和所述第二点云作为点云数据的预捕获动态序列。此外，在一些实施例中，该方法还包括与多个客户端通信，并且针对多个客户端中的每一者执行该方法。
根据一些实施例，一种在服务器处执行的方法包括：向客户端发送初始点云；以及从所述初始点云分层地确定当前点云中的变化，其中分层地确定所述变化包括：识别所述当前点云中的主要变化区域；使用第一主要变化区域来确定是否存在对从所述初始点云的第一变化进行近似的第一刚性3D变换；响应于确定存在所述第一刚性3D变换，确定对从所述初始点云的所述第一变化进行近似的所述第一刚性3D变换；响应于确定所述第一刚性3D变换不存在，进一步确定要用于修改所述初始点云的第一点，其中所述第一点表示所述第一变化；识别所述主要变化区域内的一个或多个较细粒度的残余变化区域；使用所述一个或多个较细粒度的残余变化区域和剩余的主要变化区域来确定是否存在对从所述初始点云的第二变化进行近似的第二刚性3D变换；响应于确定存在所述第二刚性3D变换，确定对从所述初始点云的所述第二变化进行近似的所述第二刚性3D变换；以及响应于确定不存在所述第二刚性3D变换，进一步确定要用于进一步修改所述初始点云的第二点，其中所述第二点表示所述第二变化。
根据一些实施例，一种在服务器处执行的传输时变点云数据的方法包括：向客户端发送初始点云；以及从初始点云分层地确定当前点云中的变化，其中分层地确定所述变化包括：识别所述当前点云中的主要变化区域；使用第一主要变化区域来确定对从所述初始点云的第一变化进行近似的第一刚性3D变换，并且如果不能确定所述第一刚性3D变换，则进一步确定要用于修改所述初始点云的第一点，其中所述第一点表示所述第一变化；识别所述主要变化区域内的一个或多个较细粒度的残余变化区域；以及使用所述一个或多个较细粒度的残余变化区域和剩余的主要变化区域来确定对从所述初始点云的第二变化进行近似的第二刚性3D变换，并且如果不能确定所述第二刚性3D变换，则进一步确定要用于进一步修改所述初始点云的第二点，其中所述第二点表示所述第二变化。
在一些实施例中，针对所述一个或多个较细粒度的残余变化区域之一，确定所述第二刚性3D变换。在一些实施例中，针对所述剩余主要变化区域中的一个区域，确定所述第二刚性3D变换。在一些实施例中，针对所述剩余主要变化区域中的一个区域，确定所述第二刚性3D变换。此外，在一些实施例中，所述方法还包括向所述客户端传输以下至少一者：(i)所述第一刚性3D变换和指示第一变化区域的第一包围体坐标、(ii)所述第二刚性3D变换和指示第二变化区域的第二包围体坐标、(iii)所述第一点、以及(iv)所述第二点。
根据一些实施例，一种在服务器处执行的方法包括：接收第一3D数据作为初始点云；响应于来自所述客户端的对点云数据流式传输的请求，将所述初始点云传输到所述客户端，并且将所述初始点云存储为参考点云；以及对于每个当前点云，迭代地执行包括以下步骤的过程：接收第二3D数据作为所述当前点云；接收第二3D数据作为所述当前点云；相对于所述参考点云执行对所述当前点云的分层检查，这其中包括：识别偏离所述参考点云的区域；将所述偏离区域分离为第一聚类；通过计算指示所述第一聚类的每一聚类的重要性的相应第一分数来对所述第一聚类进行优先化排序，每个第一分数至少部分地基于所述客户端的当前视点来计算；以及对于具有最高优先级的第一聚类，确定是否存在对从所述参考点云的第一偏离进行近似的变换；如果存在所述变换，则将所述变换应用于所存储的参考点云以更新所述参考点云，并且将关于所述第一聚类中的区域的指示和所述变换发送到所述客户端；如果不存在，则对所述存储的参考点云进行增加点和移除点中的至少一种操作以更新所述参考点云，并将所述点发送到所述客户端。
在一些实施例中，相对于所述参考点云执行对所述当前点云的分层检查还包括：在处理具有所述最高优先级的所述第一聚类之后，识别所述第一聚类内的仍然偏离所述更新的参考点云的子区域；将所述偏离子区域分离成第二聚类；通过计算指示所述第二聚类中的每一聚类的重要性的相应第二分数来对所述第二聚类进行优先化排序，每个第二分数至少部分地基于所述客户端的所述当前视点来计算；将所述经优先化排序的第二聚类添加到所述经优先化排序的第一聚类的其余聚类，并且对于具有次高优先级的下一聚类，确定是否存在对从所述经更新的参考点云的第二偏离进行近似的另一变换；如果存在所述另一变换，则将所述另一变换应用于所述更新存储的更新参考点云以进一步更新所述参考点云，并且将关于所述处理的第一聚类中的子区域的另一指示和所述另一变换发送到所述客户端；以及如果不存在所述另一变换，则执行从所述更新的参考点云添加附加点或移除附加点中的至少一个操作以更新所述参考点云，并且将所述附加点传输到所述客户端。
在一些实施例中，在接收到来自所述客户端的请求时或者当所述服务器和所述客户端之间协商的处理预算不再可用于进一步处理时，终止所述过程。
其它实施例包括被配置成执行本文描述的方法的系统和服务器(例如，其具有处理器和存储供该处理器执行的多个指令的非瞬态计算机可读介质)。在一些实施例中，所述系统还包括至少一个3D传感器。
附图说明
从以下结合附图以示例方式呈现的描述中可以获得更详细的理解。此外，图中相同的附图标记表示相同的元素。
图1A是示出了可以实施所公开的一个或多个实施例的示例性通信系统的系统示意图。
图1B是示出了根据实施例的可以在图1A所示的通信系统内部使用的示例性无线发射/接收单元(WTRU)的系统示意图。
图1C是示出了根据实施例的可以在图1A所示的通信系统内部使用的示例性无线电接入网络(RAN)和示例性核心网络(CN)的系统示意图。
图1D是示出了根据实施例的可以在图1A所示的通信系统内部使用的另一个示例性RAN和另一个示例性CN的系统示意图。
图2示出了根据一些实施例的其中可以采用本公开的各种实施例的示例系统布置。
图3A示出了根据一些实施例的可以被捕获和处理的示例场景。
图3B示出了根据一些实施例的可以被处理的示例点云。
图4示出了根据一些实施例的消息序列图。
图5是根据一些实施例的处理点云数据的示例方法的流程图。
图6是根据一些实施例的处理点云数据的另一示例方法的流程图。
图7A和7B是根据一些实施例的处理点云数据的又一示例方法的相应流程图。
图8是根据一些实施例的处理聚类的示例方法的流程图。
图9是示出根据一些实施例的示例方法的流程图。
图10A和10B是示出根据一些实施例的另一示例方法的相应流程图。
在各个附图中描绘并结合各个附图描述的实体、连接、布置等是作为示例而非作为限制来呈现的。因此，关于特定附图“描绘了什么”、“特定附图中的特定元素或实体”是“或”具有“的任何和所有陈述或其他指示、以及任何和所有类似陈述(其可能是孤立的且在上下文之外被解读为绝对的且因此是限制性的)可以仅在其前被建设性地加上诸如“在至少一个实施例中，…”这样的条款下被适当地解读。为了简洁和清楚地呈现，在附图的详细描述中，并不重复这个隐含的引导性条款。
具体实施方式
现在将参考各个附图来描述说明性实施例的详细描述。尽管本说明书提供了可能实现的详细示例，但是应当注意，这些细节旨在是示例性的，而决不是限制本申请的范围。
现在将描述用于实现示例实施例的示例网络。
图1A是示出了可以实施所公开的一个或多个实施例的示例性通信系统100的示意图。该通信系统100可以是为多个无线用户提供诸如语音、数据、视频、消息传递、广播等内容的多址接入系统。该通信系统100可以通过共享包括无线带宽在内的系统资源而使多个无线用户能够访问此类内容。举例来说，通信系统100可以使用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT-扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块过滤OFDM以及滤波器组多载波(FBMC)等等。
如图1A所示，通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交换电话网络(PSTN)108、因特网110以及其他网络112，然而应该了解，所公开的实施例设想了任意数量的WTRU、基站、网络和/或网络部件。WTRU 102a、102b、102c、102d每一者可以是被配置成在无线环境中工作和/或通信的任何类型的设备。举例来说，WTRU 102a、102b、102c、102d任何一者都可以被称为“站”和/或“STA”，其可以被配置成发射和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动订户单元、基于签约的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴显示器(HMD)、运载工具、无人机、医疗设备和应用(例如远程手术)、工业设备和应用(例如机器人和/或在工业和/或自动处理链环境中工作的其他无线设备)、消费类电子设备、以及在商业和/或工业无线网络上工作的设备等等。WTRU 102a、102b、102c、102d中的任何一者可被可交换地称为UE。
所述通信系统100还可以包括基站114a和/或基站114b。基站114a、114b的每一者可以是被配置成通过以无线方式与WTRU 102a、102b、102c、102d中的至少一者无线对接来促使其接入一个或多个通信网络(例如CN 106/115、因特网110、和/或其他网络112)的任何类型的设备。例如，基站114a、114b可以是基地收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、新无线电(NR)节点B、站点控制器、接入点(AP)、以及无线路由器等等。虽然基站114a、114b的每一者都被描述成了单个部件，然而应该了解，基站114a、114b可以包括任何数量的互连基站和/或网络部件。
基站114a可以是RAN 104/113的一部分，并且该RAN还可以包括其他基站和/或网络部件(未显示)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等等。基站114a和/或基站114b可被配置成在名为小区(未显示)的一个或多个载波频率上发射和/或接收无线信号。这些频率可以处于授权频谱、无授权频谱或是授权与无授权频谱的组合之中。小区可以为相对固定或者有可能随时间变化的特定地理区域提供无线服务覆盖。小区可被进一步分成小区扇区。例如，与基站114a相关联的小区可被分为三个扇区。由此，在一个实施例中，基站114a可以包括三个收发信机，即，每一个收发信机都对应于小区的一个扇区。在实施例中，基站114a可以使用多输入多输出(MIMO)技术，并且可以为小区的每一个扇区使用多个收发信机。例如，通过使用波束成形，可以在期望的空间方向上发射和/或接收信号。
基站114a、114b可以通过空中接口116来与WTRU 102a、102b、102c、102d中的一者或多者进行通信，其中所述空中接口可以是任何适当的无线通信链路(例如射频(RF)、微波、厘米波、毫米波、红外线(IR)、紫外线(UV)、可见光等等)。空中接口116可以使用任何适当的无线电接入技术(RAT)来建立。
更具体地说，如上所述，通信系统100可以是多址接入系统，并且可以使用一种或多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA以及SC-FDMA等等。例如，RAN 104/113中的基站114a与WTRU 102a、102b、102c可以实施某种无线电技术，例如通用移动电信系统(UMTS)陆地无线电接入(UTRA)，其中所述技术可以使用宽带CDMA(WCDMA)来建立空中接口115/116/117。WCDMA可以包括如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。
在实施例中，基站114a和WTRU 102a、102b、102c可以实施某种无线电技术，例如演进型UMTS陆地无线电接入(E-UTRA)，其中所述技术可以使用长期演进(LTE)和/或先进LTE(LTE-A)和/或先进LTE Pro(LTE-A Pro)来建立空中接口116。
在实施例中，基站114a和WTRU 102a、102b、102c可以实施某种可以使用新无线电(NR)建立空中接口116的无线电技术，例如NR无线电接入。
在实施例中，基站114a和WTRU 102a、102b、102c可以实施多种无线电接入技术。例如，基站114a和WTRU 102a、102b、102c可以共同实施LTE无线电接入和NR无线电接入(例如使用双连接(DC)原理)。由此，WTRU 102a、102b、102c使用的空中接口可以通过多种类型的无线电接入技术和/或向/从多种类型的基站(例如，eNB和gNB)发送的传输来表征。
在其他实施例中，基站114a和WTRU 102a、102b、102c可以实施以下的无线电技术，例如IEEE 802.11(即，无线高保真(WiFi))、IEEE 802.16(即，全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、用于GSM演进的增强数据速率(EDGE)、以及GSM EDGE(GERAN)等等。
图1A中的基站114b可以例如是无线路由器、家庭节点B、家庭e节点B或接入点，并且可以使用任何适当的RAT来促成局部区域中的无线连接，例如营业场所、住宅、运载工具、校园、工业设施、空中走廊(例如供无人机使用)以及道路等等。在一个实施例中，基站114b与WTRU 102c、102d可以通过实施IEEE 802.11之类的无线电技术来建立无线局域网(WLAN)。在实施例中，基站114b与WTRU 102c、102d可以通过实施IEEE 802.15之类的无线电技术来建立无线个人局域网(WPAN)。在再一个实施例中，基站114b和WTRU 102c、102d可通过使用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等等)来建立微微小区或毫微微小区。如图1A所示，基站114b可以直连到因特网110。由此，基站114b不需要经由CN 106/115来接入因特网110。
RAN 104/113可以与CN 106/115进行通信，所述CN可以是被配置成向WTRU 102a、102b、102c、102d的一者或多者提供语音、数据、应用和/或借助网际协议语音(VoIP)服务的任何类型的网络。该数据可以具有不同的服务质量(QoS)需求，例如不同的吞吐量需求、延时需求、容错需求、可靠性需求、数据吞吐量需求、以及移动性需求等等。CN 106/115可以提供呼叫控制、记账服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等等，和/或可以执行用户认证之类的高级安全功能。虽然在图1A中没有显示，然而应该了解，RAN104/113和/或CN 106/115可以直接或间接地和其他那些与RAN 104/113使用相同RAT或不同RAT的RAN进行通信。例如，除了与使用NR无线电技术的RAN 104/113相连之外，CN 106/115还可以与使用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi无线电技术的别的RAN(未显示)通信。
CN 106/115还可以充当供WTRU 102a、102b、102c、102d接入PSTN 108、因特网110和/或其他网络112的网关。PSTN 108可以包括提供简易老式电话服务(POTS)的电路交换电话网络。因特网110可以包括使用了公共通信协议(例如传输控制协议/网际协议(TCP/IP)网际协议族中的TCP、用户数据报协议(UDP)和/或IP)的全球性互联计算机网络设备系统。所述网络112可以包括由其他服务提供方拥有和/或运营的有线或无线通信网络。例如，所述网络112可以包括与一个或多个RAN相连的另一个CN，其中所述一个或多个RAN可以与RAN104/113使用相同RAT或不同RAT。
通信系统100中的一些或所有WTRU 102a、102b、102c、102d可以包括多模能力(例如WTRU 102a、102b、102c、102d可以包括在不同无线链路上与不同无线网络通信的多个收发信机)。例如，图1A所示的WTRU 102c可被配置成与使用基于蜂窝的无线电技术的基站114a通信，以及与可以使用IEEE 802无线电技术的基站114b通信。
图1B是示出了示例性WTRU 102的系统示意图。如图1B所示，WTRU 102可以包括处理器118、收发信机120、发射/接收部件122、扬声器/麦克风124、数字键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136和/或周边设备138。应该了解的是，在保持符合实施例的同时，WTRU 102还可以包括前述部件的任何子组合。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)以及状态机等等。处理器118可以执行信号编码、数据处理、功率控制、输入/输出处理、和/或其他任何能使WTRU102在无线环境中工作的功能。处理器118可以耦合至收发信机120，收发信机120可以耦合至发射/接收部件122。虽然图1B将处理器118和收发信机120描述成单独组件，然而应该了解，处理器118和收发信机120也可以一起集成在一电子组件或芯片中。
发射/接收部件122可被配置成经由空中接口116来发射或接收去往或来自基站(例如，基站114a)的信号。举个例子，在一个实施例中，发射/接收部件122可以是被配置成发射和/或接收RF信号的天线。作为示例，在另一实施例中，发射/接收部件122可以是被配置成发射和/或接收IR、UV或可见光信号的放射器/检测器。在再一个实施例中，发射/接收部件122可被配置成发射和/或接收RF和光信号。应该了解的是，发射/接收部件122可以被配置成发射和/或接收无线信号的任何组合。
虽然在图1B中将发射/接收部件122描述成是单个部件，但是WTRU 102可以包括任何数量的发射/接收部件122。更具体地说，WTRU 102可以使用MIMO技术。由此，在一个实施例中，WTRU 102可以包括两个或更多个通过空中接口116来发射和接收无线信号的发射/接收部件122(例如多个天线)。
收发信机120可被配置成对发射/接收部件122所要传送的信号进行调制，以及对发射/接收部件122接收的信号进行解调。如上所述，WTRU 102可以具有多模能力。因此，收发信机120可以包括允许WTRU 102借助多种RAT(例如NR和IEEE 802.11)来进行通信的多个收发信机。
WTRU 102的处理器118可以耦合到扬声器/麦克风124、数字键盘126和/或显示器/触摸板128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以接收来自这些部件的用户输入数据。处理器118还可以向扬声器/麦克风124、键盘126和/或显示器/触摸板128输出用户数据。此外，处理器118可以从诸如不可移除存储器130和/或可移除存储器132之类的任何适当的存储器中存取信息，以及将信息存入这些存储器。不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。可移除存储器132可以包括订户身份模块(SIM)卡、记忆棒、安全数字(SD)记忆卡等等。在其他实施例中，处理器118可以从那些并非实际位于WTRU 102的存储器存取信息，以及将数据存入这些存储器，作为示例，此类存储器可以位于服务器或家庭计算机(未显示)。
处理器118可以接收来自电源134的电力，并且可被配置分发和/或控制用于WTRU102中的其他组件的电力。电源134可以是为WTRU 102供电的任何适当设备。例如，电源134可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池以及燃料电池等等。
处理器118还可以耦合到GPS芯片组136，该GPS芯片组可被配置成提供与WTRU 102的当前位置相关的位置信息(例如经度和纬度)。作为来自GPS芯片组136的信息的补充或替换，WTRU 102可以经由空中接口116接收来自基站(例如基站114a、114b)的位置信息，和/或根据从两个或更多个附近基站接收的信号定时来确定其位置。应该了解的是，在保持符合实施例的同时，WTRU 102可以借助任何适当的定位方法来获取位置信息。
处理器118还可以耦合到其他周边设备138，其中所述周边设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，所述周边设备138可以包括加速度计、电子指南针、卫星收发信机、数码相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器、虚拟现实和/或增强现实(VR/AR)设备、以及活动跟踪器等等。所述周边设备138可以包括一个或多个传感器，所述传感器可以是以下的一者或多者：陀螺仪、加速度计、霍尔效应传感器、磁强计、方位传感器、邻近传感器、温度传感器、时间传感器、地理位置传感器、高度计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物测定传感器和/或湿度传感器等。
WTRU 102可以包括全双工无线电设备，其中对于该无线电设备来说，一些或所有信号(例如与用于UL(例如对传输而言)和下行链路(例如对接收而言)的特定子帧相关联)的接收或传输可以是并发和/或同时的。全双工无线电设备可以包括借助于硬件(例如扼流线圈)或是凭借处理器(例如单独的处理器(未显示)或是凭借处理器118)的信号处理来减小和/或基本消除自干扰的干扰管理单元。在实施例中，WTRU 102可以包括传送和接收一些或所有信号(例如与用于UL(例如对传输而言)或下行链路(例如对接收而言)的特定子帧相关联)的半双工无线电设备。
图1C是示出了根据实施例的RAN 104和CN 106的系统示意图。如上所述，RAN 104可以通过空中接口116使用E-UTRA无线电技术来与WTRU 102a、102b、102c进行通信。所述RAN 104还可以与CN 106进行通信。
RAN 104可以包括e节点B 160a、160b、160c，然而应该了解，在保持符合实施例的同时，RAN 104可以包括任何数量的e节点B。e节点B 160a、160b、160c每一者都可以包括通过空中接口116与WTRU 102a、102b、102c通信的一个或多个收发信机。在一个实施例中，e节点B 160a、160b、160c可以实施MIMO技术。由此，举例来说，e节点B 160a可以使用多个天线来向WTRU 102a发射无线信号，和/或接收来自WTRU 102a的无线信号。
e节点B 160a、160b、160c每一者都可以关联于一个特定小区(未显示)，并且可被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度等等。如图1C所示，e节点B 160a、160b、160c彼此可以通过X2接口进行通信。
图1C所示的CN 106可以包括移动性管理实体(MME)162、服务网关(SGW)164以及分组数据网络(PDN)网关(或PGW)166。虽然每一前述部件都被描述成是CN 106的一部分，然而应该了解，这其中的任一部件都可以由CN运营商之外的实体拥有和/或运营。
MME 162可以经由S1接口连接到RAN 104中的e节点B 162a、162b、162c的每一者，并且可以充当控制节点。例如，MME 162可以负责认证WTRU 102a、102b、102c的用户，执行承载激活/去激活处理，以及在WTRU 102a、102b、102c的初始附着过程中选择特定的服务网关等等。MME 162可以提供用于在RAN 104与使用其他无线电技术(例如GSM和/或WCDMA)的其他RAN(未显示)之间进行切换的控制平面功能。
SGW 164可以经由S1接口连接到RAN 104中的e节点B 160a、160b、160c的每一者。SGW 164通常可以路由和转发去往/来自WTRU 102a、102b、102c的用户数据分组。并且，SGW164还可以执行其他功能，例如在eNB间的切换过程中锚定用户平面，在DL数据可供WTRU102a、102b、102c使用时触发寻呼处理，以及管理并存储WTRU 102a、102b、102c的上下文等等。
SGW 164可以连接到PGW 146，所述PGW可以为WTRU 102a、102b、102c提供分组交换网络(例如因特网110)接入，以便促成WTRU 102a、102b、102c与启用IP的设备之间的通信。
CN 106可以促成与其他网络的通信。例如，CN 106可以为WTRU 102a、102b、102c提供对电路交换网络(例如PSTN 108)的接入，以便促成WTRU 102a、102b、102c与传统的陆线通信设备之间的通信。例如，CN 106可以包括IP网关(例如IP多媒体子系统(IMS)服务器)或与之进行通信，并且该IP网关可以充当CN 106与PSTN 108之间的接口。此外，CN 106可以为WTRU102a、102b、102c提供针对所述其他网络112的接入，其中该网络可以包括其他服务提供方拥有和/或运营的其他有线和/或无线网络。
虽然在图1A-1D中将WTRU描述成了无线终端，然而应该想到的是，在某些代表性实施例中，此类终端与通信网络可以使用(例如临时或永久性)有线通信接口。
在代表性实施例中，所述其他网络112可以是WLAN。
采用基础架构基本服务集(BSS)模式的WLAN可以具有用于所述BSS的接入点(AP)以及与所述AP相关联的一个或多个站(STA)。所述AP可以访问或是对接到分布式系统(DS)或是将业务量送入和/或送出BSS的别的类型的有线/无线网络。源于BSS外部且去往STA的业务量可以通过AP到达并被递送至STA。源自STA且去往BSS外部的目的地的业务量可被发送至AP，以便递送到相应的目的地。处于BSS内部的STA之间的业务量可以通过AP来发送，例如在源STA可以向AP发送业务量并且AP可以将业务量递送至目的地STA的情况下。处于BSS内部的STA之间的业务量可被认为和/或称为点到点业务量。所述点到点业务量可以在源与目的地STA之间(例如在其间直接)用直接链路建立(DLS)来发送。在某些代表性实施例中，DLS可以使用802.11e DLS或802.11z通道化DLS(TDLS))。举例来说，使用独立BSS(IBSS)模式的WLAN不具有AP，并且处于所述IBSS内部或是使用所述IBSS的STA(例如所有STA)彼此可以直接通信。在这里，IBSS通信模式有时可被称为“自组织(Ad-hoc)”通信模式。
在使用802.11ac基础设施工作模式或类似的工作模式时，AP可以在固定信道(例如主信道)上传送信标。所述主信道可以具有固定宽度(例如20MHz的带宽)或是经由信令动态设置的宽度。主信道可以是BSS的工作信道，并且可被STA用来与AP建立连接。在某些代表性实施例中，所实施的可以是具有冲突避免的载波感测多址接入(CSMA/CA)(例如在802.11系统中)。对于CSMA/CA来说，包括AP在内的STA(例如每一个STA)可以感测主信道。如果特定STA感测到/检测到和/或确定主信道繁忙，那么所述特定STA可以回退。在指定的BSS中，在任何指定时间都有一个STA(例如只有一个站)进行传输。
高吞吐量(HT)STA可以使用宽度为40MHz的信道来进行通信(例如借助于将宽度为20MHz的主信道与宽度为20MHz的相邻或不相邻信道相结合来形成宽度为40MHz的信道)。
甚高吞吐量(VHT)STA可以支持宽度为20MHz、40MHz、80MHz和/或160MHz的信道。40MHz和/或80MHz信道可以通过组合连续的20MHz信道来形成。160MHz信道可以通过组合8个连续的20MHz信道或者通过组合两个不连续的80MHz信道(这种组合可被称为80+80配置)来形成。对于80+80配置来说，在信道编码之后，数据可被传递并经过一个分段解析器，所述分段解析器可以将数据非成两个流。在每一个流上可以单独执行逆快速傅里叶变换(IFFT)处理以及时域处理。所述流可被映射在两个80MHz信道上，并且数据可以由执行传输的STA来传送。在执行接收的STA的接收机上，用于80+80配置的上述操作可以是相反的，并且组合数据可被发送至介质接入控制(MAC)。
802.11af和802.11ah支持1GHz以下的工作模式。相比于802.11n和802.11ac，在802.11af和802.11ah中使用信道工作带宽和载波有所缩减。802.11af在TV白空间(TVWS)频谱中支持5MHz、10MHz和20MHz带宽，并且802.11ah支持使用非TVWS频谱的1MHz、2MHz、4MHz、8MHz和16MHz带宽。依照代表性实施例，802.11ah可以支持仪表类型控制/机器类型通信(MTC)(例如宏覆盖区域中的MTC设备)。MTC设备可以具有某种能力，例如包含了支持(例如只支持)某些和/或有限带宽在内的受限能力。MTC设备可以包括电池，并且该电池的电池寿命高于阈值(例如用于保持很长的电池寿命)。
对于可以支持多个信道和信道带宽的WLAN系统(例如802.11n、802.11ac、802.11af以及802.11ah)来说，这些系统包含了可被指定成主信道的信道。所述主信道的带宽可以等于BSS中的所有STA所支持的最大公共工作带宽。主信道的带宽可以由某一个STA设置和/或限制，其中所述STA源自在支持最小带宽工作模式的BSS中工作的所有STA。在关于802.11ah的示例中，即使BSS中的AP和其他STA支持2MHz、4MHz、8MHz、16MHz和/或其他信道带宽工作模式，但对支持(例如只支持)1MHz模式的STA(例如MTC类型的设备)来说，主信道的宽度可以是1MHz。载波感测和/或网络分配向量(NAV)设置可以取决于主信道的状态。如果主信道繁忙(例如因为STA(其只支持1MHz工作模式)对AP进行传输)，那么即使大多数的可用频带保持空闲并且可供使用，也可以认为整个可用频带繁忙。
在美国，可供802.11ah使用的可用频带是902MHz到928MHz。在韩国，可用频带是917.5MHz到923.5MHz。在日本，可用频带是916.5MHz到927.5MHz。依照国家码，可用于802.11ah的总带宽是6MHz到26MHz。
图1D是示出了根据实施例的RAN 113和CN 115的系统示意图。如上所述，RAN 113可以通过空中接口116使用NR无线电技术来与WTRU 102a、102b、102c进行通信。RAN 113还可以与CN 115进行通信。
RAN 113可以包括gNB 180a、180b、180c，但是应该了解，在保持符合实施例的同时，RAN 113可以包括任何数量的gNB。gNB 180a、180b、180c每一者都可以包括一个或多个收发信机，以便通过空中接口116来与WTRU 102a、102b、102c通信。在一个实施例中，gNB180a、180b、180c可以实施MIMO技术。例如，gNB 180a、180b可以使用波束成形处理来向和/或从gNB 180a、180b、180c发射和/或接收信号。由此，举例来说，gNB 180a可以使用多个天线来向WTRU 102a发射无线信号，以及接收来自WTRU 102a的无线信号。在实施例中，gNB180a、180b、180c可以实施载波聚合技术。例如，gNB 180a可以向WTRU 102a(未显示)传送多个分量载波。这些分量载波的子集可以处于无授权频谱上，而剩余分量载波则可以处于授权频谱上。在实施例中，gNB 180a、180b、180c可以实施协作多点(CoMP)技术。例如，WTRU102a可以接收来自gNB 180a和gNB 180b(和/或gNB 180c)的协作传输。
WTRU 102a、102b、102c可以使用与可扩缩数字配置相关联的传输来与gNB 180a、180b、180c进行通信。例如，对于不同的传输、不同的小区和/或不同的无线传输频谱部分来说，OFDM符号间隔和/或OFDM子载波间隔可以是不同的。WTRU 102a、102b、102c可以使用具有不同或可扩缩长度的子帧或传输时间间隔(TTI)(例如包含了不同数量的OFDM符号和/或持续不同的绝对时间长度)来与gNB 180a、180b、180c进行通信。
gNB 180a、180b、180c可被配置成与采用独立配置和/或非独立配置的WTRU 102a、102b、102c进行通信。在独立配置中，WTRU 102a、102b、102c可以在不接入其他RAN(例如，e节点B 160a、160b、160c)的情况下与gNB 180a、180b、180c进行通信。在独立配置中，WTRU102a、102b、102c可以使用gNB 180a、180b、180c中的一者或多者作为移动锚定点。在独立配置中，WTRU 102a、102b、102c可以使用无授权频带中的信号来与gNB 180a、180b、180c进行通信。在非独立配置中，WTRU 102a、102b、102c会在与别的RAN(例如e节点B 160a、160b、160c)进行通信/相连的同时与gNB 180a、180b、180c进行通信/相连。举例来说，WTRU 102a、102b、102c可以通过实施DC原理而以基本同时的方式与一个或多个gNB 180a、180b、180c以及一个或多个e节点B 160a、160b、160c进行通信。在非独立配置中，e节点B 160a、160b、160c可以充当WTRU 102a、102b、102c的移动锚定点，并且gNB 180a、180b、180c可以提供附加的覆盖和/或吞吐量，以便为WTRU 102a、102b、102c提供服务。
gNB 180a、180b、180c每一者都可以关联于特定小区(未显示)，并且可以被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度、支持网络切片、双连接、实施NR与E-UTRA之间的互通处理、路由去往用户平面功能(UPF)184a、184b的用户平面数据、以及路由去往接入和移动性管理功能(AMF)182a、182b的控制平面信息等等。如图1D所示，gNB 180a、180b、180c彼此可以通过Xn接口通信。
图1D所示的CN 115可以包括至少一个AMF 182a、182b，至少一个UPF 184a、184b，至少一个会话管理功能(SMF)183a、183b，并且有可能包括数据网络(DN)185a、185b。虽然每一前述部件都被描述了CN 115的一部分，但是应该了解，这其中的任一部件都可以被CN运营商之外的实体拥有和/或运营。
AMF 182a、182b可以经由N2接口连接到RAN 113中的gNB 180a、180b、180c的一者或多者，并且可以充当控制节点。例如，AMF 182a、182b可以负责认证WTRU 102a、102b、102c的用户，支持网络切片(例如处理具有不同需求的不同PDU会话)，选择特定的SMF 183a、183b，管理注册区域，终止NAS信令，以及移动性管理等等。AMF 182a、182b可以使用网络切片处理，以便基于WTRU 102a、102b、102c使用的服务类型来定制为WTRU 102a、102b、102c提供的CN支持。作为示例，针对不同的使用情况，可以建立不同的网络切片，例如依赖于超可靠低延时(URLLC)接入的服务、依赖于增强型大规模移动宽带(eMBB)接入的服务、和/或用于机器类通信(MTC)接入的服务等等。AMF 182可以提供用于在RAN 113与使用其他无线电技术(例如，LTE、LTE-A、LTE-A Pro和/或诸如WiFi之类的非3GPP接入技术)的其他RAN(未显示)之间切换的控制平面功能。
SMF 183a、183b可以经由N11接口连接到CN 115中的AMF 182a、182b。SMF 183a、183b还可以经由N4接口连接到CN 115中的UPF 184a、184b。SMF 183a、183b可以选择和控制UPF 184a、184b，并且可以通过UPF 184a、184b来配置业务量路由。SMF 183a、183b可以执行其他功能，例如管理和分配WTRU或UE IP地址，管理PDU会话，控制策略实施和QoS，以及提供下行链路数据通知等等。PDU会话类型可以是基于IP的，不基于IP的，以及基于以太网的等等。
UPF 184a、184b可以经由N3接口连接RAN 113中的gNB 180a、180b、180c的一者或多者，这样可以为WTRU 102a、102b、102c提供对分组交换网络(例如因特网110)的接入，以便促成WTRU 102a、102b、102c与启用IP的设备之间的通信，UPF 184、184b可以执行其他功能，例如路由和转发分组、实施用户平面策略、支持多宿主PDU会话、处理用户平面QoS、缓冲下行链路分组、以及提供移动性锚定处理等等。
CN 115可以促成与其他网络的通信。例如，CN 115可以包括或者可以与充当CN115与PSTN 108之间的接口的IP网关(例如IP多媒体子系统(IMS)服务器)进行通信。此外，CN 115可以为WTRU 102a、102b、102c提供针对其他网络112的接入，这其中可以包括其他服务提供方拥有和/或运营的其他有线和/或无线网络。在一个实施例中，WTRU 102a、102b、102c可以经由对接到UPF 184a、184b的N3接口以及介于UPF 184a、184b与本地数据网络(DN)185a、185b之间的N6接口并通过UPF 184a、184b连接到DN 185a、185b。
有鉴于图1A-1D以及关于图1A-1D的相应描述，在这里对照以下的一项或多项描述的一个或多个或所有功能可以由一个或多个仿真设备(未显示)来执行：WTRU 102a-d、基站114a-b、e节点B 160a-c、MME 162、SGW 164、PGW 166、gNB 180a-c、AMF 182a-b、UPF 184a-b、SMF 183a-b、DN 185a-b和/或这里描述的一个或多个其他任何设备。这些仿真设备可以是被配置成模拟这里描述的一个或多个或所有功能的一个或多个设备。举例来说，这些仿真设备可用于测试其他设备和/或模拟网络和/或WTRU功能。
所述仿真设备可被设计成在实验室环境和/或运营商网络环境中实施关于其他设备的一项或多项测试。例如，所述一个或多个仿真设备可以在被完全或部分作为有线和/或无线通信网络一部分实施和/或部署的同时执行一个或多个或所有功能，以便测试通信网络内部的其他设备。所述一个或多个仿真设备可以在被临时作为有线和/或无线通信网络的一部分实施或部署的同时执行一个或多个或所有功能。所述仿真设备可以直接耦合到别的设备以执行测试，和/或可以使用空中无线通信来执行测试。
所述一个或多个仿真设备可以在未被作为有线和/或无线通信网络一部分实施或部署的同时执行包括所有功能在内的一个或多个功能。例如，该仿真设备可以在测试实验室和/或未被部署(例如测试)的有线和/或无线通信网络的测试场景中使用，以便实施关于一个或多个组件的测试。所述一个或多个仿真设备可以是测试设备。所述仿真设备可以使用直接的RF耦合和/或借助RF电路(例如，该电路可以包括一个或多个天线)的无线通信来发射和/或接收数据。
如上所述，根据一些实施例公开了用于优化动态点云序列的流式传输的系统和方法。
更具体地，根据一些实施例公开了用于优化动态点云序列的流式传输的系统和方法。在一些实施例中，不是将例如所有捕获的点云数据作为完整快照按顺序递送，而是可以将点云作为具有分层刚体变换的不断变化的系统来动态地处理。在一些实施例中，根据这些变换各自对点云外观造成的视觉影响的重要性来连续地对这些变换进行优先化排序。在一些实施例中，然后将变换作为变换的连续流(例如，区域和刚体变换对)从正在处理所捕获的传感器数据的服务器传送到客户端。这排除了连续发送更新的原始点云数据。这样的示例方法可以针对多个场景优化数据分发。
现在将描述根据一些实施例的示例点云收集和观看。
图2示出了其中可以采用本公开的示例实施例的示例系统布置200。如图所示，在一些实施例中，所述系统布置200包括可以捕获和处理点云的服务器(例如，虚拟现实(VR)服务器)202。该VR服务器202可以包括处理器204和非暂时性计算机可读存储器206，其包含可由处理器204执行以实现本文公开的各种方法的实施例的多个指令。尽管未明确示出，但是处理器204和存储器206可以经由总线或类似机制互连。耦合到VR服务器204的是多个传感器208，其示例包括相机(例如，相机阵列)，其可以是3D立体相机、RGB-D相机以及光检测和测距(LIDAR)数据收集器。VR服务器202还耦合到数据库210，其可以例如保持点云数据(例如，先前存储的动态点云数据、新捕获的点云数据等)。尽管数据库210被示出为位于VR服务器202外部，但是在一些实施例中，数据库210和VR服务器202可以位于同一位置(例如，服务器202可以包括数据库210)。
此外，服务器202可以耦合到因特网220和其他网络222，以便与客户端212通信。客户端212可以包括处理器214和可以包含多个指令的非暂时性计算机可读存储器216，所述多个指令可由处理器204执行以实现本文公开的各种方法的实施例。另外，在一些实施例中，存储器216可以被配置为存储点云数据。然而，可以替代地提供单独的存储介质用于该目的。此外，如图所示，客户端212包括VR观看设备218。例如服务器202和客户端212中的任一者或两者(例如VR观看设备218本身)可以是上文关于图1A-1D描述的WTRU。注意，图2中所示的各种实体可以经由任何合适的有线和/或无线链路和/或现在示出的其它中间元件彼此耦合。
现在将描述根据一些实施例的示例点云处理。
图3A示出了根据一些实施例的可以被接收和处理的示例场景300。该场景包括在一定距离处的多个建筑物和一些较近的物体，其从具有一些表观高度的观察者视点而被成像。此外，所捕获的场景可以具有“固定”背景和移动通过它的动态元素。然而，如果观看者的位置被动态变化，则“固定”背景可能不再固定。而且，当例如摄像机移动时，“静止”场景变化。当观察者视点变化时，可能通过相对于建筑物或其它场景元素移动得更低或更近，到点云内的点的相对角度可能会变化。点云可以在真实世界场景中被检测，用虚拟对象或这些或其他适用技术的任何组合来生成。然而，改变点云数据可能需要相当大量的带宽来传输。
图3B示出了根据一些实施例的可以被处理的示例点云(图像)400。尽管图3B中未明确示出，但点云图像400通常将包含所述点云内的许多点。这些点表示三维(3D)坐标，其中已经检测到存在对象402的一部分。这种检测可以使用3D传感器来进行，例如光检测和测距(LIDAR)、立体视频和RGB-D相机。此外，所述点云数据可以包括3D位置和辐射图像数据或体积像素(体素)。
随着VR和增强现实(AR)平台朝着大量消费者的大量采用发展，对高分辨率3D内容的需求将增加。用于这种完整3D内容的传统实际标准是多边形3D图形，其通过建模而被手工产生，并利用用于创建实时3D游戏的工具和技术而被渲染。然而，新兴的混合现实(MR)显示器和内容捕获技术(例如VR头戴式显示器(HMD)、AR HMD、RGB-D传感器和光场相机)已经为完全沉浸式3D内容制作和分发设置了新的要求。
除了MR驱动现实捕获技术的发展之外，在不久的将来，可以预期人机交互系统将变得更加空间感知。使得能够对环境进行结构理解的环境感测技术正越来越多地嵌入智能家庭环境、汽车系统和移动设备。这些空间感知系统从所述环境收集点云数据，并且因此对于某些应用，可能需要用于在其中这样的空间数据要跨多个系统和服务被传输的场景中传送所述环境数据的高效工具。
3D元素的传统手动3D建模通常不足以捕获环境和人类的真实世界外观的细微差别，这导致了用于捕获完全3D内容的较新技术的发展。这些最近的技术包括例如：多视图相机阶段的使用(参见，例如，Collet，Alvaro等人的“高质量可流式传输的自由视点视频(High-quality streamable free-viewpoint video)”，关于图形学的ACM事务(TOG)(ACMTransactions on Graphics(TOG))，34.4:69,2015)，多个RGB-D传感器(参见，例如，Orts-Escolano,Sergio等人的“全息通信：虚拟3d实时电报(Holoportation:Virtual 3dteleportation in real-time)，关于用户界面软件和技术的第29年交会的议题(Proceedings of the 29th Annual Symposium on User Interface Software andTechnology)，ACM，pp.741-754,2016)，以及光场相机的使用。利用这些方法中的许多方法，捕获系统产生具有时变结构的动态点云序列。当这些新兴的方法(其使得能够动态捕获真实世界场景作为点云)变得广泛使用时，用于高效地分发动态点云数据的序列的方法将越来越重要(参见例如Thanou,Dorina等人，”用于动态3D点云压缩的基于图的运动估计和补偿(Graph-based motion estimation and compensation for dynamic 3D point cloudcompression)“，图像处理(ICIP)(Image Processing(ICIP))，2015IEEE国际会议，pp.3235-3239,2015)。
以保留图像质量和深度/结构信息这两者的方式对真实世界场景的原始捕获由于所捕获数据的通常较大的大小而对捕获和分发系统提出显著的要求。根据一些实施例的用于分发利用动态传感器产生的动态点云数据序列的示例方法可以适应于分发信道的变化的吞吐量，并且可以以基于相对视觉重要性来对内容更新进行优先化排序的方式来渲染性能。视觉重要性可以在客户端之间不同；并且在数据分发期间对此的考虑可以提高用户的总体体验质量。
在一些实施例中，可能的优化可包括不将点云数据序列仅作为时刻的完整环境几何形状的快照来处理，而是作为可流式传输到客户端的环境几何形状的变化的连续体来处理，从而使具有更显著视觉变化的那些变化优先于更微妙的变化。不是流式传输环境几何形状的”全帧“，而是可以流式传输几何形状的子区域的变换。在一些实施例中，对流式传输的变化的优先化排序取决于该变换对特定客户端产生的视觉影响的量，其可以是受所述变换影响的几何形状的区域的大小和所得变形的量(例如，变换的量)的因素。此外，所述视觉影响对于各个客户端是主观的，因为该视觉影响可能取决于所述客户端对所述几何形状变换的观察(例如，该变换发生在离所述客户端多远)。
考虑到具有固定背景和移动通过视频捕获场景的动态元素的视频捕获场景，当观察者的视点变化时，所述固定背景相对于观察者不再固定在某位置。
在一些实施例中，用于优化点云序列可能需要的数据量的方法是基于使用例如八叉树空间划分而将点云变换到体素网格内的(参见例如De Gueiroz,Ricardo等人的”使用区域自适应分层变换压缩3d点云(Compression of 3d point clouds using a region-adaptive hierarchical transform)“，图像处理的IEEE事务(IEEE Transactions onImage Processing)，25.8:3947-3956,2016)、或对预先捕获的数据进行扩展离线处理(以便提取完全点云，然后将其缩减为一组其间具有差量帧的完全关键帧点云)的(参见例如Collet,Alvaro等人的“高质量的可流式传输的自由视点视频(High-quality streamablefree-viewpoint video)”，关于图形学的ACM事务(TOG)(ACM Transactions on Graphics(TOG))，34.4:69,2015)。
然而，这些方法中没有一个被理解为考虑到在从正常日常环境捕获的数据中，大多数对象是静态的或处于可被建模为刚体变换的运动中。此外，点云数据可以被认为是分层的。
根据一些实施例，点云(例如，环境)的空间分层性质包括可以用不同细节水平来检查的多个子对象。类似地，在一些实施例中，运动可以从整个对象的运动而被分层地分解，向下分解到构成该对象的部分的运动，然后向下分解到可能实际上由传感器噪声引起的各个点的运动(而不是例如作为实际运动)。在一些实施例中，关于所述点云的分层考虑还涉及大区域和/或具有大量移动的变化通常如何比细微和较小变化(例如，与传感器噪声有关的变化)对于观看者更可见。因此，根据一些实施例，点云更新在其优先级方面可被认为是分层的：例如，更重要的是，使较大的可见变化比较小的更细微的变化可视化。
根据一些实施例，本文公开了一种方法和系统，用于通过将3D点云数据表示为具有基于对总体点云外观的视觉影响而被优先化排序的分层刚体变换的不断变化(例如，时变)的系统来巩固3D点云数据。
如上所述，根据一些实施例公开了用于优化动态点云序列的流式传输的系统和方法。在一些实施例中，不是将例如所有捕获的点云数据作为完整快照按顺序递送，而是可以将点云作为具有分层刚体变换的不断变化的系统来动态地处理。在一些实施例中，根据这些变换各自对点云外观造成的视觉影响的重要性来连续地对这些变换进行优先化排序。在一些实施例中，然后可以将变换作为变换的连续流(例如，区域和刚体变换对)从正在处理所捕获的传感器数据的服务器传送到客户端。根据一些实施例的这些示例技术可以排除连续发送更新的原始点云数据。这样的方法可以优化针对多种场景的数据分发。
图4示出了根据一些实施例的示例消息序列图500。在根据一些实施例并且在图4中示出的一个示例方法中，服务器从传感器捕获点云数据并且以(例如，优化的)格式将数据流式传送到客户端，其中代替发送原始点云数据，对所捕获的点云中的动态变化进行近似的、不同级别的点云子区域处的变换流被发送到客户端。图4示出了根据一些实施例的由客户端和服务器执行的示例操作序列以及在示例典型使用会话中在服务器和客户端之间发生的消息传送的概览。
即，参考图4，在508处，服务器504可以发送任何(例如，合适的)(一个或多个)消息以初始化一个或多个传感器506以开始捕获点云数据。在510处，(一个或多个)传感器506可以将第一(例如，初始)点云(数据)传送到服务器504。所述点云数据包括三维(3D)数据。在512，服务器504可以等待来自客户端502的对点云数据流式传输的请求。尽管图4中未明确示出，但是在等待客户端请求时，服务器504可以继续接收由(一个或多个)传感器506捕获的新点云数据。在514，服务器504可以接收针对点云数据流式传输的客户端请求。响应于所述客户端请求，在516处，服务器504可以将从(一个或多个)传感器506接收的当前(例如，最近的)点云存储为参考点云。此外，在518，服务器504可以将该参考点云传送到客户端502。
在520，客户端502可以向服务器504提供(例如，作为点云数据流式传输请求的继续)相对于所述参考点云的当前客户端位置。如将更详细描述的，在一些实施例中，所述当前客户端位置将用于确定一距离，其用于例如相对于客户端视点而对给定点云内的区域进行优先化排序。注意，在一些实施例中，所述当前客户端位置可以作为在514执行的对点云数据流式传输的客户端请求的一部分或与其同时提供。此外，在一些实施例中，客户端502(例如，当客户端502已经知道要使用的初始视点而没有首先接收到例如完整参考点云时)可以将其视点连同点云流式传输请求一起用信号通知，使得服务器504可以能够相应地调整所述参考点云的分辨率。
在522，服务器504从(一个或多个)传感器506接收第二(例如，当前，例如，新捕获的)点云(数据)。在524，服务器504被配置为相应地处理所述参考点云和所述第二点云以确定：(i)(一个或多个)3D变换(例如，对所述第二点云中从所述参考点云的(一个或多个)变化进行近似的(一个或多个)刚体变换)，是否存在这些3D变换，和/或(ii)表示要被移除和/或添加以修改所述参考点云的(一个或多个)变化的点，诸如例如以基本上再现(例如，复制)所述参考点云与所述第二点云之间的(一个或多个)偏离。一旦确定了所述(一个或多个)变换和/或所述点，服务器504就可以更新存储在该服务器504处的所述参考点云。
此外，在526，服务器504可以向客户端502发送关于所述参考点云中的要使用例如所确定的变换(如果可以确定它们)而被变换的(一个或多个)区域的(一个或多个)指示，或者例如要从所述参考点云添加和/或移除的点，使得客户端502可以在客户端侧更新所述参考点云的本地副本。这样，客户端502可以进行(一个或多个)更新以反映在新捕获的点云中已经发生的变化，而不是从服务器连续地接收新的完整的原始更新点云数据集合。
现在将根据一些实施例更详细地描述图4中所示的示例性总体过程。
图5是示出根据一些实施例的处理点云数据的示例方法的流程图600。在一些实施例中，图5的示例方法可以由服务器执行，例如图4的服务器504或图2的服务器202。
如图5所示，在步骤602，服务器可以(例如，连续地)接收由传感器捕获的点云数据。在604，服务器等待观看客户端请求点云数据流。在步骤606，服务器确定是否已经接收到客户端请求。如果在步骤610已经接收到客户端请求，则服务器将当前点云存储为参考点云，并且在步骤612，将当前点云发送到客户端。在步骤614，服务器开始(或例如继续)用于将点云数据流式传输到客户端的过程。在一些实施例中，可以针对从传感器捕获并且在服务器处接收的每个新点云实例而执行该过程。
该过程在步骤616开始(或例如继续)，其中服务器从观看客户端接收当前视点，以用于渲染与所述参考点云相关的给定点云。在一些实施例中，所述客户端视点用于确定所述给定点云中的什么变化对于所述客户端是重要的，其中关于重要性的一个度量是例如由从客户端视点的角度来看给定变化所引起的视觉影响的量而被确定的。
在步骤618，服务器接收新捕获的点云。然后，在步骤620，服务器与所述参考点云相比，分层地检查该新捕获的点云，以便隔离已经改变的区域。如图5所示，在一些实施例中，步骤620可以包括一具有数个进一步子步骤的子过程622。
更具体地说，在子步骤624，服务器识别已经变化的区域。在一些实施例中，目的是识别所捕获的点云的哪些区域自从最近更新以来已经变化，以便近似一变换，其可最佳地估计对应于所变化的区域的聚类内的变化的点位置。这样，子步骤626涉及对在参考点云和所捕获的点云之间偏离的区域进行聚类。在一些实施例中，聚类包括隔离最近捕获的点云中与所述参考点云不同的区域。
在子步骤628，服务器可以确定(例如，如图5中那样计算)每个聚类的相应分数，其中在一些实施例中，该相应分数指示所述偏离的视觉影响的重要性。在一些实施例中，这样的重要性可以例如被计算为以下的加权和：所述偏离区域的大小、偏离量以及所述偏离区域与客户端用来在客户端侧检查所述点云的当前(虚拟)视点的距离，但是当然这是示例并且可以使用其他公式。
在子步骤630处，对于具有最高分数(并且因此具有最高优先级的示例)的第一聚类，服务器确定在一已经聚类了偏离的区域附近的两个点云(即，所捕获的点云和参考点云)之间的形状对应。作为一般情况，根据一些实施例，当首先检测到具有偏离的区域时，一般可以假设该偏离是由例如已经移动的片段引起的。在一些实施例中，为了找到该片段已经移动到哪里，可能需要检查来自表示第二时间步(time step)的点云的更大区域。如果所述偏离是由元素的刚性变换引起的，则所述元素可能相对接近其原始位置。因此，在一些实施例中，执行形状对应(例如，匹配)到相对于偏离区域可能稍大的区域。在一些实施例中，可以通过检查帧之间的时间长度和元素的预期运动速度来控制所述较大区域的大小。然后，在子步骤632，如果例如发现类似形状，则在子步骤634，服务器可确定(例如，求解)对所述参考点云与所捕获的点云之间的偏离进行近似的变换。在子步骤636处，服务器然后可以将该变换添加(例如，应用)到所述参考点云，并且在子步骤638处，将关于具有所述偏离的所述区域的指示和所述变换发送到客户端。
在一些实施例中，所述偏离区域可作为封装该区域的包围体坐标来发送。在一些实施例中，所述变换可以作为变换矩阵发送，例如3乘4变换矩阵。作为一般情况，变换矩阵是描述线性代数和计算机图形中的变换的标准方式，其中单个矩阵定义了一包括旋转和平移的3D刚体变换。然后，通过将(要被变换的)点坐标与所述变换矩阵相乘，可以获得新的点位置。参见例如以下地址处的文章：en.wikipedia.org/wiki/Transformation_matrix。
如果在子步骤632没有发现类似的形状，则子过程622移动到子步骤640，其中服务器根据所捕获的点云，确定要从所述参考点云移除的和/或添加到所述参考点云的点，然后在子步骤642，将所添加和/或所移除的点流式传输到客户端。
在子步骤644处，在一些实施例中，服务器可以从刚处理的聚类中隔离出尚未被寻址的附加的较细粒度的区域(在本文中也被称为例如“子区域”)。这些未被寻址的区域可能仍然具有例如显著的偏离量。在一些实施例中，服务器可以将那些子区域聚类成新的偏离聚类，并且如上所述计算那些新聚类中的每一个聚类的重要性分数(例如，或其他度量)。
在子步骤646，响应于在服务器和/或客户端侧的时间、处理和通信带宽资源可用性的确定，服务器可以继续处理和划分剩余的聚类。例如，服务器可以返回到子步骤628，并且继续处理具有下一个最高重要性分数并且因此(例如)具有下一个最高优先级的下一个仍未处理的聚类(例如，其来自先前形成的聚类和对应于刚处理的子区域的新聚类的组合)。然而，根据该示例，如果服务器确定没有剩余更多的处理预算，则子过程622结束，并且处理可以返回到例如步骤614。
另一方面，如果在步骤648，确定例如服务器或客户端发信号请求终止所述流式传输，则该过程可以结束。否则，该过程可以返回到步骤604。
如在一些实施例中实现的并且在图4和图5的示例中一般示出的，根据一些实施例在本文中提出的示例方法和系统可以实现动态点云数据序列的高效流式传输。在一些实施例中，可能需要传输的数据量可以例如通过将点云数据中的变化考虑为例如根据观看所述数据的客户端的视觉影响而被优先化排序的连续分层刚性变换来优化。在一些实施例中，这可以例如确保可用的带宽和处理能力被消耗用于例如可能对用户体验的质量具有最大影响的内容更新。
与用于点云优化的一些其他方法相比，根据一些实施例的本文公开的示例方法和系统通常可以例如在典型的不受控捕获环境中良好地操作，诸如室内或室外环境的动作的自组织捕获，其中几何形状的大部分是静态的并且变换通常可以用刚体动画来近似，例如处于运动中的个体对象。
随着空间感测越来越多地嵌入智能环境、汽车系统和移动设备，根据一些实施例，本文提出的示例方法可以提供用于在共享环境数据的系统和服务之间流式传输数据的有效方法。在大多数示例情况下，可以预期所述环境数据包括静态环境几何形状和在该环境中运动的刚性对象这两者。对于这样的情况，在一些实施例中，根据一些实施例的在此描述的示例压缩方法可能是非常适合的。
根据一些实施例，变化可以根据用户相对于点云数据的当前视点而被优先化排序，并且被分层地递送，使得例如具有变化的每个区域可以具有描述不同级别的数据中的变化的另外的子区域。在所述点云数据的情况下，由于传感器噪声，每个帧可能具有恒定的变化。有利地，利用本文提出的方法，根据一些实施例，在可用带宽的限制内仅传达最重要的变化。
图6示出了根据一些实施例的处理点云数据的另一示例方法700的流程图。在一些实施例中，图6的示例方法可以由服务器执行，例如图4的服务器504或图2的服务器202。在一些实施例中，图6的示例方法可以应用于这样的情况，其中例如服务器可以例如在给定时刻(例如快照点云，如步骤720中)检查客户端可见的点云区域，而不是检查整个点云的时间变化，或者在时间步之间的变化。
如图6所示，在步骤702，服务器可以(例如，连续地)接收表示例如用户环境的3D数据。该3D数据可以由传感器收集，该传感器的示例包括RGB-D、LIDAR和/或这些和/或其他传感器的组合。
在704，服务器等待(例如，这里)对于点云数据和辐射图像数据的客户端联合请求，并且在步骤706，服务器确定是否已经接收到所述客户端请求。如果已经接收到所述客户端请求，则在步骤708，服务器将当前点云(由传感器捕获的3D数据)和辐射图像数据存储为参考点云，并且在步骤710，服务器还将所述当前点云和辐射图像数据发送到客户端。
在步骤712，服务器开始(或例如继续)用于将点云数据流式传输到客户端的过程。在一些实施例中，可以针对从传感器捕获并且在服务器处接收的每个新点云实例，执行该过程。
该过程在步骤714开始(或者例如继续)，其中所述服务器接收并存储所捕获的(例如传感器收集的)对点云数据的更新(例如由于所捕获的现实世界场景的图像变化)以及例如对所述辐射图像数据的更新(如果有的话)。通常，在一些实施例中，点云数据可以是例如原始几何形状的形式，并且该几何形状的颜色可以来自例如可以例如单独地分布的辐射图像。然而，在一些实施例中，所述几何形状和与其相关联的颜色可以替代地被包括在所述点云数据中。
在步骤716，服务器接收客户端的当前视点(例如，在沉浸式场景内)。响应于接收到客户端的当前视点，在步骤718和720，所述服务器可以确定视点中相对于与所述参考点云相关联的视点的变化，并且从该新的视角/视点，接收(所捕获场景的)快照点云。图6的示例可以提供例如通过限制仅针对客户端当前看到的(一个或多个)区域执行的对点云时间变化的检查来优化的处理。
在步骤722，服务器相对于所述参考点云，分层地检查所述快照点云或当前新捕获的点云，以便隔离那些已改变的区域。如图6所示，在一些实施例中，步骤722可以包括一具有数个进一步的子步骤的子过程724。
更具体地说，在子步骤726，服务器识别已经变化的区域，并且例如在某些方面类似于图5中所示的子过程，在子步骤726，服务器可对在参考点云和快照点云之间偏离的区域进行聚类。此外，服务器可以确定(例如，计算)每个聚类的相应分数，其中在一些实施例中，该相应分数指示所述偏离的视觉影响的重要性。在一些实施例中，这种重要性可以例如被计算为以下的加权和：所述偏离区域的大小、偏离量以及所述偏离区域距客户端的当前视点的距离。
在子步骤728处，对于具有最高分数的第一聚类，并且因此对于例如最高优先级的示例，服务器确定偏离已被聚类的两个点云(即，快照点云和参考点云)之间的形状对应。然后，如果在子步骤730发现(例如，检测到)类似形状，则服务器可在子步骤732确定(例如，求解)对所述参考点云与所述快照点云之间的偏离进行近似的变换。在子步骤734处，服务器然后在子步骤736处将所述变换添加(例如，应用)到所述参考点云并且将关于具有所述偏离的所述区域的指示和所述变换发送到观看客户端。这些子步骤在图5的描述中更详细地描述。
如果在子步骤730处没有找到类似形状，则所述子过程移动到子步骤738，其中服务器根据所述快照点云，确定要从参考点云移除和/或添加的点，并且在子步骤740处，将所添加和/或移除的点而不是例如整组点云数据流式传输送到客户端。
在子步骤742处，在一些实施例中，服务器可以从刚被处理的聚类隔离尚未被寻址的附加的较细粒度的区域(在本文中也被称为例如“子区域”)。在一些实施例中，服务器可以将这些子区域聚类成新的偏离聚类，并且计算这些新聚类中的每一个聚类的重要性分数(例如，或其他度量)，如结合图5所描述的。
在子步骤744，如果处理预算仍然允许(例如，为处理所捕获的点云的一个实例而保留的处理时间、可用于发送变换的带宽、或在客户端和/或服务器侧的估计的处理能力)，则服务器可以继续处理并划分剩余的聚类。例如，服务器可以返回到例如子步骤728，并且继续处理具有下一个最高重要性分数(并且因此例如具有下一个最高优先级)的下一个仍未处理的聚类(例如，其来自先前形成的聚类和对应于所述刚处理的子区域的新聚类的组合)。然而，如果服务器确定没有剩余更多的处理预算，则子过程724结束，并且处理可以返回到步骤712。
另一方面，如果在步骤746，确定例如服务器或客户端发出了请求以终止所述流式传输，则所述过程可以结束。否则，所述过程可以返回到步骤704。
图7A和7B是根据一些实施例的处理点云数据的另一示例方法的相应流程图。注意，图7B是图7A中所示的方法步骤的继续。图7A和7B一起示出了由(例如)服务器执行的示例过程，该服务器可以负责捕获从可用于环境感测的传感器收集传感器数据而得到的点云。所述传感器可以是例如以下任意者：(一个或多个)RGB-D传感器、(一个或多个)相机阵列、(一个或多个)产生深度信息的立体相机、(一个或多个)LIDAR等。在过程开始时，在步骤802，服务器将所述传感器初始化为准备产生原始传感器数据，并且在步骤804，等待客户端请求一(例如，优化的)点云流。
在一些实施例中，当客户端请求从服务器接收(例如，优化的)动态点云流时，在步骤806，首先服务器和客户端可以协商适当的处理预算。在一些实施例中，处理预算定义了对于从服务器到客户端的每个单个动态点云更新步骤，可以使用多少时间和带宽来流式传输数据。在一些实施例中，为了协商要使用的预算，可以测试客户端和服务器之间的网络连接的带宽。在这点上，在一些实施例中，客户端可以定义(例如，所需的)更新帧速率，其例如定义了所述服务器具有多少时间来处理每个更新步骤。此外，在一些实施例中，可以测试客户端的性能以定义客户端在每个更新步骤期间可以处理的变换的近似数目。在一些实施例中，客户端还可以粗略估计在每个显示更新周期期间该客户端可以处理和渲染多少个点云点。
当在步骤808中已经定义了用于处理的预算时，在步骤810中，服务器可以使用原始传感器数据来捕获最新的点云数据，并且将该最新的点云数据存储为参考点云。在步骤812，服务器还可以将所述参考点云发送到客户端。在一些实施例中，在例如数据大小太高而使服务器或客户端无法实时处理的情况下，服务器可以在存储所述参考点云时降低所述参考点云复杂度(例如，使用合适的压缩技术)。注意，初始参考帧可以不依赖于客户端视点。
除了在会话开始时发送完整参考点云之外，在一些实施例中，可以周期性地发送新的参考点云，例如，以便避免由将点云中的变化累积地近似为分层变换而引起的数据降级。可以使用例如固定间隔来发送新的参考点云，诸如每第N个更新步骤发送一新的完整参考点云。在一些实施例中，可以使用其他方法来确定保证发送新的参考点云的累积变化幅度。这样的方法可以例如查明当前捕获的场景与作为参考点云较早发送的场景之间的总体变化，并且然后在该变化超过阈值时，发送新的参考点云。
当已经将参考点云发送至客户端时，所述过程进行到针对点云流式传输的每个时间步而执行的连续子过程。在该连续子过程中，在步骤812，服务器首先接收或预测相对于参考点云的最新客户端位置。然后，在点816处，服务器将原始传感器数据捕获到最新的点云中，然后对该点云进行处理，以便将自从上次捕获以来已经发生的变化转换为至客户端的经优先化排序的变换。
由于点云数据是用于以全3D格式描述虚拟内容的格式，所以可以选择不同的视点来检查场景数据。因此，在一些实施例中，当优化所述内容时，还考虑客户端所使用的视点，以便更准确地符合特定客户端的质量要求。在本文的各种实施例中，由于动态点云中的变化根据观看者所感知的特定变化的视觉影响的大小而被优先化排序，所以观看者所使用的对所述内容的视点对所述特定变化的所述视觉影响的加权具有影响。在一些实施例中，靠近观看者的变化通常比远离用户(或观看者)的对象上的类似变化更可见，并且因此可以被相应地优先化排序。因此，在本文描述的各种实施例中，存在一客户端连续地向服务器报告用于检查所述内容的视点的值。
在步骤818，开始流式传输所捕获的点云中自先前处理的时间步以来发生的变化，这可通过首先隔离所述点云中与所述先前捕获的点云存在偏离的区域而进行。将新捕获的点云(以及因此将被处理的当前点云)与参考点云进行比较。在一些实施例中，将以例如明显偏离的总体几何形状为特征的捕获点的所有区域隔离成单独的聚类。
在一些实施方案中，聚类是例如隔离的(例如，)与参考点云不同的点云的连续区域。在一些实施例中，连续区域可以指例如由彼此相对接近(例如，彼此位于给定阈值距离以下)的点的集合(例如，群组)构成的区域。如将更详细描述的，例如，一旦处理了原始聚类区域，就可以再次检查该聚类(例如，在后续处理中再次检查)以识别仍然偏离的任何较细粒度的区域或子区域。在一些实施例中，关于聚类的识别使得能够识别自上一次更新步骤以来所述点云的哪些区域已经变化，以便能够接着近似一变换，其可最佳地估计所述聚类内的变化的点位置。在一些实施例中，聚类操作可以通过以下操作来完成：可以通过首先从参考点云中减去新捕获的点云，并且因此将参考点云和捕获的点云之间的点位置与欧几里得距离的某个容差进行比较，使得如果存在处于该容差距离内的点，则新捕获的点云中的对应点可以被标记为不偏离。根据示例，一旦捕获的点云已经被清除了没有偏离的点，该结果是偏离区域。然后，这些区域可以被聚类为隔离的偏离区域。
点云配准和差异比较可以通过迭代最近点方法或其他类似方法来完成。参见，例如，HUANG,Jing等人，“基于3D自相似性的点云匹配(Point cloud matching based on 3Dself-similarity)”，计算机视觉与模式识别研讨会(Computer Vision and PatternRecognition Workshops)(CVPRW)，2012IEEE计算机学会会议IEEE,2012.p.41-48；BOUAZIZ,Sofien等人，“稀疏迭代最近点(Sparse iterative closest point)”，计算机图形论坛，Blackwell出版有限公司，2013.p.113-123；以及以下网址处的文章：www.pointclouds.org/documentation/tutorials/cluster_extraction.php。
现在参考图7B，当偏离区域被分成多个聚类(步骤818)时，在步骤820，根据例如包含在给定聚类中的变化对于客户端观看的的视觉影响来对多个聚类进行优先化排序。如上文所讨论的，客户端视点是重要的，因为在一些实施例中，它用于确定点云数据中的什么变化对于客户端是重要的。在一些实施例中，所述视觉影响可以被确定为使得相对大、在观看用户附近和在观看方向的当前焦点附近的变化比远离所述观看用户和更朝向所述观看用户的背部的方向的较小变化更重要。在一些实施例中，所述变化的幅度可以取决于以下二者：所述点云的变化的区域和该区域距所述观看者的距离。在一些情况下，远离所述视点的变化可能对观看者没有显著的视觉影响。
在一些实施例中，在计算每个聚类的优先级(在图7B中也表示为“重要性”)时使用的距离可以是该点到虚拟视点(例如，客户端正在使用该虚拟视点来检查客户端侧的点云)的距离。该距离可以从在步骤814中提供的当前客户端位置来计算。在一些实施例中，对于聚类，所述距离可以是所述聚类中的每个点到所述客户端正在使用的虚拟视点的平均距离。在一些实施例中，点云中的所有点可以使用全局点云坐标系来定义，并且所述客户端视点可以使用该相同的坐标系。例如，如果所述当前视点位于所述点云中的坐标(x,y,z)处，则所述视点可以被给定为坐标(x2,y2,z2)和向量(x3,y3,z3)的组合。在一些情况下，所述视点向量可以是单位向量。此外，在一些实施例中，可以将诸如由客户端使用的视锥(viewing frustum)的附加信息用信号通知给服务器。例如，返回参考图6的示例过程，可以仅处理点云的对客户端可见的一部分。在一些实施例中，为了使服务器能够确定所述可见区域，服务器可能例如除了例如视点和方向之外，还需要知道视场(例如，视锥)。
在步骤822，处理具有最高优先级的聚类(例如，如图7B中的最高计算的重要性度量(例如，分数))。如上文结合图5和6所述并且将结合图8更详细地描述的，对于给定聚类(例如，具有最高优先级的聚类)的处理在一些实施例中涉及确定要应用于所述参考点云的3D变换，或者如果不能确定这样的变换，则根据变化，确定要从所述参考点云添加和/或移除的点。
在步骤824，所述参考点云中的聚类区域由服务器根据处理结果来更新。此外，如图7B所示，在步骤824，关于所述处理结果的信息(例如，与变换或点移除和/或添加有关的信息)也可由服务器发送到客户端以更新客户端侧的参考点云。在步骤826，服务器再次检查刚处理的聚类，以识别该处理后的聚类中仍然偏离的其他区域(这里也称为“子区域”或“较细粒度的残余变化区域”)。一旦被识别，就形成新的聚类，并且如前所述那样计算每个新聚类的重要性。
在步骤828，服务器确定是否仍有足够的处理预算剩余以继续处理。如果判断结果是肯定的，所述处理返回到步骤822，其中新形成的聚类及其相应的重要性值被添加到先前形成的聚类中以再次确定具有次高优先级的聚类，并继续进行到所述的处理框。
另一方面，如果所述判断结果是否定的，则所述过程移动到步骤830，在该步骤中，作出关于是否已经例如由客户端请求了结束当前会话的判定。如果判定结果是否定的，则该过程返回到步骤814。如果所述判定结果是肯定的，则所述处理移到步骤832，在该步骤中，作出关于是否已经请求过程终止的判定。如果是，则该过程在834处结束。如果不是，则该过程返回到步骤804，如图7A所示，在该步骤，服务器等待来自客户端的对点云流式传输的另一请求。
现在将更详细地描述根据一些实施例的示例聚类处理。
在一些实施例中，在每个聚类的处理中，目标可以是找到准确地描述所述参考点云与所捕获的点云之间的偏离的刚性变换。如果没有发现描述该偏离的变换，则在一些实施例中，可以从所述参考点云添加和/或移除点，以便使所述参考点云例如类似于所捕获的点云。
图8是根据一些实施例的处理一聚类的示例方法的流程图。在一些实施例中，该处理可以由服务器执行。
对聚类的处理可涉及将相应优先级指派给每一聚类，使得首先选择具有最高优先级的聚类进行处理。
这样，在步骤902，服务器可以选择具有最高优先级的聚类进行处理。如上所述，在一些实施例中，给定聚类的优先级的确定可以基于确定(例如，计算)该聚类的重要性(例如，指示重要性的分数，或者例如优先级)，其中所述重要性指示包含在所述聚类中的变化相对于观看者的当前视点的视觉影响。在选择了要处理的聚类之后，在步骤904，服务器比较所述参考点云和新捕获的点云，以寻找该两个点云之间的聚类区域的形状对应。在一些实施例中，目标是确定在该两个点云中是否存在相同的总体几何形状，这可能意味着所述聚类区域已经在两个时间点之间变换。在一些实施例中，取决于是否找到形状对应(在步骤906)，处理分支可进行至求解所述变换(在步骤908处和之后)或(例如，直接)移动到点添加和/或移除的过程(在步骤912处)。
通常，将理解，存在关于可以如何执行两个点云之间的形状对应的许多示例技术。该过程可以涉及例如两个点云数据集的配准过程。该点云配准过程通常可以涉及例如基于特征和位置之间的相似性来估计对应，从该对应可以估计一变换(诸如以刚性变换矩阵的形式，当其被应用于数据集之一时，该刚性变换矩阵可以将其与另一数据集对准)。例如，参见以下网址处的文章：pointclouds.org/documentation/tutorials/registration_api.php#registration-api。
作为一个说明性示例，在一些实施例中，服务器可以被配置为在参考点云和新捕获的点云中彼此相对接近地定位的偏离聚类之间运行相当粗略的形状估计。如果结果看来存在匹配，则服务器随后可以执行迭代最近点(ICP)算法以找到(例如，最优)变换。在一些实施例中，如果需要，服务器可以执行附加检查，检查所配准的聚类之间的误差是否低于例如给定阈值，以确保存在一对应。
注意，利用本文描述的示例实施例的益处，形状对应的准确度不需要相对较高，因为如本文根据一些实施例描述的分层点云数据处理或聚类检查将校正所述数据中的残余误差。因此，在一些实施例中，对聚类执行ICP可能是足够的，因为即使对于匹配较差的聚类，随后的子区域聚类处理(如前所述并在下面更详细地描述)也可以校正残差。
此外，在一些实施例中，寻找形状对应(例如，匹配)可包括产生聚类区域的包围体并将其匹配到近似相同的大小/形状包围体。在这种情况下，如果需要增加匹配的精度，则可以用更复杂的几何结构(例如，比仅框更复杂)来创建包围体。
如果在步骤906，从第二点云检测到被检测为从一个点云偏离的偏离区域的类似几何区域，则服务器可以确定该偏离是由所述偏离区域的变换引起的。在这种情况下，在一些实施例中，在步骤908，求解一可以最佳地描述所述变换的变换。通常，根据一些实施例，通过从两个对应的点云区域(参考点云中的A和所捕获的点云中的B)形成线性系统B＝R*A+t来考虑和求解刚性变换(例如，平移和旋转)。从所述线性系统，通过最小化根据两个对应点云区域之间的点的偏离而计算的最小平方误差来求解R和t。为了求解给出最小平方误差的R和t，可以使用多个不同的解析或迭代线性求解器。
变换可以包括用于线性代数和计算机图形学的已知方法(例如，变换矩阵)。变换矩阵可以将旋转和平移组合到单个矩阵中。利用变换矩阵，可以通过将点坐标乘以所述变换矩阵来对点进行变换。3D变换矩阵通常是3乘4的形状。利用刚性变换，前3乘3部分可以被解释为描述旋转，而后3乘1部分可以描述所述平移。参见例如以下网址处的文章：en.wikipedia.org/wiki/Transformation_matrix。
在步骤908，求解对两个点云之间的偏离进行近似的变换(例如，刚性变换)。在一些实施例中，所求解的变换可以(例如，最优地)将参考点云聚类变换到所捕获的点聚类。在步骤910，服务器可以通过将所述变换应用于所述参考点云中的偏离区域(在此也被称为“变化的区域”)来修改所述参考点云。在步骤910，所述变换和关于所述偏离区域的指示也可以由服务器发送到客户端，使得客户端可以相应地更新客户端侧的参考点云的本地副本。在一些实施例中，所述指示可以是指示变化的区域的包围体坐标的形式。以这种方式，客户端可以本地跟踪所述服务器对所述参考点云的更新。
在未找到形状对应(步骤906)的情况下，在步骤912，可由服务器检查所述聚类的参考点云区域和所捕获的点云区域，以定义点添加(例如，要添加的点)和/或从参考点云中移除点(例如，要移除的点)，这例如复制了所捕获的点云中的所述偏离区域的外观。为了说明，如果在参考点云中的几何形状中存在数据现在变得可见的孔，则通过添加点来将填充所捕获的点云中的所述孔的新数据的部分添加到所述参考点云。或者，如果在所述参考点云中出现的点不再存在于所捕获的点云中，则可以从所述参考点云中移除那些点。这种点移除可以例如由在所捕获的区域外部移动的对象引起。在步骤912，当服务器向参考点云添加点和/或从参考点云移除点时，在一些实施例中，如图8所示，点信息也被发送(例如，流式传输)到客户端，使得客户端可以对该客户端的参考点云的本地副本执行相同的点添加/移除操作。在一些实施例中，可以从存在于所捕获的点云中的全分辨率数据下采样所添加的点。例如，如果所捕获的点云的分辨率相对于所述参考点云内使用的分辨率显著更高，则这可能发生。
当已经对所述参考点云执行了所述变换(步骤910)时，或者当已经对参考点云添加和/或移除点(步骤912)时，在步骤914，服务器可以再次检查所述聚类区域(在此也称为“主要变化区域”或“主要聚类区域”)以便对刚刚处理的聚类内的可能仍然偏离的或者示出(一个或多个)残余变化的可能子区域(在此也称为“较细粒度区域”或“较细粒度残余变化区域”)进行聚类。在一些实施例中，为了识别具有最高优先级的所处理的聚类内的一个或多个子区域，服务器将捕获的点云与更新的参考点云进行比较以识别可能仍然偏离更新的参考点云的较细粒度的区域(如果有的话)。
如前所述，所述更新的参考点云可以是已经应用变换或者已经通过点添加和/或移除而被修改的原始参考点云。在一些实施例中，可以为所识别的子区域定义新的聚类，并且在步骤916，可以通过确定(例如，计算)每个新聚类的相应重要性来对该新的聚类进行优先化排序(例如，指派相应的优先级)。可以以与上文针对对应于主要聚类区域的聚类所描述的类似方式来执行此计算。然后，如果在步骤918，服务器确定仍然留有处理预算，则服务器可以将这些新的聚类添加到要处理的聚类列表。因此，所述聚类列表现在将包括先前优先化排序的主要聚类区域(基于它们的重要性)和具有它们各自的重要性值或优先级的新聚类。在一些实施例中，处理预算包括服务器可用于计算每个点云更新周期之间的所需变换和/或点添加/移除的时间。如果所述处理预算不再可用，则在步骤920，服务器可以返回到如图7A和7B所示的主要处理(参见例如图7B及其相应描述(例如步骤830和832))。
如果仍然剩余处理预算，当已经处理了具有最高优先级的聚类并且已经为该聚类内仍然具有偏离的子区域隔离了新的聚类时，所述处理返回到步骤902，其中服务器从优先化排序聚类列表中选择要处理的具有次高优先级的下一聚类。在这点上，在一些实施例中，具有次高优先级的下一个聚类可以是以下之一：先前为主要变化区域识别的剩余聚类、或者一对应于子区域(例如，具有先前最高优先级的刚处理的聚类内的子区域)中的一个子区域的聚类。在一些实施例中，图8所示的处理连续地对所识别的聚类中具有最高视觉影响的聚类进行优先化排序，以便确保在参考点云中再现点云更新周期之间的尽可能多的可见变化并将其发送到客户端。
在一些实施例中，关于更新的处理可以连续地执行，直到客户端侧或服务器侧的用户请求终止该过程(例如，如图5-8中描述的示例过程中所示)。然后，例如根据请求，服务器侧的处理可以返回到等待客户端连接请求或者完全终止所述过程。
现在将描述根据一些实施例的示例性变化。
在一些实施例中，服务器可以同时处理与多个客户端的连接。在这种情况下，服务器可以例如连续地监听客户端连接请求，并且例如每当客户端发信号通知意图连接到服务器时，服务器可以向进行连接的客户端发送当前参考点云。这样，根据一些实施例，可以针对活动地连接到服务器的客户端中的每一个客户端，执行本文描述的各种方法。在一些实施例中，服务器还可以从所有连接的客户端中的每一个客户端接收给定位置，以便例如在确定(例如，计算)针对特定客户端处理的聚类的相应重要性值(例如，分数)时考虑该位置。如上文所述，在一些实施例中，客户端位置可以用于确定给定点云内的区域相对于例如客户端视点的距离。在这点上，在一些实施例中，如前所述，重要性计算(并且因此例如聚类优先级)至少部分基于变化区域与客户端的当前视点的距离。
在一些实施例中，所公开的方法的各种实施例可以由服务器基于预先捕获的动态点云序列来执行。即，根据一些实施例，在该特定变型中，点云数据可以存储在存储介质上并且从存储介质而不是从传感器取回。此外，在一些实施例中，在任何客户端请求数据之前，作为预处理步骤，该数据可以(例如，使用根据一些实施例的本文描述的各种技术)被变换成经优先化排序的变换的(例如，优化的)流。
在一些实施例中，服务器可以另外检查所述点云数据以估计与预定义对象模型的区域对应。服务器然后可向观看者指示一些自然标记，其可由客户端可用于观看应用的上下文调整。在这点上，在一些实施例中，当处理所述点云(数据)时，也可以对所述点云执行单独的形状分类，以便检测例如是否可以从所述点云识别出已知的对象类型。
在一些实施例中，服务器可以分析点云以向客户端提供上下文信息以及参考点云。例如，服务器可以分析所述点云以估计该点云中的底平面(floor plane)，并且将该信息提供给客户端。客户端然后可以使用该底平面信息来对准点云显示，使得在所述点云数据内表征的底平面与观看者的物理环境的底平面一致。在一些实施例中，这是可以如何使用对象识别的示例。更特别地，单独的对象识别可以由服务器在所述点云上执行，并且如果检测到“上下文”重要的事物(例如，在这种情况下为底平面)，则服务器可以将该信息传输到客户端。
在一些实施例中，服务器可以使用对点云数据的上下文理解来过滤所述内容的部分。就这一点而言，在一些实施例中，不同于仅向客户端发信令通知上下文有意义的信息(例如，如上所述)，服务器可以使用该信息在服务器侧处理所述点云数据。在一些实施例中，过滤可以由客户端请求或一些预定义的设置(例如，在服务器侧)驱动。例如，客户端可以请求所述服务器仅流式传输对场景中的动态元素的更新，或者过滤掉所捕获内容的底层(floor)和顶层(ceiling)。因此，在一些实施例中，服务器可以仅流式传输对(例如，至少部分地)动态(并且因此可能随时间变化)的元素不是静止的元素的更新。
现在将描述根据一些实施例的示例操作。在一个可能的示例操作中，相机阵列可以瞄准墙壁和门。从该相机阵列数据，可以产生3D点云，然后可以将其分发给(一个或多个)客户端。在客户端侧，可以使用MR眼镜以实现运动视差的方式来观看所述3D点云。使用根据一些实施例的公开的方法和系统，服务器可以从所述相机阵列数据产生点云。当客户端连接到服务器时，服务器可以开始将动态点云序列流式传输到客户端，这可从要被设置为参考点云的第一点云开始。本地设备跟踪可以在客户端设备上执行，并且一旦客户端已经接收到所述参考点云并且选择了初始视点，客户端就可以开始发送相对于所述参考点云的视点位置。在一些实施例中，客户端可以基于本地用户偏好来选择对所述点云数据的初始视点。
当客户端首次与服务器连接并且请求所述(例如，优化的)动态点云流时，服务器发送被用作参考点云的完整点云。在一些实施例中，在已经将参考点云发送至客户端之后，仅发送相对于该参考点云的更新(例如，在某个时间段内)。
如果在某段时间内场景中没有任何变化，则在一些实施例中，主要数据交换涉及客户端向服务器发送其相对于所述点云的位置。在此期间，服务器使用该更新的客户端视点位置对发生的变化进行优先化排序，连续地估计所述动态点云数据中发生的变化，以便将具有最大视觉影响的那些变化传输到客户端。在一些实施例中，当捕获一其内元素不移动或变化的静态场景时，用于捕获点云的传感器可能具有测量噪声或不一致的测量密度，这可使得所捕获的点云序列表征动态行为，即使所捕获的点云序列是从静态场景记录的。在一些实施例中，服务器将连续地检测所述点云数据中的变化，使用最新的客户端位置来对所述变化进行优先化排序，并且基于与那些变化相关联的优先级，将所述变化作为变换而流式传输给客户端。
此外，在该示例操作(捕获墙壁和门)中，门可以开始打开。服务器可以从门开始打开的时间步中捕获点云数据。该过程可以将所述门隔离为一具有偏离区域的聚类，并且针对每个时间步，寻找对包含所述门的点云的区域的运动进行近似的变换。当传感器捕获到开门的人的图像时，在一些实施例中，该过程还可以开始发送先前未存在于所述参考点云中的这些新点(捕获该人)。
当开门的人完全可见并且所述点云中的(所捕获的人的)新点被发送到客户端时，则在一些实施例中，该人的运动可以被近似为粗略水平的刚体变换，并且在所述捕获的每个帧期间，这些刚体变换可以进一步从粗略水平被估计到精细水平(如例如上文所描述的)，使得从所捕获的帧到帧的身体外观的变形是被连续地近似的。
图9是示出根据一些实施例的示例方法1000的流程图。在一些实施例中，该方法由服务器执行。在步骤1002，服务器向客户端发送第一点云，其中该第一点云对应于参考点云。在步骤1004，服务器接收第二点云。在步骤1006，服务器从所述参考点云分层地确定所述第二点云中的变化。为了分层地确定所述变化，在步骤1108，服务器识别所述第二点云中的已经从所述参考点云变化的第一区域。为了分层地确定所述变化，在步骤1110，服务器进一步对所述第一区域进行优先化排序。为了分层地确定所述变化，在步骤1012，对于具有最高优先级的第一区域，服务器确定是否存在对从所述参考点云的第一变化进行近似的第一刚性3D变换。在步骤1014，响应于确定存在所述第一刚性3D变换，服务器确定对从所述参考点云的所述第一变化进行近似的第一刚性3D变换。最后，在步骤1016，响应于确定所述第一刚性3D变换不存在，服务器进一步确定要用于修改所述参考点云的第一点，其中所述第一点表示所述第一变化。
图10A和10B是示出根据一些实施例的另一示例方法1100的相应流程图。注意，图10B是图10A中所示的方法步骤的延续。在一些实施例中，该方法由服务器执行。在步骤1102，服务器将初始点云传输到客户端。在步骤1104，服务器从所述初始点云分层地确定当前点云中的变化。为了分层地确定所述变化，在步骤1106，服务器识别所述当前点云中的主要变化区域。为了分层地确定所述变化，在步骤1108，服务器进一步使用第一主要变化区域来确定是否存在对从初始点云的第一变化进行近似的第一刚性3D变换。在步骤1110，响应于确定存在所述第一刚性3D变换，服务器确定对从所述初始点云的所述第一变化进行近似的所述第一刚性3D变换。在步骤1112，响应于确定所述第一刚性3D变换不存在，服务器进一步确定要用于修改所述初始点云的第一点，其中所述第一点表示所述第一变化。在步骤1114，为了分层地确定所述变化，服务器还识别所述主要变化区域内的一个或多个较细粒度的残余变化区域。为了分层地确定所述变化，在步骤1116，服务器还使用所述一个或多个较细粒度的残余变化区域和剩余的主要变化区域来确定是否存在对从所述初始点云的第二变化进行近似的第二刚性3D变换。在步骤1118，响应于确定存在所述第二刚性3D变换，服务器确定对从所述初始点云的所述第二变化进行近似的所述第二刚性3D变换。最后，在步骤1120，响应于确定所述第二刚性3D变换不存在，服务器进一步确定要用于进一步修改所述初始点云的第二点，其中该第二点表示所述第二变化。
此外，上文已经描述了各种(例如，相关的)实施例。
根据一些实施例，公开了一种将时间序列的点云帧表示为应用于参考点云的一组分层3D变换的方法。在一些实施例中，一系列刚性变换可以用于变化参考点云。在一些实施例中，附加的信令可以从所述参考点云添加或移除点。
根据一些实施例，公开了一种编码器侧选择用于表示内容的变换的方法。
根据一些实施例，公开了用于分发到客户端的预捕获内容而不是实况编码的优化。
根据一些实施例，公开了用信号发送附加的上下文分析数据，诸如例如，除了点云和变换之外，所识别的元素的位置。
根据一些实施方式，一种向客户端提供3D数据的方法可以包括：接收3D数据作为第一点云；响应于从所述客户端接收请求，将所述第一点云发送至所述客户端并将所述第一点云存储为参考点云，然后迭代地接收3D数据作为当前点云；从所述客户端接收当前观察视点；以及响应于接收所述当前观察视点，确定所述当前点云的所述视点相对于所述参考点云的视点的变化；相对于所述参考点云，执行对所述当前点云的分层检查，以识别偏离区域；对偏离区域进行聚类；计算所聚类的偏离区域的分数；确定所聚类的偏离区域的形状对应；以及响应于确定所聚类的偏离区域的相似形状，对所述参考点云应用变换；以及向客户端发送变换和关于所聚类的区域的指示；响应于未确定所聚类的偏离区域的相似形状，从参考点云中添加或移除点；以及将所添加或移除的点发送到客户端。
根据一些实施方式，向客户端提供3D数据的另一种方法可以包括：接收3D数据作为第一点云；响应于从所述客户端接收到请求，将所述第一点云发送到所述客户端并且将所述第一点云存储为参考点云；开始用于将点云数据流式传输至所述客户端的过程，针对新点云迭代地执行所述过程，直到接收到终止请求为止，所述过程包括：接收3D数据作为当前点云；相对于所述参考点云，执行对所述当前点云的分层检查，以识别偏离区域；对偏离区域进行聚类；计算所聚类的偏离区域的分数；确定对所聚类的偏离区域的形状进行近似的变换；以及响应于确定变换，对所述参考点云应用变换，以及将所述变换和关于所述聚类区域的指示发送到所述客户端；响应于未确定变换，从参考点云中添加或移除点；以及将所添加或移除的点发送到客户端。
在一些实施例中，接收3D数据可以包括从传感器接收数据或从存储介质接收预捕获的动态点云序列。在一些实施例中，所述传感器数据可以是RGB-D捕获的数据、LIDAR捕获的数据或一些其它类型。在一些实施例中，将所述第一点云发送到所述客户端可以包括将辐射图像数据发送到客户端。在一些实施例中，可以基于所述区域的大小、偏离量以及偏离区域与当前视点的距离的加权和来计算分数。另外，在一些实施例中，每种方法还可以包括确定在处理预算中是否剩余时间用于处理另外的聚类，并且如果时间存在剩余，则处理另外的聚类。在一些实施例中，该方法还可以包括在服务器和客户端之间协商用于设置点云更新的时间和带宽限制的处理预算。
一种系统可以使用处理器和存储指令的非暂时性计算机可读介质来执行所述方法，所述指令在由所述处理器执行时可操作以执行所公开的方法中的任何方法。在一些实施例中，该系统还可以包括3D传感器。
注意，所描述的一个或多个实施例的各种硬件元件被称为“模块”，其实施(即，执行、运行等)在此结合相应模块描述的各种功能。如本文所使用的，模块包括相关领域的技术人员认为适合于给定实现的硬件(例如，一个或多个处理器、一个或多个微处理器、一个或多个微控制器、一个或多个微芯片、一个或多个专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)、一个或多个存储器设备)。每个所描述的模块还可以包括可执行用于执行被描述为由相应模块执行的一个或多个功能的指令，并且注意，这些指令可以采取硬件(即，硬连线的)指令、固件指令、和/或软件指令等的形式或包括它们，并且可以存储在任何适当的非暂时性计算机可读介质或媒体中，诸如通常被称为RAM、ROM等的媒体。
尽管上述按照特定组合描述了特征和元素，但是本领域技术人员将理解的是每个特征或元素可以被单独使用或以与其它特征和元素的任何组合来使用。此外，于此描述的方法可以在嵌入在计算机可读介质中由计算机或处理器执行的计算机程序、软件或固件中实施。计算机可读存储媒体的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储设备、诸如内部硬盘和可移除磁盘之类的磁媒体、磁光媒体、以及诸如CD-ROM碟片和数字多用途碟片(DVD)之类的光媒体。与软件相关联的处理器可以用于实施在WTRU、UE、终端、基站、RNC或任意主计算机中使用的射频收发信机。

Claims (20)

1.一种由服务器执行的方法，包括：
获取点云时间序列中的第一点云和第二点云；
确定所述第一点云和所述第二点云之间的偏离区域；
基于相应的重要性分数，从所述偏离区域之中选择第一偏离区域；
生成所述第一偏离区域中的所述第一点云与所述第二点云之间的变化的表示；
使用所述表示来更新所述第一点云；
重复所述确定、所述选择、所述生成和所述更新步骤，以获得所述第一点云与所述第二点云之间的相应变化的一系列表示，其中所述表示中的每个表示指定所述第一点云的区域和要被应用于该指定区域的变化，每个这样的变化包括以下至少一者：3D变换、要被添加的点的集合和要被移除的点的集合；以及
将所述一系列表示传输到客户端。
2.一种服务器的装置，包括：
至少一个处理器；以及
存储指令的存储器，所述指令在由所述至少一个处理器执行时使所述装置：
获取点云时间序列中的第一点云和第二点云，
确定所述第一点云与所述第二点云之间的偏离区域，
基于相应的重要性分数，从所述偏离区域当中选择第一偏离区域，生成所述第一偏离区域中的所述第一点云与所述第二点云之间的变化的表示，
使用所述表示来更新所述第一点云，
重复所述确定、所述选择、所述生成和所述更新步骤，以获得所述第一点云与所述第二点云之间的相应变化的一系列表示，其中所述表示中的每个表示指定所述第一点云的区域和要被应用于该指定区域的变化，每个这样的变化包括以下至少一者：3D变换、要被添加的点的集合和要被移除的点的集合，以及
将所述一系列表示传输到客户端。
3.根据权利要求1所述的方法或根据权利要求2所述的装置，其中，所生成的表示包括捕获粗略变化的第一表示和捕获更精细的残差变化的第二表示。
4.根据权利要求1所述的方法或根据权利要求2所述的装置，其中，所述第一点云和所述第二点云从一个或多个3D传感器获得。
5.根据权利要求1所述的方法或根据权利要求2所述的装置，其中，所述点云时间序列被从存储介质访问。
6.根据权利要求1所述的方法或根据权利要求2所述的装置，其中，所述一系列表示的呈现的3D变换包括旋转和平移。
7.根据权利要求1所述的方法或根据权利要求2所述的装置，其中，所述第一点云与所述第二点云之间的所述偏离区域通过使用聚类技术而被确定。
8.根据权利要求1所述的方法或根据权利要求2所述的装置，其中，偏离区域的重要性分数反映所述偏离区域中的所述第一点云和所述第二点云之间的所述变化的视觉重要性。
9.根据权利要求1所述的方法或根据权利要求2所述的装置，其中，所述指令还使所述装置执行：
确定用于表示所述第一点云和所述第二点云之间的所述变化的预算；以及
重复所述确定、选择、生成和更新步骤，直到所述预算用尽。
10.根据权利要求9所述的方法或根据权利要求9所述的装置，其中，所述预算包括以下中的至少一者：时间量、处理量、或可用于基于所述变化来更新所述第一点云的带宽量。
11.一种由客户端执行的方法，包括：
获取点云时间序列中的第一点云；
从服务器接收所述第一点云的相应变化的一系列表示，其中每个表示指定所述第一点云的区域以及要被应用于所指定的区域的变化，每个这样的变化包括以下中的至少一者：3D变换、要被添加的点的集合、以及要被移除的点的集合；以及
将所述表示连续地应用于所述第一点云以生成表示所述点云时间序列中的第二点云的点云。
12.一种客户端的装置，包括：
至少一个处理器；以及
存储指令的存储器，所述指令在由所述至少一个处理器执行时使所述装置：
获得点云时间序列中的第一点云，
从服务器接收所述第一点云的相应变化的一系列表示，其中每个表示指定所述第一点云的区域以及要被应用于所指定的区域的变化，每个这样的变化包括以下中的至少一者：3D变换、要被添加的点的集合、以及要被移除的点的集合，以及
将所述表示连续地应用于所述第一点云以生成表示所述点云时间序列中的第二点云的点云。
13.根据权利要求11所述的方法或根据权利要求12所述的装置，其中，由所述一系列表示的呈现所指定的区域包括：封装所述区域的包围体的坐标。
14.根据权利要求11所述的方法或根据权利要求12所述的装置，其中，所述一系列表示中的第一表示和第二表示向重叠的相应的第一指定区域和第二指定区域相继地施加变化。
15.根据权利要求11所述的方法或根据权利要求12所述的设备，其中所述系列表示的第一表示和第二表示分别捕获所述第一点云的区域的第一变化和第二变化，其中所述第一变化包括粗略偏离，并且所述第二变化包括更精细的残差偏离。
16.根据权利要求11所述的方法或根据权利要求12所述的装置，其中，所述一系列表示的呈现的3D变换包括旋转和平移。
17.根据权利要求11所述的方法或根据权利要求12所述的装置，其中，所述一系列表示包括相应的分层3D变换。
18.根据权利要求11所述的方法或根据权利要求12所述的装置，其中，所述一系列表示对在所述第一点云到所述第二点云之间随时间变化进行近似。
19.根据权利要求11所述的方法或根据权利要求12所述的装置，其中，所述指令还使所述装置执行：
向所述服务器发送关于可用于生成表示所述第二点云的所述点云的处理预算的信息。
20.根据权利要求11所述的方法或根据权利要求12所述的装置，其中，所述指令还使所述装置执行：
向所述服务器发送关于相对于所述第二点云的视点位置的信息，以促进对所述一系列表示到所述客户端的传输的优先化排序。
CN202411089680.9A 2018-03-20 2019-03-19 基于优先化排序的变换而优化动态点云的系统和方法 Pending CN119251439A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862645603P 2018-03-20 2018-03-20
US62/645,603 2018-03-20
CN201980031106.9A CN112106370B (zh) 2018-03-20 2019-03-19 基于优先化排序的变换而优化动态点云的系统和方法
PCT/US2019/022994 WO2019183113A1 (en) 2018-03-20 2019-03-19 System and method for optimizing dynamic point clouds based on prioritized transformations

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980031106.9A Division CN112106370B (zh) 2018-03-20 2019-03-19 基于优先化排序的变换而优化动态点云的系统和方法

Publications (1)

Publication Number Publication Date
CN119251439A true CN119251439A (zh) 2025-01-03

Family

ID=66323896

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980031106.9A Active CN112106370B (zh) 2018-03-20 2019-03-19 基于优先化排序的变换而优化动态点云的系统和方法
CN202411089680.9A Pending CN119251439A (zh) 2018-03-20 2019-03-19 基于优先化排序的变换而优化动态点云的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201980031106.9A Active CN112106370B (zh) 2018-03-20 2019-03-19 基于优先化排序的变换而优化动态点云的系统和方法

Country Status (6)

Country Link
US (3) US11373319B2 (zh)
EP (1) EP3769530A1 (zh)
JP (3) JP7376496B2 (zh)
KR (1) KR20200144543A (zh)
CN (2) CN112106370B (zh)
WO (1) WO2019183113A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11200700B2 (en) * 2019-01-10 2021-12-14 Mediatek Singapore Pte. Ltd. Methods and apparatus for signaling viewports and regions of interest for point cloud multimedia data
US11762390B1 (en) * 2019-01-25 2023-09-19 Amazon Technologies, Inc. Autonomous machine safety management in a dynamic environment
JP6647433B1 (ja) * 2019-02-19 2020-02-14 株式会社メディア工房 点群データ通信システム、点群データ送信装置および点群データ送信方法
US11281917B2 (en) * 2019-10-31 2022-03-22 Aptiv Technologies Limited Multi-domain neighborhood embedding and weighting of point cloud data
EP4101173A1 (en) 2020-02-06 2022-12-14 PCMS Holdings, Inc. 3d point cloud enhancement with multiple measurements
CN111325779B (zh) * 2020-02-07 2020-12-11 贝壳找房(北京)科技有限公司 点云配准方法和装置、电子设备和存储介质
CN111738051B (zh) * 2020-04-02 2022-02-11 腾讯科技（深圳）有限公司 点云处理方法、装置、计算机设备和存储介质
US12181878B2 (en) 2020-10-22 2024-12-31 Waymo Llc Velocity estimation and object tracking for autonomous vehicle applications
US12233905B2 (en) * 2020-11-02 2025-02-25 Waymo Llc Classification of objects based on motion patterns for autonomous vehicle applications
US11841439B2 (en) 2020-11-02 2023-12-12 Waymo Llc Point cloud segmentation using a coherent lidar for autonomous vehicle applications
US12050267B2 (en) 2020-11-09 2024-07-30 Waymo Llc Doppler-assisted object mapping for autonomous vehicle applications
CN112446844B (zh) * 2020-11-27 2024-01-23 广东电网有限责任公司肇庆供电局 一种基于点云特征提取与配准融合方法
US11656629B1 (en) 2020-12-08 2023-05-23 Waymo Llc Detection of particulate matter in autonomous vehicle applications
CN114915664A (zh) * 2021-01-29 2022-08-16 华为技术有限公司 一种点云数据传输方法及装置
CN112967230A (zh) * 2021-02-06 2021-06-15 东华理工大学 一种考虑局部点云密度的自适应阈值3d变化检测方法
US12216474B1 (en) 2021-05-04 2025-02-04 Waymo Llc Vibrometry-based behavior prediction for autonomous vehicle applications
CN113362464B (zh) * 2021-05-25 2025-03-07 北京路遥科技有限公司 一种点云数据的高速切片方法及高速切片工具
KR102451797B1 (ko) * 2021-06-01 2022-10-12 씨드로닉스(주) 타겟 객체를 모델링하는 모델링 방법, 모델링 장치 및 모델링 시스템
US11675329B2 (en) * 2021-06-21 2023-06-13 Rockwell Automation Technologies, Inc. Functional safety system using three dimensional sensing and dynamic digital twin
CN113484875B (zh) * 2021-07-30 2022-05-24 燕山大学 一种基于混合高斯排序的激光雷达点云目标分级识别方法
WO2023170726A1 (ja) * 2022-03-07 2023-09-14 日本電信電話株式会社 点群データ表示装置、点群データ記憶装置、点群データ表示方法及び点群データ表示プログラム
CN115047471B (zh) * 2022-03-30 2023-07-04 北京一径科技有限公司 确定激光雷达点云分层的方法、装置、设备及存储介质
US20230345016A1 (en) * 2022-04-26 2023-10-26 KDDI Research, Inc. Point cloud encoding device, point cloud decoding device, point cloud encoding method, point cloud decoding method, and program
CN115222899B (zh) * 2022-09-21 2023-02-21 湖南草根文化传媒有限公司 虚拟数字人生成方法、系统、计算机设备及存储介质
EP4583495A1 (en) * 2022-09-28 2025-07-09 Huawei Technologies Co., Ltd. Data transmission method and apparatuses
US11790031B1 (en) * 2022-10-31 2023-10-17 Content Square SAS Website change detection
WO2024236349A1 (en) * 2023-05-16 2024-11-21 Siemens Industry Software Inc. Automated control of access to an asset in industrial pointcloud-based representation

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6201546B1 (en) 1998-05-29 2001-03-13 Point Cloud, Inc. Systems and methods for generating three dimensional, textured models
US20040254787A1 (en) 2003-06-12 2004-12-16 Shah Sheetal R. System and method for distributed speech recognition with a cache feature
US7583857B2 (en) * 2005-08-24 2009-09-01 Siemens Medical Solutions Usa, Inc. System and method for salient region feature based 3D multi modality registration of medical images
US8314791B2 (en) * 2007-11-19 2012-11-20 Rdv Systems Ltd. Method and apparatus for determining view impact
WO2010031128A1 (en) 2008-09-19 2010-03-25 The University Of Sydney A method and system of data modelling
US20110115812A1 (en) 2009-11-13 2011-05-19 Harris Corporation Method for colorization of point cloud data based on radiometric imagery
US8525848B2 (en) 2009-11-16 2013-09-03 Autodesk, Inc. Point cloud decimation engine
EP2385483B1 (en) * 2010-05-07 2012-11-21 MVTec Software GmbH Recognition and pose determination of 3D objects in 3D scenes using geometric point pair descriptors and the generalized Hough Transform
US8570320B2 (en) 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
US8471849B1 (en) 2012-03-19 2013-06-25 Google Inc. Prioritization of display of portions of three-dimensional object models
SG11201407508RA (en) 2012-05-14 2014-12-30 Luca Rossato Encoding and decoding based on blending of sequences of samples along time
US9256961B2 (en) 2012-06-28 2016-02-09 Here Global B.V. Alternate viewpoint image enhancement
US8848201B1 (en) 2012-10-20 2014-09-30 Google Inc. Multi-modal three-dimensional scanning of objects
US20140198097A1 (en) 2013-01-16 2014-07-17 Microsoft Corporation Continuous and dynamic level of detail for efficient point cloud object rendering
NL2010463C2 (nl) 2013-03-15 2014-09-16 Cyclomedia Technology B V Werkwijze voor het genereren van een panoramabeeld.
US10262458B2 (en) 2013-05-31 2019-04-16 Longsand Limited Three-dimensional object modeling
US10013507B2 (en) 2013-07-01 2018-07-03 Here Global B.V. Learning synthetic models for roof style classification using point clouds
US9286717B2 (en) 2013-07-30 2016-03-15 Hewlett-Packard Development Company, L.P. 3D modeling motion parameters
JP6429466B2 (ja) * 2013-11-19 2018-11-28 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、プログラム
CN103745459B (zh) * 2013-12-26 2017-01-18 西安交通大学 一种非结构化点云特征点检测方法及其提取方法
WO2015106799A1 (en) 2014-01-14 2015-07-23 Sandvik Mining And Construction Oy Mine vehicle, mine control system and mapping method
US9619691B2 (en) 2014-03-07 2017-04-11 University Of Southern California Multi-view 3D object recognition from a point cloud and change detection
CN104978549B (zh) * 2014-04-03 2019-04-02 北京邮电大学 三维人脸图像特征提取方法和系统
US10601734B2 (en) * 2014-07-08 2020-03-24 Nokia Solutions And Networks Oy Method of operating a network entity
CN106575158B (zh) 2014-09-08 2020-08-21 英特尔公司 环境映射虚拟化机构
US20160071318A1 (en) 2014-09-10 2016-03-10 Vangogh Imaging, Inc. Real-Time Dynamic Three-Dimensional Adaptive Object Recognition and Model Reconstruction
US9412361B1 (en) 2014-09-30 2016-08-09 Amazon Technologies, Inc. Configuring system operation using image data
WO2016069499A1 (en) * 2014-10-26 2016-05-06 Galileo Group, Inc. Methods and systems for surface informatics based detection with machine-to-machine networks and smartphones
CN104502919A (zh) * 2015-01-13 2015-04-08 南京大学 利用机载激光雷达点云提取城市植被三维覆盖的方法
US10397802B2 (en) * 2015-04-14 2019-08-27 ETAK Systems, LLC Detecting changes at cell sites and surrounding areas using unmanned aerial vehicles
US9767381B2 (en) 2015-09-22 2017-09-19 Xerox Corporation Similarity-based detection of prominent objects using deep CNN pooling layers as features
CN105630905A (zh) * 2015-12-14 2016-06-01 西安科技大学 一种基于散乱点云数据的分层式压缩方法及装置
US20170214943A1 (en) 2016-01-22 2017-07-27 Mitsubishi Electric Research Laboratories, Inc. Point Cloud Compression using Prediction and Shape-Adaptive Transforms
US10373380B2 (en) 2016-02-18 2019-08-06 Intel Corporation 3-dimensional scene analysis for augmented reality operations
US9986177B2 (en) * 2016-03-09 2018-05-29 Galileo Group, Inc. Spectral enhancements to mobile devices
US10026230B2 (en) 2016-03-30 2018-07-17 Daqri, Llc Augmented point cloud for a visualization system and method
GB2550567A (en) * 2016-05-20 2017-11-29 Nokia Technologies Oy Point Cloud Matching Method
US9886771B1 (en) * 2016-05-20 2018-02-06 Ccc Information Services Inc. Heat map of vehicle damage
US10694210B2 (en) 2016-05-28 2020-06-23 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
CN106126816B (zh) 2016-06-24 2019-04-05 南京林业大学 重复建筑自动感知下的大规模als建筑点云建模方法
JP6637855B2 (ja) * 2016-08-22 2020-01-29 株式会社ソニー・インタラクティブエンタテインメント データ処理装置、データ処理方法およびコンピュータプログラム
US10282918B2 (en) 2016-09-20 2019-05-07 Siemens Healthcare Gmbh Two-dimensional cinematic medical imaging in color based on deep learning
KR102383427B1 (ko) * 2016-12-16 2022-04-07 현대자동차주식회사 자율주행 제어 장치 및 방법
US10699421B1 (en) * 2017-03-29 2020-06-30 Amazon Technologies, Inc. Tracking objects in three-dimensional space using calibrated visual cameras and depth cameras
CN107040422B (zh) 2017-04-25 2020-05-05 浙江工业大学 一种基于物化缓存的网络大数据可视化方法
CN107194983B (zh) 2017-05-16 2018-03-09 华中科技大学 一种基于点云与影像数据的三维可视化方法和系统
US10362296B2 (en) 2017-08-17 2019-07-23 Microsoft Technology Licensing, Llc Localized depth map generation
CN107862293B (zh) 2017-09-14 2021-05-04 北京航空航天大学 基于对抗生成网络的雷达生成彩色语义图像系统及方法
US11113845B2 (en) * 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10482575B2 (en) 2017-09-28 2019-11-19 Intel Corporation Super-resolution apparatus and method for virtual and mixed reality
DE102017011562A1 (de) 2017-12-14 2018-05-30 Daimler Ag Verfahren zur Umwandlung eines Rohbilds in ein Farbbild
US11094075B1 (en) 2018-01-23 2021-08-17 Facebook Technologies, Llc Systems and methods utilizing a machine learning model for generating defocus blur effects
EP3518001B1 (en) * 2018-01-25 2020-09-16 Aptiv Technologies Limited Method for increasing the reliability of determining the position of a vehicle on the basis of a plurality of detection points
CN111837144B (zh) 2018-03-13 2024-07-26 奇跃公司 使用机器学习的增强图像深度感测
CN112106063B (zh) 2018-03-20 2025-05-16 Pcms控股公司 用于动态调整点云的细节级别系统及方法
CN108833927B (zh) 2018-05-03 2019-08-16 北京大学深圳研究生院 一种基于删除量化矩阵中0元素的点云属性压缩方法
GB2576548B (en) 2018-08-23 2021-11-03 Sony Interactive Entertainment Inc Method and system for reconstructing colour and depth information of a scene
GB202001839D0 (en) 2020-02-11 2020-03-25 V Nova Int Ltd Use of tiered hierarchical coding for point cloud compression
WO2021212886A1 (en) 2020-04-24 2021-10-28 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for object recognition

Also Published As

Publication number Publication date
US20210049779A1 (en) 2021-02-18
US12062195B2 (en) 2024-08-13
CN112106370A (zh) 2020-12-18
JP2024012389A (ja) 2024-01-30
US20240354971A1 (en) 2024-10-24
JP2021518602A (ja) 2021-08-02
US20220309689A1 (en) 2022-09-29
WO2019183113A1 (en) 2019-09-26
KR20200144543A (ko) 2020-12-29
JP7376496B2 (ja) 2023-11-08
JP7644198B2 (ja) 2025-03-11
EP3769530A1 (en) 2021-01-27
US11373319B2 (en) 2022-06-28
CN112106370B (zh) 2024-08-30
JP2025084863A (ja) 2025-06-03

Similar Documents

Publication Publication Date Title
JP7644198B2 (ja) 優先順位付けされた変換に基づいて動的点群を最適化するためのシステムおよび方法
CN110915217B (zh) 360度视频译码方法、设备和可读介质
CN112106063B (zh) 用于动态调整点云的细节级别系统及方法
CN110870317B (zh) 用于对360度视频内容进行编码的方法和装置
CN112585962B (zh) 用于形成大视点变化的扩展焦平面的方法和系统
JP2023532436A (ja) トポロジフレンドリ表現を用いたグラフ条件付きオートエンコーダ（ｇｃａｅ）のための方法、装置、及びシステム
KR20240132303A (ko) 양자화된 포인트 클라우드 재구성으로부터의 좌표 정제 및 업샘플링
WO2020190764A1 (en) Relocation of sensor network nodes based on redundancy of sensor data
WO2020139766A2 (en) System and method for optimizing spatial content distribution using multiple data systems
CN113273184B (zh) 将3d对象镜像到光场显示器的方法
CN119497843A (zh) Xr体验中的自由度控制
WO2023215418A1 (en) Estimating and transmitting objects captured by a camera
WO2020057749A1 (en) Resolution of a picture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination