CN113890675A - 一种三维模型的自适应显示方法及设备 - Google Patents
一种三维模型的自适应显示方法及设备 Download PDFInfo
- Publication number
- CN113890675A CN113890675A CN202111098429.5A CN202111098429A CN113890675A CN 113890675 A CN113890675 A CN 113890675A CN 202111098429 A CN202111098429 A CN 202111098429A CN 113890675 A CN113890675 A CN 113890675A
- Authority
- CN
- China
- Prior art keywords
- model
- target
- grade
- distance
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0006—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission format
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请涉及三维重建技术领域,提供一种三维模型的自适应显示方法及设备,利用人眼对远处物体的细节关注度较低的特性,根据视点与模型的距离进行分等级的显示。具体的,根据待重建的目标三维模型到当前视点的目标距离,确定目标三维模型的目标等级以及目标等级对应的目标数据量,在目标数据量大于当前网速支持的可下载数据量时,调整目标等级以减少目标三维模型的数据量,这样,保证当前网络的传输能力满足目标三维模型的数据传输需求,降低网络带宽压力,提高数据的下载速度,减少视频卡顿的现象;并且,由于目标等级是基于目标三维模型到当前视点的距离确定的,可以保证显示的目标三维模型满足人眼视觉需求,不会引起视觉模糊。
Description
技术领域
本申请涉及三维重建技术领域,尤其涉及一种三维模型的自适应显示方法及设备。
背景技术
近年来,三维重建技术在虚拟现实(Virtual Reality,VR)领域和显示领域的应用越来越广泛,三维重建是指根据单视图或者多视图的图像重建三维模型的过程。三维重建分为静态三维重建和动态三维重建。
对于一些静态场景、物体,采用静态三维重建方法获得场景和物体的三维重建数据,通过三维重建数据渲染三维模型并显示。对于一些动态的物体(比如:人体),采用动态三维重建方法建立一系列的三维模型,并将这些三维模型按顺序渲染显示,从而得到不同时刻三维模型的动作状态。
远程三维通信系统是动态三维重建的一个重要应用场景,对端设备将采集重建后的三维模型的数据通过网络传输给本端设备,由本端设备对三维模型进行渲染显示,使多个三维模型位于同一场景中以达到身临其境的社交体验。然而,由于三维重建数据是动态生成的,每一帧的三维重建数据都不同,这样,本端设备需要同时接收多路三维重建数据,因数据量较大的,往往需要几百兆的网络带宽,导致一般的家用网络(甚至专线网络)无法满足动态三维重建的带宽要求,造成视频卡顿的现象。
发明内容
本申请提供了一种三维模型的自适应显示方法及设备,用以减少三维模型的传输数据量以降低网络带宽压力,进而提高显示效果。
第一方面,本申请实施例提供一种三维模型的自适应显示方法,包括:
获取待重建的目标三维模型到当前视点的目标距离;
根据模型等级与距离的对应关系,确定所述目标距离对应的所述目标三维模型的目标等级;
根据模型等级与模型数据量的对应关系,确定所述目标等级对应的目标数据量;
若所述目标数据量大于当前可下载数据量,则调整所述目标等级,所述当前可下载数据量是根据当前下载网速和当前下载帧率确定的;
根据所述目标等级下载所述目标三维模型的数据,并根据下载后的数据渲染显示所述目标三维模型。
第二方面,本申请实施例提供一种显示设备,包括处理器、存储器、显示器以及至少一个外部通信接口,所述处理器、所述存储器、所述显示器以及所述外部通信接口通过总线连接;
所述存储器中存储有计算机程序,所述处理器被配置为基于所述计算机程序执行以下操作:
获取待重建的目标三维模型到当前视点的目标距离;
根据模型等级与距离的对应关系,确定所述目标距离对应的所述目标三维模型的目标等级;
根据模型等级与模型数据量的对应关系,确定所述目标等级对应的目标数据量;
若所述目标数据量大于当前可下载数据量,则调整所述目标等级,所述当前可下载数据量是根据当前下载网速和当前下载帧率确定的;
利用所述至少一个外部通信接口,根据所述目标等级下载所述目标三维模型的数据,并根据下载的数据渲染所述目标三维模型,由所述显示器显示渲染后的目标三维模型。
第三方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质存储有计算机可执行指令,计算机可执行指令用于使计算机执行本申请实施例提供的三维模型的自适应显示方法。
本申请的上述实施例中,利用人眼对远处物体的细节关注度较低的特性,可以根据视点与模型的距离进行分等级的显示。具体的,根据待重建的目标三维模型到当前视点的目标距离,确定目标三维模型的目标等级,根据模型等级与模型数据量的对应关系,确定目标等级对应的目标数据量,由于数据是通过网络传输的,因此还应考虑当前网络情况,在目标数据量大于当前网速支持的可下载数据量时,调整目标等级以减少目标三维模型的数据量,这样,保证当前网络的传输能力满足目标三维模型的数据传输需求,从而下载目标三维模型的数据时,可以降低网络带宽压力,提高数据的下载速度,减少视频卡顿的现象;并且,由于目标等级是基于目标三维模型到当前视点的距离确定的,可以保证显示的目标三维模型满足人眼视觉需求,不会引起视觉模糊。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1A示例性示出了本申请实施例提供的系统架构图;
图1B示例性示出了本申请实施例提供的另一系统架构图;
图1C示例性示出了本申请实施例提供的远程三维通信的效果图;
图2示例性示出了本申请实施例提供的建立模型等级与距离的对应关系流程图;
图3A示例性示出了本申请实施例提供的三维模型包围盒的示意图;
图3B示例性示出了本申请实施例提供的确定最高等级模型对应的距离示意图;
图3C示例性示出了本申请实施例提供的相邻两个模型等级之间的距离关系图;
图4A示例性示出了本申请实施例提供的不同模型等级对应的纹理数据图;
图4B示例性示出了本申请实施例提供的不同模型等级对应的几何数据图;
图5示例性示出了本申请实施例提供的三维模型的自适应显示方法流程图;
图6示例性示出了本申请实施例提供的一种显示设备的功能结构图;
图7示例性示出了本申请实施例提供的一种显示设备的硬件结构图。
具体实施方式
为使本申请的目的、实施方式和优点更加清楚,下面将结合本申请示例性实施例中的附图,对本申请示例性实施方式进行清楚、完整地描述,显然,所描述的示例性实施例仅是本申请一部分实施例,而不是全部的实施例。
基于本申请描述的示例性实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请所附权利要求保护的范围。此外,虽然本申请中公开内容按照示范性一个或几个实例来介绍,但应理解,可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。
本申请的说明书和权利要求书及上述附图中的术语″第一″、″第二″等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语″包括″和″具有″以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的那些组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请中使用的术语″模块″,是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。
图1A示例性示出了本申请实施例提供的一种系统架构图,如图1A所示,用户A、用户B和用户C利用各自对应的终端进行实时远程三维通信,每个终端重建相应用户的动态三维模型,采用点对点(Peer to Peer,P2P)的传输方式,通过网络将三维模型的数据发送给其他终端,其他终端利用各个用户的三维模型的数据渲染相应的三维模型并显示。
例如,终端101采集用户A的图像,重建用户A的三维模型,终端102采集用户B的图像,重建用户B的三维模型,终端103采集用户C的图像,重建用户C的三维模型;并且,终端102重建用户B的三维模型后,将用户B的三维模型数据处理后通过网络发送给终端101,同时,终端103重建用户C的三维模型后,将用户C的三维模型数据处理后也通过网络发送给终端101,终端101根据接收的用户B和用户C的三维模型数据将用户B、用户C的三维模型和用户A的三维模型渲染显示在同一场景中,如图1C所示,将处于异地工作的用户模型放置在一个虚拟会议场景中。相对于传统的语音或者视频通讯方式,这种将交互双方的模型重建下同一场景中的方式,可以提高远程交互的沉浸式体验。
在一些实施例中,各个终端之间出采用图1A中点对点的传输方式外,还可将各个用户的三维模型数据发送给服务器,由服务器转发给相应的终端。
图1B示例性示出了本申请实施例提供的另一系统架构图,如图1B所示,终端101将用户A的三维模型数据通过网络传输给服务器104,终端102将用户B的三维模型数据通过网络传输给服务器104,终端103将用户C的三维模型数据通过网络传输给服务器104,服务器104将各个终端传输的三维模型数据处理后,发送给相应的终端。
需要说明的是,图1A和图1B仅是一种示例,对终端的类型和数量不做限制性要求,包括但不限于VR头戴式显示设备、AR眼镜、智能手机、智能电视、笔记本电脑、台式机等具有视频通话功能的终端。
上述服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是云服务技术中提供云服务、云计算、云存储、云通信、中间件服务、域名服务、安全服务、以及大数据和人工智能等基础服务的一个或多个云服务器。
基于图1A和图1B所示的应用场景,下面对本申请实施例的思想进行详细介绍。
在远程三维通信系统中,为保证三维模型的重建精度,系统中的一个终端可接收其他终端发送的原始三维模型数据进行动态三维重建,而原始三维模型数据的数据量较大,现有网络带宽难以满足数据传输需求,会引起视频卡顿的现象。
为了减少视频卡顿,相关技术中,大多采用降低三维模型数据量的方式来降低网络带宽的压力,然而,直接降低三维模型数据量,可能因模型精度降低引起视觉模糊。
基于上述分析,本申请实施例利用了人眼视觉特性和当前网络情况,提供了一种三维模型的自适应显示方法。根据人眼观察物体的经验可知,人眼难以看清距离视点较远区域的细节。通常的,一个三维模型最终显示在屏幕上会占据一定数量的像素,同一个三维模型距离视点越远,其在显示屏幕上占据的像素数越少,数据量越小,模型的细节程度越低,也就是说,距离视点不同的模型,可以使用不同的精细程度进行渲染显示。模型的细节程度,可用模型等级进行量化,模型等级越高,模型细节程度越高,数据量越大。模型等级可以根据模型与视点之间的距离进行来定义。因此,本申请实施例在虚拟环境中显示三维模型时,可以由远及近对模型进行分等级的自适应显示,距离越远,模型等级越低,模型的数据量越小,这样,通过与视点的距离对不同模型进行分等级的显示,一方面,可以减少一些对细节程度要求不高的模型数据量,降低网络带宽压力,提高渲染显示效率,另一方面,也可以保证模型精细程度满足人眼视觉需求,不会引起视觉模糊。
考虑到数据是由网络传输的,本申请实施在根据距离确定模型等级后,根据当前的网络情况对模型等级进行了调整,在不超过当前网络传输能力的情况下,尽可能多的传输数据量,提升了网络带宽的利用率。
由于模型等级可以根据模型与视点之间的距离进行来定义,且模型等级影响了传输的数据量,因此,本申请的实施例中,预先建立了模型等级与距离的对应关系,以及模型等级与模型数据量的对应关系。
本申请实施例采用传统的四叉树结构划分模型等级,模型等级可用阿拉伯数字表示,并规定阿拉伯数字越大,模型等级越低,也就是说,最高模型等级为0级。其中,最高模型等级记为L-max,即L-max=0。为了保证最高模型等级的三维模型的细节程度,取视野内刚好显示完整模型时视点与模型的距离为最高模型等级对应的距离,记作D,最低模型等级记作L_min,最低模型等级对应的距离记为d。其中,L_min的取值本申请实施例不做限制性规定,其大小可根据实际需求进行设置。
本申请的实施例中,程序启动后,系统中的各个终端互相建立连接,以接收其他终端传输的三维模型的数据。以一个终端为例,假设该终端根据接收的原始三维模型数据渲染显示的三维模型的等级最高,模型等级与距离的对应关系的建立过程,具体参见图2:
S201:根据接收的原始三维模型数据渲染三维模型并显示,将显示的三维模型作为最高模型等级对应的三维模型。
在S201中,该终端接收系统中的另一终端采集的目标对象的一帧原始三维模型数据,基于原始三维模型数据,渲染最高模型等级对应的三维模型并显示,并记录一帧原始三维模型数据的数据量大小,记为size,即最高模型等级对应的三维模型的数据量为size。
在一种可选的实施方式中,在执行S201时,接收一帧原始三维模型数据时,记录原始三维模型数据的下载时间t,以用于后续预测网速。
S202:生成最高模型等级对应的三维模型的包围盒。
在S202中,最高模型等级对应的三维模型的包围盒如图3A所示,包围盒的长宽高分别为XY、YZ和YW,并记录三者中的最大值,假设图3A中最大值为YW。
S203:根据包围盒的长宽高与视场角的关系,确定最高模型等级对应的距离。
在S203中,通常的,视场角(Angle of View,FOV)分为横向角度和纵向角度,当视场角对应的视野内显示完整的三维模型时,定义模型到视点的距离为最高模型等级对应的距离D。实际显示时,模型可能无法恰好的填充满视场角,因此,本申请实施例中,将三维模型包围盒的长宽高中的最大值填充满视场角最大角度跨度时,定义模型到视点的距离为最高模型等级对应的距离。
以图3A所示的包围盒为例,最大值为高YW,对应的视场角为纵向角度,当YW等于视场角的最大纵向角度跨度时,模型到视点的距离为最高模型等级对应的距离D。
最高模型等级对应的模型与视点的距离如图3B所示,其中,O为视点位置,FOV在屏幕上的显示区域范围为A1A2A3A4,α为FOV纵向角度,A5A6为三维模型高度,即FOV在屏幕上纵向角度跨度对应的三维场景高度,A5A6=YW,D为最高模型等级对应的距离。根据图5所示的几何关系可知,最高模型等级对应的距离公式为:
S204:根据最高模型等级对应的距离,利用投影几何关系,确定至少一个模型等级对应的距离,得到模型等级与距离的对应关系。
由上述实施例可知,模型等级的划分方式采用传统的四叉树结构,因此,两个相邻的模型等级对应的三维模型的数据量的比值为4∶1。例如,L级三维模型的数据量是L+1级三维模型数据量的4倍。
数据量的大小影响了模型的细节程度,两个相邻的模型等级对应的三维模型中,等级较低的三维模型的细节程度较低。因此,可借助数据量大小与模型细节程度的关系,推算模型等级与距离的对应关系。
如图3C所示,为本申请实施例提供的FOV的纵向截面图;其中,O为视点位置,OA7=D,A5A7为模型与视点的距离为最大模型等级对应的距离D时,FOV在屏幕上纵向角度(α/2)跨度对应的三维场景高度,即0级三维模型的高度的一半,A5A7=1/2A5A6;CB为模型等级为1级时,FOV在屏幕上纵向角度(α/2)跨度对应的三维场景高度,即1级三维模型高度的一半,OB为模型等级为1级时视点与模型的距离,记作D_1,EB=A5A7。由投影几何关系可知,BE/BC=OA7/OB=D/D_1。
如图3C示出的,0级三维模型在A7处的纵向跨度(假设为y轴方向)占满整个二维屏幕时,由投影几何关系可知,在数据量不变的情况下,将0级三维模型移动到B处且纵向放大到BC时,仍然占满整个二维屏幕,且放大后的0级三维模型在二维屏幕上显示的细节程度,与未放大的0级三维模型在A7处显示的细节程度相同。由上文分析可知,纵向跨度为BE的1级三维模型在B处的细节程度,与纵向跨度为A5A7的0级三维模型在A7处的细节程度相同,则也与在B处纵向跨度放大到BC时的0级三维模型的细节程度相同。由于0级三维模型是1级三维模型的数据量的4倍,而模型包围盒有x、y、z三个方向,BE和BC只是模型包围盒的纵向大小,因此,即两个相邻的模型等级对应的视点与模型的距离关系为倍的关系,则模型等级与距离的对应关系公式表示为:
其中,L表示第L级模型等级(0≤L≤L_min),D_L表示第L级三维模型到视点的距离,D表示第0级三维模型到视点的距离。
本申请的实施例中,用于重建三维模型的三维模型数据包括几何数据和纹理数据,基于上述不同模型等级对应的距离与模型数据量的关系,图4A示例性示出了本申请实施例提供的四叉树结构的连续三个模型等级对应的纹理数据示意图,从左到右,模型等级依次降低,下一模型等级的纹理数据的像素数是上一等级的四分之一;图4B示例性示出了本申请实施例提供的四叉树结构的连续三个模型等级对应的几何数据示意图,从上到下,模型等级依次降低,下一模型等级的几何数据中的面片数是上一等级的四分之一。
如图4A和图4B所示的,不同模型等级对应的三维模型数据表达的内容相同,数据量逐级降低,从而可以根据视点与模型的距离,分等级显示三维模型,对于距离视点较远的三维模型,降低其模型等级,从而可以减少网络传输的数据量,进而降低网络带宽,减少视频卡顿的现象。
需要说明的是,本申请实施例中模型等级的划分方式并不局限于四叉树结构,只要按照不同细节程度进行等级划分即可。
基于上述不同模型等级对应的距离与模型数据量的关系,以系统中的任意一个终端的渲染显示过程为例,图5示例性示出了本申请实施例提供的三维模型的自适应显示方法流程图,可适用于远程三维通信系统,针对每一视频帧,该流程主要包括以下几步:
S501:获取待重建的目标三维模型到当前视点的目标距离。
对于一个终端来说,在其确定的三维场景坐标系中,各个三维模型的位置坐标是已知的。在执行S501时,该终端根据待重建的目标三维模型的位置坐标,确定目标三维模型到当前视点的目标距离D′。
S502:根据模型等级与距离的对应关系,确定目标距离对应的目标三维模型的目标等级。
具体实施时,比较目标距离D′与最高模型等级L_max对应的距离D和最低模型等级L_min对应的距离d的大小,若D′≤D,则确定目标等级为最高模型等级,即L′=L_max;若D′≥d则确定目标等级为最低模型等级,即L′=L_min若d<D′<D,且D_L<D′≤D_(L+1),则确定目标等级为第二模型等级,即L′=L+1,其中,D_L表示第一模型等级L对应的距离,D_(L+1)表示第二模型等级(L+1)对应的距离,第一模型等级L和第二模型等级L+1为最低模型等级L_min和最高模型等级L_max之间两个相邻的模型等级。
S503:根据模型等级与模型数据量的对应关系,确定目标等级对应的目标数据量。
由前述实施例可知,模型等级越高,模型的数据量(包括纹理数据和几何)越大。当基于四叉树结构划分模型等级时,两个相邻的模型等级对应的三维模型的数据量的比值为4:1,且在S201中预先记录了最高模型等级对应的三维模型数据量的大小为size,则在执行S503时,基于模型等级与模型数据量的对应关系,可以确定目标等级L′对应的目标数据量为:
S504:确定目标数据量是否大于当前可下载数据量,若是,执行S505,否则,执行S506。
三维重建数据是通过网络传输的,若目标数据量较大,超出了当前网络的传输能力,则会造成视频卡顿,若为超出当前网络的传输能力,表明当前网络可以传输满足当前视点视觉需求的数据量。因此,在根据目标距离确定目标三维模型的数据量大小后,还应考虑当前网络的情况。本申请的实施例中,当前网络的情况可用当前下载网速表征。
本申请的实施例中,根据S201中记录的原始三维模型数据的数据量大小size和原始三维模型数据的下载时间t,预测当前下载网速v:
v=size/t 公式4
进一步地,结合该终端的当前下载帧率F,确定当前网络可支持传输的单个模型的最大数据量,即当前可下载数据量:
size_p=v/F 公式5
在S504中,比较目标数据量size′L与当前可下载数据量size_p的大小,若size′L≤size_p,表明当前下载网速可以满足目标等级对应的目标三维模型的数据量的传输需求,若size′L>size_p,表明当前下载网速无法满足目标等级对应的目标三维模型的数据量的传输需求,需调整目标等级以减小目标三维模型对应的目标数据量。
需要说明的是,本申请实施例对当前下载网速的确定方式不做限制性要求。例如,还可以通过统计一段时间内的数据下载量与下载时间的比值的平均值来预测当前下载网速。
S505:调整目标等级。
具体实施时,若size′L>size_p,则按设定的步长降低目标等级,并重新确定降低后的目标等级对应的数据量,直至确定的数据量小于等于当前可下载数据量,则停止降低目标等级。
例如,size′L>size_p,则将目标等级降低1级,即L′+1,采用公式3,重新确定目标等级对应的数据量size′L=size/2L′+2,再次比较size′L与size_p的大小,若size′L≤size_p,则停止调整。
S506:根据目标等级下载目标三维模型的数据,并根据下载后的数据渲染显示目标三维模型。
当前下载网速满足目标等级对应的目标三维模型的数据量的传输需求时,下载与目标等级相匹配的目标三维模型的数据。具体的,该终端向目标终端发送模型数据获取请求,模型数据获取请求携带目标等级,目标终端接收到请求后,根据目标等级对目标三维模型对应的原始三维模型数据进行下采样处理,并将下采样处理后的三维模型数据发送给该终端。该终端接收到下采样处理后的数据后,基于接收的数据渲染满足人眼视觉需求的目标三维模型并显示。
需要说明的是,S506中的目标终端,可以是图1A所示的系统中的另一终端,也可以是图1B所示的系统中的服务器。
在一些实施例中,执行S506时还可记录述目标三维模型的三维重建数据的下载时间,根据该下载时间,更新当前下载网速,基于更新后的当前下载网速,自适应显示下一帧目标三维模型。
本申请的上述实施例中,利用人眼视觉特性建立模型等级与模型到视点距离的对应关系,并基于模型等级的划分方式,建立了模型等级与模型数据量的对应关系,基于上述关系,根据当前视点与模型的距离对模型进行分等级显示,从而保证显示的目标三维模型满足人眼视觉需求,不会引起视觉模糊;并且,本申请实施例还考虑了当前网络情况,对当前下网速进行了预测,结合当前下载帧率,确定当前网速支持的可下载数据量,并与目标三维模型的目标数据量进行比较,在超过当前网络的传输能力时,调整目标等级以减少目标三维模型的数据量,进而降低网络带宽压力,提高重建数据的下载速度,减少视频卡顿的现象,提高显示效果。
基于相同的技术构思,本申请实施例提供了一种显示设备,参见图6,该显示设备包括接收模块601、处理模块602、调整模块603、渲染显示模块604:
接收模块601,用于获取待重建的目标三维模型到当前视点的目标距离;
处理模块602,用于根据模型等级与距离的对应关系,确定目标距离对应的目标三维模型的目标等级;以及,根据模型等级与模型数据量的对应关系,确定目标等级对应的目标数据量;
调整模块603,用于若目标数据量大于当前可下载数据量,则调整目标等级,当前可下载数据量是根据当前下载网速和当前下载帧率确定的;
渲染显示模块604,用于根据目标等级下载目标三维模型的数据,并根据下载后的数据渲染显示目标三维模型。
可选的,处理模块602具体用于:
生成最高模型等级对应的三维模型的包围盒,最高模型等级对应的三维模型是根据接收的原始三维模型数据重建的;
根据包围盒的长宽高与视场角的关系,确定最高视点等级对应的距离;
根据最高视点等级对应的距离,利用投影几何关系,确定至少一个模型等级对应的距离,得到模型等级与距离的对应关系。
可选的,处理模块602具体用于:
若目标距离小于等于最高模型等级对应的距离,则确定目标等级为最高模型等级;
若目标距离大于最低模型等级对应的距离,则确定目标等级为最低模型等级;
若目标距离大于第一模型等级对应的距离,小于等于第二模型等级对应的距离,则确定目标等级为第二模型等级,第一模型等级和第二模型等级为最低模型等级和最高模型等级之间两个相邻的模型等级。
可选的,调整模块603具体用于:
若目标数据量大于当前可下载数据量,则按设定的步长降低目标等级,并重新确定降低后的目标等级对应的数据量,直至确定的数据量小于等于当前可下载数据量,则停止降低目标等级。
可选的,渲染显示模块具体用于:
向目标终端发送模型数据获取请求,模型数据获取请求携带目标等级,以使目标终端根据目标等级,对目标三维模型对应的原始三维模型数据进行下采样处理;
接收下采样处理后的目标三维模型的数据。
可选的,模型等级与模型数据量的对应关系,包括:
两个相邻的模型等级对应的三维模型的数据量的比值,是由模型等级的划分方式确定的,模型等级的高低,与数据量的大小呈正相关。
可选的,处理模块602还用于:
记录目标三维模型的三维重建数据的下载时间;
根据下载时间,更新当前下载网速。
上述各个模块可实现上述终端侧的三维模型的自适应显示方法,并能达到相同的技术效果,在此不再重复。
基于相同的技术构思,本申请实施例提供了一种显示设备,参见图7,该显示设备包括处理器701、存储器702、显示器702以及至少一个外部通信接口704;上述处理器701、存储器702、显示器703以及外部通信接口704通过总线705连接。
外部通信接口704用于收发数据,显示器703用于显示三维模型,存储器702中存储有计算机程序,处理器701执行该计算机程序时实现前述三维模型的自适应显示方法,并能达到同样的技术效果。
作为一种实施例,处理器701的数量可以是一个或多个,处理器701和存储器702可以是耦合设置,也可以是相对独立设置。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的计算机程序可以存储于一计算机可读取存储介质中,该计算机程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
基于同一技术构思,本申请实施例还一种计算机可读存储介质,该计算机可读存储介质存储有计算机指令,当上述计算机指令在计算机上运行时,使得计算机执行如前文论述的三维模型的自适应显示方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种三维模型的自适应显示方法,其特征在于,包括:
获取待重建的目标三维模型到当前视点的目标距离;
根据模型等级与距离的对应关系,确定所述目标距离对应的所述目标三维模型的目标等级;
根据模型等级与模型数据量的对应关系,确定所述目标等级对应的目标数据量;
若所述目标数据量大于当前可下载数据量,则调整所述目标等级,所述当前可下载数据量是根据当前下载网速和当前下载帧率确定的;
根据所述目标等级下载所述目标三维模型的数据,并根据下载后的数据渲染显示所述目标三维模型。
2.如权利要求1所述的方法,其特征在于:通过以下方式确定模型等级与距离的对应关系:
生成最高模型等级对应的三维模型的包围盒,所述最高模型等级对应的三维模型是根据接收的原始三维模型数据重建的;
根据所述包围盒的长宽高与视场角的关系,确定所述最高视点等级对应的距离;
根据所述最高视点等级对应的距离,利用投影几何关系,确定至少一个模型等级对应的距离,得到模型等级与距离的对应关系。
3.如权利要求1所述的方法,其特征在于,所述根据模型等级与距离的对应关系,确定所述目标距离对应的所述目标三维模型的目标等级,包括:
若所述目标距离小于等于最高模型等级对应的距离,则确定所述目标等级为最高模型等级;
若所述目标距离大于最低模型等级对应的距离,则确定所述目标等级为最低模型等级;
若所述目标距离大于第一模型等级对应的距离,小于等于所述第二模型等级对应的距离,则确定所述目标等级为所述第二模型等级,所述第一模型等级和所述第二模型等级为所述最低模型等级和所述最高模型等级之间两个相邻的模型等级。
4.如权利要求1所述的方法,其特征在于,所述若所述目标数据量大于当前可下载数据量,则调整所述目标等级,包括:
若所述目标数据量大于当前可下载数据量,则按设定的步长降低所述目标等级,并重新确定降低后的目标等级对应的数据量,直至确定的数据量小于等于当前可下载数据量,则停止降低所述目标等级。
5.如权利要求1所述的方法,其特征在于,所述根据所述模型等级下载目标三维模型的三维重建数据,包括:
向目标终端发送模型数据获取请求,所述模型数据获取请求携带所述目标等级,以使所述目标终端根据所述目标等级,对所述目标三维模型对应的原始三维模型数据进行下采样处理;
接收下采样处理后的目标三维模型的数据。
6.如权利要求1-5中任一项所述的方法,其特征在于,所述模型等级与模型数据量的对应关系,包括:
两个相邻的模型等级对应的三维模型的数据量的比值,是由模型等级的划分方式确定的,模型等级的高低,与数据量的大小呈正相关。
7.如权利要求1-5中任一项所述的方法,其特征在于,所述方法还包括:
记录所述目标三维模型的三维重建数据的下载时间;
根据所述下载时间,更新当前下载网速。
8.一种显示设备,其特征在于,包括处理器、存储器、显示器以及至少一个外部通信接口,所述处理器、所述存储器、所述显示器以及所述外部通信接口通过总线连接;
所述存储器中存储有计算机程序,所述处理器被配置为基于所述计算机程序执行以下操作:
获取待重建的目标三维模型到当前视点的目标距离;
根据模型等级与距离的对应关系,确定所述目标距离对应的所述目标三维模型的目标等级;
根据模型等级与模型数据量的对应关系,确定所述目标等级对应的目标数据量;
若所述目标数据量大于当前可下载数据量,则调整所述目标等级,所述当前可下载数据量是根据当前下载网速和当前下载帧率确定的;
利用所述至少一个外部通信接口,根据所述目标等级下载所述目标三维模型的数据,并根据下载的数据渲染所述目标三维模型,由所述显示器显示渲染后的目标三维模型。
9.如权利要求8所述的显示设备,其特征在于:所述处理器通过以下方式确定模型等级与距离的对应关系:
生成最高模型等级对应的三维模型的包围盒,所述最高模型等级对应的三维模型是根据接收的原始三维模型数据重建的;
根据所述包围盒的长宽高与视场角的关系,确定所述最高视点等级对应的距离;
根据所述最高视点等级对应的距离,利用投影几何关系,确定至少一个模型等级对应的距离,得到模型等级与距离的对应关系。
10.如权利要求8所述的显示设备,其特征在于,所述处理器根据模型等级与距离的对应关系,确定所述目标距离对应的所述目标三维模型的目标等级,具体被配置为:
若所述目标距离小于等于最高模型等级对应的距离,则确定所述目标等级为最高模型等级;
若所述目标距离大于最低模型等级对应的距离,则确定所述目标等级为最低模型等级;
若所述目标距离大于第一模型等级对应的距离,小于等于所述第二模型等级对应的距离,则确定所述目标等级为所述第二模型等级,所述第一模型等级和所述第二模型等级为所述最低模型等级和所述最高模型等级之间两个相邻的模型等级。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111098429.5A CN113890675A (zh) | 2021-09-18 | 2021-09-18 | 一种三维模型的自适应显示方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111098429.5A CN113890675A (zh) | 2021-09-18 | 2021-09-18 | 一种三维模型的自适应显示方法及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113890675A true CN113890675A (zh) | 2022-01-04 |
Family
ID=79009940
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111098429.5A Pending CN113890675A (zh) | 2021-09-18 | 2021-09-18 | 一种三维模型的自适应显示方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113890675A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115002557A (zh) * | 2022-05-23 | 2022-09-02 | 北京字跳网络技术有限公司 | 一种网速预测方法、装置、设备和存储介质 |
Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3014680B1 (ja) * | 1998-09-04 | 2000-02-28 | 核燃料サイクル開発機構 | 3次元高速描画処理のための前処理方法 |
JP2000187740A (ja) * | 1998-12-24 | 2000-07-04 | Mitsubishi Electric Corp | テクスチャ使用3次元空間表示装置、空間表示方法及び空間表示方法記録媒体 |
JP2002279449A (ja) * | 2001-03-19 | 2002-09-27 | Mitsubishi Electric Corp | 3次元空間データ送信表示装置、3次元空間データ送信方法、3次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
US20040263512A1 (en) * | 2002-03-11 | 2004-12-30 | Microsoft Corporation | Efficient scenery object rendering |
US20050035883A1 (en) * | 2003-08-01 | 2005-02-17 | Kenji Kameda | Map display system, map data processing apparatus, map display apparatus, and map display method |
CN1609913A (zh) * | 2003-10-20 | 2005-04-27 | Lg电子有限公司 | 在三维地图中显示多级文本数据的方法 |
US20080278486A1 (en) * | 2005-01-26 | 2008-11-13 | France Telecom | Method And Device For Selecting Level Of Detail, By Visibility Computing For Three-Dimensional Scenes With Multiple Levels Of Detail |
CN102360515A (zh) * | 2011-10-19 | 2012-02-22 | 武汉大学 | 一种三维模型渐进网格数据组织方法 |
US20120056903A1 (en) * | 2009-03-25 | 2012-03-08 | Sony Computer Entertainment Inc. | Information Processing Device And Information Processing Method |
CN103021023A (zh) * | 2012-12-05 | 2013-04-03 | 上海创图网络科技发展有限公司 | 一种基于浏览器的三维场景构建方法 |
CN103426201A (zh) * | 2013-08-30 | 2013-12-04 | 天津市测绘院 | 基于三维数字城市系统海量模型数据的浏览方法 |
CN103927781A (zh) * | 2014-05-06 | 2014-07-16 | 苏州中科图新网络科技有限公司 | 一种三维场景下视觉相关的模型渐进渲染方法 |
US8970583B1 (en) * | 2012-10-01 | 2015-03-03 | Google Inc. | Image space stylization of level of detail artifacts in a real-time rendering engine |
CN105103197A (zh) * | 2013-03-25 | 2015-11-25 | 株式会社吉奥技术研究所 | 三维地图显示系统 |
CN106296779A (zh) * | 2015-05-19 | 2017-01-04 | 深圳市腾讯计算机系统有限公司 | 一种三维模型渲染显示方法及系统 |
CN106898047A (zh) * | 2017-02-24 | 2017-06-27 | 朱庆 | 倾斜模型和多元模型动态融合的自适应网络可视化方法 |
CN108171782A (zh) * | 2018-01-23 | 2018-06-15 | 浙江科澜信息技术有限公司 | 一种三维模型的简化方法及系统 |
CN110935171A (zh) * | 2019-11-01 | 2020-03-31 | 南宁市勘察测绘地理信息院 | 一种实景三维模型在游戏引擎中加载优化及单体化的方法 |
CN111127637A (zh) * | 2019-12-26 | 2020-05-08 | 四川航天神坤科技有限公司 | 一种三维模型的数据处理方法、装置及电子设备 |
CN112419483A (zh) * | 2020-11-24 | 2021-02-26 | 中电科新型智慧城市研究院有限公司 | 一种三维模型数据的传输方法及服务器 |
-
2021
- 2021-09-18 CN CN202111098429.5A patent/CN113890675A/zh active Pending
Patent Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3014680B1 (ja) * | 1998-09-04 | 2000-02-28 | 核燃料サイクル開発機構 | 3次元高速描画処理のための前処理方法 |
JP2000187740A (ja) * | 1998-12-24 | 2000-07-04 | Mitsubishi Electric Corp | テクスチャ使用3次元空間表示装置、空間表示方法及び空間表示方法記録媒体 |
JP2002279449A (ja) * | 2001-03-19 | 2002-09-27 | Mitsubishi Electric Corp | 3次元空間データ送信表示装置、3次元空間データ送信方法、3次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
US20040263512A1 (en) * | 2002-03-11 | 2004-12-30 | Microsoft Corporation | Efficient scenery object rendering |
US20050035883A1 (en) * | 2003-08-01 | 2005-02-17 | Kenji Kameda | Map display system, map data processing apparatus, map display apparatus, and map display method |
CN1609913A (zh) * | 2003-10-20 | 2005-04-27 | Lg电子有限公司 | 在三维地图中显示多级文本数据的方法 |
US20080278486A1 (en) * | 2005-01-26 | 2008-11-13 | France Telecom | Method And Device For Selecting Level Of Detail, By Visibility Computing For Three-Dimensional Scenes With Multiple Levels Of Detail |
US20120056903A1 (en) * | 2009-03-25 | 2012-03-08 | Sony Computer Entertainment Inc. | Information Processing Device And Information Processing Method |
CN102360515A (zh) * | 2011-10-19 | 2012-02-22 | 武汉大学 | 一种三维模型渐进网格数据组织方法 |
US8970583B1 (en) * | 2012-10-01 | 2015-03-03 | Google Inc. | Image space stylization of level of detail artifacts in a real-time rendering engine |
CN103021023A (zh) * | 2012-12-05 | 2013-04-03 | 上海创图网络科技发展有限公司 | 一种基于浏览器的三维场景构建方法 |
CN105103197A (zh) * | 2013-03-25 | 2015-11-25 | 株式会社吉奥技术研究所 | 三维地图显示系统 |
CN103426201A (zh) * | 2013-08-30 | 2013-12-04 | 天津市测绘院 | 基于三维数字城市系统海量模型数据的浏览方法 |
CN103927781A (zh) * | 2014-05-06 | 2014-07-16 | 苏州中科图新网络科技有限公司 | 一种三维场景下视觉相关的模型渐进渲染方法 |
CN106296779A (zh) * | 2015-05-19 | 2017-01-04 | 深圳市腾讯计算机系统有限公司 | 一种三维模型渲染显示方法及系统 |
CN106898047A (zh) * | 2017-02-24 | 2017-06-27 | 朱庆 | 倾斜模型和多元模型动态融合的自适应网络可视化方法 |
CN108171782A (zh) * | 2018-01-23 | 2018-06-15 | 浙江科澜信息技术有限公司 | 一种三维模型的简化方法及系统 |
CN110935171A (zh) * | 2019-11-01 | 2020-03-31 | 南宁市勘察测绘地理信息院 | 一种实景三维模型在游戏引擎中加载优化及单体化的方法 |
CN111127637A (zh) * | 2019-12-26 | 2020-05-08 | 四川航天神坤科技有限公司 | 一种三维模型的数据处理方法、装置及电子设备 |
CN112419483A (zh) * | 2020-11-24 | 2021-02-26 | 中电科新型智慧城市研究院有限公司 | 一种三维模型数据的传输方法及服务器 |
Non-Patent Citations (3)
Title |
---|
J. SHIBAYAMA等: "Performance evaluation of several implicit FDTD methods for optical waveguide analyses", JOURNAL OF LIGHTWAVE TECHNOLOGY * |
徐照;张路;索华;迟英姿;: "基于工业基础类的建筑物3D Tiles数据可视化", 浙江大学学报(工学版), no. 06 * |
李朝奎;方军;方文;卜璞;: "集群环境下基于视点移动的三维城市模型快速显示方法", 测绘通报, no. 10 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115002557A (zh) * | 2022-05-23 | 2022-09-02 | 北京字跳网络技术有限公司 | 一种网速预测方法、装置、设备和存储介质 |
CN115002557B (zh) * | 2022-05-23 | 2024-01-30 | 北京字跳网络技术有限公司 | 一种网速预测方法、装置、设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6563453B2 (ja) | 例示的な類似画像と関連した例示的な近似奥行きマップを用いた、入力画像に対する奥行きマップの生成 | |
CN108898516B (zh) | 在虚拟三维空间讲房模式进功能间的方法、服务器和终端 | |
WO2021067044A1 (en) | Systems and methods for video communication using a virtual camera | |
JP7432005B2 (ja) | 二次元画像の三次元化方法、装置、機器及びコンピュータプログラム | |
KR102493860B1 (ko) | 압축된 이미지를 생성하기 위한 방법, 시스템 및 매체 | |
KR101965746B1 (ko) | Vr 콘텐츠 스트리밍 서버 및 방법 | |
CN114339409B (zh) | 视频处理方法、装置、计算机设备及存储介质 | |
CN108696732B (zh) | 头戴显示设备的分辨率调整方法及设备 | |
US11100696B2 (en) | Systems, methods, and media for rendering voxel-based 3D content | |
US10360727B2 (en) | Methods for streaming visible blocks of volumetric video | |
JP2018136793A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN113206993A (zh) | 一种调整显示屏幕的方法及显示设备 | |
CN113890675A (zh) | 一种三维模型的自适应显示方法及设备 | |
CN113963103A (zh) | 一种三维模型的渲染方法和相关装置 | |
WO2021079592A1 (ja) | 情報処理装置、3dデータの生成方法及びプログラム | |
CN113515193A (zh) | 一种模型数据传输方法及装置 | |
US10152818B2 (en) | Techniques for stereo three dimensional image mapping | |
CN105163198B (zh) | 一种即时视频的编码方法和电子设备 | |
CN113810755B (zh) | 全景视频预览的方法、装置、电子设备及存储介质 | |
CN114708377B (zh) | 一种虚拟空间中的3d图像渲染方法 | |
US11941747B2 (en) | Delivering a virtual environment with dynamic level of detail per object | |
CN110941413B (zh) | 显示画面的生成方法及相关装置 | |
CN114466174A (zh) | 一种多视点3d图像编码方法、设备、系统和存储介质 | |
CN115457200B (zh) | 2.5维图像自动真立体显示方法、装置、设备及存储介质 | |
US12080258B2 (en) | Image delivery optimization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220104 |