[go: up one dir, main page]

CN111190485B - 信息显示方法、装置、电子设备、及计算机可读存储介质 - Google Patents

信息显示方法、装置、电子设备、及计算机可读存储介质 Download PDF

Info

Publication number
CN111190485B
CN111190485B CN201911379231.7A CN201911379231A CN111190485B CN 111190485 B CN111190485 B CN 111190485B CN 201911379231 A CN201911379231 A CN 201911379231A CN 111190485 B CN111190485 B CN 111190485B
Authority
CN
China
Prior art keywords
information
target
terminal equipment
scene
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911379231.7A
Other languages
English (en)
Other versions
CN111190485A (zh
Inventor
石盛传
欧华富
侯欣如
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201911379231.7A priority Critical patent/CN111190485B/zh
Publication of CN111190485A publication Critical patent/CN111190485A/zh
Application granted granted Critical
Publication of CN111190485B publication Critical patent/CN111190485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供了一种信息显示方法及装置、电子设备、计算机可读存储介质,其中,终端设备基于其在真实场景中的初始定位信息、初始拍摄角度信息和其在真实场景中的移动信息,确定其在增强现实场景下的目标定位位置信息和目标拍摄角度信息,进一步基于上述目标定位位置信息和目标拍摄角度信息,在终端设备中呈现增强现实场景下的目标信息,提高了呈现的增强现实场景的准确性。

Description

信息显示方法、装置、电子设备、及计算机可读存储介质
技术领域
本公开涉及计算机技术领域,具体涉及一种信息显示方法、装置、电子设备、及计算机可读存储介质。
背景技术
增强现实(Augmented Reality,AR)技术是一种将虚拟对象与真实场景巧妙融合的技术,AR通过传感技术将虚拟对象准确“放置”在真实场景的环境中,借助显示设备将虚拟对象与真实场景的环境融为一体,并呈现给使用者一个感官效果真实的新环境。
在上述技术中,如何将虚拟对象与真实对象融合,形成让用户感受度更真实、更准确的增强现实场景,是目前广泛研究的课题。
发明内容
有鉴于此,本公开提供一种信息显示方法及装置、电子设备、计算机可读存储介质,用以实现在终端设备中准确地展示增强现实场景。
第一方面,本公开公开了一种信息显示方法,应用于终端设备,包括:
获取终端设备在真实场景中的初始定位信息、所述终端设备的初始拍摄角度信息、和所述终端设备在真实场景中的移动信息;
基于所述初始定位信息、所述初始拍摄角度信息和所述移动信息,确定所述终端设备在增强现实场景下的目标定位位置信息和目标拍摄角度信息;
基于所述目标定位位置信息和目标拍摄角度信息,在所述终端设备中呈现所述增强现实场景下的目标信息;所述目标信息包含所述终端设备采集的真实场景信息和融入在真实场景中的虚拟场景信息。
上述方法在获取到定位开始时终端设备在真实场景中的初始定位信息、初始拍摄角度信息后,结合定位过程中的移动信息,确定与定位结束时的真实场景信息和与真实场景相匹配的虚拟场景信息,提高了呈现的增强现实场景的准确性。
在一些可能的实现方式中,所述基于所述目标定位位置信息和目标拍摄角度信息,在所述终端设备中呈现所述增强现实场景下的目标信息,包括:
基于所述目标定位位置信息和目标拍摄角度信息,确定在所述终端设备采集的真实场景信息中待呈现的虚拟场景信息;
将所述虚拟场景信息和所述终端设备采集的真实场景信息合成,得到所述目标信息,并将所述目标信息呈现在所述增强现实场景中。
由于终端设备具有拍摄角度的限制,其无法拍摄到所有方向上的场景,因此上述实现方式基于目标定位位置信息和目标拍摄角度信息,能够筛选出位于终端设备拍摄方向的虚拟场景信息,即能够被终端设备拍摄到的虚拟场景信息,将这部分虚拟场景信息和终端设备采集的真实场景信息合成,并显示在增强现实场景中,提高了在终端设备中显示的增强现实场景的准确度。
在一些可能的实现方式中,所述基于所述目标定位位置信息和目标拍摄角度信息,在所述终端设备中呈现所述增强现实场景下的目标信息,包括:
将所述目标定位位置信息和目标拍摄角度信息发送给服务器,并接收服务器返回的在所述终端设备当前所拍摄到的真实场景中,所需要呈现的虚拟场景信息;以及,将所述服务器返回的虚拟场景信息和所述真实场景信息合成,得到所述目标信息,并将所述目标信息呈现在所述终端设备的所述增强现实场景中;或者,
将所述目标定位位置信息和目标拍摄角度信息发送给服务器,并接收所述服务器返回的将所述虚拟场景信息和所述真实场景信息合成后的所述目标信息,将所述目标信息呈现在所述终端设备的所述增强现实场景中。
上述实现方式将目标定位位置信息和目标拍摄角度信息发送给服务器,以使服务器基于目标定位位置信息和目标拍摄角度信息,确定位于终端设备拍摄方向的虚拟场景信息,同样能够提高在终端设备中展示的增强现实场景的准确度。另外,在服务器上确定上述虚拟场景信息或上述目标信息,能够在一定程度上加快信息处理速度,减少对终端设备上处理器资源的占用。
在一些可能的实现方式中,所述初始定位信息包括终端设备在真实场景中的平面坐标信息;
所述获取终端设备在真实场景中的初始定位信息包括:
获取所述终端设备拍摄的所述终端设备所处的目标区域的图片;
基于所述图片和包括所述目标区域的二维平面地图,确定所述终端设备在真实场景中的地理坐标系下的平面坐标信息。
上述实现方式基于终端设备拍摄的图片和二维平面地图的关联关系,能够较为准确的确定终端设备在真实场景中的地理坐标系下的平面坐标信息。
在一些可能的实现方式中,所述基于所述图片和包括所述目标区域的二维平面地图,确定所述终端设备在真实场景中的地理坐标系下的平面坐标信息,包括:
基于所述图片和包括所述目标区域的二维平面地图,确定所述终端设备在所述二维平面地图上的地图坐标信息;
基于所述二维平面地图与真实场景的比例尺,和所述终端设备在所述二维平面地图上的地图坐标信息,确定所述终端设备在真实场景中的地理坐标系下的平面坐标信息。
由于二维平面地图与真实场景存在比例尺,因此在确定了终端设备在所述二维平面地图上的地图坐标信息后,需要按照上述比例尺,确定终端设备在真实场景中的地理坐标系下的平面坐标信息。该方式有利于提高确定的上述平面坐标信息的准确度。
在一些可能的实现方式中,上述信息显示方法还包括:
与所述增强现实场景下的目标实体对象建立通信连接;响应于针对所述目标实体对象的第一用户触发指令,基于所述通信连接,控制所述目标实体对象执行与所述第一用户触发指令对应的第一响应操作;或者,
响应于针对所述目标实体对象的第一用户触发指令,向控制所述目标实体对象的服务器发送第一控制指令,以使所述服务器基于所述第一控制指令控制所述目标实体对象执行与所述第一控制指令对应的第一响应操作。
在将终端设备映射到增强现实场景后,利用上述步骤可以实现通过终端设备对增强现实场景下的目标实体对象的控制操作。
在一些可能的实现方式中,上述信息显示方法还包括:
响应于针对所述增强现实场景下的目标虚拟对象的第二用户触发指令,基于所述第二用户触发指令,确定所述目标虚拟对象在所述增强现实场景中的呈现效果,并基于所述呈现效果,更新当前呈现的所述增强现实场景。
在将终端设备映射到增强现实场景后,利用上述步骤可以实现通过终端设备对增强现实场景下的目标虚拟对象的控制操作,并将执行相应操作后的目标虚拟对象的状态呈现在增强现实场景中。
在一些可能的实现方式中,上述信息显示方法还包括:
响应于针对所述增强现实场景下的目标虚拟对象和目标实体对象的第三用户触发指令,所述第三用户触发指令为对所述目标虚拟对象和目标实体对象进行连带控制的指令;
基于所述第三用户触发指令,确定所述目标虚拟对象和目标实体对象在所述增强现实场景中的呈现效果,并基于所述呈现效果,更新当前呈现的所述增强现实场景。
在将终端设备映射到增强现实场景后,利用上述步骤可以实现终端设备对增强现实场景下的目标虚拟对象和目标实体对象的连带控制,并将执行相应操作结束后的呈现效果呈现在增强现实场景中。
在一些可能的实现方式中,所述移动信息包括所述终端设备在真实场景中的平面坐标变化信息和在真实场景中的高度变化信息;所述初始定位信息包括终端设备在真实场景中的平面坐标信息和高度信息;
所述确定所述终端设备在增强现实场景下的目标定位位置信息,包括:
基于当前定位周期开始时,所述终端设备在真实场景中的平面坐标信息,和所述终端设备在当前定位周期内的平面坐标变化信息,确定当前定位周期结束时,所述终端设备在真实场景中更新后的平面坐标信息;以及,基于当前定位周期开始时所述终端设备在真实场景中的高度信息,和所述终端设备在当前定位周期内的高度变化信息,确定当前定位周期结束时,所述终端设备在真实场景中更新后的高度信息;
基于所述终端设备在真实场景中更新后的所述平面坐标信息和高度信息,确定当前定位周期结束时,所述终端设备在所述增强现实场景下的目标定位位置信息。
由于在定位过程中,终端设备在真实场景中的位置可能发生变化,因此,如果只是基于定位周期开始时的平面坐标信息等信息,无法准确的确定定位周期结束时,终端设备在增强现实场景下的目标定位位置信息。上述实现方式结合终端设备在定位周期中的移动信息,能够确定终端设备在真实场景中更新后的平面坐标信息和高度信息,基于更新后的平面坐标信息和高度信息,能够准确的确定目标定位位置信息,从而有利于提高确定的虚拟场景信息的准确度。
在一些可能的实现方式中,所述移动信息包括所述终端设备在平面坐标系下的拍摄角度变化信息;
确定所述终端设备在增强现实场景下的目标拍摄角度信息,包括:
基于当前定位周期开始时所述终端设备在平面坐标系下的所述初始拍摄角度信息和所述终端设备在平面坐标系下的拍摄角度变化信息,确定当前定位周期结束时,所述终端设备在平面坐标系下更新后的拍摄角度信息;
基于所述终端设备在平面坐标系下更新后的拍摄角度信息,确定所述终端设备在所述增强现实场景下的目标拍摄角度信息。
由于在定位过程中,终端设备的拍摄方向,即拍摄角度信息可能发生变化,因此,如果只是基于定位周期开始时的拍摄角度信息,无法准确的确定定位周期结束时,终端设备在增强现实场景下的目标拍摄角度信息。上述实现方式结合终端设备在定位周期中的拍摄角度变化信息,能够确定终端设备在平面坐标系下更新后的拍摄角度信息,基于更新后的拍摄角度信息,能够准确的确定目标拍摄角度信息,从而有利于提高确定的虚拟场景信息的准确度。
第二方面,本公开公开了一种信息显示装置,应用于终端设备,包括:
信息获取单元,用于获取终端设备在真实场景中的初始定位信息、所述终端设备的初始拍摄角度信息、和所述终端设备在真实场景中的移动信息;
信息处理单元,用于基于所述初始定位信息、所述初始拍摄角度信息和所述移动信息,确定所述终端设备在增强现实场景下的目标定位位置信息和目标拍摄角度信息;
增强现实处理单元,用于基于所述目标定位位置信息和目标拍摄角度信息,在所述终端设备中呈现所述增强现实场景下的目标信息;所述目标信息包含所述终端设备采集的真实场景信息和融入在真实场景中的虚拟场景信息。
在一种可能的实施方式中,所述增强现实处理单元在基于所述目标定位位置信息和目标拍摄角度信息,在所述终端设备中呈现所述增强现实场景下的目标信息时,用于:
基于所述目标定位位置信息和目标拍摄角度信息,确定在所述终端设备采集的真实场景信息中待呈现的虚拟场景信息;
将所述虚拟场景信息和所述终端设备采集的真实场景信息合成,得到目标信息,并将所述目标信息呈现在所述终端设备的所述增强现实场景中。
在一种可能的实施方式中,所述增强现实处理单元在基于所述目标定位位置信息和目标拍摄角度信息,在所述终端设备中呈现所述增强现实场景下的目标信息时,用于:
将所述目标定位位置信息和目标拍摄角度信息发送给服务器,并接收服务器返回的在所述终端设备当前所拍摄到的真实场景中,所需要呈现的虚拟场景信息;以及,将所述服务器返回的虚拟场景信息和所述真实场景信息合成,得到所述目标信息,并将所述目标信息呈现在所述终端设备的所述增强现实场景中;或者,
将所述目标定位位置信息和目标拍摄角度信息发送给服务器,并接收所述服务器返回的将所述虚拟场景信息和所述真实场景信息合成后的所述目标信息,将所述目标信息呈现在所述终端设备的所述增强现实场景中。
在一种可能的实施方式中,所述初始定位信息包括终端设备在真实场景中的平面坐标信息;
所述信息获取单元在获取终端设备在真实场景中的初始定位信息时,用于:
获取所述终端设备拍摄的所述终端设备所处的目标区域的图片;
基于所述图片和包括所述目标区域的二维平面地图,确定所述终端设备在真实场景中的地理坐标系下的平面坐标信息。
在一种可能的实施方式中,所述信息获取单元在基于所述图片和包括所述目标区域的二维平面地图,确定所述终端设备在真实场景中的地理坐标系下的平面坐标信息时,用于:
基于所述图片和包括所述目标区域的二维平面地图,确定所述终端设备在所述二维平面地图上的地图坐标信息;
基于所述二维平面地图与真实场景的比例尺,和所述终端设备在所述二维平面地图上的地图坐标信息,确定所述终端设备在真实场景中的地理坐标系下的平面坐标信息。
在一种可能的实施方式中,所述移动信息包括所述终端设备在真实场景中的平面坐标变化信息和在真实场景中的高度变化信息;所述初始定位信息包括终端设备在真实场景中的平面坐标信息和高度信息;
所述信息处理单元在确定所述终端设备在增强现实场景下的目标定位位置信息时,用于:
基于当前定位周期开始时,所述终端设备在真实场景中的平面坐标信息,和所述终端设备在当前定位周期内的平面坐标变化信息,确定当前定位周期结束时,所述终端设备在真实场景中更新后的平面坐标信息;以及,基于当前定位周期开始时所述终端设备在真实场景中的高度信息,和所述终端设备在当前定位周期内的高度变化信息,确定当前定位周期结束时,所述终端设备在真实场景中更新后的高度信息;
基于所述终端设备在真实场景中更新后的所述平面坐标信息和高度信息,确定当前定位周期结束时,所述终端设备在所述增强现实场景下的目标定位位置信息。
在一种可能的实施方式中,所述移动信息包括所述终端设备在平面坐标系下的拍摄角度变化信息;
所述信息处理单元在确定所述终端设备在增强现实场景下的目标拍摄角度信息,包括:
基于当前定位周期开始时所述终端设备在平面坐标系下的所述初始拍摄角度信息和所述终端设备在平面坐标系下的拍摄角度变化信息,确定当前定位周期结束时,所述终端设备在平面坐标系下更新后的拍摄角度信息;
基于所述终端设备在平面坐标系下更新后的拍摄角度信息,确定所述终端设备在所述增强现实场景下的目标拍摄角度信息。
在一种可能的实施方式中,上述信息显示装置还包括通信控制单元,所述通信控制单元用于:
与所述增强现实场景下的目标实体对象建立通信连接;响应于针对所述目标实体对象的第一用户触发指令,基于所述通信连接,控制所述目标实体对象执行与所述第一用户触发指令对应的第一响应操作;或者,
响应于针对所述目标实体对象的第一用户触发指令,向控制所述目标实体对象的服务器发送第一控制指令,以使所述服务器基于所述第一控制指令控制所述目标实体对象执行与所述第一控制指令对应的第一响应操作。
在一些实施例中,所述通信控制单元还用于:
响应于针对所述增强现实场景下的目标虚拟对象的第二用户触发指令,基于所述第二用户触发指令,确定所述目标虚拟对象在所述增强现实场景中的呈现效果,并基于所述呈现效果,更新当前呈现的所述增强现实场景。
在一些实施例中,所述通信控制单元还用于:
响应于针对所述增强现实场景下的目标虚拟对象和目标实体对象的第三用户触发指令,所述第三用户触发指令为对所述目标虚拟对象和目标实体对象进行连带控制的指令;
基于所述第三用户触发指令,确定所述目标虚拟对象和目标实体对象在所述增强现实场景中的呈现效果,并基于所述呈现效果,更新当前呈现的所述增强现实场景。
第三方面,本公开还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如上述的信息显示方法的步骤。
所述电子设备为以下任一种设备:
智能手机;平板电脑;增强现实AR眼镜。
第四方面,本公开还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述的信息显示方法的步骤。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。
图1示出了本公开实施例提供的一种信息显示方法的流程图;
图2示出了本公开实施例提供的另一种信息显示方法中基于目标定位位置信息和目标拍摄角度信息,在终端设备中呈现所述增强现实场景下的目标信息的流程图;
图3示出了本公开实施例提供的再一种信息显示方法中确定终端设备在真实场景中的平面坐标信息的流程图;
图4示出了本公开实施例中终端设备在二维平面地图上的示意图;
图5示出了本公开实施例提供的再一种信息显示方法中通过终端设备对增强现实场景下的目标虚拟对象和目标实体对象进行连带控制的流程图;
图6示出了本公开实施例提供的一种信息显示装置的结构示意图;
图7示出了本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,应当理解,本公开中附图仅起到说明和描述的目的,并不用于限定本公开的保护范围。另外,应当理解,示意性的附图并未按实物比例绘制。本公开中使用的流程图示出了根据本公开的一些实施例实现的操作。应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本公开内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。
另外,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
为了使得本领域技术人员能够使用本公开内容,结合特定应用场景“增强现实下的场景显示”,给出以下实施方式。对于本领域技术人员来说,在不脱离本公开的精神和范围的情况下,可以将这里定义的一般原理应用于其他实施例和应用场景。虽然本公开主要围绕增强现实下的场景显示进行描述,但是应该理解,这仅是一个示例性实施例。
需要说明的是,本公开实施例中将会用到术语“包括”,用于指出其后所声明的特征的存在,但并不排除增加其它的特征。
当在智能手机、智能眼镜等终端设备中显示虚拟和现实结合的场景时,可以先将终端设备定位到真实场景中,并基于定位的定位信息和拍摄角度信息来确定与该定位位置匹配的虚拟场景信息,将该虚拟场景信息与在定位位置处拍摄的真实场景信息进行融合,以呈现增强现实场景。由于在定位过程中,终端设备可能会发生移动,此时,若直接基于开始定位时的定位信息和拍摄角度信息确定匹配的虚拟场景信息,会导致匹配的虚拟场景信息不准确。基于此,本公开结合开始定位时的定位信息和拍摄角度信息和定位过程中的移动信息等来确定与终端设备移动后拍摄的真实场景匹配的虚拟场景信息,以提高呈现的增强现实场景的准确性。
下面对本公开实施例中的信息显示方法进行详细说明。
如图1所示的信息显示方法由终端设备执行,或是由终端设备中的处理器执行。具体地,包括如下步骤:
S110、获取终端设备在真实场景中的初始定位信息、所述终端设备的初始拍摄角度信息、和所述终端设备在真实场景中的移动信息。
上述终端设备可以具有拍摄功能,能够呈现增强现实场景的设备,例如,智能眼镜、智能手机、平板电脑等。
这里,终端设备从开始定位到定位结束需要一个小的时间段,这个时间段称为一个定位周期。上述初始定位信息可以是在当前定位周期开始时,终端设备在真实场景中的定位信息,上述初始拍摄角度信息可以是在当前定位周期开始时,终端设备在真实场景中的拍摄角度信息。
上述初始定位信息可以包括终端设备在真实场景中的平面坐标信息和高度信息。
上述终端设备在真实场景中的平面坐标信息可以是指终端设备在真实场景中的地理坐标系下的平面坐标信息。
上述初始拍摄角度信息用于表征终端设备的拍摄方向,可以用拍摄方向与各坐标轴的夹角表示。
上述,终端设备在开始定位到定位结束之间的时间段内可能发生移动,上述初始定位信息和初始拍摄角度信息在定位周期内由于终端设备的移动会发生变化,为了提高对终端设备的定位的准确度,需要获取终端设备在定位周期内的移动信息。
上述移动信息可以包括终端设备在真实场景中的定位变化信息和终端设备在平面坐标系下的拍摄角度变化信息,这里,定位变化信息可以包括终端设备在真实场景中的平面坐标变化信息、终端设备在真实场景中的高度变化信息。在定位过程中,终端设备可能发生移动,也可能不发生移动,在终端设备不发生移动时,上述变化信息对应的具体变化值可以取值为0,在终端设备发生移动时,上述变化信息对应的具体变化值可以取其他任意数值。
这里的移动信息可以利用6DOF设备获取。在使用6DOF设备的时候可以在每次定位完成之后,重置6DOF。
S120、基于所述初始定位信息、所述初始拍摄角度信息和所述移动信息,确定所述终端设备在增强现实场景下的目标定位位置信息和目标拍摄角度信息。
这里,可以基于定位周期开始时终端设备的初始定位信息、初始拍摄角度信息和定位周期中终端设备的移动信息,确定终端设备在真实场景中更新后的定位信息、和所述终端设备在平面坐标系下更新后的拍摄角度信息,再基于更新后的定位信息和更新后的拍摄角度信息,利用增强现实场景下的坐标系与平面坐标系的坐标转换关系,进行坐标转换,得到终端设备在增强现实场景下的目标定位位置信息和目标拍摄角度信息。
当然,也可以利用其它的方法确定定位周期结束时终端设备在增强现实场景下的目标定位位置信息和目标拍摄角度信息。例如,可以先基于定位周期开始时的初始定位信息和初始拍摄角度信息,确定终端设备在增强现实场景下的定位位置信息和拍摄角度信息,再将终端设备在定位周期内的移动信息,映射到增强现实场景中,得到定位周期结束时终端设备在增强现实场景下的目标定位位置信息和目标拍摄角度信息。
本步骤确定了定位周期结束时终端设备在增强现实场景下的目标定位位置信息和目标拍摄角度信息,即实现了终端设备在增强现实场景中的定位,实现了平面坐标系到增强现实场景下的坐标系的坐标转换。这里增强现实场景下的坐标系可以是Unity坐标系。
S130、基于所述目标定位位置信息和目标拍摄角度信息,在所述终端设备中呈现所述增强现实场景下的目标信息;所述目标信息包含所述终端设备采集的真实场景信息和融入在真实场景中的虚拟场景信息。
由于终端设备具有一定的拍摄角度,无法拍摄其所在区域的所有角度对应的场景,因此,需要结合目标定位位置信息和目标拍摄角度信息,确定位于其目标拍摄角度信息对应的角度范围内的虚拟场景信息,并将确定的虚拟场景信息融入到终端设备采集到的真实场景信息中,得到目标信息。结合目标定位位置信息和目标拍摄角度信息能够提高确定的虚拟场景信息的准确度,继而能够提高在终端设备中呈现的增强现实场景的准确度。
上述实施例在获取到定位开始时终端设备在真实场景中的初始定位信息、初始拍摄角度信息后,结合定位过程中的移动信息,确定与定位结束时的真实场景相匹配的虚拟场景信息,提高了呈现的增强现实场景的准确性。
在一些实施例中,如图2所示,上述基于所述目标定位位置信息和目标拍摄角度信息,在所述终端设备中呈现所述增强现实场景下的目标信息,包括:
S210、基于所述目标定位位置信息和目标拍摄角度信息,确定在所述终端设备采集的真实场景信息中待呈现的虚拟场景信息。
终端设备可以具有拍摄功能的设备,在终端设备中展示的场景信息应该是其能够拍摄到的场景信息,这里的场景信息不仅包括当前拍摄到的真实场景信息,还包括位于增强现实场景中的虚拟场景信息。其中,对于真实场景信息,由于其是终端设备能够直接拍摄得到,因此能够直接确定在增强现实场景中所要呈现的真实场景信息。而对于虚拟场景信息,由于终端设备理论上不能拍摄到位于其拍摄方向后面的虚拟场景信息,即终端设备理论上不能拍摄到目标拍摄角度所对应的拍摄视野范围之外的虚拟场景信息,因此,需要根据终端设备在增强现实场景中的定位信息(即目标定位位置信息)和拍摄方向信息(即目标拍摄角度信息)筛选位于终端设备前方的虚拟场景信息,即筛选终端设备在增强现实场景中能够呈现的虚拟场景信息。
示例性的,在筛选上述在增强现实场景中所要呈现的虚拟场景信息的时候,可以从预先建立好的、包括虚拟场景信息的一个三维模型中,基于上述目标定位位置信息和目标拍摄角度信息筛选位于理论上位于终端设备的拍摄视野范围内的虚拟场景信息。上述三维模型可以存储在与终端设备通信连接的远端服务器上,也可以存储在终端设备上。
S220、将所述虚拟场景信息和所述终端设备采集的真实场景信息合成,得到所述目标信息,并将所述目标信息呈现在所述增强现实场景中。
在确定了需要展示的虚拟场景信息后,可以通过先将拍摄到的真实场景信息映射到增强现实场景中(可以是拍摄的原始真实场景图像,也可以是将原始真实场景图像进行加工处理后的),再将映射到增强现实场景中的真实场景信息与虚拟场景信息合成,得到目标信息,最后在终端设备中展示包括了目标信息的增强现实场景。
当然也可以利用其它方式合成目标信息,例如,增强现实场景中预先存储有所有可能拍摄的区域内的真实场景信息,映射到增强现实场景后的场景信息,那么,在终端设备拍摄到当前区域内的真实场景信息后,可以根据拍摄到的真实场景信息的特征,从增强现实场景对应的已经预存的真实场景信息中,筛选相匹配的真实场景信息(可能是原始真实场景图像,也可能是加工后的)与虚拟场景信息进行合成,以得到目标信息。本公开实施例对如何合成目标信息不进行限定。
上述实施例由终端设备或终端设备中的处理器,确定在增强现实场景中需要呈现的虚拟场景信息,并将确定的虚拟场景信息与终端设备拍摄到的真实场景信息进行合成,得到在终端设备中的增强现实场景下呈现的目标信息,提高了在终端设备中呈现的增强现实场景的真实度和准确度。
由于终端设备中处理器资源有限,以及为了保证目标信息的合成效率,可以利用与终端设备连接的服务器来确定虚拟场景信息,或合成目标信息,之后将确定的虚拟场景信息或合成的目标信息反馈给终端设备,具体地,可以利用如下步骤实现:
终端设备将所述目标定位位置信息和目标拍摄角度信息发送给服务器,并接收服务器返回的在所述终端设备当前所拍摄到的真实场景中,所需要呈现的虚拟场景信息;以及,将所述服务器返回的虚拟场景信息和所述真实场景信息合成,得到所述目标信息,并将所述目标信息呈现在所述终端设备的所述增强现实场景中;或者,
终端设备将所述目标定位位置信息和目标拍摄角度信息发送给服务器,并接收所述服务器返回的将所述虚拟场景信息和所述真实场景信息合成后的所述目标信息,将所述目标信息呈现在所述终端设备的所述增强现实场景中。
上述步骤中,服务器基于目标定位位置信息和目标拍摄角度信息,确定需要呈现的虚拟场景信息的方法,可以与终端设备确定需要呈现的虚拟场景信息的方法相同。服务器将虚拟场景信息和所述真实场景信息合成得到目标信息的方法,可以与终端设备合成目标信息的方法相同。因此对于服务器确定呈现的虚拟场景信息的方法,和服务器合成目标信息方法这里不再赘述。
实际上,很多情况下无法直接获取终端设备在真实场景中的平面坐标信息,因此需要在获取到终端设备在某二维坐标系下的初始定位信息之后,经过处理得到终端设备在真实场景中的平面坐标信息,具体地,如图3所示,可以利用如下步骤实现:
S310、获取所述终端设备拍摄的所述终端设备所处的目标区域的图片。
这里,可以在定位周期开始时,利用所述终端设备拍摄所述终端设备所处的目标区域的图片。
S320、基于所述图片和包括所述目标区域的二维平面地图,确定所述终端设备在真实场景中的地理坐标系下的平面坐标信息。
在具体实施时,可以首先基于终端设备拍摄的图片与二维平面地图的关联关系,确定终端设备在所述二维平面地图上的地图坐标信息,再基于二维平面地图与真实场景的比例尺,和所述终端设备在所述二维平面地图上的地图坐标信息,确定所述终端设备在真实场景中的地理坐标系下的平面坐标信息。
由于二维平面地图与真实场景不是等比例的,因此不能直接将终端设备的地图坐标信息作为终端设备在真实场景中的平面坐标信息。在具体实施时可以利用二维平面地图与真实场景的比例尺,将终端设备在所述二维平面地图上的地图坐标信息转换为,终端设备在真实场景中的地理坐标系下的平面坐标信息。
如图4所示,终端设备在所述二维平面地图上位于圆圈1所示位置,其地图坐标为xz=(1,3),结合二维平面地图与真实场景的比例尺为1:5,那可以得到终端设备在真实场景中的地理坐标系下的平面坐标是(5,15),单位是米,此时,终端设备的位置是X方向5米,Z方向15米。
在具体实施时,可以利用视觉定位技术,结合终端设备拍摄到的上述图片和包括所述目标区域的二维平面地图,确定终端设备在所述二维平面地图上的地图坐标信息。当然也可以利用其他方法确定终端设备在所述二维平面地图上的地图坐标信息,例如,可以利用marker定位、GPS定位的技术确定终端设备在二维平面地图上的地图坐标信息。
在将终端设备定位到增强现实场景中之后,可以利用终端设备与增强现实场景中的实体对象或虚拟对象进行通信、互动或控制。具体地,可以利用如下步骤实现终端设备与增强现实场景中的实体对象进行通信和控制:
终端设备与所述增强现实场景下的目标实体对象建立通信连接;响应于针对所述目标实体对象的第一用户触发指令,基于所述通信连接,控制所述目标实体对象执行与所述第一用户触发指令对应的第一响应操作。
在具体实施时,用户在终端设备内发起第一用户触发指令,终端设备接收第一用户触发指令,并基于第一用户触发指令向目标实体对象发送对应的控制指令,以控制目标实体对象执行与第一用户触发指令对应的响应操作。
例如,终端设备可以向目标实体对象发送用于控制目标实体对象按照一定的路线移动的控制指令,目标实体对象接收到该控制指令后,会按照规定的路线进行移动。
再例如,终端设备可以向目标实体对象发送用于控制目标实体对象播放预设画面的控制指令,目标实体对象接收到该控制指令后,会在自身的显示屏上播放预设的画面。
目标实体对象执行完上述响应操作之后,会展示执行相应操作后的状态,终端设备通过拍摄可以直接获取到更新后的真实场景信息(包括上述目标实体对象执行相应操作后的状态),从而能够利用更新后的真实场景信息更新终端设备中呈现的增强现实场景信息。
上述实施例是利用在终端设备自身实现对目标实体对象的控制,为了减少对终端设备中处理器资源的占用,可以利用与终端设备连接,并且用于控制目标实体对象的服务器来实现对目标实体对象的控制。具体可以利用如下步骤实现:
终端设备响应于针对所述目标实体对象的第一用户触发指令,向控制所述目标实体对象的服务器发送第一控制指令,以使所述服务器基于所述第一控制指令控制所述目标实体对象执行与所述第一控制指令对应的第一响应操作。
这里,服务器基于第一控制指令向目标实体对象发送对应的控制指令,以控制目标实体对象执行与第一控制指令对应的响应操作。
如上述,服务器能够实现与终端设备相同的控制。同样的,终端设备可以通过拍摄直接获取到更新后的真实场景信息,从而能够利用更新后的真实场景信息更新终端设备中呈现的增强现实场景信息。
本公开的实施例通过终端设备不仅能够实现对增强现实场景下的目标实体对象进行控制操作,还能实现对增强现实场景下的目标虚拟对象进行交互操作,具体实现步骤如下:
终端设备响应于针对所述增强现实场景下的目标虚拟对象的第二用户触发指令,基于所述第二用户触发指令,确定所述目标虚拟对象在所述增强现实场景中的呈现效果,并基于所述呈现效果,更新当前呈现的所述增强现实场景。
该实施例,在具体实施时具体可以按照如下方式执行,终端设备基于第二用户触发指令向控制目标虚拟对象的服务器发送控制指令,以使该服务器基于上述控制指令,控制目标虚拟对象执行第二响应操作。由于目标虚拟对象并非真实存在于真实场景中,因此可以由服务器基于第二响应操作,确定目标虚拟对象执行操作后的状态,即由服务器基于第二响应操作确定第二响应操作对应的呈现效果,并将呈现效果反馈给终端设备,由终端设备将呈现效果呈现在所述终端设备中的增强现实场景中。
例如,终端设备可以向服务器发送用于控制目标虚拟对象按照预定的规则运动的第二控制指令,目标虚拟对象接收服务器发送的指令后,会按照预定的规则运动,服务器生成相应的呈现效果并反馈给终端设备,而后,终端设备将呈现效果呈现在增强现实场景中。
当然,该实施例,在具体实施时还可以由终端设备基于所述第二用户触发指令控制所述目标虚拟对象执行所述第二用户触发指令对应的第二响应操作,并确定所述第二响应操作对应的呈现效果。
本公开实施例,通过终端设备不仅能够对增强现实场景下单独的目标实体对象或单独的目标虚拟对象进行控制操作,还能够对增强现实场景下的目标虚拟对象和目标实体对象进行连带控制操作,如图5所示,具体实现步骤如下:
S510、终端设备响应于针对所述增强现实场景下的目标虚拟对象和目标实体对象的第三用户触发指令,所述第三用户触发指令为对所述目标虚拟对象和目标实体对象进行连带控制的指令。
上述第三用户触发指令可以用于控制目标实体对象向目标虚拟对象执行特定的操作,目标虚拟对象相应的状态会发生改变。目标虚拟对象改变后的状态作为呈现效果会呈现在增强现实场景中。当然,上述第三用户触发指令还可以用于控制目标虚拟对象向目标实体对象执行特定的操作,目标实体对象在真实场景中的状态不会发生改变,但是目标实体对象在三维增强现实空间中的状态会发生改变,并作为呈现效果呈现在增强现实场景中。
例如,第三用户触发指令可以用于控制目标实体对象将目标虚拟对象运送到目标位置,再例如,第三用户触发指令可以用于控制目标虚拟对象对目标实体对象进行切割处理。
S520、终端设备基于所述第三用户触发指令,确定所述目标虚拟对象和目标实体对象在所述增强现实场景中的呈现效果,并基于所述呈现效果,更新当前呈现的所述增强现实场景。
上述呈现效果既可以包括目标实体对象改变后的状态,也可以包括目标虚拟对象改变后的状态。对于目标实体对象向目标虚拟对象执行操作的第三用户触发指令,在具体实施时,服务器基于第三控制指令控制目标实体对象执行对应的响应操作,服务器基于第三控制指令控制目标虚拟对象执行与第三控制指令对应的响应操作,并确定与目标虚拟对象的响应操作对应的呈现效果,最后将确定的呈现效果反馈给终端设备。终端设备将当前拍摄的真实场景信息与接收的呈现效果融合,并基于融合的结果更新其当前呈现的增强现实场景。
例如,第三用户触发指令可以用于控制目标实体对象将目标虚拟对象运送到目标位置,此时,目标实体对象基于第三控制指令,在真实场景中会运动到目标位置,目标虚拟对象在三维增强现实场景中也会被运送到目标位置,终端设备通过拍摄当前真实场景,可以直接获取需要呈现增强现实场景下的真实场景信息(包括目标实体对象在目标位置的状态),终端设备通过接收服务器反馈的呈现效果(目标虚拟对象在目标位置的状态)确定需要融入当前真实场景的虚拟场景信息,最后,将虚拟场景信息和真实场景信息融合,并基于融合的结果更新其当前呈现的增强现实场景。
对于目标虚拟对象向目标实体对象执行操作的第三用户触发指令,在具体实施时,服务器基于第三控制指令控制目标虚拟对象执行对应的响应操作,并确定目标虚拟对象执行对应的响应操作后的响应效果;真实场景中的目标实体对象的状态不发生改变,但是在增强现实场景中,目标实体对象需要基于目标虚拟对象执行的操作而改变自身的状态,并将改变后的状态作为响应效果,最后,服务器结合目标虚拟对象的响应效果和目标实体对象的响应效果确定呈现效果,并将呈现效果反馈给终端设备,以使终端设备基于呈现效果更新其显示的增强现实场景。
例如,第三用户触发指令可以用于控制目标虚拟对象对目标实体对象进行切割操作,此时,服务器控制目标虚拟对象执行切割操作,并确定目标虚拟对象执行切割操作后的响应效果,目标实体对象在真实场景中的状态未发生改变,但是在增强现实场景中,会基于目标虚拟对象的切割操作,相应的变为多块的状态,服务器将目标虚拟对象执行切割操作的状态和目标实体对象被切割的状态作为呈现效果,并将呈现效果反馈给终端设备,以使终端设备基于呈现效果更新其显示的增强现实场景。
应当说明的是,上述实施例是利用服务器,确定并反馈呈现效果,在具体实施时,也可以直接利用终端设备基于第三用户触发指令,确定呈现效果。
终端设备不仅能够实现对增强现实场景下的目标虚拟对象和目标实体对象的连带控制,还能实现对增强现实场景下的两个或多个目标虚拟对象的连带控制,以及还能实现对增强现实场景下的两个或多个目标实体对象的连带控制。
例如可以利用如下步骤实现终端设备对增强现实场景下的两个目标实体对象的连带控制:
用户向终端设备内发起第四用户触发指令,终端设备接收第四用户触发指令,并基于第四用户触发指令向第一目标实体对象发送对应的控制指令,以控制第一目标实体对象向第二目标实体对象执行预设的操作。
之后,终端设备通过拍摄当前的真实场景获取到更新后的真实场景信息,并基于更新后的真实场景信息更新终端设备中显示的增强现实场景。
上述第四用户触发指令是针对第一目标实体对象和第二目标实体对象进行连带控制的指令。
当然,还可以利用服务器对两个目标实体对象进行连带控制,具体地:用户向终端设备内发起第五用户触发指令,终端设备基于第五用户触发指令向服务器发送对应的控制指令,服务器基于接收的控制指令向第一目标实体对象发送对应的控制指令,以控制第一目标实体对象向第二目标实体对象执行预设的操作。
再例如可以利用如下步骤实现终端设备对增强现实场景下的两个目标虚拟对象的连带控制:
用户向终端设备内发起第六用户触发指令,终端设备接收第六用户触发指令,并基于第六用户触发指令向服务器发送控制指令,以使服务器控制第一目标虚拟对象向第二目标虚拟体执行预设的操作,并基于第一目标虚拟对象向第二目标虚拟体执行的预设操作,确定第一目标虚拟对象和第二目标虚拟对象更新后的状态,即确定第一目标虚拟对象和第二目标虚拟对象更新后呈现效果。之后服务器将更新后的呈现效果反馈给终端设备,以使终端设备基于接收的呈现效果,更新其显示的增强现实场景。
上述第六用户触发指令是针对第一目标虚拟对象和第二目标虚拟对象进行连带控制的指令。
当然,还可以利用终端设备自身实现对两个目标虚拟对象进行连带控制控制,具体地,用户向终端设备内发起第七用户触发指令,终端设备接收第七用户触发指令,并基于第七用户触发指令控制第一目标虚拟对象向第二目标虚拟体执行预设的操作,并基于第一目标虚拟对象向第二目标虚拟体执行的预设操作,确定第一目标虚拟对象和第二目标虚拟对象更新后的状态,即确定第一目标虚拟对象和第二目标虚拟对象更新后呈现效果。之后,终端设备基于确定的呈现效果,更新其显示的增强现实场景。
由于在定位过程中,终端设备在真实场景中的定位位置可能发生变化,在定位结束时,如果只是基于定位开始时的初始定位信息等来进行虚拟场景信息的确定,该虚拟场景信息可能与定位结束时的真实场景并不匹配,因此,本公开实施例结合了定位过程中的移动信息来进行虚拟场景的匹配,具体实施过程包括:
终端设备基于当前定位周期开始时,所述终端设备在真实场景中的平面坐标信息,和所述终端设备在当前定位周期内的平面坐标变化信息,确定当前定位周期结束时,所述终端设备在真实场景中更新后的平面坐标信息;以及,基于当前定位周期开始时所述终端设备在真实场景中的高度信息,和所述终端设备在当前定位周期内的高度变化信息,确定当前定位周期结束时,所述终端设备在真实场景中更新后的高度信息。基于所述终端设备在真实场景中更新后的所述平面坐标信息和高度信息,确定当前定位周期结束时,所述终端设备在所述增强现实场景下的目标定位位置信息。
其中,移动信息包括所述终端设备在真实场景中的平面坐标变化信息和在真实场景中的高度变化信息;所述初始定位信息包括终端设备在真实场景中的平面坐标信息和高度信息。
在具体实施时,在确定了更新后的平面坐标信息和高度信息之后,可以先利用更新后的平面坐标信息和高度信息,确定终端设备在真实场景中更新后的位置信息,再对终端设备在真实场景中更新后的位置信息进行坐标转换,得到当前定位周期结束时,所述终端设备在所述增强现实场景下的目标定位位置信息。
另外,由于增强现实场景与真实场景的比例尺为1:1,因此在进行坐标转换的时候,可以只对更新后的所述平面坐标信息进行坐标值转换,然后加入更新后的高度信息,放入到增强现实场景中即可。
上述实施例结合终端设备在定位周期中的移动信息,确定终端设备在真实场景中更新后的平面坐标信息和高度信息,基于更新后的平面坐标信息和高度信息,能够提高确定的目标定位位置信息的准确度。
针对移动信息包括拍摄角度变化信息的情况,终端设备基于当前定位周期开始时所述终端设备在平面坐标系下的所述初始拍摄角度信息和所述终端设备在平面坐标系下的拍摄角度变化信息,确定当前定位周期结束时,所述终端设备在平面坐标系下更新后的拍摄角度信息;基于所述终端设备在平面坐标系下更新后的拍摄角度信息,确定所述终端设备在所述增强现实场景下的目标拍摄角度信息。
上述在确定增强现实场景下的目标拍摄角度信息时,包括两部分的差异转换,一是,平面坐标系与增强现实场景下的坐标系在拍摄方向上的差异转换;二是,针对在当前定位周期内拍摄角度变化信息的坐标转换。
上述实施例结合终端设备在定位周期中的拍摄角度变化信息,能够确定终端设备在平面坐标系下更新后的拍摄角度信息,基于更新后的拍摄角度信息,能够提高确定目标拍摄角度信息的准确度。
对应于上述信息显示方法,本公开实施例还提供了一种信息显示装置,该信息显示装置应用于终端设备,并且该信息显示装置及其各个单元能够执行与上述信息显示方法相同的方法步骤,并且能够达到相同的有益效果,因此对于重复的部分不再赘述。
具体地,如图6所示,本公开实施例提供的信息显示装置包括:信息获取单元610、信息处理单元620和增强现实处理单元630。
信息获取单元610,用于获取终端设备在真实场景中的初始定位信息、所述终端设备的初始拍摄角度信息、和所述终端设备在真实场景中的移动信息.
信息处理单元620,用于基于所述初始定位信息、所述初始拍摄角度信息和所述移动信息,确定所述终端设备在增强现实场景下的目标定位位置信息和目标拍摄角度信息。
增强现实处理单元630,用于基于所述目标定位位置信息和目标拍摄角度信息,在所述终端设备中呈现所述增强现实场景下的目标信息;所述目标信息包含所述终端设备采集的真实场景信息和融入在真实场景中的虚拟场景信息。
在一些实施例中,所述增强现实处理单元630在基于所述目标定位位置信息和目标拍摄角度信息,在所述终端设备中呈现所述增强现实场景下的目标信息时,用于:
基于所述目标定位位置信息和目标拍摄角度信息,确定在所述终端设备采集的真实场景信息中待呈现的虚拟场景信息;
将所述虚拟场景信息和所述终端设备采集的真实场景信息合成,得到目标信息,并将所述目标信息呈现在所述终端设备的所述增强现实场景中。
在一些实施例中,所述增强现实处理单元630在基于所述目标定位位置信息和目标拍摄角度信息,在所述终端设备中呈现所述增强现实场景下的目标信息时,用于:
将所述目标定位位置信息和目标拍摄角度信息发送给服务器,并接收服务器返回的在所述终端设备当前所拍摄到的真实场景中,所需要呈现的虚拟场景信息;以及,将所述服务器返回的虚拟场景信息和所述真实场景信息合成,得到所述目标信息,并将所述目标信息呈现在所述终端设备的所述增强现实场景中;或者,
将所述目标定位位置信息和目标拍摄角度信息发送给服务器,并接收所述服务器返回的将所述虚拟场景信息和所述真实场景信息合成后的所述目标信息,将所述目标信息呈现在所述终端设备的所述增强现实场景中。
在一些实施例中,所述初始定位信息包括终端设备在真实场景中的平面坐标信息;
所述信息获取单元610在获取终端设备在真实场景中的初始定位信息时,用于:
获取所述终端设备拍摄的所述终端设备所处的目标区域的图片;
基于所述图片和包括所述目标区域的二维平面地图,确定所述终端设备在真实场景中的地理坐标系下的平面坐标信息。
在一些实施例中,所述信息获取单元610在基于所述图片和包括所述目标区域的二维平面地图,确定所述终端设备在真实场景中的地理坐标系下的平面坐标信息时,用于:
基于所述图片和包括所述目标区域的二维平面地图,确定所述终端设备在所述二维平面地图上的地图坐标信息;
基于所述二维平面地图与真实场景的比例尺,和所述终端设备在所述二维平面地图上的地图坐标信息,确定所述终端设备在真实场景中的地理坐标系下的平面坐标信息。
在一些实施例中,所述移动信息包括所述终端设备在真实场景中的平面坐标变化信息和在真实场景中的高度变化信息;所述初始定位信息包括终端设备在真实场景中的平面坐标信息和高度信息;
所述信息处理单元620在确定所述终端设备在增强现实场景下的目标定位位置信息时,用于:
基于当前定位周期开始时,所述终端设备在真实场景中的平面坐标信息,和所述终端设备在当前定位周期内的平面坐标变化信息,确定当前定位周期结束时,所述终端设备在真实场景中更新后的平面坐标信息;以及,基于当前定位周期开始时所述终端设备在真实场景中的高度信息,和所述终端设备在当前定位周期内的高度变化信息,确定当前定位周期结束时,所述终端设备在真实场景中更新后的高度信息;
基于所述终端设备在真实场景中更新后的所述平面坐标信息和高度信息,确定当前定位周期结束时,所述终端设备在所述增强现实场景下的目标定位位置信息。
在一些实施例中,所述移动信息包括所述终端设备在平面坐标系下的拍摄角度变化信息;
所述信息处理单元620在确定所述终端设备在增强现实场景下的目标拍摄角度信息,包括:
基于当前定位周期开始时所述终端设备在平面坐标系下的所述初始拍摄角度信息和所述终端设备在平面坐标系下的拍摄角度变化信息,确定当前定位周期结束时,所述终端设备在平面坐标系下更新后的拍摄角度信息;
基于所述终端设备在平面坐标系下更新后的拍摄角度信息,确定所述终端设备在所述增强现实场景下的目标拍摄角度信息。
在一些实施例中,上述信息显示装置还包括通信控制单元640,所述通信控制单元640单元用于:
与所述增强现实场景下的目标实体对象建立通信连接;响应于针对所述目标实体对象的第一用户触发指令,基于所述通信连接,控制所述目标实体对象执行与所述第一用户触发指令对应的第一响应操作;或者,
响应于针对所述目标实体对象的第一用户触发指令,向控制所述目标实体对象的服务器发送第一控制指令,以使所述服务器基于所述第一控制指令控制所述目标实体对象执行与所述第一控制指令对应的第一响应操作。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的单元可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
本公开实施例公开了一种电子设备,如图7所示,包括:处理器701、存储器702和总线703,所述存储器702存储有所述处理器701可执行的机器可读指令,当电子设备运行时,所述处理器701与所述存储器702之间通过总线703通信。
所述机器可读指令被所述处理器701执行时执行以下信息显示方法的步骤:
获取终端设备在真实场景中的初始定位信息、所述终端设备的初始拍摄角度信息、和所述终端设备在真实场景中的移动信息;
基于所述初始定位信息、所述初始拍摄角度信息和所述移动信息,确定所述终端设备在增强现实场景下的目标定位位置信息和目标拍摄角度信息;
基于所述目标定位位置信息和目标拍摄角度信息,在所述终端设备中呈现所述增强现实场景下的目标信息;所述目标信息包含所述终端设备采集的真实场景信息和融入在真实场景中的虚拟场景信息。
本公开实施例还提供的一种对应于信息显示方法及装置的计算机程序产品,包括存储了程序代码的计算机可读存储介质,程序代码包括的指令可用于执行前面方法实施例中的方法,具体实现可参见方法实施例,在此不再赘述。
本公开上述实施例并不限定具体所应用的技术方向,任何虚拟与现实结合的技术方向均可以使用本公开实施例所提出的技术思想:结合终端设备的初始定位信息和初始拍摄角度信息,以及终端设备的移动信息,来呈现真实场景与虚拟场景融合后的目标信息,该目标信息可以在增强现实(Augmented Reality,AR)场景中显示,也可以在虚拟现实(VirtualReality,VR)场景中展示。虚拟现实场景与增强现实场景的区别就在于虚拟现实场景需要基于目标信息营造一个完全人工制造的场景来展现。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以相互参考,为了简洁,本文不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考方法实施例中的对应过程,本公开中不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以权利要求的保护范围为准。

Claims (20)

1.一种信息显示方法,其特征在于,包括:
获取终端设备在真实场景中的初始定位信息、所述终端设备的初始拍摄角度信息、和所述终端设备在真实场景中的移动信息;其中,所述初始定位信息和所述初始拍摄角度信息是在当前定位周期开始时获得的,所述移动信息是在所述当前定位周期内的移动信息;
基于所述初始定位信息、所述初始拍摄角度信息和所述移动信息,确定在所述当前定位周期结束时,所述终端设备在增强现实场景下的目标定位位置信息和目标拍摄角度信息;
基于所述目标定位位置信息和目标拍摄角度信息,在所述终端设备中呈现所述增强现实场景下的目标信息;所述目标信息包含所述终端设备采集的真实场景信息和融入在真实场景中的虚拟场景信息,所述虚拟场景信息与所述目标定位位置信息匹配且位于所述目标拍摄角度信息对应的角度范围内。
2.根据权利要求1所述的信息显示方法,其特征在于,所述移动信息包括所述终端设备在真实场景中的平面坐标变化信息和在真实场景中的高度变化信息;所述初始定位信息包括终端设备在真实场景中的平面坐标信息和高度信息;
所述确定所述终端设备在增强现实场景下的目标定位位置信息,包括:
基于当前定位周期开始时,所述终端设备在真实场景中的平面坐标信息,和所述终端设备在当前定位周期内的平面坐标变化信息,确定当前定位周期结束时,所述终端设备在真实场景中更新后的平面坐标信息;以及,基于当前定位周期开始时所述终端设备在真实场景中的高度信息,和所述终端设备在当前定位周期内的高度变化信息,确定当前定位周期结束时,所述终端设备在真实场景中更新后的高度信息;
基于所述终端设备在真实场景中更新后的所述平面坐标信息和高度信息,确定当前定位周期结束时,所述终端设备在所述增强现实场景下的目标定位位置信息。
3.根据权利要求1所述的信息显示方法,其特征在于,所述移动信息包括所述终端设备在平面坐标系下的拍摄角度变化信息;
确定所述终端设备在增强现实场景下的目标拍摄角度信息,包括:
基于当前定位周期开始时所述终端设备在平面坐标系下的所述初始拍摄角度信息和所述终端设备在平面坐标系下的拍摄角度变化信息,确定当前定位周期结束时,所述终端设备在平面坐标系下更新后的拍摄角度信息;
基于所述终端设备在平面坐标系下更新后的拍摄角度信息,确定所述终端设备在所述增强现实场景下的目标拍摄角度信息。
4.根据权利要求1至3任一所述的信息显示方法,其特征在于,还包括:
与所述增强现实场景下的目标实体对象建立通信连接;响应于针对所述目标实体对象的第一用户触发指令,基于所述通信连接,控制所述目标实体对象执行与所述第一用户触发指令对应的第一响应操作;或者,
响应于针对所述目标实体对象的第一用户触发指令,向控制所述目标实体对象的服务器发送第一控制指令,以使所述服务器基于所述第一控制指令控制所述目标实体对象执行与所述第一控制指令对应的第一响应操作。
5.根据权利要求1至3任一所述的信息显示方法,其特征在于,还包括:
响应于针对所述增强现实场景下的目标虚拟对象的第二用户触发指令,基于所述第二用户触发指令,确定所述目标虚拟对象在所述增强现实场景中的呈现效果,并基于所述呈现效果,更新当前呈现的所述增强现实场景。
6.根据权利要求1至3任一所述的信息显示方法,其特征在于,还包括:
响应于针对所述增强现实场景下的目标虚拟对象和目标实体对象的第三用户触发指令,所述第三用户触发指令为对所述目标虚拟对象和目标实体对象进行连带控制的指令;
基于所述第三用户触发指令,确定所述目标虚拟对象和目标实体对象在所述增强现实场景中的呈现效果,并基于所述呈现效果,更新当前呈现的所述增强现实场景。
7.根据权利要求1至6任一所述的信息显示方法,其特征在于,所述基于所述目标定位位置信息和目标拍摄角度信息,在所述终端设备中呈现所述增强现实场景下的目标信息,包括:
基于所述目标定位位置信息和目标拍摄角度信息,确定在所述终端设备采集的真实场景信息中待呈现的虚拟场景信息;
将所述虚拟场景信息和所述终端设备采集的真实场景信息合成,得到所述目标信息,并将所述目标信息呈现在所述增强现实场景中。
8.根据权利要求1至6任一所述的信息显示方法,其特征在于,所述基于所述目标定位位置信息和目标拍摄角度信息,在所述终端设备中呈现所述增强现实场景下的目标信息,包括:
将所述目标定位位置信息和目标拍摄角度信息发送给服务器,并接收服务器返回的在所述终端设备当前所拍摄到的真实场景中,所需要呈现的虚拟场景信息;以及,将所述服务器返回的虚拟场景信息和所述真实场景信息合成,得到所述目标信息,并将所述目标信息呈现在所述终端设备的所述增强现实场景中;或者,
将所述目标定位位置信息和目标拍摄角度信息发送给服务器,并接收所述服务器返回的将所述虚拟场景信息和所述真实场景信息合成后的所述目标信息,将所述目标信息呈现在所述终端设备的所述增强现实场景中。
9.根据权利要求1至6任一所述的信息显示方法,其特征在于,所述初始定位信息包括终端设备在真实场景中的平面坐标信息;
所述获取终端设备在真实场景中的初始定位信息包括:
获取所述终端设备拍摄的所述终端设备所处的目标区域的图片;
基于所述图片和包括所述目标区域的二维平面地图,确定所述终端设备在真实场景中的地理坐标系下的平面坐标信息。
10.根据权利要求9所述的信息显示方法,其特征在于,所述基于所述图片和包括所述目标区域的二维平面地图,确定所述终端设备在真实场景中的地理坐标系下的平面坐标信息,包括:
基于所述图片和包括所述目标区域的二维平面地图,确定所述终端设备在所述二维平面地图上的地图坐标信息;
基于所述二维平面地图与真实场景的比例尺,和所述终端设备在所述二维平面地图上的地图坐标信息,确定所述终端设备在真实场景中的地理坐标系下的平面坐标信息。
11.一种信息显示装置,其特征在于,应用于终端设备,包括:
信息获取单元,用于获取终端设备在真实场景中的初始定位信息、所述终端设备的初始拍摄角度信息、和所述终端设备在真实场景中的移动信息;其中,所述初始定位信息和所述初始拍摄角度信息是在当前定位周期开始时获得的,所述移动信息是在所述当前定位周期内的移动信息;
信息处理单元,用于基于所述初始定位信息、所述初始拍摄角度信息和所述移动信息,确定在所述当前定位周期结束时,所述终端设备在增强现实场景下的目标定位位置信息和目标拍摄角度信息;
增强现实处理单元,用于基于所述目标定位位置信息和目标拍摄角度信息,在所述终端设备中呈现所述增强现实场景下的目标信息;所述目标信息包含所述终端设备采集的真实场景信息和融入在真实场景中的虚拟场景信息,所述虚拟场景信息与所述目标定位位置信息匹配且位于所述目标拍摄角度信息对应的角度范围内。
12.根据权利要求11所述的信息显示装置,其特征在于,所述移动信息包括所述终端设备在真实场景中的平面坐标变化信息和在真实场景中的高度变化信息;所述初始定位信息包括终端设备在真实场景中的平面坐标信息和高度信息;
所述信息处理单元在确定所述终端设备在增强现实场景下的目标定位位置信息时,用于:
基于当前定位周期开始时,所述终端设备在真实场景中的平面坐标信息,和所述终端设备在当前定位周期内的平面坐标变化信息,确定当前定位周期结束时,所述终端设备在真实场景中更新后的平面坐标信息;以及,基于当前定位周期开始时所述终端设备在真实场景中的高度信息,和所述终端设备在当前定位周期内的高度变化信息,确定当前定位周期结束时,所述终端设备在真实场景中更新后的高度信息;
基于所述终端设备在真实场景中更新后的所述平面坐标信息和高度信息,确定当前定位周期结束时,所述终端设备在所述增强现实场景下的目标定位位置信息。
13.根据权利要求11所述的信息显示装置,其特征在于,所述移动信息包括所述终端设备在平面坐标系下的拍摄角度变化信息;
所述信息处理单元在确定所述终端设备在增强现实场景下的目标拍摄角度信息,包括:
基于当前定位周期开始时所述终端设备在平面坐标系下的所述初始拍摄角度信息和所述终端设备在平面坐标系下的拍摄角度变化信息,确定当前定位周期结束时,所述终端设备在平面坐标系下更新后的拍摄角度信息;
基于所述终端设备在平面坐标系下更新后的拍摄角度信息,确定所述终端设备在所述增强现实场景下的目标拍摄角度信息。
14.根据权利要求11至13任一所述的信息显示装置,其特征在于,还包括通信控制单元,所述通信控制单元用于:
与所述增强现实场景下的目标实体对象建立通信连接;响应于针对所述目标实体对象的第一用户触发指令,基于所述通信连接,控制所述目标实体对象执行与所述第一用户触发指令对应的第一响应操作;或者,
响应于针对所述目标实体对象的第一用户触发指令,向控制所述目标实体对象的服务器发送第一控制指令,以使所述服务器基于所述第一控制指令控制所述目标实体对象执行与所述第一控制指令对应的第一响应操作。
15.根据权利要求14所述的信息显示装置,其特征在于,所述通信控制单元还用于:
响应于针对所述增强现实场景下的目标虚拟对象的第二用户触发指令,基于所述第二用户触发指令,确定所述目标虚拟对象在所述增强现实场景中的呈现效果,并基于所述呈现效果,更新当前呈现的所述增强现实场景。
16.根据权利要求14所述的信息显示装置,其特征在于,所述通信控制单元还用于:
响应于针对所述增强现实场景下的目标虚拟对象和目标实体对象的第三用户触发指令,所述第三用户触发指令为对所述目标虚拟对象和目标实体对象进行连带控制的指令;
基于所述第三用户触发指令,确定所述目标虚拟对象和目标实体对象在所述增强现实场景中的呈现效果,并基于所述呈现效果,更新当前呈现的所述增强现实场景。
17.根据权利要求11至16任一所述的信息显示装置,其特征在于,所述增强现实处理单元在基于所述目标定位位置信息和目标拍摄角度信息,在所述终端设备中呈现所述增强现实场景下的目标信息时,用于:
基于所述目标定位位置信息和目标拍摄角度信息,确定在所述终端设备采集的真实场景信息中待呈现的虚拟场景信息;
将所述虚拟场景信息和所述终端设备采集的真实场景信息合成,得到目标信息,并将所述目标信息呈现在所述终端设备的所述增强现实场景中。
18.根据权利要求11至16任一所述的信息显示装置,其特征在于,所述增强现实处理单元在基于所述目标定位位置信息和目标拍摄角度信息,在所述终端设备中呈现所述增强现实场景下的目标信息时,用于:
将所述目标定位位置信息和目标拍摄角度信息发送给服务器,并接收服务器返回的在所述终端设备当前所拍摄到的真实场景中,所需要呈现的虚拟场景信息;以及,将所述服务器返回的虚拟场景信息和所述真实场景信息合成,得到所述目标信息,并将所述目标信息呈现在所述终端设备的所述增强现实场景中;或者,
将所述目标定位位置信息和目标拍摄角度信息发送给服务器,并接收所述服务器返回的将所述虚拟场景信息和所述真实场景信息合成后的所述目标信息,将所述目标信息呈现在所述终端设备的所述增强现实场景中。
19.一种电子设备,其特征在于,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如权利要求1至10任一所述信息显示方法的步骤。
20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至10任一所述信息显示方法的步骤。
CN201911379231.7A 2019-12-27 2019-12-27 信息显示方法、装置、电子设备、及计算机可读存储介质 Active CN111190485B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911379231.7A CN111190485B (zh) 2019-12-27 2019-12-27 信息显示方法、装置、电子设备、及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911379231.7A CN111190485B (zh) 2019-12-27 2019-12-27 信息显示方法、装置、电子设备、及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111190485A CN111190485A (zh) 2020-05-22
CN111190485B true CN111190485B (zh) 2023-05-09

Family

ID=70707715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911379231.7A Active CN111190485B (zh) 2019-12-27 2019-12-27 信息显示方法、装置、电子设备、及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111190485B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112068703B (zh) * 2020-09-07 2021-11-16 北京字节跳动网络技术有限公司 目标物体的控制方法、装置、电子设备及存储介质
CN115878191A (zh) * 2021-08-06 2023-03-31 华为技术有限公司 一种设备热插拔方法及终端设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108932051A (zh) * 2017-05-24 2018-12-04 腾讯科技(北京)有限公司 增强现实图像处理方法、装置及存储介质
CN109685906A (zh) * 2017-10-18 2019-04-26 深圳市掌网科技股份有限公司 基于增强现实的场景融合方法和装置
CN109782901A (zh) * 2018-12-06 2019-05-21 网易(杭州)网络有限公司 增强现实交互方法、装置、计算机设备及存储介质
CN110031880A (zh) * 2019-04-16 2019-07-19 杭州易绘科技有限公司 基于地理位置定位的高精度增强现实方法及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116451B (zh) * 2013-01-25 2018-10-26 腾讯科技(深圳)有限公司 一种智能终端的虚拟角色交互方法、装置和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108932051A (zh) * 2017-05-24 2018-12-04 腾讯科技(北京)有限公司 增强现实图像处理方法、装置及存储介质
CN109685906A (zh) * 2017-10-18 2019-04-26 深圳市掌网科技股份有限公司 基于增强现实的场景融合方法和装置
CN109782901A (zh) * 2018-12-06 2019-05-21 网易(杭州)网络有限公司 增强现实交互方法、装置、计算机设备及存储介质
CN110031880A (zh) * 2019-04-16 2019-07-19 杭州易绘科技有限公司 基于地理位置定位的高精度增强现实方法及设备

Also Published As

Publication number Publication date
CN111190485A (zh) 2020-05-22

Similar Documents

Publication Publication Date Title
US9324298B2 (en) Image processing system, image processing apparatus, storage medium having stored therein image processing program, and image processing method
US8933965B2 (en) Method for calculating light source information and generating images combining real and virtual images
US8963999B1 (en) Augmented reality with earth data
CN110716646A (zh) 一种增强现实数据呈现方法、装置、设备及存储介质
JP5740884B2 (ja) 繰り返し撮影用arナビゲーション及び差異抽出のシステム、方法及びプログラム
CN108114471B (zh) Ar业务处理方法、装置、服务器及移动终端
JP6665402B2 (ja) コンテンツ表示端末、コンテンツ提供システム、コンテンツ提供方法、および、コンテンツ表示プログラム
CN110892714A (zh) 移动机器人的控制方法、装置、设备及存储介质
US20130278636A1 (en) Object display device, object display method, and object display program
CN113412479A (zh) 混合现实显示装置和混合现实显示方法
CN111060948A (zh) 一种定位方法、装置、头盔及计算机可读存储介质
US20240087157A1 (en) Image processing method, recording medium, image processing apparatus, and image processing system
CN111190485B (zh) 信息显示方法、装置、电子设备、及计算机可读存储介质
JP2017120650A (ja) 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム
CN114895796B (zh) 一种基于全景图的空间交互方法、装置及应用
KR20160125715A (ko) 3차원 스캐너 및 스캐닝 방법
CN112950711B (zh) 一种对象的控制方法、装置、电子设备及存储介质
JP7163498B2 (ja) 表示制御装置、表示制御方法、及びプログラム
CN111569414B (zh) 虚拟飞行器的飞行展示方法、装置、电子设备及存储介质
CN115988322A (zh) 生成全景图像的方法、装置、电子设备和存储介质
CN112837421B (zh) 显示屏播放节目预览方法及装置
KR20130137076A (ko) 실시간 관심 지역을 나타내는 3차원 지도를 제공하는 장치 및 방법
CN104837066A (zh) 物品图像处理方法、装置和系统
CN111650953B (zh) 飞行器避障处理方法、装置、电子设备及存储介质
CN110073403A (zh) 输出影像生成方法、设备及无人机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant