CN112535392B - 基于光通信装置的物品陈列系统和信息提供方法、设备及介质 - Google Patents

Abstract

本发明的实施例提供了基于光通信装置的物品陈列系统和物品信息提供方法、电子设备及存储介质，包括基于设备所采集的包含与物品陈列装置关联的光通信装置的图像获取其标识信息；利用该标识信息从服务器获取与该光通信装置关联的一个或多个虚拟对象的相关信息，该虚拟对象的相关信息包括用于标识在与该虚拟对象对应的物品陈列区域中摆放的物品的信息和该虚拟对象的叠加位置信息；以及基于设备相对于光通信装置的位置信息和姿态信息以及虚拟对象的叠加位置信息，将各个虚拟对象分别叠加于在该设备的显示媒介所呈现的物品陈列装置上的各相应区域，从而能帮助用户快速地确定在物品陈列装置上摆放的物品的相关信息。

Description

基于光通信装置的物品陈列系统和信息提供方法、设备及 介质

技术领域

本发明属于增强现实或虚拟现实技术领域，尤其涉及一种基于光通信装置的物品陈列系统及物品信息提供方法、电子设备及存储介质。

背景技术

商场、超市、图书馆等在陈列物品时，通常使用货架来进行陈列。为了使得用户能够快速地找到需要的物品，通常将物品按类别陈列在不同货架上，并在货架上用物理标签标明物品类别，例如，干果、糖果、饮料等，并且在很多情况下，商场或超市等还会针对同一个货架划分出不同的区域，并在不同的区域摆放不同类别或者子类别的物品。例如，对于一个摆放饮料的货架，可以划分出不同的区域用于摆放不同类别的饮料，例如，纯净水、矿泉水、蒸馏水、苏打水、汽水、果汁、功能饮料、啤酒、果酒等。目前，用户通常是通过观察物品包装来确定在货架的不同区域处摆放的物品的类别，这是繁琐耗时的。而且，对于层出不穷的各种新物品，用户仅通过物品包装很难了解该物品的特点、用途和优势等，难以做出理性选择。特别是，如果用户不能理解物品包装上使用的文字(这在国外游客比较多的地方是普遍存在的现象)，不仅很难快速地确定所需要的物品位于货架的哪个区域，甚至都很难了解当前看到的货架上各物品的类别或用途。

发明内容

本发明的方案提供了一种基于光通信装置的物品陈列系统和物品信息提供方法、电子设备及存储介质，能帮助用户快速地确定在物品陈列装置上摆放的物品的相关信息。

上述目的是通过以下技术方案实现的：

根据本发明实施例的第一方面，提供了一种基于光通信装置的物品陈列系统，包括物品陈列装置、与该物品陈列装置关联的光通信装置以及服务器，其中服务器用于：向用于识别光通信装置的设备提供与所述光通信装置关联的一个或多个虚拟对象的相关信息；其中每个虚拟对象与所述物品陈列装置上的其中一个区域相对应，所述虚拟对象的相关信息包括用于标识在与该虚拟对象对应的物品陈列区域中摆放的物品的信息和该虚拟对象的叠加位置信息，该叠加位置信息与所述物品陈列区域的位置对应或者相关联，以及其中所述虚拟对象的相关信息能够被所述设备使用以基于其相对于光通信装置的位置信息和姿态信息将虚拟对象叠加于在所述设备的显示媒介所呈现的物品陈列装置上的相应区域。

在本发明的一些实施例中，所述虚拟对象的叠加位置信息可以是根据该虚拟对象所对应的物品陈列区域相对于所述光通信装置的位置来确定的。

在本发明的一些实施例中，所述虚拟对象的相关信息还可以包括用于标识与该虚拟对象对应的物品陈列区域的范围的信息。

在本发明的一些实施例中，用于标识所述物品的信息可以采用多种语言进行描述。

在本发明的一些实施例中，所述服务器可以从与其交互的设备获得与该设备相关的语言选项，并基于该语言选项来提供相应语言的用于标识所述物品的信息。

在本发明的一些实施例中，该物品陈列系统还可以包括用于识别光通信装置的设备，其用于通过所采集的包含所述光通信装置的图像获取该光通信装置传递的标识信息；利用所述标识信息从服务器获取与该光通信装置关联的一个或多个虚拟对象的相关信息；以及基于所述设备相对于光通信装置的位置信息和姿态信息以及所述一个或多个虚拟对象的叠加位置信息，将各个虚拟对象分别叠加于在所述设备的显示媒介所呈现的物品陈列装置上的各相应区域。

在本发明的一些实施例中，所述设备可以通过所采集的包含所述光通信装置的图像来确定所述设备相对于光通信装置的位置信息和姿态信息。

在本发明的一些实施例中，所述基于所述设备相对于光通信装置的位置信息和姿态信息以及所述一个或多个虚拟对象的叠加位置信息，将各个虚拟对象分别叠加于在所述设备的显示媒介所呈现的物品陈列装置上的各相应区域包括：基于所述设备相对于光通信装置的位置信息和姿态信息以及所述一个或多个虚拟对象的叠加位置信息，确定各个虚拟对象在所述设备的显示媒介上的成像位置和成像大小；以及基于所述成像位置和成像大小在所述设备的显示媒介上呈现各虚拟对象。

在本发明的一些实施例中，所述设备还可以用于在呈现了所述虚拟对象之后：再次确定所述设备相对于光通信装置的位置信息；再次确定所述设备的姿态信息；以及基于再次确定的所述位置信息与所述姿态信息以及所述虚拟对象的叠加位置信息，校正所述虚拟对象在所述设备的显示媒介上的呈现。

在本发明的一些实施例中，所述虚拟对象的相关信息还可以包括虚拟对象的叠加姿态信息，该叠加姿态信息是虚拟对象相对于与其关联的光通信装置的姿态信息。

在本发明的一些实施例中，所述虚拟对象的相关信息还可包括虚拟对象的叠加姿态信息，以及其中所述设备还可以用于：基于所述设备相对于光通信装置的位置信息和姿态信息以及所述一个或多个虚拟对象的叠加姿态信息，确定各个虚拟对象在所述设备的显示媒介上的成像姿态；以及基于所述成像位置、成像大小和成像姿态在所述设备的显示媒介上呈现各虚拟对象。

在本发明的一些实施例中，所述光通信装置可以安装于所述物品陈列装置上或者位于所述物品陈列装置附近的位置。

根据本发明实施例的第二方面，还提供了一种基于光通信装置的物品信息提供方法，包括：基于设备所采集的包含与物品陈列装置关联的光通信装置的图像来识别该光通信装置传递的标识信息；利用所述标识信息获取与该光通信装置关联的一个或多个虚拟对象的相关信息；其中每个虚拟对象与所述物品陈列装置上的其中一个区域相对应，所述虚拟对象的相关信息包括用于标识在与该虚拟对象对应的物品陈列区域中摆放的物品的信息和该虚拟对象的叠加位置信息，该叠加位置信息与所述物品陈列区域的位置对应或者相关联；以及基于所述设备相对于光通信装置的位置信息和姿态信息以及所述一个或多个虚拟对象的叠加位置信息，将各个虚拟对象分别叠加于在所述设备的显示媒介所呈现的物品陈列装置上的各相应区域。

在本发明的一些实施例中，所述虚拟对象的叠加位置信息可以是根据该虚拟对象所对应的物品陈列区域相对于所述光通信装置的位置来确定的。

在本发明的一些实施例中，所述基于所述设备相对于光通信装置的位置信息和姿态信息以及所述一个或多个虚拟对象的叠加位置信息，将各个虚拟对象分别叠加于在所述设备的显示媒介所呈现的物品陈列装置上的各相应区域包括：基于所述设备相对于光通信装置的位置信息和姿态信息以及所述一个或多个虚拟对象的叠加位置信息，确定各个虚拟对象在所述设备的显示媒介上的成像位置和成像大小；以及基于所述成像位置和成像大小在所述设备的显示媒介上呈现各虚拟对象。

在本发明的一些实施例中，该方法还可包括在呈现了所述虚拟对象之后：再次确定所述设备相对于光通信装置的位置信息；再次确定所述设备的姿态信息；以及基于再次确定的所述位置信息与所述姿态信息以及所述虚拟对象的叠加位置信息，校正所述虚拟对象在所述设备的显示媒介上的呈现。

根据本发明实施例的第三方面，还提供了一种存储介质，其中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现根据本发明实施例的第二方面所述的方法。

根据本发明实施例的第四方面，还提供了一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现根据本发明实施例的第二方面所述的方法。

附图说明

以下参照附图对本发明实施例作进一步说明，其中：

图1示出了一种示例性的光标签；

图2示出了一种示例性的光标签网络；

图3示出了根据本发明一个实施例的基于光标签在现实场景中叠加虚拟对象的方法的流程示意图；

图4示出了根据本发明一个实施例的基于光标签的货架系统结构示意；

图5示出了利用根据本发明一个实施例的货架系统向用户提供货架物品信息的场景示例；

图6示出了根据本发明一个实施例的基于光标签的货架物品信息提供方法的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为方便描述，首先对与本发明相关的技术进行简单说明，以帮助理解本发明的实施例，但应指出这些技术说明并不一定构成现有技术。

增强现实技术(Augmented Reality，AR)也被称为混合现实技术，其通过计算机技术将虚拟对象应用到现实场景，使得现实场景和虚拟对象实时地呈现到同一个画面或空间中，从而增强用户对现实世界的感知。在一种增强现实应用中，可以在视野中的固定位置处叠加一些数据信息，例如，飞行员在学习驾驶飞机的时候，可以通过佩戴显示头盔来查看在现实场景上叠加的飞行数据，这些数据通常都是显示在视野中的固定的位置处(例如，始终在左上角)。这种增强现实技术缺乏足够的灵活性。在另一种增强现实应用中，可以首先识别出现实场景中的真实物体，然后将虚拟对象叠加到屏幕上显示的该真实物体上或附近。但是，当前的增强现实技术难以做到在现实场景中的精确位置处叠加虚拟对象，特别是当虚拟对象的叠加位置与识别出的真实物体距离较远时。

虚拟现实技术(Virtual Reality，VR)是一种能够创建和体验虚拟世界的计算机仿真技术，它利用计算机生成一种交互式的虚拟场景，其实体行为的仿真系统能够使用户沉浸到该虚拟场景中。在该虚拟场景中，通常具有许多虚拟对象，这些虚拟对象的叠加位置或呈现位置通常会根据用户的位置或姿态的改变而改变。但是，当前的虚拟现实技术通常是基于设备内部的传感器(例如，加速度传感器、陀螺仪等)来跟踪用户的位置或姿态，这种方式存在误差，且误差会随着时间逐渐积累，导致难以根据用户的实际位置或姿态来准确地叠加虚拟对象。

光通信装置也称为光标签，这两个术语在本文中可以互换使用。光标签能够通过不同的发光方式来传递信息，其具有识别距离远、可见光条件要求宽松的优势，并且光标签所传递的信息可以随时间变化，从而可以提供大的信息容量和灵活的配置能力。

光标签中通常可以包括控制器和至少一个光源，该控制器可以通过不同的驱动模式来驱动光源，以向外传递不同的信息。图1示出了一种示例性的光标签100，其包括三个光源(分别是第一光源101、第二光源102、第三光源103)。光标签100还包括控制器(在图1中未示出)，其用于根据要传递的信息为每个光源选择相应的驱动模式。例如，在不同的驱动模式下，控制器可以使用不同的驱动信号来控制光源的发光方式，从而使得当使用具有成像功能的设备拍摄光标签100时，其中的光源的成像可以呈现出不同的外观(例如，不同的颜色、图案、亮度、等等)。通过分析光标签100中的光源的成像，可以解析出各个光源此刻的驱动模式，从而解析出光标签100此刻传递的信息。

为了基于光标签向用户提供相应的服务，每个光标签可以被分配一个标识信息(ID)，该标识信息用于由光标签的制造者、管理者或使用者等唯一地识别或标识光标签。通常，可由光标签中的控制器驱动光源以向外传递该标识信息，而用户可以使用设备对光标签进行图像采集来获得该光标签传递的标识信息，从而可以基于该标识信息来访问相应的服务，例如，访问与光标签的标识信息相关联的网页、获取与标识信息相关联的其他信息(例如，与该标识信息对应的光标签的位置信息)等等。本文提到的设备例如可以是用户携带或控制的设备(例如，带有摄像头的手机、平板电脑、智能眼镜、AR眼镜、智能头盔、智能手表等等)，也可以是能够自主移动的机器(例如，无人机、无人驾驶汽车、机器人等等)。设备可以通过其上的摄像头对光标签进行图像采集来获得包含光标签的图像，并通过内置的应用程序来分析图像中的光标签(或光标签中的各个光源)的成像以识别出光标签传递的信息。

光标签可以安装于固定或可变的位置，并可以将光标签的标识信息(ID)以及任何其他信息(例如位置信息)存储于服务器中。在现实中，可以将大量的光标签构建成一个光标签网络。图2示出了一种示例性的光标签网络，该光标签网络包括多个光标签和至少一个服务器，其中，与每个光标签相关的信息可保存在服务器上。例如，可以在服务器上保存每个光标签的标识信息(ID)或任何其他信息，例如与该光标签相关的服务信息、与该光标签相关的描述信息或属性，如光标签的位置信息、型号信息、物理尺寸信息、物理形状信息、姿态或朝向信息等。光标签也可以具有统一的或默认的物理尺寸信息和物理形状信息等。设备可以使用识别出的光标签的标识信息来从服务器查询获得与该光标签有关的其他信息。光标签的位置信息可以是指该光标签在物理世界中的实际位置，其可以通过地理坐标信息来指示。服务器可以是在计算装置上运行的软件程序、一台计算装置或者由多台计算装置构成的集群。光标签可以是离线的，也即，光标签不需要与服务器进行通信。当然，可以理解，能够与服务器进行通信的在线光标签也是可行的。

可以将光标签作为锚点，来实现虚拟对象到现实场景或虚拟场景中的叠加。虚拟对象例如可以是图标、图片、文字、表情符号、虚拟的三维物体、三维场景模型、一段动画、一段视频、一个可跳转的网页链接、等等。在下文中，以在现实场景中叠加虚拟对象为例进行了说明，但需要说明的是，这并非限制，本发明的方案同样适用于在虚拟场景中叠加虚拟对象。在一个实施例中，可以不依赖于光标签来呈现虚拟场景，并以摄像头视野中的光标签为锚点来在这个虚拟场景中叠加其他虚拟对象。在另一个实施例中，也可以以光标签为锚点来呈现虚拟场景并进一步在该虚拟场景中叠加其他虚拟对象。例如，可以基于光标签的位置和/或姿态等来确定所呈现的虚拟场景的位置和/或姿态等，虚拟场景本身可以被看作一个虚拟对象并可以以本发明的方案进行叠加或呈现。

图3示出了根据一个实施例的基于光标签在现实场景中叠加虚拟对象的方法，该方法包括如下步骤：

步骤301：设备获得光标签的标识信息。

例如，设备可以通过采集并分析光标签的图像，来识别出光标签传递的其标识信息。该标识信息可以与一个或多个虚拟对象相关联。

步骤302：设备使用光标签的标识信息进行查询，以获得待叠加的虚拟对象以及所述虚拟对象的叠加信息，该叠加信息包括叠加位置信息。

设备在识别出光标签的标识信息之后，可以使用该标识信息向服务器发出查询请求。在服务器处可以预先存储与该光标签相关的信息，其例如可以包括光标签的标识信息、与该光标签(或光标签的标识信息)相关联的一个或多个虚拟对象的描述信息、每个虚拟对象的叠加位置信息、等等。虚拟对象的描述信息是用于描述该虚拟对象的相关信息，例如可以包括虚拟对象中包含的图片、文字、图标、虚拟对象的标识信息、形状信息、颜色信息、尺寸信息、等等。基于该描述信息，设备可以呈现出相应的虚拟对象。虚拟对象的叠加位置信息可以是相对于光标签的位置信息(例如，虚拟对象的叠加位置相对于光标签的距离信息和相对于光标签的方向信息)，其用于指示虚拟对象的叠加位置。设备通过向服务器发出查询请求，可以获得要在设备当前呈现的现实场景中叠加的虚拟对象的描述信息以及该虚拟对象的叠加信息。在一个实施例中，在服务器处存储的虚拟对象描述信息可以仅仅是虚拟对象的标识信息，设备在获得该标识信息后，可以使用该标识信息在设备本地或从第三方获得用于虚拟对象的呈现的更为详细的描述信息。在一个实施例中，虚拟对象的叠加信息还可以包括虚拟对象的叠加姿态信息或叠加时间信息，该叠加姿态信息可以是虚拟对象相对于光标签的姿态信息，也可以是其在现实世界的坐标系中的姿态信息。

需要说明的是，为了确定虚拟对象的叠加姿态，并非必须使用虚拟对象的叠加姿态信息，而是也可以使用虚拟对象的叠加位置信息来确定虚拟对象的叠加姿态。例如，对于一个虚拟对象，可以确定其上的若干个点的叠加位置信息，这些不同的点的叠加位置信息能够用于确定该虚拟对象相对于光标签的姿态或者在现实世界坐标系中的姿态。

在一个实施例中，可以基于现实世界中位于光标签附近的其他物体相对于光标签的位置来确定虚拟对象的叠加位置信息，例如，可以将虚拟对象相对于光标签的位置确定为某个物体相对于光标签的位置，或者可以将虚拟对象相对于光标签的位置确定为位于某个物体相对于光标签的位置附近，如此，在叠加虚拟对象时，这些虚拟对象可以覆盖现实场景中的物体，或者可以在这些物体周围或附近呈现相关的虚拟对象，从而实现精确的增强现实效果。

步骤303：设备确定其相对于光标签的位置信息。

设备可以采用各种方式来确定其相对于光标签的位置信息，该相对位置信息可以包括设备相对于光标签的距离信息和方向信息。通常情况下，设备相对于光标签的位置信息实际上是设备的图像采集器件相对于光标签的位置信息。在一个实施例中，设备可以通过采集包括光标签的图像并分析该图像来确定其相对于光标签的位置信息。例如，设备可以通过图像中的光标签成像大小以及可选的其他信息(例如，光标签的实际物理尺寸信息、设备的摄像头的焦距)来确定光标签与识别设备的相对距离(成像越大，距离越近；成像越小，距离越远)。设备可以使用光标签的标识信息从服务器获得光标签的实际物理尺寸信息，或者光标签可以具有统一的物理尺寸并在设备上存储该物理尺寸。设备可以通过包括光标签的图像中的光标签成像的透视畸变以及可选的其他信息(例如，光标签的成像位置)，来确定设备相对于光标签的方向信息。设备可以使用光标签的标识信息从服务器获得光标签的物理形状信息，或者光标签可以具有统一的物理形状并在设备上存储该物理形状。在一个实施例中，设备也可以通过其上安装的深度摄像头或双目摄像头等来直接获得光标签与识别设备的相对距离。设备也可以采用现有的任何其他定位方法来确定其相对于光标签的位置信息。

步骤304：设备确定其姿态信息。

设备可以确定其姿态信息，该姿态信息可以用于确定设备拍摄的现实场景的范围或边界。通常情况下，设备的姿态信息实际上是设备的图像采集器件的姿态信息。在一个实施例中，设备可以确定其相对于光标签的姿态信息，例如，设备可以根据光标签的成像来确定其相对于光标签的姿态信息，当光标签的成像位置或成像区域位于设备成像视野的中心时，可以认为设备当前正对着光标签。在确定设备的姿态时可以进一步考虑光标签的成像的方向。随着设备的姿态发生改变，光标签在设备上的成像位置和/或成像方向会发生相应的改变，因此，可以根据光标签在设备上的成像来获得设备相对于光标签的姿态信息。

在一个实施例中，也可以以如下方式来确定设备相对于光标签的位置和姿态信息(可以统称为位姿信息)。具体地，可以根据光标签建立一个坐标系，该坐标系可以被称为光标签坐标系。可以将光标签上的一些点确定为在光标签坐标系中的一些空间点，并且可以根据光标签的物理尺寸信息和/或物理形状信息来确定这些空间点在光标签坐标系中的坐标。光标签上的一些点例如可以是光标签的外壳的角、光标签中的光源的端部、光标签中的一些标识点、等等。根据光标签的物体结构特征或几何结构特征，可以在设备相机拍摄的图像中找到与这些空间点分别对应的像点，并确定各个像点在图像中的位置。根据各个空间点在光标签坐标系中的坐标以及对应的各个像点在图像中的位置，结合设备相机的内参信息，可以计算得到拍摄该图像时设备相机在光标签坐标系中的位姿信息(R，t)，其中R为旋转矩阵，其可以用于表示设备相机在光标签坐标系中的姿态信息，t为位移向量，其可以用于表示设备相机在光标签坐标系中的位置信息。计算R、t的方法在现有技术中是已知的，例如，可以利用3D-2D的PnP(Perspective-n-Point)方法来计算R、t，为了不模糊本发明，在此不再详细介绍。旋转矩阵R和位移向量t实际上可以描述如何将某个点的坐标在光标签坐标系和设备相机坐标系之间转换。例如，通过旋转矩阵R和位移向量t，可以将某个点在光标签坐标系中的坐标转换为在设备相机坐标系中的坐标，并可以进一步转换为图像中的像点的位置。如此，对于具有多个特征点(虚拟对象的轮廓上的多个点)的虚拟对象，可以在该虚拟对象的叠加信息中包括该多个特征点在光标签坐标系中的坐标(也即，相对于光标签的位置信息)，基于多个特征点在光标签坐标系中的坐标，可以确定这些特征点在设备相机坐标系中的坐标，从而可以确定这些特征点在设备上的各自成像位置。虚拟对象的多个特征点的各自成像位置一旦确定，就可以相应地确定出该虚拟对象整体的成像的位置、大小、或姿态等。

步骤305：基于虚拟对象的叠加信息、设备相对于光标签的位置信息、设备的姿态信息，在设备的显示媒介上呈现所述虚拟对象，从而在现实场景中叠加所述虚拟对象。

虚拟对象的叠加位置信息体现了待叠加的虚拟对象相对于光标签的位置信息。在通过上述步骤获得了虚拟对象的叠加位置信息和设备相对于光标签的位置信息之后，实际上可以创建出以光标签为原点的三维空间坐标系，其中，设备和待叠加的虚拟对象均具有在该坐标系中的准确的空间坐标。在一个实施例中，也可以基于虚拟对象的叠加位置信息和设备相对于光标签的位置信息来确定待叠加的虚拟对象相对于设备的位置信息。在上述基础上，可以基于设备的姿态信息在现实场景中叠加该虚拟对象。例如，可以基于设备和待叠加的虚拟对象的相对距离来确定待叠加的虚拟对象的成像大小，可以基于设备和待叠加的虚拟对象的相对方向和设备的姿态信息来确定待叠加的虚拟对象在设备上的成像位置。基于该成像位置和成像大小，可以在现实场景中实现虚拟对象的准确叠加。在一个实施例中，待叠加的虚拟对象可以具有默认的成像大小，在这种情况下，可以仅确定待叠加的虚拟对象在设备上的成像位置，而不确定其成像大小。在叠加信息包括虚拟对象的叠加姿态信息的情况下，可以进一步确定所叠加的虚拟对象的姿态。在一个实施例中，可以根据上文所计算的设备(更准确地说，该设备的相机)相对于光标签的位姿信息(R，t)来确定待叠加的虚拟对象在设备上的成像的位置、大小或姿态等。在一种情况下，如果确定待叠加的虚拟对象当前不在设备的视野中(例如，虚拟对象的成像位置在显示屏幕之外)，则不显示虚拟对象。

在上述实施例中，光标签实际上被用作了锚点，基于该锚点，实现了虚拟对象在现实场景中的精确叠加。而且，即使虚拟对象的叠加位置与光标签距离较远时，也可以实现精确叠加。

本领域技术人员可以理解，设备也可以在确定了其位置信息和/或姿态信息之后，使用光标签的标识信息查询待叠加的虚拟对象。在一个实施例中，设备可以在确定了其位置信息和/或姿态信息之后，使用光标签的标识信息以及设备的位置信息和/或姿态信息进行查询，以确定待叠加的虚拟对象以及所述虚拟对象的叠加信息。如此，可以根据设备的位置和/或姿态筛选需要叠加的虚拟对象，从而减轻需要传输的网络流量。

在一个实施例中，设备可以使用各种可行的方式来呈现现实场景。例如，设备可以通过摄像头采集现实世界的信息并使用上述信息在显示屏幕上再现出现实场景，虚拟对象的图像可以被叠加在该显示屏幕上。设备(例如智能眼镜)也可以不通过显示屏幕来再现现实场景，而是可以简单地通过棱镜、透镜、反射镜、透明物体(例如玻璃)等来再现现实场景，虚拟对象的图像可以被光学地叠加到该现实场景中。上述显示屏幕、棱镜、透镜、反射镜、透明物体等可以统称为设备的显示媒介，虚拟对象可以被呈现在该显示媒介上。例如，在一种光学透视式增强现实设备中，用户通过特定的透镜观察到现实场景，同时该透镜可以将虚拟对象的成像反射到用户的眼中。在一个实施例中，设备的用户可以直接观察到现实场景或其部分，该现实场景或其部分在被用户的眼睛观察到之前不需要经过任何媒介进行再现，并且虚拟对象可以被光学地叠加到该现实场景中。因此，现实场景或其中的部分在被用户的眼睛观察到之前并不一定需要通过设备来呈现或再现。

在叠加了虚拟对象之后，设备可能会发生平移和/或旋转，在这种情况下，可以例如使用设备内置的加速度传感器、陀螺仪、摄像头等通过本领域已知的方法(例如，惯性导航、视觉里程计、SLAM、VSLAM、SFM等)来测量或跟踪其位置变化和/或姿态变化，从而对虚拟对象的显示进行调整，例如，改变其成像位置、成像大小、观察角度、虚拟对象进入设备视野、虚拟对象离开设备视野等等。这在本领域中是已知的，不再赘述。但是，由于设备内置传感器的精度问题、某些场景下纹理特征的缺失(例如：光线不好的黑夜、无纹理特征的白墙、蓝天等)、以及算法本身的问题，上述用于跟踪设备位置和/或姿态的方法易引起所叠加的虚拟对象的漂移。例如，在设备经过了一段时间的平移和/或旋转之后，当虚拟对象再次出现在视野中时，会发现其当前的叠加位置偏离了初始的叠加位置。这种偏离通常会随着时间的过去而越来越严重。

在一个实施例中，设备可以重新(例如，当光标签离开设备视野后重新进入设备视野时，或者在光标签保持在设备视野中的情况下每隔一定时间)确定其相对于光标签的位置信息以及其相对于光标签的姿态信息，并基于虚拟对象的叠加位置信息、设备相对于光标签的位置信息、设备相对于光标签的姿态信息，重新确定虚拟对象的成像位置和/或成像大小，从而校正所述虚拟对象在现实场景中的叠加。例如，如果设备当前显示的虚拟对象的成像位置或成像大小与重新确定的成像位置或成像大小存在差异或者差异超过预设阈值，设备可以根据重新确定的成像位置和成像大小来叠加虚拟对象。如此，可以避免叠加的虚拟对象的位置随着设备的转动或移动而发生漂移。

在某些情况下，可能存在与光标签关联的多个虚拟对象，并且在叠加这些虚拟对象时可能会出现重叠、遮挡等情形。在一个实施例中，当叠加多个虚拟对象时可以考虑这些虚拟对象之间的重叠、遮挡等情形，并且仅在现实场景中叠加或呈现未被遮挡的虚拟对象或者虚拟对象的未被遮挡的部分。在另一个实施例中，也可以考虑将遮挡其他虚拟对象的虚拟对象或其部分设置为半透明，并且也叠加或呈现被遮挡的虚拟对象或其部分，从而使得设备用户能够观察到所有虚拟对象。

在一个实施例中，在叠加虚拟对象时，设备可以根据需要仅叠加其当前视野范围内的一部分虚拟对象，而非视野范围内的所有虚拟对象。例如，对于一些叠加位置与设备位置非常接近的虚拟对象，如果在设备观察到的现实场景中叠加该虚拟对象，该虚拟对象可能会显示为具有非常大的尺寸(近大远小)，并会遮挡大量其他物体，从而影响设备用户的使用体验。对于一些叠加位置与设备位置相距非常远的虚拟对象，如果在设备观察到的现实场景中叠加该虚拟对象，该虚拟对象可能会显示为具有非常小的尺寸而难于观察，并不需要叠加。对于一些位于设备视野范围边缘处的虚拟对象，或者一些被实际物体或其他虚拟对象遮挡或部分遮挡的虚拟对象，也可以不进行叠加。

在一个实施例中，在叠加了虚拟对象之后，设备或其用户可以对该虚拟对象执行操作，以改变虚拟对象的属性。例如，设备或其用户可以移动虚拟对象的位置、改变虚拟对象的姿态、改变虚拟对象的大小或颜色、在虚拟对象上添加标注、等等。在一个实施例中，在设备或其用户改变了虚拟对象的属性之后，可以把虚拟对象的修改后的属性信息上传到服务器。服务器可以基于修改后的属性信息来修改其存储的虚拟对象的描述信息和叠加信息。如此，当之后其他用户使用其设备扫描光标签时，可以在现实场景中叠加修改后的虚拟对象。

在上文中，以在现实场景中叠加虚拟对象为例进行了说明，但可以理解，本发明的方案同样适用于在虚拟场景中叠加虚拟对象。在设备呈现或显示的虚拟场景中可以包括各种虚拟对象，例如虚拟的三维场景模型、虚拟物体、虚拟人物、等等。在叠加各种虚拟对象时，设备可以通过摄像头识别出光标签，并将该光标签作为锚点来叠加各种虚拟对象，通过这种方式，可以准确地跟踪用户的位置或姿态并准确地叠加各种虚拟对象。在虚拟场景中可以显示或不显示光标签或用于示出光标签的位置的图标或标识。

现参考图4，其示出了采用根据本发明上述实施例的基于光标签在现实场景或虚拟场景中叠加虚拟对象的方法来实现的基于光通信装置的货架系统的一个实施例的结构示意图。如图4所示，该货架系统包括光通信装置401(也可称为光标签401)、与该光通信装置401关联的货架402、以及服务器404。图4中还示出了能够与货架系统交互的用户设备403，用户设备403可以识别货架系统中的光标签401传递的信息，也可以通过网络与货架系统中的服务器404进行交互。在一个实施例中，用户设备403也可以作为货架系统的一部分。光标签401可以安装在货架402上，也可以安装在货架402附近的其他位置，以供用户通过其携带的设备上的图像采集器件进行扫描。货架402可以划分出多个区域，例如区域1、区域2……、区域n，不同的区域可以摆放不同的物品。当用户想要了解和获取货架402上摆放的物品的相关信息时，可以通过其携带的设备(例如用户设备403)上的图像采集器件扫描与该货架402关联的光标签401，采集到包含该光标签401的图像；接着分析所采集的包含光标签401的图像以获取该光标签401传递的标识信息；然后可以利用光标签401传递的标识信息向服务器404查询并获取与该光标签401关联的一个或多个虚拟对象的相关信息。其中每个虚拟对象可以与货架402上的其中一个区域相对应。在一些实施例中，虚拟对象的相关信息可以包括用于标识在与该虚拟对象对应的货架区域中摆放的物品的相关信息和上文所述的虚拟对象的描述信息。其中物品的相关信息例如包括对于物品名称、用途、特点、优势、使用方法、厂家及出产日期等等描述和介绍。在一个实施例中，这些相关信息可以采用多种语言进行描述，并且可以交替地使用不同语言来呈现相关信息。在一个实施例中，服务器404可以根据从用户设备403获取的用户语言选项来提供相应语言的物品描述信息。从用户设备403获取的用户语言选项例如可以来自用户的手动输入或者选择，也可以来自用户设备403的系统配置信息(例如，用户设备403的语言配置信息)。例如，如果服务器404知悉用户设备403的操作系统使用的是中文，可以向用户设备403提供包含中文的虚拟对象；如果服务器404知悉用户设备403的操作系统使用的是日文，则可以向用户设备403提供包含日文的虚拟对象。如此，可以针对不同用户，呈现其能够容易理解的虚拟对象。虚拟对象的描述信息例如上文提到的虚拟对象的形状信息、颜色信息、尺寸信息、虚拟对象中包含的图片、文字、图标等等，以便于设备呈现相应的虚拟对象。在一些实施例中，虚拟对象可采用下列形式中一个或多个的组合来展示在与该虚拟对象对应的货架区域中摆放的物品的相关信息：文字、图形、图像、动画、音频、视频、网页链接等等。例如，虚拟对象可以采用文字标签形式来标识物品的相关信息，也可以是动画的形式来标识物品的相关信息。或者也可以是上述一种或多种形式的组合，例如以几何图形中带有图标的方式，当图标被点击时播放一段音频、动画或视频。本文对于虚拟对象的而具体形式不进行限制，可以采用能够展示物品相关信息的任何形式都适用于本发明的实施例。用户设备403可以将所获取的一个或多个虚拟对象的相关信息按照货架402上各区域的排列次序展现在用户携带的设备的显示媒介上，以方便用户获取货架402上各区域中相应物品的信息。

在一些优选的实施例中，虚拟对象的相关信息至少包括用于标识在与该虚拟对象对应的货架区域中摆放的物品的信息和该虚拟对象的叠加位置信息。虚拟对象的叠加位置信息可以是根据该虚拟对象所对应的货架区域相对于光标签401的位置来确定的。例如，可以将虚拟对象的叠加位置信息设置为该虚拟对象所对应的货架区域中某个位置点(例如，中心点)相对于光标签401的位置信息(包括相对于光标签401的距离信息和方向信息)。在一些实施例中，虚拟对象的相关信息还可包括虚拟对象的叠加姿态信息，该叠加姿态信息可以是虚拟对象相对于与其关联的光标签401的姿态信息。在本发明的一些实施例中，所述虚拟对象的相关信息还可包括用于标识与该虚拟对象对应的货架区域的范围的信息，例如覆盖各区域的几何形状或色块等，以便于在所呈现的场景画面中更好地区分货架402上的各个区域。上述与光标签401相关的信息以及与该光标签401所关联的一个或多个虚拟对象相关的所有信息可以是预先设置在服务器404上，或者预先设定并存储在第三方，可由服务器404基于光标签401的标识信息来获取。

如上文结合图3所介绍的，利用虚拟对象的叠加位置信息、叠加姿态信息等，可以在经由用户携带的设备的显示媒介呈现的包含货架402的现实场景画面中，将该虚拟对象叠加于货架上402的相应区域中。更具体地，用户设备403可以通过所采集的包括光标签401的图像来确定其相对于光标签401的位置信息和姿态信息；接着基于该位置信息和姿态信息以及从服务器404所获取的一个或多个虚拟对象的叠加位置信息，确定各个虚拟对象在该设备的显示媒介上的成像位置和成像大小；从而基于所确定的成像位置和成像大小在该设备的显示媒介上呈现各虚拟对象。在虚拟对象的相关信息还包括虚拟对象的叠加姿态信息的一些实施例中，用户设备403还可以基于其相对于光标签401的位置信息和姿态信息以及一个或多个虚拟对象的叠加姿态信息，确定各个虚拟对象在设备的显示媒介上的成像姿态；并基于所确定的各虚拟对象的成像位置、成像大小和成像姿态在用户设备的显示媒介上呈现各虚拟对象。

在上述的实施例中，虚拟对象的叠加位置信息是根据该虚拟对象所对应的货架区域相对于光标签401的位置来确定的。如图5所示，对于用户而言，在经由其携带的设备的显示媒介看到的现实场景画面上，在货架402的各个区域分别叠加了相应的虚拟对象来描述或者展示各区域摆放的物品的相关信息。用户通过这些叠加在货架402上虚拟对象，不仅可以快速地确定所需要的物品位于货架的哪个区域，而且还可以了解货架上各物品的用途、使用方法、特点、优势等等，从而更有利于用户快速做出合理的选择。这对于在国外或陌生环境中的用户尤其便利。

在对于货架402各个区域叠加了相应虚拟对象之后，随着用户移动，用户设备相对于光标签401的位置和/或姿态可能发生改变，在这种情况下，呈现在该设备上的现实场景画面会随之变化，同时，所呈现的虚拟对象也会发生相应的变化。在又一些实施例中，响应于这些变化，用户设备403还可以再次确定用户携带的设备相对于光通信装置的位置信息和姿态信息，并基于再次确定的设备的位置信息与姿态信息以及虚拟对象的叠加位置信息，校正各个虚拟对象在该设备的显示媒介上的呈现，从而给用户带来更好的视觉体验。

现参考图6，其示出了根据本发明一个实施例的基于光通信装置的货架物品信息提供方法的流程示意图。如图6所示，在步骤S501，基于设备所采集的包含与货架关联的光通信装置的图像来识别该光通信装置传递的标识信息。在步骤S502，利用所识别的标识信息获取与该光通信装置关联的一个或多个虚拟对象的相关信息；其中每个虚拟对象与所述货架上的其中一个区域相对应。虚拟对象的相关信息包括用于标识在与该虚拟对象对应的货架区域中摆放的物品的信息和该虚拟对象的叠加位置信息。其中虚拟对象的叠加位置信息可以是根据该虚拟对象所对应的货架区域相对于所述光通信装置的位置来确定的。关于上述各种信息的说明可参考上文结合图4的具体介绍，在此不再赘述。在步骤S503，基于所述设备相对于光通信装置的位置信息和姿态信息以及所述一个或多个虚拟对象的叠加位置信息，将各个虚拟对象分别叠加于在所述设备的显示媒介所呈现的货架上的各相应区域。该步骤的具体实现可参考上文结合图3介绍的基于光标签在现实场景或虚拟场景中叠加虚拟对象的方法，在此不再赘述。在又一些实施例中，该方法还可包括在呈现了各个虚拟对象之后：再次确定用户携带的设备相对于光通信装置的位置信息和姿态信息；以及基于再次确定的位置信息与姿态信息以及各个虚拟对象的叠加位置信息，校正各个虚拟对象在设备的显示媒介上的呈现。

上文以货架系统为例进行了说明，但可以理解，本发明可以适用于任何能够在不同区域陈列不同物品的物品陈列系统，而不限于货架系统。物品陈列系统中可以具有物品陈列装置，该物品陈列装置例如可以是一个或多个货架、储物架、货柜、储物柜、衣柜、文件柜、橱柜、抽屉等，甚至用于陈列物品的墙面或者地面也可以被认为是物品陈列装置。

本文中提到的设备可以是用户携带或控制的设备(例如，手机、平板电脑、智能眼镜、AR眼镜、智能头盔、智能手表、等等)，但是可以理解，该设备也可以是能够自主移动的机器，例如，无人机、无人驾驶汽车、机器人等。设备上可以安装有图像采集器件(例如摄像头)和显示媒介(例如显示屏)。

在本发明的一个实施例中，可以以计算机程序的形式来实现本发明。计算机程序可以存储于各种存储介质(例如，硬盘、光盘、闪存等)中，当该计算机程序被处理器执行时，能够用于实现本发明的方法。

在本发明的另一个实施例中，可以以电子设备的形式来实现本发明。该电子设备包括处理器和存储器，在存储器中存储有计算机程序，当该计算机程序被处理器执行时，能够用于实现本发明的方法。

本文中针对“各个实施例”、“一些实施例”、“一个实施例”、或“实施例”等的参考指代的是结合所述实施例所描述的特定特征、结构、或性质包括在至少一个实施例中。因此，短语“在各个实施例中”、“在一些实施例中”、“在一个实施例中”、或“在实施例中”等在整个本文中各处的出现并非必须指代相同的实施例。此外，特定特征、结构、或性质可以在一个或多个实施例中以任何合适方式组合。因此，结合一个实施例中所示出或描述的特定特征、结构或性质可以整体地或部分地与一个或多个其他实施例的特征、结构、或性质无限制地组合，只要该组合不是非逻辑性的或不能工作。本文中出现的类似于“根据A”、“基于A”、“通过A”或“使用A”的表述意指非排他性的，也即，“根据A”可以涵盖“仅仅根据A”，也可以涵盖“根据A和B”，除非特别声明或者根据上下文明确可知其含义为“仅仅根据A”。在本申请中为了清楚说明，以一定的顺序描述了一些示意性的操作步骤，但本领域技术人员可以理解，这些操作步骤中的每一个并非是必不可少的，其中的一些步骤可以被省略或者被其他步骤替代。这些操作步骤也并非必须以所示的方式依次执行，相反，这些操作步骤中的一些可以根据实际需要以不同的顺序执行，或者并行执行，只要新的执行方式不是不符合逻辑的或不能工作。

由此描述了本发明的至少一个实施例的几个方面，可以理解，对本领域技术人员来说容易地进行各种改变、修改和改进。这种改变、修改和改进意于在本发明的精神和范围内。虽然本发明已经通过优选实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所作出的各种改变以及变化。

Claims (14)

1.一种基于光通信装置的物品陈列系统，包括物品陈列装置、与该物品陈列装置关联的唯一一个光通信装置以及服务器，其中：

服务器用于向用于识别与物品陈列装置关联的所述光通信装置的设备提供与所述光通信装置关联的一个或多个虚拟对象的相关信息；其中每个虚拟对象与所述物品陈列装置上的其中一个区域相对应，所述虚拟对象的相关信息包括用于标识在与该虚拟对象对应的物品陈列区域中摆放的物品的信息、该虚拟对象的叠加位置信息和叠加姿态信息，所述虚拟对象的叠加位置信息是根据该虚拟对象所对应的物品陈列区域相对于所述光通信装置的位置来确定的，以及

其中所述虚拟对象的相关信息能够被所述设备使用以基于所述设备相对于与物品陈列装置关联的所述光通信装置的位置信息和姿态信息以及所述虚拟对象的叠加位置信息和叠加姿态信息，确定所述虚拟对象在所述设备的显示媒介上的成像位置、成像大小和成像姿态，以及基于所确定的成像位置、成像大小和成像姿态，将虚拟对象叠加于在所述设备的显示媒介所呈现的物品陈列装置上的相应区域。

2.根据权利要求1所述的物品陈列系统，其中所述虚拟对象的相关信息还包括用于标识与该虚拟对象对应的物品陈列区域的范围的信息。

3.根据权利要求1所述的物品陈列系统，其中，用于标识所述物品的信息采用多种语言进行描述。

4.根据权利要求3所述的物品陈列系统，其中，所述服务器从与其交互的设备获得与该设备相关的语言选项，并基于该语言选项来提供相应语言的用于标识所述物品的信息。

5.根据权利要求1所述的物品陈列系统，还包括：

用于识别光通信装置的设备，其用于：

通过所采集的包含所述光通信装置的图像获取该光通信装置传递的标识信息；

利用所述标识信息从服务器获取与该光通信装置关联的一个或多个虚拟对象的相关信息；

基于所述设备相对于光通信装置的位置信息和姿态信息以及所述一个或多个虚拟对象的叠加位置信息，将各个虚拟对象分别叠加于在所述设备的显示媒介所呈现的物品陈列装置上的各相应区域。

6.根据权利要求5所述的物品陈列系统，其中所述设备通过所采集的包含所述光通信装置的图像来确定所述设备相对于光通信装置的位置信息和姿态信息。

7.根据权利要求5所述的物品陈列系统，其中，所述基于所述设备相对于光通信装置的位置信息和姿态信息以及所述一个或多个虚拟对象的叠加位置信息，将各个虚拟对象分别叠加于在所述设备的显示媒介所呈现的物品陈列装置上的各相应区域包括：

基于所述设备相对于光通信装置的位置信息和姿态信息以及所述一个或多个虚拟对象的叠加位置信息，确定各个虚拟对象在所述设备的显示媒介上的成像位置和成像大小；以及

基于所述成像位置和成像大小在所述设备的显示媒介上呈现各虚拟对象。

8.根据权利要求5所述的物品陈列系统，其中所述设备还用于在呈现了所述虚拟对象之后：

再次确定所述设备相对于光通信装置的位置信息；

再次确定所述设备的姿态信息；以及

基于再次确定的所述位置信息与所述姿态信息以及所述虚拟对象的叠加位置信息，校正所述虚拟对象在所述设备的显示媒介上的呈现。

9.根据权利要求1所述的物品陈列系统，其中所述虚拟对象的相关信息还包括虚拟对象的叠加姿态信息，该叠加姿态信息是虚拟对象相对于与其关联的光通信装置的姿态信息。

10.根据权利要求1所述的物品陈列系统，其中，所述光通信装置安装于所述物品陈列装置上或者位于所述物品陈列装置附近的位置。

11.一种基于光通信装置的物品信息提供方法，包括

基于设备所采集的包含与物品陈列装置关联的唯一一个光通信装置的图像来识别该光通信装置传递的标识信息；

利用所述标识信息获取与该光通信装置关联的一个或多个虚拟对象的相关信息；其中每个虚拟对象与所述物品陈列装置上的其中一个区域相对应，所述虚拟对象的相关信息包括用于标识在与该虚拟对象对应的物品陈列区域中摆放的物品的信息、该虚拟对象的叠加位置信息和叠加姿态信息，所述虚拟对象的叠加位置信息是根据该虚拟对象所对应的物品陈列区域相对于所述光通信装置的位置来确定的；以及

基于所述设备相对于光通信装置的位置信息和姿态信息以及所述一个或多个虚拟对象的叠加姿态信息，确定各个虚拟对象在所述设备的显示媒介上的成像姿态；

基于所述设备相对于与物品陈列装置关联的所述光通信装置的位置信息和姿态信息以及所述一个或多个虚拟对象的叠加位置信息，确定各个虚拟对象在所述设备的显示媒介上的成像位置和成像大小，以及

基于所确定的成像位置、成像大小和成像姿态，将各个虚拟对象分别叠加于在所述设备的显示媒介所呈现的物品陈列装置上的各相应区域。

12.根据权利要求11所述的方法，还包括在呈现了所述虚拟对象之后：

再次确定所述设备相对于光通信装置的位置信息；

再次确定所述设备的姿态信息；以及

基于再次确定的所述位置信息与所述姿态信息以及所述虚拟对象的叠加位置信息，校正所述虚拟对象在所述设备的显示媒介上的呈现。

13.一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现权利要求11-12中任一项所述的方法。

14.一种存储介质，其中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现权利要求11-12中任一项所述的方法。

Images