CN110286906B - 用户界面显示方法、装置、存储介质与移动终端 - Google Patents

Abstract

本公开提供了一种用户界面显示方法、用户界面显示装置、计算机可读存储介质与增强现实设备，属于人机交互技术领域。所述方法应用于增强现实设备，所述方法包括：识别真实场景中的真实物体平面，根据所述真实物体平面生成参考平面；将满足预设条件的所述参考平面确定为目标平面；获取待显示的用户界面；在所述目标平面中显示所述用户界面。本公开可以使增强现实应用中的用户界面融入真实场景，提高用户界面显示的真实感，增加用户的沉浸感，改善用户体验。

Description

用户界面显示方法、装置、存储介质与移动终端

技术领域

本公开涉及人机交互技术领域，尤其涉及一种用户界面显示方法、用户界面显示装置、计算机可读存储介质与电子设备。

背景技术

增强现实技术(Augmented Reality，简称AR)是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术能够把虚拟世界与现实世界进行结合呈现给用户，带给用户更加丰富的交互感受。

目前，在增强现实应用中，可以将三维虚拟模型与现实场景相结合形成增强现实场景，并显示在屏幕中，用户界面(User Interface，简称UI)则显示在屏幕最上层，以便于用户进行交互操作，用户在UI输入信息或者读取信息后，UI会消失，从而再次显示完整的增强现实场景。然而，显示出的用户界面会遮挡增强现实场景，破坏用户的沉浸感。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明人发现，在相关技术中，为了方便与用户进行交互，用户界面通常会显示在增强现实场景之上，对增强现实场景造成遮挡，导致缺乏沉浸感。以手机上的AR应用为例，通过手机相机获取真实场景，然后将虚拟三维场景与真实场景相结合显示在手机屏幕上，此时AR应用的用户界面会显示在最上层。如图1中所示，在显示出的画面中，对话框100将虚拟场景遮住，或者被虚拟场景遮住。

鉴于此，本公开提供了一种用户界面显示方法、用户界面显示装置、计算机可读存储介质与移动终端，进而至少在一定程度上克服相关技术中的上述问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种用户界面显示方法，应用于增强现实设备中，所述方法包括：识别真实场景中的真实物体平面，根据所述真实物体平面生成参考平面；将满足预设条件的所述参考平面确定为目标平面；获取待显示的用户界面；在所述目标平面中显示所述用户界面。

在本公开的一种示例性实施例中，所述方法还包括：检测所述增强现实设备的移动；当所述增强现实设备的移动距离大于预设距离时，重新确定所述目标平面。

在本公开的一种示例性实施例中，所述方法还包括：检测所述增强现实设备的转动；当所述增强现实设备的转动角度大于预设角度时，重新确定所述目标平面。

在本公开的一种示例性实施例中，所述在所述目标平面中显示所述用户界面，包括：根据所述目标平面的宽度或者高度调整所述用户界面的展示尺寸，以将所述用户界面显示于所述目标平面。

在本公开的一种示例性实施例中，所述根据所述目标平面的宽度或者高度调整所述用户界面的显示尺寸，包括：获取所述用户界面的预设宽度以及预设高度；通过所述预设宽度及所述目标平面的宽度确定所述用户界面的缩放比例，或者通过所述预设高度及所述目标平面的高度确定所述用户界面的缩放比例；根据所述缩放比例确定所述用户界面的显示尺寸。

在本公开的一种示例性实施例中，将满足预设条件的真实物体平面确定为目标平面，包括在所述参考平面中确定一基准平面；根据所述基准平面显示一虚拟场景，将与所述虚拟场景满足预设位置关系的参考平面确定为目标平面。

在本公开的一种示例性实施例中，与所述虚拟场景满足预设位置关系的参考平面，包括：与所述虚拟场景的水平面垂直的所述参考平面。

在本公开的一种示例性实施例中，所述将满足预设条件的所述参考平面确定为目标平面，包括：计算多个与所述虚拟场景满足预设位置关系的参考平面的包围盒，确定包围盒最大的参考平面为目标平面。

在本公开的一种示例性实施例中，所述与所述虚拟场景满足预设位置关系的参考平面，包括：在所述虚拟场景的正方向的参考平面。

在本公开的一种示例性实施例中，所述方法还包括：如果确定不存在满足预设条件的参考平面，则将所述用户界面以预设方式显示。

根据本公开的一个方面，提供一种用户界面显示方法，包括：识别真实场景中的真实物体平面，从所述真实物体平面中确定目标平面；获取待显示的用户界面；将所述用户界面投影在所述目标平面上。

根据本公开的一个方面，提供一种用户界面显示装置，应用于增强现实设备，所述装置包括：平面识别单元，用于识别真实场景中的真实物体平面，根据所述真实物体平面生成参考平面；平面筛选单元，用于将满足预设条件的所述参考平面确定为目标平面；界面获取单元，用于获取待显示的用户界面；界面显示单元，用于在所述目标平面中显示用户界面。

在本公开的一种示例性实施例中，所述装置还包括：第一移动检测单元，用于检测所述增强现实设备的移动；第一平面确定单元，用于当所述增强现实设备的移动距离大于预设距离时，重新确定所述目标平面。

在本公开的一种示例性实施例中，第二移动检测单元，用于检测所述增强现实设备的转动；第二平面确定单元，用于当所述增强现实设备的转动角度大于预设角度时，重新确定所述目标平面。

在本公开的一种示例性实施例中，界面显示单元可以包括：第一显示单元，用于根据所述目标平面的宽度或者高度调整所述用户界面的展示尺寸，以将所述用户界面显示于所述目标平面。

在本公开的一种示例性实施例中，第一显示单元可以用于：获取所述用户界面的预设宽度以及预设高度；通过所述预设宽度及所述目标平面的宽度确定所述用户界面的缩放比例，或者通过所述预设高度及所述目标平面的高度确定所述用户界面的缩放比例；根据所述缩放比例确定所述用户界面的显示尺寸。

在本公开的一种示例性实施例中，所述平面筛选单元还可以包括：第三平面确定单元，用于在所述参考平面中确定一基准平面；场景显示单元，用于在所述基准平面显示一虚拟场景，将与所述虚拟场景满足预设位置关系的参考平面确定为目标平面。

在本公开的一种示例性实施例中，所述与所述虚拟场景满足预设位置关系的参考平面包括与所述虚拟场景的水平面垂直的所述参考平面。在本公开的一种示例性实施例中，所述平面筛选单元，还可以用于计算多个与所述虚拟场景满足预设位置关系的参考平面的包围盒，确定包围盒最大的参考平面为目标平面。

在本公开的一种示例性实施例中，所述与所述虚拟场景满足预设位置关系的参考平面包括在所述虚拟场景的正方向的参考平面。在本公开的一种示例性实施例中，该用户界面显示装置还可以包括：默认显示单元，用于如果确定不存在满足预设条件的参考平面，则将所述用户界面以预设方式显示。

根据本公开的一个方面，还提供一种用户界面显示装置，包括：平面获取单元，用于识别真实场景中的真实物体平面，从所述真实物体平面中确定目标平面；界面获取单元，用于获取待显示的用户界面；界面投影单元，用于将所述用户界面投影在所述目标平面上。

根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的用户界面显示方法。

根据本公开的一个方面，提供一种电子设备，包括：处理器；存储器，用于存储所述处理器的可执行指令；以及摄像装置；其中，所述处理器配置为经由执行所述可执行指令来执行上述的用户界面显示方法。

本公开的示例性实施例具有以下有益效果：

通过从真实场景中的真实物体平面生成参考平面，从参考平面中确定目标平面，基于该目标平面显示用户界面。一方面，基于目标平面显示用户界面可以使用户界面融入真实场景，从而与增强现实场景互相独立，避免用户界面对增强现实场景造成遮蔽或割裂，从而提高用户的沉浸感，改善用户体验。另一方面，在显示用户界面时无需考虑与增强现实场景的叠加显示效果，提高了灵活性。再一方面，将用户界面融入真实场景中可以避免用户界面对虚拟场景造成割裂，增加用户的真实感。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出一种现有技术中的用户界面显示效果；

图2示出本示例性实施例中一种用户界面显示方法的流程图；

图3示出本示例性实施例中另一种用户界面显示方法的流程图；

图4示出本示例性实施例中另一种用户界面显示方法的流程图；

图5示出本示例性实施例中又一种用户界面显示方法的流程图；

图6示出本示例性实施例中一种虚拟场景的坐标系示意图；

图7示出本示例性实施例中一种用户界面显示装置的框图；

图8示出本示例性实施例中另一种用户界面显示装置的框图；

图9示出本示例性实施例中一种用于实现上述方法的计算机可读存储介质；

图10示出本示例性实施例中一种用于实现上述方法的电子设备。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

在本上下文中，“第一”、“第二”、“第三”等仅作为相应对象的标记使用，并不对数量或顺序造成限定。

本公开的示例性实施例首先提供了一种用户界面显示方法，该方法的执行主体可以是增强现实设备。其中，增强现实设备是能够实现增强现实技术的终端设备，例如可穿戴设备、手机、电脑、平板电脑等。在终端设备中部署增强现实应用能够使得设备实现相应的增强现实功能。目前，很多终端设备都支持增强现实类应用，例如手机AR地图导航、手机AR游戏等，也有很多AR的专用设备，例如AR眼镜、AR头戴设备等，本公开对此不做限定。

图2示出了本示例性实施例的一种流程，可以包括以下步骤：

步骤S210，识别真实场景中的真实物体平面，根据所述真实物体平面生成参考平面；

步骤S220，将满足预设条件的所述参考平面确定为目标平面；

步骤S230，获取待显示的用户界面；

步骤S240，在所述目标平面中显示所述用户界面。

其中，真实场景是使用增强现实设备的用户所处的实际环境，真实场景中可以包括多个真实物体，例如桌椅、墙体、地面等。真实物体平面可以指真实物体的表面，例如墙面、桌面、地面等。增强现实设备可以实现通过摄像头识别真实场景中的真实物体，从而将虚拟场景投影在真实场景中；或者根据摄像头采集的真实场景中的真实物体，在屏幕上将虚拟三维模型与真实物体的模型进行结合显示。

在本公开中，通过获取摄像头可以得到真实场景的图像数据或者视频数据，从而根据真实场景中的图像、视频数据对真实场景中的各个真实物体进行识别，获取真实场景中的真实物体平面。真实场景中可以包括多个真实物体，从而可以获取到多个真实物体平面，例如平行于水平面的平面(如地面、桌面等)、垂直于水平面的平面(如墙面、窗面、镜面等)，或者其他平面，例如倾斜的平面等，本实施例对此不做限定。参考平面可以指平行于真实平面的虚拟平面，根据真实场景中的真实物体平面可以生成虚拟的参考平面，以便于显示用户界面。通过投影可以在真实物体平面上或者平行于真实物体平面的位置处生成参考平面。或者，通过在虚拟场景中建立模型生成参考平面。

目标平面可以包括参考平面中角度符合要求的平面，具体的，根据真实场景可以建立一虚拟场景以及虚拟三维坐标系，从而使得参考平面对应到该三维坐标系中，利用该三维坐标系可以确定出目标平面。假如以地面为x-y平面建立坐标系，目标平面可以包括垂直于x-y的平面。换句话说，预设条件可以包括参考平面中位置关系满足要求的平面为目标平面。并且，预设条件还可以包括参考平面中形状满足要求的平面，例如矩形、三角形、圆形等形状规则的平面，或者不规则的平面。

进而，基于目标平面能够将用户界面显示在目标平面。用户界面可以投影在目标平面上，或者嵌入到虚拟场景中的目标平面上。其中，用户界面可以包括增强现实应用在实现功能时展示的界面。用户界面是增强现实应用中实现与用户交互的界面，例如获取用户输入的信息，或者将信息展示给用户。

在本公开的示例实施例中，一方面，根据真实场景中的真实平面生成的参考平面，从参考平面中确定出目标平面，基于目标平面显示用户界面可以使用户界面与增强现实场景互相独立，避免用户界面对增强现实场景造成遮蔽或割裂，从而提高用户的沉浸感，改善用户体验。另一方面，在显示用户界面时无需考虑与增强现实场景的叠加显示效果，提高了灵活性。再一方面，将用户界面显示在真实场景中可以避免用户界面对增强现实场景造成割裂，从而增加用户的真实感。

本实施例还包括一虚拟场景，该虚拟场景可以是增强现实应用呈现给用户的场景，例如游戏场景，试验场景、医学场景等，也可以是美术设计类场景，例如室内、景观、园林等场景等，或者其他场景，该虚拟场景可以被投影到真实场景中，使得用户拥有身临其境的体验。因此本示例性实施例的增强现实设备可以实现学习、娱乐、医学、美术或其他场景的应用。因此，在本实施例中，步骤S220可以具体包括以下步骤：

步骤S301，在所述参考平面中确定一基准平面；

步骤S302，根据所述基准平面显示一虚拟场景，将与所述虚拟场景满足预设位置关系的参考平面确定为所述目标平面；

在参考平面中选择一基准平面，依托于该基准平面显示虚拟场景，虚拟场景可以投影在基准平面上。将虚拟场景投影在基准平面上后，可以将与虚拟场景满足预设位置关系的参考平面确定为目标平面，例如与虚拟场景中坐标为(x，0，z)的面平行或者垂直的参考平面为目标平面。在示例性实施例中，与虚拟场景满足预设位置关系的参考平面可以包括与虚拟场景的水平面垂直的参考平面。虚拟场景的水平面可以包括虚拟场景中的虚拟地面，虚拟桌面等，也可以包括真实场景中水平的面，例如地面等，本实施例对此不做特殊限定。与虚拟场景的水平面垂直的参考平面可以确定为目标平面，例如墙面、柜面、窗面、镜面对应的参考平面等。

与虚拟场景满足预设位置关系的参考平面还可以包括在虚拟场景的正方向的参考平面。根据虚拟场景的虚拟坐标系可以确定虚拟场景的三个维度上的正方向，则在该三个维度上的正方向的参考平面可以确定为目标平面。如图6所示，将虚拟场景投影到真实场景中时，虚拟场景以第一人称视角朝向用户，则朝向用户的方向可以为虚拟坐标系正方向。例如，若用户平视时，平行于用户视线的平面为x-z平面，则z>0或者x>0的点即为虚拟坐标系正方向上的点。虚拟场景中z>0的点可以视为在虚拟场景的正面，而z<0的点可以视为在虚拟场景的背面，那么将z>0的方向上的参考平面，或者在x>0方向上的参考平面作为目标平面更加符合用户的视角。

满足预设条件的参考平面可以包括多个，通过计算各参考平面的面积可以确定参考平面中的目标平面，例如将参考平面中面积最大的作为目标平面。并且，通过其他方式也可以从参考平面中选出目标平面，例如将参考平面中长度最大的作为目标平面等，或者从参考平面中随机选择一平面作为目标平面等。

在一示例性实施例中，利用各个参考平面的包围盒可以确定出目标平面。具体的，计算各个参考平面的包围盒，确定包围盒最大的参考平面为目标平面。包围盒可以指AABB包围盒、OBB包围盒，或者包围球等，本示例实施例对此不做特殊限定。

通过计算各个参考平面的包围盒可以确定出包围盒的宽最大的平面，以及包围盒高最大的平面。从而可以根据将用户界面进行缩放后用户界面的展示效果来确定出目标平面。具体地，可以以包围盒宽最大的平面作为第一平面计算用户界面的第一缩放系数，再以包围盒高最大的平面作为第二平面计算第二缩放系数，然后对用户界面以第一缩放系数进行缩放后若用户界面不能全部显示在第一平面上，再以第二缩放系数对用户界面进行缩放若用户界面可以完全显示在第二平面上，则将第二平面作为最终的目标平面。若分别以第一缩放系数、第二缩放系数对用户界面进行缩放后，用户界面均超出第一平面与第二平面，则将显示的用户界面面积最大的平面作为目标平面。此外，还可以通过其他方式从多个参考面中确定出目标平面，例如默认将包围盒宽最大的平面作为目标平面等。

得到目标平面后，可以将用户界面显示在目标平面上。用户界面可以包括多个预先设置的显示参数，例如用户界面的颜色、尺寸等，或者用户界面在虚拟坐标系中的坐标。根据目标平面的大小尺寸计算用户界面投影到目标平面中的坐标，以及用户界面中各个组件的坐标，进而将用户界面投影在目标平面中。并且，为了使用户界面与真实场景更加贴合，增加用户的沉浸感，还可以将用户界面进行缩放，使得用户界面能够更好的适配目标平面的大小。也就是说，根据目标平面的宽度或者高度可以调整用户界面的显示尺寸。例如调整用户界面的显示尺寸使得用户界面的显示宽度与目标平面的宽度在一定的误差范围内相等。

在示例性实施例中，调整用户界面的显示尺寸可以具体包括以下步骤：

步骤S401，获取所述用户界面的预设宽度以及预设高度；

步骤S402，通过所述预设宽度及所述目标平面的宽度确定所述用户界面的缩放比例，或者通过所述预设高度及所述目标平面的高度确定所述用户界面的缩放比例；

步骤S403，根据所述缩放比例确定所述用户界面的显示尺寸。

用户界面的预设宽度以及预设高度通常是在增强现实应用的开发过程中设置的，由开发人员设置用户界面的各个参数，即，用户界面的宽度和高度以及用户界面的颜色、布局，或者在用户界面中添加各种组件。例如，可以设置width为500px，height为300px等。目标平面的高度或者宽度可以通过摄像头获取，摄像头扫描真实场景后，可以确定目标平面的几何数据。该几何数据可以指目标平面的实际数据，例如目标平面宽1m，高0.5m等，也可以指通过目标平面的实际数据转化为虚拟单位之后的数据，不同的增强现实应用使用的引擎可以不同，而不同的引擎对实际数据转化后的数据可能是不同的。并且，若目标平面为不规则的几何面时，目标平面的宽度和高度可以是计算包围盒时得到的包围盒的宽和高。

举例而言，假如用户界面的预设宽度为actual_w，目标平面的宽度为virtual_w，则可以根据virtual_w*ToEngineScale()/actual_w得到用户界面的缩放比例，其中ToEngineScale()表示把虚拟单位转换到相应引擎单位的函数。同理的，根据目标平面的高度virtual_h计算用户界面的缩放比例可以通过virtual_h*ToEngineScale()/actual_h。计算得到的结果即为用户界面的缩放比例。

根据缩放比例可以将用户界面进行缩放，从而显示在目标平面上。用户界面与真实场景中的虚拟场景相互独立，避免了用户界面对虚拟场景造成遮挡的问题，使得用户的体验更加流畅。同时，用户界面的显示不受虚拟场景的限制，方便用户在用户界面上进行各种交互操作，能够提高交互的灵活性。

在示例性实施例中，随着增强现实设备摄像头的移动，识别到的真实场景可以发生变化，响应于真实场景发生变化，根据变化后的真实场景重新确定目标平面。当识别到的真实场景发生变化时，根据真实场景中的真实物体平面生成的参考平面也将发送变化，根据变化后的参考平面重新确定目标平面，进而将用户界面显示在重新确定出的目标平面上。

具体地，可以检测增强现实设备的移动；当增强现实设备的移动距离大于预设距离时，可以重新确定目标平面。其中，预设距离可以包括0.5米、1米等，也可以包括其他距离，例如0.8米、2米等，本实施例不做限定。增强现实设备的移动可以通过距离传感器来检测，例如红外传感器等，每隔一定时间段，可以获取距离传感器检测到的距离，然后计算相邻时间点获取到的距离的差值，如果该差值大于预设距离时，则可以重新确定目标平面。

或者，可以检测增强现实设备的转动；当增强现实设备的转动角度大于预设角度时，重新确定目标平面。其中，预设角度可以包括15度、30度等，也可以包括其他角度值，例如10度、20度等，本实施不做限定。通过方向传感器可以检测增强现实设备的转动角度，如果检测增强现实设备的朝向角度发生变化，则计算变化的幅度，即转动角度，如果转动角度大于预设角度，则重新确定目标平面。

在示例性实施例中，如果真实场景中没有满足预设条件的真实物体平面，即不存在目标平面，则将用户界面以预设方式显示。预设方式可以包括将用户界面显示在虚拟场景的n单位处，例如，设基于一基准平面生成一虚拟场景，该基准平面与虚拟场景的x-z平面重合，则可以将用户界面显示在距虚拟场景的最大x坐标的n单位处。或者，将用户界面随机显示在距离虚拟场景的n单位处。

图5示意性示出了本示例实施例的另一流程。如图5所示，本示例实施例可以包括步骤S501至步骤S507。对于步骤S501，用户使用具备增强现实应用的终端设备时，增强现实应用需要获取摄像头的使用权限，在成功获取到摄像头的使用权限后，可以启动摄像头扫描真实场景，通过相应引擎将扫描的真实物体平面转化为虚拟的参考平面。对于步骤S502，判断是否存在满足预设条件的参考平面。具体的，可以将真实场景中地面或者其他平行于地面的平面作为基准平面，将虚拟场景显示在基准平面，若存在参考平面与基准平面垂直，则确定存在满足预设条件的参考平面，执行步骤S503；若不存在与基准平面垂直的参考平面时，执行步骤S507。

对于步骤S503，通过满足预设条件的参考平面的几何数据计算AABB包围盒，从而得出各个参考平面的最大宽高。在步骤S504中，得到各个参考平面的最大宽、高后，在这些数据中再选取最大宽，通过最大宽计算用户界面的缩放比例，或者通过最大高计算用户界面的缩放比例。通过用户界面的缩放比例确定最大高或者最大宽的参考平面为目标平面。在确定用户界面的缩放比例后，在步骤S505中，根据目标平面设置用户界面的位置和角度。根据目标平面的在虚拟坐标系中对应的数据确定用户界面显示的位置和角度，进而执行步骤S506使得用户界面显示在目标平面上。

对于步骤S507，将用户界面设置为默认显示方式。示例性的，用户的观察视角如图6所示，此时显示虚拟场景的基准平面为x-z平面，则用户界面的默认显示角度为垂直于x-z平面，并且用户界面默认显示位置为z>0，或者x>0处。或者，确定虚拟场景的各个点坐标在x方向上的最大值为x1，确定虚拟场景在z方向的最大值为z1，则默认的用户界面显示的位置可以包括z1+n处的平面，或者x1+n处的平面，其中n为正整数。确定用户界面的显示方式后，执行步骤S506显示用户界面。

在示例性实施例中，识别真实场景中的真实物体平面，可以从真实物体平面中确定一目标平面，即，目标平面可以是真实的平面，然后可以将用户界面直接投影在目标平面上。其中，用户界面是虚拟现实应用中与用户交互的界面，该虚拟现实应用还可以提供一虚拟场景，该虚拟场景也可以投影在真实场景中一真实物体平面上，则目标平面可以包括与该平面垂直的其他的真实物体平面。

本公开的示例性实施例还提供了一种用户界面显示装置，可以应用于增强现实设备。如图7所示，用户界面显示装置700可以包括：平面获取单元710，用于识别真实场景中的真实物体平面，根据所述真实物体平面生成参考平面；标平面确定单元720，用于将满足预设条件的所述参考平面确定为目标平面；界面获取单元730，用于获取用户界面；界面显示单元740，用于在所述目标平面中显示所述用户界面。

在本公开的一种示例性实施例中，所述装置还包括：第一移动检测单元，用于检测所述增强现实设备的移动；第一平面确定单元，用于当所述增强现实设备的移动距离大于预设距离时，重新确定所述目标平面。

在本公开的一种示例性实施例中，第二移动检测单元，用于检测所述增强现实设备的转动；第二平面确定单元，用于当所述增强现实设备的转动角度大于预设角度时，重新确定所述目标平面。

在一示例性实施例中，界面显示单元720可以包括：第一显示单元，用于根据所述目标平面的宽度或者高度调整所述用户界面的展示尺寸，以将所述用户界面显示于所述目标平面。

在一示例性实施例中，第一显示单元可以用于获取所述用户界面的预设宽度以及预设高度；通过所述预设宽度及所述目标平面的宽度确定所述用户界面的缩放比例，或者通过所述预设高度及所述目标平面的高度确定所述用户界面的缩放比例；根据所述缩放比例确定所述用户界面的显示尺寸。

在一示例性实施例中，所述平面筛选单元还可以包括：第三平面确定单元，用于在所述参考平面中确定一基准平面；场景显示单元，用于在所述基准平面显示一虚拟场景，将与所述虚拟场景满足预设位置关系的参考平面确定为目标平面。

在一示例性实施例中，所述与所述虚拟场景满足预设位置关系的参考平面包括与所述虚拟场景的水平面垂直的所述参考平面。

在一示例性实施例中，所述与所述虚拟场景满足预设位置关系的参考平面包括在所述虚拟场景的正方向的参考平面。

在一示例性实施例中，平面筛选单元，还可以用于计算多个与所述虚拟场景满足预设位置关系的参考平面的包围盒，确定包围盒最大的参考平面为目标平面。

在一示例性实施例中，该用户界面显示装置700还可以包括：默认显示单元，用于如果确定不存在满足预设条件的参考平面，则将所述用户界面以预设方式显示。

本公开的示例性实施例还提供了另一用户界面显示装置，可以应用于增强现实设备。如图8所示，用户界面显示装置800可以包括平面识别单元810、界面获取单元810以及界面投影单元820。具体地：

平面获取单元810用于识别真实场景中的真实物体平面，从所述真实物体平面中确定目标平面；界面获取单元820用于获取待显示的用户界面；界面投影单元830用于将所述用户界面投影在所述目标平面上。

上述装置中各模块/单元的具体细节在方法部分的实施例中已经详细说明，因此不再赘述。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

本公开的示例性实施例还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。

参考图9所示，描述了根据本公开的示例性实施例的用于实现上述方法的程序产品900，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本公开的示例性实施例还提供了一种能够实现上述方法的电子设备。该电子设备包括能够实现增强现实技术的设备。下面参照图10来描述根据本公开的这种示例性实施例的电子设备1000。图10显示的电子设备1000仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图10所示，电子设备1000可以以通用计算设备的形式表现。电子设备1000的组件可以包括但不限于：上述至少一个处理单元1010、上述至少一个存储单元1020、连接不同系统组件(包括存储单元1020和处理单元1010)的总线1030、显示单元1040和摄像单元1070。

其中，摄像单元1070用于获取真实场景，例如真实场景的图像、视频等，即方法与装置实施例部分所述的真实场景。

存储单元1020存储有程序代码，程序代码可以被处理单元1010执行，使得处理单元1010执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，处理单元1010可以执行图2或图3所示的方法步骤等。

存储单元1020可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)1021和/或高速缓存存储单元1022，还可以进一步包括只读存储单元(ROM)1023。

存储单元1020还可以包括具有一组(至少一个)程序模块1025的程序/实用工具1024，这样的程序模块1025包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1030可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备1000也可以与一个或多个外部设备1100(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1000交互的设备通信，和/或与使得该电子设备1000能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1050进行。并且，电子设备1000还可以通过网络适配器1060与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1060通过总线1030与电子设备1000的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1000使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开示例性实施例的方法。

此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施例，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (15)

1.一种用户界面显示方法，应用于增强现实设备，其特征在于，所述方法包括：

识别真实场景中的真实物体平面，根据所述真实物体平面生成参考平面；所述真实场景中包括多个真实物体，所述真实物体平面为所述多个真实物体分别对应的表面；

将满足预设条件的所述参考平面确定为目标平面；

获取待显示的用户界面；

在所述目标平面中显示所述用户界面。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

检测所述增强现实设备的移动；

当所述增强现实设备的移动距离大于预设距离时，重新确定所述目标平面。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

检测所述增强现实设备的转动；

当所述增强现实设备的转动角度大于预设角度时，重新确定所述目标平面。

4.根据权利要求1所述的方法，其特征在于，所述在所述目标平面中显示所述用户界面，包括：

根据所述目标平面的宽度或者高度调整所述用户界面的显示尺寸，以将所述用户界面显示于所述目标平面。

5.根据权利要求4所述的方法，其特征在于，所述根据所述目标平面的宽度或者高度调整所述用户界面的显示尺寸，包括：

获取所述用户界面的预设宽度以及预设高度；

通过所述预设宽度及所述目标平面的宽度确定所述用户界面的缩放比例，或者通过所述预设高度及所述目标平面的高度确定所述用户界面的缩放比例；

根据所述缩放比例确定所述用户界面的显示尺寸。

6.根据权利要求1所述的方法，其特征在于，将满足预设条件的所述参考平面确定为目标平面包括：

在所述参考平面中确定一基准平面；

根据所述基准平面显示一虚拟场景，将与所述虚拟场景满足预设位置关系的参考平面确定为所述目标平面。

7.根据权利要求6所述的方法，所述与所述虚拟场景满足预设位置关系的参考平面，包括：

与所述虚拟场景的水平面垂直的所述参考平面。

8.根据权利要求6所述的方法，其特征在于，所述将满足预设条件的所述参考平面确定为目标平面，包括：

计算多个与所述虚拟场景满足预设位置关系的参考平面的包围盒，确定包围盒最大的参考平面为目标平面。

9.根据权利要求6所述的方法，其特征在于，所述与所述虚拟场景满足预设位置关系的参考平面，包括：

在所述虚拟场景的正方向的所述参考平面。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

如果确定不存在满足预设条件的参考平面，则将所述用户界面以预设方式显示。

11.一种用户界面显示方法，其特征在于，包括：

识别真实场景中的真实物体平面，从所述真实物体平面中确定目标平面；所述真实场景中包括多个真实物体，所述真实物体平面为所述多个真实物体分别对应的表面；

获取待显示的用户界面；

将所述用户界面投影在所述目标平面上。

12.一种用户界面显示装置，应用于增强现实设备，其特征在于，所述装置包括：

平面获取单元，用于识别真实场景中的真实物体平面，根据所述真实物体平面生成参考平面；所述真实场景中包括多个真实物体，所述真实物体平面为所述多个真实物体分别对应的表面；

目标平面确定单元，用于将满足预设条件的所述参考平面确定为目标平面；

界面获取单元，用于获取用户界面；

界面显示单元，用于在所述目标平面中显示所述用户界面。

13.一种用户界面显示装置，应用于增强现实设备，其特征在于，所述装置包括：

平面获取单元，用于识别真实场景中的真实物体平面，从所述真实物体平面中确定目标平面；所述真实场景中包括多个真实物体，所述真实物体平面为所述多个真实物体分别对应的表面；

界面获取单元，用于获取待显示的用户界面；

界面投影单元，用于将所述用户界面投影在所述目标平面。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-11任一项所述的用户界面显示方法。

15.一种电子设备，其特征在于，包括：

处理器；

存储器，用于存储所述处理器的可执行指令；以及

摄像装置；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-11任一项所述的用户界面显示方法。