CN107506037B - 一种基于增强现实的控制设备的方法和装置 - Google Patents

Abstract

本申请提供了一种基于增强现实的控制设备的方法，应用于智能穿戴设备上，该方法包括：当检测到用户眼球聚焦一设备时，确定该设备为待识别的设备；识别出待识别的设备作为目标设备，并与该目标设备建立通信连接；获取目标设备的信息，并将所述信息叠加到用户可视范围的真实场景中显示；接收到用户通过智能交互方式对目标设备信息中的控制菜单进行操作时，对操作行为进行分析，生成对目标设备的控制指令；通过建立的通信连接，将生成的控制指令发送给目标设备使目标设备执行。基于同样的发明构思，本申请实施例中还提出一种基于增强显示的控制设备的装置，使得用户在自由空间内更便利的与智能设备进行交互，从而提高用户体验。

Description

一种基于增强现实的控制设备的方法和装置

技术领域

本发明涉及通信技术领域，特别涉及一种基于增强现实的控制设备的方法和装置。

背景技术

目前，随着科技的发展和用户体验的需求提升，智能家居成为了一个热门讨论和研究的话题，同时，智能家居领域的产品层出不穷。

然而，目前的智能家居产品虽冠以“智能”的称号，但是与真正意义上的“智能”却相去甚远，大多的产品都是简单地搭建移动智能终端与智能家电之间的通信网络后，用户通过移动智能终端，例如手机、平板电脑等，发送控制命令来控制智能家电，实质上只是遥控器功能的移植；

此外，当下的智能家居产品用户体验差，移动智能终端上的操作界面过于繁琐，大多通过层层菜单进行选择和操作，这极大地降低了用户体验，尤其对于老年人来说，他们对智能手机等的使用较为生疏，同时学习能力也相对弱一些，目前市场上的智能家居产品对于他们来说，需要较长的时间去在家人的指导下去学习使用，在这种情况下，老人可能会嫌麻烦而直接放弃使用；此外，对于一些不识字的人群，如小孩，也很难去操作当前的智能家居产品的操作界面。

现有实现中提供了一种通过VR设备控制智能家居设备的方法，VR设备识别用户输入的手势信息，将所述手势信息与预存的用于控制智能家居设备的控制手势信息进行比较，根据所述比较结果对智能家居设备进行控制。

该方案通过VR设备识别用户输入的手势信息，控制智能家居设备的开关，实现了VR设备与现实物体之间的联动，但是没有提供可视化的操作界面使用虚拟现实技术，用户与现实的交互不好，用户体验性不好。

现有实现中还提供了一种可见即可控的智能家居控制方案，控制系统利用当场捕获的智能家电的即时图像识别出该智能家电，接着生成基于该智能家电即时图像或预置图像的虚拟实体操作界面和/或辅助操作界面，然后用户即可操控智能家电；

该方案但该方法需要用户通过手动的方式进行设备图像采集，以及采用传统的方式与智能移动终端进行交互以控制智能终端。

发明内容

有鉴于此，本申请提供一种基于增强现实的控制设备的方法和装置，能够提高用户体验。

为解决上述技术问题，本申请的技术方案是这样实现的：

一种基于增强现实的控制设备的方法，应用于智能穿戴设备上，该方法包括：

当检测到用户眼球聚焦一设备时，确定该设备为待识别的设备；

识别出待识别的设备作为目标设备，并与该目标设备建立通信连接；

获取目标设备的信息，并将所述信息叠加到用户可视范围的真实场景中显示；

接收到用户通过智能交互方式对目标设备信息中的控制菜单进行操作时，对操作行为进行分析，生成对目标设备的控制指令；

通过建立的通信连接，将生成的控制指令发送给目标设备使目标设备执行。

一种基于增强现实的控制设备的装置，应用于智能穿戴设备上，该装置包括：确定单元、识别单元、建立单元、显示单元、接收单元、处理单元和发送单元；

所述确定单元，用于当检测到用户眼球聚焦一设备时，确定该设备为待识别的设备；

所述识别单元，用于识别出所述确定单元确定的待识别的设备作为目标设备；

所述连接单元，用于与所述识别单元识别出的目标设备建立通信连接；

所述显示单元，用于获取目标设备的信息，并将所述信息叠加到用户可视范围的真实场景中显示；

所述接收单元，用于接收用户的操作；

所述处理单元，用于当所述接收单元接收到用户通过智能交互方式对目标设备信息中的控制菜单进行操作时，对操作行为进行分析，生成对目标设备的控制指令；

所述发送单元，用于通过所述建立单元建立的通信连接，将所述处理单元生成的控制指令发送给目标设备使目标设备执行。

由上面的技术方案可知，本申请中通过用户眼球聚焦点智能识别用户关注的智能设备，将智能设备的信息叠加显示到用户可视区域的真实场景中，提供智能交互方式供用户操作。本发明可将多个智能设备的相关信息叠加到用户可视区域的真实场景中，使得用户在自由空间内更便利的与智能设备进行交互，从而提高用户体验。

附图说明

图1为本申请实施例中基于增强显示的控制设备的流程示意图；

图2为本申请实施例中识别出待识别的设备为冰箱的示意图；

图3为本申请实施例中在相对模式下关闭叠加显示信息的一种示意图；

图4为本申请实施例中绝对模式下叠加显示信息的区域显示在用户可视范围外的示意图；

图5为本申请实施例中缩放信息显示区域的示意图；

图6为本申请实施例中移动信息显示区域的示意图；

图7为本申请实施例中应用于上述技术的装置结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图并举实施例，对本发明的技术方案进行详细说明。

本申请实施例中提供一种基于增强现实的控制设备的方法，应用于智能头戴设备上，通过用户眼球聚焦点智能识别用户关注的智能设备，将智能设备的信息叠加显示到用户可视区域的真实场景中，提供智能交互方式供用户操作。本发明可将多个智能设备的相关信息叠加到用户可视区域的真实场景中，使得用户在自由空间内更便利的与智能设备进行交互，从而提高用户体验。

本申请实施例中用于使用智能头戴设备来控制各智能家居设备，在进行控制之前，与该智能家居设备建立通信连接，结束控制后，可以断开与其建立的通信连接。

其中，智能头戴设备可以为眼镜、头盔等。

下面结合附图，详细说明本申请实施例中基于增强现实的控制设备的过程。

参见图1，图1为本申请实施例中基于增强显示的控制设备的流程示意图。具体步骤为：

步骤101，当智能头戴设备检测到用户眼球聚焦一设备时，确定该设备为待识别的设备。

本实施例中智能头戴设备检测到用户眼球聚焦一设备，包括：

确定当前用户状态或行为是否满足预设条件，如果是，则确定该设备为待识别的设备。

所述预设条件为满足配置的下述任一条件：预设肢体动作、预设语音、用户眼球聚焦一设备的时间达第一预设时间阈值。

针对预设肢体动作(手的动作、眼睛的动作、头的动作等人身体上的任一部位的动作)，如用手指向某个设备，则确定当前用户眼睛注视的设备为用户眼球聚焦的设备；

针对预设语音，如用户当前所发出的声音中存在关键字为冰箱，则确定当前用户眼睛注视的设备为用户眼球聚焦的设备；

上述两种预设条件，均是在用户同时也使用眼睛注视着设备的情况。

针对用户眼球聚焦一设备的时间达第一预设时间阈值，具体为，用户眼球聚焦在预设大小的区域内的时间达到第一预设时间阈值，则确定当前用户眼球聚焦一设备。

上述实现为本申请具体实现用户眼球聚焦一设备提供的几种示例，并不限于上述描述。

步骤102，该智能头戴设备识别出待识别的设备作为目标设备，并与该目标设备建立通信连接。

该智能头戴设备识别出待识别的设备具体实现为：使用智能头戴设备对待识别的设备进行拍照，与本地存储的智能家居设备的家居进行图像匹配，识别出待识别的设备具体为哪种智能家居设备。

智能头戴设备与目标设备之间建立的通信连接为无线连接，具体连接过程不进行限制。

参见图2，图2为本申请实施例中识别出待识别的设备为冰箱的示意图。当满足预设条件时，在用户实现所在范围拍摄如冰箱的图片，以备进行图片识别。

步骤103，该智能头戴设备获取目标设备的信息，并将所述信息叠加到用户可视范围的真实场景中显示。

智能头戴设备与目标设备建立通信连接后，可以从目标设备上获取设备的信息，也可以每次使用目标设备时，将目标设备的相关信息在本地存储，需要显示时，直接在本地获取。

目标设备的信息包括：设备的基本信息、设备的状态信息、控制菜单等，针对不同智能家居设备还会包括一些个性化信息。

如空调，其信息可以包括空调的基本信息：室内温度、湿度；空调的状态信息：开，或者关，当前所处工作模式；控制菜单：配置温度、风速以及风向等。

若目标设备的信息的条数大于预设条数阈值，即信息内容比较多，则为用户提供用户滑动或翻页显示功能，即为用户分页显示，或者通过下拉的方式显示所有的信息。

步骤104，该智能头戴设备接收到用户通过智能交互方式对目标设备信息中的控制菜单进行操作时，对操作行为进行分析，生成对目标设备的控制指令。

本申请实施例中的智能交互方式为：肢体动作，和/或，语音。

肢体动作如手势动作、眨眼睛、摇头等。

如用户通过手势动作(点击)选择控制菜单中的打开冰箱门，则智能头戴设备将该手势动作生成的控制指令为：打开冰箱门。

步骤105，该智能头戴设备通过建立的通信连接，将生成的控制指令发送给目标设备使目标设备执行。

本申请实施例中，可以为用户提供两种叠加的信息显示方式：相对模式和绝对模式。

当用户选择相对模式时，叠加显示信息的区域一直显示在用户可视范围内。

具体实现时，可以将该种叠加方式设置为默认方式，即用户不做选择时，以该种方式叠加显示信息的区域。

这种显示方式即用户无论如何移动，叠加显示信息的区域始终显示在用户可视范围内。

在用户结束对目标设备的控制后，通过智能交互方式关闭叠加显示信息，并断开与目标设备的连接。

参见图3，图3为本申请实施例中在相对模式下关闭叠加显示信息的一种示意图。

图3中给出通过手势操作关闭叠加显示的信息，关闭后在用户可视范围内不再显示叠加的信息。

当用户选择绝对模式，且用户可视范围变化时，叠加显示信息的区域显示在变化后的用户可视范围外。

这里的用户可视范围变化可以设置一个阈值，当变化多大区域，如横向，还是纵向变化多长的距离的时候，使叠加显示的信息不再在用户可视范围内；也可以看作用户对叠加的信息显示在一定位置后，确定这个位置不再变化，用户的可视范围变化到不再能看到这个叠加的信息。

参见图4，图4为本申请实施例中绝对模式下叠加显示信息的区域显示在用户可视范围外的示意图。

图4中由于用户选择的是绝对模式，当用户的可视范围变化后，叠加显示信息的区域会不在用户的可视范围内。

当叠加显示的信息在用户的可视范围未显示的时间大于第二预设时间阈值时，关闭信息的显示，并断开与目标设备的通信连接。

这里提供了一种在绝对模式下关闭信息的显示的一种触发方式，但是不限于此。也可以在叠加显示的信息在用户的可视范围内时，主动关闭叠加显示的信息，并断开与目标设备的通信连接。

在具体实现时，还可以移动、缩放叠加在用户可视范围的真实场景中显示的信息所在的区域。

参见图5，图5为本申请实施例中缩放信息显示区域的示意图。图5中通过智能交互方式(手势操作)缩放叠加在用户可视范围的真实场景中显示的信息所在的区域(叠加显示区)，即可以将显示区域放大，也可以将显示区域缩小，以提高用户体验。

参见图6，图6为本申请实施例中移动信息显示区域的示意图。图6中通过智能交互方式(手势操作)移动叠加在用户可视范围的真实场景中显示的信息所在的区域(叠加显示区)的位置，即将显示区域移动到用户方便浏览，或者不影响当前所做事情的位置。

上述实施例针对一个智能家居设备进行的控制，在具体应用中，还可以同时针对多个智能家居设备进行控制。

下面给出三种应用场景，来进一步描述本申请提供的基于增强现实的控制设备的过程。

实施例一

用户在厨房做菜，操作台与冰箱相隔一定距离。用户在从冰箱里取出菜后，需要结合智能冰箱提供的菜谱功能进行烹饪，在该应用场景下选择相关信息显示为相对模式。

用户佩戴智能头戴设备在操作台边做完准备后，注视远处的智能冰箱；

头戴式智能设备识别出用户的眼球聚焦冰箱，通过图像识别对智能设备进行匹配，识别出冰箱后，与该冰箱建立通信连接。

冰箱的相关信息显示在智能头戴设备的可视区域的真实场景中，用户通过智能交互方式选择冰箱推荐的菜谱并叠加显示。

通过手势动作调节菜谱叠加区域的位置以及大小，使得叠加显示区域不会遮挡用户的视线。

烹饪过程中，若用户想随性的加入几样配菜，可以再次通过智能交互方式查看冰箱的信息，查看冰箱内是否自己想要的菜品。

用户烹饪完毕后，通过智能交互方式(如手势)关闭与智能冰箱之间的连接。

实施例二：

用户坐在客厅里娱乐休闲，觉得室内温度过高，想开启空调，调节室内温度。此应用场景采用绝对模式。

用户佩戴头戴式智能设备，注视客厅角落安装的智能空调；

智能头戴设备识别出用户的眼球聚焦空调的时间达到预设时间，通过图像识别对设备进行匹配，识别出智能空调后，与该智能空调建立通信连接；

用户浏览获取到的智能空调基本信息，包括当前室内的温度，湿度等信息。

用户调取智能空调的操作菜单，配置合适的温度，风速以及风向等。

用户在确认智能空调正常工作后，重新将视线方向恢复到之前的状态；在绝对模式下，智能空调的信息以及菜单显示位于当前用户的视线范围外；一定时间后，叠加显示与连接自动关闭。

实施例三

用户自驾出行，短时间离开车辆而没有关闭天窗，突然天气大变，需要及时关闭天窗。该模式可选择绝对模式。

用户佩戴智能头戴设备，注视不远处的车辆；

头戴式智能设备识别出用户的眼球聚焦车辆，通过图像识别对智能设备进行匹配，识别出车辆后，与该智能车辆建立通信连接；

用户调取智能车辆的操作菜单，选择关闭天窗。

用户在确认天窗关闭后，重新将视线方向恢复到之前的状态；在绝对模式下，车辆控制菜单显示位于当前用户的视线范围外；一定时间后，叠加显示与连接自动关闭。

基于同样的发明构思，本申请还提出一种基于增加显示的控制设备的装置，应用于智能头戴设备上。参见图7，图7为本申请实施例中应用于上述技术的装置结构示意图。该装置包括：确定单元701、识别单元702、建立单元703、显示单元704、接收单元705、处理单元706和发送单元707；

确定单元701，用于当检测到用户眼球聚焦一设备时，确定该设备为待识别的设备；

识别单元702，用于识别出确定单元701确定的待识别的设备作为目标设备；

连接单元703，用于与识别单元702识别出的目标设备建立通信连接；

显示单元704，用于获取识别单元702识别的目标设备的信息，并将所述信息叠加到用户可视范围的真实场景中显示；

接收单元705，用于接收用户的操作；

处理单元706，用于当接收单元705接收到用户通过智能交互方式对目标设备信息中的控制菜单进行操作时，对操作行为进行分析，生成对目标设备的控制指令；

发送单元707，用于通过建立单元703建立的通信连接，将处理单元706生成的控制指令发送给目标设备使目标设备执行。

较佳地，

确定单元701，具体用于检测到用户眼球聚焦一设备时，若确定当前用户状态或行为满足预设条件，则确定该设备为待识别的设备。

较佳地，

所述预设条件为满足配置的下述任一条件：预设肢体动作、预设语音、用户眼球聚焦一设备的时间达第一预设时间阈值。

较佳地，

显示单元704，具体用于将所述信息叠加到用户可视范围的真实场景中显示时，若所述信息的条数大于预设条数阈值，则为用户提供用户滑动或翻页显示功能。

较佳地，

显示单元704，进一步用于当用户选择相对模式时，叠加显示信息的区域一直在用户可视范围内。

较佳地，

显示单元704，进一步用于当用户选择绝对模式，且用户可视范围变化时，叠加显示信息的区域显示在变化后的用户可视范围外。

较佳地，

显示单元704，进一步用于当叠加显示的信息在用户的可视范围未显示的时间大于第二预设时间阈值时，关闭信息的显示；

连接单元703，进一步用于当显示单元704关闭信息的显示时，断开与目标设备的通信连接。

较佳地，

处理单元706，进一步用于通过智能交互方式缩放叠加在用户可视范围的真实场景中显示的信息所在的区域。

较佳地，

处理单元706，进一步用于通过智能交互方式移动叠加在用户可视范围的真实场景中显示的信息所在的区域的位置。

较佳地，

所述智能交互方式为：肢体动作，和/或，语音。

上述实施例的单元可以集成于一体，也可以分离部署；可以合并为一个单元，也可以进一步拆分成多个子单元。

综上所述，本申请通过用户眼球聚焦点智能识别用户关注的智能设备，将智能设备的信息叠加显示到用户可视区域的真实场景中，提供智能交互方式供用户操作。本发明可将多个智能设备的相关信息叠加到用户可视区域的真实场景中，使得用户在自由空间内更便利的与智能设备进行交互，从而提高用户体验。

本申请实施例中结合增强现实、眼球追踪、图像识别、手势识别、语音识别技术，通过智能头戴设备控制智能家居设备。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (20)

1.一种基于增强现实的控制设备的方法，应用于智能穿戴设备上，其特征在于，该方法包括：

当检测到用户眼球聚焦一设备时，确定该设备为待识别的设备；

识别出待识别的设备作为目标设备，并与该目标设备建立通信连接；

获取目标设备的信息，并将所述信息叠加到用户可视范围的真实场景中显示；

接收到用户通过智能交互方式对目标设备信息中的控制菜单进行操作时，对操作行为进行分析，生成对目标设备的控制指令；

通过建立的通信连接，将生成的控制指令发送给目标设备使目标设备执行。

2.根据权利要求1所述的方法，其特征在于，所述检测到用户眼球聚焦一设备，包括：

若确定当前用户状态或行为满足预设条件，则确定该设备为待识别的设备。

3.根据权利要求2所述的方法，其特征在于，

所述预设条件为满足配置的下述任一条件：预设肢体动作、预设语音、用户眼球聚焦一设备的时间达第一预设时间阈值。

4.根据权利要求1所述的方法，其特征在于，所述将所述信息叠加到用户可视范围的真实场景中显示时，若所述信息的条数大于预设条数阈值，则为用户提供用户滑动或翻页显示功能。

5.根据权利要求1所述的方法，其特征在于，

当用户选择相对模式时，叠加显示的信息一直在用户可视范围内。

6.根据权利要求1所述的方法，其特征在于，

当用户选择绝对模式，且用户可视范围变化时，叠加显示的信息显示在变化前的用户可视范围外。

7.根据权利要求6所述的方法，其特征在于，

当叠加显示的信息在用户的可视范围未显示的时间大于第二预设时间阈值时，关闭信息的显示，并断开与目标设备的通信连接。

8.根据权利要求1所述的方法，其特征在于，

通过智能交互方式缩放叠加在用户可视范围的真实场景中显示的信息所在的区域。

9.根据权利要求1所述的方法，其特征在于，

通过智能交互方式移动叠加在用户可视范围的真实场景中显示的信息所在的区域的位置。

10.根据权利要求1-9任一项所述的方法，其特征在于，

所述智能交互方式为：肢体动作，和/或，语音。

11.一种基于增强现实的控制设备的装置，应用于智能穿戴设备上，其特征在于，该装置包括：确定单元、识别单元、建立单元、显示单元、接收单元、处理单元和发送单元；

所述确定单元，用于当检测到用户眼球聚焦一设备时，确定该设备为待识别的设备；

所述识别单元，用于识别出所述确定单元确定的待识别的设备作为目标设备；

所述建立单元，用于与所述识别单元识别出的目标设备建立通信连接；

所述显示单元，用于获取目标设备的信息，并将所述信息叠加到用户可视范围的真实场景中显示；

所述接收单元，用于接收用户的操作；

所述处理单元，用于当所述接收单元接收到用户通过智能交互方式对目标设备信息中的控制菜单进行操作时，对操作行为进行分析，生成对目标设备的控制指令；

所述发送单元，用于通过所述建立单元建立的通信连接，将所述处理单元生成的控制指令发送给目标设备使目标设备执行。

12.根据权利要求11所述的装置，其特征在于，

所述确定单元，具体用于检测到用户眼球聚焦一设备时，若确定当前用户状态或行为满足预设条件，则确定该设备为待识别的设备。

13.根据权利要求12所述的装置，其特征在于，

所述预设条件为满足配置的下述任一条件：预设肢体动作、预设语音、用户眼球聚焦一设备的时间达第一预设时间阈值。

14.根据权利要求11所述的装置，其特征在于，

所述显示单元，具体用于将所述信息叠加到用户可视范围的真实场景中显示时，若所述信息的条数大于预设条数阈值，则为用户提供用户滑动或翻页显示功能。

15.根据权利要求11所述的装置，其特征在于，

所述显示单元，进一步用于当用户选择相对模式时，叠加显示信息的区域一直在用户可视范围内。

16.根据权利要求11所述的装置，其特征在于，

所述显示单元，进一步用于当用户选择绝对模式，且用户可视范围变化时，叠加显示信息的区域显示在变化后的用户可视范围外。

17.根据权利要求16所述的装置，其特征在于，

所述显示单元，进一步用于当叠加显示的信息在用户的可视范围未显示的时间大于第二预设时间阈值时，关闭信息的显示；

所述建立单元，进一步用于当所述显示单元关闭信息的显示时，断开与目标设备的通信连接。

18.根据权利要求11所述的装置，其特征在于，

所述处理单元，进一步用于通过智能交互方式缩放叠加在用户可视范围的真实场景中显示的信息所在的区域。

19.根据权利要求11所述的装置，其特征在于，

所述处理单元，进一步用于通过智能交互方式移动叠加在用户可视范围的真实场景中显示的信息所在的区域的位置。

20.根据权利要求11-19任一项所述的装置，其特征在于，

所述智能交互方式为：肢体动作，和/或，语音。

Images