CN114681909A - 控制方法和电子设备 - Google Patents

Abstract

本文提供了一种通过体感动作替代遥控器按键实现对传统游戏进行控制，进而将传统游戏改变为体感游戏的方法、相关装置及系统。在该方法中，电子设备可以学习用户完成的特定体感动作，同时记录用户选择的特定遥控器按键，然后，电子设备可将上述动作和按键关联。当识别到用户完成上述动作时，电子设备可以模拟上述按键产生的控制信号，进而控制游戏操作。实施该方法，用户可以简单快捷地将传统游戏改造成体感游戏。该过程不需要游戏厂商做额外的定制工作，也不需要用户使用额外的体感设备。另外，用户可以在游戏过程中进行运动锻炼。实施上述方法既达到了运动健身的效果，同时又增加了运动的趣味性，提升了用户的使用体验。

Description

控制方法和电子设备

技术领域

本申请涉及终端领域，尤其涉及控制方法和电子设备。

背景技术

为了解决现在社会中人们由于快节奏的工作带来的亚健康状态的问题，许多网络电视都增加了智能健身指导的家庭运动方案。智能健身指导的家庭运动方案可以对用户进行比较专业的减脂、力量训练，从而达到运动健身的效果。但是智能健身指导的家庭运动方案比较枯燥，用户难以坚持。如何在保证达到运动健身的效果的同时保持运动的趣味性，是现在家庭运动方案亟待解决的问题。

发明内容

本申请提供了一种控制方法和电子设备，实施该方法可以简单快捷地将使用遥控器控制的传统游戏改造成体感游戏。

第一方面，本申请实施例提供了一种控制方法，该方法应用于电子设备，该方法包括：电子设备获取第一按键信号，该第一按键信号为遥控器上第一按键产生的控制信号；响应于该第一按键信号，操作对象进行第一动作；电子设备获取第一动作模板，该第一动作模板用于识别用户做出的第一体感动作；电子设备将该第一按键信号与该第一动作模板关联；电子设备获取包含用户动作的图像序列；当识别该图像序列指示的动作与该第一动作模板匹配时，电子设备生成该第一按键信号；响应于该第一按键信号，操作对象进行该第一动作。

实施第一方面提供的方法，电子设备可以将用户指定的遥控器按键与用户做出的特定体感动作关联起来，然后，当识别到用户做出了上述体感动作后，电子设备可以根据该体感动作获得上述按键的控制信号，从而实现与上述按键相同的控制效果。

结合第一方面的一些实施例，在一些实施例中，在电子设备将该第一按键信号与该第一动作模板关联之后，该方法还包括：电子设备显示第一界面，该第一界面上显示有该第一动作模板与该第一按键的关联关系。

实施上述实施例提供的方法，用户可以直观的看到电子设备将哪一个遥控器按键的和哪一个体感动作进行了关联，进一步的，用户可以完成上述动作来替换上述遥控器按键。

结合第一方面的一些实施例，在一些实施例中，在电子设备获取第一动作模板的步骤之前，该方法还包括：电子设备获取包含用户动作的第一图像；电子设备识别该第一图像中骨骼节点，获得第一组骨骼节点数据；在获取第一图像之后，电子设备获取包含用户动作的第二图像；电子设备识别该第二图像中骨骼节点，获得第二组骨骼节点数据；电子设备计算该第一组骨骼节点数据和该第二组骨骼节点数据的差距得到阈值区间；电子设备生成上述第一动作模板，该第一动作模板包括：上述第一组骨骼节点数据，和/或，上述第二组骨骼节点数据，以及该阈值区间。

实施上述实施例提供的方法，电子设备可以通过两次获取用户完成某一体感动作的图像，学习用户完成该体感动作过程中身体的具体姿态，从而生成一个动作模板。通过上述模板，电子设备可以识别用户任意做出的动作是否是上述体感动作。

结合上一种实施方式，在一些实施例中，电子设备获取包含用户动作的第一图像的方法具体包括：电子设备采集用户完成体感动作的第一组图像序列；电子设备确定该第一组图像序列中相比于前一个图像帧用户体感动作的变化幅度最小的图像帧为该第一图像；电子设备获取包含用户体感动作的第二图像具体包括：电子设备采集用户完成体感动作第二组图像序列；电子设备确定该第二组图像序列中相比于前一个图像帧用户体感动作的变化幅度最小的图像帧为该第二图像。

实施上述实施例提供的方法，电子设备可以在采集的用户完成某一体感动作的众多图像中，确定最能体现该体感动作的图像作为学习该体感动作的学习数据。通过上述选择过程，在学习和识别用户体感动作的过程中，电子设备也可极大地降低计算复杂度，节省计算资源，从而快速高效地识别用户的体感动作。

结合第一方面的一些实施例，在一些实施例中，在电子设备生成第一动作模板的步骤之后，该方法还包括：电子设备获取包含用户动作的第三图像；电子设备识别该第三图像中骨骼节点，获得第三组骨骼节点数据；电子设备确定该第三组骨骼节点数据与该第一动作模板匹配；电子设备锁定该第一动作模板。

实施上述实施例提供的方法，在学习某一体感动作得到该动作的动作模板后，电子设备还可确认上述动作模板是否正确。这样电子设备可以及时的发现自己的学习结果是否存在问题。

结合上一种实施方式，在一些实施例中，电子设备确定该第三组骨骼节点数据与该第一动作模板匹配的方法具体包括：电子设备计算该第三组骨骼节点数据和该第一组骨骼节点数据的差距；当该差距在该阈值区间内时，电子设备确定该第三组骨骼节点数据与该第一动作模板匹配。

实施上述实施例提供的方法，在计算用户做出的体感动作是否与动作模板一致时，电子设备可以只进行一次比对，即选择一个最能体现用户做出的体感动作的图像与动作模板进行匹配。这样电子设备也可极大地降低计算复杂度，节省计算资源，从而快速高效地识别用户的体感动作。

结合第一方面的一些实施例，在一些实施例中，该方法还包括：电子设备将该第一动作模板作为一个预置动作模板进行存储。

实施上述实施例提供的方法，电子设备在成功学习某一体感动作后，可以不立即匹配遥控器按键，而是在需要的时候，再进行匹配。这样，用户可以将指导电子设备学习体感动作和匹配遥控器按键的过程分开，从而增加学习和匹配过程的灵活性。

结合第一方面的一些实施例，在一些实施例中，电子设备获取第一动作模板还包括：电子设备显示第二界面，该第二界面中显示有供选择的多个预置动作模板；电子设备从该多个预置动作模板中选择该第一动作模板。

实施上述实施例提供的方法，用户可以通过显示的内容知道该电子设备已经学习了哪些体感动作，因此，用户可以直接使用电子设备已有的动作模板来匹配遥控器按键，从而省略电子设备学习体感动作的过程，提升用户使用体验。

结合第一方面的一些实施例，在一些实施例中，该方法还包括：电子设备学习用户的多个用户动作，分别存储为多个预置动作模板，和/或，电子设备获取共享的多个预置动作模板。

实施上述实施例提供的方法，电子设备获取的动作模拟可以不限于本地的学习结果。电子设备还可从其他地方获取共享的学习模板。

结合第一方面的一些实施例，在一些实施例中，电子设备从该多个预置动作模板中选择该第一动作模板的方法具体包括：当识别到用户做出的动作与该第一动作模板匹配时，电子设备从该多个预置动作模板中选择该第一动作模板。

实施上述实施例提供的方法，用户可以通过完成预置模板中展示的体感动作来选择该模板。这样，用户即可以达到选择的目的，还可以检验电子设备是否能够准确快速的识别到自己做出的动作。

结合第一方面的一些实施例，在一些实施例中，在电子设备获取包含用户动作的图像序列的步骤之后，该方法还包括：电子设备从该图像序列中获取第四图像；电子设备识别该第四图像中骨骼节点，获得第四组骨骼节点数据；电子设备计算该第四组骨骼节点数据和该第一组骨骼节点数据的差距；当该差距在该阈值区间内时，电子设备识别该图像序列指示的动作与该第一动作模板匹配。

实施上述实施例提供的方法，电子设备可以在采集的用户完成某一体感动作的众多图像中，确定最能体现该体感动作的图像作为学习该体感动作的学习数据，进而将上述图像与动作模板匹配，识别用户做出的动作是否是已学习的并匹配了遥控器按键的动作。这样，电子设备也可极大地降低计算复杂度，节省计算资源，从而快速高效地识别用户的体感动作。

第二方面，本申请实施例提供了一种电子设备，该电子设备包括一个或多个处理器和一个或多个存储器；其中，一个或多个存储器与一个或多个处理器耦合，一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，使得电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

第三方面，本申请实施例提供了一种芯片系统，该芯片系统应用于电子设备，该芯片系统包括一个或多个处理器，该处理器用于调用计算机指令以使得该电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

第四方面，本申请实施例提供一种包含指令的计算机程序产品，当上述计算机程序产品在电子设备上运行时，使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

第五方面，本申请实施例提供一种计算机可读存储介质，包括指令，当上述指令在电子设备上运行时，使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

可以理解地，上述第二方面提供的电子设备、第三方面提供的芯片系统、第四方面提供的计算机程序产品和第五方面提供的计算机存储介质均用于执行本申请实施例所提供的方法。因此，其所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。

附图说明

图1是本申请实施例提供的一种应用场景的系统图；

图2A是本申请实施例提供的一种电子设备100的软件框架图；

图2B是本申请实施例提供的一种电子设备100的硬件结构图；

图3A-图3I、图4A-图4D、图5A-图5C是本申请实施例提供的一组用户界面；

图6A是本申请实施例提供的一种体感动作匹配遥控器按键控制游戏的流程图；

图6B是本申请实施例提供的一种电子设备100学习用户体感动作的流程图；

图6C-图6E是本申请实施例的一组骨骼节点示意图；

图7是本申请实施例提供的另一种体感动作匹配遥控器按键控制游戏的流程图。

具体实施方式

本申请以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。

本申请的说明书和权利要求书及附图中的术语“用户界面(user interface，UI)”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接收形式之间的转换。应用程序的用户界面是通过java、可扩展标记语言(extensible markup language，XML)等特定计算机语言编写的源代码，界面源代码在终端设备上经过解析，渲染，最终呈现为用户可以识别的内容，比如图片、文字、按钮等控件。控件(control)也称为部件(widget)，是用户界面的基本元素，典型的控件有工具栏(toolbar)、菜单栏(menu bar)、文本框(text box)、按钮(button)、滚动条(scrollbar)、图片和文本。界面中的控件的属性和内容是通过标签或者节点来定义的，比如XML通过<Textview>、<ImgView>、<VideoView>等节点来规定界面所包含的控件。一个节点对应界面中一个控件或属性，节点经过解析和渲染之后呈现为用户可视的内容。此外，很多应用程序，比如混合应用(hybrid application)的界面中通常还包含有网页。网页，也称为页面，可以理解为内嵌在应用程序界面中的一个特殊的控件，网页是通过特定计算机语言编写的源代码，例如超文本标记语言(hyper text markup language，GTML)，层叠样式表(cascading style sheets，CSS)，java脚本(JavaScript，JS)等，网页源代码可以由浏览器或与浏览器功能类似的网页显示组件加载和显示为用户可识别的内容。网页所包含的具体内容也是通过网页源代码中的标签或者节点来定义的，比如GTML通过<p>、<img>、<video>、<canvas>来定义网页的元素和属性。

用户界面常用的表现形式是图形用户界面(graphic user interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。

体感游戏可同时兼顾运动和游戏。用户通过体感游戏也可以实现在家运动锻炼的目的，且具有较高的趣味性。因此，基于体感游戏的运动锻炼既可以满足用户在家锻炼的需求，同时又可以提升家庭运动的趣味性，使用户能够长期坚持。

但是，现有的体感游戏数量较少，尤其是在网络电视的应用市场上能够简单方便获得的。新开发体感游戏成本巨大，往往需要游戏厂商进行单独的定制工作。定制完成的体感游戏有些可以直接借助网络电视已有的硬件运行，但是还有一些则需要专门的体感设备。因此，这也限制了体感游戏的广泛使用。

为了解决体感游戏定制复杂、降低体感游戏门槛，使拥有网络电视的用户均能体验体感游戏，并能通过体感游戏完成日常的运动锻炼，本发明提供了一种通过体感动作替代遥控器指令对传统游戏进行控制，进而将传统游戏改变为体感游戏的方法、相关装置及系统。

该方法涉及电子设备(例如网络电视)、遥控器。其中电子设备可通过摄像头采集图像。实施该方法，电子设备可以识别用户完成的特定体感动作，并将该体感动作与用户选择的特定遥控器按键进行匹配，进而模拟上述遥控器按键控制游戏操作。

实施上述方法，传统游戏(例如跑酷类游戏、俄罗斯方块、推箱子等等)可以简单快捷地改造成体感游戏。该过程不需要游戏厂商做额外的定制工作，也不需要用户使用额外的体感设备。另外，用户可以在游戏过程中进行运动锻炼。实施上述方法既达到了运动健身的效果，同时又增加了运动的趣味性，使用户能够长期坚持。

下面首先介绍本申请实施例提供的系统10。图1示例性示出了系统10的结构。如图所示，系统10包括：电子设备100、遥控器200。

电子设备100为大屏电子设备。电子设备100包括但不限于网络电视、家用投影仪、定制的游戏互动大屏等。电子设备100的示例性实施例包括但不限于搭载

Linux或者其它操作系统的便携式电子设备。电子设备100具备摄像头400。摄像头400可以是固定在电子设备100上的摄像头、也可以是通过有线或无线连接等方式与电子设备100建立连接的摄像头，例如家庭智慧摄像头。

摄像头400可采集实时的图像，并将上述图像发送给电子设备100。当摄像头400通过有线或无线连接等方式与电子设备100建立连接时，摄像头400可通过有线或无线网络向电子设备100发送采集到的实时图像。上述有线连接例如是电子设备100与摄像头400通过数据线连接。上述无线连接例如是高保真无线通信(Wi-Fi)连接、蓝牙连接、红外线连接、NFC连接、ZigBee连接等，本申请实施例对此不作限制。

遥控器200可以是物理遥控器或遥控器应用。物理遥控器是指实物遥控器，例如图中所示的电视遥控器。遥控器应用是指智能终端安装的可以遥控特定设备的应用程序，例如应用市场提供的各类空调的遥控应用程序等等。本实施例以物理遥控器为例，介绍体感动作代替遥控器按键的方法。

遥控器200能够向电子设备100发送控制信号。响应作用于任一遥控器按键的用户操作，遥控300可产生对应遥控器按键的控制信号。通过无线发射装置，遥控器200能将上述控制信号发送到目标设备(即电子设备100)上。电子设备100具备遥控器指令接收模块。该模块可接收并识别遥控器200产生的控制信号。响应于上述控制信号，电子设备100可执行上述遥控器按键指示的操作，例如上移、下移、确认选定等等。

遥控器200还可以是安装在移动手机、平板电脑等智能终端上的遥控器应用程序。此时，遥控器200可通过无线连接将产生的控制信号发送到目标设备。在一些实施例中，上述安装有遥控器应用程序的智能终端也具备红外线发射功能，因此遥控器200可通过红外线连接将产生的控制信号发送到电子设备100，这里不再赘述。

在该系统中，电子设备100可通过摄像头400获取用户300完成体感动作的骨骼节点数据。基于上述数据，电子设备100可识别用户的特定体感动作。

电子设备100可将遥控器200的按键操作与用户300的特定体感动作关联起来。当检测到用户300的某一特定体感动作后，电子设备100可查询到与该动作关联的遥控器按键。进而，电子设备100可模拟该遥控器按键对电子设备100上运行的游戏应用程序进行控制。

下面介绍本申请实施例提供的电子设备100的软件框架图。图2A示例性示出了电子设备100的软件框架结构，其中，摄像头400为电子设备100的固定元器件。如图2A所示，电子设备100可包括游戏模块201、体感学习模块202以及摄像头400。

游戏模块201可包括信号接收模块203和游戏响应模块204。

信号接收模块203可用于接收控制游戏操作的控制信号。在未启用体感模式的情况下，该模块可接收遥控器200发送的控制信号。在启用体感模式的情况下，该模块可接收电子设备100模拟遥控器200发送的控制信号。即，在使用遥控器控制游戏操作时，信号接收模块203可接收遥控发送的控制信号。当电子设备100学习了控制游戏操作的特定体感动作后，电子设备100可识别上述体感动作，进而模拟遥控器200向信号接收模块203发送控制信号。

例如，在跑酷游戏中，当识别到与遥控器200的“上键”对应的体感动作后，电子设备100可产生模拟“上键”的控制信号(模拟信号)。信号接收模块203可接收到上述模拟信号。

响应于信号接收模块203接收的各类控制信号，游戏响应模块204可控制游戏主体执行相应地的动作。例如，响应于信号接收模块203接收的“上键”控制信号，游戏中的跑酷者可执行上跳的操作。上述“上键”控制信号可以是由遥控器200产生的，还可以是由电子设备100模拟遥控器200产生的，即前述实施例中介绍的电子设备100在识别到与遥控器200的“上键”对应的体感动作后产生的。

体感学习模块202可包括遥控器信号模块205、数据录入模块206、学习模块207和动作匹配模块208。此外，电子设备100还包括摄像头400和骨骼节点识别模块209。

其中，遥控器信号模块205的能力包括两部分：一是记录遥控器200发送的特定遥控器按键的控制信号；二是模拟上述控制信号。

具体的，在电子设备100获取用户体感动作数据之前或之后，遥控器信号模块205可将接收到的遥控器200发送的特定遥控器按键的控制信号进行登记。当电子设备100完成用户某一体感动作数据的学习后，电子设备100可将上述登记的控制信号与上述体感动作进行关联。即电子设备100可通过该模块记录用户选定的特定遥控器按键的控制信号。

当完成体感动作学习和匹配遥控器按键的控制信号之后，在游戏中，遥控器信号模块205可模拟上述遥控器按键产生的控制信号对游戏进行控制。具体的，在检测到用户的特定体感动作后，根据体感动作与遥控器按键的控制信号的匹配关系，电子设备100可查询到与上述体感动作关联的遥控器按键的控制信号，进一步的，遥控器信号模块205可模拟上述控制信号控制游戏操作。

例如，遥控器信号模块205可记录遥控器200的“上键”的控制信号。响应于将“上键”与体感动作“跳跃”匹配的用户操作，电子设备100可将上述“上键”的控制信号与体感动作“跳跃”关联。当识别到用户做出“跳跃”的体感动作后，电子设备100可根据上述动作查询到与该动作匹配的遥控器按键“上键”的控制信号，然后，电子设备100可模拟上述控制信号(即模拟信号)对游戏发出控制命令。该模拟信号可实现与遥控器“上键”产生的控制信号相同的控制效果，从而达到控制游戏操作的目的。

数据录入模块206可接收并存储用户的骨骼节点数据。该数据从骨骼节点识别模块209获得。该骨骼节点数据包括两个时期获得的数据：一是学习体感动作时的数据，二是游戏进行时获得的数据。在电子设备100学习用户体感动作时，数据录入模块206可将获得的数据发送到学习模块207。在游戏过程中，数据录入模块206可将获得的数据发送到动作匹配模块208。

学习模块207可依据体感动作学习算法，对接收到的骨骼节点数据进行学习，并生成动作模板。上述动作模板为电子设备100学习用户体感动作得到的一组数据，包括完成该动作时用户的骨骼节点和阈值区间。该动作模板可用于电子设备100识别用户做出的动作。例如，电子设备100学习用户做出“跳跃”动作时的骨骼节点数据，可得到体感动作“跳跃”的动作模板。该模板即可作为电子设备100判断用户做出的动作是否是“跳跃”动作的参考。

上述阈值区间可用于衡量参与比较的体感动作是否与动作模板相似。具体的，当被比较的动作的骨骼节点数据与动作模板中的数据的差距在阈值区间指示的范围内时，电子设备100可认为上述被比较的动作与动作模板指示的动作是同一动作。上述差距可通过被比较动作的骨骼节点数据与动作模板中的骨骼节点数据计算得到。反之，当上述差距在在阈值区间指示的范围外时，则电子设备100认为用户做出的动作不是上述动作模板中的动作。

动作匹配模块208可用于比较用户的体感动作是否与动作模板相似。具体的，动作匹配模块208可从数据录入模块206获得用户在游戏时的骨骼节点数据。然后，动作匹配模块208可计算上述骨骼节点数据与前述动作模板的距离。当上述距离在阈值区间内时，动作匹配模块208可判断上述体感动作与动作模板相似。进一步的，动作匹配模块208可指示遥控器信号模块205产生模拟信号，例如模拟遥控器“上键”的信号。反之，当上述距离不在阈值区间内时，电子设备100不能识别用户完成的体感动作。

摄像头400可采集用户的完成体感动作时的图像，并将上述图像处理为特定格式的骨骼节点识别模块209能够识别的图像数据。骨骼节点识别模块209可从摄像头400发送的上述图像中提取出用户的骨骼节点数据，进一步的，该模块可将上述数据发送给电子设备100的体感学习模块202，具体的体感学习模块202中的数据录入模块206接收并存储上述骨骼节点数据。

在其他实施例中，骨骼节点识别模块209还可设置在摄像头400中，本申请对此不作限制。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的模块，或者组合某些模块，或者拆分某些模块，或者不同的模块布置。

在另一些实施例中，摄像头400还可以是电子设备100通过有线或无线网络等方式连接的摄像头。因此，图2A中示出的电子设备100与摄像头400还可以是独立的模块。电子设备100与摄像头400可通过通信管道建立连接并实现信息交流。

图2B示例性示出了电子设备100的硬件结构。如图2B所示，电子设备100可以包括处理器211，存储器212，无线通信处理模块213，电源开关214，显示屏215，音频模块216，扬声器217，红外接收器218、摄像头219。

其中，处理器211可以包括一个或多个处理单元，例如：处理器211可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器211中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器211中的存储器为高速缓冲存储器。该存储器可以保存处理器211刚用过或循环使用的指令或数据。如果处理器211需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器211的等待时间，因而提高了系统的效率。

存储器212与处理器211耦合，用于存储各种软件程序和/或多组指令。存储器212可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器211通过运行存储在存储器212的指令，从而执行电子设备100的各种功能应用以及数据处理。存储器212可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，待显示的图像数据等)等。此外，存储器212可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

无线通信模块213可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。

在一些实施例中，无线通信处理模块213可以包括蓝牙(BT)通信处理模块213A、WLAN通信处理模块213B、红外线通信处理模块213C。蓝牙(BT)通信处理模块213A、WLAN通信处理模块213B中的一项或多项可以监听到其他设备发射的信号，如探测请求、扫描信号等等，并可以发送响应信号，如探测响应、扫描响应等，使得其他设备可以发现电子设备100，并与其他设备建立无线通信连接，通过蓝牙或WLAN中的一种或多种无线通信技术与其他设备进行通信。其中，蓝牙(BT)通信处理模块213A可以提供包括经典蓝牙(BR/EDR)或蓝牙低功耗(Bluetooth low energy，BLE)中一项或多项蓝牙通信的解决方案。WLAN通信处理模块213B可以包括Wi-Fi direct、Wi-Fi LAN或Wi-Fi softAP中一项或多项WLAN通信的解决方案。

电源开关214，可用于控制电源向电子设备100的供电。在一些实施例中，电源开关214可用于控制外部电源对电子设备100的供电。

显示屏215，可用于显示图像，视频等。显示屏215包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dotlight emitting diodes，QLED)等。

红外接收器218，可用于接收红外信号。示例性的，红外接收器218可以接收遥控设备发送的图形化的红外信号，例如，圆形红外信号、圆环形红外信号、十字形红外信号，等等。

音频模块216，可用于将数字音频信号转换成模拟音频信号输出，也可用于将模拟音频输入转换为数字音频信号。音频模块216还可以用于对音频信号编码和解码。在一些实施例中，音频模块216可以设置与处理器211中，或将音频模块216的部分功能模块设置与处理器211中。音频模块216可以通过总线接口(例如UART接口，等等)向无线通信模块213传递音频信号，实现通过蓝牙音箱播放音频信号的功能。

扬声器217，可用于将音频模块216的发送的音频信号转换为声音信号。

在一些实施例中，电子设备100还可以包括有麦克风，也成“话筒”，“传声器”，用于将声音信号转换为电信号。当发生语音控制指令时，用户可以通过人嘴发声，将声音信号输入到麦克风。

摄像头219，可用于用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给图像信号处理模块(image signal processor，ISP)转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。

在一些实施例中，电子设备100还可以包括有线局域网(local area network，LAN)通信处理模块，高清晰度多媒体接口(high definition multimedia interface，HDMI)通信处理模块，通信串行总线(universal serial bus，USB)通信处理模块。该有线LAN通信处理模块可用于通过有线LAN和通过一个LAN中的其他设备进行通信，还可用于通过有线LAN连接到WAN，可与WAN中的设备通信。该HDMI通信处理模块可用于通过HDMI接口与其他设备进行通信。例如，HDMI通信处理模块可以通过HDMI接口接收机顶盒发送的HDR视频数据，等等。该USB通信处理模块可用于通过USB接口与其他设备进行通信。

在本申请实施例中，红外接收器218可接收遥控器200发送的红外信号(即遥控器200控制电子设备100操作的控制信号)。进一步的，红外线通信处理模块213C处理红外接收器218接收到红外信号。处理器211可根据红外信号包括的控制信息，控制体感学习算法、体感游戏、以及处理游戏动画的过程。上述感学习算法、体感游戏应用程序可存储在存储器212中。

在接收用户选定的特定的遥控器按键的过程中，红外接收器218和红外线通信处理模块213C即可记录用户选定的遥控器按键的控制信号。在其他遥控过程中，响应于用户控制电子设备100的其他操作，上述两个模块可控制电子设备100显示其他用户界面，例如显示电子设备100安装的所有游戏、播放视频等等。

在本申请实施例提供的另一些实施例中，当遥控器200为安装在移动手机、平板电脑等智能终端上的遥控器应用程序时，电子设备100可通过蓝牙(BT)通信处理模块213A、WLAN通信处理模块213B接收并处理遥控器200发出的控制信号。

摄像头219可获取用户完成体感动作的图像或视频。处理器211的图形处理器(GPU)、和/或神经网络处理器(NPU)可运行骨骼节点识别算法，得到上述图像或视频中用户体感动作的骨骼节点数据。在一些实施例中，摄像头219还可是电子设备100通过网络连接的外部摄像头。

在体感学习过程中，处理器211的一个或多个应用处理器(AP)可运行体感学习算法生成动作模板。在游戏过程中，处理器211的一个或多个应用处理器(AP)可运行体感学习算法可识别用户的体感动作，进而匹配遥控器按键的控制信号，模拟上述控制信号，实现对游戏操作的控制。

基于上述方法，用户可以通过完成特定体感动作，实现控制游戏操作。

下面介绍本申请实施例提供的一些用户界面。图3A-图3I示例性示出了电子设备100学习用户自定义体感动作的一组用户界面。图4A-图4D示例性示出了电子设备100通过识别用户自定义体感动作控制游戏的一组用户界面。

图3A示例性示出了电子设备100在游戏模式下展示已安装游戏的用户界面31。用户界面31可包括一些选项控件和体感设置控件。其中：

选项控件可用于展示游戏的封面。用户可通过封面了解游戏的内容。例如图3A，选项控件311可指示的跑酷游戏。一个选项控件对应一个游戏。根据安装游戏的数量，用户界面31中可显示一个或多个选项控件。以图中示例性示出的3个游戏为例，用户界面31还包括选项控件312、选项控件313。

用户可通过遥控器浏览电子设备100安装的所有游戏。在另一些实施例中，用户还可通过语音输入的方式查找想要的游戏。电子设备100可检测到作用于某一选项控件的用户操作，响应于该操作，电子设备100可显示该游戏的游戏界面。

在一些实施例中，用户界面31还可包括控件315。控件315可用于电子设备100获取更多游戏。

体感控件314可用于显示体感设置页面。体感设置页面可用于展示电子设备100已学习的体感动作和匹配关系。当电子设备100检测到作用于体感控件314的用户操作时，响应于该操作，电子设备100可显示如图3B所示的体感设置页面。

可以理解的，用户界面31为一个示例性的电子设备100的游戏页面，不应构成对本申请实施例的限制。

图3B示例性示出了电子设备100用于展示已学习体感动作和匹配关系的用户界面32。用户界面32可包括开关控件321、区域322、添加控件323和返回控件325。

开关控件321可用于指示电子设备100是否启了用体感控制模式。如图所示，开关控件321显示的“ON”符号可指示电子设备100已启用体感控制模式。在体感控制模式下，进入任意一个游戏，电子设备100可按照区域322中指示的匹配关系，识别用户当前的身体动作，从而控制游戏。电子设备100可检测到作用于开关控件321的用户操作，响应于该操作，开关控件321可显示“OFF”符号，从而退出体感控制模式。当退出体感控制模式后，电子设备100则会通过接收遥控器200发送的控制信号来实现控制游戏操作的目的。

区域322可用展示电子设备100已学习的体感动作和每个体感动作匹配的遥控器操作。如图所示，电子设备100已学习的体感动作例如“上跳”、“下蹲”、“右拳”，其中，“上跳”、“下蹲”、“右拳”分别匹配遥控器按键的“上键”、“下键”、“左键”。例如在跑酷游戏中，当电子设备100识别到用户完成“上跳”动作时，电子设备100可模拟遥控器“上键”控制游戏中的跑酷者向上跳跃。

当开关控件指示启用体感控制模式时，区域322中指示的遥控器按键与体感动作的匹配关系可适用于用于界面31中展示的任一游戏。在进入该游戏后，电子设备100可开启摄像头400获取用户的体感动作，进而控制游戏操作。

在另一些实施例中，上述体感动作设置过程也可在进入某一游戏之后再完成。即当用户进入某一游戏后，电子设备100可显示图3B所述的用户界面32。用户可通过上述页面设置游戏中遥控器按键与体感动作的匹配关系。

在其他实施例中，电子设备100可同时在进入游戏前和进入游戏后均显示图3B所述的用户界面。在进入游戏前，用户可通过该界面设置游戏中遥控器按键与体感动作的匹配关系。在进入游戏后，用户还可通过该界面对前述设置的匹配关系进行调整等等。本申请对此不做限制。

返回控件325可用于关闭用户界面32。响应作用于返回控件325的用户操作，电子设备100可显示用户界面31等用户界面。添加控件323可用于电子设备100学习新的体感动作。当检测到作用于添加控件323的用户操作时，响应于该操作，电子设备100可显示如图3C所示的用户界面33。

在一些实施例中，用户界面32还可包括播放控件324。播放控件324可用于展示电子设备100学习的各个体感动作。用户可通过上述视频了解各个体感动作的具体身体形态。

用户界面33可包括对话框331。对话框331可用于记录用户选定的遥控器按键和电子设备100即将学习的体感动作的名称。其中，名称可用标记体感动作。例如，用户可在对话框331中的窗口332中输入名称“左拳”，然后选择将名称“左拳”指示的体感动作匹配到遥控器按键的“右键”。

在一些实施例中，用户可以通过滚动控件选择上述体感动作要匹配的遥控器按键，参考图3C中的滚动控件333。在另一些实施例中，电子设备100还可以在用户完成名称输入后，直接记录用户的下一个遥控器按键操作，将该按键操作中使用的按键作为上述体感动作匹配的遥控器按键。本申请对此不做限制。

在一些实施例中，电子设备100也可先学习体感动作，然后接收用户选择的遥控器按键。本申请实施例对此不作限定。

对话框331还包括取消控件334和确认控件335。当检测到作用于取消控件334的用户操作后，响应于该操作，电子设备100可显示如图3B所示的用户界面32，即关闭对话框331。当检测到作用于确认控件335的用户操作后，响应于该操作，电子设备100可显示如图3D所示的用户界面34。

图3D示例性示出了电子设备100获取用户自定义体感动作的第一图像的用户界面34。如图所示，用户界面34可包括窗口341、提示窗342、窗口343、提示窗345。

窗口341可用于显示摄像头300实时采集的画面。窗口343可用于显示电子设备100锁定的自定义体感动作的第一图像。上述第一图像为用户在完成某一体感动作时相对静止时的图像。例如，用户在完成图3D所述的左拳动作的过程中，用户会产生一系列的肢体形态，最后，该动作会较长时间定格在窗口341所示的形态。此时，包含上述肢体形态的图像可称为第一图像。然后，电子设备100可在窗口343中显示上述第一图像。在其他实施例中，电子设备100还可在识别所述第一图像中的骨骼节点之后，在窗口343中显示包含上述骨骼节点的第一图像。或者，在另一种可选的方式中，电子设备100还可直接在窗口343中显示识别上述第一图像得到的骨骼节点。本申请对此不作限制。

上述第一图像的确定可通过静止检测完成。后续实施例将会具体介绍静止检测过程，这里不再赘述。在一些实施例中，窗口343显示的第一图像还可同时显示用户的骨骼节点。

具体的，当电子设备100进入学习体感动作状态时，即显示用户界面34时，电子设备100可调起摄像头400采集实时图像。电子设备100可在窗口341中显示摄像头400采集的实时图像。

同时，电子设备100可显示提示窗345提示用户正对电子设备100完成体感动作。然后，电子设备100可检测窗口341中的体感动作是否处于静止状态。当检测到静止状态后，电子设备100可将此时窗口341中显示的图像锁定在窗口343中。被锁定的图像(第一图像)中指示的体感动作即为电子设备100识别到的特定的体感动作。该体感动作中的骨骼节点即为电子设备100获取的第一组骨骼节点数据(第一组数据)。

当锁定第一图像后，电子设备100还可显示符号344提示用户已识别。在一些实施例中，上述符号344也可以是文字，例如“已识别”“已通过”等等。本申请对此不作限制。

在显示符合344的同时，电子设备100还可显示提示窗342。提示窗342可用于提示用户上述体感动作的第一图像采集已完成。在显示提示窗342一段时间后，电子设备100可显示图3E所示的用户界面35。上述一段时间可以是3秒、7秒等时间间隔。在一些实施例中，提示窗342中还可以设置专用的控件，例如确认控件。响应作用于该上述控件的用户操作，电子设备100可显示图3E所示的用户界面35。

图3E示例性示出了电子设备100获取用户自定义体感动作的第二图像的用户界面35。用户界面35可包括窗口351、提示窗352、窗口353和提示窗354。

当电子设备100完成第一图像的采集后，电子设备100可显示提示窗354。提示窗354可提示用户将身体转动一定的角度，使之侧对电子设备100，然后再一次完成前述体感动作。

同样的，电子设备100可检测窗口351中的体感动作是否处于静止状态。当检测到静止状态后，电子设备100可将此时窗口351中显示的图像锁定在窗口353中，此时，被锁定的图像为电子设备100获取到的关于上述体感动作的第二图像。识别上述第二图像得到的用户完成该体感动作的骨骼节点即为电子设备100获取的第二组骨骼节点数据(第二组数据)。

在获取上述第二图像的过程中，电子设备100可对用户转动身体的角度进行检验。即在用户转动身体过程中，用户不需要自身去控制具体转动的角度。电子设备100可根据用户转动后的第二图像中的骨骼节点数据去判断用户是否转动身体的角度过大。具体的，在获取到第二图像后，电子设备100可首先识别第二图像指示的关键肢体。当关键肢体发生变化时，电子设备100可认为第二图像不正确，进一步的，电子设备100可提示用户第二图像录入不成功，并指示用户重新转动身体并完成上述动作，从而重新获取第二图像。

例如，当用户转动的角度为90°时，同一动作的识别效果完全不同。此时，电子设备100识别到用户的左腿和右腿、左键与右键基本重合，因此电子设备100可认为用户转动身体的转动范围过大。上述关键肢体是指识别某一动作的过程中，起主要区别作用的肢体。后续实施例将会具体介绍关键肢体，这里不再赘述。

在锁定第二图像后，电子设备100可显示符号“勾”和提示窗352。提示窗352可提示用户第二图像已录入。

同样的，在显示提示窗352后，电子设备100可显示图3F所示的用户界面36。用户界面36可包括窗口363、窗口362、提示窗363、提示窗364。

提示窗363可提示用户正对电子设备100，重新完成上述体感动作。在用户重新完成上述动作的过程中，窗口361可实时显示摄像头400采集的图像。同样的，当检测到窗口361中的体感动作处于静止状态后，电子设备100可将此时窗口361中显示的图像锁定在窗口362中。

此时，窗口362中锁定的图像即为电子设备100获取到的该体感动作的第三图像。该体感动作中的骨骼节点即为电子设备100获取的第三组骨骼节点数据(第三组数据)。

当判断第三图像中的体感动作与第一图像中的动作相似时，电子设备100可显示提示窗364，提示用户该体感动作的学习已完成。然后，电子设备100可显示图3H所示的用户界面38。反之，当判断第三图像中的体感动作与第一图像中的动作不相似时，电子设备100可显示图3G所示的用户界面37。用户界面37可提示用户第三次做出的动作与前两次学习的动作存在较大差异，电子设备100不能识别用户第三次做出的动作。

在一些实施例中，电子设备100也可以直接指示用户正对屏幕，完成3次体感动作。从上述3次完成体感动作的过程中，电子设备100可获取3组骨骼节点数据，进而学习上述动作。

图3G可包括窗口371和提示窗372。提示窗372可提示用户动作不正确，并提示用户重新录入第二图像，参考用户界面35。在一些实施例中，提示窗372也可提示用户重新录入第三图像。当重新录入的图像与第一图像相似后，电子设备100也提示用户该体感动作的学习已完成。

如图3H所示，用户界面38可包括控件381、控件382。控件381可显示图3D-图3F中，电子设备100学习的体感动作的名称。控件382可显示上述体感动作替代的遥控器按键的名称。

当电子设备100经过图3D-图3F的过程，学习了一个新的体感动作后，用户界面38可显示上述电子设备100学习的体感动作的名称，并在该体感动作名称后显示与之匹配的遥控器按键名称，从而示意用户两者之间的替代关系。

在一些实施例中，电子设备100还可支持调整已学习体感动作与遥控器按键之间的匹配关系。例如，电子设备100可在体感动作名称后设置一个选择按钮，例控件383。当检测到作用于的用户控件383操作后，电子设备100可显示所有已学习的体感动作，如图3I中的窗口391所示。然后，用户可选择任意已学习的体感动作匹配控件382中的遥控器按键。例如，用户可选择“下蹲”动作匹配遥控器右键。

窗口391还可包括控件392。控件392可用于电子设备100学习新的体感动作，并将该动作匹配到控件382表示的遥控器按键。例如，响应于作用在控件392的用户操作时，电子设备100可显示图3D-图3F所示的用户界面。实施上述用户界面所示的方法，电子设备100可学习新的体感动作。当学习过程结束后，电子设备100可在控件392中增加一个新的动作，并将该动作匹配到控件382表示的遥控器按键。具体的，电子设备100将学习该动作得到的学习模板与上述遥控按键的控制信号进行关联。

同样的，电子设备100也可在遥控器按键名称后设置选择按钮，例如控件384。从而，用户也可以选择更换体感动作匹配的遥控器按键。

一般的，体感动作与遥控器按键的对应关系为一一对应，即一个体感动作仅匹配一个遥控器按键，一个遥控器按键也仅由一个体感动作代替。在一些实施例中，电子设备100也可支持多个体感动作均匹配一个遥控按键的情形。但是，一个体感动作不能代替多个遥控器按键。

电子设备100可检测到作用于返回控件385的用户操作，响应于该操作，电子设备100可显示用户界面31。然后，当检测到作用于某一游戏选项的用户操作时，电子设备100可显示该游戏的游戏界面。例如，当检测到作用于控件314的用户操作时，响应于该操作，电子设备100可显示图4A所示的用户界面41。

图4A示例性示出了跑酷游戏在开始游戏之前的用户界面41。用户界面41可包括开始控件411。当检测到作用于开始控件411的用户操作后，电子设备100可显示图4B所示的用户界面。用户界面41还可包括一些游戏设置控件，例如选择游戏地图的控件412、购买游戏道具的控件412、查看游戏角色装备的控件414等等，这里不再赘述。

图4B-图4C示例性示出了电子设备100在跑酷游戏中识别用户的体感动作控制游戏操作的一组用户界面。

如图4B所示，用户界面42可包括跑道1、跑道2、跑道3、操作对象4、窗口422。窗口422可显示当前电子设备100通过摄像头400获取到的用户的身体形态。

在之后的某一时刻，电子设备100可获取到用户的特定体感动作，然后，电子设备100可查找上述体感动作关联的遥控器按键，进一步的，电子设备100可模拟上述按键控制游戏中的操作对象产生相应地动作。如用户界面43中的窗口432所示，电子设备100可获取到用户做出的“左拳”动作。此时，电子设备100可识别该体感动作为已学习的“左拳”动作。根据“左拳”动作与遥控器右键的关联关系，电子设备100可模拟右键控制游戏中的操作对象4向右移动，即从用户界面42中所处的跑道2移动到用户界面43中的跑道3中。

在一些实施例中，电子设备100还可在游戏开始页面设置体感设置控件，例如图4D所示的控件441。响应于作用在控件441上的用户操作，电子设备100可显示体感设置页面，如图3B。然后，用户可以查看体感设置中的电子设备100已学习的体感动作和匹配关系，以及指示电子设备100学习新的体感动作等等，详细可参考图3B-图3I。

本申请实施例还提供另一种使用体感动作代替遥控器按键控制游戏操作的方法。在该方法中，电子设备100可先学习用户的自定义体感动作，并将生成动作模板。然后，在用户需要建立体感动作与遥控器按键的匹配关系的过程时，电子设备100可展示上述动作模板供用户选择，上述已学习且未与特定遥控器按键建立匹配关系的动作模板即为预置模板。在选择的过程中，用户可通过完成某一预置模板中的体感动作来选择该模板，然后建立该体感动作与某一遥控器按键的匹配关系。在游戏中，当检测到用户执行上述预置模板中的动作时，电子设备100可匹配上述遥控器按键，进而对游戏进行控制。

图5A-图5C是本申请实施例提供的实施上述方法的一组用户界面。具体的，当检测到作用于用户界面32的添加控件323的用户操作时，响应于该操作，电子设备100还可显示图5A所示的用户界面51。

用户界面51可包括对话框511。对话框511可记录用户选择的被替换的遥控器按键。响应于作用在选择控件512的用户操作，电子设备100可显示滚动控件513。滚动控件513可依次显示遥控器的各个按键。用户可选择其中一个按键作为被替换遥控器按键。同样的，电子设备100还可支持其他选择特定遥控器按键的方式，参考图3C的介绍，这里不再赘述。

当用户选择一个遥控器按键后，例如左键，可以通过确认控件514确认上述选项。电子设备100可检测到用户选择的遥控器按键，以及确认操作，响应于该操作，电子设备100可显示图5B所示的用户界面52。

图5B示例性示出了电子设备100接收用户选择体感动作预置模板的用户界面。如图所示，用户界面52可包括预置模板521、预置模板522、预置模板523、窗口524、提示窗525。

预置模板521、预置模板522、预置模板523均为电子设备100提前预置的体感动作模板。上述预置模板可展示电子设备100已经学习的体感动作。即电子设备100参考图3A-图3I过程学习的用户的体感动作也可保存为动作模板。在需要匹配遥控器按键的时候，电子设备100可调用上述模板。可以理解的，在具体的实践中，用户界面52可显示更多或者更少的预置模板，本申请实施例对此不做限制。窗口524可显示摄像头300采集的图像。提示窗525可用于提示用户如何完成选择预置模板的操作。

首先，用户可通过预置模板521、预置模板522、预置模板523了解预置模板都包括哪些体感动作。然后，用户可根据提示窗525的提示完成上述众多模板中的任意一个。摄像头400可实时采集用户完成体感动作的过程的图像，并将上述图像发送给电子设备100。电子设备100可在窗口524中显示上述图像。同时，电子设备100可通过计算上述图像中指示的体感动作与预置模板中动作的差异，识别用户完成的是哪一模板中的哪一体感动作。例如电子设备100识别到用户完成是预置模板522中的“跨步”动作。当识别成功后，电子设备100可在窗口524中显示标记526，同时，在预置模板522中显示标记527。

此时，电子设备100完成接收用户选择体感动作预置模板的过程。然后，电子设备100可显示图5C所示的用户界面53。

在用户界面53中，区域531可显示前述用户选择的预置模板的名称，区域532可显示前述用户选择的遥控器按键的名称，并通过“等于”符号533示意用户两者之前的对应关系。

然后，用户可通过返回控件534退出体感设置页面。响应于作用在返回控件534的用户操作，电子设备100可显示图3A所示的用户界面31。然后，用户可选择任意游戏。在该游戏中，电子设备100可识别用户的体感动作，将该动作匹配到预置模拟，进一步的通过体感设置中的匹配关系，将该体感动作匹配到被代替的遥控器按键，从而控制游戏操作。

同样的，在其他实施例中，电子设备100也可先接收用户选择的体感动作的预置模板，然后电子设备100可接收用户选择的遥控器按键，本申请实施例对此不作限定。

在其他实施例中，电子设备100展示的预置模板还可从互联网上下载，即电子设备100还可获取其他电子设备共享的体感动作模板。具体的，当电子设备100学习并生成某一个体感动作的动作模板后，用户还可以把上述体感动作发送到互联网上与其他用户共享。因此，电子设备100的用户可从互联网上下载其他用户上传的动作模板作为预置模板。然后，电子设备100可将上述模板与特定的遥控器按键关联。在游戏过程中，电子设备100可识别上述模板中的动作，并查询该动作模板对应的遥控器按键，然后模拟上述按键控制游戏中的操作对象产生相应动作。

在一些实施例中，在识别用户体感动作并控制游戏操作的过程中，电子设备100还可同时支持遥控器300控制上述游戏。本申请对此不作限制。

图3A-图3I、图4A-图4D、图5A-图5C介绍了电子设备100识别用户体感动作，并使用该动作代替遥控器按键，对游戏进行控制的一系列用户界面。实施该方法，用户可以根据自己的喜好，选择特定的体感动作替换遥控器按键操作。上述体感动作既可以是自己任意做出的，也可以是电子设备100预置的一些动作。然后，用户可在游戏中通过体感动作控制游戏操作。该控制过程无需使用特定的体感外设就能将通过遥控器按键控制的传统游戏转换成通过体感动作控制的体感游戏。

实施该方法，用户可以在游戏娱乐中实现运动锻炼，从而达到健身和保持健康的效果。另外，通过本发明提供的方法改造的体感游戏种类和数量均十分丰富，用户可经常更换游戏，从而满足用户的新颖性，促进用户长期坚持锻炼。

下面，本申请实施例将结合上述用户界面，介绍电子设备100学习用户体感动作和替代遥控器操作的流程。图6A示例性示出了电子设备100学习体感动作和替换遥控器操作的流程。

S101电子设备100进入学习模式。

参考用户界面32，当电子设备100可检测到作用添加控件323的用户操作后，响应于该操作，电子设备100可显示用户界面33。此时，电子设备100进入学习用户体感动作的模式。在该模式下，电子设备100可接收用户选定的遥控器按键的控制信号、识别并学习用户的体感动作，并将上述遥控器按键的控制信号和体感动作进行匹配，建立起两者的对应关系。

S102电子设备100获取用户选择的遥控器按键产生的控制信号。

在进入学习模式后，电子设备100首先可接收用户选择的特定的遥控器按键的控制信号。该遥控器按键即为被后续学习的体感动作代替的按键。参考用户界面33，电子设备100可检测到用户通过滚动控件333选择某一遥控器按键的用户操作，响应于该操作，电子设备100可记录用户选择的特定遥控器按键的控制信号，例如响应于用户点击“右键”的操作，遥控器200发送给电子设备100的“右键”控制信号。

S103电子设备100学习用户自定义体感动作，并生成动作模板。

在记录用户选定的遥控器按键的控制信号后，电子设备100可调用摄像头400。通过摄像头400，电子设备100可获取包含用户的骨骼节点的体感动作数据。首先，电子设备100可获得一组用户正对屏幕完成的某一体感动作的骨骼节点数据(第一组数据)。然后，电子设备100可提示用户转换面对屏幕的角度，重新完成上述体感动作。从而，电子设备100可获得另一组用户转换一定角度完成的上述体感动作的骨骼节点数据(第二组数据)。

通过上述两组数据，电子设备100可生成一个动作模板。该动作模板可包括上述体感动作的骨骼节点特征和阈值区间。可以理解的是，上述动作模板还可包括其他参数或指标，从而使得电子设备100生成的动作模板更加准确。

上述骨骼节点特征包括骨骼节点的坐标、骨骼节点所构成的肢体向量。其中肢体向量又包括该向量的模长和该向量与Y轴的夹角。以地面为水平面，Y轴的正方向为垂直于水平面向上的方向，即从人的脚部垂直于水平面指向头部的方向为Y轴的正方向。阈值区间指示电子设备100的接收区间，当任意一组骨骼节点数据与第一组数据的距离在接收区间内，电子设备100可认为上述两组数据指示的两个体感动作相似，为同一动作；反之，两组动作不相似，为不同的动作。具体的，电子设备100如何学习体感动作和计算阈值区间，本申请实施例将在后续体感学习算法部分进行详细介绍，这里不再赘述。

以用户界面34和用户界面35示出了的电子设备100学习体感动作“左拳”为例，电子设备100通过录入的第一图像可获得“左拳”的第一组骨骼节点数据。然后，电子设备100通过录入的第二图像可获得“左拳”的第二组骨骼节点数据。然后，电子设备100可以计算出第二组数据与上述第一组数据的距离。该距离即指示了电子设备100识别“左拳”阈值区间。上述两组骨骼节点数据和阈值区间可组成“左拳”模板。该模板可指导电子设备100识别游戏中用户的体感动作是否为“左拳”动作。

S104电子设备100锁定动作模板。

当通过上述方法生成动作模板后，电子设备100还可要求用户正对电子设备100的摄像头400重新完成一次上述体感动作，从而电子设备100可获得上述动作的第三组骨骼节点数据(第三组数据)。第三组数据可用于确认并锁定动作模板。

具体的，当电子设备100获得第三组数据后，电子设备100可计算第三组数据与第一组数据的距离。然后，电子设备100可将上述距离与上述动作模板中的阈值区间进行比较，当上述距离在阈值区间内时，电子设备100可认为第三组数据指示的体感动作与上述动作模板指示的动作一致，即两者为同一动作。同时，电子设备100可认为用户能正常的完成的该体感动作。于是，电子设备100可锁定上述动作模板，即锁定该动作模板的指示的体感动作的骨骼节点特征和阈值区间。

如果第三组数据与第一组数据的距离不在上述动作模板中的阈值区间内时，电子设备100将不能识别第三组数据指示的体感动作，进一步的，电子设备100还可认为用户不能正常完成该动作。因此，电子设备100不能锁定该动作模板。

于是，电子设备100可重新学习该动作，例如重新获取第二组数据，然后重新计算阈值区间。在另一些实施例中，电子设备100也可要求用户重新确认一次该动作，以保证用户能正常完成该动作，最终使得电子设备100可基于动作模板识别第三组数据指示的体感动作，从而锁定动作模板。

参考用户界面36，电子设备100可通过提示窗363提示用户正对屏幕再一次完成体感动作“左拳”，于是电子设备100可获得“左拳”的第三组骨骼节点数据。然后，电子设备100可计算第三组数据与用户界面34中获取的第一组数据的距离。当上述距离在“左拳”模板的阈值区间内时，电子设备100可识别第三组数据指示的体感动作为“左拳”，并显示提示窗364提示用户“左拳”模板已锁定。当上述距离不在“左拳”模板的阈值区间内时，参考用户界面37，电子设备100可显示提示窗372，提示用户电子设备100需要重新学习“左拳”动作。

S105电子设备100确定控制信号与动作模板的匹配关系。

当完成动作模板锁定后，电子设备100可将上述动作模板与前述用户选择的遥控器按键的控制信号关联。如用户界面38所示，当锁定“左拳”模板后，即完成“左拳”动作的学习后，电子设备100可在“已学习体感动作”区域显示控件381。控件381可指示电子设备100学习的体感动作“左拳”。同时，电子设备100可在控件381后显示控件382。控件382可指示用户选择遥控器按键“右键”。从而，用户可以知道体感动作“左拳”可替代遥控器按键“右键”。

S106进入游戏，电子设备100获取包含用户体感动作的图像。

在电子设备100完成体感动作的学习和与遥控器按键的控制信号的匹配后，电子设备100可检测到用户选择开始某一游戏的用户操作，响应于该操作，电子设备100可显示该游戏的游戏界面。同时，电子设备100可打开摄像头400。摄像头400可获取到包含用户体感动作的图像。电子设备100可显示上述图像。

在一些实施例中，电子设备100还可在显示上述图像的同时显示出骨骼节点识别模块识别出的骨骼节点。

S107电子设备100将用户的体感动作与已学习的动作模板进行匹配。

摄像头400可将上述图像发送给电子设备100。电子设备100可通过上述图像识别出用户的骨骼节点，进一步的，电子设备100可将上述骨骼节点与已学习的所有体感动作的动作模板进行比较，从而识别出上述骨骼节点数据指示的体感动作。

结合图2A所示的电子设备100的软件结构图，当获取到包含用户体感动作的图像后，摄像头400可将上述图像发送到骨骼节点识别模块209。骨骼节点识别模块209可计算出上述图像中用户的体感动作的骨骼节点数据。若上述图像是二维图像，该模块可从上述图像中获得用户骨骼节点的二维数据。若上述图像是带有深度数据的三维图像，则该模块可从上述图像中获得用户骨骼节点的三维数据。

然后，骨骼节点识别模块209可将识别得到骨骼节点数据发送给数据录入模块206。此时，数据录入模块206首先会判断上述数据的来源场景。当数据录入模块206判断上述数据来自摄像头400在游戏过程中获得的时，数据录入模块206可将上述数据发送到动作匹配模块208。

动作匹配模块208可从上述数据中提取出骨骼节点特征，进一步的，动作匹配模块208可计算上述特征与已学习体感动作的动作模板的距离。当该距离在某一个动作模板的阈值区间内时，动作匹配模块208可识别上述数据指示的体感动作。该动作即为上述动作模板指示的体感动作。

参考用户界面43，窗口432可显示摄像头400获取的包含用户体感动作的图像。该图像中还可包括骨骼节点识别模块识别出的骨骼节点。电子设备100可识别上述图像中的体感动作为“左拳”动作。

S108电子设备100模拟与该动作模板匹配的遥控器按键对游戏进行控制。

结合图2A所示的电子设备100的软件结构图，当动作匹配模块208识别出用户的体感动作后，遥控器信号模块205可根据体感动作与遥控器按键的控制信号之间的匹配关系，获得上述体感动作的替换信息，即电子设备100可知道上述体感动作替换的是哪一个遥控器按键产生的控制信号。

遥控器信号模块205可模拟上述控制信号实现对游戏的控制。具体的，遥控器信号模块205可向游戏模块201发送模拟信号。响应于上述模拟信号，上述信号可控制游戏中的角色进行相应地行动。

参考用户界面43，当电子设备100识别到用户做出了一个“左拳”动作后，电子设备100可根据“左拳”动作与遥控器右键的匹配关系，如图3H所示，控制游戏角色4向右移动。响应于向右移动的控制操作，游戏角色4从跑道2移动到了跑道3。

然后，电子设备100又可识别用户的第二个体感动作，并模拟第二个体感动作替代的遥控器按键的控制信号，对游戏进行控制。重复上述过程，直至游戏结束。

下面将详细介绍S103中介绍的电子设备100学习用户自定义体感动作的过程。图6B示例性示出了上述过程具体计算步骤。

首先，图6C示例性示出了标准站姿下的一组骨骼节点数据，包括15个骨骼节点和14个肢体向量，其中各个肢体向量可通过上述15个骨骼节点的坐标位置计算得出。表1示例性示出了第一组数据中14个肢体。

表1

编号	名称	编号	名称
				A	颈	H	躯干
B	右肩	I	右胯
				C	右大臂	J	右大腿
D	右小臂	K	右小腿
				E	左肩	L	左胯
F	左大臂	M	左大腿
				G	左小臂	N	左小腿

上述骨骼节点是基于摄像头400采集的二维图像得出的。

在一些实施例中，摄像头400还可具备采集深度图像的能力，因此摄像头400可获取用户完成体感动作的深度图像。进一步的，电子设备100可获得该体感动作的三维骨骼节点数据。三维数据可参考二维数据的过程，本申请实施例对此不再赘述。

可以理解的是，骨骼节点识别模块209还可识别更多的骨骼节点，本申请实施例对此不做限制。

骨骼节点识别算法包括相似度。相似度可用于电子设备100判断被识别体感动作是否与已学习的动作相似。相似度包括一个阈值，即最低相似度。当计算两组骨骼节点数据得出的相似度低于最低相似度时，上述两组数据所指示的体感动作为不同的动作。反之，上述两组数据所指示的体感动作为相同的动作。

相似度可通过肢体权重和被计算肢体与动作模板中的肢体的距离计算得出。上述计算过程例如是：

相似度＝肢体1的权重*距离1+肢体2的权重*距离2+……+肢体15的权重*距离15。

可以理解的是，上述计算过程为一种可能示例，本申请实施例对此不做限定。

S201电子设备100获取自定义体感动作的第一组骨骼节点数据。

当进入学习模式时，电子设备100可指示用户正对屏幕完成一次自定义的体感动作。摄像头400可获取用户完成该动作的一系列图像帧。电子设备100可通过静止检测识别到用户已完成上述体感动作，然后将静止状态下的图像作为第一图像。第一图像中的骨骼节点数据为第一组骨骼节点数据(即第一组数据)。图6D示例性示出了第一组数据。

上述静止检测可以通过对比连续的几帧图像实现，即在连续的几帧图像中，用户的骨骼节点数据基本一致。此时，电子设备100可判断用户已经完成体感动作。

在其他实施例中，电子设备100也可获取用户完成体感动作的一系列图像帧作为第一组骨骼节点数据，本申请对此不做限制。

S202电子设备100筛选关键肢体，提升关键肢体的相似度计算权重。

电子设备100可计算第一组数据与标准站姿中的骨骼节点数据的肢体向量的相似度。通过相似度，电子设备100可筛选出第一组数据中的关键肢体。

例如，对比图6C，图6D中的腿部、躯干、右臂动作与标准站姿中的对应肢体相似度较高。因此，上述部分的肢体不作为关键肢体；而左大臂、左小臂与标准站姿的对应肢体的差别较大，因此左大臂、左小臂可作为图6D所示的第一组数据的关键肢体，其余部分为非关键肢体。

识别出关键肢体后，电子设备100可相应地提升关键肢体的权重，同时减少非关键肢体的权重。例如非关键肢体之间的相似度为90％时，非关键肢体的权重可降低10％，即新权重＝1-相似度；关键肢体之间的相似度为-70％时，关键肢体的权重可提升为170％。可以理解的，上述调整策略仅为示例性示范，电子设备100还可采用其他的调整关键肢体权重的方法，因此，上述调整策略不应构成对本申请实施例的限制。

S203电子设备100获取自定义体感动作的第二骨骼节点数据。

在获取到用户的第一组数据后，电子设备100可指示用户转换面对屏幕的角度，然后再次完成上述体感动作。在通过静止检测后，电子设备100可获得上述动作的第二图像。第二图像中的骨骼节点数据为第二组骨骼节点数据(即第二组数据)。

当获取到第二组数据后，电子设备100可参考S202的方法，提取出第二组数据中的关键肢体。当第二组数据的关键肢体与前述第一组数据中的关键肢体不一致时，电子设备100可认为上述第二组数据有误。因此，电子设备100可提示用户重新调整面对摄像头400的角度并完成上述动作，进一步的，电子设备100可重新获取第二图像，以及第二组数据。

当第二组数据的关键肢体与前述第一组数据中的关键肢体一致时，电子设备100可进行一下步处理：利用第一组数据和第二组数据计算上述体感动作的阈值区间。

图6E示例性示出了用户转动身体后，摄像头400获取到的第二组数据。用户转动身体可使电子设备100获取的第二组数据与第一组数据存在较为明显的差距。因此，电子设备100在学习该体感动作的阈值区间时，得到的阈值区间会较大，这也就使得电子设备100识别用户在游戏过程中做出的动作的要求降低，从而使用户在游戏过程中能够有更好的游戏体验。

可选的，在其他实施例中，电子设备100获取的第二图像也可是用户正对屏幕完成的，即用户正对屏幕重复3次完成某一体感动作。

S204电子设备100计算阈值区间。

基于第一组数据中的各个肢体向量，电子设备100可计算出每个肢体向量与Y轴的夹角。同理，电子设备100可计算出第二组数据中的每个肢体向量与Y轴的夹角。对任一肢体向量，上述两组数据中的夹角组合即构成了该向量的阈值区间。

例如，以图6D和图6E中的左小臂G为例，通过第一组数据计算出的左小臂G与Y轴的夹角为75°。通过第二组数据计算出的左小臂G与Y轴的夹角为60°。因此，左小臂G与Y轴的夹角的阈值区间为(60°，75°)

S205电子设备100获取自定义体感动作的第三组骨骼节点数据。

当完成阈值区间的计算后，电子设备100可要求用户重新完成一次上述体感动作，从而获得上述动作的第三图像。第三图像可包括第三组骨骼节点数据(第三组数据)。

S206电子设备100识别第三组数据并锁定动作模板。

基于第三组数据中的各个骨骼节点数据，电子设备100可计算出各个肢体向量，进一步可得到每个肢体向量与Y轴的夹角，然后将上述夹角分别与S204中计算的每个肢体向量的阈值区间进行比较。

若第三组数据中的每个肢体向量与Y轴的夹角均在该肢体向量的阈值区间内，则进一步计算第三组数据与第一组数据的相似度M，参考前述相似度计算过程。当相似度M高于最低相似度时，电子设备100可判断第三组数据指示的体感动作与第一组数据指示的体感动作相似。

因此，电子设备100可认为前述两组数据学习结果正确，即通过第一组数据和第二组数据确定的阈值区间合适。并且电子设备100可以确认用户能正常的完成的该体感动作，而不是偶然做出的难以重复完成的动作。从而，电子设备100可以确定前述过程中学习的该体感动作的阈值区间，即锁定学习模板。

反之，电子设备100可认为第三组数据指示的体感动作与第一组数据指示的体感动作不相似。因此，电子设备100可重新获取第二组数据，从而调整动作模板中的阈值区间，提升自身的识别能力。在另一些实施例中，电子设备100也可重新获取第三组数据，从而矫正用户的动作，提升用户动作的准备度。

当锁定动作模板后，电子设备100即完成体感动作的学习过程。在游戏过程中，电子设备100可以上述锁定的模板为基础，识别用户的体感动作，进而完成匹配遥控器按键，实现对游戏的操作。

在可选的实施方式中，电子设备100还可先将学习的体感动作模板保存，作为预置模板。然后，在需要的时，用户可以选择遥控器按键和预置模板，并将上述模板与遥控器按键的控制信号关联。当使用电子设备100预置的动作模板时，电子设备100学习用户体感动作并在游戏中替换遥控器按键的过程可参考图7。

如图7所示，在电子设备100进入学习模式后，电子设备100可学习用户的自定义体感动作，并生成动作模板。具体过程可参考图6A所示的S103和S104的介绍，这里不再赘述。

然后，在用户打开某一游戏之前，或在打开游戏后但开始游戏前，电子设备100可显示体感动作配置页面，参考图5A。此时，电子设备100可接收用户选择的遥控器按键的控制信号，例如用户界面51中示出的“右键”的控制信号。

然后，电子设备100可显示已经学习的动作模板，即预置模板。例如用户界面52中的预置模板521、预置模板522、预置模板523等等。响应作用于某一预置模板的用户操作，电子设备100可建立该模板指示的体感动作与前述选定的遥控器按键的控制信号的匹配关系。参考用户界面52，用户选择某一体感动作的操作可以是完成预置模板中的动作。

电子设备100可检测到用户完成预置模板中的体感动作。此时，电子设备100可获取用户完成体感动作时通过静止检测的图像帧，进一步的，电子设备100可得到用户在完成该动作过程中的骨骼节点数据。通过计算上述数据与预置模板中的骨骼节点数据的差距，电子设备100可通过上述差距与每个预置模板的阈值区间的关系识别用户的完成的是哪一个预置模板指示的体感动作，进而，电子设备100可将该预置模板与前述选定的遥控器按键的控制信号关联起来，确定两者之间匹配关系。例如，当检测到用户完成预置模板“跨步”指示的动作后，电子设备100可将预置模板“跨步”关联到前述过程中选择的遥控器“右键”的控制信号。

实施上述选择预置模板的方法，电子设备100不仅可以知道用户想要选择的预置模板是什么，同时电子设备100还可在选择的过程中检测用户的体感动作是否标准。例如，当用户想要选择预置模板522指示的跨步动作时，电子设备100可检测到用户完成跨步动作的骨骼节点数据。若电子设备100无法识别上述动作，这意味着用户完成上述动作不规范。因而，电子设备100可提示用户更加标准的完成上述动作。这更有利于用户达到在游戏中间锻炼和健身的目标。

在另一些实施例中，电子设备100也可通过遥控器控制的方式选择预置模板，本申请实施例对此不再赘述。

然后，在完成预置模板指示的体感动作与遥控器按键的控制信号的匹配后，用户即可以在游戏中通过体感动作控制游戏操作。在游戏过程中，当电子设备100识别到上述预置模板指示的体感动作时，根据体感动作与遥控器按键的控制信号的匹配关系，电子设备100可查询到上述动作替代的具体遥控器按键的控制信号。然后，电子设备100可模拟上述控制信号控制游戏中的操作对象产生相应地动作。

具体的，电子设备100可在游戏中获取用户的骨骼节点数据。该数据来自于摄像头400采集的包括用户身体形态的图像。基于上述骨骼节点数据，电子设备100可识别用户完成的为哪一个预置模板的体感动作。然后，电子设备100可查询该体感动作匹配的遥控器按键的控制信号。进而，电子设备100可模拟上述控制信号控制游戏操作。

在本申请实施例中：

在上述方法S102中，电子设备接收用户选择的特定的遥控器按键产生的控制信号可被称为第一按键信号。该特定的遥控器按键为第一按键，例如图3C所示的“右键”。

在上述方法S107中，游戏中的角色可称被称为操作对象，例如图4B中的操作对象4。游戏中的角色发生的变化可称被称为第一动作，例如操作对象4从跑道2跳动到跑道3的动作。

在上述方法S103中，用户面对电子设备完成的特定动作可被成称为第一体感动作。电子设备学习用户第一体感动作生成的动作模板可被称为第一动作模板，例如学习用户“左拳”动作得到的“左拳”动作模板。

电子设备显示的遥控器按键和体感动作的可称为第一界面，例如图3H所示的用户界面38。

在上述方法S103中，电子设备采集用户完成体感动作得到的图像帧序列可被称为第一组图像序列。电子设备从第一组图像序列中确定的通过静止检测的图像可被称为第一图像，例如用户界面34中窗口343显示的图像。电子设备识别第一图像中的用户骨骼节点得到的骨骼节点数据可被称为第一组骨骼节点数据。

电子设备再次采集用户完成体感动作得到的图像帧序列可被称为第二组图像帧序列。电子设备从第二组图像帧序列中确定的通过静止检测的图像可被称为第二图像，例如用户界面35中窗口353中显示的图像。电子设备识别第二图像中的用户骨骼节点得到的骨骼节点数据可被称为第二组骨骼节点数据。

同上述，电子设备第三次采集用户完成体感动作得到的图像帧序列中通过静止检测的图像可被称为第三图像。例如用户界面36中窗口363中显示的图像。电子设备识别第三图像中的用户骨骼节点得到的骨骼节点数据可被称为第三组骨骼节点数据。

电子设备预先存储的已经完成学习的体感动作模板可被称为预置动作模板，例如用户界面52中展示的多个动作模板。

在上述方法S107中，电子设备在游戏过程中采集的包括用户完成特定体感动作的图像可称为第四图像，电子设备识别第四图像中的用户骨骼节点得到的骨骼节点数据可被称为第四组骨骼节点数据。

实施图7所示的电子设备100学习用户体感动作并在游戏中替换遥控器按键的方法，电子设备100可将学习过程和与遥控器按键的控制信号建立匹配关系的过程分开。电子设备100可以提前学习多个用户的体感动作，并将上述动作对应的动作模板存为预置模板。因此，用户不必在学习体感动作时就确定该动作对应的遥控器按键。

在用户开始游戏前，用户可以将上述已学习的体感动作与遥控器按键关联，这使得用户可以根据不同游戏的需求，选择体感动作。

在体感动作学习过程中，电子设备100可通过体感学习模块学习自定义动作。因此，用户可以根据自己的喜好，选择特定的体感动作替换遥控器按键操作。该学习模块使用的体感模板生成方法通过对多个角度模板进行仿设变换，计算各肢体阈值区间，可以提升体感动作匹配鲁棒性，从而使得机器可以准确地识别用户的体感动作。

进一步的，在游戏过程中，实施上述方法，用户可以简单快捷地将通过遥控器按键控制的传统游戏转换成通过体感动作控制的体感游戏，并且该转换过程无需使用特定的体感外设，无需对游戏进行定制开发。通过将传统游戏转换成体感游戏，用户可以在游戏娱乐中实现运动锻炼，从而达到健身和保持健康的效果。另外，通过本发明提供的方法改造的体感游戏种类和数量均十分丰富，用户可经常更换游戏，从而满足用户的新颖性，促进用户长期坚持锻炼。

上述实施例中所用，根据上下文，术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地，根据上下文，短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (15)

1.一种控制方法，应用于电子设备，其特征在于，所述方法包括：

获取第一按键信号，所述第一按键信号为遥控器上第一按键产生的控制信号；

响应于所述第一按键信号，所述操作对象进行第一动作；

获取第一动作模板，所述第一动作模板用于识别用户做出的第一体感动作；

将所述第一按键信号与所述第一动作模板关联；

获取包含用户动作的图像序列；

当识别所述图像序列指示的动作与所述第一动作模板匹配时，生成所述第一按键信号；

响应于所述第一按键信号，所述操作对象进行所述第一动作。

2.根据权利要求1所述的方法，其特征在于，将所述第一按键信号与所述第一动作模板关联的步骤之后，所述方法还包括：

显示第一界面，所述第一界面上显示有所述第一动作模板与所述第一按键的关联关系。

3.根据权利要求1或2所述的方法，其特征在于，获取第一动作模板的步骤之前，所述方法还包括：

获取包含用户动作的第一图像；

识别所述第一图像中骨骼节点，获得第一组骨骼节点数据；

在获取第一图像之后，获取包含用户动作的第二图像；

识别所述第二图像中骨骼节点，获得第二组骨骼节点数据；

计算所述第一组骨骼节点数据和所述第二组骨骼节点数据的差距得到阈值区间；

生成所述第一动作模板，所述第一动作模板包括：所述第一组骨骼节点数据，和/或，所述第二组骨骼节点数据，以及所述阈值区间。

4.根据权利要求3所述的方法，其特征在于，获取包含用户动作的第一图像的步骤，具体包括：

采集用户完成体感动作的第一组图像序列；

确定所述第一组图像序列中相比于前一个图像帧用户体感动作的变化幅度最小的图像帧为所述第一图像；

获取包含用户体感动作的第二图像具体包括：

采集用户完成体感动作第二组图像序列；

确定所述第二组图像序列中相比于前一个图像帧用户体感动作的变化幅度最小的图像帧为所述第二图像。

5.根据权利要求3或4所述的方法，其特征在于，生成第一动作模板的步骤之后，所述方法还包括：

获取包含用户动作的第三图像；

识别所述第三图像中骨骼节点，获得第三组骨骼节点数据；

确定所述第三组骨骼节点数据与所述第一动作模板匹配；

锁定所述第一动作模板。

6.根据权利要求5所述的方法，其特征在于，确定所述第三组骨骼节点数据与所述第一动作模板匹配，具体包括：

计算所述第三组骨骼节点数据和所述第一组骨骼节点数据的差距；

当所述差距在所述阈值区间内时，确定所述第三组骨骼节点数据与所述第一动作模板匹配。

7.根据权利要求3-6中任一项所述的方法，其特征在于，所述方法还包括：

将所述第一动作模板作为一个预置动作模板进行存储。

8.根据权利要求1或2所述的方法，其特征在于，获取第一动作模板还包括：

显示第二界面，所述第二界面中显示有供选择的多个预置动作模板；

从所述多个预置动作模板中选择所述第一动作模板。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

学习用户的多个用户动作，分别存储为多个预置动作模板；

和/或，获取共享的多个预置动作模板。

10.根据权利要求8或9所述的方法，其特征在于，从所述多个预置动作模板中选择所述第一动作模板，具体包括：

当识别到用户做出的动作与所述第一动作模板匹配时，从所述多个预置动作模板中选择所述第一动作模板。

11.根据权利要求3-6中任一项所述的方法，其特征在于，在获取包含用户动作的图像序列的步骤之后，所述方法还包括：

从所述图像序列中获取第四图像；

识别所述第四图像中骨骼节点，获得第四组骨骼节点数据；

计算所述第四组骨骼节点数据和所述第一组骨骼节点数据的差距；

当所述差距在所述阈值区间内时，识别所述图像序列指示的动作与所述第一动作模板匹配。

12.一种电子设备，其特征在于，所述电子设备包括一个或多个处理器和一个或多个存储器；其中，所述一个或多个存储器与所述一个或多个处理器耦合，所述一个或多个存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述一个或多个处理器执行所述计算机指令时，使得所述电子设备执行如权利要求1-11任一项所述的方法。

13.一种芯片系统，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1-11中任一项所述的方法。

14.一种包含指令的计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行如权利要求1-11任一项所述的方法。

15.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在电子设备上运行时，使得所述电子设备执行如权利要求1-11任一项所述的方法。

Images