CN112541382B - 一种辅助运动的方法、系统以及识别终端设备 - Google Patents

Abstract

本申请适用于运动识别的技术领域，提供了一种辅助运动的方法、系统以及识别终端设备，所述方法包括：在对用户进行辅助运动的过程中，获取所述用户的实时面部特征；根据所述实时面部特征，识别所述用户的身体状态；若所述身体状态属于第一类状态，则根据所述身体状态调整所述辅助运动对应的输出数据，并根据调整后的所述输出数据对所述用户进行所述辅助运动。通过上述方式，实时获知用户的身体状态。并根据用户的身体状态，调整辅助运动的输出数据。可以避免辅助运动的运动强度不适合用户，而达不到运动效果，提高了用户实际的运动效果。

Description

一种辅助运动的方法、系统以及识别终端设备

技术领域

本申请属于运动识别的技术领域，尤其涉及一种辅助运动的方法、系统以及识别终端设备。

背景技术

随着社会经济的快速发展，人们生活质量不断提高。越来越多的人开始关注运动，参加体育运动的人数也不断上升。当用户在家中运动时，由于没有教练指导，可能因为动作不标准导致运动效果不理想，甚至出现运动拉伤。

辅助运动，是指比对用户运动姿势和标准姿势的差异，并根据差异情况向用户发出提示，以帮助用户校正运动姿势的过程。传统的辅助运动技术是通过传感器采集用户身体各个部位的数据，根据各个身体部位的数据帮助用户校正运动姿势。但是传统的辅助运动技术仅能按照固定的运动强度指导用户完成统一的运动流程，使得用户实际的运动效果不佳。

发明内容

有鉴于此，本申请实施例提供了一种辅助运动的方法、系统以及识别终端设备，可以解决传统的辅助运动技术仅能按照固定的运动强度指导用户完成统一的运动流程，使得用户实际的运动效果不佳的问题。

本申请实施例的第一方面提供了一种辅助运动的方法，所述方法包括：

在对用户进行辅助运动的过程中，获取所述用户的实时面部特征；

根据所述实时面部特征，识别所述用户的身体状态；

若所述身体状态属于第一类状态，则根据所述身体状态调整所述辅助运动对应的输出数据，并根据调整后的所述输出数据对所述用户进行所述辅助运动。

本申请实施例的第二方面提供了一种识别终端设备，包括摄像头、显示屏、投影模块、语音采集模块、存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述第一方面所述方法的步骤。

本申请实施例的第三方面提供了一种辅助运动的系统，所述系统包括：识别终端设备和辅助装置，所述辅助装置中包含机械臂；所述识别终端设备用于在对用户进行辅助运动的过程中，获取所述用户的实时面部特征；根据所述实时面部特征，识别所述用户的身体状态；在所述身体状态属于第一类状态，则根据所述身体状态调整辅助运动对应的输出数据，并将调整后的所述输出数据输入至所述辅助装置；

所述辅助装置根据所述输出数据控制所述机械臂对所述用户的运动姿势进行调整。

本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述方法的步骤。

本申请实施例与现有技术相比存在的有益效果是：在本申请中，通过在对用户进行辅助运动的过程中，获取所述用户的实时面部特征。根据所述实时面部特征，识别所述用户的身体状态。若所述身体状态属于第一类状态，则根据所述身体状态调整辅助运动对应的输出数据，并根据调整后的输出数据对所述用户进行辅助运动。通过上述方式，实时获知用户的身体状态。并根据用户的身体状态，调整辅助运动的输出数据。可以避免辅助运动的运动强度不适合用户，而达不到运动效果。提高了用户实际的运动效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出了本申请提供的一种辅助运动的系统的示意图；

图2示出了本申请提供的一种辅助运动的方法的示意性流程图；

图3示出了本申请提供的一种辅助运动的方法中步骤201的具体示意性流程图；

图4示出了本申请提供的另一种辅助运动的方法的具体示意性流程图；

图5示出了本申请提供的另一种辅助运动的方法的具体示意性流程图；

图6示出了本申请提供的一种辅助运动的方法中面部特征点示意图；

图7示出了本申请提供的另一种辅助运动的方法的具体示意性流程图；

图8示出了本申请提供的另一种辅助运动的方法的具体示意性流程图；

图9示出了本申请提供的一种辅助运动的装置的示意图；

图10示出了本申请一实施例提供的一种识别终端设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

由于传统的辅助运动技术仅能按照固定的运动强度指导用户完成统一的运动流程，使得用户实际的运动效果不佳。

有鉴于此，本申请实施例提供了一种辅助运动的方法、系统以及识别终端设备。可以解决传统的辅助运动技术仅能按照固定的运动强度指导用户完成统一的运动流程，使得用户实际的运动效果不佳的问题。

请参见图1，图1示出了本申请提供的一种辅助运动的系统的示意图。

所述系统包括识别终端设备11和辅助装置12。识别终端设备11包括音频模块111以及摄像模块112。辅助装置12中包含投影模块121以及机械臂122。所述音频模块111用于播放指导用户运动的音频文件，以使用户根据所述音频文件进行运动。所述识别终端设备11用于辅助运动，其辅助运动的流程为：在用户运动过程中摄像模块112或传感器采集用户的运动姿势。并将用户的运动姿势的坐标数据与标准姿势的坐标数据进行比对，得到校正数值。将校正数值传输至音频模块111进行音频输出，以协助用户校正运动姿势。和/或将校正数值传输至机械臂模块122，由机械臂模块122根据校正数值对用户的运动姿势进行调整。

在对用户进行辅助运动的过程中，获取用户的实时面部特征。根据实时面部特征，识别用户的身体状态。在身体状态属于第一类状态，则根据身体状态调整辅助运动对应的输出数据。并将调整后的输出数据输入至音频模块111和/或辅助装置12；

辅助装置12根据调整后的所述输出数据控制所述机械臂122对用户的运动姿势进行调整。

辅助装置12中的投影模块121用于向地面投射影像，以提示用户在指定区域运动。

识别终端设备11和辅助装置12还可以包括语音识别模块、手势识别模块或报警模块。语音识别模块通过识别用户语音信号中的声音信息，根据声音信息生成语音指令。并根据语音指令暂停或加快辅助运动的进度。手势识别模块通过识别用户的手势信息，根据手势信息生成手势指令。并根据手势指令暂停或加快辅助运动的进度。或，通过语音识别模块和/或手势识别模块，触发报警指令。将报警指令发送至报警模块，以将报警信息传递至警察或家人等。

识别终端设备11和辅助装置12可以是固定式的，也可以是移动式。

识别终端设备11和辅助装置12，可以是单独的两种装置，也可以是一种装置同时实现识别终端设备11和辅助装置12的所有功能。

其中，图1仅仅是对辅助运动系统的示意。识别终端设备11和辅助装置12可以包括更多的模块，在此并不做任何限定。

请参见图2，图2示出了本申请提供的一种辅助运动的方法的示意性流程图。

所述方法的执行主体为中央处理单元，还可以是其他通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

如图2所示，该方法可以包括如下步骤：

步骤201，在对用户进行辅助运动的过程中，获取所述用户的实时面部特征。

本实施例根据用户的实时面部特征，获知用户的身体状态。并根据身体状态做出不同的处理。

首先，在对用户进行辅助运动的过程中，获取由摄像模块，采集的实时面部特征。所述实时面部特征包括但不限于实时面部特征点、实时面部颜色饱和度和实时面部亮度中的任意一种或多种。

当所述实时面部特征为实时面部特征点时，则在获取到用户实时面部图像后。获取用户的实时面部特征点的方法包括但不限于SUSAN、Sobel以及dlib人脸检测等算法中的任意一种或多种结合。

当所述实时面部特征为实时面部颜色饱和度和/或实时面部亮度时，则在获取到用户实时面部图像后。提取用户实时面部图像中实时面部颜色饱和度和/或实时面部亮度。

具体地，所述对用户进行辅助运动的过程，包括以下步骤，请参见图3，图3示出了本申请提供的一种辅助运动的方法中步骤201的具体示意性流程图。

步骤2011，获取所述用户的第一全身图像，在所述第一全身图像中获取所述用户的身体关节点坐标。

第一全身图像为用户在站立姿态下或在预设姿态下的全身图像。当得到第一全身图像后，则提取第一全身图像中，用户的身体关节点坐标。其中，身体关节点坐标是指膝盖、颈椎以及手掌等传统关节点，或自定义的身体关节点，例如：大腿中心或胸膛中心等，在此对身体关节点的位置不做任何限定。

步骤2012，获取标准关节点坐标，所述标准关节点坐标为预存的标准姿势对应的身体关节点的坐标。

获取预存的标准关节点坐标，其中，标准关键点坐标是标准姿势对应的身体关节点的坐标，例如：指导教练的身体关节点坐标。

步骤2013，计算所述标准关节点坐标和所述身体关节点坐标之间的第一差值。

第一差值可以是标准关节点坐标减去身体关节点坐标，或身体关节点坐标减去标准关节点坐标。其中，第一差值的正负值代表：辅助运动调整用户姿势的方向。

步骤2014，将所述第一差值传输至音频模块进行音频输出，以协助所述用户校正运动姿势；和/或将所述第一差值传输至机械臂模块，以使得所述机械臂模块根据所述第一差值对所述用户的运动姿势进行调整。

音频模块将所述第一差值通过视频或声音的形式，提醒用户调整运动姿势。和/或将所述差值传输至机械臂模块，通过机械臂移动用户的躯体。以调整用户的运动位置。

其中，在辅助运动过程中，音频模块所起的作用为：通过播放视频信息或声音信息指导用户进行运动，而视频信息或音频信息为运动教练的示范动作。机械臂所起的作用为：根据用户运动姿态与标准姿态之间的差值，校正用户的运动姿势。以使用户的运动姿势与标准姿态一致。例如：当用户手臂关节点坐标与标准关节点坐标之间的差值为(x₁、y₁、z₁)，则将用户手臂关节点在x轴方向上移动x₁单位，在y轴方向上移动y₁单位，在z轴方向上移动z₁单位(其中，差值的正负值代表坐标轴上的正反方向)。

而基于人体构造的缘故，在机械臂移动身体某一关节部位的同时，其他关联关节容易受到影响。例如：需要依次移动用户的大腿、小腿以及脚部时。当机械臂移动用户大腿后，用户的小腿以及脚部容易受到影响。若机械臂从用户脚部向小腿以及大腿方向上依次进行移动，不同部位间不容易受到影响。故，在本实施中，机械臂在调整用户运动姿势前。需预判身体某一关节部位移动后，对其他关节部位造成的位移影响。本实施例通过预先训练完成的优先级模型，获得调整不同关节的优先级。具体地，可将需要调整的关节输入优先级模型中，获取优先级模型输出不同关节的优先级。再根据不同关节的优先级，依次调整用户的不同关节。

而在辅助运动的过程中，由于不同用户对固定运动强度的适应性不同。需要实时识别用户的身体状态，以调整辅助运动对应的输出数据。并根据所述输出数据对所述用户进行辅助运动。提高辅助运动的运动效果。其中，用户的面部表情可以很好的反映用户的身体状态。

步骤202，根据所述实时面部特征，识别所述用户的身体状态。

由于人类的面部表情包含至少21种。面部表情通常是身体状态的映射。这些表情是我们传递信息的重要手段，是一种非语言的交流形式。而在用户运动过程中，由于运动给身体带来的酸痛感或愉悦感等。使得用户不由自主的做出不同的表情。而不同的表情可表征用户当前不同的身体状态。故可根据所述实时面部特征，识别所述用户的身体状态。

当实时面部特征为实时面部特征点时，处理器根据实时面部特征点，获得用户的实时表情。其中，所述实时表情包括皱眉、咧嘴或瞪目等。所述实时表情也可以是一种或多种的结合表情。而不同的实时表情，表征用户实时身体状态。可在实时表情与身体状态之间建立的映射关系，在处理器获知实时表情后，则根据上述映射关系匹配对应的身体状态。

人体在运动时，由于消耗体内大量的糖分或脂肪。造成人体体温上升，体温上升引起脸部的发红或出汗。而对于图像识别而言，在识别用户面部图像时，用户脸部越红，面部颜色饱和度越高。面部出汗越多，面部亮度越高。

当实时面部特征为实时面部颜色饱和度和/或实时面部亮度时，处理器根据实时面部颜色饱和度判断用户脸部是否发红。实时面部颜色饱和度越高，表示用户脸部越红。处理根据实时面部亮度判断用户脸部是否出汗。当实时面部亮度越高，表示用户出汗量越大。可根据用户脸部的发红程度以及出汗程度，匹配对应的身体状态。可在脸部的发红程度与身体状态之间预先建立的映射关系。在处理器获知脸部的发红程度后，则根据上述映射关系匹配对应的身体状态。可在脸部的出汗程度与身体状态之间预先建立的映射关系，在处理器获知脸部的出汗程度后，则根据上述映射关系匹配对应的身体状态。

步骤203，若所述身体状态属于第一类状态，则根据所述身体状态调整所述辅助运动对应的输出数据，并根据调整后的所述输出数据对所述用户进行所述辅助运动。

所述身体状态包括但不限于疲倦、正常或兴奋等。也可将疲倦或兴奋状态划分为不同的等级。

其中，所述第一类状态是指不同等级的疲倦状态、不同等级的兴奋状态或正常状态等。可根据不同的等级，调整辅助运动对应的输出数据。并根据调整后的输出数据对用户进行辅助运动。

辅助运动对应的硬件包括但不限于音频模块或机械臂模块等中的任意一种或多种结合。

若身体状态属于第一类状态，则调整音频模块的输出数据。例如：调整音频模块播放的指导信息中的对应数据(例如：将“腹部抬高3厘米”调整至“腹部抬高2厘米”)，或停止音频模块的播放等。

若身体状态属于第一类状态，则调整机械臂的输出数据。例如：停止机械臂校正用户运动姿势，或调整机械臂校正用户姿势的幅度等。

作为本申请的一个实施例，也可以根据用户的呼吸频率判断用户身体状态。其中，由于“呼气”与“吸气”产生的声音信息不同。故可提取声音信息中用户的“呼气”与“吸气”的频率，以识别用户身体状态。具体可以通过：采集用户呼吸时产生的声音信息，提取所述声音信息中用户的呼吸频率。当呼吸频率超过一定阈值，则判定用户处于第一类状态。也可以通过结合实时面部特征，进行综合判断，提高识别身体状态的精确度。

具体地，所述根据所述身体状态调整所述辅助运动对应的输出数据，包括：获取所述身体状态对应的预设系数；根据所述预设系数调整所述输出数据。

输出数据包括但不限于音频数据和机械臂运动数据中的任意一种或两者的结合。当输出数据为音频数据时，音频模块根据所述音频数据生成声音信息，并播放声音信息。例如：腹部抬高3厘米等，以指导用户进行运动姿势的校正。当输出数据为机械臂运动数据时，机械臂根据机械臂运动数据，规划机械臂的运动轨迹。并根据运动轨迹进行运动，以移动用户躯干。帮助用户将运动姿势校正至标准姿势。

由于不同的身体状态，对不同强度的辅助运动的承受能力不同。例如：在用户十分疲惫，并产生较强烈的肌肉疼痛感时，若此时对用户进行大幅度的辅助运动，用户可能承受不了。故，本实施例通过将不同的身体状态映射不同的预设系数。通过预设系数调整辅助运动的输出数据。以避免辅助运动的运动强度不适合用户当前的身体状态。例如：若第一类状态为疲倦，第二类状态为正常。可将第一类状态对应系数设置为大于0小于1的数值。可将第二类状态对应系数设置为大于或等于1的数值，以调整辅助运动的运动强度。上述数值可根据实际应用场景或统计数据而定，在此不做任何限定。

当处理器获知身体状态后，获取身体状态对应的预设系数。计算预设系数和输出数据之间的乘积，将乘积作为调整后的输出数据。并根据调整后的输出数据对用户进行辅助运动。例如：当处理器得到标准关节点坐标和用户的身体关节点坐标之间的第一差值后。将所述第一差值乘以系数，得到第二数值。将第二数值发送至音频模块或机械臂模块(音频模块调整语音信息或视频信息中的对应数据，机械臂模块调整肢体校正幅度)，以调整用户的运动姿势。

可以理解的是，在本实施例中，所述“根据所述身体状态调整辅助运动对应的输出数据”包括但不限于以下三种情况中的任意一种或多种：①减小辅助运动对应的输出数据②增大辅助运动对应的输出数据③停止辅助运动。一方面，本实施通过减小或增大辅助运动对应的输出数据，以适应不同用户的运动需求，增强了用户的运动效果。另一方面，本实施例通过在用户发生身体不适(疲倦程度较高)时，停止辅助运动，提高了辅助运动的安全性。

在本实施例中，通过在对用户进行辅助运动的过程中，获取所述用户的实时面部特征。根据所述实时面部特征，识别所述用户的身体状态。若所述身体状态属于第一类状态，则根据所述身体状态调整辅助运动对应的输出数据，并根据调整后的输出数据对所述用户进行辅助运动。通过上述方式，实时获知用户的身体状态。并根据用户的身体状态，调整辅助运动的输出数据。可以避免辅助运动的运动强度不适合用户，而达不到运动效果。提高了用户实际的运动效果。

可选地，在上述图2所示实施例的基础上，当所述实时面部特征包括实时面部颜色饱和度和/或实时面部亮度时，所述方法包括如下步骤，请参见图4，图4示出了本申请提供的另一种辅助运动的方法的具体示意性流程图。其中，本实施例中步骤401和步骤404，与图2所示实施例中步骤201和步骤203相同，具体请参阅图2所示实施例中步骤201和步骤203的相关描述，此处不赘述。

步骤401，在对用户进行辅助运动的过程中，获取所述用户的实时面部特征。

步骤402，若获取到的所述实时面部颜色饱和度和/或所述实时面部亮度中，存在特征值大于预设阈值的特征，则判定所述身体状态为第一类状态。

获取用户在非运动状态下的面部图像，提取面部图像中当前面部颜色饱和度以及当前面部亮度。将非运动状态下的当前面部颜色饱作为实时面部颜色饱和度的预设阈值。将非运动状态下的当前面部亮度作为实时面部亮度的预设阈值。其中，实时面部颜色饱的预设阈值和实时面部亮度的预设阈值，可以相同，也可以不同。

在实时面部颜色饱和度和实时面部亮度中，只要存在特征值大于预设阈值的特征，则表示当前运动强度对用户而言，较难承受。故可判定所述身体状态为第一类状态。在本实施例中，所述第一类状态指疲倦状态对应的不同等级。

步骤403，若获取到的所述实时面部颜色饱和度和/或所述实时面部亮度中，所有特征的特征值均小于或等于预设阈值，则判定所述身体状态为第二类状态。

所述第二类状态包括但不限于不同等级的疲倦状态、不同等级的兴奋状态或正常状态等。在本实施例中，所述第二类状态为正常状态。

当面部颜色饱和度小于或等于预设阈值，表示用户脸部未见明显发红。即对于当前而言，用户的运动强度在可承受范围内。

当面部亮度小于或等于预设阈值，表示出汗量较小。即对于当前而言，用户的运动强度在可承受范围内。

当实时面部颜色饱和度小于或等于预设阈值，且实时面部亮度小于或等于预设阈值，则可判定所述身体状态为第二类状态。

作为本申请的一个实施例，也可将面部颜色饱和度或面部亮度的不同数值范围对应不同的身体状态，例如：面部亮度预设有三个数值范围，分别是50至100、100至200以及200至255。当面部亮度处于50至100，则判定所述身体状态为第一类状态。当面部亮度处于100至200，则判定所述身体状态为第二类状态。当面部亮度处于200至255，则判定所述身体状态为第三状态。

步骤404，若所述身体状态属于第一类状态，则根据所述身体状态调整所述辅助运动对应的输出数据，并根据调整后的所述输出数据对所述用户进行所述辅助运动。

步骤405，若所述身体状态属于第二类状态，则在预设间隔时长后，返回执行步骤401以及后续步骤。

在本实施例中，通过若获取到的所述实时面部颜色饱和度和/或所述实时面部亮度中，存在特征值大于预设阈值的特征，则判定所述身体状态为第一类状态。若获取到的所述实时面部颜色饱和度和/或所述实时面部亮度中，所有特征的特征值均小于或等于预设阈值，则判定所述身体状态为第二类状态。上述方式，通过实时面部颜色饱和度和/或所述实时面部亮度，获知用户的身体状态。并根据用户的身体状态，调整辅助运动的输出数据。可以避免辅助运动的运动强度不适合用户，而达不到运动效果。提高了用户实际的运动效果。

可选地，在上述图2所示实施例的基础上，当所述实时面部特征为实时面部特征点坐标时，所述方法包括如下步骤，请参见图5，图5示出了本申请提供的另一种辅助运动的方法的具体示意性流程图。其中，本实施例中步骤501和步骤505，与图2所示实施例中步骤201和步骤203相同，具体请参阅图2所示实施例中步骤201和步骤203的相关描述，此处不赘述。

步骤501，在对用户进行辅助运动的过程中，获取所述用户的实时面部特征。

步骤502，获取实时面部特征点坐标对应的历史面部特征点坐标，所述历史面部特征点坐标为在所述用户处于非运动状态时采集的用户脸部的特征点坐标。

所述历史特征点为预先获取用户在非运动状态下，用户脸部的特征点坐标。用户的面部特征点可以是一个或多个。其中，用户面部特征点采集流程如下：

首先，采集用户在非运动状态下的面部图像，在面部图像中中划分出检测框。使检测框框定图像中的人脸区域。识别人脸区域中的多个人脸特征关键点。各人脸特征关键点组合成分别对应嘴部、眼部、眉毛部和鼻部的各组点集。定义检测框内的坐标系，获取不同面部特征点的坐标。

步骤503，计算所述实时面部特征点坐标与对应的所述历史面部特征点坐标之间的欧式距离。

请参见图6，图6示出了本申请提供的一种辅助运动的方法中面部特征点示意图。

在图6中，用户的面部被划分出多个面部特征点。当用户产生表情时，部分特征点的位置将发生变换。例如：特征点A在非运动状态下处于当前位置。当用户在运动过程中由于运动带来的主观感受，使用户会做出不同的表情。不同的表情使得特征点发生偏移。故可通过计算特征点A在非运动状态下和在运动状态下，发生偏移的数值，以识别用户的表情。

步骤504，将所述欧式距离输入至预先训练完成的模型中进行处理，得到用户实时表情，根据所述实时表情匹配对应的所述身体状态。

通过预先训练完成的模型识别用户不同的实时表情，并根据实时表情匹配对应的身体状态。身体状态包括但不限于第一类状态和第二类状态等。

步骤505，若所述身体状态属于第一类状态，则根据所述身体状态调整所述辅助运动对应的输出数据，并根据调整后的所述输出数据对所述用户进行所述辅助运动。

步骤506，若所述身体状态属于第二类状态，则在预设间隔时长后，返回执行步骤501以及后续步骤。

在本实施例中，通过获取实时面部特征点坐标对应的历史面部特征点坐标。计算所述实时面部特征点坐标与对应的所述历史面部特征点坐标之间的欧式距离。将所述欧式距离输入至预先训练完成的模型中进行处理，得到用户实时表情，根据所述实时表情匹配对应的身体状态。上述方式，通过实时面部特征点坐标，获知用户的身体状态。并根据用户的身体状态，调整辅助运动的输出数据。可以避免辅助运动的运动强度不适合用户，而达不到运动效果。提高了用户实际的运动效果。

可选地，在上述图6所示实施例的基础上，在所述获取所述用户的实时面部特征之前还包括如下步骤，请参见图7，图7示出了本申请提供的另一种辅助运动的方法的具体示意性流程图。其中，本实施例中步骤706至步骤708，与图2所示实施例中步骤201至步骤203相同，具体请参阅图2所示实施例中步骤201至步骤203的相关描述，此处不赘述。

步骤701，获取所述用户在非运动状态下的第二全身图像，在所述第二全身图像中提取多个待调整身体关节点坐标。

步骤702，将多个待调整身体关节点坐标中的待调整横坐标的第一平均值作为中心点横坐标，将多个待调整身体关节点坐标中的待调整纵坐标的第二平均值作为中心点纵坐标，得到由所述中心点横坐标和中心点纵坐标指向的用户中心点坐标。

其中，用户中心点坐标也可以是躯干几何中心或预设位置的坐标。

步骤703，获取预存的标准中心点坐标，所述标准中心点坐标为所述标准姿势对应的用户身体的中心点坐标。

所述标准中心点坐标可以是指导教练的身体关节点坐标，也可以是根据先验知识获得的标准中心点坐标。

步骤704，计算用户中心点横坐标与标准中心点横坐标的商值，得到第一系数；计算用户中心点纵坐标与标准中心点纵坐标的商值，得到第二系数。

由于用户和指导教练的体型可能不同。而不同体型在同一种运动姿态下，关节点的坐标不同，为了减小上述误差。本实施通过计算用户中心点与标准中点之间的商值，以调整用户的身体关节点坐标。

步骤705，根据第一系数校正身体关节点横坐标，根据第二系数校正身体关节点纵坐标，得到调整后的所述身体关节点坐标。

步骤706，在对用户进行辅助运动的过程中，获取所述用户的实时面部特征。

步骤707，根据所述实时面部特征，识别所述用户的身体状态。

步骤708，若所述身体状态属于第一类状态，则根据所述身体状态调整所述辅助运动对应的输出数据，并根据调整后的所述输出数据对所述用户进行所述辅助运动。

在本实施例中，通过获取所述用户在非运动状态下的第二全身图像，在所述第二全身图像中提取多个待调整身体关节点坐标。将多个待调整身体关节点坐标中的待调整横坐标的第一平均值作为中心点横坐标，将多个待调整身体关节点坐标中的待调整纵坐标的第二平均值作为中心点纵坐标，得到由所述中心点横坐标和中心点纵坐标指向的用户中心点坐标。获取预存的标准中心点坐标，所述标准中心点坐标为所述标准姿势对应的用户身体的中心点坐标。计算用户中心点横坐标与标准中心点横坐标的商值，得到第一系数。计算用户中心点纵坐标与标准中心点纵坐标的商值，得到第二系数；根据第一系数校正身体关节点横坐标，根据第二系数校正身体关节点纵坐标，得到调整后的所述身体关节点坐标。通过上述方式，匹配不同体型的用户。以此避免不同用户体型的差异，导致校正运动姿势的误差较大，提高了辅助运动的精准度。

可选地，在上述图7所示实施例的基础上，在所述获取所述用户的实时面部特征之前还包括如下步骤，请参见图8，图8示出了本申请提供的另一种辅助运动的方法的具体示意性流程图。其中，本实施例中步骤706至步骤708，与图2所示实施例中步骤201至步骤203相同，具体请参阅图2所示实施例中步骤201至步骤203的相关描述，此处不赘述。

步骤801，获取所述用户在非运动状态下的第二全身图像，在所述第二全身图像中提取多个待调整身体关节点坐标。

步骤802，将多个待调整身体关节点坐标中的待调整横坐标的第一平均值作为中心点横坐标，将多个待调整身体关节点坐标中的待调整纵坐标的第二平均值作为中心点纵坐标，得到由所述中心点横坐标和中心点纵坐标指向的用户中心点坐标。

步骤803，在所述第二全身图像中提取所述用户的身体部分对应的像素点。

步骤804，将所述身体部分对应的像素点划分为多个像素组，其中单个所述像素组内的像素点的纵坐标相同。

步骤805，计算每个像素组中横坐标的第三平均值。

步骤806，将每个所述像素组的的所述第三平均值作为目标横坐标，并将每个像素组对应的纵坐标作为目标纵坐标，得到由所述目标横坐标和目标纵坐标指向的第一坐标点。

步骤807，将多个所述第一坐标点进行直线拟合，得到人体中线。

直线拟合算法包括但不限于最小二乘法直线拟合等。

步骤808，根据所述人体中线调整用户中心点坐标，得到调整后的用户中心点坐标。

获取经过用户中心点坐标，且与人体中线垂直的直线。获取两条直线的交点。将交点横坐标与用户中心点横坐标之间的平均值，作为调整后的用户中心点横坐标。将交点纵坐标与用户中心点纵坐标之间的平均值作为调整后的用户中心点纵坐标。得到由调整后的所述中心点横坐标和调整后的中心点纵坐标指向的调整后的用户中心点坐标。

步骤809，获取预存的标准中心点坐标，所述标准中心点坐标为所述标准姿势对应的用户身体的中心点坐标。

步骤8010，计算调整后的用户中心点横坐标与标准中心点横坐标的商值，得到第一系数；计算调整后的用户中心点纵坐标与标准中心点纵坐标的商值，得到第二系数。

步骤8011，根据第一系数校正身体关节点横坐标，根据第二系数校正身体关节点纵坐标，得到调整后的所述身体关节点坐标。

步骤8012，在对用户进行辅助运动的过程中，获取所述用户的实时面部特征。

步骤8013，根据所述实时面部特征，识别所述用户的身体状态。

步骤8014，若所述身体状态属于第一类状态，则根据所述身体状态调整所述辅助运动对应的输出数据，并根据调整后的所述输出数据对所述用户进行所述辅助运动。

在本实施中，通过在所述第二全身图像中提取所述用户的身体部分对应的像素点。将所述身体部分对应的像素点划分为多个像素组，其中单个所述像素组内的像素点的纵坐标相同。计算每个像素组中横坐标的第三平均值。将每个所述像素组的的所述第三平均值作为目标横坐标，并将每个像素组对应的纵坐标作为目标纵坐标，得到由所述目标横坐标和目标纵坐标指向的第一坐标点。将多个所述第一坐标点进行直线拟合，得到人体中线。根据所述人体中线调整用户中心点坐标，得到调整后的用户中心点坐标。通过上述方式，调整用户中心点坐标的准确度。进而根据精准的用户中心点坐标调整身体关节点坐标，以提高辅助运动的精确度。

如图9本申请提供了一种辅助运动的装置9，请参见图9，图9示出了本申请提供的一种辅助运动的装置的示意图，如图9所示一种辅助运动的装置包括：

获取单元91，用于在对用户进行辅助运动的过程中，获取所述用户的实时面部特征；

识别单元92，用于根据所述实时面部特征，识别所述用户的身体状态；

判断单元93，用于若所述身体状态属于第一类状态，则根据所述身体状态调整所述辅助运动对应的输出数据，并根据调整后的所述输出数据对所述用户进行所述辅助运动。

本申请提供的一种辅助运动的装置，通过在对用户进行辅助运动的过程中，获取所述用户的实时面部特征。根据所述实时面部特征，识别所述用户的身体状态。若所述身体状态属于第一类状态，则根据所述身体状态调整辅助运动对应的输出数据，并根据调整后的输出数据对所述用户进行辅助运动。通过上述方式，实时获知用户的身体状态。并根据用户的身体状态，调整辅助运动的输出数据，可以避免辅助运动的运动强度不适合用户，而达不到运动效果，提高了用户实际的运动效果。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

图10示出了本申请一实施例提供的一种识别终端设备的示意图。如图10所示，该实施例的一种识别终端设备10包括：包括摄像头100、显示屏101、投影模块102、语音采集模块103、存储器104、处理器105以及存储在所述存储器105中并可在所述处理器上运行的计算机程序106，例如一种辅助运动的程序。所述处理器105执行所述计算机程序106时实现上述各个一种辅助运动的方法实施例中的步骤，例如图2所示的步骤201至步骤203。或者，所述处理器105执行所述计算机程序106时实现上述各装置实施例中各单元的功能，例如图9所示单元91至93。

示例性的，所述计算机程序106可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器104中，并由所述处理器105执行，以完成本申请。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序106在所述一种识别终端设备10中的执行过程。例如，所述计算机程序106可以被分割成获取单元和计算单元各单元具体功能如下：

获取单元，用于在对用户进行辅助运动的过程中，获取所述用户的实时面部特征；

识别单元，用于根据所述实时面部特征，识别所述用户的身体状态；

判断单元，用于若所述身体状态属于第一类状态，则根据所述身体状态调整所述辅助运动对应的输出数据，并根据调整后的所述输出数据对所述用户进行所述辅助运动。

所述一种识别终端设备10可以是车载电脑、设置在车体的笔记本、设置在车体的掌上电脑等计算设备。所述一种识别终端设备可包括，但不仅限于，处理器105、存储器104。本领域技术人员可以理解，图10仅仅是一种识别终端设备10的示例，并不构成对一种识别终端设备10的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种识别终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器105可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器104可以是所述一种识别终端设备10的内部存储单元，例如一种识别终端设备10的硬盘或内存。所述存储器104也可以是所述一种识别终端设备10的外部存储设备，例如所述一种识别终端设备10上配备的插接式硬盘，智能存储卡(Smart MediaCard，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器104还可以既包括所述一种识别终端设备10的内部存储单元也包括外部存储设备。所述存储器104用于存储所述计算机程序以及所述一种识别终端设备所需的其他程序和数据。所述存储器104还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的识别终端设备和方法，可以通过其它的方式实现。例如，以上所描述的识别终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之间。

Claims (9)

1.一种辅助运动的方法，其特征在于，所述方法包括：

在对用户进行辅助运动的过程中，获取所述用户的实时面部特征；

根据所述实时面部特征，识别所述用户的身体状态；

若所述身体状态属于第一类状态，则根据所述身体状态调整所述辅助运动对应的输出数据，并根据调整后的所述输出数据对所述用户进行所述辅助运动；

其中，对用户进行辅助运动的过程，包括：

获取所述用户的第一全身图像，在所述第一全身图像中获取所述用户的身体关节点坐标；

获取标准关节点坐标，所述标准关节点坐标为预存的标准姿势对应的身体关节点的坐标；

计算所述标准关节点坐标和所述身体关节点坐标之间的第一差值；

将所述第一差值传输至音频模块进行音频输出，以协助所述用户校正运动姿势；和/或

将所述第一差值传输至机械臂模块，以使得所述机械臂模块根据所述第一差值对所述用户的运动姿势进行调整。

2.如权利要求1所述的方法，其特征在于，当所述实时面部特征包括实时面部颜色饱和度和/或实时面部亮度时；

所述根据所述实时面部特征，识别所述用户的身体状态，包括：

若获取到的所述实时面部颜色饱和度和/或所述实时面部亮度中，存在特征值大于预设阈值的特征，则判定所述身体状态为第一类状态；

若获取到的所述实时面部颜色饱和度和/或所述实时面部亮度中，所有特征的特征值均小于或等于预设阈值，则判定所述身体状态为第二类状态。

3.如权利要求1所述的方法，其特征在于，当所述实时面部特征为实时面部特征点坐标时；

所述根据所述实时面部特征，识别所述用户的身体状态，包括：

获取实时面部特征点坐标对应的历史面部特征点坐标，所述历史面部特征点坐标为在所述用户处于非运动状态时采集的用户脸部的特征点坐标；

计算所述实时面部特征点坐标与对应的所述历史面部特征点坐标之间的欧式距离；

将所述欧式距离输入至预先训练完成的模型中进行处理，得到用户实时表情，根据所述实时表情匹配对应的所述身体状态。

4.如权利要求1所述的方法，其特征在于，在所述获取所述用户的实时面部特征之前，还包括：

获取所述用户在非运动状态下的第二全身图像，在所述第二全身图像中提取多个待调整身体关节点坐标；

将多个待调整身体关节点坐标中的待调整横坐标的第一平均值作为中心点横坐标，将多个待调整身体关节点坐标中的待调整纵坐标的第二平均值作为中心点纵坐标，得到由所述中心点横坐标和中心点纵坐标指向的用户中心点坐标；

获取预存的标准中心点坐标，所述标准中心点坐标为所述标准姿势对应的用户身体的中心点坐标；

计算用户中心点横坐标与标准中心点横坐标的商值，得到第一系数；计算用户中心点纵坐标与标准中心点纵坐标的商值，得到第二系数；

根据第一系数校正身体关节点横坐标，根据第二系数校正身体关节点纵坐标，得到调整后的所述身体关节点坐标。

5.如权利要求4所述的方法，其特征在于，在所述得到由所述中心点横坐标和中心点纵坐标指向的用户中心点坐标之后，还包括：

在所述第二全身图像中提取所述用户的身体部分对应的像素点；

将所述身体部分对应的像素点划分为多个像素组，其中单个所述像素组内的像素点的纵坐标相同；

计算每个像素组中横坐标的第三平均值；

将每个所述像素组的的所述第三平均值作为目标横坐标，并将每个像素组对应的纵坐标作为目标纵坐标，得到由所述目标横坐标和目标纵坐标指向的第一坐标点；

将多个所述第一坐标点进行直线拟合，得到人体中线；

根据所述人体中线调整用户中心点坐标，得到调整后的用户中心点坐标。

6.如权利要求1所述的方法，其特征在于，所述根据所述身体状态调整所述辅助运动对应的输出数据，包括：

获取所述身体状态对应的预设系数；根据所述预设系数调整所述输出数据。

7.一种识别终端设备，包括摄像头、显示屏、投影模块、语音采集模块、存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。

8.一种辅助运动的系统，其特征在于，所述系统包括识别终端设备和辅助装置，所述辅助装置中包含机械臂；所述识别终端设备用于在对用户进行辅助运动的过程中，获取所述用户的实时面部特征；根据所述实时面部特征，识别所述用户的身体状态；在所述身体状态属于第一类状态，则根据所述身体状态调整辅助运动对应的输出数据，并将调整后的所述输出数据输入至所述辅助装置；

所述辅助装置根据所述输出数据控制所述机械臂对所述用户的运动姿势进行调整；

其中，对用户进行辅助运动的过程，包括：

获取所述用户的第一全身图像，在所述第一全身图像中获取所述用户的身体关节点坐标；

获取标准关节点坐标，所述标准关节点坐标为预存的标准姿势对应的身体关节点的坐标；

计算所述标准关节点坐标和所述身体关节点坐标之间的第一差值；

将所述第一差值传输至音频模块进行音频输出，以协助所述用户校正运动姿势；和/或

将所述第一差值传输至机械臂模块，以使得所述机械臂模块根据所述第一差值对所述用户的运动姿势进行调整。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。