[go: up one dir, main page]

CN109758157A - 基于增强现实的步态康复训练评估方法与系统 - Google Patents

基于增强现实的步态康复训练评估方法与系统 Download PDF

Info

Publication number
CN109758157A
CN109758157A CN201910084978.3A CN201910084978A CN109758157A CN 109758157 A CN109758157 A CN 109758157A CN 201910084978 A CN201910084978 A CN 201910084978A CN 109758157 A CN109758157 A CN 109758157A
Authority
CN
China
Prior art keywords
training
augmented reality
patient
walking
ambulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910084978.3A
Other languages
English (en)
Other versions
CN109758157B (zh
Inventor
薛亚昕
王俊华
王兆坤
韦宇炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xiaokang Medical Technology Co ltd
Original Assignee
Guangzhou Xiaokang Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xiaokang Medical Technology Co ltd filed Critical Guangzhou Xiaokang Medical Technology Co ltd
Priority to CN201910084978.3A priority Critical patent/CN109758157B/zh
Priority to PCT/CN2019/076165 priority patent/WO2020155252A1/zh
Publication of CN109758157A publication Critical patent/CN109758157A/zh
Application granted granted Critical
Publication of CN109758157B publication Critical patent/CN109758157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B23/00Exercising apparatus specially adapted for particular parts of the body
    • A63B23/035Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously
    • A63B23/04Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for lower limbs

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Biophysics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Dentistry (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Rehabilitation Tools (AREA)

Abstract

本发明涉及增强现实领域,涉及一种基于增强现实的步态康复训练评估方法与系统,方法包括:根据康复训练患者的步行功能的评定结果,选择下肢的步行训练环境;选择下肢步行训练模式;将患者脚印投影到跑步机传送带上,搭建步行训练增强现实环境;引导患者进行步行训练,判断预设时间内患者的脚对步行训练增强现实环境中增强现实脚印的踏中率,并给予反馈;在步行训练结束后,对康复训练数据进行处理,输出步行训练的失分原因分析和康复评估报告。本发明通过搭建步行训练增强现实环境引导患者有目标地进行步行训练,提供丰富的步行训练方案和提高患者步行训练的兴趣性,提高下肢步行康复训练的效果。

Description

基于增强现实的步态康复训练评估方法与系统
技术领域
本发明涉及增强现实领域,特别涉及一种基于增强现实的步态康复训练评估方法与系统。
背景技术
众多脑卒中、脑外伤、脊髓损伤及其他骨关节疾患的患者都存在步行不稳、步行姿势不对、步行困难等情况。这部分患者的步行训练,目前多是人工一对一的训练,比如在地上贴步行脚印标贴,一位康复治疗师指导一位患者踏着脚印标贴进行步行训练。
这种传统的步行康复训练方式存在以下问题:训练场地占用大,训练环境单调,患者训练枯燥无味,治疗师占用人力成本高,步行训练表现的评估方面也存在问题。
发明内容
本发明的实施方式旨在至少解决现有技术中存在的技术问题之一。
为此,本发明的实施方式需要提供一种基于增强现实的步态康复训练评估方法,其特征在于,包括:
步骤1,根据康复训练患者的步行功能的评定结果,选择下肢的步行训练环境;其中,步行训练环境包括平地行走环境、上坡环境和下坡环境中的一种或多种;
步骤2,选择下肢步行训练模式;其中,训练模式包括容易、中等、较难和自定义中任意一种步行难易程度模式;
步骤3,将患者在当前下肢步行训练模式中的脚印投影到跑步机传送带上,搭建步行训练增强现实环境,用于引导患者进行步行训练;
步骤4,引导患者进行步行训练,在训练过程中判断预设时间内患者的脚对步行训练增强现实环境中增强现实脚印的踏中率,并给予反馈;
步骤5,在步行训练结束后,对康复训练数据进行处理,输出步行训练的失分原因分析和康复评估报告。
一种实施方式中,步骤3包括:将患者在当前下肢步行训练模式中的脚印投影到跑步机传送带上,通过Kinect体感设备、计算机、跑步机和投影仪搭建步行训练增强现实环境;其中,搭建步行训练增强现实环境包括:预先设计一个包括虚拟脚印的增强现实环境;然后通过投影仪将增强现实环境投影在跑步机传送带上,在患者步行训练时由Kinect体感设备采集数据并交由计算机计算得出步态数据以及对增强现实脚印的踏中率。
一种实施方式中,步骤2包括:选择下肢步行训练模式,并通过控制增强现实脚印的步长、步距以及跑步机传送带速度,来呈现包括容易、中等、较难和自定义中任意一种步行难易程度模式。
一种实施方式中,步骤4包括:引导患者进行步行训练,在训练过程中利用Kinect体感设备采集患者的人体骨骼点三维位置坐标并传输至计算机,由计算机计算得出包括步长、步宽、步高在内的步态数据,并判断预设时间内患者的脚对增强现实脚印的踏中率,给予反馈。
一种实施方式中,步骤5包括:预先构建下肢步行康复训练效果评估模型,在步行训练结束后,利用下肢步行康复训练效果评估模型对康复训练数据进行处理,输出步行训练的失分原因分析和康复评估报告;其中,预先构建下肢步行康复训练效果评估模型包括确定训练前情况、训练设置情况和训练过程情况在内的二级指标,并利用网络分析法获得各个指标的权重,再结合权重向量和灰色评估矩阵获得评估结果并记载在康复评估报告中。
本发明实施方式还提出一种基于增强现实的步态康复训练评估系统,其特征在于,包括:
环境选择模块,用于根据康复训练患者的步行功能的评定结果,选择下肢的步行训练环境;其中,步行训练环境包括平地行走环境、上坡环境和下坡环境中的一种或多种;
模式选择模块,用于选择下肢步行训练模式;其中,训练模式包括容易、中等、较难和自定义中任意一种步行难易程度模式;
增强现实搭建模块,用于将患者在当前下肢步行训练模式中的脚印投影到跑步机传送带上,搭建步行训练增强现实环境,用于引导患者进行步行训练;
训练计算模块,用于在训练过程中判断预设时间内患者的脚对步行训练增强现实环境中增强现实脚印的踏中率,并给予反馈;
分析模块,用于在步行训练结束后,对康复训练数据进行处理,输出步行训练的失分原因分析和康复评估报告。
一种实施方式中,增强现实搭建模块,具体用于将患者在当前下肢步行训练模式中的脚印投影到跑步机传送带上,通过Kinect体感设备、计算机、跑步机和投影仪搭建步行训练增强现实环境;其中,搭建步行训练增强现实环境包括:预先设计一个包括虚拟脚印的增强现实环境;然后通过投影仪将增强现实环境投影在跑步机传送带上,在患者步行训练时由Kinect体感设备采集数据并交由计算机计算得出步态数据以及对增强现实脚印的踏中率。
一种实施方式中,模式选择模块,具体用于选择下肢步行训练模式,并通过控制增强现实脚印的步长、步距以及跑步机传送带速度,来呈现包括容易、中等、较难和自定义中任意一种步行难易程度模式。
一种实施方式中,训练计算模块,具体用于在训练过程中利用Kinect体感设备采集患者的人体骨骼点三维位置坐标并传输至计算机,由计算机计算得出包括步长、步宽、步高在内的步态数据,并判断预设时间内患者的脚对增强现实脚印的踏中率,给予反馈。
一种实施方式中,分析模块,具体用于预先构建下肢步行康复训练效果评估模型,在步行训练结束后,利用下肢步行康复训练效果评估模型对康复训练数据进行处理,输出步行训练的失分原因分析和康复评估报告;其中,预先构建下肢步行康复训练效果评估模型包括确定训练前情况、训练设置情况和训练过程情况在内的二级指标,并利用网络分析法获得各个指标的权重,再结合权重向量和灰色评估矩阵获得评估结果并记载在康复评估报告中。
本发明实施方式的基于增强现实的步态康复训练评估方法与系统,通过搭建步行训练增强现实环境引导患者有目标地进行步行训练,并且可以通过调整增强现实脚印来设置不同训练模式,在训练中可以实现及时反馈并在训练后给予准确的失分原因评估并生成评估报告,大幅提高下肢康复训练的效果。
本发明的附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的实施方式的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1是本发明实施方式的基于增强现实的步态康复训练评估方法的流程示意图;
图2是本发明实施方式的基于增强现实的步态康复训练评估系统的组成示意图;
图3是本发明实施方式中步行训练增强现实环境搭建的设备连接示意图;
图4是本发明实施方式中步行训练的引导步行示意图。
具体实施方式
下面详细描述本发明的实施方式,实施方式的示例在附图中示出,其中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅可用于解释本发明的实施方式,而不能理解为对本发明的实施方式的限制。
请参阅图1,本发明实施方式的基于增强现实的步态康复训练评估方法,包括:
步骤1,根据康复训练患者的步行功能的评定结果,选择下肢的步行训练环境;其中,步行训练环境包括平地行走环境、上坡环境和下坡环境中的一种或多种;
步骤2,选择下肢步行训练模式;其中,训练模式包括容易、中等、较难和自定义中任意一种步行难易程度模式;
步骤3,将患者在当前下肢步行训练模式中的脚印投影到跑步机传送带上,搭建步行训练增强现实环境,用于引导患者进行步行训练;
步骤4,引导患者进行步行训练,在训练过程中判断预设时间内患者的脚对步行训练增强现实环境中增强现实脚印的踏中率,并给予反馈;
步骤5,在步行训练结束后,对康复训练数据进行处理输出步行训练的失分原因分析和康复评估报告。
请参阅图2,本发明实施方式的基于增强现实的步态康复训练评估系统,包括:
环境选择模块,用于根据康复训练患者的步行功能的评定结果,选择下肢的步行训练环境;其中,步行训练环境包括平地行走环境、上坡环境和下坡环境中的一种或多种;
模式选择模块,用于选择下肢步行训练模式;其中,训练模式包括容易、中等、较难和自定义中任意一种步行难易程度模式;
增强现实搭建模块,用于将患者在当前下肢步行训练模式中的脚印投影到跑步机传送带上,搭建步行训练增强现实环境,用于引导患者进行步行训练;
训练计算模块,用于引导患者进行步行训练,在训练过程中判断预设时间内患者的脚对步行训练增强现实环境中增强现实脚印的踏中率,并给予反馈;
分析模块,用于在步行训练结束后,对康复训练数据进行处理输出步行训练的失分原因分析和康复评估报告。
在该实施方式中,基于增强现实的步态康复训练评估方法以基于增强现实的步态康复训练评估系统作为步骤的执行对象,或者以系统内的各个模块作为步骤的执行对象。具体地,步骤1以环境选择模块作为步骤的执行对象,步骤2以模式选择模块作为步骤的执行对象,步骤3以增强现实搭建模块作为步骤的执行对象,步骤4以训练计算模块作为步骤的执行对象,步骤5以分析模块作为步骤的执行对象。
在步骤1中,环境选择模块根据康复训练患者的步行功能的评定结果,确定下肢的步行训练环境是平地行走环境、上坡环境、下坡环境还是综合环境,这个步行训练环境的变化,可以由动力结构推动跑台,再通过变换跑台平面的角度来实现。
在步骤2中,确定某步行训练环境后,模式选择模块选择包括容易、中等、较难和自定义中任意一种下肢步行训练模式;即步行训练模式包括多种难易程度,可以通过由步行速度、步长、步宽、步行时间等参数来设定。
步骤3中,增强现实搭建模块在训练过程中,通过投影仪将患者在当前下肢步行训练模式中的脚印投影到跑步机传送带上,搭建步行训练增强现实环境,用于引导患者进行步行训练。
具体地,步骤3包括:通过投影仪将患者在当前下肢步行训练模式中的脚印投影到跑步机传送带上,增强现实搭建模块通过Kinect体感设备、计算机、跑步机和投影仪搭建步行训练增强现实环境;其中,搭建步行训练增强现实环境包括:预先设计一个包括虚拟脚印的增强现实环境;然后通过投影仪将增强现实环境投影在跑步机传送带上面,在患者步行训练时由Kinect体感设备采集数据并交由计算机计算得出步态数据以及对增强现实脚印的踏中率。
Kinect体感设备是微软公司推出的一种3D体感摄影机,具备即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能。Kinect体感设备不需要使用任何控制器,可以依靠相机捕捉三维空间中玩家的运动,并且也能辨识人脸,还可辨认声音和接受命令。在本发明中,可以借助Kinect体感设备的深度摄像头实时跟踪和获取人体25个骨骼点的三维位置信息。
请参阅图3,图3中包括Kinect体感设备、计算机、投影仪和跑步机,首先将Kinect体感设备和投影仪、计算机相连接。然后在计算机Unity3D游戏引擎中建立引导步行的增强现实坏境,引导步行的增强现实脚印根据设定的固定步长以及步宽循环出现。再通过Kinect体感设备得到人体的骨骼关节点三维空间坐标,实时获取视野范围内进行康复训练的患者每帧的关节点位置信息(即人体骨骼点的三维位置信息),再将关节点位置信息这些数据发送至计算机,由计算机根据实时检测的关节点位置信息来计算患者踩中增强现实脚印的重合率,统计踩中个数,并计算步长、步宽、步高等数据。
进一步地,步骤2中模式选择模块选择下肢步行训练模式可以利用搭建的步行训练增强现实环境,通过控制增强现实脚印的步长、步距以及跑步机传送带速度,来呈现包括容易、中等、较难和自定义中任意一种步行难易程度模式。
步骤4中,请参阅图4,包括虚拟脚印1,患者真实脚印2,患者脚印与虚拟脚印重合区域3和标识区域4。训练计算模块引导患者进行步行训练,在训练过程中由Kinect体感设备实时获取患者人体骨骼的关节点位置信息并进行处理,取踝关节Ankle为计算基准,实时获取左右踝关节的信息即AnkleLeft和AnkleRight,取两个踝关节深度距离(即Z值)之差的绝对值作为实时间距,根据此间距变化来划分步态周期。同时以左右踝关节深度距离之差的最大值记录为当前周期步长,左右踝关节基于Kinect水平方向距离(即X值)之差的最大值为当前周期步宽,左右踝关节基于Kinect垂直方向距离(即Y值)之差的最大值为当前周期步高。
患者在跑步机上进行步行训练时,步行训练增强现实环境循环出现引导步行的增强现实脚印,由投影仪将增强现实脚印投影在跑步机跑带上面,如图4所示,其中虚拟脚印1由投影仪投影出来,会随着跑步机跑带的速度滑动,根据康复医学的训练需求设置了包括容易、中等、困难和自定义等多个难度的速度等级。每个难度等级都有对应的速度,同时将虚拟场景中虚拟脚印1运动速度设置成匹配跑带的速度,使其完成同步。当虚拟脚印1移动到标识区域4时,患者需要将脚移动到虚拟脚印1的位置,区分左右脚。图中阴影区域即重合区域3,虚拟脚印投影出来的大小是参照正常人脚印大小设置,使其更加接近真实情况。因为标识区域4相对于Kinect体感设备的摄像头位置是固定的,所以只需要将实时获取的人体踝关节和脚部的位置信息进行计算,可以得到患者脚的中心点位置信息。由于每个人的脚长宽都不一样,这里做了统一化处理,计算面积时长宽是和虚拟脚印的一样,使其更便于计算。记阴影面积为Sy,虚拟脚印面积为S,所以脚印重合率P为即训练计算模块利用Kinect体感设备采集患者的人体骨骼点三维位置坐标并传输至计算机,由计算机计算得出包括步长、步宽、步高在内的步态数据,并判断预设时间内患者的脚对增强现实脚印的踏中率,给予反馈,在训练中反馈的形式可以是语音提示也可以是以图像方式进行提示,在此不做限定。
步骤5中,分析模块预先构建下肢步行康复训练效果评估模型,在步行训练结束后,利用下肢步行康复训练效果评估模型对康复训练数据进行处理,输出步行训练的失分原因分析和康复评估报告;其中,预先构建下肢步行康复训练效果评估模型包括确定训练前情况、训练设置情况和训练过程情况在内的二级指标,并利用网络分析法获得各个指标的权重,再结合权重向量和灰色评估矩阵获得评估结果记载在康复训练报告中。
具体地,分析模块构建下肢步行康复训练效果评估模型,首先确定评价指标,根据本康复训练的内容和特点结合医学需求选取指标。然后建立指标的网络层次结构,根据下肢康复训练的实际情况建立。为了合理的划分评价指标,设置二级指标:主要分为训练前情况、训练设置情况和训练过程情况3类,每一类二级指标又包含不同个数的三级指标。其中,二级指标中的训练前情况包括下肢Lovett肌力分级评定、Berg平衡量表评定、下肢Fugl-Meyer运动功能评估;二级指标中的训练设置包括虚拟脚印难易程度、训练时长、训练速度;二级指标中的训练过程情况包括脚印重合率、反应速度、训练完成比例、动作轨迹平滑度、动作方向准确度。下肢康复训练评估指标中的各级指标如表1所示:
表1
然后根据网络分析法通过以下步骤获得各个指标的权重,包括:
(1)构造初始超矩阵
(2)构造加权超矩阵
(3)计算极限超矩阵
(4)最后得出各指标的权重。
网络分析法(ANP)是美国匹兹堡大学的T.L.Saaty教授于1996年提出的一种适应非独立的递阶层次结构的决策方法,它是在层次分析法(Analytic Hierarchy Process,简称AHP)的基础上发展而形成的一种新的实用决策方法。AHP作为一种决策过程,它提供了一种表示决策因素测度的基本方法。这种方法采用相对标度的形式。在递阶层次结构下,它根据所规定的相对标度—比例标度,对同一层次有关元素的相对重要性进行两两比较,并按层次从上到下合成方案对于决策目标的测度。本发明则利用上述多个步骤来获得下肢康复训练评估指标中各个指标的权重。
再由灰色系统理论构建模糊评估矩阵,首先建立样本矩阵,然后确定评估灰类,最后构建评估指标的灰色评估矩阵。结合权重向量和灰色评估矩阵可以得出最终评估结果。在控制理论中,人们常用颜色的深浅形容信息的明确程度,如用“黑”表示信息未知,用“白”表示信息完全明确,用“灰”表示部分信息明确、部分信息不明确。相应地,信息完全明确的系统称为白色系统;信息完全不明确的系统称为黑色系统;部分信息明确、部分信息不明确的系统称为灰色系统。灰色系统理论的研究对象是“部分信息已知、部分信息未知”的“贫信息”不确定系统,它通过“部分”已知信息的生成、开发,实现对现实世界的确切描述和认识。其研究的主要内容包括以灰色朦胧集为基础的理论体系,以灰色关联空间为依托的分析系统,以灰色序列生成为基础的方法体系,以灰色模型(GM)为核心的模型体系,以系统分析、评估、建模、预测、决策、控制、优化为主体的技术体系。本发明则利用灰色系统理论来构建下肢康复训练评估指标的灰色评估矩阵,以便结合之前获得的权重向量和灰色评估矩阵来得出最终患者进行步行训练的评估结果。
综上所述,本发明通过搭建步行训练增强现实环境引导患者有目标地进行步行训练,并且可以通过调整增强现实脚印来设置不同训练模式,在训练中可以实现及时反馈并在训练后给予准确的失分原因评估并生成康复评估报告,提供丰富的步行训练方案和提高患者步行训练的兴趣性,提高下肢步行康复训练的效果。
在本发明的实施方式的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明的实施方式和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的实施方式的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的实施方式的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明的实施方式的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接或可以相互通讯;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明的实施方式中的具体含义。
在本发明的实施方式中,除非另有明确的规定和限定,第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触,也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且,第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方,或仅仅表示第一特征水平高度小于第二特征。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的实施方式的不同结构。为了简化本发明的实施方式的公开,下文中对特定例子的部件和设置进行描述。当然,它们仅仅为示例,并且目的不在于限制本发明。此外,本发明的实施方式可以在不同例子中重复参考数字和/或参考字母,这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施方式和/或设置之间的关系。此外,本发明的实施方式提供了的各种特定的工艺和材料的例子,但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。此外,在本发明的各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于增强现实的步态康复训练评估方法,其特征在于,包括:
步骤1,根据康复训练患者的步行功能的评定结果,选择下肢的步行训练环境;其中,步行训练环境包括平地行走环境、上坡环境和下坡环境中的一种或多种;
步骤2,选择下肢步行训练模式;其中,训练模式包括容易、中等、较难和自定义中任意一种步行难易程度模式;
步骤3,将患者在当前下肢步行训练模式中的脚印投影到跑步机传送带上,搭建步行训练增强现实环境,用于引导患者进行步行训练;
步骤4,引导患者进行步行训练,在训练过程中判断预设时间内患者的脚对步行训练增强现实环境中增强现实脚印的踏中率,并给予反馈;
步骤5,在步行训练结束后,对康复训练数据进行处理,输出步行训练的失分原因分析和康复评估报告。
2.如权利要求1所述基于增强现实的步态康复训练评估方法,其特征在于,步骤3包括:将患者在当前下肢步行训练模式中的脚印投影到跑步机传送带上,通过Kinect体感设备、计算机、跑步机和投影仪搭建步行训练增强现实环境;其中,搭建步行训练增强现实环境包括:预先设计一个包括虚拟脚印的增强现实环境;然后通过投影仪将增强现实环境投影在跑步机传送带上,在患者步行训练时由Kinect体感设备采集数据并交由计算机计算得出步态数据以及对增强现实脚印的踏中率。
3.如权利要求2所述基于增强现实的步态康复训练评估方法,其特征在于,步骤2包括:选择下肢步行训练模式,并通过控制增强现实脚印的步长、步距以及跑步机传送带速度,来呈现包括容易、中等、较难和自定义中任意一种步行难易程度模式。
4.如权利要求3所述基于增强现实的步态康复训练评估方法,其特征在于,步骤4包括:引导患者进行步行训练,在训练过程中利用Kinect体感设备采集患者的人体骨骼点三维位置坐标并传输至计算机,由计算机计算得出包括步长、步宽、步高在内的步态数据,并判断预设时间内患者的脚对增强现实脚印的踏中率,给予反馈。
5.如权利要求4所述基于增强现实的步态康复训练评估方法,其特征在于,步骤5包括:预先构建下肢步行康复训练效果评估模型,在步行训练结束后,利用下肢步行康复训练效果评估模型对康复训练数据进行处理,输出步行训练的失分原因分析和康复评估报告;其中,预先构建下肢步行康复训练效果评估模型包括确定训练前情况、训练设置情况和训练过程情况在内的二级指标,并利用网络分析法获得各个指标的权重,再结合权重向量和灰色评估矩阵获得评估结果并记载在康复评估报告中。
6.一种基于增强现实的步态康复训练评估系统,其特征在于,包括:
环境选择模块,用于根据康复训练患者的步行功能的评定结果,选择下肢的步行训练环境;其中,步行训练环境包括平地行走环境、上坡环境和下坡环境中的一种或多种;
模式选择模块,用于选择下肢步行训练模式;其中,训练模式包括容易、中等、较难和自定义中任意一种步行难易程度模式;
增强现实搭建模块,用于将患者在当前下肢步行训练模式中的脚印投影到跑步机传送带上,搭建步行训练增强现实环境,用于引导患者进行步行训练;
训练计算模块,用于在训练过程中判断预设时间内患者的脚对步行训练增强现实环境中增强现实脚印的踏中率,并给予反馈;
分析模块,用于在步行训练结束后,对康复训练数据进行处理,输出步行训练的失分原因分析和康复评估报告。
7.如权利要求6所述基于增强现实的步态康复训练评估系统,其特征在于,增强现实搭建模块,具体用于将患者在当前下肢步行训练模式中的脚印投影到跑步机传送带上,通过Kinect体感设备、计算机、跑步机和投影仪搭建步行训练增强现实环境;其中,搭建步行训练增强现实环境包括:预先设计一个包括虚拟脚印的增强现实环境;然后通过投影仪将增强现实环境投影在跑步机传送带上,在患者步行训练时由Kinect体感设备采集数据并交由计算机计算得出步态数据以及对增强现实脚印的踏中率。
8.如权利要求7所述基于增强现实的步态康复训练评估系统,其特征在于,模式选择模块,具体用于选择下肢步行训练模式,并通过控制增强现实脚印的步长、步距以及跑步机传送带速度,来呈现包括容易、中等、较难和自定义中任意一种步行难易程度模式。
9.如权利要求8所述基于增强现实的步态康复训练评估系统,其特征在于,训练计算模块,具体用于在训练过程中利用Kinect体感设备采集患者的人体骨骼点三维位置坐标并传输至计算机,由计算机计算得出包括步长、步宽、步高在内的步态数据,并判断预设时间内患者的脚对增强现实脚印的踏中率,给予反馈。
10.如权利要求9所述基于增强现实的步态康复训练评估系统,其特征在于,分析模块,具体用于预先构建下肢步行康复训练效果评估模型,在步行训练结束后,利用下肢步行康复训练效果评估模型对康复训练数据进行处理,输出步行训练的失分原因分析和康复评估报告;其中,预先构建下肢步行康复训练效果评估模型包括确定训练前情况、训练设置情况和训练过程情况在内的二级指标,并利用网络分析法获得各个指标的权重,再结合权重向量和灰色评估矩阵获得评估结果并记载在康复评估报告中。
CN201910084978.3A 2019-01-29 2019-01-29 基于增强现实的步态康复训练评估方法与系统 Active CN109758157B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910084978.3A CN109758157B (zh) 2019-01-29 2019-01-29 基于增强现实的步态康复训练评估方法与系统
PCT/CN2019/076165 WO2020155252A1 (zh) 2019-01-29 2019-02-26 基于增强现实的步态康复训练评估方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910084978.3A CN109758157B (zh) 2019-01-29 2019-01-29 基于增强现实的步态康复训练评估方法与系统

Publications (2)

Publication Number Publication Date
CN109758157A true CN109758157A (zh) 2019-05-17
CN109758157B CN109758157B (zh) 2020-08-25

Family

ID=66454535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910084978.3A Active CN109758157B (zh) 2019-01-29 2019-01-29 基于增强现实的步态康复训练评估方法与系统

Country Status (2)

Country Link
CN (1) CN109758157B (zh)
WO (1) WO2020155252A1 (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110347972A (zh) * 2019-06-13 2019-10-18 西安交通大学 机电特种设备安全性评价指标体系的权重集组合量化方法
CN111388968A (zh) * 2020-03-31 2020-07-10 首都医科大学宣武医院 一种基于虚拟现实的步态平衡训练装置及系统
CN111420348A (zh) * 2019-12-24 2020-07-17 广州晓康医疗科技有限公司 步态康复训练仪及其使用方法
CN111739131A (zh) * 2020-06-18 2020-10-02 完美世界(北京)软件科技发展有限公司 虚拟脚印的生成方法、装置及设备
CN111967366A (zh) * 2020-08-12 2020-11-20 华中科技大学鄂州工业技术研究院 一种对腿部患者的康复状况进行评测的方法及助行机器人
CN112043556A (zh) * 2019-06-07 2020-12-08 丰田自动车株式会社 康复训练系统和存储有康复训练的评价程序的可供计算机读取的存储介质
CN112380891A (zh) * 2020-08-13 2021-02-19 沈阳瑞海一诺智能科技有限公司 用于辅助帕金森病患者康复的可穿戴设备及其康复方法
CN112472516A (zh) * 2020-10-26 2021-03-12 深圳市康乐福科技有限公司 基于ar的下肢康复训练系统
CN113197571A (zh) * 2021-05-07 2021-08-03 广州晓康医疗科技有限公司 一种基于雷达的步态训练评估方法及其装置
CN113413576A (zh) * 2021-07-05 2021-09-21 江西服装学院 一种体育教学与训练用腿部锻炼装置
CN114081801A (zh) * 2021-11-16 2022-02-25 深圳市大鹏新区南澳人民医院 一种步态引导与评价康复机器人
CN114081800A (zh) * 2021-11-16 2022-02-25 深圳市大鹏新区南澳人民医院 一种下肢康复机器人
CN114432098A (zh) * 2022-01-27 2022-05-06 中山大学附属第一医院 一种基于模型的步态矫正装置
CN114898832A (zh) * 2022-05-30 2022-08-12 安徽法罗适医疗技术有限公司 一种康复训练远程控制系统、方法、装置、设备及介质
CN115036045A (zh) * 2022-07-06 2022-09-09 任牧晨 一种治疗师-患者互动的运动处方管理系统
CN115920335A (zh) * 2022-11-29 2023-04-07 深圳信息职业技术学院 一种人体生理指标监测分析系统及方法
CN116059600A (zh) * 2022-11-25 2023-05-05 佛山市银河兰晶科技股份有限公司 一种基于互动投影的康复训练装置、训练方法及评估系统
CN117731243A (zh) * 2024-02-19 2024-03-22 北京大学第三医院(北京大学第三临床医学院) 基于步态数据特征的足部运动损伤辅助诊断方法及系统
CN118648870A (zh) * 2024-06-19 2024-09-17 南通市第一人民医院 一种用于烧伤患者手部康复检测的评估系统及方法

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2308405Y (zh) * 1997-04-15 1999-02-24 林成武 一种跑步机
CN2553842Y (zh) * 2002-06-24 2003-06-04 张煌东 跑步机的扬升折叠结构
WO2010004953A1 (ja) * 2008-07-08 2010-01-14 株式会社コナミデジタルエンタテインメント ゲーム装置、コンピュータプログラムおよび記録媒体
CN101890214A (zh) * 2009-03-27 2010-11-24 艾肯Ip有限公司 用于在健身装置上模拟真实世界地形的系统、方法和装置
CN103561826A (zh) * 2011-05-25 2014-02-05 任康准 具备虚拟跑步影像装置的跑步机及跑步机驱动方法
CN104540560A (zh) * 2012-06-04 2015-04-22 瑞布里斯医疗公司 用于步态训练的构造及方法
CN105056468A (zh) * 2015-08-11 2015-11-18 王燕军 一种实时交互跑步机
CN205412047U (zh) * 2015-12-18 2016-08-03 广东奥玛健身器材有限公司 一种具有上下坡度锻炼功能的爬坡式跑步机
CN105833462A (zh) * 2016-03-31 2016-08-10 乐视控股(北京)有限公司 跑步机控制的方法及装置
CN105833461A (zh) * 2016-03-31 2016-08-10 乐视控股(北京)有限公司 一种跑步机升降的调节方法、装置及跑步机
CN205699110U (zh) * 2016-06-21 2016-11-23 南阳医学高等专科学校 一种多功能的跑步机
CN106552400A (zh) * 2016-11-11 2017-04-05 闽南师范大学 一种基于实景地图的跑步健身系统及方法
CN107174255A (zh) * 2017-06-15 2017-09-19 西安交通大学 基于Kinect体感技术的三维步态信息采集与分析方法
CN108785976A (zh) * 2018-05-21 2018-11-13 厦门凯欣达体育用品有限公司 一种坡度可调节型跑步机
CN108814907A (zh) * 2018-07-05 2018-11-16 广州龙之杰康复养老科技有限公司 一种智能步行训练光电影像系统
CN108939511A (zh) * 2018-07-18 2018-12-07 广州市三甲医疗信息产业有限公司 基于虚拟现实的四肢康复训练方法与系统
CN108992852A (zh) * 2018-07-18 2018-12-14 广州市三甲医疗信息产业有限公司 基于虚拟现实康复训练的智能评估方法与系统
CN109621311A (zh) * 2018-11-14 2019-04-16 深圳市热丽泰和生命科技有限公司 一种基于增强现实技术的帕金森症姿态步态康复训练方法
CN209347037U (zh) * 2018-03-13 2019-09-06 青岛世纪杰创医疗科技有限公司 多功能体感步态分析训练系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2730266B1 (en) * 2012-11-09 2016-07-20 Hocoma AG Gait training apparatus

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2308405Y (zh) * 1997-04-15 1999-02-24 林成武 一种跑步机
CN2553842Y (zh) * 2002-06-24 2003-06-04 张煌东 跑步机的扬升折叠结构
WO2010004953A1 (ja) * 2008-07-08 2010-01-14 株式会社コナミデジタルエンタテインメント ゲーム装置、コンピュータプログラムおよび記録媒体
CN101890214A (zh) * 2009-03-27 2010-11-24 艾肯Ip有限公司 用于在健身装置上模拟真实世界地形的系统、方法和装置
CN103561826A (zh) * 2011-05-25 2014-02-05 任康准 具备虚拟跑步影像装置的跑步机及跑步机驱动方法
CN104540560A (zh) * 2012-06-04 2015-04-22 瑞布里斯医疗公司 用于步态训练的构造及方法
CN105056468A (zh) * 2015-08-11 2015-11-18 王燕军 一种实时交互跑步机
CN205412047U (zh) * 2015-12-18 2016-08-03 广东奥玛健身器材有限公司 一种具有上下坡度锻炼功能的爬坡式跑步机
CN105833462A (zh) * 2016-03-31 2016-08-10 乐视控股(北京)有限公司 跑步机控制的方法及装置
CN105833461A (zh) * 2016-03-31 2016-08-10 乐视控股(北京)有限公司 一种跑步机升降的调节方法、装置及跑步机
CN205699110U (zh) * 2016-06-21 2016-11-23 南阳医学高等专科学校 一种多功能的跑步机
CN106552400A (zh) * 2016-11-11 2017-04-05 闽南师范大学 一种基于实景地图的跑步健身系统及方法
CN107174255A (zh) * 2017-06-15 2017-09-19 西安交通大学 基于Kinect体感技术的三维步态信息采集与分析方法
CN209347037U (zh) * 2018-03-13 2019-09-06 青岛世纪杰创医疗科技有限公司 多功能体感步态分析训练系统
CN108785976A (zh) * 2018-05-21 2018-11-13 厦门凯欣达体育用品有限公司 一种坡度可调节型跑步机
CN108814907A (zh) * 2018-07-05 2018-11-16 广州龙之杰康复养老科技有限公司 一种智能步行训练光电影像系统
CN108939511A (zh) * 2018-07-18 2018-12-07 广州市三甲医疗信息产业有限公司 基于虚拟现实的四肢康复训练方法与系统
CN108992852A (zh) * 2018-07-18 2018-12-14 广州市三甲医疗信息产业有限公司 基于虚拟现实康复训练的智能评估方法与系统
CN109621311A (zh) * 2018-11-14 2019-04-16 深圳市热丽泰和生命科技有限公司 一种基于增强现实技术的帕金森症姿态步态康复训练方法

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112043556A (zh) * 2019-06-07 2020-12-08 丰田自动车株式会社 康复训练系统和存储有康复训练的评价程序的可供计算机读取的存储介质
CN110347972A (zh) * 2019-06-13 2019-10-18 西安交通大学 机电特种设备安全性评价指标体系的权重集组合量化方法
CN111420348A (zh) * 2019-12-24 2020-07-17 广州晓康医疗科技有限公司 步态康复训练仪及其使用方法
CN111388968A (zh) * 2020-03-31 2020-07-10 首都医科大学宣武医院 一种基于虚拟现实的步态平衡训练装置及系统
CN111739131A (zh) * 2020-06-18 2020-10-02 完美世界(北京)软件科技发展有限公司 虚拟脚印的生成方法、装置及设备
CN111967366A (zh) * 2020-08-12 2020-11-20 华中科技大学鄂州工业技术研究院 一种对腿部患者的康复状况进行评测的方法及助行机器人
CN111967366B (zh) * 2020-08-12 2022-10-21 华中科技大学鄂州工业技术研究院 一种对腿部患者的康复状况进行评测的方法及助行机器人
CN112380891A (zh) * 2020-08-13 2021-02-19 沈阳瑞海一诺智能科技有限公司 用于辅助帕金森病患者康复的可穿戴设备及其康复方法
CN112472516A (zh) * 2020-10-26 2021-03-12 深圳市康乐福科技有限公司 基于ar的下肢康复训练系统
CN112472516B (zh) * 2020-10-26 2022-06-21 深圳市康乐福科技有限公司 基于ar的下肢康复训练系统
CN113197571A (zh) * 2021-05-07 2021-08-03 广州晓康医疗科技有限公司 一种基于雷达的步态训练评估方法及其装置
CN113197571B (zh) * 2021-05-07 2024-07-19 广州晓康医疗科技有限公司 一种基于雷达的步态训练评估方法及其装置
CN113413576A (zh) * 2021-07-05 2021-09-21 江西服装学院 一种体育教学与训练用腿部锻炼装置
CN114081801A (zh) * 2021-11-16 2022-02-25 深圳市大鹏新区南澳人民医院 一种步态引导与评价康复机器人
CN114081800A (zh) * 2021-11-16 2022-02-25 深圳市大鹏新区南澳人民医院 一种下肢康复机器人
CN114432098A (zh) * 2022-01-27 2022-05-06 中山大学附属第一医院 一种基于模型的步态矫正装置
CN114898832B (zh) * 2022-05-30 2023-12-29 安徽法罗适医疗技术有限公司 一种康复训练远程控制系统、方法、装置、设备及介质
CN114898832A (zh) * 2022-05-30 2022-08-12 安徽法罗适医疗技术有限公司 一种康复训练远程控制系统、方法、装置、设备及介质
CN115036045A (zh) * 2022-07-06 2022-09-09 任牧晨 一种治疗师-患者互动的运动处方管理系统
CN116059600A (zh) * 2022-11-25 2023-05-05 佛山市银河兰晶科技股份有限公司 一种基于互动投影的康复训练装置、训练方法及评估系统
CN116059600B (zh) * 2022-11-25 2023-10-20 佛山市银河兰晶科技股份有限公司 一种基于互动投影的康复训练装置、训练方法及评估系统
CN115920335A (zh) * 2022-11-29 2023-04-07 深圳信息职业技术学院 一种人体生理指标监测分析系统及方法
CN115920335B (zh) * 2022-11-29 2024-05-28 深圳信息职业技术学院 一种人体生理指标监测分析系统及方法
CN117731243A (zh) * 2024-02-19 2024-03-22 北京大学第三医院(北京大学第三临床医学院) 基于步态数据特征的足部运动损伤辅助诊断方法及系统
CN118648870A (zh) * 2024-06-19 2024-09-17 南通市第一人民医院 一种用于烧伤患者手部康复检测的评估系统及方法

Also Published As

Publication number Publication date
WO2020155252A1 (zh) 2020-08-06
CN109758157B (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN109758157A (zh) 基于增强现实的步态康复训练评估方法与系统
US11763697B2 (en) User interface system for movement skill analysis and skill augmentation
CN107349594A (zh) 一种虚拟舞蹈系统的动作评价方法
CN106650687A (zh) 一种基于深度信息和骨骼信息的姿势矫正方法
CN106020440A (zh) 一种基于体感交互的京剧教学系统
EP4264487A1 (en) Assessment and augmentation system for open motor skills
JP2009297240A (ja) 学習支援装置および学習支援方法
CN103678859A (zh) 动作比对方法与动作比对系统
CN105513114A (zh) 三维动画生成的方法和装置
CN108721870B (zh) 一种基于虚拟环境的运动训练评价方法
KR102469575B1 (ko) 운동량 측정을 기반으로 하는 스크린 클라이밍 시스템
CN112422946A (zh) 一种基于3d重构的智能瑜伽动作指导系统
Wu et al. Research on college gymnastics teaching model based on multimedia image and image texture feature analysis
CN117766098A (zh) 一种基于虚拟现实技术的健身优化训练方法及系统
Shiro et al. InterPoser: Visualizing interpolated movements for bouldering training
CN117423166B (zh) 一种根据人体姿态图像数据的动作识别方法及系统
CN119027558A (zh) 一种基于vr虚拟数字人的健身训练评估决策模型的构建方法
CN115530814A (zh) 一种基于视觉姿态检测及计算机深度学习的儿童运动康复训练方法
Malik et al. Badminton Action Analysis Using LSTM
Chen Research on college physical education model based on virtual crowd simulation and digital media
Liebermann et al. Video-based technologies
Sun Aerobics movement decomposition action teaching system based on intelligent vision sensor
Shen Exploring the potential of virtual reality in table tennis training through hybrid motion capture
Gao et al. A Sports Training System Based on Kinect Intelligent Wearable Device
Sun et al. Application of VR system based on thermal radiation images in immersive sports training process: Real-time monitoring of sports thermal energy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant