CN113146618B - 机械臂的控制方法、系统、电子设备及存储介质 - Google Patents
机械臂的控制方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113146618B CN113146618B CN202110281523.8A CN202110281523A CN113146618B CN 113146618 B CN113146618 B CN 113146618B CN 202110281523 A CN202110281523 A CN 202110281523A CN 113146618 B CN113146618 B CN 113146618B
- Authority
- CN
- China
- Prior art keywords
- signals
- user
- mechanical arm
- reinforcement learning
- robotic arm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 91
- 230000002787 reinforcement Effects 0.000 claims abstract description 57
- 238000012549 training Methods 0.000 claims abstract description 40
- 210000004556 brain Anatomy 0.000 claims abstract description 25
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 24
- 230000015654 memory Effects 0.000 claims description 22
- 239000003795 chemical substances by application Substances 0.000 claims description 21
- 210000003710 cerebral cortex Anatomy 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 230000003993 interaction Effects 0.000 claims description 9
- 210000004761 scalp Anatomy 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 6
- 239000007943 implant Substances 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims description 6
- 230000001186 cumulative effect Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims 4
- 238000003306 harvesting Methods 0.000 claims 2
- 238000002513 implantation Methods 0.000 claims 2
- 230000001360 synchronised effect Effects 0.000 claims 2
- 230000005611 electricity Effects 0.000 abstract 1
- 238000000537 electroencephalography Methods 0.000 description 80
- 230000001276 controlling effect Effects 0.000 description 9
- 230000000306 recurrent effect Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000000763 evoking effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000638 stimulation Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 230000002490 cerebral effect Effects 0.000 description 2
- 230000001054 cortical effect Effects 0.000 description 2
- 238000007428 craniotomy Methods 0.000 description 2
- 210000004884 grey matter Anatomy 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 210000003625 skull Anatomy 0.000 description 2
- 230000000472 traumatic effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000000578 peripheral nerve Anatomy 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Human Computer Interaction (AREA)
- Automation & Control Theory (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Manipulator (AREA)
Abstract
本申请提供了一种机械臂的控制方法、系统、电子设备及存储介质。所述方法包括：通过脑电信号采集设备从用户采集脑电信号；将所采集到的脑电信号转化为能够被计算机识别的信号，然后对该信号进行预处理以提取特征信号，并且基于预先由强化学习模型进行的学习结果进行特征分类，并且将特征分类结果通过指令发给机械臂；机械臂根据所述指令进行对应的操作；以及用户判断机械臂的所述操作是否正确，并且将判断结果反馈至所述强化学习模型以进行训练，并且更新学习结果。通过本申请，能够实现由脑机接口由脑电对机械臂进行控制，并且能够由用户进行实时反馈从而强化机械臂的学习训练，提高准确性。
Description
技术领域
本申请涉及计算机和控制技术领域，尤其涉及机械臂的控制方法、系统、电子设备及存储介质。
背景技术
机械臂广泛地应用于生活中的各个领域。传统地，对于机械臂的控制都是由用户输入实际的指令来控制机械臂的各种操作。
对于传统的这种机械臂的控制方法，由用户端进行的操作对于没有技术经验的老年人、残障人士等等的人群而言是困难的。因此，需要考虑一种更加普适性的机械臂的控制方法，使得能够解决老年人或残障人士无法简单地控制机械臂的这种问题。
随着人工智能的发展以及运用，本申请发明人提出了一种通过用户的脑电来控制机械臂的操作的方法和系统。利用这种方法和系统，经由脑机接口实现控制，使得人能够通过自身的脑电信号与机械臂进行交互，而不需要人体周围神经和肌肉组织的参与，实现直接将用户的大脑中的意图传递到例如机械臂的外部设备，并且使得机械臂进行对应的操作。
发明内容
本申请的目的在于提供机械臂的控制方法、系统、电子设备及存储介质，实现由脑机接口由脑电对机械臂进行控制，并且能够由用户进行实时反馈从而强化机械臂的学习训练，提高准确性。
本申请的目的采用以下技术方案实现：
本申请的第一方面提供了一种机械臂的控制方法，所述方法包括：
通过脑电信号采集设备从用户采集脑电信号；
将所采集到的脑电信号转化为能够被计算机识别的信号，然后对该信号进行预处理以提取特征信号，并且基于预先由强化学习模型进行的学习结果进行特征分类，并且将特征分类结果通过指令发给机械臂；
机械臂根据所述指令进行对应的操作；以及
用户判断机械臂的所述操作是否正确，并且将判断结果反馈至所述强化学习模型以进行训练，并且更新学习结果。
根据上面第一方面的机械臂的控制方法，其通过采集、预处理、分类用户的脑电来实现对机械臂的控制，通过脑机接口实现了人脑与机械臂之间的交互，直接将人脑中的意识转化为机械臂的操作，操作是更加友好的。另外，由于在控制环中增加了人工反馈回路，因此能够增强机械臂的强化学习训练，使得准确率更高。
优选地，在第一方面的控制方法中，脑电信号采集设备从用户采集脑电信号包括：非侵入式采集，其通过将多个EEG电极片紧贴在用户的头皮的不同位置，用来用户的脑电信号，侵入式采集，其是通过直接将电极植入到大脑皮层，用来用户的脑电信号，或者半侵入式采集，其将脑机接口植入到颅腔内，但是在大脑皮层之外。
根据上面第一方面的控制方法，可以根据用户的实际需要来选择不同的采集方式。对于侵入式采集，其能够直接从大脑皮层获取信息，避免神经信号因颅骨阻隔而衰减，但是由于需要开颅，所以存在一定的危险性。对于非侵入式采集，其通过将电极贴附于头皮来获取脑电，利用EEG，其操作简单，但是精度略差。非侵入是采集的接口尽管也需要植入颅腔内但是位于灰质外，因此创伤较小，且精度较高。
优选地，根据第一方面所述的控制方法，将所采集到的脑电信号转化为能够被计算机识别的信号包括将信号采集设备采集脑电信号进行放大、滤波、A/D转换。
由于原始的脑电波信号夹杂着很多的噪声，又因为脑电波本身非常的微弱，这就导致采集到的脑电信号里包括一些噪声，通过上述方面的放大、滤波、A/D转换等的处理，能够保留采集到的脑电信号中的有效部分，转换为计算机能理解的语言。
在上面第一方面所述的控制方法中，通过如下步骤输出所述指令：脑电信号采集设备采集SSVEP信号，脑电识别分类模块对采集到的SSVEP信号通过预处理后，采用基于多导同步指数的频率识别算法，进行SSVEP的分类识别，并输出控制命令。
根据上述的控制方法，采集稳态视觉诱发电位(steady-state visual evoked potentials,SSVEP)信号，它当人眼受到固定频率超过4Hz的视觉刺激时，大脑皮质活动将被调节，导致类似于刺激的周期性节律，这就是稳态视觉诱发电位(Stea dy-State VisualEvoked Potential,SSVEP)，而SSVEP主要出现在大脑皮层枕区。基于此，能够简单有效地实现后续的分类识别操作、识别速度快，正确率高，可以输出的指令多，同时实验者只需要很少的训练就可使用
优选地，在第一方面的控制方法中，所述预先由强化学习模型进行的学习包括利用卷积神经网络和循环神经网络对脑电数据进行解码，应用卷积神经网络来表征空间特征，应用循环神经网络中的长短记忆网络来表征时间特征。
根据上述的控制方法，能够有效地实现强化学习训练。
优选地，在上面第一方面所述的控制方法中，预先由强化学习模型进行的学习结果是通过如下步骤获得的：通过马尔可夫决策过程对强化学习问题进行建模，用于使代理在与环境的交互过程中获得最大的累积奖励，基于代理的要求输入奖励信息和代理相对于环境的状态的状态变量，从而使得代理选择适当的操作，以产生相应的奖励值。
根据上述的控制方法，能够进一步有效地实现强化学习训练。
优选地，在上面第一方面所述的控制方法中，所述将判断结果反馈至所述强化学习模型以进行训练包括：将用户进行的判断结果直接从脑电信号中采集并且输入到机械臂的训练环中，产生相对的反馈，并且机械臂在所述反馈的基础上会记录奖励值，然后重复此过程并训练所述机械臂。
根据上述的控制方法，使用实时用户输入作为反馈，可以比简单的分类范例更精确地训练机械臂，在用于实时原始EEG数据时会更加有效。
优选地，在第一方面所述的控制方法中，训练所述机械臂包括：使用用户的反馈训练奖励预测器，奖励预测器进一步训练机械臂，使得机械臂最大化来自预测器的奖励，从而根据用户的反馈提升机械臂的操作准确性。
根据上述的控制方法，能够更加有效地实现基于人类反馈的强化学习方法。
本申请的第二方面提供了一种机械臂的控制系统，包括：
脑电信号采集设备，其从用户采集脑电信号；
机械臂控制模块，其将所采集到的脑电信号转化为能够被计算机识别的信号，然后对该信号进行预处理以提取特征信号，并且基于预先存储的由强化学习模块中的强化学习模型进行的学习结果进行特征分类，并且将特征分类结果通过指令发给机械臂，使得机械臂根据所述指令进行对应的操作；以及
反馈模块，在所述机械臂进行操作时，用户判断机械臂的所述操作是否正确，并且将判断结果反馈至机械控制模块中的所述强化学习模型以进行训练，并且更新学习结果。
在第二方面所述的控制系统中，信号采集设备从用户采集脑电信号包括：非侵入式采集，其通过将多个EEG电极片紧贴在用户的头皮的不同位置，用来用户的脑电信号，侵入式采集，其是通过直接将电极植入到大脑皮层，用来用户的脑电信号，或者半侵入式采集，其将脑机接口植入到颅腔内，但是在大脑皮层之外。
在第二方面所述的控制系统中，所述机械臂控制模块将信号采集设备采集脑电信号进行放大、滤波、A/D转换，从而所采集到的脑电信号转化为能够被计算机识别的信号。
在第二方面所述的控制系统中，所述机械臂控制模块通过如下步骤输出所述指令：脑电信号采集设备采集SSVEP信号，机械臂控制模块中的脑电识别分类模块对采集到的SSVEP信号通过预处理后，采用基于多导同步指数的频率识别算法，进行SSVEP的分类识别，并输出控制命令。
在第二方面所述的控制系统中，在所述机械臂控制模块中，通过强化学习模块预先进行学习，包括利用卷积神经网络和循环神经网络对脑电数据进行解码，应用卷积神经网络来表征空间特征，应用循环神经网络中的长短记忆网络、来表征时间特征。
在第二方面所述的控制系统中，所述强化学习模块通过如下步骤进行强化学习：通过马尔可夫决策过程对强化学习问题进行建模，用于使机械臂在与环境的交互过程中获得最大的累积奖励，基于机械臂的要求输入奖励信息和机械臂相对于环境的状态的状态变量，从而使得机械臂选择适当的操作，以产生相应的奖励值。
在第二方面所述的控制系统中，所述反馈模块将用户进行的判断结果直接从脑电信号中采集并且输入到机械臂的训练环中，产生相对的反馈，并且机械臂在所述反馈的基础上会记录奖励值，然后重复此过程并训练所述机械臂。
在第二方面所述的控制系统中，在所述机械臂控制模块中，使用由反馈模块获得的用户的反馈训练奖励预测器，奖励预测器进一步训练机械臂，使得机械臂最大化来自预测器的奖励，从而根据用户的反馈提升机械臂的操作准确性。
第三方面，本申请提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项方法的步骤。
第四方面，本申请提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项方法的步骤。
附图说明
下面结合附图和实施例对本申请进一步说明。
图1是本申请实施例提供的一种机械臂的控制方法的流程示意图；
图2是本申请实施例提供的机械臂的控制方法的信号转化过程的流程示意图；
图3是本申请实施例提供的机械臂的控制方法的指令输出过程的流程示意图；
图4是本申请实施例提供的机械臂的控制方法的强化学习的流程示意图；
图5是本申请实施例提供的一种机械臂的控制系统的结构示意图；
图6是本申请实施例提供的一种电子设备的结构示意图；
图7是本申请实施例提供的一种用于实现机械臂控制方法的程序产品的结构示意图。
具体实施方式
下面，结合附图以及具体实施方式，对本申请做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
图1是本申请实施例提供的一种机械臂的控制方法的流程示意图。如图1所示，根据本实施例的机械臂控制方法通过脑机接口实现交互，换句话说，通过用户的脑电来实现机械臂的控制。本实施例的机械臂的控制方法具体包括：通过脑电信号采集设备从用户采集脑电信号(步骤S101)；将所采集到的脑电信号转化为能够被计算机识别的信号，然后对该信号进行预处理以提取特征信号，并且基于预先由强化学习模型进行的学习结果进行特征分类，并且将特征分类结果通过指令发给机械臂(步骤S102)；机械臂根据所述指令进行对应的操作(步骤S103)；以及用户判断机械臂的所述操作是否正确，并且将判断结果反馈至所述强化学习模型以进行训练，并且更新学习结果(步骤S104)。
利用如上步的采集、预处理、分类用户的脑电来实现对机械臂的控制，通过脑机接口实现了人脑与机械臂之间的交互，直接将人脑中的意识转化为机械臂的操作，操作是更加友好的。另外，由于在控制环中增加了人工反馈回路，因此能够增强机械臂的强化学习训练，使得准确率更高。
上面提到的信号采集设备从用户采集脑电信号包括：非侵入式采集，其通过将多个EEG电极片紧贴在用户的头皮的不同位置，用来用户的脑电信号，侵入式采集，其是通过直接将电极植入到大脑皮层，用来用户的脑电信号，或者半侵入式采集，其将脑机接口植入到颅腔内，但是在大脑皮层之外。可以根据用户的实际需要来选择不同的采集方式。对于侵入式采集，其能够直接从大脑皮层获取信息，避免神经信号因颅骨阻隔而衰减，但是由于需要开颅，所以存在一定的危险性。对于非侵入式采集，其通过将电极贴附于头皮来获取脑电，利用EEG，其操作简单，但是精度略差。非侵入是采集的接口尽管也需要植入颅腔内但是位于灰质外，因此创伤较小，且精度较高。
在本实施例中，考虑到EEG(脑电图)具有良好的时间分辨率、易用性、便携性和相对低廉的价格，采用EEG非侵入式采集方式。
对于有脑电信号采集设备采集到的原始的脑电波信号，由于在采集过程中干扰有很多，例如工频干扰、眼动伪迹、环境中的其他电磁干扰等，又因为脑电波本身非常的微弱，这就导致采集到的脑电信号里包括一些噪声，因此，需要对信号进行处理、分析以及特征提取。
图2示出了根据本实施例的机械臂的控制方法的信号转化过程的流程示意图。如图2所示，将所采集到的脑电信号转化为能够被计算机识别的信号包括将信号采集设备采集脑电信号进行放大处理、滤波处理、A/D转换处理。通过上述方面的放大、滤波、A/D转换等的处理，能够保留采集到的脑电信号中的有效部分，转换为计算机能理解的语言。
图3是本申请实施例提供的机械臂的控制方法的指令输出过程的流程示意图。在本实施例中，如图3所示，采用基于SSVEP的脑机接口。此处提到的SS VEP是稳态视觉诱发电位(steady-state visual evoked potentials,SSVEP)，通过采集SSVEP信号，它当人眼受到固定频率超过4Hz的视觉刺激时，大脑皮质活动将被调节，导致类似于刺激的周期性节律，这就是稳态视觉诱发电位，而SSVE P主要出现在大脑皮层枕区。基于此，能够简单有效地实现后续的分类识别操作、识别速度快，正确率高，可以输出的指令多，同时实验者只需要很少的训练就可使用。
更具体地如图3通过如下步骤输出所述指令：脑电信号采集设备采集SSVE P信号，脑电识别分类模块对采集到的SSVEP信号通过预处理后，采用基于多导同步指数的频率识别算法，进行SSVEP的分类识别，并输出控制命令。
更具体地，当用户注视不同闪烁频率的刺激时，会在对应频率处出现SSVE P幅度增量。通过快速傅里叶变换等的方法分析用户的脑电信号的频率特性。根据频率特性的差别对信号进行特征分类，从而将其转换为相应的控制命令。
另外，在根据本实施例的机械臂的控制方法中，需要预先对机械臂建立强化学习模型进行强化学习训练。在本实施例中，所述预先由强化学习模型进行的学习可以包括利用卷积神经网络和循环神经网络对脑电数据进行解码，应用卷积神经网络来表征空间特征，应用循环神经网络中的长短记忆网络来表征时间特征。根据上述的控制方法，能够有效地实现强化学习训练。
更具体地，预先由强化学习模型进行的学习结果可以是通过如下步骤获得的：通过马尔可夫决策过程对强化学习问题进行建模，用于使机械臂在与环境的交互过程中获得最大的累积奖励，基于机械臂的要求输入奖励信息和机械臂相对于环境的状态的状态变量，从而使得机械臂选择适当的操作，以产生相应的奖励值。
另外，在根据本实施例的机械臂的控制方法中，所述将判断结果反馈至所述强化学习模型以进行训练包括：将用户进行的判断结果直接从脑电信号中采集并且输入到机械臂的训练环中，产生相对的反馈，并且机械臂在所述反馈的基础上会记录奖励值，然后重复此过程并训练所述机械臂。根据该控制方法，使用实时用户输入作为反馈，可以比简单的分类范例更精确地训练机械臂，在用于实时原始EEG数据时会更加有效。
图4是本申请实施例提供的机械臂的控制方法的强化学习的流程示意图。如图4所示，训练所述机械臂包括：使用用户的反馈训练奖励预测器，奖励预测器进一步训练机械臂，使得机械臂最大化来自预测器的奖励，从而根据用户的反馈提升机械臂的操作准确性。更具体地，如图4所示，在强化学习算法与环境之间的交互中，增加了人类的反馈和奖励预测器，从而能够基于人类的实时反馈来强化学习机械臂。将现实的环境情况与常规学习相结合。
综上，已经详细描述了基于脑机接口对机械臂实现的控制协议来执行的本实施例的机械臂的控制方式。该协议的主要组成部分包括通过人工反馈的奖励/惩罚循环对机器人手臂进行训练。在传统的强化学习场景中，代理(agent)(在本实施例中为机械臂)会探索未知的环境，并对所采取的每个操作(action)(在遵守环境局限性的前提下)进行明确的奖励。在外界用户反馈制导的RL系统(强化学习系统)中，会向代理提供外界用户对行动的正确性的判断反馈，代理会在正常进行的探索过程中附加考虑外界用户的客观判断。对于需要根据机器人手臂的实时操作效能来判断训练效果的用例场景，这样的训练协议要有效得多。
采用传统的RL算法，该算法传统上被建模为马尔可夫决策过程，在此过程中，代理要求输入奖励信息和代理相对于环境的状态的状态变量。根据此信息，代理可以选择适当的操作，以产生相应的奖励值。根据本实施例的控制方法，通过人工反馈回路增强了常规训练：该回路的输入包含从Emotiv系列等市售设备收集的EEG信号形式的数据。训练过程的初始情况如下：机械臂会事先通过传统的强化学习流程达到一定的操作水平。此时外界用户的脑电信号可以开始导入到训练循环中；手臂会继续执行动作，但是这些动作的准确性现在会由用户来判断。判断的结果可以直接从脑电信号中采集并且输入到手臂的训练环中，产生相对的反馈。代理在这个反馈的基础上会记录一定的奖励值。然后重复此过程并训练代理。
通过使用实时用户输入作为反馈，本实施例可以比简单的分类范例更精确地训练机械臂，训练协议在用于实时原始EEG数据时会更加有效。
本申请的第二方面提供了一种机械臂的控制系统，包括：
脑电信号采集设备，其从用户采集脑电信号；
机械臂控制模块，其将所采集到的脑电信号转化为能够被计算机识别的信号，然后对该信号进行预处理以提取特征信号，并且基于预先由强化学习模型进行的学习结果进行特征分类，并且将特征分类结果通过指令发给机械臂，使得机械臂根据所述指令进行对应的操作；以及
反馈模块，在所述机械臂进行操作时，用户判断机械臂的所述操作是否正确，并且将判断结果反馈至机械控制模块中的所述强化学习模型以进行训练，并且更新学习结果。
在第二方面所述的控制系统中，信号采集设备从用户采集脑电信号包括：非侵入式采集，其通过将多个EEG电极片紧贴在用户的头皮的不同位置，用来用户的脑电信号，侵入式采集，其是通过直接将电极植入到大脑皮层，用来用户的脑电信号，或者半侵入式采集，其将脑机接口植入到颅腔内，但是在大脑皮层之外。
在第二方面所述的控制系统中，所述机械臂控制模块将信号采集设备采集脑电信号进行放大、滤波、A/D转换，从而所采集到的脑电信号转化为能够被计算机识别的信号。
在第二方面所述的控制系统中，所述机械臂控制模块通过如下步骤输出所述指令：脑电信号采集设备采集SSVEP信号，脑电识别分类模块对采集到的SSV EP信号通过预处理后，采用基于多导同步指数的频率识别算法，进行SSVEP的分类识别，并输出控制命令。
在第二方面所述的控制系统中，在所述机械臂控制模块中，通过强化学习模块预先进行学习，包括利用卷积神经网络和循环神经网络对脑电数据进行解码，应用卷积神经网络来表征空间特征，应用循环神经网络中的长短记忆网络、来表征时间特征。
在第二方面所述的控制系统中，所述强化学习模块预通过如下步骤进行强化学习：通过马尔可夫决策过程对强化学习问题进行建模，用于使代理在与环境的交互过程中获得最大的累积奖励，基于代理的要求输入奖励信息和代理相对于环境的状态的状态变量，从而使得代理选择适当的操作，以产生相应的奖励值。
在第二方面所述的控制系统中，所述反馈模块将用户进行的判断结果直接从脑电信号中采集并且输入到机械臂的训练环中，产生相对的反馈，并且机械臂在所述反馈的基础上会记录奖励值，然后重复此过程并训练所述机械臂。
在第二方面所述的控制系统中，在所述机械臂控制模块中，使用由反馈模块获得的用户的反馈训练奖励预测器，奖励预测器进一步训练机械臂，使得机械臂最大化来自预测器的奖励，从而根据用户的反馈提升机械臂的操作准确性。
图5是本申请实施例提供的一种机械臂的控制系统100的结构示意图。参见图5，机械臂的控制系统100包括：脑电信号采集设备101，其从用户采集脑电信号；机械臂控制模块102，其将所采集到的脑电信号转化为能够被计算机识别的信号，然后对该信号进行预处理以提取特征信号，并且基于预先由强化学习模型进行的学习结果进行特征分类，并且将特征分类结果通过指令发给机械臂，使得机械臂根据所述指令进行对应的操作；以及反馈模块103，在所述机械臂进行操作时，用户判断机械臂的所述操作是否正确，并且将判断结果反馈至机械控制模块中的所述强化学习模型以进行训练，并且更新学习结果。
根据本实施例的机械臂的控制系统，其具体实现方式与上述方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。
参见图6，本申请实施例还提供了一种电子设备200，电子设备200包括至少一个存储器210、至少一个处理器220以及连接不同平台系统的总线230。
存储器210可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)211和/或高速缓存存储器212，还可以进一步包括只读存储器(ROM)213。
其中，存储器210还存储有计算机程序，计算机程序可以被处理器220执行，使得处理器220执行本申请实施例中上述任一项方法的步骤，其具体实现方式与上述方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。
存储器210还可以包括具有一组(至少一个)程序模块215的程序/实用工具214，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
相应的，处理器220可以执行上述计算机程序，以及可以执行程序/实用工具214。
总线230可以为表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。
电子设备200也可以与一个或多个外部设备240例如键盘、指向设备、蓝牙设备等通信，还可与一个或者多个能够与该电子设备200交互的设备通信，和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口250进行。并且，电子设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器260可以通过总线230与电子设备200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，所述计算机程序被执行时实现本申请实施例中上述任一项方法的步骤，其具体实现方式与上述方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。
图7示出了本实施例提供的用于实现上述方法的程序产品300，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品300不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。程序产品300可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言诸如Java、C++等，还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本申请从使用目的上，效能上，进步及新颖性等观点进行阐述，其设置有的实用进步性，已符合专利法所强调的功能增进及使用要件，本申请以上的说明及附图，仅为本申请的较佳实施例而已，并非以此局限本申请，因此，凡一切与本申请构造，装置，特征等近似、雷同的，即凡依本申请专利申请范围所作的等同替换或修饰等，皆应属本申请的专利申请保护的范围之内。
Claims (14)
1.一种机械臂的控制方法，其特征在于，所述控制方法包括：
通过脑电信号采集设备从用户采集脑电信号；
将所采集到的脑电信号转化为能够被计算机识别的信号，然后对该信号进行预处理以提取特征信号，并且基于预先由强化学习模型进行的学习结果进行特征分类，并且将特征分类结果通过指令发给机械臂；
机械臂根据所述指令进行对应的操作；以及
用户判断机械臂的所述操作是否正确，并且将判断结果反馈至所述强化学习模型以进行训练，并且更新学习结果；
预先由强化学习模型进行的学习结果是通过如下步骤获得的：
通过马尔可夫决策过程对强化学习问题进行建模，用于使代理在与环境的交互过程中获得最大的累积奖励，
基于代理的要求输入奖励信息和代理相对于环境的状态的状态变量，从而使得代理选择适当的操作，以产生相应的奖励值；
所述将判断结果反馈至所述强化学习模型以进行训练包括：将用户进行的判断结果直接从脑电信号中采集并且输入到机械臂的训练环中，产生相对的反馈，并且机械臂在所述反馈的基础上会记录奖励值，然后重复此过程并训练所述机械臂。
2.根据权利要求1所述的控制方法，其特征在于，脑电信号采集设备从用户的采集脑电信号包括：
非侵入式采集，其通过将多个EEG电极片紧贴在用户的头皮的不同位置，用来用户的脑电信号，
侵入式采集，其是通过直接将电极植入到大脑皮层，用来用户的脑电信号，或者
半侵入式采集，其将脑机接口植入到颅腔内，但是在大脑皮层之外。
3.根据权利要求1所述的控制方法，其特征在于，将所采集到的脑电信号转化为能够被计算机识别的信号包括将脑电信号采集设备采集的脑电信号进行放大、滤波、A/D转换。
4.根据权利要求1所述的控制方法，其特征在于，通过如下步骤输出所述指令：脑电信号采集设备采集SSVEP信号，脑电识别分类模块对采集到的SSVEP信号通过预处理后，采用基于多导同步指数的频率识别算法，进行SSVEP的分类识别，并输出控制命令。
5.根据权利要求1所述的控制方法，其特征在于，所述预先由强化学习模型进行的学习包括利用卷积神经网络和循环神经网络对脑电数据进行解码，应用卷积神经网络来表征空间特征，应用循环神经网络中的长短记忆网络、来表征时间特征。
6.根据权利要求1所述的控制方法，其特征在于，训练所述机械臂包括：使用用户的反馈训练奖励预测器，奖励预测器进一步训练机械臂，使得机械臂最大化来自预测器的奖励。
7.一种机械臂的控制系统，其特征在于，所述系统包括：
脑电信号采集设备，其从用户采集脑电信号；
机械臂控制模块，其将所采集到的脑电信号转化为能够被计算机识别的信号，然后对该信号进行预处理以提取特征信号，并且基于预先存储的由强化学习模块中的强化学习模型进行的学习结果进行特征分类，并且将特征分类结果通过指令发给机械臂，使得机械臂根据所述指令进行对应的操作；以及
反馈模块，其使得在所述机械臂进行操作时，用户判断机械臂的所述操作是否正确，并且将判断结果反馈至机械控制模块中的所述强化学习模型以进行训练，并且更新学习结果；
所述强化学习模块通过如下步骤进行强化学习：
通过马尔可夫决策过程对强化学习问题进行建模，用于使机械臂在与环境的交互过程中获得最大的累积奖励，
基于机械臂的要求输入奖励信息和代理相对于环境的状态的状态变量，从而使得机械臂选择适当的操作，以产生相应的奖励值；
所述反馈模块将用户进行的判断结果直接从脑电信号中采集并且输入到机械臂的训练环中，产生相对的反馈，并且机械臂在所述反馈的基础上会记录奖励值，然后重复此过程并训练所述机械臂。
8.根据权利要求7所述的控制系统，其特征在于，脑电信号采集设备从用户采集脑电信号包括：
非侵入式采集，其通过将多个EEG电极片紧贴在用户的头皮的不同位置，用来用户的脑电信号，
侵入式采集，其是通过直接将电极植入到大脑皮层，用来用户的脑电信号，或者
半侵入式采集，其将脑机接口植入到颅腔内，但是在大脑皮层之外。
9.根据权利要求7所述的控制系统，其特征在于，所述机械臂控制模块将脑电信号采集设备采集的脑电信号进行放大、滤波、A/D转换，从而所采集到的脑电信号转化为能够被计算机识别的信号。
10.根据权利要求7所述的控制系统，其特征在于，所述机械臂控制模块通过如下步骤输出所述指令：脑电信号采集设备采集SSVEP信号，脑电识别分类模块对采集到的SSVEP信号通过预处理后，采用基于多导同步指数的频率识别算法，进行SSVEP的分类识别，并输出控制命令。
11.根据权利要求7所述的控制系统，其特征在于，在所述机械臂控制模块中，通过强化学习模块预先进行学习，包括利用卷积神经网络和循环神经网络对脑电数据进行解码，应用卷积神经网络来表征空间特征，应用循环神经网络中的长短记忆网络、来表征时间特征。
12.根据权利要求7所述的控制系统，其特征在于，在所述机械臂控制模块中，使用由反馈模块获得的用户的反馈训练奖励预测器，奖励预测器进一步训练机械臂，使得机械臂最大化来自预测器的奖励。
13.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1-6任一项所述一种机械臂的控制方法的步骤。
14.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一项所述一种机械臂的控制方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110281523.8A CN113146618B (zh) | 2021-03-16 | 2021-03-16 | 机械臂的控制方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110281523.8A CN113146618B (zh) | 2021-03-16 | 2021-03-16 | 机械臂的控制方法、系统、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113146618A CN113146618A (zh) | 2021-07-23 |
| CN113146618B true CN113146618B (zh) | 2022-07-01 |
Family
ID=76887288
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110281523.8A Expired - Fee Related CN113146618B (zh) | 2021-03-16 | 2021-03-16 | 机械臂的控制方法、系统、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113146618B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113952175B (zh) * | 2021-09-26 | 2024-04-09 | 深兰科技（上海）有限公司 | 辅助性外骨骼的控制方法及相关装置 |
| CN115256390A (zh) * | 2022-08-04 | 2022-11-01 | 成都京蜀生容科技有限公司 | 提升视觉诱发电位脑控机器人准确度的方法 |
| CN119556789A (zh) * | 2023-09-03 | 2025-03-04 | 华为技术有限公司 | 一种信号处理方法及相关装置 |
| CN118152731A (zh) * | 2024-02-27 | 2024-06-07 | 同济大学 | 植入式脑机接口的信号处理方法、系统及计算机程序产品 |
| CN118845093B (zh) * | 2024-09-24 | 2024-12-10 | 北京大学第三医院（北京大学第三临床医学院） | 病原体镜检皮肤取材系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107037883A (zh) * | 2017-04-13 | 2017-08-11 | 安徽大学 | 一种基于运动想象的混合脑机接口系统及方法 |
| CN109366508A (zh) * | 2018-09-25 | 2019-02-22 | 中国医学科学院生物医学工程研究所 | 一种基于bci的高级机械臂控制系统及其实现方法 |
| JP2019109888A (ja) * | 2017-12-18 | 2019-07-04 | ソウル大学校産学協力団Ｓｅｏｕｌ Ｎａｔｉｏｎａｌ Ｕｎｉｖｅｒｓｉｔｙ Ｒ＆Ｄｂ Ｆｏｕｎｄａｔｉｏｎ | 二重閉回路ブレイン−マシーンインターフェースシステム及びその方法 |
| CN112207816A (zh) * | 2020-08-25 | 2021-01-12 | 天津大学 | 基于视图编解码的脑控机械臂系统和控制方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106671084B (zh) * | 2016-12-20 | 2019-11-15 | 华南理工大学 | 一种基于脑机接口的机械臂自主辅助方法 |
| US10932688B2 (en) * | 2017-09-07 | 2021-03-02 | Arizona Board Of Regents On Behalf Of Arizona State University | EEG-based decoding and closed-loop neuromodulation system for assessing and enhancing sensorimotor learning |
| US11436527B2 (en) * | 2018-06-01 | 2022-09-06 | Nami Ml Inc. | Machine learning at edge devices based on distributed feedback |
-
2021
- 2021-03-16 CN CN202110281523.8A patent/CN113146618B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107037883A (zh) * | 2017-04-13 | 2017-08-11 | 安徽大学 | 一种基于运动想象的混合脑机接口系统及方法 |
| JP2019109888A (ja) * | 2017-12-18 | 2019-07-04 | ソウル大学校産学協力団Ｓｅｏｕｌ Ｎａｔｉｏｎａｌ Ｕｎｉｖｅｒｓｉｔｙ Ｒ＆Ｄｂ Ｆｏｕｎｄａｔｉｏｎ | 二重閉回路ブレイン−マシーンインターフェースシステム及びその方法 |
| CN109366508A (zh) * | 2018-09-25 | 2019-02-22 | 中国医学科学院生物医学工程研究所 | 一种基于bci的高级机械臂控制系统及其实现方法 |
| CN112207816A (zh) * | 2020-08-25 | 2021-01-12 | 天津大学 | 基于视图编解码的脑控机械臂系统和控制方法 |
Non-Patent Citations (1)
| Title |
|---|
| Dual deep neural network-based classifiers to detect;Hyun-Jong Jang and Kyung-Ok Cho;《Korean J Physiol Pharmacol》;20190215;第23卷(第2期);第1-9页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113146618A (zh) | 2021-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113146618B (zh) | 机械臂的控制方法、系统、电子设备及存储介质 | |
| Ferreira et al. | Human-machine interfaces based on EMG and EEG applied to robotic systems | |
| US10291977B2 (en) | Method and system for collecting and processing bioelectrical and audio signals | |
| WO2020118797A1 (zh) | 假肢控制方法、装置、系统、设备和存储介质 | |
| CN117503163B (zh) | 人脑异常放电检测方法、装置、存储介质及电子设备 | |
| US20220051586A1 (en) | System and method of generating control commands based on operator's bioelectrical data | |
| CN112488002B (zh) | 基于n170的情绪识别方法及识别系统 | |
| CN111584031B (zh) | 基于便携式脑电采集设备的脑控智能肢体康复系统及应用 | |
| WO2024074037A1 (zh) | 运动想象脑机接口通信方法、装置、系统、介质及设备 | |
| CN118797560B (zh) | 一种基于脑机接口的生成电刺激信号的方法及相关设备 | |
| WO2023005353A1 (zh) | 基于多模态数据的配置信息获取装置及相关设备 | |
| Li et al. | Wireless sEMG-based identification in a virtual reality environment | |
| Geng et al. | [Retracted] A Fusion Algorithm for EEG Signal Processing Based on Motor Imagery Brain‐Computer Interface | |
| Norani et al. | A review of signal processing in brain computer interface system | |
| CN115444717A (zh) | 基于脑机接口的肢体功能康复训练方法及系统 | |
| Sanipatín-Díaz et al. | Portable Facial Expression System Based on EMG Sensors and Machine Learning Models | |
| Al-Turabi et al. | Brain computer interface for wheelchair control in smart environment | |
| CN114817168A (zh) | 数据存储方法、装置、系统及计算机可读存储介质 | |
| Li et al. | Electroencephalogram and Electrocardiogram in Human-Computer Interaction | |
| Artemuk et al. | Application of Deep Neural Networks for EEG Signal Processing in Brain-controlled Wheeled Robotic Platform | |
| Chen | A human motion function rehabilitation monitoring system based on data mining | |
| CN116779099A (zh) | 一种运动神经康复远程调控方法及系统 | |
| CN119820582A (zh) | 人形机器人自适应控制方法、系统、电子设备及存储介质 | |
| CN118252513B (zh) | 一种基于脑电信号的定位方法及系统 | |
| Singh et al. | Artificial Intelligence enabled neuroproteins design for Brain mapping dynamics based on motor imagery classification using HCI (Human computer interface) and (EEG) electroencephalogram. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230627 Address after: No. 65 Haifeng Road, Jinshan District, Shanghai (Jincheng Community), 200000 Patentee after: Shanghai Shengong Enterprise Management Co.,Ltd. Address before: Unit 1001, 369 Weining Road, Changning District, Shanghai, 200336 (9th floor of actual floor) Patentee before: DEEPBLUE TECHNOLOGY (SHANGHAI) Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220701 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |