CN113284192A

CN113284192A - 运动捕捉方法、装置、电子设备以及机械臂控制系统

Info

Publication number: CN113284192A
Application number: CN202110677889.7A
Authority: CN
Inventors: 张贻众; 谭志强; 黄俊东
Original assignee: Guangdong Zhiyuan Robot Technology Co Ltd
Current assignee: Guangdong Zhiyuan Robot Technology Co Ltd
Priority date: 2021-06-18
Filing date: 2021-06-18
Publication date: 2021-08-20

Abstract

本申请实施例提供一种运动捕捉方法、装置、电子设备以及机械臂控制系统，所述方法包括获取接收到的标定图像，其中，标定图像包括第一图像和第二图像，第一图像中包含第一目标物体，所述第二图像中包含第二目标物体；基于第一图像，获得第一目标物体在第一坐标系下的第一位姿信息，以及基于第二图像，获得第二目标物体在第一坐标系下的第二位姿信息；基于第一位姿信息以及第二位姿信息，获得坐标转换关系；获取第一运动信息，其中，第一运动信息为第三目标物体在第一坐标系下的运动信息；基于坐标转换关系，对第一运动信息进行转换，以获得第二运动信息，使得机械臂按照第二运动信息进行运动。

Description

运动捕捉方法、装置、电子设备以及机械臂控制系统

技术领域

本申请涉及运动捕捉技术领域，特别涉及一种运动捕捉方法、装置、电子设备以及机械臂控制系统。

背景技术

随着科技的快速发展，人们对机械臂控制的需求不断提高，例如，如何实现机械臂模拟人手运动，以实现机械臂写毛笔字、咖啡拉花或者打太极等动作。

现有技术一，是通过在示教模式下，拖动机械臂并记录多个点位，根据该多个点位，模拟得到运动轨迹，然后在运行模式下，控制机械臂按照该运动轨迹进行运动。该现有技术一的缺点是，1、在示教模式下，机械臂各轴存在静态力矩，拖动比较费力；2、复杂的运动轨迹需要非常多的点位，依次记录该多个点位的时间较久，耗费大量时间；3、由于受机械臂力矩以及机械臂姿态的影响，在拖动机械臂的过程中，容易出现停止情况，导致无法获取随时间变化的运动轨迹，从而影响机械臂运动的流畅性以及用户的观感体验。

现有技术二，是采用激光动作捕捉技术，获取人手的姿态信息，以实现机械臂模拟人手运动。该现有技术二的缺点是，激光跟踪设备成本较高，姿态信息的获取需要较多数量的反射球，如果只采用一台激光跟踪设备，获取到的姿态信息数据范围非常有限，不利于实际应用。

发明内容

本申请提供了一种运动捕捉方法、装置、电子设备以及机械臂控制系统，其能够提高坐标转换关系的精度，以提高运动捕捉的准确性。

第一方面，本申请提供了一种运动捕捉方法，应用于机械臂控制系统，所述机械臂控制系统包括摄像装置以及机械臂，所述方法包括：

获取接收到的标定图像，其中，所述标定图像包括第一图像和第二图像，所述第一图像中包含第一目标物体，所述第二图像中包含第二目标物体，所述第一图像由所述摄像装置对设置在标定块上的第一目标物体拍摄得到，所述第二图像由所述摄像装置对设置在工具上的第二目标物体拍摄得到；

基于所述第一图像，获得所述第一目标物体在第一坐标系下的第一位姿信息，以及基于所述第二图像，获得所述第二目标物体在所述第一坐标系下的第二位姿信息，所述第一坐标系以所述摄像装置为基准；

基于所述第一位姿信息以及所述第二位姿信息，获得坐标转换关系；

获取第一运动信息，其中，所述第一运动信息为第三目标物体在所述第一坐标系下的运动信息；

基于所述坐标转换关系，对所述第一运动信息进行转换，以获得第二运动信息，使得所述机械臂按照所述第二运动信息进行运动。

其中一种可能的实现方式中，所述获取接收到的标定图像，包括：

在所述标定块被安装于所述机械臂的情况下，对所述标定块上设有的第一目标物体进行拍摄，以得到所述第一图像；

和/或，在所述工具被安装于所述机械臂的情况下，对所述工具上设有的第二目标物体进行拍摄，以得到所述第二图像。

其中一种可能的实现方式中，所述机械臂包括机械臂基座以及机械臂末端，所述坐标转换关系中包含所述摄像装置相对于所述机械臂基座的第一转换矩阵，所述基于所述第一位姿信息以及所述第二位姿信息，获得坐标转换关系，包括：

获取所述机械臂末端相对于所述机械臂基座的第二转换矩阵；

获取所述第一目标物体相对于所述机械臂末端的第三转换矩阵；

基于所述第一位姿信息，获得所述第一目标物体相对于所述摄像装置的第四转换矩阵；

基于所述第二转换矩阵、所述第三转换矩阵以及所述第四转换矩阵，获得所述第一转换矩阵。

其中一种可能的实现方式中，所述坐标转换关系中还包含所述第二目标物体相对于所述机械臂末端的第五转换矩阵，所述基于所述第一位姿信息以及所述第二位姿信息，获得坐标转换关系，还包括：

基于所述第二位姿信息，获得所述第二目标物体相对于所述摄像装置的第六转换矩阵；

基于所述第一转换矩阵、所述第二转换矩阵以及所述第六转换矩阵，获得所述第五转换矩阵。

其中一种可能的实现方式中，所述第一转换矩阵由公式：

计算得到，

其中，

为所述第一转换矩阵，

为所述第二转换矩阵，

为所述第三转换矩阵，

为所述第四转换矩阵；

和/或，所述第五转换矩阵由公式：

计算得到，

其中，

为所述第五转换矩阵，

为所述第六转换矩阵。

其中一种可能的实现方式中，所述第一运动信息中包含第三位姿信息，所述获取第一运动信息，包括：

获取接收到的多帧目标图像，其中，所述多帧目标图像中包含所述第三目标物体，所述目标图像由所述摄像装置拍摄获得；

基于每一帧所述目标图像，获得多个所述第三位姿信息，所述第三位姿信息为所述第三目标物体在所述第一坐标系中的位姿信息。

其中一种可能的实现方式中，所述基于所述坐标转换关系，对所述第一运动信息进行转换，以获得第二运动信息，包括：

基于所述坐标转换关系，对所述第三位姿信息进行转换，以得到多个第四位姿信息，其中，所述第四位姿信息为所述机械臂末端在第二坐标系中的位姿信息，所述第二坐标系以所述机械臂基座为基准；

基于多个所述第四位姿信息，获得第二运动信息。

第二方面，本申请提供一种机械臂控制方法，包括：

获取如第一方面所述的方法得到的第二运动信息；

按照所述第二运动信息对机械臂进行控制。

第三方面，本申请提供一种运动捕捉装置，所述运动捕捉装置包括摄像装置以及机械臂，所述装置还包括：

第一获取模块，用于获取接收到的标定图像，其中，所述标定图像包括第一图像和第二图像，所述第一图像中包含第一目标物体，所述第二图像中包含第二目标物体，所述第一图像由所述摄像装置对设置在标定块上的第一目标物体拍摄得到，所述第二图像由所述摄像装置对设置在工具上的第二目标物体拍摄得到；

位姿信息获得模块，用于基于所述第一图像，获得所述第一目标物体在第一坐标系下的第一位姿信息，以及基于所述第二图像，获得所述第二目标物体在所述第一坐标系下的第二位姿信息，所述第一坐标系以所述摄像装置为基准；

转换关系获得模块，用于基于所述第一位姿信息以及所述第二位姿信息，获得坐标转换关系；

第二获取模块，用于获取第一运动信息，其中，所述第一运动信息为第三目标物体在所述第一坐标系下的运动信息；

转换模块，用于基于所述坐标转换关系，对所述第一运动信息进行转换，以获得第二运动信息，使得所述机械臂按照所述第二运动信息进行运动。

第四方面，本申请提供了一种电子设备，包括：

一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行如第一方面或第二方面所述的方法。

第五方面，本申请提供一种机械臂控制系统，包括：

标定块，所述标定块上设有目标物体；

摄像装置，用于对所述标定块上设有的目标物体进行拍摄，以获得图像，并将所述图像发送至控制装置；

所述控制装置，包含：

一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述系统执行时，使得所述系统执行如第一方面或第二方面所述的方法；

机械臂，用于受控于所述控制装置，以执行运动操作。

第六方面，本申请提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行如第一方面或第二方面所述的方法。

第七方面，本申请提供一种计算机程序，当所述计算机程序被计算机执行时，用于执行第一方面或第二方面所述的方法。

在一种可能的设计中，第七方面中的程序可以全部或者部分存储在与处理器封装在一起的存储介质上，也可以部分或者全部存储在不与处理器封装在一起的存储器上。

附图说明

图1为本申请运动捕捉方法一个实施例的方法示意图；

图2为本申请运动捕捉方法一个实施例中标定块被安装于机械臂末端的结构示意图；

图3为本申请运动捕捉方法一个实施例中工具被安装于机械臂末端的结构示意图；

图4为本申请运动捕捉方法一个实施例中坐标转换关系的示意图；

图5为本申请机械臂控制方法一个实施例的方法示意图；

图6为本申请运动捕捉装置一个实施例的结构示意图；

图7为本申请机械臂控制系统一个实施例的结构示意图；

图8为本申请电子设备一个实施例的结构示意图。

具体实施方式

本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。

为此，本申请提出一种运动捕捉方法、装置、电子设备以及机械臂控制系统，其能够提高坐标转换关系的精度，以提高运动捕捉的准确性。

举例地，所述运动捕捉方法可以捕捉人手的运动信息(如人手写毛笔字、咖啡拉花或打太极等动作)，然后通过坐标变换关系进行坐标转换，以得到用于控制机械臂的运动信息，以使得机械臂能够模仿人手动作进行运动。

在本实施例中，所述运动捕捉方法应用于机械臂控制系统，所述机械臂控制系统可以包括标定块、摄像装置以及机械臂，所述机械臂可以包括机械臂基座及机械臂末端，所述标定块上可以设有目标物体(如二维码等)。所述摄像装置(如相机)用于对标定块上设有的目标物体进行拍摄，以得到图像，所述图像中包含所述目标物体。所述机械臂基座可以固定于安装平台上，机械臂控制系统用于对机械臂进行控制，使得机械臂末端相对于机械臂基座进行运动，以达到模仿人手写毛笔字、咖啡拉花或打太极等动作的效果。在实际应用中，机械臂末端上可以安装工具(如毛笔、拉花杯等)，随着机械臂末端模仿人手的运动，该工具用于模仿人手中工具的运动。

举例地，所述运动捕捉方法可以通过摄像装置拍摄目标物体的多帧运动图像(如目标图像)，可以得到目标物体在摄像装置坐标系下的位姿信息，通过坐标转换关系，将目标物体在摄像装置坐标系下的位姿信息转换到机械臂末端在机械臂基座坐标系下的位姿信息，在通过运动学逆解算计算出机械臂各轴的运动信息，从而控制机械臂按照该运动信息进行运动，以实现模仿运动效果。

举例地，所述坐标转换关系可以包括摄像装置相对于机械臂基座的转换矩阵、机械臂末端相对于机械臂基座的转换矩阵、目标物体相对于机械臂末端的转换矩阵、目标物体相对于摄像装置的转换矩阵。进一步地，本实施例中可以通过所述标定块，获得较高精度的摄像装置相对于机械臂基座的转换矩阵以及目标物体相对于机械臂末端的转换矩阵，以提高坐标转换关系的精度，以提高运动捕捉的准确性。

图1为本申请运动捕捉方法一个实施例的方法示意图。如图1所示，上述运动捕捉方法可以包括：

S101、获取接收到的标定图像，其中，所述标定图像包括第一图像和第二图像，所述第一图像中包含第一目标物体，所述第二图像中包含第二目标物体，所述第一图像由所述摄像装置对设置在标定块上的第一目标物体拍摄得到，所述第二图像由所述摄像装置对设置在工具上的第二目标物体拍摄得到。

在步骤S101中，第一目标物体和/或第二目标物体如二维码或标签等，标定块如标定载体，二维码可以贴在标定块表面，工具如杯子或毛笔等物体，二维码可以贴在杯子底部或毛笔侧面等。

进一步地，步骤S101可以包括：

S201、在所述标定块被安装于所述机械臂的情况下，对所述标定块上设有的第一目标物体进行拍摄，以得到所述第一图像；

和/或，S202、在所述工具被安装于所述机械臂的情况下，对所述工具上设有的第二目标物体进行拍摄，以得到所述第二图像。

在步骤S201中，如图2所示，标定块可以被安装于机械臂末端，标定块上设有的第一目标物体处于摄像装置视野中。

在步骤S201之后，可以将标定块从机械臂末端卸下，然后将工具(如杯子或毛笔等)安装在机械臂末端，然后保持摄像装置的位置不变，执行步骤S202。或者，所述工具还可以包括夹爪，杯子或毛笔等可以由夹爪夹住，二维码可以贴在夹爪上。

在步骤S202中，如图3所示，工具可以被安装于机械臂末端，二维码可以被设于工具上，如杯子的侧壁或底部，毛笔的笔杆上等，二维码处于摄像装置视野中。也就是说，机械臂末端的位姿(或运动轨迹)用于模仿人手的位姿(或运动轨迹)，机械臂末端上的工具的位姿(或运动轨迹)用于模仿人手中工具的位姿(或运动轨迹)。换句话说，工具在机械臂末端上的位姿(位置与姿势)与工具在人手中的位姿可以保持一致。

需要指出的是，在步骤S201以及步骤S202中，摄像装置的位置保持固定，以降低后续坐标转换关系的计算误差。

S102、基于所述第一图像，获得所述第一目标物体在第一坐标系下的第一位姿信息，以及基于所述第二图像，获得所述第二目标物体在所述第一坐标系下的第二位姿信息，所述第一坐标系以所述摄像装置为基准。

举例地，步骤S102中，可以利用视觉识别模型对所述标定图像中目标物体的空间状态进行识别，以获得所述标定图像中目标物体在第一坐标系下的位姿信息。

所述视觉识别模型可以包括apriltag视觉定位系统，其能够定位并识别得到图像中的二维码(如tag)的位姿信息。

相应地，所述位姿信息可以包括第一位姿信息和/或第二位姿信息，所述第一位姿信息由所述第一图像获得，所述第二位姿信息由所述第二图像获得。

S103、基于所述第一位姿信息以及所述第二位姿信息，获得坐标转换关系。

在本实施例中，定义

为1号坐标系相对于0号坐标系的转换矩阵(如齐次变换矩阵等)，也就是说，0号坐标系上点P通过

变换矩阵进行坐标转换，可以计算得到点P在1号坐标系下的坐标。

进一步地，

变换矩阵可以由公式：

R∈SO(3)；d∈R³计算得到，

其中，R为1号坐标系(如1号坐标系中的点P)到0号坐标系上的位姿信息(如3*3的矩阵)，d为x、y、z三维坐标。

举例地，所述坐标转换关系中包含所述摄像装置相对于所述机械臂基座的第一转换矩阵，步骤S103可以包括：

S301、获取所述机械臂末端相对于所述机械臂基座的第二转换矩阵；

S302、获取所述第一目标物体相对于所述机械臂末端的第三转换矩阵；

S303、基于所述第一位姿信息，获得所述第一目标物体相对于所述摄像装置的第四转换矩阵；

S304、基于所述第二转换矩阵、所述第三转换矩阵以及所述第四转换矩阵，获得所述第一转换矩阵。

在步骤S301中，可以通过读取机械臂示教器上显示机械臂末端的位姿信息，得到第二转换矩阵。或者，第二转换矩阵可以根据机械臂末端与机械臂基座之间的相对位置关系计算得到。进一步地，第二转换矩阵表示为

用于表示机械臂末端坐标系{W}相对于机械臂基座坐标系{B}的转换矩阵。

在步骤S302中，在标定块被安装于机械臂末端的情况下，标定块上设有的目标物体在机械臂末端坐标系下的位姿信息可以根据所述标定块的尺寸以及安装位置等确定，进而计算得到第一目标物体相对于机械臂末端的第三转换矩阵。或者，由于标定块被安装于所述机械臂末端，第三转换矩阵可以根据标定块与机械臂末端之间的相对位置关系(可以通过测量得到)计算得到。进一步地，第三转换矩阵表示为

用于表示第一目标物体坐标系{T1}相对于机械臂末端坐标系{W}的转换矩阵，其中，T1表示为在标定块被安装于机械臂末端的情况下第一目标物体坐标系。

在步骤S303中，第一位姿信息用于表示在标定块被安装于机械臂末端的情况下，标定块中第一目标物体在摄像装置坐标系(如第一坐标系)下的位姿信息。第四转换矩阵可以根据第一位姿信息计算得到。进一步地，第四转换矩阵表示为

用于表示第一目标物体坐标系{T1}相对于摄像装置坐标系{C}的转换矩阵。

也就是说，在标定块被安装于机械臂末端的情况下，通过摄像装置拍摄得到第一图像，利用apriltag视觉定位系统识别得到第一图像中第一目标物体的第一位姿信息，根据第一位姿信息得到第一目标物体相对于摄像装置的第四转换矩阵

如图4所示，在步骤S304中，摄像装置相对于机械臂基座的第一转换矩阵由公式(1)：

计算得到，

其中，

为所述第一转换矩阵，

为所述第二转换矩阵，

为所述第三转换矩阵，

为所述第四转换矩阵。

可以理解的是，如果通过手动测绘得到摄像装置相对于机械臂基座的转换矩阵，存在一定的测量难度和测量误差。因此，在本申请提供的所述方法中，摄像装置相对于机械臂基座的第一转换矩阵根据上述公式(1)计算得到，降低了测量难度和测量误差，有利于提高坐标转换关系的精度，适用性更高。

进一步地，所述坐标转换关系中还包含所述第二目标物体相对于所述机械臂末端的第五转换矩阵，步骤S103还可以包括：

S401、基于所述第二位姿信息，获得所述第二目标物体相对于所述摄像装置的第六转换矩阵；

S402、基于所述第一转换矩阵、所述第二转换矩阵以及所述第六转换矩阵，获得所述第五转换矩阵。

在步骤S401中，第二位姿信息用于表示在工具被安装于机械臂末端的情况下，工具上设有的第二目标物体在摄像装置坐标系(如第一坐标系)下的位姿信息。第六转换矩阵可以根据第二位姿信息计算得到。进一步地，第六转换矩阵表示为

用于表示第二目标物体坐标系{T2}相对于摄像装置坐标系{C}的转换矩阵。

也就是说，在工具被安装于机械臂末端的情况下，通过摄像装置拍摄得到第二图像，利用apriltag视觉定位系统识别得到第二图像中第二目标物体的第二位姿信息，根据第二位姿信息得到第二目标物体相对于摄像装置的第六转换矩阵

如图4所示，在步骤S402中，第二目标物体相对于机械臂末端的第五转换矩阵由公式(2)：

计算得到，

其中，

为所述第五转换矩阵，

为所述第六转换矩阵。

可以理解的是，在工具被安装于机械臂末端的情况下，如果通过手动测绘得到第二目标物体相对于机械臂末端的转换矩阵，存在一定的测量难度和测量误差。因此，在本申请提供的所述方法中，第二目标物体相对于机械臂末端的第五转换矩阵根据上述公式(2)计算得到，进一步地降低了测量难度和测量误差，有利于提高坐标转换关系的精度，适用性更高。

需要指出的是，公式(1)中机械臂末端相对于机械臂基座的转换矩阵

可以在标定块被安装于机械臂末端的情况下，通过读取机械臂示教器上显示机械臂末端的位姿信息计算得到。公式(2)中机械臂末端相对于机械臂基座的转换矩阵

可以在工具被安装于机械臂末端的情况下，通过读取机械臂示教器上显示机械臂末端的位姿信息计算得到，以降低计算误差。

综上，坐标转换关系中第二目标物体相对于机械臂末端的转换矩阵

可以用于将第二目标物体在摄像装置坐标系下的运动信息转换到机械臂末端在机械臂基座坐标系下的运动信息，从而控制机械臂按照该运动信息进行运动，以实现模仿运动效果。

S104、获取第一运动信息，其中，所述第一运动信息为第三目标物体在所述第一坐标系下的运动信息。

在本实施例中，第一运动信息可以包括多个第三位姿信息，第三位姿信息用于表示人手中工具上的第三目标物体(如二维码或标签等)在摄像装置坐标系下的位姿信息。多个第三位姿信息按照时间顺序可以表示人手中工具上的第三目标物体的运动轨迹。

其中一种可能的实现方式中，步骤S104可以包括：

S501、获取接收到的多帧目标图像，其中，所述多帧目标图像中包含所述第三目标物体，所述目标图像由所述摄像装置拍摄获得；

S502、基于每一帧所述目标图像，获得多个所述第三位姿信息，所述第三位姿信息为所述第三目标物体在所述第一坐标系中的位姿信息。

在步骤S501中，举例地，在拉花师手持工具如拉花杯进行拉花动作的过程中，第三目标物体被设置于拉花杯的杯壁或杯底上，拉花杯上的第三目标物体随着拉花师手部动作而运动(如改变位置与姿势)等，而且第三目标物体可以一直保持在摄像装置视野范围内，使得摄像装置能够拍摄得到在拉花过程中第三目标物体运动的视频，该视频中可以包含多帧目标图像。

具体地，在步骤S501中，可以通过高帧率摄像装置(如黑白相机)录制拉花师拉花动作的视频，从该视频中截取到一个完整拉花过程(从开始拉花到结束拉花的过程)的目标视频，该目标视频中包含多帧目标图像。

其中一种可能的实现方式中，所述第三目标物体优选地包括二维码，在拉花过程中，所述二维码随着拉花师手部动作而运动，所述二维码的运动信息可以用于表示拉花师手持拉花杯的拉花动作，所述二维码的运动信息可以包括在空间所处的位姿信息，如位置与姿势(如旋转角度或方向)等。所述摄像装置优选地为黑白相机，其具有较高的帧率，可以在拉花过程中拍摄得到更多帧图像，有利于捕捉到第三目标物体更多的运动信息。

在步骤S502中，可以利用视觉识别模型对每一帧所述目标图像中第三目标物体的空间状态进行识别，以获得每一帧所述目标图像中第三目标物体的第三位姿信息。

举例地，在步骤S502中，在apriltag视觉定位系统中，可以使用正方体反映二维码的空间状态，通过识别正方体当前所处的位置以及旋转角度或方向，以确定二维码在空间中的位姿信息。

可以理解的是，在一次拉花过程中，根据摄像装置拍摄得到的多帧目标图像，按拍摄时间顺序，可以得到多个第三位姿信息(如第三位姿信息集)，以用于表示第三目标物体在拉花过程中的运动轨迹。

S105、基于所述坐标转换关系，对所述第一运动信息进行转换，以获得第二运动信息，使得所述机械臂按照所述第二运动信息进行运动。

在本实施例中，所述机械臂可以包括六个关节轴(如六自由度)，所述第二运动信息用于表示机械臂六个关节轴的运动信息。

其中一种可能的实现方式中，步骤S105可以包括：

S601、基于所述坐标转换关系，对所述第三位姿信息进行转换，以得到多个第四位姿信息，其中，所述第四位姿信息为所述机械臂末端在第二坐标系中的位姿信息，所述第二坐标系以所述机械臂基座为基准；

S602、基于多个所述第四位姿信息，获得第二运动信息。

也就是说，在步骤S601中，采用步骤S103中获得的坐标转换关系，对第三目标物体在摄像装置坐标系下的第三位姿信息进行转换，以得到机械臂末端在机械臂基座坐标系下的第四位姿信息。

值得一提的是，考虑到第三目标物体位于工具上，因此，通过坐标转换关系中第二目标物体相对于机械臂末端的转换矩阵

可以将第三位姿信息转换得到第三目标物体在机械臂末端坐标系下的第五位姿信息。根据第五位姿信息以及机械臂末端相对于机械臂基座的转换矩阵

计算得到第四位姿信息，使得在机械臂末端在机械臂基座坐标系下处于第四位姿信息的情况下，第三目标物体在机械臂末端坐标系下处于第五位姿信息(与第三目标物体在摄像装置坐标系下所处的第三位姿信息相对应)，以使第三目标物体在机械臂末端坐标系下的运动轨迹模仿第三目标物体在摄像装置坐标系下的运动轨迹。

在步骤S602中，通过对所述第四位姿信息进行逆运动学解算，以得到所述机械臂六个关节轴的第二运动信息。

举例地，在步骤S602中，可以通过机械臂建模(如DH建模等)方法对所述第四位姿信息进行运动学求解，例如，机械臂相邻关节轴之间的旋转变换关系可以由以下公式表示：

其中，S和C分别为三角函数sin和cos的缩写。

在获得到建模参数(如DH表)的情况下，分别计算得到相邻关节轴之间的齐次坐标变换矩阵，以得到关节轴末端相对于机械臂基座坐标系的位姿矩阵TCP，其中，位姿矩阵TCP可以表示为：

然后，对该位姿矩阵进行逆解算，以得到机械臂六个关节轴的第二运动信息。

在本实施例中，机械臂控制系统可以根据所述机械臂六个关节轴的第二运动信息，经过运动规划后对机械臂进行驱动控制，使得机械臂执行相应的运动操作，使得机械臂末端上的工具能够模仿人手中工具的运动轨迹。

可以理解的是，上述实施例中的部分或全部步骤骤或操作仅是示例，本申请实施例还可以执行其它操作或者各种操作的变形。此外，各个步骤可以按照上述实施例呈现的不同的顺序来执行，并且有可能并非要执行上述实施例中的全部操作。

图5为本申请一种机械臂控制方法一个实施例的方法示意图。如图5所示，上述机械臂控制方法可以包括：

S701、获取由图1所示方法实施例中提供的运动捕捉方法得到的第二运动信息；

S702、按照所述第二运动信息对机械臂进行控制。

所述机械臂控制方法可以应用于机械臂控制系统(或拉花设备)，以用于控制机械臂进行拉花操作等。

在步骤S701中，所述第二运动信息的获取步骤或原理可以参考图1所示方法实施例中提供的运动捕捉方法，在此不再赘述。

在步骤S702中，所述第二运动信息可以包括机械臂六个关节轴的运动信息，机械臂控制系统可以根据所述机械臂六个关节轴的运动信息，经过运动规划后对机械臂进行驱动控制，使得机械臂执行相应的运动操作，使得机械臂末端上的工具能够模仿人手中工具的运动轨迹。

进一步地，在步骤S701中，机械臂控制系统可以接收到用户订单，其中，所述用户订单中包含目标图案(如拉花图案)，从数据库(如本地数据库或云端数据库等)中获取与目标图案相对应的第二运动信息。也就是说，不同的目标图案对应于不同的第二运动信息，以满足多样化需求。

图6所示为本申请运动捕捉装置100一个实施例的结构示意图。如图6所示，上述运动捕捉装置100包括摄像装置以及机械臂，所述机械臂包括机械臂基座及机械臂末端，所述运动捕捉装置100还可以包括：

第一获取模块10，用于获取接收到的标定图像，其中，所述标定图像包括第一图像和第二图像，所述第一图像中包含第一目标物体，所述第二图像中包含第二目标物体，所述第一图像由所述摄像装置对设置在标定块上的第一目标物体拍摄得到，所述第二图像由所述摄像装置对设置在工具上的第二目标物体拍摄得到；

位姿信息获得模块20，用于基于所述第一图像，获得所述第一目标物体在第一坐标系下的第一位姿信息，以及基于所述第二图像，获得所述第二目标物体在所述第一坐标系下的第二位姿信息，所述第一坐标系以所述摄像装置为基准；

转换关系获得模块30，用于基于所述第一位姿信息以及所述第二位姿信息，获得坐标转换关系；

第二获取模块40，用于获取第一运动信息，其中，所述第一运动信息为第三目标物体在所述第一坐标系下的运动信息；

转换模块50，用于基于所述坐标转换关系，对所述第一运动信息进行转换，以获得第二运动信息，使得所述机械臂按照所述第二运动信息进行运动。

其中一种可能的实现方式中，所述第一获取模块10还用于：

其中一种可能的实现方式中，所述机械臂包括机械臂基座以及机械臂末端，所述坐标转换关系中包含所述摄像装置相对于所述机械臂基座的第一转换矩阵，所述转换关系获得模块20还用于：

其中一种可能的实现方式中，所述位姿信息还包括第二位姿信息，所述坐标转换关系中还包含所述第二目标物体相对于所述机械臂末端的第五转换矩阵，所述转换关系获得模块20还用于：

其中一种可能的实现方式中，所述第一转换矩阵由公式：

计算得到，

其中，

为所述第一转换矩阵，

为所述第二转换矩阵，

为所述第三转换矩阵，

为所述第四转换矩阵；

和/或，所述第五转换矩阵由公式：

计算得到，

其中，

为所述第五转换矩阵，

为所述第六转换矩阵。

其中一种可能的实现方式中，所述第一运动信息中包含第三位姿信息，所述第二获取模块40还用于：

其中一种可能的实现方式中，所述转换模块50还用于：

基于多个所述第四位姿信息，获得第二运动信息。

可以理解的是，图6所示实施例提供的运动捕捉装置可用于执行本申请图1所示方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述。

应理解以上图6所示的运动捕捉装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块以软件通过处理元件调用的形式实现，部分模块通过硬件的形式实现。例如，转换模块可以为单独设立的处理元件，也可以集成在电子设备的某一个芯片中实现。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit；以下简称：ASIC)，或，一个或多个微处理器(Digital Singnal Processor；以下简称：DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array；以下简称：FPGA)等。再如，这些模块可以集成在一起，以片上系统(System-On-a-Chip；以下简称：SOC)的形式实现。

图7为本申请机械臂控制系统200一个实施例的结构示意图。如图7所示，机械臂控制系统200可以包括标定块210，所述标定块210上设有目标物体；摄像装置220，用于对标定块上设有的目标物体进行拍摄，以获得图像，并将所述图像发送至控制装置230；控制装置230；机械臂240，用于受控于所述控制装置230，以执行运动操作。

所述控制装置230，包含：

一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述系统执行时，使得所述系统执行以下步骤；

其中一种可能的实现方式中，当所述指令被所述系统执行时，使得所述系统执行所述获取接收到的标定图像，包括：

其中一种可能的实现方式中，所述机械臂包括机械臂基座以及机械臂末端，所述坐标转换关系中包含所述摄像装置相对于所述机械臂基座的第一转换矩阵，当所述指令被所述系统执行时，使得所述系统执行所述基于所述第一位姿信息以及所述第二位姿信息，获得坐标转换关系，包括：

其中一种可能的实现方式中，所述位姿信息还包括第二位姿信息，所述坐标转换关系中还包含所述第二目标物体相对于所述机械臂末端的第五转换矩阵，当所述指令被所述系统执行时，使得所述系统执行所述基于所述第一位姿信息以及所述第二位姿信息，获得坐标转换关系，还包括：

其中一种可能的实现方式中，所述第一转换矩阵由公式：

计算得到，

其中，

为所述第一转换矩阵，

为所述第二转换矩阵，

为所述第三转换矩阵，

为所述第四转换矩阵；

和/或，所述第五转换矩阵由公式：

计算得到，

其中，

为所述第五转换矩阵，

为所述第六转换矩阵。

其中一种可能的实现方式中，所述第一运动信息中包含第三位姿信息，当所述指令被所述系统执行时，使得所述系统执行所述获取第一运动信息，包括：

其中一种可能的实现方式中，当所述指令被所述系统执行时，使得所述系统执行所述基于所述坐标转换关系，对所述第一运动信息进行转换，以获得第二运动信息，包括：

基于多个所述第四位姿信息，获得第二运动信息。

其中一种可能的实现方式中，当所述指令被所述系统执行时，使得所述系统还执行：

获取第二运动信息；

按照所述第二运动信息对机械臂进行控制。

也就是说，所述机械臂控制系统200可以用于执行如图1所示实施例的运动捕捉方法或如图5所示的机械臂控制方法，其功能或原理可以参考上述图1所示实施例的运动捕捉方法或如图5所示的机械臂控制方法，在此不再赘述。

可以理解的是，所述机械臂控制系统200还可以包括通信模块，以用于信息通信等。所述机械臂控制系统200还可以包括交互模块，以用于与用户交互等，以获取用户订单等。所述机械臂控制系统200还可以包括报警装置，用于受控于所述控制装置230，以执行报警操作等。

应理解，本实施例机械臂控制系统200可以包括其他不同类型的操作机构，以受控于所述控制模块，执行不同的操作，在此不受限制。

应理解，控制装置可以被实施为控制电路，控制装置中的处理器可以是片上系统SOC，该处理器中可以包括中央处理器(Central Processing Unit；以下简称：CPU)，还可以进一步包括其他类型的处理器，例如：图像处理器(Graphics Processing Unit；以下简称：GPU)等。

图8为本申请电子设备一个实施例的结构示意图，如图8所示，上述电子设备可以包括：一个或多个处理器；存储器；以及一个或多个计算机程序。

其中，上述电子设备可以为拉花设备或机械臂控制设备等。

其中上述一个或多个计算机程序被存储在上述存储器中，上述一个或多个计算机程序包括指令，当上述指令被上述设备执行时，使得上述设备执行以下步骤：

其中一种可能的实现方式中，当上述指令被上述设备执行时，使得上述设备执行所述获取接收到的标定图像，包括：

其中一种可能的实现方式中，所述机械臂包括机械臂基座以及机械臂末端，所述坐标转换关系中包含所述摄像装置相对于所述机械臂基座的第一转换矩阵，当上述指令被上述设备执行时，使得上述设备执行所述基于所述第一位姿信息以及所述第二位姿信息，获得坐标转换关系，包括：

其中一种可能的实现方式中，所述位姿信息还包括第二位姿信息，所述坐标转换关系中还包含所述第二目标物体相对于所述机械臂末端的第五转换矩阵，当上述指令被上述设备执行时，使得上述设备执行所述基于所述第一位姿信息以及所述第二位姿信息，获得坐标转换关系，还包括：

其中一种可能的实现方式中，所述第一转换矩阵由公式：

计算得到，

其中，

为所述第一转换矩阵，

为所述第二转换矩阵，

为所述第三转换矩阵，

为所述第四转换矩阵；

和/或，所述第五转换矩阵由公式：

计算得到，

其中，

为所述第五转换矩阵，

为所述第六转换矩阵。

其中一种可能的实现方式中，所述第一运动信息中包含第三位姿信息，当上述指令被上述设备执行时，使得上述设备执行所述获取第一运动信息，包括：

获取接收到的多帧目标图像，其中，所述多帧目标图像中包含第三目标物体，所述目标图像由所述摄像装置拍摄获得；

其中一种可能的实现方式中，当上述指令被上述设备执行时，使得上述设备执行所述基于所述坐标转换关系，对所述第一运动信息进行转换，以获得第二运动信息，包括：

基于多个所述第四位姿信息，获得第二运动信息。

当上述指令被上述设备执行时，使得上述设备还执行：

获取第二运动信息；

按照所述第二运动信息对机械臂进行控制。

图8所示的电子设备可以用于执行如图1所示实施例的运动捕捉方法或如图5所示的机械臂控制方法，其功能或原理可以参考上述图1所示实施例的运动捕捉方法或如图5所示的机械臂控制方法，在此不再赘述。

如图8所示，电子设备900包括处理器910和存储器920。其中，处理器910和存储器920之间可以通过内部连接通路互相通信，传递控制和/或数据信号，该存储器920用于存储计算机程序，该处理器910用于从该存储器920中调用并运行该计算机程序。

上述存储器920可以是只读存储器(read-only memory，ROM)、可存储静态信息和指令的其它类型的静态存储设备、随机存取存储器(random access memory，RAM)或可存储信息和指令的其它类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备，或者还可以是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质等。

上述处理器910可以和存储器920可以合成一个处理装置，更常见的是彼此独立的部件，处理器910用于执行存储器920中存储的程序代码来实现上述功能。具体实现时，该存储器920也可以集成在处理器910中，或者，独立于处理器910。

除此之外，为了使得电子设备900的功能更加完善，该电子设备900还可以包括摄像头930、电源940、输入单元950等中的一个或多个。

可选地，电源950用于给电子设备中的各种器件或电路提供电源。

应理解，图8所示的电子设备900能够实现本申请图1或图5所示实施例提供的方法的各个过程。电子设备900中的各个模块的操作和/或功能，分别为了实现上述方法实施例中的相应流程。具体可参见本申请图1或图5所示方法实施例中的描述，为避免重复，此处适当省略详细描述。

应理解，图8所示的电子设备900中的处理器910可以是片上系统SOC，该处理器910中可以包括中央处理器(Central Processing Unit；以下简称：CPU)，还可以进一步包括其他类型的处理器，例如：图像处理器(Graphics Processing Unit；以下简称：GPU)等。

总之，处理器910内部的各部分处理器或处理单元可以共同配合实现之前的方法流程，且各部分处理器或处理单元相应的软件程序可存储在存储器920中。

本申请还提供一种电子设备，所述设备包括存储介质和中央处理器，所述存储介质可以是非易失性存储介质，所述存储介质中存储有计算机可执行程序，所述中央处理器与所述非易失性存储介质连接，并执行所述计算机可执行程序以实现本申请图1或图5所示实施例提供的方法。

以上各实施例中，涉及的处理器可以例如包括CPU、DSP、微控制器或数字信号处理器，还可包括GPU、嵌入式神经网络处理器(Neural-network Process Units；以下简称：NPU)和图像信号处理器(Image Signal Processing；以下简称：ISP)，该处理器还可包括必要的硬件加速器或逻辑处理硬件电路，如ASIC，或一个或多个用于控制本申请技术方案程序执行的集成电路等。此外，处理器可以具有操作一个或多个软件程序的功能，软件程序可以存储在存储介质中。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行本申请图1或图5所示实施例提供的方法。

本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，当其在计算机上运行时，使得计算机执行本申请图1或图5所示实施例提供的方法。

本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。

本领域普通技术人员可以意识到，本文中公开的实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory；以下简称：ROM)、随机存取存储器(Random Access Memory；以下简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以所述权利要求的保护范围为准。