[go: up one dir, main page]

CN115179294A - 机器人控制方法、系统、计算机设备、存储介质 - Google Patents

机器人控制方法、系统、计算机设备、存储介质 Download PDF

Info

Publication number
CN115179294A
CN115179294A CN202210925672.8A CN202210925672A CN115179294A CN 115179294 A CN115179294 A CN 115179294A CN 202210925672 A CN202210925672 A CN 202210925672A CN 115179294 A CN115179294 A CN 115179294A
Authority
CN
China
Prior art keywords
robot
binocular
coordinate
coordinate system
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210925672.8A
Other languages
English (en)
Inventor
朱祥
何超
其他发明人请求不公开姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Wimi Robotics Co ltd
Original Assignee
Shenzhen Wimi Robotics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Wimi Robotics Co ltd filed Critical Shenzhen Wimi Robotics Co ltd
Priority to CN202210925672.8A priority Critical patent/CN115179294A/zh
Publication of CN115179294A publication Critical patent/CN115179294A/zh
Priority to PCT/CN2023/110233 priority patent/WO2024027647A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1607—Calculation of inertia, jacobian matrixes and inverses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B2017/00743—Type of operation; Specification of treatment sites
    • A61B2017/00747—Dermatology
    • A61B2017/00752—Hair removal or transplantation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Manipulator (AREA)

Abstract

本申请涉及一种机器人控制方法、系统、计算机设备、存储介质。所述方法包括：获取从两个不同方位对目标部位进行拍摄所得到的双目自然图像；识别双目自然图像中的各关键对象，并获取各关键对象分别在相机坐标系中的第一坐标；分别将各第一坐标转换到机器人坐标系中，得到各关键对象分别在机器人坐标系中的第二坐标；根据至少一个第二坐标获取路径轨迹，路径轨迹用于控制机器人按照路径轨迹执行预设操作。采用本方法无需手动调整机器人姿态，能够降低机器人的操作难度并提高机器人的工作效率。

Description

机器人控制方法、系统、计算机设备、存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种机器人控制方法、装置、系统、计算机设备、存储介质和计算机程序产品。
背景技术
在毛囊移植的过程中，医生为了保证环切毛囊的精度，需要在环切前调整器械(如宝石刀)的姿态。现有方式包括：医生不利用辅助设备直接靠经验手动调整；医生结合辅助设备(如植发放大镜)调整操作器械的姿态等。传统的毛囊提取由多位助手医师辅助经验丰富的医生来完成，在提取毛囊前，需要筛选毛发目标区域，若采用人工进行筛选，则耗费大量人力与时间；而且，受提取毛囊的位置、人为主观经验等因素影响，往往效率低下，且提取的精确度没有保障。
另外，目前的毛囊移植机器人主要还是依赖医生进行手动调整器械姿态，操作繁琐且工作效率较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高工作效率且操作便捷的机器人控制方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
本发明提供一种机器人控制方法，所述方法包括：
获取从两个不同方位对目标部位进行拍摄所得到的双目自然图像，并获取所述双目自然图像中的各关键对象的双目匹配结果，根据各所述关键对象的双目匹配结果确定视觉里程计；
根据视觉里程计确定相机坐标系，并获取各所述关键对象分别在相机坐标系中的第一坐标；
分别将各第一坐标转换到机器人坐标系中，得到各所述关键对象分别在机器人坐标系中的第二坐标；
基于目标操作需求获取约束条件，根据至少一个第二坐标和所述约束条件进行非线性二次规划，得到路径轨迹，所述路径轨迹用于控制机器人按照所述路径轨迹执行与所述目标操作需求对应的预设操作。
在其中一个实施例中，所述获取所述双目自然图像中的各关键对象的双目匹配结果，包括：
对所述左目图像进行特征提取，以识别所述左目图像中各关键对象分别对应的左目特征点；
对所述右目图像进行特征提取，以识别所述右目图像中各关键对象分别对应的右目特征点；
基于双目标定参数，对至少一个左目特征点以及至少一个右目特征点进行双目匹配，得到至少一个特征点对，将至少一个特征点对作为所述双目匹配结果；所述特征点对包括一个左目特征点和一个右目特征点。
在其中一个实施例中，所述根据视觉里程计确定相机坐标系，包括：
根据所述视觉里程计获取双目相机空间位姿信息，并根据所述双目相机空间位姿信息确定所述相机坐标系。
在其中一个实施例中，所述获取各所述关键对象分别在相机坐标系中的第一坐标，包括：
在所述相机坐标系中，通过三角测量计算各关键对象对应的深度信息；
根据所述深度信息获取各关键对象在所述相机坐标系中的三维坐标，将所述三维坐标作为所述第一坐标。
在其中一个实施例中，所述分别将各第一坐标转换到机器人坐标系中，得到各所述关键对象分别在机器人坐标系中的第二坐标，包括：
根据双目相机和机器人的位置关系确定手眼标定参数；所述双目相机是拍摄所述双目自然图像的相机；
基于所述手眼标定参数确定第一坐标转换矩阵，根据所述第一坐标转换矩阵对各第一坐标进行计算，得到与各第一坐标分别对应的第二坐标，作为各所述关键对象分别在机器人坐标系中的第二坐标。
在其中一个实施例中，所述基于目标操作需求获取约束条件，根据至少一个第二坐标和所述约束条件进行非线性二次规划，得到路径轨迹，包括：
根据至少一个第二坐标建立轨迹函数，以及获取轨迹分段数；
对所述轨迹函数关于时间求导，得到轨迹导数通项式；
根据所述轨迹分段数和所述约束条件，获取所述轨迹导数通项式对应的轨迹多项式；
基于所述目标操作需求构建所述轨迹多项式的目标函数和边界条件；基于所述目标函数、所述边界条件和所述约束条件，求解所述轨迹多项式，得到所述路径轨迹。
在其中一个实施例中，所述方法还包括：
根据所述路径轨迹控制机器人执行预设操作，所述根据所述路径轨迹控制机器人执行预设操作，包括：
根据所述路径轨迹中的各第二坐标分别确定一组机器人关节参数；所述一组机器人关节参数包括多个子关节参数，所述子关节参数用于控制所述机器人的各关节运动；
根据至少一组机器人关节参数控制所述机器人的各关节运动，以实现所述机器人按照所述路径轨迹执行预设操作。
在其中一个实施例中，所述方法还包括：
根据目标部位的双目自然图像获取所述相机坐标系中的靶标坐标；
根据所述靶标坐标确定靶标位姿偏差；
根据所述靶标位姿偏差修正所述第二坐标；
所述根据至少一个第二坐标和所述约束条件进行非线性二次规划，得到路径轨迹，包括：
根据至少一个修正后的第二坐标和所述约束条件进行非线性二次规划，得到修正后的路径轨迹。
在其中一个实施例中，所述方法还包括：按照预设周期检测所述机器人的运行参数；
在所述运行参数满足预设故障条件的情况下，获取所述运行参数对应的故障类型；
根据所述故障类型对所述机器人执行相应类别的停机操作。
本发明还一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上所述的方法的步骤。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法的步骤。
本发明还提供一种机器人控制系统，所述系统包括：
控制台车，用于获取从两个不同方位对目标部位进行拍摄所得到的双目自然图像，并获取所述双目自然图像中的各关键对象的双目匹配结果，根据各所述关键对象的双目匹配结果确定视觉里程计；根据视觉里程计确定相机坐标系，并获取各所述关键对象分别在相机坐标系中的第一坐标；分别将各第一坐标转换到机器人坐标系中，得到各所述关键对象分别在机器人坐标系中的第二坐标；基于目标操作需求获取约束条件，根据至少一个第二坐标和所述约束条件进行非线性二次规划，得到路径轨迹；
机械臂，其安装于所述控制台车上，用于按照所述路径轨迹执行与所述目标操作需求对应的预设操作；以及
末端执行机构，其安装于所述机械臂的末端，用于随所述机械臂运动，按照所述路径轨迹执行与所述目标操作需求对应的预设操作。
在其中一个实施例中，所述系统还包括：立体视觉模块，安装于所述末端执行机构内部，用于随所述末端执行机构运动，并获取所述双目自然图像。
在其中一个实施例中，所述控制台车还包括：视觉伺服单元，用于根据目标部位的双目自然图像获取所述相机坐标系中的靶标坐标，根据所述靶标坐标确定靶标位姿偏差，根据所述靶标位姿偏差修正所述第二坐标，根据至少一个修正后的第二坐标和所述约束条件进行非线性二次规划，得到修正后的路径轨迹。
在其中一个实施例中，所述控制台车还包括：安全检测单元，用于按照预设周期检测所述机械臂的运行参数，在所述运行参数满足预设故障条件的情况下，获取所述运行参数对应的故障类型，根据所述故障类型对所述机械臂执行相应类别的停机操作。
上述机器人控制方法、装置、系统、计算机设备、存储介质和计算机程序产品，获取从两个不同方位对目标部位进行拍摄所得到的双目自然图像，并获取双目自然图像中的各关键对象的双目匹配结果，根据各关键对象的双目匹配结果确定视觉里程计；根据视觉里程计确定相机坐标系，并获取各关键对象分别在相机坐标系中的第一坐标；分别将各第一坐标转换到机器人坐标系中，得到各关键对象分别在机器人坐标系中的第二坐标；基于目标操作需求获取约束条件，根据至少一个第二坐标和约束条件进行非线性二次规划，得到路径轨迹，路径轨迹用于控制机器人按照路径轨迹执行与目标操作需求对应的预设操作。这样，通过双目视觉技术检测关键对象，并计算出关键对象相对于机器人坐标系的第二坐标，就能根据多个关键对象的第二坐标确定路径轨迹，控制机器人按照路径轨迹自动执行预设操作。无需人为手动调整机器人姿态，能够降低机器人的操作难度并提高机器人的工作效率。
附图说明
图1为一个实施例中机器人控制方法的流程示意图；
图2为一个实施例中视觉里程计的特征点法流程示意图；
图3为一个实施例中视觉里程计的光流追踪法流程示意图；
图4为一个实施例中双目标定的流程示意图；
图5为一个实施例中双目标定的几何关系示意图；
图6为一个实施例中手眼标定的结构示意图；
图7为一个实施例中手眼标定的流程示意图；
图8为一个实施例中坐标系转换的流程示意图；
图9为一个实施例中路径轨迹规划的流程示意图；
图10为另一个实施例中路径轨迹规划的流程示意图；
图11为一个实施例中安全检测的流程示意图；
图12为一个实施例中毛囊移植机器人的使用场景示意图；
图13为一个实施例中毛囊提取机器人控制方法的流程示意图；
图14为一个实施例中毛囊种植机器人控制方法的流程示意图；
图15为一个实施例中自动毛囊移植机器人控制系统的结构框图；
图16为另一个实施例中自动毛囊移植机器人控制系统的结构框图；
图17为一个实施例中状态空间控制器单元的设计结构示意图；
图18为另一个实施例中状态空间控制器单元的设计结构示意图；
图19为一个实施例中PBVS控制器的结构示意图；
图20为一个实施例中IBVS控制器的结构示意图；
图21为一个实施例中IBVS控制器的数据处理示意图；
图22为一个实施例中机器人控制装置的结构框图；
图23为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的机器人控制方法，可以应用于机器人，机器人至少包括控制器和末端执行器。机器人是自动执行工作的机器装置。它既可以接受人类指挥，又可以运行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动。机器人的任务是协助或取代人类工作的工作，例如生产、建筑业、医疗等工作。
在一个实施例中，如图1所示，提供了一种机器人控制方法，以该方法应用于植发手术机器人为例进行说明，包括以下步骤：
步骤102，获取从两个不同方位对目标部位进行拍摄所得到的双目自然图像。
其中，目标部位优选为患者的头部图像，当然在本发明的其他实施例的应用场景下，也可以是患者的其他身体部位，本发明中对此不做限定。双目自然图像可以是采用双目相机对目标部位进行拍摄得到，也可以是采用两个单目相机从两个不同方位对目标部位进行拍摄得到，本实施例中亦对此不做限定。
可选的，通过相机，按照预设拍摄周期获取目标部位的双目自然图像。
步骤104，识别双目自然图像中的各关键对象，并获取各关键对象分别在相机坐标系中的第一坐标。
其中，关键对象是指具有预设特征的对象，目标图像中的关键对象的数量可以是多个。其中，关键对象比如可以是待进行异常检测、手术或者勾画的具体对象，例如，在毛囊移植操作中，一个毛囊就相当于一个关键对象。
可选的，通过识别双目自然图像中的各特征点，并通过双目匹配确定出各特征点对应的各关键对象，然后采用视觉里程计计算出各关键对象对应的深度信息，从而确定各关键对象分别在相机坐标系(三维笛卡尔坐标系)中的第一坐标。
步骤106，分别将各第一坐标转换到机器人坐标系中，得到各关键对象分别在机器人坐标系中的第二坐标。
可选的，根据拍摄双目自然图像的相机和机器人的相对位置，确定第一坐标转换矩阵(相当于齐次变换矩阵)，并通过第一坐标转换矩阵将相机坐标系中的各第一坐标转换到机器人坐标系中，得到各关键对象分别在机器人坐标系中的第二坐标。机器人坐标系和相机坐标系均属于三维笛卡尔坐标系，只是参考坐标系不同。
步骤108，根据至少一个第二坐标获取路径轨迹，路径轨迹用于控制机器人按照路径轨迹执行预设操作。
可选的，基于确定的多个关键对象的第二坐标，规划出机器人的路径轨迹，路径轨迹中机器人的速度、加速度等控制参数需要平滑且满足安全要求。按照预设拍摄周期实时获取双目自然图像，并处理双目自然图像得到路径轨迹，控制器在下一拍摄周期获取到新的双目自然图像之后，会再次处理新的双目自然图像得到新的路径轨迹，并根据新的路径轨迹对原先拍摄周期得到的路径轨迹进行更新，控制机器人的末端执行器按照实时更新的路径轨迹执行预设操作。
上述机器人控制方法中，获取从两个不同方位对目标部位进行拍摄所得到的双目自然图像；识别双目自然图像中的各关键对象，并获取各关键对象分别在相机坐标系中的第一坐标；分别将各第一坐标转换到机器人坐标系中，得到各关键对象分别在机器人坐标系中的第二坐标；根据至少一个第二坐标获取路径轨迹，路径轨迹用于控制机器人按照路径轨迹执行预设操作。这样，通过双目视觉技术检测关键对象，并计算出关键对象相对于机器人坐标系的第二坐标，就能根据多个关键对象的第二坐标确定路径轨迹，控制机器人按照路径轨迹自动执行预设操作。并且当关键对象的位置发生变化，第一坐标、第二坐标也会通过实时的计算进行更新，从而保证路径轨迹持续更新。无需手动调整机器人姿态，能够降低机器人的操作难度并提高机器人的工作效率和路径准确性。
在一个实施例中，双目自然图像包括左目图像和右目图像，识别双目自然图像中的各关键对象，并获取各关键对象分别在相机坐标系中的第一坐标，包括：对左目图像进行特征提取，以识别左目图像中各关键对象分别对应的左目特征点；对右目图像进行特征提取，以识别右目图像中各关键对象分别对应的右目特征点；基于双目标定参数，对至少一个左目特征点以及至少一个右目特征点进行双目匹配，得到至少一个特征点对；特征点对包括一个左目特征点和一个右目特征点；根据视觉里程计确定各特征点对对应的深度信息，并根据深度信息获取各特征点对在相机坐标系中的三维坐标，将三维坐标作为第一坐标。
可选的，首先对双目自然图像分别进行特征提取，提取关键对象的特征信息，通过定义客制化的关键点和描述子来获得每个关键对象的ORB(oriented FAST and rotatedBRIEF)特征，根据尺度不变性来构建图像金字塔对不同分辨率下的图像信息降采样，从而提取到ORB特征点。然后对完成了特征提取的同一帧下的左、右目图像，基于双目标定得到的内外参、本质矩阵、基础矩阵等双目标定参数进行极线矫正与全局特征匹配。最后采用视觉里程计，通过三角测量原理对完成了同一帧下的左、右目图像估计深度信息，以及计算相机坐标系中的空间位姿信息，空间位姿信息通过三维坐标的形式体现。
在一个可行的实施方式中，双目立体视觉是由一对单目2D相机构成，其实质是一个视觉里程计的核心问题，即如何根据图像估计相机相对运动。可以采用如图2所示的特征点法。通过设计提取关键点和描述子的方法实现图像特征匹配，同时又通过灰度质心法、降采样的方法引入了特征的旋转性和尺度不变性。进而估计出相机的相对运动。使用特征点时，忽略了除特征点以外的所有信息，提取符合关键对象的特征。
还可以采用如图3所示的光流追踪法，通过计算多层稀疏光流，求解光度误差的优化问题从而估计相机相对运动。在保留了计算关键点的同时使用了光流追踪替换描述子来达到相机相对运动估计与双目匹配的目的。优势是能够省去计算特征点、描述子的时间，但可能存在非凸性的问题。
具体的，搭建立体视觉的前提是需要对相机进行双目标定，得到相机的内外参。如图4所示，首先进行单目内参标定及畸变矫正，对左、右相机分别进行内参标定与畸变矫正，从而得到对应的内参矩阵和畸变参数。接着进行标定板角点特征提取，可以采用上述视觉里程计中的特征点法。然后根据对极约束进行匹配，双目标定的对极几何关系如图5所示，O1和O2为左右相机中心，考虑识别对象在像素平面I1和I2对应的特征点为p1和p2，如果匹配成功，说明它们确实是同一空间点在两个成像平面上的投影，构成对极约束。进一步解算外参矩阵、基础矩阵和本质矩阵，设左、右相机之间的相对运动的旋转矩阵为R，平移矩阵为t。由对极约束可求出对应的基础矩阵和本质矩阵，从而进一步解得左、右相机的相对位姿关系，记录为外参矩阵。最后输出所记录的内外参，完成双目标定。
本实施例中，对左目图像进行特征提取，以识别左目图像中各关键对象分别对应的左目特征点；对右目图像进行特征提取，以识别右目图像中各关键对象分别对应的右目特征点；基于双目标定参数，对至少一个左目特征点以及至少一个右目特征点进行双目匹配，得到至少一个特征点对；特征点对包括一个左目特征点和一个右目特征点；根据视觉里程计确定各特征点对对应的深度信息，并根据深度信息获取各特征点对在相机坐标系中的三维坐标，将三维坐标作为第一坐标。能够基于双目视觉自动检测出关键对象的位置坐标。
在一个实施例中，分别将各第一坐标转换到机器人坐标系中，得到各关键对象分别在机器人坐标系中的第二坐标，包括：根据双目相机和机器人的位置关系确定手眼标定参数；双目相机是拍摄双目自然图像的相机；基于手眼标定参数确定第一坐标转换矩阵，根据第一坐标转换矩阵对各第一坐标进行计算，得到与各第一坐标分别对应的第二坐标，作为各关键对象分别在机器人坐标系中的第二坐标。
可选的，将相机安装在机器人的机械臂末端上，使相机随着机械臂一起运动。手眼标定解算出机械臂法兰盘坐标系到相机坐标系的转换关系。定义各坐标系：机械臂基座坐标系、机械臂法兰盘坐标系、相机坐标系以及标定板坐标系。如图6所述，选取多组位置拍摄标定板，记录机械臂、相机位姿。对于多组拍摄，存在坐标关系：机械臂基座坐标系到标定板坐标系的转换可以分解为机械臂基座坐标系到机械臂法兰盘坐标系的转换，乘上，机械臂法兰盘坐标系到相机坐标系的转换，再乘上，相机坐标系到标定板坐标系的转换。
如图7所示，记录20-30组数据；A矩阵记录了机械臂法兰盘相邻位姿的转换关系，B矩阵记录了相机相邻位姿的运动估计；建立AX＝XB关系；通过手眼标定算法Tsai Lenz的方法求解最优化问题；能够计算得到法兰盘坐标系到相机坐标系的第一坐标转换矩阵X。法兰盘坐标系就能够作为机器人坐标系。通过第一坐标转换矩阵X就能计算出第一坐标对应的第二坐标。
进一步的，对于机器人机械臂的控制，虽然许多轨迹规划问题可以停留在笛卡尔空间，但最终还是需要落实到关节控制与电机驱动上。
如图6和图8所示，相机识别关键对象，则相机坐标系到关键对象的转换关系可以通过第二坐标转换矩阵
Figure BDA0003778786410000071
手眼标定解算得到机械臂法兰盘坐标系到相机坐标系的转换第一坐标转换矩阵
Figure BDA0003778786410000072
机械臂笛卡尔空间代表了机械臂基座坐标系到机械臂法兰盘坐标系的第三坐标转换矩阵
Figure BDA0003778786410000073
机械臂逆运动学将笛卡尔空间转换为关节空间，得到各关节角数值，进而给到关节、电机控制。
本实施例中，根据双目相机和机器人的位置关系确定手眼标定参数；双目相机是拍摄双目自然图像的相机；基于手眼标定参数确定第一坐标转换矩阵，根据第一坐标转换矩阵对各第一坐标进行计算，得到与各第一坐标分别对应的第二坐标，作为各关键对象分别在机器人坐标系中的第二坐标。能够根据关键对象在相机坐标系中的第一坐标位置计算得到关键对象在机器人坐标系中的第二坐标位置，便于后续控制机器人执行预设操作。
在一个实施例中，根据至少一个第二坐标获取路径轨迹，包括：根据各第二坐标分别确定一组机器人关节参数；一组机器人关节参数包括多个子关节参数，子关节参数用于控制机器人的各关节运动；根据至少一组机器人关节参数控制机器人的各关节运动，以实现机器人按照路径轨迹执行预设操作。
可选的，根据逆运动学将机器人坐标系中的每个第二坐标解算到关节空间，根据每个第二坐标可以解算出一组机器人关节参数，一组机器人关节参数包括多个子关节参数，控制器根据每个子关节参数分别控制机器人的一个关节运动。
本实施例中，根据各第二坐标分别确定一组机器人关节参数；一组机器人关节参数包括多个子关节参数，子关节参数用于控制机器人的各关节运动；根据至少一组机器人关节参数控制机器人的各关节运动，以实现机器人按照路径轨迹执行预设操作。能够将第二坐标解算到机器人的关节空间中，得到机器人各关节的子关节参数，从而控制各关节按照各子关节参数运动，保证机器人按照路径轨迹执行预设操作。
在一个实施例中，方法还包括：根据目标部位的双目自然图像获取相机坐标系中的靶标坐标；根据靶标坐标确定靶标位姿偏差；根据靶标位姿偏差修正第二坐标。根据至少一个第二坐标获取路径轨迹，包括：根据至少一个修正后的第二坐标获取修正后的路径轨迹。
其中，靶标是放置在目标部位标定位置处的标志物，用于对目标部位或关键对象进行位置判定，当连续时刻下靶标位姿出现差异，说明目标部位的位置发生变化。
可选的，相机控制器识别双目自然图像中的各特征点，还要通过双目匹配确定出各特征点对应的靶标，然后采用视觉里程计计算出靶标对应的深度信息，从而确定靶标在相机坐标系中的第一靶标坐标。通过第一坐标转换矩阵将相机坐标系中的靶标坐标转换到机器人坐标系中，得到靶标在机器人坐标系中的第二靶标坐标。将前后连续两个拍摄周期得到的两个第二靶标坐标进行对比，得到靶标位姿偏差，然后根据靶标位姿偏差实时修正第二坐标，保证每个第二坐标与第二靶标坐标之间的距离参数始终保持不变
进一步的，根据实时调整的第二坐标不断的修正路径轨迹，保证机器人真正能够在目标部位上按照规划的路径轨迹完成预设操作。轨迹规划设计一般需要先确定空间中的离散路径点(即第二坐标)，也就是路径规划(由视觉里程计和坐标系转换单元确定)，而由于路径点比较稀疏且不带时间信息，需要规划一条平滑的曲线(根据控制周期形成稠密的轨迹点)穿过这些路径点，且按时间分布，每个轨迹点的位置、速度、加速度、jerk(位置的三阶导数)、snap(位置的四阶导数)皆可知。
在一个可行的实施方式中，路径轨迹的规划采用Minimum-jerk轨迹规划，如图9所示。根据输入的路径点表示轨迹关于时间的函数(一般用n阶多项式)。对轨迹函数作k阶微分，得到轨迹导数通项式，如速度、加速度、jerk等。复杂的轨迹需要多段多项式组成(分段函数)，如分为m段。基于minimum-jerk约束条件确定多项式阶次，此处为n＝5阶，根据分段轨迹，共存在6*m个未知系数。构造目标函数。添加边界条件：导数约束与连续性约束。求解最优化问题，解得6*m个未知系数，确定轨迹。
在另一个可行的实施方式中，路径轨迹的规划采用Minimum-snap轨迹规划，如图10所示。根据输入的路径点表示轨迹关于时间的函数(一般用n阶多项式)。对轨迹函数作k阶微分，得到轨迹导数通项式如速度、加速度、jerk、snap等。复杂的轨迹需要多段多项式组成(分段函数)，如分为m段。基于minimum-snap约束条件确定多项式阶次，此处为n＝7阶，根据分段轨迹，共存在8*m个未知系数。构造目标函数。添加边界条件：导数约束与连续性约束。求解最优化问题，解得8*m个未知系数，确定轨迹。
本实施例中，根据目标部位的双目自然图像获取相机坐标系中的靶标坐标；根据靶标坐标确定靶标位姿偏差；根据靶标位姿偏差修正第二坐标；根据至少一个修正后的第二坐标获取修正后的路径轨迹。能够保证机器人会随着目标部位的位置变化而自动更新路径轨迹，从而使机器人不受目标部位位置变化的影响完成预设操作。
在一个实施例中，方法还包括：按照预设周期检测机器人的运行参数；在运行参数满足预设故障条件的情况下，获取运行参数对应的故障类型；根据故障类型对机器人执行相应类别的停机操作。
可选的，如图11所示，机器人作业过程中，控制器可以间隔预设周期对机器人的运动性能实时跟踪监测，例如，可以每间隔0.5秒检测一次，检测的运行参数可以包括：
(1)位置检测：包含笛卡尔空间位置超限检测、关节空间位置超限检测、笛卡尔空间位姿偏差超限检测和关节空间位姿偏差超限检测。
(2)速度检测：包含笛卡尔空间速度超限检测、关节空间速度超限检测、笛卡尔空间速度偏差超限检测和关节空间速度偏差超限检测。
(3)加速度检测：包含笛卡尔空间加速度超限检测、关节空间加速度超限检测、笛卡尔空间加速度偏差超限检测和关节空间加速度偏差超限检测。
(4)外力检测：包括笛卡尔空间末端外力超限检测和关节空间外力超限检测。
(5)扭矩检测：关节空间扭矩超限检测和关节空间扭矩偏差超限检测。
以上检测均能从机器人返回相应的故障码，控制器根据故障码确定出故障类别以及故障关节部位，进行相应类别的停机操作。
本实施例中，通过按照预设周期检测机器人的运行参数；在运行参数满足预设故障条件的情况下，获取运行参数对应的故障类型；根据故障类型对机器人执行相应类别的停机操作。能够提供完善的安全检测方案，使得机器人作业过程更准确、更安全。
在一个实施例中，一种机器人控制方法，以该方法应用于毛囊移植机器人为例，毛囊移植机器人的使用场景如图12所示，可包含：自动移植操作系统和座椅等。自动移植操作系统可进行自动移植操作，也可以在医生的监控下进行移植操作。自动移植操作系统包括如图所示的操作机械臂、控制台车、末端执行机构。立体视觉安装于末端执行机构内部。且视觉模块与机器人运动模块均通过控制台车内的上位机控制。毛囊移植机器人可用于进行毛囊提取或毛囊种植，毛囊相当于关键对象。
在一个可行的实施方式中，如图13所示，一种毛囊提取机器人控制方法，包括：实时采集术中自然图像，并进行二维图像特征提取与毛囊单元识别，通过双目匹配、极线矫正、三角测量、深度估计完成术中三维图像的生成。对图像坐标系进行转换，从图像笛卡尔空间转换至机械臂关节空间，对转换后的路点自动生成实时规划的轨迹，同时通过自适应调整进针姿态参数，末端执行器可以自动进行毛囊环切提取，直至完成计划数量的毛囊提取，结束毛囊提取。
在另一个可行的实施方式中，如图14所示，一种毛囊种植机器人控制方法，包括：导入医生术前规划完成的毛囊种植孔位，实时采集术中自然图像，并进行二维图像特征提取与靶标识别(通过靶标查找毛囊种植孔位的位置)，通过双目匹配、极线矫正、三角测量、深度估计完成术中三维图像的生成。再根据毛囊种植孔位相对于种植靶标坐标系的位置确定路径点。进而从图像笛卡尔空间转换至机械臂关节空间，自动生成实时规划的轨迹，同时通过自适应调整进针姿态参数，末端执行器可以自动进行打孔与毛囊种植，直至完成计划数量的毛囊种植完成，结束毛囊种植。
在一个实施例中，一种机器人控制方法，以该方法应用于如图15所示的自动毛囊移植机器人控制系统为例，系统包括：
视觉模块，用于拍摄双目自然图像并输出关键对象、靶标的三维信息给运动控制模块。
运动控制模块，用于根据三维信息自动规划机器人的操作路径轨迹，并在机器人作业时进行安全检测。
辅助模块，用于配置视觉模块和运动控制模块中涉及的相关参数，以及配置系统的信号响应。
具体的，视觉模块还包括单目图像采集单元、单目特征提取单元、双目匹配单元、视觉里程计单元和数据存储单元。
单目图像采集单元用于获取从两个不同方位对目标部位进行拍摄所得到的双目自然图像；双目自然图像包括左目图像和右目图像。
单目特征提取单元用于对左目图像进行特征提取，以识别左目图像中各关键对象分别对应的左目特征点；以及对右目图像进行特征提取，以识别右目图像中各关键对象分别对应的右目特征点。
双目匹配单元用于基于双目标定参数，对至少一个左目特征点以及至少一个右目特征点进行双目匹配，得到至少一个特征点对；特征点对包括一个左目特征点和一个右目特征点。
视觉里程计单元用于根据视觉里程计确定各特征点对对应的深度信息，并根据深度信息获取各特征点对在相机坐标系中的三维坐标，将三维坐标作为第一坐标。
数据存储单元用于存储单目图像采集单元采集的双目自然图像。
具体的，运动控制模块还包括坐标系转换单元、轨迹规划单元、操作执行单元和安全检测单元。
坐标系转换单元用于根据双目相机和机器人的位置关系确定手眼标定参数；双目相机是拍摄双目自然图像的相机；基于手眼标定参数确定第一坐标转换矩阵，根据第一坐标转换矩阵对各第一坐标进行计算，得到与各第一坐标分别对应的第二坐标，作为各关键对象分别在机器人坐标系中的第二坐标。根据各第二坐标分别确定一组机器人关节参数；一组机器人关节参数包括多个子关节参数，子关节参数用于控制机器人的各关节运动。
轨迹规划单元用于根据至少一个第二坐标获取路径轨迹，并根据至少一组机器人关节参数控制机器人的各关节运动，以实现机器人按照路径轨迹执行预设操作。
操作执行单元用于按照路径轨迹执行预设操作。
安全检测单元用于按照预设周期检测机器人的运行参数；在运行参数满足预设故障条件的情况下，获取运行参数对应的故障类型；根据故障类型对机器人执行相应类别的停机操作。
具体的，辅助模块还包括手眼标定辅助单元、状态空间控制器单元、视觉伺服控制器单元和双目标定辅助单元。
手眼标定辅助单元用于配置手眼标定参数。
状态空间控制器单元用于保证机器人的运动控制精度、稳定性于鲁棒性。
视觉伺服控制器单元用于视觉与运动控制，提高手眼协调的性能与安全。根据目标部位的双目自然图像获取相机坐标系中的靶标坐标；根据靶标坐标确定靶标位姿偏差；根据靶标位姿偏差修正第二坐标；再根据至少一个修正后的第二坐标获取修正后的路径轨迹。
双目标定辅助单元用于配置双目标定参数。
在一个可行的实施方式中，如图16所示，自动毛囊移植机器人控制系统还可以包括人机交互模块，人机交互模块配置有显示设备与交互软件。
人机交互模块用于通过与单目特征提取单元进行交互，用户可自主、半自主地设计特征点取法密度与区域。
人机交互模块还用于通过与轨迹规划单元交互，用户可自主、半自主地设计路径轨迹，从而自主设计种植孔位与所构成的发型。
人机交互模块还用于通过与坐标系转换单元交互，机器人仅自动采集并处理视觉图像，停止自动进行坐标转换和路径规划，用户人为暂停或控制操作过程。
人机交互模块还用于通过与数据存储单元交互，用户可以查看数据存储单元存储的数据。
在一个可行的实施方式中，如图17所示，状态空间控制器单元主要由积分控制器、被控对象与全状态反馈控制律组成。全状态反馈控制是指对于具有二次型性能函数的多为耦合的调节对象，通过求解有关的Riccati矩阵微分方程来设计最优调节结构的方法。通过同时反馈系统输出与状态量的方法，实现极点任意配置来获取控制律K，从而调整系统特性，使之达到最优性能。具体表现位改变系统的动态响应、抗扰动能力，进一步提升系统稳定性。由于引入了全状态反馈控制，故系统状态(state)扩张出了误差状态量并过极点配置，来影响系统的特征向量(eigenvector)与特征值(eigenvalue)，从而可设计地调整系统特性，使之达成毛囊移植机器人地最优性能。积分控制器的引入也可以很好地消除稳态误差，提高系统精度。
在另一个可行的实施方式中，如图18所示，状态空间控制器单元主要由积分控制器、被控对象、状态观测器、全状态反馈控制律组成。采用极点配置的方法来获取控制律K，从而来调整系统特性，使之达到最优性能。在此之上，为了增加系统的鲁棒性与进一步减小系统稳态误差，增加了状态观测器和积分控制器。由于引入了全状态反馈控制与状态观测器，故系统状态(state)扩张出了估计状态量与误差状态量。状态观测器的加入很好地弥补了一些状态量无法被完全检测到时的问题，全状态反馈又能通过极点配置，来影响系统的特征向量(eigenvector)与特征值(eigenvalue)，从而可设计地调整系统特性，使之达成毛囊移植机器人地最优性能。
在一个可行的实施方式中，如图19所示，视觉伺服控制器单元通过PBVS(positionbased visual-servoing)控制器来实现，使反馈得到的实际位姿与期望位姿的稳态误差快速衰减为零，是系统在无超调量的前提下以很小的调整时间达到系统响应。其中反馈的实际位姿信息是通过视觉里程计计算出的靶标位姿得到的。实时计算实际位姿与期望位姿的稳态误差，通过机器人的各关节控制器调整关节参数，从而使反馈得到的实际位姿与期望位姿的稳态误差快速衰减为零。能够解决患者在手术过程晃动、抖动的问题，本发明通过设计视觉伺服控制器辅助运动控制模块，实时规划最优化轨迹。
在另一个可行的实施方式中，如图20所示，视觉伺服控制器单元通过IBVS(imagebased visual-servoing)控制器来实现，使反馈得到的实际图像特征与期望图像特征的稳态误差快速衰减为零，是系统在无超调量的前提下以很小的调整时间达到系统响应。其中反馈的实际图像特征信息是通过视觉里程计推导得到，省略了运动估计这一步骤，直接使用了图像特征，但相对地，IBVS控制器涉及到了图像雅可比矩阵的推导，将像素在世界坐标系下的速度矢量转换到了相机在世界坐标系下的速度矢量。如图21所示，结合双目视觉相机、视觉里程计与双目标定，获得对象的三维深度信息与相机内外参，这些参数也被用来推导图像雅可比矩阵。从而建立起了像素坐标系光流速度矢量与相机速度矢量之间的桥梁。通过图像雅可比矩阵可以基于速度环获得相机的运动状态，解算出机械臂的运动指令。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的机器人控制方法的机器人控制装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个机器人控制装置实施例中的具体限定可以参见上文中对于机器人控制方法的限定，在此不再赘述。
在一个实施例中，如图22所示，提供了一种机器人控制装置220，包括：拍摄模块221、视觉模块222、转换模块223和控制模块224，其中：
拍摄模块221，用于获取从两个不同方位对目标部位进行拍摄所得到的双目自然图像。
视觉模块222，用于识别双目自然图像中的各关键对象，并获取各关键对象分别在相机坐标系中的第一坐标。
转换模块223，用于分别将各第一坐标转换到机器人坐标系中，得到各关键对象分别在机器人坐标系中的第二坐标。
控制模块224，用于根据至少一个第二坐标获取路径轨迹，路径轨迹用于控制机器人按照路径轨迹执行预设操作。
在一个实施例中，双目自然图像包括左目图像和右目图像，视觉模块222还用于对左目图像进行特征提取，以识别左目图像中各关键对象分别对应的左目特征点；对右目图像进行特征提取，以识别右目图像中各关键对象分别对应的右目特征点；基于双目标定参数，对至少一个左目特征点以及至少一个右目特征点进行双目匹配，得到至少一个特征点对；特征点对包括一个左目特征点和一个右目特征点；根据视觉里程计确定各特征点对对应的深度信息，并根据深度信息获取各特征点对在相机坐标系中的三维坐标，将三维坐标作为第一坐标。
在一个实施例中，转换模块223还用于根据双目相机和机器人的位置关系确定手眼标定参数；双目相机是拍摄双目自然图像的相机；基于手眼标定参数确定第一坐标转换矩阵，根据第一坐标转换矩阵对各第一坐标进行计算，得到与各第一坐标分别对应的第二坐标，作为各关键对象分别在机器人坐标系中的第二坐标。
在一个实施例中，控制模块224还用于根据各第二坐标分别确定一组机器人关节参数；一组机器人关节参数包括多个子关节参数，子关节参数用于控制机器人的各关节运动；根据至少一组机器人关节参数控制机器人的各关节运动，以实现机器人按照路径轨迹执行预设操作。
在一个实施例中，视觉模块222还用于根据目标部位的双目自然图像获取相机坐标系中的靶标坐标。
转换模块223还用于根据靶标坐标确定靶标位姿偏差；根据靶标位姿偏差修正第二坐标。
控制模块224还用于根据至少一个修正后的第二坐标获取修正后的路径轨迹。
在一个实施例中，控制模块224还用于按照预设周期检测机器人的运行参数；在运行参数满足预设故障条件的情况下，获取运行参数对应的故障类型；根据故障类型对机器人执行相应类别的停机操作。
上述机器人控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图23所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像和坐标数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种机器人控制方法。
本领域技术人员可以理解，图23中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (15)

1.一种机器人控制方法，其特征在于，所述方法包括：
获取从两个不同方位对目标部位进行拍摄所得到的双目自然图像，并获取所述双目自然图像中的各关键对象的双目匹配结果，根据各所述关键对象的双目匹配结果确定视觉里程计；
根据视觉里程计确定相机坐标系，并获取各所述关键对象分别在相机坐标系中的第一坐标；
分别将各第一坐标转换到机器人坐标系中，得到各所述关键对象分别在机器人坐标系中的第二坐标；
基于目标操作需求获取约束条件，根据至少一个第二坐标和所述约束条件进行非线性二次规划，得到路径轨迹，所述路径轨迹用于控制机器人按照所述路径轨迹执行与所述目标操作需求对应的预设操作。
2.根据权利要求1所述的方法，其特征在于，所述获取所述双目自然图像中的各关键对象的双目匹配结果，包括：
对所述左目图像进行特征提取，以识别所述左目图像中各关键对象分别对应的左目特征点；
对所述右目图像进行特征提取，以识别所述右目图像中各关键对象分别对应的右目特征点；
基于双目标定参数，对至少一个左目特征点以及至少一个右目特征点进行双目匹配，得到至少一个特征点对，将至少一个特征点对作为所述双目匹配结果；所述特征点对包括一个左目特征点和一个右目特征点。
3.根据权利要求1所述的方法，其特征在于，所述根据视觉里程计确定相机坐标系，包括：
根据所述视觉里程计获取双目相机空间位姿信息，并根据所述双目相机空间位姿信息确定所述相机坐标系。
4.根据权利要求1所述的方法，其特征在于，所述获取各所述关键对象分别在相机坐标系中的第一坐标，包括：
在所述相机坐标系中，通过三角测量计算各关键对象对应的深度信息；
根据所述深度信息获取各关键对象在所述相机坐标系中的三维坐标，将所述三维坐标作为所述第一坐标。
5.根据权利要求1所述的方法，其特征在于，所述分别将各第一坐标转换到机器人坐标系中，得到各所述关键对象分别在机器人坐标系中的第二坐标，包括：
根据双目相机和机器人的位置关系确定手眼标定参数；所述双目相机是拍摄所述双目自然图像的相机；
基于所述手眼标定参数确定第一坐标转换矩阵，根据所述第一坐标转换矩阵对各第一坐标进行计算，得到与各第一坐标分别对应的第二坐标，作为各所述关键对象分别在机器人坐标系中的第二坐标。
6.根据权利要求1所述的方法，其特征在于，所述基于目标操作需求获取约束条件，根据至少一个第二坐标和所述约束条件进行非线性二次规划，得到路径轨迹，包括：
根据至少一个第二坐标建立轨迹函数，以及获取轨迹分段数；
对所述轨迹函数关于时间求导，得到轨迹导数通项式；
根据所述轨迹分段数和所述约束条件，获取所述轨迹导数通项式对应的轨迹多项式；
基于所述目标操作需求构建所述轨迹多项式的目标函数和边界条件；基于所述目标函数、所述边界条件和所述约束条件，求解所述轨迹多项式，得到所述路径轨迹。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述路径轨迹控制机器人执行预设操作，所述根据所述路径轨迹控制机器人执行预设操作，包括：
根据所述路径轨迹中的各第二坐标分别确定一组机器人关节参数；所述一组机器人关节参数包括多个子关节参数，所述子关节参数用于控制所述机器人的各关节运动；
根据至少一组机器人关节参数控制所述机器人的各关节运动，以实现所述机器人按照所述路径轨迹执行预设操作。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据目标部位的双目自然图像获取所述相机坐标系中的靶标坐标；
根据所述靶标坐标确定靶标位姿偏差；
根据所述靶标位姿偏差修正所述第二坐标；
所述根据至少一个第二坐标和所述约束条件进行非线性二次规划，得到路径轨迹，包括：
根据至少一个修正后的第二坐标和所述约束条件进行非线性二次规划，得到修正后的路径轨迹。
9.根据权利要求1至8中任一项所述的方法，其特征在于，所述方法还包括：
按照预设周期检测所述机器人的运行参数；
在所述运行参数满足预设故障条件的情况下，获取所述运行参数对应的故障类型；
根据所述故障类型对所述机器人执行相应类别的停机操作。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
12.一种机器人控制系统，其特征在于，所述系统包括：
控制台车，用于获取从两个不同方位对目标部位进行拍摄所得到的双目自然图像，并获取所述双目自然图像中的各关键对象的双目匹配结果，根据各所述关键对象的双目匹配结果确定视觉里程计；根据视觉里程计确定相机坐标系，并获取各所述关键对象分别在相机坐标系中的第一坐标；分别将各第一坐标转换到机器人坐标系中，得到各所述关键对象分别在机器人坐标系中的第二坐标；基于目标操作需求获取约束条件，根据至少一个第二坐标和所述约束条件进行非线性二次规划，得到路径轨迹；
机械臂，其安装于所述控制台车上，用于按照所述路径轨迹执行与所述目标操作需求对应的预设操作；以及
末端执行机构，其安装于所述机械臂的末端，用于随所述机械臂运动，按照所述路径轨迹执行与所述目标操作需求对应的预设操作。
13.根据权利要求12所述的系统，其特征在于，所述系统还包括：
立体视觉模块，安装于所述末端执行机构内部，用于随所述末端执行机构运动，并获取所述双目自然图像。
14.根据权利要求12所述的系统，其特征在于，所述控制台车还包括：
视觉伺服单元，用于根据目标部位的双目自然图像获取所述相机坐标系中的靶标坐标，根据所述靶标坐标确定靶标位姿偏差，根据所述靶标位姿偏差修正所述第二坐标，根据至少一个修正后的第二坐标和所述约束条件进行非线性二次规划，得到修正后的路径轨迹。
15.根据权利要求12所述的系统，其特征在于，所述控制台车还包括：
安全检测单元，用于按照预设周期检测所述机械臂的运行参数，在所述运行参数满足预设故障条件的情况下，获取所述运行参数对应的故障类型，根据所述故障类型对所述机械臂执行相应类别的停机操作。
CN202210925672.8A 2022-08-02 2022-08-02 机器人控制方法、系统、计算机设备、存储介质 Pending CN115179294A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210925672.8A CN115179294A (zh) 2022-08-02 2022-08-02 机器人控制方法、系统、计算机设备、存储介质
PCT/CN2023/110233 WO2024027647A1 (zh) 2022-08-02 2023-07-31 机器人控制方法、系统和计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210925672.8A CN115179294A (zh) 2022-08-02 2022-08-02 机器人控制方法、系统、计算机设备、存储介质

Publications (1)

Publication Number Publication Date
CN115179294A true CN115179294A (zh) 2022-10-14

Family

ID=83521216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210925672.8A Pending CN115179294A (zh) 2022-08-02 2022-08-02 机器人控制方法、系统、计算机设备、存储介质

Country Status (2)

Country Link
CN (1) CN115179294A (zh)
WO (1) WO2024027647A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115507857A (zh) * 2022-11-23 2022-12-23 常州唯实智能物联创新中心有限公司 高效机器人运动路径规划方法及系统
CN115741732A (zh) * 2022-11-15 2023-03-07 福州大学 一种按摩机器人的交互式路径规划及运动控制方法
CN115880291A (zh) * 2023-02-22 2023-03-31 江西省智能产业技术创新研究院 汽车总成防错识别方法、系统、计算机及可读存储介质
CN117283555A (zh) * 2023-10-29 2023-12-26 北京小雨智造科技有限公司 一种用于机器人自主标定工具中心点的方法及装置
CN117400256A (zh) * 2023-11-21 2024-01-16 扬州鹏顺智能制造有限公司 一种基于视觉图像的工业机器人连续轨迹控制方法
WO2024027647A1 (zh) * 2022-08-02 2024-02-08 深圳微美机器人有限公司 机器人控制方法、系统和计算机程序产品
WO2024212782A1 (zh) * 2023-04-12 2024-10-17 上海馥逸医疗科技有限公司 机器人系统以及其执行机械臂的控制方法、存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118286603B (zh) * 2024-04-17 2024-11-01 四川大学华西医院 一种基于计算机视觉的磁刺激系统及方法
CN119074216A (zh) * 2024-09-24 2024-12-06 武汉长江激光科技有限公司 截骨机器人辅助作业轨迹生成方法、系统及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413313A (zh) * 2013-08-19 2013-11-27 国家电网公司 基于电力机器人的双目视觉导航系统及方法
CN112132894A (zh) * 2020-09-08 2020-12-25 大连理工大学 一种基于双目视觉引导的机械臂实时跟踪方法
CN112212852A (zh) * 2019-07-12 2021-01-12 阿里巴巴集团控股有限公司 定位方法、移动设备及存储介质
CN113379801A (zh) * 2021-06-15 2021-09-10 江苏科技大学 一种基于机器视觉的高空抛物监测定位方法
CN113902810A (zh) * 2021-09-16 2022-01-07 南京工业大学 一种基于平行式双目立体视觉的机器人齿轮倒角加工方法
JP2022523312A (ja) * 2019-01-28 2022-04-22 キューフィールテック （ベイジン） カンパニー，リミティド Ｖｓｌａｍ方法、コントローラ及び移動可能機器
CN114714356A (zh) * 2022-04-14 2022-07-08 武汉理工大学重庆研究院 基于双目视觉的工业机器人手眼标定误差精确检测方法
CN114771551A (zh) * 2022-04-29 2022-07-22 阿波罗智能技术(北京)有限公司 自动驾驶车辆轨迹规划方法、装置和自动驾驶车辆

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9188973B2 (en) * 2011-07-08 2015-11-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system
CN104281148A (zh) * 2013-07-07 2015-01-14 哈尔滨点石仿真科技有限公司 基于双目立体视觉的移动机器人自主导航方法
CN109940626B (zh) * 2019-01-23 2021-03-09 浙江大学城市学院 一种基于机器人视觉的画眉机器人系统的控制方法
US20220032461A1 (en) * 2020-07-31 2022-02-03 GrayMatter Robotics Inc. Method to incorporate complex physical constraints in path-constrained trajectory planning for serial-link manipulator
CN113070876A (zh) * 2021-03-19 2021-07-06 深圳群宾精密工业有限公司 一种基于3d视觉的机械手点胶路径引导纠偏方法
CN113284111A (zh) * 2021-05-26 2021-08-20 汕头大学 一种基于双目立体视觉的毛囊区域定位方法及系统
CN114280153B (zh) * 2022-01-12 2022-11-18 江苏金晟元控制技术有限公司 一种复杂曲面工件智能检测机器人及检测方法和应用
CN114670177B (zh) * 2022-05-09 2024-03-01 浙江工业大学 一种两转一移并联机器人姿态规划方法
CN115179294A (zh) * 2022-08-02 2022-10-14 深圳微美机器人有限公司 机器人控制方法、系统、计算机设备、存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413313A (zh) * 2013-08-19 2013-11-27 国家电网公司 基于电力机器人的双目视觉导航系统及方法
JP2022523312A (ja) * 2019-01-28 2022-04-22 キューフィールテック （ベイジン） カンパニー，リミティド Ｖｓｌａｍ方法、コントローラ及び移動可能機器
CN112212852A (zh) * 2019-07-12 2021-01-12 阿里巴巴集团控股有限公司 定位方法、移动设备及存储介质
CN112132894A (zh) * 2020-09-08 2020-12-25 大连理工大学 一种基于双目视觉引导的机械臂实时跟踪方法
CN113379801A (zh) * 2021-06-15 2021-09-10 江苏科技大学 一种基于机器视觉的高空抛物监测定位方法
CN113902810A (zh) * 2021-09-16 2022-01-07 南京工业大学 一种基于平行式双目立体视觉的机器人齿轮倒角加工方法
CN114714356A (zh) * 2022-04-14 2022-07-08 武汉理工大学重庆研究院 基于双目视觉的工业机器人手眼标定误差精确检测方法
CN114771551A (zh) * 2022-04-29 2022-07-22 阿波罗智能技术(北京)有限公司 自动驾驶车辆轨迹规划方法、装置和自动驾驶车辆

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李克强: "电动汽车工程手册", 31 December 2019, 机械工业出版社, pages: 73 - 76 *
陈慧岩，熊光明，龚建伟，姜岩: "无人驾驶汽车概论", 31 July 2014, 北京理工大学出版社, pages: 120 - 124 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024027647A1 (zh) * 2022-08-02 2024-02-08 深圳微美机器人有限公司 机器人控制方法、系统和计算机程序产品
CN115741732A (zh) * 2022-11-15 2023-03-07 福州大学 一种按摩机器人的交互式路径规划及运动控制方法
CN115507857A (zh) * 2022-11-23 2022-12-23 常州唯实智能物联创新中心有限公司 高效机器人运动路径规划方法及系统
CN115507857B (zh) * 2022-11-23 2023-03-14 常州唯实智能物联创新中心有限公司 高效机器人运动路径规划方法及系统
CN115880291A (zh) * 2023-02-22 2023-03-31 江西省智能产业技术创新研究院 汽车总成防错识别方法、系统、计算机及可读存储介质
WO2024212782A1 (zh) * 2023-04-12 2024-10-17 上海馥逸医疗科技有限公司 机器人系统以及其执行机械臂的控制方法、存储介质
CN117283555A (zh) * 2023-10-29 2023-12-26 北京小雨智造科技有限公司 一种用于机器人自主标定工具中心点的方法及装置
CN117283555B (zh) * 2023-10-29 2024-06-11 北京小雨智造科技有限公司 一种用于机器人自主标定工具中心点的方法及装置
CN117400256A (zh) * 2023-11-21 2024-01-16 扬州鹏顺智能制造有限公司 一种基于视觉图像的工业机器人连续轨迹控制方法
CN117400256B (zh) * 2023-11-21 2024-05-31 扬州鹏顺智能制造有限公司 一种基于视觉图像的工业机器人连续轨迹控制方法

Also Published As

Publication number Publication date
WO2024027647A1 (zh) 2024-02-08

Similar Documents

Publication Publication Date Title
CN115179294A (zh) 机器人控制方法、系统、计算机设备、存储介质
Lu et al. Super deep: A surgical perception framework for robotic tissue manipulation using deep learning for feature extraction
Li et al. Super: A surgical perception framework for endoscopic tissue manipulation with surgical robotics
CN113910219B (zh) 运动臂系统以及控制方法
CN105225269B (zh) 基于运动机构的三维物体建模系统
Cifuentes et al. Probabilistic articulated real-time tracking for robot manipulation
WO2024094227A1 (zh) 一种基于卡尔曼滤波和深度学习的手势姿态估计方法
CN110728715A (zh) 一种智能巡检机器人像机角度自适应调整方法
WO2021015868A1 (en) System and method for augmenting a visual output from a robotic device
CN109079794B (zh) 一种基于人体姿态跟随的机器人控制与示教方法
GB2580690A (en) Mapping an environment using a state of a robotic device
CN107300100A (zh) 一种在线cad模型驱动的级联式机械臂视觉引导逼近方法
Chen et al. Easyhec: Accurate and automatic hand-eye calibration via differentiable rendering and space exploration
Pachtrachai et al. Learning to calibrate-estimating the hand-eye transformation without calibration objects
CN105616003B (zh) 一种基于径向样条插值的软组织三维视觉跟踪方法
Yu et al. Robust 3-D motion tracking from stereo images: A model-less method
Lin et al. Superpm: A large deformation-robust surgical perception framework based on deep point matching learned from physical constrained simulation data
Huang et al. An autonomous throat swab sampling robot for nucleic acid test
Kurmankhojayev et al. Monocular pose capture with a depth camera using a Sums-of-Gaussians body model
CN117503350A (zh) 植发机器人控制方法、装置、设备、机器人及介质
Fojtů et al. Nao robot localization and navigation using fusion of odometry and visual sensor data
Grundmann et al. A gaussian measurement model for local interest point based 6 dof pose estimation
CN117274387A (zh) 一种肥厚型心肌病脉冲消融定位装置和方法
CN112381925B (zh) 一种基于激光编码的全身跟踪定位方法及系统
KR102577964B1 (ko) 간 수술을 위한 정렬 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination