CN116749233A - 基于视觉伺服的机械臂抓取系统及方法 - Google Patents
基于视觉伺服的机械臂抓取系统及方法 Download PDFInfo
- Publication number
- CN116749233A CN116749233A CN202310838769.XA CN202310838769A CN116749233A CN 116749233 A CN116749233 A CN 116749233A CN 202310838769 A CN202310838769 A CN 202310838769A CN 116749233 A CN116749233 A CN 116749233A
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- information
- grabbing
- depth camera
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000000007 visual effect Effects 0.000 title claims abstract description 36
- 230000033001 locomotion Effects 0.000 claims abstract description 44
- 230000009471 action Effects 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 238000003709 image segmentation Methods 0.000 claims abstract description 12
- 230000007613 environmental effect Effects 0.000 claims abstract description 11
- 238000004458 analytical method Methods 0.000 claims abstract description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 16
- 239000012636 effector Substances 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims 1
- 238000013507 mapping Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000009193 crawling Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J18/00—Arms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明公开基于视觉伺服的机械臂抓取方法,采用上述的基于视觉伺服的机械臂抓取系统,具体为:Step1:驱动深度相机运动进行参数标定,通过深度相机获得环境深度信息,进行图像分割、特征提取任务之后,获得所抓取物体的大致轮廓;Step2:通过中心点与标定参数得到所抓取物体的三维坐标信息;Step3:利用上位机进行机械臂运动规划,并将动作解析所得到的关节角度规划信息通信发送给下位机,下位机收到信息后解析;Step4:机械臂开始移动并抓取,在此过程当中,位置姿态信息会同步反馈给上位机,最终实现物体抓取的闭环控制。该方法实现了目标物体的准确定位和机械臂的抓取控制。还包括有基于视觉伺服的机械臂抓取系统。
Description
技术领域
本发明属于机器人技术领域,具体涉及一种基于视觉伺服的机械臂抓取方法,还涉及一种基于视觉伺服的机械臂抓取系统。
背景技术
在现代工业和自动化应用中,机器人系统的发展越来越重要。机器人臂的灵活抓取能力对于各种自动化任务的成功执行至关重要。然而,准确地定位和抓取不同形状和尺寸的物体是一个具有挑战性的任务。
传统的机器人抓取系统通常使用预定义的抓取姿态或通过机械臂控制实现粗略的定位。然而,由于物体的多样性和环境的不确定性,传统方法在准确抓取复杂形状物体时存在局限性。
发明内容
本发明的第一个目的是提供一种基于视觉伺服的机械臂抓取方法,通过使用机械臂和深度相机,以及基于机器人操作系统ROS软件平台的技术,实现了目标物体的准确定位和机械臂的抓取控制。
本发明的第二个目的是提供一种基于视觉伺服的机械臂抓取系统,通过使用机械臂和深度相机,以及基于机器人操作系统ROS软件平台的技术,实现了目标物体的准确定位和机械臂的抓取控制。
本发明所采用的第一个技术方案是,基于视觉伺服的机械臂抓取系统,包括有:
上位机:机器人操作系统软件平台,根据获取环境深度信息实现机械臂的控制和协调;
下位机:包含一个深度相机,用于获取环境深度信息;一个机械臂,用于执行抓取任务。
本发明所采用的第二个技术方案是,基于视觉伺服的机械臂抓取方法,采用上述的基于视觉伺服的机械臂抓取系统,具体按照以下步骤实施:
Step1:驱动深度相机运动进行参数标定,通过深度相机获得环境深度信息,进行图像分割、特征提取任务之后,获得所抓取物体的大致轮廓;
Step2:通过中心点与标定参数得到所抓取物体的三维坐标信息;
Step3:利用上位机进行机械臂运动规划,并将动作解析所得到的关节角度规划信息通信发送给下位机,下位机收到信息后解析;
Step4:机械臂开始移动并抓取,在此过程当中,位置姿态信息会同步反馈给上位机,最终实现物体抓取的闭环控制。
本发明的特征还在于,
步骤S1具体为:
S1.1:采用机械臂控制深度相机的运动,或者使用上位机进行深度相机的旋转和平移;
S1.2:利用已知的标定板或标定物体,通过Harris角点检测识别标定点,并通过角点匹配算法计算出深度相机的内外参数作为标定参数,标定参数包括深度相机的内参矩阵和畸变参数;
S1.3:根据获取的标定参数,对深度相机采集的所有图像进行矫正,消除图像畸变,然后使用深度相机获取环境中物体的深度图像和彩色图像。
S1.4:进行图像分割:通过分析深度图像和彩色图像,将物体与背景进行分离,得到感兴趣的物体区域;对于得到的深度图像和彩色图像,使用阈值分割、基于颜色或纹理的分割算法来进行特征提取,然后基于所提取到的特征使用Canny边缘检测算法,从而获得所抓取物体的大致轮廓。
步骤S2具体为:
S2.1:使用多视角几何原理,根据物体在不同视角下的投影位置,通过三角形相似性计算物体的深度;
S2.2:根据物体在所采集图像中的中心点和深度相机的内参矩阵,计算物体在深度相机坐标系下的三维坐标,使用上位机中透视投影模型,将所采集图像中的像素坐标映射到深度相机坐标系中的三维坐标。
步骤S3具体为:
S3.1:首先使用上位机的MoveIt!机械臂运动规划库,根据目标物体的位置和姿态进行路径规划;
S3.2:根据目标物体的位置和姿态,通过逆运动学算法计算机械臂的关节角度规划,以实现精确的抓取动作,使用解析逆运动学方法求解机械臂的关节角度;
S3.3:使用了D-H参数法来对四自由度机械臂进行建模;
S3.4:确定各个连杆的结构系数以及末端执行器的空间位置,接着计算各个连杆机构的关节量,并得出相关的变换矩阵,随后再展开关节矢量的计算,然后用矩阵逆乘法计算关节角度,机械臂就能够执行抓取动作。
步骤S4具体为:
S4.1:首先将动作解析所得到的关节角度规划信息通过上位机中的通信模块发送给下位机。
S4.2:使用上位机中的消息传递机制,将关节角度规划信息发送给下位机;
S4.3:然后下位机接收到信息后进行解析,将关节角度控制指令传递给机械臂,下位机使用相运动控制算法对机械臂执行精确的运动控制,之后进行物体抓取与闭环控制。
步骤S4.3中,进行物体抓取与闭环控制的具体步骤如下:
(1)机械臂开始移动并抓取目标物体:根据运动规划生成的关节角度信息,控制机械臂执行精确的抓取动作,使用机械臂对物体进行抓取;
(2)在抓取过程中,位置姿态信息实时反馈给上位机,通过机械臂的传感器-视觉反馈,获取机械臂末端执行器的实时位置和姿态信息;
(3)根据反馈信息调整机械臂的轨迹、力的控制,实现更精确的抓取。
本发明的有益效果是:
(1)本发明方法具有准确定位能力:本发明方法利用深度相机和图像处理算法,能够实现目标物体的准确定位。相较于传统的基于视觉伺服的机械臂抓取技术,本发明在目标物体检测和定位方面更加精确,减少了误差和不确定性。
(2)本发明方法具有强大的抓取控制能力:通过使用ROS软件平台和相关程序模块,本发明能够实现高级的机械臂运动规划和抓取控制。与传统的方法相比,本发明能够提供更精确的抓取动作,使机械臂能够更准确地抓取目标物体,提高了抓取成功率和效率。
(3)本发明方法具有实时反馈和闭环控制:本发明实现了物体抓取的闭环控制,通过实时反馈机械臂的位置姿态信息给上位机,能够及时调整和修正抓取过程中的姿态和位置,提高抓取的稳定性和精确性。相较于传统的开环控制方法,本发明能够更好地适应复杂的工作环境和物体形状变化。
(4)本发明方法具有灵活性和可定制性:本发明采用开放式的机器人操作系统ROS作为软件平台,具有较高的灵活性和可定制性。根据不同应用需求进行系统的定制和功能扩展,适应不同场景和任务的要求。
(5)本发明方法具有高效的算法和实时性:本发明设计了高效的图像处理和特征提取算法,能够在实时性要求下进行快速的目标物体识别和定位。相较于传统方法,本发明在处理速度和算法效率上具备明显优势,更快速地响应和执行抓取任务。
(6)本发明方法具有提升工作安全性:由于本发明能够准确定位目标物体和实现闭环控制,减少了机械臂与周围环境或其他物体的碰撞风险。通过实时反馈和调整,能够保证抓取过程的安全性,降低意外事故的发生概率。
附图说明
图1为本发明基于视觉伺服的机械臂抓取方法的流程图;
图2为本发明基于视觉伺服的机械臂抓取方法中的目标识别与定位流程图;
图3为本发明基于视觉伺服的机械臂抓取方法中的机械臂驱动流程图;
图4为本发明基于视觉伺服的机械臂抓取方法中的机械臂运动规划流程图;
图5为本发明基于视觉伺服的机械臂抓取方法中的机械臂建模流程图;
图6为视觉处理器的内部结构图;
图7为控制器U2D2数据流控制的数据来源图;
图8为基于视觉伺服的机械臂抓取系统示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明提供一种基于视觉伺服的机械臂抓取系统,包括:
上位机:机器人操作系统(ROS)软件平台,根据获取环境深度信息实现机械臂的控制和协调;
下位机:包含一个深度相机,用于获取环境深度信息;一个机械臂,用于执行抓取任务。
该基于视觉伺服的机械臂抓取系统,采用机械臂和深度相机,以机器人操作系统ROS为软件平台。系统首先驱动深度相机运动进行参数标定,利用深度相机获取环境深度信息,并进行图像分割、特征提取任务,以获得目标物体的大致轮廓。通过中心点与内外参数计算,获取目标物体的三维坐标信息。随后,调用ROS相关程序模块进行机械臂的运动规划,并将动作解析得到的关节角度规划信息通信发送给下位机。下位机收到信息后进行解析,机械臂开始移动并抓取目标物体。在此过程中,位置姿态信息实时反馈给上位机,实现物体抓取的闭环控制。
为了克服这些挑战,本发明提出了一种基于视觉伺服的机械臂抓取系统。该系统利用深度相机和机器人操作系统实现了目标物体的准确定位和机械臂的抓取控制。
深度相机(例如RealsenseD435i)被用于获取环境中物体的深度信息。通过对深度图像进行图像分割和特征提取,获得所抓取物体的大致轮廓。进一步结合深度相机的内外参数和中心点计算方法,得到物体的三维坐标信息。
机器人操作系统(ROS)软件平台在该系统中起着关键的作用。它提供了机械臂运动规划、通信和协调各个模块之间的功能。通过调用ROS相关程序模块,机械臂根据三维坐标信息进行精确的运动规划,并将关节角度规划信息发送给下位机,实现抓取动作。
此外,系统还实现了闭环控制,通过位置姿态反馈模块实时监测机械臂的状态,并将信息反馈给上位机。这种闭环控制能够实现对抓取过程的实时调整和优化,提高了抓取的准确性和成功率。
综上所述,基于视觉伺服的机械臂抓取系统在工业和自动化领域具有广泛的应用前景。它能够实现目标物体的准确定位和精确抓取,提高了机器人系统的灵活性和自主性。通过结合深度相机、ROS软件平台和闭环控制,该系统在实际应用中具有重要的技术和商业价值。
本发明提供一种基于视觉伺服的机械臂抓取方法,如图1所示,具体按照以下步骤实施:
Step1:驱动深度相机运动进行参数标定,通过深度相机获得环境深度信息,进行图像分割、特征提取任务之后,获得所抓取物体的大致轮廓;
S1.1:采用机械臂控制深度相机的运动,或者使用上位机进行深度相机的旋转和平移;
S1.2:利用已知的标定板或标定物体,通过Harris角点检测识别标定点,并通过角点匹配算法计算出深度相机的内外参数作为标定参数,标定参数包括深度相机的内参矩阵和畸变参数;
S1.3:根据获取的标定参数,对深度相机采集的所有图像进行矫正,消除图像畸变,使得后续图像处理和计算得到更准确的结果。然后使用RealsenseD435i深度相机获取环境中物体的深度图像和彩色图像;该深度相机具有RGB摄像头和红外深度传感器,能够提供准确的深度图像。
S1.4:进行图像分割:通过分析深度图像和彩色图像,将物体与背景进行分离,得到感兴趣的物体区域;对于得到的深度图像和彩色图像,使用阈值分割、基于颜色或纹理的分割算法来进行特征提取,然后基于所提取到的特征使用Canny边缘检测算法,从而获得所抓取物体的大致轮廓。
Step2:通过中心点与标定参数得到所抓取物体的三维坐标信息;
S2.1:使用多视角几何原理,根据物体在不同视角下的投影位置,通过三角形相似性计算物体的深度;
S2.2:根据物体在所采集图像中的中心点和深度相机的内参矩阵,计算物体在深度相机坐标系下的三维坐标,使用上位机中透视投影模型,将所采集图像中的像素坐标映射到深度相机坐标系中的三维坐标。
Step3:利用上位机进行机械臂运动规划,并将动作解析所得到的关节角度规划信息通信发送给下位机,下位机收到信息后解析,如图3-5所示;
S3.1:首先使用上位机的MoveIt!机械臂运动规划库,根据目标物体的位置和姿态进行路径规划;
S3.2:根据目标物体的位置和姿态,通过逆运动学算法计算机械臂的关节角度规划,以实现精确的抓取动作,使用解析逆运动学方法求解机械臂的关节角度;
S3.3:使用了D-H(Denavit-Hartenberg)参数法来对四自由度机械臂进行建模。
S3.4:确定各个连杆的结构系数以及末端执行器的空间位置,接着计算各个连杆机构的关节量,并得出相关的变换矩阵,随后再展开关节矢量的计算,然后用矩阵逆乘法计算关节角度,机械臂就能够执行抓取动作。
Step4:机械臂开始移动并抓取,在此过程当中,位置姿态信息会同步反馈给上位机,最终实现物体抓取的闭环控制。
S4.1:首先将动作解析所得到的关节角度规划信息通过上位机中的通信模块发送给下位机。
S4.2:使用上位机中的消息传递机制,将关节角度规划信息发送给下位机;
S4.3:然后下位机接收到信息后进行解析,将关节角度控制指令传递给机械臂,下位机使用相运动控制算法对机械臂执行精确的运动控制,之后进行物体抓取与闭环控制,具体步骤如下:
(1)机械臂开始移动并抓取目标物体:根据运动规划生成的关节角度信息,控制机械臂执行精确的抓取动作,使用机械臂对物体进行抓取;
(2)在抓取过程中,位置姿态信息实时反馈给上位机,通过机械臂的传感器-视觉反馈,获取机械臂末端执行器的实时位置和姿态信息;
(3)根据反馈信息调整机械臂的轨迹、力的控制,实现更精确的抓取。
实施例1
本实施例提供一种基于深度相机的视觉伺服和四自由度机械臂的下位机以及基于机器人操作系统ROS软件平台的上位机,实现目标物体的准确定位和机械臂的抓取控制。方法流程如图1所示,包括以下步骤:
Step1:对Realsense D435i深度相机进行参数标定,以获取环境深度信息。通过深度相机进行图像分割和特征提取,得到所抓取物体的大致轮廓。Realsense D435i深度相机配备了一个视觉处理器D4,其内部结构如图6所示,视觉处理器D4包含了以下组件和功能:Color Sensor(彩色传感器):用于捕捉彩色图像的传感器,可以提供丰富的颜色信息。LeftImager(左侧图像传感器):用于捕捉深度图像和红外图像的传感器,可以用于深度感知和姿势识别等应用。IR Projector(红外投影仪):用于发射红外光以辅助深度感知和结构光扫描等功能。Right Imager(右侧图像传感器):类似于左侧图像传感器,用于捕捉深度图像和红外图像。EEPROM(电可擦写只读存储器):用于存储配置和参数信息,以及设备的唯一标识符等数据。Host Processor(主机处理器):处理器模块,负责协调和处理来自各个组件的数据,并执行算法和应用。Flash 16Mb(16Mb闪存):用于存储固件和其他相关数据。Clock24MHz(24MHz时钟):提供设备的基准时钟信号。这些组件共同工作,使RealSense VisionProcessor D4能够进行深度感知、图像处理和计算机视觉任务;
S1.1:使用机械臂或上位机控制深度相机的运动,包括旋转和平移;
S1.2:利用已知的标定板或标定物体,通过Harris角点检测识别标定点。使用角点匹配算法计算深度相机的内外参数,包括内参矩阵和畸变参数;
S1.3:根据获取的标定参数,对深度相机采集的所有图像进行矫正,消除图像畸变,使得后续图像处理和计算得到更准确的结果。然后使用RealsenseD435i深度相机获取环境中物体的深度图像和彩色图像;该深度相机具有RGB摄像头和红外深度传感器,能够提供准确的深度图像。
S1.4:进行图像分割:通过分析深度图像和彩色图像,将物体与背景进行分离,得到感兴趣的物体区域;对于得到的深度图像和彩色图像,使用阈值分割、基于颜色或纹理的分割算法来进行特征提取,然后基于所提取到的特征使用Canny边缘检测算法,从而获得所抓取物体的大致轮廓。
Step2:根据中心点和标定参数,获取所抓取物体的三维坐标信息;
S2.1:基于多视角几何原理,根据物体在不同视角下的投影位置,通过三角形相似性计算物体的深度;
S2.2:根据物体在所采集图像中的中心点和深度相机的内参矩阵,计算物体在深度相机坐标系下的三维坐标,使用上位机中透视投影模型,将所采集图像中的像素坐标映射到深度相机坐标系中的三维坐标,目标识别与定位流程图如图2所示。
Step3:使用上位机进行机械臂运动规划,并将解析得到的关节角度规划信息发送给下位机。下位机接收并解析信息,如图3-5所示;
S3.1:首先使用上位机的MoveIt!机械臂运动规划库,根据目标物体的位置和姿态进行路径规划;
S3.2:根据目标物体的位置和姿态,通过逆运动学算法计算机械臂的关节角度规划,以实现精确的抓取动作,使用解析逆运动学方法求解机械臂的关节角度;
S3.3:使用了D-H(Denavit-Hartenberg)参数法来对四自由度机械臂进行建模。
S3.4:确定各个连杆的结构系数以及末端执行器的空间位置,接着计算各个连杆机构的关节量,并得出相关的变换矩阵,随后再展开关节矢量的计算,然后用矩阵逆乘法计算关节角度,机械臂就能够执行抓取动作。
Step4:机械臂开始移动并抓取物体。在此过程中,位置姿态信息会同步反馈给上位机,最终实现物体抓取的闭环控制。
S4.1:首先将动作解析所得到的关节角度规划信息通过上位机中的通信模块发送给下位机。
S4.2:使用上位机中的消息传递机制,将关节角度规划信息发送给下位机;
S4.3:下位机接收到信息后并进行解析,将关节角度控制指令传递给机械臂,下位机使用相运动控制算法对机械臂(机械臂硬件参数如表1所示,其具有多个自由度和灵活的运动能力,适用于复杂的抓取任务)执行精确的运动控制,之后进行物体抓取与闭环控制,具体步骤如下:
(1)机械臂开始移动并抓取目标物体:根据运动规划生成的关节角度信息,控制机械臂执行精确的抓取动作,使用机械臂对物体进行抓取;
(2)在抓取过程中,位置姿态信息实时反馈给上位机,通过机械臂的传感器-视觉反馈,获取机械臂末端执行器的实时位置和姿态信息;
(3)根据反馈信息调整机械臂的轨迹和力的控制,实现更精确的抓取操作。
表1机械臂硬件参数
表2U2D2端口及其作用
通过以上步骤的实施,本发明能够实现基于视觉伺服的机械臂抓取系统。本发明采用的控制器为U2D2,U2D2的端口及其作用如表2所示,U2D2数据流控制的数据来源如图7所示。图8是基于视觉伺服的机械臂抓取系统示意图,工作平台上设置有放置区及抓取区,放置区设置有放置槽,抓取区放置有抓取物品;工作平台上设置有装配有ROS操作系统的PC端;抓取的过程当中,首先深度相机会对物体进行识别,在上位机中的Rviz仿真界面可以看到,深度相机会对物体进行识别标记,同时在机械臂模型当中出现实时的物体仿真模型。与现有技术相比,本发明具有以下优点和有益效果:
1.准确性和精度:通过图像处理和三维坐标计算,能够准确获取目标物体的位置和形状信息,实现精确的抓取操作。
2.灵活性和可定制性:采用ROS软件平台和开源机械臂,系统具有灵活性和可定制性,能够适应不同的应用场景和抓取任务。
3.高效性和安全性:利用算法优化和机械臂运动规划,能够实现高效的运动控制和抓取操作,提高生产效率;同时,考虑到碰撞检测和安全措施,确保工作环境的安全性。
4.实时反馈和闭环控制:通过实时反馈位置姿态信息,进行实时监控和调整,提高抓取的成功率和稳定性,实现闭环控制。
实施例2
基于视觉伺服的机械臂抓取系统,包括有:
上位机:机器人操作系统软件平台,根据获取环境深度信息实现机械臂的控制和协调;
下位机:包含一个深度相机,用于获取环境深度信息;一个机械臂,用于执行抓取任务。
实施例3
基于视觉伺服的机械臂抓取方法,采用上述的基于视觉伺服的机械臂抓取系统,具体按照以下步骤实施:
Step1:驱动深度相机运动进行参数标定,通过深度相机获得环境深度信息,进行图像分割、特征提取任务之后,获得所抓取物体的大致轮廓;
Step2:通过中心点与标定参数得到所抓取物体的三维坐标信息;
Step3:利用上位机进行机械臂运动规划,并将动作解析所得到的关节角度规划信息通信发送给下位机,下位机收到信息后解析;
Step4:机械臂开始移动并抓取,在此过程当中,位置姿态信息会同步反馈给上位机,最终实现物体抓取的闭环控制。
Claims (7)
1.基于视觉伺服的机械臂抓取系统,其特征在于,包括有:
上位机:机器人操作系统软件平台,根据获取环境深度信息实现机械臂的控制和协调;
下位机:包含一个深度相机,用于获取环境深度信息;一个机械臂,用于执行抓取任务。
2.基于视觉伺服的机械臂抓取方法,其特征在于,采用权利要求1所述的基于视觉伺服的机械臂抓取系统,具体按照以下步骤实施:
Step1:驱动深度相机运动进行参数标定,通过深度相机获得环境深度信息,进行图像分割、特征提取任务之后,获得所抓取物体的大致轮廓;
Step2:通过中心点与标定参数得到所抓取物体的三维坐标信息;
Step3:利用上位机进行机械臂运动规划,并将动作解析所得到的关节角度规划信息通信发送给下位机,下位机收到信息后解析;
Step4:机械臂开始移动并抓取,在此过程当中,位置姿态信息会同步反馈给上位机,最终实现物体抓取的闭环控制。
3.根据权利要求2所述的基于视觉伺服的机械臂抓取方法,其特征在于,步骤S1具体为:
S1.1:采用机械臂控制深度相机的运动,或者使用上位机进行深度相机的旋转和平移;
S1.2:利用已知的标定板或标定物体,通过Harris角点检测识别标定点,并通过角点匹配算法计算出深度相机的内外参数作为标定参数,标定参数包括深度相机的内参矩阵和畸变参数;
S1.3:根据获取的标定参数,对深度相机采集的所有图像进行矫正,消除图像畸变,然后使用深度相机获取环境中物体的深度图像和彩色图像;
S1.4:进行图像分割:通过分析深度图像和彩色图像,将物体与背景进行分离,得到感兴趣的物体区域;对于得到的深度图像和彩色图像,使用阈值分割、基于颜色或纹理的分割算法来进行特征提取,然后基于所提取到的特征使用Canny边缘检测算法,从而获得所抓取物体的大致轮廓。
4.根据权利要求2所述的基于视觉伺服的机械臂抓取方法,其特征在于,步骤S2具体为:
S2.1:使用多视角几何原理,根据物体在不同视角下的投影位置,通过三角形相似性计算物体的深度;
S2.2:根据物体在所采集图像中的中心点和深度相机的内参矩阵,计算物体在深度相机坐标系下的三维坐标,使用上位机中透视投影模型,将所采集图像中的像素坐标映射到深度相机坐标系中的三维坐标。
5.根据权利要求2所述的基于视觉伺服的机械臂抓取方法,其特征在于,步骤S3具体为:
S3.1:首先使用上位机的MoveIt!机械臂运动规划库,根据目标物体的位置和姿态进行路径规划;
S3.2:根据目标物体的位置和姿态,通过逆运动学算法计算机械臂的关节角度规划,以实现精确的抓取动作,使用解析逆运动学方法求解机械臂的关节角度;
S3.3:使用了D-H参数法来对四自由度机械臂进行建模;
S3.4:确定各个连杆的结构系数以及末端执行器的空间位置,接着计算各个连杆机构的关节量,并得出相关的变换矩阵,随后再展开关节矢量的计算,然后用矩阵逆乘法计算关节角度,机械臂就能够执行抓取动作。
6.根据权利要求2所述的基于视觉伺服的机械臂抓取方法,其特征在于,步骤S4具体为:
S4.1:首先将动作解析所得到的关节角度规划信息通过上位机中的通信模块发送给下位机;
S4.2:使用上位机中的消息传递机制,将关节角度规划信息发送给下位机;
S4.3:然后下位机接收到信息后进行解析,将关节角度控制指令传递给机械臂,下位机使用相运动控制算法对机械臂执行精确的运动控制,之后进行物体抓取与闭环控制。
7.根据权利要求2所述的基于视觉伺服的机械臂抓取方法,其特征在于,步骤S4.3中,进行物体抓取与闭环控制的具体步骤如下:
(1)机械臂开始移动并抓取目标物体:根据运动规划生成的关节角度信息,控制机械臂执行精确的抓取动作,使用机械臂对物体进行抓取;
(2)在抓取过程中,位置姿态信息实时反馈给上位机,通过机械臂的传感器-视觉反馈,获取机械臂末端执行器的实时位置和姿态信息;
(3)根据反馈信息调整机械臂的轨迹、力的控制,实现更精确的抓取。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310838769.XA CN116749233A (zh) | 2023-07-10 | 2023-07-10 | 基于视觉伺服的机械臂抓取系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310838769.XA CN116749233A (zh) | 2023-07-10 | 2023-07-10 | 基于视觉伺服的机械臂抓取系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116749233A true CN116749233A (zh) | 2023-09-15 |
Family
ID=87949661
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310838769.XA Pending CN116749233A (zh) | 2023-07-10 | 2023-07-10 | 基于视觉伺服的机械臂抓取系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116749233A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117841041A (zh) * | 2024-02-05 | 2024-04-09 | 北京新雨华祺科技有限公司 | 基于多臂协同的机械臂组合装置 |
CN117953083A (zh) * | 2024-03-26 | 2024-04-30 | 合肥慧业智能科技有限公司 | 一种机器人视觉引导方法、装置、设备及存储介质 |
CN118295309A (zh) * | 2024-06-06 | 2024-07-05 | 山东金科星机电股份有限公司 | 一种在线捞渣机器人的视觉伺服控制系统 |
CN118453114A (zh) * | 2024-05-10 | 2024-08-09 | 南京信息工程大学 | 一种镜面医疗器械的机械臂抓取方法、设备、介质及产品 |
CN118950858A (zh) * | 2024-09-27 | 2024-11-15 | 山东康雨管业有限公司 | 一种半自动管道冲压设备 |
CN119017366A (zh) * | 2024-10-18 | 2024-11-26 | 苏州市职业大学 | 一种基于视觉定位的机械臂控制装置及方法 |
-
2023
- 2023-07-10 CN CN202310838769.XA patent/CN116749233A/zh active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117841041A (zh) * | 2024-02-05 | 2024-04-09 | 北京新雨华祺科技有限公司 | 基于多臂协同的机械臂组合装置 |
CN117953083A (zh) * | 2024-03-26 | 2024-04-30 | 合肥慧业智能科技有限公司 | 一种机器人视觉引导方法、装置、设备及存储介质 |
CN118453114A (zh) * | 2024-05-10 | 2024-08-09 | 南京信息工程大学 | 一种镜面医疗器械的机械臂抓取方法、设备、介质及产品 |
CN118295309A (zh) * | 2024-06-06 | 2024-07-05 | 山东金科星机电股份有限公司 | 一种在线捞渣机器人的视觉伺服控制系统 |
CN118295309B (zh) * | 2024-06-06 | 2024-08-23 | 山东金科星机电股份有限公司 | 一种在线捞渣机器人的视觉伺服控制系统 |
CN118950858A (zh) * | 2024-09-27 | 2024-11-15 | 山东康雨管业有限公司 | 一种半自动管道冲压设备 |
CN119017366A (zh) * | 2024-10-18 | 2024-11-26 | 苏州市职业大学 | 一种基于视觉定位的机械臂控制装置及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116749233A (zh) | 基于视觉伺服的机械臂抓取系统及方法 | |
Chang | Robotic assembly of smartphone back shells with eye-in-hand visual servoing | |
CN110900581B (zh) | 基于RealSense相机的四自由度机械臂视觉伺服控制方法及装置 | |
CN109202912B (zh) | 一种基于单目深度传感器和机械臂配准目标轮廓点云的方法 | |
CN107901041B (zh) | 一种基于图像混合矩的机器人视觉伺服控制方法 | |
CN111462154A (zh) | 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人 | |
CN113379849A (zh) | 基于深度相机的机器人自主识别智能抓取方法及系统 | |
US20110071675A1 (en) | Visual perception system and method for a humanoid robot | |
US12172303B2 (en) | Robot teaching by demonstration with visual servoing | |
CN107433573A (zh) | 智能双目自动抓取机械臂 | |
CN111347411A (zh) | 基于深度学习的双臂协作机器人三维视觉识别抓取方法 | |
CN115070781B (zh) | 一种物体抓取方法及双机械臂协作系统 | |
CN117841041B (zh) | 基于多臂协同的机械臂组合装置 | |
CN115861780B (zh) | 一种基于yolo-ggcnn的机械臂检测抓取方法 | |
JP7693313B2 (ja) | 干渉判定装置、ロボット制御システム、及び干渉判定方法 | |
KR102452315B1 (ko) | 딥러닝과 마커를 이용한 비전인식을 통한 로봇 제어장치 및 그 방법 | |
WO2020179416A1 (ja) | ロボット制御装置、ロボット制御方法、及びロボット制御プログラム | |
JP7112528B2 (ja) | 作業座標作成装置 | |
CN118809624A (zh) | 一种机械臂分拣抓取控制方法、系统及装置 | |
Han et al. | Grasping control method of manipulator based on binocular vision combining target detection and trajectory planning | |
Wang et al. | Object grabbing of robotic arm based on openmv module positioning | |
Zhang et al. | High-precision pose estimation method of the 3C parts by combining 2D and 3D vision for robotic grasping in assembly applications | |
Ranjan et al. | Identification and control of NAO humanoid robot to grasp an object using monocular vision | |
Gratal et al. | Virtual visual servoing for real-time robot pose estimation | |
JP7657936B2 (ja) | ロボット制御装置、ロボット制御システム、及びロボット制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |