CN111524184B - 一种基于3d视觉的智能拆垛方法及拆垛系统 - Google Patents

Abstract

本发明具体公开了一种基于3D视觉的智能拆垛方法及拆垛系统，所述方法包括以下步骤：S1、采集箱垛的图像信息并进行预处理；S2、根据预处理后的图像信息获取码放箱垛的顶层区域并设定拆垛顺序；S3、根据设定的拆垛顺序获取至少包含一个箱子的候选框，并分别利用传统图像处理方法和深度学习方法判断待抓取箱子的摆放姿势；S4、综合两种方法的判断结果确定候选框中待抓取箱子的摆放姿势；S5、计算抓取机械手的旋转角度，并控制机械手抓取箱子拆垛。本发明通过利用传统图像处理方法和深度学习方法综合判断待抓取箱子的摆放姿势，保证了拆垛过程不受箱子类型、外观和尺寸的影响，同时还能快速导入运行，具有安装便捷、成本低廉且拆垛效率高的特点。

Description

一种基于3D视觉的智能拆垛方法及拆垛系统

技术领域

本发明涉及智能拆垛技术领域，尤其涉及一种基于3D视觉的智能拆垛方法及拆垛系统。

背景技术

在仓储物流和电商物流等行业中，拆垛作业是一项常见的工作环节，具体是将托盘上面堆好的箱垛按照需求拆垛，有可能是一次性拆完，有可能是拆部分。最传统的拆垛作业是由人工完成，劳动强度大、工作效率低、容易出错，且长时间作业还会出现腰肌劳损、腰椎盘突出等疾病，具有安全隐患。

随着工业机器人技术的发展，将机器人用于拆垛越来越广泛。但却不能完全解决拆垛问题。如只能用于尺寸和摆放固定的箱子；受箱子偏离、变形等影响，示教节点与实际抓取位置有偏差，容易出错。为此，提出了基于视觉的拆垛系统，基于视觉的方式分为2D和3D视觉两种。2D视觉方案无法精准获取抓取高度；需要模板匹配识别，每种箱子都要创建模板；受光照及箱子表面纹理影响较大。现有3D视觉能弥补2D视觉方案的部分缺陷，但是仍存在一些问题，如对光源亮度即功率要求较高；不能满足大视野的栈板拆垛要求；识别出错而无法自我报警导致抓取不稳出现高空掉箱问题，致使货物的破损或报废，给客户带来直接经济损失，而且还存在造价较高和节拍慢的问题。

鉴于此，设计一种安装便捷、拆垛效率高且不受箱子外观、类型和尺寸影响、稳定性高的智能拆垛方法及拆垛系统是本技术领域技术人员亟待解决的技术问题。

发明内容

本发明的目的是提供一种基于3D视觉的智能拆垛方法及拆垛系统，所述方法利用传统图像处理方法和深度学习方法分别判断待抓取箱子的摆放姿势并进行综合决策，既保证了快速导入运行，又可以不受箱子的类型、外观和尺寸的影响，具有安装便捷、稳定性高、成本低廉且拆垛效率高的特点。

为解决上述技术问题，本发明提供一种基于3D视觉的智能拆垛方法，所述方法包括以下步骤：

S1、通过图像获取装置获取箱垛的原始灰度图像和深度图像的信息，并对所获取的箱垛图像信息进行预处理；

S2、根据预处理后的图像信息获取栈板中码放箱垛的顶层区域并设定拆垛顺序；

S3、根据设定的拆垛顺序从所述顶层区域中获取至少包含一个待抓取箱子的候选框，并分别利用传统图像处理方法和深度学习方法判断待抓取箱子的摆放姿势；

S4、根据传统图像处理方法的判断结果和深度学习方法的判断结果进行综合决策，确定所述候选框中待抓取箱子的摆放姿势；

S5、根据步骤S4中所确定待抓取箱子的摆放姿势计算出机械手抓取待抓取箱子时的旋转角度，最后控制机械手对箱垛上的待抓取箱子进行抓取拆垛。

优选地，所述步骤S1的具体实现方式为：通过2D相机和3D相机获取箱垛的原始灰度图像和深度图像信息，并利用滤波操作对所获取的箱垛图像信息进行预处理。

优选地，所述步骤S3的具体实现方式包括：

S31、根据设定的拆垛顺序和待抓取箱子的实际尺寸从顶层区域中获取至少包含一个待抓取箱子区域的候选框；

S32、利用传统图像处理方法对所述候选框进行处理，进而判断待抓取箱子的摆放姿势；

S33、利用深度学习方法对所述候选框进行处理，进而判断待抓取箱子的摆放姿势。

优选地，所述步骤S32的具体实现方式包括：

S321、通过图像处理算法从所述候选框中提取待抓取箱子的空间特征和纹理特征；

S322、将步骤S321中所提取的箱子空间特征和纹理特征输入到决策树中进行判断，得到所述候选框中待抓取箱子的摆放姿势。

优选地，所述步骤S33的具体实现方式包括：

S331、将利用传统图像处理方法得到待抓取箱子摆放姿势的样本数据进行深度学习训练，建立深度学习训练模型；

S332、将所述候选框输入到深度学习训练模块中进行处理，得到所述候选框中待抓取箱子的摆放姿势。

优选地，所述步骤S4中根据传统图像处理方法的判断结果和深度学习方法的判断结果进行综合决策的具体实现方式为：当传统图像处理方法和深度学习方法的判断结果一致时，则系统认为判断正确，即可确定候选框中箱子的摆放姿势，并识别出待抓取箱子的空间位置信息；否则报警。

优选地，所述步骤S5中计算出抓取箱子时机械手的旋转角度的同时还判断抓取拆垛过程中是否存在掉箱、多抓和抓取顺序不正确的抓取风险，如果存在抓取风险，则系统报警并停止抓取动作。

一种基于3D视觉的智能拆垛系统，包括：

图像获取装置，用于获取栈板上箱垛的原始灰度图像和深度图像的信息；

抓取机构，设于栈板一侧用于对栈板上所输送的箱垛进行拆卸；

控制系统，分别与图像获取装置和抓取机构连接，用于控制图像获取装置获取箱垛图像信息，以及用于控制抓取机构对栈板上箱垛进行拆垛工作；

上位机，与控制系统连接，用于对所获取的箱垛图像信息进行识别处理并与控制系统进行数据交互。

优选地，所述图像获取装置包括底板和套设于底板上并与底板形成可密闭空间的外壳，所述底板上设有前挡板、后挡板、电路板、2D相机、3D相机和光源，2D相机、3D相机和光源并列固定设于底板右侧，前挡板位于底板右侧且前挡板上设有供2D相机和3D相机采集箱垛图像信息的视窗以及供光源透射至栈板上的通孔，后挡板位于底板左侧且后挡板上设有供电源线和通信线通过的线孔，电路板设于前挡板与后挡板之间用于将电压转换为相机所需电压。

优选地，所述视窗和通孔上均设有圆形防护板，圆形防护板通过盖板分别固定在前挡板的视窗和通孔上，所述后挡板的线孔上装设有用于将图像获取装置内电源线和通信线与外部电源线和通信线进行转接的航空接头。

与现有技术比较，本发明通过利用传统图像处理方法和深度学习方法分别判断待抓取箱子的摆放姿势并进行综合决策，既保证了拆垛过程中能够不受箱子的类型、外观和尺寸的影响，同时又能够快速导入运行；而所述智能拆垛系统能够将图像获取装置内部与外部独立分割，防止了灰尘进入，极大程度上保证了元器件的使用效果和使用寿命。因此具有安装便捷、成本低廉且拆垛效率高的特点。

附图说明

图1是本发明一种基于3D视觉的智能拆垛方法的流程图，

图2是本发明中判断候选框中箱子摆放姿势的方法流程图，

图3是本发明中利用传统图像处理方法判断箱子摆放姿势的方法流程图，

图4是本发明中利用深度学习方法判断箱子摆放姿势的方法流程图，

图5是本发明中一种基于3D视觉的智能拆垛系统的结构示意图，

图6是本发明中一种基于3D视觉的智能拆垛系统中图像获取装置的俯视图，

图7是图6的右视图，

图8是图6的左视图，

图9是本发明中图像获取装置安装于外壳内的结构示意图。

图中：1.图像获取装置，11.前挡板，12.后挡板，13.电路板，14.2D相机，15.3D 相机，16.光源，17.底板，18.视窗，19.通孔，20.线孔，21.圆形防护板，22.盖板， 23.外壳，24.相机支架，25.3D相机固定板，26.光源固定板，3.抓取机构，4.控制系统， 5.栈板，6.箱子，7.上位机。

具体实施方式

为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。

需要说明的是，本发明中识别系统是指设于上位机内的一种识别软件，以图6为例，垂直纸面向右为右，垂直纸面向左为左。

如图1所示，一种基于3D视觉的智能拆垛方法，所述方法包括以下步骤：

S1、通过图像获取装置获取箱垛的原始灰度图像和深度图像的信息，并对所获取的箱垛图像信息进行预处理；

S2、根据预处理后的图像信息获取栈板中码放箱垛的顶层区域并设定拆垛顺序；

S3、根据设定的拆垛顺序从所述顶层区域中获取至少包含一个待抓取箱子的候选框，并分别利用传统图像处理方法和深度学习方法判断待抓取箱子的摆放姿势；

S4、根据传统图像处理方法的判断结果和深度学习方法的判断结果进行综合决策，确定所述候选框中待抓取箱子的摆放姿势；

S5、根据步骤S4中所确定待抓取箱子的摆放姿势计算出抓取待抓取箱子时机械手的旋转角度，然后控制机械手对箱垛上的待抓取箱子进行抓取拆垛。

本实施例中，首先通过2D相机和3D相机组合获取栈板上箱垛的原始灰度图像和深度图像信息，为了减少图像信息数据的干扰，利用滤波操作对所获取的箱垛图像信息进行预处理并设定拆垛顺序，然后从滤波处理后图像数据中获取栈板上码放箱垛的顶层区域(即最高层箱子的区域)，再根据设定的拆垛顺序和待抓取箱子的实际尺寸从所述顶层区域中获取至少包含一个待抓取箱子的候选框，利用传统图像处理方法的判断结果和深度学习方法分别对所述候选框中的待抓取箱子摆放姿势进行判断，根据传统图像处理方法和深度学习方法的判断结果综合决策确定候选框中待抓取箱子的摆放姿势，最后根据所确定待抓取箱子的摆放姿势计算出机械手的旋转角度，并完成待抓取箱子的拆垛操作，从而实现了对栈板上箱垛的智能抓取拆卸。本实施例利用传统图像处理方法和深度学习方法的两种判断结果进行综合决策，既保证了拆垛过程中不受箱子的类型、外观和尺寸的影响，同时又能够快速导入运行，具有安装便捷、稳定性高、成本低廉且拆垛效率高的特点。

本实施例中，所述候选框箱子的摆放姿势包括水平摆放和竖直摆放。当计算抓取待抓取箱子时机械手的旋转角度的同时还判断抓取拆垛过程中是否存在掉箱、多抓和抓取顺序不正确的抓取风险，如果存在抓取风险，则系统会报警并停止抓取动作。具体来说，当识别系统识别到待抓取箱子时，会框出待抓取箱子的位置，然后根据框的大小和待抓取箱子的实际尺寸判断是否存在多抓或抓不稳掉箱以及抓取顺序不正确的风险，当识别系统判断可能存在抓取风险时，则会报警并停止下一步的抓取动作。

如图2、图3、图4所示，所述步骤S3的具体实现方式包括：

S31、根据设定的拆垛顺序和待抓取箱子的实际尺寸从顶层区域中获取至少包含一个待抓取箱子的候选框；

S321、通过图像处理算法从所述候选框中提取待抓取箱子的空间特征和纹理特征；

S322、将步骤S321中所提取的箱子空间特征和纹理特征输入到决策树中进行判断，得到所述候选框中待抓取箱子的摆放姿势；

S331、将利用传统图像处理方法得到待抓取箱子摆放姿势的样本数据进行深度学习训练，建立深度学习训练模型；

S332、将所述候选框输入到深度学习训练模块中进行处理，得到所述候选框中待抓取箱子的摆放姿势。

本实施例中，所述传统图像处理方法可以直接对候选框图像进行处理，即可提取候选框图像中待抓取箱子的空间特征信息和纹理特征信息，空间特征信息包括图像中箱子的尺寸(长和宽)、图像中箱子区域以外的尺寸以及衍生出来的空间尺寸信息等，纹理特征信息包括图像中箱子上的打包带、箱子之间的缝隙以及所衍生出来的其他纹理信息，不同特征信息对应设置不同权重值，将所提取的特征信息按照对应权重值的大小排序并依次对候选框中待抓取箱子的摆放姿势进行判断，直至判断出待抓取箱子是水平摆放还是竖直摆放；同时我们将传统图像处理方法中判断待抓取箱子摆放姿势的样本数据进行深度学习训练，建立深度学习训练模型，然后将深度学习训练模型加入到识别系统中对所述候选框中待抓取箱子的摆放姿势进行判断。当两种方法的判断结果一致时，即可确定候选框中待抓取箱子的摆放姿势，从而准确识别出待抓取箱子的空间位置信息，当两种方法的判断结果不一致时，则报警。

本实施例中，所述传统图像处理方法通过提取待抓取箱子的多个特征信息进行判断来保证了拆垛过程中能够不受箱子的类型、外观和尺寸的影响。值得一提的是，测试前期，由于深度学习训练模型中的训练样本数据较少，因此深度学习方法的准确度较低，故前期主要以传统图像处理方法判断为主，随着训练样本数据的不断增加，深度学习方法的准确度也随之增加，直到深度学习方法的准确度达到或超过传统图像处理方法后，深度学习方法才会加入到识别系统中进行判断，有效保证了识别判断的准确性。

如图5～图9所示，一种基于3D视觉的智能拆垛系统，包括：

图像获取装置1，用于获取栈板5上箱垛的原始灰度图像和深度图像的信息；

抓取机构3，设于栈板5一侧用于对栈板5上所输送的箱垛进行拆卸；

控制系统4，分别与图像获取装置1和抓取机构3连接，用于控制图像获取装置1获取箱垛图像信息，以及用于控制抓取机构3对栈板上箱垛进行拆垛工作；

上位机，与控制系统连接，用于对所获取的箱垛图像信息进行识别处理并与控制系统进行数据交互。

所述图像获取装置1包括底板17和套设于底板17上并与底板17形成可密闭空间的外壳23，所述底板17上设有前挡板11、后挡板12、电路板13、2D相机14、3D相机15和光源 16，2D相机14、3D相机15和光源16并列固定设于底板17右侧，前挡板11位于底板17右侧且前挡板11上设有供2D相机14和3D相机15采集箱垛图像信息的视窗18以及供光源16透射至栈板5上的通孔19，后挡板12位于底板17左侧且后挡板12上设有供电源线和通信线通过的线孔20，电路板13设于前挡板11与后挡板12之间用于将电压转换为相机所需电压；

所述视窗18和通孔19上均设有圆形防护板21，圆形防护板21通过盖板22分别固定在前挡板11的视窗18和通孔19上，所述后挡板12的线孔20上装设有用于将图像获取装置1内电源线和通信线与外部电源线和通信线进行转接的航空接头(图中未示出)。

本实施例中，所述图像获取装置1有两种安装方式：第一种是将图像获取装置1固定安装于栈板5上方，当抓取机构3(即机械手)运动时，图像获取装置1已经获取栈板5上箱垛的图像信息并完成识别，在抓取机构3将已抓取箱子6进行放置时，图像获取装置1已经开始采集下一抓箱子6的图像信息，实现了图像采集识别和抓取机构3放置已抓取箱子6的动作同时进行，提高了工作效率；第二种是将图像获取装置1安装于抓取机构3上，每次图像获取装置1采集箱垛的图像信息时都需要随着抓取机构3运动到固定位置(即图像获取装置1每次采集图像信息都是在同一高度)。这两种安装方式中图像获取装置1每次采集时都会得到箱垛顶层所有箱子6的图像信息，并根据抓取需要(有时候需要一次拍照识别抓一个箱子6；有时候需要一次拍照识别抓多个；有时候需要一次拍照识别整层，并逐个抓完后再拍下一层)识别出来一个、多个或整层箱子6 的抓取信息供抓取机构对箱垛进行智能拆垛。

本实施例中，所述图像获取装置1固定安装于栈板5上方。所述外壳23套设于底板17上并能与底板17形成一个密闭空间，所述2D相机14通过相机支架24固定，3D 相机15通过3D相机固定板25固定且3D相机15自带集成光源，2D相机14和3D相机 15透过前挡板11上的视窗18可对栈板5上箱垛的原始灰度图像和深度图像的信息进行采集，光源16通过光源固定板26固定在底板17上并透过前挡板11上的通孔19为 2D相机14采集图像信息提供光源，后挡板12上设有两个线孔20，其中后挡板12左侧的线孔20供电源线使用，后挡板12右侧的线孔20供通信线使用，控制系统4通过控制图像获取装置1采集箱垛的图像信息并传输给上位机7进行相应融合处理后，所述上位机7向控制系统4发出抓取指令，由抓取机构3对栈板5上待抓取箱子6进行抓取拆垛。为了保证了图像获取装置1内部元器件的使用效果和使用寿命，将内部元器件所需的电源线和通信线与对应的外部电源线和通信线通过设置在线孔20上的航空接头连接，同时，在视窗18和通孔19上通过盖板22均设置了一个材质为透明有机玻璃的圆形防护板21，从而保证了图像获取装置1内部和外部的独立，有效防止了灰尘的进入，并极大便利了日常维护。具有安装便捷、成本低廉和拆垛效率高的特点。

以上对本发明所提供的一种基于3D视觉的智能拆垛方法及拆垛系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (5)

1.一种基于3D视觉的智能拆垛方法，其特征在于，所述方法包括以下步骤：

S1、通过图像获取装置获取箱垛的原始灰度图像和深度图像的信息，并对所获取的箱垛图像信息进行预处理；

S2、根据预处理后的图像信息获取栈板中码放箱垛的顶层区域并设定拆垛顺序；

S3、根据设定的拆垛顺序从所述顶层区域中获取至少包含一个待抓取箱子的候选框，并分别利用传统图像处理方法和深度学习方法判断待抓取箱子的摆放姿势；

S4、根据传统图像处理方法的判断结果和深度学习方法的判断结果进行综合决策，确定所述候选框中待抓取箱子的摆放姿势；

S5、根据所述S4中所确定待抓取箱子的摆放姿势计算出机械手抓取待抓取箱子时的旋转角度，然后控制机械手对箱垛上的待抓取箱子进行抓取拆垛；

所述S3的具体实现方式包括：

S31、根据设定的拆垛顺序和待抓取箱子的实际尺寸从顶层区域中获取至少包含一个待抓取箱子区域的候选框；

S32、利用传统图像处理方法对所述候选框进行处理，进而判断待抓取箱子的摆放姿势；

S33、利用深度学习方法对所述候选框进行处理，进而判断待抓取箱子的摆放姿势；

所述S32的具体实现方式包括：

S321、通过图像处理算法从所述候选框中提取待抓取箱子的空间特征和纹理特征；

S322、将所述S321中所提取的箱子空间特征和纹理特征输入到决策树中进行判断，得到所述候选框中待抓取箱子的摆放姿势；

所述S33的具体实现方式包括：

S331、将利用传统图像处理方法得到待抓取箱子摆放姿势的样本数据进行深度学习训练，建立深度学习训练模型；由于深度学习训练模型中的训练样本数据较少，因此深度学习方法的准确度较低，故前期主要以传统图像处理方法判断为主，随着训练样本数据的不断增加，深度学习方法的准确度也随之增加，直到深度学习方法的准确度达到或超过传统图像处理方法后，深度学习方法才会加入到识别系统中进行判断；

S332、当所述深度学习训练模型的准确度大于或等于所述传统图像处理方法的准确度后，将所述候选框输入到深度学习训练模块中进行处理，得到所述候选框中待抓取箱子的摆放姿势；

所述S1的具体实现方式为：通过2D相机和3D相机获取箱垛的原始灰度图像和深度图像信息，并利用滤波操作对所获取的箱垛图像信息进行预处理；

所述S4中根据传统图像处理方法的判断结果和深度学习方法的判断结果进行综合决策的具体实现方式为：当传统图像处理方法和深度学习方法的判断结果一致时，则系统认为判断正确，即可确定候选框中待抓取箱子的摆放姿势，并识别出待抓取箱子的空间位置信息；否则报警。

2.如权利要求1所述的基于3D视觉的智能拆垛方法，其特征在于，所述S5中计算出抓取箱子时机械手的旋转角度的同时还判断抓取拆垛过程中是否存在掉箱、多抓和抓取顺序不正确的抓取风险，如果存在抓取风险，则系统报警并停止抓取动作。

3.一种应用了如权利要求1至2中任一项所述方法的基于3D视觉的智能拆垛系统，其特征在于，包括：

图像获取装置，用于获取栈板上箱垛的原始灰度图像和深度图像的信息；

抓取机构，设于栈板一侧用于对栈板上所输送的箱垛进行拆卸；

控制系统，分别与图像获取装置和抓取机构连接，用于控制图像获取装置获取箱垛图像信息，以及用于控制抓取机构对栈板上箱垛进行拆垛工作；

上位机，与控制系统连接，用于对所获取的箱垛图像信息进行识别处理并与控制系统进行数据交互。

4.如权利要求3所述的基于3D视觉的智能拆垛系统，其特征在于，所述图像获取装置包括底板和套设于底板上并与底板形成可密闭空间的外壳，所述底板上设有前挡板、后挡板、电路板、2D相机、3D相机和光源，2D相机、3D相机和光源并列固定设于底板右侧，前挡板位于底板右侧且前挡板上设有供2D相机和3D相机采集箱垛图像信息的视窗以及供光源透射至栈板上的通孔，后挡板位于底板左侧且后挡板上设有供电源线和通信线通过的线孔，电路板设于前挡板与后挡板之间用于将电压转换为相机所需电压。

5.如权利要求4所述的基于3D视觉的智能拆垛系统，其特征在于，所述视窗和通孔上均设有圆形防护板，圆形防护板通过盖板分别固定在前挡板的视窗和通孔上，所述后挡板的线孔上装设有用于将图像获取装置内电源线和通信线与外部电源线和通信线进行转接的航空接头。