CN112288819B - 多源数据融合的视觉引导机器人抓取及分类系统及方法 - Google Patents
多源数据融合的视觉引导机器人抓取及分类系统及方法 Download PDFInfo
- Publication number
- CN112288819B CN112288819B CN202011308725.9A CN202011308725A CN112288819B CN 112288819 B CN112288819 B CN 112288819B CN 202011308725 A CN202011308725 A CN 202011308725A CN 112288819 B CN112288819 B CN 112288819B
- Authority
- CN
- China
- Prior art keywords
- objects
- robot
- map
- grabbed
- box
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 17
- 230000007306 turnover Effects 0.000 claims abstract description 39
- 238000001444 catalytic combustion detection Methods 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000009193 crawling Effects 0.000 claims 4
- 230000000007 visual effect Effects 0.000 claims 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Manipulator (AREA)
Abstract
本发明提供了一种多源数据融合的视觉引导机器人抓取及分类系统及方法，该系统包括：机器人本体、3D深度相机、面阵CCD、周转箱和订单盒；该方法具体步骤包括：3D深度相机周期性的对周转箱内的多个物体拍照，获得多个物体的灰度图和深度图；两个面阵CCD互成90度角放置，周期性的对被机器人本体抓取的物体拍照，获得被抓取物体不同角度的图像；机器人本体位于所述周转箱的一侧，根据多个物体的灰度图和深度图对周转箱内的多个物体进行抓取，并根据被抓取物体不同角度的图像对被抓取物体进行分类，并放置到相应的订单盒中。本发明设计合理，功能齐全，使用方便可靠，准确率高，可实现对周转箱这类场景中物品的准确抓取和分类。
Description
技术领域
本发明涉及机器视觉及机器人技术领域，尤其涉及一种多源数据融合的视觉引导机器人抓取及分类系统及方法。
背景技术
物流周转箱的分拣和搬运是物流领域中非常重要的一环，在分拣的过程中需要对杂乱堆叠的物体的搬运和分类放置。传统的分拣方法为人工操作，随着网络在线购物和物流领域的发展，人工分拣消耗的人力资源大、成本高，不仅如此，长期的工作会造成人眼和身体的疲劳，不仅影响分拣的效率和准确率，还对人身有一定的损害。因此，如何减少人力成本，同时也要保证物体分拣的中抓取和分类准确率是亟待解决的技术问题。
发明内容
本发明提供一种多源数据融合的视觉引导机器人抓取及分类系统及方法，旨在解决减少人力成本，同时也要保证物体分拣的中抓取和分类准确率的技术问题。
为实现上述目的，本发明提供了一种多源数据融合的视觉引导机器人抓取及分类系统，所述多源数据融合的视觉引导机器人抓取及分类系统包括：
机器人本体、3D深度相机、面阵CCD、周转箱、订单盒、控制箱和机器人控制柜；
所述周转箱内有多个待分类物体；
所述3D深度相机位于所述周转箱的正上方，周期性的对所述周转箱内的多个物体拍照，获得多个物体的灰度图和深度图并传送至所述控制箱；
所述控制箱用于根据所述深度图和灰度图计算得到梯度图，并将所述深度图、灰度图和梯度图组合成一个3通道图像，输送到目标检测算法中，获得所述灰度图上物体的初始区域；
所述控制箱将所述灰度图上物体的初始区域映射到3D点云上，通过点云处理算法获得物体的位姿信息，并反馈给所述机器人控制柜；
所述机器人控制柜根据所述物体的位姿信息引导所述机器人本体抓取所述周转箱内的物体；
两个所述面阵CCD互成90度角放置，位于所述机器人本体一侧，周期性的对被机器人本体抓取的物体拍照，获得被抓取物体不同角度的图像并传送至所述控制箱；
所述控制箱将所述不同角度的图像传入多模态融合识别算法中对所述被抓取物体进行分类，获得分类结果，并将所述分类结果反馈给所述机器人控制柜；
所述机器人控制柜根据所述分类结果引导所述机器人本体将被抓取物体放置在相应的所述订单盒中。
优选地，所述控制箱内有电脑主机、交换机和电源，所述控制箱获取所述位姿信息和所述分类结果实际上由所述电脑主机完成。
优选地，所述多源数据融合的视觉引导机器人抓取及分类系统还包括：装置支撑架；
所述装置支撑架用于放置所述机器人本体、所述面阵CCD、所述订单盒、所述3D深度相机和所述周转箱。
优选地，所述多源数据融合的视觉引导机器人抓取及分类系统还包括：摆放台；
所述摆放台用于放置所述支撑架。
优选地，所述多源数据融合的视觉引导机器人抓取及分类系统还包括：电脑显示屏；
所述电脑显示屏与所述控制箱连接，用于显示所述物体的灰度图。
所述电脑显示屏还可以根据需要显示深度图、梯度图、3通道图像、被抓取物体不同角度的图像、位姿信息以及分类结果。
此外，为实现上述目的，本发明还提供了一种多源数据融合的视觉引导机器人抓取及分类方法，基于所述的多源数据融合的视觉引导机器人抓取及分类系统，所述多源数据融合的视觉引导机器人抓取及分类方法包括以下步骤：
所述3D深度相机周期性地对所述周转箱内的物体拍照，获得所述周转箱内的物体的深度图和灰度图传送至所述控制箱；
所述控制箱根据所述深度图和灰度图计算得到梯度图，并将所述深度图、灰度图和梯度图组合成一个3通道图像，输送到目标检测算法中，获得所述灰度图上物体的初始区域；
所述控制箱将所述灰度图上物体的初始区域映射到3D点云上，通过点云处理算法获得物体的位姿信息，并反馈给所述机器人控制柜；
所述机器人控制柜根据所述物体的位姿信息引导所述机器人本体抓取所述周转箱内的物体；
所述机器人本体将物体抓取后，利用两个互成90度的所述面阵CCD对被抓取物体进行拍照，获得被抓取物体不同角度的图像并传送至所述控制箱；
所述控制箱将所述不同角度的图像传入多模态融合识别算法中对所述被抓取物体进行分类，获得分类结果，并将所述分类结果反馈给所述机器人控制柜；
所述机器人控制柜根据所述分类结果引导所述机器人本体将被抓取物体放置在相应的所述订单盒中。
优选地，所述目标检测算法以所述3通道图像作为输入，经过卷积神经网络提取所述3通道图像的语义信息和细节特征，得到不同分辨率的特征图，经过上采样分别扩大所述不同分辨率的特征图，再通过sigmoid激活函数判别检测区域是否包含物体，通过回归精细化所述灰度图上物体的中心坐标和尺寸大小，获得所述灰度图像上物体的初始区域。
优选地，所述多模态融合算法分为两个支路，两个面阵CCD(4)获取的被抓取物体不同角度的图像分别输送到所述多模态融合算法的两个支路中，经过相同结构的卷积神经网络进行特征提取，分别得到相应的特征向量，再将两个特征向量首尾拼接起来，通过全连接层对特征进行融合，最后经过softmax函数进行分类处理，获得被抓取物体的分类结果。
优选地，在所述3D深度相机周期性地对所述周转箱内的物体拍照之前，还包括：对所述3D相机进行相机标定，将图像坐标系与世界坐标系进行对应。
本发明的提供的技术方案带来的有益效果是：
(1)本发明能够对周转箱内堆叠的物品实现准确的抓取，并对抓起的物品实现识别分类，可代替传统的人工分拣；
(2)本发明在对周转箱内的物品进行初定位时，采用3D深度相机周期性对物体拍照，不仅利用了物体的灰度信息，还结合了物体的深度信息，所以能够实现一个通用性的检测，即对于没有训练过的物体，系统也能够准确的将该物体抓取起来，保证不漏抓；
(3)本发明对于相似物品的分类也有很好的区分性，采用两个面阵CCD从不同的角度对被抓起的物体进行拍照，采用多模态融合识别算法对物体进行分类，可避免某些物体在某个角度非常相似而无法被准确区分的问题。
附图说明
图1是本发明一种多源数据融合的视觉引导机器人抓取及分类系统结构图；
图2是本发明一种多源数据融合的视觉引导机器人抓取及分类方法流程图；
图中：1-摆放台、2-电脑显示屏、3-3D深度相机、4-面阵CCD、5-机器人本体、6-周转箱、7-订单盒、8-控制箱、9-机器人控制柜、10-装置支撑架。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
请参考图1，图1是本发明一种多源数据融合的视觉引导机器人抓取及分类系统结构图；
图1所述一种多源数据融合的视觉引导机器人抓取及分类系统，包括：摆放台1、电脑显示屏2、机器人视觉定位系统、机器人视觉分类系统和机器人自动抓取摆放系统；
所述机器人视觉定位系统包括：3D深度相机3、周转箱6和控制箱8；
所述机器人视觉分类系统包括：面阵CCD 4、订单盒7和控制箱8；
所述机器人自动抓取摆放系统包括：机器人本体5、机器人控制柜9、装置支撑架10和控制箱8；
所述控制箱8内部有电脑主机、电源和交换机；
所述摆放台1位于所述控制箱8上，所述装置支撑架10位于所述摆放台1上，所述机器人本体5、所述电脑显示屏2、所述面阵CCD4、所述订单盒7、所述3D深度相机3和所述周转箱6均位于所述装置支撑架10内。
所述3D深度相机3位于所述周转箱6的正上方，周期性的对所述周转箱6内的多个物体拍照，获得多个物体的灰度图和深度图并传送至所述控制箱8；
所述控制箱8用于根据所述深度图和灰度图计算得到梯度图，并将所述深度图、灰度图和梯度图组合成一个3通道图像，输送到目标检测算法中，获得所述灰度图上物体的初始区域；
所述控制箱8将所述灰度图上物体的初始区域映射到3D点云上，通过点云处理算法获得物体的位姿信息，并反馈给所述机器人控制柜9；
所述机器人控制柜8根据所述物体的位姿信息引导所述机器人本体5抓取所述周转箱6内的物体；
两个所述面阵CCD 4互成90度角放置，位于所述机器人本体5一侧，周期性的对被机器人本体5抓取的物体拍照，获得被抓取物体不同角度的图像并传送至所述控制箱8；
所述控制箱8将所述不同角度的图像传入多模态融合识别算法中对所述被抓取物体进行分类，获得分类结果，并将所述分类结果反馈给所述机器人控制柜9；
所述机器人控制柜9根据所述分类结果引导所述机器人本体5将被抓取物体放置在相应的所述订单盒7中。
请参考图2，图2是本发明一种多源数据融合的视觉引导机器人抓取及分类方法流程图；
图2所示一种多源数据融合的视觉引导机器人抓取及分类方法包括以下步骤：
步骤1：所述3D相机3对棋盘格标定板进行拍照，采集相应的标定图像，再根据张正友标定算法计算出标定目标从图像坐标系转换到世界坐标系的仿射矩阵M，根据所述仿射矩阵M将图像坐标系与世界坐标系进行对应；
步骤2：所述标定后3D深度相机3周期性地对所述周转箱6内的物体拍照，获得所述周转箱6内的物体的深度图和灰度图；根据所述深度图和灰度图计算得到梯度图，并将所述深度图、灰度图和梯度图组合成一个3通道图像，输送到目标检测算法中，获得所述灰度图上物体的初始区域传送至所述控制箱8；
步骤3：所述控制箱8将所述灰度图上物体的初始区域映射到3D点云上，并对点云进行滤波、求取质心和计算法线等操作，得到物体的中心位置坐标和角度(位姿信息)，并反馈给所述机器人控制柜9，所述机器人控制柜9根据所述物体的位姿信息引导所述机器人本体5抓取所述周转箱6内的物体；
步骤4：所述机器人本体5将物体抓取后，利用两个互成90度的所述面阵CCD 4对被抓取物体进行拍照，获得被抓取物体不同角度的图像传送至所述控制箱8，所述控制箱8将所述不同角度的图像传入多模态融合识别算法中对所述被抓取物体进行分类，获得分类结果，并将所述分类结果反馈给所述机器人控制柜9，所述机器人控制柜9根据所述分类结果引导所述机器人本体5将被抓取物体放置在相应的所述订单盒7中。
其中，步骤2中，所述目标检测算法以所述3通道图像作为输入，经过卷积神经网络提取所述3通道图像的语义信息和细节特征，得到不同分辨率的特征图，经过上采样分别扩大所述不同分辨率的特征图，再通过sigmoid激活函数判别检测区域是否包含物体，通过回归精细化所述灰度图上物体的中心坐标和尺寸大小，获得所述灰度图像上物体的初始区域。
步骤4中，所述多模态融合算法分为两个支路(两个基础的分类网络)，两个面阵CCD 4获取的被抓取物体不同角度的图像分别输送到所述多模态融合算法的两个支路中，经过相同结构的卷积神经网络进行特征提取，分别得到相应的特征向量，再将两个特征向量首尾拼接起来，通过全连接层对特征进行融合，最后经过softmax函数进行分类处理，获得被抓取物体的分类结果。
本发明的有益效果是：
(1)本发明能够对周转箱内堆叠的物品实现准确的抓取，并对抓起的物品实现识别分类，可代替传统的人工分拣；
(2)本发明在对周转箱内的物品进行初定位时，采用3D深度相机周期性对物体拍照，不仅利用了物体的灰度信息，还结合了物体的深度信息，所以能够实现一个通用性的检测，即对于没有训练过的物体，系统也能够准确的将该物体抓取起来，保证不漏抓；
(3)本发明对于相似物品的分类也有很好的区分性，采用两个面阵CCD从不同的角度对被抓起的物体进行拍照，采用多模态融合算法对物体进行分类，可避免某些物体在某个角度非常相似而无法被准确区分的问题。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点,对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (9)
1.一种多源数据融合的视觉引导机器人抓取及分类系统，其特征在于，所述多源数据融合的视觉引导机器人抓取及分类系统包括：
机器人本体(5)、3D深度相机(3)、面阵CCD(4)、周转箱(6)、订单盒(7)、控制箱(8)和机器人控制柜(9)；
所述周转箱(6)内有多个物体；
所述3D深度相机(3)位于所述周转箱(6)的正上方，周期性的对所述周转箱(6)内的多个物体拍照，获得多个物体的灰度图和深度图并传送至所述控制箱(8)；
所述控制箱(8)用于根据所述深度图和灰度图计算得到梯度图，并将所述深度图、灰度图和梯度图组合成一个3通道图像，输送到目标检测算法中，获得所述灰度图上物体的初始区域；
所述控制箱(8)将所述灰度图上物体的初始区域映射到3D点云上，通过点云处理算法获得物体的位姿信息，并反馈给所述机器人控制柜(9)；
所述机器人控制柜(9)根据所述物体的位姿信息引导所述机器人本体(5)抓取所述周转箱(6)内的物体；
两个所述面阵CCD(4)互成90度角放置，位于所述机器人本体(5)一侧，周期性的对被机器人本体(5)抓取的物体拍照，获得被抓取物体不同角度的图像并传送至所述控制箱(8)；
所述控制箱(8)将所述不同角度的图像传入多模态融合识别算法中对所述被抓取物体进行分类，获得分类结果，并将所述分类结果反馈给所述机器人控制柜(9)；
所述机器人控制柜(9)根据所述分类结果引导所述机器人本体(5)将被抓取物体放置在相应的所述订单盒(7)中。
2.如权利要求1所述的多源数据融合的视觉引导机器人抓取及分类系统，其特征在于，所述控制箱(8)内有电脑主机、交换机和电源，所述控制箱(8)获取所述位姿信息和所述分类结果实际上由所述电脑主机完成。
3.如权利要求1所述的多源数据融合的视觉引导机器人抓取及分类系统，其特征在于，所述多源数据融合的视觉引导机器人抓取及分类系统还包括：装置支撑架(10)；
所述装置支撑架(10)用于放置所述机器人本体(5)、所述面阵CCD(4)、所述订单盒(7)、所述3D深度相机(3)和所述周转箱(6)。
4.如权利要求3所述的多源数据融合的视觉引导机器人抓取及分类系统，其特征在于，所述多源数据融合的视觉引导机器人抓取及分类系统还包括：摆放台(1)；
所述摆放台(1)用于放置所述装置支撑架(10)。
5.如权利要求2所述的多源数据融合的视觉引导机器人抓取及分类系统，其特征在于，所述多源数据融合的视觉引导机器人抓取及分类系统还包括：电脑显示屏(2)；
所述电脑显示屏(2)与所述控制箱(8)连接，用于显示所述物体的灰度图。
6.一种多源数据融合的视觉引导机器人抓取及分类方法，基于权利要求1-5任一项所述的多源数据融合的视觉引导机器人抓取及分类系统，其特征在于，所述多源数据融合的视觉引导机器人抓取及分类方法包括以下步骤：
所述3D深度相机(3)周期性地对所述周转箱(6)内的物体拍照，获得所述周转箱(6)内的物体的深度图和灰度图并传送至所述控制箱(8)；
所述控制箱(8)根据所述深度图和灰度图计算得到梯度图，并将所述深度图、灰度图和梯度图组合成一个3通道图像，输送到目标检测算法中，获得所述灰度图上物体的初始区域；
所述控制箱(8)将所述灰度图上物体的初始区域映射到3D点云上，通过点云处理算法获得物体的位姿信息，并反馈给所述机器人控制柜(9)，所述机器人控制柜(9)根据所述物体的位姿信息引导所述机器人本体(5)抓取所述周转箱(6)内的物体；
所述机器人本体(5)将物体抓取后，利用两个互成90度的所述面阵CCD(4)对被抓取物体进行拍照，获得被抓取物体不同角度的图像并传送至所述控制箱(8)；
所述控制箱(8)将所述不同角度的图像传入多模态融合识别算法中对所述被抓取物体进行分类，获得分类结果，并将所述分类结果反馈给所述机器人控制柜(9)，所述机器人控制柜(9)根据所述分类结果引导所述机器人本体(5)将被抓取物体放置在相应的所述订单盒(7)中。
7.如权利要求6所述的多源数据融合的视觉引导机器人抓取及分类方法，其特征在于，所述目标检测算法以所述3通道图像作为输入，经过卷积神经网络提取所述3通道图像的语义信息和细节特征，得到不同分辨率的特征图，经过上采样分别扩大所述不同分辨率的特征图，再通过sigmoid激活函数判别检测区域是否包含物体，通过回归精细化所述灰度图上物体的中心坐标和尺寸大小，获得所述灰度图像上物体的初始区域。
8.如权利要求6所述的多源数据融合的视觉引导机器人抓取及分类方法，其特征在于，所述多模态融合算法分为两个支路，两个面阵CCD(4)获取的被抓取物体不同角度的图像分别输送到所述多模态融合算法的两个支路中，经过相同结构的卷积神经网络进行特征提取，分别得到相应的特征向量，再将两个特征向量首尾拼接起来，通过全连接层对特征进行融合，最后经过softmax函数进行分类处理，获得被抓取物体的分类结果。
9.如权利要求6所述的多源数据融合的视觉引导机器人抓取及分类方法，其特征在于，在所述3D深度相机周期性地对所述周转箱内的物体拍照之前，还包括：对所述3D深度相机(3)进行相机标定，将图像坐标系与世界坐标系进行对应。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011308725.9A CN112288819B (zh) | 2020-11-20 | 2020-11-20 | 多源数据融合的视觉引导机器人抓取及分类系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011308725.9A CN112288819B (zh) | 2020-11-20 | 2020-11-20 | 多源数据融合的视觉引导机器人抓取及分类系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112288819A CN112288819A (zh) | 2021-01-29 |
| CN112288819B true CN112288819B (zh) | 2022-06-24 |
Family
ID=74399462
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011308725.9A Active CN112288819B (zh) | 2020-11-20 | 2020-11-20 | 多源数据融合的视觉引导机器人抓取及分类系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112288819B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114842323B (zh) * | 2022-07-04 | 2022-09-13 | 山东西曼克技术有限公司 | 基于分类识别的智能机器人分拣优化方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101478709B1 (ko) * | 2012-06-27 | 2015-01-05 | 한국과학기술원 | Rgb-d 영상 특징점 추출 및 특징 기술자 생성 방법 및 장치 |
| CN106504289B (zh) * | 2016-11-02 | 2019-12-17 | 深圳乐动机器人有限公司 | 一种室内目标检测方法及装置 |
| CN108280827B (zh) * | 2018-01-24 | 2020-11-24 | 北京红云视界技术有限公司 | 基于深度学习的冠状动脉病变自动检测方法、系统和设备 |
| CN108921846A (zh) * | 2018-07-17 | 2018-11-30 | 北京航空航天大学 | 一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法 |
| CN111368852A (zh) * | 2018-12-26 | 2020-07-03 | 沈阳新松机器人自动化股份有限公司 | 基于深度学习的物品识别预分拣系统、方法及机器人 |
| CN110647802A (zh) * | 2019-08-07 | 2020-01-03 | 北京建筑大学 | 基于深度学习的遥感影像舰船目标检测方法 |
| CN111932537B (zh) * | 2020-10-09 | 2021-01-15 | 腾讯科技（深圳）有限公司 | 对象形变检测方法、装置、计算机设备和存储介质 |
-
2020
- 2020-11-20 CN CN202011308725.9A patent/CN112288819B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112288819A (zh) | 2021-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109483554B (zh) | 基于全局和局部视觉语义的机器人动态抓取方法及系统 | |
| CN106737665B (zh) | 基于双目视觉和sift特征匹配的机械臂控制系统及实现方法 | |
| CN108080289A (zh) | 机器人分拣系统、机器人分拣控制方法及装置 | |
| CN114758236B (zh) | 一种非特定形状物体识别、定位与机械手抓取系统及方法 | |
| CN115816460B (zh) | 一种基于深度学习目标检测与图像分割的机械手抓取方法 | |
| CN113580149B (zh) | 基于关键点预测网络的无序混叠工件抓取方法和系统 | |
| WO2019042426A1 (zh) | 增强现实场景的处理方法、设备及计算机存储介质 | |
| CN108480239B (zh) | 基于立体视觉的工件快速分拣方法及装置 | |
| CN110434516A (zh) | 一种智能焊接机器人系统及焊接方法 | |
| CN114952809A (zh) | 工件识别和位姿检测方法、系统及机械臂的抓取控制方法 | |
| CN110756462B (zh) | 电源适配器测试方法、装置、系统、控制装置及存储介质 | |
| US20230368414A1 (en) | Pick and place systems and methods | |
| CN112101060B (zh) | 基于平移不变性和小区域模板匹配的二维码定位方法 | |
| CN115319739A (zh) | 一种基于视觉机械臂抓取工件方法 | |
| CN112801988B (zh) | 基于rgbd和深度神经网络的物体抓取位姿检测方法 | |
| CN110110823A (zh) | 基于rfid和图像识别的物体辅助识别系统及方法 | |
| CN110929795A (zh) | 高速焊线机焊点快速识别与定位方法 | |
| CN114714365A (zh) | 一种基于云平台的无序工件抓取方法及其系统 | |
| CN109034694A (zh) | 基于智能制造的生产原料智能存储方法及系统 | |
| US20230297068A1 (en) | Information processing device and information processing method | |
| CN112288819B (zh) | 多源数据融合的视觉引导机器人抓取及分类系统及方法 | |
| Pan et al. | Manipulator package sorting and placing system based on computer vision | |
| CN117911359A (zh) | 一种基于视觉的机械臂6d位姿抓取方法 | |
| CN117124302A (zh) | 一种零件分拣方法、装置、电子设备及存储介质 | |
| CN115321090B (zh) | 机场行李自动接取方法、装置、设备、系统及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |