[go: up one dir, main page]

CN111275671A - 一种机器人配合3d技术视觉识别方法 - Google Patents

一种机器人配合3d技术视觉识别方法 Download PDF

Info

Publication number
CN111275671A
CN111275671A CN202010041112.7A CN202010041112A CN111275671A CN 111275671 A CN111275671 A CN 111275671A CN 202010041112 A CN202010041112 A CN 202010041112A CN 111275671 A CN111275671 A CN 111275671A
Authority
CN
China
Prior art keywords
image
feature points
dimensional model
robot
visual recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010041112.7A
Other languages
English (en)
Inventor
朱小勇
付用武
秦昕彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Zhongyuan Intelligent Equipment Co ltd
Original Assignee
Jiangsu Zhongyuan Intelligent Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Zhongyuan Intelligent Equipment Co ltd filed Critical Jiangsu Zhongyuan Intelligent Equipment Co ltd
Priority to CN202010041112.7A priority Critical patent/CN111275671A/zh
Publication of CN111275671A publication Critical patent/CN111275671A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种机器人配合3D技术视觉识别方法，获取标准件的3D图像和尺寸，标定特征点并保存，利用放置在设定位置的的摄像机采集被测件设定角度的多张2D图像，并进行滤波去噪后结合利用激光三角测量得到的尺寸数据，得到被测件三维模型并标定特征点，将所述三维模型的特征点和尺寸数据与所述标准件的所述3D图像的特征点和尺寸数据进行一一对比分析，并根据统计出来的特征点数量和平均值得到对比结果，根据所述对比结果，对所述被测件进行位姿调整或标定，并对抽取出来的被测件进行统计和处理，提高流水线的成品率。

Description

一种机器人配合3D技术视觉识别方法
技术领域
本发明涉及视觉识别技术领域，尤其涉及一种机器人配合3D技术视觉识别方法。
背景技术
流水线生产极大的提高了工业生产效率，有助于实现产品的标准化，是目前被广泛采用的生产方式，传统的流水线生产是一类“被动式”生产，流水线机械地将工件进行传送，各加工、检验、包装等环节均由分布于流水线两侧的工人来实现。随着自动化技术的发现，越来越多的流水线引入了各类自动化操作和判断技术，从而减少人工投入、保障产品质量，实际工业生产中，对于经流水线生产或传输的工件，往往有较高的尺寸要求；为了制造得出符合尺寸要求的产品，需要人工进行质检，但是人工质检不可能实现对于全部工件的逐一检测，并且人工质检的准确率较低，导致流水线成品率降低。
发明内容
本发明的目的在于提供一种机器人配合3D技术视觉识别方法，提高流水线成品率。
为实现上述目的，本发明提供了一种机器人配合3D技术视觉识别方法，包括：
获取标准件的3D图像和尺寸，标定特征点并保存；
采集被测件的图像和尺寸，得到所述被测件三维模型并标定特征点；
将所述三维模型与所述3D图像进行对比分析，得到对比结果；
根据所述对比结果，对所述被测件进行位姿调整或标定。
其中，所述获取标准件的3D图像和尺寸，标定特征点并保存，包括：
将标准件的3D图像导入机器人的处理器中，并结合所述标准件的尺寸数据对所述3D图像的特征点进行提取和标定，并保存于所述处理器中。
其中，所述采集被测件的图像和尺寸，得到所述被测件三维模型并标定特征点，包括：
利用放置在设定位置的的摄像机采集被测件设定角度的多张2D图像，并对所述2D图像转化为灰度图后，进行二值化滤波，并去除所述灰度图中像素值低于设定值的像素点后，提取所述灰度图中的特征点。
其中，所述采集被测件的图像和尺寸，得到所述被测件三维模型并标定特征点，还包括：
在利用所述摄像机拍摄所述2D图像时，利用激光三角测量被测件，并将测量得到的距离值转换到坐标系中，得到所述被测件的尺寸。
其中，所述采集被测件的图像和尺寸，得到所述被测件三维模型并标定特征点，还包括：
将所述被测件的尺寸和所述2D图像进行融合后，得到所述被测件的三维模型，并对提取出的所述特征点进行标定。
其中，所述利用放置在设定位置的的摄像机采集被测件设定角度的多张2D图像，包括：
通过分别安装在传送带的两侧和正上方的所述摄像机拍摄所述被测件对应角度的2D图像，并将所述2D图像传输至所述处理器中。
其中，将所述三维模型与所述3D图像进行对比分析，得到对比结果，包括：
将所述三维模型传输至所述机器人的所述处理器中，提取所述三维模型中被标定的所述特征点与所述3D图像中标定的特征点一一对比分析，将重合的特征点的标定取消，对不重合的特征点保留标定，并统计标定的特征点数量。
其中，将所述三维模型与所述3D图像进行对比分析，得到对比结果，还包括：
将所述三维模型的尺寸数据与所述3D图像的尺寸进行做差运算，并将所有差值求和后求取平均值。
其中，将所述三维模型与所述3D图像进行对比分析，得到对比结果，还包括：
若统计出来的标定的特征点的数量和所述平均值都小于设定值，则所述被测件与所述标准件一致；
若统计出来的标定的特征点的数量和所述平均值中的任一个大于设定值，则所述被测件与所述标准件存在偏差。
其中，根据所述对比结果，对所述被测件进行位姿调整或标定，包括：
若所述被测件与所述标准件一致，则将所述被测件的位姿调整为与所述标准件一致；
若所述被测件与所述标准件存在偏差，则输出不合格信号，并将所述不合格信号对应的所述三维模型进行标记。
本发明的一种机器人配合3D技术视觉识别方法，获取标准件的3D图像和尺寸，标定特征点并保存，利用放置在设定位置的的摄像机采集被测件设定角度的多张2D图像，并进行滤波去噪后结合利用激光三角测量得到的尺寸数据，得到被测件三维模型并标定特征点，将所述三维模型的特征点和尺寸数据与所述标准件的所述3D图像的特征点和尺寸数据进行一一对比分析，并根据统计出来的特征点数量和平均值得到对比结果，根据所述对比结果，对所述被测件进行位姿调整和抽取，并对抽取出来的被测件进行统计和处理，提高流水线的成品率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种机器人配合3D技术视觉识别方法的步骤示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
请参阅图1，本发明提供一种机器人配合3D技术视觉识别方法，包括：
S101、获取标准件的3D图像和尺寸，标定特征点并保存。
具体的，将需要经过流水线传输的所有标准间按传输顺序，将所有标准件的3D图像导入机器人的处理器中，其中，所述3D图像可以为技术人员在绘图软件上绘制的3D图像或者其他方式得到的，并结合所述标准件的尺寸数据对所述3D图像的特征点进行提取和标定，并保存于所述处理器中，便于后续与被测件进行对比。
S102、采集被测件的图像和尺寸，得到所述被测件三维模型并标定特征点。
具体的，将摄像机分别安装在传送带的两侧和正上方，当被测件通过所述摄像机时，所述摄像机同时拍摄对应角度的所述被测件的2D图像，并将所述2D图像转化为灰度图后，进行二值化滤波，并去除所述灰度图中像素值低于设定值的像素点后，提取所述灰度图中的特征点，在利用所述摄像机拍摄所述2D图像时，利用激光三角测量所述被测件，并将测量得到的距离值转换到xyz坐标系中，得到所述被测件的尺寸，将所述被测件的尺寸和所述2D图像进行融合后，得到所述被测件的三维模型，并对提取出的所述特征点进行标定，将图像先转换为灰度图后进行滤波和去噪，可以提高去噪的效果，保证采集的所述被测件的三维模型的准确性。
S103、将所述三维模型与所述3D图像进行对比分析，得到对比结果。
具体的，将所述三维模型传输至所述机器人的所述处理器中，首先提取所述三维模型中被标定的所述特征点与所述3D图像中标定的特征点一一对比分析，将重合的特征点的标定取消，对不重合的特征点保留标定，并统计所述三维模型中标定的特征点数量，然后将所述三维模型的尺寸数据与所述3D图像对应的尺寸进行做差运算，并将所有差值求和后求取平均值，并将统计出来的特征点数量和所述平均值与设定值进行比较，若统计出来的标定的特征点的数量和所述平均值都小于设定值，则所述被测件与所述标准件一致；若统计出来的标定的特征点的数量和所述平均值中的任一个值大于设定值，则所述被测件与所述标准件存在偏差，结合了图像和尺寸进行对比分析，避免只对图像或尺寸中任意一个进行比较，产生的误差较大，影响流水线的成品率。
S104、根据所述对比结果，对所述被测件进行位姿调整或标定。
具体的，若所述被测件与所述标准件一致，则将所述被测件的位姿调整为与所述标准件一致，方便下一道流水线进行操作或包装；若所述被测件与所述标准件存在偏差，则输出不合格信号至所述处理器，然后控制所述机器人将所述被测件从所述传送带上抽取出来，并在抽取的过程中对抽取出来的被测件的数量进行统计，将将所述不合格信号对应的所述被测件的三维模型和数据进行标记，方便技术人员分析抽取出来的所述被测件，方便进行改进，可以提高流水线的成品率。
本发明的一种机器人配合3D技术视觉识别方法，获取标准件的3D图像和尺寸，标定特征点并保存，利用放置在设定位置的的摄像机采集被测件设定角度的多张2D图像，并进行滤波去噪后结合利用激光三角测量得到的尺寸数据，得到被测件三维模型并标定特征点，将所述三维模型的特征点和尺寸数据与所述标准件的所述3D图像的特征点和尺寸数据进行一一对比分析，并根据统计出来的特征点数量和平均值得到对比结果，根据所述对比结果，对所述被测件进行位姿调整或标定，并对抽取出来的被测件进行统计和处理，提高流水线的成品率。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (10)

1.一种机器人配合3D技术视觉识别方法，其特征在于，包括：
获取标准件的3D图像和尺寸，标定特征点并保存；
采集被测件的图像和尺寸，得到所述被测件三维模型并标定特征点；
将所述三维模型与所述3D图像进行对比分析，得到对比结果；
根据所述对比结果，对所述被测件进行位姿调整或标定。
2.如权利要求1所述的一种机器人配合3D技术视觉识别方法，其特征在于，所述获取标准件的3D图像和尺寸，标定特征点并保存，包括：
将标准件的3D图像导入机器人的处理器中，并结合所述标准件的尺寸数据对所述3D图像的特征点进行提取和标定，并保存于所述处理器中。
3.如权利要求2所述的一种机器人配合3D技术视觉识别方法，其特征在于，所述采集被测件的图像和尺寸，得到所述被测件三维模型并标定特征点，包括：
利用放置在设定位置的的摄像机采集被测件设定角度的多张2D图像，并对所述2D图像转化为灰度图后，进行二值化滤波，并去除所述灰度图中像素值低于设定值的像素点后，提取所述灰度图中的特征点。
4.如权利要求3所述的一种机器人配合3D技术视觉识别方法，其特征在于，所述采集被测件的图像和尺寸，得到所述被测件三维模型并标定特征点，还包括：
在利用所述摄像机拍摄所述2D图像时，利用激光三角测量被测件，并将测量得到的距离值转换到坐标系中，得到所述被测件的尺寸。
5.如权利要求4所述的一种机器人配合3D技术视觉识别方法，其特征在于，所述采集被测件的图像和尺寸，得到所述被测件三维模型并标定特征点，还包括：
将所述被测件的尺寸和所述2D图像进行融合后，得到所述被测件的三维模型，并对提取出的所述特征点进行标定。
6.如权利要求3所述的一种机器人配合3D技术视觉识别方法，其特征在于，所述利用放置在设定位置的的摄像机采集被测件设定角度的多张2D图像，包括：
通过分别安装在传送带的两侧和正上方的所述摄像机拍摄所述被测件对应角度的2D图像，并将所述2D图像传输至所述处理器中。
7.如权利要求5所述的一种机器人配合3D技术视觉识别方法，其特征在于，将所述三维模型与所述3D图像进行对比分析，得到对比结果，包括：
将所述三维模型传输至所述机器人的所述处理器中，提取所述三维模型中被标定的所述特征点与所述3D图像中标定的特征点一一对比分析，将重合的特征点的标定取消，对不重合的特征点保留标定，并统计标定的特征点数量。
8.如权利要求7所述的一种机器人配合3D技术视觉识别方法，其特征在于，将所述三维模型与所述3D图像进行对比分析，得到对比结果，还包括：
将所述三维模型的尺寸数据与所述3D图像的尺寸进行做差运算，并将所有差值求和后求取平均值。
9.如权利要求8所述的一种机器人配合3D技术视觉识别方法，其特征在于，将所述三维模型与所述3D图像进行对比分析，得到对比结果，还包括：
若统计出来的标定的特征点的数量和所述平均值都小于设定值，则所述被测件与所述标准件一致；
若统计出来的标定的特征点的数量和所述平均值中的任一个大于设定值，则所述被测件与所述标准件存在偏差。
10.如权利要求9所述的一种机器人配合3D技术视觉识别方法，其特征在于，根据所述对比结果，对所述被测件进行位姿调整或标定，包括：
若所述被测件与所述标准件一致，则将所述被测件的位姿调整为与所述标准件一致；
若所述被测件与所述标准件存在偏差，则输出不合格信号，并将所述不合格信号对应的所述三维模型进行标记。
CN202010041112.7A 2020-01-15 2020-01-15 一种机器人配合3d技术视觉识别方法 Pending CN111275671A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010041112.7A CN111275671A (zh) 2020-01-15 2020-01-15 一种机器人配合3d技术视觉识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010041112.7A CN111275671A (zh) 2020-01-15 2020-01-15 一种机器人配合3d技术视觉识别方法

Publications (1)

Publication Number Publication Date
CN111275671A true CN111275671A (zh) 2020-06-12

Family

ID=71003216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010041112.7A Pending CN111275671A (zh) 2020-01-15 2020-01-15 一种机器人配合3d技术视觉识别方法

Country Status (1)

Country Link
CN (1) CN111275671A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184637A (zh) * 2020-09-14 2021-01-05 中国质量认证中心 一种3d打印成形件缺陷在线测评装置
CN113758435A (zh) * 2021-09-10 2021-12-07 华能新能源股份有限公司 一种承载板检测方法及装置
CN116086359A (zh) * 2023-04-07 2023-05-09 杭州键嘉医疗科技股份有限公司 一种手术器械追踪阵列的误差测量装置及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915957A (zh) * 2015-05-29 2015-09-16 何再兴 一种提高工业机器人三维视觉识别精度的匹配矫正方法
CN104966300A (zh) * 2015-06-19 2015-10-07 浙江理工大学 轴承滚子图像检测系统及方法及图像检测装置
CN105865335A (zh) * 2016-04-21 2016-08-17 四川大学 一种基于机器视觉的定子线棒截面尺寸检测系统
CN107505644A (zh) * 2017-07-28 2017-12-22 武汉理工大学 基于车载多传感器融合的三维高精度地图生成系统及方法
US20180297207A1 (en) * 2017-04-14 2018-10-18 TwoAntz, Inc. Visual positioning and navigation device and method thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915957A (zh) * 2015-05-29 2015-09-16 何再兴 一种提高工业机器人三维视觉识别精度的匹配矫正方法
CN104966300A (zh) * 2015-06-19 2015-10-07 浙江理工大学 轴承滚子图像检测系统及方法及图像检测装置
CN105865335A (zh) * 2016-04-21 2016-08-17 四川大学 一种基于机器视觉的定子线棒截面尺寸检测系统
US20180297207A1 (en) * 2017-04-14 2018-10-18 TwoAntz, Inc. Visual positioning and navigation device and method thereof
CN107505644A (zh) * 2017-07-28 2017-12-22 武汉理工大学 基于车载多传感器融合的三维高精度地图生成系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184637A (zh) * 2020-09-14 2021-01-05 中国质量认证中心 一种3d打印成形件缺陷在线测评装置
CN113758435A (zh) * 2021-09-10 2021-12-07 华能新能源股份有限公司 一种承载板检测方法及装置
CN116086359A (zh) * 2023-04-07 2023-05-09 杭州键嘉医疗科技股份有限公司 一种手术器械追踪阵列的误差测量装置及方法

Similar Documents

Publication Publication Date Title
CN109974582B (zh) 一种汽车线束的芯线尺寸非接触式视觉检测装置及方法
CN111275671A (zh) 一种机器人配合3d技术视觉识别方法
CN111537517A (zh) 一种无人智能化冲压缺陷识别方法
CN103785622B (zh) 基于机器视觉的零件分拣装置的零件分拣方法
CN103454285A (zh) 基于机器视觉的传动链条质量检测系统
CN114529510B (zh) 一种阴极铜在线质量自动检测分类方法
CN107063099A (zh) 一种基于视觉系统的机械制造业在线质量监测方法
CN106226325A (zh) 一种基于机器视觉的座椅表面缺陷检测系统及其方法
CN105865335A (zh) 一种基于机器视觉的定子线棒截面尺寸检测系统
CN106705850A (zh) 一种基于图像的端子质量检测方法
CN116091404A (zh) 一种基于图像-点云信息融合的焊线缺陷检测及模式识别方法
CN103837097A (zh) 一种基于图像处理的工件角度自动测量装置及测量方法
CN115375636A (zh) 一种动力电池模组全尺寸检测方法及设备
CN118247331B (zh) 一种基于图像识别的零件尺寸自动检测方法及系统
CN107578442A (zh) 一种中心定位找正方法及系统
CN114820563B (zh) 一种基于多视点立体视觉的工业部件尺寸估计方法及系统
CN104200469B (zh) 一种视觉智能数控系统的数据融合方法
CN118099017B (zh) 一种半导体工件制作用检测系统及方法
CN118882478A (zh) 一种利用图像模拟的产品尺寸检验系统
CN102013087B (zh) 一种裁剪样板数字化的方法
TWI742391B (zh) 立體影像表面瑕疵檢測系統
CN116858139B (zh) 基于双目视觉的金属结构平面度测量方法
CN108459558B (zh) 一种定位测量装置和定位测量方法
CN105115420A (zh) 大画面检测方法
CN118470099B (zh) 基于单目相机的物体空间位姿测量方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200612

RJ01 Rejection of invention patent application after publication