CN110068270B - 一种基于多线结构光图像识别的单目视觉箱体体积测量方法 - Google Patents
一种基于多线结构光图像识别的单目视觉箱体体积测量方法 Download PDFInfo
- Publication number
- CN110068270B CN110068270B CN201910312179.7A CN201910312179A CN110068270B CN 110068270 B CN110068270 B CN 110068270B CN 201910312179 A CN201910312179 A CN 201910312179A CN 110068270 B CN110068270 B CN 110068270B
- Authority
- CN
- China
- Prior art keywords
- structured light
- box body
- line
- box
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000005259 measurement Methods 0.000 claims abstract description 38
- 238000013135 deep learning Methods 0.000 claims abstract description 14
- 238000003708 edge detection Methods 0.000 claims abstract description 6
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000013507 mapping Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 238000000691 measurement method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种基于多线结构光图像识别的单目视觉箱体体积测量方法,包括如下操作步骤:1)相机标定和多线激光平面参数获取。2)二维坐标映射到三维空间坐标的计算。3)用深度学习方法进行箱体边缘检测和激光中心线提取。4)对于不同的箱体分别使用井字形、双平行线和十字交叉型结构光进行测量,得到规则箱体的体积。本发明通过向测量箱体平面投射多线结构光(井字形,十字形,平行线形),经过图像处理检测线结构光与箱子边缘的交点,根据结构光三角测量理论将点从二维坐标系换算到三维坐标系下计算规则箱体长度、宽度和高度,进而计算其体积。本方法算法复杂度低,能很好地应用于PC端和移动端设备,能实时在线测量,满足便携性要求。
Description
技术领域
本发明属于一种箱体体积测量的方法,具体涉及一种基于多线结构光图像识别的单目视觉箱体体积测量方法。
背景技术
箱体体积测量主要应用于物流、电商、仓库存储、航空货栈等领域,提供计算运费、货物摆放、箱体推荐等各种服务。其应用场景较为复杂,所以如何在复杂的环境下快速、准确、高效地测量出箱体的体积是这些行业急需解决的问题,此外如何在良好性能基础上发展便携式的体积测量仪也是这些行业的迫切需求。目前的已有多种的测量方式:人工检测,手动通过尺子测量,不仅效率低而且容易出现错误;光栅测量法,设备自动测量,测量精度高,但是需要人力将箱体搬到固定位置,对高于1米的箱体测量非常困难,耗费人力且仪器成本高;基于双目立体视觉的体积测量法,算法复杂度高,立体匹配困难,测量大尺寸箱体精度低,不适用于物流等复杂的测量场景。
发明内容
本发明鉴于物流运输、电商、超市等行业测量箱体体积的需求,提出一种基于多线结构光图像识别的单目视觉箱体体积测量方法,在保证对大尺寸箱体体积的高精度测量前提下,实现实用性强的在线便携式箱体体积测量方式。本发明通过向测量箱体表面投射多线结构光(井字形,十字形,平行线形),如图1所示,然后通过深度学习算法检测线结构光与箱体边缘的交点,最后根据结构光三角测量理论将点换算到三维坐标系下计算长度和宽度,重复拍摄箱体的一个相邻面,计算出箱体的高度,进而计算出体积。该测量方法有非接触、速度快、大量程、稳定性好、算法复杂度低等诸多优点。
为达到上述目的,本发明的构思是:
首先拍摄多张带有多线结构光的标定板图片,使用张正友标定法标定出相机的内参、外参、畸变系数,对拍摄的标定板图片进行畸变校正。然后取一张图片,提取其激光线中心点,用最小二乘法将二维图片上的激光线中心点进行直线拟合。再在多张图片的同一激光线上等间距取多个点,构成激光平面的点集,用最小二乘法进行平面拟合。测量过程中,首先采集箱体的两个相邻面,对采集到的含有多线结构光的箱体图片进行预处理,得到激光与箱体边缘相交的特征点的像素坐标。根据相机的内外参数、畸变系数和激光平面方程将特征点的坐标换算到相机坐标系下的三维坐标,最后计算得到箱体的长度、宽度和高度。
根据以上发明思路,本发明具体的技术方案如下:
一种基于多线结构光图像识别的单目视觉箱体体积测量方法,将二维图像上多线结构光与箱体边缘的交点换算到三维坐标下,计算其长度,进而计算其体积,具体操作步骤如下:
1)相机标定和多线激光平面参数获取:井字形结构光、双平行线结构光和十字交叉型结构光的标定方法,拍摄多张标定板图片,使用张正友标定法得到该系统中相机的内参矩阵K,相机的畸变系数k1,k2,k3,对拍摄的标定板图片进行畸变校正;拍摄多张分别带有井字形结构光、双平行线结构光和十字交叉型结构光的标定板图片,通过图像处理获得激光光条中心的坐标,根据相机参数和靶平面平面方程计算得到激光光条中心各点对应的相机坐标,最后使用最小二乘法进行平面拟合,得到多线结构光平面方程;
2)二维坐标映射到三维空间坐标的计算:利用相机的内参数矩阵K和线结构光平面方程,将图片上的线结构光与箱体边缘的交点坐标由像素坐标系换算到相机坐标;
3)使用深度学习方法进行箱体边缘检测和激光中心线提取:通过加入拍摄的含有带激光线和箱体的数据集,对深度学习方法的卷积层和池化层数进行训练,最后优化输出边缘概率图,得到含有箱体边缘和激光线的显著性边缘区域;对图像的边缘概率图进行二值化操作,然后在二值化图像上进行霍夫变换,找到全部的直线,之后进行直线聚类和端点检测;
4)箱体体积测量:用井字形结构光测量箱体的第一个箱体面得到箱体长度和宽度,之后使用双平行线结构光测量相邻面得到箱体高度;对于细长箱体,使用十字结构光对箱体进行测量,得到箱体的长度和宽度;得到多线结构光与箱体边缘的交点坐标后,根据结构光三角测量理论将点换算到三维坐标系下计算长度和宽度,进而计算其体积。
所述步骤1)中,采用改进的张正友相机标定方法标定相机,利用摄像机拍摄分别带有井字形结构光、双平行线结构光和十字交叉型结构光的不同角度、深度的图像,获取相机的内参外参和畸变系数,以此来获取世界坐标系与相机坐标系,相机坐标系和像素坐标系之间的关系,对图片进行畸变校正;通过图像处理提取图中标定靶上激光光条中心的像素坐标系中各点的坐标,根据相机参数和靶平面平面方程计算得到激光光条中心各点对应的相机坐标系下的坐标,分别进行平面拟合,得到多线结构光平面方程。
所述步骤2)中,以二维图像中激光线上一点P为例,假设P点为激光平面1和箱体的交线上的一点,P点在像素坐标系中坐标设为(up,vp),P在相机坐标系下的坐标设为PC(Xpc,Ypc,Zpc),依据相机成像原理和P点在激光平面1上得到如下关系:
其中,K为相机的内参数矩阵,A1、B1、C1为线结构光平面方程的参数;因此,根据解方程组,得到P点在相机坐标系下的坐标PC(Xpc,Ypc,Zpc)。
所述步骤3)中,分别拍摄带有井字形结构光、双平行线结构光和十字交叉型结构光和箱体的数据集,对深度学习方法的卷积层和池化层数进行训练,最后优化输出边缘概率图,得到含有箱体边缘和激光线的显著性边缘区域;对图像的边缘概率图进行二值化操作,在箱体图像的二值化图像上进行霍夫变换,找到全部的直线,求出其极坐标系下的坐标,设为(ρi,θi),设定阈值,将在阈值范围内的直线归为一类,因此得到在像素坐标系下此直线的方程:
y=k1*x+b1
其中k1为求得的直线斜率、b1为求得的直线截距;找到线结构光与箱体边缘相交的交点,得到箱体测量特征点的坐标。
所述步骤4)中,针对不同类型的箱子采用多种方式对箱子的长度、宽度和高度进行测量:
方式1:井字形结构光测箱体的长和宽:获得直线D1D3和直线D2D4在空间中的最短距离Dis-length,即为箱体的长度(D1、D2、D3、D4为井字形结构光其中一组平行结构光与箱体边缘的四个交点):
Dis-length=f(D1D3,D2D4)
得到直线D5D7和直线D6D8在空间中的最短距离Dis-width,即为箱体的宽度(D5、D6、D7、D8为井字形结构光另外一组平行结构光与箱体边缘的四个交点):
Dis-width=f(D5D7,D6D8)
方式2:双平行线结构光测量相邻的面的长度作为高,得到箱体的高度Dis-height(D1、D2、D3、D4为双平行线结构光与箱体边缘的四个交点):
Dis-height=f(D1D2,D3D4)
方式3:十字型结构光测量细长型箱体,尽量控制十字激光和箱体的边缘平行,此时(X1、Y1、Z1、X2、Y2、Z2、X3、Y3、Z3、X4、Y4、Z4分别是十字交叉型结构光与箱体边缘相交的特征点坐标):
Dis-length=((X1-X2)2+(Y1-Y2)2)+(Z1-Z2)2)1/2
Dis-width=((X3-X4)2+(Y3-Y4)2)+(Z3-Z4)2)1/2
最后通过箱体的体积计算公式得到箱体的体积为V:
V=(Dis-length)*(Dis-width)*(Dis-height)
与现有技术相比,本发明具有如下的优点:
本发明方法复杂度低,能很好的使用于PC端和移动端设备,能实时在线测量,满足便携性要求,并且采用多种线结构光测量方式满足了对各种箱体的测量的需求。
附图说明
图1是井字形结构光、双平行结构光和十字结构光示意图。
图2是规则箱体测量系统流程框图。
图3是规则箱体测量系统模型结构图。
图4是标定板及带有多线结构光的标定板示意图。
图5是箱体测量的原始图。
图6是经过深度学习方法处理后的边缘概率图。
图7是深度学习方法进行箱体边缘检测和激光中心线提取的流程图。
图8是箱体边缘检测和激光中心线提取的最终效果图。
图9是井字形线结构光测量示意图。
图10是双平行结构光测量示意图。
图11是十字交叉型结构光测量示意图。
具体实施方式
本发明的优选实施例结合附图详述如下:
本发明方法整个过程的流程图如图2所示,该系统模型结构图如图3所示。一种基于多线结构光图像识别的单目视觉箱体体积测量方法,具体操作步骤如下:
1)相机标定和多线激光平面参数获取:
首先采用改进的张正友相机标定方法标定相机,获取相机的几何参数。由相机的几何参数可知世界坐标系与相机坐标系,相机坐标系和像素坐标系之间的关系。本发明使用标定板如图4所示,利用摄像机拍摄分别带有井字形结构光、双平行线结构光和十字交叉型结构光的不同角度、深度的图像。这种标定方式避免使用昂贵的标定物以及高精度的移动平台,并且标定精度高。经过相机标定得到内参数矩阵为K。依据相机成像透射变换理论得到像素坐标系下和在相机坐标系有如下关系((u,v)表示像素坐标系下的坐标,(Xc,Yc,Zc)表示相机坐标系下的坐标):
在相机成像模型中,世界坐标系是客观世界三维世界的绝对系坐标,通过世界坐标系可以来描述相机的位置,用(Xw,Yw,Zw)来表示。相机坐标系与世界坐标系有如下关系(R、T为相机外参):
理想情况下,空间中某点的三维几何信息与图像中的对应点之间的成像模型是线性的,是由以上相机成像模型所决定。但是,实际中由于相机的构造以及制造安装工艺等各方面的因素,会导致相机产生畸变。本发明中只考虑图像的径向畸变。径向畸变是由透镜形状引起的畸变,图像中越靠近边缘的部分畸变越明显。这类畸变可以用以下多项式函数来进行纠正(对于归一化平面上的点):
其中,x、y是未纠正的点的坐标,xrct、yrct是纠正后的点的坐标,r为距透镜中心距离,k1、k2、k3为相机的畸变系数。
根据相机内部参数矩阵K和不同位姿下靶标的外部参数矩阵R、T,由世界坐标系下的坐标获取靶标角点在摄像机坐标系下坐标,然后进行最小二乘法的平面拟合,得到靶平面的平面方程(A、B、C为靶平面平面方程参数,x、y、z为摄像机坐标系下的坐标)。
A*x+B*y+C*z=1 (4)
通过图像处理提取标定靶上激光光条中心在像素坐标系下各点的坐标,设为(ui,vi),经过相机参数和靶平面平面方程计算得到激光光条中心各点对应的相机坐标系下的坐标,设为(XCi,YCi,ZCi)。取不同位姿下的N(N=10)张线结构光标定的图,将对应线结构光的点放在一个点集中,分别使用最小二乘法进行平面拟合,得到多线结构光平面方程(An、Bn、Cn为多线结构光其中一个结构光的平面方程参数)。
因此,以井字形激光为例,此步骤会得到该系统中相机的内参矩阵K,相机的畸变系数k1,k2,k3,和四个激光平面的光平面方程参数A1,B1,C1,A2,B2,C2,A3,B3,C3,A4,B4,C4。
2)二维坐标映射到三维空间坐标的计算:
根据步骤1)中得到系统中相机的内参、畸变系数和激光平面的光平面方程,在这里说明像素坐标系和相机坐标系之间的转化关系。以二维图像中激光线上一点P为例,假设P点为激光平面1和箱体的交线上的一点,P点在像素坐标系中坐标为(up,vp),假设P在相机坐标系下的坐标为PC(Xpc,Ypc,Zpc)。依据相机成像原理和P点在激光平面1上可以得到如下关系:
其中,K为相机的内参数矩阵,A1、B1、C1为线结构光平面方程的参数。因此,解方程组(6)可以得到P点在相机坐标系下的坐标PC(Xpc,Ypc,Zpc)。
3)使用深度学习方法进行箱体边缘检测和激光中心线提取:
深度学习方法相对于传统方式有更强的提取图像中多层次多尺度特征的能力,在图像分类、图像的语义识别和图像分割上都具有出色的表现。深度学习方法能有效地抑制图像中的背景区域突出边缘特征。本发明通过加入拍摄的含有带激光线和箱体的数据集对深度学习方法的卷积层和池化层数进行训练,最后优化输出边缘概率图,得到含有箱体边缘和激光线的显著性边缘区域。拍摄的原始图如图5所示,经过深度学习方法处理后的边缘概率图如图6所示。
本发明最后对图像的边缘概率图进行二值化操作。在箱体图像的二值化图像上进行霍夫变换,找到全部的直线。求出其极坐标系下的坐标,设为(ρi,θi),设定阈值,将在阈值范围内的直线归为一类,因此可以得到在像素坐标系下此直线的方程:
y=k1*x+b1 (7)
以井字形激光为例,同理可以求得其他7条边缘线在像素坐标系下的直线方程。根据两直线相交,最终可以分别得到8个特征点的坐标:(u1,v1),(u2,v2),(u3,v3),(u4,v4),(u5,v5),(u6,v6),(u7,v7),(u8,v8)。
该操作具体流程图如图7所示,最终的效果图如图8所示。本发明中此步骤完成了对箱体边缘和激光线相交的特征点的定位。
4)箱体体积测量部分:
针对不同类型的箱体本发明中采用多种方式对箱体的长度、宽度和高度进行测量:
方式1:在测量箱体的第一个箱体面时,投射线激光如图9所示,由步骤1),2),3),4)可以得到D1,D2,D3,D4,D5,D6,D7,D8摄像机坐标系下的坐标为:(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),(X4,Y4,Z4),(X5,Y5,Z5),(X6,Y6,Z6),(X7,Y7,Z7),(X8,Y8,Z8),此时,可以得到直线D1D3和D2D4的直线方程分别为:
因此可以求得直线D1D3和直线D2D4在空间中的最短距离Dis-length,即为箱体的长度:
Dis-length=f(D1D3,D2D4) (9)
同理可以得到直线D5D7和直线D6D8在空间中的最短距离Dis-width,即为箱体的宽度:
Dis-width=f(D5D7,D6D8) (10)
方式2:在测量箱体的第二个面时,一般会选取与第一个测量面相邻的面为第二个测量面,在操作中除了可以采用与方式1中相同的线结构光方式拍摄,还可以采用如图10所示中的平行双线结构光的方式拍摄,此时可以求得箱体的高度Dis-height:
Dis-height=f(D1D2,D3D4) (11)
方式3:在测量的过程中如遇到一些细长型的箱体,此时方式1,方式2无法正常工作,此时采取如图11所示的十字交叉型线结构光进行箱体的长度测量,在操作过程中,尽量控制十字激光和箱体的边缘平行,这样操作,测量结果会更精确,此时:
Dis-length=((X1-X2)2+(Y1-Y2)2)+(Z1-Z2)2)1/2
Dis-width=((X3-X4)2+(Y3-Y4)2)+(Z3-Z4)2)1/2 (12)
最后通过箱体的体积计算公式得到箱体的体积为V:
V=(Dis-length)*(Dis-width)*(Dis-height) (13)
实施例一:
以井字形结构光规则箱体第一个面,双平行结构光测量相邻面的测量过程为例,进行了实际的测量实验。由激光器投出去的结构光投射到规则箱体表面,形成直线光条。由于规则箱体表面图案、周围复杂背景以及光照条件的影响,由摄像机拍摄出的结构光光条图案,其表现为非完整光条,且光条中心高亮部分呈白色,边缘部分呈红色。图5为本发明井字形和双平行结构光对箱体的测量示意图,图像的分辨率为2592×1944像素。根据本发明提出的基于多线结构光的单目视觉箱体体积测量方法,对箱体体积进行测量,采用c++和java编程实现。图8为图5所示的图像所得的测量结果,提取的激光光条参数如表1所示,测量结果如表2所示。从实验结果可以看出,本发明完成了对箱体体积的精确测量,使测量误差在10mm以内,能很好的使用于PC端和移动端设备,能实时在线测量,满足便携性要求。
表1井字形和双平行线激光光条检测结果
端点1 | 端点2 | 斜率 | 截距 | |
线段1 | (754,138) | (1827,1250) | 1.03564 | -642.039 |
线段2 | (429,458) | (1527,1588) | 1.02985 | 16.349 |
线段3 | (1513,519) | (543,1482) | -0.993253 | 2021.97 |
线段4 | (1855,835) | (867,1785) | -0.961475 | 2619.39 |
线段5 | (1415,602) | (2013,1197) | 0.994476 | -804.419 |
线段6 | (1069,948) | (1701,1555) | 0.96032 | -77.9783 |
表2规则箱体测量结果及误差分析
测量值/mm | 实际值/mm | 误差/mm | |
长/mm | 546.3 | 541.1 | 5.2 |
宽/mm | 470.6 | 468.3 | 2.3 |
高/mm | 219.1 | 213.5 | 5.6 |
实施例二:
在测量的过程中如遇到一些细长型的箱体,此时方式1,方式2无法正常工作,此时采取十字交叉型线结构光进行箱体的长度测量。由激光器投出去的十字结构光投射到规则箱体表面,形成直线光条。在操作过程中,尽量控制十字激光和箱体的边缘平行,拍摄所得的测量图片如图5所示,图片分辨率为2592×1944像素。根据本发明提出的基于多线结构光的单目视觉箱体体积测量方法中的测量方式三对细长箱体进行了测量,采用c++和java编程实现。
表3十字交叉形激光光条检测结果
端点1 | 端点2 | 斜率 | 截距 | |
线段1 | (1103,996) | (1707,1574) | 0.956954 | -59.5199 |
线段2 | (2477,411) | (1219,1788) | -1.09459 | 3122.31 |
表4规则箱体测量结果及误差分析
测量值/mm | 实际值/mm | 误差/mm | |
长/mm | 547.0 | 541.1 | 5.9 |
宽/mm | 216.8 | 213.5 | 3.3 |
图8为图5所示的图像所得的测量结果,提取的激光光条参数如表3所示,测量结果如表4所示。从实验结果可以看出,本发明提出的用十字交叉型线结构光对细长箱体进行测量的方法能够对大尺寸规则箱体进行精确测量,同现有的人工检测、光栅测量法、基于双目立体视觉的体积测量法相比,有大量程、精度高、非接触、速度快、算法复杂度低等诸多优点,为物流等行业制造便携式设备奠定了基础。
Claims (5)
1.一种基于多线结构光图像识别的单目视觉箱体体积测量方法,其特征在于,采用单目视觉箱体体积测量系统进行测量,将二维图像上多线结构光与箱体边缘的交点换算到三维坐标下,计算箱体长度、宽度和高度,进而计算箱体体积,具体操作步骤如下:
1)相机标定和多线结构光平面参数获取:分别向标定板投射井字形结构光,双平行线结构光,十字交叉型结构光,拍摄多张标定板图片,使用张正友标定法,得到此单目视觉箱体体积测量系统中相机的内参矩阵K,相机的畸变系数k1,k2,k3,对拍摄的标定板图片进行畸变校正;拍摄多张分别带有井字形结构光,双平行线结构光,十字交叉型结构光的标定板图片,通过图像处理获得激光光条中心的坐标,根据相机的内参矩阵K,相机的畸变系数k1,k2,k3和靶平面平面方程计算得到激光光条中心各点对应的相机坐标,最后使用最小二乘法进行平面拟合,得到多线结构光平面方程;
2)二维坐标映射到三维空间坐标的计算:利用相机的内参数矩阵K和多线结构光平面方程,将图片上的线结构光与箱体边缘的交点坐标由像素坐标系换算到相机坐标系;
3)使用深度学习方法进行箱体边缘检测和激光中心线提取:通过加入拍摄的含有激光线和箱体的数据集,对深度学习方法的卷积层和池化层数进行训练,最后优化输出边缘概率图,得到含有箱体边缘和激光线的显著性边缘区域;对图像的边缘概率图进行二值化操作,然后在二值化图像上进行霍夫变换,找到全部的直线,之后进行直线聚类和端点检测;
4)箱体体积测量:用井字形结构光测量箱体的第一个箱体面得到箱体长度和宽度,之后使用双平行线结构光测量相邻面得到箱体高度,进而计算箱体体积;对于细长箱体,使用十字交叉型结构光对箱体进行测量;得到多线结构光与箱体边缘的交点坐标后,根据结构光三角测量理论将交点坐标换算到三维坐标系下计算长度和宽度,之后使用双平行线结构光测量相邻面得到箱体高度,进而计算箱体体积。
2.根据权利要求1所述的一种基于多线结构光图像识别的单目视觉箱体体积测量方法,其特征在于,所述步骤1)中,采用改进的张正友相机标定方法标定相机,利用相机拍摄分别带有井字形结构光,双平行线结构光,十字交叉型结构光的不同角度、深度的图像,获取相机的内参外参和畸变系数,以此来获取世界坐标系与相机坐标系,相机坐标系和像素坐标系之间的关系,对图片进行畸变校正;通过图像处理提取图中标定靶上激光光条中心的像素坐标系中各点的坐标,根据相机的内参矩阵K,相机的畸变系数k1,k2,k3和靶平面平面方程计算得到激光光条中心各点对应的相机坐标系下的坐标,分别进行平面拟合,得到多线结构光平面方程。
4.根据权利要求1所述的一种基于多线结构光图像识别的单目视觉箱体体积测量方法,其特征在于,所述步骤3)中,分别拍摄带有井字形结构光、双平行线结构光和十字交叉型结构光和箱体的数据集,对深度学习方法的卷积层和池化层数进行训练,最后优化输出边缘概率图,得到含有箱体边缘和激光线的显著性边缘区域;对图像的边缘概率图进行二值化操作,在箱体图像的二值化图像上进行霍夫变换,找到全部的直线,求出其极坐标系下的坐标,设为(ρi,θi),设定阈值,将在阈值范围内的直线归为一类,因此得到在像素坐标系下此直线的方程:
y=k1*x+b1 (2)
其中k1为求得的直线斜率、b1为求得的直线截距;找到线结构光与箱体边缘相交的交点,得到箱体测量特征点的坐标。
5.根据权利要求1所述的一种基于多线结构光图像识别的单目视觉箱体体积测量方法,其特征在于,所述步骤4)中,针对不同类型的箱子采用多种方式对箱子的长度、宽度和高度进行测量:
操作1:井字形结构光测箱体的长度和宽度:获得直线D1D3和直线D2D4在空间中的最短距离Dis-length,即为箱体的长度,其中D1、D2、D3、D4为井字形结构光其中一组平行结构光与箱体边缘的四个交点:
Dis-length=f(D1D3,D2D4) (3)
得到直线D5D7和直线D6D8在空间中的最短距离Dis-width,即为箱体的宽度,其中D5、D6、D7、D8为井字形结构光另外一组平行结构光与箱体边缘的四个交点:
Dis-width=f(D5D7,D6D8) (4)
操作2:双平行线结构光测量相邻的面的长度作为高,得到箱体的高度Dis-height,D9、D10、D11、D12为双平行线结构光与箱体边缘的四个交点:
Dis-height=f(D9D10,D11D12) (5)
上述操作1和操作2已完成了箱体的长、宽、高测量;下列操作3是对操作1的优化,在测量细长型箱体时,用操作3替代操作1来测量该箱体的长、宽;
操作3:十字交叉型结构光测量细长型箱体,尽量控制十字交叉型结构光和箱体的边缘平行,此时,X1、Y1、Z1、X2、Y2、Z2、X3、Y3、Z3、X4、Y4、Z4分别是十字交叉型结构光与箱体边缘相交的特征点坐标:
最后通过箱体的体积计算公式得到箱体的体积为V:
V=(Dis-length)*(Dis-width)*(Dis-height) (7)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910312179.7A CN110068270B (zh) | 2019-04-18 | 2019-04-18 | 一种基于多线结构光图像识别的单目视觉箱体体积测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910312179.7A CN110068270B (zh) | 2019-04-18 | 2019-04-18 | 一种基于多线结构光图像识别的单目视觉箱体体积测量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110068270A CN110068270A (zh) | 2019-07-30 |
CN110068270B true CN110068270B (zh) | 2021-04-02 |
Family
ID=67368022
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910312179.7A Active CN110068270B (zh) | 2019-04-18 | 2019-04-18 | 一种基于多线结构光图像识别的单目视觉箱体体积测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110068270B (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111402330B (zh) * | 2020-04-03 | 2024-02-27 | 山东省科学院激光研究所 | 一种基于平面靶标的激光线关键点提取方法 |
CN111426280A (zh) * | 2020-05-08 | 2020-07-17 | 中国科学技术大学 | 基于结构光的二维dic光学引伸计离面补偿装置及方法 |
CN111598939B (zh) * | 2020-05-22 | 2021-01-26 | 中原工学院 | 一种基于多目视觉系统的人体围度测量方法 |
CN111610173B (zh) * | 2020-05-27 | 2021-07-27 | 中国水利水电科学研究院 | 三维流体浓度场标定装置及标定方法 |
CN111932494B (zh) * | 2020-07-01 | 2022-06-17 | 湖南省鹰眼在线电子科技有限公司 | 一种轮胎磨损程度评价方法及装置 |
CN116134476B (zh) * | 2020-08-03 | 2025-02-11 | Oppo广东移动通信有限公司 | 平面矫正方法及装置、计算机可读介质和电子设备 |
CN112781470B (zh) * | 2020-12-24 | 2022-08-16 | 中广核核电运营有限公司 | U型槽多维度间隙测量方法及系统 |
CN112964185A (zh) * | 2021-01-20 | 2021-06-15 | 广西电网有限责任公司电力科学研究院 | 基于双目立体视觉的输电线路交叉跨越点在线监测系统 |
CN113048949B (zh) * | 2021-03-05 | 2024-08-30 | 广东工业大学 | 一种基于线结构光学视觉的圆柱状物体位姿检测方法 |
CN113358052A (zh) * | 2021-04-09 | 2021-09-07 | 宿迁学院 | 一种快递尺寸测量装置及方法 |
CN113137920B (zh) * | 2021-05-19 | 2022-09-23 | 重庆大学 | 一种水下测量的设备与水下测量方法 |
CN113222986B (zh) * | 2021-06-04 | 2022-08-09 | 中冶宝钢技术服务有限公司 | 连铸坯角点及边缘轮廓点集定位方法、系统、介质及装置 |
CN113256738B (zh) * | 2021-06-23 | 2023-01-17 | 苏州大学 | 一种基于双目的包裹体积测量方法 |
CN113610929B (zh) * | 2021-08-09 | 2023-08-18 | 西安外事学院 | 一种相机与多线激光的联合标定方法 |
CN114170293B (zh) * | 2021-11-17 | 2024-05-28 | 华南农业大学 | 一种基于多属性标准标签的快递箱体积测量方法 |
CN114022569B (zh) * | 2021-11-18 | 2024-06-07 | 湖北中烟工业有限责任公司 | 一种基于视觉测量箱体方正度的方法及装置 |
CN114111576B (zh) * | 2021-11-24 | 2023-08-01 | 易思维(杭州)科技有限公司 | 一种飞机蒙皮间隙面差检测方法 |
CN114234808B (zh) * | 2021-12-17 | 2022-10-28 | 湖南大学 | 回转类磁脉冲压接件变形区域的尺寸测量方法及装置 |
WO2024069513A1 (en) * | 2022-09-30 | 2024-04-04 | Salvagnini Italia S.P.A. | Machine and method for working and/or moving metal plates or sheets comprising edge recognition means |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2570489A1 (fr) * | 1984-09-17 | 1986-03-21 | Tech Nles Ste Gle | Procede et dispositif pour le controle des volumes de verre apres decoupe |
JP2006131168A (ja) * | 2004-11-09 | 2006-05-25 | Mitsubishi Heavy Ind Ltd | 磨耗量計測装置 |
CN101571373A (zh) * | 2009-06-11 | 2009-11-04 | 天津大学 | 基于多线结构光视觉传感器的型钢几何参数测量方法 |
CN107578464A (zh) * | 2017-06-30 | 2018-01-12 | 长沙湘计海盾科技有限公司 | 一种基于线激光扫描的传送带工件三维轮廓测量方法 |
CN107655536A (zh) * | 2017-10-24 | 2018-02-02 | 浙江华睿科技有限公司 | 一种物体体积测量系统及方法 |
CN108180825A (zh) * | 2016-12-08 | 2018-06-19 | 中国科学院沈阳自动化研究所 | 一种基于线结构光的长方体形物体三维识别与定位方法 |
CN109000559A (zh) * | 2018-06-11 | 2018-12-14 | 广东工业大学 | 一种物体体积的测量方法、装置、系统和可读存储介质 |
CN109029618A (zh) * | 2018-07-11 | 2018-12-18 | 苏州科技大学 | 单目视觉包装箱体积测量方法 |
-
2019
- 2019-04-18 CN CN201910312179.7A patent/CN110068270B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2570489A1 (fr) * | 1984-09-17 | 1986-03-21 | Tech Nles Ste Gle | Procede et dispositif pour le controle des volumes de verre apres decoupe |
JP2006131168A (ja) * | 2004-11-09 | 2006-05-25 | Mitsubishi Heavy Ind Ltd | 磨耗量計測装置 |
CN101571373A (zh) * | 2009-06-11 | 2009-11-04 | 天津大学 | 基于多线结构光视觉传感器的型钢几何参数测量方法 |
CN108180825A (zh) * | 2016-12-08 | 2018-06-19 | 中国科学院沈阳自动化研究所 | 一种基于线结构光的长方体形物体三维识别与定位方法 |
CN107578464A (zh) * | 2017-06-30 | 2018-01-12 | 长沙湘计海盾科技有限公司 | 一种基于线激光扫描的传送带工件三维轮廓测量方法 |
CN107655536A (zh) * | 2017-10-24 | 2018-02-02 | 浙江华睿科技有限公司 | 一种物体体积测量系统及方法 |
CN109000559A (zh) * | 2018-06-11 | 2018-12-14 | 广东工业大学 | 一种物体体积的测量方法、装置、系统和可读存储介质 |
CN109029618A (zh) * | 2018-07-11 | 2018-12-18 | 苏州科技大学 | 单目视觉包装箱体积测量方法 |
Non-Patent Citations (1)
Title |
---|
圆形煤场煤堆体积快速测量方法;张森等;《中国计量大学学报》;20180930;第29卷(第3期);第287-292页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110068270A (zh) | 2019-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110068270B (zh) | 一种基于多线结构光图像识别的单目视觉箱体体积测量方法 | |
CN110689579B (zh) | 基于合作目标的快速单目视觉位姿测量方法及测量系统 | |
CN109035320B (zh) | 基于单目视觉的深度提取方法 | |
CN103411553B (zh) | 多线结构光视觉传感器的快速标定方法 | |
CN102376089B (zh) | 一种标靶校正方法及系统 | |
CN105261022B (zh) | 一种基于外轮廓的pcb板卡匹配方法及装置 | |
CN112132907B (zh) | 一种相机标定方法、装置、电子设备及存储介质 | |
CN112614188B (zh) | 一种基于交比不变性的点阵式标定板及其识别方法 | |
CN109255818B (zh) | 一种新型标靶及其亚像素级角点的提取方法 | |
CN113888641B (zh) | 一种基于机器视觉和深度学习的立木胸径测量方法 | |
CN109360230A (zh) | 一种基于2d相机与3d相机的图像配准方法及系统 | |
CN109974618B (zh) | 多传感器视觉测量系统的全局标定方法 | |
CN105809706B (zh) | 一种分布式多像机系统的全局标定方法 | |
CN112017248A (zh) | 一种基于点线特征的2d激光雷达相机多帧单步标定方法 | |
CN111829439A (zh) | 一种高精度平移测量方法及装置 | |
CN113689397A (zh) | 工件圆孔特征检测方法和工件圆孔特征检测装置 | |
CN110838146A (zh) | 一种共面交比约束的同名点匹配方法、系统、装置及介质 | |
CN119006609A (zh) | 一种相机标定方法 | |
CN111598177A (zh) | 面向低重叠图像匹配的自适应最大滑动窗口匹配方法 | |
CN113063804B (zh) | 一种基于图像处理的热切机视觉系统自动定位方法 | |
CN105809685B (zh) | 一种基于单幅同心圆图像的摄像机定标方法 | |
CN112935562A (zh) | 基于旁轴离线测量的激光精密加工方法 | |
CN109493356B (zh) | 一种基于机器视觉的自动报靶系统智能标定方法 | |
CN113537351B (zh) | 面向移动设备拍摄的遥感图像坐标匹配方法 | |
CN112991372B (zh) | 一种基于多边形匹配的2d-3d相机外参标定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |