CN207472195U - 一种双目视觉体积重量测量系统 - Google Patents

Abstract

本实用新型公开了一种双目视觉体积重量测量系统，包括安装柜，以及设置在所述安装柜内的第一工业相机、第二工业相机、激光光源、LED条形光源、信号处理系统、测量平台和蓝牙电子秤，其中，所述测量平台设置在所述安装柜的底部，所述蓝牙电子秤设置在所述测量平台的下方；所述第二工业相机设置在所述安装柜的顶部，所述激光光源与所述第二工业相机并排设置，且所述激光光源的光线方向与所述第二工业相机的拍摄方向保持平行；本实用新型相比于传统的人工标尺测量方式，具有快速、准确、非接触和成本低廉等优势，适用于批量的自动化测量，极大地降低人工成本，提高生产效率。

Description

一种双目视觉体积重量测量系统

技术领域

本实用新型涉及非接触智能测控技术领域，具体涉及一种双目视觉体积重量测量系统。

背景技术

随着物流行业在国内快速发展，对各种物流箱大小和重量的快速测量以及分拣，避免物流业塞车，已经成为急需解决的问题。目前对于物流箱的测量还处于人工分别测量物流箱体积和重量的过程，而在测量技术中，一般的激光测距技术仅能获取物体的深度信息，无法给出物体面积。而激光扫描技术虽然可以通过扫描物体表面建立三维模型，但是对于物体表面的要求苛刻，例如需要在物体表面涂上显影剂，以便激光在其身上产生漫反射，这种方法操作麻烦，应用存在局限性。

实用新型内容

本实用新型的目的在于克服现有技术的缺点与不足，提供一种双目视觉体积重量测量系统。

本实用新型的目的通过下述技术方案实现：

一种双目视觉体积重量测量系统，包括安装柜，以及设置在所述安装柜内的第一工业相机、第二工业相机、激光光源、LED条形光源、信号处理系统、测量平台和蓝牙电子秤，其中，所述测量平台设置在所述安装柜的底部，所述蓝牙电子秤设置在所述测量平台的下方；所述第二工业相机设置在所述安装柜的顶部，所述激光光源与所述第二工业相机并排设置，且所述激光光源的光线方向与所述第二工业相机的拍摄方向保持平行；所述第二工业相机和所述激光光源设置在所述测量平台的正上方，且所述第二工业相机的拍摄方向与所述激光光源的光线方向都同时垂直于所述测量平台；所述第一工业相机设置在所述安装柜的顶部，所述第一工业相机位于所述测量平台的斜上方，且所述第一工业相机与所述测量平台呈45度角倾斜设置；所述第一工业相机和第二工业相机拍摄所述测量平台的视场范围相同；所述LED条形光源设有四个，其中两个LED条形光源水平设置在所述第二工业相机的前后两侧，另外两个LED条形光源竖直设置在所述第一工业相机的前后两侧；

所述第一工业相机、第二工业相机、激光光源和蓝牙电子秤分别与所述信号处理系统相连接；所述信号处理系统设有显示屏。

优选地，所述测量平台经过喷漆并打磨成黑色光滑表面；这样设置能够保证物流箱进出测量平台平稳顺滑，且能够减小图像处理过程中的背景干扰。

本实用新型的工作原理：

工作时，步骤一，启动双目视觉体积重量测量系统，第一工业相机、第二工业相机、激光光源、蓝牙电子秤、LED条形光源和信号处理系统开始工作；

步骤二，进行第一工业相机和第二工业相机的内参数、外参数以及畸变系数的标定，并将标定结果传送至信号处理系统，具体工作流程如下：

(1)第一工业相机和第二工业相机满足针孔相机模型，设图像坐标向量为其中(u,v)为目标点的像素坐标；相机内参数矩阵为其中f_x,f_y,c_x,c_y分别为x向焦距，y向焦距和光轴中心坐标；相机外参数矩阵为(R|T)，其中R为相机光心坐标系相对于世界坐标系的3×3旋转矩阵，T为相机光心坐标系相对于世界坐标系的3×1平移矩阵；世界坐标向量为其中X,Y,Z为目标点的世界坐标；相机成像模型满足关系式：

其中z_c为尺度因子；此外，相机畸变模型满足如下关系：

其中，(x,y)为畸变纠正前的图像物理坐标，(x_cor,y_cor)为畸变纠正后的图像物理坐标，r＝x²+y²,k₁,k₂,k₃,p₁,p₂为相机的3个径向畸变系数和2个切向畸变系数；

第一工业相机和第二工业相机标定的目的为求解相机内参数、外参数和畸变系数，将测量平台设为零平面，采用张正友棋盘平面标定法，通过改变棋盘的位置和角度拍摄20张图像，进行相机的标定，并求解得到相机内参数、外参数和畸变系数；

步骤三，将物流箱置于测量平台上，激光光源照射物流箱，并在物流箱的上表面形成激光点，蓝牙电子秤探测物流箱的重量，当蓝牙电子秤的数据稳定时，记录物流箱重量并将数据通过电子秤上的蓝牙模块传输给信号处理系统，之后信号处理系统将重量数据传输给第一工业相机并触发其采集物流箱的侧视图像C1，第一工业相机默认为小光圈模式，这样能够保证采集的图像亮度低，易于后期对图像中激光点的提取；先对侧视图像C1进行二值化处理得到侧视图像C2，再对侧视图像C2进行激光点轮廓提取，获得激光点的轮廓后取其最小包围圆形，并确定最小包围圆形的圆心像素坐标，此圆心像素坐标即为侧视图像特征点R的像素坐标(u1，v1)，之后第一工业相机将侧视图像特征点R像素坐标(u1，v1)传输到信号处理系统，信号处理系统将重量数据和侧视图像特征点R像素坐标(u1，v1)传输到第二工业相机；

步骤四，第二工业相机接收到重量数据和侧视图像特征点R像素坐标(u1，v1)后，触发第二工业相机采集物流箱的俯视图像，具体工作流程如下：

(1)第二工业相机默认为小光圈模式，小光圈模式能够保证采集的图像亮度低，易于后期获取激光点的像素坐标；激光光源照射物流箱，并在物流箱的上表面形成激光点；第二工业相机采集第一张物流箱的俯视图像F1，先对俯视图像F1进行二值化处理得到俯视图像F2，再对俯视图像F2进行激光点轮廓提取，获得激光点的轮廓后取其最小包围圆形，并确定最小包围圆形的圆心像素坐标，此圆心像素坐标即为俯视图像特征点L像素坐标(u2，v2)；

(2)第二工业相机自动转换为大光圈模式，保证采集的图像亮度高，可清晰区分出物流箱与背景；第二工业相机采集第二张物流箱的俯视图像F2，对俯视图像F2进行边缘提取得到俯视图像F3，再对俯视图像F3进行轮廓提取并在提取到的多个轮廓中通过判断轮廓的周长剔除背景杂质的干扰，最后得到只包含物流箱轮廓的俯视图像F4，此时，若俯视图像F4中闭合轮廓数为0，则返回错误信息给信号处理系统，表示物流箱没有完全位于第一相机视场范围内，需要重新摆放；最后对正确的俯视图像F4的轮廓提取其最小外接矩形，并获得最小外接矩形的图像长宽数据l和w；

步骤五，第二工业相机进行激光特征点匹配的三维重构算法，具体工作流程如下：

(1)通过步骤二中第一工业相机和第二工业相机标定得到的内参数和外参数，可建立激光特征点像素坐标(u，v)与三维世界坐标(X,Y,Z)之间的对应关系，即：

其中A为内参数矩阵(R|T)为外参数矩阵，R为相机光心坐标系相对于世界坐标系的3×3旋转矩阵，T为相机光心坐标系相对于世界坐标系的3×1平移矩阵；

(2)第二工业相机获取步骤二中第一工业相机和第二工业相机标定得到的内参数和外参数，利用步骤三和步骤四中得到的侧视图像特征点R像素坐标(u1，v1)和俯视图像特征点L像素坐标(u2，v2),分别代入步骤五(1)中的关系式，可以建立一对激光特征点像素坐标和该点三维世界坐标的方程组，通过最小二乘法解得世界坐标(X,Y,Z)从而还原激光特征点在世界坐标系中的真实位置，完成激光特征点匹配的三维重构过程，其中Z即为物流箱的高度数据；

步骤六，第二工业相机进行物流箱真实长宽数据计算，通过步骤四(2)得到的图像长宽数据l，w和预先测量的相机高度H和相机焦距f，根据光学成像模型中相似三角形的计算公式：

其中pix表示图像中长或者宽的像素个数，Δ表示像素大小，图像长宽数据l或w的值为其各自对应的pix*Δ,即l＝pix*Δ或者w＝pix*Δ，f为焦距，H为相机距测量平台高度，h为物流箱高度，从而可计算得出物流箱实际长宽信息L和W，则物流箱体积V为V＝L*W*Z，将物流箱体积信息传输给信号处理系统；

步骤七，信号处理系统的显示屏显示物流箱体积及重量信息，或者显示摆放错误的提示信息。

本实用新型与现有技术相比具有以下的有益效果：

(1)本实用新型相比于传统的人工标尺测量方式，具有快速、准确、非接触和成本低廉等优势，适用于批量的自动化测量，极大地降低人工成本，提高生产效率；

(2)本实用新型无需使用传统的激光测距模块，完全依靠视觉技术就可以实现物体的长宽高测量，在近距离，小体积的测量环境中，双目视觉三维重构技术比激光测距技术精度更高，成本更低；

(3)相比于一般三维重构特征点匹配中涉及到的受光照，纹理，光学失真及噪声等因素影响的问题，本实用新型采用的激光光源引导立体匹配的算法，大大降低了特征点匹配的难度，减小了误匹配，漏匹配等问题，提高了系统的稳定性和可靠性。

附图说明

图1为本实用新型的整体结构示意图；

图2为本实用新型的系统结构示意图；

图3为本实用新型的三维重构算法流程图；

图4为本实用新型的物流箱长宽计算示意图。

图中附图标记为：1、第一工业相机；2、信号处理系统；3、LED条形光源；4、蓝牙电子秤；5、测量平台；6、第二工业相机；7、激光光源；8、激光点；9、物流箱。

具体实施方式

下面结合实施例及附图对本实用新型作进一步详细的描述，但本实用新型的实施方式不限于此。

如图1～4所示，一种双目视觉体积重量测量系统，包括安装柜，以及设置在所述安装柜内的第一工业相机1、第二工业相机6、激光光源7、LED条形光源3、信号处理系统2、测量平台5和蓝牙电子秤4，其中，所述测量平台5设置在所述安装柜的底部，所述测量平台5经过喷漆并打磨成黑色光滑表面，这样设置能够保证物流箱9进出测量平台5平稳顺滑，且能够减小图像处理过程中的背景干扰；所述蓝牙电子秤4设置在所述测量平台5的下方；所述第二工业相机6设置在所述安装柜的顶部，所述激光光源7与所述第二工业相机6并排设置，且所述激光光源7的光线方向与所述第二工业相机6的拍摄方向保持平行；所述第二工业相机6和所述激光光源7设置在所述测量平台5的正上方，且所述第二工业相机6的拍摄方向与所述激光光源7的光线方向都同时垂直于所述测量平台5；所述第一工业相机1设置在所述安装柜的顶部，所述第一工业相机1位于所述测量平台5的斜上方，且所述第一工业相机1与所述测量平台5呈45度角倾斜设置；所述第一工业相机1和第二工业相机6拍摄所述测量平台5的视场范围相同；所述LED条形光源3设有四个，其中两个LED条形光源3水平设置在所述第二工业相机6的前后两侧，另外两个LED条形光源3竖直设置在所述第一工业相机1的前后两侧，这些LED条形光源3的设置能够实现均匀打光以供第一工业相机1和第二工业相机6获取优质图像；所述第一工业相机1、第二工业相机6、激光光源7和蓝牙电子秤4分别与所述信号处理系统2相连接；所述信号处理系统2设有显示屏。

双目立体视觉是计算机视觉的关键技术之一，是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法，而利用计算机视觉的测量方法，不受人工因素的影响，精度不受测量标尺等参照物精度的限制，相比于传统的人工标尺测量，具有快速、准确、非接触和成本低廉等优势，适用于批量的自动化测量，极大地降低人工成本，提高生产效率。本实用新型提出的双目视觉测量技术具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。

工作时，步骤一，启动双目视觉体积重量测量系统，第一工业相机1、第二工业相机6、激光光源7、蓝牙电子秤4、LED条形光源3和信号处理系统2开始工作；

步骤二，进行第一工业相机1和第二工业相机6的内参数、外参数以及畸变系数的标定，并将标定结果传送至信号处理系统2，具体工作流程如下：

(1)第一工业相机1和第二工业相机6满足针孔相机模型，设图像坐标向量为其中(u,v)为目标点的像素坐标；相机内参数矩阵为其中f_x,f_y,c_x,c_y分别为x向焦距，y向焦距和光轴中心坐标；相机外参数矩阵为(R|T)，其中R为相机光心坐标系相对于世界坐标系的3×3旋转矩阵，T为相机光心坐标系相对于世界坐标系的3×1平移矩阵；世界坐标向量为其中X,Y,Z为目标点的世界坐标；

相机成像模型满足关系式：

其中z_c为尺度因子；此外，相机畸变模型满足如下关系：

其中，(x,y)为畸变纠正前的图像物理坐标，(x_cor,y_cor)为畸变纠正后的图像物理坐标，r＝x²+y²,k₁,k₂,k₃,p₁,p₂为相机的3个径向畸变系数和2个切向畸变系数；

第一工业相机1和第二工业相机6标定的目的为求解相机内参数、外参数和畸变系数，将测量平台5设为零平面，采用张正友棋盘平面标定法，通过改变棋盘的位置和角度拍摄20张图像，进行相机的标定，并求解得到相机内参数、外参数和畸变系数；

步骤三，将物流箱9置于测量平台5上，激光光源7照射物流箱9，并在物流箱9的上表面形成激光点8，蓝牙电子秤4探测物流箱9的重量，当蓝牙电子秤4的数据稳定时，记录物流箱9重量并将数据通过电子秤上的蓝牙模块传输给信号处理系统2，之后信号处理系统2将重量数据传输给第一工业相机1并触发其采集物流箱9的侧视图像C1，第一工业相机1默认为小光圈模式，这样能够保证采集的图像亮度低，易于后期对图像中激光点8的提取；先对侧视图像C1进行二值化处理得到侧视图像C2，再对侧视图像C2进行激光点8轮廓提取，获得激光点8的轮廓后取其最小包围圆形，并确定最小包围圆形的圆心像素坐标，此圆心像素坐标即为侧视图像特征点R的像素坐标(u1，v1)，之后第一工业相机1将侧视图像特征点R像素坐标(u1，v1)传输到信号处理系统2，信号处理系统2将重量数据和侧视图像特征点R像素坐标(u1，v1)传输到第二工业相机6；

步骤四，第二工业相机6接收到重量数据和侧视图像特征点R像素坐标(u1，v1)后，触发第二工业相机6采集物流箱9的俯视图像，具体工作流程如下：

(1)第二工业相机6默认为小光圈模式，小光圈模式能够保证采集的图像亮度低，易于后期获取激光点8的像素坐标；激光光源7照射物流箱9，并在物流箱9的上表面形成激光点8；第二工业相机6采集第一张物流箱9的俯视图像F1，先对俯视图像F1进行二值化处理得到俯视图像F2，再对俯视图像F2进行激光点8轮廓提取，获得激光点8的轮廓后取其最小包围圆形，并确定最小包围圆形的圆心像素坐标，此圆心像素坐标即为俯视图像特征点L像素坐标(u2，v2)；

(2)第二工业相机6自动转换为大光圈模式，保证采集的图像亮度高，可清晰区分出物流箱9与背景；第二工业相机6采集第二张物流箱9的俯视图像F2，对俯视图像F2进行边缘提取得到俯视图像F3，再对俯视图像F3进行轮廓提取并在提取到的多个轮廓中通过判断轮廓的周长剔除背景杂质的干扰，最后得到只包含物流箱9轮廓的俯视图像F4，此时，若俯视图像F4中闭合轮廓数为0，则返回错误信息给信号处理系统2，表示物流箱9没有完全位于第一相机视场范围内，需要重新摆放；最后对正确的俯视图像F4的轮廓提取其最小外接矩形，并获得最小外接矩形的图像长宽数据l和w；

步骤五，第二工业相机6进行激光特征点匹配的三维重构算法，具体工作流程如下：

(1)通过步骤二中第一工业相机1和第二工业相机6标定得到的内参数和外参数，可建立激光特征点像素坐标(u，v)与三维世界坐标(X,Y,Z)之间的对应关系，即：

其中A为内参数矩阵(R|T)为外参数矩阵，R为相机光心坐标系相对于世界坐标系的3×3旋转矩阵，T为相机光心坐标系相对于世界坐标系的3×1平移矩阵；

(2)第二工业相机6获取步骤二中第一工业相机1和第二工业相机6标定得到的内参数和外参数，利用步骤三和步骤四中得到的侧视图像特征点R像素坐标(u1，v1)和俯视图像特征点L像素坐标(u2，v2),分别代入步骤五(1)中的关系式，可以建立一对激光特征点像素坐标和该点三维世界坐标的方程组，通过最小二乘法解得世界坐标(X,Y,Z)从而还原激光特征点在世界坐标系中的真实位置，完成激光特征点匹配的三维重构过程，其中Z即为物流箱9的高度数据；

步骤六，第二工业相机6进行物流箱9真实长宽数据计算，通过步骤四(2)得到的图像长宽数据l，w和预先测量的相机高度H和相机焦距f，根据光学成像模型中相似三角形的计算公式：

其中pix表示图像中长或者宽的像素个数，Δ表示像素大小，图像长宽数据l或w的值为其各自对应的pix*Δ,即l＝pix*Δ或者w＝pix*Δ，f为焦距，H为相机距测量平台5高度，h为物流箱9高度，从而可计算得出物流箱9实际长宽信息L和W，则物流箱9体积V为V＝L*W*Z，将物流箱9体积信息传输给信号处理系统2；

步骤七，信号处理系统2的显示屏显示物流箱9体积及重量信息，或者显示摆放错误的提示信息。

本实用新型相比于传统的人工标尺测量方式，具有快速、准确、非接触和成本低廉等优势，适用于批量的自动化测量，极大地降低人工成本，提高生产效率；无需使用传统的激光测距模块，完全依靠视觉技术就可以实现物体的长宽高测量，在近距离，小体积的测量环境中，双目视觉三维重构技术比激光测距技术精度更高，成本更低；相比于一般三维重构特征点匹配中涉及到的受光照，纹理，光学失真及噪声等因素影响的问题，本实用新型采用的激光光源引导立体匹配的算法，大大降低了特征点匹配的难度，减小了误匹配，漏匹配等问题，提高了系统的稳定性和可靠性。

上述为本实用新型较佳的实施方式，但本实用新型的实施方式并不受上述内容的限制，其他的任何未背离本实用新型的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本实用新型的保护范围之内。

Claims (2)

1.一种双目视觉体积重量测量系统，其特征在于，包括安装柜，以及设置在所述安装柜内的第一工业相机、第二工业相机、激光光源、LED条形光源、信号处理系统、测量平台和蓝牙电子秤，其中，所述测量平台设置在所述安装柜的底部，所述蓝牙电子秤设置在所述测量平台的下方；所述第二工业相机设置在所述安装柜的顶部，所述激光光源与所述第二工业相机并排设置，且所述激光光源的光线方向与所述第二工业相机的拍摄方向保持平行；所述第二工业相机和所述激光光源设置在所述测量平台的正上方，且所述第二工业相机的拍摄方向与所述激光光源的光线方向都同时垂直于所述测量平台；所述第一工业相机设置在所述安装柜的顶部，所述第一工业相机位于所述测量平台的斜上方，且所述第一工业相机与所述测量平台呈45度角倾斜设置；所述第一工业相机和第二工业相机拍摄所述测量平台的视场范围相同；所述LED条形光源设有四个，其中两个LED条形光源水平设置在所述第二工业相机的前后两侧，另外两个LED条形光源竖直设置在所述第一工业相机的前后两侧；

所述第一工业相机、第二工业相机、激光光源和蓝牙电子秤分别与所述信号处理系统相连接；所述信号处理系统设有显示屏。

2.根据权利要求1所述的双目视觉体积重量测量系统，其特征在于，所述测量平台经过喷漆并打磨成黑色光滑表面。