CN109719734B - 一种机器人视觉引导的手机闪光灯组装系统及组装方法 - Google Patents

Abstract

本发明公开了一种机器人视觉引导的手机闪光灯组装系统及组装方法，所述组装系统包括工作台、第一工业相机、第二工业相机、机器人、视觉系统和控制系统，所述组装方法首先通过确定工业相机和拍照位的位置，并完成对相机坐标系与机器人坐标系的标定，之后通过工业相机采集闪光灯和手机玻璃背板的图像，完成机器人的角度补偿，然后再次通过工业相机采集闪光灯和手机玻璃背板的图像，完成机器人的坐标补偿，最后将闪光灯贴装在手机玻璃背板上完成组装。本发明通过采集闪光灯和手机玻璃背板的图像，完成机器人角度补偿和坐标补偿，改善了吸取和移动闪光灯过程中可能产生的位置或角度变化，提高了组装的精确度，具有适用范围广和灵活性高的特点。

Description

一种机器人视觉引导的手机闪光灯组装系统及组装方法

技术领域

本发明涉及到机器人视觉装配技术领域，尤其涉及一种机器人视觉引导的手机闪光灯组装系统及组装方法。

背景技术

中国是一个手机生产大国，据中国信息通信研究院日前发布《2017年12月国内手机市场运行分析报告》显示，2017年国内手机市场出货量4.91亿部，而根据TrendForce最新调查，在中国品牌的带动下，全球智能手机生产总数同比增长6.5％，高达14.6亿台。

目前，随着“中国制造2025”开始从概念走入实际，未来的智能工厂中，有一个关键要素不能缺少，那就是“机器人”。除了传统的汽车装配领域，机器人逐渐进入到3C领域，富士康、和硕等公司都已经出现“黑灯”工厂，即完全由机器人来代替人工进行手机组装加工。手机组装机器人虽然有较高的使用率，但普遍采用的进行点对点的组装的丝杆构造机器人存在精度不高、位置矫正不精确等局限性，难以做到柔性生产。

最近几年，装配机器人不断发展，柔性手腕和柔性手爪的使用大大提高了机器人装配的精度与灵活度，能够完成丝杆不能完成的一些工作。但是，随着装配工艺的复杂性以及装配精度的不断提高，传统的装配机器人由于缺乏感知和自适应控制的能力而无法满足当前电子制造的需求，而机器视觉可以模仿人的视觉功能，完成对客观事物的识别，并能够从图像中提取目标信息进行处理分析并加以理解，从而将结果用于定位、测量等。

鉴于此，如何将机器视觉技术应用到手机装配机器人中，并根据工件的实际位置动态调整装配机器人的执行点，从而实现装配机器人精确定位与智能组装，满足装配需求是本技术领域的重要研究方向。

发明内容

本发明的目的是提供一种机器人视觉引导的手机闪光灯组装系统及组装方法，解决了现有手机组装技术上人工效率低以及自动组装技术精度低、灵活性差等问题。

为解决上述技术问题，本发明提供了一种机器人视觉引导的手机闪光灯组装系统，包括：

工作台，所述工作台上设有用于对所述闪光灯进行拍照的第一工业相机，以及对所述手机玻璃背板进行拍照的第二工业相机，所述第一工业相机上方设有用于辅助成像的第一同轴光源，所述第二工业相机上方设有用于放置所述手机玻璃背板的第二拍照位，所述第二工业相机和所述第二拍照位之间设有用于辅助成像的第二同轴光源；

机器人，用于移动所述闪光灯和所述手机玻璃背板；

视觉系统，包括用于实时处理所述第一工业相机和所述第二工业相机所采集图像的图像处理单元，以及用于存储经过所述图像处理单元处理后的图像信息的数据存储单元；

控制系统，用于根据所述视觉系统的处理结果控制所述机器人动作，以及控制所述第一工业相机和所述第二工业相机进行图像采集。

优选地，所述机器人为六轴机器人，所述第一同轴光源和所述第二同轴光源均为蓝色同轴光源。

一种机器人视觉引导的手机闪光灯组装方法，包含上述的机器人视觉引导的手机闪光灯组装系统，所述组装方法包括以下步骤：

S1、确定所述闪光灯的拍照位并设为第一拍照位，并选取第一拍照位所在平面上的多个不同位置点，通过所述控制系统控制所述机器人吸附闪光灯依次到达所选取的位置点，获取所述第一工业相机坐标系和机器人坐标系之间的关系；

S2、选取第二拍照位所在平面上的多个不同位置点，然后控制系统控制所述机器人吸附手机玻璃背板依次到达所选取的多个不同位置点，获取第二工业相机坐标系和机器人坐标系之间的关系；

S3、通过所述机器人将闪光灯移动到第一拍照位，同时将手机玻璃背板置于第二拍照位上，所述控制系统控制第一工业相机和第二工业相机同时采集闪光灯和手机玻璃背板的图像；

S4、通过所述图像处理单元对所述步骤S3中采集的图像进行处理，获取手机玻璃背板图像上边缘与水平坐标轴之间的夹角θ₁以及闪光灯两圆孔中心点连线与水平轴之间的夹角θ₂，所述控制系统根据所获取的夹角θ₁和夹角θ₂进而控制机器人在第一拍照位旋转θ₁-θ₂的角度；

S5、当所述机器人完成所述步骤S4的角度旋转后，通过所述控制系统控制第一工业相机和第二工业相机再次对第一拍照位处的闪光灯和第二拍照位处的手机玻璃背板进行图像采集，获取闪光灯两圆孔的中心点坐标(x₁,y₁)和(x₂,y₂)以及手机玻璃背板闪光灯贴装区圆孔的中心点坐标(x₃,y₃)；

S6、根据所述步骤S1中第一工业相机坐标系和机器人坐标系之间的关系，计算出所述闪光灯中心点

在机器人坐标系下的坐标(X₁,Y₁)，并根据所述步骤S2中第二工业相机坐标系和机器人坐标系之间的关系，计算出手机玻璃背板闪光灯贴装区圆孔的中心点坐标(x₃,y₃)在机器人坐标系下的坐标(X₂,Y₂)；

S7、根据所述步骤S6的计算结果，所述控制系统控制机器人的末端执行器在X轴方向上移动X₂-X₁的距离，以及在Y轴方向上移动Y₂-Y₁的距离,然后通过控制机器人垂直向下将闪光灯贴装于手机玻璃背板闪光灯贴装区，完成贴装。

优选地，所述步骤S1的具体实现方式为：

S101、确定所述闪光灯的拍照位并设为第一拍照位，并选取第一拍照位所在平面的不同直线上三个位置点，通过所述控制系统控制机器人吸附所述闪光灯依次到达三个位置点，得到三个位置点的闪光灯中心点像素坐标(x_c1,y_c1)、(x_c2,y_c2)、(x_c3,y_c3)，以及三个位置点的机器人坐标(X_m1,Y_m1)、(X_m2,Y_m2)、(X_m3,Y_m3)；

S102、根据所述步骤S101中的三个位置点得到的像素坐标和机器人坐标，即可求出第一工业相机像素坐标系和机器人坐标系之间的关系矩阵，可表示为：

式(1)中，X＝[X_m1 X_m2 X_m3]，Y＝[Y_m1 Y_m2 Y_m3]，x＝[x_c1 x_c2 x_c3]，y＝[y_c1 y_c2 y_c3]，

R表示第一工业相机像素坐标系和机器人坐标系之间的旋转矩阵，r₁、r₂、r₃和r₄表示旋转矩阵R中的矩阵元素，

t表示第一工业相机像素坐标系和机器人坐标系之间的偏移矩阵，t₁和t₂表示偏移矩阵t中的矩阵元素。

优选地，所述步骤S2的具体实现方式为：

S201、选取第二拍照位所在平面的不同直线上三个位置点，通过所述控制系统控制机器人吸附手机玻璃背板依次到达三个位置点，获取三个位置点的手机玻璃背板圆孔的中心点像素坐标(x_d1,y_d1)、(x_d2,y_d2)、(x_d3,y_d3)，以及三个位置点的机器人坐标(X_n1,Y_n1)、(X_n2,Y_n2)、(X_n3,Y_n3)；

S202、根据所述步骤S201中的三个位置点得到的像素坐标和机器人坐标，即可求出第二工业相机像素坐标系和机器人坐标系之间的关系矩阵，可表示为：

式(2)中，X^*＝[X_n1 X_n2 X_n3]，Y^*＝[Y_n1 Y_n2 Y_n3]，x^*＝[x_d1 x_d2 x_d3]，y^*＝[y_d1 y_d2y_d3]，

R^*表示第二工业相机像素坐标系和机器人坐标系之间的旋转矩阵，

和

表示旋转矩阵R^*中的矩阵元素，

t^*表示第二工业相机像素坐标系和机器人坐标系之间的偏移矩阵，

和

表示偏移矩阵t^*中的矩阵元素。

优选地，所述步骤S4的具体实现方式为：

S401、提取所述步骤S3中所采集的手机玻璃背板图像的上边缘ROI，并利用双边滤波去除手机玻璃背板图像的噪点，以及通过局部自适应对比度增强方法增大手机玻璃背板图像的前景和背景的灰度差，然后提取手机玻璃背板图像的边缘轮廓，根据所提取的边缘轮廓长度筛选出手机玻璃背板图像的上边缘；

S402、任取所述步骤S401中手机玻璃背板图像边缘轮廓上的三个边缘点(x₄,y₄)、(x₅,y₅)和(x₆,y₆)，计算手机玻璃背板图像上边缘与水平坐标轴之间的夹角θ₁，其计算公式为：

S403、提取所述步骤S3中采集的闪光灯图像的圆形细环ROI，并采用局部自适应对比度增强方法增大闪光灯图像的前景和背景的灰度差，然后提取所述闪光灯图像的边缘轮廓，并根据所提取的边缘轮廓面积和圆形度筛选出所述闪光灯图像的两圆孔边缘；

S404、拟合所述步骤S403中的两圆孔边缘，得到两圆孔的中心点坐标为(x_e1,y_e1)和(x_e2,y_e2)，根据两圆孔的中心点获取闪光灯两圆孔中心点连线与水平轴之间的夹角θ₂，其公式为：

S405、所述控制系统根据图像处理单元的处理结果控制机器人在第一拍照位处旋转θ₁-θ₂的角度。

优选地，所述步骤S5的具体实现方式为：

S501、所述控制系统控制第一工业相机和第二工业相机同时采集第一拍照位处的闪光灯和第二拍照位处的手机玻璃背板的图像；

S502、框选所述步骤S501采集的手机玻璃背板图像的闪光灯贴装区圆孔ROI，采用最大类间方差法对手机玻璃背板图像进行二值化处理，并提取手机玻璃背板闪光灯贴装区域，其中二值化处理可表示为：

式(5)中，ω₁+ω₂＝1，M×N表示闪光灯贴装区圆孔图像上总像素点个数，N₁表示闪光灯贴装区圆孔区域灰度值不大于设定灰度值的像素个数，N₂表示闪光灯贴装区圆孔区域灰度值大于设定灰度值的像素个数，ω₁表示闪光灯贴装区圆孔区域像素点个数占整幅闪光灯贴装区圆孔图像总像素点个数的比例，ω₂表示闪光灯贴装区圆孔区域以外区域像素点个数占整幅闪光灯贴装区圆孔图像总像素点个数的比例，μ₁表示闪光灯贴装区圆孔区域所有像素点灰度值的平均值，μ₂表示闪光灯贴装区圆孔区域以外区域所有像素点灰度值的平均值，g表示闪光灯贴装区圆孔区域所有像素点灰度值的平均值与闪光灯贴装区圆孔区域以外区域所有像素点灰度值的平均值之间的方差；

S503、对所述步骤S502中处理后的手机玻璃背板图像进行形态学膨胀处理，去除面积较小干扰区域平滑边缘，并提取手机玻璃背板图像的边缘轮廓，然后根据所提取的边缘轮廓面积和圆形度筛选出手机玻璃背板上闪光灯贴装区圆孔的轮廓；

S504、拟合所述步骤S503筛选的手机玻璃背板闪光灯贴装区圆孔，即可得到手机玻璃背板上闪光灯贴装区圆孔的中心点坐标(x₃,y₃)；

S505、提取所述步骤S5采集的闪光灯图像的圆形细环ROI，并采用局部自适应对比度增强方法增大闪光灯图像的圆形细环ROI的前景和背景的灰度差；

S506、提取所述步骤S505处理后的闪光灯图像的边缘轮廓，并根据所述闪光灯图像上的边缘轮廓面积和圆形度筛选出闪光灯图像上两圆孔边缘；

S507、拟合所述步骤S506中闪光灯图像上的两圆孔边缘，即可获取闪光灯图像上两圆孔的中心点坐标(x₁,y₁)和(x₂,y₂)。

与现有技术比较，本发明通过对机器人进行角度补偿和坐标补偿，改善了闪光灯在吸附和移动过程中可能产生的位置或角度变化，大大提高了组装的精确度；同时本发明所采用六轴机器人具有更好的自由度和灵活性，能够做到柔性生产；而且本发明中的工业相机位置固定，避免了拍照过程中因相机震荡而导致的精度误差，因此本发明具有更高的灵活性，且适用范围更广。

附图说明

图1是本发明中一种机器人视觉引导的手机闪光灯组装系统结构示意图，

图2是本发明中一种机器人视觉引导的手机闪光灯组装方法的流程图，

图3是本发明中第一工业相机坐标系与机器人坐标系的标定流程图，

图4是本发明中第二工业相机坐标系与机器人坐标系的标定流程图，

图5是本发明中机器人角度补偿流程图，

图6是本发明中闪光灯中心点坐标和手机玻璃背板贴装区圆孔中心点坐标确定流程图。

图中：1.机器人，2.第一工业相机，3.第二工业相机，4.第一同轴光源，5.第二同轴光源，6.第二拍照位，7.工作台，8.第一拍照位，9.视觉系统，10.控制系统。

具体实施方式

为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。

如图1所示，一种机器人视觉引导的手机闪光灯组装系统，包括：

工作台7，所述工作台7上设有用于对所述闪光灯进行拍照的第一工业相机2，以及对所述手机玻璃背板进行拍照的第二工业相机3，所述第一工业相机2上方设有用于辅助成像的第一同轴光源4，所述第二工业相机3上方设有用于放置所述手机玻璃背板的第二拍照位6，所述第二工业相机3和所述第二拍照位6之间设有用于辅助成像的第二同轴光源5；

机器人1，用于移动所述闪光灯和所述手机玻璃背板；

视觉系统9，包括用于实时处理所述第一工业相机2和所述第二工业相机3所采集图像的图像处理单元，以及用于存储经过所述图像处理单元处理后的图像信息的数据存储单元；

控制系统10，用于根据所述视觉系统9的处理结果控制所述机器人1动作，以及控制所述第一工业相机2和所述第二工业相机3进行图像采集。

本实施例中，所述机器人1包括相同型号的用于移动闪光灯的第一机器人和用于移动手机玻璃背板的第二机器人，首先利用第一工业相机2采集闪光灯的图像以及第二工业相机3采集手机玻璃背板的图像，然后可以通过视觉系统9实时处理所采集的图像，完成机器人1的角度补偿和坐标补偿，进而改善闪光灯在吸附和移动过程中可能产生的位置或角度变化，从而提高了闪光灯的组装精确度。在其他实施例中，可以采用同一台所述机器人1用于移动闪光灯和手机玻璃背板。

如图1所示，所述机器人1为六轴机器人，所述第一同轴光源4和所述第二同轴光源5均为蓝色同轴光源。本实施例中，所述六轴机器人具有更好的自由度和灵活性，能够做到柔性生产，而且采用蓝色同轴光源，使得工业相机所采集的图像效果较好，闪光灯的组装精度更高，在其他实施例中也可以选择其他同轴光源。

如图2所示，一种机器人视觉引导的手机闪光灯组装方法，包含上述的机器人视觉引导的手机闪光灯组装系统，所述组装方法包括以下步骤：

S1、确定所述闪光灯的拍照位并设为第一拍照位，并选取第一拍照位所在平面上的多个不同位置点，通过所述控制系统控制机器人吸附闪光灯依次到达所选取的位置点，获取第一工业相机坐标系和机器人坐标系之间的关系；

S2、选取第二拍照位所在平面上的多个不同位置点，然后控制系统控制所述机器人吸附手机玻璃背板依次到达所选取的多个不同位置点，获取第二工业相机坐标系和机器人坐标系之间的关系；

S3、通过所述机器人将闪光灯移动到第一拍照位，同时将手机玻璃背板置于第二拍照位上，所述控制系统控制第一工业相机和第二工业相机同时采集闪光灯和手机玻璃背板的图像；

S4、通过所述图像处理单元对所述步骤S3中采集的图像进行处理，获取手机玻璃背板图像上边缘与水平坐标轴之间的夹角θ₁以及闪光灯两圆孔中心点连线与水平轴之间的夹角θ₂，所述控制系统根据根据所获取的夹角θ₁和夹角θ₂进而控制机器人在第一拍照位旋转θ₁-θ₂的角度；

S5、当所述机器人完成所述步骤S4的角度旋转后，通过所述控制系统控制第一工业相机和第二工业相机再次对第一拍照位处的闪光灯和第二拍照位处的手机玻璃背板的进行图像采集，获取闪光灯两圆孔的中心点坐标(x₁,y₁)和(x₂,y₂)，以及手机玻璃背板闪光灯贴装区圆孔的中心点坐标(x₃,y₃)；

S6、根据所述步骤S1中第一工业相机坐标系和机器人坐标系之间的关系，计算出所述闪光灯中心点

在机器人坐标系下的坐标(X₁,Y₁)，并根据所述步骤S2中第二工业相机坐标系和机器人坐标系之间的关系，计算出手机玻璃背板闪光灯贴装区圆孔的中心点坐标(x₃,y₃)在机器人坐标系下的坐标(X₂,Y₂)；

S7、根据所述步骤S6的计算结果，所述控制系统控制机器人的末端执行器在X轴方向上移动X₂-X₁的距离，以及在Y轴方向上移动Y₂-Y₁的距离,然后通过控制机器人垂直向下将闪光灯贴装于手机玻璃背板闪光灯贴装区，完成贴装。

本实施例中，所述组装方法首先通过确定第一工业相机和第一拍照位之间的位置，以及第二工业相机和第二拍照位之间的位置，完成相机坐标系与机器人坐标系的之间标定，然后通过第一工业相机和第二工业相机分别同时采集闪光灯和手机玻璃背板的图像，经视觉系统处理完成机器人的角度补偿，之后再次通过第一工业相机和第二工业相机分别同时采集闪光灯和手机玻璃背板的图像，通过视觉系统处理完成机器人的坐标补偿，最后机器人将闪光灯贴装在手机玻璃背板上完成组装，通过对机器人进行角度补偿和坐标补偿，改善了闪光灯在吸附和移动过程中可能产生的位置或角度变化，提高了组装的精确度，具有适用范围广和灵活性高的特点。

如图3所示，所述步骤S1的具体实现方式为：

S101、确定所述闪光灯的拍照位并设为第一拍照位，并选取第一拍照位所在平面的不同直线上三个位置点，通过所述控制系统控制机器人吸附所述闪光灯依次到达三个位置点，得到三个位置点的闪光灯中心点像素坐标(x_c1,y_c1)、(x_c2,y_c2)、(x_c3,y_c3)，以及三个位置点的机器人坐标(X_m1,Y_m1)、(X_m2,Y_m2)、(X_m3,Y_m3)；

S102、根据所述步骤S101中的三个位置点得到的像素坐标和机器人坐标，即可求出第一工业相机像素坐标系和机器人坐标系之间的关系矩阵，可表示为：

式(1)中，X＝[X_m1 X_m2 X_m3]，Y＝[Y_m1 Y_m2 Y_m3]，x＝[x_c1 x_c2 x_c3]，y＝[y_c1 y_c2 y_c3]，

R表示第一工业相机像素坐标系和机器人坐标系之间的旋转矩阵，r₁、r₂、r₃和r₄表示旋转矩阵R中的矩阵元素，

t表示第一工业相机像素坐标系和机器人坐标系之间的偏移矩阵，t₁和t₂表示偏移矩阵t中的矩阵元素。

本实施例中，通过选取第一拍照位平面上不同直线上的三个位置点进行第一工业相机像素坐标系和机器人坐标系之间标定，确定了第一工业相机像素坐标系和机器人坐标系之间的关系式。

如图4所示，所述步骤S2的具体实现方式为：

S201、选取第二拍照位所在平面的不同直线上三个位置点，通过所述控制系统控制机器人吸附手机玻璃背板依次到达三个位置点，获取三个位置点的手机玻璃背板圆孔的中心点像素坐标(x_d1,y_d1)、(x_d2,y_d2)、(x_d3,y_d3)，以及三个位置点的机器人坐标(X_n1,Y_n1)、(X_n2,Y_n2)、(X_n3,Y_n3)；

S202、根据所述步骤S201中的三个位置点得到的像素坐标和机器人坐标，即可求出第二工业相机像素坐标系和机器人坐标系之间的关系矩阵，可表示为：

式(2)中，X^*＝[X_n1 X_n2 X_n3]，Y^*＝[Y_n1 Y_n2 Y_n3]，x^*＝[x_d1 x_d2 x_d3]，y^*＝[y_d1 y_d2y_d3]，

R^*表示第二工业相机像素坐标系和机器人坐标系之间的旋转矩阵，

和

表示旋转矩阵R^*中的矩阵元素，

t^*表示第二工业相机像素坐标系和机器人坐标系之间的偏移矩阵，

和

表示偏移矩阵t^*中的矩阵元素。

本实施例中，通过选取第二拍照位平面上不同直线上的三个位置点进行第二工业相机像素坐标系和机器人坐标系之间标定，确定了第二工业相机像素坐标系和机器人坐标系之间的关系式。

如图5所示，所述步骤S4的具体实现方式为：

S401、提取所述步骤S3中所采集的手机玻璃背板图像的上边缘ROI，并利用双边滤波去除手机玻璃背板图像的噪点，以及通过局部自适应对比度增强方法增大手机玻璃背板图像的前景和背景的灰度差，然后提取手机玻璃背板图像的边缘轮廓，根据所提取的边缘轮廓长度筛选出手机玻璃背板图像的上边缘；

S402、任取所述步骤S401中手机玻璃背板图像边缘轮廓上的三个边缘点(x₄,y₄)、(x₅,y₅)和(x₆,y₆)，计算手机玻璃背板图像上边缘与水平坐标轴之间的夹角θ₁，其计算公式为：

S403、提取所述步骤S3中采集的所述闪光灯图像的圆形细环ROI，并采用局部自适应对比度增强方法增大闪光灯图像的前景和背景的灰度差，然后提取闪光灯图像的边缘轮廓，并根据所提取的边缘轮廓面积和圆形度筛选出闪光灯图像的两圆孔边缘；

S404、拟合所述步骤S403中的两圆孔边缘，得到两圆孔的中心点坐标为(x_e1,y_e1)和(x_e2,y_e2)，根据两圆孔的中心点获取闪光灯两圆孔中心点连线与水平轴之间的夹角θ₂，其公式为：

S405、所述控制系统根据图像处理单元的处理结果控制机器人在第一拍照位处旋转θ₁-θ₂的角度。

本实施例中，通过图像处理单元对第一工业相机和第二工业相机所采集的图像进行处理，获取手机玻璃背板图像上边缘(即手机玻璃背板的边框，在图像中呈一条直线)与水平坐标轴之间的夹θ₁以及闪光灯两圆孔中心点连线与水平轴之间的夹角，进而可通过控制系统控制机器人旋转，实现机器人的角度补偿。

如图6所示，所述步骤S5的具体实现方式为：

S501、所述控制系统控制第一工业相机和第二工业相机同时采集第一拍照位处的闪光灯和第二拍照位处的手机玻璃背板的图像；

S502、框选所述步骤S501采集的手机玻璃背板图像的闪光灯贴装区圆孔ROI，采用最大类间方差法对手机玻璃背板图像进行二值化处理，并提取手机玻璃背板闪光灯贴装区域，其中二值化处理可表示为：

式(5)中，ω₁+ω₂＝1，M×N表示闪光灯贴装区圆孔图像上总像素点个数，N₁表示闪光灯贴装区圆孔区域灰度值不大于设定灰度值的像素个数，N₂表示闪光灯贴装区圆孔区域灰度值大于设定灰度值的像素个数，ω₁表示闪光灯贴装区圆孔区域像素点个数占整幅闪光灯贴装区圆孔图像总像素点个数的比例，ω₂表示闪光灯贴装区圆孔区域以外区域像素点个数占整幅闪光灯贴装区圆孔图像总像素点个数的比例，μ₁表示闪光灯贴装区圆孔区域所有像素点灰度值的平均值，μ₂表示闪光灯贴装区圆孔区域以外区域所有像素点灰度值的平均值，g表示闪光灯贴装区圆孔区域所有像素点灰度值的平均值与闪光灯贴装区圆孔区域以外区域所有像素点灰度值的平均值之间的方差；

S503、对所述步骤S502中处理后的手机玻璃背板图像进行形态学膨胀处理，去除面积较小干扰区域平滑边缘，并提取手机玻璃背板图像的边缘轮廓，然后根据所提取的边缘轮廓面积和圆形度筛选出手机玻璃背板上闪光灯贴装区圆孔的轮廓；

S504、拟合所述步骤S503筛选的手机玻璃背板闪光灯贴装区圆孔，即可得到手机玻璃背板上闪光灯贴装区圆孔的中心点坐标(x₃,y₃)；

S505、提取所述步骤S5采集的闪光灯图像的圆形细环ROI，并采用局部自适应对比度增强方法增大闪光灯图像的圆形细环ROI的前景和背景的灰度差；

S506、提取所述步骤S505处理后的闪光灯图像的边缘轮廓，并根据所述闪光灯图像上的边缘轮廓面积和圆形度筛选出闪光灯图像上两圆孔边缘；

S507、拟合所述步骤S506中闪光灯图像上的两圆孔边缘，即可获取闪光灯图像上两圆孔的中心点坐标(x₁,y₁)和(x₂,y₂)。

本实施例中，通过图像处理单元对第一工业相机和第二工业相机所采集的图像进行处理，获取闪光灯两圆孔的中心点坐标(x₁,y₁)和(x₂,y₂)以及手机玻璃背板闪光灯贴装区圆孔的中心点坐标(x₃,y₃)，进而可通过控制系统控制机器人平行移动，实现机器人的坐标补偿。

本实施例中，拟合所述闪光灯图像上的两圆孔中心点坐标的具体方法为：首先分别任取两圆孔边缘的其中两个边缘点，并求取两个边缘点连线的中垂线，迭代多次，组成一个中垂线集合A；随后在所述中垂线集合A中任取两条不平行的中垂线，并求所取两条不平行中垂线的交点，迭代多次，组成映射到圆心附近的映射点集B；然后任取映射点集B中任意两点P₁和P₂计算其欧氏距离，选取欧氏距离小于阈值(阈值是通过选取不同样本，多次交叉验证找到的)的映射点集为圆心类集，所选取的圆心类集服从二元高斯分布，并丢弃欧氏距离大于阈值的映射点，其欧式距离的计算公式为：

式(6)中，

为映射点P₁坐标，

为映射点P₂坐标；最后利用二元高斯分布和极大似然估计，估计两圆孔的中心点坐标，其中，二元高斯分布的概率密度可表示为：

式(7)中，T为矩阵的转置，μ为二元高斯分布的均值，σ为协方差矩阵，c为中心点坐标矩阵，维度为2，取对数可得

利用似然函数对二元高斯分布的均值(即期望)μ求全微分，公式为

令全微分为0，可得到待估计期望

其中x_k为圆心类集中映射点矩阵，n为圆心类集中映射点的个数，则可根据所得到的待估计期望

估计出两圆孔的中心点坐标。

需要说明的是，本发明中ROI为region of interest，表示感兴趣区域；机器人末端执行器为机器人在工作中吸附闪光灯和手机玻璃背板的一端。本发明中的手机玻璃背板图像的上边缘ROI表示手机玻璃背板图像的上边缘感兴趣区域；闪光灯图像的圆形细环ROI表示闪光灯图像的圆形细环的感兴趣区域；手机玻璃背板图像的闪光灯贴装区圆孔ROI表示手机玻璃背板图像的闪光灯贴装区圆孔的感兴趣区域。

以上对本发明所提供的一种机器人视觉引导的手机闪光灯组装系统及组装方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (6)

1.一种机器人视觉引导的手机闪光灯组装方法，其特征在于，包含机器人视觉引导的手机闪光灯组装系统，所述组装系统包括：

工作台，所述工作台上设有用于对所述闪光灯进行拍照的第一工业相机，以及对所述手机玻璃背板进行拍照的第二工业相机，所述第一工业相机上方设有用于辅助成像的第一同轴光源，所述第二工业相机上方设有用于放置所述手机玻璃背板的第二拍照位，所述第二工业相机和所述第二拍照位之间设有用于辅助成像的第二同轴光源；

机器人，用于移动所述闪光灯和所述手机玻璃背板；

视觉系统，包括用于实时处理所述第一工业相机和所述第二工业相机所采集图像的图像处理单元，以及用于存储经过所述图像处理单元处理后的图像信息的数据存储单元；

控制系统，用于根据所述视觉系统的处理结果控制所述机器人动作，以及控制所述第一工业相机和所述第二工业相机进行图像采集；

所述组装方法包括以下步骤：

S1、确定所述闪光灯的拍照位并设为第一拍照位，并选取第一拍照位所在平面上的多个不同位置点，通过所述控制系统控制机器人吸附闪光灯依次到达所选取的多个不同位置点，获取所述第一工业相机坐标系和机器人坐标系之间的关系；

S2、选取第二拍照位所在平面上的多个不同位置点，然后控制系统控制所述机器人吸附手机玻璃背板依次到达所选取的多个不同位置点，获取第二工业相机坐标系和机器人坐标系之间的关系；

S3、通过所述机器人将闪光灯移动到第一拍照位上，同时将手机玻璃背板置于第二拍照位上，所述控制系统控制第一工业相机和第二工业相机同时采集闪光灯和手机玻璃背板的图像；

S4、通过所述图像处理单元对所述步骤S3中采集的图像进行处理，获取手机玻璃背板图像上边缘与水平坐标轴之间的夹角θ₁以及闪光灯两圆孔中心点连线与水平轴之间的夹角θ₂，所述控制系统根据所获取的夹角θ₁和夹角θ₂进而控制机器人在第一拍照位旋转θ₁-θ₂的角度；

S5、当所述机器人完成所述步骤S4中的角度旋转后，通过所述控制系统控制第一工业相机和第二工业相机再次对第一拍照位处的闪光灯和第二拍照位处的手机玻璃背板进行图像采集，获取闪光灯两圆孔的中心点坐标(x₁,y₁)和(x₂,y₂)以及手机玻璃背板闪光灯贴装区圆孔的中心点坐标(x₃,y₃)；

S6、根据所述步骤S1中第一工业相机坐标系和机器人坐标系之间的关系，计算出所述闪光灯中心点

在机器人坐标系下的坐标(X₁,Y₁)，并根据所述步骤S2中第二工业相机坐标系和机器人坐标系之间的关系，计算出手机玻璃背板闪光灯贴装区圆孔的中心点坐标(x₃,y₃)在机器人坐标系下的坐标(X₂,Y₂)；

S7、根据所述步骤S6的计算结果，所述控制系统控制机器人的末端执行器在X轴方向上移动X₂-X₁的距离，以及在Y轴方向上移动Y₂-Y₁的距离,然后通过控制机器人垂直向下将闪光灯贴装于手机玻璃背板闪光灯贴装区，完成贴装。

2.如权利要求1所述的机器人视觉引导的手机闪光灯组装方法，其特征在于，所述步骤S1的具体实现方式为：

S101、确定所述闪光灯的拍照位并设为第一拍照位，并选取第一拍照位所在平面的不同直线上三个位置点，通过所述控制系统控制机器人吸附闪光灯依次到达三个位置点，得到三个位置点的闪光灯中心点的像素坐标(x_c1,y_c1)、(x_c2,y_c2)、(x_c3,y_c3)，以及三个位置点的机器人坐标(X_m1,Y_m1)、(X_m2,Y_m2)、(X_m3,Y_m3)；

S102、根据所述步骤S101中的三个位置点得到的像素坐标和机器人坐标，即可求出所述第一工业相机像素坐标系和机器人坐标系之间的关系矩阵，可表示为：

式(1)中，X＝[X_m1 X_m2 X_m3]，Y＝[Y_m1 Y_m2 Y_m3]，x＝[x_c1 x_c2 x_c3]，y＝[y_c1 y_c2 y_c3]，

R表示第一工业相机像素坐标系和机器人坐标系之间的旋转矩阵，r₁、r₂、r₃和r₄表示旋转矩阵R中的矩阵元素，

t表示第一工业相机像素坐标系和机器人坐标系之间的偏移矩阵，t₁和t₂表示偏移矩阵t中的矩阵元素。

3.如权利要求2所述的机器人视觉引导的手机闪光灯组装方法，其特征在于，所述步骤S2的具体实现方式为：

S201、选取第二拍照位所在平面的不同直线上三个位置点，通过所述控制系统控制机器人吸附手机玻璃背板依次到达三个位置点，获取三个位置点的手机玻璃背板圆孔的中心点像素坐标(x_d1,y_d1)、(x_d2,y_d2)、(x_d3,y_d3)，以及三个位置点的机器人坐标(X_n1,Y_n1)、(X_n2,Y_n2)、(X_n3,Y_n3)；

S202、根据所述步骤S201中的三个位置点得到的像素坐标和机器人坐标，即可求出第二工业相机像素坐标系和机器人坐标系之间的关系矩阵，可表示为：

式(2)中，X^*＝[X_n1 X_n2 X_n3]，Y^*＝[Y_n1 Y_n2 Y_n3]，x^*＝[x_d1 x_d2 x_d3]，y^*＝[y_d1 y_d2 y_d3]，

R^*表示第二工业相机像素坐标系和机器人坐标系之间的旋转矩阵，

和

表示旋转矩阵R^*中的矩阵元素，

t^*表示第二工业相机像素坐标系和机器人坐标系之间的偏移矩阵，

和

表示偏移矩阵t^*中的矩阵元素。

4.如权利要求3所述的机器人视觉引导的手机闪光灯组装方法，其特征在于，所述步骤S4的具体实现方式为：

S401、提取所述步骤S3中所采集的手机玻璃背板图像的上边缘ROI，并利用双边滤波去除手机玻璃背板图像的噪点，以及通过局部自适应对比度增强方法增大手机玻璃背板图像的前景和背景的灰度差，然后提取手机玻璃背板图像的边缘轮廓，根据所提取的边缘轮廓长度筛选出手机玻璃背板图像的上边缘；

S402、任取所述步骤S401中手机玻璃背板图像边缘轮廓上的三个边缘点(x₄,y₄)、(x₅,y₅)和(x₆,y₆)，计算手机玻璃背板图像上边缘与水平坐标轴之间的夹角θ₁，其计算公式为：

S403、提取所述步骤S3中采集的闪光灯图像的圆形细环ROI，并采用局部自适应对比度增强方法增大闪光灯图像的前景和背景的灰度差，然后提取闪光灯图像的边缘轮廓，并根据所提取的边缘轮廓面积和圆形度筛选出所述闪光灯图像的两圆孔边缘；

S404、拟合所述步骤S403中的两圆孔边缘，得到两圆孔的中心点坐标为(x_e1,y_e1)和(x_e2,y_e2)，根据两圆孔的中心点获取闪光灯两圆孔中心点连线与水平轴之间的夹角θ₂，其公式为：

S405、所述控制系统根据图像处理单元的处理结果控制机器人在第一拍照位处旋转θ₁-θ₂的角度。

5.如权利要求4所述的机器人视觉引导的手机闪光灯组装方法，其特征在于，所述步骤S5的具体实现方式为：

S501、所述控制系统控制第一工业相机和第二工业相机同时采集第一拍照位处的闪光灯和第二拍照位处的手机玻璃背板的图像；

S502、框选所述步骤S501采集的手机玻璃背板图像的闪光灯贴装区圆孔ROI，采用最大类间方差法对手机玻璃背板图像进行二值化处理，并提取手机玻璃背板闪光灯贴装区域，其中二值化处理可表示为：

式(5)中，ω₁+ω₂＝1，M×N表示闪光灯贴装区圆孔图像上总像素点个数，N₁表示闪光灯贴装区圆孔区域灰度值不大于设定灰度值的像素个数，N₂表示闪光灯贴装区圆孔区域灰度值大于设定灰度值的像素个数，ω₁表示闪光灯贴装区圆孔区域像素点个数占整幅闪光灯贴装区圆孔图像总像素点个数的比例，ω₂表示闪光灯贴装区圆孔区域以外区域像素点个数占整幅闪光灯贴装区圆孔图像总像素点个数的比例，μ₁表示闪光灯贴装区圆孔区域所有像素点灰度值的平均值，μ₂表示闪光灯贴装区圆孔区域以外区域所有像素点灰度值的平均值，g表示闪光灯贴装区圆孔区域所有像素点灰度值的平均值与闪光灯贴装区圆孔区域以外区域所有像素点灰度值的平均值之间的方差；

S503、对所述步骤S502中处理后的手机玻璃背板图像进行形态学膨胀处理，去除面积较小干扰区域的平滑边缘，并提取手机玻璃背板图像的边缘轮廓，然后根据所提取的边缘轮廓面积和圆形度筛选出手机玻璃背板上闪光灯贴装区圆孔的轮廓；

S504、拟合所述步骤S503筛选的手机玻璃背板闪光灯贴装区圆孔，即可得到手机玻璃背板上闪光灯贴装区圆孔的中心点坐标(x₃,y₃)；

S505、提取所述步骤S5采集的闪光灯图像的圆形细环ROI，并采用局部自适应对比度增强方法增大闪光灯图像的圆形细环ROI的前景和背景的灰度差；

S506、提取所述步骤S505处理后的闪光灯图像的边缘轮廓，并根据所述闪光灯图像上的边缘轮廓面积和圆形度筛选出闪光灯图像上两圆孔边缘；

S507、拟合所述步骤S506中闪光灯图像上的两圆孔边缘，即可获取闪光灯图像上两圆孔的中心点坐标(x₁,y₁)和(x₂,y₂)。

6.如权利要求1所述的机器人视觉引导的手机闪光灯组装方法，其特征在于，所述机器人为六轴机器人，所述第一同轴光源和所述第二同轴光源均为蓝色同轴光源。

Images