CN112045681B - 获取安装孔位置的方法和安装牌照的方法、对应的装置 - Google Patents

Abstract

本发明公开了一种获取安装孔位置的方法和安装牌照的方法、对应的装置，所述获取安装孔位置的方法包括以下步骤：通过机械臂控制机械手运动，且通过二维摄像头获取汽车的端部的二维图像，且通过三维摄像头生成端部的点云模型，点云模型包括：端部的外表面的点的基于相机坐标系的三维坐标、以及颜色；基于二维图像和点云模型、获取安装孔的基于机械臂坐标系的三维坐标。从而能够获取到安装孔的位置信息。

Description

获取安装孔位置的方法和安装牌照的方法、对应的装置

技术领域

本发明涉及人工智能技术领域，尤其涉及一种获取安装孔位置的方法和安装牌照的方法、对应的装置。

背景技术

通常，在汽车的前端部和后端部都会设置有牌照安装部位，在该安装部位上设置有多个安装孔(例如，四个螺纹孔)，相应的，在牌照上也会设置有对应的多个通孔。在现有技术中，安装牌照时，首先需要将牌照上的通孔对准安装孔，然后使用螺丝拧紧就行，这非常的耗费人工。

因此，就需要设计一个能够自动安装牌照的汽车牌照安装设备，可以理解的是，该汽车牌照安装设备的一个核心的功能是：如何获取安装孔的位置信息。

发明内容

有鉴于此，本发明的主要目的在于提供一种获取安装孔位置的方法和安装牌照的方法、对应的装置。

为了实现上述发明目的之一，本发明一实施方式提供一种用于汽车牌照安装设备的获取安装孔位置的方法，所述汽车牌照安装设备包括：机械臂，所述机械臂的机械手上安装有二维摄像头和三维摄像头；包括以下步骤：通过所述机械臂控制所述机械手运动，且通过二维摄像头获取汽车的端部的二维图像，且通过三维摄像头生成所述端部的点云模型，所述点云模型包括：所述端部的外表面的点的基于相机坐标系的三维坐标、以及颜色；基于所述二维图像和点云模型、获取安装孔的基于机械臂坐标系的三维坐标。

作为本发明实施例的一种改进，所述“基于所述二维图像和点云模型、获取安装孔的基于机械臂坐标系的三维坐标”具体包括：从所述二维图像中获取安装孔的二维中心坐标P2d，从所述点云模型中获取所述二维中心坐标P2d对应的三维中心坐标P3d，生成所述三维中心坐标P3d对应的齐次坐标Pct；其中，P2d、P3d和Pct是基于相机坐标系；所述安装孔的基于机械臂坐标系的三维坐标＝Thw*Tch*Pct，其中，Tch为相机坐标系到机械手坐标系之间的标定矩阵，Thw为机械手坐标系到机械臂坐标系之间的变换矩阵。

作为本发明实施例的一种改进，所述Thw为基于机械手的姿态的六轴向量而得到的。

本发明实施例提供了一种用于汽车牌照安装设备的获取安装孔位置的装置，所述汽车牌照安装设备包括：机械臂，所述机械臂的机械手上安装有二维摄像头和三维摄像头；包括以下模块：信息获取模块，用于通过所述机械臂控制所述机械手运动，且通过二维摄像头获取汽车的端部的二维图像，且通过三维摄像头生成所述端部的点云模型，所述点云模型包括：所述端部的外表面的点的基于相机坐标系的三维坐标、以及颜色；控制模块，用于基于所述二维图像和点云模型、获取安装孔的基于机械臂坐标系的三维坐标。

作为本发明实施例的一种改进，所述信息获取模块还用于：从所述二维图像中获取安装孔的二维中心坐标P2d，从所述点云模型中获取所述二维中心坐标P2d对应的三维中心坐标P3d，生成所述三维中心坐标P3d对应的齐次坐标Pct；其中，P2d、P3d和Pct是基于相机坐标系；所述安装孔的基于机械臂坐标系的三维坐标＝Thw*Tch*Pct，其中，Tch为相机坐标系到机械手坐标系之间的标定矩阵，Thw为机械手坐标系到机械臂坐标系之间的变换矩阵。

作为本发明实施例的一种改进，所述Thw为基于机械手的姿态的六轴向量而得到的。

本发明实施例提供了一种用于汽车牌照安装设备的安装牌照的方法，所述汽车牌照安装设备包括牌照抓取装置和螺丝抓取装置，所述牌照抓取装置能够抓取牌照，所述牌照的四周设置有若干通孔，所述若干通孔与汽车的端部的若干安装孔一一对应；所述螺丝抓取装置能够抓取住伸进所述通孔的螺丝、且能够控制所述螺丝旋转；包括以下步骤：基于上述的获取安装孔位置的方法、获取汽车的端部的若干安装孔的基于机械臂坐标系的三维坐标、以及所述二维图像中若干安装孔的二维中心坐标；其中，二维中心坐标是基于相机坐标系的；基于若干二维中心坐标和若干三维坐标、得到变换矩阵；基于所述变换矩阵和所述螺丝的长度得到车牌安装姿态；基于所述车牌安装姿态、控制所述机械手运动。

本发明实施例提供了一种用于汽车牌照安装设备的安装牌照的装置，所述汽车牌照安装设备包括牌照抓取装置和螺丝抓取装置，所述牌照抓取装置能够抓取牌照，所述牌照的四周设置有若干通孔，所述若干通孔与汽车的端部的若干安装孔一一对应；所述螺丝抓取装置能够抓取住伸进所述通孔的螺丝、且能够控制所述螺丝旋转；包括以下模块：

安装孔坐标获取模块，用于上述的获取安装孔位置的方法、获取汽车的端部的若干安装孔的基于机械臂坐标系的三维坐标、以及所述二维图像中若干安装孔的二维中心坐标；其中，二维中心坐标是基于相机坐标系的；

车牌安装姿态，用于基于若干二维中心坐标和若干三维坐标、得到变换矩阵；基于所述变换矩阵和所述螺丝的长度得到车牌安装姿态；

安装模块，用于基于所述车牌安装姿态、控制所述机械手运动。

相对于现有技术，本发明的技术效果在于：本发明实施例公开了一种获取安装孔位置的方法和安装牌照的方法、对应的装置，所述获取安装孔位置的方法包括以下步骤：通过机械臂控制机械手运动，且通过二维摄像头获取汽车的端部的二维图像，且通过三维摄像头生成端部的点云模型，点云模型包括：端部的外表面的点的基于相机坐标系的三维坐标、以及颜色；基于二维图像和点云模型、获取安装孔的基于机械臂坐标系的三维坐标。从而能够获取到安装孔的位置信息。

附图说明

图1为本发明实施例中的使用场景的示意图；

图2为本发明实施例中的获取安装孔位置的方法的流程示意图；

图3为本发明实施例中的安装牌照的方法的流程示意图。

具体实施方式

以下将结合附图所示的实施方式对本发明进行详细描述。但该实施方式并不限制本发明，本领域的普通技术人员根据该实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。

以下描述和附图充分地示出本文的具体实施方案，以使本领域的技术人员能够实践它们。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本文的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。本文中，术语“第一”、“第二”等仅被用来将一个元素与另一个元素区分开来，而不要求或者暗示这些元素之间存在任何实际的关系或者顺序。实际上第一元素也能够被称为第二元素，反之亦然。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的结构、装置或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种结构、装置或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的结构、装置或者设备中还存在另外的相同要素。本文中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中的术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本文和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。在本文的描述中，除非另有规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明实施例一提供了一种用于汽车牌照安装设备的获取安装孔位置的方法，所述汽车牌照安装设备包括：机械臂，所述机械臂的机械手上安装有二维摄像头和三维摄像头；这里，在交管部门中，通常会设置有一个专门的用于安装牌照的场地，如图1所示，在该场地中，设置有汽车停放区域和两个汽车牌照安装设备，当汽车停放在该区域时，在该汽车的前端部和后端部均有个汽车牌照安装设备，可以理解的是，位于前侧部的汽车牌照安装设备，能够完成前侧部的牌照的安装，位于后侧部的汽车牌照安装设备，能够完成后侧部的牌照的安装。

该机械臂的机械手上设置有牌照抓取装置(例如，使用吸嘴吸住牌照)，该牌照抓取装置能够抓取住牌照，二维、三维摄像头能够获取汽车前端部和后端部的图像，当基于图像、确定汽车前端部或后端部上的牌照安装孔的位置之后，该机械臂就可以控制机械手将牌照对准安装孔，然后就可以将牌照安装到安装孔上了；这里，可以理解的是，该二维摄像头可以获取该汽车的前、后端部的二维图像，而该三维摄像头可以获取该汽车的前、后端部的三维图像；这里，该二维摄像头能够将其视角内的所有物体并记录下来，但是其所记录的数据不包含这些物体距离相机的距离。而该三维摄像头3D还能够准确地获知图像中每个点离摄像头距离。

这里，该机械臂的尺寸足够长，从而使得该机械手能够分别触碰该汽车的前端部和后端部。

这里，在实际中，在汽车的前端部和后端部都设置有用于安装牌照的安装部位，该安装部位通常设置有若干安装孔(通常为4个)，因此，对于每个安装孔，可以分别执行一次该获取安装孔位置的方法。

包括以下步骤：

步骤201：通过所述机械臂控制所述机械手运动，且通过二维摄像头获取汽车的端部的二维图像，且通过三维摄像头生成所述端部的点云模型，所述点云模型包括：所述端部的外表面的点的基于相机坐标系的三维坐标、以及颜色；

这里，该机械臂需要控制机械手左上下左右的运动，从而能够更好的拍摄该端部的二维、三维图像。该端部可以为前端部或后端部，该颜色为RGB(Red，Green，Blue)格式的。

在实际工作中，可以按照预设的步骤来控制该机械手运动，例如：预先设定好该机械手的最高扫描位置、最低扫描位置、最左扫描位置和最右扫描位置，可以控制该机械手从最高扫描位置开始扫描，并完成一个扫描子任务，就控制该机械手的位置下降一个预设高度值，然后在完成下一个扫描子任务，控制该机械手的位置下降一个预设高度值，...，直至该机械手的高度低于最低扫描位置，该扫描子任务可以为：控制机械手从最左扫描位置运动到最右扫描位置，并控制二维、三维摄像头分别完成摄像任务。

这里，在实际中，汽车的在前后、左右方向的位置一般都是不定的，同时，由于汽车的型号的不同，安装孔的高度也是不定的，因此，需要首先确定好汽车的上下、左右方向的位置，然后才可以控制机械手围绕着安装孔、做上下左右的运动。这里，该方法可以为：首先，在固定位置控制二维摄像头拍摄该端部的图片，然后使用图像识别算法来识别该图像中是否有安装孔，如果没有则将机械手移动到下一个位置，然后继续拍摄，...，直至拍摄的图像中包含有该安装孔。之后，如果该图像中包含有该安装孔，在确定该安装孔是否位于中间位置(如果该安装孔距离该图像的某个边界的距离小于预设阀值，则该安装孔不位于中间位置)，如果不位于，则需要对机械手的位置微调，使得安装孔位于中间位置，之后，可以以该位置为中心，控制机械手做上下左右的运动，并获取三维图像。

这里，生成点云模型的方法可以具体为：步骤1、通过三维摄像头获取该端部的若干三维图像、以及每个三维图像对应的深度图像；步骤2、根据深度图像确定每一三维图像中的像素点对应的深度值；步骤3、根据三维图像中的像素点坐标、深度值和三维摄像头的机内参数确定每个三维图像中每一像素的点云坐标，得到点云模型。

步骤202：基于所述二维图像和点云模型、获取安装孔的基于机械臂坐标系的三维坐标。

本实施例中，所述“基于所述二维图像和点云模型、获取安装孔的基于机械臂坐标系的三维坐标”具体包括：从所述二维图像中获取安装孔的二维中心坐标P2d，从所述点云模型中获取所述二维中心坐标P2d对应的三维中心坐标P3d，生成所述三维中心坐标P3d对应的齐次坐标Pct；其中，P2d、P3d和Pct是基于相机坐标系；所述安装孔的基于机械臂坐标系的三维坐标＝Thw*Tch*Pct，其中，Tch为相机坐标系到机械手坐标系之间的标定矩阵，Thw为机械手坐标系到机械臂坐标系之间的变换矩阵。

这里，所述“从所述二维图像中获取安装孔的二维中心坐标P2d”可以具体包括：步骤1、对二维图像进行灰度化处理，然后去噪(例如，采用中值滤波去除部分噪声点)；步骤2、图像二值化处理，例如，采用最大类间方差比的阈值进行二值化处理；步骤3、贴标签，二值化后的图像中初目标圆孔外，还包括许多别的信息，通过贴标签，将不同的连通区域贴有不同的编号，为提取圆孔做准备；步骤4、识别圆孔，首先计算贴标签后的图像不同连通区域的面积，提取各连通区域的边界，计算各连通区域的周长，然后计算各连通区域的圆形度，通过圆形度识别圆孔；步骤5、获取圆孔的质心，获得该质心的二维坐标，该二维坐标记为安装孔的二维中心坐标P2d。

这里，所述“从所述二维图像中获取安装孔的二维中心坐标P2d”可以具体包括：步骤1、检测目标图像；步骤2、检测目标边缘点；步骤3、填充目标区域以及通过开、闭运算去除背景；步骤4、计算圆心坐标。

这里，可以将三维向量P3d用一个四维向量Pct来表示，例如，P3d＝(x,y,z)，则Pct可以为(x,y,z,1)。

这里，举一个具体的例子：

从所述二维图像中获取安装孔的二维中心坐标P2d＝(20,30)^t，单位为像素，该二维中心坐标P2d在点云模型中对应的三维中心坐标P3d＝(-0.2,0.4,0.8)^t，单位：米，生成所述三维中心坐标P3d对应的齐次坐标Pct＝(-0.2,0.4,0.8,1)^t，标定矩阵

变换矩阵

则安装孔的基于机械臂坐标系的三维坐标＝(0,1.24,1)^t。

本实施例中，所述Thw为基于机械手的姿态的六轴向量而得到的。

本发明实施例二提供了一种用于汽车牌照安装设备的获取安装孔位置的装置，所述汽车牌照安装设备包括：机械臂，所述机械臂的机械手上安装有二维摄像头和三维摄像头；包括以下模块：

信息获取模块，用于通过所述机械臂控制所述机械手运动，且通过二维摄像头获取汽车的端部的二维图像，且通过三维摄像头生成所述端部的点云模型，所述点云模型包括：所述端部的外表面的点的基于相机坐标系的三维坐标、以及颜色；

控制模块，用于基于所述二维图像和点云模型、获取安装孔的基于机械臂坐标系的三维坐标。

本实施例中，所述信息获取模块还用于：

从所述二维图像中获取安装孔的二维中心坐标P2d，从所述点云模型中获取所述二维中心坐标P2d对应的三维中心坐标P3d，生成所述三维中心坐标P3d对应的齐次坐标Pct；其中，P2d、P3d和Pct是基于相机坐标系；

所述安装孔的基于机械臂坐标系的三维坐标＝Thw*Tch*Pct，其中，Tch为相机坐标系到机械手坐标系之间的标定矩阵，Thw为机械手坐标系到机械臂坐标系之间的变换矩阵。

本实施例中，所述Thw为基于机械手的姿态的六轴向量而得到的。

本发明实施例三提供了一种用于汽车牌照安装设备的安装牌照的方法，所述汽车牌照安装设备包括牌照抓取装置和螺丝抓取装置，所述牌照抓取装置能够抓取牌照，所述牌照的四周设置有若干通孔，所述若干通孔与汽车的端部的若干安装孔一一对应；所述螺丝抓取装置能够抓取住伸进所述通孔的螺丝、且能够控制所述螺丝旋转；如图3所示，包括以下步骤：

步骤301：基于基于实施例一中的方法、获取汽车的端部的若干安装孔的基于机械臂坐标系的三维坐标、以及所述二维图像中若干安装孔的二维中心坐标；其中，二维中心坐标是基于相机坐标系的；

步骤302：基于若干二维中心坐标和若干三维坐标、得到变换矩阵；基于所述变换矩阵和所述螺丝的长度得到车牌安装姿态；

这里，在很多汽车中，牌照安装部位所处的平面是一个向前倾或向后倾的斜面，因此，需要获取车牌安装姿态，即需要将车牌也进行相应的倾斜才可以。

这里，假设一共有四个安装孔，该四个安装孔基于机械臂坐标系的三维坐标分别为：A(-0.2,0.8,1.2)、B(0.4,0.8,1.2)、C(0.4,1,1.2)和D(-0.2,0.8,1.2)，二维图像中四个安装孔的二维中心坐标分别为：A(-0,0,0)、B(0.6,0,0)、C(0.6,0.2,0)和D(0,0.2,0)，计算得相机坐标系到机械臂坐标系的变换矩阵为：

基于变换矩阵T_tw得到车牌安装姿态为(-0.2,0.8,1.2,0,0,0)。

步骤303：基于所述车牌安装姿态、控制所述机械手运动。

例如，根据螺丝长度进行校正得到(-0.2,0.8,1.19,0,0,0)，在后再控制机械手运动，让牌照上的通孔对准安装孔，然后使用螺丝拧紧就可以了。

应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (6)

1.一种用于汽车牌照安装设备的获取安装孔位置的方法，所述汽车牌照安装设备包括：机械臂，所述机械臂的机械手上安装有二维摄像头和三维摄像头；其特征在于，包括以下步骤：

通过所述机械臂控制所述机械手运动，且通过二维摄像头获取汽车的端部的二维图像，首先，在固定位置控制二维摄像头拍摄所述端部的图片，然后使用图像识别算法来识别该图像中是否有安装孔，如果没有则将机械手移动到下一个位置，然后继续拍摄，直至拍摄的图像中包含有该安装孔；且通过三维摄像头生成所述端部的点云模型，所述点云模型包括：所述端部的外表面的点的基于相机坐标系的三维坐标、以及颜色；

从所述二维图像中获取安装孔的二维中心坐标P2d，从所述点云模型中获取所述二维中心坐标P2d对应的三维中心坐标P3d，生成所述三维中心坐标P3d对应的齐次坐标Pct；其中，P2d、P3d和Pct是基于相机坐标系；所述安装孔的基于机械臂坐标系的三维坐标＝Thw*Tch*Pct，其中，Tch为相机坐标系到机械手坐标系之间的标定矩阵，Thw为机械手坐标系到机械臂坐标系之间的变换矩阵；所述“从所述二维图像中获取安装孔的二维中心坐标P2d”具体包括：步骤1、对二维图像进行灰度化处理，然后去噪；步骤2、图像二值化处理；步骤3、贴标签；步骤4、首先计算贴标签后的图像不同连通区域的面积，提取各连通区域的边界，计算各连通区域的周长，然后计算各连通区域的圆形度，通过圆形度识别圆孔；步骤5、获取圆孔的质心，获得该质心的二维坐标，该二维坐标记为安装孔的二维中心坐标P2d。

2.根据权利要求1所述的获取安装孔位置的方法，其特征在于：

所述Thw为基于机械手的姿态的六轴向量而得到的。

3.一种用于汽车牌照安装设备的获取安装孔位置的装置，所述汽车牌照安装设备包括：机械臂，所述机械臂的机械手上安装有二维摄像头和三维摄像头；其特征在于，包括以下模块：

信息获取模块，用于通过所述机械臂控制所述机械手运动，且通过二维摄像头获取汽车的端部的二维图像，首先，在固定位置控制二维摄像头拍摄所述端部的图片，然后使用图像识别算法来识别该图像中是否有安装孔，如果没有则将机械手移动到下一个位置，然后继续拍摄，直至拍摄的图像中包含有该安装孔；且通过三维摄像头生成所述端部的点云模型，所述点云模型包括：所述端部的外表面的点的基于相机坐标系的三维坐标、以及颜色；

控制模块，用于从所述二维图像中获取安装孔的二维中心坐标P2d，从所述点云模型中获取所述二维中心坐标P2d对应的三维中心坐标P3d，生成所述三维中心坐标P3d对应的齐次坐标Pct；其中，P2d、P3d和Pct是基于相机坐标系；所述安装孔的基于机械臂坐标系的三维坐标＝Thw*Tch*Pct，其中，Tch为相机坐标系到机械手坐标系之间的标定矩阵，Thw为机械手坐标系到机械臂坐标系之间的变换矩阵；所述“从所述二维图像中获取安装孔的二维中心坐标P2d”具体包括：步骤1、对二维图像进行灰度化处理，然后去噪；步骤2、图像二值化处理；步骤3、贴标签；步骤4、首先计算贴标签后的图像不同连通区域的面积，提取各连通区域的边界，计算各连通区域的周长，然后计算各连通区域的圆形度，通过圆形度识别圆孔；步骤5、获取圆孔的质心，获得该质心的二维坐标，该二维坐标记为安装孔的二维中心坐标P2d。

4.根据权利要求3所述的获取安装孔位置的装置，其特征在于：

所述Thw为基于机械手的姿态的六轴向量而得到的。

5.一种用于汽车牌照安装设备的安装牌照的方法，所述汽车牌照安装设备包括牌照抓取装置和螺丝抓取装置，所述牌照抓取装置能够抓取牌照，所述牌照的四周设置有若干通孔，所述若干通孔与汽车的端部的若干安装孔一一对应；所述螺丝抓取装置能够抓取住伸进所述通孔的螺丝、且能够控制所述螺丝旋转；其特征在于，包括以下步骤：

基于权利要求1-2任一项所述的获取安装孔位置的方法、获取汽车的端部的若干安装孔的基于机械臂坐标系的三维坐标、以及所述二维图像中若干安装孔的二维中心坐标；其中，二维中心坐标是基于相机坐标系的；

基于若干二维中心坐标和若干三维坐标、得到变换矩阵；基于所述变换矩阵和所述螺丝的长度得到车牌安装姿态；

基于所述车牌安装姿态、控制所述机械手运动。

6.一种用于汽车牌照安装设备的安装牌照的装置，所述汽车牌照安装设备包括牌照抓取装置和螺丝抓取装置，所述牌照抓取装置能够抓取牌照，所述牌照的四周设置有若干通孔，所述若干通孔与汽车的端部的若干安装孔一一对应；所述螺丝抓取装置能够抓取住伸进所述通孔的螺丝、且能够控制所述螺丝旋转；其特征在于，包括以下模块：

安装孔坐标获取模块，用于基于权利要求1-2任一项所述的获取安装孔位置的方法、获取汽车的端部的若干安装孔的基于机械臂坐标系的三维坐标、以及所述二维图像中若干安装孔的二维中心坐标；其中，二维中心坐标是基于相机坐标系的；

车牌安装姿态，用于基于若干二维中心坐标和若干三维坐标、得到变换矩阵；基于所述变换矩阵和所述螺丝的长度得到车牌安装姿态；

安装模块，用于基于所述车牌安装姿态、控制所述机械手运动。

Images