CN116934867A - 一种摄像头标定方法 - Google Patents

Abstract

本发明公开了一种摄像头标定方法，机器人在进行摄像头的内外参标定时，先通过标定板的图像对摄像头的内参进行优化，然后通过根据标定板的图像获取的摄像头相对于每块标定板的位姿和预先获取的标定治具的标定板相对于标定治具的中心点的位姿，来标定摄像头的外参，使机器人可以在一次摄像头标定操作中，完成摄像头的内参和外参的标定，缩短标定摄像头的内参和外参的时间，提高机器人的量产效率；机器人在摄像头标定前获取标定治具的标定板相对于标定治具的中心点的位姿，只要将不同的外参的机器人的中心点与标定治具的中心点重合，就可以通过标定治具的标定板相对于标定治具的中心点的位姿计算出机器人的外参。

Description

一种摄像头标定方法

技术领域

本发明涉及摄像头技术领域，具体涉及一种摄像头标定方法。

背景技术

在计算机视觉和图形学领域，对于安防监控、互动体感游戏、自动驾驶、环境3D建模等应用场景，都需要对摄像头进行外参标定，从而实现真实物理空间与摄像头视野的位置关系映射。例如对于机器人来说，摄像头是机器人获取外部信息的重要设备，机器人为了获得基于自身坐标系的外部信息的准确位置，就需要对摄像头进行内外参标定。目前，针对机器人的摄像头的内外参进行校准时，业界通常做法为对摄像头内参和外参分开标定，需要进行两次标定操作，需要耗费较多的时间，降低量产的效率。

发明内容

为解决上述问题，本发明提供了一种摄像头标定方法。本发明的具体技术方案如下：

一种摄像头标定方法，该方法包括以下步骤：S1：机器人通过摄像头获取标定治具的标定板的图像，然后从标定板的图像中识别出标定点；S2：机器人根据标定板上的标定点在标定板上的位置和图像中的标定点在图像上的位置，来标定摄像头的内参和获取摄像头相对于每块标定板的位姿；S3：机器人对摄像头的内参标定结果进行检测，若检测结果正确，则进入步骤S4，若检测结果不正确，则重新对摄像头的内参进行标定；S4：机器人通过标定治具的标定板相对于标定治具的中心点的位姿和摄像头相对于每块标定板的位姿，来标定摄像头的外参。

进一步地，步骤S1中，机器人通过摄像头获取具有若干个标定板的图像，包括以下步骤：机器人移动到由若干个标定板构成的标定治具中，然后使机器人的中心点与标定治具的中心点重合；机器人使摄像头竖直向上，然后通过摄像头获取具有标定治具所有标定板的图像。

进一步地，步骤S1中，机器人从标定板的图像中识别出标定点，包括以下步骤：机器人检测标定板的图像中四边形的黑色区域；机器人按顺时针方向连接检测到的四边形的黑色区域；机器人获取四边形的黑色区域的内四边形；机器人通过角点检测将内四边形的四个端点作为标定板的标定点；其中，所述标定板为棋盘格标定板，所述内四边形的四条边分别与四边形的黑色区域相连。

进一步地，步骤S2中，机器人根据标定板上的标定点在标定板上的位置和图像中的标定点在图像上的位置，来标定摄像头的内参和获取摄像头相对于每块标定板的位姿，包括以下步骤：机器人获取标定点在标定板的物理坐标系上的物理坐标和图像中的标定点在图像上的像素坐标；机器人根据每块标定板相对于机器人中心点的初始位姿和摄像头的初始内参，将该标定板上的标定点投影到标定板的图像中得到标定板的标定点的投影坐标；机器人根据欧氏距离公式计算标定板的标定点的投影坐标和与该标定点相对应的图像中的标定点的像素坐标之间的欧氏距离；机器人根据获取的欧氏距离通过高斯牛顿法的迭代公式来对摄像头的内参进行优化，得到最佳的摄像头内参和摄像头相对于每块标定板的位姿。

进一步地，机器人在通过高斯牛顿法的迭代公式来对摄像头的内参进行优化时，在计算过程中获取到最小的欧氏距离时，将最小的欧氏距离对应的每块标定板与机器人中心点的位姿和摄像头的内参，作为最佳的摄像头内参和摄像头相对于每块标定板的位姿。

进一步地，机器人获取标定板相对于机器人中心点的初始位姿，包括以下步骤：机器人过标定板的左上角的角点做垂直于标定板的垂线；机器人将垂直于标定板的垂线与机器人的前进方向之间的夹角作为标定板与机器人的夹角；机器人获取机器人的中心点与标定板的左上角的角点之间的距离；机器人根据标定板与机器人的夹角和机器人的中心点与标定板的左上角的角点之间的距离，组合得到标定板相对于机器人中心点的初始位姿。

进一步地，机器人获取标定点在标定板的物理坐标系上的物理坐标，包括以下步骤：机器人以每块标定板的左上角的角点为原点，标定板连接左上角的角点的两条边分别为X轴和Y轴，构建物理坐标系；机器人根据标定点在标定板上的位置，获取标定点在物理坐标系上的坐标。

进一步地，步骤S3中，机器人对摄像头的内参标定结果进行检测，包括以下步骤：机器人对图像中的标定点进行分类，确定识别出的标定点所属的标定板；机器人将识别出的属于同一块标定板的标定点的像素坐标，通过摄像头内参和摄像头相对于该标定板的位姿转换为该标定板的物理坐标系的物理坐标，得到图像的标定点的物理坐标；

机器人获取图像的标定点的物理坐标和与该图像的标定点相对应的标定板的标定点的物理坐标的欧氏距离，若有设定数量的欧氏距离的平均值大于第一设定阈值，则判断该标定板标定错误，反之，则标定正确；机器人将标定正确的同一块标定板的标定点拟合成若干条标定点直线，然后比较相邻且平行的两条标定点直线之间的垂直距离，若任意两条标定点直线之间的垂直距离大于第二设定阈值，则判断该标定板标定错误，反之，则标定正确；机器人将标定错误的标定板和识别出的属于该标定板的标定点删除，然后再次重新对摄像头的内参进行标定。

进一步地，步骤S2中，机器人对识别出的标定点进行分类，确定识别出的标定点所属的标定板，包括以下步骤：A1：机器人随机选取与标定板数量相同的标定点作为簇的中心；A2：机器人获取标定点与各簇中心的簇距离，然后将标定点赋给簇距离最小的簇；A3：机器人获取每个簇的标定点的图像坐标的平均值，然后将所述平均值作为新的簇的中心；A4：机器人重复执行步骤A2和A3，直至每个簇的标定点的图像坐标的平均值不再改变，然后机器人根据每个簇的中心确定每个簇的标定点属于的标定板。

进一步地，步骤S4中，机器人通过标定治具的标定板相对于标定治具的中心点的位姿和摄像头相对于每块标定板的位姿，来标定摄像头的外参，包括以下步骤：机器人获取标定治具的标定板相对于标定治具的中心点的位姿的旋转矩阵；机器人获取摄像头相对于其中一块标定板的位姿的旋转矩阵；机器人对标定治具的标定板相对于标定治具的中心点的位姿的旋转矩阵和摄像头相对于其中一块标定板的位姿的旋转矩阵根据欧拉公式进行转换，得到摄像头的外参矩阵。

进一步地，机器人在进行摄像头标定前，先获取标定治具的标定板相对于标定治具的中心点的位姿，包括以下步骤：机器人使标定板在摄像头的拍摄范围内，然后移动到不同的预设位置来获取若干张标定板的图像，并获取移动时的IMU数据；机器人从获取的标定板的图像中识别出标定点，然后根据识别出的标定点，采用非线性优化算法计算出在不同的预设位置摄像头相对于标定板的位姿；机器人根据IMU数据和在不同的预设位置摄像头相对于标定板的位姿，采用非线性优化算法计算出摄像头相对于机器人的中心点的位姿；机器人移动到由若干个标定板构成的标定治具中，然后将当前机器人的中心点所处的位置设置为标定治具的中心点；机器人使摄像头竖直向上，然后通过摄像头获取具有标定治具所有标定板的图像，并从标定板的图像中识别出标定点；机器人根据标定板上的标定点在标定板上的位置和图像中的标定点在图像上的位置，来获取摄像头相对于每块标定板的位姿；机器人根据摄像头相对于每块标定板的位姿和摄像头相对于机器人的中心点的位姿，采用矩阵变换的方式获取标定治具的标定板相对于标定治具的中心点的位姿。

与现有的技术相比，本申请的有益之处在于：本申请所述的机器人在进行摄像头的内外参标定时，先通过标定板的图像对摄像头的内参进行优化，提高摄像头的准确率；然后通过根据标定板的图像获取的摄像头相对于每块标定板的位姿和预先获取的标定治具的标定板相对于标定治具的中心点的位姿，来标定摄像头的外参，使机器人可以在一次摄像头标定操作中，完成摄像头的内参和外参的标定，缩短标定摄像头的内参和外参的时间，提高机器人的量产效率；机器人在摄像头标定前获取标定治具的标定板相对于标定治具的中心点的位姿，只要将不同的外参的机器人的中心点与标定治具的中心点重合，就可以通过标定治具的标定板相对于标定治具的中心点的位姿计算出机器人的外参，灵活性较高；所述的机器人在通过标定板的图像对摄像头的内参进行标定后，通过对摄像头的内参进行验证，来提高摄像头的内参标定结果的准确率和采用相同数据的摄像头的外参标定结果的准确率。

附图说明

图1为本发明一种实施例中摄像头标定方法的流程示意图。

具体实施方式

下面详细描述本发明的实施例，所述的实施例示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。

下面结合说明书的附图，通过对本发明的具体实施方式作进一步的描述，使本发明的技术方案及其有益效果更加清楚、明确。下面通过参考附图描述实施例是示例性的，旨在解释本发明，而不能理解为对本发明的限制。

如图1所示，一种摄像头标定方法，该方法包括以下步骤：

S1：机器人通过摄像头获取标定治具的标定板的图像，然后从标定板的图像中识别出标定点。标定治具由若干块标定板构成，标定板的数量和尺寸根据机器人的需求来调整，不对标定板的数量和尺寸进行限定。标定板可以是棋盘格标定板、ArUco标定板(ArUco是一个根据预设黑白markers(二维码)来估计相机位姿的开源库)或ChArUco标定板(ChArUco标定板由棋盘格标定板和ArUco标定板组合得到)等，根据标定板的类型，标定点可以是角点、圆点或Charuco角等等。机器人可以通过角点检测算法从标定板的图像中识别出标定点。S2：机器人根据标定板上的标定点在标定板上的位置和图像中的标定点在图像上的位置，来标定摄像头的内参和获取摄像头相对于每块标定板的位姿。标定板上的标定点为现实中标定治具中的标定板上的点，标定板上的标定点在标定板上的位置由标定板的类型和尺寸来确定，不同类型和尺寸的标定板的标定点在标定板上的位置都是不同的，用户可以在标定摄像头前通过辅助工具检测出来。图像中的标定点为标定板图像中识别出的标定点，图像中的标定点在图像上的位置为图像的像素坐标，根据机器人在图像中识别出标定点时，标定点所占据的像素点得到。S3：机器人对摄像头的内参标定结果进行检测，若检测结果正确，则进入步骤S4，若检测结果不正确，则对标定点进行处理后，通过步骤S2重新对摄像头的内参进行标定。在机器人确定摄像头的内参后，可以对内参标定结果进行检测来提高摄像头的内参标定结果的准确性。机器人标定的摄像头的内参一般为内参矩阵，内参矩阵包括焦距和中心。除此之外，对于广角摄像头来说，摄像头的内参为投影函数而不是内参矩阵，投影函数中包括焦距、中心和摄像头畸变参数。S4：机器人通过标定治具的标定板相对于标定治具的中心点的位姿和摄像头相对于每块标定板的位姿，来标定摄像头的外参。摄像头的外参为摄像头相对于机器人中心点的位姿。其中，本申请文件中，机器人在确定所述的摄像头相对于每块标定板的位姿、标定治具的标定板相对于标定治具的中心点的位姿和摄像头相对于机器人中心点的位姿时，摄像头的正方向为摄像头向前拍摄的方向，机器人的正方向为机器人的前进方向，标定治具的标定板的正方向根据标定板的物理坐标系来决定。本申请所述的机器人在进行摄像头的内外参标定时，先通过标定板的图像对摄像头的内参进行优化，提高摄像头的准确率。然后通过根据标定板的图像获取的摄像头相对于每块标定板的位姿和预先获取的标定治具的标定板相对于标定治具的中心点的位姿，来标定摄像头的外参，使机器人可以在一次摄像头标定操作中，完成摄像头的内参和外参的标定，缩短标定摄像头的内参和外参的时间，提高机器人的量产效率。机器人在摄像头标定前获取标定治具的标定板相对于标定治具的中心点的位姿，只要将不同的外参的机器人的中心点与标定治具的中心点重合，就可以通过标定治具的标定板相对于标定治具的中心点的位姿计算出机器人的外参，灵活性较高；所述的机器人在通过标定板的图像对摄像头的内参进行标定后，通过对摄像头的内参进行验证，来提高摄像头的内参标定结果的准确率和采用相同数据的摄像头的外参标定结果的准确率。

作为其中一种实施例，步骤S1中，机器人通过摄像头获取标定治具的标定板的图像，包括以下步骤：机器人移动到由若干个标定板构成的标定治具中，然后使机器人的中心点与标定治具的中心点重合，机器人的中心点与标定治具的中心点重合可以是水平面上的重合。标定治具的标定板一般围绕机器人设置，机器人在获取标定板的图像时，机器人使摄像头竖直向上，然后通过摄像头获取具有标定治具所有标定板的图像，为了使摄像头能捕捉到所有的标定板，机器人可以通过自转使标定治具的所有标定板落在摄像头的视角范围中，如果有标定板没有落入摄像头的视角范围，可以将该标定板去除。在本申请文件中，机器人的中心点可以是机器人水平截面的中心点，而标定治具的中心点在机器人获取标定治具的标定板相对于标定治具的中心点的位姿时，通过机器人的中心点来设置，并且在设置后不进行改变，设置的时间为机器人开始标定工作前。本申请所述的机器人通过使摄像头竖直向上的方式来获取标定板的图像，有利于机器人获取具有标定治具所有标定板的图像，提高标定效率。

作为其中一种实施例，步骤S1中，机器人从标定板的图像中识别出标定点，包括以下步骤：机器人检测标定板的图像中四边形的黑色区域。机器人按顺时针方向连接检测到的四边形的黑色区域。机器人获取四边形的黑色区域的内四边形。机器人通过角点检测将内四边形的四个端点作为标定板的标定点。其中，所述标定板为棋盘格标定板，所述内四边形的四条边分别与四边形的黑色区域相连，即所述四边形的黑色区域为棋盘格的黑色四边形，所述四边形的黑色区域的内四边形为棋盘格的白色四边形，由四个黑色四边形围成。机器人先从棋盘格标定板中识别出内四边形，然后将内四边形的四个端点作为标定点，有效去除棋盘格中与棋盘格的四条边相连的标定点，提高标定结果的准确率。

作为其中一种实施例，步骤S2中，机器人根据标定板上的标定点在标定板上的位置和图像中的标定点在图像上的位置，来标定摄像头的内参和获取摄像头相对于每块标定板的位姿，包括以下步骤：机器人获取标定点在标定板的物理坐标系上的物理坐标和图像中的标定点在图像上的像素坐标。机器人根据每块标定板相对于机器人中心点的初始位姿(可以手动测量标定板相对于机器人的中心点的距离计算出初始位姿)和摄像头的初始内参(从图像估算初始摄像头内参(或者从摄像头厂家获取))，将该标定板上的标定点投影到标定板的图像中得到标定板的标定点的投影坐标。机器人根据欧氏距离公式计算标定板的标定点的投影坐标和与该标定点相对应的图像中的标定点的像素坐标之间的欧氏距离。机器人根据获取的欧氏距离通过高斯牛顿法的迭代公式来对摄像头的内参进行优化，得到最佳的摄像头内参和摄像头相对于每块标定板的位姿。假设标定点在标定板的物理坐标系上的物理坐标为(x0，y0)，根据投影坐标转换得到标定板的标定点的投影坐标(x1，y1)，图像中的标定点在图像上的像素坐标为(x2，y2)，根据标定板的标定点的投影坐标和与该标定点相对应的图像中的标定点的像素坐标之间的欧氏距离为d＝sqrt((x1-x2)∧2-(y1-y2)∧2)。然后机器人根据高斯牛顿法的迭代公式来对摄像头的内参进行优化，θn+1＝θn-(JTJ)∧-1*JTd；其中，θn+1为更新后的内参或外参，θn为更新前的内参或外参，d为计算得到的欧氏距离，J为雅克比矩阵。机器人还可以通过Levenberg-Marquardt算法(LM算法是使用最广泛的非线性最小二乘算法，中文为列文伯格-马夸尔特法。它是利用梯度求最大(小)值的算法。)来优化每块标定板与机器人中心点的位姿和摄像头的内参。机器人在获取每块标定板相对于机器人中心点的初始位姿和摄像头的初始内参后，通过高斯牛顿法不断迭代优化每块标定板与机器人中心点的位姿和摄像头的内参，使机器人获取到的每块标定板与机器人中心点的位姿和摄像头的内参为最优值，提高计算结果的准确率。

作为其中一种实施例，机器人在通过高斯牛顿法的迭代公式来对摄像头的内参进行优化时，在计算过程中获取到最小的欧氏距离时，将最小的欧氏距离对应的每块标定板与机器人中心点的位姿和摄像头的内参，作为最佳的摄像头内参和摄像头相对于每块标定板的位姿。本申请文件中所述的欧氏距离为标定板的标定点和图像中的标定点的重投影误差，通过获取重投影误差的最小值来获取最优的每块标定板与机器人中心点的位姿和摄像头的内参，实用性较高。

作为其中一种实施例，机器人获取标定板相对于机器人中心点的初始位姿，包括以下步骤：机器人过标定板的左上角的角点做垂直于标定板的垂线；机器人将垂直于标定板的垂线与机器人的前进方向之间的夹角作为标定板与机器人的夹角；机器人获取机器人的中心点与标定板的左上角的角点之间的距离；机器人根据标定板与机器人的夹角和机器人的中心点与标定板的左上角的角点之间的距离，组合得到标定板相对于机器人中心点的初始位姿。机器人以自身的中点作为机器人坐标系的原点，机器人前进方向作为机器人坐标系的X轴，机器人的轮轴线作为机器人坐标系的Y轴，构建机器人坐标系，机器人根据机器人将垂直于标定板的垂线与机器人的前进方向之间的夹角、标定板的左上角的角点之间的距离和标定板的左上角的高度，就可以换算出每个标定板相对于机器人中心点的初始位姿。机器人根据标定板与机器人的夹角和机器人的中心点与标定板的左上角的角点之间的距离来计算出标定板相对于机器人中心点的位姿，提高计算速度。

作为其中一种实施例，机器人获取标定点在标定板的物理坐标系上的物理坐标，包括以下步骤：机器人以每块标定板的左上角的角点为原点，标定板连接左上角的角点的两条边分别为X轴和Y轴，构建物理坐标系。机器人根据标定点在标定板上的位置，获取标定点在物理坐标系上的坐标。机器人分别根据标定板的边来构建物理坐标系，提高计算的准确度。

作为其中一种实施例，步骤S3中，机器人对摄像头的内参标定结果进行检测，包括以下步骤：机器人对图像中的标定点进行分类，确定图像中识别出的标定点所属的标定板。机器人将识别出的属于同一块标定板的标定点的像素坐标，通过最优的摄像头内参和摄像头相对于该标定板的位姿转换为该标定板的物理坐标系的物理坐标，得到图像的标定点的物理坐标。机器人获取图像的标定点的物理坐标和与该图像的标定点相对应的标定板的标定点的物理坐标的欧氏距离，若有设定数量的图像的标定点的物理坐标和与该图像的标定点相对应的标定板的标定点的物理坐标的欧氏距离的平均值大于第一设定阈值，则判断该标定板标定错误，反之，则标定正确。机器人还可以将标定板的标定点的物理坐标转换为图像的像素坐标，然后再与相对应的图像的标定点的像素坐标计算欧氏距离。机器人将标定正确的同一块标定板的标定点拟合成若干条标定点直线，然后比较任意两条相邻且平行的标定点直线之间的垂直距离，若任意两条相邻且平行的标定点直线之间的垂直距离大于第二设定阈值，则判断该标定板标定错误，反之，则标定正确。机器人将标定错误的标定板和识别出的属于该标定板的标定点删除，然后再次通过步骤S2来重新对摄像头的内参进行标定。如果所有的标定板都标定错误，则机器人自转一定的角度，然后重新通过摄像头获取标定治具的标定板的图像，来标定摄像头的内参和外参。所述的机器人在通过标定板的图像对摄像头的内参进行标定后，通过对摄像头的内参进行验证，来提高摄像头的内参标定结果的准确率和采用相同数据的摄像头的外参标定结果的准确率。

作为其中一种实施例，步骤S2中，机器人对识别出的标定点进行分类，确定识别出的标定点所属的标定板，包括以下步骤：A1：机器人随机选取与标定板数量相同的标定点作为簇的中心，所述簇为点集。A2：机器人获取标定点与各簇中心的簇距离，然后将标定点赋给簇距离最小的簇。A3：机器人获取每个簇的标定点的图像坐标的平均值，然后将所述平均值作为新的簇的中心。A4：机器人重复执行步骤A2和A3，直至每个簇的标定点的图像坐标的平均值不再改变，然后机器人根据每个簇的中心确定每个簇的标定点属于的标定板。机器人通过聚类算法来对标定点进行分类，准确率较高。

作为其中一种实施例，步骤S4中，机器人通过预设的标定板相对于机器人中心的位姿和摄像头相对于每块标定板的位姿，来标定摄像头的外参，包括以下步骤：机器人获取预设的标定板相对于机器人中心的位姿的旋转矩阵。机器人获取摄像头相对于其中一块标定板的位姿的旋转矩阵。机器人对预设的标定板相对于机器人中心的位姿的旋转矩阵和摄像头相对于其中一块标定板的位姿的旋转矩阵根据欧拉公式进行转换，得到摄像头的外参矩阵。机器人通过矩阵变换的方式来获取摄像头的外参，计算速度较快。

作为其中一种实施例，机器人在进行摄像头标定前，先获取标定治具的标定板相对于标定治具的中心点的位姿，包括以下步骤：机器人使标定板在摄像头的拍摄范围内，然后机器人移动到不同的预设位置来获取若干张标定板的图像，并获取移动时的IMU数据。机器人从获取的标定板的图像中识别出标定点，然后根据识别出的标定点，采用非线性优化算法计算出在不同的预设位置摄像头相对于标定板的位姿。机器人根据IMU数据和在不同的预设位置摄像头相对于标定板的位姿，采用非线性优化算法计算出摄像头相对于机器人的中心点的位姿。机器人获取摄像头的初始内参和根据IMU数据获取机器人在不同预设位置时每块标定板相对于机器人中心点的初始位姿。机器人分别从标定板的图像中识别出标定点，并获取标定点在标定板的物理坐标系上的物理坐标。机器人将标定板上的标定点的物理坐标分别投影到对应的标定板图像上，得到标定板的标定点的投影坐标。机器人根据欧氏距离公式计算标定板的标定点的投影坐标和与该标定点相对应的图像中的标定点的像素坐标之间的欧氏距离。机器人根据获取的欧氏距离通过高斯牛顿法的迭代公式来对摄像头的内参进行优化，得到最佳的摄像头相对于每块标定板的位姿。机器人根据每块标定板相对于机器人中心点的初始位姿和摄像头相对于每块标定板的位姿，通过高斯牛顿法的迭代公式来获取摄像头相对于机器人的中心点的位姿。机器人移动到由若干个标定板构成的标定治具中，然后将当前机器人的中心点所处的位置设置为标定治具的中心点，当标定治具的中心点设置完成后，标定治具用于标定其他机器人的摄像头时，标定治具的中心点不会改变。机器人使摄像头竖直向上，然后通过摄像头获取具有标定治具所有标定板的图像，并从标定板的图像中识别出标定点。机器人根据标定板上的标定点在标定板上的位置和图像中的标定点在图像上的位置，来获取摄像头相对于每块标定板的位姿。机器人根据摄像头相对于每块标定板的位姿和摄像头相对于机器人的中心点的位姿，采用矩阵变换的方式获取标定治具的标定板相对于标定治具的中心点的位姿。机器人在摄像头标定前获取标定治具的标定板相对于标定治具的中心点的位姿，只要将不同的外参的机器人的中心点与标定治具的中心点重合，就可以通过标定治具的标定板相对于标定治具的中心点的位姿计算出机器人的外参，灵活性较高。

与现有的技术相比，本申请的有益之处在于：本申请所述的机器人在进行摄像头的内外参标定时，先通过标定板的图像对摄像头的内参进行优化，提高摄像头的准确率。然后通过根据标定板的图像获取的摄像头相对于每块标定板的位姿和预先获取的标定治具的标定板相对于标定治具的中心点的位姿，来标定摄像头的外参，使机器人可以在一次摄像头标定操作中，完成摄像头的内参和外参的标定，缩短标定摄像头的内参和外参的时间，提高机器人的量产效率。机器人在摄像头标定前获取标定治具的标定板相对于标定治具的中心点的位姿，只要将不同的外参的机器人的中心点与标定治具的中心点重合，就可以通过标定治具的标定板相对于标定治具的中心点的位姿计算出机器人的外参，灵活性较高。

在说明书的描述中，参考术语“合一个实施例”、“优选地”、“示例”、“具体示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点，包含于本发明的至少一个实施例或示例中，在本说明书中对于上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或者示例中以合适方式结合。说明书的描述中连接的所述连接方式具有明显的效果和实用效力。

通过上述的结构和原理的描述，所属技术领域的技术人员应当理解，本发明不局限于上述的具体实施方式，在本发明基础上采用本领域公知技术的改进和替代均落在本发明的保护范围，应由各权利要求限定之。

Claims (11)

1.一种摄像头标定方法，其特征在于，该方法包括以下步骤：

S1：机器人通过摄像头获取标定治具的标定板的图像，然后从标定板的图像中识别出标定点；

S2：机器人根据标定板上的标定点在标定板上的位置和图像中的标定点在图像上的位置，来标定摄像头的内参和获取摄像头相对于每块标定板的位姿；

S3：机器人对摄像头的内参标定结果进行检测，若检测结果正确，则进入步骤S4，若检测结果不正确，则重新对摄像头的内参进行标定；

S4：机器人通过标定治具的标定板相对于标定治具的中心点的位姿和摄像头相对于每块标定板的位姿，来标定摄像头的外参。

2.根据权利要求1所述的一种摄像头标定方法，其特征在于，步骤S1中，机器人通过摄像头获取具有若干个标定板的图像，包括以下步骤：

机器人移动到由若干个标定板构成的标定治具中，然后使机器人的中心点与标定治具的中心点重合；

机器人使摄像头竖直向上，然后通过摄像头获取具有标定治具所有标定板的图像。

3.根据权利要求2所述的一种摄像头标定方法，其特征在于，步骤S1中，机器人从标定板的图像中识别出标定点，包括以下步骤：

机器人检测标定板的图像中四边形的黑色区域；

机器人按顺时针方向连接检测到的四边形的黑色区域；

机器人获取四边形的黑色区域的内四边形；

机器人通过角点检测将内四边形的四个端点作为标定板的标定点；

其中，所述标定板为棋盘格标定板，所述内四边形的四条边分别与四边形的黑色区域相连。

4.根据权利要求3所述的一种摄像头标定方法，其特征在于，步骤S2中，机器人根据标定板上的标定点在标定板上的位置和图像中的标定点在图像上的位置，来标定摄像头的内参和获取摄像头相对于每块标定板的位姿，包括以下步骤：

机器人获取标定点在标定板的物理坐标系上的物理坐标和图像中的标定点在图像上的像素坐标；

机器人根据每块标定板相对于机器人中心点的初始位姿和摄像头的初始内参，将该标定板上的标定点投影到标定板的图像中得到标定板的标定点的投影坐标；

机器人根据欧氏距离公式计算标定板的标定点的投影坐标和与该标定点相对应的图像中的标定点的像素坐标之间的欧氏距离；

机器人根据获取的欧氏距离通过高斯牛顿法的迭代公式来对摄像头的内参进行优化，得到最佳的摄像头内参和摄像头相对于每块标定板的位姿。

5.根据权利要求4所述的一种摄像头标定方法，其特征在于，机器人在通过高斯牛顿法的迭代公式来对摄像头的内参进行优化时，在计算过程中获取到最小的欧氏距离时，将最小的欧氏距离对应的每块标定板与机器人中心点的位姿和摄像头的内参，作为最佳的摄像头内参和摄像头相对于每块标定板的位姿。

6.根据权利要求4所述的一种摄像头标定方法，其特征在于，机器人获取标定板相对于机器人中心点的初始位姿，包括以下步骤：

机器人过标定板的左上角的角点做垂直于标定板的垂线；

机器人将垂直于标定板的垂线与机器人的前进方向之间的夹角作为标定板与机器人的夹角；

机器人获取机器人的中心点与标定板的左上角的角点之间的距离；

机器人根据标定板与机器人的夹角和机器人的中心点与标定板的左上角的角点之间的距离，组合得到标定板相对于机器人中心点的初始位姿。

7.根据权利要求4所述的一种摄像头标定方法，其特征在于，机器人获取标定点在标定板的物理坐标系上的物理坐标，包括以下步骤：

机器人以每块标定板的左上角的角点为原点，标定板连接左上角的角点的两条边分别为X轴和Y轴，构建物理坐标系；

机器人根据标定点在标定板上的位置，获取标定点在物理坐标系上的坐标。

8.根据权利要求7所述的一种摄像头标定方法，其特征在于，步骤S3中，机器人对摄像头的内参标定结果进行检测，包括以下步骤：

机器人对图像中的标定点进行分类，确定识别出的标定点所属的标定板；

机器人将识别出的属于同一块标定板的标定点的像素坐标，通过摄像头内参和摄像头相对于该标定板的位姿转换为该标定板的物理坐标系的物理坐标，得到图像的标定点的物理坐标；

机器人获取图像的标定点的物理坐标和与该图像的标定点相对应的标定板的标定点的物理坐标的欧氏距离，若有设定数量的欧氏距离的平均值大于第一设定阈值，则判断该标定板标定错误，反之，则标定正确；

机器人将标定正确的同一块标定板的标定点拟合成若干条标定点直线，然后比较相邻且平行的两条标定点直线之间的垂直距离，若任意两条标定点直线之间的垂直距离大于第二设定阈值，则判断该标定板标定错误，反之，则标定正确；

机器人将标定错误的标定板和识别出的属于该标定板的标定点删除，然后再次重新对摄像头的内参进行标定。

9.根据权利要求8所述的一种摄像头标定方法，其特征在于，步骤S2中，机器人对识别出的标定点进行分类，确定识别出的标定点所属的标定板，包括以下步骤：

A1：机器人随机选取与标定板数量相同的标定点作为簇的中心；

A2：机器人获取标定点与各簇中心的簇距离，然后将标定点赋给簇距离最小的簇；

A3：机器人获取每个簇的标定点的图像坐标的平均值，然后将所述平均值作为新的簇的中心；

A4：机器人重复执行步骤A2和A3，直至每个簇的标定点的图像坐标的平均值不再改变，然后机器人根据每个簇的中心确定每个簇的标定点属于的标定板。

10.根据权利要求8所述的一种摄像头标定方法，其特征在于，步骤S4中，机器人通过标定治具的标定板相对于标定治具的中心点的位姿和摄像头相对于每块标定板的位姿，来标定摄像头的外参，包括以下步骤：

机器人获取标定治具的标定板相对于标定治具的中心点的位姿的旋转矩阵；

机器人获取摄像头相对于其中一块标定板的位姿的旋转矩阵；

机器人对标定治具的标定板相对于标定治具的中心点的位姿的旋转矩阵和摄像头相对于其中一块标定板的位姿的旋转矩阵根据欧拉公式进行转换，得到摄像头的外参矩阵。

11.根据权利要求10所述的一种摄像头标定方法，其特征在于，机器人在进行摄像头标定前，先获取标定治具的标定板相对于标定治具的中心点的位姿，包括以下步骤：

机器人使标定板在摄像头的拍摄范围内，然后移动到不同的预设位置来获取若干张标定板的图像，并获取移动时的IMU数据；

机器人从获取的标定板的图像中识别出标定点，然后根据识别出的标定点，采用非线性优化算法计算出在不同的预设位置摄像头相对于标定板的位姿；

机器人根据IMU数据和在不同的预设位置摄像头相对于标定板的位姿，采用非线性优化算法计算出摄像头相对于机器人的中心点的位姿；

机器人移动到由若干个标定板构成的标定治具中，然后将当前机器人的中心点所处的位置设置为标定治具的中心点；

机器人使摄像头竖直向上，然后通过摄像头获取具有标定治具所有标定板的图像，并从标定板的图像中识别出标定点；

机器人根据标定板上的标定点在标定板上的位置和图像中的标定点在图像上的位置，来获取摄像头相对于每块标定板的位姿；

机器人根据摄像头相对于每块标定板的位姿和摄像头相对于机器人的中心点的位姿，采用矩阵变换的方式获取标定治具的标定板相对于标定治具的中心点的位姿。