CN110766760B - 用于相机标定的方法、装置、设备和存储介质 - Google Patents

Abstract

本公开的实施例提供了用于相机标定的方法、装置、设备和计算机可读存储介质，涉及自动驾驶领域。该方法包括：确定相机的第一外参数，第一外参数指示相机坐标系与世界坐标系的转换关系；获取相机的第二外参数，第二外参数基于相机先前捕获的第二图像而被确定；基于第二外参数和位置信息，从第一图像中确定第三点集合；以及基于第一点集合、第二点集合以及第三点集合，从第一外参数和第二外参数中确定与第一图像相对应的外参数。由此，可以使得标定的外参数更为平滑。

Description

用于相机标定的方法、装置、设备和存储介质

技术领域

本公开的实施例主要涉及计算机技术领域，可用于自动驾驶，并且更具体地，涉及用于相机标定的方法、装置、设备以及计算机可读存储介质。

背景技术

近年来，自动驾驶技术的发展越来越迅速。自动驾驶技术的基础是对车辆周围环境的感知，即识别周围环境的具体状况。已经提出，除了利用车载的传感器装置(例如，车载激光雷达或者车载相机)进行环境感知之外，还可以通过车外的传感器装置(例如，安装在路侧的相机)来获取车辆的环境信息，以更好地支持自动驾驶技术。然而，由于某些原因，安装在路侧的相机的安装位置可能相对于初始安装位置出现抖动，进而影响例如基于路侧相机所捕获的图像数据所确定的车辆或障碍物的位置的准确性。这种位置的误差对于自动驾驶可能是无法接受的。

发明内容

根据本公开的实施例，提供了一种用于相机标定的方案。

在本公开的第一方面中，提供了一种用于相机标定的方法。该方法包括：基于从由相机所捕获的第一图像中确定与预定的参考线对应的第一点集合和第一图像中基于参考线在三维地图中的位置信息确定的第二点集合，确定相机的第一外参数，第一外参数指示相机坐标系与世界坐标系的转换关系；获取相机的第二外参数，第二外参数基于相机先前捕获的第二图像而被确定；基于第二外参数和位置信息，从第一图像中确定第三点集合；以及基于第一点集合、第二点集合以及第三点集合，从第一外参数和第二外参数中确定与第一图像相对应的外参数。

在本公开的第二方面中，提供了一种用于相机标定的装置。该装置包括：第一外参数确定模块，被配置为基于从由相机所捕获的第一图像中确定与预定的参考线对应的第一点集合和第一图像中基于参考线在三维地图中的位置信息确定的第二点集合，确定相机的第一外参数，第一外参数指示相机坐标系与世界坐标系的转换关系；第一外参数获取模块，被配置为获取相机的第二外参数，第二外参数基于相机先前捕获的第二图像而被确定；外参数选择模块，被配置为基于第二外参数和位置信息，从第一图像中确定第三点集合；以及基于第一点集合、第二点集合以及第三点集合，从第一外参数和第二外参数中确定与第一图像相对应的外参数。

在本公开的第三方面中，提供了一种电子设备，包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开的第一方面的方法。

在本公开的第四方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方面的方法。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：

图1示出了本公开的多个实施例能够在其中实现的示例环境的示意图；

图2示出了根据本公开的一些实施例的用于相机标定的方法的流程图；

图3示出了根据本公开的一些实施例的用于确定第一点集合的示例方法的流程图；

图4示出了将三维坐标点投影到第一图像的示意图；

图5示出了根据本公开的一些实施例的用于确定相机的第一外参数的示例方法的流程图；

图6示出了根据本公开的一些实施例的确定与第一图像对应的外参数的示例方法的流程图；

图7示出了根据本公开的一些实施例的更新外参数的示例方法的流程图；

图8示出了根据本公开的另一些实施例的更新外参数的示例方法的流程图；

图9示出了根据本公开的一些实施例的用于确定相机的外参数的装置的示意性结构框图；以及

图10示出了能够实施本公开的多个实施例的计算设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

如本文中使用的，术语“相机的外参数”例如可以是在相机坐标系与世界坐标系之间进行转换所需要的参数，例如平移矩阵、旋转矩阵，等等。术语“相机的内参数”例如可以是在图像坐标系和/或像素坐标系与相机坐标系之间进行转换所需要的参数，例如平移矩阵、旋转矩阵，等等。“标定相机的外参数”可以是指对相机坐标系与世界坐标系之间的转换参数的确定。

在本公开的上下文中，世界坐标系可以是指覆盖全球范围的参考坐标系统，其例如可以用于辅助车辆的自动驾驶或自主停车等，其示例包括UTM坐标系统、经纬度坐标系统，等等。相机坐标系的原点可以位于成像设备的光心，竖轴(z轴)可以与成像设备的光轴重合，横轴(x轴)和纵轴(y轴)可以与成像平面平行。像素坐标系的原点可以在图像的左上角，横轴和纵轴可以分别为图像所在的像素行和像素列，单位可以为像素。图像坐标系的原点可以在图像的中心(即像素坐标系的中点)，横轴和纵轴与像素坐标系平行，单位为可以毫米。但是，将理解，在其他的实施例中，这些坐标系也可以按照在本领域中所接受的其他合理的方式被定义。

根据本公开的各种实施例，提供了一种相机标定的方案。在本公开的实施例中，基于从由相机所捕获的第一图像中确定与预定的参考线对应的第一点集合和第一图像中基于参考线在三维地图中的位置信息确定的第二点集合，确定相机的第一外参数，第一外参数指示相机坐标系与世界坐标系的转换关系；获取相机的第二外参数，第二外参数基于相机先前捕获的第二图像而被确定；基于第二外参数和位置信息，从第一图像中确定第三点集合；以及基于第一点集合、第二点集合以及第三点集合，从第一外参数和第二外参数中确定与第一图像相对应的外参数。由此，可以使得标定的外参数更为平滑

以下将参照附图来具体描述本公开的实施例。

图1示出了本公开的多个实施例能够在其中实现的示例环境100的示意图。在该示例环境100中示意性示出了一些典型物体，包括道路102、以及在道路102上行驶的车辆110。如图1所示，道路102例如包括停止标志线115-1和车道标志线115-2(单独或统一称为标志线115)，此外，环境100中还包括用于感测道路102的环境信息的相机105。应当理解，这些示出的设施和物体仅是示例，根据实际情况，不同交通环境中存在可能出现的物体将会变化。本公开的范围在此方面不受限制。

车辆110可以是可以承载人和/或物并且通过发动机等动力系统移动的任何类型的车辆，包括但不限于轿车、卡车、巴士、电动车、摩托车、房车、火车等等。环境100中的一个或多个车辆110可以是具有一定自动驾驶能力的车辆，这样的车辆也被称为无人驾驶车辆。当然，环境100中的另外一个或一些车辆110还可以是不具有自动驾驶能力的车辆。

在一些实施例中，相机105可以被布置在道路102的上方。在一些实施例中，相机105例如还可以被布置在道路102的两侧。如图1所示，相机105可以通信地耦合到计算设备120。虽然被示出为单独的实体，但计算设备120可以被嵌入在相机105中。计算设备120也可以是相机105外部的实体，并且可以经由无线网络与相机105通信。计算设备120可以被实现为一个或多个计算设备，其至少包含处理器、存储器以及其他通常存在于通用计算机中的组件，以便实现计算、存储、通信、控制等功能。

在一些实施例中，相机105可以获取与道路102相关的环境信息(例如，车道线信息、道路边界信息或障碍物信息)，并将该环境信息发送至车辆110，以用于车辆110的行驶决策。在一些实施例中，相机105也可以基于相机的外参数和内参数以及所捕获的车辆110的图像，以确定车辆110的位置，并将该位置发送至车辆110，以实现车辆110的定位。能够看到，无论是获取准确的环境信息，还是确定准确的位置信息，确定相机准确的内参数及外参数都是必须的。

以下将结合图2至图6来描述根据本公开的实施例的相机标定的过程。图2示出了根据本公开的实施例的用于相机标定的方法200的流程图。方法200例如可以由图1中所示的计算设备120来执行。

如图2所示，在框202，计算设备120基于从由相机所捕获的第一图像中确定与预定的参考线对应的第一点集合和第一图像中基于参考线在三维地图中的位置信息确定的第二点集合，确定相机的第一外参数，其中第一外参数指示相机坐标系与世界坐标系的转换关系。

在一些实施例中，相机105可以实时获取周围环境的图像。计算设备120可以获取相机105当前拍摄的第一图像。计算设备120可以从由相机105所捕获的第一图像中确定与预定的参考线对应的第一点集合。在一些实施例中，参考线例如可以是环境中正交的两条线，例如图1中所示的道路102的车道标志线115-2和停止标志线115-1。在一些实施例中，参考线例如也可以是用于标定目的而在道路102上喷涂的特殊的标志线，例如一组或多组相交线。在一些实施例中，当已知至少两个特征点在世界坐标系和图像坐标系中的位置时，参考线也可以仅包括一条线。

在一些实施例中，计算设备120可以通过图像识别技术以从相机105所捕获的二维图像中确定与参考线对应的第一点集合。图3示出了根据本公开实施例的确定第一点集合的过程的流程图。

如图3所示，在框302，计算设备120可以获取第一图像的掩码图像。根据本公开的一些实施例，计算设备120可以获取由经校准后的相机105捕获的第一图像，其中在掩码图像中位于参考线上的点和位于参考线外的点被不同地标识。以图1作为示例，计算设备120可以利用标志线检测模型来确定标志线115(停止标志线115-1和车道标志线115-2)，可以在掩码图像中将被确定为停止标志线115-1和车道标志线115-2的点标记为白色，而将其他点标记为黑色，从而形成掩码图像。

例如，图4示出了将三维位置投影到第一图像的示意图400。如图4所示，停止标志线115-1和车道标志线115-2被示出为图4中的斜线区域。

在一些实施例中，计算设备120可以在获取第一图像前对相机105进行内参数标定。内参数是指与成像设备自身特性相关的参数。以相机为例，内参数是指比如焦距、像素大小等参数。在一些实施例中，相机105可以经畸变校正后捕获该第一图像。在一些实施例中，相机105可以经内参数标定和畸变校正后捕获该第一图像。由此可以有利于提高相机的外参数标定的准确性。

在框304，计算设备120可以从掩码图像中确定与位于参考线上的点相对应的区域的中心线。在一些实施例中，计算设备120例如可以利用骨骼提取模型来确定被标记为标志线115的区域的中心线。

在框306，计算设备120可以基于中心线确定第一点集合。在一些实施例中，计算设备120利用可以对所确定的中心线进行采样，以确定中心线上的多个点，以构成第一点集合。例如，如图4所示，计算设备120可以确定与标志线115所对应的多个点405(在图4中被示出为黑色实心点)，所标识的多个点405构成第一点集合。

在一些实施例中，计算设备120还可以基于参考线在三维地图中的位置信息，从第一图像中确定第二点集合。在一些实施例中，三维地图可以由地图数据采集车来采集环境100相关的信息并且基于这样的信息而生成。例如，针对没有GPS信号的场景，可以通过即时定位与地图构建(SLAM)方法，让采集车从室外有GPS信号的位置驶入该场景，利用车载激光雷达、摄像头以及环视影像采集系统来采集道路环境信息，之后进行识别和融合，以将采集到的数据叠加在一起，生成三维地图。应理解到，可以通过其它任意合适方式来生成三维地图，本申请对三维地图的生成方式并不做任何限制。

根据本公开的一些实施例，计算设备120可以从三维地图确定与参考线对应的位置信息。例如，计算设备120可以确定停止标志线115-1和车道标志线115-2在三维地图中的位置信息，这样的位置信息例如可以被表示为一组三维坐标点。

在一些实施例中，计算设备120可以获取相机105的初始外参数。在一些实施例，初始外参数例如可以是在安装相机105时所确定的，其至少可以指示相机105在世界坐标系中的位置和角度。在一些实施例中，初始外参数例如也可以是上次标定相机105所确定的外参数。

在一些实施例中，计算设备120可以基于初始外参数和参考线在三维地图中的位置信息，确定第一图像中的第二点集合。在一些实施例中，计算设备120可以基于初始外参数和相机105已知的内参数，而将位置信息所对应的一组三维坐标点投影到第一图像所对应的图像坐标系或像素坐标系中，从而获得第二点集合。

例如，如图4所示，基于参考线(例如，标志线115)在三维地图中的位置信息，计算设备120可以确定与位置信息所对应一组三维坐标点在第一图像中的投影点410(在图4中被示出为空心点)。该组投影点410构成了第二点集合。应当理解，第二点集合例如可以仅考虑落在第一图像的范围内的点。例如，由于三维地图中车道标志线115-2的距离较长，某些点可能被投影到第一图像外的点，这些点可以不被加入到第二点集合中。

在一些实施例中，计算设备120可以基于第一点集合与第二点集合的匹配来确定相机105的针对第一图像的第一外参数。以下将参考图5来描述框202的具体过程。图5示出了根据本公开实施例的确定第一外参数的过程的流程图。

如图5所示，在框502，计算设备120可以确定第一点集合和第二点集合的距离，其中该距离基于第二点集合中的点与第一点集合中的对应点之间的距离而确定。在一些实施例中，计算设备120可以从第一点集合中确定与第二点集合中的每个投影点相对应的临近点，其中临近点表示第一点集合中与投影点距离最近的点。例如，对于图4的示例，与投影点410最近的临近点为点405。

计算设备120随后可以确定第二点集合中的每个点与对应的临近点的距离。在一些实施例中，计算设备120例如可以将所有距离的总和确定作为第一点集合和第二点集合的距离。在一些实施例中，计算设备120例如还可以将所有距离的平均值确定作为第一点集合和第二点集合之间的距离。

在框504，根据第一点集合和第二点集合的距离大于预定的阈值的确定，计算设备120可以调整相机105的初始外参数。在一些实施例中，在一些实施例中，计算设备120可以基于最小重投影误差方法来调整相机105的初始外参数。具体地，计算设备120可以确定所述距离关于所述外参数的雅可比(Jacobi)矩阵，例如该雅可比矩阵可以表示为：

其中e表示第二点集合中的投影点与对应的临近点的距离，δξ表示位姿在李代数下的表示，其中X、Y、Z表示投影点在世界坐标系中的坐标，X’、Y’、Z’表示经位姿变换后在相机坐标系中的位置，f_x、f_y表示相机105的内参数，由此可见，雅可比矩阵给出了距离关于位姿的导数。计算设备120进一步可以基于所确定的雅克比矩阵来调整相机105的初始外参数。

在框506，计算设备120可以基于经调整的外参数确定经更新的第二点集合。应当理解，计算设备120可以利用经调整的外参数和相机105的内参数来将三维地图中与参考线对应的一组三维坐标点投影到第一图像中，以获得经更新的第二点集合。

在框508，计算设备120可以确定所述第一点集合与所述经更新的第二点集合的距离小于或等于第一阈值距离。响应于在框508确定距离仍大于第一阈值距离，则方法可以进行到框504，继续调整外参数，即进入下一次迭代。响应于在框508确定距离小于或等于第一阈值距离时，则方法可以进行到框510，即计算设备120可以将经调整的外参数确定为相机105的针对第一图像的第一外参数。

在一些实施例中，迭代的终止条件也可以被设置为当迭代达到预定的次数即终止迭代。也即，当第一点集合与第二点集合的距离大于预定的阈值时，计算设备120例如可以基于雅可比矩阵来调整初始的外参数直到调整的次数达到预定的次数阈值。计算设备120可以将迭代终止时所调整的初始外参数确定为相机105的外参数。

在一些实施例中，计算设备120也可以通过姿态搜索的方法来调整相机105的初始外参数。具体地，计算设备120可以通过搜索外参数所对应的六个自由度，即相机的安装位置的三维坐标以及相机的角度(俯仰角、偏航角和翻滚角)，并搜索可能的解空间中使得第一点集合和第二点集合距离最近的外参数。

在一些实施例中，如上文所描述的，参考线可以包括在世界坐标系中两条相交的线。基于上文的最小重投影误差方法或者姿态搜索的方法可以确定最优的外参数。

在一些实施例中，参考线例如可以仅包括一条线，例如，仅包括车道标志线115-2，在这种情况下，仅基于车道标志线115-2在三维地图中的位置信息和二维地图中的对应点可能无法获得唯一的外参数。在该实施例中，计算设备120可以利用已知位置的参考点作为另一约束来求解最优的外参数。具体地，计算设备120在确定外参数时，可以在满足将已知世界坐标系中的绝对位置的参考点匹配到第一图像中的参考点的前提下，通过最小冲投影误差或姿态搜索使得参考点所对应的第一点集合和第二点集合的距离小于预定的阈值，从而获得最优的外参数。应当理解，参考点可以是任何已知世界坐标的点，例如，已知位置的交通标志、已知位置的喷涂的参考点、或者其他任何已知位置的参考物。

继续参考图2，在框204，计算设备120获取相机105的第二外参数，其中第二外参数基于相机105先前捕获的第二图像而被确定。在一些实施例中，例如，第二图像可以是第一图像的前一帧图像。在一些实施例中，第二图像也可以是早于第一图像特定帧数的图像。应当理解，可以基于参考框202描述的过程来确定针对第二图像的第二外参数。所确定的第二外参数例如可以被存储在存储装置中，计算设备120可以从该存储装置中获取针对第二图像的第二外参数。

在框206，计算设备120基于第二外参数和位置信息，从第一图像中确定第三点集合。在一些实施例中，计算设备120可以基于所获取的第二外参数和相机105已知的内参数，而将位置信息所对应的一组三维坐标点投影到第一图像所对应的图像坐标系或像素坐标系中，从而获得第三点集合。

在框208，计算设备120基于第一点集合、第二点集合以及第三点集合，从第一外参数和第二外参数中确定与第一图像相对应的外参数。以下将结合图6来描述框208的具体过程，图6示出了根据本公开实施例的确定与第一图像对应的外参数的方法的过程。

如图6所示，在框602，计算设备120可以基于第一点集合和第二点集合确定针对第一外参数的第一评价度量。在一些实施例中，第一评价度量可以指示第一点集合与第二点集合的距离。如上文所讨论的，计算设备120可以确定第二点集合中的每个点与对应的临近点的距离。在一些实施例中，计算设备120例如可以将所有距离的总和确定作为第一点集合和第二点集合的距离。在一些实施例中，计算设备120例如还可以将所有距离的平均值确定作为第一点集合和第二点集合之间的距离。应当理解，当总距离越大时，其表示该外参数并不能够很好地反映相机当前的位姿，因此第一评价度量可以被较小地设置，例如被设置为与总距离成反比的数值(例如总距离的倒数)。

在一些实施例中，第一评价度量还可以指示第一点集合和第二点集合中匹配点对的数目，其中匹配点对中的点与另一点的距离小于第二阈值距离。第二集合中的点与第一集合中对应的临近点可以被称为匹配点对。当匹配的点数越多时，其表示该外参数能够较好地反映相机当前的位姿，因此，第一评价度量可以被较高的设置。

在一些实施例中，第一评价度量例如还可以指示第一点集合与第二点集合的距离和第一点集合和第二点集合中匹配点对的数目两者。例如，第一评价度量可以被取值为基于距离确定的值和基于匹配点对的数目确定的值的加权和。

在框604，计算设备120可以基于第一点集合和第三点集合，确定针对第二外参数的第二评价度量。类似地，第二评价度量可以指示以下中的至少一项：第一点集合与第三点集合的距离，或者第一点集合和第三点集合中匹配点对的数目。

在框606，计算设备120可以确定第一评价度量与第二评价度量的差异是否小于第一阈值。当在框606确定第一评价度量与第二评价度量的差异小于第一阈值，则方法进行到框608，即计算设备120可以将第二外参数确定为与第一图像相对应的外参数。相反，当在框606确定第一评价度量与第二评价度量的差异大于或等于第一阈值，则方法进行到框610，即计算设备120可以将第一外参数确定为与第一图像相对应的外参数。

以第一评价度量指示距离作为示例，当基于第一外参数确定的距离大于基于第二外参数确定的距离时，计算设备120可以确定第一外参数并没有优于第二外参数，因此计算设备120可以继续使用基于先前的第二图像所确定的第二外参数作为相机105的针对当前的第一图像的外参数。在一些实施例中，基于第一外参数确定的距离虽然小于基于第二外参数确定的距离，但两者的差异小于第一阈值时，计算设备120为了避免输出的外参数不平滑，而继续使用基于先前的第二图像所确定的第二外参数。

类似地，以第一评价度量指示匹配数目作为示例，只有在基于第一外参数确定的匹配点对的数目远优于基于第二外参数确定的匹配点对的数目时，计算设备120才将第一外参数确定作为针对第一图像的外参数。

在一些实施例中，计算设备120还可以仅在第一外参数确定的距离远小于基于第二外参数确定的距离、且基于第一外参数确定的匹配点对的数目远优于基于第二外参数确定的匹配点对的数目时，计算设备120才将第一外参数确定作为针对第一图像的外参数。

基于上文所述的方法，本公开的实施例避免所输出的相机外参数变化过大，进而在保证输出外参数质量的情况下，还能够使得输出的相机外参数更为平滑。

在一些实施例中，计算设备120还可以进一步将所确定的外参数与相机105的默认外参数进行比较，以确定是否采用默认外参数。图7示出了根据本公开的一些实施例的更新外参数的示例方法700的流程图。

如图7所示，在框702，计算设备120可以基于相机105的默认外参数和位置信息，从第一图像中确定第四点集合。在一些实施例中，相机105的默认外参数可以是在安装相机105时所确定的，其至少可以指示相机105在世界坐标系中的位置和角度。在一些实施例中，计算设备120可以基于默认外参数和相机105已知的内参数，而将位置信息所对应的一组三维坐标点投影到第一图像所对应的图像坐标系或像素坐标系中，从而获得第四点集合。

在框704，计算设备120可以基于第一点集合和第四点集合，确定针对默认外参数的第三评价度量。在一些实施例中，第三评价度量指示以下中的至少一项：第一点集合与第四点集合的距离，或者第一点集合和第四点集合中匹配点对的数目。应当理解，可以参考上文关于框602所描述的过程来确定针对默认外参数的第三评价度量。

在框706，计算设备120从第一评价度量和第二评价度量中确定针对经确定的外参数的第四评价度量。具体地，计算设备120可以获取基于方法200所确定的外参数是第一外参数还是第二外参数，从而确定与所确定的外参数对应的第四评价度量(第一评价度量或第二评价度量)。

在框708，计算设备120可以确定第四评价度量与第三评价度量的差异是否小于第二阈值。当在框708确定第四评价度量与第三评价度量的差异大于或等于第二阈值，则方法进行到框710，即计算设备120可以利用相机105的默认外参数更新经确定的外参数。例如，当所确定的外参数没有明显优于或者甚至差于离线外参数时，考虑到在安装相机105所确定的默认外参数时经过严格测量的，因此计算设备120可以使用相机105的默认外参数来代替所确定的外参数，从而避免因为某些错误导致所确定的外参数误差过大。

相反，当在框708确定第四评价度量与第三评价度量的差异小于第二阈值，则计算设备120可以继续使用所确定的外参数(图中未示出)。

在一些实施例中，计算设备120还可以通过用于确定外参数的匹配点对的数目来避免因为参考线的遮挡而导致所计算的外参数误差过大。图8示出了根据本公开的另一些实施例的更新外参数的示例方法800的流程图。

如图8所示，在框802，计算设备120可以确定第一点集合中用于确定经确定的外参数的点的数目。具体地，当基于方法200选择的外参数为第一外参数时，计算设备120可以确定该数目为第一点集合和第二点集合的匹配点对的数目。相反，当基于方法200选择的外参数为第二外参数时，计算设备120可以确定该数目为第一点集合和第三点集合的匹配点对的数目。

在框804，计算设备120可以确定该数目是否小于预定的数目阈值。当在框804确定该数目小于预定的数目阈值时，则方法800可以进行到框806，即计算设备120可以利用相机的默认外参数更新经确定的外参数。在一些实施例中，该数目阈值可以是基于历史的图像帧确定外参数时所使用的匹配点对的数目而确定的。例如，该数目阈值可以被设置为一定时间内历史的图像帧中用于确定外参数的匹配点对的数目的最大值。

在一些实施例中，当该数目过小时，其表示用于确定该外参数的匹配点的数目过低，也即，可能存在参考线被遮挡的情形，在这种情况下，计算设备120可以使用相机105的默认外参数来代替所确定的外参数，从而避免因为某些错误导致所确定的外参数误差过大。

相反，当在框804确定该数目大于或等于预定的数目阈值，则计算设备120可以继续使用所确定的外参数(图中未示出)。

在一些实施例中，由相机105捕获的第一图像还可以用于障碍物检测。应当理解，障碍物检测和上文所描述的相机标定过程例如可以利用不同的线程而并行地进行，从而提高处理效率。在一些实施例中，当从第一图像检测到障碍物时，计算设备120可以确定第一图像中与障碍物所对应的区域。应当理解，障碍物可以包括任何的动态障碍物，例如，车辆、行人、或动物等，障碍物也可以包括任何的静态障碍物。本公开不旨在对障碍物的类型进行任何的限定。

进一步地，计算设备120可以基于所确定的外参数和该区域，确定障碍物在世界坐标系中的位置。具体地，计算设备120可以利用相机已知的内参数和经确定的外参数，实现该区域从图像坐标系到世界坐标系的转换。

在一些实施例中，计算设备120还可以提供障碍物在世界坐标系中的位置。例如，计算设备120可以向周边的车辆(例如，车辆110)广播关于道路102的障碍物信息，从而为车辆的自动驾驶决策提供基础。在一些实施例中，计算设备120还可以基于所确定的外参数例如确定车辆110的位置，并将该位置发送至车辆110以实现车辆110的定位。

应当理解，虽然本公开的方法参考路测相机的示例来进行描述，但是应当理解，这样的环境仅是示意性的，本公开的方法还可以用于例如位于其他位置的相机(例如，安装在车辆上的相机的初始标定)的标定。本公开不旨在对相机所安装的位置进行任何的限定。

本公开的实施例还提供了用于实现上述方法或过程的相应装置。图9示出了根据本公开的一些实施例的相机标定的装置900的示意性结构框图。该装置900可以在例如图1的计算设备120处实施。

如图9所示，装置900可以包括第一外参数确定模块910，被配置为基于从由相机所捕获的第一图像中确定与预定的参考线对应的第一点集合和第一图像中基于参考线在三维地图中的位置信息确定的第二点集合，确定相机的第一外参数，第一外参数指示相机坐标系与世界坐标系的转换关系。装置900还可以包括第二外参数获取模块920，被配置为获取相机的第二外参数，第二外参数基于相机先前捕获的第二图像而被确定。此外，装置900还可以包括第三点集合确定模块930，被配置为基于第二外参数和位置信息，从第一图像中确定第三点集合。装置900还可以包括第一外参数选择模块940，被配置为基于第一点集合、第二点集合以及第三点集合，从第一外参数和第二外参数中确定与第一图像相对应的外参数。

在一些实施例中，第一外参数确定模块910包括：第一调整模块，被配置为响应于第一点集合与第二点集合的距离大于预定的阈值，调整相机的初始外参数，其中距离基于第二点集合中的点与第一点集合中的对应点之间的距离而确定；更新模块，被配置为基于经调整的初始外参数确定经更新的第二点集合；以及第一外参数输出模块，被配置为响应于第一点集合与经更新的第二点集合的距离小于或等于第一阈值距离，将经调整的初始外参数确定为相机的第一外参数。

在一些实施例中，第一调整模块包括：雅可比矩阵确定模块，确定距离关于外参数的雅可比矩阵；以及第二调整模块，被配置为基于雅可比矩阵调整初始外参数。

在一些实施例中，第一外参数选择模块940包括：第一评价度量确定模块，被配置为基于第一点集合和第二点集合，确定针对第一外参数的第一评价度量；第二评价度量确定模块，被配置为基于第一点集合和第三点集合，确定针对第二外参数的第二评价度量；以及第二外参数选择模块，被配置为响应于第一评价度量与第二评价度量的差小于第一阈值，将第二外参数确定为与第一图像相对应的外参数。

在一些实施例中，其中第一评价度量指示以下中的至少一项：第一点集合与第二点集合的距离，或者第一点集合和第二点集合中匹配点对的数目，其中匹配点对中的点与另一点的距离小于第二阈值距离。

在一些实施例中，第一外参数选择模块940还包括：第三外参数选择模块，响应于第一评价度量与第二评价度量的差大于或等于第一阈值，将第一外参数确定为与第一图像相对应的外参数。

在一些实施例中，装置900还包括：第四点集合确定模块，被配置为基于相机的默认外参数和位置信息，从第一图像中确定第四点集合；第三评价度量确定模块，被配置为基于第一点集合和第四点集合，确定针对默认外参数的第三评价度量，第三评价度量指示以下中的至少一项：第一点集合与第四点集合的距离，或者第一点集合和第四点集合中匹配点对的数目；第四评价度量确定模块，被配置为从第一评价度量和第二评价度量中确定针对经确定的外参数的第四评价度量；以及第一外参数更新模块，被配置为响应于第四评价度量与第三评价度量的差异大于或等于第二阈值，利用相机的默认外参数更新经确定的外参数。

在一些实施例中，装置900还包括：数目确定模块，被配置为确定第一点集合中用于确定经确定的外参数的点的数目；以及第二外参数更新模块，被配置为响应于数目小于预定的数目阈值，利用相机的默认外参数更新经确定的外参数。

在一些实施例中，装置900还包括：区域确定模块，被配置为响应于从第一图像检测到障碍物，确定第一图像中与障碍物对应的区域；以及位置确定模块，被配置为基于外参数和区域，确定障碍物在世界坐标系中的位置。

在一些实施例中，装置900还包括：提供模块，被配置为提供障碍物的位置。

装置900中所包括的单元可以利用各种方式来实现，包括软件、硬件、固件或其任意组合。在一些实施例中，一个或多个单元可以使用软件和/或固件来实现，例如存储在存储介质上的机器可执行指令。除了机器可执行指令之外或者作为替代，装置900中的部分或者全部单元可以至少部分地由一个或多个硬件逻辑组件来实现。作为示例而非限制，可以使用的示范类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)，等等。

图9中所示的这些单元可以部分或者全部地实现为硬件模块、软件模块、固件模块或者其任意组合。特别地，在某些实施例中，上文描述的流程、方法或过程可以由存储系统或与存储系统对应的主机或独立于存储系统的其它计算设备中的硬件来实现。

图10示出了可以用来实施本公开的实施例的示例设备1000的示意性框图。设备1000可以用于实现计算设备120。如图所示，设备1000包括中央处理单元(CPU)1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序指令或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序指令，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。CPU 1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理单元1001执行上文所描述的各个方法和处理，例如方法200、300、700和/或800。例如，在一些实施例中，方法200、300、700和/或800可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由CPU 1001执行时，可以执行上文描述的方法200、300、700和/或800的一个或多个步骤。备选地，在其他实施例中，CPU 801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法200、300、700和/或800。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (22)

1.一种用于相机标定的方法，包括：

基于从由相机所捕获的第一图像中确定与预定的参考线对应的第一点集合和所述第一图像中基于所述参考线在三维地图中的位置信息确定的第二点集合，确定所述相机的第一外参数，所述第一外参数指示相机坐标系与世界坐标系的转换关系；

获取所述相机的第二外参数，所述第二外参数基于所述相机先前捕获的第二图像而被确定；

基于所述第二外参数和所述位置信息，从所述第一图像中确定第三点集合；以及

基于第一点集合、所述第二点集合以及所述第三点集合，从所述第一外参数和所述第二外参数中确定与所述第一图像相对应的外参数。

2.根据权利要求1所述的方法，其中确定所述相机的所述第一外参数包括：

响应于所述第一点集合与所述第二点集合的距离大于预定的阈值，调整所述相机的初始外参数，其中所述距离基于所述第二点集合中的点与所述第一点集合中的对应点之间的距离而确定；

基于经调整的初始外参数确定经更新的第二点集合；以及

响应于所述第一点集合与所述经更新的第二点集合的距离小于或等于第一阈值距离，将经调整的初始外参数确定为所述相机的所述第一外参数。

3.根据权利要求2所述的方法，其中调整所述初始外参数包括：

确定所述距离关于所述外参数的雅可比矩阵；以及

基于所述雅可比矩阵调整所述初始外参数。

4.根据权利要求1所述的方法，其中从所述第一外参数和所述第二外参数确定与所述第一图像相对应的外参数包括：

基于所述第一点集合和所述第二点集合，确定针对所述第一外参数的第一评价度量；

基于所述第一点集合和所述第三点集合，确定针对所述第二外参数的第二评价度量；以及

响应于所述第一评价度量与所述第二评价度量的差异小于第一阈值，将所述第二外参数确定为与所述第一图像相对应的所述外参数。

5.根据权利要求4所述的方法，其中所述第一评价度量指示以下中的至少一项：所述第一点集合与所述第二点集合的距离，或者所述第一点集合和所述第二点集合中匹配点对的数目，其中所述匹配点对中的点与另一点的距离小于第二阈值距离。

6.根据权利要求4所述的方法，其中从所述第一外参数和所述第二外参数确定与所述第一图像相对应的外参数还包括：

响应于所述第一评价度量与所述第二评价度量的差异大于或等于所述第一阈值，将所述第一外参数确定为与所述第一图像相对应的所述外参数。

7.根据权利要求4至6中任一项所述的方法，还包括：

基于所述相机的默认外参数和所述位置信息，从所述第一图像中确定第四点集合；

基于所述第一点集合和所述第四点集合，确定针对所述默认外参数的第三评价度量，所述第三评价度量指示以下中的至少一项：所述第一点集合与所述第四点集合的距离，或者所述第一点集合和所述第四点集合中匹配点对的数目；

从所述第一评价度量和所述第二评价度量中确定针对经确定的所述外参数的第四评价度量；以及

响应于所述第四评价度量与所述第三评价度量的差异大于或等于第二阈值，利用所述相机的所述默认外参数更新经确定的所述外参数。

8.根据权利要求1所述的方法，还包括：

确定第一点集合中用于确定所述外参数的点的数目；以及

响应于所述数目小于预定的数目阈值，利用所述相机的默认外参数更新经确定的所述外参数。

9.根据权利要求1所述的方法，还包括：

响应于从所述第一图像检测到障碍物，确定所述第一图像中与所述障碍物对应的区域；以及

基于所述外参数和所述区域，确定所述障碍物在所述世界坐标系中的位置。

10.根据权利要求9所述的方法，还包括：

提供所述障碍物的所述位置。

11.一种用于相机标定的装置，包括：

第一外参数确定模块，被配置为基于从由相机所捕获的第一图像中确定与预定的参考线对应的第一点集合和所述第一图像中基于所述参考线在三维地图中的位置信息确定的第二点集合，确定所述相机的第一外参数，所述第一外参数指示相机坐标系与世界坐标系的转换关系；

第二外参数获取模块，被配置为获取所述相机的第二外参数，所述第二外参数基于所述相机先前捕获的第二图像而被确定；

第三点集合确定模块，被配置为基于所述第二外参数和所述位置信息，从所述第一图像中确定第三点集合；以及

第一外参数选择模块，被配置为基于第一点集合、所述第二点集合以及所述第三点集合，从所述第一外参数和所述第二外参数中确定与所述第一图像相对应的外参数。

12.根据权利要求11所述的装置，其中所述第一外参数确定模块包括：

第一调整模块，被配置为响应于所述第一点集合与所述第二点集合的距离大于预定的阈值，调整所述相机的初始外参数，其中所述距离基于所述第二点集合中的点与所述第一点集合中的对应点之间的距离而确定；

更新模块，被配置为基于经调整的初始外参数确定经更新的第二点集合；以及

第一外参数输出模块，被配置为响应于所述第一点集合与所述经更新的第二点集合的距离小于或等于第一阈值距离，将经调整的初始外参数确定为所述相机的所述第一外参数。

13.根据权利要求12所述的装置，其中所述第一调整模块包括：

雅可比矩阵确定模块，确定所述距离关于所述外参数的雅可比矩阵；以及

第二调整模块，被配置为基于所述雅可比矩阵调整所述初始外参数。

14.根据权利要求11所述的装置，其中所述第一外参数选择模块包括：

第一评价度量确定模块，被配置为基于所述第一点集合和所述第二点集合，确定针对所述第一外参数的第一评价度量；

第二评价度量确定模块，被配置为基于所述第一点集合和所述第三点集合，确定针对所述第二外参数的第二评价度量；以及

第二外参数选择模块，被配置为响应于所述第一评价度量与所述第二评价度量的差小于第一阈值，将所述第二外参数确定为与所述第一图像相对应的所述外参数。

15.根据权利要求14所述的装置，其中所述第一评价度量指示以下中的至少一项：所述第一点集合与所述第二点集合的距离，或者所述第一点集合和所述第二点集合中匹配点对的数目，其中所述匹配点对中的点与另一点的距离小于第二阈值距离。

16.根据权利要求14所述的装置，所述第一外参数选择模块还包括：

第三外参数选择模块，响应于所述第一评价度量与所述第二评价度量的差大于或等于所述第一阈值，将所述第一外参数确定为与所述第一图像相对应的所述外参数。

17.根据权利要求14至16中任一项所述的装置，还包括：

第四点集合确定模块，被配置为基于所述相机的默认外参数和所述位置信息，从所述第一图像中确定第四点集合；

第三评价度量确定模块，被配置为基于所述第一点集合和所述第四点集合，确定针对所述默认外参数的第三评价度量，所述第三评价度量指示以下中的至少一项：所述第一点集合与所述第四点集合的距离，或者所述第一点集合和所述第四点集合中匹配点对的数目；

第四评价度量确定模块，被配置为从所述第一评价度量和所述第二评价度量中确定针对经确定的所述外参数的第四评价度量；以及

第一外参数更新模块，被配置为响应于所述第四评价度量与所述第三评价度量的差异大于或等于第二阈值，利用所述相机的所述默认外参数更新经确定的所述外参数。

18.根据权利要求11所述的装置，还包括：

数目确定模块，被配置为确定第一点集合中用于确定所述外参数的点的数目；以及

第二外参数更新模块，被配置为响应于所述数目小于预定的数目阈值，利用所述相机的默认外参数更新经确定的所述外参数。

19.根据权利要求11所述的装置，还包括：

区域确定模块，被配置为响应于从所述第一图像检测到障碍物，确定所述第一图像中与所述障碍物对应的区域；以及

位置确定模块，被配置为基于所述外参数和所述区域，确定所述障碍物在所述世界坐标系中的位置。

20.根据权利要求19所述的装置，还包括：

提供模块，被配置为提供所述障碍物的所述位置。

21.一种电子设备，所述设备包括：

一个或多个处理器；以及

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一项所述的方法。

22.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1-10中任一项所述的方法。

Images