CN119006599B - 用于车辆轴距测量的图像处理方法、装置、系统 - Google Patents

Abstract

本发明涉及视觉图像处理技术领域，公开用于车辆轴距测量的图像处理方法、装置、系统，方法包括：步骤1，通过相机采集缓冲车位中所停车辆的前、后车轮的图像数据，对图像数据进行畸变矫正，得到矫正图像；步骤2，通过车轮接地点检测模型识别矫正图像中车辆前、后车轮的接地点数据，得到车辆轴距；步骤2包括：步骤2‑1，调用自训练的车轮接地点检测模型计算车辆前、后车轮的接地点在矫正图像中的像素位置；步骤2‑2，根据矫正图像中标定好的缓冲车位边界线，计算每个车轮接地点像素位置距离缓冲车位边界线的距离，根据向量法和勾股定理计算出车辆的轴距。本发明保证了车辆轴距的高精度非接触测量的准确性，还提升了测量的便捷性和效率。

Description

用于车辆轴距测量的图像处理方法、装置、系统

技术领域

本发明涉及视觉图像处理技术领域，特别涉及一种用于车辆轴距测量的图像处理方法、装置、系统。

背景技术

传统通过人工测量车辆轴距，但测量过程不仅耗时长，人工测量所使用的工具或设备也可能损伤车辆，造成损失。目前，采集车辆图像后通过深度学习或机器学习计算车辆的轴距，但由于缓冲车位的大小、车辆的型号众多，模型训练所需数据量非常的庞大，并且在采集车辆图像时容易受到相机参数的影响，使得模型输出预测不准确。因此，如何准确、快速的通过视觉图像方法测量车辆的轴距是亟待解决的问题。

发明内容

本发明的目的在于通过对视觉图像校正畸变，准确、快速的测量车辆轴距，提供一种用于车辆轴距测量的图像处理方法、装置、系统。

为了实现上述发明目的，本发明提供了以下技术方案：

用于车辆轴距测量的图像处理方法，包括以下步骤：

步骤1，通过相机采集缓冲车位中所停车辆的前、后车轮的图像数据，对图像数据进行畸变矫正，得到矫正图像；

所述步骤1中，对图像数据进行畸变矫正，得到矫正图像的步骤，包括：

步骤1-1，将图像从世界坐标系转换到像素坐标系；

步骤1-2，通过相机拍摄的标定板图像，标定相机，计算得到相机的内参矩阵与外参矩阵的积；

步骤1-3，基于内参矩阵与外参矩阵的积，计算内参矩阵和外参矩阵；

步骤1-4，求解径向畸变公式，对畸变矫正参数进行标定，得到矫正图像；

步骤2，通过车轮接地点检测模型识别矫正图像中车辆前、后车轮的接地点数据，从而得到车辆轴距；

所述步骤2具体包括以下步骤：

步骤2-1，调用自训练的车轮接地点检测模型计算车辆前、后车轮的接地点在矫正图像中的像素位置；

步骤2-2，根据矫正图像中标定好的缓冲车位边界线，计算每个车轮接地点像素位置距离缓冲车位边界线的距离，根据向量法和勾股定理计算出车辆的轴距。

用于车辆轴距测量的图像处理装置，包括：

图像采集模块，用于采集缓冲车位中车辆前、后车轮的图像数据；

畸变矫正模块，用于对图像数据进行畸变矫正，得到矫正图像；

车轮接地点检测模块，用于识别矫正图像中车辆前、后车轮的接地点数据，从而计算得到车辆轴距。

与现有技术相比，本发明的有益效果：本发明在无接触车辆的情况下通过视觉图像处理方法对车辆轴距进行测量，同时对相机进行畸变矫正，通过深度优化图像畸变矫正算法和智能识别技术的结合，不仅保证了车辆轴距的高精度非接触测量的准确性，还显著地提升了测量的便捷性和效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明方法流程图；

图2为本发明方法详细流程图；

图3为本发明实施例相机安装位置示意图；

图4为本发明实施例车轮与缓冲车位边界线距离的示意图；

图5为本发明实施例车轮接地点检测模型的网络结构示意图；

图6为本发明实施例装置模块框图；

图7为本发明实施例畸变矫正模块框图；

图8为本发明实施例车轮接地点检测模块框图；

图9为本发明实施例电子设备框图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性，或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

本发明通过下述技术方案实现，如图1、图2所示，一种用于车辆轴距测量的图像处理方法，包括以下步骤：

步骤1，通过相机采集缓冲车位中所停车辆的前、后车轮的图像数据，对图像数据进行畸变矫正，得到矫正图像。

将车辆驶入缓冲车位，如图3所示，缓冲车位由四块左右拉伸的传送带组成（左右是相对于车辆的左右方向），当车辆停好后，每个车轮分别对应于一块传送带的区域。在缓冲车位每块传送带的侧面居中位置的上方安装相机，在图3中用圆圈表示，距离传送带高度2m~3m，使得四个相机能全方位捕捉车辆四个车轮的图像数据，以及能够捕捉到与车轮最相近的两条缓冲车位的边界线。对于相机的布局不仅能确保采集到的图像数据全面且准确，还有助于后续算法的精确处理。车辆停好后，缓冲车位顶部示警灯由蓝色转变为白色，一方面提示有车辆，另一方面增强相机拍摄的光照环境，此时相机采集图像数据。

安装相机之前，通过匹配标定板的方式获取相机的内参矩阵，再将相机安装在缓冲车位上方，通过采集现场的图像数据获取相机的外参矩阵，然后利用相机成像原理求解内参矩阵与外参矩阵的积，从而对图像数据进行畸变矫正。

所述步骤1中，对图像数据进行畸变矫正，得到矫正图像的步骤，进一步包括：

步骤1-1，将图像从世界坐标系转换到像素坐标系。

在获取内参矩阵时，设P=(X,Y,Z)为拍摄场景中的一点，在针孔相机模型中，其要经过以下几个变换，最终变为二维图像上的像点，其中X、Y、Z分别为P点在世界坐标系中x轴、y轴、z轴的坐标：

①将P点从世界坐标系通过刚体变换（即旋转和平移）转换到相机坐标系，该转换过程使用的是相机间的相对位姿，也就是相机的外参数。

②从相机坐标系通过透视投影变换到相机的成像坐标系上的像点p`=(x,y)。

③将像点p`从成像坐标系通过缩放和平移变换到像素坐标系上的像点，其中、分别为p点在像素坐标系中的横、纵坐标。

将相机在场景中的三维点变换为图像中的二维点，也就是各个坐标系变换的组合，可将上述变换过程整理为矩阵相乘的形式：

定义K为相机的内参数：

其中，s表示第一尺度因子；表示图像上横向单位距离内的像素个数，表示图像上纵向单位距离内的像素个数；表示将相机的焦距fw变换为在x方向上的像素度量，表示将相机的焦距fw变换为在y方向上的像素度量；c_x、c_y分别表示图像中心点的横、纵坐标；R表示外参矩阵；表示平移向量。

步骤1-2，通过相机拍摄的标定板图像，标定相机，计算得到相机的内参矩阵与外参矩阵的积。

求解内参矩阵与外参矩阵的积，将世界坐标系固定于标定板上，本实施例假设一张标定板上有横向8个角点，纵向11个角点，共有8×11个角点。在标定板上选择任意一个点的物理坐标W=0，原单点无畸变的成像模型用下式表示：

其中，Z表示第二尺度因子，u、v分别表示像素坐标系下标定板中任一角点的横、纵坐标；A表示内参矩阵；(R1 R2 T)表示外参矩阵，R1表示外参矩阵的第一列，R2表示外参矩阵的第二列，T表示平移矢量；U、V表示(u,v)在世界坐标系下的横、纵坐标；f表示像距；dX、dY分别表示X、Y方向上的一个像素在相机感光板上的物理长度（相机感光板是指相机内部用于捕捉光线并将其转换为电信号的部件，也称为图像传感器；物理长度即为一个像素在相机感光板上的长度，单位为毫米），在相机标定过程中，得知dX和dY的准确值可以更精确地计算相机的焦距fw；表示相机感光板的横边和纵边之间的角度；u₀、v₀分别表示相机感光板中心在像素坐标系下的横、纵坐标。

设H为内参矩阵和外参矩阵的积，H为3×3矩阵，有：

且有：

标定板的每一个格子大小是固定且已知的，世界坐标系也是预先定义好的，所以在得到像素坐标(u,v)后，即可计算得到世界坐标(U,V)。其中H为齐次矩阵，有8个独立未知元素（H₁₁,H₁₂,H₁₃,H₂₁,H₂₂,H₂₃,H₃₁,H₃₂）。每一个标定板角点可以提供两个约束方程（即u、U、V的对应关系，以及v、U、V的对应关系），因此当一张图像数据上的标定板角点数量等于4时，即可求得该图像数据对应的H。当一张图像数据上的标定板角点数量大于4时，利用最小二乘法回归求得最佳的H。

步骤1-3，基于内参矩阵与外参矩阵的积，计算内参矩阵和外参矩阵。

已知矩阵H=A(R1 R2 T)，求解相机的内参矩阵A，利用R1、R2作为外参矩阵的前两列，存在单位正交的关系：

由H和R1、R2的关系，可知：

代入可得：

上述两个约束方程均存在矩阵A^-TA^-1，记A^-TA^-1=B，则矩阵B为对称矩阵。通过矩阵B再求解相机的内参矩阵A，通过R1、R2单位正交得到的约束方程为：

为了求解矩阵B，需计算，则：

其中，i=1,2,3，j=1,2,3。将上述方程简化，令：

则有：Hi^TBHj=v_ijb，其中，矩阵。

获得矩阵v的方式：

①计算 Hi^TBHj的转置乘积，得到一个 6×9 的矩阵；

②将这个矩阵按列分块，每一块都是一个 6×1 的向量v_ij；

③将所有的v_ij放在一起形成一个 6×6 的矩阵 v；

④最后，将矩阵v的每一列减去最后一列，得到矩阵v中的下标 i 和 j 不等于 3的部分。

这样做的目的是为了消除冗余，使得方程组更加简洁，减少计算量，并提高求解效率。通过这种方式，可以得到一个 6×6 的方程组，而不是一个更大的方程组。

此时，只要求解出向量b，即可得到矩阵B。每张标定板可以提供一个vb=0的约束关系，该约束关系含有两个约束方程，即单应性矩阵约束方程和极线约束方程。

单应性矩阵C描述了从一个平面到另一个平面的投影变换，对于每一张图像可以计算出标定板平面到图像平面的单应性矩阵。如果标定板平面与相机光轴平行，那么单应性矩阵C将满足一个特定的约束，即单应性矩阵C的第三行元素应为零（除最后一个元素c33，代表缩放因子）。这是因为在这种情况下，标定板平面在图像上的投影将保持不变，没有透视效应。

在数学上使用齐次坐标表示，单应性矩阵C可以写为3×3矩阵：

那么vb=0的约束关系可以表示为：

极线约束来源于极线几何，描述了当两个相机拍摄同一场景时，场景中一点在两个相机拍摄图像上的投影点之间的关系。如果一个点在第一个图像上的投影已知，那么该点在第二个图像上的投影必然落在由第一个图像中该点定义的极线上。当标定板平面平行于相机光轴时，极线将穿过图像中心。

在数学上，极线G可以通过基础矩阵N和图像中任一点的坐标Q来计算：

其中，是极线的齐次坐标，G₁表示G中的第一个元素，G₂表示G中的第二个元素，G₃表示G中的第三个元素；是图像中任一点的齐次坐标，q1表示点的横坐标，q2表示点的纵坐标。当vb=0时，极线G必须满足以下约束：

这是因为极线应该垂直于相机光轴，而在这种情况下，极线在图像垂直方向上是静止的，也就是说，极线在图像垂直方向上没有分量。

将单应性矩阵约束方程和极线约束方程结合起来，即得到了vb=0约束关系中的两个约束方程。但是，向量b有6个未知元素：

矩阵B会被转换成一个向量b，为了方便求解，将矩阵B的元素重新排列成一个向量，将矩阵B转换为向量b时，会按照列优先或行优先的顺序来堆叠矩阵B的元素。不论哪种堆叠方式，矩阵B中的元素0在向量b中分别对应于第3项和第6项，元素1对应于第9项：

这些0和1的值在标定过程中被视为固定值，因为它们不会改变，也不携带关于相机内参数的未知信息。

但实际上，考虑到齐次坐标和数学上的冗余，并不真正关心向量b中的最后一项，因此可以将其设置为任何非零常数，通常设置为1。此外，由于矩阵B中第一行和第二行均有两个0项，它们也不会在求解过程中带来新的信息。因此，只关注向量b中的前六个非零或非冗余项：

这六个元素就是所说的向量b的六个未知元素，而单张标定板提供的两个约束方程不足以解出向量b。因此需要取3张标定板，得到3个vb=0的约束关系，即6个方程，即可求解向量b。当标定板的数量大于3时（实际上一般需要15到20张标定板），可采用最小二乘拟合最佳的向量b，进而得到矩阵B。

其中，、分别表示相机在x轴和y轴方向的焦距fw（或等效焦距）的平方；表示相机内参数矩阵K中的skew系数，即K中位于(1,2)或(2,1)位置的元素，即可求得相机的内参矩阵A（3×4矩阵）：

需要说明的是，一个3行4列的矩阵中如果最后一列都是0，理论上可以将其视为一个3×3的矩阵加上一个全0的3×1列向量。当矩阵用于表示线性变换或方程组时，如果矩阵的某一行或某一列全为0，则该行或该列在计算过程中往往不提供任何额外的信息或影响结果。

对于同一个相机，相机的内参矩阵取决于相机的内部参数，无论标定板和相机的位置关系如何，相机的内参矩阵不变。通过公式(R1 R2 T)=A^-1H，即可求得每一张图像数据对应的外参矩阵(R1 R2 T)。

步骤1-4，求解径向畸变公式，对畸变矫正参数进行标定，得到矫正图像。

求解相机畸变系数，相机中对畸变影响最大的是径向畸变，径向畸变的公式为：

其中，为理想的无畸变的归一化图像的横坐标，为理想的无畸变的归一化图像的纵坐标；表示畸变矫正后的归一化图像的横坐标，表示畸变矫正后的归一化图像的纵坐标；r为像素点到图像中心点的距离，即；k₁表示一级径向畸变系数，k₂表示二级径向畸变系数，用于量化畸变的程度。一般来说，k₁对畸变的影响比k₂更大。如果k₁和k₂的值为正，则表示图像存在枕形畸变（pincushion distortion），即图像边缘被压缩；如果值为负，则表示存在桶形畸变（barrel distortion），即图像边缘被拉伸。

图像坐标和像素坐标的转换关系为：

代入径向畸变公式，简化得到：

其中，、分别为理想的无畸变的像素横、纵坐标；、分别表示畸变矫正后的像素横、纵坐标。

上式中、、、可以通过识别标定板的角点获得，每一个角点可以构造两个上述等式。若有m张图像数据，每张图像数据上有n个标定板角点，则将得到的所有等式组合起来，可以得到m×n个未知数为k=[k₁,k₂]^T的约束方程，将约束方程系数矩阵记为D，将非齐次项记为d，可将其记为：

使用最小二乘法求得：

当前带畸变矫正的相机落在像素坐标系的实际位置与拟合出的畸变曲线之间存在误差，重投影误差越小，说明拟合出的曲线与当前相机实际畸变越符合，矫正效果越好，至此，相机的畸变矫正参数已经标定完成。

为了提高标定的精度和鲁棒性，对Levenberg-Marquardt (LM) 算法进行优化改进，得到相机最优的内参矩阵、外参矩阵和畸变参数，具体优化逻辑如下：

①初始化：

设定初始参数，将前述得到相机的内参矩阵、外参矩阵和畸变参数作为初始参数，设定初始相机参数向量、初始化参数、信赖域半径。

②构建二次近似模型：

使用当前参数向量计算雅可比矩阵J和残差向量r构建目标函数的二次近似模型：

其中，表示二次函数的近似模型；表示雅可比矩阵；表示第k次迭代时的函数值；表示第k次迭代时的相机参数向量。

③求解信赖域内的更新步长，解决以下受限优化问题：

其中，表示第k次迭代时的信赖域半径，即参数更新步长的最大允许值；I表示单位矩阵。

④接受或拒绝更新：

计算实际减少量：

其中，表示实际减少量。如果大于0.25，接受更新，否则拒绝并缩小信赖域。

⑤更新和信赖域：

如果接受更新，根据的大小调整和信赖域：减小或不变；如果拒绝更新，增大并保持信赖域不变。

⑥重复迭代：

使用更新后的参数和调整后的及信赖域，重复步骤②至⑤，直到满足终止条件。

⑦输出结果：

最终参数估计：输出优化后的相机内参矩阵、外参矩阵和畸变参数。

在进行了畸变矫正之后，理想情况下，相机在像素坐标系中捕捉到的点应当准确无偏地落在经畸变模型矫正后的预测位置上。衡量这一吻合程度的指标被称为“重投影误差”。这一误差量化了实际捕获的图像特征点与基于矫正模型理论预测的相应点之间的偏差。重投影误差越小，意味着畸变矫正模型越能精确反映相机的实际畸变特性，从而确保了更好的校正效果。

当重投影误差达到令人满意的低水平时，可以认为，相机的畸变矫正参数已被成功标定，能够有效地补偿镜头畸变，提升图像质量。至此，整个相机畸变校正的标定流程完成。

本步骤对于提高图像质量和降低算法处理难度至关重要，通过畸变矫正，可以消除图像中的扭曲和变形，得到矫正图像，使得后续算法能够更准确的识别车辆的特征。

步骤2，通过车轮接地点检测模型识别矫正图像中车辆四个车轮的接地点数据，从而得到车辆轴距。

所述步骤2具体包括以下步骤：

步骤2-1，调用自训练的车轮接地点检测模型计算车辆前、后车轮的接地点在矫正图像中的像素位置。

首先采集车轮接地点数据集，在对车轮接地点检测模型进行训练时，收集缓冲车位上大量不同车型的俯视视角的车轮接地点数据，构建车轮接地点数据集，过程如下：

①车辆正向驶入缓冲车位区域，车辆停稳后，把轮胎回正，车辆上方灯光打开，控制相机采集图像，为了保证检测车轮接地点的准确性，对每一个车轮采集两遍数据，第一遍为原始数据L₁，第二遍为现实世界中车轮接地点的物理标识L₂。将物理标识L₂在图像数据中的像素坐标(x₂,y₂)映射到第一遍采集的原始数据中，则原始数据中车轮接地点的物理标识L₁=L₂。通过此种方式不仅可以消除接地点的物理标识对算法的干扰，也能保证接地点像素坐标的真实准确性；然后车辆从不同的角度正向驶入缓冲车位，按照上述步骤循环采集图像。

②车辆反向驶入缓冲车位区域，车辆停稳后，把轮胎回正，车辆上方灯光打开，按照步骤①中的方式控制摄像头采集图像。然后车辆从不同的角度反向驶入缓冲车位，循环采集图像。

③按照以上步骤，依次将不同品牌、不同车型的车辆驶入缓冲车位，采集构建车轮接地点数据集若干张，比如3000张。

然后对车轮接地点检测数据进行预处理，利用Mosic数据增强方法通过将四张图像数据随机组合成一张新的图像数据，从而增加数据集的多样性，提高模型的泛化能力。将这样一张新的图像数据传入到神经网络中进行学习，相当于传入四张图像数据的学习能力，极大的丰富了检测物体的背景，且在标准化BN计算时会直接计算出四张图像数据的信息。

基于Mosic数据增强方法对其进行改进，设计出TMosic数据增强方法：对四个相机采集的图像数据进行随机裁剪、随机组合、随机缩放。为了保证车轮接地点关键标注信息不会随随机裁剪丢失掉，在随机裁剪前对车轮先进行一次检测，得到车轮的BoundingBOX，在随机裁剪时裁剪的ROI区域必须包含车轮的BoundingBOX区域，即：

车轮接地点检测模型的网络结构如图5所示，包括特征提取网络（Backbone）、颈部网络（Neck）和头部网络（Head）。车轮接地点检测模型的特征提取网络使用多分支堆叠模块（ELAN），多分支堆叠模块是一个高效的网络结构，通过控制最短和最长的梯度路径，使网络能够学习到更多的特征，并且具有更强的鲁棒性。特征提取网络引入了残差结构，由多个卷积层+批归一化层+激活函数+池化层堆叠构成，计算其中任一卷积层的输出大小：

其中，W为卷积层的输入，O为卷积层的输出，K为过滤器尺寸，E为填充，S为步幅。

批归一化层是计算一个批量样本的均值和方差，使用下式处理批量样本：

其中，表示批归一化后的数据；表示批归一化前的数据；表示该批量样本的均值；表示该批量样本的方差；表示拉伸参数；表示偏移参数。可以看出，批归一化层在传统基础上对数据做了拉伸和偏移（即和）。

激活函数采用Silu激活函数，公式为f(x)=x*sigmoid(x)，其中x表示神经网络中某个神经元的加权输入总和加上偏置项的结果，sigmoid表示sigmoid函数，有sigmoid(x)=1/(1+exp(-x))，当x大于0时，Silu激活函数会放大x；当x小于0时，Silu激活函数会降低x，可以抑制过拟合。

池化层采用最大池化的方式，公式为：

其中，output[m,n]表示池化后的输出特征图中的某个像素值，m表示像素点的横坐标，n表示像素点的纵坐标；input表示输入特征图；pool_size表示池化操作的窗口大小。

车轮接地点检测模型的损失函数由目标框回归损失函数、目标框置信度损失函数、目标框类别损失函数、关键点回归损失函数组成，其中，目标框回归损失函数使用c_iouloss表示，目标框置信度损失函数和目标框类别损失函数共用bce loss表示，关键点回归损失函数使用dynamics-wing-loss表示。

其中dynamics-wing-loss是本方案改进的用于回归问题的损失函数，特别适用于关键点检测，如面部关键点定位、手部关节定位等。设计目的是解决在回归问题中，当预测值与真实值相差较大时，L1或L2损失函数会导致梯度过大的问题，以及当预测值接近真实值时，梯度消失的问题。因此通过定义一个非线性的损失函数，使得在误差较小时损失函数表现得像L1损失，而在误差较大时损失函数变得平滑，这样可以有效地避免梯度爆炸或消失（L1、L2为正则化损失函数）。并且针对单个关键点的回归问题，通过动态调整超参数，以适应模型训练的不同需求。

在设计车轮接地点检测算法过程中，考虑到对于目标物车轮关键点的检测只有一个，为了提升车轮关键点检测的精度，改进的关键点回归损失函数dynamics-wing-loss为：

其中，表示关键点回归损失函数；y是真实值，是预测值；w(t)和是超参数，w(t)用于控制损失函数的平滑度，用于控制从L1损失到平滑损失的转折点。

在改进的关键点回归损失函数dynamics-wing-loss中，针对单个关键点的回归问题，对于w和不会设置默认值，在训练的不同阶段，通过动态调整w和的值，以适应模型训练的不同需求。例如，训练初期可能需要较大的w和较小的来促进快速收敛，而在训练后期，可能需要较小的w和较大的来优化细节，提高关键点预测的精度。

用数学公式表示动态调整过程：

其中，w₀和是初始值，w(t)表示第t次迭代的超参数，表示第t次迭代的超参数，t表示迭代次数；和是调整率。车轮接地点检测模型超参数设置如表1所示。

表1 车轮接地点检测模型超参数设置表

表2 车轮接地点检测模型服务器配置表

根据车轮接地点检测模型输出的候选框的类别分类概率，由高到低排序，比如车轮接地点检测模型输出了A、B、C、D、E、F六个候选框，按照类别分类概率排序为A>B>C>D>E>F，先标记保留最大类别分类概率的候选框A；将B～E分别与A求重叠率IoU（两个候选框的交并比），假设B、D与A的IoU大于设定的阈值，而C与A的IoU没有大于设定的阈值，则认为B和D是重复标记并剔除，且保留候选框C；然后继续计算E、F与C的IoU，剔除重叠率大的候选框；重复计算，直到所有候选框都计算完毕，得到所有要保留下来的候选框。

接着，利用单目相机测距原理计算如下公式：

其中，distance_machine_direction为纵向距离，distance_transverse_direction为横向距离；f_x为相机内参横向焦距，f_y为相机内参纵向焦距；h表示相机离地高度；imageW为图像的宽值，imageH为图像的高值；pixe_x为车轮接地点的横坐标，pixe_y为车轮接地点的纵坐标。经过实验测试，经过上述训练的车轮接地点检测模型对车轮接地点检测的准确率能达到99.8%。

步骤2-2，根据矫正图像中标定好的缓冲车位边界线，计算每个车轮接地点像素位置距离缓冲车位边界线的距离，根据向量法和勾股定理计算出车辆的轴距。

如图4所示，计算车轮与缓冲车位最近的两条边界线的距离，由于相机位置固定后，缓冲车位的四条边界线相对于相机也是固定的，所以边界线的位置可以预先标定得知，只需所述车轮接地点检测模型输出车轮的接地点位置即可。以左前轮为例，已知缓冲车位左边界线和右边界线的长度均为Length，左前轮的接地点坐标为P1(x1,y1)，缓冲车位左边界线的两个顶点坐标分别为A(x2,y2)、B(x3,y3)，根据向量法计算得出左前轮与左边界线的距离P1L_d，同理可得左前轮与缓冲车位前边界线的距离P1F_d。剩余三个车轮距离缓冲车位最近两条边界线的距离同理得出。

计算同侧车轮在车辆左右方向和前后方向的差值，以左侧车轮为例，已知左前轮与左边界线的距离为P1L_d，左前轮与前边界线的距离为P1F_d，左后轮与左边界线的距离为P2L_d，左后轮与后边界线的距离为P2B_d，可以计算出左前轮与左边界线的距离和左后轮与左边界线的距离的差值，得到左侧车轮在车辆左右方向上的差值Dx=|P1L_d-P2L_d|，以及计算左前轮与左后轮在左边界线方向上的差值，得到左侧车轮在车辆前后方向上的差值Dy=|Length-P1F_d-P2B_d|。

最后使用勾股定理对同侧车轮在车辆左右方向和前后方向的差值的平方和进行开平方处理，得到左右两侧的轴距值。以左侧轴距测量为例：

其中，C_L为左侧轴距，同理可得右侧轴距C_R。然后对C_L和C_R求平均值，最终得到车辆轴距。

实际应用过程中，去除人工测量的精度误差，本方案车辆轴距测量方法误差在±15mm范围内，响应时间在50ms左右，测量精度和处理速度都处于较高水平。

如图6所示，本方案还提出一种用于车辆轴距测量的图像处理装置，包括：

图像采集模块1，用于采集缓冲车位中车辆前、后车轮的图像数据；

畸变矫正模块2，用于对图像数据进行畸变矫正，得到矫正图像；

车轮接地点检测模块3，用于识别矫正图像中车辆前、后车轮的接地点数据，从而计算得到车辆轴距。

如图7所示，所述畸变矫正模块2进一步包括：坐标转换单元21，用于将图像从世界坐标系转换到像素坐标系；矩阵计算单元22，用于计算相机的内参矩阵与外参矩阵的积，并求解径向畸变公式以进行畸变矫正。

如图8所示，所述车轮接地点检测模块3进一步包括：

车轮位置计算单元31，用于调用自训练的车轮接地点检测模型计算车辆前、后车轮的接地点在矫正图像中的像素位置；车辆轴距计算单元32，用于计算每个车轮接地点像素位置距离缓冲车位边界线的距离，并计算出车辆的轴距。

所述车轮接地点检测模块具有自训练的车轮接地点检测模型，所述车轮接地点检测模型的损失函数包括目标框回归损失函数、目标框置信度损失函数、目标框类别损失函数以及关键点回归损失函数。

本方案还提出一种用于车辆轴距测量的图像处理系统，包括：

至少一个相机、图像处理装置和用于显示测量结果的显示设备，其中，相机用于采集车辆前、后车轮的图像数据；图像处理装置用于处理图像数据并计算车辆轴距。

本方案还提出一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如本实施例所述的用于车辆轴距测量的图像处理方法。

如图9所示，本方案还提出一种电子设备，该电子设备可以包括处理器41和存储器42，其中存储器42耦合至处理器41。值得注意的是，图9是示例性的，还可以使用其他类型的结构来补充或替代该结构。其他实施例中，该电子设备还可以包括：输入单元43、显示单元44和电源45。值得注意的是，该电子设备也并不是必须要包括图9中显示的所有部件。此外，电子设备还可以包括图9中没有示出的部件，可以参考现有技术。

处理器41有时也称控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该处理器41接收输入并控制电子设备的各个部件的操作。

其中，存储器42例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其他合适装置中的一种或多种，可存储上述处理器41的配置信息、处理器41执行的指令、记录的表格数据等信息。处理器41可以执行存储器42存储的程序，以实现信息存储或处理等。在一个实施例中，存储器42中还包括缓冲存储器，即缓冲器，以存储中间信息。

输入单元43例如用于向处理器41提供实体主体的数据或者数据持有方所拥有的数据。显示单元44用于显示处理过程中的各种结果，例如获取的图层、划分后的图元层、策略表等等，该显示单元例如可以为LCD显示器，但本发明并不限于此。电源45用于为电子设备提供电力。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.用于车辆轴距测量的图像处理方法，其特征在于，包括以下步骤：

步骤1，通过相机采集缓冲车位中所停车辆的前、后车轮的图像数据，对图像数据进行畸变矫正，得到矫正图像；

所述步骤1中，对图像数据进行畸变矫正，得到矫正图像的步骤，包括：

步骤1-1，将图像从世界坐标系转换到像素坐标系；

步骤1-2，通过相机拍摄的标定板图像，标定相机，计算得到相机的内参矩阵与外参矩阵的积；

步骤1-3，基于内参矩阵与外参矩阵的积，计算内参矩阵和外参矩阵；

步骤1-4，求解径向畸变公式，对畸变矫正参数进行标定，得到矫正图像；

步骤2，通过车轮接地点检测模型识别矫正图像中车辆前、后车轮的接地点数据，从而得到车辆轴距；

所述步骤2具体包括以下步骤：

步骤2-1，调用自训练的车轮接地点检测模型计算车辆前、后车轮的接地点在矫正图像中的像素位置；

步骤2-2，根据矫正图像中标定好的缓冲车位边界线，计算每个车轮接地点像素位置距离缓冲车位边界线的距离，根据向量法和勾股定理计算出车辆的轴距。

2.根据权利要求1所述的用于车辆轴距测量的图像处理方法，其特征在于，所述步骤1中，通过相机采集缓冲车位中所停车辆的前、后车轮的图像数据的步骤，包括：

将四个相机分别设置于缓冲车位上方，控制每个相机分别采集缓冲车位中所停车辆对应位置的车轮，以及与该车轮最相近的两条缓冲车位的边界线的图像。

3.根据权利要求1所述的用于车辆轴距测量的图像处理方法，其特征在于，所述步骤1-1具体包括以下步骤：

设P=(X,Y,Z)为拍摄场景中的一点，经过以下变换得到二维图像上的像点，其中X、Y、Z分别为P点在世界坐标系中x轴、y轴、z轴的坐标：

①将P点从世界坐标系通过刚体变换转换到相机坐标系；

②从相机坐标系通过透视投影变换到相机的成像坐标系上的像点p`=(x,y)；

③将像点p`从成像坐标系通过缩放和平移变换到像素坐标系上的像点，其中、分别为p点在像素坐标系中的横、纵坐标；

上述变换过程表示为：

其中，s表示第一尺度因子；表示图像上横向单位距离内的像素个数，表示图像上纵向单位距离内的像素个数；表示将相机的焦距fw变换为在x方向上的像素度量，表示将相机的焦距fw变换为在y方向上的像素度量；c_x、c_y分别表示图像中心点的横、纵坐标；R表示外参矩阵；表示平移向量。

4.根据权利要求3所述的用于车辆轴距测量的图像处理方法，其特征在于，所述步骤1-2具体包括以下步骤：

将世界坐标系固定于标定板上，在标定板上选择任意一个点的物理坐标W=0，原单点无畸变的成像模型用下式表示：

其中，Z表示第二尺度因子，u、v分别表示像素坐标系下标定板中任一角点的横、纵坐标；A表示内参矩阵；(R1 R2 T)表示外参矩阵，R1表示外参矩阵的第一列，R2表示外参矩阵的第二列，T表示平移矢量；U、V表示(u,v)在世界坐标系下的横、纵坐标；f为像距；dX、dY分别表示X、Y方向上的一个像素在相机感光板上的物理长度；表示相机感光板的横边和纵边之间的角度；u₀、v₀分别表示相机感光板中心在像素坐标系下的横、纵坐标；

设H为内参矩阵和外参矩阵的积，H为3×3矩阵，有：

且有：

其中，H为齐次矩阵，H1、H2、H3分别为H的三列矩阵，H_ij表示H中第i行第j列的元素，i=1,2,3，j=1,2,3。

5.根据权利要求4所述的用于车辆轴距测量的图像处理方法，其特征在于，所述步骤1-3具体包括以下步骤：

已知矩阵H=A(R1 R2 T)，利用R1、R2作为外参矩阵的前两列，存在单位正交的关系：

即：

记A^-TA^-1=B，通过矩阵B再求解相机的内参矩阵A：

其中，、分别表示相机在x轴和y轴方向的焦距fw的平方；表示相机内参数矩阵K中的skew系数；求得相机的内参矩阵A：

通过公式(R1 R2 T)=A^-1H，求得外参矩阵(R1 R2 T)。

6.根据权利要求5所述的用于车辆轴距测量的图像处理方法，其特征在于，所述步骤1-4具体包括以下步骤：

径向畸变的公式为：

其中，为理想的无畸变的归一化图像的横坐标，为理想的无畸变的归一化图像的纵坐标；表示畸变矫正后的归一化图像的横坐标，表示畸变矫正后的归一化图像的纵坐标；r为像素点到图像中心点的距离；k₁表示一级径向畸变系数，k₂表示二级径向畸变系数；

当前带畸变矫正的相机落在像素坐标系的实际位置与拟合出的畸变曲线之间的误差，重投影误差越小，说明拟合出的曲线与当前相机实际畸变越符合，矫正效果越好，至此，完成相机的畸变矫正参数标定，得到矫正图像。

7.根据权利要求1所述的用于车辆轴距测量的图像处理方法，其特征在于，所述步骤2-1具体包括以下步骤：

车轮接地点检测模型的特征提取网络由多个卷积层、批归一化层、激活函数、池化层堆叠构成，计算其中任一卷积层的输出大小：

其中，W为卷积层的输入，O为卷积层的输出，K为过滤器尺寸，E为填充，S为步幅；

批归一化层使用下式处理批量样本：

其中，表示批归一化后的数据；表示批归一化前的数据；表示该批量样本的均值；表示该批量样本的方差；表示拉伸参数；表示偏移参数；

激活函数采用Silu激活函数，公式为f(x)=x*sigmoid(x)，其中x表示神经网络中某个神经元的加权输入总和加上偏置项的结果，sigmoid表示sigmoid函数，有sigmoid(x)=1/(1+exp(-x))，当x大于0时，Silu激活函数会放大x；当x小于0时，Silu激活函数会降低x；

池化层采用最大池化的方式，公式为：

其中，output[m,n]表示池化后的输出特征图中的某个像素值，m表示像素点的横坐标，n表示像素点的纵坐标；input表示输入特征图；pool_size表示池化操作的窗口大小。

8.根据权利要求1所述的用于车辆轴距测量的图像处理方法，其特征在于，所述步骤2-2具体包括以下步骤：

已知缓冲车位左边界线和右边界线的长度为Length，左前轮的接地点坐标为P1(x1,y1)，缓冲车位左边界线的两个顶点坐标分别为A(x2,y2)、B(x3,y3)，根据向量法计算得出左前轮与左边界线的距离P1L_d，同理可得左前轮与缓冲车位前边界线的距离P1F_d；同理得到左后轮与左边界线的距离为P2L_d，左后轮与后边界线的距离为P2B_d；

计算左前轮与左边界线的距离和左后轮与左边界线的距离的差值，得到左侧车轮在车辆左右方向上的差值Dx=|P1L_d-P2L_d|，以及计算左前轮与左后轮在左边界线方向上的差值，得到左侧车轮在车辆前后方向上的差值Dy=|Length-P1F_d-P2B_d|；

对同侧车轮的差值Dx和Dy的平方和进行开平方处理，得到左侧轴距：

其中，C_L为左侧轴距，同理计算得到右侧轴距C_R；然后对C_L和C_R求平均值，最终得到车辆轴距。

9.用于车辆轴距测量的图像处理装置，用于实现权利要求1-8任一项所述的用于车辆轴距测量的图像处理方法，其特征在于，包括：

图像采集模块，用于采集缓冲车位中车辆前、后车轮的图像数据；

畸变矫正模块，用于对图像数据进行畸变矫正，得到矫正图像；

车轮接地点检测模块，用于识别矫正图像中车辆前、后车轮的接地点数据，从而计算得到车辆轴距。

10.用于车辆轴距测量的图像处理系统，其特征在于，包括：

至少一个相机，用于采集车辆前、后车轮的图像数据；

如权利要求9所述的用于车辆轴距测量的图像处理装置，用于处理图像数据并计算车辆轴距；

显示设备，用于显示测量结果。