CN119314130A - 一种目标检测结果的检验方法、装置、设备及存储介质 - Google Patents
一种目标检测结果的检验方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN119314130A CN119314130A CN202411373233.6A CN202411373233A CN119314130A CN 119314130 A CN119314130 A CN 119314130A CN 202411373233 A CN202411373233 A CN 202411373233A CN 119314130 A CN119314130 A CN 119314130A
- Authority
- CN
- China
- Prior art keywords
- image
- target detection
- coordinate system
- bounding box
- vehicle body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 113
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000004590 computer program Methods 0.000 claims description 23
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 abstract description 21
- 238000013507 mapping Methods 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了一种目标检测结果的检验方法,包括获取3D目标检测的结果;将3D目标检测结果的边界框的顶点转换到车体坐标系内;根据每一个图像传感器的外参标定信息,将转换到车体坐标系内后的顶点,转换到每一个所述图像坐标系内;根据图像内参,将所述转换到图像坐标系内后的顶点,映射到2D坐标系内,转换成图像上的点,同时生成第一2D边界框集合;对所述图像上的点执行2D目标检测,生成第二2D边界框集合;获取所述第一2D边界框集合与第二2D边界框集合之间的交并比数据;当所述第二2D边界框集合中存在比所述交并比数据大的数据时,所述3D目标检测的结果正确。这种方法能够提高3D目标检测结果的准确率,以方便后续人工对点云的标注。
Description
技术领域
本发明属于目标检测技术领域,具体涉及一种目标检测结果的检验方法、装置、设备及存储介质。
背景技术
点云和图像数据是目前自动驾驶技术中常见的数据格式,基于点云和图像数据的感知是目前自动驾驶技术中最可靠的信息来源。为了获得环境中的信息,需要大型深度学习网络对自动驾驶汽车采集的点云数据进行推理。而深度学习网络的权值数据获取则来自于人工对点云数据的标注。为了获得效果优良的深度学习网络权值,需要大量的训练数据。因此,如何快速经济获得大量训练数据,对于自动驾驶技术迭代和优化具有重要意义。
目前的标注技术,主要使用人工逐帧标注的方式进行。为了提高人工的标注效率,业内普遍使用感知模型对数据进行预标注,人工仅仅执行检验和校对即可,这极大的提高了标注效率。但是,这种预标注的效果和目标检测模型的检测能力相关。
然而,目前点云目标检测的准确率较差,直接执行预标注会有较多的错误预标注框,这些错误数据需要标注人员手动删除,这会导致标注效率不升反降。因此,如何提高点云目标检测结果的准确率尤为重要。
发明内容
本发明的目的是要解决上述现有技术中点云目标检测的准确率较差的技术问题,提供一种目标检测结果的检验方法,能够对基于点云的3D目标检测结果进行检验,提高3D目标检测结果的准确率。
为了解决上述问题,本发明按以下技术方案予以实现的:
第一方面,本发明提供了一种目标检测结果的检验方法,所述方法包括:
步骤10、获取3D目标检测的结果;
步骤20、将所述3D目标检测结果的边界框的顶点转换到车体坐标系内;
步骤30、根据每一个图像传感器的外参标定信息,将步骤20中所述的转换到车体坐标系内后的顶点,转换到每一个所述图像坐标系内,其中,所述外参标定信息为确定所述图像传感器相对于车体坐标系的位置和方向的信息;
步骤40、根据图像内参,将步骤30中所述转换到图像坐标系内后的顶点,映射到2D坐标系内,转换成图像上的点,同时生成第一2D边界框集合,其中,所述图像内参为描述相机镜头和图像传感器之间几何和光学关系的参数,所述2D坐标系用于描述图像中点的位置;
步骤50、对步骤40中的所述图像上的点执行2D目标检测,生成第二2D边界框集合;
步骤60、获取所述第一2D边界框集合与第二2D边界框集合之间的交并比数据;
步骤70、当所述第二2D边界框集合中存在比所述交并比数据大的数据时,所述3D目标检测的结果正确。
优选地,步骤10中,所述3D目标检测的结果为根据激光雷达的标定信息,将所述激光雷达的数据进行图像的去畸变和拼接后,执行基于点云的3D目标检测而得到的结果。
优选地,步骤10中,所述3D目标检测结果的输出形式为边界框。
优选地,步骤20中,所述车体坐标系为以车体控制点为中心的车体坐标系。
第二方面,本发明提供了一种目标检测结果的检验装置,所述目标检测结果的检验装置被配置为执行所述目标检测结果的检验方法,所述目标检测结果的检验装置包括:
3D目标检测结果获取模块,所述3D目标检测结果获取模块用于步骤10中,获取3D目标检测的结果;
车体坐标点获取模块,所述车体坐标点获取模块用于步骤20中,将所述3D目标检测结果的边界框的顶点转换到车体坐标系内;
图像坐标点获取模块,所述图像坐标点获取模块用于步骤30中,根据每一个图像传感器的外参标定信息,将步骤20中所述的转换到车体坐标系内后的顶点,转换到每一个所述图像坐标系内,其中,所述外参标定信息为确定所述图像传感器相对于车体坐标系的位置和方向的信息;
第一2D边界框集合获取模块,所述第一2D边界框集合获取模块用于步骤40中,根据图像内参,将步骤30中所述转换到图像坐标系内后的顶点,映射到2D坐标系内,转换成图像上的点,同时生成第一2D边界框集合,其中,所述图像内参为描述相机镜头和图像传感器之间几何和光学关系的参数,所述2D坐标系用于描述图像中点的位置;
第二2D边界框集合获取模块,所述第二2D边界框集合获取模块用于步骤50中,对步骤40中的所述图像上的点执行2D目标检测,生成第二2D边界框集合;
交并比数据获取模块,所述交并比数据获取模块用于步骤60中,获取所述第一2D边界框集合与第二2D边界框集合之间的交并比数据;
检验结果获取模块,所述检验结果获取模块用于步骤70中,当所述第二2D边界框集合中存在比所述交并比数据大的数据时,所述3D目标检测的结果正确。
第三方面,本发明提供了一种电子设备,所述电子设备包括:
至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行以上第一方面中任一项所述的一种目标检测结果的检验方法。
第四方面,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序用于使处理器执行时以上第一方面中任一项所述的一种目标检测结果的检验方法。
与现有技术相比,本发明的有益效果是:
本发明提供了一种目标检测结果的检验方法,基于多模态融合技术,用图像感知的结果来对点云感知的结果进行校验。具体的,通过将3D目标检测结果的边界框的顶点转换为图像上的点,作为第一2D边界框集合。再对该图像上的点执行2D目标检测,生成第二2D边界框集合。之后计算第一2D边界框集合与第二2D边界框集合之间的交并比数据,通过对比第二2D边界框集合与交并比数据,进行确定3D目标检测的结果是否正确。这种方法能够对基于点云的3D目标检测结果进行检验,提高3D目标检测结果的准确率,以方便后续人工对点云的标注。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明,其中:
图1是本发明实施例的一种目标检测结果的检验方法的技术流程图;
图2是本发明的实施例的一种目标检测结果的检验装置的模块图;
图3是本发明的实施例的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所得到的所有其他实施例,都应当属于本发明保护的范围。
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
如何快速经济获得大量训练数据,对于自动驾驶技术迭代和优化具有重要意义。为了提高人工的点云标注效率,业内普遍使用感知模型对数据进行预标注,这种预标注的效果和目标检测模型的检测能力相关。
然而,目前点云目标检测的准确率较差,直接执行预标注会有较多的错误预标注框,这些错误数据需要标注人员手动删除,这会导致标注效率不升反降。
为了解决上述现有技术中点云目标检测的准确率较差的技术问题,本发明提供一种目标检测结果的检验方法,能够对基于点云的3D目标检测结果进行检验,提高3D目标检测结果的准确率。
图1是本发明所述的一种目标检测结果的检验方法的技术流程图,该方法可以由一种目标检测结果的检验装置来执行,该装置可以采用硬件和/或软件的形式实现,该装置可配置于电子设备中。如图1所示,所述方法包括:
步骤10、获取3D目标检测的结果。
具体的,3D目标检测的结果为根据激光雷达的标定信息,将该激光雷达的数据进行图像的去畸变和拼接后,执行基于点云的3D目标检测而得到的结果。
可以理解的是,在点云标注中,激光雷达的标定信息是指对激光雷达设备进行校准和校准参数的记录,这些参数确保了激光雷达测量数据的准确性和可靠性。标定信息的内容如:几何标定,用于确定激光雷达传感器的几何位置和方向,包括传感器相对于车辆或设备的坐标系的位置和方向;时间标定,用于校准发射和接收激光束的时间延迟,确保时间测量的准确性;距离标定,用于校准激光雷达测量的距离,确保测量结果的准确性;反射率标定,用于校准激光雷达接收到的反射信号的强度,以正确反映物体的表面特性。标定信息的标定过程有:静态标定,即在实验室或控制环境中进行,使用已知尺寸的标定目标;动态标定,指的是在实际使用环境中进行,可能涉及移动设备或变化的环境条件。标定方法有:使用具有已知几何特征的标定板,如棋盘格或球体,通过测量这些特征来校准激光雷达;或者使用已知环境进行标定,在已知几何特征的环境中进行标定,如使用建筑物或道路标记。
需要说明的是,激光雷达通过发射激光脉冲并接收反射回来的光束来收集数据,生成点云数据。这些点云数据可以被转换成图像格式,例如深度图或灰度图,其中每个像素的强度值代表点云中相应位置的深度或反射率。因此,将激光雷达收集到的数据转换为图像格式后,即可以对这些数据进行图像的去畸变和拼接。一方面,由于激光雷达的物理特性和光学特性,收集到的数据可能存在畸变,如由于激光束发散或传感器硬件限制导致的非线性畸变。对激光雷达的数据进行图像的去畸变的过程包括应用校准参数来校正这些畸变,这能够确保图像数据的准确性。另一方面,如果激光雷达的数据是从多个角度或不同位置收集的,可能需要将这些数据拼接成一个完整的图像或点云。拼接过程涉及到对齐和融合不同视点的数据,以形成一个无缝的整体视图。
在实施例中,3D目标检测结果的输出形式为边界框。边界框是最常见的3D目标检测结果,它定义了目标物体在三维空间中的最小外接矩形或长方体。
可以理解的是,3D目标检测的结果不一定是单个点,而通常是一个关于目标物体的更全面的描述。这个描述可以包括以下信息:(1)边界框:最常见的3D目标检测结果是一个边界框,它定义了目标物体在三维空间中的最小外接矩形或长方体。(2)点云:在某些情况下,3D目标检测可以输出目标物体的点云表示,其中包含了构成目标物体表面的多个点。每个点通常具有三维坐标和可能的其他属性,如颜色、反射强度等。(3)对象表面:更高级的3D目标检测方法可能会生成目标物体的表面网格或多边形表示,这提供了比点云更详细的几何信息。(4)关键点:某些3D目标检测算法可能会识别并输出目标物体上的关键点,例如行人的头部、肩膀、膝盖等。(5)姿态信息:对于某些类型的物体,3D目标检测还可能提供物体的姿态信息,例如车辆的朝向角度。(6)其他属性:根据应用需求,3D目标检测结果还可能包括物体的其他属性,如速度、加速度等动态信息。总的来说,3D目标检测的输出取决于所使用的检测算法和传感器类型。例如,基于激光雷达的检测系统可能会输出点云数据,而基于立体视觉的方法可能会输出边界框或关键点。这些结果可以用于自动驾驶、机器人导航、增强现实等多种应用。
本实施例中,3D目标检测结果的输出形式为边界框,一方面,边界框提供了一种直观的方式来表示3D空间中物体的位置和尺寸,使得人们和机器都能容易理解。另一方面,这种输出形式的计算效率较高,相比于更复杂的3D模型,边界框的计算和处理更为简单和快速,这在实时系统和资源受限的环境中尤为重要。其他方面,边界框可以很容易地与其他传感器数据(如2D图像、点云等)集成,为多模态感知系统提供统一的输出格式,以便在本发明所述的目标检测结果的检验方法中对该3D目标检测结果进行检验。
步骤20、将3D目标检测结果的边界框的顶点转换到车体坐标系内。
需要说明的是,车体坐标系是车辆动力学和控制系统中常用的参考坐标系,它通常用于描述车辆的运动状态和控制输入。车体坐标系的原点位置可以根据不同的应用和研究目的而有所不同。常见的车体坐标系原点位置如车辆质心、前后轴中心、转向轴中心、车辆几何中心、车轮接触点以及车体控制点等。选择哪种坐标系原点取决于分析的具体需求和车辆的特性。例如,在进行车辆稳定性分析时,可能会选择质心作为坐标系的原点;而在研究转向动力学时,则可能会选择转向轴中心。不同的坐标系原点选择会影响车辆模型的复杂性和分析的精确度。
具体的,本实施例中,该车体坐标系为以车体控制点为中心的车体坐标系,即该车体坐标系是将车体的控制点作为坐标系的原点。它为车辆的运动分析和控制提供了一个统一的参考框架。
步骤30、根据每一个图像传感器的外参标定信息,将步骤20中的转换到车体坐标系内后的顶点,转换到每一个图像坐标系内。
需要说明的是,图像传感器(如摄像头)的外参标定信息为确定该图像传感器相对于车体坐标系的位置和方向的信息,或者相对于世界坐标系的位置和方向的信息。它确保了传感器数据能够准确地反映现实世界的空间关系。
步骤40、根据图像内参,将步骤30中转换到图像坐标系内后的顶点,映射到2D坐标系内,转换成图像上的点,同时生成第一2D边界框集合。
需要说明的是,图像内参为描述相机镜头和图像传感器之间几何和光学关系的参数,这些参数(如焦距、像素尺寸等)对于理解图像数据和将图像坐标转换为世界坐标至关重要。图像内参标定是计算机视觉中的一个基本步骤,它允许我们:校正图像中的畸变,提高图像质量;从图像坐标转换到相机坐标,进而转换到世界坐标,实现三维重建;为多相机系统或传感器融合提供准确的相机位置和方向信息。因此,在实际应用中,图像内参标定通常通过使用已知尺寸的标定板(如棋盘格)和相应的图像处理算法来完成。标定结果可以用于后续的图像处理和分析任务。
需要说明的是,2D坐标系用于描述图像中点的位置。
步骤50、对步骤40中的图像上的点执行2D目标检测,生成第二2D边界框集合。
步骤60、获取第一2D边界框集合与第二2D边界框集合之间的交并比数据。
步骤70、当第二2D边界框集合中存在比交并比数据大的数据时,该3D目标检测的结果正确。
综上所述,通过本申请所述的方法,基于多模态融合技术,用图像感知的结果来对点云感知的结果进行校验。通过将3D目标检测结果的边界框的顶点转换为图像上的点,作为第一2D边界框集合。再对该图像上的点执行2D目标检测,生成第二2D边界框集合。之后计算第一2D边界框集合与第二2D边界框集合之间的交并比数据,通过对比第二2D边界框集合与交并比数据,进行确定3D目标检测的结果是否正确。这种方法能够对基于点云的3D目标检测结果进行检验,提高3D目标检测结果的准确率,以方便后续人工对点云的标注。
图2是本发明所述的一种目标检测结果的检验装置的模块图。如图2所示,该模块包括:
(1)3D目标检测结果获取模块。
具体的,3D目标检测结果获取模块用于步骤10中,用于获取3D目标检测的结果。
(2)车体坐标点获取模块。
具体的,车体坐标点获取模块用于步骤20中,将3D目标检测结果的边界框的顶点转换到车体坐标系内。
(3)图像坐标点获取模块。
具体的,图像坐标点获取模块用于步骤30中,根据每一个图像传感器的外参标定信息,将步骤20中的转换到车体坐标系内后的顶点,转换到每一个所述图像坐标系内。
(4)第一2D边界框集合获取模块。
具体的,第一2D边界框集合获取模块用于步骤40中,根据图像内参,将步骤30中转换到图像坐标系内后的顶点,映射到2D坐标系内,转换成图像上的点,同时生成第一2D边界框集合。
(5)第二2D边界框集合获取模块。
具体的,第二2D边界框集合获取模块用于步骤50中,对步骤40中的图像上的点执行2D目标检测,生成第二2D边界框集合。
(6)交并比数据获取模块。
具体的,交并比数据获取模块用于步骤60中,获取第一2D边界框集合与第二2D边界框集合之间的交并比数据。
(7)检验结果获取模块。
具体的,检验结果获取模块用于步骤70中,当第二2D边界框集合中存在比交并比数据大的数据时,3D目标检测的结果正确。
图3示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图3所示,电子设备10包括至少一个处理器11,以及与至少一个处理器11通信连接的存储器,如只读存储器(ROM)12、随机访问存储器(RAM)13等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序,来执行各种适当的动作和处理。在RAM 13中,还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15,包括:输入单元16,例如键盘、鼠标等;输出单元17,例如各种类型的显示器、扬声器等;存储单元18,例如磁盘、光盘等;以及通信单元19,例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理,如解决一种目标检测结果的检验方法。
在一些实施例中,一种目标检测结果的检验方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元18。在一些实施例中,计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时,可以执行上文描述的一种目标检测结果的检验方法的一个或多个步骤。备选地,在其他实施例中,处理器11可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行一种目标检测结果的检验方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在电子设备上实施此处描述的系统和技术,该电子设备具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
本发明实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序在被处理器执行时实现如本发明实施例所提供的一种目标检测结果的检验方法。
计算机程序产品在实现的过程中,可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,程序设计语言包括面向对象的程序设计语言,诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (7)
1.一种目标检测结果的检验方法,其特征在于,所述方法包括:
步骤10、获取3D目标检测的结果;
步骤20、将所述3D目标检测结果的边界框的顶点转换到车体坐标系内;
步骤30、根据每一个图像传感器的外参标定信息,将步骤20中所述的转换到车体坐标系内后的顶点,转换到每一个所述图像坐标系内,其中,所述外参标定信息为确定所述图像传感器相对于车体坐标系的位置和方向的信息;
步骤40、根据图像内参,将步骤30中所述转换到图像坐标系内后的顶点,映射到2D坐标系内,转换成图像上的点,同时生成第一2D边界框集合,其中,所述图像内参为描述相机镜头和图像传感器之间几何和光学关系的参数,所述2D坐标系用于描述图像中点的位置;
步骤50、对步骤40中的所述图像上的点执行2D目标检测,生成第二2D边界框集合;
步骤60、获取所述第一2D边界框集合与第二2D边界框集合之间的交并比数据;
步骤70、当所述第二2D边界框集合中存在比所述交并比数据大的数据时,所述3D目标检测的结果正确。
2.根据权利要求1所述的一种目标检测结果的检验方法,其特征在于:
步骤10中,所述3D目标检测的结果为根据激光雷达的标定信息,将所述激光雷达的数据进行图像的去畸变和拼接后,执行基于点云的3D目标检测而得到的结果。
3.根据权利要求2所述的一种目标检测结果的检验方法,其特征在于:
步骤10中,所述3D目标检测结果的输出形式为边界框。
4.根据权利要求1所述的一种目标检测结果的检验方法,其特征在于:
步骤20中,所述车体坐标系为以车体控制点为中心的车体坐标系。
5.一种目标检测结果的检验装置,其特征在于,所述目标检测结果的检验装置被配置为执行所述目标检测结果的检验方法,所述目标检测结果的检验装置包括:
3D目标检测结果获取模块,所述3D目标检测结果获取模块用于步骤10中,获取3D目标检测的结果;
车体坐标点获取模块,所述车体坐标点获取模块用于步骤20中,将所述3D目标检测结果的边界框的顶点转换到车体坐标系内;
图像坐标点获取模块,所述图像坐标点获取模块用于步骤30中,根据每一个图像传感器的外参标定信息,将步骤20中所述的转换到车体坐标系内后的顶点,转换到每一个所述图像坐标系内,其中,所述外参标定信息为确定所述图像传感器相对于车体坐标系的位置和方向的信息;
第一2D边界框集合获取模块,所述第一2D边界框集合获取模块用于步骤40中,根据图像内参,将步骤30中所述转换到图像坐标系内后的顶点,映射到2D坐标系内,转换成图像上的点,同时生成第一2D边界框集合,其中,所述图像内参为描述相机镜头和图像传感器之间几何和光学关系的参数,所述2D坐标系用于描述图像中点的位置;
第二2D边界框集合获取模块,所述第二2D边界框集合获取模块用于步骤50中,对步骤40中的所述图像上的点执行2D目标检测,生成第二2D边界框集合;
交并比数据获取模块,所述交并比数据获取模块用于步骤60中,获取所述第一2D边界框集合与第二2D边界框集合之间的交并比数据;
检验结果获取模块,所述检验结果获取模块用于步骤70中,当所述第二2D边界框集合中存在比所述交并比数据大的数据时,所述3D目标检测的结果正确。
6.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及与所述至少一个处理器通信连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至4中任意一项所述的一种目标检测结果的检验方法。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,
所述计算机程序用于使处理器执行时实现权利要求1至4中任意一项所述的一种目标检测结果的检验方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202411373233.6A CN119314130A (zh) | 2024-09-29 | 2024-09-29 | 一种目标检测结果的检验方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202411373233.6A CN119314130A (zh) | 2024-09-29 | 2024-09-29 | 一种目标检测结果的检验方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN119314130A true CN119314130A (zh) | 2025-01-14 |
Family
ID=94180149
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202411373233.6A Pending CN119314130A (zh) | 2024-09-29 | 2024-09-29 | 一种目标检测结果的检验方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN119314130A (zh) |
-
2024
- 2024-09-29 CN CN202411373233.6A patent/CN119314130A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112861653B (zh) | 融合图像和点云信息的检测方法、系统、设备及存储介质 | |
EP3879494A2 (en) | Method, apparatus, electronic device, computer readable medium and program for calibrating external parameter of camera | |
EP3506161A1 (en) | Method and apparatus for recovering point cloud data | |
CN109270545B (zh) | 一种定位真值校验方法、装置、设备及存储介质 | |
CN113378760A (zh) | 训练目标检测模型和检测目标的方法及装置 | |
TW201520508A (zh) | 探針補點系統及方法 | |
US12125287B2 (en) | Detecting obstacle | |
CN107421473A (zh) | 基于图像处理的两束激光同轴度检测方法 | |
EP3430595B1 (en) | Determining the relative position between a point cloud generating camera and another camera | |
CN113168729B (zh) | 一种基于局部参考坐标系的3d形状匹配方法及装置 | |
CN111239684A (zh) | 一种基于YoloV3深度学习的双目快速距离测量方法 | |
CN117269940B (zh) | 点云数据生成方法、激光雷达的感知能力验证方法 | |
WO2022217988A1 (zh) | 传感器配置方案确定方法、装置、计算机设备、存储介质及程序 | |
CN114187589A (zh) | 一种目标检测方法、装置、设备和存储介质 | |
US20230169680A1 (en) | Beijing baidu netcom science technology co., ltd. | |
Shangguan et al. | Vision‐Based Object Recognition and Precise Localization for Space Body Control | |
KR102571066B1 (ko) | 도로측 카메라의 외부 파라미터에 기반한 3차원 감지 정보 획득 방법과 도로측 기기 | |
CN111679099B (zh) | 基于相干光视觉光流检测的加速度计标定方法及装置 | |
CN115578432B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN119314130A (zh) | 一种目标检测结果的检验方法、装置、设备及存储介质 | |
CN115063489B (zh) | 一种外参标定方法、装置、设备和存储介质 | |
CN114926545A (zh) | 相机标定精度的评估方法、装置、电子设备及存储介质 | |
CN116129422A (zh) | 单目3d目标检测方法、装置、电子设备和存储介质 | |
CN115147561A (zh) | 位姿图生成方法、高精地图生成方法和装置 | |
CN111220100B (zh) | 基于激光束的测量方法、装置、系统、控制设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |