CN117197182B - 雷视标定方法、设备及存储介质 - Google Patents
雷视标定方法、设备及存储介质 Download PDFInfo
- Publication number
- CN117197182B CN117197182B CN202311466239.3A CN202311466239A CN117197182B CN 117197182 B CN117197182 B CN 117197182B CN 202311466239 A CN202311466239 A CN 202311466239A CN 117197182 B CN117197182 B CN 117197182B
- Authority
- CN
- China
- Prior art keywords
- target
- radar
- video
- point
- targets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 239000011159 matrix material Substances 0.000 claims abstract description 77
- 238000013519 translation Methods 0.000 claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 238000013507 mapping Methods 0.000 claims description 35
- 230000033001 locomotion Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 6
- 101000727772 Homo sapiens Thiamine transporter 1 Proteins 0.000 claims description 5
- 102100030104 Thiamine transporter 1 Human genes 0.000 claims description 5
- 230000003068 static effect Effects 0.000 claims description 5
- 208000006446 thiamine-responsive megaloblastic anemia syndrome Diseases 0.000 claims description 5
- SJMYWORNLPSJQO-UHFFFAOYSA-N tert-butyl 2-methylprop-2-enoate Chemical compound CC(=C)C(=O)OC(C)(C)C SJMYWORNLPSJQO-UHFFFAOYSA-N 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008034 disappearance Effects 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了一种雷视标定方法、设备及存储介质,所述方法包括对获取的雷达目标轨迹与视频流进行帧率对齐和时间同步;根据视频流以及目标检测模型得到视频目标信息,根据视频目标信息建立视频目标跟踪器,根据视频目标跟踪器实时获取视频目标轨迹;根据帧率对齐和时间同步后的雷达目标信息与视频目标信息生成关联区域;根据关联区域以及目标跟踪ID生成标定点合集;根据标定点合集确定雷达与视觉传感器之间的旋转矩阵与平移矩阵,实现雷视标定。本发明通过关联区域对雷达目标与视频目标的跟踪轨迹进行关联,根据跟踪轨迹得到标定点合集,保证了标定点的数量以及标定点的获取效率。
Description
技术领域
本发明属于计算机视觉技术领域,尤其涉及一种基于轨迹关联的雷视标定方法、设备及存储介质。
背景技术
在受限的出入口、重点管控区域以及平交路口和路段,需要对场景内的目标流量、目标速度、目标位置以及目标类型进行统计分析。通常使用图像检测算法处理视觉传感器(例如相机)传输的视频流,可以检测到图像中目标的外观信息、语义信息以及目标数量,但无法获取目标速度和目标的实际位置,并且在光线不足的夜晚,雾天、大雨等恶劣天气下,视频检测效果会大幅度降低。毫米波雷达可以利用多普勒效应,实现对运动目标的测距和测速,且不受光照影响,但由于毫米波雷达获取的信息量不足,无法准确地对目标进行分类和识别。为了结合视觉传感器和毫米波雷达的优势,需要对视觉传感器和毫米波雷达采集的数据进行数据处理和信息融合,以实现多场景、多时段下的智能目标分析。
为了准确地对视觉传感器和雷达采集的数据进行信息融合,就要求对视觉传感器和雷达进行标定,目前雷达与视觉传感器的标定方式是选择标定点,根据多组标定点计算出雷达与视觉传感器之间的旋转矩阵和平移矩阵。标定点获取的准确性将直接影响标定的准确。目前,标定点的获取方式为人工选点,具体操作是观察雷达坐标系中的雷达目标和图像坐标系中的图像目标,根据目标间的相互位置关系、目标类型、目标速度等信息,选择与图像目标相对应的雷达目标;根据经验估计雷达目标在实际目标上的位置,再将该位置映射到图像上,得到多组标定点。人工选点的获取方式主要存在以下的弊端:
(1)当场景中的目标数量较多或目标距离较远,且雷达与视觉传感器检测到的目标个数不一致时,人工对于标定点的选择可能会产生混淆,无法有效地找到相对应的雷达目标,造成标定点选择错误,进而导致标定准确度低;
(2)当场景中的目标数量较多且距离视觉传感器较远时,由于目标在图像中所占的像素太小,人工无法有效的区分目标,易导致标定点的错误选择;
(3)当雷达与视觉传感器的安装位置发生变化后,需要重新人工选择标定点,标定效率较低。
还有一种人工标定的方法,在图像中绘制一个多边形框,然后人工测量图像中多边形框的角点相对应的雷达坐标点,进而得到多组标定点;该方法主要存在的问题为:在车流量较多的路口或路段,不具备测量条件。综上所述,人工选点的主要缺点在于标定点选择不准确,标定点获取的效率较低,且对应用环境要求较高。
随着神经网络的飞速发展,基于神经网络的雷达与视觉传感器的标定方法应运而生,该方法将标定点合集分为训练集和测试集,在训练集上对模型进行多轮训练,并在测试集上进行验证,经过多次重复的测试得到拟合效果最优的模型,最后利用最优的模型进行标定,但是当场景中目标数量较少时无法获取大量的标定点,容易造成模型的过拟合,导致实际应用中的标定精度较低,无法满足雷视融合要求。
发明内容
本发明的目的在于提供一种雷视标定方法、设备及存储介质,以解决传统标定方法中人工选点导致标定不准确、标定效率低的问题,以及基于神经网络的标定方法由于标定点数量较少导致标定量精度低的问题。
本发明是通过如下的技术方案来解决上述技术问题的:一种基于轨迹关联的雷视标定方法,所述标定方法包括以下步骤:
获取雷达探测到的雷达目标信息,根据所述雷达目标信息建立雷达目标跟踪器,根据所述雷达目标跟踪器实时获取雷达目标轨迹;
获取视觉传感器检测到的视频流;
对所述雷达目标轨迹与所述视频流进行帧率对齐和时间同步;
根据所述视频流以及目标检测模型得到视频目标信息,根据所述视频目标信息建立视频目标跟踪器,根据所述视频目标跟踪器实时获取视频目标轨迹;
根据帧率对齐和时间同步后的雷达目标信息与视频目标信息生成关联区域;
根据所述关联区域以及目标跟踪ID生成标定点合集;
根据所述标定点合集确定雷达与视觉传感器之间的旋转矩阵与平移矩阵,实现雷视标定。
进一步地,对所述雷达目标轨迹与所述视频流进行帧率对齐,具体包括:
以所述视频流的帧率为基准帧率;
当基准帧率的第i帧存在视频图像,且未接收到雷达目标时,以最邻近帧的雷达目标作为第i帧视频图像对应的雷达目标;
当基准帧率的第i帧存在视频图像,且接收到雷达目标时,以接收到的雷达目标作为第i帧视频图像对应的雷达目标,并根据雷达目标跟踪ID对雷达目标进行更新和轨迹缓存;
当连续多帧未接收到雷达目标时,完成雷达目标轨迹与视频流的帧率对齐。
进一步地,对所述雷达目标轨迹与所述视频流进行时间同步,具体包括:
从雷达目标轨迹中找出与每帧视频图像在时间上最邻近的雷达目标;
计算每帧视频图像的时间戳与对应的最邻近的雷达目标的时间戳之间的时间差;
当所述时间差小于时间阈值时,根据雷达目标的运动速度来更新雷达目标,实现所述雷达目标轨迹与所述视频流的时间同步。
进一步地,根据帧率对齐和时间同步后的雷达目标信息与视频目标信息生成关联区域,具体包括:
根据所述雷达目标信息与视频目标信息确定多对关联目标;
当所述关联目标的数量大于第一数量阈值时,从多对所述关联目标中选出置信度最高的关联目标;其中置信度最高的关联目标是指该关联目标中的视频目标的置信度最高;
根据置信度最高的关联目标生成关联区域,其中所述关联区域包括置信度最高的视频目标的检测区域及与该视频目标对应的雷达目标的检测区域。
进一步地,所述雷达目标信息与视频目标信息包括目标数量、目标位置以及目标运动状态,根据所述雷达目标信息与视频目标信息确定多对关联目标,具体包括:
判断雷达目标数量与运动的视频目标数量是否相等;
当雷达目标数量与运动的视频目标数量相等时,判断雷达目标在雷达坐标系下的相对位置与运动的视频目标在像素坐标系下的相对位置是否相同;
当雷达目标在雷达坐标系下的相对位置与运动的视频目标在像素坐标系下的相对位置相同时,判断雷达目标在雷达坐标系下的运动方向与运动的视频目标在像素坐标系下的运动方向是否相同;
当雷达目标在雷达坐标系下的运动方向与运动的视频目标在像素坐标系下的运动方向相同时,确定所述雷达目标与所述视频目标为一对关联目标。
进一步地,根据所述视频目标轨迹确定视频目标运动状态,具体包括:
对于每一视频目标轨迹,每间隔一段时间从所述视频目标轨迹中提取一目标框,计算相邻两个目标框的交并比;
将每个交并比与交并比阈值进行比较,得到交并比大于交并比阈值的数量;
计算交并比大于交并比阈值的数量与交并比总数之间的比值;
当所述比值大于比值阈值时,则所述视频目标为静止状态;当所述比值小于等于比值阈值时,则所述视频目标为运动状态。
进一步地,根据所述关联区域以及目标跟踪ID生成标定点合集,具体包括:
在当前时刻,当所述关联区域内出现雷达目标和视频目标,且雷达目标数量与运动的视频目标数量相同、雷达目标在雷达坐标系下的相对位置与运动的视频目标在像素坐标系下的相对位置相同时,根据雷达目标跟踪ID和视频目标跟踪ID将关联区域内的雷达目标与视频目标进行关联,得到一对关联跟踪目标;每对关联跟踪目标均包括一雷达目标和一视频目标,且所述雷达目标在雷达坐标系下的相对位置与所述视频目标在像素坐标系下的相对位置相同;
对于每对关联跟踪目标,保留从目标出现到目标消失时间段内,所述关联跟踪目标的雷达目标轨迹和视频目标轨迹;
对所述关联跟踪目标的雷达目标轨迹和视频目标轨迹分别进行滤波处理,并将滤波处理后的关联跟踪目标的雷达目标轨迹和视频目标轨迹作为当前时刻的一条标定点轨迹;将当前时刻的所有标定点轨迹存入标定点合集;
判断所述标定点合集中的标定点轨迹数量是否达到第二数量阈值,若是,则输出标定点合集;否则获取下一时刻的所有标定点轨迹,并将下一时刻的所有标定点轨迹存入标定点合集,直到所述标定点合集中的标定点轨迹数量达到第二数量阈值。
进一步地,根据所述标定点合集确定雷达与视觉传感器之间的旋转矩阵与平移矩阵,具体包括:
步骤7.1:对所述视觉传感器进行标定,得到所述视觉传感器的内参矩阵;
步骤7.2:在雷达坐标系下,对所述标定点合集中的所有标定点按照距离进行聚类,得到不同类簇;
步骤7.3:从每个类簇中随机选取一个标定点作为当前轮标定点,每个标定点包括雷达目标点和视频目标点;
步骤7.4:根据所有当前轮标定点计算出雷达与视觉传感器之间的旋转矩阵和平移矩阵;
步骤7.5:根据所述内参矩阵、旋转矩阵以及平移矩阵计算出当前标定精度;
步骤7.6:当所述当前标定精度大于精度阈值时,输出当前标定精度所对应的旋转矩阵和平移矩阵;当所述当前标定精度小于或等于精度阈值时,转入步骤7.3。
进一步地,所述当前标定精度的具体计算过程包括:
根据所述内参矩阵、旋转矩阵以及平移矩阵,将所述标定点合集中每个标定点的雷达目标点映射至像素坐标系,得到雷达目标映射点;
计算出雷达目标映射点的目标框与所述标定点的视频目标点的目标框的交并比;
根据所述内参矩阵、旋转矩阵以及平移矩阵,将所述标定点合集中每个标定点的视频目标点映射至雷达坐标系,得到视频目标映射点;
计算出所述视频目标映射点与所述标定点的雷达目标点之间的欧式距离;
根据所述欧式距离与距离阈值得到距离映射精度;
根据所述交并比与所述距离映射精度计算出当前标定精度,具体公式为:
;
;
其中,AT为第T轮的标定精度,N为标定点合集中的标定点数量,TBMAi为标定点合集中第i个标定点的雷达目标映射点的目标框与视频目标点的目标框的交并比,TRMAi为标定点合集中第i个标定点的距离映射精度,D为距离阈值,d i 为标定点合集中第i个标定点的视频目标映射点与雷达目标点之间的欧式距离。
基于同一构思,本发明还提供了一种电子设备,所述设备包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上所述的雷视标定方法。
基于同一构思,本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的雷视标定方法。
有益效果
与现有技术相比,本发明的优点在于:
本发明通过雷达目标信息与视频目标信息生成关联区域,再通过关联区域生成标定点轨迹,在生成关联区域时通过对目标信息的约束确保了关联区域的准确性,进而确保了标定点选择的准确性;本发明标定点的获取无需人工参与,消除了由于人工选择标定点不准确造成的标定误差,提高了标定点的获取效率;
本发明通过关联区域对雷达目标与视频目标的跟踪轨迹进行关联,根据跟踪轨迹得到标定点合集,保证了标定点的数量以及标定点的获取效率;对标定点合集进行聚类处理,并从不同聚类簇中选择标定点,然后根据标定点计算雷达与视觉传感器之间的旋转矩阵和平移矩阵,并根据标定点合集中所有点的标定精度对旋转矩阵和平移矩阵进行更新,使最终的标定精度达到最优,使旋转矩阵和平移矩阵能覆盖到应用场景中的不同距离段,提高了雷视融合的准确性。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一个实施例,对于本领域普通技术人员来说,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例中雷视标定方法流程图;
图2是本发明实施例中雷达目标轨迹与视频流的帧率对齐示意图;
图3是本发明实施例中关联区域生成流程图;
图4是本发明实施例中关联区域示意图;
图5是本发明实施例中关联跟踪目标及其轨迹示意图;
图6是本发明实施例中标定点合集聚类后各类簇示意图。
具体实施方式
下面结合本发明实施例中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
如图1所示,本发明实施例所提供的一种基于轨迹关联的雷视标定方法,包括以下步骤:
步骤1:获取雷达探测到的雷达目标信息,根据雷达目标信息建立雷达目标跟踪器,根据雷达目标跟踪器实时获取雷达目标轨迹;
步骤2:获取视觉传感器检测到的视频流;
步骤3:对雷达目标轨迹与视频流进行帧率对齐和时间同步;
步骤4:根据视频流以及目标检测模型得到视频目标信息,根据视频目标信息建立视频目标跟踪器,根据视频目标跟踪器实时获取视频目标轨迹;
步骤5:根据帧率对齐和时间同步后的雷达目标信息与视频目标信息生成关联区域;
步骤6:根据关联区域以及目标跟踪ID生成标定点合集;
步骤7:根据标定点合集确定雷达与视觉传感器之间的旋转矩阵与平移矩阵,实现雷视标定。
本实施例中,视觉传感器为高清相机。步骤1和步骤4中,目标跟踪是指对雷达目标或视频目标的前一帧检测结果使用卡尔曼滤波器预测,根据前一帧预测的目标和当前帧检测的目标计算出代价矩阵,然后使用匈牙利匹配算法寻找到最优的匹配结果,实现目标的前后帧关联,重复上述过程形成目标轨迹,再基于目标轨迹赋予目标跟踪ID,即目标跟踪序号。雷达目标跟踪器以及视频目标跟踪器的建立均为现有技术,具体可参考申请公布号为CN115685102A,名称为一种基于目标跟踪的雷视自动标定方法的专利文献。
在生成关联区域之前,先进行帧率对齐,然后进行时间同步。若帧率不对齐或时间不同步,将导致雷达目标与对应的视频目标存在较大的时间差,进而导致无法精确找到目标,导致标定不准确。帧率对齐是通过最邻近插值法使得将雷达目标轨迹中雷达目标的帧率与视频帧的帧率相同。步骤3中,如图2所示,对雷达目标轨迹与视频流进行帧率对齐,具体包括:
以视频流的帧率为基准帧率;
当基准帧率的第i帧存在视频图像,且未接收到雷达目标时,以最邻近帧的雷达目标作为第i帧视频图像对应的雷达目标;
当基准帧率的第i帧存在视频图像,且接收到雷达目标时,以接收到的雷达目标作为第i帧视频图像对应的雷达目标,并根据雷达目标跟踪ID对雷达目标进行更新和轨迹缓存;
当连续多帧未接收到雷达目标时,表明雷达目标消失,完成雷达目标轨迹与视频流的帧率对齐。
当雷达探测到目标后,按照稳定的频率发送雷达目标,当未探测到目标后则不发送雷达目标,而视觉传感器采集的视频流的帧率是稳定的,因此以视频流的帧率为基准帧率。当某个时刻存在视频图像,但雷达未检测到目标,则以最邻近的雷达目标作为该时刻的视频图像对应的雷达目标。示例性的,如图2所示,第2帧视频图像时未接收到雷达目标,则以标号1的雷达目标作为第2帧视频图像对应的雷达目标。
雷达接收到目标反射波信号的时间戳作为雷达目标的时间戳,相机成像的时间戳作为当前帧视频图像的时间戳。步骤3中,对雷达目标轨迹与视频流进行时间同步,具体包括:
从雷达目标轨迹中找出与每帧视频图像在时间上最邻近的雷达目标;计算每帧视频图像的时间戳与对应的最邻近的雷达目标的时间戳之间的时间差;当时间差小于时间阈值时,根据雷达目标的运动速度来更新雷达目标,实现雷达目标轨迹与视频流的时间同步。
步骤4中,目标检测模型采用现有模型,例如YOLOv5模型,先对YOLOv5模型进行训练和测试,然后利用训练好的YOLOv5模型对视频流进行目标检测,得到视频目标信息。利用帧率对齐和时间同步后的雷达目标信息与视频目标信息生成关联区域,雷达目标信息与视频目标信息包括目标数量、目标位置以及目标运动状态。毫米波雷达能够探测径向移动的目标,因此雷达探测到的雷达目标信息包含了目标运动状态,而视频目标运动状态无法通过目标检测模型来得到,需要根据视频目标轨迹来确定。本实施例中,根据视频目标轨迹确定视频目标运动状态,具体包括:
对于每一视频目标轨迹,每间隔一段时间从视频目标轨迹中提取一目标框,计算相邻两个目标框的交并比;将每个交并比与交并比阈值进行比较,得到交并比大于交并比阈值的数量;计算交并比大于交并比阈值的数量与交并比总数之间的比值;当比值大于比值阈值时,则视频目标为静止状态;当比值小于等于比值阈值时,则视频目标为运动状态。
每个视频目标对应一条视频目标轨迹,每间隔一段时间从视频目标轨迹中提取一帧视频图像,将该帧视频图像输入到训练好的YOLOv5模型中,即可得到视频目标的目标框。示例性的,从某条视频目标轨迹中提取出21个目标框,则计算得到20个交并比,若20个交并比中有12个交并比大于交并比阈值,则比值等于12/20,当12/20大于比值阈值时,认为视频目标为静止状态,当12/20小于等于比值阈值时,认为视频目标为运动状态。本实施例中,交并比阈值设为0.8,比值阈值设为0.7,比值阈值设置的越大,则运动状态检测结果越准确。
关联区域是指像素坐标系上的某块区域与雷达坐标系中的某块区域描述的是同一区域。舍弃非关联区域的目标,仅在关联区域生成标定点合集,在保证了标定点选择的准确性的同时提高了标定点的获取效率。如图3所示,步骤5中,根据帧率对齐和时间同步后的雷达目标信息与视频目标信息生成关联区域,具体包括:
步骤5.1:根据雷达目标信息与视频目标信息确定多对关联目标;
步骤5.2:当关联目标的数量大于第一数量阈值时,从多对关联目标中选出置信度最高的关联目标;其中置信度最高的关联目标是指该关联目标中的视频目标的置信度最高;
步骤5.3:根据置信度最高的关联目标生成关联区域,其中关联区域包括置信度最高的视频目标的检测区域及与该视频目标对应的雷达目标的检测区域。
视频目标的检测区域是根据视频目标的目标框的上边框和下边框确定的矩形区域,雷达目标的检测区域是根据雷达目标实际尺寸的上边界和下边界确定的矩形区域,如图4中的网格区域。目标检测模型对视频目标进行检测并输出检测结果,即输出目标框时,同时还输出目标框的置信度,如图4的像素坐标系中,每个矩形框所带的数字为目标框的置信度,数字0.9为最高置信度,因此关联区域中的视频目标的检测区域为0.9所对应的目标框的上、下边界确定的矩形区域。
步骤5.1中,根据雷达目标信息与视频目标信息确定多对关联目标,具体包括:
步骤5.11:判断雷达目标数量与运动的视频目标数量是否相等;
步骤5.12:当雷达目标数量与运动的视频目标数量相等时,判断雷达目标在雷达坐标系下的相对位置与运动的视频目标在像素坐标系下的相对位置是否相同;
步骤5.13:当雷达目标在雷达坐标系下的相对位置与运动的视频目标在像素坐标系下的相对位置相同时,判断雷达目标在雷达坐标系下的运动方向与运动的视频目标在像素坐标系下的运动方向是否相同;
步骤5.14:当雷达目标在雷达坐标系下的运动方向与运动的视频目标在像素坐标系下的运动方向相同时,确定雷达目标与视频目标为一对关联目标。
图4中有4对关联目标,其中数字0.9所对应的目标框的置信度最高,因此关联区域包括置信度为0.9的视频目标的目标框所确定的区域以及与置信度为0.9的视频目标对应的雷达目标的目标尺寸确定的区域,置信度为0.9的视频目标与对应的雷达目标为一对关联目标。
在本发明的另一种实施方式中,关联区域还可以通过人工方式进行生成,主要有以下两种方式:
第一种:人工现场测量的方法。首先在像素坐标系下绘制出区域块,然后通过测量出该区域块的角点所对应的雷达坐标系的坐标点,进而得到雷达坐标系的区域块,然后根据像素坐标系和雷达坐标系的区域块的上边界和下边界确定矩形区域,从而形成关联区域。
第二种:根据坐标系中目标暂停的方法。当雷达坐标系探测到目标后,显示在雷达坐标系,同时在视频画面中该目标也能被人眼观察,此时对雷达坐标系和像素坐标系中的目标进行时间暂停,然后人工可以在像素坐标系下绘制出包含视频目标的区域块,同时人工在雷达坐标系下绘制出包含雷达目标的区域块,然后根据像素坐标系和雷达坐标系的区域块的上边界和下边界确定矩形区域,从而形成关联区域。
步骤6中,根据关联区域以及目标跟踪ID生成标定点合集,具体包括:
步骤6.1:在当前时刻,当关联区域内出现雷达目标和视频目标,且雷达目标数量与运动的视频目标数量相同、雷达目标在雷达坐标系下的相对位置与运动的视频目标在像素坐标系下的相对位置相同时,根据雷达目标跟踪ID和视频目标跟踪ID将关联区域内的雷达目标与视频目标进行关联,得到一对关联跟踪目标;每对关联跟踪目标均包括一雷达目标和一视频目标,且雷达目标在雷达坐标系下的相对位置与视频目标在像素坐标系下的相对位置相同;
步骤6.2:对于每对关联跟踪目标,保留从目标出现到目标消失时间段内,关联跟踪目标的雷达目标轨迹和视频目标轨迹;
步骤6.3:对关联跟踪目标的雷达目标轨迹和视频目标轨迹分别按照时间间隔进行均值滤波处理,提高轨迹中标定点的准确性,并将滤波处理后的关联跟踪目标的雷达目标轨迹和视频目标轨迹作为当前时刻的一条标定点轨迹;将当前时刻的所有标定点轨迹存入标定点合集;
步骤6.4:判断标定点合集中的标定点轨迹数量是否达到第二数量阈值,若是,则输出标定点合集;否则与步骤6.1~6.3同理,获取下一时刻的所有标定点轨迹,并将下一时刻的所有标定点估计轨迹存入标定点合集,直到标定点合集中的标定点轨迹数量达到第二数量阈值。
在步骤6.1中,在某一时刻,关联区域内同时出现雷达目标和视频目标,且雷达目标和视频目标均为1,则无需再根据相对位置和目标跟踪ID对雷达目标和视频目标进行关联;若雷达目标和视频目标均为n,且n为大于1的正整数时,无法获知哪个雷达目标与哪个视频目标进行关联,因此需要根据相对位置和目标跟踪ID对雷达目标和视频目标进行关联。如图5所示,雷达目标和视频目标均为2,2个雷达目标的ID分别为ID2和ID5,2个视频目标的ID分别为ID18和ID25,无法获知哪个雷达目标与哪个视频目标关联,根据相对位置可以进一步确定ID为ID2的雷达目标与ID为ID18的视频目标关联,ID为ID5的雷达目标与ID为ID25的视频目标关联,得到2对关联跟踪目标。每个关联跟踪目标均包括一雷达目标和一视频目标,且雷达目标在雷达坐标系下的相对位置与视频目标在像素坐标系下的相对位置相同。
由图5可知,每条标定点轨迹实际上包括一条雷达目标轨迹和一条视频目标轨迹,为了保证足够多的标定点数量,标定点合集中的标定点轨迹的数量需要满足第二数量阈值,本实施例中,第二数量阈值设为20,即当标定点合集中包含20条及以上的标定点轨迹时,根据标定点合集确定旋转矩阵和平移矩阵。
步骤7中,根据标定点合集确定雷达与视觉传感器之间的旋转矩阵与平移矩阵,具体包括:
步骤7.1:使用张正友标定算法对相机进行标定,得到相机的内参矩阵;
步骤7.2:在雷达坐标系下,对标定点合集中的所有标定点按照距离进行聚类,得到不同类簇;
步骤7.3:从每个类簇中随机选取一个标定点作为当前轮标定点,每个标定点包括雷达目标点和视频目标点;
步骤7.4:根据所有当前轮标定点计算出雷达与视觉传感器之间的旋转矩阵和平移矩阵;
步骤7.5:根据内参矩阵、旋转矩阵以及平移矩阵计算出当前标定精度;
步骤7.6:当当前标定精度大于精度阈值时,输出当前标定精度所对应的旋转矩阵和平移矩阵;当当前标定精度小于或等于精度阈值时,转入步骤7.3。
步骤7.2中,类簇数量C为6,聚类后6个类簇如图6所示。步骤7.4中,根据6个当前轮标定点,利用PnP(Perspective-n-Points)算法计算出雷达与视觉传感器之间的旋转矩阵和平移矩阵,也可以采用其他方法求解,例如神经网络。雷达坐标系与像素坐标系之间的转换关系式为:
(1)
其中,为像素坐标系下的某一视频目标点,/>为雷达坐标系下的某一雷达目标点,R为雷达坐标系与像素坐标系之间的旋转矩阵,T为雷达坐标系与像素坐标系之间的平移矩阵,K为相机的内参矩阵,Zc为视频目标点在相机坐标系的Z轴值。
为了得到最优的标定精度,利用标定点合集对旋转矩阵和平移矩阵的标定精度进行评估,当满足精度阈值时,才输出标定精度所对应的旋转矩阵和平移矩阵作为最优标定矩阵,大大提高了标定精度。步骤7.5中,当前标定精度的具体计算过程为:
步骤7.51:根据内参矩阵、旋转矩阵以及平移矩阵,将标定点合集中每个标定点的雷达目标点映射至像素坐标系,得到雷达目标映射点。即根据式(1)计算出每个标定点Pi中的雷达目标点映射到像素坐标系的坐标,在像素坐标系中的每个目标点均对应一个目标框,因此雷达目标映射点/>也对应有一个目标框。
步骤7.52:计算出雷达目标映射点的目标框与该标定点Pi的视频目标点的目标框的交并比,以该交并比作为目标框映射精度(TBMA,Target Box MappingAccuracy)。
步骤7.53:根据内参矩阵、旋转矩阵以及平移矩阵,将标定点合集中每个标定点Pi的视频目标点映射至雷达坐标系,得到视频目标映射点。即根据式(1)计算出每个标定点Pi中的视频目标点映射到雷达坐标系的坐标。
步骤7.54:计算出视频目标映射点与标定点Pi的雷达目标点之间的欧式距离d i ,具体公式为:
(2)
步骤7.55:根据欧式距离d i 与距离阈值D得到距离映射精度TRMAi,具体公式为:
(3)
步骤7.56:根据交并比与距离映射精度TRMAi计算出当前标定精度,具体公式为:
(4)
其中,AT为第T轮的标定精度,N为标定点合集中的标定点数量,TBMAi为标定点合集中第i个标定点Pi的雷达目标映射点的目标框与视频目标点的目标框的交并比,TRMAi为标定点合集中第i个标定点Pi的距离映射精度。
步骤7.6中,精度阈值设为0.9~0.98。在当前标定精度与精度阈值进行比较时,还需当前标定精度在设定时间或设定迭代次数内大于精度阈值,若否,则标定失败。即多次迭代或在设定时间内仍然无法超过精度阈值,说明标定失败。本实施例中,设定时间为15~30分钟。
本发明可以采用不同类型的雷达与视觉传感器结合应用于不同场景,例如交通领域。
本发明实施例还提供一种电子设备,该电子设备包括:处理器和存储有计算机程序的存储器,所述处理器被配置为执行所述计算机程序时实现如上所述的雷视标定方法。
尽管未示出,所述电子设备包括处理器,其可以根据存储在只读存储器(ROM)中的程序和/或数据或者从存储部分加载到随机访问存储器(RAM)中的程序和/或数据而执行各种适当的操作和处理。处理器可以是一个多核的处理器,也可以包含多个处理器。在一些实施例中,处理器可以包含一个通用的主处理器以及一个或多个特殊的协处理器,例如,中央处理器、图形处理器(GPU)、神经网络处理器(NPU)、数字信号处理器(DSP)等等。在RAM中,还存储有电子设备操作所需的各种程序和数据。处理器、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。
上述处理器与存储器共同用于执行存储在存储器中的程序,所述程序被计算机执行时能够实现上述各实施例描述的方法、步骤或功能。
尽管未示出,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的雷视标定方法。
在本发明的实施例的存储介质包括永久性和非永久性、可移动和非可移动的可以由任何方法或技术来实现信息存储的物品。存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
以上所揭露的仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或变型,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于轨迹关联的雷视标定方法,其特征在于,所述标定方法包括以下步骤:
获取雷达探测到的雷达目标信息,根据所述雷达目标信息建立雷达目标跟踪器,根据所述雷达目标跟踪器实时获取雷达目标轨迹;
获取视觉传感器检测到的视频流;
对所述雷达目标轨迹中的雷达目标信息与所述视频流中的视频图像进行帧率对齐和时间同步;
根据所述视频流中的视频图像以及目标检测模型得到视频目标信息,根据所述视频目标信息建立视频目标跟踪器,根据所述视频目标跟踪器实时获取视频目标轨迹;
根据帧率对齐和时间同步后的雷达目标信息与视频图像的视频目标信息生成关联区域;
根据所述关联区域以及目标跟踪ID生成标定点合集;
根据所述标定点合集确定雷达与视觉传感器之间的旋转矩阵与平移矩阵,实现雷视标定;
其中,根据所述关联区域以及目标跟踪ID生成标定点合集,具体包括:
在当前时刻,当所述关联区域内出现雷达目标和视频目标,且雷达目标数量与运动的视频目标数量相同、雷达目标在雷达坐标系下的相对位置与运动的视频目标在像素坐标系下的相对位置相同时,根据雷达目标跟踪ID和视频目标跟踪ID将关联区域内的雷达目标与视频目标进行关联,得到一对关联跟踪目标;每对关联跟踪目标均包括一雷达目标和一视频目标,且所述雷达目标在雷达坐标系下的相对位置与所述视频目标在像素坐标系下的相对位置相同;
对于每对关联跟踪目标,保留从目标出现到目标消失时间段内,所述关联跟踪目标的雷达目标轨迹和视频目标轨迹;
对所述关联跟踪目标的雷达目标轨迹和视频目标轨迹分别进行滤波处理,并将滤波处理后的关联跟踪目标的雷达目标轨迹和视频目标轨迹作为当前时刻的一条标定点轨迹;将当前时刻的所有标定点轨迹存入标定点合集;
判断所述标定点合集中的标定点轨迹数量是否达到第二数量阈值,若是,则输出标定点合集;否则获取下一时刻的所有标定点轨迹,并将下一时刻的所有标定点轨迹存入标定点合集,直到所述标定点合集中的标定点轨迹数量达到第二数量阈值。
2.根据权利要求1所述的雷视标定方法,其特征在于,对所述雷达目标轨迹与所述视频流进行帧率对齐,具体包括:
以所述视频流的帧率为基准帧率;
当基准帧率的第i帧存在视频图像,且未接收到雷达目标时,以最邻近帧的雷达目标作为第i帧视频图像对应的雷达目标;
当基准帧率的第i帧存在视频图像,且接收到雷达目标时,以接收到的雷达目标作为第i帧视频图像对应的雷达目标,并根据雷达目标跟踪ID对雷达目标进行更新和轨迹缓存;
当连续多帧未接收到雷达目标时,完成雷达目标轨迹与视频流的帧率对齐。
3.根据权利要求1所述的雷视标定方法,其特征在于,对所述雷达目标轨迹与所述视频流进行时间同步,具体包括:
从雷达目标轨迹中找出与每帧视频图像在时间上最邻近的雷达目标;
计算每帧视频图像的时间戳与对应的最邻近的雷达目标的时间戳之间的时间差;
当所述时间差小于时间阈值时,根据雷达目标的运动速度来更新雷达目标,实现所述雷达目标轨迹与所述视频流的时间同步。
4.根据权利要求1所述的雷视标定方法,其特征在于,根据帧率对齐和时间同步后的雷达目标信息与视频目标信息生成关联区域,具体包括:
根据所述雷达目标信息与视频目标信息确定多对关联目标;
当所述关联目标的数量大于第一数量阈值时,从多对所述关联目标中选出置信度最高的关联目标;其中置信度最高的关联目标是指该关联目标中的视频目标的置信度最高;
根据置信度最高的关联目标生成关联区域,其中所述关联区域包括置信度最高的视频目标的检测区域及与该视频目标对应的雷达目标的检测区域。
5.根据权利要求4所述的雷视标定方法,其特征在于,所述雷达目标信息与视频目标信息包括目标数量、目标位置以及目标运动状态,根据所述雷达目标信息与视频目标信息确定多对关联目标,具体包括:
判断雷达目标数量与运动的视频目标数量是否相等;
当雷达目标数量与运动的视频目标数量相等时,判断雷达目标在雷达坐标系下的相对位置与运动的视频目标在像素坐标系下的相对位置是否相同;
当雷达目标在雷达坐标系下的相对位置与运动的视频目标在像素坐标系下的相对位置相同时,判断雷达目标在雷达坐标系下的运动方向与运动的视频目标在像素坐标系下的运动方向是否相同;
当雷达目标在雷达坐标系下的运动方向与运动的视频目标在像素坐标系下的运动方向相同时,确定所述雷达目标与所述视频目标为一对关联目标。
6.根据权利要求5所述的雷视标定方法,其特征在于,根据所述视频目标轨迹确定视频目标运动状态,具体包括:
对于每一视频目标轨迹,每间隔一段时间从所述视频目标轨迹中提取一目标框,计算相邻两个目标框的交并比;
将每个交并比与交并比阈值进行比较,得到交并比大于交并比阈值的数量;
计算交并比大于交并比阈值的数量与交并比总数之间的比值;
当所述比值大于比值阈值时,则所述视频目标为静止状态;当所述比值小于等于比值阈值时,则所述视频目标为运动状态。
7.根据权利要求1~6中任一项所述的雷视标定方法,其特征在于,根据所述标定点合集确定雷达与视觉传感器之间的旋转矩阵与平移矩阵,具体包括:
步骤7.1:对所述视觉传感器进行标定,得到所述视觉传感器的内参矩阵;
步骤7.2:在雷达坐标系下,对所述标定点合集中的所有标定点按照距离进行聚类,得到不同类簇;
步骤7.3:从每个类簇中随机选取一个标定点作为当前轮标定点,每个标定点包括雷达目标点和视频目标点;
步骤7.4:根据所有当前轮标定点计算出雷达与视觉传感器之间的旋转矩阵和平移矩阵;
步骤7.5:根据所述内参矩阵、旋转矩阵以及平移矩阵计算出当前标定精度;
步骤7.6:当所述当前标定精度大于精度阈值时,输出当前标定精度所对应的旋转矩阵和平移矩阵;当所述当前标定精度小于或等于精度阈值时,转入步骤7.3。
8.根据权利要求7所述的雷视标定方法,其特征在于,所述当前标定精度的具体计算过程包括:
根据所述内参矩阵、旋转矩阵以及平移矩阵,将所述标定点合集中每个标定点的雷达目标点映射至像素坐标系,得到雷达目标映射点;
计算出雷达目标映射点的目标框与所述标定点的视频目标点的目标框的交并比;
根据所述内参矩阵、旋转矩阵以及平移矩阵,将所述标定点合集中每个标定点的视频目标点映射至雷达坐标系,得到视频目标映射点;
计算出所述视频目标映射点与所述标定点的雷达目标点之间的欧式距离;
根据所述欧式距离与距离阈值得到距离映射精度;
根据所述交并比与所述距离映射精度计算出当前标定精度,具体公式为:
;
;
其中,AT为第T轮的标定精度,N为标定点合集中的标定点数量,TBMAi为标定点合集中第i个标定点的雷达目标映射点的目标框与视频目标点的目标框的交并比,TRMAi为标定点合集中第i个标定点的距离映射精度,D为距离阈值,d i 为标定点合集中第i个标定点的视频目标映射点与雷达目标点之间的欧式距离。
9.一种电子设备,其特征在于,所述设备包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1~8中任一项所述的雷视标定方法。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1~8中任一项所述的雷视标定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311466239.3A CN117197182B (zh) | 2023-11-07 | 2023-11-07 | 雷视标定方法、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311466239.3A CN117197182B (zh) | 2023-11-07 | 2023-11-07 | 雷视标定方法、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117197182A CN117197182A (zh) | 2023-12-08 |
CN117197182B true CN117197182B (zh) | 2024-02-27 |
Family
ID=88998327
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311466239.3A Active CN117197182B (zh) | 2023-11-07 | 2023-11-07 | 雷视标定方法、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117197182B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118643255B (zh) * | 2024-08-12 | 2024-11-19 | 浙江大华技术股份有限公司 | 标定矩阵确定方法、设备及计算机可读存储介质 |
CN119126103A (zh) * | 2024-09-12 | 2024-12-13 | 华诺星空技术股份有限公司 | 一种雷达与视觉融合的公路能见度检测方法及系统 |
CN119832091B (zh) * | 2025-03-17 | 2025-06-06 | 浙江大华技术股份有限公司 | 一种数据标定方法、装置、电子设备和存储介质 |
Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB1291130A (en) * | 1968-10-18 | 1972-09-27 | Hollandse Signaalapparaten Bv | Radar system for three-dimensional target position finding |
US4688046A (en) * | 1982-09-13 | 1987-08-18 | Isc Cardion Electronics, Inc. | ADF bearing and location for use with ASR and ASDE displays |
CA2424151A1 (en) * | 2002-04-02 | 2003-10-02 | Thales Nederland B.V. | Multi-targets detection method applied in particular to surveillance radars with multi-beamforming in elevation |
CN102169177A (zh) * | 2011-01-21 | 2011-08-31 | 西安电子科技大学 | 基于时域特征的雷达目标高分辨距离像识别方法 |
CN103323847A (zh) * | 2013-05-30 | 2013-09-25 | 中国科学院电子学研究所 | 一种动目标点迹仿真及轨迹关联方法和装置 |
CN104297748A (zh) * | 2014-10-20 | 2015-01-21 | 西安电子科技大学 | 一种基于轨迹增强的雷达目标检测前跟踪方法 |
CN105116392A (zh) * | 2015-09-09 | 2015-12-02 | 电子科技大学 | 一种针对ais与主动雷达航迹融合及识别的方法 |
CN105701479A (zh) * | 2016-02-26 | 2016-06-22 | 重庆邮电大学 | 基于目标特征的智能车辆多激光雷达融合识别方法 |
FR3031192A1 (fr) * | 2014-12-30 | 2016-07-01 | Thales Sa | Procede de suivi optique assiste par radar et systeme de mission pour la mise en oeuvre de procede |
CN110515073A (zh) * | 2019-08-19 | 2019-11-29 | 南京慧尔视智能科技有限公司 | 多雷达跨区域组网多目标跟踪识别方法及装置 |
WO2020108647A1 (zh) * | 2018-11-30 | 2020-06-04 | 杭州海康威视数字技术股份有限公司 | 车载摄像头和车载雷达联动的目标检测方法、装置及系统 |
WO2021170030A1 (zh) * | 2020-02-28 | 2021-09-02 | 华为技术有限公司 | 一种用于目标追踪的方法、设备及系统 |
CN113671480A (zh) * | 2021-07-10 | 2021-11-19 | 亿太特(陕西)科技有限公司 | 雷达与视频融合交通目标跟踪方法、系统、设备、终端 |
CN114299417A (zh) * | 2021-12-09 | 2022-04-08 | 连云港杰瑞电子有限公司 | 一种基于雷视融合的多目标跟踪方法 |
CN115619873A (zh) * | 2022-09-21 | 2023-01-17 | 连云港杰瑞电子有限公司 | 一种基于轨迹溯源的雷视自动标定方法 |
CN115685102A (zh) * | 2022-09-21 | 2023-02-03 | 连云港杰瑞电子有限公司 | 一种基于目标跟踪的雷视自动标定方法 |
CN115731268A (zh) * | 2022-11-17 | 2023-03-03 | 东南大学 | 基于视觉/毫米波雷达信息融合的无人机多目标跟踪方法 |
CN115965655A (zh) * | 2023-02-02 | 2023-04-14 | 西安电子科技大学 | 一种基于雷视一体的交通目标跟踪方法 |
CN116068504A (zh) * | 2021-10-29 | 2023-05-05 | 杭州海康威视数字技术股份有限公司 | 雷达和视频采集设备的标定方法、装置、设备及存储介质 |
CN116990768A (zh) * | 2023-08-02 | 2023-11-03 | 南京慧尔视软件科技有限公司 | 预测航迹处理方法、装置、电子设备及可读介质 |
-
2023
- 2023-11-07 CN CN202311466239.3A patent/CN117197182B/zh active Active
Patent Citations (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB1291130A (en) * | 1968-10-18 | 1972-09-27 | Hollandse Signaalapparaten Bv | Radar system for three-dimensional target position finding |
US4688046A (en) * | 1982-09-13 | 1987-08-18 | Isc Cardion Electronics, Inc. | ADF bearing and location for use with ASR and ASDE displays |
CA2424151A1 (en) * | 2002-04-02 | 2003-10-02 | Thales Nederland B.V. | Multi-targets detection method applied in particular to surveillance radars with multi-beamforming in elevation |
CN102169177A (zh) * | 2011-01-21 | 2011-08-31 | 西安电子科技大学 | 基于时域特征的雷达目标高分辨距离像识别方法 |
CN103323847A (zh) * | 2013-05-30 | 2013-09-25 | 中国科学院电子学研究所 | 一种动目标点迹仿真及轨迹关联方法和装置 |
CN104297748A (zh) * | 2014-10-20 | 2015-01-21 | 西安电子科技大学 | 一种基于轨迹增强的雷达目标检测前跟踪方法 |
FR3031192A1 (fr) * | 2014-12-30 | 2016-07-01 | Thales Sa | Procede de suivi optique assiste par radar et systeme de mission pour la mise en oeuvre de procede |
CN105116392A (zh) * | 2015-09-09 | 2015-12-02 | 电子科技大学 | 一种针对ais与主动雷达航迹融合及识别的方法 |
CN105701479A (zh) * | 2016-02-26 | 2016-06-22 | 重庆邮电大学 | 基于目标特征的智能车辆多激光雷达融合识别方法 |
WO2020108647A1 (zh) * | 2018-11-30 | 2020-06-04 | 杭州海康威视数字技术股份有限公司 | 车载摄像头和车载雷达联动的目标检测方法、装置及系统 |
CN110515073A (zh) * | 2019-08-19 | 2019-11-29 | 南京慧尔视智能科技有限公司 | 多雷达跨区域组网多目标跟踪识别方法及装置 |
WO2021031338A1 (zh) * | 2019-08-19 | 2021-02-25 | 南京慧尔视智能科技有限公司 | 多雷达跨区域组网多目标跟踪识别方法及装置 |
WO2021170030A1 (zh) * | 2020-02-28 | 2021-09-02 | 华为技术有限公司 | 一种用于目标追踪的方法、设备及系统 |
CN113671480A (zh) * | 2021-07-10 | 2021-11-19 | 亿太特(陕西)科技有限公司 | 雷达与视频融合交通目标跟踪方法、系统、设备、终端 |
CN116068504A (zh) * | 2021-10-29 | 2023-05-05 | 杭州海康威视数字技术股份有限公司 | 雷达和视频采集设备的标定方法、装置、设备及存储介质 |
CN114299417A (zh) * | 2021-12-09 | 2022-04-08 | 连云港杰瑞电子有限公司 | 一种基于雷视融合的多目标跟踪方法 |
CN115619873A (zh) * | 2022-09-21 | 2023-01-17 | 连云港杰瑞电子有限公司 | 一种基于轨迹溯源的雷视自动标定方法 |
CN115685102A (zh) * | 2022-09-21 | 2023-02-03 | 连云港杰瑞电子有限公司 | 一种基于目标跟踪的雷视自动标定方法 |
CN115731268A (zh) * | 2022-11-17 | 2023-03-03 | 东南大学 | 基于视觉/毫米波雷达信息融合的无人机多目标跟踪方法 |
CN115965655A (zh) * | 2023-02-02 | 2023-04-14 | 西安电子科技大学 | 一种基于雷视一体的交通目标跟踪方法 |
CN116990768A (zh) * | 2023-08-02 | 2023-11-03 | 南京慧尔视软件科技有限公司 | 预测航迹处理方法、装置、电子设备及可读介质 |
Non-Patent Citations (1)
Title |
---|
基于激光雷达+视频的城际铁路周界入侵监测报警技术研究;栗文韬等;《铁道运输与经济》;第45卷(第07期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117197182A (zh) | 2023-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117197182B (zh) | 雷视标定方法、设备及存储介质 | |
US11954813B2 (en) | Three-dimensional scene constructing method, apparatus and system, and storage medium | |
CN112132857B (zh) | 动态环境混合视觉系统的动态物检测和静态地图重建方法 | |
CN105608417B (zh) | 交通信号灯检测方法及装置 | |
CN110415277A (zh) | 基于光流和卡尔曼滤波的多目标追踪方法、系统、装置 | |
CN114926808A (zh) | 一种基于传感器融合的目标检测及追踪方法 | |
CN111832410B (zh) | 一种基于视觉与激光雷达融合的前向列车检测方法 | |
CN112150448B (zh) | 图像处理方法、装置及设备、存储介质 | |
CN117593650B (zh) | 基于4d毫米波雷达与sam图像分割的动点滤除视觉slam方法 | |
CN117994987B (zh) | 基于目标检测技术的交通参数提取方法及相关装置 | |
CN109934873B (zh) | 标注图像获取方法、装置及设备 | |
CN113989755A (zh) | 识别目标的方法、装置和计算可读存储介质 | |
CN115526990A (zh) | 用于数字孪生的目标可视化方法、装置及电子设备 | |
CN115471819A (zh) | 用于路侧场景的目标检测定位方法、装置及电子设备、存储介质 | |
CN108596032B (zh) | 一种视频中打架行为检测方法、装置、设备及介质 | |
CN118485726A (zh) | 一种基于单目相机感知的垃圾测距和尺寸计算方法及系统 | |
Dehghani et al. | Single camera vehicles speed measurement | |
CN115761668A (zh) | 摄像头的污渍识别方法、装置、车辆及存储介质 | |
CN114820783A (zh) | 一种路牌生成方法、装置及设备 | |
CN115994934B (zh) | 数据时间对齐方法、装置以及域控制器 | |
CN118463965A (zh) | 定位精度评价方法、装置以及车辆 | |
CN115049976B (zh) | 一种预测输电线路风向和风速的方法、系统、设备及介质 | |
CN116485861A (zh) | 单目相机绝对深度获取方法、装置、电子设备及存储介质 | |
CN115619740A (zh) | 一种高精度视频测速方法、系统、电子设备及存储介质 | |
CN112099004B (zh) | 一种机载干涉合成孔径雷达复杂场景高程反演方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |