CN116148801B - 一种基于毫米波雷达的目标检测方法及系统 - Google Patents
一种基于毫米波雷达的目标检测方法及系统 Download PDFInfo
- Publication number
- CN116148801B CN116148801B CN202310414477.3A CN202310414477A CN116148801B CN 116148801 B CN116148801 B CN 116148801B CN 202310414477 A CN202310414477 A CN 202310414477A CN 116148801 B CN116148801 B CN 116148801B
- Authority
- CN
- China
- Prior art keywords
- detection
- target
- data
- radar
- visual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明提供一种基于毫米波雷达的目标检测方法及系统。一种基于毫米波雷达的目标检测方法,包括:获取同一时刻下采集到的同一检测区域内的环境检测数据、雷达检测数据和视觉检测数据,通过目标检测模型对上述数据进行数据分析与数据融合,得到融合结果,根据所述融合结果得到目标检测结果。本发明通过预先训练得到目标检测模型,通过目标检测模型基于同一时刻下和同一检测区域内的环境检测数据对雷达检测结果和视觉检测结果进行数据分析与数据融合,得到目标检测结果,将视觉检测技术与雷达检测技术融合,增强基于毫米波雷达进行目标检测的检测效果,提升用户对自动驾驶技术的体验。
Description
技术领域
本发明涉及目标检测技术领域,特别地涉及一种基于毫米波雷达的目标检测方法及系统。
背景技术
在自动驾驶技术领域,需要通过对传感器采集到的数据进行分析以得到路况信息,以保障自动驾驶的顺利进行,其中,可通过毫米波雷达发送调频连续信号,通过对接收到的回拨信号进行分析从而实现对目标物体的检测。
毫米波雷达不易受到天气和光线的影响,穿透性较好,可获得目标的空间位置信息和运动信息,在自动驾驶领域中的数据采集领域起着无可替代的作用。但是,通过毫米波雷达进行目标检测的过程中,无法获取目标的细节信息,例如准确的轮廓信息和外观信息,特征信息中的语义信息较弱,对目标的识别率较低,目标检测精度还有待提升。
发明内容
本申请提供一种基于毫米波雷达的目标检测方法及系统,将雷达检测技术与视觉检测技术进行融合,用于解决上述背景技术中存在的至少一个技术问题。
作为本申请的一个方面,提供一种基于毫米波雷达的目标检测方法,包括:
获取同一时刻下采集到的同一检测区域内的环境检测数据、雷达检测数据和视觉检测数据,分别确定所述雷达检测数据对应的雷达检测结果和所述视觉检测数据对应的视觉检测结果;
将同一时刻下和同一检测区域内的所述雷达检测结果和所述视觉检测结果输入到预先训练得到的目标检测模型中,所述目标检测模型基于同一时刻下和同一检测区域内的所述环境检测数据对所述雷达检测结果和所述视觉检测结果进行数据分析与数据融合,得到融合结果,根据所述融合结果得到目标检测结果;
所述目标检测模型包括数据分析网络和数据融合网络;
所述目标检测模型基于同一时刻下和同一检测区域内的所述环境检测数据对所述雷达检测结果和所述视觉检测结果进行数据分析与数据融合包括:
所述数据分析网络分析所述雷达检测结果中每个雷达检测目标的可信度,分析所述视觉检测结果中每个视觉检测目标的可信度,所述数据融合网络根据每个所述雷达检测目标的可信度和每个视觉检测目标的可信度将所述雷达检测结果和所述视觉检测结果进行融合。
进一步地,所述数据分析网络分析所述雷达检测结果中每个雷达检测目标的可信度,分析所述视觉检测结果中每个视觉检测目标的可信度,包括:
所述数据分析网络包括雷达检测数据分析模型和视觉检测数据分析模型;
通过所述雷达检测数据分析模型分析所述雷达检测结果中每个雷达检测目标的可信度,通过所述视觉检测数据分析模型分析所述视觉检测结果中每个视觉检测目标的可信度。
进一步地,对所述雷达检测数据分析模型的训练包括:
获取同一历史雷达检测数据对应的历史雷达检测结果、历史真实目标数据和历史雷达检测环境数据;
根据所述历史雷达检测结果和所述历史真实目标数据确定不同雷达检测目标类型的可信值,将同一所述历史雷达检测数据对应历史雷达检测环境数据和不同雷达检测目标类型的可信值关联并制作为第一样本数据,通过所述第一样本数据训练得到所述雷达检测数据分析模型。
进一步地,对所述视觉检测数据分析模型的训练包括:
获取同一历史视觉检测数据对应的历史视觉检测结果、历史真实目标数据和历史视觉检测环境数据;
根据所述历史视觉检测结果和所述历史真实目标数据确定不同视觉检测目标类型的可信值,将同一所述历史视觉检测数据对应历史视觉检测环境数据和不同视觉检测目标类型的可信值关联并制作为第二样本数据,通过所述第二样本数据训练得到所述视觉检测数据分析模型。
进一步地,所述数据融合网络根据每个所述雷达检测目标的可信度和每个视觉检测目标的可信度将所述雷达检测结果和所述视觉检测结果进行融合,包括:
将所述雷达检测结果和所述视觉检测结果进行匹配,得到匹配列表;
所述匹配列表中的每个待融合检测目标包括一个雷达检测目标和/或视觉检测目标以及与雷达检测目标和/或视觉检测目标对应的可信度;
对于任意一个待融合检测目标,所述数据融合网络通过以下公式计算置信值:
Z=(αLi+βVi)/2;
式中,Z为置信值,α为雷达检测权重参数,β为视觉检测权重参数,其中,α+β=1,Li为第i个待融合检测目标中雷达检测目标对应的可信度,Vi为第i个待融合检测目标中视觉检测目标对应的可信度;
通过上述公式计算得到每个待融合检测目标的置信值,得到所述融合结果。
进一步地,所述根据所述融合结果得到目标检测结果包括:
通过预设存在阈值对所有待融合检测目标进行筛选,对于任意一个待融合检测目标,若置信值大于所述预设存在阈值,则将待融合检测目标保留,否则舍弃;
对比每一个被保留的待融合检测目标中雷达检测目标对应的可信度和视觉检测目标对应的可信度,取两者中最大值对应的雷达检测结果和/或视觉检测结果作为目标检测结果。
作为本申请的另一个方面,提供一种基于毫米波雷达的目标检测系统,所述系统应用于上述任一项所述的一种基于毫米波雷达的目标检测方法,包括:
数据获取模块,用于获取同一时刻下采集到的同一检测区域内的环境检测数据、雷达检测数据和视觉检测数据,分别确定所述雷达检测数据对应的雷达检测结果和所述视觉检测数据对应的视觉检测结果;
目标检测模块,用于将同一时刻下和同一检测区域内的所述雷达检测结果和所述视觉检测结果输入到预先训练得到的目标检测模型中,得到融合结果,根据所述融合结果得到目标检测结果;
模型训练模块,用于对所述目标检测模型进行模型训练,所述目标检测模型包括数据分析网络和数据融合网络,所述数据分析网络包括雷达检测数据分析模型和视觉检测数据分析模型。
进一步地,对于所述模型训练模块,包括有:
第一模型训练单元,用于对所述雷达检测数据分析模型进行模型训练;
第二模型训练单元,用于对所述视觉检测数据分析模型进行模型训练。
本发明具有以下优点:
本发明通过预先训练得到目标检测模型,通过目标检测模型基于同一时刻下和同一检测区域内的环境检测数据对雷达检测结果和视觉检测结果进行数据分析与数据融合,得到目标检测结果,将视觉检测技术与雷达检测技术融合,增强基于毫米波雷达进行目标检测的检测效果,提升用户对自动驾驶技术的体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1为本申请实施例1中提供的一种基于毫米波雷达的目标检测方法的流程示意图。
图2为本申请实施例2中提供的一种基于毫米波雷达的目标检测系统的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请部分实施例进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。然而,本领域的普通技术人员可以理解,在本申请的各实施例中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施例的种种变化和修改,也可以实现本申请所要求保护的技术方案。
需要说明的是,本申请中的术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
实施例1
请参阅图1,图1为本申请实施例1中提供的一种基于毫米波雷达的目标检测方法的流程示意图,该目标检测方法的执行主体为目标检测系统,目标检测系统至少配置有雷达检测设备、视觉检测设备和环境监测设备,并且配备有相应的处理器,用于对采集到的数据进行分析处理,目标检测系统具体可搭载在需要进行目标检测的设备或装置上,例如搭载在自动驾驶车辆上。
一种基于毫米波雷达的目标检测方法,具体包括如下内容:
S1、获取同一时刻下采集到的同一检测区域内的环境检测数据、雷达检测数据和视觉检测数据,分别确定雷达检测数据对应的雷达检测结果和视觉检测数据对应的视觉检测结果;
值得补充的是,可通过雷达检测设备实时监测得到雷达检测数据,本实施例中以常用的毫米波雷达为例,通过视觉检测设备例如摄像机实时拍摄得到视觉检测数据,通过环境监测设备例如温度传感器、湿度传感器、光照传感器等监测到环境检测数据,也可从网上获取天气信息,从天气信息中获取风力信息、紫外线强度信息、温湿度信息等,数据获取的方式均为现有技术此次不再赘述。
在获取到雷达检测数据和视觉检测数据后,可分别通过雷达目标检测技术和视觉目标检测技术对数据进行处理,得到对应的检测结果,其中,雷达检测结果和视觉检测结果中分别包括多个雷达检测目标和视觉检测目标,对于雷达检测结果和视觉检测结果,每个雷达检测目标至少包括有位置信息、速度信息和类型信息,每个视觉检测目标至少包括有位置信息、类型信息,可以想到的是,雷达检测目标中包括较多的目标的空间位置信息,而视觉检测目标中包括较多的语义信息,例如目标的轮廓信息和外观信息等,雷达检测目标中的位置信息更丰富,包括空间位置信息,但是提取到的目标的语义信息较弱,视觉检测目标中则包括丰富的语义信息,但是不能体现目标细节的空间位置信息,本申请主要是通过雷达检测目标和视觉检测目标中共有的信息例如位置信息、类型信息进行融合。
具体的检测结果,以视觉检测为例,可通过YOLO模型、Faster RCNN模型等进行视觉目标检测,YOLO模型具体采用One stage算法进行目标检测,Faster RCNN具体采用Twostage算法进行目标检测,相较而言,YOLO模型检测速度更快,但是在准确度上有所下降,Faster RCNN检测时间更长,但是识别的准确度更高,漏识别率低,不同的检测模型各有优劣,可根据实际需要进行选择,本实施例中不作具体的限定;对于雷达目标检测,可通过恒虚警率(Constant False Alarm Rate,CFAR)检测技术进行数据处理以得到雷达检测结果,也可通过其它方式处理数据,不以此为限。
S2、将同一时刻下采集到的同一检测区域内的环境检测数据、雷达检测数据和视觉检测数据输入到预先训练得到的目标检测模型中,得到目标检测结果;
值得补充的是,目标检测模型基于同一时刻下和同一检测区域内的环境检测数据对雷达检测结果和视觉检测结果进行数据分析与数据融合,得到融合结果,根据融合结果得到目标检测结果;
其中,目标检测模型是通过相应的样本数据训练得到的,目标检测模型包括数据分析网络和数据融合网络,数据分析网络和数据融合网络连接,数据分析网络的输出信息作为数据融合网络的输入信息,数据分析网络的具体作用为对数据进行可信分析,确定数据的可信度,数据融合网络则根据数据分析网络输出的数据的可信度对数据进行融合,数据分析网络具体包括雷达检测数据分析模型和视觉检测数据分析模型。
具体地,当同一时刻下和同一检测区域内的雷达检测结果和视觉检测结果被输入到目标检测模型中后,雷达检测数据分析模型分析得到雷达检测结果中每个雷达检测目标的可信度,视觉检测数据分析模型分析得到视觉检测结果中每个视觉检测目标的可信度,数据融合网络根据每个雷达检测目标的可信度和每个视觉检测目标的可信度将雷达检测结果和视觉检测结果进行融合,得到融合结果,并根据融合结果得到目标检测结果。
进一步地,数据融合网络根据每个雷达检测目标的可信度和每个视觉检测目标的可信度将雷达检测结果和视觉检测结果进行融合,包括:
将雷达检测结果和视觉检测结果进行匹配,得到匹配列表,匹配列表中的每个待融合检测目标包括一个雷达检测目标和/或视觉检测目标以及与雷达检测目标和/或视觉检测目标对应的可信度;
值得补充的是,可根据将雷达检测结果和视觉检测结果中共有的位置信息和类型信息进行匹配,为了方便进行信息匹配,本实施例中根据目标的体型大小将目标归类为大型目标、中型目标和小型目标三种类型,将雷达检测结果中包括的空间位置信息转换为视觉检测结果中的二维位置信息,取视觉检测信息对应的二维平面作为参考平面,将雷达检测结果中垂直于参考平面的第三维度的信息舍去,具体地,若雷达检测结果和视觉检测结果中的某个目标,两者在同一区域内,且类型信息相同例如均为大型目标/中型目标/小型目标,则两者视为同一个目标,否则将两者视为独立的两个目标,以此实现对雷达检测结果和视觉检测结果的匹配,得到匹配列表,匹配列表中的待融合检测目标数量小于雷达检测目标和视觉检测目标的总数量,每个待融合检测目标可能单独包括一个雷达检测目标或视觉检测目标,或者同时包括一个雷达检测目标和视觉检测目标。
对于任意一个待融合检测目标,数据融合网络通过以下公式计算置信值:
Z=(αLi+βVi)/2;
式中,Z为置信值,α为雷达检测权重参数,β为视觉检测权重参数,其中,α+β=1,Li为第i个待融合检测目标中雷达检测目标对应的可信度,Vi为第i个待融合检测目标中视觉检测目标对应的可信度;
通过上述方式计算得到每个待融合检测目标的置信值,得到融合结果。
进一步地,根据融合结果得到目标检测结果包括:
通过预设存在阈值对所有待融合检测目标进行筛选,具体地,对于任意一个待融合检测目标,若该待融合检测目标的置信值大于预设存在阈值,则将待融合检测目标保留,否则舍弃;
值得补充的是,预设存在阈值的取值范围为65%-100%,具体的取值越大,则精度越高,可根据实际情况进行设定,在本实施例中以70%为例,若任意一个待融合检测目标的置信值大于70%,则认为该待融合检测目标存在,否则认为该待融合检测目标不存在,通过上述方式对待融合检测目标进行筛选。
对于被保留下的待融合检测目标,视为该目标真实存在,在这种情况下,对比每一个待融合检测目标中雷达检测目标对应的可信度和视觉检测目标对应的可信度,取两者中最大值对应的雷达检测结果和/或视觉检测结果作为目标检测结果。
值得补充的是,通过毫米波进行目标检测的过程中,由于检测得到的目标不包括细节的轮廓信息和外观信息,目标检测精度有待提升,目前视觉检测技术领域比较成熟,摄像设备的成本也较低,并且通过摄像头获取到的图像数据与人眼感知的真实世界更为相似,感知到的环境信息更为丰富,在自动驾驶技术领域,最接近人类驾驶,通过上述方式将视觉检测技术与雷达检测技术融合,以提升通过毫米波进行目标检测的目标检测精度,增强基于毫米波雷达进行目标检测的检测效果,提升用户对自动驾驶技术的体验。
进一步地,对雷达检测数据分析模型的训练包括:
获取同一历史雷达检测数据对应的历史雷达检测结果、历史真实目标数据和历史雷达检测环境数据;
根据历史雷达检测结果和历史真实目标数据确定不同雷达检测目标类型的可信值;
值得补充的是,历史真实目标数据至少包括目标的类型和位置信息,雷达检测结果中对应包括有雷达检测目标的类型和位置信息,可根据两者信息的偏差确定不同雷达检测目标类型的可信值,具体地,位置坐标偏差越大,目标类型偏差越大,则可信值越低,具体的定义方式可根据实际的精度需要进行确定,例如,对某个目标,历史真实目标数据中的位置信息为(x1,y1),历史雷达检测结果中的位置信息为(x2,y2),通过以下公式计算得到位置偏差值Q1,其中:Q1=√(((x1-x2)2+(y1-y2)2)/((x1)2+(x2)2));并通过预设偏差阈值Q2计算得到比例,假设预设偏差阈值Q2为20%,实际计算得到的某组数据的历史真实目标数据中的目标类型为大型目标,实际计算得到的该组数据的位置偏差值Q1为2%,且该组数据的雷达检测结果对应的目标类型也为大型目标,则该组数据的可信值为1×(20%-2%)/20%=90%,若该组数据的雷达检测结果对应的目标类型为中型目标,则该组数据的可信值为80%×(20%-2%)/20%=72%,若该组数据的雷达检测结果对应的目标类型为小型目标,则该组数据的可信值为0×(20%-2%)/20%=0,具体地,目标类型差异越大,则最终得到的可信值越低。
将同一历史雷达检测数据对应历史雷达检测环境数据和不同雷达检测目标类型的可信值关联并制作为第一样本数据,通过第一样本数据训练得到雷达检测数据分析模型。
值得补充的是,通过毫米波雷进行目标检测的过程中,获取到的目标的细节特征信息较少,因此在实际检测中,相较于视觉目标检测技术,毫米波雷达受环境干扰的影响较小,但是由于无法获取更多的细节特征信息,最终的检测精度会受到一定的影响,在本实施例中综合考虑了环境信息,可结合实际精度需求对数据的可信值进行标注,训练得到用于分析不同环境下雷达目标检测数据可信程度分析的雷达检测数据分析模型。
进一步地,对视觉检测数据分析模型的训练包括:
获取同一历史视觉检测数据对应的历史视觉检测结果、历史真实目标数据和历史视觉检测环境数据;
根据历史视觉检测结果和历史真实目标数据确定不同视觉检测目标类型的可信值,将同一历史视觉检测数据对应历史视觉检测环境数据和不同视觉检测目标类型的可信值关联并制作为第二样本数据,通过第二样本数据训练得到视觉检测数据分析模型。
值得补充的是,对视觉检测数据分析模型的过程,与上述对雷达检测数据分析模型的训练过程相似,采用相同的方式计算得到位置偏差值,需要说明的是,在实际的分析可信值的过程中,通过视觉检测技术处理得到的视觉检测数据中,目标类型具体以标注框的形式存在,可根据历史真实目标数据和历史视觉检测环境数据中数据框的大小对可信值进行进一步的划分,例如,若历史真实目标数据中数据框的大小为s1,历史视觉检测结果中数据框的大小为s2,位置偏差值为Q3,则最终的可信值为((Q2-Q3)/Q2)(|s1-s2|/s1)。
通过上述方式制备得到第二样本数据,训练得到用于分析不同环境下视觉目标检测数据可信程度分析的视觉检测数据分析模型。
实施例2
在实施例1的基础上,请参阅图2,图2为本申请实施例2中提供的一种基于毫米波雷达的目标检测系统的结构示意图,一种基于毫米波雷达的目标检测系统,包括:
数据获取模块,用于获取同一时刻下采集到的同一检测区域内的环境检测数据、雷达检测数据和视觉检测数据,分别确定雷达检测数据对应的雷达检测结果和视觉检测数据对应的视觉检测结果;
目标检测模块,用于将同一时刻下和同一检测区域内的雷达检测结果和视觉检测结果输入到预先训练得到的目标检测模型中,得到融合结果,根据融合结果得到目标检测结果;
其中,目标检测模型包括数据分析网络和数据融合网络,数据分析网络和数据融合网络连接,数据分析网络的输出信息作为数据融合网络的输入信息,数据分析网络的具体作用为对数据进行可信分析,确定数据的可信度,数据融合网络则根据数据分析网络输出的数据的可信度对数据进行融合,数据分析网络具体包括雷达检测数据分析模型和视觉检测数据分析模型;
模型训练模块,用于对目标检测模型进行模型训练,目标检测模型包括数据分析网络和数据融合网络,数据分析网络包括雷达检测数据分析模型和视觉检测数据分析模型。
进一步地,对于模型训练模块,包括有:
第一模型训练单元,用于对雷达检测数据分析模型进行模型训练;
第二模型训练单元,用于对视觉检测数据分析模型进行模型训练。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。本说明书中未作详细描述的部分属于本领域专业技术人员公知的现有技术。
Claims (5)
1.一种基于毫米波雷达的目标检测方法,其特征在于,包括:
获取同一时刻下采集到的同一检测区域内的环境检测数据、雷达检测数据和视觉检测数据,分别确定所述雷达检测数据对应的雷达检测结果和所述视觉检测数据对应的视觉检测结果;
将同一时刻下和同一检测区域内的所述雷达检测结果和所述视觉检测结果输入到预先训练得到的目标检测模型中,所述目标检测模型基于同一时刻下和同一检测区域内的所述环境检测数据对所述雷达检测结果和所述视觉检测结果进行数据分析与数据融合,得到融合结果,根据所述融合结果得到目标检测结果;
所述目标检测模型包括数据分析网络和数据融合网络;
所述目标检测模型基于同一时刻下和同一检测区域内的所述环境检测数据对所述雷达检测结果和所述视觉检测结果进行数据分析与数据融合包括:
所述数据分析网络分析所述雷达检测结果中每个雷达检测目标的可信度,分析所述视觉检测结果中每个视觉检测目标的可信度,所述数据融合网络根据每个所述雷达检测目标的可信度和每个视觉检测目标的可信度将所述雷达检测结果和所述视觉检测结果进行融合;
所述数据分析网络分析所述雷达检测结果中每个雷达检测目标的可信度,分析所述视觉检测结果中每个视觉检测目标的可信度,包括:
所述数据分析网络包括雷达检测数据分析模型和视觉检测数据分析模型;
通过所述雷达检测数据分析模型分析所述雷达检测结果中每个雷达检测目标的可信度,通过所述视觉检测数据分析模型分析所述视觉检测结果中每个视觉检测目标的可信度;
对所述雷达检测数据分析模型的训练包括:
获取同一历史雷达检测数据对应的历史雷达检测结果、历史真实目标数据和历史雷达检测环境数据;
根据所述历史雷达检测结果和所述历史真实目标数据确定不同雷达检测目标类型的可信值,将同一所述历史雷达检测数据对应历史雷达检测环境数据和不同雷达检测目标类型的可信值关联并制作为第一样本数据,通过所述第一样本数据训练得到所述雷达检测数据分析模型;
对所述视觉检测数据分析模型的训练包括:
获取同一历史视觉检测数据对应的历史视觉检测结果、历史真实目标数据和历史视觉检测环境数据;
根据所述历史视觉检测结果和所述历史真实目标数据确定不同视觉检测目标类型的可信值,将同一所述历史视觉检测数据对应历史视觉检测环境数据和不同视觉检测目标类型的可信值关联并制作为第二样本数据,通过所述第二样本数据训练得到所述视觉检测数据分析模型。
2.如权利要求1所述的一种基于毫米波雷达的目标检测方法,其特征在于,所述数据融合网络根据每个所述雷达检测目标的可信度和每个视觉检测目标的可信度将所述雷达检测结果和所述视觉检测结果进行融合,包括:
将所述雷达检测结果和所述视觉检测结果进行匹配,得到匹配列表;
所述匹配列表中的每个待融合检测目标包括一个雷达检测目标和/或视觉检测目标以及与雷达检测目标和/或视觉检测目标对应的可信度;
对于任意一个待融合检测目标,所述数据融合网络通过以下公式计算置信值:
Z=(αLi+βVi)/2;
式中,Z为置信值,α为雷达检测权重参数,β为视觉检测权重参数,其中,α+β=1,Li为第i个待融合检测目标中雷达检测目标对应的可信度,Vi为第i个待融合检测目标中视觉检测目标对应的可信度;
通过上述公式计算得到每个待融合检测目标的置信值,得到所述融合结果。
3.如权利要求2所述的一种基于毫米波雷达的目标检测方法,其特征在于,所述根据所述融合结果得到目标检测结果包括:
通过预设存在阈值对所有待融合检测目标进行筛选,对于任意一个待融合检测目标,若置信值大于所述预设存在阈值,则将待融合检测目标保留,否则舍弃;
对比每一个被保留的待融合检测目标中雷达检测目标对应的可信度和视觉检测目标对应的可信度,取两者中最大值对应的雷达检测结果和/或视觉检测结果作为目标检测结果。
4.一种基于毫米波雷达的目标检测系统,所述系统应用于上述权利要求1-3任一项所述的一种基于毫米波雷达的目标检测方法,其特征在于,包括:
数据获取模块,用于获取同一时刻下采集到的同一检测区域内的环境检测数据、雷达检测数据和视觉检测数据,分别确定所述雷达检测数据对应的雷达检测结果和所述视觉检测数据对应的视觉检测结果;
目标检测模块,用于将同一时刻下和同一检测区域内的所述雷达检测结果和所述视觉检测结果输入到预先训练得到的目标检测模型中,得到融合结果,根据所述融合结果得到目标检测结果;
模型训练模块,用于对所述目标检测模型进行模型训练,所述目标检测模型包括数据分析网络和数据融合网络,所述数据分析网络包括雷达检测数据分析模型和视觉检测数据分析模型。
5.如权利要求4所述的一种基于毫米波雷达的目标检测系统,其特征在于,对于所述模型训练模块,包括有:
第一模型训练单元,用于对所述雷达检测数据分析模型进行模型训练;
第二模型训练单元,用于对所述视觉检测数据分析模型进行模型训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310414477.3A CN116148801B (zh) | 2023-04-18 | 2023-04-18 | 一种基于毫米波雷达的目标检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310414477.3A CN116148801B (zh) | 2023-04-18 | 2023-04-18 | 一种基于毫米波雷达的目标检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116148801A CN116148801A (zh) | 2023-05-23 |
CN116148801B true CN116148801B (zh) | 2023-07-14 |
Family
ID=86350963
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310414477.3A Active CN116148801B (zh) | 2023-04-18 | 2023-04-18 | 一种基于毫米波雷达的目标检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116148801B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117237777B (zh) * | 2023-11-13 | 2024-02-27 | 四川观想科技股份有限公司 | 一种基于多模态融合的船舶目标识别方法 |
CN117687029B (zh) * | 2024-02-01 | 2024-05-03 | 深圳市佰誉达科技有限公司 | 一种基于毫米波雷达的车辆运动轨迹跟踪方法及系统 |
Family Cites Families (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5910046B2 (ja) * | 2011-12-05 | 2016-04-27 | トヨタ自動車株式会社 | 障害物検出装置 |
CN104965202B (zh) * | 2015-06-18 | 2017-10-27 | 奇瑞汽车股份有限公司 | 障碍物探测方法和装置 |
CN106767852B (zh) * | 2016-12-30 | 2019-10-11 | 东软集团股份有限公司 | 一种生成探测目标信息的方法、装置和设备 |
US10467487B1 (en) * | 2018-12-11 | 2019-11-05 | Chongqing Jinkang New Energy Automobile Co., Ltd. | Fusion-based traffic light recognition for autonomous driving |
CN112069862B (zh) * | 2019-06-10 | 2024-12-03 | 深圳引望智能技术有限公司 | 目标检测方法和装置 |
CN110532896B (zh) * | 2019-08-06 | 2022-04-08 | 北京航空航天大学 | 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法 |
CN111239739A (zh) * | 2020-01-10 | 2020-06-05 | 上海眼控科技股份有限公司 | 气象雷达回波图预测方法、装置、计算机设备和存储介质 |
CN111368706B (zh) * | 2020-03-02 | 2023-04-18 | 南京航空航天大学 | 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法 |
CN112740269B (zh) * | 2020-05-13 | 2022-04-08 | 华为技术有限公司 | 一种目标检测方法及装置 |
CN111797741A (zh) * | 2020-06-24 | 2020-10-20 | 中国第一汽车股份有限公司 | 车辆检测方法、装置、车辆和存储介质 |
CN111856448A (zh) * | 2020-07-02 | 2020-10-30 | 山东省科学院海洋仪器仪表研究所 | 基于双目视觉和雷达的海上障碍物识别方法及系统 |
CN112215306B (zh) * | 2020-11-18 | 2023-03-31 | 同济大学 | 一种基于单目视觉与毫米波雷达融合的目标检测方法 |
CN114578343A (zh) * | 2020-12-01 | 2022-06-03 | 富士通株式会社 | 数据融合方法和装置 |
CN113156421A (zh) * | 2021-04-07 | 2021-07-23 | 南京邮电大学 | 基于毫米波雷达和摄像头信息融合的障碍物检测方法 |
CN113344196B (zh) * | 2021-06-01 | 2024-11-19 | 京东城市(北京)数字科技有限公司 | 预测模型的训练方法、装置、计算机设备及存储介质 |
US11624831B2 (en) * | 2021-06-09 | 2023-04-11 | Suteng Innovation Technology Co., Ltd. | Obstacle detection method and apparatus and storage medium |
CN113280829A (zh) * | 2021-06-24 | 2021-08-20 | 广东盈峰智能环卫科技有限公司 | 基于鱼眼视觉和毫米波雷达数据的目标检测方法及装置 |
CN113822221A (zh) * | 2021-10-09 | 2021-12-21 | 南京天航智能装备研究院有限公司 | 一种基于对抗神经网络和多传感器融合的目标检测方法 |
CN113933828B (zh) * | 2021-10-19 | 2025-03-14 | 上海大学 | 一种无人艇环境自适应多尺度目标检测方法及系统 |
CN114089329A (zh) * | 2021-11-18 | 2022-02-25 | 重庆邮电大学 | 一种基于长短焦相机与毫米波雷达融合的目标检测方法 |
CN113807471B (zh) * | 2021-11-18 | 2022-03-15 | 浙江宇视科技有限公司 | 雷达与视觉融合的车辆识别方法、装置、设备及介质 |
CN114187464A (zh) * | 2021-11-22 | 2022-03-15 | 南京理工大学 | 复杂环境下激光雷达与视觉融合的多周期目标识别方法 |
CN114152942B (zh) * | 2021-12-08 | 2022-08-05 | 北京理工大学 | 一种毫米波雷达与视觉二阶融合多分类目标检测方法 |
CN114200442B (zh) * | 2021-12-10 | 2024-04-05 | 合肥工业大学 | 一种基于毫米波雷达和视觉的道路目标检测与关联方法 |
CN114814823A (zh) * | 2022-01-06 | 2022-07-29 | 上海道麒实业发展有限公司 | 基于毫米波雷达和相机融合的轨道车辆检测系统和方法 |
CN114236528B (zh) * | 2022-02-23 | 2022-11-01 | 浙江高信技术股份有限公司 | 一种基于毫米波雷达和视频融合的目标检测方法及系统 |
CN114724110A (zh) * | 2022-04-08 | 2022-07-08 | 天津天瞳威势电子科技有限公司 | 目标检测方法及设备 |
CN114821499A (zh) * | 2022-04-25 | 2022-07-29 | 江苏集萃深度感知技术研究所有限公司 | 目标分类方法 |
CN114818819A (zh) * | 2022-05-07 | 2022-07-29 | 南京大学 | 一种基于毫米波雷达与视觉信号的道路障碍物检测方法 |
CN114973195A (zh) * | 2022-05-23 | 2022-08-30 | 江苏集萃深度感知技术研究所有限公司 | 基于多信息融合的车辆追踪方法、装置及系统 |
CN115116034A (zh) * | 2022-06-21 | 2022-09-27 | 无锡威孚高科技集团股份有限公司 | 一种夜间行人检测方法、装置及系统 |
CN115402349A (zh) * | 2022-07-21 | 2022-11-29 | 岚图汽车科技有限公司 | 一种结合天气状态的高速辅助驾驶控制方法及系统 |
CN115327524B (zh) * | 2022-07-29 | 2024-09-27 | 江苏集萃深度感知技术研究所有限公司 | 基于毫米波雷达与视觉融合的路侧端目标检测方法及装置 |
CN115393681A (zh) * | 2022-08-11 | 2022-11-25 | 浙江大华技术股份有限公司 | 一种目标融合方法、装置、电子设备及存储介质 |
CN115372958A (zh) * | 2022-08-17 | 2022-11-22 | 苏州广目汽车科技有限公司 | 一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法 |
CN115953747A (zh) * | 2022-10-20 | 2023-04-11 | 江苏集萃深度感知技术研究所有限公司 | 车端目标分类检测方法及车端雷视融合设备 |
CN115755094A (zh) * | 2022-11-29 | 2023-03-07 | 重庆赛迪奇智人工智能科技有限公司 | 障碍物检测方法、装置、设备及存储介质 |
CN115909281A (zh) * | 2022-12-21 | 2023-04-04 | 南昌智能新能源汽车研究院 | 匹配融合的障碍物检测方法、系统、电子设备及存储介质 |
CN115810115B (zh) * | 2023-02-08 | 2023-06-02 | 深圳佑驾创新科技有限公司 | 基于图像特征的图像和多帧毫米波雷达目标的融合方法 |
-
2023
- 2023-04-18 CN CN202310414477.3A patent/CN116148801B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN116148801A (zh) | 2023-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116148801B (zh) | 一种基于毫米波雷达的目标检测方法及系统 | |
CN108596081B (zh) | 一种基于雷达和摄像机融合的车辆行人探测方法 | |
CN114022830A (zh) | 一种目标确定方法以及目标确定装置 | |
CN110456320B (zh) | 一种基于自由空间步态时序特征的超宽带雷达身份识别方法 | |
CN108416361A (zh) | 一种基于海域监视的信息融合系统以及方法 | |
CN105427342B (zh) | 一种水下小目标声呐图像目标检测跟踪方法和系统 | |
CN111856445B (zh) | 一种目标检测方法、装置、设备及系统 | |
CN107144839A (zh) | 通过传感器融合检测长对象 | |
CN106295459A (zh) | 基于机器视觉和级联分类器的车辆检测和预警方法 | |
JP2013537661A (ja) | ステレオビジョン技術を使用することによる移動物体の自動検出 | |
CN114298163B (zh) | 一种基于多源信息融合的在线路况检测系统及方法 | |
CN111913177A (zh) | 对目标物探测方法、装置以及存储介质 | |
CN109633621A (zh) | 一种车载环境感知系统数据处理方法 | |
CN114280611A (zh) | 一种融合毫米波雷达与摄像头的路侧感知方法 | |
CN114155511A (zh) | 一种用于自动驾驶汽车在公共道路的环境信息采集方法 | |
CN118050734A (zh) | 基于双目视觉和激光扫描融合的机器人定位方法及系统 | |
CN115424233A (zh) | 基于信息融合的目标检测方法以及目标检测装置 | |
Adam et al. | Computing the sensory uncertainty field of a vision-based localization sensor | |
CN112347851B (zh) | 多目标检测网络的构建方法、多目标检测方法及装置 | |
CN114152942A (zh) | 一种毫米波雷达与视觉二阶融合多分类目标检测方法 | |
CN111332306A (zh) | 一种基于机器视觉的交通道路感知辅助驾驶预警装置 | |
CN112883846A (zh) | 一种用于检测车辆前方目标的三维数据采集成像系统 | |
CN113313182A (zh) | 一种基于雷达和视频融合的目标识别方法及终端 | |
CN111213069B (zh) | 基于相干光的避障装置及方法 | |
CN113781513B (zh) | 一种电厂供水管道泄漏检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |