CN112558049A - 用于识别在车辆的周围环境中的对象的方法和控制设备 - Google Patents
用于识别在车辆的周围环境中的对象的方法和控制设备 Download PDFInfo
- Publication number
- CN112558049A CN112558049A CN202011015767.3A CN202011015767A CN112558049A CN 112558049 A CN112558049 A CN 112558049A CN 202011015767 A CN202011015767 A CN 202011015767A CN 112558049 A CN112558049 A CN 112558049A
- Authority
- CN
- China
- Prior art keywords
- data
- sensor
- vehicle
- classification
- ultrasonic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 8
- 238000002604 ultrasonography Methods 0.000 claims description 32
- 238000002592 echocardiography Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000035484 reaction time Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
- G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Traffic Control Systems (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
本发明涉及一种用于识别在车辆(100)的周围环境中的对象(112)的方法(300),其中车辆(100)具有对车辆(100)的周围环境进行监视的用于发出和接收超声信号(110、114、126)的超声传感器(104)。在方法(300)中,首先接收通过超声传感器(104)产生的传感器数据(116)。随后根据传感器数据(116)产生包含要分类的特征的分类数据(202)。然后将分类数据(202)和/或传感器数据(116)输入到分类器中,该分类器是利用将分类数据(202)和/或传感器数据(116)分配到对象类别的训练数据来训练的。最后,输出对象信息(118),该对象信息表明对象类别中的至少一个对象类别。
Description
技术领域
本发明涉及一种用于识别在车辆的周围环境中的对象的方法、一种相对应的控制设备和一种相对应的计算机程序产品。
背景技术
与驾驶辅助系统、尤其是与自主驾驶相关地,重要的是:在车辆附近的重要对象,也就是说其它交通成员,比如行人、骑自行车的人、载客车(Pkw)或载货车(Lkw)或者可能的障碍物、比如栏杆或电线杆可以可靠地被识别。尤其是在起步、停车或变道时,需要在车辆附近的精确的情况检测。
公知的是:为了检测车辆附近而使用超声传感器。这些超声传感器在几厘米范围内就已经具有高灵敏度并且借此能够实现对车辆附近的无缝检测。
DE 10 2006 028 214 A1示例性地示出了一种用于在机动车中使用的超声传感器的可能的构造。
超声传感器通常用于测量距在车辆附近的可能的障碍物的距离。如果车辆过于接近障碍物,则例如可以附加地向驾驶员输出视觉或声音报警。因此,驾驶员被警告以防与障碍物相撞,以便避免车辆方面的损坏。
在DE 100 18 807 B4中,例如公开了一种用于电子停车辅助装置的超声测距装置。
还公知停入或驶出停车位系统,所述停入或驶出停车位系统可以利用超声传感器来测量停车位并且可以计算相对应的用于(半自动化)停入或驶出停车位的停入或驶出停车位轨迹。
发明内容
在该背景下,利用这里所介绍的方案,提出了按照独立权利要求所述的一种用于识别在车辆的周围环境中的对象的方法以及一种用于执行这种方法的控制设备和一种用于执行这种方法的计算机程序产品。这里所介绍的方案的有利的扩展方案和改进方案从说明书得到并且在从属权利要求中予以描述。
本发明的优点
本发明的实施方式能够有利地实现:将通过车辆的超声传感器所产生的传感器数据按语义分类成各个对象类别,如其例如对于驾驶辅助系统或自主驾驶系统来说重要的那样。这样,根据这些传感器数据例如可以反推出所检测到的对象是行人、载客车、载货车还是其它障碍物、比如电线杆。这允许对车辆的附近环境的特定的情况估计并且扩展了到目前为止的主要被用于测距的超声系统的应用范围。
这样的分类提供了附加的、超越对可能的障碍物的纯是/否探测的认识,所述认识可以有助于还更精确地并且更可靠地检测存在的行驶情况并且缩短反应时间。
本发明的第一方面涉及一种用于识别在车辆的周围环境中的对象的方法,其中该车辆具有对该车辆的周围环境进行监视的用于发出和接收超声信号的超声传感器,其中该方法包括:
接收传感器数据,这些传感器数据是由超声传感器所产生的;
根据这些传感器数据产生分类数据,这些分类数据包含所要分类的特征;
将这些分类数据和/或这些传感器数据输入到分类器中,该分类器是利用用于将这些分类数据和/或这些传感器数据分配到对象类别的训练数据来训练的;并且
输出对象信息,该对象信息表明这些对象类别中的至少一个对象类别。
该方法例如可以以软件或硬件或者以软件和硬件的混合形式来实现,例如在控制设备中实现。
本发明的第二方面涉及一种控制设备,该控制设备被实施用于执行如在上文或在下文所描述的方法。
本发明的第三方面涉及一种计算机程序或计算机程序产品,该计算机程序或计算机程序产品具有程序代码,该程序代码可以存储在机器可读载体或机器可读存储介质、比如半导体存储器、硬盘存储器或光学存储器上,而且当该计算机程序(产品)在计算机或控制设备上被实施时可以执行如在上文和在下文所描述的方法。
本发明的实施方式的思路尤其可以被视为基于随后描述的思想和认识。
超声信号例如可以通过传感器阵列来记录,所述传感器阵列可以安装在车辆前面、后面和/或侧面。一般来说,超声系统具有进行发送和进行接收的传感器,通过这些进行发送和进行接收的传感器可以测量在发送超声脉冲与接收到该超声脉冲的被对象反射的部分(也称作回声)之间的传播时间。这些进行接收和进行发送的传感器可以彼此不同或者彼此相同。如果回声被多个、例如至少三个传感器接收到,则通过传播路程的三点定位或多边定位可以确定反射点的位置。这种传感器阵列可以单列或双列地、例如以传感器上列和传感器下列来实现。双列传感器阵列提供了如下优点:除了反射点的x和y位置之外,也可以计算反射点的z位置、即反射点相对于车辆的高度。
简要概括,利用这里所介绍的方案,从超声传感器的传感器数据中、也就是说从包含在其中的超声信号中逐步地提取对于所希望的对象类别来说相关的特征。由此,在对这些超声信号的紧接着的分类时,可以实现尽可能高的灵敏度和尽可能低的错误率。在下文,介绍了对这种特征的选择。例如可以使用经预先处理的回声数据(比如回声距离)或者位置数据(比如关于经三点定位的反射点的数据)或者回声数据和位置数据的组合,作为用于该分类的输入。
该分类例如可以用于对象的高度区分。该分类尤其可以是对比如载客车、汽车、路边石、电杆等等的对象类型的语义分类。
除了分类数据之外或者替选于分类数据,可以直接将传感器数据输入到分类器中,比如以便识别包含在其中的来自车辆的周围环境的超声干扰信号。
在当前用于驾驶辅助系统或者(部分)自动化驾驶系统的超声系统中,通常使用由车辆自己的超声传感器发出的超声信号和该超声信号的被反射的部分来进行分析。不是由超声传感器发出的被动超声信号通常被处理为干扰信号。这里所介绍的方案能够实现:也使用来自车辆的周围环境的这种被动超声信号来进行借助于分类的对象识别。由此,与为此仅仅使用主动发出的超声信号的回声相比可以更大程度地对车辆的周围环境进行诠释。这样,例如可以基于哪些回声属于哪些超声干扰信号的知识或者基于载货车、载客车与建筑工程车辆之间的区别来进行详细的并且仍然鲁棒的对象形成。
在车辆的周围环境中的噪声可具有特征性的超声部分,并且因此可以通过超声传感器来检测。这种噪声、比如气压制动器的排气噪声或者轮胎在潮湿或干燥道路上的滚动噪声可能阻碍对主动发出的超声信号的回声的分析。然而,这种超声干扰信号的特征也可以被用于执行语义分类。为此,使用传感器数据作为相对应地被训练的分类器的输入。这样,依据被分类的超声干扰信号例如可以识别出是否有载货车在附近或者道路是潮湿还是干燥。
车辆可以被理解为机动车,比如载客车、载货车或公交车或摩托车。
传感器数据可包含最初是由超声传感器所发出的超声信号的被反射的部分,也称作回声。另一方面,传感器数据可包含不是来自超声传感器却被该超声传感器探测到的超声干扰信号。
分类数据可以被理解为针对分类器的经预先处理的输入数据。与此相应地,分类数据可包括从传感器数据中提取的、适合于分类的特征。例如,分类数据可包含:描述所发出的超声信号的回声的回声数据;或者描述这些回声被反射的反射地点的位置数据;或者回声数据与位置数据的组合。回声数据可以已经从传感器数据中产生。位置数据可以已经从回声数据和/或传感器数据中产生。
分类器可以被理解为用于将输入数据分配到确定的对象类别、也就是说用于对输入数据进行分类的算法。例如,如下对象类别是可能的:行人、载客车、载货车、电线杆、栏杆、墙壁、可驶越的对象、不可驶越的对象、被动干扰信号、干燥道路、潮湿道路等等。
在最简单的情况下,分类器可以是在输入与定义之间的对照,其中分类器的输出表明该输入与该定义一致。分类器尤其可以包括基于被标记的数据的、通过监督学习来训练的机器学习算法。
分类器例如可以实现为:贝叶斯分类器、支持向量机(SVM)、k近邻算法、决策树、随机森林、多层感知机(MLP)、递归神经网络(RNN)、长短期记忆(LSTM)网络、卷积神经网络(CNN)或者所提到的示例中的至少两个示例的组合。
对象信息可以被理解为分类器的输出。对象信息例如可以表明多个由分类器依据分类数据和/或传感器数据以概率来加权的对象类别中的最可能的对象类别。
按照一个实施方式,分类数据可包含回声数据,所述回声数据描述了所发出的超声信号的回声。附加地或替选地,分类数据可包含位置数据,所述位置数据描述了所发出的超声信号的回声被反射的反射地点。
回声数据比如可以包含:传播时间;传播路程、也称作回声距离;强度、也称作回声幅度;发送方和/或接收方标志符;显著性、也就是说描述了回声的可靠性的参数;跟踪概率(trace probability),该跟踪概率说明了当前的回声可以以怎样的概率被分配给早前的回声;和/或跟踪标志符(trace ID)。
反射地点可以被理解为在车辆的周围环境中的如下地点,在该地点处,由超声传感器发出的超声信号至少部分地朝向超声传感器反射。例如,这种反射地点可以被理解成其位置可根据传感器数据、更准确地说多个进行接收的传感器的回声数据通过三点定位和/或多边定位来被计算的反射点。
按照一个实施方式,回声数据可以描述回声的传播路程和/或强度和/或合理性。补充地或替选地,位置数据可以描述反射地点的通过三点定位和/或多边定位所计算的坐标和/或反射地点的合理性。
传播路程可以被理解为反射地点与超声传感器之间的距离。强度可以被理解为回声的幅度。回声或反射地点的合理性可以被理解为所测量到的回声或所测量到的反射地点与所预期的回声或所预期的反射地点一致的概率。三点定位可以被理解为一种测量方法,其中根据三个反射点的所测量到的距离就可以明确地确定第四点在空间中的位置。多边定位可以被理解为一种测量方法,其中提供超过三个的距离来进行定位。
位置数据例如可以描述在车辆的周围环境中的反射点的二维和/或三维坐标。附加地或替选地,位置数据可以描述测量误差、方差、概率或测量模式,诸如完整的、水平的或垂直的三点定位。
按照一个实施方式,该方法还可包括:接收其它传感器数据,所述其它传感器数据是由超声传感器所产生的;并且与对象信息一起分析所述其它传感器数据。
在进行分类之后,对象信息可以被用于更好地分析由超声传感器所发出的超声信号。例如,对象信息可以表明被动超声干扰信号。该超声干扰信号现在可以在对主动发出的超声信号、更准确地说这些超声信号的回声的信号处理中相对应地被屏蔽。因此,继续可能基于所发出的超声信号来识别车辆的周围环境。然而,该识别更鲁棒,因为不必限制或者不必那么强烈地限制超声传感器的视域。因此,对于可能的数据融合以及对行驶轨迹的可能的规划来说,会有更多并且更可靠的数据供支配。
换言之,通过该实施方式可能的是:借助于对象信息、也就是说关于在车辆的周围环境中识别出的对象的信息来分析超声传感器的传感器数据。这样,对象信息例如可以表明在车辆的周围环境中的超声干扰信号、即被动超声信号。该信息可以有利地被用于在分析回声数据、也就是说由超声传感器所发出的超声信号的被反射的部分时屏蔽该超声干扰信号。由此可以提高对回声数据的分析的鲁棒性。
按照一个实施方式,可以以所限定的时间间隔重复地产生分类数据并且记录分类数据的随时间的变化过程。在此,可以将分类数据的随时间的变化过程输入到分类器中。补充地或替选地,可以以所限定的时间间隔重复地接收传感器数据并且记录传感器数据的随时间的变化过程。在此,可以将传感器数据的随时间的变化过程输入到分类器中。例如,可以分多个周期来产生或接收分类数据或传感器数据。通过该实施方式,可以提高分类的可靠性。
按照一个实施方式,分类器可以是利用用于识别行人、可驶越和/或不可驶越的对象、并非来自超声传感器的超声干扰信号、道路状态或者用于识别所提到的对象类别中的至少两个对象类别的训练数据来训练的。
例如,在可驶越的对象(比如凹坑)与不可驶越的对象(比如躺倒的孩子)之间的经区分的区别可有助于显著缩短反应时间。
按照一个实施方式,该方法还可包括:基于对象信息来控制车辆和/或该车辆的至少一个组件。例如,该车辆可以基于对象信息被控制为使得防止该车辆与所识别出的对象相撞。该车辆可具有适合于此的执行器、诸如转向和/或制动执行器。这些执行器可以通过车辆的车载计算机来操控。车载计算机例如可以包括控制设备,如其在上文或在下文所描述的那样。
该控制设备可以是电子设备,该电子设备具有:至少一个用于处理数据的计算单元;至少一个用于存储数据的存储单元;和至少一个用于读取和/或输出数据的接口。该计算单元例如可以是信号处理器、所谓的系统ASIC或微控制器,用于处理传感器信号并且根据这些传感器信号来输出数据信号。该存储单元例如可以是闪速存储器、EPROM或磁存储单元。该接口可以构造为用于从传感器读取传感器信号的传感器接口和/或用于向执行器输出数据信号的执行器接口。该接口可以构造为用于无线和/或有线地传输数据的通信接口。该接口例如可以是在微控制器上的多个软件模块之一。
指出:本发明的可能的特征和优点中的一些特征和优点在本文中一方面参考电路板单元的不同的实施方式而另一方面参考电子模块的不同的实施方式来予以描述。本领域技术人员认识到:不同设备的特征可以以适当的方式组合、适配或更换,以便得到本发明的其它实施方式。
附图说明
随后,本发明的实施方式参考附图予以描述,其中无论附图还是说明书都不应被解释成对本发明的限制。
图1示意性地示出了具有按照本发明的实施例的控制设备的车辆。
图2示出了按照本发明的实施例的控制设备的框图。
图3示出了按照本发明的实施例的方法的流程图。
这些附图仅仅是示意性的并且没有按正确比例。在这些附图中,相同的附图标记表示相同或起相同作用的特征。
具体实施方式
图1示意性地示出了具有按照本发明的实施例的控制设备102的车辆100。控制设备102与超声传感器104耦合。超声传感器104被实施用于监视车辆100的附近的周围环境,该超声传感器这里示例性地嵌入在车辆100的前保险杠106中。为此,超声传感器104发出超声信号110,所述超声信号例如被在附近的周围环境中的对象112部分地反射,作为回声114。超声传感器104探测回声114并且将相对应的传感器数据116发送给控制设备102。
替选地,超声传感器104也可以安装在车辆尾部或者安装在车辆100侧面。也可能的是:车辆100具有两个或更多个超声传感器104。在此,超声传感器104可以布置在车辆100的不同部位。
超声传感器104可具有至少三个传感单元,用于发出超声信号110并且接收回声114。例如,超声传感器104也可以实现为具有多个传感单元的传感器阵列。该传感器阵列的传感单元可以单列、双列或者更多列地来布置。
由此可能的是:通过对在保险杠106的不同部位接收到的回声114的传播路程的三点定位或多边定位来确定对象112相对于车辆100的距离或位置,如更上文所描述的那样。除了确定距离之外,这些传感单元的双列或更多列的布局能够确定对象112的高度。在控制设备102中通过相对应地分析传感器数据116来进行三点定位或多边定位。
控制设备102还被配置用于从传感器数据116中、更准确地说从包含在其中的所接收到的回声114中提取适合于语义分类的特征。所提取的特征用作针对相对应地被训练的分类器、尤其是例如神经网络的输入数据。分类器给这些输入数据分配一个或多个对象类别并且输出相对应的对象信息118。在该示例中,分类器将这些输入数据分配给对象类别“行人”。与此相应地,对象信息118表明对象112最有可能是行人。
按照一个实施例,控制设备102将对象信息118发送给车辆100的车载计算机120。控制设备102可以实现为车载计算机120的组件。车载计算机120和控制设备102可以是用于(部分)自动化地控制车辆100的车辆系统的组成部分。与此相应地,车载计算机120被配置用于使用对象信息118来操控车辆100的至少一个执行器122、比如转向或制动执行器或者驱动电机或者用来操控车辆100的发动机控制设备。执行器122通过基于对象信息118由车载计算机120所产生的控制信号124来被操控。在本例中,车载计算机120产生控制信号124,以便借助于执行器122来使车辆100制动或停下或朝其它方向转向并且这样防止车辆100与对象112、这里是行人相撞。
按照一个实施例,控制设备102被实施用于依据传感器数据116和分类器来识别超声干扰信号126。该超声干扰信号应被理解为并非来自超声传感器104而是包含在车辆100附近的周围环境中的外来噪声中的超声信号。为此,将传感器数据116输入到分类器中用于进行语义分类。在图1中所示出的示例中,分类器输出其它对象信息,该其它对象信息将所输入的传感器数据116分配给对象类别“被动干扰信号”。但是,也可能的是:视训练而定,分类器进行还更精确的语义分类。例如,分类器也可以基于包含在所输入的传感器数据116中的超声干扰信号126来将这些传感器数据分配给对象类别“载货车”,如在图1中示例性地勾画出的那样。
替选地,也可能的是基于传感器数据116对道路状态的分类。为此而利用:对象视其在干燥地面上还是潮湿地面上移动而定引起不同的超声噪声。这样,例如从旁边驶过的车辆在潮湿的行车道上产生附加的在能通过超声传感器104探测到的频率范围内的噪声,这些噪声能够实现与在干燥的行车道上前进的车辆的区分。
图2示出了按照本发明的实施例的控制设备102的框图。控制设备102包括分析单元200,该分析单元从超声传感器104接收传感器数据116并且据此来产生分类数据202。分类数据202进入分类器单元204,在该分类器单元上实施用于对分类数据202进行语义分类的分类器。作为语义分类的结果,分类器单元204输出对象信息118。
分类数据202包含回声和/或位置数据,如其随后进一步予以描述的那样。
按照一个实施例,分析单元200从分类器单元204接收对象信息118。在此,分析单元200被配置用于基于对象信息118来分析已由超声传感器104所产生的其它传感器数据206。尤其是,分析单元200使用对象信息118来从所述其它传感器数据206中屏蔽超声干扰信号126,如其在更上面已经予以描述的那样。在本例中,对象信息118表明超声干扰信号126、例如载货车制动器的排气噪声,该超声干扰信号可以在分析所述其它传感器数据206时被分析单元200相对应地考虑到、尤其是屏蔽。
图3示出了按照本发明的实施例的方法300的流程图。方法300例如可以通过依据图1和2所描述的控制设备102来执行。
在此,在第一步骤310中,接收传感器数据116。在第二步骤320中,根据传感器数据116来产生分类数据202。在第三步骤330中,将分类数据202输入到分类器中,其中分类器是利用适当的训练数据来训练的、例如是通过监督学习来训练的。最后,在第四步骤340中,输出对象信息118。
按照一个实施例,传感器数据116在第一处理步骤中被预先处理,例如通过预处理(Preprocessing)或过滤来被预先处理,并且超声传感器104的各个接收方传感器的回声距离根据相应的信号传播时间来计算。除了回声距离、发送方ID和接收方ID之外,可选地提取其它对于分类来说有用的值或特征,比如作为对回声114的能量的量度的回声幅度、作为对回声114的可靠性的量度的显著性、表明所测量到的回声114可以以怎样的概率被分配给先前的测量的跟踪概率(trace probability)或者跟踪标志符(trace ID)。在该第一处理步骤中所产生的信息也可以被称作回声数据。
在第二处理步骤中,借助于多边回声定位根据回声数据来计算所测量到的反射点的位置。根据传感器数据116是通过单列布置的传感器阵列产生的还是通过双列布置的传感器阵列产生的,要么确定反射点的x和y位置要么附加地确定反射点的z位置作为高度信息。在这种情况下,也可以给相应的位置分配误差或方差。附加地,可能的是:提取关于反射点存在的概率(existence probability)、关于高度信息的概率(height probability)和/或反射点类型(reflex point type),如完整的、水平的或垂直的三点定位。在该第二处理步骤中所产生的信息也可以被称作位置数据。
回声数据和/或位置数据可以随时间变化地或者不随时间变化地被产生。
第一处理步骤和第二处理步骤可以是方法300的步骤320的子步骤。
在步骤330中,例如将回声数据和位置数据的组合输入到分类器中。这能够实现对超声信号的有效的语义分类,该语义分类允许在不同的对象类别之间的区分。
按照一个实施例,每隔例如0.02至0.04秒的定期的、短的时间间隔来测量或计算分类数据202。由此将分类数据202描述为时间的函数。分类数据202的相对应的随时间的变化过程以分别经适配的组合或加权来被用作分类器的输入。即可能的是:使用当前的(单个)测量的结果或者补充地或替选地使用在最后n个周期(比如其中n = 10, 20, ...)内的历史变化过程来进行分类。
在步骤340中,分类器输出预测或概率,该预测或概率说明在相应的时间点是否探测到了相关的、与背景或地面有区别的对象,并且如果是,则说明该对象属于哪个对象类别,比如行人、汽车、墙壁或电线杆。
视实施方式而定,使用具有对各个对象类别的同时分类的单级多标签分类器或者多级方法,作为探测算法。该多级方法可以通过初始询问“地面”——“信号”并紧接着在各个信号类型(比如行人、汽车或墙壁)之间的情况区分串行地来进行或者通过针对每个单个的信号类型的二元预测并行地来进行。
按照另一实施例,使用类似于栅格的具有二维输入的CNN结构(CNN =Convolutional Neural Network(卷积神经网络))作为分类器。其中在垂直轴上描绘从传感器数据116中提取的特征并且在水平轴上描绘这些特征的随时间的变化过程。该分类器非常鲁棒并且具有高灵敏度,因为每个单独的特征都被单独处理为二维输入。为了可以在预测中在没有太大的延迟的情况下识别随时间出现的图案,例如考虑约0.5至3秒的时间跨度。
CNN结构具有如下优点:借此可以学习非常复杂的结构。然而,为此需要可变性高的相对应地大的数据记录。
替选地或附加地,可以使用如下分类器中的至少一个分类器:贝叶斯分类器、支持向量机(SVM)、k近邻算法(k-NN)、决策树(例如随机森林)。这些分类器需要低得多的计算花费和花费较低的训练数据。然而,这里对于输入计算来说需要前面的聚类,该聚类将各个供支配的来自回声数据和位置数据的如下特征组合,这些特征可以分别被分配给同一实体、即关联对象。接着,根据属于一个聚类的全体样本生成针对分类器的输入值。可能的输入值例如是数目、最大值、最小值、平均值、标准差、拟合圆的半径或者聚类的各个特征的目标密度(Target Density)。
最后指出:如“具有”、“包括”等等那样的术语不排除其它元件或步骤而如“一”或“一个”那样的术语不排除多个。权利要求书中的附图标记不应被视为限制。
Claims (10)
1.一种用于识别在车辆(100)的周围环境中的对象(112)的方法(300),其中所述车辆(100)具有对所述车辆(100)的周围环境进行监视的用于发出和接收超声信号(110、114、126)的超声传感器(104),其中所述方法(300)包括:
接收(310)传感器数据(116),所述传感器数据是由所述超声传感器(104)所产生的;
根据所述传感器数据(116)产生(320)分类数据(202),所述分类数据包含所要分类的特征;
将所述分类数据(202)和/或所述传感器数据(116)输入(330)到分类器中,所述分类器是利用用于将所述分类数据(202)和/或所述传感器数据(116)分配到对象类别的训练数据来训练的;并且
输出(340)对象信息(118),所述对象信息表明所述对象类别中的至少一个对象类别。
2.根据权利要求1所述的方法(300),其中所述分类数据(202)包含:回声数据,所述回声数据描述了所发出的超声信号(110)的回声(114);和/或位置数据,所述位置数据描述了所发出的超声信号(110)的回声(114)被反射的反射地点。
3.根据权利要求2所述的方法(300),其中所述回声数据描述了所述回声(114)的传播路程和/或强度和/或合理性;和/或其中所述位置数据描述了所述反射地点的通过三点定位和/或多边定位来计算的坐标和/或所述反射地点的合理性。
4.根据上述权利要求之一所述的方法(300),所述方法还包括:接收其它传感器数据(206),所述其它传感器数据是由所述超声传感器(104)所产生的;并且与所述对象信息(118)一起分析所述其它传感器数据(206)。
5.根据上述权利要求之一所述的方法(300),其中以所限定的时间间隔重复地产生所述分类数据(202)并且记录所述分类数据(202)的随时间的变化过程,其中将所述分类数据(202)的随时间的变化过程输入到所述分类器中;和/或其中以所限定的时间间隔重复地接收所述传感器数据(116)并且记录所述传感器数据(116)的随时间的变化过程,其中将所述传感器数据(116)的随时间的变化过程输入到所述分类器中。
6.根据上述权利要求之一所述的方法(300),其中所述分类器是利用用于识别行人和/或可驶越的对象和/或不可驶越的对象和/或并非来自所述超声传感器(104)的超声干扰信号(126)和/或道路状态的训练数据来训练的。
7.根据上述权利要求之一所述的方法(300),所述方法还包括:基于所述对象信息(118)来控制所述车辆(100)和/或所述车辆(100)的至少一个组件(122)。
8.一种控制设备(102),所述控制设备被实施用于执行根据上述权利要求之一所述的方法(300)。
9.一种计算机程序,当所述计算机程序在处理器上被实施时,所述计算机程序执行根据权利要求1至7中任一项所述的方法(300)。
10.一种机器可读存储介质,在其上存储有根据权利要求9所述的计算机程序。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102019214612.0 | 2019-09-25 | ||
DE102019214612.0A DE102019214612A1 (de) | 2019-09-25 | 2019-09-25 | Verfahren und Steuergerät zum Erkennen eines Objekts in einer Umgebung eines Fahrzeugs |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112558049A true CN112558049A (zh) | 2021-03-26 |
Family
ID=74846651
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011015767.3A Pending CN112558049A (zh) | 2019-09-25 | 2020-09-24 | 用于识别在车辆的周围环境中的对象的方法和控制设备 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210088641A1 (zh) |
CN (1) | CN112558049A (zh) |
DE (1) | DE102019214612A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7600549B2 (ja) * | 2020-06-12 | 2024-12-17 | 株式会社アイシン | 運転支援装置 |
DE102021109055A1 (de) | 2021-04-12 | 2022-10-13 | Bayerische Motoren Werke Aktiengesellschaft | Ultraschallsystem für ein Fahrzeug zum Erfassen von Ultraschallgeräuschen in einer Umgebung des Fahrzeugs, Fahrzeug, Verfahren sowie Computerprogramm |
DE102021213034A1 (de) * | 2021-11-19 | 2023-05-25 | Robert Bosch Gesellschaft mit beschränkter Haftung | Korrektur von ultraschallbasierten Messungen mittels Winkelinformationen |
DE102022201766A1 (de) | 2022-02-21 | 2023-08-24 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren und Vorrichtung zur Fusion von Klassifikationsergebnissen mehrerer Klassifikationsmodelle zur Objektidentifikation mithilfe ultraschallbasierter Sensorsysteme in mobilen Einrichtungen |
DE102022202036A1 (de) | 2022-02-28 | 2023-08-31 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren und Vorrichtung zum Bereitstellen eines Klassifikationsergebnisses zur Objektidentifikation mithilfe ultraschallbasierter Sensorsysteme in mobilen Einrichtungen |
DE102022214079A1 (de) | 2022-12-20 | 2024-06-20 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zur Ermittlung einer dreidimensionalen Lage eines Reflexionspunktes eines Objektes in der Umgebung eines Fahrzeugs mittels eines Ultraschallsensors, Computerprogramm, Rechenvorrichtung und Fahrzeug |
DE102023202159A1 (de) | 2023-03-01 | 2024-09-05 | Robert Bosch Gesellschaft mit beschränkter Haftung | Methode zur Klassifikation eines zu detektierenden Objektes mit mindestens einem Ultraschallsensor |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102011088401A1 (de) * | 2011-12-13 | 2013-06-13 | Robert Bosch Gmbh | Verfahren zur Erkennung von Objekten im Umfeld eines Fahrzeugs |
CN105205500A (zh) * | 2015-09-29 | 2015-12-30 | 北京邮电大学 | 基于多目标跟踪与级联分类器融合的车辆检测 |
US20180314921A1 (en) * | 2017-05-01 | 2018-11-01 | Mentor Graphics Development (Deutschland) Gmbh | Training of machine learning sensor data classification system |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100902021B1 (ko) * | 2008-04-29 | 2009-06-09 | 현대자동차주식회사 | 차량용 초음파 물체 감지 시스템 |
DE102009045944A1 (de) * | 2009-10-23 | 2011-04-28 | Robert Bosch Gmbh | Schutzsensorik für handgehaltene Elektrowerkzeugmaschine |
DE102015207804B4 (de) * | 2015-04-28 | 2017-03-16 | Robert Bosch Gmbh | Verfahren zum Erkennen von Parkflächen und/oder Freiflächen |
US10656266B2 (en) * | 2016-09-13 | 2020-05-19 | Walmart Apollo, Llc | System and methods for estimating storage capacity and identifying actions based on sound detection |
DE102016218238B3 (de) * | 2016-09-22 | 2017-07-06 | Robert Bosch Gmbh | Verfahren und Recheneinheit zur Erkennung einer nassen oder feuchten Fahrbahn und zur Objektdetektion |
US10895639B2 (en) * | 2017-11-30 | 2021-01-19 | Avanti R&D, Inc. | Sensor platform improvement utilizing sound sensor analysis |
WO2020072522A1 (en) * | 2018-10-02 | 2020-04-09 | Fortem Technologies, Inc. | System and method for drone and object classification |
US10996680B2 (en) * | 2018-12-31 | 2021-05-04 | Siemens Industry Software Inc. | Environmental perception in autonomous driving using captured audio |
-
2019
- 2019-09-25 DE DE102019214612.0A patent/DE102019214612A1/de active Pending
-
2020
- 2020-09-23 US US17/029,951 patent/US20210088641A1/en active Pending
- 2020-09-24 CN CN202011015767.3A patent/CN112558049A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102011088401A1 (de) * | 2011-12-13 | 2013-06-13 | Robert Bosch Gmbh | Verfahren zur Erkennung von Objekten im Umfeld eines Fahrzeugs |
CN105205500A (zh) * | 2015-09-29 | 2015-12-30 | 北京邮电大学 | 基于多目标跟踪与级联分类器融合的车辆检测 |
US20180314921A1 (en) * | 2017-05-01 | 2018-11-01 | Mentor Graphics Development (Deutschland) Gmbh | Training of machine learning sensor data classification system |
Also Published As
Publication number | Publication date |
---|---|
US20210088641A1 (en) | 2021-03-25 |
DE102019214612A1 (de) | 2021-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112558049A (zh) | 用于识别在车辆的周围环境中的对象的方法和控制设备 | |
US11155258B2 (en) | System and method for radar cross traffic tracking and maneuver risk estimation | |
US11054515B2 (en) | Radar clustering and velocity disambiguation | |
CN109814130B (zh) | 用于在车辆感知系统中自由空间推断以分开群集对象的系统和方法 | |
JP4906398B2 (ja) | 車載道路形状識別装置、車載システム、道路形状識別方法及び周辺監視方法 | |
US8615109B2 (en) | Moving object trajectory estimating device | |
US8233663B2 (en) | Method for object formation | |
CN107110970B (zh) | 用于通过超声波传感器检测机动车辆的周围区域中的至少一个物体的方法、驾驶员辅助系统和机动车辆 | |
US20210387616A1 (en) | In-vehicle sensor system | |
JP7037672B2 (ja) | 自動車用レーダセンサによる静的レーダ目標の認識方法 | |
US11904848B2 (en) | Low-energy impact collision detection | |
CN111103587A (zh) | 用于预测同时并线车辆的方法和设备及包括其的车辆 | |
JPH06148328A (ja) | 車両用障害物認識装置 | |
CN113335311B (zh) | 一种车辆碰撞检测方法、装置、车辆及存储介质 | |
JP3356058B2 (ja) | 車両用後方モニタシステム | |
CN114556146A (zh) | 用于将尤其是在机动车环境中的对象分类的方法和设备 | |
JP4683910B2 (ja) | 衝突防止支援装置 | |
US20240194077A1 (en) | Method for operating a driver assistance system, computer program product, driver assistance system, and vehicle | |
CN115497282B (zh) | 信息处理装置、信息处理方法、以及存储介质 | |
JPH11352228A (ja) | 車両用後方モニタシステム | |
RU2806452C1 (ru) | Устройство и способ для определения объектов | |
RU2809334C1 (ru) | Беспилотное транспортное средство и способ управления его движением | |
WO2024144436A1 (ru) | Устройство и способ для определения объектов | |
RU2814813C1 (ru) | Устройство и способ для отслеживания объектов | |
WO2024144437A1 (ru) | Беспилотное транспортное средство и способ управления его движением |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |