CN112668602A - 用于确定传感器的数据集的品质等级的方法、设备和机器可读的存储介质 - Google Patents

Abstract

描述一种用于训练用于确定多个传感器中的每个的数据集的品质等级的机器学习模型的方法，多个传感器设置用于生成周围环境表示，具有以下步骤：提供多个传感器的每个的、多个周围环境表示的多个数据集；提供多个周围环境表示的基准真值对象的属性数据；借助度量确定多个传感器的每个的数据集的品质等级，度量将借助数据集确定的变量分别与周围环境表示的所属的基准真值对象的属性数据进行比较；借助多个传感器的每个的多个数据集以及各个所分配的确定品质等级来训练机器学习模型，在相应的训练步骤中将传感器的每个的多个数据集的数据集作为输入信号提供给机器学习模型，机器学习模型提供输出变量以输出多个传感器的每个的单个数据集的品质等级。

Description

用于确定传感器的数据集的品质等级的方法、设备和机器可 读的存储介质

技术领域

本发明涉及一种用于训练用于确定传感器的数据集的品质等级的机器学习模型的方法以及一种用于确定传感器的数据集的品质等级的方法。本发明还涉及一种设备、一种计算机程序和一种机器可读的存储介质。

背景技术

实现对周围环境的感知或者说表示(英语Perception，感知)对于至少部分自动化的驾驶的实现具有重要意义，而且对于驾驶员辅助系统也越来越重要。在此，借助传感器检测周围环境，并且例如借助模式识别方法识别周围环境。

传感器的数据因此被转换为周围环境相关方面的符号描述。然后，这种周围环境的符号描述构成在以这种方式描述的周围环境中实施动作的基础，或者构成例如至少部分自动化的移动平台的应用或使用目的基础。对于周围环境的符号描述的典型示例是借助属性来描述静态和动态对象，这些属性表征例如相应的对象的位置、形状、大小和/或速度。对象例如可以涉及必须避免与之碰撞的障碍物。

环境感知通常基于不同模态的多个传感器的数据的组合或融合。例如，可以将不同的传感器类型(例如光学摄像机、雷达系统、激光雷达系统和超声传感器)组合成多模式传感器组。

在此，不同模态的一些不同传感器的视场(Field of Views)在此可以重叠，使得在与应用相关的视场内始终存在至少两个不同模态的传感器数据。这具有以下优点：一个模态的单个传感器的不足原则上可以通过另一模态的其他传感器补偿。例如，在光学摄像机和雷达系统的组合中，可以通过雷达测量感知对象来减轻光学摄像机在雾中的有限的能见度。

发明内容

为了减轻传感器在传感器数据融合范畴中的不足，可以应用不同的方法。例如，在确定的应用中，可能仅针对对象探测的假阳性率或仅针对对象探测的假阴性率进行优化就足够了。

例如，如果——对于至少部分自动化的机器人而言，最重要的标准是避免在至少部分自动化模式下发生碰撞，而在机器人停止后在识别到假阳性对象(“Ghost”)时可以执行手动控制，则可以在避免假阴性探测上优化用于传感器数据融合和环境感知(MSFU)的模块。出于简化，在这样的优化中，如果进行数据生成的传感器模态中的至少一个感知到对象，则假定该对象是真实的。

在这种情况下，如果传感器之一无法识别到对象(假阴性)，而另一传感器模态不受此错误探测的影响，则通过所述另一传感器模态成功地减轻第一传感器的不足。但是，如果传感器模态之一受到假阳性识别(“Ghost”)的影响，则在所述方法中会出现错误，因为在此优化中通过其他模态不会减轻这种情况。这是现有解决方案的缺点。

类似地，例如在自动化紧急制动功能(“Automatic Emergency Breaking”，AEB)中，优化系统以避免假阳性是有意义的，其方式是：仅在对象所在视场中由所有传感器模态都感知到该对象时，用于传感器数据融合和环境感知(MSFU)的模块才会认为该对象是真实的。在这种情况下，现有系统也具有缺点，因为由于在避免假阳性方面的优化而出现与各个传感器模态相比更高的假阴性识别率。

现有系统的所描述的减轻传感器不足的可行方案并没有使用任何信息来分别表明哪个传感器模态分别更可靠或更不可靠。这至少部分地说明了上述缺点的原因。

由于在每个模态中可能影响品质的多个不同的条件，对传感器品质的连续的、自动的评估是借助传统方法难以解决的问题，这个问题在现有的用于表现周围环境的方法中并未解决或仅不足以解决。

本发明公开一种用于训练用于确定传感器的数据集的品质等级的机器学习模型的方法、一种用于融合传感器的数据集的方法、一种用于确定传感器的数据集的品质等级的方法，以及根据本发明的特征的一种方法、一种设备、一种计算机程序和一种机器可读的存储介质。有利的构型是优选的实施方式和以下描述的主题。

本发明基于这样的知识，即可以训练机器学习模型(例如神经网络)来在传感器的特定周围环境中确定多个传感器中的一个传感器的数据集的品质，所述机器学习模型借助不同模态的多个传感器的在不同周围环境中以不同条件已经生成的多个数据集进行确定。

根据一个方面，提出一种用于训练机器学习模型以便确定多个传感器中的每个传感器的至少一个数据集的品质等级的方法，其中，所述多个传感器设置用于生成周围环境表示。

在此，在一个步骤中，提供多个传感器中的每个传感器的、相应多个周围环境表示的多个数据集。

在另一步骤中，提供多个周围环境表示的基准真值(Ground-Truth)对象的属性数据。

在另一步骤中，借助度量标准(Metrik)确定多个传感器中的每个传感器的相应数据集的品质等级，其中，所述度量标准将借助相应的数据集所确定的至少一个变量分别与周围环境表示的至少一个所属的基准真值对象的至少一个属性数据进行比较。

在另一步骤中，借助多个传感器中的每个传感器的多个(尤其新的)数据集以及各个对应的所确定的品质等级来训练机器学习模型，以确定多个传感器中的每个传感器的至少一个数据集的品质等级。

根据一个方面提出，通过如下方式来训练机器学习模型：在多个训练步骤中将多个传感器中的每个传感器的多个数据集的数据集作为输入信号并且将相应的品质等级作为目标输出提供给机器学习模型，以便实现机器学习模型对具有所述数据集和相应的品质等级的训练样本的匹配。

在多次迭代中执行的该训练结束之后，机器学习模型设置成：在将每个传感器的新数据集作为输入信号提供给机器学习模型时提供输出变量，以便输出多个传感器中的每个传感器的每个单个数据集的品质等级的预测。

在本发明的整体描述中如此示出方法步骤的顺序，使得方法易于理解。然而，本领域技术人员应认识到，也可以以不同的顺序遍历许多方法步骤并导致相同的结果。在这个意义上，方法步骤的顺序可以相应地改变并且因此也被公开。

在此，借助属性来描述周围环境表示的静态和动态对象，其中，所述属性例如涉及对象的空间位置，所述属性说明相应的对象的形状、大小或速度。

数据集例如可以源自不同模态的传感器，所述传感器单独地或共同地设置用于生成周围环境表示。不同模态的传感器或者说不同传感器类型的示例可以是光学摄像机、雷达系统、激光雷达系统或超声传感器。另外，传感器可以包括表现周围环境或周围环境状态的期望表现的所有其他类型的传感器——例如温度传感器和/或麦克风，这些其他类型的传感器能够相应地生成关于周围环境的噪声的数据集。然后，多个这种传感器可以组合成多模式的传感器组。

多个传感器可以包括少量传感器——例如两个或三个传感器，多个传感器也可以包括100个传感器，或者甚至更多数量的传感器可以构成多个传感器。

在此，术语“基准真值对象”或者说“基准真值周围环境表示”应理解为，对象或周围环境的这些说明表示一个参考，该参考针对相应的目的足够准确地描述了周围环境的实际性。换句话说，基准真值对象或周围环境是已经被客观分析过的所观察或所测量的对象或周围环境。

因此，机器学习模型的训练借助经标记的训练样本来进行。用于训练机器学习模型的标记样本(品质标准样本)是由另一经标记的样本确定的，针对该另一标记样本，关于多个传感器的多个数据集已经分别确定并存储了周围环境表示的基准真值对象的属性(环境样本)。

因为可以借助度量标准由环境样本确定品质等级，所以可以将该品质等级用作机器学习模型的训练目标。因此，这涉及受监测的训练过程。

将多个传感器中的每个传感器的多个数据集作为输入信号提供给机器学习模型，其中，机器学习模型例如可以涉及深度神经网络。可以说，传感器的这些数据集表示多模式传感器组的所有传感器的原始测量数据，因为这些数据集尚未转换为对象的描述。机器学习模型的输出变量表示各个传感器关于相应的周围环境表示的品质的评估。

借助多个传感器的(尚未换算成周围环境表示的对象)的数据集来训练机器学习模型的方法的优点在于，能够由此借助所生成的传感器数据的公开的功能相关性来训练机器学习模型，并且用于确定质量的度量标准一方面将周围环境表示的基准真值对象的属性用作参考变量，另一方面能够针对传感器的相应模态进行匹配。

由于多模式组的所有传感器数据都由同一模型处理，因此为了确定特定传感器的品质标准，模型不仅使用该传感器的信息而且使用所有其他传感器的信息。这增加品质标记的可靠性。作为一个简单的示例，确定激光雷达系统的品质标准可以包括摄像机的图像，从该图像中能够识别天气情况。

在下面的具体示例进一步阐明使用多模式数据所带来的优点。就此而言，基本上能够在两组不同的情况之间做出区分。

在第一组中，对于评价确定的模态的质量，将仅能借助其他模态来评价的环境条件或周围环境条件包括在内是有帮助的。

在第二组的情况下，要么周围环境无关紧要，要么无法借助任何模态检测周围环境条件。在该第二组的情况下，经学习的模型(例如DNN)的输出基于待评价的模态的数据与至少一个其他模态的数据的比较，因为该模型从训练数据中学习模态之间的特征差异。

因此，第一组包括传感器外部的条件，这些条件对确定的模态具有负面影响，但最好、甚至仅仅能够借助另一模态来确定这些条件。如上面提及的，对此的一个示例是天气情况，该天气情况能够根据摄像机图像来确定。作为一个具体示例可以提到的是，由于激光的散射，诸如雪、雨或雾的天气条件会降低激光雷达传感器的有效性能。在极端情况下，在大雪、大雨或大雾中，不再能够观察到对象的激光反射，使得在这种情况下，对激光雷达数据的分析不适合于识别这些传感器的不足。即使在不利于激光雷达的天气条件下存在激光反射，测量的品质也受到负面影响，激光雷达数据的分析不能够对数据质量做出可靠的结论，因为反射强度还取决于其他因素(例如对象的反射率)。另一方面，能够很好地借助基于摄像机图像的机器学习模型来识别天气条件。

造成传感器测量数据品质变化的另一个原因是所测量对象的周围环境中的其他对象的影响。例如，如果雷达传感器的分辨率不足以将彼此小于确定间距的两个对象分开，则经训练的模型就可以通过纳入其他模态(例如激光雷达或摄像机)的信息来识别这种情况并且因此降低相应的雷达数据的品质等级。

雷达传感器中由于测量原理而引起的错误的另一具体示例是，当同时接收到安装在其他车辆中的雷达传感器的相同频率或相似频率的雷达波时——即与由安装在自身车辆中的传感器发送并由对象反射的雷达波发生重叠时，可能会产生干扰。但是，如果由此产生的错误在训练资料中以足够的频率出现，则能够借助机器学习方法来学习该错误。在这种情况下，该识别基于雷达测量与至少一个其他模态的测量的通过经训练的模型(例如DNN)的比较，因为在这种情况下，能够观察到不同模态的数据之间的不一致性。

对于传感器组的每个传感器，这种品质等级例如可以具有在0和1之间的数值，其中，数值1对应于传感器的最佳性能——即不存在传感器不足，而如果传感器没有输出可靠的信息，则输出0。

因为机器学习模型的训练在很大程度上取决于所选择的机器学习模型，所以在此以深度神经网络为例阐述这种训练。

神经网络为用于机器学习、协作的许多不同的算法以及为处理复杂数据输入提供框架。这种神经网络学习根据示例来实施任务，而通常无需借助特定于任务的规则来进行编程。

这种神经网络基于连接的单元或节点的集合，这些单元或节点称为人工神经元。每个连接都能够将信号从一个人工神经元传输到另一个。接收信号的人工神经元可以对所接收的信号进行处理，然后激活与其连接的其他人工神经元。

在神经网络的常规实现中，人工神经元的连接处的信号是实数，并且人工神经元的输出是通过其输入之和的非线性函数来计算的。人工神经元的连接通常具有与学习的进展相匹配的权重。权重增加或减小连接处的信号的强度。人工神经元可以具有阈值，使得仅当总信号超过该阈值时才输出信号。

通常，将多个的人工神经元分层组合。不同的层可能对其输入执行不同类型的转换。可能在多次遍历这些层之后，信号从第一层(输入层)传播到最后一层(输出层)。

在此，将传感器的数据集作为输入信号提供给深度神经网络，并将品质等级作为目标变量与神经网络的输出变量进行比较。

在训练开始时，这样的神经网络对于两个神经元之间的每个连接例如接收一个随机的初始权重。然后将输入数据给予网络，并且每个神经元以其权重对输入信号进行加权，并继续将结果给予下一层的神经元。然后在输出层中提供总体结果。可以计算错误的大小，以及每个神经元在该错误中的比例，然后在使错误最小化的方向上改变每个神经元的权重。然后迭代地进行进一步的遍历、重新测量误差、匹配权重，直到误差低于预给定的极限。

根据一个方面提出，机器学习模型具有神经网络或递归神经网络，并且相应的输出变量是具有说明品质等级的至少一个向量元素的向量。

机器学习方法的模型例如可以涉及具有多个隐藏层的深度神经网络(DNN：英语Deep Neural Network)。

能够用于该方法的其他机器学习模型例如是作为经训练的用于特征转换的方法的线性判别分析(LDA)，此外，例如可以使用支持向量机(SVM)或高斯混合模型(GMM)或隐马尔可夫模型(HMM)作为经训练的分类方法。

在一起使用前馈神经网络与多模式传感器的数据集时，通常独立于先前的数据集来处理确定时间步长的数据集(“单帧处理”)。

通过使用递归神经网络(RNN)，例如还能够纳入传感器的数据集之间的时间关联。此外，递归神经网络RNN的结构可以具有长短期记忆单元(LSTM单元)，以便在较长的时间段上改善信息的纳入，使得所述信息能够更好地影响(einflieβen)当前的品质标准估计。

神经网络的架构可以匹配于不同传感器模态的不同格式(例如数据结构、数据量和数据密度)。例如可以有利地借助经典的基于网格的卷积神经网络(CNN)来处理如下传感器：该传感器的在每个时间步长下的数据(例如摄像机的图像数据)可以表示为一个或多个二维矩阵。可以有利地借助例如PointNet或PointNet++等架构来处理提供每个时间步长的点云的其他传感器(例如激光雷达)，所述架构是基于点的，并且相比于基于网格的方法能够直接处理作为输入的原始点云。

根据另一方面提出，神经网络具有多个层，至少两个传感器的数据集彼此独立地输入到神经网络的输入层的不同部分中，并且所述至少两个不同传感器的数据集的融合在神经网络内的另一层内进行。

根据多个传感器中的至少两个传感器的所使用的传感器类型，也能够彼此独立地将传感器的数据集输入到神经网络的输入层的不同部分中，然后融合可以在神经网络内进行(“中期融合”)。因此，如果神经网络具有多个层，则多个传感器中的至少两个传感器的相应的数据集的融合可以在神经网络的不同层中进行。

在融合至少两个不同传感器的数据集时，尤其将多个传感器中的至少两个传感器的信息融合。

其中，借助传感器数据集的融合，可以在输入到神经网络之前进行不同传感器的信息的融合(“早期融合”)。

根据另一方面，这种融合也可以通过如下方式进行：由多个神经网络独立地处理数据，因此独立地识别数据，然后对网络输出(即对象表现)进行融合(“后期融合”)。

换句话说，可以考虑不同的方法来融合不同模态的传感器的数据，以便实现多模式数据的识别。因此，可以借助早期、中间或后期融合来实现不同传感器模态的融合。在早期融合中，通常在对数据实施适当的转换和/或选择数据(例如用于校准视场)之后，在数据被输入到神经网络的输入层中之前，进行传感器的多模式数据的融合。在后期融合中，每个模态都独立于其他模态地由适合于该模态的DNN进行处理，并且分别产生预期的输出。然后将所有输出融合。在早期融合和后期融合中，融合都在DNN架构之外进行，在早期融合的情况下在通过DNN处理之前、在后期融合的情况下在通过DNN处理之后进行融合。

与中期融合不同，这里多模式数据的输入和一些“下”(即在输入附近的)层中的处理最初是彼此分离的。然后，在DNN内进行融合，然后再在其他“上”(即在输出附近的)层中进一步处理已经融合并处理的数据。

在文献中能够获悉的可能的融合架构是MV3D[1]、AVOD[2]、Frustum PointNet[3]和Ensemble Proposals[4]。

[1]《Multi-view 3d object detection network for autonomous driving》，X.Chen等，计算机视觉和模式识别(CVPR)，2017年IEEE会议，IEEE，2017，pp.6526–6534。

[2]《Joint 3d proposal generation and object detection from viewaggregation》，J.Ku等，arXiv：1712.02294，2017。

[3]《Frustum pointnets for 3d object detection from rgb-d data》，C.R.Qi、W.Liu、C.Wu、H.Su和L.J.Guibas，计算机视觉和模式识别(CVPR)，2018年IEEE会议，IEEE，2018。

[4]《Robust detection of non-motorized road users using deep learningon optical and lidar data》，T.Kim和J.Ghosh，智能交通系统(ITSC)，2016，pp.271–276。

符合标准地，此处提到的架构将视场中对象的分类和大小估计作为输出。对于此处提出的发明，例如可以使用在[1，2，3，4]中提出的借助DNN进行的融合的架构和操作，在此，相应地匹配输出层，并且借助一个或多个(例如完全连接的)层来计算品质标准的回归(Regression)。

根据一个方面提出如下操作：通过对不同传感器的数据集和/或对由不同传感器的相应数据集所确定的环境表现的对象的属性进行加法、平均或级联来融合多个传感器中的至少两个传感器的相应的信息。

不同传感器的数据集的融合的这种形式尤其可以与上述早期融合一起使用。

尤其在后期融合中，多个特定于模态的深度神经网络(DNN)的输出数据集的融合同样可以借助加法、平均或级联来进行。

通过融合的不同架构以及不同操作，都能够使一个或多个神经网络与不同传感器模态的相应数据结构相匹配，以便通过神经网络实现对数据的最佳处理。

可以针对品质标准回归如此构建神经网络，使得为每个标量输出品质值分配单个的输出层神经元。

替代地，可以如此实现回归：通过输出层的多个神经元来表示每个标量品质标准。为此，合适地选择品质标准的值范围的分区。

例如，在品质标准介于0和1之间的情况下，十个分区中的第一分区可以相应于从0到0.1的范围，第二分区可以相应于从0.1到0.2的范围，依此类推。然后，通过每个分区[a；b]各一个输出神经元实现针对每个单独标量品质标准g的回归的输出品质。在此，如果所属的分区完全低于待表现的品质值(b≤g)，则相应的神经元的期望的输出值等于1。如果属于神经元的分区完全高于品质标准(g≤a)，则期望的输出等于0。如果品质标准位于神经元的分区中(a<g<b)，则应采用值((g-a)/(b-a))。

根据另一方面提出，多个传感器中的至少一个传感器生成以下数据集：这些数据集具有所述至少一个传感器的数据的时间序列。

因为典型的传感器例如可以每10ms提供一个新的值，也可以在神经网络的相应的结构化中处理数据序列，因此，时间关联能够影响相应的传感器的品质的确定。例如，可以分别将每100个连续的数据集提供为用于神经网络的输入信号。

根据一个方面提出，多个传感器中的至少两个传感器具有不同的模态，并且用于确定品质等级的度量标准取决于传感器的相应模态。

通过用于确定品质等级的度量标准取决于传感器的相应模态，能够实现使品质的相应的确定特定地协调于相应的传感器类型。由此导致关于品质等级的说明有更高的准确性。

根据另一方面提出，借助度量标准进行借助相应的数据集所确定的至少一个变量分别与环境表现的至少一个所属的基准真值对象的至少一个属性数据的比较。

为了计算品质，相应的度量标准尤其可以确定间距。在此，根据度量标准，较小的间距应导致更好的品质等级，或者相反。为了确定这种度量标准，应考虑特定于传感器模态的属性。

在比较的一个步骤中，将传感器的相应的数据集的至少一个变量与所属的周围环境表示的至少一个基准真值对象相关联。

在比较的另一步骤中，借助取决于传感器的模态的度量标准来确定至少一个变量与周围环境表示的基准真值对象的至少一个属性的定量的一致性，以确定相应数据集的品质等级。

在此，传感器的相应数据集的至少一个变量与所属的环境表现的至少一个基准真值对象的关联借助其他度量标准(例如借助基准真值对象的相应数据集的变量的间距测量)来进行。换句话说，这意味着来自所测量的数据集的特定的变量与如下对象相关联：关于该对象的度量标准(例如距离度量标准)最小。附加地，为度量标准定义阈值，根据该度量标准，必须低于或超过该阈值，关联才有效。否则，该测量将被作为噪声测量(“杂波”)丢弃。

借助适当的归一化，例如考虑到特定于模态地定义的间距标准在样本上的分布(其中，该分布例如还取决于关联的阈值)，则可以得出通常位于0到1之间的品质标准。

通常，激光雷达传感器的点云的测量点位于对象的表面上。因此，在这种情况下，有意义的是将3D测量点到3D对象模型的表面(例如3D边界框)的最短欧式间距定义为与每个对象相关联的每个激光雷达测量点的间距度量标准。然后可以将针对对象的间距标准总体地计算为所有关联点的平均间隔。

在使用间距度量标准来计算雷达位置的品质标准时，该过程基本上类似于激光雷达进行。但是，在这种情况下应该注意的是，通常不会在对象的表面上测量雷达位置。因此，可以通过首先估计或建模对象上雷达位置的分布来定义可能的间距度量标准——理想情况下取决于相关参数(例如所测量的对象关于传感器的位置、到传感器的间距以及对象的类型)。可以根据合适的样本进行这种分布估计。

由于与激光雷达点测量相比，对于雷达位置测量还存在速度的估计值，因此测量的这些属性也可以纳入度量标准的计算中，这不仅涉及关联、而且涉及品质标准的计算。

特别是在激光雷达系统中(也在雷达系统中)，有意义的是附加地纳入所测量的点的数量。如果测量点少于在考虑至对象的间距的情况下所预期的数量，则会导致品质标准变差。可以将基于点的数量的度量标准与上述间距度量标准组合。

根据一个方面提出，度量标准基于多个传感器中的至少一个传感器的对象探测率(例如假阳性率和/或假阴性率)和/或组合率(例如平均精度均值，Mean AveragePrecision)和/或F1标准。

如果在各个模态中除了传感器的原始测量数据之外还存在对象估计，则可以使用其他度量标准，例如借助用于对象探测和跟踪的算法从原始测量数据中求取所述对象估计。

在这种情况下，确定模态的对象与基准真值对象的关联使得能够计算以下度量标准：

假阳性率(也称为“fall out”)说明由传感器所探测的对象中不存在基准真值对象的比例。如果所探测的对象中没有一个表示假阳性对象，则值为0；如果探测到的对象中没有一个相应于实际基准真值对象，则值为1。

相反，假阴性率(也称为“miss rate”)说明未由传感器探测到的基准真值对象占所有实际存在的对象总数的比例有多高。如果不存在这样的对象，则假阴性率为0；如果传感器没有探测到任何实际存在的对象，则假阴性率为1。

F1分数是精度和召回率(Recall)的调和平均数，因此它不仅考虑假阳性、而且考虑假阴性。

精度说明由传感器探测到的对象中哪一部分是正确的(精度＝1-假阳性率)，而召回率(也称为灵敏度)说明正确探测出的实际存在的对象的比例(召回率＝1-假阴性率)。

平均精度均值(mAP)同样将精度和召回率组合为唯一的值，但是附加地应考虑到精度和召回率相互关联，如果接受召回率变差，则可以针对精度优化对象探测器，或者相反。仅在对于由探测器确定的对象分别存在置信度值的情况下，才能够确定mAP。在这种情况下，如果置信度值发生变化，则计算针对所有从0到1的召回率值得出的精度的平均值。

根据一个方面提出，借助数据集属于周围环境的某个对象的概率来确定所述关联。

提出一种用于借助根据上述方法的经训练的机器学习模型来确定多个传感器中的至少两个传感器的每个数据集的相应品质等级的方法，其中，所述多个传感器设置用于生成周围环境表示；所述至少两个传感器的数据集作为输入信号提供给经训练的机器学习模型；机器学习模型提供用于输出品质等级的输出变量。

在此，术语“数据集”不仅包括传感器的单个数据(例如如果传感器仅输出一个值)，而且包括例如二维或多维的值域(例如记录周围环境的数字图像的传感器的值域)，而且包括所有以下其他数据量：所述其他数据量针对相应的传感器类型表示典型输出变量。

机器学习模型的输出变量取决于所使用的机器学习模型。用于神经网络的输出变量尤其可以是品质等级。

借助相应于所示方法经训练的机器学习模型，能够以简单的方式为多个传感器中的一个传感器的每个数据集提供结合该数据集的品质等级。

提出一种用于融合多个传感器中的复数个传感器的数据集的方法，其中，所述多个传感器设置用于生成周围环境表示，其中，在融合复数个传感器的数据集时，借助相应的确定的品质等级加权的数据集影响环境识别的总体结果。

融合尤其可以不仅用于信息或数据集的识别而且用于信息或数据集的融合。在此意义上，用于融合多个传感器中的复数个传感器的数据集的方法可以理解为用于识别并融合多个传感器中的复数个传感器的数据集的方法。

如上所述，有利的是除了传感器数据本身之外，还设置针对各个传感器模态的当前品质标准作为用于传感器数据融合和环境感知(MSFU)的模块的输入。

MSFU同样可以借助机器学习方法来实现，但也可以借助常规算法(借助“手动工程”)来实现，例如借助传感器数据的卡尔曼滤波。与仅借助ML方法实现的系统相比，将传感器的基于ML的可靠性确定与用于生成环境表现的单独的模块相结合具有一些优点。

例如，一个优点是，在传感器数据融合和环境感知的非基于ML的实现的情况下，整个系统对计算能力和存储容量的需求从一开始就更低或者能够更好地降低，使得能够更容易地在适合于在机器人或车辆中移动地使用的计算机硬件上实现整个系统。

在此背景下，基于ML的可靠性确定能够以较低的更新率和/或仅借助多模式传感器数据的一部分运行，而用于传感器数据融合和环境感知的模块能够以较高的更新率运行和/或能够使用全部可用的传感器数据。

以这种方式，一方面可以实现环境感知的高准确性和低延迟，另一方面，对传感器可靠性的自动化的评估可以利用机器学习方法的优点，以便考虑在多个条件下多模式传感器数据之间的复杂关联，这是借助非基于ML的方法所无法实现的，或者可靠性不高，或者对于类似多数量的(例如在训练样本上能够检测到的)不同条件是不可能的。

与用于确定传感器品质标准的模块的实现独立的MSFU的实现还可以具有以下优点：能够更小和/或更成本有利地实现整个系统。例如，在由于对可靠性的要求而需要冗余设计的应用中，冗余地设计MSFU(而不是用于品质标准确定的模块)就足够了。

在这种情况下，可以如此实现MSFU，使得在用于确定品质标准的模块发生故障的情况下MSFU也继续处理多模式传感器数据，尽管传感器的品质标准不再存在。在这种情况下，例如在融合中不采取加权，或者以固定的预设参数进行加权。因此，MSFU输出的总体可靠性变得更低，并且不存在总体品质。如果可以在功能中适当地考虑到这一点，则仍然可以保证系统的安全性，使得模块的非冗余设计足以确定传感器品质标准。

“在功能中适当的考虑”的一个示例可以是：在用于传感器的品质标准确定的模块发生故障的情况下发起向人类驾驶员的交接，使得仅必须对于有限的时间段使用于是关于环境的可靠性较差的信息。

用于传感器数据融合和环境感知的模块例如可以考虑使用由用于品质标准确定的模块输出的对每个单个传感器的当前可靠性的评估，以便改善环境感知的准确性和可靠性。这增加自主驾驶的系统的安全性。

可以如何使用可靠性评估的一个具体示例是在传感器数据的融合中纳入加权，其中，在相应时刻更可靠的传感器的数据被更高地加权，因此与被评估为可靠性更低的传感器的数据相比更强地影响环境识别的总体结果。

与上述常规系统相比，本发明实现以下改善：根据各个传感器的品质的评估，为传感器数据融合提供附加的信息。因此，匹配于相应情况地减轻了不足，并且在不同的使用条件、周围环境条件以及因此产生的传感器的不同条件下的不足的情况下实现更好的识别准确度和识别可靠性。

一个示例是车辆的自主驾驶功能匹配于总体评估，并且因此匹配于环境感知的当前的、所估计的准确性和可靠性。一个具体的示例是，在总体上将可靠性或准确性评估为较差(例如如果所有传感器的品质评估均低于确定的阈值)的情况下，如此长久地降低自主驾驶车辆的速度，直到总体可靠性或准确性再次提升。另一个具体示例是，在将总体可靠性评估为不再足够的情况下，请求交接给人类驾驶员——即结束自主功能。

根据一个方面提出，将各个传感器的品质标准组合成总体评估。

考虑针对至少部分自动化的移动平台的控制的总体评估能够附加地提高功能的安全性。

提出一种方法，在该方法中，基于多个传感器中的至少一个传感器的至少一个品质等级的值来提供用于操控至少部分自动化车辆的控制信号；和/或基于多个传感器中的至少一个传感器的至少一个品质等级的值来提供用于警告车辆乘员的警告信号。

术语“基于”应广义地理解为关于以下特征：基于至少一个品质等级的值来提供控制信号。应当理解，考虑将至少一个品质等级的值用于控制信号的任何确定或计算，其中，这不排除考虑也将其他输入变量用于控制信号的这种确定。类似地这同样适用于警告信号。

移动平台可以理解为移动的至少部分自动化的系统和/或车辆的驾驶员辅助系统。一个示例可以是至少部分自动化的车辆或具有驾驶员辅助系统的车辆。这意味着，在此背景下，至少部分自动化的系统在至少部分自动化的功能方面包含移动平台，但是移动平台也包含车辆和其他包括驾驶员辅助系统的移动机器。移动平台的其他示例可以是具有多个传感器的驾驶员辅助系统、移动式多传感器机器人(例如机器人吸尘器或割草机)、多传感器监控系统、制造机器、个人助理或访问控制系统。这些系统中的每一个都可以是完全或部分自动化的系统。

说明一种设备，该设备设置用于执行如上所述的方法。借助这样的设备，能够容易地将该方法集成到不同的系统中。

说明一种计算机程序，该计算机程序包括指令，当通过计算机实施所述计算机程序时，所述指令促使计算机实施上述方法之一。这种计算机程序使得能够在不同的系统中使用所描述的方法。

说明一种机器可读的存储介质，在其上存储有上述计算机程序。

附图说明

参考图1和图2示出并在下面进一步阐述本发明的实施例。附图示出：

图1示出用于训练机器学习模型的流程图；

图2示出用于融合多个传感器的数据集并操控执行器的方法。

具体实施方式

图1示出用于训练机器学习模型以便确定多个传感器21中的每个传感器的数据集23的品质等级的方法100的流程图。在步骤S0中，由多个传感器21的每个传感器预先生成数据集23(传感器原始测量数据)，其中，多个传感器21设置用于生成原始测量数据，由所述原始测量数据能够确定周围环境表示。

多个传感器21例如可以是配备有多个传感器21的车辆或如此配备的车辆的车队。

在步骤S1中，提供多个多模式传感器21中的每个传感器的、相应多个周围环境表示的多个数据集23。也就是说，多个多模式传感器21已相应于多个周围环境表示生成多个数据集23，在该步骤中提供所述多个数据集以便获得多个多模式传感器21中的每个传感器的数据集23的所谓的未标记的样本。

在另一步骤S2中，提供多个环境表现的基准真值对象的属性数据。这例如可以通过手动标记或借助对多个多模式传感器21的每个传感器的数据集23的整体处理来进行，以便获得多个多模式传感器21的每个传感器的数据集23的所谓的经标记的样本。属性数据分别表示相应的周围环境表示的符号描述。

在另一步骤S3中，借助相应于上述方法之一的度量标准来确定多个传感器21中的每个传感器的相应的数据集23的品质等级26a、26b、26c、26d。在此，品质等级26a、26b、26c、26d可以根据相应的数据集23而变化，使得在数据集23的时间序列中各个传感器的最终所得品质等级26a、26b、26c、26d是时间相关的，因为该品质等级表征相应的传感器的传感器数据在特定的时刻的质量。

在另一步骤S4中，借助多个传感器21的每个传感器的多个数据集23以及每个传感器21的相应的数据集23的各个所分配的确定的品质等级26a、26b、26c、26d来训练或优化机器学习模型。

图2示出借助多个多模式传感器21生成数据集23直到实现例如用于至少部分自动化的移动平台的执行器31的可能的功能和操控或用于实现车辆中的驾驶员辅助系统的部分自主驾驶功能或用于实现车辆中的全自主驾驶功能的示意性流程。

在此，多个传感器21设置用于生成用于周围环境表示的数据集23。在此，这些传感器21可以具有不同的模态，即示出不同的传感器类型21(例如光学摄像机、雷达系统、激光雷达系统或超声传感器)，并且可以组合成多模式传感器组。

这些数据集23代表模块25的输入数据，该模块借助相应于上述方法训练的机器学习模型——例如如此训练的深度神经网络(DNN：英语“Deep Neural Network”)——基于多个多模式传感器21的当前存在的数据集23来对于多个传感器21中的每个传感器对于这些数据集23中的每个确定当前品质等级26a、26b、26c、26d。

除了数据集23之外，还将这些品质等级26a、26b、26c、26d提供给用于传感器数据融合和环境感知(MSFU)的模块27的输入。

MSFU模块27在识别和融合多个多模式传感器21的数据集23的范畴中使用多个多模式传感器21的数据集23的这些品质等级26a、26b、26c、26d，例如通过在融合的范畴中对相应数据集的由数据集23确定的周围环境表示进行加权，以便即使在数据集23存在错误的情况下(例如由于传感器不足)也确保由MSFU模块27生成的周围环境表示28a的准确性和/或可靠性。

附加地，可以确定总体品质28b，所述总体品质在考虑多个多模式传感器21的数据集23的所有品质等级26a、26b、26c、26d的情况下说明所生成的周围环境表示的可靠性。

不仅将周围环境表示28a而且将总体品质28b提供给模块29的输入端，以便实现传动机构31的功能和操控。

与常规方法相比，该模块29能够以更好的性能和更高的可靠性来实现所述功能，一方面因为借助此处示出的方法改善周围环境表示28a的可靠性而另一方面因为附加地提供总体品质28b作为附加信息。

该总体品质28b例如可以用于使至少部分自动化的驾驶功能的设计匹配于多个多模式传感器21的数据集23的当前品质等级26a、26b、26c、26d——即在周围环境表示的总体品质28b较差的情况下预给定更谨慎的驾驶方式(例如具有更低的可用速度)。

总体品质28b还可以用于决定何时不再能够提供自主或部分自主的驾驶功能并因此必须交接给人类驾驶员，其方式例如是，将总体品质28b与阈值进行比较。

Claims (15)

1.一种用于训练机器学习模型以便确定多个传感器(21)中的每个传感器的至少一个数据集(23)的品质等级(26a，26b，26c，26d)，的方法(100)，其中，所述多个传感器(21)设置用于生成周围环境表示，所述方法具有以下步骤：

提供所述多个传感器(21)中的每个传感器的、相应多个周围环境表示的多个数据集(23)(S1)；

提供所述多个周围环境表示的基准真值对象的属性数据(S2)；

借助度量标准确定所述多个传感器(21)中的每个传感器的相应的数据集(23)的品质等级(26a，26b，26c，26d)(S3)，其中，所述度量标准将借助所述相应的数据集所确定的至少一个变量分别与所述周围环境表示的所属的至少一个基准真值对象的至少一个属性数据进行比较；并且

借助所述多个传感器(21)中的每个传感器的所述多个数据集(23)以及各个所分配的所确定的品质等级(26a，26b，26c，26d)来训练(S4)所述机器学习模型，以便确定多个传感器(21)中的每个传感器的至少一个数据集(23)的品质等级(26a，26b，26c，26d)。

2.根据权利要求1所述的方法(100)，其中，所述机器学习模型具有神经网络或递归神经网络，并且相应的输出变量是具有说明所述品质等级(26a，26b，26c，26d)的至少一个向量元素的向量。

3.根据权利要求2所述的方法(100)，其中，所述神经网络具有多个层，至少两个传感器(21)的数据集(23)彼此独立地输入到所述神经网络的输入层的不同部分中，并且所述至少两个不同传感器(21)的所述数据集(23)的融合在所述神经网络内的另一层中进行。

4.根据以上权利要求中任一项所述的方法(100)，其中，进行如下操作：通过对所述不同传感器(21)的所述数据集(21)和/或对由所述不同传感器(21)的所述相应的数据集(23)确定的、环境表现的对象的属性进行加法、平均或级联来融合所述多个传感器中的至少两个传感器(21)的相应的信息。

5.根据以上权利要求中任一项所述的方法(100)，其中，所述多个传感器(21)的至少一个传感器生成以下数据集(23)：所述数据集具有所述至少一个传感器(21)的数据的时间序列。

6.根据以上权利要求中任一项所述的方法(100)，其中，所述多个传感器(21)的至少两个传感器具有不同的模态，并且用于确定所述品质等级(26a，26b，26c，26d)的度量标准取决于所述传感器(21)的相应的模态。

7.根据以上权利要求中任一项所述的方法(100)，其中，借助度量标准进行以下比较：借助所述相应的数据集(23)所确定的至少一个变量分别与所述周围环境表示的所属的至少一个基准真值对象的至少一个属性数据的比较，所述比较具有以下步骤：

将传感器(21)的所述相应的数据集(23)的至少一个变量与所属的基准真值周围环境表示的至少一个对象相关联；

借助取决于所述传感器(21)的所述模态的度量标准来确定所述至少一个变量与所述周围环境表示的所述基准真值对象的至少一个属性的定量一致性，以便确定所述相应的数据集(23)的品质等级(26a，26b，26c，26d)。

8.根据以上权利要求中任一项所述的方法(100)，其中，所述度量标准基于所述多个传感器(21)中的至少一个传感器的对象探测率和/或组合率，所述对象探测率例如是假阳性率和/或假阴性率，所述组合率例如是平均精度均值和/或F1标准。

9.根据权利要求7所述的方法(100)，其中，借助所述数据集(23)属于所述周围环境的某个对象的概率来确定所述关联。

10.一种用于确定多个传感器(21)中的至少两个传感器的每个数据集(23)的相应的品质等级(26a，26b，26c，26d)的方法，所述方法借助根据权利要求1至9中任一项所述的方法经训练的机器学习模型进行，其中，所述多个传感器(21)设置用于生成周围环境表示；所述至少两个传感器(21)的所述数据集(23)被作为输入信号提供给经训练的机器学习模型；所述机器学习模型提供用于输出所述品质等级(26a，26b，26c，26d)的输出变量。

11.一种用于融合多个传感器(21)中的复数个传感器的数据集(23)的方法，其中，所述多个传感器(21)设置用于生成周围环境表示，其中，在所述复数个传感器(21)的数据集(23)的融合中，借助相应地根据权利要求10确定的品质等级(26a，26b，26c，26d)进行加权的数据集(23)影响所述环境识别的总体结果。

12.根据权利要求10所述的方法，在所述方法中，基于多个传感器(21)中的至少一个传感器(21)的至少一个品质等级(26a，26b，26c，26d)的值来提供用于操控至少部分自动化车辆的控制信号；和/或基于多个传感器(21)中的至少一个传感器的至少一个品质等级(26a，26b，26c，26d)的值来提供用于警告车辆乘员的警告信号。

13.一种设备，所述设备设置用于执行根据权利要求1至12中任一项所述的方法。

14.一种计算机程序，所述计算机程序包括指令，当通过计算机实施所述计算机程序时，所述指令促使所述计算机实施根据权利要求1至12中任一项所述的方法。

15.一种机器可读的存储介质，在所述机器可读的存储介质上存储有根据权利要求14所述的计算机程序。

Images