[go: up one dir, main page]

CN118196732A - 用于传感器系统的数据漂移识别 - Google Patents

用于传感器系统的数据漂移识别 Download PDF

Info

Publication number
CN118196732A
CN118196732A CN202311600130.4A CN202311600130A CN118196732A CN 118196732 A CN118196732 A CN 118196732A CN 202311600130 A CN202311600130 A CN 202311600130A CN 118196732 A CN118196732 A CN 118196732A
Authority
CN
China
Prior art keywords
detection
category
dataset
iou
ground truth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311600130.4A
Other languages
English (en)
Inventor
S·巴斯卡尔
金尼什·简
尼基塔·斋普里亚
什里亚莎·波德尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN118196732A publication Critical patent/CN118196732A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供了“用于传感器系统的数据漂移识别”。一种识别经训练的对象检测深度神经网络(DNN)中的数据漂移的系统和方法包括：接收基于真实世界使用的数据集，其中所述数据集包括与图像中的每个类别相关联的分数，所述类别包括背景(BG)类别；通过在白盒设置下用以特定交并比(IoU)阈值为条件的来自非极大值抑制之前的所述数据集的检测(NMS前检测)计算预期校准误差(ECE)来测量IoU调节的ECE(IoU‑ECE)；在确定所述IoU‑ECE大于预设的第一阈值时，对所述数据集的所述NMS前检测执行白盒温度缩放(WB‑TS)校准以提取温度T；以及在确定温度T超过预设的第二阈值时，识别出已经发生了所述数据漂移。

Description

用于传感器系统的数据漂移识别
技术领域
本公开涉及用于识别经训练的对象检测深度神经网络(DNN)中的数据漂移的系统和方法。
背景技术
自动驾驶可以将深度神经网络(DNN)用于各种感知任务，并且依赖于由感知DNN输出的分数来确定与预测输出相关联的不确定性。
发明内容
可以训练对象检测深度神经网络(DNN)以确定由系统中的传感器获取的图像数据中的对象，所述系统包括车辆引导、机器人操作、安全性、制造和产品跟踪。车辆引导可包括车辆在包括多个对象的环境中在自主或半自主模式下操作。机器人引导可以包括引导机器人末端执行器(例如夹持器)来拾取零件并对零件进行取向以在包括多个零件的环境中进行组装。安全系统包括其中计算机从观察安全区域的相机获取视频数据以向授权用户提供访问权限并检测包括多个用户的环境中的未经授权进入的特征。在制造系统中，DNN可以确定包括多个零件的环境中的一个或多个零件的位置和取向。在产品跟踪系统中，深度神经网络可以确定包括多个包裹的环境中的一个或多个包裹的位置和取向。
此类任务可以使用对象检测DNN用于各种感知任务并且依赖于由感知DNN输出的置信度分数来确定与预测输出相关联的不确定性或可靠性。DNN的校准意味着DNN可以预测不确定性，即，DNN输出准确地表示地面实况的概率。DNN的校准可以取决于各种因素，诸如架构、数据集和训练参数的选择。误校准误差是不确定性分数与预测DNN的真实性能准确度的偏差的测量结果，即，误校准意味着DNN不能准确地预测其感知输出符合地面实况的确定性或不确定性。当置信度分数高于模型的准确度时，所述分数被称为过度自信。当置信度分数低于模型的准确度时，所述分数被称为缺乏自信。
可以如本文所述改进DNN校准。例如，本公开包括白盒温度缩放(WB-TS)以提供对象检测DNN的校准。
如本文关于DNN的校准所使用的，黑盒校准是指在非极大值抑制(NMS)步骤之后对数据进行校准，而白盒校准是指校准原始数据，即，在任何NMS步骤之前。另外，可以采用普拉特缩放(一种用于校准的参数方法)。分类器的非概率预测用作逻辑回归模型的特征，所述逻辑回归模型在验证集上进行训练以返回概率。在NN的背景下，普拉特缩放学习标量参数a,b∈R并输出q^i＝σ(azi+b)作为校准概率。可以使用验证集上的负对数似然(NLL)损失来优化参数a和b。
温度缩放是最简单的扩展普拉特缩放，并且对所有类别K(其中K>2)使用单个标量参数T>0。给定logit向量zi，置信度预测为：
T被称为温度，并且它使Softmax“软化”(即，提高输出熵)，其中T>1。当T→∞时，概率q^i接近1/K，其表示最大不确定性。在T＝1的情况下，恢复原始概率pi。当T→0时，概率塌缩为点质量(即，q^i＝1)。相对于验证集上的NLL损失来优化温度T。因此，如本文所使用的，术语“温度”是指在校准中使用的标量参数(而不是指物质或对象中存在的热量的程度或强度)。
白盒温度缩放(WB-TS)可以用于通过用温度值T缩放NMS前(非极大值抑制前)检测框的logit向量来解决对象检测DNN中的校准。这里，在校准阶段期间使用验证数据集作为校准数据集来获得温度T。已经发现校准的分数能够实现可靠的不确定性估计。然而，还发现，传入和演进数据集的校准水平根据如地理和当日、周或年中的时间等因素而变化。实际上，此类数据漂移可能与由于新位置而仅与某些种类的数据相关的概念滑转有关，或者可能与协变滑转(诸如阴影)有关。如本文所述，可以有利地根据变化的环境的传入数据集来校准对象检测DNN。此外，针对解决变化的环境的此类调整允许对DNN的持续训练，其中新的传入数据可以进一步用于针对未见的、新的和/或分布外(OOD)数据点重新训练DNN模型。
车辆引导在本文中将被描述为使用对象检测DNN来检测交通场景中的例如车辆和行人的非限制性示例。交通场景是交通基础设施系统或车辆周围的环境，其可以包括道路的一部分以及包括车辆和行人等的对象。例如，交通基础设施中的计算装置可以被编程为从包括在交通基础设施系统中的一个或多个传感器获取一个或多个图像并使用DNN来检测图像中的对象。图像可以从静态相机或摄像机获取并且可以包括从包括激光雷达传感器的距离传感器获取的距离数据。图像还可以从包括在车辆中的传感器获取。可以训练DNN以标记和定位对象并确定图像数据或距离数据中的轨迹和不确定性。包括在交通基础设施系统中的计算装置可以使用检测到的对象的轨迹和不确定性来确定以自主或半自主模式操作车辆的车辆路径。车辆可以基于车辆路径通过确定命令来指示车辆的动力传动系统、制动和转向部件操作车辆以沿着所述路径行驶而操作。
基于由深度神经网络确定的车辆路径操作的车辆可以受益于检测车辆路径上或附近的对象并确定是在车辆路径上继续、停止还是确定避开对象的新车辆路径。
在本公开的一个或多个实现方式中，一种系统包括计算机，所述计算机包括处理器和存储器，所述存储器存储指令，所述指令可由所述处理器执行，所述处理器被编程为：识别经训练的对象检测深度神经网络(DNN)中的数据漂移。这通过以下方式实现：接收基于真实世界使用的数据集，其中所述数据集包括与图像中的每个类别相关联的分数，所述类别包括背景(BG)类别；通过在白盒设置下用以特定交并比(IoU)阈值为条件的来自非极大值抑制之前的所述数据集的检测(NMS前检测)计算预期校准误差(ECE)来测量IoU调节的ECE(IoU-ECE)；在确定所述IoU-ECE大于预设的第一阈值时，对所述数据集的所述NMS前检测执行白盒温度缩放(WB-TS)校准以提取温度T；以及在确定温度T超过预设的第二阈值时，识别出已经发生了所述数据漂移。
在一个实现方式中，所述系统还可以包括用于在识别出数据漂移时使用提取的温度T来校准传入数据的指令。
在另一个实现方式中，可以通过在Sigmoid/Softmax层之前用所述温度T均匀地缩放与所述对象检测DNN的所述NMS前检测相关联的logit向量来校准传入数据。
在另外的实现方式中，所述系统还可以包括用于在识别出所述数据漂移时对所述对象检测DNN执行附加学习的指令。
在一个实现方式中，IoU-ECE是
其中n是IoU调节的样本的数量，M是区间分箱的数量(＝15)，并且Bm是预测分数落在区间Im＝(m-1/M,m/M]中的样本的索引的集合。
在一个实现方式中，所述特定IoU阈值可以被设置为与用于训练所述对象检测DNN的IoU阈值相同。
在另一个实现方式中，用于对所述数据集的所述NMS前检测执行所述WB-TS校准以提取所述温度T的指令可包括用于进行以下操作的指令：检索所述数据集，其中所述数据集包括与图像中的每个对象类别相关联的分数，所述对象类别包括背景(BG)类别；通过使用交并比(IoU)阈值将地面实况框与由所述对象检测DNN生成的检测框进行比较来确定所述数据集中的背景地面实况框；通过基于地面实况类别中的地面实况框的数量将所述地面实况类别更新为包括多个背景地面实况框来校正所述地面实况类别中的所述地面实况框与所述背景地面实况框之间的类别不平衡；以及通过针对所述负对数似然(NLL)损失进行优化来确定所有类别的所述温度T的单个标量参数。
在一个实现方式中，所述预设的第一阈值可在从保留的验证数据集计算的IoU-ECE值的2至4倍的范围内，并且所述预设的第二阈值可在从所述保留的验证数据集提取的温度T的2至4倍的范围内。
在另一个实现方式中，所述系统可以包括用于进行以下操作的指令：在Sigmoid/Softmax层之后，利用对应的边界框预测对校准的置信度分数执行非极大值抑制以获得最终检测；以及基于所述对象检测DNN的对象检测确定来致动车辆部件。
在另外的实现方式中，用于校正类别不平衡的指令可以包括用于进行以下操作的指令：将非BG类别中的NMS前检测框的平均数量确定为k；并且使用对应的模型分数来提取所述BG类别中的前k个NMS前检测框。
在本公开的一个或多个实现方式中，一种识别经训练的对象检测深度神经网络(DNN)中的数据漂移的方法可以通过以下方式执行：接收基于真实世界使用的数据集，其中所述数据集包括与图像中的每个类别相关联的分数，所述类别包括背景(BG)类别；通过在白盒设置下用以特定交并比(IoU)阈值为条件的来自非极大值抑制之前的所述数据集的检测(NMS前检测)计算预期校准误差(ECE)来测量IoU调节的ECE(IoU-ECE)；在确定所述IoU-ECE大于预设的第一阈值时，对所述数据集的所述NMS前检测执行白盒温度缩放(WB-TS)校准以提取温度T；以及在确定温度T超过预设的第二阈值时，识别出已经发生了所述数据漂移。
在一个实现方式中，所述方法还可以包括在识别出所述数据漂移时，使用所提取的温度T来校准传入数据。
在另一个实现方式中，可以通过在Sigmoid/Softmax层之前用所述温度T均匀地缩放与所述对象检测DNN的所述NMS前检测相关联的logit向量来校准传入数据。
在另外的实现方式中，所述方法还可以包括在识别出所述数据漂移时对所述对象检测DNN执行附加学习。
在另一个实现方式中，IoU-ECE可以是
其中n是IoU调节的样本的数量，M是区间分箱的数量(＝15)，并且Bm是预测分数落在区间Im＝(m-1/M,m/M]中的样本的索引的集合。
在另外的实现方式中，所述特定IoU阈值可以被设置为与用于训练所述对象检测DNN的IoU阈值相同。
在一个实现方式中，对所述数据集的所述NMS前检测执行所述WB-TS校准以提取所述温度T可包括：检索所述数据集，其中所述数据集包括与图像中的每个对象类别相关联的分数，所述对象类别包括背景(BG)类别；通过使用交并比(IoU)阈值将地面实况框与由所述对象检测DNN生成的检测框进行比较来确定所述数据集中的背景地面实况框；通过基于地面实况类别中的地面实况框的数量将所述地面实况类别更新为包括多个背景地面实况框来校正所述地面实况类别中的所述地面实况框与所述背景地面实况框之间的类别不平衡；以及通过针对所述负对数似然(NLL)损失进行优化来确定所有类别的所述温度T的单个标量参数。
在另一个实现方式中，所述预设的第一阈值可在从保留的验证数据集计算的IoU-ECE值的2至4倍的范围内，并且所述预设的第二阈值可在从所述保留的验证数据集提取的温度T的2至4倍的范围内。
在一个实现方式中，所述方法还可以包括：在Sigmoid/Softmax层之后，利用对应的边界框预测对校准的置信度分数执行非极大值抑制以获得最终检测；以及基于所述对象检测DNN的对象检测确定来致动车辆部件。
在另一个实现方式中，校正类别不平衡可以包括：将非BG类别中的NMS前检测框的平均数量确定为k；并且使用对应的模型分数来提取所述BG类别中的前k个NMS前检测框。
附图说明
图1是用于使用深度神经网络的车辆系统的示例。
图2是示例性交通场景。
图3示出了用不同百分比的背景(BG)类别样本获得的预期校准误差(ECE)值的箱形图，以示出类别不平衡对ECE值的影响。
图4示出了数据漂移检测过程流程的示例。
图5示出了数据漂移过程流程的示例性流程图。
图6是白盒温度缩放(WB-TS)过程的示例性流程图。
图7是数据校准过程的示例性流程图。
具体实施方式
图1是可以包括交通基础设施系统105的对象检测系统100的图示，所述交通基础设施系统包括服务器计算机120和传感器122。对象检测系统100包括车辆110，所述车辆可在自主(“自主”本身在本公开中意指“完全自主”)模式、半自主模式和乘员驾驶(也被称为非自主)模式下操作。一个或多个车辆110的计算装置115可从传感器116接收关于车辆110的操作的数据。计算装置115可以以自主模式、半自主模式或非自主模式操作车辆110。
计算装置115包括诸如已知的处理器和存储器。此外，存储器包括一种或多种形式的计算机可读介质并且存储指令，所述指令可由处理器执行来执行包括如本文所公开的各种操作。例如，计算装置115可以包括编程以操作车辆制动、推进(例如，通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制车辆110的加速度)、转向、气候控制、内部灯和/或外部灯等中的一者或多者，以及确定计算装置115(而不是人类操作员)是否以及何时控制此类操作。
计算装置115可包括多于一个计算装置(例如，包括在车辆110中以用于监测和/或控制各种车辆部件的控制器等(例如，动力传动系统控制器112、制动控制器113、转向控制器114等))，或例如经由如下面进一步描述的车辆通信总线通信地耦接到所述多于一个计算装置。计算装置115通常被布置用于通过车辆通信网络(例如，包括车辆110中的总线，诸如控制器局域网络(CAN)等)通信；除此之外或可替代地，车辆110网络可包括诸如已知的有线或无线通信机制，例如以太网或其他通信协议。
计算装置115可经由车辆网络向车辆中的各种装置(例如，控制器、致动器、传感器(包括传感器116)等)传输消息和/或从所述各种装置接收消息。替代地或另外，在计算装置115实际上包括多个装置的情况下，可使用车辆通信网络来在本公开中表示为计算装置115的装置之间通信。另外，如下文所提及，各种控制器或感测元件(诸如传感器116)可经由车辆通信网络向计算装置115提供数据。
另外，计算装置115可被配置用于通过车辆对基础设施(V对I)接口111经由网络130与远程服务器计算机120(诸如云服务器)通信，如下所描述的，所述接口包括硬件、固件和软件，所述硬件、固件和软件准许计算装置115经由诸如无线互联网或蜂窝网络的网络130与远程服务器计算机120通信。因此，V2I接口111可以包括被配置为利用各种有线和/或无线联网技术(例如，蜂窝、/>以及有线和/或无线分组网络)的处理器、存储器、收发器等。计算装置115可被配置用于使用例如在邻近车辆110之间在移动自组网的基础上形成或通过基于基础设施的网络形成的车辆对车辆(V2V)网络(例如根据专用短程通信(DSRC)和/或类似的通信)通过V2I接口111与其他车辆110通信。计算装置115还包括诸如已知的非易失性存储器。计算装置115可以通过将数据存储在非易失性存储器中来记录数据，以便以后检索并经由车辆通信网络和车辆对基础设施(V2I)接口111传输到服务器计算机120或用户移动装置160。
如已经提及的，用于在没有人类操作员干预的情况下操作一个或多个车辆110部件(例如，制动、转向、推进等)的编程通常包括在存储器中所存储的并可由计算装置115的处理器执行的指令中。使用在计算装置115中接收的数据(例如，来自传感器116、服务器计算机120等的传感器数据)，计算装置115可在没有驾驶员的情况下进行各种确定和/或控制各种车辆110部件和/或操作以操作车辆110。例如，计算装置115可包括编程以调节车辆110操作行为(即，车辆110操作的物理表现)，诸如速度、加速度、减速度、转向等，以及策略性行为(即，通常以意图实现路线的有效穿越的方式控制操作行为)。
如本文所使用的术语控制器包括通常被编程来监测和/或控制特定车辆子系统的计算装置。示例包括动力传动系统控制器112、制动控制器113和转向控制器114。控制器可为诸如已知的电子控制单元(ECU)，可能包括如本文所描述的附加的编程。控制器可通信地连接到计算装置115并且从所述计算装置接收指令以根据指令来致动子系统。例如，制动控制器113可从计算装置115接收指令以操作车辆110的制动器。
用于车辆110的一个或多个控制器112、113、114可包括已知的电子控制单元(ECU)等，作为非限制性示例，包括一个或多个动力传动系统控制器112、一个或多个制动控制器113和一个或多个转向控制器114。控制器112、113、114中的每一者可包括相应的处理器和存储器以及一个或多个致动器。控制器112、113、114可被编程并且连接到车辆110通信总线，诸如控制器局域网(CAN)总线或局域互连网(LIN)总线，以从计算装置115接收指令并且基于指令而控制致动器。
传感器116可以包括已知的多种装置，以经由车辆通信总线提供数据。例如，固定到车辆110的前保险杠(未示出)的雷达可提供从车辆110到车辆110前方的下一车辆的距离，或者设置在车辆110中的全球定位系统(GPS)传感器可提供车辆110的地理坐标。例如，由雷达和/或其他传感器116提供的距离和/或由GPS传感器提供的地理坐标可由计算装置115用来自主或半自主地操作车辆110。
车辆110通常是能够自主和/或半自主操作并且具有三个或更多个车轮的基于地面的车辆110(例如，客车、轻型货车等)。车辆110包括一个或多个传感器116、V对I接口111、计算装置115和一个或多个控制器112、113、114。传感器116可收集与车辆110和车辆110的操作环境相关的数据。以举例的方式但非限制，传感器116可以包括例如测高仪、摄像机、激光雷达(LIDAR)、雷达、超声传感器、红外传感器、压力传感器、加速度计、陀螺仪、温度传感器、压力传感器、霍尔传感器、光学传感器、电压传感器、电流传感器、机械传感器(诸如开关)等。传感器116可以用来感测车辆110的操作环境，例如，传感器116可以检测诸如天气条件(降雨、外界温度等)的现象、道路坡度、道路位置(例如，使用道路边缘、车道标记等)或目标对象(诸如邻近车辆110)的位置。传感器116还可以用于收集数据，包括与车辆110的操作相关的动态车辆110数据，诸如速度、横摆率、转向角度、发动机转速、制动压力、油压、施加到车辆110中的控制器112、113、114的功率水平、部件之间的连接性以及车辆110的部件的准确且及时的性能。
车辆可被配备成以自主模式和乘员驾驶模式两者操作。半自主模式或完全自主模式意指车辆可由作为具有传感器和控制器的系统的一部分的计算装置部分地或完全地驾驶的操作模式。车辆可能被占用或未被占用，但是在任一种情况下，都可在没有乘员协助的情况下部分地或完全地驾驶车辆。出于本公开的目的，自主模式被定义为车辆推进(例如，经由包括内燃发动机和/或电动马达的动力传动系统)、制动和转向中的每一者由一个或多个车辆计算机控制的模式；在半自主模式中，车辆计算机控制车辆推进、制动和转向中的一者或多者。在非自主模式下，这些都不由计算机控制。
图2是交通场景200的图像的图示。交通场景200的图像可以由包括在交通基础设施系统105中的传感器122或包括在车辆110中的传感器116获取。交通场景200的图像包括道路236上的车辆214。交通场景200中还包括对象212，所述对象可以被识别和定位以便确定对新路径的可能需求。
图像分类包括预测图像中的对象的类别。相比之下，用于感知目的的对象检测(例如，在车辆中用于车辆操作)还包括对象定位，所述对象定位是指识别图像中的一个或多个对象的位置并在其范围周围绘制边界框。
如上面所讨论的，在温度缩放中，使用单个标量值(即，温度T)来缩放分类网络在Softmax层之前的非概率输出，即对应于输入图像Ii的logit向量zi∈RC，其中C是类别的数量。在等式1中，p^i是图像Ii的预测类别的校准模型分数。(本文中的“Logit”具有函数的标准数学定义，所述函数是标准逻辑函数的逆函数)。通过针对校准数据集上的负对数似然(NLL)进行优化来获得T。对于具有地面实况联合分布π(X,Y)的随机变量X∈χ(输入)和Y∈ρ＝{1,...,C}(类别标签)，给定概率模型π^(X,Y)和n样本，负对数似然由等式2定义。
有利地，结合针对新(传入)数据集提取的温度T来校准DNN模型的性能可以实现对误校准的检测。该检测可以用于将对象检测DNN模型校准到演进数据集，并且使用新的传入样本进行持续或继续学习。这在自主车辆域中特别有用，在自主车辆域中，部署的对象检测DNN通常暴露于新的地理位置，并且可以在一天、一周和一年的不同时间(其中照明、阴影、树叶、交通等可能变化)操作。白盒温度缩放(WB-TS)使用预期校准误差(ECE)作为校准的标量汇总的度量。ECE通过量化准确度与置信度之间的间隙来测量误校准，如等式3所示：
在等式3中，n是样本的数量，M是区间分箱的数量(＝15)，并且Bm是预测分数落在区间Im＝(m-1/M,m/M]中的样本的索引的集合。较低的ECE指示更好的网络校准。由于本公开在白盒设置下进行ECE评估，其中NMS前检测以特定IoU阈值为条件，因此在本文中被称为IoU调节的ECE(IoU-ECE)。
在一个示例中，单发多框检测器(SSD)MobilenetV2模型形式的DNN(参见Liu、Wei等人的“Ssd：单发多框检测器(Ssd：Single shot multibox detector)”，欧洲计算机视觉大会(European conference on computer vision)，Springer，Cham，2016)在VOC 2007(V07)(Everingham、Mark等人的“帕斯卡视觉对象类别(voc)挑战(The pascal visualobject classes(voc)challenge)”，国际计算机视觉杂志(International journal ofcomputer vision)88.2(2010)：303-338)和VOC 2012(V12)(http：//host.robots.ox.ac.uk/pascal/VOC/voc2012/)数据集上进行了训练。执行WB-TS校准并在各种测试中测试误校准误差，如
表1所示。
表1。在V07和V12上训练的并且使用六个不同的校准(cal.)集校准的WB-TS校准性能针对校准
和保留测试集两者示出了IoU-ECE。
为了研究不同的校准集对温度T的影响，在六个不同的集S1-S6上校准经训练的SSD模型。S1、S2、S3是V07验证集的前40％、后40％和随机采样的40％子集。S4与V07验证集相同。S5和S6是V12和MSCOCO 2017(C17)(Lin、Tsung-Yi等人，“Microsoft coco：上下文中的公共对象(Microsoft coco：Common objects in context)”，欧洲计算机视觉大会(Europeanconference on computer vision)，Springer，Cham，2014)验证集的70％子集(在对留出的30％子集进行采样以进行测试之后剩余)。应注意，根据Guo等人，T始终＞1，这指示模型一开始就过度自信。对于S1-S5，在校准之前和之后，校准集的T和IoU-ECE是类似的。这是因为S1-S5是从与训练集(即，V07和V12验证集)相同的数据分布导出的。将校准集更改为从完全不同的数据集(即，C17)导出的S6导致T(3.076)和IoU-ECE(56.71％)显著增加。T值和预校准IoU-ECE两者的此类显著增加指示两者的组合可以充当数据漂移的可靠预测因素。
然而，仅当满足标签偏移条件时才如此。使用ECE度量时出现的主要挑战是类别不平衡对输出度量的影响。例如，图3示出了对于在V07和V12数据集上训练的SSD模型，以V07测试集中的不同百分比的背景(BG)类别样本获得的ECE值的箱形图。可以看出，当测试集包括50％的BG类别样本时，ECE值下降到在不存在BG类别样本的情况下观察到的值的几乎一半，因此低估了由非BG类别引起的误校准。因此，为了正确地检测演进数据集中的数据漂移，不应存在由类别不平衡引起的标签偏移。
一旦在演进数据集中检测到此类数据集偏移，新的T值不仅可以确保对新设置的稳健校准，而且传入的数据集样本也可以用于经由高级持续学习方法将部署的对象检测模型进一步准备到新的地理/场景。这在图4中示出，其中自主车辆110(形成分布式车辆网络的一部分)从位置1移动到位置2。新的传入数据(演进数据集)可以被上传到网络130，其中例如，它可以由服务器计算机120获得并根据如关于其他图所描述的数据漂移检测过程流程300进行处理。
参考图5，示出了数据漂移检测过程流程300的流程图。在第一框310中，数据漂移检测过程流程300诸如从位置2处的车辆102接收新的传入数据。
接下来，在框315处，测量预校准IoU-ECE值。
在框320处，确定IoU-ECE值是否高于预设的第一阈值。预设的第一阈值可以在从保留的验证/校准数据集计算的IoU-ECE值的2倍至4倍的范围内。例如，如果针对所保留的验证/校准数据集计算的IoU-ECE值是10，则预设的第一阈值可以被设置为该值的3倍，并且被设置为30。
如果在框320处确定IoU-ECE值不高于预设的第一阈值(“否”)，则在框340处未检测到数据漂移。如果在框320处确定IoU-ECE值高于预设的第一阈值(“是”)，则在框325处对传入数据集执行WB-TS校准以提取温度值T。
然后在框330处针对预设的第二阈值测量在框325中提取的值T。预设的第二阈值可以在从保留的验证数据集提取的温度T的2倍至4倍的范围内。例如，如果从所保留的验证/校准数据集提取的温度T是1.2，则预设的第二阈值可以被设置为该值的3倍，并且被设置为3.6。
如果T的值不高于预设的第二阈值(“否”)，则在框340处未检测到数据漂移。如果在框330处T的值高于预设的第二阈值(“是”)，则在框335处检测到数据漂移。在这种情况下，可以向用户通知数据漂移，并且可以采取进一步的动作，诸如使用提取的T来校准未来的传入数据和/或执行持续学习，这两者都能够实现对此类数据漂移的稳健性。这种稳健性允许通过DNN的输出置信度分数进行可靠的预测和对应的不确定性估计。这对于自主驾驶是有用的，其中车辆基于地理和时间的变化而不断地暴露于新的环境/设置。
当与IoU-ECE结合时，WB-TS可以实现对数据集中的数据漂移的检测。除了检测此类漂移之外，WB-TS还可以用检索到的温度T校正演进数据集中的误校准。对于上述SSDMobilenetV2模型，在测试OOD样本时，在校准之前已经观察到具有高置信度的不正确检测。在校准后，已经观察到输出分数在去除不正确的检测的情况下更可靠。
参考图6，示出了WB-TS过程500的流程图的示例。
在第一框515处，检索传入(新)数据集。传入数据集包括与图像中的所有对象类别(包括背景(BG)类别)相关联的分数。
接下来，在框520处，所述方法使用被设置为与用于训练对象检测DNN的交并比(IoU)阈值相同的IoU阈值来解析传入数据集中的地面实况。这里，通过使用IoU阈值将地面实况框与由对象检测DNN生成的检测框进行比较来确定传入数据集中的背景地面实况框。
为了在BG类别检测比非BG类别检测多得多的情况下校正可能的类别不平衡，在框525处，基于非BG类别框的数量大致相同，限制每个图像的BG类别框的数量。例如，非BG类别中的NMS前检测框的平均数量可以被确定为k，并且BG类别中的前k个NMS前检测框可使用对应的模型分数进行选择。
接下来，在框530处，可以通过针对NLL损失进行优化来确定温度T的标量值。由于温度T是在包括BG类别并且在任何非极大值抑制之前的数据集上确定，因此这是白盒(WB)校准。
参考图7，示出了校正动作过程600的流程图的示例。如上文关于图5所述，如果在框330处T的值高于预设的第二阈值(“是”)，则在框335处检测到数据漂移。当检测到数据漂移时，一个校正动作是使用所确定的温度T来校准未来的传入数据。
在第一框635处，使用所确定的温度T来缩放NMS前检测的logit向量。
接下来，在框640处，诸如利用Sigmoid或Softmax层将logit向量值归一化为0与1之间的值。
在框645处，所述方法对校准的分数和边界框预测执行非极大值抑制，以从对象检测DNN获得最终预测。
在框650处，来自对象检测DNN的经校准的最终预测可以用于激活部件，诸如车辆的转向或制动部件。例如，车辆中的计算装置115可以基于预测和/或其他数据来执行编程以致动车辆部件，例如，以避开对象、将车辆保持在路径上等。
如本文所使用，副词“基本上”意指形状、结构、测量结果、数量、时间等因为材料、机加工、制造、数据传输、计算速度等的缺陷而可能偏离精确描述的几何形状、距离、测量结果、数量、时间等。
一般来讲，所描述的计算系统和/或装置可采用多种计算机操作系统中的任一种，包括但决不限于以下版本和/或种类：Ford应用；AppLink/Smart Device Link中间件；Microsoft/>操作系统；Microsoft/>操作系统；Unix操作系统(例如，由加利福尼亚州红杉海岸的Oracle公司发布的/>操作系统)；由纽约州阿蒙克市的国际商业机器公司发布的AIX UNIX操作系统；Linux操作系统；由加利福尼亚州库比蒂诺市的苹果公司发布的Mac OSX和iOS操作系统；由加拿大滑铁卢的黑莓有限公司发布的BlackBerry操作系统；以及由谷歌公司和开放手机联盟开发的安卓操作系统；或由QNX软件系统公司提供的/>CAR信息娱乐平台。计算装置的示例包括但不限于机载第一计算机、计算机工作站、服务器、台式计算机、笔记本计算机、膝上型计算机或手持式计算机，或某一其他计算系统和/或装置。
计算机和计算装置通常包括计算机可执行指令，其中所述指令可能够由一个或多个计算装置(诸如上文所列出的那些)执行。可以从使用多种编程语言和/或技术创建的计算机程序编译或解译计算机可执行指令，所述编程语言和/或技术单独地或者组合地包括但不限于JavaTM、C、C++、Matlab、Simulink、Stateflow、Visual Basic、Java Script、Perl、HTML等。这些应用中的一些可以在诸如Java虚拟机、Dalvik虚拟机等虚拟机上编译和执行。通常，处理器(例如，微处理器)接收来自例如存储器、计算机可读介质等的指令，并执行这些指令，从而执行一个或多个过程，包括本文所述过程中的一者或多者。此类指令和其他数据可使用各种计算机可读介质来存储和传输。计算装置中的文件通常是存储在诸如存储介质、随机存取存储器等计算机可读介质上的数据的集合。
存储器可以包括计算机可读介质(也称为处理器可读介质)，所述计算机可读介质包括参与提供可以由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非暂时性(例如，有形)介质。此类介质可采用许多形式，包括但不限于非易失性介质和易失性介质。非易失性介质可包括例如光盘或磁盘以及其他持久性存储器。易失性介质可以包括例如通常构成主存储器的动态随机存取存储器(DRAM)。此类指令可由一种或多种传输介质传输，所述一种或多种传输介质包括同轴电缆、铜线和光纤，包括构成联接到ECU的处理器的系统总线的电线。共同形式的计算机可读介质包括例如RAM、PROM、EPROM、FLASH-EEPROM、任何其他存储器芯片或盒式磁带、或计算机可从中读取的任何其他介质。
数据库、数据存储库或本文所述的其他数据存储装置可以包括用于存储、访问和检索各种数据的各种机构，包括分层数据库、文件系统中的文件集、呈专用格式的应用数据库、关系数据库管理系统(RDBMS)等。每个此类数据存储装置通常包括在采用计算机操作系统(诸如以上所提到的那些操作系统中的一个操作系统)的计算装置内，并且经由网络以多种方式中的任一种或多种方式来访问。文件系统可以从计算机操作系统访问，并且可以包括以各种格式存储的文件。除了用于创建、存储、编辑和执行已存储的程序的语言(例如上述PL/SQL语言)之外，RDBMS还通常采用结构化查询语言(SQL)。
在一些示例中，系统元件可被实施为一个或多个计算装置(例如，服务器、个人计算机等)上、存储在与其相关联的计算机可读介质(例如，磁盘、存储器等)上的计算机可读指令(例如，软件)。计算机程序产品可以包括存储在计算机可读介质上的用于执行本文描述的功能的此类指令。
关于本文描述的介质、过程、系统、方法、启发等，应理解，虽然此类过程等的步骤已经被描述为按照某一有序的顺序发生，但是可以通过以与本文所述顺序不同的顺序执行所述步骤来实践此类过程。还应理解，可以同时执行某些步骤，可以添加其他步骤，或者可以省略本文描述的某些步骤。换句话说，本文对过程的描述出于说明某些实施例的目的而提供，并且决不应被解释为限制权利要求。
因此，应理解，以上描述意在是说明性的而非限制性的。在阅读了以上描述之后，除了所提供的示例之外的许多实施例和应用对于本领域技术人员而言将是明显的。不应参考以上描述来确定本发明的范围，而应参考所附权利要求连同这些权利要求赋予的等效物的全部范围来确定。设想并预期未来的发展将在本文所讨论的技术中发生，并且所公开的系统和方法将并入到此类未来实施例中。总之，应理解，本发明能够进行修改和变化，并且仅受所附权利要求的限制。
除非本文作出相反的明确指示，否则权利要求中使用的所有术语意图给出如本领域技术人员所理解的普通和通常的含义。具体地，除非权利要求叙述相反的明确限制，否则使用诸如“一个”、“该”、“所述”等单数冠词应被解读为叙述所指示的要素中的一者或多者。
根据实施例，提供了一种系统，该系统具有计算机，所述计算机包括处理器和存储器，所述存储器存储可由处理器执行的指令，所述指令被编程为：通过以下方式识别经训练的对象检测深度神经网络(DNN)中的数据漂移：接收基于真实世界使用的数据集，其中所述数据集包括与图像中的每个类别相关联的分数，所述类别包括背景(BG)类别；通过在白盒设置下用以特定交并比(IoU)阈值为条件的来自非极大值抑制之前的所述数据集的检测(NMS前检测)计算预期校准误差(ECE)来测量IoU调节的ECE(IoU-ECE)；在确定所述IoU-ECE大于预设的第一阈值时，对所述数据集的所述NMS前检测执行白盒温度缩放(WB-TS)校准以提取温度T；以及在确定温度T超过预设的第二阈值时，识别出已经发生了所述数据漂移。
根据实施例，本发明的特征还在于用于在识别出数据漂移时使用提取的温度T来校准传入数据的指令。
根据实施例，通过在Sigmoid/Softmax层之前用所述温度T均匀地缩放与所述对象检测DNN的所述NMS前检测相关联的logit向量来校准传入数据。
根据实施例，本发明的特征还在于用于在识别出所述数据漂移时对所述对象检测DNN执行附加学习的指令。
根据实施例，IoU-ECE是其中n是IoU调节的样本的数量，M是区间分箱的数量(＝15)，并且Bm是预测分数落在区间Im＝(m-1/M,m/M]中的样本的索引的集合。
根据实施例，所述特定IoU阈值被设置为与用于训练所述对象检测DNN的IoU阈值相同。
根据实施例，用于对所述数据集的所述NMS前检测执行所述WB-TS校准以提取所述温度T的指令包括用于进行以下操作的指令：检索所述数据集，其中所述数据集包括与图像中的每个对象类别相关联的分数，所述对象类别包括背景(BG)类别；通过使用交并比(IoU)阈值将地面实况框与由所述对象检测DNN生成的检测框进行比较来确定所述数据集中的背景地面实况框；通过基于地面实况类别中的地面实况框的数量将所述地面实况类别更新为包括多个背景地面实况框来校正所述地面实况类别中的所述地面实况框与所述背景地面实况框之间的类别不平衡；以及通过针对所述负对数似然(NLL)损失进行优化来确定所有类别的所述温度T的单个标量参数。
根据实施例，所述预设的第一阈值在从保留的验证数据集计算的IoU-ECE值的2至4倍的范围内，并且所述预设的第二阈值在从所述保留的验证数据集提取的温度T的2至4倍的范围内。
根据实施例，本发明的特征还在于用于进行以下操作的指令：在Sigmoid/Softmax层之后，利用对应的边界框预测对校准的置信度分数执行非极大值抑制以获得最终检测；以及基于所述对象检测DNN的对象检测确定来致动车辆部件。
根据实施例，用于校正类别不平衡的指令包括用于进行以下操作的指令：将非BG类别中的NMS前检测框的平均数量确定为k；并且使用对应的模型分数来提取所述BG类别中的前k个NMS前检测框。
根据本发明，一种识别经训练的对象检测深度神经网络(DNN)中的数据漂移的方法包括：接收基于真实世界使用的数据集，其中所述数据集包括与图像中的每个类别相关联的分数，所述类别包括背景(BG)类别；通过在白盒设置下用以特定交并比(IoU)阈值为条件的来自非极大值抑制之前的所述数据集的检测(NMS前检测)计算预期校准误差(ECE)来测量IoU调节的ECE(IoU-ECE)；在确定所述IoU-ECE大于预设的第一阈值时，对所述数据集的所述NMS前检测执行白盒温度缩放(WB-TS)校准以提取温度T；以及在确定温度T超过预设的第二阈值时，识别出已经发生了所述数据漂移。
在本发明的一个方面，所述方法包括在识别出所述数据漂移时，使用所提取的温度T来校准传入数据。
在本发明的一个方面，通过在Sigmoid/Softmax层之前用所述温度T均匀地缩放与所述对象检测DNN的所述NMS前检测相关联的logit向量来校准传入数据。
在本发明的一个方面，所述方法包括在识别出所述数据漂移时对所述对象检测DNN执行附加学习。
在本发明的一个方面，IoU-ECE是 其中n是IoU调节的样本的数量，M是区间分箱的数量(＝15)，并且Bm是预测分数落在区间Im＝(m-1/M,m/M]中的样本的索引的集合。
在本发明的一个方面，所述特定IoU阈值被设置为与用于训练所述对象检测DNN的IoU阈值相同。
在本发明的一个方面，对所述数据集的所述NMS前检测执行所述WB-TS校准以提取所述温度T包括：检索所述数据集，其中所述数据集包括与图像中的每个对象类别相关联的分数，所述对象类别包括背景(BG)类别；通过使用交并比(IoU)阈值将地面实况框与由所述对象检测DNN生成的检测框进行比较来确定所述数据集中的背景地面实况框；通过基于地面实况类别中的地面实况框的数量将所述地面实况类别更新为包括多个背景地面实况框来校正所述地面实况类别中的所述地面实况框与所述背景地面实况框之间的类别不平衡；以及通过针对所述负对数似然(NLL)损失进行优化来确定所有类别的所述温度T的单个标量参数。
在本发明的一个方面，所述预设的第一阈值在从保留的验证数据集计算的IoU-ECE值的2至4倍的范围内，并且所述预设的第二阈值在从所述保留的验证数据集提取的温度T的2至4倍的范围内。
在本发明的一个方面，所述方法包括：在Sigmoid/Softmax层之后，利用对应的边界框预测对校准的置信度分数执行非极大值抑制以获得最终检测；以及基于所述对象检测DNN的对象检测确定来致动车辆部件。
在本发明的一个方面，校正类别不平衡包括：将非BG类别中的NMS前检测框的平均数量确定为k；并且使用对应的模型分数来提取所述BG类别中的前k个NMS前检测框。

Claims (15)

1.一种通过以下方式识别经训练的对象检测深度神经网络(DNN)中的数据漂移的方法：
接收基于真实世界使用的数据集，其中所述数据集包括与图像中的每个类别相关联的分数，所述类别包括背景(BG)类别；
通过在白盒设置下用以特定交并比(IoU)阈值为条件的来自非极大值抑制之前的所述数据集的检测(NMS前检测)计算预期校准误差(ECE)来测量IoU调节的ECE(IoU-ECE)；
在确定所述IoU-ECE大于预设的第一阈值时，对所述数据集的所述NMS前检测执行白盒温度缩放(WB-TS)校准以提取温度T；以及
在确定温度T超过预设的第二阈值时，识别出已经发生了所述数据漂移。
2.如权利要求1所述的方法，其还包括在识别出所述数据漂移时，使用所提取的温度T来校准传入数据。
3.如权利要求2所述的方法，其中通过在Sigmoid/Softmax层之前用所述温度T均匀地缩放与所述对象检测DNN的所述NMS前检测相关联的logit向量来校准传入数据。
4.如权利要求1所述的方法，其还包括在识别出所述数据漂移时，对所述对象检测DNN执行附加学习。
5.如权利要求1所述的方法，其中所述IoU-ECE是
其中n是IoU调节的样本的数量，M是区间分箱的所述数量(＝15)，并且Bm是预测分数落在区间Im＝(m-1/M,m/M]中的样本的索引的所述集合。
6.如权利要求1所述的方法，其中所述特定IoU阈值被设置为与用于训练所述对象检测DNN的IoU阈值相同。
7.如权利要求1所述的方法，其中对所述数据集的所述NMS前检测执行所述WB-TS校准以提取所述温度T包括：
检索所述数据集，其中所述数据集包括与图像中的每个对象类别相关联的分数，所述对象类别包括背景(BG)类别；
通过使用交并比(IoU)阈值将地面实况框与由所述对象检测DNN生成的检测框进行比较来确定所述数据集中的背景地面实况框；
通过基于地面实况类别中的地面实况框的数量将所述地面实况类别更新为包括多个背景地面实况框来校正所述地面实况类别中的所述地面实况框与所述背景地面实况框之间的类别不平衡；以及
通过针对所述负对数似然(NLL)损失进行优化来确定所有类别的所述温度T的单个标量参数。
8.如权利要求1所述的方法，其中所述预设的第一阈值在从保留的验证数据集计算的IoU-ECE值的2至4倍的范围内，并且所述预设的第二阈值在从所述保留的验证数据集提取的温度T的2至4倍的范围内。
9.如权利要求3所述的方法，其还包括：
在所述Sigmoid/Softmax层之后，用对应的边界框预测对校准的置信度分数执行非极大值抑制以获得最终检测；以及
基于所述对象检测DNN的对象检测确定来致动车辆部件。
10.如权利要求7所述的方法，其中校正类别不平衡包括：
将非BG类别中的NMS前检测框的平均数量确定为k；以及
使用对应的模型分数提取所述BG类别中的前k个NMS前检测框。
11.如权利要求5所述的方法，其中对所述数据集的所述NMS前检测执行所述WB-TS校准以提取所述温度T包括：
检索所述数据集，其中所述数据集包括与图像中的每个对象类别相关联的分数，所述对象类别包括背景(BG)类别；
通过使用交并比(IoU)阈值将地面实况框与由所述对象检测DNN生成的检测框进行比较来确定所述数据集中的背景地面实况框；
通过基于地面实况类别中的地面实况框的数量将所述地面实况类别更新为包括多个背景地面实况框来校正所述地面实况类别中的所述地面实况框与所述背景地面实况框之间的类别不平衡；以及
通过针对所述负对数似然(NLL)损失进行优化来确定所有类别的所述温度T的单个标量参数。
12.如权利要求11所述的方法，其还包括在识别出所述数据漂移时，使用所提取的温度T来校准传入数据，
其中通过在Sigmoid/Softmax层之前用所述温度T均匀地缩放与所述对象检测DNN的所述NMS前检测相关联的logit向量来校准传入数据。
13.如权利要求12所述的方法，其还包括：
在所述Sigmoid/Softmax层之后，用对应的边界框预测对校准的置信度分数执行非极大值抑制以获得最终检测；以及
基于所述对象检测DNN的对象检测确定来致动车辆部件。
14.如权利要求11所述的方法，其中校正类别不平衡包括：
将非BG类别中的NMS前检测框的平均数量确定为k；以及
使用对应的模型分数提取所述BG类别中的前k个NMS前检测框。
15.一种计算装置，其包括处理器和存储器，所述存储器存储指令，所述指令能够由所述处理器执行以执行如权利要求1至14中的一项所述的方法。
CN202311600130.4A 2022-12-14 2023-11-28 用于传感器系统的数据漂移识别 Pending CN118196732A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US18/080,799 US20240202503A1 (en) 2022-12-14 2022-12-14 Data drift identification for sensor systems
US18/080,799 2022-12-14

Publications (1)

Publication Number Publication Date
CN118196732A true CN118196732A (zh) 2024-06-14

Family

ID=91278979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311600130.4A Pending CN118196732A (zh) 2022-12-14 2023-11-28 用于传感器系统的数据漂移识别

Country Status (3)

Country Link
US (1) US20240202503A1 (zh)
CN (1) CN118196732A (zh)
DE (1) DE102023133295A1 (zh)

Also Published As

Publication number Publication date
US20240202503A1 (en) 2024-06-20
DE102023133295A1 (de) 2024-06-20

Similar Documents

Publication Publication Date Title
CN110936959B (zh) 车辆感知系统在线诊断和预测
US11657635B2 (en) Measuring confidence in deep neural networks
US10449956B2 (en) Object tracking by unsupervised learning
US11574463B2 (en) Neural network for localization and object detection
US11610412B2 (en) Vehicle neural network training
CN115366885A (zh) 用于辅助机动车的驾驶操作的方法、辅助装置及机动车
CN115731531A (zh) 对象轨迹预测
US11166003B1 (en) Dynamic vibration sensor optics distortion prediction
US12240501B2 (en) Convolution operator selection
US12020475B2 (en) Neural network training
WO2023039193A1 (en) Search algorithms and safety verification for compliant domain volumes
CN115959135A (zh) 增强的车辆操作
CN118734933A (zh) 多任务学习
US20240202503A1 (en) Data drift identification for sensor systems
US11745766B2 (en) Unseen environment classification
US12046132B2 (en) Sensor localization
US11893085B2 (en) Anomaly detection for deep neural networks
CN114758313A (zh) 实时神经网络再训练
CN113159271A (zh) 时间cnn后部碰撞警报系统
CN112519779A (zh) 基于位置的车辆操作
US20250131330A1 (en) Computer implemented method for providing insight into machine learning models
US20250209872A1 (en) Methods and systems for setting dynamic triggers for event recordings for a vehicle
US20250128704A1 (en) Simulating traffic scenarios
CN117115625A (zh) 未见环境分类
US20240144663A1 (en) Fair neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication