[go: up one dir, main page]

CN112036427A - 具有对象的真实感传感器融合检测估计的模拟 - Google Patents

具有对象的真实感传感器融合检测估计的模拟 Download PDF

Info

Publication number
CN112036427A
CN112036427A CN202010488937.3A CN202010488937A CN112036427A CN 112036427 A CN112036427 A CN 112036427A CN 202010488937 A CN202010488937 A CN 202010488937A CN 112036427 A CN112036427 A CN 112036427A
Authority
CN
China
Prior art keywords
sensor fusion
sensor
data
visualization
simulated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010488937.3A
Other languages
English (en)
Inventor
K.贝伦特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN112036427A publication Critical patent/CN112036427A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Electromagnetism (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

具有对象的真实感传感器融合检测估计的模拟。一种方法由具有至少一个计算机处理器的处理系统实现。该方法包括获得场景的可视化，该场景的可视化包括在区域内的模拟对象的模板。该方法包括在接收到可视化作为输入后生成模板的传感器融合表示。该方法包括利用模拟对象的传感器融合检测估计而不是区域内的模板来生成场景的模拟。传感器融合检测估计包括指示传感器融合表示的边界的对象轮廓数据。传感器融合检测估计表示了如将由传感器融合系统检测的对象的边界或形状。

Description

具有对象的真实感传感器融合检测估计的模拟
技术领域
本公开总体上涉及生成对象的真实感传感器融合检测估计。
背景技术
一般而言，开发自主或半自主车辆存在许多挑战。为了协助自主或半自主车辆的开发，自主或半自主车辆经常经历基于各种情境的众多测试。就这一点而言，在许多情况下经常使用模拟，因为模拟比实际的驾驶测试执行起来更成本有效。然而，存在许多情况，其中模拟不准确地表示现实的用例。例如，在一些情况下，一些模拟的相机图像可能相比于实际的相机图像看起来更像视频游戏图像。此外，存在一些类型的传感器，其产生模拟起来困难且成本高的传感器数据。例如，已知雷达检测难以用准确性模拟。照此，具有这些类型的不准确性的模拟可能不提供用于自主和半自主车辆的开发、测试和评估的适当条件。
发明内容
下面是下面详细描述的特定实施例的概述。呈现所描述的方面仅仅是为了向读者提供这些特定实施例的简要概述，并且这些方面的描述不旨在限制本公开的范围。事实上，本公开可以包含可能未在下面明确阐述的多种方面。
在示例实施例中，用于生成真实感模拟的系统至少包括非暂时性计算机可读介质和处理系统。该非暂时性计算机可读介质包括场景的可视化，该场景的可视化包括在区域内的模拟对象的模板。该处理系统可通信地连接到非暂时性计算机可读介质。该处理系统包括至少一个处理设备，所述至少一个处理设备被配置成执行计算机可读数据以实现一种方法，该方法包括在接收到可视化作为输入后生成模板的传感器融合表示。该方法包括利用模拟对象的传感器融合检测估计而不是在区域内的模板来生成场景的模拟。传感器融合检测估计包括指示传感器融合表示的边界的对象轮廓数据。传感器融合检测估计表示了如将由传感器融合系统检测的对象的边界或形状。
在示例实施例中，计算机实现的方法包括经由具有至少一个计算机处理器的处理系统获得场景的可视化，该场景的可视化包括在区域内的模拟对象的模板。该方法包括在接收到可视化作为输入后，经由处理系统生成模板的传感器融合表示。该方法包括经由处理系统利用模拟对象的传感器融合检测估计而不是在区域内的模板来生成场景的模拟。传感器融合检测估计包括指示传感器融合表示的边界的对象轮廓数据。传感器融合检测估计表示了如将由传感器融合系统检测的对象的边界或形状。
在示例实施例中，非暂时性计算机可读介质包括计算机可读数据，该计算机可读数据当由计算机处理器执行时被配置成实现一种方法。该方法包括获得场景的可视化，该场景的可视化包括在区域内的模拟对象的模板。该方法包括在接收到可视化作为输入后生成模板的传感器融合表示。该方法包括利用模拟对象的传感器融合检测估计而不是在区域内的模板来生成场景的模拟。传感器融合检测估计包括指示传感器融合表示的边界的对象轮廓数据。传感器融合检测估计表示了如将由传感器融合系统检测的对象的边界或形状。
根据附图，在下面的详细描述中讨论了本发明的这些和其他特征、方面和优点，贯穿附图，相同的符号表示类似或相同的部分。
附图说明
图1是根据本公开的示例实施例的模拟系统的非限制性示例的概念图解。
图2是根据本公开的示例实施例的用于为图1的模拟系统开发机器学习模型的过程的概念流程图。
图3是根据本公开的示例实施例的用于训练图2的机器学习模型的方法的示例。
图4是根据本公开的示例实施例的用于利用对象的真实感传感器融合检测估计来生成模拟的方法的示例。
图5A是根据本公开的示例实施例的与传感器相关的单个对象的概念图解。
图5B是根据本公开的示例实施例的图5A的对象的传感器融合检测的图解。
图6A是根据本公开的示例实施例的与至少一个传感器相关的多个对象的概念图解。
图6B是根据本公开的示例实施例的基于图6A的多个对象的传感器融合检测的图解。
图7是示出根据本公开的示例实施例的与地理区域的对象相关的各种数据的叠加的图解。
图8A是根据本公开的示例实施例的具有对象的场景的非限制性示例的图解。
图8B是根据本公开的示例实施例的具有取代对象的基于传感器的数据的图8A的场景的非限制性示例的图解。
具体实施方式
将通过前述描述来理解已经通过示例的方式被示出和描述的本文中所述的实施例及其许多优点，并且将清楚的是，在不脱离所公开的主题的情况下或者不牺牲其一个或多个优点的情况下，可以在部件的形式、构造和布置中做出各种改变。事实上，这些实施例的描述形式仅仅是解释性的。这些实施例容易受到各种修改和替代形式影响，并且下面的权利要求书旨在包含和包括这样的改变，并且不限于所公开的特定形式，而是覆盖落入本公开的精神和范围内的所有修改、等同物和替代物。
图1是模拟系统100的示例的概念图解，该模拟系统100被配置成生成具有真实感传感器融合检测估计的模拟。在示例实施例中，模拟系统100具有处理系统110，该处理系统110包括至少一个处理器。就这一点而言，例如，处理系统110至少包括中央处理单元（CPU）、图形处理单元（GPU）、专用集成电路（ASIC）、任何合适的处理设备、硬件技术或其任何组合。在示例实施例中，处理系统110被配置成执行如本文中所述的多种功能，使得具有真实感传感器融合检测估计的模拟被生成，并且被传输到任何合适的应用系统10。
在示例实施例中，模拟系统100包括存储器系统120，该存储器系统120包括任何合适的存储器配置，任何合适的存储器配置包括至少一个非暂时性计算机可读介质。例如，存储器系统120包括半导体存储器、随机存取存储器（RAM）、只读存储器（ROM）、虚拟存储器、电子存储设备、光存储设备、磁存储设备、存储器电路、任何合适的存储器技术或其任何组合。存储器系统120被配置成包括相对于模拟系统100的本地、远程或者本地和远程二者的部件。存储器系统120存储各种计算机可读数据。例如，在图1中，计算机可读数据至少包括程序指令、模拟数据、机器学习数据（例如，神经网络数据）、传感器融合检测估计、模拟或其任何组合。此外，在示例实施例中，存储器系统120包括与本文中所述功能相关的其他相关数据。一般而言，存储器系统120被配置成向处理系统110提供对各种计算机可读数据的访问，使得处理系统110能够至少生成在各种环境区域中的各种情境的各种模拟，其包括对象的真实感传感器融合检测估计。这些真实感的模拟然后被传输到应用系统10的一个或多个部件并且由其执行。
在示例实施例中，模拟系统100还至少包括通信网络130、输入/输出接口140和其他功能模块。通信网络130被配置成使能在模拟系统100的一个或多个部件之间和/或当中的通信。通信网络130包括有线技术、无线技术、任何合适的通信技术或其任何组合。例如，通信网络130使得处理系统110能够与存储器系统120和输入/输出接口140通信。输入/输出接口140被配置成使能在模拟系统100的一个或多个部件与应用系统10的一个或多个部件之间的通信。例如，在图1中，输入/输出接口140被配置成提供接口，该接口使能经由通信链路150将具有真实感传感器融合检测估计的模拟输出到车辆处理系统30。在示例实施例中，通信链路150是使能在模拟系统100与应用系统10之间的数据通信的任何合适的通信技术。附加地，尽管在图1中未示出，但是模拟系统100被配置成包括其他功能部件（例如，操作系统等），其包括已知的并且本文中未描述的计算机部件。
在示例实施例中，应用系统10被配置成从模拟系统100接收真实感模拟。例如，在示例实施例中，应用系统10涉及是自主、半自主或高度自主的车辆20。替代地，模拟可以应用于非自主车辆。例如，在图1中，模拟系统100向车辆20的车辆处理系统30的一个或多个部件提供模拟。车辆处理系统30的一个或多个部件的非限制性示例包括轨迹系统、运动控制系统、路线规划系统、预测系统、导航系统、任何合适的系统或其任何组合。有利地，利用这些模拟，车辆20被提供有真实感输入数据，而不必进行现实世界驾驶，从而导致车辆处理系统30的一个或多个部件的成本有效的开发和评估。
图2是根据示例实施例的过程200的概念流程图，该过程200牵涉进开发机器学习数据（例如，具有至少一个神经网络模型的神经网络数据）使得处理系统110被配置成生成对象的真实感传感器融合检测估计中。过程200确保利用足够量的适当训练数据来训练机器学习模型。在这种情况下，如在图2中所示，训练数据包括现实世界的传感器融合检测及其对应的注释。在示例实施例中，训练数据基于收集的数据，该收集的数据是经由包括足够大量的数据收集的数据收集过程210获取的。
在示例实施例中，数据收集过程210包括从现实世界获得并且存储大量的收集数据。更具体地，例如，数据收集过程210包括经由在各种现实世界驾驶期间在各种移动机器上提供的各种感测设备来收集基于传感器的数据（例如，传感器数据、传感器融合数据等）。就这一点而言，例如，图2图示了车辆220的非限制性示例，车辆220被配置成从现实世界获取基于传感器的数据，并且将该收集的数据的版本提供给存储器系统230。在该示例中，车辆220包括具有各种传感器220A的至少一个传感器系统，以检测车辆220的环境。在这种情况下，传感器系统包括‘n’个数目的传感器220A，其中‘n’表示大于2的整数。各种传感器220A的非限制性示例包括光检测和测距（LIDAR）传感器、相机系统、雷达系统、红外系统、基于卫星的传感器系统（例如，全球导航卫星系统（GNSS）、全球定位卫星（GPS）等）、任何合适的传感器或其任何组合。
在示例实施例中，车辆220包括具有非暂时性计算机可读存储器的车辆处理系统220B。计算机可读存储器被配置成存储各种计算机可读数据，其包括程序指令、基于传感器的数据（例如，原始传感器数据、传感器融合数据等）以及其他的相关数据（例如，地图数据、定位数据等）。其他的相关数据提供与基于传感器的数据有关的相关信息（例如，上下文）。在示例实施例中，车辆处理系统220B被配置成处理原始传感器数据和其他的相关数据。附加地或替代地，处理系统220B被配置成基于原始传感器数据和其他的相关数据的处理来生成传感器融合数据。在获得该基于传感器的数据和其他的相关数据之后，处理系统220B被配置成经由通信技术将该收集的数据的版本从车辆220传输或传送到存储器系统230，该通信技术包括有线技术、无线技术或者有线和无线技术二者。
在示例实施例中，数据收集过程210不限于牵涉车辆220的该数据收集技术，而是可以包括提供合适的现实世界基于传感器的数据的其他数据聚集技术。此外，数据收集过程210包括收集其他的相关数据（例如地图数据、定位数据等），其对应于从车辆220收集的基于传感器的数据。就这一点而言，例如，其他的相关数据在提供与基于传感器的数据有关的上下文和/或另外的细节中是有利的。
在示例实施例中，存储器系统230被配置成将收集的数据存储在一个或多个非暂时性计算机可读介质中，所述一个或多个非暂时性计算机可读介质包括以任何合适配置的任何合适的存储器技术。例如，存储器系统230包括半导体存储器、RAM、ROM、虚拟存储器、电子存储设备、光存储设备、磁存储设备、存储器电路、云存储系统、任何合适的存储器技术或其任何组合。例如，在示例实施例中，存储器系统230包括以至少计算机集群配置的至少非暂时性计算机可读介质。
在示例实施例中，在该收集的数据已经存储在存储器系统230中之后，于是过程200包括确保处理系统240利用基于该收集的数据的适当训练数据来训练机器学习模型。在示例实施例中，处理系统240包括具有一个或多个模块的至少一个处理器（例如，CPU、GPU、处理电路等），所述至少一个处理器（例如，CPU、GPU、处理电路等）包括硬件技术、软件技术或者硬件和软件技术的组合。例如，在图2中，处理系统240包含一个或多个处理器连同软件，其至少包括预处理模块240A和处理模块240B。在这种情况下，处理系统240执行程序指令，该程序指令存储在存储器系统230、处理系统240本身（经由本地存储器）或者存储器系统230和处理系统240二者中。
在示例实施例中，在获得收集的数据后，预处理模块240A被配置成为机器学习模型提供合适的训练数据。例如，在图2中，预处理模块240A被配置成在获得基于传感器的数据作为输入后生成传感器融合检测。更具体地，例如，在接收到原始传感器数据后，预处理模块240A被配置成基于来自车辆220的传感器的该原始传感器数据来生成传感器融合数据。就这一点而言，例如，传感器融合数据指代来自在给定情况下感测环境的各种传感器的传感器数据的融合。在示例实施例中，该方法独立于融合方案的类型，并且可利用早期融合和/或晚期融合来实现。传感器融合数据的生成是有利的，因为基于来自各种传感器的传感器数据的组合的视图比基于来自个体传感器的传感器数据的视图更完整和可靠。在生成或获得该传感器融合数据后，预处理模块240A被配置成标识对应于对象的传感器融合数据。此外，预处理模块240A被配置成生成传感器融合检测，其包括与该标识的对象相关的传感器融合数据的一般边界的表示。利用该预处理，使得处理模块240B能够处理这些传感器融合检测，与对应于那些相同对象的无边界的传感器融合数据相比，这些传感器融合检测以更容易和更快速来标识对象。
在示例实施例中，处理模块240B被配置成训练至少一个机器学习模型，以根据现实使用情况基于现实世界训练数据来生成对象的传感器融合检测估计。例如，在图2中，处理模块240B被配置成训练机器学习模型，以基于训练数据生成对象的传感器融合检测估计，该训练数据包括现实世界的传感器融合检测连同对应的注释。更具体地，在生成现实世界的传感器融合检测后，过程200包括注释过程250。注释过程250包括获得注释，所述注释是客观和有效的标签，其关于它们所表示的对象来标识这些传感器融合检测。例如，在示例实施例中，注释由注释者提供，注释者诸如有技能的人（或任何可靠和可验证的技术手段）。更具体地，这些注释者为传感器融合数据之中的对象（例如，建筑物、树木、行人、标志、车道标记）的所标识的传感器融合检测提供标签。此外，使得注释者能够标识对应于对象的传感器融合数据，为这些对象生成传感器融合检测，并且为这些传感器融合检测提供标签。这些注释与它们对应的对象的传感器融合检测一起作为训练数据存储在存储器系统230中。利用该训练数据，处理模块240B被配置成针对给定的任务优化机器学习架构、其参数和其权重。
在示例实施例中，处理模块240B被配置成训练机器学习技术（例如，机器学习算法），以响应于接收到这些对象的对象数据来生成对象的传感器融合检测估计。就这一点而言，例如，存储器系统230包括机器学习数据、诸如神经网络数据。更具体地，在示例实施例中，例如，机器学习数据包括生成型对抗性网络（GAN）。在示例实施例中，处理模块240B被配置成训练GAN模型，以基于不同的输入生成新的对象。例如，GAN被配置成将一种类型的图像（例如，可视化、基于计算机图形的图像等）变换成另一种类型的图像（例如，诸如基于传感器的图像之类的看起来现实的图像）。GAN被配置成修改图像的至少部分。作为非限制性示例，例如，GAN被配置成利用一个或多个项目（例如，传感器融合检测估计）来变换或替换图像的一个或多个部分（例如，提取的对象数据）。就这一点而言，例如，利用适当的训练，GAN被配置成改变图像的至少一个一般属性。
例如，在图2中，处理模块240B被配置成训练GAN模型，以将提取的对象数据变换成传感器融合检测估计。此外，处理模块240B训练GAN模型，以在不具有传感器系统、感知系统或传感器融合系统的直接协助或执行的情况下直接响应于对象数据来执行这些变换。就这一点而言，处理模块240B经由GAN直接从对象数据生成真实感的传感器融合检测估计，而不必在个体基础上针对每个传感器来模拟传感器数据（或生成传感器数据估计）。该特征是有利的，因为处理模块240B在个体基础上绕过模拟来自相机系统的图像数据、来自LIDAR系统的LIDAR数据、来自红外传感器的红外数据、来自雷达系统的雷达数据和/或来自其他传感器的其他传感器数据的繁琐过程，以便为应用系统10（例如，车辆处理系统30）生成真实感的输入。该特征还克服了在经由雷达系统模拟雷达数据中的困难，因为该个体步骤不由处理模块240B执行。也就是说，处理模块240B直接响应于接收到对象数据作为输入，训练GAN来生成真实感的传感器融合检测估计。有利地，该传感器融合检测估计的生成改进了与针对应用系统10的一个或多个部件的开发和评估而生成真实感的基于传感器的输入相关联的速率和成本。
在示例实施例中，对象的传感器融合检测估计的生成包括传感器融合表示的生成，该传感器融合表示指示对应于那些对象的检测的边界。更具体地，在图2中，处理系统240B经由GAN被配置成生成对象的传感器融合检测估计，该对象的传感器融合检测估计包括那些对象的检测的表示，那些对象的检测的表示包括一个或多个数据结构、图形渲染、任何合适的检测代理或其任何组合。例如，处理系统240B被配置成训练GAN以生成包括多边形表示（例如，如图7中所示的盒或盒状表示）的传感器融合检测估计。替代地，处理系统240B经由GAN被配置成生成包括完整轮廓（例如，如图8B中所示的轮廓）的传感器融合检测估计。
在示例实施例中，处理模块240B被配置成训练GAN，以将对应于对象的提取的对象数据单独或共同地变换成传感器融合检测估计。例如，处理模块240B被配置成训练GAN以在个体基础上（例如，一次一个地）将所选对象的对象数据变换成传感器融合检测估计。此外，处理模块240B被配置成训练GAN以同时将所选对象的一组或多组对象数据变换成传感器融合检测估计。作为另一个示例，代替于执行变换，处理模块240B被配置成训练GAN以在个体基础上（例如，一次一个地）从所选对象的对象数据生成传感器融合检测估计。此外，处理模块240B被配置成训练GAN以同时从所选对象的一组或多组对象数据的对象数据中生成传感器融合检测估计。
图3是用于训练机器学习模型以基于现实世界训练数据生成传感器融合检测估计的方法300的示例。在示例实施例中，处理系统240（例如，处理模块240B）被配置成执行在图3中所示的方法。在示例实施例中，方法300至少包括步骤302、步骤304、步骤306、步骤308和步骤310。此外，该方法还可以包括步骤312和步骤314。
在步骤302处，在示例实施例中，处理系统240被配置成获得训练数据。例如，如在图2中所示，训练数据包括对象的现实世界传感器融合检测和对应的注释。注释是有效的标签，其标识与它们所表示的对应的现实世界对象相关的现实世界传感器融合检测。例如，在该示例中，由有技术的人输入和验证注释。在获得该训练数据后，处理系统240被配置成继续进行到步骤304。
在步骤304处，在示例实施例中，处理系统240被配置成训练神经网络以生成真实感的传感器融合检测估计。处理系统240被配置成基于训练数据来训练神经网络（例如，至少一个GAN模型），该训练数据至少包括对象的现实世界传感器融合检测和对应的注释。在示例实施例中，该训练包括步骤306、步骤308和步骤310。此外，该训练包括确定该训练阶段是否完成，如在步骤312处所示。此外，该训练可以包括未在图3中示出的其他步骤，只要该训练导致经训练的神经网络模型，该经训练的神经网络模型被配置成生成如本文中所述的真实感的传感器融合检测估计。
在步骤306处，在示例实施例中，处理系统240被配置成经由至少一个机器学习模型生成传感器融合检测估计。在示例实施例中，机器学习模型包括GAN模型。就这一点而言，在接收到训练数据后，处理系统240被配置成经由GAN模型生成传感器融合检测估计。在示例实施例中，对象的传感器融合检测估计提供了指示被标识为该对象的传感器融合数据的一般边界的表示。这些表示的非限制性示例包括数据结构、图形渲染、任何合适的检测代理或其任何组合。例如，处理系统240被配置成生成包括多边形表示的对象的传感器融合检测估计，该多边形表示包括具有多边形数据（例如坐标值）的数据结构和/或多边形数据的图形渲染，其指示那些对象的传感器融合数据之中的检测的多边形边界。在生成对象的传感器融合检测估计后，处理系统240被配置成继续进行到步骤308。
在步骤308处，在示例实施例中，处理系统240被配置成将传感器融合检测估计与现实世界的传感器融合检测进行比较。就这一点而言，处理系统240被配置成确定在对象的传感器融合检测估计与那些相同对象的现实世界传感器融合检测之间的差异。例如，处理系统240被配置成基于传感器融合检测估计与现实世界的传感器融合检测之间的比较来执行损失计算或至少一个差异计算。该特征在使得处理系统240能够微调GAN模型中是有利的，使得传感器融合检测估计的后续迭代比传感器融合检测估计的当前迭代更具真实感并且更符合现实世界的传感器融合检测。在执行该比较后，处理系统240被配置成继续进行到步骤310。
在步骤310处，在示例实施例中，处理系统240被配置成更新神经网络。更具体地，处理系统240被配置成基于从在步骤308处执行的比较中获得的比较度量来更新模型参数。例如，处理系统240被配置成基于损失计算或一个或多个差异计算的结果来改进经训练的GAN模型。在执行该更新后，处理系统240被配置成继续进行到步骤306，以在步骤312处确定训练阶段未完成时，根据更新的模型参数进一步训练GAN模型。替代地，处理系统被配置成在步骤312处确定该训练阶段足够和/或完成时，在步骤314处结束该训练阶段。
在步骤312处，在示例实施例中，处理系统240被配置成确定该训练阶段是否完成。例如，在示例实施例中，处理系统240被配置成当比较度量在特定阈值内时确定训练阶段完成。在示例实施例中，处理系统240被配置成在确定神经网络（例如，至少一个GAN模型）已经利用预定量的训练数据（或足够量的训练数据）来被训练时，确定训练阶段完成。在示例实施例中，当处理系统240经由GAN模型生成准确且可靠的传感器融合检测估计时，训练阶段被确定为足够和/或完成。在示例实施例中，处理系统240被配置成在接收到训练阶段完成的通知时确定训练阶段完成。
在步骤314处，在示例实施例中，处理系统240被配置成结束该训练阶段。在示例实施例中，在完成该训练阶段后，神经网络可部署以供使用。例如，在图1中，模拟系统100和/或处理系统110被配置成从图2的存储器系统230获得至少一个经训练的神经网络模型（例如，经训练的GAN模型）。此外，在示例实施例中，如在图1中所示，模拟系统100被配置成采用经训练的GAN模型来生成或辅助生成用于模拟的真实感传感器融合检测估计。
图4是根据示例实施例的方法400的示例，该方法400用于利用对象的真实感传感器融合检测估计来生成模拟。在示例实施例中，模拟系统100、特别是处理系统110被配置成执行在图4中所示的步骤中的至少每一个。如前面提及的，一旦生成了模拟，则模拟系统100就被配置成向应用系统10提供这些模拟，从而使能对应用系统10的一个或多个部件的成本有效的开发和评估。
在步骤402处，在示例实施例中，处理系统110被配置成获得模拟数据，该模拟数据包括具有至少一个模拟场景的至少一个可视化的模拟程序。例如，在示例实施例中，场景的可视化至少包括三通道像素图像。更具体地，作为非限制性示例，三通道像素图像被配置成例如以任何次序包括具有车辆20的位置的第一通道、具有模拟对象（例如，动态模拟对象）的位置的第二通道以及具有地图数据的第三通道。在这种情况下，地图数据包括来自高清晰度地图的信息。对三通道像素图像的使用——其中在不同的通道中提供模拟对象——在使能模拟对象的高效处理中是有利的。此外，在示例实施例中，每个可视化包括从任何合适的视图（例如，俯视图、侧视图等）来看的相应的场景、情境和/或条件（例如，雪、雨等）。例如，与其他视图相比，在区域内模拟对象的模板版本的二维（2D）俯视图情况下的场景的可视化相对方便和容易生成，同时对于处理系统110而言也相对方便和容易处理。
在示例实施例中，模拟对象是可能在该环境的区域中遇到的现实世界对象（例如，行人、建筑物、动物、车辆等）的表示。在示例实施例中，这些表示是这些现实世界对象的模型版本或模板版本（例如非基于传感器的版本），因此与现实世界检测相比，其不是对于车辆处理系统30的准确或真实感的输入，所述现实世界检测在现实世界驾驶期间由车辆220的传感器220A捕获。在示例实施例中，模板版本至少包括如在模拟内被限定的对象的各种属性数据。例如，属性数据可以包括大小数据、形状数据、位置数据、对象的其他特征、任何合适的数据或其任何组合。就这一点而言，生成包括模拟对象的模板版本的场景的可视化由于这允许以快速且便宜的速率生成各种情境和场景而是有利的，这是因为这些可视化可以被开发而不必计及各种传感器将如何在环境中检测这些模拟对象。作为非限制性示例，例如，在图8A中，模拟数据包括可视化800A，该可视化800A是地理区域的2D俯视图，其包括交叉口附近的道路连同各种对象的模板版本，所述各种对象诸如静止对象（例如，建筑物、树木、固定的道路特征、车道标记等）和动态对象（例如其他车辆、行人等）。在获得模拟数据后，处理系统110执行步骤404。
在步骤404处，在示例实施例中，处理系统110被配置成为每个模拟对象生成传感器融合检测估计。例如，响应于接收到模拟数据（例如，场景的可视化）作为输入，处理系统110被配置成实现或采用至少一个经训练的GAN模型，以直接响应于输入来生成传感器融合表示和/或传感器融合检测估计。更具体地，处理系统110被配置成实现一种方法，所述方法用于提供具有传感器融合检测估计的模拟。就这一点而言，例如，下面讨论两个不同的方法，其中第一个方法牵涉图像到图像的变换，并且第二个方法牵涉图像到轮廓的变换。
作为第一个方法，在示例实施例中，处理系统110与经训练的GAN模型一起被配置成执行图像到图像的变换，使得具有至少一个模拟对象的场景的可视化被变换成具有模拟对象的传感器融合表示的传感器融合占用图的估计。在这种情况下，传感器融合占用图的估计是移动机器（例如，车辆20）将在现实世界驾驶期间生成的现实世界传感器融合占用图的基于机器学习的表示。例如，处理系统110被配置成获得具有至少一个场景的至少一个可视化的模拟数据，所述具有至少一个场景的至少一个可视化包括三通道图像或任何合适的图像。更具体地，在示例实施例中，处理系统110经由经训练的GAN模型被配置成将具有模拟对象的场景的可视化变换成具有那些模拟对象的对应传感器融合表示的传感器融合占用图（例如，512×512像素图像或任何合适的图像）。作为非限制性示例，例如，传感器融合占用图包括具有一个或多个像素的传感器融合表示，所述一个或多个像素具有指示对象占用的像素数据（例如，像素颜色）（和/或与每个像素的对象占用相关的概率数据）。就这一点而言，例如，在获得场景的可视化（例如，图8A的图像800A）后，处理系统110被配置成生成传感器融合占用图的估计，该传感器融合占用图的估计与图8B的图像800B类似之处在于传感器融合表示对应于基于情境以真实感的方式的模拟对象的检测，但是与图像800B不同之处在于传感器融合占用图还不包括如图8B中所示的对应模拟对象的对象轮廓数据。
此外，对于该第一个方法，在生成具有对应于模拟对象的传感器融合表示的传感器融合占用图之后，处理系统110被配置成执行对象轮廓提取。更具体地，例如，处理系统110被配置成从占用图获得对象信息（例如，大小和形状数据）。此外，处理系统110被配置成将具有对象指示符或对象标记的像素标识为对应于模拟对象的传感器融合数据。例如，处理系统110被配置成将一个或多个像素颜色（例如，深像素颜色）标识为具有相对高的概率是表示对应模拟对象的传感器融合数据，并且将那些像素聚类在一起。在标识对应于模拟对象的传感器融合表示的像素后，处理系统110然后被配置成获得对应于模拟对象的传感器融合数据的像素群集的轮廓线，并且将该轮廓线呈现为对象轮廓数据。在示例实施例中，处理系统110被配置成提供对象轮廓数据作为对应模拟对象的传感器融合检测估计。
作为第二个方法，在示例实施例中，处理系统110被配置成接收具有至少一个模拟对象的场景的可视化。例如，作为输入的非限制性示例，处理系统110经由至少一个经训练的GAN模型被配置成接收场景的可视化，该场景的可视化包括具有与环境有关的足够量的上下文信息的中心区域中的至少一个模拟对象。作为输入的另一个示例，处理系统110经由至少一个经训练的GAN模型被配置成接收场景的可视化，该场景的可视化包括至少一个模拟对象连同在数据向量中提供的附加信息。例如，在非限制性示例中，数据向量被配置成包括与模拟对象相关的附加信息，诸如从该模拟对象到车辆10的距离、与模拟对象和车辆10之间的其他车辆有关的信息、环境条件（例如，天气信息）、其他的相关信息或其任何组合。
此外，对于该第二个方法，在接收到模拟数据作为输入后，处理系统110经由经训练的GAN模型被配置成将来自可视化的每个模拟对象直接变换成对应的传感器融合检测估计，该对应的传感器融合检测估计包括对象轮廓数据。就这一点而言，例如，对象轮廓数据包括合适数目的点，所述合适数目的点标识表示该模拟对象的传感器融合数据的边界轮廓线的估计。例如，作为非限制性示例，处理系统110被配置成生成对象轮廓数据，该对象轮廓数据以米为单位针对2D空间进行缩放，并且包括以下点：（1.2，0.8）、（1.22，0.6）、（2.11，0.46）、（2.22，0.50）、（2.41，0.65）和（1.83，0.70）。就这一点而言，对象轮廓数据有利地提供了对传感器融合数据的边界估计的指示，该传感器融合数据的边界估计表示了如将由传感器融合系统以具有相对低的存储器消耗的高效方式检测的对象检测。
对于与步骤404相关联的第一个方法或第二个方法，处理系统110被配置成根据现实世界的传感器融合系统将如何在该场景中检测这样的对象来为每个模拟对象生成或提供适当的传感器融合检测估计。在示例实施例中，处理系统110被配置成在个体基础上为每个模拟对象生成每个传感器融合检测估计。作为另一个示例，处理系统110被配置成同时为一组或多组模拟对象生成或提供传感器融合检测估计。作为又一示例，处理系统110被配置成同时为所有模拟对象生成或提供传感器融合检测估计。在示例实施例中，处理系统110被配置成提供对象轮廓数据作为模拟对象的传感器融合检测估计。在获得一个或多个传感器融合检测估计之后，处理系统110继续进行到步骤406。
在步骤406处，在示例实施例中，处理系统110被配置成将传感器融合检测估计应用于至少一个模拟步骤。更具体地，例如，处理系统110被配置成生成模拟场景，该模拟场景包括至少一个场景的至少一个可视化，所述至少一个场景的至少一个可视化具有取代模拟对象模板的至少一个传感器融合检测估计。就这一点而言，模拟可以包括：在将提取的对象数据变换成传感器融合检测估计的情况下的场景可视化，或者具有取代提取的对象数据的传感器融合检测估计的新生成的场景可视化。在应用或包括传感器融合检测估计作为模拟的一部分后，处理系统110被配置成继续进行到步骤408。
在步骤408处，在示例实施例中，处理系统110被配置成将模拟传输到应用系统10，使得模拟在诸如车辆处理系统30的应用系统10的一个或多个部件上被执行。例如，处理系统110被配置成向轨迹系统、规划系统、运动控制系统、预测系统、车辆引导系统、任何合适的系统或其任何组合提供该模拟。更具体地，例如，处理系统110被配置成将具有传感器融合检测估计的模拟提供给规划系统，或者将传感器融合检测估计转换成不同的数据结构或简化表示以供更快速的处理。利用该真实感的输入，应用系统10被提供有诸如反馈数据和/或性能数据之类的信息，其使得应用系统10的一个或多个部件能够基于牵涉各种情境的模拟以成本有效的方式被评估和改进。
图5A和图5B是根据示例实施例的与相对于传感器系统而感测环境相关的概念图解。就这一点而言，图5A是与传感器组相关的现实世界对象505的概念图解，该传感器组在数据收集过程210期间与车辆220相关联。更具体地，图5A示出了可由传感器组检测的对象505，该传感器组至少包括具有在线502之间指定的第一感测视图的第一传感器220A1（例如，LIDAR传感器）和具有在线504之间指定的第二感测视图的第二传感器220A2（例如，相机传感器）。在这种情况下，第一传感器220A1和第二传感器220A2具有对象505被定位于其中的重叠的感测范围。同时，图5B是基于该传感器组的图5A的对象的传感器融合检测508的概念图解。如在图5B中所示，传感器融合检测508包括对象505的第一侧505A和第二侧505B的准确表示，但是包括对象505的第三侧505C和第四侧505D的不准确表示。在该非限制性情境中，实际对象505与其传感器融合检测508之间的差异可能由于传感器、阻挡、定位问题、任何其他问题或其任何组合所致。如图5A和图5B所表明，由于对象505的传感器融合检测508不产生与实际对象505本身的精确匹配，因此使用包括与对象505的实际传感器融合检测508相匹配或更紧密相似的基于传感器的表示在内的模拟数据在对车辆220将在现实世界驾驶期间接收的真实感基于传感器的输入进行模拟中是有利的。
图6A和图6B是与感测环境相关的概念图解，该环境包括与传感器系统相关的两个对象。在该示例中，如在图6A中所示，第一对象604和第二对象605二者在至少一个传感器220A的感测范围中。同时，图6B是至少基于传感器220A的传感器数据的第一对象604和第二对象605的传感器融合检测608的概念图解。如在图6B中所示，传感器融合检测608包括第一对象604的第一侧604A和第二侧604B的准确表示，但是包括第一对象604的第三侧604C和第四侧604D的不准确表示。另外，如在图6B中所示，传感器220A没有检测到第二对象605，至少因为第一对象604阻挡传感器220A检测到第二对象606。如图6A和图6B所表明，在包括第一对象604和第二对象605的实际场景与其包括传感器融合检测608的基于传感器的表示之间存在多个差异。这些差异突出了使用具有基于传感器的数据的模拟数据的优点，该基于传感器的数据与对象604和对象605二者的实际传感器融合检测608相匹配或更紧密相似，车辆220将在现实世界驾驶期间从其传感器系统接收该基于传感器的数据。
图7是示出根据示例实施例的与那些相同对象的现实世界传感器融合检测704相关的现实世界对象702的叠加700的概念图解。此外，叠加700还包括原始传感器数据706（例如，LIDAR数据）。此外，作为参考，叠加700包括车辆708的可视化，该车辆708的可视化包括感测环境并且生成该原始传感器数据706的传感器系统。更具体地，在图7中，现实世界对象702由第一颜色（例如蓝色）的多边形表示，并且现实世界传感器融合检测704由第二颜色（例如红色）的多边形表示。此外，图7还包括传感器融合检测估计710（或对象轮廓数据710）的一些示例。如该叠加700所示，在真实对象702的一般边界与现实世界传感器融合检测704的一般边界之间存在差异。这些差异示出了在应用系统10的一个或多个部件的开发中使用与现实世界的传感器融合检测704更紧密匹配的模拟数据的优点，因为不具真实感的表示以及甚至微小的差异可能导致错误的技术开发。
图8A和图8B图示了根据示例实施例的具有地理区域的俯视图的不同可视化的图像的非限制性示例。此外，为了讨论目的，包括各种传感器的车辆的位置802在图8A和图8B中示出。更具体地，图8A图示了第一图像800A，其是地理区域的2D俯视图可视化。在这种情况下，第一图像800A指代具有相对明确限定的对象的图像，诸如具有模拟对象的场景的可视化或具有注释对象的现实世界图像。地理区域包括多个现实的和可检测的对象。例如，在该非限制性示例中，该地理区域包括由车道标记（例如，车道标记804A、806A、808A、810A、812A、814A、816A和818A）和其他标记（例如，停止标记820A）限定的多个车道。此外，该地理区域包括多个建筑物（例如，商业建筑822A、第一住宅824A、第二住宅826A、第三住宅828A和第四住宅830A）。该地理区域还包括至少一个自然的可检测的对象（例如树木832A）。此外，该地理区域包括多个移动对象，例如，在第一方向上行驶的五个其他车辆（例如，车辆834A、836A、838A、840A和842A），在第二方向上行驶的三个其他车辆（例如，车辆844A、846A和848A），以及在第三方向上行驶的两个其他车辆（例如，车辆850A和852A）。
图8B是根据示例实施例的对应于图8A的第一图像800A的第二图像800B的非限制性示例的图解。在这种情况下，第二图像800B是地理区域的俯视图可视化，其包括基于传感器融合的对象。就这一点而言，第二图像800B表示具有对象的基于传感器的表示（例如，现实世界的传感器融合检测或者传感器融合检测估计）的地理区域的显示。如所示出的，使得车辆基于其位置802能够经由其各种传感器为大多数商业建筑822A提供传感器融合建筑检测822B。此外，使得车辆能够经由其传感器为住宅824A和825A中的两个的一些部分提供传感器融合住宅检测824B和825B，但是不能够检测另外两个住宅828A和830A。此外，使得车辆能够经由其多个传感器和其他的相关数据（例如，地图数据）生成车道标记804B、806B、808B、810B、812B、814B、816B和818B的指示以及除了交叉口内的车道的一些部分之外的停止标记820B的指示。此外，为树木832A的一些部分生成传感器融合树木检测832B。此外，传感器融合移动对象检测836B和846B指示获得不同级别的移动对象的基于传感器的数据，所述不同级别的移动对象诸如车辆836A的大部分、车辆846B的微小部分以及车辆834A的无部分。
如本文中所述，模拟系统100提供了多个有利的特征以及益处。例如，模拟系统100当被应用于自主或半自主车辆20的开发时被配置成向车辆20的一个或多个部件提供模拟作为真实感的输入。例如，模拟系统100被配置成向轨迹系统、规划系统、运动控制系统、预测系统、车辆引导系统、任何合适的系统或其任何组合提供模拟。此外，通过提供具有传感器融合检测估计的模拟——该传感器融合检测估计与在现实世界驾驶期间获得的现实世界传感器融合检测相同或非常类似，模拟系统100被配置成以安全且成本有效的方式有助于自主或半自主车辆20的开发，同时还减少安全关键行为。
此外，模拟系统100采用经训练的机器学习模型，该经训练的机器学习模型被有利地配置用于传感器融合检测估计。更具体地，如上面所讨论的，模拟系统100包括经训练的机器学习模型（例如，GAN、DNN等），其被配置成根据诸如车辆20的移动机器将如何在现实世界驾驶期间经由传感器融合系统提供这样的数据来生成传感器融合表示和/或传感器融合检测估计。尽管经由移动机器的对象的传感器融合检测根据各种因素（例如，距离、传感器位置、遮挡、大小、其他参数或其任何组合）而变化，但是经训练的GAN模型仍然被训练为根据现实使用情况来生成或主要有助于生成这些对象的真实感传感器融合检测估计，从而计及这些各种因素并且向应用系统10的一个或多个部件提供真实感的模拟。
此外，模拟系统100被配置成经由相同的经训练的机器学习模型（例如经训练的GAN模型）提供各种表示和变换，从而改进模拟系统100及其评估的鲁棒性。此外，模拟系统100被配置成通过以高效且有效的方式在各种情境中变换或生成取代对象数据的传感器融合表示和/或传感器融合检测估计来生成大量的模拟，从而导致用于自主或半自主车辆20的更安全系统的更快速开发。
也就是说，以上描述旨在是说明性的，而不是限制性的，并且在特定应用及其要求的上下文中提供。本领域技术人员可以从前述描述中领会到，本发明可以以多种形式被实现，并且各种实施例可以单独或组合地被实现。因此，虽然已经结合本发明的特定示例描述了本发明的实施例，但是在不脱离所描述的实施例的精神和范围的情况下，本文中限定的一般原理可以应用于其他的实施例和应用，并且本发明的实施例和/或方法的真实范围不限于所示出和描述的实施例，因为在研究附图、说明书和下面的权利要求书后，各种修改对于有技术的实践者而言将变得清楚。例如，部件和功能可以以不同于各种所描述的实施例的方式来被分离或组合，并且可以使用不同的术语来被描述。这些和其他变型、修改、添加和改进可以落入如在随后的权利要求书中限定的本公开的范围内。

Claims (20)

1.一种用于生成真实感模拟的系统，所述系统包括：
非暂时性计算机可读介质，其包括场景的可视化，所述场景的可视化包括在区域内的模拟对象的模板；
处理系统，其可通信地连接到所述非暂时性计算机可读介质，所述处理系统包括至少一个处理设备，并且被配置成执行实现方法的计算机可读数据，所述方法包括：
在接收到可视化作为输入后，生成模板的传感器融合表示；以及
利用模拟对象的传感器融合检测估计而不是在区域内的模板来生成场景的模拟，所述传感器融合检测估计包括指示传感器融合表示的边界的对象轮廓数据。
2. 根据权利要求1所述的系统，其中：
所述处理系统被配置成经由经训练的机器学习模型生成模拟对象的传感器融合表示；并且
利用（i）在车辆的现实世界驾驶期间从传感器获得的传感器融合数据和（ii）从传感器融合数据之中标识对象检测的对象轮廓数据的注释来训练经训练的机器学习模型。
3. 根据权利要求1所述的系统，其中：
所述处理系统被配置成经由经训练的生成型对抗性网络（GAN）模型直接从可视化生成传感器融合占用图，其中传感器融合表示是传感器融合占用图的一部分；并且
所述处理系统被配置成基于传感器融合占用图的占用标准提取对象轮廓数据，并且提供对象轮廓数据作为传感器融合检测估计。
4.根据权利要求1所述的系统，其中，所述可视化包括多通道像素图像，其中，所述模拟对象处于与其他通道不同的用于模拟对象的通道中。
5. 根据权利要求1所述的系统，其中：
所述处理系统被配置成接收模拟对象的位置数据作为输入连同可视化，以经由经训练的生成型对抗性网络（GAN）模型生成模拟对象的传感器融合表示；并且
传感器融合表示包括用作传感器融合检测估计的对象轮廓数据。
6.根据权利要求1所述的系统，其中所述可视化包括在区域内的模拟对象的二维俯视图。
7.根据权利要求1所述的系统，其中所述传感器融合表示基于多个传感器，所述多个传感器至少包括相机、基于卫星的传感器、光检测和测距传感器以及雷达传感器。
8.一种计算机实现的方法，包括：
经由具有至少一个计算机处理器的处理系统获得场景的可视化，所述场景的可视化包括在区域内的模拟对象的模板；
在接收到可视化作为输入后，经由所述处理系统生成模板的传感器融合表示；以及
经由所述处理系统，利用模拟对象的传感器融合检测估计而不是在区域内的模板来生成场景的模拟，所述传感器融合检测估计包括指示传感器融合表示的边界的对象轮廓数据。
9.根据权利要求8所述的方法，其中模拟对象的传感器融合表示经由采用经训练的机器学习模型来被生成；并且
至少利用（i）在车辆的现实世界驾驶期间从传感器获得的传感器融合数据和（ii）从传感器融合数据之中标识对象检测的对象轮廓数据的注释来训练经训练的机器学习模型。
10.根据权利要求8所述的方法，其中：
在接收到可视化作为输入后生成模板的传感器融合表示的步骤包括：经由经训练的生成型对抗性网络（GAN）模型生成传感器融合占用图，其中传感器融合表示被生成为传感器融合占用图的一部分；
基于传感器融合占用图的占用标准提取对象轮廓数据；并且
提供对象轮廓数据作为传感器融合检测估计。
11.根据权利要求8所述的方法，其中，所述可视化包括多通道像素图像，其中，所述模拟对象处于与其他通道不同的用于模拟对象的通道中。
12.根据权利要求8所述的方法，进一步包括：
获得模拟对象的位置数据作为输入连同可视化，以经由经训练的生成型对抗性网络（GAN）模型生成模拟对象的传感器融合表示；
其中：
传感器融合表示包括用作传感器融合检测估计的对象轮廓数据。
13.根据权利要求8所述的方法，其中所述可视化包括在区域内的模拟对象的二维俯视图。
14.根据权利要求8所述的方法，其中所述传感器融合表示基于多个传感器，所述多个传感器至少包括相机、基于卫星的传感器、光检测和测距传感器以及雷达传感器。
15.一种具有计算机可读数据的非暂时性计算机可读介质，所述计算机可读数据当由计算机处理器执行时被配置成实现一种方法，所述方法包括：
获得场景的可视化，所述场景的可视化包括在区域内的模拟对象的模板；
在接收到可视化作为输入后，生成模板的传感器融合表示；以及
利用模拟对象的传感器融合检测估计而不是在区域内的模板来生成场景的模拟，所述传感器融合检测估计包括指示传感器融合表示的边界的对象轮廓数据。
16. 根据权利要求15所述的计算机可读介质，其中：
所述模拟对象的传感器融合表示经由经训练的机器学习模型来被生成；并且
利用（i）在车辆的现实世界驾驶期间从传感器获得的传感器融合数据和（ii）从传感器融合数据之中标识对象检测的对象轮廓数据的注释来训练经训练的机器学习模型。
17.根据权利要求15所述的计算机可读介质，其中所述方法包括：
经由经训练的生成型对抗性网络（GAN）模型生成传感器融合占用图，其中传感器融合表示是传感器融合占用图的一部分；
基于传感器融合占用图的占用标准提取对象轮廓数据；以及
提供对象轮廓数据作为传感器融合检测估计。
18.根据权利要求15所述的计算机可读介质，其中，所述可视化包括多通道像素图像，其中，所述模拟对象处于与其他通道不同的用于模拟对象的通道中。
19. 根据权利要求15所述的计算机可读介质，其中所述方法包括：
获得模拟对象的位置数据作为输入连同可视化，以经由经训练的生成型对抗性网络（GAN）模型生成模拟对象的传感器融合表示；以及
传感器融合表示包括作为传感器融合检测估计的对象轮廓数据。
20.根据权利要求15所述的计算机可读介质，其中所述可视化是在区域内的模拟对象的二维俯视图。
CN202010488937.3A 2019-06-03 2020-06-02 具有对象的真实感传感器融合检测估计的模拟 Pending CN112036427A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/429,381 US20200380085A1 (en) 2019-06-03 2019-06-03 Simulations with Realistic Sensor-Fusion Detection Estimates of Objects
US16/429381 2019-06-03

Publications (1)

Publication Number Publication Date
CN112036427A true CN112036427A (zh) 2020-12-04

Family

ID=73264699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010488937.3A Pending CN112036427A (zh) 2019-06-03 2020-06-02 具有对象的真实感传感器融合检测估计的模拟

Country Status (3)

Country Link
US (1) US20200380085A1 (zh)
CN (1) CN112036427A (zh)
DE (1) DE102020206705A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7046786B2 (ja) * 2018-12-11 2022-04-04 株式会社日立製作所 機械学習システム、ドメイン変換装置、及び機械学習方法
US11810225B2 (en) * 2021-03-30 2023-11-07 Zoox, Inc. Top-down scene generation
US11858514B2 (en) 2021-03-30 2024-01-02 Zoox, Inc. Top-down scene discrimination
US12217515B2 (en) 2022-06-30 2025-02-04 Zoox, Inc. Training a codebook for trajectory determination
US12311972B2 (en) * 2022-06-30 2025-05-27 Zoox, Inc. Conditional trajectory determination by a machine learned model
US12339658B2 (en) 2022-12-22 2025-06-24 Zoox, Inc. Generating a scenario using a variable autoencoder conditioned with a diffusion model
US12353979B2 (en) 2022-12-22 2025-07-08 Zoox, Inc. Generating object representations using a variable autoencoder

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160314224A1 (en) * 2015-04-24 2016-10-27 Northrop Grumman Systems Corporation Autonomous vehicle simulation system
US9836895B1 (en) * 2015-06-19 2017-12-05 Waymo Llc Simulating virtual objects
JP2018128897A (ja) * 2017-02-09 2018-08-16 国立大学法人名古屋大学 対象物の姿勢等を検出する検出方法、検出プログラム
CN109643125A (zh) * 2016-06-28 2019-04-16 柯尼亚塔有限公司 用于训练自动驾驶系统的逼真的3d虚拟世界创造与模拟
US20190156485A1 (en) * 2017-11-21 2019-05-23 Zoox, Inc. Sensor data segmentation

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11157527B2 (en) * 2018-02-20 2021-10-26 Zoox, Inc. Creating clean maps including semantic information
US10981564B2 (en) * 2018-08-17 2021-04-20 Ford Global Technologies, Llc Vehicle path planning
US11579629B2 (en) * 2019-03-15 2023-02-14 Nvidia Corporation Temporal information prediction in autonomous machine applications

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160314224A1 (en) * 2015-04-24 2016-10-27 Northrop Grumman Systems Corporation Autonomous vehicle simulation system
US9836895B1 (en) * 2015-06-19 2017-12-05 Waymo Llc Simulating virtual objects
CN109643125A (zh) * 2016-06-28 2019-04-16 柯尼亚塔有限公司 用于训练自动驾驶系统的逼真的3d虚拟世界创造与模拟
JP2018128897A (ja) * 2017-02-09 2018-08-16 国立大学法人名古屋大学 対象物の姿勢等を検出する検出方法、検出プログラム
US20190156485A1 (en) * 2017-11-21 2019-05-23 Zoox, Inc. Sensor data segmentation

Also Published As

Publication number Publication date
DE102020206705A1 (de) 2020-12-03
US20200380085A1 (en) 2020-12-03

Similar Documents

Publication Publication Date Title
CN112036427A (zh) 具有对象的真实感传感器融合检测估计的模拟
US10453256B2 (en) Lane boundary detection data generation in virtual environment
Máttyus et al. Hd maps: Fine-grained road segmentation by parsing ground and aerial images
CN109643125B (zh) 用于训练自动驾驶系统的逼真的3d虚拟世界创造与模拟
JP6568587B2 (ja) 道路の３次元モデルのモデリング方法、装置及び記憶媒体
JP6595182B2 (ja) マッピング、位置特定、及び姿勢補正のためのシステム及び方法
JP2019144538A (ja) 電子地図を更新する方法、装置、およびコンピュータ読み取り可能な記憶媒体
CN110388931A (zh) 将对象的二维边界框转换成自动驾驶车辆的三维位置的方法
CN110389585A (zh) 用于自动驾驶车辆的基于学习的速度规划器
US20240017747A1 (en) Method and system for augmenting lidar data
KR102218881B1 (ko) 차량 위치 결정 방법 및 시스템
GB2544634A (en) Testbed for lane boundary detection in virtual driving environment
CN109429518A (zh) 基于地图图像的自动驾驶交通预测
US20230150550A1 (en) Pedestrian behavior prediction with 3d human keypoints
TWI725681B (zh) 無人載具語意地圖建置系統及其建置方法
CN112212874A (zh) 车辆轨迹预测方法、装置、电子设备及计算机可读介质
CN115292913A (zh) 一种面向车路协同的路测感知仿真系统
US11176823B2 (en) Enhanced vehicle operation
JP2021179624A (ja) 地図データ生成方法
Zhao et al. Point cloud automatic annotation framework for autonomous driving
CN109520513B (zh) 一种三维地图绘制方法及装置
KR102384429B1 (ko) 도로지도 구축을 위한 도로 혼잡 위치 판별 및 재조사 경로 생성 방법
CN112747757B (zh) 用于提供雷达数据的方法和设备、计算机程序和计算机可读存储介质
CN114677662A (zh) 一种车辆前方障碍状态预测方法、装置、设备及存储介质
CN115345944A (zh) 外参标定参数确定方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination