CN112673379B - 动态空间场景分析 - Google Patents

Abstract

本发明涉及一种用于准备动态空间场景(10)的数据的方法和系统(100)、一种用于训练人工神经网络(1)的经计算机支持的方法和系统(200)以及一种用于分析传感器数据的经计算机支持的方法和系统(300)。产生了从自主对象(11a)的角度看被其它对象(12、12a、12b、12c)遮盖的角扇区的时间变化曲线的图示(20)。为此由传感器数据求出时间变化曲线，其中，传感器数据适用于表征涉及到自主对象(11a)和至少一个其它对象(12、12a、12b、12c)的动态空间场景(10)。

Description

动态空间场景分析

技术领域

本发明涉及一种用于准备动态空间场景的数据以通过人工神经网络处理的方法和系统、一种用于训练人工神经网络的经计算机支持的方法和系统以及一种用于分析传感器数据的经计算机支持的方法和系统。

背景技术

现代车辆越来越多地装备有驾驶员辅助系统(英文缩写ADAS，即高级驾驶员辅助系统)，其在特定的驾驶状况中支持驾驶员。所述支持从纯粹显示可能的重要的信息(例如通过变道助手发出警告)到半自动介入(例如通过防抱死系统调节施加到车轴上的力矩)直至全自动介入车辆的控制(例如通过车距调节速度控制器适应性调节速度，英文缩写为ACC，即自适应巡航控制)。

传感器数据，例如超声传感器、雷达传感器或相机的所提供的信号，通常形成了这种驾驶员辅助系统的基础，借助传感器数据可以确定当前的行驶状况并且对当前的行驶状况作出反应地实施相应的驾驶员辅助系统的功能。特别是在(自动)介入车辆的控制的驾驶员辅助系统中，必须能够借助传感器数据高度可靠地对当前的行驶状况进行分类。

通常会制定特定的、配属于行驶状况的规则或标准，在满足所述规则或标准时可以推断出存在已知的行驶状况。符合所述规则或标准在此例如用作驾驶员辅助系统行动的触发条件。可以例如由此识别在自主车辆前的、即在所述的装备有驾驶员辅助系统的车辆前的相邻的车辆并道到相同的车道中的交通场景，即，用传感器检测到的垂直于行驶方向的与相邻车辆的横向的间距减小并且最终在相邻的车辆直接处在自主车辆之前时至少基本上占据值0。

对适用于(可靠地)识别这种行驶状况或场景的算法的编程，通常极为昂贵并且特别是在大量有待考虑到的行驶状况中必要时甚至是不可能的。因此越来越多地使用机器学习来自动寻找传感器数据中表明行驶状况的特征。基础性的传感器数据通常涉及例如针对不同的行驶状况手动分类后的传感器数据(英文为labeled sensor data，即标记后的传感器数据)，人工神经网络例如可以借助分类后的传感器数据提取出针对相应的行驶状况的重要的标准。在此，经分类的传感器数据通常必须以预定的形式存在，这就是说，必须相应地准备，以便能让人工神经网络合理地处理。

所谓的网格地图(英文grid maps)是一种用于这种准备的实践方案，网格地图鸟瞰地示出了相应的行驶状况。通过例如将相应的交通参与者的所有随时间经过占据的位置画在相应的网格地图中，在此重现了基本的行驶状况的动态。

这种网格地图例如在格鲁纳等人的《驾驶场景的时空表达和使用神经网络的分类》(2017年，IEEE智能车大会，1782-1788页)中讨论。

在Cara和de Gelder的《使用机器学习对安全性重要的车辆-骑车人场景分类》(2015年，IEEE，第18届智能交通系统国际大会，1955-2000页)中比较了用于对车辆-骑车人-场景进行分类的算法。在此，在监督学习(supervised learning)时使用标记后的对象(labeled objects)的训练集，以便训练所谓的分类器(classifier)。训练后，分类器有能力这样来标记新的未知的场景，即，将所述场景分配给预估的类别。

发明内容

本发明的任务是，进一步改进对适用于表征涉及到自主对象和至少一个其它对象的动态空间场景的传感器数据的处理。本发明的任务尤其是，改进对这些用于通过人工神经网络进行处理的传感器数据的准备、特别是防止或至少减少准备时的信息损失。

该任务通过根据独立权利要求所述的一种用于数据准备的方法和系统、一种用于训练人工神经网络的方法和系统以及一种用于分析传感器数据的方法和系统解决。

本发明的第一个方面涉及一种用于准备动态空间场景的、特别是交通场景的数据以用于通过人工神经网络处理的方法。在此产生从自主对象、特别是自主车辆的视角看的话被其它对象、特别是其它车辆遮盖的角扇区的时间变化曲线的图示。为此由传感器数据求出时间变化曲线，其中，传感器数据适用于表征涉及到自主对象和至少一个其它对象的动态空间场景。

空间场景根据本发明尤其由空间的、特别是静态的情景的时间序列形成。空间情景在此例如说明了至少一个其它对象相对自主对象的空间布置，例如交通参与者的状况。空间场景可以尤其包含一种行驶状况，在该行驶状况中，驾驶员辅助系统至少部分控制自主车辆，即所述的装备有驾驶员辅助系统的车辆，例如自动实施自主车辆的至少一个车辆功能。

动态根据本发明尤其意味着时间序列或时间变化曲线。交通场景例如是动态的，因为各个交通参与者随时间的推移相对彼此运动，这就是说，它们的位置相对彼此改变。

图示根据本发明尤其指的是图像的显示，例如图像或图表。图示优选包含了特别是二维或三维的图。图示备选或附加地也可以包含数学的图示，例如分配律或函数。图示可以例如在类似地图的图中显示从自主对象的角度看被其它对象遮盖的角扇区的时间变化曲线。

传感器数据根据本发明尤其是由真实的或模拟的传感器、特别是环境传感器产生的、特别是形式为信号的数据，这就是说，真实的或模拟的传感器数据。传感器在此优选设置用于检测自主车辆的周围环境并且产生相应的传感器数据，因而传感器数据表征自主车辆的周围环境。传感器数据优选涉及传感器-融合-数据，其由通过传感器提供的信号的组合得出并且必要时已经、至少至一定程度地处理过。

自主对象根据本发明尤其指的是这样一个对象，从该对象的角度来观察动态空间场景。自主对象可以例如是(自主)车辆，从该车辆的视角检测并且必要时分析和/或评估交通场景，例如以便能恰当地控制驾驶员辅助系统或者对所检测到的交通场景作出反应。因此例如准备用于进一步处理的传感器数据优选由自主车辆的环境传感器产生，其中，环境传感器、例如超声传感器、雷达传感器、相机和/或类似物设置用于检测自主车辆的周围环境。

角扇区根据本发明尤其指的是从自主对象的角度看被其它对象占据的区域。从自主车辆的视角看，角扇区例如与被其它车辆遮盖的区域对应。角扇区在此优选由对象的横截面或对象的轮廓限定。角扇区例如可以由横截面或轮廓沿着预定的方向、特别是沿水平方向的最大的伸展限定。

本发明尤其基于这样一种实践方案，即，在图示中对由传感器数据求出的关于动态空间场景、如交通状况的信息进行编码。图示因此也可以理解为是场景的抽象化并且尤其用于概括不同的信息类型，如对象的位置、平移、数量和/或类似信息。

图示优选基于角扇区的时间发展产生，在角扇区中，自主对象的视野被其它对象遮盖。借助角扇区可以在此特别是说明对象在空间情景中相对彼此的状况。图示优选是图像的、特别是二维或三维的图，其以抽象的方式显示对象相对彼此的位置和运动。对象的运动在图中可以例如由一种形状、特别是几何形状代表。

优选可以基于对这种图的分析找出表征性的形状。在此，形状尤其用于表征涉及到自主对象和至少一个其它对象的动态空间场景。换句话说，表征的形状是一种图案，其例如可以借助人工神经网络通过对一个这种图示、必要时也多个基于传感器数据产生的这种图示的分析找到。

相反，当用于不同的动态空间场景的表征性的形状或图案是已知的并且例如作为模板存在时，借助对图示的评估求出相应的动态空间场景。

动态空间场景的基于角扇区的时间发展的图示具有的优点是，它的信息内容与场景的变化无关或至少仅轻微相关。场景的不同的变型方案，例如实施得特别快的或特别慢的驾驶操作，虽然在图示中产生了不同的图，但有基本上相同的或至少相似的形状。

就自主车辆的视野而言被其它车辆遮盖并且因此示出了其它车辆相对自主车辆的位置的角扇区的绘制，例如针对时间产生了一种图案，该图案的形状表征由其它车辆执行的驾驶操作。若其它车辆例如远离自主车辆，那么被遮盖的角扇区例如变小，角扇区在接近时则相应变大。若其它车辆例如关于行驶方向在自主车辆辆侧向运动，那么被遮盖的角扇区就移动。在此产生的例如具有表征性的曲率的图案，然后能可靠地分配给一种驾驶操作，即使所述图根据驾驶操作的、例如进攻性或防守性的驾驶操作的执行，通常发生改变，如压缩或伸展。

角扇区的时间发展的图示因此允许了，以紧凑的方式概括不同类型的信息。因为在此示出了延时，所以避免或至少减少了例如图像元素的重叠和与之相关的信息损失。同时可以因此例如节省存储空间并且加速对传感器数据的评估。所述图示同时使得能可靠地鉴别动态空间场景。

针对网格地图，角扇区的时间发展的图示例如具有这样的优点，即，可以通过小得多的数据集画出相同的信息。在网格地图中，没有被其它车辆占用的各个像素(这就是说“空”像素)，例如并不有助于可以例如被人工神经网络使用的信息含量。训练人工神经网络所需的数据集，尤其可以通过使用角扇区的时间发展的图示减少了27倍。

总体上本发明使得能进一步改进对传感器数据的处理。尤其可以例如以如下方式改进用于通过人工神经网络进行处理的传感器数据的准备，即，防止或至少减少准备时的信息损失。

接下来说明本发明的优选的实施方式和它们的扩展设计方案，它们能任意相互组合以及与本发明的接下来还要说明的方面组合，倘若没有明确排除这一点的话。

在一种优选的实施方式中，将所述图示输出给人工神经网络或者提供用于通过人工神经网络进行处理。图示例如可以作为数据包、特别是作为数字图像储存在存储介质上或者通过接口直接传输给人工神经网络。由此也可以使用大量传感器数据用于训练人工神经网络、特别是用于求出图示中表征预定的场景的图案，例如图示中的图形的形状。

本发明的第二个方面涉及一种经计算机支持的、用于基于传感器数据训练人工神经网络的方法，传感器数据适用于表征涉及到自主对象和至少一个其它对象的已知的动态空间场景。在此基于传感器数据产生了角扇区的时间变化曲线的图示，所述角扇区从自主对象的、特别是自主车辆的角度看被其它对象、特别是其它车辆遮盖。所产生的图示和有关空间场景的信息一起被输送给人工神经网络。由此可以特别快速和可靠地训练人工神经网络以识别表征不同的场景的图案。

有关空间场景的信息在此优选包含对场景的分类(英文label，即标签)的提示，借助所述提示优选能清楚明确地鉴别场景。所述信息在此可以已经包含在传感器数据中，例如当涉及到由模拟器在模拟特定场景时产生的模拟的传感器数据时。但所述信息备选也可以作为单独的数据流输送给人工神经网络，例如当传感器数据之前已经加以分析并且关于至少一个场景分类时。这种分类可以尤其例如通过分析与传感器数据对应的图像流手动地进行。

本发明的第三个方面涉及一种经计算机支持的、用于分析传感器数据的方法，所述传感器数据适用于表征涉及到自主对象和至少一个其它对象的动态空间场景。在此基于传感器数据产生了角扇区的时间变化曲线的图示，所述角扇区从自主对象的、特别是自主车辆的角度看被其它对象、特别是其它车辆遮盖。将所产生的图示与已知的动态空间场景的至少一个预定义的模板相比较。由此可以借助例如由车辆的环境传感器提供的传感器数据流特别快速和可靠地识别已知的场景的存在。

预定义的模板优选是角扇区的时间发展的通用图示，该图示例如包含一个场景的所有重要的表征性的图案。预定义的模板例如可以是一种图示，其包含至少一个图形，该图形的形状表征车辆的一种驾驶操作，该驾驶操作在交通场景的范畴内实施。

预定义的模板优选基于多个表征已知的动态空间场景的图示求出。多个表征已知的场景的图示，尤其可以被求平均。这些图示在此可以例如事先由关于场景进行分类后的传感器数据产生。由此可以在将所产生的图示与预定义的模板比较时达到很高程度的可靠性。

在一种优选的实施方式中，基于所述比较对动态空间场景进行分类，例如通过将所求出的图示分配给至少一个预定义的模板。由此能可靠地鉴别场景并且必要时触发驾驶员辅助系统的反应。

优选在将所产生的图示与预定义的模板比较时求出相似程度，基于相似程度可以例如对场景分类并且将所产生的图示分配给场景。例如可以考虑将所产生的图示分配给这样一种场景，可以借助用于弹性匹配的方法(elastic matching，即弹性匹配，或者nonlinear template matching，即非线性模板匹配)将所产生的图示最佳地画在该场景的预定义的模板上，这就是说，对其而言，通过所述方法获得的相似程度最大。由此能特别可靠地鉴别场景。

在另一种优选的实施方式中，当所产生的图示不能分配给已知的动态空间场景的至少一个预定义的模板时，定义用于新的动态空间场景的模板。由此可以鉴别新的动态场景、特别是对新的动态场景分类。因此尤其能基本上实时地鉴别新的动态场景。

当在比较所产生的图示时求出的相似程度没有达到预定的阈值时，例如可以定义针对新的动态空间场景的模板。由此能以简单的方式特别是实时地产生了已知的动态空间场景的一系列预定义的模板。

在另一种优选的实施方式中，所产生的图示还重现了自主对象与其它对象的间距、特别是横向的间距和/或自主对象的速度、特别是横向的速度，其中，间距和/或速度同样由传感器数据求出。在此，相应的间距信息或速度信息优选这样在图示中编码，使得它们至少能与其它对象相对自主对象的空间位置无关地读取。通过考虑到间距和/或速度，可以特别可靠地鉴别当前的动态空间场景。考虑到间距和/或速度尤其也使得能特别精细地区分不同的动态空间场景。

自主对象的速度可以尤其具有横向速度、特别是基本上垂直于自主对象的主(纵向的)运动方向、例如行驶方向的速度分量。自主对象的在所产生的图示中重现的速度优选仅由横向速度形成。

在笔直驶出时，自主车辆的横向速度例如为零，而在变道时则上升到最大值并且然后又下降到零。

借助在图示中重现的速度可以例如区分由自主车辆执行的变道和由其它车辆执行的变道。因为涉及到自主车辆和其它车辆的相对运动的两种驾驶操作彼此间没有区别，这就是说，图示在两种情况下例如显示了相同的图形，所以考虑到自主车辆的横向速度才使得能可靠地断定哪辆车在变道。

自主对象与其它对象的间距可以尤其具有横向间距，这就是说，基本上垂直于自主对象的主(纵向的)运动方向、例如行驶方向的间距分量。在所产生的图示中重现的自主对象与其它对象的间距优选仅由横向间距形成。

若自主车辆例如被在相邻车道上的其它车辆超车，那么在自主车辆和其它车辆之间的绝对间距发生了改变。但横向间距保持恒定不变，只要自主车辆和其它车辆都没有离开它的各自的车道。横向间距的改变因此允许了(进一步)推断出例如在一个场景的范畴内执行的操作。

在另一种优选的实施方式中，角扇区的时间变化曲线通过一条线示出，该线的宽度说明了当前的角扇区的值。自主对象与其它对象的间距和/或自主对象的速度备选或附加地通过所储存的值或者通过在线的对应间距和/或速度的存在的时间点的相应的部位处的染色示出。

所储存的值或线的染色可以备选或附加地通过一个特别是通用的函数求出，在自主对象和其它对象之间的间距、特别是横向间距和/或自主对象的速度、特别是横向速度，作为输入参量进入到了所述函数中。借助所述函数可以例如在必要时考虑到加权的情况下将间距和速度相加或相乘。尤其可以用间距对速度加权或者用速度对间距加权。由此获得的在图示中或者通过所储存的值重现的信息，使得能特别可靠和详细地区分驾驶操作或与之对应的动态空间场景。

函数在此优选用于，操控人工神经网络的感知。换句话说，可以这样来选择函数，使得由此产生的图示影响了由人工神经网络识别到的图案。由此可以特别可靠地区分不同的动态空间场景。

也可以备选或附加地选择不同于在自主对象和其它对象之间的间距和/或自主对象的速度的其它参数作为函数的输入参量。所述参数可以例如根据动态空间场景、特别是已知的动态空间场景进行选择。优选选择至少部分表征动态空间场景的参数作为输入参量。

本发明的第四个方面涉及一种用于准备动态空间场景的、特别是交通场景的数据以用于通过人工神经网络处理的系统。所述系统具有求取模块，求取模块设置用于，由传感器数据求出角扇区的时间变化曲线，角扇区从自主对象的、特别是自主车辆的角度看被其它对象、特别是其它车辆遮盖。传感器数据在此特别适用于表征涉及到自主对象和至少一个其它对象的动态空间场景。所述系统此外还具有产生模块，该产生模块设置用于产生所求出的时间变化曲线的图示。

本发明的第五个方面涉及一种用于基于传感器数据训练人工神经网络的系统，所述传感器数据适用于表征涉及到自主对象和至少一个其它对象的已知的动态空间场景。所述系统具有产生模块，该产生模块设置用于，基于传感器数据产生角扇区的时间变化曲线的图示，角扇区从自主对象的、特别是自主车辆的角度看被其它对象、特别是其它车辆遮盖。所述系统此外还具有接口，该接口设置用于，将所产生的图示与有关空间场景的信息一起输送给人工神经网络。

本发明的第六个方面涉及一种用于分析传感器数据的系统，传感器数据适用于表征涉及到自主对象和至少一个其它对象的动态空间场景。所述系统具有产生模块，该产生模块设置用于，基于传感器数据产生角扇区的时间变化曲线的图示，角扇区从自主对象的、特别是自主车辆的角度看被其它对象、特别是其它车辆遮盖。所述系统此外还具有比较模块，该比较模块设置用于，将所产生的图示与已知的动态空间场景的预定义的模板相比较。

参照本发明的第一个方面和其有利的设计方案所说明的特征和优点，至少在技术上合理的地方，也适用于本发明的第二个、第三个、第四个、第五个和第六个方面以及它们的有利的设计方案，反之亦然。

本发明的其它的特征、优点和应用可能性，由结合附图的下列说明得出，附图中，本发明的相同的或彼此对应的元件始终使用相同的附图标记。附图至少部分示意性地表明：

附图说明

图1分别示出了用于准备数据的按本发明的系统的和用于训练人工神经网络的按本发明的系统的优选的实施例；

图2示出了用于分析传感器数据的按本发明的系统的优选的实施例；

图3示出了用于在交通场景中求出角扇区的示例；

图4示出了用于阐释在按本发明的图示和对应的动态空间场景之间的相互关系的第一个示例；

图5示出了用于阐释在按本发明的图示和对应的动态空间场景之间的相互关系的第二个示例；

图6分别示出了用于准备数据的按本发明的方法的和用于训练人工神经网络的按本发明的方法的优选的实施例；并且

图7示出了用于评估数据的按本发明的方法的优选的实施例。

具体实施方式

图1分别示出了用于准备动态空间场景的数据的按本发明的系统100的和用于训练人工神经网络1的按本发明的系统200的优选的实施例。用于准备数据的系统100具有求取模块2和产生模块3，其中，求取模块2设置用于，由传感器数据S求出角扇区的时间变化曲线，角扇区从自主对象的角度看被其它对象遮盖，并且其中，产生模块3设置用于，产生所求出的时间变化曲线的图示。用于训练人工神经网络1的系统200具有产生模块3和接口4，其中，接口4设置用于，将所产生的图示和有关动态空间场景的信息一起输送给人工神经网络1。

传感器数据S例如由自主车辆的环境传感器在检测交通场景时产生并且例如表征相邻的车辆的数量，其它车辆与自主车辆的相对布置、特别是相对间距，自主车辆的速度和/或类似信息。求取模块2可以由传感器数据S优选求出，至少一个被其它车辆遮盖的角扇区在自主车辆的视野中有多宽并且这个角扇区例如相对自主车辆的行驶方向布置在哪个位置。

因为环境传感器优选连续地、但至少以高频率检测自主车辆的周围环境，所以由所产生的传感器数据S也求出了角扇区的时间变化曲线、特别是从自主车辆的角度观察到的角扇区的宽度的变化和/或角扇区的位置的变化。时间变化曲线可以由产生模块3使用，以便产生抽象地画出了交通场景的图像显示。换句话说，产生模块3设置用于，将在传感器数据S中所包含的有关交通场景的信息在图示中特别是以压缩的形式进行编码。

有关动态空间场景的传感器数据S优选涉及经分类的传感器数据，这就是说，传感器数据S例如分配给了多类交通场景中的其中一类，如超车操作或变道操作。这种分类可以例如手动地，如通过图像数据流的整理筛分完成。基于角扇区的所求出的时间变化曲线产生的图示因此可以和有关动态空间场景的信息一起从接口4传达给人工神经网络1。

人工神经网络1优选设置用于，分别识别在分配给相同的交通场景类别的所有图示中的至少一个图案。借助这样识别到的图案，可以定义表征已知的交通场景的模板。这样定义的模板可以储存在数据库5中以用于进一步的使用，例如用于评估在车辆的正常运行中产生的传感器数据。

图2示出了用于分析传感器数据S的系统300的一种优选的实施方式，传感器数据适用于表征涉及到自主对象和至少一个其它对象的动态空间场景。系统300具有产生模块3，该产生模块设置用于，基于传感器数据S产生从自主对象的角度看被其它对象遮盖的角扇区的时间变化曲线的图示。系统300此外还具有比较模块6，该比较模块设置用于，将所产生的图示与已知的动态空间场景的预定义的模板相比较。为此，比较模块6优选调用数据库5，在数据库中储存有至少一个预定义的模板。

所述比较的结果由比较模块6以优选的方式输出并且例如可以用于控制自主车辆所装备的驾驶员辅助系统。若在所产生的图示和至少一个预定义的模板之间例如确定了至少预定程度的一致，例如通过分析在比较时产生的相似程度，那么就可以推断出，存在已知的场景，并且比较模块6可以发出例如场景类别作为输出信号。也可以备选或附加地输出、特别是信号输出所鉴别的驾驶操作的开始和/或结束。

图3示出了用于求出动态空间场景10中的角扇区Φ的示例，在所述示例中，自主对象11沿着运动方向，在此沿着坐标系的x轴运动并且被其它车辆12包围。在当前示例中，空间场景10涉及带有一个自主车辆11a的交通场景，该自主车辆沿行驶方向在中间的车道上运动并且被相邻车道上的其它车辆12a、12b包围。

图3A示出了鸟瞰的交通场景，其中，在所示的图示中概括了空间场景的时间序列。在不同的时间点上，其它车辆12a、12b相对自主车辆11a处在不同的位置中，这些位置由对代表车辆12a、12b的矩形的不同的填充表明。在此，较为紧密的填充对应时间上较为靠后的位置。如在这个图示中能清楚地看到的那样，第一车辆12a实施从外车道到自主车辆11a使用的车道上的变道并且在此并道到自主车辆11a前方。先是参照运动方向与自主车辆11a大致处于相同高度的第二车辆12b，在时间进程中落后。由于第二车辆12b的位置改变较小，所以由第二车辆12b在不同的时间点上占据的位置在这个图示中重叠。

为了产生交通场景的备选的图示，可以为两个车辆12a、12b中的每个车辆求出角扇区Φ，该角扇区说明了在自主车辆11a的视野中的被相应的车辆12a、12b遮盖的区域。这在图3B中示例性地针对第一车辆12a示出。第一车辆12a的参照自主车辆11a的角度得出的轮廓13用实线示出并且撑开了角扇区Φ。从自主车辆11a的视角观察，在此可以相对预定的方向、例如运动方向说明角扇区Φ的、以及因此第一车辆12a的位置若车辆12a相对自主车辆11a的位置发生移动，那么角扇区Φ的宽度和其位置均可能发生改变。

这在图3C中示出。在那里画出的条形图形成了图3A中所示的交通场景的抽象图示，在所述条形图中针对角扇区Φ的位置绘制出了在图3A中作为黑色箭头示出的在自主车辆11a和其它车辆12a、12b之间的反向间距d。三个处于右边的条对应被第一车辆12a遮盖的角扇区Φ，三个左边的条则对应被第二车辆12b遮盖的角扇区Φ。如在图3A中那样，不同的时间点通过对条的相应的填充示出。

因此被第一车辆12a遮盖的角扇区Φ在并道到自主车辆11a之前朝着0°位置的方向移动，其中角扇区Φ的0°位置对应自主车辆11a之前的一个位置。被第一车辆12a遮盖的角度范围Φ的宽度，以第一车辆12a和自主车辆11a之间的间距d在此如在图3A中所示那样减小的程度，增加。除了角度范围Φ的宽度外，在第一车辆12a和自主车辆11a之间的间距d也在条的高度中进行编码，高度随着时间发展增加。

被第二车辆12b遮盖的角度范围Φ则以和第二车辆12b落后自主车辆11a一样的程度远离0°位置。因为在此在第二车辆12b和自主车辆11a之间的间距变大，所以条的高度以及宽度也减小。

图4示出了用于阐明在按本发明的图示20的优选的实施例与对应的动态空间场景10之间的相互关系的第一个示例。为此，图4A示出了从自主对象的、例如自主车辆11a的角度看被其它对象遮盖的角扇区Φa、Φb、Φc的时间变化曲线的图示20。在图示20中针对角扇区Φa、Φb、Φc的位置绘制出了时间t，其中，0°位置对应自主对象前方的一个位置。

角扇区Φa、Φb、Φc的时间变化曲线作为线示出，线的宽度对应相应的对象与自主对象的间距。第一对象，如第一车辆12a，因此在开始时在t＝0时处在自主对象前方的一定距离处。第二对象，如第二车辆12b，在开始时则更为接近自主对象，不过处在在自主对象侧向的一个位置中。在例如t＝40时，第二对象改变其位置并且在自主对象和第一对象之间移动。被第二对象遮盖的角扇区Φb的时间变化曲线，从这个时间点起与被第一对象遮盖的角扇区Φa的变化曲线重叠。

在例如t＝70时，另一个角扇区Φc被第三对象、如第三车辆12c遮盖。第三对象处在自主对象的侧面，更确切地说处在自主对象的与第二对象在t＝0时所处那一侧对置的一侧上。被第三对象遮盖的角扇区Φc的位置接着朝0°位置的方向移动。这个时间变化曲线例如可以通过第三对象平行于自主对象的运动方向的运动引起，其中，第三对象与自主对象的间距增加。

角扇区Φa、Φb、Φc的这种时间变化曲线可以例如表征图4B中所示的空间动态场景10，在此为交通场景。时间的发展在图4B中通过用点标注的车辆在车道上的轨迹表明。

开始时，自主车辆11a处在位置(x＝0，y＝0)上，并且第一车辆12a例如处在位置(x＝60，y＝0)上。因此第一车辆12a例如以间距Δx＝60行驶到中间车道上的自主车辆11a之前。第二车辆12b在开始时例如处在位置(x＝45，y＝-4)上，其中，第二车辆因此在相邻车道上，这就是说关于自主车辆11a侧向移动地在自主车辆11a和第一车辆12a之间行驶。

在另一时间变化曲线中，第二车辆12b并入到在中间车道上的自主车辆11a和第一车辆12a之间。第二车辆12b的并道运动比如在位置(x＝100，y＝-4)上开始并且比如在位置(x＝150，y＝0)上结束。在另外的车辆12b并道之后，自主车辆11a、第一车辆12a和第二车辆12b共同在中间车道上继续运动。由于第二车辆12b在此从自主车辆11a的角度看现在遮挡了到第一车辆12a的视线，所以在图4A中的相应的图示20中仅还能看到处在0°位置中的线。

第三车辆12c在开始时处在自主车辆11a后方，因而第三车辆暂时没有例如被自主车辆11a的环境传感器检测到。但第三车辆12c用比自主车辆11a更高的速度运动，因而第三车辆在进一步的进程中在另外的相邻车道上在y＝4时超过了自主车辆11a。第三车辆12c在超车时间点上才被自主车辆11a看到，因而被第三车辆12c遮盖的角度范围Φc的时间变化曲线在图4A的相应的图示20中从这个时间点起才开始。

图4A中通过角扇区的时间变化曲线产生的图示20，具有表征所说明的空间动态场景10的图案。若基于重复地在检测这种场景时收集到的传感器数据产生了许多这样的图示，那么人工神经网络可以学习该图案或者接受训练以识别这个图案。在车辆的正常运行中，就可以由在此产生的传感器数据基本上实时地示出角扇区的时间变化曲线并且由经训练后的人工神经网络加以分析、特别是与所学习的图案相比较。由此优选确定了，是否或者在哪个时间点上存在已知的交通场景。

在图4C中，为此表明了如在图4A所示的图示20和相应的模板之间的这种比较的结果，其中，针对时间t绘制出了输出信号a。如在时间点t＝30上，输出信号a跳到值6，因此用信号表明存在已知的交通场景，在这种情况下是第二车辆12b的并道。如在时间点t＝85上，输出信号a回落到值零，因此用信号表明并道操作的结束。

除了在驾驶操作的开始和持续时间外，也可以通过输出信号a的值输出交通场景的分类。在另一个未示出的示例中，所产生的图示与不同的模板的比较例如可以表明与分配给驶出原车道的操作的模板的最大程度的一致，并且输出信号a可以相应地具有其它值。

图5示出了用于阐释在按本发明的图示20的优选的实施例和对应的动态空间场景10之间的相互关系的第二个示例。为此，图5A示出了来自对应动态空间场景10的交通状况的一个情景，在这种情况下是通过箭头表明的自主车辆11a到一条车道上的并道，在该车道上已经有其它的第一车辆12a在行驶。除了第一车辆12a外，还有另一个第二车辆12b在另一条车道上行驶。

动态空间场景10的时间发展在图5B中通过借助点标注的车辆11a、12a、12b的轨迹示出。开始时，自主车辆11a例如处在位置(x＝0，y＝2.5)上，并且第一车辆12a例如在位置(x＝35，y＝0)上在中间车道上行驶到自主车辆11a之前，这就是说，例如处在间距Δx＝35中。第二车辆12b在开始时例如处在位置(x＝25，y＝-2.5)上。

在进一步的时间变化曲线中，自主车辆11a例如在位置(x＝60，y＝2)上开始并道到中间的车道上并且例如在位置(x＝100，y＝0)上结束驾驶操作。其它两个车辆12a、12b在此以略微更高的速度继续一直向前行驶，因而自主车辆11a慢慢进一步落后。

在图5c中，在图示20中示出了从自主车辆11a的角度看分别被第一车辆12a或第二车辆12b遮盖的角扇区Φa、Φb的时间变化曲线。在此，针对角扇区Φa、Φb的位置绘制时间t。在图5c中示出的0°位置与自主车辆11a前方的一个位置对应。

在时间变化曲线中，角扇区Φa、Φb朝0°位置的方向移动，因为第一和第二车辆12a、12b如之前所说明那样基于它们的更高的速度而远离自主车辆11a。在自主车辆11a并道的时间点上，在此例如在时间点t＝30时，角扇区Φa、Φb的时间变化曲线额外朝着0°位置的方向弯曲。被第一车辆12a遮盖的角扇区Φa接下来沿着0°位置延伸，因为如在图5A和5B中示出的那样，第一车辆12a在同一车道上行驶到自主车辆11a前方。

基于所产生的图案，可以先仅给出有关自主车辆11a相对第一和第二车辆12a、12b的相对运动的陈述，这就是说，从角扇区Φa、Φb的时间变化曲线的形状暂时没有明确得出，自主车辆11a是否变道到了中间的车道上或者第一和第二车辆12a、12b是否特别是基本上同时分别执行变道，其中，第一车辆12a转入到自主车辆11a的车道上并且第二车辆12b转入到之前由第一车辆12a使用的车道上。

为了能相互区分这两种情况，图示20除了角扇区Φa、Φb外还额外示出了一个值，该值表征在时间t上自主车辆11a和各其它车辆12a、12b之间的间距、特别是横向间距和/或自主车辆11a的速度、特别是横向速度。横向间距或横向速度在此涉及间距或速度的横向分量，这就是说在图5B所示的图示中的y分量。

所述表征间距和/或速度的值在图示20表示为角扇区的时间变化曲线的通过色调的着色。在此，暗色调例如对应自主车辆11a的高的横向速度。因此由图5C中的图示20可知，自主车辆例如在时间点t＝20上开始横向运动，这就是说，开始垂直于车道走向的运动，其中，自主车辆11a在例如t＝30时达到了最高的横向速度，并且在例如t＝40时结束横向运动。

因为自主车辆11a在通过其它车辆12a、12b中的其中一个车辆执行变道时没有改变其(横向)速度，所以在当前情况下推断出了自主车辆11a转入到了由第一车辆12a使用的车道上。

图6分别示出了用于准备数据的按本发明的方法V1和用于训练人工神经网络的按本发明的方法V2的优选的实施例。

在方法步骤S1中，例如通过用传感器检测自主车辆的周围环境产生了传感器数据，并且对传感器数据进行分类，这就是说分配给不同的动态空间场景。分类例如可以手动地执行，例如通过评估图像数据流。传感器数据备选也能被自动分类，特别是涉及到由模拟器在模拟不同的动态空间场景时产生的传感器数据时。

借助传感器数据可以在另一个方法步骤S2中求出从自主对象的角度看被其它对象遮盖的角扇区的时间变化曲线。例如可以求出其它对象的轮廓、特别是横截面并且确定了其在自主对象的视野中或者自主对象的部分视野中的宽度。此外，求出了所述轮廓或横截面的几何重心并且确定了其在自主对象的视野中、特别是相对自主对象的运动方向的位置。

在另一个方法步骤S3中，由角扇区的时间变化曲线优选产生了图示、特别是图像显示，所述图示画出了所述时间变化曲线。在这种图示中，角扇区的时间变化曲线可以形成例如一个图案，如一个图形。在此，针对产生了传感器数据或者求出了至少一个被其它对象遮盖的角扇区的每个时间点，画出了该角扇区的宽度，特别是其占自主对象的视野的份额，并且画出了其在自主对象的视野中特别是相对自主对象的运动方向的位置。

在方法步骤S3中，在产生所述图示时也以优选的方式考虑到了自主对象的速度、特别是横向速度和/或自主对象相对其它对象的间距、特别是横向间距。尤其可以例如借助函数来求出和储存一个值或者相应地对图示染色，其中，优选使表征动态空间场景的参数、如速度和/或间距作为输入参量进入到所述函数中。所产生的图示因此优选提供了有关自主对象的视野中被其它对象遮盖的角扇区的宽度和位置以及自主对象的速度和/或自主对象相对其它对象的间距的信息。

在另一个方法步骤S4中，例如借助接口将所产生的图示输送给人工神经网络，该人工神经网络因此特别是被训练用于识别在所产生的图示中的图案。为了这个目的，此外还以优选的方式将有关动态空间场景(根据动态空间场景在方法步骤S1中对传感器数据分类)的信息输送给人工神经网络，因而人工神经网络可以将所产生的图示或识别到的图案分别与动态空间场景中的其中一个动态空间场景关联起来。

图7示出了用于分析传感器数据的按本发明的方法V3的一个优选的实施例，所述传感器数据适用于表征涉及到自主对象和至少一个其它对象的动态空间场景。传感器数据优选涉及由自主车辆的环境传感器产生的传感器数据。

在方法步骤S3中，由传感器数据产生了角扇区的时间变化曲线的图示。角扇区在此对应自主对象的视野中的被其它对象遮盖的区域。这种图示例如涉及这样的图，在该图中，角扇区的时间变化曲线形成了一种图案、如一种图形。

角扇区的时间变化曲线在此可以在必要时也在单独的、先前的方法步骤(未示出)中基于传感器数据求出。

在另一个方法步骤S5中，将所产生的图示与已知的动态空间场景的至少一个预定义的模板相比较。由此可以求出自主对象现在处在哪个动态空间场景中并且必要时相应地控制驾驶员辅助系统。

当确认所产生的图示与分配给已知的动态空间场景的至少一个预定义的模板不一致或不充分一致时，可选可以在另一个方法步骤S6中将所产生的图示作为另外的预定义的模板例如储存在数据库中。以这种方式可以特别是基本上实时地产生了带有适用于鉴别动态空间场景的一系列预定义的模板。

附图标记列表

1 人工神经网络

2 产生模块

3 求取模块

4 接口

5 数据库

6 比较模块

10 空间动态场景

11 自主对象

11a 自主车辆

12 其它车辆

12a 第一车辆

12b 第二车辆

12c 第三车辆

13 轮廓

20 图示

100 用于准备数据的系统

200 用于训练人工神经网络的系统

300 用于分析传感器数据的系统

Φ 角扇区

角扇区的位置

S 传感器数据

y 运动方向

d 间距

a 输出信号

V1 用于准备数据的方法

V2 用于训练人工神经网络的方法

V3 用于分析传感器数据的方法

S1-S6方法步骤

Claims (17)

1.一种用于准备动态空间场景的数据以用于通过人工神经网络处理的方法，其中，所述动态空间场景表示交通场景，所述方法包括：

获取传感器数据，其中，所述传感器数据表征涉及到自主车辆和至少一个其它对象的动态空间场景；以及

基于从所述传感器数据确定的角扇区的时间发展来生成图案形式的表示，其中，所述角扇区的时间发展从所述自主车辆的角度看被所述至少一个其它对象遮盖。

2.根据权利要求1所述的方法，其中，将所述表示输出给人工神经网络或者供所述人工神经网络处理。

3.一种经计算机支持的、用于基于传感器数据训练人工神经网络的方法，传感器数据适用于表征涉及到自主车辆和至少一个其它对象的已知的动态空间场景，所述方法包括：

基于来自所述传感器数据的角扇区的时间发展来生成表示，其中所述角扇区的时间发展从所述自主车辆的角度看被所述至少一个其它对象遮盖，并且其中，将所产生的表示和有关空间场景的信息一起输送给所述人工神经网络，所述信息为对分类的提示。

4.一种经计算机支持的、用于分析传感器数据的方法，传感器数据适用于表征涉及到自主车辆和至少一个其它对象的动态空间场景，所述方法包括：

基于来自所述传感器数据的角扇区的时间发展来产生表示，其中所述角扇区的时间发展从自主车辆的角度看被所述至少一个其它对象遮盖，并且其中，将所产生的表示与已知的动态空间场景的至少一个预定义的模板相比较。

5.根据权利要求4所述的方法，其中，基于所述比较对所述动态空间场景进行分类。

6.根据权利要求4所述的方法，其中，当所产生的表示不能分配给已知的动态空间场景的至少一个预定义的模板时，为新的动态空间场景定义模板。

7.根据权利要求1所述的方法，其中，所产生的表示还重现了所述自主车辆相对所述至少一个其它对象的间距和/或所述自主车辆的速度，其中，同样由传感器数据求出间距和/或速度。

8.根据权利要求1所述的方法，其中，由线示出了所述角扇区随时间推移的进展，线的宽度说明了各当前的角扇区的值，和/或其中，所述自主车辆相对所述至少一个其它对象的间距和/或所述自主车辆的速度通过所储存的值或在线的对应存在间距和/或速度的时间点的相应的部位处的染色示出。

9.一种用于准备动态空间场景的数据以用于通过人工神经网络处理的系统，其中，所述动态空间场景表示交通场景，所述系统具有：

-第一计算机模块，其由传感器数据求出角扇区的时间发展，其中所述角扇区的时间发展从自主车辆的角度看被至少一个其它对象遮盖，其中，所述传感器数据适用于表征涉及到所述自主车辆和至少一个其它对象的已知的动态空间场景；和

-第二计算机模块，其产生所求出的角扇区的时间发展的表示。

10.一种用于基于传感器数据训练人工神经网络的系统，传感器数据适用于表征涉及到自主车辆和至少一个其它对象的已知的动态空间场景，其中，所述已知的动态空间场景描述已知的交通场景，该系统具有：

-计算机模块，其基于来自所述传感器数据的角扇区的时间发展产生表示，其中所述角扇区的时间发展从自主车辆的角度看被所述至少一个其它对象遮盖；

-接口，其将所产生的表示和有关空间场景的信息一起输送给人工神经网络。

11.一种用于分析传感器数据的系统，传感器数据适用于表征涉及到自主车辆和至少一个其它对象的动态空间场景，该系统具有：

-第一计算机模块，其基于来自所述传感器数据的角扇区的时间发展产生表示，其中，所述角扇区的时间发展从自主车辆的角度看被所述至少一个其它对象遮盖；和

-第二计算机模块，其将所产生的表示与已知的动态空间场景的至少一个预定义的模板相比较。

12.根据权利要求1所述的方法，其中，所述至少一个其它对象包括另一车辆。

13.根据权利要求3所述的经计算机支持的方法，其中，所述至少一个其它对象包括另一车辆。

14.根据权利要求4所述的经计算机支持的方法，其中，所述至少一个其它对象包括另一车辆。

15.根据权利要求9所述的系统，其中，所述动态空间场景是交通场景，所述至少一个其它对象包括另一车辆。

16.根据权利要求10所述的系统，其中，所述至少一个其它对象包括另一车辆。

17.根据权利要求11所述的系统，其中，所述至少一个其它对象包括另一车辆。