CN110573978A - 用于自驾交通工具的动态传感器选择 - Google Patents

Abstract

一种自驾交通工具SDV可通过分析传感器数据来操作，以沿着当前路线自主地控制所述SDV的加速、制动及转向系统。所述SDV包含数个传感器及控制系统，所述传感器产生所述传感器数据，所述控制系统用以检测与所述SDV的所述操作有关的条件，所述条件例如交通工具速度及本地天气，基于所述经检测的条件选择一组传感器，并且对从所述组所选择的传感器产生的所述传感器数据进行优先级排序，以控制与所述SDV的所述操作有关的方面。

Description

用于自驾交通工具的动态传感器选择

相关申请案

本申请案主张2017年3月23日申请的第15/467,525号美国专利申请案的权益；并且上述申请案的全部内容特此通过引用的方式并入本文中。

背景技术

自主驾驶交通工具目前以实验及原型形式存在。这些交通工具用传感器及计算机实施智能取代人类驾驶员。在现有技术下，自主驾驶交通工具可容易地与道路上的其它交通工具一起驾驶。然而，各种环境及操作条件会影响传感器的质量及可靠性，这对自主驾驶交通工具提出挑战。

附图说明

在附图的图式中，通过实例而非限制的方式说明本文的揭示内容，其中相似参考数字指代类似元件，并且其中：

图1是说明由实施传感器选择组件的控制系统操作的实例自驾交通工具的框图，如本文描述；

图2是说明根据本文描述的实例的结合自驾交通工具利用的实例传感器选择组件的框图；

图3是描述根据本文描述的实例的使用动态传感器选择操作自驾交通工具的实例方法的流程图；

图4是说明用于自驾交通工具的计算机系统的框图，在所述计算机系统上可实施本文描述的实例；及

图5是说明用于后端数据中心的计算机系统的框图，在所述计算机系统上可实施本文描述的实例运送系统。

具体实施方式

自驾交通工具(SDV)可包含控制系统及传感器阵列，其产生SDV的周围区域的实时传感器视图。在各种实施方式中，控制系统可动态地分析周围区域的传感器视图及道路网络地图(例如，高度详细的定位地图)，以便沿着到目的地的当前路线自主地操作加速，制动及转向系统。

在一些实例中，传感器阵列包含各种类型的传感器，例如激光雷达、雷达、超声波传感器及照相机，其各自具有其自身的优势，其可补偿其它传感器的弱点。实例认识到某些操作条件对自驾交通工具提出重大挑战。特定来说，例如雾、薄雾、雨或雪的天气会削弱一些传感器以足够的准确度收集传感器数据以可靠地导航SDV通过环境的能力。另外，随着SDV在驾驶时速度增加，用来安全或舒适地检测及规避潜在危险的时间更少。虽然一些传感器可在良好的天气条件下或在较慢的速度下提供卓越性能，但SDV识别不利条件并在考虑所述条件及传感器的性能特性的情况下分析传感器数据是非常重要的。因此，实例提供配备有传感器阵列及控制系统的SDV，所述控制系统包含基于预定条件使对特定传感器的使用优先于其它传感器的逻辑。另外，可设计、配备或调谐每一类型的传感器及其支持接口、软件及固件以最大化所述传感器的优势，这是因为可使用不同传感器或传感器组在第一传感器较不可靠的条件下提供准确的传感器数据。举例来说，激光雷达传感器可优化以在配备有雷达及立体照相机的SDV上以低到中等交通工具速度起作用，所述雷达及立体照相机经优化以在更高速度下起作用。

传感器选择组件检测对传感器的性能特性有影响的条件及可能影响来自一个传感器而不是另一传感器的传感器数据的重要性的其它条件。另外，传感器选择组件通过加权或选择过程，使用基于传感器中的每一者在经检测条件中的预期性能特性的一组传感器优先级规则来对传感器中的每一者进行优先级排序。这些性能特性可从针对传感器的技术规范及在相关条件下针对传感器中的每一者执行的测试的组合来确定。当分析当前传感器状态以执行交通工具操作时，SDV控制系统的组件可使用所得传感器优先级来加权或选择传感器数据。

对SDV的传感器的性能特性有影响或可能影响传感器数据的重要性的条件可包含SDV自身的操作参数及周围环境的状态，例如天气及当前道路条件。SDV的操作参数的一些实例是交通工具的速度、加速度、移动方向(即，向前或相后)、牵引力、传感器状态及交通工具状态(即，停放或移动)。环境条件的一些实例是当前降水类型及量级(例如，大雨或小雪)、雾、烟雾、雾霾、落叶、风、一天中的时间、环境照明、道路表面类型及质量以及交通。

自驾交通工具倾向于是谨慎及慎重的。举例来说，当自驾交通工具用于运载乘客时，SDV可实施传感器分析组件以重复分析所感知的对象及条件。为安全起见，自驾交通工具减速或制动以评估未知对象或条件，或者在没有充分信心知道最好响应动作时选择响应动作。结果是SDV可倾向于在旅行中减速、停止及恢复驾驶，使得乘坐不那么愉快及不舒服。然而，实例进一步认识到，如果传感器分析组件无论当前条件如何均可更快且更可靠地识别对象或条件，那么SDV将具有较少的制动事件变化(例如，降低速度或停止)。制动事件的减少可使SDV更适合于运载乘客，因为制动事件的减少使得乘客在交通工具中乘坐更加舒适。

除其它益处之外，本文描述的实例实现以优化传感器视图的准确度的方式提供围绕自驾交通工具的传感器视图的技术效果，而不管影响自驾交通工具的环境及操作条件如何。

一方面，自驾交通工具(SDV)包含产生传感器数据的数个传感器及用以检测与SDV的操作有关的条件的控制系统，基于经检测条件从数个传感器选择一组传感器，以及对从一组所选择的传感器产生的传感器数据进行优先级排序，以控制与SDV的操作有关的方面。

在一些实施方案中，SDV通过网络从网络服务接收上下文信息。在一些实施方案中，控制系统通过分析传感器数据来检测条件，并且与SDV的操作有关的条件包含天气条件、SDV的当前速度、一天中的时间、环境照明及道路条件。

在一些方面，将数个传感器优先级规则应用于经检测条件以选择所述组传感器。传感器优先级规则包含应用于来自所述数传感器的传感器数据的权重，并且控制系统基于权重对传感器数据进行优先级排序。另外，传感器优先级规则及/或权重可基于经检测条件中的传感器中的每一者的性能特性，并且与SDV的操作有关的方面包含检测SDV周围的环境中的对象。

在一个实例中，控制系统对从所选择一组传感器产生的传感器数据进行优先级排序，以将对象分类指派到对象中的每一者，与SDV的操作有关的方面可包含定位、预测及运动规划。

如本文中所使用，计算装置是指对应于桌上型计算机、蜂窝装置或智能电话、个人数字助理(PDA)、膝上型计算机、平板装置、虚拟现实(VR)及/或增强现实(AR)装置、可穿戴计算装置、电视(IP电视)等的装置，其可提供网络连接性及处理资源以用于通过网络与系统通信。计算装置还可对应于定制硬件、车载装置或机载计算机等。计算装置还可操作经配置以与网络服务通信的指定应用程序。

本文描述的一或多个实例规定由计算装置执行的方法、技术及动作以编程方式执行，或者作为计算机实施方法执行。本文使用的以编程方式意指通过使用代码或计算机可执行指令。这些指令可存储在计算装置的一或多个存储器资源中。以编程方式执行的步骤可或可不为自动的。

可使用程序模块、引擎或组件来实施本文描述的一或多个实例。程序模块、引擎或组件可包含程序、子例程、程序的一部分或能够执行一或多个所陈述任务或功能的软件组件或硬件组件。如本文所使用，模块或组件可独立于其它模块或组件存在于硬件组件上。替代地，模块或组件可为其它模块、程序或机器的共享元件或过程。

本文描述的一些实例通常可要求使用计算装置，其包含处理及存储器资源。举例来说，本文描述的一或多个实例可全部或部分地在例如服务器、桌上型计算机、蜂窝或智能电话、个人数字助理(例如，PDA)、膝上型计算机、虚拟现实(VR)或增强现实(AR)计算机、网络装备(例如，路由器)及平板装置的计算装置上实施。存储器、处理及网络资源都可结合本文描述的任何实例的建立、使用或执行使用(包含结合执行任何方法或实施任何系统)。

此外，可通过使用可由一或多个处理器执行的指令来实施本文描述的一或多个实例。这些指令可在计算机可读媒体上携载。下文用图式展示或描述的机器提供处理资源及计算机可读媒体的实例，在其上可携载及/或执行用于实施本文揭示的实例的指令。特定来说，用本发明的实例展示的众多机器包含用于保持数据及指令的处理器及各种形式的存储器。计算机可读媒体的实例包含永久存储器存储装置，例如个人计算机或服务器上的硬盘驱动器。计算机存储媒体的其它实例包含便携式存储单元，例如CD或DVD单元，闪存(例如智能电话、多功能装置或平板计算机上携载的那些存储媒体)及磁存储器。计算机、终端、网络启用装置(例如，移动装置，例如蜂窝电话)都是利用处理器、存储器及存储在计算机可读媒体上的指令的机器及装置的实例。另外，实例可以计算机程序或者能够携载此程序的计算机可用载体媒体的形式实施。

如本文所提供，术语“自主驾驶交通工具”(AV)或“自驾交通工具”(SDV)可互换使用以描述在关于加速、转向及制动的自主控制状态下操作的任何交通工具。关于AV及SDV可能存在不同级别的自主。举例来说，一些交通工具可在有限的场景下实施自主控制，例如在高速公路上。更高级的AV及SDV可在各种交通环境中操作，无需任何人为辅助。因此，“AV控制系统”可处理来自AV或SDV的传感器阵列的传感器数据，并调制加速、转向及制动输入以沿给定路线安全地驾驶AV或SDV。

系统描述

图1是说明由具有传感器选择组件的控制系统操作的实例自驾交通工具的框图，如本文描述。在图1的实例中，控制系统100可在给定地理区中自主地操作SDV 10以用于各种目的，其包含运输服务(例如，人的运输、送货服务等)。在所描述的实例中，SDV10可在没有人为控制的情况下操作。举例来说，SDV 10可自主地转向、加速、换挡、制动及操作照明组件。一些变型还认识到SDV 10可在自主模式与手动模式之间切换，在自主模式中SDV控制系统100自主地操作SDV 10，在手动模式中驾驶员接管加速系统、转向系统、制动系统及照明及辅助系统(例如，方向信号及前灯)的手动控制。

根据一些实例，控制系统100可利用特定传感器资源，以便在各种驾驶环境及条件下自主地操作SDV 10。举例来说，控制系统100可通过自主地操作SDV 10的转向、加速及制动系统来将SDV 10操作到指定目的地。控制系统100可使用传感器信息以及其它输入(例如，来自远程或本地人类操作员的传输，来自其它交通工具的网络通信等)来执行交通工具控制动作(例如，制动、转向、加速)及路线规划。

在图1的实例中，控制系统100包含计算资源(例如，处理核及/或现场可编程门阵列(FPGA))，其操作以处理从SDV 10的传感器102接收的传感器数据115，其提供SDV10在其上操作的道路区段的传感器视图。传感器数据115可用于确定将由SDV 10执行的动作，以便使SDV 10在到目的地的路线上继续。在一些变型中，控制系统100可包含其它功能性，例如使用通信接口通过网络与一或多个远程源(例如，地图服务199)发送及/或接收无线通信的无线通信能力。在控制SDV 10时，控制系统100可产生命令158以控制SDV 10的各种控制机构，其包含加速、制动、转向及辅助行为(例如，灯及方向信号)。

SDV 10可配备有多种类型的传感器102，其可组合以提供SDV 10周围的空间及物理环境的计算机化感知。同样地，控制系统100可在SDV 10内操作以接收来自传感器102的集合的传感器数据115，并控制各种控制机构170以便自主地操作SDV 10。举例来说，控制系统100可分析传感器数据115以产生可由SDV 10的加速系统172、转向系统157及制动系统176执行的低级命令158。通过控制机构170执行命令158可导致节气输入、制动输入及转向输入，其共同致使SDV 10沿循序道路区段操作到特定目的地。

更详细地，传感器102操作以共同获得针对SDV 10的传感器视图(例如，在向前操作方向上，或提供360度传感器视图)，并且进一步获得接近SDV 10的情境信息，其包含任何潜在的危险或障碍。通过实例的方式，传感器102可包含多组照相机系统101(视频照相机、立体照相机或深度感知照相机、远程单目照相机)、激光雷达系统103、一或多个雷达系统105以及各种其它传感器资源，例如声纳、超声波传感器、接近传感器、红外传感器、轮速传感器、雨传感器及类似者。根据本文提供的实例，传感器102可布置或分组在传感器系统或阵列中(例如，在安装到SDV 10的顶的传感器盒中)，其包括任意数目个激光雷达、雷达、单目照相机、立体照相机、声纳、红外线或其它有源或无源传感器系统。

传感器102中的每一者可利用对应传感器接口110、112、114与控制系统100通信。传感器接口110、112、114中的每一者可包含例如与相应传感器耦合或以其它方式具备相应传感器的硬件及/或其它逻辑组件。举例来说，传感器102可包含视频照相机及/或立体照相机系统101，其连续地产生SDV 10周围的物理环境的图像数据。照相机系统101可经由照相机系统接口110提供针对控制系统100的图像数据。同样地，激光雷达系统103可经由激光雷达系统接口112向控制系统100提供激光雷达数据。此外，如本文所提供，可经由雷达系统接口114将来自SDV 10的雷达系统105的雷达数据提供给控制系统100。在一些实例中，传感器接口110、112、114可包含专用处理资源，例如具备现场可编程门阵列(FPGA)，其可例如接收及/或预处理来自照相机传感器的原始图像数据。

在一些方面，传感器102共同向控制系统100的各种组件提供传感器数据115，所述组件包含定位组件122、感知组件124及传感器选择组件120。控制系统100还可包含路线规划器142、运动规划组件130、事件逻辑174、预测引擎126及交通工具控制接口128。在所说明的实例中，定位组件122、感知组件124及传感器选择组件120经展示为控制系统100的子组件。在变型中，这些组件的功能性可分布在SDV 10中的其它组件当中。

定位组件122、感知组件124及传感器选择组件120可利用SDV 10的当前传感器状态(如传感器数据115所提供)，并且可访问SDV 10在其中操作的给定区的存储定位地图的数据库。定位地图可包括给定区的每一道路区段的高度详细的地面实况数据。举例来说，定位地图可包括由专用制图交通工具或具有记录传感器及装备的其它SDV预先记录的数据(例如，包含图像数据、激光雷达数据及类似者的传感器数据)，并且可经处理以准确定位各种所关注对象(例如，交通信号、道路标志及其它静态对象)。当SDV10沿着给定路线行进时，控制系统100的组件可访问当前道路区段的当前定位地图以将当前定位地图的细节与传感器数据115进行比较，以便检测及分类任何所关注对象，例如移动的交通工具、行人、骑自行车者及类似者。

传感器选择组件120表示基于预定条件或条件组按类型(例如，按传感器装置)对传感器数据115的处理或使用进行优先级排序的逻辑。在一些实例中，预定条件或条件组可涉及SDV的操作，并且包含例如(i)交通工具的遥测信息，其包含交通工具的速度或加速度；(ii)道路上方区的环境条件，例如是否存在活跃的降水(例如降雨或降雪)或雾；(iii)影响道路表面的环境条件，其包含有降雨的存在(例如细雨、暴雨、小雪、大雪、冰)；及/或(iv)交通工具使用的道路类型(例如，高速公路、主干道、住宅区道路)。传感器选择组件120可实施为离散逻辑或者与特定过程(例如，运动规划)一起分布的逻辑。传感器选择组件120通过以下方式对传感器数据115的处理及/或使用进行优先级排序：(i)选择一种类型的传感器数据以排除另一种类型的传感器数据；及/或(ii)按类型对传感器数据进行加权，使得传感器类型可影响SDV控制系统100的确定。此外，在一些实例中，传感器选择组件120可根据优先级规则操作，这可致使SDV控制系统100在存在特定条件时执行动作或以其它方式利用特定类型的传感器(例如，如果照相机检测到道路中的危险，那么无论其它传感器是否与经检测感知冲突，交通工具都执行规避动作)。

实例认识到某些操作条件对自驾交通工具提出重大挑战。特定来说，例如雾、薄雾、雨或雪的天气会削弱一些传感器102以足够的准确度收集传感器数据115以可靠地导航SDV 10通过环境的能力。另外，随着SDV 10在驾驶时速度增加，用于安全或舒适地检测及规避潜在危险的时间减少。虽然一些传感器102可在良好的天气条件下或在较慢的速度下提供卓越性能，但使SDV 10识别不利条件并在考虑所述条件及传感器102的性能特性的情况下分析传感器数据115非常重要。因此，传感器选择组件120检测对传感器102的性能特性有影响的条件及可能影响来自一个传感器而非另一传感器的传感器数据115的重要性的其它条件。另外，传感器选择组件120使用基于传感器102中的每一者在经检测条件中的预期性能特性的一组传感器优先级规则，通过加权或选择过程对传感器102中的每一者进行优先级排序。SDV控制系统100的组件(例如定位组件122、感知组件124、预测引擎126及运动规划逻辑130)可在分析当前传感器状态以执行交通工具操作时使用所得传感器优先级127来加权或选择传感器数据115。

对SDV 10的传感器的性能特性有影响或可能影响传感器数据115的重要性的条件可包含SDV 10自身的操作参数及周围环境的状态，例如天气及当前道路条件。SDV 10的操作参数的一些实例是交通工具的速度、加速度、移动方向(即，向前或相后)、牵引力、传感器状态及交通工具状态(即，停放或移动)。环境条件的一些实例是当前降水类型及量级(例如，大雨或小雪)、雾、烟雾、雾霾、树叶、风、一天中的时间、环境照明、道路表面类型及质量以及交通。

如用图1的实例描述，定位组件122可向控制系统100的一或多个组件提供定位输出121(包含定位坐标及姿势)。定位输出121可对应于例如交通工具在道路区段内的位置。定位输出121就识别以下各者来说是特定的，例如，SDV 10正在使用的驾驶车道，交通工具距道路边缘的距离，交通工具距驾驶车道边缘的距离，及/或距特定定位地图中的参考点的行进距离中的任何一或多者。在一些实例中，定位输出121可确定SDV 10在道道路区段内的相对位置，如由定位地图所表示。

另外，感知组件124可将感知输出129用信号通知到控制系统100的一或多个组件。感知输出129可利用例如感知层来从交通工具的当前传感器状态减去被认为持久的对象。通过感知组件124识别的对象可被感知为静态或动态的，其中静态对象指的是在特定地理区中持久或永久的对象。感知组件124可例如产生基于传感器数据115的感知输出129，传感器数据115排除预定的静态对象。感知输出129可对应于经解释传感器数据，例如(i)图像，声纳或其它电子的基于感官的环境渲染，(ii)环境中动态对象的检测及分类，及/或(iii)与个别对象相关联的状态信息(例如，对象是否在移动，对象的姿势，对象的方向)。感知组件124可针对给定传感器视野解释传感器数据115。在一些实例中，由感知组件124提供的功能性可为集中的，例如利用交通工具的中心部分中的处理器或处理器组合来执行。在其它实例中，感知组件124可被分布，例如分布到传感器接口110、112、114中的一或多者上，使得输出传感器数据115可包含感知。

感知输出129可将输入提供到运动规划组件130中。运动规划组件130包含用以从感知检测交通工具的环境的动态对象的逻辑。当检测到动态对象时，运动规划组件130可利用定位组件122的位置输出121来确定交通工具的响应轨迹125，以用于在当前传感器视野之外转向交通工具。交通工具控制接口128可使用响应轨迹125来使交通工具安全地前进。

路线规划器142可确定交通工具在旅行中使用的路线143。在确定路线143时，路线规划器142可利用地图数据库，例如通过地图服务199经由网络提供的地图数据库。基于例如目的地及当前位置(例如，例如通过GPS提供)的输入，路线规划器142可选择一或多个路线区段，所述路线区段在交通工具在旅途中时共同形成SDV 10的行进路径。在一个实施方案中，路线规划器142可确定用于规划路线143的路线输入144(例如，路线区段)，其又可被传达到交通工具控制128。

在一些方面，交通工具控制接口128表示响应于控制系统100的各种逻辑组件的确定而关于转向、横向及向前/向后加速度以及其它参数控制交通工具的逻辑。交通工具控制接口128可包含路线跟随组件167及轨迹跟随组件169。路线跟随组件167可从路线规划器142接收路线输入144。至少部分地基于路线输入144，路线跟随组件167可将针对路线143的轨迹分量175输出到交通工具控制接口128。轨迹跟随组件169可在控制路线143的交通工具轨迹179上的交通工具时接收路线跟随组件167的轨迹分量175以及响应轨迹125。同时，响应轨迹125使SDV 10能够对预测引擎126的预测进行调整。交通工具控制接口128可产生命令158作为输出以控制SDV 10的组件。所述命令可进一步基于各种上下文及输入来实施驾驶规则及动作。

根据一些实例，定位输出121可由例如预测引擎126及/或交通工具控制128利用，以便检测在交通工具前面的道路区段的部分上的潜在干扰点或碰撞点。定位输出121还可用于确定经检测对象是否可能与SDV 10碰撞或干扰SDV 10，并确定对预期或经检测事件的响应动作。路线跟随组件167及轨迹跟随组件169中的任一者也可使用定位输出121来对路线及轨迹进行精确确定。

关于图1的实例，交通工具控制接口128实施事件逻辑174以检测规避事件(例如，碰撞事件)并触发对经检测事件的响应。规避事件可对应于对SDV 10构成潜在的碰撞威胁的道路条件或障碍物。通过实例的方式，规避事件可包含道道路区段中的对象，交通工具前方的繁忙交通，及/或道路区段上的潮湿或其它环境条件。事件逻辑174可使用从感知组件128产生的感知输出129来检测事件，例如可能与SDV 10碰撞的对象或道路条件的突然出现。举例来说，事件逻辑174可检测坑洼、碎片及甚至是碰撞轨迹上的对象。因此，事件逻辑174检测在被正确感知的情况下事实上可能需要某种形式的规避动作或规划的事件。

当检测到事件时，事件逻辑174可发信号通知事件警报135，其对事件进行分类并指示应执行的规避动作的类型。举例来说，可在一系列可能无害的(例如，道路中的小碎片)到非常有害的(例如，交通工具碰撞可能即将发生)之间对事件进行评分或分类。路线跟随组件167又可调整交通工具的交通工具轨迹179以规避或适应事件。举例来说，路线跟随组件167可输出事件规避动作，其对应于SDV 10应执行以实现SDV 10的移动或操纵的轨迹改变动作。通过实例的方式，交通工具响应可包含使用转向控制机构及/或使用制动组件的用于规避的轻微或急剧的交通工具操纵。可通过用于交通工具控制机构170的命令158来发信号通知事件规避动作。

当特定类别的预期动态对象确实移动到可能的碰撞或干扰的位置时，一些实例规定事件逻辑174可用发信号通知事件警报135以致使交通工具控制128产生对应于事件规避动作的命令158。举例来说，在自行车(或骑自行车者)落入SDV 10的路径中的自行车撞击事件中，事件逻辑174可发信号通知事件警报135以规避碰撞。事件警报135可指示(i)事件的分类(例如，“严重”及/或“紧急”)，(ii)关于事件的信息，例如产生事件警报135的对象的类型，及/或指示SDV 10应采取的动作类型的信息(例如，对象相对于交通工具路径的位置，对象的大小或类型)。

图2是说明根据本文描述的实例的结合自驾交通工具利用的实例传感器选择组件220的框图。在图1中所说明的实例SDV 10的上下文中，图2的传感器选择组件220可表示控制系统100的传感器选择组件120。在一些实例中，传感器选择组件220包含：条件检测逻辑230，其用以检测与操作SDV有关的一或多个条件；及传感器优先级排序逻辑240，其用以基于经检测条件对来自一组所选择传感器的传感器数据211进行优先级排序。然后，交通工具控制系统的其它组件可基于经优先级排序的传感器数据211来控制SDV的操作。尽管在图2中说明为离散组件，但归属于传感器选择组件220、条件检测逻辑230及传感器优先级排序逻辑240的逻辑及功能性可分布在SDV 10的其它系统(例如控制系统100及传感器接口110、112、114)的各个地方。

条件检测逻辑230执行用以检测对SDV的传感器的性能特性有影响的条件以及可能影响来自一个传感器而非另一传感器的数据的重要性的其它条件的功能。为了安全地操作，SDV依赖于传感器数据211足够准确以允许在SDV导航通过环境的同时实时地进行对象检测、对象分类、对象预测、定位及其它特征。因此，SDV配备有包括不同类型的传感器的传感器阵列，所述传感器中的每一取决于据当前条件而表现得更好或更差。另外，可设计、配备或调谐每一类型的传感器及其支持接口、软件及固件以最大化传感器的优势，这是因为可使用不同传感器或传感器组在第一传感器较不可靠的条件下提供准确的传感器数据211。举例来说，激光雷达传感器可经优化以在配备有雷达及立体照相机的SDV上以低到中等交通工具速度起作用，所述雷达立体照相机经优化以在更高速度下起作用。

对SDV的传感器的性能特性有影响或可能影响传感器数据211的重要性的条件可包含SDV自身的操作参数及周围环境的状态，例如天气及当前道路条件。SDV的操作参数的一些实例是交通工具的速度、加速度、移动方向(即，向前或向后)、牵引力、传感器状态及交通工具状态(即，停放或移动)。环境条件的一些实例是当前降水类型及量级(例如，大雨或小雪)、雾、烟雾、雾霾、落叶、风、一天中的时间、环境照明、道路表面类型及质量以及交通。

条件检测逻辑230通过分析SDV的各种传感器产生的传感器数据211来检测许多类型的条件。举例来说，SDV上的立体照相机可提供展示天气条件的图像。可用于条件检测的传感器不仅包含用于感知、预测及运动规划的SDV传感器，而且包含交通工具传感器，例如车轮速度传感器、节气位置传感器、环境空气温度传感器、气压传感器、雨传感器等。在经编程间隔或时间或当检测到当前条件的改变时，条件检测逻辑230可将对应条件数据221发送到传感器优先级排序逻辑240。

根据一个方面，交通工具传感器接口从各种传感器获得原始传感器数据，并且交通工具控制系统的传感器分析组件实施例如对象检测、图像辨识、图像处理及其它传感器过程的功能性，以便检测危险、对象或道路上的其它值得注意的事件。传感器分析组件可由多个不同过程实施，所述过程中的每一者分析不同的传感器配置文件数据集。在这方面，条件检测逻辑230从传感器分析组件接收经分析传感器数据211。因此，条件检测逻辑230不仅可基于原始传感器数据211而且还可基于经分析传感器数据211来检测条件。

在一些方面，SDV将最近的传感器数据211存储一定时间间隔。条件检测逻辑230可将当前传感器数据211与来自先前帧或秒的存储数据进行比较，以便更准确地检测条件。条件检测逻辑230可跨越所存储及当前传感器数据211应用启发法以确定是否存在高于合理的概率阈值的条件。举例来说，条件检测逻辑230可等待几秒钟直到多个传感器检测到降雨，然后将下雨天气条件包含在条件数据221中。

在一些情况下，传感器、接口或控制系统可检测特定传感器、交通工具的计算堆叠中或来自交通工具自身的机械系统的故障或性能降级。取决于故障或降级的严重程度，条件检测逻辑230可将来自任何受影响的传感器的传感器数据211视为垃圾数据而将其忽略或视为将给予其较低优先级的降级数据。

除从传感器数据211检测条件之外，条件检测逻辑230还可从网络服务260接收上下文信息213。区特定网络服务260可记录关于区的基于位置的上下文信息213，可关联SDV的传感器数据211及位置信息的组合以准确地确定环境条件。通过实例的方式，上下文信息213可包含标签或描述符，或数字等效物或参数相关，其指示以下中的一或多者：道路建设、交通、紧急情况、本地天气、时间及日期、道路表面上的累积降水等。

作为添加或变化，条件检测逻辑230包含可将传感器数据211与针对道路网络区域的对应定位地图的特征集进行比较的过程。条件检测逻辑230可将来自传感器数据211的交通工具场景的对象及特征、道路表面条件/特征及照明条件与定位地图进行比较。然后，条件检测逻辑230可辨识何时来自传感器数据211的分类及/或辨识特征与定位地图的特征集相比是新的或不同的，并且使用此信息以便检测可能会对交通工具传感器产生不利影响的天气及其它条件的存在。

传感器优先级排序逻辑240操作以基于由条件检测逻辑230检测的条件而对从SDV的传感器产生的传感器数据211进行优先级排序。在一些方面，传感器优先级排序逻辑240将一组优先级规则223应用于条件数据221以便计算针对传感器优先级227的一组值。

一般来说，优先级规则223是基于传感器中的每一者在各种交通工具条件及环境条件下的预期性能特性。这些性能特性可从针对传感器的技术规范及在相关条件下针对传感器中的每一者执行的测试的组合来确定。在一个实例中，配备有传感器的一队自驾交通工具将其传感器数据、当前条件及对传感器数据执行的分析结果发送到网络服务260。然后，在网络服务260处的硬件上实施的过程可确定传感器中的每一者在条件中的性能特性以便创建优先级规则223。因此，优先级规则223可通过考虑针对传感器的技术规范及测试数据的结果的算法来创建。另外或在替代实施方案中，基于针对传感器的技术规范及测试数据的结果手动创建优先级规则223。此外，可更新包括交通工具控制系统的传感器、传感器接口及计算堆叠的硬件、固件及软件以改变传感器的性能特性。如果传感器的性能特性显著改变，那么还可基于新的测试数据及技术规范手动或在算法上更新优先级规则223。

传感器优先级排序逻辑240从包含在交通工具控制系统中的规则存储位置250(例如数据库、ROM或RAM)检索优先级规则223。另外，可直接通过网络或通过对规则存储250的定期更新从网络服务260检索优先级规则223。在其它实例中，用在SDV上本地执行或通过网络从网络服务260远程执行的软件更新来更新优先级规则223。

编写优先级规则223以在经检测条件下从条件数据221选择用于交通工具操作(例如对象检测、对象分类、对象预测、定位等)的最准确及可靠的传感器。鉴于SDV需要实时执行这些操作，传感器准确度及可靠性也受到处理来自每一类型传感器的传感器数据211所需的计算时间的影响。因此，在一些条件中，传感器优先级排序逻辑240可优先考虑较不准确的传感器，所述较不准确的传感器提供与更准确传感器相比可更快地处理的传感器数据211，所述更准确传感器提供在当前条件(例如，交通工具以高速行进)下需要花费太长时间来处理的传感器数据211。

在一些方面，SDV配备有传感器阵列，所述传感器阵列包括补偿其它类型传感器的弱点的不同类型的传感器。举例来说，可合并雷达系统以补充其它传感器系统，例如激光雷达、图像捕获系统(例如，单目或立体照相机)、接近传感器、声纳系统等。虽然激光雷达及图像捕获系统在定位及角度测量方面具有显著优势，但其在提供所关注对象的相对速度数据方面相对不敏感。此外，激光雷达及图像捕获系统对恶劣天气条件(例如，雾、薄雾、雨或雪)敏感，而雷达系统在大多不受此类条件的影响。这使得雷达可用于SDV控制系统中的感知及预测过程的交叉验证以及在由其它传感器系统检测之前检测远处的所关注对象。额外实例认识到，关于无源图像传感器数据211，图像分析可能受到可能影响对象外观的照明条件或环境条件的负面影响。

在其它条件当中，优先级规则223可基于交通工具的当前速度确定传感器优先级227。一个实例优先级排序规则223以低到中等驾驶速度(例如，每小时35英里以下)对交通工具的激光雷达传感器进行优先级排序。另一实例优先级排序规则223以更高驾驶速度(例如，每小时35英里及以上)对交通工具的雷达及立体照相机进行优先级排序。如果交通工具当前停止，那么传感器优先级排序逻辑240可优先考虑来自超声波传感器的传感器数据211，直到交通工具达到特定速度或行进超过其它传感器中由于传感器在交通工具上的放置而可能存在的任何潜在盲点。举例来说，交通工具顶部上的传感器不能够检测交通工具几英尺内的对象，且因此超声波传感器可用于确定起始运动是否安全。

一方面，传感器优先级227表示对来自交通工具的传感器中的每一者的传感器数据211进行加权的一组值。举例来说，当一个传感器在当前条件下最优(或优于其它可用传感器)时，传感器优先级排序逻辑240可以100％对那个传感器加权。在另一实例中，传感器优先级排序逻辑240可在一个传感器是次优但在当前条件下仍然提供部分可靠的传感器数据时以50％对那个传感器加权。在另一实例中，当在当前条件下认为一个传感器不可靠时，传感器优先级排序逻辑240可以0％对那个传感器加权。在其它方面，传感器优先级227是一组旗标，交通工具控制系统的组件可使用所述旗标来选择交通工具的哪个传感器提供用于操作(例如对象检测、对象分类、对象预测、定位及其它特征)的传感器数据211。然而，来自未在传感器优先级227中选择的传感器的传感器数据211仍然可被收集、存储并用于其它目的。

方法

图3是描述根据本文描述的实例的使用动态传感器选择操作自驾交通工具的实例方法的流程图。可参考关于图1及2所展示及描述的特征。此外，可通过实施如图1及2中展示及描述的传感器选择组件120、220的实例SDV控制系统100执行关于图3论述的个别过程。因此，在下文描述中，可大体上互换地参考SDV 10及/或实施图1及2的传感器选择组件120、220的SDV控制系统100。可预期，可将个别描述的或作为额外步骤的部分描述的特定步骤进行组合或将其从流程图的其它个别描述的步骤省略。

参考图3，条件检测逻辑230执行用以检测对SDV的传感器的性能特性有影响的条件以及可能影响来自一个传感器而非另一传感器的数据的重要性的其它条件的功能(310)。为了安全地操作，SDV依赖于传感器数据(312)足够准确以允许在SDV导航通过环境的同时实时地进行对象检测、对象分类、对象预测、定位及其它特征。因此，SDV配备有包括不同类型的传感器的传感器阵列，所述传感器中的每一者取决于当前条件表现得更好或更差。

对SDV的传感器的性能特性有影响或可能影响传感器数据的重要性的条件可包含SDV自身的操作参数及周围环境的状态，例如天气及当前道路条件。交通工具条件(301)的一些实例是交通工具的速度、加速度、移动方向(即，向前或向后)、牵引力、传感器状态及交通工具状态(即，停放或移动)。环境条件(302)的一些实例是当前降水类型及量级(例如，大雨或小雪)、雾、烟雾、雾霾、落叶、风、一天中的时间、环境照明、道路表面类型及质量以及交通。

除从传感器数据检测条件之外，条件检测逻辑230还可从网络服务260接收上下文信息(314)。区特定网络服务260可记录关于区的基于位置的上下文信息，可关联SDV的传感器数据及位置信息的组合以准确地确定环境条件。通过实例的方式，上下文信息可包含标签或描述符，或数字等效物或参数相关，其指示以下中的一或多者：道路建设、交通、紧急情况、本地天气、时间及日期、道路表面上的累积降水等。

传感器优先级排序逻辑240检索与经检测条件匹配的一组传感器优先级规则(320)。编写优先级规则以在经检测条件下从条件数据中选择最准确及可靠的传感器用于交通工具操作。鉴于SDV需要实时执行这些操作，传感器准确度及可靠性也受到处理来自每一类型传感器的传感器数据所需的计算时间的影响。

传感器优先级排序逻辑240基于经检索传感器优先级规则为来自每一传感器的传感器数据指派优先级(330)。一方面，经指派优先级表示对来自交通工具传感器中的每一者的传感器数据进行加权的一组值。举例来说，当一个传感器在当前条件下最优(或优于其它可用传感器)时，传感器优先级排序逻辑240可以100％对那个传感器加权。在另一实例中，传感器优先级排序逻辑240可在一个传感器是次优但在当前条件下仍然提供部分可靠的传感器数据时以50％对那个传感器加权。在另一实例中，当在当前条件下认为一个传感器不可靠时，传感器优先级排序逻辑240可以0％对那个传感器加权。在其它方面，传感器优先级是一组旗标，交通工具控制系统的组件可使用所述旗标来选择交通工具的哪个传感器提供用于操作的传感器数据。

然后，交通工具控制系统100的组件可将传感器优先级权重或选择应用于所产生的传感器数据，以便控制与自驾交通工具的操作有关的方面(340)。此类方面包含对象检测(341)、对象分类(342)、定位(343)、预测(344)及运动规划(345)，以及交通工具控制系统100执行以安全地导航SDV通过环境的其它功能及过程。

硬件图

图4是说明计算机系统的框图，在所述计算机系统上可实施本文描述的实例SDV处理系统。计算机系统400可使用数个处理资源410来实施，处理资源410可包括处理器411、现场可编程门阵列(FPGA)413。在一些方面，计算机系统400的任何数目个处理器411及/或FPGA 413可用作实施机器学习模型并利用存储在计算机系统400的存储器461中的道路网络地图的神经网络阵列412的组件。在图1及2的背景下，可使用图4中展示的计算机系统400的一或多个组件来实施控制系统100、205、路线规划引擎160、285以及感知及预测引擎140、215、220的各种方面及组件。

根据一些实例，计算机系统400可在自主驾驶交通工具或自驾交通工具(SDV)内使用例如用图1及2的实例描述的软件及硬件资源来实施。在所展示的实例中，计算机系统400可在空间上分布到SDV的各种区中，其中各种方面与SDV自身的其它组件集成在一起。举例来说，处理资源410及/或存储器资源460可在SDV的载货空间中提供。计算机系统400的各种处理资源410还可使用微处理器411、FPGA 413、神经网络阵列412或其任何组合来执行控制指令462。

在图4的实例中，计算机系统400可包含通信接口450，其可实现通过网络480的通信。在一个实施方案中，通信接口450还可提供数据总线或其它本地链路到交通工具的机电接口，例如到及来自控制机构420(例如，经由控制接口422)、传感器系统430的有线及无线链路，并且可进一步通过一或多个网络480提供到后端运送管理系统(在一或多个数据中心上实施)的网络链路。举例来说，处理资源410可通过一或多个网络480或经由SDV的本地用户接口接收目的地482。

存储器资源460可包含例如主存储器461、只读存储器(ROM)467、存储装置及高速缓存资源。存储器资源460的主存储器461可包含随机存取存储器(RAM)468或其它动态存储装置，以用于存储可由计算机系统400的处理资源410执行的信息及指令。处理资源410可执行指令用于处理用存储器资源460的主存储器461存储的信息。主存储器461还可存储临时变量或其它中间信息，其可在指令的执行期间由处理资源410使用。存储器资源460还可包含ROM 467，或用于存储用于处理资源410的静态信息及指令的其它静态存储装置。存储器资源460还可包含其它形式的存储器装置及组件，例如磁盘或光盘，以用于存储由处理资源410使用的信息及指令的目的。计算机系统400可进一步使用易失性及/或非易失性存储器的任何组合来实施，例如闪存、PROM、EPROM、EEPROM(例如，存储固件469)、DRAM、高速缓存资源、硬盘驱动器及/或固态驱动器。

存储器461还可存储定位地图464，其中执行控制指令462的处理资源410连续地与来自SDV的各种传感器系统430的传感器数据432进行比较。控制指令462的执行可致使处理资源410产生控制命令415，以便自主地操作SDV的加速422、制动424、转向426及信令系统428(统称为控制机构420)。因此，在执行控制指令462时，处理资源410可从传感器系统430接收传感器数据432，动态地将传感器数据432与当前定位地图464进行比较，并且产生用于对SDV的加速、转向及制动进行操作控制的控制命令415。然后，处理资源410可将控制命令415传输到控制机构420的一或多个控制接口422，以通过道路及高速公路上的道路交通自主地操作SDV，如贯穿本发明所描述。

存储器461还可存储动态传感器选择指令466，处理资源410可执行动态传感器选择指令466以检测条件并基于经检测条件对传感器数据进行优先级排序。此后，处理资源410可产生控制命令415，以致使控制机构420相应地沿着当前路线或替代路线自主地操作SDV。

图5是说明可在其上实施本文描述的实例的计算机系统的框图。计算机系统500可在例如服务器或服务器组合上实施。举例来说，计算机系统500可实施为用于提供运输服务的网络服务的部分。在图1及2的上下文中，地图服务199或网络服务260可使用例如由图5所描述的计算机系统500来实施。

在一个实施方案中，计算机系统500包含处理资源510、主存储器520、只读存储器(ROM)530、存储装置540及通信接口550。计算机系统500包含至少一个处理器510，以用于处理存储在主存储器520中的信息，例如由随机存取存储器(RAM)或其它动态存储装置提供的信息，随机存取存储器(RAM)或其它动态存储装置用于存储可由处理器510执行的信息及指令。主存储器520也可用于在执行待由处理器510执行的指令期间存储临时变量或其它中间信息。计算机系统500还可包含用于存储用于处理器510的静态信息及指令的ROM 530或其它静态存储装置。存储装置540(例如磁盘或光盘)经提供用于存储信息及指令。

通信接口550使计算机系统500能够通过使用网络链路(无线或有线)经由一或多个网络580(例如，蜂窝网络)通信。使用网络链路，计算机系统500可与一或多个计算装置、一或多个服务器及/或一或多个自驾交通工具通信。根据实例，计算机系统500可从个别用户的移动计算装置接收接取请求582。存储在存储器530中的可执行指令可包含选择指令522，处理器510执行选择指令522以选择最优驱动器或SDV来服务接取请求582。这样做，计算机系统可接收在给定区各处操作的驾驶员及SDV的交通工具位置，并且处理器可执行选择指令522以从一组可用交通工具选择最优驾驶员或SDV，并且传输运输邀请552以使驾驶员能够接受或拒绝乘坐服务报价，或者指示匹配SDV与请求用户会合。

存储在存储器520中的可执行指令还可包含动态传感器选择指令524，以例如指示计算机系统500向自驾交通工具提供数据，其包含交通工具传感器的性能特性、关于条件的上下文信息、传感器优先级规则等等。

通过实例的方式，存储在存储器520中的指令及数据可由处理器510执行，以实施图1及2的实例地图服务199或网络服务260。在执行操作中，处理器510可接收接取请求582并提交运输邀请552以促进服务请求582。

处理器510配置有软件及/或其它逻辑，以执行一或多个过程、步骤及用实施方案描述的其它功能，例如关于图1到3描述或在本申请案的其它地方描述。本文描述的实例与计算机系统500用于实施本文描述的技术的用途相关。根据一个实例，所述技术由计算机系统500响应于处理器510执行包含在主存储器520中的一或多个指令的一或多个序列来执行。此类指令可从另一机器可读媒体(例如存储装置540)读入主存储器520中。包含在主存储器520中的指令序列的执行致使处理器510执行本文描述的过程步骤。在替代实施方案中，可使用硬接线电路代替软件指令或与软件指令组合以实施本文所描述的实例。因此，所描述的实例不限于硬件电路及软件的任何特定组合。

预期本文描述的实例独立于其它概念、思想或系统扩展到本文描述的个别元件及概念，并且例如扩展到包含本申请案中任何地方陈述的元件的组合。尽管本文参考附图详细描述实例，但应理解，所述概念不限于那些精确实例。因此，许多修改及变化对于所属领域的技术人员来说是显而易见的。因此，意图是由所附权利要求书及其等效物界定概念的范围。此外，可预期个别描述或作为实例的部分描述的特定特征可与其它个别描述的特征或其它实例的部分组合，即使其它特征及实例未提及特定特征。因此，没有描述组合不应排除主张对此类组合的权利。

Claims (20)

1.一种自驾交通工具SDV，其包括：

多个传感器，其产生传感器数据；及

控制系统，其用以执行指令，所述指令致使所述控制系统：

检测与所述SDV的操作有关的一或多个条件；

基于所述经检测一或多个条件而从所述多个传感器选择一组传感器；以及

对从所述所选择一组传感器产生的所述传感器数据进行优先级排序，以控制与所述SDV的所述操作有关的一或多个方面。

2.根据权利要求1所述的SDV，其中检测所述一或多个条件包含通过网络从网络服务接收上下文信息。

3.根据权利要求1所述的SDV，其中所述控制系统通过分析所述传感器数据来检测所述一或多个条件。

4.根据权利要求1所述的SDV，其中与所述SDV的所述操作有关的所述一或多个条件包含天气条件、所述SDV的当前速度、一天中的时间、环境照明及道路条件。

5.根据权利要求1所述的SDV，其中多个传感器优先级规则被应用于所述经检测一或多个条件以选择所述组传感器。

6.根据权利要求5所述的SDV，其中所述多个传感器优先级规则包含一或多个权重以应用于来自所述多个传感器中的一或多者的所述传感器数据，并且所述控制系统基于所述一或多个权重对所述传感器数据进行优先级排序。

7.根据权利要求6所述的SDV，其中所述多个传感器优先级规则及/或所述一或多个权重基于与所述SDV的所述操作有关的多个条件中的所述多个传感器中的每一者的性能特性。

8.根据权利要求1所述的SDV，其中与所述SDV的所述操作有关的所述一或多个方面包含检测所述SDV周围的环境中的一或多个对象。

9.根据权利要求8所述的SDV，其中所述控制系统对从所述所选择一组传感器产生的所述传感器数据进行优先级排序，以将对象分类指派到所述一或多个对象中的每一者。

10.根据权利要求1所述的SDV，其中与所述SDV的所述操作有关的所述一或多个方面包含定位、预测及运动规划。

11.一种存储指令的非暂时性计算机可读媒体，所述指令在由自驾交通工具SDV的控制系统执行时致使所述控制系统：

检测与所述SDV的操作有关的一或多个条件；

基于所述经检测一或多个条件而从多个传感器选择一组传感器；以及

对从所述所选择一组传感器产生的传感器数据进行优先级排序，以控制与所述SDV的所述操作有关的一或多个方面。

12.根据权利要求11所述的非暂时性计算机可读媒体，其中检测所述一或多个条件包含通过网络从网络服务接收上下文信息。

13.根据权利要求11所述的非暂时性计算机可读媒体，其中所述控制系统通过分析所述传感器数据来检测所述一或多个条件。

14.根据权利要求11所述的非暂时性计算机可读媒体，其中与所述SDV的所述操作有关的所述一或多个条件包含天气条件、所述SDV的当前速度、一天中的时间、环境照明及道路条件。

15.根据权利要求11所述的非暂时性计算机可读媒体，其中多个传感器优先级规则被应用于所述经检测一或多个条件以选择所述组传感器。

16.根据权利要求15所述的非暂时性计算机可读媒体，其中所述多个传感器优先级规则包含一或多个权重以应用于来自所述多个传感器中的一或多者的所述传感器数据，并且所述控制系统基于所述一或多个权重对所述传感器数据进行优先级排序。

17.根据权利要求16所述的非暂时性计算机可读媒体，其中所述多个传感器优先级规则及/或所述一或多个权重基于与所述SDV的所述操作有关的多个条件中的所述多个传感器中的每一者的性能特性。

18.根据权利要求11所述的非暂时性计算机可读媒体，其中与所述SDV的所述操作有关的所述一或多个方面包含检测所述SDV周围的环境中的一或多个对象。

19.根据权利要求18所述的非暂时性计算机可读媒体，其中所述控制系统对从所述所选择一组传感器产生的所述传感器数据进行优先级排序，以将对象分类指派到所述一或多个对象中的每一者。

20.一种操作自驾交通工具SDV的计算机实施方法，所述方法由所述SDV的控制系统执行并且包括：

检测与所述SDV的操作有关的一或多个条件；

基于所述经检测一或多个条件而从多个传感器选择一组传感器；以及

对从所述所选择一组传感器产生的传感器数据进行优先级排序，以控制与所述SDV的所述操作有关的一或多个方面。