[go: up one dir, main page]

CN111587197A - 利用驾驶模式识别来调节电动车辆的动力总成 - Google Patents

利用驾驶模式识别来调节电动车辆的动力总成 Download PDF

Info

Publication number
CN111587197A
CN111587197A CN201880085074.6A CN201880085074A CN111587197A CN 111587197 A CN111587197 A CN 111587197A CN 201880085074 A CN201880085074 A CN 201880085074A CN 111587197 A CN111587197 A CN 111587197A
Authority
CN
China
Prior art keywords
vehicle
occupant
electric vehicle
data processing
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880085074.6A
Other languages
English (en)
Inventor
杰米·卡米
艾弗里·朱特科维茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Jinkang New Energy Automobile Co Ltd
Original Assignee
Chongqing Jinkang New Energy Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Jinkang New Energy Automobile Co Ltd filed Critical Chongqing Jinkang New Energy Automobile Co Ltd
Publication of CN111587197A publication Critical patent/CN111587197A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B60W10/08Conjoint control of vehicle sub-units of different type or different function including control of propulsion units including control of electric propulsion units, e.g. motors or generators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/085Changing the parameters of the control units, e.g. changing limit values, working points by control input
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0053Handover processes from vehicle to occupant
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0019Control system elements or transfer functions
    • B60W2050/0028Mathematical models, e.g. for simulation
    • B60W2050/0029Mathematical model of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/043Identity of occupants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/049Number of occupants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/221Physiology, e.g. weight, heartbeat, health or special needs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/229Attention level, e.g. attentive to driving, reading or sleeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/30Driving style
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/18Braking system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/20Steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10Longitudinal speed
    • B60W2720/106Longitudinal acceleration

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Abstract

本文中提供了在车辆设置中转移控制的系统和方法。车辆控制单元可以具有手动模式和自动模式。环境感知模块可以识别将车辆控制单元的操作模式从自动模式改为手动模式的条件。行为分类模块可以根据来自传感器的数据确定乘员的活动类型。反应预测可以使用行为模型,基于活动类型,来确定向乘员展示采用手动控制车辆的功能的指示和操作模式从自动模式到手动模式的状态变化之间估计的反应时间。策略实施模块可以根据估计的反应时间将动作应用操作,以指示乘员采用手动控制。

Description

利用驾驶模式识别来调节电动车辆的动力总成
相关申请的交叉引用
本申请要求享有于2018年7月12日提交的申请号为16/033,958,标题为“ADAPTIVEDRIVER MONITORING FOR ADVANCED DRIVER-ASSISTANCE SYSTEMS”的优先权,这里申请书以全文引用的方式纳入本申请。
背景技术
诸如汽车等车辆可以收集与车辆运行或车辆环境相关的信息。这些信息可以指示自主驾驶的车辆的状态或环境条件。
发明内容
本公开针对的是在车辆设置中转移控制的系统和方法。半自动车辆可以在自动模式和手动模式之间切换,并且当从自动模式切换到手动模式时可以指示乘员(例如司机或乘客)采用手动控制车辆的功能。公开的高级驾驶辅助系统(ADAS)可以确定乘员响应指示采用手动控制的估计的反应时间。通过确定估计的反应时间,所述公开的ADAS可以改进车辆的功能,并增加车辆在各种环境中的可操作性。
至少一个方面针对在车辆设置中转移控制的系统。所述系统可包括设置在电动车辆或其他类型车辆中的车辆控制单元。所述车辆控制单元可以控制加速系统、制动系统和转向系统中的至少一个。所述车辆控制单元可以具有手动模式和自动模式。所述系统可包括设置在电动车辆内的传感器,以获取电动车辆内的感觉数据。所述系统可包括环境感知模块,所述环境感知模块在具有一个或多个处理器的数据处理系统上执行。所述环境感知模块可以识别将所述车辆控制单元的操作模式从自动模式改为手动模式的条件。所述系统可包括在所述数据处理系统上执行的行为分类模块。所述行为分类模块可以根据从传感器获得的感知数据确定电动车辆内乘员的活动类型。所述系统可包括在数据处理系统上执行的反应预测模块。响应条件的识别,所述反应预测可以基于活动类型,使用行为模型来确定向乘员展示采用手动控制车辆的功能的指示和操作模式从自动模式到手动模式的状态变化之间估计的反应时间。所述系统可以包括在数据处理系统上执行的策略实施模块。所述策略实施模块可以根据估计的反应时间将动作应用于乘员,提前采用手动控制车辆的功能。
至少一个方面是针对电动或其他类型的车辆。所述电动车辆可以包括车辆控制单元,所述车辆控制单元在具有一个或多个处理器的数据处理系统上执行。所述车辆控制单元可以控制加速系统、制动系统和转向系统中的至少一个,所述车辆控制单元具有手动模式和自动模式。所述电动车辆可以包括一个传感器。所述传感器可以获取所述电动车辆内部的感知数据。所述电动车辆可包括在所述数据处理系统上执行的环境感知模块。所述环境感知模块可以识别将所述车辆控制单元的操作模式从自动模式改为手动模式的条件。所述电动车辆可包括在所述数据处理系统上执行的行为分类模块。所述行为分类模块可以根据从传感器获得的感知数据确定电动车辆内乘员的活动类型。所述电动车辆可包括在数据处理系统上执行的反应预测模块。响应条件的识别,所述反应预测模块可以基于活动类型,使用行为模型来确定向乘员展示采用手动控制车辆的功能的指示和操作模式从自动模式到手动模式的状态变化之间估计的反应时间。所述电动车辆可以包括在数据处理系统上执行的策略实施模块。所述策略实施模块可以根据估计的反应时间将动作应用于乘员,提前采用手动控制车辆的功能。
至少一个方面针对在车辆设置中转移控制的方法。具有设置在电动或其他类型车辆中的一个或多个处理器的数据处理系统,所述数据处理系统可以识别将车辆控制单元的操作模式从自动模式改为手动模式的条件。所述数据处理系统可以根据从设置在电动车辆中的传感器获得的感知数据确定电动车辆内乘员的活动类型。响应条件的识别,所述数据处理系统可以基于活动类型,使用行为模型来确定向乘员展示采用手动控制车辆的功能的指示和操作模式从自动模式到手动模式的状态变化之间估计的反应时间。所述数据处理系统可以用于根据估计的反应时间向所述乘员显示所述指示,以提前采用手动控制车辆的功能。
以下详细讨论了这些以及其他方面的内容和实现。前述信息和以下详细描述包括各个方面和实施方式的说明性示例,并且提供了用于理解所要求保护的方面和实施方式的性质和特征的概述或框架。附图提供了对各个方面和实施方式的说明和进一步的理解,并且被并入本说明书中构成本说明书的一部分。
附图说明
附图并非按比例绘制。在各个附图中,相同的附图标记和标号表示相同的元件。为了清楚起见,并非每个元件都在每个附图中标记。
图1示出了在车辆设置中转移控制的示例性环境的框图;
图2示出了在车辆设置中转移控制的示例性系统的框图;
图3-5示出了根据图1-2所示的系统在车辆设置中转移控制的时间线的线图;
图6示出了在车辆设置中转移控制的示例性方法的流程图;以及,
图7是用于说明计算机系统的结构的框图,其可应用于实现本申请描述和说明的系统和方法中的元件。
具体实施方式
以下是有关车辆动力学测定方法、仪器和系统的各种概念以及其实现的更详细的描述。前文介绍的以及下面详细讨论的各种概念可以通过多种方式实现。
本文描述的是在车辆设置中转移控制的系统和方法。车辆设置可以包括车辆,如电动车辆,混合动力车辆,化石燃料动力车辆,汽车,摩托车,乘用车,卡车,飞机,直升机,潜艇,或船只。半自动汽车可以有自动模式和手动模式。在自动模式下,车辆可以利用来自各种外部传感器的车辆的环境的感知数据,自动通过环境。在手动模式下,车辆可以有一个乘员(例如司机)手动操作车辆控制系统,引导车辆通过环境。车辆是处于自主模式还是手动模式取决于车辆周围的环境条件。
为了保证所述乘员认真地监督的车辆的操作和操纵,电动车辆(或其他类型的车辆)可以具有一个高级的驾驶员辅助系统(ADAS)功能,定期指示驾驶员在固定的时间内执行交互操作,作为司机注意力集中的证据。所述交互包括,例如,触摸或握住方向盘。执行交互的每个指示之间的时间可以独立于驾驶员对环境进行风险评估的行为或外形(例如,认知和物理能力)。此外,当由自动模式转换为手动模式时,所述车辆可以指示驾驶员接管或采用手动控制车辆的功能(如加度、转向、制动等)。
随着半自动车辆的自动化水平不断提高,此类车辆的正常运行可能越来越依赖于ADAS指示乘员执行交互操作和手动控制车辆功能的过程。所述指示可包括音频输出、视觉输出、触觉输出或其任何组合。在向乘员显示这些指示时,某些模式可能不是影响驾驶员的活动和外形以及车辆周围的环境的因素。如果不考虑这些因素,可能会导致乘员和车辆之间的人机交互(HCI)质量下降,比如对自动驾驶能力失去信任。
此外,这种缺失会导致车辆本身的常规的实用性下降,因为这样的模式将驾驶者的所有行为和外形考虑为相同的。不考虑司机可能会有问题,因为不同类型的活动和外形可能会影响注意力。例如,当车辆处于自动驾驶模式时,一个一边看着智能手机,一边偶尔监控环境的司机,与另一个看着睡着根本无法观察外面环境的司机,可能会有不同程度的注意力。看着智能手机的司机可能会比睡着的司机更快地对手动控制车辆的功能的指示做出反应。对于采用手动控制的指示的呈现,驾驶员的反应也会因驾驶员的不同而不同,因而使得半自动车辆的可操作性取决于驾驶员个人。
为了克服这些模式中存在的技术挑战,半自动车辆可以基于部分驾驶员的估计的反应时间配置所述指示的展示,所述指示用于采用手动控制车辆的功能。所述车辆可以配备一组分隔的传感器,以监测车辆内驾驶员的活动。通过机器学习技术,本车辆的当前ADAS可以基于所述驾驶员的活动确定展示所述指示的估计的反应时间。所述机器学习技术可以包含一个模型,该模型将驾驶员的活动与不同的反应时间关联起来。该模型可以由基线数据驱动,所述基线数据由从许多驾驶员对各种活动类型的反应时间聚合得到。当从环境中检测到从自动模式转变为手动模式的条件时,可以在条件发生前的估计的反应时间向驾驶员展示采用手动控制车辆的功能的指示。
一旦驾驶员采用了手动控制车辆的功能(如转向),车辆就可以从自动模式切换到手动模式。此外,ADAS还可以识别指示展示的实际反应时间。随着车辆内的单独的司机越来越多的活动类型和展示指示的反应时间被测量到,ADAS可以调节模型中各种活动类型的估计的反应时间。通过这种方式,当驾驶员在执行某个活动时,利用驾驶员的估计的反应时间,给定的驾驶员可以以特定的展示类型被召唤以进行手控制。随着时间的推移,该模型可以获得统计学上有效数量的测量值,并收敛到对不同活动类型的特定驾驶员更准确的反应时间。
在确定估计的反应时间时,ADAS将环境、特定驾驶员的活动和外形考虑在内,可以改善驾驶员和车辆之间的人机交互质量。例如,ADAS可以在先于条件估计的反应时间内展示一个指示以引起驾驶员的注意,而不是定期向驾驶员指示在固定的时间内进行交互以证明注意力。消除周期性的指示在固定时间内执行交互可以提高车辆的自动模式和手动模式的效率和实用性。现在,在自动驾驶模式下,车辆驾驶员可以在车内执行其他任务,当被召唤进行手动控制时,可以将注意力转向操控车辆。此外,通过使用先于条件估计的反应时间限制指示进行手动控制的展示,可以减少计算资源和功率的消耗,从而提高ADAS的效率。
图1示出了在车辆设置中转移控制的示例性环境100的框图。环境100可以包括至少一辆交通工具105,例如行驶在驾驶表面150(例如道路)上的电动车辆105和远程服务器110。交通工具105可以包括,例如,电动汽车、化石燃料汽车、混合动力汽车、汽车(如轿车、卡车、公共汽车或货车)、摩托车或其他运输工具,如飞机、直升机、机车或水船。交通工具105可以是自动或半自动,或可以在自动、半自动或手动操作模式之间切换。交通工具1055(参照的实施例也可以称为电动车辆105)可配备或可以包括至少一高级驾驶员辅助系统(ADAS)125(本文也可以称为一个数据处理系统),驾驶控制130(比如,一个方向盘,油门踏板、制动踏板),环境传感器135,分隔传感器140,用户界面145,以及其他组件。ADAS 125可以包括一个或多个处理器和存储器,这些处理器和存储器设置遍及于交通工具105中,或者从交通工具105远程操作,或任何它们的组合。交通工具105也可以有一个或多个乘员120座位或位于一个乘客隔间。本文中环境传感器135和分隔传感器140都可以称为传感器。如图1所示,乘员120通常位于驾驶控制130前面的座位上,本文中乘员可以被称为驾驶员。本文中位于乘客隔间其他部分的其他乘员120可称为乘客。可以考虑将远程服务器110设置在交通工具105导航所经过的环境100之外。
ADAS 125最初可以处于自动模式,利用从环境传感器135获得的关于电动或其他类型车辆105的数据,在环境100中操纵驾驶表面150向行驶方向155行驶。有时在自动模式期间,ADAS 125可以基于从环境传感器135获得的数据识别至少一种条件160。ADAS 125可以应用各种模式识别技术来识别条件160。响应条件160的识别,ADAS 125可将电动车辆105的运行模式从自动模式改为手动模式。条件160可以在相对于电动车辆105行驶的方向155(例如,如图所示,前进)。例如,条件160可以包括在驾驶面上150行驶方向155的一个交叉点(例如,一个十字路口,一个环形路口,一个转弯车道,一个交叉路口,一个交叉路口,或一个斜坡)或一个障碍(例如,路缘,天坑,屏障,行人,骑自行车的人,或其他车辆)。ADAS 125通过对从作为环境传感器135的例子的摄像机中获取的数据应用图像目标识别技术,可以识别出驾驶表面150上的交叉点或障碍物,。条件160可以独立于相对于电动车辆105的行驶方向155。例如,条件160可以包括存在一辆紧急车辆(如救护车、消防车或警车)或其他道路条件(如建筑工地)在电动车辆105附近(如长达10公里),与行驶方向155无关。ADAS 125可通过检测从紧急车辆或道路状况传输的信号来识别紧急车辆或其他道路状况。ADAS 125还可以根据当前速度和行驶方向155计算从现在到条件160发生的时间T。
随着条件160的识别,所述ADAS 125可以通过乘客舱内的分隔传感器140获得的数据来确定乘员120的活动。基于所述活动,ADAS 125可以使用一个行为模型来确定估计的乘员120的反应时间,该反应时间为指示采用手动控制的指示的显示和采取由乘员120手动控制驾驶控制130之间的时间。通过网络连接到电动车辆105的ADAS 125,使用基线测量115可以初步训练行为模型。基线测量115可包括受试者在执行某种类型的活动时对各种提示(如声音、视觉或触觉刺激)的反应时间。ADAS 125通过用户界面145,可以根据在估计的反应时间先于条件160向乘员120显示指示。例如,用户界面145可以呈现音频刺激、视觉刺激、触觉刺激或它们的任何组合来呼叫乘员120来承担电动车辆105的驾驶控制130的手动控制。
当乘员120采用手动控制驾驶控制130时,ADAS 125可以从自动模式切换到手动模式,依靠驾驶员输入操纵电动车辆105通过环境100。ADAS 125还可以测量乘员120对通过用户界面145显示的指示的实际响应时间。例如,ADAS 125可以使用方向盘上的触觉传感器来检测乘员120是否与方向盘接触,从而实现对车辆的手动控制。实际的反应时间可能大于或小于使用行为模型为具有确定活动的乘员120确定的估计的反应时间。使用实际响应时间和确定的活动,ADAS 125可以调整或修改行为模型,从而为相同的活动生成修改的估计的反应时间。随着获得的测量数据越来越多,使用行为模型由ADAS 125确定的电动车辆105的特定乘员120的估计的反应时间可能更加准确。
图2描述了一个在车辆设置中转移控制的示例性系统200的框图。所述系统200可以包括如图1所示的环境100的一个或多个组件。该系统200可以包括至少一辆电动车辆105,至少一个远程服务器110,以及至少一个高级驾驶辅助系统(ADAS)125。电动车辆105可以配备或安装或包括至少一个驾驶控制130,一个或多个环境传感器135,一个或多个分隔传感器140,和一个或多个用户界面145,以及一个或多个电子控制单元(ECUs)205。ADAS125可以包括一个或多个处理器、逻辑阵列和存储器,以执行一个或多个计算机可读指令。总的来说,所述ADAS 125可包括至少一个车辆控制单元210来控制电动车辆105的机动。ADAS 125可包括至少一个环境传感模块215,以利用从环境传感器135获得的数据来识别条件160。ADAS 125可包括至少一个行为分类模块220,以使用从分隔传感器140获得的数据确定乘员120的活动类型。ADAS 125可包括至少一个用户识别模块225,以使用从分隔传感器140获得的数据识别乘员120对应的用户配置文件。ADAS 125可包括至少一个模型训练模块230,用于训练行为模型,以利用训练数据集确定乘员120的估计的反应时间。ADAS 125可包括至少一个反应预测模块235,使用所述行为模型,根据确定的乘员120的活动类型确定估计的乘员120的反应时间。ADAS 125可包括至少一个策略实施模块240,用于根据估计的反应时间提供对车辆控制进行手动控制的指示。ADAS 125可包括至少一个反应跟踪模块245,以确定在显示指示和乘员手动控制车辆之间的反应时间120。ADAS 125可以包含至少一个用户配置文件数据库250,以维护一组注册的乘员120的用户配置文件。
系统200的每个组件或模块都可以使用硬件或软件和硬件的组合来实现。远程服务器110、ADAS 125和ECUs 205中的每个组件都可以包括逻辑电路(如中央处理单元),它于响应和处理从内存单元取出的指令。远程服务器110、ADAS 125和ECUs 205的每个电子组件都可以从驾驶控制130、环境传感器135、舱室传感器140和用户界面145等接收、检索、访问或获取输入数据,并相互通信。远程服务器110、ADAS 125和ECUs 205的每一个电子组件都可以产生、中继、传输或提供输出数据到驱动控制130、环境传感器135、舱室传感器140和用户界面145等,以及相互之间。远程服务器110、ADAS 125和ECUs 205的每个电子部件可以由一个微处理器单元提供。远程服务器110、ADAS 125和ECUs 205的每个电子部件都可以基于这些处理器中的任何一个,或能够执行此处所述操作的任何其他处理器。中央处理器可以利用指令级并行、线程级并行、不同级别的缓存和多核处理器。多核处理器可以在单个计算组件上包括两个或多个处理单元。
所述一个或多个ECUs 205可以联网在一起进行通信和相互交互。每个ECUs 205可以是一个嵌入式系统,它控制运输车辆中的一个或多个电气系统或子系统。ECUs 205(例如,汽车计算机)可以包括一个处理器或微控制器、存储器、嵌入式软件、输入/输出和通信链路,以运行ADAS 125等的一个或多个组件。ECUs 205可以通过有线连接(如车辆总线)或无线连接(如近场通信)彼此通信耦合。每个ECU 205可以从驾驶控制130,环境传感器135,分隔传感器140,用户界面145和远程服务器110接收,检索,访问,或获得输入数据。每个ECU205可以产生,中继,或传输,或提供输出数据到驱动控制130,环境传感器135,分隔传感器140,用户界面145和远程服务器110。每个ECU205可以包括硬件和软件来执行为该模块配置的功能。ADAS 125的各种组件和模块可以跨一个或多个ECUs 205实现。
ADAS 125的各种功能和子组件可以在单个ECU 205中执行。ADAS 125的各种功能和子组件可以在电动车辆105和远程服务器110中的一个或多个ECUs 205之间进行分割。例如,所述车辆控制单元210可在电动车辆105中的一个或多个ECUs 205上实现,所述模型训练模块230可由远程服务器110或所述电动车辆105中的一个或多个ECUs 205执行。远程服务器110可以通信耦合,可以包括或访问存储基线测量115的数据库。
远程服务器110可以包括至少一台服务器,所述服务器包括一个或多个处理器、存储器和网络接口以及其他组件。远程服务器110可以包括位于至少一个数据中心、分支机构或服务器集群中的多个服务器。远程服务器110可以包括多个逻辑分组服务器,并促进分布式计算技术。服务器的逻辑组可以称为数据中心、服务器集群或机器集群。服务器可以在地理上分散。数据中心或机器集群可以作为单个实体管理,或机器集群可以包括多个机器集群。每个机器集群中的服务器可以是异构的:一个或多个服务器或机器可以根据一种或多种类型的操作系统平台进行操作。远程服务器110可以包括存储有一个或多个高密度机架系统的位于数据中心中的服务器,以及相关的存储系统,位于例如企业数据中心中的相关存储系统。通过在本地化的高性能网络上定位服务和高性能存储系统,具有统一服务器的远程服务器110可以提高系统的可管理性、数据安全性、系统的物理安全性和系统性能。集中所有或部分远程服务器110组件,包括服务器和存储系统,并将它们与高级的系统管理工具相结合,可以更有效地使用服务器资源,从而节省电力和处理需求,并减少带宽的使用。远程服务器110的每个组件的可以包括至少一个处理单元、服务器、虚拟服务器、电路、引擎,代理,设备,或其他逻辑设备,如可编程序逻辑阵列配置为与其他计算设备通信,比如ADAS 125,电动车辆105,和设置于电动车辆105内的一个或多个ECUs 205。远程服务器110可以从驾驶控制130、环境传感器135、分隔传感器140、用户界面145和一个或多个ECUs 205接收、检索、访问或获取输入数据。远程服务器110可以生成、中继、传输或提供输出数据到驱动控制130、环境传感器135、分隔传感器140、用户界面145和一个或多个ECUs 205。
电动车辆105的ECUs 205可以通过网络与远程服务器110通信连接。网络可以包括计算机网络,如因特网、本地网络、广域网、近场通信网络、城域网或其他区域网络,以及卫星网络或其他计算机网络,如语音或数据移动电话通信网络,以及它们的组合。该网络可包括或构成车辆间通信网络,例如,包括ADAS 125及其用于车辆间数据传输的组件的子集。该网络可以包括点对点网络、广播网络、电信网络、异步传输模式网络、同步光纤网络或同步数字层次网络等。该网络可以包括至少一个无线链路,如红外信道或卫星波段。网络的拓扑可以包括总线、星形或环形网络拓扑。网络可以包括使用任何协议或在车辆或其他设备之间协议通信的移动电话或数据网络,包括高级移动协议、时分多址协议或码分多址协议,全球移动通信系统协议,通用分组无线服务协议,或通用移动通信系统协议和相同类型的数据可以通过不同的传输协议。电动车辆105中的ECUs 205与远程服务器110之间的网络可定期连接。例如,只有当电动车辆105通过安装在建筑物里的无线调制解调器连接到互联网时,这种连接才会被限制。
所述一个或多个环境传感器135可被ADAS 125的各种组件用于获取关于电动车辆105的环境100的感知数据。所述感知数据可以包括环境传感器135测量环境100的物理方面所获得的任何数据,如电磁波(例如,可见的、红外、紫外和无线电波)。所述一个或多个环境传感器135可以包括全球定位系统(GPS)单元、摄像机(可见光谱、红外或紫外线)、声纳传感器、雷达传感器、激光探测和测量(LIDAR)传感器和超声波传感器等。所述一个或多个环境传感器135也可以被所述ADAS 125的各种组件用于通过与其他组件或实体建立的车载自组网感觉或接触电动车辆105之外的其他组件或实体。所述一个或多个环境传感器135可以包括车辆到一切(V2X)单元,例如车辆到车辆(V2V)传感器、车辆到基础设施(V2I)传感器、车辆到设备(V2D)传感器或车辆到乘客(V2D)传感器等。所述一个或多个环境传感器135可被所述ADAS 125的各种组件用于获取电动车辆105在乘客舱外的数据。所述一个或多个环境传感器135可以包括轮胎压力表,燃料表,电池容量测量器,温度计,惯性测量单元(IMU)(包括速度表,加速器表,磁强计,和陀螺仪),接触传感器等。
所述一个或多个环境传感器135可以安装或放置在遍及所述电动车辆105。所述一个或多个环境传感器135中的一些可以安装或放置在电动车辆105的前部(例如,在发动机罩或前保险杠下)。所述一个或多个环境传感器135中的一些可以安装或放置在电动车辆105的底盘或内部框架上。所述一个或多个环境传感器135中的一些可以安装或放置在电动车辆105的后部(如后备箱或后保险杠上)。所述一个或多个环境传感器135中的一些可以通过轮胎安装或放置在电动车辆105的悬挂或转向系统上。所述一个或多个环境传感器135中的一些可以放置在电动车辆105的外部。所述一个或多个环境传感器135中的一些可以放置在电动车辆105的乘客舱内。
以摄像机作为环境传感器135的一个例子,可以在电动车辆105的外部安装多个摄像机,这些摄像机可以面向任何方向(例如向前、向后、左、右)。所述摄像机可以包括配置为中高范围的摄像机系统,例如在80米到300米之间的区域。中距离摄像机可以用来警告所述驾驶员关于交叉交通,行人,前方车辆的紧急刹车,以及车道和信号灯检测。高距离摄像机用于交通标志识别、视频远程控制和道路引导。中距离摄像机和高距离摄像机之间的差异可以是镜头的光圈角度或视野不同。对于中距离系统,可以使用70度到120度的水平视场,而宽范围光圈的摄像机可以使用大约35度的水平角度。所述摄像机可以为所述ADAS 125提供数据以作进一步处理。
以雷达传感器作为环境传感器135的一个例子,所述雷达传感器可以放置在电动车辆105的车顶。所述雷达能在一定的频率范围内传输信号。所述雷达能以一个中心频率传输信号。所述雷达可以传输包括up-chirp或down-chirp的信号。所述雷达可以发射脉冲。例如,所述雷达可以基于24ghz或77ghz。相对于24GHZ雷达,77GHZ雷达可以提供更高的距离和速度测量精度以及更精确的角度分辨率。与配置为24GHz的雷达相比,77GHz可以使用更小尺寸的天线,并可能具有更低的干扰问题。所述雷达可以是短程雷达(“SRR”)、中程雷达(“MRR”)或远程雷达(“LRR”)。SRR雷达可配置用于盲点检测、盲点监测、车道和变道辅助、雷达尾部碰撞警告或避免碰撞、公园辅助或交叉交通监控。
所述SSR传感器可以补充或替代超声波传感器。SRR传感器可放置在电动车辆105的每个角落,用于远程检测的前视传感器可放置在电动车辆105的前部。额外的传感器被放置在电动车辆105的每侧中间部位。SRR传感器可以包括使用79-GHz频段、4-GHZ带宽或1GHZ带宽、77GHZ频段的雷达传感器。所述雷达传感器可以包括或利用单片微波集成电路(MMIC),所述单片微波集成电路具有单片集成的三个传输通道(TX)和四个接收通道(RX)。所述雷达可以向所述ADAS 125提供原始数据或预处理数据。例如,雷达传感器可以为每个探测目标提供速度、距离、信号强度、水平角、垂直角等预处理信息。所述原始数据雷达传感器可以提供未经滤波的原始数据给所述ADAS 125进行进一步处理。
以激光雷达传感器作为环境传感器135的一个例子,所述激光雷达传感器可以放置在电动车辆105的整个外部。激光雷达传感器可以指或包括一个基于激光的系统。除了发射机(激光),所述激光雷达传感器系统可以使用一个敏感的接收器。所述激光雷达传感器可以测量到静止和移动物体的距离。激光雷达传感器系统可以提供被探测物体的三维图像。激光雷达传感器可以配置为提供360度全方位的能见度,以捕捉物体的空间图像。激光雷达传感器可以包括使用微机电机械系统(MEMS)的红外激光雷达系统,旋转激光器,或固态激光雷达。所述激光雷达传感器可以识别物体发射和反射的光束。例如,所述激光雷达传感器可以使用配置为测量单光子的探测器,如单光子雪崩二极管(SPAD)。
一个或多个分隔传感器140可被所述ADAS 125的各种组件用于获取电动车辆105的乘客舱内的数据。数据可以包括任何由分隔传感器140测量电动车辆105的乘客舱的物理方面所获得的数据,如电磁波(例如,可见的、红外、紫外和无线电波)。所述一个或多个分隔传感器140可以共享或可以包括任何那些环境传感器135。例如,所述一个或多个分隔传感器140可以包括摄像机(可见光谱、红外或紫外线)、激光探测和测量(激光雷达)传感器,声纳传感器、超声波传感器、触觉接触传感器,体重秤,麦克风,和生物传感器(如指纹阅读器和视网膜扫描仪)等等。所述一个或多个分隔传感器140可以包括电动车辆105的辅助组件的接口,如温度控制、座位控制、娱乐系统和GPS导航系统等。所述一个或多个分隔传感器140可以面对或可以直接在电动车辆105的乘客舱预定义的位置,以获取感知数据。例如,一个或多个舱室传感器140中的一些可以通常朝着驾驶控制130前面的位置(例如,在驾驶位)。所述一个或多个分隔传感器140中的一些可朝着电动车辆105的乘客舱内的相应座位(例如,其他乘客)。所述一个或多个分隔传感器40可以安装或放置在整个电动车辆105上。例如,所述一个或多个分隔传感器140中的一些可以放置在电动车辆105的整个乘客舱。
以摄像机作为分隔传感器1140的一个例子,多个摄像机可以被放置在电动车辆105的内部,且可以面向任何方向(例如,向前、向后、向左和向右)。摄像机可以包括配置用于近距离的摄像机系统,比如在4米范围内。从近距离摄像机获取的数据可用于执行电动车辆105中的一个或多个乘员120的人脸检测、面部识别、眼睛注视跟踪和步态分析等技术。从近距离摄像机获得的数据可以用于执行边缘检测,目标识别以及其他技术,任何物体,包括在电动车辆105中的乘员120。多个摄像机可用于执行立体摄像技术。摄像机可以为所述ADAS 125提供进一步处理的数据。
一个或多个用户界面145可包含输入和输出设备,用于与电动车辆105的各种组件进行交互。用户界面145可以包括一个显示器,例如液体晶体显示器,或有源矩阵显示器,用于向电动车辆105的一个或多个乘员120显示信息。用户界面145还可以包括一个扬声器,用于与电动车辆105的乘员120交流音频输入和输出。用户界面145还可以包括触摸屏、光标控制和键盘等,用于接收乘员120的用户输入。用户界面145还可以包括一个触觉装置(例如,在方向盘上或座位上),以触觉方式向电动车辆105的乘员120传达信息(例如,使用力反馈)。下面将详细介绍用户界面145与ADAS 125结合的功能。
车辆控制单元210可以控制电动车辆105通过环境100在驾驶表面150的机动。所述车辆控制单元210对电动车辆105的操纵可以通过电动车辆105的其他组件中的转向系统、加速系统和制动系统来控制或设置。车辆控制单元210可以将驾驶控制130与电动车辆105的转向系统、加速系统和制动系统等组件连接起来。驾驶控制130可以包括转向系统的方向盘,加速系统的油门踏板,和制动系统的制动踏板等等。转向系统可以通过调整电动车辆105的前轮方向等方式控制电动车辆105的行驶方向155。加速系统可以维持、减少或增加电动车辆105沿着行驶方向155的速度,例如,通过调整输入到电动车辆105的发动机的电源改变电动车辆105的一个或多个车轮旋转的频率。制动系统可以通过施加摩擦来抑制车轮的运动,从而降低电动车辆105沿行驶方向155的速度。
加速系统可以利用车辆105中的发动机控制电动车辆或其他车辆05的运动速度。所述车辆105的发动机可以在车轮中产生旋转以使车辆105以指定的速度移动。所述发动机可以包括一个电动,混合,化石燃料动力,或内燃机,发动机,或其组合。由发动机产生的旋转可由输入发动机的功率量来控制。内燃机产生的旋转可以通过向发动机注入的燃料的量(如汽油、乙醇、柴油和液化天然气(LNG))来控制。加速系统的发动机的旋转可由至少一个ECUs 205控制,所述ECUs 205可由车辆控制单元210控制(例如,通过驾驶控制130的油门踏板)。
制动系统可以通过抑制电动车辆105车轮的转动来降低电动或其他车辆105的速度。制动系统可以包括机械制动器,并可以对车轮的旋转施加摩擦以抑制运动。机械制动器的例子可以包括一种盘式制动器,其被配置为强制压在车轮的盘上。制动系统可以是电磁的,并且可以应用电磁感应来产生对车轮旋转的阻力,从而抑制运动。制动系统150可包括可由车辆控制单元210控制的至少一个ECUs 205(例如,通过驾驶控制130的制动踏板)。
所述转向系统可以通过调整电动车辆105的车轮相对于驾驶表面150的角度来控制电动车辆105的方向。所述转向系统可以包括一组连杆,枢轴和齿轮,如转向柱,直线驱动器(如齿条和小齿轮),拉杆,和主销以连接到电动车辆105的车轮。转向系统还可以将驾驶控制130的方向盘转动转移到直线驱动器和拉杆上,以调节电动车辆105的车轮倾角。所述转向系统可包括可由所述车辆控制单元210(例如,通过所述驾驶控制130的方向盘)控制的至少一个ECUs 205。
车辆控制单元210可以具有或以自动模式或手动模式操作电动车辆105。在自动模式下,车辆控制单元210可以使用从所述一个或多个环境传感器135获得的数据来导航电动车辆105通过环境100。例如,车辆控制单元210可以应用模式识别技术,如计算机视觉算法,基于模式识别技术的输出检测驾驶表面150本身(如边界和宽度)和驾驶表面150的物体、以及控制转向,加速,应用刹车。在手动模式下,车辆控制单元210可以依靠来自乘员120的通过驾驶控制130(如方向盘、油门踏板和制动踏板)接收到的用户输入,操纵电动车辆105通过环境100。例如,在手动模式下,车辆控制单元210可以通过驾驶控制130的方向盘、油门踏板或的制动踏板接收并传递用户输入,从而控制转向、加速和应用刹车以操纵所述电动车辆105。车辆控制单元210可以根据乘员120的用户输入在自动模式和手动模式之间切换。例如,电动车辆105的驾驶员可以通过按下显示在中心堆栈上的命令来启动自动模式。车辆控制单元210可以根据配置或由ADAS 125的其他组件造成的情况在自动模式和手动模式之间进行切换。下面将详细说明ADAS 125的其他组件在自动模式和手动模式之间的切换。
在自动模式下,车辆控制单元210可以自动控制转向系统、加速系统和制动系统以操纵和导航电动车辆105。车辆控制单元210可以从所述一个或多个环境传感器135获取环境数据。车辆控制单元210可以处理从环境传感器135获得的环境数据来执行时定位与地图构建(SLAM)技术。所述SLAM技术可以被执行,例如,使用扩展的卡尔曼滤波器。在执行SLAM技术时,所述车辆控制单元210可以执行各种模式识别算法(例如,图像对象识别)来识别驾驶路面150(例如,道路上的边界和车道)。所述车辆控制单元210还可以识别靠近电动车辆105的一个或多个物体(例如标志、行人、骑自行车的人、其他车辆)以及从电动车辆105到每个物体的距离(例如使用立体摄像技术)。利用环境传感器135获得的环境数据,所述车辆控制单元210可以进一步识别行驶方向155,电动车辆105的速度和电动车辆105的位置。
基于这些识别和确定结果,所述车辆控制单元210可以生成一个数字地图结构。所述数字地图数据结构(这里也称为数字地图)可以包括可以被车辆控制单元210访问、解析或处理的数据,用于通过环境100时路径的生成。三维动态地图可以指在x-y-z坐标平面上具有三维的数字地图。例如,所述维数可以包括宽度(例如,x轴)、高度(例如,y轴)和深度(例如,z轴)。维度可以包括纬度、经度和范围。数字地图可以是动态的数字地图。例如,数字地图可以定期更新,或者反映或指示使用图像识别技术检测到的一个或多个物体的运动、移动或变化。数字地图也可以包括非静止的物体,比如一个人的移动(例如,步行,骑自行车,或跑步),车辆的移动,或动物的移动。该数字地图可配置为检测移动的量或类型,并将移动描述为在三维数字地图结构建立的三维坐标平面中具有速度和方向的速度矢量。
所述数字地图可以检测移动的数量或类型,并将移动描述为在三维数字地图建立的三维坐标平面上具有速度和方向的速度矢量。车辆控制单元210可以周期性地更新速度矢量。车辆控制单元210可以基于间歇性更新之间的速度矢量预测目标的位置。例如,如果更新周期是2秒,车辆控制单元210可以确定在t0=0秒的速度矢量,然后使用所述速度矢量预测目标在t=1秒的位置,然后将目标放置在预测位置上作为t1=1秒时的数字地图实例。车辆控制单元210在t2=2秒时接收更新的感知数据,然后将物体放置在三维数字地图中在t2实际感知到位置,并更新速度矢量。更新速率可以是1Hz、10Hz、20Hz、30Hz、40Hz、50Hz、100Hz、0.5Hz、0.25Hz或自动导航通过环境100的其他速率。
使用数字地图和SLAM技术,车辆控制单元210可以生成自动导航在驾驶表面150通过环境100的路径。车辆控制单元210可以周期性地生成路径。该路径可以包括目标行驶方向155、电动车辆105的目标速度和导航通过环境100的电动车辆105的目标位置。目标行驶方向155的方向可以用围绕电动车辆105的主轴来定义(如纵轴滚转、横轴俯仰、纵轴偏航)。电动车辆105的目标速度可以相对于当前电动车辆105的速度(如维持、增加或减少)来定义。电动车辆105的目标位置可以为下次测定的电动车辆105的位置。根据生成的路径,车辆控制单元210可以设置、调整或控制转向系统、加速系统和制动系统。例如,车辆控制单元210可以使用转向系统将车轮转向目标方向或目标位置。所述车辆控制单元210也可以通过应用所述加速系统的加速器来加速或通过应用所述制动系统的刹车来减速,从而达到所述电动车辆105的目标速度。
在手动模式下,车辆控制单元210可以依靠乘员120在驾驶控制130上的用户输入来控制转向系统、加速系统和制动系统以操纵和导航电动车辆105通过环境100。驾驶控制130可以包括方向盘、油门踏板和制动踏板等。车辆控制单元210可以在方向盘上接收来自乘员120的用户输入(例如顺时针转向右,逆时针转向左)。车辆控制单元210可以使用转向系统根据用户在方向盘上的输入来转动车轮。车辆控制单元210可以接收在油门踏板上的用户输入。根据乘员120对油门踏板的力,车辆控制单元210可以通过使加速系统增加发动机的电力来提高电动车辆105的速度。车辆控制单元210还可以接收在制动踏板上的用户输入。基于乘员120对制动踏板施加的力,车辆控制单元210通过制动系统的制动来抑制车轮的运动,从而降低电动车辆105的速度。
环境感知模块215可以根据环境传感器135获取的环境数据,识别条件160来改变车辆控制单元210的工作模式。条件160可以对应环境100中的任何事件,以将车辆控制单元210从自动模式切换到手动模式。车辆控制单元210最初可能处于自动模式。例如,在驾驶时,电动车辆105的乘员120可能已经激活了自动模式,以自动操纵电动车辆105通过驾驶表面150。条件160可以与驾驶表面150在运动方向155有关,也可以与运动方向155无关。如前面所讨论的,条件160可以包括一个交叉点(例如,十字路口,环形交叉路口,转弯车道,枢纽站,或斜坡)或一个障碍(比如,路缘,建筑工地,天坑,迂回路,障碍,行人、骑自行车的人,或其他车辆)在驾驶表面150行驶方向115上。条件160也可以传达给电动车辆105。条件160包括一辆紧急车辆(如救护车、消防车或警车)出现在电动车辆105附近(如10公里内)。环境感知模块215可以定期从所述一个或多个环境传感器135检索、接收或获取环境数据,以识别条件160。从环境传感器135获取的环境数据可以是1Hz、10Hz、20Hz、30Hz、40Hz、50Hz、100Hz、0.5Hz、0.25Hz或其他速率。
为了识别驾驶表面150上的条件160,所述环境感知模块215可以对从环境传感器135获得的环境数据进行各种图像识别技术。例如,所述环境感知模块215可以从放置在电动车辆105外部的摄像机接收图像数据。环境感知模块215可以应用边缘检测技术和角检测技术来确定驾驶表面150的边界。边缘检测技术可以包括Canny边缘检测器、差分边缘检测器和Sobel-Feldman算子等。角点检测技术可以包括哈里斯算子,Shi-Tomasi检测算法,和水平曲线曲率算法。根据驾驶路面150的边界,环境感知模块215可以确定相对于电动车辆105行驶方向155存在的一个交叉点(例如交叉路口、环形路口、转弯车道、交叉路口或匝道)。利用该判定结果,环境感知模块215可以识别条件类型(例如,十字路口、环形路口、转弯车道、交叉路口或匝道)。环境感知模块215可以应用目标识别技术,以确定障碍物在相对电动车辆105行驶155的方向的存在(例如,路缘、天坑、障碍物、行人、骑自行车的人或其他车辆)。目标识别技术包括几何哈希、尺度不变特征变换(SIFT)和加速鲁棒特征(SURF)等。基于目标识别技术,环境感知模块215可以识别条件类型(如路缘、天坑、障碍、行人、自行车或其他车辆)。边缘检测技术,角点检测技术和目标识别技术可以应用于来自激光雷达传感器,雷达传感器,声纳等的环境数据。在确定路口或障碍物存在的基础上,环境感知模块215可以识别条件160,以将车辆控制单元210的操作模式从自动模式改为手动模式。
环境感知模块215也可以使用立体摄像机技术来确定条件160到电动车辆105的距离。所述距离可从电动车辆105的一侧沿行驶方向155计算出来。例如,如果条件160在电动车辆105的前面,则可以从电动车辆105的前保险杠测量出距离。环境感知模块215可以根据自动模式下自动导航的数字地图生成的路径确定条件160与电动车辆105之间的距离。通过确定到条件160的距离,环境感知模块215可以确定条件160发生的估计时间。环境感知模块215可以从环境传感器135获取的环境数据中识别电动车辆105的速度。根据电动车辆105的速度和到条件160的距离,环境感知模块215可以确定从现在到条件160发生的估计时间量(图1中标记为T)。
环境感知模块215可以从电动车辆105附近的一个源(例如,长达10公里)识别条件160。环境传感模块215可以接收通过其中一个V2X传感器进行通信的指示。接收到的指示可以限制在信号源周围的传输距离(例如10公里)。指示的来源可以包括另一辆汽车、无线电基站、智能手机或任何其他具备V2X通信能力的设备。指示可以包括一辆驶近的急救车(如救护车、消防车或警车)、道路中断(如道路施工或绕行)和一辆抛锚的车辆,以及其他情况。例如,环境感知模块215可以通过车对车传感器接收紧急车辆正在接近的指示。该指示可以包括紧急车辆类型、紧急车辆的位置和紧急车辆的速度等信息。在接收指示的基础上,环境感知模块215可以识别条件160。环境感知模块215可以进一步将一辆接近的紧急车辆的存在识别为条件类型。环境感知模块215可以通过车辆到基础设施传感器接收道路中断的指示。指示可以包括道路中断的位置以及其他信息。在接收指示的基础上,环境感知模块215可以识别条件160。环境感知模块215可以识别道路中断的存在作为条件类型。
环境感知模块215可以确定与电动车辆105通信的条件160的距离。环境感知模块215可以解析通过V2X传感器传达的指示,从而确定条件160的位置。环境感知模块215可以使用GPS传感器识别电动车辆105的位置。根据电动车辆105的位置和指示器所包含的位置,环境感知模块215可以确定从电动车辆105到条件160的距离。通过确定到条件160的距离,环境感知模块215也可以确定条件160发生的估计时间。环境感知模块215可以从环境传感器135获取的环境数据中识别电动车辆105的速度。环境感知模块215可以根据自动模式下自动导航的数字地图生成的路径确定条件160与电动车辆105之间的距离。根据电动车辆105的速度和到条件160的距离,环境感知模块215可以确定到条件160发生的估计时间(图1中标记为T)。
环境传感模块215可以利用从环境传感器135获得的数据识别电动车辆105内部的条件160。电动车辆105内部的条件160可以包括一个燃料将尽(例如,剩下不到10%),电池电量低(例如,剩下不到15%),轮胎压力低(例如,不到30Psi或2Bar),引擎温度高(例如,200℃以上),结构损伤(如裂缝的窗口或转向杆),或引擎故障(例如,冷却系统损坏)等等。用于检测或识别电动车辆105的内的条件160的环境传感器135可以包括车辆传感器,如轮胎压力表,燃料表,电池容量测量,IMU,温度计,和接触传感器等。环境感知模块215可以将车辆传感器测量的数据与定义的阈值进行比较。通过将测量值与定义的阈值进行比较,环境感知模块215可以识别条件160。基于该车载传感器,环境传感模块215可以识别条件类型。例如,环境感知模块215可以读出小于25psi的轮胎压力。如果定义的低胎压阈值为30Psi或以下,环境感知模块215可以识别胎压低为条件160。由于条件160目前正在电动车辆105内进行,环境传感模块215可以确定距离条件160的距离和时间为空。
基于从一个或多个分隔传感器140获得的感知数据,行为分类模块220可以确定电动车辆105内乘员120的活动类型。所述活动类型可以指示或识别电动车辆105中的乘员120的行为、动作和意识。例如,在从分隔传感器140获得的数据上使用模式识别技术,行为分类模块220可以确定乘员120的活动类型,可以包括张望,进行电话交谈,阅读一本书,跟另一个乘员120交谈,使用化妆品、剃须、吃饭、喝酒,和打盹等。行为分类模块220可以根据从分隔传感器140获得的感知数据的一个样本对应的单帧来确定活动类型。行为分类模块220可以基于多个帧来确定活动类型,这些帧对应于从分隔传感器140获得的感知数据的多个样本。如上所述,来自分隔传感器140的感知数据可能是电动车辆105的乘客舱。例如,所述感知数据可包括由定向于电动车辆105的乘客舱内的摄像机所拍摄的图像数据。行为分类模块220可以识别哪个分隔传感器140被定向到电动车辆105内的乘客舱的预定义区域。通过对分隔传感器140的识别,行为分类模块220可以检索、选择或以其他方式接收来自定向到预定义区域的分隔传感器140的感知数据。为驾驶员预定义的区域通常可以对应于具有驾驶控制130、驾驶员座位和座位之间的空间的乘客舱内的区域。定向到预定义区域的分隔传感器140可以获取与电动车辆105的乘员120对应的感知数据。例如,行为分类模块220可以选择电动车辆105中指向驾驶员座位的摄像机的图像数据。为乘客的预定义区域通常可以对应于司机区域之外的乘客舱内的区域。
行为分类模块220可以应用各种模式识别技术到从分隔传感器140获得的感知数据上。为了从感知数据中识别乘员120,行为分类模块220可以应用边缘检测技术(例如Canny边缘检测器、差分边缘检测器和Sobel-Feldman算子)。乘员120可以在分割传感器指向的预先定义的区域中。行为分类模块220可以利用边缘检测技术识别出与乘员120相对应的一个区域的感知数据。行为分类模块220可将立体摄像机技术应用于从分隔传感器140获得的感知数据,以在电动车辆105的预定义区域内构建乘员120的三维模型。
通过对来自感知数据的乘员120的识别,行为分类模块220利用模式识别技术确定了乘员120的活动类型。模式识别技术的例子可以包括目标识别(如几何哈希、尺度不变特征变换(SIFT)和加速鲁棒特征(SURF))。行为分类模块220可以从分隔传感器140获得的感知数据中提取一个或多个特征。行为分类模块220可以维护一个模型来基于从分隔传感器140获得的感知数据识别乘员120的活动类型。该模型可能已经使用训练数据集进行了训练。训练数据集可以包括样本感知数据,每个样本感知数据都标记了对应的活动类型。训练数据集还可以包括从感知数据中提取的样本特征,每一个样本特征都标记了相应的活动类型。样本感知数据可以是单个帧(例如,一幅图像)或多个帧(例如,视频)。例如,一个人低头看书的样图可能被标记为“读书”,而一个人闭着眼睛躺在座位上的样图可能被标记为“睡觉”。
使用训练过的模型,行为分类模块220可以为从感知数据中识别出的乘员120的每种候选活动类型生成一个分数120。在生成分数时,行为分类模块220可以将从感知数据中提取的特征与训练数据集中标注的特征进行比较。该分数可以表明,乘员120正在执行与模型确定的活动类型相对应的活动的可能性。行为分类模块220可以根据相应候选活动类型的得分来识别乘员120的活动类型。行为分类模块220可以识别得分最高的候选活动类型为乘员120的活动类型。
在识别乘员120的活动类型时,行为分类模块220也可以使用其他模式识别技术从分隔传感器140获得的感知数据中提取一个或多个特征。例如,行为分类模块220可以使用面部检测从感知数据中识别出乘员120的脸。行为分类模块220可以进一步应用面部识别技术,从车分隔传感器140的感知数据中识别出乘员120面部的一个或多个面部特征(例如,眼睛、鼻子、嘴唇、眉毛和脸颊)。行为分类模型220也可以为使用面部识别技术从乘员120中识别出的每个特征确定一个或多个属性。用于训练模型的训练数据集可以包括一个或多个面部特征,以及标记为与活动类型相关的每个特征的一个或多个属性。使用每个特征的一个或多个属性和经过训练的模型,行为分类模块220可以确定乘员120的活动类型。行为分类模块220也可以使用眼睛注视跟踪来识别被识别出的乘员120的脸的眼睛的一个或多个特征。用于训练模型的训练数据集可以包括一个或多个标记为与活动类型相关的眼睛特征。使用一个或多个识别出的眼睛特征和训练模型,行为分类模块220可以确定乘员120的活动类型。
行为分类模块220可以根据用户与电动车辆105的辅助部件(如温度控制、座椅控制、娱乐系统和GPS导航系统)的交互,确定乘员120的活动类型。行为分类模块220可以接收或识别乘员120对电动车辆105的组件的用户交互。行为分类模块220可以识别用户交互对应的辅助组件。行为分类模块220可以使用已识别的辅助组件上的用户交互来调整或设置活动类型的分数,然后再确定得分最高的活动类型。例如,用户与座椅控件上的倾斜按钮的交互可能对应于打盹的活动类型。在本例中,行为分类模块220可以根据用户与座椅控制上的倾斜按钮的交互,提高打盹活动类型的得分。
使用从一个或多个分隔传感器140获得的感知数据,用户识别模块225可以从用户档案数据库250识别电动车辆105中的乘员120。用户档案数据库250可以维护电动车辆105的注册乘员列表。注册乘员列表可以通过以下方式识别每个注册乘员:帐户标识符(如姓名、电子邮件地址或任何一组字母数字字符)和与注册乘员相关的感知数据中的一个或多个特征。响应电动车辆105的激活,用户识别模块225可以为电动车辆105内的驾驶员发起对其在预定义区域内的乘员120的识别。为驾驶员预定义的区域通常可以对应于具有驾驶控制130、驾驶员座位和座位之间的空间的乘客舱内的区域。用户识别模块225可以为乘员120提供识别提示。例如,用户识别模块225可以通过扬声器产生音频输出信号,要求驾驶员相对于分隔传感器140的位置。提示显示之后,用户识别模块225可以从一个或多个分隔传感器140接收感知数据。接着上一个例子,驾驶员可以将自己的脸放在摄像头前进行视网膜扫描,将手指放在指纹识别器上,或者对着麦克风说话。
用户识别模块225可以应用模式识别技术来识别哪个乘员120在电动车辆105内。用户识别模块225可以从分隔传感器140获得的感知数据中提取一个或多个特征。用户识别模块225可以将从感知数据中提取的一个或多个特征与用户配置文件数据库250中保存的注册乘员的一个或多个特征进行比较。基于比较,用户识别模块225可以生成一个分数,表明乘员120是用户配置文件数据库250中保留的已注册乘员之一的可能性。用户识别模块225可以根据分数在预定义区域内识别哪个乘员120在电动车辆105内。用户识别模块225可将得分最高的注册乘员识别为预定义区域内电动车辆105内的乘员120。
此外,用户识别模块225可以基于来自车分隔传感器140的感知数据确定在电动车辆105内的乘员的数量。用户识别模块225可以从分隔传感器140接收到乘客舱的感知数据。用户识别模块225可以应用边缘检测技术或斑点检测技术,在从分隔传感器140获取的感知数据中,将乘客120从乘客舱内组件(如驾驶控制130、座椅、安全带和车门)分离出来。利用边缘检测技术或斑点检测技术,用户识别模块225可以确定电动车辆105的乘客舱内的乘员120的数量。用户识别模块225还可以从座椅上的重量秤识别出施加在每个座椅上的重量。所施加的重量相当于坐在座椅上的乘员120施加在座椅上的力。用户识别模块225可以将每个座位的重量与阈值重量进行比较。用户识别模块225可以将重量大于阈值重量的座位数计算为电动车辆内的乘员的数量。
用户识别模块225也可以使用从分隔传感器140获得的感知数据为电动车辆105中的每个乘员120识别乘员类型。乘员类型可以包括婴儿、幼儿、儿童、青少年和成年人。如上所述,用户识别模块225可以使用边缘检测技术或斑点检测技术来确定电动车辆105内的乘员120的数量。使用边缘检测技术或斑点检测技术,用户识别模块225可以确定每个乘员120的尺寸(例如,高度和宽度)。用户识别模块225可以将尺寸与每个乘员类型的一组预先确定的范围进行比较。例如,身高不足80厘米可以为一个婴儿,身高80厘米和90厘米之间可以蹒跚学步的小孩,身高90厘米到100厘米之间为一个孩子,身高100厘米和120厘米之间可以为青少年,和身高125厘米以上可以为一个成年人。根据感知数据确定的大小,用户识别模块225可以确定每个乘员120的乘员类型。
用户识别模块225可以通信或提供维护在用户配置文件数据库250上的注册用户列表。在电动车辆105中ADAS 125上执行的用户识别模块225可以注册额外的乘员。例如,用户识别模块225可以通过电动车量105的触摸屏显示器提示新乘员120注册。用户识别模块225可以通过用户界面145接收帐户标识符和密码。与此同时,用户识别模块225也可以从预先定义的区域接收来自分隔传感器140的感知数据。为驾驶员预定义的区域通常可以对应于具有驾驶控制130、驾驶员座位和座位之间的空间的乘客舱内的区域。用户识别模块225可以从感知数据中提取一个或多个特征。用户识别模块225可以将提取的特征存储到与帐户标识符相关联的用户配置文件数据库250中。
为了响应通过网络连接到远程服务器110的电动车辆105的ECUs 205,用户识别模块225可以向远程服务器110发送或提供在用户配置文件数据库250上本地保存的已注册的乘员名单。在远程服务器110上运行的用户识别模块225可以在远程服务器110上的用户配置文件数据库250上存储和维护接收到的注册乘员列表。随后,运行在电动车辆105上的用户识别模块225可通过用户界面145接收已注册乘员的账户标识符和密码。电动车辆105中的乘员120可能与存储在远程服务器106的用户配置文件数据库250上的注册乘员相对应,而不是ADAS 125的用户配置文件数据库250。运行在电动车辆105上的用户识别模块225可以通过网络向远程服务器110发送包括帐户标识符和密码的请求。远程服务器110的用户识别模块225可以解析请求以识别帐户标识符和密码。用户识别模块225可以使用在远程服务器110上的用户配置文件数据库250上维护的帐户标识符和密码验证来自请求的帐户标识符和密码。为了确定来自请求的帐户标识符和账户的密码与用户配置文件数据库250的帐户标识符和账户的密码之间的匹配,远程服务器110上的用户识别模块225可以发送注册乘员的一个或多个特征给电动车辆105的ADAS 125。运行在电动车辆105中的用户识别模块225可以将一个或多个特征连同帐户标识符和密码存储在电动车辆105中的ECUs 205中维护的用户配置数据库250中。
模型训练模块230可以维护一个行为模型,用于确定乘员120对接受车辆手动控制功能指示的估计的反应时间。行为模型可以是人工神经网络(ANN)、贝叶斯网络、马尔可夫模型、支持向量机模型、决策树和回归模型,或者它们的任意组合。行为模型可以包括通过一个或多个预定参数相互关联的一个或多个输入和一个或多个输出。一个或多个输入可以包括活动类型、条件160、电动车辆的乘员120数量、乘员120的乘员类型、刺激类型和时间等因素。所述一个或多个输出至少可包括所述乘员120对展示指示以取得控制的估计的反应时间。预定的参数可以将活动类型与估计的反应时间联系起来。
模型训练模块230可以使用远程服务器110可访问的数据库上维护的基线测量115来训练行为模型。基线测量115可包括测试对象对某一指示的展示执行某一活动类型时一组反应时间。所述一组反应时间可以从测试对象的特定类型的刺激测量,如音频刺激,视觉刺激,或触觉刺激,或任何组合。反应时间可以在测试环境中通过测试对象感知不同类型的刺激来测量。反应时间可以对应于显示指示和执行指定任务之间的一段时间(例如,握着方向盘或直接面对驾驶座)。在反应时间测量中,测试对象可能被放在一辆车里,在指示出现之前,他们可能正在执行一项指定的任务(比如看书、低头看智能手机、与他人交谈、打盹或跳舞)。在测量反应时间时,测试对象还可能暴露在各种辅助条件下,如车辆中其他人的数量、人员类型、时间等因素。通过使用基线测量115进行训练,模型训练模块230可以设置或调整行为模型的一个或多个参数。模型训练模块230可以重复行为模型的训练,直到一个或多个参数达到收敛。
响应电动车辆105的ECUs 205通过网络连接到远程服务器110,运行在远程服务器110上的模型训练模块230可以将行为模型发送或提供给运行在电动车辆105上的模型训练模块230。远程服务器110的模型训练模块230也可以通过连接到运行在电动车辆105上的模型训练模块230提供行为模型的一个或多个参数。远程服务器110的模型训练模块230可以提供来自数据库的基线测量值115到运行在电动车辆105上的模型训练模块230。在电动车辆105的ECUs 205上运行的模型训练模块230依次可以使用从远程服务器110通过网络接收到的基线测量115,按照本文所述的相同方式训练行为模型的本地副本。运行在电动车辆105上的模型训练模块230也可以向远程服务器110发送数据来更新基线测量值115,具体如下。
响应识别出的条件160以改变车辆控制单元210的操作模式,反应预测模块235可以使用行为模型基于活动类型来确定估计的乘员120的反应时间。所估计的反应时间可对应于向乘员显示指示120以取得手动控制车辆的功能与操作模式中从自动模式到手动模式的状态变化之间的一段时间。状态变化可以对应于乘员120通过驾驶控制130在最短时间内对车辆进行手动控制,如方向盘、油门踏板或刹车踏板等。例如,状态变化可以对应于电动车辆105的驾驶员,该驾驶员当前或之前处于自动模式,手握方向盘或踩油门或刹车踏板达到至少一段时间(如5秒到30秒)。反应预测模块235可以应用乘员120的活动类型作为行为模型的输入。通过将活动类型应用到行为模型的一个或多个参数上,反应预测模块235可以计算或确定乘员120对显示的以取得手动控制车辆功能的估计的反应时间。估计的乘员120反应时间的可以基于活动类型。例如,乘员120先前看智能手机时的估计的反应时间可能比先前看着远离驾驶控制130的一侧时的估计反应时间要长。
对于显示的指示的每种刺激类型,反应预测模块235可以根据活动类型生成乘员120对刺激类型的估计的反应时间。如上所述,所述指示的呈现可以包括音频刺激、视觉刺激或触觉刺激,或由用户界面145输出的它们的任何组合。该音频刺激可以包括一组音频信号,每个音频信号具有定义的持续时间和强度。视觉刺激可以包括一组图像或视频,每个图像或视频都有特定的颜色、大小和显示持续时间。触觉刺激可以包括施加在乘员120上的力,如驾驶控制130、座椅、用户界面145或电动车辆105内的其他部件的振动或运动。生成和产生音频、视觉和触觉刺激的指令可以作为数据文件存储和维护在ADAS 125上。对于相同的活动类型,乘员120的估计的反应时间可能会根据用于呈现手动控制车辆功能的指示的刺激类型而有所不同。例如,先前午睡时,乘员120对触觉刺激的估计的反应时间较短,而对视觉刺激的估计反应时间较长。反应预测模块235可以应用刺激类型作为行为模型的输入,以确定估计的刺激的反应时间。
除了活动类型外,反应预测模块235还可以使用其他因素作为行为模型的输入,以确定从出现指示到取得手动控制车辆的功能估计的乘员120的反应时间。反应预测模块235可以将确定在电动车辆105内的乘客120数量作为行为模型的输入,以确定估计的驾驶员的反应时间。估计的驾驶员的反应时间可能会根据电动车辆105内乘员102的数量变动。例如,乘客120数量越多,估计的司机的反应时间可能就越长,因为乘客120的数量可能会给司机带来额外的干扰。反应预测模块235还可以使用电动车辆105中的乘员120类型作为行为模型的输入,以确定估计的驾驶员的反应时间。对于相同的活动类型,估计的驾驶员的反应时间可能会因电动车辆105中的乘客类型而不同。例如,如果电动车辆105中有婴儿、蹒跚学步的幼儿或儿童,驾驶员的估计的反应时间可能会由于额外的干扰而增加。反应预测模块235可以将一天的时间作为行为模型的输入,以确定估计的乘员120的反应时间。反应预测模块235可以从ECU中的一个定时器中识别一天中的某个时间。对于相同的活动类型,估计的乘员120的反应时间可以不同。例如,一个夜间的司机(下午6点到11点59分之间)可能比中午的司机(上午11点到下午2点之间)的估计的反应时间要慢,这是因为全天的警觉性水平不同。
反应预测模块235可以在数据库中维护多个行为模型。数据库可以是一个或多个ECUs 205的一部分,也可以被一个或多个ECUs 205以其他方式访问。数据库也可以是远程服务器110的一部分(例如,在内存上),或者可以通过其他方式被远程服务器110访问。行为模型可以修改为使用电动车辆105的乘员120的反应时间和活动类型。每种行为模型可能适用于电动车辆105的不同的注册乘员。每个行为模型都可以通过注册乘员的帐户标识符进行索引。反应预测模块235可以根据乘员120(如司机)的识别,从多个行为模型中识别行为模型。通过对电动车辆105内乘员120的识别,反应预测模块235可以识别乘员120的帐户标识符。反应预测模块235可以使用乘员120的账号标识符从多个行为模型中查找行为模型。在找到电动车辆105中识别出的乘员120的行为模型后,反应预测模块235可以将活动类型和其他因素作为输入,按照上述方式确定估计的乘员120的反应时间。
基于估计的反应时间,策略实施模块240可以在先于条件160向乘员120呈现手动控制车辆的功能的指示。策略实施模块240可以根据操作应用策略使用乘员120的估计的反应时间来选择指示的呈现。操作应用策略可以是在ADAS 125上维护的数据结构(例如,在数据库上)。操作应用策略可以指定显示给乘员120的刺激类型,以便在估计的反应时间范围内对车辆的功能进行手动控制。操作应用策略可以根据估计的反应时间范围进一步指定要选择的刺激序列。刺激序列可以列举每个刺激的强度级别和持续时间。刺激序列可以识别用于生成和产生音频刺激、视觉刺激和触觉刺激或其任何组合的数据文件路径名。强度级别可包括音频刺激的音量、视觉刺激的亮度和触觉刺激的力度。例如,打盹的活动类型和估计不到45秒的反应时间,操作应用程序可以指定一个音频刺激策略的低强度是第一个30秒,然后另一个音频高强度的刺激是下一个10秒钟,然后应用触觉刺激与前面的音频刺激。策略实施模块240可以将乘员120的估计的反应时间与操作应用策略中的估计的反应时间范围进行比较。通过比较,策略实施模块240可以选择刺激序列。
策略实施模块240可以根据估计的反应时间和条件160出现之前的估计时间,确定显示指示的起始时间。如上所述,为了识别条件,环境感知模块215可以确定条件160发生的估计时间。策略实施模块240可以从条件160发生的估计时间中减去估计的反应时间,以确定向乘员120显示指示的起始时间。此外,策略实施模块240可以根据估计的乘员120的反应时间和估计的条件160发生的时间来设置或确定缓冲时间(例如预警时间)。缓冲时间使乘员120有额外的时间对指示的显示作出反应,以取得手动控制车辆的功能。策略实施模块240可以从条件160发生的时间中减去缓冲时间和估计的反应时间,以确定起始时间。为了响应条件160发生时的估计的时间变化,策略实施模块240可以调整显示指示的起始时间。
根据估计的反应时间的操作应用策略,策略实施模块240可以通过用户界面145向乘员120显示指示,以取得对车辆控制的手动控制。策略实施模块240可以识别操作应用策略指定的选定的刺激序列。策略实施模块240可以查找并加载与刺激序列相对应的数据文件。策略实施模块240可以等待并持有与刺激序列对应的数据文件,直到出现呈现指示的起始时间。策略实施模块240可以维护一个定时器来识别当前时间。策略实施模块240可以将当前时间与起始时间进行比较,以显示指示。在确定当前时间大于或等于起始时间时,策略实施模块240可以启动向乘员120显示指示以取得手动控制。策略实施模块240还可以根据刺激序列对应的数据文件发起刺激的生成。对于音频刺激,策略实施模块240可通过电动车辆105内的扬声器播放音频刺激,以指示乘员120取得手动控制。对于视觉刺激,策略实施模块240可控制灯或在显示器上呈现电动车辆105内的视觉刺激,以指示乘员120取得手动控制。在触觉刺激方面,策略实施模块240可在电动车辆105的座椅或方向盘上引起振动或运动,以指示乘员120进行手动控制。
在启动之后,在操作应用策略的刺激序列指定的持续时间内,策略实施模块240可以通过用户界面145继续显示指示。策略实施模块240可以解析数据文件以生成刺激。通过解析数据文件,策略实施模块240可以根据刺激类型确定将哪个用户界面145输出刺激给乘员120。为了响应识别出的刺激类型为音频,策略实施模块240可以识别或选择扬声器以输出音频刺激。为了响应识别出的刺激类型为视觉,策略实施模块240可以识别或选择用于输出视觉刺激的显示器。为了响应识别出的刺激类型为触觉,策略实施模块240可以识别或选择用于输出力(如振动或运动)的触觉设备。
当策略实施模块240通过用户界面145给出指示时,响应跟踪模块245可以维护一个计时器,以测量或识别自指示显示开始以来所经过的时间量。响应跟踪模块245还可以测量或识别自通过用户界面145产生刺激的输出开始以来所经过的时间。响应跟踪模块245可以识别由策略实施模块240确定的起始时间。响应跟踪模块245可以等待和监控驾驶控制130上的用户输入。用户输入可以在方向盘上,油门踏板上,也可以在刹车踏板上。例如电动车辆105的驾驶员可以将手放在方向盘上,方向盘上的触觉接触传感器可以感知手与方向盘的接触。电动车辆105的驾驶员还可以将脚放在油门踏板或刹车踏板上,踏板上的触觉接触传感器可以感知到与油门速踏板或刹车踏板上的接触。响应跟踪模块245可检测车辆控制单元210的操作模式从自动模式到手动模式的状态变化。车辆控制单元210的操作模式的状态变化可以对应于驾驶控制130上检测到的用户输入。状态的变化可以对应于在驾驶控制130上连续检测到的用户输入至少持续一段时间(例如,10到30秒或其他范围)。为了响应检测驾驶控制130上的用户输入,响应跟踪模块124可以识别从指示开始显示以来所经过的总时间,作为测量的反应时间。自指示开始显示以来所经过的总时间可表示乘员120在取得手动控制车辆的功能时的实际反应时间。车辆控制单元210也可以从自动模式进入手动模式,以响应驾驶控制130上检测到的用户输入的。
利用响应跟踪模块245标识的经过的时间,策略实施模块240可以通过用户界面145更改指示的显示。策略实施模块240可以根据操作应用策略将经过的时间与刺激序列所指定的刺激的持续时间进行比较。策略实施模块240可以确定经过的时间小于刺激序列指定的持续时间。作为对该确定结果的响应,策略实施模块240可以继续生成并输出刺激序列所指定的刺激。策略实施模块240可以确定经过的时间大于或等于刺激序列指定的持续时间。作为对该确定结果的响应,策略实施模块240可以识别或选择另一个指示,以呈现给乘员120以取得手动控制。策略实施模块240可以识别操作应用策略中的刺激序列指定的下一个刺激。策略实施模块240可以终止通过用户界面145输出的当前刺激。策略实施模块240可以切换到刺激序列指定的下一个刺激,并通过用户界面145生成刺激的输出。
策略实施模块240还可以将经过的时间与切换临界阈值时间进行比较。切换临界阈值时间可以表示在条件发生之前,乘员120应取得手动控制车辆的功能的关键时间。策略实施模块240可以根据估计的反应时间、缓冲时间和条件160发生的时间设置切换临界阈值时间。策略实施模块240可以将切换临界阈值时间设置为大于估计的反应时间(例如,通过预定义的倍数)。策略实施模块240可以设置切换临界阈值时间大于估计的反应时间加上缓冲时间。策略实施模块240可以将条件160的发生时间设置为切换临界阈值时间。策略实施模块240可以确定运行时间小于切换临界阈值时间。响应该确定结果,策略实施模块240可以继续向乘员120显示指示,以取得手动控制车辆的功能。策略实施模块240可以确定经过的时间大于或等于切换临界阈值时间。响应该确定结果,策略实施模块240可以启动自动对策程序,以过渡电动车辆105到静止状态。
为了启动自动对策程序,策略实施模块240可以调用车辆控制单元210,利用环境传感器135获得的环境数据导航电动车辆105到静止状态。由于乘员120没有承担手动控制车辆的功能车辆控制单元210可能仍然处于自动模式。基于使用来自环境传感器135的环境数据生成的数字地图数据结构,车辆控制单元210可以识别条件160的位置。利用所述条件160的位置,所述车辆控制单元210可以识别电动车辆105过渡到静止状态的位置。例如,静止状态的位置可能包括路肩或路边的停车车道。静止状态的位置可能比条件160的位置更接近电动车辆105的当前位置。
基于电动车辆105的当前位置和静止状态的位置,结合前面描述的SLAM技术,车辆控制单元210可以生成到静止状态位置的路径。该路径可以包括目标行驶方向155、电动车辆105目标速度和静止状态的位置。车辆控制单元210可以应用目标识别技术来确定当前位置和静止状态位置之间存在的障碍(例如,路缘、天坑、障碍、行人、骑自行车的人或其他车辆)。目标识别技术包括几何哈希、尺度不变特征变换(SIFT)和加速鲁棒特征(SURF)等。基于使用目标识别技术检测到的障碍,车辆控制单元210可以改变到静止状态的位置的路径。根据生成的路径,车辆控制单元210可以设置、调整或控制转向系统、加速系统和制动系统。例如,车辆控制单元210可以使用转向系统将车轮转向目标方向或目标位置。所述车辆控制单元210也可以通过应用加速系统的加速器来加速或通过刹车系统来减速来获得电动车辆105的目标速度。在确定电动车辆105在目标位置时,车辆控制单元210可以应用制动系统150的刹车以保持静止状态。
通过识别出的测量反应时间和乘员120的活动类型,模型训练模块230可以设置、调整或修改行为模型,以预测估计的反应时间。由模型训练模块230修改的行为模型可以专门针对乘员120。模型训练模块230可以维护乘员120的反应时间日志。反应时间日志可以包括乘员120的帐户标识符、活动类型、活动类型的估计反应时间,以及估计反应时间的测量反应时间。反应时间日志可保存在电动车辆105上。模型训练模块230可以确定估计反应时间和测量反应时间之间的差异。模型训练模块230可以根据估计反应时间和测量反应时间之间的差异以及活动类型修改行为模型的一个或多个参数。模型训练模块230可以根据估计反应时间和测量反应时间确定活动类型的行为模型的一个或多个参数。模型训练模块230可以确定估计的反应时间大于测量的反应时间。在确定估计反应时间较大的基础上,模型训练模块230可以调整行为模型的一个或多个参数,以减少后续确定活动类型的估计反应时间。模型训练模块230可以确定估计的反应时间小于测量的反应时间。在确定估计反应时间较短的基础上,模型训练模块230可以调整行为模型的一个或多个参数,以增加后续确定的活性类型的估计反应时间。随着时间的推移,随着不同活动类型对乘员120的反应时间的测量越来越多,行为模型可以进一步细化并细化到单个乘员20。因此,在随后的测定中,对于特定的乘员120,估计反应时间的准确性可以提高。
响应电动车辆105的ECUs 205通过网络连接到远程服务器110,在电动车辆105上执行的模型训练模块230可以向远程服务器110传输或提供修改后的行为模型。模型训练模块230可以传输或提供基于估计反应时间、测量反应时间和乘员120的活动类型修改的一个或多个参数。模型训练模块230也可以通过网络向远程服务器110提供反应时间日志。在远程服务器110上执行的模型训练模块230可以从电动车辆105接收修改后的行为模型。利用电动车辆105修改后的行为模型,运行在远程服务器110上的模型训练模块230可以修改在其上维护的行为模型。模型训练模块230也可以根据接收到的行为模型修改基线测量115。在远程服务器110上执行的模型训练模块230可以从电动车辆105接收一个或多个修改的参数。利用电动车辆105修改后的行为模型,运行在远程服务器110上的模型训练模块230可以修改在其上维护的行为模型。模型训练模块230也可以根据一个或多个参数修改基线测量115。在远程服务器110上执行的模型训练模块230可以接收来自电动车辆105的反应时间日志。使用反应时间日志中的活动类型、估计的反应时间和测量的反应时间,运行在远程服务器110上的模型训练模块230可以修改在其上维护的行为模型。基于反应时间日志,模型训练模块230也可以修改基线测量115。
通过这种方式,基线测量115可以进一步更新,以更好地反映测试之外的条件。例如,基线测量115最初可能是在一个孤立的环境中进行的,该环境电动车辆105的乘客120的干扰较少,部分代表了真实世界的运行时条件。相比之下,测量的响应时间可以来自在真实的运行时条件下的电动汽车105的乘员120。在真实世界中,运行时条件可能包括对乘员120的干扰和其他刺激,这可能会对反应时间产生不同于孤立条件的影响。随着电动车辆105在真实世界运行时的测量响应时间数据的增加,基线测量值115可以进一步更新,以更加反映真实世界的运行时条件。来自电动车辆105的数据的增加还可以进一步提高使用行为模型确定的估计的反应时间的准确性,这些行为模型使用更新的基线测量值115进行训练,从而提高ADAS 125的可操作性。
图3示出了根据结合图1和2详细描述ADAS 125的在车辆设置中转移控制的时间线的线图。在ADAS 125的背景下,环境感知模块215可以利用从环境传感器135获得的感知数据从当前时间确定条件160发生的估计的时间Tc 305。例如,环境感知模块240可以使用从环境传感器135获得的数据检测到十字路口发生在驾驶表面150作为条件150,并可以计算从当前时间条件160发生的估计的时间Tc305为600秒。为了响应识别到的条件160,行为分类模块220可以使用从分隔传感器140获得的感知数据确定乘员120的活动类型。例如,行为分类模块220可以确定驾驶员正在阅读一本书而不去看电动车辆105的驾驶控制130作为从摄像机获取的驾驶员视频的活动类型。根据电动车辆105内乘员120的活动类型,反应预测模块235可确定估计反应时间为TR 310。例如,反应预测模块235可以将确定的活动类型输入到行为模型中,计算出阅读一本书的活动类型从现在起的估计反应时间TR 310为20秒。策略实施模块240可以从条件的估计发生时间Tc 305中减去估计的反应时间TR 310来识别Ts 315。继续前面的示例,策略实施模块325可以计算出Ts 315为580秒(600-20)。策略实施模块240可以将缓冲时间TB320从Ts 315减去以确定起始TI 325。例如,缓冲区时间TB 320可以设置为100秒,因此策略实施模块240计算的起始时间TI325可以是从现在开始的480秒(580-100秒)。一旦到达起始时间TI 325,策略实施模块240可以开始产生刺激,以指示乘员120来取得手动控制车辆的功能。例如,策略实施模块240可以在距第一次识别条件160的480秒后,使用电动车辆105的传感器启动播放音频警报(例如,“请控制方向盘:前方的十字路口”)。
图4示出了根据结合图1和2详细描述ADAS 125的在车辆设置中转移控制的时间线的线图。在ADAS 125的背景下,响应跟踪模块245可以识别在测量的反应时间TM 405,以响应车辆控制单元210操作模式的状态变化。从图3的示例继续,响应跟踪模块245可以检测到电动车辆105的驾驶员在第一次识别出条件160以来开始抓握方向盘TM 405为540秒。响应跟踪模块245可确定TS 310与测量反应时间TM 405之间的差异为ΔT 410。在前面的示例中,响应跟踪模块245可以计算出ΔT 410为40秒(580-540秒)。响应跟踪模块245也可以确定ΔT 410,表明估计的反应时间TR 310是高估了。对于上一个示例,响应跟踪模块245可以确定TM 405发生在TS 310之前,因此是过高估。使用差异ΔT410,模型训练模块230可以调整或修改行为模型的一个或多个参数,以减少在后续判定中对相同活动类型的估计的反应时间。例如,模型训练模块230可以针对阅读的活动类型调整行为模型的参数,从而在以后的计算中减少对阅读活动类型的估计反应时间。
图5示出了根据结合图1和2详细描述ADAS 125的在车辆设置中转移控制的时间线的线图。在ADAS 125的背景下,响应跟踪模块245可以识别测量的反应时间TM 505,以响应车辆控制单元210操作模式的状态变化。从图3的示例继续,响应跟踪模块245可以检测到电动车辆105的驾驶员在第一次识别出条件160以来开始抓握方向盘TM 505为595秒。响应跟踪模块245可以确定TS 310与测量的反应时间TM 505之间的差异为AT 510。在前面的示例中,响应跟踪模块245可以将ΔT 510计算为15秒(595-580秒)。响应跟踪模块245也可以确定ΔT 510,表明估计的反应时间TR 310被低估了。对于上一个示例,响应跟踪模块245可以确定TM 505发生在TS 310之后,因此被低估了。使用差异ΔT 510,模型训练模块230可以调整或修改行为模型的一个或多个参数,以增加在后续决定中对相同活动类型的估计反应时间。例如,模型训练模块230可以针对读书的活动类型调整行为模型的参数,从而在以后的计算中增加对读书活动类型的估计反应时间。
图6描述了在车辆设置中转移控制的方法600的流程图。方法600的功能可由上述结合图1和2、或结合图7详细描述的计算系统700、或其他组合一起详细说明的ADAS 125的各个组件实现或执行。例如,方法600的功能可以在ADAS 125上执行,并如结合图1和2以及本文详细描述的那样,分布在一个或多个ECUs 205和远程服务器110之间。数据处理系统可以识别改变操作模式(ACT 605)的条件。数据处理系统可以确定活动类型(ACT 610)。数据处理系统可以确定估计的反应时间(ACT 615)。数据处理系统可以在条件出现之前给出指示(ACT 620)。数据处理系统可以使用测量的反应时间来修改模型(ACT 625)。
例如,一个数据处理系统(例如ADAS 125)可以识别改变操作模式的条件(ACT605)。数据处理系统125可以从电动车辆车传感器获得的环境数据中识别出需要改变的条件。所述条件会导致电动车辆的车辆控制单元从自动模式变为手动模式。该条件可以与驾驶表面相关联,电动车辆在所述驾驶表面操纵或与本身通信。数据处理系统125可以应用各种模式识别技术从环境数据中识别出条件。随着条件的识别,数据处理系统125可以确定条件发生的估计的距离和时间。
数据处理系统125可以确定一个活动类型(ACT 610)。数据处理系统125可以使用从定向与电动车辆的乘客舱的传感器获得的感知数据确定电动车辆内的乘员(例如,司机)的活动类型。数据处理系统125可以应用模式识别技术到感知数据上,以确定乘员的活动类型。数据处理系统125还可以从感知数据中提取特征,并可以将提取的特征与预先确定的与各种活动类型相关的标记的特征进行比较。通过比较,数据处理系统125可以确定乘员的活动类型。
数据处理系统125可以确定估计的反应时间(ACT 615)。基于确定的活动类型,数据处理系统125可以使用一个行为模型来确定乘员对指示取得手动控制的显示的估计的反应时间。行为模型可以包括一组输入和一组基于一组参数与输入相关的输出。行为模型最初可以使用基线测量来训练。基线测量可以显示测试对象在执行另一项活动时对指示的显示的反应时间。通过训练,数据处理系统125可以调整行为模型中的参数集。数据处理系统125可以应用确定的活动类型作为行为模型的输入,以获得估计的反应时间作为输出。
数据处理系统125可以在条件出现之前显示指示(ACT 620)。数据处理系统125可以根据估计的反应时间向乘员显示指示,使其取得手动控制车辆的功能。所述指示的显示可包括音频刺激、视频刺激或触觉刺激或其任何组合。数据处理系统125可以从条件发生的时间中减去估计的反应时间,以确定出现指示的起始时间。数据处理系统125也可以减去缓冲时间以进一步调整起始时间。数据处理系统125可以维持一个定时器来确定当前时间。响应于起始时间匹配的当前时间,数据处理系统125可以产生一个输出来显示指示给乘员以取得手动控制。
数据处理系统125可以使用测量的反应时间修改模型(ACT 625)。数据处理系统125可以识别出乘员在进行车辆手动控制(如抓住方向盘)时所花费的反应时间。数据处理系统125可以比较估计的反应时间和测量的反应时间。响应于确定估计的反应时间大于测量的反应时间,数据处理系统125可以修改行为模型的一组参数,以减少在后续对活动类型的确定中估计的反应时间。响应于确定估计的反应时间小于测量的反应时间,数据处理系统125修改了行为模型的一组参数,以增加在后续确定活动类型时的估计反应时间。
图7一示例性的计算机系统700框图。计算机系统或计算设备700可以包括或用于实现数据处理系统102或数据处理系统102的组件。计算系统700包括至少一个用于传输信息的总线705或其他通信组件,以及与总线705连接,用于处理信息的至少一个处理器710或处理电路。计算系统700还可以包括与总线连接,用于处理信息的一个或多个处理器710或处理电路。计算系统700还包括至少一个主存储器715,如随机存取存储器(RAM)或其他动态存储设备,该主存储器715与总线705连接,用于存储信息和由处理器710执行的指令。主存储器715可以是或包括存储器112。主存储器715也可用于存储位置信息、车辆信息、命令指令、车辆状态信息、车辆内部或外部的环境信息、道路状况或道路条件信息或处理器710执行指令期间的其他信息。计算系统700可进一步包括至少一个只读存储器(ROM)720或其他静态存储设备,其与总线705连接,用于存储静态信息和处理器710的指令。存储设备725,例如固态设备、磁盘或光盘,可以与总线705连接以持久地存储信息和指令。该存储设备725可包括存储器112,也可以是存储器112的一部分。
计算系统700可以通过总线705连接到显示器735,例如液晶显示器,或有源矩阵显示器,用于向用户(如车辆124的驾驶员)显示信息。输入设备730,例如键盘或语音接口,可以连接到总线705,用于向处理器710发送信息和命令。输入设备730可以包括触摸显示屏735。输入设备730还可以包括光标控制,如鼠标、轨迹球或光标方向键,用于向处理器710发送方向信息和命令选择,并用于控制显示器735上的光标移动。显示735(例如,在车辆仪表盘上)可以是数据处理系统125的一部分,用户接口145,或图1或2所示的其他组件,以及远程服务器110的一部分。
这里所述的进程、系统和方法可由计算系统700响应所述处理器710执行包含在主存储器715中的一系列的指令来实现。这样的指令可以从另一个计算机可读的介质(如存储设备725)读入主存储器715。包含在主存储器715中的一系列指令的执行使计算系统700实现这里所描述的说明性进程。多进程布置中的一个或多个处理器也可以被用来执行主存储器715中包含的指令。硬线电路可用来代替软件指令或与本文描述的系统和方法结合使用。此处描述的系统和方法均不限于任何特定的硬件电路和软件的组合。
尽管图7中描述了一个计算系统的实施例,主题包括本说明中所述的操作可以在其他类型的数字电子电路中实现,或在计算机软件,固件或硬件中实现,包括本说明书中公开的结构中及其类似结构,或其中一个或多个组合。
这里的一些描述强调了系统组件的多方面的结构独立性(例如,数据处理系统125的各种模块,ECUs 205的组件,以及远程服务器),举例说明了操作的分类和这些系统组件的职责。执行类似全局操作的其他分类应当被认为在本申请的范围内。模块可以在硬件中实现,也可以在非瞬时计算机可读存储介质上作为计算机指令实现,模块可以分布在各种硬件或基于计算机的组件中。
上面描述的系统可以提供这些组件中的任何一个或多个,这些组件可以在一个独立的系统上提供,也可以在一个分布式系统中的多个实例化上提供。此外,上述系统和方法可以作为一个或多个计算机可读程序或可执行指令提供,这些程序或指令包含在一个或多个产品中。该产品可以是云存储、硬盘、CD-ROM、闪存卡、PROM、RAM、ROM或磁带。一般来说,计算机可读程序可以用任何编程语言实现,比如LISP、PERL、C、c++、c#、PROLOG,或者用任何字节码语言实现,比如JAVA。软件程序或可执行指令可以作为目标代码存储在一个或多个产品中。
示例和非限制性模块实施方式元件包括传感器,用于提供任何确定的值,传感器提供任何值为此处确定的值的前身,在根据模块说明书的一个特定的非瞬态状态配置中,数据链或网络硬件包括通信芯片、振荡晶体、通信链路、电缆、双芯绞合线、同轴布线、屏蔽线路、发射器、接收器、或收发器、逻辑电路、硬连线逻辑电路、可重构逻辑电路,任何执行器至少包括一个电气、液压或气动执行器,一个螺线管,一个运放,模拟控制元件(弹簧,滤波器,积分器,加法器,分隔器,增益元件),或数字控制元件。
本说明书中描述的主题和操作可以在数字电子电路中实现,或在计算机软件、固件或硬件中实现,包括本说明书中公开的结构及其类似结构,或它们中的一个或多个的组合。本说明书中描述的主题可以实现为一个或多个计算机程序,例如,编码在一个或多个计算机存储介质上的一个或多个计算机程序指令电路,用于由数据处理设备执行或控制数据处理设备的操作。作为替代或补充,程序指令可以在人工产生的传播信号上进行编码,例如,机器产生的电信号、光信号或电磁信号,产生这些信号是为了对信息进行编码,以便传输到合适的接收设备上,由数据处理设备执行。计算机存储介质可以是或包含在计算机可读存储设备、计算机可读存储基板、随机或串行访问存储器阵列或设备,或其中一个或多个的组合。虽然计算机存储介质不是传播信号,但计算机存储介质可以是编码在人工产生的传播信号中的计算机程序指令的源或目的地。计算机存储介质也可以是或包含在一个或多个独立的组件或媒体中(例如,多个cd、磁盘或包括云存储在内的其他存储设备)。本说明书中描述的操作可以实现为数据处理设备对存储在一个或多个计算机可读存储设备上或从其他来源接收的数据执行的操作。
“数据处理系统”、“计算设备”、“组件”或“数据处理装置”或类似的术语,包括用于处理数据的各种装置、设备和机器,例如包括一个或多个可编程处理器、计算机、芯片上的系统,或前述的组合。该装置可以包括特殊用途的逻辑电路,例如FPGA(现场可编程门阵列)或ASIC(应用专用集成电路)。装置还可以包括,除了硬件之外的,为相关计算机程序创建执行环境的代码,例如,构成处理器固件的代码,一个协议栈,数据库管理系统、操作系统、跨平台的运行时环境,虚拟机,或者它们中一个或者多个的组合。设备和执行环境可以实现各种不同的计算模型基础设施,如web服务、分布式计算和网格计算基础设施。
计算机程序(也称为程序,软件,软件应用程序,应用程序,脚本或代码)可以以任何形式的编程语言编写,包括编译或解释语言,声明或过程语言,也可以以任何形式部署,包括作为一个独立的程序或模块,组件,子程序、对象,或其他适用于计算环境的单元。计算机程序可以对应于文件系统中的文件。一个计算机程序可以存储在一个文件的一部分中,该文件还存储有其他程序或数据(例如,一个或多个脚本存储在标记语言文档中),在程序的单个文件中,或在多个协通文件(例如,存储一个或多个模块,子程序,或部分代码的文件)。计算机程序可以部署在一台计算机上执行,也可以部署在位于一个站点或分布在多个站点并通过通信网络互连的多台计算机上执行。
本说明书中描述的过程和逻辑流程可以由一个或多个可编程处理器执行,这些处理器执行一个或多个计算机程序,通过对输入数据进行操作并生成输出来执行操作。该过程和逻辑流程也可以由特殊用途的逻辑电路来执行,设备也可以被实现为特殊用途的逻辑电路,例如,FPGA(现场可编程门阵列)或ASIC(应用特定集成电路)。适合存储计算机程序指令和数据的设备可以包括非易失性存储器、介质和存储器设备,包括举例来说的半导体存储器设备,例如EPROM、EEPROM和闪存设备;磁盘,例如内部硬盘或可移动磁盘;磁光盘;以及CD ROM和DVD-ROM光盘。处理器和存储器可以由特殊用途的逻辑电路来补充或组成。
本文描述的主题可以一个计算系统中实现在,该计算系统包括一个后端组件,例如,作为一个数据服务器,或者包含一个中间件组件,例如,一个应用程序服务器,或者包含一个前端组件,例如,一个具有图形用户界面或web浏览器的客户端计算机,用户可以通过该计算机与本说明书中描述的主题的实施方式相互作用,或一个或多个这样的后端,中间件或前端组件的组合。系统的组件可以通过数字数据通信的任何形式或媒介进行互连,例如通信网络。通信网络的示例包括局域网(LAN)和广域网(WAN)、互联网络(如因特网)和点对点网络(如特定的点对点网络)。
虽然操作在附图中以特定顺序描述,但是这样的操作不需要以示出或描述的特定顺序或按序执行,并且描述的操作不需要全部执行。这里描述的动作可以以不同的顺序执行。
现在已经描述了一些说明性实施方式,很明显,前述内容是说明性的而非限制性的,且已经通过示例的方式给出了。特别地,虽然这里提出了许多涉及到方法动作或系统元素的特定组合的示例,那些动作和那些元素可以以其他方式进行组合来实现相同的目标。在一个实施方式中讨论的动作、元素和特征并不打算被排除在其他实施方式或实现中的类似角色之外。
这里使用措辞和术语的目的是为了描述,而不应被视为限制性的。在此使用的″包括″、″包含″、″具有″、″含有″、″涉及″、″特征在于″及其变化,意味着包括其后列出的项目、其等同物和附加项目,以及由其后列出的项目专门组成的替代实施方式。在一个实施方式中,本文描述的系统和方法由一个、多于一个的每种组合、或所有描述的元件、动作或组件组成。
本文中以单数形式提及的系统和方法的实现或元件或动作的任何引用也可以包括多个这些元件的实现,并且本文中任何实现或元件或动作的复数形式的任何引用也可以仅包括单个的实现。单数或复数形式的引用无意将当前公开的系统或方法、它们的组件、动作或元件限制为单个或多个配置。对基于任何动作或元件的任何动作或元件的引用可以包括其中该动作或元件至少部分基于任何动作或元件的实现。
本文公开的任何实施方式可以与任何其他实施方式或实施例相结合,并且对“一个实施方式”,“一些实施方式”,“一种实施方式”或类似的术语的引用并不是相互排斥的,其旨在表明结合实施方式描述的特定的功能,结构,或者特征可以被包括在至少一个实施方式或实施例中。这里使用的这些术语不一定全部指同一实施方式。任何实施方式可以与任何其他实施方式相结合,包括地或排他地,以任何方式与本文所公开的方面和实施方式一致。
“或”的引用可以被解释为包括性的,使得使用“或”描述的任何术语可以指示单个、一个以上以及所有所描述术语中的任何一个。对词语的组合列表中的至少一个的引用可以被解释为包括性的或,以指示单个,一个以上,以及所有所描述的术语中的任何一个。例如,对“A”和“B”中的至少一个的引用可以包括仅有“A”、仅有“B”以及“A”和“B”。与“包含”或其他开放式术语一起使用的此类引用也可以包括其他项目。
当附图、说明书或任何权利要求中的技术特征之后附有附图标记时,附图标记的添加是为了增加附图、详细描述和权利要求的可理解性。因此,无论附图标记存在或还是缺失,都不会对任何权利要求的范围产生任何限制作用。
对所描述的元件和动作的修改,如不同元件的大小、尺寸、结构、形状和比例的变化,参数的值、安装形式、使用的材料、颜色、方向等,可以在不实质上背离本文公开的主题的教义和优势的情况下发生。例如,以整体形式显示的元件可以由多个部分或元件构成,元件的位置可以反转或改变,离散元件的性质或数量或位置可以改变或变化。在不偏离本申请公开的范围的前提下,本申请公开的元件和操作的设计、运行条件和布置也可作其他替代、修改、变更和移除。
本文描述的系统和方法可以以其他特定形式来体现,而不脱离其特征。例如,虽然交通工具105在这里的实施例中通常被称为电动交通工具105,但是交通工具105除了电动汽车之外还可以包括化石燃料或混合动力汽车,交通工具105的实施例包括并适用于其他交通工具105。因此,本文所描述的系统和方法的范围由所附权利要求说明,而不是前述描述来指明,并且包括权利要求的等同含义和范围内的变化。

Claims (20)

1.一种在车辆设置中转移控制的系统,包括:
车辆控制单元,设置在电动车辆中以控制加速系统、制动系统和转向系统中的至少一个,所述车辆控制单元具有手动模式和自主模式;
传感器,设置在所述电动车辆内以获取所述电动车辆内的感知数据;
环境感知模块,所述环境感知模块在具有一个或多个处理器的数据处理系统上执行,用于识别将所述车辆控制单元的操作模式从自动模式改为手动模式的条件;
行为分类模块,所述行为分类模块在所述数据处理系统上执行,用于基于从所述传感器获得的所述感知数据确定所述电动车辆内乘员的活动类型;
反应预测模块,所述反应预测模块在所述数据处理系统上执行,响应条件的识别,基于活动类型,使用行为模型来确定向乘员展示采用手动控制车辆的功能的指示和操作模式从自动模式到手动模式的状态变化之间估计的反应时间;以及
策略实施模块,所述策略实施模块在所述数据处理系统上执行,用于根据估计的反应时间向所述乘员显示所述指示,以提前采用手动控制车辆的功能。
2.根据权利要求1所述的系统,包括:
响应跟踪模块,所述响应跟踪模块在所述数据处理系统上执行,用于确定展示所述指示和所述车辆控制单元的状态变化之间所测得的反应时间;以及,
模型训练模块,所述模型训练模块在所述数据处理系统上执行,用于根据所述估计的反应时间、所述测量的反应时间和所述活动类型修改所述行为模型的一个或多个参数。
3.根据权利要求1所述的系统,包括:
模型训练模块,所述模型训练模块在所述数据处理系统上执行,用于维护所述行为模型,包括使用基线数据预先确定的一个或多个参数,所述基线数据包括从显示所述指示的多个测试对象测量到的多个反应时间。
4.根据权利要求1所述的系统,包括:
模型训练模块,所述模型训练模块在所述数据处理系统上执行,用于通过网络连接将所述行为模型的一个或多个参数传输到远程服务器以更新基线数据,所述基线数据包括从多个测试对象测量到的多个反应时间。
5.根据权利要求1所述的系统,包括:
用户识别模块,所述用户识别模块在所述数据处理系统上执行,用于根据所述传感器所获得的所述感知数据确定所述电动车辆内的乘员的数量;和
所述反应预测模块使用所述行为模型基于在电动车辆内确定的乘员的数量来确定估计的反应时间。
6.根据权利要求1所述的系统,包括:
用户识别模块,所述用户识别模块在所述数据处理系统上执行,用于基于所述传感器所获得的所述感知数据从多个注册的乘员中识别出所述电动车辆内的所述乘员;以及,
所述反应预测模块根据基于所述感知数据对所述乘员的所述识别结果,从多个行为模型中选择所述行为模型,每个行为模型对应于多个注册的乘员中的乘员。
7.根据权利要求1所述的系统,包括:
用户识别模块,所述用户识别模块在所述数据处理系统上执行,用于根据所述传感器获得的感知数据识别所述电动车辆内的所述乘员的乘员类型;以及,
所述反应预测模型利用所述行为模型基于所述电动车辆内所述乘员的乘员类型确定所述估计的反应时间。
8.根据权利要求1所述的系统,包括:
响应跟踪模块,所述响应跟踪模块在所述数据处理系统上执行,用于将自展示所述指示到所述乘员采用手动控制所述车辆的功能所经过的时间与所述指示持续的时间进行比较;以及,
响应于所述所经过的时间大于时间阈值的确定结果,所述策略实施模块从多个指示中选择第二个指示,所述第二个指示为与在条件之前显示的指示不同的指示。
9.根据权利要求1所述的系统,包括:
响应跟踪模块,所述响应跟踪模块在所述数据处理系统上执行,用于比较自展示所述指示到所述乘员采用手动控制所述车辆的功能所经过的时间,所设置的时间阈值大于所述估计的反应时间;以及
响应于所述所经过的时间大于所述时间阈值的确定结果,所述策略执行模块提出了自动对策程序以将所述电动车辆转换至静止状态。
10.根据权利要求1所述的系统,包括:
所述环境感知模块确定从当前到所述条件将所述车辆控制单元的操作模式从自动模式改为手动模式的估计的时间;以及
所述策略执行模块根据估计的所述乘员的反应时间和从当前到条件的估计的时间确定缓冲时间,并表示从所述缓冲时间指示。
11.一种电动车辆,包括:
车辆控制单元,所述车辆控制单元在具有一个或多个处理器的数据处理系统上执行,用于以控制加速系统、制动系统和转向系统中的至少一个;
传感器,用于获取电动车辆内的感知数据;
环境感知模块,所述环境感知模块在所述数据处理系统上执行,用于识别将所述车辆控制单元的操作模式从自动模式改为手动模式的条件;
行为分类模块,所述行为分类模块在所述数据处理系统上执行,用于基于从所述传感器获得的所述感知数据确定所述电动车辆内乘员的活动类型;
反应预测模块,所述反应预测模块在所述数据处理系统上执行,响应条件的识别,基于活动类型,使用行为模型来确定向乘员展示采用手动控制车辆的功能的指示和操作模式从自动模式到手动模式的状态变化之间估计的反应时间;以及
策略实施模块,所述策略实施模块在所述数据处理系统上执行,用于根据估计的反应时间向所述乘员显示所述指示,以提前采用手动控制车辆的功能。
12.根据权利要求11所述的电动车辆,包括:
响应跟踪模块,所述响应跟踪模块在所述数据处理系统上执行,用于确定展示所述指示和所述车辆控制单元的状态变化之间所测得的反应时间;以及,
模型训练模块,所述模型训练模块在所述数据处理系统上执行,用于根据所述估计的反应时间、所述测量的反应时间和所述活动类型修改所述行为模型的一个或多个参数。
13.根据权利要求11所述的电动车辆,包括:
模型训练模块,所述模型训练模块在所述数据处理系统上执行,用于维护所述行为模型,包括使用基线数据预先确定的一个或多个参数,所述基线数据包括从显示所述指示的多个测试对象测量到的多个反应时间。
14.根据权利要求11所述的电动车辆,包括:
用户识别模块,所述用户识别模块在所述数据处理系统上执行,用于根据所述传感器所获得的所述感知数据确定所述电动车辆内的乘员的数量;和
所述反应预测模块使用所述行为模型基于在电动车辆内确定的乘员的数量来确定估计的反应时间。
15.根据权利要求11所述的电动车辆,包括:
响应跟踪模块,所述响应跟踪模块在所述数据处理系统上执行,用于将自展示所述指示到所述乘员采用手动控制所述车辆的功能所经过的时间与所述指示持续的时间进行比较;以及,
响应于所述所经过的时间大于时间阈值的确定结果,所述策略实施模块从多个指示中选择第二个指示,所述第二个指示为与在条件之前显示的指示不同的指示。
16.根据权利要求11所述的电动车辆,包括:
响应跟踪模块,所述响应跟踪模块在所述数据处理系统上执行,用于比较自展示所述指示到所述乘员采用手动控制所述车辆的功能所经过的时间,所设置的时间阈值大于所述估计的反应时间;以及
响应于所述所经过的时间大于所述时间阈值的确定结果,所述策略执行模块提出了自动对策程序以将所述电动车辆转换至静止状态。
17.根据权利要求11所述的电动车辆,包括:
所述环境感知模块确定从当前到所述条件将所述车辆控制单元的操作模式从自动模式改为手动模式的估计的时间;以及,
所述策略执行模块根据估计的所述乘员的反应时间和从当前到条件的估计的时间确定缓冲时间,并表示从所述缓冲时间指示。
18.一种在车辆设置中转移控制的方法,包括:
通过设置在车辆中的具有一个或多个处理器的数据处理系统,识别将车辆控制单元的操作模式从自动模式改为手动模式的条件;
通过所述数据处理系统,基于从设置在所述车辆内的传感器获得的感知数据确定所述车辆内乘员的活动类型;
通过所述数据处理系统,响应条件的识别,确定向乘员展示采用手动控制车辆的功能的指示和操作模式从自动模式到手动模式的状态变化之间估计的反应时间:
通过数据处理系统,根据估计的反应时间向所述乘员显示所述指示,以提前采用手动控制车辆的功能。
19.根据权利要求18所述的方法,包括:
通过所述数据处理系统确定展示所述指示和所述车辆控制单元的状态变化之间所测得的反应时间;以及,
通过所述数据处理系统根据所述估计的反应时间、所述测量的反应时间和所述活动类型修改所述行为模型的一个或多个参数。
20.根据权利要求18所述的方法,包括:
通过所述数据处理系统基于所述传感器所获得的所述感知数据从多个注册的乘员中识别出所述电动车辆内的所述乘员;以及,
通过所述数据处理系统,基于所述感知数据对所述乘员的所述识别结果,从多个行为模型中选择所述行为模型,每个行为模型对应于多个注册的乘员中的乘员。
CN201880085074.6A 2018-07-12 2018-12-29 利用驾驶模式识别来调节电动车辆的动力总成 Pending CN111587197A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/033,958 2018-07-12
US16/033,958 US20200017124A1 (en) 2018-07-12 2018-07-12 Adaptive driver monitoring for advanced driver-assistance systems
PCT/CN2018/125639 WO2020010822A1 (en) 2018-07-12 2018-12-29 Adaptive driver monitoring for advanced driver-assistance systems

Publications (1)

Publication Number Publication Date
CN111587197A true CN111587197A (zh) 2020-08-25

Family

ID=69139957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880085074.6A Pending CN111587197A (zh) 2018-07-12 2018-12-29 利用驾驶模式识别来调节电动车辆的动力总成

Country Status (3)

Country Link
US (1) US20200017124A1 (zh)
CN (1) CN111587197A (zh)
WO (1) WO2020010822A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113885412A (zh) * 2021-12-08 2022-01-04 西安奇芯光电科技有限公司 一种实现激光器与mrr稳定输出的双闭环控制结构
CN114707560A (zh) * 2022-05-19 2022-07-05 北京闪马智建科技有限公司 数据信号的处理方法及装置、存储介质、电子装置

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2568060B (en) * 2017-11-02 2020-02-12 Jaguar Land Rover Ltd Controller for a vehicle
DE102018207572A1 (de) * 2018-05-16 2019-11-21 Ford Global Technologies, Llc Adaptiver Geschwindigkeitsregler für Kraftfahrzeuge und Verfahren zur adaptiven Geschwindigkeitsregelung
DE102018006282A1 (de) * 2018-08-08 2020-02-13 Daimler Ag Verfahren zum Betrieb eines autonom fahrenden Fahrzeuges
WO2020032765A1 (ko) * 2018-08-10 2020-02-13 엘지전자 주식회사 무선 통신 시스템에서 다른 단말과 통신하는 방법 및 단말
US10647333B1 (en) * 2018-08-31 2020-05-12 Uatc, Llc Vehicle operator awareness system
JP7068988B2 (ja) * 2018-10-26 2022-05-17 本田技研工業株式会社 走行制御装置、走行制御方法およびプログラム
CN109795505A (zh) * 2018-12-10 2019-05-24 北京百度网讯科技有限公司 自动驾驶判别方法、装置、计算机设备及存储介质
US10807605B2 (en) * 2018-12-19 2020-10-20 Waymo Llc Systems and methods for detecting and dynamically mitigating driver fatigue
US11422551B2 (en) * 2018-12-27 2022-08-23 Intel Corporation Technologies for providing a cognitive capacity test for autonomous driving
US20200249674A1 (en) * 2019-02-05 2020-08-06 Nvidia Corporation Combined prediction and path planning for autonomous objects using neural networks
US12061673B1 (en) 2019-03-05 2024-08-13 Hrl Laboratories, Llc Multi-agent planning and autonomy
US11443132B2 (en) * 2019-03-06 2022-09-13 International Business Machines Corporation Continuously improve recognition or prediction accuracy using a machine learning model to train and manage an edge application
JP2020168918A (ja) * 2019-04-02 2020-10-15 株式会社ジェイテクト 操舵装置
EP3960576B1 (en) * 2019-04-24 2024-12-11 Walter Steven Rosenbaum Method and system for analysing the control of a vehicle
US12258049B2 (en) * 2019-04-24 2025-03-25 Walter Steven Rosenbaum Method and system for analyzing the control of a vehicle
DE102019206882B4 (de) * 2019-05-13 2024-09-26 Volkswagen Aktiengesellschaft Unterstützung des Beendens einer Bankettfahrt eines Kraftfahrzeugs
US20210011887A1 (en) * 2019-07-12 2021-01-14 Qualcomm Incorporated Activity query response system
US11603098B2 (en) * 2019-08-27 2023-03-14 GM Global Technology Operations LLC Systems and methods for eye-tracking data collection and sharing
US11403853B2 (en) * 2019-08-30 2022-08-02 Waymo Llc Occupancy prediction neural networks
EP3796209A1 (en) * 2019-09-17 2021-03-24 Aptiv Technologies Limited Method and system for determining an activity of an occupant of a vehicle
JP7226238B2 (ja) * 2019-10-15 2023-02-21 トヨタ自動車株式会社 車両制御システム
CN114762385A (zh) * 2019-12-13 2022-07-15 索尼集团公司 信息处理设备、信息处理方法、终端设备、基站设备及程序
US11292493B2 (en) * 2020-01-23 2022-04-05 Ford Global Technologies, Llc Vehicle operation modes
JP6936350B2 (ja) * 2020-02-05 2021-09-15 本田技研工業株式会社 車両制御装置および車両制御方法
US11738804B2 (en) * 2020-02-07 2023-08-29 Micron Technology, Inc. Training a vehicle to accommodate a driver
US11039771B1 (en) 2020-03-03 2021-06-22 At&T Intellectual Property I, L.P. Apparatuses and methods for managing tasks in accordance with alertness levels and thresholds
KR20210111558A (ko) * 2020-03-03 2021-09-13 현대자동차주식회사 운전자 보조 장치 및 그의 경고 방법
DE102020107880A1 (de) * 2020-03-23 2021-09-23 Ford Global Technologies, Llc Verfahren zum Steuern eines Geschwindigkeitsregelsystems in einem Kurvenverlauf
WO2021199964A1 (ja) * 2020-03-31 2021-10-07 株式会社デンソー 提示制御装置、提示制御プログラム、自動走行制御システムおよび自動走行制御プログラム
US11341866B2 (en) * 2020-06-30 2022-05-24 Toyota Research Institute, Inc. Systems and methods for training a driver about automated driving operation
US20220050463A1 (en) * 2020-08-14 2022-02-17 Waymo Llc Steering system fault response for autonomous vehicles
CN111959400A (zh) * 2020-08-31 2020-11-20 安徽江淮汽车集团股份有限公司 车辆辅助驾驶控制系统及方法
JP7334695B2 (ja) * 2020-09-04 2023-08-29 トヨタ自動車株式会社 車両用乗員支援装置
US11884298B2 (en) * 2020-10-23 2024-01-30 Tusimple, Inc. Safe driving operations of autonomous vehicles
CN112633222B (zh) * 2020-12-30 2023-04-28 民航成都电子技术有限责任公司 基于对抗网络的步态识别方法、装置、设备及介质
EP4040253B1 (en) 2021-02-09 2025-04-09 Volkswagen Ag Vehicle, infrastructure component, apparatus, computer program, and method for a vehicle
EP4040254B1 (en) * 2021-02-09 2025-04-09 Volkswagen Aktiengesellschaft Vehicle, infrastructure component, apparatus, computer program, and method for a vehicle
US20220297708A1 (en) * 2021-03-18 2022-09-22 Tge-Pin CHUANG Vehicle output simulation system
CN113119945B (zh) * 2021-04-30 2022-07-01 知行汽车科技(苏州)有限公司 一种基于环境模型的汽车高级辅助驾驶系统
CN113607430A (zh) * 2021-08-13 2021-11-05 云南师范大学 一种司机控制器机械可靠性的自动检测分析系统
US20230398988A1 (en) * 2022-06-08 2023-12-14 Ford Global Technologies, Llc Driver assistance technology adjustment based on driving style
DE102023116319A1 (de) 2023-06-21 2024-12-24 Bayerische Motoren Werke Aktiengesellschaft Recheneinrichtung für ein Assistenzsystem eines Fahrzeugs zur Durchführung von systeminitiierten automatisierten Spurwechselmanövern mit Berücksichtigung einer Reaktionszeit eines Fahrers, Assistenzsystem sowie Verfahren

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080042814A1 (en) * 2006-08-18 2008-02-21 Motorola, Inc. Mode sensitive vehicle hazard warning apparatuses and method
US20150051781A1 (en) * 2013-08-16 2015-02-19 Continental Automotive Gmbh Arrangement For Controlling Highly Automated Driving Of A Vehicle
US20150375757A1 (en) * 2014-06-30 2015-12-31 Robert Bosch Gmbh Autonomous driving system for a vehicle and method for carrying out the operation
CN105264450A (zh) * 2013-04-05 2016-01-20 谷歌公司 用于将对自主车辆的控制转移给驾驶员的系统和方法
WO2017085981A1 (ja) * 2015-11-19 2017-05-26 ソニー株式会社 運転支援装置及び運転支援方法、並びに移動体
CN107415938A (zh) * 2016-05-13 2017-12-01 通用汽车环球科技运作有限责任公司 基于乘员位置和注意力控制自主车辆功能和输出
US20180088574A1 (en) * 2016-09-29 2018-03-29 Magna Electronics Inc. Handover procedure for driver of autonomous vehicle
CN108137062A (zh) * 2015-11-20 2018-06-08 欧姆龙株式会社 自动驾驶辅助装置、自动驾驶辅助系统、自动驾驶辅助方法及自动驾驶辅助程序

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080039991A1 (en) * 2006-08-10 2008-02-14 May Reed R Methods and systems for providing accurate vehicle positioning
US7739005B1 (en) * 2009-02-26 2010-06-15 Tesla Motors, Inc. Control system for an all-wheel drive electric vehicle
JP2014191689A (ja) * 2013-03-28 2014-10-06 Hitachi Industrial Equipment Systems Co Ltd 移動体の走行制御手段に対して制御指令を出力する位置検出装置を取り付けた移動体及びその位置検出装置
US10431018B1 (en) * 2014-11-13 2019-10-01 State Farm Mutual Automobile Insurance Company Autonomous vehicle operating status assessment
US10026317B2 (en) * 2016-02-25 2018-07-17 Ford Global Technologies, Llc Autonomous probability control
US10267911B2 (en) * 2017-03-31 2019-04-23 Ford Global Technologies, Llc Steering wheel actuation
EP3638542B1 (en) * 2017-06-16 2022-01-26 Nauto, Inc. System and method for contextualized vehicle operation determination
CN107329482A (zh) * 2017-09-04 2017-11-07 苏州驾驶宝智能科技有限公司 自动驾驶车人机协同驾驶方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080042814A1 (en) * 2006-08-18 2008-02-21 Motorola, Inc. Mode sensitive vehicle hazard warning apparatuses and method
CN105264450A (zh) * 2013-04-05 2016-01-20 谷歌公司 用于将对自主车辆的控制转移给驾驶员的系统和方法
US20150051781A1 (en) * 2013-08-16 2015-02-19 Continental Automotive Gmbh Arrangement For Controlling Highly Automated Driving Of A Vehicle
US20150375757A1 (en) * 2014-06-30 2015-12-31 Robert Bosch Gmbh Autonomous driving system for a vehicle and method for carrying out the operation
WO2017085981A1 (ja) * 2015-11-19 2017-05-26 ソニー株式会社 運転支援装置及び運転支援方法、並びに移動体
CN108137062A (zh) * 2015-11-20 2018-06-08 欧姆龙株式会社 自动驾驶辅助装置、自动驾驶辅助系统、自动驾驶辅助方法及自动驾驶辅助程序
CN107415938A (zh) * 2016-05-13 2017-12-01 通用汽车环球科技运作有限责任公司 基于乘员位置和注意力控制自主车辆功能和输出
US20180088574A1 (en) * 2016-09-29 2018-03-29 Magna Electronics Inc. Handover procedure for driver of autonomous vehicle

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
林强等: "《行为识别与智能计算》", 西安电子科技大学出版社, pages: 1 - 3 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113885412A (zh) * 2021-12-08 2022-01-04 西安奇芯光电科技有限公司 一种实现激光器与mrr稳定输出的双闭环控制结构
CN113885412B (zh) * 2021-12-08 2022-03-29 西安奇芯光电科技有限公司 一种实现激光器与mrr稳定输出的双闭环控制结构
CN114707560A (zh) * 2022-05-19 2022-07-05 北京闪马智建科技有限公司 数据信号的处理方法及装置、存储介质、电子装置
CN114707560B (zh) * 2022-05-19 2024-02-09 北京闪马智建科技有限公司 数据信号的处理方法及装置、存储介质、电子装置

Also Published As

Publication number Publication date
WO2020010822A1 (en) 2020-01-16
US20200017124A1 (en) 2020-01-16

Similar Documents

Publication Publication Date Title
CN111587197A (zh) 利用驾驶模式识别来调节电动车辆的动力总成
US10421465B1 (en) Advanced driver attention escalation using chassis feedback
US12072703B2 (en) Remote operation of a vehicle using virtual representations of a vehicle
CN110641472B (zh) 基于神经网络的用于自主车辆的安全监控系统
US11657263B2 (en) Neural network based determination of gaze direction using spatial models
US20230418299A1 (en) Controlling autonomous vehicles using safe arrival times
US11682272B2 (en) Systems and methods for pedestrian crossing risk assessment and directional warning
US11816987B2 (en) Emergency response vehicle detection for autonomous driving applications
US10496889B2 (en) Information presentation control apparatus, autonomous vehicle, and autonomous-vehicle driving support system
KR102267331B1 (ko) 자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법
US20220121867A1 (en) Occupant attentiveness and cognitive load monitoring for autonomous and semi-autonomous driving applications
KR20210124502A (ko) 자율 차량들을 위한 보행자 행동 예측들
US12198450B2 (en) Systems and methods for performing operations in a vehicle using gaze detection
US20240143072A1 (en) Personalized calibration functions for user gaze detection in autonomous driving applications
US12269488B2 (en) End-to-end evaluation of perception systems for autonomous systems and applications
US20240104941A1 (en) Sensor calibration using fiducial markers for in-cabin monitoring systems and applications
CN116106905A (zh) 基于雷达的变道安全系统
WO2022226238A1 (en) End-to-end evaluation of perception systems for autonomous systems and applications
US20250022288A1 (en) Child presence detection for in-cabin monitoring systems and applications
CN119559596A (zh) 用于自主和半自主系统及应用的路径标记检测和分类

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200825

RJ01 Rejection of invention patent application after publication