[go: up one dir, main page]

CN112519786A - 用于评估乘员目光的设备和方法 - Google Patents

用于评估乘员目光的设备和方法 Download PDF

Info

Publication number
CN112519786A
CN112519786A CN202010989150.5A CN202010989150A CN112519786A CN 112519786 A CN112519786 A CN 112519786A CN 202010989150 A CN202010989150 A CN 202010989150A CN 112519786 A CN112519786 A CN 112519786A
Authority
CN
China
Prior art keywords
gaze
location
road
occupant
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010989150.5A
Other languages
English (en)
Other versions
CN112519786B (zh
Inventor
D.K.格里姆
B.伊拉斯托尔扎-乌加尔德
G.特勒哈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN112519786A publication Critical patent/CN112519786A/zh
Application granted granted Critical
Publication of CN112519786B publication Critical patent/CN112519786B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/007—Switching between manual and automatic parameter input, and vice versa
    • B60W2050/0072—Controller asks driver to take over
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

提供了评估乘员的目光的方法。方法包括：基于由第一传感器检测的目光信息而确定乘员的目光的方向；基于由第二传感器提供的地图信息或交通工具环境信息之中的一个或多个而确定道路的特征的位置；将目光的方向与道路的特征的位置进行比较；以及响应于确定目光的方向不对应于道路的特征的位置而执行校正动作。

Description

用于评估乘员目光的设备和方法
技术领域
与示例性实施例一致的设备和方法涉及目光追踪和检测。更特别地，与示例性实施例一致的设备涉及评估乘员的目光。
发明内容
一个或多个示例性实施例提供了能够评估乘员的目光（因为其涉及道路的特征）的设备。更特别地，一个或多个示例性实施例提供了能够响应于确定目光的方向不对应于道路的特征的位置而执行校正动作的设备。
根据示例性实施例的方面，提供了用于评估乘员的目光的方法。方法包括：基于由第一传感器检测的目光信息而确定乘员的目光的方向；基于由第二传感器提供的地图信息或交通工具环境信息之中的一个或多个而确定道路的特征的位置；将目光的方向与道路的特征的位置进行比较；以及响应于确定目光的方向不对应于道路的特征的位置而执行校正动作。
道路的特征可为道路几何形状，包括道路的曲率变化和道路的高程变化中的一个或多个。
将目光的方向与道路的特征的位置进行比较可包括：通过识别曲线区段参数或高程变化区段参数而将目光的方向与道路的曲率变化或高程变化进行比较；以及在多个时间点将乘员的目光的位置与曲线区段参数或高程变化区段参数进行比较。
可从地图信息识别曲线区段参数或高程变化区段参数，所述地图信息从存储设备检索，并且随着穿越曲线区段或高程变化区段，执行比较。
可从由传感器提供的信息识别曲线区段参数或高程变化区段参数，并且在穿越曲线区段或高程变化区段之后，可执行比较。
执行校正动作可包括以下之中的一个或多个：向乘员提供警告，以将视线保持在道路上；通知乘员，以接管交通工具的转向；解除自动交通工具驾驶控制；以及停止交通工具。
道路的特征可包括交通控制对象或装置。
将目光的方向与道路的特征的位置进行比较可包括：将目光的方向投影到图像平面上的第一位置；以及将特征的位置投影到图像平面上的第二位置；以及确定第一位置是否在第二位置的预确定距离内。
将目光的方向与道路的特征的位置进行比较可包括：确定目光的方向是否在对于道路的由乘员行进在其上的区段设置的预确定范围内。
将目光的方向与道路的特征的位置进行比较可包括：确定目光的方向是否在对于道路的由乘员行进在其上的区段设置的预确定范围内。
非暂时性计算机可读介质可包括指令，所述指令可由计算机执行，以执行方法。
根据另一示例性实施例的方面，提供了评估乘员的目光的设备。设备包括：至少一个存储器，包括计算机可执行指令；以及至少一个处理器，被配置成读取和执行计算机可执行指令。计算机可执行指令导致至少一个处理器：基于由第一传感器检测的目光信息而确定乘员的目光的方向；基于由第二传感器提供的地图信息或交通工具环境信息之中的一个或多个而确定道路的特征的位置；将目光的方向与道路的特征的位置进行比较；以及响应于确定目光的方向不对应于道路的特征的位置而执行校正动作。
道路的特征可包括道路几何形状，包括道路的曲率变化和道路的高程变化中的一个或多个。
计算机可执行指令可进一步导致至少一个处理器通过以下而将目光的方向与道路的特征的位置进行比较：通过识别曲线区段参数或高程变化区段参数而将目光的方向与道路的曲率变化或高程变化进行比较；以及在多个时间点将乘员的目光的位置与曲线区段参数或高程变化区段参数进行比较。
从地图信息识别曲线区段参数或高程变化区段参数，所述地图信息从存储设备检索，并且计算机可执行指令可导致至少一个处理器通过以下而将目光的方向与道路的特征的位置进行比较：随着穿越曲线区段或高程变化区段，将目光的方向与道路的曲率变化或高程变化进行比较。
从由传感器提供的信息识别曲线区段参数或高程变化区段参数，并且计算机可执行指令可进一步导致至少一个处理器通过以下而将目光的方向与道路的特征的位置进行比较：在穿越曲线区段或高程变化区段之后，将目光的方向与道路的曲率变化或高程变化进行比较。
计算机可执行指令可进一步导致至少一个处理器通过执行以下之中的一个或多个而执行校正动作：向乘员提供警告，以将视线保持在道路上；通知乘员，以接管交通工具的转向；解除自动交通工具驾驶控制；以及停止交通工具。
道路的特征可为交通控制对象或装置。
计算机可执行指令可进一步导致至少一个处理器通过以下而将目光的方向与道路的特征的位置进行比较：将目光的方向投影到图像平面上的第一位置；以及将特征的位置投影到图像平面上的第二位置；以及确定第一位置是否在第二位置的预确定距离内。
计算机可执行指令可进一步导致至少一个处理器通过以下而将目光的方向与道路的特征的位置进行比较：确定目光的方向是否在对于道路的由乘员行进在其上的区段设置的预确定范围内。
计算机可执行指令可进一步导致至少一个处理器比较目光的方向从目光的中心值的偏差。
计算机可执行指令可进一步导致至少一个处理器通过以下而将目光的方向与道路的特征的位置进行比较：确定目光的方向在分析时间周期内是否对应于道路的特征的位置达大于阈值数量的量。
本发明还公开了以下技术方案。
1. 评估乘员的目光的方法，所述方法包括：
基于由第一传感器检测的目光信息而确定乘员的目光的方向；
基于由第二传感器提供的地图信息或交通工具环境信息之中的一个或多个而确定道路的特征的位置；
将所述目光的所述方向与所述道路的所述特征的所述位置进行比较；以及
响应于确定所述目光的所述方向不对应于所述道路的所述特征的所述位置而执行校正动作。
2. 根据技术方案1所述的方法，其中，所述道路的所述特征包括道路几何形状，包括所述道路的曲率变化和所述道路的高程变化中的一个或多个。
3. 根据技术方案2所述的方法，其中，将所述目光的所述方向与所述道路的所述特征的所述位置进行比较包括：通过识别曲线区段参数或高程变化区段参数而将所述目光的所述方向与所述道路的所述曲率变化或所述高程变化进行比较；以及在多个时间点将所述乘员的所述目光的所述位置与所述曲线区段参数或所述高程变化区段参数进行比较。
4. 根据技术方案3所述的方法，其中，从所述地图信息识别所述曲线区段参数或所述高程变化区段参数，所述地图信息从存储设备检索，以及
其中，随着穿越所述曲线区段或所述高程变化区段，执行所述比较。
5. 根据技术方案3所述的方法，其中，从由所述传感器提供的信息识别所述曲线区段参数或所述高程变化区段参数，以及
其中，在穿越所述曲线区段或所述高程变化区段之后，执行所述比较。
6. 根据技术方案1所述的方法，其中，执行所述校正动作包括以下之中的一个或多个：向所述乘员提供警告，以将视线保持在道路上；通知所述乘员，以接管交通工具的转向；解除自动交通工具驾驶控制；以及停止所述交通工具。
7. 根据技术方案1所述的方法，其中，所述道路的所述特征包括交通控制对象或装置。
8. 根据技术方案7所述的方法，其中，将所述目光的所述方向与所述道路的所述特征的所述位置进行比较包括：将所述目光的所述方向投影到图像平面上的第一位置；以及将所述特征的所述位置投影到所述图像平面上的第二位置；以及确定所述第一位置是否在所述第二位置的预确定距离内。
9. 根据技术方案7所述的方法，其中，将所述目光的所述方向与所述道路的所述特征的所述位置进行比较包括：将关于眼睛方向与眼睛位置之间的归一化向量的信息与对于所述交通控制对象或装置的预期目光方向进行比较。
10. 根据技术方案1所述的方法，其中，将所述目光的所述方向与所述道路的所述特征的所述位置进行比较包括：确定所述目光的所述方向是否在对于所述道路的由所述乘员行进在其上的区段设置的预确定范围内。
11. 评估乘员的目光的设备，所述设备包括：
至少一个存储器，包括计算机可执行指令；以及
至少一个处理器，被配置成读取和执行所述计算机可执行指令，所述计算机可执行指令导致所述至少一个处理器：
基于由第一传感器检测的目光信息而确定乘员的目光的方向；
基于由第二传感器提供的地图信息或交通工具环境信息之中的一个或多个而确定道路的特征的位置；
将所述目光的所述方向与所述道路的所述特征的所述位置进行比较；以及
响应于确定所述目光的所述方向不对应于所述道路的所述特征的所述位置而执行校正动作。
12. 根据技术方案11所述的设备，其中，所述道路的所述特征包括道路几何形状，包括所述道路的曲率变化和所述道路的高程变化中的一个或多个。
13. 根据技术方案12所述的设备，其中，所述计算机可执行指令进一步导致所述至少一个处理器通过以下而将所述目光的所述方向与所述道路的所述特征的所述位置进行比较：通过识别曲线区段参数或高程变化区段参数而将所述目光的所述方向与所述道路的所述曲率变化或所述高程变化进行比较；以及在多个时间点将所述乘员的所述目光的所述位置与所述曲线区段参数或所述高程变化区段参数进行比较。
14. 根据技术方案13所述的设备，其中，从所述地图信息识别所述曲线区段参数或所述高程变化区段参数，所述地图信息从存储设备检索，以及
其中，所述计算机可执行指令进一步导致所述至少一个处理器通过以下而将所述目光的所述方向与所述道路的所述特征的所述位置进行比较：随着穿越所述曲线区段或所述高程变化区段，将所述目光的所述方向与所述道路的所述曲率变化或所述高程变化进行比较。
15. 根据技术方案13所述的设备，其中，从由所述传感器提供的信息识别所述曲线区段参数或所述高程变化区段参数，以及
其中，所述计算机可执行指令进一步导致所述至少一个处理器通过以下而将所述目光的所述方向与所述道路的所述特征的所述位置进行比较：在穿越所述曲线区段或所述高程变化区段之后，将所述目光的所述方向与所述道路的所述曲率变化或所述高程变化进行比较。
16. 根据技术方案11所述的设备，其中，所述计算机可执行指令进一步导致所述至少一个处理器通过执行以下之中的一个或多个而执行所述校正动作：向所述乘员提供警告，以将视线保持在道路上；通知所述乘员，以接管交通工具的转向；解除自动交通工具驾驶控制；以及停止所述交通工具。
17. 根据技术方案11所述的设备，其中，所述道路的所述特征包括交通控制对象或装置。
18. 根据技术方案17所述的设备，其中，所述计算机可执行指令进一步导致所述至少一个处理器通过以下而将所述目光的所述方向与所述道路的所述特征的所述位置进行比较：将所述目光的所述方向投影到图像平面上的第一位置；以及将所述特征的所述位置投影到所述图像平面上的第二位置；以及确定所述第一位置是否在所述第二位置的预确定距离内。
19. 根据技术方案17所述的设备，其中，所述计算机可执行指令进一步导致所述至少一个处理器比较所述目光的方向从所述目光的中心值的偏差。
20. 根据技术方案11所述的设备，其中，所述计算机可执行指令进一步导致所述至少一个处理器通过以下而将所述目光的所述方向与所述道路的所述特征的所述位置进行比较：确定所述目光的所述方向在分析时间周期内是否对应于所述道路的所述特征的所述位置达大于阈值数量的量。
示例性实施例的其它目的、优点和新颖特征将从示例性实施例和所附附图的以下详细描述中变得更加显而易见。
附图说明
图1显示了根据示例性实施例的评估乘员的目光的设备的框图；
图2显示了对于根据示例性实施例的评估乘员的目光的方法的流程图；
图3A-3D显示了根据示例性实施例的方面的乘员目光评估（因为其涉及道路几何形状）的示例图示；以及
图4A-4C显示了根据示例性实施例的方面的乘员目光评估（因为其涉及路径上的对象）的示例图示。
具体实施方式
现在将参考所附附图的图1-4C而详细描述用于评估乘员的目光的方法和设备，贯穿于附图中，相似的附图标记指代相似的元件。
以下公开将使得本领域技术人员能够实践本发明概念。然而，本文公开的示例性实施例仅是示例性的，并且不将本发明概念限于本文描述的示例性实施例。此外，每个示例性实施例的特征或方面的描述通常应被视为可用于其它示例性实施例的方面。
还应理解的是，在本文陈述第一元件“连接到第二元件”，“形成在第二元件上”或“设置在第二元件上”的情况下，第一元件可直接连接到第二元件，直接形成在第二元件上或直接设置在第二元件上，或在第一元件与第二元件之间可存在有中间元件，除非所陈述的是，第一元件“直接”连接到第二元件，形成在第二元件上或设置在第二元件上。此外，如果第一元件被配置成从第二元件“接收”信息，则第一元件可直接从第二元件接收信息，经由总线接收信息，经由网络接收信息或经由中间元件接收信息，除非指示第一元件“直接”从第二元件接收信息。
贯穿于本公开，所公开的元件中的一个或多个可组合到单个装置中，或组合到一个或多个装置中。此外，单独的元件可被提供在单独的装置上。
交通工具可包括目光检测传感器，所述目光检测传感器提供目光信息，用于分析交通工具的乘员的目光。可从目光信息确定目光的方向，并且可将其与乘员的或交通工具的环境的特征（例如，道路的特征）进行比较。比较可用于解决自主或半自主交通工具中的乘员专心性的问题。如果发现乘员不专心，则交通工具可执行校正动作，以引导或迫使乘员注意交通工具的环境。
图1显示了根据示例性实施例的评估乘员100的目光的设备的框图。如图1中显示的，根据示例性实施例，评估乘员100的目光的设备包括控制器101、电力供应102、存储设备103、输出104、目光检测传感器105、用户输入106、交通工具系统模块107、通信装置108和环境感知传感器109。然而，评估乘员100的目光的设备不限于上述配置，并且可被配置成包括附加元件和/或省略上述元件中的一个或多个。
控制器101控制评估乘员100的目光的设备的整体操作和功能。控制器101可控制评估乘员100的目光的设备的存储设备103、输出104、目光检测传感器105、用户输入106、交通工具系统模块107、通信装置108和环境感知传感器109中的一个或多个。控制器101可包括处理器、微处理器、中央处理单元(CPU)、图形处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机以及硬件、软件和固件部件的组合之中的一个或多个。
控制器101被配置成从存储设备103、输出104、目光检测传感器105、用户输入106、交通工具系统模块107、通信装置108和环境感知传感器109中的一个或多个发送和/或接收信息。信息可经由总线或网络发送和接收，或可从存储设备103、输出104、目光检测传感器105、用户输入106、交通工具系统模块107、通信装置108和环境感知传感器109中的一个或多个直接读取或写入到其。合适的网络连接的示例包括控制器局域网络(CAN)、面向介质的系统传输(MOST)、本地互连网络(LIN)、局域网络(LAN)、无线网络（例如，蓝牙和802.11）以及其它合适的连接（例如，以太网）。
电力供应102向评估乘员100的目光的设备的存储设备103、输出104、目光检测传感器105、用户输入106、交通工具系统模块107、通信装置108和环境感知传感器109中的一个或多个提供电力。电力供应102可包括电池、插座、电容器、太阳能电池、发电机、风能装置、交流发电机等等中的一个或多个。
存储设备103被配置成存储信息，并且用于检索由评估乘员100的目光的设备使用的信息。存储设备103可由控制器101控制，以存储和检索交通工具系统信息、交通工具环境信息、目光信息、地图信息等等。存储设备103可包括以下之中的一个或多个：软盘、光盘、CD-ROM（压缩盘只读存储器）、磁光盘、ROM（只读存储器）、RAM（随机存取存储器）、EPROM（可擦除可编程只读存储器）、EEPROM（电可擦除可编程只读存储器）、磁卡或光卡、闪速存储器、高速缓冲存储器以及适于存储机器可执行指令的其它类型的介质/机器可读介质。
目光信息可包括用户的动作、视觉信息位置、目标名称、目光的方向、目光位置、目标上的停留时间、不同扫视的数量和总停留时间中的一个或多个。目光信息可指示用户是查看朝向前挡风玻璃、用户向下查看或查看用户装置或是用户查看朝向交通工具的后部、后部摄像头显示器、后视镜或侧视镜。
目光位置可为其中用户正查看的位置。目标上的停留时间可为用户在查看其它东西之前花费在查看给定位置/目标的时间量。不同扫视的数量可为用户在查看另一区域之后查看区域的数量。总停留时间可为给定区域处对于不同扫视的数量的停留时间的总和。
交通工具系统信息包括指示由交通工具系统模块107提供的状态的信息，例如，交通工具控制、交通工具部件、交通工具动力状态等等。交通工具系统信息可由传感器或装置提供，例如，以下之中的一个或多个：全球定位系统(GPS)装置、速度计、里程表、发动机传感器、排放传感器、变速器传感器、轮胎压力传感器、车门传感器、行李箱传感器、窗传感器、内部/外部温度传感器、大气压力传感器、加速度传感器、陀螺仪传感器、触摸力或压力传感器、座椅传感器、乘客传感器、碰撞传感器、外部对象检测器、超声波传感器、雷达传感器、温度计、高度计、电子控制单元（例如，电子控制器等等）、车灯激活传感器、环境光传感器、车钥匙传感器、车辆信息和娱乐装置（即，信息娱乐装置）、通信装置等等。
交通工具系统信息可包括对于以下之中的一个或多个的信息：与交通工具相关联的事件、交通工具的转向、转弯指示器状态、交通工具的速度、交通工具的位置、发动机事件或状态、排放状态、发动机的每分钟转数、变速器状态、轮胎压力、门开/关状态、行李箱开/关状态、窗开/关状态、内部/外部温度、大气压力、交通工具的海拔高度、交通工具的加速度、用户输入、用户向交通工具中的对象或按钮施加的压力、乘客是否在座椅中、围绕交通工具的外部对象的位置和速度、交通工具的哪些灯被激活、车钥匙是否存在于交通工具中、交通工具中的显示器上的当前显示的屏幕、白天或夜间状态、环境光的量、交通工具的状态、交通工具的设置的状态以及可由用户执行的功能的位置。
交通工具环境信息可包括由环境感知传感器109提供的信息。交通工具环境信息位置可为其中呈现交通工具环境信息的环绕用户的三维(3D)空间中的物理位置。例如，交通信号灯可位于用户的眼睛的前方和下方，并且其位置可被指定为从用户的眼睛或其它固定参考点的给定距离（x、y和z）。交通工具环境信息可包括关于交通工具外部的对象的信息，包括坐标、速度、温度、加速度、大小等等之中的一个或多个。
输出104呈视觉、听觉或触觉形式输出信息，或输出信号，以导致另一装置呈上述形式输出信息。输出104可由控制器101控制，以向评估乘员100的目光的设备的用户提供输出。输出104可包括以下之中的一个或多个：扬声器、显示器、平视显示器、触觉反馈装置、振动装置、点击反馈装置、全息显示器等等。输出104可向乘员提供警告，以将视线保持在道路上，通知乘员，以接管交通工具的转向，通知解除自动交通工具驾驶控制或通知停止交通工具。输出信息还可用于对于驾驶员生成分数或表征在碰撞事件之前的驾驶员行为。
目光检测传感器105被配置成检测用户的目光的位置和用户的目光的移动方向，并且向评估乘员100的目光的设备和控制器101提供关于位置和方向的信息。目光检测传感器105可包括以下之中的一个或多个：红外摄像头、摄像头、近红外摄像头、有源光摄像头、超声波传感器、雷达装置等等。目光检测传感器105可向控制器101提供信息，以进行处理，使得控制器101可基于用户的目光的位置、用户的位置和用户的目光的移动方向中的一个或多个而执行功能。
用户输入106被配置成向评估乘员100的目光的设备提供输入信息和命令。用户输入106可用于向控制器101提供用户输入等等。用户输入106可包括以下之中的一个或多个：触摸屏、键盘、软质键盘、按钮、运动检测器、语音输入检测器、麦克风、摄像头、触控板、鼠标、触摸板等等。
交通工具系统模块107可包括呈电子硬件部件形式的一个或多个交通工具系统模块(VSM)，其位于贯穿于交通工具，并且通常从一个或多个传感器接收输入，并且使用所感测的输入，以执行诊断监测，控制交通工具，以执行操纵、加速、制动、减速、报告和/或其它功能。VSM中的每个可由通信总线连接到其它VSM以及到控制器101，并且可被编程，以运行交通工具系统和子系统诊断测试。控制器101可被配置成从VSM发送和接收信息，并且控制VSM，以执行交通工具功能。
作为示例，一个VSM可为发动机控制模块(ECM)，其控制发动机操作的的各种方面，例如，燃料点火和点火定时，另一VSM可为外部传感器模块，其被配置成从外部传感器（例如，摄像头、雷达、激光雷达和激光器）接收信息，另一VSM可为传动系统控制模块，其调节交通工具传动系统的一个或多个部件的操作，另一VSM可为交通工具动态传感器，其检测方向盘角度参数、偏航率参数、速度参数、加速度参数、侧向加速度参数和/或车轮角度参数，并且另一VSM可为主体控制模块，其管控位于贯穿于交通工具的各种电气部件，如交通工具的电动门锁和前灯。如由本领域技术人员理解的，上文提到的VSM仅是可用于交通工具中的一些模块的示例，因为许多其它模块也是可用的。
通信装置108可由评估乘员100的目光的设备使用，以根据各种通信方法而与各种类型的外部设备通信。通信装置108可用于向控制器101和评估乘员100的目光的设备提供交通工具系统信息、交通工具环境信息、目光信息或地图信息。
通信装置108可包括各种通信模块，例如，广播接收模块、近场通信(NFC)模块、GPS模块、有线通信模块和无线通信模块。广播接收模块可包括地面广播接收模块，包括用于接收地面广播信号的天线、解调器和均衡器以及用于接收和处理DMB广播信号的数字多媒体广播(DMB)模块。NFC模块是根据NFC方法而与位于附近距离处的外部设备通信的模块。GPS模块是从GPS卫星接收GPS信号并且检测当前位置的模块。无线通信模块是通过使用无线通信协议（例如，Wi-Fi或IEEE通信协议）而连接到外部网络并且与外部网络通信的模块。无线通信模块可进一步包括移动通信模块，所述移动通信模块接入移动通信网络，并且根据各种移动通信标准（例如，第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)、蓝牙或ZigBee）而执行通信。
环境感知传感器109可包括以下之中的一个或多个：摄像头、雷达、超声波传感器、激光雷达以及激光器、红外传感器。环境感知传感器109可向控制器101提供交通工具环境信息。
根据示例性实施例，评估乘员100的目光的设备的控制器101被配置成：基于由第一传感器检测的目光信息而确定乘员的目光的方向；基于由第二传感器提供的地图信息或交通工具环境信息之中的一个或多个而确定道路的特征的位置；将目光的方向与道路的特征的位置进行比较；以及响应于确定目光的方向不对应于道路的特征的位置而控制执行校正动作。
控制器101可被配置成通过以下而将目光的方向与道路的特征的位置进行比较：通过识别曲线区段参数或高程变化区段参数而将目光的方向与道路的曲率变化或高程变化进行比较；以及在多个时间点将乘员的目光的位置与曲线区段参数或高程变化区段参数进行比较。控制器101可进一步被配置成通过以下而将目光的方向与道路的特征的位置进行比较：随着穿越曲线区段或高程变化区段，或在穿越曲线区段或高程变化区段之后，将目光的方向与道路的曲率变化或高程变化进行比较。
例如，可隔离或选择曲线区段，乘员的目光可与曲线区段参数或高程变化区段参数同步，并且可对于乘员不注意性而评估发散区域。为了隔离或选择曲线区段，基于以下曲线区段参数而确定开始和结束，
Figure 69683DEST_PATH_IMAGE001
=从时间戳t1和t2的驾驶区段，Ct =时间t的曲率值，Cth =曲率阈值，以及tth=时间阈值。曲线区段可被限定为
Figure 580299DEST_PATH_IMAGE001
，其中，t1和t2是对于以下优化问题的解决方案：
max t2 – t1；选择最大或整个区段；
s.t. abs(Ct) > Cth，t1< t < t2中的∀t；绝对值>区段中的阈值；以及
t2 – t1> Tth；忽略短区段。
目光和向前曲率信号同步可用于在多个时间点将乘员的目光的位置与曲线区段参数或高程变化区段参数进行比较。乘员的焦点可随着前方若干米的曲率而波动（与原始曲率信号包括的相同点处的曲率相反）。因此，目光信息信号和曲线区段参数信号可同步，用于准确比较。在一个示例中，来自交通工具信息的里程表信号c(t)绘制由交通工具行进的路线和距离，并且是向前速度信号的函数。
对于给定目光时间戳ti，其中交通工具将在前方M米的时间戳
Figure 625615DEST_PATH_IMAGE002
是时刻t，其最小化未来里程表值c(t)与前方
Figure 489666DEST_PATH_IMAGE003
米的当前读数之间的差：
Figure 133399DEST_PATH_IMAGE004
，
其中，tn表示其中限定值的最后时间戳。为了确保在ti接入所有功能，最容易的是，使所有信号时间戳与目光信号的那些同步。
控制器101可被配置成通过执行以下之中的一个或多个而执行校正动作：向乘员提供警告，以将视线保持在道路上；通知乘员，以接管交通工具的转向；解除自动交通工具驾驶控制；以及停止交通工具。
控制器101可被配置成通过以下而将目光的方向与道路的特征的位置进行比较：将目光的方向投影到图像平面上的第一位置；以及将特征的位置投影到图像平面上的第二位置；以及确定第一位置是否在第二位置的预确定距离内，或控制器101可被配置成通过以下而将目光的方向与道路的特征的位置进行比较：确定目光的方向是否在对于道路的由乘员行进在其上的区段设置的预确定范围内。进一步，控制器101可被配置成通过以下而将目光的方向与道路的特征的位置进行比较：确定目光的方向在分析时间周期内是否对应于道路的特征的位置达大于阈值数量的量。
可通过在视场内限定垂直于纵向轴线的2D平面而执行到图像平面上的目光的投影和特征的位置的投影。如果目光方向和对象坐标重叠，则可确定乘员正查看特征，或如果目光与特征坐标之间的欧几里德距离大于预确定阈值距离，则可确定乘员未查看对象。可通过将眼睛方向拉伸到图像平面而确定目光方向。
根据示例，比较可集中在基于从曲线区段参数得出的曲率信号与从乘员的目光信息得出的水平目光偏差之间的差而识别的具有目光发散的区域上。水平目光偏差可为侧向目光坐标从其中心值的偏差。目光信号和曲率信号（或其等同，用于高程的情况）可基于从大量驾驶数量得出的平均值和范围值而归一化。然后可比较归一化信号，以通过计算其差在该曲线区段上的积分的阈值或通过计算道路上/下的扫视的比或扫视的持续时间的比而识别扫视不一致性。
道路的特征可为被隔离对象，使得可将乘员的目光与特征进行比较。例如，特征可为交通控制对象（例如，交通信号），并且可相对于交通信号而比较乘员的目光。将在焦点平面上比较的数据是目光方向和交通信号位置（具有必要的转换，以将值带入到相同参考系统）。可单独执行比较，用于在驾驶期间穿越的灯中的每个，使得可在道路的特征中的每一个处评估性能。为了执行比较，必须隔离交通信号。
在一个示例中，可通过识别在其上分析交通信号目光的区段而隔离交通信号，其中：
Figure 221441DEST_PATH_IMAGE001
=从时间戳t1到t2的驾驶区段;
zt=在时间t到最近交通信号的纵向距离；
zmin，zmax=zt的最小和最大值；
zth=对于距离差的检测的阈值；以及
tth=对于时间差的检测的阈值。
交通信号区段被限定为
Figure 691737DEST_PATH_IMAGE001
，其中，t1和t2是对于以下优化问题的解决方案：
max t2 – t1；确保选择最大区段（不是子集）；
s.t. zmin< zt< zmax， t1< t < t2中的∀t；对于可靠检测距离的过滤器；
Δzt< zth；对于大跳跃划分区段；以及
Δt < tth；基于时间划分区段。
在此示例中，Δzt是对于两个连续时间戳到最近交通信号的纵向距离的差。
在另一示例中，外部感知传感器可提供对象或交通灯相对于地面的坐标。特别地，可相对于道路表面而确定交通灯的高度（对于正确定位其是重要的）。在此示例中，将道路处的查看的轨迹设置在焦点平面上，并且基于从该点的目光偏差而确定交通信号处的目光。
线性模型可用于确定焦点平面的中心值，例如：
yt = b + ɑTxt + βTvt + γTpt，其中
b表示基线值，xt表示海拔高度和海拔高度的变化，vt表示向前速度和向前速度的变化，pt表示间距（pitch）和间距的变化，并且ɑT、βT、γT是转置系数向量。
必须分析从中心值的偏差，以识别交通灯处的实际查看。到信号的纵向距离(zt)在此处是重要的，因为乘员离交通灯越近，则当查看其时其偏差变得越明显。可使用三种方法，并且所有方法基于投影目光的暂存竖直值yt与近似中心
Figure 546429DEST_PATH_IMAGE005
之间的差。通过限定
Figure 480887DEST_PATH_IMAGE006
，我们可基于对于zt的值的一些设置范围而以层级经验性地得出对于xt的最小预期值的阈值，限定直接取决于zt的公式，例如，
Figure 677513DEST_PATH_IMAGE007
，并且考虑从分布采样的近似中心值，并且得出概率边界（例如，基于切比雪夫不等式），以识别异常值。
在又一示例中，我们可检查目光信息，以确定目光轮廓式样和形状，并且基于交通信号位置信息而识别交通信号查看示例。符合预期形状（上升和下降时间）、目光密度并且落入预期目光投影区域内的式样可被隔离和存储。然后可将式样与乘员的目光进行比较，以确定乘员是否在注视对象或交通信号。对于先前看到的成对的x_t以及其在交通信号处的对应查看指标训练的基于机器学习的方法可用于识别交通信号查看示例。
目光可基于方向向量而与道路的特征匹配，而绕过到图像平面上的投影。当目光检测传感器105提供归一化眼睛方向和眼睛位置时，这是可能的。如果在第一参考系统中已知道路的特征的位置，则可将眼睛位置与道路特征的位置之间的归一化向量与对于道路的特征的预期目光方向进行比较。可使用向量之间的圆心角并且将阈值设置为圆心角而比较方向。阈值可基于到道路的特征的距离而变化。如果圆心角落入阈值内，则可确定目光对应于道路的特征。
图2显示了对于根据示例性实施例的评估乘员的目光的方法的流程图。图2的方法可由评估乘员100的目光的设备执行，或可作为指令被编码到计算机可读介质中，所述指令可由计算机执行，以执行方法。
参考图2，在操作S210中，基于由第一传感器检测的目光信息而确定乘员的目光的方向。在操作S220中，基于由第二传感器提供的地图信息或交通工具环境信息之中的一个或多个而确定道路的特征的位置。
在确定道路的特征的位置和目光的方向之后，在操作S230中，将目光的方向与道路的特征的位置进行比较。如果目光的方向不对应于道路的特征的位置，则在操作S240中执行校正动作。
图3A-3D显示了根据示例性实施例的方面的乘员目光评估（因为其涉及道路几何形状）的示例图示。参考图3A，交通工具接近其中道路或路径310弯曲的区域。系统可评估乘员正在远离道路或路径的方向311上注视或正查看正前方312。然而，在接近曲线时，期望的是，使得乘员在弯曲路径的方向313上注视，以确保不存在有障碍物，或确保自动驾驶系统正常工作。
参考图3B，评估乘员是否正查看正前方312的系统可不确定乘员的目光是否对应于路径320和321中的高程变化。因此，当接近升高的路径320时，可处理目光信息，以确定乘员是否正在路径的方向上向上查看，并且当接近降低的高程路径321时，可处理目光信息，以确定乘员是否正在具有降低的高程或向下斜坡的路径321的方向上向下查看。
参考图3C，图示330显示的是，乘员的焦点可响应于路径的高程或曲率变化而从对应于直或水平道路的第一位置331转移到第二位置332。可将焦点的此方向转移与对应于路径或道路上的点的预确定或预存储焦点位置进行比较，以确定乘员的目光的方向是否对应于路径或道路的高程变化或曲率变化。在另一示例中，在第二位置332的情况下的转移焦点可与作为路径或道路上的位置的函数计算的计算焦点位置进行比较。比较可确定的是，如果计算焦点位置或预存储焦点位置在从目光信息确定的乘员的焦点的预确定阈值内，则乘员的目光方向对应于道路的特征，在此情况下，为曲率或高程变化。
参考图3D，图示340显示的是，交通工具正沿着路径345在方向341上行进。可在对应于弯曲路径342的开始和弯曲路径343的结束的时间周期或位置上评估乘员的目光的方向。可将在此区段344期间的乘员的目光的此方向与道路区段进行比较。
图4A-4C显示了根据示例性实施例的方面的乘员目光评估（因为其涉及路径上的对象）的示例图示。
参考图4A，交通工具410接近道路的特征，在此情况下，为对象或交通灯411。在此情况下，评估乘员是否正查看正前方412的系统可不确定乘员的目光是否对应于交通灯411。因此，必须分析乘员的目光信息和对象411的位置信息，以确定乘员是否正注视对象411。
参考图4B，对应于乘员420的目光的目光信息和对应于对象425的交通工具环境信息被收集。信息422投影到平面423上，以被分析和比较，以基于投影到图像平面423上的点而确定乘员的目光的方向是否对应于对象的位置。
参考图4C，显示了对应于乘员420的目光的投影目光信息和对应于对象425的交通工具环境信息的详细视图。特别地，由传感器436确定眼睛位置430。眼睛位置用于确定目光向量或目光方向431。然后将此目光方向投影到图像平面433上。进一步，对象435的位置被确定，并且使用向量而投影434到图像平面433上。投影数据432然后用于确定目光的方向是否对应于障碍物位置。
本文公开的过程、方法或算法可被递送到处理装置、控制器或计算机/由处理装置、控制器或计算机实施，所述处理装置、控制器或计算机可包括任何现有可编程电子控制装置或专用电子控制装置。类似地，过程、方法或算法可呈许多形式被存储为可由控制器或计算机执行的数据和指令，包括但不限于永久存储在不可编写存储介质（例如，ROM装置）上的信息以及可变地存储在可编写存储介质（例如，软盘、磁带、CD、RAM装置以及其它磁性和光学介质）上的信息。过程、方法或算法还可在软件可执行对象中实施。可选地，过程、方法或算法可使用合适的硬件部件（例如，专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机、控制器或其它硬件部件或装置）或硬件、软件和固件部件的组合而全部或部分地实施。
上文已参考附图而描述了一个或多个示例性实施例。上文描述的示例性实施例仅应被考虑为在描述性的意义上，并且不用于限制的目的。此外，可修改示例性实施例，而不从由以下权利要求限定的本发明概念的精神和范围脱离。

Claims (10)

1.评估乘员的目光的方法，所述方法包括：
基于由第一传感器检测的目光信息而确定乘员的目光的方向；
基于由第二传感器提供的地图信息或交通工具环境信息之中的一个或多个而确定道路的特征的位置；
将所述目光的所述方向与所述道路的所述特征的所述位置进行比较；以及
响应于确定所述目光的所述方向不对应于所述道路的所述特征的所述位置而执行校正动作。
2.根据权利要求1所述的方法，其中，所述道路的所述特征包括道路几何形状，包括所述道路的曲率变化和所述道路的高程变化中的一个或多个。
3.根据权利要求2所述的方法，其中，将所述目光的所述方向与所述道路的所述特征的所述位置进行比较包括：通过识别曲线区段参数或高程变化区段参数而将所述目光的所述方向与所述道路的所述曲率变化或所述高程变化进行比较；以及在多个时间点将所述乘员的所述目光的所述位置与所述曲线区段参数或所述高程变化区段参数进行比较。
4.根据权利要求3所述的方法，其中，从所述地图信息识别所述曲线区段参数或所述高程变化区段参数，所述地图信息从存储设备检索，以及
其中，随着穿越所述曲线区段或所述高程变化区段，执行所述比较。
5.根据权利要求3所述的方法，其中，从由所述传感器提供的信息识别所述曲线区段参数或所述高程变化区段参数，以及
其中，在穿越所述曲线区段或所述高程变化区段之后，执行所述比较。
6.根据权利要求1所述的方法，其中，执行所述校正动作包括以下之中的一个或多个：向所述乘员提供警告，以将视线保持在道路上；通知所述乘员，以接管交通工具的转向；解除自动交通工具驾驶控制；以及停止所述交通工具。
7.根据权利要求1所述的方法，其中，所述道路的所述特征包括交通控制对象或装置。
8.根据权利要求7所述的方法，其中，将所述目光的所述方向与所述道路的所述特征的所述位置进行比较包括：将所述目光的所述方向投影到图像平面上的第一位置；以及将所述特征的所述位置投影到所述图像平面上的第二位置；以及确定所述第一位置是否在所述第二位置的预确定距离内。
9.根据权利要求7所述的方法，其中，将所述目光的所述方向与所述道路的所述特征的所述位置进行比较包括：将关于眼睛方向与眼睛位置之间的归一化向量的信息与对于所述交通控制对象或装置的预期目光方向进行比较。
10.根据权利要求1所述的方法，其中，将所述目光的所述方向与所述道路的所述特征的所述位置进行比较包括：确定所述目光的所述方向是否在对于所述道路的由所述乘员行进在其上的区段设置的预确定范围内。
CN202010989150.5A 2019-09-19 2020-09-18 用于评估乘员目光的设备和方法 Active CN112519786B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/576059 2019-09-19
US16/576,059 US11429185B2 (en) 2019-09-19 2019-09-19 Apparatus and method for assessing occupant gazes

Publications (2)

Publication Number Publication Date
CN112519786A true CN112519786A (zh) 2021-03-19
CN112519786B CN112519786B (zh) 2024-08-23

Family

ID=74881070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010989150.5A Active CN112519786B (zh) 2019-09-19 2020-09-18 用于评估乘员目光的设备和方法

Country Status (2)

Country Link
US (1) US11429185B2 (zh)
CN (1) CN112519786B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11912307B2 (en) * 2020-03-18 2024-02-27 Waymo Llc Monitoring head movements of drivers tasked with monitoring a vehicle operating in an autonomous driving mode
US12159468B2 (en) * 2021-10-08 2024-12-03 Woven By Toyota, Inc. Vehicle occupant gaze detection system and method of using
CN114680889A (zh) * 2022-03-08 2022-07-01 中国石油大学(北京) 钻井作业人员的不安全行为识别方法和装置
CN118907030B (zh) * 2024-10-10 2024-12-31 长沙斐视科技有限公司 一种自动驾驶矿区车辆的远程驾驶方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101466305A (zh) * 2006-06-11 2009-06-24 沃尔沃技术公司 用于确定和分析视觉兴趣位置的方法与装置
US20140139655A1 (en) * 2009-09-20 2014-05-22 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
CN105813903A (zh) * 2013-10-29 2016-07-27 奥托利夫开发有限公司 车辆安全系统
US20170166122A1 (en) * 2015-12-14 2017-06-15 Fujitsu Limited Warning system and method
KR20180101029A (ko) * 2017-03-03 2018-09-12 주식회사 만도 도로 곡률 추정 장치 및 방법
CN109334670A (zh) * 2018-12-04 2019-02-15 吉林大学 一种车辆驾驶人监控预警方法、系统、设备及存储介质
CN109758167A (zh) * 2017-11-09 2019-05-17 丰田自动车株式会社 驾驶员状态检测装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8564502B2 (en) * 2009-04-02 2013-10-22 GM Global Technology Operations LLC Distortion and perspective correction of vector projection display

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101466305A (zh) * 2006-06-11 2009-06-24 沃尔沃技术公司 用于确定和分析视觉兴趣位置的方法与装置
US20140139655A1 (en) * 2009-09-20 2014-05-22 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
CN105813903A (zh) * 2013-10-29 2016-07-27 奥托利夫开发有限公司 车辆安全系统
US20170166122A1 (en) * 2015-12-14 2017-06-15 Fujitsu Limited Warning system and method
KR20180101029A (ko) * 2017-03-03 2018-09-12 주식회사 만도 도로 곡률 추정 장치 및 방법
CN109758167A (zh) * 2017-11-09 2019-05-17 丰田自动车株式会社 驾驶员状态检测装置
CN109334670A (zh) * 2018-12-04 2019-02-15 吉林大学 一种车辆驾驶人监控预警方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN112519786B (zh) 2024-08-23
US11429185B2 (en) 2022-08-30
US20210089120A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
CN112519786B (zh) 用于评估乘员目光的设备和方法
JP6940612B2 (ja) ニアクラッシュ判定システムおよび方法
CN106564494B (zh) 用于控制具有自动驾驶系统的车辆的方法和系统
EP3070700B1 (en) Systems and methods for prioritized driver alerts
US10011216B1 (en) Auto turn signal initiation based on lane change and driver history
CN111332309B (zh) 驾驶员监视系统及其操作方法
US20200369294A1 (en) Autonomous driving apparatus and method
US20170313314A1 (en) Vehicle control system, vehicle control method, and vehicle control program
CN107526431B (zh) 用于预测视觉注意力的目标的设备及方法
CN111144190A (zh) 用于检测慢速车辆运动的装置和方法
CN111273650B (zh) 在向后运动期间进行指引侧向控制的方法和设备
CN112009479A (zh) 调整传感器视场的方法和设备
CN114103983A (zh) 用于对车辆中的驾驶员警告进行优先级排序的系统和方法
CN107640107A (zh) 用于车辆的行驶前检测的设备及方法
KR20240035960A (ko) 자율 주행 장치 및 방법
KR20240038944A (ko) 자율 주행 장치 및 방법
CN109878535B (zh) 驾驶辅助系统和方法
CN112519758B (zh) 确定停车可行性的设备和方法
US20230079116A1 (en) Adaptive communication for a vehicle in a communication network
US11584383B2 (en) Vehicle feature availability detection
KR102616971B1 (ko) 자율 주행 장치 및 방법
KR102721870B1 (ko) 자율 주행 장치 및 방법
KR101763389B1 (ko) 운전 부주의 경고 방법 및 시스템
KR102689148B1 (ko) 자율 주행 장치 및 방법
KR102792003B1 (ko) 자율 주행 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant