[go: up one dir, main page]

KR102658770B1 - 운전자 보조 시스템(das) 및 고도 자율 주행 기능(had)을 위한 안전 필수 교통 시나리오를 결정하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품 - Google Patents

운전자 보조 시스템(das) 및 고도 자율 주행 기능(had)을 위한 안전 필수 교통 시나리오를 결정하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품 Download PDF

Info

Publication number
KR102658770B1
KR102658770B1 KR1020210120839A KR20210120839A KR102658770B1 KR 102658770 B1 KR102658770 B1 KR 102658770B1 KR 1020210120839 A KR1020210120839 A KR 1020210120839A KR 20210120839 A KR20210120839 A KR 20210120839A KR 102658770 B1 KR102658770 B1 KR 102658770B1
Authority
KR
South Korea
Prior art keywords
data
scenario
driver
sensors
safety
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020210120839A
Other languages
English (en)
Other versions
KR20220036870A (ko
Inventor
나디네 드롤링거
필리프 밀케
Original Assignee
독터. 인제니어. 하.체. 에프. 포르쉐 악티엔게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 독터. 인제니어. 하.체. 에프. 포르쉐 악티엔게젤샤프트 filed Critical 독터. 인제니어. 하.체. 에프. 포르쉐 악티엔게젤샤프트
Publication of KR20220036870A publication Critical patent/KR20220036870A/ko
Application granted granted Critical
Publication of KR102658770B1 publication Critical patent/KR102658770B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089—Driver voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B60W2050/0088—Adaptive recalibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/12—Brake pedal position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/21—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/05—Type of road, e.g. motorways, local streets, paved or unpaved roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2756/00—Output or target parameters relating to data
    • B60W2756/10—Involving external transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0013—Planning or execution of driving tasks specially adapted for occupant comfort
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/304—Acceleration sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/306—Pressure sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은, 특히 자동차와 같은 적어도 하나의 움직이는 물체에 대해 운전자 보조 시스템 및 고도 자율 주행 기능을 위한 안전 필수 교통 시나리오를 결정하기 위한 방법에 관한 것으로, 안전 필수 교통 시나리오는 적어도 시나리오 유형, 지리적 좌표에 의해 결정 가능한 위치 및 안전값을 가지며, 상기 방법은:
- 경로를 따라 주행하는 동안 차량의 검출기들에 의해 제1 데이터를 기록하는 단계로서, 제1 데이터에 각각 지리적 좌표가 할당되는 단계;
- 경로를 따라 주행하는 동안 차량 운전자의 생리적 및 신체적 반응을 포착하기 위한 센서들에 의해 제2 데이터를 기록하는 단계로서, 제2 데이터에 각각 지리적 좌표가 할당되는 단계;
- 상기 제1 및 제2 데이터를 데이터 평가 유닛에 전송하는 단계;
- 동일한 지리적 좌표를 갖는 제1 데이터 및 제2 데이터를 서로 조합하여 이들이 특정 지리적 위치의 데이터를 나타내도록 하는 단계;
- 제1 및 제2 데이터에 기반하여 특정 지리적 위치에 대한 시나리오를 식별하는 단계; 및
- 식별된 시나리오를 난이도 값으로 분류하는 단계;를 포함한다.

Description

운전자 보조 시스템(DAS) 및 고도 자율 주행 기능(HAD)을 위한 안전 필수 교통 시나리오를 결정하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품{METHOD, SYSTEM, AND COMPUTER PROGRAM PRODUCT FOR DETERMINING SAFETY-CRITICAL TRAFFIC SCENARIOS FOR DRIVER ASSISTANCE SYSTEMS (DAS) AND HIGHLY AUTOMATED DRIVING FUNCTIONS (HAD)}
본 발명은, 특히 자동차와 같은 적어도 하나의 움직이는 물체에 대해 운전자 보조 시스템(DAS) 및 고도 자율 주행 기능(HAD)을 위한 안전 필수 교통 시나리오를 결정하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품에 관한 것으로, 안전 필수 교통 시나리오는 적어도 시나리오 유형, 지리적 좌표에 의해 결정 가능한 위치 및 안전값(safety value)을 갖는다.
자동차뿐만 아니라 항공기 또는 선박에서의 운전자 보조 시스템(DAS) 및 고도 자율 주행 기능(HAD)을 지향하는 경향은, 차량 제어에 관한 책임이 더는 운전자의 무한 책임이 아니라 차량 내 컴퓨팅 유닛이 능동적인 기능을 담당하게 되는 것이므로, 광범위한 안전 전략을 필요로 한다. 이를 위해, 자율 이동 물체가 주행 거동에 있어서 매우 낮은 에러율을 갖는 점이 보장되어야 한다. 차량 주변에서 물체의 식별과 분류 및 교통 시나리오의 해석은 운전자 보조 시스템의 안전 기능을 위한 중요한 전제 조건이다. 이를 위해 극한 및 예외 상황(corner cases)뿐만 아니라 일상적인 상황에 대해서도 표적화된 시험이 요구된다. 이와 같은 극한 상황은 다양한 인자들의 특수한 조합의 결과이다. 이들의 예로, 도로 유형, 도로변 구조물, 표지판 품질과 같은 인프라 특수성뿐만 아니라, 기상 조건, 시간 및 계절과 같은 환경 조건도 있다. 또한, 다른 도로 사용자의 거동은 중요한 인자이다. 항공기 및 선박에서는 특히 지리적 지형 및 기상 조건이 큰 역할을 한다.
그러나 일부 이벤트 및 상황이 거의 발생하지 않기 때문에 교통 관련 예외 상황을 현실 세계에서 찾기가 어렵다. 게다가, 예를 들어 데이터 수집을 위해 사용되는 시험 차량의 데이터와 같은 가용 교통 데이터는, 관련 데이터가 종종 충분히 분류되지 않아서 탐색이 불가하기 때문에 평가하기가 어렵다.
그러나 인간 운전자(human driver)는 특정 위험 상황에 매우 직관적으로 신속하게 반응하는 경우가 많으며, 이때 심박수 증가 및 동공 확장과 같은 전형적인 생리적 반응(physiological reactions) 및 차량 내에서 급브레이크 작동과 같은 신체적 반응(physical reactions)을 보인다.
DE 102016201939 A1호에는, 적합한 센서들을 통해 급격히 증가한 운전자의 주의력을 감지하기 위한 시스템이 기술되어 있다. 추가로, 이러한 상황에서 센서를 사용하여 운전자의 시선 방향을 등록할 수 있다. 이 데이터는 운전자 주변에 있는 객체를 결정하여 차량 주행 거동에 대한 개입을 정당화하는 데 사용된다.
DE 102018206666 A1호에는, 차량 운전자에게 운전자의 수행 능력이 낮아진 상황을 경고하는 방법이 기술되어 있다. 이를 위해, 현재 주행 상황을 나타내는 주행 상황 신호가 판독 입력된다. 주행 상황 신호 및 운전자의 예상된 수행 능력 저하를 사용하여, 현재 주행 상황이 수행 능력 저하가 예상되는 주행 상황과 일치하는 경우, 경고 신호가 출력된다.
따라서, 본 발명의 과제는, 경로를 따라 발생 가능성이 있는 안전 관련 시나리오를 포괄적으로 식별하고 분류하는, 특히 자동차와 같은 적어도 하나의 움직이는 물체에 대해 운전자 보조 시스템(DAS) 및 고도 자율 주행 기능(HAD)을 위한 안전 관련 시나리오를 결정하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품을 제공하는 것이다.
본 발명에 따라, 안전 관련 교통 시나리오의 포괄적인 결정을 가능하게 하고, 이를 통해 예를 들어, 일상적 상황뿐만 아니라 운전 기술상 극한 상황에서도 높은 수준의 안전성 및 신뢰성을 특징으로 하는 운전자 보조 시스템 및 고도 자율 주행 기능 및/또는 비행 기능을 제공하기 위한 기반을 형성하는 방법, 시스템 및 컴퓨터 프로그램 제품이 제안된다.
상기 과제는 본 발명에 따라, 방법과 관련하여 청구항 제1항의 특징들에 의해, 시스템과 관련하여 청구항 제8항의 특징들에 의해, 그리고 컴퓨터 프로그램 제품과 관련하여 청구항 제15항의 특징들에 의해 해결된다. 다른 청구항들은 본 발명의 바람직한 구성과 관련이 있다.
제1 양태에 따르면, 본 발명은, 특히 자동차와 같은 적어도 하나의 움직이는 물체에 대해 운전자 보조 시스템(DAS) 및 고도 자율 주행 기능(HAD)을 위한 안전 필수 교통 시나리오(S1, S2, …, Sn)를 결정하기 위한 방법에 관한 것으로, 안전 필수 교통 시나리오(Si(x,y,z)]는 적어도 시나리오 유형(Si), 지리적 좌표에 의해 결정 가능한 위치 및 안전값(Wi)을 가지며, 상기 방법은:
- 경로를 따라 주행하는 동안 차량의 검출기 및 센서에 의해 제1 데이터 및/또는 이미지를 기록하는 단계로서, 상기 제1 데이터 및/또는 이미지에 각각 지리적 좌표가 할당되는 단계;
- 상기 제1 데이터 및/또는 이미지를 데이터 평가 유닛에 전송하는 단계;
- 경로를 따라 주행하는 동안 차량 운전자의 생리적 및 신체적 반응을 포착하기 위한 센서들에 의해 제2 데이터 및/또는 이미지를 기록하는 단계로서, 상기 제2 데이터 및/또는 이미지에 각각 지리적 좌표가 할당되는 단계;
- 상기 제2 데이터 및/또는 이미지를 데이터 평가 유닛에 전송하는 단계;
- 동일한 지리적 좌표를 갖는 제1 데이터 및 제2 데이터를 서로 조합하여 이들이 특정 지리적 위치의 데이터를 나타내도록 하는 단계;
- 상기 제1 및 제2 데이터에 기반하여 특정 지리적 위치에 대한 시나리오[Si(x,y,z)]를 식별하는 단계; 및
- 상기 식별된 시나리오[Si(x,y,z)]를 난이도 값(Wi)으로 분류하는 단계;를 포함한다.
또 다른 개선예에서, 전송된 제1 및 제2 데이터로부터 가능한 시나리오 유형(S1, S2, …, Sn)의 속성들이 데이터 평가 유닛의 추출 모듈에서 추출된다.
또 다른 실시예에서, 상기 속성들이 추출 모듈로부터 분류 알고리즘을 갖는 분류 모듈로 전송되며, 이 분류 모듈은 추출된 속성들에 하나 이상의 미리 정의된 시나리오 유형(S1, S2, …, Sn)을 할당하고 적어도 하나의 적합한 시나리오 유형(Si)을 식별한다. 식별된 실제 시나리오[Sj(x,y,z)]는 지리적 좌표 및/또는 예를 들어 데이터 기록 시점과 같은 다른 메타데이터와 함께 저장 모듈에 저장된다.
유리하게는, 추가 데이터 소스로서 작도 정보, 교통 수치 관련 데이터, 항공 사진, 및/또는 기상 정보 관련 데이터, 및/또는 섀도우 모듈의 데이터가 사용된다.
특히, 제2 데이터를 위한 센서들은 운전자의 심박수 및/또는 피부 온도 및/또는 동공 이미지 및/또는 급브레이크 작동 및/또는 조향 동작 및/또는 음성 발화(vocal utterances)와 같은 운전자 및/또는 탑승자의 생리적 및 신체적 측정 데이터를 기록하기 위해 심박수 모니터, 적외선 카메라, 광학 센서 장착 안경, 실내 카메라, 움직임 센서, 가속도 센서, 압력 센서, 및/또는 마이크로서 구성된다.
일 개선예에서, 데이터 평가 유닛에서 제2 데이터의 한계값이 정의되며, 한계값의 초과는 식별된 시나리오[Si(x,y,z)]를 난이도 값(Wi)으로 분류하는 데 사용된다.
특히, 시나리오 유형(Sj)은 도로 현장 및/또는 교통 상황을 나타낸다.
제2 양태에 따르면, 본 발명은, 특히 자동차와 같은 적어도 하나의 움직이는 물체에 대해 운전자 보조 시스템(DAS) 및 고도 자율 주행 기능(HAD)을 위한 안전 필수 교통 시나리오(S1, S2, …, Sn)를 결정하기 위한 시스템에 관한 것이다. 안전 필수 교통 시나리오[Si(x,y,z)]는 적어도 시나리오 유형(Si), 지리적 좌표에 의해 결정 가능한 위치 및 안전값(Wi)을 갖는다. 상기 시스템은, 차량이 경로를 따라 주행하는 동안 제1 데이터 및/또는 이미지를 기록하고 상기 제1 데이터 및/또는 이미지를 데이터 평가 유닛에 전송하도록 구성된 차량의 검출기 및 센서를 포함한다. 제1 데이터 및/또는 이미지에 각각 지리적 좌표가 할당된다. 또한, 경로를 따라 주행하는 동안 차량 운전자의 생리적 및 신체적 반응의 제2 데이터 및/또는 이미지를 포착하고 상기 제2 데이터 및/또는 이미지를 데이터 평가 유닛에 전송하도록 구성된 센서들이 제공된다. 제2 데이터 및/또는 이미지에 각각 지리적 좌표가 할당된다. 상기 데이터 평가 유닛은, 동일한 지리적 좌표를 갖는 제1 데이터 및 제2 데이터를 이들이 특정 지리적 위치의 데이터를 나타내도록 서로 조합하고, 상기 제1 및 제2 데이터에 기반하여 특정 지리적 위치에 대한 시나리오[Si(x,y,z)]를 식별하며, 이 식별된 시나리오[Si(x,y,z)]를 난이도 값(Wi)으로 분류하도록 구성된다.
유리하게는, 데이터 평가 유닛이 추출 모듈, 분류 모듈 및 저장 모듈을 구비하고, 추출 모듈은 전송된 제1 및 제2 데이터로부터 가능한 시나리오 유형(S1, S2, …, Sn)의 속성을 추출하도록 구성된다.
한 개선예에서, 상기 속성은 추출 모듈로부터 분류 알고리즘을 가진 분류 모듈로 전송되며, 이 분류 모듈은 추출된 속성들에 하나 이상의 미리 정의된 시나리오 유형(S1, S2, …, Sn)을 할당하고 적어도 하나의 적합한 시나리오 유형(Si)을 식별하며, 이 식별된 실제 시나리오[Sj(x,y,z)]는 지리적 좌표 및/또는 예를 들어 데이터 기록 시점과 같은 다른 메타데이터와 함께 저장 모듈에 저장된다.
또 다른 실시예에서, 추가 데이터 소스로서 작도 정보, 교통 수치 관련 데이터, 항공 사진, 및/또는 기상 정보 관련 데이터, 및/또는 섀도우 모듈의 데이터가 사용된다.
특히, 제2 데이터를 위한 센서들은 운전자의 심박수 및/또는 피부 온도 및/또는 동공 이미지 및/또는 급브레이크 작동 및/또는 조향 동작 및/또는 음성 발화와 같은 운전자 및/또는 탑승자의 생리적 및 신체적 측정 데이터를 기록하기 위해 심박수 모니터, 적외선 카메라, 광학 센서 장착 안경, 실내 카메라, 움직임 센서, 가속도 센서, 압력 센서 및/또는 마이크로서 구성된다.
일 개선예에서, 데이터 평가 유닛에서 제2 데이터의 한계값이 정의되고, 한계값의 초과는 식별된 시나리오[Si(x,y,z)]를 난이도 값(Wi)으로 분류하는 데 사용된다.
특히, 시나리오 유형(Sj)은 도로 현장 및/또는 교통 상황을 나타낸다.
제3 양태에 따르면, 본 발명은 실행 시 제1 양태에 따른 방법을 수행하도록 구성된, 실행 가능 프로그램 코드를 가진 컴퓨터 프로그램 제품을 제공한다.
이하에서는 도면에 도시된 실시예들을 토대로 본 발명을 더 상세히 설명한다.
도 1은 본 발명에 따른 시스템의 실시예를 설명하기 위한 블록 선도이다.
도 2는 본 발명에 따른 방법의 개별 방법 단계를 설명하기 위한 흐름도이다.
도 3은 본 발명의 제3 양태의 실시예에 따른 컴퓨터 프로그램 제품의 개략도이다.
본 발명 또는 본 발명의 실시예들의 추가 특징들, 양태들 및 장점들은 청구항들과 연관된 상세한 설명부에 명시된다.
운전자 보조 시스템은 부분 자율 방식으로 또는 자율 방식으로 차량의 추진, 제어 또는 시그널링 장치에 개입하거나, 적합한 인간-기계 인터페이스를 통해 위험 상황 직전 또는 그 도중에 운전자에게 경고한다. 교통 상황 및 객체의 식별과 분류, 그리고 차량 주변의 교통 시나리오의 해석은 운전자 보조 시스템(DAS) 및 고도 자율 주행 기능(HAD)의 성능을 위해 중요하다.
상이한 교통 상황들에는 특정 속성(features)에 의해 특성화될 수 있는 시나리오 유형들(S1, S2, …, Sn)이 할당될 수 있다. 그에 따라 특정 속성들의 조합을 통해 시나리오 유형이 결정된다. 속성의 예로, 노면 유형, 차선 수, 가능한 공사 현장과 같은 도로 기반 시설 또는 표지판이 있다. 예를 들어, 교량의 시나리오 유형은 도로의 좌우측 난간 및 도로상에서의 가시적 전환과 같은 속성에 의해 결정된다. 고속도로 터널의 시나리오 유형은 천장 조명, 문이 있는 벽, 그리고 전체적으로 어두운 시야와 같은 속성에 의해 특성화될 수 있다.
예를 들어 교량, 터널, 다차선 교차로 또는 고속도로의 신호등과 같은 특정 현장과 같은 시나리오 유형의 식별 외에도, 구체적인 교통 시나리오의 난이도 값(Wi)이 중요하다. 따라서, 위치(X)에서의 터널의 시나리오는 운전자 보조 시스템이 관리하기 용이할 수 있는 반면, 위치(Y)에서의 터널은 상당한 난이도 값을 가지므로 더 높은 안전 요건과 결부된다. 따라서, 각각의 교통 상황 또는 시나리오를 그 안전 요건과 관련하여 분류할 필요가 있다. 더 나아가, 교통 상황 또는 시나리오를 일반적으로 극한 상황으로 분류하는 것 외에도 바람직하게는 특정 분류가 수행된다. 예를 들어, 하나의 극한 상황은 특정 고속도로 구역에서 다른 자동차와 충돌할 확률의 증가를 포함하는 한편, 또 다른 극한 상황은 산림 지역을 통과하는 도로 구역에서 야생 동물에 의한 손상 확률을 포함할 수 있다.
도 1은 경로를 따라 움직이는 물체에 대해 운전자 보조 시스템(DAS) 및 고도 자율 주행 기능(HAD)을 위한 안전 필수 교통 상황 또는 시나리오를 결정하기 위한 본 발명에 따른 시스템(100)을 도시한다. 움직이는 물체는 승용차 또는 화물차와 같은 자동차, 항공기 또는 수상 운송수단일 수 있고, 이 경우 항공기는 특히 무인 항공기(드론)이며, 수상 운송수단은 특히 선박, 보트, 및 페리이다.
본 발명에 따르면, 예를 들어 시험 차량에 장착된 다양한 검출기(11) 및 센서(12)를 사용하여 경로의 지리적 지형 또는 도로 현장 및/또는 교통 상황의 제1 데이터 및 이미지(10)가 기록된다. 검출기들(11) 및 센서들(12)은 바람직하게 특정 현장 및/또는 교통 상황을 촬영하는 하나 이상의 카메라이다. 또는 음향 센서, 광학 거리 및 속도 측정을 이용한 LIDAR(Light detection and ranging) 시스템, 입체 광학 카메라 시스템, 초음파 시스템 또는 레이더 시스템일 수 있다. 그러므로 데이터(10)는 바람직하게 센서 데이터 및 카메라 이미지로 구성된다. 이미지 및 데이터(10)는, 특정 경로 또는 구역을 따라 주행하거나 비행하면서 검출기들(11) 및 센서들(12)을 이용하여 상기 경로를 기록하는 시험 차량 또는 시험 드론과 같은 시험체에 의해 기록될 수 있다. 또한, 데이터(10)는 차량 주변과의, 특히 Car2Car 통신과 같은 타 차량과의 통신 또는 고정식 정보 시스템을 통해서도 제공될 수 있다.
제1 데이터 및 이미지(10)는 검출기들(11) 및 센서들(12)의 상응하는 저장 유닛 또는 모듈에, 또는 클라우드 컴퓨팅 저장 유닛과 같은 외부 저장 모듈에 저장된다. 특히, 기록된 데이터 및 이미지(10)는 지리적 좌표, 데이터 기록 시점, 및 다른 메타데이터와 함께 저장된다.
본 발명의 맥락에서 "저장 유닛" 또는 "저장 모듈" 등은 예를 들어 랜덤 액세스 메모리(RAM) 형태의 휘발성 메모리, 또는 하드 디스크 드라이브 또는 데이터 매체와 같은 영구 메모리, 또는 예를 들어 교체형 저장 모듈 또는 클라우드 기반 저장 솔루션을 의미하는 것으로 이해될 수 있다.
본 발명의 맥락에서 "모듈"은 예를 들어 프로그램 명령을 저장하기 위한 프로세서 및/또는 저장 유닛을 의미하는 것으로 이해될 수 있다. 예를 들어 프로세서 및/또는 제어 유닛은 특별히, 프로세서 및/또는 제어 유닛이 본 발명에 따른 방법 또는 본 발명에 따른 방법의 단계를 실행하거나 구현하는 기능을 수행하는 방식으로 프로그램 명령을 실행하도록 구성된다.
또한, 본 발명에 따르면, 경로를 따라 주행하는 동안 움직이는 물체, 특히 자동차의 운전자 자신에 의해 생성되는 제2 데이터(40)가 기록되고 평가된다. 이는 도로 교통에서 일반적으로 위험한 상황이 자동차 운전자에게는 상당한 부담과 그에 따른 스트레스 상황을 의미하며, 이러한 상황에 대처하기 위한 신체적 및 심리적 스트레스 반응(physical and psychological stress reactions)을 초래한다는 데 기반한다. 생화학적 차원에서 스트레스 상황은 수 초 내에 아드레날린, 노르아드레날린, 코르티솔 및 코르티손과 같은 스트레스 호르몬의 분비를 초래하고, 그로 인해 혈압, 혈당 및 일반적으로 근긴장(muscle tone)을 높이는 자율 신경 연쇄 효과가 촉발된다. 교감신경계통에 의해 심박수 및 맥박수가 증가하고, 관상 동맥이 확장된다. 피부 및 내부 장기의 혈관이 수축되고, 더 잘 볼 수 있도록 동공이 확장된다. 이로써 신체는 경쟁 또는 회피에 대해 대비하게 된다.
본 발명에 따르면, 운전자의 생리적 및 신체적 반응은 적합한 센서들에 의해 기록되어 주행 상황의 분류를 위해 사용된다. 또한, 차량 탑승자의 반응을 포착하는 것도 가능하다. 센서(41)로서 예를 들어 FITBIT® 또는 다른 제조사에 의한 피트니스 트랙커(fitness tracker)와 같이, 심박수를 지속적으로 측정하는 측정 밴드가 사용될 수 있다. 이러한 피트니스 밴드는 운전자 또는 탑승자의 손목에 부착할 수 있고, 측정된 데이터는 간단히 판독 출력될 수 있다. 그러한 기기들에서 맥박 및 그와 더불어 심박수는 일반적으로 심장 박동 시 모세혈관의 수축으로 인해 혈류가 변화할 때 방출된 LED 광의 반사 거동 변화에 의해 광학적으로 측정된다. 상기 기기는 일반적으로 손목 조직 내로 녹색 파장 범위의 광을 방출하여 반사된 광을 측정한다. 혈액은 상기 파장 범위의 광을 강력히 흡수하기 때문에, 혈관이 맥동 시 측정된 광 강도가 변동하고 그로부터 심박수가 결정될 수 있다. 스트레스 상황에서는 심박수가 빨라지므로, 변화된 심박수는 스트레스 상황 발생에 대한 좋은 지표가 된다.
또는 센서가 장착된 의류 또는 스마트워치나 상응하는 안경을 사용하는 것도 가능하다. 그 밖에도, 실내 카메라와 같은 광학 센서(42)가 불안 반응(fear reaction)의 징후로서 확장된 동공과 같은 운전자의 얼굴 표정 및 몸짓의 변화를 기록하는 데 사용될 수 있다. 피부 표면 온도를 측정하기 위한 적외선 카메라(43) 및 발한을 탐지하기 위한 센서도 고려할 수 있다. 알약의 형태로 형성되어 삼킬 수 있는 스마트 알약(smart pills)과 같은 신체 내부의 센서도 고려할 수 있다. 이러한 센서는 신체 내부의 화학 반응을 탐지하며, 탐지된 데이터를 예를 들어 무선 링크를 통해 외부 저장 장치로 전송할 수 있다.
심박수와 같은 파라미터의 급격한 변화는 운전자가 위험 상황을 인식했음을 나타낸다. 그에 따라, 유리하게는, 정상치로부터의 특징적인 편차는 이러한 극한 상황을 가리키는 한계값으로 정의된다.
또한, 자동차 내에서 조향 동작 및 브레이크 페달 작동과 같은 자동차 운전자의 신체적 반응 및 탑승자의 직접적인 신체적 반응이 포착될 수 있다. 이는 운전자가 예컨대 다른 차량과의 충돌 위험을 피하고자 할 때 상기 운전자가 브레이크 장치를 급하게 전력을 다해 작동하는 경우일 수 있다. 브레이크 장치는 제동 거동의 신속하고 급격한 변화를 등록하는 제동 센서(44)를 구비한다. 센서(44)는 용량성 가속도 센서로서 구성될 수 있다. 또한, 운전석 및 조향 휠에 있는 압력 센서(45)도 고려할 수 있는데, 이 압력 센서는 스트레스 상황 중에 발생하는 근긴장의 강화로 인해 운전자가 조향 휠을 더 꽉 파지하고 좌석 안으로 좀을 더 강하게 밀어넣을 때, 상기 운전자 및/또는 탑승자에 의한 조향 휠의 더 단단한 파지 및 좌석 표면에 가해지는 더 큰 압력을 감지한다. 조향 휠의 신속하고 급격한 조향 운동도 대응하는 움직임 센서(46)에 의해 포착될 수 있다. 이 경우에도, 정상치로부터의 특징적인 편차가 이러한 극한 상황을 가리킨다.
그런데 위험 상황은 예를 들어 짜증을 표현하는 운전자의 자발적인 음성 발화를 유발할 수 있거나 동승자의 경고 전달을 수반할 수 있다. 이러한 음향 신호는 마이크(47)에 의해 기록될 수 있다.
또한, 차량의 섀도우 모듈(22)에 의해 기록되는 또 다른 데이터(20)가 사용될 수 있다. 섀도우 모듈(22)은 고유 데이터 기록 시스템을 구비하거나, 검출기(11) 및 센서(12)에 연결된다.
섀도우 모듈(22)은 주행 중인 차량에서 백그라운드 기능을 통해 데이터 기록 시스템 및/또는 검출기(11) 및 센서(12)를 트리거하여 이른바 섀도우 모드(shadow mode)로 동작한다. 차량은 시험 차량이거나 심지어 고객 차량일 수도 있다. 이는 항공기 또는 선박의 경우에도 동일하게 적용된다. 섀도우 모듈(22) 내에는 차량의 개별 부품의 특정 거동에 반응하는 트리거가 제공된다. 따라서 예를 들어 특정 가속도 값의 초과가 트리거를 활성화할 수 있고, 그에 따라 대응하는 데이터 기록 시스템이 도로 현장 또는 교통 상황을 기록한다. 검출기(11), 센서(12), 그리고 섀도우 모듈(22)의 데이터 기록 시스템에 의해 기록되는 데이터 및 이미지(10, 20)는 검출기(11) 및 센서(12)의 데이터 메모리에 저장되거나, 바로 섀도우 모듈(22)로 전송된다. 이 경우, 상기 기록된 데이터 및 이미지(10, 20)도 각각 공간 좌표, 데이터 기록 시점 및 다른 메타데이터와 함께 저장된다.
그 밖에도 추가 데이터 소스(30) 또는 데이터베이스가 사용될 수 있다. 여기에는 특히, 예를 들어 차선 및 교량과 같은 도로 사양을 가진 도로망; 예를 들어 노면, 도로변 구조물, 도로 레이아웃과 같은 도로 기반 시설;에 대한 데이터를 포함하며 당국에 의해 제공되는 데이터베이스가 포함된다. 또는 독일 연방 통계청에서 제공하는, 중대한 상해를 수반하는 모든 사고를 기록하기 위한 연방 데이터베이스도 중요한 데이터 소스이다. 다른 많은 국가에도 유사한 데이터 세트가 존재한다.
또한, 특정 도로 현장에서의 실시간 교통 흐름과 같은 교통 수치는 예를 들어 교통 체증과 같은 특정 시나리오 유형에서 중요하다. 독일 연방 고속도로 연구소는 이 데이터 자유롭게 액세스할 수 있다.
또 다른 데이터 소스(30)는 예를 들어 구글맵(Google Maps)의 항공 사진들로부터 형성된다. 도로 이미지를 위해 맵필러리(Mapillary)도 사용될 수 있다. 맵필러리는 블랙박스 및 스마트폰에 의해 기록되고 지오 태깅된(geo-tagged) 사용자 생성 도로 이미지를 수집한다. 이러한 이미지는 오픈 소스 라이선스 하에서 이용 가능하다.
기상 조건도 마찬가지로 시나리오 유형을 정의할 수 있기 때문에, 기상 데이터는 또 다른 데이터 소스(30)이다. 이 경우, 기상 데이터는 과거의 기상 측정치 및 미래의 일기 예보를 포함한다.
모든 지리적 객체의 계산 및 저장은 바람직하게 EPSG 25832 좌표계[Universal Transverse Mercator (UTM) Zone 32N]에서 수행된다. 이 좌표계는 독일 당국에 의해서도 사용된다. 횡방향 및 종방향 위치가 미터 단위로 표시된다. 또한 "World Geodetic System 1984 (WGS 84)"와 같은 글로벌 기준 시스템이 사용될 수 있으며, 이는 GPS(Global Positioning System) 수신기에도 사용된다. 이로써 예를 들어 독일의 전체 맵 콘텐츠를 불러올 수 있다.
기록되어 부분적으로 처리된 상기 데이터(10, 20, 30)는 데이터 평가 유닛(50)에 공급된다.
자동차 운전자 및/또는 탑승자의 신체적 및 생리적 반응에 대한, 센서들(41, 42, 43, 44, 45, 46, 47)에 의해 기록된 제2 데이터(40)는 센서들(41, 42, 43, 44, 45, 46, 47)의 저장 유닛에 저장되고, 그리고/또는 외부 저장 모듈에 저장되며, 마찬가지로 데이터 평가 유닛(50)에 공급된다.
데이터 평가 유닛(50)에서는 자동차의 운전자 보조 시스템(DAS) 및 고도 자율 주행 기능(HAD)에 관련된 시나리오 및 교통 상황이 식별된다. 이 경우, 검출기(11, 12)의 제1 데이터는, 극한 상황을 나타내는 교통 시나리오의 식별 확률을 증가시키기 위해, 센서들(41, 42, 43, 44, 45, 46, 47)의 제2 데이터 및/또는 섀도우 모듈(22)에서 생성되는 데이터(20), 및/또는 또 다른 데이터(30)와 조합된다.
특히, 데이터 평가 유닛(50)은 추출 모듈(60), 분류 모듈(70) 및 저장 모듈(80)을 구비할 수 있다. 추출 모듈(60)은 검출기(11) 및 센서(12)의 제1 데이터(10), 운전자 및/또는 탑승자의 생리적 및 신체적 반응을 포착하는 센서들(41, 42, 43, 44, 45, 46, 47)의 제2 데이터(40), 섀도우 모듈(22)의 데이터(20), 그리고 또 다른 데이터 소스(30)로부터 교통 시나리오를 특성화하기 위한 관련 속성들을 추출한다. 이러한 속성들은 바람직하게 분류 모듈(70)로 전달된다.
분류 모듈(70)은 분류용 인공 지능 알고리즘을 구비하며, 상기 속성들에 하나 이상의 적합한 시나리오 유형(S1, S2, …, Sn) 및 난이도 값(Wi)을 할당한다. 이들 시나리오 유형(S1, S2, …, Sn)은 미리 정의되어 데이터베이스(75)에 저장된 것이다. 예를 들어 갑작스럽고 강력한 조향 운동은 예컨대 운전자의 욕설 표현과는 다른 유형의 극한 상황을 가리킬 수 있다.
식별된 실제 시나리오[Si(x,y,z)]는 계산된 난이도 값(Wi) 및 지리적 위치, 그리고 예를 들어 데이터 기록 시점과 같은 다른 메타데이터와 함께 저장 모듈(80)에 저장된다. 저장 모듈(80)로부터 예를 들어 경로를 따라 주행할 때 운전자 보조 시스템(DAS) 및 고도 자율 주행 기능(HAD)(90)에 의해 상기 시나리오가 조회될 수 있다.
또한, 식별된 실제 시나리오[Si(x,y,z)]는 출력 모듈(95)에 의해 사용될 수 있다. 출력 모듈(95)은 경로 계획 및 내비게이션 알고리즘을 구비하며 저장 모듈(80)에 액세스한다. 바람직하게는 출력 모듈(95)이 예를 들어 계획된 경로의 디지털 맵을 표시하기 위해 스크린(97) 및 사용자 인터페이스를 구비한다. 높은 난이도 값(Wi)을 가짐에 따라 안전에 관련된 것으로 식별되어 분류된 시나리오[Si(x,y,z)]는 디지털 맵 상에 상응하게 마킹될 수 있다. 특히, 출력 모듈(95)의 스크린(97)은 차량의 내비게이션 시스템의 스크린이다. 또는 스마트폰과 같은 사용자 모바일 장치가 출력 모듈(95) 및 사용자 인터페이스로서 단독으로 또는 부가적으로 사용되는 것도 고려할 수 있다. 예를 들어 시험 및 개발 센터에서 컴퓨터가 출력 모듈(95)로서 제공되는 것도 고려할 수 있다.
도 2는 본 발명에 따른 방법의 방법 단계들을 도시한다.
단계(S10)에서, 차량이 경로를 따라 주행하는 동안 검출기(11) 및 센서(12)에 의해 제1 데이터 및/또는 이미지(10)가 기록되며, 여기서 제1 데이터 및/또는 이미지(10)에는 각각 지리적 좌표가 할당된다.
단계(S20)에서, 검출기(11) 및 센서(12)에 의해 기록된 제1 데이터 및/또는 이미지(10)가 데이터 평가 유닛(50)으로 전송된다.
단계(S30)에서, 경로를 따라 주행하는 동안 차량 운전자의 생리적 및/또는 신체적 반응을 포착하는 센서들(41, 42, 43, 44, 45, 46, 47)에 의해 제2 데이터 및/또는 이미지(40)가 기록되며, 여기서 제2 데이터 및/또는 이미지(40)에는 각각 지리적 좌표가 할당된다.
단계(S40)에서, 센서들(41, 42, 43, 44, 45, 46, 47)에 의해 기록된 제2 데이터 및/또는 이미지(40)가 데이터 평가 유닛(50)으로 전송된다.
단계(S50)에서, 동일한 지리적 좌표를 갖는 제1 데이터(10) 및 제2 데이터(40)를 서로 조합하여 이들이 특정 지리적 위치의 데이터를 나타내도록 한다.
단계(S60)에서, 특정 지리적 위치에서의 제1 및 제2 데이터(10, 40)에 적어도 하나의 적합한 시나리오 유형(Si)을 할당하고, 실제 시나리오[Si(x,y,z)]를 식별한다.
단계(S70)에서, 식별된 실제 시나리오[Si(x,y,z)]에 난이도 값(Wi)을 할당한다.
도 3은, 실행 시 본 발명의 제1 양태에 따른 방법을 수행하도록 구성된 실행 가능 프로그램 코드(205)를 가진 컴퓨터 프로그램 제품(200)을 개략적으로 도시한다.
본 발명에 따른 방법을 이용하여, 운전자 및 탑승자의 생리적 및 신체적 반응을 포착함으로써, 높은 난이도 값을 가짐에 따라 극한 상황을 나타내는 교통 시나리오를 더 잘 식별하고 분류할 수 있다. 그러한 상황이 예를 들어 특정 지리적 위치에서 더 자주 발생하는 경우, 기존의 DAS 및 HAD 시스템은 상기 위치에서 약점을 보일 확률이 높다. 높은 난이도 값을 갖는 이러한 시나리오는, 시험 주행을 위해 상기 위치를 더 잘 선택하도록 디지털 맵 상에 마킹될 수 있다.
10 데이터
11 검출기
12 센서
20 데이터
22 섀도우 모듈
30 데이터
40 데이터
41 센서
42 센서
43 센서
44 센서
45 센서
46 센서
47 센서
50 데이터 평가 유닛
60 추출 모듈
70 분류 모듈
75 데이터베이스
80 저장 모듈
90 DAS 및 HAD 시스템
95 출력 모듈
97 스크린
100 시스템
200 컴퓨터 프로그램 제품
205 프로그램 코드

Claims (16)

  1. 자동차와 같은 적어도 하나의 움직이는 물체에 대해 운전자 보조 시스템(DAS) 및 고도 자율 주행 기능(HAD)을 위한 안전 필수 교통 시나리오(S1, S2, …, Sn)를 결정하기 위한 방법으로서, 안전 필수 교통 시나리오[Si(x,y,z)]는 적어도 시나리오 유형(Si), 지리적 좌표에 의해 결정 가능한 위치 및 안전값(Wi)을 가지며, 상기 방법은:
    - 경로를 따라 주행하는 동안 차량의 제1 검출기(11) 및 제1 센서(12)로부터 획득된 제1 데이터 및/또는 제1 이미지(10)를 기록하는 단계로서, 상기 제1 데이터 및/또는 제1 이미지(10)는 차량의 주변과 차량 사이의 관계와 관련된 것이고, 상기 제1 데이터 및/또는 제1 이미지(10)에 각각 지리적 좌표가 할당되는 단계(S10);
    - 상기 제1 데이터 및/또는 제1 이미지(10)를 데이터 평가 유닛(50)에 전송하는 단계(S20);
    - 경로를 따라 주행하는 동안 차량 운전자의 생리적 및 신체적 반응을 포착하기 위한 제2 센서들(41, 42, 43, 44, 45, 46, 47)에 의해 제2 데이터 및/또는 제2 이미지(40)를 기록하는 단계로서, 상기 제2 센서들 중 적어도 하나는 상기 운전자의 손목에 착용되고 적어도 운전자의 심박수를 감지하며, 상기 제2 데이터 및/또는 제2 이미지(40)에 각각 지리적 좌표가 할당되는 단계(S30);
    - 상기 제2 데이터 및/또는 제2 이미지(40)를 데이터 평가 유닛(50)에 전송하는 단계(S40);
    - 동일한 지리적 좌표를 갖는 제1 데이터(10) 및 제2 데이터(40)를 서로 조합하여 이들이 특정 지리적 위치들의 데이터(10, 40)를 나타내도록 하는 단계(S50);
    - 상기 제1 및 제2 데이터(10, 40)에 기반하여 특정 지리적 위치 각각에 대한 시나리오[Si(x,y,z)]를 식별하는 단계(S60); 및
    - 상기 식별된 시나리오[Si(x,y,z)]를 난이도 값(Wi)으로 분류하는 단계(S70);를 포함하고, 제2 데이터(40)의 한계값은 데이터 평가 유닛(50)에서 정의되고 한계값의 초과는 식별된 시나리오[Si(x,y,z)]를 난이도 값(Wi)으로 분류하는 데 사용되는, 안전 필수 교통 시나리오를 결정하기 위한 방법.
  2. 제1항에 있어서, 전송된 제1 및 제2 데이터(10, 40)로부터 가능한 시나리오 유형(S1, S2, …, Sn)의 속성들이 데이터 평가 유닛(50)의 추출 모듈(60)에서 추출되는, 안전 필수 교통 시나리오를 결정하기 위한 방법.
  3. 제2항에 있어서, 상기 속성들은 추출 모듈(60)로부터 분류 알고리즘을 가진 분류 모듈(70)로 전송되며, 상기 분류 모듈(70)은 추출된 속성들에 하나 이상의 미리 정의된 시나리오 유형(S1, S2, …, Sn)을 할당하고 적어도 하나의 적합한 시나리오 유형(Si)을 식별하며, 상기 식별된 실제 시나리오[Sj(x,y,z)]는 지리적 좌표 및 데이터 기록 시점과 함께 저장 모듈(80)에 저장되는, 안전 필수 교통 시나리오를 결정하기 위한 방법.
  4. 제1항에 있어서, 작도 정보, 교통 수치, 항공 사진, 기상 정보, 및 섀도우 모듈(20)의 데이터 중 적어도 하나를 포함하는 추가 데이터를 획득하는 단계를 더 포함하는, 안전 필수 교통 시나리오를 결정하기 위한 방법.
  5. 제1항에 있어서, 제2 데이터 및/또는 제2 이미지(40)를 위한 센서들(41, 42, 43, 44, 45, 46, 47)은 적외선 카메라, 광학 센서 장착 안경, 실내 카메라, 움직임 센서, 가속도 센서, 압력 센서, 운전자 및/또는 탑승자의 생리적 및 신체적 측정 데이터를 기록하기 위한 마이크, 피부 온도 모니터, 운전자의 동공의 이미지를 모니터링하기 위한 동공 이미지 모니터, 급브레이크 작동을 모니터링하기 위한 브레이크 작동 모니터, 조향 동작을 모니터링하기 위한 조향 모니터, 및 음성 발화를 모니터링하기 위한 노이즈 모니터 중 적어도 하나를 포함하는, 안전 필수 교통 시나리오를 결정하기 위한 방법.
  6. 삭제
  7. 제1항에 있어서, 시나리오 유형(Sj)은 도로 현장 및/또는 교통 상황을 나타내는, 안전 필수 교통 시나리오를 결정하기 위한 방법.
  8. 자동차와 같은 적어도 하나의 움직이는 물체에 대해 운전자 보조 시스템(DAS) 및 고도 자율 주행 기능(HAD)을 위한 안전 필수 교통 시나리오(S1, S2, …, Sn)를 결정하기 위한 시스템(100)으로서, 안전 필수 교통 시나리오[Si(x,y,z)]는 적어도 시나리오 유형(Si), 지리적 좌표에 의해 결정 가능한 위치 및 안전값(Wi)을 가지며, 상기 시스템(100)은:
    차량이 경로를 따라 주행하는 동안 차량의 주변과 차량 사이의 관계와 관련된 제1 데이터 및/또는 제1 이미지(10)를 기록하고 상기 제1 데이터 및/또는 제1 이미지(10)를 데이터 평가 유닛(50)에 전송하기 위해 포함되는 차량의 파트들을 정의하는 제1 검출기(11) 및 제1 센서(12) - 상기 제1 데이터 및/또는 제1 이미지(10)에 각각 지리적 좌표가 할당됨 -; 및
    경로를 따라 주행하는 동안 차량 운전자의 생리적 및 신체적 반응의 제2 데이터 및/또는 제2 이미지(40)를 포착하며 상기 제2 데이터 및/또는 제2 이미지(40)를 데이터 평가 유닛(50)에 전송하도록 구성된 제2 센서들(41, 42, 43, 44, 45, 46, 47) - 상기 제2 데이터 및/또는 제2 이미지(40)에 각각 지리적 좌표가 할당됨 -;을 포함하며, 상기 제2 센서들 중 적어도 하나는 운전자의 손목에 착용되고 적어도 운전자의 심박수를 감지하고,
    상기 데이터 평가 유닛(50)은, 동일한 지리적 좌표를 갖는 제1 데이터(10) 및 제2 데이터(40)를 이들이 특정 지리적 위치의 데이터(10, 40)를 나타내도록 서로 조합하고, 상기 제1 및 제2 데이터(10, 40)에 기반하여 특정 지리적 위치에 대한 시나리오[Si(x,y,z)]를 식별하며, 상기 식별된 시나리오[Si(x,y,z)]를 난이도 값(Wi)으로 분류하도록 구성되고, 제2 데이터(40)의 한계값은 데이터 평가 유닛(50)에서 정의되고 한계값의 초과는 식별된 시나리오[Si(x,y,z)]를 난이도 값(Wi)으로 분류하는 데 사용되는, 안전 필수 교통 시나리오를 결정하기 위한 시스템(100).
  9. 제8항에 있어서, 데이터 평가 유닛(50)은 추출 모듈(60), 분류 모듈(70) 및 저장 모듈(80)을 구비하고, 상기 추출 모듈(60)은 전송된 제1 및 제2 데이터(10, 40)로부터 가능한 시나리오 유형(S1, S2, …, Sn)의 속성을 추출하도록 구성되는, 안전 필수 교통 시나리오를 결정하기 위한 시스템(100).
  10. 제9항에 있어서, 상기 속성은 추출 모듈(60)로부터 분류 알고리즘을 가진 분류 모듈(70)로 전송되며, 상기 분류 모듈(70)은 추출된 속성들에 하나 이상의 미리 정의된 시나리오 유형(S1, S2, …, Sn)을 할당하고 적어도 하나의 적합한 시나리오 유형(Si)을 식별하며, 상기 식별된 실제 시나리오[Sj(x,y,z)]는 지리적 좌표 및/또는 데이터 기록 시점과 같은 다른 메타데이터와 함께 저장 모듈(80)에 저장되는, 안전 필수 교통 시나리오를 결정하기 위한 시스템(100).
  11. 제8항에 있어서, 작도 정보, 교통 수치 관련 데이터, 항공 사진, 기상 정보 관련 데이터, 및/또는 섀도우 모듈(20)의 데이터를 포함하는 추가 데이터 소스(30)를 더 포함하는, 안전 필수 교통 시나리오를 결정하기 위한 시스템(100).
  12. 제8항에 있어서, 제2 데이터 및/또는 제2 이미지(40)를 위한 센서들(41, 42, 43, 44, 45, 46, 47)은 운전자의 심박수 및/또는 피부 온도 및/또는 동공 이미지 및/또는 급브레이크 작동 및/또는 조향 동작 및/또는 음성 발화와 같은 운전자 및/또는 탑승자의 생리적 및 신체적 측정 데이터를 기록하기 위해 적외선 카메라, 광학 센서 장착 안경, 실내 카메라, 움직임 센서, 가속도 센서, 압력 센서, 및/또는 마이크를 더 포함하는, 안전 필수 교통 시나리오를 결정하기 위한 시스템(100).
  13. 삭제
  14. 제8항에 있어서, 시나리오 유형(Sj)은 도로 현장 및/또는 교통 상황을 나타내는, 안전 필수 교통 시나리오를 결정하기 위한 시스템(100).
  15. 저장 매체에 저장된 컴퓨터 프로그램으로서, 실행 시 제1항에 따른 방법을 수행하도록 구성된, 실행 가능 프로그램 코드(205)를 가진 컴퓨터 프로그램.
  16. 제8항에 있어서, 운전자의 손목에 착용되는 제2 센서들은 스마트 워치인, 안전 필수 교통 시나리오를 결정하기 위한 시스템(100).
KR1020210120839A 2020-09-15 2021-09-10 운전자 보조 시스템(das) 및 고도 자율 주행 기능(had)을 위한 안전 필수 교통 시나리오를 결정하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품 Active KR102658770B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020123976.9 2020-09-15
DE102020123976.9A DE102020123976A1 (de) 2020-09-15 2020-09-15 Verfahren, System und Computerprogrammprodukt zur Bestimmung von sicherheitskritischen Verkehrsszenarien für Fahrerassistenzsysteme (FAS) und hochautomatisierte Fahrfunktionen (HAF)

Publications (2)

Publication Number Publication Date
KR20220036870A KR20220036870A (ko) 2022-03-23
KR102658770B1 true KR102658770B1 (ko) 2024-04-22

Family

ID=80351539

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210120839A Active KR102658770B1 (ko) 2020-09-15 2021-09-10 운전자 보조 시스템(das) 및 고도 자율 주행 기능(had)을 위한 안전 필수 교통 시나리오를 결정하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품

Country Status (4)

Country Link
US (1) US11801843B2 (ko)
KR (1) KR102658770B1 (ko)
CN (1) CN114261394B (ko)
DE (1) DE102020123976A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114722931A (zh) * 2022-04-02 2022-07-08 福思(杭州)智能科技有限公司 车载数据处理方法、装置、数据采集设备和存储介质
DE102022113992A1 (de) 2022-06-02 2023-12-07 Porsche Ebike Performance Gmbh Verfahren, System und Computerprogrammprodukt zur interaktiven Kommunikation zwischen einem sich bewegenden Objekt und einem Benutzer
DE102022131651A1 (de) * 2022-11-30 2024-06-06 Bayerische Motoren Werke Aktiengesellschaft Computerimplementiertes Verfahren zur Auswertung einer Interaktion zwischen einem Nutzer und einem Fahrzeug, computerlesbares Speichermedium und System
DE102023205792A1 (de) 2023-06-21 2024-12-24 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Betreiben eines Fahrzeugs

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101276770B1 (ko) 2011-08-08 2013-06-20 한국과학기술원 사용자 적응형 특이행동 검출기반의 안전운전보조시스템
US20190156134A1 (en) * 2017-11-20 2019-05-23 Ashok Krishnan Training of vehicles to improve autonomous capabilities
KR102051888B1 (ko) 2019-05-15 2019-12-09 주식회사 라이드플럭스 기 설정된 주행규칙에 기반하여 차량의 주행을 제어하는 방법, 장치 및 프로그램
US10625748B1 (en) * 2019-06-28 2020-04-21 Lyft, Inc. Approaches for encoding environmental information

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012022150A1 (de) * 2012-11-10 2014-05-15 Audi Ag Kraftfahrzeug und Verfahren zum Betrieb eines Kraftfahrzeugs
EP3177204A1 (en) * 2014-09-09 2017-06-14 Torvec, Inc. Methods and apparatus for monitoring alertness of an individual utilizing a wearable device and providing notification
KR102480390B1 (ko) * 2015-07-01 2022-12-26 한국전자통신연구원 운전자의 주의 환기 장치 및 그 방법
DE102016201939A1 (de) 2016-02-09 2017-08-10 Volkswagen Aktiengesellschaft Vorrichtung, Verfahren und Computerprogramm zur Verbesserung der Wahrnehmung bei Kollisionsvermeidungssystemen
WO2017211395A1 (en) * 2016-06-07 2017-12-14 Toyota Motor Europe Control device, system and method for determining the perceptual load of a visual and dynamic driving scene
EP3513265B1 (en) 2016-09-14 2024-09-18 Nauto, Inc. Method for near-collision determination
KR20180039900A (ko) * 2016-10-11 2018-04-19 주식회사 만도 진행경로 시나리오에 따라 충돌가능성을 판단하고 차량을 제어하는 장치 및 방법
WO2018113857A1 (de) * 2016-12-21 2018-06-28 Continental Teves Ag & Co. Ohg System für ein fahrzeug
DE102017212908B4 (de) 2017-07-27 2025-03-06 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Verbesserung der Quer- und/oder Längsführung eines Fahrzeugs
US10710590B2 (en) * 2017-12-19 2020-07-14 PlusAI Corp Method and system for risk based driving mode switching in hybrid driving
US11328219B2 (en) * 2018-04-12 2022-05-10 Baidu Usa Llc System and method for training a machine learning model deployed on a simulation platform
DE102018206666A1 (de) 2018-04-30 2019-10-31 Robert Bosch Gmbh Verfahren zum Anlegen eines Prädikationsprofils eines Fahrers eines Fahrzeugs und Verfahren zum Warnen eines Fahrers eines Fahrzeugs vor einer Situation mit einer zu geringen Leistungsfähigkeit des Fahrers
DE102019000060A1 (de) 2019-01-03 2020-07-09 Preh Car Connect Gmbh Steuern eines Fahrzeugs unter Verwendung eines Steuerungssystems
US11699309B2 (en) * 2019-03-04 2023-07-11 Speedgauge, Inc. Dynamic driver and vehicle analytics based on vehicle tracking and driving statistics
US11550325B2 (en) * 2020-06-10 2023-01-10 Nvidia Corp. Adversarial scenarios for safety testing of autonomous vehicles
DE102020210261B4 (de) * 2020-08-12 2023-02-02 obsurver UG (haftungsbeschränkt) Verfahren zum Betrieb eines in einer Umgebung beweglichen technischen Systems, mit Zuweisung von Steuerungsqualitätsstufen

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101276770B1 (ko) 2011-08-08 2013-06-20 한국과학기술원 사용자 적응형 특이행동 검출기반의 안전운전보조시스템
US20190156134A1 (en) * 2017-11-20 2019-05-23 Ashok Krishnan Training of vehicles to improve autonomous capabilities
KR102051888B1 (ko) 2019-05-15 2019-12-09 주식회사 라이드플럭스 기 설정된 주행규칙에 기반하여 차량의 주행을 제어하는 방법, 장치 및 프로그램
US10625748B1 (en) * 2019-06-28 2020-04-21 Lyft, Inc. Approaches for encoding environmental information

Also Published As

Publication number Publication date
DE102020123976A1 (de) 2022-03-17
US11801843B2 (en) 2023-10-31
KR20220036870A (ko) 2022-03-23
CN114261394B (zh) 2024-10-18
CN114261394A (zh) 2022-04-01
US20220080975A1 (en) 2022-03-17

Similar Documents

Publication Publication Date Title
KR102658770B1 (ko) 운전자 보조 시스템(das) 및 고도 자율 주행 기능(had)을 위한 안전 필수 교통 시나리오를 결정하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품
US12172652B2 (en) Driver and vehicle monitoring feedback system for an autonomous vehicle
US11375338B2 (en) Method for smartphone-based accident detection
EP3759700B1 (en) Method for determining driving policy
US11055544B2 (en) Electronic device and control method thereof
US20200017124A1 (en) Adaptive driver monitoring for advanced driver-assistance systems
JP6962316B2 (ja) 情報処理装置、情報処理方法、プログラム、およびシステム
CN113056749A (zh) 用于自主机器应用的未来对象轨迹预测
US10336252B2 (en) Long term driving danger prediction system
CN104730949A (zh) 自主车辆中的情感型用户界面
US20240059323A1 (en) Dynamic emergency detection and automated responses
CN116767245A (zh) 使用自主系统和应用的神经网络的地图信息对象数据管理
CN113165615A (zh) 车辆控制方法及装置
Murphey et al. Driver lane change prediction using physiological measures
JP2020177444A (ja) 乗員損傷推定サーバ、乗員損傷推定システム、乗員損傷推定方法、及びプログラム
WO2022269697A1 (ja) 異常検知システム、異常検知方法及びプログラム記録媒体
JP7527264B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
JP7001795B1 (ja) シミュレーション用のデータ生成装置、方法及びコンピュータプログラム
WO2020250574A1 (ja) 運転支援装置、運転支援方法及びプログラム
CN118573830A (zh) 生成用于训练舱室内监控系统和应用的真值注视数据
CN117894165A (zh) 多模态实时交通预警生成方法、装置、设备和介质
CN119495190A (zh) 基于esp32-s3芯片的智能交通意外预警系统

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20210910

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230307

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20230914

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240215

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20240415

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20240416

End annual number: 3

Start annual number: 1

PG1601 Publication of registration