[go: up one dir, main page]

KR102192348B1 - 불특정 다수의 주변 차량들에 대한 미래 경로 통합 예측을 위한 전자 장치 및 그의 동작 방법 - Google Patents

불특정 다수의 주변 차량들에 대한 미래 경로 통합 예측을 위한 전자 장치 및 그의 동작 방법 Download PDF

Info

Publication number
KR102192348B1
KR102192348B1 KR1020200022060A KR20200022060A KR102192348B1 KR 102192348 B1 KR102192348 B1 KR 102192348B1 KR 1020200022060 A KR1020200022060 A KR 1020200022060A KR 20200022060 A KR20200022060 A KR 20200022060A KR 102192348 B1 KR102192348 B1 KR 102192348B1
Authority
KR
South Korea
Prior art keywords
electronic device
surrounding objects
paths
nodes
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020200022060A
Other languages
English (en)
Inventor
금동석
전형석
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020200022060A priority Critical patent/KR102192348B1/ko
Priority to PCT/KR2020/011053 priority patent/WO2021172675A1/ko
Priority to US17/035,377 priority patent/US12030529B2/en
Priority to DE102020129072.1A priority patent/DE102020129072B4/de
Application granted granted Critical
Publication of KR102192348B1 publication Critical patent/KR102192348B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/02—Control of vehicle driving stability
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00272—Planning or execution of driving tasks using trajectory prediction for other traffic participants relying on extrapolation of current movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00276—Planning or execution of driving tasks using trajectory prediction for other traffic participants for two or more other traffic participants
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/02—Control of vehicle driving stability

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

다양한 실시예들에 따른 전자 장치 및 그의 동작 방법은, 불특정 다수의 주변 차량들에 대한 미래 경로 통합 예측을 위한 것으로, 하나 이상의 주변 객체들의 이동 경로들을 확인하고, 이동 경로들을 기반으로, 주변 객체들의 미래 경로들을 통합적으로 예측하고, 및 미래 경로들을 기반으로, 전자 장치를 위한 주행 경로를 추출하도록 구성될 수 있다.

Description

불특정 다수의 주변 차량들에 대한 미래 경로 통합 예측을 위한 전자 장치 및 그의 동작 방법{ELECTRONIC DEVICE FOR INTEGRATED TRAJECTORY PREDICTION FOR UNSPECIFIED NUMBER OF SURROUNDING VEHICLES AND OPERATING METHOD THEREOF}
다양한 실시예들은 불특정 다수의 주변 차량들에 대한 미래 경로 통합 예측을 위한 전자 장치 및 그의 동작 방법에 관한 것이다.
최근, 자율 주행 기술이 고도화 되고 있으며, 고속도로, 도심 도로, 교차로 등 다양한 주행 상황들에서의 자율 주행 기술 개발이 진행되고 있다. 이에 따라, 각 주행 상황에 대해서 불특정 다수의 주변 차량들에 대응할 수 있는 기술의 개발이 중요해지고 있다. 이에, 다수의 주변 차량들에 대해서 차량의 주행 경로를 예측하기 위한 연구가 이루어지고 있다. 그런데, 실질적으로, 자율 주행 자동차는 변화무쌍한 도로 환경에 직면할 뿐만 아니라 각 도로 환경에서의 교통량은 실시간으로 다양하게 변화한다. 이로 인해, 실시간으로 변화하는 교통량에 대해 다수의 차량의 주행 경로를 예측하는 데 있어서, 균일한 성능 및 연산량을 확보하기는 어렵다.
다양한 실시예들은, 실시간으로 변화하는 교통량을 기반으로 차량의 주행 경로를 예측하는 데 있어서, 균일한 성능 및 연산량을 확보할 수 있는 전자 장치 및 그의 동작 방법을 제공한다.
다양한 실시예들은, 불특정 다수의 주변 차량들에 대한 미래 경로들을 통합적으로 예측할 수 있는 전자 장치 및 그의 동작 방법을 제공한다.
다양한 실시예들에 따른 전자 장치의 동작 방법은, 하나 이상의 주변 객체들의 이동 경로들을 확인하는 동작, 상기 이동 경로들을 기반으로, 상기 주변 객체들의 미래 경로들을 통합적으로 예측하는 동작, 및 상기 미래 경로들을 기반으로, 상기 전자 장치를 위한 주행 경로를 추출하는 동작을 포함할 수 있다.
다양한 실시예들에 따른 전자 장치는, 센서 모듈 또는 카메라 모듈 중 적어도 어느 하나, 및 상기 센서 모듈 또는 상기 카메라 모듈 중 적어도 어느 하나에 연결되고, 상기 센서 모듈 또는 상기 카메라 모듈 중 적어도 어느 하나를 통해, 주변 상황에 대한 정보를 수집하도록 구성되는 프로세서를 포함하고, 상기 프로세서는, 하나 이상의 주변 객체들의 이동 경로들을 확인하고, 상기 이동 경로들을 기반으로, 상기 주변 객체들의 미래 경로들을 통합적으로 예측하고, 상기 미래 경로들을 기반으로, 상기 전자 장치를 위한 주행 경로를 추출하도록 구성될 수 있다.
다양한 실시예들에 따르면, 전자 장치가 주변 객체들의 이동 경로들을 기반으로, 주변 객체들의 미래 경로들을 통합적으로 예측할 수 있다. 이 때 전자 장치는 불특정 다수의 주변 객체들에 대한 미래 경로들을 통합적으로 예측할 수 있다. 이를 통해, 전자 장치가 실시간으로 변화하는 교통량을 기반으로 차량의 주행 경로를 예측할 수 있다. 아울러, 전자 장치가 통합적으로 예측된 미래 경로들을 기반으로 주행 경로를 추출하기 때문에, 주행 중 발생하는 다양한 상황과 불특정한 숫자의 주변 객체들의 주행 경로를 예측하는 데 있어서 균일한 성능 및 연산량을 확보할 수 있다.
도 1은 다양한 실시예들에 따른 전자 장치를 도시하는 도면이다.
도 2 및 도 3은 다양한 실시예들에 따른 전자 장치의 동작 특징을 설명하기 위한 도면들이다.
도 4는 다양한 실시예들에 따른 전자 장치의 동작 방법을 도시하는 도면이다.
도 5는 도 4의 미래 경로들 통합 예측 동작을 도시하는 도면이다.
도 6은 도 5의 그래프 모델 구성 동작을 설명하기 위한 도면이다.
도 7은 도 5의 그래프 모델 기반 미래 경로들 예측 동작을 도시하는 도면이다.
도 8 및 도 9는 도 5의 그래프 모델 기반 미래 경로들 예측 동작을 설명하기 위한 도면들이다.
도 10은 다양한 실시예들에 따른 전자 장치의 동작 효과를 설명하기 위한 도면들이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 설명된다.
도 1은 다양한 실시예들에 따른 전자 장치(100)를 도시하는 도면이다. 도 2 및 도 3은 다양한 실시예들에 따른 전자 장치(100)의 동작 특징을 설명하기 위한 도면들이다.
도 1을 참조하면, 다양한 실시예들에 따른 전자 장치(100)는 통신 모듈(110), 카메라 모듈(120), 센서 모듈(130), 입력 모듈(140), 출력 모듈(150), 구동 모듈(160), 메모리(170) 또는 프로세서(180) 중 적어도 어느 하나를 포함할 수 있다. 어떤 실시예에서는 전자 장치(100)의 구성 요소들 중 적어도 어느 하나가 생략되거나, 전자 장치(100)에 하나 이상의 다른 구성 요소들이 추가될 수 있다. 일 실시예에 따르면, 전자 장치(100)는 자율 주행 차량일 수 있다. 다른 실시예에 따르면, 전자 장치(100)는 차량에 장착되어, 자율 주행 차량을 구현할 수 있다.
통신 모듈(110)은 전자 장치(100)와 외부 장치(미도시) 간 통신을 지원할 수 있다. 이 때 통신 모듈(110)은 무선 통신 모듈 또는 유선 통신 모듈 중 적어도 어느 하나를 포함할 수 있다. 일 실시예에 따르면, 무선 통신 모듈은 원거리 통신 방식 또는 근거리 통신 방식 중 적어도 어느 하나를 지원할 수 있다. 근거리 통신 방식은, 예컨대 블루투스(Bluetooth), 와이파이 다이렉트(WiFi direct), 또는 적외선 통신(IrDA; infrared data association) 중 적어도 어느 하나를 포함할 수 있다 무선 통신 방식은 네트워크를 통해 원거리 통신 방식으로 통신할 수 있으며, 네트워크는, 예컨대 셀룰러 네트워크, 인터넷, 또는 LAN(local area network)이나 WAN(wide area network)과 같은 컴퓨터 네트워크 중 적어도 어느 하나를 포함할 수 있다. 다른 실시예에 따르면, 무선 통신 모듈은 GNSS(global navigation satellite system)와의 통신을 지원할 수 있다. 일 예로, GNSS는 GPS(global positioning system)를 포함할 수 있다.
카메라 모듈(120)은 전자 장치(100)의 외부 영상을 촬영할 수 있다. 이 때 카메라 모듈(120)은 전자 장치(100)의 미리 정해진 위치에 설치되어, 외부 영상을 촬영할 수 있다. 그리고 카메라 모듈(120)은 전자 장치(100)의 외부 영상에 대한 영상 데이터를 생성할 수 있다. 예를 들면, 카메라 모듈(120)은 렌즈, 적어도 하나의 이미지 센서, 이미지 시그널 프로세서 또는 플래시 중 적어도 어느 하나를 포함할 수 있다.
센서 모듈(130)은 전자 장치(100)의 상태 또는 전자 장치(100)의 외부 환경을 감지할 수 있다. 그리고 센서 모듈(130)은 전자 장치(100)의 상태 또는 전자 장치(100)의 외부 환경에 대한 센싱 데이터를 생성할 수 있다. 예를 들면, 센서 모듈(130)은 가속도 센서, 자이로스코프(gyroscope) 센서, 이미지 센서, 레이더(RADAR) 센서, 라이다(LiDAR) 센서 또는 초음파 센서 중 적어도 어느 하나를 포함할 수 있다.
입력 모듈(140)은 전자 장치(100)의 구성 요소들 중 적어도 어느 하나에 사용될 명령 또는 데이터를 전자 장치(100)의 외부로부터 수신할 수 있다. 예를 들면, 입력 모듈(140)은 마이크(microphone), 마우스 또는 키보드 중 적어도 어느 하나를 포함할 수 있다. 어떤 실시예에서, 입력 모듈은 터치를 감지하도록 설정된 터치 회로(touch circuitry) 또는 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로 중 적어도 어느 하나를 포함할 수 있다.
출력 모듈(150)은 전자 장치(100)의 외부로 정보를 제공할 수 있다. 이 때 출력 모듈(150)은 표시 모듈 또는 오디오 모듈 중 적어도 어느 하나를 포함할 수 있다. 표시 모듈은 정보를 시각적으로 출력할 수 있다. 예를 들면, 표시 모듈은 디스플레이, 홀로그램 장치, 또는 프로젝터 중 적어도 어느 하나를 포함할 수 있다. 어떤 실시예에서, 표시 모듈은 입력 모듈(140)의 터치 회로 또는 센서 회로 중 적어도 어느 하나와 조립되어, 터치 스크린으로 구현될 수 있다. 오디오 모듈은 정보를 소리로 출력할 수 있다. 예를 들면, 오디오 모듈은 스피커 또는 리시버 중 적어도 어느 하나를 포함할 수 있다.
구동 모듈(160)은 전자 장치(100)의 동작을 위해 구동할 수 있다. 일 실시예에 따르면, 전자 장치(100)가 자율 주행 차량인 경우, 구동 모듈(160)은 각종 부품들을 포함할 수 있다. 다른 실시예에 따르면, 전자 장치(100)가 차량에 장착되어, 자율 주행 차량을 구현하는 경우, 구동 모듈(160)은 차량의 각종 부품들과 연결될 수 있다. 이를 통해, 구동 모듈(160)은 부품들 중 적어도 어느 하나를 제어하면서, 구동할 수 있다. 예를 들면, 부품들은 엔진 모듈, 가속 모듈, 브레이킹 모듈, 조향 모듈 또는 네비게이션 모듈 중 적어도 어느 하나를 포함할 수 있다.
메모리(170)는 전자 장치(100)의 구성 요소들 중 적어도 어느 하나에 의해 사용되는 프로그램 또는 데이터 중 적어도 어느 하나를 저장할 수 있다. 예를 들면, 메모리(170)는 휘발성 메모리 또는 비휘발성 메모리 중 적어도 어느 하나를 포함할 수 있다.
프로세서(180)는 메모리(170)의 프로그램을 실행하여, 전자 장치(100)의 구성 요소들 중 적어도 어느 하나를 제어할 수 있고, 데이터 처리 또는 연산을 수행할 수 있다. 프로세서(180)는 전자 장치(100)의 주변 상황에 대한 정보를 수집할 수 있다. 이 때 프로세서(180)는 카메라 모듈(120)을 통해 획득되는 영상 데이터 또는 센서 모듈(130)을 통해 획득되는 센싱 데이터 중 적어도 어느 하나를 기반으로, 전자 장치(100)의 주변 상황에 대한 정보를 수집할 수 있다. 프로세서(180)는 전자 장치(100)의 주변 상황을 기반으로, 전자 장치(100)를 위한 주행 경로를 예측할 수 있다. 이를 통해, 프로세서(180)는 전자 장치(100)를 위한 주행 경로를 기반으로, 전자 장치(100)의 동작을 제어할 수 있다. 이를 위해, 프로세서(180)는 전자 장치(100)를 위한 주행 경로를 기반으로, 구동 모듈(160)을 제어할 수 있다.
프로세서(180)는 전자 장치(100)의 주변 상황에 대한 정보를 기반으로, 주변 객체들의 이동 경로들을 확인할 수 있다. 여기서, 주변 객체들은 전자 장치(100) 주변의 차량들일 수 있다. 예를 들면, 주변 객체들은 각각의 속도로 모두 주행 중일 수 있으며, 주변 객체들 중 적어도 어느 하나가 정차 중일 수도 있다. 이 때 프로세서(180)는 전자 장치(100)의 상태 정보를 확인할 수 있으며, 주변 객체들에 대한 상태 정보를 각각 검출할 수 있다. 그리고, 프로세서(180)는, 도 2에 도시된 바와 같이 전자 장치(100)의 상태 정보를 이용하여, 등속 운동 기반 이동 좌표계를 구성하고, 이동 좌표계 상에서, 주변 객체들의 상대적인 위치들을 각각 표현할 수 있다. 도 2에서, 전자 장치(100)는 이동 객체로 표현될 수 있다. 여기서, 이동 좌표계의 좌표 캐리어(coordinate carrier)가 전자 장치(100)의 속도에 따라, 이동할 수 있다. 이를 통해, 프로세서(180)는 이동 좌표계 상에서, 주변 객체들의 위치들을 기반으로, 주변 객체들의 이동 경로들을 확인할 수 있다.
프로세서(180)는, 도 3에 도시된 바와 같이 주변 객체들의 이동 경로들을 기반으로, 주변 객체들의 미래 경로들을 통합적으로 예측할 수 있다. 이 때 프로세서(180)는 주변 객체들과 전자 장치(100)들 사이의 상호 작용들을 통합적으로 추정하고, 이를 기반으로 미래 경로들을 예측할 수 있다. 여기서, 프로세서(180)는 상호 작용들의 특성들을 기반으로, 상호 작용들을 통합적으로 추정할 수 있다. 예를 들면, 상호 작용들의 특성들은 다발성, 확산성 및 시간 가변성을 가질 수 있다. 동시 다발성은 다수의 상호 작용들이 동시다발적으로 발생함을 나타내고, 확산성은 전자 장치(100)와 주변 객체들 중 어느 하나, 또는 주변 객체들 중 어느 두 개 사이의 상호 작용이 점차로 확산되어 전자 장치(100)와 주변 객체들 모두에 영향을 미칠 수 있음을 나타내고, 시간 가변성은 상호 작용이 시간의 흐름에 따라 변화함을 나타낼 수 있다. 이를 위해, 프로세서(180)는 도 3의 (a)에 도시된 바와 같은 주변 객체들의 이동 경로들을 기반으로, 도 3의 (b)에 도시된 바와 같이 그래프 모델링(graph modeling)을 수행하여, 전자 장치(100)의 주변 상황에 대한 그래프 모델(graph model)을 구성할 수 있다. 그리고, 프로세서(180)는, 도 3의 (b)에 도시된 바와 같이 그래프 모델을 기반으로, 그래프 컨볼루션 신경망(graph convolution neural network)을 구성하고, 장단기 메모리 네트워크(long short-term memory network; LSTM)를 기반으로, 그래프 모델과 그래프 컨볼루션 신경망으로부터 도 3의 (c)에 도시된 바와 같은 미래 경로들을 예측할 수 있다. 이를 통해, 프로세서(180)는 미래 경로들을 기반으로, 전자 장치(100)를 위한 주행 경로를 추출할 수 있다.
도 4는 다양한 실시예들에 따른 전자 장치(100)의 동작 방법을 도시하는 도면이다.
도 4를 참조하면, 전자 장치(100)는 410 동작에서 전자 장치(100)의 주변 상황을 파악할 수 있다. 프로세서(180)는 카메라 모듈(120)을 통해 영상 데이터를 획득할 수 있다. 한편, 프로세서(180)는 센서 모듈(130)을 통해 센싱 데이터를 획득할 수 있다. 이를 통해, 프로세서(180)는 영상 데이터 또는 센싱 데이터 중 적어도 어느 하나를 기반으로, 전자 장치(100)의 주변 상황에 대한 정보를 수집할 수 있다.
이 때 프로세서(180)는 전자 장치(100)의 상태 정보를 확인할 수 있다. 여기서, 주변 객체들은 전자 장치(100) 주변의 차량들일 수 있다. 예를 들면, 주변 객체들은 각각의 속도로 모두 주행 중일 수 있으며, 주변 객체들 중 적어도 어느 하나가 정차 중일 수도 있다. 그리고, 프로세서(180)는, 도 2에 도시된 바와 같이 전자 장치(100)의 상태 정보를 이용하여, 등속 운동 기반 이동 좌표계를 구성할 수 있다. 도 2에서, 전자 장치(100)는 이동 객체로 표현될 수 있다. 여기서, 이동 좌표계의 좌표 캐리어가 전자 장치(100)의 속도에 따라, 이동할 수 있다. 아울러, 프로세서(180)는 전자 장치(100)의 주변 상황에 대한 정보를 기반으로, 주변 객체들에 대한 상태 정보를 각각 검출할 수 있다.
전자 장치(100)는 420 동작에서 전자 장치(100)와 주변 객체들의 미래 경로들을 통합적으로 예측할 수 있다. 이 때 프로세서(180)는 주변 객체들에 대한 상태 정보를 기반으로, 도 2에 도시된 바와 같이 등속 운동 기반 이동 좌표계 상에서, 주변 객체들의 상대적인 위치들을 각각 표현할 수 있다. 이를 통해, 프로세서(180)는 등속 운동 기반 이동 좌표계 상에서, 주변 객체들의 위치들을 기반으로, 주변 객체들의 이동 경로들을 확인할 수 있다. 그리고, 프로세서(180)는 주변 객체들의 이동 경로들을 기반으로, 주변 객체들의 미래 경로들을 통합적으로 예측할 수 있다. 이 때 프로세서(180)는 주변 객체들과 전자 장치(100)들 사이의 상호 작용들을 통합적으로 추정하고, 이를 기반으로 미래 경로들을 예측할 수 있다. 여기서, 프로세서(180)는 상호 작용들의 특성들을 기반으로, 상호 작용들을 통합적으로 추정할 수 있다. 예를 들면, 상호 작용들의 특성들은 다발성, 확산성 및 시간 가변성을 가질 수 있다. 동시 다발성은 다수의 상호 작용들이 동시다발적으로 발생함을 나타내고, 확산성은 전자 장치(100)와 주변 객체들 중 어느 하나, 또는 주변 객체들 중 어느 두 개 사이의 상호 작용이 점차로 확산되어 전자 장치(100)와 주변 객체들 모두에 영향을 미칠 수 있음을 나타내고, 시간 가변성은 상호 작용이 시간의 흐름에 따라 변화함을 나타낼 수 있다. 이에 대해, 도 5 및 도 6을 참조하여, 보다 상세하게 후술될 것이다.
도 5는 도 4의 미래 경로들 통합 예측 동작을 도시하는 도면이다. 도 6은 도 5의 그래프 모델 구성 동작을 설명하기 위한 도면이다.
도 5를 참조하면, 전자 장치(100)는 510 동작에서 전자 장치(100)의 주변 상황을 그래프 모델로 구성할 수 있다. 프로세서(180)는 전자 장치(100) 및 주변 객체들의 상태 정보를 기반으로 그래프 모델링을 수행하여, 전자 장치(100)이의 주변 상황에 대한 그래프 모델을 구성할 수 있다. 이 때 프로세서(180)는 등속 운동 기반 이동 좌표계를 이용하여, 그래프 모델을 구성할 수 있다. 예를 들면, 프로세서(180)는 도 6의 (a)에 도시된 바와 같이 전자 장치(100)와 주변 객체들 및 전자 장치(100)와 주변 객체들 사이의 상호 작용을 그래프 모델로 구성할 수 있다.
예를 들면, 그래프 모델은 도 6의 (b)에 도시된 바와 같이 표현될 수 있으며, 복수 개의 노드들과 노드들을 연결하는 복수 개의 선분들을 포함할 수 있다. 노드들은 전자 장치(100)와 주변 객체들을 각각 나타낼 수 있다. 여기서, 노드들은 전자 장치(100) 또는 주변 객체들의 상태 정보를 기반으로, 예컨대 위치, 속도 또는 진행 방향(heading angle) 중 적어도 어느 하나를 표현할 수 있다. 도 6의 (b)에서, 노드들은 제 1 노드(Node ego; Node 0)와 제 2 노드(Node 1, Node 2, Node 3, Node 4, Node 5)들을 포함하고, 제 1 노드(Node ego; Node 0)는 전자 장치(100)를 나타내고, 제 2 노드(Node 1, Node 2, Node 3, Node 4, Node 5)들은 주변 객체들을 각각 나타낼 수 있다. 선분들은 전자 장치(100)와 주변 객체들 사이의 상호 작용에 대한 방향성을 각각 나타낼 수 있다. 선분들은, 전자 장치(100) 또는 주변 객체들의 상대적 상태 정보를 기반으로, 예컨대 상대 위치 또는 상대 속도 중 적어도 어느 하나를 표현할 수 있다. 여기서, 제 1 노드(Node ego; Node 0)와 제 2 노드(Node 1, Node 2, Node 3, Node 4, Node 5)들 중 어느 하나를 연결하는 선분은 제 1 노드(Node ego; Node 0)로부터 제 2 노드(Node 1, Node 2, Node 3, Node 4, Node 5)들 중 어느 하나로 향하는 단방향성을 나타낼 수 있다. 이는, 전자 장치(100)는 스스로 제어 가능하기 때문일 수 있다. 한편, 제 2 노드(Node 1, Node 2, Node 3, Node 4, Node 5)들 중 어느 두 개를 연결하는 선분은 양방향성을 나타낼 수 있다.
전자 장치(100)는 520 동작에서 그래프 모델을 기반으로, 전자 장치(100)와 주변 객체들의 미래 경로들을 통합적으로 예측할 수 있다. 프로세서(180)는 주변 객체들과 전자 장치(100)들 사이의 상호 작용들을 기반으로, 전자 장치(100)와 주변 객체들의 미래 경로들을 예측할 수 있다. 이 때 프로세서(180)는, 그래프 모델을 기반으로, 그래프 컨볼루션 신경망을 구성하고, 장단기 메모리 네트워크(LSTM)를 기반으로, 그래프 컨볼루션 신경망으로부터 미래 경로들을 예측할 수 있다. 이에 대해, 도 7, 도 8 및 도 9를 참조하여, 보다 상세하게 후술될 것이다.
도 7은 도 5의 그래프 모델 기반 미래 경로들 예측 동작을 도시하는 도면이다. 도 8 및 도 9는 도 5의 그래프 모델 기반 미래 경로들 예측 동작을 설명하기 위한 도면들이다.
도 7을 참조하면, 전자 장치(100)는 710 동작에서 확장 가능한(scalable) 어텐션 메커니즘(attention mechanism)을 이용하여, 각 주변 객체에 중요도를 부여할 수 있다. 여기서, 확장 가능한 어텐션 메커니즘은, 도 8의 (a)에 도시된 바와 같이 구성될 수 있으며 이러한 메커니즘을 통해서 실시간으로 변화하는 불특정 다수의 주변 객체에 대해서 통합적으로 처리할 수 있다. 이 때 프로세서(180)는 전자 장치(100) 및 주변 객체들의 상태 정보를 기반으로, 그래프 모델에서 각 선분으로 연결되는 두 개의 노드들을 상대적으로 평가할 수 있다. 그리고, 프로세서(180)는 평가 결과를 기반으로, 각 노드에 대해 중요도를 부여할 수 있다.
전자 장치(100)는 720 동작에서 각 주변 객체의 중요도를 기반으로, 인접 행렬(adjacency matrix)을 계산할 수 있다. 프로세서(180)는 각 주변 객체의 중요도가 적용된 인접 행렬을 계산할 수 있다.
전자 장치(100)는 730 동작에서 인접 행렬을 이용하여, 그래프 컨볼루션 신경망을 구성할 수 있다. 프로세서(180)는 그래프 모델과 인접 행렬을 기반으로, 그래프 컨볼루션 신경망을 구성할 수 있다. 이 때 프로세서(180)는, 도 8의 (b)에 도시된 바와 같이 그래프 컨볼루션 연산을 수행하여, 그래프 컨볼루션 신경망을 구성할 수 있다.
전자 장치(100)는 740 동작에서 장단기 메모리 네트워크(LSTM)를 기반으로, 미래 경로들을 예측할 수 있다. 프로세서(180)는 장단기 메모리 네트워크(LSTM)를 기반으로, 그래프 모델 및 그래프 컨볼루션 신경망으로부터 미래 경로들을 예측할 수 있다. 이 때 장단기 메모리 네트워크(LSTM)는 인코딩 구조와 디코딩 구조로 이루어질 수 있다. 프로세서(180)는, 도 9의 (a)에 도시된 바와 같이 장단기 메모리 네트워크(LSTM)의 인코딩 구조를 통해, 전자 장치(100) 및 주변 객체들의 상태 정보를 기반으로, 전자 장치(100) 및 주변 객체들 각각의 움직임 특성과 전자 장치(100) 및 주변 객체들 사이의 상호 작용 특성을 확인할 수 있다. 그리고, 프로세서(180)는 장단기 메모리 네트워크(LSTM)의 인코딩 구조를 통해, 시간의 흐름에 따라 변화하는 움직임 특성과 상호 작용 특정을 기반으로, 은닉(hidden) 상태 정보 및 메모리 셀 상태 정보를 추출할 수 있다. 아울러, 프로세서(180)는, 도 9의 (b)에 도시된 바와 같이 장단기 메모리 네트워크(LSTM)의 디코딩 구조를 통해, 은식 상태 정보 및 메모리 셀 상태 정보와 함께, 전자 장치(100) 및 주변 객체들의 상태 정보를 기반으로, 미래 경로들을 예측할 수 있다.
이 후 전자 장치(100)는 도 5로 리턴하여, 530 동작으로 진행할 수 있다. 다시 도 5를 참조하면, 전자 장치(100)는 530 동작에서 전자 장치(100)와 주변 객체들의 미래 경로들을 기반으로, 전자 장치(100)를 위한 주행 경로를 추출할 수 있다. 프로세서(180)는 주변 객체들의 미래 경로들에 대응할 수 있는 최적의 주행 경로를 추출할 수 있다.
이 후 전자 장치(100)는 도 4로 리턴하여, 430 동작으로 진행할 수 있다. 다시 도 4를 참조하면, 전자 장치(100)는 430 동작에서 전자 장치(100)의 구동을 제어할 수 있다. 프로세서(80)는 전자 장치(100)를 위한 주행 경로를 기반으로, 구동 모듈(160)을 제어할 수 있다. 여기서, 구동 모듈(160)이 각종 부품들 중 적어도 어느 하나를 제어하면서, 구동할 수 있다. 예를 들면, 부품들은 엔진 모듈, 가속 모듈, 브레이킹 모듈, 조향 모듈 또는 네비게이션 모듈 중 적어도 어느 하나를 포함할 수 있다. 이를 통해, 전자 장치(100)에 해당하는 자율 주행 차량 또는 전자 장치(100)를 포함하는 차량이 주행 경로를 따라 주행할 수 있다.
다양한 실시예들에 따르면, 전자 장치(100)가 주변 객체들의 이동 경로들을 이동 경로들을 기반으로, 불특정 다수의 주변 객체들의 미래 경로들을 통합적으로 예측할 수 있다. 이 때 전자 장치(100)는 주변 객체들과 관련하여 그래프 모델을 구성하고, 그래프 모델과 장단기 메모리 네트워크(LSTM)를 기반으로, 미래 경로들을 통합적으로 예측할 수 있다. 이를 통해, 전자 장치(100)는 불특정 다수의 주변 객체들에 대한 미래 경로들을 통합적으로 예측할 수 있다. 따라서, 전자 장치(100)가 실시간으로 변화하는 교통량에 대응하여 차량의 주행 경로를 예측할 수 있다. 즉 전자 장치(100)는 주변 객체들 뿐 아니라 전자 장치(100)의 이동 경로와 미래 경로들을 기반으로, 전자 장치(100)의 주행 경로를 예측할 수 있다. 아울러, 전자 장치(100)가 통합적으로 예측된 미래 경로들을 기반으로 주행 경로를 추출하기 때문에, 전자 장치(100)가 주행 경로를 예측하는 데 있어서 균일한 성능 및 연산량을 확보할 수 있다.
도 10은 다양한 실시예들에 따른 전자 장치(100)의 동작 효과를 설명하기 위한 도면들이다. 다양한 실시예들에 따른 연산량은, 도 10의 (a)에 도시된 바와 같이 기존 기술들에 따른 연산량과 비교하여, 낮으면서도, 주변 객체들의 개수와 상관 없이 균일하다. 이와 더불어, 다양한 실시예들에 따른 예측 오차는, 도 10의 (b)에 도시된 바와 같이 기술 기술들에 따른 예측 오차와 비교하여, 낮으면서도, 주변 객체들의 개수와 상관 없이 균일하다. 따라서, 다양한 실시예들에 따른 성능은, 기존 기술들의 성능과 비교하여, 우수하면서도, 주변 객체들의 개수와 상관 없이 균일하다.
다양한 실시예들에 따른 전자 장치(100)의 동작 방법은, 하나 이상의 주변 객체들의 이동 경로들을 확인하는 동작, 이동 경로들을 기반으로, 주변 객체들의 미래 경로들을 통합적으로 예측하는 동작, 및 미래 경로들을 기반으로, 전자 장치(100)를 위한 주행 경로를 추출하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 미리 경로들을 예측하는 동작은, 이동 경로들을 기반으로, 그래프 모델을 구성하는 동작, 및 그래프 모델을 기반으로, 미래 경로들을 예측하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 그래프 모델은 복수 개의 노드들과 노드들을 연결하는 복수 개의 선분들을 포함하고, 노드들은 주변 객체들과 전자 장치(100)를 각각 나타내고, 선분들은 주변 객체들과 전자 장치(100) 사이의 상호 작용 및 그에 대한 방향성을 각각 나타낼 수 있다.
다양한 실시예들에 따르면, 주변 객체들을 나타내는 노드들을 연결하는 선분들은 양방향성을 나타내고, 주변 객체를 나타내는 노드들 중 어느 하나와 전자 장치(100)를 나타내는 노드를 연결하는 선분은 전자 장치(100)로부터 주변 객체로 향하는 단방향성을 나타낼 수 있다.
다양한 실시예들에 따르면, 미래 경로들을 예측하는 동작은, 전자 장치(100) 및 주변 객체들의 상태 정보를 기반으로, 선분들 각각으로 연결되는 두 개의 노드들을 상대적으로 평가함으로써, 노드들 각각에 대해 중요도를 부여하는 동작, 및 중요도가 적용된 인접 행렬을 이용하여, 그래프 컨볼루션 신경망을 구성하는 동작을 더 포함할 수 있다.
다양한 실시예들에 따르면, 미래 경로들을 예측하는 동작은, 장단기 메모리 네트워크(LSTM)를 기반으로, 그래프 컨볼루션 신경망으로부터 미래 경로들을 예측하는 동작을 더 포함할 수 있다.
다양한 실시예들에 따르면, 이동 경로들을 확인하는 동작은, 전자 장치(100)의 상태 정보를 이용하여, 등속 운동 기반 이동 좌표계를 구성하는 동작, 이동 좌표계 상에서, 주변 객체들의 상대적인 위치들을 각각 표현하는 동작, 및 위치들을 기반으로, 이동 경로들을 확인하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 미래 경로들을 예측하는 동작은, 이동 좌표계 상에서, 미래 경로들을 예측할 수 있다.
다양한 실시예들에 따르면, 전자 장치(100)의 동작 방법은, 주행 경로를 기반으로, 구동을 제어하는 동작을 더 포함할 수 있다.
다양한 실시예들에 따르면, 전자 장치(100)는 자율 주행 차량이고, 주변 객체들은 전자 장치(100) 주변의 차량들일 수 있다.
다양한 실시예들에 따른 전자 장치(100)는, 센서 모듈(130) 또는 카메라 모듈(120) 중 적어도 어느 하나, 및 센서 모듈(130) 또는 카메라 모듈(120) 중 적어도 어느 하나에 연결되고, 센서 모듈(130) 또는 카메라 모듈(120) 중 적어도 어느 하나를 통해, 주변 상황에 대한 정보를 수집하도록 구성되는 프로세서(180)를 포함할 수 있다.
다양한 실시예들에 따르면, 프로세서(180)는, 하나 이상의 주변 객체들의 이동 경로들을 확인하고, 이동 경로들을 기반으로, 주변 객체들의 미래 경로들을 통합적으로 예측하고, 미래 경로들을 기반으로, 전자 장치(100)를 위한 주행 경로를 추출하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(180)는, 이동 경로들을 기반으로, 그래프 모델을 구성하고, 그래프 모델을 기반으로, 미래 경로들을 예측하도록 구성될 수 있다.
다양한 실시예들에 따르면, 그래프 모델은 복수 개의 노드들과 노드들을 연결하는 복수 개의 선분들을 포함하고, 노드들은 주변 객체들과 전자 장치(100)를 각각 나타내고, 선분들은 주변 객체들과 전자 장치(100) 사이의 상호 작용 및 그에 대한 방향성을 각각 나타낼 수 있다.
다양한 실시예들에 따르면, 주변 객체들을 나타내는 노드들을 연결하는 선분들은 양방향성을 나타내고, 주변 객체를 나타내는 노드들 중 어느 하나와 전자 장치(100)를 나타내는 노드를 연결하는 선분은 전자 장치(100)로부터 주변 객체로 향하는 단방향성을 나타낼 수 있다.
다양한 실시예들에 따르면, 프로세서(180)는, 전자 장치(100) 및 주변 객체들의 상태 정보를 기반으로, 선분들 각각으로 연결되는 두 개의 노드들을 상대적으로 평가함으로써, 노드들 각각에 대해 중요도를 부여하고, 그래프 중요도가 적용된 인접 행렬을 이용하여, 그래프 컨볼루션 신경망을 구성하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(180)는, 장단기 메모리 네트워크(LSTM)를 기반으로, 그래프 컨볼루션 신경망으로부터 미래 경로들을 예측하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(180)는, 전자 장치(100)의 상태 정보를 이용하여, 등속 운동 기반 이동 좌표계를 구성하고, 이동 좌표계 상에서, 주변 객체들의 상대적인 위치들을 각각 표현하고, 위치들을 기반으로, 이동 경로들을 확인하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(180)는, 이동 좌표계 상에서, 미래 경로들을 예측하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(180)는, 주행 경로를 기반으로, 구동을 제어하도록 구성될 수 있다.
다양한 실시예들에 따르면, 전자 장치(100)는 자율 주행 차량이고, 주변 객체들은 전자 장치(100) 주변의 차량들일 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(100))에 의해 읽을 수 있는 저장 매체(storage medium)(예: 메모리(170))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어로서 구현될 수 있다. 예를 들면, 기기의 프로세서(예: 프로세서(180))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
다양한 실시예들에 따른 비-일시적 컴퓨터-판독 가능 저장 매체는, 하나 이상의 주변 객체들의 이동 경로들을 확인하는 동작, 상기 이동 경로들을 기반으로, 상기 주변 객체들의 미래 경로들을 통합적으로 예측하는 동작, 및 상기 미래 경로들을 기반으로, 상기 전자 장치(100)를 위한 주행 경로를 추출하는 동작을 실행하기 위한 하나 이상의 프로그램들을 저장할 수 있다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성 요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성 요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성 요소를 다른 구성 요소와 구분하기 위해 사용될 뿐 해당 구성 요소들을 한정하지 않는다. 어떤(예: 제 1) 구성 요소가 다른(예: 제 2) 구성 요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성 요소가 상기 다른 구성 요소에 직접적으로 연결되거나, 다른 구성 요소(예: 제 3 구성 요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
다양한 실시예들에 따르면, 기술한 구성 요소들의 각각의 구성 요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성 요소들 중 하나 이상의 구성 요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성 요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성 요소들(예: 모듈 또는 프로그램)은 하나의 구성 요소로 통합될 수 있다. 이런 경우, 통합된 구성 요소는 복수의 구성 요소들 각각의 구성 요소의 하나 이상의 기능들을 통합 이전에 복수의 구성 요소들 중 해당 구성 요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (20)

  1. 전자 장치의 동작 방법에 있어서,
    하나 이상의 주변 객체들의 이동 경로들을 확인하는 동작;
    상기 이동 경로들을 기반으로, 상기 주변 객체들의 미래 경로들을 통합적으로 예측하는 동작; 및
    상기 미래 경로들을 기반으로, 상기 전자 장치를 위한 주행 경로를 추출하는 동작을 포함하고,
    상기 미리 경로들을 예측하는 동작은,
    상기 이동 경로들을 기반으로, 그래프 모델(graph model)을 구성하는 동작; 및
    상기 그래프 모델을 기반으로, 상기 미래 경로들을 예측하는 동작을 포함하고,
    상기 그래프 모델은 복수 개의 노드들과 상기 노드들을 연결하는 복수 개의 선분들을 포함하고,
    상기 노드들은 상기 전자 장치를 나타내는 제 1 노드와 상기 주변 객체들을 각각 나타내는 제 2 노드들을 포함하고,
    상기 선분들은 상기 주변 객체들과 상기 전자 장치 사이의 상호 작용 및 그에 대한 방향성을 각각 나타내고,
    상기 제 2 노드들을 연결하는 선분들은 양방향성을 나타내고,
    상기 제 1 노드와 상기 제 2 노드들의 각각을 연결하는 선분들은 상기 전자 장치로부터 상기 주변 객체들의 각각으로 향하는 단방향성을 나타내는 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서, 상기 그래프 모델을 기반으로, 상기 미래 경로들을 예측하는 동작은,
    상기 전자 장치 및 상기 주변 객체들의 상태 정보를 기반으로, 상기 선분들 각각으로 연결되는 두 개의 노드들을 상대적으로 평가함으로써, 상기 노드들 각각에 대해 중요도를 부여하는 동작;
    상기 중요도가 적용된 인접 행렬을 이용하여, 그래프 컨볼루션 신경망(graph convolution neural network)을 구성하는 동작; 및
    장단기 메모리 네트워크(long short-term memory network; LSTM)를 기반으로, 상기 그래프 컨볼루션 신경망으로부터 상기 미래 경로들을 예측하는 동작을 더 포함하는 방법.
  6. 삭제
  7. 제 1 항에 있어서, 상기 이동 경로들을 확인하는 동작은,
    상기 전자 장치의 상태 정보를 이용하여, 등속 운동 기반 이동 좌표계를 구성하는 동작;
    상기 이동 좌표계 상에서, 상기 주변 객체들의 상대적인 위치들을 각각 표현하는 동작; 및
    상기 위치들을 기반으로, 상기 이동 경로들을 확인하는 동작을 포함하는 방법.
  8. 제 7 항에 있어서, 상기 미래 경로들을 예측하는 동작은,
    상기 이동 좌표계 상에서, 상기 미래 경로들을 예측하는 방법.
  9. 제 1 항에 있어서,
    상기 주행 경로를 기반으로, 구동을 제어하는 동작을 더 포함하는 방법.
  10. 제 1 항에 있어서,
    상기 전자 장치는 자율 주행 차량이고,
    상기 주변 객체들은 상기 전자 장치 주변의 차량인 방법.
  11. 전자 장치에 있어서,
    센서 모듈 또는 카메라 모듈 중 적어도 어느 하나; 및
    상기 센서 모듈 또는 상기 카메라 모듈 중 적어도 어느 하나에 연결되고, 상기 센서 모듈 또는 상기 카메라 모듈 중 적어도 어느 하나를 통해, 주변 상황에 대한 정보를 수집하도록 구성되는 프로세서를 포함하고,
    상기 프로세서는,
    하나 이상의 주변 객체들의 이동 경로들을 확인하고,
    상기 이동 경로들을 기반으로, 상기 주변 객체들의 미래 경로들을 통합적으로 예측하고,
    상기 미래 경로들을 기반으로, 상기 전자 장치를 위한 주행 경로를 추출하도록 구성되고,
    상기 프로세서는,
    상기 이동 경로들을 기반으로, 그래프 모델을 구성하고,
    상기 그래프 모델을 기반으로, 상기 미래 경로들을 예측하도록 구성되고,
    상기 그래프 모델은 복수 개의 노드들과 상기 노드들을 연결하는 복수 개의 선분들을 포함하고,
    상기 노드들은 상기 전자 장치를 나타내는 제 1 노드와 상기 주변 객체들을 각각 나타내는 제 2 노드들을 포함하고,
    상기 선분들은 상기 주변 객체들과 상기 전자 장치 사이의 상호 작용 및 그에 대한 방향성을 각각 나타내고,
    상기 제 2 노드들을 연결하는 선분들은 양방향성을 나타내고,
    상기 제 1 노드와 상기 제 2 노드들의 각각을 연결하는 선분들은 상기 전자 장치로부터 상기 주변 객체들의 각각으로 향하는 단방향성을 나타내는 장치.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 제 11 항에 있어서, 상기 프로세서는,
    상기 전자 장치 및 상기 주변 객체들의 상태 정보를 기반으로, 상기 선분들 각각으로 연결되는 두 개의 노드들을 상대적으로 평가함으로써, 상기 노드들 각각에 대해 중요도를 부여하고,
    상기 중요도가 적용된 인접 행렬을 이용하여, 그래프 컨볼루션 신경망을 구성하고,
    장단기 메모리 네트워크(LSTM)를 기반으로, 상기 그래프 컨볼루션 신경망으로부터 상기 미래 경로들을 예측하도록 구성되는 장치.
  16. 삭제
  17. 제 11 항에 있어서, 상기 프로세서는,
    상기 전자 장치의 상태 정보를 이용하여, 등속 운동 기반 이동 좌표계를 구성하고,
    상기 이동 좌표계 상에서, 상기 주변 객체들의 상대적인 위치들을 각각 표현하고,
    상기 위치들을 기반으로, 상기 이동 경로들을 확인하도록 구성되는 장치.
  18. 제 17 항에 있어서, 상기 프로세서는,
    상기 이동 좌표계 상에서, 상기 미래 경로들을 예측하도록 구성되는 장치.
  19. 제 11 항에 있어서, 상기 프로세서는,
    상기 주행 경로를 기반으로, 구동을 제어하도록 구성되는 장치.
  20. 제 11 항에 있어서,
    상기 전자 장치는 자율 주행 차량이고,
    상기 주변 객체들은 상기 전자 장치 주변의 차량들인 장치.
KR1020200022060A 2020-02-24 2020-02-24 불특정 다수의 주변 차량들에 대한 미래 경로 통합 예측을 위한 전자 장치 및 그의 동작 방법 Active KR102192348B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200022060A KR102192348B1 (ko) 2020-02-24 2020-02-24 불특정 다수의 주변 차량들에 대한 미래 경로 통합 예측을 위한 전자 장치 및 그의 동작 방법
PCT/KR2020/011053 WO2021172675A1 (ko) 2020-02-24 2020-08-19 불특정 다수의 주변 차량들에 대한 미래 경로 통합 예측을 위한 전자 장치 및 그의 동작 방법
US17/035,377 US12030529B2 (en) 2020-02-24 2020-09-28 Electronic device for integrating and predicting future trajectories of unspecified number of surrounding vehicles and operating method thereof
DE102020129072.1A DE102020129072B4 (de) 2020-02-24 2020-11-04 Elektronische vorrichtung zur integration und vorhersage zukünftiger trajektorien einer beliebigen anzahl von umgebenden fahrzeugen und verfahren zum betrieb dieser vorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200022060A KR102192348B1 (ko) 2020-02-24 2020-02-24 불특정 다수의 주변 차량들에 대한 미래 경로 통합 예측을 위한 전자 장치 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
KR102192348B1 true KR102192348B1 (ko) 2020-12-17

Family

ID=74089810

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200022060A Active KR102192348B1 (ko) 2020-02-24 2020-02-24 불특정 다수의 주변 차량들에 대한 미래 경로 통합 예측을 위한 전자 장치 및 그의 동작 방법

Country Status (4)

Country Link
US (1) US12030529B2 (ko)
KR (1) KR102192348B1 (ko)
DE (1) DE102020129072B4 (ko)
WO (1) WO2021172675A1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112863180A (zh) * 2021-01-11 2021-05-28 腾讯大地通途（北京）科技有限公司 交通速度预测方法、装置、电子设备及计算机可读介质
CN113954864A (zh) * 2021-09-22 2022-01-21 江苏大学 一种融合周边车辆交互信息的智能汽车轨迹预测系统及方法
CN115246416A (zh) * 2021-05-13 2022-10-28 上海仙途智能科技有限公司 轨迹预测方法、装置、设备及计算机可读存储介质
WO2022231519A1 (en) * 2021-04-26 2022-11-03 Nanyang Technological University Trajectory predicting methods and systems
KR20230092330A (ko) * 2021-12-17 2023-06-26 한국교통대학교산학협력단 도로 상황 데이터 처리 장치 및 방법
CN118244792A (zh) * 2024-05-23 2024-06-25 北京航空航天大学 一种基于不同期间的轨迹数据的动态驾驶设置方法及系统
KR102803337B1 (ko) * 2023-11-01 2025-05-08 한국과학기술원 자율주행을 위한 그래프 기반 조감도 주행 환경 인지 방법 및 그 시스템

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11873012B2 (en) * 2020-07-17 2024-01-16 Honda Motor Co., Ltd. System and method for providing social-stage spatio-temporal multi-modal future forecasting
US12065167B2 (en) * 2021-05-21 2024-08-20 Honda Motor Co., Ltd. System and method for completing joint risk localization and reasoning in driving scenarios
CN113740837B (zh) * 2021-09-01 2022-06-24 广州文远知行科技有限公司 一种障碍物跟踪方法、装置、设备及存储介质
CN114194213A (zh) * 2021-12-29 2022-03-18 北京三快在线科技有限公司 一种目标物轨迹预测方法、装置、存储介质及电子设备
CN114670867B (zh) * 2022-01-13 2024-07-09 上海交通大学 基于分层学习和潜在风险模型的多车轨迹预测系统
US12299997B1 (en) * 2022-09-26 2025-05-13 Zoox, Inc. Multi-attention machine learning for object detection and classification
US20240217548A1 (en) * 2023-01-04 2024-07-04 Zoox, Inc. Trajectory prediction for autonomous vehicles using attention mechanism
DE102023209411A1 (de) * 2023-09-26 2025-03-27 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Trajektorienvorhersage, Verfahren zum Steuern eines Ego-Fahrzeugs

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101951595B1 (ko) * 2018-05-18 2019-02-22 한양대학교 산학협력단 모듈형 순환 신경망 구조 기반 차량 경로 예측 시스템 및 방법
KR20190030859A (ko) * 2017-09-15 2019-03-25 현대모비스 주식회사 자율 주행 장치, 방법 및 시스템
KR102068279B1 (ko) * 2019-10-04 2020-01-20 주식회사 루닛 이미지 분석 방법 및 시스템

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013210263B4 (de) * 2013-06-03 2025-06-12 Robert Bosch Gmbh Belegungskarte für ein Fahrzeug
KR101874186B1 (ko) * 2016-08-19 2018-07-03 한양대학교 산학협력단 기계 학습을 통한 주변 차량의 주행 경로 예측 방법 및 이를 이용하는 차량 제어 방법
CN109507997B (zh) * 2017-09-15 2021-11-12 现代摩比斯株式会社 用于自动驾驶的装置、方法和系统
US11436504B1 (en) * 2018-06-11 2022-09-06 Apple Inc. Unified scene graphs
JP7036689B2 (ja) * 2018-08-10 2022-03-15 株式会社日立製作所 計算機システム
KR102671581B1 (ko) 2018-08-21 2024-06-03 삼성디스플레이 주식회사 지문 인식 장치 및 지문 인식 장치의 구동 방법
US10990099B2 (en) * 2018-11-16 2021-04-27 Great Wall Motor Company Limited Motion planning methods and systems for autonomous vehicle
US11300959B2 (en) * 2019-08-30 2022-04-12 Huawei Technologies Co., Ltd. System and method for predictive path planning in autonomous vehicles
US11507830B2 (en) * 2019-09-13 2022-11-22 Honda Motor Co., Ltd. System and method for providing object-level driver attention reasoning with a graph convolution network

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190030859A (ko) * 2017-09-15 2019-03-25 현대모비스 주식회사 자율 주행 장치, 방법 및 시스템
KR101951595B1 (ko) * 2018-05-18 2019-02-22 한양대학교 산학협력단 모듈형 순환 신경망 구조 기반 차량 경로 예측 시스템 및 방법
KR102068279B1 (ko) * 2019-10-04 2020-01-20 주식회사 루닛 이미지 분석 방법 및 시스템

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112863180A (zh) * 2021-01-11 2021-05-28 腾讯大地通途（北京）科技有限公司 交通速度预测方法、装置、电子设备及计算机可读介质
CN112863180B (zh) * 2021-01-11 2022-05-06 腾讯大地通途（北京）科技有限公司 交通速度预测方法、装置、电子设备及计算机可读介质
WO2022231519A1 (en) * 2021-04-26 2022-11-03 Nanyang Technological University Trajectory predicting methods and systems
CN115246416A (zh) * 2021-05-13 2022-10-28 上海仙途智能科技有限公司 轨迹预测方法、装置、设备及计算机可读存储介质
CN115246416B (zh) * 2021-05-13 2023-09-26 上海仙途智能科技有限公司 轨迹预测方法、装置、设备及计算机可读存储介质
CN113954864A (zh) * 2021-09-22 2022-01-21 江苏大学 一种融合周边车辆交互信息的智能汽车轨迹预测系统及方法
CN113954864B (zh) * 2021-09-22 2024-05-14 江苏大学 一种融合周边车辆交互信息的智能汽车轨迹预测系统及方法
KR20230092330A (ko) * 2021-12-17 2023-06-26 한국교통대학교산학협력단 도로 상황 데이터 처리 장치 및 방법
KR102722337B1 (ko) * 2021-12-17 2024-10-24 국립한국교통대학교산학협력단 도로 상황 데이터 처리 장치 및 방법
KR102803337B1 (ko) * 2023-11-01 2025-05-08 한국과학기술원 자율주행을 위한 그래프 기반 조감도 주행 환경 인지 방법 및 그 시스템
CN118244792A (zh) * 2024-05-23 2024-06-25 北京航空航天大学 一种基于不同期间的轨迹数据的动态驾驶设置方法及系统

Also Published As

Publication number Publication date
US20210261167A1 (en) 2021-08-26
WO2021172675A1 (ko) 2021-09-02
DE102020129072A1 (de) 2021-08-26
DE102020129072B4 (de) 2025-05-08
US12030529B2 (en) 2024-07-09

Similar Documents

Publication Publication Date Title
KR102192348B1 (ko) 불특정 다수의 주변 차량들에 대한 미래 경로 통합 예측을 위한 전자 장치 및 그의 동작 방법
JP6754856B2 (ja) 自動運転車両のためのセンサー集約フレームワーク
JP6831880B2 (ja) 自動運転のための事前収集の静的反射図に基づく自動ｌｉｄａｒキャリブレーション
CN111835496B (zh) 在自动驾驶系统的不同计算节点之间的定时同步方案
CN110895147B (zh) 自动驾驶车辆的用相机捕获图像数据的图像数据获取逻辑
JP6499806B2 (ja) 自律走行車のステアリング率の動的調整
US11199846B2 (en) Learning-based dynamic modeling methods for autonomous driving vehicles
US20230125581A1 (en) Routing autonomous vehicles using temporal data
JP6890639B2 (ja) 自動運転のための交差検証に基づく自動ｌｉｄａｒキャリブレーション
CN107644273B (zh) 一种导航路径规划方法及设备
US20230350399A1 (en) Operational testing of autonomous vehicles
CN110345955A (zh) 用于自动驾驶的感知与规划协作框架
CN111857118B (zh) 对停车轨迹分段以控制自动驾驶车辆停车
JP2018108799A (ja) グラフベースの車線変更ガイドを用いて自律走行車を動作させる方法及びシステム
US10809722B2 (en) Navigation system with route prediction mechanism and method of operation thereof
CN107985313A (zh) 用于自主车辆的基于弹簧系统的变换车道方法
CN108684203A (zh) 使用基于学习的模型预测控制来确定自动驾驶车辆的道路摩擦的方法和系统
CN108099918A (zh) 用于确定自主车辆的命令延迟的方法
CN111175713A (zh) 用于雷达模拟和对象分类的方法和系统
KR102555924B1 (ko) 증강현실 뷰를 사용하는 경로 안내 방법 및 장치
CN114689074B (zh) 信息处理方法和导航方法
WO2023064693A1 (en) Verifying reproducibility for a vehicle controller
US20200319651A1 (en) Autonomous vehicle control system testing
US20220289253A1 (en) Method for evaluating autonomous driving system, apparatus and storage medium
CN111684379B (zh) 自动驾驶车辆的三点转弯的最优规划器切换方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20200224

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20200225

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20200224

Patent event code: PA03021R01I

Comment text: Patent Application

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200630

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20201209

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20201211

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20201211

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230918

Start annual number: 4

End annual number: 4