[go: up one dir, main page]

KR102093047B1 - 자율 주행을 위한 지도 이미지에 기반한 교통 예측 - Google Patents

자율 주행을 위한 지도 이미지에 기반한 교통 예측 Download PDF

Info

Publication number
KR102093047B1
KR102093047B1 KR1020187007651A KR20187007651A KR102093047B1 KR 102093047 B1 KR102093047 B1 KR 102093047B1 KR 1020187007651 A KR1020187007651 A KR 1020187007651A KR 20187007651 A KR20187007651 A KR 20187007651A KR 102093047 B1 KR102093047 B1 KR 102093047B1
Authority
KR
South Korea
Prior art keywords
map image
objects
features
driving environment
traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020187007651A
Other languages
English (en)
Other versions
KR20190013688A (ko
Inventor
징하오 먀오
리윈 리
종푸 시아
Original Assignee
바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드
바이두 유에스에이 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드, 바이두 유에스에이 엘엘씨 filed Critical 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드
Publication of KR20190013688A publication Critical patent/KR20190013688A/ko
Application granted granted Critical
Publication of KR102093047B1 publication Critical patent/KR102093047B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/40—Control within particular dimensions
    • G05D1/43—Control of position or course in two dimensions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2101/00—Details of software or hardware architectures used for the control of position
    • G05D2101/10—Details of software or hardware architectures used for the control of position using artificial intelligence [AI] techniques
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10—Optical signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/50—Internal signals, i.e. from sensors located in the vehicle, e.g. from compasses or angular sensors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Atmospheric Sciences (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)

Abstract

일 실시 예에서, ADV를 둘러싼 주행 환경을 인지하는 인지 데이터에 응답하여, 주행 환경과 연관된 위치를 커버하는 지도의 지도 이미지가 획득된다. 지도 이미지에서 이미지 인식이 수행되어, 지도 이미지에서 하나 이상의 물체가 인식된다. 물체는, 특정 도로, 건물 구조(예를 들어, 주차장, 교차로 또는 원형 교차로 등)를 나타낼 수 있다. 인식된 물체로부터 하나 이상의 특징이 추출되며, 특징은 주행 환경의 교통 상태(조건)를 나타낼 수 있거나 기술할 수 있다. 인지 데이터로부터 인지된 하나 이상의 교통 참여자들의 행동은 추출된 특징에 기초하여 예측된다. 주행 환경을 내비게이트하기 위해 ADV를 제어하기 위한 궤도는, 교통 참여자들의 예측된 행동을 기초로 계획된다. 교통 참여자는, 차량, 자전거 타는 사람 또는 보행자일 수 있다.

Description

자율 주행을 위한 지도 이미지에 기반한 교통 예측
본 개시의 실시예들은 일반적으로 자율 주행 차량을 동작하는 것에 관한 것이다. 보다 상세하게는, 본 개시의 실시예들은 자율 주행 차량을 동작시키기 위한 교통 예측에 관한 것이다.
자율 주행 모드에서(예를 들어, 운전자 없이) 동작하는 차량에서 탑승자, 특히 운전자는 일부 운전과 관련하여 담당하고 있는 사항들로부터 경감될 수 있다. 자율 주행 모드에서 작동할 때, 차량은 온 보드 센서를 사용하여 다양한 위치들로 내비게이트할 수 있고, 그 결과 최소한의 인간과의 상호 작용으로 또는 일부의 경우 승객 없이 차량이 이동하는 것이 허용된다.
교통 예측은 완전히 자율적인 운전 솔루션을 구현하는 데 중요한 요소이다. 이것은 인간의 두뇌 역할을 하여 주변 교통 참여자들이 가까운 미래에 어디로 향할지 예측하여 자율 주행 차량 자체가 안전하고 올바른 동작을 취할 수 있도록 한다. 교통 예측은 가까운 미래에 교통 참여자들의 행동을 예측하는 데 고정밀 지도(고해상도 지도이라고도 함)에 상당히 의존한다. 그러나 고정밀 지도를 작성하는 데는 많은 비용과 시간이 소요된다. 이것은 다량의 인간 레이블링(labeling) 작업을 요구하며, 많은 비용과 시간이 소요된다. 이것은, 종종 자율 주행 차량에 위험할 수 있는 인간의 실수와 오류에 의해 좌우된다.
본 개시의 실시예들은 자율 주행 차량을 작동시키기 위한 컴퓨터로 구현된 방법, 비 일시적 기계 판독 가능한 매체 및 데이터 처리 시스템을 제공한다.
본 발명의 일 실시예에 따르면, 자율 주행 차량을 구동하기 위한 컴퓨터로 구현되는 방법은, 자율 주행 차량 (ADV) 주변의 주행 환경을 인지하는 인지 데이터에 응답하여, 운전 환경에 연관된 위치를 커버하는 지도의 지도 이미지를 획득하는 단계; 상기 지도 이미지로부터 하나 이상의 물체를 인식하기 위해, 상기 지도 이미지의 이미지 인식을 수행하는 단계; 상기 인식된 물체들로부터 하나 이상의 특징들을 추출하는 단계 - 상기 하나 이상의 특징들은 상기 주행 환경의 교통 조건을 나타냄 -; 상기 추출된 특징에 기초하여 상기 인지 데이터로부터 인지된 하나 이상의 교통 참여자들의 행동을 예측하는 단계; 및 상기 하나 이상의 교통 참여자들의 상기 예측된 행동들에 기초하여 상기 ADV를 제어하여 상기 주행 환경에서 내비게이트하기 위한 궤적을 계획하는 단계를 포함한다.
본 개시의 다른 실시예에서, 비 일시적 기계 판독 가능 매체는, 프로세서에 의해 실행될 때 상기 프로세서로 하여금 동작을 수행하게 하는 명령어를 저장한다. 상기 동작들은, 자율 주행 차량 (ADV) 주변의 주행 환경을 인지하는 인지 데이터에 응답하여, 운전 환경에 연관된 위치를 커버하는 지도의 지도 이미지를 획득하는 것; 상기 지도 이미지로부터 하나 이상의 물체를 인식하기 위해, 상기 지도 이미지의 이미지 인식을 수행하는 것; 상기 인식된 물체들로부터 하나 이상의 특징들을 추출하는 것 - 상기 하나 이상의 특징들은 상기 주행 환경의 교통 조건을 나타냄 -; 상기 추출된 특징에 기초하여 상기 인지 데이터로부터 인지된 하나 이상의 교통 참여자들의 행동을 예측하는 것; 및 상기 하나 이상의 교통 참여자들의 상기 예측된 행동들에 기초하여 상기 ADV를 제어하여 상기 주행 환경에서 내비게이트하기 위한 궤적을 계획하는 것을 포함한다.
본 개시의 또 다른 실시예에서, 데이터 처리 시스템은, 프로세서; 및 상기 프로세서에 의해 실행될 때 상기 프로세서로 하여금 동작을 수행하게 하는 명령들을 저장하기 위해 상기 프로세서에 결합된 메모리를 포함한다. 상기 동작들은, 자율 주행 차량 (ADV) 주변의 주행 환경을 인지하는 인지 데이터에 응답하여, 운전 환경에 연관된 위치를 커버하는 지도의 지도 이미지를 획득하는 것; 상기 지도 이미지로부터 하나 이상의 물체를 인식하기 위해, 상기 지도 이미지의 이미지 인식을 수행하는 것; 상기 인식된 물체들로부터 하나 이상의 특징들을 추출하는 것 - 상기 하나 이상의 특징들은 상기 주행 환경의 교통 조건을 나타냄 -; 상기 추출된 특징에 기초하여 상기 인지 데이터로부터 인지된 하나 이상의 교통 참여자들의 행동을 예측하는 것; 및 상기 하나 이상의 교통 참여자들의 상기 예측된 행동들에 기초하여 상기 ADV를 제어하여 상기 주행 환경에서 내비게이트하기 위한 궤적을 계획하는 것을 포함한다.
도 1은 일 실시예에 따른 네트워크 시스템을 나타내는 블록도이다.
도 2는 일 실시예에 따른 자율 주행 차량의 일례를 나타내는 블록도이다.
도 3은 일 실시예에 따른 자율 주행 차량과 함께 사용되는 인지 및 계획 시스템의 일례를 나타내는 블록도이다.
도 4는 일 실시예에 따라 자율 주행 차량을 동작시키는 프로세스 흐름을 나타내는 처리도이다.
도 5는 일 실시 예에 따라 인식된 주행 환경의 예를 도시하는 블록도이다.
도 6는 다른 실시예에 따라 인식된 주행 환경의 예를 도시하는 블록도이다.
도 7은 일 실시예에 따라 자율 주행 차량을 동작시키는 프로세스를 나타내는 흐름도이다.
도 8은 일 실시예에 따른 데이터 처리 시스템을 나타내는 블록도이다.
본 개시의 다양한 실시예들 및 양상들은 이하 세부 설명을 참조하여 설명되며, 첨부 도면들은 다양한 실시예들을 나타낸다. 아래의 설명 및 도면은 본 개시를 예시적으로 보여주며, 본 개시를 제한하는 것으로 해석되어서는 안 된다. 다수의 구체적인 세부 사항들이 본 개시의 다양한 실시예들의 완전한 이해를 제공하기 위해 설명된다. 그러나, 어떤 경우에는, 본 개시의 실시예들에 대한 간결한 설명을 제공하기 위해 잘 알려진 또는 종래의 세부 사항은 설명되지 않는다.
명세서에서의 "일 실시예" 또는 "실시예"에 대한 참조는, 실시예와 관련하여 설명된 특정 특징, 구조 또는 특성이 본 개시의 적어도 하나의 실시예에 포함될 수 있다는 것을 의미한다. 명세서의 다양한 곳에서 기재된 "일 실시예에서"라는 문구는 반드시 모두 동일한 실시예를 지칭하는 것은 아니다.
이미지 처리 기술이 점점 더 고도화된다. 이러한 많은 기술이, 얼굴 인식, 물체 감지 등과 같은 상업 상품의 생산에 성공적으로 적용되고 있다. 본 개시의 일 실시예에 따르면, 교통 예측을 위한 새로운 접근법은, 지도 이미지로부터 예를 들어, 도로, 주차장, 교차로, 원형 교차로 등과 같은 중요한 특징을 식별하기 위해 진보된 비전 기술을 가진 이미지로서 일반 내비게이션 지도(regular navigation map)를 사용하는 것이다. 이러한 특징들은 자율 주행 차량 (ADV)에 활용되어, 도로 상에서 교통 참여자들의 행동을 예측한다.
일 실시예에 따르면, ADV를 둘러싼 운전 환경을 인지하는 인지 데이터에 응답하여, 주행 환경과 연관된 위치를 커버하는 지도(예를 들어, 일반 지도 또는 일반 해상도 지도)의 지도 이미지가 획득된다. 지도 이미지에서 이미지 인식이 수행되어, 지도 이미지에서 하나 이상의 물체가 인식된다. 물체는, 특정 도로, 건물 구조(예를 들어, 주차장), 교차로 또는 원형 교차로 등을 나타낼 수 있다. 인식된 물체로부터 하나 이상의 특징이 추출되며, 특징은 주행 환경의 교통 상태(조건)를 나타낼 수 있거나 기술할 수 있다. 인지 데이터로부터 인지된 하나 이상의 교통 참여자들의 행동은 추출된 특징에 기초하여 예측된다. 주행 환경을 내비게이트하기 위해 ADV를 제어하기 위한 궤도는, 교통 참여자들의 예측된 행동을 기초로 계획된다. 교통 참여자는, 차량, 자전거 타는 사람 또는 보행자일 수 있다.
도 1은 일 실시예에 따른 자율 주행 차량 네트워크 구성을 나타내는 블록도이다. 도 1을 참조하면, 네트워크 구성(100)은, 네트워크(102) 상에서 하나 이상의 서버(103-104)와 통신 가능하게 결합될 수 있는 자율 주행 차량(101)을 포함한다. 하나의 자율 주행 차량이 도시되어 있지만, 다수의 자율 주행 차량이 서로 결합될 수 있고/있거나 네트워크(102)를 통해 서버들(103-104)에 결합될 수 있다. 네트워크(102)는 근거리 통신망(LAN), 인터넷과 같은 광역 네트워크(WAN), 셀룰러 네트워크, 위성 네트워크 또는 이들의 조합과 같은 유선 또는 무선의 임의의 유형의 네트워크일 수 있다. 서버(들) (103-104)는 웹 또는 클라우드 서버, 애플리케이션 서버, 백엔드 서버 또는 이들의 조합과 같은 임의의 종류의 서버 또는 서버 클러스터일 수 있다. 서버(103-104)는 데이터 분석 서버, 콘텐츠 서버, 교통 정보 서버, 지도 및 관심 지점(MPOI: map and point of interest) 서버 또는 위치 서버 등일 수 있다.
자율 주행 차량은, 자율 주행 모드에서 운전자로부터의 입력이 거의 또는 전혀 없이 차량이 주변 환경 사이로 내비게이트할 수 있도록 구성될 수 있는 차량을 지칭한다. 이러한 자율 주행 차량은 차량이 운행되는 환경에 관한 정보를 검출하도록 구성된 하나 이상의 센서를 갖는 센서 시스템을 포함할 수 있다. 차량 및 관련 제어기(들)는 검출된 정보를 이용하여 주변 환경 사이로 내비게이트한다. 자율 주행 차량(101)은 수동 모드, 완전 자율 주행 모드 또는 부분 자율 주행 모드로 운행될 수 있다.
일 실시예에서, 자율 주행 차량(101)은 인지 및 계획 시스템(110), 차량 제어 시스템(111), 무선 통신 시스템(112), 사용자 인터페이스 시스템(113), 인포테인먼트 시스템(114) 및 센서 시스템(115)을 포함하지만, 이에 한정되지 않는다. 자율 주행 차량(101)은, 예를 들어, 가속 신호 또는 명령, 감속 신호 또는 명령, 조향 신호 또는 명령, 제동 신호 또는 명령 등과 같은 다양한 통신 신호 및/또는 명령을 사용하여, 차량 제어 시스템(111) 및/또는 인지 및 계획 시스템(110)에 의해 제어될 수 있는, 엔진, 차륜(wheel), 스티어링 휠, 변속기 등과 같은, 일반 차량에 포함되는 특정 공통 구성 요소를 더 포함할 수 있다.
구성요소(110-115)는 인터커넥트(interconnect), 버스, 네트워크 또는 이들의 조합을 통해 서로 통신 가능하게 결합될 수 있다. 예를 들어, 구성요소(110-115)는, 제어기 영역 네트워크(CAN) 버스를 통해 서로 통신 가능하게 결합될 수 있다. CAN 버스는, 호스트 컴퓨터가 없는 어플리케이션들에서 마이크로 컨트롤러들과 장치들이 서로 통신할 수 있도록 설계된 차량 버스 표준이다. 그것은 메시지 기반 프로토콜로서, 원래는 자동차 내의 멀티플렉스(multiplex) 전기 배선을 위해 설계되었지만, 다른 많은 상황에서도 사용된다.
이제 도 2를 참조하면, 일 실시예에서, 센서 시스템(115)은, 하나 이상의 카메라(211), GPS(global positioning system) 유닛(212), 관성 측정 유닛(IMU)(213), 레이더 유닛(214) 및 광 검출 및 측정(LIDAR) 유닛(215)을 포함하지만, 이에 한정되지 않는다. GPS 시스템(212)은 자율 주행 차량의 위치에 관한 정보를 제공하도록 동작 가능한 송수신기(트랜시버)를 포함할 수 있다. IMU 유닛(213)은, 관성 가속도에 기초하여 자율 주행 차량의 위치 및 방향 변화를 감지할 수 있다. 레이더 유닛(214)은, 무선 신호를 활용하여 자율 주행 차량의 로컬 환경 내의 물체들을 감지하는 시스템을 나타낼 수 있다. 일부 실시예들에서, 물체를 감지하는 것 외에, 레이더 유닛(214)은 물체의 속력 및/또는 진행 방향(heading)을 추가로 감지할 수 있다. LIDAR 유닛(215)은, 레이저를 사용하여 자율 주행 차량이 위치한 환경 내의 물체들을 감지할 수 있다. LIDAR 유닛(215)은, 다른 시스템 구성 요소들 중에서, 하나 이상의 레이저 소스, 레이저 스캐너 및 하나 이상의 검출기를 포함할 수 있다. 카메라(211)는 자율 주행 차량을 둘러싸는 환경의 이미지를 캡쳐하기 위한 하나 이상의 장치를 포함할 수 있다. 카메라(211)는 정지 화상 카메라 및/또는 비디오 카메라일 수 있다. 카메라는, 예를 들어, 카메라를 회전 및/또는 틸팅 플랫폼에 장착함으로써, 기계적으로 이동 가능할 수 있다.
센서 시스템(115)은, 소나 센서, 적외선 센서, 스티어링(조향) 센서, 스로틀 센서, 제동 센서 및 오디오 센서(예를 들어, 마이크로폰)와 같은 다른 센서들을 더 포함 할 수 있다. 오디오 센서는 자율 주행 차량을 둘러싸는 환경에서 소리(sound)를 캡처하도록 구성될 수 있다. 스티어링 센서는, 스티어링 휠, 차량의 차륜 또는 이들의 조합의 스티어링 각도를 감지하도록 구성될 수 있다. 스로틀 센서 및 제동 센서는, 차량의 스로틀 위치 및 제동 위치를 각각 감지한다. 일부 상황에서는, 스로틀 센서와 제동 센서가 통합 스로틀/제동 센서로 통합될 수 있다.
일 실시예에서, 차량 제어 시스템(111)은, 스티어링 유닛(201), 스로틀 유닛(202)(가속 유닛으로도 지칭됨) 및 제동 유닛(203)을 포함하지만, 이에 한정되지 않는다. 스티어링 유닛(201)은, 차량의 방향 또는 진행 방향을 조정하기 위한 것이다. 스로틀 유닛(202)은 모터 또는 엔진의 속력을 제어하여 차량의 속력 및 가속을 차례로 제어하기 위한 것이다. 제동 유닛(203)은 차량의 차륜 또는 타이어를 감속시키도록 마찰을 제공함으로써 차량을 감속시키기 위한 것이다. 도 2에 도시된 구성 요소들은, 하드웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있다.
도 1을 다시 참조하면, 무선 통신 시스템(112)은, 자율 주행 차량(101)과, 장치들, 센서들, 다른 차량들 등과 같은 외부 시스템들 간의 통신을 가능하게 한다. 예를 들어, 무선 통신 시스템(112)은, 하나 이상의 장치들과 직접 또는 네트워크(102) 상의 서버들(103-104)과 같은 통신 네트워크를 통해 무선 통신할 수 있다. 무선 통신 시스템(112)은, 임의의 셀룰러 통신 네트워크 또는 무선 근거리 네트워크(WLAN)를 사용할 수 있으며, 예를 들어, 다른 구성 요소 또는 시스템과 통신하기 위해 WiFi를 사용할 수 있다. 무선 통신 시스템(112)은, 예를 들어, 적외선 링크, 블루투스 등을 사용하여, 장치(예를 들어, 승객의 모바일 장치, 차량(101) 내의 디스플레이 장치, 스피커)와 직접 통신할 수 있다. 사용자 인터페이스 시스템(113)은, 예를 들어, 키보드, 터치스크린 디스플레이 장치, 마이크로폰 및 스피커 등을 포함하는 차량(101) 내에 구현되는 주변 장치들의 일부일 수 있다.
자율 주행 차량(101)의 일부 또는 모든 기능은, 특히 자율 주행 모드에서 운행될 때, 인지 및 계획 시스템(110)에 의해 제어되거나 관리될 수 있다. 인지 및 계획 시스템(110)은, 센서 시스템(115), 제어 시스템(111), 무선 통신 시스템(112) 및/또는 사용자 인터페이스 시스템(113)으로부터 정보를 수신하고, 수신된 정보를 처리하고, 출발점에서 목적지점까지의 루트(route) 또는 경로를 계획한 다음, 계획 및 제어 정보에 기초하여 차량(101)을 주행하기 위해, 필요한 하드웨어(예를 들어, 프로세서(들), 메모리, 저장 장치) 및 소프트웨어(예를 들어, 운영 체계, 계획 및 라우팅(routing) 프로그램)를 포함한다. 대안적으로, 인지 및 계획 시스템(110)은 차량 제어 시스템(111)과 통합될 수 있다.
예를 들어, 승객인 사용자는, 예를 들어, 사용자 인터페이스를 통해 여행의 출발 위치 및 목적지를 지정할 수 있다. 인지 및 계획 시스템(110)은 여행 관련 데이터를 획득한다. 예를 들어, 인지 및 계획 시스템(110)은 서버들(103-104)의 일부일 수 있는 MPOI 서버로부터 위치 및 루트 정보를 획득할 수 있다. 위치 서버는 위치 서비스를 제공하고, MPOI 서버는 지도 서비스와 특정 위치들의 POI들을 제공한다. 대안적으로, 이러한 위치 및 MPOI 정보는 인지 및 계획 시스템(110)의 영구 저장 장치에 국부적으로 캐시될 수 있다.
자율 주행 차량(101)이 루트를 따라 이동하는 동안, 인지 및 계획 시스템(110)은 교통 정보 시스템 또는 서버(TIS)로부터 실시간 교통 정보도 획득할 수 있다. 서버(103-104)는 제3 엔티티에 의해 운영될 수 있다. 대안적으로, 서버들(103-104)의 기능들은 인지 및 계획 시스템(110)과 통합될 수 있다. 인지 및 계획 시스템(110)은, 실시간 교통 정보, MPOI 정보 및 위치 정보뿐만 아니라 센서 시스템(115)에 의해 검출 또는 감지된 실시간 로컬 환경 데이터(예를 들어, 장애물, 물체, 주변 차량)에 기초하여, 예를 들어, 제어 시스템(111)을 통해, 최적의 루트를 계획하고, 지정된 목적지에 안전하고 효율적으로 도착하기 위해 계획된 루트에 따라 차량(101)을 주행할 수 있다.
서버(103)는 다양한 클라이언트에 대해 데이터 분석 서비스를 수행하기 위한 데이터 분석 시스템일 수 있다. 일 실시예에서, 데이터 분석 시스템(103)은 데이터 수집기(121) 및 머신 러닝 엔진(122)을 포함한다. 데이터 수집기(121)는 자율 주행 차량 또는 인간 운전자에 의해 운행되는 일반 차량을 포함하는 다양한 차량으로부터 주행 통계(123)를 수집한다. 주행 통계(123)는 상이한 시점에서, 발행된 주행 명령(예를 들어, 스로틀, 브레이크, 스티어링 명령) 및 차량의 센서에 의해 캡처된 차량의 응답(예를 들어, 속력, 가속, 감속, 방향)을 나타내는 정보를 포함한다. 주행 통계(123)는, 상이한 시점에서의 주행 환경을 설명하는 정보, 예를 들어, 루트(출발 및 목적지 위치 포함), MPOI, 도로 상태, 날씨 상태 등을 더 포함할 수 있다.
주행 통계(123)에 기초하여, 머신 러닝 엔진(122)은 다양한 목적을 위해 규칙, 알고리즘 및/또는 예측 모델(124)의 세트를 생성 또는 훈련시킨다. 일 실시예에서, 규칙/알고리즘/모델(124)은, 지도 이미지에 포함된 물체를 인식하고 물체로부터 특징을 추출하기 위한 규칙, 알고리즘 및/또는 모델을 포함한다. 예를 들어, 규칙/알고리즘/모델(124)은, 예를 들어, 지도 이미지에 포함된 물체의 형태 및/또는 색상에 기초하여, 지도 이미지로부터 특정 물체를 인식하는 방법을 특정하는 데이터를 포함 할 수 있다. 특정 유형의 물체들에 대해, 규칙들/알고리즘들/모델들(124)은, 예를 들어, 정지 신호, 양보 신호, 차로 구성 (예를 들어, 좌회전, 우회전, 직선 전용차로), 진입/진출 지점 등과 같은 물체들과 연관되는 특정 특징들을 더 특정하거나 암시할 수 있다. 규칙/알고리즘/모델(124)은, 실시간으로 ADV를 제어하기 위해 궤도를 계획하기 위해 활용되도록, ADV로 업로드될 수 있다.
도 3은 일 실시예에 따른 자율 주행 차량과 함께 사용되는 인지 및 계획 시스템의 일례를 나타내는 블록도이다. 시스템(300)은, 도 1의 자율 주행 차량(101)의 일부로서 구현될 수 있으며, 인지 및 계획 시스템(110), 제어 시스템(111) 및 센서 시스템(115)을 포함하지만, 이에 한정되지 않는다. 도 3을 참조하면, 인지 및 계획 시스템(110)은, 로컬라이제이션(localization) 모듈(301), 인지 모듈(302), 예측 모듈(303), 결정 모듈(304), 계획 모듈(305), 제어 모듈(306), 지도 이미지 분석기(307) 및 지도 특징 추출기(308)를 포함하지만, 이에 한정되지 않는다.
모듈들(301-308)의 일부 또는 전부는 소프트웨어, 하드웨어 또는 이들의 조합으로 구현될 수 있다. 예를 들어, 이들 모듈은 영구 저장 장치(352)에 설치되고, 메모리(351)에 로드되며, 하나 이상의 프로세서(미도시)에 의해 실행될 수 있다. 이들 모듈 중 일부 또는 전부는, 도 2의 차량 제어 시스템(111)의 일부 또는 모든 모듈들과 통신 가능하게 결합되거나 통합될 수 있다. 모듈들(301-308) 중 일부는 통합 모듈로서 함께 통합될 수 있다.
로컬라이제이션 모듈(301)은, (예를 들어, GPS 유닛(212)을 이용하여) 자율 주행 차량(101)의 현재 위치를 결정하고, 사용자의 여행 또는 루트와 관련된 임의의 데이터를 관리한다. 로컬라이제이션 모듈(301)(맵 및 루트 모듈이라고도 함)은 사용자의 여행 또는 루트와 관련된 임의의 데이터를 관리한다. 사용자는, 예를 들어, 사용자 인터페이스를 통해 로그인하고 여행의 출발 위치 및 목적지를 지정할 수 있다. 로컬라이제이션 모듈(301)은, 지도 및 루트 정보(311)와 같은 자율 주행 차량(101)의 다른 구성 요소와 통신하여 여행 관련 데이터를 획득한다. 예를 들어, 로컬라이제이션 모듈(301)은 위치 서버, 및 지도 및 POI(MPOI) 서버로부터 위치 및 루트 정보를 획득할 수 있다. 위치 서버는 위치 서비스를 제공하고, MPOI 서버는 지도 서비스와 지도 및 경로 정보(311)의 일부로서 캐시될 수 있는 특정 위치들의 POI들을 제공한다. 자율 주행 차량(101)이 루트를 따라 이동하는 동안, 로컬라이제이션(localization) 모듈(301)은 교통 정보 시스템 또는 서버로부터 실시간 교통 정보도 획득할 수 있다.
센서 시스템(115)에 의해 제공되는 센서 데이터 및 로컬라이제이션 모듈(301)에 의해 획득되는 로컬라이제이션 정보에 기초하여, 인지 모듈(302)에 의해 주변 환경의 인지(perception)가 결정된다. 인지 정보는 일반 운전자가 그가 주행하는 차량 주위를 인지(perceive)한 정보를 나타낼 수 있다. 인지(perception)는 차로 구성(예를 들어, 직선 또는 곡선 차선), 신호등 신호, 다른 차량의 상대적 위치, 보행자, 건물, 횡단보도 또는 기타 교통 관련 표지판(예를 들어, 정지 표지판, 양보 표지판) 등을, 예를 들어, 물체의 형태로 포함할 수 있다.
인지 모듈(302)은, 자율 주행 차량의 환경에서 물체 및/또는 특징을 식별하기 위해, 하나 이상의 카메라에 의해 캡처된 이미지를 처리 및 분석하는 컴퓨터 비전 시스템 또는 컴퓨터 비전 시스템의 기능을 포함할 수 있다. 물체는 교통 신호, 도로 경계, 다른 차량, 보행자 및/또는 장애물 등을 포함할 수 있다. 컴퓨터 비전 시스템은 물체 인식 알고리즘, 비디오 추적 및 다른 컴퓨터 비전 기술을 사용할 수 있다. 일부 실시예에서, 컴퓨터 비전 시스템은, 환경을 매핑하고, 물체를 추적하고, 물체의 속력 추정 등을 할 수 있다. 인지 모듈(302)은 레이더 및/또는 LIDAR와 같은 다른 센서에 의해 제공되는 다른 센서 데이터에 기초하여 물체를 검출할 수도 있다.
각각의 물체에 대해, 예측 모듈 (303)은 상황 하에서 물체가 어떤 행동을 할 것인지를 예측한다. 예측은, 지도/루트 정보(311) 및 교통 규칙(312)의 세트를 고려하여, 그 시점에서의 주행 환경을 인지하는 인지 데이터에 기초하여 수행된다. 예를 들어, 물체가 반대 방향의 차량이고 현재의 주행 환경이 교차로를 포함하면, 예측 모듈(303)은 차량이 곧바로 전진할지 또는 회전할지를 예측할 것이다. 인지 데이터가, 교차로가 신호등을 갖지 않는다는 것을 나타내는 경우, 예측 모듈(303)은 차량이 교차로에 진입하기 전에 완전히 정지해야 할 필요가 있다고 예측할 수 있다. 인지 데이터가, 차량이 현재 좌회전 전용차로 또는 우회전 전용차로에 있음을 나타내면, 예측 모듈(303)은 차량이 각각 좌회전 또는 우회전을 할 가능성이 더 높을 것으로 예측할 수 있다.
각각의 물체에 대해, 결정 모듈(304)은 물체를 어떻게 처리할지에 대한 결정을 한다. 예를 들어, 특정 물체(예를 들어, 교차 루트에 있는 다른 차량)뿐만 아니라 물체를 기술하는 메타 데이터(예를 들어, 속력, 방향, 선회 각도)에 대해서, 결정 모듈(304)은 물체를 어떤 식으로 대면할지를 결정한다(예를 들어, 추월, 양보, 정지, 통과). 결정 모듈(304)은, 영구 저장 장치(352)에 저장될 수 있는 교통 규칙 또는 운전 규칙(312)과 같은 규칙들의 세트에 따라 이러한 결정을 내릴 수 있다.
인지된 물체들 각각에 대한 결정에 기초하여, 계획 모듈(305)은 자율 주행 차량에 대한 경로 또는 루트뿐만 아니라 주행 파라미터(예를 들어, 거리, 속력 및/또는 회전각도)를 계획한다. 즉, 주어진 물체에 대해, 결정 모듈(304)은 물체에 대한 처리를 결정하고, 계획 모듈(305)은 그것을 어떻게 수행할지를 결정한다. 예를 들어, 주어진 물체에 대해, 결정 모듈(304)은 물체를 지나가는 것으로 결정할 수 있는 반면, 계획 모듈(305)은 물체의 좌측 또는 우측으로 지나갈지를 결정할 수 있다. 계획 및 제어 데이터는 계획 모듈(305)에 의해 생성되고, 자율 주행 차량(101)이 다음 이동 사이클(예를 들어, 다음 루트/경로 세그먼트)에서 어떻게 움직일 것인지를 기술하는 정보를 포함한다. 예를 들어, 계획 및 제어 데이터는, 자율 주행 차량(101)이 시속 30 마일(mph)의 속력으로 10m 이동한 다음 25 mph의 속력으로 우측 차로로 변경하도록 지시할 수 있다.
계획 및 제어 데이터에 기초하여, 제어 모듈(306)은 계획 및 제어 데이터에 의해 정의된 루트 또는 경로에 따라, 차량 제어 시스템(111)에 적절한 명령 또는 신호를 전송함으로써 자율 주행 차량을 제어 및 주행한다. 계획 및 제어 데이터에는, 경로 또는 루트 상의 시간에 따른 상이한 지점들에서 적절한 차량 설정 또는 주행 파라미터(예를 들어, 스로틀, 제동 및 선회 명령)를 사용하여 루트 또는 경로의 제1 지점에서 제2 지점까지 차량을 주행할 수 있는 충분한 정보가 포함되어 있다.
일 실시예에서, 계획 단계는 다수의 계획 사이클 또는 명령 사이클, 예를 들어 100 밀리초(MS)의 시간 간격마다 수행된다. 계획 사이클 또는 명령 사이클 각각에 대해 하나 이상의 제어 명령어가 계획 및 제어 데이터를 기반으로 발행된다. 즉, 매 100MS마다, 계획 모듈(305)은 후속 루트 세그먼트 또는 경로 세그먼트를 계획하며, 후속 루트 세그먼트 또는 경로 세그먼트는 예컨대 목표 위치 및 ADV가 목표 위치에 도달하는데 필요한 시간을 포함할 수 있다. 대안적으로, 계획 모듈(305)은 특정 속력, 방향, 및/또는 조향각 등을 추가로 특정할 수 있다. 일 실시예에서, 계획 모듈(305)은 예컨대 5 초와 같은 소정의 후속 기간 동안 루트 세그먼트 또는 경로 세그먼트를 계획한다. 각 계획 사이클에 대해, 계획 모듈(305)은 이전 사이클에서 계획된 목표 위치에 기초하여 현재 사이클(예를 들어, 다음 5 초)에 대한 목표 위치를 계획한다. 그 후, 제어 모듈(306)은 현재 사이클의 계획 및 제어 데이터에 기초하여 하나 이상의 제어 명령어(예를 들어, 스로틀, 브레이크, 조향 제어 명령어)를 발생시킨다.
결정 모듈(304) 및 계획 모듈(305)은 통합 모듈로서 통합될 수 있다. 결정 모듈(304)/계획 모듈(305)은, 자율 주행 차량에 대한 주행 경로를 결정하기 위한 내비게이션 시스템 또는 내비게이션 시스템의 기능들을 포함할 수 있다. 예를 들어, 내비게이션 시스템은, 일련의 속력 및 진행 방향(directional heading)을 결정하여, 인지된 장애물을 실질적으로 피하는 경로를 따라 자율 주행 차량의 이동을 수행하면서, 궁극적인 목적지에 이르는 도로 기반 경로를 따라 자율 주행 차량을 대체로 전진시킬 수 있다. 목적지는, 사용자 인터페이스 시스템(113)을 통한 사용자 입력에 따라 설정될 수 있다. 내비게이션 시스템은, 자율 주행 차량이 운행되는 동안 주행 경로를 동적으로 업데이트할 수 있다. 내비게이션 시스템은, 자율 주행 차량을 위한 주행 경로를 결정하기 위해 GPS 시스템 및 하나 이상의 지도(맵)로부터의 데이터를 통합할 수 있다.
결정 모듈(304)/계획 모듈(305)은, 자율 주행 차량의 환경에서의 잠재적 장애물을 식별, 평가 및 회피하거나 협상하기 위한 충돌 회피 시스템 또는 충돌 회피 시스템의 기능을 더 포함할 수 있다. 예를 들어, 충돌 회피 시스템은, 급회피 조작, 선회 조작, 제동 조작 등을 수행하기 위해, 제어 시스템(111)의 하나 이상의 서브 시스템을 조작하여 자율 주행 차량의 내비게이션의 변화를 수행할 수 있다. 충돌 회피 시스템은, 주변의 교통 패턴, 도로 조건 등에 기초하여, 실현 가능한 장애물 회피 조작을 자동으로 결정할 수 있다. 충돌 회피 시스템은, 자율 주행 차량이 급회피하여 진입할 인접 영역에서, 차량, 건축 장애물 등을 다른 센서 시스템이 검출할 때, 급회피 조작이 수행되지 않도록 구성될 수 있다. 충돌 회피 시스템이, 사용 가능하면서 자율 운행 차량의 탑승자의 안전을 극대화하는 조작을 자동적으로 선택할 수 있다. 충돌 회피 시스템은, 자율 운행 차량의 승객실에서 최소량의 가속을 일으킬 것으로 예상되는 회피 조작을 선택할 수 있다.
일 실시예에 따르면, 도 3 및 도 4를 참조하면, 인지 모듈(302)에 의해 인지된 물체에 응답하여, 예측 모듈(303)은 지도 이미지 분석기(307)를 호출하여, 현재 주행 환경과 관련된 위치를 커버한 소정 거리의 지도 이미지를 분석한다. 지도 이미지 분석기(307)는, 지도 이미지에 포함된 하나 이상의 물체를 인식하기 위해 지도 이미지에 대한 이미지 인식을 수행하는 것이다. 인식된 물체는, 지도 분석 규칙(313)을 사용하여 물체의 형태 및/또는 색상에 기초하여 하나 이상의 도로, 교차로, 원형 교차로 또는 건물 구조(예를 들어, 주차장)로 인식될 수 있다. 인식된 물체들에 기초하여, 지도 특징 추출기(308)는, 지도 특징 추출 규칙들(314)을 이용하여, 인식된 객체들로부터 하나 이상의 특징들을 추출하거나 생성한다. 특징들에는 물체를 기술하는 정보가 포함될 수 있다. 특징들은 인식된 물체에 기초하여 생성되는 추가 특징들을 더 포함할 수 있다. 부가적인 특징은, 일반적으로 고해상도 지도로부터 이용 가능하지만 정규 지도로부터는 이용 가능하지 않은 것들을 포함할 수 있으며,여기서 부가적인 특징은 지도 특징 추출 규칙(314)들을 고려하여 물체에 기초하여 나타낼 수 있다.
고정밀 지도는, 이 차량이 갈 수 있는 위치에 대한 차로 레벨 정보를 제공한다. 예를 들어, 지도에서 현재 위치가 주어져 있을 때는, 단지 직진하거나 우회전할 수 있다. 교통법 등으로 인해 후진하거나 좌회전 할 수 없다. 일반 지도에는 이런 종류의 정보는 없을 것이다. 오히려 일반 지도에는 일반적으로 도로의 위성 이미지와 같은 이미지가 포함될 것이다. 그러나, 지도 이미지에는, 도로, 교차로, 건물 구조, 원형 교차로 등과 같은 물체의 이미지가 포함될 수 있다. 물체의 형태 및/또는 색상에 기초하여, 이미지 인식은 그러한 물체를 식별할 수 있다.
일 실시예에 따르면, 물체의 식별은 지도로부터 운전 가능한 도로를 식별할 수 있는 도로 식별을 포함할 수 있다. 이것은, 장애물이 차로 상에서 이동할 경우, 이를 안내하는 데 유용하다. 물체의 식별은, 도로 상의 주차장 또는 주차 구역과 같은 특정 건물 구조를 더 포함할 수 있다. 이것은, 장애물이 주차장으로 이동하는지를 예측하는 데 유용하다. 물체들의 식별은, 교통 참여자(traffic participant)들이 교차점에서 상이한 행동 패턴을 가질 수 있는 교차로를 더 포함 할 수 있다. 물체들의 식별에는, 원형 교차로가 포함될 수 있으며, 여기서 원형 교차로와 그 진출 지점을 식별하면 교통 참여자의 궤도를 계획하는 데 도움이 될 수 있다.
일 실시예에 따르면, 추출된 특징은, 도로 곡률, 교차로 또는 교차점 및 원형 교차로를 포함 할 수 있지만, 이에 한정되는 것은 아니다. 도로 곡률의 특징은, 특히 교차점에서 도로가 어떻게 굽힌(winding)가를 나타내어 교통 참여자가 회전할 것인지를 예측하는데 도움이 되는 정보를 포함합니다. 교차로 또는 교차점과 관련된 특징들은, 도 5에 도시된 바와 같이, 교차로가 얼마나 많은 사거리(cross road)를 갖는 지와 이들이 어떻게 연결되는지를 나타내는 정보를 포함한다. 원형 교차로의 특징에는, 도 6에 도시된 바와 같이, 원형 교차로에 진출점들이 몇 개 있는 지와 이들이 어떻게 분포되는지를 나타내는 정보가 포함된다.
이제 5를 참조하면, 이 예에서 지도의 이미지는 인지 데이터의 조합으로 교차로(500)를 도시한다. 이 예에서는, 지도 이미지의 이미지 인식에 기초하여, 교차로(500)가 이미지 분석기(307)에 의해 인식된다. 교차로(500)의 특징들은 특징 추출기(308)에 의해 추출된다. 교차로(500)의 특징은, 각 차로의 각 방향에 대한 차로의 수, 차로의 곡률, 횡단보도의 위치 등을 포함할 수 있다. 또한, 교차로의 특성에 따라 추측되거나 예측될 수 있는 신호등, 정지 신호 및/또는 양보 신호의 위치가 특징들에 추가로 포함될 수 있다. 추출된 특징들은, 특징을 기술하는 메타 데이터로 변환될 수 있으며, 이는 대응하는 고해상도 지도에 의해 제공되는 데이터와 유사할 수 있다. 그러나, 이미지 인식 및 특징 추출 기술을 사용하여, 고해상도 지도를 사용할 필요 없이 일반 지도(regular map)가 활용될 수 있다.
예측 모듈(303)은, 차량(502-503)을 인지하는 인지 데이터의 조합에서 교차로(500)의 특징에 기초하여, 어떤 차로에서 차량(502-503)이 현재 주행하고 있는지를 포함하여 차량(502-503)의 현재 위치를 결정할 수 있다. 예측 모듈(303)은, 차량(502-503)의 다음 움직임 또는 행동을 예측하거나 결정할 수 있다. 이 예에서, 차량(502)은 좌측 차선을 주행하고 신호등에 의존하며, 차량(502)은 교차로를 가로 질러 직진하거나 좌회전 할 수 있다. 이 예에서, 차량(503)은 우측 차선을 주행하고 신호등에 의존하며, 차량(503)은 교차로를 가로 질러 직진하거나 우회전 할 수 있다. 인지 데이터에 기초하여 추정될 수 있는 차량(502 내지 503)의 속력에 기초하여, 예측 모듈(303)은, 상대적으로 고속인 상황에서 차량은 통상적으로 직선 이동하고 회전하는 것은 실행 가능하지 않거나 안전하지 않음을 예측할 수 있다. 반면에, 차량이 상대적으로 저속으로 움직이고 있다면, 차량이 회전할 가능성이 있다.
대안적으로, 이미지 분석의 관점에서의 인지 데이터에 기초하여, 교차로(500)는 4 방향 정지 교차로인 것으로 결정될 수 있다. 4 방향 정지 교차로는 교통 신호등이 없는 교차로를 나타낸다. 오히려, 교차로로 가는 각 차로에는 정지 표시가 있다. 이 구성에서, 예측 모듈(303)은 차량들(501-503) 각각이 교차로에 진입하기 전에 완전히 정지되어야 한다고 예측할 수 있다. 차량(502-503)의 행동의 예측은, 다음 순간에 어떤 ADV(501)가 움직여야 하는지를 결정하기 위해, 결정 모듈(304)에 의해 이용될 수 있다.
이제 도 6을 참조하면, 지도 이미지에 기초하여, 원형 교차로가 인식되고, 다수의 진출점들이 특징의 일부로서 결정될 수 있다. 또한, 교통법에 따라 원형 교차로의 입구에 정지 신호가 위치할 수 있다. 이 예에서, 특징 추출기(308)는, 내부 차로(예를 들어, 고속 차로) 및 외부 차로(예를 들어, 저속 차로)를 포함하는 원형 교차로 내에 2 개의 차로가 있음을 결정할 수 있다. 예측 모듈 (303)은, 이미지 분석기(307) 및 특징 추출기(308)에 의해 제공된 특징들에 기초하여, 차량(602)이 외부 차로에서 이동하고 인지 모듈(302)에 의해 인지된 속력에 의존한다고 결정할 수 있으며, 차량(602)은 다음 출구 또는 그 이후의 출구에서 진출하거나 진출하지 않을 수 있다. 예측 모듈(303)은, 차량(605)이 내측 차로에서 이동하고 있기 때문에, 차량(605)이 다음 출구에서 진출할 가능성이 낮다고 결정할 수 있다. 유사하게, 예측 모듈(303)은, 특징 추출기(308)에 의해 제공된 진입구에 정지 표지가 있을 가능성이 있기 때문에, 차량(603 및 604)이 원형 교차로에 진입하기 전에 완전히 정지해야 한다고 예측할 수 있다. 이러한 정보는, 차량(602-605) 각각이 어떻게 행동할 지를 예측하기 위해 예측 모듈(303)에 의해 이용될 수 있으며, 이는 ADV(601)가 다음 명령 사이클에서 어떻게 움직일지를 결정 모듈(304)이 결정하는 방법에 영향을 줄 것이다. 이미지 분석기(307) 및/또는 특징 추출기(308)는 예측 모듈(303)의 일부로서 통합될 수 있다.
도 7은 일 실시예에 따라 자율 주행 차량을 동작시키는 프로세스를 나타내는 흐름도이다. 프로세스(700)는 소프트웨어, 하드웨어, 또는 이들의 조합을 포함할 수 있는 프로세싱 로직에 의해 수행될 수 있다. 예를 들어, 프로세스(700)는 이미지 분석기(307), 특징 추출기(308) 및/또는 예측 모듈(303)에 의해 수행될 수 있다. 도 7을 참조하면, 동작(701)에서, 프로세싱 로직은 ADV를 둘러싸는 주행 환경을 인지하는 인지 데이터를 수신한다. 동작(702)에서, 프로세싱 로직은 주행 환경과 연관된 지도(예를 들어, 일반 해상도 지도)의 지도 이미지를 획득한다. 동작(703)에서, 프로세싱 로직은 지도 이미지로부터 하나 이상의 물체(예를 들어, 교차로, 원형 교차로, 빌딩 구조)를 식별하기 위해 지도 이미지 상에 이미지 분석 또는 이미지 인식을 수행한다. 동작(704)에서, 프로세싱 로직은 인식된 물체들로부터 하나 이상의 특징을 추출하고, 특징들은 주행 환경의 가능한 교통 상태를 나타낸다. 동작(705)에서, 프로세싱 로직은 추출된 특징을 고려하여 인지 데이터에 기초하여 하나 이상의 교통 참여자(예를 들어, 차량, 자전거 타는 사람, 보행자)의 행동을 예측한다.
상술되고 도시된 구성 요소의 일부 또는 전부는 소프트웨어, 하드웨어 또는 이들의 조합으로 구현될 수 있다. 예를 들어, 이러한 구성 요소는, 본 출원 전반에 걸쳐 기술된 프로세스 또는 동작들을 실행하기 위해, 프로세서(미도시)에 의해 메모리에 로딩되어 실행될 수 있는, 영구 기억 장치에 설치되어 저장되는 소프트웨어로서 구현될 수 있다. 대안적으로, 이러한 구성 요소는, 집적 회로(예를 들어, 주문형 집적 회로 또는 ASIC), 디지털 신호 처리기(DSP) 또는 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array; FPGA)와 같은 전용 하드웨어에 프로그램되거나 내장된 실행 가능 코드로서 구현될 수 있으며, 이는 애플리케이션으로부터 대응하는 드라이버 및/또는 운영 체제를 통해 액세스될 수 있다. 또한, 이러한 구성 요소는 하나 이상의 특정 명령을 통해 소프트웨어 구성 요소에 의해 액세스 가능한 명령 세트의 일부로서 프로세서 또는 프로세서 코어에서 특정 하드웨어 로직으로서 구현될 수 있다.
도 8은 일 실시예에 따라 이용될 수 있는 데이터 처리 시스템의 일례를 나타내는 블록도이다. 예를 들어, 시스템(1500)은, 예를 들어, 도 1의 임의의 서버(103-104) 또는 인지 및 계획 시스템(110)과 같은, 상술된 임의의 프로세스 또는 방법을 수행하는 상술된 데이터 처리 시스템 중 임의의 것을 나타낼 수 있다. 시스템(1500)은 다수의 상이한 구성 요소들을 포함할 수 있다. 이들 구성 요소는, 집적 회로(IC), 그 부분, 개별 전자 장치 또는 컴퓨터 시스템의 마더 보드 또는 애드-인 카드와 같은 회로 보드에 적용되는 다른 모듈로서 구현될 수 있거나, 컴퓨터 시스템의 샤시 내에 다른 방법으로 통합되는 구성 요소들로써 구현될 수 있다.
또한, 시스템(1500)은 컴퓨터 시스템의 많은 구성 요소들의 상위 레벨 뷰를 도시하기 위한 것이다. 그러나, 추가의 구성 요소가 특정 구현 예에 존재할 수 있고, 또한, 구성 요소의 다른 배열이 다른 구현 예에서 나타날 수 있음을 이해해야 한다. 시스템(1500)은 데스크탑, 랩탑, 태블릿, 서버, 이동 전화, 미디어 플레이어, PDA(personal digital assistant), 스마트 워치, 개인용 통신기, 게임 장치, 네트워크 라우터 또는 허브, 무선 액세스 포인트(AP) 또는 중계기(repeater), 셋톱 박스 또는 이들의 조합일 수 있다. 또한, 단지 하나의 기계 또는 시스템이 도시되어 있지만, "기계" 또는 "시스템"이라는 용어는, 본 출원에서 기술하는 방법들의 하나 이상을 실행하기 위해, 개별적으로 또는 공동으로 명령어들의 세트(또는 다수의 세트)를 수행하는 임의의 기계 또는 시스템의 집합을 포함하도록 취급될 것이다.
일 실시예에서, 시스템(1500)은 버스 또는 인터커넥트(1510)을 통해 연결된 프로세서(1501), 메모리(1503) 및 디바이스들(1505-1508)을 포함한다. 프로세서(1501)는 단일 프로세서 코어 또는 그 안에 포함된 다중 프로세서 코어를 갖는 단일 프로세서 또는 다중 프로세서를 나타낼 수 있다. 프로세서(1501)는, 마이크로 프로세서, 중앙 처리 장치(CPU) 등과 같은 하나 이상의 범용 프로세서를 나타낼 수 있다. 구체적으로, 프로세서(1501)는 CISC(COMPLEX INSTRUCTION SET COMPUTING) 마이크로프로세서, RISC(REDUCED INSTRUCTION SET COMPUTING) 마이크로프로세서, VLIW(VERY LONG INSTRUCTION WORD) 마이크로프로세서, 또는 다른 명령어 세트를 구현하는 마이크로프로세서, 또는 명령어 세트의 조합을 구현하는 프로세서일 수 있다. 프로세서(1501)는 주문형 집적 회로(ASIC), 셀룰러 또는 베이스 밴드 프로세서, 필드 프로그래머블 게이트 어레이(FPGA), 디지털 신호 프로세서(DSP), 네트워크 프로세서, 그래픽 프로세서, 통신 프로세서, 암호화 프로세서, 코-프로세서, 임베디드 프로세서, 또는 명령어를 처리할 수 있는 임의의 다른 유형의 로직 등과 같은 하나 이상의 특수 목적 프로세서일 수도 있다.
초 저전압 프로세서와 같은 저전력 멀티 코어 프로세서 소켓일 수 있는, 프로세서(1501)는, 메인 프로세싱 유닛 및 시스템의 다양한 구성요소와의 통신을 위한 중앙 허브로서 작동할 수 있다. 이러한 프로세서는 시스템 온 칩(SoC)으로서 구현될 수 있다. 프로세서(1501)는, 본 명세서에서 논의된 동작들 및 단계들을 수행하기 위한 명령어들을 실행하도록 구성된다. 시스템(1500)은, 디스플레이 제어기, 그래픽 프로세서 및/또는 디스플레이 장치를 포함할 수 있는, 선택적인 그래픽 서브 시스템(1504)과 통신하는 그래픽 인터페이스를 더 포함할 수 있다.
프로세서(1501)는, 일 실시예에서 주어진 양의 시스템 메모리를 제공하기 위해 다수의 메모리 장치를 통해 구현될 수 있는 메모리(1503)와 통신할 수 있다. 메모리(1503)는, 랜덤 액세스 메모리(RAM), 다이나믹 RAM(DRAM), 동기식 DRAM(SDRAM), 스태틱 RAM(SRAM)와 같은 하나 이상의 휘발성 저장(또는 메모리) 장치 또는 다른 유형의 저장 장치를 포함할 수 있다. 메모리(1503)는, 프로세서(1501) 또는 임의의 다른 장치에 의해 실행되는 명령어들의 시퀀스를 포함하는 정보를 저장할 수 있다. 예를 들어, 다양한 운영 체제, 장치 드라이버, 펌웨어(예를 들어, 입출력 기본 시스템 또는 BIOS), 및/또는 애플리케이션의 실행 가능 코드 및/또는 데이터는 메모리(1503)에 로드되고 프로세서(1501)에 의해 실행될 수 있다. 운영 체제는, 예를 들어, 로봇 운영 체제(ROS), 마이크로소프트®사의 윈도우즈® 운영 체제, 애플의 맥 OS®/iOS®, 구글®의 안드로이드®, LINUX, UNIX, 또는 다른 실시간 또는 임베디드 운영 체제와 같은 임의의 유형의 운영 체제일 수 있다.
시스템(1500)은, 네트워크 인터페이스 장치(들)(1505), 선택적인 입력 장치(들)(1506) 및 다른 선택적인 IO 장치(들)(1507)을 포함하는 장치들(1505-1508)과 같은 IO 장치들을 더 포함할 수 있다. 네트워크 인터페이스 디바이스(1505)는 무선 트랜시버 및/또는 네트워크 인터페이스 카드(NIC)를 포함할 수 있다. 무선 트랜시버는, WiFi 트랜시버, 적외선 트랜시버, 블루투스 트랜시버, WiMax 트랜시버, 무선 셀룰러 전화 트랜시버, 위성 트랜시버(예를 들어, GPS(Global Positioning System) 송수신기) 또는 다른 무선 주파수(RF) 트랜시버일 수 있으며, 또는 이들의 조합일 수 있다. NIC는 이더넷 카드일 수 있다.
입력 장치(들)(1506)은, 마우스, 터치 패드, (디스플레이 장치(1504)와 통합될 수 있는) 터치 감지 스크린, 스타일러스와 같은 포인터 장치 및/또는 키보드(예를 들어, 물리적 키보드 또는 터치 감지 스크린의 일부로 표시되는 가상 키보드)를 포함할 수 있다. 예를 들어, 입력 장치(1506)는, 터치 스크린에 결합되는 터치 스크린 제어기를 포함할 수 있다. 터치 스크린 및 터치 스크린 제어기는, 예컨대 다수의 터치 감도 기술 중 임의의 것을 사용하여 접촉(CONTACT) 및 이동(MOVE) 또는 중지(BREAK)를 검출할 수 있다. 터치 감도 기술은 예를 들어, 용량성, 저항성, 적외선 및 표면 탄성파 기술뿐만 아니라, 터치 스크린과의 하나 이상의 접촉점을 결정하기 위한 그 외의 근접 센서 어레이 또는 다른 요소를 포함하며, 이에 제한되지 않는다.
IO 장치들(1507)은 오디오 장치를 포함할 수 있다. 오디오 장치는 음성 인식, 음성 복제, 디지털 녹음 및/또는 전화 기능과 같은 음성 작동 기능을 용이하게 하기 위해 스피커 및/또는 마이크를 포함할 수 있다. 다른 IO 장치들(1507)은, USB(universal serial bus) 포트(들), 병렬 포트(들), 직렬 포트(들), 프린터, 네트워크 인터페이스, 버스 브리지(예를 들어, PCI-PCI 브리지), 센서(들)(예를 들어, 가속도계, 자이로스코프, 자력계, 광 센서, 나침반, 근접 센서 등과 같은 모션 센서) 또는 이들의 조합을 포함할 수 있다. 디바이스들(1507)은 이미징 프로세싱 서브 시스템(예를 들어, 카메라)를 더 포함할 수 있다. 이미징 프로세싱 서브 시스템은, 사진 및 비디오 클립 녹화와 같은 카메라 기능들을 용이하게 하는데 이용되는, CCD(CHARGE COUPLED DEVICE) 또는 CMOS(COMPLEMENTARY METAL-OXIDE SEMICONDUCTOR) 광학 센서를 포함할 수 있다.. 특정 센서는, 센서 허브(미도시)를 통해 인터커넥트(1510)에 연결될 수 있지만, 키보드 또는 열 센서와 같은 다른 장치는 시스템(1500)의 특정 구성 또는 설계에 따라 내장형 제어기(미도시)에 의해 제어될 수 있다.
데이터, 애플리케이션, 하나 이상의 운영 체제 등과 같은 정보의 영구 저장을 제공하기 위해, 대용량 저장 장치(미도시)가 또한 프로세서(1501)에 연결될 수 있다. 다양한 실시예에서, 시스템 응답성을 향상시킬 뿐만 아니라 더 얇고 가벼운 시스템 설계를 가능하게 하기 위해, 이 대용량 저장 장치는 SSD(solid state device)를 통해 구현될 수 있다. 그러나, 다른 실시예들에서, 대용량 저장 장치는, 시스템 활동의 재시작 시에 빠른 파워 업이 일어나도록, 파워 다운 이벤트들 동안 컨텍스트 상태(context state) 및 다른 그러한 정보의 비 휘발성 저장을 가능하게 하기 위해 SSD 캐시로서 작용하는, 더 적은 양의 SSD 스토리지와 함께 하드 디스크 드라이브(HDD)를 사용하여 주로 구현될 수 있다. 또한, 플래시 장치는, 예를 들어, 직렬 주변 장치 인터페이스(SPI)를 통해 프로세서(1501)에 결합될 수 있다. 이 플래시 장치는, 시스템의 다른 펌웨어뿐만 아니라 BIOS를 포함하는, 시스템 소프트웨어의 비휘발성 저장 공간을 제공할 수 있습니다.
저장 장치(1508)는, 본 명세서에 기술된 방법들 또는 기능들의 하나 이상을 내장하는 하나 이상의 명령어 세트 또는 소프트웨어(예를 들어, 모듈, 유닛 및/또는 로직(1528))가 저장되는 컴퓨터 액세스 가능 저장 매체(1509)(기계 판독 가능 저장 매체 또는 컴퓨터 판독 가능 매체로도 알려짐)을 포함할 수 있다. 처리 모듈/유닛/로직(1528)은, 예를 들어, 계획 모듈(305), 제어 모듈(306), 이미지 분석기(307) 및/또는 특징 추출기(308)와 같은, 전술한 구성요소 중 임의의 것을 나타낼 수 있다. 처리 모듈/유닛/로직(1528)은 또한 머신 액세스 가능 저장 매체를 또한 구성하는, 데이터 처리 시스템(1500), 메모리(1503) 및 프로세서(1501)에 의한 실행 중에 메모리(1503) 및/또는 프로세서(1501) 내에 완전히 또는 적어도 부분적으로 상주할 수 있다. 프로세싱 모듈/유닛/로직(1528)은 네트워크 인터페이스 장치(1505)를 통해 네트워크를 통해 더 송신되거나 수신될 수 있다.
또한, 컴퓨터 판독 가능 저장 매체(1509)는 전술한 일부 소프트웨어 기능을 지속적으로 저장하는데 사용될 수 있다. 컴퓨터 판독 가능 저장 매체(1509)는 단일 매체로 예시적인 실시예로 도시되지만, "컴퓨터 판독 가능 저장 매체"라는 용어는 하나 이상의 명령어 세트들을 저장하는 단일 매체 또는 다중 매체(예를 들어, 중앙 집중식 또는 분산형 데이터베이스 및/또는 연관된 캐시들 및 서버들)를 포함하도록 취급되어야 한다. "컴퓨터 판독 가능 저장 매체"라는 용어는, 또한 기계에 의한 실행을 위한 명령 세트를 저장 또는 인코딩할 수 있고, 본 개시의 방법들 중 하나 이상을 기계가 수행하게 하는 임의의 매체를 포함하도록 취급될 것이다. 따라서, "컴퓨터 판독 가능 저장 매체"라는 용어는, 솔리드 스테이트 메모리, 광학 및 자기 매체, 또는 임의의 다른 비 일시적 기계 판독 가능 매체를 포함하도록 취급될 것이지만, 이에 한정되는 것은 아니다.
프로세싱 모듈/유닛/로직(1528), 본 명세서에서 설명된 구성 요소들 및 다른 특징들은, 개별 하드웨어 구성 요소들로서 구현되거나, ASIC, FPGA, DSP 또는 유사한 장치와 같은 하드웨어 구성 요소들의 기능성에 통합될 수 있다. 또한, 처리 모듈/유닛/로직(1528)은 하드웨어 장치 내의 펌웨어 또는 기능 회로로 구현될 수 있다. 또한, 처리 모듈/유닛/로직(1528)은 임의의 조합 하드웨어 장치 및 소프트웨어 구성 요소로 구현될 수 있다.
시스템(1500)은, 데이터 처리 시스템의 다양한 구성 요소로 도시되어 있지만, 구성 요소를 상호 접속시키는 임의의 특정 아키텍처 또는 방식을 나타내기 위한 것이 아니다. 이러한 세부 사항들은 본 개시의 실시예들과 관련되지 않다. 네트워크 컴퓨터들, 핸드 헬드 컴퓨터들, 이동 전화들, 서버들 및/또는 더 적은 구성 요소 또는 더 많은 구성 요소를 갖는 다른 데이터 처리 시스템들이 또한 본 개시의 실시예들과 함께 사용될 수 있다.
전술한 상세한 설명의 일부는, 컴퓨터 메모리 내의 데이터 비트에 대한 연산의 알고리즘 및 기호 표현과 관련하여 제시되었다. 이러한 알고리즘 설명 및 표현은, 데이터 처리 기술 분야의 당업자가 자신의 연구 내용을 다른 당업자에게 가장 효과적으로 전달하는데 사용되는 방법이다. 여기에서의 알고리즘은 일반적으로 원하는 결과를 이끌어내는 일관된 동작 순서로 인식된다. 이 동작들은 물리량의 물리적인 조작을 요구하는 것들이다.
그러나 이러한 모든 용어 및 그와 유사한 용어는 적절한 물리양과 관련되어 있으며 이러한 양에 적용되는 편리한 레이블이다. 상기 논의로부터 명백한 바와 같이 특별히 언급하지 않는 한, 명세서 전반에 걸쳐, 이하의 특허청구범위에 기재된 것과 같은 용어를 이용한 설명은 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 장치의 동작 및 프로세스를 참고하며, 동작 및 프로세스는 컴퓨터 시스템의 레지스터 및 메모리 내의 물리(전자) 양으로 표현된 데이터를 컴퓨터 시스템 메모리 또는 레지스터 또는 기타 정보 저장 장치, 전송 또는 디스플레이 장치 내에서 물리량으로 유사하게 표현되는 다른 데이터로 조작 및 변형한다.
본 개시의 실시예는 또한 본 명세서의 동작을 수행하기 위한 장치에 관한 것이다. 이러한 컴퓨터 프로그램은 비일시적 컴퓨터 판독 가능 매체에 저장된다. 기계 판독 가능 매체는, 기계(예를 들어, 컴퓨터) 판독 가능 형태로 정보를 저장하기 위한 임의의 메커니즘을 포함한다. 예를 들어, 기계 판독 가능(예를 들어, 컴퓨터 판독 가능) 매체는 기계(예를 들어, 컴퓨터) 판독 가능 저장 매체(예를 들어, 읽기 전용 메모리(ROM)), 랜덤 액세스 메모리(RAM), 자기 저장 매체, 광학 저장 매체, 플래시 메모리 장치)를 포함한다.
상기 도면들에 도시된 프로세스들 또는 방법들은, 하드웨어(예를 들어, 회로, 전용 로직 등), 소프트웨어(예를 들어, 비일시적인 컴퓨터 판독 가능 매체 상에 구현되는), 또는 이들의 조합을 포함하는 프로세싱 로직에 의해 수행될 수 있다. 프로세스들 또는 방법들이 몇몇 순차적인 동작들과 관련해서 위에서 설명되었지만, 기술된 동작들 중 일부는 다른 순서로 수행될 수 있다. 더욱이, 몇몇 동작들은 순차적이 아니라 병렬로 수행될 수 있다.
본 개시의 실시예는 임의의 특정 프로그래밍 언어를 참조하여 설명되지 않는다. 본 명세서에 설명된 본 개시의 실시예들의 교시를 구현하기 위해 다양한 프로그래밍 언어가 사용될 수 있다는 것을 이해할 것이다.
전술한 명세서에서, 본 개시의 실시예는 특정 실시예를 참조하여 설명되었다. 후술할 특허청구범위에 기재된 본 개시의 더 넓은 사상 및 범위를 벗어나지 않으면서도 다양한 변형이 가능하다는 것은 명백할 것이다. 따라서, 명세서 및 도면은 제한적인 의미라기보다는 예시적인 의미로 간주되어야 한다.

Claims (21)

  1. 자율 주행 차량을 동작시키기 위한 컴퓨터로 구현된 방법에 있어서,
    자율 주행 차량(ADV) 주변의 주행 환경을 인지하는 인지 데이터에 응답하여, 상기 주행 환경과 관련된 위치 정도 등 차로 레벨 정보가 포함되지 않은 일반 지도에서 지도 이미지를 획득하는 단계;
    상기 지도 이미지로부터 하나 이상의 물체를 인식하기 위해 상기 지도 이미지의 이미지 인식을 수행하는 단계;
    상기 인식된 물체들로부터 하나 이상의 특징들을 추출하되, 여기서 상기 하나 이상의 특징들은 상기 주행 환경의 교통 조건을 나타내고, 상기 교통 조건은 하나 이상의 교통 참여자의 위치 정보 및 속도를 포함하는 단계;
    상기 추출된 특징에 기초하여 상기 인지 데이터로부터 인지된 하나 이상의 교통 참여자들의 행동을 예측하는 단계; 및
    상기 하나 이상의 교통 참여자들의 상기 예측된 행동에 기초하여, 상기 ADV를 제어하여 상기 주행 환경에서 내비게이트하기 위한 궤적을 계획하는 단계를 포함하되,
    상기 하나 이상의 특징을 추출하는 단계는, 상기 지도 이미지가 도로 표지를 포함하지 않더라도, 상기 물체의 유형에 기초하여 가능한 상기 도로 표지를 예측하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 하나 이상의 물체는 상기 지도 이미지로부터 획득된 상기 물체의 형태 및 색상 중 적어도 하나에 기초하여 인식되는, 방법.
  3. 제 2 항에 있어서,
    상기 하나 이상의 물체는 복수의 도로의 교차로를 나타내는, 방법.
  4. 제 2 항에 있어서,
    상기 하나 이상의 물체는 복수의 도로에 연결된 원형 교차로(roundabout)를 나타내는, 방법.
  5. 제 2 항에 있어서,
    상기 하나 이상의 물체는, 도로를 따라 있는 주차장을 나타내는, 방법.
  6. 제 1 항에 있어서,
    상기 하나 이상의 특징을 추출하는 단계는, 상기 지도 이미지에 기초하여 도로의 곡률을 추정하는 단계를 포함하는, 방법.
  7. 삭제
  8. 명령어들을 저장하는 기계 판독 가능 매체로서, 상기 명령어들은 프로세서에 의해 실행될 때 상기 프로세서로 하여금 동작들을 수행하게 하고, 상기 동작들은,
    자율 주행 차량(ADV) 주변의 주행 환경을 인지하는 인지 데이터에 응답하여, 상기 주행 환경과 관련된 위치 정도 등 차로 레벨 정보가 포함되지 않은 일반 지도에서 지도 이미지를 획득하는 것;
    상기 지도 이미지로부터 하나 이상의 물체를 인식하기 위해 상기 지도 이미지의 이미지 인식을 수행하는 것;
    상기 인식된 물체들로부터 하나 이상의 특징들을 추출하되, 여기서 상기 하나 이상의 특징들은 상기 주행 환경의 교통 조건을 나타내고, 상기 교통 조건은 하나 이상의 교통 참여자의 위치 정보 및 속도를 포함하는 것;
    상기 추출된 특징에 기초하여 상기 인지 데이터로부터 인지된 하나 이상의 교통 참여자들의 행동을 예측하는 것; 및
    상기 하나 이상의 교통 참여자들의 상기 예측된 행동에 기초하여, 상기 ADV를 제어하여 상기 주행 환경에서 내비게이트하기 위한 궤적을 계획하는 것을 포함하되,
    상기 하나 이상의 특징을 추출하는 것은, 상기 지도 이미지가 도로 표지를 포함하지 않더라도, 상기 물체의 유형에 기초하여 가능한 상기 도로 표지를 예측하는 것을 포함하는, 비일시적 기계 판독 가능 매체.
  9. 제 8 항에 있어서,
    상기 하나 이상의 물체는, 상기 지도 이미지로부터 획득된 상기 물체의 형태 및 색상 중 적어도 하나에 기초하여 인식되는, 비일시적 기계 판독 가능 매체.
  10. 제 9 항에 있어서,
    상기 하나 이상의 물체는 복수의 도로의 교차로를 나타내는, 비일시적 기계 판독 가능 매체.
  11. 제 9 항에 있어서,
    상기 하나 이상의 물체는 복수의 도로에 연결된 원형 교차로를 나타내는, 비일시적 기계 판독 가능 매체.
  12. 제 9 항에 있어서,
    상기 하나 이상의 물체는, 도로를 따라 있는 주차장을 나타내는, 비일시적 기계 판독 가능 매체.
  13. 제 8 항에 있어서,
    상기 하나 이상의 특징을 추출하는 것은, 상기 지도 이미지에 기초하여 도로의 곡률을 추정하는 것을 포함하는, 비일시적 기계 판독 가능 매체.
  14. 삭제
  15. 데이터 처리 시스템에 있어서,
    프로세서; 및
    상기 프로세서에 결합되어 명령어들을 저장하는 메모리를 포함하고, 상기 명령어들은 상기 프로세서에 의해 실행될 때 상기 프로세서로 하여금 동작들을 수행하게 하며, 상기 동작들은,
    자율 주행 차량(ADV) 주변의 주행 환경을 인지하는 인지 데이터에 응답하여, 상기 주행 환경과 관련된 위치 정도 등 차로 레벨 정보가 포함되지 않은 일반 지도에서 지도 이미지를 획득하는 것;
    상기 지도 이미지로부터 하나 이상의 물체를 인식하기 위해 상기 지도 이미지의 이미지 인식을 수행하는 것;
    상기 인식된 물체들로부터 하나 이상의 특징들을 추출하되, 여기서 상기 하나 이상의 특징들은 상기 주행 환경의 교통 조건을 나타내고, 상기 교통 조건은 하나 이상의 교통 참여자의 위치 정보 및 속도를 포함하는 것;
    상기 추출된 특징에 기초하여 상기 인지 데이터로부터 인지된 하나 이상의 교통 참여자들의 행동을 예측하는 것; 및
    상기 하나 이상의 교통 참여자들의 상기 예측된 행동에 기초하여, 상기 ADV를 제어하여 상기 주행 환경에서 내비게이트하기 위한 궤적을 계획하는 것을 포함하되,
    상기 하나 이상의 특징을 추출하는 것은, 상기 지도 이미지가 도로 표지를 포함하지 않더라도, 상기 물체의 유형에 기초하여 가능한 상기 도로 표지를 예측하는 것을 포함하는, 데이터 처리 시스템.
  16. 제 15 항에 있어서,
    상기 하나 이상의 물체는 상기 지도 이미지로부터 획득된 상기 물체의 형태 및 색상 중 적어도 하나에 기초하여 인식되는, 데이터 처리 시스템.
  17. 제 16 항에 있어서,
    상기 하나 이상의 물체는 복수의 도로의 교차로를 나타내는, 데이터 처리 시스템.
  18. 제 16 항에 있어서,
    상기 하나 이상의 물체는 복수의 도로에 연결된 원형 교차로(roundabout)를 나타내는, 데이터 처리 시스템.
  19. 제 16 항에 있어서,
    상기 하나 이상의 물체는, 도로를 따라 있는 주차장을 나타내는, 데이터 처리 시스템.
  20. 제 15 항에 있어서,
    상기 하나 이상의 특징을 추출하는 것은, 상기 지도 이미지에 기초하여 도로의 곡률을 추정하는 것을 포함하는, 데이터 처리 시스템.
  21. 삭제
KR1020187007651A 2017-06-22 2017-06-22 자율 주행을 위한 지도 이미지에 기반한 교통 예측 Active KR102093047B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/089488 WO2018232681A1 (en) 2017-06-22 2017-06-22 Traffic prediction based on map images for autonomous driving

Publications (2)

Publication Number Publication Date
KR20190013688A KR20190013688A (ko) 2019-02-11
KR102093047B1 true KR102093047B1 (ko) 2020-03-24

Family

ID=64692699

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187007651A Active KR102093047B1 (ko) 2017-06-22 2017-06-22 자율 주행을 위한 지도 이미지에 기반한 교통 예측

Country Status (6)

Country Link
US (1) US11367354B2 (ko)
EP (1) EP3437022A4 (ko)
JP (1) JP6720296B2 (ko)
KR (1) KR102093047B1 (ko)
CN (1) CN109429518B (ko)
WO (1) WO2018232681A1 (ko)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11136034B2 (en) * 2017-06-20 2021-10-05 Nissan Motor Co., Ltd. Travel control method and travel control device
US10019011B1 (en) * 2017-10-09 2018-07-10 Uber Technologies, Inc. Autonomous vehicles featuring machine-learned yield model
US10752249B2 (en) * 2018-03-14 2020-08-25 Toyota Research Institute, Inc. Vehicle systems and methods for providing turn assistance at an intersection
US11602999B1 (en) * 2018-05-01 2023-03-14 Zoox, Inc. Predictive control strategies for vehicles
US10816979B2 (en) * 2018-08-24 2020-10-27 Baidu Usa Llc Image data acquisition logic of an autonomous driving vehicle for capturing image data using cameras
US10747230B2 (en) * 2018-10-08 2020-08-18 Mando Corporation Vehicle control apparatus, vehicle control system, and image sensor
US11167751B2 (en) * 2019-01-18 2021-11-09 Baidu Usa Llc Fail-operational architecture with functional safety monitors for automated driving system
JP7127071B2 (ja) * 2019-01-30 2022-08-29 バイドゥドットコム タイムズ テクノロジー （ベイジン） カンパニー リミテッド 自動運転車のための地図区画システム
KR102376709B1 (ko) * 2019-01-30 2022-03-18 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 자율 주행 차량을 위한 포인트 클라우드 등록 시스템
EP3696786B1 (en) * 2019-02-13 2023-12-13 Volkswagen Aktiengesellschaft System, vehicle, network component, apparatuses, methods, and computer programs for a vehicle and a network component
CN109801508B (zh) * 2019-02-26 2021-06-04 百度在线网络技术（北京）有限公司 路口处障碍物的运动轨迹预测方法及装置
FR3093690B1 (fr) * 2019-03-14 2021-02-19 Renault Sas Procédé de sélection pour un véhicule automobile d’une voie de circulation d’un rond-point
US11155258B2 (en) * 2019-03-25 2021-10-26 GM Global Technology Operations LLC System and method for radar cross traffic tracking and maneuver risk estimation
US11340613B2 (en) * 2019-03-29 2022-05-24 Baidu Usa Llc Communications protocols between planning and control of autonomous driving vehicle
EP3726497B1 (en) * 2019-04-15 2025-04-09 Zenuity AB Autonomous decisions in traffic situations with planning control
US11183059B2 (en) * 2019-04-22 2021-11-23 Baidu Usa Llc Parking management architecture for parking autonomous driving vehicles
KR102206512B1 (ko) 2019-05-10 2021-01-22 재단법인대구경북과학기술원 이동로봇의 센서 데이터를 활용한 교차점 패턴 인식모델 생성 방법 및 교차점 패턴 인식 시스템
KR102311691B1 (ko) * 2019-05-21 2021-10-12 엘지전자 주식회사 경로 제공 장치 및 그것의 경로 제공 방법
CN110162062B (zh) * 2019-06-10 2023-04-18 阿波罗智联(北京)科技有限公司 车辆行驶规划方法、装置、设备和可读存储介质
CN110288835B (zh) * 2019-06-28 2021-08-17 江苏大学 一种基于运动学预测补偿机制的周边车辆行为实时识别方法
US11704913B2 (en) * 2019-07-02 2023-07-18 Baidu Usa Llc Method for automatically labeling objects in past frames based on object detection of a current frame for autonomous driving
US11136048B2 (en) * 2019-07-22 2021-10-05 Baidu Usa Llc System for sensor synchronization data analysis in an autonomous driving vehicle
US10997435B2 (en) * 2019-08-08 2021-05-04 Nvidia Corporation Leveraging obstacle and lane detections to determine lane assignments for objects in an environment
JP2021043707A (ja) * 2019-09-11 2021-03-18 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US11591012B2 (en) * 2019-10-01 2023-02-28 Robert Bosch Gmbh Vehicle trajectory prediction using road topology and traffic participant object states
US11310269B2 (en) * 2019-10-15 2022-04-19 Baidu Usa Llc Methods to detect spoofing attacks on automated driving systems
CN110716552A (zh) * 2019-11-11 2020-01-21 朱云 汽车，火车，地铁以及飞机新型驾驶系统
CN112987707B (zh) * 2019-11-29 2025-02-25 北京京东乾石科技有限公司 一种车辆的自动驾驶控制方法及装置
US11891087B2 (en) 2019-12-20 2024-02-06 Uatc, Llc Systems and methods for generating behavioral predictions in reaction to autonomous vehicle movement
US12017681B2 (en) 2020-03-13 2024-06-25 Baidu Usa Llc Obstacle prediction system for autonomous driving vehicles
US11662745B2 (en) 2020-03-26 2023-05-30 Baidu Usa Llc Time determination of an inertial navigation system in autonomous driving systems
US11613275B2 (en) * 2020-04-27 2023-03-28 Baidu Usa Llc Grayscale-based camera perception
US11541903B2 (en) * 2020-06-03 2023-01-03 Waymo Llc Autonomous driving with surfel maps
US11698639B2 (en) * 2020-06-04 2023-07-11 Waymo Llc Predicting jaywalking behaviors of vulnerable road users
CN111860227B (zh) * 2020-06-30 2024-03-08 阿波罗智能技术(北京)有限公司 训练轨迹规划模型的方法、装置和计算机存储介质
CN111942407B (zh) * 2020-07-31 2022-09-23 商汤集团有限公司 轨迹预测方法、装置、设备及存储介质
US11748995B2 (en) 2020-09-29 2023-09-05 Toyota Research Institute, Inc. Object state tracking and prediction using supplemental information
CN114475642B (zh) * 2020-11-12 2023-12-05 上海海拉电子有限公司 一种面向自动驾驶的路口检测预警方法
US12043263B2 (en) * 2021-01-13 2024-07-23 Baidu Usa Llc Audio-based technique to sense and detect the road condition for autonomous driving vehicles
CN112950972B (zh) * 2021-01-25 2022-07-01 广州小鹏自动驾驶科技有限公司 一种停车场地图构建方法、装置、设备和介质
CN112885132A (zh) * 2021-01-27 2021-06-01 安徽蓝鸟智能停车科技产业化有限公司 一种基于ai无人驾驶智能调度系统及自动驾驶方法
CN113119996B (zh) * 2021-03-19 2022-11-08 京东鲲鹏(江苏)科技有限公司 一种轨迹预测方法、装置、电子设备及存储介质
CN113096427B (zh) * 2021-03-30 2022-08-26 北京三快在线科技有限公司 一种信息显示方法及装置
KR102507973B1 (ko) * 2021-04-28 2023-03-08 주식회사 한화 무인 반송 차량 및 이의 동작 방법
KR102549744B1 (ko) * 2021-07-12 2023-06-29 숭실대학교 산학협력단 심층강화학습기반 자율주행차를 이용한 도로정보시스템에서의 도로 흐름 제어 방법, 이를 수행하기 위한 기록 매체 및 장치
CN113815645B (zh) * 2021-09-14 2024-06-07 江苏大学 一种适用于环形交叉口的自动驾驶行为决策系统与运动规划方法
CN114049615B (zh) * 2021-11-12 2023-09-05 阿波罗智联(北京)科技有限公司 行驶环境中交通对象融合关联方法、装置及边缘计算设备
JP7691351B2 (ja) * 2021-11-17 2025-06-11 株式会社日立製作所 画像認識システム
CN114758311B (zh) * 2022-06-14 2022-09-02 北京航空航天大学 一种基于异质特征融合的交通流量预测方法及系统
CN116168370B (zh) * 2023-04-24 2023-07-18 北京数字政通科技股份有限公司 一种自动驾驶数据识别方法及其系统
US20250207938A1 (en) * 2023-12-22 2025-06-26 Here Global B.V. Method, apparatus, and computer program product for identifying turning circles and generating turning circles in map data

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101621649B1 (ko) * 2015-01-28 2016-05-16 한양대학교 산학협력단 동적 장애물에 대한 위치 분포 정보 생성 방법, 위치 분포 정보를 이용한 차량 제어 방법 및 시스템

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3760900D1 (en) * 1987-05-09 1989-12-07 Schenck Ag Carl Method for detecting changes in the driving range of an unmanned vehicle
JP3898709B2 (ja) * 2004-05-19 2007-03-28 本田技研工業株式会社 車両用走行区分線認識装置
JP2006309445A (ja) * 2005-04-27 2006-11-09 Aisin Aw Co Ltd 運転支援装置
KR20060134719A (ko) 2005-06-23 2006-12-28 주식회사 만도 차량의 주차 구획 인식방법
JP4257661B2 (ja) * 2006-06-30 2009-04-22 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置
US9302678B2 (en) * 2006-12-29 2016-04-05 Robotic Research, Llc Robotic driving system
US8751154B2 (en) * 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
CN101608924B (zh) 2009-05-20 2011-09-14 电子科技大学 一种基于灰度估计和级联霍夫变换的车道线检测方法
JP5441626B2 (ja) * 2009-11-06 2014-03-12 日立オートモティブシステムズ株式会社 車載用マルチアプリ実行装置
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
US8195394B1 (en) * 2011-07-13 2012-06-05 Google Inc. Object detection and classification for autonomous vehicles
US8655586B2 (en) 2011-12-28 2014-02-18 Toyota Motor Engineering & Manufacturing North America, Inc. Intelligent range map for an electric vehicle
US9221461B2 (en) * 2012-09-05 2015-12-29 Google Inc. Construction zone detection using a plurality of information sources
CN103226354A (zh) 2013-02-27 2013-07-31 广东工业大学 基于光电导航的无人驾驶道路识别系统
US9145139B2 (en) * 2013-06-24 2015-09-29 Google Inc. Use of environmental information to aid image processing for autonomous vehicles
US9523984B1 (en) * 2013-07-12 2016-12-20 Google Inc. Methods and systems for determining instructions for pulling over an autonomous vehicle
US20150106010A1 (en) 2013-10-15 2015-04-16 Ford Global Technologies, Llc Aerial data for vehicle navigation
US9988047B2 (en) * 2013-12-12 2018-06-05 Magna Electronics Inc. Vehicle control system with traffic driving control
US9395192B1 (en) 2013-12-20 2016-07-19 Google Inc. Methods and systems for road and lane boundary tracing
DE102014007914A1 (de) * 2014-05-27 2015-12-03 Elektrobit Automotive Gmbh Graphisches Darstellen von Straßen und Routen unter Benutzung von Hardware-Tesselierung
US10317231B2 (en) * 2014-06-10 2019-06-11 Mobileye Vision Technologies Ltd. Top-down refinement in lane marking navigation
JP6096723B2 (ja) * 2014-07-11 2017-03-15 株式会社日本自動車部品総合研究所 走行区画線認識装置及び走行区画線認識プログラム
WO2016024444A1 (ja) 2014-08-12 2016-02-18 ソニー株式会社 信号処理装置と信号処理方法およびモニタリングシステム
KR101610502B1 (ko) * 2014-09-02 2016-04-07 현대자동차주식회사 자율주행차량의 주행환경 인식장치 및 방법
US9870617B2 (en) * 2014-09-19 2018-01-16 Brain Corporation Apparatus and methods for saliency detection based on color occurrence analysis
DE102014224810B4 (de) 2014-12-03 2019-05-23 Elektrobit Automotive Gmbh Navigationssystem
US9528838B2 (en) * 2014-12-09 2016-12-27 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to intersection priority
US9576200B2 (en) * 2014-12-17 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Background map format for autonomous driving
WO2016118499A1 (en) * 2015-01-19 2016-07-28 The Regents Of The University Of Michigan Visual localization within lidar maps
JP6661883B2 (ja) * 2015-02-09 2020-03-11 株式会社デンソー 車両用表示制御装置及び車両用表示制御方法
AU2016219343B2 (en) * 2015-02-10 2021-09-02 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
US11370422B2 (en) * 2015-02-12 2022-06-28 Honda Research Institute Europe Gmbh Method and system in a vehicle for improving prediction results of an advantageous driver assistant system
JP6025273B2 (ja) * 2015-03-17 2016-11-16 富士重工業株式会社 車両の走行制御装置
US9711050B2 (en) * 2015-06-05 2017-07-18 Bao Tran Smart vehicle
US9632502B1 (en) * 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US10255523B2 (en) * 2015-11-16 2019-04-09 Orbital Insight, Inc. Moving vehicle detection and analysis using low resolution remote sensing imagery
US11010910B2 (en) * 2015-12-18 2021-05-18 Iris Automation, Inc. Systems and methods for dynamic object tracking using a single camera mounted on a moving object
CN105718872B (zh) * 2016-01-15 2020-02-04 武汉光庭科技有限公司 两侧车道快速定位及检测车辆偏转角度的辅助方法及系统
US10026309B1 (en) * 2016-04-11 2018-07-17 State Farm Mutual Automobile Insurance Company Networked vehicle control systems to facilitate situational awareness of vehicles
US9672446B1 (en) * 2016-05-06 2017-06-06 Uber Technologies, Inc. Object detection for an autonomous vehicle
US20170329332A1 (en) * 2016-05-10 2017-11-16 Uber Technologies, Inc. Control system to adjust operation of an autonomous vehicle based on a probability of interference by a dynamic object
CN106097444B (zh) * 2016-05-30 2017-04-12 百度在线网络技术（北京）有限公司 高精地图生成方法和装置
CN205992299U (zh) * 2016-08-25 2017-03-01 泉州理工职业学院 一种道路交通标志自动识别系统
CN106384506B (zh) 2016-09-03 2019-07-12 湖北鑫美企业发展股份有限公司 一种多车辆复杂路段的道路监控系统
US9953236B1 (en) * 2017-03-10 2018-04-24 TuSimple System and method for semantic segmentation using dense upsampling convolution (DUC)
US10438074B2 (en) * 2017-06-14 2019-10-08 Baidu Usa Llc Method and system for controlling door locks of autonomous driving vehicles based on lane information

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101621649B1 (ko) * 2015-01-28 2016-05-16 한양대학교 산학협력단 동적 장애물에 대한 위치 분포 정보 생성 방법, 위치 분포 정보를 이용한 차량 제어 방법 및 시스템

Also Published As

Publication number Publication date
US11367354B2 (en) 2022-06-21
CN109429518A (zh) 2019-03-05
EP3437022A1 (en) 2019-02-06
KR20190013688A (ko) 2019-02-11
JP6720296B2 (ja) 2020-07-08
WO2018232681A1 (en) 2018-12-27
US20180374360A1 (en) 2018-12-27
JP2019527862A (ja) 2019-10-03
CN109429518B (zh) 2022-10-28
EP3437022A4 (en) 2019-02-06

Similar Documents

Publication Publication Date Title
KR102093047B1 (ko) 자율 주행을 위한 지도 이미지에 기반한 교통 예측
US12017663B2 (en) Sensor aggregation framework for autonomous driving vehicles
US10816984B2 (en) Automatic data labelling for autonomous driving vehicles
US11328219B2 (en) System and method for training a machine learning model deployed on a simulation platform
KR102354615B1 (ko) 자율 주행 차량의 저속 정경을 위한 보행자 상호 작용 시스템
US10810872B2 (en) Use sub-system of autonomous driving vehicles (ADV) for police car patrol
KR102279078B1 (ko) 자율 주행 차량의 v2x 통신 기반의 차량 차로 시스템
KR102070530B1 (ko) 모션 계획에 기초한 자율 주행 차량의 운행 방법 및 시스템
JP6506805B2 (ja) 自律走行車の決定の評価フレームワーク
KR102062608B1 (ko) 자율 주행 차량의 제어 피드백에 기초한 맵 업데이트 방법 및 시스템
CN108733046B (zh) 用于自动驾驶车辆的轨迹重新规划的系统和方法
CN111076732A (zh) 基于车辆行驶的轨迹标记和生成高清地图的标记方案
JP7116065B2 (ja) 自律走行車に用いられるトンネルに基づく計画システム
CN111328411B (zh) 用于自动驾驶车辆的行人概率预测系统
CN110621541B (zh) 用于生成轨迹以操作自动驾驶车辆的方法和系统
CN111061261A (zh) 使用标准导航地图与基于车辆的先前轨迹确定的车道配置的自动驾驶
CN111857118B (zh) 对停车轨迹分段以控制自动驾驶车辆停车
CN111328385A (zh) 用于自动驾驶车辆的基于螺旋路径的三点转弯规划
CN111103876A (zh) 自动驾驶车辆的基于雷达通信的扩展感知
CN111328313A (zh) 用于自动驾驶车辆的控制占主导的三点转弯规划
CN111683851B (zh) 用于自动驾驶的自反向车道的相互避开算法
CN111801638A (zh) 基于枚举的自动驾驶车辆的三点转弯规划

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20180316

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190620

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20191226

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20190620

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

X091 Application refused [patent]
AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20191226

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20190820

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20200228

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20200128

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20191226

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20190820

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200318

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200318

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240222

Start annual number: 5

End annual number: 5