[go: up one dir, main page]

KR102737724B1 - 자율 주행 시스템 및 자율 주행 방법 - Google Patents

자율 주행 시스템 및 자율 주행 방법 Download PDF

Info

Publication number
KR102737724B1
KR102737724B1 KR1020200109296A KR20200109296A KR102737724B1 KR 102737724 B1 KR102737724 B1 KR 102737724B1 KR 1020200109296 A KR1020200109296 A KR 1020200109296A KR 20200109296 A KR20200109296 A KR 20200109296A KR 102737724 B1 KR102737724 B1 KR 102737724B1
Authority
KR
South Korea
Prior art keywords
distance
vehicle
map
precision map
quality index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020200109296A
Other languages
English (en)
Other versions
KR20220029823A (ko
Inventor
김태한
Original Assignee
주식회사 에이치엘클레무브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이치엘클레무브 filed Critical 주식회사 에이치엘클레무브
Priority to KR1020200109296A priority Critical patent/KR102737724B1/ko
Priority to US17/388,714 priority patent/US11913802B2/en
Priority to CN202110987344.6A priority patent/CN114103992B/zh
Publication of KR20220029823A publication Critical patent/KR20220029823A/ko
Application granted granted Critical
Publication of KR102737724B1 publication Critical patent/KR102737724B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/12—Conjoint control of vehicle sub-units of different type or different function including control of differentials
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0057—Frequency analysis, spectral techniques or transforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/40—High definition maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/10—Change speed gearings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/18—Braking system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2756/00—Output or target parameters relating to data
    • B60W2756/10—Involving external transmission of data to or from the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9316—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9322—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)

Abstract

실제 도로 상황을 고려하여 고정밀 지도의 오류를 판단할 수 있는 자율 주행 시스템은, 차량에 설치되어, 상기 차량의 전방 시야를 가지며, 전방 영상 데이터를 획득하는 제1 센서; 레이더와 라이다로 구성된 그룹에서 선택되어, 상기 차량에 설치되며, 상기 차량의 전방의 감지 시야를 가지고, 전방 감지 데이터를 획득하는 제2 센서; 외부 서버로부터 상기 차량의 현재 위치에서의 고정밀 지도(High Definition Map)를 수신하는 통신부; 및 상기 고정밀 지도와 상기 전방 영상 데이터와 상기 전방 감지 데이터를 처리하는 프로세서를 포함하는 제어부;를 포함하고, 상기 제어부는, 상기 전방 영상 데이터와 상기 전방 감지 데이터를 처리한 것에 응답하여 상기 차량과 우측 도로경계선 사이의 제1 거리 및 상기 차량과 좌측 도로경계선 사이의 제2 거리를 산출하고, 상기 고정밀 지도를 처리한 것에 응답하여 상기 차량과 상기 우측 도로경계선 사이의 제3 거리 및 상기 차량과 상기 좌측 도로경계선 사이의 제4 거리를 산출하고, 상기 제1 거리, 상기 제2 거리, 상기 제3 거리 및 상기 제4 거리에 기초하여 상기 고정밀 지도의 지도 품질 지수를 결정하고, 상기 지도 품질 지수에 기초하여 상기 고정밀 지도의 오류를 판단한다.

Description

자율 주행 시스템 및 자율 주행 방법{AUTONOMOUS DRIVING SYSTEM AND AUTONOMOUS DRIVING MEHOD}
자율 주행 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 고정밀 지도의 오류를 판단할 수 있는 자율 주행 시스템 및 그 방법에 관한 것이다.
차량은 도로나 선로를 주행하면서 사람이나 물건을 목적지까지 운반할 수 있는 장치를 의미한다. 차량은 주로 차체에 설치된 하나 이상의 차륜을 이용하여 여러 위치로 이동할 수 있다. 이와 같은 차량으로는 삼륜 또는 사륜 자동차나, 모터사이클 등의 이륜 자동차나, 건설 기계, 자전거 및 선로 상에 배치된 레일 위에서 주행하는 열차 등이 있을 수 있다.
최근에는 운전자의 부담을 경감시켜주고 편의를 증진시켜주기 위하여 차량 상태, 운전자 상태, 및 주변 환경에 대한 정보를 능동적으로 제공하는 첨단 운전자 보조 시스템(Advanced Driver Assist System; ADAS)이 탑재된 차량에 대한 연구가 활발히 진행되고 있으며, 운전자 보조 시스템을 이용한 자율 주행 시스템에 대한 연구가 활발히 진행되고 있다.
차량에 탑재되는 첨단 자율 주행 시스템이 고도화 되면서, 고정밀 지도(High Definition Map)는 자율 주행 시스템의 필수 요소로서 활용되고 있다.
그러나, 고정밀 지도에 오류가 있는 경우 자율 주행 시스템의 심각한 오동작 상황을 유발할 수 있다.
본 개시의 일 측면은 실제 도로 상황을 고려하여 고정밀 지도의 오류를 판단할 수 있는 자율 주행 시스템 및 자율 주행 방법을 제공한다.
상술한 목적을 달성하기 위한 일 실시예에 따른 자율 주행 시스템은, 차량에 설치되어, 상기 차량의 전방 시야를 가지며, 전방 영상 데이터를 획득하는 제1 센서; 레이더와 라이다로 구성된 그룹에서 선택되어, 상기 차량에 설치되며, 상기 차량의 전방의 감지 시야를 가지고, 전방 감지 데이터를 획득하는 제2 센서; 클라우드 서버로부터 상기 차량의 현재 위치에서의 고정밀 지도(High Definition Map)를 수신하는 통신부; 및 상기 고정밀 지도와 상기 전방 영상 데이터와 상기 전방 감지 데이터를 처리하는 프로세서를 포함하는 제어부;를 포함하고, 상기 제어부는, 상기 전방 영상 데이터와 상기 전방 감지 데이터를 처리한 것에 응답하여 상기 차량과 우측 도로경계선 사이의 제1 거리 및 상기 차량과 좌측 도로경계선 사이의 제2 거리를 산출하고, 상기 고정밀 지도를 처리한 것에 응답하여 상기 차량과 상기 우측 도로경계선 사이의 제3 거리 및 상기 차량과 상기 좌측 도로경계선 사이의 제4 거리를 산출하고, 상기 제1 거리, 상기 제2 거리, 상기 제3 거리 및 상기 제4 거리에 기초하여 상기 고정밀 지도의 지도 품질 지수를 결정하고, 상기 지도 품질 지수에 기초하여 상기 고정밀 지도의 오류를 판단할 수 있다.
또한 상기 제어부는, 상기 지도 품질 지수가 미리 설정된 임계 값 이하이면 상기 고정밀 지도에 오류가 있는 것으로 판단할 수 있다.
또한 상기 제어부는, 상기 제1 거리와 상기 제3 거리 사이의 평균 제곱근 오차(RMSE)가 제1 미리 설정된 값 이상이면 상기 지도 품질 지수를 감소시킬 수 있다.
또한 상기 제어부는, 상기 제1 거리와 상기 제3 거리 사이의 평균 제곱근 오차(RMSE)가 상기 제1 미리 설정된 값보다 작은 제2 미리 설정된 값 이하이면 상기 지도 품질 지수를 향상시킬 수 있다.
또한 상기 제어부는, 상기 제2 거리와 상기 제4 거리 사이의 평균 제곱근 오차(RMSE)가 제1 미리 설정된 값 이상이면 상기 지도 품질 지수를 감소시킬 수 있다.
또한 상기 제어부는, 상기 제1 거리와 상기 제3 거리 사이의 평균 제곱근 오차(RMSE)가 상기 제1 미리 설정된 값보다 작은 제2 미리 설정된 값 이하이면 상기 지도 품질 지수를 향상시킬 수 있다.
또한 상기 제어부는, 상기 전방 영상 데이터와 상기 전방 감지 데이터를 처리한 것에 응답하여 검출된 차선의 색상 또는 모양이 상기 고정밀 지도를 처리한 것에 응답하여 획득된 차선의 색상 또는 모양과 상이하면 상기 지도 품질 지수를 감소시킬 수 있다.
또한 상기 제어부는, 상기 제1 거리와 상기 제3 거리 사이의 평균 제곱근 오차와 상기 제2 거리와 상기 제4 거리 사이의 평균 제곱근 오차의 합이 최소가 되도록 상기 고정밀 지도 상에서의 상기 차량의 좌표를 결정할 수 있다.
또한 상기 제어부는, 상기 고정밀 지도에 오류가 있는 것으로 판단되면 상기 차량의 제어권을 운전자에게 이양할 수 있다.
또한 상기 제어부는, 상기 고정밀 지도에 오류가 있는 것으로 판단되면 상기 통신부를 제어하여 상기 전방 영상 데이터 또는 상기 전방 감지 데이터 중 적어도 하나를 상기 서버로 전송할 수 있다.
상술한 목적을 달성하기 위한 일 실시예에 따른 자율 주행 방법은, 차량에 설치되어 상기 차량의 전방 시야를 가지는 전방 카메라가, 전방 영상 데이터를 획득하고; 상기 차량의 통신부가, 외부 서버로부터 상기 차량의 현재 위치에서의 고정밀 지도를 수신하고; 상기 전방 영상 데이터를 처리한 것에 응답하여 상기 차량과 우측 도로경계선 사이의 제1 거리 및 상기 차량과 좌측 도로경계선 사이의 제2 거리를 산출하고; 상기 고정밀 지도를 처리한 것에 응답하여 상기 차량과 상기 우측 도로경계선 사이의 제3 거리 및 상기 차량과 상기 좌측 도로경계선 사이의 제4 거리를 산출하고; 상기 제1 거리, 상기 제2 거리, 상기 제3 거리 및 상기 제4 거리에 기초하여 상기 고정밀 지도의 지도 품질 지수를 결정하고; 상기 지도 품질 지수에 기초하여 상기 고정밀 지도의 오류를 판단하는 것;을 포함할 수 있다.
또한, 상기 지도 품질 지수에 기초하여 상기 고정밀 지도의 오류를 판단하는 것은, 상기 지도 품질 지수가 미리 설정된 임계 값 이하이면 상기 고정밀 지도에 오류가 있는 것으로 판단하는 것;을 포함할 수 있다.
또한, 상기 제1 거리, 상기 제2 거리, 상기 제3 거리 및 상기 제4 거리에 기초하여 상기 고정밀 지도의 지도 품질 지수를 결정하는 것은, 상기 제1 거리와 상기 제3 거리 사이의 평균 제곱근 오차(RMSE)가 제1 미리 설정된 값 이상이면 상기 지도 품질 지수를 감소시키는 것;을 포함할 수 있다.
또한, 상기 제1 거리, 상기 제2 거리, 상기 제3 거리 및 상기 제4 거리에 기초하여 상기 고정밀 지도의 지도 품질 지수를 결정하는 것은, 상기 제1 거리와 상기 제3 거리 사이의 평균 제곱근 오차(RMSE)가 상기 제1 미리 설정된 값보다 작은 제2 미리 설정된 값 이하이면 상기 지도 품질 지수를 향상시키는 것;을 더 포함할 수 있다.
또한, 상기 제1 거리, 상기 제2 거리, 상기 제3 거리 및 상기 제4 거리에 기초하여 상기 고정밀 지도의 지도 품질 지수를 결정하는 것은, 상기 제2 거리와 상기 제4 거리 사이의 평균 제곱근 오차(RMSE)가 제1 미리 설정된 값 이상이면 상기 지도 품질 지수를 감소시키는 것;을 포함할 수 있다.
또한, 상기 제1 거리, 상기 제2 거리, 상기 제3 거리 및 상기 제4 거리에 기초하여 상기 고정밀 지도의 지도 품질 지수를 결정하는 것은, 상기 제1 거리와 상기 제3 거리 사이의 평균 제곱근 오차(RMSE)가 상기 제1 미리 설정된 값보다 작은 제2 미리 설정된 값 이하이면 상기 지도 품질 지수를 향상시키는 것;을 더 포함할 수 있다.
또한, 상기 자율 주행 방법은,상기 전방 영상 데이터를 처리한 것에 응답하여 검출된 차선의 색상 또는 모양이 상기 고정밀 지도를 처리한 것에 응답하여 획득된 차선의 색상 또는 모양과 상이하면 상기 지도 품질 지수를 감소시키는 것;을 더 포함할 수 있다.
또한, 상기 자율 주행 방법은, 상기 제1 거리와 상기 제3 거리 사이의 평균 제곱근 오차와 상기 제2 거리와 상기 제4 거리 사이의 평균 제곱근 오차의 합이 최소가 되도록 상기 고정밀 지도 상에서의 상기 차량의 좌표를 결정하는 것;을 더 포함할 수 있다.
또한, 상기 자율 주행 방법은,상기 고정밀 지도에 오류가 있는 것으로 판단되면 상기 차량의 제어권을 운전자에게 이양하는 것;을 더 포함할 수 있다.
또한, 상기 자율 주행 방법은, 상기 고정밀 지도에 오류가 있는 것으로 판단되면 상기 통신부를 제어하여 상기 전방 영상 데이터를 상기 서버로 전송하는 것;을 더 포함할 수 있다.
본 개시의 일 측면에 따르면, 고정밀 지도의 오류를 신속하게 판단하여 고정밀 지도의 오류에 따른 자율 주행 시스템의 오동작을 방지할 수 있다.
도 1은 일 실시예에 따른 차량의 구성을 도시한다.
도 2은 일 실시예에 따른 자율 주행 시스템의 구성을 도시한다.
도 3은 일 실시예에 따른 자율 주행 시스템에 포함된 카메라 및 레이더를 도시한다.
도 4는 일 실시예에 따른 자율 주행 방법의 순서도이다.
도 5는 일 실시예에 따른 자율 주행 시스템이 획득한 전방 영상 데이터와 고정밀 지도를 나타낸 도면이다.
도 6 내지 도 10은 고정밀 지도에 오류가 있는 것으로 판단될 수 있는 상황을 도시한 도면이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
도 1은 일 실시예에 의한 차량의 구성을 도시한다.
도 1에 도시된 바와 같이, 차량(1)은 엔진(10)과, 변속기(20)와, 제동 장치(30)와, 조향 장치(40)를 포함한다. 엔진(10)은 실린더와 피스톤을 포함하며, 차량(1)이 주행하기 위한 동력을 생성할 수 있다. 변속기(20)는 복수의 기어들을 포함하며, 엔진(10)에 의하여 생성된 동력을 차륜까지 전달할 수 있다. 제동 장치(30)는 차륜과의 마찰을 통하여 차량(1)을 감속시키거나 차량(1)을 정지시킬 수 있다. 조향 장치(40)는 차량(1)의 주행 방향을 변경시킬 수 있다.
차량(1)은 복수의 전장 부품들을 포함할 수 있다. 예를 들어, 차량(1)은 엔진 관리 시스템(Engine Management System, EMS) (11)과, 변속기 제어 유닛(Transmission Control Unit, TCU) (21)과, 전자식 제동 제어 모듈(Electronic Brake Control Module) (31)과, 전자식 조향 장치(Electronic Power Steering, EPS) (41)과, 바디 컨트롤 모듈(Body Control Module, BCM)과, 자율 주행 시스템(100)을 포함할 수 있다.
엔진 관리 시스템(11)은 가속 페달을 통한 운전자의 가속 의지 또는 자율 주행 시스템(100)의 요청에 응답하여 엔진(10)을 제어할 수 있다. 예를 들어, 엔진 관리 시스템(11)은 엔진(10)의 토크를 제어할 수 있다.
변속기 제어 유닛(21)은 변속 레버를 통한 운전자의 변속 명령 및/또는 차량(1)의 주행 속도에 응답하여 변속기(20)를 제어할 수 있다. 예를 들어, 변속기 제어 유닛(21)은 엔진(10)으로부터 차륜까지의 변속 비율을 조절할 수 있다.
전자식 제동 제어 모듈(31)은 제동 페달을 통한 운전자의 제동 의지 및/또는 차륜들의 슬립(slip)에 응답하여 제동 장치(30)를 제어할 수 있다. 예를 들어, 전자식 제동 제어 모듈(31)은 차량(1)의 제동 시에 감지되는 차륜의 슬립에 응답하여 차륜의 제동을 일시적으로 해제할 수 있다(Anti-lock Braking Systems, ABS). 전자식 제동 제어 모듈(31)은 차량(1)의 조향 시에 감지되는 오버스티어링(oversteering) 및/또는 언더스티어링(understeering)에 응답하여 차륜의 제동을 선택적으로 해제할 수 있다(Electronic stability control, ESC). 또한, 전자식 제동 제어 모듈(31)은 차량(1)의 구동 시에 감지되는 차륜의 슬립에 응답하여 차륜을 일시적으로 제동할 수 있다(Traction Control System, TCS).
전자식 조향 장치(41)는 스티어링 휠을 통한 운전자의 조향 의지에 응답하여 운전자가 쉽게 스티어링 휠을 조작할 수 있도록 조향 장치(40)의 동작을 보조할 수 있다. 예를 들어, 전자식 조향 장치(41)는 저속 주행 또는 주차 시에는 조향력을 감소시키고 고속 주행 시에는 조향력을 증가시키도록 조향 장치(40)의 동작을 보조할 수 있다.
바디 컨트롤 모듈(51)은 운전자에게 편의를 제공하거나 운전자의 안전을 보장하는 전장 부품들의 동작을 제어할 수 있다. 예를 들어, 바디 컨트롤 모듈(51)은 헤드 램프, 와이퍼, 클러스터, 다기능 스위치 및 방향 지시 램프 등을 제어할 수 있다.
자율 주행 시스템(100)은 운전자가 차량(1)을 조작(구동, 제동, 조향)하는 것을 보조할 수 있다. 예를 들어, 자율 주행 시스템(100)은 차량(1)이 주행 중인 도로의 환경(예를 들어, 다른 차량, 보행자, 사이클리스트(cyclist), 차선, 도로 표지판, 신호등 등)을 감지하고, 감지된 환경에 응답하여 차량(1)의 구동 및/또는 제동 및/또는 조향을 제어할 수 있다.
또 다른 예로, 자율 주행 시스템(100)은 외부 서버로부터 차량의 현재 위치에서의 고정밀 지도를 수신하고, 수신된 고정밀 지도에 응답하여 차량(1)의 구동 및/또는 제동 및/또는 조향을 제어할 수 있다.
자율 주행 시스템(100)은 운전자에게 다양한 기능을 제공할 수 있다. 예를 들어, 자율 주행 시스템(100)은 차선 이탈 경고(Lane Departure Warning, LDW)와, 차선 유지 보조(Lane Keeping Assist, LKA)와, 상향등 보조(High Beam Assist, HBA)와, 자동 긴급 제동(Autonomous Emergency Braking, AEB)과, 교통 표지판 인식(Traffic Sign Recognition, TSR)과, 스마트 크루즈 컨트롤(Smart Cruise Control, SCC)과, 사각지대 감지(Blind Spot Detection, BSD)와, 관성 주행 안내 등을 제공할 수 있다.
자율 주행 시스템(100)은 차량(1) 주변의 영상 데이터를 획득하는 카메라 모듈(101)과, 차량(1) 주변의 객체 데이터를 획득하는 레이더 모듈(102)과 차량(1)의 주변을 스캔하며 객체를 감지하는 라이다 모듈(103)을 포함할 수 있다. 카메라 모듈(101)은 카메라(101a)와 제어기(Electronic Control Unit, ECU) (101b)를 포함하며, 차량(1)의 전방을 촬영하고 다른 차량, 보행자, 사이클리스트, 차선, 도로 표지판, 구조물 등을 인식할 수 있다. 레이더 모듈(102)은 레이더(102a)와 제어기(102b)를 포함하며, 차량(1) 주변의 객체(예를 들어, 다른 차량, 보행자, 사이클리스트, 구조물 등)의 상대 위치, 상대 속도 등을 획득할 수 있다.
라이다 모듈(103)은 라이다(103a)와 제어기(103b)를 포함하며, 차량(1)의 주변의 이동 객체(예를 들어, 다른 차량, 보행자, 사이클리스트 등)의 상대 위치, 상대 속도 등을 획득할 수 있다. 또한, 라이다 모듈(103)은 주변의 고정 객체(예를 들어, 건물, 표지판, 신호등, 방지턱 등)의 형상 및 위치를 획득할 수 있다.
구체적으로, 라이다 모듈(103)은 차량(1)의 외부 시야에 대한 점구름 데이터(point cloud data)를 획득하여 차량(1) 주변의 고정 객체의 형상 및 위치를 획득할 수 있다.
즉, 자율 주행 시스템(100)은 카메라 모듈(101)에서 획득한 영상 데이터와 레이더 모듈(102)에서 획득한 감지 데이터와 라이더 모듈(103)에서 획득한 점구름 데이터를 처리하고, 영상 데이터와 감지 데이터와 점구름 데이터를 처리한 것에 응답하여 차량(1)이 주행 중인 도로의 환경, 차량(1)의 전방에 위치하는 전방 객체 및 차량(1)의 측방에 위치하는 측방 객체 및 차량(1)의 후방에 위치하는 후방 객체를 감지할 수 있다.
자율 주행 시스템(100)은 도 1에 도시된 바에 한정되지 아니하며, 라이다 모듈(103)은 레이더 모듈(102)과 대체되거나 함께 사용될 수 있다.자율 주행 시스템(100)은 클라우드 서버로부터 상기 차량의 현재 위치에서의 고정밀 지도(High Definition Map)를 수신하는 통신부(150)를 포함할 수 있다.
통신부(150)는 무선 통신 네트워크에 접속할 수 있도록 통신 칩, 안테나 및 관련 부품을 이용하여 구현될 수 있다. 즉, 통신부(150)는 외부 서버와 원거리 통신이 가능한 다양한 형태의 통신 모듈로 구현될 수 있다. 즉, 통신부(150)는 외부 서버와 무선으로 데이터를 송수신하는 무선 통신 모듈을 포함할 수 있다.
이상의 전자 부품들은 차량용 통신 네트워크(NT)를 통하여 서로 통신할 수 있다. 예를 들어, 전장 부품들은 이더넷(Ethernet), 모스트(MOST, Media Oriented Systems Transport), 플렉스레이(Flexray), 캔(CAN, Controller Area Network), 린(LIN, Local Interconnect Network) 등을 통하여 데이터를 주고 받을 수 있다. 예를 들어, 자율 주행 시스템(100)은 엔진 관리 시스템(11), 전자식 제동 제어 모듈(31) 및 전자식 조향 장치(41)에 각각 차량용 통신 네트워크(NT)를 통하여 구동 제어 신호, 제동 신호 및 조향 신호를 전송할 수 있다.
도 2는 일 실시예에 의한 자율 주행 시스템의 구성을 도시한다. 도 3은 일 실시예에 의한 자율 주행 시스템에 포함된 카메라 및 레이더를 도시한다.
도 2에 도시된 바와 같이, 차량(1)은 제동 시스템(32)과, 조향 시스템(42)과, 자율 주행 시스템(100)을 포함할 수 있다.
제동 시스템(32)은 도 1과 함께 설명된 전자식 제동 제어 모듈(31, 도 1 참조)과 제동 장치(30, 도 1 참조)를 포함하며, 조향 시스템(42)은 전자식 조향 장치(41, 도 1 참조)와 조향 장치(40, 도 1 참조)를 포함할 수 있다.
제동 시스템(32) 및 조향 시스템(42)은 자율 주행 시스템(100)의 제어 신호에 기초하여 차량(1)이 자율 주행을 수행하도록 차량(1)을 제어할 수 있다.
자율 주행 시스템(100)은 전방 카메라(110)와, 전방 레이더(120)와, 복수의 코너 레이더들(130)과, 라이다(135)와, 통신부(150)를 포함할 수 있다.
전방 카메라(110)는 도 3에 도시된 바와 같이 차량(1)의 전방을 향하는 시야(field of view) (110a)를 가질 수 있다. 전방 카메라(110)는 예를 들어 차량(1)의 프론트 윈드 쉴드에 설치될 수 있으나, 차량(1)의 전방을 향하는 시야를 갖는다면 어느 위치든지 제한 없이 마련될 수 있다.
전방 카메라(110)는 차량(1)의 전방을 촬영하고, 차량(1) 전방의 영상 데이터를 획득할 수 있다. 차량(1) 전방의 영상 데이터는 차량(1)의 전방에 위치하는 도로경계선에 관한 위치를 포함할 수 있다.
전방 카메라(110)는 복수의 렌즈들 및 이미지 센서를 포함할 수 있다. 이미지 센서는 광을 전기 신호로 변환하는 복수의 포토 다이오드들을 포함할 수 있으며, 복수의 포토 다이오드들이 2차원 매트릭스로 배치될 수 있다.
전방 카메라(110)는 제어부(140)와 전기적으로 연결될 수 있다. 예를 들어, 전방 카메라(110)는 차량용 통신 네트워크(NT)를 통하여 제어부(140)와 연결되거나, 하드 와이어(hard wire)를 통하여 제어부(140)와 연결되거나, 인쇄 회로 기판(Printed Circuit Board, PCB)을 통하여 제어부(140)와 연결될 수 있다.
전방 카메라(110)는 차량(1) 전방의 영상 데이터(이하 '전방 영상 데이터')를 제어부(140)로 전달할 수 있다.
전방 레이더(120)는 도 3에 도시된 바와 같이 차량(1)의 전방을 향하는 감지 시야(field of sensing) (120a)을 가질 수 있다. 전방 레이더(120)는 예를 들어 차량(1)의 그릴(grille) 또는 범퍼(bumper)에 설치될 수 있다.
전방 레이더(120)는 차량(1)의 전방을 향하여 송신 전파를 방사하는 송신 안테나(또는 송신 안테나 어레이)와, 객체에 반사된 반사 전파를 수신하는 수신 안테나(또는 수신 안테나 어레이)를 포함할 수 있다. 전방 레이더(120)는 송신 안테나에 의한 송신된 송신 전파와 수신 안테나에 의하여 수신된 반사 전파로부터 전방 감지 데이터를 획득할 수 있다. 전방 감지 데이터는 차량(1) 전방에 위치하는 다른 차량 또는 보행자 또는 사이클리스트에 관한 거리 정보 및 속도 정도를 포함할 수 있다. 전방 레이더(120)는 송신 전파와 반사 전파 사이의 위상 차이(또는 시간 차이)에 기초하여 객체까지의 상태 거리를 산출하고, 송신 전파와 반사 전파 사이의 주파수 차이에 기초하여 객체의 상대 속도를 산출할 수 있다.
전방 레이더(120)는 예를 들어 차량용 통신 네트워크(NT) 또는 하드 와이어 또는 인쇄 회로 기판을 통하여 제어부(140)와 연결될 수 있다. 전방 레이더(120)는 전방의 감지 데이터(이하 '전방 감지 데이터')를 제어부(140)로 전달할 수 있다.
복수의 코너 레이더들(130)은 차량(1)의 전방 우측에 설치되는 제1 코너 레이더(131)와, 차량(1)의 전방 좌측에 설치되는 제2 코너 레이더(132)와, 차량(1)의 후방 우측에 설치되는 제3 코너 레이더(133)와, 차량(1)의 후방 좌측에 설치되는 제4 코너 레이더(134)를 포함한다.
제1 코너 레이더(131)는 도 3에 도시된 바와 같이 차량(1)의 전방 우측을 향하는 감지 시야(131a)를 가질 수 있다. 전방 레이더(120)는 예를 들어 차량(1)의 전방 범퍼의 우측에 설치될 수 있다. 제2 코너 레이더(132)는 차량(1)의 전방 좌측을 향하는 감지 시야(132a)를 가질 수 있으며, 예를 들어 차량(1)의 전방 범퍼의 좌측에 설치될 수 있다. 제3 코너 레이더(133)는 차량(1)의 후방 우측을 향하는 감지 시야(133a)를 가질 수 있으며, 예를 들어 차량(1)의 후방 범퍼의 우측에 설치될 수 있다. 제4 코너 레이더(134)는 차량(1)의 후방 좌측을 향하는 감지 시야(134a)를 가질 수 있으며, 예를 들어 차량(1)의 후방 범퍼의 좌측에 설치될 수 있다.
제1, 제2, 제3 및 제4 코너 레이더들(131, 132, 133, 134) 각각은 송신 안테나와 수신 안테나를 포함할 수 있다. 제1, 제2, 제3 및 제4 코너 레이더들(131, 132, 133, 134)은 각각 제1 코너 감지 데이터와 제2 코너 감지 데이터와 제3 코너 감지 데이터와 제4 코너 감지 데이터를 획득할 수 있다. 제1 코너 감지 데이터는 차량(1) 전방 우측에 위치하는 다른 차량 또는 보행자 또는 사이클리스트 또는 구조물(이하 "객체"라 한다)에 관한 거리 정보 및 속도 정도를 포함할 수 있다. 제2 코너 감지 데이터는 차량(1) 전방 좌측에 위치하는 객체의 거리 정보 및 속도 정도를 포함할 수 있다. 제3 및 제4 코너 감지 데이터는 차량(1) 후방 우측 및 차량(1) 후방 좌측에 위치하는 객체의 거리 정보 및 상대 속도를 포함할 수 있다.
제1, 제2, 제3 및 제4 코너 레이더들(131, 132, 133, 134) 각각은 예를 들어 차량용 통신 네트워크(NT) 또는 하드 와이어 또는 인쇄 회로 기판을 통하여 제어부(140)와 연결될 수 있다. 제1, 제2, 제3 및 제4 코너 레이더들(131, 132, 133, 134)은 각각 제1, 제2, 제3 및 제4 코너 감지 데이터를 제어부(140)로 전달할 수 있다.
라이다(135)는 차량(1)의 주변의 이동 객체(예를 들어, 다른 차량, 보행자, 사이클리스트 등)의 상대 위치, 상대 속도 등을 획득할 수 있다. 또한, 라이다(135)는 주변의 고정 객체(예를 들어, 건물, 표지판, 신호등, 방지턱 등)의 형상 및 위치를 획득할 수 있다. 라이다(135)는 차량(1)의 외부 시야(135a)를 가지도록 차량(1)에 설치되고, 차량(1) 외부 시야(135a)에 대한 점구름 데이터를 획득할 수 있다.
예를 들어, 라이다(135)는 도 3에 도시된 바와 같이 차량(1)의 외부 시야(135a)를 갖기 위해 차량(1)의 외부에 마련될 수 있으며, 더욱 상세하게는, 차량(1)의 루프 상에 마련될 수 있다.
라이다(135)는 광을 방사하는 발광부와, 발광부에서 발신된 광이 장애물로부터 반사되면 반사광 중 미리 설정된 방향의 광을 수신하도록 마련된 수광부와, 발광부 및 수광부가 고정되는 회로 기판을 포함할 수 있다. 이때, 회로 기판(printed circuit board, PCB)은, 회전 구동부에 의해 회전하는 지지판에 마련됨으로써, 시계 또는 반시계 방향으로 360도 회전이 가능하다.
즉, 지지판은, 회전 구동부로부터 전달되는 동력에 따라 축을 중심으로 회전할 수 있으며, 발광부 및 수광부는 회로 기판에 고정되어 회로 기판의 회전과 함께 시계 또는 반시계 방향으로 360도 회전 가능하도록 마련된다. 이를 통해, 라이다(135)는, 360도로 광을 방사하여 수신함으로써, 전방위(135a)에서의 객체를 감지할 수 있다.
발광부는 광(예: 적외선 레이저)을 발신하는 구성으로, 실시 예에 따라 단일 또는 복수 개로 마련될 수 있다.
수광부는 발광부에서 발신된 광이 장애물로부터 반사되면 반사된 광 중 미리 설정된 방향의 광을 수신하도록 마련된다. 수광부에 광이 수신되어 생성된 출력 신호는 제어부(140)의 객체 검출 과정에 제공될 수 있다.
수광부는 수신되는 광을 집광하는 집광 렌즈와 수신되는 광을 검출하는 광 센서를 포함할 수 있다. 실시 예에 따라 수광부는 광 센서에서 검출된 광을 증폭하는 증폭기를 포함할 수도 있다.
라이다(135)는 객체의 외부 표면들 상의 수많은 점(point)들에 대한 데이터를 수신할 수 있으며, 이러한 점들에 대한 데이터의 집합인 점구름 데이터를 획득할 수 있다.
제어부(140)는 카메라 모듈(101, 도 1 참조)의 제어기(101b, 도 1 참조) 및/또는 레이더 모듈(102, 도 1 참조)의 제어기(102b, 도 1 참조) 및/또는 라이다 모듈(103, 도 1 참조)의 제어기(103b, 도 1 참조) 및/또는 별도의 통합 제어기를 포함할 수 있다.
이하에서는 설명의 편의를 위하여 전방 레이더(120)로부터 획득한 전방 감지 데이터가 라이다(135)로부터 획득한 점구름 데이터와 대체되거나 혼용될 수 있다고 가정한다. 다시 말해서, 전방 레이더(120)로부터 획득한 전방 감지 데이터는 라이다(135)로부터 획득한 차량(1)의 전방에 대한 점구름 데이터를 의미할 수 있다.
제어부(140)는 프로세서(141)와 메모리(142)를 포함할 수 있다.
프로세서(141)는 전방 카메라(110)의 전방 영상 데이터와 전방 레이더(120)의 전방 감지 데이터를 처리하고, 제동 시스템(32) 및 조향 시스템(42)을 제어하기 위한 제동 신호 및 조향 신호를 생성할 수 있다. 또한, 프로세서(141)는 전방 카메라(110)의 전방 영상 데이터와 전방 레이더(120)의 전방 감지 데이터를 처리한 것에 응답하여 차량(1)과 우측 도로경계선 사이의 거리(이하 '제1 거리') 및 차량(1)과 좌측 도로경계선 사이의 거리(이하 '제2 거리')를 산출할 수 있다.
제1 거리와 제2 거리를 산출하는 방식으로는 통상의 영상 데이터 처리 기술 및/또는 레이더/라이다 데이터 처리 기술이 활용될 수 있다.
프로세서(141)는 전방 카메라(110)의 전방 영상 데이터와 전방 레이더(120)의 전방 감지 데이터를 처리하고, 전방 영상 데이터와 전방 감지 데이터를 처리한 것에 응답하여 차량(1) 전방의 객체들(예를 들어, 차선 및 구조물 등)을 감지할 수 있다.
구체적으로, 프로세서(141)는 전방 레이더(120)가 획득한 전방 감지 데이터에 기초하여 차량(1) 전방의 객체들의 위치(거리 및 방향) 및 상대 속도를 획득할 수 있다. 프로세서(141)는 전방 카메라(110)의 전방 영상 데이터에 기초하여 차량(1) 전방의 객체들의 위치(방향) 및 유형 정보(예를 들어, 객체가 다른 차량인지, 구조물인지 등)를 획득할 수 있다. 또한, 프로세서(141)는 전방 영상 데이터에 의하여 감지된 객체들을 전방 감지 데이터에 의한 감지된 객체에 매칭하고, 매칭 결과에 기초하여 차량(1)의 전방 객체들의 유형 정보와 위치와 상대 속도를 획득할 수 있다.
또한, 앞서 설명한 바와 같이 프로세서(141)는 차량(1)이 주행 중인 도로의 환경, 전방 객체와 관련된 정보를 획득하고, 차량(1)과 우측 도로경계선 사이의 거리 및 차량(1)과 좌측 도로경계선 사이의 거리를 산출할 수 있다.
도로경계선은 차량(1)이 물리적으로 통과할 수 없는 가드레일, 터널의 양 끝, 인공 벽 등과 같은 구조물의 경계선을 의미할 수도 있으며, 차량(1)이 원칙적으로 통과할 수 없는 중앙선을 의미할 수도 있으나, 이에 한정되는 것은 아니다.
프로세서(141)는 통신부(150)로부터 수신된 고정밀 지도를 처리하고, 고정밀 지도를 처리한 것에 응답하여 차량(1)과 우측 도로경계선 사이의 거리(이하 '제3 거리') 및 차량(1)과 좌측 도로경계선 사이의 거리(이하 '제4 거리')를 산출할 수 있다.
구체적으로, 프로세서(141)는 GPS로부터 획득한 차량(1)의 현재 위치에 기초하여 차량(1)의 현재 위치에서의 고정밀 지도를 수신할 수 있으며 전방 영상 데이터 및 전방 감지 데이터에 기초하여 고정밀 지도 상에서의 차량(1)의 위치를 결정할 수 있다.
예를 들어, 프로세서(141)는 GPS로부터 획득한 차량(1)의 위치 정보에 기초하여 고정밀 지도 상에서 차량(1)이 주행 중인 도로를 결정할 수 있으며, 전방 영상 데이터 및 전방 감지 데이터에 기초하여 차량(1)이 주행 중인 차로를 결정할 수 있다. 즉, 프로세서(141)는 고정밀 지도 상에서의 차량의 좌표를 결정할 수 있다.
예를 들어, 프로세서(141)는 전방 영상 데이터 및 전방 감지 데이터를 처리한 것에 응답하여 좌측 차선의 개수를 결정할 수 있으며, 결정된 좌측 차선의 개수에 기초하여 고정밀 지도 상에서 차량이 주행 중인 차로의 위치를 결정할 수 있고, 이에 따라 고정밀 지도 상에서의 차량(1)의 좌표를 구체적으로 결정할 수 있으나, 고정밀 지도 상에서의 차량(1)의 좌표를 결정하는 방법은 이에 한정되는 것이 아니다.
즉, 프로세서(141)는 전방 영상 데이터 및 전방 감지 데이터에 기초하여 감지된 우측 차선의 개수에 기초하여 고정밀 지도 상에서의 차량(1)의 좌표를 결정할 수도 있으며, 전방 영상 데이터 및 전방 감지 데이터에 기초하여 산출된 제1 거리 및 제2 거리에 기초하여 정밀 지도 상에서의 차량(1)의 좌표를 결정할 수도 있다.
이를 위한 프로세서(141)는 전방 카메라(110)의 전방 영상 데이터와 고정밀 지도 데이터를 처리하는 이미지 프로세서 및/또는 전방 레이더(120)의 감지 데이터를 처리하는 디지털 시그널 프로세서 및/또는 제동 시스템(32)과 조향 시스템(42)을 제어하기 위한 제어 신호를 생성하는 마이크로 컨트롤 유닛(Micro Control Unit, MCU) 또는 통합 제어 유닛(Domain Control Unit; DCU)을 포함할 수 있다.
메모리(142)는 프로세서(141)가 전방 영상 데이터, 고정밀 지도 데이터와 같은 영상 데이터를 처리하기 위한 프로그램 및/또는 데이터와, 감지 데이터를 처리하기 위한 프로그램 및/또는 데이터와, 프로세서(141)가 제동 신호 및/또는 조향 신호를 생성하기 위한 프로그램 및/또는 데이터를 저장할 수 있다.
메모리(142)는 전방 카메라(110)로부터 수신된 영상 데이터 및/또는 레이더(120)로부터 수신된 감지 데이터 및 통신부(150)로부터 수신된 고정밀 지도를 임시로 기억하고, 프로세서(141)의 영상 데이터 및/또는 감지 데이터의 처리 결과를 임시로 기억할 수 있다.
또한, 메모리(142)는 프로세서(141)의 신호에 따라 전방 카메라(110)로부터 수신된 영상 데이터 및/또는 레이더들(120, 130)로부터 수신된 감지 데이터 및/또는 통신부(150)로부터 수신된 고정밀 지도를 영구적으로 저장하거나, 반영구적으로 저장할 수 있다.
이를 위한 메모리(142)는 S램(S-RAM), D램(D-RAM) 등의 휘발성 메모리뿐만 아니라 플래시 메모리, 롬(Read Only Memory, ROM), 이피롬(Erasable Programmable Read Only Memory: EPROM) 등의 비휘발성 메모리를 포함할 수 있다.
앞서 설명한 바와 같이, 레이더들(120, 130)은 차량(1) 주변을 스캔하며 객체를 감지하는 라이다(135)와 대체되거나 혼용될 수 있다.
이상으로 차량(1)에 포함된 각 구성 요소를 상세하게 설명하였다. 이하에서는 도 4 내지 도 10을 참조하여 제어부(140)가 고정밀 지도의 오류를 판단하는 프로세스를 자세히 설명한다.
도 4는 일 실시예에 의한 자율 주행 방법의 순서도이고, 도 5는 일 실시예에 따른 자율 주행 시스템이 획득한 전방 영상 데이터와 고정밀 지도를 나타낸 도면이고, 도 6 내지 도 10은 고정밀 지도에 오류가 있는 것으로 판단될 수 있는 상황을 도시한 도면이다.
도 4를 참조하면, 일 실시예에 따른 전방 카메라는 전방 영상 데이터를 획득할 수 있으며, 전방 레이더 및/또는 라이다는 전방 감지 데이터를 획득할 수 있으며, 제어부(140)는 전방 카메라와 전방 레이더로부터 전방 영상 데이터 및 전방 감지 데이터를 수신할 수 있다(1000).
일 실시예에 따른 통신부(150)는 클라우드 서버로부터 차량(1)의 현재 위치에서의 고정밀 지도를 수신할 수 있으며, 제어부(140)는 통신부(150)로부터 고정밀 지도를 수신할 수 있다(1100). 구체적으로, 통신부(150)는 GPS로부터 감지된 차량(1)의 현재 위치를 클라우드 서버로 송신할 수 있으며, 클라우드 서버는 차량(1)의 현재 위치에 기반한 고정밀 지도를 통신부(150)로 송신할 수 있다.
제어부(140)는 전방 카메라(110)로부터 획득된 전방 영상 데이터 및 전방 레이더(120)로부터 획득된 전방 감지 데이터를 처리하고, 전방 영상 데이터와 전방 감지 데이터를 처리한 것에 응답하여, 차량(1)과 우측 도로경계선 사이의 제1 거리 및 차량(1)과 좌측 도로경계선 사이의 제2 거리를 산출할 수 있다(1200).
또한, 제어부(140)는 고정밀 지도를 처리한 것에 응답하여 차량(1)과 우측 도로경계선 사이의 제3 거리 및 차량(1)과 좌측 도로경계선 사이의 제4 거리를 산출할 수 있다(1300).
도 5를 참조하면, 전방 영상 데이터(300)와 고정밀 지도(400)를 확인할 수 있다. 앞서 설명한 바와 같이, 제어부(140)는 고정밀 지도(400) 상에서의 차량(1)의 좌표를 결정할 수 있다. 예를 들어, 제어부(140)는 전방 영상 데이터(300)로부터 검출된 좌측 차선의 개수가 1개인 것에 기초하여, 고정밀 지도(400) 상에서의 차량(1)의 좌표를 2차로의 중앙으로 결정할 수 있다.
이후 제어부(140)는 전방 영상 데이터(300) 및 전방 감지 데이터를 처리하여 검출된 우측 도로경계선(RB1) 및 좌측 도로경계선(LB1)을 고정밀 지도(400)를 처리하여 검출된 우측 도로경계선(RB2) 및 좌측 도로경계선(LB2)과 매칭시킬 수 있다.
제어부(140)는 전방 영상 데이터(300) 및 전방 감지 데이터에 기초하여 제1 거리(d1) 및 제2 거리(d2)를 산출할 수 있으며, 고정밀 지도(400)에 기초하여 제3 거리(d3) 및 제4 거리(d4)를 산출할 수 있다.
제어부(140)는 제1 거리(d1), 제2 거리(d2), 제3 거리(d3) 및 제4 거리(d4)에 기초하여 고정밀 지도(400)의 지도 품질 지수를 결정할 수 있다(1400).
구체적으로, 제어부(140)는 제1 거리(d1)와 제3 거리(d3) 사이의 평균 제곱근 오차(RMSE)가 제1 미리 설정된 값 이상이면 지도 품질 지수를 감소시킬 수 있으며, 제1 거리(d1)와 제3 거리(d3) 사이의 평균 제곱근 오차(RMSE)가 제1 미리 설정된 값보다 작은 제2 미리 설정된 값 이하이면 지도 품질 지수를 향상시킬 수 있다. 이 때, 제1 미리 설정된 값은 차량(1)의 너비로 설정될 수 있으나, 이에 한정되는 것은 아니다.
또한, 제어부(140)는 제2 거리(d2)와 제4 거리(d4) 사이의 평균 제곱근 오차(RMSE)가 제1 미리 설정된 값 이상이면 지도 품질 지수를 감소시킬 수 있으며, 제2 거리(d2)와 제4 거리(d4) 사이의 평균 제곱근 오차(RMSE)가 제1 미리 설정된 값보다 작은 제2 미리 설정된 값 이하이면 지도 품질 지수를 향상시킬 수 있다.
이 때, 제어부(140)는 제1 거리(d1)와 제3 거리(d3) 사이의 평균 제곱근 오차와, 제2 거리(d2)와 제4 거리(d4) 사이의 평균 제곱근 오차의 합이 최소가 되도록 고정밀 지도(400) 상에서의 차량(1)의 좌표를 보정할 수 있다.
다시 말해서, 고정밀 지도(400) 상에서의 차량(1)의 좌표가 잘못 결정되어 제1 거리(d1)와 제3 거리(d3) 사이의 평균 제곱근 오차와, 제2 거리(d2)와 제4 거리(d4) 사이의 평균 제곱근 오차가 커지는 상황을 방지하기 위해, 제어부(140)는 제1 거리(d1)와 제3 거리(d3) 사이의 평균 제곱근 오차와, 제2 거리(d2)와 제4 거리(d4) 사이의 평균 제곱근 오차의 합이 최소가 되도록 고정밀 지도(400) 상에서의 차량(1)의 좌표를 결정할 수 있다.
고정밀 지도(400) 상에서의 차량(1)의 좌표가 보정되어 제1 거리(d1)와 제3 거리(d3) 사이의 평균 제곱근 오차 및/또는 제2 거리(d2)와 제4 거리(d4) 사이의 평균 제곱근 오차가 제2 미리 설정된 값 이하가 되면, 제어부(140)가 고정밀 지도의 지도 품질 지수를 향상시킴으로써 지도 품질 지수를 보상할 수 있다.
그러나, 고정밀 지도(400) 상에서의 차량(1)의 좌표가 보정되었음에도 불구하고 제1 거리(d1)와 제3 거리(d3) 사이의 평균 제곱근 오차 및/또는 제2 거리(d2)와 제4 거리(d4) 사이의 평균 제곱근 오차가 제1 미리 설정된 값 이상이면, 제어부(140)가 고정밀 지도의 지도 품질 지수를 감소시킴으로써 지도 품질 지수를 임계 값 이하로 감소시킬 수 있다.
이후 제어부(140)는 지도 품질 지수에 기초하여 고정밀 지도의 오류를 판단할 수 있다(1500).
예를 들어, 제어부(140)는 지도 품질 지수가 미리 설정된 임계 값 이하이면 고정밀 지도에 오류가 있는 것으로 판단할 수 있다.
도 6을 참조하면, 전방 영상 데이터(300)에 근거한 차로의 개수는 4개이고, 고정밀 지도(400)에 근거한 차로의 개수는 3개인 것을 확인할 수 있다.
도 6과 같은 상황에서, 제어부(140)는 좌측 차선의 개수에 기초하여 고정밀 지도(400) 상에서의 차량(1)의 좌표를 우측 끝 차로로 결정할 수 있다.
이후 제어부(140)는 제1 거리(d1)와 제3 거리(d3) 사이의 평균 제곱근 오차가 제1 미리 설정된 값 이상인 것으로 판단되면, 제1 거리(d1)와 제3 거리(d3) 사이의 평균 제곱근 오차와, 제2 거리(d2)와 제4 거리(d4) 사이의 평균 제곱근 오차의 합이 최소가 되도록 고정밀 지도(400) 상에서의 차량(1)의 좌표를 보정할 수 있다.
그럼에도 불구하고 제1 거리(d1)와 제3 거리(d3) 사이의 평균 제곱근 오차 또는 제2 거리(d2)와 제4 거리(d4) 사이의 평균 제곱근 오차가 제1 미리 설정된 값 이상인 것으로 판단되면, 고정밀 지도(400)의 지도 품질 지수를 감소시킬 수 있다.
이에 따라, 일 실시예에 따른 자율 주행 시스템(100)은 도로가 확장되어 차로가 증가하였다는 정보가 고정밀 지도에 반영되지 않은 경우, 고정밀 지도의 오류를 용이하게 판단할 수 있다.
도 7을 참조하면, 전방 영상 데이터(300)에 근거한 가용 차로의 개수는 2개이고, 고정밀 지도(400)에 근거한 가용 차로의 개수는 3개인 것을 확인할 수 있다.
도 7과 같은 상황에서, 제어부(140)는 좌측 차선의 개수에 기초하여 고정밀 지도(400) 상에서의 차량(1)의 좌표를 가운데 차로로 결정할 수 있다.
이후 제어부(140)는 제1 거리(d1)와 제3 거리(d3) 사이의 평균 제곱근 오차가 제1 미리 설정된 값 이상인 것으로 판단되면, 제1 거리(d1)와 제3 거리(d3) 사이의 평균 제곱근 오차와, 제2 거리(d2)와 제4 거리(d4) 사이의 평균 제곱근 오차의 합이 최소가 되도록 고정밀 지도(400) 상에서의 차량(1)의 좌표를 보정할 수 있다.
그럼에도 불구하고 제1 거리(d1)와 제3 거리(d3) 사이의 평균 제곱근 오차 또는 제2 거리(d2)와 제4 거리(d4) 사이의 평균 제곱근 오차가 제1 미리 설정된 값 이상인 것으로 판단되면, 고정밀 지도(400)의 지도 품질 지수를 감소시킬 수 있다.
이에 따라, 일 실시예에 따른 자율 주행 시스템(100)은 도로 공사로 인한 가용 차로의 감소에 관한 정보가 고정밀 지도에 반영되지 않은 경우, 고정밀 지도의 오류를 용이하게 판단할 수 있다.
도 8을 참조하면, 전방 영상 데이터(300)에 근거한 고속도로 톨게이트의 종류는 개방형이고, 고정밀 지도(400)에 근거한 고속도로 톨게이트의 종류는 폐쇄형임을 확인할 수 있다.
도 8과 같은 상황에서, 제어부(140)는 좌측 차선의 개수에 기초하여 고정밀 지도(400) 상에서의 차량(1)의 좌표를 가운데 차로로 결정할 수 있다.
이후 제어부(140)는 차량(1)이 톨게이트를 통과하는 경우 제1 거리(d1)와 제3 거리(d3) 사이의 평균 제곱근 오차 및/또는 제2 거리(d2)와 제4 거리(d4) 사이의 평균 제곱근 오차가 제1 미리 설정된 값 이상인 것으로 판단되면, 제1 거리(d1)와 제3 거리(d3) 사이의 평균 제곱근 오차와, 제2 거리(d2)와 제4 거리(d4) 사이의 평균 제곱근 오차의 합이 최소가 되도록 고정밀 지도(400) 상에서의 차량(1)의 좌표를 보정할 수 있다.
그럼에도 불구하고 제1 거리(d1)와 제3 거리(d3) 사이의 평균 제곱근 오차 또는 제2 거리(d2)와 제4 거리(d4) 사이의 평균 제곱근 오차가 제1 미리 설정된 값 이상인 것으로 판단되면, 고정밀 지도(400)의 지도 품질 지수를 감소시킬 수 있다.
이에 따라, 일 실시예에 따른 자율 주행 시스템(100)은 폐쇄형 톨게이트가 개방형 톨게이트로 변경되었다는 정보가 고정밀 지도에 반영되지 않은 경우, 고정밀 지도의 오류를 용이하게 판단할 수 있다.
도 4에는 도시되어 있지 않지만, 제어부(140)는 전방 영상 데이터와 전방 감지 데이터를 처리한 것에 응답하여 검출된 차선의 색상 또는 모양이 고정밀 지도를 처리한 것에 응답하여 획득된 차선의 색상 또는 모양과 상이하면 고정밀 지도의 지도 품질 지수를 감소시킬 수 있다.
즉, 제1 거리(d1)와 제3 거리(d3) 사이의 평균 제곱근 오차 및 제2 거리(d2)와 제4 거리(d4) 사이의 평균 제곱근 오차가 제1 미리 설정된 값보다 작더라도, 지도 품질 지수가 감소될 수 있다.
예를 들어, 도 9를 참조하면 전방 영상 데이터(300)에 근거한 좌측 차선(LL1)의 색상과 고정밀 지도(400)에 근거한 좌측 차선(LL2)의 색상 및 모양이 상이한 것을 확인할 수 있다.
즉, 전방 영상 데이터(300)에 근거한 좌측 차선(LL1)은 파란색 실선이고 고정밀 지도(400)에 근거한 좌측 차선(LL2)은 흰색 점선인 경우, 제어부(140)는 고정밀 지도(400)의 지도 품질 지수를 감소시킬 수 있다.
이에 따라, 일 실시예에 따른 자율 주행 시스템(100)은 일반 차로가 버스 전용 차로로 변경되었다는 정보가 고정밀 지도에 반영되지 않은 경우, 고정밀 지도의 오류를 용이하게 판단할 수 있다.
또 다른 예로, 도 10을 참조하면 전방 영상 데이터(300)에 근거한 우측 차선(RB1)의 모양과 고정밀 지도(400)에 근거한 좌측 차선(RB2)의 모양이 상이한 것을 확인할 수 있다.
즉, 전방 영상 데이터(300)에 근거한 우측 차선(RB1)은 직선이고 고정밀 지도(400)에 근거한 우측 차선(RB2)은 곡선인 경우, 제어부(140)는 고정밀 지도(400)의 지도 품질 지수를 감소시킬 수 있다.
이에 따라, 일 실시예에 따른 자율 주행 시스템(100)은 곡선 차로가 직선 차로로 변경되었다는 정보가 고정밀 지도에 반영되지 않은 경우, 고정밀 지도의 오류를 용이하게 판단할 수 있다.
일 실시예에 따른 차량(1)이 자율 주행 차량인 경우, 제어부(140)는 고정밀 지도에 오류가 있는 것으로 판단되면 차량(1)의 제어권을 운전자에게 이양할 수 있다. 이 경우, 제어부(140)는 차량(1)에 구비된 사용자 인터페이스를 통하여 운전자에게 제어권 이양을 요청할 수 있다.
이에 따라, 일 실시예에 따른 자율 주행 시스템(100)은 고정밀 지도 오류에 따른 자율 주행 시스템(100)의 오동작을 방지할 수 있다.
또한, 제어부(140)는 고정밀 지도에 오류가 있는 것으로 판단되면 통신부(150)를 제어하여 전방 영상 데이터 또는 전방 감지 데이터 중 적어도 하나를 클라우드 서버로 전송할 수 있다.
이에 따라, 클라우드 서버는 고정밀 지도의 오류를 빠르게 제거할 수 있다.
본 개시에 따르면, 차량(1)의 실제 주행 상황과 고정밀 지도를 비교함으로써 고정밀 지도의 오류를 신속하게 판단하고, 오류에 따른 위험을 최소화할 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
1: 차량 100: 자율 주행 시스템
110: 전방 카메라 120: 전방 레이더
130: 복수의 코너 레이더들 131: 제1 코너 레이더
132: 제2 코너 레이더 133: 제3 코너 레이더
134: 제4 코너 레이더 135: 라이다
140: 제어부 150: 통신부

Claims (20)

  1. 차량에 설치되어, 상기 차량의 전방 시야를 가지며, 전방 영상 데이터를 획득하는 제1 센서;
    레이더와 라이다로 구성된 그룹에서 선택되어, 상기 차량에 설치되며, 상기 차량의 전방의 감지 시야를 가지고, 전방 감지 데이터를 획득하는 제2 센서;
    상기 차량의 현재 위치에서의 고정밀 지도(High Definition Map)를 수신하는 통신부; 및
    상기 고정밀 지도와 상기 전방 영상 데이터와 상기 전방 감지 데이터를 처리하는 프로세서를 포함하는 제어부;를 포함하고,
    상기 제어부는,
    상기 전방 영상 데이터와 상기 전방 감지 데이터를 처리한 것에 응답하여 상기 차량과 우측 도로경계선 사이의 제1 거리 및 상기 차량과 좌측 도로경계선 사이의 제2 거리를 산출하고,
    상기 고정밀 지도를 처리한 것에 응답하여 상기 차량과 상기 우측 도로경계선 사이의 제3 거리 및 상기 차량과 상기 좌측 도로경계선 사이의 제4 거리를 산출하고,
    상기 제1 거리, 상기 제2 거리, 상기 제3 거리 및 상기 제4 거리에 기초하여 상기 고정밀 지도의 지도 품질 지수를 결정하되, 상기 제1 거리와 상기 제3 거리의 차이 또는 상기 제2 거리와 상기 제4 거리의 차이 중 적어도 하나를 기초로 상기 고정밀 지도 상의 상기 차량의 좌표를 보정하여 상기 지도 품질 지수를 결정하고,
    상기 지도 품질 지수에 기초하여 상기 고정밀 지도의 오류를 판단하는 자율 주행 시스템.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 지도 품질 지수가 미리 설정된 임계 값 이하이면 상기 고정밀 지도에 오류가 있는 것으로 판단하는 자율 주행 시스템.
  3. 제1항에 있어서,
    상기 제어부는,
    상기 제1 거리와 상기 제3 거리 사이의 평균 제곱근 오차(RMSE)가 제1 미리 설정된 값 이상이면 상기 지도 품질 지수를 감소시키는 자율 주행 시스템.
  4. 제3항에 있어서,
    상기 제어부는,
    상기 제1 거리와 상기 제3 거리 사이의 평균 제곱근 오차(RMSE)가 상기 제1 미리 설정된 값보다 작은 제2 미리 설정된 값 이하이면 상기 지도 품질 지수를 향상시키는 자율 주행 시스템.
  5. 제1항에 있어서,
    상기 제어부는,
    상기 제2 거리와 상기 제4 거리 사이의 평균 제곱근 오차(RMSE)가 제1 미리 설정된 값 이상이면 상기 지도 품질 지수를 감소시키는 자율 주행 시스템.
  6. 제5항에 있어서,
    상기 제어부는,
    상기 제1 거리와 상기 제3 거리 사이의 평균 제곱근 오차(RMSE)가 상기 제1 미리 설정된 값보다 작은 제2 미리 설정된 값 이하이면 상기 지도 품질 지수를 향상시키는 자율 주행 시스템.
  7. 제1항에 있어서,
    상기 제어부는,
    상기 전방 영상 데이터와 상기 전방 감지 데이터를 처리한 것에 응답하여 검출된 차선의 색상 또는 모양이 상기 고정밀 지도를 처리한 것에 응답하여 획득된 차선의 색상 또는 모양과 상이하면 상기 지도 품질 지수를 감소시키는 자율 주행 시스템.
  8. 제1항에 있어서,
    상기 제어부는,
    상기 제1 거리와 상기 제3 거리 사이의 평균 제곱근 오차와 상기 제2 거리와 상기 제4 거리 사이의 평균 제곱근 오차의 합이 최소가 되도록 상기 고정밀 지도 상에서의 상기 차량의 좌표를 결정하는 자율 주행 시스템.
  9. 제1항에 있어서,
    상기 제어부는,
    상기 고정밀 지도에 오류가 있는 것으로 판단되면 상기 차량의 제어권을 운전자에게 이양하는 자율 주행 시스템.
  10. 제1항에 있어서,
    상기 제어부는,
    상기 고정밀 지도에 오류가 있는 것으로 판단되면 상기 통신부를 제어하여 상기 전방 영상 데이터 또는 상기 전방 감지 데이터 중 적어도 하나가 외부 서버로 전송되도록 하는 자율 주행 시스템.
  11. 차량에 설치되어 상기 차량의 전방 시야를 가지는 전방 카메라가, 전방 영상 데이터를 획득하고;
    상기 차량의 현재 위치에서의 고정밀 지도를 수신하고;
    상기 전방 영상 데이터를 처리한 것에 응답하여 상기 차량과 우측 도로경계선 사이의 제1 거리 및 상기 차량과 좌측 도로경계선 사이의 제2 거리를 산출하고;
    상기 고정밀 지도를 처리한 것에 응답하여 상기 차량과 상기 우측 도로경계선 사이의 제3 거리 및 상기 차량과 상기 좌측 도로경계선 사이의 제4 거리를 산출하고;
    상기 제1 거리, 상기 제2 거리, 상기 제3 거리 및 상기 제4 거리에 기초하여 상기 고정밀 지도의 지도 품질 지수를 결정하고;
    상기 지도 품질 지수에 기초하여 상기 고정밀 지도의 오류를 판단하는 것;을 포함하며,
    상기 고정밀 지도의 상기 지도 품질 지수를 결정하는 것은,
    상기 제1 거리와 상기 제3 거리의 차이 또는 상기 제2 거리와 상기 제4 거리의 차이 중 적어도 하나를 기초로 상기 고정밀 지도 상의 상기 차량의 좌표를 보정하여 상기 지도 품질 지수를 결정하는 것을 포함하는 자율 주행 방법.
  12. 제11항에 있어서,
    상기 지도 품질 지수에 기초하여 상기 고정밀 지도의 오류를 판단하는 것은,
    상기 지도 품질 지수가 미리 설정된 임계 값 이하이면 상기 고정밀 지도에 오류가 있는 것으로 판단하는 것;을 포함하는 자율 주행 방법.
  13. 제11항에 있어서,
    상기 제1 거리, 상기 제2 거리, 상기 제3 거리 및 상기 제4 거리에 기초하여 상기 고정밀 지도의 지도 품질 지수를 결정하는 것은,
    상기 제1 거리와 상기 제3 거리 사이의 평균 제곱근 오차(RMSE)가 제1 미리 설정된 값 이상이면 상기 지도 품질 지수를 감소시키는 것;을 포함하는 자율 주행 방법.
  14. 제13항에 있어서,
    상기 제1 거리, 상기 제2 거리, 상기 제3 거리 및 상기 제4 거리에 기초하여 상기 고정밀 지도의 지도 품질 지수를 결정하는 것은,
    상기 제1 거리와 상기 제3 거리 사이의 평균 제곱근 오차(RMSE)가 상기 제1 미리 설정된 값보다 작은 제2 미리 설정된 값 이하이면 상기 지도 품질 지수를 향상시키는 것;을 더 포함하는 자율 주행 방법.
  15. 제11항에 있어서,
    상기 제1 거리, 상기 제2 거리, 상기 제3 거리 및 상기 제4 거리에 기초하여 상기 고정밀 지도의 지도 품질 지수를 결정하는 것은,
    상기 제2 거리와 상기 제4 거리 사이의 평균 제곱근 오차(RMSE)가 제1 미리 설정된 값 이상이면 상기 지도 품질 지수를 감소시키는 것;을 포함하는 자율 주행 방법.
  16. 제15항에 있어서,
    상기 제1 거리, 상기 제2 거리, 상기 제3 거리 및 상기 제4 거리에 기초하여 상기 고정밀 지도의 지도 품질 지수를 결정하는 것은,
    상기 제1 거리와 상기 제3 거리 사이의 평균 제곱근 오차(RMSE)가 상기 제1 미리 설정된 값보다 작은 제2 미리 설정된 값 이하이면 상기 지도 품질 지수를 향상시키는 것;을 더 포함하는 자율 주행 방법.
  17. 제11항에 있어서,
    상기 전방 영상 데이터를 처리한 것에 응답하여 검출된 차선의 색상 또는 모양이 상기 고정밀 지도를 처리한 것에 응답하여 획득된 차선의 색상 또는 모양과 상이하면 상기 지도 품질 지수를 감소시키는 것;을 더 포함하는 자율 주행 방법.
  18. 제11항에 있어서,
    상기 제1 거리와 상기 제3 거리 사이의 평균 제곱근 오차와 상기 제2 거리와 상기 제4 거리 사이의 평균 제곱근 오차의 합이 최소가 되도록 상기 고정밀 지도 상에서의 상기 차량의 좌표를 결정하는 것;을 더 포함하는 자율 주행 방법.
  19. 제11항에 있어서,
    상기 고정밀 지도에 오류가 있는 것으로 판단되면 상기 차량의 제어권을 운전자에게 이양하는 것;을 더 포함하는 자율 주행 방법.
  20. 제11항에 있어서,
    상기 고정밀 지도에 오류가 있는 것으로 판단되면 상기 전방 영상 데이터가 외부 서버로 전송되도록 제어하는 것;을 더 포함하는 자율 주행 방법.
KR1020200109296A 2020-08-28 2020-08-28 자율 주행 시스템 및 자율 주행 방법 Active KR102737724B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200109296A KR102737724B1 (ko) 2020-08-28 2020-08-28 자율 주행 시스템 및 자율 주행 방법
US17/388,714 US11913802B2 (en) 2020-08-28 2021-07-29 Autonomous driving system and autonomous driving method
CN202110987344.6A CN114103992B (zh) 2020-08-28 2021-08-26 自主驾驶系统及自主驾驶方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200109296A KR102737724B1 (ko) 2020-08-28 2020-08-28 자율 주행 시스템 및 자율 주행 방법

Publications (2)

Publication Number Publication Date
KR20220029823A KR20220029823A (ko) 2022-03-10
KR102737724B1 true KR102737724B1 (ko) 2024-12-04

Family

ID=80358413

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200109296A Active KR102737724B1 (ko) 2020-08-28 2020-08-28 자율 주행 시스템 및 자율 주행 방법

Country Status (3)

Country Link
US (1) US11913802B2 (ko)
KR (1) KR102737724B1 (ko)
CN (1) CN114103992B (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022144958A1 (ja) * 2020-12-28 2022-07-07 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US12195038B1 (en) * 2023-12-26 2025-01-14 Aurora Operations, Inc. Dual mode map for autonomous vehicle

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200166364A1 (en) * 2017-06-07 2020-05-28 Nissan Motor Co., Ltd. Map Data Correcting Method and Device

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040215387A1 (en) * 2002-02-14 2004-10-28 Matsushita Electric Industrial Co., Ltd. Method for transmitting location information on a digital map, apparatus for implementing the method, and traffic information provision/reception system
JP3878008B2 (ja) * 2001-12-07 2007-02-07 株式会社日立製作所 車両用走行制御装置及び地図情報データ記録媒体
JP5028851B2 (ja) * 2006-04-24 2012-09-19 株式会社デンソー 道路情報検出装置及びプログラム
JP4938351B2 (ja) * 2006-05-16 2012-05-23 トヨタ自動車株式会社 車両用測位情報更新装置
SE1100538A1 (sv) * 2011-07-15 2013-01-16 Scania Cv Ab Grafiskt användargränssnitt
US9494438B1 (en) * 2015-12-15 2016-11-15 Honda Motor Co., Ltd. System and method for verifying map data for a vehicle
GB201804082D0 (en) * 2018-03-14 2018-04-25 Five Ai Ltd Image annotation
JP6881369B2 (ja) * 2018-03-26 2021-06-02 トヨタ自動車株式会社 自車位置推定装置
JP6985207B2 (ja) * 2018-05-09 2021-12-22 トヨタ自動車株式会社 自動運転システム
KR20200044420A (ko) * 2018-10-19 2020-04-29 삼성전자주식회사 위치 추정 방법 및 장치
CN109581449B (zh) * 2018-12-14 2021-09-14 安徽江淮汽车集团股份有限公司 一种自动驾驶汽车的定位方法及系统
JP7139992B2 (ja) * 2019-02-14 2022-09-21 株式会社デンソー 制御用地図情報評価装置、制御用地図情報評価方法、及び制御プログラム
US11613253B2 (en) * 2019-05-29 2023-03-28 Baidu Usa Llc Method of monitoring localization functions in an autonomous driving vehicle

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200166364A1 (en) * 2017-06-07 2020-05-28 Nissan Motor Co., Ltd. Map Data Correcting Method and Device

Also Published As

Publication number Publication date
US20220065653A1 (en) 2022-03-03
KR20220029823A (ko) 2022-03-10
CN114103992A (zh) 2022-03-01
CN114103992B (zh) 2024-12-10
US11913802B2 (en) 2024-02-27

Similar Documents

Publication Publication Date Title
US10919525B2 (en) Advanced driver assistance system, vehicle having the same, and method of controlling the vehicle
KR102673147B1 (ko) 운전자 보조 시스템 및 그 제어방법
US11479269B2 (en) Apparatus for assisting driving of a vehicle and method thereof
US20200369264A1 (en) Collision avoidance device, vehicle having the same and method of controlling the vehicle
US20210362733A1 (en) Electronic device for vehicle and method of operating electronic device for vehicle
US10569770B1 (en) Driver assistance system
KR102752639B1 (ko) 운전자 보조 장치, 그를 가지는 차량 및 그 제어 방법
US12270921B2 (en) Driver assistance system and method for correcting position information of a vehicle
US12024167B2 (en) Driver assistance system and driver assistance method
US11318937B2 (en) Driver assistance apparatus and method thereof
US20210188260A1 (en) Driver assistance system and control method thereof
US20200242941A1 (en) Driver assistance system, and control method the same
US11945468B2 (en) Driver assistance apparatus and method thereof
US12162351B2 (en) Apparatus for assisting driving
KR102737724B1 (ko) 자율 주행 시스템 및 자율 주행 방법
KR102618041B1 (ko) 운전자 보조 시스템 및 그 방법
US20210354634A1 (en) Electronic device for vehicle and method of operating electronic device for vehicle
US11798287B2 (en) Driver assistance apparatus and method of controlling the same
KR102700168B1 (ko) 운전자 보조 시스템
US20230174067A1 (en) Vehicle and method of controlling the same
US12269497B2 (en) Driver assistance system and driver assistance method
US20240149876A1 (en) Driver assistance apparatus and driver assistance method
KR20240124654A (ko) 운전자 보조 장치 및 운전자 보조 방법
KR20220078833A (ko) 운전자 보조 시스템 및 그 제어 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20200828

PN2301 Change of applicant

Patent event date: 20211001

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

PG1501 Laying open of application
PN2301 Change of applicant

Patent event date: 20220406

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20220610

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20200828

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20240322

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20241124

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20241128

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20241128

End annual number: 3

Start annual number: 1

PG1601 Publication of registration