[go: up one dir, main page]

KR20230121644A - 센서퓨전을 이용한 차량용 운전 제어 시스템 및 방법 - Google Patents

센서퓨전을 이용한 차량용 운전 제어 시스템 및 방법 Download PDF

Info

Publication number
KR20230121644A
KR20230121644A KR1020220018012A KR20220018012A KR20230121644A KR 20230121644 A KR20230121644 A KR 20230121644A KR 1020220018012 A KR1020220018012 A KR 1020220018012A KR 20220018012 A KR20220018012 A KR 20220018012A KR 20230121644 A KR20230121644 A KR 20230121644A
Authority
KR
South Korea
Prior art keywords
data
information
driving control
vehicle driving
grid map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
KR1020220018012A
Other languages
English (en)
Inventor
원상복
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020220018012A priority Critical patent/KR20230121644A/ko
Priority to US18/071,193 priority patent/US12248069B2/en
Publication of KR20230121644A publication Critical patent/KR20230121644A/ko
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명의 하나의 실시예에 의한 차량용 운전 제어 시스템은, 자차량 주변 영역에 대한 카메라 데이터 및/또는 레이더 데이터와 라이다 데이터를 수신하는 입력부; 상기 카메라 데이터 및/또는 레이더 데이터와 라이다 데이터에 대해, 제1 프로세스를 실행하여 관심 객체의 측위용 정보를 산출하고, 제2 프로세스를 실행하여 상기 관심 객체의 주행경로용 정보를 산출하는 마이크로 프로세서; 및 상기 측위용 정보와 주행경로용 정보를 출력하는 출력부를 포함한다.

Description

센서퓨전을 이용한 차량용 운전 제어 시스템 및 방법{Vehicle Driving Control System and Method Using Sensor Fusion Technology}
본 발명은 센서퓨전 기술을 이용한 차량용 운전 제어 시스템 및 방법에 관한 것이다.
운전자 보조 시스템(ADAS; Advanced Driver Assitance System) 및 자율주행 시스템(Automated Driving System) 기술이 고도화되어 감에 따라 자차량의 주변 환경에 대한 정확한 감지가 중요하다.
예시적으로, 주행 경로 생성 및 주행 안전성 향상을 위해서는 도로경계에 대한 정확한 감지가 필요하며, 이에 감지 센서를 통한 감지 정확도에 대한 요구가 크게 증대하고 있다.
차량 주변 환경에 대한 감지 센서로는 카메라, 레이다, 라이다 등이 있으며, 이들 센서들은 제 각기 감지 능력 및 정확도에 있어서 차이가 있다.
카메라의 경우는 승용차, 상용차, 이륜차, 보행자, 자전거 등 객체 분류 능력이 우수하지만, 객체와 자차량 간의 거리 및 속도 등에 대한 감지 정확도는 미흡하다.
또한, 레이다는 객체의 속도 감지는 정확하지만, 객체에 대한 분류 능력은 객체가 이동 물체인지 정지 물체인지 구분하는 정도일 뿐이다.
라이다의 경우는 객체에 대한 형상 인식 및 차자량으로부터의 거리 감지에 있어 매우 우수하지만, 마찬가지로 객체에 대한 분류 능력은 미흡하다.
도 1은 이러한 감지 센서들을 이용한 감지 결과를 예시적으로 나타내고 있다.
도 1의 (a)는 주행 중인 자차량에서 본 전방 모습을 나타내고 있으며, (b)는 그러한 전방에 대하여 카메라, 레이더, 라이더 등의 센서를 이용해 감지한 결과를 버드 아이즈 뷰(bird eye's view)로 나타낸 모습니다.
도 1(a)를 보면, 자차량 전방 각 차로에는 선행차량이 주행 중에 있고, 좌측 도로경계로서 가드레일이 보이며, 우측 도로경계로서 방음벽이 보이고 있다.
이와 같은 전방 모습에 대한 각 센서들의 감지 결과, 도 1(b)에 보이는 바와 같이, 카메라의 경우는 차량 및 도로경계를 잘 구분해서 인식하고 있지만 각각의 위치는 다른 센서 결과들과 비교해 볼 때 정확도가 떨어짐을 알 수 있다.
또한, 레이더의 경우는 차량과 가드레일을 감지하기는 하지만, 차량과 가드레일을 구분하는데는 미흡하다. 즉, 레이더의 경우 도로경계와 도로경계가 아닌 것을 구분하지 못하는 문제가 있다.
라이다는, 차량을 대체로 잘 감지하고, 가드레일과 방음벽에 대한 감지도 잘 이루어지지만, 나무나 숲 등이 도로경계로 함께 감지되는 오류가 있을 수 있다. 라이다의 경우는, 또한 숲 외에 버스도 도로경계와 구분하지 못하는 경우가 많다.
따라서, 카메라, 레이더, 라이더 등의 감지 센서를 각각 개별적으로만 이용해서는 주행 경로 생성 및 주행 안전성 향상을 만족스러운 수준 이상으로 달성하기 매우 어려우며, 그러한 종래 방식과는 다른 새로운 감지 방식이 필요한 실정이다.
본 발명의 적어도 하나의 실시예는 센서퓨전 기술을 이용하여 자차량 주변 객체에 대한 감지 성능을 향상시키는 것을 목적으로 한다.
또한, 본 발명의 적어도 하나의 실시예는, 특히 도로경계에 대한 감지 성능을 향상시키는 것을 목적으로 한다.
한편, 도로경계의 감지 결과를 이용한 자차량 측위 및 주행 경로 생성에 있어서, 측위를 위한 감지와 주행 경로 생성을 위한 감지를 분리함으로써, 측위를 위한 감지의 정확도를 높이면서, 주행 경로 생성을 위해 요구되는 인식률을 만족시키는 것을 목적으로 한다.
본 발명의 하나의 실시예에 의한 차량용 운전 제어 시스템은, 자차량 주변 영역에 대한 카메라 데이터 및/또는 레이더 데이터와 라이다 데이터를 수신하는 입력부; 상기 카메라 데이터 및/또는 레이더 데이터와 라이다 데이터에 대해, 제1 프로세스를 실행하여 관심 객체의 측위용 정보를 산출하고, 제2 프로세스를 실행하여 상기 관심 객체의 주행경로용 정보를 산출하는 마이크로 프로세서; 및 상기 측위용 정보와 주행경로용 정보를 출력하는 출력부를 포함한다.
본 발명의 적어도 하나의 실시예에서, 상기 관심 객체는 도로경계를 포함한다.
또한, 본 발명의 적어도 하나의 실시예에서, 상기 제1 프로세스는, 상기 카메라 데이터 및/또는 상기 레이더 데이터를 이용해 상기 라이다 데이터를 평가한 결과에 따라 상기 측위용 정보를 산출한다.
여기서, 상기 제1 프로세스는, 상기 카메라 데이터 및/또는 상기 레이더 데이터의 그리드 맵핑 정보를 이용해 상기 평가를 수행할 수 있다.
그리고, 상기 그리드 맵핑 정보는: 상기 카메라 데이터를 그리드 맵에 맵핑하여 얻은 제1 그리드 맵 정보; 및/또는 상기 레이더 데이터를 상기 그리드 맵에 맵핑하여 얻은 제2 그리드 맵 정보를 포함할 수 있다.
또한, 상기 제1 그리드 맵 정보는 상기 카메라 데이터에 의해 객체를 분류한 분류 정보에 따라 각 셀에 대하여 결정된 제1 스코어를 포함하고, 상기 제2 그리드 맵 정보는 상기 레이더 데이터에 의한 객체의 이동성 정보에 따라 상기 각 셀에 대하여 결정된 제2 스코어를 포함할 수 있다.
여기서, 상기 측위용 정보는 상기 제1 스코어 및/또는 제2 스코어가 기준치 이상인 셀에 상관된 상기 라이다 데이터로부터 산출될 수 있다.
또한, 상기 제1 그리드 맵 정보와 상기 제2 그리드 맵 정보는 복수의 데이터 프레임을 지속적으로 누적하여 얻은 것일 수 있다.
본 발명의 적어도 하나의 실시예에서, 상기 제2 프로세스는, 상기 라이다 데이터 중 상기 측위용 정보에 상관된 라이다 데이터와 상기 카메라 데이터 및/또는 상기 레이더 데이터를 이용해, 상기 주행경로용 정보를 산출한다.
여기서, 상기 제2 프로세스는, 차량 주변의 관심 영역을 복수의 섹션으로 구분하고, 각 섹션마다 상기 라이다 데이터와 상기 카메라 데이터 및/또는 상기 레이더 데이터를 융합해 포인트로 표현한 퓨젼 프리스페이스(fusion freespace)를 이용할 수 있다.
또한, 상기 제2 프로세스는 상기 포인트에 대한 추적 알고리즘으로 칼만 필터나 웨이티드 썸(weighted sum)을 이용할 수 있다.
한편, 본 발명의 하나의 실시예에 의한 차량용 운전 제어 방법은, 자차량 주변 영역에 대한 카메라 데이터 및/또는 레이더 데이터와 라이다 데이터를 수신하는 단계; 상기 카메라 데이터 및/또는 레이더 데이터와 라이다 데이터에 대해, 제1 프로세스를 실행하여 관심 객체의 측위용 정보를 산출하는 단계; 및 상기 카메라 데이터 및/또는 레이더 데이터와 라이다 데이터에 대해, 제2 프로세스를 실행하여 상기 관심 객체의 주행경로용 정보를 산출하는 단계를 포함한다.
여기서, 상기 제1 프로세스는, 상기 카메라 데이터 및/또는 상기 레이더 데이터를 이용해 상기 라이다 데이터를 평가한 결과에 따라 상기 측위용 정보를 산출할 수 있다.
또한, 상기 제1 프로세스는, 상기 카메라 데이터 및/또는 상기 레이더 데이터의 그리드 맵핑 정보를 이용해 상기 평가를 수행할 수 있다.
그리고, 상기 그리드 맵핑 정보는: 상기 카메라 데이터를 그리드 맵에 맵핑하여 얻은 제1 그리드 맵 정보; 및/또는 상기 레이더 데이터를 상기 그리드 맵에 맵핑하여 얻은 제2 그리드 맵 정보를 포함할 수 있다.
여기서, 상기 제1 그리드 맵 정보는 상기 카메라 데이터에 의해 객체를 분류한 분류 정보에 따라 각 셀에 대하여 결정된 제1 스코어를 포함할 수 있고, 상기 제2 그리드 맵 정보는 상기 레이더 데이터에 의한 객체의 이동성 정보에 따라 상기 각 셀에 대하여 결정된 제2 스코어를 포함할 수 있다.
또한, 여기서, 상기 측위용 정보는 상기 제1 스코어 및/또는 제2 스코어가 기준치 이상인 셀에 상관된 상기 라이다 데이터로부터 산출될 수 있다.
또한, 상기 제1 그리드 맵 정보와 상기 제2 그리드 맵 정보는 복수의 데이터 프레임을 지속적으로 누적하여 얻은 것일 수 있다.
한편, 상기 제2 프로세스는, 상기 라이다 데이터 중 상기 측위용 정보에 상관된 라이다 데이터와 상기 카메라 데이터 및/또는 상기 레이더 데이터를 이용해, 상기 주행경로용 정보를 산출할 수 있다.
여기서, 상기 제2 프로세스는, 차량 주변의 관심 영역을 복수의 섹션으로 구분하고, 각 섹션마다 상기 라이다 데이터와 상기 카메라 데이터 및/또는 상기 레이더 데이터를 융합해 포인트로 표현한 퓨젼 프리스페이스(fusion freespace)를 이용할 수 있다.
본 발명의 적어도 하나의 실시예에 의하면, 자차량 주변 객체에 대한 감지 성능을 향상시킬 수 있다.
또한, 본 발명의 적어도 하나의 실시예에 의하면, 특히 도로경계에 대한 감지 성능을 향상시킬 수 있다.
그리고, 본 발명의 적어도 하나의 실시예에 의하면, 도로경계의 감지 결과를 이용한 자차량 측위 및 주행 경로 생성에 있어서, 측위를 위한 감지와 주행 경로 생성을 위한 감지를 분리함으로써, 측위를 위한 감지의 정확도를 높이면서, 주행 경로 생성을 위해 요구되는 인식률을 만족시킬 수 있다.
특히, 라이다의 분류 성능을 다른 카메라, 레이더 데이터로 보완하므로 가장 위치 정확도 높은 라이다 데이터를 변형하지 않고 측위 모듈에 제공 함으로써 측위의 도로경계 인식 요구사항을 만족시킬 뿐만 아니라, 카메라, 레이더, 라이다 데이터 결합을 통해, 도로경계 인식률이 향상되고, 여러 센서 데이터의 결합으로 인해 인식 리던던시(Redundancy)가 확보 된다.
도 1의 (a)는 자차량 전방 모습을 나타내며, (b)는 그러한 전방 모습에 대한 카메라, 레이더, 라이다 감지 결과를 버드 아이즈 뷰로 나타낸 모습이다.
도 2는 본 발명의 실시예에 의한 차량용 운전 제어 시스템의 구성도이다.
도 3은 본 발명의 실시예에 의한 객체 감지 과정을 나타낸 플로우 차트이다.
도 4(a)는 자차량 주행 중의 주변 환경에 대한 예시이다.
도 4(b)는 도 4(a)에 대한 카메라 감지 결과를 예시한다.
도 4(c)는 도 4(b)의 카메라 감지 결과를 그리드 맵핑한 클래스 에비덴셜 그리드 맵(CEGM; Class Evidential Grid Map)의 예시이다.
도 4(d)는 도 4(c)의 그리드 맵핑 결과를 복수의 감지 프레임에 대해 지속적으로 누적한 결과를 예시한다.
도 5(a)는 도 4(a)에 대한 레이더 감지 결과를 예시한다.
도 5(b)는 도 5(a)의 레이더 감지 결과를 그리드 맵핑한 무빙 에비덴셜 그리드 맵(MEGM; Moving Evidential Grid Map)의 예시이다.
도 5(c)는 도 5(b)의 그리드 맵핑 결과를 복수의 감지 프레임에 대해 지속적으로 누적한 결과를 예시한다.
도 6(a)는 도 4(a)에 대한 라이다 감지 결과를 예시한다.
도 6(b)는 도 6(a)의 라이다 감지 결과를 도 4(d)의 그리드 맵으로 맵핑한 예시이다.
도 6(c)는 도 6(a)의 라이다 감지 결과를 도 5(c)의 그리드 맵으로 맵핑한 예시이다.
도 6(d)는 4(a)에 도시된 주변 환경에 있어서 도로경계에 대한 측위용 정보의 최종 산출 결과를 도시한다.
도 7은 퓨전 프리스페이스(FFS; Fusion Free Space)에 대한 예시를 나타낸다.
도 8은 도 1(b)의 감지 결과들에 대하여 본 발명 실시예의 방법(시스템)을 통해 얻은 도로경계에 대한 주행경로용 정보의 최종 산출 결과를 도시한다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 반드시 물리적으로 구분되거나 분리될 것을 요하지 않는다. 예시적으로, "oo부"는 "xx부"와 서로 다른 기능을 수행하는 구성요소일 수 있지만, 실시예적으로는 물리적으로 구분 또는 분리 되지 않고 하나의 동일한 마이크로 프로세서에서 그 기능들이 병렬적으로 또는 시간 선후적으로 수행되도록 구현될 수 있으며, 접미사 "부"는 이를 배제하지 않는다. 그리고, 이는 접미사 "모듈"에도 동일하게 적용된다.
또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 2 및 도 3은 본 발명의 실시예에 의한 차량용 운전 제어 시스템(100)의 구성도 및 객체 감지 과정을 나타낸 플로우 차트이다.
본 실시예의 운전 제어 시스템(100)은, 객체 감지 모듈(10), 측위 모듈(20), 주행경로 생성 모듈(30) 등을 포함한다.
객체 감지 모듈(10)은 입력부(14)와 출력부(15)와 클래스 에비덴셜 그리드 맵핑부(이하 '제1 맵핑부(11)'라 함)와 무빙 에비덴셜 그리드 맵핑부(이하 '제2 맵핑부(12)'라 함)와 퓨전 프리스페이스부(13)를 포함한다.
입력부(14)는 카메라(C), 레이더(R) 및 라이다(L)로부터 각각의 데이터를 수신하며, 예시적으로 카메라(C), 레이더(R) 및 라이다(L)로부터 센싱된 신호를 받기 위해 신호선이 연결될 수 있는 입력 포트일 수 있다.
도 2에서 데이터 처리부(16)는 입력부(14)를 통해 수신된 데이터들을 처리하여 객체 정보를 산출한다(S10, S11, S12, S13). 여기서, 데이터 처리부(16)는 반드시 객체 감지 모듈(10)에 포함될 필요는 없으며, 카메라(C), 레이더(R), 라이다(L) 등 각 센서 자체(각 센서 내의 마이크로 프로세서)에서 필요한 데이터 처리가 수행될 수도 있다. 즉, 데이터 처리부(16)는 객체 감지 모듈(10)에 포함될 수도 있고, 객체 감지 모듈(10)과는 별도일 수도 있다.
카메라(C)를 통해 획득된 데이터는 데이터 처리부(16)에서 미리 정해진 데이터 처리를 통해 객체에 대한 유효한 데이터로 출력된다(S11).
데이터 처리부(16)에서 나온 카메라 데이터는 예시적으로 자차량(HV)의 주변 차량, 가드레일 또는 방음벽 등의 도로경계, 차선, 이륜차, 보행자 등등에 대한 감지 데이터를 포함할 수 있다. 이러한 카메라 데이터에는 각 객체에 대한 분류 정보, 위치 정보 등이 포함될 수 있다.
카메라 데이터에 대한 예시로서 도 4(a)의 주변 환경에 대해 도 4(b)에 도시하였으며, 이를 통해 카메라 데이터에 대해 상세히 설명한다.
먼저, 도 4(a)는 자차량 전방에 대한 주변 환경 상황을 예시적으로 버드 아이즈 뷰로 표현한 것으로서, 자차량(HV)의 좌측 및 우측에 각각 도로경계(Gl, Gr)로서 가드레일 또는 방음벽이 있으며, 전방에 선행 중인 타차량으로서 동일 차로에 제1 차량(V1)이, 좌측 차로에 제2 차량(V2)이, 우측 차로에 제3 차량(V3)이 주행하고 있는 상황이다.
도 4(a)에서 자차량의 카메라(C)로부터 획득되고 데이터 처리되어 얻은 객체 감지 데이터는, 예시적으로 도 4(b)와 같이, 좌측 도로경계 데이터(CGl)와 우측 도로경계 데이터(CGr), 3개 차로에서 전방에 주행하고 있는 제1 차량 데이터(CV1), 제2 차량 데이터(CV2), 제3 차량 데이터(CV3)이다. 카메라(C)를 이용하면 객체가 무엇인지 그 구분이 가능하기 때문에, 각 객체의 카메라 데이터는 해당 객체가 속하는 분류 정보를 포함할 수 있다.
한편, 레이더(R)를 통해 획득된 데이터는 데이터 처리부(16)에서 미리 정해진 데이터 처리를 통해 객체에 대한 유효한 데이터로 출력되며(S12), 이동 객체 및 정지 객체에 대한 감지 데이터를 포함할 수 있다. 그리고, 레이더 데이터에는 감지된 각 객체의 위치 정보 및 이동 여부를 판별할 수 있는 정보(예컨대, 속도 정보)가 포함될 수 있다.
예시적으로, 도 5(a)는 도 4(a)의 주변 환경에 대해 감지한 레이더 데이터를 나타내고 있으며, 도 5(a)에 보이는 바와 같이, 레이더 데이터는 좌측 도로경계를 정지 객체로 감지한 레이더 데이터(RGl), 3개 차량들에 대해 이동 객체로 감지한 레이더 데이터(RV1, RV2, RV3), 우측 도로경계에 대해 정지 객체로 감지한 레이더 데이터(RGr) 등을 포함하고 있다.
또한, 라이다(L)를 통하여 획득된 데이터도 데이터 처리부(16)에서 미리 정해진 데이터 처리를 통해 차량 주변 객체에 대한 유효한 데이터로 출력되며(S13), 이러한 라이다 데이터에는 감지된 객체에 대하여 적어도 위치 정보가 포함될 수 있다.
도 6(a)는 도 4(a)의 주변 환경에 대해 감지한 라이다 데이터를 예시하고 있으며, 도 6(a)에 보이는 바와 같이, 라이다 데이터는 좌측 도로경계에 대한 라이다 데이터(LGl), 3개 차량들에 대한 라이다 데이터(LV1, LV2, LV3), 우측 도로경계에 대한 라이다 데이터(LGr) 등을 포함하고 있다.
데이터 처리부(16)로부터 나온 카메라 데이터, 레이더 데이터 및 라이다 데이터들은 그리드 맵핑 단계를 거치며(S21), 라이다 데이터에 대한 평가를 수행해 스코어를 산출하고, 라이다 데이터 중 기준치 이상 스코어의 라이다 데이터가 최종 산출된다(S20; 제1 프로세스).
이를 위해, 카메라 데이터는 제1 맵핑부(11)로 입력되어 그리드 맵에 맵핑 처리되어 클래스 에비덴셜 그리드 맵을 형성한다.
예시적으로, 도 4(c)는 도 4(b)의 카메라 데이터를 이용해 형성된 클래스 에비덴셜 그리드 맵을 나타낸다.
도 4(c)에서 그리드는 자차량(HV) 주변의 관심 영역에 대해 횡방향 및 종방향으로 복수의 정사각형 셀들에 의해 나뉘어져 있으며, 셀들은 그에 입력된 카메라 데이터에 따라 스코어 값이 결정된다. 예시적으로, 각 셀에 입력되는 카메라 데이터의 분류에 따라 각 셀의 스코어 값이 '-100 ~ 100'의 범위에서 결정되도록 설정될 수 있으며, 스코어 값이 '100'에 가까울 수록 해당 셀은 도로경계가 있을 확률이 높다고 판단되고, '-100'에 가까운 경우에는 해당 셀에 도로경계가 아닌 물체가 있을 확률이 높다고 판단될 수 있다.
예시적으로, 도 4(c)에 보이는 바와 같이, 도로경계에 해당하는 카메라 데이터가 입력된 셀들(CGl,CEGM 및 CGr,CEGM)은 '100'의 스코어 값을 가지고, 전방의 3개 차량들에 대한 카메라 데이터가 입력된 셀들(CVl,CEGM, CV2,CEGM, CV3,CEGM)은 '-100'의 스코어 값을 가지며, 그 외의 셀들은 '0'의 스코어 값을 갖도록 결정될 수 있다.
이러한, 그리드 맵은 시간에 따라 데이터를 누적시켜 도 4(d)와 같은 누적 그리드 맵을 형성할 수 있다.
예시적으로, 복수의 촬상 프레임에 대한 카메라 데이터에 대해, 각 프레임별 카메라 데이터를 이용한 도 4(c)와 같은 그리드 맵을 모두 누적해 도 4(d)와 같은 누적 클래스 에비덴셜 그리드 맵을 형성할 수 있다.
누적 그리드 맵에서 스코어 값으로 '-100'을 갖는 셀들(ACVCEGM)은, 적어도 한 프레임의 카메라 데이터에서 차량이 있었던 셀들에 해당하며, 이와 같은 누적을 통해 도로경계가 있을 수 없는 공간을 더욱 명확하게 할 수 있다. 또한, 도로경계에 대한 데이터는 누적됨에 따라 그리드 맵에서 도로경계에 상응하는 셀들(ACGl,CEGM, ACGr,CEGM)의 위치를 더욱 명확하게 구분시키고 있다.
이와 같이 형성된 클래스 에비덴셜 그리드 맵은 후술하는 바와 같이 라이다 데이터 중 도로경계에 대한 데이터를 분류하는 데 이용될 수 있다.
한편, 레이더 데이터는 제2 맵핑부(12)로 입력되며, 그리드 맵에 맵핑 처리되어 무빙 에비덴셜 그리드 맵을 형성하는데, 도 5(b)를 통해 이에 대해 설명한다.
먼저, 도 5(b)는 도 5(a)의 레이더 데이터를 이용해 형성된 무빙 에비덴셜 그리드 맵을 나타낸다.
도 5(b)에서 그리드는 자차량(HV) 주변의 관심 영역에 대해 횡방향 및 종방향으로 복수의 정사각형 셀들에 의해 나뉘어져 있으며, 셀들은 그에 입력된 레이더 데이터에 따라 스코어 값이 결정된다. 예시적으로, 이동 물체의 레이더 데이터가 입력된 셀들(RV1,MEGM, RV2,MEGM, RV3,MEGM)은 그 스코어 값이 '-100'으로 결정되고, 정지 물체의 셀들(RGl,MEGM, RGr,MEGM)인 경우에는 '100'으로 결정되며, 레이더 데이터가 없는 셀들은 '0'으로 결정될 수 있다.
무빙 에비덴셜 그리드 맵의 경우도, 마찬가지로 시간에 따라 누적될 수 있으며, 이를 통해 예시적으로 도 5(c)와 같은 누적된 무빙 에비덴셜 그리드 맵을 형성할 수 있다. 도 5(c)에 보이는 바와 같이, 정지 물체에 상응하여 스코어 값이 '100'인 셀들(ARGl,MEGM, ARGr,MEGM)은 누적되어 좌측 및 우측으로 위치하고 있고, 이동 물체에 상응하여 스코어 값이 '-100'인 셀들(ARVMEGM)은 누적되어 도로의 거의 전 영역으로 위치하고 있음을 알 수 있다.
이와 같은 무빙 에비덴셜 그리드 맵은 후술하는 바와 같이 라이다 데이터 중 어느 것이 정지 물체에 대한 것인지 판별하는데 이용될 수 있다.
클래스 에비덴셜 그리드 맵과 무빙 에비덴셜 그리드 맵이 형성되면, 측위 산출부(17)에서는 라이다 데이터를 그리드 맵들에 맵핑하여 라이다 데이터에 대한 스코어를 결정하고(S21a, S21b) 평가한다.
도 6(b)는 도 6(a)의 라이다 데이터를 도 4(d)의 그리드 맵에 맵핑한 모습을 나타내며, 도 6(c)는 도 6(a)의 라이다 데이터를 도 5(c)의 그리드 맵에 맵핑한 모습을 나타낸다.
이러한 맵핑을 통해 각 그리드 맵의 셀이 갖는 스코어를 이용하여 도 6(a)의 라이다 데이터들에 대한 스코어가 결정될 수 있다.
예시적으로, 도 6(b)에서 좌측 및 우측 도로경계에 대한 라이다 데이터(ACGl,CEGM, ACGr,CEGM)는 클래스 에비덴셜 그리드 맵의 셀 중 스코어 값이 '100'인 셀들에 상응하므로, 분류에 대한 스코어(이하 '제1 스코어'라 함) 값으로 '100'을 갖도록 결정될 수 있으며, 제1 차량(V1), 제2 차량(V2) 및 제3 차량(V3)에 대한 라이다 데이터들(ACVCEGM)은 '-100'의 스코어 값을 갖도록 결정될 수 있다.
또한, 예시적으로, 도 6(c)에서 좌측 및 우측 도로경계에 대한 라이다 데이터(LGl,MEGM, LGr,MEGM)는 무빙 에비덴셜 그리드 맵의 셀 중 스코어 값이 '100'인 셀들에 상응하므로, 이동성에 대한 스코어(이하 '제2 스코어'라 함) 값으로 '100'을 갖도록 결정될 수 있으며, 제1 차량(V1), 제2 차량(V2) 및 제3 차량(V3)에 대한 라이다 데이터들(ARVMEGM)은 '-100'의 스코어 값을 갖도록 결정될 수 있다.
이와 같이, 그리드 맵들을 이용하여 라이다 데이터에 대한 제1 스코어 및 제2 스코어가 결정되면, 그 스코어 값이 기준값 이상인지 여부를 판단하여(S21c), 기준값 미만인 경우에는 해당 라이다 데이터를 폐기하고(S21d), 기준값 이상으로서 최종 도로경계에 해당하는 라이다 데이터를 산출할 수 있다. 여기서, 기준값과 비교함에 있어서는, 제1 스코어와 제2 스코어를 합산한 결과가 이용될 수 있지만, 이에 반드시 한정되는 것은 아니다. 또한, 도로경계 산출함에 있어, 제1 스코어가 제1 기준값 이상인지 여부를 먼저 판단하고, 그에 해당하는 데이터들 중에서 제2 스코어가 제2 기준치 이상인지 여부에 따라 결정될 수도 있다. 물론, 제2 스코어를 먼저 이용해 판단하고, 제1 스코어로 최종 판단할 수도 있다.
예시적으로, 클래스 에비덴셜 그리드 맵을 기반으로 한 제1 스코어와 무빙 에비덴셜 그리드 맵 기반의 제2 스코어가 모두 큰 경우, 예컨대, 모두 '100'인 경우 해당 라이다 데이터를 도로경계에 대한 데이터로 결정할 수 있으며, 그 결과를 나타내면 도 6(d)와 같다.
도 6(a)의 라이다 데이터만으로는 어느 것이 도로경계에 대한 것인지 그 결정이 곤란하지만, 카메라 및 레이더 데이터를 이용한 그리드 맵들을 통해 평가함으로써 최종 도로경계의 라이다 데이터를 결정할 수 있는 것이다.
도로경계로 최종 라이다 데이터가 결정되면 도로경계에 대한 측위 정보를 산출할 수 있으며, 그 결과는 출력부(15)를 통해 측위 모듈(20)로 전송되어 자차량(HV) 측위에 이용된다(S102). 여기서, 출력부(15)는 예시적으로 신호선이 연결될 수 있는 출력 포트일 수 있다.
도로경계로 최종 결정된 라이다 데이터는 또한 퓨전 프리스페이스부(13)로 입력되어 도로경계에 대한 추적 데이터 산출에 이용된다(S30; 제2 프로세스).
프리스페이스는 일반적으로 관심 영역을 섹션별로 나눈 후 각 섹션에서 물체까지의 거리를 하나의 포인트로 표현하고 추적하는 데이터 형식이다.
본 실시예에서는, 데이터 처리부(16)로부터 입력된 카메라 데이터 및 레이더 데이터와 도로경계로 최종 결정된 상기 라이다 데이터가 이용되는데, 예시적으로, 도 7과 같이 카메라 데이터 및 레이더 데이터와 라이다 데이터를 섹션(S1 ~ Sn, HS1 ~ HSn)마다 포인트(CP, RP, LP)로 추상화하여 등록하고, 각 섹션에 등록된 센서 데이터들을 결합하여 하나의 최적 포인트(P)로 산출하고 추적한다.
여기서, 상기 섹션(S1 ~ Sn)은 라이다 데이터의 기준점(예컨대, 라이다 위치)를 원점으로 하여 방사형으로 일정 각도씩 구분해 형성될 수 있으며, 또한, 원점 후방에 대해서는 수평 섹션(HS1 ~ HSn)으로 분할해 정의할 수 있다. 물론, 본 발명은 이에 한정되는 것은 아니며, 상기와 같은 형태의 섹션 대신에 사각형 그리드 맵 형태가 이용될 수도 있다.
또한, 여기서 추적 알고리즘으로는 칼만 필터나 웨이티드 썸(weighted sum)이 이용될 수 있다.
퓨전 프리스페이스부(13)에서 산출된 도로경계에 대한 추적 데이터는 도로경계에 대한 주행경로용 정보로 활용되기 위해 출력부(15)를 통해 주행경로 생성모듈(30)로 전송된다. 주행경로 생성모듈(30)은 도로경계에 대한 주행경로용 정보를 이용하여 주행경로를 생성할 수 있다(S101).
도 8은 퓨전 프리스페이스부(13)에서 산출된 도로경계에 대한 추적 데이터의 예시로서, 도 1(b)의 감지 데이터들에 대하여 전술한 과정을 통해 최종 산출한 도로경계에 대한 추적 데이터를 나타낸다.
도 8에 보이는 바와 같이, 본 실시예의 의하면, 자차량의 원점(O)을 기준으로 좌측의 가드레일과 우측의 방음벽에 대한 도로경계 데이터가 잘 감지되어 추적될 수 있음을 알 수 있다.
도 8의 도로경계 데이터 중 밝은 포인트들(yb)은 신뢰도가 높지만, 어두운 포인트들(yd)은 신뢰도가 낮을 수 있는데, 상기 주행경로용 정보를 산출함에 있어서는 신뢰도가 높은 포인트들(yb)이 이용되는 것이 바람직하다.
여기서, 상기 포인트의 신뢰도는 퓨전 프리스페이스부(13) 자체에서 결정된 신뢰도와 해당 섹션의 추적 횟수의 결합으로 산출될 수 있다.
이와 같이, 카메라, 레이더, 라이다 데이터를 모두 결합하여 산출한 도로경계에 대한 주행경로용 정보는 인식 범위가 넓고, 인식률이 높아 주행경로 생성 모듈(30)의 도로경계 요구사항에 잘 부합된다.
한편, 본 실시예에서, 데이터 처리부(16), 제1 맵핑부(11), 제2 맵핑부(12), 측위 산출부(17), 퓨전 프리스페이스부(13) 등은, 예시적으로, 각각 전술한 내용을 수행하도록 프로그램화되어 시스템(100)에 탑재되어 개별 또는 통합 마이크로 프로세서를 통해 실행될 수 있다.
그리고, 상기 시스템(100)은 상기 프로그램 및 전술한 기준값 등을 저장하기 위해 메모리를 포함할 수 있다.
또한, 본 실시예에서, 도로경계에 대한 측위 정보를 산출함에 있어서, 클래스 에비덴셜 그리드 맵과 함께 무빙 에비덴셜 그리드 맵이 이용되지만, 본 발명은 이에 한정되지 않는다. 예시적으로, 클래스 에비덴셜 그리드 맵만으로 도로경계에 대한 구분이 가능하므로, 무빙 에비덴셜 그리드 맵은 이용되지 않을 수 있다.
또한, 퓨전 프리스페이스부(13)에서 도로경계에 대한 추적 데이터를 산출함에 있어서, 전술한 실시예에서는 카메라 데이터와 레이더 데이터가 함께 이용되지만, 본 발명은 반드시 이에 한정되는 것은 아니며, 둘 중 하나의 데이터만이 이용되어 라이다 데이터와 융합 처리될 수도 있다.
10 : 객체 감지 모듈
11 : 제1 맵핑부
12 : 제2 맵핑부
13 : 퓨전 프리스페이스부
14 : 입력부
15 : 출력부
16 : 데이터 처리부
17 : 측위 산출부
20 : 측위 모듈
30 : 주행경로 생성 모듈

Claims (20)

  1. 자차량 주변 영역에 대한 카메라 데이터 및/또는 레이더 데이터와 라이다 데이터를 수신하는 입력부;
    상기 카메라 데이터 및/또는 레이더 데이터와 라이다 데이터에 대해, 제1 프로세스를 실행하여 관심 객체의 측위용 정보를 산출하고, 제2 프로세스를 실행하여 상기 관심 객체의 주행경로용 정보를 산출하는 마이크로 프로세서; 및
    상기 측위용 정보와 주행경로용 정보를 출력하는 출력부
    를 포함하는,
    차량용 운전 제어 시스템.
  2. 제1항에 있어서,
    상기 관심 객체는 도로경계를 포함하는,
    차량용 운전 제어 시스템.
  3. 제1항에 있어서,
    상기 제1 프로세스는, 상기 카메라 데이터 및 상기 레이더 데이터를 이용해 상기 라이다 데이터를 평가한 결과에 따라 상기 측위용 정보를 산출하는,
    차량용 운전 제어 시스템.
  4. 제3항에 있어서,
    상기 제1 프로세스는, 상기 카메라 데이터 및/또는 상기 레이더 데이터의 그리드 맵핑 정보를 이용해 상기 평가를 수행하는,
    차량용 운전 제어 시스템.
  5. 제4항에 있어서,
    상기 그리드 맵핑 정보는:
    상기 카메라 데이터를 그리드 맵에 맵핑하여 얻은 제1 그리드 맵 정보; 및/또는
    상기 레이더 데이터를 상기 그리드 맵에 맵핑하여 얻은 제2 그리드 맵 정보
    를 포함하는,
    차량용 운전 제어 시스템.
  6. 제5항에 있어서,
    상기 제1 그리드 맵 정보는 상기 카메라 데이터에 의해 객체를 분류한 분류 정보에 따라 각 셀에 대하여 결정된 제1 스코어를 포함하고,
    상기 제2 그리드 맵 정보는 상기 레이더 데이터에 의한 객체의 이동성 정보에 따라 상기 각 셀에 대하여 결정된 제2 스코어를 포함하는,
    차량용 운전 제어 시스템.
  7. 제6항에 있어서,
    상기 측위용 정보는 상기 제1 스코어 및/또는 제2 스코어가 기준치 이상인 셀에 상관된 상기 라이다 데이터로부터 산출되는,
    차량용 운전 제어 시스템.
  8. 제6항에 있어서,
    상기 제1 그리드 맵 정보와 상기 제2 그리드 맵 정보는 복수의 데이터 프레임을 지속적으로 누적하여 얻는,
    차량용 운전 제어 시스템.
  9. 제1항에 있어서,
    상기 제2 프로세스는, 상기 라이다 데이터 중 상기 측위용 정보에 상관된 라이다 데이터와 상기 카메라 데이터 및/또는 상기 레이더 데이터를 이용해, 상기 주행경로용 정보를 산출하는,
    차량용 운전 제어 시스템.
  10. 제9항에 있어서,
    상기 제2 프로세스는, 차량 주변의 관심 영역을 복수의 섹션으로 구분하고, 각 섹션마다 상기 라이다 데이터와 상기 카메라 데이터 및/또는 상기 레이더 데이터를 융합해 포인트로 표현한 퓨젼 프리스페이스(fusion freespace)를 이용하는,
    차량용 운전 제어 시스템.
  11. 제10항에 있어서,
    상기 제2 프로세스는 상기 포인트에 대한 추적 알고리즘으로 칼만 필터나 웨이티드 썸(weighted sum)을 이용하는,
    차량용 운전 제어 시스템.
  12. 자차량 주변 영역에 대한 카메라 데이터 및/또는 레이더 데이터와 라이다 데이터를 수신하는 단계;
    상기 카메라 데이터 및/또는 레이더 데이터와 라이다 데이터에 대해, 제1 프로세스를 실행하여 관심 객체의 측위용 정보를 산출하는 단계; 및
    상기 카메라 데이터 및/또는 레이더 데이터와 라이다 데이터에 대해, 제2 프로세스를 실행하여 상기 관심 객체의 주행경로용 정보를 산출하는 단계
    를 포함하는,
    차량용 운전 제어 방법.
  13. 제12항에 있어서,
    상기 제1 프로세스는, 상기 카메라 데이터 및/또는 상기 레이더 데이터를 이용해 상기 라이다 데이터를 평가한 결과에 따라 상기 측위용 정보를 산출하는,
    차량용 운전 제어 방법.
  14. 제13항에 있어서,
    상기 제1 프로세스는, 상기 카메라 데이터 및/또는 상기 레이더 데이터의 그리드 맵핑 정보를 이용해 상기 평가를 수행하는,
    차량용 운전 제어 방법.
  15. 제14항에 있어서,
    상기 그리드 맵핑 정보는:
    상기 카메라 데이터를 그리드 맵에 맵핑하여 얻은 제1 그리드 맵 정보; 및/또는
    상기 레이더 데이터를 상기 그리드 맵에 맵핑하여 얻은 제2 그리드 맵 정보
    를 포함하는,
    차량용 운전 제어 방법.
  16. 제15항에 있어서,
    상기 제1 그리드 맵 정보는 상기 카메라 데이터에 의해 객체를 분류한 분류 정보에 따라 각 셀에 대하여 결정된 제1 스코어를 포함하고,
    상기 제2 그리드 맵 정보는 상기 레이더 데이터에 의한 객체의 이동성 정보에 따라 상기 각 셀에 대하여 결정된 제2 스코어를 포함하는,
    차량용 운전 제어 방법.
  17. 제16항에 있어서,
    상기 측위용 정보는 상기 제1 스코어 및/또는 제2 스코어가 기준치 이상인 셀에 상관된 상기 라이다 데이터로부터 산출되는,
    차량용 운전 제어 방법.
  18. 제16항에 있어서,
    상기 제1 그리드 맵 정보와 상기 제2 그리드 맵 정보는 복수의 데이터 프레임을 지속적으로 누적하여 얻는,
    차량용 운전 제어 방법.
  19. 제12항에 있어서,
    상기 제2 프로세스는, 상기 라이다 데이터 중 상기 측위용 정보에 상관된 라이다 데이터와 상기 카메라 데이터 및/또는 상기 레이더 데이터를 이용해, 상기 주행경로용 정보를 산출하는,
    차량용 운전 제어 방법.
  20. 제19항에 있어서,
    상기 제2 프로세스는, 차량 주변의 관심 영역을 복수의 섹션으로 구분하고, 각 섹션마다 상기 라이다 데이터와 상기 카메라 데이터 및/또는 상기 레이더 데이터를 융합해 포인트로 표현한 퓨젼 프리스페이스(fusion freespace)를 이용하는,
    차량용 운전 제어 방법.
KR1020220018012A 2022-02-11 2022-02-11 센서퓨전을 이용한 차량용 운전 제어 시스템 및 방법 Pending KR20230121644A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220018012A KR20230121644A (ko) 2022-02-11 2022-02-11 센서퓨전을 이용한 차량용 운전 제어 시스템 및 방법
US18/071,193 US12248069B2 (en) 2022-02-11 2022-11-29 Vehicle driving control system and method using sensor fusion technology

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220018012A KR20230121644A (ko) 2022-02-11 2022-02-11 센서퓨전을 이용한 차량용 운전 제어 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20230121644A true KR20230121644A (ko) 2023-08-21

Family

ID=87559559

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220018012A Pending KR20230121644A (ko) 2022-02-11 2022-02-11 센서퓨전을 이용한 차량용 운전 제어 시스템 및 방법

Country Status (2)

Country Link
US (1) US12248069B2 (ko)
KR (1) KR20230121644A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12162515B1 (en) * 2022-06-21 2024-12-10 Zoox, Inc. Vehicle system lidar fog detection and compensation

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3879740B2 (ja) 2004-02-13 2007-02-14 日産自動車株式会社 道路領域検出装置
US9530062B2 (en) 2014-12-23 2016-12-27 Volkswagen Ag Fused raised pavement marker detection for autonomous driving using lidar and camera
KR101816034B1 (ko) 2015-12-11 2018-02-21 현대오트론 주식회사 카메라 및 레이더를 이용한 도로 경계선 검출 장치 및 방법
KR20170118501A (ko) 2016-04-15 2017-10-25 현대자동차주식회사 자율주행차량의 주행경로 생성장치 및 방법
JP6930368B2 (ja) 2017-10-27 2021-09-01 トヨタ自動車株式会社 車両制御装置
DE102018217268A1 (de) 2018-10-10 2020-04-16 Zf Friedrichshafen Ag Vorrichtung und Verfahren zum Ermitteln von Höheninformationen eines Objekts in einer Umgebung eines Fahrzeugs
KR102083482B1 (ko) 2018-12-13 2020-03-02 국민대학교산학협력단 라이다 기반의 차량주행 가능영역 검출장치 및 방법
US11204417B2 (en) * 2019-05-08 2021-12-21 GM Global Technology Operations LLC Selective attention mechanism for improved perception sensor performance in vehicular applications
JP7372350B2 (ja) * 2019-06-14 2023-10-31 ケーピーアイティ テクノロジーズ リミテッド ライダおよびレーダに基づくトラッキングおよびマッピングシステムならびにその方法
KR20210050925A (ko) 2019-10-29 2021-05-10 엘지전자 주식회사 차량 충돌 회피 장치 및 방법
EP3819667A1 (en) * 2019-11-08 2021-05-12 Outsight Radar and lidar combined mapping system
JP2023501812A (ja) * 2019-11-13 2023-01-19 ユヴァル ネフマディ 自律車両環境知覚ソフトウェアアーキテクチャ
EP3832525A1 (en) * 2019-12-03 2021-06-09 Aptiv Technologies Limited Vehicles, systems, and methods for determining an entry of an occupancy map of a vicinity of a vehicle
CN111352112B (zh) * 2020-05-08 2022-11-29 泉州装备制造研究所 基于视觉、激光雷达和毫米波雷达的目标检测方法
US11967161B2 (en) * 2020-06-26 2024-04-23 Amazon Technologies, Inc. Systems and methods of obstacle detection for automated delivery apparatus
CN114859370A (zh) * 2021-01-20 2022-08-05 京东科技信息技术有限公司 定位方法和装置、计算机装置和计算机可读存储介质
KR102346304B1 (ko) * 2021-05-13 2022-01-03 주식회사 토르 드라이브 모양이 복잡하거나 크기가 큰 물체를 정확하게 인식할 수 있는 센서 융합 인식 시스템 및 그 방법
EP4137845A1 (en) * 2021-08-16 2023-02-22 Aptiv Technologies Limited Methods and systems for predicting properties of a plurality of objects in a vicinity of a vehicle

Also Published As

Publication number Publication date
US20230258805A1 (en) 2023-08-17
US12248069B2 (en) 2025-03-11

Similar Documents

Publication Publication Date Title
US10753758B2 (en) Top-down refinement in lane marking navigation
US9569673B2 (en) Method and device for detecting a position of a vehicle on a lane
KR102613839B1 (ko) 긴급 차량들의 검출
CN110796007B (zh) 场景识别的方法与计算设备
EP3007099B1 (en) Image recognition system for a vehicle and corresponding method
KR102569900B1 (ko) 전방위 센서퓨전 장치 및 그의 센서퓨전 방법과 그를 포함하는 차량
US10572744B2 (en) Systems and methods for detecting an object
GB2627091A (en) Systems and methods for determining road safety
US9576489B2 (en) Apparatus and method for providing safe driving information
EP3619643A1 (en) Detection and classification systems and methods for autonomous vehicle navigation
JP2018092483A (ja) 物体認識装置
JP2006208223A (ja) 車両位置認識装置及び車両位置認識方法
US20220036730A1 (en) Dangerous driving detection device, dangerous driving detection system, dangerous driving detection method, and storage medium
US11423661B2 (en) Object recognition apparatus
CN113297881A (zh) 一种目标检测方法及相关装置
US11900691B2 (en) Method for evaluating sensor data, including expanded object recognition
CN108027237B (zh) 周边识别装置
US20210124351A1 (en) Onboard cluster tracking system
CN115195773A (zh) 用于控制车辆驾驶的装置和方法及记录介质
CN116524454A (zh) 物体追踪装置、物体追踪方法及存储介质
KR20230121644A (ko) 센서퓨전을 이용한 차량용 운전 제어 시스템 및 방법
US20220129683A1 (en) Selecting data for deep learning
US20240273920A1 (en) Driving assistance device and driving assistance method
CN118587244B (zh) 车辆轨迹预测方法、装置、电子设备及存储介质
CN119556302A (zh) 用于识别对象的设备及其方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20220211

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20250122

Comment text: Request for Examination of Application