[go: up one dir, main page]

KR102636740B1 - 차량 및 그 제어방법 - Google Patents

차량 및 그 제어방법 Download PDF

Info

Publication number
KR102636740B1
KR102636740B1 KR1020180162922A KR20180162922A KR102636740B1 KR 102636740 B1 KR102636740 B1 KR 102636740B1 KR 1020180162922 A KR1020180162922 A KR 1020180162922A KR 20180162922 A KR20180162922 A KR 20180162922A KR 102636740 B1 KR102636740 B1 KR 102636740B1
Authority
KR
South Korea
Prior art keywords
vehicle
location
tracking filter
control unit
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020180162922A
Other languages
English (en)
Other versions
KR20200074488A (ko
Inventor
김봉주
금병직
김호준
옥성석
Original Assignee
현대자동차주식회사
기아 주식회사
현대오토에버 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사, 현대오토에버 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020180162922A priority Critical patent/KR102636740B1/ko
Priority to US16/577,754 priority patent/US11410428B2/en
Priority to CN201911007341.0A priority patent/CN111391854B/zh
Publication of KR20200074488A publication Critical patent/KR20200074488A/ko
Application granted granted Critical
Publication of KR102636740B1 publication Critical patent/KR102636740B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0294—Trajectory determination or predictive filtering, e.g. target tracking or Kalman filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0022—Gains, weighting coefficients or weighting functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량이 주행하는 주행 환경에 대응되는 필터를 선택하고 선택된 필터에 기초한 최적화된 연산 방법을 기초로 차량 주변 물체를 높은 신뢰도로 추적하는 차량 및 그 제어방법을 제공한다.
일 실시예에 따른 차량은, 복수개의 센서 모듈을 포함하고, 차량 주변에 위치하는 적어도 하나의 물체의 위치 정보를 획득하는 센서부; 및 상기 복수개의 센서 모듈과 상기 적어도 하나의 물체의 대응관계에 기초하여, 추적 필터를 결정하고, 상기 적어도 하나의 물체의 위치 정보 및 상기 추적 필터를 이용하여 상기 적어도 하나의 물체의 위치를 추적하는 제어부;를 포함한다.

Description

차량 및 그 제어방법{VEHICLE AND CONTROL METHOD OF THE VEHICLE}
본 발명은 최적화된 차량 주변의 물체의 추적 방법에 관련된 차량 및 그 제어방법에 관련된 기술이다.
차량은 차량 주변에 마련된 센서를 기초로 차량과 차량 주변 물체와의 관계를 도출할 수 있다. 차량에 마련된 센서는 카메라, 레이더 및 라이다 등을 포함할 수 있다.
한편, 차량의 각종 센서들로부터 획득되는 다수의 정보들을 실시간으로 '조합(fusion)' 활용하여 운전자의 운전을 보조함으로써 편의성을 향상시키는 센서 퓨전 기술이 개발되어 점차적으로 그 적용범위를 늘려가고 있다. 차량 주변의 물체에 관련되는 정보를 획득하는데 있어서 차량 주행 중 수신되는 센서 데이터를 취합한 후 필터를 거친 후에 센서 퓨전을 수행하게 된다. 즉, 다양한 주변 환경으로부터 수신되는 복수개의 센서 데이터를 단일 종류 또는 단일 개수의 필터를 거쳐서 센서 퓨전을 수행하는 방법이 일반적이다. 그런데, 단수 또는 복수 개의 센서로부터 수신되는 센서 데이터를 단일 종류 또는 단일 개수로 필터를 설계할 경우 최적의 신호처리 성능을 보장하기가 어렵고, 노이즈나 주변환경에 대한 강건한 필터 성능을 확보하기가 어렵다.
따라서 차량 주행 환경에 적합한 필터의 선택과 필터 선택에 대한 효율적인 퓨전 방법에 대한 활발한 연구가 이루어지고 있다.
본 발명은 차량이 주행하는 주행 환경에 대응되는 필터를 선택하고 선택된 필터에 기초한 최적화된 연산 방법을 기초로 차량 주변 물체를 높은 신뢰도로 추적하는 차량 및 그 제어방법을 제공한다.
일 실시예에 따른 차량은, 복수개의 센서 모듈을 포함하고, 차량 주변에 위치하는 적어도 하나의 물체의 위치 정보를 획득하는 센서부; 및 상기 복수개의 센서 모듈과 상기 적어도 하나의 물체의 대응관계에 기초하여, 추적 필터를 결정하고, 상기 적어도 하나의 물체의 위치 정보 및 상기 추적 필터를 이용하여 상기 적어도 하나의 물체의 위치를 추적하는 제어부;를 포함한다.
상기 제어부는, 상기 복수개의 센서 모듈 중 하나의 센서 모듈과 하나의 물체가 대응되면, 제1추적 필터에 포함되는 추적 필터를 이용하여 상기 적어도 하나의 물체의 위치를 추적할 수 있다.
상기 제어부는, 상기 복수개의 센서모듈 중 하나의 센서 모듈과 복수개의 물체가 대응되면, 제2추적 필터에 포함되는 추적필터를 이용하여 상기 하나의 물체의 위치를 추적할 수 있다.
상기 제어부는, 상기 복수개의 센서모듈과 하나의 물체가 대응되면, 제1추적 필터에 포함되는 추적필터를 이용하여 상기 하나의 물체의 위치를 추적할 수 있다.
상기 제어부는, 추적된 상기 하나의 물체의 위치를 기초로 상기 복수개의 센서모듈 각각의 신뢰도를 결정하고, 상기 신뢰도에 기초하여 상기 복수개의 센서모듈 각각이 획득한 상기 하나의 물체의 위치 정보에 가중치를 부여하여 상기 하나의 물체의 위치를 추적할 수 있다.
상기 제어부는, 상기 적어도 하나의 물체의 위치 정보를 기초로 상기 적어도 하나의 물체의 예상 경로를 도출하고, 실시간으로 획득한 상기 적어도 하나의 물체의 위치 정보와 상기 예상 경로를 비교하여, 상기 적어도 하나의 물체의 위치를 추적할 수 있다.
상기 제어부는, 상기 적어도 하나의 물체의 위치를 추적하면, 상기 적어도 하나의 물체의 예상 경로의 변경을 무시할 수 있다.
상기 센서부는, 상기 차량이 주행하는 차선 정보를 획득하고, 상기 제어부는, 상기 차선 정보 및 상기 적어도 하나의 물체의 이동 속도를 기초로 상기 복수개의 물체의 위치를 추적할 수 있다.
일 실시예에 따른 차량 제어방법은, 차량 주변에 위치하는 적어도 하나의 물체의 위치 정보를 획득하고, 복수개의 센서 모듈과 상기 적어도 하나의 물체의 대응관계에 기초하여, 추적 필터를 결정하고, 상기 적어도 하나의 물체의 위치 정보 및 상기 추적 필터를 이용하여 상기 적어도 하나의 물체의 위치를 추적하는 것을 포함할 수 있다.
상기 추적 필터를 결정하는 것은, 상기 복수개의 센서 모듈 중 하나의 센서 모듈과 하나의 물체가 대응되면, 제1추적 필터에 포함되는 추적 필터를 이용하여 상기 적어도 하나의 물체의 위치를 추적하는 것을 포함할 수 있다.
상기 추적 필터를 결정하는 것은, 상기 복수개의 센서모듈 중 하나의 센서 모듈과 복수개의 물체가 대응되면, 제2추적 필터에 포함되는 추적필터를 이용하여 상기 하나의 물체의 위치를 추적하는 것을 포함할 수 있다.
상기 추적 필터를 결정하는 것은, 상기 복수개의 센서모듈과 하나의 물체가 대응되면, 제1추적 필터에 포함되는 추적필터를 이용하여 상기 하나의 물체의 위치를 추적할 수 있다.
일 실시예에 따른 차량 및 그 제어방법은, 차량이 주행하는 주행 환경에 대응되는 필터를 선택하고 선택된 필터에 기초한 최적화된 연산 방법을 기초로 차량 주변 물체를 높은 신뢰도로 추적할 수 있다.
도1은 일 실시예에 따른 차량의 제어블럭도이다.
도2a 내지 도2d는 일 실시예에 따른 차량이 주행하는 주행 환경을 나타낸 도면이다.
도3및 도4는 일 실시예에 따른 차량 주변 물체의 위치 정보를 도출하는 것을 설명하기 위한 도면이다.
도5a 내지 도5c는 일 실시예에 따른 차량의 주행 예상 경로를 도출하는 동작을 설명하기 위한 도면이다.
도6a 및 도6b는 일 실시예에 따른 차선 정보를 이용하여 차량 주변의 물체를 추적하는 동작을 설명하기 위한 도면이다.
도7은 일 실시예에 따른 순서도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
도1은 일 실시예에 따른 차량의 제어블럭도이다.
도1을 참고하면, 차량(1)은 센서부(100) 및 제어부(200)를 포함할 수 있다.
센서부(100)는 복수개의 센서 모듈을 포함하고, 차량 주변에 위치하는 적어도 하나의 물체의 위치 정보를 획득할 수 있다.
복수개의 센서 모듈은 카메라(110), 레이더(120) 및 라이다(130)에 해당될 수 있다.
카메라(110)는 차량의 전방, 후방 및 측방에 마련되어 영상을 획득할 수 있다.
카메라(110)는 CCD(Charge-Coupled Device) 카메라 또는 CMOS 컬러 이미지 센서를 포함할 수 있다. 여기서 CCD 및 CMOS는 모두 카메라의 렌즈를 통해 들어온 빛을 전기 신호로 바꾸어 저장하는 센서를 의미한다. 구체적으로CCD(Charge-Coupled Device) 카메라(110)는 전하 결합 소자를 사용하여 영상을 전기 신호로 변환하는 장치이다. 또한, CIS(CMOS Image Sensor)는 CMOS 구조를 가진 저소비, 저전력형의 촬상소자를 의미하며, 디지털 기기의 전자 필름 역할을 수행한다. 일반적으로 CCD는 CIS보다 감도가 좋아 차량(1)에 많이 쓰이지만, 반드시 이에 한정되는 것은 아니다.
레이더(120)는 마이크로파(극초단파, 10cm~100cm 파장) 정도의 전자기파를 물체에 발사시켜 그 물체에서 반사되는 전자기파를 수신하여 차량과 물체와의 거리, 방향, 고도 등을 알아내는 센서 모듈로 마련될 수 있다.
라이다(130)는 레이저 펄스를 발사하고, 그 빛이 주위의 대상 물체에서 반사되어 돌아오는 것을 받아 물체까지의 거리 등을 측정함으로써 주변의 모습을 정밀하게 그려내는 센서 모듈로 마련될 수 있다.
제어부(200)는 복수개의 센서 모듈과 상기 적어도 하나의 물체의 대응관계에 기초하여, 추적 필터를 결정할 수 있다.
대응 관계는 물체의 개수와 센서 모듈과의 매칭 관계로 본 발명에서는 4가지 대응관계로 구별될 수 있다. 이와 관련된 자세한 설명은 후술한다.
추적 필터는 수신되는 센서 데이터를 취합한 후 센서 퓨전을 수행하기 전 거치는 필터를 의미할 수 있다.
일 실시예에 따른 추적 필터는 단일 타겟 추적 필터(Single Target Tracking, STT) 및 다중 타겟 추적 필터(Multi Target Tracking ,MTT)로 분류될 수 있다.
단일 타겟 추적 필터(Single Target Tracking, STT)는 최근접 거리 필터(Nearest Neighbor, NN) , 확률 데이터 연관 필터(Probability Data Association, PDA) 및 통합 확률 데이터 연관 필터(Integrated Probabilistic Data Association, IPDA)를 포함할 수 있다.
다중 타겟 추적 필터(Multi Target Tracking ,MTT)는 다중 예측 추적 필터(Multiple Hypothesis Tracking, MHT) 공동 확률론적 데이터 연관 필터(Joint Probabilistic Data Association , JPDA) 선형 다중 타겟 - 통합 확률론적 데이터 연관 필터(Linear Multi target ?? Integrated Probabilistic Data Association, LM - IPDA)를 포함할 수 있다.
제어부(200)는 적어도 하나의 물체의 위치 정보 및 상기 추적 필터를 이용하여 적어도 하나의 물체의 위치를 추적할 수 있다. 제어부가 물체의 위치를 추적하는 자세한 동작은 후술한다.
제어부(200)는 복수개의 센서 모듈 중 하나의 센서 모듈과 하나의 물체가 대응되면, 제1추적 필터에 포함되는 추적 필터를 이용하여 상기 하나의 물체의 위치를 추적할 수 있다.
제1추적 필터는 상술한 단일 타겟 추적 필터(Single Target Tracking, STT)를 의미할 수 있다.
즉 상술한 센서 모듈과 물체가 일대일로 대응되는 경우 제어부는 물체의 위치를 도출하는데 제1추적 필터를 이용하도록 선택할 수 있다.
제어부는 복수개의 센서 모듈 각각과 복수개의 물체 각각이 대응되면 제1추적 필터에 포함되는 추적 필터를 이용하여 상기 복수개의 물체의 위치를 추적할 수 있다.
즉 차량 주변에 복수개의 물체가 위치하고 복수개의 물체 각각이 복수개의 센서 모듈과 대응되는 경우 센서 모듈 하나에 하나의 물체가 대응되는 것으로 제어부(200)는 제1추적 필터를 이용하여 물체의 위치를 추적할 수 있다.
제어부(200)는 복수개의 센서모듈 중 하나의 센서 모듈과 복수개의 물체가 대응되면 제2추적 필터에 포함되는 추적필터를 이용하여 상기 하나의 물체의 위치를 추적할 수 있다.
제2추적 필터는 다중 타겟 추적 필터(Multi Target Tracking ,MTT)를 의미할 수 있다.
센서 모듈이 하나가 아닌 복수개의 물체의 위치정보를 획득하는 경우, 제어부(200)는 제2추적 필터를 이용하여 차량 주변의 위치한 물체의 위치를 추적할 수 있다.
제어부(200)는 복수개의 센서모듈과 하나의 물체가 대응되면, 제1추적 필터에 포함되는 추적필터를 이용하여 상기 하나의 물체의 위치를 추적할 수 있다. 이 경우는 다수의 센서 모듈이 하나의 물체 위치 정보를 획득하는 경우를 의미할 수 있다.
한편 상술한 추적 필터를 결정하는 것은 제어부(200)에 마련된 필터 결정부(210)에서 수행될 수 있다.
이 경우 제어부(200)는 추적된 상기 하나의 물체의 위치를 기초로 상기 복수개의 센서모듈 각각의 신뢰도를 결정할 수 있다.
즉 도출된 물체의 위치 정보와 센서 모듈 각각이 획득한 물체의 위치 정보를 비교하여 각 센서 모듈이 신뢰할 수 있는 위치 정보를 획득한 것인지 여부와 관련된 신뢰도를 도출할 수 있다.
한편, 제어부는 신뢰도에 기초하여 상기 복수개의 센서모듈 각각이 획득한 상기 하나의 물체의 위치 정보에 가중치를 부여하여 상기 하나의 물체의 위치를 추적할 수 있다.
한편 이러한 동작은 제어부(200)에 마련된 가중치 판단부(220)에서 수행될 수 있다.
제어부(200)는 상기 적어도 하나의 물체의 위치 정보를 기초로 상기 적어도 하나의 물체의 예상 경로를 도출할 수 있다.
한편 예상 경로를 도출하는 것은 제어부(200)에 마련된 경로 예측부(230)에서 실시될 수 있다.
경로 예측부(230)는 센서부(100)로부터 출력되는 물체의 종 방향과 횡 방향 좌표 값이 일정 시간 동안 유지 될 때 예상 경로를 새롭게 생성하고, 직전에 생성된 예상 경로과 현재 감지된 물체의 위치 정보가 일정 거리 값 이내 라면 현재의 물체의 정보를 예상 경로로 간주하고, 예상 경로를 유지시키며, 일정 시간 동안 예상 경로에 더 이상의 감지된 위치 정보가 입력되지 않으면 예상 경로를 삭제시키는 역할을 한다. 그리고, 경로 예측부(230)는 전체 시스템에서 반복적으로 트랙들을 관리하기 위해 예상 경로의 좌표와 해당 예상 경로의 오차 공분산 값을 관리할 수 있다.
한편, 제어부(200)는 실시간으로 획득한 상기 적어도 하나의 물체의 위치 정보와 상기 예상 경로를 비교하여, 적어도 하나의 물체의 위치를 추적할 수 있다.
제어부(200)는 상기 적어도 하나의 물체의 위치를 추적하면, 상기 적어도 하나의 물체의 예상 경로의 변경을 무시할 수 있다. 즉, 제어부(200)가 차량 주변의 물체를 추적을 시작한 경우에는 해당 물체를 기준으로 물체를 지속적으로 추적하므로 차량이 주행하는 예상 경로를 획득할 필요성이 적어지는바, 예상 경로의 변경을 무시할 수 있다.
센서부(100)는 차량이 주행하는 차선 정보를 획득할 수 있다. 또한 센서부(100)는 차량 주변 물체가 주행하는 차선 정보도 획득할 수 있다. 제어부(200)는 차선 정보 및 상기 적어도 하나의 물체의 이동 속도를 기초로 상기 복수개의 물체의 위치를 추적할 수 있다. 이와 관련된 자세한 설명은 후술한다.
제어부(200)는 차량 내 구성요소들의 동작을 제어하기 위한 알고리즘 또는알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(미도시), 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 프로세서(미도시)로 구현될 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩으로 구현될 수도 있다.
도1에 도시된 차량의 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
한편, 도 1에서 도시된 각각의 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미한다.
도2a 내지 도2d는 일 실시예에 따른 차량이 주행하는 주행 환경을 나타낸 도면이다.
도2a를 참고하면, 복수개의 센서 모듈 중 하나의 센서 모듈과 하나의 물체가 대응되는 경우를 나타내고 있다.
차량에 마련된 각각의 센서 모듈은 차량의 장거리 영역(ZF), 중거리 영역(ZC) 및 측면 영역(ZL, ZR)의 물체를 검출할 수 있다. 도2a에서는 차량에 마련된 센서 모듈이 장거리 영역(ZF)에 마련된 단일 물체(T211)의 위치 정보를 획득하는 경우를 나타내고 있다.
즉 차량에 마련된 복수개의 센서 모듈 중 장거리 영역(ZF)에 대응되는 단일 센서 모듈과 장거리 영역(ZF)에 위치한 단일 물체(T211)가 대응되는 경우에 제어부는 제1추적 필터에 포함되는 추적 필터를 이용하여 상기 하나의 물체(T211)의 위치를 추적할 수 있다.
도2b를 참고하면, 복수개의 센서 모듈 각각과 복수개의 물체 각각(T221, T222, T223)이 대응되는 경우를 나타내고 있다.
도2b에서는 차량에 마련된 센서 모듈이 장거리 영역(ZF), 중거리 영역(ZC) 및 측면 영역(ZL, ZR)에 마련된 물체 각각(T221, T222, T223)의 위치 정보를 획득하는 경우를 나타내고 있다.
즉 차량에 마련된 복수개의 센서 모듈 각각은 각각의 물체(T221, T222, T223)와 대응될 수 있다. 즉, 장거리 영역(ZF) 센서 모듈은 T221물체에 대응될 수 있고, 측면 영역(ZL, ZR) 센서 모듈은 T222 및 T223물체에 대응될 수 있다.
각각의 영역에 대응되는 단일 센서 모듈과 단일 물체가 대응되는 경우에 제어부는 제1추적 필터에 포함되는 추적 필터를 이용하여 상기 하나의 물체의 위치를 추적할 수 있다.
도2c를 참고하면, 복수개의 센서 모듈 중 하나의 센서 모듈과 복수의 물체가 대응되는 경우를 나타내고 있다.
도2c에서는 차량에 마련된 측면 영영 센서 모듈이 측면 영역(ZL)에 마련된 복수의 물체(T231, T232)의 위치 정보를 획득하는 경우를 나타내고 있다.
즉 차량에 마련된 복수개의 센서 모듈 중 단일 센서 모듈과 다수의 물체가 대응되는 경우에 제어부는 제2추적 필터에 포함되는 추적 필터를 이용하여 상기 하나의 물체의 위치를 추적할 수 있다.
도2d를 참고하면, 복수개의 센서 모듈과 복수의 단일 물체가 대응되는 경우를 나타내고 있다.
도2d에서는 차량에 마련된 측면 영역(ZL, ZR) 센서 모듈, 중거리 영역(ZC) 센서 모듈이 복수의 물체(T241, T242)의 위치 정보를 획득하는 경우를 나타내고 있다.
즉 차량에 마련된 복수개의 센서 모듈 중 복수 센서 모듈과 단일 물체가 대응되는 경우에 제어부는 제1추적 필터에 포함되는 추적 필터를 이용하여 상기 하나의 물체의 위치를 추적할 수 있다.
다만 이 경우, 제어부는 추적된 상기 하나의 물체의 위치를 기초로 상기 복수개의 센서모듈 각각의 신뢰도를 결정하고, 신뢰도에 기초하여 상기 복수개의 센서모듈 각각이 획득한 상기 하나의 물체의 위치 정보에 가중치를 부여하여 상기 하나의 물체의 위치를 추적할 수 있다.
예를 들어, T242물체의 경우, 차량에 마련된 중거리 영역(ZC) 센서 모듈과 측면 영역(ZR) 센서 모듈 모두에 의해서 T242물체의 위치 정보를 획득할 수 있는데 복수의 센서 모듈이 공통의 물체를 추적하는 경우이므로, 개별 센서 모듈들에 대한 추적 필터 기법 뿐만 아니라 센서 퓨전 동작이 수행되는 경우를 의미할 수 있다.
도2d에서 복수의 센서모듈이 하나의 물체을 추적하게 되면, 각 센서 모듈의 추적 필터는 일부 센서들 중 정확도가 가장 높은 센서가 갖는 추적 필터로 모두 변경될 수 있다.
이를 테면 도2d의 경우 중거리 영역(ZC)의 센서 모듈이 T242물체의 위치를 정확히 획득하는 경우에는 측면 영역(ZR) 센서 모듈도 중거리 영역(ZC) 센서 모듈이 사용하는 필터를 이용할 수 있다.
제어부는 각 센서모듈이 추적 필터에서 출력되는 위치 정보에 가중치를 부여할 수 있다. 도2d에서 제어부는 중거리 영역(ZC) 센서 모듈에 의해서 획득되는 물체의 위치 정보가 정확한 것으로 판단된 경우에는 중거리 영역(ZC)의 센서 모듈에 높은 가중치를 부여하고 측면 영역(ZR) 센서 모듈에는 낮은 가중치를 부여하여 최종 물체의 위치 정보를 도출할 수 있다.
한편 도2a내지 도2d에서 설명한 차량의 주행 상황은 본 발명의 일 실시예를 설명하기 위한 것에 불과하여 주행 상황에 따라 적절한 추적 필터를 선택하고 센서 퓨전을 수행하는 동작의 제한은 없다.
도3및 도4는 일 실시예에 따른 차량 주변 물체의 위치 정보를 도출하는 것을 설명하기 위한 도면이다.
도3을 참고하면, 차량에 마련된 센서 모듈은 물체의 위치 정보(P31)를 획득할 수 있다. 제어부는 획득한 물체의 위치 정보를 칼만 필터(F3)를 통하여 예측 할 수 있다.
이와 관련하여 도4를 참고하면, 제어부는 센서 모듈과 물체간의 상호작용(interaction, S42)을 통하여 물체의 위치 정보를 획득하고, 해당 정보의 필터링(Filtering, S43)을 수행할 수 있다.
또한 제어부는 필터링 된 정보를 확률 모델 정보(Model Probability update, S44)로 산출할 수 있다. 제어부는 산출된 확률 모델 정보를 조합(Combination, S45)하여 물체의 위치 정보를 도출할 수 있다.
도3및 도4를 함께 참고하면 제어부는 상술한 방법으로 물체의 위치를 예측(Prediction)할 수 있으며 예측된 물체의 위치 정보를 게이팅(gating)하여 신뢰할 수 있는 정보를 추출할 수 있다.
구체적으로 제어부는 도4의 동작을 기초로 물체의 위치 정보를 예측하고 추출하여 물체의 위치를 모델링 하고 최종적으로 보정을 통하여 지속적으로 물체의 위치를 추적할 수 있다.
한편 도 3및 도4에서 설명한 동작은 본 발명의 추적 필터의 일 실시예에 따른 동작을 설명한 것이고, 물체의 위치를 지속적으로 추적하는 동작이라면 그 동작에 제한은 없다.
도5a 내지 도5c는 일 실시예에 따른 차량의 주행 예상 경로를 도출하는 동작을 설명하기 위한 도면이다.
상술한 바와 같이 제어부는 물체의 위치 정보를 기초로 물체의 예상 경로(R1)를 도출할 수 있다.
구체적으로 트랙 경로 예측부는 센서부로 부터 출력되는 물체의 종 방향과 횡 방향 좌표 값이 일정 시간 동안 유지 될 때 예상 경로를 신규로 생성시키고, 직전에 생성된 예상 경로과 현재 감지된 물체의 좌표 값이 일정 거리 값 이내 라면 현재의 좌표 값을 예상 경로로 결정할 수 있다.
이 때 제어부는 예상 경로를 유지시키며, 일정 시간 동안 예상 경로에 더 이상의 감지된 좌표 값이 입력되지 않으면 예상 경로를 제거할 수 있다.
또한 경로 예측부는 전체 시스템에서 재귀적으로 예상 경로들을 관리하기 위해 예상 경로의 좌표와 해당 예상 경로의 오차 공분산 값을 관리할 수 있다.
제어부는 레이더의 물체의 좌표 값이 최종 예상 경로로 인정될 경우 및 센서 퓨전이 필요 없는 물체당 단일 센서 모듈이 대응되는 경우 등, 성능이 좋은 추적 필터를 사용할 필요가 있으며, IPDA나 LM-IPDA를 사용하여 트랙의 존재 확률을 경로 예측부의 오차 공분산 값에 반영시켜 경로 예측부가 전체 추적 시스템의 정밀도 향상에 기여할 수 있다. 이 경우 제어부는 센서 퓨전의 동작을 수행하지 않는 반면 추적 필터와 관련된 연산이 증가할 수 있다.
한편 제어부는 센서 퓨전이 필요한 경우에는 개별 센서들은 상대적으로 간단한 형태의 추적 필터를 사용할 수 있고 트랙 관리기에서 관리해야 할 오차 공분산 값에 트랙의 존재 확률을 반영하지 않아도 되기 때문에 연산 부하를 줄일 수 있다.
도5a를 참고하면, 차량에 마련된 센서부는 전방 물체의 위치 정보를 기초로 물체의 예상 경로를 예측할 수 있다. 한편, 제어부는 도출된 예상 경로(R1)와 획득한 물체의 위치 정보를 기초로 물체의 위치(T511)를 추적할 수 있다.
도5b를 참고하면, 제어부가 물체의 위치 추적을 시작한 경우 추적이 시작된 이상 추가적인 예상 경로의 도출이 필요 없으므로 제어부는 물체의 예상 경로의 변경(R1)을 무시하여 해당 물체의 경로를 더 이상 도출하지 않을 수 있다. 즉, 물체의 위치를 추적하면 해당 물체의 예상 경로를 더 이상 도출하지 않음으로서 제어부 자체의 연산량을 줄일 수 있다.
도5c를 참고하면, 차량 내에 위험도가 높은 전방 물체가 존재하지 않는 경우, 제어부는 예상 경로를 생성시키지 않을 수 있고 이는 제어부의 연산 부하를 줄 일 수 있는 장점이 된다.
한편 도5a 내지 도5c는 본 발명에서 물체의 예상 경로를 연산하는 일 실시예에 불과하며, 물체의 예상 경로와 물체의 위치 정보 자체를 이용하여 물체의 위치를 추적하는 동작이면 그 동작에 제한은 없다.
도6a 및 도6b는 일 실시예에 따른 차선 정보를 이용하여 차량 주변의 물체를 추적하는 동작을 설명하기 위한 도면이다.
도6a를 참고하면, 복수의 물체가 실제로 다른 물체인지 동일 물체인지에 대한 신뢰성을 확인하기 위해서 제어부는 주행하는 차선 정보(R61)를 이용한 연산을 수행할 수 있다.
구체적으로 센서부는 주행하는 차선 정보(R61)를 획득할 수 있고, 차량 이동 속도 대비 카메라에서 인식되는 차선 이동 속도가 특정 범위 이내이면 차량이 정상 주행 상태로 결정할 수 있다.
제어부는 이를 기초로 차량 주행 중 차선의 이동 속도 대비 물체 각각의 상대 속도를 결정할 수 있다.
제어부는 차선 이동 속도 대비 물체(T611)과 물체(T612)간의 상대 이동 속도가 특정 범위 이내이고 차선 폭 이내의 물체라면 동일 물체로 결정할 수 있다.
도6b를 참고하면, 복수의 센서 모듈이 종류에 따라 정확도 및 신뢰성이 상이하여 공동의 물체 여부에 대한 신뢰성 확인을 위한 동작을 수행할 수 있다.
제어부는 차량 주행 정보(휠속, 가속 페달, 브레이크 페달, 조향각, 조향각속도)를 기초로 차선 이동 속도를 결정할 수 있다.
제어부는 차량 상태 정보 및 센서부가 획득한 정보의 속도 및 위치가특정 범위 이내에 있을 경우 정상 주행 상태로 결정할 수 있다.
제어부는 차량 주행 중 차선의 이동 속도 대비 물체(T621), 물체(T622) 각각의 상대 이동 속도를 계산할 수 있다.
제어부는 차선 이동 속도 대비 물체(T621)과 물체(T622)간의 상대 이동 속도가 특정 범위 이내이고 차선폭 이내의 물체라면 동일 물체로 결정할 수 있다.
한편 도6a 및 도6b는 차량이 주행하는 차선 정보를 기초로 물체의 위치 정보의 신뢰성을 향상시키는 일 실시예에 불과하며 본 발명이 해당 동작에 제한되어 동작하는 것은 아니다.
도7은 일 실시예에 따른 순서도이다.
도7을 참고하면, 제어부는 센서 모듈 및 물체와의 대응 관계를 판단할 수 있다(1001). 또한 제어부는 해당 대응관계를 기초로 추적 필터를 결정할 수 있다(1002). 한편 복수의 센서 모듈이 단일 물체에 대응되는 경우, 즉 센서 모듈과 물체가 다대일 대응인 경우(1003), 제어부는 센서 모듈 별 가중치를 부여하는 센서 퓨전 동작을 수행할 수 있다(1004). 또한 제어부는 예상 경로 및 상술한 동작을 기초로 물체의 위치를 추적할 수 있다(1005).
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다.본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
1 : 차량
100 : 센서부
110 : 카메라
120 : 레이다
130 : 라이다
200 : 제어부
210 : 필터 결정부
220 : 가중치 판단부
230 : 경로 예측부

Claims (12)

  1. 복수개의 센서 모듈을 포함하고,
    차량 주변에 위치하는 적어도 하나의 물체의 위치 정보를 획득하는 센서부; 및
    상기 복수개의 센서 모듈과 상기 적어도 하나의 물체의 수적 대응관계에 기초하여, 추적 필터를 결정하고,
    상기 적어도 하나의 물체의 위치 정보 및 상기 추적 필터를 이용하여 상기 적어도 하나의 물체의 위치를 추적하는 제어부;를 포함하고,
    상기 제어부는,
    상기 복수개의 센서모듈과 하나의 물체가 대응되면, 제1추적 필터에 포함되는 추적필터를 이용하여 상기 하나의 물체의 위치를 추적하되,
    추적된 상기 하나의 물체의 위치를 기초로 상기 복수개의 센서모듈 각각의 신뢰도를 결정하고, 상기 신뢰도에 기초하여 상기 복수개의 센서모듈 각각이 획득한 상기 하나의 물체의 위치 정보에 가중치를 부여하여 상기 하나의 물체의 위치를 추적하는 차량.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 복수개의 센서 모듈 중 하나의 센서 모듈과 하나의 물체가 대응되면,
    제1추적 필터에 포함되는 추적 필터를 이용하여 상기 적어도 하나의 물체의 위치를 추적하는 차량.

  3. 제1항에 있어서,
    상기 제어부는,
    상기 복수개의 센서모듈 중 하나의 센서 모듈과 복수개의 물체가 대응되면,
    제2추적 필터에 포함되는 추적필터를 이용하여 상기 하나의 물체의 위치를 추적하는 차량.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 제어부는,
    상기 적어도 하나의 물체의 위치 정보를 기초로 상기 적어도 하나의 물체의 예상 경로를 도출하고,
    실시간으로 획득한 상기 적어도 하나의 물체의 위치 정보와 상기 예상 경로를 비교하여, 상기 적어도 하나의 물체의 위치를 추적하는 차량
  7. 제6항에 있어서,
    상기 제어부는,
    상기 적어도 하나의 물체의 위치를 추적하면,
    상기 적어도 하나의 물체의 예상 경로의 변경을 무시하는 차량.
  8. 제1항에 있어서,
    상기 센서부는,
    상기 차량이 주행하는 차선 정보를 획득하고,
    상기 제어부는,
    상기 차선 정보 및 상기 적어도 하나의 물체의 이동 속도를 기초로 상기 복수개의 물체의 위치를 추적하는 차량.
  9. 차량 주변에 위치하는 적어도 하나의 물체의 위치 정보를 획득하고,
    복수개의 센서 모듈과 상기 적어도 하나의 물체의 수적 대응관계에 기초하여, 추적 필터를 결정하고,
    상기 적어도 하나의 물체의 위치 정보 및 상기 추적 필터를 이용하여 상기 적어도 하나의 물체의 위치를 추적하는 것을 포함하고,
    상기 추적 필터를 결정하는 것은,
    상기 복수개의 센서모듈과 하나의 물체가 대응되면, 제1추적 필터에 포함되는 추적필터를 이용하여 상기 하나의 물체의 위치를 추적하되,
    추적된 상기 하나의 물체의 위치를 기초로 상기 복수개의 센서모듈 각각의 신뢰도를 결정하고, 상기 신뢰도에 기초하여 상기 복수개의 센서모듈 각각이 획득한 상기 하나의 물체의 위치 정보에 가중치를 부여하여 상기 하나의 물체의 위치를 추적하는 것인 차량 제어방법.
  10. 제9항에 있어서,
    상기 추적 필터를 결정하는 것은,
    상기 복수개의 센서 모듈 중 하나의 센서 모듈과 하나의 물체가 대응되면,
    제1추적 필터에 포함되는 추적 필터를 이용하여 상기 적어도 하나의 물체의 위치를 추적하는 것을 포함하는 차량 제어방법.

  11. 제9항에 있어서,
    상기 추적 필터를 결정하는 것은,
    상기 복수개의 센서모듈 중 하나의 센서 모듈과 복수개의 물체가 대응되면,
    제2추적 필터에 포함되는 추적필터를 이용하여 상기 하나의 물체의 위치를 추적하는 것을 포함하는 차량 제어방법.
  12. 삭제
KR1020180162922A 2018-12-17 2018-12-17 차량 및 그 제어방법 Active KR102636740B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180162922A KR102636740B1 (ko) 2018-12-17 2018-12-17 차량 및 그 제어방법
US16/577,754 US11410428B2 (en) 2018-12-17 2019-09-20 Vehicle and control method thereof
CN201911007341.0A CN111391854B (zh) 2018-12-17 2019-10-22 车辆及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180162922A KR102636740B1 (ko) 2018-12-17 2018-12-17 차량 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20200074488A KR20200074488A (ko) 2020-06-25
KR102636740B1 true KR102636740B1 (ko) 2024-02-15

Family

ID=71071681

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180162922A Active KR102636740B1 (ko) 2018-12-17 2018-12-17 차량 및 그 제어방법

Country Status (3)

Country Link
US (1) US11410428B2 (ko)
KR (1) KR102636740B1 (ko)
CN (1) CN111391854B (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230347924A1 (en) * 2022-04-29 2023-11-02 Toyota Research Institute, Inc. Coordinating use of different motion prediction models to predict a location of a mobile robot at a future point in time
US20240269844A1 (en) * 2023-02-13 2024-08-15 Toyota Research Institute, Inc. Estimating a trajectory of an object in an environment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005158012A (ja) * 2003-11-07 2005-06-16 Nissan Motor Co Ltd 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP2012043364A (ja) * 2010-08-23 2012-03-01 Toyota Motor Corp 物体認識装置
JP6125135B1 (ja) * 2016-07-22 2017-05-10 三菱電機株式会社 運転支援装置、運転支援方法及び運転支援プログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS54148548A (en) * 1978-05-02 1979-11-20 Seiko Epson Corp Liquid crystal display panel
US6567116B1 (en) * 1998-11-20 2003-05-20 James A. Aman Multiple object tracking system
AUPP839199A0 (en) * 1999-02-01 1999-02-25 Traffic Pro Pty Ltd Object recognition & tracking system
US6803997B2 (en) * 2002-03-08 2004-10-12 Anzus, Inc. Gridlocking and correlation methods and arrangements
US6944566B2 (en) * 2002-03-26 2005-09-13 Lockheed Martin Corporation Method and system for multi-sensor data fusion using a modified dempster-shafer theory
JP2004093533A (ja) * 2002-09-04 2004-03-25 Mitsubishi Electric Corp 多目標追尾装置
US20070182623A1 (en) * 2006-02-03 2007-08-09 Shuqing Zeng Method and apparatus for on-vehicle calibration and orientation of object-tracking systems
US8812226B2 (en) * 2009-01-26 2014-08-19 GM Global Technology Operations LLC Multiobject fusion module for collision preparation system
FR2944629B1 (fr) * 2009-04-17 2017-01-20 Univ De Tech De Troyes Systeme et procede de localisation de cible par un reseau de cameras
US8417490B1 (en) * 2009-05-11 2013-04-09 Eagle Harbor Holdings, Llc System and method for the configuration of an automotive vehicle with modeled sensors
US20110025548A1 (en) * 2009-07-31 2011-02-03 Gm Global Technology Operations, Inc. System and method for vehicle sensor fusion
US9090263B2 (en) * 2010-07-20 2015-07-28 GM Global Technology Operations LLC Lane fusion system using forward-view and rear-view cameras
US9098753B1 (en) * 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using multiple sensors
US9652031B1 (en) * 2014-06-17 2017-05-16 Amazon Technologies, Inc. Trust shifting for user position detection
US9720072B2 (en) * 2014-08-28 2017-08-01 Waymo Llc Methods and systems for vehicle radar coordination and interference reduction
JP6439479B2 (ja) * 2015-02-12 2018-12-19 株式会社ジェイテクト 運転支援制御装置
US20160259980A1 (en) * 2015-03-03 2016-09-08 Umm Al-Qura University Systems and methodologies for performing intelligent perception based real-time counting
WO2016176487A1 (en) * 2015-04-28 2016-11-03 Henri Johnson Systems to track a moving sports object
DE102015014139A1 (de) * 2015-10-31 2017-05-04 Daimler Ag Verfahren zum Betreiben einer Abstands- und Geschwindigkeitsregelfunktion eines Fahrzeugs und Fahrerassistenzsystem zur Durchführung des Verfahrens
JP6194520B1 (ja) * 2016-06-24 2017-09-13 三菱電機株式会社 物体認識装置、物体認識方法および自動運転システム
GB2555779B (en) * 2016-10-25 2020-06-03 Openworks Eng Ltd Acquisition and/or tracking of remote object
EP3571470A4 (en) * 2017-01-17 2020-01-22 Alarm.com Incorporated DYNAMIC DRONE NAVIGATION
US10935652B2 (en) * 2018-06-26 2021-03-02 GM Global Technology Operations LLC Systems and methods for using road understanding to constrain radar tracks
US11301731B2 (en) * 2018-09-17 2022-04-12 Raytheon Company Probabilistic sampling method for track association
US10634793B1 (en) * 2018-12-24 2020-04-28 Automotive Research & Testing Center Lidar detection device of detecting close-distance obstacle and method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005158012A (ja) * 2003-11-07 2005-06-16 Nissan Motor Co Ltd 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP2012043364A (ja) * 2010-08-23 2012-03-01 Toyota Motor Corp 物体認識装置
JP6125135B1 (ja) * 2016-07-22 2017-05-10 三菱電機株式会社 運転支援装置、運転支援方法及び運転支援プログラム

Also Published As

Publication number Publication date
US11410428B2 (en) 2022-08-09
KR20200074488A (ko) 2020-06-25
CN111391854A (zh) 2020-07-10
CN111391854B (zh) 2024-11-01
US20200193182A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
US11120538B2 (en) Sensor degradation detection and remediation
KR102618700B1 (ko) 시각적 이미지 데이터를 사용하는 오브젝트 특성 추정
US9352690B2 (en) Apparatus and method for detecting obstacle adaptively to vehicle speed
US11620837B2 (en) Systems and methods for augmenting upright object detection
CN110268413B (zh) 低电平传感器融合
EP3208635B1 (en) Vision algorithm performance using low level sensor fusion
EP3283843B1 (en) Generating 3-dimensional maps of a scene using passive and active measurements
KR102569900B1 (ko) 전방위 센서퓨전 장치 및 그의 센서퓨전 방법과 그를 포함하는 차량
Ferryman et al. Visual surveillance for moving vehicles
Shim et al. An autonomous driving system for unknown environments using a unified map
CN111712828A (zh) 物体检测方法、电子设备和可移动平台
JP7013284B2 (ja) 移動体挙動予測装置
US11958480B2 (en) Electronic control device and operation method
KR20230031344A (ko) 자동차를 둘러싼 영역 내 장애물을 검출하기 위한 시스템 및 방법
KR102636740B1 (ko) 차량 및 그 제어방법
KR20100066952A (ko) 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법
KR20250086673A (ko) 라이다 시스템 및 라이다 시스템을 작동하기 위한 방법
EP4009228A1 (en) Method for determining a semantic free space
Contreras et al. A stereo visual odometry framework with augmented perception for dynamic urban environments
Chavan et al. Obstacle detection and avoidance for automated vehicle: A review
CN115273015A (zh) 一种预测方法、装置、智能驾驶系统和车辆
WO2024234503A1 (zh) 一种煤矿井下环境感知方法、装置及存储介质
US20220404499A1 (en) Distance measurement apparatus
US11914679B2 (en) Multispectral object-detection with thermal imaging
US12244788B1 (en) Techniques for identifying vehicle sensor degradation

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20181217

PG1501 Laying open of application
PN2301 Change of applicant

Patent event date: 20210702

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20211202

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20181217

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230330

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20230926

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20230330

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0701 Decision of registration after re-examination

Patent event date: 20240117

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20231221

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20230926

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20230523

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
PG1601 Publication of registration