[go: up one dir, main page]

KR101996419B1 - 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법 - Google Patents

센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법 Download PDF

Info

Publication number
KR101996419B1
KR101996419B1 KR1020160184302A KR20160184302A KR101996419B1 KR 101996419 B1 KR101996419 B1 KR 101996419B1 KR 1020160184302 A KR1020160184302 A KR 1020160184302A KR 20160184302 A KR20160184302 A KR 20160184302A KR 101996419 B1 KR101996419 B1 KR 101996419B1
Authority
KR
South Korea
Prior art keywords
pedestrian
pdcms
automobile
information
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020160184302A
Other languages
English (en)
Other versions
KR20180078986A (ko
Inventor
김윤수
박승욱
이완재
이민병
정인용
이강훈
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020160184302A priority Critical patent/KR101996419B1/ko
Priority to EP17205380.3A priority patent/EP3342660B1/en
Priority to CN201711283338.2A priority patent/CN108263278B/zh
Priority to US15/833,886 priority patent/US10821946B2/en
Publication of KR20180078986A publication Critical patent/KR20180078986A/ko
Application granted granted Critical
Publication of KR101996419B1 publication Critical patent/KR101996419B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/44—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating braking action or preparation for braking, e.g. by detection of the foot approaching the brake pedal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/34—Protecting non-occupants of a vehicle, e.g. pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T8/00—Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force
    • B60T8/17—Using electrical or electronic regulation means to control braking
    • B60T8/171—Detecting parameters used in the regulation; Measuring values used in the regulation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T8/00—Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force
    • B60T8/17—Using electrical or electronic regulation means to control braking
    • B60T8/172—Determining control parameters used in the regulation, e.g. by calculations involving measured or detected parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/085—Taking automatic action to adjust vehicle attitude in preparation for collision, e.g. braking for nose dropping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G01S13/345—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal using triangular modulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/02—Active or adaptive cruise control system; Distance control
    • B60T2201/024—Collision mitigation systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2210/00—Detection or estimation of road or environment conditions; Detection or estimation of road shapes
    • B60T2210/30—Environment conditions or position therewithin
    • B60T2210/32—Vehicle surroundings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2250/00—Monitoring, detecting, estimating vehicle conditions
    • B60T2250/04—Vehicle reference speed; Vehicle body speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2270/00—Further aspects of brake control systems not otherwise provided for
    • B60T2270/30—ESP control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2550/10—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/804—Relative longitudinal speed

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 자동차의 주행 차선 상 보행자의 존재, 보행자의 자동차에 대한 거리 및 상대 속도를 감지하는 전방 감지 센서, 자동차의 속도를 감지하는 차량 센서, 전방 감지 센서와 차량 센서에서 감지한 정보를 기반으로 PDCMS(Pedestrian Detection and Collision Mitigation System) 기능을 작동하는 전자 제어 유닛, 및 전자 제어 유닛의 제어에 의하여 운전자에게 자동차와 보행자의 충돌을 알리도록 작동하는 경보부를 포함하고, 전방 감지 센서는, 보행자로부터 반사되는 전파를 이용해 자동차의 주행 차선 상 보행자를 탐지하여 레이더 탐지정보를 생성하는 레이더 센서, 보행자가 방사하는 열을 영상화하여 원적외선 인식정보를 생성하는 원적외선 카메라 센서, 및 레이더 탐지정보 및 원적외선 인식정보를 융합하는 정보융합부를 포함하며, PDCMS 기능은 경보부의 작동 및 브레이크 작동을 포함하고, 브레이크 작동은 자동차의 운전자가 이미 브레이크 작동을 수동으로 하고 있는지 여부에 관계 없이 수행되는 것을 특징으로 하는 자동차의 PDCMS 작동 장치를 제공한다.

Description

센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법 {SENSOR INTEGRATION BASED PEDESTRIAN DETECTION AND PEDESTRIAN COLLISION PREVENTION APPARATUS AND METHOD}
본 발명은 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법에 관한 것이다. 구체적으로, 전방 감지 센서가 이종의 센서로부터 센싱 결과를 융합하여 보행자를 인식하고, 사고 발생시 PDCMS 기능을 작동시켜 보행자를 보호하는 자동차의 PDCMS 작동 장치 및 작동 방법에 관한 것이다.
최근 운전자의 운전을 돕기 위하여 첨단 운전자 보조 시스템(Advanced Driver Assistance Systems)이 개발 되고 있다. ADAS는 복수의 하부 기술 분류를 갖고 있으며, 이 중에 PDCMS(Pedestrian Detection and Collision Mitigation System)가 포함된다.
PDCMS는 자동차와 보행자의 충돌이 예상되는 경우 운전자에게 보행자 충돌을 경고하고 자동으로 비상 브레이크를 활성화하는 기술이다.
보행자가 관련된 교통사고의 치사율 및 부상율은 매우 높아서 많은 생명의 손실로 이어진다. PDCMS 시스템은 피할 수 없는 보행자 충돌에 대하여 자동차 속도를 낮추는데 도움을 줌으로써 보행자의 충격을 완화하고 치사율 및 부상율을 줄일 수 있다.
따라서, PDCMS의 구체적인 적용을 위한 기술 개발이 요구되는 실정이다.
본 발명은 이종의 센서로부터의 센싱 결과를 융합함으로써 저조도 상황 또는 야간 상황에서도 보행자의 존재, 자동차와 보행자의 거리 및 상대속도를 보다 높은 정확도로 측정할 수 있는 전방 감지 센서를 포함하는 PDCMS 작동 장치를 제공하는데 그 목적이 있다.
PDCMS 기능을 정확하게 작동함으로써 보행자를 보다 안전하게 보호하는 시스템을 제공하는데 그 목적이 있다.
상기의 목적을 달성하기 위한 본 발명의 일실시예에 따른 자동차의 PDCMS 작동 장치는 자동차의 주행 차선 상 보행자의 존재, 보행자의 자동차에 대한 거리 및 상대 속도를 감지하는 전방 감지 센서, 자동차의 속도를 감지하는 차량 센서, 전방 감지 센서와 차량 센서에서 감지한 정보를 기반으로 PDCMS(Pedestrian Detection and Collision Mitigation System) 기능을 작동하는 전자 제어 유닛, 및 전자 제어 유닛의 제어에 의하여 운전자에게 자동차와 보행자의 충돌을 알리도록 작동하는 경보부를 포함하고, 전방 감지 센서는, 보행자로부터 반사되는 전파를 이용해 자동차의 주행 차선 상 보행자를 탐지하여 레이더 탐지정보를 생성하는 레이더 센서, 보행자가 방사하는 열을 영상화하여 원적외선 인식정보를 생성하는 원적외선 카메라 센서, 및 레이더 탐지정보 및 원적외선 인식정보를 융합하는 정보융합부를 포함하며, PDCMS 기능은 경보부의 작동, 및 운전자의 브레이크 조작 여부에 관계없는 브레이크의 작동 활성화를 포함한다.
바람직하게, 정보융합부는, 레이더 탐지정보와 원적외선 인식정보 간의 상관관계를 계산하여 이진행렬을 구성하는 정합성 판단부, 정합성 판단부에서 구성한 이진행렬을 이용해 측정치를 생성하고, 측정치와 이전 시점의 트랙 추적정보 간의 상태변수 영역에서의 유사도를 계산하는 유사도 계산부, 측정치와 상태변수를 이용해 칼만 필터링(Kalman Filtering)을 수행하여 각 추적정보를 갱신하는 상태변수 갱신부, 및 트랙의 병합, 생성 및 삭제를 수행하는 추적정보 관리부를 포함한다.
바람직하게, 유사도 계산부는 레이더 탐지정보와 원적외선 인식정보의 종/횡방향 상대위치를 극좌표계를 이용해 표현함으로써 측정치를 생성한다.
바람직하게, 상태변수 갱신부는 확장 칼만 필터(Extended Kalman Filter)를 적용하여 칼만 필터링을 수행한다.
바람직하게, 전방 감지 센서는 레이더 탐지정보 중 보행자가 아닌 결과를 원적외선 인식정보와 융합 전 제거하는 레이더 탐지정보 후처리부를 더 포함한다.
바람직하게, 레이더 탐지정보는 64개 이하의 수로 생성된다.
바람직하게, 원적외선 인식정보는 8개 이하의 수로 생성된다.
바람직하게, 전자 제어 유닛은 브레이크의 작동 활성화를 브레이크의 작동 활성화 시점부터 자동차와 보행자의 충돌 시점까지 자동차의 속도를 최소한 소정의 속도 이상 감소시키도록 수행한다.
바람직하게, 전자 제어 유닛은 브레이크의 작동 활성화를 시작한 뒤에도 운전자에 의하여 가능한 최대치의 감속을 위한 브레이크 조작을 허용한다.
바람직하게, 전자 제어 유닛은 경보부를 제어하여 PDCMS 기능이 이용가능한(Available) 상태임을 운전자에게 알린다.
바람직하게, 경보부는 자동차와 보행자의 충돌을 시각적으로 알리는 디스플레이부 또는 자동차와 보행자의 충돌을 청각적으로 알리는 스피커부를 포함한다.
바람직하게, PDCMS 기능은 후방 브레이크 램프 작동을 더 포함한다.
바람직하게, PDCMS 기능은 차체 자세 제어 장치(ESC: Electrical Stability Control) 작동을 더 포함한다.
본 발명의 일실시예에 따른 자동차의 PDCMS 작동 방법은 보행자로부터 반사되는 전파를 이용해 자동차의 주행 차선 상 보행자를 탐지하여 레이더 탐지정보를 생성하는 단계, 보행자가 방사하는 열을 영상화하여 원적외선 인식정보를 생성하는 단계, 레이더 탐지정보 및 원적외선 인식정보를 융합하여, 자동차의 주행 차선 상 보행자의 존재, 보행자의 자동차에 대한 거리 및 상대 속도를 포함하는 보행자 정보를 감지하는 단계, 자동차의 속도를 포함하는 자동차 정보를 감지하는 단계, 및 보행자 정보 및 자동차 정보를 기반으로 PDCMS(Pedestrian Detection and Collision Mitigation System) 기능을 작동하는 단계를 포함하며, PDCMS 기능은 운전자에게 자동차와 보행자의 충돌을 알리도록 작동하기 위한 경보부의 작동, 및 운전자의 브레이크 조작 여부에 관계없는 브레이크의 작동 활성화를 포함한다.
본 발명에 따른 자동차의 PDCMS 작동 장치는 이종의 센서를 포함하고 각각의 센싱 결과를 융합하여 이용함으로써 저조도 상황 또는 야간 상황에서도 보다 정확하게 보행자의 존재, 자동차와 보행자의 거리 및 상대속도를 감지할 수 있는 효과가 있다.
또한 본 발명에 따른 PDCMS 작동 장치는 보행자를 보다 정확하게 감지함으로써 운전자에게 보행자 충돌을 정확하게 경고하고 자동으로 브레이크를 활성화하여 자동차와 보행자의 충돌이 발생할 가능성이 있는 경우 자동차 속도를 낮추는 효과가 있다.
도 1은 PDCMS의 개략적인 개념을 나타낸다.
도 2는 자동차에 따른 PDCMS 상태 변화를 나타내는 블록도이다.
도 3은 본 발명의 일실시예에 따른 자동차의 PDCMS 작동 장치를 개략적으로 나타낸 블록도이다.
도 4는 AEB VRU 시나리오를 나타낸 예시도이다.
도 5는 CVFA 시나리오에서의 초기 위치 설정을 나타낸 예시도이다.
도 6은 시뮬레이션에 사용된 보행자 속도 프로파일을 나타낸 예시도이다.
도 7은 보행자 상대거리와 상대각도의 시뮬레이션 결과를 나타낸 예시도이다.
도 8은 레이더의 거리 및 속도 측정 원리를 나타낸 예시도이다.
도 9는 소실점을 이용한 영상에서의 거리 계산 원리를 나타낸 예시도이다.
도 10은 원적외선 영상의 보행자 인식을 나타낸 예시도이다.
도 11은 LEDDAR을 이용한 보행자 탐지를 나타낸 예시도이다.
도 12는 3D Lidar를 이용한 보행자 신호를 나타낸 예시도이다.
도 13은 레이더를 이용한 보행자 탐지를 나타낸 예시도이다.
도 14는 본 발명의 일실시예에 따른 전방 감지 센서의 구성도이다.
도 15는 본 발명의 일실시예에 따른 레이더 탐지정보 후처리부의 레이더 탐지정보 후처리 과정을 나타낸 예시도이다.
도 16은 본 발명의 일실시예에 따른 유사도 계산부의 측정치 생성을 나타낸 예시도이다.
도 17은 본 발명의 일실시예에 따른 레이더 탐지정보와 원적외선 인식정보의 종/횡방향 상대위치 융합을 직교좌표계 사용과 극좌표계 사용으로 비교하여 나타낸 예시도이다.
도 18은 본 발명의 일실시예에 따른 전방 감지 센서의 출력 결과를 나타낸 예시도이다.
도 19는 보행자 이동 속도의 개념을 나타낸다.
도 20은 본 발명에 따른 PDCMS 기능을 작동시키기 위한 매핑 테이블의 일실시예를 나타낸다.
도 21은 본 발명에 따른 PDCMS 기능 작동 방법의 일실시예의 흐름을 나타낸 흐름도이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
어느 부분이 다른 부분의 "위에" 있다고 언급하는 경우, 이는 바로 다른 부분의 위에 있을 수 있거나 그 사이에 다른 부분이 수반될 수 있다. 대조적으로 어느 부분이 다른 부분의 "바로 위에" 있다고 언급하는 경우, 그 사이에 다른 부분이 수반되지 않는다.
제 1, 제 2 및 제 3 등의 용어들은 다양한 부분, 성분, 영역, 층 및/또는 섹션들을 설명하기 위해 사용되나 이들에 한정되지 않는다. 이들 용어들은 어느 부분, 성분, 영역, 층 또는 섹션을 다른 부분, 성분, 영역, 층 또는 섹션과 구별하기 위해서만 사용된다. 따라서, 이하에서 서술하는 제 1 부분, 성분, 영역, 층 또는 섹션은 본 발명의 범위를 벗어나지 않는 범위 내에서 제 2 부분, 성분, 영역, 층 또는 섹션으로 언급될 수 있다.
여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.
"아래", "위" 등의 상대적인 공간을 나타내는 용어는 도면에서 도시된 한 부분의 다른 부분에 대한 관계를 보다 쉽게 설명하기 위해 사용될 수 있다. 이러한 용어들은 도면에서 의도한 의미와 함께 사용 중인 장치의 다른 의미나 동작을 포함하도록 의도된다. 예를 들면, 도면 중의 장치를 뒤집으면, 다른 부분들의 "아래"에 있는 것으로 설명된 어느 부분들은 다른 부분들의 "위"에 있는 것으로 설명된다. 따라서 "아래"라는 예시적인 용어는 위와 아래 방향을 전부 포함한다. 장치는 90도 회전 또는 다른 각도로 회전할 수 있고, 상대적인 공간을 나타내는 용어도 이에 따라서 해석된다.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련 기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
도 1은 PDCMS의 개략적인 개념을 나타낸다.
PDCMS는 자동차와 보행자의 충돌이 예상되는 경우 운전자에게 보행자 충돌을 경고하고 자동으로 비상 브레이크를 활성화하는 기술이다.
도 1을 참조하면, PDCMS는 보행자의 동작 판단과 자동차의 동작 판단으로부터 동작 여부가 결정된다. PDCMS의 동작이 결정되면, PDCMS 기능은 운전자에 대한 경고 및 자동차 제어 활성화로써 이루어진다.
시스템 설계자는 자동차와 보행자의 충돌 위험시 PDCMS 기능 단독으로 동작하도록 설계하거나, 또는 PDCMS 기능과 기타 운전 보조 시스템의 조합으로 동작하도록 설계할 수 있다.
도 2는 자동차에 따른 PDCMS 상태 변화를 나타내는 블록도이다.
PDCMS 끔 상태에서는 자동차의 동작에 대한 어떠한 조치도 취해지지 않는다. PDCMS 끔 상태는 자동차의 시동을 끄는 경우에 이루어진다.
PDCMS 비활성화 상태에서 PDCMS 작동 장치는 자동차의 속도를 모니터링하며, PDCMS를 활성화하기에 적절한 상태인지 여부를 결정한다. PDCMS 비활성화 상태는 PDCMS 끔 상태에서 시동을 킴으로써 이루어진다. 또한, PDCMS 비활성화 상태는 PDCMS 활성화 상태로부터 자동차가 활성화 조건 외의 상태가 되는 경우에도 이루어진다. 예를 들어, 자동차의 속도가 소정의 Vmin 이하로 떨어지는 경우 PDCMS 비활성화 상태가 이루어진다.
PDCMS 활성화 상태는 자동차의 속도가 소정의 Vmin 이상이고 소정의 Vmax 이하인 경우에 이루어진다. PDCMS 활성화 상태에서 PDCMS 기능을 작동할지 여부를 판단하기 위하여 보행자의 동작 및 자동차의 동작을 모니터링 한다. PDCMS 작동 장치는 PDCMS 기능을 작동해야 한다는 판단을 한 경우 PDCMS 기능을 시작한다. PDCMS 기능은 운전자에 대한 충돌 경고, 비상 브레이크의 작동, 또는 선택적으로 운전자에 의한 제동 조치를 포함한다.
도 3은 본 발명의 일실시예에 따른 자동차의 PDCMS 작동 장치를 개략적으로 나타낸 블록도이다.
도 3을 참조하면, 본 발명의 일실시예에 따른 자동차의 PDCMS 작동 장치(100)는 전방 감지 센서(200), 차량 센서(300), 전자 제어 유닛(400) 및 경보부(500)를 포함한다.
전방 감지 센서(200)는 레이더 센서와 원적외선 카메라 센서를 포함하고 각각의 출력 결과를 융합하여 이용함으로써 저조도 상황 또는 야간상황에서 보다 정확하게 자동차와 보행자 간의 거리 및 상대 속도를 정확하게 감지할 수 있다. 전방 감지 센서(200)는 자동차 전방에서 감지된 장애물의 특성을 추출하여 물체를 식별하고, 보행자뿐만 아니라 도로변에 존재하는 자동차 등 다양한 물체를 검출할 수 있다. 전방 감지 센서(200)는 보행자의 전체적인 모습뿐만 아니라 보행자를 구성하는 부분들도 감지하여, 도로변에 존재하는 자동차 등 다양한 물체에 가려진 보행자의 일부만 보여도 보행자를 감지할 수 있다. 전방 감지 센서(200)는 감지한 보행자의 정보를 전자 제어 유닛(400)으로 전송한다.
차량 센서(300)는 자동차 엔진으로부터 자동차 바퀴의 회전수를 측정하고, 미리 알고 있는 바퀴의 원주와 측정된 회전수와 시간으로부터 자동차의 주행속도를 계산한다. 또한, 차량 센서(300)은 브레이크 페달의 작동 여부를 파악할 수 있다. 차량 센서(300)는 계산된 주행속도 및 브레이크 페달의 작동 여부에 관한 정보를 전자 제어 유닛(400)으로 전송한다.
전자 제어 유닛(400)은 전방 감지 센서(200) 및 차량 센서(300)로부터 수신한 정보를 바탕으로 자동차의 PDCMS 기능을 작동할지 여부를 판단한다. 구체적으로, 전자 제어 유닛(400)은 보행자의 상태 및 자동차의 상태를 종합하여 PDCMS 기능을 작동할 수 있는 조건을 만족하는지 여부를 판단한다. 즉, 전자 제어 유닛(400)은 장애물이 보행자인 것으로 판단된 경우, 보행자의 현재 위치, 자동차의 현재 위치, 자동차의 속도정보를 이용하여 자동차와 보행자의 충돌 위험성을 판단한다. 예를 들어, 보행자와 자동차의 거리가 일정 거리 미만이고, 보행자 움직임 방향과 자동차의 움직임 방향이 동일한 경우 충돌 위험성이 높기에 PDCMS 기능을 작동할 수 있는 조건을 만족한다고 판단하고, 보행자와 자동차의 거리가 일정 거리 미만이나, 보행자 움직임 방향과 자동차의 움직임 방향이 다른 경우에는 충돌 위험성이 낮기에 PDCMS 기능을 작동할 수 있는 조건을 만족하지 않는 것으로 판단한다.
바람직하게, 전자 제어 유닛(400)은 매핑 테이블에 기반하여 PDCMS 기능을 작동할 수 있는 조건의 만족 여부를 판단한다. 매핑 테이블에 관하여는 도 6을 참조하여 후술한다.
전자 제어 유닛(400)은 보행자의 상태 및 자동차의 상태가 PDCMS 기능을 시작할 수 있는 조건이 만족하였다고 판단한 경우, 자동차의 PDCMS 기능을 작동한다. PDCMS 기능은 경보부(500)를 작동하여 운전자에게 자동차와 보행자의 충돌을 경고하거나, 또는 운전자의 조작 없이 브레이크를 작동하는 것을 포함한다.
운전자에게 자동차와 보행자의 충돌을 경고하는 것은 경보부(500)의 작동을 통하여 이루어진다. 경보부(500)는 전자 제어 유닛(400)의 제어에 의하여 작동한다. 경보부(500)는 디스플레이부 또는 스피커부를 포함할 수 있다. 경보부(500)에 포함된 디스플레이부는 헤드업 디스플레이, 네비게이션 디스플레이 등을 통한 시각적 경고를 운전자에게 할 수 있다. 경보부(500)에 포함된 스피커부는 오디오를 통한 청각적 경고를 운전자에게 할 수 있다. 경보부(500)가 수행하는 경고의 내용은 자동차의 주행차로 상 전방에 장애물이 존재하므로 자동차와 보행자의 잠재적 충돌 위험이 있다는 것이다.
운전자의 브레이크 조작 여부에 관계없이 브레이크 작동 활성화하는 것은 운전자의 조작 없이 전자 제어 유닛(400)의 제어만으로 이루어진다. 브레이크 작동 활성화는 보행자 충돌이 임박함을 발견하였을 경우 자동차와 보행자의 상대속도를 자동적으로 줄이기 위한 것이다.
브레이크 작동 활성화는 브레이크 작동 활성화 시점부터 자동차와 보행자간 충돌이 발생하는 시점까지 자동차의 속도를 최소한 소정의 속도 이상 줄일 수 있도록 수행된다. 바람직하게, 상기 소정의 속도는 20km/h가 될 수 있다.
또한, 브레이크 작동 활성화를 시작한 후 운전자가 수동으로 브레이크를 조작하여 가능한 최대한의 감속을 수행할 수 있다. 즉, 운전자가 수동으로 자동차의 속도가 상기 소정의 속도보다 많이 줄도록 할 수도 있다. 예를 들어, 운전자는 자동차의 속도가 상기 소정의 속도인 20km/h 이상으로 최대한의 감속이 이루어지도록 수동으로 브레이크를 작동할 수 있다.
추가적으로 전자 제어 유닛(400)은 PDCMS 기능이 이용가능한(Available) 상태임을 운전자에게 알릴 수 있다. 구체적으로, 전자 제어 유닛(400)은 경보부(500)를 제어하여 경보부(500)의 디스플레이부 또는 스피커부를 통해 운전자에게 PDCMS 기능이 이용가능한 상태임을 알릴 수 있다.
추가적으로 PDCMS 기능은 브레이크 램프 작동을 제어함으로써 뒤에 따라오는 자동차에 대한 잠재적 충돌 위험을 방지할 수 있다.
추가적으로 PDCMS 기능은 차체 자세 제어 장치(ESC: Electrical Stability Control) 작동을 더 포함할 수 있다. 차체 자세 제어 장치는 자동차의 오버스티어 (주행 중 자동차가 도로의 회전반경보다 안쪽으로 들어오는 경우) 또는 언더스티어 (주행 중 자동차가 도로의 회전반경보다 바깥쪽으로 이탈하는 경우) 등의 위급상황 발생시 자동차가 스스로 브레이크 조작에 개입하여 운전자의 위급상황을 벗어나게 도와주는 장치이다.
도 4는 AEB VRU 시나리오를 나타낸 예시도이다.
본 발명의 일실시예에 의한 전방 감지 센서(200)의 구체적인 구성을 설명하기에 앞서, 전방 감지 센서(200) 구성의 이해를 위해 가장 중요한 응용분야라 할 수 있는 Euro NCAP(New Car Assessment Program)의 보행자 AEB 시나리오를 분석할 필요가 있다.
Euro NCAP는 보행자 AEB를 AEB VRU(Vulnerable Road Use)라는 명칭으로 정의하여 테스트 항목으로 설정하고 있고, 그 시험과정과 채점 방식을 테스트 프로토콜이라는 명칭으로 상세하게 기술하고 있다.
Euro NCAP 테스트 프로토콜에서는 보행자의 출현상황을 도 6에 도시된 바와 같이 CVFA, CVNA, 그리고 CVNC로 정의한다.
CVFA(Car to VRU Far-side Adult)는 성인이 8km/h의 속도로 이동하여 자동차의 중앙에 충돌하는 상황을 가정한 경우이고, CVNA(Car to VRU Near-side Adult)는 성인이 5km/h의 속도로 이동하여 자동차 폭의 25%, 75% 지점에 충돌하는 상황을 가정한 경우이며, CVNC(Car to VRU Near-side Child)는 어린이가 정차된 장애물 자동차 사이로 5km/h의 속도로 이동하여 자동차의 중앙에 충돌하는 상황을 가정한 경우이다.
각각의 상황에서 자동차의 이동속도는 20 ~ 60km/h로 설정되고, 자동차의 이동은 TTC(Time To Collision) 4.0초에서부터 시작하는 것으로 설정된다.
AEB 제동 후 득점의 기준은 최초 이동 속도에서 얼마나 감속이 이루어지는지에 따라 달라지며, 만점을 획득하기 위해서는 40km/h까지는 충돌이 발생하지 않아야 하고 그 이상의 속도에서는 20km/h 이상의 감속이 이루어져야 한다.
이를 위해서는 최초의 제동시점과 제동시 감속도의 설정이 중요한 요소이나 본 발명은 보행자 인지에 관한 것으로서 제동제어와 관련된 알고리즘은 본 발명의 범위를 벗어나는 것에 해당한다. 다만, 경고를 위해서는 경고시점 이전에 최초 인지가 이루어져야 하는데 이 시점은 TTC 약 2초에 해당한다.
도 5는 CVFA 시나리오에서의 초기 위치 설정을 나타낸 예시도이다.
테스트 프로토콜에서는 시나리오에 따라 도 5와 같은 초기 위치를 설정한다. 정의된 내용에 따르면 일정한 가속구간을 가지고 최초의 횡방향 위치를 가지게 되므로 보행자의 전체적 움직임은 정지, 등가속운동, 등속운동의 순서가 된다.
도 6은 시뮬레이션에 사용된 보행자 속도 프로파일을 나타낸 예시도이다.
각 운동에 따른 시간구간은 최종속도, 초기위치 및 가속거리에 따른 함수로 도 8과 같은 보행자 속도 프로파일을 가정하면, CVFA에서는 t1에서 1.075초, t2에서 0.90초, t3에서 2.025초가 되고, CVNA에서는 t1에서 1.10초, t2에서 0.72초, t3에서 2.16초가 되며, CVNC에서는 t1에서 1.10초, t2에서 0.72초, t3에서 2.16초가 된다.
도 7은 보행자 상대거리와 상대각도의 시뮬레이션 결과를 나타낸 예시도이다.
계산을 통해 얻어진 속도 프로파일을 근거로 자동차의 위치와 보행자의 위치를 계산하여 상대거리와 상대각도를 계산하면 도 9와 같은 결과가 얻어진다. 각 그래프의 가로축은 msec 단위의 시간이고 TTC 4.0초부터 0.0초까지 총 4초의 시간에 대하여 계산을 수행하였다.
즉, 도 7의 (a)는 CVFA의 시간에 따른 상대거리를 계산한 결과이며 자동차의 속도에 따라 균일하게 상대거리가 증가하고, (b)는 CVFA의 시간에 따른 상대각도를 나타내며 보행자가 자동차의 왼편에 존재하므로 각도값은 음수로 나타난다. 초기에는 자동차가 접근함에 따라 각도의 절대값이 커지다가 이후 등속구간에 진입하면 일정한 상대각도를 가지는 것을 확인할 수 있다.
(c)와 (d)의 경우에는 CVNA 25/75 경우의 상대각도 결과로 TTC 0.0시점의 상대각도가 -90도 또는 90도로 나타나는 것을 볼 수 있고, (e)와 (f)는 CVNC의 상대거리와 상대각도이며 정면으로 충돌하는 상황이므로 그 양상은 CVFA와 동일하게 나타나지만 장애물에 의해 초기에는 관찰되지 않다가 TTC 약 2.0초 이후부터 정보가 나타나는 것을 확인할 수 있다.
상술한 바와 같이 경고 시점인 TTC 약 2초를 기준으로 인지 목표를 계산해 보면, 자동차 속도 60km/h에서 최대 인지거리 40m를 충족하여야 하고 자동차 속도 20km/h에서 최대 인지각도 44도를 충족하여야 한다.
위와 같은 인지거리와 인지각도를 충족시켜 보행자 인식을 달성하기 위해서는 AEB 보행자 인식 시스템이 보행자 인식을 위한 센서를 구비하여야 하는데, 적용되는 센서에 따라 인지 특성이 달라질 수 있다.
도 8은 레이더의 거리 및 속도 측정 원리를 나타낸 예시도이다.
예를 들어, 레이더의 경우에는 수신전파와 송신전파를 비교하여 위상차이를 통해 거리를 출력하고 도플러 효과에 의한 주파수 변화를 통해 속도를 출력하는 방식을 이용한다. 레이더가 측정하는 거리 및 속도의 두 가지 물리량은 모두 센서에서 직접 얻어지는 값이므로 레이더 센서는 거리와 속도를 측정하는 센서로 분류된다.
도 9는 소실점을 이용한 영상에서의 거리 계산 원리를 나타낸 예시도이다.
레이더의 경우와 반대로, 카메라의 경우에는 얻어진 화소(pixel) 정보로부터 3차원 공간과 카메라 모델을 사용하거나 인식된 객체의 화소 단위 크기와 거리 사이의 상관관계를 이용하여 거리를 계산하여야 하므로 거리를 추정하는 센서로 분류된다. 다만, 도 9는 소실점을 이용한 영상에서의 거리 계산 원리를 나타낸 하나의 예시이며, 카메라의 내·외부 파라미터에 의해 거리 추정 결과는 달라질 수 있다.
그 외에 LEDDAR(Light Emitting Diode Detection And Ranging)나 Lidar의 경우에는 레이더와 유사하게 거리를 측정하는 센서이지만 도플러 효과를 센싱할 수 없으므로 측정된 지점들의 데이터를 베이시안 필터링하여 속도를 계산한다. 즉, 거리는 측정하고 속도는 추정하는 센서로 분류될 수 있다.
실질적으로 현재 사용되고 있는 단안(다기능 전방) 카메라의 경우에는 52도의 시야각(또는 수평시야각)을 가진다. 이를 이용하여 야간에 보행자를 인지하는 경우 인식범위는 헤드램프 조사범위 내 30m까지로 알려져 있다. 반면 거리와 속도는 추정하게 되므로 거리측정 센서에 비해 그 정확도는 다소 낮다.
도 10은 원적외선 영상의 보행자 인식을 나타낸 예시도이다.
원적외선 카메라의 경우에는 대상객체가 방사하는 열을 영상화하기 때문에 저조도 또는 극저조도 상황에서도 보행자를 인식할 수 있으며 상대적으로 먼 거리인 50m까지 보행자를 인식할 수 있다는 장점이 있다. 그러나 시야각이 38도로 다소 부족하고 해상도 또한 단안 카메라에 비해 1/10에 불과하므로 거리와 속도의 추정 정확도가 단안 카메라에 비해 상대적으로 낮은 단점을 가진다.
도 11은 LEDDAR을 이용한 보행자 탐지를 나타낸 예시도이다.
LEDDAR 센서의 경우에는 16개의 검출기가 수평으로 배열되고 출력도 제한적이기 때문에 보행자를 인식하는 것은 불가능하고 탐지 또한 20m 이내의 상황에 대해서만 가능한 한계가 있다.
도 12는 3D Lidar를 이용한 보행자 신호를 나타낸 예시도이다.
3D Lidar 센서의 경우에는 수직방향으로 다수의 레이어(layer)를 가지므로 제한적인 상황에서는 수직/수평방향 정보와 패턴인식 기술을 적용하여 보행자를 인식할 수 있다. 구체적으로, 15m 이내의 보행자에 대해서 인식이 가능하고 40m 이내의 보행자에 대해서 탐지가 가능하다. 도 12를 참조하면, 두 명의 보행자에 대해 많은 데이터가 수집된 경우 윤곽선이 드러나는 것을 확인할 수 있으나 거리가 멀어짐에 따라 데이터의 양이 줄어들고 45m 이상에서는 하나의 레이어에 해당하는 데이터만이 나타나게 된다. 이 경우 수직방향과 수평방향 모두의 해상도가 충분하지 못하기 때문에 탐지가 이루어지기 힘들게 된다. 아울러 LEDDAR와 3D Lidar 센서의 경우 근적외선 파장의 신호를 사용하기 때문에 대상 객체의 재질이나 색상에 큰 영향을 받는다는 단점을 공통적으로 가진다.
도 13은 레이더를 이용한 보행자 탐지를 나타낸 예시도이다.
레이더 센서는 전방의 장애물로부터 반사되는 전파를 사용하는 센서로 보행자 탐지의 경우 보행자로부터 반사 전파의 전력이 낮아 자동차보다는 짧은 거리인 40m 이내의 거리에서 보행자 탐지가 가능함을 확인할 수 있다. 도 13을 참조하면, 탐지 확률에 있어서도 주변환경에 따라 자동차보다는 다소 낮게 나타남을 볼 수 있다. 도 13에서 가로·세로축의 단위는 m이며 불연속적인 신호가 나타난 부분은 일정시간 동안 보행자가 탐지되지 않아서 나타난 현상에 해당한다.
도 8 내지 13를 참조하여 설명한 바와 같이, 단일 센서만으로는 저조도 상황 또는 야간 상황에서 보행자를 AEB 적용에 적합한 수준으로 인지하는 것이 불가능하다. 단안 카메라의 경우 인지거리가 다소 부족하고 원적외선 카메라의 경우 시야각과 거리 정확도가 미흡하며 LEDDAR 및 레이더 센서의 경우 인식이 불가능하여 그 적용이 용이하지 않고 3D Lidar 센서의 경우에도 인식거리가 제한적이기 때문에 단일 센서로는 AEB 시스템 구동을 위한 센싱 솔루션을 충족시키기 어렵다.
도 14는 본 발명의 일실시예에 따른 전방 감지 센서의 구성도이다.
본 발명의 일실시예에 따른 전방 감지 센서(200)는 위와 같은 문제점을 해소하고 인지거리 40m와 수평시야각 44도를 충족시킴으로써 저조도 상황 또는 야간 상황에도 보다 정확하게 보행자를 인식할 수 있다. 구체적으로, 전방 감지 센서(200)는 보행자로부터 반사되는 전파를 이용해 보행자를 탐지하여 레이더 탐지정보를 생성하는 레이더 센서(210), 물체가 방사하는 열을 영상화하여 원적외선 인식정보를 생성하는 원적외선 카메라 센서(220) 및 레이더 탐지정보 및 원적외선 인식정보를 융합하는 정보융합부(230)를 포함한다.
앞서 설명한 바와 같이, 레이더 센서(210)는 수평시야각 90도, 탐지거리 약 40m, 인식불가, 거리와 속도 추정의 특징을 가지며, 원적외선 카메라 센서(220)는 수평시야각 38도, 탐지/인식거리 약 50m, 낮은 정확도의 거리 추정의 특징을 가진다.
최대 인지거리는 탐지거리와 인식거리 중 짧은 거리가 되지만, 최초 인식 후에는 두 개의 센서 중 하나의 센서에서만 결과가 출력되어도 보행자 정보가 유지될 수 있기 때문에 인지각도는 인식각도와 탐지각도 중 넓은 수평시야각이 된다. 즉, 본 발명의 레이더 센서(210)와 원적외선 카메라 센서(220)는 인지거리 40m와 수평시야각 44도를 충족시키는 조합이 된다.
상이한 특성을 가지는 두 개의 센서가 출력한 결과를 융합하기 위해서는 두 결과가 하나의 객체로부터 기인하였다는 것을 판단하여야 하는데, 본 발명의 정보융합부(230)가 레이더 센서(210)가 생성한 레이더 탐지정보와 원적외선 카메라 센서(220)가 생성한 원적외선 인식정보를 융합한다.
레이더 탐지정보와 원적외선 인식정보를 융합하여도 무방하지만, 보다 효율적인 융합을 위해 본 발명은 각 정보의 융합에 앞서 레이더 탐지정보 중 보행자가 아닌 결과를 원적외선 인식정보와 융합 전 제거하는 레이더 탐지정보 후처리부(211)를 더 포함할 수 있다.
보행자의 경우 전파 반사가 상대적으로 적기 때문에 레이더에 의한 탐지가 제한적으로 나타나는 특징이 있다. 이는 보행자 탐지 실험을 통해 일정 거리와 각도 이하의 경우에 대해서만 탐지가 이루어지고 레이더 출력정보 중 반사전력과 너비 등의 수치가 낮게 나타남을 확인할 수 있다.
따라서, 레이더 탐지정보 후처리부(211)는 실험적 데이터를 바탕으로 탐지거리, 각도, 너비, 반사전력 등을 조건으로 하여 보행자가 아닌 탐지결과를 미리 제거한다.
도 15는 본 발명의 일실시예에 따른 레이더 탐지정보 후처리부의 레이더 탐지정보 후처리 과정을 나타낸 예시도이다. 구체적으로, 레이더 센서(210) 장착 자동차가 정지된 상태에서 횡방향으로 이동하는 보행자를 탐지한 결과를 후처리한 결과이다.
그래프에 표시한 값은 시간에 따른 각 트랙의 각도값이며, (a)는 초기 입력값으로 64개 트랙의 정보를 모두 포함하고 있어 일정한 값을 관찰하기가 매우 어렵다. 그러나 유효한 상태만을 남긴 (b)의 경우에는 일정한 값들이 나타남을 확인할 수 있으며 그래프가 시간에 따른 각도값을 표시한 것이므로 가로로 평행한 직선들에 해당하는 트랙은 시간이 지남에도 정지하고 있는 객체로 간주할 수 있고 대각선 방향으로 나타나는 직선의 경우 시간에 따라 각도가 변화하는 횡방향으로 이동하는 보행자에 대한 신호로 볼 수 있다. (c)는 (b)를 거리와 각도에 대한 조건으로 제거한 후의 결과이며 많은 데이터들이 감소한 것을 확인할 수 있고, (d)는 (c)의 신호들을 반사전력과 탐지 너비에 대한 조건으로 제거한 후의 결과이다. 대각선으로 나타나는 보행자에 대한 데이터와 일부 걸러지지 못한 기타 객체들에 대한 정보가 남아있으며, 이와 같은 과정을 통해 레이더 센서(210) 전체 출력 중 90% 이상이 제거됨으로써 이후 단계들에서 수행되는 정보 융합(결합) 오류를 감소시킬 수 있다.
레이더 탐지정보 후처리부(211)의 후처리 후(또는 후처리가 없는 경우도 포함된다) 정보융합부(230)가 레이더 탐지정보와 원적외선 인식정보를 융합하는데, 정보융합부는 레이더 탐지정보와 원적외선 인식정보 간의 상관관계를 계산하여 이진행렬을 구성하는 정합성 판단부(231), 정합성 판단부에서 구성한 이진행렬을 이용해 측정치를 생성하고, 측정치와 이전 시점의 트랙 추적정보 간의 상태변수 영역에서의 유사도를 계산하는 유사도 계산부(232), 측정치와 상태변수를 이용해 칼만 필터링(Kalman Filtering)을 수행하여 각 추적정보를 갱신하는 상태변수 갱신부(233) 및 트랙의 병합, 생성 및 삭제를 수행하는 추적정보 관리부(234)를 포함하여 구성되며, 각 구성에 대한 설명은 다음과 같다.
정합성 판단부(231)는 최대 64개의 레이더 탐지정보와 최대 8개의 원적외선 인식정보 간의 상관관계를 계산하여 8 x 64 크기의 이진행렬을 구성한다. 각 센서의 출력에서 각도와 거리가 조건에 따라 구성된 3단계의 임계값 이하의 차이를 나타내면 두 결과는 같은 물체로부터 기인했을 확률이 높다고 판단하여 행렬의 값을 1로 설정하고 그렇지 않은 경우에는 0으로 설정한다. 이렇게 판단된 결과는 이후 추적정보와 측정치 간의 유사도를 계산하는 단계로 전달되는 일종의 후보군 역할을 한다.
그리고 유사도 계산부(232)는 위 행렬에서 그 값이 1인 센서의 출력을 융합하여 칼만 필터에 사용될 측정치를 생성하며, 하나의 센서 출력만으로도 필터링 결과가 생성될 수 있도록 행과 열을 하나씩 추가하여 단일 센서의 결과로 생성된 측정치 또한 계산하여 사용할 수도 있다.
도 16은 본 발명의 일실시예에 따른 유사도 계산부의 측정치 생성을 나타낸 예시도이다.
도 16을 참조하면, 생성된 측정치와 이전 시점의 모든 트랙 추적정보에 대한 상태변수 영역에서의 유사도를 계산하여 최대 유사도를 가지는 측정치와 이전 트랙 추적정도를 연결하고 전체 트랙-측정치 쌍의 유사도를 확보하기 위하여 GNN을 사용한 매칭을 수행한다.
이 때, 측정치 트랙정보의 유사도를 계산하기 위해서는 생성되는 측정치가 상태변수와 비교할 수 있는 변수인 종/횡방향 상대위치로 출력되어야 하고, 이러한 상대위치는 레이더 탐지정보와 원적외선 인식정보에 포함된 값이므로 이 두 결과를 융합하여야 한다.
도 17은 본 발명의 일실시예에 따른 레이더 탐지정보와 원적외선 인식정보의 종/횡방향 상대위치 융합을 직교좌표계 사용과 극좌표계 사용으로 비교하여 나타낸 예시도이다. 구체적으로, 본 발명의 일실시예에서는 종/횡방향 상대위치 융합을 직교좌표계가 아닌 극좌표계를 사용하여 수행한다.
먼저, (a)는 직교좌표계를 이용하여 종/횡방향 상대위치를 융합하는 경우이며, 반영되는 오차 관점에서 살펴보면 붉은색 타원으로 표시한 레이더 센서(210)의 오차영역에 대하여 종방향으로 발생하는 오차와 푸른색 타원으로 표시한 원적외선 카메라 센서(220)의 오차영역에 대하여 횡방향으로 발생하는 오차가 융합 결과에 반영된다. 이 상황에서는 대상 객체가 자동차의 정면에 존재하는 경우에는 비교적 작은 오차를 생성하게 되지만 측면에 존재하는 경우에는 타원의 대각선 방향의 오차가 발생하게 되어 큰 오차를 생성하는 결과를 가져온다.
이와 비교하여, (b)는 극좌표계를 이용하여 종/횡방향 상대위치를 융합하는 경우이며, 대상 객체가 정면에 있는 경우나 측면에 있는 경우 모두에 대하여 작은 오차가 발생하는 것을 확인할 수 있다. 극좌표계로 융합된 각도와 거리는 간단한 삼각함수 연산을 통해 직교좌표계로 변환할 수 있으므로 최종 측정치 출력단계에서는 이와 같이 변환하여 융합하는 것이 더욱 작은 오차를 발생시키는 방법이 된다.
또한, 상태변수 갱신부(233)는 융합된 측정치와 상태변수를 이용하여 칼만 필터링을 수행함으로써 각 트랙 추적정보를 갱신할 수 있다. 본 발명에서는 원적외선 카메라 센서(220) 출력이 발생하는 시간이 후보군의 개수에 따라 매 번 달라질 수 있다는 점을 고려하여 상태변수 천이행렬의 원소 값이 매번 달라지도록 구성하는 확장 칼만 필터(Extended Kalman Filter)를 적용할 수도 있다.
그리고, 추적정보 관리부(234)는 트랙의 병합, 생성 및 삭제를 수행한다.
트랙 병합의 경우에는 두 트랙의 위치와 속도가 일정한 유사성을 가지면 나중에 생성된 트랙이 먼저 생성된 트랙으로 병합되도록 구성한다.
트랙 생성의 경우에는 원적외선 카메라 센서(220)의 출력 가운데 트랙의 측정치로 적용되지 않은 결과가 있는지를 관찰하여 해당 트랙과 레이더 센서(210)의 레이더 탐지정보를 동일하게 극좌표계에서 융합하여 생성되도록 하고, 만약 대응되는 레이더 탐지정보를 찾을 수 없으면서 원적외선 인식정보의 신뢰도가 높은 경우에는 단독으로 트랙이 생성될 수 있도록 구성한다.
그리고, 트랙 삭제의 경우에는 일정시간 동안 측정치가 할당되지 않아 예측치만으로 트랙이 유지된 경우에 대하여 삭제가 이루어지도록 하며, 예외적으로 5m 이내에 근접한 상황에 대해서는 센서의 출력이 발생하기 어렵다는 점을 고려하여 기억추적(Coast Tracking)이 더 긴 시간 동안 유지되도록 설정한다. 다른 예외 상황으로 측정치가 매번 할당되었더라도 융합 결과가 아닌 하나의 센서의 결과만으로 지속적으로 할당이 이루어지는 경우 비정상 상황으로 판단하여 삭제하도록 하며, 상태변수 상의 종/횡방향 속도 성분이 15km/h를 초과하는 경우에 대해서도 해당 객체가 보행자가 아닌 것으로 간주하여 삭제하도록 한다.
위 특정 조건들은 구현하고자 하는 시스템의 특성과 목적에 따라 변경될 수 있음은 물론이다.
도 18은 본 발명의 일실시예에 따른 전방 감지 센서의 출력 결과를 나타낸 예시도이다. 구체적으로, 도 18은 본 발명의 일실시예에 따른 전방 감지 센서의 최종적인 출력 결과를 나타낸다.
도 18의 (a), (c), (e)에서 흰색 점은 레이더 탐지정보를 나타내고 붉은 점은 원적외선 인식정보를, 하늘색 원은 정보융합 결과를 나타낸다. 또한, 도 20의 (b), (d), (f)는 융합 시점의 원적외선 카메라 센서(220)가 영상화한 정보를 나타낸다.
결과적으로, 전방 감지 센서(200)로부터 보행자 상대위치의 융합 결과가 정상적으로 출력되는 것을 확인할 수 있다.
결국, 본 발명의 일실시예에 따른 전방 감지 센서(200)는 자동차에 적용된 자동 긴급 제동 시스템의 보행자 인식 시스템이 레이더 센서(210)와 원적외선 카메라 센서(220)를 포함하고 그 결과를 극좌표계를 이용해 융합하여 이용함으로써 저조도 상황 또는 야간 상황에도 보다 정확하게 자동차와 보행자 간의 거리 및 상대속도를 계산할 수 있는 장점을 가진다.
도 19는 보행자 이동 속도의 개념을 나타낸다.
도 19를 참조하면, 전방 감지 센서(200)는 주행 차선 내에서 이동중인 보행자(600)와 자동차(700) 사이의 거리 및 보행자(600)의 이동 속도를 검출할 수 있다.
예를 들어, 보행자(600)가 자동차(700)의 전방 시선을 기준으로 좌측에서 우측으로 이동한다면 보행자(600)는 음(-)의 이동 속도를 갖고, 보행자(600)가 자동차(700)의 전방 시선을 기준으로 우측에서 좌측으로 이동한다면 보행자(600)는 양(+)의 이동 속도를 갖는다.
또한, 전방 감지 센서(200)는 수집한 자동차 전방의 영상으로부터 자동차의 주행 차선 상 이동중인 보행자(600)와 자동차(700) 사이의 거리를 검출할 수 있다.
도 20은 본 발명에 따른 PDCMS 기능을 작동시키기 위한 매핑 테이블의 일례를 나타낸다.
전자 제어 유닛(400)은 매핑 테이블을 사용하여 보행자와 자동차의 충돌 위험성, 나아가 PDCMS 기능의 작동 여부를 판단한다.
도 20을 참조하면, 전자 제어 유닛(400)은 보행자의 주행 차선 경계에서의 초기 속도 및 자동차의 초기 속도를 기반으로 PDCMS 기능의 작동을 판단한다.
구체적으로, 전자 제어 유닛(400)은 PDCMS 기능의 작동 여부를 판단하는 시점에서 이동중인 보행자의 주행 차선 경계에서의 초기 속도 절대값 및 자동차의 초기 속도가 반드시 동작해야 하는 영역 내에 있는 경우에는 PDCMS 기능을 작동하도록 판단한다. 동작 가능 영역은 제조사의 선택에 따라 Vmin 또는 Vmax를 조절할 수 있는 영역을 의미한다.
예를 들어, 전자 제어 유닛(400)은 자동차의 속도가 Vmin으로서 8.4m/s(30km/h) 아래로 떨어지거나 또는 Vmax로서 16.6m/s(60km/h) 위로 올라가는 경우에는 PDCMS 비활성화 상태가 되어 PDCMS 기능을 작동하지 않도록 판단할 수 있다.
또한, 전자 제어 유닛(400)은 자동차의 초기 속도가 Vmin과 Vmax 사이이고 보행자의 주행 차선 경계에서의 초기 속도 절대값이 0.83m/s와 1.5m/s 사이인 경우 PDCMS 기능을 작동하도록 판단할 수 있다.
도 21은 본 발명에 따른 PDCMS 기능 작동 방법의 일실시예의 흐름을 나타낸 흐름도이다.
도 21을 참조하면, 본 발명에 따른 자동차 PDCMS 기능 작동 방법의 일실시예는 보행자로부터 반사되는 전파를 이용해 자동차의 주행 차선 상 보행자를 탐지하여 레이더 탐지정보를 생성하는 단계(S100), 보행자가 방사하는 열을 영상화하여 원적외선 인식정보를 생성하는 단계(S200), 레이더 탐지정보 및 원적외선 인식정보를 융합하여, 자동차의 주행 차선 상 보행자의 존재, 보행자의 자동차에 대한 거리 및 상대 속도를 포함하는 보행자 정보를 감지하는 단계(S300), 자동차의 속도를 포함하는 자동차 정보를 감지하는 단계(S400) 및 보행자 정보 및 자동차 정보를 기반으로 PDCMS(Pedestrian Detection and Collision Mitigation System) 기능을 작동하는 단계(S500)를 포함한다.
보행자로부터 반사되는 전파를 이용해 자동차의 주행 차선 상 보행자를 탐지하여 레이더 탐지정보를 생성하는 단계(S100)는 대상객체가 방사하는 열을 영상화하기 때문에 저조도 또는 극저조도 상황에서도 보행자를 인식할 수 있다.
보행자가 방사하는 열을 영상화하여 원적외선 인식정보를 생성하는 단계(S200)는 대상객체가 방사하는 열을 영상화하기 때문에 저조도 또는 극저조도 상황에서도 보행자를 인식할 수 있다.
레이더 탐지정보 및 원적외선 인식정보를 융합하여, 자동차의 주행 차선 상 보행자의 존재, 보행자의 자동차에 대한 거리 및 상대 속도를 포함하는 보행자 정보를 감지하는 단계(S300)는 레이더 탐지정보 및 원적외선 인식정보를 융합하여 이용함으로써 저조도 상황 또는 야간상황에서 보다 정확하게 자동차와 보행자 간의 거리 및 상대 속도를 정확하게 감지할 수 있다.
자동차의 속도를 포함하는 자동차 정보를 감지하는 단계(S400)는 자동차 엔진으로부터 자동차 바퀴의 회전수를 측정하고, 미리 알고 있는 바퀴의 원주와 측정된 회전수와 시간으로부터 자동차의 주행속도를 계산한다. 또한, 브레이크 페달의 작동 여부를 파악할 수 있다.
보행자 정보 및 자동차 정보를 기반으로 PDCMS 기능을 작동하는 단계(S500)는 획득한 자동차 정보 및 검출한 보행자 정보를 바탕으로 매핑 테이블에 기반하여 자동차의 PDCMS 기능을 작동할지 여부를 판단한다. 구체적으로, 보행자 정보 및 자동차 정보를 종합하여 매핑 테이블 상 PDCMS 기능을 작동할 수 있는 조건을 만족하는지 여부를 판단한다. 즉, 보행자의 현재 위치, 자동차의 현재 위치, 자동차의 속도정보를 이용하여 매핑 테이블 상에서 자동차와 보행자의 충돌 위험성을 판단한다.
나아가, 보행자 정보 및 자동차 정보를 기반으로 PDCMS 기능을 작동하는 단계(S500)는 보행자의 상태 및 자동차의 상태가 매핑 테이블 상에서 PDCMS 기능을 시작할 수 있는 조건을 만족하였다고 판단한 경우 자동차의 PDCMS 기능을 작동한다. PDCMS 기능은 PDCMS 기능은 운전자에게 자동차와 보행자의 충돌을 알리도록 작동하기 위한 경보부의 작동, 및 운전자의 브레이크 조작 여부에 관계없는 브레이크의 작동 활성화를 포함한다.
한편, 본 명세서에서는 설명의 편의상 PDCMS를 예시로 하고 있음이 이해되어야 한다. 전술한 바와 같이 PDCMS는 여러 개의 ADAS 기능들 중의 하나에 불과하며, 본 발명이 제시하는 PDCMS 구현은 관련되는 다른 ADAS 기능을 구현하기 위해서도 이용될 수 있음이 이해되어야 한다. 예를 들어, 본 발명에 제시하는 방식은 PDCMS, LCDAS(Lane Change Decision Aid System), LDWS(Land Departure Warning System), ACC(Adaptive Cruise Control), LKAS(Lane Keeping Assistance System), RBDPS(Road Boundary Departure Prevention System), CSWS(Curve Speed Warning System), FVCWS(Forward Vehicle Collision Warning System), LSF(Low Speed Following) 등의 ADAS 기능들 중에서 하나의 기능 또는 복수개의 기능의 결합을 구현하기 위해서도 사용될 수 있다.
상술한 것은 하나 이상의 실시예의 실례를 포함한다. 물론, 상술한 실시예들을 설명할 목적으로 컴포넌트들 또는 방법들의 가능한 모든 조합을 기술할 수 있는 것이 아니라, 당업자들은 다양한 실시예의 많은 추가 조합 및 치환이 가능함을 인식할 수 있다. 따라서 설명한 실시예들은 첨부된 청구범위의 진의 및 범위 내에 있는 모든 대안, 변형 및 개조를 포함하는 것이다. 더욱이, 상세한 설명 또는 청구범위에서 "포함한다"라는 용어가 사용되는 범위에 대해, 이러한 용어는 "구성되는"이라는 용어가 청구범위에서 과도적인 단어로 사용될 때 해석되는 것과 같이 "구성되는"과 비슷한 식으로 포함되는 것이다.
100: 자동차의 PDCMS 작동 시스템
200: 전방 감지 센서
210: 레이더 센서
211: 레이더 탐지정보 후처리부
220: 원적외선 카메라 센서
230: 정보융합부
231: 정합성 판단부
232: 유사도 계산부
233: 상태변수 갱신부
234: 추적정보 관리부
300: 차량 센서
400: 전자 제어 유닛
500: 경보부
600: 보행자
700: 자동차

Claims (14)

  1. 자동차의 주행 차선 상 보행자의 존재, 상기 보행자의 상기 자동차에 대한 거리 및 상대 속도를 감지하는 전방 감지 센서;
    상기 자동차의 속도를 감지하는 차량 센서;
    상기 전방 감지 센서와 상기 차량 센서에서 감지한 정보를 기반으로 PDCMS(Pedestrian Detection and Collision Mitigation System) 기능을 작동하는 전자 제어 유닛; 및
    상기 전자 제어 유닛의 제어에 의하여 운전자에게 상기 자동차와 상기 보행자의 충돌을 알리도록 작동하는 경보부를 포함하고,
    상기 전방 감지 센서는,
    상기 보행자로부터 반사되는 전파를 이용해 상기 자동차의 주행 차선 상 상기 보행자를 탐지하여 레이더 탐지정보를 생성하는 레이더 센서;
    상기 보행자가 방사하는 열을 영상화하여 원적외선 인식정보를 생성하는 원적외선 카메라 센서; 및
    상기 레이더 탐지정보 및 원적외선 인식정보를 융합하는 정보융합부를 포함하며,
    상기 PDCMS 기능은 상기 경보부의 작동, 및 상기 운전자의 브레이크 조작 여부에 관계없는 상기 브레이크의 작동 활성화를 포함하는 것을 특징으로 하고,
    상기 전자 제어 유닛은 상기 자동차의 속도가 제1임계 속도보다 낮거나 또는 제2임계 속도보다 큰 경우 상기 PDCMS 기능을 비활성화하여 상기 PDCMS 기능이 작동되지 않도록 제어하고,
    상기 전방 감지 센서는,
    상기 레이더 탐지정보 중 보행자가 아닌 결과를 원적외선 인식정보와 융합 전 제거하는 레이더 탐지정보 후처리부를 더 포함하고,
    상기 레이더 탐지정보 후처리부는,
    시간에 따른 각도값에 기초하는 필터링, 탐지거리 및 탐지각도에 기초하는 필터링 및 반사전력과 탐지 너비에 기초하는 필터링을 순차적으로 이용하여 상기 레이더 탐지정보 중 보행자가 아닌 결과를 제거하는,
    자동차의 PDCMS 작동 장치.
  2. 제 1 항에 있어서,
    상기 정보융합부는,
    상기 레이더 탐지정보와 원적외선 인식정보 간의 상관관계를 계산하여 이진행렬을 구성하는 정합성 판단부;
    상기 정합성 판단부에서 구성한 이진행렬을 이용해 측정치를 생성하고, 상기 측정치와 이전 시점의 트랙 추적정보 간의 상태변수 영역에서의 유사도를 계산하는 유사도 계산부;
    상기 측정치와 상태변수를 이용해 칼만 필터링(Kalman Filtering)을 수행하여 각 추적정보를 갱신하는 상태변수 갱신부; 및
    상기 트랙의 병합, 생성 및 삭제를 수행하는 추적정보 관리부를 포함하는 것을 특징으로 하는,
    자동차의 PDCMS 작동 장치.
  3. 제 2 항에 있어서,
    상기 유사도 계산부는 상기 레이더 탐지정보와 원적외선 인식정보의 종/횡방향 상대위치를 극좌표계를 이용해 표현함으로써 상기 측정치를 생성하는 것을 특징으로 하는,
    자동차의 PDCMS 작동 장치.
  4. 제 2 항에 있어서,
    상기 상태변수 갱신부는 확장 칼만 필터(Extended Kalman Filter)를 적용하여 칼만 필터링을 수행하는 것을 특징으로 하는,
    자동차의 PDCMS 작동 장치.
  5. 삭제
  6. 제 1 항에 있어서,
    상기 레이더 탐지정보는 64개 이하의 수로 생성되는 것을 특징으로 하는,
    자동차의 PDCMS 작동 장치.
  7. 제 1 항에 있어서,
    상기 원적외선 인식정보는 8개 이하의 수로 생성되는 것을 특징으로 하는,
    자동차의 PDCMS 작동 장치.
  8. 제 1 항에 있어서,
    상기 전자 제어 유닛은,
    상기 브레이크의 작동 활성화를 상기 브레이크의 작동 활성화 시점부터 상기 자동차와 상기 보행자의 충돌 시점까지 상기 자동차의 속도를 최소한 소정의 속도 이상 감소시키도록 수행하는 것을 특징으로 하는,
    자동차의 PDCMS 작동 장치.
  9. 제 1 항에 있어서,
    상기 전자 제어 유닛은,
    상기 브레이크의 작동 활성화를 시작한 뒤에도 상기 운전자에 의하여 가능한 최대치의 감속을 위한 브레이크 조작을 허용하는 것을 특징으로 하는,
    자동차의 PDCMS 작동 장치.
  10. 제 1 항에 있어서,
    상기 전자 제어 유닛은,
    상기 자동차의 속도가 상기 제1임계 속도 이상이고 상기 제2임계 속도 이하인 경우 비활성화된 상기 PDCMS 기능을 활성화하여 상기 PDCMS 기능이 작동되도록 제어하는,
    자동차의 PDCMS 작동 장치.
  11. 제 1 항에 있어서,
    상기 경보부는,
    상기 자동차와 상기 보행자의 충돌을 시각적으로 알리는 디스플레이부 또는 상기 자동차와 상기 보행자의 충돌을 청각적으로 알리는 스피커부를 포함하는 것을 특징으로 하는,
    자동차의 PDCMS 작동 장치.
  12. 제 1 항에 있어서,
    상기 PDCMS 기능은 후방 브레이크 램프 작동을 더 포함하는 것을 특징으로 하는,
    자동차의 PDCMS 작동 장치.
  13. 제 1 항에 있어서,
    상기 PDCMS 기능은 차체 자세 제어 장치(ESC: Electrical Stability Control) 작동을 더 포함하는 것을 특징으로 하는,
    자동차의 PDCMS 작동 장치.
  14. 보행자로부터 반사되는 전파를 이용해 자동차의 주행 차선 상 상기 보행자를 탐지하여 레이더 탐지정보를 생성하는 단계;
    상기 보행자가 방사하는 열을 영상화하여 원적외선 인식정보를 생성하는 단계;
    시간에 따른 각도값에 기초하는 필터링, 탐지거리 및 탐지각도에 기초하는 필터링 및 반사전력과 탐지 너비에 기초하는 필터링을 순차적으로 이용하여 상기 레이더 탐지정보 중 보행자가 아닌 결과를 제거하는 단계;
    보행자가 아닌 결과가 제거된 레이더 탐지정보 및 원적외선 인식정보를 융합하여, 상기 자동차의 주행 차선 상 상기 보행자의 존재, 상기 보행자의 상기 자동차에 대한 거리 및 상대 속도를 포함하는 보행자 정보를 감지하는 단계;
    상기 자동차의 속도를 포함하는 자동차 정보를 감지하는 단계; 및
    상기 보행자 정보 및 상기 자동차 정보를 기반으로 PDCMS(Pedestrian Detection and Collision Mitigation System) 기능을 작동하는 단계를 포함하며,
    상기 PDCMS 기능은 운전자에게 상기 자동차와 상기 보행자의 충돌을 알리도록 작동하기 위한 경보부의 작동, 및 상기 운전자의 브레이크 조작 여부에 관계없는 상기 브레이크의 작동 활성화를 포함하는 것을 특징으로 하고,
    상기 PDCMS 기능을 작동하는 단계는,
    상기 자동차의 속도가 제1임계 속도보다 낮거나 또는 제2임계 속도보다 큰 경우 상기 PDCMS 기능을 비활성화하여 상기 PDCMS 기능이 작동되지 않도록 제어하는 단계를 포함하는,
    자동차의 PDCMS 작동 방법.
KR1020160184302A 2016-12-30 2016-12-30 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법 Active KR101996419B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160184302A KR101996419B1 (ko) 2016-12-30 2016-12-30 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
EP17205380.3A EP3342660B1 (en) 2016-12-30 2017-12-05 Sensor integration based pedestrian detection and pedestrian collision prevention apparatus and method
CN201711283338.2A CN108263278B (zh) 2016-12-30 2017-12-06 基于传感器整合的行人检测和行人防碰撞装置及方法
US15/833,886 US10821946B2 (en) 2016-12-30 2017-12-06 Sensor integration based pedestrian detection and pedestrian collision prevention apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160184302A KR101996419B1 (ko) 2016-12-30 2016-12-30 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180078986A KR20180078986A (ko) 2018-07-10
KR101996419B1 true KR101996419B1 (ko) 2019-07-04

Family

ID=60629456

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160184302A Active KR101996419B1 (ko) 2016-12-30 2016-12-30 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법

Country Status (4)

Country Link
US (1) US10821946B2 (ko)
EP (1) EP3342660B1 (ko)
KR (1) KR101996419B1 (ko)
CN (1) CN108263278B (ko)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101996414B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 보행자 시선을 고려한 충돌 방지 및 충격 완화 장치 및 방법
KR101996418B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR101996419B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
US11294380B2 (en) 2018-05-11 2022-04-05 Arnold Chase Passive infra-red guidance system
US10467903B1 (en) * 2018-05-11 2019-11-05 Arnold Chase Passive infra-red pedestrian detection and avoidance system
US10750953B1 (en) 2018-05-11 2020-08-25 Arnold Chase Automatic fever detection system and method
US11062608B2 (en) 2018-05-11 2021-07-13 Arnold Chase Passive infra-red pedestrian and animal detection and avoidance system
JP7056458B2 (ja) * 2018-08-10 2022-04-19 株式会社Ｊｖｃケンウッド 認識処理装置、認識処理方法及び認識処理プログラム
KR20200031808A (ko) * 2018-09-17 2020-03-25 현대자동차주식회사 차량의 급발진 방지 제어 시스템 및 방법
CN109490890B (zh) * 2018-11-29 2023-06-02 重庆邮电大学 一种面向智能车的毫米波雷达与单目相机信息融合方法
EP3666594B1 (en) 2018-12-12 2022-08-10 Ningbo Geely Automobile Research & Development Co. Ltd. System and method for warning a driver of a vehicle of an object in a proximity of the vehicle
CN109711398B (zh) * 2018-12-29 2021-02-19 联想(北京)有限公司 传感器空间关系获取方法、装置和电子设备
DE102019200345A1 (de) * 2019-01-14 2020-07-16 Continental Automotive Gmbh Cloudbasierte Erkennung und Warnung von Gefahrenstellen
CN109649360B (zh) * 2019-01-18 2024-01-30 佛山职业技术学院 一种汽车避让行人的方法及系统
KR102695891B1 (ko) * 2019-02-01 2024-08-16 주식회사 에이치엘클레무브 운전자 보조 장치
KR102656945B1 (ko) * 2019-02-26 2024-04-12 현대모비스 주식회사 차량의 센서 융합 장치 및 방법
CN109835251B (zh) * 2019-03-13 2022-09-13 重庆睿驰智能科技有限公司 车辆前向碰撞预警系统
JP6931017B2 (ja) * 2019-03-27 2021-09-01 本田技研工業株式会社 車両制御装置、車両および車両制御方法
US20200342623A1 (en) * 2019-04-23 2020-10-29 Apple Inc. Systems and methods for resolving hidden features in a field of view
US11182193B2 (en) * 2019-07-02 2021-11-23 International Business Machines Corporation Optimizing image reconstruction for container registries
JP7156195B2 (ja) * 2019-07-17 2022-10-19 トヨタ自動車株式会社 物体認識装置
IT201900012558A1 (it) * 2019-07-22 2021-01-22 Iveco France Sas Veicolo per il trasporto pubblico comprendente un sistema di sicurezza
DE102019212021B4 (de) * 2019-08-09 2024-02-08 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren
CN110647146B (zh) * 2019-09-09 2023-01-31 深圳一清创新科技有限公司 无人车控制方法、装置、计算机设备和存储介质
US11320830B2 (en) 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area
CN111458765A (zh) * 2020-03-31 2020-07-28 深圳市三巨电机有限公司 一种温判有物提示装置及车载系统
KR20210149954A (ko) 2020-06-02 2021-12-10 현대자동차주식회사 전기 모터를 구비한 자동차 및 그를 위한 충돌 방지 제어 방법
KR20210149953A (ko) 2020-06-02 2021-12-10 현대자동차주식회사 하이브리드 자동차 및 그를 위한 충돌 완화 제어 방법
KR20220049630A (ko) 2020-10-14 2022-04-22 현대자동차주식회사 자동차 및 그를 위한 제어 방법
KR102725801B1 (ko) * 2021-01-27 2024-11-01 한국자동차연구원 센서 융합 알고리즘을 이용한 환경인지센서 고장 검출/진단 장치 및 그 방법
CN112918470B (zh) * 2021-03-01 2022-03-04 长沙理工大学 一种保护行人的智能自动紧急制动方法
CN114715038A (zh) * 2022-03-16 2022-07-08 深圳市德驰微视技术有限公司 基于域控制器的盲区监测图像后处理方法及系统
FR3134473A1 (fr) * 2022-04-06 2023-10-13 Psa Automobiles Sa Méthodes et systèmes de perception d’objets vulnérables
CN116757081B (zh) * 2023-06-19 2024-11-12 中国汽车工程研究院股份有限公司 一种应用于aeb测试的卡车目标物设计方法及系统
CN119389241A (zh) * 2024-12-31 2025-02-07 江西五十铃汽车有限公司 一种自动驾驶轨迹预测方法、系统、存储介质及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008143372A (ja) * 2006-12-11 2008-06-26 Denso Corp 歩行者衝突検出装置及び歩行者保護システム
JP2010127717A (ja) * 2008-11-26 2010-06-10 Sumitomo Electric Ind Ltd 対象物検出装置及び対象物検出システム
JP2011063187A (ja) * 2009-09-18 2011-03-31 Autonetworks Technologies Ltd 車輌灯制御装置
JP2011225159A (ja) * 2010-04-22 2011-11-10 Toyota Central R&D Labs Inc 車両運動制御装置及びプログラム
KR101402206B1 (ko) * 2014-04-10 2014-05-30 국방과학연구소 운동학 및 형상 정보를 활용한 다중 표적 추적 방법
KR101489836B1 (ko) * 2013-09-13 2015-02-04 자동차부품연구원 보행자 감지 및 충돌 회피 장치 및 방법
JP2015031607A (ja) * 2013-08-02 2015-02-16 トヨタ自動車株式会社 物体認識装置
JP2016009251A (ja) * 2014-06-23 2016-01-18 エイディシーテクノロジー株式会社 車両用制御装置

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06107141A (ja) * 1992-09-30 1994-04-19 Mazda Motor Corp 車両の自動制動装置
JP2000357299A (ja) * 1999-06-16 2000-12-26 Honda Motor Co Ltd 車両の走行安全装置
JP2003302470A (ja) * 2002-04-05 2003-10-24 Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai 歩行者検出装置および歩行者検出方法
DE10229033A1 (de) * 2002-06-28 2004-01-22 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen einer Unfallgefahr
US6956469B2 (en) * 2003-06-13 2005-10-18 Sarnoff Corporation Method and apparatus for pedestrian detection
US7380633B2 (en) * 2005-06-09 2008-06-03 Delphi Technologies, Inc. Vehicle sensing method for detecting a pedestrian impact
JP2008234029A (ja) * 2007-03-16 2008-10-02 Sumitomo Electric Ind Ltd 対象物検出システム及び対象物検出装置
EP2133851B1 (en) * 2007-04-02 2012-11-28 Panasonic Corporation Safe driving assisting device
JP2009169776A (ja) * 2008-01-18 2009-07-30 Hitachi Ltd 検出装置
JP4561863B2 (ja) * 2008-04-07 2010-10-13 トヨタ自動車株式会社 移動体進路推定装置
JP2009295184A (ja) * 2009-09-16 2009-12-17 Mitsubishi Electric Corp 歩行者警報装置
JP4873068B2 (ja) * 2009-11-20 2012-02-08 株式会社デンソー 衝突被害軽減装置
JP5505427B2 (ja) * 2010-01-12 2014-05-28 トヨタ自動車株式会社 衝突位置予測装置
JP5401344B2 (ja) * 2010-01-28 2014-01-29 日立オートモティブシステムズ株式会社 車両用外界認識装置
DE112011105330T5 (de) * 2011-06-13 2014-03-06 Toyota Jidosha Kabushiki Kaisha Fußgängerbewegungsvorhersagegerät
US9395702B2 (en) * 2011-07-20 2016-07-19 Freescale Semiconductor, Inc. Safety critical apparatus and method for controlling distraction of an operator of a safety critical apparatus
JP5696701B2 (ja) * 2012-08-31 2015-04-08 株式会社デンソー 対歩行者報知装置
WO2014033956A1 (ja) * 2012-09-03 2014-03-06 トヨタ自動車株式会社 衝突判定装置及び衝突判定方法
JP6022983B2 (ja) * 2013-03-29 2016-11-09 株式会社日本自動車部品総合研究所 運転支援装置
US9336436B1 (en) * 2013-09-30 2016-05-10 Google Inc. Methods and systems for pedestrian avoidance
US9925980B2 (en) * 2014-09-17 2018-03-27 Magna Electronics Inc. Vehicle collision avoidance system with enhanced pedestrian avoidance
US10634778B2 (en) * 2014-10-21 2020-04-28 Texas Instruments Incorporated Camera assisted tracking of objects in a radar system
WO2016126317A1 (en) * 2015-02-06 2016-08-11 Delphi Technologies, Inc. Method of automatically controlling an autonomous vehicle based on electronic messages from roadside infrastructure of other vehicles
US9718405B1 (en) * 2015-03-23 2017-08-01 Rosco, Inc. Collision avoidance and/or pedestrian detection system
JP6561584B2 (ja) * 2015-05-27 2019-08-21 株式会社デンソー 車両制御装置、及び車両制御方法
US9637120B2 (en) * 2015-06-24 2017-05-02 Delphi Technologies, Inc. Cognitive driver assist with variable assistance for automated vehicles
US9493118B1 (en) * 2015-06-24 2016-11-15 Delphi Technologies, Inc. Cognitive driver assist with variable warning for automated vehicles
JP6361592B2 (ja) * 2015-06-26 2018-07-25 株式会社デンソー 車両制御装置
JP6090396B2 (ja) * 2015-09-01 2017-03-08 トヨタ自動車株式会社 運転支援装置
JP6467355B2 (ja) * 2016-01-11 2019-02-13 株式会社デンソー 車両用衝突検知装置
CN108475469B (zh) * 2016-01-22 2019-07-09 日产自动车株式会社 车辆的驾驶辅助控制方法以及控制装置
JP6418407B2 (ja) * 2016-05-06 2018-11-07 トヨタ自動車株式会社 車両のブレーキ制御装置
US9449506B1 (en) * 2016-05-09 2016-09-20 Iteris, Inc. Pedestrian counting and detection at a traffic intersection based on location of vehicle zones
KR101996417B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR101996415B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR101996419B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
JP6717240B2 (ja) * 2017-03-08 2020-07-01 株式会社デンソー 物標検出装置
US10347132B1 (en) * 2018-10-30 2019-07-09 GM Global Technology Operations LLC Adjacent pedestrian collision mitigation

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008143372A (ja) * 2006-12-11 2008-06-26 Denso Corp 歩行者衝突検出装置及び歩行者保護システム
JP2010127717A (ja) * 2008-11-26 2010-06-10 Sumitomo Electric Ind Ltd 対象物検出装置及び対象物検出システム
JP2011063187A (ja) * 2009-09-18 2011-03-31 Autonetworks Technologies Ltd 車輌灯制御装置
JP2011225159A (ja) * 2010-04-22 2011-11-10 Toyota Central R&D Labs Inc 車両運動制御装置及びプログラム
JP2015031607A (ja) * 2013-08-02 2015-02-16 トヨタ自動車株式会社 物体認識装置
KR101489836B1 (ko) * 2013-09-13 2015-02-04 자동차부품연구원 보행자 감지 및 충돌 회피 장치 및 방법
KR101402206B1 (ko) * 2014-04-10 2014-05-30 국방과학연구소 운동학 및 형상 정보를 활용한 다중 표적 추적 방법
JP2016009251A (ja) * 2014-06-23 2016-01-18 エイディシーテクノロジー株式会社 車両用制御装置

Also Published As

Publication number Publication date
US20180236986A1 (en) 2018-08-23
EP3342660A1 (en) 2018-07-04
EP3342660B1 (en) 2025-01-08
US10821946B2 (en) 2020-11-03
KR20180078986A (ko) 2018-07-10
CN108263278A (zh) 2018-07-10
CN108263278B (zh) 2023-04-21

Similar Documents

Publication Publication Date Title
KR101996419B1 (ko) 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR101996418B1 (ko) 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
CN108027422B (zh) 借助于汽车传感器自动检测危险偏离车辆
KR101996415B1 (ko) 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
CN106004879B (zh) 车辆行驶辅助系统及其控制方法
CN109204311B (zh) 一种汽车速度控制方法和装置
US8630793B2 (en) Vehicle controller
JP6407431B2 (ja) 後方から急接近中の車両を示す出力、又は、後方から極度に急接近中の車両を示す出力に応答して、ホスト車両の運転者に警告を与える、又は、ホスト車両を自律制御するためのレーンアシストシステム及び方法
KR101996417B1 (ko) 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
JP5410730B2 (ja) 自動車の外界認識装置
KR101511858B1 (ko) 보행자 또는 이륜차를 인지하는 운전보조시스템 및 그 제어방법
US20080189040A1 (en) Collision Avoidance System
US20080015743A1 (en) Method and system for assisting the driver of a motor vehicle in identifying road bumps
KR20190049221A (ko) 자율주행 차량의 보행자 인식 방법
EP3190021A1 (en) System and method for collision warning
KR20180078987A (ko) 보행자 충돌 시 충격 완화 장치 및 방법
KR20180078979A (ko) 보행자 충돌 시 충격 완화 장치 및 방법
KR20230116122A (ko) 차량, 차량 충돌방지 시스템 및 충돌방지 방지 방법
JP6548147B2 (ja) 車両用制御装置
KR20170122143A (ko) 후속차량 인식 장치 및 그 방법
US20230182722A1 (en) Collision avoidance method and apparatus
KR20240124570A (ko) 충돌 방지 또는 충격량 저감을 위한 방법 또는 장치
KR20230172054A (ko) 차량 충돌 방지 시스템 및 이를 구비한 차량 및 충돌 방지 방법
Ramajeyam et al. Review of advanced driver assistance systems
Sivanand Ramajeyam et al. u Impedance Analysis

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20161230

PA0201 Request for examination
N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20170207

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180903

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20190221

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190626

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190628

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190701

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220527

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230525

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20240527

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20250526

Start annual number: 7

End annual number: 7