[go: up one dir, main page]

KR102714691B1 - 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치 - Google Patents

카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치 Download PDF

Info

Publication number
KR102714691B1
KR102714691B1 KR1020160165005A KR20160165005A KR102714691B1 KR 102714691 B1 KR102714691 B1 KR 102714691B1 KR 1020160165005 A KR1020160165005 A KR 1020160165005A KR 20160165005 A KR20160165005 A KR 20160165005A KR 102714691 B1 KR102714691 B1 KR 102714691B1
Authority
KR
South Korea
Prior art keywords
image
information
vehicle
unit
depth map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020160165005A
Other languages
English (en)
Other versions
KR20180065048A (ko
Inventor
강영만
조휘택
전종찬
Original Assignee
(주)엠아이웨어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)엠아이웨어 filed Critical (주)엠아이웨어
Priority to KR1020160165005A priority Critical patent/KR102714691B1/ko
Publication of KR20180065048A publication Critical patent/KR20180065048A/ko
Application granted granted Critical
Publication of KR102714691B1 publication Critical patent/KR102714691B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/107—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2520/105—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/304—Acceleration sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 차량의 전방에 장착되어 있는 영상 카메라의 영상을 수신하는 영상 입력부와, 상기 영상 입력부로부터 전송되는 카메라 영상을 저장하는 정보 저장부와, 상기 영상 입력부로부터 전송되는 적어도 두 장 이상의 연속된 영상을 처리하여 뎁쓰-맵을 생성하고, 상기 뎁쓰-맵을 이용하여 일정한 높이 이상의 장애물을 검출하는 영상 처리부와, 상기 영상 처리부와 연결되며, 시각적 경고 정보와 청각적 경고 정보를 수신하는 정보 융합 제어부와, 상기 정보 융합 제어부로부터 전송되는 경고 영상을 포함하는 영상 신호를 출력하는 시각 정보 출력부 및 상기 정보 융합 제어부로부터 전송되는 경고음을 포함하는 신호에 대한 청각적 정보를 출력하는 청각 정보 출력부를 포함하는 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치를 개시한다.

Description

카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치{Object Detection method of Moving Vehicle using Depth-Map of Camera Image}
본 발명은 이동하는 차량에 장착되는 1 개의 카메라로부터 전송되는 영상을 이용하여 뎁쓰-맵(Depth-Map)을 생성하고 이로부터 이동 차량의 이동 경로에 있는 일정 높이 이상의 장애물을 검출하는 이동 차량의 장애물 검출 장치에 관한 것이다.
일반적으로 차량용 블랙박스로 통칭되는 영상 저장 장치는 차선 검출(Line detection), 차량 검출(Vehicle Detection) 기능이 추가되어 그 본연의 차량 사고 감지 기능외에 안전 운전을 위한 ADAS (Advanced Driver Assistant System: 운전자 보조 기능)을 갖는 기기로 확장되고 있다.
일반적으로 상기 차량용 블랙박스는 차선 검출을 위하여 카메라의 영상을 마치 하늘에서 내려다 보는(Top View 혹은 bird eye view) 방식으로 전환하는 (예를 들면 Perspective Projection과 같은) 기법을 사용하여 차량 및 카메라 좌/우에 위치하는 차선의 후보를 검출하여 확정하는 알고리즘을 사용하고, 카메라의 영상을 이용하여 카메라 전방의 차량 후보를 검출 (Detection)하고 확정하는 방식의 알고리즘의 일부를 채용하고 있다. 최근에는 보행자(Pedestrian)를 검출하는 기능을 추가로 갖는 차량용 블랙박스도 개발되고 있다.
상기 차선 검출, 차량 검출 또는 보행자 검출의 기능을 갖는 차량용 블랙박스는 카메라의 영상을 전처리한 후, 관심 영역에서 검출하고자 하는 특정 대상의 일부 또는 전부를 검출하여 운전자에게 경고를 하거나 장치의 저장시 영상과 함께 관련 검출 내용을 저장하는 방식의 장치들이다.
통상적으로 상기 차선 검출에는 허프(Hough) 변환, 차량 및 보행자의 검출에는 Haar-like 특성, 적분 영상 또는 이미지 피라미드기법, MCP(Modified Census Transform), LBP(Local Binary Pattern), Boosting 및 Cascade 기법의 일부 또는 전부를 사용하여 분류기(Classifier)를 학습하고 검출기(Detector)와 연동하여 검출 성능을 향상하는 기법들을 사용한다. 상기와 같은 기능을 갖는 차량용 블랙박스는 한국등록특허공보 제10-1455847호에 개시되어 있다.
본 발명은 차량용 블랙박스에 들어오는 카메라 영상을 이용하여, 이동 차량의 이동 경로에 있는 일정 높이 이상의 장애물을 실시간으로 검출하여 시각적 또는 청각적 경보를 함으로써 안전 운전 및 사고 예방을 위한 이동 차량의 장애물 검출 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치는 차량의 전방에 장착되어 있는 영상 카메라의 영상을 수신하는 영상 입력부와, 상기 영상 입력부로부터 전송되는 카메라 영상을 저장하는 정보 저장부와, 상기 영상 입력부로부터 전송되는 적어도 두 장 이상의 연속된 영상을 처리하여 뎁쓰-맵을 생성하고, 상기 뎁쓰-맵을 이용하여 일정한 높이 이상의 장애물을 검출하는 영상 처리부와, 상기 영상 처리부와 연결되며, 시각적 경고 정보와 청각적 경고 정보를 수신하는 정보 융합 제어부와, 상기 정보 융합 제어부로부터 전송되는 경고 영상을 포함하는 영상 신호를 출력하는 시각 정보 출력부 및 상기 정보 융합 제어부로부터 전송되는 경고음을 포함하는 신호에 대한 청각적 정보를 출력하는 청각 정보 출력부를 포함하는 것을 특징으로 한다.
또한, 본 발명의 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치는 상기 차량의 가속도를 측정하여 상기 차량의 급출발 또는 급정차 여부를 판단하는 가속도 센서 및 GPS를 이용하여 상기 차량의 위치 정보를 수신하는 지피에스 수신부를 더 포함하여 형성될 수 있다.
또한, 상기 영상 처리부는 영상을 안정화하는 전처리 과정과, 상기 장애물을 검출하는 주처리 과정 및 충돌등의 위험을 경고하는 후처리 과정을 통하여 장애물을 검출하도록 형성될 수 있다.
이때, 상기 전처리 과정은 입력된 영상을 흑백의 영상으로 전환하는 영상 전환 단계와, 전환된 영상을 상기 영상 처리부의 연산 자원내에서 연산할 수 있도록 축소 또는 확대하는 영상 크기 변경 단계와, 변경된 크기의 영상을 적어도 2개 이상의 다양한 크기로 변경하는 다중 크기 영상 확장 단계를 포함하여 이루어질 수 있다. 또한, 상기 전처리 과정은 오검출을 보완하기 위하여 영상내의 사물을 외곽선 기준(Edge image) 영상으로 재조합하는 영상 변환 단계 및 오검출을 보완하기 위해 외곽선 기준 적분 영상(Edge Integral Image) 생성 단계를 더 포함하여 이루어질 수 있다.
또한, 상기 주처리 과정은 상기 전처리 과정을 거친 영상으로부터 각 외곽선의 코너를 검출하는 특성 검출 기능과, 광학 영상 흐름 및 전후 방향 추적을 수행하는 특성 추적 기능 및 추적 결과에 따라 오차가 큰 특성을 제거하거나 인접한 특성들을 걸러내는 특성 필터(Feature Filtering) 기능이 순차적으로 진행되는 특성 관리 단계 및 바닥면을 기준한 연속되는 적어도 두 프레임간의 차량 이동 동작 상태의 산출 및 누적과, 차량 이동 동작 상태를 통한 일정 거리의 움직임 발생시 해당 프레임을 주요 영상으로 지정하는 동작 예측 기능과, 적어도 2개 이상의 주요 영상간 예측된 차량 이동 동작 상태를 기반으로 삼각화 기법 적용을 통한 에피폴라 특성 추출과 에피폴라 제한을 통한 뎁쓰 추정 오류 보완 및 각 특성별 뎁쓰 추정을 하는 삼각화기법 기능과, 추정된 뎁쓰에 따라 특성들의 분별 집합 및 분별 집합의 개수와 크기에 따라 장애물 여부를 결정하는 장애물 검출 기능이 순차적으로 진행되는 주요 영상 관리 단계를 포함하여 이루어질 수 있다.
또한, 상기 후처리 과정은 상기 주처리 과정에서 장애물로 분류된 분별 집합들의 바닥면 기반의 분포 거리를 추정하는 거리 추정 단계와, 거리별로 경로 레벨을 산출하고 시각적 또는 청각적 경보를 출력하는 경고 로직 단계를 포함하여 이루어질 수 있다.
본 발명에 따른 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치는 차량에 장착된 차량용 블랙박스를 통해서 카메라가 지향한 방향의 영상을 상시적으로 저장할 수 있을 뿐만 아니라, 이동 차량의 이동 경로에 위치하여 이동 차량과 접촉시 사고 위험을 내포하는 장애물의 존재 여부를 예상충돌 3초전, 1초전등과 같은 시간 간격으로 시각적/청각적 경고를 함으로써 운전자의 사고를 예방하고 사고를 경감시킬 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치의 구성도이다.
도 2는 본 발명의 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치의 영상 처리 알고리즘의 개략도이다.
도 3은 본 발명의 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치의 영상 처리 알고리즘 중 전처리 과정의 상세도이다.
도 4는 본 발명의 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치의 영상 처리 알고리즘 중 주처리 과정 상세도이다.
도 5는 본 발명의 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치의 영상처리 알고리즘 중 후처리 과정 상세도이다.
이하에서, 첨부된 도면을 참조하여, 본 발명의 일 실시예에 따른 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치에 대하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치의 구성도이다. 도 2는 본 발명의 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치의 영상 처리 알고리즘의 개략도이다. 도 3은 본 발명의 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치의 영상 처리 알고리즘 중 전처리 과정의 상세도이다. 도 4는 본 발명의 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치의 영상 처리 알고리즘 중 주처리 과정 상세도이다. 도 5는 본 발명의 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치의 영상처리 알고리즘 중 후처리 과정 상세도이다.
본 발명의 일 실시예에 따른 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치는, 도 1 내지 도 5를 참조하면, 영상 입력부(100)와 정보 저장부(200)와 지피에스 수신부(300)와 가속도 센서(400)와 영상 처리부(500)와 정보 융합 제어부(600)와 시각 정보 출력부(700)와 청각 정보 출력부(800)를 포함하여 형성된다. 또한, 상기 이동 차량의 장애물 검출 장치는 음성 입력부(900)와 전원 공급부(1000)를 더 포함하여 형성될 수 있다. 상기 이동 차량의 장애물 감지 장치는 차량의 전방에 설치되는 카메라 모듈(10)과 음성을 입력받는 마이크 모듈(20)을 더 포함하여 형성될 수 있다. 한편, 상기 영상 처리부(500)는 정보 융합 제어부(600)와 일체로 형성될 수 있다.
상기 영상 입력부(100)는 차량의 전방에 장착되어 있는 영상 카메라의 영상을 수신한다. 상기 영상 입력부(100)는 카메라 모듈(10)과 전기적으로 연결되며 영상 신호를 수신한다.
상기 정보 저장부(200)는 영상 처리부(500) 또는 영상 입력부(100)와 전기적으로 연결되며, 영상 처리부(500) 또는 영상 입력부(100)로부터 전송되는 카메라 영상을 저장한다. 또한, 상기 정보 저장부(200)는 음성 입력부(900)와 전기적으로 연결되며, 음성 입력부(900)에서 전송되는 음성 신호를 저장할 수 있다.
상기 지피에스 수신부(300)는 지피에스(GPS)를 이용하여 차량의 위치 정보를 수신한다. 상기 지피에스 수신부(300)는 차량에 대한 위치 정보를 정보 융합 제어부(600)로 전송한다.
상기 가속도 센서(400)는 차량의 급출발 또는 급정차 여부를 판단한다. 즉, 상기 가속도 센서(400)는 차량의 가속도를 측정하여 차량의 급출발 또는 급정차와 같은 이벤트를 감지한다. 상기 가속도 센서(400)는 차량의 가속도 정보를 정보 융합 제어부(600)로 전송한다.
상기 영상 처리부(500)는 영상 입력부(100)로부터 전송되는 적어도 두 장 이상의 연속된 영상을 처리하여 뎁쓰-맵을 생성하고, 뎁쓰-맵을 이용하여 일정한 높이 이상의 장애물을 검출한다. 상기 영상 처리부(500)는 바람직하게는 차량의 이동 경로에 있는 20cm 이상의 높이를 가져 차량과 접촉시 사고 위험이 있는 장애물을 검출한다. 상기 영상 처리부(500)는 장애물과의 충돌전 일정 시간동안 지속적으로 시각적 또는/및 청각적 경고를 한다. 예를 들면, 상기 영상 처리부(500)는 장애물과의 충돌전 10초전, 5초전, 3초전 및 1초전과 같은 시각적 또는/및 청각적 경고를 할 수 있다. 이때, 상기 영상 처리부(500)는 정보 융합 제어부(600)를 통하여 시각 정보 출력부(700)와 청각 정보 출력부(800)로 시각적 및 청각적 경고 정보를 전송할 수 있다.
상기 영상 처리부(500)는 영상 입력부(100)와 연결되며 영상 입력부(100)로부터 카메라 영상을 수신한다. 또한, 상기 영상 처리부(500)는 정보 저장부(200)와 연결되며, 영상 입력부(100)로부터 전송되는 카메라 영상을 정보 저장부(200)로 전송한다.
상기 영상 처리부(500)가 장애물을 검출하는 과정은 이하에서 구체적으로 설명한다.
상기 정보 융합 제어부(600)는 영상 처리부(500)와 시각 정보 출력부(700) 및 청각 정보 출력부(800)와 연결된다. 또한, 상기 정보 융합 제어부(600)는 이동 차량 이동 경로상에 존재하는 적어도 20cm의 높이를 갖는 물체 및 사물을 장애물로 판단하고, 이에 대한 경고 정보를 시각 정보 출력부(700)와 청각 정보 출력부(800)로 전송한다. 상기 정보 융합 제어부(600)는 경고 정보를 영상 처리부(500)로부터 전송받는다. 상기 정보 융합 제어부(600)는 장애물에 대한 정보를 수신하면 미리 설정되어 있는 경고 정보를 시각 정보 출력부(700)와 청각 정보 출력부(800)로 전송한다.
상기 시각 정보 출력부(700)는 정보 융합 제어부(600)로부터 전송되는 경고 영상을 포함하는 영상 신호를 출력한다. 상기 시각 정보 출력부(700)는 아날로그 또는 디지털 형식의 디스플레이 모듈로 형성되며, 영상 처리부(500)를 거친 영상 입력부(100)의 원 영상뿐만 아니라 정보 융합 제어부(600)로부터 전송되는 정보를 문자, 그림, 영상등의 시각 정보를 함께 표시한다.
상기 청각 정보 출력부(800)는 정보 융합 제어부(600)로부터 전송되는 경고음을 포함하는 신호에 대한 청각적 정보를 출력한다. 상기 청각 정보 출력부(800)는 스피커 모듈과 같은 모듈로 형성된다. 상기 청각 정보 출력부(800)는 정보 융합 제어부(600)의 제어 정보에 따라 가청 주파수에 해당하는 음성 또는 음향의 종류 및 크기를 변경하여 출력한다. 또한, 상기 청각 정보 출력부(800)는 GPS 정보, 가속도 정보 또는 기타 정보를 청각적으로 출력할 수 있다.
상기 음성 입력부(900)는 차량에 장착되어 있는 마이크 모듈로부터 음성을 수신한다. 상기 음성 입력부(900)는 마이크 모듈(20)과 전기적으로 연결되며 음성 신호를 수신한다.
상기 전원 공급부(1000)는 이동 차량의 장애물 검출 장치의 작동에 필요한 전원을 공급한다.
이하에서는 영상 처리부에 의하여 장애물을 검출하는 과정에 대하여 설명한다.
상기 영상 처리부(500)는 영상을 안정화하는 전처리(Pre-Processing) 과정과, 장애물을 검출하는 주처리(Main-Processing) 과정 및 충돌등의 위험을 경고하는 후처리 (Post-processing) 과정을 통하여 장애물을 검출하는 작용을 수행한다.
상기 전처리 과정은 이미지 프로세싱 과정을 통하여 진행된다. 상기 전처리 과정은 입력된 영상을 흑백의 영상으로 전환하는 영상 전환 단계와, 전환된 영상을 영상 처리부(500)의 연산 자원내에서 연산할 수 있도록 축소 또는 확대하는 영상 크기 변경 단계와, 변경된 크기의 영상을 적어도 2개 이상의 다양한 크기로 변경하는 다중 크기 영상 확장 단계로 이루어진다. 상기 전처리 과정은 오검출을 보완하기 위하여 영상내의 사물을 외곽선 기준(Edge image) 영상으로 재조합하는 영상 변환 단계를 포함할 수 있다. 또한, 상기 전처리 과정은 오검출을 보완하기 위해 외곽선 기준 적분 영상(Edge Integral Image) 생성 단계를 포함할 수 있다.
상기 주처리 과정은 전처리 과정을 거친 적어도 2 개의 영상들을 이용하여 진행되며, 바람직하게는 특성 관리(Feature Management) 단계 및 주요 영상 관리(Key Frame Management) 단계를 포함하여 이루어진다.
상기 특성 관리 단계는 전처리 과정을 거친 영상으로부터 각 외곽선의 코너를 검출하는 특성 검출(Feature Detection) 기능과 광학 영상 흐름(Optical Flow) 및 전후방향 추적(Forward & Backward tracking)을 수행하는 특성 추적(Feature tracking) 기능 및 추적 결과에 따라 오차가 큰 특성을 제거하거나 너무 인접한 특성들을 걸러내는 특성 필터(Feature Filtering) 기능이 순차적으로 진행되어 이루어질 수 있다.
또한, 상기 주요 영상 관리(Key Frame Management) 단계는 바닥면을 기준한 연속되는 적어도 두 프레임간의 차량 이동 동작 상태(Ego-motion)의 산출 및 누적과, 차량 이동 동작 상태를 통한 일정 거리의 움직임 발생시 해당 프레임을 주요 영상으로 지정하는 동작 예측(Motion Estimation) 기능과, 적어도 2개 이상의 주요 영상간 예측된 차량 이동 동작 상태를 기반으로 삼각화 기법(Tri-angulation) 적용을 통한 에피폴라 특성 추출과 에피폴라 제한을 통한 뎁쓰(Depth) 추정 오류 보완 및 각 특성별 뎁쓰 추정을 하는 삼각화기법(Tri-angulation) 기능과, 추정된 뎁쓰에 따라 특성들의 분별 집합(Feature Clustering) 및 분별 집합(Clustered Feature)의 개수와 크기에 따라 장애물 여부를 결정하는 장애물 검출(Obstacle Detection) 기능이 순차적으로 진행되어 이루어질 수 있다.
상기 후처리 과정은 주처리 과정에서 장애물로 분류된 분별 집합(Clustered Featrue)들의 바닥면(ground plane) 기반의 분포 거리를 추정하는 거리추정(Distance Estimation) 단계와, 거리별로 경로 레벨을 산출하고 시각적 또는/및 청각적 경보를 출력하는 경고 로직(Warning Logic) 단계를 포함하여 이루어진다.
이상에서 설명한 것은 본 발명에 의한 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치를 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
100; 영상 입력부 200: 정보 저장부
300: 지피에스 수신부 400: 가속도 센서
500: 영상 처리부 600: 정보 융합 제어부
700: 시각 정보 출력부 800: 청각 정부 출력부
900: 음성 입력부 1000: 전원 공급부

Claims (7)

  1. 차량의 전방에 장착되어 있는 영상 카메라의 영상을 수신하는 영상 입력부와,
    상기 영상 입력부로부터 전송되는 카메라 영상을 저장하는 정보 저장부와,
    상기 영상 입력부로부터 전송되는 적어도 두 장 이상의 연속된 영상을 처리하여 뎁쓰-맵을 생성하고, 상기 뎁쓰-맵을 이용하여 일정한 높이 이상의 장애물을 검출하는 영상 처리부와,
    상기 영상 처리부와 연결되며, 시각적 경고 정보와 청각적 경고 정보를 수신하는 정보 융합 제어부와,
    상기 정보 융합 제어부로부터 전송되는 경고 영상을 포함하는 영상 신호를 출력하는 시각 정보 출력부 및
    상기 정보 융합 제어부로부터 전송되는 경고음을 포함하는 신호에 대한 청각적 정보를 출력하는 청각 정보 출력부를 포함하며,
    상기 영상 처리부는 영상을 안정화하는 전처리 과정과, 상기 장애물을 검출하는 주처리 과정 및 충돌의 위험을 경고하는 후처리 과정을 통하여 장애물을 검출하도록 형성되며,
    상기 전처리 과정은 입력된 영상을 흑백의 영상으로 전환하는 영상 전환 단계와, 전환된 영상을 상기 영상 처리부의 연산 자원내에서 연산할 수 있도록 축소 또는 확대하는 영상 크기 변경 단계와, 변경된 크기의 영상을 적어도 2개 이상의 다양한 크기로 변경하는 다중 크기 영상 확장 단계를 포함하며,
    상기 주처리 과정은
    상기 전처리 과정을 거친 영상으로부터 각 외곽선의 코너를 검출하는 특성 검출 기능과, 광학 영상 흐름 및 전후 방향 추적을 수행하는 특성 추적 기능 및 추적 결과에 따라 오차가 큰 특성을 제거하거나 인접한 특성들을 걸러내는 특성 필터 기능이 순차적으로 진행되는 특성 관리 단계 및
    바닥면을 기준한 연속되는 적어도 두 프레임간의 차량 이동 동작 상태의 산출 및 누적과, 차량 이동 동작 상태를 통한 일정 거리의 움직임 발생시 해당 프레임을 주요 영상으로 지정하는 동작 예측 기능과, 적어도 2개 이상의 주요 영상간 예측된 차량 이동 동작 상태를 기반으로 삼각화 기법 적용을 통한 에피폴라 특성 추출과 에피폴라 제한을 통한 뎁쓰 추정 오류 보완 및 각 특성별 뎁쓰 추정을 하는 삼각화기법 기능과, 추정된 뎁쓰에 따라 특성들의 분별 집합 및 분별 집합의 개수와 크기에 따라 장애물 여부를 결정하는 장애물 검출 기능이 순차적으로 진행되는 주요 영상 관리 단계를 포함하여 이루어지는 것을 특징으로 하는 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치.
  2. 제 1 항에 있어서,
    상기 차량의 가속도를 측정하여 상기 차량의 급출발 또는 급정차 여부를 판단하는 가속도 센서 및
    지피에스를 이용하여 상기 차량의 위치 정보를 수신하는 지피에스 수신부를 더 포함하는 것을 특징으로 하는 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치.
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 전처리 과정은 오검출을 보완하기 위하여 영상내의 사물을 외곽선 기준 영상으로 재조합하는 영상 변환 단계 및 오검출을 보완하기 위해 외곽선 기준 적분 영상 생성 단계를 더 포함하여 이루어지는 것을 특징으로 하는 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 후처리 과정은 상기 주처리 과정에서 장애물로 분류된 분별 집합들의 바닥면 기반의 분포 거리를 추정하는 거리 추정 단계와, 거리별로 경로 레벨을 산출하고 시각적 또는 청각적 경보를 출력하는 경고 로직 단계를 포함하여 이루어지는 것을 특징으로 하는 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치.
KR1020160165005A 2016-12-06 2016-12-06 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치 Active KR102714691B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160165005A KR102714691B1 (ko) 2016-12-06 2016-12-06 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160165005A KR102714691B1 (ko) 2016-12-06 2016-12-06 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치

Publications (2)

Publication Number Publication Date
KR20180065048A KR20180065048A (ko) 2018-06-18
KR102714691B1 true KR102714691B1 (ko) 2024-10-10

Family

ID=62767846

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160165005A Active KR102714691B1 (ko) 2016-12-06 2016-12-06 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치

Country Status (1)

Country Link
KR (1) KR102714691B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109353336A (zh) * 2018-09-17 2019-02-19 钟祥博谦信息科技有限公司 车辆控制方法、装置与智能车
JP6696558B1 (ja) * 2018-12-26 2020-05-20 株式会社Ｊｖｃケンウッド 車両用記録制御装置、車両用記録装置、車両用記録制御方法およびプログラム
EP3730374A1 (en) 2019-04-26 2020-10-28 Tusimple, Inc. Auditory assistant module for autonomous vehicles
CN110723072B (zh) * 2019-10-09 2021-06-01 卓尔智联(武汉)研究院有限公司 辅助驾驶方法、装置、计算机设备和存储介质
CN112818932A (zh) * 2021-02-26 2021-05-18 北京车和家信息技术有限公司 图像处理方法、障碍物检测方法、装置、介质及车辆
EP4242986A1 (en) * 2022-03-10 2023-09-13 Tata Consultancy Services Limited Method and system to detect and estimate dynamic obstacles using rgbd sensors for robot navigation
CN114740867A (zh) * 2022-05-10 2022-07-12 丰疆智能(深圳)有限公司 基于双目视觉的智能避障方法、装置、机器人及介质
US20250189988A1 (en) * 2023-12-08 2025-06-12 The Regents Of The University Of Michigan Robust Control Strategy For Autonomous Robot Mobility With Offboard Positioning System

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011159278A (ja) 2009-11-19 2011-08-18 Robert Bosch Gmbh 後方視野用の複数機能カメラシステム
KR101260628B1 (ko) 2012-07-25 2013-05-03 이기윤 급발진 확인기능을 갖는 자동차용 블랙박스
JP2014032666A (ja) 2012-08-01 2014-02-20 Mitsubishi Electric Corp 周囲状況に対するカメラの姿勢を求めるための方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100915880B1 (ko) * 2007-12-24 2009-09-07 재단법인대구경북과학기술원 위치 추정 장치 및 추정 방법
KR101178508B1 (ko) * 2010-07-19 2012-09-07 포항공과대학교 산학협력단 차량 충돌 경보 시스템 및 방법
KR101453654B1 (ko) * 2013-02-19 2014-11-04 한국과학기술원 자동차 안전을 위한 노면 상태 인식 시스템 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011159278A (ja) 2009-11-19 2011-08-18 Robert Bosch Gmbh 後方視野用の複数機能カメラシステム
KR101260628B1 (ko) 2012-07-25 2013-05-03 이기윤 급발진 확인기능을 갖는 자동차용 블랙박스
JP2014032666A (ja) 2012-08-01 2014-02-20 Mitsubishi Electric Corp 周囲状況に対するカメラの姿勢を求めるための方法

Also Published As

Publication number Publication date
KR20180065048A (ko) 2018-06-18

Similar Documents

Publication Publication Date Title
KR102714691B1 (ko) 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치
CN111565978B (zh) 主预览区域和基于视线的驾驶员分心检测
EP2557550A1 (en) Vehicle periphery monitoring device, vehicle periphery monitoring method, and vehicle device
EP3258214B1 (en) Object detection device
Schulz et al. Pedestrian intention recognition using latent-dynamic conditional random fields
CN106611512B (zh) 前车起步的处理方法、装置和系统
KR101382873B1 (ko) 전방차량 충돌 경고 시스템 및 전방차량 충돌 경고 방법
CN108162858B (zh) 车载监控装置及其方法
KR20160137247A (ko) 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
KR20110067359A (ko) 차량 충돌 방지 장치 및 방법
KR20180058624A (ko) 차량에서의 돌발적으로 출현한 이동 객체를 탐지하는 방법 및 장치
KR20160135482A (ko) 동적 장애물 움직임 예측 장치 및 그 방법
CN110730966A (zh) 用于行人检测的系统和方法
KR20160088099A (ko) 차량의 충돌 회피 경로 설정 방법
Lim et al. Real-time forward collision warning system using nested Kalman filter for monocular camera
US20240127694A1 (en) Method for collision warning, electronic device, and storage medium
KR20180063524A (ko) 가상 차선을 이용한 전방 차량 위험도 감지 방법 및 장치
JP2015133078A (ja) 制御用対象物認識装置、移動体機器制御システム及び制御用対象物認識用プログラム
JP2009070344A (ja) 画像認識装置、画像認識方法および電子制御装置
KR101427032B1 (ko) 차량의 보행자 인식 장치 및 방법, 이를 이용한 차량의 보행자 충돌 경고 및 예방 장치 및 방법
US9365195B2 (en) Monitoring method of vehicle and automatic braking apparatus
Aytekin et al. Increasing driving safety with a multiple vehicle detection and tracking system using ongoing vehicle shadow information
WO2017208601A1 (ja) 画像処理装置、外界認識装置
KR102228387B1 (ko) 차량 제어 시스템 및 차량 제어 방법
KR101744196B1 (ko) 후방 감지 방법 및 그 장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20161206

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20211206

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20161206

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20231016

Patent event code: PE09021S01D

PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240702

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20241002

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20241002

End annual number: 3

Start annual number: 1

PG1601 Publication of registration