[go: up one dir, main page]

KR102625203B1 - 차량용 주행 보조 장치 및 차량용 주행 보조 장치의 제어방법 - Google Patents

차량용 주행 보조 장치 및 차량용 주행 보조 장치의 제어방법 Download PDF

Info

Publication number
KR102625203B1
KR102625203B1 KR1020180101583A KR20180101583A KR102625203B1 KR 102625203 B1 KR102625203 B1 KR 102625203B1 KR 1020180101583 A KR1020180101583 A KR 1020180101583A KR 20180101583 A KR20180101583 A KR 20180101583A KR 102625203 B1 KR102625203 B1 KR 102625203B1
Authority
KR
South Korea
Prior art keywords
vehicle
interest
information
steering
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020180101583A
Other languages
English (en)
Other versions
KR20200024651A (ko
Inventor
노승현
최성호
Original Assignee
에이치엘만도 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이치엘만도 주식회사 filed Critical 에이치엘만도 주식회사
Priority to KR1020180101583A priority Critical patent/KR102625203B1/ko
Priority to US16/281,840 priority patent/US10878266B2/en
Priority to CN201910170998.2A priority patent/CN110861578B/zh
Priority to US16/730,325 priority patent/US11100353B2/en
Publication of KR20200024651A publication Critical patent/KR20200024651A/ko
Application granted granted Critical
Publication of KR102625203B1 publication Critical patent/KR102625203B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

차량의 제동 정보 및 조향 정보 중 적어도 하나에 기초하여 전방 영상에 대한 관심 영역을 설정하고, 관심 영역의 영상으로부터 주행 보조 정보를 획득하는 차량용 주행 보조 장치 및 그 제어방법을 제공한다.
일 실시예에 따른 차량용 주행 보조 장치는, 차량의 전방을 촬영하여 전방 영상을 획득하는 영상 획득부; 상기 차량의 조향 방향 및 조향 각을 감지하여 조향 정보를 획득하는 조향 정보 획득부; 상기 차량의 제동 여부 및 제동 감속도를 감지하여 제동 정보를 획득하는 제동 정보 획득부; 및 상기 전방 영상 내에서 상기 조향 정보 및 상기 제동 정보 중 적어도 하나에 기초하여 관심 영역(Region Of Interest; ROI)을 설정하는 제어부;를 포함한다.

Description

차량용 주행 보조 장치 및 차량용 주행 보조 장치의 제어방법{DRIVING ASSISTANCE APPARATUS FOR VEHICLE AND CONTROLLING METHOD OF DRIVING ASSISTANCE APPARATUS FOR VEHICLE}
개시된 발명은 차량에 장착된 카메라를 이용하여 획득한 전방 영상에서 관심 영역(Region Of Interest; ROI)을 설정할 수 있는 차량용 주행 보조 장치 및 차량용 주행 보조 장치의 제어방법에 관한 것이다.
최근 들어 차량의 급격한 증가로 차량 간의 크고 작은 사고가 발생하고 있다. 이에 많은 차량들에 추돌 경고 시스템(Forward Collision Warning), 차선이탈 경고 시스템(LDWS, Lane Departure Warning System) 등이 채택되고 있다.
이러한 시스템은 카메라에서 수집된 영상을 수신 받아, 수신된 카메라 영상에서 필요한 관심 영역(Region Of Interest; ROI)을 설정하여 정보를 생성한다.
카메라의 성능이 향상됨에 따라 수집된 영상의 처리에 많은 시간이 소요될 수 있으며, 이에 따라 실시간으로 정보를 생성하지 못하는 경우가 발생할 수 있다.
또한, 차량의 주행 상태에 따라 관심 영역이 불필요한 영역으로 설정되어, 불필요한 영상 처리를 야기할 수 있으며, 차량의 안전에 위해가 되는 문제점이 발생할 수 있다.
이러한 문제점을 해결하기 위하여 차량의 주행 상태에 따라 관심 영역을 동적으로 조정할 필요성이 대두된다.
차량의 제동 정보 및 조향 정보 중 적어도 하나에 기초하여 전방 영상 내에서 관심 영역(Region Of Interest; ROI)을 설정하고, 관심 영역의 영상으로부터 주행 보조 정보를 획득하는 차량용 주행 보조 장치 및 차량용 주행 보조 장치의 제어방법을 제공한다.
일 실시예에 따른 차량용 주행 보조 장치는, 차량의 전방을 촬영하여 전방 영상을 획득하는 영상 획득부; 상기 차량의 조향 방향 및 조향 각을 감지하여 조향 정보를 획득하는 조향 정보 획득부; 상기 차량의 제동 여부 및 제동 감속도를 감지하여 제동 정보를 획득하는 제동 정보 획득부; 및 상기 전방 영상 내에서 상기 조향 정보 및 상기 제동 정보 중 적어도 하나에 기초하여 관심 영역(Region Of Interest; ROI)을 설정하는 제어부;를 포함한다.
상기 제어부는, 상기 전방 영상 내에서 상기 전방 영상의 중심점을 기준으로 일정 영역을 관심 영역으로 초기 설정하고, 상기 조향 정보 및 상기 제동 정보 중 적어도 하나에 기초하여 상기 관심 영역을 조정할 수 있다.
상기 제어부는, 상기 조향 정보에 기초하여 상기 차량의 조향 방향과 동일한 방향으로 상기 관심 영역의 위치를 이동시킬 수 있다.
상기 제어부는, 상기 조향 정보에 기초하여 상기 차량의 조향각에 비례하여 상기 관심 영역의 위치를 이동시킬 수 있다.
상기 제어부는, 상기 조향 정보에 기초하여 상기 차량의 조향 방향과 반대인 방향에서의 상기 관심 영역의 경계를 상기 차량의 조향 방향과 동일한 방향으로 이동시킴으로써 상기 관심 영역의 크기를 감소시킬 수 있다.
상기 제어부는, 상기 조향 정보에 기초하여 상기 차량의 조향각에 비례하여 상기 차량의 조향 방향과 반대인 방향에서의 상기 관심 영역의 경계를 상기 차량의 조향 방향과 동일한 방향으로 이동시킴으로써 상기 관심 영역의 크키를 감소시킬 수 있다.
상기 제어부는, 상기 제동 정보에 기초하여 상기 전방 영상의 중심점으로부터 상향으로 상기 관심 영역의 위치를 이동시킬 수 있다.
상기 제어부는, 상기 제동 정보에 기초하여 상기 차량의 제동 감속도에 비례하여 상기 전방 영상의 중심점으로부터 상향으로 상기 관심 영역의 위치를 이동시킬 수 있다.
상기 제어부는, 상기 관심 영역의 영상으로부터 주행 보조 정보를 획득할 수 있다.
상기 주행 보조 정보는, 차선 이탈 정보, 객체와의 거리 정보 및 상기 객체와의 추돌 위험 정보 중 적어도 하나일 수 있다.
일 실시예에 따른 차량용 주행 보조 장치의 제어방법은, 차량의 전방을 촬영하여 전방 영상을 획득하고; 상기 차량의 조향 방향 및 조향 각을 감지하여 조향 정보를 획득하고; 상기 차량의 제동 여부 및 제동 감속도를 감지하여 제동 정보를 획득하고; 상기 전방 영상 내에서 상기 전방 영상의 중심점을 기준으로 일정 영역을 관심 영역(Region Of Interest; ROI)으로 설정하고; 상기 전방 영상 내에서 상기 조향 정보 및 상기 제동 정보 중 적어도 하나에 기초하여 관심 영역(Region Of Interest; ROI)을 설정하는 것;을 포함할 수 있다.
상기 관심 영역을 설정하는 것은, 상기 전방 영상 내에서 상기 전방 영상의 중심점을 기준으로 일정 영역을 관심 영역으로 초기 설정하고; 상기 조향 정보 및 상기 제동 정보 중 적어도 하나에 기초하여 상기 관심 영역을 조정하는 것;을 포함할 수 있다.
상기 관심 영역을 설정하는 것은, 상기 조향 정보에 기초하여 상기 차량의 조향 방향과 동일한 방향으로 상기 관심 영역의 위치를 이동시키는 것;을 포함할 수 있다.
상기 관심 영역을 설정하는 것은, 상기 조향 정보에 기초하여 상기 차량의 조향각에 비례하여 상기 관심 영역의 위치를 이동시키는 것;을 포함할 수 있다.
상기 관심 영역을 설정하는 것은, 상기 조향 정보에 기초하여 상기 차량의 조향 방향과 반대인 방향에서의 상기 관심 영역의 경계를 상기 차량의 조향 방향과 동일한 방향으로 이동시킴으로써 상기 관심 영역의 크기를 감소시키는 것;을 포함할 수 있다.
상기 관심 영역을 조정하는 것은, 상기 조향 정보에 기초하여 상기 차량의 조향각에 비례하여 상기 차량의 조향 방향과 반대인 방향에서의 상기 관심 영역의 경계를 상기 차량의 조향 방향과 동일한 방향으로 이동시킴으로써 상기 관심 영역의 크키를 감소시키는 것;을 포함할 수 있다.
상기 관심 영역을 조정하는 것은, 상기 제동 정보에 기초하여 상기 전방 영상의 중심점으로부터 상향으로 상기 관심 영역의 위치를 이동시키는 것;을 포함할 수 있다.
상기 관심 영역을 조정하는 것은, 상기 제동 정보에 기초하여 상기 차량의 제동 감속도에 비례하여 상기 전방 영상의 중심점으로부터 상향으로 상기 관심 영역의 위치를 이동시키는 것;을 포함할 수 있다.
일 실시예에 따른 차량의 제어방법은, 상기 관심 영역의 영상으로부터 주행 보조 정보를 획득하는 것;을 더 포함할 수 있다.
상기 주행 보조 정보는, 차선 이탈 정보, 객체와의 거리 정보 및 상기 객체와의 추돌 위험 정보 중 적어도 하나일 수 있다.
일 측면에 따른 차량 및 차량의 제어방법에 의하면, 차량의 제동 정보 및 조향 정보 중 적어도 하나에 기초하여 전방 영상 내의 초기 설정된 관심 영역(Region Of Interest; ROI)을 조정함으로써, 유효한 관심 영역을 설정할 수 있으며, 관심 영역에 대한 영상 처리에 소요되는 시간을 줄일 수 있다.
도1은 일 실시예에 따른 차량의 외관도이다.
도2는 일 실시예에 따른 차량의 내부를 나타낸 도면이다.
도3은 일 실시예에 따른 차량의 제어 블럭도이다.
도4a 및 도 4b는 일 실시예에 따른 조향 정보에 기초하여 관심 영역을 조정하는 예시를 나타낸 도면이다.
도5a 및 도 5b는 일 실시예에 따른 조향 정보에 기초하여 관심 영역을 조정하는 예시를 나타낸 도면이다.
도 6a, 도6b 및 도 6c는 일 실시예에 따른 제동 정보에 기초하여 관심 영역을 조정하는 예시를 나타낸 도면이다.
도7은 일 실시예에 따른 차량의 제어 방법의 일 예시에 관한 순서도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
또한, "~부", "~기", "~블록", "~부재", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어, 상기 용어들은 FPGA (field-programmable gate array)/ ASIC (application specific integrated circuit) 등 적어도 하나의 하드웨어, 메모리에 저장된 적어도 하나의 소프트웨어 또는 프로세서에 의하여 처리되는 적어도 하나의 프로세스를 의미할 수 있다.
각 단계들에 붙여지는 부호는 각 단계들을 식별하기 위해 사용되는 것으로 이들 부호는 각 단계들 상호 간의 순서를 나타내는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하에서는 첨부된 도면을 참조하여 일 측면에 따른 차량 및 그 제어방법에 관한 실시예를 상세하게 설명하도록 한다.
도1은 일 실시예에 따른 차량의 외관도이며, 도2는 일 실시예에 따른 차량의 내부를 나타낸 도면이다.
도 1을 참조하면, 일 실시예에 따른 차량(100)은 차량(100)을 이동시키는 차륜(51, 52), 차량(100) 내부를 외부로부터 차폐시키는 도어(71), 운전자에게 차량(100) 전방의 시야를 제공하는 프런트 윈도우(30a), 운전자에게 차량(100) 후방의 시야를 제공하는 리어 윈도우(30b), 운전자에게 차량(100) 측면 후방의 시야를 제공하는 사이드 미러(81L, 81R)를 포함한다. 사이드 미러는 우측 후방의 시야를 제공하는 우측 사이드 미러(81R)와 좌측 후방의 시야를 제공하는 좌측 사이드 미러(81L)를 포함할 수 있다. 차량(100)의 내부에는 운전자에게 후방의 시야를 제공하는 룸미러(32)가 마련될 수 있다. 또한, 도어(71)의 상측에는 측면의 시야를 제공하는 측면 윈도우(30c)가 마련될 수 있다.
또한, 차량(100) 내부에 마련되는 구동 장치(60)는 차량(100)이 이동하도록 전륜(51) 또는 후륜(52)에 회전력을 제공한다.
차량(100)이 전륜 구동 방식인 경우에는 구동 장치(60)가 전륜(51)에 회전력을 제공하고, 후륜 구동 방식인 경우에는 후륜(52)에 회전력을 제공한다. 또한, 차량(100)이 사륜 구동 방식인 경우에는 전륜(51)과 후륜(52)에 모두 회전력을 제공할 수 있다.
이와 같은 구동 장치(60)는 화석 연료를 연소시켜 회전력을 생성하는 엔진 또는 축전기로부터 전원을 공급받아 회전력을 생성하는 모터를 채용할 수 있고, 엔진과 모터를 모두 구비하여 선택적으로 사용하는 하이브리드 방식을 채용하는 것도 가능하다.
이외에도 차량(100)은 차량 주변의 장애물 내지 다른 차량을 감지하는 근접 센서, 강수 여부 및 강수량을 감지하는 레인 센서, RPM을 감지하는 RPM 센서, GPS 신호를 수신하여 차량의 현재 위치를 감지하는 위치 센서, 차량의 운동 상태를 감지하는 속도 센서 등의 감지 장치를 포함할 수 있다.
룸미러(104)의 주변에는 차량(100)의 전방을 촬영하여 전방 영상을 획득하는 영상 획득부(210)가 마련될 수 있다. 영상 획득부(210)는 동영상을 촬영할 수도 있고, 주기적으로 정지영상을 촬영할 수도 있다.
도 1 및 도 2의 예시에서는 영상 획득부(210)가 룸미러(32) 측면에 장착되는 경우를 예로 들었으나, 차량(100)의 실시예가 이에 한정되는 것은 아니다. 도 1 및 도 2의 예시와 달리 차량(100)의 외부에 영상 획득부(210)가 장착되는 것도 가능하며, 예를 들어, 차량(100) 전면의 그릴 주위에 장착되거나 범퍼에 장착될 수 있다. 전방 영상, 특히 차량(100)에 앞서 주행하는 선행 차량 또는 보행자 등 차량(100)의 전방에 위치할 수 있는 객체를 촬영할 수 있는 위치이면 영상 획득부(210)가 장착될 수 있다.
또한, 영상 획득부(210)가 하나만 장착되어야 하는 것은 아니며, 더 넓은 뷰를 제공하기 위해 복수의 영상 획득부(210)가 장착되는 것도 가능하다. 또는, 영상 획득부(210)가 스테레오 카메라로 구현되어 전방 영상을 3차원적으로 제공하는 것도 가능하다.
도 2를 참조하면, 차량(100)의 내부에는, 운전석(72)과, 보조석(73)과, 대시 보드(31)와, 스티어링 힐(35)와 계기판(33)이 마련된다.
또한, 차량의 내부에는, 운전자의 가속 의지에 따라 운전자에 의해 가압되는 가속 페달(41)과, 운전자의 제동 의지에 따라 운전자에 의해 가압되는 제동 페달(42)을 포함할 수 있다.
대시 보드(31)는, 차량(100)의 실내와 엔진룸을 구획하고, 운전에 필요한 각종 부품이 설치되는 패널을 의미한다. 대시 보드(31)는 운전석(72) 및 보조석(73)의 전면 방향에 마련된다.
차량(100)의 도어(71)에는 스피커(250)가 설치될 수 있다. 다만, 스피커(250)가 차량(100)의 도어(71)에 마련된 것으로 도시되어 있으나, 스피커(250)가 마련되는 위치에는 제한이 없다.
대시 보드(31)의 상부 패널에는 디스플레이부(260)가 설치될 수 있다. 디스플레이부(260)는 차량(100)의 운전자나 동승자에게 화상으로 다양한 정보를 제공할 수 있다. 예를 들어 디스플레이부(260)는, 지도, 날씨, 뉴스, 각종 동영상이나 정지 화상, 차량(100)의 상태나 동작과 관련된 각종 정보, 일례로 공조 장치에 대한 정보 등 다양한 정보를 시각적으로 제공할 수 있다.
디스플레이부(260)는, 통상 사용되는 내비게이션 장치를 이용하여 구현될 수도 있다. 일 실시예에 따르면, 디스플레이(120)는 LCD(Liquid Crystal Display), LED(Light Emitting Diode), PDP(Plasma Display Panel), OLED(Organic Light Emitting Diode), CRT(Cathode Ray Tube) 등으로 구현될 수 있으나, 이에 제한되지 않는다.
디스플레이부(260)는, 대시 보드(210)와 일체형으로 형성된 하우징 내부에 설치되어, 디스플레이 패널만이 외부에 노출되도록 마련된 것일 수 있다. 이외에도 설계자가 고려할 수 있는 다양한 위치에 디스플레이부(260)가 설치될 수도 있다.
대시 보드(310)의 내측에는 프로세서, 통신 모듈, 위성 항법 장치 수신 모듈, 저장 장치 등과 같은 다양한 종류의 장치가 설치될 수 있다. 차량에 설치된 프로세서는 차량(100)에 설치된 각종 전자 장치를 제어하도록 마련된 것일 수 있으며, 후술하는 제어부(230)의 기능을 수행하기 위해 마련된 것일 수 있다. 상술한 장치들은 반도체칩, 스위치, 집적 회로, 저항기, 휘발성 또는 비휘발성 메모리 또는 인쇄 회로 기판 등과 같은 다양한 부품을 이용하여 구현될 수 있다.
한편, 센터 콘솔(37)에는 죠그 셔틀 타입 또는 하드 키 타입의 센터 입력부가 마련될 수 있다. 센터 콘솔(37)은 운전석(72)과 조수석(73) 사이에 위치하여 기어조작 레버(38)와 트레이(40)가 형성된 부분을 의미한다.
대시 보드(31)의 운전석 방향에는 스티어링 힐(35)과 계기판(33)이 마련된다.
스티어링 힐(35)은 운전자의 조작에 따라 소정의 방향으로 회전 가능하게 마련되고, 스티어링 힐(35)의 회전 방향에 따라서 차량(100)의 전륜(51) 또는 후륜(52)이 회전함으로써 차량(100)이 조향될 수 있다. 스티어링 휠(35)은 운전자의 편의를 위하여 원형의 형상을 가질 수 있으나, 스티어링 휠(35)의 형상은 이에 한정되지 않는다.
계기판(33)은 차량(100)의 속도나, 엔진 회전수나, 연료 잔량이나, 엔진 오일의 온도나, 방향 지시등의 점멸 여부나, 차량 이동 거리 등 차량에 관련된 각종 정보를 운전자에게 제공할 수 있도록 마련된다. 계기판(33)은 조명등이나 눈금판 등을 이용하여 구현될 수 있으며, 실시예에 따라서 디스플레이 패널을 이용하여 구현될 수도 있다. 계기판(33)이 디스플레이 패널을 이용하여 구현된 경우, 계기판(33)은 상술한 정보 이외에도 연비나, 차량(100)에 탑재된 각종 기능의 수행 여부 등과 같이 보다 다양한 정보를 표시하여 운전자에게 제공할 수 있다.
도3은 일 실시예에 따른 차량의 제어 블럭도이다. 이하, 전술한 차량(100)의 구성과 도 3의 제어 블록도를 함께 참조하여 일 실시예에 따른 차량(100)의 동작을 구체적으로 설명한다.
도3을 참조하면, 일 실시예에 따른 차량(100)은 차량(100)의 전방을 촬영하여 전방 영상을 획득하는 영상 획득부(210), 차량(100)의 제동 정보 및 조향 정보를 포함하는 주행 정보를 획득하는 주행 정보 획득부(220), 전방 영상 내에서 전방 영상의 중심점을 기준으로 일정 영역을 관심 영역(Region Of Interest; ROI)으로 초기 설정하고, 제동 정보 및 조향 정보 중 적어도 하나에 기초하여 초기 설정된 관심 영역을 조정하고, 조정된 관심 영역을 영상 처리하여 주행 보조 정보를 획득하는 제어부(230)를 포함한다.
차량(100)의 제동 정보는 차량(100)의 제동 여부 및 제동에 따른 차랑(100)의 제동 감속도를 나타낼 수 있으며, 차량(100)의 조향 정보는 차량(100)의 조향 방향 및 조향각을 나타낼 수 있다.
차량(100)의 주행 보조 정보는 차량(100)의 운전자의 주행을 보조하기 위한 정보로, 차량(100)의 차선 이탈 여부를 나타내는 차선 이탈 정보, 차량(100)의 전방에 위치하는 객체와 차량 사이의 거리 정보 및 차량(100)의 전방에 위치하는 객체와의 추돌 위험 정보 중 적어도 하나를 포함할 수 있으며, 이에 한정되는 것은 아니며, 차량(100)의 운전자의 주행을 보조할 수 있는 정보이면 제한 없이 포함될 수 있다.
영상 획득부(210)는 차량(100)의 전방 영상을 촬영하는 카메라 모듈을 포함하거나 차량(100)에 구비된 전방 카메라로부터 영상 데이터를 수신하는 모듈을 포함할 수 있다.
영상 획득부(210)는 차량(100)의 전방을 촬영하여 차량(100)의 전방에 위치할 수 있는 객체를 포함하는 전방 영상을 획득할 수 있으며, 획득한 전방 영상을 제어부(230)에 전달할 수 있다.
차량(100)의 전방에 위치할 수 있는 객체는 차량(100)의 전방에서 주행하는 선행 차량, 차량(100)의 전방에서 보행하는 보행자, 차량(100)의 전방에 위치할 수 있는 장애물 및 차량(100)의 주행 도로의 차선 등이 포함될 수 있으며, 이에 한정되는 것은 아니며, 차량(100)의 전방에 위치할 수 있는 것이면 제한 없이 포함될 수 있다.
일 실시예에 따른 차량(100)은 차량(100)의 전방에 위치하는 객체의 식별 및 주행 보조 정보의 획득을 신속하게 처리하기 위하여 전방 영역 내에서 관심 영역을 설정할 수 있다. 이 때, 관심 영역은 주행 정보 획득부(220)에 의해 획득된 차량의 주행 정보를 반영하여 조정될 수 있다.
주행 정보 획득부(220)는 차량(100)의 주행 정보를 획득할 수 있으며, 획득된 주행 정보를 제어부(230)에 전달할 수 있다.
주행 정보 획득부(220)가 획득하는 주행 정보는 차량(100)의 운동 상태를 나타내는 정보이다. 예를 들어, 주행 정보는 차량(100)의 물리적인 운동량, 충격량, 운동 방향, 운동 속도 등을 얻을 수 있는 소스 데이터일 수 있다. 구체적으로, 주행 정보는 차량(100)의 주행 속도, 주행 가속도, 주행 각속도, 조향 방향, 조향각, 제동 여부, 제동 감속도 등을 포함할 수 있으며, 이에 한정되는 것은 아니며, 차량(100)의 운동 상태를 나태는 정보이면 제한 없이 포함할 수 있다. 즉, 주행 정보는 차량(100)의 조향 정보 및 제동 정보를 포함할 수 있다.
구체적으로, 주행 정보 획득부(220)는 차량(100)의 조향 방향 및 조향 각을 감지하여 조향 정보를 획득하는 조향 정보 획득부(221)와, 차량(100)의 제동 여부 및 제동 감속도를 감지하여 제동 정보를 획득하는 제동 정보 획득부(222)를 포함할 수 있다.
주행 정보 획득부(220)는 주행 정보를 획득하기 위해 적어도 하나의 센서 모듈을 포함할 수 있다. 구체적으로, 주행 정보 획득부(220)는 차량(100)의 주행 속도를 감지하는 차속 센서, 차량(100)의 가속도를 감지하는 가속도 센서 및 가속 페달(41)의 위치를 감지하는 가속페달 센서, 차량(100)의 각속도를 감지하는 각속도 센서 등을 포함할 수 있다.
또한, 주행 정보 획득부(220)의 조향 정보 획득부(221)는 스티어링 휠(35)의 회전 방향 및 회전 각도를 감지하는 조향 휠 센서 및 차량(100)의 각속도를 감지하는 각속도 센서 등을 포함할 수 있으며, 이에 한정되는 것은 아니며, 차량(100)의 조향 방향 및 조향 각을 감지하여 조향 정보를 획득하는 구성이면 제한 없이 포함될 수 있다.
또한, 주행 정보 획득부(220)의 제동 정보 획득부(222)는 차량(100)의 제동 감속도를 감시하는 제동 감속도 센서 및 제동 페달(42)의 위치를 감지하는 제동 페달 센서 등을 포함할 수 있으며, 이에 한정되는 것은 아니며, 차량(100)의 제동 여부 및 제동 감속도를 감지하여 제동 정보를 획득하는 구성이면 제한 없이 포함될 수 있다.
관심 영역이 주행 정보를 반영하여 동적으로 설정되지 않고, 고정되어 있다면 정확한 객체 검출과 신속한 주행 보조 정보 획득을 수행할 수 없을 것이다. 일 실시예에 따른 제어부(230)는 주행 정보를 반영하여 관심 영역을 동적으로 설정할 수 있다. 구체적으로, 제어부(230)는 주행 정보에 포함된 조향 정보 및 제동 정보를 반영하여 관심 영역을 동적으로 설정할 수 있다. 이 때, 관심 영역은 전방 영상 내에서 위치 및 크기 중 적어도 하나가 조정될 수 있다.
제어부(230)는 영상 획득부(210)로부터 전방 영상을 전달받고, 주행 정보 획득부(220)로부터 조향 정보 및 제동 정보를 포함하는 주행 정보를 전달받을 수 있다. 일 실시예에 따른 제어부(230)는 전달받은 전방 영상 내에서 전방 영상의 중심점을 기준으로 일정 영역을 관심 영역으로 초기 설정하고, 전달받은 조향 정보 및 제동 정보 중 적어도 하나를 이용하여 초기 설정된 관심 영역을 조정할 수 있다. 또한, 일 실시예에 따른 제어부(230)는 전달받은 전방 영상 내에서 조향 정보 및 제동 정보 중 적어도 하나를 이용하여 관심 영역을 설정할 수 있다. 이와 관련된 자세한 내용은 후술한다.
제어부(230)는 관심 영역에 대한 영상을 영상 처리하여 주행 보조 정보를 획득할 수 있다. 차량(100)의 주행 보조 정보는 차량(100)의 운전자의 주행을 보조하기 위한 정보이다. 구체적으로, 제어부(230)는 추돌 경고 시스템(Forward Collision Warning), 차선이탈 경고 시스템(LDWS, Lane Departure Warning System)을 이용하여 차량(100)의 운전자의 주행을 보조할 수 있는 주행 보조 정보를 획득할 수 있다.
주행 보조 정보는 차량(100)의 차선 이탈 여부를 나타내는 차선 이탈 정보, 차량(100)의 전방에 위치하는 객체와 차량 사이의 거리 정보 및 차량(100)의 전방에 위치하는 객체와의 추돌 위험 정보 중 적어도 하나를 포함할 수 있다.
제어부(230)는 전술한 동작 및 후술하는 동작을 수행하는 프로그램이 저장된 적어도 하나의 메모리 및 저장된 프로그램을 실행시키는 적어도 하나의 프로세서를 포함할 수 있다. 메모리와 프로세서가 복수인 경우에, 이들이 하나의 칩에 집적되는 것도 가능하고, 물리적으로 분리된 위치에 마련되는 것도 가능하다.
또한, 일 실시예에 따른 차량(100)은 전방 영상, 주행 정보, 조정된 관심 영역 및 획득된 주행 보조 정보를 저장할 수 있는 저장부(240)를 포함할 수 있다.
저장부(240)는 각종 정보를 저장하기 위해 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다.
또한, 일 실시예에 따른 차량(100)은 획득된 주행 보조 정보를 운전자에게 제공하기 위해 획득된 주행 보조 정보를 출력하는 스피커(250)를 포함할 수 있다.
스피커(250)는 제어부(230)의 제어에 따라 주행 보조 정보를 출력할 수 있다. 구체적으로, 스피커(250)는 차량(100)의 차선 이탈 여부를 나타내는 차선 이탈 정보에 기초하여 차선 이탈을 알리는 경고음 또는 메시지를 출력할 수 있으며, 차량(100)의 전방에 위치하는 객체와 차량 사이의 거리 정보에 기초하여 거리 정보를 알리는 메시지를 출력할 수 있으며, 차량(100)의 전방에 위치하는 객체와의 추돌 위험 정보에 기초하여 추돌 위험을 알리는 경고음 또는 메시지를 출력할 수 있다.
또한, 일 실시예에 따른 차량(100)은 조정된 관심 영역 및 획득된 주행 보조 정보를 운전자에게 제공하기 위해 조정된 관심 영역 및 획득된 주행 보조 정보를 표시하는 디스플레이부(260)를 포함할 수 있다.
디스플레이부(260)는 제어부(230)의 제어에 따라 주행 보조 정보를 출력할 수 있다. 구체적으로, 디스플레이부(260)는 차량(100)의 차선 이탈 여부를 나타내는 차선 이탈 정보에 기초하여 차선 이탈을 알리는 경고 메시지를 표시할 수 있으며, 차량(100)의 전방에 위치하는 객체와 차량 사이의 거리 정보에 기초하여 거리 정보를 알리는 메시지를 표시할 수 있으며, 차량(100)의 전방에 위치하는 객체와의 추돌 위험 정보에 기초하여 추돌 위험을 알리는 경고 메시지를 출력할 수 있다.
또한, 디스플레이부(260)는 제어부(230)의 제어에 따라 조정된 관심 영역을 표시할 수 있으며, 영상 획득부(210)에 의해 획득된 전방 영상을 표시할 수 있다.
도4a 및 도 4b는 일 실시예에 따른 조향 정보에 기초하여 관심 영역을 조정하는 예시를 나타낸 도면이다.
도4a를 참조하면, 영상 획득부(210)는 차량(100)의 전방을 촬영하여 전방 영상(400)을 획득한다. 영상 획득부(210)는 획득된 전방 영상(400)을 제어부(230)으로 전달한다.
제어부(230)는 영상 획득부(210)로부터 전방 영상(400)을 획득하고, 획득된 전방 영상(400) 내에서 일정 영역을 관심 영역(410)으로 초기 설정한다. 초기 설정된 관심 영역(410)은 전방 영상(400) 내에서 전방 영상(400)의 중심점을 기준으로 일정 영역으로 설정될 수 있다.
초기 설정된 관심 영역(410)은 차량(100)의 주행에 영향을 줄 수 있는 전방의 객체를 식별할 수 있는 크기로 설정될 수 있다. 예를 들어, 초기 설정된 관심 영역(410)의 좌우 폭은 차량(100)이 주행하고 있는 차선을 기준으로 설정될 수 있으며, 초기 설정된 관심 영역(410)의 상하 폭은 도로의 소실점을 기준으로 설정될 수 있다.
도 4b를 참조하면, 일 실시예에 따른 제어부(230)는 차량(100)의 조향 정보에 기초하여 초기 설정된 관심 영역(410)을 조정할 수 있다. 구체적으로, 제어부(230)는 차량(100)의 조향 방향 및 조향각을 고려하여 초기 설정된 관심 영역(410)을 조정할 수 있다.
일 실시예에 따른 제어부(230)는 주행 정보 획득부(220)로부터 전달받은 조향 정보에 기초하여 차량(100)의 조향 방향을 판단할 수 있다. 구체적으로, 제어부(210)는 조향 정보에 기초하여 차량(100)이 좌측 또는 우측으로 조향되었는지 여부를 판단할 수 있다. 이하, 차량(100)의 운전자가 스티어링 휠(35)을 우측으로 조작하여 차량(100)이 우측으로 조향되는 경우를 살펴본다.
차량(100)의 운전자가 스티어링 휠(35)을 우측으로 조작하는 경우, 차량(100)의 전륜(51)이 회전하여 차량(100)이 우측으로 조향될 수 있다. 이 경우, 차량(100)의 이동 경로(450)는 직선이 아닌 우측으로 휘어진 곡선을 이룰 수 있다.
차량(100)이 운전자의 스티어링 휠(35) 조작으로 우측으로 조향될 경우, 차량(100)이 향하는 이동 경로(450)에 위치한 객체를 감지할 필요성이 있다. 따라서, 일 실시예에 따른 제어부(230)는 차량(100)의 조향 방향을 반영하여 전방 영상(400)의 중심점으로부터 조향 방향과 동일한 “‡향으로 초기 설정된 관심 영역(410)의 위치를 이동시켜 초기 설정된 관심 영역(410)을 조정할 수 있다.
조정된 관심 영역(420)은 차량(100)이 전방 영상(400)의 중심점으로부터 조향 방향과 동일한 “‡향으로 이동하여 차량(100)의 조향 방향에 위치한 객체가 포함된 영역을 포함할 수 있다.
또한, 일 실시예에 따른 제어부(230)는 주행 정보 획득부(220)로부터 전달받은 조향 정보에 기초하여 차량(100)의 조향각을 판단할 수 있으며, 조향각에 비례하여 전방 영상(400)의 중심점으로부터 조향 방향과 동일한 “‡향으로 초기 설정된 관심 영역(410)의 위치를 이동시켜 초기 설정된 관심 영역(410)을 조정할 수 있다.
초기 설정된 관심 영역(410)의 위치 조정을 통해, 차량(100)은 필요한 영역을 관심 영역으로 선정할 수 있으며, 차량(100)의 주행에 필요한 주행 보조 정보를 획득할 수 있다.
또한, 일 실시예에 따른 제어부(230)는 주행 정보 획득부(220)로부터 전달받은 조향 정보에 기초하여 조정된 관심 영역(420)을 설정할 수 있다. 구체적으로, 제어부(230)는 관심 영역을 초기 설정하지 않고, 조향 정보에 기초하여 전방 영상의 중심점으로부터 조향 방향과 동일한 방향으로 관심 영역의 위치를 이동시켜 조정된 관심 영역(420)을 설정할 수 있다. 제어부(230)는 주행 정보 획득부(220)로부터 전달받은 조향 정보에 기초하여 차량(100)의 조향각을 판단할 수 있으며, 조향각에 비례하여 전방 영상(400)의 중심점으로부터 조향 방향과 동일한 “‡향으로 관심 영역의 위치를 이동시켜 조정된 관심 영역(420)을 설정할 수 있다.
도5a 및 도 5b는 일 실시예에 따른 조향 정보에 기초하여 관심 영역을 조정하는 예시를 나타낸 도면이다.
도 5a를 참조하면, 제어부(230)는 영상 획득부(210)로부터 전방 영상(400)을 획득하고, 획득된 전방 영상(400) 내에서 일정 영역을 관심 영역(410)으로 초기 설정한다. 초기 설정된 관심 영역(410)은 전방 영상(400) 내에서 전방 영상(400)의 중심점을 기준으로 일정 영역으로 설정될 수 있다.
초기 설정된 관심 영역(410)은 차량(100)의 주행에 영향을 줄 수 있는 차량(100)의 전방의 객체를 식별할 수 있는 크기로 설정될 수 있다. 예를 들어, 관심 영역의 좌우 폭은 차량(100)이 주행하고 있는 차선(510)을 기준으로 설정될 수 있으며, 관심 영역의 상하 폭은 도로의 소실점(520)을 기준으로 설정될 수 있다.
소실점(520)은 도로가 전방 영상(400)에서 사라지는 지점으로, 영상 획득부(210)가 확보한 시야에서 나타나는 도로의 끝부분에 해당할 수 있다. 일 실시예에 따른 제어부(230)는 소실점(520)을 결정하기 위해 전방 영상(400)을 캐니 에지(Canny-edge)로 변환하고, 변환된 전방 영상(400)에서 허프 변환(Hough transform)을 이용하여 직선 성분(500)을 획득할 수 있다. 제어부(230)는 허프 변환을 이용하여 획득한 직선 성분(500)이 모이는 점을 소실점(520)으로 설정할 수 있다. 또한, 제어부(230)는 소실점(520)이 영상에서 위치하는 좌표의 세로 값을 영상의 지평선(530)으로 설정할 수 있다. 다만, 도 5a에 도시된 바와 같이, 소실점(520)은 도로의 꺾인 정도에 따라 실제 도로가 전방 영상(400)에서 사라지는 지점과 일치하지 않을 수 있다.
차량(100)의 전방에 위치할 수 있는 객체는 소실점(520)에서 하부 방향으로 일정 범위 안에서만 나타날 수 있다. 이는 차량(100)이 도로 안에서 이동하므로, 전방 영상(400)에서 도로가 끝나거나 사라지는 지점을 기준으로 하부 방향의 일정범위 안에서만 차량(100)의 전방에 위치할 수 있는 객체가 나타나기 때문이다.
일 실시예에 따른 제어부(230)는 이와 같은 점을 이용하여 전방 영상(400) 내에서 소실점(520)을 기준으로 관심 영역의 상하 폭을 결정할 수 있다. 구체적으로, 도 5a에 도시된 바와 같이, 일 실시예에 따른 제어부(230)는 전방 영상(400) 내에서 전방 영상(400)의 중심점을 기준으로 소실점(520)으로부터 하부 방향으로 일정 간격에 해당하는 영역을 포함하도록 상하 폭을 조절하여 관심 영역을 초기 설정할 수 있다. 초기 설정된 관심 영역(410)은 전방 영상(400) 내에서 차량(100)의 전방에 위치하는 객체가 포함된 영역을 포함할 수 있다. 예를 들어, 초기 설정된 관심 영역(410)은 전방 영상(400) 내에서 차량(100)의 전방에 위치하는 선행 차량(540)가 포함된 영역을 포함할 수 있다.
또한, 일 실시예에 따른 제어부(230)는 전방 영상(400) 내에서 전방 영상(400)의 중심점을 기준으로 소실점(520)으로부터 상부 방향으로 일정 간격에 해당하는 영역 및 전방 영상(400) 내에서 전방 영상(400)의 중심점을 기준으로 소실점(520)으로부터 하부 방향으로 일정 간격에 해당하는 영역을 모두 포함하도록 상하 폭을 조절하여 관심 영역을 초기 설정할 수 있다. 이 때, 소실점(520)으로부터 상부 방향으로 일정 간격에 해당하는 영역은 소실점(520)으로부터 하부 방향으로 일정 간격에 해당하는 영역에 비해 좁게 설정될 수 있다.
도 5b를 참조하면, 일 실시예에 따른 제어부(230)는 조향 정보에 기초하여 초기 설정된 관심 영역(410)을 조정할 수 있다. 구체적으로, 일 실시예에 따른 제어부(230)는 조향 정보에 기초하여 초기 설정된 관심 영역(410)의 크기가 감소하도록 초기 설정된 관심 영역(410)을 조정할 수 있다. 이를 통해, 제어부(230)는 초기 설정된 관심 영역(410)에 비해 크기가 감소된 관심 영역(420)만을 영상 처리함으로써, 영상 처리의 처리량을 줄여 보다 빠르게 영상 처리를 수행하면서도 유효한 정보를 획득할 수 있다.
일 실시예에 따른 제어부(230)는 주행 정보 획득부(220)로부터 전달받은 조향 정보에 기초하여 차량(100)의 조향 방향을 판단할 수 있다. 구체적으로, 제어부(210)는 조향 정보에 기초하여 차량(100)이 좌측 또는 우측으로 조향되었는지 여부를 판단할 수 있다. 이하, 차량(100)의 운전자가 스티어링 휠(35)을 우측으로 조작하여 차량(100)이 우측으로 조향되는 경우를 살펴본다.
차량(100)의 운전자가 스티어링 휠(35)을 우측으로 조작하는 경우, 차량(100)의 전륜(51)이 회전하여 차량(100)이 우측으로 조향될 수 있다. 도 5b에 도시된 바와 같이, 차선(510)이 우측으로 휘어진 곡선을 이루는 경우, 운전자는 스티어링 휠(35)을 우측으로 조작할 수 있다.
차량(100)이 운전자의 스티어링 휠(35) 조작으로 우측으로 조향될 경우, 초기 설정된 관심 영역(410)에서 좌측의 일부 영역은 처리되지 아니하여도 차량(100)의 주행 보조 정보를 생성하는데 영향을 미치지 않을 수 있다. 주행 보조 정보는 차량(100)의 주행 경로 상에 위치할 수 있는 객체에 대한 정보이므로, 초기 설정된 관심 영역(410)에서 차량(100)의 조향 방향과 반대인 방향의 일부 영역에 대한 처리는 불필요할 수 있다.
따라서, 일 실시예에 따른 제어부(230)는 차량(100)의 조향 방향을 반영하여 초기 설정된 관심 영역(410) 중 불필요한 일부 영역을 배제하도록 초기 설정된 관심 영역(410)의 크기를 조정함으로써 영상 처리의 처리량을 줄여 보다 빠르게 영상 처리를 수행하면서도 유효한 정보를 획득할 수 있다.
구체적으로, 일 실시예에 따른 제어부(230)는 조향 정보에 기초하여 차량(100)의 조향 방향을 판단할 수 있으며, 차량(100)의 조향 방향과 반대인 방향에서의 초기 설정된 관심 영역(410)의 경계를 차량(100)의 조향 방향과 동일한 방향으로 이동시켜 초기 설정된 관심 영역(410)의 크기가 감소하도록 초기 설정된 관심 영역(410)을 조정할 수 있다.
예를 들어, 도 5b를 참조하면, 제어부(230)는 조향 정보에 기초하여 차량(100)이 우측으로 조향되는 것을 판단할 수 있으며, 차량(100)의 조향 방향과 반대인 좌측 방향에서의 초기 설정된 관심 영역(410)의 경계를 차량(100)의 조향 방향과 동일한 우측 방향으로 이동시켜 초기 설정된 관심 영역(410)의 크기가 감소하도록 초기 설정된 관심 영역(410)을 조정할 수 있다.
조정된 관심 영역(420)의 좌측 방향의 경계는 초기 설정된 관심 영역(410)에 비해 우측 방향으로 이동하여, 초기 설정된 관심 영역(410) 중 좌측 방향의 일부 영역이 배제되었으며, 조정된 관심 영역(420)은 초기 설정된 관심 영역(410)에 비해 크기가 감소하였다.
또한, 일 실시예에 따른 제어부(230)는 주행 정보 획득부(220)로부터 전달받은 조향 정보에 기초하여 차량(100)의 조향각을 판단할 수 있으며, 조향각에 비례하여 차량(100)의 조향 방향과 반대인 방향에서의 초기 설정된 관심 영역(410)의 경계를 차량(100)의 조향 방향과 동일한 방향으로 이동시켜 초기 설정된 관심 영역(410)의 크키가 감소하도록 초기 설정된 관심 영역(410)을 조정할 수 있다.
또한, 일 실시예에 따른 제어부(230)는 주행 정보 획득부(220)로부터 전달받은 조향 정보에 기초하여 조정된 관심 영역(420)을 설정할 수 있다. 구체적으로, 제어부(230)는 관심 영역을 초기 설정하지 않고, 조향 정보에 기초하여 기 설정된 관심 영역의 크기를 감소시켜 조정된 관심 영역(420)을 설정할 수 있다. 이 때, 조정된 관심 영역(420)에서 감소된 부분은 조향 방향과 반대 방향에 해당하는 부분일 수 있다. 제어부(230)는 주행 정보 획득부(220)로부터 전달받은 조향 정보에 기초하여 차량(100)의 조향각을 판단할 수 있으며, 조향각에 비례하여 기 설정된 관심 영역의 크기를 감소시켜 조정된 관심 영역(420)을 설정할 수 있다.
도 6a, 도6b 및 도 6c는 일 실시예에 따른 제동 정보에 기초하여 관심 영역을 조정하는 예시를 나타낸 도면이다.
제어부(230)는 영상 획득부(210)로부터 전방 영상(400)을 획득하고, 획득된 전방 영상(400) 내에서 일정 영역을 관심 영역(410)으로 초기 설정한다. 초기 설정된 관심 영역(410)은 전방 영상(400) 내에서 전방 영상(400)의 중심점을 기준으로 일정 영역으로 설정될 수 있다.
도6a를 참조하면, 일 실시예에 따른 차량(100)이 제동하는 경우, 차량(100)의 영상 획득부(210)가 획득하는 전방 영상(400)은 차량(100)이 제동하지 않는 경우에 획득한 도 5a의 전방 영상(400)에 비해 전체적으로 아래 방향을 향하여 촬영된다.
차량(100)은 운전자가 제동 페달(42)을 가압하는 경우, 차량(100)의 휠 실린더에 마련된 제동 모듈의 동작에 의해 제동된다. 차량(100)이 제동하는 경우, 차량(100)의 차체는 관성에 의해 지면과 수평한 면을 기준으로 주행 방향으로 기울어질 수 있다. 즉, 차량(100)의 차체는 전륜(51) 근방의 차체가 지면 방향을 향하고, 차량(100)의 후륜(52) 근방의 차체가 지면과 반대 방향을 향하도록 기울어진다.
차량(100)이 제동하는 경우, 차량(100)의 차체가 관성에 의해 지면과 수평한 면을 기준으로 주행 방향으로 기울어짐에 따라, 차량(100)에 설치된 영상 획득부(210)는 차량(100)의 차체와 함께 기울어질 수 있다.
이 때, 영상 획득부(210)는 지면과 수평한 면을 기준으로 주행 방향으로 기울어짐에 따라, 차량(100)이 제동하지 않는 경우에 획득한 도 5a의 전방 영상(400)에 비해 전체적으로 아래 방향을 향하여 촬영된 전방 영상(400)을 획득할 수 있다.
구체적으로, 도 6a를 참조하면, 차량(100)이 제동하는 경우, 영상 획득부(210)가 획득한 전방 영상(400) 내에서의 차선(510), 소실점(520), 지평선(530) 및 선행 차량(540)이 차량(100)이 제동하지 않는 경우에 획득한 도 5a의 전방 영상(400) 내에서의 차선(510), 소실점(520), 지평선(530) 및 선행 차량(540)에 비해 위로 이동되어 있다. 이는 차량(100)이 제동하는 경우, 차량(100)의 차체와 함께 영상 획득부(210)가 기울어짐에 따라 제동하지 않는 경우에 비해 아래 방향을 향하여 촬영된 전방 영상(400)을 획득하기 때문이다.
이에 따라, 차량(100)이 제동하는 경우, 전방 영상(400) 내의 초기 설정 관심 영역(410)은 소실점(520)으로부터 멀어지게 되어 차량(100)의 주행에 영향을 줄 수 있는 전방의 객체가 포함된 영역을 포함하지 못할 수 있다.
일 실시예에 따른 제어부(230)는 차량(100)이 제동하는 경우, 전방 영상(400)의 중심점으로부터 상향으로 초기 설정된 관심 영역(410)의 위치를 이동시켜 초기 설정된 관심 영역(410)을 조정할 수 있다.
구체적으로, 도 6b를 참조하면, 일 실시예에 따른 제어부(230)는 주행 정보 획득부(220)에서 전달받은 제동 정보에 기초하여 차량(100)의 제동 여부를 판단할 수 있다.
일 실시예에 따른 제어부(230)는 차량(100)이 제동하는 경우, 전방 영상(400)의 중심점으로부터 상향으로 초기 설정된 관심 영역(410)의 위치를 이동시켜 초기 설정된 관심 영역(410)을 조정할 수 있다.
또한, 일 실시예에 따른 제어부(230)는 주행 정보 획득부(220)에서 전달받은 제동 정보에 기초하여 차량(100)의 제동 감속도를 판단하고, 제동 감속도에 비례하여 전방 영상(400)의 중심점으로부터 상향으로 초기 설정된 관심 영역(410)의 위치를 이동시켜 관심 영역을 조정할 수 있다.
조정된 관심 영역(420)은 초기 설정된 관심 영역(410)에 비해 상향으로 이동하여, 차량(100)의 주행에 영향을 줄 수 있는 전방의 객체가 포함된 영역을 포함할 수 있다. 구체적으로, 도 6b를 참조하면, 조정된 관심 영역(420)은 초기 설정된 관심 영역(410)과 달리 차량(100)의 주행에 영향을 줄 수 있는 전방의 선행 차량(540)이 포함된 영역을 포함할 수 있다.
초기 설정된 관심 영역(410)의 위치 조정을 통해, 차량(100)은 필요한 영역을 관심 영역으로 선정할 수 있으며, 차량(100)의 주행에 필요한 주행 보조 정보를 획득할 수 있다.
또한, 일 실시예에 따른 제어부(230)는 주행 정보 획득부(220)로부터 전달받은 제동 정보에 기초하여 조정된 관심 영역(420)을 설정할 수 있다. 구체적으로, 제어부(230)는 관심 영역을 초기 설정하지 않고, 제동 정보에 기초하여 전방 영상의 중심점으로부터 상향으로 관심 영역의 위치를 이동시켜 조정된 관심 영역(420)을 설정할 수 있다.
도 6c를 참조하면, 일 실시예에 따른 제어부(230)는 주행 정보 획득부(220)에서 전달받은 제동 정보 및 조향 정보 모두를 고려하여, 초기 설정된 관심 영역(410)의 위치 및 크기를 조정할 수 있다.
도 6c를 참조하면, 일 실시예에 따른 제어부(230)는 주행 정보 획득부(220)에서 전달받은 제동 정보 및 조향 정보에 기초하여 차량(100)의 제동 여부 및 차량(100)의 조향 방향을 판단하고, 차량(100)이 제동하는 경우, 전방 영상(400)의 중심점으로부터 상향으로 초기 설정된 관심 영역(410)의 위치를 이동시키고, 차량(100)의 조향 방향과 반대인 방향에서의 초기 설정된 관심 영역(410)의 경계를 차량(100)의 조향 방향과 동일한 방향으로 이동시켜 초기 설정된 관심 영역(410)의 크기가 감소하도록 초기 설정된 관심 영역(410)을 조정할 수 있다.
또한, 일 실시예에 따른 제어부(230)는 주행 정보 획득부(220)로부터 전달받은 조향 정보 및 제동 정보에 기초하여 차량(100)의 조향각 및 제동 감속도를 판단할 수 있으며, 조향각 및 제동 감속도에 비례하여 초기 설정된 관심 영역(410)의 크기 및 위치를 조정할 수 있다.
또한, 일 실시예에 따른 제어부(230)는 주행 정보 획득부(220)에서 전달받은 제동 정보 및 조향 정보에 기초하여 차량(100)의 제동 여부 및 차량(100)의 조향 방향을 판단하고, 차량(100)이 제동하는 경우, 전방 영상(400)의 중심점으로부터 상향으로 초기 설정된 관심 영역(410)의 위치를 이동시키고, 전방 영상(400)의 중심점으로부터 조향 방향과 동일한 방향으로 초기 설정된 관심 영역(410)의 위치를 이동시켜 초기 설정된 관심 영역(410)을 조정할 수 있다.
또한, 일 실시예에 따른 제어부(230)는 주행 정보 획득부(220)로부터 전달받은 조향 정보 및 제동 정보에 기초하여 조정된 관심 영역(420)을 설정할 수 있다. 구체적으로, 제어부(230)는 관심 영역을 초기 설정하지 않고, 제동 정보에 기초하여 전방 영상의 중심점으로부터 상향으로 관심 영역의 위치를 이동시키고, 조향 정보에 기초하여 기 설정된 관심 영역의 크기를 감소시켜 조정된 관심 영역(420)을 설정할 수 있다. 이 때, 조정된 관심 영역(420)에서 감소된 부분은 조향 방향과 반대 방향에 해당하는 부분일 수 있다.
또한, 일 실시예에 따른 제어부(230)는 주행 정보 획득부(220)로부터 전달받은 조향 정보 및 제동 정보에 기초하여 조정된 관심 영역(420)을 설정할 수 있다. 구체적으로, 제어부(230)는 관심 영역을 초기 설정하지 않고, 제동 정보에 기초하여 전방 영상의 중심점으로부터 상향으로 관심 영역의 위치를 이동시키고, 전방 영상(400)의 중심점으로부터 조향 방향과 동일한 방향으로 초기 설정된 관심 영역(410)의 위치를 이동시켜 조정된 관심 영역(420)을 설정할 수 있다.
이하, 일 측면에 따른 차량의 제어 방법에 관한 실시예를 설명하기로 한다. 차량의 제어 방법에는 전술한 실시예에 따른 차량(100)이 사용될 수 있다. 따라서, 앞서 도 1 내지 도 6c를 참조하여 설명한 내용은 차량의 제어 방법에도 동일하게 적용될 수 있다.
도7은 일 실시예에 따른 차량의 제어 방법의 일 예시에 관한 순서도이다.
도7을 참조하면, 차량(100)의 제어부(230)는 전방 영상(400) 및 주행 정보를 수신한다(710). 구체적으로, 제어부(230)는 차량(100)의 전방을 촬영하여 전방 영상(400)을 획득하는 영상 획득부(210)로부터 전방 영상(400)을 수신한다. 또한, 제어부(230)는 차량(100)의 제동 정보 및 조향 정보를 포함하는 주행 정보를 획득하는 주행 정보 획득부(220)로부터 주행 정보를 수신한다.
차량(100)의 제어부(230)는 전방 영상(400) 내에서 전방 영상(400)의 중심점을 기준으로 일정 영역을 관심 영역으로 초기 설정한다(720). 초기 설정된 관심 영역(410)은 차량(100)의 주행에 영향을 줄 수 있는 전방의 객체를 식별할 수 있는 크기로 설정될 수 있다. 예를 들어, 초기 설정된 관심 영역(410)의 좌우 폭은 차량(100)이 주행하고 있는 차선을 기준으로 설정될 수 있으며, 초기 설정된 관심 영역(410)의 상하 폭은 도로의 소실점을 기준으로 설정될 수 있다.
차량(100)의 제어부(230)는 제동 정보 및 조향 정보 중 적어도 하나에 기초하여 관심 영역을 조정한다(730). 구체적으로, 제어부(230)는 제동 정도 및 조향 정보 중 적어도 하나에 기초하여 초기 설정된 관심 영역(410)을 조정하여 조정된 관심 영역(420)을 획득한다.
일 실시예에 따른 제어부(230)는 조향 정보에 기초하여 차량(100)의 조향 방향을 판단하고, 전방 영상(400)의 중심점으로부터 조향 방향과 동일한 방향으로 초기 설정된 관심 영역(410)의 위치를 이동시켜 초기 설정된 관심 영역(410)을 조정할 수 있다. 또한. 제어부(230)는 조향 정보에 기초하여 차량(100)의 조향각을 판단하고, 조향각에 비례하여 초기 설정된 관심 영역(410)의 위치를 이동시킬 수 있다.
일 실시예에 따른 제어부(230)는 조향 정보에 기초하여 차량(100)의 조향 방향을 판단하고, 차량(100)의 조향 방향과 반대인 방향에서의 초기 설정된 관심 영역(410)의 경계를 차량(100)의 조향 방향과 동일한 방향으로 이동시켜 초기 설정된 관심 영역(410)의 크기가 감소하도록 초기 설정된 관심 영역(410)을 조정할 수 있다. 또한, 제어부(230)는 조향 정보에 기초하여 차량(100)의 조향각을 판단하고, 조향각에 비례하여 초기 설정된 관심 영역(410)의 크키가 감소하도록 초기 설정된 관심 영역(410)을 조정할 수 있다.
일 실시예에 따른 제어부(230)는 제동 정보에 기초하여 차량(100)의 제동 여부를 판단하고, 차량(100)이 제동하는 경우, 전방 영상(410)의 중심점으로부터 상향으로 초기 설정된 관심 영역(410)의 위치를 이동시켜 초기 설정된 관심 영역(410)을 조정할 수 있다. 또한, 제어부(230)는 제동 정보에 기초하여 차량의 제동 감속도를 판단하고, 제동 감속도에 비례하여 초기 설정된 관심 영역(410)의 위치를 이동시켜 초기 설정된 관심 영역(410)을 조정할 수 있다.
일 실시예에 따른 제어부(230)는 주행 정보 획득부(220)에서 전달받은 제동 정보 및 조향 정보 모두를 고려하여, 초기 설정된 관심 영역(410)의 위치 및 크기를 조정할 수 있다.
일 실시예에 따른 제어부(230)는 주행 정보 획득부(220)에서 전달받은 제동 정보 및 조향 정보에 기초하여 차량(100)의 제동 여부 및 차량(100)의 조향 방향을 판단하고, 차량(100)이 제동하는 경우, 전방 영상(400)의 중심점으로부터 상향으로 초기 설정된 관심 영역(410)의 위치를 이동시키고, 차량(100)의 조향 방향과 반대인 방향에서의 초기 설정된 관심 영역(410)의 경계를 차량(100)의 조향 방향과 동일한 방향으로 이동시켜 초기 설정된 관심 영역(410)의 크기가 감소하도록 초기 설정된 관심 영역(410)을 조정할 수 있다.
일 실시예에 따른 제어부(230)는 주행 정보 획득부(220)로부터 전달받은 조향 정보 및 제동 정보에 기초하여 차량(100)의 조향각 및 제동 감속도를 판단할 수 있으며, 조향각 및 제동 감속도에 비례하여 초기 설정된 관심 영역(410)의 크기 및 위치를 조정할 수 있다.
일 실시예에 따른 제어부(230)는 주행 정보 획득부(220)에서 전달받은 제동 정보 및 조향 정보에 기초하여 차량(100)의 제동 여부 및 차량(100)의 조향 방향을 판단하고, 차량(100)이 제동하는 경우, 전방 영상(400)의 중심점으로부터 상향으로 초기 설정된 관심 영역(410)의 위치를 이동시키고, 전방 영상(400)의 중심점으로부터 조향 방향과 동일한 방향으로 초기 설정된 관심 영역(410)의 위치를 이동시켜 초기 설정된 관심 영역(410)을 조정할 수 있다.
일 실시예에 따른 제어부(230)는 관심 영역을 초기 설정하지 않고 주행 정보 획득부(220)에서 전달받은 제동 정보 및 조향 정보 중 적어도 하나에 기초하여 조정된 관심 영역(420)을 설정할 수 있다.
구체적으로, 일 실시예에 따른 제어부(230)는 주행 정보 획득부(220)로부터 전달받은 조향 정보에 기초하여 조정된 관심 영역(420)을 설정할 수 있다. 구체적으로, 제어부(230)는 관심 영역을 초기 설정하지 않고, 조향 정보에 기초하여 전방 영상의 중심점으로부터 조향 방향과 동일한 방향으로 관심 영역의 위치를 이동시켜 조정된 관심 영역(420)을 설정할 수 있다. 제어부(230)는 주행 정보 획득부(220)로부터 전달받은 조향 정보에 기초하여 차량(100)의 조향각을 판단할 수 있으며, 조향각에 비례하여 전방 영상(400)의 중심점으로부터 조향 방향과 동일한 “‡향으로 관심 영역의 위치를 이동시켜 조정된 관심 영역(420)을 설정할 수 있다.
또한, 일 실시예에 따른 제어부(230)는 주행 정보 획득부(220)로부터 전달받은 조향 정보에 기초하여 조정된 관심 영역(420)을 설정할 수 있다. 구체적으로, 제어부(230)는 관심 영역을 초기 설정하지 않고, 조향 정보에 기초하여 기 설정된 관심 영역의 크기를 감소시켜 조정된 관심 영역(420)을 설정할 수 있다. 이 때, 조정된 관심 영역(420)에서 감소된 부분은 조향 방향과 반대 방향에 해당하는 부분일 수 있다. 제어부(230)는 주행 정보 획득부(220)로부터 전달받은 조향 정보에 기초하여 차량(100)의 조향각을 판단할 수 있으며, 조향각에 비례하여 기 설정된 관심 영역의 크기를 감소시켜 조정된 관심 영역(420)을 설정할 수 있다.
또한, 일 실시예에 따른 제어부(230)는 주행 정보 획득부(220)로부터 전달받은 제동 정보에 기초하여 조정된 관심 영역(420)을 설정할 수 있다. 구체적으로, 제어부(230)는 관심 영역을 초기 설정하지 않고, 제동 정보에 기초하여 전방 영상의 중심점으로부터 상향으로 관심 영역의 위치를 이동시켜 조정된 관심 영역(420)을 설정할 수 있다.
또한, 일 실시예에 따른 제어부(230)는 주행 정보 획득부(220)로부터 전달받은 조향 정보 및 제동 정보에 기초하여 조정된 관심 영역(420)을 설정할 수 있다. 구체적으로, 제어부(230)는 관심 영역을 초기 설정하지 않고, 제동 정보에 기초하여 전방 영상의 중심점으로부터 상향으로 관심 영역의 위치를 이동시키고, 조향 정보에 기초하여 기 설정된 관심 영역의 크기를 감소시켜 조정된 관심 영역(420)을 설정할 수 있다. 이 때, 조정된 관심 영역(420)에서 감소된 부분은 조향 방향과 반대 방향에 해당하는 부분일 수 있다.
또한, 일 실시예에 따른 제어부(230)는 주행 정보 획득부(220)로부터 전달받은 조향 정보 및 제동 정보에 기초하여 조정된 관심 영역(420)을 설정할 수 있다. 구체적으로, 제어부(230)는 관심 영역을 초기 설정하지 않고, 제동 정보에 기초하여 전방 영상의 중심점으로부터 상향으로 관심 영역의 위치를 이동시키고, 전방 영상(400)의 중심점으로부터 조향 방향과 동일한 방향으로 초기 설정된 관심 영역(410)의 위치를 이동시켜 조정된 관심 영역(420)을 설정할 수 있다.
차량(100)의 제어부(230)는 조정된 관심 영역(420)을 영상 처리하여 주행 보조 정보를 획득한다(740). 차량(100)의 주행 보조 정보는 차량(100)의 운전자의 주행을 보조하기 위한 정보이다. 구체적으로, 제어부(230)는 추돌 경고 시스템(Forward Collision Warning), 차선이탈 경고 시스템(LDWS, Lane Departure Warning System)을 이용하여 차량(100)의 운전자의 주행을 보조할 수 있는 주행 보조 정보를 획득할 수 있다.
주행 보조 정보는 차량(100)의 차선 이탈 여부를 나타내는 차선 이탈 정보, 차량(100)의 전방에 위치하는 객체와 차량 사이의 거리 정보 및 차량(100)의 전방에 위치하는 객체와의 추돌 위험 정보 중 적어도 하나를 포함할 수 있다.
차량(100)의 제어부(230)는 주행 보조 정보를 출력하도록 디스플레이부(260) 또는 스피커(250)를 제어한다(750).
구체적으로, 스피커(250)는 제어부(230)의 제어에 따라 주행 보조 정보를 출력할 수 있다. 스피커(250)는 차량(100)의 차선 이탈 여부를 나타내는 차선 이탈 정보에 기초하여 차선 이탈을 알리는 경고음 또는 메시지를 출력할 수 있으며, 차량(100)의 전방에 위치하는 객체와 차량 사이의 거리 정보에 기초하여 거리 정보를 알리는 메시지를 출력할 수 있으며, 차량(100)의 전방에 위치하는 객체와의 추돌 위험 정보에 기초하여 추돌 위험을 알리는 경고음 또는 메시지를 출력할 수 있다.
디스플레이부(260)는 제어부(230)의 제어에 따라 주행 보조 정보를 출력할 수 있다. 구체적으로, 디스플레이부(260)는 차량(100)의 차선 이탈 여부를 나타내는 차선 이탈 정보에 기초하여 차선 이탈을 알리는 경고 메시지를 표시할 수 있으며, 차량(100)의 전방에 위치하는 객체와 차량 사이의 거리 정보에 기초하여 거리 정보를 알리는 메시지를 표시할 수 있으며, 차량(100)의 전방에 위치하는 객체와의 추돌 위험 정보에 기초하여 추돌 위험을 알리는 경고 메시지를 출력할 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
100: 차량
210: 영상 획득부
220: 주행 정보 획득부
230: 제어부
240: 저장부
250: 스피커
260: 디스플레이부

Claims (20)

  1. 차량의 전방을 촬영하여 전방 영상을 획득하는 영상 획득부; 및
    상기 차량의 조향 정보 획득부에 의하여 감지된 상기 차량의 조향 방향 및 조향 각을 포함하는 조향 정보를 획득하고, 상기 차량의 제동 정보 획득부에 의하여 감지된 상기 차량의 제동 여부 및 제동 감속도를 포함하는 제동 정보를 획득하고, 상기 전방 영상 내에서 상기 조향 정보 및 상기 제동 정보 중 적어도 하나에 기초하여 관심 영역(Region Of Interest; ROI)을 설정하는 제어부;를 포함하고,
    상기 제어부는, 상기 조향 정보에 기초하여 상기 차량의 조향 방향과 반대인 방향에서의 상기 관심 영역의 경계를 상기 차량의 조향 방향과 동일한 방향으로 이동시킴으로써 상기 관심 영역의 크기를 감소시키고,
    상기 제어부는, 상기 제동 정보에 기초하여 상기 전방 영상의 중심점으로부터 상향으로 상기 관심 영역의 위치를 이동시키는 차량용 주행 보조 시스템.
  2. 제 1항에 있어서,
    상기 제어부는,
    상기 전방 영상 내에서 상기 전방 영상의 중심점을 기준으로 일정 영역을 관심 영역으로 초기 설정하고, 상기 조향 정보 및 상기 제동 정보 중 적어도 하나에 기초하여 상기 관심 영역을 조정하는 차량용 주행 보조 시스템.
  3. 제 1항에 있어서,
    상기 제어부는,
    상기 조향 정보에 기초하여 상기 차량의 조향 방향과 동일한 방향으로 상기 관심 영역의 위치를 이동시키는 차량용 주행 보조 시스템.
  4. 제 1항에 있어서,
    상기 제어부는,
    상기 조향 정보에 기초하여 상기 차량의 조향각에 비례하여 상기 관심 영역의 위치를 이동시키는 차량용 주행 보조 시스템.
  5. 삭제
  6. 제 1항에 있어서,
    상기 제어부는,
    상기 조향 정보에 기초하여 상기 차량의 조향각에 비례하여 상기 차량의 조향 방향과 반대인 방향에서의 상기 관심 영역의 경계를 상기 차량의 조향 방향과 동일한 방향으로 이동시킴으로써 상기 관심 영역의 크키를 감소시키는 차량용 주행 보조 시스템.
  7. 삭제
  8. 제 1항에 있어서,
    상기 제어부는,
    상기 제동 정보에 기초하여 상기 차량의 제동 감속도에 비례하여 상기 전방 영상의 중심점으로부터 상향으로 상기 관심 영역의 위치를 이동시키는 차량용 주행 보조 시스템.
  9. 제 1항에 있어서,
    상기 제어부는,
    상기 관심 영역의 영상으로부터 주행 보조 정보를 획득하는 차량용 주행 보조 시스템.
  10. 제 9항에 있어서,
    상기 주행 보조 정보는,
    차선 이탈 정보, 객체와의 거리 정보 및 상기 객체와의 추돌 위험 정보 중 적어도 하나인 차량용 주행 보조 시스템.
  11. 차량의 전방을 촬영하여 전방 영상을 획득하고;
    상기 차량의 조향 방향 및 조향 각을 포함하는 조향 정보를 획득하고;
    상기 차량의 제동 여부 및 제동 감속도를 포함하는 제동 정보를 획득하고;
    상기 전방 영상 내에서 상기 전방 영상의 중심점을 기준으로 일정 영역을 관심 영역(Region Of Interest; ROI)으로 설정하고;
    상기 전방 영상 내에서 상기 조향 정보 및 상기 제동 정보 중 적어도 하나에 기초하여 관심 영역(Region Of Interest; ROI)을 설정하는 것;을 포함하고,
    상기 관심 영역을 설정하는 것은, 상기 조향 정보에 기초하여 상기 차량의 조향 방향과 반대인 방향에서의 상기 관심 영역의 경계를 상기 차량의 조향 방향과 동일한 방향으로 이동시킴으로써 상기 관심 영역의 크기를 감소시키는 것;을 포함하고,
    상기 관심 영역을 조정하는 것은, 상기 제동 정보에 기초하여 상기 전방 영상의 중심점으로부터 상향으로 상기 관심 영역의 위치를 이동시키는 것;을 포함하는 차량용 주행 보조 시스템의 제어방법.
  12. 제 11항에 있어서,
    상기 관심 영역을 설정하는 것은,
    상기 전방 영상 내에서 상기 전방 영상의 중심점을 기준으로 일정 영역을 관심 영역으로 초기 설정하고;
    상기 조향 정보 및 상기 제동 정보 중 적어도 하나에 기초하여 상기 관심 영역을 조정하는 것;을 포함하는 차량용 주행 보조 시스템의 제어방법.
  13. 제 11항에 있어서,
    상기 관심 영역을 설정하는 것은,
    상기 조향 정보에 기초하여 상기 차량의 조향 방향과 동일한 방향으로 상기 관심 영역의 위치를 이동시키는 것;을 포함하는 차량용 주행 보조 시스템의 제어방법.
  14. 제 11항에 있어서,
    상기 관심 영역을 설정하는 것은,
    상기 조향 정보에 기초하여 상기 차량의 조향각에 비례하여 상기 관심 영역의 위치를 이동시키는 것;을 포함하는 차량용 주행 보조 시스템의 제어방법.
  15. 삭제
  16. 제 11항에 있어서,
    상기 관심 영역을 조정하는 것은,
    상기 조향 정보에 기초하여 상기 차량의 조향각에 비례하여 상기 차량의 조향 방향과 반대인 방향에서의 상기 관심 영역의 경계를 상기 차량의 조향 방향과 동일한 방향으로 이동시킴으로써 상기 관심 영역의 크키를 감소시키는 것;을 포함하는 차량용 주행 보조 시스템의 제어방법.
  17. 삭제
  18. 제 11항에 있어서,
    상기 관심 영역을 조정하는 것은,
    상기 제동 정보에 기초하여 상기 차량의 제동 감속도에 비례하여 상기 전방 영상의 중심점으로부터 상향으로 상기 관심 영역의 위치를 이동시키는 것;을 포함하는 차량용 주행 보조 시스템의 제어방법.
  19. 제11항에 있어서,
    상기 관심 영역의 영상으로부터 주행 보조 정보를 획득하는 것;을 더 포함하는 차량용 주행 보조 시스템의 제어방법.
  20. 제 19항에 있어서,
    상기 주행 보조 정보는,
    차선 이탈 정보, 객체와의 거리 정보 및 상기 객체와의 추돌 위험 정보 중 적어도 하나인 차량용 주행 보조 시스템의 제어방법.
KR1020180101583A 2018-08-28 2018-08-28 차량용 주행 보조 장치 및 차량용 주행 보조 장치의 제어방법 Active KR102625203B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180101583A KR102625203B1 (ko) 2018-08-28 2018-08-28 차량용 주행 보조 장치 및 차량용 주행 보조 장치의 제어방법
US16/281,840 US10878266B2 (en) 2018-08-28 2019-02-21 Vehicle and method for controlling the same
CN201910170998.2A CN110861578B (zh) 2018-08-28 2019-03-07 车辆及其控制方法
US16/730,325 US11100353B2 (en) 2018-08-28 2019-12-30 Apparatus of controlling region of interest of image and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180101583A KR102625203B1 (ko) 2018-08-28 2018-08-28 차량용 주행 보조 장치 및 차량용 주행 보조 장치의 제어방법

Publications (2)

Publication Number Publication Date
KR20200024651A KR20200024651A (ko) 2020-03-09
KR102625203B1 true KR102625203B1 (ko) 2024-01-15

Family

ID=69642311

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180101583A Active KR102625203B1 (ko) 2018-08-28 2018-08-28 차량용 주행 보조 장치 및 차량용 주행 보조 장치의 제어방법

Country Status (3)

Country Link
US (2) US10878266B2 (ko)
KR (1) KR102625203B1 (ko)
CN (1) CN110861578B (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113415287A (zh) * 2021-07-16 2021-09-21 恒大新能源汽车投资控股集团有限公司 车辆道路行驶指示方法及装置、计算机可读存储介质
US12077174B2 (en) * 2022-08-24 2024-09-03 Toyota Motor Engineering & Manufacturing North America, Inc. Compensating mismatch in abnormal driving behavior detection

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080088707A1 (en) * 2005-05-10 2008-04-17 Olympus Corporation Image processing apparatus, image processing method, and computer program product
US20100134263A1 (en) 2005-07-15 2010-06-03 Hans-Joerg Mathony Method and apparatus for avoiding rear-end collisions
KR101738425B1 (ko) 2016-02-15 2017-05-23 (주)한양정보통신 다차선 검출을 위한 관심 영역 설정 장치 및 방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3330624B2 (ja) * 1992-01-29 2002-09-30 マツダ株式会社 車両の障害物検出装置
WO2008024639A2 (en) * 2006-08-11 2008-02-28 Donnelly Corporation Automatic headlamp control system
JP2008276307A (ja) * 2007-04-25 2008-11-13 Sanyo Electric Co Ltd 動画像処理装置、動画像処理システムおよびナビゲーション装置
FR2947937B1 (fr) * 2009-07-08 2012-03-02 Valeo Vision Sas Procede de determination d'une region d'interet dans une image
RU2567706C1 (ru) * 2011-09-22 2015-11-10 Тойота Дзидося Кабусики Кайся Устройство помощи при вождении
US8798841B1 (en) * 2013-03-14 2014-08-05 GM Global Technology Operations LLC System and method for improving sensor visibility of vehicle in autonomous driving mode
DE102014209791A1 (de) * 2014-05-22 2015-11-26 Robert Bosch Gmbh Verkehrswarnvorrichtung und Verkehrswarnverfahren zum Warnen von Verkehrsteilnehmern vor einem Gefahrenbereich
KR102303239B1 (ko) * 2015-01-20 2021-09-23 한국전자통신연구원 차량 충돌 방지 장치 및 차량 충돌 방지 방법
KR101714185B1 (ko) * 2015-08-05 2017-03-22 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
KR101824982B1 (ko) * 2015-10-07 2018-02-02 엘지전자 주식회사 차량 및 그 제어방법
JP6727971B2 (ja) * 2016-07-19 2020-07-22 株式会社クボタ 作業車
KR20180040020A (ko) * 2016-10-11 2018-04-19 주식회사 만도 운전지원장치 및 운전지원방법
EP3360747A1 (en) * 2017-02-13 2018-08-15 Autoliv Development AB Improvements in or relating to driver assistance systems
KR20190035255A (ko) * 2017-09-26 2019-04-03 삼성에스디에스 주식회사 영상처리를 이용하는 차량 주행 보조 방법 및 그 장치
US10872531B2 (en) * 2017-09-29 2020-12-22 Uber Technologies, Inc. Image processing for vehicle collision avoidance system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080088707A1 (en) * 2005-05-10 2008-04-17 Olympus Corporation Image processing apparatus, image processing method, and computer program product
US20100134263A1 (en) 2005-07-15 2010-06-03 Hans-Joerg Mathony Method and apparatus for avoiding rear-end collisions
KR101738425B1 (ko) 2016-02-15 2017-05-23 (주)한양정보통신 다차선 검출을 위한 관심 영역 설정 장치 및 방법

Also Published As

Publication number Publication date
US20200074208A1 (en) 2020-03-05
CN110861578A (zh) 2020-03-06
US10878266B2 (en) 2020-12-29
KR20200024651A (ko) 2020-03-09
US11100353B2 (en) 2021-08-24
US20200151485A1 (en) 2020-05-14
CN110861578B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
US10643473B2 (en) Vehicle and method for collision avoidance assistance
KR102309420B1 (ko) 차량 및 그 제어방법
JP6934544B2 (ja) 車輪姿勢を使用した将来の進行方向の決定
KR102313025B1 (ko) 차량 및 그 제어방법
KR102671554B1 (ko) 차량 및 그 제어방법
CN108216218B (zh) 车辆及控制其的方法
US20180032822A1 (en) Vehicle exterior monitoring
US20180056996A1 (en) Driver assistance apparatus and vehicle
KR102494864B1 (ko) 차량 및 그 제어방법
EP3441725B1 (en) Electronic device for vehicle and associated method
US10906542B2 (en) Vehicle detection system which classifies valid or invalid vehicles
KR102696569B1 (ko) 차량 및 그 제어방법
KR102320253B1 (ko) 차량 및 그 제어방법
KR102450656B1 (ko) 차량 및 그 제어방법
KR102625203B1 (ko) 차량용 주행 보조 장치 및 차량용 주행 보조 장치의 제어방법
US20220318960A1 (en) Image processing apparatus, image processing method, vehicle control apparatus, and storage medium
US20220024462A1 (en) Control device for vehicle, control method for automated driven vehicle, and nontransitory recording medium provided with computer program
JP7659425B2 (ja) 制御装置、制御装置の動作方法及びプログラム
JP7181956B2 (ja) 移動体の制御装置及び制御方法並びに車両
JP7657628B2 (ja) 制御装置、制御装置の動作方法及びプログラム
CN108367715A (zh) 用于后视的方法和控制单元
KR102548868B1 (ko) 차량 및 그 제어방법
WO2024257338A1 (ja) 画像処理装置、画像処理装置の制御方法、車両、プログラム及び記憶媒体
KR20250100370A (ko) 주행방향 가이드 방법 및 장치
WO2024069689A1 (ja) 運転支援方法及び運転支援装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180828

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210824

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20180828

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230403

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20230830

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20230403

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0701 Decision of registration after re-examination

Patent event date: 20231208

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20231130

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20230830

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20230601

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20240110

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20240110

End annual number: 3

Start annual number: 1

PG1601 Publication of registration