[go: up one dir, main page]

KR101603609B1 - 차량용 어라운드 뷰 모니터링 시스템 및 이의 방법 - Google Patents

차량용 어라운드 뷰 모니터링 시스템 및 이의 방법 Download PDF

Info

Publication number
KR101603609B1
KR101603609B1 KR1020140089074A KR20140089074A KR101603609B1 KR 101603609 B1 KR101603609 B1 KR 101603609B1 KR 1020140089074 A KR1020140089074 A KR 1020140089074A KR 20140089074 A KR20140089074 A KR 20140089074A KR 101603609 B1 KR101603609 B1 KR 101603609B1
Authority
KR
South Korea
Prior art keywords
vehicle
avm
mode
image
avm system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020140089074A
Other languages
English (en)
Other versions
KR20160009157A (ko
Inventor
김종환
김상국
김성완
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020140089074A priority Critical patent/KR101603609B1/ko
Priority to US14/738,102 priority patent/US10261104B2/en
Priority to CN201510382290.5A priority patent/CN105291981B/zh
Publication of KR20160009157A publication Critical patent/KR20160009157A/ko
Application granted granted Critical
Publication of KR101603609B1 publication Critical patent/KR101603609B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

차량용 AVM 시스템의 전방 카메라를 능동 안전(Active Safety: AS) 시스템의 스테레오 카메라로 대체함으로써, 기존의 차량용 AVM 시스템을 단순화 하고, AVM 시스템과 AS 시스템 간에 중첩되는 카메라를 제거하여 비용 절감을 할 수 있는 장치 및 방법이 제공된다.

Description

차량용 어라운드 뷰 모니터링 시스템 및 이의 방법{AROUND VIEW MONITORING SYSTEM FOR A VEHICLE AND METHOD THEREOF}
본 발명은 차량용 어라운드 뷰 모니터링 시스템 및 이의 방법에 관한 것으로서, 더욱 상세하게는 카메라를 이용하여 차량 주변의 상황을 모니터링 하기 위한 어라운드 뷰 모니터링 시스템 및 이의 방법에 관한 것이다.
차량용 어라운드 뷰 모니터링(Around View Monitoring: AVM) 시스템은 자신의 차량 중심으로 360도 주변의 사물을 감지하는 시스템을 일컫는다.
도 1은 일반적인 차량용 AVM 시스템의 구성을 보여주는 블록도이고, 도 2는 도 1에 도시된 4개의 카메라들의 차량 내 배치 위치 및 이들 카메라들에 의해 촬영되는 4개의 영역들을 입체적으로 보여주는 도면이다. 그리고, 도 3은 일반적인 차량용 AVM 시스템에 의해 보여지는 AVM 영상을 보여주는 도면이다.
도 1 및 도 2를 참조하면, 일반적인 차량용 AVM 시스템은 4개의 카메라 유닛들(11-1 ~ 11-4), AVM 유닛(13) 및 표시 유닛(15)으로 구성된다.
4개의 카메라 유닛들(11-1 ~ 11-4)은 차량의 전방, 후방 및 좌우측방 영역으로 이루어진 4개의 촬영 영역들(R1, R2, R3, R4)을 각각 촬영한다.
AVM 유닛(13)은 카메라 유닛들(11-1 ~ 11-4)에 의해 촬영된 촬영 영역들(R1, R2, R3, R4)에 대한 4개의 채널 영상들을 하나의 영상(이하, AVM 영상)으로 구성하고, 이를 표시 유닛(15)을 통해 운전자에게 제공한다.
표시 유닛(15)을 통해 운전자에게 제공되는 AVM 영상은 도 3에 도시된 바와 같다. 도 3을 참조하면, 전방 촬영 영역에 대한 전방 영상(31)은 AVM 영상(39)의 상측에 배치하고, 후방 촬영 영역에 대한 후방 영상(37)은 AVM 영상(39)의 하측에 배치하고, 좌우 촬영 영역들에 대한 좌우측방 영상들(33, 35)은 각각 AVM 영상(39)의 좌우측에 각각 배치한다.
이와 같이, 운전자는 자차를 중심으로 360도 주변의 사물을 하나의 AVM 영상을 확인할 수 있게 된다.
한편, 최근 차량용 전장시스템 분야에서는 능동 안전 시스템(Active Safety System)의 개발이 활발하게 이루어지고 있다. 능동 안전 시스템은 수동 안전 시스템(Passive Safety System)의 반대 개념으로 흔히 사용된다.
수동 안전 시스템은 사고 발생 이후, 특정 장치를 가동시켜 운전자의 안전을 도모하는 시스템을 총칭하며, 일례로, 차량 추돌이 감지되면, 에어백을 가동시키는 에어백 시스템 등을 예로 들 수 있다.
이에 반해, 능동 안전 시스템은 사고 발생을 예측하여, 예측된 결과를 운전자에게 경고하는 시스템을 총칭하며, 일례로, 차선 이탈 경고(LDW: Lane Departure Warning) 시스템, 추돌 경보(FCW: Forward Collision Warning) 시스템, 하이 빔 어시스턴트(HBA: High Beam Assistant) 시스템 등을 예로 들 수 있다.
많은 차량 제조 업체는 스테레오 카메라를 이용한 영상 처리 과정을 이용하여 상기와 같은 능동 안전 시스템을 구현하고 있다.
이와 같이, AVM 시스템과 능동 안전 시스템은 모두 차량 안전 운행을 도모하기 위해 각광받고 있는 시스템들로서, 이들을 하나의 차량에 적용하는 경우, 차량 전장 시스템의 복잡도가 증가한다.
특히, AVM 시스템과 능동 안전 시스템을 하나의 차량에 동시에 구현하는 경우, 카메라 센서의 중첩이 발생하면, 이는 카메라 센서에 대한 자원 낭비이다.
따라서, 본 발명의 목적은 차량 내의 이종 전자 시스템 간에 사용되는 카메라 센서의 중첩 사용을 최소하여, 비용절감을 도모할 수 있는 AVM 시스템 및 이의 방법을 제공하는 데 있다.
상술한 목적을 달성하기 위한 본 발명의 일면에 따른 AVM 시스템은, 차량의 변속 모드 및 차속 모드에 기초하여, 상기 AVM 시스템의 동작 조건을 판단하는 동작 조건 판단부, 판단결과, 상기 변속 모드와 상기 차속 모드가 상기 AVM 시스템의 동작 조건을 만족하면, 상기 동작 조건 판단부의 제어에 따라 상기 스테레오 카메라에 의해 촬영된 좌측 및 우측 영상 중 어느 하나의 영상의 전달 경로를 상기 AS 시스템에서 상기 AVM 시스템으로 전환하는 경로 전환부 및 상기 AVM 시스템에 포함된 복수의 카메라에 의해 촬영된 상기 차량의 주변 영상들과 상기 경로 전환부를 통해 상기 AS 시스템으로부터 전달받은 상기 어느 하나의 영상을 합성하여 상기 차량의 360도 주변 상황을 나타내는 4채널 영상을 구성하는 AVM 영상 처리부를 포함한다.
본 발명의 다른 일면에 따른 차량용 AVM 시스템을 이용하여 차량의 주변을 모니터링 하는 방법은, 상기 차량의 변속 모드 및 차속 모드에 기초하여, 상기 AVM 시스템의 동작 개시 조건을 판단하는 과정과, 상기 차량의 변속 모드 및 차속 모드가 상기 AVM 시스템의 동작 개시를 위한 조건을 만족하는 경우, 상기 스테레오 카메라에 의해 촬영된 좌측 및 우측 영상 중 어느 하나의 영상의 전달 경로를 상기 AS 시스템에서 상기 AVM 시스템으로 전환하는 과정 및 상기 AVM 시스템에 포함된 복수의 카메라에 의해 촬영된 상기 차량의 주변 영상들과 상기 AS 시스템으로부터 전달받은 상기 어느 하나의 영상을 합성하여 상기 차량 주변을 모니터링 하기 위한 4채널 영상을 구성하는 과정을 포함한다.
본 발명의 또 다른 일면에 따른 차량용 AVM 시스템은, 평행하게 배치된 2개의 카메라들로 구성된 스테레오 카메라를 이용하여 차량의 능동 안전을 제어하는 차량용 능동 안전(AS: Active Safety) 시스템과 연동하는 차량용 AVM(Around View Monitoring) 시스템으로서, 상기 차량의 변속 모드 및 차속 모드에 기초하여, 상기 AVM 시스템의 동작 개시 조건을 판단하는 동작 조건 판단부와, 상기 차량의 변속 모드 및 차속 모드가 상기 동작 개시 조건을 만족하는 경우, 상기 동작 개시 판단부의 제어에 따라 상기 카메라들 중 유체 렌즈를 갖는 카메라에 의해 촬영된 광각 영상의 전달 경로를 상기 AS 시스템에서 상기 AVM 시스템으로 전환하는 경로 전환부 및 상기 AVM 시스템에 포함된 복수의 카메라에 의해 촬영된 상기 차량의 주변 영상들과 상기 경로 전환부를 통해 전달받은 상기 광각 영상을 합성하여 상기 차량의 주변 상황을 모리터링 하기 위한 4채널 영상을 구성하는 AVM 영상 처리부를 포함한다.
본 발명에 따르면, AVM 시스템과 AS 시스템 간에 중첩되는 카메라 센서를 줄일 수 있다. 차량에 장착되는 카메라 개수를 줄임으로써, 경량화 및 비용 절감을 도모할 수 있다.
도 1은 일반적인 차량용 AVM 시스템의 구성을 보여주는 블록도이다.
도 2는 도 1에 도시된 4개의 카메라들의 차량 내 배치 위치 및 이들 카메라들에 의해 촬영되는 4개의 영역들을 입체적으로 보여주는 도면이다.
도 3은 일반적인 차량용 AVM 시스템에 의해 구성되는 4채널 영상을 보여주는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 차량 전자 제어 시스템의 전체 구성을 보여주는 블록도이다.
도 5는 본 발명의 일 실시 예에 따른 차량 전자 제어 시스템에 구현되는 카메라들의 종류 및 배치 구조를 보여주는 도면이다.
도 6은 본 발명의 일 실시 예에 따른 AVM 시스템을 이용한 차량의 주변을 모니터링 하는 방법을 보여주는 순서도이다.
도 7은 본 발명의 일 실시 예에 따른 4채널 영상을 보여주는 도면이다.
도 8 내지 도 10은 본 발명의 일 실시 예에 따라 스테레오 카메라에 적용될 수 있는 유체 렌즈를 설명하기 위한 도면들이다.
도 11은 본 발명의 다른 실시 예에 따른 차량 전자 제어 시스템에 관한 것이다.
본 발명은 차량용 AVM 시스템의 전방 카메라를 능동 안전(Active Safety: AS) 시스템의 스테레오 카메라로 대체함으로써, 기존의 차량용 AVM 시스템을 단순화 하고, AVM 시스템과 AS 시스템 간에 중첩되는 카메라를 제거하여 비용 절감을 할 수 있는 방법을 제공한다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예에 대해 상세히 설명하기로 한다. 아래의 실시 예들은 차량의 360도 주변을 모니터링하는 어라운드 뷰 시스템을 가정하지만, 본 발명이 이에 한정되는 것은 아니다.
따라서, 본 발명은 고속 직진 상황에서 전방 및 양측방을 모니터링하거나 일측방을 모니터링 하는 파노라마 뷰, 저속 직진 상황에서 전방 및 후방을 모니터링 하는 전후방 뷰, 고속 및 저속 선회 또는 차선 변경 상황에서 전방, 후방 및 양측방을 모니터링하거나 일측방을 모니터링하는 어라운드 뷰와 같이 주행 상황에 따라 다양한 뷰 모드를 구현할 수 있는 모든 종류의 시스템에 적용될 수 있다.
도 4는 본 발명의 일 실시 예에 따른 차량 전자 제어 시스템의 전체 구성을 보여주는 블록도이다.
도 4를 참조하면, 본 발명의 일 실시 예에 따른 차량 전자 제어 시스템은 AS(Active Safety) 시스템(100)과 상기 AS 시스템(100) 내의 스테레오 카메라(110)와 연동하는 AVM(Around View Monitoring) 시스템(200)을 포함한다.
AS 시스템(100)은 스테레오 카메라(110), 스테레오 영상 처리부(130) 및 능동 안전 제어 로직(140)을 포함한다.
스테레오 카메라(110)는 도 5에 도시된 바와 같이, 차량의 전면에 배치되어, 차량 전방 영역을 촬영하는 좌측 카메라(112) 및 우측 카메라(114)를 포함한다.
좌측 카메라(112)는 차량 전방을 촬영한 좌시점 전방 영상을 획득하고, 우측 카메라(114)는 우시점 우측 전방 영상을 획득한다.
아래에서 상세히 설명하겠지만, 획득된 좌시점 전방 영상 또는 우시점 전방 영상은 AVM 시스템에 의한 4채널 영상에 포함되는 위한 전방 영상으로 이용된다.
본 실시 예에서는 우측 전방 영상이 AVM 시스템의 전방 영상으로서 이용됨을 가정한다.
스테레오 영상 처리부(130)는 제1 전달 경로(PW1: PathWay 1)를 통해 스테레오 카메라(110)로부터 좌시점 전방 영상을 전달받고, AVM 시스템(200)의 경로 전환부(220)에 의해 형성되는 제2 전달 경로(PW2: PathWay 2)를 통해 스테레오 카메라(110)로부터 우시점 전방 영상을 전달받는다.
스테레오 영상 처리부(130)는 좌시점 전방 영상과 우시점 전방 영상을 스테레오 정합하고, 정합된 스테레오 영상으로부터 영상 내의 객체와의 거리 정보를 갖는 깊이 영상(depth image)을 생성한다.
능동 안전 제어 로직(140)은 스테레오 영상 처리부(130)로부터 전달받은 깊이 영상을 이용하여 차선 이탈 경고(LDW: Lane Departure Warning) 제어, 추돌 경보(FCW: Forward Collision Warning) 제어, 하이 빔 어시스턴트(HBA: High Beam Assistant) 제어와 같은 능동 안전과 관련된 로직 연산을 수행한다.
연산된 결과는 차량 내의 제동 전자 제어 유닛(70), 조향 제어 유닛(80) 등으로 전달되고, 제동 전자 제어 유닛(70), 조향 제어 유닛(80)은 차량의 능동 안전을 위해 차량 제동 및 조향을 제어한다.
이러한 차량의 능동 안전을 제어하는 AS 시스템(100)과 연동하는 AVM 시스템(200)은 동작 개시 판단부(210), 경로 전환부(220), AVM용 카메라(230) 및 AVM 영상 처리부(240)를 포함한다.
동작 개시 판단부(210)는 차량의 변속 모드 및 차속 모드에 기초하여, AVM 시스템 또는 AS 시스템의 동작 개시 여부를 판단한다.
차량의 변속 모드는 주차 모드, 후진 모드 및 주행 모드를 포함한다. 주차 모드와 후진 모드는 변속기 ECU(30)로부터 전달되는 변속 레버의 위치값을 통해 판단할 수 있다.
차속 모드는 저속 모드와 주행 모드를 포함한다. 저속 모드는 차속 센서(40)로부터 전달받은 차속값이 기설정된 속도값(예컨대, 20km/h) 미만인 경우로 정의된다. 주행모드는 상기 차속값이 상기 기설정된 속도값보다 큰 경우로 정의된다.
동작 개시 판단부(210)에 판단되는 AVM 시스템(200) 또는 AS 시스템의 동작 개시 판단 조건은 아래의 표 1과 같다.
변속 조건 차속 조건
AVM(Around View Monitoring) 모드 동작 주차 모드(P) 또는 후진 모드(R) 저속모드(20km/h 미만)
AS(Active Safety) 모드 동작 주행 모드(D) 주행 모드(20km/h 이상)
경로 전환부(220)는 AVM 시스템(200) 의 동작 개시가 판단된 경우, AS 시스템(100) 내에 구비된 스테레오 카메라(110)의 우측 카메라(114)에 의해 획득된 우측 전방 영상을 AVM 영상 처리부(240)로 바이패싱 한다.
예컨대, 경로 전환부(220)는 동작 개시 판단부(210)로부터 AVM 동작 모드를 지시하는 스위칭 신호를 입력받아서, 제2 전달 경로(PW2)를 우측 카메라와 AVM 영상 처리부를 연결하는 제3 전달 경로(PW3)로 전환한다.
제3 전달 경로(PW3)로 전환된 상태에서, 경로 전환부(220)가 AS 동작 모드를 나타내는 스위칭 신호를 입력받으면, 제3 전달 경로(PW3)에서 제2 전달 경로(PW2)로 다시 전환된다.
AVM용 카메라(230)는 차량의 좌측방 주변, 우측방 주변 및 후방 주변을 촬영하는 좌측방 카메라, 우측방 카메라 및 후방 카메라를 포함한다. 여기서, 기존의 AVM 시스템과는 다르게, 본 발명의 일 실시 예에 따른 AVM용 카메라(230)는 차량의 전방 주변을 촬영하는 전방 카메라를 포함하지 않는다.
AVM 영상 처리부(240)는 차량의 360도 주변 상황을 나타내는 4채널 영상을 생성하기 위한 영상 처리를 수행하는 수단으로서, AVM용 카메라(230)로부터의 좌측방 영상, 우측방 영상, 후방 영상과 상기 경로 전환부(220)를 통해 전달되는 우시점 전방 영상을 합성하여 도 3에 도시된 바와 같은 4 채널 영상(39)을 구성한다.
AVM 영상 처리부(240)에 의해 구성된 4 채널 영상(39)은 표시 유닛(60)으로 전달되고, 표시 유닛(60)은 4 채널 영상(39)을 표시한다.
운전자는 표시 유닛(60)을 통해 표시되는 4 채널 영상(39)을 통해 차량의 주차 또는 후진 주행시, 자차의 360도 주변 상황을 모니터링할 수 있게 된다.
이와 같이, 본 발명의 일 실시 예에 따른 시스템은 기존의 AVM 시스템의 전방 카메라를 AS 시스템에서 이용하는 스테레오 카메라로 대체함으로써, 시스템을 단순화 하고, 특히 AVM 시스템과 AS 시스템 간에 중첩되는 카메라의 설계를 배제함으로써, 비용 절감을 도모할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 AVM 시스템을 이용한 차량의 주변을 모니터링 하는 방법을 보여주는 순서도이다.
도 6을 참조하면, 먼저, S610에서, 차량의 시동이 온(ON)되면, 차량 앞쪽에 설치된 스테레오 카메라의 전원이 온(ON)되고, 스테레오 카메라가 구동할 수 있는 대기 상태가 된다.
S612에서, 스테레오 카메라의 대기 상태에서, 변속기 ECU로부터 주차 모드(P) 또는 후진 모드(R)가 입력되면, 스테레오 카메라의 한 쪽의 카메라에서 획득된 전방 영상이 AVM 영상 처리부로 입력된다.
S614에서, AVM 영상 처리부가 스테레오 카메라의 한 쪽의 카메라의 전방 영상과 AVM용 카메라에 의해 획득된 좌, 우, 후방 영상들을 결합하여 4채널 영상을 구성하기 위한 영상 처리를 수행한다.
S616에서, 구성된 4채널 영상을 차량 내의 각종 멀티미디어 기기를 통해 표시한다.
한편, S612에서, 변속기 ECU로부터 주차 모드(P) 또는 후진 모드(R)가 입력되지 않은 경우, S618로 진행한다.
S618에서, 변속기 ECU로부터 주행 모드(D)의 입력 여부를 판단하고, 주행 모드(D)가 입력되면, S620로 진행한다.
S620에서, 차속 센서로부터 입력받은 차속이 기설정된 차속(20km/h) 미만인지를 나타내는 저속 모드인지를 판단하고, 저속모드인 경우, 상술한 단계 S614 및 S616이 수행된다.
만일, S620에서, 차속 센서로부터 입력받은 차속이 기설정된 차속(20km/h) 이상인 주행 모드로 판단되면, S622에서 AS 시스템이 동작되며, S624에서 AS 시스템에 의한 차량 능동 제어가 수행된다.
이상, 도 4 내지 도 6의 실시 예에서는, AVM 시스템의 4채널의 카메라들 중 전방 카메라를 차량용 능동안전시스템 용 스테레오 카메라로 대체하는 방법이 기술되었다.
AVM 시스템에서 사용되는 AVM용 카메라들을 이용해 360도의 주변 촬영하기 위해 광각 특성을 갖는 광각 렌즈를 탑재해야 한다. 이에 반해, AS 시스템에서 사용하는 스테레오 카메라는 자차의 360도의 주변을 촬영하기 위한 용도가 아니기 때문에, 협각 특성을 갖는 협각 렌즈를 탑재한다.
이러한 협각 렌즈를 통해 촬영된 영상은 광각 렌즈를 통해 촬영된 주변 영상에 비해 촬영범위가 좁기 때문에, AVM 시스템에서 요구하는 완전한 4채널 영상의 구현이 어려울 수도 있다.
즉, 스테레오 카메라 내의 협각 특성을 갖는 한쪽 카메라의 전방 영상을 이용하여, AVM 시스템에서 4채널 영상을 구성하게 되면, 도 7에 도시된 바와 같이, 영역들(P1, P2)이 화면을 통해 표시되지 않기 때문에, 완전한 4채널 영상의 구현이 어려울 수 있다.
이에, 본 발명의 다른 실시 예에서는, 스테레오 카메라 내의 하나의 카메라를 협각 및 광각 특성을 동시에 갖는 유체 렌즈(Liquid lens)로 구현한다.
그리고, 유체 렌즈를 갖는 상기 하나의 카메라와 AVM 시스템 간의 정보 전달 경로를 형성하여, AVM 시스템이 동작하는 상황에서는 상기 유체 렌즈가 광각 특성을 갖도록 제어하고, AS 시스템이 동작하는 상황에서는 상기 유체 렌즈가 협각 특성을 갖도록 제어한다.
유체 렌즈의 이해를 돕기 위해, 본 발명에 적용될 수 있는 유체 렌즈(Liquid lens)에 대해 도 8 내지 10을 참조하여 간략히 설명한다.
유체 렌즈
도 8은 본 발명의 스테레오 카메라에 적용될 수 있는 유체 렌즈의 원리를 설명하기 위한 단면도이다.
도 8을 참조하면, 유체 렌즈는 굴절률이 서로 다르고, 메니스커스(meniscus)(14)를 통해 접촉하는 비혼합성의 제1 유체(A) 및 제2 유체(B)를 구비한다.
또한 유체 렌즈는 실린더 벽을 갖는 실린더 형상의 유체 챔버(5), 상기 실린더의 내측벽에 배치된 유체 접촉층(contact layer)(10), 상기 유체 접촉층(10)에 의해 상기 제1 유체(A) 및 제2 유체(B)와 분리되는 제1 전극(2) 및 상기 제2 유체(B)를 활성화시키는 제2 전극(12)을 포함한다.
상기 제1 전극(2)은 실린더 형상으로서 절연층(insulating layer)(8)에 의해 코팅되고 금속성 물질로 만들어지며, 상기 제2 전극(12)은 유체 챔버(5)의 일측에 배치된다. 또한, 투명한 전방 요소(4)와 투명한 후방 요소(6)는 상기의 두 유체들을 수용하는 상기 유체 챔버(5)의 커버를 형성한다.
이와 같은 구성을 갖는 유체 렌즈의 동작은 다음과 같다.
상기 제1 전극(2)과 제2 전극(12) 사이에 전압이 인가되지 않을 때, 상기 유체 접촉층은 제2 유체(B)보다 제1 유체(A)에 대해 높은 습윤성(wettability)을 가진다.
만약, 상기 제1 및 제2 전극 사이에 전압(V1, V2, V3)이 인가되면, 일렉트로웨팅(electrowetting) 때문에, 상기 제2 유체(B)에 의한 습윤성이 변하고, 도 8 내지 도 10에 도시한 메니스커스(14)의 접촉각(Q1, Q2, Q3)이 변하게 된다.
따라서, 인가된 전압에 따라 메니스커스의 형상이 변화하게 되고, 이를 이용하여 상기 유체 렌즈의 초점조절을 행하도록 하는 것이다.
즉, 도 8 내지 도 10에서와 같이 인가된 전압의 크기에 따라 제1 유체(B)에서 측정한 상기 메니스커스(14)와 유체 접촉층(10) 사이의 각도는 각각 둔각에서 예각으로, 예컨대 대략 140°, 100°, 60°등으로 변화하게 된다.
따라서, 유체 렌즈는 인가된 전압에 따라 렌즈의 초점이 조절됨으로써, 광각 및 협각 특성을 모두 가질 수 있게 된다.
이하, 이상에서 설명한 유체 렌즈를 갖는 스테레오 카메라를 이용한 AVM 영상을 생성하는 차량 전자 제어 시스템에 대해 설명한다.
도 11은 본 발명의 다른 실시 예에 따른 차량 전자 제어 시스템에 관한 것이다.
도 11을 참조하면, 본 발명의 다른 실시 예에 따른 차량 전자 제어 시스템은 AS 시스템의 스테레오 카메라(110')를 구성하는 하나의 카메라를 유체 렌즈를 갖는 카메라(114')로 대체한다.
그리고, AS 시스템이 동작하는 상황에서는 이 카메라(114')가 협각 특성으로 동작하고, AVM 시스템이 동작하는 상황에서는 광각 특성으로 동작하도록 상기 유체 렌즈(114-1)에 전압을 인가하는 전압 인가부(260)를 더 포함한다.
도 11에 도시된 나머지 구성들(220, 232, 234, 236, 240)은 도 4에 도시된 구성들(220, 232, 234, 236, 240)과 동일한 기능을 수행하므로, 이들에 대한 구체적인 설명은 생략한다.
다만, 도 11의 동작 개시 판단부(210')는 도 4의 실시 예에서 판단 결과를 상기 전압 인가부(260)에 제공한다는 점에서 도 4의 동작 개시 판단부(210)의 동작과 차이가 있다.
즉, 본 발명의 다른 실시 예에 따른 동작 개시 판단부(210')는 차량의 변속 모드 및 차속 모드에 기초하여 AS 시스템(100) 또는 AVM 시스템(200)의 동작 개시를 위한 조건을 판단하고, 그 판단 결과에 따른 AS 시스템(100)의 동작 모드를 지시하는 AS 동작 모드 신호와 AVM 시스템의 동작 모드를 지시하는 AVM 동작 모드 신호를 전압 인가부(260)에 전달한다.
전압 인가부(260)가 AS 동작 모드 신호를 전달받는 경우, 스테레오 카메라를 구성하는 어느 한 카메라(114')의 유체 렌즈(114-1)가 협각 특성으로 동작하도록 제1 전압을 인가한다.
반대로, 전압 인가부(260)가 AVM 동작 모드 신호를 전달받는 경우, 카메라(114')의 유체 렌즈(114-1)가 광각 특성으로 동작하도록 제2 전압을 인가한다.
이와 같이, 본 발명의 다른 실시 예에서는, AVM 시스템에서 4채널의 카메라들 중 전방 카메라를 AVM 동작 모드에서 광각 특성으로 동작하는 유체 렌즈를 갖는 스테레오 카메라로 대체함으로써, AS 시스템과 AVM 시스템 간에 중첩되는 카메라가 제거됨으로써, 비용을 절감할 수 있다.
이상 바람직한 실시예와 첨부도면을 참조하여 본 발명의 구성에 관해 구체적으로 설명하였으나, 이는 예시에 불과한 것으로 본 발명의 기술적 사상을 벗어나지 않는 범주 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (15)

  1. 스테레오 카메라를 이용하여 차량의 능동 안전을 제어하는 차량용 능동 안전(AS: Active Safety) 시스템과 연동하는 차량용 AVM(Around View Monitoring) 시스템에 있어서,
    상기 차량의 변속 모드 및 차속 모드에 기초하여, 상기 AVM 시스템의 동작 조건을 판단하는 동작 조건 판단부;
    판단결과, 상기 변속 모드와 상기 차속 모드가 상기 AVM 시스템의 동작 조건을 만족하면, 상기 동작 조건 판단부의 제어에 따라 상기 스테레오 카메라에 의해 촬영된 좌측 및 우측 영상 중 어느 하나의 영상의 전달 경로를 상기 AS 시스템에서 상기 AVM 시스템으로 전환하는 경로 전환부; 및
    상기 AVM 시스템에 포함된 복수의 카메라에 의해 촬영된 상기 차량의 주변 영상들과 상기 경로 전환부를 통해 상기 AS 시스템으로부터 전달받은 상기 어느 하나의 영상을 합성하여 상기 차량의 주변 상황을 나타내는 주변 영상을 구성하는 AVM 영상 처리부
    를 포함하는 차량용 AVM 시스템.
  2. 제1항에 있어서, 상기 동작 조건 판단부는,
    상기 변속 모드가 주차 모드 또는 후진 모드인 경우, 상기 AVM 시스템의 동작 개시를 판단하는 것인 차량용 AVM 시스템.
  3. 제1항에 있어서, 상기 동작 조건 판단부는,
    상기 변속 모드가 주행 모드이고, 상기 차속이 기 설정된 차속보다 낮은 저속 모드인 경우, 상기 AVM 시스템의 동작 개시를 판단하는 것인 차량용 AVM 시스템.
  4. 제1항에 있어서, 상기 스테레오 카메라에 의해 촬영된 상기 어느 하나의 영상은 상기 차량의 전방 영상이고,
    상기 복수의 카메라에 의해 촬영된 상기 차량의 주변 영상들은 상기 차량의 좌측방 영상, 우측방 영상 및 상기 차량의 후방 영상인 것인 차량용 AVM 시스템.
  5. 제1항에 있어서, 상기 동작 조건 판단부는,
    상기 변속 모드가 주행 모드이고, 상기 차속이 기 설정된 차속 이상인 경우, 상기 AS 시스템의 개시를 판단하고,
    상기 경로 전환부는,
    상기 AS 시스템의 개시에 따라, 상기 스테레오 카메라에 의해 촬영된 좌측 및 우측 영상 중 어느 하나의 영상의 전달 경로를 상기 AVM 시스템에서 상기 AS 시스템으로 전환하는 것인 차량용 AVM 시스템.
  6. 스테레오 카메라를 적용한 차량용 능동 안전(AS: Active Safety) 시스템과 연동하는 차량용 AVM(Around View Monitoring) 시스템을 이용하여 차량의 주변을 모니터링 하는 방법에 있어서,
    상기 차량의 변속 모드 및 차속 모드에 기초하여, 상기 AVM 시스템의 동작 개시 조건을 판단하는 과정;
    상기 차량의 변속 모드 및 차속 모드가 상기 AVM 시스템의 동작 개시를 위한 조건을 만족하는 경우, 상기 스테레오 카메라에 의해 촬영된 좌측 및 우측 영상 중 어느 하나의 영상의 전달 경로를 상기 AS 시스템에서 상기 AVM 시스템으로 전환하는 과정; 및
    상기 AVM 시스템에 포함된 복수의 카메라에 의해 촬영된 상기 차량의 주변 영상들과 상기 AS 시스템으로부터 전달받은 상기 어느 하나의 영상을 합성하여 상기 차량 주변을 모니터링 하기 위한 주변 영상을 구성하는 과정
    을 포함하는 차량용 AVM 시스템을 이용하여 차량의 주변을 모니터링 하는 방법.
  7. 제6항에 있어서, 상기 AVM 시스템의 동작 개시 조건을 판단하는 과정은,
    상기 변속 모드가 주차 모드 또는 후진 모드인 경우, 상기 AVM 시스템의 동작 개시를 판단하는 것인 차량용 AVM 시스템을 이용하여 차량의 주변을 모니터링 하는 방법.
  8. 제6항에 있어서, 상기 AVM 시스템의 동작 개시 조건을 판단하는 과정은,
    상기 변속 모드가 주행 모드이고, 상기 차속이 기 설정된 차속보다 낮은 저속 모드인 경우, 상기 AVM 시스템의 동작 개시를 판단하는 것인 차량용 AVM 시스템을 이용하여 차량의 주변을 모니터링 하는 방법.
  9. 제6항에 있어서, 상기 스테레오 카메라에 의해 촬영된 상기 어느 하나의 영상은 상기 차량의 전방 영상이고,
    상기 복수의 카메라에 의해 촬영된 상기 차량의 주변 영상들은 상기 차량의 좌측방 영상, 우측방 영상 및 상기 차량의 후방 영상인 것인 차량용 AVM 시스템을 이용하여 차량의 주변을 모니터링 하는 방법.
  10. 제6항에 있어서, 상기 AVM 시스템의 동작 개시 조건을 판단하는 과정은,
    상기 변속 모드가 주행 모드이고, 상기 차속이 기 설정된 차속 이상인 경우, 상기 AS 시스템의 개시를 판단하고,
    상기 AS 시스템의 개시에 따라, 상기 스테레오 카메라에 의해 촬영된 좌측 및 우측 영상 중 어느 하나의 영상의 전달 경로를 상기 AVM 시스템에서 상기 AS 시스템으로 전환하는 과정을 더 포함함을 특징으로 하는 차량용 AVM 시스템을 이용하여 차량의 주변을 모니터링 하는 방법.
  11. 평행하게 배치된 2개의 카메라들로 구성된 스테레오 카메라를 이용하여 차량의 능동 안전을 제어하는 차량용 능동 안전(AS: Active Safety) 시스템과 연동하는 차량용 AVM(Around View Monitoring) 시스템에 있어서,
    상기 차량의 변속 모드 및 차속 모드에 기초하여, 상기 AVM 시스템의 동작 개시 조건을 판단하는 동작 조건 판단부;
    상기 차량의 변속 모드 및 차속 모드가 상기 동작 개시 조건을 만족하는 경우, 상기 동작 개시 판단부의 제어에 따라 상기 카메라들 중 유체 렌즈를 갖는 카메라에 의해 촬영된 광각 영상의 전달 경로를 상기 AS 시스템에서 상기 AVM 시스템으로 전환하는 경로 전환부; 및
    상기 AVM 시스템에 포함된 복수의 카메라에 의해 촬영된 상기 차량의 주변 영상들과 상기 경로 전환부를 통해 전달받은 상기 광각 영상을 합성하여 상기 차량의 주변 상황을 모리터링 하기 위한 주변 영상을 구성하는 AVM 영상 처리부를 포함하는 차량용 AVM 시스템.
  12. 제11항에 있어서, 상기 동작 조건 판단부는,
    상기 차량의 변속 모드 및 차속 모드가 상기 AVM 시스템의 동작 개시 조건을 만족하는 경우, 상기 유체 렌즈를 광각 특성으로 동작시키기 위한 AVM 동작 모드 신호와 상기 차량의 변속 모드 및 차속 모드가 상기 AS 시스템의 동작 개시 조건을 만족하는 경우, 상기 유체 렌즈를 협각 특성으로 동작시키기 위한 AS 동작 모드 신호를 출력하는 차량용 AVM 시스템.
  13. 제12항에 있어서, 상기 AS 동작 모드 신호에 응답하여 상기 유체 렌즈를 협각 특성으로 동작시키기 위한 제1 전압과 상기 AVM 동작 모드 신호에 응답하여 상기 유체 렌즈를 광각 특성으로 동작시키기 위한 제2 전압을 출력하는 전압 인가부를 더 포함하는 차량용 AVM 시스템.
  14. 제11항에 있어서, 상기 광각 영상은 상기 차량의 전방 영상이고,
    상기 복수의 카메라에 의해 촬영된 상기 차량의 주변 영상들은 상기 차량의 좌측방 영상, 우측방 영상 및 상기 차량의 후방 영상인 것인 차량용 AVM 시스템.
  15. 제11항에 있어서, 상기 동작 조건 판단부는,
    상기 변속 모드가 주차 모드 또는 후진 모드인 경우, 상기 AVM 시스템의 동작 개시를 판단하는 것인 차량용 AVM 시스템.
KR1020140089074A 2014-07-15 2014-07-15 차량용 어라운드 뷰 모니터링 시스템 및 이의 방법 Active KR101603609B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140089074A KR101603609B1 (ko) 2014-07-15 2014-07-15 차량용 어라운드 뷰 모니터링 시스템 및 이의 방법
US14/738,102 US10261104B2 (en) 2014-07-15 2015-06-12 Around view monitoring system and method for vehicles
CN201510382290.5A CN105291981B (zh) 2014-07-15 2015-07-02 车辆用全景式监控影像系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140089074A KR101603609B1 (ko) 2014-07-15 2014-07-15 차량용 어라운드 뷰 모니터링 시스템 및 이의 방법

Publications (2)

Publication Number Publication Date
KR20160009157A KR20160009157A (ko) 2016-01-26
KR101603609B1 true KR101603609B1 (ko) 2016-03-28

Family

ID=55075659

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140089074A Active KR101603609B1 (ko) 2014-07-15 2014-07-15 차량용 어라운드 뷰 모니터링 시스템 및 이의 방법

Country Status (3)

Country Link
US (1) US10261104B2 (ko)
KR (1) KR101603609B1 (ko)
CN (1) CN105291981B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210111600A (ko) 2020-03-03 2021-09-13 박현주 다중 화각 카메라를 활용한 전방위 뎁스 영상 생성 기반 이동수단 모니터링 시스템 및 방법

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9656621B2 (en) * 2015-09-14 2017-05-23 Pearl Automation Inc. System and method for sensor module power management
CN107776489B (zh) * 2016-08-26 2020-07-10 比亚迪股份有限公司 车辆及其全景影像的显示方法和显示系统
US10165256B2 (en) * 2016-09-14 2018-12-25 Amazon Technologies, Inc. Aerial vehicle optical sensor configuration
KR102012776B1 (ko) 2017-08-29 2019-08-21 엘지전자 주식회사 차량용 어라운드 뷰 제공 장치 및 차량
KR102521834B1 (ko) * 2018-08-21 2023-04-17 삼성전자주식회사 차량으로 영상을 제공하는 방법 및 이를 위한 전자 장치
TWI686747B (zh) 2018-11-29 2020-03-01 財團法人金屬工業研究發展中心 移動載具全周障礙迴避之方法
JP7213158B2 (ja) * 2019-07-09 2023-01-26 株式会社小野測器 状態計測装置及び状態計測方法
KR20210120384A (ko) * 2020-03-26 2021-10-07 현대모비스 주식회사 충돌 거리 추정 장치 및 이를 이용한 주행 보조 시스템
KR102473407B1 (ko) * 2020-12-28 2022-12-05 삼성전기주식회사 틸트 카메라를 이용한 차량의 svm 시스템
DE102022116331A1 (de) 2022-06-30 2024-01-04 Connaught Electronics Ltd. Kamera für ein Fahrzeug, Verfahren zum Betreiben einer Kamera und System mit einer Kamera, z.B. zur Verwendung als Kamera-Monitor-System oder Rundumsicht-System

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100498987B1 (ko) 2002-10-11 2005-07-01 엘지전자 주식회사 Ｇｐｓ 위치 데이터 수신 불량 지역에서의 이동체 위치예측 방법
JP2006333009A (ja) 2005-05-25 2006-12-07 Nissan Motor Co Ltd 俯瞰画像表示装置及び俯瞰画像表示方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4420011B2 (ja) * 2006-11-16 2010-02-24 株式会社日立製作所 物体検知装置
WO2010099416A1 (en) * 2009-02-27 2010-09-02 Magna Electronics Alert system for vehicle
JP5344227B2 (ja) 2009-03-25 2013-11-20 アイシン精機株式会社 車両用周辺監視装置
EP2495983A1 (en) * 2009-12-11 2012-09-05 Sharp Kabushiki Kaisha Image display device, visual aid, and three-dimensional image display system using those
JP5979812B2 (ja) * 2010-07-27 2016-08-31 キヤノン株式会社 画像処理装置および画像処理方法
KR101267885B1 (ko) * 2011-04-07 2013-05-27 (주)지오크로스 차량용 영상 스위칭 장치 및 이를 이용한 영상 처리 제어 방법
WO2012169355A1 (ja) * 2011-06-09 2012-12-13 アイシン精機株式会社 画像生成装置
GB201203159D0 (en) * 2012-02-23 2012-04-11 Smartkem Ltd Organic semiconductor compositions
TW201344648A (zh) * 2012-04-30 2013-11-01 Tung Thih Electronic Co Ltd 行車監控系統與行車監控方法
CN202806557U (zh) 2012-06-14 2013-03-20 北京万得嘉瑞汽车技术有限公司 一种集成全景泊车和车道偏离报警功能的驾驶辅助系统
CN203063814U (zh) 2012-11-30 2013-07-17 东风悦达起亚汽车有限公司 一种电动汽车后视镜影像系统
KR101480436B1 (ko) 2012-12-20 2015-01-09 현대오트론 주식회사 3차원 avm이 탑재된 차량의 주차시 후사경 디스플레이의 뷰모드 전환 장치 및 방법
JP6429452B2 (ja) * 2013-11-22 2018-11-28 ルネサスエレクトロニクス株式会社 車載用画像処理装置及び半導体装置
CN103763470A (zh) 2014-01-10 2014-04-30 重庆路威科技发展有限公司 一种便携式场景拍照装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100498987B1 (ko) 2002-10-11 2005-07-01 엘지전자 주식회사 Ｇｐｓ 위치 데이터 수신 불량 지역에서의 이동체 위치예측 방법
JP2006333009A (ja) 2005-05-25 2006-12-07 Nissan Motor Co Ltd 俯瞰画像表示装置及び俯瞰画像表示方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210111600A (ko) 2020-03-03 2021-09-13 박현주 다중 화각 카메라를 활용한 전방위 뎁스 영상 생성 기반 이동수단 모니터링 시스템 및 방법

Also Published As

Publication number Publication date
US10261104B2 (en) 2019-04-16
CN105291981A (zh) 2016-02-03
US20160021312A1 (en) 2016-01-21
KR20160009157A (ko) 2016-01-26
CN105291981B (zh) 2017-10-20

Similar Documents

Publication Publication Date Title
KR101603609B1 (ko) 차량용 어라운드 뷰 모니터링 시스템 및 이의 방법
JP6724982B2 (ja) 信号処理装置および撮像装置
US9007462B2 (en) Driving assist apparatus, driving assist system, and driving assist camera unit
JP5953824B2 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
US9620009B2 (en) Vehicle surroundings monitoring device
EP3125018B1 (en) Virtual-image display apparatus, heads-up-display system, and vehicle
CN102529830A (zh) 主动显示车辆周围环境的系统
JP7000383B2 (ja) 画像処理装置および画像処理方法
WO2018159017A1 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2018129668A (ja) 画像表示装置
JP2009065483A (ja) 駐車支援装置
CN112822348B (zh) 交通工具机载成像系统
JP2005186648A (ja) 車両用周囲視認装置および表示制御装置
CN112351242A (zh) 图像处理装置以及图像处理方法
CN104735403A (zh) 车用障碍物侦测显示系统
JP6258000B2 (ja) 画像表示システム、画像表示方法及びプログラム
CN113060156B (zh) 车辆周围监视装置、车辆、车辆周围监视方法和程序
JP2019188855A (ja) 車両用視認装置
JP2012065225A (ja) 車載用画像処理装置、周辺監視装置、および、車両
KR101941607B1 (ko) 차량용 촬영 표시 장치 및 기록 매체
US20190166358A1 (en) Display device, electronic mirror and method for controlling display device
JP2008263325A (ja) 車外撮影カメラ画像表示装置
JP2009020647A (ja) 立体物検出方法および立体物検出装置
EP3315366B1 (en) Imaging and display device for vehicle and recording medium
JP2019110390A (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20140715

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20150708

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20160105

PG1501 Laying open of application
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20160309

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20160309

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20200302

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20200302

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20210302

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20220302

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20240227

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20250225

Start annual number: 10

End annual number: 10