[go: up one dir, main page]

KR101761921B1 - 차량 운전자의 시계 보조 시스템 및 방법 - Google Patents

차량 운전자의 시계 보조 시스템 및 방법 Download PDF

Info

Publication number
KR101761921B1
KR101761921B1 KR1020110017830A KR20110017830A KR101761921B1 KR 101761921 B1 KR101761921 B1 KR 101761921B1 KR 1020110017830 A KR1020110017830 A KR 1020110017830A KR 20110017830 A KR20110017830 A KR 20110017830A KR 101761921 B1 KR101761921 B1 KR 101761921B1
Authority
KR
South Korea
Prior art keywords
signal
image
unit
pedestrian
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020110017830A
Other languages
English (en)
Other versions
KR20120098107A (ko
Inventor
김주현
민경중
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020110017830A priority Critical patent/KR101761921B1/ko
Priority to US13/159,667 priority patent/US8767074B2/en
Priority to DE102011105628.2A priority patent/DE102011105628B4/de
Publication of KR20120098107A publication Critical patent/KR20120098107A/ko
Application granted granted Critical
Publication of KR101761921B1 publication Critical patent/KR101761921B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R19/00—Wheel guards; Radiator guards, e.g. grilles; Obstruction removers; Fittings damping bouncing force in collisions
    • B60R19/02—Bumpers, i.e. impact receiving or absorbing members for protecting vehicles or fending off blows from other vehicles or objects
    • B60R19/48—Bumpers, i.e. impact receiving or absorbing members for protecting vehicles or fending off blows from other vehicles or objects combined with, or convertible into, other devices or objects, e.g. bumpers combined with road brushes, bumpers convertible into beds
    • B60R19/483—Bumpers, i.e. impact receiving or absorbing members for protecting vehicles or fending off blows from other vehicles or objects combined with, or convertible into, other devices or objects, e.g. bumpers combined with road brushes, bumpers convertible into beds with obstacle sensors of electric or electronic type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/108—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 'non-standard' camera systems, e.g. camera sensor used for additional purposes i.a. rain sensor, camera sensor split in multiple image areas
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Toxicology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 단일의 카메라 모듈을 사용하여 보행자 인식에 필요한 컬러 화질의 야간 영상 및 차선이탈 경보에 필요한 차선에 대한 영상을 표시하기 위하여, 차량 전방의 영상에 대한 광학적 신호를 수광하는 렌즈와, IR필터, R필터, G필터, B필터로 이루어진 컬러 필터 어레이와, 상기 수광된 광학적 신호를 영상 처리에 필요한 전기적 원시 영상 신호로 변환하는 이미지 센서로 이루어진 카메라 모듈; 상기 카메라 모듈로부터 출력된 전기적 원시 영상 신호에서 RGB 영상 신호 또는 IR 영상 신호를 추출하는 신호 추출부; 상기 추출된 RGB 영상 신호를 보간하는 RGB 보간부, 보간된 RGB 영상 신호의 데이터 크기를 상기 IR 보간부에서 보간된 IR 영상 신호의 데이터 크기로 확장하는 신호 확장부 및 확장된 RGB 영상 신호를 YCbCr 영상 신호로 변환하는 신호 변환부로 구성되어 차선 패턴을 표시하는 영상에 필요한 데이터를 생성하는 차선패턴영상 데이터 생성부; 상기 추출된 IR 영상 신호를 보간하는 IR 보간부와 보간된 IR 영상 신호에 상기 신호 변환부로부터 출력된 YCbCr 영상 신호를 합성하는 신호 합성부로 구성되어 야간 운행시 보행자를 표시하는 영상에 필요한 데이터를 생성하는 보행자영상 데이터 생성부; 및 상기 차선패턴영상 데이터 생성부 및/또는 보행자영상 데이터 생성부에서 생성된 영상 데이터를 디스플레이에 구현하는 디슬플레이 구동부를 포함하는 차량 운전자의 시계 보조 시스템을 제시한다.

Description

차량 운전자의 시계 보조 시스템 및 방법{SYSTEM AND METHOD FOR ASSISTING A DRIVER}
본 발명은 차량 운전자 시계 보조 시스템 및 방법에 관한 것으로, 더욱 상세하게는 단일의 카메라 모듈을 사용하여 보행자 인식에 필요한 컬러 화질의 야간 영상과 차선이탈 경보에 필요한 차선을 표시하는 영상을 구현할 수 있는 차량 운전자 시계 보조 시스템 및 방법에 관한 것이다.
최근의 자동차 기술에는 차량 운행 중의 운전자 편의와 안전을 향상시키기 위하여 자동차의 전,후방을 비롯하여 좌,우측에 카메라를 설치하고 운전석 계기판의 디스플레이를 통해 영상으로 확인할 수 있는 다양한 시스템이 연구 개발되고 있으며 이미 적용되기 시작하였다.
이러한 운전자의 편의를 도모하기 위한 시스템 중 하나로써, 나이트 비젼 시스템(Night Vision System:NVS)은 야간 주행 등 어두운 환경에서의 차량 운행 시 운전자의 시계를 보조하기 위한 장치로써 차량의 전방에 적외선을 방사하고, 이를 카메라로 촬영하여 운전자에게 영상을 제공한다.
이와 같은 나이트 비젼 시스템에 필요한 카레라 모듈의 수평 화각은 대략 17도 정도이고, 보행자 인식을 위해 최소한 VGA급(640x480) 이상의 해상도가 요구된다.
한편, 나이트 비젼 시스템 외에 운전자의 편의를 도모하기 위한 시스템 중 다른 하나로써 차선이탈 경보 시스템(Lane Departure Warning System:LDWS)이 있는데, 이는 차량에 부착된 카메라로부터 차량 전방의 도로 영상을 감지하여 현재 달리고 있는 차선을 파악한 후, 만약 운전자가 부주의나 졸음운전 등으로 차선을 이탈하려고 하면 경보음이 울리도록 하여 주는 안전장치이다.
이와 같은 차선이탈 경보 시스템에 필요한 카메라 모듈의 수평 화각은, 차량 전방의 원거리 및 근거리 차선을 모두 인식해야 하므로 나이트 비젼 시스템에서 요구되는 수평 화각보다 큰 40도 가량이 요구되며, 단순한 패턴으로 이루어진 차선만을 인식하면 되므로, 나이트 비젼 시스템에서 요구되는 해상도보다 낮은 QVGA급(320x240) 정도의 해상도를 만족시키면 된다.
따라서, 나이트 비젼 시스템(Night Vision System:NVS)과 차선이탈 경보 시스템(Lane Departure Warning System:LDWS)을 단일의 카메라 모듈로 구현하기 위해서는 40도 이상의 렌즈 수평 화각에 VGA급(640x480) 이상의 해상도가 필요하다.
그러나, 차량 전방 라이트는 사람의 눈에 가장 감도가 좋은 555nm의 황색 파장을 쓰는데, 전방에 오는 차량 및 운전자 차량의 전조등 불빛에 의해서 나이트 비젼 이미지가 포화되는 블루밍(blooming) 현상을 방지하기 위하여 나이트 비젼 시스템(Night Vision System:NVS)에서 사용되는 대부분의 카메라 모듈에는 650nm 이상만을 통과시키는 적외선 통과 필터(IR Pass Filter)가 배치되고, 차선이탈 시스템에서 사용되는 카메라 모듈에는 가시광선 영역을 벗어나는 적외선에 의한 화질의 열화 현상을 방지하기 위하여 렌즈와 이미지 센서 사이에 적외선을 차단하는 적외선 차단 필터(IR Cut Filter)가 배치된다.
이와 같은 이유로, 나이트 비젼 시스템에서 사용되는 카메라 모듈로는 차선의 색상을 인식하기 위한 컬러 이미지를 구현할 수 없고, 역시 차선이탈 시스템에서 사용되는 카메라 모듈로는 저조도 환경에서 사물을 식별할 수 없어, 단일의 카메라 모듈로써 차선을 표시하는 영상과 야간 운행시 보행자를 표시하는 영상을 동시에 구현하기에 어려운 점이 있다. 따라서, 차선을 표시하는 영상과 야간 운행시 보행자를 표시하는 영상을 동시에 구현하기 위해서는 각각의 시스템에서 요구되는 각각의 카메라 모듈을 사용해야 하고, 이에 따라, 차량 운전자의 시계를 보조하는 시스템 구현에에 있어 많은 비용이 드는 문제가 따르게 된다.
또한, 종래 나이트 비젼 시스템에서 보행자를 표시하는 영상의 경우, 카메라 모듈에 적외선 통과 필터가 배치됨에 따라 흑백의 화질로 구현되어 운전자가 디스플레이를 보고 보행자를 식별하기에 어려움이 있었다.
본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 단일의 카메라 모듈로써 보행자 인식에 필요한 야간 영상과 차선이탈 경보에 필요한 차선패턴영상을 동시에 구현하고, 컬러로 구현되는 보행자 표시 영상을 제공하여 운전자의 시계를 보조하는 차량 운전자의 시계 보조 시스템 및 이를 이용하여 차량 운전자의 시계를 보조하는 방법을 제공함에 본 발명의 목적이 있다.
상기 목적을 달성하기 위하여, 본 발명의 일 실시예를 따르면, 차량 전방의 영상에 대한 광학적 신호를 수광하는 렌즈와, IR필터, R필터, G필터, B필터로 이루어진 컬러 필터 어레이와, 상기 수광된 광학적 신호를 영상 처리에 필요한 전기적 원시 영상 신호로 변환하는 이미지 센서로 이루어진 카메라 모듈; 상기 카메라 모듈로부터 출력된 전기적 원시 영상 신호에서 RGB 영상 신호 및/또는 IR 영상 신호를 추출하는 신호 추출부; 상기 추출된 RGB 영상 신호를 보간하는 RGB 보간부, 보간된 RGB 영상 신호의 데이터 크기를 확장하는 신호 확장부 및 확장된 RGB 영상 신호를 YCbCr 영상 신호로 변환하는 신호 변환부로 구성되어 차선 패턴을 표시하는 영상에 필요한 데이터를 생성하는 차선패턴영상 데이터 생성부; 상기 추출된 IR 영상 신호를 보간하는 IR 보간부와 보간된 IR 영상 신호에 상기 신호 변환부로부터 출력된 YCbCr 영상 신호를 합성하는 신호 합성부로 구성되어 보행자를 표시하는 영상에 필요한 데이터를 생성하는 보행자영상 데이터 생성부; 및 상기 차선패턴영상 데이터 생성부 및/또는 보행자영상 데이터 생성부에서 생성된 영상 데이터를 디스플레이에 구현하는 디슬플레이 구동부;를 포함하는 차량 운전자의 시계 보조 시스템을 제공한다.
또한, 상기 컬러 필터 어레이는 n번째 행 방향으로는 IR필터가 배치되고, n+1번째 행 방향으로는 IR필터와, B, G, R 필터 중 어느 하나의 필터가 교호(交互)적으로 배치되는 차량 운전자의 시계 보조 시스템을 제공한다.
또한, 상기 보행자영상 데이터 생성부에서 영상 신호 처리가 수행되기 전, 보행자 인식에 필요한 렌즈의 수평 화각에 상응하는 관심 영역을 제외한 잔여 부분에 대해 크로핑 처리하는 크로핑 수행부를 더 포함하는 차량 운전자의 시계 보조 시스템을 제공한다.
또한, 상기 차선패턴영상 데이터 생성부는 입력 신호에 대해 화이트 밸런스를 적용하는 화이트 밸런스 적용부, 상기 신호 추출부에 의해 추출된 RGB 영상 신호에서 노이즈로 작용하는 성분을 제거하는 제1필터링부를 더 포함하는 차량 운전자의 시계 보조 시스템을 제공한다.
또한, 상기 보행자영상 데이터 생성부는 야간 운행시 어두운 환경에 따른 낮은 신호 레벨의 밝기값을 개선하는 밝기 개선부, 상기 신호 추출부에 의해 추출된 IR 영상 신호에서 노이즈로 작용하는 성분을 제거하는 제2필터링부를 더 포함하는 차량 운전자의 시계 보조 시스템을 제공한다.
또한, 상기 신호 합성부는 상기 IR 보간부에 의해 보간된 IR 영상 신호를 명암 신호 Y로 하고, 상기 신호 변환부에서 출력된 YCbCr 영상 신호 중에서 Cb 신호 및 Cr 신호를 색차 신호로 하여 상기 Y 신호와 Cb, Cr 신호를 합성하는 차량 운전자의 시계 보조 시스템을 제공한다.
또한, 상기 차선패턴영상 데이터 생성부에서 생성된 영상 데이터로부터 차선을 인식하는 차선 인식부, 상기 차선 인식부에 의해 인식된 차선으로부터 차량이 이탈하는지 판단하는 차선이탈 판단부 및 차량이 차선을 이탈하는 경우 경보를 발생시키는 경보부를 더 포함하는 차량 운전자의 시계 보조 시스템을 제공한다.
또한, 상기 보행자영상 데이터 생성부에서 생성된 영상 데이터로부터 보행자를 인식하는 보행자 인식부, 보행자와의 거리를 감지하는 거리 감지부, 및 상기 보행자 인식부와 거리 감지부를 기반으로 보행자가 위치하는 영역 정보를 산출하여 위험지역에 내에 보행자가 존재하는 경우 경보를 발생시키는 경보부를 더 포함하는 차량 운전자의 시계 보조 시스템을 제공한다.
상기 목적을 달성하기 위하여, 본 발명의 일 실시예를 따르면, (a)상기 카메라 모듈로부터 차량 전방의 영상에 대한 광학적 신호를 수광하여 영상 처리에 필요한 전기적 원시 영상 신호로 변환하는 단계; (b)상기 전기적 원시 영상 신호에서 RGB 영상 신호 및/또는 IR 영상 신호를 추출하는 단계; (c)상기 (b)단계에 의해 추출된 RGB 영상 신호를 보간하고, 상기 보간된 RGB 영상 신호의 데이터 크기를 확장한 다음, YCbCr 영상 신호로 변환하여 차선 패턴을 표시하는 영상에 필요한 데이터를 생성하는 단계; (d)상기 (b)단계에 의해 추출된 IR 영상 신호를 보간하고, 상기 보간된 IR 영상 신호에 상기 (c)단계에서 변환된 YCbCr 영상 신호를 합성하여 컬러 화질의 보행자를 표시하는 영상에 필요한 데이터를 생성하는 단계; 및 (e)상기 (c)단계 및/또는 (d)단계에서 생성된 영상 데이터를 디스플레이에 구현하는 단계;를 포함하는 차량 운전자의 시계 보조 방법을 제공한다.
또한, 상기 (d)단계의 영상 신호 처리 전, 보행자 인식에 필요한 렌즈의 수평 화각에 상응하는 관심 영역을 제외한 잔여 부분에 대해 크로핑 처리를 수행하는 단계를 더 포함하는 차량 운전자의 시계 보조 방법을 제공한다.
또한, 상기 (c)단계에서 생성된 영상 데이터로부터 차선을 인식하고, 인식된 차선으로부터 차량이 이탈하는지 판단하여 차량이 차선을 이탈하는 경우 경보를 발생시키는 단계를 더 포함하는 차량 운전자의 시계 보조 방법을 제공한다.
본 발명에 따르면, 단일의 카메라 모듈로써 보행자 인식에 필요한 야간 영상과 차선이탈 경보에 필요한 차선패턴영상을 동시에 구현함으로써 적은 비용으로 차량 운전자의 시계를 보조할 수 있다.
또한, 야간 운행시 보행자를 표시하는 영상을 컬러로 구현함으로써 운전자로 하여금 보행자를 명확히 인식하게 할 수 있다.
도 1은 본 발명에 따른 차량 운전자의 시계 보조 시스템의 구성을 도시한 블록도.
도 2는 본 발명의 차량 운전자의 시계 보조 시스템에서 사용되는 8x8 컬러 필터 어레이를 예시한 도면.
도 3은 도 2의 본 발명에 사용되는 컬러 필터 어레이에서 R필터, G필터, B필터만을 표시한 도면.
도 4는 보행자를 표시하는 영상을 구현하기 위해 요구되는 렌즈의 수평 화각을 예시한 도면.
도 5는 본 발명에 따른 차량 운전자의 시계 보조 시스템을 이용하여 차량 운전자의 시계를 보조하는 방법의 순서를 도시한 흐름도.
이하, 첨부된 도면을 참조하면서 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용되는 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
도 1은 본 발명에 따른 차량 운전자의 시계 보조 시스템의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 차량 운전자의 시계 보조 시스템은 차량 전방의 영상에 대한 광학적 신호를 수광하는 렌즈와, IR필터, R필터, G필터, B필터로 이루어진 컬러 필터 어레이와, 상기 수광된 광학적 신호를 영상 처리에 필요한 전기적 원시 영상 신호로 변환하는 이미지 센서로 이루어진 카메라 모듈(100), 상기 카메라 모듈(100)로부터 출력된 전기적 원시 영상 신호에서 RGB 영상 신호 및/또는 IR 영상 신호를 추출하는 신호 추출부(200), 상기 추출된 RGB 영상 신호를 이용하여 차선 패턴을 표시하는 영상(이하, 차선패턴영상이라 칭함)에 필요한 데이터를 생성하는 차선패턴영상 데이터 생성부(500), 상기 추출된 IR 영상 신호를 이용하여 컬러 화질의 보행자를 표시하는 영상(이하, 보행자영상이라 칭함)에 필요한 데이터를 생성하는 보행자영상 데이터 생성부(400) 및 상기 차선패턴영상 데이터 생성부(500) 및/또는 보행자영상 데이터 생성부(400)에서 생성된 영상 데이터를 디스플레이에 구현하는 디스플레이 구동부(600)를 포함할 수 있다.
이미지 파이프(I-Pipe)을 통한 영상 신호 처리(Image Signal Process:ISP)를 위해서는, 먼저 상기 렌즈에 의해 수광된 차량 전방의 영상에 대한 광학적 신호를 영상 처리에 필요한 전기적 원시 영상 신호로 변환해야 하는데, 이는 상기 이미지 센서에 의해 수행될 수 있다. 여기서, 이미지는 센서는 씨씨디(Charged Coupled Device:CCD) 이미지 센서와 씨모스(Complementary Metal Oxide Semiconductor:CMOS) 이미지 센서 등 공지의 이미지 센서를 이용할 수 있고, 본 발명에서는 어느 하나에 한정되지 않는다.
이미지 센서를 구성하는 광 감지 소자(포토사이트(Photosite)로 불리는 작은 감광 다이오드)는 일반적으로 피사체의 광학 신호 세기만을 측정할 뿐 분광 특성은 감지할 수 없으므로, 컬러 필터 어레이(Color Filter Array:CFA)를 배치하여 일정 영역 주파수의 광학 신호만을 통과시켜 컬러 영상을 표현할 수 있다. 다만, 본 발명에 따른 차량 운전자의 시계 보조 시스템은 단일의 카메라 모듈(100)로써 보행자영상 및/또는 차선패턴영상을 구현하고, 상기 보행자영상을 컬러 화질로 구현하는 것이 목적이므로, 종래 차선이탈 경보 시스템이나 나이트 비전 시스템에서 사용되는 컬러 필터 어레이와 달리, IR필터, R필터, G필터, B필터로 이루어진 컬러 필터 어레이를 사용할 수 있다.
도 2는 본 발명의 차량 운전자의 시계 보조 시스템에서 사용되는 8x8 컬러 필터 어레이를 예시한 도면이다.
여기서, B 필터는 렌즈를 통해 입사되는 광학적 신호 중에서 청색 색 정보(color information)에 상응하는 신호만을 투과하게 하는 컬러 필터, G 필터는 녹색 색 정보에 상응하는 신호만을 투과하게 하는 컬러 필터, R 필터는 적색 색 정보에 상응하는 신호만을 투과하게 하는 컬러 필터, IR 필터는 미리 정해진 적외선 신호만을 투과하는 필터로써, 도 2를 참조하면, n(여기서, n은 자연수)번째 행 방향으로는 IR필터만이 배치될 수 있고, n+1번째 행 방향으로는 IR필터와, B, G, R 필터 중 어느 하나의 필터가 교호(交互)적으로 배치될 수 있다. 다만, 인간의 시각 시스템이 휘도(luminance) 성분, 즉, 녹색(Green)에 가장 민감하여 녹색(G)성분은 대다수의 센서로 검출되는 반면, 인간의 시각이 더 적은 분해능(resolution)을 갖는 청색(B) 및 적색(R)성분은 소수의 센서로 검출되는 특성에 따라 B 필터, G 필터, R 필터의 비율이 1:2:1이 될 수 있도록 배치될 수 있다.
IR필터, R필터, G필터, B필터가 이와 같이 배치되는 경우, IR필터, R필터, G필터, B필터의 비율이 12:1:2:1가 되므로, IR 영역 주파수의 광학적 신호만을 통과시키는 픽셀의 수가 75%가 되더라도, 예를 들어, 1280x960의 해상도를 가지는 이미지 센서를 사용하면, 추후 상기 디스플레이 구동부(600)에 의해 구현되는 출력 영상이 보행자를 인식하기에 요구되는 VGA급 이상의 화질을 만족시킬 수 있다. 그리고, RGB 영역 주파수의 광학적 신호만을 통과시키는 픽셀의 수가 25%에 불과하더라도, 이 역시 1280x960의 해상도를 가지는 이미지 센서를 사용하면 차선 패턴을 인식하기에 요구되는 QVGA급 이상의 화질을 만족시킬 수 있게 된다.
이상에서 IR필터, R필터, G필터, B필터의 비율이 12:1:2:1이 되는 8x8 컬러 필터 어레이와 이에 대응될 수 있는 1280x960의 해상도를 가지는 이미지 센서를 중심으로 설명하였으나, 보행자 영상 및 차선패턴 영상의 요구 스펙 화질, 또는 연산 씨피유(CPU)나 메모리의 용량 등에 따라 다양한 크기를 갖는 컬러 필터 어레이(예를 들어, 16x16 크기의 컬러 필터 어레이) 및 이에 대응될 수 있는 다양한 해상도(예를 들어 1920x1200, 2048x1536 등의 해상도)를 가지는 이미지 센서를 사용할 수 있고, IR필터, R필터, G필터, B필터의 비율 또한 이에 따라 다양하게 구성될 수 있음은 물론이다.
상기 렌즈에 의해 수광된 광학적 신호가 이미지 센서에 의해 전기적 원시 영상 신호로 변환되어 출력되면, 신호 추출부(200)는 상기 전기적 원시 영상 신호에서 RGB 영상 신호 또는 IR 영상 신호를 선택적으로 추출할 수 있다.
적외선 송출기에서 방사된 적외선 영역의 광학적 신호는 보행자영상을 구현하는 데이터 생성에 사용되고, 가시광선 영역의 광학적 신호는 차선패턴영상을 구현하는 데이터 생성에 사용되므로, 상기 신호 추출부(200)는 카메라 모듈(100)에서 출력된 전기적 원시 영상 신호에서 RGB 영상 신호 또는 IR 영상 신호를 분리하여 선택적으로 추출하는 것이다.
이를 위하여, 도 2에 도시된 8x8 컬러 필터 어레이를 사용하는 경우, 컬러 필터 어레이의 R필터, G필터, B필터가 배치된 행에 상응하는 전기적 원시 영상 신호에서 R필터, G필터, B필터의 픽셀값만을 RGB 영상 신호로써 선택적으로 추출하고, 컬러 필터 어레이의 모든 행에 상응하는 전기적 원시 영상 신호에서 IR 픽셀값만을 IR 영상 신호로써 선택적으로 추출할 수 있다.
상기 신호 추출부(200)에 의해 RGB 영상 신호가 분리되어 추출되면, 상기 차선패턴영상 데이터 생성부(500)는 추출된 RGB 영상 신호를 이용하여 차선패턴영상에 필요한 데이터를 생성할 수 있다.
이와 같은 상기 차선 패턴 생성부는 추출된 RGB 영상 신호를 보간하는 RGB 보간부(530), 보간된 RGB 영상 신호의 데이터 크기를 IR 보간부(430)에서 보간된 IR 영상 신호의 데이터 크기로 확장하는 신호 확장부(540) 및 확장된 RGB 영상 신호를 YCbCr 영상 신호로 변환하는 신호 변환부(550)로 구성될 수 있다.
도 2에 도시된 8x8 컬러 필터 어레이의 각 R필터, G필터, B필터는 적색, 녹색 및 청색의 세가지 색 중 하나의 색 정보만을 갖게 되므로 완전한 컬러 영상을 얻기 위하여, 상기 RGB 보간부(530)는 컬러 필터 어레이에서 해당 필터가 가지고 있는 색 정보와 그 주변 필터들이 가지는 색 정보를 참조하여 해당 필터가 갖지 않는 나머지 두 가지 색 정보를 복원하는 알고리즘을 수행할 수 있다.
RGB 영상 신호를 보간하는 방법 중에서 일반적으로 잘 알려진 방법은 주변 픽셀의 평균값을 사용하는 양선형 보간법(bilinear interpolation)이 있다. 다만, 상술한 바와 같이 본 발명에 따른 차량 운전자의 시계 보조 시스템에서 사용되는 컬러 필터 어레이는 IR필터, R필터, G필터, B필터로 구성되므로, 본 발명의 RGB 보간부(530)에서 사용되는 보간법에 대해 구체적으로 살펴보면 다음과 같다.
도 3은 도 2에 도시된 8x8 컬러 필터 어레이에서 R필터, G필터, B필터만을 표시한 도면으로써, 도 3을 참조하면, 예를 들어, B 값만을 가지는 44번 픽셀을 보간하는 경우, 44번 픽셀에서의 G 값은 44번 픽셀 주변의 상하좌우에 위치하는 4개의 픽셀들(28번, 42번, 46번, 60번 픽셀)의 G 값의 평균을 계산하여 보간할 수 있고, 44번 픽셀에서의 R 값은 44번 픽셀의 주변의 대각선 방향에 위치하는 4개의 픽셀들(26번, 30번, 58번, 62번 픽셀)의 R 값의 평균을 계산하여 보간할 수 있다. 이와 같이, 본 발명의 RGB 보간부(530)에서 이루어지는 보간법은 먼저, 컬러 필터 어레이에서 보간하고자 하는 각 R,G,B 필터 주변의 IR 필터의 픽셀값을 제외하고, 보간하고자 하는 필터 주변의 R,G,B 필터의 픽셀값만을 추출하여 양선형 보간법에 따라 RGB 영상 신호를 보간할 수 있다.
신호 확장부(540)는 상기 RGB 보간부(530)에서 출력된 RGB 영상 신호를 입력받아 RGB 영상 신호의 데이터 크기를 IR 보간부(430)에서 보간된 IR 영상 신호의 데이터 크기로 확장하는 알고리즘을 수행할 수 있다.
8x8 컬러 필터 어레이를 사용하여 상기 RGB 보간부(530)에 의해 RGB 영상 신호를 보간하는 경우, 도 3에 도시된 바와 같이, IR 필터를 제외한 R, G, B 필터는 4x4 어레이의 데이터 크기를 가지게 되므로 신호 합성부(440)에서 8x8 어레이의 데이터 크기를 가지는 IR 영상 신호에 YCbCr 신호를 합성하는 위한 전 처리 과정으로써 보간된 RGB 영상 신호의 데이터 크기(4x4 데이터 크기)를 IR 영상 신호의 데이터 크기(8x8 데이터 크기)만큼 확장하는 것이며, 이는 이미지 스케일러 방법인 바이-리니어(bi-linear) 스케일링 방식 또는 바이-큐빅(Bi-cubic) 스케일링 방식 등에 의해 수행될 수 있다.
상기 신호 확장부(540)에 의해 RGB 영상 신호의 데이터의 크기가 확장되면, 신호 변환부(550)는 ITU.BT-709 표준에 따라 다음 수학식 1에 정의된 바와 같이 매트릭스 연산을 통해 RGB 영상 신호를 YCbCr 색 공간의 영상 신호로 변환하는 알고리즘을 수행할 수 있다.
Figure 112011014486043-pat00001
이와 같은 연산을 통해 휘도성분(Y)과 채도성분(CbCr)이 분리될 수 있으며, 여기서, Y는 빛의 밝음과 어두움을 표현하는 명암 정보이고, Cb은 명암 신호 Y와 B 신호와의 차이, Cr은 명암 신호 Y와 R 신호와의 차이를 나타낸다.
일반적으로 RGB 신호를 YCbCr 신호로 변환하는 이유는, 영상의 노이즈나 선명도는 주로 Y 성분과 관련이 있기 때문에 RGB 신호 모두를 처리하기보다는 Y 성분만을 처리하여 연산 과정을 단순화하기 위함이나, 본 발명에서는 이와 같은 이유 외에도 변환된 YCbCr 신호를 신호 합성부(440)로 출력하여 IR 영상 신호에 합성하여 컬러 화질의 보행자영상을 구현하기 위한 측면도 포함한다. YCbCr 신호를 IR 영상 신호에 합성하는 방법에 대해서는 후술하는 신호 합성부(440)에서 설명하기로 한다.
상기 차선패턴영상 데이터 생성부(500)에 포함된 RGB 보간부(530), 신호 확장부(540), 그리고 신호 변환부(550)에 따라 차선패턴영상을 표시하기 위한 데이터가 생성되면, 상기 디슬플레이 구동부는 상기 차선패턴영상 데이터 생성부(500)로부터 출력된 신호 데이터를 입력받아 사용자의 디스플레이에 차선패턴영상을 표시할 수 있다.
한편, 상기 차선패턴영상 데이터 생성부(500)는 보다 선명한 화질의 영상을 구현하기 위해, 차량 전조등에 의해 카메라가 차선의 색상을 다르게 인식하는 현상을 제어하기 위한 화이트 밸런스를 적용하는 알고리즘이 수행되는 화이트 밸런스(White Balance:WB) 적용부(510)와, 추출된 RGB 영상 신호에서 노이즈로 작용하는 성분을 제거하는 노이즈 제거 알고리즘을 수행하는 제1필터링부(520)를 상기 RGB 보간부(530) 전에 추가로 포함할 수 있다. 따라서, 상기 화이트 밸런스 적용부(510)는 입력 신호에 대해 그레이 객체로 판단되는 포인트를 추출하여 그레이 객체의 색 정보(color information)을 바탕으로 색 온도(color temperature)를 추정하고, 이를 보정하기 위하여 RGB 채널에 적절한 이득값(gain)을 곱하여 출력 신호의 색을 알맞게 조정할 수 있으며, 상기 제1필터링부(520)는 일반적으로 저역통과필터(Low Pass Filter:LPF)를 적용하는 방식으로 노이즈 성분을 제거할 수 있고 본 발명에서는 어느 하나의 방식으로 한정되지 않는다.
이상에서 상기 신호 추출부(200)에서 추출된 RGB 영상 신호를 이용하여 차선패턴영상을 표시하기 위한 영상 신호 처리부에 대해 설명하였다. 이제, 상기 신호 추출부(200)에서 추출된 IR 영상 신호를 이용하여 컬러 화질의 보행자영상을 표시하기 위한 영상 신호 처리부에 대해 설명하기로 한다.
상기 신호 추출부(200)에 의해 IR 영상 신호가 분리되어 추출되면, 상기 보행자영상 데이터 생성부(400)는 추출된 IR 영상 신호를 이용하여 컬러 화질의 보행자영상에 필요한 데이터를 생성할 수 있다.
이와 같은 보행자영상 데이터 생성부(400)는 상기 추출된 IR 영상 신호를 보간하는 IR 보간부(430)와 보간된 IR 영상 신호에 상기 신호 변환부(550)로부터 출력된 YCbCr 영상 신호를 합성하는 신호 합성부(440)로 구성될 수 있다.
상기 IR 보간부(430)는 R필터, G필터, B필터 주변의 IR필터 신호들의 평균값으로 IR 영상 신호를 보간할 수 있다. 즉, IR 영상 신호를 보간하기 위해서는, 도 2에 도시된 10, 12, 14, 16, 26, 28, 30, 32, 42, 44, 46, 48, 58, 58, 60, 62, 64번 픽셀에 해당하는 신호를 보간해야 하는데, 일 례로써, 10번 픽셀의 경우 10번 픽셀 주변의 상하좌우에 위치한 픽셀들(2, 9, 11, 18번 픽셀)에 해당하는 IR 픽셀값들의 평균을 계산하여 보간할 수 있고, 마찬가지로, 나머지 12, 14, 16, 26, 28, 30, 32, 42, 44, 46, 48, 58, 58, 60, 62, 64번 픽셀에 대해서도 이와 동일한 방법으로 하여 IR 영상 신호를 보간할 수 있다.
상기 IR 보간부(430)에서 보간된 IR 영상 신호가 출력되면, 상기 신호 합성부(440)는 이를 입력받아 상기 신호 변환부(550)로부터 출력된 YCbCr 영상 신호를 입력받은 IR 영상 신호에 합성하는 알고리즘을 수행하여 컬러 화질의 보행자영상 데이터를 생성할 수 있다.
YCbCr 영상 신호를 IR 영상 신호에 합성하는 알고리즘에 대해 구체적으로 살펴보면, 상기 IR 보간부(430)에 의해 보간된 IR 영상 신호를 명암 신호 Y로 간주하고, 상기 신호 변환부(550)에 의해 변환된 YCbCr 신호 중에서 Cb 신호 및 Cr 신호만을 색차 신호로 활용하여 IR 영상 신호에서 얻어진 Y와 RGB 영상 신호에서 얻어진 Cb 및 Cr 신호를 합성함으로써 어두운 곳을 밝게 감광할 수 있는 IR 영상에 색상 정보가 더해진 컬러 화질의 보행자영상 데이터를 생성할 수 있다.
상기 보행자영상 데이터 생성부(400)에 포함된 IR 보간부(430), 신호 합성부(440)에 따라 컬러 화질의 보행자영상을 표시하기 위한 데이터가 생성되면, 상기 디슬플레이 구동부는 상기 보행자영상 데이터 생성부(400)로부터 출력된 신호 데이터를 입력받아 사용자의 디스플레이에 보행자영상을 표시할 수 있다.
한편, 상기 보행자영상 데이터 생성부(400)는 보다 선명한 화질의 영상을 구현하기 위해, 야간 운행시 어두운 환경에 따른 낮은 신호 레벨값을 개선하는 알고리즘을 수행하는 밝기 개선부(410), 추출된 IR 영상 신호에서 노이즈로 작용하는 성분을 제거하는 노이즈 제거 알고리즘을 수행하는 제2필터링부(420)를 상기 IR 보간부(430) 전에 추가로 포함할 수 있다.
상기 밝기 개선부(410)는 감마 변환(Gamma Curve) 및 히스토그램 스트레칭(Histogram Stretching) 또는 히스토그램 이퀄라이져(Histogram Equalizer) 등과 같은 방법을 사용하여 입력 신호의 밝기값을 향상시킬 수 있고, 상기 제2필터링부(420)는 상기 제1필터링부(520)와 같이 저역통과필터(Low Pass Filter:LPF)를 적용하는 방식으로 노이즈 성분을 제거할 수 있다. 본 발명에서는 편의상 차선패턴영상 데이터 생성부(500)에 포함되는 필터링부를 제1필터링부(520), 보행자영상 데이터 생성부(400)에 포함되는 필터링부를 제2필터링부(420)로 구별하였으나, 당업자의 입장에서 제1필터링부(520)와 제2필터링부(420)는 경우에 따라 동일 처리 장치에서 수행될 수 있음은 당연하다.
한편, 본 발명에 따른 차량 운전자의 시계 보조 시스템은 상기 보행자영상 데이터 생성부(400)의 신호 처리에 앞서, 보행자 인식에 필요한 렌즈의 수평 화각에 상응하는 관심 영역에 대해서만 신호 처리를 할 수 있도록 관심 영역에 해당하는 부분을 제외한 잔여 부분을 크로핑(cropping)하는 크로핑 수행부(300)를 추가로 포함할 수 있다.
도 4는 보행자 영상을 구현하기 위해 요구되는 렌즈의 수평 화각을 예시한 도면으로써, 도 4를 참조하면, 보행자 영상의 경우, 차량 전방의 원거리 및 근거리 차선까지 모두 인식하여 이를 표시해야 하는 차선패턴영상과 달리, 원거리에 위치한 사물을 인식하여 표시하면 되므로 보행자를 표시하는 영상에서 요구되는 렌즈의 수평 화각은 17도 가량이 된다. 따라서, 보행자를 표시하는데 필요한 영상 데이터를 생성하기 전, 미리 설정된 영상 영역의 위치 정보에 따라 보행자가 위치하는 관심 영역을 제외한 잔여 부분에 대해 크로핑 처리한 다음, 관심 영역에 해당하는 영상 신호에 대해서만 처리함으로써 필요 이외의 연산 과정을 피할 수 있다.
또한, 본 발명에 따른 차량 운전자의 시계 보조 시스템은 상기 차선패턴영상 데이터 생성부(500)에서 생성된 영상 데이터로부터 차선을 인식하는 차선 인식부(700)와, 상기 차선 인식부(700)에 의해 인식된 차선으로부터 차량이 이탈하는지 판단하는 차선이탈 판단부(800) 및 차량이 차선을 이탈하는 경우 경보를 발생시키는 경보부(900)를 추가로 포함할 수 있다.
상기 차선 인식부(700)는 대한민국 공개 특허(출원번호:20090059804, 20080033034)에 게시된 방법 등을 이용하여 차선 변경이 가능한 점선, 차선 변경이 허용되지 않는 실선 등 차선의 종류와 일반 차선인 흰색, 중앙선인 황색, 버스 전용 차선인 청색 등 차선의 색상을 인식하고, 상기 차선이탈 판단부(800)는 상기 차선 인식부(700)로부터 데이터를 입력받아 차량이 차선 변경이 가능하지 않은 실선이나 중앙선 또는 버스 전용차선에 접근하는 경우 경보부(900)에 의해 경고를 발생시킴으로써 차량 운전자의 안전을 보다 확실하게 보장할 수 있다.
그리고, 본 발명에 따른 차량 운전자의 시계 보조 시스템은 상기 보행자영상 데이터 생성부에서 생성된 영상 데이터로부터 보행자를 인식하는 보행자 인식부(1000), 상기 보행자 인식부에 의해 인식된 보행자와의 거리를 감지하는 거리 감지부(1100), 및 상기 보행자 인식부와 거리 감지부를 기반으로 보행자가 위치하는 영역 정보를 산출하여 위험지역에 내에 보행자가 존재하는 경우 경보를 발생시키는 경보부(1200)를 추가로 포함할 수 있다.
여기서, 상기 보행자 인식부(1000)는 미국특허공보 20070230792호 등 일반 공지의 기술을 이용하여 그 기능을 수행할 수 있고, 거리 감지부(1100)는 보행자와의 거리를 감지하기 위한 기능을 수행하는 거리감지 센서, 구체적으로 적외선 센서, 레이저 센서 등을 이용할 수 있다.
이제, 본 발명에 따른 차량 운전자의 시계 보조 시스템을 이용하여 차량 운전자의 시계를 보조하는 방법에 대하여 살펴보기로 한다.
도 5는 본 발명에 따른 차량 운전자의 시계 보조 시스템을 이용하여 차량 운전자의 시계를 보조하는 방법의 순서를 도시한 흐름도이다.
도 5를 참조하면, 본 발명에 따른 차량 운전자의 시계 보조 방법은, 먼저, 상기 카메라 모듈(100)로부터 차량 전방의 영상에 대한 광학적 신호를 수광하여 영상 처리에 필요한 전기적 원시 영상 신호로 변환하는 단계(S101)를 수행할 수 있다.
그 다음, 상기 신호 추출부(200)에서 상기 전기적 원시 영상 신호에서 RGB 영상 신호 또는 IR 영상 신호를 추출하는 단계(S102)를 수행할 수 있다.
그 다음, 상기 S102 단계에서 추출된 RGB 영상 신호를 상기 차선패턴영상 데이터 생성부(500)에서 보간 및 신호 데이터의 크기를 IR 영상 신호의 데이터 크기만큼 확장하고 이를 YCbCr 영상 신호로 변환하여 차선패턴영상에 필요한 데이터를 생성하거나, 상기 S102 단계에서 추출된 IR 영상 신호를 상기 보행자영상 데이터 생성부(400)에서 보간하고, 상기 신호 변환부(550)로부터 출력된 YCbCr 영상 신호를 보간된 IR 영상 신호에 합성하여 컬러 화질의 보행자영상에 필요한 데이터를 생성하는 단계(S104)를 수행할 수 있다. RGB, IR 신호를 보간하거나 신호 데이터의 크기를 확장, 변환, 합성하는 방법에 대해서는 상술한 바와 같으므로 이에 대한 설명은 생략하기로 한다.
한편, 상기 S104 단계는 보다 선명한 차선패턴영상을 구현하기 위해 상기 화이트 밸런스(White Balance) 적용부(510)에서 입력 신호에 대해에 대하여 화이트 밸런스를 적용하는 알고리즘, 상기 제1필터링부(520)에서 노이즈로 작용하는 성분을 제거하는 알고리즘을 추가로 수행할 수 있고, 마찬가지로, 보다 선명한 보행자영상을 구현하기 위해 상기 밝기 개선부(410)에서 신호 레벨의 밝기값을 개선하는 알고리즘, 상기 제2필터링부(420)에서 노이즈로 작용하는 성분을 제거하는 알고리즘을 추가로 수행할 수 있다.
상기 S104 단계에 따라 차선패턴영상 또는 보행자영상에 필요한 데이터가 생성되면, 상기 보행자영상 데이터 생성부(400) 및/또는 차선패턴영상 데이터 생성부(500)로부터 출력된 신호 데이터를 입력받아 사용자의 디스플레이에 차선패턴영상 및/또는 보행자영상을 표시하는 단계(S105)를 수행할 수 있으며, 이는 상기 디스플레이 구동부(600)에서 수행될 수 있다.
한편, 본 발명에 따른 차량 운전자의 시계 보조 방법은 상기 S104 단계에서 보행자영상 데이터를 생성하기 전, 상기 크로핑 수행부(300)에 의해 보행자 인식에 필요한 렌즈의 수평 화각에 상응하는 관심 영역을 제외한 잔여 부분에 대해 크로핑(cropping) 처리를 수행하는 단계(S103)를 추가로 포함할 수 있다.
또한, 상기 차선패턴영상 데이터 생성부(500)에서 생성된 영상 신호 데이터로부터 차선을 인식하고, 인식된 차선으로부터 차량이 이탈하는지 판단하여 차량이 차선을 이탈하는 경우 경보를 발생시키는 경보 단계(S106)를 추가로 포함할 수 있다.
명세서에 기재되는 실시예와 도면에 도시되는 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
100 : 카메라 모듈
200 : 신호 추출부
300 : 크로핑 수행부
400 : 보행자영상 데이터 생성부
410 : 밝기 개선부
420 : 제2필터링부
430 : IR 보간부
440 : 신호 합성부
500 : 차선패턴영상 데이터 생성부
510 : 화이트 밸런스 적용부
520 : 제1필터링부
530 : RGB 보간부
540 : 신호 확장부
550 : 신호 변환부
600 : 디스플레이 구동부
700 : 차선 인식부
800 : 차선이탈 판단부
900 : 경보부
1000 : 보행자 인식부
1100 : 거리 감지부
1200 : 경보부

Claims (11)

  1. 차량 전방의 영상에 대한 광학적 신호를 수광하는 렌즈와, IR필터, R필터, G필터, B필터로 이루어진 컬러 필터 어레이와, 상기 수광된 광학적 신호를 영상 처리에 필요한 전기적 원시 영상 신호로 변환하는 이미지 센서로 이루어진 카메라 모듈;
    상기 카메라 모듈로부터 출력된 전기적 원시 영상 신호에서 RGB 영상 신호 및 IR 영상 신호 중 적어도 하나를 추출하는 신호 추출부;
    상기 추출된 RGB 영상 신호를 보간하는 RGB 보간부, 보간된 RGB 영상 신호의 데이터 크기를 확장하는 신호 확장부 및 확장된 RGB 영상 신호를 YCbCr 영상 신호로 변환하는 신호 변환부로 구성되어 차선 패턴을 표시하는 영상에 필요한 데이터를 생성하는 차선패턴영상 데이터 생성부;
    상기 추출된 IR 영상 신호를 보간하는 IR 보간부와 보간된 IR 영상 신호에 상기 신호 변환부로부터 출력된 YCbCr 영상 신호를 합성하는 신호 합성부로 구성되어 보행자를 표시하는 영상에 필요한 데이터를 생성하는 보행자영상 데이터 생성부; 및
    상기 차선패턴영상 데이터 생성부 및 보행자영상 데이터 생성부 중 적어도 하나에서 생성된 영상 데이터를 디스플레이에 구현하는 디슬플레이 구동부; 를 포함하고,
    상기 신호 합성부는 상기 IR 보간부에 의해 보간된 IR 영상 신호를 명암 신호 Y로 하고, 상기 신호 변환부에서 출력된 YCbCr 영상 신호 중에서 Cb 신호 및 Cr 신호를 색차 신호로 하여 상기 Y 신호와 Cb, Cr 신호를 합성하는 차량 운전자의 시계 보조 시스템.
  2. 제 1 항에 있어서,
    상기 컬러 필터 어레이는 n번째 행 방향으로는 IR필터가 배치되고, n+1번째 행 방향으로는 IR필터와, B, G, R 필터 중 어느 하나의 필터가 교호(交互)적으로 배치되는 차량 운전자의 시계 보조 시스템.
  3. 제 1 항에 있어서,
    상기 보행자영상 데이터 생성부에서 영상 신호 처리가 수행되기 전, 보행자 인식에 필요한 렌즈의 수평 화각에 상응하는 관심 영역을 제외한 잔여 부분에 대해 크로핑 처리하는 크로핑 수행부를 더 포함하는 차량 운전자의 시계 보조 시스템.
  4. 제 1 항에 있어서,
    상기 차선패턴영상 데이터 생성부는 입력 신호에 대해 화이트 밸런스를 적용하는 화이트 밸런스 적용부, 상기 신호 추출부에 의해 추출된 RGB 영상 신호에서 노이즈로 작용하는 성분을 제거하는 제1필터링부를 더 포함하는 차량 운전자의 시계 보조 시스템.
  5. 제 1 항에 있어서,
    상기 보행자영상 데이터 생성부는 야간 운행시 어두운 환경에 따른 낮은 신호 레벨의 밝기값을 개선하는 밝기 개선부, 상기 신호 추출부에 의해 추출된 IR 영상 신호에서 노이즈로 작용하는 성분을 제거하는 제2필터링부를 더 포함하는 차량 운전자의 시계 보조 시스템.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 차선패턴영상 데이터 생성부에서 생성된 영상 데이터로부터 차선을 인식하는 차선 인식부, 상기 차선 인식부에 의해 인식된 차선으로부터 차량이 이탈하는지 판단하는 차선이탈 판단부 및 차량이 차선을 이탈하는 경우 경보를 발생시키는 경보부를 더 포함하는 차량 운전자의 시계 보조 시스템.
  8. 제 1 항에 있어서,
    상기 보행자영상 데이터 생성부에서 생성된 영상 데이터로부터 보행자를 인식하는 보행자 인식부, 보행자와의 거리를 감지하는 거리 감지부, 및 상기 보행자 인식부와 거리 감지부를 기반으로 보행자가 위치하는 영역 정보를 산출하여 위험지역에 내에 보행자가 존재하는 경우 경보를 발생시키는 경보부를 더 포함하는 차량 운전자의 시계 보조 시스템.
  9. (a)상기 카메라 모듈로부터 차량 전방의 영상에 대한 광학적 신호를 수광하여 영상 처리에 필요한 전기적 원시 영상 신호로 변환하는 단계;
    (b)상기 전기적 원시 영상 신호에서 RGB 영상 신호 및 IR 영상 신호 중 적어도 하나를 추출하는 단계;
    (c)상기 (b)단계에 의해 추출된 RGB 영상 신호를 보간하고, 상기 보간된 RGB 영상 신호의 데이터 크기를 확장한 다음, YCbCr 영상 신호로 변환하여 차선 패턴을 표시하는 영상에 필요한 데이터를 생성하는 단계;
    (d)상기 (b)단계에 의해 추출된 IR 영상 신호를 보간하고, 상기 보간된 IR 영상 신호를 명암 신호 Y로 하고, 상기 (c)단계에서 변환된 YCbCr 영상 신호 중에서 Cb 신호 및 Cr 신호를 색차 신호로 하여 상기 Y 신호와 Cb 신호 및 Cr 신호를 합성하여 컬러 화질의 보행자를 표시하는 영상에 필요한 데이터를 생성하는 단계; 및
    (e)상기 (c)단계 및 (d)단계 중 적어도 하나에서 생성된 영상 데이터를 디스플레이에 구현하는 단계; 를 포함하는 차량 운전자의 시계 보조 방법.
  10. 제 9 항에 있어서,
    상기 (d)단계의 영상 신호 처리 전, 보행자 인식에 필요한 렌즈의 수평 화각에 상응하는 관심 영역을 제외한 잔여 부분에 대해 크로핑 처리를 수행하는 단계를 더 포함하는 차량 운전자의 시계 보조 방법.
  11. 제 9 항에 있어서,
    상기 (c)단계에서 생성된 영상 데이터로부터 차선을 인식하고, 인식된 차선으로부터 차량이 이탈하는지 판단하여 차량이 차선을 이탈하는 경우 경보를 발생시키는 단계를 더 포함하는 차량 운전자의 시계 보조 방법.
KR1020110017830A 2011-02-28 2011-02-28 차량 운전자의 시계 보조 시스템 및 방법 Expired - Fee Related KR101761921B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020110017830A KR101761921B1 (ko) 2011-02-28 2011-02-28 차량 운전자의 시계 보조 시스템 및 방법
US13/159,667 US8767074B2 (en) 2011-02-28 2011-06-14 System and method of assisting visibility of driver
DE102011105628.2A DE102011105628B4 (de) 2011-02-28 2011-06-28 System zur Unterstützung der Sicht eines Fahrers

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110017830A KR101761921B1 (ko) 2011-02-28 2011-02-28 차량 운전자의 시계 보조 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20120098107A KR20120098107A (ko) 2012-09-05
KR101761921B1 true KR101761921B1 (ko) 2017-07-27

Family

ID=46635271

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110017830A Expired - Fee Related KR101761921B1 (ko) 2011-02-28 2011-02-28 차량 운전자의 시계 보조 시스템 및 방법

Country Status (3)

Country Link
US (1) US8767074B2 (ko)
KR (1) KR101761921B1 (ko)
DE (1) DE102011105628B4 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019054719A1 (ko) * 2017-09-15 2019-03-21 엘지전자 주식회사 차량 운전 보조 장치 및 차량

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101295092B1 (ko) * 2011-12-28 2013-08-09 현대자동차주식회사 차량용 색상검출기
EP2763397A1 (de) * 2013-02-05 2014-08-06 Burg-Wächter Kg Fotosensor
US10136107B2 (en) * 2013-11-21 2018-11-20 Semiconductor Components Industries, Llc Imaging systems with visible light sensitive pixels and infrared light sensitive pixels
KR101611261B1 (ko) 2013-12-12 2016-04-12 엘지전자 주식회사 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
WO2015177648A1 (en) * 2014-05-14 2015-11-26 Ofer Springer Systems and methods for curb detection and pedestrian hazard assessment
JP6568719B2 (ja) * 2014-08-29 2019-08-28 株式会社 日立産業制御ソリューションズ 撮像方法及び撮像装置
US9763614B2 (en) 2014-11-06 2017-09-19 Maven Machines, Inc. Wearable device and system for monitoring physical behavior of a vehicle operator
DE102015005697B4 (de) 2015-05-04 2019-10-02 Mekra Lang Gmbh & Co. Kg Kamerasystem für ein Kraftfahrzeug
DE102015223175A1 (de) * 2015-11-24 2017-05-24 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem mit adaptiver Umgebungsbilddatenverarbeitung
US10114465B2 (en) * 2016-01-15 2018-10-30 Google Llc Virtual reality head-mounted devices having reduced numbers of cameras, and methods of operating the same
US10574909B2 (en) 2016-08-08 2020-02-25 Microsoft Technology Licensing, Llc Hybrid imaging sensor for structured light object capture
WO2018088804A1 (en) 2016-11-08 2018-05-17 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
US20180164156A1 (en) * 2016-12-12 2018-06-14 Microsoft Technology Licensing, Llc Hybrid Sensor with Enhanced Infrared Detection Capabilities
WO2020124316A1 (en) * 2018-12-17 2020-06-25 SZ DJI Technology Co., Ltd. Image processing method and apparatus
CN111726568B (zh) * 2019-10-10 2021-11-16 山东远致电子科技有限公司 基于信号分析的定向监控系统及方法
CN111225186B (zh) * 2020-01-15 2023-04-18 深圳市天智汽车电子技术有限公司 一种行车安全辅助驾驶全彩夜视显示方法及夜视仪
KR102231373B1 (ko) * 2020-09-23 2021-03-25 김광남 차량 안전 운전용 디스플레이 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003032669A (ja) 2001-07-11 2003-01-31 Hitachi Ltd 車載用画像処理カメラ装置
JP2003284057A (ja) * 2002-01-18 2003-10-03 Honda Motor Co Ltd 車両周辺監視装置
JP2009253579A (ja) * 2008-04-04 2009-10-29 Panasonic Corp 撮像装置、画像処理装置及び画像処理方法並びに画像処理プログラム
JP2010044472A (ja) * 2008-08-11 2010-02-25 Hitachi Ltd 道路標示認識装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6803955B1 (en) * 1999-03-03 2004-10-12 Olympus Corporation Imaging device and imaging apparatus
EP1754179A1 (en) 2004-04-08 2007-02-21 Mobileye Technologies Limited Pedestrian detection
US20050262934A1 (en) 2004-05-25 2005-12-01 Sensfab Pte Ltd Tyre pressure monitoring sensor
JP4414369B2 (ja) * 2005-06-03 2010-02-10 本田技研工業株式会社 車両及び路面標示認識装置
JP4984634B2 (ja) * 2005-07-21 2012-07-25 ソニー株式会社 物理情報取得方法および物理情報取得装置
JP4596268B2 (ja) * 2006-02-14 2010-12-08 ソニー株式会社 撮像装置
KR20080029051A (ko) 2006-09-28 2008-04-03 엠텍비젼 주식회사 이미지 센서를 구비한 장치 및 영상 획득 방법
KR20090059804A (ko) 2007-12-07 2009-06-11 주식회사 실트론 접합강도 시험 장치 및 시험 방법
US20090159799A1 (en) * 2007-12-19 2009-06-25 Spectral Instruments, Inc. Color infrared light sensor, camera, and method for capturing images
CN102037717B (zh) * 2008-05-20 2013-11-06 派力肯成像公司 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理
WO2010088465A1 (en) * 2009-02-02 2010-08-05 Gentex Corporation Improved digital image processing and systems incorporating the same
US8411245B2 (en) * 2009-02-06 2013-04-02 Gentex Corporation Multi-display mirror system and method for expanded view around a vehicle
US8248496B2 (en) * 2009-03-10 2012-08-21 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and image sensor
CA2666470A1 (en) * 2009-05-21 2010-11-21 Pierre Benoit Boulanger Multi-spectral color and ir camera based on multi-filter array
US8717994B2 (en) 2009-08-14 2014-05-06 Lg Electronics Inc. Method and apparatus for transmitting downlink reference signal in wireless communication system that supports multiple antennas
EP2502115A4 (en) * 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
US8737727B2 (en) * 2010-12-30 2014-05-27 Pelco, Inc. Color similarity sorting for video forensics search

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003032669A (ja) 2001-07-11 2003-01-31 Hitachi Ltd 車載用画像処理カメラ装置
JP2003284057A (ja) * 2002-01-18 2003-10-03 Honda Motor Co Ltd 車両周辺監視装置
JP2009253579A (ja) * 2008-04-04 2009-10-29 Panasonic Corp 撮像装置、画像処理装置及び画像処理方法並びに画像処理プログラム
JP2010044472A (ja) * 2008-08-11 2010-02-25 Hitachi Ltd 道路標示認識装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019054719A1 (ko) * 2017-09-15 2019-03-21 엘지전자 주식회사 차량 운전 보조 장치 및 차량

Also Published As

Publication number Publication date
DE102011105628A1 (de) 2012-08-30
KR20120098107A (ko) 2012-09-05
US20120218410A1 (en) 2012-08-30
US8767074B2 (en) 2014-07-01
DE102011105628B4 (de) 2022-12-15

Similar Documents

Publication Publication Date Title
KR101761921B1 (ko) 차량 운전자의 시계 보조 시스템 및 방법
JP5171723B2 (ja) 障害物検知装置、および当該装置を搭載した車両
WO2014185064A1 (en) Image processing method and system
WO2012067028A1 (ja) 画像入力装置および画像処理装置
US20230001855A1 (en) Vehicle vision system with smart camera video output
JP2007184805A (ja) カラー画像再生装置
JP2013255144A (ja) 撮像装置
JP4717294B2 (ja) 画像処理方法、撮像装置およびプログラム
US20160031370A1 (en) Vehicle vision system with video switching
KR101070050B1 (ko) 복합 기능 카메라 모듈
JP2010193037A (ja) 擬似カラー画像生成装置、及びプログラム
JP2017011633A (ja) 撮像装置
US9245184B2 (en) Object detection apparatus and storage medium
CN112241935A (zh) 图像处理方法、装置及设备、存储介质
EP2830020B1 (en) Object detection device and program
JP6939919B2 (ja) 認識装置、認識方法及びプログラム
KR101470198B1 (ko) 영상 합성 장치 및 방법
JP2011077981A (ja) 監視カメラシステム
JP4457077B2 (ja) 障害物検出システム、及び障害物検出方法
JP2007045336A (ja) 障害物検出システム及び障害物検出方法
JP2013115738A (ja) 車両周辺撮影装置および車両周辺画像の処理方法
JP2010109863A (ja) 撮像装置及び携帯機器
JP2011155365A (ja) 画像処理装置および画像処理方法
US11381757B2 (en) Imaging system and method
US12356103B2 (en) Imaging system and method

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20110228

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20160122

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20110228

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20161201

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20170517

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20170720

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20170720

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20200701

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20210701

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20220620

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20230626

Start annual number: 7

End annual number: 7

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20250430