[go: up one dir, main page]

KR101747603B1 - 컬러 나이트 비전 시스템 및 그 동작 방법 - Google Patents

컬러 나이트 비전 시스템 및 그 동작 방법 Download PDF

Info

Publication number
KR101747603B1
KR101747603B1 KR1020160057605A KR20160057605A KR101747603B1 KR 101747603 B1 KR101747603 B1 KR 101747603B1 KR 1020160057605 A KR1020160057605 A KR 1020160057605A KR 20160057605 A KR20160057605 A KR 20160057605A KR 101747603 B1 KR101747603 B1 KR 101747603B1
Authority
KR
South Korea
Prior art keywords
image
rgb
rgb image
output
exposure correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020160057605A
Other languages
English (en)
Inventor
박기영
김영기
Original Assignee
재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 다차원 스마트 아이티 융합시스템 연구단 filed Critical 재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority to KR1020160057605A priority Critical patent/KR101747603B1/ko
Priority to US15/592,989 priority patent/US20170330053A1/en
Application granted granted Critical
Publication of KR101747603B1 publication Critical patent/KR101747603B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G06T5/007—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H04N5/2258—
    • H04N5/2355—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

일실시예에 따르면, 컬러 나이트 비전 시스템은 RGB 광 신호들 및 IR 광 신호를 파장 별로 처리하여 RGB 영상 및 IR 영상을 획득하는 단일 4 컬러 영상 센서; 및 상기 RGB 영상의 밝기 분포를 분석하여 상기 RGB 영상의 노출 상태를 판단하고, 상기 판단 결과에 기초하여 상기 RGB 영상의 노출 보정 정도, 상기 RGB 영상의 잡음 제거 정도 또는 상기 RGB 영상과 상기 IR 영상의 합성 비율 중 적어도 어느 하나를 결정하며, 상기 RGB 영상 및 상기 IR 영상을 기반으로 상기 결정 결과에 따라 출력 영상을 생성하는 프로세서를 포함한다.

Description

컬러 나이트 비전 시스템 및 그 동작 방법{COLOR NIGHT VISION SYSTEM AND OPERATION METHOD THEREOF}
아래의 실시예들은 컬러 나이트 비전 시스템 및 그 동작 방법에 관한 것으로, 보다 상세하게는, 저조도 상황에서 식별 가능한 영상을 획득하기 위하여 RGB 영상 및 IR 영상을 이용하는 기술에 대한 것이다.
나이트 비전(Night vision)은 저조도 상황에서 식별 가능한 영상을 얻기 위한 카메라 시스템으로 주로 야간 운전을 돕기 위한 용도와 감시 카메라를 위해 활용되고 있다.
차량용 나이트 비전 시스템은 별도의 조명 장치 없이 열화상(thermal imaging) 카메라를 이용하여 영상을 얻는 수동형(passive) 시스템과 기존의 가시광선 전조등과는 별개의 적외선 전조등을 이용하여 150 내지 200m의 거리까지 근적외선(near infrared)을 조사한 후 근적외선 카메라를 이용하여 영상을 얻는 능동형(active) 시스템으로 구분된다.
수동형 시스템은 별도의 조명 장치를 사용하지 않는 장점 이외에도 약 300m 전방까지의 시야를 확보할 수 있다는 장점이 있지만 센서의 크기가 크고 영상의 해상도가 낮으며 더운 기후 조건에서 제대로 동작하지 않는다는 단점이 있다. 반면, 능동형 시스템은 수동형보다 짧은 150 내지 200m까지의 가시거리를 제공하고 안개가 끼거나 비가 올 때 좋은 영상을 제공하지 못하지만 센서의 크기가 작고 높은 해상도의 영상을 얻을 수 있으며 무생물에 대해서도 좋은 영상을 얻을 수 있고 더운 기후에서도 잘 작동한다는 장점이 있다.
감시카메라의 경우에는 일반적인 CCD 또는 CMOS 컬러 센서가 근적외선에 대해서 충분한 감도를 가지므로 기계식 셔터 장치에 의해 움직일 수 있는 적외선 차단 필터를 센서 앞 부분에 설치하여 주간이나 조명이 충분한 환경에서는 적외선 차단 필터를 적용하여 일반적인 컬러 영상을 얻고, 조명이 부족해지면 적외선 조명을 켜고 센서 앞부분의 적외선 차단 필터를 제거하여 적외선 영상을 얻는 방식이 사용된다. 또한, 모노크롬 영상인 근적외선 영상을 이용할 뿐만 아니라, 초고감도 컬러센서를 이용하여 야간과 같은 저조도 환경에서도 주간과 같은 고품질의 컬러 영상을 얻을 수 있는 시스템도 소개되고 있다. 그러나 이런 컬러 나이트 비전 시스템들은 고가의 대구경 렌즈를 사용해야 하는 단점이 있다.
이에, 서로 독립되도록 구비된 컬러 센서와 근적외선 센서(또는 원적외선 센서)를 사용하여 컬러 영상과 모노크롬 적외선 영상을 동시에 취득한 후, 이들 영상을 합성하여 컬러 나이트 비전 영상을 얻는 기술이 개발되었다. 컬러 영상과 적외선 영상을 합성하는 것은 영상 처리 분야에서 잘 알려진 방법인데(C. Fredembach and S. Suesstrunk, “Colouring the near-infrared,” in Proc. IS&T/SID 16th Color Imaging Conference, pp. 176-182, 2008), RGB 3개의 컬러 채널로 이루어진 컬러 영상과 단일 채널의 적외선 영상을 합성하는 기술은 컬러 영상의 색공간을 변환하여 휘도(luma) 성분과 색조(chroma) 성분으로 분해한 후, 휘도 성분을 적외선 채널로 대체하거나 휘도 성분을 적외선 채널과 가중 평균하여 합성된 영상을 얻는다.
그러나 이런 합성이 가능하기 위해서는 우선 두 영상 간에 시차(parallax)가 존재하지 않아야 한다. 사람의 두 눈처럼 두 개의 센서로 각각 컬러와 적외선 영상을 촬영하게 되면 두 센서가 출력하는 영상 간에는 시차가 존재하여 두 영상을 합성할 경우, 사물들이 겹쳐져 보이는 현상이 발생하게 된다. 또한 두 영상 모두 적절하게 노출이 이루어져야 한다. 환경이 어두워서 노출이 적게 이루어지는 경우는 신호대 잡음비(SNR)가 낮은 영상을 얻게 되므로 컬러나 적외선 영상 둘 중 하나의 노출이 적게 이루어진 경우에 합성하게 되면(별도의 잡음 제거 없이 합성하는 경우) 잡음이 많은 영상을 얻게 된다.
예를 들어, Sumimoto Electric Ind. Ltd.의 특허인, JP4363207 B2를 살펴보면, 차량에 탑재된 복수의 촬상 장치들에서 출력된 복수의 화상들을 차량 주위 밝기 정보 또는 화상 데이터의 휘도 분포에 근거하여 가중 평균 후 합성하여 컬러 영상을 얻는 과정에서, 복수의 촬상 장치들에서 출력된 영상들 간에는 시차(parallax)가 존재하므로 이 영상들을 합성하면 영상들이 겹쳐져서 보이는 현상이 발생됨을 알 수 있다.
따라서, 아래의 실시예들은 RGB 광 신호들과 IR 광 신호를 단일 4 컬러 영상 센서에서 처리하여 RGB 영상 및 IR 영상 사이의 시차가 존재하지 않도록 하는 컬러 나이트 비전 기술을 제안한다.
일실시예들은 RGB 광 신호들 및 IR 광 신호를 단일 4 컬러 영상 센서에서 처리하여 RGB 영상 및 IR 영상 사이의 시차가 존재하지 않도록 하는 컬러 나이트 비전 시스템 및 그 동작 방법을 제공한다.
구체적으로, 일실시예들은 단일 4 컬러 영상 센서로부터 획득되는 RGB 영상의 밝기 분포에 따라, RGB 영상, IR 영상 또는 RGB 영상과 IR 영상의 합성 영상 중 적어도 어느 하나의 영상을 선택적으로 출력하는 컬러 나이트 비전 시스템 및 그 동작 방법을 제공한다.
특히, 일실시예들은 RGB 영상의 밝기 분포에 따라, RGB 영상의 노출 보정 정도, RGB 영상의 잡음 제거 정도와 RGB 영상과 IR 영상의 합성 비율을 결정함으로써, RGB 영상에 대한 노출 보정 및 잡음 제거 그리고 RGB 영상과 IR 영상의 합성을 수행하는 컬러 나이트 비전 시스템 및 그 동작 방법을 제공한다.
일실시예에 따르면, 컬러 나이트 비전 시스템은 RGB 광 신호들 및 IR 광 신호를 파장 별로 처리하여 RGB 영상 및 IR 영상을 획득하는 단일 4 컬러 영상 센서; 및 상기 RGB 영상의 밝기 분포를 분석하여 상기 RGB 영상의 노출 상태를 판단하고, 상기 판단 결과에 기초하여 상기 RGB 영상의 노출 보정 정도, 상기 RGB 영상의 잡음 제거 정도 또는 상기 RGB 영상과 상기 IR 영상의 합성 비율 중 적어도 어느 하나를 결정하며, 상기 RGB 영상 및 상기 IR 영상을 기반으로 상기 결정 결과에 따라 출력 영상을 생성하는 프로세서를 포함한다.
상기 프로세서는 상기 출력 영상으로 상기 RGB 영상, 상기 IR 영상 또는 상기 RGB 영상과 상기 IR 영상의 합성 영상 중 적어도 어느 하나의 영상을 선택적으로 사용할 수 있다.
상기 프로세서는 상기 판단 결과 상기 RGB 영상의 노출 상태가 정상 상태인 경우, 상기 출력 영상으로 상기 RGB 영상 그대로를 사용할 수 있다.
상기 프로세서는 상기 판단 결과 상기 RGB 영상의 노출 상태가 부족 상태이고, 상기 RGB 영상의 노출 상태가 노출 보정으로 복원 가능한 경우, 상기 결정된 노출 보정 정도에 기초하여 상기 RGB 영상에 대한 노출 보정을 수행하고, 상기 출력 영상으로 상기 노출 보정이 수행된 RGB 영상을 사용할 수 있다.
상기 프로세서는 상기 판단 결과 상기 RGB 영상의 노출 상태가 부족 상태이고, 상기 RGB 영상의 노출 상태가 노출 보정으로 복원 불가능하지만, 상기 RGB 영상에 상기 출력 영상을 생성하기 위한 일부 정보가 남아있는 경우, 상기 결정된 합성 비율에 기초하여 상기 RGB 영상과 상기 IR 영상의 합성을 수행하고, 상기 출력 영상으로 상기 합성이 수행된 합성 영상을 사용할 수 있다.
상기 프로세서는 상기 결정된 합성 비율을 기반으로 상기 RGB 영상 및 상기 IR 영상을 가중 평균하여 상기 RGB 영상과 상기 IR 영상의 합성을 수행할 수 있다.
상기 프로세서는 상기 판단 결과 상기 RGB 영상의 노출 상태가 암흑 상태인 경우, 상기 출력 영상으로 상기 IR 영상 그대로를 사용할 수 있다.
상기 프로세서는 상기 RGB 영상이 저조도 환경에서 상기 단일 4 컬러 영상 센서로부터 획득된 경우, 상기 RGB 영상에 대한 노출 보정 및 잡음 제거를 수행할 수 있다.
일실시예에 따르면, 컬러 나이트 비전 시스템의 동작 방법은 단일 4 컬러 영상 센서를 통하여, RGB 광 신호들 및 IR 광 신호를 파장 별로 처리하여 RGB 영상 및 IR 영상을 획득하는 단계; 프로세서를 통하여, 상기 RGB 영상의 밝기 분포를 분석하여 상기 RGB 영상의 노출 상태를 판단하는 단계; 상기 판단 결과에 기초하여 상기 RGB 영상의 노출 보정 정도, 상기 RGB 영상의 잡음 제거 정도 또는 상기 RGB 영상과 상기 IR 영상의 합성 비율 중 적어도 어느 하나를 결정하는 단계; 및 상기 RGB 영상 및 상기 IR 영상을 기반으로 상기 결정 결과에 따라 출력 영상을 생성하는 단계를 포함한다.
상기 RGB 영상 및 상기 IR 영상을 기반으로 상기 결정 결과에 따라 출력 영상을 생성하는 단계는 상기 출력 영상으로 상기 RGB 영상, 상기 IR 영상 또는 상기 RGB 영상과 상기 IR 영상의 합성 영상 중 적어도 어느 하나의 영상을 선택적으로 사용하는 단계일 수 있다.
상기 출력 영상으로 상기 RGB 영상, 상기 IR 영상 또는 상기 RGB 영상과 상기 IR 영상의 합성 영상 중 적어도 어느 하나의 영상을 선택적으로 사용하는 단계는 상기 판단 결과 상기 RGB 영상의 노출 상태가 정상 상태인 경우, 상기 출력 영상으로 상기 RGB 영상 그대로를 사용하는 단계를 포함할 수 있다.
상기 출력 영상으로 상기 RGB 영상, 상기 IR 영상 또는 상기 RGB 영상과 상기 IR 영상의 합성 영상 중 적어도 어느 하나의 영상을 선택적으로 사용하는 단계는 상기 판단 결과 상기 RGB 영상의 노출 상태가 부족 상태이고, 상기 RGB 영상의 노출 상태가 노출 보정으로 복원 가능한 경우, 상기 결정된 노출 보정 정도에 기초하여 상기 RGB 영상에 대한 노출 보정을 수행하는 단계; 및 상기 출력 영상으로 상기 노출 보정이 수행된 RGB 영상을 사용하는 단계를 포함할 수 있다.
상기 출력 영상으로 상기 RGB 영상, 상기 IR 영상 또는 상기 RGB 영상과 상기 IR 영상의 합성 영상 중 적어도 어느 하나의 영상을 선택적으로 사용하는 단계는 상기 판단 결과 상기 RGB 영상의 노출 상태가 부족 상태이고, 상기 RGB 영상의 일부 영역의 노출 상태가 노출 보정으로 복원 불가능하지만, 상기 RGB 영상에 상기 출력 영상을 생성하기 위한 일부 정보가 남아 있는 경우, 상기 결정된 합성 비율에 기초하여 상기 RGB 영상과 상기 IR 영상의 합성을 수행하는 단계; 및 상기 출력 영상으로 상기 합성이 수행된 합성 영상을 사용하는 단계를 포함할 수 있다.
상기 출력 영상으로 상기 RGB 영상, 상기 IR 영상 또는 상기 RGB 영상과 상기 IR 영상의 합성 영상 중 적어도 어느 하나의 영상을 선택적으로 사용하는 단계는 상기 판단 결과 상기 RGB 영상의 노출 상태가 암흑 상태인 경우, 상기 출력 영상으로 상기 IR 영상 그대로를 사용하는 단계를 포함할 수 있다.
일실시예들은 RGB 광 신호들 및 IR 광 신호를 단일 4 컬러 영상 센서에서 처리하여 RGB 영상 및 IR 영상 사이의 시차가 존재하지 않도록 하는 컬러 나이트 비전 시스템 및 그 동작 방법을 제공할 수 있다.
구체적으로, 일실시예들은 단일 4 컬러 영상 센서로부터 획득되는 RGB 영상의 밝기 분포에 따라, RGB 영상, IR 영상 또는 RGB 영상과 IR 영상의 합성 영상 중 적어도 어느 하나의 영상을 선택적으로 출력하는 컬러 나이트 비전 시스템 및 그 동작 방법을 제공할 수 있다.
따라서, 일실시예들은 주간 또는 조명이 충분한 환경에서는 RGB 영상을 출력하고, RGB 광 신호들이 거의 없는 암흑 상태에서는 IR 영상을 출력하며, 저조도 환경이지만 RGB 광 신호들이 일부 존재하는 상태에서는 RGB 영상과 IR 영상의 합성 영상을 출력하는 컬러 나이트 비전 시스템 및 그 동작 방법을 제공할 수 있다.
특히, 일실시예들은 RGB 영상의 밝기 분포에 따라, RGB 영상의 노출 보정 정도, RGB 영상의 잡음 제거 정도와 RGB 영상과 IR 영상의 합성 비율을 결정함으로써, RGB 영상에 대한 노출 보정 및 잡음 제거 그리고 RGB 영상과 IR 영상의 합성을 수행하는 컬러 나이트 비전 시스템 및 그 동작 방법을 제공할 수 있다.
따라서, 일실시예들은 단일 4 컬러 영상 센서에서 RGB 광 신호들과 IR 광 신호 사이의 컬러 오염(color contamination)을 보정하고, RGB 영상의 잡음 제거 정도 및 RGB 영상과 IR 영상 사이의 합성 비율을 결정함으로써, 저조도 환경에서 RGB 영상의 잡음이 RGB 영상과 IR 영상의 합성 영상에 유입되는 것을 방지하는 컬러 나이트 비전 시스템 및 그 동작 방법을 제공할 수 있다.
도 1은 일실시예에 따른 컬러 나이트 비전 시스템의 동작 방법을 설명하기 위한 도면이다.
도 2는 도 1에 도시된 RGB 광 신호들이 일부 존재하는 저조도 환경에서 컬러 나이트 비전 시스템의 동작 방법을 구체적으로 설명하기 위한 도면이다.
도 3은 일실시예에 따른 컬러 나이트 비전 시스템의 동작 방법을 나타낸 플로우 차트이다.
도 4는 도 3에 도시된 출력 영상을 생성하는 단계를 구체적으로 나타낸 플로우 차트이다.
도 5는 일실시예에 따른 컬러 나이트 비전 시스템을 나타낸 블록도이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 일실시예에 따른 컬러 나이트 비전 시스템의 동작 방법을 설명하기 위한 도면이다.
도 1을 참조하면, 일실시예에 따른 컬러 나이트 비전 시스템은 RGB 광 신호들 및 IR 광 신호를 파장 별로 처리하여 RGB 영상(111, 121, 131) 및 IR 영상(112, 122, 132)을 획득하는 단일 4 컬러 영상 센서를 포함함으로써, 시차가 존재하지 않는 RGB 영상(111, 121, 131) 및 IR 영상(112, 122, 132)을 후술되는 프로세서의 나이트 비전 영상 생성 프로세스에서 이용한다.
여기서, 컬러 나이트 비전 시스템에 포함되는 프로세서에서 수행되는 나이트 비전 영상 생성 프로세스는 컬러 나이트 비전 시스템의 조도 환경(이하, 조도 환경은 컬러 나이트 비전 시스템이 위치하는 공간에서 RGB 광 신호들의 존재 유무, 존재 정도 차이 등을 포함하는 RGB 광 신호들의 존재 상황을 의미함)에 따라, 출력 영상(컬러 나이트 비전 영상)으로 RGB 영상(111, 121, 131), IR 영상(112, 122, 132) 또는 RGB 영상(111, 121, 131)과 IR 영상(112, 122, 132)의 합성 영상 중 적어도 어느 하나의 영상을 선택적으로 사용하는 프로세스이다.
구체적으로, 컬러 나이트 비전 영상 생성 프로세스는 주간 또는 조명이 충분한 환경(110)에서 출력 영상으로 RGB 영상을 출력하거나, RGB 광 신호들이 일부 존재하는 저조도 환경(120)에서 출력 영상으로 RGB 영상과 IR 영상의 합성 영상을 출력하거나, RGB 광 신호들이 거의 없는 암흑 상태(130)에서 출력 영상으로 IR 영상을 출력하는 과정을 포함할 수 있다.
예를 들어, 주간 또는 조명이 충분한 환경(110)에서 단일 4 컬러 영상 센서로부터 RGB 영상(111) 및 IR 영상(112)이 획득되면, 프로세서는 RGB 영상(111)의 밝기 분포를 분석하여 RGB 영상(111)의 노출 상태를 정상 상태로 판단한 뒤, RGB 영상(111)의 노출 보정 정도, RGB 영상(111)의 잡음 제거 정도 및 RGB 영상(111) 및 IR 영상(112)의 합성 비율을 모두 널 값으로 결정하여 RGB 영상(111)에 대한 노출 보정 및 잡음 제거 또는 RGB 영상(111)과 IR 영상(112)의 합성을 수행하지 않고, RGB 영상(111)을 그대로 출력 영상으로 사용할 수 있다.
이하, RGB 영상(111, 121, 131)의 밝기 분포를 분석하는 것은 RGB 영상(111, 121, 131)의 밝기 히스토그램을 이용한 휘도 분포 분석을 의미한다. 또한, RGB 영상(111, 121, 131)의 밝기 분포를 분석하는 것은 미리 설정된 임계값들을 기준으로 RGB 영상(111, 121, 131)의 밝기 분포를 비교 분석하여, RGB 영상(111, 121, 131) 이 출력 영상을 생성하기 위한 얼만큼의 정보를 포함하고 있는지를 확인하는 것과 노출 부족을 보정할 수 있는지를 판단 분석하는 것을 의미한다.
또한, RGB 영상(111, 121, 131)의 밝기 분포를 분석하는 것은 IR 영상(112, 122, 132)의 밝기 분포를 기준으로 RGB 영상(111, 121, 131)의 밝기 분포를 비교 분석하는 것을 의미할 수 있다. 이러한 경우, IR 영상(112, 122, 132)의 밝기 분포를 기준으로 RGB 영상(111, 121, 131)의 밝기 분포를 비교 분석하는 것은 IR 영상(112, 122, 132)의 밝기 분포 및 RGB 영상(111, 121, 131)의 밝기 분포를 비교하여, RGB 영상(111, 121, 131) 이 출력 영상을 생성하기 위한 얼만큼의 정보를 포함하고 있는지를 확인하는 것과 노출 부족을 보정할 수 있는지를 판단 분석하는 것을 의미한다.
이 때, 주간 또는 조명이 충분한 환경(110)이라도, RGB 영상(111)의 노출 상태가 부족 상태로 판단되고, RGB 영상(111)의 노출 상태가 노출 보정으로 복원 가능하다고 판단되면, 프로세서는 RGB 영상(111)의 노출 보정 정도를 임의의 값으로 결정하고, 결정된 값에 따라 RGB 영상(111)에 대한 노출 보정을 수행함으로써, 노출 보정이 수행된 RGB 영상(111)을 출력 영상으로 사용할 수도 있다.
또한, 프로세서는 후술되는 전처리 과정을 수행한 경우, 이미 RGB 영상(111)에 대한 노출 보정 및 잡음 제거가 수행되었으므로, 노출 보정 및 잡음 제거가 수행된 RGB 영상(111) 그대로를 출력 영상으로 사용할 수 있다.
다른 예를 들면, RGB 광 신호들이 일부 존재하는 저조도 환경(120)에서 단일 4 컬러 영상 센서로부터 RGB 영상(121) 및 IR 영상(122)이 획득되면, 프로세서는 RGB 영상(121)의 밝기 분포를 분석하여 RGB 영상(121)의 노출 상태가 부족 상태이고 RGB 영상(121)의 노출 상태가 노출 보정으로 복원 불가능하다고 판단한 뒤(RGB 영상(121)의 노출 상태가 노출 보정으로 복원이 불가능하더라도 RGB 영상(121)에 출력 영상을 생성하기 위한 일부 정보가 남아 있는 경우), RGB 영상(121) 및 IR 영상(122)의 합성 비율을 임의의 값으로 결정하고, 결정된 값에 따라 RGB 영상(121)과 IR 영상(122)의 합성을 수행할 수 있다. 따라서, 프로세서는 RGB 영상(121)과 IR 영상(122)의 합성 영상(123)을 출력 영상으로 사용할 수 있다. 이에 대한 상세한 설명은 도 2를 참조하여 기재하기로 한다.
이와 같이 프로세서는 저조도 환경에서 잡음 제거를 통하여 출력 영상을 생성하는 대신에, RGB 영상(121)과 IR 영상(122)의 합성 비율의 조절을 통하여 출력 영상(합성 영상(123))을 생성함으로써, 출력 영상의 선명도를 보장할 수 있다.
이 때, 프로세서는 RGB 영상(121) 및 IR 영상(122)의 합성 비율을 임의의 값으로 결정하는 과정에서, RGB 영상(121)에서 R 영상, G 영상 및 B 영상 사이의 비율을 결정할 수도 있다.
또 다른 예를 들면, RGB 광 신호들이 거의 없는 암흑 상태(130)에서 단일 4 컬러 영상 센서로부터 RGB 영상(131) 및 IR 영상(132)이 획득되면, 프로세서는 RGB 영상(131)의 밝기 분포를 분석하여 RGB 영상(131)의 노출 상태가 부족 상태이고 RGB 영상(131)의 노출 상태가 암흑 상태라고 판단한 뒤, RGB 영상(131)의 노출 보정 정도, RGB 영상(131)의 잡음 제거 정도 및 RGB 영상(131) 및 IR 영상(132)의 합성 비율을 모두 널 값으로 결정하여 RGB 영상(131)에 대한 노출 보정 및 잡음 제거 또는 RGB 영상(131)과 IR 영상(132)의 합성을 수행하지 않고, IR 영상(132)을 그대로 출력 영상으로 사용할 수 있다.
또한, 프로세서는 상술한 주간 또는 조명이 충분한 환경(110), RGB 광 신호들이 일부 존재하는 저조도 환경(120) 및 RGB 광 신호들이 거의 없는 암흑 상태(130) 모두에서, RGB 영상(111, 121, 131)의 노출 상태가 부족 상태로 판단되는 경우, 단일 4 컬러 영상 센서에서 RGB 광 신호들과 IR 광 신호 사이의 컬러 오염을 보정하기 위하여, RGB 영상(111, 121, 131)에 대해 노출 보정 및 잡음 제거의 전처리를 수행할 수도 있다. 이러한 경우 역시 마찬가지로, 프로세서는 RGB 영상(111, 121, 131)의 밝기 분포를 분석한 결과에 따라 노출 보정 정도 및 잡음 제거 정도를 결정하고, 이를 기초로 RGB 영상(111, 121, 131)에 대해 노출 보정 및 잡음 제거의 전처리를 수행할 수 있다.
만약, RGB 광 신호들이 일부 존재하는 저조도 환경(120)에서 전처리가 수행되는 경우, 프로세서는 RGB 영상(121)에 대한 노출 보정 정도, 잡음 제거 정도와 RGB 영상(121)과 IR 영상(122)의 합성 비율을 연계하여 결정할 수 있다.
도 2는 도 1에 도시된 RGB 광 신호들이 일부 존재하는 저조도 환경에서 컬러 나이트 비전 시스템의 동작 방법을 구체적으로 설명하기 위한 도면이다.
도 2를 참조하면, 일실시예에 따른 컬러 나이트 비전 시스템에 포함되는 프로세서는 RGB 광 신호들이 일부 존재하는 저조도 환경에서, 출력 영상으로 RGB 영상(210) 및 IR 영상(220)의 합성 영상(230)을 사용할 수 있다.
구체적으로, RGB 광 신호들이 일부 존재하는 저조도 환경에서 RGB 영상(210)의 밝기 분포를 분석한 결과, RGB 영상(210)의 노출 상태가 부족 상태이고 RGB 영상(210)의 노출 상태가 노출 보정으로 복원 불가능하지만, RGB 영상(210)에 출력 영상을 생성하기 위한 일부 정보가 남아 있다고 판단되면, 프로세서는 RGB 영상(210) 및 IR 영상(220)의 합성 비율을 판단 결과에 따라 임의의 값으로 결정한 뒤, 결정된 값에 기초하여 RGB 영상(210)과 IR 영상(220)의 합성을 수행하여 합성 영상(230)을 출력할 수 있다.
RGB 영상(210) 및 IR 영상(220)의 합성 과정에서, 프로세서는 RGB 영상(210) 및 IR 영상(122)의 합성 비율을 임의의 값으로 결정한 뒤, RGB 영상(210)의 색공간을 YCbCr로 변환함으로써, 결정된 합성 비율을 기반으로, 변환된 휘도 성분과 IR 영상(220)을 가중 평균하여 RGB 영상(210)과 IR 영상(220)의 합성을 수행할 수 있다.
이 때, 프로세서는 합성 영상(230)에서의 잡음이 최소화되도록 컬러 나이트 비전 시스템의 조도 환경을 고려하여 RGB 영상(210) 및 IR 영상(220)의 합성 비율을 임의의 값으로 결정할 뿐만 아니라, 합성 영상(230)의 화질을 보장하기 위하여, 합성 영상(230)의 컬러가 자연스럽도록 RGB 영상(210) 및 IR 영상(220)의 합성 비율을 임의의 값으로 결정할 수 있다. RGB 영상(210)과 IR 영상(220)을 합성할 때, IR 영상(220)의 비율이 높을수록 합성 영상(230)과 원래 RGB 영상(210)의 색상의 차이가 커지며, 반면, 노출을 보정하고 잡음을 제거한 RGB 영상(210)의 비율이 높으면 합성 영상(230)의 선명도가 떨어진다(노출 보정과 잡음 제거 과정에서 저역 통과 필터가 사용되므로 노출 부족이 심할수록 노출 보정된 영상의 선명도는 떨어짐). 그러므로 합성 영상(230)의 선명도를 유지하고 원래 RGB 영상(210)과의 색상차를 최소화하기 위해 RGB 영상(210)의 노출 부족 정도가 심할수록 RGB 영상(210)의 비율을 낮출 수 있다.
즉, 프로세서는 컬러 나이트 비전 시스템의 조도 환경에서 RGB 광 신호들이 적게 존재할수록 합성 영상(230)에서의 IR 영상(220)의 합성 비율을 높이고(RGB 영상(210)의 합성 비율은 낮춤), RGB 광 신호들이 많이 존재할수록 합성 영상(230)에서의 RGB 영상(210)의 합성 비율을 높일 수 있다(IR 영상(220)의 합성 비율은 낮춤).
또한, 프로세서는 필요에 따라, RGB 영상(210)에 대한 노출 보정 및 잡음 제거를 수행할 수도 있다. 이러한 경우, RGB 영상(210)의 밝기 분포를 분석한 결과, RGB 영상(210) 및 IR 영상(220)의 합성 비율을 결정하는 과정에서, RGB 영상(210)에 대한 노출 보정 정도 및 잡음 제거 정도를 추가적으로 결정함으로써, 결정된 노출 보정 정도 및 잡음 제거 정도에 기초하여 RGB 영상(210)에 대한 노출 보정 및 잡음 제거가 수행될 수 있다.
도 3은 일실시예에 따른 컬러 나이트 비전 시스템의 동작 방법을 나타낸 플로우 차트이다.
도 3을 참조하면, 일실시예에 다른 컬러 나이트 비전 시스템은 단일 4 컬러 영상 센서를 통하여, RGB 광 신호들 및 IR 광 신호를 파장 별로 처리하여 RGB 영상 및 IR 영상을 획득한다(310).
이어서, 컬러 나이트 비전 시스템은 프로세서를 통하여, RGB 영상의 밝기 분포를 분석하여 RGB 영상의 노출 상태를 판단한다(320).
여기서, 320 단계는 RGB 영상의 밝기 히스토그램을 이용한 휘도 분포 분석을 포함할 수 있다.
또한, 320 단계는 미리 설정된 임계값들을 기준으로 RGB 영상의 밝기 분포를 비교 분석하여, RGB 영상이 출력 영상을 생성하기 위한 얼만큼의 정보를 포함하고 있는지를 확인하는 단계와 부족한 정보를 복원할 수 있는지를 판단 분석하는 단계를 포함할 수 있다.
또한, 320 단계는 IR 영상의 밝기 분포를 기준으로 RGB 영상의 밝기 분포를 비교 분석하는 단계일 수 있다. 이러한 경우, 프로세서는 추가적으로 IR 영상의 밝기 분포를 획득하는 단계를 수행할 수 있고, 320 단계는 IR 영상의 밝기 분포 및 RGB 영상의 밝기 분포를 비교하여, RGB 영상이 출력 영상을 생성하기 위한 얼만큼의 정보를 포함하고 있는지를 확인하는 단계와 부족한 정보를 복원할 수 있는지를 판단 분석하는 단계를 포함할 수 있다.
그 다음, 컬러 나이트 비전 시스템은 프로세서를 통하여, 판단 결과에 기초하여 RGB 영상의 노출 보정 정도, RGB 영상의 잡음 제거 정도 또는 RGB 영상과 IR 영상의 합성 비율 중 적어도 어느 하나를 결정한다(330).
그 후, 컬러 나이트 비전 시스템은 프로세서를 통하여, RGB 영상 및 IR 영상을 기반으로 결정 결과에 따라 출력 영상을 생성한다(340). 구체적으로, 340 단계에서, 프로세서는 결정 결과에 따라, 출력 영상으로 RGB 영상, IR 영상 또는 RGB 영상과 IR 영상의 합성 영상 중 적어도 어느 하나의 영상을 선택적으로 사용할 수 있다. 이에 대한 상세한 설명은 도 4를 참조하여 기재하기로 한다.
도 4는 도 3에 도시된 출력 영상을 생성하는 단계를 구체적으로 나타낸 플로우 차트이다.
도 4를 참조하면, 일실시예에 따른 컬러 나이트 비전 시스템에 포함되는 프로세서는 도 3에 도시된 320 단계에서 RGB 영상의 노출 상태가 정상 상태로 판단되는 경우, 출력 영상으로 RGB 영상 그대로를 사용할 수 있다(410).
반면에, 도 3에 도시된 320 단계에서 RGB 영상의 노출 상태가 부족 상태이고, RGB 영상의 노출 상태가 노출 보정으로 복원 가능하다고 판단되는 경우, 프로세서는 도 3에 도시된 330 단계에서 결정된 노출 보정 정도에 기초하여 RGB 영상에 대한 노출 보정을 수행한 뒤(420), 출력 영상으로 노출 보정이 수행된 RGB 영상을 사용할 수 있다(430).
또한, 도 3에 도시된 320 단계에서 RGB 영상의 노출 상태가 부족 상태이고, RGB 영상의 노출 상태가 노출 보정으로 복원 불가능하지만 RGB 영상에 출력 영상을 생성하기 위한 일부 정보가 남아 있다고 판단되는 경우, 프로세서는 도 3에 도시된 330 단계에서 결정된 합성 비율에 기초하여 RGB 영상과 IR 영상의 합성을 수행한 뒤(440), 출력 영상으로 합성이 수행된 합성 영상을 사용할 수 있다(450).
이 때, 440 단계에서, 프로세서는 결정된 합성 비율을 기반으로 RGB 영상 및 IR 영상을 가중 평균하여 RGB 영상과 IR 영상의 합성을 수행할 수 있다.
또한, 도 3에 도시된 320 단계에서 RGB 영상의 노출 상태가 부족 상태이고, RGB 영상의 전체 영역의 노출 상태가 암흑 상태라고 판단되는 경우, 프로세서는 출력 영상으로 IR 영상 그대로를 사용할 수 있다(460).
또한, 도면에는 도시되지 않았지만, 프로세서는 RGB 영상이 저조도 환경에서 획득된 경우(RGB 영상의 노출 상태가 부족 상태로 판단되는 경우), RGB 영상에 대한 노출 보정 및 잡음 제거를 포함하는 전처리를 수행할 수도 있다. 이러한 경우, 프로세서는 도 3에 도시된 330 단계에서 결정된 노출 보정 정도 및 잡음 제거 정도에 기초하여 전처리를 수행할 수 있다. 특히, 상술한 전처리 과정은 RGB 영상의 노출 상태가 부족 상태이고, RGB 영상의 노출 상태가 노출 보정만으로 복원 불가능하지만, RGB 영상에 출력 영상을 생성하기 위한 일부 정보가 남아 있다고 판단되는 경우, RGB 영상과 IR 영상의 합성을 수행하기 이전에 수행될 수 있다.
도 5는 일실시예에 따른 컬러 나이트 비전 시스템을 나타낸 블록도이다.
도 5를 참조하면, 일실시예에 따른 컬러 나이트 비전 시스템은 단일 4 컬러 영상 센서(510) 및 프로세서(520)를 포함한다.
단일 4 컬러 영상 센서(510)는 RGB 광 신호들 및 IR 광 신호를 파장 별로 처리하여 RGB 영상 및 IR 영상을 획득한다.
프로세서(520)는 RGB 영상의 밝기 분포를 분석하여 RGB 영상의 노출 상태를 판단하고, 판단 결과에 기초하여 RGB 영상의 노출 보정 정도, RGB 영상의 잡음 제거 정도 또는 RGB 영상과 IR 영상의 합성 비율 중 적어도 어느 하나를 결정하며, RGB 영상 및 IR 영상을 기반으로 결정 결과에 따라 출력 영상을 생성한다.
이 때, RGB 영상의 밝기 분포를 분석하는 것은 RGB 영상의 밝기 히스토그램을 이용한 휘도 분포 분석을 포함할 수 있다.
또한, RGB 영상의 밝기 분포를 분석하는 것은 미리 설정된 임계값들을 기준으로 RGB 영상의 밝기 분포를 비교 분석하여, RGB 영상이 출력 영상을 생성하기 위한 얼만큼의 정보를 포함하고 있는지를 확인하는 과정과 부족한 정보를 복원할 수 있는지를 판단 분석하는 과정을 포함할 수 있다.
또한, RGB 영상의 밝기 분포를 분석하는 것은 IR 영상의 밝기 분포를 기준으로 RGB 영상의 밝기 분포를 비교 분석하는 과정일 수 있다. 이러한 경우, 프로세서(520)는 추가적으로 IR 영상의 밝기 분포를 획득할 수 있고, RGB 영상의 밝기 분포를 분석하는 것은 IR 영상의 밝기 분포 및 RGB 영상의 밝기 분포를 비교하여, RGB 영상이 출력 영상을 생성하기 위한 얼만큼의 정보를 포함하고 있는지를 확인하는 과정과 부족한 정보를 복원할 수 있는지를 판단 분석하는 과정을 포함할 수 있다.
구체적으로, 프로세서(520)는 결정 결과에 따라, 출력 영상으로 RGB 영상, IR 영상 또는 RGB 영상과 IR 영상의 합성 영상 중 적어도 어느 하나의 영상을 선택적으로 사용할 수 있다.
예를 들어, RGB 영상의 노출 상태가 정상 상태로 판단되는 경우, 프로세서(520)는 출력 영상으로 RGB 영상 그대로를 사용할 수 있다.
다른 예를 들면, RGB 영상의 노출 상태가 부족 상태이고, RGB 영상의 노출 상태가 노출 보정으로 복원 가능하다고 판단되는 경우, 프로세서(520)는 결정된 노출 보정 정도에 기초하여 RGB 영상에 대한 노출 보정을 수행한 뒤, 출력 영상으로 노출 보정이 수행된 RGB 영상을 사용할 수 있다.
또 다른 예를 들면, RGB 영상의 노출 상태가 부족 상태이고, RGB 영상의 노출 상태가 노출 보정으로 복원 불가능하지만, RGB 영상에 출력 영상을 생성하기 위한 일부 정보가 남아 있다고 판단되는 경우, 프로세서(520)는 결정된 합성 비율에 기초하여 RGB 영상과 IR 영상의 합성을 수행한 뒤, 출력 영상으로 합성이 수행된 합성 영상을 사용할 수 있다. 이러한 경우, 프로세서(520)는 결정된 합성 비율을 기반으로 RGB 영상 및 IR 영상을 가중 평균하여 RGB 영상과 IR 영상의 합성을 수행할 수 있다.
또 다른 예를 들면, RGB 영상의 노출 상태가 암흑 상태라고 판단되는 경우, 프로세서(520)는 출력 영상으로 IR 영상 그대로를 사용할 수도 있다.
또한, 프로세서(520)는 RGB 영상이 저조도 환경에서 획득된 경우(RGB 영상의 노출 상태가 부족 상태로 판단되는 경우), RGB 영상에 대한 노출 보정 및 잡음 제거를 포함하는 전처리를 수행할 수도 있다. 이러한 경우, 프로세서(520)는 결정된 노출 보정 정도 및 잡음 제거 정도에 기초하여 전처리를 수행할 수 있다. 특히, 상술한 전처리 과정은 RGB 영상의 노출 상태가 부족 상태이고, RGB 영상의 노출 상태가 노출 보정으로 복원 불가능하지만 일부 정보가 남아 있다고 판단되는 경우, RGB 영상과 IR 영상의 합성을 수행하기 이전에 수행될 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. RGB 광 신호들 및 IR 광 신호를 파장 별로 처리하여 RGB 영상 및 IR 영상을 획득하는 단일 4 컬러 영상 센서; 및
    상기 RGB 영상의 밝기 분포를 분석하여 상기 RGB 영상의 노출 상태를 판단하고, 상기 판단 결과에 기초하여 상기 RGB 영상의 노출 보정 정도, 상기 RGB 영상의 잡음 제거 정도 또는 상기 RGB 영상과 상기 IR 영상의 합성 비율 중 적어도 어느 하나를 결정하며, 상기 RGB 영상 및 상기 IR 영상을 기반으로 상기 결정 결과에 따라 출력 영상을 생성하는 프로세서
    를 포함하는 컬러 나이트 비전 시스템.
  2. 제1항에 있어서,
    상기 프로세서는
    상기 출력 영상으로 상기 RGB 영상, 상기 IR 영상 또는 상기 RGB 영상과 상기 IR 영상의 합성 영상 중 적어도 어느 하나의 영상을 선택적으로 사용하는, 컬러 나이트 비전 시스템.
  3. 제2항에 있어서,
    상기 프로세서는
    상기 판단 결과 상기 RGB 영상의 노출 상태가 정상 상태인 경우, 상기 출력 영상으로 상기 RGB 영상 그대로를 사용하는, 컬러 나이트 비전 시스템.
  4. 제2항에 있어서,
    상기 프로세서는
    상기 판단 결과 상기 RGB 영상의 노출 상태가 부족 상태이고, 상기 RGB 영상의 노출 상태가 노출 보정으로 복원 가능한 경우, 상기 결정된 노출 보정 정도에 기초하여 상기 RGB 영상에 대한 노출 보정을 수행하고, 상기 출력 영상으로 상기 노출 보정이 수행된 RGB 영상을 사용하는, 컬러 나이트 비전 시스템.
  5. 제2항에 있어서,
    상기 프로세서는
    상기 판단 결과 상기 RGB 영상의 노출 상태가 부족 상태이고, 상기 RGB 영상의 노출 상태가 노출 보정으로 복원 불가능하지만. 상기 RGB 영상에 상기 출력 영상을 생성하기 위한 일부 정보가 남아있는 경우, 상기 결정된 합성 비율에 기초하여 상기 RGB 영상과 상기 IR 영상의 합성을 수행하고, 상기 출력 영상으로 상기 합성이 수행된 합성 영상을 사용하는, 컬러 나이트 비전 시스템.
  6. 제5항에 있어서,
    상기 프로세서는
    상기 결정된 합성 비율을 기반으로 상기 RGB 영상 및 상기 IR 영상을 가중 평균하여 상기 RGB 영상과 상기 IR 영상의 합성을 수행하는, 컬러 나이트 비전 시스템.
  7. 제2항에 있어서,
    상기 프로세서는
    상기 판단 결과 상기 RGB 영상의 노출 상태가 암흑 상태인 경우, 상기 출력 영상으로 상기 IR 영상 그대로를 사용하는, 컬러 나이트 비전 시스템.
  8. 제1항에 있어서,
    상기 프로세서는
    상기 RGB 영상이 저조도 환경에서 상기 단일 4 컬러 영상 센서로부터 획득된 경우, 상기 RGB 영상에 대한 노출 보정 및 잡음 제거를 수행하는, 컬러 나이트 비전 시스템.
  9. 단일 4 컬러 영상 센서를 통하여, RGB 광 신호들 및 IR 광 신호를 파장 별로 처리하여 RGB 영상 및 IR 영상을 획득하는 단계;
    프로세서를 통하여, 상기 RGB 영상의 밝기 분포를 분석하여 상기 RGB 영상의 노출 상태를 판단하는 단계;
    상기 판단 결과에 기초하여 상기 RGB 영상의 노출 보정 정도, 상기 RGB 영상의 잡음 제거 정도 또는 상기 RGB 영상과 상기 IR 영상의 합성 비율 중 적어도 어느 하나를 결정하는 단계; 및
    상기 RGB 영상 및 상기 IR 영상을 기반으로 상기 결정 결과에 따라 출력 영상을 생성하는 단계
    를 포함하는 컬러 나이트 비전 시스템의 동작 방법.
  10. 제9항에 있어서,
    상기 RGB 영상 및 상기 IR 영상을 기반으로 상기 결정 결과에 따라 출력 영상을 생성하는 단계는
    상기 출력 영상으로 상기 RGB 영상, 상기 IR 영상 또는 상기 RGB 영상과 상기 IR 영상의 합성 영상 중 적어도 어느 하나의 영상을 선택적으로 사용하는 단계인, 컬러 나이트 비전 시스템의 동작 방법.
  11. 제10항에 있어서,
    상기 출력 영상으로 상기 RGB 영상, 상기 IR 영상 또는 상기 RGB 영상과 상기 IR 영상의 합성 영상 중 적어도 어느 하나의 영상을 선택적으로 사용하는 단계는
    상기 판단 결과 상기 RGB 영상의 노출 상태가 정상 상태인 경우, 상기 출력 영상으로 상기 RGB 영상 그대로를 사용하는 단계
    를 포함하는 컬러 나이트 비전 시스템의 동작 방법.
  12. 제10항에 있어서,
    상기 출력 영상으로 상기 RGB 영상, 상기 IR 영상 또는 상기 RGB 영상과 상기 IR 영상의 합성 영상 중 적어도 어느 하나의 영상을 선택적으로 사용하는 단계는
    상기 판단 결과 상기 RGB 영상의 노출 상태가 부족 상태이고, 상기 RGB 영상의 노출 상태가 노출 보정으로 복원 가능한 경우, 상기 결정된 노출 보정 정도에 기초하여 상기 RGB 영상에 대한 노출 보정을 수행하는 단계; 및
    상기 출력 영상으로 상기 노출 보정이 수행된 RGB 영상을 사용하는 단계
    를 포함하는 컬러 나이트 비전 시스템의 동작 방법.
  13. 제10항에 있어서,
    상기 출력 영상으로 상기 RGB 영상, 상기 IR 영상 또는 상기 RGB 영상과 상기 IR 영상의 합성 영상 중 적어도 어느 하나의 영상을 선택적으로 사용하는 단계는
    상기 판단 결과 상기 RGB 영상의 노출 상태가 부족 상태이고, 상기 RGB 영상의 노출 상태가 노출 보정으로 복원 불가능하지만, 상기 RGB 영상에 상기 출력 영상을 생성하기 위한 일부 정보가 남아 있는 경우, 상기 결정된 합성 비율에 기초하여 상기 RGB 영상과 상기 IR 영상의 합성을 수행하는 단계; 및
    상기 출력 영상으로 상기 합성이 수행된 합성 영상을 사용하는 단계
    를 포함하는 컬러 나이트 비전 시스템의 동작 방법.
  14. 제10항에 있어서,
    상기 출력 영상으로 상기 RGB 영상, 상기 IR 영상 또는 상기 RGB 영상과 상기 IR 영상의 합성 영상 중 적어도 어느 하나의 영상을 선택적으로 사용하는 단계는
    상기 판단 결과 상기 RGB 영상의 노출 상태가 암흑 상태인 경우, 상기 출력 영상으로 상기 IR 영상 그대로를 사용하는 단계
    를 포함하는 컬러 나이트 비전 시스템의 동작 방법.
  15. 삭제
KR1020160057605A 2016-05-11 2016-05-11 컬러 나이트 비전 시스템 및 그 동작 방법 Expired - Fee Related KR101747603B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160057605A KR101747603B1 (ko) 2016-05-11 2016-05-11 컬러 나이트 비전 시스템 및 그 동작 방법
US15/592,989 US20170330053A1 (en) 2016-05-11 2017-05-11 Color night vision system and operation method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160057605A KR101747603B1 (ko) 2016-05-11 2016-05-11 컬러 나이트 비전 시스템 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR101747603B1 true KR101747603B1 (ko) 2017-06-16

Family

ID=59278536

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160057605A Expired - Fee Related KR101747603B1 (ko) 2016-05-11 2016-05-11 컬러 나이트 비전 시스템 및 그 동작 방법

Country Status (2)

Country Link
US (1) US20170330053A1 (ko)
KR (1) KR101747603B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101852057B1 (ko) * 2017-11-23 2018-04-25 주식회사 아이티아이비전 영상 및 열화상을 이용한 돌발 상황 감지시스템
KR101852058B1 (ko) * 2017-11-23 2018-04-25 주식회사 아이티아이비전 듀얼 카메라를 이용한 돌발 상황 감지방법
WO2021075799A1 (ko) * 2019-10-14 2021-04-22 엘지이노텍 주식회사 이미지 처리 장치 및 이미지 처리 방법
KR102372215B1 (ko) * 2020-10-16 2022-03-10 주식회사 넥스트칩 컬러 정보 및 적외선 정보를 혼합한 이미지 생성 방법 및 장치

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10638060B2 (en) * 2016-06-28 2020-04-28 Intel Corporation Color correction of RGBIR sensor stream based on resolution recovery of RGB and IR channels
US10863116B2 (en) * 2017-05-11 2020-12-08 Nanolux Co. Ltd. Solid-state image capture device, image capture system, and object identification system
US11030485B2 (en) * 2018-03-30 2021-06-08 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for feature transformation, correction and regeneration for robust sensing, transmission, computer vision, recognition and classification
WO2020051898A1 (zh) * 2018-09-14 2020-03-19 浙江宇视科技有限公司 双光图像自动曝光方法、装置、双光图像相机及机器存储介质
CN109389111A (zh) * 2018-10-24 2019-02-26 浙江宇视科技有限公司 图像采集处理方法、装置及计算机可读存储介质
CN109120856B (zh) * 2018-10-26 2020-11-03 珠海格力电器股份有限公司 一种摄像方法及装置
CN110248105B (zh) * 2018-12-10 2020-12-08 浙江大华技术股份有限公司 一种图像处理方法、摄像机及计算机存储介质
WO2020124316A1 (en) * 2018-12-17 2020-06-25 SZ DJI Technology Co., Ltd. Image processing method and apparatus
CN111510636B (zh) * 2019-01-30 2021-07-09 华为技术有限公司 光亮度评价值的获取方法、装置及计算机存储介质
US12155811B2 (en) * 2019-06-11 2024-11-26 Lg Electronics Inc. Dust measurement device
US11454546B2 (en) * 2020-05-27 2022-09-27 Samsung Electronics Co., Ltd. Hybrid visible/NIR and LWIR sensor with resistive microbolometer
US11418719B2 (en) * 2020-09-04 2022-08-16 Altek Semiconductor Corp. Dual sensor imaging system and calibration method which includes a color sensor and an infrared ray sensor to perform image alignment and brightness matching
US11496694B2 (en) 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
US11568526B2 (en) 2020-09-04 2023-01-31 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
US11689822B2 (en) 2020-09-04 2023-06-27 Altek Semiconductor Corp. Dual sensor imaging system and privacy protection imaging method thereof
US11496660B2 (en) 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and depth map calculation method thereof
CN114143418B (zh) * 2020-09-04 2023-12-01 聚晶半导体股份有限公司 双传感器摄像系统及其摄像方法
EP4348569B1 (en) * 2021-05-31 2025-04-02 Microsoft Technology Licensing, LLC Glare removal using dual cameras
US11678068B2 (en) 2021-05-31 2023-06-13 Microsoft Technology Licensing, Llc Glare removal using dual cameras

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005071372A1 (ja) 2004-01-23 2005-08-04 Olympus Corporation 画像処理システム、カメラ
JP2006186688A (ja) 2004-12-27 2006-07-13 Casio Comput Co Ltd 撮像装置、画像処理方法及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101858577B1 (ko) * 2012-10-10 2018-05-16 삼성전자주식회사 결상 광학계 및 이를 포함하는 3차원 영상 획득 장치
KR102086509B1 (ko) * 2012-11-23 2020-03-09 엘지전자 주식회사 3차원 영상 획득 방법 및 장치
JP5853947B2 (ja) * 2012-12-27 2016-02-09 株式会社デンソー 暗視装置
DE112014000731T5 (de) * 2013-02-08 2015-10-22 Denso Corporation Bildverarbeitungsvorrichtung
US9363446B2 (en) * 2013-04-15 2016-06-07 Htc Corporation Automatic exposure control for sequential images
JP6471953B2 (ja) * 2014-05-23 2019-02-20 パナソニックＩｐマネジメント株式会社 撮像装置、撮像システム、及び撮像方法
CN107431760B (zh) * 2015-03-31 2018-08-28 富士胶片株式会社 摄像装置、摄像装置的图像处理方法以及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005071372A1 (ja) 2004-01-23 2005-08-04 Olympus Corporation 画像処理システム、カメラ
JP2006186688A (ja) 2004-12-27 2006-07-13 Casio Comput Co Ltd 撮像装置、画像処理方法及びプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101852057B1 (ko) * 2017-11-23 2018-04-25 주식회사 아이티아이비전 영상 및 열화상을 이용한 돌발 상황 감지시스템
KR101852058B1 (ko) * 2017-11-23 2018-04-25 주식회사 아이티아이비전 듀얼 카메라를 이용한 돌발 상황 감지방법
WO2021075799A1 (ko) * 2019-10-14 2021-04-22 엘지이노텍 주식회사 이미지 처리 장치 및 이미지 처리 방법
KR102372215B1 (ko) * 2020-10-16 2022-03-10 주식회사 넥스트칩 컬러 정보 및 적외선 정보를 혼합한 이미지 생성 방법 및 장치
WO2022080550A1 (ko) * 2020-10-16 2022-04-21 주식회사 넥스트칩 컬러 정보 및 적외선 정보를 혼합한 이미지 생성 방법 및 장치

Also Published As

Publication number Publication date
US20170330053A1 (en) 2017-11-16

Similar Documents

Publication Publication Date Title
KR101747603B1 (ko) 컬러 나이트 비전 시스템 및 그 동작 방법
JP6029954B2 (ja) 撮像装置
EP2833618B1 (en) Method for activating and deactivating an image correction function, camera system and motor vehicle
CN110830779B (zh) 一种图像信号的处理方法和系统
KR101367637B1 (ko) 감시장치
JP2016052115A (ja) 撮像方法及び撮像装置
WO2014129319A1 (ja) 撮像装置
US10298856B2 (en) Imaging device
US9936172B2 (en) Signal processing device, signal processing method, and signal processing program for performing color reproduction of an image
JP6606231B2 (ja) 色画像を生成するカメラおよび方法
JP6484504B2 (ja) 撮像装置
JP2017011634A (ja) 撮像装置およびその制御方法、並びにプログラム
US9105105B2 (en) Imaging device, imaging system, and imaging method utilizing white balance correction
JP2017207883A (ja) 監視システム、カラーカメラ装置及び光学部品
JP2011176710A (ja) 撮像装置
CN110493493A (zh) 全景细节摄像机及获取图像信号的方法
CN111783563B (zh) 基于双光谱的人脸抓拍和监控方法及系统、设备
JP2012010282A (ja) 撮像装置、露光制御方法及び露光制御プログラム
JP2012008845A (ja) 画像処理装置
JP2012010141A (ja) 画像処理装置
JP2017092876A (ja) 撮像装置、撮像システム、及び撮像方法
JP5655441B2 (ja) 画像センサ及びこの画像センサを用いた撮像装置及びこの撮像装置を用いた車載用監視装置
CN106534663A (zh) 摄像装置
CN106534664A (zh) 摄像装置
JP2010161453A (ja) 赤外線照射式撮像装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160511

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20161221

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20170531

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20170608

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20170608

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20200331

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20210416

Start annual number: 5

End annual number: 5

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20230319