[go: up one dir, main page]

KR101848284B1 - 가시광선 칼라 및 근적외선 영상 촬영용 영상 센서 - Google Patents

가시광선 칼라 및 근적외선 영상 촬영용 영상 센서 Download PDF

Info

Publication number
KR101848284B1
KR101848284B1 KR1020160110237A KR20160110237A KR101848284B1 KR 101848284 B1 KR101848284 B1 KR 101848284B1 KR 1020160110237 A KR1020160110237 A KR 1020160110237A KR 20160110237 A KR20160110237 A KR 20160110237A KR 101848284 B1 KR101848284 B1 KR 101848284B1
Authority
KR
South Korea
Prior art keywords
pixel
image
color
light
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020160110237A
Other languages
English (en)
Other versions
KR20180024298A (ko
Inventor
이재웅
최종범
조준희
신정순
김형준
최병환
Original Assignee
(주) 지안
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 지안 filed Critical (주) 지안
Priority to KR1020160110237A priority Critical patent/KR101848284B1/ko
Publication of KR20180024298A publication Critical patent/KR20180024298A/ko
Application granted granted Critical
Publication of KR101848284B1 publication Critical patent/KR101848284B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H04N5/332
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H04N5/23212
    • H04N5/2353

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명은 가시광선 및 근적외선 빛을 이용하여 가시광선 칼라 영상과 근적외선 영상을 촬영하는 CMOS 영상 센서이다. 본 CMOS 영상 센서는 다음과 같은 구성 요소를 포함한다. 가시광선의 제1 색상에 해당하는 파장 영역의 빛 및 근적외선 빛을 감지하는 제1 픽셀; 가시광선의 제2 색상에 해당하는 파장 영역의 빛 및 근적외선 빛을 감지하는 제2 픽셀; 가시광선의 전체 파장 영역의 빛을 감지하고 근적외선 빛에는 반응하지 않는 제3 픽셀; 가시광선의 전체 파장 영역의 빛 및 근적외선 빛을 감지하는 제4 픽셀을 포함한다. 영상을 촬영할 때 상기 제1 내지 제4 픽셀 중 적어도 한 개 이상의 픽셀에 대한 노출 시간을 다른 픽셀과 독립적으로 조정하는 다중 노출 조정부를 포함한다. 제1 내지 제4 픽셀의 출력 신호들을 연산하여 가시광선의 칼라 영상 신호 및 근적외선 영상 신호를 추출하는 칼라/IR 영상 추출부를 포함한다. 외부의 명령에 따라서 가시광선 영상 촬영 모드, 근적외선 영상 촬영 모드, 가시광선 영상 및 근적외선 영상을 동시에 촬영하는 모드로 조정하는 모드 조정부를 포함한다.

Description

가시광선 칼라 및 근적외선 영상 촬영용 영상 센서{image sensor for visible color and near infrared imaging}
본 발명은 가시광선 칼라 영상과 근적외선 영상을 동시에 또는 선택적으로 촬영할 수 있는 영상 센서에 관한 것으로, 특히, CMOS 영상 센서에 관한 것이다.
CMOS 영상 센서는 반도체 CMOS 제조 기술을 이용하여 제작된 영상촬영 소자이다. CMOS 영상 센서는 빛을 받아서 전압 신호로 바꾸는 기능을 갖는 픽셀(pixel)들의 2차원 배열을 포함한다. 픽셀들의 2차원 배열은 과거에 일반적으로 사용된 광학필름의 역할을 하는 반도체 필름에 해당한다. 2차원 배열의 각 픽셀은 그 픽셀로 입사하는 빛 신호를 포토다이오드를 이용하여 광전자들(photoelectrons)로 바꾼 후에, 광전자들의 개수에 비례하는 전압 신호를 출력한다. CMOS 영상 센서를 만드는 반도체는 실리콘(Si)이므로 CMOS 영상 센서의 픽셀이 반응하는 빛의 파장 λ의 영역은 실리콘이 빛을 흡수할 수 있는 한계인 1100 nm 미만의 가시광선과 근적외선으로 제한된다.
종래의 기술에서는 CMOS 영상 센서를 이용하여 칼라 영상을 촬영하기 위하여 R, G, B 세 종류의 칼라 필터들을 Bayer 패턴의 형태로 픽셀 배열 위에 구성한다. Bayer 패턴을 구성하는 단위 셀(unit cell)은 도 8과 같다. 단위 셀은 대각선으로 배치된 2개의 G(green)픽셀과 R(red)픽셀, B(blue)픽셀을 1개씩 포함한다. 이와 같은 2ⅹ2 단위 셀을 필요한 개수만큼 2 차원으로 반복하여 원하는 픽셀 배열을 구성한다. CMOS 영상 센서는 입사하는 빛의 밝기에 따라서 픽셀이 빛을 받아서 신호 전자로 바꾸어 축적하는 노출시간(exposure time)을 적절하게 조정한다.
대부분의 CMOS 영상 센서는 다양한 밝기의 상황에서 최적의 영상을 촬영할 수 있도록 픽셀의 노출시간을 자동으로 제어하는 자동 노출조정 AEC(auto exposure control) 회로를 포함하고 있다. 도 8에 개념적으로 도시한 바와 같이 기존의 RGB Bayer 패턴 CMOS 영상 센서는 R픽셀, G픽셀, B픽셀을 구별하지 않고 동일한 하나의 노출시간으로 구동한다. 따라서 이와 같은 CMOS 영상 센서는 1개의 AEC 회로만을 포함한다.
현재 픽셀 위에 구성되는 R, G, B 칼라 필터들은 각각 목표로 하는 가시광선의 R, G, B 파장의 영역 이외에 적외선 영역의 빛을 통과시키는 물질적 특성을 가지고 있다. 따라서 RGB Bayer 패턴의 픽셀 배열을 이용하여 정확한 칼라 영상을 획득하기 위하여 외부에 적외선 차단 필터(IR cutoff filter)를 추가로 배치하여 적외선 빛이 픽셀 배열로 입사하는 것을 차단하는 방법을 사용한다. 물론 이런 경우에는 근적외선 영상은 촬영할 수가 없다. 현재 CMOS 영상 센서를 사용하는 칼라 영상 카메라는 빛을 센서로 입사하도록 유도하는 렌즈 광학계 광로(optical path)의 알맞은 곳에 적외선 차단 필터를 삽입한다.
일반적으로 이용하고 있는 많은 감시용 카메라는 적외선 차단 필터를 기계적으로 광로에 삽입 또는 제거하는 장치를 갖추고 있다. 주간에는 적외선 차단 필터를 광로에 삽입하여 적외선을 차단한 상태로 정확한 가시광선 칼라 영상을 촬영하고, 야간에는 근적외선 광원으로 물체를 조명하면서 적외선 차단 필터를 광로에서 제거하여 근적외선 영상을 촬영하는 방법을 쓰고 있다.
상술한 종래 기술 구조는 구조가 복잡하여 비용을 증대시키고, 고장 발생 확률을 높일 뿐 아니라, 가시광선 칼라 영상 및 근적외선 영상을 동시에 촬영할 수 없었다.
1. 대한민국 공개특허 10-2011-0114315호 2. 미국 등록특허 US3,971,065
본 발명은 가시광선 및 근적외선을 동시에 이용하여 가시광선 칼라 영상 및 근적외선 영상을 동시에 또는 선택적으로 촬영할 수 있는 영상 센서를 제공하고자 한다.
보다 구체적으로, 본 발명은, 가시광선 영역의 칼라 영상을 획득하기 위하여 외부에 적외선 차단 필터를 별도로 사용하지 않아도 되는 가시광선 및 근적외선 겸용 영상 센서를 제공하고자 한다.
보다 구체적으로, 본 발명은, 가시광선의 전 영역 및 근적외선 영역의 빛을 함께 이용함으로써 감도가 높은 영상 센서를 제공하고자 한다.
본 발명의 일 측면에 따른 가시광선 칼라 영상 및 근적외선 영상 촬영용 영상센서는, 가시광선의 제1 색상에 해당하는 파장 영역의 빛 및 근적외선 빛을 감지하는 제1 픽셀; 가시광선의 제2 색상에 해당하는 파장 영역의 빛 및 근적외선 빛을 감지하는 제2 픽셀; 가시광선의 전체 파장 영역의 빛을 감지하고 근적외선 빛에는 반응하지 않는 제3 픽셀; 가시광선의 전체 파장 영역의 빛 및 근적외선 빛을 감지하는 제4 픽셀을 포함하고, 영상을 촬영할 때 상기 제1 내지 제4 픽셀 중 적어도 한 개 이상의 픽셀에 대한 노출 시간을 다른 픽셀과 독립적으로 조정하는 다중 노출 조정부를 포함한다.
여기서, 상기 제 4 픽셀의 출력 신호와 상기 제 3 픽셀의 출력 신호 차이로부터 상기 근적외선 영상 신호를 추출하고; 상기 제1 픽셀의 출력 신호와 상기 근적외선 영상 신호의 차이로부터 상기 제1 색상의 영상 신호를 추출하고; 상기 제2 픽셀의 출력 신호와 상기 근적외선 영상 신호의 차이로부터 상기 제2 색상의 영상 신호를 추출하고; 상기 제1 색상의 영상 신호와 상기 제2 색상의 영상 신호를 합한 값과 상기 제3 픽셀의 출력 신호의 차이로부터 상기 제1 색상 및 상기 제2 색상과 다른 제3 색상의 영상 신호를 추출하는 칼라/IR 영상 추출부를 더 포함할 수 있다.
여기서, 상기 영상 센서는, 외부의 명령에 따라, 상기 영상 센서를 가시광선 영상 촬영 모드 또는 근적외선 영상 촬영 모드 또는 가시광선 영상 및 근적외선 영상을 동시에 촬영하는 모드로 조정하는 모드 조정부를 더 포함할 수 있다.
여기서, 상기 제1 색상은 레드(red)이고, 제2 색상은 블루(blue)일 수 있다.
여기서, 상기 제1 색상은 레드(red)이고, 제2 색상은 그린(green)일 수 있다.
여기서, 상기 제1 색상은 블루(blue)이고, 제2 색상은 그린(green)일 수 있다.
여기서, 상기 다중 노출 조정부는, 상기 제1 픽셀의 노출시간과, 상기 제2 픽셀의 노출시간은 동일하게 함께 조정하고, 상기 제3 픽셀의 노출시간은 상기 제1 픽셀의 노출시간과 독립적으로 조정하고, 상기 제4 픽셀의 노출시간은 상기 제1 픽셀의 노출시간 및 상기 제3 픽셀의 노출시간과 독립적으로 조정할 수 있다.
여기서, 상기 다중 노출 조정부는,
상기 제1 픽셀의 노출시간과, 상기 제2 픽셀의 노출시간은 동일하게 함께 조정하고, 상기 제3 픽셀의 노출시간 및 상기 제4 픽셀의 노출시간은 서로 동일하되 상기 제1 픽셀의 노출시간과 독립적으로 조정할 수 있다.
여기서, 상기 영상 센서는, 상기 제3 픽셀의 광 입사 경로에는 적외선 차단 구조가 존재하며, 상기 제1 픽셀, 제2 픽셀 및 제4 픽셀의 광 입사 경로에는 적외선 차단 구조가 존재하지 않는 것을 특징으로 한다.
상술한 구성의 본 발명의 가시광선 칼라 영상 및 근적외선 영상 촬영용 영상 센서를 실시하면, 가시광선 및 근적외선을 동시에 이용하여 가시광선 칼라 영상 및 근적외선 영상을 동시에 또는 선택적으로 촬영할 수 있는 이점이 있다.
본 발명의 가시광선 칼라 영상 및 근적외선 영상 촬영용 영상 센서는 가시광선 영역의 칼라 영상을 획득하기 위하여 외부에 적외선 차단 필터를 별도로 사용하지 않는 기술을 구현함으로써, 영상 센서를 사용하는 영상 시스템을 간략화하고 비용을 절감하며 내구성을 높이는 이점이 있다.
본 발명의 가시광선 칼라 영상 및 근적외선 영상 촬영용 영상 센서는 가시광선의 전 영역 및 근적외선 영역의 빛을 함께 이용함으로써 실질적인 촬영 감도를 높일 수 있는 이점이 있다.
도 1은 본 발명의 일 실시예에 따른 가시광선 칼라 영상 및 근적외선 영상 촬영용 영상 센서를 도시한 블록도.
도 2는 도 1의 영상 센서를 구성하는 각 단위 셀 및 다중 노출 조정부의 구성을 도시한 회로 개념도.
도 3은 도 1의 영상 센서를 구성하는 각 단위 셀 및 다중 노출 조정부의 다른 구성을 도시한 회로 개념도.
도 4는 도 2의 세 개의 독립된 노출시간을 이용하는 RBWVC 단위 셀을 반복하여 만든 MⅹN 픽셀 배열의 개념도.
도 5는 도 3의 두 개의 독립된 노출기간을 이용하는 RBWVC 단위 셀을 반복하여 만든 MⅹN 픽셀 배열의 개념도.
도 6은 상기 수학식 1 내지 16까지 근적외선 영상과 가시광선 칼라 영상을 계산하는 과정의 일 실시예를 나타내는 흐름도.
도 7은 도 6에서 디모자익킹 전과 후에 신호의 잡음을 줄이기 위한 잡음 필터링 과정을 추가한 다른 실시예를 나타내는 흐름도.
도 8은 종래의 기술에서 영상 센서를 이용하여 칼라 영상을 촬영하기 위하여 R, G, B 세 종류의 픽셀을 Bayer 패턴의 형태로 구성한 단위 셀(unit cell)과 한 개의 노출조정 회로를 결합한 개념도.
본 발명은 가시광선 및 근적외선 빛을 이용하여 가시광선 영역의 칼라 영상과 근적외선 영상을 동시에 촬영할 수 있는 CMOS 영상 센서에 관한 기술이다. 가시광선 및 근적외선 파장 영역의 빛에 대하여 고유의 특성을 갖는 몇 종류의 칼라 필터의 배열(color filter array)을 영상 센서의 2차원 픽셀 배열 위에 배치한다. 픽셀 위에 구성된 칼라 필터의 종류에 따라서 그 픽셀의 빛에 대한 감도가 크게 차이가 날 수 있다. 그러한 감도 차이를 극복하고 최적의 가시광선 칼라 영상 및 근적외선 영상을 획득할 수 있도록 픽셀 위에 구성된 칼라 필터의 종류에 따라서 그 픽셀의 노출시간(exposure time)을 독립적으로 개별 조정하는 다중 자동 노출 조정(multiple auto exposure control) 회로를 결합한 영상 센서를 제시한다. 가시광선과 근적외선이 섞인 빛을 입력으로 받아서 가시광선 칼라 영상과 근적외선 영상을 동시에 출력할 수 있는 칼라 필터의 배열을 고안하고, 각 칼라 채널 신호들을 이용하여 가시광선 칼라 영상과 근적외선 영상을 축출하는 방법을 제시한다.
이하, 본 발명의 실시를 위한 구체적인 실시예를 첨부된 도면들을 참조하여 설명한다.
본 발명을 설명함에 있어서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되지 않을 수 있다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 연결되어 있다거나 접속되어 있다고 언급되는 경우는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해될 수 있다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
본 명세서에서, 포함하다 또는 구비하다 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다.
또한, 도면에서의 요소들의 형상 및 크기 등은 발명의 설명을 명확하게 하기 위해 과장될 수 있다.
[실시예]
도 1은 본 발명의 일 실시예에 따른 가시광선 칼라 영상 및 근적외선 영상 촬영용 영상 센서를 도시한다. 도시한 영상 센서는 4개의 픽셀들이 하나의 단위 셀(unit cell)을 구성하며, 간략하게 하나의 단위 셀만 도시하였지만, 많은 개수의 단위 셀들이 2차원적으로 배치되어 각 픽셀에서의 감지 신호들로 영상을 형성할 수 있음은 물론이다.
도시한 영상 센서(100)는, 가시광선의 제1 색상에 해당하는 파장 영역의 빛 및 근적외선 빛을 감지하는 제1 픽셀(111); 가시광선의 제2 색상에 해당하는 파장 영역의 빛 및 근적외선 빛을 감지하는 제2 픽셀(112); 가시광선의 전체 파장 영역의 빛을 감지하고 근적외선 빛에는 반응하지 않는 제3 픽셀(113); 가시광선의 전체 파장 영역의 빛 및 근적외선 빛을 감지하는 제4 픽셀(114)을 포함한다.
도시한 영상 센서(100)는, 촬영시 상기 제1 내지 제4 픽셀(111 ~ 114) 중 적어도 하나 이상의 픽셀에 대한 노출 시간을 다른 픽셀과 독립적으로 조정하는 다중 노출 조정부(170); 상기 제1 내지 제4 픽셀의 출력 신호들을 연산하여 가시광선의 칼라 영상 신호 및 근적외선 영상 신호를 추출하는 칼라/IR 영상 추출부(180); 및 외부의 명령에 따라, 상기 영상 센서를 가시광선 칼라 영상 촬영 모드 또는 근적외선 영상 촬영 모드 또는 가시광선 칼라 영상 및 근적외선 영상을 동시에 촬영하는 모드로 조정하는 모드 조정부(190) 중 적어도 하나 이상을 더 포함할 수 있다.
도면에서는, 상기 다중 노출 조정부(170), 칼라/IR 영상 추출부(180) 및 모드 조정부(190)가 각각 독립적인 블록으로 표현되었지만, 3 블럭 중 2 블록 이상이 하나의 제어 장치로 통합되어 구현될 수도 있다.
상기 모드 조정부(190)가 모드를 조정(설정)하는데 기준이 되는 상기 외부의 명령은 직접적인 모드 설정 명령이거나, 또는, 시각(time)이나 광량 등 모드 설정에 기준이 되는 정보일 수도 있다. 후자의 경우, 기준이 되는 정보가 영상 센서 내부에 구비된 수단(예: 타이머, 광량 센서)일 수도 있으나, 상기 내부에 구비된 수단을 제외한 구성들로만 영상 센서를 규정하는 경우, 상기 내부에 구비된 수단에서 출력되는 신호도 외부의 명령으로 볼 수 있다.
예컨대, 상기 모드 조정부(190)는, 타이머 출력 신호에 따라, 주간에는 영상 센서를 칼라 영상 촬영 모드로 동작시키다가, 소정의 기준 시각이 경과하면, 근적외선 영상 촬영 모드로 동작시킬 수 있다.
예컨대, 상기 모드 조정부(190)는, 광량 센서 출력 신호에 따라, 광량이 소정의 기준 값을 넘으면 영상 센서를 칼라 영상 촬영 모드로 동작시키고, 소정의 기준 값을 넘지 못하면, 근적외선 영상 촬영 모드로 동작시킬 수 있다.
도 2는 도 1의 영상 센서를 구성하는 각 단위 셀(120) 및 다중 노출 조정부(170)의 구성을 도시한다. 하나의 단위 셀은 4개의 픽셀로 구성되어 있다. 또한, 상기 제1 색상과 제2 색상은 레드(R), 블루(B), 그린(G) 3 색상 중 임의로 선택한 2 색상이다. 예를 들어서 상기 제1 색상은 레드(R), 상기 제2 색상은 블루(B)일 수 있다. 이 경우에 그린(G) 색상은 전체 가시광선 출력 신호에서 상기 레드(R) 및 블루(B)의 출력 신호를 빼는 방식으로 산출된다. 이하, 본 실시예의 설명에서는 상기 제1 색상 및 제2 색상을 R 및 B로 구체화하여 설명하겠다.
도시한 영상 센서는, CMOS 영상 센서로서 도 2와 같은 2ⅹ2 RBWVC 단위 셀을 필요한 개수만큼 2차원적으로 반복하여 2차원 픽셀의 배열을 구성하고 있다.
본 실시예의 R픽셀(red pixel)은 가시광선의 R(red) 파장 영역과 근적외선 빛에 반응하는 픽셀이다.
일반적인 R픽셀은 실리콘 반도체소자로 구성된 픽셀 위에 R필터(red filter)를 배치하여 만든다. R필터는 가시광선 영역에서 R 파장 영역을 밴드패스(band pass)하여 픽셀로 전달한다. 현재 픽셀위에 구성되는 R필터는 필터 물질의 특성상 적외선을 투과시키는 것이 실제 상황이다. R필터가 적외선 영역의 파장을 통과 시키더라도 픽셀의 광소자의 재질인 실리콘 반도체 물질의 특성상 픽셀은 파장이 1100nm 미만인 근적외선 영역까지만 반응한다.
따라서, 외부에 별도의 적외선 차단 필터를 사용하지 않는 경우에는 R픽셀로부터 얻는 출력신호는 R+IRR 로 표현할 수 있다. 여기서 R은 R필터가 투과시킨 가시광선의 빨간 빛에 기인한 출력이고, IRR 은 R필터가 투과시킨 근적외선에 기인한 출력이다.
본 실시예의 B픽셀(blue pixel)은 가시광선의 B(blue) 파장 영역과 근적외선 빛에 반응하는 픽셀이다.
일반적인 B픽셀은 실리콘 반도체소자로 구성된 픽셀 위에 B필터(blue filter)를 배치하여 만든다. B필터는 가시광선영역에서 B 파장 영역을 밴드패스 시켜 픽셀로 전달한다. 현재 픽셀 위에 구성되는 B필터는 필터 물질의 특성상 적외선을 투과시키는 것이 실제 상황이다. B필터가 적외선 영역의 파장을 통과 시키더라도 픽셀의 광소자의 재질인 실리콘 반도체 물질의 특성상 픽셀은 파장이 1100nm 미만인 근적외선 영역까지만 반응한다.
따라서, 외부에 별도의 적외선 차단 필터를 사용하지 않는 경우에는 B픽셀로부터 얻는 출력신호는 B+IRB 로 표현할 수 있다. 여기서 B는 B필터가 투과시킨 가시광선의 파란 빛에 기인한 출력이고, IRB 는 B필터가 투과시킨 근적외선에 기인한 출력이다. WV(visible white)픽셀은 가시광선 영역의 전체 파장 영역의 빛에 반응하고 근적외선 영역의 빛에는 반응하지 않는 픽셀이다. 픽셀 위에 WV 필터(visible white filter)를 배치한 픽셀이다. WV 필터는 가시광선 파장 영역의 빛은 모두 통과시키고 적외선 영역의 빛은 차단하는 필터이다. 가시광선에는 투명한 적외선 차단 물질로 만들어진 필터이다. 따라서 본 발명과 같이 외부에 별도의 적외선 차단 필터를 사용하지 않는 경우에도 WV 픽셀로부터 얻는 출력신호는 근적외선에 의한 신호성분이 없이 백색 가시광선에만 기인한 것으로서 W로 표현할 수 있다. C(clear)픽셀은 가시광선 및 적외선 전체 파장 영역의 빛에 반응하는 픽셀이다. 픽셀 위에 C필터(clear filter)를 배치한 픽셀이다. C필터는 입사하는 가시광선과 적외선 영역의 모든 빛을 통과시키는 투명한 물질로 구성된 필터이다. 투명한 C필터가 적외선 영역의 파장을 통과시키더라도 픽셀의 광소자의 재질인 실리콘 반도체 물질의 특성상 픽셀은 파장이 1100nm 미만인 근적외선 영역까지만 반응한다.
따라서, 외부에 별도의 적외선 차단 필터를 사용하지 않는 경우에는 C픽셀로부터 얻는 출력신호는 W+IR로 표현할 수 있다. 여기서, W는 백색 가시광선 기인한 출력이고 IR은 근적외선에 기인한 출력이다. 요약하면 R픽셀, B픽셀, WV픽셀, C픽셀로부터 각각 출력되는 신호 R+P, B+P, WVP, C+P는 하기 수학식 1 내지 3과 같다.
[수학식 1]
R+P = R + IRR
[수학식 2]
B+P = B + IRB
[수학식 3]
WVP = W
[수학식 4]
C+P = W + IR
상술한 기호 R+P, B+P, WVP, C+P에서 아래 첨자 +는 가시광선과 근적외선 신호가 섞여 있음을 나타내고, 아래 첨자 V는 가시광선 신호만 있음을 나타낸다. 아래 첨자 P는 픽셀로부터 출력된 상태로서 아직 후속 신호처리에 의하여 가공되지 않은 신호임을 나타낸다.
도 2에서는 R픽셀과 B픽셀은 서로 대각선 방향에 위치하고, WV픽셀과 C픽셀은 서로 대각선 방향에 위치한 예를 제시하였다. 그러나 단위 셀의 서로 다른 4개의 픽셀들은 필요에 따라서 그 위치를 임의로 바꿀 수 있음은 물론이다.
단위 셀을 이루는 R픽셀, B픽셀, WV픽셀, C픽셀은 각각 빛에 반응하는 빛의 파장 영역의 넓이 차이가 크다. 예를 들어서 가시광선 빛의 전 파장 영역을 고르게 포함하는 광원으로 사물을 조명하는 환경에서 R픽셀이나 B픽셀에 비하여 WV픽셀과 C픽셀의 평균 출력신호 값들이 상당히 크게 나올 것이 예상된다. 이 때 기존의 기술처럼 하나의 AEC(auto exposure control) 회로를 이용하여 모든 픽셀의 노출시간(exposure time)을 동일하게 조정하는 경우를 고찰하면 다음과 같은 문제에 직면한다. R픽셀 또는 B픽셀이 충분하게 출력신호가 나오게 노출시간을 조정하면 WV픽셀과 C픽셀의 출력신호는 포화되어서 영상정보를 잃어버리게 된다. 반대로 WV픽셀과 C픽셀이 알맞은 출력신호가 나오도록 노출시간을 조정하면 R픽셀과 B픽셀은 픽셀의 수광소자에서 빛에 의하여 생성되는 광전자의 개수가 줄어들어서 회로의 잡음 전자 개수에 비교하여 충분히 크지 못한 상황이 된다. 즉, R픽셀이나 B픽셀의 출력신호들의 신호대비 잡음의 비율 SNR(signal to noise ratio)가 작아져서 영상의 화질을 악화시키는 결과를 초래한다.
또 다른 예로 조명이 가시광선보다 근적외선을 많이 포함하는 경우에는 근적외선에는 반응하지 않는 WV픽셀의 출력신호 값은 C픽셀의 값보다 많이 작아진다. 이 경우 WV픽셀에 노출시간을 알맞게 조정하면 C픽셀은 포화되어서 근적외선 영상정보를 잃어버리게 되고, 반대로 C픽셀에 알맞게 노출시간을 조정하면 WV픽셀의 출력신호의 SNR이 줄어들어서 가시광선 영역의 화질이 악화 된다.
따라서, 본 발명이 제시한 RBWVC 패턴의 단위 셀로 픽셀 배열을 구성할 경우에 적어도 2개 이상의 독립된 AEC 회로를 사용하여 픽셀의 노출시간을 독립적으로 조정하는 것이 영상정보의 손실을 최소화하고 SNR이 큰 영상신호를 획득하기 위하여 필수적이다.
도시한 다중 노출 조정부(170)는 3개의 AEC 회로들로 이루어진다. 본 설명에서는 R픽셀의 노출시간을 T1, B픽셀의 노출시간을 T2, WV픽셀의 노출시간을 T3, C픽셀의 노출시간을 T4로 칭한다.
일반적인 대부분의 조명 환경에서 영상을 촬영하는 경우에는 보통 R픽셀 들의 평균 출력신호와 B픽셀 들의 평균 출력신호는 비슷할 것으로 예상할 수 있다. 따라서 2차원 픽셀 배열 내부의 노출시간 조정을 위한 신호선의 개수 및 AEC 회로의 수를 줄이기 위하여 R픽셀의 노출시간 T1과 B픽셀의 노출시간 T2는 동일하게 하는 것이 효율적이다. 즉, R픽셀과 B픽셀은 제1 AEC 회로(AEC1)를 이용하여 T1=T2으로 두 노출시간을 동일하게 조정한다. WV픽셀의 노출 시간 T3는 제2 AEC 회로(AEC2)를 이용하여 T1(=T2)와는 독립적으로 조정한다. C픽셀의 노출시간 T4는 제3 AEC 회로(AEC3)를 이용하여 노출시간 T1(=T2) 및 노출 시간 T3와 독립적으로 조정한다. 이 경우에는 3개의 AEC 회로를 구비하여야 한다. 도 2는 3개의 AEC 회로를 구비하고 T1(=T2), T3, T4를 독립적으로 조정하는 RBWVC 단위 셀을 나타내고 있다.
또 다른 예시로 근적외선이 거의 포함 되어 있지 않은 조명 환경에서만 사용하는 영상 센서를 위해서는 노출시간 T3와 노출시간 T4를 동일하게 조정할 수 있다. 즉, 2개의 AEC회로를 구비하고 노출시간 T1=T2 와 노출시간 T3=T4를 독립적으로 조정한다. 이로써 2차원 픽셀 배열 내부의 노출시간 조정을 위한 신호선과 외부 AEC 회로를 더 간단하게 줄일 수 있다. 도 3은 제1 AEC 회로(AEC1)를 이용하여 T1(=T2)을 조정하고, 제2 AEC 회로(AEC2)를 이용하여 T3(=T4)를 독립적으로 조정하는 RBWVC 단위 셀을 나타내고 있다. 즉, 도 3의 다중 노출 조정부(170')는 2개의 AEC 회로들로 구성된다.
도 4는 위에서 서술한 도 2의 세 개의 독립된 노출시간을 이용하는 RBWVC 단위 셀을 반복하여 만든 MⅹN 픽셀 배열의 개념도이다.
도 5는 상술한 도 3의 두 개의 독립된 노출기간을 이용하는 RBWVC 단위 셀을 반복하여 만든 MⅹN 픽셀 배열의 개념도이다.
다음, RBWVC 단위 셀을 반복하여 만든 2차원 픽셀 배열에서 근적외선 영상과 가시광선 칼라 영상을 구하는 영상신호처리 방법을 설명한다. 후술하는 영상신호처리 방법은 도 1의 칼라/IR 영상 추출부(180)에서 수행할 수 있다.
본 발명과 같이 각 픽셀들의 노출시간이 다른 경우에는 픽셀로부터 나온 출력신호를 노출시간의 비율로 규격화(normalization)하는 것이 영상신호처리의 첫 단계이다. 노출 시간 T1을 기준으로 R픽셀, B픽셀, WV픽셀, C픽셀로부터 각각 출력되는 신호 R+P, B+P, WVP, C+ P를 규격화 할 경우에 규격화된 R픽셀, B픽셀, WV픽셀, C픽셀 신호들은 하기 수학식 5 내지 수학식 8과 같다.
[수학식 5]
Figure 112016084043954-pat00001
[수학식 6]
Figure 112016084043954-pat00002
[수학식 7]
Figure 112016084043954-pat00003
[수학식 8]
Figure 112016084043954-pat00004
아래 첨자 N은 노출시간 비율에 따라서 규격화된 값을 표시한다. 본 설명에서는 노출시간 T1으로 규격화한 수식을 전개한다. 그러나 노출 시간 T1, T2, T3, T4 중 어느 것을 기준으로 하여 규격화하고 수식을 전개하더라도 결과적으로 동등한 영상을 얻는다.
RBWVC 단위 셀을 반복하여 도 4 또는 도 5와 같이 2차원 픽셀 배열을 만들면 R픽셀, B픽셀, WV픽셀, C픽셀은 각각 한 행(row)과 한 열(column) 걸러서 한번씩 배치된다. 구현에 따라서, 2차원 픽셀 배열의 모든 (i, j) 위치에 R+N, B+N, WVN, C+N 값을 모두 대응시키기 위하여 디모자익킹(demosaicking)을 수행할 수 있다. 본 발명의 목적을 달성하기 위한 영상신호처리의 여러 과정들 중에서 지금 단계에서 디모자익킹을 수행하는 것이 필요하다. 디모자익킹 방법은 수 회에 걸쳐 공지된 다양한 종래기술에 따른 디모자익킹의 여러 방법들 중 어느 하나를 선택하거나 또는 조합하여 사용하면 된다. 그러므로, 본 실시예에서는 디모자익킹 방법을 구체적으로 설명하는 것을 생략하겠다. 디모자익킹을 수행하여 배열의 (i, j) 위치에 대하여 얻은 각 칼라 채널의 값은 하기 수학식 9 내지 수학식 12로 표현될 수 있다.
[수학식 9]
Figure 112016084043954-pat00005
[수학식 10]
Figure 112016084043954-pat00006
[수학식 11]
Figure 112016084043954-pat00007
[수학식 12]
Figure 112016084043954-pat00008
상기 수학식들에서 아래 첨자 D는 디모자익된(demosaicked) 신호 값을 표현한다.
근적외선 영상과 가시광선 칼라 영상을 구하는 것은 바로 2차원 픽셀 배열의 모든 위치 (i, j)에서 IR 값과 R, G, B 값들을 구하는 것을 의미한다. 상기 수학식 9 내지 12로부터 다음과 같이 근적외선 영상과 가시광선 칼라 영상을 계산할 수 있다.
먼저, 상기 수학식 11 및 수학식 12에서 C 채널 값과 WV 채널 값의 차이로 근적외선 IR 값을 하기 수학식 13과 같이 계산한다.
[수학식 13]
Figure 112016084043954-pat00009
여기서, 조절 변수(adjusting parameter) aW는 WV 픽셀과 C 픽셀이 가시광선의 전체 파장영역인 W(white)영역에서 파장 별 반응도(spectral responsivity)가 차이가 나는 데서 기인하는 색 오차를 보정하기 위한 변수이다. 조절 변수 aW 값은 두 픽셀의 파장별 반응도 측정분석이나 또는 실제 영상의 칼라 튜닝(color tuning) 과정으로 그 값을 결정할 수 있다.
다음, 상기 수학식 9, 수학식 10 및 수학식 13을 이용하여 R, B 값을 하기 수학식 14 및 수학식 15와 같이 계산한다.
[수학식 14]
Figure 112016084043954-pat00010
[수학식 15]
Figure 112016084043954-pat00011
상기 수학식 14 및 15에서 조절 변수 aRIR과 aBIR는 각각 R픽셀과 B픽셀 및 C픽셀의 근적외선에 대한 파장 별 반응도 차이에 따라서 정해지는 값들이다. 해당 픽셀들의 근적외선 파장 별 반응도 측정분석이나 또는 실제 영상의 칼라 튜닝과정으로 그 값을 결정할 수 있다.
다음, 상기 수학식 11, 수학식 14 및 수학식 15를 이용하여 G 값을 하기 수학식 16과 같이 계산한다.
[수학식 16]
Figure 112016084043954-pat00012
상기 수학식 16에서 조절변수 aR은 R픽셀과 WV픽셀의 가시광선이 R(red) 파장 영역에서 파장 별 반응도가 차이가 나는 데서 기인하는 색 오차를 보정하기 위한 변수이다. 조절변수 aB는 B픽셀과 WV픽셀이 가시광선의 B(blue) 파장 영역에서 파장 별 반응도가 차이가 나는 데서 기인하는 색 오차를 보정하기 위한 변수이다. 조절변수 aR과 aB는 R픽셀, B픽셀, WV픽셀의 가시광선 영역 파장 별 반응도 측정분석이나 또는 실제 영상의 칼라 튜닝 과정으로 그 값을 결정할 수 있다. 2차원 픽셀 배열의 모든 위치 (i, j)에 대하여, 상기 수학식 13으로 계산한 IRD(i, j) 값들이 바로 근적외선 영상이고, 상기 수학식 14 내지 16으로 계산한 RD(i, j), BD(i, j), GD(i, j) 값들이 바로 칼라 영상이다.
도 6은 상기 수학식 1 내지 16까지 근적외선 영상과 칼라 영상을 계산하는 과정의 일 실시예를 나타내는 흐름도이다. 2차원 픽셀 배열의 R픽셀, B픽셀, WV픽셀, C픽셀들로부터 출력되는 신호 R+P, B+P, WVP, C+P 신호들을 시작으로 해서 근적외선 영상 IRD와 칼라 영상 RD, GD, BD를 얻는 과정이다.
도시한 영상 산출 방법은 도 1의 칼라/IR 영상 추출부(180)에 의해 수행될 수 있다.
도시한 영상 산출 방법은, 2차원 픽셀 배열의 R픽셀, B픽셀, WV픽셀, C픽셀 로부터 출력 신호를 획득하는 단계(S10); 상기 획득된 출력 신호들을 규격화하는 단계(S20); 상기 규격화된 신호들을 디모자익킹하는 단계(S30); 상기 디모자익킹된 신호들로부터 근적외선 영상을 산출하는 단계(S40); 상기 디모자익킹된 신호들로부터 R 영상 및 B 영상을 산출하는 단계(S50); 상기 디모자익킹된 신호들 및 상기 R 영상 및 B 영상으로부터 G 영상을 산출하는 단계(S60)를 포함할 수 있다.
상기 규격화하는 단계(S20)에서는, 상술한 수학식 5 내지 8에 따른 규격화 과정을 수행할 수 있다. 상기 디모자익킹하는 단계(S30)에서는, 상술한 수학식 9 내지 12에 따른 디모자익킹 과정을 수행할 수 있다.
영상의 해상도가 문제가 되지 않는 응용에서는 디모자이킹하는 단계(S30)을 생략하고 하나의 단위 셀에 속하여 있는 R, B, WV, C 4개의 펙셀 출력 신호만을 이용하여 각 단위 셀별로 근 적외선 영상 및 가시광선 칼라 영상의 정보를 추출할 수 있다. 그러나 이 경우에는 영상의 해상도가 가로 세로 방향 모두 약 반으로 줄어든다.
도 7은 도 6에서 디모자익킹 전과 후에 신호의 잡음을 줄이기 위한 잡음 필터링 과정을 추가한 다른 실시예를 나타내는 흐름도이다.
도시한 흐름도에 따른 영상 산출 방법은, 상기 규격화하는 단계(S20) 이후 제1 필터링 단계(S25)를 수행하고, 상기 디모자익킹하는 단계(S30) 이후 제2 필터링 단계(S35)를 수행하는 것 외에는 상기 도 6의 경우와 거의 동일하다.
상술한 바와 같이, 본 실시예에서는 가시광선과 근적외선을 동시에 수광 할 수 있는 RBWVC 패턴의 단위 셀을 반복하여 구성한 2차원 픽셀 배열을 이용하는 CMOS 영상 센서를 제시한다. 그리고 2차원 픽셀배열의 R픽셀, B픽셀, WV픽셀, C픽셀들로부터 출력되는 신호들을 이용하여 근적외선 영상과 가시광선 칼라 영상을 획득하는 방법을 제시하였다. 특히 RBWVC 픽셀 패턴과 2개 이상의 독립된 자동 노출시간 조정을 결합시킴으로써 넓은 빛의 밝기 범주에서 영상정보의 손실이 없으며 SNR이 높은 최적의 근적외선 영상과 칼라 영상을 얻는 방법을 제시한다.
본 실시예에서는 가시광선의 파장 영역 전체에 반응하는 WV 픽셀과 C 픽셀을 단위 셀 당 각각 하나씩 배치한다. 따라서, 가시광선의 G파장 영역에 반응하는 G픽셀이 단위 셀 당 2개가 있는 기존의 RGB Bayer픽셀 패턴을 이용하는 영상 센서들에 비하여 가시광선에 대한 센서의 감도(sensitivity)가 증가한다.
또한, 본 발명의 영상 센서는 가시광선 칼라 영상을 얻기 위하여 적외선 차단 필터를 사용할 필요가 없다.
즉, 본 실시예의 영상 센서는 근적외광을 제외한 가시광선 감지용 상기 WV픽셀의 광 입사 경로에는 적외선 차단 구조가 존재하나, 근적외선과 필요한 대역의 가시광을 감지하기 위한 상기 R픽셀, B픽셀, C 픽셀의 광 입사 경로에는 적외선 차단 구조가 존재하지 않는다. 이를 위해 상기 WV픽셀의 광 입사 경로에만 적외선 차단 필터를 고정적으로 배치할 수도 있지만, WV 픽셀 자체가 적외선에 반응하지 않도록 WV 필터가 증착되어 있는 구조를 채택하는 것이 보다 유리하다.
종래에는 근적외선 영상 및 가시광선 칼라 영상을 선택적으로 촬영할 수 있는 하이브리드 형 영상 센서의 경우, 근적외선 영상 촬영 모드 및 가시광선 칼라 영상 촬영 모드를 스위칭하기 위해, 카메라 시스템에 적외선 차단 필터를 광로에 삽입 또는 제거하는 기계적 장치를 구비하여야 한다.
반면, 본 실시예의 영상 센서를 이용하면 카메라 시스템에 적외선 차단 필터를 광로에 삽입 또는 제거하는 기계적 장치를 제거할 수 있다. 그에 따라, 카메라 시스템을 간략화하고 비용을 절감하며 내구성을 향상시킬 수 있다.
이 경우, 도 1의 모드 조정부(190)는, 가시광선 칼라 영상 촬영 모드 및 근적외선 영상 촬영 모드로 전환함에 있어, 영상 센서 외부에서 적외선 차단 필터의 삽입 제거 등의 광학적 조정을 수행하지 않고, 칼라/IR 영상 추출부의 영상처리 과정 및 영상처리 과정을 거치고 난 영상 신호들의 출력형태를 조정한다.
근적외선 영상 촬영 모드인 경우 상기 수학식 13에 따른 근적외선 신호 값을 산출하고, 가시광선 칼라 영상 촬영 모드인 경우 상기 수학식 14 내지 16에 따른 R, B, G 값을 산출한다. 다시 말해, 상기 모드 조정부(190)는, 근적외선 영상 촬영 모드인 경우 도 6 또는 도 7의 흐름도에서 S40 까지 수행하고, 칼라 영상 촬영 모드인 경우 S60 까지의 모든 단계를 수행하도록 칼라/IR 영상 추출부의 과정을 조절할 수 있다.
상기한 실시예는 그 설명을 위한 것이며, 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술분야의 통상의 전문가라면 본 발명의 기술사상의 범위에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.
100 : 영상 센서
111 : 가시광선의 제1 색상에 해당하는 파장 영역의 빛 및 근적외선 빛을 감지하는 픽셀
112 : 가시광선의 제2 색상에 해당하는 파장 영역의 빛 및 근적외선 빛을 감지하는 픽셀
113 : 가시광선의 전체 파장 영역의 빛을 감지하고 근적외선 빛에는 반응하지 않는 픽셀
114 : 가시광선의 전체 파장 영역의 빛 및 근적외선 빛을 감지하는 픽셀
170 : 다중 노출 조정부
180 : 칼라/IR 영상 추출부
190 : 모드 조정부

Claims (10)

  1. 가시광선의 제1 색상에 해당하는 파장 영역의 빛 및 근적외선 빛을 감지하는 제1 픽셀;
    가시광선의 제2 색상에 해당하는 파장 영역의 빛 및 근적외선 빛을 감지하는 제2 픽셀;
    가시광선의 전체 파장 영역의 빛을 감지하고 근적외선 빛에는 반응하지 않는 제3 픽셀;
    가시광선의 전체 파장 영역의 빛 및 근적외선 빛을 감지하는 제4 픽셀을 포함하고,
    영상을 촬영할 때 SNR을 높이면서도 출력 신호 포화를 방지하기 위해 상기 제1 내지 제4 픽셀 중 적어도 한 개 이상의 픽셀에 대한 노출 시간을 다른 픽셀과 독립적으로 조정하는 다중 노출 조정부를 더 포함하는 영상센서.
  2. 제1항에 있어서,
    상기 제 4 픽셀의 출력 신호와 상기 제 3 픽셀의 출력 신호 차이로부터 근적외선 영상 신호를 추출하고;
    상기 제1 픽셀의 출력 신호와 상기 근적외선 영상 신호의 차이로부터 상기 제1 색상의 영상 신호를 추출하고;
    상기 제2 픽셀의 출력 신호와 상기 근적외선 영상 신호의 차이로부터 상기 제2 색상의 영상 신호를 추출하고;
    상기 제1 색상의 영상 신호와 상기 제2 색상의 영상 신호를 합한 값과 상기 제3 픽셀의 출력 신호의 차이로부터 상기 제1 색상 및 상기 제2 색상과 다른 제3 색상의 영상 신호를 추출하는
    칼라/IR 영상 추출부를 더 포함하는 영상 센서.
  3. 제1항에 있어서,
    외부의 명령에 따라, 상기 영상 센서를 가시광선 영상 촬영 모드 또는 근적외선 영상 촬영 모드 또는 가시광선 영상 및 근적외선 영상을 동시에 촬영하는 모드로 조정하는 모드 조정부를 더 포함하는 영상 센서.
  4. 제1항에 있어서,
    상기 제1 색상은 레드(red)이고, 제2 색상은 블루(blue)인
    영상 센서.
  5. 제1항에 있어서,
    상기 제1 색상은 레드(red)이고, 제2 색상은 그린(green)인
    영상 센서.
  6. 제1항에 있어서,
    상기 제1 색상은 블루(blue)이고, 제2 색상은 그린(green)인
    영상 센서.
  7. 제1항에 있어서,
    상기 다중 노출 조정부는,
    상기 제1 픽셀의 노출시간과, 상기 제2 픽셀의 노출시간은 동일하게 함께 조정하고, 상기 제3 픽셀의 노출시간은 상기 제1 픽셀의 노출시간과 독립적으로 조정하고, 상기 제4 픽셀의 노출시간은 상기 제1 픽셀의 노출시간 및 상기 제3 픽셀의 노출시간과 독립적으로 조정하는 영상 센서.
  8. 제1항에 있어서,
    상기 다중 노출 조정부는,
    상기 제1 픽셀의 노출시간과, 상기 제2 픽셀의 노출시간은 동일하게 함께 조정하고, 상기 제3 픽셀의 노출시간 및 상기 제4 픽셀의 노출시간은 서로 동일하되 상기 제1 픽셀의 노출시간과 독립적으로 조정하는 영상 센서.
  9. 제1항에 있어서,
    상기 제3 픽셀의 광 입사 경로에는 적외선 차단 구조가 존재하며, 상기 제1 픽셀, 제2 픽셀 및 제4 픽셀의 광 입사 경로에는 적외선 차단 구조가 존재하지 않는것을 특징으로 하는 영상 센서.
  10. 제1항에 있어서,
    상기 제1 픽셀 내지 제 4픽셀의 출력신호 값을 서로 다른 상기 노출 시간의 비율을 이용하여 규격화(normalization)하고, 규격화된 상기 출력신호 값을 이용하여 영상처리를 수행하는 영상 센서.

KR1020160110237A 2016-08-29 2016-08-29 가시광선 칼라 및 근적외선 영상 촬영용 영상 센서 Expired - Fee Related KR101848284B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160110237A KR101848284B1 (ko) 2016-08-29 2016-08-29 가시광선 칼라 및 근적외선 영상 촬영용 영상 센서

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160110237A KR101848284B1 (ko) 2016-08-29 2016-08-29 가시광선 칼라 및 근적외선 영상 촬영용 영상 센서

Publications (2)

Publication Number Publication Date
KR20180024298A KR20180024298A (ko) 2018-03-08
KR101848284B1 true KR101848284B1 (ko) 2018-04-12

Family

ID=61726320

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160110237A Expired - Fee Related KR101848284B1 (ko) 2016-08-29 2016-08-29 가시광선 칼라 및 근적외선 영상 촬영용 영상 센서

Country Status (1)

Country Link
KR (1) KR101848284B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102190398B1 (ko) * 2018-05-29 2020-12-11 한국전기연구원 단일 컬러 카메라를 이용하고 가시광선 및 근적외선 영상 동시 획득이 가능한 가시광선 및 근적외선 영상 제공 시스템 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010206678A (ja) * 2009-03-05 2010-09-16 Panasonic Corp 固体撮像装置、撮像モジュール、及び撮像システム
JP2011239252A (ja) 2010-05-12 2011-11-24 Panasonic Corp 撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010206678A (ja) * 2009-03-05 2010-09-16 Panasonic Corp 固体撮像装置、撮像モジュール、及び撮像システム
JP2011239252A (ja) 2010-05-12 2011-11-24 Panasonic Corp 撮像装置

Also Published As

Publication number Publication date
KR20180024298A (ko) 2018-03-08

Similar Documents

Publication Publication Date Title
JP4386096B2 (ja) 画像入力処理装置、および、その方法
JP4241840B2 (ja) 撮像装置
JP4286123B2 (ja) カラー撮像素子およびカラー信号処理回路
US8198574B2 (en) Large dynamic range cameras
US9357120B2 (en) Image capturing apparatus and in-focus position detection method thereof
US20050128509A1 (en) Image creating method and imaging device
KR100900485B1 (ko) 구조가 개선된 디지털 카메라용 이미지 센싱 수단 및 이를채용한 디지털 카메라
US20130258168A1 (en) Image capturing apparatus and in-focus position detection method thereof
US8564688B2 (en) Methods, systems and apparatuses for white balance calibration
KR101169017B1 (ko) 고해상도 씨모스 카메라가 적용된 주야간 자동 스위칭방식의 감시용 카메라
TWI514894B (zh) 攝取數位影像中的白平衡校正技術
JP5436114B2 (ja) 撮像システム
US7435962B2 (en) Imaging device and method for producing an infrared filtered digital image
CN103916590A (zh) 摄像装置、摄像系统以及摄像方法
KR101921995B1 (ko) 가시광선 칼라 및 근적외선 영상 촬영용 영상 센서 및 센싱 방법
KR101848284B1 (ko) 가시광선 칼라 및 근적외선 영상 촬영용 영상 센서
US20050151860A1 (en) Image sensing device and method
JP4303922B2 (ja) 固体撮像素子および撮像装置
JP2004064468A (ja) 撮像装置
JP4909965B2 (ja) 撮像装置
JP2016197794A (ja) 撮像装置
JP4710319B2 (ja) 撮像装置及びそのプログラム
JP4276847B2 (ja) 撮像装置
JP4681792B2 (ja) デジタルカメラ
JP6089390B2 (ja) 撮像装置および信号読み出し方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160829

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170814

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20180226

PG1501 Laying open of application
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20180406

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20180406

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220907

Start annual number: 5

End annual number: 5

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20240108

PR0401 Registration of restoration

Patent event code: PR04011E01D

Patent event date: 20240108

Comment text: Registration of Restoration

PR1001 Payment of annual fee

Payment date: 20240108

Start annual number: 6

End annual number: 6

R401 Registration of restoration
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20250117