[go: up one dir, main page]

KR20060083199A - 적외선 영상들 및 정규 영상들을 생성하기 위한 방법 및영상화 장치 - Google Patents

적외선 영상들 및 정규 영상들을 생성하기 위한 방법 및영상화 장치 Download PDF

Info

Publication number
KR20060083199A
KR20060083199A KR1020067004192A KR20067004192A KR20060083199A KR 20060083199 A KR20060083199 A KR 20060083199A KR 1020067004192 A KR1020067004192 A KR 1020067004192A KR 20067004192 A KR20067004192 A KR 20067004192A KR 20060083199 A KR20060083199 A KR 20060083199A
Authority
KR
South Korea
Prior art keywords
image
infrared
pixels
image sensor
wavelengths
Prior art date
Application number
KR1020067004192A
Other languages
English (en)
Other versions
KR100833341B1 (ko
Inventor
사미 믹코넨
자악코 카일매넨
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20060083199A publication Critical patent/KR20060083199A/ko
Application granted granted Critical
Publication of KR100833341B1 publication Critical patent/KR100833341B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Stroboscope Apparatuses (AREA)
  • Blocking Light For Cameras (AREA)
  • Studio Devices (AREA)

Abstract

영상화 장치로 영상을 만들기 위한 방법과 영상화 장치가 제공된다. 그 방법은 화소들을 구비하는 영상센서에 적외선필터구성을 제공하여 영상센서의 일부 화소들은 모든 파장들에 대해 노출될 수 있고 영상센서의 일부 화소들은 적외선파장들로부터 차단되도록 하는 단계를 포함한다. 모든 파장들에 대해 노출될 수 있는 영상센서의 화소들은 적외선 영상을 취할 때 이용되고 적외선파장들로부터 차단될 수 있는 영상센서의 화소들은 정규 영상을 취할 때 이용된다.
영상화 장치, 적외선 영상, 정규(normal) 영상, 적외선필터

Description

적외선 영상들 및 정규 영상들을 생성하기 위한 방법 및 영상화 장치{Method and imaging device for producing infrared images and normal images}
본 발명은 영상화 장치에 관한 것이다. 특히 본 발명은 디지털 영상화 장치, 및 디지털 영상화 장치에서 영상을 만드는 방법에 관한 것이다.
사진술의 대중성은 계속 증가하고 있다. 이것은 값싼 디지털 카메라의 공급이 개선됨에 따라 특히 디지털 사진촬영에 적용된다. 또한 이동전화기들 내의 일체형 카메라들은 사진술의 대중화의 증대에 기여하고 있다.
디지털 영상화와 영상 조작은 기존의 필름 사진촬영보다 나은 많은 이점을 가진다. 디지털 영상들은 전자적으로 얻어지고 다루어질 수 있고 영상들의 디지털 형태는 수 개의 가능성을 제공한다.
디지털 영상화 장치들은 영상화 센서를 이용하고 이 영상화 센서는 광감성 소자이다. 영상화 센서는 광을 검출하고 검출된 광에 비례하는 전류를 출력한다. 센서들은 일반적으로 실리콘 기술에 기초한다. 영상화센서들이 가지는 문제는 센서가 가시광뿐만 아니라 적외선 방사에도 민감하다는 것이다. 적외선 방사, 또는 적외광은 일반적으로 780㎚보다 긴 파장을 가지는 광으로서 정의된다. 적외광은 낮시간의 조건에서 영상들을 왜곡시킨다. 적외광이 영상화 센서에 도달한다면 컬러 영 상들의 색균형 또는 흑백 영상화에서의 흑백영역들의 균형은 맞지 않게 된다. 따라서, 낮시간의 조건에서 영상화 센서의 앞에 적외선 차단필터를 배치함으로써 적외광이 영상화 센서에 도달하는 것은 차단된다.
그러나, 가시광이 매우 약하거나 없는 어두운 조건하에서는 때때로 적외광을 이용함으로써 영상들을 얻는 것이 가능하다. 외부 적외광원을 이용하는 것에 의해, 영상화의 피사체가 영상화 처리를 알아차리는 일 없이도 영상들을 얻는 것이 가능하다. 이것은 예를 들면 도난 경보기들로서 사용되는 감시카메라들에서 특히 유익하다.
따라서, 영상화 장치들은 낮시간 조건에서 센서에 적외광이 도달하는 것을 차단하지만 어두운 조건에서 적외선 영상화를 가능하게도 되어야 한다. 종래기술의 해법들에서는, 제거가능 적외선 차단필터 또는 누설(leaky) 적외선필터가 사용되고 있다. 적외선 필터는 카메라의 대물렌즈에 있는 별도의 부품일 수 있다. 어두운 조건에서, 적외선필터는 카메라의 대물렌즈 또는 센서 앞에서 기계적으로 제거될 수 있다. 이 제거는 자동으로 또는 수동으로 실현될 수 있다. 이 해법의 단점은 해결 시에 가동(moving) 부품들이 필요하기 때문에 상당히 비싸고 장시간의 내구성이 불확실하다는 것이다. 일부 적외선필터 해법들에서, 일부의 적외광은 통과하여 센서로 간다. 예를 들면, 외부 적외광원 어두운 조건에서 사용되는 경우, 적외선필터는 광원에 의해 방출된 파장의 광을 통과시키나 모든 다른 파장들을 차단하도록 설계된다. 이 해법은 일광 및 어두운 조건들 모두에 타협하고 결과적인 영상들은 최적이 아니다.
본 발명의 목적은 일광 및 어두운 조건들 둘 다에서 영상화를 위한 개선된 해법을 제공함에 있다. 본 발명의 실시예에 의하면, 렌즈와 화소들을 가지는 영상센서를 구비한 영상감지구성을 포함한 영상화 장치로서, 영상감지구성은 영상을 생성하도록 구성되며, 영상감지구성은 영상센서의 화소들의 일부가 모든 파장들에 대해 노출되고 영상센서의 화소들의 일부가 적외선파장들로부터 차단되도록 영상센서의 앞에 적외선필터구성을 더 포함하는 영상화 장치가 제공된다.
본 발명의 다른 실시예에 의하면, 영상화 장치 내에 영상파일들을 만들기 위한 방법이 제공되며, 이 방법은, 화소들을 구비하는 영상센서에 적외선필터구성을 제공하여 영상센서의 일부 화소들은 모든 파장들에 대해 노출될 수 있고 영상센서의 일부 화소들은 적외선파장들로부터 차단되도록 하는 단계; 모든 파장들에 대해 노출될 수 있는 영상센서의 화소들을 적외선 영상을 취할 때 이용하는 단계; 및 적외선파장들로부터 차단될 수 있는 영상센서의 화소들을 정규 영상을 취할 때 이용하는 단계를 포함한다.
본 발명의 방법 및 장치는 몇 가지 이점을 제공한다. 기계적으로 제거가능한 필터에 비하여, 제안된 해법은 가동(moving)부품들이 없는 견고한 해법을 제공한다. 이 해법은 가외의 부품들이 필요하지 않고 관련된 처리는 정규 설비 제조 시기들 동안 수행될 수 있으므로 매우 비용 효율적이다. 이 해법은 또한 정규 영상화로부터 적외선 영상화로의 그리고 그 반대로의 매우 신속한 전환을 제공한다. 누설 적외선필터에 비교하여 제안된 해법은 향상된 영상품질을 제공한다.
다음으로, 본 발명은 바람직한 실시예들 및 다음의 첨부 도면들을 참조하여 매우 상세히 설명될 것이다:
도 1은 실시예의 영상화 장치의 일 예를 도시하며,
도 2는 영상 감지 구성의 일 예를 도시하며,
도 3a 내지 3f는 컬러 매트릭스 필터들 및 적외선필터 어레이들의 예들을 도시하며,
도 4는 영상화 장치의 다른 예를 도시하고,
도 5는 본 발명의 실시예들을 도시하는 흐름도들이다.
도 1은 본 발명의 일부 실시예들에서 이용될 수 있는 일반화된 디지털 영상화 장치를 도시한다. 본 발명의 실시예들은 가능한 구조의 일 예이기만 한 도 1의 장치와는 다른 종류들의 디지털 카메라들에 이용될 수도 있다는 점에 주의해야 한다.
도 1의 장치는 영상감지구성(100)을 포함한다. 영상감지구성은 렌즈조립체 및 영상센서를 포함한다. 이 구성(100)의 구조는 나중에 더 상세히 논의될 것이다. 영상감지구성은 영상을 포획하고 포획된 영상을 전기적 형태로 변환한다. 이 구성(100)에 의해 생성된 전기신호는 A/D변환기(102)로 진행되고 이 A/D변환기는 아날로그신호를 디지털 형태로 변환한다. 이 변환기로부터 디지털화된 신호는 신호처리기(104)에 들어간다. 영상데이터는 신호처리기에서 영상파일을 만들도록 처리된다. 영상감지구성(100)의 출력신호는 화이트 밸런싱과 색처리와 같은 후처리를 필요로 하는 원시(raw)영상데이터를 담고 있다. 신호처리기는 노출제어명령들(106)을 영상감지구성(100)에 제공한다.
이 장치는 신호처리기가 최종 영상들을 저장할 수 있는 장소인 영상메모리(108), 데이터 및 프로그램 저장을 위한 작업메모리(110), 디스플레이(112) 및 사용자인터페이스(114)를 더 포함할 수 있고, 사용자인터페이스는 일반적으로 사용자가 장치에 입력을 제공하기 위한 키보드 또는 대응하는 수단을 포함한다.
도 2는 영상감지구성(100)의 일 예를 도시한다. 이 예에서, 영상감지구성은 렌즈(200), 영상센서(202), 개구판(aperture plate; 204), 컬러필터구성(206) 및 적외선필터(208)를 구비한다.
그러므로 도 2의 영상감지구성은 영상센서(202)에 영상을 형성할 수 있다. 영상센서(202)는 일반적이나 필수적이진 않는 단일 고체센서, 이를테면 이 기술의 당업자에게 알려진 전하결합소자(CCD) 또는 상보성 금속산화물반도체(CMOS) 센서이다. 영상센서(202)는 광을 전류로 변환한다. 이 전기적 아날로그신호는 영상포획장치 내에서 도 1에 도시된 바와 같은 A/D변환기(102)에 의해 디지털 형태로 변환된다. 센서(202)는 주어진 수의 화소들을 포함한다. 센서 내의 화소 수는 센서의 해상도를 결정한다. 각 화소는 광에 응답하여 전기신호를 생성한다. 영상화 장치의 센서 내의 화소 수는 설계 매개변수이다. 전형적으로는 저비용 영상화 장치에서 화소 수는 센서의 장변 및 단변을 따라 640×480일 수 있다. 이 해상도의 센서는 종종 VGA센서라 불린다. 일반적으로, 센서에서의 화소 수가 많을수록, 센서가 생성할 수 있는 영상은 더 상세해진다.
개구판(204)은 렌즈를 통해 센서로 가는 광의 량을 제어한다. 개구판의 구조는 실시예들에 무관하다는 점에 주의해야 한다. 즉, 개구판의 개구값은 고정될 수 있거나, 또는 측정에 기초하여 자동으로 또는 손으로 조정될 수 있다.
렌즈(200)는 입사광으로부터 센서에 영상을 형성한다. 렌즈의 구조 및 성질들은 본 발명의 실시예에 무관하다.
영상센서(202)는 광에 민감성이고 광에 노출될 때 전기신호를 생성한다. 그러나, 이 센서는 다른 색들을 서로로부터 구별할 수 없다. 그래서, 이와 같은 센서는 흑과 백만의 영상을 생성한다. 디지털 영상화 장치가 컬러 영상들을 생성하도록 하기 위해 다수의 해법들이 제안되고 있다. 이 기술의 당업자에게는 풀 컬러 영상이 영상포획단계에서 3개의 기본색만을 이용하여 생성될 수 있다 것이 잘 알려져 있다. 일반적으로 이용되는 3개의 적당한 색들의 조합은 적색, 녹색 및 청색(RGB)으로 이루어진다. 다른 폭넓게 사용되는 조합은 시안, 마젠타 및 노란색(CMY)으로 이루어진다. 또다른 조합들이 가능하다. 모든 색들이 3가지 색들을 이용하여 합성될 수 있지만, 다른 해법들 이를테면 에메랄드가 제4의 색으로서 이용되는 RGBE와 같은 다른 해법들도 이용가능하다.
단일 렌즈 디지털 영상화 장치에서 이용되는 하나의 해법은 예를 들면 RGB 또는 CMY 컬러들로 된 3색 패턴으로 필터가 구성된 컬러필터 어레이를 영상센서 앞에 제공하는 것이다. 이러한 해법은 종종 바이어(Bayer) 매트릭스라 불린다. RGB 바이어매트릭스 필터를 사용할 때, 전형적으로는, 가로방향에서 하나 걸러 하나씩 의 화소가 녹색필터로 덮이고 하나 그 밖의 다른 화소들은 한 라인씩 걸러 적색필터에 의해 그리고 한 라인씩 걸러 청색필터에 의해 덮이는 식으로 각 화소는 단일 색의 필터에 의해 덮인다. 단색필터는 이 단색필터의 파장에 대응하는 파장의 광을 필터 아래의 센서 화소에 보낸다. 신호처리기는 센서로부터 수신된 영상신호를 모든 화소들이 모든 3색에 대한 컬러 값을 수신하는 식으로 보간한다. 따라서 컬러 영상이 생성될 수 있다.
도 3a는 RGB 컬러매트릭스필터의 일 예를 도시한다. 이 필터는 영상센서 상의 개별 8×8화소 영역을 덮는다. 적색필터들은 글자 'R'로 표시되며, 청색필터들은 글자 'B'로 표시되고, 녹색필터들은 글자 'G'로 표시된다. 실시예에서, 영상센서 및 컬러매트릭스필터의 화소들은 2×2화소 서브어레이들로 그룹화된다. 각 서브어레이는 하나의 적색필터, 하나의 청색필터 및 두 개의 녹색필터를 포함한다. 따라서, 도 3a의 어레이는 16개의 서브어레이를 포함한다. 예를 들면, 제1라인에서, 이 어레이는 서브어레이들(300 내지 306)을 가진다. 영상화 장치의 신호처리기는 각 서브어레이의 화소들의 신호들을 보간함으로써 센서로부터 수신된 영상신호를 서브어레이적으로 처리하고 그래서 서브어레이의 모든 화소들은 모든 3 색에 대해 컬러 값을 수신하게 된다. 따라서 컬러 영상이 생성될 수 있다.
일 실시예에서, 적외선필터구성(208)이 화소센서 어레이의 앞에 위치되고 그래서 어레이의 화소들의 일부는 모든 파장들에 노출될 수 있고 센서의 화소들의 일부는 적외선파장들로부터 차단된다. 도 3b는 적외선필터구성의 일 예를 도시한다. 도 3b는 8×8화소 적외선필터 어레이를 보이고 있다. 따라서, 이 필터 어레이는 영 상센서 상의 개개의 8×8화소 영역을 덮는다. 이 필터는 적외광을 차단하는 영역들과 적외광을 통과시키는 영역들을 포함한다. 비 차광 영역들은 해칭 표시되어 있다. 따라서, 상단의 행에서, 이 어레이는 적외광을 차단하는 영역들(308 및 310)과 적외광을 통과하는 영역들(312 및 314)을 포함한다. 이 예에서, 각 영역은 영상센서로부터의 2×2화소 영역을 덮는다.
도 3a의 예를 참조하면, 적외선필터구성과 컬러매트릭스필터는 둘 다가 영상센서 앞에 있고 그것들은 차곡차곡 놓일 수 있다. 도 3b의 각각의 2×2 영역은 도 3a의 2×2 서브어레이를 덮는다. 따라서, 적외광은 서브어레이들(302 및 306)을 통과하나 서브어레이들(300 및 304)에서는 차단된다.
도 3c는 필터어레이들이 차곡차곡 놓인 예를 도시하고 있다. 하나 걸러 하나씩의 컬러매트릭스필터 서브어레이가 적외광으로부터 차단된다. 서브어레이들 아래의 적외광으로부터 차단되는 화소들은 정규 영상들이 취해질 때 이용된다. 적외광으로부터 차단되지 않는 서브어레이들 아래의 화소들은 적외선 영상들이 취해질 때 이용된다.
적외선 필터어레이는 컬러매트릭스필터를 제조할 때 고려될 수 있다. 도 3d는 하나 걸러 하나씩의 2×2 서브어레이가 컬러필터구성에 의해 덮이고 그 밖의 모든 서브어레이들이 컬러필터들을 포함하지 않는 RGB 컬러매트릭스필터의 예를 도시한다. 적외선필터구성이 컬러매트릭스필터의 상단에 놓일 때, 적외광으로부터 차단되지 않는 서브어레이들은 적외선 영상들이 취해질 때 이용된다. 그래서 컬러매트릭스필터는 이러한 서브어레이들에 불필요하다.
일 실시예에서, 영상센서 및 컬러매트릭스필터의 화소들은 2×2화소 서브어레이들로 그룹화되고 그래서 각 서브어레이는 4개의 화소를 포함한다. 이 실시예에서, 서브어레이의 3개의 화소들은 적외선파장들로부터 차단되고 컬러 영상화에 이용되며, 하나의 화소는 모든 파장들에 노출되고 적외선 영상화에 이용된다. 도 3e는 컬러매트릭스필터를 도시한다. 각 서브어레이에서 하나의 녹색필터는 생략되어 있다. 그래서, 각 서브어레이는 적색, 청색 및 녹색 필터를 포함한다. 도 3f는 적외선필터구성을 도시한다. 각 서브어레이에서, 이 구성은 3개 화소 크기의 적외선차단영역과 적외광을 통과하는 한 화소 크기의 영역을 포함한다. 적외선통과영역은 컬러매트릭스필터의 녹색필터가 없는 상단에 놓인다. 실용에서는, 제2 녹색필터가 적외선통과필터에 의해 대체된다. 그래서, 적외선 차단영역에 의해 재배치된 각 서브어레이의 3개의 화소들은 정규 컬러 영상화에 이용되고, 적외광에 노출된 화소가 적외광 영상화에 이용된다.
서브어레이의 크기는 2×2와는 다를 수도 있다. 예를 들면, 3×3 서브어레이와 함께, 각각의 3개의 컬러의 3개의 화소를 포함하는 3×3 컬러매트릭스필터가 사용될 수 있다. 본 발명의 실시예에서, 대응하는 3×3 적외선필터구성은 적외선차단영역과 적외선통과영역을 포함한다.
일 실시예에서, 영상화 장치는 영상화하려는 영역 내의 광의 량을 검출하도록 그리고 적외선 영상과 정규 영상 중의 어느 것을 취할지를 판단하도록 구성된다. 도 1을 참조하면, 신호처리기(104)는 영상센서(100)를 이용하여 테스트영상을 취하고 테스트영상을 분석하고 영상센서 주변의 광 량을 판단하도록 구성된다. 테 스트영상의 광 량이 적다면, 신호처리기는 적외선 영상이 요구된다고 판정한다. 개별적으로, 테스트 영상의 광 량이 많다면, 신호처리기는 정규 영상이 더 나은 결과들을 제공할 것이라고 판정한다. 이 방법은 임의의 사람과의 상호작용(interaction) 없이 자동으로 영상들을 취하는 감시카메라들에 특히 유익하다.
일 실시예에서, 영상화 장치는 섬광등(flashlight; 116) 또는 적외선 파장의 광원을 포함한다. 도 1을 참조하면, 신호처리기(104)는 섬광등(116)의 동작을 제어한다. 신호처리기는, 적외선 영상이 요구된다고 판정한다면, 섬광등을 영상센서와 동기시켜 사용하여 적외선 영상을 생성한다. 이 동작모드는 피사체가 영상화를 알아차리는 일 없이 자동으로 영상들을 취하는 감시카메라들에서 특히 유익하다.
실시예에서, 섬광등은 보통의 섬광등 또는 적외선 및 보통의 섬광등의 결합물과 유사하다.
도 4는 본 발명의 일부 실시예들에서 이용될 수 있는 다른 디지털 영상화 장치를 도시하고 있다. 이 실시예는 예를 들면 감시카메라로서 사용하기에 적합하다. 도 4의 장치는 렌즈조립체 및 영상센서를 구비한 영상감지구성(100)을 포함한다. 이 장치는 A/D변환기(102) 및 신호처리기(104)를 더 포함한다. 영상데이터는 신호처리기에서 영상파일을 생성하도록 처리된다. 신호처리기는 노출제어명령들(106)을 영상감지구성(100)에 제공한다. 이 장치는 추가로 영상메모리(108), 데이터 및 프로그램 저장을 위한 작업메모리(110), 디스플레이(112), 섬광등(116) 및 도 1에 관련하여 설명된 사용자인터페이스(114)를 포함한다.
이 장치는 움직임 검출수단(MDET; 402)을 더 포함한다. 움직임 검출수단은 장치 앞의 소망의 영역에서의 움직임을 검출하도록 구성된다. 이 수단은 소망의 영역을 감시하고, 움직임이 검출될 때 신호를 신호처리기(104)에 송신한다. 신호처리기는 움직임 검출수단이 장치의 앞에서 움직임을 검출할 때 영상을 취하도록 구성된다.
움직임 검출수단(402)은 예를 들면 적외선 검출기들과 같이 이 기술의 당업자에게 알려진 움직임검출기들을 이용하여 실현될 수 있다.
이 장치는 통신수단(400)을 더 포함한다. 이 통신수단은 영상들을 소정의 주소들에 송신하도록 구성된다. 신호처리기가 움직임검출기로부터 신호를 수신한 후 영상을 취한 경우, 신호처리기는 그 영상을 소정의 주소에 송신하도록 구성된다. 이 통신수단은 예를 들면 셀룰러 무선시스템 송수신기를 이용하여 실현될 수 있다. 영상은 멀티미디어 메시지(MMS)로서 다른 송수신기에 송신될 수도 있다. 통신수단은 유선모뎀, 블루투스와 같은 단거리 무선 송수신기, 또는 무선근거리통신망(WLAN) 송수신기를 이용하여 실현될 수 있다. 이 통신수단은 다른 유형들의 송수신기를 이용하여 실현될 수도 있다.
장치의 사용자는 사용자인터페이스(114)를 이용하여 신호처리기를 통해 움직임 검출수단(402) 및 통신수단(40)의 매개변수들을 프로그램할 수 있다. 당해 매개변수들은 움직임 검출수단의 커버리지 영역 및 민감도와, 영상들을 송신할 때 이용되는 통신방법 및 주소를 포함할 수 있다.
도 5a는 발명의 실시예를 예시하는 흐름도이다. 이 실시예는 도 1의 장치에 관련된다. 단계 500에서, 이 장치는 사진촬영 하려는 영역의 광 량을 검출한다. 단 계 502에서, 이 장치는 검출된 광 량에 기초하여 적외선 영상을 취할 것인지 정규 영상을 취할 것인지를 선택한다. 광 량이 적다면, 적외선 영상을 취하는 것이 더 유용하다. 이는 단계 504에서 모든 파장들에 대해 노출되는 장치 센서의 화소들을 이용함으로써 취해진다.
충분한 광이 존재한다면 정규 컬러 영상이 바람직하다. 이는 단계 506에서 적외선파장들에 대해 차단되는 장치 센서의 화소들을 이용함으로써 취해진다.
도 5b는 발명의 다른 실시예를 도시하는 흐름도이다. 이 실시예는 도 4의 장치에 관련된다. 단계 508에서, 움직임 검출수단은 감시되는 영역에서의 움직임을 검출한다. 이 검출에 기초하여, 영상화 처리가 신호처리기에 의해 시작된다. 단계 510에서, 이 장치는 감시되는 영역에서의 광 량을 검출한다. 단계 512에서, 장치는 검출된 광 량에 기초하여 적외선 영상을 취할 것인지 정규 영상을 취할 것인지를 선택한다. 광 량이 적다면, 장치 센서에서 모든 파장들에 노출되는 화소들을 이용함으로써 단계 514에서 적외선 영상을 취하는 것이 더 유용하다.
충분한 광이 있다면, 단계 516에서 적외선파장들로부터 차단되는 장치 센서의 화소들을 이용하여 정규 컬러 영상이 취해진다. 단계 518에서는 취해진 영상이 통신수단에 의해 소정의 주소에 송신된다.
본 발명이 첨부 도면들에 따라 예에 관련하여 설명되었으나, 본 발명이 그것에 한정되지 않고 첨부된 청구항들의 범위 내에서 수 개의 방법들로 변형될 수 있다는 것은 명확하다.

Claims (19)

  1. 렌즈와 화소들을 가지는 영상센서를 구비한 영상감지구성을 포함하는 영상화장치로서, 영상감지구성은 영상을 생성하도록 구성되며, 영상감지구성은 영상센서의 화소들의 일부가 모든 파장들에 대해 노출되고 영상센서의 화소들의 일부가 적외선파장들로부터 차단되도록 영상센서의 앞에 적외선필터구성을 더 포함하는 영상화 장치.
  2. 제1항에 있어서, 영상센서의 절반의 화소들은 모든 파장들에 대해 노출되고 영상센서의 다른 절반의 화소들은 적외선파장들로부터 차단되는 영상화 장치.
  3. 제1항에 있어서, 영상감지구성은 영상센서의 앞에 컬러필터구성을 더 포함하는 영상화 장치.
  4. 제1항에 있어서, 영상감지구성은 적외선파장들로부터 차단된 화소들의 앞에 컬러필터구성을 더 포함하는 영상화 장치.
  5. 제1항에 있어서, 컬러필터구성은 바이어 매트릭스 필터인 영상화 장치.
  6. 제1항에 있어서, 영상센서의 하나 걸러 하나씩의 화소는 적외선파장들로부터 차단되는 영상화 장치.
  7. 제1항에 있어서, 영상센서의 화소들은 2×2화소 서브어레이들로 그룹화되고, 하나 걸러 하나씩의 서브어레이는 적외선파장들로부터 차단되는 영상화 장치.
  8. 제1항에 있어서, 영상센서의 화소들은 2×2화소 서브어레이들로 그룹화되고, 하나 걸러 하나씩의 서브어레이는 적외선파장들로부터 차단되며 그 밖의 서브어레이들은 컬러매트릭스필터로 덮이는 영상화 장치.
  9. 제1항에 있어서, 영상센서의 화소들은 2×2화소 서브어레이들로 그룹화되고, 각 서브어레이의 3개의 화소들은 적외선파장들로부터 차단되고 컬러 영상화에 이용되고 하나의 화소는 모든 파장들에 대해 노출되어 적외선 영상화에 이용되는 영상화 장치.
  10. 제1항에 있어서, 영상센서 영역이, 적외선필터구성은 제1영역을 덮고 컬러매트릭스필터가 제2영역을 덮는 두 개의 별개의 영역들을 포함하는 영상화 장치.
  11. 제1항에 있어서, 상기 영상화 장치는 적외선 영상을 취할 때 모든 파장들에 대해 노출되는 영상센서의 화소들을 이용하도록 구성된 영상화 장치.
  12. 제1항에 있어서, 상기 영상화 장치는 정규 영상을 취할 때 적외선파장들로부터 차단되는 영상센서의 화소들을 이용하도록 구성된 영상화 장치.
  13. 제1항에 있어서, 적외선파장의 섬광등을 더 포함하는 영상화 장치.
  14. 제1항에 있어서, 영상화하려는 영역의 광 량을 검출하기 위한 수단 및 적외선 영상과 정규 영상 중의 어느 것을 취할 것인지를 판단하기 위한 수단을 더 포함하는 영상화 장치.
  15. 영상화 장치 내에 영상파일들을 만들기 위한 방법에 있어서,
    화소들을 구비하는 영상센서에 적외선필터구성을 제공하여 영상센서의 일부 화소들은 모든 파장들에 대해 노출될 수 있고 영상센서의 일부 화소들은 적외선파장들로부터 차단되도록 하는 단계;
    모든 파장들에 대해 노출될 수 있는 영상센서의 화소들을 적외선 영상을 취할 때 이용하는 단계; 및
    적외선파장들로부터 차단될 수 있는 영상센서의 화소들을 정규 영상을 취할 때 이용하는 단계를 포함하는 방법.
  16. 제15항에 있어서, 영상센서 어레이를 컬러필터구성으로 덮는 단계를 더 포함하는 방법.
  17. 제15항에 있어서, 적외선파장들로부터 차단된 화소들을 컬러필터구성으로 덮는 단계를 더 포함하는 방법.
  18. 제15항에 있어서, 광 량을 검출하는 단계; 및
    검출에 기초하여 적외선 영상과 정규 영상 중의 어느 것을 취할지를 선택하는 단계를 더 포함하는 방법.
  19. 제15항에 있어서, 영상센서의 화소들을 2×2화소 서브어레이들로 그룹화하는 단계;
    하나 걸러 하나씩의 서브어레이를 적외선필터구성으로 덮는 단계; 및
    그 밖의 모든 서브어레이들을 컬러매트릭스필터로 덮는 단계를 더 포함하는 방법.
KR1020067004192A 2003-12-17 2004-12-08 적외선 영상들 및 정규 영상들을 생성하기 위한 방법 및영상화 장치 KR100833341B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/738,562 US7746396B2 (en) 2003-12-17 2003-12-17 Imaging device and method of creating image file
US10/738,562 2003-12-17

Publications (2)

Publication Number Publication Date
KR20060083199A true KR20060083199A (ko) 2006-07-20
KR100833341B1 KR100833341B1 (ko) 2008-05-28

Family

ID=34677411

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067004192A KR100833341B1 (ko) 2003-12-17 2004-12-08 적외선 영상들 및 정규 영상들을 생성하기 위한 방법 및영상화 장치

Country Status (6)

Country Link
US (1) US7746396B2 (ko)
EP (1) EP1695543B1 (ko)
JP (1) JP4347888B2 (ko)
KR (1) KR100833341B1 (ko)
CN (1) CN100463497C (ko)
WO (1) WO2005060241A1 (ko)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1594321A3 (en) * 2004-05-07 2006-01-25 Dialog Semiconductor GmbH Extended dynamic range in color imagers
KR101276757B1 (ko) 2006-05-26 2013-06-20 삼성전자주식회사 이미지 촬상 장치, 및 그 동작 방법
KR20070115243A (ko) * 2006-06-01 2007-12-05 삼성전자주식회사 이미지 촬상 장치, 및 그 동작 방법
US8446470B2 (en) * 2007-10-04 2013-05-21 Magna Electronics, Inc. Combined RGB and IR imaging sensor
FR2924235B1 (fr) * 2007-11-27 2010-08-20 Commissariat Energie Atomique Dispositif d'imagerie visible a filtre colore
JP5552214B2 (ja) * 2008-03-11 2014-07-16 キヤノン株式会社 焦点検出装置
US8842096B2 (en) * 2010-01-08 2014-09-23 Crayola Llc Interactive projection system
CN102291521B (zh) * 2011-04-28 2014-04-30 中国航空工业集团公司洛阳电光设备研究所 一种基于红外线列探测器的图像数据处理方法
JP5263373B2 (ja) * 2011-11-07 2013-08-14 ソニー株式会社 半導体装置および撮像装置
CN102595064B (zh) * 2012-02-23 2014-07-09 中国科学院上海高等研究院 Cmos图像传感器
WO2014091706A1 (ja) * 2012-12-14 2014-06-19 コニカミノルタ株式会社 撮像装置
CN108989647B (zh) 2013-06-13 2020-10-20 核心光电有限公司 双孔径变焦数字摄影机
US9692992B2 (en) * 2013-07-01 2017-06-27 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
US9667933B2 (en) * 2013-07-01 2017-05-30 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
EP3779565B1 (en) 2013-07-04 2024-05-22 Corephotonics Ltd. Miniature telephoto lens assembly
CN109246339B (zh) * 2013-08-01 2020-10-23 核心光电有限公司 用于对对象或场景进行成像的双孔径数字摄影机
US8917327B1 (en) * 2013-10-04 2014-12-23 icClarity, Inc. Method to use array sensors to measure multiple types of data at full resolution of the sensor
US9674493B2 (en) * 2014-03-24 2017-06-06 Omnivision Technologies, Inc. Color image sensor with metal mesh to detect infrared light
CN106455974B (zh) 2014-06-20 2018-12-14 拉姆伯斯公司 用于有透镜和无透镜的光学感测的系统和方法
US9699393B2 (en) 2014-06-26 2017-07-04 Semiconductor Components Industries, Llc Imaging systems for infrared and visible imaging with patterned infrared cutoff filters
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
CN112433331B (zh) 2015-01-03 2022-07-08 核心光电有限公司 微型长焦镜头模块和使用该镜头模块的相机
KR102088603B1 (ko) 2015-04-16 2020-03-13 코어포토닉스 리미티드 소형 접이식 카메라의 오토 포커스 및 광학 이미지 안정화
KR102263924B1 (ko) 2015-08-13 2021-06-11 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
US9911023B2 (en) 2015-08-17 2018-03-06 Hand Held Products, Inc. Indicia reader having a filtered multifunction image sensor
CN105430363B (zh) * 2015-12-18 2018-07-17 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
EP4024842A3 (en) 2015-12-29 2022-08-31 Corephotonics Ltd. Dual-aperture zoom digital camera with automatic adjustable tele field of view
EP3292685B1 (en) 2016-05-30 2019-06-05 Corephotonics Ltd. Rotational ball-guided voice coil motor
KR20240036133A (ko) 2016-06-19 2024-03-19 코어포토닉스 리미티드 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화
WO2018007981A1 (en) 2016-07-07 2018-01-11 Corephotonics Ltd. Linear ball guided voice coil motor for folded optic
CN108024035B (zh) * 2016-10-31 2020-02-04 比亚迪股份有限公司 成像装置和方法
EP3842853B1 (en) 2016-12-28 2024-03-06 Corephotonics Ltd. Folded camera structure with an extended light-folding-element scanning range
EP3789810B1 (en) 2017-01-12 2022-09-28 Corephotonics Ltd. Compact folded camera
US20200057149A1 (en) * 2017-05-11 2020-02-20 Sony Corporation Optical sensor and electronic device
CN107346089B (zh) * 2017-06-30 2020-04-14 Oppo广东移动通信有限公司 图像传感器、相机模组及电子装置
KR102456315B1 (ko) 2017-11-23 2022-10-18 코어포토닉스 리미티드 컴팩트 폴디드 카메라 구조
US10976567B2 (en) 2018-02-05 2021-04-13 Corephotonics Ltd. Reduced height penalty for folded camera
EP3785059B1 (en) 2018-04-23 2023-05-31 Corephotonics Ltd. An optical-path folding-element with an extended two degree of freedom rotation range
WO2020039302A1 (en) 2018-08-22 2020-02-27 Corephotonics Ltd. Two-state zoom folded camera
CN110567585B (zh) * 2019-07-22 2021-04-16 河南中光学集团有限公司 一种实时红外图像“锅盖效应”抑制方法
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
CN114144898B (zh) 2020-04-26 2022-11-04 核心光电有限公司 用于霍尔棒传感器校正的温度控制
CN114651275B (zh) 2020-05-17 2023-10-27 核心光电有限公司 全视场参考图像的图像拼接
KR20240001277A (ko) 2020-05-30 2024-01-03 코어포토닉스 리미티드 슈퍼 매크로 이미지를 얻기 위한 시스템 및 방법
CN119583941A (zh) 2020-07-15 2025-03-07 核心光电有限公司 用于校正扫描折叠相机和包含这样的扫描折叠相机的多相机中的视点像差的系统
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
US11946775B2 (en) 2020-07-31 2024-04-02 Corephotonics Ltd. Hall sensor—magnet geometry for large stroke linear position sensing
WO2022034402A1 (en) 2020-08-12 2022-02-17 Corephotonics Ltd. Optical image stabilization in a scanning folded camera
TWI836372B (zh) 2021-03-11 2024-03-21 以色列商核心光電有限公司 彈出式照相機系統
EP4204885A4 (en) 2021-06-08 2024-03-06 Corephotonics Ltd. SYSTEMS AND CAMERAS FOR TILTING A FOCAL PLANE OF A SUPER MACRO-IMAGE

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6292212B1 (en) 1994-12-23 2001-09-18 Eastman Kodak Company Electronic color infrared camera
US5555464A (en) 1995-07-28 1996-09-10 Lockheed Martin Corporation Red/near-infrared filtering for CCD cameras
US6151073A (en) * 1996-03-28 2000-11-21 Fotonation, Inc. Intelligent camera flash system
US7071971B2 (en) * 1997-08-25 2006-07-04 Elbex Video Ltd. Apparatus for identifying the scene location viewed via remotely operated television camera
US6211521B1 (en) 1998-03-13 2001-04-03 Intel Corporation Infrared pixel sensor and infrared signal correction
JP4253943B2 (ja) * 1999-08-30 2009-04-15 ソニー株式会社 固体撮像装置
US6515275B1 (en) 2000-04-24 2003-02-04 Hewlett-Packard Company Method and apparatus for determining the illumination type in a scene
JP4641601B2 (ja) 2000-09-08 2011-03-02 富士通テン株式会社 画像処理装置および画像処理システム
JP4453189B2 (ja) 2000-10-31 2010-04-21 株式会社豊田中央研究所 撮像装置
GB2373943A (en) * 2001-03-28 2002-10-02 Hewlett Packard Co Visible and infrared imaging camera
JP4421793B2 (ja) * 2001-07-13 2010-02-24 富士フイルム株式会社 ディジタルカメラ
JP4532800B2 (ja) * 2001-11-08 2010-08-25 キヤノン株式会社 撮像装置及びシステム
CN2559015Y (zh) * 2002-04-29 2003-07-02 谢基生 电动式双层近红外滤光型防盗摄影监控装置
US7012643B2 (en) 2002-05-08 2006-03-14 Ball Aerospace & Technologies Corp. One chip, low light level color camera
US20040105021A1 (en) * 2002-12-02 2004-06-03 Bolymedia Holdings Co., Ltd. Color filter patterns for image sensors
US20040174446A1 (en) * 2003-02-28 2004-09-09 Tinku Acharya Four-color mosaic pattern for depth and image capture
JP4311988B2 (ja) 2003-06-12 2009-08-12 アキュートロジック株式会社 固体撮像素子用カラーフィルタおよびこれを用いたカラー撮像装置

Also Published As

Publication number Publication date
US20050134697A1 (en) 2005-06-23
EP1695543B1 (en) 2013-07-03
KR100833341B1 (ko) 2008-05-28
WO2005060241A1 (en) 2005-06-30
CN1894952A (zh) 2007-01-10
CN100463497C (zh) 2009-02-18
EP1695543A1 (en) 2006-08-30
JP2007515879A (ja) 2007-06-14
JP4347888B2 (ja) 2009-10-21
US7746396B2 (en) 2010-06-29

Similar Documents

Publication Publication Date Title
KR100833341B1 (ko) 적외선 영상들 및 정규 영상들을 생성하기 위한 방법 및영상화 장치
US20050128509A1 (en) Image creating method and imaging device
US8049801B2 (en) Image sensor and imaging apparatus
US20070177004A1 (en) Image creating method and imaging device
US6924841B2 (en) System and method for capturing color images that extends the dynamic range of an image sensor using first and second groups of pixels
CN102197639B (zh) 用于形成图像的方法以及数字成像设备
US7508431B2 (en) Solid state imaging device
JP4311988B2 (ja) 固体撮像素子用カラーフィルタおよびこれを用いたカラー撮像装置
US7274393B2 (en) Four-color mosaic pattern for depth and image capture
KR101639382B1 (ko) 높은 동적 범위를 가지는 영상을 생성하는 장치 및 방법
US7471329B2 (en) Digital camera that performs autofocusing according to chromatic and achromatic sensing elements
US8031243B2 (en) Apparatus, method, and medium for generating image
US20130021507A1 (en) Image processors and methods for processing image data
JP2005341175A5 (ko)
US20040174446A1 (en) Four-color mosaic pattern for depth and image capture
TW200903792A (en) Image sensor
US6542696B2 (en) Distance measurement apparatus of camera
US20040169748A1 (en) Sub-sampled infrared sensor for use in a digital image capture device
US20050151860A1 (en) Image sensing device and method
CN114125318A (zh) 图像传感器、摄像模组、电子设备、图像生成方法和装置
JP4911923B2 (ja) 固体撮像素子
EP3439300B1 (en) Image pickup device, vehicle-mounted camera, and image processing method
JP2002185977A (ja) 映像信号処理装置および映像信号処理プログラムを記録した記録媒体
CN105934941A (zh) 摄像装置、视频信号处理方法以及视频信号处理程序
JP2004064468A (ja) 撮像装置

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20060228

Patent event code: PA01051R01D

Comment text: International Patent Application

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20060302

Comment text: Request for Examination of Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20070608

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20080228

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20080522

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20080523

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20110516

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20120503

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20130502

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20130502

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20140508

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20140508

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20150416

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20150416

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20160419

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20160419

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20170420

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20170420

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20180417

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20180417

Start annual number: 11

End annual number: 11

FPAY Annual fee payment

Payment date: 20190417

Year of fee payment: 12

PR1001 Payment of annual fee

Payment date: 20190417

Start annual number: 12

End annual number: 12

PR1001 Payment of annual fee

Payment date: 20200417

Start annual number: 13

End annual number: 13

PR1001 Payment of annual fee

Payment date: 20230418

Start annual number: 16

End annual number: 16

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20250302