[go: up one dir, main page]

KR102287082B1 - 다단계 이종 필터 시스템을 이용한 소형 초분광 이미지 센서 - Google Patents

다단계 이종 필터 시스템을 이용한 소형 초분광 이미지 센서 Download PDF

Info

Publication number
KR102287082B1
KR102287082B1 KR1020210060876A KR20210060876A KR102287082B1 KR 102287082 B1 KR102287082 B1 KR 102287082B1 KR 1020210060876 A KR1020210060876 A KR 1020210060876A KR 20210060876 A KR20210060876 A KR 20210060876A KR 102287082 B1 KR102287082 B1 KR 102287082B1
Authority
KR
South Korea
Prior art keywords
filter
image sensor
image
spectral
wavelength band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020210060876A
Other languages
English (en)
Inventor
김관태
Original Assignee
김관태
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김관태 filed Critical 김관태
Priority to KR1020210060876A priority Critical patent/KR102287082B1/ko
Application granted granted Critical
Publication of KR102287082B1 publication Critical patent/KR102287082B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G01J3/513Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters having fixed filter-detector pairs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N5/357
    • H04N9/0455
    • G01J2003/51

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

물리 필터 및 소프트웨어적 분석에 의한 필터를 조합함으로써, 분광 광학계가 없이도, 품질이 유지된 노이즈가 제거된 초분광 이미지를 획득할 수 있도록 하는 기술을 제공한다. 본 발명의 일 실시예에 따른 다단계 이종 필터 시스템을 이용한 소형 초분광 이미지 센서는, 타겟을 스캔하고 측정하기 위하여 최전단에 배치되는 적어도 광학 렌즈를 포함하는 전단 광학부; 전단 광학부를 통해 측정된 입사광 중, 기설정된 목표 파장 대역의 빛을 통과시키기 위한 물리 필터인 제1 필터; 제1 필터를 통과한 빛의 스펙트럼 이미지를 분석하여 데이터화하는 이미지 센서; 및 스펙트럼 이미지 중 오류값 및 비정상적 피크값을 포함하는 노이즈 성분을 제거하는 소프트웨어 필터인 제2 필터;를 포함하는 것을 특징으로 한다.

Description

다단계 이종 필터 시스템을 이용한 소형 초분광 이미지 센서{COMPACT HYPERSPECTRAL IMAGE SENSOR USING MULTI-STAGE HETEROGENEOUS FILTER SYSTEM}
본 발명은 이종의 필터 시스템을 다수 적용한 초분광 이미지 센서에 관한 것으로, 구체적으로는 목표 대역 내 파장의 스펙트럼 이미지를 센싱할 수 있도록 하는 필터와, 스펙트럼 이미지 내의 오류 및 비정상값을 제거할 수 있는 필터 시스템을 조합하여, 기존의 분광기와 같은 광학계를 포함하지 않고도 고품질의 초분광 이미지를 취득할 수 있는 고품질 소형 초분광 이미지 센서 기술에 관한 것이다.
초분광 이미지 센서 또는 초분광 카메라는, 빛을 여러 파장 영역에서 분석하고, 파장 영역별 이미지를 취득하여 인간의 눈에 보이지 않는 객체를 가시화할 수 있는 장치이다. 초분광 카메라는 위성, 항공기, 농업, 환경, 의료, 식품 분야 등 매우 다양한 분야에서 정밀한 객체를 촬영하기 위해서 사용하고 있다.
이러한 초분광 카메라는 종래의 색 개념을 각 파장대역 스펙트럼 이미지 분석을 통해 스펙트럼 영역에 확장할 수 있어 상술한 바와 같이 인간의 눈에 보이지 않는 객체를 가시화할 수 있는 특징이 있다.
종래에는 라인 스캔 방식의 초분광 카메라가 사용되어 왔다. 이 방식은 라인 스캔 후 피사체가 이동하면서 다음 라인 이미지를 획득하는 방식을 반복하여 2D 이미지를 획득하는 방식 또는 슬릿 자체가 가변 슬릿 라인으로 구성되어, 슬릿을 가변 하면서 이미지를 획득하는 방식 등이 사용되어 왔다.
이러한 기존의 초분광 카메라는, 상술한 바와 같이 특정 픽셀, 즉 특정 위치에서의 파장 별 스펙트럼을 분석해야 하기 때문에, 분광 광학계가 필수적으로 사용되어 왔다. 이러한 분광 광학계는 빛을 파장대 별로 분산하는 분산 소자의 형태에 따라서 파장 분해 능력 및 감도를 좌우하게 된다.
해당 초분광 카메라에 대한 기존의 기술로는, 한국 등록특허 제10-2188749호 등이 있는데, 해당 기술은, 이미지를 획득 시 분광 광학계가 제시되어 있고, 이러한 분광 광학계는 예를 들어 회절 격자 등을 이용하여 분광을 수행해야 하고, 이에 따라서 분광 광학계가 갖는 물리적인 크기가 존재하여 왔다.
이러한 이유 때문에, 초분광 카메라를 슬림하게 제작할 수 없는 단점이 존재하여, 최근에는 물리 필터를 적용하는 한국등록특허 제10-1632067호 등도 제시되고 있다. 해당 기술은, 물리적인 필터를 적용하여 원하는 파장대역의 빛을 통과시켜 이에 대한 이미지를 획득하도록 하고, 해당 필터의 지정된 스펙트럼 영역의 빛을 통과시키기 위하여 다수의 필터를 적용하는 기술을 포함하고 있다.
그러나, 이러한 선행기술은, 상기의 분광 광학계를 적용하는 기술에 비하여 장치의 소형화가 가능한 장점은 있지만, 필터를 통과한 빛의 노이즈를 전혀 제거하지 못하는 문제가 존재해 왔다.
이에 따라서 초분광 카메라의 소형화가 가능하고, 그와 동시에 각 파장대역의 노이즈를 제거할 수 있는 기술을 제공하여, 초분광 카메라의 소형화, 가격 경쟁력 강화 및 범용성을 늘리기 위한 기술에 대한 필요성이 증가되고 있다.
이에 본 발명은, 상기 언급된 기존 기술의 문제점을 해결하기 위하여 도출된 것으로서, 상술한 바와 같이, 분광 광학계가 필요하지 않도록 하는 동시에, 각 파장 대역의 노이즈를 효과적으로 제거할 수 있는 새로운 초분광 카메라의 구조를 제안함으로써, 분광 광학계의 성능을 어느 정도 유지하면서, 기기의 소형화가 가능한 초분광 카메라에 대한 기술을 제공하는 데 그 목적이 있다.
상기 목적을 달성하기 위해서, 본 발명의 일 실시예에 따른 다단계 이종 필터 시스템을 이용한 소형 초분광 이미지 센서는, 타겟을 스캔하고 측정하기 위하여 최전단에 배치되는 적어도 광학 렌즈를 포함하는 전단 광학부; 상기 전단 광학부를 통해 측정된 입사광 중, 기설정된 목표 파장 대역의 빛을 통과시키기 위한 물리 필터인 제1 필터; 상기 제1 필터를 통과한 빛의 스펙트럼 이미지를 분석하여 데이터화하는 이미지 센서; 및 상기 스펙트럼 이미지 중 오류값 및 비정상적 피크값을 포함하는 노이즈 성분을 제거하는 소프트웨어 필터인 제2 필터;를 포함하는 것을 특징으로 한다.
상기 제1 필터는, 입사광의 분석 대상 파장 대역 별로, 서로 다른 파장 대역의 빛을 통과시키는 다수의 물리 필터를 포함하는 것이 바람직하다.
상기 물리 필터는, 지정된 파장 대역의 빛을 통과시키는 전자식 국소대역 통과 필터인 것이 바람직하다.
상기 제2 필터는, 상기 이미지 센서로부터 분석된 스펙트럼 이미지를 푸리에 변환하고, 푸리에 변환된 신호에 대해서 스펙트럼 공간에서 노이즈 성분을 신호로부터 제거하는데 있어서, 푸리에 변환된 함수의 허부를 제거한 뒤 푸리에 역변환을 수행하여 노이즈 성분이 제거된 스펙트럼 이미지를 생성하는 것이 바람직하다.
상기 제2 필터는, 상기 이미지 센서로부터 분석된 스펙트럼 이미지에 대응되는 함수를 우함수인 제1 함수 및 제2 함수의 조합으로 도출하고, 도출된 제1 함수 및 제2 함수의 푸리에 변환으로부터 허부를 제거한 뒤 푸리에 역변환을 수행하여 노이즈 성분이 제거된 스펙트럼 이미지를 생성하는 것이 바람직하다.
상기 제2 필터는, 타겟의 종류, 상기 광학 렌즈의 식별 정보, 상기 제1 필터를 구성하는 다수의 물리 필터의 식별 정보를 입력값으로 갖고, 각 파장 대역별 스펙트럼 이미지의 노이즈 값 및 유효 스펙트럼 이미지를 출력값으로 갖는 딥러닝 알고리즘을 포함하는 것도 가능하다.
상기 제2 필터는, 시간에 다른 밝기 변화, 전기적 간섭으로 인한 노이즈, 배드 픽셀(Bad Pixel) 및 카메라 ADC 및 Gain 값의 차이에 따른 노이즈를 제거하기 위하여, Wavelet thresholding 기법, MNF(Maximum Noise Fraction) 기법, Wiener filter 알고리즘, Gain 값을 조정 기법 및 선형보간법 알고리즘을 사용하는 것도 가능하다.
상기 제2 필터는, 각 파장 대역별 스펙트럼 이미지에서의 스펙트럼을 분석하여, 파장 크기가 비정상적 피크치인 것으로 판단되는 신호를 제거하여 노이즈 성분이 제거된 스펙트럼 이미지를 생성하는 것도 가능하다.
상기 제2 필터는, 각 파장 대역별 스펙트럼 이미지 내에서 스펙트럼 값의 크기가 가장 큰 피크 값들 중, 스펙트럼 이미지 내의 모든 스펙트럼 값의 평균치보다 기설정된 임계 비율을 초과하고, 서로 인접된 스펙트럼 값들 사이의 변동값보다 기설정된 임계 변동값을 초과하는 변동값을 갖는 피크 값을 노이즈 성분으로서 제거하여, 노이즈 성분이 제거된 스펙트럼 이미지를 생성하는 것도 가능하다.
상기 이미지 센서는, 상기 제2 필터를 통과한 파장 대역 별 스펙트럼 이미지를 합성하여 타겟에 대한 초분광 이미지를 생성하는 것이 바람직하다.
본 발명에 의하면, 일정 파장 대역의 빛을 통과시키는 슬림한 제1 필터와, 이미지 센서에 의하여 획득된 파장대역 별 스펙트럼 데이터들 중 오류값 및 비정상 피크치 등의 노이즈를 제거하는 제2 필터를 조합함으로써, 분광 광학계와 같이 다수의 파장대역별 스펙트럼 이미지를 획득함으로써 초분광 이미지의 생성이 가능한 기술을 제공하게 된다.
즉, 물리 필터 및 소프트웨어적 분석에 의한 필터를 조합함으로써, 분광 광학계가 없이도, 품질이 유지된 노이즈가 제거된 초분광 이미지를 획득할 수 있도록 하여, 소형으로 원하는 스펙의 초분광 카메라를 제작할 수 있는 효과가 있다.
이에 따라서, 기기의 소형화, 가격의 인하 및 카메라의 소형화에 따른 기기 이용의 범용성을 증가시킬 수 있어, 초분광 카메라를 이용한 다양한 이미지 센싱이 가능하도록 하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 다단계 이종 필터 시스템을 이용한 소형 초분광 이미지 센서의 구조를 설명하기 위한 개략도.
도 2는 본 발명의 일 실시예에 따라서 이미지가 센싱되는 흐름을 설명하기 위한 플로우차트.
도 3은 본 발명의 일 실시예에 따라서 처리되는 빛의 파장대역에 대한 설명을 위한 도면.
도 4 내지 6은 기존의 초분광 카메라의 기능을 설명하기 위한 도면.
도 7은 본 발명의 일 실시예에 따라 제1 필터가 수행하는 기능을 설명하기 위한 도면.
도 8은 본 발명의 일 실시예에 따라 제2 필터가 수행하는 기능을 설명하기 위한 도면.
이하에서는, 다양한 실시 예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.
본 명세서에서 사용되는 "실시 예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다.
또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.
또한, 제 1, 제 2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 발명의 실시 예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시 예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
한편 이하의 설명에 있어서, 도면에 기재된 사항은 본 발명의 각 구성의 기능을 설명하기 위하여 일부의 구성이 생략되거나, 과하게 확대 또는 축소되어 도시되어 있으나, 해당 도시 사항이 본 발명의 기술적 특징 및 권리범위를 한정하는 것은 아닌 것으로 이해됨이 당연할 것이다.
또한 이하의 설명에 있어서 하나의 기술적 특징 또는 발명을 구성하는 구성요소를 설명하기 위하여 다수의 도면이 동시에 참조되어 설명될 것이다.
도 1은 본 발명의 일 실시예에 따른 다단계 이종 필터 시스템을 이용한 소형 초분광 이미지 센서의 구조를 설명하기 위한 개략도, 도 2는 본 발명의 일 실시예에 따라서 이미지가 센싱되는 흐름을 설명하기 위한 플로우차트, 도 3은 본 발명의 일 실시예에 따라서 처리되는 빛의 파장대역에 대한 설명을 위한 도면, 도 4 내지 6은 기존의 초분광 카메라의 기능을 설명하기 위한 도면, 도 7은 본 발명의 일 실시예에 따라 제1 필터가 수행하는 기능을 설명하기 위한 도면, 도 8은 본 발명의 일 실시예에 따라 제2 필터가 수행하는 기능을 설명하기 위한 도면이다. 이하의 설명에 있어서 본 발명의 다양한 실시예 및 각 구성에 대한 설명을 위해서 상술한 도면들이 하나 이상 동시에 참조되어 설명될 수 있다.
상술한 도면들을 함께 참조하여 설명하면, 본 발명의 일 실시예에 따른 다단계 이종 필터 시스템을 이용한 소형 초분광 이미지 센서(10, 이하 '본 발명의 센서'라 함)는, 전단 광학부(11), 제1 필터(12), 이미지 센서(13) 및 제2 필터(14)를 포함하는 것을 특징으로 한다.
본 발명의 센서(10)는, 객체를 원거리 또는 근거리에서 촬영하여 초분광 이미지 데이터를 생성하는 장치로서, 일반적인 초분광 카메라와 동일 또는 유사한 구조를 갖는다. 대신, 상술한 바와 같이 분광 광학계를 포함하지 않고, 제1 필터(12) 및 제2 필터(14)를 이용하여, 원하는 파장대역의 스펙트럼 이미지를 추출 및 분석하여, 초분광 이미지를 생성하는 기능을 수행한다.
도 4에 도시된 바와 같이, 일반적인 초분광 카메라는, 전단 광학부(110), 분산 소자를 포함하는 분광 광학계(20) 및 집광부(131)를 포함하는 이미지 센서를 포함하여 구성될 수 있다.
전단 광학부(110)는 타겟을 스캔하고 측정함으로써 타겟으로부터 반사된 빛을 입사시키는 기능을 수행한다. 전단 광학부(110)는 도면에 도시된 바와 같이 적어도 광학렌즈를 포함하여 구성되며, 광학렌즈는 초점거리 및 조리개 값(F값)을 갖도록 설정되며, 초점거리가 짧을수록 넓은 영역의 FOV를 가질 수 있다. 조리개 값은 렌즈의 개방 수치를 지칭하고, 조리개 값이 낮을수록 조리개를 개방한다는 의미로 이해될 수 있고, 이는 이미지 센서에 들어오는 빛의 양을 많게 하여 심도 있는 사진을 얻을 수 있음을 의미한다.
분광 광학계(20)는 도 5에 도시된 바와 같이, 분산 소자의 형태에 따라서 파장 분해 능력과 감도가 좌우되는 구성이다. 도 5에 도시된 바와 같이, 여러 파장 대역의 빛이 전단 광학부(110)를 통과하여 입사되면, 오목 형태의 비구면 거울, 볼록 형태의 비구면 거울, 반사형 평면 회절 격자, 오목 형태의 비구면 거울의 반복 구조를 통과하도록 도 5의 광학계(200)를 따라서 빛을 통과시키면, 예를 들어 400~900nm 대역의 스펙트럼을 갖는 빛의 각 파장대역별 빛이 분광되어 생성된다.
집광부(131)는 이와 같이 분광된 파악대역별 빛을 집광하고, 이미지 센서는 이를 이용하여 각 파장대역 별 스펙트럼 이미지를 생성하게 되며, 이를 기반으로 2D 초분광 이미지가 생성되는 것이다.
그러나, 도 5 등에 도시된 바와 같이 분산 소자는 다수의 거울 및 회절 격자 등으로 이루어지기 때문에 물리적인 사이즈가 반드시 필요하게 된다. 일반적인 초분광 이미지 센서에 대한 제품 사진으로서 도 6을 참조하면 이를 확인할 수 있다.
도 6에 도시된 바와 같이 전단 광학부(110)는 조리개 및 광학렌즈, 슬릿 등을 포함하면 되기 때문에 필수적인 길이를 갖게 되는데, 전단 광학부(110)를 제외하고 본체(30)가 매우 큰 사이즈를 갖는 이유는, 상술한 바와 같은 분산 소자를 포함하는 분광 광학계(20)의 구조에 기인한다.
그러나, 분광 광학계(20)는 회절 격자 등의 스펙에 따라서 매우 다수의 파장대역의 빛을 분광할 수 있고, 분광 시 거의 노이즈가 발생하지 않기 때문에, 고성능의 초분광 이미지 센서를 구현하기 위해서는 매우 비싸고 큰 사이즈를 갖더라도 분광 광학계(20)가 필요할 수밖에 없었다.
즉 도 3에 도시된 바와 같이, 빛은 0.4 ~ 0.7 microns(마이크론)의 가시광 영역, 0.7 ~ 2마이크론의 단파장 적외선(Short Wave Infrared(SWIR)) 영역, 3 ~ 5마이크론의 중파장 적외선(Mid Wave Infrared(MWIR)) 영역, 8 ~ 12마이크론의 장파장 적외선(Long Wave Infrared(LWIR)) 영역, 3200~8600 마이크론의 초장파장 영역(Millimeter Wave(MMW)) 등이 있고, 분광 광학계(20)의 스펙에 따라서 해당 파장 중 인지 가능한 파장 대역이 결정된다.
본 발명의 초분광 이미지 센서는, 가시광 영역뿐 아니라, 이러한 장파장 영역에서의 객체로부터 반사되는 빛을 이용하여 이미징함으로써, 각 파장의 스펙트럼 이미지를 통해서 같은 형태의 객체라도 해당 객체의 파장 특성을 이용하여 객체를 구체적이고 정확하게 식별하는 등에 사용하기 위한 장비이다.
본 발명에서 이미지 센서(13)는 상술한 기존의 집광부(131)를 포함하는 이미지 센서와 동일하거나, 제2 필터(14)의 기능 연동을 위해서 서로 다른 기능을 수행하는 디바이스를 의미한다.
이미지 센서는 빛을 전기적 신호로 바꿔주는 반도체 소자를 포함하는 디바이스로서, 영상을 디지털 신호로 생성하는 제작 공정 및 응용 방식에 따라서 CCD 및 CMOS 등이 사용되고, 해당 센서들은 신호 획득 방법, 화소 크기 등의 장단점을 가지고 있고, 최근에는 이를 하이브리딩한 센서 역시 사용되고 있다. 이에 따라서 본 발명의 센서(10)에 포함된 이미지 센서(13)는 상술한 다양한 이미지 센서가 사용될 수 있는 것으로 이해되어야 할 것이다.
본 발명의 센서(10)에 포함된 전단 광학부(11)는 타겟을 스캔하고 측정하기 위하여 최전단에 배치되는 적어도 광학 렌즈를 포함하는 구성으로서, 광학 렌즈 이외에 슬릿 등 빛이 입사되는 전단 광학부(11)에 포함될 수 있는 다양한 구성을 포함하는 개념으로 이해될 것이다.
예를 들어 분광 영상의 촬영 방식은 다양하게 존재할 수 있고, 본 발명의 센서(10)를 제외한 다양한 분광 촬영 장치의 방식은, 예를 들어, 일반적인 RGB영상과 같이 센서에 파장에 따른 필터들을 달아서 촬영하는 다분광장치가 존재한다. 이 경우 스냅샷으로 한 번에 영상이 촬영되며 센서의 필터 구성이 어떻게 되어 있냐에 따라 얻어지는 데이터가 달라진다. 라인스캔을 하는 Pushbroom이나 포인트스캔인 Whisk-broom 방식에 비해 스냅샷 방식의 촬영이므로 훨씬 간단하고 모든 데이터가 동시 촬영된다는 장점이 있지만, 센서와 필터 구성을 무한정으로 늘릴 수도 없기 때문에 파장대의 개수가 다른 방식에 비해 적은 문제가 있다.
스캐닝 방식의 경우 이름 그대로 스캐닝을 하기 때문에 동시 촬영이 되지 않는다. 따라서 장치가 흔들리거나 피사체가 움직이면 안 되는 단점이 있다. Pushbroom은 흔히 말하는 라인스캐닝 방식인데, 알려진 바로 가장 흔히 이용되는 초분광영상 촬영 방법이다. 한 번 촬영 시에 슬릿으로 선 방향의 빛이 들어와서 그 빛이 분광기를 거쳐 각 파장대 별로 퍼져 면이 되어 2D 디텍터에 검출된다. 공간 방향과 스펙트럼 방향(그림 3에서는 x-λ)의 2d 영상이 촬영되는 것이다. 그리고 카메라, 혹은 물체가 y방향으로 움직이면서 라인스캐닝을 하여 전체 3D 큐브를 구성한다. 일반적인 분광기에서 한쪽 공간 방향이 추가되었다고 보면 간단하다.
whisk-broom scanner의 경우 일반적인 스펙트로미터, 즉 분광기가 촬영하는 것과 같이 한 포인트에 대한 스펙트럼 정보를 얻고, 이를 전체에 대해서 스캐닝하여 3D 데이터 큐브를 구성하면 whisk-broom 스캐너이다.
이와 같은 분광 광학계가 존재하는 방식에서, 본 발명의 센서(10)는 분광 광학계를 제외하고 상술한 전단 광학부(11)가 객체로부터 반사되는 빛을 수신하는 모든 방식이 동일하게 사용될 수 있다. 즉, 광학 렌즈 이외에, 상술한 슬릿, 포인트, 기존의 전체 영역 촬영 등의 모든 빛 획득 방식을 위한 다양한 구성들이 포함될 수 있는 것이다.
제1 필터(12)는 전단 광학부(11)를 통해 측정된 입사광 중, 기설정된 목표 파장 대역의 빛을 통과시키기 위한 물리 필터가 하나 또는 그 이상 집합된 구조를 의미한다.
제1 필터(12)는 예를 들어, 입사광의 분석 대상 파장 대역 별로, 서로 다른 파장 대역의 빛을 통과시키는 다수의 물리 필터를 포함할 수 있는데, 이를 위해서는 빛을 파장대에 관계없이 분광시키는 프리즘이나 슬릿 등의 추가적인 분광 구조와, 해당 빛의 경로마다 설치된 다수의 물리 필터가 존재할 수 있다.
이때, 물리 필터는, 지정된 파장 대역의 빛을 통과시키는 전자식 국소대역 통과 필터로서, 예를 들어 모자이크 배열 방식의 필터 또는 가변적 액정 필터(Liquid Crystal Tunable Filter)일 수 있다. 해당 물리 필터는 빠르고 진동이 없이 특정 파장 대역의 빛을 선택적으로 통과시기는 장점이 있다. 예를 들어 다수의 물리 필터가 상술한 모자이크 배열 방식의 필터 또는 가변적 액정 필터로 구성되는 경우에 있어서, 어느 한 필터는 가시광선 영역으로서 0.4 내지 0.7 마이크론 내역을, 다른 필터는 적외선 영역으로서 0.65 내지 1.10 마이크론 영역의 스펙트럼 범위의 파장을 통과시킬 수 있다.
이 경우 각 필터가 모자이크(Mosaic) 방식으로 배열되어 하나의 필터 모듈을 형성하도록 구성되며, 하나의 필터 모듈에 포함된 각 물리 필터에 해당하는 영역에 각 파장대역(Bandwidth)를 갖는 영역에 의하여 입사되는 빛들 중 각 영역에 대응되는 파장대역의 빛이 각각 통과되어 각 파장대역별 스펙트럼 이미지에 대응되는 빛이 통과되도록 할 수 있다.
또는 각 필터는 좁은 스펙트럼 대역의 빛을 통과시키도록 각 채널을 설정하게 되며, 이미지 촬영이 끝나면 다음 채널의 스펙트럼 대역을 통과시키도록 설정함을 반복하여, 상술한 영역에서 다양한 파장 대역의 빛에 대한 스펙트럼을 획득할 수 있도록 할 수 있다.
즉 도 7의 (a)에 도시된 바와 같이, 객체를 촬영하게 되면, 모든 파장 대역(w1, w2, w3~)의 빛이 포함된 3D 큐브 형태의 이미지 데이터(1000)가 존재할 것인데, 제1 필터(12)는 이를 물리적으로 필터링하여, 분석 대상이 되는 파장 대역(w4, w5)의 빛(1001)들 만을 통과시키는 기능을 수행하게 되는 것이다.
또는 모자이크 배열 방식의 필터의 경우 도 7의 (b)에 도시된 바와 같이 입사광이 필터를 통과하면서 서로 다른 파장대역(b1 ~ b16)의 통과 영역을 갖는 필터에 의하여 각각 다른 파장대역의 빛이 필터링되고, 이를 이용하여 후술하는 이미지 센서(13)에 의하여 각 파장대역 별 스펙트럼 이미지가 생성될 수 있다.
또한 상술한 제1 필터(11)는 구체적으로, 후술하는 이미지 센서(13)에 증착된 분광 필터 및 별도의 물리적인 상술한 제1 필터(11)의 파장대역별 입사광 Cut-Off 기능을 수행하는 Cut-Off 필터로 구성될 수 있고, 이미지 센서(13)에 증착된 분광 필터는 일반적인 공지의 필터가 사용될 수 있다.
이미지 센서(13)는 상술한 바와 같이 CCD 및 CMOS 센서 등을 포함하여, 제1 필터(12)를 통과한 빛의 스펙트럼 이미지를 분석하여 데이터화하는 기능을 수행한다.
즉 제1 필터(12)를 통과한 특정 파장 대역의 빛은, CMOS 센서 등에 투사되어 분광된 상태, 즉 특정 파장 대역의 빛이 투사된 분광 이미지를 획득할 수 있다. 이때 CMOS 센서의 Y 축(수평방향)으로는 이미지가 추출되고, Z 축 방향(수직방향)으로는 해당 이미지가 분광된 파장정보를 추출할 수 있다. 이때, 각 이미지를 추출하고 Z 축 방향의 분석을 통해서 파장별 스펙트럼을 분석하게 되면, 객체(A) 전체의 초분광 파장정보(100)를 추출할 수 있는 것이다.
한편 제1 필터(12)는 특정 대역의 빛을 통과시키는 기능을 수행하는 바, 해당 빛을 분석한 스펙트럼 이미지에는 오류값 등의 노이즈가 존재할 수 있다. 본 발명에서 제2 필터(14)는, 이러한 스펙트럼 이미지 중 노이즈 성분으로서 예를 들어 오류값 및 비정상적 피크값을 제거하는 소프트웨어 필터를 의미한다.
본 발명에서 제2 필터(14)는 소프트웨어 필터이기 때문에 별도의 분광 광학계를 구성하지 않고, 상술한 이미지 센서(13)에 연동되어 이미지 센서(13)가 수신한 스펙트럼 이미지로부터 노이즈를 제거한 뒤 노이즈가 제거된 스펙트럼 이미지를 이미지 센서(13)에 리턴하는 기능을 수행한다.
본 발명에서 제2 필터(14)는 소프트웨어 필터이기 때문에 다양한 방식의 알고리즘을 포함하여 노이즈 성분을 제거하도록 구성될 수 있다.
[제1 실시예]
본 발명의 제2 필터(14)에 대한 제1 실시예에 있어서, 제2 필터(14)는 이미지 센서(13)로부터 분석된 스펙트럼 이미지를 푸리에 변환하고, 푸리에 변환된 신호에 대해서 스펙트럼 공간에서 노이즈 성분을 신호로부터 제거하는데 있어서, 푸리에 변환된 함수의 허부를 제거한 뒤 푸리에 역변환을 수행하여 노이즈 성분이 제거된 스펙트럼 이미지를 생성하는 알고리즘을 수행할 수 있다.
또는, 이미지 센서(13)로부터 분석된 스펙트럼 이미지에 대응되는 함수를 우함수인 제1 함수 및 제2 함수의 조합으로 도출하고, 도출된 제1 함수 및 제2 함수의 푸리에 변환으로부터 허부를 제거한 뒤 푸리에 역변환을 수행하여 노이즈 성분이 제거된 스펙트럼 이미지를 생성하게 된다.
특정 파형을 함수로 표현하게 되면, 비대칭인 실수함수(f(x))로 표현되며, 주기적으로 변화되는 부분에는 sin 또는 cos 함수 성분이 포함되어 있고, 기울기에는 선형함수 ax+b의 성분이 포함되어 있다. 이와 같은 특정 파형의 함수를 푸리에 변환(F(v))하게 되면, 실함수에 있어서 비대칭 함수는 헤르미트(Hermite) 성 함수가 되며, 이는 실부가 우함수이고 허부가 기함수인 함수를 의미한다. 또한 실함수의 우함수는 동일하게 실함수의 우함수로 표현된다. 한편 sin 성분 및 cos 성분은 실수 및 허수부를 갖는 함수가 될 수 있다. 기울기 성분은 복수가 될 수 있다.
이때, 푸리에 변환 함수(F(v))의 허부를 제거하여, sin 함수와 선형함수(ax)의 성분을 제거함으로써 노이즈를 제거할 수 있다. 즉, 흡수 신호의 비대칭에 따라서 발생한 허부 등은 푸리에 공간에서 주기적 진동성분에 기인하는 노이즈에 해당하며, 이를 제거함으로써 노이즈가 제거된 신호를 얻을 수 있는 것이다.
한편 상술한 제1 함수 및 제2 함수의 조합으로 도출하는 방식 역시 사용될 수 있다. 이는, 상술한 실시예에서는 허부의 발생에 의하여 데이터 처리 프로세스가 복잡해지므로, 우함수의 푸리에 변환이 유효하다.
원점을 중심으로 하여 신호함수인 f(x)에 대하여 양 방향(x>=0 또는 x<0)를 f1(x) 및 f2(x)로 구분할 수 있다. 이때 y축을 대칭축으로 하여 f1(x) 및 f2(x)의 경상을 위하여, g(x)는 f1(x)(x=<0) 및 f1(-x)(x>0)의 조합으로, h(x)는 f2(-x)(x=<0) 및 f2(x)(x>0)의 조합으로 표현될 수 있다. 이 경우 g(x) 및 h(x)는 우함수이다. 이에 따라서 제1 함수(g(x)) 및 제2 함수(h(x))로서 f(x)를 표현하게 되면, 원함수를 우함수들의 조합으로 재현할 수 있는 것이다. 이에 상술한 푸리에 변환 및 허부의 제거를 통해, 노이즈가 제거된 g'(x) 및 h'(x)를 재현한 후, 이를 합하여 노이즈가 제거된 원함수를 재현할 수 있다.
[제2 실시예]
제2 필터(14)의 제2 실시예에서는, 딥러닝 알고리즘을 통해서 노이즈를 제거하게 된다. 즉, 제2 실시예에 있어서 제2 필터(14)는 해당 데이터 처리 프로세스에 있어서, 타겟의 종류, 상기 광학 렌즈의 식별 정보, 상기 제1 필터를 구성하는 다수의 물리 필터의 식별 정보를 입력값으로 갖고, 각 파장 대역별 스펙트럼 이미지의 노이즈 값 및 유효 스펙트럼 이미지를 출력값으로 갖는 딥러닝 알고리즘을 포함하여 데이터의 처리에 따른 학습을 통해서 노이즈를 제거하는 알고리즘을 관리 및 적용하게 된다.
기본적으로 노이즈 성분은, 각 파장 대역의 영상을 촬영하기 위해서 빛이 통과되는 시간이 다름에 따라서 시간에 따른 밝기 변화, 전기적 간섭으로 인한 노이즈, 카메라의 컨버터의 Gain 값의 차이에 따른 노이즈의 영향을 받을 수 있다.
이때, 이에 대한 다수의 샘플 데이터를 이용하여, 상술한 통과된 빛과 노이즈, 유효 스펙트럼 이미지(노이즈가 제거된 이미지)를 학습에 사용함으로써, AI를 통해서 노이즈가 자동으로 제거되도록 구성할 수 있는 것이다.
한편, 제2 실시예에 있어서 상술한 시간에 따른 밝기 변화, 전기적 간섭으로 인한 노이즈, 배드 픽셀(Bad Pixel), 카메라의 ADC(Analog to Digital Convertor) 및 Gain 값의 차이에 따른 노이즈는 더욱 구체적으로, Wavelet thresholding 기법, MNF(Maximum Noise Fraction) 기법, Wiener filter 알고리즘, Gain 값을 조정 기법 및 선형보간법 알고리즘 등을 사용하여 제거될 수 있다.
즉, 상술한 기법을 이용하면서, 해당 결과를 빅데이터로서 활용하여 딥러닝에 적용함으로써, 매우 정확한 노이즈 제거가 가능한 필터를 구성할 수 있는 것이다.
[제3 실시예]
제3 실시예에 있어서 제2 필터(14)는, 예를 들어 각 파장 대역별 스펙트럼 이미지에서의 스펙트럼을 분석하여, 파장 크기가 비정상적 피크치인 것으로 판단되는 신호를 제거하여 노이즈 성분이 제거된 스펙트럼 이미지를 생성할 수 있다.
즉, 주요 노이즈는 정상적인 파장대역별 피크치의 형태가 아닌 곳에서 피크를 갖는 등의 신호로서 발생되는 형태로 표현될 수 있다. 본 발명의 제3 실시예에서는 상술한 방식을 적용하여, 파장대역 내의 영역별 크기가 비정상적 피크치인 것으로 판단되는 신호를 제거함으로써, 노이즈 성분을 제거한다.
구체적으로, 도 8에 도시된 바와 같이 제2 필터(14)는 각 파장 대역별 스펙트럼 이미지 내에서 스펙트럼 값의 크기가 가장 큰 피크 값들(P1, P2, P3, P4, P5) 중, 스펙트럼 이미지 내의 모든 스펙트럼(1010) 값의 평균치보다 기설정된 임계 비율을 초과하고, 특히 서로 인접된 스펙트럼 값들 사이의 변동값(dP/Df)보다 기설정된 임계 변동값(Dth)을 초과하는 변동값을 갖는 피크 값(P3, P4)을 노이즈 성분으로서 제거하여, 노이즈 성분이 제거된 스펙트럼 이미지를 생성할 수 있다.
즉 무조건 최대값을 제거하는 것이 아닌, 정상적인 크기 패턴을 갖는 픽셀들 이외에, 패턴에 부합되지 않는 피크치를 갖는 신호는, 노이즈로 인식하여 해당 스펙트럼 이미지에서 해당 피크치를 제거하는 것이다. 이에 대해서는 각 영역에서 파장에 따른 분석을 통하여 주파수 특성에 대한 분석을 통해서 비정상적 피크치를 검출 및 제거하는 것으로 이해될 수 있다.
이상의 제1 내지 제3 실시예의 경우에 있어서 각 실시예는 서로 독립적 또는 결합되어 실시될 수 있다.
즉, 제2 실시예에서의 초기 알고리즘을 설계하기 위해서 제1 및 제3 실시예의 기법이 독립적 또는 결합적으로 사용될 수 있고, 제1 내지 제3 실시예를 서로 다른 순서로 조합하여 데이터를 순차적으로 처리하도록 하여 노이즈를 더욱 완전하고 효과적으로 제거할 수 있도록 구현될 수 있는 것이다.
한편, 상술한 바와 같이 제2 필터(14)를 통과한 스펙트럼 이미지는, 이미지 센서(13)에 의하여, 파장 대역 별 스펙트럼 이미지를 합성한 결과 타겟에 대한 초분광 이미지로 생성될 수 있다.
이상과 같이 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능함을 이해할 수 있을 것이다. 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는 특별히 반대되는 기재가 없는 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 타겟을 스캔하고 측정하기 위하여 최전단에 배치되는 적어도 광학 렌즈를 포함하는 전단 광학부;
    상기 전단 광학부를 통해 측정된 입사광 중, 기설정된 목표 파장 대역의 빛을 통과시키기 위한 물리 필터인 제1 필터;
    상기 제1 필터를 통과한 빛의 스펙트럼 이미지를 분석하여 데이터화하는 이미지 센서; 및
    상기 스펙트럼 이미지 중 오류값 및 비정상적 피크값을 포함하는 노이즈 성분을 제거하는 소프트웨어 필터인 제2 필터;를 포함하는 것을 특징으로 하는 다단계 이종 필터 시스템을 이용한 소형 초분광 이미지 센서.
  2. 제1항에 있어서,
    상기 제1 필터는,
    입사광의 분석 대상 파장 대역 별로, 서로 다른 파장 대역의 빛을 통과시키는 다수의 물리 필터를 포함하는 것을 특징으로 하는 다단계 이종 필터 시스템을 이용한 소형 초분광 이미지 센서.
  3. 제2항에 있어서,
    상기 물리 필터는, 지정된 파장 대역의 빛을 통과시키는 전자식 국소대역 통과 필터인 것을 특징으로 하는 다단계 이종 필터 시스템을 이용한 소형 초분광 이미지 센서.
  4. 제1항에 있어서,
    상기 제2 필터는,
    상기 이미지 센서로부터 분석된 스펙트럼 이미지를 푸리에 변환하고, 푸리에 변환된 신호에 대해서 스펙트럼 공간에서 노이즈 성분을 신호로부터 제거하는데 있어서, 푸리에 변환된 함수의 허부를 제거한 뒤 푸리에 역변환을 수행하여 노이즈 성분이 제거된 스펙트럼 이미지를 생성하는 것을 특징으로 하는 다단계 이종 필터 시스템을 이용한 소형 초분광 이미지 센서.
  5. 제1항에 있어서,
    상기 제2 필터는,
    상기 이미지 센서로부터 분석된 스펙트럼 이미지에 대응되는 함수를 우함수인 제1 함수 및 제2 함수의 조합으로 도출하고, 도출된 제1 함수 및 제2 함수의 푸리에 변환으로부터 허부를 제거한 뒤 푸리에 역변환을 수행하여 노이즈 성분이 제거된 스펙트럼 이미지를 생성하는 것을 특징으로 하는 다단계 이종 필터 시스템을 이용한 소형 초분광 이미지 센서.
  6. 제1항에 있어서,
    상기 제2 필터는,
    타겟의 종류, 상기 광학 렌즈의 식별 정보, 상기 제1 필터를 구성하는 다수의 물리 필터의 식별 정보를 입력값으로 갖고, 각 파장 대역별 스펙트럼 이미지의 노이즈 값 및 유효 스펙트럼 이미지를 출력값으로 갖는 딥러닝 알고리즘을 포함하는 것을 특징으로 하는 다단계 이종 필터 시스템을 이용한 소형 초분광 이미지 센서.
  7. 제1항에 있어서,
    상기 제2 필터는,
    시간에 다른 밝기 변화, 전기적 간섭으로 인한 노이즈, 배드 픽셀(Bad Pixel) 및 카메라 ADC 및 Gain 값의 차이에 따른 노이즈를 제거하기 위하여, Wavelet thresholding 기법, MNF(Maximum Noise Fraction) 기법, Wiener filter 알고리즘, Gain 값을 조정 기법 및 선형보간법 알고리즘을 사용하는 것을 특징으로 하는 다단계 이종 필터 시스템을 이용한 소형 초분광 이미지 센서.
  8. 제1항에 있어서,
    상기 제2 필터는,
    각 파장 대역별 스펙트럼 이미지에서의 스펙트럼을 분석하여, 파장 크기가 비정상적 피크치인 것으로 판단되는 신호를 제거하여 노이즈 성분이 제거된 스펙트럼 이미지를 생성하는 것을 특징으로 하는 다단계 이종 필터 시스템을 이용한 소형 초분광 이미지 센서.
  9. 제8항에 있어서,
    상기 제2 필터는,
    각 파장 대역별 스펙트럼 이미지 내에서 스펙트럼 값의 크기가 가장 큰 피크 값들 중, 스펙트럼 이미지 내의 모든 스펙트럼 값의 평균치보다 기설정된 임계 비율을 초과하고, 서로 인접된 스펙트럼 값들 사이의 변동값보다 기설정된 임계 변동값을 초과하는 변동값을 갖는 피크 값을 노이즈 성분으로서 제거하여, 노이즈 성분이 제거된 스펙트럼 이미지를 생성하는 것을 특징으로 하는 다단계 이종 필터 시스템을 이용한 소형 초분광 이미지 센서.
  10. 제1항에 있어서,
    상기 이미지 센서는,
    상기 제2 필터를 통과한 파장 대역 별 스펙트럼 이미지를 합성하여 타겟에 대한 초분광 이미지를 생성하는 것을 특징으로 하는 다단계 이종 필터 시스템을 이용한 소형 초분광 이미지 센서.
KR1020210060876A 2021-05-11 2021-05-11 다단계 이종 필터 시스템을 이용한 소형 초분광 이미지 센서 Active KR102287082B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210060876A KR102287082B1 (ko) 2021-05-11 2021-05-11 다단계 이종 필터 시스템을 이용한 소형 초분광 이미지 센서

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210060876A KR102287082B1 (ko) 2021-05-11 2021-05-11 다단계 이종 필터 시스템을 이용한 소형 초분광 이미지 센서

Publications (1)

Publication Number Publication Date
KR102287082B1 true KR102287082B1 (ko) 2021-08-25

Family

ID=77495195

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210060876A Active KR102287082B1 (ko) 2021-05-11 2021-05-11 다단계 이종 필터 시스템을 이용한 소형 초분광 이미지 센서

Country Status (1)

Country Link
KR (1) KR102287082B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118603317A (zh) * 2024-06-18 2024-09-06 北京航空航天大学 一种基于双滤光片的单像素高光谱成像系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070045126A (ko) * 2005-10-26 2007-05-02 엔비디아 코포레이션 이미지 신호 처리 방법 및 장치
KR20130014025A (ko) * 2011-07-27 2013-02-06 엑시스 에이비 이미지에 대한 평균 신호대잡음비의 추정치를 제공하는 카메라 및 방법
JP2017201317A (ja) * 2011-11-04 2017-11-09 アイメックImec 各画素についてモザイク状フィルタを備えたスペクトルカメラ
JP2020048199A (ja) * 2014-11-19 2020-03-26 パナソニックIpマネジメント株式会社 撮像装置および分光システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070045126A (ko) * 2005-10-26 2007-05-02 엔비디아 코포레이션 이미지 신호 처리 방법 및 장치
KR20130014025A (ko) * 2011-07-27 2013-02-06 엑시스 에이비 이미지에 대한 평균 신호대잡음비의 추정치를 제공하는 카메라 및 방법
JP2017201317A (ja) * 2011-11-04 2017-11-09 アイメックImec 各画素についてモザイク状フィルタを備えたスペクトルカメラ
JP2020048199A (ja) * 2014-11-19 2020-03-26 パナソニックIpマネジメント株式会社 撮像装置および分光システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118603317A (zh) * 2024-06-18 2024-09-06 北京航空航天大学 一种基于双滤光片的单像素高光谱成像系统及方法

Similar Documents

Publication Publication Date Title
Koundinya et al. 2D-3D CNN based architectures for spectral reconstruction from RGB images
Geelen et al. A compact snapshot multispectral imager with a monolithically integrated per-pixel filter mosaic
Cao et al. A prism-mask system for multispectral video acquisition
US8149400B2 (en) Coded aperture snapshot spectral imager and method therefor
EP2776799B1 (en) Spectral camera with mirrors for projecting multiple adjacent image copies onto sensor array
JP5840834B2 (ja) 調節可能なマルチモードの光照射野撮像システム
US10072970B1 (en) Hyperspectral notch filter imaging
CA2903957C (en) Imaging unit
TWI579540B (zh) 多點光譜系統
US11249289B2 (en) Spectral imager and spectral imaging method
CN110793632B (zh) 一种用于火焰拍摄的高速高精度光谱视频系统及方法
Takatani et al. One-shot hyperspectral imaging using faced reflectors
Rosenberger et al. Smart multispectral imager for industrial applications
US11092489B2 (en) Wide-angle computational imaging spectroscopy method and apparatus
US11622084B2 (en) Hyperspectral camera based on continuously variable film filter and coating method thereof
KR102287082B1 (ko) 다단계 이종 필터 시스템을 이용한 소형 초분광 이미지 센서
El Helou et al. Correlation-based deblurring leveraging multispectral chromatic aberration in color and near-infrared joint acquisition
NL2015804B1 (en) Hyperspectral 2D imaging device.
JP2018513964A (ja) スナップショット型偏光ハイパースペクトルカメラ及び結像方法
CN112105898B (zh) 分光测量装置和分光测量方法
Zhu et al. Spectrum reconstruction of multispectral light field imager based on adaptive sparse representation
US20140242743A1 (en) Sensor integrated slit for pushbroom hyperspectral system
US20200319027A1 (en) Spectral Imager System Using a Two Dimensional Filter Array
Jia et al. Single-shot Fourier transform multispectroscopy
Mukhtar et al. Advances in Spectral Imaging: A Review of Techniques and Technologies

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20210511

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20210511

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210730

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210802

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210802

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240701

Start annual number: 4

End annual number: 4