KR20210070801A

KR20210070801A - 초분광 카메라 모듈을 포함하는 듀얼 카메라 모듈과 이를 포함하는 장치와 그 동작방법

Info

Publication number: KR20210070801A
Application number: KR1020190160962A
Authority: KR
Inventors: 윤영준; 김효철
Original assignee: 삼성전자주식회사
Priority date: 2019-12-05
Filing date: 2019-12-05
Publication date: 2021-06-15
Anticipated expiration: 2039-12-05
Also published as: US20220232175A1; US11678034B2; US11323637B2; KR102813372B1; US20210176412A1; US11689786B2; US20220264032A1

Abstract

초분광 카메라 모듈을 포함하는 듀얼 카메라 모듈과 이를 포함하는 장치와 그 동작방법에 관해 개시되어 있다. 개시된 듀얼 카메라 모듈은 피사체에 대한 초분광 이미지를 제공하기 위한 부재들을 포함하는 초분광 카메라 모듈과, 상기 초분광 이미지의 보정에 적용되는 RGB 보정값을 산출하기 위한, 상기 피사체에 대한 RGB 이미지를 제공하기 위한 부재들을 포함하는 RGB 카메라 모듈을 포함하여 최종 이미지로 상기 피사체에 대한 초분광 이미지를 제공한다. 이러한 듀얼 카메라 모듈을 포함하는 장치는 모바일 폰과 같은 전자장치 또는 거울형 디스플레이 장치를 포함할 수 있다. 상기 듀얼 카메라 모듈을 포함하는 장치의 동작방법은 제1 이미지를 획득하는 과정과, 상기 제1 이미지보다 많은 분광정보를 포함하는 제2 이미지를 획득하는 과정과, 상기 제1 이미지의 분광정보를 이용하여 상기 제2 이미지의 해상도를 향상시키는 과정을 포함한다.

Description

초분광 카메라 모듈을 포함하는 듀얼 카메라 모듈과 이를 포함하는 장치와 그 동작방법{Dual camera module including hyperspectral camera module, apparatuses including dual camera module and method of operating the same}

본 개시는 카메라 모듈과 그 응용에 관한 것으로써, 보다 자세하게는 초분광 카메라 모듈을 포함하는 듀얼 카메라 모듈과 이를 포함하는 장치와 이 장치의 동작방법에 대한 것이다.

초분광 이미지는 스캐닝 방식이나 스냅샷 방식으로 측정할 수 있다. 스캐닝 방식은 분광용 이미지 센서에 스캐닝 장비를 결합하여 구현하고, 슬릿 형태의 스펙트럼이나 전면필터를 교환하는 방식으로 이미지와 스펙트럼을 동시에 획득할 수 있다. 비스캐닝 방식인 스냅샷 방식은 이미지 화소 위에 직접 각기 다른 필터를 구현하여 측정하는 방식이다.

초분광 이미지의 해상도를 높일 수 있는 듀얼 카메라 모듈을 제공한다.

3차원 피사체의 형태를 보다 정확하게 인식할 수 있는 초분광 카메라 모듈을 포함하는 듀얼 카메라 모듈을 제공한다.

카메라 간 거리 차이에 따른 오차를 보정할 수 있는 초분광 카메라 모듈을 포함하는 듀얼 카메라 모듈을 제공한다.

초분광 이미지의 해상도를 높일 수 있는 초분광 카메라 모듈을 제공한다.

초분광 이미지의 해상도를 높일 수 있는 카메라 모듈을 포함하는 장치들을 제공한다.

이러한 장치의 동작방법을 제공한다.

일 실시예에 의한 듀얼 카메라 모듈은 피사체에 대한 초분광 이미지를 제공하는 초분광 카메라 모듈과, 상기 초분광 이미지의 보정에 적용되는 RGB 보정값을 산출하기 위해 상기 피사체에 대한 이미지를 제공하는 RGB 카메라 모듈을 포함하여 상기 초분광 이미지의 보정된 이미지를 제공한다.

상기 RGB 카메라 모듈에 의해 제공되는 상기 피사체에 대한 이미지는 적색, 녹색 및 청색광을 주요 광으로 사용하여 획득되는 RGB 이미지일 수 있다. 다른 예에서, 상기 피사체에 대한 이미지는 적색, 녹색 및 청색광과 함께 적외선(IR)을 주요 광으로 사용하여 획득되는 이미지일 수 있다. 또 다른 예에서, 상기 RGB 카메라 모듈에 의해 제공되는 상기 피사체에 대한 이미지는 주요 광으로 자외선(UV)을 함께 사용하여 획득되는 이미지일 수 있다.

상기 RGB 카메라 모듈은 제1 렌즈 및 광 가이드 모듈과, 상기 피사체에 대한 이미지를 센싱하는 제1 이미지 센서를 포함할 수 있다.

상기 제1 이미지 센서는 복수의 화소를 포함하고, 각 화소는 4개 또는 6개의 부화소(sub-pixel)를 포함할 수 있다. 일 예에서, 상기 4개의 부화소는 서로 다를 수 있다. 상기 6개의 부화소 중 5개의 부화소는 서로 다를 수 있다.

상기 제2 이미지는 스펙트럼 정보를 포함하는 초분광 이미지일 수 있다.

상기 제2 카메라 모듈은 제2 렌즈 및 광 가이드 모듈과, 초분광 이미지를 발생시키는 초분광 필터와 상기 초분광 이미지를 센싱하는 제2 이미지 센서를 포함할 수 있다.

상기 제2 렌즈 및 광 가이드 모듈과 상기 초분광 필터 사이에 배치된 저역필터를 더 포함할 수 있다.

일 실시예에 의한 듀얼 카메라 모듈을 포함하는 전자장치는 구동 제어 회로부와, 피사체에 대한 이미지가 표시되는 표시영역과, 배터리와, 상기 구동 제어 회로부에 의해 동작이 제어되고, 상기 배터리의 전력을 이용하는 듀얼 카메라 모듈을 포함하고, 상기 듀얼 카메라 모듈은 상기 일 실시예에 의한 듀얼 카메라 모듈을 포함한다.

일 예에서, 상기 전자장치는 상기 피사체를 비추기 위한 광원을 더 포함할 수 있다.

일 실시예에 의한 듀얼 카메라 모듈을 포함하는 거울형 디스플레이 장치는 구동 제어 회로부와, 거울형 표시영역과, 상기 표시영역 둘레에 구비된 광원과, 피사체에 대한 제1 이미지를 제공하는 제1 카메라 모듈과, 상기 피사체에 대한 제2 이미지를 제공하는 제2 카메라 모듈을 포함하고, 상기 제1 이미지와 상기 제2 이미지는 분광특성이 서로 다르다.

상기 제1 및 제2 카메라 모듈 중 하나는 초분광 카메라 모듈을 포함할 수 있다.

일 실시예에 의한 초분광 카메라 모듈을 포함하는 듀얼 카메라 모듈을 포함하는 장치의 동작방법은 제1 카메라 모듈을 이용하여 제1 이미지를 획득하는 과정과, 구성 및 용도가 상기 제1 카메라 모듈과 다른 제2 카메라 모듈을 사용하여 상기 제1 이미지보다 많은 분광정보를 포함하는 제2 이미지를 획득하는 과정과, 상기 제1 이미지의 분광정보를 이용하여 상기 제2 이미지의 해상도를 향상시키는 과정을 포함한다.

상기 제1 이미지는 상기 제2 이미지보다 높은 해상도는 갖는 RGB 이미지일 수 있다. 상기 제2 이미지는 스펙트럼 정보를 포함하는 초분광 이미지일 수 있다.

일 예에서, 상기 제2 이미지의 해상도를 향상시키는 과정은, 상기 제1 이미지의 분광정보의 제1 평균값과 편차를 구하는 과정과, 상기 제2 이미지의 분광정보의 제2 평균값을 구하는 과정과, 상기 제2 평균값에 상기 편차를 더하는 과정을 포함할 수 있다.

상기 제1 평균값과 편차를 구하는 과정은 상기 제1 이미지가 센싱되는 제1 이미지 센서에 포함된 복수의 화소에 대한 RGB 평균값을 구하는 과정과 상기 RGB 평균값과 각 화소의 RGB 값 사이의 편차를 구하는 과정을 포함할 수 있다.

상기 제2 평균값을 구하는 과정은 상기 제2 이미지가 센싱되는 제2 이미지 센서의 단위화소에 포함된 복수의 채널을 복수의 분광화소로 구분하는 과정과, 상기 복수의 분광화소에 대한 RGB 평균값을 구하는 과정을 포함하고, 상기 복수의 분광화소의 수는 상기 복수의 채널의 수보다 작고, 상기 복수의 분광화소의 수는 상기 제1 이미지 센서에 포함된 상기 복수의 화소의 각 화소에 포함된 부화소의 수(N)에 따라 달라질 수 있다. 상기 부화소의 수는 4개 또는 6개일 수 있다.

일 실시예에 의한 초분광 카메라 모듈은 피사체에 대한 제1 이미지를 제공하는 제1 카메라 모듈과, 상기 제1 이미지와 다른, 상기 피사체에 대한 제2 이미지를 제공하는 제2 카메라 모듈을 포함하여 보정된 초분광 이미지를 제공한다. 상기 제1 이미지는 RGB 이미지를 포함할 수 있다. 다른 예에서, 상기 제1 이미지는 주요 광으로 적색광, 녹색광, 청색광 및 적외선을 사용하여 획득한 이미지, 주요 광으로 적색광, 녹색광, 청색광 및 자외선을 사용하여 획득한 이미지 및 주요 광으로 적색광, 녹색광, 청색광, 적외선 및 자외선을 사용하여 획득한 이미지 중 어느 하나를 포함할 수 있다. 상기 제1 이미지는 상기 초분광 이미지를 얻는데 적용된 RGB 보정값을 얻기 위한 이미지를 포함할 수 있다. 상기 제2 이미지는 상기 보정된 초분광 이미지의 보정전 초분광 이미지를 포함할 수 있다.

개시된 듀얼 카메라 모듈은 RGB 카메라 모듈과 초분광 카메라 모듈을 포함하는 바, RGB 카메라 모듈로부터 얻어지는 분광정보를 초분광 카메라 모듈에 적용함으로써, 초분광 카메라로 얻어지는 초분광 이미지의 해상도를 향상시킬 수 있다.

이에 따른 결과로, 개시된 듀얼 카메라 모듈을 이용할 경우, 정확한 스펙트럼 정보와 함께 해상도가 개선된 초분광 이미지를 제공할 수 있는 바, 보안분야에서 보다 정확한 안면인식이 이루어질 수 있다. 또한, 서로 다른 두 카메라로부터 얻어지는 이미지 정보를 이용하여 두 카메라의 거리차이에 따른 오차를 보정할 수도 있다. 또한, 조명 불균일이나 두 카메라의 시각차 및/또는 3차원 피사체의 표면 굴곡 등에 따른 불균일 등으로 인해 나타나는 이미지의 불균일성도 보정할 수 있다.

도 1은 일 실시예에 의한 초분광 카메라 모듈을 포함하는 듀얼 카메라 모듈을 나타낸 블록 단면도이다.
도 2는 다른 실시예에 의한 초분광 카메라 모듈을 포함하는 듀얼 카메라 모듈을 나타낸 블록 단면도이다.
도 3은 도 1 및 도 2의 초분광 카메라 모듈의 렌즈 및 광 가이드 모듈의 일 예를 나타낸 단면도이다.
도 4는 도 1 및 도 2의 RGB 카메라 모듈의 이미지 센서의 화소 분포를 나타낸 평면도이다.
도 5는 도 3의 초분광 필터(370)에 대한 일 예를 나타낸 평면도이다.
도 6은 도 5의 초분광 필터의 단위화소에 포함된 채널들과 가상의 분광화소들의 대응관계를 나타낸 평면도이다.
도 7은 도 4의 RGB 카메라 모듈의 제1 내지 제4 화소(P1-P4)에 대한 RGB 분광 특성의 일 예를 나타낸 그래프이다.
도 8은 도 5의 초분광 필터의 단위화소에 포함된 채널들을 통해 얻어진 스펙트럼의 예를 나타낸 그래프이다.
도 9는 도 6의 초분광 필터의 단위화소에 대응하는 4개의 가상 분광화소의 R, G 및 B의 편차 범위와 도 7의 RGB 분광특성을 나타내는 RGB 카메라 모듈의 4개 화소에 대한 RGB 평균값과 편차를 나타낸 그래프이다.
도 10은 도 1 및 도 2의 RGB 카메라 모듈의 화소가 서로 다른 4개의 부화소(R, G, B, IR)로 구성된 경우를 나타낸 평면도이다.
도 11은 도 1 및 도 2의 RGB 카메라 모듈의 화소가 서로 다른 4개의 부화소(R, G, B, UV)로 구성된 경우를 나타낸 평면도이다.
도 12는 도 1 및 도 2의 RGB 카메라 모듈의 화소가 4개의 부화소(UV, R, G1, IR, G2, B)로 구성된 경우를 나타낸 평면도이다.
도 13은 도 3의 초분광 필터의 단위화소에 대한 일 예로 N개 채널을 포함하는 단위화소와 RGB 카메라의 단위화소가 4개의 부화소로 이루어진 경우, 상기 N개 채널에 대응되는 가상의 복수의 분광화소를 나타낸 평면도이다.
도 14는 도 3의 초분광 필터의 단위화소에 대한 일 예로 N개 채널을 포함하는 단위화소와 RGB 카메라의 단위화소가 6개의 부화소로 이루어진 경우, 상기 N개 채널에 대응되는 가상의 복수의 분광화소를 나타낸 평면도이다.
도 15는 도 5의 초분광 필터의 단위화소(510)에 대한 사시도이다.
도 16은 도 15의 단위화소의 제1 채널을 나타낸 단면도이다.
도 17은 도 1 또는 도 2의 듀얼 카메라 모듈의 초분광 카메라 모듈을 이용하여 얻은 손에 대한 초분광 사진이다.
도 18은 도 17의 초분광 사진으로부터 획득한 것으로, 헤모글로빈과 멜라닌에 기인한 손의 광 흡수 스펙트럼을 기준 스펙트럼과 겹쳐 나타낸 그래프이다.
도 19는 도 1 또는 도 2의 RGB 카메라 모듈로 촬영한 손에 대한 사진이다.
도 20은 도 1 또는 도 2의 초분광 카메라 모듈로 촬영된 것으로, 헤모글로빈에 기인한 손의 분광특성(광 흡수특성)을 나타낸 초분광 사진이다.
도 21은 도 20의 초분광 이미지의 크기를 도 19의 RGB 이미지 수준으로 단순히 확대한 사진이다.
도 22는 도 1 또는 도 2의 RGB 카메라 모듈로 촬영한 이미지의 분광특성으로부터 획득한 정보를 도 21의 초분광 이미지에 적용한 결과 얻어진 보정된 초분광 이미지를 나타낸다.
도 23은 초분광 필터의 단위화소에 대응되는 분광화소들 각각에 대한 RGB 보정을 나타낸 평면도이다.
도 24는 일 실시예에 의한 듀얼 카메라 모듈이 장착된 장치로 피사체를 촬영하는 경우를 보여주는 평면도이다.
도 25는 도 24의 장치를 이용한 피사체 촬영에서 조명의 불균일성의 영향을 나타낸 피사체 이미지(a)와 조명의 불균일성이 보정되었을 때의 피사체 이미지(b)를 나타낸다.
도 26은 일 실시예에 의한 듀얼 카메라 모듈을 포함하는 전자장치의 하나로 모바일 폰을 나타낸 사시도이다.
도 27은 일 실시예에 의한 듀얼 카메라 모듈이 장착된 거울형 디스플레이 장치의 측면도이다.
도 28은 일 실시예에 의한 듀얼 카메라 모듈이 장착된 거울형 디스플레이 장치의 정면도이다.
도 29는 일 실시예에 의한 듀얼 카메라 모듈이 장착된 전자장치의 동작방법을 나타낸 순서도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭하며, 도면에서 각 구성요소의 크기나 두께는 설명의 명료성을 위하여 과장되어 있을 수 있다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략될 수 있다.

이하, 일 실시예에 의한 초분광 카메라 모듈을 포함하는 듀얼(dual) 카메라 모듈과 이를 포함하는 장치들과 이 장치의 동작방법을 첨부된 도면들을 참조하여 상세하게 설명한다. 이하에서 설명되는 듀얼 카메라 모듈은 결과적으로 초분광 이미지를 제공하는 것이므로, 초분광 카메라 모듈이라 할 수도 있다. 하기 설명 과정에서 도면에 도시된 층이나 영역들의 두께는 명세서의 명확성을 위해 다소 과장되게 도시될 수 있다. 그리고 이하에 설명되는 실시예는 단지 예시적인 것에 불과하며, 이러한 실시예들로부터 다양한 변형이 가능하다. 또한, 이하에서 설명하는 층 구조에서, "상부" 나 "상"이라고 기재된 표현은 접촉하여 바로 위에 있는 것뿐만 아니라 비접촉으로 위에 있는 것도 포함할 수 있다.

도 1은 일 실시예에 의한 초분광 카메라 모듈을 포함하는 듀얼 카메라 모듈을 나타낸 블록 단면도이다.

도 1을 참조하면, 초분광 카메라를 포함하는 듀얼 카메라 모듈(100)은 서로 다른 2종류의 카메라 모듈(110, 120)과 제1 광원(130)을 포함한다. 2종류의 카메라 모듈(110, 120)은 구성과 용도가 서로 다를 수 있다. 제1 카메라 모듈(110)은 주요 광으로 적색(R), 녹색(G) 및 청색(B)광을 사용하여 피사체(150)에 대한 제1 이미지, 곧 RGB 이미지를 획득하기 위한 가시광 카메라 모듈일 수 있다. 따라서 제1 카메라 모듈(110)은 RGB 카메라 모듈이라 할 수도 있다. 제1 카메라 모듈(110)은 초분광 카메라가 아닌 통상적인 일반 카메라 모듈일 수 있다. 일 예로, 제1 카메라 모듈(110)은 모바일 폰과 같은 소형의 모바일 기기에 장착되어 R, G 및 B를 주요 광으로 사용하여 피사체(150)에 대한 이미지를 찍거나 촬영하는 카메라 모듈일 수 있다. 제1 카메라 모듈(110)은 제1 광원(130)에서 피사체(150)로 방출된 광(L1) 중에서 피사체(150)로부터 반사된 광(L2)을 수광하여 제1 이미지 센서(110B)에 이르게 하는 제1 렌즈 및 광 가이드 모듈(110A)과 제1 이미지 센서(110B)를 포함할 수 있다. 제1 렌즈 및 광 가이드 모듈(110A)은 제1 이미지 센서(110B)의 광(L2)이 입사되는 면 앞에 배치될 수 있다. 피사체(150)로부터 반사된 광(L2)은 제1 렌즈 및 광 가이드 모듈(110A)을 통과해서 제1 이미지 센서(110B)에 입사된다. 제1 렌즈 및 광 가이드 모듈(110A)은 피사체(150)와 제1 이미지 센서(110B) 사이에 위치한다. 제1 렌즈 및 광 가이드 모듈(110A)은 광축 상에 단일 렌즈 또는 2개 이상의 렌즈를 포함할 수 있다. 제1 렌즈 및 광 가이드 모듈(110A)로부터 전달되는 상기 제1 이미지를 센싱하도록 마련된 제1 이미지 센서(110B)는, 예를 들면 CMOS 이미지 센서일 수 있으나, 이것으로 한정되지 않는다. 제1 광원(130)은 제1 카메라 모듈(110)을 이용하여 피사체(150)의 이미지를 촬영하기에는 조도가 낮은 환경에서 피사체(150)의 이미지를 촬영하기에 충분한 광량 혹은 촬영에 필요한 최소 광량을 제공하는 광원일 수 있다. 외부광만으로 피사체(150)의 이미지를 촬영하기에 충분히 조도가 제공된다면, 제1 광원(130)은 사용되지 않을 수 있다. 일 예에서, 제1 광원(130)은 옵션 부재로써 듀얼 카메라 모듈(100)에 포함되거나 포함되지 않을 수 있다. 제1 광원(130)은 듀얼 카메라 모듈(100)의 사용과 무관하게 듀얼 카메라 모듈(100)이 장착되는 장치의 전원과 연결되어 통상의 조명수단으로 사용될 수도 있다. 제1 카메라 모듈(110)과 옆으로 나란히 배치된 제2 카메라 모듈(120)은 제1 카메라 모듈(110)의 용도와 다른 용도를 갖는 카메라 모듈일 수 있다. 예컨대, 제2 카메라 모듈(120)은 피사체(150)에 대한 초분광 이미지를 제공하는 초분광 카메라 모듈일 수 있다. 제2 카메라 모듈(120)은 제2 렌즈 및 광 가이드 모듈(120A)과 제2 이미지 센서(120B)를 포함할 수 있다. 제2 카메라 모듈(120)의 용도나 제1 카메라 모듈(110)과 전혀 다르므로, 제2 렌즈 및 광 가이드 모듈(120A)의 구성은 제1 렌즈 및 광 가이드 모듈(110A)과 다를 수 있다. 피사체(150)는 사람이나 사물일 수 있다. 사람인 경우, 손이나 얼굴 혹은 특정 부분의 피부가 될 수 있다.

제2 이미지 센서(120B)에는 피사체(150)의 초분광 이미지가 기록될 수 있다. 초분광 이미지는 피사체(150)에 대한 이미지 정보와 함께 분광정보(스펙트럼)를 함께 포함할 수 있다. 제2 이미지 센서(120B)는 CMOS 이미지 센서일 수 있다.

도 1의 듀얼 카메라 모듈(100)을 이용하면, 제1 카메라 모듈(110)을 통해 피사체(150)의 RGB 이미지를 얻을 수 있고, 동시에 제2 카메라 모듈(120)을 통해 피사체(150)에 대한 초분광 이미지를 얻을 수 있다. 제1 카메라 모듈(110)을 통해 얻어지는 RGB 이미지의 분광정보를 이용하여 제2 카메라 모듈(120)을 통해 얻어지는 초분광 이미지의 해상도를 향상시킬 수 있는데, 이에 대해서는 후술된다. 제1 및 제2 카메라 모듈(110, 120)은 실시간으로 동작될 수 있다. 그러므로 통신모듈과 디스플레이 모듈을 포함하는 장치(예, 의료용 디스플레이 장치나 모바일 폰 등)에 듀얼 카메라 모듈(100)이 장착될 경우, 피사체(150)에 대한 RGB 이미지와 초분광 이미지를 실시간으로 관측할 수 있고, 상기 초분광 이미지에 대한 보정도 실시간으로 이루어질 수 있다. 달리 말하면, 상기 초분광 이미지의 해상도 향상을 실시간으로 관측할 수도 있다.

도 2는 다른 실시예에 의한, 초분광 카메라를 포함하는 듀얼 카메라 모듈(200)을 보여준다. 도 1의 듀얼 카메라 모듈(100)과 다른 부분에 대해서만 설명한다.

도 2를 참조하면, 제1 광원(130)은 제1 카메라 모듈(110)과 제2 카메라 모듈(120) 사이에 배치되어 있다.

도 3은 도 1 또는 도 2의 초분광 카메라(120)의 제2 렌즈 및 광 가이드 모듈(120A)에 대한 구성의 일 예를 보여준다.

도 3을 참조하면, 제2 렌즈 및 광 가이드 모듈(120A)은 제2 이미지 센서(120B) 상에 순차적으로 적층된 초분광 필터(370), 저역필터(low pass filter)(360) 및 렌즈계(350)를 포함할 수 있으며, 이외에 다른 광학 부재를 더 포함할 수도 있다. 초분광 필터(370)는 초분광을 위한 복수의 화소를 포함하고, 각 화소는 복수의 채널들을 포함할 수 있다. 저역필터(360)는 특정파장보다 짧은 파장을 통과시키는 것으로, 상기 특정파장보다 긴 파장은 차단한다. 저역필터(360)는 예를 들면, NIR(Near Infrared)을 차단하는 필터일 수 있다. 피사체(150)로부터 입사되는 광(3L3)이 초분광 필터(370)를 거치면서 제2 이미지 센서(120B)에 피사체(150)의 초분광 이미지가 기록된다. 렌즈계(350)는 피사체(150)로부터 입사되는 광(3L3)을 모아준다. 렌즈계(350)는 단일 렌즈 혹은 복수의 렌즈를 포함하여 구성될 수 있다.

도 4는 도 1 또는 도 2에 도시한 RGB 카메라(110)의 이미지 센서(110B)에 대한 일 예를 보여준다. 이미지 센서(110B)는 복수의 화소(예, P1-P4)를 포함한다. 도 5는 도 3의 초분광 필터(370)에 대한 일 예를 보여준다. 초분광 필터(370)는 복수의 화소(510, 520, 530, 540)를 포함한다.

도 4와 도 5를 참조하면, RGB 카메라(110B)의 4개 화소(P1-P4)는 초분광 카메라(120B)의 1개 화소(510)에 대응될 수 있는데, 이는 여러 예 중 하나이다. 초분광 카메라(120B)의 1개 화소는 RGB 카메라(110B)의 복수의 화소에 대응될 수 있는데, 일 예로 상기한 바와 같이 RGB 카메라(110)의 4개의 화소(P1-P4)가 초분광 카메라(120)의 1개 화소(510)에 대응될 수 있다. 다른 예에서, RGB 카메라(110)의 3개, 6개, 8개 또는 10개 화소가 초분광 카메라(120)의 1개 화소에 대응될 수 있다. 초분광 카메라(120)의 초분광 필터(370)의 1개 화소(510)는 복수의 채널(1~16)을 포함하는데, 이는 일 예에 불과하다. 초분광 필터(370)에 포함된 복수의 화소(510, 520, 530, 540) 각각은 10개 이상의 채널을 포함할 수 있으며, 예컨대 수십 개 내지 수백 개 이상의 채널을 포함할 수 있다. 초분광 필터의 1개 화소(510)에 포함된 복수의 채널들을 통과할 수 있는 광은 서로 다를 수 있다. 곧, 각 채널은 특정 파장의 광(혹은 특정파장 대역의 광)에 대해서만 상대적으로 큰 투과율을 나타내는 바, 각 채널을 통과할 수 있는 광은 특정될 수 있고, 각 채널을 통과할 수 있는 광은 채널 별로 서로 다를 수 있다. 결과적으로, 초분광 필터(370)의 1개 화소(510)는 입사광을 채널 수만큼 서로 다른 파장의 광으로 나눌 수 있다. 달리 말하면, 초분광 필터의 1개 화소(510)에 입사되는 광은 화소의 채널 수만큼 분광될 수 있다.

RGB 카메라(110)의 이미지 센서(110B)에 포함된 각 화소(예, P1)는 4개의 서브 화소(각 1개의 R, B와 2개의 G)를 포함하지만, 4개의 서브 화소 중 3개 서브 화소가 각각 서로 다른 특정 파장의 광만 투과시킨다는 점에서 RGB 카메라의 각 화소는 3개의 채널을 포함한다고 말할 수 있다. 달리 말하면, RGB 카메라의 각 화소에 입사되는 광은 서로 다른 파장의 3개 광으로 분할된다. 이러한 점에서 RGB 카메라의 각 화소는 3개의 분광 채널을 포함한다고 말할 수 있다. 후술되는 바와 같이, RGB 카메라(110)의 각 화소는 6개의 부화소를 포함할 수도 있는데, 이 경우, 각 화소는 6개의 분광채널을 포함하게 된다.

설명의 편의를 위해, RGB 카메라(110)의 이미지 센서(110B)의 4개 화소(P1-P4)는 초분광 카메라(120)의 초분광 필터(370)의 1개 화소(510)에 대응되고, 초분광 필터(370)의 1개 화소(510)는 16개 채널(1~16)을 포함하는 것으로 간주한다 16개의 채널(1~16) 하나하나는 RGB 카메라(110)의 이미지 센서(110B)의 단위 화소(예, P1)를 이루는 부화소와 같은 부화소로 볼 수도 있다. RGB 카메라(110)의 이미지 센서(110B)의 제1 내지 제4 화소(P1-P4)의 면적은 초분광 필터(370)의 1개 화소(510)의 면적에 대응될 수 있다. 이러한 대응관계에 따라 도 6에 도시한 바와 같이 초분광 필터(370)의 1개 화소(510)는 가상의 4개 분광화소(SP1~SP4)로 구분할 수 있다. 달리 표현하면, 초분광 필터(370)의 1개 화소(510)는 제1 내지 제4 분광화소(SP1~SP4)를 포함하는 것으로 간주할 수 있다. 제1 내지 제4 분광화소(SP1-SP4)는 RGB 카메라(110)의 제1 내지 제4 화소(P1-P4)에 대응될 수 있다. 이에 따라, RGB 카메라(110)의 제1 화소(P1)는 제1 분광화소(SP1)에, 곧 초분광 필터(370)의 1개 화소(510)의 제1, 제2, 제5 및 제6 채널(1, 2, 5, 6)에 대응될 수 있다. RGB 카메라(110)의 이미지 센서(110B)의 제2 화소(P2)는 제2 분광화소(SP2)에, 곧 초분광 필터(370)의 1개 화소(510)의 제3, 제4, 제7 및 제8 채널(3, 4, 7, 8)에 대응될 수 있다. RGB 카메라(110)의 이미지 센서(100B)의 제3 화소(P3)는 제3 분광화소(SP3)에, 곧 초분광 필터(370)의 1개 화소(510)의 제9, 제10, 제 13 및 제14 채널(9, 10, 13, 14)에 대응될 수 있다. RGB 카메라(110)의 이미지 센서(110B)의 제4 화소(P4)는 제4 분광화소(SP4)에, 곧 초분광 필터(370)의 1개 화소(510)의 제11, 제12, 제15 및 제16 채널(11, 12, 15, 16)에 대응될 수 있다. 이러한 대응관계는 초분광 필터(370)의 1개 화소(510)의 채널들(1~16)에 부여된 번호에 따라 달라질 수 있다. 이러한 대응관계는 RGB 카메라(110)의 전체 화소와 초분광 카메라(120)의 초분광 필터(370)에 포함된 전체 화소들로 확대될 수 있다.

이와 같이 RGB 카메라(110)의 제1 내지 제4 화소(P1-P4)와 초분광 필터(370)의 제1 내지 제4 분광화소(SP1-SP4)는 위치나 면적으로 서로 대응될 수 있고, 초분광 필터(370)에 미치지는 못하지만, RGB 카메라(110)의 제1 내지 제4 화소(P1-P4) 역시 좁은 의미로 분광특성을 갖는 것으로 볼 수 있는 바, RGB 카메라(110)의 제1 내지 제4 화소(P1-P4)를 통해 획득되는 이미지의 분광특성으로부터 얻어지는 정보를 초분광 카메라(120)를 통해 얻어지는 초분광 이미지의 해상도를 개선하는데 이용될 수도 있다. 이에 대해서는 후술된다.

도 7은 RGB 카메라(110)의 제1 내지 제4 화소(P1-P4)의 R, G 및 B의 세기 분포에 대한 일 예를 보여준다.

도 7을 참조하면, 제1 내지 제4 화소(P1-P4) 각각의 R, G, B 세기 분포는 서로 다르다. 이러한 세기 분포에 기반하여 제1 내지 제4 화소(P1-P4) 전체에 대한 R, G, B 평균값(이하, 제1 평균값)을 구할 수 있고, 상기 제1 평균값과 제1 내지 제4 화소(P1-P4) 각각의 R, G, B 사이의 차이, 곧 편차를 구할 수 있다. 상기 제1 평균값과 제1 화소(P1)의 R, G, B 사이의 제1 편차(Δ1)를 구할 수 있고, 제2 화소(P2)의 R, G, B와 상기 제1 평균값 사이의 제2 편차(Δ2)를 구할 수 있다. 또한, 상기 제1 평균값과 제3 화소(P3)의 R, G, B 사이의 제3 편차(Δ3)를 구할 수 있고, 상기 제1 평균값과 제4 화소(P4)의 R, G, B 사이의 제4 편차(Δ4)를 구할 수 있다. 후술된 바와 같이, 제1 내지 제4 편차(Δ1, Δ2, Δ3, Δ4)는 초분광 이미지의 보정에 사용될 수 있다.

도 8은 도 7의 R, G, B 분포를 갖는 이미지에 대한 초분광 스펙트럼의 일 예를 나타낸다. 도 8을 참조하면, 초분광 스펙트럼은 가시광 대역 전체에 걸침을 알 수 있다.

도 8의 초분광 스펙트럼에 기반한 초분광 이미지는 제1 내지 제4 가상 분광화소(SP1-SP4)를 통해 얻어질 수 있다. 도 9는 상기 초분광 이미지를 얻을 때, 제1 내지 제4 분광화소(SP1-SP4)에 대한 R, G, B 값의 편차를 보여준다.

상기 얻어진 초분광 이미지를 통해 제1 내지 제4 분광화소(SP1-SP4) 각각에서의 R, G, B값을 구할 수 있다. 따라서 제1 내지 제4 분광화소(SP1-SP4) 전체에 대한 R, G, B 평균값(제2 평균값)을 구할 수 있다. 상기 제2 평균값은 결국 초분광 필터의 제1 화소에 대한 R, G, B 평균값이 될 수 있다. 상기 제2 평균값은 R평균값, G 평균값 및 B 평균값을 포함할 수 있다.

도 9에서 청색광(B) 변동을 나타내는 제1 구간(9L1)은 상기 B 평균값을 중심으로 제1 내지 제4 분광화소(SP1-SP4)의 B값의 변동폭, 곧 B값 편차범위를 나타낸다. 녹색광(G)의 변동을 나타내는 제2 구간(9L2)은 상기 G 평균값을 중심으로 제1 내지 제4 분광화소(SP1-SP4)의 G값의 변동폭, 곧 G 값 편차범위를 나타낸다. 제3 구간(9L3)은 상기 B 평균값을 중심으로 제1 내지 제4 분광화소(SP1-SP4)의 R값의 변동폭, 곧 R값 편차범위를 나타낸다. 도 9에서 참조번호 9L4는 상기 제1 평균값을 나타낸다.

제1 내지 제4 분광화소(SP1-SP4)를 통해 얻어지는 이미지의 보정, 곧 도 8의 초분광 스펙트럼에 기반하여 얻어진 초분광 이미지의 보정은 다음과 같이 이루어질 수 있다.

일 예로, 상기 제2 평균값에 도 7의 설명에서 언급한 제1 편차(Δ1)를 더한 것이 제1 분광화소(SP1)의 보정된 R, G, B가 될 수 있다. 그리고 상기 제2 평균값에 제2 편차(Δ2)를 더한 것이 제2 분광화소(SP2)에 대한 보정된 R, G, B가 될 수 있다. 또한, 상기 제2 평균값에 제3 편차(Δ3)를 더한 것이 제3 분광화소(SP3)에 대한 보정된 R, G, B가 될 수 있으며, 상기 제2 평균값에 제4 편차(Δ4)를 더한 것이 제4 분광화소(SP4)에 대한 보정된 R, G, B가 될 수 있다. 이렇게 해서 제1 내지 제4 분광화소(SP1-SP4)에 대한 보정된 R, G, B를 얻을 수 있다. 이렇게 얻어진 제1 내지 제4 분광화소(SP1-SP4)에 대한 보정된 R, G, B는 결국 제1 내지 제4 분광화소(SP1-SP4)를 통해 얻어지는 초분광 이미지의 보정된 이미지, 곧 도 8의 초분광 스펙트럼에 기반한 초분광 이미지에 대한 보정된 이미지가 될 수 있다.

한편, RGB 카메라 모듈(110)의 이미지 센서(110B)에 포함된 화소 각각의 부화소 구성은 달라질 수 있다. 일 예로, 도 10에 도시한 바와 같이 이미지 센서(110B)에 포함된 단위 화소(1000)는 서로 다른 제1 내지 제4 부화소(R, G, B, IR)로 구성될 수 있다. 제1 내지 제3 부화소(R, G, B)는 각각 적색광, 녹색광, 청색광에 대한 투과율이 상대적으로 높은 부화소이고, 제4 부화소(IR)는 적외선에 대한 투광율이 상대적으로 높은 부화소일 수 있다. 따라서 이미지 센서(110B)를 통해서 적색광, 녹색광 및 청색광과 함께 적외선을 주요 광으로 사용한 이미지를 제공할 수 있다. 이미지 센서(110B)의 단위화소의 부화소 구성을 이와 같이 하여 적외선까지 사용하고자 하는 경우, 초분광 카메라 모듈(120)은 적외선을 수광할 수 있어야 하므로, 초분광 카메라 모듈(120)에서 저역필터(350)는 생략할 수 있다.

다른 예로, 도 11에 도시한 바와 같이 이미지 센서(110B)에 포함된 단위 화소(1100)는 도 10과 다른 서로 다른 제1 내지 제4 부화소(R, G, B, UV)로 구성될 수 있다. 도 11의 제1 내지 제3 부화소(R, G, B)는 도 10과 동일하다. 도 11의 제4 부화소(UV)는 자외선에 대한 투과율이 상대적으로 높은 부화소일 수 있다. 도 11의 경우, 이미지 센서(110B)를 통해 적색광, 녹색광 및 청색광과 함께 자외선을 주요 광으로 사용한 이미지를 제공할 수 있다.

또 다른 예로, 도 12에 도시한 바와 같이 이미지 센서(110B)에 포함된 단위 화소(1200)는 6개의 부화소, 곧 제1 내지 제6 부화소(UV, R, G1, IR, G2, B)로 구성될 수 있다. 제1 부화소(UV)는 자외선에 대한 투과율이 상대적으로 높은 부화소이고, 제2 부화소(R)는 적색광에 대한 투과율이 상대적으로 높은 부화소이고, 제3 및 제5 부화소(G1, G2)는 녹색광에 대한 투과율이 상대적으로 높은 부화소이다. 제3 및 제5 부화소(G1, G2)는 물질이나 광학특성에서 서로 동일한 부화소이다. 녹색광에 대한 부화소를 제3 및 제5 부화소(G1, G2)로 구분하여 기재한 것은 설명의 편의를 위한 것이다. 제4 부화소(IR)는 적외선에 대한 투과율이 상대적으로 높은 부화소이다. 결과적으로, RGB 카메라 모듈(110)의 이미지 센서(110B)의 단위화소가 도 12의 단위화소(1200)인 경우, RGB 카메라 모듈(110)로 얻어지는 이미지는 주요 광으로 적색광, 녹색광, 청색광뿐 아니라 적외선과 자외선까지 함께 사용하여 형성된 것이 된다.

일 실시예에 의한 듀얼 카메라 모듈의 RGB 카메라 모듈(110)의 이미지 센서(110B)가 도 12에 도시한 단위화소(1200)를 포함하는 경우, 듀얼 카메라 모듈의 적용영역은 가시광 대역, 적외선 대역 및 자외선 대역까지 확장될 수 있다. 이를 위해서는 초분광 카메라 모듈(120)의 초분광 필터(370)에 적외선이 입사되어야 하므로, 초분광 필터(370)와 렌즈 및 광 가이드(350) 사이에 배치된 저역필터(360)는 생략할 수 있다.

상술한 바와 같이, RGB 카메라 모듈(110)의 이미지 센서(110B)의 단위화소의 구성을 다양하게 함으로써, 듀얼 카메라 모듈(100, 200)의 적용영역을 가시광 대역 밖으로 확장할 수 있다. 이때, 초분광 필터(370)의 단위화소(510)에 포함된 채널들(1~16) 중 하나는 적외선이나 자외선 채널일 수 있다. 다른 예에서, 초분광 필터(370)의 단위화소(510)는 적외선 채널로 사용될 별도의 채널 및/또는 자외선 채널로 사용될 별도의 채널을 포함할 수도 있다.

도 13은 일 실시예에 의한 듀얼 카메라 모듈(100, 200)의 초분광 필터(370)의 단위화소(510)가 N개의 채널을 포함하고, RGB 카메라 모듈(110)의 이미지 센서(110B)의 단위화소가 4개의 부화소로 구성될 때, 초분광 필터(370)의 단위화소(510)에 대응하는 가상의 분광화소를 보여준다. 도 13에서 N>m>L이고, L과 m과 n은 2보다 큰 양의 정수이다.

도 13에서 왼쪽은 초분광 필터(370)의 단위화소(510)가 N개의 채널을 포함하는 경우를 보인 것이고, 오른쪽은 대응하는 가상의 분광화소를 보인 것이다.

도 13에 도시한 바와 같이, N개 채널을 포함하는 단위화소(510)에 대응하는 분광화소의 수는 N/4 개이다. 따라서 초분광 필터(370)의 N개 채널을 포함하는 단위화소(510)는 RGB 카메라 모듈(110)의 이미지 센서(110B)에 포함된 복수의 화소 중 N/4에 대응될 수 있다. 초분광 필터(370)의 단위화소에 포함되는 채널 수(N)는 수집개 이상이므로, 초분광 필터(370)에 포함된 1개의 화소(510)는 RGB 카메라 모듈(110)의 이미지 센서(110B)에 포함된 화소들 중 복수개의 화소에 대응될 수 있다. 따라서 RGB 카메라 모듈(110)의 이미지 해상도는 초분광 카메라 모듈(120)을 통해 얻어지는 초분광 이미지의 해상도보다 높다. 그러므로 상대적으로 고해상도인 RGB 카메라 모듈(110)의 이미지 처리기법(예, 이미지 보정기법)을 초분광 카메라 모듈(120)에 적용함으로써, 초분광 카메라 모듈(120)을 통해 얻어지는 초분광 이미지의 해상도를 높일 수 있다.

도 14는 일 실시예에 의한 듀얼 카메라 모듈(100, 200)의 초분광 필터(370)의 단위화소(510)가 N개의 채널을 포함하고, RGB 카메라 모듈(110)의 이미지 센서(110B)의 단위화소가 도 12에 도시한 바와 같이 6개의 부화소로 구성될 때, 초분광 필터(370)의 단위화소(510)에 대응하는 가상의 분광화소를 보여준다.

도 14를 참조하면, 초분광 필터(370)의 단위화소(510)가 N개의 채널(1~N)을 포함하고, RGB 카메라 모듈(110)의 이미지 센서(110B)의 단위화소가 6개의 부화소로 구성되는 경우, 단위화소(510)에 대응되는 분광화소 수는 N/6개이다.

도 15는 초분광 필터(370)의 일 예를 나타낸 사시도이다.

도 15를 참조하면, 초분광 필터(370)의 단위화소(510)는 복수의 채널(f1-f24)을 포함한다. 복수의 채널(f1-f24)는 복수의 필터영역일 수 있다. 설명의 편의상, 초분광 필터(370)는 제1 내지 제24 채널(f1-f24)을 포함하는 것으로 도시하였지만, 24개 이상의 채널을 포함할 수 있다. 초분광 필터(370)에 입사되는 광(5L)은 복수의 광 성분을 포함한다. 달리 말하면, 광(5L)은 복수 파장의 광을 포함한다. 초분광 필터(370)의 각 채널(f1-f24)은 특정파장의 광 성분만 통과할 수 있는 층 구조를 가질 수 있다. 초분광 필터(370)에 포함된 제1 내지 제24 채널(f1-f24)의 광 필터링 특성은 서로 다를 수 있다. 따라서 초분광 필터(370)에 입사되는 광(5L)은 초분광 필터(370)를 통과하면서 서로 다른 24개 파장의 광으로 분광될 수 있다. 예를 들면, 제1 내지 제6 채널(f1-f6)을 통해서 제1 내지 제6 파장(λ1-λ6)의 광이 각각 방출되고, 제12 채널(f12)을 통해서는 제12 파장(λ12)의 광이, 제18 채널(f18)을 통해서는 제18 파장(λ18)의 광이, 제24 채널(f24)을 통해서 제24 파장(λ24)의 광이 각각 방출될 수 있다. 이와 같이 초분광 필터(370)에 의해 입사광(5L)은 분광되므로, 곧 파장별로 나뉘어지므로, 제2 이미지 센서(120B)에는 입사광(5L)에 포함된 각 파장별 이미지, 곧 초분광 이미지가 기록될 수 있다. 입사광(5L)은 피사체(150)로부터 반사된 광이므로, 결국 제2 이미지 센서(120B)는 피사체(150)에 대한 초분광 이미지가 기록된다.

도 16은 도 15의 단위화소(510)에 포함된 복수 채널(1~24) 중 어느 하나(예, 제1 채널(f1))의 구성에 대한 일 예를 나타낸 단면도이다.

도 16을 참조하면, 제1 채널(f1)은 순차적으로 적층된 제1 반사층(DL1), 공진층(ML1) 및 제2 반사층(DL2)을 포함한다. 제1 반사층(DL1)과 공진층(ML1)과 제2 반사층(DL2)은 공진 캐버티(resonance cavity)를 구성할 수 있다. 공진층(ML1)은 제1 물질층(630A)과 제2 물질층(630B)이 수평으로 교번 배치되어 있는데, 제1 및 제2 물질층(630A, 630B)의 피치(P1)와 제1 물질층(630A)의 간격(D1)에 따라 공진모드가 달라질 수 있다. 곧, 제1 및 제2 물질층(630A, 630B)의 피치(P1) 및/또는 제1 물질층(630A)의 간격(D1)에 따라 공진층(ML1)에서 공진이 일어나는 파장이 달라질 수 있다. 공진층(ML1)의 두께(T1)도 상기 공진에 영향을 줄 수 있다. 따라서 공진층(ML1)의 제1 및 제2 물질층(630A, 630B)의 피치(P1)나 제1 물질층(630A)의 간격(D1)이나 공진층(ML1)의 두께(T1)에 변화를 주거나 이들의 조합에 변화를 줌으로써, 제1 채널(f1)을 통과하는 파장이 달라질 수 있다. 따라서 도 15의 단위필터(510)에 포함된 복수 채널(f1-f24)의 공진층들의 층 구성의 변수(피치, 간격, 두께)는 서로 다를 수 있다.

도 16에서 제1 반사층(DB1)은 제1 DBR층일 수 있다. 일 예로, 제1 반사층(DL1)은 굴절률이 서로 다르고 순차적으로 적층된 제1 층(610)과 제2 층(620)을 포함한다. 제1 및 제2 층(610, 620)은 3회 교번 적층되어 있다. 제1 및 제2 층(610, 620)의 교번 적층되는 수는 3회 이상이나 이하가 될 수도 있다. 제1 층(610)은, 예를 들면 SiO2층이거나 SiO2층을 포함할 수 있다. 제2 층(620)은, 예를 들면 TiO2층이거나 TiO2층을 포함할 수 있다.

제2 반사층(DB2)은 제2 DBR층일 수 있다. 일 예로, 제2 반사층(DL2)은 굴절률이 서로 다르고 순차적으로 적층된 제2 층(620)과 제1 층(610)을 포함할 수 있다. 순차적으로 적층된 제2 층(620)과 제1 층(610)은 3회 교번 적층되어 있다. 제2 층(620)과 제1 층(610)의 교번 적층되는 수는 3회 이상이나 이하가 될 수도 있다. 따라서 제1 반사층(DL1)의 최상층과 제2 반사층(DL2)의 최하층은 모두 제2 층이 될 수 있다. 공진층(ML1)의 제1 물질층(630A)은 제1 및 제2 반사층(DL1, DL2)의 제2 층(620)과 동일한 물질일 수 있다. 제2 물질층(630B)은 제1 및 제2 반사층(DL1, DL2)의 제1 층(610)과 동일한 물질일 수 있다.

다음에는 일 실시예에 의한 듀얼 카메라 모듈에서 초분광 카메라 모듈을 이용하여 정밀한 스펙트럼 정보를 획득하고, RGB 카메라 모듈로부터 얻어지는 이미지 보정신호를 이용하여 초분광 이미지의 해상도는 높이는 예를 설명한다.

도 17은 일 실시예에 의한 듀얼 카메라 모듈의 초분광 카메라 모듈(120)로 손을 촬영한 초분광 사진이다. 초분광 사진(1700)은 손에 대한 이미지 정보와 분광 정보(스펙트럼)를 함께 포함한다.

도 18은 초분광 카메라 모듈(120)로 촬영한 손에 대한 초분광 사진으로부터 획득한 것으로, 헤모글로빈과 멜라닌에 기인한 손의 광 흡수 스펙트럼을 보여준다. 도 18에서 제1 그래프 군(GP1)은 기준 스펙트럼을 보여준다. 제2 그래프 군(GP2)은 초분광 카메라 모듈(120)로 촬영된 스펙트럼을 보여준다.

제1 및 제2 그래프 군(GP1, GP2)을 비교하면, 초분광 카메라 모듈(120)로 촬영된 스펙트럼은 기준 스펙트럼과 잘 일치하는 것을 볼 수 있다.

도 17의 초분광 사진(1700)은 이미지와 분광정보가 결합된 것이다. 초분광 카메라 모듈(120)의 경우, 초분광 필터(370)의 단위화소에 포함된 분광 채널의 수가 증가할수록 초분광 사진(1700)의 스펙트럼 정확도 혹은 스펙트럼 분해능은 향상될 수 있으나, 초분광 사진(1700)의 크기는 작아질 수 있다. 다시 말해 초분광 사진(1700)의 이미지 분해능은 낮아지고, 스펙트럼 정확도는 향상될 수 있다.

도 17의 초분광 사진(1700)의 이미지에 RGB 카메라 모듈(110)로 동일한 피사체인 손을 촬영한 이미지에 대한 분광정보(예, RGB 평균값, 편차 등)를 적용함으로써, 보다 향상된 해상도를 갖는 초분광 이미지를 얻을 수 있다.

구체적으로, 도 19는 RGB 카메라 모듈(110)로 촬영한 손에 대한 사진이다. 곧, 도 19는 손에 대한 RGB 이미지를 보여준다.

도 20은 초분광 카메라 모듈(120)로 촬영된 것으로, 헤모글로빈에 기인한 손의 분광특성(광 흡수특성)을 나타낸 초분광 사진이다.

도 19와 도 20을 비교하면, RGB 카메라 모듈(110)로 촬영한 이미지에 비해 초분광 카메라 모듈(120)로 촬영한 초분광 이미지의 사이즈가 훨씬 작음을 알 수 있다.

도 21은 도 20의 초분광 이미지의 크기를 도 19의 RGB 이미지 수준으로 단순히 확대한 것인데, 도 21에서 볼 수 있듯이, 분광정보만 그대로 확대되었을 뿐, 해상도는 개선되지 않음을 알 수 있다.

도 22는 RGB 카메라 모듈(110)로 촬영한 이미지의 분광특성으로부터 획득한 정보(화소의 RGB 평균값, 편차 등)를 도 21의 초분광 이미지에 적용하여 도 21의 초분광 이미지를 보정한 이미지를 보여준다. 도 21의 보정후 초분광 이미지와 도 20의 보정전 초분광 이미지를 비교하면, 보정과정에서 분광특성은 대체로 유지되면서 보정후 초분광 이미지의 해상도는 보정전에 비해 훨씬 높아짐을 알 수 있다.

도 21의 초분광 이미지를 도 22의 초분광 이미지로 보정하는 과정은 다음과 같이 진행할 수 있다. 예를 들면, 도 21의 초분광 이미지를 얻는데 도 6의 초분광 필터(370)의 1개 화소(510)가 사용된다고 하면, 곧, 도 6의 제1 내지 제4 분광화소(SP1-SP4)가 사용된다고 하면, 도 7과 도 9의 설명에서 상세하게 기술한 바와 같이, 제1 내지 제4 분광화소(SP1-SP4) 전체에 대한 R, G, B 평균값, 곧 상기 제2 평균값을 구한 다음, 제1 내지 제4 분광화소(SP1-SP4)에 대응되는 RGB 카메라 모듈(110)의 이미지 센서(110B)의 제1 내지 제4 화소(P1-P4) 전체에 대한 R, G, B 평균값, 곧 상기 제1 평균값을 구하고, 상기 제1 평균값과 제1 내지 제4 화소(P1-P4) 각각 사이의 편차들, 곧 상기 제1 내지 제4 편차(Δ1, Δ2, Δ3, Δ4)를 구한다.

다음, 도 23에 도시한 바와 같이, 제1 분광화소(SP1)의 R, G, B 값은 상기 제2 평균값에 제1 편차(Δ1)를 더하여 보정하고, 제2 분광화소(SP2)의 R, G, B 값은 상기 제2 평균값에 제2 편차(Δ2)를 더하여 보정하고, 제3 분광화소(SP3)의 R, G, B 값은 상기 제2 평균값에 제3 편차(Δ3)를 더하여 보정하며, 제4 분광화소(SP4)의 R, G, B 값은 상기 제2 평균값에 제4 편차(Δ4)를 더하여 보정한다.

이러한 보정으로 도 21의 초분광 이미지는 도 22에 도시한 바와 같이 해상도가 훨씬 향상된 초분광 이미지가 될 수 있다.

결과적으로, 일 실시예에 의한 초분광 카메라를 포함하는 듀얼 카메라 모듈(100, 200)을 사용하면, 초분광 카메라의 우수한 분광특성(스펙트럼)을 유지하면서 높은 해상도의 초분광 이미지도 획득할 수 있다.

다음에는 일 실시예에 의한 듀얼 카메라 모듈(100, 200)에서 RGB 카메라 모듈(110)과 초분광 카메라 모듈(120)이 공간적으로 서로 이격되어 구비됨에 따른 영향과 이점에 대해 설명한다.

도 24는 일 실시예에 의한 듀얼 카메라 모듈이 장착된 장치(2400)로 피사체(2410)를 촬영하는 경우를 보여주는 평면도이다.

도 24를 참조하면, 장치(2400)는 모바일 폰과 같은 모바일 기기의 일 예일 수 있다. 장치(2400)는 나란히 구비된 제1 및 제2 카메라(2420, 2430)를 포함한다. 제1 카메라(2420) 좌측에 광원(2440)이 내장되어 있다. 광원(2440)은 통상의 모바일 폰에 장착된 광원일 수 있다. 제1 카메라(2420)는 일 실시예에 의한 듀얼 카메라 모듈(100, 200)의 RGB 카메라 모듈(110)이거나 이를 포함하는 부재일 수 있다. 제2 카메라(2430)는 일 실시예에 의한 듀얼 카메라 모듈(100, 200)의 초분광 카메라 모듈(120)이거나 이를 포함하는 부재일 수 있다. 광원(2440)으로부터 방출된 광(L11) 중에서 피사체(2410)를 향한 광(2L1)은 피사체(2410)의 앞면에 조사된다. 피사체(2410)의 앞면에 조사된 광은 반사되어 제1 카메라(2420)와 제2 카메라(2430)에 입사된다. 참조번호 2L2는 피사체(2410)에서 반사되어 제1 카메라(2420)로 입사되는 광을 나타낸다. 제1 및 제2 카메라(2420, 2430)는 옆으로 일렬로 주어진 간격으로 배열되어 있다. 따라서 제1 카메라(2420)가 피사체(2410)를 보는 시각과 제2 카메라(2430)가 피사체(2410)를 보는 시각은 다를 수 있다. 예컨대, 제1 카메라(2420)은 피사체(2410) 정면 중앙을 볼 수 있고, 제2 카메라(2430)는 피사체(2410)의 정면 중앙에서 우측으로 치우쳐 피사체(2410)를 볼 수 있다. 제1 및 제2 카메라(2420, 2430)의 배치 간격이 크지 않다는 점에서 피사체(2410)를 보는 제1 및 제2 카메라(2420, 2430)의 시각차는 크지 않을 수 있지만, 이러한 시각차로 인해 피사체(2410)로부터 반사되어 제2 카메라(2430)에 입사되는 광(2L3)은 균일하지 않을 수 있다. 또한, 피사체(2410)가 3차원 물체이므로 굴곡을 갖는 점과 광원(2440)이 치우쳐 배치된 점 등으로 인해 피사체(2410)로부터 반사되어 제2 카메라(2430)에 입사되는 광(2L3)의 불균일 정도는 더욱 커질 수 있다. 이럴 경우, 제2 카메라(2430)로 관측되는 초분광 이미지의 경우, 도 25의 (a)에 도시한 바와 같이, 분광특성이 균일하지 않은 부분이 존재할 수 있다. 이러한 부분은 한 개의 카메라에 의한 정보로는 극복하기 어려울 수 있지만, 2개의 카메라(2420, 2430)로 획득되는 정보를 통해서 광원(2440)이 어느 정도 치우쳤는지 및/또는 제2 카메라(2430)의 시각이 어느 정도 치우쳤는지를 확인할 수 있다. 도 25의 (b)는 이에 따라 불균일성이 개선된 초분광 이미지를 보여준다. 그리고 피사체(2410)의 곡면 정도도 제1 카메라(2420)로부터 얻어지는 RGB 이미지와 제2 카메라(2430)로부터 얻어지는 초분광 이미지의 결합정보로부터 확인할 수 있다. 이렇게 보정된 정보를 통해서 정확한 초분광 이미지 결과값을 제시할 수 있다.

일 실시예에 의한 듀얼 카메라 모듈은 안면인식을 이용한 보안에도 적용될 수 있다.

곧, 안면인식은 보안에서 중요한 이슈가 될 수 있으나, 사진을 통한 위조 등으로 기존분석방법으로는 한계가 있다. 초분광은 얼굴의 형태와 동시에 스펙트럼 정보도 제공할 수 있다. 따라서 초분광을 이용할 경우, 안면인식의 정확도가 향상될 수 있다. 초분광을 이용한 형상인식과 스펙트럼 분석에 더해서 RGB 카메라와 초분광 카메라를 이용하여 삼차원 곡면에 대한 인식을 높임으로써, 안면인식의 정확도를 더 향상시킬 수 있다.

다음에는 일 실시예에 의한 듀얼 카메라 모듈을 포함하는 전자장치를 설명한다.

도 26은 일 실시예에 의한 듀얼 카메라 모듈을 포함하는 전자장치의 하나로 모바일 폰을 보여준다.

도 26을 참조하면, 모바일 폰(900)의 뒷면(900B)에 듀얼 카메라 모듈(910)이 장착되어 있다. 듀얼 카메라 모듈(910)은 제1 및 제2 카메라 모듈(910A, 910B)을 포함한다. 제2 카메라 모듈(910B) 우측에 광원(970)이 구비되어 있다. 광원(970)은 제1 카메라 모듈(910A)의 좌측에 구비되거나 제1 카메라 모듈(910A)과 제2 카메라 모듈(910B) 사이에 마련될 수도 있다. 광원(970)외에 제2의 광원이 더 구비될 수도 있다. 제1 카메라 모듈(910A)은 도 1의 제1 카메라 모듈(110)이거나 이 모듈을 포함하는 것일 수 있다. 제2 카메라 모듈(910B)은 도 1의 제2 카메라 모듈(120)이거나 이 모듈을 포함하는 것일 수 있다. 듀얼 카메라 모듈(910)은 도 1의 제1 듀얼 카메라 모듈(100)에 대응될 수 있다. 광원(970)은 도 1의 광원(130)일 수 있다. 듀얼 카메라 모듈(910)의 동작에 필요한 전력은 모바일 폰(900)에 내장된 배터리(90B)로부터 공급될 수 있다. 모바일 폰(900)은 자체의 동작과 제어를 위한 회로부(90C)를 포함할 수 있다. 이 회로부(90C)를 통해서 듀얼 카메라 모듈(910)의 동작과 제어도 함께 이루어질 수 있다. 피사체(930)로부터 반사되는 광(26L2)은 피사체(930)로부터 반사되는 자연광이나 광원(970)으로부터 피사체(930)에 조사된 광(26L1)이 반사된 것일 수 있다.

왼쪽 도면은 모바일 폰(900)의 앞면을 보여준다. 앞면은 표시영역(960)을 포함한다. 표시영역(960)에는 피사체(930)의 보정된 초분광 이미지(930A)가 표시된다. 보정된 초분광 이미지(930A)는 듀얼 카메라 모듈(910)을 통해 얻어진다. 표시영역(960)에는 보정된 초분광 이미지(930A)와 함께 보정된 초분광 이미지(930A)에 대한 분광정보도 함께 표시될 수 있다. 앞면 하단 기능버튼(980)을 조작하여 표시영역(960)에 피사체(930)의 보정전 초분광 이미지를 표시할 수도 있다. 기능버튼(980)을 통해 모바일 폰(900)의 다양한 기능을 불러오거나 수행시킬 수 있다.

도 27과 도 28은 일 실시예에 의한 듀얼 카메라 모듈이 장착된 거울형 디스플레이 장치를 보여준다. 도 27은 측면도, 도 28은 정면도이다.

도 27을 참조하면, 피사체(2720)는 거울형 디스플레이 장치(2700)를 통해 자신의 모습을 볼 수 있고, 피사체(2720)의 모습(예, 피사체의 초분광 이미지 등)은 디스플레이 장치(2700)에 구비된 제1 및 제2 카메라(2710, 2712)를 통해 촬영될 수 있다. 디스플레이 장치(2700)는 피사체(2720)의 촬영과 관련된 동작과 제어 및 촬영된 피사체의 초분광 이미지의 표시와 관련된 동작과 제어를 담당하는 구동 제어 회로부(2716)를 포함할 수 있다. 회로부(2716)는 외부에서 보이지 않도록 디스플레이 장치(2700)에 내장될 수 있다.

도 28을 참조하면, 거울형 디스플레이 장치(2700)는 전면(2718)에 제1 및 제2 카메라(2710, 2712)를 구비한다. 제1 및 제2 카메라(2710, 2712)는 전면(2718)의 상단 양쪽에 각각 1나씩 배치되어 있다. 제1 카메라(2710)는 왼쪽에, 제2 카메라(2712)는 오른쪽에 배치되어 있다. 제1 및 제2 카메라(2710, 2712)의 배치는 서로 바뀔 수 있다. 제1 및 제2 카메라(2710, 2712)의 위치는 변경될 수도 있다. 예컨대, 제1 및 제2 카메라(2710, 2712)는 전면(2718)의 상단 중앙에 위치할 수도 있으며, 상단 왼쪽이나 오른쪽에 상하로 나란히 배치될 수도 있다. 제1 및 제2 카메라(2710, 2712) 중 하나는 도 1의 RGB 카메라 모듈(110)이거나 이 모듈(110)을 포함하는 것일 수 있고, 나머지 하나는 도 1의 초분광 카메라 모듈(120)이거나 이 모듈(120)을 포함하는 것일 수 있다. 제1 및 제2 카메라(2710, 2712) 아래의 전면(2718) 중심부에 표시영역(2760)이 있다. 표시영역(2760)은 제1 및 제2 카메라(2710, 2712)를 포함하는 카메라 모듈을 통해 촬영된 이미지나 초분광 이미지, 혹은 스펙터럼과 같은 분광정보가 표시되는 영역일 수 있다. 디스플레이 장치(2700)가 오프 상태일 때, 표시영역(2760)은 일반 거울과 같은 용도로 사용될 수 있다. 도 27의 구동 제어 회로부(2716)는 표시영역(2760) 뒤편에 배치될 수 있다. 또한, 제1 및 제2 카메라(2710, 2712)의 크기가 충분히 작아서 언뜻 눈에 띄지 않을 정도의 크기라면, 제1 및 제2 카메라(2710, 2712)는 표시영역(2760) 내의 피사체(2720)가 최적으로 촬영될 수 있는 위치에 설치될 수도 있다. 표시영역(2760)은 광원(2730)으로 둘러싸여 있다. 광원(2730)은 표시영역(2760)의 경계가 될 수도 있다. 광원(2730)은 표시영역(2760)과 비표시영역을 구분하는 경계가 될 수 있으나, 다른 예에서 전면(2718) 전체가 거울형 표시영역이 될 수 있다. 곧, 광원(2730) 바깥 영역도 표시영역(2760)과 같은 기능을 갖는 표시영역으로 사용될 수 있다. 또 다른 예에서, 광원(2730) 바깥 영역은 표시영역(2760)과 같은 능동적인 표시영역이 아니라 단순한 거울과 같은 수동적 표시영역일 수 있다. 광원(2730)은 가시광 대역의 광을 방출하는 구성을 가질 수 있으나, 적외선을 방출하는 구성을 가질 수도 있다. 표시영역(2760)은 원형이나 타원형에 가까운 형태이지만, 사각형이나 기타 다른 모양으로 설계될 수 있다. 표시영역(2760)에 피사체의 초분광 이미지(2720A)가 표시되면서 초분광 이미지(2720A)를 통해서 획득된 정보 혹은 획득될 수 있는 정보가 함께 표시될 수 있다. 이러한 정보는 표시영역(2760) 내의 정해진 영역(2750)에 표시될 수 있다. 정해진 영역(2750)에 표시되는 정보는 사용자의 미용이나 치료를 위해 도움이 될 수 있는 정보(예, 미용이나 치료를 위한 제품정보)를 포함할 수 있다.

전면(2718)의 하단에는 제어부 혹은 조작부(2740)가 마련되어 있다. 조작부(2740)는 표시영역(2760)의 온/오프 동작이나 표시영역(2760) 내의 동작을 제어하는 부분일 수 있다. 결국, 디스플레이 장치(2700)의 전체 구동제어는 조작부(2740)를 통해 이루어질 수 있다.

다음에는 일 실시예에 의한 듀얼 카메라 모듈을 포함하는 전자장치의 동작방법을 도 29를 참조하여 설명한다. 이 동작방법은 결과적으로 초분광 이미지의 해상도를 높이는 방법을 포함하고, 도 6에서 설명한 분광화소 개념을 바탕으로 도 7 내지 도 9에서 설명한 바에 따라 수행할 수 있다.

도 29를 참조하면, 먼저, RGB 카메라(100)를 이용하여 피사체(150)에 대한 RGB 이미지를 획득하는 과정에서 RGB 카메라(100)의 이미지 센서(110B)의 화소들에 대한 RGB 평균값(제1 평균값)을 구하고(S1), 상기 제1 평균값과 상기 각 화소들 사이의 편차를 구한다(S2). 그리고 초분광 카메라(120)를 이용하여 피사체(150)의 초분광 이미지를 획득하는 과정에서 상기 RGB 카메라(100)의 이미지 센서(110B)의 상기 화소들에 대응되는 초분광 필터(370)의 화소들에 대한 RGB 평균값(제2 평균값)을 구한다(S3). 상기 제2 평균값은 초분광 필터(370)의 단위화소에 포함된 채널들을 도 6에서 설명한 바와 같은 가상의 복수의 분광화소에 대응시키고, 상기 복수의 분광화소에 대한 RGB 평균값을 구하는 방법으로 구할 수 있다. RGB 카메라(100)의 이미지 센서(110B)에 포함된 단위화소를 이루는 부화소 수가 4개이고, 초분광 필터(370)에 포함된 단위 화소가 N개의 채널을 갖는 경우, 상기 분광화소의 수는 N/4가 되고, 상기 부화소의 수가 6개이면, 상기 분광화소의 수는 N/6이 된다. 다음, 상기 분광화소 각각에 대한 보정된 RGB 값을 구하기 위해, 상기 제2 평균값에 상기 각 분광화소에 대응되는 상기 각 화소의 편차를 더한다(S4). 예를 들면, RGB 카메라(100)의 제1 화소(예, 도 4의 P1)에 상기 복수의 분광화소의 제1 분광화소(도 6의 SP1)가 대응된다고 하면, 제1 화소(P1)에 대한 편차(제1 평균값-제1 화소(P1)의 RGB 값)를 상기 제2 평균값에 더한 것이 제1 분광화소(SP1)에 대한 보정된 RGB 값이 될 수 있다. 이렇게 해서 상기 복수의 분광화소에 대한 보정이 완료된다. 이러한 과정을 초분광 필터(370)에 포함된 전체 화소에 대해 수행함으로써, 결과적으로 초분광 이미지에 대한 해상도 보정이 이루어질 수 있다.

상기한 설명에서 많은 사항이 구체적으로 기재되어 있으나, 그들은 발명의 범위를 한정하는 것이라기보다, 바람직한 실시예의 예시로서 해석되어야 한다. 때문에 본 발명의 범위는 설명된 실시예에 의하여 정하여 질 것이 아니고, 특허 청구범위에 기재된 기술적 사상에 의해 정하여져야 한다.

2L1:피사체에 입사되는 광 2L2:제1 카메라에 입사되는 반사광
2L3:제2 카메라에 입사되는 반사광 9L1:청색광 편차를 나타내는 구간
9L2:녹색광 편차를 나타내는 구간 9L3:적색광 편차를 나타내는 구간
26L1:피사체에 조사되는 광 26L2:반사광
90B:배터리 90C:구동제어회로부
100:듀얼 카메라 모듈 110:제1 카메라 모듈
110A:제1 렌즈 및 광 가이드 모듈 110B:제1 이미지 센서
120:제2 카메라 모듈 120A:제2 렌즈 및 광 가이드 모듈
120B:제2 이미지 센서 130:제1 광원
150:피사체 350:렌즈계
360:저역필터 370:초분광 필터
510, 520, 530, 540:초분광 필터의 복수 화소
610, 620:제1 및 제2 층 630, 640:제1 및 제2 물질층
900:모바일 폰 910:듀얼 카메라 모듈
910A:제1 카메라 모듈 910B:제2 카메라 모듈
930:피사체 930A:피사체의 이미지
960:표시영역 970:광원
980:기능버튼
1000:4개 부화소에 IR을 포함하는 단위화소
1100:4개 부화소에 UV를 포함하는 단위화소
1200:부화소가 6개인 단위화소 1700:초분광 사진
2400:듀얼 카메라 모듈이 장착된 장치 2410:피사체
2420, 2430:제1 및 제2 카메라 2440:광원
2700:거울형 디스플레이 장치 2710, 2712:제1 및 제2 카메라
2716:구동제어 회로부 2718:전면
2720:피사체 2720A:초분광 이미지
2730:광원 2740:조작부(제어부)
2750:정해진 영역 2760:표시영역
DL1, DL2:제1 및 제2 반사층 f1 내지 f24:복수 채널
L1, 2L1:피사체에 조사되는 광 L11:광원에서 방출되는 광
L2, 3L3:피사체로부터 반사되는 광 ML1:공진층
SP1-SP4:제1 내지 제4 분광화소 T1:공진층의 두께

Claims

피사체에 대한 초분광 이미지를 제공하는 초분광 카메라 모듈; 및
상기 초분광 이미지의 보정에 적용되는 RGB 보정값을 산출하기 위해 상기 피사체에 대한 이미지를 제공하는 RGB 카메라 모듈;을 포함하여 상기 초분광 이미지의 보정된 이미지를 제공하는 듀얼 카메라 모듈.
제 1 항에 있어서,
상기 RGB 카메라 모듈에 의해 제공되는 상기 피사체에 대한 이미지는 적색, 녹색 및 청색광을 주요 광으로 사용하여 획득되는 RGB 이미지, 또는 적색, 녹색 및 청색광과 함께 적외선(IR)을 주요 광으로 사용하여 획득되는 이미지인 카메라 모듈인 듀얼 카메라 모듈.
제 2 항에 있어서,
상기 RGB 카메라 모듈에 의해 제공되는 상기 피사체에 대한 이미지는 주요 광으로 자외선(UV)을 함께 사용하여 획득되는 이미지인 듀얼 카메라 모듈.
제 1 항에 있어서,
상기 RGB 카메라 모듈은,
제1 렌즈 및 광 가이드 모듈; 및
상기 피사체에 대한 이미지를 센싱하는 제1 이미지 센서;를 포함하는 듀얼 카메라 모듈.
제 4 항에 있어서,
상기 제1 이미지 센서는 복수의 화소를 포함하고, 각 화소는 서로 다른 4개의 부화소(sub-pixel)를 포함하는 듀얼 카메라 모듈.
제 4 항에 있어서,
상기 제1 이미지 센서는 복수의 화소를 포함하고, 각 화소는 6개의 부화소를 포함하는 듀얼 카메라 모듈.
제 6 항에 있어서,
상기 6개의 부화소 중 5개의 부화소는 서로 다른 듀얼 카메라 모듈.
제 1 항에 있어서,
상기 초분광 카메라 모듈은,
제2 렌즈 및 광 가이드 모듈;
상기 초분광 이미지를 발생시키는 초분광 필터; 및
상기 초분광 이미지를 센싱하는 제2 이미지 센서;를 포함하는 듀얼 카메라 모듈.
제 8 항에 있어서,
상기 제2 렌즈 및 광 가이드 모듈과 상기 초분광 필터 사이에 배치된 저역필터를 더 포함하는 듀얼 카메라 모듈.
구동 제어 회로부;
피사체에 대한 이미지가 표시되는 표시영역;
배터리; 및
상기 구동 제어 회로부에 의해 동작이 제어되고, 상기 배터리의 전력을 이용하는 듀얼 카메라 모듈;을 포함하고,
상기 듀얼 카메라 모듈은 청구항 1의 듀얼 카메라 모듈을 포함하는 전자장치.
제 10 항에 있어서,
상기 피사체를 비추기 위한 광원이 더 구비된 전자장치.
구동 제어 회로부;
거울형 표시영역;
상기 표시영역 둘레에 구비된 광원;
피사체에 대한 제1 이미지를 제공하는 제1 카메라 모듈; 및
상기 피사체에 대한 제2 이미지를 제공하는 제2 카메라 모듈;을 포함하고,
상기 제1 이미지와 상기 제2 이미지는 분광특성이 서로 다른 거울형 디스플레이 장치.
제 12 항에 있어서,
상기 제1 및 제2 카메라 모듈 중 하나는 초분광 카메라 모듈을 포함하는 거울형 디스플레이 장치.
제1 카메라 모듈을 이용하여 제1 이미지를 획득하는 단계;
구성 및 용도가 상기 제1 카메라 모듈과 다른 제2 카메라 모듈을 사용하여 상기 제1 이미지보다 많은 분광정보를 포함하는 제2 이미지를 획득하는 단계; 및
상기 제1 이미지의 분광정보를 이용하여 상기 제2 이미지의 해상도를 향상시키는 단계;를 포함하는 듀얼 카메라 모듈이 장착된 장치의 동작방법.
제 14 항에 있어서,
상기 제1 이미지는 상기 제2 이미지보다 높은 해상도는 갖는 RGB 이미지인 듀얼 카메라 모듈이 장착된 장치의 동작방법.
제 14 항에 있어서,
상기 제2 이미지는 스펙트럼 정보를 포함하는 초분광 이미지인 듀얼 카메라 모듈이 장착된 장치의 동작방법.
제 14 항에 있어서,
상기 제2 이미지의 해상도를 향상시키는 단계는,
상기 제1 이미지의 분광정보의 제1 평균값과 편차를 구하는 단계;
상기 제2 이미지의 분광정보의 제2 평균값을 구하는 단계; 및
상기 제2 평균값에 상기 편차를 더하는 단계;를 포함하는 듀얼 카메라 모듈이 장착된 장치의 동작방법.
제 17 항에 있어서,
상기 제1 평균값과 편차를 구하는 단계는,
상기 제1 이미지가 센싱되는 제1 이미지 센서에 포함된 복수의 화소에 대한 RGB 평균값을 구하는 단계; 및
상기 RGB 평균값과 각 화소의 RGB 값 사이의 편차를 구하는 단계;를 포함하는 듀얼 카메라 모듈이 장착된 장치의 동작방법.
제 18 항에 있어서,
상기 제2 평균값을 구하는 단계는,
상기 제2 이미지가 센싱되는 제2 이미지 센서의 단위화소에 포함된 복수의 채널을 복수의 분광화소로 구분하는 단계; 및
상기 복수의 분광화소에 대한 RGB 평균값을 구하는 단계;를 포함하고,
상기 복수의 분광화소의 수는 상기 복수의 채널의 수보다 작고,
상기 복수의 분광화소의 수는 상기 제1 이미지 센서에 포함된 상기 복수의 화소의 각 화소에 포함된 부화소의 수(N)에 따라 달라지는 듀얼 카메라 모듈이 장착된 장치의 동작방법.
제 19 항에 있어서,
상기 부화소의 수는 4개 또는 6개인 듀얼 카메라 모듈이 장착된 장치의 동작방법.
피사체에 대한 제1 이미지를 제공하는 제1 카메라 모듈; 및
상기 제1 이미지와 다른, 상기 피사체에 대한 제2 이미지를 제공하는 제2 카메라 모듈;을 포함하여 보정된 초분광 이미지를 제공하는 초분광 카메라 모듈.
제 21 항에 있어서,
상기 제1 이미지는 RGB 이미지를 포함하는 초분광 카메라 모듈.
제 21 항에 있어서,
상기 제1 이미지는 주요 광으로 적색광, 녹색광, 청색광 및 적외선을 사용하여 획득한 이미지를 포함하는 초분광 카메라 모듈.
제 21 항에 있어서,
상기 제1 이미지는 주요 광으로 적색광, 녹색광, 청색광 및 자외선을 사용하여 획득한 이미지를 포함하는 초분광 카메라 모듈.
제 21 항에 있어서,
상기 제1 이미지는 주요 광으로 적색광, 녹색광, 청색광, 적외선 및 자외선을 사용하여 획득한 이미지를 포함하는 초분광 카메라 모듈.
제 21 항에 있어서,
상기 제1 이미지는 상기 초분광 이미지를 얻는데 적용된 RGB 보정값을 얻기 위한 이미지를 포함하는 초분광 카메라 모듈.
제 21 항에 있어서,
상기 제2 이미지는 상기 보정된 초분광 이미지의 보정전 초분광 이미지를 포함하는 초분광 카메라 모듈.