KR102772599B1

KR102772599B1 - 카메라 모듈

Info

Publication number: KR102772599B1
Application number: KR1020190055720A
Authority: KR
Inventors: 이용선; 박귀연
Original assignee: 엘지이노텍 주식회사
Priority date: 2019-05-13
Filing date: 2019-05-13
Publication date: 2025-02-25
Anticipated expiration: 2039-05-13
Also published as: US20220264021A1; CN113841394B; WO2020231165A1; CN113841394A; KR20200131029A; US11856292B2

Abstract

본 발명의 객체로 제1 광신호와 제2 광신호를 출력하는 광출력부; 상기 제1 광신호가 상기 객체에 의해 반사된 제1 반사광 신호를 수광하는 센서; 및 상기 제1 광신호와 상기 제1 반사광 신호를 이용하여 상기 객체까지의 제1 거리 정보를 획득하는 제어부를 포함하고, 상기 제1 광신호의 출력은 상기 제2 광신호의 출력보다 작고, 상기 제어부는 상기 제1 거리 정보를 이용하여 상기 제2 광신호의 출력 여부를 결정하는 카메라 모듈을 개시한다.

Description

카메라 모듈{CAMERA MODULE}

본 발명은 거리 정보를 추출하는 카메라 모듈에 관한 것이다.

3 차원 콘텐츠는 게임, 문화뿐만 아니라 교육, 제조, 자율주행 등 많은 분야에서 적용되고 있으며, 3차원 콘텐츠를 획득하기 위하여 거리 정보(Depth Map)가 필요하다. 거리 정보는 공간 상의 거리를 나타내는 정보이며, 2차원 영상의 한 지점에 대하여 다른 지점의 원근 정보를 나타낸다.

거리 정보를 획득하는 방법으로, IR(Infrared) 구조광을 객체에 투사하는 방식, 스테레오 카메라를 이용하는 방식, TOF(Time of Flight) 방식 등이 이용되고 있다. TOF 방식에 따르면, 빛을 쏘아서 반사되어 오는 빛의 정보를 이용하여 물체와의 거리를 계산한다. ToF 방식의 가장 큰 장점은 3차원 공간에 대한 거리정보를 실시간으로 빠르게 제공한다는 점에 있다. 또한 사용자가 별도의 알고리즘 적용이나 하드웨어적 보정을 하지 않고도 정확한 거리 정보를 얻을 수 있다. 또한 매우 가까운 피사체를 측정하거나 움직이는 피사체를 측정하여도 정확한 거리 정보를 획득할 수 있다.

다만, 매우 가까운 객체(예컨대, 피부, 눈 등)에 소정의 시간동안 일정 광량을 조사하는 경우 객체의 세이프티 확보가 어려운 문제점이 존재한다.

본 발명이 이루고자 하는 기술적 과제는 TOF 방식을 이용하여 거리 정보를 추출하는 카메라 모듈을 제공하는데 있다.

또한, 객체에 대한 세이프티를 용이하게 확보하도록 객체와의 거리를 정확하게 판단하는 카메라 모듈을 제공할 수 있다.

또한, 객체와의 근거리 판단 시 전력 효율이 개선된 카메라 모듈을 제공할 수 있다.

실시예에 따른 카메라 모듈은 객체로 제1 광신호와 제2 광신호를 출력하는 광출력부; 상기 제1 광신호가 상기 객체에 의해 반사된 제1 반사광 신호를 수광하는 센서; 및 상기 제1 광신호와 상기 제1 반사광 신호를 이용하여 상기 객체까지의 제1 거리 정보를 획득하는 제어부를 포함하고, 상기 제1 광신호의 출력은 상기 제2 광신호의 출력보다 작고, 상기 제어부는 상기 제1 거리 정보를 이용하여 상기 제2 광신호의 출력 여부를 결정한다.

상기 제어부는 상기 거리 정보가 기설정된 값 보다 작으면 상기 제1 광신호를 출력하도록 제어하고 상기 거리 정보가 기설정된 값보다 크면 상기 제2 광신호를 출력하도록 제어할 수 있다.

상기 광출력부는 제1 채널부와 제2 채널부를 포함하고, 상기 제2 채널부는 상기 제1 채널부보다 광원의 개수가 많을 수 있다.

상기 제1 광신호는 상기 제1 채널부로부터 출력되고, 상기 제2 광신호는 상기 제2 채널부로부터 출력될 수 있다.

상기 광출력부는 복수 개의 광원을 포함하고, 상기 복수 개의 광원의 출력은 상기 제1 광신호 출력 시보다 상기 제2 광신호 출력 시 더 클 수 있다.

상기 제1 광신호의 주기는 상기 제2 광신호의 주기보다 작을 수 있다.

상기 광출력부는 상기 거리 정보를 산출하기 위한 최소 단위인 프레임 신호를 기설정된 주기로 출력할 수 있다.

상기 제어부는 상기 제2 광신호를 이용하여 상기 객체까지의 제2 거리 정보를 획득할 수 있다.

상기 광출력부는 상기 제1 광신호의 프레임 신호와 상기 제2 광신호의 프레임 신호를 교대로 출력할 수 있다.

상기 기설정된 값은 10cm에 대응되는 값일 수 있다.

상기 센서에 수광되는 상기 제1 반사광 신호가 제1 수광량 이하로 수광되는 경우에 상기 제2 광신호를 출력할 수 있다.

상기 센서에 수광되는 상기 제1 반사광 신호가 상기 제1 수광량보다 작은 제2 수광량 이하로 수광되거나 제1 반사광 신호가 수광되지 않는 경우 상기 제1 광신호의 출력을 오프시킬 수 있다.

실시예에 따른 카메라 모듈은 객체로 제1 광신호와 제2 광신호를 출력하는 광출력부; 상기 제1 광신호가 상기 객체에 의해 반사된 제1 반사광 신호를 수광하는 센서; 및 상기 제1 광신호와 상기 제1 반사광 신호를 이용하여 획득된 거리 정보가 기 설정된 값 보다 크면 상기 제2 광신호를 출력하고 상기 거리 정보가 기 설정된 값 보다 작으면 상기 제1 광신호를 출력하도록 상기 광출력부를 제어하는 제어부;를 포함하고, 상기 제2 광신호를 이용하여 상기 객체의 3D 정보를 획득할 수 있다.

본 발명의 실시예에 따르면, 객체와의 거리를 정확하게 판단하여 객체에 대한 세이프티를 용이하게 확보할 수 있다.

또한, 저 출력의 프리(pre) 펄스를 통해 객체와의 거리를 파악한 후 고 출력의 메인 펄스를 출력함으로 인해 객체에 대한 세이프티를 확보하면서 측정 가능 거리를 증가시킬 수 있다.

또한, 근거리에 위치하는 객체에 대한 거리 판단을 정확하게 제공할 수 있다.

또한, 거리 정보를 생성함에 있어서 소비 전력을 향상시킬 수 있다.

도 1은 실시예에 따른 카메라 모듈의 개념도를 도시한 도면이고,
도 2는 실시예에 따른 광출력부를 도시한 도면이고,
도 3은 실시예에 따른 광출력부의 광신호를 도시한 도면이고,
도 4는 일 실시예에 따른 광출력부를 도시한 도면이고,
도 5는 도 5에서 제1 채널부의 거리에 따른 조사량을 설명하는 도면이고,
도 6은 도 5에서 제2 채널부의 거리에 따른 조사량을 설명하는 도면이고,
도 7은 다른 실시예에 따른 광출력부 및 광신호를 도시한 도면이고,
도 8은 또 다른 실시예에 따른 광출력부의 광신호를 도시한 도면이고,
도 9는 또 다른 실시예에 따른 광출력부의 광신호를 도시한 도면이고,
도 10은 실시예에 따른 광출력부의 광신호를 도시한 도면이고,
도 11은 실시예에 따른 카메라 모듈의 단면도이고,
도 12는 실시예에 따른 센서를 설명하기 위한 도면이고,
도 13은 실시예에 따른 센서에서 전기 신호 생성 과정을 설명하기 위한 도면이고,
도 14는 실시예에 따른 센서에서 거리 영상을 생성하는 1 프레임 주기의 타이밍도이고,
도 15는 일 실시예에 따른 센서의 구동을 설명하는 도면이고,
도 16은 다른 실시예에 따른 센서의 구동을 설명하는 도면이고,
도 17은 또 다른 실시예에 따른 센서의 구동을 설명하는 도면이고,
도 18은 실시예에 따른 카메라 모듈로부터 얻은 4개의 위상에 대한 로우(raw) 영상이고,
도 19는 실시예에 따른 카메라 모듈로부터 얻은 앰플리튜드 영상(amplitude image)이고,
도 20은 실시예에 따른 카메라 모듈로부터 얻은 거리 영상이고,
도 21은 실시예에 따른 카메라 모듈의 구동 방법을 설명하는 흐름도이고,
도 22는 다른 실시예에 따른 카메라 모듈의 구동 방법을 설명하는 흐름도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.

다만, 본 발명의 기술 사상은 설명되는 일부 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합, 치환하여 사용할 수 있다.

또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.

또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.

본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, "A 및(와) B, C 중 적어도 하나(또는 한 개 이상)"로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.

또한, 본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다.

이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.

그리고 어떤 구성 요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결, 결합 또는 접속되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 '연결', '결합' 또는 '접속' 되는 경우도 포함할 수 있다.

또한, 각 구성 요소의 "상(위) 또는 하(아래)"에 형성 또는 배치되는 것으로 기재되는 경우, 상(위) 또는 하(아래)는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, "상(위) 또는 하(아래)"으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.

그리고 이하에서 설명하는 실시예에 따른 카메라 모듈은 광학기기 또는 광학기기의 일부 장치로서 이용될 수 있다. 먼저, 광학기기는 핸드폰, 휴대폰, 스마트폰(smart phone), 휴대용 스마트 기기, 디지털 카메라, 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 및 네비게이션 중 어느 하나를 포함할 수 있다. 다만, 광학기기의 종류가 이에 제한되는 것은 아니며 영상 또는 사진을 촬영하기 위한 어떠한 장치도 광학기기에 포함될 수 있다.

광학기기는 본체를 포함할 수 있다. 본체는 바(bar) 형태일 수 있다. 또는, 본체는 2개 이상의 서브 몸체(sub-body)들이 상대 이동 가능하게 결합하는 슬라이드 타입, 폴더 타입, 스윙(swing) 타입, 스위블(swirl) 타입 등 다양한 구조일 수 있다. 본체는 외관을 이루는 케이스(케이싱, 하우징, 커버)를 포함할 수 있다. 예컨대, 본체는 프론트(front) 케이스와 리어(rear) 케이스를 포함할 수 있다. 프론트 케이스와 리어 케이스의 사이에 형성된 공간에는 광학기기의 각종 전자 부품이 내장될 수 있다.

광학기기는 디스플레이를 포함할 수 있다. 디스플레이는 광학기기의 본체의 일면에 배치될 수 있다. 디스플레이는 영상을 출력할 수 있다. 디스플레이는 카메라에서 촬영된 영상을 출력할 수 있다.

광학기기는 카메라를 포함할 수 있다. 카메라는 ToF(Time of Flight) 카메라 모듈을 포함할 수 있다. ToF 카메라 모듈은 광학기기의 본체의 전면에 배치될 수 있다. 이 경우, ToF 카메라 모듈은 광학기기의 보안인증을 위한 사용자의 얼굴인식, 홍채인식, 정맥인식 등 다양한 방식의 생체인식에 사용될 수 있다.

도 1은 실시예에 따른 카메라 모듈의 개념도를 도시한 도면이다.

도 1을 참조하면, 실시예에 따른 카메라 모듈(100)은 광출력부(110), 광학부(120), 센서(130) 및 제어부(140)를 포함할 수 있다.

먼저, 광출력부(110)는 광을 생성하여 원하는 신호 형태로 객체(O)를 향해 조사할 수 있다. 구체적으로, 광출력부(110)는 발광 모듈, 발광 유닛, 발광 어셈블리 또는 발광 장치 중 어느 하나일 수 있다.

그리고 광출력부(110)는 펄스파(pulse wave)의 형태나 지속파(continuous wave)의 형태로 광신호를 생성하여 출력할 수 있다. 여기서, 지속파는 사인파(sinusoid wave)나 사각파(squared wave)의 형태일 수 있으나, 반드시 이에 한정되는 것은 아니다.

또한, 광출력부(110)가 광신호를 펄스파나 지속파 형태로 생성함으로써, 카메라 모듈(100)은 광출력부(110)로부터 출력된 광신호와 객체로부터 반사된 후 카메라 모듈(100)로 입력된 반사광 신호 사이의 위상 차 또는 시간 차를 이용 할 수 있다. 본 명세서에서, 조사광(GS)은 광출력부(110)로부터 출력되어 객체에 입사되는 광신호를 의미하고, 반사광(RS)은 광출력부(110)로부터 출력된 조사광이 객체에 도달하여 객체로부터 반사된 후 카메라 모듈(100)로 입력되는 광신호를 의미할 수 있다. 객체의 입장에서 조사광(GS)은 입사광이 될 수 있고, 반사광(RS)은 카메라 모듈 입장에서 입력광이 될 수 있다. 이하에서는, 조사광을 광신호(예컨대, 제1 광신호, 제2 광신호) 또는 조사광 신로, 그리고 반사광을 반사광 신호로 설명한다.

또한, 광출력부(110)는 생성된 광신호를 소정의 노출 주기(integration time) 동안 객체에 조사한다. 여기서, 노출 주기는 거리 정보를 획득하기 위하여 픽셀에서 반사광을 수신하여 전하를 생성하는 시간을 의미한다. 그리고 노출 주기는 적어도 하나 이상일 수 있으며, 적어도 하나 이상의 노출 주기가 프레임 주기를 이룰 수 있다. 이에 대한 자세한 설명은 후술한다.

또한, 복수의 프레임을 생성하는 경우에 상술한 노출 주기가 반복될 수 있다. 예를 들어, 카메라 모듈(100)이 20 FPS로 객체를 촬영하는 경우, 노출 주기는 1/20[sec]일 수 있다. 그리고 100개의 프레임을 생성하고, 노출 주기와 프레임 주기가 동일한 경우, 노출 주기는 100번 반복될 수 있다. 다만, 이에 한정되는 것은 아니며 1 프레임 주기에 복수 개의 노출 주기가 존재할 수도 있다.

그리고 광출력부(110)는 소정의 주파수를 가지는 출력 광신호뿐만 아니라, 서로 다른 주파수를 가지는 복수의 광신호를 생성할 수도 있다. 또한, 광출력부(110)는 서로 다른 주파수를 가지는 복수의 광신호를 순차적으로 반복하여 생성할 수 있다. 또는, 광출력부(110)는 서로 다른 주파수를 가지는 복수의 광신호를 동시에 생성할 수도 있다. 이러한 동작을 위하여, 실시예로 광출력부(110)는 광원(E, 도 2 참조), 광변경부(미도시됨), 집광부(미도시됨)를 포함할 수 있다.

먼저, 광원(E)은 빛을 생성할 수 있다. 광원(E)이 생성하는 빛은 파장이 770nm 내지 3000nm인 적외선 일 수 있으며, 파장이 380nm 내지 770 nm인 가시광선 일 수도 있다. 광원(E)은 발광 다이오드(Light Emitting Diode, LED)를 이용할 수 있으며, 복수의 발광 다이오드가 일정한 패턴에 따라 배열된 형태를 가질 수 있다. 뿐만 아니라, 광원(E)은 유기 발광 다이오드(Organic light emitting diode, OLED)나 레이저 다이오드(Laser diode, LD)를 포함할 수도 있다. 또는, 광원(E)은 VCSEL(Vertical Cavity Surface Emitting Laser)일 수도 있다. VCSEL은 전기 신호를 광신호로 바꾸어 주는 레이저 다이오드 중 하나이며, 약 800nm 내지 1000nm인 파장, 예를 들어 약 850nm 또는 약 940nm 파장을 사용할 수 있다.

광원(E)은 일정 시간 간격으로 점멸(on/off)을 반복하여 펄스파 형태나 지속파 형태의 광신호를 생성한다. 일정 시간 간격은 광신호의 주파수일 수 있다. 광원(E)의 점멸은 광변경부(미도시됨)에 의해 제어될 수 있다.

광변경부(미도시됨)는 광원(E)의 점멸을 제어하여 광원(E)이 지속파나 펄스파 형태의 광신호를 생성하도록 제어할 수 있다. 즉, 광변경부(미도시됨)는 주파수 변조(frequency modulation)나 펄스 변조(pulse modulation) 등을 통해 광원(E)이 지속파나 펄스파 형태의 광신호를 생성하도록 제어할 수 있다.

그리고 집광부(미도시됨)는 광원(E)으로부터 생성된 광을 어레이 스팟을 가지도록 광 경로를 변경할 수 있다. 예컨대, 집광부(미도시됨)는 결상 렌즈와 마이크로 렌즈 어레이 또는 회절광학소자(Diffractive Optical Element, DOE)를 포함 수 있다. 이러한 구성에 의하여, 카메라 모듈(100)에서 객체(O)를 향해 출사한 광이 복수 개의 어레이 스팟을 가질 수 있다. 이로써, 카메라 모듈(100)과 객체(O) 간의 거리가 멀어지더라도 집광으로 인하여 카메라 모듈(100)에서 출사한 광이 객체(O)에 용이하게 도달할 수 있다. 이에 따라, 실시예에 따른 카메라 모듈(100)은 보다 장거리로 광 전송이 가능해질 수 있다. 이 때, 어레이 스팟의 개수는 다양하게 설정될 수 있으나, 본 명세서에서는 광출력부(110)가 광원(E)을 포함하는 것을 기준으로 설명한다.

한편, 광학부(120)는 적어도 하나의 렌즈를 포함할 수 있다. 광학부(120)는 객체로부터 반사된 반사광 신호를 적어도 하나의 렌즈를 통해 집광하여 센서(130)에 전달할 수 있다. 그리고 광학부(120)는 적어도 하나의 렌즈는 고체 렌즈를 포함할 수 있다. 또한, 적어도 하나의 렌즈는 가변 렌즈를 포함할 수 있다. 이러한 가변 렌즈는 초점 가변 렌즈일 수 있다. 또한, 가변 렌즈는 초점이 조절되는 렌즈일 수 있다. 또한, 가변 렌즈는 액체 렌즈, 폴리머 렌즈, 액정 렌즈, VCM 타입, SMA 타입 중 적어도 하나일 수 있다. 액체 렌즈는 하나의 액체를 포함하는 액체 렌즈와 두 개의 액체를 포함하는 액체 렌즈를 포함할 수 있다. 하나의 액체를 포함하는 액체 렌즈는 액체와 대응되는 위치에 배치되는 멤브레인을 조절하여 초점을 가변시킬 수 있으며, 예를 들어, 마그넷과 코일의 전자기력에 의해 멤브레인을 가압하여 초점을 가변시킬 수 있다. 두 개의 액체를 포함하는 액체 렌즈는 전도성 액체와 비전도성 액체를 포함하여 액체 렌즈에 인가되는 전압을 이용하여 전도성 액체와 비전도성 액체가 형성하는 계면을 조절할 수 있다. 폴리머 렌즈는 고분자 물질을 피에조 등의 구동부를 통해 초점을 가변시킬 수 있다. 액정 렌즈는 전자기력에 의해 액정을 제어하여 초점을 가변시킬 수 있다. VCM 타입은 고체 렌즈 또는 고체 렌즈를 포함하는 렌즈 어셈블리를 마그넷과 코일간의 전자기력을 통해 조절하여 초점을 가변시킬 수 있다. SMA 타입은 형상기억합금을 이용하여 고체 렌즈 또는 고체 렌즈를 포함하는 렌즈 어셈블리를 제어하여 초점을 가변시킬 수 있다. 또한, 광학부(120)는 광학 플레이트를 포함할 수 있다. 광학 플레이트는 광 투과성 플레이트일 수 있다.

또한, 광학부(120)는 특정 파장 영역을 투과시키는 필터(미도시됨)를 포함할 수 있다. 실시예에서, 광학부(120)의 필터(미도시됨)는 기설정된 파장 영역의 광만을 투과하고, 상기 기설정된 파장 영역 이외의 광을 차단할 수 있다. 이 때, 필터(미도시됨)는 적외선(IR) 영역의 광을 부분적으로 통과할 수 있다. 예컨대, 필터(미도시됨)는 780nm 내지 1000nm 의 광을 부분적으로 통과시키는 적외선 통과 대역 필터(IR band pass filter)를 포함할 수 있다.

센서(130)는 광학부(120)를 통해 집광된 반사광 신호를 이용하여 전기 신호를 생성할 수 있다. 실시예로, 센서(130)는 광출력부(110)의 조사광(GS) 별 점멸 주기와 동기화되어 반사광 신호(RS)를 흡수할 수 있다. 예컨대, 센서(130)는 광출력부(110)로부터 출력된 광신호와 동상(in phase) 및 이상(out phase)에서 각각 빛을 흡수할 수 있다.

또한, 센서(130)는 서로 다른 위상차를 가지는 복수의 참조 신호(reference signal)를 이용하여 각 참조 신호에 대응하는 전기 신호를 생성할 수 있다. 예컨대, 전기 신호는 각 참조 신호와 반사광 간의 믹싱(mixing)된 신호로 볼 수 있으며, 믹싱은 합성곱(convolution), 곱(multiplication) 등을 포함할 수 있다. 또한, 참조 신호의 주파수는 광출력부(110)로부터 출력된 광신호의 주파수에 대응하게 설정될 수 있다. 실시예로, 참조 신호의 주파수는 광출력부(110)의 광신호의 주파수와 동일할 수 있다.

이와 같이, 광출력부(110)가 복수의 주파수로 광신호를 생성하는 경우, 센서(130)는 광신호의 각 주파수에 대응하는 주파수를 갖는 복수의 참조 신호에 맞춰 전기 신호를 생성할 수 있다. 예컨대, 복수의 참조 신호에 대응하여 센서(130)의 각 픽셀에서 게이트의 스위칭 동작이 수행되고, 반사광 신호(RS)를 흡수하여 생성된 전기 신호가 게이트의 스위칭 동작에 따라 커패시터 등의 충전 소자에 전하량이 충전되어, 최종적으로 전기 신호(충전된 전하량)가 출력될 수 있다. 예를 들어, 전기 신호는 각 참조 신호 별 전하량이나 전압일 수 있으며, 각 픽셀 별로 출력될 수 있다.

그리고 제어부(140)는 조사광(GS)와 반사광 신호(RS) 간의 위상 차이를 이용하여 객체의 거리 정보를 획득할 수 있다. 여기서, 위상 차이는 센서(130)에서 출력된 전기 신호로부터 산출될 수 있다.

또한, 실시예에서, 제어부(140)는 카메라 모듈(100)에 가까운 거리에 위치하는 객체(O)를 감지하기 위해 광출력부(110)에서 출력된 제1 광신호와 제1 광신호에 대응하는 제1 반사광 신호 간의 위상 차이를 이용하여 객체의 거리 정보(제1 거리 정보)를 전처리로 획득하고, 획득된 객체의 거리에 따라 제1 광신호 이후에 조사되는 광신호인 제2 광신호가 광출력부(110)로부터 조사되는지 여부를 결정할 수 있다.

다시 말해, 객체(O)와 카메라 모듈(100) 간의 거리가 매우 인접한 경우에 반사되는 조사량이 커 반사광 신호에 의해 생성되는 전기 신호가 매우 클 수 있다. 예컨대, 전기 신호가 기준치보다 높아 제어부는 각 픽셀로부터 거리 정보를 정확하게 산출하기 어려울 수 있다. 또한, 인접한 객체가 피부 또는 눈과 같은 인체의 일부분인 경우에 안전 확보가 어려울 수 있다. 이에 따라, 실시예에 따른 제어부는 거리 측정에 있어서 조사량이 낮은 광신호(여기서, 제1 광신호)를 우선적으로 조사한 후에 조사량이 높은 광신호(여기서, 제2 광신호)의 출력을 결정하여, 광신호에 대한 안전 확보를 용이하게 제공할 수 있다. 이에 대한 자세한 설명은 후술한다.

그리고 제1 광신호와 제1 반사광 신호에 의해 획득하는 거리 정보를 제1 거리 정보로, 제2 광신호와 제2 반사광 신호에 의해 획득하는 거리 정보를 제2 거리 정보로 설명한다.

또한, 제어부(140)는 반사광 신호의 광경로를 시프팅 시키도록 광학부(120)를 제어할 수 있다. 이러한 구성에 의하여, 고해상의 거리 이미지를 추출하기 위한 복수의 이미지 데이터를 출력할 수 있다.

뿐만 아니라, 실시예에 따른 카메라 모듈(100)은 연산부(미도시됨)를 더 포함할 수 있다. 이러한 연산부(미도시됨)는 센서(130)로부터 수신한 전기 신호를 이용하고 제어부(140)에서 추출된 복수의 이미지 데이터를 조합하여 이미지 데이터의 해상도보다 높은 고해상의 거리 정보를 연산할 수 있다. 또한, 연산부(미도시됨)는 카메라 모듈을 포함하는 광학 기기 내에 또는 도시된 바와 같이 카메라 모듈(100) 내에 배치되어 연산을 수행할 수도 있다. 이하에서는 연산부(미도시됨)가 카메라 모듈(100) 내에 배치되는 것을 기준으로 설명한다.

그리고 연산부(미도시됨)는 센서(130)에 센싱된 정보를 카메라 모듈(100)로부터 전달 받아 연산을 수행할 수 있다. 연산부(미도시됨)는 센서(130)로부터 수신한 전기 신호를 이용하여 복수의 저해상 정보를 수신하고 복수의 저해상 정보를 이용하여 고해상 거리 정보를 생성할 수 있다. 예를 들어 복수의 저해상 정보를 재배열 하여 고해상 거리 정보를 생성할 수 있다.

이 때, 연산부(미도시됨)는 객체와 카메라 모듈(100) 사이의 거리를 광 출력부로부터 출력된 광신호와 상기 센서에 수신된 광신호 간의 시간 차를 이용하거나, 서로 다른 위상에 센서의 유효 영역을 노출시키는 센서의 복수의 노출 시간동안 획득한 복수의 정보를 이용하여 산출할 수 있다.

그리고 본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

도 2는 실시예에 따른 광출력부를 도시한 도면이고, 도 3은 실시예에 따른 광출력부의 광신호를 도시한 도면이다.

도 2 및 도 3을 참조하면, 실시예에 따른 광출력부(110)는 상술한 바와 같이 복수 개의 광원(E)을 포함할 수 있다. 일 예로, 복수 개의 광원(E)은 메트릭스 등의 형태로 배치될 수 있다. 그리고 실시예에 따른 광출력부(110)는 제1 광신호(GS1) 및 제2 광신호(GS2)를 출력할 수 있다. 즉, 각 광원(E)은 상술한 제1 광신호(GS1) 및 제2 광신호(GS2)를 출력할 수 있다. 다만, 이하에서는 제1 광신호(GS1) 및 제2 광신호(GS2)가 광출력부(110)로부터 출력되는 광신호 전체로 설명한다.

실시예로, 제1 광신호(GS1)는 제2 광신호(GS2)보다 위상이 앞설 수 있다. 그리고 제1 광신호(GS1)의 출력(이하 제1 출력, S1)은 제2 광신호(GS2)의 출력(이하 제2 출력, S2)보다 작을 수 있다. 즉, 제1 출력(S1)은 제2 출력(S2)보다 작을 수 있다. 여기서, 제1 출력(S1)은 제1 광신호(GS1)의 방사 조도(irradiance, mW/cm²)이고, 제2 출력(S2)은 제2 광신호(GS2)의 방사 조도(irradiance, mW/cm²)이다. 방사 조도는 단위 면적당 광 출력을 의미한다.

즉, 실시예에 따른 카메라 모듈은 보다 조사량이 작은 제1 광신호(GS1)를 제2 광신호(GS2)에 선행하여 조사하여 거리(또는 거리) 정보를 획득하여 객체(O)가 카메라 모듈에 매우 인접한 경우에 해당 거리에서 인체 등에 보다 유해할 수 있는 제2 광신호(GS2)의 조사 여부를 결정하여, 카메라 모듈의 안전 확보를 제공할 수 있다.

그리고 제1 광신호(GS1)는 제1 크기(A1), 제1 주기(T1) 및 제1 프레임 주기(F1)를 가질 수 있다. 제1 광신호(GS1)의 제1 크기(A1)는 제1 광신호(GS1)의 진폭이고, 제1 광신호(GS1)의 제1 주기(T1)는 신호의 주기(Period)이고, 제1 광신호(GS1)의 제1 프레임 주기(F1)는 거리 정보 산출이 가능한 주기일 수 있다. 그리고 제1 광신호(GS1)에서 제1 크기(A1)와 제1 주기(T1)의 곱은 제1 광신호(G1)의 전체 출력으로 전체 방사 조도일 수 있다.

마찬가지로, 제2 광신호(GS2)는 제2 크기(A2), 제2 주기(T2) 및 제2 프레임 주기(F2)를 가질 수 있다. 제2 광신호(GS2)의 제2 크기(A2)는 제2 광신호(GS2)의 진폭이고, 제2 광신호(GS2)의 제2 주기(T2)는 신호의 주기(Period)이고, 제2 광신호(GS2)의 제2 프레임 주기(F2)는 거리 정보 산출이 가능한 주기일 수 있다.

이 때, 일 실시예로, 제1 광신호(GS1)의 제1 크기(A1)는 제2 광신호(GS2)의 제2 크기(A2)보다 작을 수 있다. 그리고 제1 광신호(GS1)의 제1 주기(T1)는 제2 광신호(GS2)의 제2 주기(T2)와 동일할 수 있다. 또한, 제1 광신호(GS1)의 제1 프레임 주기(F1)도 제2 광신호(GS2)의 제2 프레임 주기(F2)와 동일할 수 있다. 마찬가지로 제2 광신호(GS2)에서 제2 크기(A2)와 제2 주기(T2)의 곱은 제2 광신호(G2)의 전체 출력으로 전체 방사 조도일 수 있다. 이에 따라, 제1 광신호(GS1)는 제2 광신호(GS2)대비 작은 진폭을 가지므로, 제1 출력(S1)이 제2 출력(S2)보다 클 수 있다.

도 4는 일 실시예에 따른 광출력부를 도시한 도면이고, 도 5는 도 5에서 제1 채널부의 거리에 따른 조사량을 설명하는 도면이고, 도 6은 도 5에서 제2 채널부의 거리에 따른 조사량을 설명하는 도면이다.

도 4를 참조하면, 일 실시예에 따른 광출력부(110)는 영역 내에 배치된 광원(E)의 개수에 따라 구획되고 제1 채널부(CH1) 및 제2 채널부(CH2)를 포함할 수 있다.

먼저, 제1 채널부(CH1) 및 제2 채널부(CH2)에는 모두 적어도 하나 이상의 광원(E)으로 이루어질 수 있다. 그리고 제1 채널부(CH1) 내의 광원(E)의 개수가 제2 채널부(CH2) 내의 광원(E)의 개수보다 작을 수 있다.

그리고 제1 채널부(CH1)는 제2 채널부(CH2)와 적어도 일부 중첩될 수 있다. 다만, 이에 한정되는 것은 아니며, 제1 채널부(CH1)와 제2 채널부(CH2)는 서로 이격 배치될 수도 있다.

또한, 일 실시예로 제1 광신호는 제1 채널부(CH1)로부터 조사된 광신호이고, 제2 광신호는 제2 채널부(CH2)로부터 조사된 광신호일 수 있다. 이로써, 제1 채널부(CH1) 내의 광원(E)의 개수가 제2 채널부(CH2) 내의 광원(E)의 개수보다 작으므로 상술한 바와 같이 제1 광신호의 제1 출력이 제2 광신호의 제2 출력보다 작을 수 있다.

다시 말해, 제1 출력이 제2 출력보다 작기 위해, 광출력부(110)를 조사량이 상이하도록 영역을 구획하여 구동할 수 있다. 이러한 구성에 의하여, 카메라 모듈은 인접한 객체를 정확하게 측정하고 광출력부(110)의 광신호에 대한 안전을 확보할 수 있다.

도 5 및 도 6을 참조하면, 광출력부가 3mmX3mm 내에 203 개의 광원으로 이루어지며, 1개의 광원을 갖는 제1 채널부(CH1) 및 203개의 광원을 갖는 제2 채널부(CH2)로 구획되어 각각 구동되는 경우, 거리에 따른 방사 조도(Irradiance)를 측정하였다. 도 5 및 아래의 표 1은 제1 채널부(CH1)로 구동 시 거리에 따른 방사 조도를 나타내고, 도 6 및 아래의 표 2는 제2 채널부(CH2)로 구동 시 거리에 따른 방사 조도를 나타낸다.

거리(Distance, mm)	방사 조도(irradiance, mW/cm2]
350	62.53
550	23.45
750	12.55
1000	7.05

거리(Distance, mm)	방사 조도(irradiance, mW/cm2]
5	1666.60
25	58.57
50	14.66
75	6.38
100	3.59

즉, 동일 거리에서 제1 채널부(CH1)의 조사량은 제2 채널부(CH2)의 조사량보다 작을 수 있다. 또한, 제1 채널부(CH1)는 제2 채널부(CH2)와 동일한 방사 조도를 갖는 지점까지의 거리가 제2 채널부(CH2)의 거리보다 작을 수 있다.다시 말해, 실시예에 따른 카메라 모듈은 객체와 인접한 경우에 방사 조도가 매우 크므로 거리를 정확하게 측정하고 인체의 안전을 확보하기 위하여 제1 광신호와 제2 광신호를 광원의 개수를 기준으로 구분하여 출력할 수 있다.

도 7은 다른 실시예에 따른 광출력부 및 광신호를 도시한 도면이다.

도 7을 참조하면, 다른 실시예에 따른 광출력부(110)는 제1 광신호(GS1)와 제2 광신호(GS2)를 동일 채널부의 광원을 구동하여 출력할 수 있다.

일 예로, 광출력부(110)는 전체 광원을 모두 포함하는 제3 채널부(CH3)를 포함할 수 있으며, 제1 광신호(GS1) 및 제2 광신호(GS2)가 제3 채널부(CH3)의 구동으로 출력될 수 있다. 즉, 제1 광신호(GS1)와 제2 광신호(GS2)는 동일한 개수의 광원으로부터 조사된 광신호일 수 있다.

다만, 다른 실시예에서 제1 광신호(GS1)는 각 광원의 진폭이 제2 광신호(GS2)의 각 광원의 진폭보다 작을 수 있다. 도 7에서는 하나의 광원에 대해 제1 광신호(GS1) 및 제2 광신호(GS2)를 도시하였으나 이는 제3 채널부(CH3)로부터 출력된 광신호 전체를 의미한다.

이에 따라, 제1 광신호(GS1)와 제2 광신호(GS2)는 동일 채널부로부터 출력되더라도 제1 광신호(GS1)의 제1 크기(A1')는 제2 광신호(GS2)의 제2 크기(A2)보다 작아, 제1 광신호(GS1)의 제1 출력(S1')이 제2 광신호(GS2)의 제2 출력(A2')보다 작을 수 있다. 즉, 광출력부(110)에서 각 광원의 광출력은 크기가 제1 광신호(GS1)보다 제2 광신호(GS2) 출력 시에 더 클 수 있다.

그리고 이 때 제1 광신호(GS1)의 주기(T1')와 제2 광신호(GS2)의 주기(T2')는 동일할 수 있다. 이에 따라, 광출력부(110)의 광원에 인가되는 구동 신호(예컨대, 구동 전류 또는 구동 전압)를 조절함으로써 저전력 및 용이한 조작으로 광출력부의 조사량을 조절할 수 있다.

도 8은 또 다른 실시예에 따른 광출력부의 광신호를 도시한 도면이다.

도 8을 참조하면, 또 다른 실시예에 따른 광출력부는 상술한 바와 동일하게 제2 광신호(GS2)에 앞서서 제1 광신호(GS1)를 출력할 수 있으며, 제1 출력(S1'')이 제2 출력(S2'')보다 작을 수 있다.

이 때, 제1 광신호(GS1)의 제1 크기(A1'')는 제2 광신호(GS2)의 제2 크기(A2'')와 동일할 수 있다. 예컨대, 제1 광신호(GS1)와 제2 광신호(GS2)는 동일한 채널 및 동일한 출력을 갖는 광원으로부터 출력될 수 있다.

다만, 상술한 광신호의 크기와 달리, 제1 광신호(GS1)의 제1 주기(T1'')는 제2 광신호(GS2)의 제2 주기(T2'')와 상이할 수 있으며, 제1 주기(T1'')는 제2 주기(T2'')보다 작을 수 있다. 이에 따라, 제1 프레임 주기(F1'')는 제2 프레임 주기(F2'')보다 작을 수 있다.

뿐만 아니라, 후술하는 센서에서 제1 반사광 신호에 대한 노출 주기가 제2 반사광 신호에 대한 노출 주기와 상이할 수 있으며, 제1 반사광 신호에 대한 노출 주기가 제2 반사광 신호에 대한 노출 주기보다 작을 수 있다.

도 9는 또 다른 실시예에 따른 광출력부의 광신호를 도시한 도면이다.

도 9를 참조하면, 또 다른 실시예에 따른 광출력부는 제2 광신호(GS2)에 선행하여 제1 광신호(Gs1)를 출력할 수 있고, 제1 출력(S1''')이 제2 출력(S2''')보다 작을 수 있다.

이 때, 제1 광신호(GS1)의 제1 크기(A1''') 및 제1 주기(T1''')는 제2 광신호(GS2)의 제2 크기(A2''') 및 제2 주기(T2''') 각각과 상이할 수 있다. 실시예로 제1 크기(A1''')는 제2 크기(A2''')보다 작고, 제1 주기(T1''')는 제2 주기(T2''')보다 작을 수 있다. 예컨대, 제1 광신호(GS1)와 제2 광신호(GS2)는 서로 다른 채널 또는 상이한 출력을 가지는 광원으로부터 출력될 수 있다. 뿐만 아니라, 제1 프레임 주기(F1''')는 제2 프레임 주기(F2''')와 상이하며, 제1 프레임 주기(F1''')가 제2 프레임 주기(F2''')보다 작을 수 있다.

더 나아가, 본 명세서에서 상술하는 실시예 이외에 제1 크기(A1''') 및 제1 주기(T1''') 중 어느 하나가 제2 크기(A2''') 및 제2 주기(T2''') 중 어느 하나보다 작고 제1 크기(A1''') 및 제1 주기(T1''') 중 다른 하나가 제2 크기(A2''') 및 제2 주기(T2''') 중 다른 하나보다 큰 경우에 제1 출력(S1''')이 제2 출력(S2''')보다 작을 수 있으며, 이러한 예도 본 발명은 모두 포함할 수 있다.

도 10은 실시예에 따른 광출력부의 광신호를 도시한 도면이다.

도 10을 참조하면, 실시예에 따른 광출력부는 제1 광신호(GS1) 및 제2 광신호(GS2)를 순차로 출력한 이후에 다시 제1 광신호(GS1)를 출력할 수 있다.

즉, 제어부는 제1 광신호(GS1) 및 제1 반사광 신호를 이용하여 측정된 객체의 거리가 기설정된 거리보다 크게 인식되면 인체 등의 안전이 확보된 것으로 고려하여 제2 광신호(GS2)를 조사할 수 있다. 그리고 제어부는 제2 광신호와 제2 반사광 신호를 이용하여 객체의 거리 정보를 획득할 수 있다. 거리 정보 획득에 대한 자세한 내용은 후술한다.

또한, 제어부는 광출력부에서 기설정된 주기로 제1 광신호(GS1)가 출력되도록 제어할 수 있다. 일 예로, 광출력부는 제1 광신호(GS1)를 제1 구동 주기(td)로 출력할 수 있다. 이에 따라, 카메라 모듈은 객체와 카메라 모듈 간의 거리를 주기적으로 확인하여 객체와 카메라 모듈 간의 거리가 기설정된 거리보다 작은 경우 안전 확보를 위해 제2 광신호(GS2)의 출력을 차단할 수 있다. 이로써, 실시예에 따른 카메라 모듈은 객체에 대한 거리를 측정하는 경우 움직임 등에 의한 안전 문제가 발생하는 리스크(risk)를 감소할 수 있다.

또한, 변형예로, 광출력부는 제1 광신호를 제2 광신호의 최소 단위인 프레임 주기마다 출력할 수 있다. 이로써, 주기적으로 객체와의 제1 거리 정보를 이용하여 객체와의 거리에 따라 제2 거리 정보를 획득할 지 여부를 결정할 수 있다. 또한, 최소 단위인 프레임 주기마다 광신호의 출력을 결정하여 안전이 아닌 실제 객체와의 거리인 제2 거리 정보를 효율적으로 측정할 수 있다.

상술한 실시예에 따를 때, 제어부는 센서에서 수광된 제1 반사광 신호가 제1 수광량 이하로 수광되는 경우에 제2 광신호를 출력할 수 있다. 여기서 제1 수광량은 객체와의 거리가 10cm인 지점에서 인체에 유해한 량으로 설정될 수 있다.

예를 들어, 제어부는 객체와의 거리가 먼 경우에 제1 반사광 신호의 수신이 제1 수광량보다 작아(반사 신호가 없는 경우 포함) 제2 광신호를 출력할 수 있다. 이러한 구성에 의하여, 근거리의 객체로부터 인체를 보호하면서 보다 원거리의 객체의 거리 정보를 정확하게 획득할 수 있다.

또한, 상술한 바와 같이 제어부는 객체가 카메라 모듈과 매우 가까이 위치하는 경우에 제1 반사광 신호의 결과가 제1 수광량보다 커 제2 광신호를 출력하지 않을 수 있다. 또한, 제1 광신호의 출력을 오프(off)할 수 있다. 이 때, 후술하는 커패시터의 과충전에 의한 Null값도 제1 수광량보다 큰 경우로 설명한다.

또한, 제어부는 제1 수광량보다 작은 제2 수광량 이하로 수광하는 경우 또는 제1 반사광 신호가 수광되지 않는 경우에 제1 광신호의 출력을 차단(오프, off)할 수 있다. 이러한 구성에 의하여, 객체가 광출력부에 접촉할 정도의 근거리에서 인체의 안전을 확보할 수 있다.

도 11은 실시예에 따른 카메라 모듈의 단면도이다.

도 11을 참조하면, 실시예에 따른 카메라 모듈은 렌즈 어셈블리(310), 센서(320) 및 인쇄회로기판(330)을 포함할 수 있다. 여기서, 렌즈 어셈블리(310)는 도 1의 광학부(120)에 대응하고, 센서(320)는 도 1의 센서(130)에 대응할 수 있다. 그리고 도 1의 제어부(140)는 인쇄회로기판(330) 또는 센서(320)에 구현될 수 있다. 그리고 도시되지 않았으나, 도 1의 광출력부(110)는 인쇄회로기판(330) 상에서 배치되거나, 별도의 구성으로 배치될 수 있다. 또한, 광출력부(110)는 제어부(140)에 의해 광신호의 출력이 제어될 수 있다.

구체적으로, 렌즈 어셈블리(310)는 렌즈(312), 렌즈 배럴(314), 렌즈 홀더(316) 및 IR 필터(318)를 포함할 수 있다.

렌즈(312)는 복수 매로 구성될 수 있으며, 1매로 구성될 수도 있다. 렌즈(312)가 복수 매로 구성될 경우 각 렌즈들은 중심축을 기준으로 정렬하여 광학계를 형성할 수 있다. 여기서, 중심축은 광학계의 광축(Optical axis)과 동일할 수 있다. 렌즈(312)는 상술한 가변 렌즈를 포함할 수 있다.

렌즈 배럴(314)은 렌즈 홀더(316)와 결합되며, 내부에 렌즈를 수용할 수 있는 공간을 가질 수 있다. 렌즈 배럴(314)은 하나 또는 복수의 렌즈와 회전 결합될 수 있으나, 이는 예시적인 것이며, 접착제(예를 들어, 에폭시(epoxy) 등의 접착용 수지)를 이용한 방식 등 다른 방식으로 결합될 수 있다.

렌즈 홀더(316)는 렌즈 배럴(314)과 결합되어 렌즈 배럴(314)을 지지하고, 센서(320)가 탑재된 인쇄회로기판(330) 상에 배치될 수 있다. 렌즈 홀더(316)에 의하여 렌즈 배럴(314)에 IR 필터(318)가 배치될 수 있는 공간이 형성될 수 있다. 도시되지는 않았지만 렌즈 배럴(314)에는 제어부(140ㄴ)에 의해 제어되어 IR 배럴(314)을 틸트 시키거나 시프팅 시킬 수 있는 구동부가 배치될 수 있다. 렌즈 홀더(316)외 내주면에는 나선형 패턴이 형성될 수 있고, 이와 마찬가지로 외주면에 나선형 패턴이 형성된 렌즈 배럴(314)과 회전 결합할 수 있다. 그러나, 이는 예시적인 것이며, 렌즈 홀더(316)와 렌즈 배럴(314)은 접착제를 통해 결합되거나, 렌즈 홀더(316)와 렌즈 배럴(314)이 일체형으로 형성될 수도 있다.

렌즈 홀더(316)는 렌즈 배럴(314)과 결합되는 상부 홀더(316-1) 및 센서(320)가 탑재된 인쇄회로기판(330) 상에 배치되는 하부 홀더(316-2)로 구분될 수 있으며, 상부 홀더(316-1) 및 하부 홀더(316-2)는 일체형으로 형성되거나, 서로 분리된 구조로 형성된 후 체결 또는 결합되거나, 서로 분리되어 이격된 구조를 가질 수도 있다. 이때, 상부 홀더(316-1)의 직경은 하부 홀더(316-2)의 직경보다 작게 형성될 수 있다.

상기의 예시는 일 실시예에 불과하며, 광학부(120)는 ToF 카메라 모듈(100)로 입사되는 반사광 신호를 집광하여 센서(130)에 전달할 수 있는 다른 구조로 구성될 수도 있다.

도 12는 실시예에 따른 센서를 설명하기 위한 도면이고, 도 13은 실시예에 따른 센서에서 전기 신호 생성 과정을 설명하기 위한 도면이고, 도 14는 실시예에 따른 센서에서 거리 영상을 생성하는 1 프레임 주기의 타이밍도이다.

도 12를 참조하면, 센서(130)는 상술한 바와 같이 복수의 픽셀(PX)을 가지고 어레이 구조로 이루어질 수 있다. 이 때, 센서(130)는 능동 픽셀 센서(Active pixel sensor, APS)로 CMOS(Complementary Metal Oxide Semiconductor) 센서일 수 있다. 또한, 센서(130)는 CCD(Charge Coupled Device) 센서일 수도 있다. 이러한 센서(130)는 피사체에 반사되는 적외선 광을 받아들여 시간 또는 위상 차를 이용해 거리를 측정하는 ToF 센서를 포함할 수 있다.

예컨대, 센서(130)에서 복수 개의 픽셀(PX)은 제1 방향 및 제2 방향으로 나란히 배치될 수 있다. 그리고 복수 개의 픽셀은 매트릭스 형태일 수 있다. 또한, 실시예로 제1 픽셀 및 제2 픽셀을 포함할 수 있다. 이러한 제1 픽셀 및 제2 픽셀은 제1 방향 및 제2 방향으로 교번하여 배치될 수 있다. 즉, 하나의 제1 픽셀에서 복수의 제2 픽셀이 제1 방향 및 제2 방향으로 인접하게 배치될 수 있다. 예컨대, 센서(130)에서 제1 픽셀 및 제2 픽셀은 체커보드 패턴(checkerboard pattern)으로 배치될 수 있다. 즉, 도 12와 같이 320x240 해상도의 센서(130)의 경우 76,800개의 픽셀이 그리드(grid) 형태로 배열될 수 있다.

또한, 제1 픽셀과 제2 픽셀은 서로 다른 파장 대역을 피크 파장으로 수광하는 픽셀일 수 있다. 예컨대, 제1 픽셀은 적외선 대역을 피크 파장으로 갖는 광을 받을 수 있다. 그리고 제2 픽셀은 적외선 대역 이외의 파장을 피크 파장으로 갖는 광을 받을 수 있다. 뿐만 아니라, 제1 픽셀 및 제2 픽셀 중 어느 하나는 광을 받지 않을 수 있다.

또한, 복수 개의 픽셀(PX)은 사각형, 삼각형, 다각형, 원형 등 다양한 형상으로 이루어질 수 있다. 나아가, 픽셀(PX) 내의 유효 영역도 사각형, 삼각형, 다각형, 원형 등 다양한 형상으로 이루어질 수 있다.

즉, 복수의 픽셀(PX)은 일정한 간격으로 서로 이격 배치될 수 있다. 이러한 이격된 거리는 픽셀(PX)의 크기 대비 매우 작을 수 있고, 와이어 등이 배치될 수 있다. 이하에서 본 명세서에는 이러한 이격 거리를 무시하여 설명한다.

그리고 픽셀(PX)은 검출부(131, photogate), 스위칭부(이하에서는 제1 게이트(132), 제2 게이트(133)로 설명함), 및 집적부(134, 135)를 포함할 수 있다. 검출부(131)는 N형 반도체층, P형 반도체층 및 N형 반도체층과 P형 반도체층 사이에 배치되는 활성층으로 이루어질 수 있으며, 활성층은 반사광 신호로부터 전류를 발생시킬 수 있다. 다시 말해, 검출부(131)는 반사광 신호를 수신하여 전자를 생성할 수 있다.

그리고 제1 게이트(132)와 제2 게이트(133)는 각각 검출부(131)에서 생성된 전자를 집적부(134, 135)로의 전달을 조절할 수 있다. 도 12는 복수의 게이트, 예컨대 제1 게이트(132)와 제2 게이트(133)가 구비되고, 게이트의 스위칭에 대한 제어 신호에 따라 선택적으로 전자를 집적부(134, 135)로 전달하는 것을 예시하고 있다. 또한, 게이트의 온(on)/오프(off)는 명세서 내에서 설명하는 참조 신호에 따라 제어될 수 있다. 그리고 집적부(134, 135)는 전달된 전자를 집적할 수 있다. 전자의 집적 시간이나 주기는 스위칭부로 인가되는 신호에 의해 제어될 수 있다. 그리고 집적부(134, 135)는 일정 시간 동안 전자를 집적하고, 집적된 전자의 양을 출력한 이후에 집적된 전자를 방출할 수 있다.

다시 말해, 센서(130)는 충전 소자 및 스위칭 소자를 포함할 수 있으며, 여기서 충전 소자는 집적부(134, 135)이고, 스위칭 소자는 제1,2 게이트(132,133)일 수 있다. 또한, 이 때 충전 소자는 커패시터(capacitor) 등을 포함하며, 스위칭 소자는 전계 효과 트랜지스터 등 다양한 스위칭 소자를 포함할 수 있으며, 상술한 종류에 한정되지 않는다.

그리고 상술한 동작에 의해 각 픽셀(PX)은 전기 신호를 생성할 수 있다. 뿐만 아니라, 픽셀(PX)은 복수 개의 포토 다이오드 및 복수 개의 트랜지스터로 이루어질 수 있다.

도 13을 참조하면, 반사광(입력광, RS)은 입사광(조사광, GS)이 객체에 입사된 후 반사되어 돌아오는 거리만큼 위상이 지연될 수 있다.

이 때, 실시예에 따른 제어부는 조사광(GS)와 반사광 신호(RS) 간의 위상 차이를 도출하기에 위해 상기 픽셀의 게이트로 참조 신호를 제공할 수 있다. 이 때, 참조 신호는 상술한 바와 같이 복수 개일 수 있다. 실시예에서는 도 13에 나타난 바와 같이 참조 신호는 4개(C1 내지 C4)일 수 있다. 그리고 각 참조 신호(C1 내지 C4)는 광신호 또는 반사광 신호와 동일한 주파수를 가지되, 서로 90도 위상차를 가질 수 있다. 4개의 참조 신호 중 하나(예컨대, C1)는 광신호와 동일한 위상을 가질 수 있다. 그리고 이러한 참조 신호(C1 내지 C4)는 센서로 인가되어, 센서는 참조 신호에 따라 반사광(LS2)으로부터 전기 신호를 생성할 수 있다. 다시 말해, 센서는 각 참조 신호에 대응하여 센서의 유효 영역을 노출시키며, 노출시키는 시간(노출 시간) 동안에 반사광 신호를 수광할 수 있다. 그리고 센서는 참조 신호가 on(양)인 경우에 반사광(LS2)으로부터 전하를 충전하여 전기 신호를 생성할 수 있다. 이에 따라, 센서는 도 13의 음영 부분에 대응하는 전기 신호를 생성할 수 있다.

그리고 다른 실시예로 노출 시간 동안 복수의 주파수로 광신호가 생성될 수 있다. 이 때, 센서는 복수의 주파수에 따른 반사광 신호를 흡수한다. 예를 들어, 주파수 f1과 f2로 광신호가 생성되고, 복수의 참조 신호는 90도의 위상차를 가진다고 가정한다. 그러면, 반사광 신호 역시 주파수 f1과 f2를 가지므로, 주파수가 f1인 광신호와 이에 대응하는 4개의 참조 신호를 통해 4개의 전기 신호가 생성될 수 있다. 그리고 주파수가 f2인 반사광 신호와 이에 대응하는 4개의 참조 신호를 통해 4개의 전기 신호가 생성될 수 있다. 따라서, 전기 신호는 총 8개가 생성될 수 있다. 이하에서는 하나의 주파수로 광신호가 생성된 경우로 설명하나, 상술한 바와 같이 광신호는 복수 개의 주파수를 가지고 생성될 수 있다.

또한, 노출 주기는 참조 신호에 의해 게이트가 on/off가 수행되는 소정의 주기를 의미한다. 예컨대, 노출 주기는 센서의 구동 방식에 따라 다양하게 변경될 수 있다. 센서의 픽셀에 복수 개의 수광부(예컨대, 복수 개의 포토 다이오드)가 존재하는 경우 한번의 노출 주기로 픽셀에 대한 거리 정보가 획득될 수 있다. 즉, 1 개의 노출 주기가 1개의 프레임 주기에 대응할 수 있다. 다만, 이에 한정되는 것은 아니며 센서가 1상식, 2상식 등 다상식으로 구동될 수 있으며, 복수 번의 노출 주기(integration time)가 1개의 프레임 주기를 이룰 수도 있다.

도 14를 참조하면, 4번의 노출 주기(P1 내지 P4)가 1개의 프레임 주기(1 프레임 주기)를 이룰 수 있다. 4번의 노출 주기는 제1 노출 주기(P1), 제2 노출 주기(P2), 제3 노출 주기(P3) 및 제4 노출 주기(P4)를 포함할 수 있다.

그리고 제1 노출 주기(P1) 동안 픽셀(PX)에 제1 참조 신호(C1)가 제공될 수 있다. 그리고 제2 노출 주기(P2) 동안 픽셀(PX)에 되고, 이후에 제2 참조 신호(C2)가 제공될 수 있다. 그리고 제3 노출 주기(P3) 동안 픽셀에 제3 참조 신호(C3)가 제공될 수 있다. 또한, 제4 노출 주기(P4) 동안 픽셀(PX)에 제4 참조 신호(C4)가 제공될 수 있다.

제1 노출 주기(P1) 내지 제4 노출 주기(P4)는 하나의 프레임 주기를 이룰 수 있으며, 각 노출 주기 사이에는 리드 아웃(read out)이 존재할 수 있다. 일 예로, 제1 노출 주기(P1)와 제2 노출 주기(P2) 사이에는 리드 아웃(read out)이 존재할 수 있다. 이 때, 리드 아웃(read out)은 픽셀 내에 충전된 전하량을 방전하는 구간이다. 그리고 하나의 프레임 주기는 제1 노출 주기(P1) 내지 제4 노출 주기(P4)와 각 노출 주기 사이 이후에 순차로 위치하는 리드 아웃(read out)을 모두 포함한 시간 구간일 수 있다.

또한, 제1 참조 신호(C1) 내지 제4 참조 신호(C4)는 픽셀 내에서 충전 소자의 충전을 조절하는 신호로 스위칭 소자에서 게이트 신호이므로 복수 개의 픽셀 각각에서 참조 신호에 대응하는 전기 신호를 각각 출력할 수 있다. 이에 따라, 각 리드 아웃(read out)을 통해 픽셀 내에 저장된 전하를 용이하게 방전하여 각 노출 주기에서 충전된 전햐량을 정확하게 산출할 수 있다.

또한, 더욱 구체적으로 참조 신호를 통해 광신호와 반사광 신호 차이의 위상차를 계산할 수 있다. 상기에서 설명한 바와 같이, 광신호에 대해 하나의 프레임 주기 마다 전기 신호는 4개가 생성될 수 있다. 따라서, 제어부(140)는 아래의 수학식 1을 이용하여 광신호와 반사광 신호 사이의 위상차(t_d)를 계산할 수 있다.

여기서, Q1 내지 Q4는 4개의 전기 신호 각각의 전하충전량(이하 전하량이고, 전하량이 제어부로 제공되고 후술하는 바와 같이 거리 정보 또는 거리 정보가 산출된다)이다. Q1은 광신호와 동일한 위상의 참조 신호에 대응하는 전기 신호의 전하량이다. Q2는 광신호보다 위상이 180도 느린 참조 신호에 대응하는 전기 신호의 전하량이다. Q3는 광신호보다 위상이 90도 느린 참조 신호에 대응하는 전기 신호의 전하량이다. Q4는 광신호보다 위상이 270도 느린 참조 신호에 대응하는 전기 신호의 전하량이다.

다만, 하나의 프레임 주기에서 광신호와 반사광 신호 사이의 위상차(td)를 계산하기 위해 필요한 노출 주기는 상술한 바와 같이 센서(130) 내의 충전 소자의 개수, 스위칭 소자의 개수 및 수광부의 개수에 따라 다양하게 변경될 수 있다.

또한, 하나의 프레임 주기에 복수 개의 노출 주기가 존재하고, 각 노출 주기마다 90도 위상차이를 갖는 4개의 참조 신호가 픽셀로 제공될 수 있다. 그리고 제어부는 각 노출 주기 동안 생성된 전기 신호의 전하량을 이용하여 상술한 광신호와 반사광 신호 사이의 위상차(td)를 계산할 수 있다.

또한, 제어부(140)는 광신호와 반사광 신호의 위상차(td)를 이용하여 객체와 카메라 모듈(100) 사이의 거리를 계산할 수 있다. 이때, 제어부(140)는 아래의 수학식 2를 이용하여 객체와 카메라 모듈(100) 사이의 거리(d, 수학식 2 참조)를 계산할 수 있다.

여기서, c는 빛의 속도이고, f는 출력광의 주파수이다.

실시예에 따르면, 카메라 모듈(100)로부터 ToF IR 영상 및 거리(depth) 영상을 얻을 수 있다. 이에 따라, 본 발명의 실시예에 따른 카메라 모듈은 ToF 카메라 모듈 또는 ToF 카메라 모듈이라 지칭될 수도 있다. 이를 통해, 실시예에 따른 카메라 모듈은 제어부에서 객체와 카메라 모듈 사이의 거리인 거리 정보를 추출할 수 있다.

그리고 본 실시예에서는 1개의 프레임 주기가 2번 이루어질 수 있다. 즉, 실시예로 제1 광신호(GS1)에 대한 거리 측정이 이루어진 이후에 제2 광신호(G2)에 대한 거리 측정이 이루어지므로, 제1 노출 주기(P1) 내지 제4 노출 주기(P4)는 반복하여 수행될 수 있다.

이와 관련하여 더욱 구체적으로 설명하면, 후술하는 도 18에 예시된 바와 같이 실시예에 따른 카메라 모듈(100)은 4개의 위상에 대한 로우(raw) 영상을 생성할 수 있다. 여기서, 4개의 위상은 0°, 90°, 180°, 270°일 수 있으며, 각 위상에 대한 로우 영상은 위상 별로 디지털화된 픽셀 값 또는 아날로그 픽셀 값으로 이루어진 영상일 수 있고, 위상 영상, 위상 IR 영상 등과 혼용될 수 있다. 이 때, 4개의 위상에 대한 로우(raw) 영상은 복수 개의 픽셀에서 생성된 전기 신호에 의해 얻어질 수 있으며, 도 18 내지 도 20은 센서의 전 영역이 추출영역인 경우 위상 별로 얻어진 영상이거나, 상기 영상으로부터 얻어질 수 있는 앰플리튜드 영상(amplitude image) 또는 거리 영상이다.

도 15는 일 실시예에 따른 센서의 구동을 설명하는 도면이다.

도 15를 참조하면, 센서에서 거리 영상 이미지를 추출할 수 있는 1 프레임 주기 동안 4개의 노출 주기(integration time) 및 4개의 리드 아웃이 존재할 수 있다.

그리고 1 프레임 주기는 순차로 수행되는 제1 노출 주기(P1), 제2 노출 주기(P2), 제3 노출 주기(P3) 및 제4 노출 주기(P4)를 포함할 수 있다. 그리고 각 노출 주기 사이에는 리드 아웃이 수행될 수 있다.

또한, 각 노출 주기마다 각 픽셀에서는 상이한 위상에 대한 전기 신호를 생성할 수 있다. 즉, 상이한 참조 신호가 인가될 수 있다. 구체적으로, 제1 노출 주기(P1)에서 픽셀(PX)은 제1 광신호(GS1)와 동일한 주기를 갖는 제1 참조 신호(상술한 C1에 대응)가 인가될 수 있다. 이 때, 제1 광신호(GS1)와 제2 광신호(GS2)는 동일한 주기를 갖는 것으로 가정한다. 이에, 제1 노출 주기 내지 제4 노출 주기는 제1 광신호(GS1)에 대해 이루어진 이후에, 제2 광신호(GS2)에 대해 다시 이루어질 수 있다.

다만, 상술한 바와 같이 제1 광신호(GS1)의 주기가 제2 광신호(GS2)의 주기보다 작은 경우에는 제1 반사광 신호(GS1)에 대해 인가되는 참조 신호의 주기(C1 내지 C4)가 제2 반사광 신호(GS2)에 대해 인가되는 참조 신호(C1' 내지 C4')의 주기보다 작을 수 있다.

또한, 제2 노출 주기(P2)에서 픽셀(PX)은 제1 참조 신호와 180도 위상이 늦은 제2 참조 신호(상술한 C2에 대응)가 인가될 수 있다. 그리고 제3 노출 주기(P3)에서 픽셀(PX)은 제1 참조 신호(C1)에 90도 늦은 제3 참조 신호(상술한 C3에 대응)가 인가될 수 있다. 또한, 제4 노출 주기(P4)에서 제1 참조 신호와 270도 위상이 늦은 제4 참조 신호(상술한 C4에 대응)가 인가될 수 있다.

그리고 제2 광신호(GS2)에 대해 제1 참조 신호(C1') 내지 제4 참조 신호(C4')가 제1 노출 주기(P1) 내지 제4 노출 주기(P4) 동안 픽셀로 각각 인가될 수 있다.

이에 따라, 제1 노출 주기(P1)에서 제1 참조 신호(C1)에 따라 픽셀(PX)은 제1 광신호(GS1)에 대응하는 전하량인 제1-1 전하량(Q1)을 생성할 수 있다. 그리고 제2 노출 주기(P2)에서 제2 참조 신호(C2)에 따라 픽셀(PX)은 제1 광신호(GS1)에 대응하는 전하량인 제1-2 전하량(Q2)을 생성할 수 있다. 그리고 제3 노출 주기(P3)에서 제3 참조 신호(C3)에 따라 픽셀(PX)은 제1 광신호(GS1)에 대응하는 전하량인 제1-3 전하량(Q3)을 생성할 수 있다. 그리고 제4 노출 주기(P4)에서 제4 참조 신호(C4)에 따라 픽셀(PX)은 제1 광신호(GS1)에 대응하는 전하량인 제1-4 전하량(Q4)을 생성할 수 있다.

또한, 1 프레임 주기 이후에 제2 광신호에 대한 제1 노출 주기(P1) 내지 제4 노출 주기(P4)가 순차로 이루어질 수 있다. 이에 따라, 제1 노출 주기(P1)에서 제1 참조 신호(C1')에 따라 픽셀(PX)은 제2 광신호(GS2)에 대응하는 전하량인 제2-1 전하량(Q1')을 생성할 수 있다. 그리고 제2 노출 주기(P2)에서 제2 참조 신호(C2')에 따라 픽셀(PX)은 제2 광신호(GS2)에 대응하는 전하량인 제2-2 전하량(Q2')을 생성할 수 있다. 그리고 제3 노출 주기(P3)에서 제3 참조 신호(C3')에 따라 픽셀(PX)은 제2 광신호(GS2)에 대응하는 전하량인 제2-3 전하량(Q3')을 생성할 수 있다. 그리고 제4 노출 주기(P4)에서 제4 참조 신호(C4')에 따라 픽셀(PX)은 제2 광신호(GS2)에 대응하는 전하량인 제2-4 전하량(Q4')을 생성할 수 있다.

도 16은 다른 실시예에 따른 센서의 구동을 설명하는 도면이다.

도 16을 참조하면, 1 프레임 주기는 각각 2개의 노출 주기를 포함할 수 있다(2개의 노출 주기는 선행하는 제1 노출 주기와 후행하는 제2 노출 주기를 포함하며 본 도면에서 이를 기준으로 설명한다). 센서(130)는 제1 노출 주기 동안 제1 참조 신호(C1)와 제2 참조 신호(C2)를 각각 픽셀(PX)로 제공할 수 있다. 그리고 제2 노출 주기 동안 제3 참조 신호(C3)와 제4 참조 신호(C4)를 각각 픽셀(PX)로 제공할 수 있다. 이에 따라, 제1 노출 주기에서 Q1, Q2를 생성하고, 제2 노출 주기에서 Q3, Q4를 생성할 수 있다. 이에 따라, 제어부는 선행하는 1 프레임 주기에서 Q1 내지 Q4를 모두 생성할 수 있고, 생성된 4개의 전기 신호의 전하량을 이용하여 제1 광신호(GS1)와 제1 반사광 신호 사이(RS1)의 위상차를 계산할 수 있다. 이로써, 실시예에 따른 제어부는 거리 정보를 출력할 수 있다.

그리고 다음 1 프레임 주기에서 센서(130)는 제1 노출 주기 동안 제1 참조 신호(C1')와 제2 참조 신호(C2')를 각각 픽셀(PX)로 제공할 수 있다. 그리고 제2 노출 주기 동안 제3 참조 신호(C3')와 제4 참조 신호(C4)를 각각 픽셀(PX)로 제공할 수 있다. 이에 따라, 제1 노출 주기에서 Q1', Q2'를 생성하고, 제2 노출 주기에서 Q3', Q4'를 생성할 수 있다. 이에 따라, 제어부는 후행하는 1 프레임 주기에서 Q1' 내지 Q4'를 모두 생성할 수 있고, 생성된 4개의 전기 신호의 전하량을 이용하여 제1 광신호(GS2)와 제1 반사광 신호 사이(RS2)의 위상차를 계산할 수 있다. 이로써, 실시예에 따른 제어부는 거리 정보를 출력할 수 있다.

또한, 상술한 바와 같이 제1 광신호(GS1)의 주기가 제2 광신호(GS2)의 주기보다 작은 경우에는 제1 반사광 신호(GS1)에 대해 인가되는 참조 신호의 주기(C1 내지 C4)가 제2 반사광 신호(GS2)에 대해 인가되는 참조 신호(C1' 내지 C4')의 주기보다 작을 수 있다.

도 17은 또 다른 실시예에 따른 센서의 구동을 설명하는 도면이다.

1 프레임 주기는 각각 1개의 노출 주기를 포함할 수 있다. 센서(130)는 노출 주기 동안 제1 참조 신호(C1) 내지 제4 참조 신호(C4)를 각각 픽셀(PX)로 제공할 수 있다. 이에 따라, 노출 주기에서 Q1, Q2, Q3, Q4를 생성할 수 있다. 이에 따라, 제어부는 선행하는 1 프레임 주기에서 Q1 내지 Q4를 모두 생성할 수 있고, 생성된 4개의 전기 신호의 전하량을 이용하여 제1 광신호(GS1)와 제1 반사광 신호 사이(RS1)의 위상차를 계산할 수 있다. 이로써, 실시예에 따른 제어부는 거리 정보를 출력할 수 있다.

그리고 다음 1 프레임 주기에서 센서(130)는 노출 주기 동안 제1 참조 신호(C1')와 내지 제4 참조 신호(C4')를 각각 픽셀(PX)로 제공할 수 있다. 이에 따라, 노출 주기에서 Q1', Q2', Q3', Q4'를 생성할 수 있다. 이에 따라, 제어부는 후행하는 1 프레임 주기에서 Q1' 내지 Q4'를 모두 생성할 수 있고, 생성된 4개의 전기 신호의 전하량을 이용하여 제1 광신호(GS2)와 제1 반사광 신호 사이(RS2)의 위상차를 계산할 수 있다. 이로써, 실시예에 따른 제어부는 거리 정보를 출력할 수 있다.

또한, 제어부는 복수 개의 서브 노출 주기를 통해 얻은 전기 신호의 평균을 1 노출 주기의 전기 신호로 처리할 수 있다. 이에 따라, 거리에 대한 전기 신호의 정확도를 더욱 개선할 수 있다.

도 18은 실시예에 따른 카메라 모듈로부터 얻은 4개의 위상에 대한 로우(raw) 영상이고, 도 19는 실시예에 따른 카메라 모듈로부터 얻은 앰플리튜드 영상(amplitude image)이고, 도 20은 실시예에 따른 카메라 모듈로부터 얻은 거리 영상이다.

도 18 및 도 19를 참조하면, 4개의 위상 영상(Raw(x₀), Raw(x₉₀), Raw(x₁₈₀), Raw(x₂₇₀), 도 18)을 이용하여 수학식 3과 같이 연산하면, ToF IR 영상인 앰플리튜드 영상(amplitude image, 도 19)을 얻을 수 있다.

여기서, Raw(x₀)은 phase 0°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x₉₀)은 phase 90°에서 센서가 받아들이는 픽셀 별 데이터 값이며, Raw(x₁₈₀)은 phase 180°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x₂₇₀)은 phase 270°에서 센서가 받아들이는 픽셀 별 데이터 값일 수 있다. 여기서, phase는 제1 참조 신호 대비 늦은 위상차 정도를 나타낸다.

또는, 도 18의 4개의 위상 영상을 이용하여 수학식 4와 같이 연산하면, 다른 ToF IR 영상인 인텐시티 영상(intensity image)을 얻을 수도 있다.

여기서, Raw(x₀)은 phase 0°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x₉₀)은 phase 90°에서 센서가 받아들이는 픽셀 별 데이터 값이며, Raw(x₁₈₀)은 phase 180°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x₂₇₀)은 phase 270°에서 센서가 받아들이는 픽셀 별 데이터 값일 수 있다.

이와 같이, ToF IR 영상은 4개의 위상 영상 중 2개씩 서로 빼주는 과정을 통하여 생성될 수 있다. 예컨대, 서로 빼주는 2개의 위상 영상은 phase가 상호간에 180°차이가 존재할 수 있다. 그리고 이러한 위성 영상 2개를 서로 빼주는 과정에서 외부 광(background light)이 제거될 수 있다. 이에 따라, ToF IR 영상에는 광원이 출력한 파장대의 신호만 남게 되어, 객체에 대한 IR 감도가 높아지고, 노이즈가 현저하게 줄어들 수 있다.

본 명세서에서, ToF IR 영상은 앰플리튜드(amplitude) 영상 또는 인텐시티(intensity) 영상을 의미할 수 있으며, 인텐시티 영상은 컨피던스(confidence) 영상과 혼용될 수 있다. 도 19에 도시된 바와 같이, ToF IR 영상은 그레이 영상일 수 있다.

한편, 도 18의 4 개의 위상 영상을 이용하여 수학식 5 및 수학식 6과 같이 연산하면, 도 20의 거리 영상도 얻을 수 있다. 그리고 수학식 5 및 수학식 6은 상술한 수학식 1 및 수학식 2에 각각 대응할 수 있다.

도 21은 실시예에 따른 카메라 모듈의 구동 방법을 설명하는 흐름도이고, 도 22는 다른 실시예에 따른 카메라 모듈의 구동 방법을 설명하는 흐름도이다.

도 21 및 도 22을 참조하면, 실시예에 따른 카메라 모듈은 제1 광신호를 출력할 수 있다(S1000). 그리고 카메라 모듈은 제1 광신호가 객체에 반사되어 돌아오는 제1 반사광 신호를 통해 위상 차이를 산출할 수 있다. 그리고 제어부는 상술한 바와 같이 위상 차이를 통해 객체와 카메라 모듈 간의 거리 또는 거리 정보(제1 거리 정보)를 도출할 수 있다(S1100). 이 때, 카메라 모듈은 객체가 기설정된 거리 내에 위치하는 경우에 제1 광신호를 다시 조사하여 객체와의 거리를 재산출할 수 있다. 예컨대, 카메라 모듈은 객체와의 거리 측정에 따라 이를 판단하며, 예로 전기 신호가 소정의 임계값 이상에 이르거나 또는 포화(saturation)에 도달한 겨경우에 기 설정된 거리 내에 객체가 위치하는 것으로 판단할 수 있다. 다만, 객체와 카메라 모듈 간의 거리가 기설정된 거리보다 큰 경우에 제2 광신호를 출력할 수 있다(S1200). 이 때, 제2 광신호는 상술한 바와 같이 제1 광신호와 조사량이 상이할 수 있다.

일 실시예로, 제2 광신호는 조사량이 제1 출력 신호보다 클 수 있다. 다시 말해, 제1 광신호는 객체와 카메라 모듈 간의 거리가 근접한 경우에 출력될 수 있다. 이러한 구성에 의하여, 실시예에 따른 카메라 모듈은 객체와의 거리를 정확하게 측정할 수 있으며, 객체가 사람인 경우에 신체의 안전을 확보할 수 있다. 다만, 제1 광신호와 제2 광신호 간의 관계에 대한 다양한 실시예는 상술한 내용이 동일하게 적용될 수 있다.

그리고 제2 광신호가 출력된 이후에(S2000)에, 기설정된 시간에 도달하였는지 여부를 확인할 수 있다(S2100). 즉, 제어부는 제2 광신호를 출력한 이후에 기설정된 시간에 도달한 경우 다시 제1 광신호를 출력할 수 있다(S2200). 이는 객체가 다시 움직인 경우 등을 대비하여 객체의 안전을 확보하기 위함이다.

그리고 다시 객체가 기설정된 거리 내에 위치하는지 확인하고(S2300), 기설정된 위치 내에 존재한다면 제1 광신호를 출력할 수 있다. 그리고 객체가 기설정된 거리보다 먼 거리에 위치하는 경우 제2 광신호를 출력(S2400)하여 제2 거리 정보를 획득함으로써, 다시 객체와 카메라 모듈 간의 거리 측정을 수행할 수 있다.

이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

객체로 제1 광신호와 제2 광신호를 출력하는 광출력부;
상기 제1 광신호가 상기 객체에 의해 반사된 제1 반사광 신호를 수광하는 센서; 및
상기 제1 광신호와 상기 제1 반사광 신호를 이용하여 상기 객체까지의 제1 거리 정보를 획득하는 제어부를 포함하고,
상기 제1 광신호의 출력은 상기 제2 광신호의 출력보다 작고,
상기 제어부는 상기 제1 거리 정보를 이용하여 상기 제2 광신호의 출력 여부를 결정하고,
상기 제1 광신호의 주기는 상기 제2 광신호의 주기보다 작고,
상기 제1 광신호의 프레임 주기는 상기 제2 광신호의 프레임 주기보다 작거나, 상기 센서에서 상기 제1 반사광 신호에 대한 노출 주기는 상기 제2 광신호가 상기 객체에 의해 반사된 제2 반사광 신호에 대한 노출 주기보다 작은 카메라 모듈.
제1항에 있어서,
상기 제어부는 상기 거리 정보가 기설정된 값 보다 작으면 상기 제1 광신호를 출력하도록 제어하고 상기 거리 정보가 기설정된 값보다 크면 상기 제2 광신호를 출력하도록 제어하는 카메라 모듈
제1항에 있어서,
상기 광출력부는 제1 채널부와 제2 채널부를 포함하고,
상기 제2 채널부는 상기 제1 채널부보다 광원의 개수가 많은 카메라 모듈.
제3항에 있어서,
상기 제1 광신호는 상기 제1 채널부로부터 출력되고,
상기 제2 광신호는 상기 제2 채널부로부터 출력되는 카메라 모듈.
제1항에 있어서,
상기 광출력부는 복수 개의 광원을 포함하고,
상기 복수 개의 광원의 출력은 상기 제1 광신호 출력 시보다 상기 제2 광신호 출력 시 더 큰 카메라 모듈.
삭제
제1항에 있어서,
상기 광출력부는 상기 거리 정보를 산출하기 위한 최소 단위인 프레임 신호를 기설정된 주기로 출력하는 카메라 모듈.
제1항에 있어서,
상기 제어부는 상기 제2 광신호를 이용하여 상기 객체까지의 제2 거리 정보를 획득하는 카메라 모듈.
제1항에 있어서,
상기 광출력부는 상기 제1 광신호의 프레임 신호와 상기 제2 광신호의 프레임 신호를 교대로 출력하는 카메라 모듈.
제2항에 있어서,
상기 기설정된 값은 10cm에 대응되는 값인 카메라 모듈.
제1항에 있어서,
상기 센서에 수광되는 상기 제1 반사광 신호가 제1 수광량 이하로 수광되는 경우에 상기 제2 광신호를 출력하는 카메라 모듈.
제11항에 있어서,
상기 센서에 수광되는 상기 제1 반사광 신호가 상기 제1 수광량보다 작은 제2 수광량 이하로 수광되거나 제1 반사광 신호가 수광되지 않는 경우 상기 제1 광신호의 출력을 오프시키는 카메라 모듈.
객체로 제1 광신호와 제2 광신호를 출력하는 광출력부;
상기 제1 광신호가 상기 객체에 의해 반사된 제1 반사광 신호를 수광하는 센서; 및
상기 제1 광신호와 상기 제1 반사광 신호를 이용하여 획득된 거리 정보가 기 설정된 값 보다 크면 상기 제2 광신호를 출력하고 상기 거리 정보가 기 설정된 값 보다 작으면 상기 제1 광신호를 출력하도록 상기 광출력부를 제어하는 제어부;를 포함하고,
상기 제2 광신호를 이용하여 상기 객체의 3D 정보를 획득하고,
상기 제1 광신호의 주기는 상기 제2 광신호의 주기보다 작고,
상기 제1 광신호의 프레임 주기는 상기 제2 광신호의 프레임 주기보다 작거나, 상기 센서에서 상기 제1 반사광 신호에 대한 노출 주기는 상기 제2 광신호가 상기 객체에 의해 반사된 제2 반사광 신호에 대한 노출 주기보다 작은 카메라 모듈.