[go: up one dir, main page]

KR20210031710A - 전자 디바이스 및 방법 - Google Patents

전자 디바이스 및 방법 Download PDF

Info

Publication number
KR20210031710A
KR20210031710A KR1020217003327A KR20217003327A KR20210031710A KR 20210031710 A KR20210031710 A KR 20210031710A KR 1020217003327 A KR1020217003327 A KR 1020217003327A KR 20217003327 A KR20217003327 A KR 20217003327A KR 20210031710 A KR20210031710 A KR 20210031710A
Authority
KR
South Korea
Prior art keywords
coded
illumination light
modulated signal
frequency
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
KR1020217003327A
Other languages
English (en)
Inventor
칭 딩
빅터 베로콘스키
데르 템펠 바르트 판
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20210031710A publication Critical patent/KR20210031710A/ko
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

비행 시간 카메라(3)에 의해 송신된 조명 광(16; 55)을 변조하기 위한 코딩된 변조 신호(54; 60)를 생성하도록 구성된 회로를 포함하는 전자 디바이스.

Description

전자 디바이스 및 방법
본 개시내용은 일반적으로 전자 디바이스들의 분야에 관한 것으로, 특히 촬상 디바이스들 및 촬상 디바이스들을 위한 방법들에 관한 것이다.
비행 시간 카메라는 카메라와 영상의 각각의 점에 대한 물체 간의 광 신호의 비행 시간(ToF)을 측정하는 물체들의 거리를 결정하는 레인지 촬상 카메라 시스템이다. 비행 시간 카메라는 그러므로 장면의 깊이 맵을 수신한다. 일반적으로, 비행 시간 카메라는 변조된 광으로 관심있는 영역을 조명하는 조명 유닛, 및 관심있는 동일한 영역으로부터 반사된 광을 수집하는 화소 어레이를 갖는다. 개별적인 화소들이 장면의 소정의 부분들로부터 광을 수집함에 따라, 비행 시간 카메라는 합당한 광 수집 영역을 유지하면서 촬상을 위한 렌즈를 포함할 수 있다.
간접적인 ToF 카메라(iTOF)는 예를 들어 반사된 적외선(IR) 광의 위상 지연을 측정한다. 위상 데이터는 반사된 광신호를 기준 신호(조명 신호)와 상관시킴으로써 획득된다. 전형적인 수의 4개의 프레임은 깊이 영상을 계산하기 위해 사용된다. 소위 "2-탭/4 프레임" 시스템에서, 변조기는 2-탭 전자-광학 변조기이다. "2-탭/4 프레임" 시스템의 주요 장점은 덤프된 전자들이 반대 샘플링 신호를 나타내는 1-탭 화소 내에서와 같이, 전자들의 1/2을 덤프하는 것 대신에, 모든 광-생성된 전자들이 이용된다는 것이다.
비행 시간 카메라들을 위한 복조 기술들이 존재하지만, 비행 시간 카메라를 위한 더 양호한 복조 기술들을 제공하는 것이 일반적으로 바람직하다.
제1 양태에 따르면, 본 개시내용은 비행 시간 카메라에 의해 송신된 조명 광을 변조하기 위한 코딩된 변조 신호를 생성하도록 구성된 회로를 포함하는 전자 디바이스를 제공한다.
제2 양태에 따르면, 본 개시내용은 비행 시간 카메라에 의해 송신된 조명 광을 변조하고/하거나 비행 시간 카메라에 의해 수신된 반사된 광을 복조하기 위한 코딩된 변조 신호를 생성하도록 구성된 회로, 반사된 광을 수신하도록 구성된 영상 센서, 및 변조된 조명 광을 송신하도록 구성된 조명 광원을 포함하는 시스템을 제공한다.
제3 양태에 따르면, 본 개시내용은 비행 시간 카메라에 의해 송신된 조명 광을 변조하기 위한 코딩된 변조 신호를 생성하는 단계를 포함하는 방법을 제공한다.
제4 양태에 따르면, 본 개시내용은 명령어들을 포함하고, 명령어들은 프로세서 상에서 실행될 때, 비행 시간 카메라에 의해 송신된 조명 광을 변조하기 위한 코딩된 변조 신호를 생성하기 위한 제어 신호를 생성하는 컴퓨터 프로그램을 제공한다.
추가의 양태들이 종속 청구항들, 다음의 상세한 설명 및 도면들에서 제시된다.
실시예들이 첨부 도면들과 관련하여 예로서 설명된다.
도 1은 ToF 카메라의 기본 동작 원리를 개략적으로 도시하고;
도 2a는 위상 지연과 ToF 거리 측정에서의 거리 간의 선형 관계를 도시하고;
도 2b는 측정될 거리가 최대 측정가능한 거리를 초과할 때 생기는 측정 모호성을 설명하고;
도 3은 ToF 센서에서의 모호성 문제를 다루는 것을 목적으로 하는 코딩된 조명 광 및 그것의 복귀 광의 실시예를 도시하고;
도 4는 코딩된 조명 광을 갖는 ToF 카메라의 기본 동작 원리를 개략적으로 도시하고;
도 5는 온/오프 키잉을 구현하기 위해 사용되는 회로의 예를 도시하고;
도 6은 한 실시예로서, 장면의 거리를 획득하는 2-탭 단일 위상-화소에서의 동작 순차를 도시하고;
도 7은 획득된 미세한 위상 지연 및 대략적인 위상 지연에 기초하는 거리의 결정을 설명하고;
도 8은 한 실시예로서, N-위상 화소에서의 동작 순차를 도시하고, 여기서 N은 화소 내에 저장될 수 있는 위상들("또는 상관들")의 수를 나타내고;
도 9는 또 하나의 실시예로서, 온/오프 키잉된 조명 패킷 1 및 온/오프 키잉된 조명 패킷 2를 도시하고;
도 10a는 한 실시예로서, 복조 주파수들의 공간적 배열을 도시하고;
도 10b는 한 예로서, 높은 변조 주파수를 갖는 조명 광, 낮은 변조 주파수를 갖는 조명 광 및 결과적인 코딩된 조명 광을 도시하고;
도 11은 코딩된 조명 광 및 그것의 복귀 광의 패킷의 추가 실시예를 도시하고;
도 12는 코딩된 복조 신호를 갖는 ToF 카메라의 기본 동작 원리를 개략적으로 도시한다.
도 3을 참조하는 실시예의 상세한 설명 전에, 일반적인 설명들이 이루어진다.
아래에 설명되는 실시예들은 비행 시간 카메라에 의해 송신된 조명 광을 변조하기 위한 코딩된 변조 신호를 생성하도록 구성된 회로를 포함하는 전자 디바이스를 제공한다.
전자 디바이스는 예를 들어, 영상 센서, 예를 들어, 간접적인 비행 시간 카메라(ToF)의 영상 센서일 수 있다.
회로는 전자 요소들, 반도체 요소들, 스위치들, 증폭기들, 트랜지스터들, 처리 요소들 등을 포함할 수 있다.
비행 시간 카메라는 카메라와 영상의 각각의 점에 대한 물체 간의 광 신호의 비행 시간(ToF)를 측정하는 물체들의 거리를 측정하는 레인지 촬상 카메라 시스템일 수 있다. 간접적인 비행 시간 카메라(iTOF)는 위상 지연을 측정함으로써 동작한다. 위상 지연은 코딩된 변조 신호의 변조 신호와의 상관의 결과일 수 있다. 위상 데이터는 위상 지연을 획득하기 위해 사용될 수 있다. 위상 데이터는 예를 들어 4개의 상관 위상, 예를 들어, QA0 및 QB180, 위상 QA90 및 QB270, 위상 QA270 및 QB90, 및 위상 QA180 및 QB0을 포함할 수 있다. 각각의 위상 데이터는 ToF 카메라의 위상 메모리 내에 저장될 수 있다. 위상 메모리는 다수의 탭에 의해 공유되고 재사용될 수 있다. 예를 들어, 전자 디바이스는 2개의 탭을 포함할 수 있고, 각각의 탭은 서브-노출 동안 각각의 위상 데이터를 수신한다. 대안적으로 전자 디바이스는 N개의 탭을 포함할 수 있고, 여기서 N은 화소 내에 저장될 수 있는 위상들("또는 상관들")의 수를 나타낸다.
일부 실시예들에서, 코딩된 변조 신호는 변조 클록의 온/오프 키잉에 의해 생성된다.
코딩된 변조 신호는 변조 클록에 기초할 수 있고, 변조 클록은 주기적 신호, 보다 바람직하게는 구형파(square wave)를 생성할 수 있다. 변조 클록은 일정한 주파수를 갖는 연속적인 파일 수 있다. 특히, 코딩된 변조 신호는 변조 클록에 의해 생성된 정상적인 변조 신호를 "턴 온 및 오프"함으로써 생성될 수 있다. 코딩된 변조 신호는 변조 신호에 기초할 수 있고, 여기서 변조 신호는 미리 결정된 시간 간격 동안 턴 온되고 미리 결정된 시간 간격 동안 턴 오프될 수 있다.
다수의 PLL을 사용하여 종래의 방법에서와 같이 상이한 주파수들을 갖는 조명 광을 생성하는 것 대신에, 변조 클록의 온/오프 키잉에 의해 코딩된 변조 신호를 생성함으로써, 코딩된 변조 신호는 하나의 단일 위상 고정 루프(PPL)만에 의해 생성될 수 있다. 그러므로 ToF 카메라의 전력 소비가 감소될 수 있다.
상이한 변조 주파수들을 갖는 2개의 상이한 변조 신호를 갖는 2개의 구별되는 측정이 사용되는 종래의 이중 주파수 방법에 비해, 실시예들의 전자 디바이스는 2개(또는 그 이상의) 스냅샷 대신에 단일의 스냅샷에서 비모호성(dis-ambiguity)/디-에일리어싱(de-aliasing)/위상-언랩핑(phase-unwrapping)이 이루어지게 할 수 있다. 이것은 프레임 레이트를 개선시킬 수 있고, 전력 소비를 낮출 수 있고 가능한 주파수 오염 문제를 피할 수 있다.
일부 실시예들에서, 코딩된 변조 신호는 적어도 2개의 변조 주파수를 포함한다.
일부 실시예들에서, 코딩된 변조 신호는 높은 주파수 및 낮은 주파수를 포함한다.
높은 변조 주파수는 비행 시간 카메라의 센서에서 전형적으로 사용되는 변조 클록에 의해 생성된 "정상적인" 변조 주파수일 수 있다. 코딩된 변조 신호는 예를 들어 제1-변조된 주파수(변조 클록)에 대응하는 높은 주파수, 및 제2 변조 주파수에 대응하고 일부 특정한 변조 코드들로서 엔벨로프 내에 존재하는 낮은 주파수를 포함할 수 있다.
일부 실시예들에서, 코딩된 변조 신호의 높은 주파수는 변조 클록에 의해 생성되고 변조 신호의 낮은 주파수는 코딩된 변조 신호의 엔벨로프의 주파수에 대응한다.
변조 클록에 의해 미리 정해진 더 높은 주파수 외에, 엔벨로프 내에 다른 주파수 성분들이 있기 때문에, 거리 측정은 거리 모호성 없이 이루어질 수 있다. 또한, ToF 카메라의 시스템 복잡성은 덜 할 수 있고 단지 하나의 프레임이 N-위상 화소를 갖는 ToF 카메라에 대해 요구될 수 있다.
일부 실시예들에서, 회로는 코딩된 변조 신호에 기초하여 이중-변조된 조명 광을 생성하도록 구성된다.
예를 들어, 제1 및 제2 주파수는 이중-변조된 조명 광을 생성하기 위해 변조된 광을 2번 변조함으로써 조성될 수 있다. 도시한 것과 같은 연속적인 정상적인 조명 광 대신에, 온-오프 키잉에 의해 코딩된 조명 광이 송신될 수 있다.
일부 실시예들에서, 코딩된 조명 광은 조명 광을 2번 변조함으로써 생성된다.
일부 실시예들에서, 코딩된 변조 신호의 제1 주파수 성분은 대략적인 위상 시프트를 계산하기 위해 사용되고 코딩된 변조 신호의 제2 주파수 성분은 미세한 위상 시프트를 계산하기 위해 사용된다.
제2 주파수와 비교하여, 제1 주파수는 (더 높은 거리 불확실성을 댓가로) 측정된 거리에서의 모호성 없이 연장된 동작 레인지를 가질 수 있다. 연장된 동작 레인지는 측정하기가 가능한 최대 거리를 나타내고, 거리 불확실성은 측정된 거리에 기초한 실제 거리의 확률 분포를 나타낸다. 대략적인 위상 시프트는 장면의 근사적 거리를 나타낼 수 있고, 미세한 위상 시프트는 근사적 거리에 기초한 실제 거리의 확률 분포를 나타낼 수 있다.
일부 실시예들에서, 회로는 제1 코딩된 변조 신호 및 제2 코딩된 변조 신호를 생성하도록 구성되고, 제2 코딩된 변조 신호는 제1 코딩된 변조 신호에 대해 완전히 반전된 위상을 갖는다.
일부 실시예들에서, 회로는 복조 주파수들의 공간적 배열을 제공하도록 구성된다.
일부 실시예들에서, 코딩된 변조 신호는 비행 시간 카메라에 의해 송신된 조명 광을 변조하기 위해 사용된다.
일부 실시예들에서, 코딩된 변조 신호는 비행 시간 카메라의 위상 화소에 의해 수신된 반사된 광을 복조하기 위해 사용된다.
시스템은 비행 시간 카메라에 의해 송신된 조명 광을 변조하고/하거나 비행 시간 카메라에 의해 수신된 반사된 광을 복조하기 위한 코딩된 변조 신호를 생성하도록 구성된 회로, 반사된 광을 수신하도록 구성된 영상 센서, 및 변조된 조명 광을 송신하도록 구성된 조명 광원을 포함한다.
일부 실시예들에서, 영상 센서는 공간적 배열에 따라 반사된 신호를 복조하도록 구성된다.
일부 실시예들에서, 영상 센서는 다수 유형의 화소 서브-어레이들을 포함하고, 각각의 서브 어레이는 개별적인 복조 주파수로 반사된 광을 복조하도록 구성된다.
일부 실시예들에서, 영상 센서는 2가지 유형의 화소 서브-어레이들을 포함하고, 제1 유형의 화소 서브-어레이들은 코딩된 변조 신호의 높은 변조 주파수에 대응하는 높은 변조 주파수로 반사된 조명 광을 복조하고 제2 유형의 화소 서브-어레이들은 코딩된 변조 신호의 낮은 주파수에 대응하는 낮은 변조 주파수로 반사된 조명 광을 복조한다.
실시예들은 비행 시간 카메라에 의해 송신된 조명 광을 변조하기 위한 코딩된 변조 신호를 생성하는 단계를 포함하는 방법을 또한 개시한다.
실시예들은 명령어들을 포함하고, 명령어들은 프로세서 상에서 실행될 때, 비행 시간 카메라에 의해 송신된 조명 광을 변조하기 위한 코딩된 변조 신호를 생성하기 위한 제어 신호를 생성하는 컴퓨터 프로그램을 또한 개시한다.
도 1은 ToF 카메라의 기본 동작 원리를 개략적으로 도시한다. ToF 카메라(3)는 전용 조명 유닛(18)으로부터 물체까지의 광의 비행 시간을 분석함으로써 장면(15)의 3D 영상들을 캡처한다. ToF 카메라(3)는 카메라, 예를 들어 3D 센서(1) 및 프로세서(4)를 포함한다. 장면(15)은 전용 조명 유닛(18)을 사용하여 미리 결정된 파장에서 변조된 광(16)으로, 예를 들어 타이밍 생성기로서 동작하는 변조 클록(5)에 의해 생성된 적어도 하나의 미리 결정된 주파수의 몇 개의 광 펄스로 활동적으로 조명된다. 변조된 광(16)은 장면(15) 내의 물체들로부터 다시 반사된다. 렌즈(2)는 반사된 광(17)을 수집하고 카메라의 촬상 센서(1) 상으로 물체들의 영상을 형성한다. 카메라로부터의 물체들의 거리에 따라, 지연은 변조된 광(16), 예를 들어, 소위 광 펄스들의 방출과 그들 반사된 광 펄스(17)의 카메라에서의 수신 사이에서 겪어진다. 반사 물체들과 카메라 사이의 거리들은 관찰된 시간 지연과 광 속도 상수 값의 함수로서 결정될 수 있다.
도 2a는 위상 지연과 ToF 거리 측정에서의 거리 간의 선형 관계를 도시한다. 도 2a의 도면에서, 가로 좌표 상에는 위상 지연이 그리고 세로 좌표 상에는 거리가 도시된다. 위상 지연 φ는 장면의 후방 산란 광을 변조 신호와 교차 상관시킴으로써 획득된다. 위상 지연과 거리 간의 선형 관계에 기초하여, 거리 D는 위상 지연 φ에 기인할 수 있다. 거리 측정은 획득된 거리 D를 중심으로 하는 정상적인 분포로서 도 2a에 표시되는 거리 불확실성 U1을 포함한다. 비행 시간 측정의 최대 측정가능한 거리 Dmax는 변조 신호의 주파수에 의존한다. 최대 측정가능한 거리(maximum measurable distance) Dmax는
Figure pct00001
로서 주어지고, 여기서
Figure pct00002
는 변조 주파수를 나타내고 c는 광의 속도이다.
도 2b는 측정될 거리가 최대 측정가능한 거리 Dmax를 초과할 때 생기는 측정 모호성을 설명한다. 도 2b에 도시한 것과 같이, 다수의 거리 D, D', D"는 동일한 위상 지연 φ와 관계되고, 그러므로, 거리 측정에 대한 모호성이 발생한다. 즉, 최대 측정가능한 거리 Dmax를 초과하는 거리가 측정될 때, 거리 계산은 잘못될 수 있는데, 왜냐하면 최대 측정가능한 거리를 초과하는 거리에서 반사된 신호와 동일한 위상 시프트를 갖는 더 가까운 거리로부터 반사된 또 하나의 신호 사이를 구별할 수 없기 때문이다.
도 2b의 측정에서 사용된 변조 신호의 주파수는 도 2a의 측정에서 사용된 변조 신호의 주파수보다 크다. 한편으로, 변조 신호의 더 큰 주파수의 결과로서, 도 2a의 측정의 최대 측정가능한 거리 Dmax는 도 2b의 측정의 최대 측정가능한 거리 Dmax보다 크다. 다른 한편으로, 도 2b의 측정의 거리 불확실성 U2는 도 2a의 측정의 거리 불확실성 U1보다 작다. 즉, (도 2a에 도시한 것과 같은) 더 낮은 주파수를 갖는 변조 신호는 측정된 거리에서의 모호성 없이 연장된 동작 레인지를 가능하게 하지만, 거리 불확실성은 증가한다.
동작 레인지를 연장하기 위해, 2개의 위상 고정 루프(PLL들)에 의해 생성된 상이한 변조 주파수를 갖는 2개의 거리 측정은 조인트 거리 측정으로 조합될 수 있다. 낮은 주파수, 큰 최대 측정가능한 거리 및 큰 거리 불확실성을 갖는 제1 변조 신호는 제1 거리 측정에서 사용될 수 있다. 더 큰 주파수, 더 작은 최대 측정가능한 거리 및 더 작은 거리 불확실성을 갖는 제2 변조 신호는 제2 거리 측정에서 사용될 수 있다. 즉, 상이한 주파수를 갖는 다수의 변조 신호를 갖는 거리 측정이 사용될 수 있으므로, 각각의 변조 신호는 상이한 모호성 및 거리 불확실성을 갖는다.
코딩된 조명 광
도 3은 위에 도 2b에서 설명된 ToF 센서에서의 모호성 문제를 다루는 것을 목적으로 하는 코딩된 조명 광 및 그것의 복귀 광의 실시예를 도시한다. 2개의 PLL을 사용하여 2개의 주파수를 생성하는 것 대신에, 도 2a 및 2b와 관련하여 위에 설명된 이중-주파수 방법에서와 같이, 본원의 실시예들은 이중-변조된 조명 광을 생성하기 위해 변조된 광을 2번 변조함으로써 제1 및 제2 주파수를 조성한다. 도 3의 상부 부분에 도시한 것과 같은 연속하는 정상적인 조명 광 대신에, 온-오프 키잉에 의해 코딩된 조명 광이 도 3의 중간 부분에 도시한 것과 같이 송신된다(코딩된 조명 광은 높은 주파수를 갖는 정상적인 조명 광을 "턴 온 및 오프"함으로써 생성된다).
도 3은 코딩된 조명 광의 하나의 패킷을 도시한다. 이 패킷은 도 3에서 점들로 표시된 것과 같이, 주기적으로 반복된다. 패킷은 4개의 프레임 T0, T1, T2, T3을 포함하고, 프레임들 각각은 T의 프레임 시간을 갖는다. 제1 프레임 T1은 N×T에서 시작하고 (N+1)×T에서 끝나고, 제2 프레임 T2는 (N+1)×T에서 시작하고 (N+2)×T에서 끝나고, 제3 프레임 T3은 (N+2)×T에서 시작하고 (N+3)×T에서 끝나고 제4 프레임 T4는 (N+3)×T에서 시작하고 (N+4)×T에서 끝나고, 여기서 N은 패킷 넘버를 나타낸다. 제1 프레임 T0에서, 정상적인 조명 광은 오프이고 그러므로 신호가 생성되지 않는다. 제2 프레임 T1에서, 정상적인 조명 광은 서브-프레임 시간의 반 T/2 동안 오프이고 나머지 서브-프레임 시간 T/2 동안 온이다. 제3 프레임 T2는 제2 프레임 T1에 비해 반전된 위상을 갖는데, 즉 정상적인 조명 광은 1/2 서브-프레임 시간 T/2 동안 온이고 나머지 서브-프레임 시간 T/2 동안 오프이다. 제4 프레임 T3은 프레임 T0에 비해 반전된 위상을 갖는데, 즉 정상적인 조명 광은 온이다. 코딩된 조명 광의 엔벨로프는 그러므로 하나의 패킷 내에 각각 0°, 90°, 270°, 및 180°의 위상 데이터를 갖는다.
이중-변조된 조명 광은 높은 그리고 낮은 주파수들을 둘 다 포함하고: 높은 주파수는 제1 변조 주파수에 대응하고, 낮은 주파수는 엔벨로프에 의해 정해진 제2 변조 주파수에 대응한다. 제1 변조 주파수는 비행 시간 카메라의 센서에서 전형적으로 사용되는 변조 클록(아래의 도 4 내의 5 참조)에 의해 생성된 "정상적인" 변조 주파수일 수 있다. 코딩된 조명 광의 엔벨로프는 정상적인 조명 광의 제1 변조 주파수보다 적은 1/T의 주파수를 갖는 낮은 주파수(여기서 또한 "코드"라고 함)를 나타낸다.
도 3은 코딩된 조명 광에 의해 생성된 복귀 광의 예를 추가로 도시한다. 복귀 광은 복귀 광이 반사되는 물체의 거리에 의존하는 코딩된 조명 광에 비해 위상 지연을 갖는다.
도 4는 코딩된 조명 광을 갖는 ToF 카메라의 기본 동작 원리를 개략적으로 도시한다. 도 4는 도 1에 기초하고 실질적으로 동일한 기능 및 구조를 갖는 구조적 요소들은 동일한 참조 번호들로 표시되고, 이들 구조적 요소의 반복되는 설명은 생략된다. 변조 클록(5)은 높은 주파수 변조 신호를 생성한다. 이 변조 신호는 온/오프 키잉(20)으로 송신된다. 온/오프 키잉(20)은 변조 클록(5)으로부터 수신된 높은 주파수 변조 신호의 제2 변조를 수행한다. 온/오프 키잉(20)은 프로세서(4)로부터 수신된 제어 신호에 의해 제어된다. 온/오프 키잉(20)에 의해 변조 클록(5)으로부터 획득된 높은 주파수 변조 신호에 기초하고 프로세서(4)로부터 획득된 제어 신호("코드")에 기초하는 코딩된 변조 신호가 생성된다. 코딩된 변조 신호는 코딩된 조명 광(16)을 생성하는 조명 유닛(18)으로 송신된다. 코딩된 조명(16)은 장면(15) 내의 물체로부터 다시 반사된다. 반사된 광(17)은 3D 센서(1)에 의해 수집되어, 변조 클록(5)의 변조 신호로 복조된다.
도 5는 온/오프 키잉(도 4 내의 20)을 구현하기 위해 사용되는 회로를 예로서 도시한다. 회로는 조명 유닛(18)을 온/오프로 스위치하기 위해 사용되는 MOSFET(50)를 포함한다. MOSFET(50)는 프로세서(4)에 의해 생성되는 제어 신호(53)를 수신한다. MOSFET(50)가 양의 전압을 수신할 때, MOSFET(50)는 온으로 스위치되고 변조 클록(5)에 의해 생성된 높은 주파수 변조 신호(52)는 버퍼(51)를 통해 조명 유닛(18)으로 송신된다. MOSFET(50)가 제로 레벨 전압을 수신할 때, MOSFET(50)는 조명 유닛(18)이 오프로 스위치되도록 오프로 스위치될 수 있다. 결과적으로, 코딩된 조명 광(55)은 MOSFET(50)를 온 및 오프로 스위치함으로써 생성되는 코딩된 변조 신호(54)에 기초하여 생성된다. 제어 신호(53)의 주파수는 낮은 주파수(코딩된 조명 광(55)의 엔벨로프 주파수)를 나타내고 변조 신호의 주파수는 타이밍 생성기(5)에 의해 생성되는 높은 주파수를 나타낸다. 코딩된 조명 광(55)은 그러므로 이중-변조된 조명 광이다.
2-탭 단일-위상 화소에서의 복조
도 6은 한 실시예로서, 장면의 거리를 획득하는 2-탭 단일 위상-화소에서의 동작 순차를 도시한다. 2-탭 단일-위상 화소에서, 단지 저장 노드들의 쌍(2개의 플로팅 확산)이 존재하기 때문에, 4개의 프레임, 즉 위상 QA0 및 QB180, 위상 QA90 및 QB270, 위상 QA270 및 QB90, 및 위상 QA180 및 QB0이 복귀 광의 위상 데이터를 획득하기 위해 필요하다. 각각의 프레임은 통합 위상 및 독출 위상을 각각 포함하는 다수의 서브-프레임 T0, T1, T2, T3을 포함한다.
제1 프레임 T0의 통합 위상에서, 2-탭 화소는 위상 지연 없이(도 6 내의 "f0"), 도 3의 높은 변조 주파수와 동일한, 변조 클록(도 4 내의 5)에 의해 복조된다. 통합 위상 후에, 2-탭 화소의 위상 데이터는 제1 탭(탭 A)의 위상 데이터 QA0 및 제2 탭(탭 B)의 위상 데이터 QB180이 획득되도록 독출된다. 제2 프레임 T1의 통합 위상에서, 2-탭 화소는 90° 위상 지연이 있는(도 6 내의 "f90") 변조 클록에 의해 복조된다. 통합 위상 후에, 2-탭 화소의 위상 데이터가 독출되고 제1 탭(탭 A)의 위상 데이터 QA90 및 제2 탭(탭 B)의 위상 데이터 QB270이 획득된다. 제3 프레임 T2의 통합 위상에서, 2-탭 화소는 270° 위상 지연이 있는(도 6 내의 "f270") 변조 클록에 의해 복조된다. 통합 위상 후에, 2-탭 화소의 위상 데이터가 독출되고 제1 탭(탭 A)의 위상 데이터 QA270 및 제2 탭(탭 B)의 위상 데이터 QB90이 획득된다. 제4 프레임 T3의 통합 위상에서, 2-탭 화소는 180° 위상 지연이 있는(도 6 내의 "f180") 변조 클록에 의해 복조된다. 통합 위상 후에, 2-탭 화소의 위상 데이터가 독출되고 제1 탭(탭 A)의 위상 데이터 QA180 및 제2 탭(탭 B)의 위상 데이터 QB0이 획득된다.
제1(높은) 변조 주파수에 기초하는 미세한 위상 지연(fine phase delay)은
Figure pct00003
로서 계산된다.
코딩된 변조 신호의 엔벨로프 주파수에 기초하는 대략적인 위상 지연(coarse phase delay)은
Figure pct00004
로서 계산된다.
2개의 변조 주파수를 포함하는 코딩된 조명 광을 사용함으로써, 대략적인 위상 지연 및 미세한 위상 지연은 제2 주파수를 사용하는 추가적인 통합 및 복조가 필요하지 않도록 동일한 측정(데이터 세트)으로부터 결정될 수 있다.
도 7은 획득된 미세한 위상 지연 및 대략적인 위상 지연에 기초하는 거리의 결정을 설명한다. 도 7의 상부 부분은 대략적인 위상 지연과 ToF 거리 측정에서의 거리 간의 선형 관계를 나타낸다. 도 7의 하부 부분은 미세한 위상 지연과 ToF 거리 측정에서의 거리 간의 선형 관계를 나타낸다. 위에 도 2b와 관련하여 설명된 것과 같이, 높은 주파수에 기초하는 ToF 거리 측정은 작은 최대 거리 Dmax이지만 더 낮은 거리 불확실성 U2를 갖는다. 장면 내의 물체의 거리를 획득하기 위해, 2개의 상이한 변조 주파수에 의해 획득된 정보는 조합된다. 거리 결과들이 2개의 변조 주파수 간에 일치할 때, 이 거리 DA는 거리 모호성 없이 물체의 거리인 것으로 고려된다. 결과적인 거리 DA의 거리 불확실성은 높은 주파수 측정의 낮은 거리 불확실성 U2에 대응한다.
N-위상 화소에서의 복조
도 8은 한 실시예로서, N-위상 화소에서의 동작 순차를 도시하고, 여기서 N은 화소 내에 저장될 수 있는 위상들("또는 상관들")의 수를 나타낸다. 본 실시예의 N-위상 화소는 8개의 정보 전압(위상 데이터)을 저장하기 위해 8개의 플로팅 확산(도 8에 도시하지 않음)을 포함한다. 그러므로, 탭들은 각각의 통합 후에 즉각적으로 독출될 필요가 없다. 대신에, 프레임은 다수의 통합 위상(서브-프레임들)을 포함하고 탭들은 여러 개의 서브-프레임들의 복조 후에 독출된다.
제1 서브-프레임 T1에서, N-위상 화소는 위상 지연 없이(도 8 내의 "f0"), 높은 변조 주파수와 동일한 변조 클록에 의해 복조된다. 제2 서브-프레임 T2에서, N-탭 화소는 90° 위상 지연이 있는(도 8 내의 "f90") 변조 클록에 의해 복조된다. 제3 서브-프레임 T3에서, N-탭 화소는 270° 위상 지연이 있는(도 8 내의 "f270") 변조 클록에 의해 복조된다. 제4 서브-프레임 T3에서, N-탭 화소는 180° 위상 지연이 있는(도 8 내의 "f180") 변조 클록에 의해 복조된다.
서브-프레임들의 통합 위상들이 완료된 후에, N-위상 화소의 위상 데이터가 독출되고 위상 데이터 QA0, QA90, QA180, QA270, 및 QB0, QB90, QB180, QB270이 획득된다.
높은 변조 주파수에 기초하는 미세한 위상 지연은
Figure pct00005
로서 계산된다.
여기서 atan은 아크탄젠트 함수를 나타낸다,
코딩된 변조 신호의 엔벨로프 주파수에 기초하는 대략적인 위상 지연은
Figure pct00006
로서 계산된다.
개선된 SNR 성능
도 9는 또 하나의 실시예로서, 온/오프 키잉된 조명 패킷 1 및 온/오프 키잉된 조명 패킷 2를 도시한다. 온/오프 키잉된 조명 패킷들 1, 2 둘 다는 도 3에 도시한 것과 동일한 형상을 갖고, 여기서 온/오프 키잉된 조명 패킷 2는 온/오프 키잉된 조명 패킷 1에 비해 완전히 반전된 위상을 갖는다. 온/오프 키잉된 조명 패킷 1 및 온/오프 키잉된 조명 패킷 2는 (도 6에 도시한 것과 같은) 2-탭 단일 위상 화소에 및/또는 (도 8에 도시한 것과 같은) N-위상 화소에 순차적으로 공급되고 여기서 순서는 구성되거나 무작위일 수 있다. 온/오프 키잉된 조명 패킷 2의 총수는 온/오프 키잉된 조명 패킷 1의 수보다 적은 1/N 시간이다. 그러므로, SNR 성능은 광이 도 3에서 설명된 실시예에서 방출되지 않는 시간 간격들에서 또한 광을 방출함으로써 도 3에서 설명된 실시예에 비해 개선될 수 있다.
통합 시간 내에서 공급된 코딩된 변조 신호들을 복조함으로써, 위상 데이터는 해당 탭들 각각에서 통합되고, 그것은 독출 위상에서 독출된다.
본 예에 따르면, 높은 변조 주파수에 기초하는 미세한 위상 지연은
Figure pct00007
로서 계산된다.
코딩된 변조 신호의 엔벨로프 주파수에 기초하는 대략적인 위상 지연은
Figure pct00008
로서 계산된다.
여기서
Figure pct00009
은 온/오프 키잉된 조명 패킷 1에 기초하여 획득된 위상 데이터를 나타내고
Figure pct00010
는 온/오프 키잉된 조명 패킷 2에 기초하여 획득된 위상 데이터를 나타낸다.
공간적 배열
도 10a는 한 실시예로서, 센서 화소 어레이의 공간적 배열을 도시한다. 센서 화소 어레이는 도 3과 관련하여 위에 설명된 것과 같은 코딩된 조명 광을 수신한다. 센서 화소 어레이는 2개의 상이한 유형의 화소 서브-어레이들 fM, fE를 포함하고, 여기서 제1 유형의 화소 서브-어레이들 fm은 코딩된 변조 신호의 높은 변조 주파수에 대응하는 높은 변조 주파수로 반사된 조명 광을 복조하고 제2 유형의 화소 서브-어레이들 fE는 코딩된 변조 신호의 낮은 주파수(엔벨로프)에 대응하는 낮은 변조 주파수로 반사된 조명 광을 복조한다.
공간적 배열의 한 예에 따르면, 높은 변조 주파수 fM 및 낮은 변조 주파수 fE는 비행 시간 카메라(ToF)의 조명 유닛의 화소 어레이의 열들 C1, C2,..., CN-1, CN에 공급되고, 여기서 높은 변조 주파수 fM은 홀수 열들에 인가되고 낮은 변조 주파수 fE는 짝수 열들에 인가된다.
변조 주파수들 fM, fE의 공간적 배열에 의해, 온/오프 키잉의 통합 시간과 시간 간격 간의 관계는 파괴된다. fE는 그것이 fM/2 이하인 한, 임의의 주파수일 수 있다. 높은 변조 주파수 fM으로 표시된 열들은 4개의 위상 지연 0°, 90°, 180°및 270°가 있는 높은 변조 주파수 fM으로 복조되고 낮은 변조 주파수 fE로 표시된 열들은 4개의 위상 지연 0°, 90°, 180°및 270°가 있는 낮은 변조 주파수 f1로 복조된다.
도 10b는 한 예로서, 높은 변조 주파수 fM을 갖는 조명 광, 낮은 변조 주파수 fE를 갖는 조명 광 및 결과적인 코딩된 조명 광을 도시한다.
도 6 또는 도 8의 설명에서 위에 언급된 것과 같이 화소들은 통합 위상에서 복조될 수 있고 독출 위상에서 독출될 수 있다.
획득된 위상 데이터에 기초하여, 미세한 위상 지연은
Figure pct00011
로서 계산된다.
여기서, QA0, QA90, QA180, QA270 및 QB0, QB90, QB180, QB270은 fE로 표시된 열들 내의 낮은 변조 주파수 fE로 복조된 데이터이다.
대략적인 위상 지연은
Figure pct00012
로서 계산된다.
여기서,
Figure pct00013
및
Figure pct00014
는 fM으로 표시된 열들 내의 높은 변조 주파수 fM으로 복조된 데이터이다. 여기서 위상 데이터
Figure pct00015
는 각각의 위상 데이터
Figure pct00016
로 감산된다는 점에 주목하여야 한다.
실시예들은 화소 열들에의 공급의 공간적 배열로 제한되지 않고, 다른 공간적 배열들이 사용될 수 있는데, 예를 들어 높은 변조 주파수 fM은 짝수 열들에 인가될 수 있고 낮은 변조 주파수 fE는 홀수 열들에 인가될 수 있다.
또한, 높은 변조 주파수 fM 및 낮은 변조 주파수 fE는 비행 시간 카메라(ToF)의 화소 위상 유닛의 화소 어레이의 열들에 공급될 수 있고, 여기서 화소 위상 유닛은 후방 산란되는 광이 수집되는 유닛일 수 있다.
대안적인 코드들
도 11은 코딩된 조명 광 및 그것의 복귀 광의 패킷의 추가 실시예를 도시한다. 이 패킷은 도 11에서 점들로 표시된 것과 같이, 주기적으로 반복된다. 위에 설명된 도 3의 실시예에서와 같이, 패킷은 4개의 프레임 T0, T1, T2, T3을 포함한다. 도 11은 2-탭 위상 화소의 2개의 탭, 탭 A 및 탭 B의 대응하는 내용을 또한 도시한다.
온-오프 키잉 코딩된 조명 광은 도 11의 중간 부분에 도시한 것과 같이 송신된다(코딩된 조명 광은 높은 주파수를 갖는 정상적인 조명 광을 "턴 온 및 오프"함으로써 생성된다). 도 11은 코딩된 조명 광에 의해 생성된 복귀 광을 하부 부분에 추가로 도시한다. 복귀 광은 코딩된 조명 광에 비해 복귀 광이 반사되는 물체의 거리에 의존하는 위상 지연을 갖는다.
제1 프레임 T0에서, 정상적인 조명 광은 턴 온되고 그러므로 코딩된 조명 광은 정상적인 조명 광과 동일한 형상을 갖는다. 위상 시프트가 없는 코딩된 조명 광과 복귀 광의 교차 상관 결과는 탭 A 내에 저장된다. 180° 위상 시프트가 있는 코딩된 조명 광과 복귀 광의 교차 상관 결과는 탭 B 내에 저장된다.
제2 프레임 T1에서, 정상적인 조명 광은 턴 온되고 그러므로 코딩된 조명 광은 정상적인 조명 광과 동일한 형상을 갖는다. 90° 위상 시프트가 있는 코딩된 조명 광과 복귀 광의 교차 상관 결과는 탭 A 내에 저장된다. 270° 위상 시프트가 있는 코딩된 조명 광과 복귀 광의 교차 상관 결과는 탭 B 내에 저장된다.
제3 프레임 T2에서, 정상적인 조명 광은 턴 오프되고 그러므로 코딩된 조명 광은 제로로 설정된다. 270° 위상 시프트가 있는 코딩된 조명 광과 복귀 광의 교차 상관 결과는 탭 A 내에 저장된다. 90° 위상 시프트가 있는 코딩된 조명 광과 복귀 광의 교차 상관 결과는 탭 B 내에 저장된다.
제4 프레임 T3에서, 정상적인 조명 광은 턴 온되고 그러므로 코딩된 조명 광은 제로로 설정된다. 180° 위상 시프트가 있는 코딩된 조명 광과 복귀 광의 교차 상관 결과는 탭 A 내에 저장된다. 위상 시프트가 없는 코딩된 조명 광과 복귀 광의 교차 상관 결과는 탭 B 내에 저장된다.
코딩된 조명 광의 엔벨로프는 그러므로 하나의 패킷 내에 각각 0°, 90°, 270°, 180°의 위상 데이터를 갖는다.
이중-변조된 조명 광은 높은 그리고 낮은 주파수들을 둘 다 포함하고: 높은 주파수는 제1 변조 주파수에 대응하고, 낮은 주파수는 엔벨로프에 의해 정해진 제2 변조 주파수에 대응한다. 제1 변조 주파수는 비행 시간 카메라의 센서에서 전형적으로 사용되는 변조 클록(아래의 도 4 내의 5 참조)에 의해 생성된 "정상적인" 변조 주파수일 수 있다. 코딩된 조명 광의 엔벨로프는 정상적인 조명 광의 제1 변조 주파수보다 적은 1/T의 주파수를 갖는 낮은 주파수를 나타낸다.
SNR 비교
비행 시간 카메라의 SNR은
Figure pct00017
로서 평가되고, 여기서
Figure pct00018
는 제1 주파수를 갖는 광 진폭이고,
Figure pct00019
는 제2 주파수를 갖는 광 진폭이고
Figure pct00020
는 주변 광의 진폭이다.
2개의 상이한 변조 클록 f1, f2를 갖는 2개의 구별되는 측정을 포함하는 종래의 이중 주파수 방법에서, 총 복조 광 진폭
Figure pct00021
는 각각의 주파수 f1, f2에 대해 나누어진다. 바꾸어 말하면, 변조 광들 각각은
Figure pct00022
의 전하를 갖는다. 종래의 이중 주파수의 f1의 총 SNR은
Figure pct00023
로서 주어지고,
종래의 이중 주파수의 f2의 총 SNR은
Figure pct00024
로서 주어진다.
위의 본 개시내용의 실시예들 중 임의의 것에 따르면 그리고 위에 언급된 도 3 내지 도 11의 설명에 따르면, 코딩된 변조 광의 총 진폭은 종래의 방법의 진폭, 즉
Figure pct00025
와 동일할 수 있다. 실시예들에 따르면, 코딩된 변조 광은 패킷 기간의 반 동안 턴 오프되기 때문에, 코딩된 변조 광의 진폭은 전체적인 진폭을 동일하게 유지하기 위해 종래의 복조 광의 제1 또는 제2 복조 광의 진폭보다 2배 크게 설정될 수 있다.
그러므로, 현재의 개시내용에 따른 f1의 총 SNR은
Figure pct00026
로서 주어지고,
현재의 개시내용에 따른 f2의 총 SNR은
Figure pct00027
로서 주어진다.
그러므로, 현재의 개시내용의 총 SNR은 종래의 이중 주파수 방법보다 더 유리한데 왜냐하면 하나의 데이터 샘플이 절약되고, 즉 더 양호한 전력 효율을 갖기 때문이다.
한 예로서, SNR은 도 3에 기초하여 계산되고, 여기서 엔벨로프의 위상 지연은
Figure pct00028
로서 정의된다(이 코드에서 0 <
Figure pct00029
< π/4).
도 3의 제1 프레임 T0에서, 현재의 실시예의 SNR은
Figure pct00030
로서 계산될 수 있다.
도 3의 제2 프레임 T1에서, 현재의 실시예의 SNR은
Figure pct00031
로서 계산될 수 있다.
도 3의 제3 프레임 T2에서, 현재의 실시예의 SNR은
Figure pct00032
로서 계산될 수 있다.
도 3의 제4 프레임 T1에서, 현재의 실시예의 SNR은
Figure pct00033
로서 계산될 수 있다.
그러므로 제1 프레임 T0 및 제2 프레임 T1에서, 현재의 실시예의 각각의 SNR은 종래의 이중 주파수 방법보다 항상 낮은 반면 제3 프레임 T2 및 제4 프레임 T3에서, 현재의 실시예의 각각의 SNR은 종래의 이중 주파수 방법보다 항상 높다.
2-탭 단일-위상 화소에서 프레임 T0 및 T1에서의 SNR은 잡음을 독출하기에 충분히 높을 수 있다. 가능한 해결책의 하나는 SNR이 2개의 상이한 변조 신호를 사용하기에 충분히 높은 것을 보장하는 것이고, 여기서 제2 변조 신호는 도 9에서 위에 설명된 것과 같은 제1 변조 신호에 대해 완전히 반전된 위상이다.
코딩된 복조 신호
도 12는 코딩된 복조 신호를 갖는 ToF 카메라의 기본 동작 원리를 개략적으로 도시한다. 도 4는 도 1에 기초하고 실질적으로 동일한 기능 및 구조를 갖는 구조적 요소들은 동일한 참조 번호들로 표시되고, 이들 구조적 요소의 반복되는 설명은 생략된다. 변조 클록(5)은 높은 주파수 변조 신호를 생성한다. 이 변조 신호는 온/오프 키잉(20')으로 송신된다. 온/오프 키잉(20')은 변조 클록(5)으로부터 수신된 높은 주파수 변조 신호의 제2 변조를 수행한다. 온/오프 키잉(20')은 프로세서(4)로부터 수신된 제어 신호에 의해 제어된다. 온/오프 키잉(20')에 의해 변조 클록(5)으로부터 획득된 높은 주파수 변조 신호에 기초하고 프로세서(4)로부터 획득된 제어 신호("코드")에 기초하는 코딩된 복조 신호가 생성된다. 코딩된 복조 신호는 반사된 광(17)을 수집하는 3D 센서(1)로 송신된다.
3D 센서(1)는 ToF 카메라의 위상 화소일 수 있다. 위상 화소들은 "감지 노드"라고도 하는 하나 이상의 플로팅 확산을 포함할 수 있다. 플로팅 확산은 예를 들어, 포토게이트 화소 센서에서 독출을 위한 전하를 저장한다. 그것은 예를 들어 모든 다른 노드들로부터 전기적으로 분리된 영상 센서의 활성 실리콘(확산) 영역 내의 영역일 수 있다. 그것은 예를 들어 다른 노드들로부터 p-n 접합에 의해 분리된 준-중성 영역일 수 있다. 2개의 플로팅 확산에 의해 수집된 전하는 예를 들어 광 감지 영역에 의해 생성된 전자-정공 쌍들로부터의 전자들일 수 있다. 포토다이오드는 광을 전기 전류로 변환하기 위해 제공될 수 있다. 포토다이오드는 광으로부터 보호되는, 플로팅 확산 내로 그것의 전하를 비운다. 다음에 플로팅 확산은 전하를 저장한다.
본원에 설명된 것과 같은 방법은 일부 실시예들에서 컴퓨터 및/또는 프로세서 상에서 수행될 때, 컴퓨터 및/또는 프로세서로 하여금, 방법을 수행하게 하는 컴퓨터 프로그램으로서 또한 구현된다. 일부 실시예들에서, 위에 설명된 프로세서와 같은 프로세서에 의해 실행될 때, 본원에 설명된 방법이 수행되게 하는 컴퓨터 프로그램 제품을 그 안에 저장하는 비일시적 컴퓨터 판독가능 기록 매체가 또한 제공된다.
본 명세서에 설명되고 첨부된 청구범위에서 청구된 모든 유닛들 및 엔티티들은 달리 표명되지 않는다면, 집적된 회로 로직으로서, 예를 들어 칩 상에서 구현될 수 있고, 이러한 유닛들 및 엔티티들에 의해 제공된 기능은 달리 표명되지 않는다면, 소프트웨어에 의해 구현될 수 있다.
위에 설명된 개시내용의 실시예들이 소프트웨어-제어된 데이터 처리 장치를 사용하여 적어도 부분적으로 구현되는 한, 이러한 소프트웨어 제어를 제공하는 컴퓨터 프로그램 및 이러한 컴퓨터 프로그램이 제공되는 전송, 저장 또는 다른 매체가 본 개시내용의 양태들로서 상상된다는 것을 알 것이다.
본 기술은 또한 아래에 설명되는 것과 같이 구성될 수 있다는 점에 주목한다.
(1) 전자 디바이스로서,
비행 시간 카메라(3)에 의해 송신된 조명 광(16; 55)을 변조하기 위한 코딩된 변조 신호(54; 60)를 생성하도록 구성된 회로를 포함하는 전자 디바이스.
(2) 제(1)항에 있어서, 상기 코딩된 변조 신호(54; 60)는 변조 클록(5)의 온/오프 키잉에 의해 생성되는 전자 디바이스.
(3) 제(1)항 또는 제(2)항에 있어서, 상기 코딩된 변조 신호(54; 60)는 적어도 2개의 변조 주파수를 포함하는 전자 디바이스.
(4) 제(1)항 내지 제(3)항 중 어느 한 항에 있어서, 상기 코딩된 변조 신호(54; 60)는 높은 주파수 및 낮은 주파수를 포함하는 전자 디바이스.
(5) 제(4)항에 있어서, 상기 코딩된 변조 신호의 상기 높은 주파수는 변조 클록(5)에 의해 생성되고 상기 변조 신호의 상기 낮은 주파수는 상기 코딩된 변조 신호(54; 60)의 엔벨로프의 주파수에 대응하는 전자 디바이스.
(6) 제(1)항 내지 제(5)항 중 어느 한 항에 있어서, 상기 회로는 상기 코딩된 변조 신호에 기초하여 이중-변조된 조명 광(16; 55)을 생성하도록 구성되는 전자 디바이스.
(7) 제(1)항 내지 제(6)항 중 어느 한 항에 있어서, 코딩된 조명 광(16; 55)은 상기 조명 광을 2번 변조함으로써 생성되는 전자 디바이스.
(8) 제(1)항 내지 제(7)항 중 어느 한 항에 있어서, 상기 코딩된 변조 신호(54; 60)의 제1 주파수 성분은 대략적인 위상 시프트를 계산하기 위해 사용되고 상기 코딩된 변조 신호(54; 60)의 제2 주파수 성분은 미세한 위상 시프트를 계산하기 위해 사용되는 전자 디바이스.
(9) 제(1)항 내지 제(8)항 중 어느 한 항에 있어서, 상기 회로는 제1 코딩된 변조 신호 및 제2 코딩된 변조 신호를 생성하도록 구성되고, 상기 제2 코딩된 변조 신호는 상기 제1 코딩된 변조 신호에 대해 완전히 반전된 위상을 갖는 전자 디바이스.
(10) 제(1)항 내지 제(9)항 중 어느 한 항에 있어서, 상기 코딩된 변조 신호(54)는 상기 비행 시간 카메라에 의해 송신된 조명 광을 변조하기 위해 사용되는 전자 디바이스.
(11) 제(1)항 내지 제(9)항 중 어느 한 항에 있어서, 상기 코딩된 변조 신호(60)는 상기 비행 시간 카메라(3)의 위상 화소에 의해 수신된 반사된 광(17)을 복조하기 위해 사용되는 전자 디바이스.
(12) 시스템으로서,
비행 시간 카메라에 의해 송신된 조명 광을 변조하고/하거나 비행 시간 카메라에 의해 수신된 반사된 광을 복조하기 위한 코딩된 변조 신호를 생성하도록 구성된 회로, 상기 반사된 광을 수신하도록 구성된 영상 센서, 및 상기 변조된 조명 광을 송신하도록 구성된 조명 광원을 포함하는 시스템.
(13) 제(12)항에 있어서, 상기 영상 센서는 공간적 배열에 따라 상기 반사된 신호를 복조하도록 구성되는 시스템.
(14) 제(12)항 또는 제(13)항에 있어서, 상기 영상 센서는 다수 유형의 화소 서브-어레이들(fM, fE)을 포함하고, 각각의 서브-어레이(fM, fE)는 개별적인 복조 주파수로 상기 반사된 광을 복조하도록 구성되는 시스템.
(15) 제(12)항 내지 제(14)항 중 어느 한 항에 있어서, 상기 영상 센서는 2가지 유형의 화소 서브-어레이들(fM, fE)을 포함하고, 상기 제1 유형의 화소 서브-어레이들(fM)은 상기 코딩된 변조 신호의 높은 변조 주파수에 대응하는 높은 변조 주파수로 상기 반사된 조명 광을 복조하고 상기 제2 유형의 화소 서브-어레이들(fE) 은 상기 코딩된 변조 신호의 낮은 주파수에 대응하는 낮은 변조 주파수로 상기 반사된 조명 광을 복조하는 시스템.
(16) 방법으로서,
비행 시간 카메라(3)에 의해 송신된 조명 광(16; 55)을 변조하기 위한 코딩된 변조 신호(54; 60)를 생성하는 단계를 포함하는 방법.
(17) 컴퓨터 프로그램으로서,
명령어들을 포함하고, 상기 명령어들은 프로세서(4) 상에서 실행될 때, 비행 시간 카메라(3)에 의해 송신된 조명 광(16; 55)을 변조하기 위한 코딩된 변조 신호(54; 60)를 생성하기 위한 제어 신호(52)를 생성하는 컴퓨터 프로그램.

Claims (17)

  1. 전자 디바이스로서,
    비행 시간 카메라(time of flight camera)에 의해 송신된 조명 광을 변조하기 위한 코딩된 변조 신호를 생성하도록 구성된 회로를 포함하는 전자 디바이스.
  2. 제1항에 있어서, 상기 코딩된 변조 신호는 변조 클록의 온/오프 키잉에 의해 생성되는 전자 디바이스.
  3. 제1항에 있어서, 상기 코딩된 변조 신호는 적어도 2개의 변조 주파수를 포함하는 전자 디바이스.
  4. 제1항에 있어서, 상기 코딩된 변조 신호는 높은 주파수 및 낮은 주파수를 포함하는 전자 디바이스.
  5. 제4항에 있어서, 상기 코딩된 변조 신호의 상기 높은 주파수는 변조 클록에 의해 생성되고 상기 변조 신호의 상기 낮은 주파수는 상기 코딩된 변조 신호의 엔벨로프의 주파수에 대응하는 전자 디바이스.
  6. 제1항에 있어서, 상기 회로는 상기 코딩된 변조 신호에 기초하여 이중-변조된 조명 광을 생성하도록 구성되는 전자 디바이스.
  7. 제1항에 있어서, 코딩된 조명 광은 상기 조명 광을 2번 변조함으로써 생성되는 전자 디바이스.
  8. 제1항에 있어서, 상기 코딩된 변조 신호의 제1 주파수 성분은 대략적인 위상 시프트를 계산하기 위해 사용되고 상기 코딩된 변조 신호의 제2 주파수 성분은 미세한 위상 시프트를 계산하기 위해 사용되는 전자 디바이스.
  9. 제1항에 있어서, 상기 회로는 제1 코딩된 변조 신호 및 제2 코딩된 변조 신호를 생성하도록 구성되고, 상기 제2 코딩된 변조 신호는 상기 제1 코딩된 변조 신호에 대해 완전히 반전된 위상을 갖는 전자 디바이스.
  10. 제1항에 있어서, 상기 코딩된 변조 신호는 상기 비행 시간 카메라에 의해 송신된 조명 광을 변조하기 위해 사용되는 전자 디바이스.
  11. 제1항에 있어서, 상기 코딩된 변조 신호는 상기 비행 시간 카메라의 위상 화소에 의해 수신된 반사된 광을 복조하기 위해 사용되는 전자 디바이스.
  12. 시스템으로서,
    비행 시간 카메라에 의해 송신된 조명 광을 변조하고/하거나 비행 시간 카메라에 의해 수신된 반사된 광을 복조하기 위한 코딩된 변조 신호를 생성하도록 구성된 회로, 상기 반사된 광을 수신하도록 구성된 영상 센서, 및 상기 변조된 조명 광을 송신하도록 구성된 조명 광원을 포함하는 시스템.
  13. 제12항에 있어서, 상기 영상 센서는 공간적 배열에 따라 상기 반사된 신호를 복조하도록 구성되는 시스템.
  14. 제12항에 있어서, 상기 영상 센서는 다수 유형의 화소 서브-어레이들을 포함하고, 각각의 서브-어레이는 개별적인 복조 주파수로 상기 반사된 광을 복조하도록 구성되는 시스템.
  15. 제12항에 있어서, 상기 영상 센서는 2가지 유형의 화소 서브-어레이들을 포함하고, 상기 제1 유형의 화소 서브-어레이들은 상기 코딩된 변조 신호의 높은 변조 주파수에 대응하는 높은 변조 주파수로 상기 반사된 조명 광을 복조하고 상기 제2 유형의 화소 서브-어레이들은 상기 코딩된 변조 신호의 낮은 주파수에 대응하는 낮은 변조 주파수로 상기 반사된 조명 광을 복조하는 시스템.
  16. 방법으로서,
    비행 시간 카메라에 의해 송신된 조명 광을 변조하기 위한 코딩된 변조 신호를 생성하는 단계를 포함하는 방법.
  17. 컴퓨터 프로그램으로서,
    명령어들을 포함하고, 상기 명령어들은 프로세서 상에서 실행될 때, 비행 시간 카메라에 의해 송신된 조명 광을 변조하기 위한 코딩된 변조 신호를 생성하기 위한 제어 신호를 생성하는 컴퓨터 프로그램.
KR1020217003327A 2018-07-17 2019-07-10 전자 디바이스 및 방법 Withdrawn KR20210031710A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18184041.4 2018-07-17
EP18184041 2018-07-17
PCT/EP2019/068546 WO2020016075A1 (en) 2018-07-17 2019-07-10 Electronic device and method

Publications (1)

Publication Number Publication Date
KR20210031710A true KR20210031710A (ko) 2021-03-22

Family

ID=62981131

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217003327A Withdrawn KR20210031710A (ko) 2018-07-17 2019-07-10 전자 디바이스 및 방법

Country Status (5)

Country Link
US (1) US20210318443A1 (ko)
EP (1) EP3824319A1 (ko)
KR (1) KR20210031710A (ko)
CN (1) CN112424640B (ko)
WO (1) WO2020016075A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11448739B2 (en) * 2019-03-08 2022-09-20 Synaptics Incorporated Derivation of depth information from time-of-flight (TOF) sensor data
WO2020223981A1 (zh) * 2019-05-09 2020-11-12 深圳奥比中光科技有限公司 时间飞行深度相机及多频调制解调的距离测量方法
WO2021004946A1 (en) * 2019-07-05 2021-01-14 Sony Semiconductor Solutions Corporation Time-of-flight imaging apparatus and time-of-flight imaging method
US12095963B2 (en) * 2020-11-27 2024-09-17 Verity Ag Systems and methods for processing time of flight sensor data
CN116635748A (zh) * 2020-12-15 2023-08-22 索尼半导体解决方案公司 飞行时间图像传感器电路和飞行时间图像传感器电路控制方法
CN115184946A (zh) * 2021-04-02 2022-10-14 华为技术有限公司 基于雷达的距离检测方法、装置、雷达及终端
KR20220153887A (ko) * 2021-05-12 2022-11-21 에스케이하이닉스 주식회사 듀얼 주파수를 이용하는 tof 센서, 카메라 장치 및 그 동작방법
WO2024188715A1 (en) * 2023-03-10 2024-09-19 Sony Semiconductor Solutions Corporation Circuitry and method

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4317209A (en) * 1979-12-04 1982-02-23 Frederick Electronics Corp. FSK Tone generator circuit
US5745437A (en) * 1996-08-05 1998-04-28 Wachter; Eric A. Method and apparatus for coherent burst ranging
US6031601A (en) * 1998-07-08 2000-02-29 Trimble Navigation Limited Code-space optical electronic distance meter
EP1252535B1 (en) * 2000-01-26 2004-03-31 Instro Precision Limited Optical distance measurement
US6664529B2 (en) * 2000-07-19 2003-12-16 Utah State University 3D multispectral lidar
US7746450B2 (en) * 2007-08-28 2010-06-29 Science Applications International Corporation Full-field light detection and ranging imaging system
SG182409A1 (en) * 2010-01-07 2012-08-30 Shilat Optronics Ltd Three dimensional measurement system
WO2012115083A1 (ja) * 2011-02-21 2012-08-30 パナソニック株式会社 空間情報検出装置
CN103765241A (zh) * 2011-04-29 2014-04-30 怀卡托大学 低功率范围成像相机的谐振调制
DE102013205600B4 (de) * 2012-03-29 2019-09-19 pmdtechnologies ag Überwachungsvorrichtung für eine Beleuchtung eines Lichtlaufzeitmesssystems
US9581696B2 (en) * 2014-12-22 2017-02-28 Google Inc. Image sensor and light source driver integrated in a same semiconductor package
US10605916B2 (en) * 2015-03-17 2020-03-31 Cornell University Depth field imaging apparatus, methods, and applications
EP3414599B1 (en) * 2016-02-08 2019-12-18 Denso Corporation Time-of-flight distance measuring device and method for detecting multipath error
US10690756B2 (en) * 2016-05-10 2020-06-23 Texas Instruments Incorporated Methods and apparatus for LIDAR operation with pulse position modulation
US10416292B2 (en) * 2016-05-24 2019-09-17 Veoneer Us, Inc. Direct detection LiDAR system and method with frequency modulation (FM) transmitter and quadrature receiver

Also Published As

Publication number Publication date
US20210318443A1 (en) 2021-10-14
CN112424640B (zh) 2025-03-11
EP3824319A1 (en) 2021-05-26
CN112424640A (zh) 2021-02-26
WO2020016075A1 (en) 2020-01-23

Similar Documents

Publication Publication Date Title
KR20210031710A (ko) 전자 디바이스 및 방법
US12181576B2 (en) Time-of-flight based distance measuring method and distance measuring system
US11408983B2 (en) Lidar 2D receiver array architecture
US6239456B1 (en) Lock in pinned photodiode photodetector
CA2264051C (en) Method and device for determining the phase- and/or amplitude data of an electromagnetic wave
CN108431626B (zh) 光检测和测距传感器
US7586077B2 (en) Reference pixel array with varying sensitivities for time of flight (TOF) sensor
US9325920B2 (en) Processing of time-of-flight signals
US20160306045A1 (en) A method for driving a time-of-flight system
CN111123289B (zh) 一种深度测量装置及测量方法
US10091492B2 (en) Imaging apparatuses and a time of flight imaging method
US20180259628A1 (en) Time of flight imaging apparatuses and a method for adjusting a reference frequency
US20110299059A1 (en) Multi-Level Digital Modulation for Time of Flight Method and System
WO2019200833A1 (zh) 一种测距方法、装置、测距传感器以及传感阵列
US11044429B2 (en) Charge collection gate with central collection photodiode in time of flight pixel
CN109564277A (zh) 具有载流子生成的钉扎光电二极管的解调器及其操作方法
US20210405193A1 (en) Time-of-flight based distance measuring method and distance measuring system
US20220120876A1 (en) Receiver device for lidar and lidar
US20220252730A1 (en) Time-of-flight imaging apparatus and time-of-flight imaging method
US11770633B2 (en) Readout architecture for indirect time-of-flight sensing
JP2006084429A (ja) 距離画像センサ
EP3497471B1 (en) A demodulator with a carrier generating pinned photodiode
US20220018946A1 (en) Multi-function time-of-flight sensor and method of operating the same
US20230011969A1 (en) Time of flight sensing method
CN115308756A (zh) 一种像素电路，图像传感器及探测装置

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20210202

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20220711

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20241115

Patent event code: PE09021S01D

PC1202 Submission of document of withdrawal before decision of registration

Comment text: [Withdrawal of Procedure relating to Patent, etc.] Withdrawal (Abandonment)

Patent event code: PC12021R01D

Patent event date: 20250115

WITB Written withdrawal of application