[go: up one dir, main page]

KR20150090778A - 깊이 정보 추출 장치 및 방법 - Google Patents

깊이 정보 추출 장치 및 방법 Download PDF

Info

Publication number
KR20150090778A
KR20150090778A KR1020140011786A KR20140011786A KR20150090778A KR 20150090778 A KR20150090778 A KR 20150090778A KR 1020140011786 A KR1020140011786 A KR 1020140011786A KR 20140011786 A KR20140011786 A KR 20140011786A KR 20150090778 A KR20150090778 A KR 20150090778A
Authority
KR
South Korea
Prior art keywords
depth information
image
extracting
light
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020140011786A
Other languages
English (en)
Other versions
KR102277309B1 (ko
Inventor
이명욱
이기석
정성기
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020140011786A priority Critical patent/KR102277309B1/ko
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to PCT/KR2015/000917 priority patent/WO2015115802A1/ko
Priority to US15/115,172 priority patent/US10690484B2/en
Priority to EP15742848.3A priority patent/EP3101893B1/en
Priority to CN201580006363.9A priority patent/CN105940675A/zh
Priority to JP2016549147A priority patent/JP6644694B2/ja
Publication of KR20150090778A publication Critical patent/KR20150090778A/ko
Priority to KR1020210089584A priority patent/KR102400992B1/ko
Application granted granted Critical
Publication of KR102277309B1 publication Critical patent/KR102277309B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)

Abstract

본 발명의 한 실시예에 따른 깊이 정보 추출 장치는 소정 패턴의 IR(InfraRed) 광을 주기적으로 투사하는 투사부, 영상을 촬영하는 카메라부, 그리고 상기 카메라부에 의하여 촬영된 영상을 이용하여 깊이 정보 추출 및 RGB 영상 정보 추출을 수행하는 신호 처리부를 포함하며, 상기 신호 처리부는 제1 시간 영역동안 수신한 영상을 이용하여 깊이 정보를 추출하고, 제2 시간 영역동안 수신한 영상을 이용하여 RGB 영상 정보를 추출한다.

Description

깊이 정보 추출 장치 및 방법{APPARATUS AND METHOD FOR EXTRACTING DEPTH MAP}
본 발명은 깊이 정보 추출 장치 및 방법에 관한 것이다.
촬영 장치를 이용하여 3차원 영상을 획득하는 기술이 발전하고 있다. 3차원 영상을 획득하기 위하여 깊이 정보(Depth Map)가 필요하다. 깊이 정보는 공간 상의 거리를 나타내는 정보이며, 2차원 영상의 한 지점에 대하여 다른 지점의 원근 정보를 나타낸다.
깊이 정보를 획득하는 방법으로는, 스테레오 카메라(stereo camera)를 이용하는 방식, TOF(Time of Flight) 방식 및 구조광 방식 등이 있다.
스테레오 카메라를 이용하는 방식에 따르면, 두 카메라 간의 시차를 이용하여 깊이 정보를 획득할 수 있다. TOF 방식에 따르면, 비행 시간, 즉 빛을 쏘아서 반사되어 오는 시간을 측정함으로써 깊이 정보를 획득할 수 있다. 구조광 방식에 따르면, IR(InfraRed) 구조광을 카메라에 투사하며, 객체로부터 반사된 광을 해석하여 깊이 정보를 획득할 수 있다.
한편, TV를 응용하는 기술이 발전함에 따라, 깊이 정보 추출 기능 및 영상 통화 기능을 포함하는 모듈이 TV에 내장되거나, TV와 연결될 수 있다. 이러한 모듈은 IR 구조광을 투사하는 프로젝터(projector), IR 구조광을 검출하는 IR 카메라 및 RGB 카메라를 포함할 수 있다.
이와 같이, 깊이 정보 추출 기능 및 영상 통화 기능을 포함하는 모듈이 IR 카메라와 RGB 카메라를 모두 포함할 경우, 제조 비용이 높아질뿐만 아니라 사이즈도 커져 TV에 내장시키기 어려운 문제가 있다.
본 발명이 이루고자 하는 기술적 과제는 깊이 정보 추출 장치 및 방법을 제공하는 데 있다.
본 발명의 한 실시예에 따른 깊이 정보 추출 장치는 소정 패턴의 IR(InfraRed) 광을 주기적으로 투사하는 투사부, 영상을 촬영하는 카메라부, 그리고 상기 카메라부에 의하여 촬영된 영상을 이용하여 깊이 정보 추출 및 RGB 영상 정보 추출을 수행하는 신호 처리부를 포함하며, 상기 신호 처리부는 제1 시간 영역동안 수신한 영상을 이용하여 깊이 정보를 추출하고, 제2 시간 영역동안 수신한 영상을 이용하여 RGB 영상 정보를 추출한다.
상기 제1 시간 영역은 상기 투사부가 상기 IR 광을 투사하는 주기에 대응할 수 있다.
상기 제1 시간 영역동안 수신한 영상은 상기 IR 광의 패턴 및 RGB 영상을 포함하며, 상기 제2 시간 영역동안 수신한 영상은 RGB 영상을 포함할 수 있다.
상기 카메라부는 RGB 영상을 촬영하는 RGB 카메라일 수 있다.
상기 투사부, 상기 카메라부 및 상기 신호 처리부를 제어하는 제어부를 더 포함하며, 상기 제어부는 상기 IR 광을 투사하는 주기를 제어할 수 있다.
본 발명의 한 실시예에 따른 깊이 정보 추출 장치의 깊이 정보 추출 방법은 소정 패턴의 IR(InfraRed) 광을 주기적으로 투사하는 단계, 영상을 촬영하는 단계, 제1 시간 영역동안 촬영된 영상을 이용하여 깊이 정보를 추출하는 단계, 그리고 제2 시간 영역동안 촬영된 영상을 이용하여 RGB 영상 정보를 추출하는 단계를 포함한다.
상기 제1 시간 영역은 상기 IR 광을 투사하는 주기에 대응할 수 있다.
상기 깊이 정보를 추출하는 단계에 의하여 추출된 깊이 정보를 이용하여 상기 IR 광을 투사하는 주기를 조절하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 하나의 카메라를 이용하여 깊이 정보 추출 및 영상 통화 기능을 모두 수행하므로, 장치의 제조 비용 및 사이즈를 줄일 수 있다.
도 1은 깊이 정보 추출 장치의 일 예를 나타내는 블록도이다.
도 2는 RGB 카메라의 파장 대역 별 Quantum Efficiency를 나타낸다.
도 3은 본 발명의 한 실시예에 따른 깊이 정보 추출 장치의 블록도이다.
도 4는 본 발명의 한 실시예에 따른 깊이 정보 추출 장치의 깊이 정보 추출 방법을 나타내는 순서도이다.
도 5는 본 발명의 한 실시예에 따른 깊이 정보 추출 장치의 투사부가 주기적으로 IR 광을 투사하는 패턴을 나타낸다.
도 6은 본 발명의 한 실시예에 따른 깊이 정보 추출 장치의 RGB 카메라가 촬영하는 영상을 나타낸다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 깊이 정보 추출 장치의 일 예를 나타내는 블록도이다.
도 1을 참조하면, 깊이 정보 추출 장치(100)는 투사부(110), IR 카메라(120), RGB 카메라(130), 신호 처리부(140) 및 제어부(150)를 포함한다.
투사부(110)는 미리 정해진 패턴의 IR 광을 촬영하고자 하는 객체(object)에 투사한다.
IR 카메라(120)는 투사부(110)로부터 투사된 후 객체로부터 반사된 광을 촬영한다. 그리고, RGB 카메라(130)는 RGB 영상을 촬영한다.
신호 처리부(140)는 IR 카메라(120)에 의하여 촬영된 영상을 이용하여 깊이 정보를 추출하며, RGB 카메라(130)로부터 촬영된 영상을 이용하여 RGB 영상 정보를 추출한다. 제어부(150)는 깊이 정보 추출 장치(100)를 전반적으로 제어한다.
이와 같이, 깊이 정보 추출 장치(100)가 IR 카메라(120)와 RGB 카메라(130)를 별도로 포함하면, 깊이 정보 추출 장치(100)의 제조 비용이 높아질뿐만 아니라 사이즈도 커져 TV에 내장시키기 어려운 문제가 있다.
한편, 도 2에서 나타낸 바와 같이, 일반적인 RGB 카메라는 400 내지 700nm의 가시광선 대역에서의 Quantum Efficiency가 30% 이상이나, 800 내지 850 nm의 IR 대역에서의 Quantum Efficiency도 20% 이상임을 알 수 있다. 이와 같이, 일반적인 RGB 카메라는 주로 가시광선의 파장 대역을 감지하지만, 근적외선의 파장 대역도 감지할 수 있다. 이에 따라, 본 발명의 한 실시예에 따르면, RGB 카메라를 이용하여 깊이 정보 추출 기능도 수행하고자 한다.
도 3은 본 발명의 한 실시예에 따른 깊이 정보 추출 장치의 블록도이다.
도 3을 참조하면, 깊이 정보 추출 장치(300)는 투사부(310), RGB 카메라(320), 신호 처리부(330) 및 제어부(340)를 포함한다.
투사부(310)는 소정 패턴의 광을 주기적으로 투사한다. 여기서, 소정 패턴의 광은 파장 대역이 800nm이상인 적외선 광일 수 있다. 이를 위하여, 투사부(310)는 적외선을 투사하는 적어도 하나의 레이저 다이오드(Laser Diode, LD) 또는 발광 다이오드(Light Emitting Diode, LED)를 포함할 수 있다. 투사부(310)는, 예를 들면 레이저 프로젝터(Laser Projector)일 수 있다.
RGB 카메라(320)는 영상을 촬영한다. RGB 카메라(320)는 기본적으로 RGB 영상을 촬영하나, 투사부(310)가 투사한 후 물체에 의하여 반사된 IR 광도 감지할 수 있다. RGB 카메라(320)가 RGB 영상만을 촬영하는 시간 영역과 RGB 영상과 함께 IR 광도 감지하는 시간 영역은 투사부(310)가 IR 패턴을 투사하는 주기에 따를 수 있다. 즉, RGB 카메라(320)가 RGB 영상과 함께 IR 광도 감지하는 시간 영역은 투사부(310)가 IR 패턴을 투사하는 시간 영역에 대응할 수 있다. 예를 들어, RGB 카메라(320)가 1280*1024의 해상도로 60fps의 출력을 내보내는 경우, 1280*1024의 해상도의 30fps는 RGB 영상용으로 사용되고, 1280*1024의 해상도의 나머지 30fps RGB 영상과 IR 광 감지용으로 사용될 수 있다.
신호 처리부(330)는 RGB 카메라(320)에 의하여 촬영된 영상을 이용하여 깊이 정보 추출 및 RGB 영상 정보를 추출한다. 신호 처리부(330)는 RGB 카메라(320)에 의하여 촬영된 영상이 RGB 영상만을 포함하는 경우, 이로부터 RGB 영상 정보를 추출할 수 있다. 그리고, RGB 카메라(320)에 의하여 촬영된 영상이 RGB 영상과 함께 IR 광도 포함하는 경우, 이로부터 깊이 정보를 추출할 수 있다.
제어부(340)는 투사부(310), RGB 카메라(320) 및 신호 처리부(330)를 전반적으로 제어한다. 특히, 제어부(340)는 투사부(310)가 IR 광을 투사하는 주기를 제어할 수 있다. 예를 들어, 신호 처리부(330)에 의하여 추출된 깊이 정보의 깊이 분해능(Depth resolution)이 소정 수준 이하인 경우, 제어부(340)는 투사부(310)가 더욱 짧은 주기로 IR 광을 투사하도록 제어할 수 있다. 신호 처리부(330)에 의하여 깊이 정보를 추출한 결과, 객체와 RGB 카메라(120) 간의 평균 거리 또는 객체 내의 특정 영역과 RGB 카메라(120) 간의 거리가 소정 수준 이상인 경우, 투사부(310)가 더욱 짧은 주기로 IR 광을 투사하도록 제어할 수도 있다.
본 발명의 한 실시예에 따른 깊이 정보 추출 장치(300)가 깊이 정보를 추출 하는 방법을 아래에서 상세히 설명한다.
도 4는 본 발명의 한 실시예에 따른 깊이 정보 추출 장치의 깊이 정보 추출 방법을 나타내는 순서도이며, 도 5는 본 발명의 한 실시예에 따른 깊이 정보 추출 장치의 투사부가 주기적으로 IR 광을 투사하는 패턴을 나타내고, 도 6은 본 발명의 한 실시예에 따른 깊이 정보 추출 장치의 RGB 카메라가 촬영하는 영상을 나타낸다.
도 4를 참조하면, 깊이 정보 추출 장치(300)의 투사부(310)는 소정 패턴의 IR 광을 주기적으로 투사한다(S400). 여기서, 소정 패턴의 광은 파장 대역이 800nm이상인 적외선 광일 수 있다. 소정 패턴은 구조광(structured light)의 패턴을 의미할 수 있다. 도 5와 같이, 투사부(310)는 소정 패턴의 IR 광을 "On"구간에서만 투사하고, "Off"구간에서는 투사하지 않는 것으로 설정될 수 있다.
RGB 카메라(120)는 영상을 촬영한다(S410). RGB 카메라(120)는 기본적으로 RGB 영상을 촬영하지만, 근적외선 파장 대역의 IR 광도 감지할 수 있다. 예를 들어, 도 6과 같이, RGB 카메라(320)는 투사부(310)가 "Off"인 구간 동안에는 RGB 영상만을 촬영하지만, 투사부(310)가 "On"인 구간 동안에는 RGB 영상과 함께 IR 광의 패턴도 촬영할 수 있다.
신호 처리부(330)는 투사부(310)가 "On"인 구간 동안 촬영된 영상을 이용하여(S420), 깊이 정보를 추출한다(S430). RGB 카메라(320)에 의하여 촬영된 영상 중 IR 광은 객체로부터 반사된 광이다. 이는 투사부(310)에 의하여 투사된 광의 패턴과 차이가 있다. 신호 처리부(330)는 투사부(310)가 투사한 IR 광의 패턴과 RGB 카메라(320)가 촬영한 IR 광의 패턴을 비교하여, 깊이 정보를 추출할 수 있다. 깊이 정보는 다양한 깊이 정보 추출 알고리즘에 의하여 추출될 수 있다. 신호 처리부(330)가 깊이 정보 추출 장치(300)의 내부에 포함되는 것으로 도시되어 있으나, 신호 처리부(330)는 깊이 정보 추출 장치(300)의 외부에 위치할 수도 있다. 즉, 외부의 신호 처리부(330)는 촬영부(320) 로부터 유선 또는 무선으로 정보를 전달 받아, 깊이 정보를 추출할 수도 있다.
그리고, 신호 처리부(320)는 투사부(310)가 "Off"인구간 동안 촬영된 영상을 이용하여 RGB 영상 정보를 추출한다(S440).
한편, 제어부(340)는 투사부(310)가 IR 광을 투사하는 주기를 제어할 수 있다. 예를 들어, 단계 S430에서 신호 처리부(330)가 깊이 정보를 추출한 결과, 객체와의 거리가 임계값보다 큰 경우(S450), 투사부(310)가 IR 광을 투사하는 주기를 조정할 수 있다(S460). 즉, 객체와의 거리가 멀어질수록 깊이 정보를 추출하기 위하여 많은 양의 IR 광이 필요할 수 있다. 이에 따라, 제어부(340)는 IR 광을 투사하는 주기를 짧게 조정할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
300: 깊이 정보 추출 장치
310: 투사부
320: RGB 카메라
330: 신호 처리부
340: 제어부

Claims (7)

  1. IR(InfraRed) 광을 주기적으로 투사하는 투사부,
    영상을 촬영하는 카메라부, 그리고
    상기 카메라부에 의하여 촬영된 영상을 이용하여 깊이 정보 추출 및 RGB 영상 정보 추출을 수행하는 신호 처리부를 포함하며,
    상기 신호 처리부는 제1 시간 영역동안 수신한 영상을 이용하여 깊이 정보를 추출하고, 제2 시간 영역동안 수신한 영상을 이용하여 RGB 영상 정보를 추출하는 깊이 정보 추출 장치.
  2. 제1항에 있어서,
    상기 제1 시간 영역은 상기 투사부가 상기 IR 광을 투사하는 주기에 대응하는 깊이 정보 추출 장치.
  3. 제1항에 있어서,
    상기 제1 시간 영역동안 수신한 영상은 상기 IR 광의 패턴 및 RGB 영상을 포함하며, 상기 제2 시간 영역동안 수신한 영상은 RGB 영상을 포함하는 깊이 정보 추출 장치.
  4. 제1항에 있어서,
    상기 투사부, 상기 카메라부 및 상기 신호 처리부를 제어하는 제어부를 더 포함하며,
    상기 제어부는 상기 IR 광을 투사하는 주기를 제어하는 깊이 정보 추출 장치.
  5. 깊이 정보 추출 장치의 깊이 정보 추출 방법에 있어서,
    IR(InfraRed) 광을 주기적으로 투사하는 단계,
    영상을 촬영하는 단계,
    제1 시간 영역동안 촬영된 영상을 이용하여 깊이 정보를 추출하는 단계, 그리고
    제2 시간 영역동안 촬영된 영상을 이용하여 RGB 영상 정보를 추출하는 단계
    를 포함하는 깊이 정보 추출 방법.
  6. 제5항에 있어서,
    상기 제1 시간 영역은 상기 IR 광을 투사하는 주기에 대응하는 깊이 정보 추출 방법.
  7. 제6항에 있어서,
    상기 깊이 정보를 추출하는 단계에 의하여 추출된 깊이 정보를 이용하여 상기 IR 광을 투사하는 주기를 조절하는 단계
    를 더 포함하는 깊이 정보 추출 방법.
KR1020140011786A 2014-01-29 2014-01-29 깊이 정보 추출 장치 및 방법 Active KR102277309B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020140011786A KR102277309B1 (ko) 2014-01-29 2014-01-29 깊이 정보 추출 장치 및 방법
US15/115,172 US10690484B2 (en) 2014-01-29 2015-01-28 Depth information extracting device and method
EP15742848.3A EP3101893B1 (en) 2014-01-29 2015-01-28 Depth information extracting device and method
CN201580006363.9A CN105940675A (zh) 2014-01-29 2015-01-28 深度信息提取装置和方法
PCT/KR2015/000917 WO2015115802A1 (ko) 2014-01-29 2015-01-28 깊이 정보 추출 장치 및 방법
JP2016549147A JP6644694B2 (ja) 2014-01-29 2015-01-28 深さ情報抽出装置および方法
KR1020210089584A KR102400992B1 (ko) 2014-01-29 2021-07-08 깊이 정보 추출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140011786A KR102277309B1 (ko) 2014-01-29 2014-01-29 깊이 정보 추출 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210089584A Division KR102400992B1 (ko) 2014-01-29 2021-07-08 깊이 정보 추출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150090778A true KR20150090778A (ko) 2015-08-06
KR102277309B1 KR102277309B1 (ko) 2021-07-14

Family

ID=53757329

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020140011786A Active KR102277309B1 (ko) 2014-01-29 2014-01-29 깊이 정보 추출 장치 및 방법
KR1020210089584A Active KR102400992B1 (ko) 2014-01-29 2021-07-08 깊이 정보 추출 장치 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210089584A Active KR102400992B1 (ko) 2014-01-29 2021-07-08 깊이 정보 추출 장치 및 방법

Country Status (6)

Country Link
US (1) US10690484B2 (ko)
EP (1) EP3101893B1 (ko)
JP (1) JP6644694B2 (ko)
KR (2) KR102277309B1 (ko)
CN (1) CN105940675A (ko)
WO (1) WO2015115802A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018031179A1 (en) * 2016-08-09 2018-02-15 Oculus Vr, Llc Multiple emitter illumination source for depth information determination
KR20190098242A (ko) * 2016-12-30 2019-08-21 제노마틱스 엔브이 차량 주변 환경을 특성화하기 위한 시스템

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10469827B2 (en) * 2013-12-27 2019-11-05 Sony Corporation Image processing device and image processing method
CN106550228B (zh) * 2015-09-16 2019-10-15 上海图檬信息科技有限公司 获取三维场景的深度图的设备
US10453185B2 (en) * 2015-11-12 2019-10-22 Aquifi, Inc. System and method for high dynamic range depth capture using multiple cameras
JP6837498B2 (ja) * 2016-06-03 2021-03-03 ウトゥク・ビュユクシャヒンＵｔｋｕ ＢＵＹＵＫＳＡＨＩＮ ３次元画像をキャプチャおよび生成するためのシステムおよび方法
CN108696694B (zh) 2017-03-31 2023-04-07 钰立微电子股份有限公司 有关深度信息/全景图像的图像装置及其相关图像系统
US10909650B2 (en) * 2017-06-23 2021-02-02 Cloud 9 Perception, LP System and method for sensing and computing of perceptual data in industrial environments
KR102476404B1 (ko) * 2017-07-18 2022-12-12 엘지이노텍 주식회사 ToF 모듈 및 그 ToF 모듈을 이용한 피사체 인식장치
CN108564613A (zh) * 2018-04-12 2018-09-21 维沃移动通信有限公司 一种深度数据获取方法及移动终端
US11609313B2 (en) * 2018-07-31 2023-03-21 Waymo Llc Hybrid time-of-flight and imager module
US11353588B2 (en) 2018-11-01 2022-06-07 Waymo Llc Time-of-flight sensor with structured light illuminator
CN110308458B (zh) * 2019-06-27 2021-03-23 Oppo广东移动通信有限公司 调节方法、调节装置、终端及计算机可读存储介质
CN116452485A (zh) * 2022-01-05 2023-07-18 通用汽车环球科技运作有限责任公司 基于图像相关联性的反射表面的检查

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010035168A (ja) * 2008-07-25 2010-02-12 Samsung Electronics Co Ltd イメージング装置および方法
JP2010256291A (ja) * 2009-04-28 2010-11-11 Toyota Motor Corp 距離画像撮影装置
WO2013027340A1 (ja) * 2011-08-24 2013-02-28 パナソニック株式会社 撮像装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08242469A (ja) 1995-03-06 1996-09-17 Nippon Telegr & Teleph Corp <Ntt> 撮像カメラ装置
JP2003324751A (ja) 2002-05-07 2003-11-14 Toshiba Corp 情報入力装置
JP2004212385A (ja) 2002-12-19 2004-07-29 Olympus Corp 撮影装置とその撮影装置の撮影方法及び制御方法
US8400494B2 (en) * 2005-10-11 2013-03-19 Primesense Ltd. Method and system for object reconstruction
US8456517B2 (en) * 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
KR101502372B1 (ko) * 2008-11-26 2015-03-16 삼성전자주식회사 영상 획득 장치 및 방법
US8717417B2 (en) * 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
US8830227B2 (en) 2009-12-06 2014-09-09 Primesense Ltd. Depth-based gain control
KR101652393B1 (ko) * 2010-01-15 2016-08-31 삼성전자주식회사 3차원 영상 획득 장치 및 방법
TWI540312B (zh) * 2010-06-15 2016-07-01 原相科技股份有限公司 可提高測量精確度、省電及／或能提高移動偵測效率的時差測距系統及其方法
CN102298149B (zh) * 2010-06-25 2016-04-27 原相科技股份有限公司 提高精确度、移动侦测效率、省电的时差测距系统及方法
US8542348B2 (en) * 2010-11-03 2013-09-24 Rockwell Automation Technologies, Inc. Color sensor insensitive to distance variations
KR20120084216A (ko) 2011-01-19 2012-07-27 삼성전자주식회사 깊이 정보에 대한 픽셀 노이즈를 제거하는 3차원 이미지 신호 처리 방법 및 상기 방법을 수행하는 3차원 이미지 신호 프로세서
JP2012243097A (ja) * 2011-05-19 2012-12-10 Panasonic Corp 投影装置およびその方法、並びに投影装置を用いた形状認識装置およびその方法
KR20130027671A (ko) 2011-09-08 2013-03-18 한국전자통신연구원 깊이 정보 획득장치 및 이를 포함하는 3차원 정보 획득 시스템
US9264676B2 (en) * 2012-01-06 2016-02-16 Microsoft Technology Licensing, Llc Broadband imager
EP2817586B1 (en) * 2012-02-15 2020-03-25 Apple Inc. Scanning depth engine
WO2014122714A1 (ja) * 2013-02-07 2014-08-14 パナソニック株式会社 撮像装置及びその駆動方法
US9582075B2 (en) * 2013-07-19 2017-02-28 Nvidia Corporation Gaze-tracking eye illumination from display
US9310603B2 (en) * 2013-12-17 2016-04-12 Htc Corporation Image capture system with embedded active filtering, and image capturing method for the same
JP6264029B2 (ja) * 2013-12-26 2018-01-24 株式会社Ｊｖｃケンウッド 撮像装置、撮像装置の制御方法及び制御プログラム
US9615013B2 (en) * 2014-12-22 2017-04-04 Google Inc. Image sensor having multiple output ports

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010035168A (ja) * 2008-07-25 2010-02-12 Samsung Electronics Co Ltd イメージング装置および方法
JP2010256291A (ja) * 2009-04-28 2010-11-11 Toyota Motor Corp 距離画像撮影装置
WO2013027340A1 (ja) * 2011-08-24 2013-02-28 パナソニック株式会社 撮像装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018031179A1 (en) * 2016-08-09 2018-02-15 Oculus Vr, Llc Multiple emitter illumination source for depth information determination
US10827163B2 (en) 2016-08-09 2020-11-03 Facebook Technologies, Llc Multiple emitter illumination source for depth information determination
KR20190098242A (ko) * 2016-12-30 2019-08-21 제노마틱스 엔브이 차량 주변 환경을 특성화하기 위한 시스템

Also Published As

Publication number Publication date
KR102400992B1 (ko) 2022-05-23
EP3101893B1 (en) 2020-04-22
US10690484B2 (en) 2020-06-23
EP3101893A1 (en) 2016-12-07
WO2015115802A1 (ko) 2015-08-06
EP3101893A4 (en) 2017-07-26
KR20210090134A (ko) 2021-07-19
JP2017506740A (ja) 2017-03-09
CN105940675A (zh) 2016-09-14
KR102277309B1 (ko) 2021-07-14
JP6644694B2 (ja) 2020-02-12
US20160349043A1 (en) 2016-12-01

Similar Documents

Publication Publication Date Title
KR102400992B1 (ko) 깊이 정보 추출 장치 및 방법
US11501535B2 (en) Image processing apparatus, image processing method, and storage medium for reducing a visibility of a specific image region
US20210279474A1 (en) Surveillance camera system and surveillance camera control apparatus
US8805021B2 (en) Method and apparatus for estimating face position in 3 dimensions
US9258481B2 (en) Object area tracking apparatus, control method, and program of the same
US20170374272A1 (en) Image processing apparatus, imaging apparatus, and image processing method
US9699377B2 (en) Depth detecting apparatus and method, and gesture detecting apparatus and gesture detecting method
US20160165129A1 (en) Image Processing Method
US10127424B2 (en) Image processing apparatus, image processing method, and image processing system
JP2015041323A (ja) 処理装置
US9202115B2 (en) Event detection system and method using image analysis
JP2020513569A5 (ko)
WO2019155727A1 (ja) 情報処理装置、追跡方法、及び追跡プログラム
US9113148B2 (en) Three-dimensional measurement system and method
KR101242891B1 (ko) 뎁스맵 이미지 추출 장치 및 방법
TW201344417A (zh) 省電監控系統及方法
JP2025031260A (ja) 撮像装置、撮像装置の制御方法、プログラム、及びシステム
US10321100B2 (en) System and method of foreground extraction for digital cameras
JP2015069607A (ja) 対象物画像抽出装置及び対象物画像抽出方法
EP4055443A1 (en) Extraction of subject from background

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20140129

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20190121

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20140129

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200226

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20201018

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210408

GRNT Written decision to grant
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20210708

Patent event code: PA01071R01D

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210708

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210709

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240617

Start annual number: 4

End annual number: 4