[go: up one dir, main page]

CN104885451B - 用于获得3d图像的方法和装置 - Google Patents

用于获得3d图像的方法和装置 Download PDF

Info

Publication number
CN104885451B
CN104885451B CN201380067450.6A CN201380067450A CN104885451B CN 104885451 B CN104885451 B CN 104885451B CN 201380067450 A CN201380067450 A CN 201380067450A CN 104885451 B CN104885451 B CN 104885451B
Authority
CN
China
Prior art keywords
infrared
light
image
illumination
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380067450.6A
Other languages
English (en)
Other versions
CN104885451A (zh
Inventor
曹雅煐
梁先镐
申允燮
金成珉
权宁满
郑用宇
安成根
李昌焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN104885451A publication Critical patent/CN104885451A/zh
Application granted granted Critical
Publication of CN104885451B publication Critical patent/CN104885451B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Color Television Image Signal Generators (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供获得3D图像的方法和装置。根据本发明实施例获得3D图像的装置包括向识别目标发射红外线(IR)结构光的光发送部分；包括接收从识别目标反射的红外线和可见光的RGB‑IR传感器的光接收部分；处理器，使用光接收部分接收的红外线和可见光的每个获得包括识别目标的深度信息和可见光图像的3D图像信息；控制红外线(IR)结构光光照周期的光照部分。而且，本发明还包括使用处理器获得的3D图像信息恢复识别目标的3D图像的图像恢复部分，和在可视屏幕上提供恢复的3D图像的显示部分。利用获得3D图像的方法和装置本发明可适应性响应环境光亮度以消除RGB‑IR传感器干扰。结果，不管图像捕捉的时间或地点，如夜晚、日间、暗处或明处，可获得更精确的3D图像。

Description

用于获得3D图像的方法和装置
技术领域
本发明涉及用于获得3D(3维)图像的方法和装置，更具体而言，涉及通过使用红外线连同可见光来获得3D图像的方法和装置。
背景技术
最近，已经开发了从识别的目标获得3D图像的各种技术和产品。例如，TOF(飞行时间)系统根据相机与识别的目标之间的距离或深度获得3D图像，其使用到识别的目标的照射光的光发射时间与从识别的目标反射的光的光接收时间之间的时间差来测量相机与识别的目标之间的距离或深度。同样，结构光系统根据识别的目标的深度获得3D图像，其通过向识别的目标发射图案化的红外结构光并分析从识别的目标接收的红外线的图案来测量识别的目标的深度。
就此而言，尽管可以使用两个或更多可见光来获得3D深度信息，但是最近使用了使用可见光图像连同红外线图像作为有源光源的系统。而且，在该系统中，一般而言，连同红外线传感器(IR传感器)，设置了用于拍摄可见光的分开的传感器(RGB传感器)。另外，已经研发了这样的相机结构，其通过将用于拍摄可见光的传感器像素中的一个修改为用于获得红外线的像素来从RGB-IR传感器获得可见光图像和红外线图像。
发明内容
技术问题
RGB-IR单一传感器还没有被应用到用于获得3D图像的红外结构光系统，并且由于相关研究和研发开没有公开，设计集成的产品存在着困难。而且，在RGB-IR传感器被用作用于获得3D图像的装置的情况下，下述问题出现了。即，如果从像RGB-IR传感器这样的一个传感器获得红外线图像和可见光图像，则在可见光区域与红外线区域之间一般会出现干扰。
下文中，将对上述干扰进行更具体的描述。红外光照应当被持续激活以便获得红外图像。而且，持续激活的红外光照影响可见光图像，并且这被称为红外线与可见光之间的干扰。如果出现干扰，则在获得的可见光图像和红外图像中会出现噪声。结果，出现了下述问题：由于干扰而获得了不正确的3D图像。
已经构思了本发明以解决上述问题，本发明的目标是提供通过将单一RGB-IR传感器应用到红外结构光系统来有效获得3D图像的装置和方法。
本发明的另一目标是提供通过在使用RGB-IR传感器时去除可见光区域与红外区域之间的干扰来有效获得3D图像的装置和方法。例如，作为本发明的实施例，意图提供通过将用于拍摄可见光的时间段与用于拍摄红外线的时间段分开来去除干扰的方法和装置。
本发明的另一目标是提供通过使用从用于拍摄可见光的时间段和用于拍摄红外线的时间段分别获得的红外图像获得的红外差分图像来有效获得3D图像的装置和方法。
本发明的另一目标是提供通过根据环境光的亮度控制红外线发射时段来获得3D图像的装置和方法。例如，作为本发明的实施例，意图提供通过适应性地响应环境光来控制用于拍摄可见光区域和红外区域的时段的方法和装置。
本发明的另一目标是提供通过使用上述通过去除干扰来获得3D图像的方法来显示3D图像的装置。
技术方案
为实现上述目标，根据本发明的一个实施例，用于获得3D图像的装置包括：光发送单元，光发送单元用于向识别的目标发射红外线(IR)结构光；光接收单元，光接收单元包括用于接收从识别的目标反射的红外线和可见光的RGB-IR传感器；处理器，处理器用于通过使用由光接收单元接收的红外线和可见光中的每一个来获得3D图像信息，3D图像信息包括识别的目标的深度信息和可见光图像；以及光照单元，光照单元用于控制红外线(IR)结构光的光照周期。而且，该装置进一步包括图像恢复单元和显示单元，图像恢复单元通过使用由处理器获得的3D图像信息来恢复识别的目标的3D图像，显示单元用于在可视屏幕上提供恢复的3D图像。
而且，光照单元控制红外线(IR)结构光的光照周期，以通过将可见光测量时间段T1与红外测量时间段T2彼此分开来去除可见光测量时间段T1与红外测量时间段T2之间的干扰。
而且，光照单元控制红外线(IR)结构光的光照周期，以在环境光的亮度超过预定常规参考值Th2时通过考虑环境光的亮度来以相同的时段重复可见光测量时间段T1与红外测量时间段T2。
而且，处理器通过从在红外测量时间段T2获得的红外图像减去在可见光测量时间段T1获得的红外图像来获得红外差分图像。
而且，处理器通过使用获得的红外差分图像来测量识别的目标的深度。
而且，光照单元控制红外线(IR)结构光的光照周期，以便如果环境光的亮度小于预定常规参考值Th2，则使得可见光测量时间段T1比红外测量时间段T2长。
而且，光照单元控制红外线(IR)结构光的光照周期，以便如果环境光的亮度小于预定最小参考值Th1，则仅允许红外测量时间段T2而没有可见光测量时间段T1。
而且，包括光接收单元的RGB-IR传感器确定R、G、B和IR像素的排列，使得IR像素不以等间距排列。
根据本发明的一个实施例的用于获得3D图像的方法包括下述步骤：向识别的目标发射红外线(IR)结构光，并且接收从识别的目标反射的红外线和可见光；以及通过使用接收的红外线和可见光中的每一个来获得3D图像信息，3D图像信息包括识别的目标的深度信息和可见光图像，其中，红外线(IR)结构光的光照周期被控制为，在红外线(IR)结构光被发射到识别的目标时，通过将可见光测量时间段T1与红外测量时间段T2彼此分开来去除可见光测量时间段T1与红外测量时间段T2之间的干扰。
而且，红外线(IR)结构光的光照周期被控制为，如果环境光的亮度小于预定最小参考值Th1，则仅允许红外测量时间段T2而没有可见光测量时间段T1。
而且，红外线(IR)结构光的光照周期被控制为，如果环境光的亮度在最小参考值Th1与常规参考值Th2之间，则使得可见光测量时间段T1比红外测量时间段T2长。
而且，红外线(IR)结构光的光照周期被控制为，如果环境光的亮度超过常规参考值Th2，则以相同的时段重复可见光测量时间段T1与红外测量时间段T2。
而且，该方法进一步包括下述步骤，通过从在红外测量时间段T2获得的红外图像减去在可见光测量时间段T1获得的红外图像来获得红外差分图像。
而且，通过使用获得的红外差分图像来测量识别的目标的深度。
根据本发明的另一实施例，一种用于通过向识别的目标发射红外线(IR)结构光并且通过使用从识别的目标反射的红外线和可见光来获得识别的目标的3D图像信息的获得3D图像的方法包括下述步骤：测量环境光；将测量的环境光与预定参考值比较；控制红外线(IR)结构光的光照周期，以通过将可见光测量时间段T1与红外测量时间段T2彼此分开来去除可见光测量时间段T1与红外测量时间段T2之间的干扰。
本发明的其他目标、特征和益处将通过参考所附附图描述的实施例的具体描述而变得明显。
有益效果
根据本发明，可以去除用以获得3D图像的RGB-IR传感器的干扰。而且，因为去除了干扰，所以可以获得更清楚和精确的3D图像。
而且，可以通过适应性地响应环境可见光的亮度来去除RGB-IR传感器的干扰。因此，不管拍摄图像的时间或地点，诸如夜晚、日间、暗处或明处，可以获得更精确的3D图像。
另外，通过根据本发明的用于获得3D图像的装置，可以显示更清楚和精确的3D图像。
附图说明
图1是示出根据本发明的实施例的用于获得3D图像的装置的框图；
图2是示出根据本发明的实施例的用于获得3D图像的装置100与显示装置200彼此分开的示意图；
图3是示出根据本发明的实施例的用于获得3D图像的装置100与显示装置200彼此集成的示意图；
图4是示出根据现有技术的RGB-IR传感器的像素排列顺序的示意图；
图5是示出根据本发明的实施例的RGB-IR传感器的像素排列顺序的示意图；
图6是示出根据本发明的实施例的RGB-IR传感器的像素排列顺序的另一示意图；
图7是示出根据本发明的实施例的控制RGB-IR传感器的红外光照的方法的图；
图8是示出根据本发明的实施例的在控制RGB-IR传感器的红外光照的方法中环境光的亮度很暗的图；
图9是示出根据本发明的实施例的在控制RGB-IR传感器的红外光照的方法中环境光几乎不存在的图；
图10是示出根据本发明的实施例的控制RGB-IR传感器的红外光照的方法的流程图；以及
图11是示出环境光的亮度与可见光相机和红外相机的条件之间的关系的图。
具体实施方式
下文中，将参考所附附图具体描述上述目标可以通过其实现的本发明的优选实施例。
尽管本发明中使用的术语在考虑其在本发明中的功能时是选自广为人知和使用的术语，但是显然，术语可以依据本领域技术人员的意图、实践或新技术的出现而修改。同样，在特殊情况下，在本发明的描述中提及的术语可以由申请人按他或她的自行决定来选择，其具体含义在本文描述的相关部分描述。因此，本文使用的术语不应当仅通过实际术语进行理解，而是应当通过其中所含含义以及本文公开的描述进行理解。更具体而言，尽管本发明中诸如“第一”和/或“第二”的术语可以用于描述各种元件，但是应当理解为这些元件不被这样的术语限制。同样，术语可以用于相对于另一元件识别出一个元件。例如，在不偏离根据本说明书的概念的范围的程度内，第一元件可以被称为第二元件，反之亦然。
同样，本说明书中公开的根据本发明的概念的实施例的特定结构性或功能性描述示例性地意图描述根据本发明的概念的实施例。在根据本发明的概念的实施例中可以做出各种修改，因此实施例应当在所有的方面中被理解为示意性的而非限制性的。因此，应当理解为，本说明书中的公开包括本发明的精神和技术范围包括的所有修改、等同形式或替换。
图1是示出根据本发明的实施例的用于获得3D图像的装置的框图。参考图1，附图标记100描绘了狭义的用于获得3D图像的装置，而附图标记200描绘了显示装置，其通过从用于获得3D图像的装置接收3D图像并将3D图像恢复到原始图像来显示3D图像。在广义上，用于获得3D图像的装置指的是显示装置200。
图1中，根据本发明的实施例的用于获得3D图像的装置100可以包括光发送单元10、光接收单元20、处理器40、光照单元30、以及用于控制上述单元的控制器50。而且，显示装置200包括3D图像恢复单元60和显示单元70，图像恢复单元60用于从用于获得3D图像的装置100接收有关3D图像的信息(例如，彩色图像信息、深度信息等)并且将有关3D图像的信息恢复，显示单元70用于可视化地提供所恢复的图像。而且，显示装置200可以通过图1所示的用于获得3D图像的装置内的控制器50对3D图像恢复单元60和显示单元70进行控制。另一方面，尽管未显示，但是显然，如果用于获得3D图像的装置100和显示装置200如图2所示地彼此分开地设置，则可以设置分开的控制器(未显示)。
具体而言，意图是例如参考使用结构光来获得3D图像的情况来描述图1的实施例。然而，如上所述，本发明的一些概念可以应用到其他使用红外线获得3D图像的系统(例如，TOF系统)，而不仅限于结构光系统。本说明书中，将省略公知的结构光系统以及TOF系统的具体描述。
光发送单元10向识别的目标80发射红外光(IR)以获得识别的目标80的深度信息。例如，对于结构光系统的应用，红外光可以包括特定图案。该情况下，光发送单元10可以是用于发射红外结构光的结构光单元。
而且，光接收单元20包括用于接收从识别的目标反射的红外线和可见光的传感器。在本发明中，特征在于，光接收单元20包括RGB-IR单一传感器，其可以在相同的轴上并且在相同的空间处获得红外光和可见光。在该方面，稍后将参考图4至图6具体描述构成光接收单元20的RGB-IR单一传感器的像素排列结构。
而且，处理器40通过使用由光接收单元20接收的红外线来获得识别的目标的深度信息，并且通过使用由光接收单元20接收的可见光来生成彩色图像信息。处理器获得的深度信息和彩色图像信息被称为识别的目标的3D图像信息。而且，处理器40获得的3D图像信息被提供给图像恢复单元60并用于3D图像的恢复。这就是说，图像恢复单元60通过向彩色图像信息应用深度信息来恢复3D图像。
而且，光照单元30的特征在于，在控制器50的控制下，控制红外光照时段，以防止光发送单元10内的红外线与可见光出现干扰。具体而言，本发明的特征还在于，光照单元30在红外光照时段的控制中考虑了环境光的亮度。在该方面，将参考图7至图11具体描述对控制器50和光照单元30的光照时段进行控制的方法。而且，在图1中，为了方便描述，光照单元30和光发送单元10彼此分开。但是，图1的描述仅是示例性的。因此，在实际的产品应用中，光照单元30可以包括在光发送单元10中用作光照源的透镜，并且可以设置为与光发送单元10集成的部分。
在这方面，图2是示出根据本发明的实施例的用于获得3D图像的装置100与显示装置200彼此分开的示意图。如图2所示，如果两个装置100和200彼此分开，则可以通过信号连接线300将从用于获得3D图像的装置100内的处理器40获得的3D有关信息传送到显示装置200内的图像恢复单元60。而且，信号连接线300可以设置为有线线路或无线线路。例如，尽管信号连接线300可以具有诸如线缆线路的物理形状，但是信号连接线300也可以设置为无线网络(例如，蓝牙、NFC、WiFi等)。如果将无线网络用作信号连接线300，则显然在用于获得3D图像的设备100以及显示装置200中可以额外设置用于支持通过无线网络的数据发送和接收的无线网络模块。在这方面，可以在用于获得3D图像的装置100外的一侧以可分辨的形状设置光发送单元10和光接收单元20。
而且，图3是示出根据本发明的实施例的用于获得3D图像的装置100与显示装置200彼此集成的示意图。如图3所示，如果两个装置100和200是集成的单一产品，则可以在用于获得3D图像的显示装置200外的一侧以可分辨的形状设置光发送单元10和光接收单元20。
下文中，将参考图4至图6描述构成光接收单元20的RGB-IR单一传感器的像素排列结构。这就是说，RGB-IR单一传感器可以通过R(红色)、G(绿色)和B(蓝色)像素来获得可见光区域的彩色图像，也可以通过红外线(IR)像素获得红外图像。
而且，为了获得RGB彩色图像和IR图像，一般将各种插值方法应用到每个像素获得的分量。例如，去马赛克方法广泛用作插值方法。去马赛克方法是一种彩色滤波插值方法，并且意味着用于恢复在像素排列中的全部像素的完整彩色值的处理算法。例如，将诸如平均加权值求和以及基于边的加权值求和的适用于相应目的的各种插值方法应用于去马赛克方法。因此，通过去马赛克方法，每个像素可以恢复到具有全部分量(R、G、B、IR)。具体而言，在恢复IR像素中的结构光图像的情况下，如同分开恢复光点的方法那样，取决于高斯特性的光点的中间点是否位于IR像素中，可以获得不同的结果。这就是说，因为IR结构光的光点基本上具有高斯格式，所以光点可以通过建模恢复。
下文中，将描述根据本发明的实施例的构成RGB-IR单一传感器的各种像素排列。首先，图4是示出根据现有技术的RGB-IR传感器的像素排列顺序的示意图。更具体而言，图4为示出了将一般RGB传感器(广为人知的“拜耳传感器结构”)中的一个G像素修改为IR像素的示例图，一般RGB传感器包括一个R像素、一个B像素以及两个G像素。因此，图4中的现有技术的RGB-IR传感器的像素排列顺序配置为下述方式：像素基本单元结构201以等间距相等地重复。
另一方面，图5和图6是示出根据本发明的实施例的RGB-IR传感器的像素排列顺序的示意图。这就是说，RGB-IR传感器具有如图4所示的一个像素基本单元结构201，而在图5和图6中，配置了至少两个或更多个像素基本单元结构202、203、204和205，并且特别地，用于优先插值的IR像素并不维持在等间距。
更具体而言，在图5中，作为本发明的一个实施例，第一像素基本单元结构202具有以从左上顺时针R→G→B→IR顺序的像素顺序，而第二像素基本单元结构203具有以从左上顺时针IR→G→B→R顺序的像素顺序。因此，图5示出了第一像素基本单元结构202和第二像素基本单元结构203在水平方向上重复排列的结构。在这方面，从图5的最终RGB-IR传感器像素排列应当注意，不同地应用了在特定IR像素中的邻近IR像素的间隔。这就是说，至少一个或多个在位置上紧耦合的邻近IR像素存在于要进行插值的像素位置，从而其优点在于插值信息的精度可以增加。
例如，在如图5所示排列的IR像素结构中，将如下描述这样的情况：上述插值方法应用到特定IR像素211与邻近IR像素212至217之间的邻近像素区域(例如，附图标记221至228的像素)。这就是说，例如，如果要在像素221的位置对IR信号进行插值，则使用邻近IR像素的值。具体而言，如果在最短距离内存在至少一个或多个紧耦合的IR像素，则应当注意到，获得了更好的插值效率。根据上述示例，在用于插值的像素221的位置，在左侧存在与像素221紧耦合的IR像素217，并且从IR像素217接收的IR信号可以用于插值。同样，如果意图在其他像素223、225和227的位置分别对IR信号进行插值，则邻近IR像素213、214和216每像素接收的IR信号可以用于插值。
而且，在像素222的位置，如果意图对IR信号进行插值，则与像素222紧耦合的两个邻近IR像素211和212所接收的IR信号可以用于插值。同样，在其他的像素226的位置，如果意图对IR信号进行插值，则与像素226紧耦合的两个邻近IR像素211和216所接收的IR信号可以用于插值。
结果，根据图5的RGB-IR传感器排列，在用于优先恢复的IR分量的插值期间，存在至少一个或更多个紧耦合的邻近IR像素，从而可以更多地增加插值效率。
在这方面，根据图5的RGB-IR传感器排列，可以根据设计者的选择基于需要优先恢复的分量(例如，IR分量)来排列像素。这就是说，全部的通道分量R、G、B、IR具有不同的间距。例如，应当注意到，在图5的像素排列结构中，IR分量和R分量以不同的间距排列，而G分量和B分量如同现有技术的图4中所示的那样以等间距排列。
而且，在图6中，作为本发明的另一个实施例，第三像素基本单元结构204具有以从左上顺时针R→IR→B→G顺序的像素顺序，而第四像素基本单元结构205具有以从左上顺时针R→B→IR→G顺序的像素顺序。因此，图6示出了第三像素基本单元结构204和第四像素基本单元结构205在水平方向上重复排列的结构。从图6的最终RGB-IR传感器像素排列应当注意，在特定IR像素中的邻近IR像素的间隔被不同地应用。这可以导致与图5相同的插值效率。这就是说，至少一个或多个在位置上紧耦合的IR像素存在于要进行插值的像素位置的最短距离内，从而优点在于插值信息的精度可以增加。
在这方面，根据图6的RGB-IR传感器排列，应当注意到，在像素排列结构中IR分量和B分量以不同的间距排列，而R分量和G分量如同图4所示地以等间距排列。结果，从图5和图6注意到，取决于优先恢复什么分量，可以做出彼此相似的或修改的各种RGB-IR像素排列。
下文中，将参考图7至图11描述去除可能出现在RGB-IR传感器中的干扰的控制光照的方法。
图7是示出根据本发明的实施例的控制RGB-IR传感器的红外光照的方法的图。首先，图7(c)示出了作为与本发明的实施例的比较的根据现有技术的一般的获得可见光图像C0至C5以及红外线图像I0至I5的示例。根据图7(c)，在根据现有技术的获得图像的方法中，使用持续激活的红外光照来获得红外图像。因此，持续使用的红外光照导致如上所述地影响可见光图像的干扰。
图7(a)示出了根据本发明的控制红外光照的方法的示例。参考图7(a)，红外测量时间段T2710和可见光测量时间段T1720在时间上彼此分开以控制红外光照。这就是说，对于红外测量时间段T2，使用RGB-IR传感器的IR像素获得红外图像i0、i1、i2、i3和i4。另一方面，对于可见光测量时间段T1，使用RGB-IR传感器的RGB像素获得可见光图像c0、c1、c2、c3和c4。因此，测量时间段在时间上变化，以获得适当顺序的红外图像i0至i4以及可见光图像i0至i4，从而可以避免上述干扰。
在这方面，尽管已经示例性地描述了图7(a)中的红外测量时间段T2和可见光测量时间段T1对应于相同时间段T1＝T2的控制光照的方法，但是显然可以在测量时间段上做出各种修改。例如，考虑到环境光的亮度，红外测量时间段T2和可见光测量时间段T1可以应用为它们各自的时间段彼此不同。稍后将参考图8和图9对其进行描述。而且，根据图7(a)的控制光照的方法，其附带的优点在于：由于红外光照仅仅在给定的红外测量时间段T2激活，所以可以解决由根据现有技术的红外光的持续激活导致的有关用户视力下降的问题(其可以称为“眼安全问题”)。
图7(b)示出了通过使用如图7(a)所示的控制光照的方法中获得的红外图像之间的差异来获得高精度红外图像的方法。这就是说，图7(b)示出了从在红外光照被激活了红外测量时间段T2的状态下获得的红外图像i0、i1、i2、i3和i4以及在红外光照被停用了可见光测量时间段T1的状态下获得的红外图像d0、d1、d2、d3和d4获得红外差分图像e0、e1、e2、e3和e4的方法。
在这方面，在红外光照被停用了可见光测量时间段T1的状态下获得的红外图像d0至d4指的是尽管红外光照已被停用仍然从RGB-IR传感器的IR像素获得的红外值获得的图像。因此，红外图像d0至d4可以被理解为无论红外光照的激活如何而在对应时间存在的噪声值。因此，很有可能的是，甚至在红外光照被激活了接近可见光测量时间段T1的红外测量时间段T2的状态下获得的红外图像i0至i4中可以包括噪声值。因此，使用从其去除了噪声的红外差分图像e0至e4变为获得更高纯度的红外图像的方法。
例如，通过从第一红外图像i0减去第一噪声红外图像d0，获得第一红外差分图像e0。该过程被重复，从而可以等同地获得其他红外图像e1至e4。这就是说，通过等式(e0＝i0–d0)、(e1＝i1–d1)、(e2＝i2–d2)、(e3＝i3–d3)和(e4＝i4–d4)，可以以适当顺序获得红外差分图像e0至e4。
在这方面，通过系统设计者的选择可以自由确定是否将上述红外图像i0至i4或者红外差分图像e0至e4中的任意一个用作测量识别的目标80的3D深度的信息。例如，如果需要简化系统，则可以使用在时间段T1获得的红外图像i0至i4，但是如果需要复杂而高精度的系统，则可以使用红外差分图像e0至e4。
图8和图9是示出根据本发明的实施例的在控制RGB-IR传感器的红外光照的方法中通过考虑环境光的亮度控制光照时间的方法的图。在这方面，图8是示出在控制RGB-IR传感器的红外光照的方法中环境光的亮度很暗的图，图9是示出在控制RGB-IR传感器的红外光照的方法中环境光几乎不存在的图。在这方面，如果环境光足够亮，则可以使用图7中的控制光照的方法。
首先，将参考图11描述基于环境光的亮度的可见光相机和红外相机的图像拍摄条件及其有关问题。为了解决上述干扰，可见光拍摄时间段(其可以对应于例如上述“可见光测量时间段T2”)和红外图像拍摄时间段(其可以对应于例如上述“红外测量时间段T1”)可以经受时间分割并与光照同步，从而可以去除干扰。然而，当进行同步时，可见光图像拍摄和红外图像拍摄所需的相机特征是变化的。例如，如图11所示，在可见光测量的情况下，如果环境光很亮，则短曝光、窄光圈口径和低感光度是有利的，而如果环境光变暗(图110)，则长曝光、宽光圈口径和高感光度是有利的。另一方面，在红外测量的情况下，相机的设置几乎不受环境光影响(图130)。然而，在红外测量的情况下，当环境光很亮时，需要更亮的光照以从环境光分辨出在环境光附近产生的红外噪声，而当环境变暗时，可以使用暗光照(图130)。当使用一个相机设置值拍摄可见光和红外线时，由于上述特征，可能出现低效的方面。主要的问题是图像拍摄时间和图像的噪声水平。例如，如果使用用于可见光测量的设置来进行测量，则在低光水平的情况(环境光很暗的情况)下需要长曝光时间，从而总的图像拍摄时间变慢。而且，因为需要高感光度，所以噪声水平上升。
考虑上述环境光的亮度，图8示出了当环境光的亮度很暗时控制RGB-IR传感器的红外光照的方法，而图9示出了当环境光几乎不存在时控制RGB-IR传感器的红外光照的方法。
例如，当环境光的亮度很暗时，如夜晚和暗处，优选将可见光测量时间段T1810和红外测量时间段T2820设定为这样的方式，使得可见光测量时间段T1810比红外测量时间段T2820更长(T1>T2)。因此，通过更长的曝光时间，在可见光测量时间段T1获得的可见光图像c0、c1、c2和c3可以获得比常规情况更高的图片质量。而且，当环境光的亮度很暗时，优选的是控制在红外测量时间段T2的产生的红外光照，以维持比常规情况更低的输出功率。
而且，当环境光几乎不存在或可见光图像拍摄作为特殊情况而被需要时，优选的是可见光测量时间段T1维持在关闭状态，而红外测量时间段T2维持在打开状态(T1＝关闭，T2＝打开)。因此，在红外测量时间段T2的产生的红外光照可以被控制为维持比常规情况更低的输出功率，而且可以持续激活低输出功率的红外光照，从而可以在高速下进行红外图像拍摄。
图10是示出根据本发明的实施例的控制RGB-IR传感器的红外光照的方法的流程图。图10所示的流程图示出了根据环境光的亮度选择图7至图9中的上述控制光照的方法中的任意一种的控制方法。
首先，测量环境光L1的亮度(S110)。环境光的亮度可以通过设置在用于获得3D图像的装置100或显示装置200的一侧的分开的照明传感器(未显示)来分辨。替换地，可以使用之前的图像拍摄统计数据。另外，环境光的亮度可以通过诸如考虑相比于日常日出/日落时间的当前时间的各种方法来测量。
环境光L1的测量的亮度为零(0)或与预定最小参考值Th1比较(S120)。作为步骤S120的比较结果，如果环境光L1小于最小参考值Th1(即，L1<Th1)，则使用与图9相同或相似的光照控制模式C(S140)。这就是说，根据步骤S140的光照控制模式，可见光测量时间段T1维持在关闭状态，而红外测量时间段T2910持续维持在打开状态，从而可以持续激活低输出功率的红外光照以便在高速下进行红外图像拍摄。
而且，作为步骤S120的比较结果，如果环境光L1高于最小参考值Th1(即，L1>Th1)，则将环境光L1与预定常规参考值Th2比较(S130)。作为步骤S130的比较结果，如果环境光L1小于常规参考值Th2(即，Th1<L1<Th2)，则使用与图8相同或相似的光照控制模式B(S160)。这就是说，根据步骤S160的光照控制模式，将可见光测量时间段T1和红外测量时间段T2设定为这样的方式，使得可见光测量时间段T1比红外测量时间段T2长(T1>T2)。因此，通过更长的曝光时间，在可见光测量时间段T1获得的可见光图像可以获得比常规情况更高的图片质量。而且，当环境光的亮度很暗时，优选的是控制在红外测量时间段T2的产生的红外光照，以维持比常规情况更低的输出功率。
而且，作为步骤S130的比较结果，如果环境光L1高于常规参考值Th2(即，L1>Th2)，则使用与图7相同或相似的光照控制模式A(S150)。这就是说，根据步骤S150的光照控制模式，将可见光测量时间段T1和红外测量时间段T2设定为这样的方式，使得可见光测量时间段T1与红外测量时间段T2相同(T1＝T2)。而且，当环境很亮时，对于可见光/红外图像拍摄使用彼此相同或相似的相机设置值，诸如曝光时间、感光度和光圈尺寸。然而，红外光照被控制在高输出功率，并且从光照停用时的红外测量图像(例如，图7中的d0至d4)与光照激活时的红外测量图像(例如，图7中的i0至i4)之间的关系获得了高效率的红外差分图像(例如，图7中的e0至e4)，从而获得的红外差分图像可以用于3D测量计算。
这就是说，根据本发明的实施例，应当注意到，系统可以根据环境光的亮度而适应性地自动变化光照控制模式。而且，显然通过用户的手动操纵可以确定光照控制模式。因此，甚至在任何环境光条件下都可以稳定获得3D图像。
对于本领域技术人员显然的是，本发明可以以其他特定形式实施，而不偏离本发明的精神和必要特征。从而，在所有方面，上述实施例应当被认为是示意性的而非限制性的。本发明的范围应当由所附权利要求的合理解释确定，而且本发明的等同范围内的全部改变被包括在本发明的范围中。
实现本发明的模式
如上所述，已经以实现本发明的最佳模式描述了相关内容。
工业适用性
如上所述，本发明可以应用到需要3D图像获取的各种领域。例如，本发明可以应用到通过用户的姿势识别来识别动作信号的3D游戏机或基于用户姿势的各种远程控制器。

Claims (10)

1.一种用于获得3D图像的装置，所述装置包括：
光发送单元，所述光发送单元配置为用于向识别的目标发射红外线(IR)结构光；
光接收单元，所述光接收单元包括用于接收从所述识别的目标反射的红外线和可见光的RGB-IR传感器；
处理器，所述处理器配置为用于通过使用由所述光接收单元接收的红外线和可见光中的每一个来获得3D图像信息，所述3D图像信息包括所述识别的目标的深度信息和可见光图像；以及
光照单元，所述光照单元配置为用于控制所述红外线(IR)结构光的光照周期，
其中，所述光照单元被配置为：
控制所述红外线(IR)结构光的光照周期，以通过将可见光测量时间段T1与红外测量时间段T2彼此分开来去除所述可见光测量时间段T1与所述红外测量时间段T2之间的干扰，
当环境光的亮度超过预定常规参考值Th2时，通过考虑所述环境光的亮度来以相同的时段重复所述可见光测量时间段T1与所述红外测量时间段T2，
控制所述红外线(IR)结构光的光照周期，如果环境光的亮度小于预定常规参考值Th2，则允许所述可见光测量时间段T1比所述红外测量时间段T2更长，
控制所述红外线(IR)结构光的光照周期，如果环境光的亮度小于预定最小参考值Th1，则仅允许所述红外测量时间段T2而没有所述可见光测量时间段T1，以及
使所述红外光维持比常规情况低的功率。
2.根据权利要求1所述的装置，其中，所述处理器进一步被配置为通过使用获得的红外差分图像来测量所述识别的目标的深度。
3.根据权利要求1所述的装置，其中，包括所述光接收单元的所述RGB-IR传感器确定R、G、B和IR像素的排列，使得所述IR像素不以等间距排列。
4.根据权利要求1所述的装置，进一步包括图像恢复单元和显示单元，所述图像恢复单元通过使用由所述处理器获得的所述3D图像信息来恢复所述识别的目标的3D图像，所述显示单元用于在可视屏幕上提供恢复的3D图像。
5.一种用于获得3D图像的方法，所述方法包括下述步骤：
向识别的目标发射红外线(IR)结构光，并且接收从所述识别的目标反射的红外线和可见光；以及
通过使用接收的红外线和可见光中的每一个来获得3D图像信息，所述3D图像信息包括所述识别的目标的深度信息和可见光图像，
其中，所述红外线(IR)结构光的光照周期被控制为，在所述红外线(IR)结构光被发射到所述识别的目标时，通过将可见光测量时间段T1与红外测量时间段T2彼此分开来去除所述可见光测量时间段T1与所述红外测量时间段T2之间的干扰，
其中，所述红外线(IR)结构光的光照周期被控制为，如果环境光的亮度在最小参考值Th1与常规参考值Th2之间，则允许所述可见光测量时间段T1比所述红外测量时间段T2更长，
其中，所述红外线(IR)结构光的光照周期被控制为，如果环境光的亮度小于预定最小参考值Th1，则仅允许所述红外测量时间段T2而没有所述可见光测量时间段T1，以及
其中，所述红外光被控制为维持比常规情况低的功率。
6.根据权利要求5所述的方法，其中，所述红外线(IR)结构光的光照周期被控制为，如果环境光的亮度超过常规参考值Th2，则以相同的时段重复所述可见光测量时间段T1与所述红外测量时间段T2。
7.根据权利要求5所述的方法，其中，通过使用获得的红外差分图像来测量所述识别的目标的深度。
8.一种用于通过向识别的目标发射红外线(IR)结构光并且通过使用从所述识别的目标反射的红外线和可见光来获得所述识别的目标的3D图像信息的获得3D图像的方法，所述方法包括下述步骤：
测量环境光；
将测量的环境光与预定参考值比较；以及
控制红外线(IR)结构光的光照周期，以通过将可见光测量时间段T1与红外测量时间段T2彼此分开来去除所述可见光测量时间段T1与所述红外测量时间段T2之间的干扰；
其中，所述红外线(IR)结构光的光照周期被控制为，如果所述环境光的亮度小于最小参考值Th1，则仅允许所述红外测量时间段T2而没有所述可见光测量时间段T1，
其中，所述红外线(IR)结构光的光照周期被控制为，如果所述环境光的亮度在所述最小参考值Th1与常规参考值Th2之间，则使得所述可见光测量时间段T1比所述红外测量时间段T2更长，以及
其中，所述红外光被控制为维持比常规情况低的功率。
9.根据权利要求8所述的方法，其中，所述红外线(IR)结构光的光照周期被控制为，如果所述环境光的亮度超过常规参考值Th2，则以相同的时段重复所述可见光测量时间段T1与所述红外测量时间段T2。
10.根据权利要求9所述的方法，进一步包括下述步骤，通过从在所述红外测量时间段T2获得的红外图像减去在所述可见光测量时间段T1获得的红外图像来获得红外差分图像，以及使用获得的红外差分图像来测量所述识别的目标的深度。
CN201380067450.6A 2012-11-23 2013-08-13 用于获得3d图像的方法和装置 Active CN104885451B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261729417P 2012-11-23 2012-11-23
US61/729,417 2012-11-23
KR1020130090156A KR102086509B1 (ko) 2012-11-23 2013-07-30 3차원 영상 획득 방법 및 장치
KR10-2013-0090156 2013-07-30
PCT/KR2013/007292 WO2014081107A1 (ko) 2012-11-23 2013-08-13 3차원 영상 획득 방법 및 장치

Publications (2)

Publication Number Publication Date
CN104885451A CN104885451A (zh) 2015-09-02
CN104885451B true CN104885451B (zh) 2017-07-28

Family

ID=51123310

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380067450.6A Active CN104885451B (zh) 2012-11-23 2013-08-13 用于获得3d图像的方法和装置
CN201380070628.2A Pending CN104937928A (zh) 2012-11-23 2013-08-13 Rgb-ir传感器、和通过使用该rgb-ir传感器获得3d图像的方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201380070628.2A Pending CN104937928A (zh) 2012-11-23 2013-08-13 Rgb-ir传感器、和通过使用该rgb-ir传感器获得3d图像的方法和装置

Country Status (5)

Country Link
US (2) US9906774B2 (zh)
EP (2) EP2924978A4 (zh)
KR (2) KR102086509B1 (zh)
CN (2) CN104885451B (zh)
WO (2) WO2014081106A1 (zh)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012110460A1 (de) * 2012-10-31 2014-04-30 Audi Ag Verfahren zum Eingeben eines Steuerbefehls für eine Komponente eines Kraftwagens
US9497380B1 (en) * 2013-02-15 2016-11-15 Red.Com, Inc. Dense field imaging
KR20140147376A (ko) * 2013-06-19 2014-12-30 삼성전자주식회사 적층형 컬러-깊이 센서 및 이를 채용한 3차원 영상 획득 장치
US20150200220A1 (en) * 2014-01-14 2015-07-16 Microsoft Corporation Image sensing system
IL230517A0 (en) * 2014-01-19 2014-04-30 Mantisvision Ltd Synchronization of 3D imaging devices
JP6396022B2 (ja) * 2014-01-21 2018-09-26 住友重機械工業株式会社 出力画像を生成する装置
JP6136948B2 (ja) * 2014-01-24 2017-05-31 株式会社Ｊｖｃケンウッド 撮像装置、映像信号処理方法及び映像信号処理プログラム
DE102014110431A1 (de) * 2014-07-24 2016-01-28 Zebris Medical Gmbh Abbildungsanordnung
CN105451011B (zh) * 2014-08-20 2018-11-09 联想(北京)有限公司 调节功率的方法和装置
KR102261857B1 (ko) * 2014-11-27 2021-06-07 삼성전자주식회사 이미지 센서 및 이를 적용한 이미지 획득 장치 및 방법
WO2016118473A1 (en) * 2015-01-20 2016-07-28 Eyelock Llc Lens system for high quality visible image acquisition and infra-red iris image acquisition
CN105991990A (zh) * 2015-01-23 2016-10-05 江苏南大五维电子科技有限公司 3d信息获取设备、3d信息获取方法、成像设备及电子设备
KR20160114474A (ko) * 2015-03-24 2016-10-05 (주)실리콘화일 4-컬러 이미지 센서, 4-컬러 이미지 센서의 제조방법 및 이에 따른 4-컬러 이미지 센서
KR101681197B1 (ko) * 2015-05-07 2016-12-02 (주)이더블유비엠 다중 컬러 센서를 기반하여, 고속 컨벌루션을 이용한 영상의 깊이 정보 추출 방법 및 장치
CN104918034A (zh) * 2015-05-29 2015-09-16 深圳奥比中光科技有限公司 一种3d图像捕获装置、捕获方法及3d图像系统
JP6566737B2 (ja) * 2015-06-18 2019-08-28 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
CN107534742B (zh) * 2015-07-09 2021-01-12 华为技术有限公司 成像方法、图像传感器以及成像设备
CN105049829B (zh) * 2015-07-10 2018-12-25 上海图漾信息科技有限公司 滤光片、图像传感器、成像装置以及三维成像系统
CN105120257B (zh) 2015-08-18 2017-12-15 宁波盈芯信息科技有限公司 一种基于结构光编码的垂直深度感知装置
KR102497281B1 (ko) 2015-08-31 2023-02-08 삼성디스플레이 주식회사 표시 장치, 헤드 마운트 표시 장치, 및 화상 표시 방법
KR101980360B1 (ko) * 2015-09-04 2019-08-28 한국전자통신연구원 컨볼루션 신경망을 이용한 객체 인식 장치 및 방법
US10397546B2 (en) * 2015-09-30 2019-08-27 Microsoft Technology Licensing, Llc Range imaging
CN106611430A (zh) * 2015-10-15 2017-05-03 杭州海康威视数字技术股份有限公司 一种rgb-d图像生成方法、装置及摄像机
US20170126966A1 (en) * 2015-10-29 2017-05-04 Mediatek Inc. Photography method using gaze detection
US10440355B2 (en) * 2015-11-06 2019-10-08 Facebook Technologies, Llc Depth mapping with a head mounted display using stereo cameras and structured light
JP2017098863A (ja) * 2015-11-27 2017-06-01 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
CN105430360B (zh) * 2015-12-18 2018-01-23 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
KR102323217B1 (ko) * 2015-12-21 2021-11-08 삼성전자주식회사 매크로 픽셀의 노이즈를 제어하는 뎁스 센서, 3차원 카메라 및 제어 방법
CN105686936B (zh) * 2016-01-12 2017-12-29 浙江大学 一种基于rgb‐ir相机的声音编码交互系统
EP3424403B1 (en) * 2016-03-03 2024-04-24 Sony Group Corporation Medical image processing device, system, method, and program
KR101747603B1 (ko) * 2016-05-11 2017-06-16 재단법인 다차원 스마트 아이티 융합시스템 연구단 컬러 나이트 비전 시스템 및 그 동작 방법
KR102623989B1 (ko) * 2016-08-01 2024-01-11 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치
CN106210474A (zh) * 2016-08-12 2016-12-07 信利光电股份有限公司 一种图像采集设备、虚拟现实设备
TWI658410B (zh) * 2016-09-07 2019-05-01 李美燕 可變光場的生物影像感測系統
US10701244B2 (en) 2016-09-30 2020-06-30 Microsoft Technology Licensing, Llc Recolorization of infrared image streams
CN106572340B (zh) * 2016-10-27 2019-05-10 深圳奥比中光科技有限公司 摄像系统、移动终端及图像处理方法
CN106454287B (zh) * 2016-10-27 2018-10-23 深圳奥比中光科技有限公司 组合摄像系统、移动终端及图像处理方法
CN106534633A (zh) * 2016-10-27 2017-03-22 深圳奥比中光科技有限公司 一种组合摄像系统、移动终端及图像处理方法
KR102667264B1 (ko) 2016-12-08 2024-05-21 삼성전자주식회사 색분리 구조체를 포함하는 이미지 센서
US10484623B2 (en) 2016-12-20 2019-11-19 Microsoft Technology Licensing, Llc Sensor with alternating visible and infrared sensitive pixels
JP7320352B2 (ja) * 2016-12-28 2023-08-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル送信方法、三次元モデル受信方法、三次元モデル送信装置及び三次元モデル受信装置
EP3367130A1 (en) * 2017-02-22 2018-08-29 STMicroelectronics (Research & Development) Limited Integration of depth map device for adaptive lighting control
US10628950B2 (en) 2017-03-01 2020-04-21 Microsoft Technology Licensing, Llc Multi-spectrum illumination-and-sensor module for head tracking, gesture recognition and spatial mapping
CN107331677A (zh) * 2017-07-19 2017-11-07 北京思比科微电子技术股份有限公司 一种多光谱成像的图像传感器
KR102370763B1 (ko) 2017-09-26 2022-03-04 삼성전자주식회사 외부 광에 기반하여 카메라를 제어하는 전자 장치 및 제어 방법
US10834341B2 (en) 2017-12-15 2020-11-10 Baidu Usa Llc Systems and methods for simultaneous capture of two or more sets of light images
CN108271012A (zh) * 2017-12-29 2018-07-10 维沃移动通信有限公司 一种深度信息的获取方法、装置以及移动终端
CN108133494A (zh) * 2018-01-17 2018-06-08 南京华捷艾米软件科技有限公司 利用rgb-ir同时生成深度图和彩色图的系统和方法
US11566993B2 (en) 2018-01-24 2023-01-31 University Of Connecticut Automated cell identification using shearing interferometry
US11269294B2 (en) 2018-02-15 2022-03-08 University Of Connecticut Portable common path shearing interferometry-based holographic microscopy system with augmented reality visualization
CN108683902B (zh) * 2018-03-31 2020-06-30 深圳奥比中光科技有限公司 目标图像获取系统与方法
CN108648225B (zh) 2018-03-31 2022-08-02 奥比中光科技集团股份有限公司 目标图像获取系统与方法
CN108881691A (zh) * 2018-07-13 2018-11-23 Oppo广东移动通信有限公司 控制方法、微处理器、计算机可读存储介质及计算机设备
CN108965704B (zh) * 2018-07-19 2020-01-31 维沃移动通信有限公司 一种图像传感器、移动终端及图像拍摄方法
CN108600712B (zh) * 2018-07-19 2020-03-31 维沃移动通信有限公司 一种图像传感器、移动终端及图像拍摄方法
US11461592B2 (en) 2018-08-10 2022-10-04 University Of Connecticut Methods and systems for object recognition in low illumination conditions
CN110868506A (zh) * 2018-08-10 2020-03-06 南昌欧菲生物识别技术有限公司 图像处理方法和电子装置
US10440294B1 (en) * 2018-09-05 2019-10-08 Google Llc Compact color and depth imaging system
WO2020056567A1 (zh) * 2018-09-18 2020-03-26 浙江宇视科技有限公司 图像处理方法、装置、电子设备及可读存储介质
KR102521933B1 (ko) * 2018-10-04 2023-04-14 삼성전자주식회사 디스플레이장치 및 그 제어방법
US11435476B2 (en) * 2018-10-12 2022-09-06 Microsoft Technology Licensing, Llc Time-of-flight RGB-IR image sensor
WO2020088095A1 (en) 2018-11-02 2020-05-07 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Fisheye infrared depth detection
CN109451106B (zh) * 2018-11-16 2020-06-12 Oppo广东移动通信有限公司 电子装置
KR102025637B1 (ko) * 2018-12-19 2019-09-26 이병섭 시각화 및 3d 공간 구현을 위한 영상수집 어셈블리
CN109887944B (zh) * 2019-03-05 2022-04-05 西安工业大学 具有多功能窗口的全天时成像探测器及其制备方法
JP2020198470A (ja) * 2019-05-30 2020-12-10 ソニーセミコンダクタソリューションズ株式会社 画像認識装置および画像認識方法
US11200691B2 (en) 2019-05-31 2021-12-14 University Of Connecticut System and method for optical sensing, visualization, and detection in turbid water using multi-dimensional integral imaging
CN110376606A (zh) * 2019-07-26 2019-10-25 信利光电股份有限公司 结构光处理方法和结构光模组
CN111107247B (zh) * 2020-02-26 2021-12-03 上海富瀚微电子股份有限公司 一种曝光方法、一种图像系统及图像系统协同工作的方法
CN111273505A (zh) * 2020-03-20 2020-06-12 北京的卢深视科技有限公司 结构光成像系统
TWI767468B (zh) * 2020-09-04 2022-06-11 聚晶半導體股份有限公司 雙感測器攝像系統及其攝像方法
CN112164003A (zh) * 2020-09-11 2021-01-01 珠海市一微半导体有限公司 移动机器人获取激光图像的方法、芯片和机器人
CN112363180A (zh) * 2020-10-28 2021-02-12 Oppo广东移动通信有限公司 一种成像测距传感器、方法、系统及存储介质
CN114697474B (zh) * 2020-12-25 2023-07-21 Oppo广东移动通信有限公司 电子设备的控制方法、电子设备及计算机可读存储介质
CN112887577A (zh) * 2021-02-08 2021-06-01 革点科技(深圳)有限公司 一种抗环境光的rgb-d三维相机
CN115332274A (zh) 2021-05-10 2022-11-11 联华电子股份有限公司 影像传感器
CN115914855B (zh) * 2021-08-16 2025-02-18 合肥欣奕华智能机器股份有限公司 一种图像处理方法及相关装置
CN113938664A (zh) * 2021-09-10 2022-01-14 思特威(上海)电子科技股份有限公司 像素阵列的信号采集方法、图像传感器、设备及存储介质
WO2023121120A1 (ko) * 2021-12-21 2023-06-29 삼성전자주식회사 간섭 제거 방법 및 상기 방법을 수행하는 전자 장치
US20230388667A1 (en) * 2022-05-25 2023-11-30 Samsung Electronics Co., Ltd. Rgb-nir processing and calibration
KR20230174621A (ko) * 2022-06-21 2023-12-28 삼성전자주식회사 깊이 맵 생성을 위한 전자 장치 및 그 동작 방법
KR20240110232A (ko) 2023-01-06 2024-07-15 주식회사 시냅칩스 비행시간과 구조광 방식 기반 3차원 영상 획득 시스템
CN117855238B (zh) * 2024-02-20 2024-06-14 苏州多感科技有限公司 多光谱图像传感器及其制备方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101621697A (zh) * 2009-07-28 2010-01-06 黄松涛 一种用多色图像传感器的背景消除装置及使用方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6563105B2 (en) 1999-06-08 2003-05-13 University Of Washington Image acquisition with depth enhancement
US20040174446A1 (en) * 2003-02-28 2004-09-09 Tinku Acharya Four-color mosaic pattern for depth and image capture
WO2006046519A1 (ja) * 2004-10-25 2006-05-04 Matsushita Electric Works, Ltd. 空間情報検出装置
CN101198964A (zh) 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
JP2006237737A (ja) * 2005-02-22 2006-09-07 Sanyo Electric Co Ltd カラーフィルタアレイ及び固体撮像素子
JP4501855B2 (ja) * 2005-12-22 2010-07-14 ソニー株式会社 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
JP5028279B2 (ja) 2006-01-24 2012-09-19 パナソニック株式会社 固体撮像装置及びカメラ
JP4395150B2 (ja) 2006-06-28 2010-01-06 富士フイルム株式会社 距離画像センサ
JP2008092247A (ja) 2006-10-02 2008-04-17 Sanyo Electric Co Ltd 固体撮像素子
JP4846644B2 (ja) * 2007-03-30 2011-12-28 株式会社東芝 映像信号補間装置および映像信号補間方法
US8446470B2 (en) * 2007-10-04 2013-05-21 Magna Electronics, Inc. Combined RGB and IR imaging sensor
CN101184161A (zh) * 2007-12-10 2008-05-21 深圳市通宝莱科技有限公司 适宜全天候使用的摄录机
JP2009286234A (ja) 2008-05-28 2009-12-10 Funai Electric Co Ltd 車載用サイドビューカメラ
KR101467509B1 (ko) 2008-07-25 2014-12-01 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법
KR101502372B1 (ko) 2008-11-26 2015-03-16 삼성전자주식회사 영상 획득 장치 및 방법
US8749635B2 (en) 2009-06-03 2014-06-10 Flir Systems, Inc. Infrared camera systems and methods for dual sensor applications
US8681216B2 (en) * 2009-03-12 2014-03-25 Hewlett-Packard Development Company, L.P. Depth-sensing camera system
US8717417B2 (en) 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
KR101648201B1 (ko) * 2009-11-04 2016-08-12 삼성전자주식회사 영상 센서 및 이의 제조 방법.
KR101608903B1 (ko) * 2009-11-16 2016-04-20 삼성전자주식회사 적외선 이미지 센서
EP2507684A2 (en) 2009-12-04 2012-10-10 Next Holdings Limited Methods and systems for position detection
KR101613973B1 (ko) * 2009-12-24 2016-04-21 삼성전자주식회사 컬러 필터 어레이
KR101108742B1 (ko) * 2010-03-02 2012-02-24 국립대학법인 울산과학기술대학교 산학협력단 투명 적외선 센서를 이용한 단안 ３차원 영상 포획 소자
WO2011139895A1 (en) * 2010-04-29 2011-11-10 Massachusetts Institute Of Technology Method and apparatus for motion correction and image enhancement for optical coherence tomography
KR101818587B1 (ko) * 2010-08-11 2018-01-15 삼성전자주식회사 광감지 장치의 단위 픽셀, 광감지 장치 및 이를 이용한 거리 측정 방법
DE102011079589A1 (de) * 2010-08-11 2012-02-16 Samsung Electronics Co., Ltd. Einheitspixel für ein Photodetektionsbauelement
US20120056988A1 (en) 2010-09-07 2012-03-08 David Stanhill 3-d camera
US9025019B2 (en) 2010-10-18 2015-05-05 Rockwell Automation Technologies, Inc. Time of flight (TOF) sensors as replacement for standard photoelectric sensors
KR101680762B1 (ko) * 2010-10-29 2016-11-29 삼성전자주식회사 3ｄ 카메라용 빔스플리터 및 상기 빔스플리터를 채용한 3차원 영상 획득 장치
CN102480593B (zh) * 2010-11-25 2014-04-16 杭州华三通信技术有限公司 双镜头摄像机切换方法及装置
KR101887099B1 (ko) * 2010-12-29 2018-08-09 삼성전자주식회사 이미지 처리 시스템 및 이미지 처리 방법
KR20120084216A (ko) * 2011-01-19 2012-07-27 삼성전자주식회사 깊이 정보에 대한 픽셀 노이즈를 제거하는 3차원 이미지 신호 처리 방법 및 상기 방법을 수행하는 3차원 이미지 신호 프로세서
KR20120107755A (ko) * 2011-03-22 2012-10-04 삼성전자주식회사 이미지 센서의 픽셀 어레이 및 이미지 센서의 픽셀 어레이 제조 방법
US20120249740A1 (en) 2011-03-30 2012-10-04 Tae-Yon Lee Three-dimensional image sensors, cameras, and imaging systems
KR20120110614A (ko) * 2011-03-30 2012-10-10 삼성전자주식회사 3차원 이미지 센서
KR20120111013A (ko) * 2011-03-31 2012-10-10 삼성전자주식회사 3차원 이미지 센서 및 이를 이용한 거리 측정 방법
KR20130001762A (ko) * 2011-06-28 2013-01-07 삼성전자주식회사 영상 생성 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101621697A (zh) * 2009-07-28 2010-01-06 黄松涛 一种用多色图像传感器的背景消除装置及使用方法

Also Published As

Publication number Publication date
US10085002B2 (en) 2018-09-25
US20150312556A1 (en) 2015-10-29
US20150304638A1 (en) 2015-10-22
EP2924978A1 (en) 2015-09-30
EP2924992A1 (en) 2015-09-30
KR20140066638A (ko) 2014-06-02
KR20140066637A (ko) 2014-06-02
KR102070778B1 (ko) 2020-03-02
CN104885451A (zh) 2015-09-02
EP2924992A4 (en) 2016-08-10
WO2014081106A1 (ko) 2014-05-30
WO2014081107A1 (ko) 2014-05-30
EP2924978A4 (en) 2016-08-10
US9906774B2 (en) 2018-02-27
KR102086509B1 (ko) 2020-03-09
EP2924992B1 (en) 2021-01-06
CN104937928A (zh) 2015-09-23

Similar Documents

Publication Publication Date Title
CN104885451B (zh) 用于获得3d图像的方法和装置
US10893260B2 (en) Depth mapping with a head mounted display using stereo cameras and structured light
US10455217B2 (en) Electronic apparatus and method of generating depth map
CN112119628B (zh) 调整相机曝光以用于三维深度感测和二维成像
EP3015819B1 (en) Motion sensor device having plurality of light sources
JP6816097B2 (ja) 画像についての奥行きマップを決定するための方法及び装置
US10404969B2 (en) Method and apparatus for multiple technology depth map acquisition and fusion
JP6139017B2 (ja) 光源の特性を決定する方法及びモバイルデバイス
US9516295B2 (en) Systems and methods for multi-channel imaging based on multiple exposure settings
CN102572211B (zh) 估计光源的方法和设备
CN112204961B (zh) 从动态视觉传感器立体对和脉冲散斑图案投射器进行半密集深度估计
US20150317516A1 (en) Method and system for remote controlling
US10616561B2 (en) Method and apparatus for generating a 3-D image
KR101273534B1 (ko) 입체영상 프로젝션을 위한 자동 화면보정 시스템을 이용한 화면보정방법
JP2014520469A (ja) ディスプレイ光のシーン照明を使用して反射物体を高信頼度で検出するための方法及びシステム
US20140375821A1 (en) Detection system
JP2013126165A (ja) 撮像装置、撮像方法及びプログラム
US20150116500A1 (en) Image pickup apparatus
CN112788311B (zh) 信息获取方法、信息获取装置
JP2013115744A (ja) 撮像装置及び視点検出装置
JP2016058897A (ja) 画像投射装置

Legal Events

Date Code Title Description
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant