[go: up one dir, main page]

CN102685402A - 对距离改变不敏感的颜色传感器 - Google Patents

对距离改变不敏感的颜色传感器 Download PDF

Info

Publication number
CN102685402A
CN102685402A CN2011103531530A CN201110353153A CN102685402A CN 102685402 A CN102685402 A CN 102685402A CN 2011103531530 A CN2011103531530 A CN 2011103531530A CN 201110353153 A CN201110353153 A CN 201110353153A CN 102685402 A CN102685402 A CN 102685402A
Authority
CN
China
Prior art keywords
pixel
tof
electromagnetic radiation
distance
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011103531530A
Other languages
English (en)
Other versions
CN102685402B (zh
Inventor
马丁·哈德格
里顿·贝尔纳
理查德·加莱拉
苏雷什·奈尔
卡尔·曼赫茨
克雷格·马丁·布罗克曼
埃利克·I·富克斯
曼弗雷德·诺贝特·斯坦
罗贝特·M·布莱克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rockwell Automation Switzerland GmbH
Rockwell Automation Technologies Inc
Original Assignee
Cedes Safety and Automation AG
Rockwell Automation Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cedes Safety and Automation AG, Rockwell Automation Technologies Inc filed Critical Cedes Safety and Automation AG
Publication of CN102685402A publication Critical patent/CN102685402A/zh
Application granted granted Critical
Publication of CN102685402B publication Critical patent/CN102685402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/047—Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种对距离改变不敏感的颜色传感器。公开了一种用于基于颜色感测像素与对象之间的距离来校准颜色感测像素的系统。通过测量从对象表面反射的电磁辐射相比于入射到对象表面上的电磁辐射的波剖面的相移来确定距离。颜色感测像素与飞行时间(ToF)像素相关联，使用飞行时间像素确定颜色感测像素的距离。电磁辐射可以来自电磁谱的任何部分，特别是电磁谱的红外部分和可见部分。颜色感测像素和ToF像素可以位于同一半导体或者完全不同的半导体上。

Description

对距离改变不敏感的颜色传感器
技术领域
本主题说明书总体涉及固态传感器，并且具体地涉及基于距离测量/确定的颜色确定/校正。
背景技术
一种用于数字地捕获图像的装置是如通常在数字照相机和其它成像装置中使用的、将光学图像转换成电信号的图像传感器。典型的图像传感器包括电荷耦合器件(CCD)或互补金属-氧化物-半导体(CMOS)有源-像素传感器。CCD是模拟器件，当光照到包括图像传感器的各个光电传感器(像素)时，接收到的光作为电荷保存在每个像素中。每个像素中的电荷被读出，转换成电压，并且进一步转换成数字信息，可以根据该数字信息产生数字图像。对于CMOS传感器，使用附加电路以将电压转换成数字数据。CCD和CMOS系统都利用多晶硅栅来操作，并且具有它们的优点和缺点。将CCD成像基底与CMOS读取集成电路(redout integratedcircuit，ROIC)结合的科学级CMOS(sCMOS)、混合图像传感器是可用的。
通过获知颜色像素与对象之间的观看距离，可将来自多个颜色像素的读数与每个颜色像素的距离测量值一起编译，从而产生3D图像。颜色确定会受到颜色像素与所讨论的对象的颜色之间的距离的影响。此外，距离对电磁谱的一个特定部分的影响可以不同于关于电磁谱的另一部分的影响。例如，从红光部分(例如，约650nm)得到的颜色读数会比从蓝光部分(例如，约475nm)得到的读数更受到距离的影响。因此，对于图像的颜色校正而言，对于从电磁谱的不同部分获得的读数，会要求使颜色校正的程度不同。
发明内容
下面公开了本说明书的简化概要，以提供对本说明书的一些方面的基本理解。该概要不是本说明书的详尽综述。其目的既不是表明本说明书的关键或重要要素，也不是叙述本说明书的范围。其唯一目的是以简化的形式公开本说明书的一些构思，作为稍后公开的更详细的描述的前序。
通过这里提到的公开的方面，可以基于颜色感测装置(例如，光电传感器中的像素)与被观看的对象之间的观看距离对关于对象的着色的信息进行颜色校正。飞行时间(ToF)传感器/像素与接收来自对象的光的像素(例如，颜色像素)相关联。对在ToF传感器接收到的电磁辐射执行相移分析，并且因此可以确定从ToF传感器到对象的距离(以及相应地相关联的颜色像素到对象的距离)。通过获知从颜色像素到对象的距离，由颜色像素生成的颜色值可以被校正为根据所测量的距离的颜色值。实际上，颜色像素是基于所测量到的距离来校准的。用于ToF传感器的辐射源可以是电磁辐射，其中，例如电磁辐射可以来自电磁辐射谱的红外光部分或可见光部分。
多个颜色像素和ToF像素布置是可用的。颜色像素和ToF像素可以并入同一图像传感器。芯片可以被制造为包括像素分组，其中产生像素以执行颜色感测(例如，红、绿、蓝(RGB))，并且其它像素是被产生为执行距离测量的ToF像素。替选地，可以制造多个芯片，从而许多芯片是颜色感测芯片，而其它芯片被制造为ToF传感器。颜色感测芯片上的每个像素与ToF传感器上的像素相关联。在另一方面，颜色和距离感测部件可以与用于处理从颜色和距离感测部件接收到的读数的装置一起被结合在单个集成电路中。
在一个方面，可以使用共用辐射源，以生成颜色传感器的照射以及允许由ToF传感器执行距离测量。在另一方面，与用以照射对象且通过颜色像素进行颜色感测的辐射源相比，用以执行ToF测量的辐射源具有电磁谱的不同部分。
以灰度操作并产生灰度图像的ToF传感器可以变为产生彩色图像，从而可以使用滤色器并且包括ToF像素来执行这样的改变，该滤色器限制入射到ToF传感器上的辐射波长。
在另一方面，可以使用单个LED来照射对象并且协助距离测量，例如，LED发射白光。在另一方面，可以使用多个LED，其中每个LED发射特定波长的电磁辐射。在又一方面，由多个LED生成的辐射可以被组合以产生具有多个波长的照射，例如红光LED、蓝光LED和绿光LED被组合以形成白光照射。
在一个方面，可以通过使用提供颜色、距离和颜色校正之间的相互关系的查找表和/或算法来执行颜色像素的校准。
以下的描述和附图阐述了本说明书的某些示例性方面。然而，这些方面仅指示了可以使用本说明的原理的各种方式中的数个方式。当结合附图考虑时，根据以下对本说明书的详细描述，本说明书的其它优点和新颖特征将变得明显。
附图说明
图1示出了根据一个方面的、用于基于对象距离来确定颜色校正的系统。
图2示出了根据一个方面的、使用电磁辐射来确定对象的位置的测量处理。
图3示出了根据一个方面的、用于基于由相关联的ToF传感器提供的距离测量值来对图像进行颜色校正的系统。
图4示出了根据一个方面的、用于基于由相关联的ToF传感器提供的距离测量值来对图像进行颜色校正的像素的布置。
图5示出了根据一个方面的、用于基于由相关联的ToF传感器提供的距离测量值来对图像进行颜色校正的像素和相关联的ToF像素的布置。
图6示出了根据一个方面的、用于基于由相关联的ToF像素提供的距离测量值来对图像进行颜色校正的多个颜色传感器和相关联的ToF像素的布置。
图7示出了根据一个方面的、用于基于由相关联的ToF像素提供的距离测量值来对图像进行颜色校正的像素和相关联的ToF像素的布置。
图8示出了根据一个方面的、用于利用ToF传感器进行颜色图像生成的系统。
图9示出了根据一个方面的、用于基于对象距离来确定颜色校正的系统。
图10示出了根据一个方面的、用于基于对象距离来确定颜色校正的系统。
图11示出了根据一个方面的、用于基于对象距离来确定颜色校正的示例性方法。
图12示出了根据一个方面的、用于识别ToF像素是否不能操作的示例性方法。
图13示出了根据一个方面的、用于使用ToF传感器生成彩色图像的示例性方法。
具体实施方式
现在，参考附图描述要求权利的主题，在附图中，始终使用相似的附图标记来表示相似的元件。在以下描述中，出于说明的目的，阐述了大量具体细节，以提供对要求权利的主题的透彻理解。然而，显然可以在没有这些具体细节的情况下实现要求权利的主题。在其它示例中，以框图形式示出公知结构和装置，以便协助描述要求权利的主题。
如在本申请中所使用的，术语“部件”、“模块”、“系统”、“接口”等一般旨在指代计算机相关的实体，硬件、硬件和软件的组合、软件、或者执行中的软件。例如，部件可以是处理器上运行的处理、微处理器、微控制器、芯片、集成电路、对象、可执行文件、执行线程、程序、和/或计算机，但不限于此。通过说明的方式，控制器上运行的应用程序和该控制器均可以是部件。一个或更多个部件可以驻留在处理和/或执行线程内，并且部件可以在一个计算机上本地化和/或分布于两个或更多个计算机之间。作为另一示例，接口可以包括I/O部件以及相关联的处理器、应用、和/或API部件。
图1示出了用于确定距对象的观看距离以协助传感器校准和颜色感测的系统100。图像传感器100包括飞行时间(ToF)传感器110和颜色传感器120。图像传感器100接收来自电磁谱的各个范围的辐射，以协助ToF传感器110和颜色传感器120的操作。ToF辐射源140提供电磁能，以协助ToF传感器110的操作，而辐射源150提供电磁能，以协助颜色传感器120的操作。从源140和150发射出的电磁能从对象130反射，并分别由ToF传感器110和颜色传感器120捕获。控制器160可以以个别方式或以部件结合的方式控制包括系统100的各部件(例如ToF传感器110、颜色传感器120等)的操作，由此使得能够确定对象130与ToF传感器110之间的距离d，并且能够(按需要)校正对象130的接收颜色。基于距离d的测量值，控制器160可以关于颜色传感器120的任意所需校准作出确定，并相应地作出对象130的接收颜色的“校正”。颜色传感器120的这种自动校准，能够消除对劳动密集型校准过程的需要，会要求劳动密集型校准过程以确保不由于传感器至对象的距离而调整读数的颜色传感器的操作。
此外，可以基于ToF传感器110以及包括ToF传感器110的任意ToF像素的刷新率来自动调整颜色传感器120的观看距离以及颜色传感器120包括的任意像素。从颜色传感器120和ToF传感器110获得的读数可以被控制器160利用，以生成可转发到外部装置170的颜色校正输出(例如图像)。校正输出可以包括各个像素的颜色信息和距离信息两者，由此协助生成3D图像。外部装置170可以提供用于显示图像的装置，其中该图像根据接收自颜色传感器120、接收自ToF传感器110的信息以及受控制器160影响的任意颜色校正而生成。外部装置170还可以包括用于数据处理的装置，其中，可以将与颜色校正处理相关联的信息(例如，由图像传感器100、ToF传感器110、颜色传感器120获得的读数等)提供给外部装置，以用于后续处理。
此外，考虑到系统100操作的环境条件，可以利用环境传感器180获得关于操作环境的信息。例如，环境传感器180可以检测到操作环境已受到大气微粒(例如，烟雾)的负面影响，而辐射源150或ToF辐射源140的输出要求例如通过控制器160进行相应调整。
应理解，尽管将ToF传感器110和颜色传感器120示出为被并入到共用图像传感器100部件，然而本发明不限于此，其中可以将ToF传感器110和颜色传感器120结合以形成共用图像传感器110，或者ToF传感器110和颜色传感器120可以独立操作。以下呈现这种组合/独立的实施例。还应理解，尽管将包括系统100的各个部件示出为单独装置(例如图像传感器100、ToF传感器110、颜色传感器120、ToF辐射源140、辐射源150、控制器160、外部装置170、以及存储装置910(参见图9)等)，然而，这里呈现的各个方面均不限于此，并且包括系统100的一个或更多个部件可以容纳于共用外壳之内，例如，图像传感器100、ToF传感器110、颜色传感器120、ToF辐射源140、控制器160、以及存储装置710被集成于单个外壳或单个芯片、微控制器、集成电路等中。此外，尽管将外部装置170示出为位于控制器160外部，然而，这两个部件可以结合在共用外壳中，例如其中外部装置170为显示装置，其协助显示由控制器160和任意关联部件生成的颜色校正图像、颜色数据、距离数据等。
应理解，尽管ToF辐射源140和辐射源150可以利用来自电磁谱不同部分的辐射，例如，ToF辐射源140利用IR辐射而辐射源150利用可见光，然而，对于此处呈现的各个方面，可以采用共用辐射。例如，ToF辐射源140和辐射源150均可以采用具有共用波长的辐射，诸如可见的红光。如下面描述的，辐射源150可以采用红色可见光来照射对象，而ToF辐射源140可以采用能够确定相移测量值并相应地确定距离测量值的红色可见光。相应地，在另一方面，使用共用辐射源生成的图像可以是单色的。此外，在另一方面，ToF辐射源140和/或辐射源150可以包含同时操作的组合光(例如，将红光、绿光和蓝光LED组合以产生白光)，该组合光被调制并同时用于距离测量(例如经由ToF传感器110)和颜色感测(例如，颜色传感器120)。在又一方面，ToF辐射源140和/或辐射源150可以是激光器或用于发射电磁辐射的类似机制，其中ToF传感器110和/或颜色传感器120具有适当功能，以使用激光源进行各自的距离测量/图像生成。
出于理解本文提到的各个方面的目的，现在简要描述ToF传感器110的操作。针对距离测量领域的应用已经开发了ToF传感器110，以协助诸如对人、物体、障碍等的检测以及测量位置、距离、尺度等的操作。如上所述，ToF传感器110与ToF辐射源140相结合地操作。ToF辐射源140生成电磁谱的特定部分的辐射，并且可以基于辐射的波长来确定对象130距ToF辐射源140和ToF传感器110的距离。在一个方面，ToF辐射源140发射来自电磁谱的红外(IR)部分的光。参考图2，ToF技术基于确定从ToF辐射源140发射的信号与在ToF传感器110处接收的、从对象130反射的信号之间的相移根据确定的相移
Figure BSA00000609826300062
可以确定对象130与ToF传感器110之间的距离d。在参考等式A的情况下，d＝距离，c＝光速，fm＝调制频率(作为发射器的辐射功率的函数)，并且
Figure BSA00000609826300063
Figure BSA00000609826300064
其中位置A0、A1、A2和A3处于固定的持续时间。应理解，尽管图2呈现了基于相移
Figure BSA00000609826300065
的确定的ToF技术，然而ToF技术的其它原理也是可用的，例如，发出相位并测量接收时间的相位测定。
如前所述，ToF传感器110和颜色传感器120可以单独操作或组合操作。呈现这样的操作的各种实施例。在一个方面，ToF传感器110可以与颜色传感器120结合在同一半导体芯片中。参考图3，ToF像素可以与颜色传感器像素结合，以形成具有距离测量功能的图像传感器310。像素聚束(例如四个像素320、330、340和350的组)中的每个像素可以被设计为执行特定任务。在图3中，像素320、330和340被用于捕获来自电磁谱的可见光部分的相应红光(R)、绿光(G)、蓝光(B)波长部分的光。像素350被用于操作为ToF传感器。例如，在包括24×100像素的芯片中，该芯片可以被划分为四个12×50像素的组，具有相应的R、G、B颜色感测和ToF确定功能。
应理解，尽管图3示出了具有RGB-d布置(其中d等效于ToF像素)的像素聚束，然而各个方面不限于此，由此可以利用任意像素聚束以协助由进行可见光捕获的像素连同具有ToF能力的必要像素一起进行适当的图像捕获。图4示出了包括像素420-450的图像传感器410，像素420-450具有六边形轮廓并布置于蜂巢布局中，其中，像素420、430和440被用于捕获来自电磁谱的可见光部分的相应红光(R)、绿光(G)、蓝光(B)波长部分的光。像素450被用于操作为ToF传感器。
图5呈现了包括颜色传感器510的系统500，颜色传感器510与ToF传感器520单独构建，但是与ToF传感器520相结合地操作。颜色传感器510的像素被布置于Bayer GRGB布局中，其中，每个像素聚束与相关联的ToF传感器像素相结合地操作。例如，可以基于从ToF传感器中的ToF1获得的距离测量值来对像素G1R1G1B1的聚束进行颜色校正，可以基于ToF2来对像素聚束G2R2G2B2进行颜色校正，而可以基于ToF3来对像素聚束G3R3G3B3进行颜色校正，等等。
此外，如图5所示，ToF像素和颜色像素的尺寸不一定是相同尺寸，并且相应地，ToF像素和颜色像素不一定具有相同分辨率。对于图像质量，通常包括颜色传感器510的颜色像素越小越好，但是，假设ToF像素被用于校准颜色像素(以及来自颜色像素的读数)，则相应的ToF像素的尺寸就没有颜色像素那样关键，这是因为，在实际的图像构建和分辨率中，ToF像素可能不起作用。
图6的系统600呈现了多个颜色传感器和ToF像素布置，其中，高分辨率颜色传感器610包括多个颜色RGB像素620。高分辨率颜色传感器610可以被耦合至低分辨率ToF芯片630。如图6所示，低分辨率ToF芯片可以包括一个或更多个ToF像素640。在一个方面，高分辨率颜色传感器610(包括多个颜色RGB像素620)可以被耦合至包括单个ToF像素640的低分辨率ToF芯片630(如图6中的下侧图像所示)。在另一方面，高分辨率颜色传感器610(包括多个颜色RGB像素620)可以被耦合至包括多个ToF像素640的低分辨率ToF芯片630。如上侧的两个实施例(图6的中间图像和上侧图像)所示，高分辨率颜色传感器610可以分散为颜色RGB像素620以及关于相关联的ToF像素640进行的距离确定的群组。图6所示的各个实施例适于测量大约平坦的表面的距离，并适于在低成本系统中得到应用。
图7呈现了包括颜色传感器710的系统700，颜色传感器710与ToF传感器720单独构建，但是与ToF传感器720相结合地操作。颜色传感器710的六边形像素被布置于蜂巢布局中，其中，每个像素与相关联的ToF传感器像素相结合地操作。例如，可以基于从ToF传感器中的ToFm获得的距离测量值来对像素Rx进行颜色校正，其中Gx与ToFn相关联，Gy与ToFo相关联，等等。
在替选方面中，可以采用跨越电磁谱的可见光部分操作的像素，而非使得像素操作于可见光电磁谱的特定部分(例如R、G或B)。替选地，可以采用灰度像素，其中像素与入射光的量相对应，例如随着入射光的量增加，像素的输出电压就越大。此外，在另一实施例中，可以将滤色器置于灰度像素之上，由此采用滤色器对电磁谱的各个部分进行滤波，同时允许特定波长、多个波长、或一定范围的波长通过到下面的灰度像素。相应地，在辐射源150包括具有一定范围的波长的电磁辐射(例如具有约390至750nm波长的可见光)的情况下，采用滤色器来减少照射颜色传感器的光的波长，例如，滤色器是“绿光”滤色器，并允许具有约550nm波长的光通过到光传感器。
当前的ToF传感器可以使用灰度像素进行操作。通过采用滤色器，能够产生具有颜色感测能力的ToF传感器，由此允许灰度ToF传感器生成3D彩色图像。图8呈现系统800，系统800示出在ToF传感器上采用了滤色器。灰度ToF传感器810可被划分为4个区域，第一区域用作ToF传感器820并被用于确定从ToF传感器820到对象(例如对象130)的距离D。灰度ToF传感器810的第二、第三和第四区域可以分别被红色滤色器830、绿色滤色器840或蓝色滤色器850所覆盖。可以利用白光源(例如产生白光的发光二极管(LED)860)照射对象130，各个滤色器(例如滤色器830、840、850)允许可见谱的特定部分被记录在灰度ToF传感器810的下面部分。利用(如通过ToF传感器820来测量)已知的距离测量值，任意需要的传感器校准/调整都基于该距离测量值，以及分别来自灰度ToF传感器810的红、绿和蓝部分(例如830、840、850)的(需要的)校正颜色读数，能够编译(compile)3D彩色图像。此外，可以利用例如约20MHz的适于距离测量的调制来操作白光LED(例如LED860)，或者在替代实施例中，可以通过依次利用约20MHz频率调制来照射的红光、绿光和蓝光LED 870来提供照射。
在另一方面中，ToF传感器可以响应于电磁谱的可见部分中的一个或多个波长，而非使ToF传感器响应于具有红外波长的电磁辐射。例如，参考图1，ToF辐射源140可以发射来自可见谱的红色部分(例如，具有约650nm波长的光)的光。红光将会被响应于具有红色波长的光的成像像素(例如颜色传感器120)接收，而ToF传感器110可以通过根据所接收到红光的相移来确定对象130的位置而进行操作(如图2所示)。
在另一实施例中，可以补偿对象表面的变化效果。在对象表面并不平坦且未如通常那样与图像传感器相垂直地定向的情况下，通过采用ToF传感器确定观看距离，可以按照测得的观看距离来“校准”相关联的颜色像素。如上所述，可以基于ToF传感器测得的距离来校准颜色像素，并且可以按照校准调整来调整颜色传感器作出的任意测量值。可以基于ToF传感器的刷新率而自动调整颜色像素的观看距离。
应理解，尽管此处呈现的各个方面呈现了包括RGB布局和Bayer布局的颜色传感器，然而，上述各个方面不限于此，而是可以利用任意适当的颜色传感器布局。例如，可以进一步通过红-绿-蓝-青绿(red-green-blue-emerald，RGBE)、蓝绿-黄-黄-品红(cyan-yellow-yellow-magenta，CYYM)、蓝绿-黄-绿-品红(cyan-yellow-green-magenta，CYGM)等来补充RGB布局和Bayer布局。
现转向图9，示出了系统900，系统900包括先前讨论的各个部件，包括ToF传感器110和颜色传感器120的图像传感器100、ToF辐射源140耦合至控制器160，而控制器160被进一步耦合至外部装置170，等等。此外，系统900包括存储装置910，存储装置910上存储一个或多个查找表920和/或算法930。查找表920可以提供距离测量值与颜色校正程度之间的相互关系，其中，要基于从ToF传感器110接收的距离测量值来将该颜色校正程度施加于从颜色传感器120接收的读数。类似地，通过利用从ToF传感器110接收的距离测量值的算法930，可以“校准”从颜色传感器120接收的读数。
图10示出了描绘根据一个方面的微控制器/集成电路的系统1000。系统1000包括微控制器/集成电路1010，在微控制器/集成电路1010上结合了处理单元1050以及图像传感器1020，图像传感器1020包括ToF传感器1030和颜色传感器1040。如之前描述的，并非多个部件被分开定位(例如，参照图1，图像传感器100作为与控制器160分开的装置而进行操作)，多个部件可以被结合在单个装置上，例如，微控制器/集成电路1010。微控制器/集成电路1010可以被设计为使得包括ToF传感器1030和颜色传感器1040的图像传感器1020与相关联的处理单元1050位于同一芯片上。应当理解，图像传感器1020、ToF传感器1030、颜色传感器1040以及处理单元1050与之前参照图1描述的各个部件(图像传感器100、ToF传感器110、颜色传感器120和控制器160)具有相同的功能。此外，尽管未示出，应当理解ToF辐射源140、辐射源150、外部装置170和/或环境传感器180还可以被定位于微控制器/集成电路1010上。还应当理解到，ToF传感器可以是颜色或灰度ToF传感器。
图11示出了用于基于观看距离来确定颜色校正的示例性方法1100。在1110处，从对象(例如，对象130)反射的光被包括一个或多个颜色传感器(例如，图像传感器100、710、1010，以及颜色传感器120、310、410、510和610等)的一个或多个颜色像素(例如，颜色像素320-340、420-440，G1R1G1B1、RX-ZGX-ZBX、1040等)所捕获。
在1120处，每个颜色像素具有相关联的ToF像素(例如，ToF像素350、450、ToF1、TOFm-n、1030等)，ToF像素包括一个或多个传感器(例如，图像传感器100和传感器310、410、520和620)。在ToF像素处接收到从对象反射的电磁辐射。
在1130处，(例如，通过控制器160、处理单元1050等)确定从特定ToF像素到接收到ToF辐射的对象表面的距离。在一个方面中，ToF传感器基于从辐射源发送到对象的发射辐射与在ToF像素处接收到的作为从对象反射的辐射之间的相移来确定距离。可以确定高达360°的相移，其中360°代表一个辐射波长，180°等于1/2波长等。相应地，通过知道相移，可以计算波长部分并且可以确定相对于波长部分的距离。为了达到精确确定，从颜色像素到对象的距离应当约等于ToF像素到对象的相应距离(或者已知的距离比率，例如，1∶1，1∶2，1∶5等)，其中，ToF像素被用于确定特定颜色像素到对象的距离。实际上，ToF像素被用于确定从颜色像素到对象的相应距离以有助于颜色像素的校准。
在1140处，基于所确定的ToF像素和对象之间的距离、以及相应的与ToF像素相关联的颜色像素的相应距离，可以(例如通过控制器160)根据所确定的距离来校正颜色像素获得的颜色读数。可以采用任意的适当方法来执行颜色校正。适当的方法是，但不限于，采用查找表(例如，查找表920)，该查找表包括颜色读数、对象到像素的距离、以及基于对象到像素距离的校正因数之间的相互关系。替选地，可以使用输入颜色读数和相关联的距离测量值的算法(例如算法930)，确定校正因数并生成校正颜色值。
在1150处，可以输出一个或多个颜色校正值。颜色校正值可以被输出到例如用于呈现的外部装置(例如，外部装置170)，其中外部装置包括用于显示的装置并且颜色校正图像可以被显示在这个用于显示的装置上。替选地，外部装置可以包括视觉显示装置(诸如打印机)并且可以以硬格式生成颜色校正图像。此外，外部装置可以包括用于数据处理的其他装置，其中与颜色校正处理相关联的信息(例如，颜色像素320-340、420-440、G1R1G1B1、RX-ZGX-ZBX、1040等获得的读数；图像传感器100、ToF传感器110、310、410、520、620和710获得的读数；如查找表820和/或算法830生成的颜色校正值；用于生成颜色校正值的查找表820和/或算法830；ToF辐射源140的操作设置；辐射源150的操作设置，等等)可以被提供给外部装置用于后续处理。
应当理解，尽管方法1100示出了作为在1120(其中在一个或多个ToF像素处接收辐射)以及1130(基于ToF数据确定对象距离)的操作之前的操作，通过一个或多个颜色像素捕获从对象(例如对象130)反射的光的处理1110，但是本文提出的各种方面不限于此，可以在通过颜色像素捕获光以及随后执行的颜色校正的操作1140之前执行确定对象距离的操作。
还应当理解到，尽管方法1100公开了基于对相移的确定来确定对象到传感器的距离，但是也可以使用ToF技术的其他原理，例如脉冲测定，在脉冲测定中，发出脉冲并测量接收时间。
图12示出了用于颜色感测像素的校正操作的示例性方法1200，其中相关联的ToF像素是错误的或不能操作的。在1210处，在对包括图像传感器(例如，图像传感器100、1020，以及颜色传感器120、310、410、510、610、710、810、1040等)的一个或多个颜色感测像素(例如，颜色像素320-340、420-440、G1R1G1B1、RX-ZGX-ZBX等)进行校准期间，从与一个或多个颜色感测像素关联的ToF像素获得不可信的距离测量值或未获得测量值。如之前描述的，基于从与颜色像素关联的ToF像素接收到的距离测量值来校准颜色感测像素。然而，可能出现ToF像素未正确工作的情况。在一个方面中，可以对来自两个或更多个ToF像素的距离读数进行比较以确定是否特定ToF像素正在生成正确输出。例如，两个相邻的ToF像素可能产生完全不同的读数，例如，第一ToF像素(例如，图5，ToF1)指示对象是7m远，而第二ToF像素(例如，图5，ToF2)指示对象为1.5m远。已知，对象具有平坦表面并且与ToF传感器的视线垂直地对准。相应地，通过比较来自这两个ToF像素的距离值，可以通过比较相邻ToF像素(例如，图5，ToF3或ToF4)的读数来确定哪个ToF像素是错误的。替选地，在尝试确定颜色感测像素要被校准的程度期间，在(例如，通过控制器160)执行校准确定期间，从与颜色感测像素关联的ToF像素获得不到读数。基于上述内容，认为ToF像素或者正在提供错误值或者是不能操作的。
在1220处，做出确定以识别能够提供在校准主颜色像素时采用的读数的替代ToF像素。在ToF像素为不能操作的/错误的(例如，图5，ToF1为不能操作的)一个方面中，从正在正确操作的相邻ToF像素(例如，图5，ToF2、ToF3或ToF4)获取读数。
在1230处，(例如，通过控制器160、处理单元1050)确定从替代ToF像素到对象表面的距离。
在1240处，替代距离测量值被应用于颜色感测像素。例如，当根据与从主颜色感测像素获得的颜色读数相关联的查找表(例如，查找表920)来确定校正值时，参考替代距离测量值。在另一例子中，当应用校准算法(例如算法930)以校准从主颜色感测像素获得的颜色读数时，可以使用替代距离测量值。
在1250处，输出用于主颜色感测像素的颜色校正(例如，校准)值。
图1300示出了用于从灰度ToF传感器生成颜色校正图像的示例性方法1300。在1310处，灰度ToF传感器(例如，ToF传感器810)被划分为用于执行观看距离确定和颜色感测的各个部分。用于观看距离确定的ToF传感器可以仅在电磁谱的红外部分中工作(如之前讨论的)。此外，如上面讨论的，ToF传感器可以仅产生灰度3D图像。然而，通过采用滤色器和适当的照射，可以产生3D彩色图像。为了有助于距离测量，ToF传感器的一部分被保持为用于测量距离的像素区域(例如，ToF-d 820)。ToF传感器的其他部分可以被覆盖有滤色器(例如，ToF红色滤色器830、ToF绿色滤色器840、ToF蓝色滤色器850)以允许可见光的期望部分穿过下面的ToF传感器像素阵列。
在1320处，照射对象(例如，对象130)。通过任意适当的照射源(例如，ToF辐射源140、辐射源150)来协助照射，其中这样的照射源可以是LED器件、激光器等。LED器件可以包括发射横跨电磁谱的可见部分的光的单个LED(例如，LED 860)，其中该LED器件可以通过适合于ToF确定的频率调制(例如，约20MHz)来进行操作。在可替换的实施例中，LED器件可以包括多个LED，其中每个LED发射来自电磁谱的不同部分的光(例如，红光LED 870、绿光LED 870、蓝光LED 870)。多个LED可以依次地利用距离测量所需的频率调制(例如，约20MHz)来操作。
在1330处，基于从被用于协助距离测量的ToF传感器的部分获得的测量值来确定对象的距离。
在1340处，基于所确定的对象距离，对用于接收从对象反射的光并从而产生对象的3D图像的ToF传感器的各个部分进行校准。根据针对ToF传感器的每个颜色感测部分确定的校准值，调整从每个颜色感测部分接收到的实际测量值。应当理解到，一个颜色感测区域所需要的校准程度可能不等于另一个颜色感测区域所需要的校准程度。例如，当在同一距离上给出红光读数和绿光读数时，校正红光读数所需要的颜色校正程度可能大于蓝光读数所需要的颜色校正程度。
在1350处，可以组合并输出一个或多个颜色校正值。从ToF传感器的红光感侧部分、绿光感测部分和蓝光感测部分中的每个感测部分获得的值可以被组合，以产生彩色图像。由于各个读数都伴随有距离测量值，因而可以产生3D彩色图像。颜色校正值可以被输出到用于呈现、打印、其他数据处理等的外部装置(例如，外部装置170)。
为了简化阐述，根据本文公开的各个方面来实现的方法被示出和描述为一系列的块。然而，应当明白和理解到，本文公开的各个方面不局限于块的顺序，这是因为，根据本文的描绘和描述，一些块可以按不同顺序进行，和/或这些块可以与其他块同时进行。而且，实现上面描述的方面不需要示出的全部块。此外，还应当理解到，说明书中通篇公开的方法能够被存储在制品上以协助将这样的方法传输和转移到计算机。所使用的术语“制品”旨在涵盖可以从任意计算机可读装置、载体或介质访问的计算机程序。
已关于多个部件之间的交互来描述了前述系统。应当理解到，这样的系统和部件可以包括本文指明的那些部件或子部件、指明的部件或子部件中的一些、和/或附加部件。子部件还可以被实现为通信地耦合至其他部件的部件，而不是被包括在母部件之内。此外，应当注意到，一个或多个部件可能被结合为提供聚合的功能的单个部件。这些部件还可能与本文未具体描述而本领与技术人员已知的一个或多个其他部件交互。
此外，利用标准的编程和/或工程技术以生产软件、固件、硬件或其任意组合从而控制用于实现所公开的各个方面的计算机，本文呈现的各个方面可以被实现为方法、设备、或制品。本文使用的术语“制品”旨在涵盖可从计算机可读装置、载体或介质访问的计算机程序。例如，计算机可读介质可以包括但不限于磁存储装置(例如，硬盘、软盘、磁带......)、光盘(例如，压缩盘(CD)、数字多功能盘(DVD))、智能卡以及闪存装置(例如，卡、棒、键驱动器(key drive))。附加地，应当理解到，载波可被用于承载计算机可读电子数据，诸如在发送和接收电子邮件或者访问诸如互联网或局域网(LAN)时使用的那些计算机可读电子数据。当然，本领域技术人员将认识到，在不背离要求保护的主题的范围或精神的情况下可以对该配置进行许多修改。
而且，词语“示例性”在本文中用于表示例子、实例、或图示。本文被描述为“示例性”的任意方面或设计不一定被理解为相比于其他方面或设计是优选的或有利的。相反，使用词语“示例性”旨在以具体方式公开思想。本申请中所使用的术语“或”旨在表示相容的“或”而非排他的“或”。即，除非另外指明，或从上下文中明显看出，否则“X采用A或B”旨在表示自然相容的排列中的任一个。即，如果X采用A；X采用B；或X采用A和B，则在前述实例中的任一个的情况下，均满足“X采用A或B”。此外，本申请和所附权利要求中使用的冠词“a(一个)”和“an(一个)”应当被一般地理解为表示“一个或多个”，除非另外指明或从上下文中明显看出其旨在单数形式。
上面描述的包括本说明书的例子。当然，不可能为了描述本说明书而描述部件或方法的能想到的每种组合，但是本领域技术人员可以认识到本说明书的许多其他组合和置换是可能的。相应地，本说明书旨在涵盖落入所附权利要求的精神和范围的所有这些替换、修改和变化。此外，在详细描述或权利要求中使用的术语“包含”的范围内，这样的术语以类似于术语“包括”在被用作权利要求中的过渡词时所解释的方式旨在相容。

Claims (20)

1.一种校准图像像素的系统，包括：
第一像素，其接收来自对象的第一电磁辐射，并基于所接收到的第一电磁辐射来生成第一输出；
第二像素，其接收来自所述对象的第二电磁辐射，并基于所接收到的第二电磁辐射来生成第二输出；以及
控制器，其接收所述第一输出和所述第二输出，确定从所述第二像素到所述对象的距离，并且基于所确定的距离来调整所述第一输出。
2.根据权利要求1所述的系统，其中所述第二像素是飞行时间ToF像素。
3.根据权利要求1所述的系统，其中所述第一电磁辐射来自电磁谱的可见部分。
4.根据权利要求1所述的系统，其中所述第二电磁辐射来自电磁谱的红外IR部分。
5.根据权利要求1所述的系统，还包括向所述对象发射第三电磁辐射的辐射源。
6.根据权利要求5所述的系统，其中所述控制器通过比较所发射的第三电磁辐射与所接收到的第二电磁辐射之间的相移来确定所述距离。
7.根据权利要求1所述的系统，还包括：组合所述第一输出与来自至少一个另外像素的经调整的输出以生成数字输出。
8.根据权利要求1所述的系统，其中所述第一像素和所述第二像素是根据组合的飞行时间ToF像素而产生的。
9.根据权利要求1所述的系统，其中所述第一像素和所述第二像素位于单个半导体上。
10.根据权利要求1所述的系统，其中所述第一像素和所述第二像素位于完全不同的半导体上。
11.一种用于校准图像像素的方法，包括：
接收从对象反射的第一电磁辐射；
基于所接收到的第一电磁辐射来生成第一信号；
接收从所述对象反射的第二电磁辐射；
基于所接收到的第二电磁辐射来生成第二信号；
基于所述第二信号来确定距离；以及
基于所确定的距离来校准所述第一信号。
12.根据权利要求11所述的方法，其中所述第一电磁辐射来自电磁谱的可见部分。
13.根据权利要求11所述的方法，其中所述第二电磁辐射来自电磁谱的红外IR部分。
14.根据权利要求11所述的方法，其中所述第一电磁辐射和所述第二电磁辐射来自电磁谱的同一部分。
15.根据权利要求11所述的方法，还包括向所述对象发射第三电磁辐射。
16.根据权利要求15所述的方法，还包括通过比较所述第三电磁辐射与所述第二电磁辐射之间的相移来确定所述距离。
17.一种校准图像像素的系统，包括：
用于接收从对象反射的第一电磁辐射的装置；
用于基于所接收到的第一电磁辐射来生成第一信号的装置；
用于接收从所述对象反射的第二电磁辐射的装置；
用于基于所接收到的第二电磁辐射来生成第二信号的装置；
用于基于所述第二信号来确定距离的装置；以及
用于基于所确定的距离来校准所述第一信号的装置。
18.根据权利要求17所述的系统，其中用于接收所述第一电磁辐射的装置是颜色感测像素。
19.根据权利要求17所述的系统，其中用于接收所述第二电磁辐射的装置是飞行时间ToF传感器。
20.根据权利要求17所述的系统，其中所述距离确定是基于比较从所述对象反射的所述第二电磁辐射与向所述对象发射的第三电磁辐射的相移的。
CN201110353153.0A 2010-11-03 2011-11-03 对距离改变不敏感的颜色传感器 Active CN102685402B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/938,499 US8542348B2 (en) 2010-11-03 2010-11-03 Color sensor insensitive to distance variations
US12/938,499 2010-11-03

Publications (2)

Publication Number Publication Date
CN102685402A true CN102685402A (zh) 2012-09-19
CN102685402B CN102685402B (zh) 2015-03-11

Family

ID=45092192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110353153.0A Active CN102685402B (zh) 2010-11-03 2011-11-03 对距离改变不敏感的颜色传感器

Country Status (3)

Country Link
US (2) US8542348B2 (zh)
EP (1) EP2451150B1 (zh)
CN (1) CN102685402B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106664354A (zh) * 2014-12-22 2017-05-10 谷歌公司 单片集成的三原色像素阵列和z像素阵列
CN107534764A (zh) * 2015-04-30 2018-01-02 深圳市大疆创新科技有限公司 增强图像分辨率的系统及方法
CN110337598A (zh) * 2017-02-27 2019-10-15 微软技术许可有限责任公司 使用立体消歧的单频飞行时间深度计算
CN113424078A (zh) * 2019-02-12 2021-09-21 Viavi科技有限公司 飞行时间传感器设备和使用方法
CN114066769A (zh) * 2021-11-25 2022-02-18 上海布鲁可积木科技有限公司 红外测距补偿颜色识别方法及系统

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012049773A (ja) * 2010-08-26 2012-03-08 Sony Corp 撮像装置および方法、並びにプログラム
KR101709282B1 (ko) * 2011-11-15 2017-02-24 삼성전자주식회사 이미지 센서, 이의 동작 방법, 및 이를 포함하는 장치들
US20130176550A1 (en) * 2012-01-10 2013-07-11 Ilia Ovsiannikov Image sensor, image sensing method, and image photographing apparatus including the image sensor
US9784577B2 (en) * 2012-03-16 2017-10-10 Lg Innotek Co., Ltd. Measuring distance from object by using size of pattern projected onto object
US9516248B2 (en) 2013-03-15 2016-12-06 Microsoft Technology Licensing, Llc Photosensor having enhanced sensitivity
DE102013103333A1 (de) * 2013-04-03 2014-10-09 Karl Storz Gmbh & Co. Kg Kamera zur Erfassung von optischen Eigenschaften und von Raumstruktureigenschaften
US9274202B2 (en) 2013-06-20 2016-03-01 Analog Devices, Inc. Optical time-of-flight system
US9435641B2 (en) 2013-06-20 2016-09-06 Analog Devices, Inc. Optical angle measurement
KR20150010230A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
US20150022643A1 (en) * 2013-07-19 2015-01-22 Google Inc. Asymmetric Sensor Array for Capturing Images
US10591969B2 (en) 2013-10-25 2020-03-17 Google Technology Holdings LLC Sensor-based near-field communication authentication
KR102277309B1 (ko) * 2014-01-29 2021-07-14 엘지이노텍 주식회사 깊이 정보 추출 장치 및 방법
JP6328965B2 (ja) * 2014-03-12 2018-05-23 スタンレー電気株式会社 距離画像生成装置および距離画像生成方法
US9741755B2 (en) 2014-12-22 2017-08-22 Google Inc. Physical layout and structure of RGBZ pixel cell unit for RGBZ image sensor
US9508681B2 (en) 2014-12-22 2016-11-29 Google Inc. Stacked semiconductor chip RGBZ sensor
US9615013B2 (en) * 2014-12-22 2017-04-04 Google Inc. Image sensor having multiple output ports
US9591247B2 (en) 2014-12-22 2017-03-07 Google Inc. Image sensor having an extended dynamic range upper limit
US9871065B2 (en) 2014-12-22 2018-01-16 Google Inc. RGBZ pixel unit cell with first and second Z transfer gates
US9581696B2 (en) * 2014-12-22 2017-02-28 Google Inc. Image sensor and light source driver integrated in a same semiconductor package
US9425233B2 (en) 2014-12-22 2016-08-23 Google Inc. RGBZ pixel cell unit for an RGBZ image sensor
DE102015101902A1 (de) * 2015-02-10 2016-08-11 Osram Opto Semiconductors Gmbh Detektor und Lidar-System
US10412363B1 (en) * 2015-03-26 2019-09-10 3D Patents, Llc Light-field display with micro-lens alignment adapted color and brightness
CN108471989B (zh) * 2016-01-15 2022-04-26 皇家飞利浦有限公司 用于生成承载对象的生命体征信息的光体积描记图像的设备、系统和方法
US10321114B2 (en) * 2016-08-04 2019-06-11 Google Llc Testing 3D imaging systems
CN106231193A (zh) * 2016-08-05 2016-12-14 深圳市金立通信设备有限公司 一种图像处理方法及终端
US20180301484A1 (en) * 2017-04-17 2018-10-18 Semiconductor Components Industries, Llc Image sensors with high dynamic range and autofocusing hexagonal pixels
US10580807B2 (en) 2017-10-24 2020-03-03 Stmicroelectronics, Inc. Color pixel and range pixel combination unit
US10802117B2 (en) 2018-01-24 2020-10-13 Facebook Technologies, Llc Systems and methods for optical demodulation in a depth-sensing device
US10735640B2 (en) 2018-02-08 2020-08-04 Facebook Technologies, Llc Systems and methods for enhanced optical sensor devices
US10805594B2 (en) 2018-02-08 2020-10-13 Facebook Technologies, Llc Systems and methods for enhanced depth sensor devices
DE102018108379B4 (de) * 2018-04-09 2024-03-07 pmdtechnologies ag Lichtlaufzeitpixel
US20210372920A1 (en) * 2018-05-04 2021-12-02 Peter Ehbets Handheld non-contact multispectral measurement device with position correction
JPWO2020218283A1 (zh) * 2019-04-22 2020-10-29
TWI732424B (zh) * 2019-05-02 2021-07-01 大陸商廣州印芯半導體技術有限公司 具有距離感測功能的影像感測器及其操作方法
US11070757B2 (en) * 2019-05-02 2021-07-20 Guangzhou Tyrafos Semiconductor Technologies Co., Ltd Image sensor with distance sensing function and operating method thereof
WO2021005659A1 (ja) * 2019-07-05 2021-01-14 パナソニックセミコンダクターソリューションズ株式会社 情報処理システム、センサシステム、情報処理方法及びプログラム
WO2021121540A1 (en) * 2019-12-16 2021-06-24 Huawei Technologies Co., Ltd. Depth estimation system
US11674797B2 (en) 2020-03-22 2023-06-13 Analog Devices, Inc. Self-aligned light angle sensor using thin metal silicide anodes
US11871132B2 (en) * 2020-05-08 2024-01-09 Omnivision Technologies, Inc. Devices and methods for obtaining three-dimensional shape information using polarization and time-of-flight detection pixel cells
US11624653B2 (en) * 2020-12-03 2023-04-11 Artilux, Inc. Multi-application optical sensing apparatus and method thereof
EP4283329B1 (de) * 2022-05-24 2024-07-03 Sick Ag Vorrichtung und verfahren zur gemeinsamen erfassung einer farbe und eines abstands eines gegenstands

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050179912A1 (en) * 2004-02-18 2005-08-18 Van Brocklin Andrew L. Calibration feedback-control circuit for diffraction light devices
CN101523453A (zh) * 2005-09-06 2009-09-02 洛克威尔自动控制技术股份有限公司 用于rfid准确度的传感器融合
US20100026982A1 (en) * 2007-01-26 2010-02-04 Trimble Jena Gmbh Optical instrument and method for obtaining distance and image information
CN101840004A (zh) * 2009-03-17 2010-09-22 洛克威尔自动控制技术股份有限公司 用于感测目标的光电传感器
CN101858758A (zh) * 2009-04-13 2010-10-13 洛克威尔自动控制技术股份有限公司 光电传感器

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9515311D0 (en) * 1995-07-26 1995-09-20 3D Scanners Ltd Stripe scanners and methods of scanning
JP3584845B2 (ja) 2000-03-16 2004-11-04 日立ハイテク電子エンジニアリング株式会社 Ｉｃデバイスの試験装置及び試験方法
US6456793B1 (en) 2000-08-03 2002-09-24 Eastman Kodak Company Method and apparatus for a color scannerless range imaging system
US7274393B2 (en) 2003-02-28 2007-09-25 Intel Corporation Four-color mosaic pattern for depth and image capture
EP1751495A2 (en) 2004-01-28 2007-02-14 Canesta, Inc. Single chip red, green, blue, distance (rgb-z) sensor
US7560679B1 (en) * 2005-05-10 2009-07-14 Siimpel, Inc. 3D camera
US7283240B2 (en) * 2005-08-24 2007-10-16 Xerox Corporation Spectrophotometer target distance variation compensation
US7869649B2 (en) * 2006-05-08 2011-01-11 Panasonic Corporation Image processing device, image processing method, program, storage medium and integrated circuit
KR101467509B1 (ko) * 2008-07-25 2014-12-01 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050179912A1 (en) * 2004-02-18 2005-08-18 Van Brocklin Andrew L. Calibration feedback-control circuit for diffraction light devices
CN101523453A (zh) * 2005-09-06 2009-09-02 洛克威尔自动控制技术股份有限公司 用于rfid准确度的传感器融合
US20100026982A1 (en) * 2007-01-26 2010-02-04 Trimble Jena Gmbh Optical instrument and method for obtaining distance and image information
CN101840004A (zh) * 2009-03-17 2010-09-22 洛克威尔自动控制技术股份有限公司 用于感测目标的光电传感器
CN101858758A (zh) * 2009-04-13 2010-10-13 洛克威尔自动控制技术股份有限公司 光电传感器

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106664354A (zh) * 2014-12-22 2017-05-10 谷歌公司 单片集成的三原色像素阵列和z像素阵列
US10291870B2 (en) 2014-12-22 2019-05-14 Google Llc Monolithically integrated RGB pixel array and Z pixel array
US10368022B2 (en) 2014-12-22 2019-07-30 Google Llc Monolithically integrated RGB pixel array and Z pixel array
CN107534764A (zh) * 2015-04-30 2018-01-02 深圳市大疆创新科技有限公司 增强图像分辨率的系统及方法
US10488500B2 (en) 2015-04-30 2019-11-26 SZ DJI Technology Co., Ltd. System and method for enhancing image resolution
CN107534764B (zh) * 2015-04-30 2020-03-17 深圳市大疆创新科技有限公司 增强图像分辨率的系统及方法
US11249173B2 (en) 2015-04-30 2022-02-15 SZ DJI Technology Co., Ltd. System and method for enhancing image resolution
CN110337598A (zh) * 2017-02-27 2019-10-15 微软技术许可有限责任公司 使用立体消歧的单频飞行时间深度计算
CN110337598B (zh) * 2017-02-27 2023-08-18 微软技术许可有限责任公司 使用立体消歧的单频飞行时间深度计算
CN113424078A (zh) * 2019-02-12 2021-09-21 Viavi科技有限公司 飞行时间传感器设备和使用方法
CN114066769A (zh) * 2021-11-25 2022-02-18 上海布鲁可积木科技有限公司 红外测距补偿颜色识别方法及系统

Also Published As

Publication number Publication date
EP2451150A2 (en) 2012-05-09
US8542348B2 (en) 2013-09-24
EP2451150A3 (en) 2017-06-21
US20120105823A1 (en) 2012-05-03
US20130335725A1 (en) 2013-12-19
EP2451150B1 (en) 2022-04-20
CN102685402B (zh) 2015-03-11

Similar Documents

Publication Publication Date Title
CN102685402A (zh) 对距离改变不敏感的颜色传感器
US12061261B2 (en) Augmenting panoramic LIDAR results with color
US11863734B2 (en) Time-of-flight camera system
US11914078B2 (en) Calibration of a depth sensing array using color image data
US9807369B2 (en) 3D imaging apparatus
US9451240B2 (en) 3-dimensional image acquisition apparatus and 3D image acquisition method for simultaneously obtaining color image and depth image
US9667944B2 (en) Imaging optical system and 3D image acquisition apparatus including the imaging optical system
KR20140047271A (ko) 깊이 센서, 이의 이미지 캡쳐 방법, 및 상기 깊이 센서를 포함하는 이미지 처리 시스템
US11610339B2 (en) Imaging processing apparatus and method extracting a second RGB ToF feature points having a correlation between the first RGB and TOF feature points
US20140160253A1 (en) Hyperspectral imager
US20220021862A1 (en) Passive three-dimensional image sensing based on chromatic focal differentiation
JP2017133931A (ja) 画像生成装置、ならびに距離画像およびカラー画像の生成方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee
CP01 Change in the name or title of a patent holder

Address after: ohio

Patentee after: Rockwell Automation Tech Inc.

Patentee after: CEDES SAFETY AND AUTOMATION AG

Address before: ohio

Patentee before: Rockwell Automation Tech Inc.

Patentee before: Cedes Safety & Automation Ag

CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: ohio

Co-patentee after: CEDES SAFETY AND AUTOMATION AG

Patentee after: Rockwell automation technologies

Address before: ohio

Co-patentee before: CEDES SAFETY AND AUTOMATION AG

Patentee before: Rockwell Automation Tech Inc.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190705

Address after: ohio

Co-patentee after: Rockwell Automation Switzerland Co., Ltd.

Patentee after: ROCKWELL AUTOMATIONJ TECHNOLOGIES, INC.

Address before: ohio

Co-patentee before: CEDES SAFETY AND AUTOMATION AG

Patentee before: ROCKWELL AUTOMATIONJ TECHNOLOGIES, INC.