[go: up one dir, main page]

CN107533139B - 景深成像设备、方法和应用 - Google Patents

景深成像设备、方法和应用 Download PDF

Info

Publication number
CN107533139B
CN107533139B CN201680023973.4A CN201680023973A CN107533139B CN 107533139 B CN107533139 B CN 107533139B CN 201680023973 A CN201680023973 A CN 201680023973A CN 107533139 B CN107533139 B CN 107533139B
Authority
CN
China
Prior art keywords
depth
field
tof
scene
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680023973.4A
Other languages
English (en)
Other versions
CN107533139A (zh
Inventor
A·莫尔纳
S·贾亚苏里亚
S·西瓦拉马克莱斯娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cornell University
Original Assignee
Cornell University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cornell University filed Critical Cornell University
Publication of CN107533139A publication Critical patent/CN107533139A/zh
Application granted granted Critical
Publication of CN107533139B publication Critical patent/CN107533139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Light Receiving Elements (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

景深成像设备包括在单个的片上架构中组合的光场成像器和飞行时间成像器。该混合装置能够同时捕获对象场景的光场图像和飞行时间图像。描述了算法，其能够同时获取光场图像和飞行时间图像。公开了相关混合像元结构、器件阵列(混合成像系统)和器件应用。

Description

景深成像设备、方法和应用
相关申请数据
本申请要求2011年3月17日提交的美国临时申请No.62/134122的优先权，其主题通过全文引用的方式并入本文。
发明背景
技术领域
本发明的方面和实施例通常属于图像感知领域。更具体地，是涉及景深(depthfield)成像设备、组件、方法及其应用的方面和实施例。
相关技术说明
引入深度感知来捕捉3D信息，使得它在成像和摄像系统中得到了广泛应用，成为计算机视觉和图形研究的重点。深度值使场景理解和建模更容易，从而实现新的计算机视觉系统和人机交互。许多方法已经被提出了用于获取诸如立体、光度立体、结构光照明、光场(LF)、RGB-D和飞行时间(TOF)成像的深度信息。然而，深度摄像机一次只能支持一种深度感测技术，这限制了其鲁棒性和灵活性。
对于诸如片上(on-chip)实现、成本、深度分辨率等属性，每个成像模式具有其自身的优点和缺点，如表1所示。
Figure GDA0003156264590000011
表1表格总结了不同深度感测方式的相对优点和缺点，包括所提出的深度场。
发明家们认识到，利用两种或多种深度传感技术的混合式3D成像系统将提供克服这些局限性的解决方案。此外，一个结合片上实现模式的系统将是价格合算的并能大规模生产的，让强大的深度感知无处不在的。
光场(LF)成像捕获由两个空间坐标和两个角坐标或等效地作为场景中的非遮挡光线的空间参数化的全视角函数的4D表示。光场用于基于图像的渲染和建模，从场景合成新视点，以及从对极几何估计深度。在相机的背景下，通过使用机械架或大型密集的相机阵列，或通过包括微透镜、编码光圈、透射掩模或包括对称和反(奇)对称的相位光栅在内的衍射光栅的单射法捕获光场。光场可以扩展景深，并使用数字重新聚焦来在后处理中合成不同的光圈，从而在拍摄照片后实现软件控制水平。在专利号为8,530,811、8,809,758和8,767,047的美国共有专利中公开的主题是使用角度敏感像素(ASP)的光场(LF)成像装置和方法，其全部内容通过引用并入本文。专利号9,110,240的美国专利、美国专利申请20150061065、WO2006039486、WO2007092581、WO2007092545和WO2007044725的主题通过引用整体并入本文。
飞行时间(TOF)成像通过对调幅光的光路长度进行编码来工作，该光路由包括光电门和光子混合器装置在内的各种装置恢复。具体来说，光源(通常为近红外区域(约840-1000nm)的LED)以一定频率进行幅度调制，该灯光照射场景，并且当这种振幅调制的光从物体上反弹并回到图像传感器上，它获得与该对象的深度相对应的相位延迟。为了检测相位延迟，大多数传感器使用一种称为光电门的像素，它由CMOS工艺中的p基底上的多晶硅组成，这些光电门在与光源相同的频率上被调制，并且它们在每个像素处收集的电荷量与相位延迟成正比，因此光电门阵列可以捕获图像，在图像中每个像素具有深度数。在产生高分辨率深度图的同时，单频TOF受到包括由半透明物体和散射介质引起的相位缠绕歧义和多径干扰的限制。提出的克服这些限制的技术包括使用多频率方法的相位展开、全局/直接照明分离、去模糊和超分辨率、以及减轻后处理算法的多径干扰。最近，这些传感器的新的时间编码模式有助于解决多个光学路径的问题，以使得能够在飞行中观察光和透过混浊介质观察。已经提出摄像机系统将TOF+立体声、TOF+光度立体声和TOF+极化融合在一起。
深度图和强度图像的融合已被用于通过显式特征检测实现3D重建。通过KinectFusion论证了相机跟踪和3D重建的实时交互。虽然这些融合方法在概念上类似于景深，通过获取每像素的深度和强度值，但是这些融合方法不能系统地控制空间角取样或超越用于深度成像中光圈和景深之间的传统捕捉权衡。
发明人已经认识到通过将光场(LF)和TOF成像组合到单个的片上的混合3D成像系统中可实现的优点和优点。这样的系统将继承光场优势，例如使用高分辨率深度信息的TOF优点的后捕捉数字重新聚焦和使用编码信号的减轻的多径干扰。此外，LF和TOF成像都已经在片上实现，并且可以设计混合像素结构来结合片上的两种模式。每种模式都有其相应的缺点：光场深度需要纹理表面，并且取决于视差的物体距离，并且单频TOF成像遭受相位缠绕，并且限于具有低快门速度的小光圈相机。然而，混合LF/TOF实施的成像装置和方法，即本文中称为“景深”成像(装置和方法)可以减轻所有这些限制。
发明内容
本发明的一个方面是景深成像装置。根据一个实施例，景深成像装置包括可获取场景的LF图像的光场(LF)成像部件；可以获取场景的TOF图像的飞行时间(TOF)成像组件，其中，LF成像组件设置在TOF成像组件上方，并且都以单个的片上架构实现；以及图像处理部件，被编程为可操作地执行能够由景深成像装置同时采集LF图像和TOF图像的算法。在各种非限制性实施例中，景深成像设备可以单独地或以各种非限制性组合进一步包括以下特征或特征：
-其中所述LF成像部件包括光栅；
-其中LF成像部件包括金属光栅；
-其中光栅是周期性光栅；
-其中光栅是相位光栅；
-其中光栅是反(奇)对称相位光栅；
-其中所述LF成像组件包括振幅掩模；
-其中LF成像组件是角度敏感像素(ASP)；
-其中所述TOF成像部件包括可调制的光电门，其包括主动(可调制的)光源；
-其中所述TOF成像组件包括多个交叉光电门；
-其中所述多个交叉光电门的特征在于以所述主动光源的调制频率进行调制；
-还包括设置在景深成像装置的物体侧的透镜；
-以CMOS架构实现的景深成像装置。
根据实施例，景深成像设备包括光场(LF)成像部件；和飞行时间(TOF)成像部件，其中LF成像部件和TOF成像部件都以单个的片上架构实现。
本发明的一方面是景深像素结构。根据实施例，景深像素结构包括光场(LF)成像部件；一个光电门以及光学耦合到所述光电门的主动光源，其中所述LF成像部件设置在所述光电门上，并且所述像素结构以单个的片上架构实现。
本发明的一方面是景深成像系统。根据实施例，景深成像系统包括景深像素结构的阵列，其中每个景深像素结构包括光场(LF)成像组件，光电门和与光电门光学耦合的主动光源，其中LF成像组件设置在光电门上，并且每个像素结构以单个的片上架构实现。在各种非限制性实施例中，景深成像系统可以单独地或以各种非限制性组合进一步包括以下特征：
-还包括设置在物体场景和景深像素结构阵列之间的透镜；
-还包括全局快门。
本发明的一方面是成像方法。根据实施例，成像方法包括获取对象场景的LF图像的步骤；同时获取对象场景的TOF图像，其中通过单个的片上实现的混合图像感测装置同时获取LF和TOF图像；并处理所获取的LF和TOF图像以形成对象场景的景深图像。在各种非限制性实施例中，成像方法可以单独地或以各种非限制性组合，进一步地包括以下步骤，特征或限制的特征：
-还包括在单次曝光中获取LF和TOF图像；
-还包括使用数字重聚焦技术获取景深图像；
-还包括使用相位展开技术来获取景深图像。
在本文和权利要求书中，假定TOF组件包括主动(可调制的)光源。
附图说明
图1是本领域已知的并且根据本发明的实施例所用的光电门的横截面示意图。
图2是根据本发明的实施例的CMOS结构中的景深像素的横截面示意图。
图3是根据本发明的实施例所用的两个交叉光电门俯视示意图。
图4是根据本发明的实施例的景深成像系统架构示意框图。
图5是根据本发明的示例性实施例的景深成像系统信号链架构示意框图。
图6是根据本发明的示例性实施例的景深成像系统的片上调制器架构示意框图。
图7A示出了用于捕获景深的单镜头相机系统的像素设计的三个示例。微透镜，振幅掩膜或衍射光栅放置在光电门的顶部，同时捕获光场和TOF信息；图7B示出了二元奇对称相位光栅；图7C示出了阳极对称相位光栅，其中，
根据本发明的实施例，片段宽度随着距离光栅中心的增加而增加。
图8示出：a)使用TOF相机阵列捕获景深，b)关于反照率的4D函数(u，v，x，y)，(c)根据本发明的说明实施例，对应于TOF深度值的相位的4D函数(u，v，x，y)。
图9示出：a)捕获的场景，b-e)对于场景的深度图的不同焦平面上的数字重新聚焦，根据本发明的说明性实施例，说明景深成像如何打破距离成像的景深和光圈之间的权衡。
图10示出了对合成数据使用相位解缠算法：a)具有地面真值深度值的框场景，b)带校准标记基准线的相位缠绕场景，c)由光场匹配算法得到的深度图，我们在该场景中识别相同的校准线进行相位展开，d)我们将TOF包裹值映射到与给定校准线对应的深度值，e)按照本发明的一个实施例中展开的深度图。
本发明非限制性的示例性的具体实施方式
本发明方面包括一种集成的混合成像系统，其包括光场(LF)成像部件和飞行时间(TOF)成像部件，有利地在CMOS结构中，LF/TOF像素结构在本文中称为角度敏感光电门(ASPG)，以及用单一的集成设备同时采集LF和TOF图像的方法。LF和TOF成像组件/系统都是本领域已知的，并且这些组件本身都不体现本发明的创造性方面。
如上所述，LF成像系统和使用角度敏感像素(ASPs)的方法专利由申请人共同发明和拥有。这些LF图像传感器/方法利用设置在光电二极管之上的衍射光栅实现的。光电二极管通常是由n/p硅相互作用引起的结电容。n掺杂区域相对于p硅保持在高电压，导致该区域变得光敏并产生与光子撞击的光量成比例的电流。
与光电二极管不同，光电门由薄场氧化物(通常为SiO2)上的多晶硅栅组成，氧化物在硅上。该栅极由电压调制，其结合主动光调制产生与光的振幅相位成比例的电流信号。
由于光电门不用于典型的场景成像(如在传统的相机或LF/ASP图像传感器中)，所以在ASP中使用光电门代替光电二极管是不可预见的。事实上，由于光电二极管不需要调制，所以技术上的障碍使其不能在LF传感器中使用。
然而，发明人认识到，除了使用电压调制光电门进行TOF成像的能力之外，当栅极电压保持恒定时，光电门将像光电二极管那样起作用。因此，光电门可以进行常规成像和TOF成像；此外，当衍射光栅被集成到这些器件上时，它们可以进行LF成像和TOF成像。为了同时进行LF成像和TOF成像，TOF成像可以在数学反演，以恢复常规图像和TOF深度图像。这在下面更详细地描述。
集成的混合LF/TOF成像系统，组件(像素)和方法(同时LF和TOF成像)在本文中被称为“景深”成像(系统，像素，方法)。实现景深成像的系统继承了LF系统的优点，例如采用TOF捕获后数字重新聚焦，具有高分辨率深度信息和使用编码信号减轻多径干扰的优点。此外，LF和TOF成像都已经在片上实现，并且混合像素结构能够同时结合片上的两种模式。虽然每个模式都有其相对的缺点：光场的深度需要纹理表面，并且取决于物体距离的差异，单频TOF成像受到相位缠绕，并且限于低快门速度的小光圈相机，采用景深的设备和方法可以减轻所有这些限制。
图1示出了在实施例中的景深系统(成像系统或像素部件)的TOF部件中使用的光电门100。在CMOS工艺中光电门100由多晶硅栅极(PG)组成，其上覆盖硅(P衬底)。当栅极由电压调制时，与同步有效(即可调制的)光(照明)调制相结合，产生与光的振幅相位成比例的电流信号。
图2是根据本发明的实施例的CMOS体系结构中的景深像素(角度敏感光电门“ASPG”)200的横截面示意图。像素200包括在代表性光电门203上的SiO2中的两个周期性金属衍射光栅(M5，M3)201、202。
图3是根据本发明的实施例使用的两个交叉光电门301、303的俯视示意图。在图中，PC＝多晶硅，RX＝扩散区域，PC+RX＝MOSFET通道上的栅极，RX单独＝晶体管(P+或N+区域)的源极/漏极。在器件实现中，光栅(这里未示出)在水平方向上以与交叉光电门相同的间距位于该器件的顶部。
图4示出了根据本发明的实施例中景深成像系统架构400的框图。系统400包括耦合到阵列的ASPG阵列402，行驱动器403和列放大器404以及A/D转换器405。本领域技术人员将理解，与滚动快门相比，全局快门可以实现一次暴露整个图像传感器，然后按行读出。
图5示出了根据本发明的示例性实施例中景深成像系统信号链架构500的框图。在说明方面，主动(可调制的)光源501(例如，具有输出幅度A的激光器，调制频率fm的以正弦波(或方波)，以Asin[2πfmt]的形式，照亮对象场景并发射出去，返回的光获取相位滞后
Figure GDA0003156264590000061
其中
Figure GDA0003156264590000063
以fm调制的交叉光电门301,303产生差分电压V0(然后是V90，为fm+90度)。对于一阶，
Figure GDA0003156264590000062
(其中最大范围为c/2fm，分辨率与fm成比例)。
图6是根据本发明的实施例中景深成像系统的片上调制器架构600的框图。为了产生包括正弦和随机二进制模式的TOF调制，TOF调制可以本地存储在片上存储器601中，使得可以使用由高速时钟604驱动的选择器电路603来快速访问该存储器从而驱动光电门605。实现TOF调制信号的快速频率切换，从而提高TOF成像的深度灵敏度。
下面我们将LF和TOF成像的数学公式描述为景深的概念。我们展示了如何捕获这些领域，以及如何反演正向模型以恢复光反照率，光反照率定义为相对于主动照明的对象的反射率值，以及作为2D空间坐标和2D角坐标的函数的深度。
为了描述捕获景深的正演模型，我们首先讨论用于LF和TOF成像的正演模型。
光场
光场通常由两个平面模型l(u,v,x,y)参数化，其中(u,v)是透镜平面处的角坐标，(x,y)是传感器平面的空间坐标。该函数的输出通过与两个平面交叉参数化表示的光线的辐射度。光场捕获的正演模型已经在文献中建模如下：
iLF(x，y)＝∫u∫vm(u，v，x，y)·l(u，v，x，y)dudv (1)
其中iLF(x,y)是由检测器测量的强度，并且m(u,v,x,y)是编码入射光线的调制/复用功能。调制函数表示不同光学元件，可用于感测光场，其包括针孔(m(u,v,x,y)＝δ(u,v,x,y))，傅里叶掩模，随机码/掩模，或调制函数是Gabor小波的衍射光栅。离散上述方程，iLF＝Ml其中iLF,l是矢量化图像和光场，M是调制矩阵，线性和非线性反演都可以恢复光场。
飞行时间成像
相比之下，TOF通常使用入射光信号和发送到传感器的参考码之间的互相关来建模。入射光的形式如下：
Figure GDA0003156264590000064
其中
Figure GDA0003156264590000065
是由于从光源到对象相机的光路所累积的相位，α是反照率，传感器处的强度(归一化为积分时间)是：
Figure GDA0003156264590000071
这里，τ是控制参考信号相移的互相关参数。通过选择不同的τ，使得fMτ＝0,π/2,π,3π/2，我们可以使用积分反演来恢复两者反照率和每个空间位置(x，y)的相位φ：
Figure GDA0003156264590000072
Figure GDA0003156264590000073
要注意的是，
Figure GDA0003156264590000074
可以直接从相位
Figure GDA0003156264590000075
恢复深度d来完成TOF成像。
景深
我们现在讨论将景深的概念定义为在每个(u,v,x,y)空间角坐标处出现的反照率和深度(以相位编码)
Figure GDA0003156264590000076
的有序对，即α＝α(u,v,x,y),
Figure GDA0003156264590000077
注意景深不能单独从TOF测量中恢复，因为TOF采用针孔相机模型，其在某一特定的(u,v)处采样
Figure GDA0003156264590000078
和α。
景深成像的正演模型描述如下：
Figure GDA0003156264590000079
近似地，
Figure GDA00031562645900000710
为了反演这个模型，我们采取四个测量fMτ＝0,π/2,π,3π/2，以获得每个空间位置处的图像i(0),i(90),i(180),i(270)。然后我们计算M-1i(τ)以反演这些图像中的每一个的光场矩阵(注意：该反演可以在较低的空间分辨率下完成，或者使用稀疏先验或建模假设来保持分辨率)。因此，我们在每个(u,v,x,y)处恢复反照率和相位混合在一起：
Figure GDA0003156264590000081
为了使反照率和相位不混合，我们可以像前面那样在TOF中对D'进行fMτ＝0,π/2,π,3π/2的积分反演，以恢复景深。
捕获景深的方法
我们描述了单次捕获景深的潜力(注意：“单次”是一个不恰当的名称，由于每个镜头都进行四次相位测量，然而这种功能可以内置到硬件中以在单次曝光中工作)。如在大多数光场传感器中，我们可以将微透镜对准在CMOS TOF传感器之上，例如光电门，光子混合器装置，横向电场调制器和本领域已知的其它传感器。这样做可以通过牺牲传感器平面上的空间分辨率来对角度平面进行采样。主透镜可以扩大其光圈，允许更多的光透射，同时微透镜下方的每个子光圈视图保持较大的景深。这是有利的，因为现有的TOF相机牺牲曝光时间以保持光圈和大的景深。应注意相机机身中共轭像平面处微透镜的精细光学对准。例如，当使用具有焦距f的透镜时，景深传感器应位于距离f+Δf(经验确定；例如，对于f＝50mm，Δf＝0.5至2mm)。
一个替代实施的景深传感器可以利用主透镜和光电门的传感器平面之间的振幅掩模来滤除入射的角射线。虽然允许比微透镜更少的光透射，掩模可以设计具有不同编码图案，以改善景深的重建，并且可以在相机机身内灵活地互换，而不像固定的光学元件。
另一实施例是完全集成的CMOS像素设计，其不需要外部光学元件的对准，而是使用与上述参考ASP设计类似的交叉光电门上的集成衍射光栅。该传感器通过衍射入射光来形成由光电门下部成像的Talbot图案。该ASPG像素可以通过相位光栅实现更好的光效率，并且通过交叉光电门降低其像素尺寸，同时保持CMOS集成在成本和批量生产上的优势。图7A示出了用于捕获景深的单次捕获照相机系统的三个像素概念设计。微透镜，振幅掩模或衍射光栅放置在光电门顶部，同时捕获光场和TOF信息。图7B描绘了可以在LF成像器中使用的二进制奇对称相位光栅。图7C示出了径向奇对称相位光栅，其中段的宽度随距离光栅中心的距离而增加。
图8a、8b和8c提供了景深捕获的示意图，其中图8a示出了使用TOF相机阵列概念性地捕获景深，图8b示出了关于反照率4D函数(u,v,x,y)，图8c示出了关于TOF深度值对应的相位(u,v,x,y)的4D函数。
我们现在描述景深的几个新应用。
合成光圈重新聚焦
TOF成像的一个主要缺点是需要一个小光圈用于大景深以获得精确的深度值。具有浅景深或宽光圈则导致光学模糊，这会破坏TOF深度值。但是，小光圈限制了快门速度，并增加了这些系统的采集时间。相比之下，光场成像通过使用合成光圈重新聚焦来打破景深和孔径尺寸之间的折衷。在其像素上方具有微透镜的全光传感器可以打开其光圈并允许更多的光透射，同时将子光圈图像保持在聚焦的微透镜之下，尽管损失空间分辨率。捕获后，可以对图像进行数字重新聚焦，从而通过剪切4D光场来扩展景深，然后对(u,v)进行求和以合成具有不同焦平面的图像。
相同的技术可以应用于景深。图9(a-e)示出通过应用相同的剪切然后平均操作的
Figure GDA0003156264590000091
Figure GDA0003156264590000092
信息的数字重新聚焦。我们能够通过大虚拟光圈合成捕获场景，这在以前没有在深度图中显示，并且可以与宽光圈光强图像组合以增强艺术/摄影效果。此外，这使得单次捕获景深传感器(例如具有微透镜的TOF传感器)可以允许更多的光通过光圈，从而在保持相同景深的同时增加曝光。这样可以降低TOF传感器的采集时间，从而牺牲后处理算法中计算恢复丢失的空间分辨率和景深。
相位缠绕模糊
单频TOF的一个主要限制是相位具有2π周期性，因此深度估计将围绕调制波长。对于几十MHz的调制频率，这对应于几米的深度范围，这可以通过使用多个频率或相位解缠算法进一步扩展。然而，随着调制频率越来越高，相位缠绕变得越来越严重。
我们观察到，在单个调制频率下的捕获景深也允许我们通过利用来自不同视点的固有对极几何来展开相位周期。我们使用M.W.Tao，S.Hadap，J.Malik和R.Ramamoorthit的，Depth from combining defocus and correspondence using light-field cameras，IEEE国际计算机视觉会议(ICCV)，第673-680页，IEEE，2013文献中记载的深度对比算法，该算法是粗糙的和依赖距离的，但不会遭受相位缠绕，因此可以展开由TOF获得的深度测量。
图10(a-e)示出了对合成数据使用相位解缠算法。图10a示出了使用射线跟踪程序Mitsuba模拟框景和捕获的景深。在图10b、e，我们模拟相位缠绕并计算相应的深度。为了进行相位解缠，我们在图像(该场景中的侧壁)中选择一条连续线，以确定TOF图像在场景中自身缠绕的次数。我们使用该映射将缠绕的TOF深度值与对应的深度值相匹配，导致如图10d所示的对整个图像解缠的TOF深度值。我们还使用中值滤波器来减轻对应计算深度的边缘不连续性。图10e示出了场景的展开的深度图。
通过部分封堵器重新聚焦
可通过捕获4D景深合成的大型合成光圈使我们能够在前景中对过去的部分遮挡物进行成像。这种将前景模糊来揭示背景的技术已经在光场中展现出来，能够穿过灌木丛和植物观察。我们注意到，将相同的技术应用到深度区域对于反照率可以正常工作(可以清晰地看到对象，同时模糊前景)，但是对于相位不起作用。这是因为在视觉上我们可以感知地容忍前景和背景颜色的混合，同样的混合会破坏我们的相位测量，导致深度值不准确。
为了在重新聚焦光场时解决这种混合问题，研究人员没有在剪切光场平均化时添加来自前景的光线。他们的算法的一个关键假设是通过拍摄连续视频或者通过构造一个对极图像，找到相应的深度，然后相对于背景分离前景来识别前景物体光线。这些用于识别遮挡物体像素的算法在计算上开销很高。相比之下，我们利用通过TOF测量直接捕获的深度来构建在场景中观察到的深度直方图。然后，我们可以使用K-means或另一种计算高效的聚类算法简单地选择前景聚类，其比构建对极图像更快，估计线斜率，然后形成直方图进行聚类。
重新聚焦
虽然上面的讨论利用局部封堵器处理某些阻塞背景的视点(u,v)，但是其它封堵器(例如散射介质或半透明物体)更困难，因为它们将单个不同光路长度的多个相位测量结合在单个像素。我们通过编码TOF来处理问题，特别是R.Tadano，A.Pediredla和A.Veeraraghavan发表的深度选择性代码，深度选择性相机：Depth selective camera:Adirect,on-chip,programmable technique for depth selectivity in photography，IEEE国际计算机视觉会议(ICCV)，(已接受)2015年。编码的TOF通过对散射介质成像来扩展我们的深度现场摄像机系统的功能，从而允许我们使用空间信息来进行数字重新聚焦。我们通过后向散射网成像，以获得穿过散射介质的景深。我们把网放在相机的前面，充当强散射回波，其显着地破坏了由于散射引起的深度值。使用深度选择性代码，我们能够通过网络进行成像，并且在不同的(u,v)视点下使用多次拍摄，我们可以捕获超出网的景深，并进行数字重新聚焦。因此，我们论证了景深成像如何利用编码TOF技术的优势。
景深使得光场和TOF成像的统一成为空间角坐标的单一函数，并且可用于各种应用。除了添加两个成像模式的简单扩展之外，它们可以相互通信，使算法在计算上更有效率，概念上更简单，特别是通过使用TOF信息为光场解决各种遮挡物的问题，并通过增加光场能力打破TOF相机中光圈和景深之间的权衡。光场深度估计的改进，例如，也可以应用于景深摄像机，从而提高深度分辨率。
关于景深摄像机的一个常见的问题是它们的像素尺寸，这可能使像素复用成为问题。我们注意到，TOF像素目前已经缩小到10μm，这比普通像素(1um)大10倍，像堆叠图像传感器这样的技术进步有助于缓解这些复用的烦恼。但是，景深相机的明显优点是空间分辨率不是限制因素的应用。这包括受光圈和无透镜成像所限制的成像系统，其中空间像素布局不是其中一个因素。
存在一些限制，包括为单次捕获景深相机恢复空间分辨率需要的长时间的计算算法，或者大型TOF相机阵列或机械式TOF相机扫描景深增加的采集时间。许多应用提供了对野外深度感测的部分鲁棒性，但是依赖于模拟假设(前景与背景分离，散射介质不浸没对象)，限制了它们在真正的自主系统中的部署。
虽然本文已经描述和示出了几个发明实施例，但是本领域普通技术人员将容易地想出的多种其他手段和/或结构用于执行功能和/或获得结果和/或所描述的一个或多个优点，并且这些变化和/或修改中的每一个被视为在本文所描述的发明实施例的范围内。更一般地，本领域技术人员将容易地理解，本文所述的所有参数，尺寸，材料和构造是作为示例性的，并且实际参数，尺寸，材料和/或配置将取决于具体应用或使用在发明教学中的应用。本领域技术人员将认识到或能够使用不超过常规实验来确定本文所述的具体发明的等效实施例。因此，应当理解，前述实施例仅作为示例提供，并且在所附权利要求及其等同物的范围内，除了具体描述和要求保护之外，可以实施创新性实施例。本文公开的发明实施例涉及本文所述的每个单独特征、系统、制品、材料、试剂盒和/或方法。此外，如果这些特征，系统，物品，材料，试剂盒和/或方法不相互矛盾，则两个或更多个这样的特征、系统、制品、材料、试剂盒和/或方法的任何组合都包括在本发明的发明范围。
在本文中定义和使用的所有定义应理解为字典里定义、引用并入文献中的定义和/或定义术语的普通含义。
在本说明书和权利要求中使用的不定冠词“一个”除非明确指出相反，应理解为“至少一个”。在本说明书和权利要求书中使用的短语“和/或”应当理解为是指所结合的元件中的“一个或两个”，即在某些情况下结合存在的元件，并且在另一个案例中分离存在。以“和/或”列出的多个元素应以相同的方式来解释，即所谓的“一个或多个”结合一起的元素。可以可选地存在除“和/或”子句特别标识的元素之外的其它元素，无论与特定识别的元素相关或不相关。因此，作为非限制性示例，当结合诸如“包含”的开放式词语使用时，对“A和/或B”的引用可以在一个实施例中仅指A(可选地包括除了B)；在另一个实施方案中，仅限于B(任选地包括除A之外的元素)；在另一个实施方案中，A和B(任选地包括其它元素)；等等
如本说明书和权利要求中所使用的，“或”应理解为具有与上述定义的“和/或”相同的含义。例如，当分离列表中的项目时，“或”或“和/或”将被解释为包容性的，即，包括数量或元素列表中的至少一个，但还包括多于一个，和可选地，附加的未列出的项目。只有明确指出相反的条款，例如“只有一个”或“只有一个”，或在索赔中使用“由...组成”时，将指的是仅列出一个数字或列表的一个元素。一般而言，本文中使用的术语“或”仅在作为排他性条款之前被解释为表示独家替代品(即“一个或另一个但不是两者”)，例如“任一”，“其中之一”，““只有一个”或“正是其中之一”。“基本上由...组成”当在权利要求中使用时，具有在专利法领域中使用的普通含义。
如本说明书和权利要求书中所使用的，短语“至少一个”对于一个或多个部件的列表应当被理解为是指从至少一个部件列表中选出的至少一个部件，但不一定包括在部件列表中具体列出的每个部件中的至少一个，而不排除部件列表中的部件的任何组合。该定义还允许除了在短语“至少一个”所指的部件列表中具体标识的部件之外，可以可选择地存在这些部件，无论与具体确定的那些元素相关或不相关。因此，作为非限制性实例，“A和B”中的至少一个(或等效地，“A或B”中的至少一个“或等同地”A和/或B“中的至少一个)可以指在一个实施方案中，对于至少一个，可选择地包括多于一个A且不存在B(且任意地包括除B之外的部件)；在另一个实施方案中，对于至少一个，任选地包括多于一个B且不存在A(且任意地包括除A之外的元素)；在另一个实施方案中，对于至少一个，任意地包括多于一个的A和任意地包括多于一个的B(并且任选地包括其它部件)；等等。
还应当理解，除非明确地指出相反情况，否则在本文所要求的任何包括多于一个步骤或作用的方法中，方法的步骤或动作的顺序不一定限于提出的步骤或列举了该方法的动作。
在权利要求书中以及上述说明书中，所有过渡性短语如“包含”、“包括”、“携带”、“具有”、“涉及”、“持有”应理解为是开放式的，即意味着包括但不限于此。只有“由...组成”和“基本上由...组成”的过渡性短语分别是“美国专利局专利审查程序手册”第2111.03节中规定的封闭或半封闭的过渡词。

Claims (48)

1.一种用于对场景进行成像的景深成像装置，包括：
光场(LF)光学器件，布置在来自所述场景的返回光线的路径上并配置为在通过TOF成像器检测所述返回光线之前对所述返回光线进行空间调制，
其中所述TOF成像器获取的景深图像包含TOF信息和由空间调制所编码的LF信息。
2.根据权利要求1所述的景深成像装置，其中所述LF光学器件包括光栅。
3.根据权利要求2所述的景深成像装置，其中所述光栅是金属光栅。
4.根据权利要求2所述的景深成像装置，其中所述光栅是周期性光栅。
5.根据权利要求2所述的景深成像装置，其中所述光栅是相位光栅。
6.根据权利要求5所述的景深成像装置，其中所述相位光栅是奇对称相位光栅。
7.根据权利要求1所述的景深成像装置，其中所述LF光学器件包括微透镜。
8.根据权利要求1所述的景深成像装置，其中所述LF光学器件包括振幅掩膜。
9.根据权利要求1所述的景深成像装置，还包括布置在所述景深成像装置的对象侧的透镜。
10.根据权利要求1所述的景深成像装置，在一CMOS架构来实现。
11.根据权利要求1所述的景深成像装置，包括所述TOF成像器。
12.一种景深像素结构，包括：
飞行时间(TOF)成像器，配置为通过检测响应于照射场景的光线而从场景返回的返回光线来获取场景的景深图像；
光场(LF)光学器件，布置在所述返回光线的路径上并配置为在通过TOF成像器检测所述返回光线之前通过空间调制将LF信息编码到所述返回光线。
13.根据权利要求12所述的景深像素结构，其中所述TOF成像器包括TOF传感器组。
14.一种用于对场景成像的方法，包括：
利用光场(LF)光学器件对响应于发射的光线而从场景返回的返回光线进行空间调制；和
通过检测空间调制的返回光线获取包含飞行时间(TOF)信息和由LF光学器件编码的LF信息的景深图像。
15.根据权利要求14所述的方法，还包括对景深图像进行处理，得到场景反照率图和深度图作为全视角空间角坐标函数。
16.根据权利要求14所述的方法，还包括使用数字重新聚焦技术获取所述景深图像。
17.根据权利要求14所述的方法，还包括使用相位展开技术获取所述景深图像。
18.一种景深成像系统，包括：
景深像素结构的阵列，每个景深像素结构包括：
飞行时间(TOF)成像器，配置为通过检测响应于发射的光线而从场景返回的返回光线来获取场景的景深图像；
光场(LF)光学器件，布置在所述返回光线的路径上并配置为在通过TOF成像器检测所述返回光线之前通过空间调制将LF信息编码到所述返回光线。
19.根据权利要求18所述的景深成像系统，其中所述TOF成像器包括TOF传感器组。
20.根据权利要求18所述的景深成像系统，还包括在所述场景和所述景深像素结构阵列之间的透镜。
21.根据权利要求18所述的景深成像系统，还包括全局快门。
22.一种用于对场景进行成像的景深成像装置，包括
飞行时间(TOF)成像器，配置为通过检测响应发射的光线从所述场景返回的返回光线以来获取所述场景的景深图像；
衍射光栅，配置为在通过TOF成像器检测所述返回光线之前对所述返回光线进行衍射，
其中由TOF成像器捕获的景深图像包含TOF信息和由衍射光栅编码的LF信息。
23.根据权利要求22所述的景深成像装置，其中所述TOF成像器包括一个或多个光电门，所述光电门在所述发射光的调制频率上调制。
24.根据权利要求22所述的景深成像装置，还包括布置在所述景深成像装置的对象侧的透镜。
25.一种用于对场景进行成像的景深成像装置，包括：
飞行时间(TOF)成像器，所述飞行时间成像器包括：
配置为向场景发射光线的光源；以及
多个TOF传感器，配置为通过检测响应发射的光线从所述场景返回的返回光线以来获取所述场景的景深图像；
光场(LF)光学器件，布置在所述返回光线的路径上并配置为在通过多个TOF传感器检测所述返回光线之前对所述返回光线进行空间调制，
其中多个TOF传感器和LF光学器件在单个的片上架构上实现；以及
其中所述多个TOF传感器获取的景深图像包含TOF信息和由LF光学器件对所述返回光线进行空间调制所编码的LF信息。
26.根据权利要求25所述的景深成像装置，其中所述LF光学器件包括光栅。
27.根据权利要求26所述的景深成像装置，其中所述光栅是金属光栅。
28.根据权利要求26所述的景深成像装置，其中所述光栅是周期性光栅。
29.根据权利要求26所述的景深成像装置，其中所述光栅是相位光栅。
30.根据权利要求29所述的景深成像装置，其中所述相位光栅是奇对称相位光栅。
31.根据权利要求25所述的景深成像装置，其中所述LF光学器件包括微透镜。
32.根据权利要求25所述的景深成像装置，其中所述LF光学器件包括振幅掩膜。
33.根据权利要求25所述的景深成像装置，其中所述多个TOF传感器包括多个光电门。
34.根据权利要求33所述的景深成像装置，其中所述多个光电门包括交叉光电门。
35.根据权利要求33所述的景深成像装置，其中所述光源配置为以一调制频率调制发射的光线，所述多个光电门以一调制频率被调制以检测所述返回光线。
36.根据权利要求25所述的景深成像装置，还包括布置在所述景深成像装置的对象侧的透镜。
37.根据权利要求25所述的景深成像装置，在一CMOS架构来实现。
38.根据权利要求25所述的景深成像装置，包括LF成像操作模式，其中所述多个TOF传感器配置为通过检测经过所述LF光学器件的场景光线来获取所述场景的LF图像。
39.根据权利要求38所述的景深成像装置，其中所述多个TOF传感器包括具有可调制的栅极电压的多个光电门，所述可调制的栅极电压在LF成像模式中保持不变。
40.一种景深像素结构，包括：
TOF传感器组，配置为通过检测响应于照射场景的光线而从场景返回的返回光线来获取场景的景深图像；
光场(LF)光学器件，布置在所述返回光线的路径上并配置为在通过多个TOF传感器检测所述返回光线之前通过空间调制将LF信息编码到所述返回光线，
其中所述TOF传感器组和LF光学器件是在单个的片上架构上实现。
41.一种用于对场景进行成像的景深成像装置，包括
飞行时间(TOF)成像器，所述飞行时间成像器包括：
配置为向场景发射光线的光源；以及
多个光电门，配置为通过检测响应发射的光线从所述场景返回的返回光线以来获取所述场景的景深图像；
衍射光栅，配置为在通过多个光电门检测所述返回光线之前对所述返回光线进行衍射，
其中所述多个光电门和所述衍射光栅是在单个的片上架构上实现；以及
其中由多个TOF传感器捕获的景深图像包含TOF信息和由衍射光栅编码的LF信息。
42.一种成像方法，包括：
通过飞行时间(TOF)光源发射的光线照射场景；
利用光场(LF)光学器件对响应于发射的光线而从场景返回的返回光线进行空间调制；和
通过检测空间调制的返回光线获取包含TOF信息和由LF光学器件编码的LF信息的景深图像。
43.根据权利要求42所述的方法，还包括对景深图像进行处理，得到场景反照率图和深度图作为全视角空间角坐标函数。
44.根据权利要求42所述的方法，还包括使用数字重新聚焦技术获取所述景深图像。
45.根据权利要求42所述的方法，还包括使用相位展开技术获取所述景深图像。
46.一种景深成像系统，包括：
配置为向场景发射光线的光源；和
景深像素结构的阵列，每个景深像素结构在单个的片上架构中实现并包括：
TOF传感器组，配置为通过检测响应于发射的光线而从场景返回的返回光线来获取场景的景深图像；
光场(LF)光学器件，布置在所述返回光线的路径上并配置为在通过多个TOF 传感器检测所述返回光线之前通过空间调制将LF信息编码到所述返回光线。
47.根据权利要求46所述的景深成像系统，还包括在所述场景和所述景深像素结构阵列之间的透镜。
48.根据权利要求46所述的景深成像系统，还包括全局快门。
CN201680023973.4A 2015-03-17 2016-03-17 景深成像设备、方法和应用 Active CN107533139B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562134122P 2015-03-17 2015-03-17
US62/134,122 2015-03-17
PCT/US2016/022741 WO2016149438A1 (en) 2015-03-17 2016-03-17 Depth field imaging apparatus, methods, and applications

Publications (2)

Publication Number Publication Date
CN107533139A CN107533139A (zh) 2018-01-02
CN107533139B true CN107533139B (zh) 2022-02-08

Family

ID=55642898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680023973.4A Active CN107533139B (zh) 2015-03-17 2016-03-17 景深成像设备、方法和应用

Country Status (7)

Country Link
US (2) US10605916B2 (zh)
EP (1) EP3271747B1 (zh)
JP (1) JP6722194B2 (zh)
KR (1) KR102456875B1 (zh)
CN (1) CN107533139B (zh)
CA (1) CA2979836C (zh)
WO (1) WO2016149438A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190257987A1 (en) * 2016-06-07 2019-08-22 Airy3D Inc. Light Field Imaging Device and Method for Depth Acquisition and Three-Dimensional Imaging
WO2018160729A2 (en) * 2017-03-01 2018-09-07 Pointcloud, Inc. Modular three-dimensional optical sensing system
US10928489B2 (en) 2017-04-06 2021-02-23 Microsoft Technology Licensing, Llc Time of flight camera
US10215856B1 (en) 2017-11-27 2019-02-26 Microsoft Technology Licensing, Llc Time of flight camera
US10558844B2 (en) * 2017-12-18 2020-02-11 Datalogic Ip Tech S.R.L. Lightweight 3D vision camera with intelligent segmentation engine for machine vision and auto identification
US10901087B2 (en) * 2018-01-15 2021-01-26 Microsoft Technology Licensing, Llc Time of flight camera
CN108519588B (zh) * 2018-04-12 2023-04-21 视缘(上海)交通科技有限公司 一种多频相位解缠方法及装置
CN110418085B (zh) * 2018-04-28 2021-09-17 思特威(上海)电子科技股份有限公司 Tof像素电路及测距系统
CN112424639B (zh) * 2018-06-22 2024-05-28 ams有限公司 使用飞行时间和伪随机比特序列测量到物体的距离
KR20210031710A (ko) * 2018-07-17 2021-03-22 소니 세미컨덕터 솔루션즈 가부시키가이샤 전자 디바이스 및 방법
US11609313B2 (en) * 2018-07-31 2023-03-21 Waymo Llc Hybrid time-of-flight and imager module
KR102596053B1 (ko) * 2018-08-27 2023-11-01 엘지이노텍 주식회사 영상 처리 장치 및 영상 처리 방법
WO2020055619A1 (en) 2018-09-16 2020-03-19 Nephelai Research Llc Calibration of a depth sensing array using color image data
US12153140B2 (en) 2018-09-25 2024-11-26 Apple Inc. Enhanced depth mapping using visual inertial odometry
US11176694B2 (en) 2018-10-19 2021-11-16 Samsung Electronics Co., Ltd Method and apparatus for active depth sensing and calibration method thereof
EP3876528A4 (en) 2018-11-02 2022-02-23 Guangdong Oppo Mobile Telecommunications Corp., Ltd. METHOD FOR TAKING DEPTH IMAGE, DEVICE FOR TAKING DEPTH IMAGE, AND ELECTRONIC DEVICE
WO2021030034A1 (en) 2019-08-15 2021-02-18 Apple Inc. Depth mapping using spatial multiplexing of illumination phase
CN112449090A (zh) * 2019-09-03 2021-03-05 睿镞科技(北京)有限责任公司 用于生成深度图像的系统、方法和装置
US11514594B2 (en) 2019-10-30 2022-11-29 Vergence Automation, Inc. Composite imaging systems using a focal plane array with in-pixel analog storage elements
US11330246B2 (en) * 2019-11-21 2022-05-10 Microsoft Technology Licensing, Llc Imaging system configured to use time-of-flight imaging and stereo imaging
US11389124B2 (en) * 2020-02-12 2022-07-19 General Electric Company X-ray phase contrast detector
US11763472B1 (en) 2020-04-02 2023-09-19 Apple Inc. Depth mapping with MPI mitigation using reference illumination pattern
US12230649B2 (en) 2020-05-19 2025-02-18 Vergence Automation, Inc. AI system on chip (SOC) for robotics vision applications
US11558569B2 (en) 2020-06-11 2023-01-17 Apple Inc. Global-shutter image sensor with time-of-flight sensing capability
CN112346076A (zh) * 2020-11-25 2021-02-09 Oppo（重庆）智能科技有限公司 电子装置的控制方法、电子装置及计算机可读存储介质
CN116829986A (zh) * 2020-12-15 2023-09-29 捷普光学德国有限公司 混合深度成像系统
EP4300038A4 (en) * 2021-02-26 2024-08-07 Sony Semiconductor Solutions Corporation INFORMATION PROCESSING DEVICE AND METHOD
CN113658089B (zh) * 2021-09-09 2024-08-23 南开大学 一种基于深度相机的双数据流融合物体识别方法
CN114913215A (zh) * 2021-11-25 2022-08-16 北京旷视科技有限公司 深度估计方法和深度估计装置
US20240036208A1 (en) * 2022-07-28 2024-02-01 Stmicroelectronics, Inc. Time of flight sensing
WO2024254973A1 (en) * 2023-06-16 2024-12-19 The Chinese University Of Hong Kong Time-of-flight camera system and methods of phase components manipulation for texture exposure in time-of-flight system
CN118628669B (zh) * 2024-08-12 2024-12-10 南开大学 基于光场和光度立体的三维重建方法、装置和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6825455B1 (en) * 1996-09-05 2004-11-30 Rudolf Schwarte Method and apparatus for photomixing
WO2012058360A2 (en) * 2010-10-27 2012-05-03 Cornell University Light field image sensor, method and applications
CN103209307A (zh) * 2013-04-18 2013-07-17 清华大学 编码重聚焦计算摄像方法及装置
WO2014198625A1 (en) * 2013-06-13 2014-12-18 Basf Se Optical detector and method for manufacturing the same

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5296691A (en) * 1992-09-14 1994-03-22 Lazerdata Corporation Scanning device for reconstructing a complete code from scanned segments
DE19542490C1 (de) * 1995-11-15 1997-06-05 Leica Ag Elektro-optisches Meßgerät für absolute Distanzen
US6925455B2 (en) 2000-12-12 2005-08-02 Nec Corporation Creating audio-centric, image-centric, and integrated audio-visual summaries
WO2007092545A2 (en) 2006-02-07 2007-08-16 The Board Of Trustees Of The Leland Stanford Junior University Variable imaging arrangements and methods therefor
EP2398223B1 (en) 2004-10-01 2014-03-19 The Board Of Trustees Of The Leland Stanford Junior University Imaging arrangement and method therefor
US7723662B2 (en) 2005-10-07 2010-05-25 The Board Of Trustees Of The Leland Stanford Junior University Microscopy arrangements and approaches
US7792423B2 (en) * 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
US8629976B2 (en) * 2007-10-02 2014-01-14 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems
US8809758B2 (en) 2008-07-25 2014-08-19 Cornell University Light field image sensor with an angle-sensitive pixel (ASP) device
CN102099916B (zh) * 2008-07-25 2013-07-31 康奈尔大学 光场图像传感器、方法及应用
GB0916727D0 (en) * 2009-09-23 2009-11-04 Univ St Andrews Improvements in or relating to imaging
KR101681198B1 (ko) 2010-02-04 2016-12-01 삼성전자주식회사 센서, 이의 동작 방법, 및 상기 센서를 포함하는 데이터 처리 시스템
KR20110093212A (ko) 2010-02-12 2011-08-18 삼성전자주식회사 이미지 센서의 픽셀 및 픽셀 동작 방법
US8767047B2 (en) 2010-08-03 2014-07-01 Cornell University Angle sensitive pixel (ASP)-based image processing system, method, and applications
WO2013121267A1 (en) * 2012-02-15 2013-08-22 Mesa Imaging Ag Time of flight camera with stripe illumination
US9160900B2 (en) * 2012-02-29 2015-10-13 Canon Kabushiki Kaisha Systems and methods for compressive light sensing using multiple spatial light modulators
US8569700B2 (en) * 2012-03-06 2013-10-29 Omnivision Technologies, Inc. Image sensor for two-dimensional and three-dimensional image capture
WO2014122506A1 (en) 2013-02-07 2014-08-14 Nokia Corporation Image processing of sub -images of a plenoptic image
US9110240B2 (en) 2013-03-05 2015-08-18 Rambus Inc. Phase gratings with odd symmetry for high-resolution lensed and lensless optical sensing
CN105008969B (zh) 2013-03-05 2019-03-19 拉姆伯斯公司 用于高分辨率无透镜光学传感的具有奇对称的相位光栅
JP6214236B2 (ja) 2013-03-05 2017-10-18 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
US9442186B2 (en) * 2013-05-13 2016-09-13 Microsoft Technology Licensing, Llc Interference reduction for TOF systems
JP6403776B2 (ja) * 2013-08-19 2018-10-10 ビーエーエスエフ ソシエタス・ヨーロピアＢａｓｆ Ｓｅ 光学検出器
JP6459069B2 (ja) 2013-08-23 2019-01-30 パナソニックＩｐマネジメント株式会社 測距システム
US9515113B2 (en) * 2013-08-27 2016-12-06 Rambus Inc. Optical sensing of nearby scenes with tessellated phase anti-symmetric gratings
US10061028B2 (en) * 2013-09-05 2018-08-28 Texas Instruments Incorporated Time-of-flight (TOF) assisted structured light imaging
CN103472455B (zh) * 2013-09-13 2015-05-06 中国科学院空间科学与应用研究中心 稀疏孔径压缩计算关联飞行时间四维光谱成像系统及方法
JP5860487B2 (ja) * 2014-01-27 2016-02-16 株式会社ソフイア 遊技機

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6825455B1 (en) * 1996-09-05 2004-11-30 Rudolf Schwarte Method and apparatus for photomixing
WO2012058360A2 (en) * 2010-10-27 2012-05-03 Cornell University Light field image sensor, method and applications
CN103209307A (zh) * 2013-04-18 2013-07-17 清华大学 编码重聚焦计算摄像方法及装置
WO2014198625A1 (en) * 2013-06-13 2014-12-18 Basf Se Optical detector and method for manufacturing the same

Also Published As

Publication number Publication date
CN107533139A (zh) 2018-01-02
KR102456875B1 (ko) 2022-10-19
US10605916B2 (en) 2020-03-31
EP3271747A1 (en) 2018-01-24
EP3271747B1 (en) 2022-05-25
US20190033448A1 (en) 2019-01-31
WO2016149438A1 (en) 2016-09-22
US10983216B2 (en) 2021-04-20
CA2979836C (en) 2023-08-29
US20200191967A1 (en) 2020-06-18
KR20170134502A (ko) 2017-12-06
CA2979836A1 (en) 2016-09-22
JP6722194B2 (ja) 2020-07-15
JP2018513967A (ja) 2018-05-31

Similar Documents

Publication Publication Date Title
CN107533139B (zh) 景深成像设备、方法和应用
KR102543392B1 (ko) 깊이 획득을 위한 명시야 이미지 처리 방법
EP3195042B1 (en) Linear mode computational sensing ladar
Zhou et al. Computational cameras: convergence of optics and processing
CA2592293C (fr) Procede de traitement d'images mettant en oeuvre le georeferencement automatique d'images issues d'un couple d'images pris dans le meme plan focal
EP3129813B1 (en) Low-power image change detector
Jayasuriya et al. Depth fields: Extending light field techniques to time-of-flight imaging
US9426383B1 (en) Digital camera for capturing spectral and spatial information
US20240103175A1 (en) Imaging system
US20220103797A1 (en) Integrated Spatial Phase Imaging
Skinner et al. Underwater image dehazing with a light field camera
Gentile et al. Bathymetric mapping of shallow rivers with UAV hyperspectral data
CN207779348U (zh) 一种大视场弹坑表面形貌成像系统
Kong et al. High-resolution single-photon LiDAR without range ambiguity using hybrid-mode imaging
Agarwal et al. Three dimensional image reconstruction using interpolation of distance and image registration
WO2021252209A1 (en) Systems and methods for diffraction line imaging
Kunnath et al. Depth from Defocus on a Transmissive Diffraction Mask-based Sensor
Varghese Angle sensitive imaging: A new paradigm for light field imaging
Starikov et al. Using commercial photo camera’s RAW-based images in optical-digital correlator for pattern recognition
Shi Task-specific Computational Cameras
Zhou Point Spread Function Engineering for Scene Recovery
Raskar Smart optics, modern sensors and future cameras
Zhou et al. Computer simulation for digital refocusing imager based on light field photography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant