[go: up one dir, main page]

CN110073243B - 利用动态体素探测的快速扫描激光雷达 - Google Patents

利用动态体素探测的快速扫描激光雷达 Download PDF

Info

Publication number
CN110073243B
CN110073243B CN201780076900.6A CN201780076900A CN110073243B CN 110073243 B CN110073243 B CN 110073243B CN 201780076900 A CN201780076900 A CN 201780076900A CN 110073243 B CN110073243 B CN 110073243B
Authority
CN
China
Prior art keywords
scanner
light
receiver
pixels
scan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780076900.6A
Other languages
English (en)
Other versions
CN110073243A (zh
Inventor
杰拉德·德克·斯米茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gerard Dirk Schmitz
Original Assignee
Gerard Dirk Schmitz
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gerard Dirk Schmitz filed Critical Gerard Dirk Schmitz
Publication of CN110073243A publication Critical patent/CN110073243A/zh
Application granted granted Critical
Publication of CN110073243B publication Critical patent/CN110073243B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

激光雷达系统包括：扫描仪；接收器；以及一个或多个处理器设备，用于执行动作，所述动作包括：在第一扫描通道中扫描视场上的连续光束；检测从一个或多个对象反射的连续光束的光子；基于连续光束的光子的离开时间和光子在接收器处的到达时间来确定到一个或多个对象的粗略范围；在第二扫描通道中扫描视场上的光脉冲；检测从一个或多个对象反射的来自光脉冲的光子；基于光脉冲的光子的离开时间和光子在接收器处的到达时间确定到一个或多个对象的精细范围。

Description

利用动态体素探测的快速扫描激光雷达
相关申请的交叉引用
本申请是基于2016年10月31日提交的序列号为62/496,888的先前提交的美国临时专利申请的发明专利申请，根据35 U.S.C.§119(e)来要求保护该申请的申请日的权益，并且该申请的全部内容还通过引用被并入本文。
技术领域
本发明总体涉及激光雷达(LIDAR)系统以及制造和使用激光雷达系统的方法。本发明还涉及一种利用同步时间选择性触发的动态体素探测的多通道LIDAR系统(其具有多通道粒度分辨率细化、细节图像对比度增强、环境光抑制、和超光谱颜色选项)，并且涉及制作和使用LIDAR系统的方法。
背景技术
范围确定系统可用于确定远程对象(例如飞机、导弹、无人机、炮弹、棒球、车辆等)的范围、距离、位置和/或轨迹。系统可以基于对远程对象所发射和/或反射的光子或其他信号的检测来跟踪远程对象。范围确定系统可以利用系统发射的电磁波或光束来照射远程对象。系统可以检测由远程对象反射或散射的一部分光束。系统可能遭受不期望的速度、不期望的准确度或不期望的噪声敏感性中的一者或多者。
附图说明
图1示出了可以实现本发明的各种实施例的示例性环境的实施例；
图2示出了可以包括在诸如图1所示的系统中的示例性移动计算机的实施例；
图3示出了可以包括在诸如图1所示的系统中的示例性网络计算机的实施例；
图4示出了示例性激光雷达系统的二维视图的实施例；
图5示出了使用多扫描过程的范围或距离确定的示例性方法的逻辑流程图的实施例；
图6A示出了使用连续光束进行粗略范围或距离确定的示例性扫描的二维视图的实施例；
图6B示出了使用脉冲光束进行精细范围或距离确定的示例性扫描的二维视图的实施例；
图7示出了使用具有颜色或颜色对比度确定的多扫描过程的范围或距离确定的示例性方法的逻辑流程图的实施例；
图8示出了具有用于颜色或颜色对比度确定的像素行的示例性接收器配置的二维视图的实施例；
图9示出了具有快速扫描仪和慢速扫描仪的示例性扫描仪配置的三维透视图的实施例；
图10A示出了具有间隔开的像素行的示例性接收器配置的二维视图的另一实施例；
图10B示出了具有倾斜的、间隔开的像素行的示例性接收器配置的二维视图的另一实施例；
图11示出了图示二维聚焦(foveation)扫描模式的图形的二维视图的实施例；
图12示出了具有用于加宽视场的光学器件的示例性扫描仪的二维视图的实施例；
图13示出了具有用于加宽所接收的光以为接收器提供更多像素的光学器件的示例性接收器的二维视图的实施例；
图14示出了其中像素行具有不同的像素密度的示例性接收器配置的二维视图的另一实施例；
图15示出了在有限的视场上操作的示例性扫描仪的二维视图的实施例；
图16A示出了示例性激光雷达系统的一部分的二维视图的实施例，并且其中示出了雾或细雨对光和接收器的影响；和
图16B示出了示例性激光雷达系统的一部分的二维视图的另一实施例，并且其中示出了雾或细雨对光和接收器的影响。
具体实施方式
现在将在下文中参考附图更全面地描述各种实施例，附图形成本发明的一部分，并且通过图示的方式示出了可以实践本发明的具体实施例。然而，实施例可以以许多不同的形式实施，并且不应该被解释为限于本文阐述的实施例；相反，提供这些实施例是为了使本公开详尽和完整，并且向本领域技术人员充分传达实施例的范围。其中，各种实施例可以是方法、系统、媒介或设备。因此，各种实施例可以采用完全硬件实施例、完全软件实施例或组合软件和硬件方面的实施例的形式。因此，以下详细描述不应被视为具有限制意义。
在整个说明书和权利要求书中，除非上下文另有明确规定，否则以下术语采用本文明确相关的含义。本文使用的短语“在一个实施例中”不一定指代相同的实施例，尽管它可以指代相同的实施例。此外，本文使用的短语“在另一实施例中”不一定指代不同的实施例，尽管它可以指代不同的实施例。因此，如下所述，在不脱离本发明的范围或精神的情况下，可以容易地组合本发明的各种实施例。
另外，除非上下文另有明确规定，否则如本文所用的术语“或”是包含性的“或”操作符，并且等同于术语“和/或”。除非上下文另有明确规定，否则术语“基于”不是排他性的且允许基于未描述的其他因素。另外，在整个说明书中，“一”、“一个”和“该”的含义包括复数引用。“在…中”的含义包括“在…中”和“在…上”。
如本文所用，术语“光子束”、“光束”、“电磁束”、“图像束”或“束”指代(在时间和空间上)稍微局部化的光子束或在电磁(EM)频谱内具有各种频率或波长的EM波。出射光束是由本文公开的各种实施例中的各种实施例发射的光束。入射光束是由本文公开的各种实施例中的各种实施例检测的光束。
如本文所用，术语“光源”、“光子源”或“源”是指能够辐射、提供、或产生在EM光谱内具有一个或多个波长或频率的EM波或一个或多个光子的各种设备。光源或光子源可以发射一个或多个出射光束。光子源可以是激光器、发光二极管(LED)、有机发光二极管(OLED)、灯泡等。光子源可以通过原子或分子的受激发射、白炽过程或产生EM波或一个或多个光子的各种其他机制产生光子。光子源可以提供预定频率或频率范围的连续或脉冲出射光束。出射光束可以是相干光束。由光源辐射的光子可以具有各种波长或频率。
如本文所使用的，术语“接收器”、“光子接收器”、“光子检测器”、“光检测器”、“检测器”、“光子传感器”、“光传感器”或“传感器”指的是对EM频谱的一个或多个波长或频率的一个或多个光子的存在敏感的各种设备。光子检测器可以包括光子检测器阵列，例如多个光子检测或感测像素的布置。一个或多个像素可以是对一个或多个光子的吸收敏感的光电传感器。光子检测器可以响应于对一个或多个光子的吸收而产生信号。光子检测器可以包括一维(1D)像素阵列。然而，在其他实施例中，光子检测器可以包括至少二维(2D)像素阵列。像素可包括各种光子敏感技术，例如有源像素传感器(APS)、电荷耦合器件(CCD)、(以雪崩模式或盖革模式操作的)单光子雪崩检测器(SPAD)、互补金属氧化物半导体(CMOS)器件、硅光电倍增管(SiPM)、光伏电池、光电晶体管、抽动像素(twitchy pixel)等中的一个或多个。光子检测器可以检测一个或多个入射光束。
如本文所用，术语“目标”是反射或散射入射光、EM波或光子的至少一部分的一个或多个各种2D或3D体。目标也可以称为“对象”。例如，目标或对象可以散射或反射由本文公开的各种实施例发射的出射光束。在本文描述的各种实施例中，一个或多个光源可以与一个或多个接收器和/或一个或多个目标或对象相对运动。类似地，一个或多个接收器可以与一个或多个光源和/或一个或多个目标或对象相对运动。一个或多个目标或对象可以与一个或多个光源和/或一个或多个接收器相对运动。
以下简要描述了本发明的实施例，以便提供对本发明的一些方面的基本理解。该简要描述不是广泛的概述。它不意图识别关键或重要元素、或描绘或缩小范围。其目的仅仅是以简化的形式呈现一些概念，以作为稍后呈现的更详细描述的序言。
简而言之，各种实施例涉及使用从光源辐射的光和接收反射的接收器测量到目标或其他对象的距离或范围。系统可以利用快速扫描仪扫描视场，以在视场上对来自光源的连续光束执行第一扫描以获得粗略范围，然后使用第二较慢的扫描仪来使用来自光源的短脉冲在视场上进行第二扫描以细化该范围。可以执行附加扫描以进一步细化范围或确定目标或其他对象的颜色。可以添加第二较慢的扫描仪以围绕与第一扫描仪不同的轴旋转以扫描二维区域。
说明性操作环境
图1示出了可以在其中实践本发明的各种示例性实施例的示例性环境的一个实施例的示例性组件。并不需要所有组件来实施本发明，并且在不脱离本发明的精神或范围的情况下组件的布置和类型可以发生变化。如图所示，图1的系统100包括网络102、光源104、扫描仪105、接收器106、一个或多个对象或目标108、以及系统计算机设备110。在一些实施例中，系统100可以包括一个或多个其他计算机，例如但不限于膝上型计算机112和/或移动计算机，例如但不限于智能手机或平板电脑114。在一些实施例中，光源104和/或接收器106可以包括计算机中所包括的一个或多个组件，例如但不限于计算机110、112或114中的各种计算机。光源104、扫描仪105和接收器106可以通过任何无线或有线技术直接耦合到计算机110、112或114，或者可以通过网络102耦合到计算机110、112或104。
系统100以及本文讨论的其他系统可以是有序像素光子投影系统。在一个或多个实施例中，系统100是有序像素激光投影系统，其包括可见和/或不可见光子源。至少在美国专利No.8,282,222、美国专利No.8,430,512、美国专利No.8,696,141、美国专利No.8.711,370、美国专利公开No.2013/0300,637和美国专利公开No.2016/0041266中详细描述了这种系统的各种实施例。需要注意的是，上面列出的每个美国专利和美国专利公开都通过引用被整体并入本文。
对象108可以是三维对象。对象108不是理想化的黑体，即它反射或散射至少一部分入射光子。光源104可以包括用于发射光或光子束的一个或多个光源。合适的光源的示例包括激光器、激光二极管、发光二极管、有机发光二极管等。例如，光源104可包括一个或多个可见和/或不可见激光源。在至少一些实施例中，光源104包括红色(R)、绿色(G)或蓝色(B)激光源中的一个或多个。在至少一些实施例中，光源包括一个或多个非可见激光源，例如近红外(NIR)或红外(IR)激光器。光源可以提供具有预定频率或频率范围的连续或脉冲光束。所提供的光束可以是相干光束。光源104可以包括计算机设备(包括但不限于图2的移动计算机200和/或图3的网络计算机300)的各种特征、组件或功能。
光源104还可以包括如下光学系统，该光学系统包括用于引导或聚焦透射或出射光束的光学组件。光学系统可以瞄准出射光束的空间和时间光束轮廓并使其成形。光学系统可以准直、扇出(fan-out)或以其他方式操纵出射光束。至少一部分出射光束瞄准扫描仪105，扫描仪105将光束瞄准对象108。
扫描仪105接收来自光源的光，然后旋转或以其他方式移动以在视场上扫描光。扫描仪105可以是任何合适的扫描设备，包括但不限于MEMS扫描镜、声光、电光扫描仪或快速定相阵列，例如一维带状MEMS阵列或光学相控阵列(OPA)。扫描仪105还可以包括如下光学系统，该光学系统包括用于引导或聚焦入射或出射光束的光学组件。光学系统可以瞄准入射或出射光束的空间和时间光束轮廓并使其成形。光学系统可以准直、扇出或以其他方式操纵入射或出射光束。扫描仪105可以包括计算机设备(包括但不限于图2的移动计算机200和/或图3的网络计算机300)的各种特征、组件或功能。
下面将更详细地描述接收器106。然而，简单来说，接收器106可以包括一个或多个光子敏感的或光子检测的传感器像素阵列。传感器像素阵列检测从目标108反射的连续或脉冲光束。像素阵列可以是一维阵列或二维阵列。像素可以包括SPAD像素或在照射一个或几个入射光子时雪崩的其他光敏元件。在检测大约几纳秒的单个或几个光子时，像素可能具有超快的响应时间。像素可以对光源104辐射或发射的频率敏感，并且对其他频率相对不敏感。接收器106还包括如下光学系统，该光学系统包括用于在像素阵列上引导和聚焦接收的光束的光学组件。接收器106可以包括计算机设备(包括但不限于图2的移动计算机200和/或图3的网络计算机300)的各种特征、组件或功能。
下面结合图2-3更详细地描述计算机设备110的各种实施例(例如，计算机设备110可以是图2的移动计算机200和/或图3的网络计算机300的实施例)。然而，简单来说，计算机设备110实际上包括能够执行本文所讨论的各种范围或距离确定过程和/或方法的各种计算机设备，这些范围或距离确定过程和/或方法基于对从一个或多个表面(包括但不限于对象或目标108的表面)反射的光子的检测。基于检测到的光子或光束，计算机设备110可以改变或以其他方式修改光源104和接收器106的一个或多个配置。应当理解，计算机设备110的功能可以由光源104、扫描仪105、接收器106或其组合来执行，而无需与单独的设备通信。
在一些实施例中，至少一些范围或距离确定功能可以由其他计算机执行，包括但不限于膝上型计算机112和/或移动计算机，例如但不限于智能手机或平板电脑114。下面结合图2的移动计算机200和/或图3的网络计算机300更详细地描述这种计算机的各种实施例。
网络102可以被配置为将网络计算机与其他计算设备耦合，包括光源104、光子接收器106、跟踪计算机设备110、膝上型计算机112或智能电话/平板电脑114。网络102可以包括用于与远程设备通信的各种有线和/或无线技术，例如但不限于USB电缆、蓝牙、Wi-Fi等。在一些实施例中，网络102可以是被配置为将网络计算机与其他计算设备耦合的网络。在各种实施例中，在设备之间传递的信息可包括各种信息，包括但不限于处理器可读指令、远程请求、服务器响应、程序模块、应用程序、原始数据、控制数据、系统信息(例如，日志文件)、视频数据、语音数据、图像数据、文本数据、结构化/非结构化数据等。在一些实施例中，可以使用一种或多种技术和/或网络协议在设备之间传送该信息。
在一些实施例中，这样的网络可以包括各种有线网络、无线网络或其各种组合。在各种实施例中，网络102可以能够使用各种形式的通信技术、拓扑、计算机可读介质等，用于将信息从一个电子设备传送到另一电子设备。例如，除了互联网之外，网络102可以包括LAN、WAN、个域网(PAN)、校园区域网、城域网(MAN)、直接通信连接(例如通过通用串行总线(USB)端口)等，或其各种组合。
在各种实施例中，网络内和/或网络间的通信链路可包括但不限于双绞线、光纤、露天激光器、同轴电缆、普通老式电话服务(POTS)、波导、声学、完全或部分专用数字线路(例如T1、T2、T3或T4)、电子载波、综合业务数字网络(ISDN)、数字用户线路(DSL)、无线链路(包括卫星链路)或其他链路和/或本领域技术人员已知的载体机制。此外，通信链路还可以采用各种数字信令技术中的各种技术，包括但不限于例如DS-0、DS-1、DS-2、DS-3、DS-4、OC-3、OC-12、OC-48等。在一些实施例中，路由器(或其他中间网络设备)可以充当各种网络之间的链接(包括基于不同体系结构和/或协议的那些)，以使得信息能够从一个网络传输到另一网络。在其他实施例中，远程计算机和/或其他相关电子设备可以通过调制解调器和临时电话链路连接到网络。实质上，网络102可以包括各种通信技术，信息可以通过这些技术在计算设备之间传播。
在一些实施例中，网络102可以包括各种无线网络，其可以被配置为耦合各种便携式网络设备、远程计算机、有线网络、其他无线网络等。无线网络可以包括各种子网络中的可以进一步覆盖独立的ad-hoc网络等的各种子网络，以为至少客户端计算机(例如，膝上型计算机112或智能电话或平板电脑114)(或其他移动设备)提供面向基础设施的连接。这种子网络可以包括网状网络、无线LAN(WLAN)网络、蜂窝网络等。在各种实施例中的一个或多个中，该系统可以包括一个以上的无线网络。
网络102可以采用多种有线和/或无线通信协议和/或技术。可以由网络使用的各种世代(例如，第三代(3G)、第四代(4G)或第五代(SG))的通信协议和/或技术的示例可以包括但不限于全球移动通信系统(GSM)、通用分组无线业务(GPRS)、增强型数据GSM环境(EDGE)、码分多址(CDMA)、宽带码分多址(W-CDMA)、码分多址2000(CDMA2000)、高速下行链路分组接入(HSDPA)、长期演进(LTE)、通用移动电信系统(UMTS)、演进数据优化(Ev-DO)、全球微波接入互操作性(WiMax)、时分多址(TDMA)、正交频分复用(OFDM)、超宽带(UWB)、无线应用协议(WAP)、用户数据报协议(UDP)、传输控制协议/互联网协议(TCP IP)、开放系统互连(OSI)模型协议的各个部分、会话发起的协议/实时传输协议(SIP/RTP)、短消息服务(SMS)、多媒体消息服务(MMS)或各种其他通信协议和/或技术。本质上，网络可以包括通信技术，通过该通信技术，信息可以在光源104、光子接收器106和跟踪计算机设备110之间以及未示出的其他计算设备之间传播。
在各种实施例中，网络102的至少一部分可以被布置为节点、链路、路径、终端、网关、路由器、交换机、防火墙、负载平衡器、转发器、中继器、光电转换器等(他们可以通过各种通信链路连接)的自治系统。这些自治系统可以被配置为基于当前操作条件和/或基于规则的策略进行自组织，从而使得可以修改网络的网络拓扑。
说明性移动计算机
图2示出了示例性移动计算机200的一个实施例，其可以包括比所示的那些示例性组件更多或更少的组件。移动计算机200可以表示例如图1的系统100的膝上型计算机112、智能电话/平板电脑114和/或计算机110的一个或多个实施例。因此，移动计算机200可以包括移动设备(例如，智能电话或平板电脑)、固定/台式计算机等。
客户端计算机200可以包括经由总线206与存储器204通信的处理器202。客户端计算机200还可以包括电源208、网络接口210、处理器可读固定存储设备212、处理器可读可移动存储设备214、输入/输出接口216、(一个或多个)相机218、视频接口220、触摸接口222、硬件安全模块(HSM)224、投影仪226、显示器228、小键盘230、照明器232、音频接口234、全球定位系统(GPS)收发器236、露天手势接口238、温度接口240、触觉接口242和定点设备界面244。客户端计算机200可以可选地与基站(未示出)通信，或者直接与另一计算机通信。并且在一个实施例中，尽管未示出，但是可以在客户端计算机200内采用陀螺仪来测量和/或维持客户端计算机200的方位。
电源208可以向客户端计算机200提供电力。可充电或不可充电电池可用于提供电力。也可以通过外部电源提供电力，例如补充电池和/或对电池进行再充电的AC适配器或电动对接支架。
网络接口210包括用于将客户端计算机200耦合到一个或多个网络的电路，并且被构造为与一个或多个通信协议和技术一起使用，该一个或多个通信协议和技术包括但不限于实现OSI移动通信(GSM)模型、CDMA、时分多址(TDMA)、UDP、TCP IP、SMS、MMS、GPRS、WAP、UWB、WiMax、SIP/RTP、GPRS、EDGE、WCDMA、LTE、UMTS、OFDM、CDMA2000、EV-DO、HSDPA、或各种其他无线通信协议的各个部分的协议和技术。网络接口210有时被称为收发器、收发设备或网络接口卡(NIC)。
音频接口234可以被布置为产生和接收音频信号，例如人声的声音。例如，音频接口234可以耦合到扬声器和麦克风(未示出)以实现与其他人的通信，或者为某些动作生成音频确认。音频接口234中的麦克风还可以用于输入到或控制客户端计算机200，例如，使用语音识别、基于声音检测触摸等。
显示器228可以是液晶显示器(LCD)、气体等离子体、电子墨水、发光二极管(LED)、有机LED(OLED)或可以与计算机一起使用的各种其他类型的光反射或光透射显示器。显示器228还可以包括触摸接口222，触摸接口222被布置成接收诸如来自人手的手指或手写笔之类的对象的输入，并且可以使用电阻、电容、表面声波(SAW)、红外、雷达或其他技术来感测触摸和/或手势。
投影仪226可以是远程手持投影仪或集成投影仪，其能够将图像投影在远程墙壁或诸如远程屏幕之类的各种其他反射体上。
视频接口220可以被布置为捕获视频图像，诸如静止照片、视频片段、红外视频等。例如，视频接口220可以耦合到数字摄像机、网络摄像机等。视频接口220可包括镜头、图像传感器和其他电子设备。图像传感器可以包括互补金属氧化物半导体(CMOS)集成电路、电荷耦合器件(CCD)或用于感测光的各种其他集成电路。
小键盘230可以包括被布置成接收来自用户的输入的各种输入设备。例如，小键盘230可以包括按钮数字拨号盘或键盘。小键盘230还可以包括与选择和发送图像相关联的命令按钮。
照明器232可以提供状态指示和/或提供光。照明器232可以在特定时间段内或响应于事件消息而保持活跃。例如，如果照明器232是活跃的，则它可以使小键盘230上的按钮背光并在客户计算机通电时保持打开。而且，如果执行特定动作(例如拨号呼叫另一客户端计算机)，则照明器232可以以各种模式使这些按钮背光。照明器232还可以使位于客户端计算机的透明或半透明壳体内的光源响应于动作而发光。
此外，客户端计算机200还可以包括HSM 224，用于提供用于生成、存储和/或使用安全/加密信息(例如密钥、数字证书、密码、口令句、双因素认证信息等)的附加防篡改保护措施。在一些实施例中，可以采用硬件安全模块来支持一个或多个标准公钥基础结构(PKI)，并且可以采用硬件安全模块来生成、管理和/或存储密钥对等。在一些实施例中，HSM224可以是独立计算机，在其他情况下，HSM 224可以被布置为可以添加到客户端计算机的硬件卡。
客户端计算机200还可以包括输入/输出接口216，用于与外部外围设备或诸如其他客户端计算机和网络计算机的其他计算机通信。外围设备可以包括音频耳机、虚拟现实耳机、显示屏眼镜、远程扬声器系统、远程扬声器和麦克风系统等。输入/输出接口216可以使用一种或多种技术，例如通用串行总线(USB)、红外、Wi-FiTM、WiMax、BluetoothTM等。
输入/输出接口216还可以包括一个或多个传感器，用于确定地理定位信息(例如，GPS)、监控电力状况(例如，电压传感器、电流传感器、频率传感器等)、监测天气(例如，恒温器、气压计、风速计、湿度检测器、降水量表等)。传感器可以是收集和/或测量客户端计算机200外部的数据的一个或多个硬件传感器。
触觉接口242可以被布置为向客户端计算机的用户提供触觉反馈。例如，如果计算机的另一用户正在呼叫，则可以采用触觉接口242以特定方式振动客户端计算机200。温度接口240可用于向客户端计算机200的用户提供温度测量输入和/或温度改变输出。露天手势界面238可以感测客户端计算机200的用户的身体姿势，例如，通过使用单个或立体视频摄像机、雷达、由用户保持或佩戴的计算机内的陀螺仪传感器等。相机218可用于跟踪客户端计算机200的用户的物理眼睛运动。
GPS收发器236可以确定客户端计算机200在地球表面上的物理坐标，其通常将位置输出为纬度和经度值。GPS收发器236还可以采用其他地理定位机制，包括但不限于三角测量、辅助GPS(AGPS)、增强观测时间差(E-OTD)、小区标识符(CI)、服务区域标识符(SAI)、增强的定时提前(ETA)、基站子系统(BSS)等，以进一步确定客户端计算机200在地球表面上的物理位置。应当理解，在不同条件下，GPS收发器236可以确定客户端计算机200的物理位置。然而，在一个或多个实施例中，客户端计算机200可以通过其他组件提供可以用于确定客户端计算机的物理位置的其他信息，包括例如媒体访问控制(MAC)地址、IP地址等等。
人类接口组件可以是与客户端计算机200物理分离的外围设备，其允许远程输入和/或输出到客户端计算机200。例如，如此处所描述的通过诸如显示器228或小键盘230之类的人类接口组件路由的信息可以替代地通过网络接口210路由到远程定位的适当的人类接口组件。可以在远程的人类接口外围组件的示例包括但不限于音频设备、定点设备、键盘、显示器、相机、投影仪等。这些外围组件可以通过微微网(诸如BluetoothTM、ZigbeeTM等)进行通信。具有这种外围人类接口组件的客户端计算机的一个非限制性示例是可穿戴计算机，其可以包括远程微型投影仪以及与单独定位的客户端计算机远程通信的一个或多个相机，以感知用户朝由微型投影仪投影到反射表面(诸如墙壁或用户的手)的图像部分的手势。
存储器204可以包括RAM、ROM和/或其他类型的存储器。存储器204示出了用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息的计算机可读存储介质(设备)的示例。存储器204可以存储用于控制客户端计算机200的低级操作的BIOS 246。存储器还可以存储用于控制客户端计算机200的操作的操作系统248。应当理解，该组件可以包括通用操作系统(例如UNIX或LINUXTM版本)、或专用客户端计算机通信操作系统(例如Windows PhoneTM、或Symbian操作系统)。操作系统可以包括Java虚拟机模块或与Java虚拟机模块接口连接，该模块能够通过Java应用程序控制硬件组件和/或操作系统操作。
存储器204还可以包括一个或多个数据存储装置250，客户端计算机200可以利用该数据存储装置250来存储应用252和/或其他数据等。例如，数据存储装置250还可以用于存储描述客户端计算机200的各种能力的信息。在各种实施例中的一个或多个中，数据存储装置250可以存储范围或距离信息251。然后可以基于各种方法将信息251提供给另一设备或计算机，包括在通信期间作为报头的一部分发送、根据请求发送等。数据存储装置250还可以用于存储社交网络信息，包括地址簿、好友列表、别名、用户简档信息等。数据存储装置250还可以包括程序代码、数据、算法等，供处理器(例如处理器202)用于实施和执行动作。在一个实施例中，至少部分数据存储装置250还可以被存储在客户端计算机200的另一组件上，包括但不限于非暂态处理器可读固定存储设备212、处理器可读可移动存储设备214、或者甚至在客户端计算机外部。
应用252可以包括计算机可执行指令，其如果由客户端计算机200执行，则发送、接收和/或以其他方式处理指令和数据。应用252可以包括例如范围/距离确定客户端引擎254、其他客户端引擎256、网络浏览器258等。客户端计算机可以被布置为与应用服务器、网络文件系统应用和/或存储管理应用交换如下通信，例如查询、搜索、消息、通知消息、事件消息、警报、性能度量、日志数据、API调用等，及其组合。
网络浏览器引擎226可以被配置为接收和发送网页、基于网络的消息、图形、文本、多媒体等。客户端计算机的浏览器引擎226可以采用虚拟的各种编程语言，包括无线应用协议消息(WAP)等。在一个或多个实施例中，浏览器引擎258能够采用手持设备标记语言(HDML)、无线标记语言(WML)、WMLScript、JavaScript、标准通用标记语言(SGML)、超文本标记语言(HTML)、可扩展标记语言(XML)、HTML5等。
应用程序的其他示例包括日历、搜索程序、电子邮件客户端应用、IM应用、SMS应用、互联网协议语音(VOIP)应用、联系人管理器、任务管理器、转码器、数据库程序、文字处理程序、安全应用、电子表格程序、游戏、搜索程序等。
另外，在一个或多个实施例中(图中未示出)，客户端计算机200可以包括嵌入式逻辑硬件设备而不是CPU，例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程阵列逻辑(PAL)等，或其组合。嵌入式逻辑硬件设备可以直接执行其嵌入式逻辑以执行动作。而且，在一个或多个实施例中(图中未示出)，客户端计算机200可以包括硬件微控制器而不是CPU。在一个或多个实施例中，微控制器可以直接执行其自己的嵌入式逻辑以执行动作并访问其自己的内部存储器和其自己的外部输入和输出接口(例如，硬件引脚和/或无线收发器)以执行动作，例如系统片上(SOC)等。
说明性网络计算机
图3示出了示例性网络计算机300的一个实施例，其可以包括在实现各种实施例中的一个或多个的示例性系统中。网络计算机300可以包括比图3中所示的组件更多或更少的组件。然而，所示组件足以公开用于实践这些创新的说明性实施例。网络计算机300可以包括台式计算机、膝上型计算机、服务器计算机、客户端计算机等。网络计算机300可以表示例如图1的系统100的膝上型计算机112、智能电话/平板电脑114和/或计算机110中的一个或多个的一个实施例。
如图3所示，网络计算机300包括处理器302，处理器302可以通过总线306与存储器304通信。在一些实施例中，处理器302可以包括一个或多个硬件处理器或一个或多个处理器核。在一些情况下，一个或多个处理器中的一个或多个可以是被设计为执行一个或多个专门动作的专门处理器，例如本文所述的那些。网络计算机300还包括电源308、网络接口310、处理器可读固定存储设备312、处理器可读可移动存储设备314、输入/输出接口316、GPS收发器318、显示器320、键盘322、音频接口324、定向设备接口326和HSM 328。电源308向网络计算机300提供电力。
网络接口310包括用于将网络计算机300耦合到一个或多个网络的电路，并且被构造为用于与一个或多个通信协议和技术一起使用，该一个或多个通信协议和技术包括但不限于实现开放系统互连模型(OSI模型)、全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、用户数据报协议(UDP)、传输控制协议/互联网协议(TCP IP)、短消息服务(SMS)、多媒体消息服务(MMS)、通用分组无线服务(GPRS)、WAP、超宽带(UWB)、IEEE 802.16全球微波接入互操作性(WiMax)、会话发起协议/实时传输协议(SIP/RTP)、或各种其他有线和无线通信协议的各个部分的协议和技术。网络接口310有时被称为收发器、收发设备或网络接口卡(NIC)。网络计算机300可以可选地与基站(未示出)通信，或者直接与另一计算机通信。
音频接口324被布置成产生和接收音频信号，例如人声的声音。例如，音频接口324可以耦合到扬声器和麦克风(未示出)以实现与其他人的通信和/或生成针对某种动作的音频确认。音频接口324中的麦克风还可以用于输入到或控制网络计算机300，例如，使用语音识别。
显示器320可以是液晶显示器(LCD)、气体等离子体、电子墨水、发光二极管(LED)、有机LED(OLED)或可以与计算机一起使用的各种其他类型的光反射或光透射显示器。显示器320可以是能够将图像投影在墙壁或其他物体上的手持式投影仪或微型投影仪。
网络计算机300还可以包括输入/输出接口316，用于与图3中未示出的外部设备或计算机通信。输入/输出接口316可以利用一种或多种有线或无线通信技术，例如USBTM、FirewireTM、Wi-FiTM、WiMax、ThunderboltTM、红外线、蓝牙TM、ZigbeeTM、串行端口、并行端口等。
此外，输入/输出接口316还可以包括一个或多个传感器，用于确定地理定位信息(例如，GPS)、监控电力状况(例如，电压传感器、电流传感器、频率传感器等)、监测天气(例如，恒温器、气压计、风速计、湿度检测器、降水量表等)等。传感器可以是收集和/或测量网络计算机300外部的数据的一个或多个硬件传感器。人类接口组件可以与网络计算机300在物理上分离，这允许远程输入和/或输出到网络计算机300。例如，如此处所描述的通过诸如显示器320或键盘322之类的人类接口组件路由的信息可以替代地通过网络接口310路由到位于网络上其他地方的适当的人类接口组件。人类接口组件包括允许计算机从计算机的人类用户获取输入或向计算机的人类用户发送输出的各种组件。因此，诸如鼠标、手写笔、跟踪球等的定点设备可以通过定点设备接口326进行通信以接收用户输入。
GPS收发器318可以确定网络计算机300在地球表面上的物理坐标，该物理坐标通常将位置作为纬度和经度值输出。GPS收发器318还可以采用其他地理定位机制，包括但不限于三角测量、辅助GPS(AGPS)、增强观测时间差(E-OTD)、小区标识符(CI)、服务区域标识符(SAI)、增强定时提前(ETA)、基站子系统(BSS)等，以进一步确定网络计算机300在地球表面上的物理位置。应当理解，在不同条件下，GPS收发器318可以确定网络计算机300的物理位置。然而，在一个或多个实施例中，网络计算机300可以通过其他组件提供可以用于确定客户端计算机的物理位置的其他信息，包括例如媒体访问控制(MAC)地址、IP地址、等等。
存储器304可以包括随机存取存储器(RAM)、只读存储器(ROM)和/或其他类型的存储器。存储器304示出了用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息的计算机可读存储介质(设备)的示例。存储器304存储用于控制网络计算机300的低级操作的基本输入/输出系统(BIOS)330。存储器还存储用于控制网络计算机300的操作的操作系统332。应当理解，该组件可以包括通用操作系统(诸如UNIX或LINUXTM版本)、或专用操作系统(诸如Microsoft公司的操作系统，或Apple公司的/>操作系统)。操作系统可以包括Java虚拟机模块、或者与Java虚拟机模块接口连接，该Java虚拟机模块能够通过Java应用程序控制硬件组件和/或操作系统操作。同样，可以包括其他运行时环境。
存储器304还可以包括一个或多个数据存储装置334，网络计算机300可以利用该一个或多个数据存储装置334来存储应用336和/或其他数据等。例如，还可以采用数据存储装置334来存储描述网络计算机300的各种能力的信息。在各种实施例中的一个或多个中，数据存储装置334可以存储范围或距离信息335。然后可以基于各种方法将范围或距离信息335提供给另一设备或计算机，包括在通信期间作为报头的一部分发送、根据请求发送等。数据存储装置334还可以用于存储社交网络信息，包括地址簿、好友列表、别名、用户简档信息等。数据存储装置334还可以包括程序代码、数据、算法等，供一个或多个处理器(例如处理器302)使用于实施和执行诸如下面描述的那些动作之类的动作。在一个实施例中，至少部分数据存储装置334还可以存储在网络计算机300的另一组件上，包括但不限于在非暂态处理器可读固定存储设备312、处理器可读可移动存储设备314、或网络计算机300内的或者甚至在网络计算机300外部的各种其他计算机可读存储设备中的非暂态媒介。
应用336可以包括计算机可执行指令，其如果由网络计算机300执行，则发送、接收和/或以其他方式处理消息(例如，SMS、多媒体消息服务(MMS)、即时消息(IM)、电子邮件和/或其他消息)、音频、视频，并实现与另一移动计算机的另一用户的电信。应用程序的其他示例包括日历、搜索程序、电子邮件客户端应用，、IM应用、SMS应用、互联网协议语音(VOIP)应用、联系人管理器、任务管理器、转码器、数据库程序、文字处理程序、安全应用、电子表格程序、游戏、搜索程序等。应用336可以包括范围或距离确定引擎346，其执行下面进一步描述的动作。在各种实施例中的一个或多个中，一个或多个应用可以实现为另一应用的模块和/或组件。此外，在各种实施例中的一个或多个中，应用可以实现为操作系统扩展、模块、插件等。
此外，在各种实施例中的一个或多个中，范围或距离确定引擎346可以在基于云的计算环境中操作。在各种实施例中的一个或多个中，这些应用以及其他应用可以在虚拟机和/或虚拟服务器内执行，这些虚拟机和/或虚拟服务器可以在基于云的计算环境中管理。在各种实施例中的一个或多个中，在该上下文中，应用可以从基于云的环境内的一个物理网络计算机流向另一个物理网络计算机，这取决于由云计算环境自动管理的性能和缩放考虑因素。同样地，在各种实施例中的一个或多个中，可以自动配置和停用专用于范围或距离确定引擎346的虚拟机和/或虚拟服务器。
此外，在各种实施例中的一个或多个中，范围或距离确定引擎346等可以位于在基于云的计算环境中运行的虚拟服务器中，而不是绑定到一个或多个特定的物理网络计算机。
此外，网络计算机300可以包括HSM 328，用于提供用于生成、存储和/或使用安全/加密信息(例如密钥、数字证书、密码、口令句、双因素认证信息等)的额外的防篡改安全措施。在一些实施例中，可以采用硬件安全模块来支持一个或多个标准公钥基础结构(PKI)，并且可以采用硬件安全模块来生成、管理和/或存储密钥对等。在一些实施例中，HSM 328可以是独立的网络计算机，在其他情况下，HSM 328可以被布置为可以安装在网络计算机中的硬件卡。
另外，在一个或多个实施例中(图中未示出)，网络计算机可以包括一个或多个嵌入式逻辑硬件设备而不是一个或多个CPU，例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程阵列逻辑(PAL)等，或其组合。嵌入式逻辑硬件设备可以直接执行嵌入式逻辑以执行动作。而且，在一个或多个实施例中(图中未示出)，网络计算机可以包括一个或多个硬件微控制器而不是CPU。在一个或多个实施例中，一个或多个微控制器可以直接执行它们自己的嵌入式逻辑以执行动作并访问它们自己的内部存储器和它们自己的外部输入和输出接口(例如，硬件引脚和/或无线收发器)以执行动作，例如片上系统(SOC)等。
说明性系统
图4示出了激光雷达系统400的一个实施例。在至少一些实施例中，激光雷达系统400是快速扫描系统，其通过将来自光源的光引导到扫描仪405(扫描仪405然后顺序地扫描视场403)来连续地(例如，平滑地、快速地、不停止地)移动来自光源404的扫描光束通过一个或多个对象108(见图1)的许多位置。由视场(FoV)403中的一个或多个对象反射的光穿过孔407并由接收器406接收和检测。在一些实施例中，扫描仪405利用MEMS扫描镜(或其他合适的扫描镜或设备)的超快共振旋转，其快速移动一定角度范围以扫描视场403。如下面更详细描述的，其他较慢的扫描仪405也可以用于采用两个或更多个扫描通道的技术中。
当使用快速扫描仪405时，来自扫描仪的光束方向变化得如此之快，以至于角度方向的每个部分可以在时间上与持续时间为至少纳秒的超短时间间隔配对。这建立了作为时间的函数的角度位置(时间＝>角度)，函数稍后可以反转以创建逆1-1函数(角度＝>时间)，例如，在查找表中，以产生针对接收器406的像素观察到的反射的每个入射方向的反射光子的可能离开时间范围的精确界限。在至少一些实施例中，粗略离开时间可以从观察到反射光的角度方向导出，该角度方向可以由检测光的接收器406的像素的位置确定。
在该激光雷达系统400的至少一些实施例中，接收器406与扫描仪405共同定位或位于扫描仪405附近，并且当光子返回到接收器406时检测从视场中的一个或多个对象反射的光子。这些光子以相同的角度返回-但现在以相反的“返回发送者”方向行进。在至少一些实施例中，接收器406是一维或二维接收器。
可以使用任何合适的光子接收器406，包括任何合适的像素化光子接收器406。像素化光子接收器的示例包括但不限于布置为时空排序阵列(Spatio-temporal SortingArray，SSA)的像素，例如，记录方向和到达时间的快速异步SPAD(单光子雪崩二极管)像素的阵列。SSA阵列的示例可以在美国专利No.8,282,222、No.8,430,512和No.8,696,141中找到。所有这些美国专利都通过引用被整体并入本文。时空排序阵列可以被类比为具有位于成像系统的焦平面中的探测器阵列的相机，其在空间上量化入射光线方向以使小束的入射方向与各个像素匹配。事实上，SSA可以是具有2D像素阵列的相机，或者可选地，是如美国专利No.8,282,222、No.8,430,512、No.8,696,141、No.8,711,370、No.9,377,553、No.9,753,126和美国专利申请公开No.2013/0300637和No.2016/0041266中描述的任何异步传感阵列，所有这些美国专利和专利申请公开都通过引用的方式被整体并入本文。用作接收器406的其他合适的阵列包括但不限于使用CMOS(互补金属氧化物半导体)、CCD(电荷耦合器件)、APD(雪崩光电二极管)、SPADS、SiPM(硅光电倍增管)等或其任意组合作为像素的1D和2D成像阵列。
在至少一些实施例中，对于单通道(pass)扫描技术，激光雷达系统400的扫描仪405的扫描速度和接收器406的阵列的空间分辨率优选地相对较高。例如，在快速扫描系统中，跨越FoV(视场)的完全扫描可能仅花费1微秒或更少。当扫描光束的反射返回到孔中时，入射方向被分类为例如100、500、1000、2000、5000或10,000或更多个仓(bin)。例如，使用与扫描方向对齐的行中具有1000个SPAD像素的阵列，通过在1微秒扫描中记录的扫描仪位置(光束方向)，每个反射的离开时间(Td)可以被解析为1纳秒(1微秒/1000仓)。到达时间(Τa)也在时间上被解析为纳秒瞬间(或者对于SPAD阵列更少)。使用离开时间和到达时间可以确定到达光子的往返飞行时间(ToF)。到反射被检测光子的对象的距离是ToF除以光子速度(即光速c)的2倍。该系统的示例可以实现1/2英尺(约0.35米)的测距分辨率或更少。
该激光雷达系统400的分辨率可以取决于具有足够的像素，因为阵列中的空间时间排序仓(即，像素)越多越好。例如，10,000个微小的1微米CMOS“抽动像素”可以提供高分辨率，前提是瞬时反射光子强度高到足以触发纳秒内的微小像素。美国专利No.9,753,125(其全部内容通过引用被并入本文)描述了“抽动像素”作为传感器阵列像素，其中一旦光电流超过最小水平，传感器阵列像素就提供几乎瞬时的信号输出。例如，在至少一些实施例中，“抽动像素”可以是连接到源跟随器或立即放大光电二极管的电流的其他电路的光电二极管。放大的信号又连接到感测线。感测线可以是整列或整行这种“抽动像素”之间的共享功能。像素的基本“抽动”功能是二进制的；其主要功能是报告信号光子在何时和/或在何处到达接收器。在激光雷达系统400中，“抽动像素”和SPAD可以在接收器406中互换使用。
在单通道技术的至少一些实施例中，激光雷达系统400使用非常快速的扫描仪，其可以在几微秒(例如，5、3、2或1微秒或更短)内扫描FoV的整个宽度(或高度)。非常快速的扫描仪405可以包括但不限于声光、电光扫描仪或快速相控阵列，例如1D带状MEMS阵列或光学相控阵(OPA)。这种扫描仪可以具有有限的偏转角，并且可以使用额外的光学调整架(optical stage)来放大扫描角以克服有限的偏转角。此外，在至少一些实施例中，这些扫描仪可以仅与光谱的非常有限的部分中的单色光束一起操作。结果，这种超快扫描仪可能昂贵、易碎或笨重，并且可能难以使用，特别是对于小型移动应用而言。
在激光雷达系统400的一些实施例中，可以使用较慢的扫描仪405，例如谐振MEMS扫描镜。在一些实施例中，该扫描仪的扫描速度可以不快于100、75、60或50kHz或更低。利用两个或更多扫描通道的扫描技术可用于产生稳健且精确的激光雷达系统。
图5示出了双扫描技术中的步骤。在步骤502中，使用扫描仪405在视场(FoV)403上扫描来自光源404的连续光束。例如，连续光束可以扫描整个FoV超过例如5、10或20微秒或更多，但是可以使用更慢或更快的扫描时间。
在步骤504中，由接收器406检测从FoV中的一个或多个对象反射的光子，并且如上所述，可以使用检测到的光子来提供到一个或多个对象的初始粗略范围。图6A示出了该第一扫描的一个实施例，其中扫描仪405(图4)正沿方向609进行扫描。光611从对象608反射，然后在接收器406(图4)的包含n个像素的第i个像素pi 606i处被接收。由像素pi检测到的光子的离开时间(Td)可以用分辨率617粗略地解析，分辨率617是ΔTd的函数，ΔTd是由像素pi检测到的光子的最大离开时间(Tdmax)和最小离开时间(Τdmin)之间的差。作为示例，1000个像素的1D接收器可用于检测来自10微秒扫描(其给出每像素10ns的ΔTd)的光子(例如，使用50kHz双向1D谐振MEMS扫描镜作为扫描仪)。使用简单的ToF测距计算，到达时间(Ta)的时间分辨率为1ns，例如，对于接收器观察到的每次反射，初始粗略范围分辨率617可以被解析为例如5英尺(约1.5米)。因此，可以粗略地解析到对象的估计范围，并且在一些实施例中，系统可以记录检测光子的那些像素和不检测光子的那些像素。
在步骤506中，扫描相同的FoV，但不是使用连续光束，而是使用由光源404发射的短脉冲611’(例如，尖锐的“针刺”脉冲)，如图6B所示。在一些实施例中，可以通过在扫描仪的返回行程上沿相反方向回扫相同扫描来执行该第二扫描通道(或“细化”扫描)。在其他实施例中，扫描仪返回其初始位置，然后沿相同方向进行扫描。短脉冲具有比第一扫描的ATd短的脉冲宽度ΔTdpi，并且每个脉冲被同步以对应于一个像素。优选地，脉冲宽度ATdpi不大于第一扫描的ATd的30％、25％、10％、5％或更小。在至少一些实施例中，光脉冲的脉冲宽度小于第二扫描通道的扫描时间除以接收器的单个行中的像素数量。在至少一些实施例中，脉冲宽度不大于1纳秒或500或100皮秒或更小。
可选地，仅当在先前粗略扫描中观察到来自相应对象位置的反射时才发射脉冲。可以主动启用阵列中的各个像素。初始连续粗线扫描可以通知系统选择性地激活哪些特定像素，以及在第二“细化”扫描期间何时准确地激活每个像素。在FoV的仅一小子集具有激光雷达范围内的感兴趣的反射对象的情况下，可以仅激活一小部分像素。
在步骤508中，光子接收器406接收反射脉冲，并确定反射脉冲的到达时间Ta。对于从像素已知的到达时间，可以确定到一个或多个对象408的距离或范围，正如步骤504中的初始粗略范围分辨率，但具有更高的准确度。来自光源的每个短脉冲的离开时间也是已知的，因此反射光脉冲可以与离散的离开时间(Td)相关联。已知这些离开时间具有高精度，例如，对于100ps脉冲，已知离开时间具有100ps的精度。反射的脉冲被限制在已知的间隔(例如，100皮秒(ps))并且唯一地匹配到阵列中的单个像素。继续上面给出的示例，短脉冲可以是100ps脉冲，其中每个脉冲在时间上同步，以通过接收器406的各个像素位置(例如，1000个像素位置中的每个像素的中心)接收反射。当SPAD阵列为入射到达时间(Ta)计时并将其与相应离开时间(Td)相匹配(其中分辨率为例如100ps)时，距离观察可以提高1/100。例如，对于上面提供的示例中的5英尺的初始粗略范围分辨率，细化的范围分辨率可以是0.05英尺或大约1.5厘米。
在一些实施例中，从第一扫描确定的初始粗略范围通知控制系统何时激活各个像素，以使得系统能够狭窄地限制像素以将其定时为仅在几纳秒内活跃。因此，通过使用这种预期激活方法，不仅可以将波束脉冲定时以定向匹配接收器的精确像素位置，而且可以仅将每个单独像素激活预期的到达时间Ta，例如仅激活10纳秒(其中10纳秒是在先前粗略扫描期间针对该像素的凝视方向上的反射确定的时间不确定度(ToF范围不确定度))。
在使用预期激活技术的一些实施例中，该系统能够减少环境光或杂散光的干扰。例如，在针对每个像素具有10ns窗口的第二扫描上使用预期激活技术，环境光将具有至多10纳秒(与完全FoV扫描的10毫秒相比)来干扰像素接收的反射光。因此，只有百万分之一的太阳光(至多1/10勒克斯(lux)，即使在强烈致盲的环境中(100K勒克斯的百万分之一＝完全直射的太阳光))会被像素接收。
在一些实施例中，SPAD像素可以以盖革模式激活(其特征在于高度易变的高电压，通过光电二极管的反向偏压)，并因此是特别敏感的，从而产生强的、瞬时的低抖动脉冲。
应当注意，在第二“细化”扫描期间，扫描脉冲可能非常稀疏，限于仅在几个选定的检测到的对象(例如，四轴飞行器的计划飞行路径中的一个小对象)处获得更好的细粒度外观。利用SPADS的纳秒预期激活，可以将环境光抑制到这样的程度：每个脉冲需要很少的能量，并且发射的总能量可以保持在安全水平之下。在可选步骤510和512中，除了连续扫描中的短脉冲在时间上以小的增量移位(例如，几分之一纳秒)之外，步骤506和508的处理重复一次或多次(即，步骤510和512可以重复多次)。这具有访问与在步骤506和508中在对象的表面上识别的位置直接相邻的位置的效果。在连续的表面上，这些后来的短脉冲的反射应该可预测地在从先前扫描的短脉冲获得的反射的100ps内到达。考虑到皮秒精确的表面观察可以成为提供给下游视觉处理系统的对象的体素运动数据集的一部分，(例如，汽车、无人驾驶飞机、车辆等的)表面模型可以从计算方面帮助澄清图像。
可选地，系统还可以通过将各个像素打开比ΔTd短的时间或者仅激活选择的像素来启用范围选择特征，对于该范围选择特征，第一扫描通道的粗略范围确定指示对象可能存在于所选范围内。例如，在至少一些实施例中，50英尺的范围选择将SPAD激活减少到仅100纳秒的短时间段，例如，在盖革模式下启用短暂的SPAD像素打开时间，这可能会提高系统的灵敏度。
在至少一些实施例中，系统可以是无滤波器的，因为可能不再需要窄带通滤波器。在至少一些实施例中，可以在第二扫描通道期间或之后的扫描通道期间启用多光谱照明。
图7示出了用于彩色激光雷达的方法。图7中的步骤702-708与图5中的步骤502-508相同。
在步骤710中，类似于在步骤508和708中使用光的短脉冲执行的扫描通道，使用来自光源的特定光原色的光或使用白光源对可见光原色(红色、绿色、蓝色(或其他颜色))执行一个或多个扫描通道。在一些实施例中，可以使用三种(或更多种)不同颜色的光束或使用单个白光源来执行单个扫描通道。在其他实施例中，可以在每次扫描期间使用单一的、不同颜色的光束进行连续扫描通道。在至少一些实施例中，这一个或多个扫描通道在对象的表面上回扫相同或相似的轨迹，如步骤708中的第二扫描通道。
在步骤712中，特定颜色的反射光子由接收器的颜色敏感的像素检测，并用于确定物体表面的颜色或颜色对比度。图8示出了接收器806的一个实施例，其中接收器806包括用于检测来自第一和第二扫描通道的光的像素行和用于分别检测红光、绿光和蓝光的像素行820r、820g、820b。颜色敏感的像素可以被特别设计为由相关颜色激活，或者可以包含滤色器以去除其他颜色的光，或用于使像素颜色敏感的任何其他布置。因为每个颜色脉冲确定性地与特定传感器像素匹配，并且因为阵列中仍然存在多达1000个或更多像素，所以系统的脉冲速率和范围可以是使用单个APD检测器的传统脉冲激光雷达的1000(或更多)倍。
该方法产生三(或更多)通道系统超分辨彩色激光雷达。1)利用连续开启的光束的初始粗通道，其发现表面的反射并建立每个表面点(即粗体素)的近似范围和位置。2)利用皮秒精确光脉冲的第二个细化通道，用于实现厘米精确的范围分辨。3)具有有效纳秒精确像素的特定有效范围选通的最终通道(或通道集合)，实际上消除了所有剩余的环境光并且使用例如所选择的光谱主光源实现精确的颜色反射测量。
还可以使用快速扫描仪405和慢速扫描仪922来制作二维(2D)扫描激光雷达系统，如图9所示。作为示例，MEMS扫描镜或任何其他合适的快速1D扫描仪可以用作扫描仪405。在至少一些实施例中，扫描仪405将以25kHz或50kHz或更高的速率进行扫描。慢速扫描仪922通过创建双向扫描路径来提供第二扫描维度。例如，六边形扫描仪922(或八边形扫描仪或任何其他合适的扫描仪)可以围绕垂直于扫描仪表面的轴缓慢旋转，以在快速扫描仪405沿第一维度反复扫描时沿第二维度缓慢扫描。慢速多边形表面在其旋转期间均等地偏转出射光线或脉冲和入射反射，例如在90度(或更大或更小)的FoV上。慢速扫描仪922的另一示例是慢速二维准静态MEMS镜，其可以在1kHz至4kHz下操作。
反射光子可以仅被引导到一维(或二维)接收器406，就像上面描述的单个扫描仪实施例一样。例如，可以通过粗略分辨率为5-10英尺的具有1000个像素的阵列(粗略时间为10到20纳秒)来检测入射光子。
快速扫描仪405的快速扫描周期比慢速扫描仪922所需的慢速扫描周期(几毫秒或更长)短几个数量级(不超过几微秒)。例如，在一个实施例中，每次快速扫描花费不超过10微秒，慢速扫描仪922在此期间仅移动很小的距离。例如，旋转10Hz的八边形扫描仪(产生视场高达90度的每秒80个全帧检测)具有约7200度/秒的慢轴旋转速度。因此，在10微秒内，扫描线仅移位0.072度。
慢速扫描仪922的另一示例是慢速二维镜，例如可以在1到4kHz下操作的两轴MEMS镜。慢速扫描仪922的相对慢的扫描速度可用于产生类似于眼睛的聚焦运动的二维扫描模式1150，如图11所示。沿快速扫描仪405的扫描方向1152的移动比沿慢速扫描仪922的扫描方向1154的移动更快。在至少一些实施例中，在对对象进行检测和/或分类之后，系统可以使用聚焦运动来锁定到感兴趣的对象(例如，穿过街道或附近的车辆的儿童)。
虽然一维接收器406可以与两扫描仪系统一起使用，但是在一些实施例中，具有两行或更多行像素1020、1020a的接收器1006(如图10A和10B所示)可以用于考虑慢速扫描仪922的慢速旋转。在图10A所示的实施例中，可以提供两行或更多行像素1020、1020a，使得第一行1020检测在第一扫描期间反射的光子，第二行1020a检测在第二扫描期间反射的光子。第一行和第二行之间的分隔距离可以反映慢速扫描仪922在第一扫描和第二扫描之间的旋转量。此外，在一些实施例中，第一扫描沿着第一行像素1020在一个方向上进行，并且然后当扫描仪405返回到其初始位置时，第二扫描沿着第二行像素1020a沿相反方向进行。在其他实施例中，第一扫描沿着第一行像素1020在一个方向上进行，然后扫描仪返回到其初始位置，然后第二扫描沿着第二行像素1020a在相同方向上进行。在后一种情况下，分离由于扫描仪返回其初始位置的额外时间，行之间的分隔可能更大。
在图10B所示的实施例中，两行或更多行像素1020、1020a成角度(在图10B中放大)，以考虑慢速扫描仪922分别在第一扫描或第二扫描期间的轻微旋转。在图10B所示的实施例中，第一扫描沿着第一行像素1020在一个方向上进行，然后扫描仪返回到其初始位置，然后第二扫描沿着第二行像素1020a在相同方向上进行。替代地，第一扫描可以沿着第一行像素1020在一个方向上进行，然后当扫描仪405返回到其初始位置时，第二扫描沿着第二行像素1020a在相反方向上进行；在这种情况下，第二行像素1020a将在第一行像素1020的相反方向上倾斜。
在一些实施例中，光学器件可用于增强系统。例如，在图12中，可以放置透镜1260以接收来自扫描仪405的光，以将光散布在比从扫描仪可访问的视场更宽的视场上。在图13中，可以使用望远镜光学系统1362来加宽反射光子的范围，从而可以在接收器中提供更大的像素阵列(例如，更多像素)。
图14示出了接收器1406的另一实施例，其可用于例如提供可减少对观看者的潜在损害的系统。在该系统中，使用近红外或红外光源(例如，1550nm NIR激光器)执行第一扫描，近红外或红外光源通常不会损坏观察者的视网膜。接收器1406的第一组像素1420a被设计为检测相应的光子。可以使用可见激光(例如蓝色二极管激光)执行第二扫描，但是该扫描仅发射短脉冲光。接收器1460的第二组像素1420b被设计为检测这些光子。替代地，使用近红外或红外光源进行第二扫描，然后使用可见激光进行第三扫描。红外或近红外光源的能量可以更高并且以很长的范围连续或被强烈脉冲，从而达到集中爆发。
在至少一些实施例中，当系统使用第一扫描(以及可选地，第二扫描)发现视野范围内的对象时，系统可以决定使用来自可见激光的脉冲来细化范围。这些脉冲可以利用上文所述的预期激活技术，其中仅在第一扫描指示对象在感兴趣的范围内时才发射脉冲。因此，可见光的脉冲可能非常稀疏，但是它们很容易通过微小像素的阵列来解析。这些像素1420b甚至可以小于第一组像素1420a中的像素，如图14所示。作为示例，接收器可以具有10mm线，其中1000个10微米SPAD的行被设计为检测1500nm光子并且第二行具有例如10,000个1微米蓝色敏感像素(或替代地，第二光接收器与多主扫描器和较少分辨的1550nm敏感阵列共同定位，例如，InGaAs)。这两个单独的接收器或两行像素将被定位为光学中心与扫描仪的轴对齐。
在至少一些实施例中，扫描仪405可以在缩小的视场上操作，以提供更快的扫描和每度视场的更多像素。这可以产生更高的相对角分辨率和更准确的时间分辨率。这种布置在图15中示出，其中曲线图1570对应于扫描仪405随时间的角度偏转。从扫描仪405延伸的实线表示完全视场。然而，如果视场限于图15中的虚线，则扫描仪405在曲线图1570上的虚线之间的区域中操作。接收器406被配置为仅接收来自缩小的视场的光。
使用上述技术(包括预期激活方法)，系统即使在雾或毛毛雨中也可以可靠地检测对象。提供了概率预测模型(例如贝叶斯模型)，其着眼于在非常短的时间间隔内到达像素的光子。首先到达的是采用最短路径并且在像素顺序扫描中从它们被发送到的方向完全返回的那些光子。考虑到这一点，选通像素(例如使用上述预期激活方法选通的那些像素)然后期望光以短的可预测间隔到达。使用这种预期激活方法不仅可以过滤环境光，还可以区分来自其他方向的光，例如，最终通过间接(即较长)路径行进的光，例如由雾或雨滴散射或偏转的那些光。
在传统相机中，即使具有强烈的前灯(特别是具有强大的前灯)，阵列中的像素也能看到在他们各自的光线方向的“束仓(bundle bin)”(对符合人类视觉分辨率(“AKA 20/20 Vision”)的系统为1/60度乘1/60度)中结束的所有光。较粗糙的系统(例如传统的激光雷达APD和SPADS)通常只能解析一个方形度，这比手机中的CMOS相机像素所能看到的光束大3600倍。因此，在这些传统的粗扫描激光雷达系统中，更多(更高比例的)杂散和部分散射的光在每个仓中结束。
当前灯发出的光线被雾或细雨散射时，它们会从它们应该行进的直线路径中消失。这有两个影响：1)它们遵循的任何散射路径被定义为较长的路径，其长于从光源到对象表面的直线光路，以及从该表面返回到检测器的直线返回路径。2)当光线偏离直线路径时，很可能最终会在不同的位置照亮表面，并且即使没有进一步的散射也会在SSA中的另一像素中结束。并且如果反射光在返回的路上被进一步散射，则它将在检测器的孔中以及直接在线像素附近的任何地方结束的可能性，甚至会更低。
因此，在所描述的系统中，使用结合像素的预期激活的脉冲发射来控制像素的激活，像素的接收将是高度选择性的并且滤除所有散射光中的绝大多数。每个像素仅看到行进最短路径并且恰好在预期时间到达的光。信号被减少(或滤波)到仅有由接收器中的选择性激活的像素捕获的光子(其中每个像素以特定纳秒激活)。系统可以只选择(或关注)被直接发射和直接反射的光线，实际接触到雾中的对象的表面的首先到达光子是那些在那里(对象的表面)行进了最短路径并且返回的光子。这在图16A中示出，其中由对象1608反射的未散射光1611被激活的像素1606i接收和检测，但是散射光1611'被引导到接收器的其他无效像素，因此未被检测到。类似地，如图16B所示，在三角形激光雷达系统中(其中来自扫描仪1605的光从对象1608以一定角度朝接收器1606反射)，通过雾或细雨散射的光1611'通常不会被激活的像素1606i检测到。
相反，从该方向到达(时间提前或者太晚)的在直接路径中被反射或散射的光可能被系统滤除。激活周期(例如，粗略扫描是从1纳秒到10纳秒，或者例如，细化扫描是100皮秒到500皮秒)越短，选择性越强，这有利于非散射光子。
将理解，流程图图示的每个块以及流程图图示中的块的组合(或上文关于一个或多个系统或系统的组合所解释的动作)可以由计算机程序指令实现。可以将这些程序指令提供给处理器以产生机器，使得在处理器上执行的指令创建用于实现在一个或多个流程图块中指定的动作的装置。计算机程序指令可以由处理器执行以使得由处理器执行一系列操作步骤以产生计算机实现的过程，从而使得在处理器上执行的指令提供用于实现在一个或多个流程图块中指定的动作的步骤。计算机程序指令还可以使得在流程图的块中所示的至少一些操作步骤并行执行。此外，一些步骤也可以跨多个处理器执行，例如可能出现在多处理器计算机系统中。此外，流程图中的一个或多个块或块的组合也可以与其他块或块的组合同时执行，或者在不脱离本发明的范围或精神的情况下，甚至可以以与所示顺序不同的顺序执行。
另外，在一个或多个步骤或块中，可以使用嵌入式逻辑硬件来实现，例如，专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程阵列逻辑(PAL)等，或者其组合，而不使用计算机程序。嵌入式逻辑硬件可以直接执行嵌入式逻辑，以执行在一个或多个步骤或块中的一些或全部动作。此外，在一个或多个实施例中(图中未示出)，一个或多个步骤或块中的一些或全部动作可以由硬件微控制器而不是CPU执行。在一个或多个实施例中，微控制器可以直接执行其自己的嵌入式逻辑以执行动作并访问其自己的内部存储器和其自己的外部输入和输出接口(例如，硬件引脚和/或无线收发器)以执行动作，例如系统片上(SOC)等。
以上说明、示例和数据提供了对本发明组合物的制造和使用的完整描述。由于可以在不脱离本发明的精神和范围的情况下实现本发明的许多实施例，因此本发明存在于下文所附的权利要求中。

Claims (27)

1.一种用于测量到一个或多个对象的表面的范围的方法，所述方法包括：
a)由第一扫描仪在第一扫描通道中扫描视场上的连续光束；
b)由接收器检测从所述一个或多个对象的表面的一个或多个部分反射的所述连续光束的光子，其中，所述接收器包括多个像素；
c)由一个或多个处理器设备基于所述连续光束的光子从所述扫描仪的离开时间和所述光子在所述接收器处的到达时间，来确定到所述一个或多个对象的表面的所述一个或多个部分的粗略范围；
d)由所述第一扫描仪在第二扫描通道中扫描所述视场上的多个光脉冲；
e)由所述接收器检测从所述一个或多个对象的表面的所述一个或多个部分反射的来自所述多个光脉冲的光子；
f)由所述一个或多个处理器设备基于所述光脉冲的光子从所述扫描仪的离开时间和所述光子在所述接收器处的到达时间，来确定到所述一个或多个对象的表面的所述一个或多个部分的精细范围，以及
g)将步骤d)至f)重复一次或多次以进一步细化所述精细范围，其中，在每次重复中，用于该重复的光脉冲在时间上偏离来自每个先前扫描通道的光脉冲。
2.如权利要求1所述的方法，其中，确定所述粗略范围包括：基于所述接收器检测到光子的像素的位置，来确定所述光子的离开时间。
3.如权利要求1所述的方法，其中，所述光脉冲的脉冲宽度是如下项中的任一项：a)不大于1纳秒，或b)小于所述第二扫描通道的扫描时间除以所述接收器的单行中的像素数量。
4.如权利要求1所述的方法，还包括：将步骤d)至f)重复一次或多次，其中，在每次重复中，用于该重复的光脉冲具有与来自每个先前扫描通道的光脉冲不同的颜色。
5.如权利要求4所述的方法，其中，所述扫描仪包括多行像素，其中针对每种不同颜色的光脉冲，一行或多行像素被配置为检测该颜色的光。
6.如权利要求5所述的方法，其中，所述连续光束是近红外光束，并且所述接收器包括被配置为检测近红外光的一行或多行像素。
7.如权利要求1所述的方法，其中，扫描所述连续光束包括：由所述第一扫描仪和较慢的第二扫描仪的有序组合在所述第一扫描通道中扫描所述视场上的所述连续光束，其中，所述第二扫描仪沿着与所述第一扫描仪不同的轴进行扫描；以及
由所述第一扫描仪和所述第二扫描仪的有序组合在所述第二扫描通道中扫描所述视场上的所述多个光脉冲。
8.如权利要求7所述的方法，还包括：重复步骤a)至f)以扫描二维视场。
9.如权利要求8所述的方法，其中，还包括以下项中的一项或多项：
a)所述第一扫描仪和所述第二扫描仪的组合被配置为以聚焦模式扫描所述二维视场；或
b)所述第二扫描仪的扫描周期不超过所述第一扫描仪的扫描周期的1％；或
c)所述接收器包括间隔开的多行像素，用于考虑所述第二扫描仪相对于所述第一扫描仪的移动。
10.一种用于测量到一个或多个对象的表面的范围的系统，包括：
第一扫描仪，其被配置为在视场上扫描接收到的光；
接收器，其包括多个像素，其中，每个像素被配置为检测由该像素接收到的光子；
一个或多个存储器设备，其存储指令；以及
一个或多个处理器设备，其执行所存储的指令以执行动作，所述动作包括：
a)由所述第一扫描仪在第一扫描通道中扫描所述视场上的连续光束；
b)由所述接收器检测从所述一个或多个对象的表面的一个或多个部分反射的所述连续光束的光子；
c)由所述一个或多个处理器设备基于所述连续光束的光子从所述扫描仪的离开时间和所述光子在所述接收器处的到达时间，来确定到所述一个或多个对象的表面的所述一个或多个部分的粗略范围；
d)由所述第一扫描仪在第二扫描通道中扫描所述视场上的多个光脉冲；
e)由所述接收器检测从所述一个或多个对象的表面的所述一个或多个部分反射的来自所述多个光脉冲的光子；
f)由所述一个或多个处理器设备基于所述光脉冲的光子从所述扫描仪的离开时间和所述光子在所述接收器处的到达时间，来确定到所述一个或多个对象的表面的所述一个或多个部分的精细范围，以及
g)将动作d)至f)重复一次或多次以进一步细化所述精细范围，其中，在每次重复中，用于该重复的光脉冲在时间上偏离来自每个先前扫描通道的光脉冲。
11.如权利要求10所述的系统，其中，确定所述粗略范围包括：基于所述接收器检测到光子的像素的位置，来确定所述光子的离开时间。
12.如权利要求10所述的系统，其中，所述指令被配置为使得所述光脉冲的脉冲宽度是如下项中的任一项：a)不大于1纳秒，或b)小于所述第二扫描通道的扫描时间除以所述接收器的单行中的像素数量。
13.如权利要求10所述的系统，其中，所述动作还包括：将动作d)至f)重复一次或多次，其中，在每次重复中，用于该重复的光脉冲具有与来自每个先前扫描通道的光脉冲不同的颜色。
14.如权利要求13所述的系统，其中，所述扫描仪包括多行像素，其中，针对每种不同颜色的光脉冲，一行或多行像素被配置为检测该颜色的光。
15.如权利要求13所述的系统，其中，光源被配置为发射所述连续光束作为近红外光束，并且所述接收器包括被配置为检测近红外光的一行或多行像素。
16.如权利要求10所述的系统，其中，扫描所述连续光束包括：由所述第一扫描仪和较慢的第二扫描仪的有序组合在所述第一扫描通道中扫描所述视场上的所述连续光束，其中，所述第二扫描仪沿着与所述第一扫描仪不同的轴进行扫描；以及
由所述第一扫描仪和所述第二扫描仪的有序组合在所述第二扫描通道中扫描所述视场上的所述多个光脉冲。
17.如权利要求16所述的系统，还包括以下项中的一项或多项：
a)所述第一扫描仪和所述第二扫描仪的组合被配置为以聚焦模式扫描二维视场；或
b)所述第二扫描仪的扫描周期不超过所述第一扫描仪的扫描周期的1％。
18.如权利要求16所述的系统，其中，所述接收器包括间隔开的多行像素，用于考虑所述第二扫描仪相对于所述第一扫描仪的移动。
19.一种非暂态处理器可读存储介质，其包括用于测量到一个或多个对象的表面的范围的指令，其中，由一个或多个处理器设备执行所述指令使得所述一个或多个处理器设备执行动作，所述动作包括：
a)由第一扫描仪在第一扫描通道中扫描视场上的连续光束；
b)由接收器检测从所述一个或多个对象的表面的一个或多个部分反射的所述连续光束的光子，其中，所述接收器包括被布置在一个或多个行中的多个像素；
c)由一个或多个处理器设备基于所述连续光束的光子从所述扫描仪的离开时间和所述光子在所述接收器处的到达时间，来确定到所述一个或多个对象的表面的所述一个或多个部分的粗略范围；
d)由所述第一扫描仪在第二扫描通道中扫描所述视场上的多个光脉冲；
e)由所述接收器检测从所述一个或多个对象的表面的所述一个或多个部分反射的来自所述多个光脉冲的光子；
f)由所述一个或多个处理器设备基于所述光脉冲的光子从所述扫描仪的离开时间和所述光子在所述接收器处的到达时间，来确定到所述一个或多个对象的表面的所述一个或多个部分的精细范围，以及
g)将动作d)至f)重复一次或多次以进一步细化所述精细范围，其中，在每次重复中，用于该重复的光脉冲在时间上偏离来自每个先前扫描通道的光脉冲。
20.如权利要求19所述的非暂态处理器可读存储介质，其中，确定所述粗略范围包括：基于所述接收器检测到光子的像素的位置，来确定所述光子的离开时间。
21.如权利要求19所述的非暂态处理器可读存储介质，其中，所述光脉冲的脉冲宽度是如下项中的任一项：a)不大于1纳秒，或b)小于所述第二扫描通道的扫描时间除以所述接收器的单行中的像素数量。
22.如权利要求19所述的非暂态处理器可读存储介质，其中，所述动作还包括：将动作d)至f)重复一次或多次，其中，在每次重复中，用于该重复的光脉冲具有与来自每个先前扫描通道的光脉冲不同的颜色。
23.如权利要求22所述的非暂态处理器可读存储介质，所述扫描仪包括多行像素，其中，针对每种不同颜色的光脉冲，一行或多行像素被配置为检测该颜色的光。
24.如权利要求22所述的非暂态处理器可读存储介质，其中，所述连续光束是近红外光束，并且所述接收器包括被配置为检测近红外光的一行或多行像素。
25.如权利要求19所述的非暂态处理器可读存储介质，其中，扫描所述连续光束包括：由所述第一扫描仪和较慢的第二扫描仪的有序组合在所述第一扫描通道中扫描所述视场上的所述连续光束，其中，所述第二扫描仪沿着与所述第一扫描仪不同的轴进行扫描；以及
由所述第一扫描仪和所述第二扫描仪的有序组合在所述第二扫描通道中扫描所述视场上的所述多个光脉冲。
26.如权利要求25所述的非暂态处理器可读存储介质，还包括以下项中的一项或多项：
a)所述第一扫描仪和所述第二扫描仪的组合被配置为以聚焦模式扫描二维视场；或
b)所述第二扫描仪的扫描周期不超过所述第一扫描仪的扫描周期的1％。
27.如权利要求25所述的非暂态处理器可读存储介质，其中，所述接收器包括间隔开的多行像素，用于考虑所述第二扫描仪相对于所述第一扫描仪的移动。
CN201780076900.6A 2016-10-31 2017-10-31 利用动态体素探测的快速扫描激光雷达 Active CN110073243B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662496888P 2016-10-31 2016-10-31
US62/496,888 2016-10-31
PCT/US2017/059282 WO2018106360A2 (en) 2016-10-31 2017-10-31 Fast scanning lidar with dynamic voxel probing

Publications (2)

Publication Number Publication Date
CN110073243A CN110073243A (zh) 2019-07-30
CN110073243B true CN110073243B (zh) 2023-08-04

Family

ID=62021210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780076900.6A Active CN110073243B (zh) 2016-10-31 2017-10-31 利用动态体素探测的快速扫描激光雷达

Country Status (4)

Country Link
US (4) US10067230B2 (zh)
EP (1) EP3532863A4 (zh)
CN (1) CN110073243B (zh)
WO (1) WO2018106360A2 (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009049272A2 (en) 2007-10-10 2009-04-16 Gerard Dirk Smits Image projector with reflected light tracking
US12025807B2 (en) 2010-10-04 2024-07-02 Gerard Dirk Smits System and method for 3-D projection and enhancements for interactivity
WO2016025502A1 (en) 2014-08-11 2016-02-18 Gerard Dirk Smits Three-dimensional triangulation and time-of-flight based tracking systems and methods
JP6854828B2 (ja) 2015-12-18 2021-04-07 ジェラルド ディルク スミッツ 物体のリアルタイム位置検知
US9813673B2 (en) 2016-01-20 2017-11-07 Gerard Dirk Smits Holographic video capture and telepresence system
US12123950B2 (en) 2016-02-15 2024-10-22 Red Creamery, LLC Hybrid LADAR with co-planar scanning and imaging field-of-view
US10782393B2 (en) 2016-02-18 2020-09-22 Aeye, Inc. Ladar receiver range measurement using distinct optical path for reference light
US10042159B2 (en) 2016-02-18 2018-08-07 Aeye, Inc. Ladar transmitter with optical field splitter/inverter
US9933513B2 (en) 2016-02-18 2018-04-03 Aeye, Inc. Method and apparatus for an adaptive ladar receiver
US10908262B2 (en) 2016-02-18 2021-02-02 Aeye, Inc. Ladar transmitter with optical field splitter/inverter for improved gaze on scan area portions
US10067230B2 (en) * 2016-10-31 2018-09-04 Gerard Dirk Smits Fast scanning LIDAR with dynamic voxel probing
US10684358B2 (en) * 2016-11-11 2020-06-16 Raytheon Company Situational awareness sensor using a fixed configuration of optical phased arrays (OPAs)
CN110226184B (zh) 2016-12-27 2023-07-14 杰拉德·迪尔克·施密茨 用于机器感知的系统和方法
CN110431439B (zh) 2017-02-17 2024-08-09 艾耶股份有限公司 用于激光雷达脉冲冲突消除的方法和系统
US10634794B2 (en) * 2017-02-28 2020-04-28 Stmicroelectronics, Inc. Vehicle dynamic obstacle compensation system
CN110612465B (zh) 2017-05-10 2022-03-08 杰拉德·迪尔克·施密茨 扫描反射镜系统和方法
WO2019041274A1 (en) * 2017-08-31 2019-03-07 Sz Dji Technology Co. , Ltd. SEMICONDUCTOR LIGHT DISTANCE LIDAR DETECTION AND ESTIMATING SYSTEM SYSTEM AND METHOD FOR IMPROVING SEMICONDUCTOR LIGHT DISTANCE DETECTION AND LODAR ESTIMATION ESTIMATION
EP3682308B1 (en) 2017-09-15 2024-04-10 Aeye, Inc. Intelligent ladar system with low latency motion planning updates
WO2019079750A1 (en) 2017-10-19 2019-04-25 Gerard Dirk Smits METHODS AND SYSTEMS FOR NAVIGATING A VEHICLE EQUIPPED WITH A NEW MILITARY MARKER SYSTEM
WO2019148214A1 (en) 2018-01-29 2019-08-01 Gerard Dirk Smits Hyper-resolved, high bandwidth scanned lidar systems
KR20210013152A (ko) 2018-05-24 2021-02-03 더 리서치 파운데이션 포 더 스테이트 유니버시티 오브 뉴욕 정전 용량 센서
US10598788B1 (en) 2018-10-25 2020-03-24 Aeye, Inc. Adaptive control of Ladar shot selection using spatial index of prior Ladar return data
US10877264B2 (en) * 2018-11-20 2020-12-29 Infineon Technologies Ag Adaptive and context-aware micro-electro-mechanical systems (MEMS) mirror control
US11513223B2 (en) 2019-04-24 2022-11-29 Aeye, Inc. Ladar system and method with cross-receiver
DE102019207741A1 (de) * 2019-05-27 2020-12-03 Infineon Technologies Ag Ein LIDAR-System, ein Verfahren für ein LIDAR-System und ein Empfänger für ein LIDAR-System mit ersten und zweiten Umwandlungselementen
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
DE102019213812A1 (de) * 2019-09-11 2021-03-11 Robert Bosch Gmbh Optischer Sensor
CN110673133B (zh) * 2019-10-14 2020-09-04 航天科工微电子系统研究院有限公司 一种基于搜跟共轴的高精度目指雷达系统
CN110703223B (zh) * 2019-11-07 2023-06-30 上海禾赛科技有限公司 应用于激光雷达的调节方法和电子设备
FR3106417B1 (fr) * 2020-01-16 2022-01-28 Commissariat Energie Atomique Dispositif d’imagerie lidar cohérent
WO2021174227A1 (en) 2020-02-27 2021-09-02 Gerard Dirk Smits High resolution scanning of remote objects with fast sweeping laser beams and signal recovery by twitchy pixel array
US12099144B1 (en) * 2020-09-21 2024-09-24 Silc Technologies, Inc. Use of waveguide arrays in LIDAR systems
CN114355503B (zh) * 2020-10-13 2024-06-04 飞巽传感技术(上海)有限公司 一种光纤传感器的制造方法和系统
WO2022185308A1 (en) * 2021-03-04 2022-09-09 Rail Vision Ltd System and method for verifying a selection of an optical sensor
US20220308219A1 (en) 2021-03-26 2022-09-29 Aeye, Inc. Hyper Temporal Lidar with Controllable Detection Intervals Based on Environmental Conditions
US11635495B1 (en) 2021-03-26 2023-04-25 Aeye, Inc. Hyper temporal lidar with controllable tilt amplitude for a variable amplitude scan mirror
US11604264B2 (en) 2021-03-26 2023-03-14 Aeye, Inc. Switchable multi-lens Lidar receiver
US11630188B1 (en) 2021-03-26 2023-04-18 Aeye, Inc. Hyper temporal lidar with dynamic laser control using safety models
US11467263B1 (en) 2021-03-26 2022-10-11 Aeye, Inc. Hyper temporal lidar with controllable variable laser seed energy
US11448734B1 (en) 2021-03-26 2022-09-20 Aeye, Inc. Hyper temporal LIDAR with dynamic laser control using laser energy and mirror motion models
US11500093B2 (en) 2021-03-26 2022-11-15 Aeye, Inc. Hyper temporal lidar using multiple matched filters to determine target obliquity
GB2614872B (en) * 2021-11-26 2024-09-18 Guidance Automation Ltd Navigation module
US12244974B1 (en) * 2022-01-11 2025-03-04 Noah Buffett-Kennedy Vehicular projection system
US20230274462A1 (en) * 2022-02-28 2023-08-31 Basis Software, Inc. System and method for camera calibration
US20230394707A1 (en) * 2022-06-01 2023-12-07 Proprio, Inc. Methods and systems for calibrating and/or verifying a calibration of an imaging system such as a surgical imaging system
EP4390445A1 (de) * 2022-12-20 2024-06-26 RIEGL Laser Measurement Systems GmbH Vorrichtung zum vermessen einer umgebung

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008152647A2 (en) * 2007-06-15 2008-12-18 Ben Gurion University Of The Negev Research And Development Authority Three-dimensional imaging method and apparatus
WO2016168378A1 (en) * 2015-04-13 2016-10-20 Gerard Dirk Smits Machine vision for ego-motion, segmenting, and classifying objects

Family Cites Families (214)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4019262A (en) 1975-12-22 1977-04-26 The United States Of America As Represented By The Secretary Of The Navy Direct fire weapon trainer incorporating hit and data delay responses
GB2043940A (en) 1979-01-11 1980-10-08 Redifon Simulation Ltd Visual Display Apparatus
US5506682A (en) 1982-02-16 1996-04-09 Sensor Adaptive Machines Inc. Robot vision using targets
US5559322A (en) 1985-03-11 1996-09-24 Trw Inc. Imaging optical tracker
US4820041A (en) 1986-11-12 1989-04-11 Agtek Development Co., Inc. Position sensing system for surveying and grading
US5052820A (en) 1987-06-08 1991-10-01 Electric Power Research Institute, Inc. Thermal refractive materials for optical sensor application
JP2555611B2 (ja) 1987-06-26 1996-11-20 ミノルタ株式会社 マイクロ画像処理装置
US5115230A (en) 1989-07-19 1992-05-19 Bell Communications Research, Inc. Light-pen system for projected images
ATE138771T1 (de) 1990-01-31 1996-06-15 De La Rue Thomas & Co Ltd Bildverarbeitung
US5107122A (en) 1990-10-12 1992-04-21 Hughes Aircraft Company Sparse readout method and apparatus for a pixel array
WO1992018971A1 (en) 1991-04-22 1992-10-29 Evans & Sutherland Computer Corp. Head-mounted projection display system featuring beam splitter
US5245398A (en) 1991-06-21 1993-09-14 Eastman Kodak Company Time-multiplexed multi-zone rangefinder
US5218427A (en) * 1991-09-06 1993-06-08 Koch Stephen K Ranging system for three-dimensional object digitizing
DE4204821A1 (de) 1992-02-18 1993-08-19 Burkhard Katz Verfahren und vorrichtung fuer die praesentation von darstellungen vor den passagieren von sich bewegenden fahrzeugen
US5793491A (en) 1992-12-30 1998-08-11 Schwartz Electro-Optics, Inc. Intelligent vehicle highway system multi-lane sensor and method
US5455588A (en) 1993-03-01 1995-10-03 Lew; Hyok S. Method for determining target velocity by measuring phase shift
JPH07261920A (ja) 1994-03-17 1995-10-13 Wacom Co Ltd 光学式位置検出装置および光学式座標入力装置
DE69532662T2 (de) 1994-06-09 2005-02-10 Corporation For National Research Initiatives Hinweisvorrichtungsschittstelle
US5661506A (en) 1994-11-10 1997-08-26 Sia Technology Corporation Pen and paper information recording system using an imaging pen
DE69522423T2 (de) 1994-12-16 2002-04-11 Hyundai Electronics America Mi Digitalisierstift und Verfahren
US5677795A (en) 1995-01-10 1997-10-14 Hughes Aircraft Company Modular helmet-mounted display
JPH09212648A (ja) 1996-01-31 1997-08-15 Toshiba Corp 動画像処理方法
US5812664A (en) 1996-09-06 1998-09-22 Pitney Bowes Inc. Key distribution system
US6115022A (en) 1996-12-10 2000-09-05 Metavision Corporation Method and apparatus for adjusting multiple projected raster images
US5914783A (en) 1997-03-24 1999-06-22 Mistubishi Electric Information Technology Center America, Inc. Method and apparatus for detecting the location of a light source
JPH11119184A (ja) 1997-10-20 1999-04-30 Fujitsu General Ltd 液晶プロジェクタ用自動焦点装置
CA2310114A1 (en) 1998-02-02 1999-08-02 Steve Mann Wearable camera system with viewfinder means
US6130706A (en) 1998-03-25 2000-10-10 Lucent Technologies Inc. Process for determining vehicle dynamics
US6535182B2 (en) 1998-12-07 2003-03-18 Koninklijke Philips Electronics N.V. Head-mounted projection display system
US6545670B1 (en) 1999-05-11 2003-04-08 Timothy R. Pryor Methods and apparatus for man machine interfaces and related activity
US6727996B1 (en) 1999-05-25 2004-04-27 Silverbrook Research Pty Ltd Interactive printer
US6563105B2 (en) 1999-06-08 2003-05-13 University Of Washington Image acquisition with depth enhancement
JP2001045381A (ja) 1999-08-02 2001-02-16 Sony Corp 画像処理装置および方法、並びに媒体
US7262765B2 (en) 1999-08-05 2007-08-28 Microvision, Inc. Apparatuses and methods for utilizing non-ideal light sources
JP2001075736A (ja) 1999-09-06 2001-03-23 Canon Inc 座標入力装置
AU2001249133A1 (en) 2000-03-09 2001-09-17 The Johns-Hopkins University Force detected magnetic field gradiometer
JP3994672B2 (ja) 2000-03-31 2007-10-24 セイコーエプソン株式会社 画像処理を用いた指示位置の検出
JP2004503188A (ja) 2000-07-09 2004-01-29 スリーディーヴィー　システムズ　リミテッド スルー・ザ・レンズ・イルミネータを有するカメラ
US7289110B2 (en) 2000-07-17 2007-10-30 Human Messaging Ab Method and arrangement for identifying and processing commands in digital images, where the user marks the command, for example by encircling it
US6535275B2 (en) 2000-08-09 2003-03-18 Dialog Semiconductor Gmbh High resolution 3-D imaging range finder
DE60124647T2 (de) * 2000-09-26 2007-03-08 Fuji Photo Film Co., Ltd., Minami-Ashigara Vorrichtung und Verfahren zur Abstandsmessung
US20020039138A1 (en) 2000-09-29 2002-04-04 Edelson Steven D. Method and apparatus for automatically adjusting video panning and zoom rates
US6607527B1 (en) 2000-10-17 2003-08-19 Luis Antonio Ruiz Method and apparatus for precision laser surgery
US6704000B2 (en) 2000-11-15 2004-03-09 Blue Iris Technologies Method for remote computer operation via a wireless optical device
US6543899B2 (en) 2000-12-05 2003-04-08 Eastman Kodak Company Auto-stereoscopic viewing system using mounted projection
US6774869B2 (en) 2000-12-22 2004-08-10 Board Of Trustees Operating Michigan State University Teleportal face-to-face system
US7002549B2 (en) 2001-01-18 2006-02-21 Mccahon Stephen William Optically based machine input control device
US20020100884A1 (en) 2001-01-29 2002-08-01 Maddock Brian L.W. Digital 3-D model production method and apparatus
AU2002233323A1 (en) 2001-02-09 2002-08-28 Sensomotoric Instruments Gmbh Multidimensional eye tracking and position measurement system
US7203383B2 (en) 2001-02-22 2007-04-10 Thinkpen Llc Handwritten character recording and recognition device
JP4530571B2 (ja) * 2001-04-16 2010-08-25 Ｈｏｙａ株式会社 ３次元画像検出装置
CA2451659A1 (en) 2001-06-29 2003-01-09 Melvyn Lionel Smith Overhead dimensioning system and method
JP2003029201A (ja) 2001-07-11 2003-01-29 Canon Inc 画像投射装置及び画像補正方法
US6448576B1 (en) 2001-08-30 2002-09-10 Bae Systems Information And Electronic Systems Integration, Inc. Programmable chalcogenide fuse within a semiconductor device
DE50105156D1 (de) 2001-10-05 2005-02-24 Fraunhofer Ges Forschung Projektionsvorrichtung
KR20040096519A (ko) 2002-01-04 2004-11-16 뉴어오케이 엘엘씨 레트로 반사 스크린들을 채용하는 3차원 이미지 투영법
GB0203530D0 (en) 2002-02-14 2002-04-03 Lettington Alan H Scanning apparatus
US6894823B2 (en) 2002-04-26 2005-05-17 Corning Intellisense Llc Magnetically actuated microelectromechanical devices and method of manufacture
US7349553B2 (en) 2002-04-29 2008-03-25 The Boeing Company Watermarks for secure distribution of digital data
JP4147054B2 (ja) 2002-05-17 2008-09-10 オリンパス株式会社 立体観察装置
US20030222849A1 (en) 2002-05-31 2003-12-04 Starkweather Gary K. Laser-based user input device for electronic projection displays
US20040006424A1 (en) 2002-06-28 2004-01-08 Joyce Glenn J. Control system for tracking and targeting multiple autonomous objects
US20040041996A1 (en) 2002-08-28 2004-03-04 Fuji Xerox Co., Ltd. Range finder and method
JP4228131B2 (ja) 2002-10-11 2009-02-25 株式会社トプコン 位置測定装置
EP1557038A4 (en) 2002-10-30 2009-05-13 Nds Ltd INTERACTIVE DIFFUSION SYSTEM
US7119965B1 (en) 2003-02-24 2006-10-10 University Of Central Florida Research Foundation, Inc. Head mounted projection display with a wide field of view
DE10310372B4 (de) * 2003-03-10 2005-02-03 Siemens Ag Verfahren zur Übertragung von mobilen Programmen
JP4526771B2 (ja) * 2003-03-14 2010-08-18 株式会社半導体エネルギー研究所 半導体装置の作製方法
US7401920B1 (en) 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
JP4517601B2 (ja) 2003-07-09 2010-08-04 ソニー株式会社 投射型画像表示装置
US7359041B2 (en) 2003-09-04 2008-04-15 Avago Technologies Ecbu Ip Pte Ltd Method and system for optically tracking a target using a triangulation technique
JP3831946B2 (ja) 2003-09-26 2006-10-11 ソニー株式会社 撮像装置
JP4206928B2 (ja) 2004-01-19 2009-01-14 株式会社デンソー 衝突可能性判定装置
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US7182465B2 (en) 2004-02-25 2007-02-27 The University Of North Carolina Methods, systems, and computer program products for imperceptibly embedding structured light patterns in projected color images for display on planar and non-planar surfaces
JP2005249905A (ja) 2004-03-02 2005-09-15 Canon Inc 投射型表示装置
US7023536B2 (en) 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
EP1584946A3 (en) 2004-04-02 2006-03-22 Omron Corporation Method of adjusting monitor axis of optical sensors
US8153975B2 (en) 2004-12-01 2012-04-10 White Box, Inc. Interfacing devices and systems
US20060028328A1 (en) 2004-08-03 2006-02-09 Cresse William M Active anti-tailgating and collision warning system
JP2006047114A (ja) 2004-08-04 2006-02-16 Fujitsu Ten Ltd レーダ装置
JP4483703B2 (ja) 2004-08-04 2010-06-16 セイコーエプソン株式会社 プロジェクタ
US20060028374A1 (en) 2004-08-06 2006-02-09 Time Domain Corporation System and method for ultra wideband subarray beam steering
US8115728B2 (en) 2005-03-09 2012-02-14 Sharp Laboratories Of America, Inc. Image display device with reduced flickering and blur
US20060132447A1 (en) 2004-12-16 2006-06-22 Conrad Richard H Method and apparatus for automatically transforming functions of computer keyboard keys and pointing devices by detection of hand location
DE102004060576B4 (de) 2004-12-16 2017-12-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Projektor zur Bildprojektion
US7283301B2 (en) 2004-12-17 2007-10-16 Palo Alto Research Center Incorporated Emissive screen display with laser-based external addressing
US7232229B2 (en) 2004-12-17 2007-06-19 Palo Alto Research Center Incorporated Laser-based display with position sensitive detector
US7278745B2 (en) 2004-12-21 2007-10-09 Infocus Corporation Method and apparatus for adjusting relative disposition of projection optics based on operating conditions
US7375804B2 (en) 2005-03-01 2008-05-20 Lockheed Martin Corporation Single detector receiver for multi-beam LADAR systems
US7911444B2 (en) 2005-08-31 2011-03-22 Microsoft Corporation Input method for surface of interactive display
US7672504B2 (en) 2005-09-01 2010-03-02 Childers Edwin M C Method and system for obtaining high resolution 3-D images of moving objects by use of sensor fusion
US20090147239A1 (en) 2005-09-02 2009-06-11 Neptec Apparatus and method for tracking an object
JP4508049B2 (ja) 2005-09-05 2010-07-21 株式会社日立製作所 ３６０°画像撮影装置
US20060256133A1 (en) 2005-11-05 2006-11-16 Outland Research Gaze-responsive video advertisment display
US7787134B2 (en) 2005-11-09 2010-08-31 The Boeing Company Multiple fanned laser beam metrology system
WO2007069161A2 (en) 2005-12-13 2007-06-21 Koninklijke Philips Electronics, N.V. Device and method for laser safe operation
US7348528B2 (en) 2005-12-20 2008-03-25 Marshall Daniel R Distance measuring system
US8355117B2 (en) 2005-12-21 2013-01-15 Ecole Polytechnique Federale De Lausanne Method and arrangement for measuring the distance to an object
US9323055B2 (en) 2006-05-26 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
JP5119707B2 (ja) * 2006-06-29 2013-01-16 日本精工株式会社 伸縮軸
US20080018591A1 (en) 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
US7856185B2 (en) * 2006-08-04 2010-12-21 Emcore Corporation Wireless monitoring of optoelectronic modules and network components
GB0616838D0 (en) * 2006-08-25 2006-10-04 Moir Christopher I Velocity detector
US8259239B2 (en) 2007-01-18 2012-09-04 The Arizona Board Of Regents On Behalf Of The University Of Arizona Polarized head-mounted projection display
KR100939501B1 (ko) 2007-02-20 2010-01-29 재단법인대구경북과학기술원 2개의 투사형 영상을 제공하는 멀티미디어 재생 장치
WO2008106999A1 (en) 2007-03-08 2008-09-12 Trimble Ab Methods and instruments for estimating target motion
JP2008275460A (ja) 2007-04-27 2008-11-13 Mitsubishi Electric Corp レーダ装置
US8169447B2 (en) 2007-05-22 2012-05-01 International Business Machines Corporation Automatic color display conversion
US7667598B2 (en) * 2007-06-19 2010-02-23 Lockheed Martin Corporation Method and apparatus for detecting presence and range of a target object using a common detector
US9939233B2 (en) 2007-10-02 2018-04-10 Doubleshot, Inc. Laser beam pattern projector
WO2009049272A2 (en) 2007-10-10 2009-04-16 Gerard Dirk Smits Image projector with reflected light tracking
US7554652B1 (en) 2008-02-29 2009-06-30 Institut National D'optique Light-integrating rangefinding device and method
WO2009111003A1 (en) 2008-03-03 2009-09-11 David Chaum Hidden-code voting and marking systems
US20130293396A1 (en) 2008-03-15 2013-11-07 James R. Selevan Sequenced guiding systems for vehicles and pedestrians
US7905567B2 (en) 2008-05-16 2011-03-15 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Closed-loop printing registration systems, devices, components and methods
US8531650B2 (en) 2008-07-08 2013-09-10 Chiaro Technologies LLC Multiple channel locating
JP5450380B2 (ja) 2008-07-11 2014-03-26 パナソニック株式会社 画像処理装置、集積回路、および画像処理方法
JP2010025759A (ja) 2008-07-18 2010-02-04 Fuji Xerox Co Ltd 位置計測システム
JP5932332B2 (ja) 2008-07-28 2016-06-08 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 画像補正に対する修復技術の使用
US8462238B2 (en) 2008-11-04 2013-06-11 Ecole Polytechnique Fëdërale de Lausanne (EPFL) Camera design for the simultaneous capture of near-infrared and visible images
US20100142856A1 (en) 2008-12-10 2010-06-10 Shin Takeuchi Image reading apparatus, and reading method
US8213022B1 (en) 2009-03-04 2012-07-03 University Of Central Florida Research Foundation, Inc. Spatially smart optical sensing and scanning
US8810796B2 (en) 2009-04-21 2014-08-19 Michigan Aerospace Corporation Light processing system and method
EP3736558B1 (en) 2009-05-01 2025-02-19 Garrett Thermal Systems Ltd Particle detector
US8174374B2 (en) 2009-06-30 2012-05-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for coding digital information in lane markings using an optical sensor
DE102009029364A1 (de) 2009-09-11 2011-03-24 Robert Bosch Gmbh Messvorrichtung zur Messung einer Entfernung zwischen der Messvorrichtung und einem Zielobjekt mit Hilfe optischer Messstrahlung
CN102576156A (zh) 2009-10-20 2012-07-11 夏普株式会社 三维视频显示装置
US20110102763A1 (en) 2009-10-30 2011-05-05 Microvision, Inc. Three Dimensional Imaging Device, System and Method
US8384694B2 (en) 2009-11-17 2013-02-26 Microsoft Corporation Infrared vision with liquid crystal display device
US8573783B2 (en) 2010-03-01 2013-11-05 Gerard Dirk Smits Safety device for scanned projector and illumination systems
US8411135B2 (en) 2010-03-17 2013-04-02 Seiko Epson Corporation Methods to eliminate/reduce the crosstalk artifacts of the retro-reflective auto-stereoscopic 3D display
KR101190125B1 (ko) 2010-04-16 2012-10-11 주식회사 고영테크놀러지 3차원 형상 측정 방법
US9019503B2 (en) * 2010-04-19 2015-04-28 The United States Of America, As Represented By The Secretary Of The Navy MEMS microdisplay optical imaging and sensor systems for underwater and other scattering environments
US9151607B2 (en) 2010-05-31 2015-10-06 University Of North Carolina At Charlotte Dimensional measurement through a combination of photogrammetry and optical scattering
EP3410280A1 (en) 2010-06-11 2018-12-05 Microsoft Technology Licensing, LLC Object orientation detection with a digitizer
TWI540312B (zh) 2010-06-15 2016-07-01 原相科技股份有限公司 可提高測量精確度、省電及／或能提高移動偵測效率的時差測距系統及其方法
US9134799B2 (en) 2010-07-16 2015-09-15 Qualcomm Incorporated Interacting with a projected user interface using orientation sensors
US10739460B2 (en) 2010-08-11 2020-08-11 Apple Inc. Time-of-flight detector with single-axis scan
US9454014B2 (en) * 2010-09-08 2016-09-27 Dai Nippon Printing Co., Ltd. Illumination device, projection apparatus and projection-type image display apparatus
WO2012054231A2 (en) 2010-10-04 2012-04-26 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
US8636367B1 (en) 2010-10-15 2014-01-28 Magic Lantern, Llc System and method for controlling multiple beams illuminating projected images
KR101706093B1 (ko) 2010-11-30 2017-02-14 삼성전자주식회사 3차원 좌표 추출 시스템 및 그 방법
WO2012086070A1 (ja) 2010-12-24 2012-06-28 株式会社日立製作所 路面形状認識装置及びそれを利用した自律移動装置
US8957847B1 (en) 2010-12-28 2015-02-17 Amazon Technologies, Inc. Low distraction interfaces
US8780161B2 (en) * 2011-03-01 2014-07-15 Hewlett-Packard Development Company, L.P. System and method for modifying images
US8493573B2 (en) 2011-03-09 2013-07-23 The United States Of America As Represented By The Secretary Of The Army High-resolution optical position sensing with sparse, low-resolution detectors
US8953242B2 (en) 2011-03-31 2015-02-10 Honeywell International Inc. Varible focus stereoscopic display system and method
FR2975669B1 (fr) 2011-05-24 2013-07-05 Airbus Operations Sas Procede pour pointer une pluralite d'emplacements predetermines a l'interieur d'une structure, et systeme de pointage correspondant
US9026596B2 (en) 2011-06-16 2015-05-05 Microsoft Technology Licensing, Llc Sharing of event media streams
US8773512B1 (en) 2011-06-30 2014-07-08 Aquifi, Inc. Portable remote control device enabling three-dimensional user interaction with at least one appliance
CN102890574A (zh) 2011-07-21 2013-01-23 鸿富锦精密工业（深圳）有限公司 触控装置及使用该触控装置的鼠标
DE102011081428A1 (de) 2011-08-23 2013-02-28 Robert Bosch Gmbh Verfahren zum Bestimmen einer Objektklasse eines Objekts, von dem aus Licht zu einem Fahrzeug ausgesandt und/oder reflektiert wird
JP6199870B2 (ja) 2011-10-06 2017-09-20 レニショウ パブリック リミテッド カンパニーＲｅｎｉｓｈａｗ Ｐｕｂｌｉｃ Ｌｉｍｉｔｅｄ Ｃｏｍｐａｎｙ 測定方法
JP5783568B2 (ja) 2011-10-31 2015-09-24 国立大学法人九州大学 マイクロスキャナ
EP2589980A1 (de) * 2011-11-04 2013-05-08 Leica Geosystems AG Entfernungsmesser
JP5909365B2 (ja) 2012-01-05 2016-04-26 株式会社ミツトヨ 接触プローブ
CN103196550A (zh) 2012-01-09 2013-07-10 西安智意能电子科技有限公司 一种对发射光源的成像信息进行筛选处理的方法与设备
US20150253428A1 (en) 2013-03-15 2015-09-10 Leap Motion, Inc. Determining positional information for an object in space
EP2618175A1 (de) 2012-01-17 2013-07-24 Leica Geosystems AG Lasertracker mit Funktionalität zur graphischen Zielbereitstellung
EP2812775A1 (en) 2012-02-06 2014-12-17 Sony Mobile Communications AB Gaze tracking with projector
US8947755B2 (en) * 2012-02-21 2015-02-03 Hitachi-Lg Data Storage Inc. Optical scanning device and image display apparatus
US9131192B2 (en) 2012-03-06 2015-09-08 Apple Inc. Unified slider control for modifying multiple image properties
US10037017B2 (en) 2012-04-18 2018-07-31 Renishaw Plc Method of measurement on a machine tool and corresponding machine tool apparatus
US20130300670A1 (en) 2012-05-09 2013-11-14 Research In Motion Limited Computer input stylus with multiple antennas
WO2013188690A2 (en) 2012-06-15 2013-12-19 Michael Wang Projector based display systems and methods
US9562764B2 (en) * 2012-07-23 2017-02-07 Trimble Inc. Use of a sky polarization sensor for absolute orientation determination in position determining systems
US9134402B2 (en) 2012-08-13 2015-09-15 Digital Signal Corporation System and method for calibrating video and lidar subsystems
EP2711667A1 (de) 2012-09-21 2014-03-26 Baumer Electric AG Vorrichtung zur Entfernungsmessung
US8711370B1 (en) 2012-10-04 2014-04-29 Gerard Dirk Smits Scanning optical positioning system with spatially triangulating receivers
US8994780B2 (en) 2012-10-04 2015-03-31 Mcci Corporation Video conferencing enhanced with 3-D perspective control
US9854196B2 (en) 2012-11-28 2017-12-26 Beijing Lenovo Software Ltd. Head-mounted electronic device and audio processing method
US9703473B2 (en) 2013-01-24 2017-07-11 Facebook, Inc. Predicting touch input
CN105190417B (zh) * 2013-02-27 2018-07-13 视瑞尔技术公司 相位调制器
US20140273752A1 (en) 2013-03-13 2014-09-18 Applied Materials, Inc. Pad conditioning process control using laser conditioning
US9392225B2 (en) 2013-03-14 2016-07-12 Polycom, Inc. Method and system for providing a virtual cafeteria
US9041914B2 (en) 2013-03-15 2015-05-26 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
KR101762525B1 (ko) 2013-03-15 2017-07-27 애플 인크. 다수의 이미터들을 이용한 깊이 주사를 위한 장치 및 방법
WO2014197109A2 (en) 2013-03-22 2014-12-11 Seiko Epson Corporation Infrared video display eyewear
US9069080B2 (en) 2013-05-24 2015-06-30 Advanced Scientific Concepts, Inc. Automotive auxiliary ladar sensor
US9080866B1 (en) 2013-06-26 2015-07-14 Google Inc. Methods and systems for detection of reflective markers at long range
US20150091815A1 (en) 2013-10-01 2015-04-02 Avaya Inc. Method and Apparatus to Support Visually Impaired Users of Touchscreen Based User Interfaces
JP5944876B2 (ja) 2013-10-18 2016-07-05 増田　麻言 レーザ光を用いた距離測定装置
US20150225783A1 (en) 2014-02-10 2015-08-13 Lockheed Martin Corporation Nondestructive collection of evidence
US9952033B2 (en) * 2014-02-14 2018-04-24 Palo Alto Research Center Incorporated Spatial modulation of light to determine object length
JP6413291B2 (ja) 2014-03-27 2018-10-31 セイコーエプソン株式会社 虚像表示装置、およびヘッドマウントディスプレイ
JP6433268B2 (ja) 2014-03-31 2018-12-05 国立大学法人 東京大学 検査システムおよび検査方法
US20150286293A1 (en) 2014-04-03 2015-10-08 Qualcomm Incorporated Optical stylus with deformable tip
DE102015205826B4 (de) 2014-04-04 2020-03-12 pmdtechnologies ag Entfernungsmesssystem mit Lichtlaufzeitpixelzeile
DE112015001704T5 (de) 2014-04-07 2016-12-29 Samsung Electronics Co., Ltd. Bildsensor mit hoher Auflösung, Frame-Rate und niedrigem Stromverbrauch
DE112015002102T5 (de) 2014-05-02 2017-03-02 Fujifilm Corporation Abstandsmessvorrichtung, abstandsmessverfahren und abstandsmessprogramm
US10240082B2 (en) * 2014-06-30 2019-03-26 Schlumberger Technology Corporation Method for design of production wells and injection wells
US9335414B2 (en) * 2014-07-11 2016-05-10 Raytheon Company Frequency agile LADAR
DE202014103215U1 (de) 2014-07-11 2014-09-30 Christian Stroetmann Elektronisches, visuelles Gerät, das eine flexible beziehungsweise biegbare Vorrichtung zur optischen Signalisierung von veränderlichen Informationen, ein flexibles beziehungsweise biegbares Gehäuse mit mindestens einem Gelenk/Scharnier und ein Regel-/Steuerungssystem besitzt
WO2016025502A1 (en) 2014-08-11 2016-02-18 Gerard Dirk Smits Three-dimensional triangulation and time-of-flight based tracking systems and methods
KR102707805B1 (ko) * 2014-08-15 2024-09-24 에이아이, 아이엔씨. 레이저 레이더 전송을 위한 방법 및 시스템
CA2959335A1 (en) 2014-08-26 2016-03-03 Massachusetts Institute Of Technology Methods and apparatus for three-dimensional (3d) imaging
US10073177B2 (en) * 2014-11-14 2018-09-11 Massachusetts Institute Of Technology Methods and apparatus for phased array imaging
US10043091B2 (en) 2014-12-05 2018-08-07 Magna Electronics Inc. Vehicle vision system with retroreflector pattern recognition
GB2533388B (en) * 2014-12-17 2021-01-06 Sezanne Marine Ltd Aspects of a sonar system
CN107438754A (zh) 2015-02-10 2017-12-05 御眼视觉技术有限公司 用于自主车辆导航的稀疏地图
US10036801B2 (en) 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
US10698110B2 (en) 2015-03-05 2020-06-30 Teledyne Digital Imaging, Inc. Laser scanning apparatus and method
JP6312924B2 (ja) 2015-03-27 2018-04-18 三菱電機株式会社 撮像装置及び方法、操作装置及び方法、並びにプログラム及び記録媒体
KR101665938B1 (ko) 2015-04-28 2016-10-13 전자부품연구원 미러 회전 방식의 다채널 라이더 스캐너 광학계
US10527726B2 (en) 2015-07-02 2020-01-07 Texas Instruments Incorporated Methods and apparatus for LIDAR with DMD
US10620300B2 (en) * 2015-08-20 2020-04-14 Apple Inc. SPAD array with gated histogram construction
US9952036B2 (en) 2015-11-06 2018-04-24 Intel Corporation Systems, methods, and apparatuses for implementing maximum likelihood image binarization in a coded light range camera
WO2017095817A1 (en) 2015-11-30 2017-06-08 Luminar Technologies, Inc. Lidar system with distributed laser and multiple sensor heads and pulsed laser for lidar system
US9813673B2 (en) 2016-01-20 2017-11-07 Gerard Dirk Smits Holographic video capture and telepresence system
US20180113216A1 (en) 2016-10-25 2018-04-26 Innoviz Technologies Ltd. Methods Circuits Devices Assemblies Systems and Functionally Associated Machine Executable Code for Active Optical Scanning of a Scene
US10067230B2 (en) * 2016-10-31 2018-09-04 Gerard Dirk Smits Fast scanning LIDAR with dynamic voxel probing
US10452926B2 (en) 2016-12-29 2019-10-22 Uber Technologies, Inc. Image capture device with customizable regions of interest
US20190080612A1 (en) 2017-09-14 2019-03-14 Qualcomm Incorporated Navigation techniques for autonomous and semi-autonomous vehicles

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008152647A2 (en) * 2007-06-15 2008-12-18 Ben Gurion University Of The Negev Research And Development Authority Three-dimensional imaging method and apparatus
WO2016168378A1 (en) * 2015-04-13 2016-10-20 Gerard Dirk Smits Machine vision for ego-motion, segmenting, and classifying objects

Also Published As

Publication number Publication date
US20180120436A1 (en) 2018-05-03
CN110073243A (zh) 2019-07-30
US20210231803A1 (en) 2021-07-29
US10451737B2 (en) 2019-10-22
WO2018106360A2 (en) 2018-06-14
EP3532863A4 (en) 2020-06-03
US20200049823A1 (en) 2020-02-13
WO2018106360A3 (en) 2018-09-27
US20180364355A1 (en) 2018-12-20
US10067230B2 (en) 2018-09-04
US10935659B2 (en) 2021-03-02
EP3532863A2 (en) 2019-09-04

Similar Documents

Publication Publication Date Title
CN110073243B (zh) 利用动态体素探测的快速扫描激光雷达
US10725177B2 (en) Hyper-resolved, high bandwidth scanned LIDAR systems
US10502815B2 (en) Real time position sensing of objects
CN108885264B (zh) 对象的实时位置感测
US20220155585A1 (en) Scan mirror systems and methods
US11709236B2 (en) Systems and methods for machine perception
US20230015889A1 (en) Automatic parameter adjustment for scanning event cameras

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40012308

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant