[go: up one dir, main page]

CN104396226B - 用于提供白天场景和夜间场景的改进的图像的系统 - Google Patents

用于提供白天场景和夜间场景的改进的图像的系统 Download PDF

Info

Publication number
CN104396226B
CN104396226B CN201380031880.2A CN201380031880A CN104396226B CN 104396226 B CN104396226 B CN 104396226B CN 201380031880 A CN201380031880 A CN 201380031880A CN 104396226 B CN104396226 B CN 104396226B
Authority
CN
China
Prior art keywords
pixel
transfer gate
light source
gate
sensor array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380031880.2A
Other languages
English (en)
Other versions
CN104396226A (zh
Inventor
约阿夫·格劳尔
奥弗·大卫
亚阿拉·大卫
海姆·加滕
艾伦·克雷勃伊姆
莎伦·利夫希茨
奥伦·谢赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brightway Vision Ltd
Original Assignee
Brightway Vision Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brightway Vision Ltd filed Critical Brightway Vision Ltd
Priority to CN201710756745.4A priority Critical patent/CN107690050B/zh
Publication of CN104396226A publication Critical patent/CN104396226A/zh
Application granted granted Critical
Publication of CN104396226B publication Critical patent/CN104396226B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/621—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/621—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming
    • H04N25/622—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming by controlling anti-blooming drains
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/621—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming
    • H04N25/623—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming by evacuation via the output or reset lines
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H10F39/15—Charge-coupled device [CCD] image sensors
    • H10F39/157—CCD or CID infrared image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H10F39/15—Charge-coupled device [CCD] image sensors
    • H10F39/158—Charge-coupled device [CCD] image sensors having arrangements for blooming suppression
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H10F39/18—Complementary metal-oxide-semiconductor [CMOS] image sensors; Photodiode array image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H10F39/18—Complementary metal-oxide-semiconductor [CMOS] image sensors; Photodiode array image sensors
    • H10F39/186—Complementary metal-oxide-semiconductor [CMOS] image sensors; Photodiode array image sensors having arrangements for blooming suppression
    • H10F39/1865—Overflow drain structures
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/803—Pixels having integrated switching, control, storage or amplification elements
    • H10F39/8037—Pixels having integrated switching, control, storage or amplification elements the integrated elements comprising a transistor
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/805—Coatings
    • H10F39/8053—Colour filters
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/809—Constructional details of image sensors of hybrid image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本文提供了一种为交通工具内的观看者提供日间场景和夜间场景的改进的图像的系统。该系统包括：在单像素级具有完全掩蔽的栅极断开能力的像素阵列传感器，其中，像素阵列传感器在单像素级设置有固有的抗高光溢出能力；其中，通过相应的具有高转移栅极效率的转移栅极晶体管对每个像素进行栅控。该系统还包括栅控单元和处理单元，该栅控单元被配置为用脉冲或连续波调制的有源光源和无源光源控制转移栅极晶体管以从传感器产生同步感测信号，其中单个脉冲足以覆盖传感器的整个视场和照射的场景的整个景深；处理单元被配置为接收同步的感测信号并对其进行处理。

Description

用于提供白天场景和夜间场景的改进的图像的系统
技术领域
本发明涉及成像系统领域，并且，更具体地涉及通过每次读出帧多个栅控低噪声像素进行有源和/或无源成像的方法。
背景技术
名称为“vehicle mounted night vision imaging system and method(车载夜视成像系统和方法)”的第US 7,733,464 B2号美国专利，教导了一种用于改善机动交通工具在低能见度环境期间(夜间或例如雨和雪等低能见度情况的夜间)能见度情况的装置和方法。在前述专利中描述的系统是基于栅控成像技术(即成像传感器利用反射的光信号)。另外，上述系统执行基于使用光电阴极和/或微通道板的图像增强技术的传感器。这种类型的图像增强技术在交通工具环境中具有固有的缺点；由于高温(高于50摄氏度)导致灵敏度丧失，由于太阳辐射照度导致灵敏度丧失，由于投影到光电阴极的恒定静态图像，暂态噪声和50dB以上的场景间动态范围内高光溢出(色饱和度)导致灼伤影响。这种类型的图像增强技术根据WASSENAAR安排或导致在例如高级驾驶员辅助系统(ADAS)的民用应用中的困难的等效出口控制权也被定义为出口控制项目。另外，上述专利中描述的系统由于上述缺点不提供给驾驶员任何白天成像能力。
名称为“measuring distances with a camera(用摄像机测量距离)”的第EP 1118 208 B1号欧洲专利教导了一种关于使用被称为“3D摄像机”的摄像机进行测量距离的装置和方法。用复位开关和至少一个单栅极开关或通过场效应晶体管(FET)用复位开关和至少一个单调制器对多个栅控像素设计进行描述。这些像素设计具有包含储能电容器和放大器的积分器。这些在'208 B1专利中描述的这些栅控像素设计由于复位噪声电平(也称为“KTC”噪声)在低亮度级信号方面(如在栅控成像交通工具应用方面)具有低性能，复位噪声电平在用像素中的放大器反馈呈现的积分器机械装置中是固有的。另外，在像素积分器中的噪声电平和信号累积当在上述专利中断开时没有被提到。像素到像素分离之间的抗高光溢出比率是基于耦合和同步到光源上的栅控像素阵列的成像传感器中的重要特征。在这种系统结构中，栅控像素由于在观察和/或测量的场景中的高反射物体(即后向反射器，垂直于成像传感器/光源的反射镜等)可为高光溢出的(即饱和的，甚至高达超过标称未饱和信号三个量级以上)。在上述专利中并未描述像素到像素分离之间的抗高光溢出比率。
发明内容
本发明的一个方面提供了一种用于为观看者提供日间和夜间场景的改进的图像的系统。根据本发明实施例的系统可以可操作地与任何移动平台相关联。在一个非限制性的实施例中，运动平台为交通工具。然而据了解，本文中交通工具的任何叙述可表明与任何移动平台一起使用。在一个实施例中，该系统位于交通工具内。该系统可以包括：在单像素级具有完全掩蔽的栅极关闭能力的像素阵列传感器，其中，像素阵列传感器在单像素级被设置有固有的抗高光溢出能力；其中，通过相应的具有高转移栅极效率的转移栅极晶体管对每个像素进行栅控。该系统还包括栅控单元，该栅控单元被配置为用脉冲或连续调制的波的有源光源(即如激光，LED，人工光源等的栅控系统的光源部分)和无源光源(即在无源这个意义上，光源不是如LED，人工光源等的栅控系统的一部分，但都位于栅控系统视场[FOV])控制转移栅极晶体管以从传感器产生同步传感信号，其中通过有源光源的单个脉冲足以覆盖传感器的整个视场和照明的场景的领域的整个深度；和处理单元，其被配置为接收同步的感测信号并对其进行处理，以产生改进的场景图像。在一些实施例中，像素阵列传感器可位于交通工具内，并且因此通过交通工具的挡风玻璃衰减来自场景的反射。
本发明的另一个方面提供了一种用于增强安装在适用于不同的光照条件下的交通工具上的成像系统的方法。该方法包括控制同步至栅控照射源的至少单像素的“开启”和“关闭”时间，所述照射源可以是有源(即系统的部分)或无源(即在无源这个意义上，光源不是如LED，人工光源等的栅控系统的部分，但位于栅控成像系统FOV内)。在本技术中，当像素处于“开启”的持续时间，它将累积从所需物体中传播的光脉冲并且当变为“关闭”持续时间时将忽略源自杂波源(如背景，高反射率物体，特定调制等)的脉冲。一旦光的所有所需脉冲在像素浮动扩散区(FD)中累积或采用像素存储的其它方法，那么信号被读出以提供单个帧图像。所公开的技术提供了许多优于现有技术的优点，优点当中的一部分优点是：
通过所需的光信号(脉冲或调制)的累积和减少背景信号的累积具有较好的信噪比(SNR)图像。
具有40dB量级的高抗内场景动态范围。对于多个栅控像素阵列，在饱和像素到分开的第三像素之间的抗高光溢出比率高于1000(60dB)，并且所需的约为10,000(80dB)。
能够同步至源自脉冲的或调制的光源的多个栅控像素瞬时视场(IFOV)中的脉冲的或调制的光。
能够用反射回至多个栅控像素IFOV的同步光源进行直接的飞行时间(TOF)成像。
能够栅控至少单个单像素和/或栅控至少单个像素阵列。
本发明的实施例还包括以下方面：
(1)一种用于提供白天场景和夜间场景的改进的图像的系统，所述系统包括：
像素阵列传感器，所述像素阵列传感器在单像素级具有掩蔽栅极断开能力，其中所述像素阵列传感器在单像素级设置有固有的抗高光溢出能力，其中，通过相应的具有高转移栅极效率的转移栅极晶体管对每个像素进行栅控；和
栅控单元，所述栅控单元被配置为控制所述像素阵列传感器的所述转移栅极晶体管，以便在像素的每次单个读出时基于指定的曝光参数累积一系列多次曝光。
(2)根据(1)所述的系统，其中所述像素阵列传感器附接至移动平台。
(3.)根据(1)所述的系统，其中所述栅控单元被配置为用同步脉冲光源进行操作。
(4)根据(1)所述的系统，其中所述栅控单元被配置为用非同步光源进行操作。
(5)根据(1)所述的系统，其中所述栅控单元还被配置为通过独立控制至少两个像素群处的像素的转移栅极晶体管，用不同的栅控参数来同时栅控所述至少两个像素群。
(6)根据(5)所述的系统，其中所述不同栅控参数包括关于一个或多个光源的同步参数，以针对不同的像素群来匹配不同的场景体积。
(7)根据(5)所述的系统，其中对不同像素群中的每个像素群执行所述不同栅控参数，从而执行对信号的独立的累积。
(8)根据(1)所述的系统，其中在所述单像素级的所述固有抗高光溢出能力在所述像素阵列的饱和像素和第二相邻像素之间表现为至少60dB的比率。
(9)根据(1)所述的系统，其中所述像素传感器阵列还被配置为以除了栅控模式的至少一个模式进行操作。
(10)根据(1)所述的系统，其中所述像素中的低噪声通过在所述周期期间复位其电势电压来实现而没有光源脉冲或光源调制，因此减少了在所述光电二极管中的寄生噪声。
(11)根据(1)所述的系统，其中，通过设定所述像素到所述转移栅极的浮动扩散区之间的高电位电压来实现所述高转移栅极效率，因此能够形成强电场，即电荷载流子有较高概率被抽取到所述浮动扩散区。
(12)根据(1)所述的系统，其中通过设置所述转移栅极的物理尺寸来实现所述高转移栅极效率，使得在所述光电二极管侧的所述转移栅极明显地大于在所述浮动扩散区侧的转移栅极。
(13)根据(1)所述的系统，其中通过将所述光电二极管侧的所述转移栅极设置为基本上没有孔来实现所述高转移栅极效率。
(14)根据(1)所述的系统，其中所述像素被配置为检测覆盖从400nm到1100nm的范围内的光。
(15)根据(1)所述的系统，其中所述像素被配置为检测覆盖从700nm到2μm的范围内的光。
(16)根据(1)所述的系统，其中所述像素阵列传感器被配置为结合滤色器进行操作。
(17)根据(1)所述的系统，其中，所述有源光源脉冲或有源光源调制是在约800nm的NIR。
(18)根据(1)所述的系统，其中，所述像素阵列传感器足够灵敏以检测来自约20m和200m之间的距离的反射，其中所述反射在到达所述像素阵列传感器之前以至少两个数量级衰减。
本发明的这些另外的和/或其他方面和/或优点是：将在以下详细说明中进行陈述；可能从详细说明中推断出；和/或通过实施本发明而得知。
附图说明
根据结合附图的实施例的详细说明可以更容易地理解本发明，在附图中：
图1是根据本发明的一些实施例描绘了“可栅控的”像素的示意电路图；
图2和图3是示出了根据本发明的一些实施例的方面的时间图；
图4A-4C示出了根据本发明一些实施例的示例性实施的仿真中使用的公式和单位；以及
图5示出了根据本发明的一些实施例的示例性实施的仿真曲线图。
具体实施方式
在详细说明本发明的至少一个实施例之前，应当明确的是，本发明的不将其应用限于以下说明书中所阐述或附图中所示的结构和布置的细节。本发明适用于以各种方式实践或实施其它的实施例。此外应当理解的是，本文所使用的措辞和术语是用于描述的目的，而不应视为限制。
图1示出了可以由互补金属氧化物半导体(CMOS)标准制造技术提供的“可栅控的”像素示意图。光的每个脉冲(即每一个栅极)被可以是引脚式PD的光电二极管(PD)转换为成比例的电信号。从PD所产生的电信号被电场转移到浮动扩散区(FD)，其充当累积每个转换的光脉冲的积分器(即电容器)。两个可控的像素信号产生像素栅极；转移栅极晶体管(TX1)和抗高光溢出晶体管(TX2)。抗高光溢出晶体管有三个主要目标；第一是当耦合到TX1(即TX2从开启变为关闭或TX2从关闭变为开启)时作为单个光脉冲栅控机构的部分，第二是防止PD中产生的不需要的寄生信号在PD中在时间TX1为关闭期间(即PD复位)不被累积，第三是引导当TX1为开启时源自PD的过量电信号，因此，具有抗高光溢出作用。抗高光溢出晶体管TX2可控的信号作为结束单个累积的光脉冲光学开关。转移栅极晶体管(TX1)仅在期望的时间和仅仅对于耦合到TX2的期望的持续时间内被接通。一旦所有光脉冲都在FD中被累积，则信号被读出以提供单一的帧图像。
多个栅控低噪声像素可以在“可栅控的”PD，TX1，TX2和PD配置之后有标准的电信号链。该标准电信号链可以包括起到使用像素电压(VDD)对FD进行电荷充电作用的复位晶体管(RST)，可以包括将将累积的信号(即电子)转换为电压的源极跟随(SF)晶体管，并且可以包括连接到像素阵列的列和/或行的选择(SEL)晶体管。
该电路原理图描绘了具有最少五个晶体管(“5T”)的“可栅控的”像素。正如图2和图3在下文描述的那样，本像素配置可以以“可栅控的”时序运行。另外，该像素也可以以标准的5T像素时序运行或以标准的4T像素时序运行。这种通用操作配置(即栅控序列或标准5T或标准4T)能够运行不同的光照条件下的像素。例如，以有源栅控模式在微光级期间栅控时序(有栅控照明)，在夜间期间微光期间的4T时序(无照明)和白天期间高光级期间的5T时序。描绘了“可栅控的”像素的该电路原理图还可以具有关于内部相关双采样(CDS)和/或关于高动态范围(HDR)的附加的电路。添加这种附加电路减小了光敏填充因子(即像素的灵敏度)。
图2示出了关于有源栅控成像的多个栅控低噪声像素阵列时序的流程图，其中每个光源(例如源自激光器和/或LED和/或弧光或任何其他的有源栅控成像系统触发的光源)反射的脉冲被同步到每个像素栅极事件。通过以下步骤阐述时序(不按比例)，其中每个步骤表示一段时间并且在一个黑单元中表示信号接通。所有的步骤在流程图中会更清楚：
步骤A1：像素选择晶体管(SEL)为接通时提供源自所有阵列的行的特定行阵列选择；并且像素抗高光溢出(TX2)接通(即VSS电压电平低于VDD)时，使得在PD产生的不期望的寄生信号不在PD中累积。
步骤A2：像素复位晶体管(RST)为接通时使得像素的FD被完全用电荷进行部署，并且像素抗高光溢出(TX2)接通，使得在PD中产生的不需要的寄生信号不在PD中累积。
步骤A3：在至少一个单个期望的曝光(即栅极)累积之前，像素复位信号被采样，提供像素FD信号电平。像素复位信号可以在步骤A18中被从像素信号采样中减去，以消除偏置信号(因此外部完成CDS至配置如图1所示的栅控配置中的像素)。抗高光溢出(TX2)接通时，使得在PD中产生的不期望的寄生信号不在PD中累积。
步骤A4：产生光源脉冲(有源栅控成像的一部分)，且抗高光溢出(TX2)接通，使得在PD中产生的不需要的寄生信号不在PD中累积。
步骤A5：光源(有效栅控成像的一部分)的脉冲传播到期望的距离并反射回像素，且抗高光溢出(TX2)转换到关闭时，使得在PD中产生的初始信号通过转移栅极(TX1)进行转移。
步骤A6：像素转移晶体管(TX1)转换到接通，将在PD中产生的电信号转移到FD，随后，抗高光溢出(TX2)转回接通时，结束单栅极转移事件，并使得在PD中产生的不期望的寄生信号不在PD中累积。TX1接通周期等于或短于光脉冲时间以累积期望脉冲反射信号，并减少背景信号累积。
步骤A7：像素转移晶体管(TX1)为关闭并且抗高光溢出(TX2)接通，使得在PD产生的不期望的寄生信号不在PD中累积。
步骤A8：类似于步骤A4，但相对于步骤A4可具有不同的时序。例如，步骤4持续时间为1μsec(半峰全宽)，而步骤A8持续时间是0.5μsec或步骤A4持续时间为1μsec而步骤A8持续时间为1.5μsec等。
步骤A9：类似于步骤A5，但相对于步骤A5可具有不同的时序，在像素FOV中提供不同的累积起始距离。例如，步骤A5的持续时间为1μsec(即等于光在自由空间中传播约150m的起始距离)，而步骤A9持续时间是0.5μsec(即等于光在自由空间传播约75m的起始距离)。
步骤A10：类似于步骤A6，但相对于步骤A6可具有不同的时序，以在步骤A8中累积光源脉冲持续时间(等于或短于光脉冲时间)。时间提供在像素FOV中的不同的累积景深距离。例如，步骤A6持续时间为1μsec(即等于光在自由空间传播的约为150m的景深)，而步骤A10为0.6μsec(即等于光在自由空间传播的约为90m的景深)。
步骤A11：类似于步骤A7，但相对于步骤A7可有不同的时序。
步骤A12-步骤A15：类似于步骤A4-步骤A7和步骤A8-步骤A11，但如上所述可具有不同的时序。像素栅极(曝光和累积)可每次像素读出进行一次、两次或#X栅极(事件)。
步骤A16：至少一个单栅极转移事件之后，抗高光溢出(TX2)可以接通，使得在PD中产生的不期望的寄生信号不在PD中累积。
步骤A17-步骤A18：提供了标准像素读出。当抗高光溢出(TX2)被接通时，使得在PD中产生的不期望的寄生信号不在PD和FD中累积，像素选择晶体管(SEL)被接通并且累积的像素信号被从FD经由源极跟随(SF)晶体管读出。
在每次读出具有多个栅控低噪声像素的阵列的有源栅控成像中，关于至少一个单光脉冲(即单栅极)的步骤A5持续时间和步骤A6持续时间的栅极晶体管(TX1)和抗高光溢出晶体管(TX2)的时序可从像素到像素或从像素阵列群到像素阵列群发生变化。这使得每个像素或像素阵列群在像素FOV中累积不同的景深距离和/或起始距离。
根据某些实施例，栅控单元还被配置为通过在至少两个像素群处独立地控制像素的转移栅极晶体管用不同的栅控参数同时栅控至少两个像素群。此外，不同的栅控参数可包括关于一个或多个光源的同步参数，以匹配不同像素群的不同场景体积。场景体积被定义为在场景中的体积部分，场景由边界(例如在像素FOV中不同景深距离和/或起始距离)进行限定。
图3示出了无源栅控成像的多个栅控低噪声像素阵列时序的流程图，其中像素栅极时序可被同步或不同步于外部光源(源自激光器和/或LED和/或弧光灯或不属于栅控成像系统的部分，但位于栅控成像系统FOV内的任何其他触发光源)，例如交通标志闪烁光源。与上述有源栅控成像时序相比，每个栅极(即像素曝光，其为TX1和TX2的函数)的无源栅控成像时序可不同步到脉冲光源。具有不同的时序的多个栅极(即曝光)提供了关于单像素读出的背景信号的充分的光源信号电平。时序通过步骤示出(不按比例)，其中每个步骤表示一段时间并且信号接通在黑单元中表示。所有的步骤在流程图中将会更清楚：
步骤B1：像素选择晶体管(SEL)接通，从所有的阵列行提供特定行阵列选择并且像素抗高光溢出(TX2)接通(即低于VDD的VSS电压电平)，使得在PD中产生的不期望的寄生信号不在PD中累积。
步骤B2：像素复位晶体管(RST)接通，使得像素FD被用电荷完全部署并且像素抗高光溢出(TX2)接通，使得在PD中产生的不期望的寄生信号不在PD中累积。
步骤B3：对像素复位信号进行采样，在累积至少一个单个期望的曝光(即栅极)之前提供像素FD信号电平。在步骤B18中可从像素信号采样减去像素复位信号，以消除偏置信号(因此外部完成CDS至如图1所示的栅控结构中的像素)。抗高光溢出(TX2)接通，使得在PD中产生的不期望的寄生信号不在PD中累积。
步骤B4：生成光源(不是栅控成像的部分但位于栅控成像系统FOV内)脉冲并且抗高光溢出(TX2)接通，使得在PD中产生的不期望的寄生信号不在PD中累积。
步骤B5：光源(不是栅控成像的部分但位于栅控成像系统FOV内)脉冲传播，并传输到像素并且抗高光溢出(TX2)关闭，使得在PD中产生的信号的开始通过转移栅极(TX1)进行转移。
步骤B6：像素转移晶体管(TX1)接通以转移PD中产生的电信号至FD随后抗高光溢出(TX2)转回接通，结束单栅极转移事件，并使得在PD中产生的不期望的寄生信号不在PD中累积。TX1闭合周期应等于或短于光脉冲的时间以累积所需的脉冲发送信号，并减少背景信号累积。
步骤B7：像素转移晶体管(TX1)断开用并且抗高光溢出(TX2)接通，使得在PD中产生的不期望的寄生信号不在PD中累积。
步骤B8：类似于步骤B4，但相对于步骤B4可具有不同的时序。例如，步骤B4持续时间为1μsec(半峰全宽)，而步骤B8中的持续时间为0.5μsec或步骤B4持续时间为1μsec而步骤B8持续时间为1.5μsec等。
步骤B9：类似于步骤B5，但相对于步骤B5可具有不同的时序，在像素FOV中提供不同的累积时间。例如，步骤5持续时间为1μsec而步骤B9的持续时间是0.5μsec。
步骤B10：类似于步骤B6，但相对于步骤B6可具有不同的时序以在步骤B8中累积光源脉冲持续时间(等于或短于光脉冲的时间)。时间提供了在像素FOV中的光源脉冲不同的持续时间的累积。例如，步骤B6的持续时间为1μsec而步骤B10为0.6μsec。
步骤B11：类似于步骤B7，但相对于步骤7可具有不同的时序。
步骤B12-步骤B15：类似于步骤B4-步骤B7和步骤B8-步骤B11，但如上所述可具有不同的时序。像素栅极(曝光和累积)可每次像素读出进行一次，两次或#X栅极(事件)。
步骤B16：至少一个单栅极转移事件之后，抗高光溢出(TX2)可以接通，使得在PD中产生的不期望的寄生信号不在PD中累积。
步骤B17-B18步：提供了标准像素读出。当抗高光溢出(TX2)接通时，使得在PD中产生的不期望的寄生信号不在PD中累积，像素选择晶体管(SEL)接通并且累积的像素信号被从FD经由源极跟随(SF)晶体管读出。
图3还示出了无源栅控成像的多个栅控低噪声像素阵列时序的流程图，其中像素栅极定时可累积外部光源(源自激光器和/或LED和/或弧光灯或不属于栅控成像系统的部分但位于栅控成像系统FOV内的任何其他连续光源)信号，例如太阳照射。至少单栅极(即曝光)可提供单像素读出中的充分的信号电平。时序通过步骤示出(不按比例)，其中每个步骤表示一段时间并且信号接通在黑单元中表示。
多个栅控低噪声像素中的关键特征中的一个关键特征是在栅极断开期间不透明。当像素栅极断开(即TX1在断开处和TX2在接通处)时在FD中产生的寄生电信号通过掩蔽FD(例如，通过在像素结构的金属层)和/或通过使用像素微透镜而减少，以引导光远离FD。在栅极断开电平期间不透明性需要尽可能的低，其中响应于被积分时间的光强除以的FD中收集的信号(栅控/非栅控和读出时间)应达到0.01％。该值需要处理下文解释的有源成像中的反向散射光强反射。
有源成像性能的控制参数为调制对比度，我们以等式(1)定义为“对比度”，考虑到空气光，其关于这点是来自被散射到系统的FOV并且反向散射的周围光源的光，其添加了目标和背景。
其中
I空气为促成至焦平面照射的空气光。对于夜视，有非常弱的或者没有空气光并且I空气≈0。使用窄带通滤波器(即光谱过滤器)可获得这个结果。对于恶劣天气的成像条件(例如灰尘或雾)，就必须把空气光考虑进去。下面给出了用于当图像传感器附近的人造源用来照射远处场景时预测空气反向散射对图像质量的影响的简便方法。据推测，照射器和成像系统之间的间隔与到FOV中最近照射的粒子的范围相比是小的。然后，在FOV内的空气的辐射率通过对在传感器和场景之间的路径上的所有照射粒子的反向散射的贡献进行求和来计算。其结果是：
其中，
I反向散射＝大气反向散射的辐射率[功率/面积]
R最小＝在FOV中从成像系统(和从照射器)到最近的照射粒子的范围[长度]
R最大＝从成像系统(和从照射器)到成像的场景的范围[长度]
P＝照射器的辐射强度[功率]
G＝相对于各向同性散射的大气粒子的反向散射增益[无量纲]
γ＝大气衰减系数或“消光系数”[长度-1]
F#l＝照射器光学器件的F数目[无量纲]
θl＝照射器光束发散度[角度]
X＝积分变量
在窄波长的照射器和通过大气的视线路径取为水平的情况下，大气衰减系数认为是恒定的。
图4和图5示出了多个栅控低噪声像素中的另一个关键特征：转移栅极晶体管(TX1)噪声(即转移效率)。图4提供了在仿真中使用的公式和单位，而图5示出了仿真的结果。在有源栅控成像中，眼睛和皮肤的安全标准可限制光源(例如激光，LED等)的光峰值功率，光平均光功率等。栅极晶体管(TX1)噪声(即转移效率)在这样的情况下可以是重要的参数。栅极晶体管(TX1)噪声(即转移效率)是电荷转移的不确定性水平的物理过程的结果。至少有三种不同的方法可在像素中实现以提供较高的栅极转移(TX1)效率：
●设置PD到FD之间的高电位电压能够形成强电场使得电荷载流子(即至少单电子)具有较高的概率被“拉”到FD。
●转移栅极的物理尺寸，主要是在TX1PD侧上。转移栅极(TX1)越大，到FD的栅极转移效率越大，反之亦然。
●转移栅极的物理结构，主要是在TX1PD侧上。转移栅极(TX1)越“无缺陷”(即没有“孔”)，到FD的栅极转移效率越大，反之亦然。
下面的实施例将说明像素信号、像素噪声电平(仅仅由于栅极转移)和像素SNR的影响。计算信号电平和噪声电平的示例(图5，曲线图#1)：
●在FD中的单个光脉冲累积信号(即单栅极转移)作为目标距离的函数。
●在FD中的单个光脉冲累积信号(即单栅极转移)的噪声电平作为目标距离和等于一个电子的噪声转移的函数。
●在FD中单个光脉冲累积信号(即单栅极转移)的噪声电平(仅由于栅极转移)作为目标距离和相当于10电子的噪声转移的函数。
计算像素SNR(图5，曲线图#2)的示例：
●SNR作为单个光脉冲累积信号(即单栅极转移)、等于单个电子的噪声转移和目标距离的函数。
●具有一百个光脉冲(即一百个栅极转移)等等。
●SNR作为单个光脉冲累积信号(即单栅极转移)、等于十个电子的噪声转移和目标距离的函数。
●具有一百个光脉冲(即一百个栅极转移)等等。
在有源栅控成像中，转移栅极晶体管(TX1)、抗高光溢出晶体管(TX2)和光源脉冲的上升时间和下降时间直接与景深距离分辨率/精度和起始距离分辨率/精度有关。
在无源栅控成像中，转移栅极晶体管(TX1)、抗高光溢出晶体管(TX2)和光源脉冲(不是栅控成像系统的部分，但位于栅控成像系统FOV内)的上升时间和下降时间直接与脉冲调制的信号累积有关。
多个栅控像素可具有超过12μm厚的外延层和/或高电阻率层作为起始材料，用于提供更高的近红外线的PD光谱响应(即直接与像素填充因数和量子效率有关)至50％以上的值的像素晶片。由于外延层较厚，所以光谱响应较大，但该像素的调制传递函数(MTF)较低。对于主要用于夜视应用的有源栅控成像，由于厚的外延层和/或高电阻率层导致的MTF降低与由于优选大于5μm*5μm的大像素尺寸导致的光谱响应是二阶关系(由于大的像素尺寸)。大像素需要累积更多的反射光信号(即更大的像素面积)，而无需低光度(例如低于0.1lux)期间的分辨率。
优选地，采用符合车载环境的CMOS技术来产生多个栅控像素和多个栅控传感器(即具有读出接口的像素阵列)；由于太阳辐射，所以高温储存和操作(高于50摄氏度)、灵敏度不会被损坏，由于恒定的静态图像投影到栅控像素，所以没有灼伤的效果。
优选地，在有源成像(即耦合到光源)或无源成像(即无源的意义指的是不属于栅控系统的一部分(如LED，人工光源等)但位于栅控成像系统FOV内的光源)中，在多个栅控像素和/或多个栅控传感器(即具有读出接口的像素阵列)的前面引入光谱滤波器，以减少环境光在白天、夜间和其他周围光条件的累积。光谱滤波器器可在像素阵列水平中作为镶嵌滤波器阵列(例如，在光传感器的方栅上排列光谱滤波器)来实现。滤波器模式还可以是：25％绿色，25％红色，25％蓝色和25％近红外(NIR)，因此，也被称为RGBN。该过滤器模式还可以是：50％透明(例如打开一个宽光谱的波长)，25％红色和25％NIR，因此也被称为CCRN。该过滤器模式还可以是：25％透明，25％在一个特定波长的NIR和25％在不同的特定波长的NIR，因此也被称为CRN(1)N(2)(例如C：450-850nm，R：650nm，N(1)：780-800nm和N(2)：810-850nm)。该过滤器模式还可以是绿色、红色、蓝色、透明和NIR的任意其他组合。
优选地，在有源成像(即耦合到偏振光源)或无源成像(即无源的意义指的是不属于栅控系统的一部分(例如LED，人工光源等)、但位于栅控成像系统FOV中的光源)中的多个栅控像素和/或多个栅控传感器(即具有读出接口的像素阵列)的前面引入偏振过滤器，以减少环境光在白天、夜间和其他周围光照条件的累积。
用反射回至多个栅控像素FOV的同步光源进行直接的TOF成像的能力，也可通过一些方法(例如执行步骤A1-A7而不是执行步骤A8，执行几次一系列的步骤A6-A7)实现，在每个序列之间具有短暂延迟ΔT。每个ΔT延迟累积ΔZ＝ΔT*C/2的景深的不同部分，其中，C是光的速度。例如步骤A6-A7的序列间的ΔT＝100nsec的延迟应将针对每个序列提供15m的景深。
虽然已相对于有限数目的实施例描述了本发明，但这些不应解释为对本发明范围的限制，而是作为优选实施例中的一些优选实施例的例证。其他可能的变化，修改和应用也在本发明的范围之内。因此，本发明的范围不应限于迄今为止已经描述的内容，而应根据所附权利要求及它们的法律等同物来确定。

Claims (17)

1.一种用于提供白天场景和夜间场景的改进的图像的系统，所述系统包括：
像素传感器阵列，所述像素阵列传感器在单像素级具有掩蔽栅极断开能力，其中所述像素传感器阵列在单像素级设置有固有的抗高光溢出能力，其中，通过相应的具有高转移栅极效率的转移栅极晶体管对每个像素进行栅控；和
栅控单元，所述栅控单元被配置为控制所述像素传感器阵列的所述转移栅极晶体管，以便在像素的每次单个读出时基于指定的曝光参数累积一系列多次曝光，
其中所述像素传感器阵列还被配置为以除了栅控模式的至少一个模式进行操作。
2.根据权利要求1所述的系统，其中所述像素传感器阵列附接至移动平台。
3.根据权利要求1所述的系统，其中所述栅控单元被配置为用同步脉冲光源进行操作。
4.根据权利要求1所述的系统，其中所述栅控单元被配置为用非同步光源进行操作。
5.根据权利要求1所述的系统，其中所述栅控单元还被配置为通过独立控制至少两个像素群处的像素的转移栅极晶体管，用不同的栅控参数来同时栅控所述至少两个像素群。
6.根据权利要求5所述的系统，其中所述不同栅控参数包括关于一个或多个光源的同步参数，以针对不同的像素群来匹配不同的场景体积。
7.根据权利要求5所述的系统，其中对不同像素群中的每个像素群执行所述不同栅控参数，从而执行对信号的独立的累积。
8.根据权利要求1所述的系统，其中在所述单像素级的所述固有抗高光溢出能力在所述像素传感器阵列的饱和像素和第二相邻像素之间表现为至少60dB的比率。
9.根据权利要求1所述的系统，包括在每一像素的光电二极管，其中所述像素中的低噪声通过在一周期期间复位其电势电压来实现而没有光源脉冲或光源调制，因此减少了在所述光电二极管中的寄生噪声。
10.根据权利要求1所述的系统，其中，通过设定所述像素到所述转移栅极晶体管的浮动扩散二极管之间的高电位电压来实现所述高转移栅极效率，因此能够形成强电场，即电荷载流子有较高概率被抽取到所述浮动扩散二极管。
11.根据权利要求1所述的系统，包括在每一像素的光电二极管，其中通过设置所述转移栅极晶体管的物理尺寸来实现所述高转移栅极效率，使得在所述光电二极管处的所述转移栅极晶体管大于在转移栅极的浮动扩散二极管一侧的转移栅极晶体管。
12.根据权利要求1所述的系统，包括在每一像素的光电二极管，其中通过将所述光电二极管处的所述转移栅极晶体管设置为没有孔来实现所述高转移栅极效率。
13.根据权利要求1所述的系统，其中所述像素被配置为检测覆盖从400nm到1100nm的范围内的光。
14.根据权利要求1所述的系统，其中所述像素被配置为检测覆盖从700nm到2μm的范围内的光。
15.根据权利要求1所述的系统，其中所述像素传感器阵列被配置为结合滤色器进行操作。
16.根据权利要求1所述的系统，包括在800nm的近红外的有源光源脉冲或有源光源调制。
17.根据权利要求1所述的系统，其中，所述像素传感器阵列足够灵敏以检测来自20m和200m之间的距离的反射，其中所述反射在到达所述像素传感器阵列之前以至少两个数量级衰减。
CN201380031880.2A 2012-04-18 2013-04-17 用于提供白天场景和夜间场景的改进的图像的系统 Active CN104396226B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710756745.4A CN107690050B (zh) 2012-04-18 2013-04-17 用于提供白天场景和夜间场景的改进的图像的系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261625756P 2012-04-18 2012-04-18
US61/625,756 2012-04-18
PCT/IL2013/050331 WO2013157001A1 (en) 2012-04-18 2013-04-17 Mulitple gated pixel per readout

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201710756745.4A Division CN107690050B (zh) 2012-04-18 2013-04-17 用于提供白天场景和夜间场景的改进的图像的系统

Publications (2)

Publication Number Publication Date
CN104396226A CN104396226A (zh) 2015-03-04
CN104396226B true CN104396226B (zh) 2017-09-22

Family

ID=49383020

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380031880.2A Active CN104396226B (zh) 2012-04-18 2013-04-17 用于提供白天场景和夜间场景的改进的图像的系统
CN201710756745.4A Active CN107690050B (zh) 2012-04-18 2013-04-17 用于提供白天场景和夜间场景的改进的图像的系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201710756745.4A Active CN107690050B (zh) 2012-04-18 2013-04-17 用于提供白天场景和夜间场景的改进的图像的系统

Country Status (7)

Country Link
US (3) US9088744B2 (zh)
EP (1) EP2839633B1 (zh)
JP (1) JP6243402B2 (zh)
KR (1) KR102039894B1 (zh)
CN (2) CN104396226B (zh)
IL (1) IL235069A0 (zh)
WO (1) WO2013157001A1 (zh)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL229983A (en) 2013-12-17 2017-01-31 Brightway Vision Ltd A pixel array sensor with independent controlled sub-pixel
IL233356A (en) * 2014-06-24 2015-10-29 Brightway Vision Ltd Sensor-based imaging system with minimum wait time between sensor exposures
KR102326464B1 (ko) * 2014-09-19 2021-11-12 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우. 양방향 디스플레이를 동작시키는 방법
IL235359A (en) * 2014-10-27 2015-11-30 Ofer David Simulates a wide-dynamic-range environment with a high intensity beam / reflector
IL239129A0 (en) * 2015-06-01 2015-11-30 Brightway Vision Ltd Image improvements in car imaging systems
US10291867B2 (en) 2015-07-08 2019-05-14 Sony Semiconductor Solutions Corporation Solid-state imaging element and driving method and electronic equipment
US10462391B2 (en) 2015-08-14 2019-10-29 Kla-Tencor Corporation Dark-field inspection using a low-noise sensor
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
US10313622B2 (en) * 2016-04-06 2019-06-04 Kla-Tencor Corporation Dual-column-parallel CCD sensor and inspection systems using a sensor
US10778925B2 (en) 2016-04-06 2020-09-15 Kla-Tencor Corporation Multiple column per channel CCD sensor architecture for inspection and metrology
KR102570305B1 (ko) * 2016-05-04 2023-08-24 삼성전자주식회사 전자 장치 및 그 제어 방법
IL247944B (en) 2016-09-20 2018-03-29 Grauer Yoav A pulsating illuminator with a configurable structure
US10147193B2 (en) 2017-03-10 2018-12-04 TuSimple System and method for semantic segmentation using hybrid dilated convolution (HDC)
US10762635B2 (en) 2017-06-14 2020-09-01 Tusimple, Inc. System and method for actively selecting and labeling images for semantic segmentation
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US10565457B2 (en) 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10762673B2 (en) 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10953881B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10953880B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10649458B2 (en) 2017-09-07 2020-05-12 Tusimple, Inc. Data-driven prediction-based system and method for trajectory planning of autonomous vehicles
US10552979B2 (en) 2017-09-13 2020-02-04 TuSimple Output of a neural network method for deep odometry assisted by static scene optical flow
US10671083B2 (en) 2017-09-13 2020-06-02 Tusimple, Inc. Neural network architecture system for deep odometry assisted by static scene optical flow
CN107745697A (zh) 2017-11-16 2018-03-02 北京图森未来科技有限公司 一种自动清洁系统及方法
WO2019140005A1 (en) 2018-01-09 2019-07-18 TuSimple Real-time remote control of vehicles with high redundancy
CN111989716B (zh) 2018-01-11 2022-11-15 图森有限公司 用于自主车辆操作的监视系统
KR102422767B1 (ko) 2018-01-19 2022-07-20 삼성전자주식회사 누설 전류를 감소시키기 위한 디스플레이 및 전자 장치
CN108270970B (zh) 2018-01-24 2020-08-25 北京图森智途科技有限公司 一种图像采集控制方法及装置、图像采集系统
US10752158B2 (en) 2018-02-07 2020-08-25 Massachusetts Institute Of Technology Methods and apparatus for imaging through fog
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
JP2019149615A (ja) * 2018-02-26 2019-09-05 コニカミノルタ株式会社 画像処理装置、画像読み取り装置及び画像形成装置
US10685244B2 (en) 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking
CN110378185A (zh) 2018-04-12 2019-10-25 北京图森未来科技有限公司 一种应用于自动驾驶车辆的图像处理方法、装置
US10598936B1 (en) * 2018-04-23 2020-03-24 Facebook Technologies, Llc Multi-mode active pixel sensor
CN116129376A (zh) 2018-05-02 2023-05-16 北京图森未来科技有限公司 一种道路边缘检测方法和装置
US11609328B2 (en) 2018-05-23 2023-03-21 Massachusetts Institute Of Technology Methods and apparatus for improved imaging through scattering media
US10565728B2 (en) 2018-06-01 2020-02-18 Tusimple, Inc. Smoothness constraint for camera pose estimation
US11023742B2 (en) 2018-09-07 2021-06-01 Tusimple, Inc. Rear-facing perception system for vehicles
US11019274B2 (en) 2018-09-10 2021-05-25 Tusimple, Inc. Adaptive illumination for a time-of-flight camera on a vehicle
CN118289018A (zh) 2018-09-13 2024-07-05 图森有限公司 远程安全驾驶方法和系统
US10942271B2 (en) 2018-10-30 2021-03-09 Tusimple, Inc. Determining an angle between a tow vehicle and a trailer
CN111292537B (zh) * 2018-12-06 2023-05-16 中国科学院长春光学精密机械与物理研究所 一种夜间车牌识别系统及方法
CN111366938B (zh) 2018-12-10 2023-03-14 北京图森智途科技有限公司 一种挂车夹角的测量方法、装置及车辆
CN111319629B (zh) 2018-12-14 2021-07-16 北京图森智途科技有限公司 一种自动驾驶车队的组队方法、装置及系统
US11823460B2 (en) 2019-06-14 2023-11-21 Tusimple, Inc. Image fusion for autonomous vehicle operation
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
AU2021203567A1 (en) 2020-06-18 2022-01-20 Tusimple, Inc. Angle and orientation measurements for vehicles with multiple drivable sections
CN113848702A (zh) 2020-06-26 2021-12-28 图森有限公司 自适应传感器控制
US11932238B2 (en) 2020-06-29 2024-03-19 Tusimple, Inc. Automated parking technology
US11899468B2 (en) * 2020-12-22 2024-02-13 Waymo Llc Sensor for flashing light detection
US12260518B2 (en) 2021-05-07 2025-03-25 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Single-pixel imaging through dynamic scattering media

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101715041A (zh) * 2009-11-20 2010-05-26 苏州东微半导体有限公司 半导体感光器件的控制方法
WO2010084493A1 (en) * 2009-01-26 2010-07-29 Elbit Systems Ltd. Optical pixel and image sensor

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07114472B2 (ja) * 1984-11-19 1995-12-06 株式会社ニコン 固体撮像素子の駆動方法
US5793424A (en) * 1996-04-22 1998-08-11 Visidyne, Inc. Synchronously gated high speed CCD imager system
AU9456198A (en) 1998-09-28 2000-04-17 3Dv Systems Ltd. Distance measurement with a camera
JP2001211386A (ja) * 2000-01-26 2001-08-03 Victor Co Of Japan Ltd 固体撮像装置
US6847070B2 (en) * 2000-08-09 2005-01-25 Dalsa, Inc. Five transistor CMOS pixel
US7088395B2 (en) * 2001-01-29 2006-08-08 Konica Corporation Image-capturing apparatus
WO2004013654A1 (en) 2002-08-05 2004-02-12 Elbit Systems Ltd. Vehicle mounted night vision imaging system and method
JP5361110B2 (ja) * 2004-10-20 2013-12-04 三星電子株式会社 非平面トランジスタを有する固体イメージセンサ素子及びその製造方法
US20070040922A1 (en) * 2005-08-22 2007-02-22 Micron Technology, Inc. HDR/AB on multi-way shared pixels
US8184188B2 (en) * 2009-03-12 2012-05-22 Micron Technology, Inc. Methods and apparatus for high dynamic operation of a pixel cell
JP5404112B2 (ja) * 2009-03-12 2014-01-29 キヤノン株式会社 固体撮像素子、その駆動方法及び撮像システム
KR101094246B1 (ko) * 2009-03-16 2011-12-19 이재웅 넓은 동적범위를 갖는 씨모스 이미지 센서
JP5661260B2 (ja) * 2009-07-16 2015-01-28 キヤノン株式会社 固体撮像装置及びその駆動方法
US20110080500A1 (en) 2009-10-05 2011-04-07 Hand Held Products, Inc. Imaging terminal, imaging sensor having multiple reset and/or multiple read mode and methods for operating the same
JP5211008B2 (ja) * 2009-10-07 2013-06-12 本田技研工業株式会社 光電変換素子、受光装置、受光システム及び測距装置
US9344647B2 (en) 2013-07-08 2016-05-17 Semiconductor Components Industries, Llc Imaging systems with dynamic shutter operation
JP2015109503A (ja) 2013-12-03 2015-06-11 ソニー株式会社 イメージセンサおよびイメージセンサの動作方法、撮像装置、電子機器、並びにプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010084493A1 (en) * 2009-01-26 2010-07-29 Elbit Systems Ltd. Optical pixel and image sensor
CN101715041A (zh) * 2009-11-20 2010-05-26 苏州东微半导体有限公司 半导体感光器件的控制方法

Also Published As

Publication number Publication date
US9219873B2 (en) 2015-12-22
EP2839633A1 (en) 2015-02-25
US20160050383A1 (en) 2016-02-18
IL235069A0 (en) 2014-12-31
US20150244960A1 (en) 2015-08-27
CN107690050A (zh) 2018-02-13
JP6243402B2 (ja) 2017-12-06
US9538113B2 (en) 2017-01-03
KR102039894B1 (ko) 2019-11-04
EP2839633B1 (en) 2019-03-20
JP2015518692A (ja) 2015-07-02
US20150076355A1 (en) 2015-03-19
US9088744B2 (en) 2015-07-21
EP2839633A4 (en) 2016-03-30
CN104396226A (zh) 2015-03-04
WO2013157001A1 (en) 2013-10-24
CN107690050B (zh) 2020-07-31
KR20140146198A (ko) 2014-12-24

Similar Documents

Publication Publication Date Title
CN104396226B (zh) 用于提供白天场景和夜间场景的改进的图像的系统
US9723233B2 (en) Controllable gated sensor
US9549158B2 (en) Controllable single pixel sensors
KR102677519B1 (ko) 물체까지의 거리를 결정하기 위한 시스템 및 방법
KR102165399B1 (ko) 센서 노출들 사이의 최소화된 지연 시간을 갖는 게이트된 센서 기반 이미징 시스템
US11665447B2 (en) Systems and methods for compensating for dark current in a photodetecting device
US20240255644A1 (en) Systems, methods and computer program products for generating depth images based on short-wave infrared detection information
US11810990B2 (en) Electro-optical systems, methods and computer program products for image generation
CN113056682B (zh) 光子系统及方法
Browder et al. Three-dimensional imaging sensors program
TWI804976B (zh) 用於補償在光電檢測裝置中的暗電流的系統及方法
TWI853424B (zh) 產生場景深度影像的系統、方法及電腦可讀媒體與識別物體材料的方法
US20250007239A1 (en) Passive q-switched lasers and methods for operation and manufacture thereof
Martin et al. A 640× 512 InGaAs camera for range-gated and staring applications

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant