CN113330734A - 用于同步基于帧和异步事件驱动的读取器的基于bdi的像素 - Google Patents

Abstract

一种混合的基于帧和事件驱动的像素，该像素包括基于帧的捕获电路、事件驱动的捕获电路、和与基于帧的捕获电路和事件驱动的捕获电路二者电通信的光电二极管，其中，基于帧的捕获电路为缓冲直接注入电路，并且其中，事件驱动的捕获电路为动态视觉系统电路。

Description

用于同步基于帧和异步事件驱动的读取器的基于BDI的像素

技术领域

本公开涉及像素，更具体地，涉及用于同步基于帧和异步事件驱动的读取器的基于缓冲直接注入(BDI)的像素。

背景技术

基于帧的成像器，在本文中也可称为常规或同步操作成像器，基于固定捕获间隔的使用。在此类成像器中，焦平面阵列(FPA)上的感兴趣区域(ROI)或整个像素阵列在每一帧中都被读取。基于帧的成像器的读取包括空间和时间冗余，因为并非所有数据在帧之间都发生了变化。这种数据复制和比必要信息更多的读取导致大幅面高帧率成像器的数据瓶颈。此外，逐帧读取整个阵列会导致高存储和功耗要求，其中大部分功率被浪费在从FPA传输冗余信息上。

随着成像格式和帧速率的不断提高，成像组件的功耗成为一个真正的问题，尤其是对于便携式设备、无人驾驶飞行器(UAV)和低功耗监视系统，通常使用这种基于帧的成像器。

异步读取，在本文中也可以称为事件驱动，通过捕获出现的场景动态，在机器视觉应用中取得进展，允许显著降低功耗和存储要求。这些事件驱动的读取通过避免读取场景中的空间和时间冗余来实现这种节能和最小化存储要求。然而，这些好处是以不捕获场景的详细内容内容为代价的，而这些内容对于导航和识别场景中的潜在感兴趣目标通常是必要的。

虽然已经提供了结合事件驱动和基于帧的像素技术的一些潜在解决方案，但是这些解决方案与本公开的解决方案相比具有缺点。例如，一种已知为“基于异步时间的传感器”或ATIS 100(图1中提供其示意图)的现有技术设备使用单片硅基结构[即像素阵列中的光电二极管基于硅，与互补金属氧化物半导体(CMOS)电路在同一晶片上制造]，需要两个光电二极管，每个都有自己的像素内电路[一个电路是动态视觉系统(DVS)电路102，另一个是基于时间的相关双采样(CDS)电路104]，这会导致较大的单元格，使其不适用于许多应用(单元格包含77个FET、2个电容器、和2个光电二极管，它们占据了可用单元格空间的约30％))，并且只允许非同时读取基于事件和帧的数据。这种设计与小像素不兼容。

用于将事件驱动的对数响应输入与允许同时异步和同步操作的基于帧的成像相结合的其它现有解决方案，包括被称为“动态和有源像素视觉传感器”或DAVIS 200的一种，其结合了具有有源像素传感器(APS)的DVS电路102，其示意图在图2中提供，已经集中于可见光成像器、目标机器视觉、和驾驶辅助辅助装置的商业市场。与图1中所示的ATIS 100一样，这些其它商业产品也是单片的，使用在CMOS基板中制造的光电二极管，以及用于基于帧的读取的可见APS 202样式输入。这些设计在有源像素传感器(V_aps)202的复位漏极(V_dr)和浮动扩散节点处的集成电容很小，这是基于为高灵敏度和与可见光成像相关的有限电荷容量而设计的寄生元件。这些小电容将非线性引入像素，降低了热成像性能。

这样的设计不能实现低光灵敏度，因此仅限于机器视觉和驾驶员辅助应用。此外，这样的尝试导致了额外的噪声、额外的暗电流和暗噪声、额外的源级跟随器噪声，并且不利于已被证明低噪声的4T像素设计。此外，这样的设计没有有效利用其设计中存在的电子元件，使用比操作所需更多的组件，因此增加了电路的尺寸，限制了其可实现的像素密度和性能。

这些故障至少部分是与使用具有显著不同波长的数据捕获场景相关联的挑战中的显著差异的结果。例如，当试图在光谱的可见光、近红外或短波红外部分捕获有关电磁辐射的数据时，暗区缺乏光子，这使得检测低光子通量事件具有难度。相反，当试图在光谱的热红外部分捕获有关电磁辐射的数据时，难度就变成了区分覆盖在大背景上的小信号。

因此，需要具有良好低光灵敏度的像素，其结合同步和异步事件驱动读取，允许同步和异步操作，提供有利于4T像素设计的低功率系统方法，捕获详细的场景内容，并以比当前可能更高的有效帧速率提供帧间场景动态更新，而不会向系统添加大量噪声，同时减少使用的组件数量。

发明内容

本公开提供了一种用于组合同步和异步读取的系统和方法，其允许实现相对低功率的系统，该系统能够捕获详细场景内容同时减少所需组件的数量并且以比目前可能使用纯同步技术更高的有效帧速率来提供帧间场景动态更新。这种低功耗、双模态读取可以使用于导弹预警和遥感应用的高灵敏度冷却成像系统受益，并扩展当前双模有源和无源成像器等应用的能力。

更具体地，提出了一种将传统的基于帧的读取器与事件驱动的读取器相结合的功率高效的方法。这种双模式像素的一个优点是它使两种读取器模态能够独立和同时运行。在实施例中，通过以低帧率和高灵敏度执行全帧捕获以提供场景内容并且随后将该信息与惯性测量单元(IMU)联接以同步整个场景运动，系统功率至少降低了一个数量级。

除了低功率使用之外，本公开的实施例还有益地提供低延迟、减少的时间和空间冗余，并且不需要同步系统时钟。

本公开的一个实施例提供了一种混合的基于帧和事件驱动的像素，该像素包括：基于帧的捕获电路；事件驱动的捕获电路；以及与基于帧的捕获电路和事件驱动的捕获电路两者电通信的光电二极管，其中基于帧的捕获电路是缓冲直接注入电路，并且其中事件驱动的捕获电路是动态视觉系统电路。

本公开的另一个实施例提供了这样一种混合的基于帧和事件驱动的像素，其中动态视觉系统电路包括三个级：第一级包括与基于帧的捕获电路共享的光电二极管，以及配置为稳定光电二极管两端的电压并产生与入射在其上的光强度对数成正比的电压信号的放大器；第二级配置为作为差分电路，在第一级复位时，第二级拒绝由第一级的放大器产生的电压信号的直流分量；第三级配置为检测信号的变化并产生基于此的数字事件。

本公开的另一个实施例提供了这样一种混合的基于帧和事件驱动的像素，其中缓冲直接注入电路包括：光电二极管，其与基于事件的捕获电路共享；积分电容器；注入晶体管；复位晶体管；输出选择晶体管；和反相的增益模块，其设置在光电二极管与注入晶体管的栅极之间。

本公开的又一个实施例提供了这样一种混合的基于帧和事件驱动的像素，其中增益模块包括逆变器电路。

本公开的又一个实施例提供了这样一种混合的基于帧和事件驱动的像素，其中增益模块配置为提供反馈，该反馈允许在不同光电流水平下控制光电检测器偏置。

本公开的又一个实施例提供了这样一种混合的基于帧和事件驱动的像素，其中缓冲直接注入电路屏蔽了动态视觉系统电路中使用的控制信号。

本公开的又一个实施例提供了这样一种混合的基于帧和事件驱动的像素，其中像素设计选自由以下组成的群组：单片的、基于硅的像素；混合设计，包括焦平面阵列，该焦平面阵列包括光电二极管，该光电二极管在一个基板中形成阵列，该阵列结合到第二基板中的互补金属氧化物半导体读取器，每个像素具有一个或多个触点以提供电触点；和堆叠设计。

本公开的又一个实施例提供了这样一种混合的基于帧和事件驱动的像素，其中该像素包括相对大的显式电容器，其配置为提供线性响应特性。

本公开的又一个实施例提供了这样一种混合的基于帧和事件驱动的像素，其中光电检测器是接合到硅互补金属氧化物半导体读取芯片的倒装芯片凸块。

本公开的又一个实施例提供了这样一种混合的基于帧和事件驱动的像素，其中光电检测器是接合到硅互补金属氧化物半导体读取芯片的层压环孔(laminated loop-hole)。

本公开的更进一步的实施例提供了这样一种混合的基于帧和事件驱动的像素，该像素还包括流水线存储元件，其配置为允许真正的读取时积分的操作模式。

本公开的又一个实施例提供了这样一种混合的基于帧和事件驱动的像素，其中光电检测器的材料选自包括InGaAs、InSb和HgCdTe以及SLS和nBn结构的传感器的材料群组。

本公开的又一个实施例提供了这样一种混合的基于帧和事件驱动的像素，其中光电检测器是基于量子的光电检测器。

本公开的又一个实施例提供了这样一种混合的基于帧和事件驱动的像素，还包括惯性测量单元，其配置为在检测到移动超过预定阈值水平时触发基于帧的捕获电路。

本公开的一个实施例提供了一种获取图像的方法，该方法包括：使用包括多个像素的焦平面阵列，每个像素包括：基于帧的捕获电路；事件驱动的捕获电路；以及与基于帧的捕获电路和事件驱动的捕获电路两者电通信的光电二极管，其中基于帧的捕获电路是缓冲直接注入电路，并且其中事件驱动的捕获电路是动态视觉系统电路，使用基于帧的捕获电路来捕获大致静态的图像；并且使用事件驱动的捕获电路捕获来相对快速移动的物体的运动。

本公开的另一个实施例提供了这样一种获得图像的方法，其中基于帧的捕获电路配置为以相对低的帧速率捕获图像。

本公开的另一个实施例提供了这样一种获得图像的方法，其中事件驱动的捕获电路配置为以相对高的帧速率捕获事件。

本公开的又一个实施例提供了这样一种获得图像的方法，该方法还包括通过使用解码网络访问行和列总线结构来确定像素地址。

本公开的又一个实施例提供了这样一种获得图像的方法，其中焦平面阵列配置为执行分层二维的先行后列仲裁。

本公开的一个实施例提供了一种混合的基于帧和事件驱动的像素，该像素包括：基于帧的捕获电路；事件驱动的捕获电路；惯性测量单元，其配置为在检测到移动超过预定阈值水平时触发基于帧的捕获电路；流水线存储元件，其配置为允许真正的读取时积分的操作模式；以及光电二极管，其与基于帧的捕获电路和事件驱动的捕获电路电通信，其中基于帧的捕获电路是缓冲直接注入电路，其中事件驱动的捕获电路是动态视觉系统电路，并且其中缓冲直接注入电路屏蔽了动态视觉系统电路中使用的控制信号。

在此描述的特征和优点并不是包罗万象的，特别是，鉴于附图、说明书和权利要求书，许多附加特征和优点对于本领域普通技术人员来说将是显而易见的。此外，应当注意，说明书中使用的语言主要是出于可读性和指导目的而选择的，而不是为了限制本发明主题的范围。

附图说明

图1是示出现有技术的基于异步时间的传感器(ATIS)的示意图；

图2是示出现有技术的动态和有源像素视觉传感器(DAVIS)的示意图；

图3是描述经典的、基于帧的像素的行为的图；

图4是示出事件驱动的像素的行为的图；

图5是图示根据本公开的实施例的像素的高级设计的流程图；

图6是示出根据本公开的像素的实施例的示意图；并且

图7是示出根据本公开的实施例的DVS像素设计的抽象视图的示意图。

具体实施方式

作为初步事项，本文讨论了固态成像器的三种配置。第一种，在本文中被描述为单片的、基于硅的构造，指的是焦平面阵列(FPA)，其中像素阵列中的光电二极管是基于硅的并且制造在与CMOS电路相同的晶片中。在本文中称为混合设计的第二种配置描述了一种FPA，其中光电二极管在非硅半导体材料中形成阵列，该阵列结合到CMOS读取器，每个像素具有一个或多个触点以提供电触点。最终设计在本文中被称为堆叠配置，并描述了一种具有在硅基基板中制造的光电二极管的FPA，该基板可以与简单的MOS电路集成，然后结合到在单独的基板中制造的读取电路。

如背景技术部分所述，常规成像器基于固定捕获间隔的使用，并且在本文中被称为“基于帧”或同步成像器300。在这样的成像器中，感兴趣区域(ROI)或整个像素阵列，即FPA，在每一帧都被读取。

这种传统的基于帧的成像器300的读取包括空间和时间冗余，因为并非所有数据在帧之间都已改变。这种数据复制和更多信息的读取可能会导致大幅面高帧率成像器的数据瓶颈。此外，逐帧读取整个阵列会导致高功耗要求，其中大部分浪费在从FPA传输冗余信息上，并且还导致大存储要求。

然而，基于帧的成像器300确实提供了相对于事件驱动的成像器400的一些显著优点。例如，基于帧的成像器300以从低强度检测器信号到高强度检测器信号的高灵敏度提供场景的完整二维覆盖，降低到读取噪声水平，尽管以高功率和大存储要求为代价，如上所述。与事件驱动的成像器400不同，在进行像素测量之前没有必须经过的最小阈值水平。

基于帧的成像器300的时间灵敏度与帧速率和曝光时间成正比。此类成像器的动态范围受限于输入单元的信号容量，对于单增益模式通常小于60dB，但如果使用数字FPA，则该范围可能更高。还可以使用增益压缩响应或双增益架构来扩展基于帧的成像器300的动态范围。

图3以图形方式描述了经典的、基于帧的成像器300的功能。更具体地，基于帧的成像器300在已知的、固定的时间间隔、积分周期内测量给定像素上的电压。然后，基于帧的成像器300量化在固定时间间隔期间接收的电压，使用它来生成可再现的图像。可以在图3中看到的基于帧的成像器300的显著特征包括在固定时间间隔的全帧捕获，包括冗余空间和时间像素以及所有像素的连续计时。

与经典的基于帧的成像器300相比，事件驱动或异步成像器400仅在可辨别事件发生时(例如当超过阈值时)发送信息，该信息可包括像素地址、时间印记和测量强度。更具体地，事件驱动读取器400被设计为在感测到时间变化时输出像素信息。这种设计：消除了空间和时间冗余；通过仅收集唯一的时间场景信息，减少数据吞吐量带宽，同时提供无损数据压缩。这显著降低了成像器和FPA信号处理链中的功率要求。

事件驱动的成像器400通过测量传感器信号改变预定量所需的持续时间、有效量化时间来操作，如图4中以图形方式描述的那样。此类成像器通常基于脉冲调制，其被用于将强度变化转换为时间。当超过预定阈值时确定事件，无论是积极的还是消极的；这是时间对比度的度量。每个像素事件都与事件到达时间和像素位置(行索引和列索引)一起传送到输出，并被称为异步事件读取器(AER)。还可以使用附加事件位通过AER传达方向对比度变化。使用此类成像器可以实现超过6个数量级(>120dB)的动态范围，并且已证明最低对比度阈值低至1.5％。

此外，取决于设计要求，事件驱动的成像器400通常使用AER以串行或并行读取而仅读取引发事件的单独像素。由于像素在不同的时间达到阈值电压，与经典的、基于帧的、同步成像器300的FPA范围读取相反，读取是异步的、即时的和特定于像素的，从而节省带宽和功率和/或允许更高的有效帧率，可以达到100千赫兹，响应时间短至3微秒。

图5提供了说明根据本公开的实施例的异步、事件驱动的输入单位单元(即，像素单元)的高级设计的流程图。换言之，该图描述了根据本公开的实施例的时域光转导(time-domain photo-transduction)。在实施例中，传感器500可以是具有快速响应时间的基于量子的检测器(例如光电二极管)。在实施例中，检测器500由硅、InGaAs、InSb、HgCdTe、应变层超晶格(SLS)和半导体-势垒-半导体(nBn)结构的传感器和/或纳米颗粒制成。然后，传感器500的输出被传送到模拟模块502，该模拟模块502可以测量单独光子响应、线性响应(例如3T APS)、或对数响应，并且其可以进一步配置为放大传感器500的输出和/或对其执行相关双采样。然后，模拟模块500的输出被传送到异步转换器模块504，在实施例中，异步转换器模块504执行微分和/或阈值比较。最后，在实施例中，来自异步转换器模块504的输出被提供给AER数字处理模块506，在实施例中，AER数字处理模块506确定信号变化的方向，允许时间差异，将像素地址传送到另一个模块，和/或执行AER读取握手，包括发送行和列事件请求、接收行和列确认、并且在确认后复位像素。

与经典的基于帧的像素300相比，事件驱动像素400具有许多好处，包括较低的功率和带宽要求，尽管它们牺牲了强度(即对比度)和灵敏度(即阈值水平)以获得这些好处。此外，此类像素允许相对较大的动态范围，可以使用增益压缩扩展该动态范围。事件驱动的像素400还允许通过阈值水平的单调变化进行伽马校正。

事件驱动传感器400主要由三种类型组成：对线性像素响应的变化作出反应的类型、测量入射在像素上的单个光子的类型、以及对对数响应作出反应的类型。对数响应像素提供适度的背景噪声和大的动态范围。这种事件驱动的成像器400通常利用亚阈值场效应晶体管(FET)来维持反馈回路中的检测器偏置，该反馈回路包括配置为维持固定光电二极管偏置电压的高增益反相放大器。该FET的栅极到源极电压与检测器产生的电流(包括光生电流和暗电流)的自然对数成正比变化。在使用过程中，检测器电流的微小变化会引入电压变化，该电压变化被放大并反馈到FET的栅极，该栅极可快速调整以提供维持固定检测器偏置所需的FET电流。然后，该栅极电压的预定变化触发了像素读取事件，该像素读取事件输出了像素二维地址和事件时间。

单光子响应事件驱动的成像器400提供低背景噪声和中等动态范围。除其它外，这些传感器用于光子计数，例如单光子雪崩二极管(SPAD，也就是盖革模式APD)，它们是固态光电探测器，其中光子产生的载流子(通过内部光电效应)可以触发持续时间较短但相对较大的雪崩电流。本质上，每个光子记录为一个事件，其像素地址被发送到芯片外。然后在芯片外计数光子事件。这种技术非常适合弱光应用，使用这种技术可以实现20到1亿个事件/秒。不幸的是，由图像传感器中的暗漏电流导致的暗散粒噪声也被记录为一个事件，必须加以考虑，这会限制灵敏度。

最后，线性响应事件驱动的成像器400通过测量到第一次交叉的时间来提供适度的背景噪声和动态范围和功能。在此类事件驱动的成像器中，检测器电流被积分到电容器上，当积分电压超过预定阈值时，会触发事件并复位电容器。此设计的行为类似于每个单元中的一位模数转换器(ADC)或sigma delta转换器。每个事件都立即与像素地址一起传输到芯片外。

线性响应异步事件驱动的像素400的两种子类型(其都使用脉冲调制技术)为：上次复位后的第一尖峰时刻(TFS)(脉冲宽度调制)；和尖峰像素的情况，尖峰频率(频率调制FM)，这会导致事件拥挤。

在所有事件驱动的成像器400中，阈值电压值与采集速度和像素分辨率逆相关。选择相对接近复位电压的阈值电压值提供了相对较短的积分时间，这增加了事件发生率和功耗，但通过在“握手”时间(在此期间传输信息)遮挡其它像素而降低了图像分辨率。此外，在事件驱动的成像器400中，高亮度区域呈现快速更新速率和高动态范围，而低亮度区域则遭受运动伪影和有限的动态范围。

虽然事件驱动的成像器400非常适合突出场景随时间的变化，例如目标跟踪或在繁忙的街道上导航，但是由于此类传感器的分辨率阈值限制，详细的场景纹理信息通常会丢失。

如本文所述，通过使用阈值感测以异步的、事件驱动的读取器400来增强经典的、基于帧的成像器300，可以获得事件驱动的成像器400设计的好处而不会产生这种技术的缺点。

更具体地，实施例将事件驱动的对数感测与传统的、基于帧的成像器300相结合。在实施例中，传统成像器300用于场景内容分析，而事件驱动的成像器400用于测量用于目标跟踪的时间对比度事件、快速的帧间更新率、和/或引导ROIs进行读取。这些实施例以较低的帧捕获率和场景变化的低延迟来提供降低的功率使用。

现在参考图6，示意性地示出了根据本公开的实施例的缓冲直接注入(BDI)602和动态视觉系统(DVS)102的混合像素600。

为清楚起见，图7中示出了示出DVS像素102设计的抽象视图的示意图。在图7中，示出了DVS像素102包括三个主要部分。第一级是光感受器700级，其包括放大器，该放大器配置为稳定光电二极管两端的电压并产生与光强度的对数成正比的电压信号。第二级作为差分电路702，在光感受器级被复位时拒绝由光感受器级产生的电压信号的直流分量，使得所得信号不携带关于绝对照度水平的信息。第三比较器级704检测与光相关的信号的变化并产生数字事件(ON表示光变亮，OFF表示光变暗)。

现在关于BDI电路602，BDI电路602类似于直接注入(DI)单位单元，其由积分电容器、注入晶体管、复位晶体管和输出选择晶体管组成。BDI单位单元602与DI单位单元的不同之处在于在BDI单位单元602中的检测器与注入晶体管栅极之间提供反相增益。例如可以通过使用简单的反相电路来实现增益。反向增益提供反馈，以更好地控制不同光电流水平下的检测器偏置。

在图6的像素中，BDI级602在性能上是不妥协的，只要它很好地屏蔽了DVS 102控制信号并且可以在低帧率下操作以节省功率。此外，DVS 102提供差分对比度阈值事件，并且在实施例中，具有六个数量级的动态范围，独立于基于BDI帧的成像器602而操作，其可以与其同时操作并提供多个目标、帧间、高速度跟踪信息和单ping、主动图像捕获，允许真正的3-D渲染。值得注意的是，设计中线性电容器C1和C2的存在允许实现背景扣除功能。

在实施例中，图6中所示的BDI/DVS混合像素600是单片的基于硅的像素。在其它实施例中，BDI/DVS混合像素600是混合设计，包括FPA，其中光电二极管在一个基板上形成阵列，该阵列结合到第二基板上的CMOS读取器，每个像素具有一个或多个触点以提供电接触。在其它实施例中，BDI/DVS混合像素600是堆叠设计。

在实施例中，图6中所示的BDI/DVS混合像素600结合了大的显式电容器C_int和C_smpl，以提供线性响应特性和高电荷容量。积分电容器对检测器电流进行积分，将信号转换为电压。采样传输开关和C_smpl电容器提供模拟存储并实现读取时积分的功能。此外，可以通过将采样开关控制为势垒，并通过连接到V_reset FET源极的电压斜坡(而不是恒定的直流电压)将C_int中的电荷推过该势垒来实现背景扣除。

在实施例中，BDI级602以低帧率操作以节省功率。

在实施例中，在接收到事件请求时由外部时钟分配时序。

在实施例中，通过使用解码网络来访问行和列总线结构来确定像素地址。

关于异步事件信道容量，在高事件率下，在总线上发生事件冲突的概率增加，此时定时数据可能丢失或被误解。例如，无约束的信道访问只允许在冲突发生前使用总信道容量的18％，平均每十个事件一次。在实施例中，如果两个或更多个事件尝试同时传输与对共享通信信道的随机访问，则发生争用，从而允许检测和丢弃损坏的传输。不受限制的访问周期时间很短，但随着负载的增加，冲突会迅速增加。

在实施例中，当几乎同时接收到一个或多个行请求时，使用被称为仲裁的过程来决定如何处理信息。每行中的列像素都需要类似的仲裁过程。该操作围绕像素阵列的外围进行。

仲裁意味着像素事件排队并等待轮到它们访问共享总线。实施例利用多种形式的仲裁，包括：非贪婪型——确保仲裁器所服务的行或列在所有其它已记录请求的行和列都得到服务之前保证不再服务；贪婪型——如果仲裁器子单元中的两个输入同时被选择，仲裁将在移动到其它之前为这两个输入服务(这种本地优先级节省了周期时间)；和公平型-替代优先级，拨动开关首先根据其对2输入仲裁器子单元的设置而选择输入A或输入B(在实施例中，拨动开关随着来自更高仲裁器级的确认信号而改变)。

在实施例中，通过在选取另一行之前服务所选行中的所有活动的事件触发的像素，使用分层二维的先行后列仲裁来节省时间。

在实施例中，进行握手以最小化总线上的像素拥挤。实现这一点的一种方法是通过行主导寻址(先行后列)，即具有事件的像素首先在行线上发送请求，然后等待确认，然后行中的每个像素在其总线上发送请求。当收到列确认时，像素被复位。在实施例中通过流水线实现最小化握手间隔以最小化总线拥挤。

在实施例中，检测器阵列基板是倒装芯片凸块接合的，而在其它实施例中，它被层压环孔(DRS)到硅CMOS读取芯片。

在实施例中，检测器可以配置为覆盖从UV到VLWIR带。

在本公开的实施例中，基于BDI的双模式像素600包括流水线存储元件，允许真正的读取时积分的操作模式。

此外，实施例中使用的混合检测器方案打开了光谱带从而不仅包括基于硅的可见光/NIR，而且还包括InGaAs、InSb、和HgCdTe，以及SLS和nBn结构的传感器，用于红外反射和热带。

在实施例中，场景内的变化被事件驱动的读取器400而捕获，其以有效帧速率提供帧间场景动态，在实施例中，该有效帧速率比当前现有技术状态的基于框架的系统300快几个数量级，同时还节省了大量的电力。

在实施例中，可以以微秒或更少的量级做出响应的基于量子的检测器被用于快速响应强度变化。

已经出于说明和描述的目的呈现了对本公开的实施例的前述描述。并非旨在穷举或将公开内容限制为所公开的精确形式。根据本公开，许多修改和变化是可能的。本公开的范围旨在不受该详细描述的限制，而是受所附权利要求书的限制。

Claims (20)

1.一种混合的基于帧和事件驱动的像素，该像素包括：

基于帧的捕获电路；

事件驱动的捕获电路；和

光电二极管，其与该基于帧的捕获电路和该事件驱动的捕获电路进行电气通信，

其中，所述基于帧的捕获电路是缓冲直接注入电路，并且

其中，所述事件驱动的捕获电路是动态视觉系统电路。

2.根据权利要求1所述的像素，其中，所述动态视觉系统电路包括三个级：

第一级，其包括：光电二极管，其与该基于帧的捕获电路共享；和放大器，其配置为稳定该光电二极管两端的电压并产生与入射在其上的光强度的对数成正比的电压信号；

第二级，其配置为作为差分电路，在该第一级复位时，该第二级拒绝由该第一级的放大器产生的电压信号的直流分量；和

第三级，其配置为检测该信号的变化并基于此产生数字事件。

3.根据权利要求2所述的像素，其中，所述缓冲直接注入电路包括:

光电二极管，其与该事件驱动的捕获电路共享；

积分电容器；

注入晶体管；

复位晶体管；

输出选择晶体管；

反相的增益模块，其设置在该光电二极管与该注入晶体管的栅极之间。

4.根据权利要求3所述的像素，其中所述增益模块包括逆变器电路。

5.根据权利要求3所述的像素，其中，所述增益模块配置为提供反馈，该反馈允许在不同光电流水平下控制光电检测器偏置。

6.根据权利要求1所述的像素，其中，所述缓冲直接注入电路屏蔽了该动态视觉系统电路中使用的控制信号。

7.根据权利要求1所述的像素，其中，所述像素设计选自由以下组成的群组：单片的、基于硅的像素；混合设计，其包括焦平面阵列，该焦平面阵列包括光电二极管，该光电二极管在一个基板中形成阵列，该阵列结合到第二基板中的互补金属氧化物半导体读取器，每个像素具有一个或多个触点以提供电触点；和堆叠设计。

8.根据权利要求1所述的像素，其中，所述像素包括相对大的显式电容器，其配置为提供线性响应特性。

9.根据权利要求1所述的像素，其中，所述光电探测器是接合到硅互补金属氧化物半导体读取芯片的倒装芯片凸块。

10.根据权利要求1所述的像素，其中，所述光电检测器是接合到硅互补金属氧化物半导体读取芯片的层压环孔。

11.根据权利要求1所述的像素，还包括流水线存储元件，其配置为允许真正的读取时积分的操作模式。

12.根据权利要求1所述的像素，其中，所述光电探测器的材料选自包括InGaAs、InSb和HgCdTe以及SLS和nBn结构的传感器的材料群组。

13.根据权利要求1所述的像素，其中，所述光电探测器是基于量子的光电探测器。

14.根据权利要求1所述的像素，还包括惯性测量单元，其配置为在检测到移动超过预定阈值水平时触发该基于帧的捕获电路。

15.一种获得图像的方法，该方法包括：

使用包括多个像素的焦平面阵列，每个像素包括：

基于帧的捕获电路；

事件驱动的捕获电路；和

光电二极管，其与该基于帧的捕获电路和该事件驱动的捕获电路进行电通信，

其中，所述基于帧的捕获电路是缓冲直接注入电路，并且

其中，所述事件驱动的捕获电路是动态视觉系统电路，

使用该基于帧的捕获电路来捕获大致静态的图像；并且

使用该事件驱动的捕获电路来捕获相对快速移动的物体的运动。

16.根据权利要求15所述的方法，其中，所述基于帧的捕获电路配置为以相对低的帧速率捕获图像。

17.根据权利要求15所述的方法，其中，所述事件驱动的捕获电路配置为以相对高的帧速率捕获事件。

18.根据权利要求15所述的方法，还包括通过使用解码网络访问行和列总线结构来确定像素地址。

19.根据权利要求15所述的方法，其中，所述焦平面阵列配置为执行分层二维的先行后列仲裁。

20.一种混合的基于帧和事件驱动的像素，该像素包括：

基于帧的捕获电路；

事件驱动的捕获电路；

惯性测量单元，其配置为在检测到移动超过预定阈值水平时触发该基于帧的捕获电路；

流水线存储元件，其配置为允许真正的读取时积分的操作模式；和

光电二极管，其与该基于帧的捕获电路和该事件驱动的捕获电路电通信，

其中，所述基于帧的捕获电路是缓冲直接注入电路，

其中，所述事件驱动的捕获电路是动态视觉系统电路，并且

其中，所述缓冲直接注入电路屏蔽了该动态视觉系统电路中使用的控制信号。

Images