CN118614075A - 成像装置和方法 - Google Patents
成像装置和方法 Download PDFInfo
- Publication number
- CN118614075A CN118614075A CN202380018432.2A CN202380018432A CN118614075A CN 118614075 A CN118614075 A CN 118614075A CN 202380018432 A CN202380018432 A CN 202380018432A CN 118614075 A CN118614075 A CN 118614075A
- Authority
- CN
- China
- Prior art keywords
- counter
- photosensitive elements
- group
- photosensitive
- subgroup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims description 57
- 238000001514 detection method Methods 0.000 claims abstract description 146
- 239000004065 semiconductor Substances 0.000 claims description 27
- 238000010586 diagram Methods 0.000 description 18
- 230000005484 gravity Effects 0.000 description 18
- 238000004590 computer program Methods 0.000 description 8
- 239000002800 charge carrier Substances 0.000 description 5
- 238000003491 array Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 229910000679 solder Inorganic materials 0.000 description 2
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 1
- 101000827703 Homo sapiens Polyphosphoinositide phosphatase Proteins 0.000 description 1
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 1
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 102100023591 Polyphosphoinositide phosphatase Human genes 0.000 description 1
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 230000036211 photosensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
- H04N25/773—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters comprising photon counting circuits, e.g. single photon detection [SPD] or single photon avalanche diodes [SPAD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
- H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
- H10F39/80—Constructional details of image sensors
- H10F39/802—Geometry or disposition of elements in pixels, e.g. address-lines or gate electrodes
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
- H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
- H10F39/80—Constructional details of image sensors
- H10F39/802—Geometry or disposition of elements in pixels, e.g. address-lines or gate electrodes
- H10F39/8027—Geometry of the photosensitive area
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
- H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
- H10F39/80—Constructional details of image sensors
- H10F39/809—Constructional details of image sensors of hybrid image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本公开提供了一种成像装置,该成像装置包括光敏元件阵列和第一计数器,该第一计数器用于对从第一组光敏元件接收的光子检测事件进行计数;其中,在第一操作模式中,第一计数器连接至第一组光敏元件的第一子组,并且其中,在第二操作模式中,第一计数器连接至第一组光敏元件的第二子组。
Description
技术领域
本公开总体上涉及一种成像装置和方法。
背景技术
已知类型的数字图像传感器是电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)有源像素传感器。
最近,出现了包括基于单光子雪崩二极管(SPAD)的光敏元件阵列的图像传感器。
在光敏元件的SPAD中,由单个光子注入的单个自由电荷载流子可引起自由电荷载流子的雪崩,从而使得该单光子是可检测的。
光敏元件的计数器对雪崩计数,并且因此能够提供检测到的光子的数量。
尽管存在用于成像装置的技术,但通常还是希望提供改进的成像装置和改进的方法。
发明内容
根据第一方面,本公开提供了一种成像装置,包括:光敏元件阵列;以及第一计数器,用于对从第一组光敏元件接收的光子检测事件进行计数,其中,在第一操作模式中,第一计数器连接至第一组光敏元件的第一子组,并且其中,在第二操作模式中,第一计数器连接至第一组光敏元件的第二子组。
根据第二方面,本公开提供一种用于操作成像装置的方法,该方法包括:利用第一计数器对从光敏元件阵列的第一组光敏元件接收的光子检测事件进行计数;在第一操作模式中,将第一计数器连接至第一组光敏元件的第一子组;在第二操作模式中,将第一计数器连接至第一组光敏元件的第二子组。
在从属权利要求、附图和以下描述中阐述了更多方面。
附图说明
参照附图,通过举例的方式说明实施方式,其中:
图1示出了根据实施方式的成像装置的框图;
图2以俯视图示出了根据实施方式的光敏元件阵列和计数器的框图;
图3示出了根据实施方式的计数器在四个操作模式中的读出顺序的框图;
图4示出了根据实施方式的四个计数器在四个操作模式中的读出顺序的框图;
图5示出了基于SPAD的现有技术图像传感器中的位使用的框图;
图6示出了根据实施方式的基于SPAD的图像传感器中的位使用的框图;
图7示出了根据实施方式的成像装置的基本操作;
图8示出了根据实施方式的电路配置;
图9示出了根据实施方式的由成像装置生成的图像数据的示图;
图10示出了根据实施方式的用于颜色编码的光敏元件阵列中的读出原理的框图;
图11示出了根据实施方式的光敏元件以3×3像素组合的阵列的框图;以及
图12示出了根据实施方式的用于操作成像装置的方法的流程图。
具体实施方式
在根据图1对实施方式进行详细描述之前,先做出一般性说明。
如开头所指示,已知类型的数字图像传感器是电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)有源像素传感器。
最近,出现了包括基于单光子雪崩二极管(SPAD)的光敏元件阵列的图像传感器。
在光敏元件的SPAD中,由单个光子注入的单个自由电荷载流子可引起自由电荷载流子的雪崩,从而使得该单光子是可检测的。
每个基于SPAD的光敏元件具有计数器,该计数器对雪崩计数,并且因此可以提供检测到的光子的数量。
在一些情况下,基于SPAD的光敏元件需要具有足够的用于高图像深度的位的专用读出计数器,并且所需位数指示计数器的最小尺寸。这使得每个光敏元件占据至少与该计数器的最小尺寸相对应的空间,因为每个计数器需要定位在相应的基于SPAD的光敏元件下方。
因此,在一些情况下,光敏元件的密度由此与图像分辨率受到计数器尺寸的限制。
在一些实施方式中,期望基于SPAD降低成像装置中的光敏元件的尺寸和每个光敏元件占用的空间,以用于增大基于SPAD的光敏元件的密度,并且因此增大由成像装置生成的图像的分辨率。
因此,本发明的一些实施方式涉及一种成像装置,该成像装置包括光敏元件阵列;以及第一计数器,用于对从第一组光敏元件接收的光子检测事件进行计数,其中,在第一操作模式中,第一计数器连接至第一组光敏元件的第一子组,并且其中,在第二操作模式中,第一计数器连接至第一组光敏元件的第二子组。
通过利用第一计数器对从第一组光敏元件接收的光子检测事件进行计数,第一组光敏元件中的光敏元件可以共享第一计数器,并且可以不必在每个光敏元件中设置专用计数器。因此,每个光敏元件占用的空间可小于第一计数器,并且光敏元件的密度可以增加,产生更高的图像分辨率。
将第一计数器连接至第一子组(或相同地,将第一子组连接至第一计数器)可包括在第一计数器与第一子组的每个光敏元件之间建立电连接,这样使得指示第一子组的任一个光敏元件中的光子检测事件的电信号提供给第一计数器。
同样地,将第一计数器连接至第二子组(或相同地,将第二子组连接至第一计数器)可包括在第一计数器与第二子组的每个光敏元件之间建立电连接,这样使得指示第二子组的任一个光敏元件中的光子检测事件的电信号提供给第一计数器。
通过将不同操作模式中的第一计数器连接至第一组光敏元件的不同子组,第一计数器可以在每个相应的操作模式中对来自相应子组中的每个光敏元件的光子检测事件进行计数,相对于单个光敏元件,可增大检测到光子的区域,从而得到更大数量的检测到的光子。与单个光敏元件相比,在光子检测事件之后的SPAD的恢复过程中丢失的光子的数量也可以减少,因为在子组的光敏元件的SPAD的恢复过程中,该子组的其他光敏元件可以仍对进入的光子敏感。此外,可以通过在子组之间设置重叠来实现低于子组尺寸的图像分辨率。
第一子组可以是第一组光敏元件的连续子组。同样地,第二子组可以是第一组光敏元件的连续子组。
在第一操作模式和第二操作模式中由第一计数器计数的值(即,分别在第一子组和第二子组中的光子检测事件的数量)可以与由成像装置生成的图像的不同像素相关联。
在一些实施方式中,第一计数器设置在第一半导体层中,光敏元件阵列设置在第二半导体层中,并且第一计数器与设置有第一子组的区域重叠。
例如,第一半导体层可设置在第二半导体层的与第二半导体层的光入射侧相对的一侧。
因此,第一计数器可设置为靠近第一组光敏元件,这可以允许减小将第一计数器连接至第一组光敏元件的布线的寄生电容,并且减小在来自第一组光敏元件的光子检测事件进行计数中的时延。
通过将第一计数器设置在除了光敏元件阵列之外的另一半导体层中,第二半导体层的较大区域可用于光敏元件(的SPAD),这可以允许通过利用SPAD覆盖较大区域来增加光敏元件阵列的光敏度。
在一些实施方式中,第一半导体层设置在第一芯片上,并且第二半导体层设置在第二芯片上。
例如,第一芯片和第二芯片可以是单独的半导体芯片。第一芯片和第二芯片可以单独制造并且然后层压在一起。第一计数器可以例如经由焊料凸部直接耦接至第一组光敏元件。
在一些实施方式中,第一组光敏元件的每个子组被配置为单独地连接至第一计数器。
例如,第一组光敏元件的配置可允许将第一组光敏元件的每个子组连接至第一计数器,而不将未包括在对应子组中的任意光敏元件连接至第一计数器。
由此,对于第一组光敏元件的每个子组,可通过第一计数器单独地(例如,顺序地)对光子检测事件进行计数,使得由成像装置生成的图像的像素可基于第一组光敏元件的单个子组的光子检测事件的数量。
在一些实施方式中,成像装置还包括图像数据生成单元,其被配置为生成图像数据,其中,该图像数据的第一像素基于在第一操作模式中第一子组的光子检测事件的数量,并且该图像数据的第二像素基于在第二操作模式中第二子组的光子检测事件的数量。
图像数据可表示由成像装置基于光敏元件阵列检测到的光子而生成的图像。图像的像素的值可以基于在对应操作模式中计数的第一组光敏元件的单个子组中的光子检测事件的数量。
在一些实施方式中,成像装置还包括:第二计数器,其用于对从光敏元件阵列的第二组光敏元件接收的光子检测事件进行计数,其中,在第一操作模式中,第二计数器连接至第二组光敏元件的第三子组,并且在第二操作模式中,第二计数器连接至第二组光敏元件的第四子组,并且其中,第二组光敏元件的第三子组与第一组光敏元件的第二子组在至少一个光敏元件中重叠。
例如,至少一个光敏元件可以包括在第一组光敏元件的第二子组和第二组光敏元件的第三子组中。
重叠子组可以允许在由成像装置生成的图像中的图像分辨率比第一组或第二组光敏元件的子组的尺寸更细小。
重叠可以允许通过像素偏移来获取图像数据。
在一些实施方式中,第一子组和第二子组中的每一个包括至少两个光敏元件;并且该第一子组和该第二子组在至少一个光敏元件中重叠。
如上文所提及,重叠子组可允许像素偏移,该像素偏移用于获得比由非重叠光敏元件获得的图像分辨率更高的图像分辨率。
在一些实施方式中,第一子组和第二子组中的每一个包括至少两行光敏元件和至少两列光敏元件。
第一子组和第二子组可以是矩形的,即,第一子组和第二子组中的每个相应子组可包括光敏元件阵列的这样的光敏元件,该光敏元件被包括在光敏元件阵列的连续的行组和连续的列组中。
在一些实施方式中,第一子组和第二子组中的每一个是正方形的。
例如,包括在第一或第二子组中的光敏元件的行的数量可等于包括在相应的第一或第二子组中的光敏元件的列的数量。
例如,第一和第二子组的正方形状可以对应于由成像装置生成的图像中的像素的形状。
在一些实施方式中,第一子组和第二子组中的每一个包括两行光敏元件和两列光敏元件。
例如,可执行对光敏元件的2×2像素组合。
在一些实施例中,第一子组和第二子组中的每一个包括三行光敏元件和三列光敏元件。
例如,可执行对光敏元件的3×3像素组合。
在一些实施方式中,第一组光敏元件中的每个光敏元件包括:第一子元件,用于检测第一颜色的光;以及第二子元件,用于检测第二颜色的光;并且第一计数器包括:第一颜色计数器,用于对从第一子元件接收的光子检测事件进行计数;以及第二颜色计数器,用于对从第二子元件接收的光子检测事件进行计数。
例如,滤色器可以设置在第一组光敏元件的光敏元件的第一和第二子元件的SPAD的前面,使得仅具有预定颜色的光到达相应的SPAD。例如,滤色器可以包括:带通滤波器,被配置为透射预定波长间隔的光;长通滤波器,被配置为透射波长不小于预定切入波长的光;或者短通滤波器,被配置为透射波长不大于预定截止波长的光。
例如,代替或除了在光敏元件的第一和第二子元件的SPAD的前面设置滤色器,可以选择第一和/或第二子元件的SPAD中的耗尽区的材料,使得电离(即,产生自由电荷载流子)对特定波长间隔特别敏感。
例如,第一子元件可被配置为检测红光(如具有630至700纳米的平均波长的光子),第二子元件可被配置为检测绿光(例如具有500至560纳米的平均波长的光子),并且光敏元件的第三子元件可被配置为检测蓝光(例如具有450至475纳米的平均波长的光子)。本公开不限于所提及的波长值;并且技术人员可以找到将由光敏元件的不同子元件检测的波长间隔的各种组合。
第一计数器的每个颜色计数器可包括用于存储所检测的光子的数量的单独的寄存器。例如,第一颜色计数器可对来自第一组光敏元件的光敏元件的第一子元件的光子检测事件进行计数,并且将所计数的光子检测事件的数量存储在其单独的寄存器中。同样地,第二颜色计数器可对来自第一组光敏元件的光敏元件的第二子元件的光子检测事件进行计数,并且将所计数的光子检测事件的数量存储在其单独的寄存器中。
由此,成像装置可基于来自由第一计数器的对应颜色计数器计数的光敏元件的不同子元件的光子检测事件生成彩色图像,例如红-绿-蓝(RGB)图像。
在一些实施方式中,第一组光敏元件的所有子组包括相等数量的光敏元件;并且该第一组光敏元件的每个子组包括比该第一组光敏元件少的光敏元件。
例如,第一组光敏元件的每个子组可以是矩形的或者可以是正方形的。
第一组光敏元件的每个子组可包括比第一组光敏元件少的光敏元件,使得第一组光敏元件可包括成对不同的若干子组。
第一组光敏元件的一些子组可重叠。如上文所指示,这可以允许由成像装置生成的图像的比非重叠子组的图像分辨率更细小。
在一些实施方式中,选择该第一组光敏元件的子组的数量,以使得该第一组光敏元件中的每个光敏元件被该第一组光敏元件的至少一个子组覆盖。
因此,第一组光敏元件中的每个光敏元件可以在至少一个操作模式中连接至第一计数器。
第一组光敏元件的光敏元件可被不同数量的子组覆盖。例如,光敏元件可被一个子组覆盖,另一光敏元件可被两个子组覆盖,又一光敏元件可被三个子组覆盖,再一光敏元件可被四个组覆盖,等等。
在一些实施方式中,第一组光敏元件的子组在对应的操作模式中顺序地连接至该第一计数器。
例如,第一子组可以在第一操作模式中连接至第一计数器,然后第二子组可以在第二操作模式中连接至第一计数器,并且然后第一组光敏元件的任意其他子组可以在相应的后续操作模式中连接至第一计数器。对于时间的每个点,只有一个子组可以连接至第一计数器。
因此,来自第一组光敏元件的所有子组的光子检测事件可以由第一计数器计数。
第一组光敏元件的子组可各自在短时间内且以快速的顺序连接,以使得由成像装置在该顺序期间成像的场景的变化可忽略不计,因此基于随后对第一组光敏元件的不同子组的光子检测事件进行计数来提供场景的近似静态图像。
在一些实施方式中,该第一组光敏元件中的每个光敏元件包括单光子雪崩二极管(SPAD)。
SPAD可以能够检测单光子,使得即使在低光照条件下也可以对场景进行成像。
在一些实施方式中,与现有技术成像装置相比,每个操作模式(即,每个子组的)的曝光时间可以减小,因为SPAD区域可以通过像素组合而增加。
例如,对于光敏元件的2×2像素组合,SPAD区域可以实际上对应于现有技术光敏元件的尺寸的四倍,从而在没有执行像素偏移和像素组合的情况下,使得根据实施方式的光敏元件阵列的曝光时间可以减少到现有技术的曝光时间的四分之一。由于减少的曝光时间,在一些实施方式中,图像获取可能更快,因为获取图像数据所需的读出次数与不执行像素偏移的已知图像传感器相比可以保持相等。
一些实施方式涉及一种用于操作成像装置的方法,其中,该方法包括:利用第一计数器对从光敏元件阵列的第一组光敏元件接收的光子检测事件进行计数;在第一操作模式中,将第一计数器连接至第一组光敏元件的第一子组;并且在第二操作模式中,将第一计数器连接至第一组光敏元件的第二子组。
成像装置可根据任一上述实施方式来配置。以上针对成像装置的实施方式提供的变化、示例、技术效果和详细描述相应地应用于用于操作成像装置的方法的实施方式。
在一些实施方式中,将第一计数器连接至第一子组包括:将第一子组单独地连接至第一计数器;并且将第一计数器连接至第二子组包括:将第二子组单独地连接至第一计数器。
在一些实施方式中,对光子检测事件进行计数包括:利用第一计数器对在第一操作模式中从第一子组接收的光子检测事件的数量进行计数;以及利用第一计数器对在第二操作模式中从第二子组接收的光子检测事件的数量进行计数。
在一些实施方式中,该方法还包括生成图像数据,其中,该图像数据的第一像素基于在第一操作模式中第一子组的光子检测事件的数量,并且该图像数据的第二像素基于在第二操作模式中第二子组的光子检测事件的数量。
在一些实施方式中,该方法还包括:利用第二计数器对从光敏元件阵列的第二组光敏元件接收的光子检测事件进行计数;在第一操作模式中,将第二计数器连接至第二组光敏元件的第三子组;以及在第二操作模式中,将第二计数器连接至第二组光敏元件的第四子组;其中,第二组光敏元件的第三子组与第一组光敏元件的第二子组在至少一个光敏元件中重叠。
在一些实施方式中,对光子检测事件进行计数包括:利用第二计数器对在第一操作模式中从第三子组接收的光子检测事件的数量进行计数;以及利用第二计数器对在第二操作模式中从第四子组接收的光子检测事件的数量进行计数。
在一些实施方式中,对光子检测事件进行计数包括:利用第一计数器的第一颜色计数器对在第一操作模式中从第一子组的光敏元件的第一子元件接收的光子检测事件的数量进行计数;利用第一计数器的第二颜色计数器对在第一操作模式中从第一子组的光敏元件的第二子元件接收的光子检测事件的数量进行计数;利用第一颜色计数器对在第二操作模式中从第二子组的光敏元件的第一子元件接收的光子检测事件的数量进行计数;以及利用第二颜色计数器对在第二操作模式中从第二子组的光敏元件的第二子元件接收的光子检测事件的数量进行计数。
在一些实施方式中,该方法还包括:在第一组光敏元件的所有子组中包括相等数量的光敏元件;并且在第一组光敏元件的每个子组中包括比在第一组光敏元件中少的光敏元件。
在一些实施方式中,该方法还包括选择第一组光敏元件的子组的数量,以使得第一组光敏元件中的每个光敏元件被第一组光敏元件的至少一个子组覆盖。
在一些实施方式中,该方法包括在对应的操作模式中,将第一组光敏元件的子组顺序地连接至第一计数器。
在一些实施方式中,该方法还包括利用单光子雪崩二极管在第一组光敏元件中的每个光敏元件中检测光子。
在一些实施方式中,当在计算机和/或处理器上执行时,本文中描述的方法也实施为使计算机和/或处理器执行该方法的计算机程序。在一些实施方式中,还提供了存储有计算机程序产品的非暂时性计算机可读记录介质,该计算机程序产品在由处理器(诸如,上述处理器)执行时,执行在本文中描述的方法。
返回图1,示出了根据实施方式的成像装置1的框图。
成像装置1包括光敏元件阵列2,光敏元件阵列包括光敏元件3至6,每个光敏元件均包括单光子雪崩二极管(SPAD)。光敏元件3至5耦接至第一计数器7。光敏元件5和6耦接至第二计数器8。
在第一操作模式中,第一计数器7连接至光敏元件3和4,并且第二计数器8连接至光敏元件5和6。在第二操作模式中,第一计数器7连接至光敏元件4和5,并且第二计数器连接至光敏元件6。在每个操作模式中,第一计数器7和第二计数器8两者对来自相应的光敏元件3至6的SPAD的光子检测事件进行计数,该第一计数器7和第二计数器8在相应的操作模式中连接至相应的光敏元件。
第一计数器7和第二计数器8设置在于第一半导体芯片9上设置的第一半导体层中,并且光敏元件阵列2设置在于第二半导体芯片10上设置的第二半导体层中。第一计数器7与光敏元件3和4重叠,并且第二计数器8与光敏元件5和6重叠。
第一半导体芯片9和第二半导体芯片10层压在一起。光敏元件3至6分别通过电极11至15和焊料凸部16至20耦接至第一计数器7和第二计数器8。
成像装置1还包括用于控制第一计数器7和第二计数器8的操作的控制单元21。
成像装置1还包括用于生成图像数据的图像数据生成单元22。图像数据表示图像,其中,图像的像素的值基于由第一计数器7或第二计数器8进行计数的计数的光子检测事件的数量。
成像装置23包括用于将入射光聚焦在光敏元件阵列2上的透镜23。
图2以俯视图示出了根据实施方式的光敏元件阵列2和计数器的框图。
光敏元件阵列2包括光敏元件111至114、121至124、131至134以及141至144,每个光敏元件均包括用于检测传入光子的SPAD。光敏元件111、112、121和122分别对应于图1的光敏元件3至6。
计数器110、120、130和140设置在光敏元件阵列2下方(即,与其光入射侧相对)的半导体层中。计数器110对应于图1的第一计数器7并且与光敏元件111、112、113和114重叠。计数器120对应于图1的第一计数器8并且与光敏元件121、122、123和124重叠。计数器130与光敏元件131、132、133和134重叠。计数器140与光敏元件141、142、143和144重叠。
光敏元件阵列2的光敏元件组100包括9个光敏元件,即,如图2中的虚线所指示的光敏元件111、112、113、114、121、123、131、132和141。
计数器110耦接至光敏元件组100的光敏元件111至114、121、123、131、132和141,如图2中箭头所示。计数器110可以通过切换对应连接而连接至所耦接的光敏元件111至114、121、123、131、132和141以及从其断开。
在第一操作模式中,计数器110连接至光敏元件111、112、113和114,该光敏元件111、112、113和114构成光敏元件组100的第一子组并且具有重心101。
在第二操作模式中,计数器100连接至光敏元件112、114、121和123,该光敏元件112、114、121和123构成光敏元件组100的第二子组并且具有重心102。
在第三操作模式中,计数器100连接至光敏元件114、123、132和141,该光敏元件114、123、132和141构成光敏元件组100的第三子组并且具有重心103。
在第四操作模式中,计数器100连接至光敏元件113、114、131和132,该光敏元件113、114、131和132构成光敏元件组100的第四子组并且具有重心104。
在每个操作模式中,计数器100对来自在相应的操作模式中计数器100所连接的光敏元件的子组的光子检测事件进行计数。
同样地,计数器120、130和140各自耦接至包括图2中未描绘的光敏元件的九个光敏元件,并且在各种操作模式中连接至其各种子组。
例如,计数器120耦接至包括光敏元件121、122、123、124、141和142的一组光敏元件。在第一操作模式中,计数器120连接至光敏元件121、122、123和124。在第二操作模式中,计数器120连接至光敏元件122和124以及图2中未描绘的光敏元件。在第三操作模式中,计数器120连接至光敏元件124和142以及图2中未描绘的光敏元件。在第四操作模式中,计数器120连接至光敏元件123、124、141和142。
也就是说,每个计数器110、120、130和140耦接至光敏元件阵列2的相应组的九个光敏元件,并且在每个操作模式中连接至相应组的九个光敏元件之中的另一子组的四个光敏元件,以用于对来自这另一子组的光子检测事件进行计数。每个组的光敏元件以正方形的形式布置为三行三列,并且子组以正方形的形式布置为两行两列。垂直或水平相邻的组中存在一行或一列光敏元件重叠,并且(相同组或不同组的)垂直或水平相邻的子组中存在一行或一列光敏元件重叠。对角相邻的组或子组中存在一个光敏元件重叠。
图3示出了根据实施方式的计数器110在四个操作模式中的读出顺序的框图。
图3的部分A示出了第一操作模式,其中,包括光敏元件111、112、113和114的第一子组105(在部分A中由虚线示出)连接至计数器110。
图3的部分B示出了第二操作模式,其中,包括光敏元件112、114、121和123的第二子组106(在部分B中由虚线示出)连接至计数器110。
图3的部分C示出了第三操作模式,其中,包括光敏元件114、123、132和141的第三子组107(在部分C中由虚线示出)连接至计数器110。
图3的部分D示出了第四操作模式,其中,包括光敏元件113、114、131和132的第四子组108(在部分D中由虚线示出)连接至计数器110。
因此,具有相同尺寸和形状但具有不同重心的四个子组105至108可以在不同的操作模式中连接至一个计数器110。
图4示出了根据实施方式的四个计数器110、120、130和140在四个操作模式中的读出顺序的框图。
图4与图3的不同之处在于,对于四个计数器110、120、130和140中的每一个,示出了在每个操作模式中四个计数器110、120、130和140中的相应一个所连接的子组。
图4中的虚线网格示出了四个子组,其中,虚线网格的左上单元格指示连接至计数器110的子组,虚线网格的右上单元格指示连接至计数器120的子组,虚线网格的左下单元格指示连接至计数器130的子组,并且虚线网格的右下单元格指示连接至计数器140的子组。
如在图3中,图4的部分A对应于第一操作模式,图4的部分B对应于第二操作模式,图4的部分C对应于第三操作模式,图4的部分D对应于第四操作模式。
由此,在每个操作模式中,每个计数器110、120、130和140可连接至不同的子组,其中,所有子组具有相同的尺寸和形状,但具有不同的重心。
在操作模式中,由每个计数器110、120、130和140计数的光子检测事件的数量对应于在每个操作模式具有不同重心的四个光敏元件上的光子检测事件的总和。重心的间距对应于计数器间距的一半。
通过在成像装置1生成的图像中对齐像素(其值基于针对不同子组计数的光子检测事件的数量),使得像素的对齐(即,相对于彼此的位置)对应于子组的相应重心的对齐(即,相对于彼此的位置),在一些实施方式中,相对于在像素仅基于非重叠子组(例如,仅对应于第一操作模式的子组)的情况下获得的图像分辨率,这提高了图像分辨率。
图5示出了基于SPAD的现有技术图像传感器中的位使用的框图。
现有技术图像传感器包括基于SPAD的光敏元件201至204。每个光敏元件201至204连接至单独的计数器205至208。光敏元件201连接至计数器205。光敏元件202连接至计数器206。光敏元件203连接至计数器207。光敏元件204连接至计数器208。
为了获取图像,每个光敏元件201至204由其对应的计数器205至208读出一次。因此,在由相应计数器205至208计数的来自光敏元件201至204中的每一个的光子检测事件的数量被存储在16位寄存器中的示例性情况下,对于每个光敏元件201至204需要单独的16位寄存器来获取具有高分辨率的图像。
图6示出了根据实施方式的基于SPAD的图像传感器中的位使用的框图。
图像传感器是包括在成像装置1中的图像传感器的示例,并且包括光敏元件阵列2以及计数器110,如上文参考图2至图4所描述的。
在第一操作模式中,计数器110对来自第一子组105的光子检测事件进行计数,第一子组105包括光敏元件111至114。在第二操作模式中,计数器110对来自第二子组106的光子检测事件进行计数,第二子组106包括光敏元件112、114、121和123。在第三操作模式中,计数器110对来自第三子组107的光子检测事件进行计数,第三子组107包括光敏元件114、123、132和141。在第四操作模式中,计数器108对来自第四子组108的光子检测事件进行计数,第四子组108包括光敏元件113、114、131和132。
由计数器110进行计数的来自每个子组105至108的光子检测事件的数量被存储在16位寄存器中。16位的寄存器尺寸仅作为示例提供。本公开不限于16位的寄存器尺寸。技术人员将发现各种其他适当的寄存器尺寸。
然而,对子组105至108的读出在四个后续操作模式中顺序地执行。因此,仅需要针对计数器110设置一个16位寄存器。在第一操作模式中,来自第一子组105的光子检测事件的数量被存储在16位寄存器中。在第二操作模式中,来自第二子组106的光子检测事件的数量被存储在16位寄存器中。在第三操作模式中,来自第三子组107的光子检测事件的数量被存储在16位寄存器中。在第四操作模式中,来自第四子组108的光子检测事件的数量被存储在16位寄存器中。
因此,在一些实施方式中,通过顺序地并且按子组而不是并行地并且按光敏元件对光子检测事件进行计数,并且因此通过每个计数器仅需要一个16位寄存器,可以减少由用于存储多个光子检测事件的位所占用的空间。
图7示出了根据实施方式的成像装置1的基本操作。
基于SPAD的光敏元件301(其是图2的光敏元件111至114、121至124、131至134和141至144中的任一项的示例)连接至计数器302(其是图2的对应计数器110、120、130或140的示例)。
当光敏元件301连接至计数器302连接,光敏元件301向计数器302提供信号303。当光子304到达光敏元件301处并且在光敏元件301的SPAD中被检测到时,光敏元件301的SPAD输出表示光子检测事件的负边缘。计数器302对负边缘进行计数,并因此对光子检测事件进行计数。
图8示出了根据实施方式的电路配置。示出图2的光敏元件阵列2的4×4块的电路配置。布线的自由端表示未示出的电路区段。
包括在第一子组105中的图2的基于SPAD的光敏元件111至114经由与门411和或门410耦接至计数器110。如果输入到与门411的控制信号G1_SEL被设定为高(H)电平,则第一子组105连接至计数器110,并且指示来自光敏元件111至114中的任一个的光子检测事件的信号通过与门411和或门410转发至计数器110。如果控制信号G1_SEL被设定为低(L)电平,则与门411不转发指示来自光敏元件111至114中的任一个的光子检测事件的信号,并且第一子组从计数器110断开。
此外,第二子组106的光敏元件112、114、121和123经由与门412和或门410耦接至计数器110。如果控制信号G2_SEL被设定为H电平,则光敏元件112、114、121和123连接至计数器110,并且指示来自它们中任一个的光子检测事件的信号通过与门412和或门410转发至计数器110。如果控制信号G2_SEL被设定为L电平,则与门412不转发信号,并且光敏元件112、114、121和123从计数器110断开。
同样地,第三子组107的光敏元件114、123、132和141以及第四子组108的光敏元件113、114、131和132经由与门413和或门410耦接至计数器110。第三子组107和第四子组108通过将控制信号G3_SEL或G4_SEL分别设定为H电平而连接至计数器110,并且通过将控制信号G3_SEL或G4_SEL分别设定为L电平而从计数器110断开。
在第一操作模式中,控制信号G1_SEL被设定成H电平,使得第一子组105连接至计数器110,并且控制信号G2_SEL、G3_SEL和G4_SEL被设定成L电平,使得第二子组106、第三子组107和第四子组108从计数器110断开。在第二操作模式中,控制信号G2_SEL被设定为H电平,使得第二子组106连接至计数器110,并且控制信号G1_SEL、G3_SEL和G4_SEL被设定为L电平,使得第一子组105、第三子组107和第四子组108从计数器110断开。在第三操作模式中,控制信号G3_SEL被设定为H电平,使得第三子组107连接至计数器110,并且控制信号G1_SEL、G2_SEL和G4_SEL被设定为L电平,使得第一子组105、第二子组106和第四子组108从计数器110断开。在第四操作模式中,控制信号G4_SEL被设定为H电平,使得第四子组108连接至计数器110,并且控制信号G1_SEL、G2_SEL和G3_SEL被设定为L电平,使得第一子组105、第二子组106和第三子组107从计数器110断开。
同样地,光敏元件121至124经由与门421和或门420耦接至计数器120,并且可以通过将控制信号G1_SEL设定为H电平来连接至计数器120。光敏元件123、124、141和142经由与门423和或门420耦接至计数器120,并且可以通过将控制信号G4_SEL设定成H电平来连接至计数器120。光敏元件131至134经由与门431和或门430耦接至计数器130,并且可以通过将控制信号G1_SEL设定为H电平来连接至计数器130。光敏元件132、134、141和143经由与门432和或门430耦接至计数器130,并且可以通过将控制信号G2_SEL设定为H电平来连接至计数器130。光敏元件141至144经由与门431和或门440耦接至计数器140,并且可以通过将控制信号G1_SEL设定为H电平来连接至计数器140。
因此,通过将相应的控制信号设定为H电平,子组及其光敏元件可以连接至计数器。通过将相应的控制信号设定为L电平使得相应的与门阻断指示光子检测事件的信号,可以将在操作模式中不应当对其光子检测事件进行计数的子组从计数器断开。
要注意的是,本公开不限于图8的实施方式。技术人员将发现其他适当的电路配置。
图9示出了根据实施方式的由成像装置1生成的图像数据的示图。
图9的部分A至D对应于图3的各个部分。图9的部分E示出了由图像数据表示的图像的像素阵列500,该图像数据是由成像装置1基于光子检测事件的计数数量生成的。
像素阵列500包括像素501、502、503和504。像素501的值基于来自第一子组105的光子检测事件的计数数量。像素502的值基于来自第二子组106的光子检测事件的计数数量。像素503的值基于来自第三子组107的光子检测事件的计数数量。像素504的值基于来自第四子组108的光子检测事件的计数数量。
像素501至504根据相应的子组105至108的重心101至104的相对位置来布置。
图10示出了根据实施方式的用于颜色编码的光敏元件阵列600中的读出原理的框图。
光敏元件阵列600包括在彩色图像传感器中并且被布置为类似于图2的光敏元件阵列2,不同之处在于阵列600的每个光敏元件包括四个子元件并且每个计数器包括四个子计数器。光敏元件阵列600的光敏元件基于SPAD。光敏元件的每个子元件被配置为检测预定颜色的光子,并且每个子元件与预定颜色相关联并且被配置为针对对应颜色对来自子元件的光子检测事件进行计数。
光敏元件611包括:用于检测红光的子元件611a、用于检测绿光的子元件611b和611c以及用于检测蓝光的子元件611d。其他光敏元件同样被配置:具有以“a”结束的附图标记的子元件被配置为检测红光并且被垂直地加上阴影线。具有以“b”或“c”结束的附图标记的子元件被配置为检测绿光并且被对角地加上阴影线。具有以“d”结束的附图标记的子元件被配置为检测蓝光并且被水平地加上阴影线。由此,子元件根据拜耳图案布置,以用于进行在红-绿-蓝(RGB)颜色传感器中的颜色编码。
类似地,计数器610、620和630各自包括四个子计数器,其中,具有以“a”结束的附图标记的子计数器与红色相关联,具有以“b”或“c”结束的附图标记的子计数器与绿色相关联,具有以“d”结束的附图标记的子计数器与蓝色相关联。
图10的部分A示出了光敏元件阵列600的第一操作模式。
第一子组601包括光敏元件611、612、613和614并且连接至第一计数器610。子元件611a、612a、613a和614a被配置为检测红光并且连接至子计数器610a。子元件611b、612b、613b和614b被配置为检测绿光并且连接至子计数器610b。子元件611c、612c、613c和614c被配置为检测绿光并且连接至子计数器610c。子元件611d、612d、613d和614d被配置为检测蓝光并且连接至子计数器610d。
第一子组601的重心被示出为子元件611d、612c、613b和614a之间的十字。
图10的部分B示出了光敏元件阵列600的第二操作模式。
第二子组602包括光敏元件612、614、621和623并且连接至第一计数器610。
被配置为检测红光的子元件612a、614a、621a和623a连接至与红色相关联的子计数器610a。被配置为检测绿光的子元件612b、614b、621b和623b连接至与绿色相关联的子计数器610b。被配置为检测绿光的子元件612c、614c、621c和623c连接至与绿色相关联的子计数器610c。被配置为检测蓝光的子元件612d、614d、621d和623d连接至与蓝色相关联的子计数器610d。
第二子组602的重心示出为子元件612d、621c、614b与623a之间的十字。相对于第一子组601向右偏移一个光敏元件(即,两个子元件)。因此,来自第一子组601和来自第二子组602的所计数的光子检测事件的数量对应于不同的重心。
图10还示出了第二计数器620和(局部)第三计数器630。
在第一操作模式中,包括光敏元件612、622、623和624的第三子组603连接至第二计数器620。用于检测红光的子元件621a、622a、623a和624a连接至与红光相关联的子计数器620a。用于检测绿光的子元件621b、622b、623b和624b连接至与绿色相关联的子计数器620b。用于检测绿光的子元件621c、622c、623c和624c连接至与绿色相关联的子计数器620c。用于检测蓝光的子元件621d、622d、623d和624d连接至与蓝色相关联的子计数器620d。
此外,如局部示出的,用于检测红光的子元件631a和633a连接至与计数器630的红色相关联的子计数器630a,用于检测绿光的子元件631c和633c连接至与计数器630的绿色相关联的子计数器630c。
在第二操作模式中,第四子组604(局部示出)包括光敏元件622、624、631和633并且连接至第二计数器620。用于检测红光的子元件622a、624a、631a和633a连接至与红光相关联的子计数器620a。用于检测绿光的子元件622b和624b连接至与绿色相关联的子计数器620b。用于检测绿光的子元件622c、624c、631c和633c连接至与绿光相关联的子计数器620c。用于检测蓝光的子元件622d和624d连接至与蓝色相关联的子计数器620d。
虽然在图10中仅示出了光敏元件阵列600的两种操作模式,但是光敏元件阵列600被配置为在四种操作模式中操作,其中,另外两个子组可连接至每个计数器,如图3和图4示出的。
图11示出了根据实施方式的光敏元件以3×3像素组合的阵列700的框图。
光敏元件阵列700是可包括在成像装置1中的光敏元件阵列而不是光敏元件阵列2的示例。光敏元件阵列700的光敏元件基于SPAD。
对于光敏元件的3×3像素组合,布置为三行三列的九个光敏元件在每个操作模式中均连接至计数器,即,耦接至计数器的一组光敏元件的每个子组是正方形的并且包括九个光敏元件。
在图11的阵列700中,每个计数器耦接至布置为五行五列的一组25个光敏元件。每个这样的组包括九个正方形子组,其中,每个子组包括布置为三行三列的九个光敏元件。子组的重心在子组之间不同。在图11中,重心由十字表示。每个计数器可以单独地连接至九个正方形子组中的每一个(并从其断开)。
由于来自每个子组的光子检测事件在相应的子组连接至计数器的对应操作模式中被计数,所以光敏元件阵列700可在九种不同操作模式中操作。在每个操作模式中,一组光敏元件的九个子组中的另一个连接至对应计数器,以便对来自其的光子检测事件进行计数。
图11的部分A示出了第一操作模式,在第一操作模式中,包括光敏元件711至713的第一子组701连接至用于对光子检测事件进行计数的第一计数器710。此外,光敏元件721至729连接至用于对光子检测事件进行计数的第二计数器720,并且光敏元件731至739连接至用于对光子检测事件进行计数的第三计数器730。
图11的部分B示出了第二操作模式,在第二操作模式中,包括光敏元件712、713、715、716、718、719、721、724和727的第二子组702连接至第一计数器710,以用于对光子检测事件进行计数。第二子组702(及其重心)相对于第一子组701向右偏移一个光敏元件。第二计数器720连接至光敏元件722、723、725、726、728、729、731、734和737,以用于对光子检测事件进行计数。第三计数器730连接至光敏元件732、733、735、736、738和739以及未在图11中描绘的三个光敏元件,以用于对光子检测事件进行计数。
图11的部分C示出了第三操作模式,在第三操作模式中,包括光敏元件713、716、719、721、722、724、725、727和728的第三子组703连接至第一计数器710,以用于对光子检测事件进行计数。第二子组703(及其重心)相对于第二子组702向右偏移一个光敏元件。第二计数器720连接至光敏元件723、726、729、731、732、734、735、737和738,以用于对光子检测事件进行计数。第三计数器730连接至光敏元件733、736和739以及未在图11中描绘的六个光敏元件,以用于对光子检测事件进行计数。
除了在图11的部分A至C中示出的三种操作模式之外,光敏元件阵列700可以在除图11中未描绘的六种之外的操作模式中操作。在第四至第六操作模式中,计数器710、720和730连接至子组,该子组相对于在部分A至C中示出的子组701、702和703向下偏移一个光敏元件。在第七至第九操作模式中,计数器710、720和730连接至子组,该子组相对于在部分A至C中示出的子组701、702和703向下偏移两个光敏元件。因此,第四至第九操作模式的子组的重心向下偏移。
由此,在光敏元件阵列700中,执行3×3像素组合,使得由计数器710、720或730计数的光子检测事件的数量是来自九个光敏元件的计数的光子检测事件的数量的总和。
执行3×3像素组合允许针对九个光敏元件设置一个计数器,而不是针对四个光敏元件设置一个计数器的2×2像素组合。由此,需要较少的计数器,并且减小每个光敏元件的尺寸(即,每个光敏元件所占用的区域)。通过执行像素偏移,可以获得对由成像装置1生成的图像的高分辨率。
图12示出了根据实施方式的用于操作成像装置1的方法800的流程图。
方法800利用基于SPAD的光敏元件阵列(诸如图2至图4的光敏元件阵列2、图10的光敏元件阵列600或图11的光敏元件阵列700)来操作成像装置1。因此,通过方法800操作的第一计数器的示例包括图2至4的第一计数器110、图10的第一计数器610和图11的第一计数器710。通过方法800操作的第二计数器的示例包括图2至4的第二计数器120、图11的第二计数器620和图11的第二计数器720。通过方法800操作的第一组光敏元件包括诸如耦接至第一计数器的所有光敏元件,例如,图2的第一组100。通过方法800操作的第一子组包括图2至4的第一子组105、图10的第一子组601和图11的第一子组701。通过方法800操作的第二子组包括图2至4的第二子组106、图10的第二子组602和图11的第二子组702。通过方法800操作的第二组光敏元件的示例包括分别耦接(即,可连接)至图2到图4、图10或图11的第二计数器120、620或720的该组光敏元件,且通过该方法操作的第三子组和第四子组的示例包括分别在第一操作模式或第二操作模式中连接至相应第二计数器120、620或720的图2到图4、图10和图11中的此类子组。
在S800a处,相等数量的光敏元件包括在第一组光敏元件和第二组光敏元件的所有子组中。
在S800b处,在第一组光敏元件和第二组光敏元件的每个子组中,均包括比在第一组光敏元件中或在第二组光敏元件中少的光敏元件。
在S800c处,选择第一组光敏元件和第二组光敏元件的子组的数量,以使得第一组光敏元件和第二组光敏元件中的每个光敏元件分别被该第一组光敏元件或该第二组光敏元件的至少一个子组覆盖。
步骤S800a、S800b和S800c用于制备光敏元件阵列。
在S810处,利用第一计数器对从光敏元件阵列的第一组光敏元件接收的光子检测事件进行计数。
为了在S810对光子检测事件进行计数,在S811处,第一计数器在第一操作模式801中连接至第一组光敏元件的第一子组。这包括将第一子组单独地连接至第一计数器。然后,在S812处,利用第一计数器对在第一操作模式801中从第一子组接收的光子检测事件的数量进行计数。这包括用于获取彩色图像数据的步骤S812a、S812b和S812c。
在S812a处,利用与红色相关联的第一计数器的第一颜色计数器对在第一操作模式中从第一子组的光敏元件的第一子元件接收的光子检测事件的数量进行计数,第一子元件被配置为检测红光。
在S812b处,利用与绿色相关联的第一计数器的第二颜色计数器对在第一操作模式中从第一子组的光敏元件的第二子元件接收的光子检测事件的数量进行计数,第二子元件被配置为检测绿光。
在S812c处,利用与蓝色相关联的第一计数器的第三颜色计数器对在第一操作模式中从第一子组的光敏元件的第三子元件接收的光子检测事件的数量进行计数,第三子元件被配置为检测蓝光。
然后,在第二操作模式802中,在S813处,将第一计数器连接至第一组光敏元件的第二子组。这意味着,分别在第一和第二操作模式中,在第一操作模式801之后执行第二操作模式802,并且第一和第二子组顺序地连接至第一计数器。在S813处将第一计数器连接至第二子组包括将第二子组单独地连接至第一计数器。
在S814处,利用第一计数器对在第二操作模式中从第一组光敏元件的第二子组接收的光子检测事件的数量进行计数。这包括用于获取彩色图像数据的步骤S814a、S814b和S814c。
在S814a处,利用与红色相关联的第一计数器的第一颜色计数器对在第二操作模式中从第二子组的光敏元件的第一子元件接收的光子检测事件的数量进行计数,第一子元件被配置为检测红光。
在S814处,利用与绿色相关联的第一计数器的第二颜色计数器对在第二操作模式中从第二子组的光敏元件的第二子元件接收的光子检测事件的数量进行计数,第二子元件被配置为检测绿光。
在S814c处,利用与蓝色相关联的第一计数器的第三颜色计数器对在第二操作模式中从第二子组的光敏元件的第三子元件接收的光子检测事件的数量进行计数,第三子元件被配置为检测蓝光。
在S820处,利用第二计数器对从光敏元件阵列的第二组光敏元件接收的光子检测事件进行计数。这包括在S821处在第一操作模式801下将第二计数器连接至第二组光敏元件的第三子组,其中,第二组光敏元件的第三子组在至少一个光敏元件中与第一组光敏元件的第二子组重叠,并且在S822处利用第二计数器对在第一操作模式801中从第三子组接收的光子检测事件的数量进行计数。
类似于步骤S812a、S812b和S812c,S822包括:利用与红色、绿色或蓝色相关联的子计数对从第三子组的子元件接收的光子检测事件进行计数。然而,为了简洁起见,省略在S822检测不同颜色的描述。
在S823处,在第二操作模式802中,第二计数器连接至第二组光敏元件的第四子组。
在S824处,在第二操作模式802中,利用第二计数器对从第二组光敏元件的第四子组接收的光子检测事件的数量进行计数。
在S830处,生成图像数据,其中,该图像数据的第一像素基于在第一操作模式801中第一子组的光子检测事件的数量;并且该图像数据的第二像素基于在第二操作模式802中第二子组的光子检测事件的数量。
在S812、S814、S822和S824处对光子检测事件进行计数包括:利用单光子雪崩二极管(SPAD)分别在第一或第二组光敏元件中的每个光敏元件中检测光子。
利用根据本公开的成像装置1,可以实现较小尺寸的光敏元件,而无需权衡计数器的位数。针对预定数量的光敏元件(例如,四个光敏元件)实现一个计数器允许减小预定数量(例如,四个)的光敏元件所需的计数器区域。光敏元件与计数器之间的连接是可控的,这允许读出的光敏元件的偏移。
应当认识到,实施方式描述了具有方法步骤的示例性顺序的方法。然而,方法步骤的特定顺序仅出于说明性目给出并且不应解释为约束性。例如,可以交换图12的实施方式中的S812a、S812b和S812c的顺序和/或S814a、S814b和S814c的顺序。而且,可以交换图12的实施方式中的S810和S820的顺序和/或第一操作模式801和第二操作模式802的顺序。方法步骤顺序的其他变化对技术人员是显而易见的。
请注意,将控制划分成单元21至22仅为了说明的目的,并且本公开不限于在特定单元中的功能的任意特定划分。例如,控制21和/或22可以由相应的编程处理器、现场可编程门阵列(FPGA)等实现。
图12的方法800还可以实现为计算机程序,该计算机程序(当在计算机和/或处理器上执行时)使计算机和/或处理器(如以上所讨论的控制单元21)执行该方法。在一些实施方式中,还设置了其中存储计算机程序产品的非临时性计算机可读记录介质,该计算机程序产品在通过处理器(诸如,如上所述的处理器)执行时使得上述方法被执行。
如果没有另外说明,本说明书中描述的和所附权利要求中要求保护的所有单元和实体可例如在芯片上实现为集成电路逻辑,并且如果没有另外说明,由这些单元和实体提供的功能可由软件实现。
就使用软件控制的数据处理装置至少部分地实现上述本公开的实施方式而言,应当理解,提供这种软件控制的计算机程序和通过其提供这种计算机程序的传输、存储或其他介质设想为本公开的方面。
应注意,本技术也可进行如下所述的配置。
(1)一种成像装置,包括:
光敏元件阵列;以及
第一计数器,用于对从第一组光敏元件接收的光子检测事件进行计数;
其中,在第一操作模式中,第一计数器连接至第一组光敏元件的第一子组,并且其中,在第二操作模式中,第一计数器连接至第一组光敏元件的第二子组。
(2)根据(1)所述的成像装置,
其中,第一计数器设置在第一半导体层中,光敏元件阵列设置在第二半导体层中,并且第一计数器与设置有第一子组的区域重叠。
(3)根据(2)所述的成像装置,
其中,第一半导体层设置在第一芯片上,第二半导体层设置在第二芯片上。
(4)根据(1)至(3)中任一项所述的成像装置,
其中,第一组光敏元件的每个子组被配置为单独地连接至第一计数器。
(5)根据(1)至(4)中任一项所述的成像装置,还包括图像数据生成单元,该图像数据生成单元被配置为生成图像数据,
其中,该图像数据的第一像素基于在第一操作模式中第一子组的光子检测事件的数量,并且该图像数据的第二像素基于在第二操作模式中第二子组的光子检测事件的数量。
(6)根据(1)至(5)中任一项所述的成像装置,还包括第二计数器,该第二计数器用于对从光敏元件阵列的第二组光敏元件接收的光子检测事件进行计数;
其中,在第一操作模式中,第二计数器连接至第二组光敏元件的第三子组,并且在第二操作模式中,第二计数器连接至第二组光敏元件的第四子组,并且
其中,第二组光敏元件的第三子组与第一组光敏元件的第二子组在至少一个光敏元件中重叠。
(7)根据(1)至(6)中任一项所述的成像装置,
其中,第一子组和第二子组中的每一个包括至少两个光敏元件;并且
其中,第一子组与第二子组在至少一个光敏元件中重叠。
(8)根据(7)所述的成像装置,
其中,第一子组和第二子组中的每一个包括至少两行光敏元件和至少两列光敏元件。
(9)根据(7)或(8)中任一项所述的成像装置,
其中,第一子组和第二子组中的每一个是正方形的。
(10)根据(9)所述的成像装置,
其中,第一子组和第二子组中的每一个包括两行光敏元件和两列光敏元件。
(11)根据(9)所述的成像装置,
其中,第一子组和第二子组中的每一个包括三行光敏元件和三列光敏元件。
(12)根据(1)至(11)中任一项所述的成像装置,
其中,第一组光敏元件中的每个光敏元件包括:第一子元件,用于检测第一颜色的光;以及第二子元件,用于检测第二颜色的光;并且
其中,第一计数器包括:第一颜色计数器,用于对从第一子元件接收的光子检测事件进行计数;以及第二颜色计数器,用于对从第二子元件接收的光子检测事件进行计数。
(13)根据(1)至(12)中任一项所述的成像装置,
其中,第一组光敏元件的所有子组包括相等数量的光敏元件;并且
其中,第一组光敏元件的每个子组包括比第一组光敏元件少的光敏元件。
(14)根据(13)所述的成像装置,
其中,选择第一组光敏元件的子组的数量,以使得第一组光敏元件中的每个光敏元件被第一组光敏元件的至少一个子组覆盖。
(15)根据(14)所述的成像装置,
其中,第一组光敏元件的子组在相应的操作模式中顺序地连接至第一计数器。
(16)根据(1)至(15)中任一项所述的成像装置,
其中,第一组光敏元件中的每个光敏元件包括单光子雪崩二极管。
(17)一种用于操作成像装置的方法,包括:
利用第一计数器对从光敏元件阵列的第一组光敏元件接收的光子检测事件进行计数;
在第一操作模式中,将第一计数器连接至第一组光敏元件的第一子组;以及
在第二操作模式中,将第一计数器连接至第一组光敏元件的第二子组。
(18)根据(17)所述的方法,
其中,将第一计数器连接至第一子组包括将第一子组单独地连接至第一计数器;并且
其中,将第一计数器连接至第二子组包括将第二子组单独地连接至第一计数器。
(19)根据(17)和(18)中任一项所述的方法,其中,对光子检测事件进行计数包括:
利用第一计数器对在第一操作模式中从第一子组接收的光子检测事件的数量进行计数;以及
利用第一计数器对在第二操作模式中从第二子组接收的光子检测事件的数量进行计数。
(20)根据(17)至(19)中任一项所述的方法,还包括生成图像数据,
其中,该图像数据的第一像素基于在第一操作模式中第一子组的光子检测事件的数量,并且该图像数据的第二像素基于在第二操作模式中第二子组的光子检测事件的数量。
(21)根据(17)至(20)中任一项所述的方法,还包括:
利用第二计数器对从光敏元件阵列的第二组光敏元件接收的光子检测事件进行计数;
在第一操作模式中,将第二计数器连接至第二组光敏元件的第三子组;以及
在第二操作模式中,将第二计数器连接至第二组光敏元件的第四子组;
其中,第二组光敏元件的第三子组与第一组光敏元件的第二子组在至少一个光敏元件中重叠。
(22)根据(21)所述的方法,其中,对光子检测事件进行计数包括:
利用第二计数器对在第一操作模式中从第三子组接收的光子检测事件的数量进行计数;以及
利用第二计数器对在第二操作模式中从第四子组接收的光子检测事件的数量进行计数。
(23)根据(17)至(22)中任一项所述的方法,其中,对光子检测事件进行计数包括:
利用第一计数器的第一颜色计数器,对在第一操作模式中从第一子组的光敏元件的第一子元件接收的光子检测事件的数量进行计数;
利用第一计数器的第二颜色计数器,对在第一操作模式中从第一子组的光敏元件的第二子元件接收的光子检测事件的数量进行计数;
利用第一颜色计数器,对在第二操作模式中从第二子组的光敏元件的第一子元件接收的光子检测事件的数量进行计数;以及
利用第二颜色计数器,对在第二操作模式中从第二子组的光敏元件的第二子元件接收的光子检测事件的数量进行计数。
(24)根据(17)至(23)中任一项所述的方法,还包括:
在第一组光敏元件的所有子组中包括相等数量的光敏元件;以及
在第一组光敏元件的每个子组中包括比第一组光敏元件少的光敏元件。
(25)根据(24)所述的方法,还包括:
选择第一组光敏元件的子组的数量,以使得第一组光敏元件中的每个光敏元件被第一组光敏元件的至少一个子组覆盖。
(26)根据(25)所述的方法,包括:
在相应的操作模式中,将第一组光敏元件的子组顺序地连接至第一计数器。
(27)根据(17)至(26)中任一项所述的方法,还包括:
利用单光子雪崩二极管在第一组光敏元件中的每个光敏元件中检测光子。
(28)一种计算机程序,包括程序代码,该程序代码在计算机上执行时使计算机执行根据(17)至(27)中任一项所述的方法。
(29)一种非暂时性计算机可读记录介质,其中存储有计算机程序产品,该计算机程序产品在由处理器执行时使得根据(17)至(27)中任一项所述的方法被执行。
Claims (20)
1.一种成像装置,包括:
光敏元件阵列;以及
第一计数器,用于对从第一组光敏元件接收的光子检测事件进行计数;
其中,在第一操作模式中,所述第一计数器连接至所述第一组光敏元件的第一子组,并且其中,在第二操作模式中,所述第一计数器连接至所述第一组光敏元件的第二子组。
2.根据权利要求1所述的成像装置,
其中,所述第一计数器设置在第一半导体层中,所述光敏元件阵列设置在第二半导体层中,并且所述第一计数器与设置有所述第一子组的区域重叠。
3.根据权利要求2所述的成像装置,
其中,所述第一半导体层设置在第一芯片上,并且所述第二半导体层设置在第二芯片上。
4.根据权利要求1所述的成像装置,
其中,所述第一组光敏元件的每个子组被配置为单独地连接至所述第一计数器。
5.根据权利要求1所述的成像装置,还包括图像数据生成单元,所述图像数据生成单元被配置为生成图像数据,
其中,所述图像数据的第一像素基于在所述第一操作模式中所述第一子组的光子检测事件的数量,并且所述图像数据的第二像素基于在所述第二操作模式中所述第二子组的光子检测事件的数量。
6.根据权利要求1所述的成像装置,还包括第二计数器,所述第二计数器用于对从所述光敏元件阵列的第二组光敏元件接收的光子检测事件进行计数;
其中,在所述第一操作模式中,所述第二计数器连接至所述第二组光敏元件的第三子组,并且在所述第二操作模式中,所述第二计数器连接至所述第二组光敏元件的第四子组;并且
其中,所述第二组光敏元件的所述第三子组与所述第一组光敏元件的所述第二子组在至少一个光敏元件中重叠。
7.根据权利要求1所述的成像装置,
其中,所述第一子组和所述第二子组中的每一个包括至少两个光敏元件;并且
其中,所述第一子组与所述第二子组在至少一个光敏元件中重叠。
8.根据权利要求1所述的成像装置,
其中,所述第一组光敏元件中的每个光敏元件包括:第一子元件,用于检测第一颜色的光;以及第二子元件,用于检测第二颜色的光;并且
其中,所述第一计数器包括:第一颜色计数器,用于对从所述第一子元件接收的光子检测事件进行计数;以及第二颜色计数器,用于对从所述第二子元件接收的光子检测事件进行计数。
9.根据权利要求1所述的成像装置,
其中,所述第一组光敏元件的所有子组包括相等数量的光敏元件;并且
其中,所述第一组光敏元件的每个子组包括比所述第一组光敏元件少的光敏元件。
10.根据权利要求9所述的成像装置,
其中,选择所述第一组光敏元件的子组的数量,以使得所述第一组光敏元件中的每个光敏元件被所述第一组光敏元件的至少一个子组覆盖。
11.一种用于操作成像装置的方法,包括:
利用第一计数器对从光敏元件阵列的第一组光敏元件接收的光子检测事件进行计数;
在第一操作模式中,将所述第一计数器连接至所述第一组光敏元件的第一子组;以及
在第二操作模式中,将所述第一计数器连接至所述第一组光敏元件的第二子组。
12.根据权利要求11所述的方法,
其中,将所述第一计数器连接至所述第一子组包括将所述第一子组单独地连接至所述第一计数器;并且
其中,将所述第一计数器连接至所述第二子组包括将所述第二子组单独地连接至所述第一计数器。
13.根据权利要求11所述的方法,其中,对光子检测事件进行计数包括:
利用所述第一计数器对在所述第一操作模式中从所述第一子组接收的光子检测事件的数量进行计数;以及
利用所述第一计数器对在所述第二操作模式中从所述第二子组接收的光子检测事件的数量进行计数。
14.根据权利要求11所述的方法,还包括生成图像数据,
其中,所述图像数据的第一像素基于在所述第一操作模式中所述第一子组的光子检测事件的数量,并且所述图像数据的第二像素基于在所述第二操作模式中所述第二子组的光子检测事件的数量。
15.根据权利要求11所述的方法,还包括:
利用第二计数器对从所述光敏元件阵列的第二组光敏元件接收的光子检测事件进行计数;
在所述第一操作模式中,将所述第二计数器连接至所述第二组光敏元件的第三子组;以及
在所述第二操作模式中,将所述第二计数器连接至所述第二组光敏元件的第四子组;
其中,所述第二组光敏元件的所述第三子组与所述第一组光敏元件的所述第二子组在至少一个光敏元件中重叠。
16.根据权利要求15所述的方法,其中,对光子检测事件进行计数包括:
利用所述第二计数器对在所述第一操作模式中从所述第三子组接收的光子检测事件的数量进行计数;以及
利用所述第二计数器对在所述第二操作模式中从所述第四子组接收的光子检测事件的数量进行计数。
17.根据权利要求11所述的方法,其中,对光子检测事件进行计数包括:
利用所述第一计数器的第一颜色计数器,对在所述第一操作模式中从所述第一子组的所述光敏元件的第一子元件接收的光子检测事件的数量进行计数;
利用所述第一计数器的第二颜色计数器,对在所述第一操作模式中从所述第一子组的所述光敏元件的第二子元件接收的光子检测事件的数量进行计数;
利用所述第一颜色计数器,对在所述第二操作模式中从所述第二子组的所述光敏元件的第一子元件接收的光子检测事件的数量进行计数;以及
利用所述第二颜色计数器,对在所述第二操作模式中从所述第二子组的所述光敏元件的第二子元件接收的光子检测事件的数量进行计数。
18.根据权利要求11所述的方法,还包括:
在所述第一组光敏元件的所有子组中包括相等数量的光敏元件;以及
在所述第一组光敏元件的每个子组中包括比所述第一组光敏元件少的光敏元件。
19.根据权利要求18所述的方法,还包括:
选择所述第一组光敏元件的子组的数量,以使得所述第一组光敏元件中的每个光敏元件被所述第一组光敏元件的至少一个子组覆盖。
20.根据权利要求19所述的方法,包括:
在相应的操作模式中,将所述第一组光敏元件的子组顺序地连接至所述第一计数器。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP22154426.5 | 2022-02-01 | ||
EP22154426 | 2022-02-01 | ||
PCT/EP2023/052267 WO2023148148A1 (en) | 2022-02-01 | 2023-01-31 | Imaging device and method |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118614075A true CN118614075A (zh) | 2024-09-06 |
Family
ID=80119679
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202380018432.2A Pending CN118614075A (zh) | 2022-02-01 | 2023-01-31 | 成像装置和方法 |
Country Status (5)
Country | Link |
---|---|
EP (1) | EP4473741A1 (zh) |
JP (1) | JP2025503179A (zh) |
KR (1) | KR20240144246A (zh) |
CN (1) | CN118614075A (zh) |
WO (1) | WO2023148148A1 (zh) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI559763B (zh) * | 2009-10-01 | 2016-11-21 | 索尼半導體解決方案公司 | 影像取得裝置及照相機系統 |
JP7062430B2 (ja) * | 2017-12-15 | 2022-05-06 | キヤノン株式会社 | 撮像素子、撮像装置および画像処理方法 |
JP7193926B2 (ja) * | 2018-04-23 | 2022-12-21 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
-
2023
- 2023-01-31 KR KR1020247028358A patent/KR20240144246A/ko active Pending
- 2023-01-31 JP JP2024544430A patent/JP2025503179A/ja active Pending
- 2023-01-31 EP EP23702146.4A patent/EP4473741A1/en active Pending
- 2023-01-31 WO PCT/EP2023/052267 patent/WO2023148148A1/en active Application Filing
- 2023-01-31 CN CN202380018432.2A patent/CN118614075A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
KR20240144246A (ko) | 2024-10-02 |
WO2023148148A1 (en) | 2023-08-10 |
EP4473741A1 (en) | 2024-12-11 |
JP2025503179A (ja) | 2025-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9157988B2 (en) | Method and apparatus for array camera pixel readout | |
US8350940B2 (en) | Image sensors and color filter arrays for charge summing and interlaced readout modes | |
EP2323409B1 (en) | Image sensor with charge binning | |
CN1732681B (zh) | 固态成像器件 | |
US8913166B2 (en) | Solid-state imaging apparatus | |
US7087883B2 (en) | CMOS image sensor using shared transistors between pixels with dual pinned photodiode | |
US8462240B2 (en) | Imaging systems with column randomizing circuits | |
KR100815889B1 (ko) | 벌집 패턴 컬러 센서 셀 어레이를 갖는 cmos 이미지센서 장치 | |
US20100149393A1 (en) | Increasing the resolution of color sub-pixel arrays | |
US20100328510A1 (en) | Image pickup device and image pickup system | |
CN103546702A (zh) | 图像拾取装置的驱动方法以及图像拾取系统的驱动方法 | |
KR20180035143A (ko) | 다크 픽셀들을 갖는 이미지 센서들 | |
JP6343870B2 (ja) | 撮像素子および撮像装置 | |
JP6413233B2 (ja) | 撮像装置および撮像素子 | |
KR102184714B1 (ko) | 이미지 센싱 장치 | |
EP2800355B1 (en) | Imaging device, method for controlling imaging device, and control program | |
JP6136103B2 (ja) | 撮像装置、撮像素子および読出方法。 | |
US20240377628A1 (en) | Image sensor and electronic camera | |
CN207251823U (zh) | 成像设备和成像系统 | |
CN118614075A (zh) | 成像装置和方法 | |
JP6080411B2 (ja) | 撮像装置、撮像装置の駆動方法、および撮像システムの駆動方法。 | |
JP2021108501A (ja) | 撮像素子、及び撮像装置 | |
JP2024109935A (ja) | 撮像素子 | |
JP2017163588A (ja) | 撮像装置、撮像素子および読出方法 | |
JP2004146955A (ja) | 固体撮像素子及びその駆動方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |