CN110677603B - 一种用于单帧分段曝光的图像传感器和数据采集方法 - Google Patents

Abstract

本发明公开的一种用于单帧分段曝光的图像传感器，包括图像传感器模块、拐点参考输入模块、存储器和数字信号处理器，在第一帧数据采集过程中，拐点参考输入模块将拐点参考输入信号写入至像素阵列，像素阵列输出伪曝光信号，并将伪曝光信号写入至存储器；从第二帧数据采集开始，像素阵列进行分段曝光，所述数字信号处理器读出像素阵列的曝光信号和存储器中的伪曝光信号，并将对应像素单元的曝光信号与伪曝光信号相减，得到拐点差异消除的曝光信号；本发明提供的一种用于单帧分段曝光的图像传感器，能够缩短图像传感器每行的处理时间，提高图像传感器帧率，且能够完全消除FPN。

Description

一种用于单帧分段曝光的图像传感器和数据采集方法

技术领域

本发明涉及图像传感器领域，具体涉及一种用于单帧分段曝光的图像传感器。

背景技术

CMOS图像传感器由于其高集成度、低功耗和低成本等优势，在日常生活和工艺中应用广泛。对于CMOS图像传感器来说，高动态范围和高帧率都是衡量 CMOS图像传感器的重要指标。对于小动态范围的CMOS图像传感器，如果要捕捉小信号就需要采用长曝光时间，但这样大信号饱和，无法得到大信号数据；反之，如果要捕捉大信号就需要缩短曝光时间，但这样小信号无法分辨，得到不小信号有效数据。因此高动态范围是CMOS图像传感器的重要指标。

目前提高动态范围的常用办法主要是多帧曝光融合、不同转换增益以及分段曝光这三种办法，但是多帧曝光融合需要通过多帧曝光数据得到一幅图像的大小完整信号，需要牺牲帧率；增益转换的方式要么通过两帧不同增益转换得到图像，要么在一帧内通过对每个像素(也称像素单元)读取不同转换增益的数据，这两种方式也会使得帧率减半。多帧曝光融合和不同转换增益这两种办法都需要额外的ISP(数字信号处理器)的算法处理。单帧内通过分段曝光的方式，将大信号中多余的信号溢出到电源，使得原本饱和的大信号不饱和，而小信号不受影响，通过这种方式，只需要一帧即可读出所有信号，在得到高动态范围的同时不牺牲帧率。

但是单帧分段曝光HDR(High-Dynamic Range高动态范围)的方式的光敏感曲线会形成一个拐点，而由于每个像素的分段曝光控制管的阈值不同导致每个像素的拐点不同，即形成了拐点差异；使得图像的FPN(Fixed Pattern Noise固定模式噪声)增大。现有技术之一是通过每行预曝光，再采集包含拐点差异的参考输出信号，对每行输出信号的拐点差异进行消除，达到优化FPN的效果。但这种消除FPN的办法会使得每行的处理时间加倍，降低图像传感器帧率。

具体请参阅附图1，为常规图像传感器框架示意图，其中图像传感器模块主要由像素阵列、行驱动电路、列级ADC、接口电路构成，接口电路作为图像传感器的输出端口，将图像传感器信号输出到数字信号处理器。专利US 10250832 B1中公开了一种基于基于满阱控制的单帧HDR FPN优化结构，如图2所示，相比于图1中的常规图像传感器，图2中增加一个拐点参考输入模块，拐点参考输入模块与像素阵列相连。图3为图2对应的结构中针对拐点消除方案的工作过程示意图。每个像素包括三大过程：低满阱量曝光EXP_LFWC、高满阱量曝光EXP_HFWC和读出READ，拐点差异在低满阱量曝光过程中产生。而在读出阶段，每个像素包括5个过程：像素复位信号读出SHR_VP、像素输出信号读出 SHS_VP、伪曝光VIRTUAL EXP、拐点复位信号读出SHR_RP、拐点输出信号读出SHS_RP，其中伪曝光即是拐点参考信号输入，由于像素需要采集高低两个信号，因此伪曝光过程中写入拐点参考信号时需要进行两次信号写入，分别写入高信号和低信号。最终经过伪曝光后，像素不进行曝光，但像素会得到和正常工作类似的一个高信号和一个低信号，高信号模拟像素复位，低信号模拟像素曝光后电位降低。由于正常曝光工作的像素读出的复位信号不包含拐点差异，只有像素输出信号包含拐点差异，因此可以在伪曝光过程写入低信号时引入拐点差异，也可以在低信号读出时引入拐点差异。但拐点引入的MOS管和像素HDR工作时引入拐点差异的MOS管是同样的MOS管才能消除拐点差异。图3中的工作模式，在每行像素信号读出时，需要读出两组数据，即像素曝光数据和伪曝光数据，这样行周期增大，图像传感器帧率降低。

发明内容

本发明的目的是提供一种用于单帧分段曝光的图像传感器，能够缩短图像传感器每行的处理时间，提高图像传感器帧率，且能够完全消除FPN。

为了实现上述目的，本发明采用如下技术方案：一种用于单帧分段曝光的图像传感器，包括图像传感器模块、拐点参考输入模块、存储器和数字信号处理器，其中，所述图像传感器模块包括含有像素单元的像素阵列，所述图像传感器模块的输出端口同时连接所述存储器和数字信号处理器，所述存储器与所述数字信号处理器连接，所述拐点参考输入模块的输出端口连接所述像素单元中控制分段曝光的MOS管；

在第一帧数据采集过程中，拐点参考输入模块将拐点参考输入信号写入至像素阵列，像素阵列输出伪曝光信号，并将伪曝光信号写入至存储器；从第二帧数据采集开始，像素阵列进行分段曝光，所述数字信号处理器读出像素阵列的曝光信号和存储器中的伪曝光信号，并将对应像素单元的曝光信号与伪曝光信号相减，得到拐点差异消除的曝光信号；

其中，存储器中伪曝光信号在写入、读出过程中包含的拐点差异次数与像素阵列曝光、读出过程中的拐点差异次数相同。

进一步地，所述曝光信号包括曝光复位信号和曝光输出信号，所述伪曝光信号包括伪曝光复位信号和伪曝光输出信号。

进一步地，所述拐点参考输入模块输出的拐点参考输入信号包括低拐点参考输入信号和高拐点参考输入信号，分别对应伪曝光复位信号和伪曝光输出信号。

进一步地，所述分段曝光包括低满阱量曝光和高满阱量曝光，通过控制像素单元中感光二极管与电源之间的势垒高度，实现低满阱量曝光和高满阱量曝光。

进一步地，所述图像传感器模块、拐点参考输入模块集成在图像传感器芯片内，所述存储器和/或数字信号处理器集成在图像传感器芯片外或者集成在图像传感器芯片内。

进一步地，所述图像传感器模块还包括行驱动电路、列级ADC和接口电路。

进一步地，所述数字信号处理器同时读出像素阵列中A行像素单元的曝光信号和存储器中对应的伪曝光信号，A为大于0且小于等于像素阵列行数的整数。

一种采用单帧分段曝光的图像传感器进行数据采集的方法，包括如下步骤：

S01：进行图像传感器的第一帧数据采集，此时，像素阵列不曝光，拐点参考输入模块将拐点参考输入信号写入至像素阵列，像素阵列输出伪曝光信号，并将伪曝光信号写入至存储器；

S02：进行图像传感器的第二帧数据采集，此时，像素阵列进行曝光，数字信号处理器读出像素阵列的曝光信号和存储器中的伪曝光信号，并将对应像素单元的曝光信号与伪曝光信号相减，得到拐点差异消除的曝光信号；

S03：重复步骤S02进行图像传感器的第三帧至第B帧数据采集，直至完成所有帧的数据采集，B为图像传感器的数据采集总帧数。

进一步地，所述步骤S02中数字信号处理器同时读出像素阵列中A行像素单元的曝光信号和存储器中对应的伪曝光信号，A为大于0且小于等于像素阵列行数的整数。

本发明的有益效果为：在第一帧数据采集时进行伪曝光信号采集，从第二针数据采集开始，进行曝光信号采集，且伪曝光信号和曝光信号均包含相同的拐点差异，将对应像素的曝光信号与伪曝光信号相减，得到拐点差异消除的曝光信号；能够缩短图像传感器每行的处理时间，提高图像传感器帧率，且能够完全消除 FPN。

附图说明

图1为常规图像传感器框架示意图。

图2为现有技术中基于满阱控制的单帧HDR FPN优化的框架示意图。

图3为现有技术中基于满阱控制的单帧HDR FPN优化的工作过程示意图。

图4为本发明一种用于单帧分段曝光的图像传感器的框架示意图。

图5为本发明一种用于单帧分段曝光的图像传感器的工作过程示意图。

图6为基于5T像素单元和拐点参考输入模块的结构示意图。

图7为基于5T像素单元进行伪曝光的工作过程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明的具体实施方式做进一步的详细说明。

如图4所示，本发明公开的一种用于单帧分段曝光的图像传感器，包括图像传感器模块、拐点参考输入模块、存储器和数字信号处理器，其中，图像传感器模块包括含有多个像素单元的像素阵列，图像传感器模块的输出端口同时连接存储器和数字信号处理器，存储器与数字信号处理器连接，拐点参考输入模块的输出端口连接像素单元中控制分段曝光的MOS管。

本发明中图像传感器模块还包括行驱动电路、列级ADC和接口电路，行驱动电路产生像素阵列每行驱动信号，控制像素阵列逐行曝光及信号读取；列级 ADC电路将每行输出的所有列模拟信号转化为数字信号并通过接口电路输出；接口电路的输出端口即为整个图像传感器模块的输出端口。图像传感器模块和拐点参考输入模块集成在图像传感器芯片内，数字信号处理器可以集成在图像传感器芯片外或者集成在图像传感器芯片内，存储器可以集成在图像传感器芯片内，也可以集成在图像传感器外。

存储器存储所有像素阵列的伪曝光信号，伪曝光信号中包括拐点差异。只有第一帧数据采集过程中像素阵列对存储器写入拐点差异，从第二帧起，像素阵列正常感光，每帧只从存储器读出第一帧写入的拐点差异，而不再对存储器进行写入操作。存储器的一端与数字信号处理器相连，从第二帧起从存储器读出的值将输入到数字信号处理器进行处理。数字信号处理器第一帧不进行拐点差异消除操作。从第二帧图像传感器正常感光开始，数字信号处理器将图像传感器接口输出的曝光信号与从存储器中读出的伪曝光信号相减，消除图像传感器输出数据中因为拐点差异导致的FPN。

本发明图像传感器用于单帧分段曝光，单帧分段曝光的原理是低满阱量曝光阶段控制曝光的mos管的的电压值不是最大电压(相对于接地和电源电压不是最大电压)，定义低满阱量曝光曝光阶段的电压为中间电压，使得高于中间电压对应的势垒高度的电荷都会泄放掉，在感光敏感度曲线上体现出来是一个有拐点的折线。在中间电压下，由于每个像素单元控制曝光的MOS管的阈值差异，每个像素单元在中间电压下形成的势垒高度不同，导致剩余电荷不同，导致每个像素单元的拐点不同。也就是说，拐点是由于中间电压产生的。因此在伪曝光信号读取阶段，为了保证读出的伪曝光信号包含拐点差异，则读出伪曝光信号时，对应的控制曝光的MOS管也应该处于中间状态。由于像素单元的拐点差异是由控制分段曝光的MOS管的阈值决定，而芯片上器件阈值与时间无关，可以认为第一帧与之后的帧每个像素单元的拐点差异相同，用后续帧减去第一帧的拐点差异即可消除拐点差异。本发明中拐点差异指的是因为不同像素单元中控制分段曝光的MOS管阈值不同，会在像素阵列输出信号中产生偏离正常拐点值的差异。

拐点参考输入模块输出的拐点参考输入信号必须经过拐点差异产生的MOS 管，即控制像素单元分段曝光的MOS管；这样才能保证曝光信号和伪曝光信号相减时消除拐点差异，且拐点参考输入信号在存储器中写入和读出包括的拐点差异次数必须和像素信号曝光、读出过程中的拐点差异产生次数一致。如果像素单元只在曝光阶段产生一次拐点差异，则拐点参考输入信号在存储器中写入和读出的整个过程中只能有一次操作产生拐点差异；如果像素单元在曝光读取阶段产生两次拐点差异，则拐点参考输入信号在存储器中写入和读出的过程中必须包含两次拐点差异，这样才能最大程度地消除拐点差异带来的图像FPN，如果像素单元在曝光读取阶段产生两次拐点差异，拐点参考输入信号在存储器中写入和读出的整个过程中只有一次操作产生拐点差异，则不能完全消除拐点差异带来的FPN。本发明中控制分段曝光的MOS管可以为一个或多个，当控制分段曝光的MOS 管为多个时，每个控制分段曝光的MOS管上均连接一个拐点参考输入模块，确保最终形成的图像中所有拐点均被消除。

本发明中拐点参考输入模块的输出端口连接在像素单元中控制分段曝光的 MOS管上，即要确保拐点参考输入信号的写入必须经过拐点差异产生的MOS管。具体的拐点参考输入模块连接在像素阵列中每个像素单元或是一列像素单元或是一个像素单元上，需要取决于像素阵列的曝光方式和像素阵列的输出方式。若像素阵列为全局曝光，则所有的像素阵列的像素单元和一个拐点参考输入模块相连，即整个图像传感器只需要一个拐点参考输入模块即可；若像素阵列为逐行曝光，则每行像素单元和一个拐点参考输入模块相连，即整个图像传感器的拐点参考输入模块的个数和图像传感器的行数一致；若像素阵列为每个像素独立曝光独立输出，则每个像素单元都需要连接一个拐点参考输入模块，即整个图像传感器的拐点参考输入模块的个数和图像传感器的像素数量一致。

本发明中图像传感器消除拐点差异的原理为：在第一帧数据采集过程中，拐点参考输入模块将拐点参考输入信号输入至像素阵列，像素阵列输出伪曝光信号，并将伪曝光信号写入至存储器；从第二帧数据采集开始，像素阵列进行分段曝光，所述数字信号处理器读出像素阵列的曝光信号和存储器中的伪曝光信号，将对应像素单元的曝光信号与伪曝光信号相减，得到拐点差异消除的曝光信号；其中，伪曝光信号在写入、读出过程中包含的拐点差异次数与像素阵列曝光、读出过程中的拐点差异次数相同。整个芯片工作过程中，只需要在第一帧数据采集过程中写入拐点参考输入信号，之后帧都进行正常曝光，不再写入拐点参考输入信号；同理，存储器只有在第一帧需要写入伪曝光信号，在之后帧存储器只需要进行伪曝光信号读取。

请参阅附图5，以相关双采样过程为例进行说明，本发明中消除拐点的方法也适用其他的采样方法。从图5中可以看到，伪曝光和拐点差异读取只在第一帧中进行，从第二帧起，像素只有3个工作状态：低满阱量曝光EXP_LFWC、高满阱量曝光EXP_HFWC、读出READ，且读出阶段只有2个工作状态：像素复位信号读出SHR_VP和像素输出信号SHS_VP读出。第一帧的伪曝光过程和图 3一致，拐点参考输入模块两次分别写入一个高拐点参考输入信号和一个低拐点参考输入信号，模拟像素的曝光。伪曝光对应的信号读出过程中有两个工作状态：拐点复位信号读出SHS_KP和拐点输出信号读出SHS_KP。

第一帧像素不进行曝光，即伪曝光和像素曝光不在同一帧中进行，但现有技术中是在同一帧中完成。从第二帧起，像素的曝光过程包括低满阱量曝光和高满阱量曝光，通过控制像素感光二极管与电源之间的势垒高度，实现低满阱量和高满阱量的转换。每个像素都会经过这两个曝光阶段的曝光，但对于大信号来说，曝光有效时间可能小于低满阱量的曝光时间和高满阱量曝光时间的和，因为低满阱量曝光阶段，信号更容易饱和，饱和后多余的曝光时间内产生的电荷均被吸收到电源，不再被像素积累。

第一帧的读出阶段的处理也和之后的帧读出处理不同。第一帧读出伪曝光复位信号和伪曝光输出信号后即可得到每个像素包含拐点差异的伪曝光信号。先对每个像素单元写入伪曝光信号，再将伪曝光信号读出，读出的伪曝光信号写入存储器。第二帧开始的信号读出阶段，每个像素采集曝光复位信号和曝光输出信号之后即可得到每个像素的曝光信号，曝光信号中包含拐点差异。将得到的曝光信号输出到数字信号处理器中，同时数字信号处理器读出存储器中对应像素单元的伪曝光信号，将对应像素单元的曝光信号和伪曝光信号相减，得到拐点差异消除之后的曝光信号。

本发明提供的一种采用单帧分段曝光的图像传感器进行数据采集的方法，包括如下步骤：

S01：进行图像传感器的第一帧数据采集，此时，像素阵列不曝光，拐点参考输入模块将拐点参考输入信号写入至像素阵列，像素阵列输出伪曝光信号，并将伪曝光信号写入至存储器。

S02：进行图像传感器的第二帧数据采集，此时，像素阵列进行曝光，数字信号处理器读出像素阵列的曝光信号和存储器中的伪曝光信号，并将对应像素单元的曝光信号与伪曝光信号相减，得到拐点差异消除的曝光信号。

其中，数字信号处理器同时读出像素阵列中A行像素单元的曝光信号和存储器中对应的伪曝光信号，A为大于0且小于等于像素阵列行数的整数。也就是说，数字信号处理器对某一行的伪曝光信号的读取以及曝光信号与伪曝光信号的相减可以与其它行的曝光信号同时进行，这样可以提高帧率。同时，如果数字信号处理器对某一行的伪曝光信号的读取以及曝光信号与伪曝光信号的相减是独立进行的，即逐行处理，也在本发明保护范围内。

S03：重复步骤S02进行图像传感器的第三帧至第B帧数据采集，直至完成所有帧的数据采集，B为图像传感器的数据采集总帧数。

本发明中消除拐点差异的结构和方法只需要确保拐点参考输入模块的输出端口连接所述像素单元中控制分段曝光的MOS管，且伪曝光信号在输入、输出过程中包含的拐点差异次数与像素阵列曝光、输出过程中的拐点差异次数相同即可，在此基础上可以适用于任何结构的图像传感器。以下以5T结构的图像传感器进行说明：

图6为基于5T的拐点参考输入模块与像素的连接示意图，5T的HDR通过AB管的栅极电压调节实现。当正常曝光时，拐点参考输入模块始终输出电源电压，像素正常工作。当伪曝光时，拐点参考输入模块分别输出高拐点参考输入信号和低拐点参考输入信号。

图6结合图7，对本专利所述的伪曝光信号的伪曝光和读取进行说明。记拐点输入模块的输出信号为VKP，VKP的高拐点参考输入信号为VH，低拐点参考输入信号为VL，像素电源电压为VDDP，AB栅极高电压为VH_AB，中间电压为MID_AB，低电压为VL_AB，其中MID_AB为正常曝光中低满阱量曝光阶段的AB栅极电压值。当拐点输入模块输出VH时，AB栅极电压为VH_AB，此时AB管完全导通，PD处的电压为VPD1＝VH，采集此时的PD信号即伪曝光复位信号Vrst_KP；当拐点输入模块输出VL时，AB管栅极电压为MID_AB，此时AB管不完全导通，PD处电压为VPD2＝VL-Vth，Vth为AB管的阈值；采集此时的PD信号即伪曝光输出信号Vsig_KP；当伪曝光数据采集结束后，拐点输入模块输出电源电压VDDP，AB拉高值VH_AB，PD进入复位状态，为接下来的曝光做准备。伪曝光得到的信号即为V_KP＝VH-(VL-Vth)＝VH-VL+Vth，由此可见：V_KP与Vth正相关。

对于正常曝光过程中，记采集的曝光复位信号为Vrst_PD，采集到的曝光输出信号为Vsig_PD。当AB电压为MID_AB时，势垒高度与(MID_AB-Vth)相关。AB管的Vth越小，(MID_AB-Vth)越大，势垒高度越低，积累的电荷越少，得到的Vsig_PD越大；反之，AB管的Vth越大，(MID_AB-Vth)越小，势垒高度越高，积累的电荷越多，得到的Vsig_PD越小。由此可见Vsig与Vth负相关。得到的曝光信号V_PD＝Vrst_PD-Vsig_PD与Vth正相关，因此(V_PD-V_KP) 即与Vth无关，即由于Vth差异导致的拐点差异最终形成的图像FPN恶化现象得到优化。

以上所述仅为本发明的优选实施例，所述实施例并非用于限制本发明的专利保护范围，因此凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明所附权利要求的保护范围内。

Claims (9)

1.一种用于单帧分段曝光的图像传感器，其特征在于，包括图像传感器模块、拐点参考输入模块、存储器和数字信号处理器，其中，所述图像传感器模块包括含有像素单元的像素阵列，所述图像传感器模块的输出端口同时连接所述存储器和数字信号处理器，所述存储器与所述数字信号处理器连接，所述拐点参考输入模块的输出端口连接所述像素单元中控制分段曝光的MOS管；

在第一帧数据采集过程中，拐点参考输入模块将拐点参考输入信号写入至像素阵列，像素阵列输出伪曝光信号，并将伪曝光信号写入至存储器；从第二帧数据采集开始，像素阵列进行分段曝光，所述数字信号处理器读出像素阵列的曝光信号和存储器中的伪曝光信号，并将对应像素单元的曝光信号与伪曝光信号相减，得到拐点差异消除的曝光信号；

其中，存储器中的伪曝光信号在写入、读出过程中包含的拐点差异次数与像素阵列曝光、读出过程中的拐点差异次数相同。

2.根据权利要求1所述的一种用于单帧分段曝光的图像传感器，其特征在于，所述曝光信号包括曝光复位信号和曝光输出信号，所述伪曝光信号包括伪曝光复位信号和伪曝光输出信号。

3.根据权利要求2所述的一种用于单帧分段曝光的图像传感器，其特征在于，所述拐点参考输入模块输出的拐点参考输入信号包括高拐点参考输入信号和低拐点参考输入信号，分别对应伪曝光复位信号和伪曝光输出信号。

4.根据权利要求1所述的一种用于单帧分段曝光的图像传感器，其特征在于，所述分段曝光包括低满阱量曝光和高满阱量曝光，通过控制像素单元中感光二极管与电源之间的势垒高度，实现低满阱量曝光和高满阱量曝光。

5.根据权利要求1所述的一种用于单帧分段曝光的图像传感器，其特征在于，所述图像传感器模块、拐点参考输入模块集成在图像传感器芯片内，所述存储器和/或数字信号处理器集成在图像传感器芯片外或者集成在图像传感器芯片内。

6.根据权利要求1所述的一种用于单帧分段曝光的图像传感器，其特征在于，所述图像传感器模块还包括行驱动电路、列级ADC和接口电路。

7.根据权利要求1所述的一种用于单帧分段曝光的图像传感器，其特征在于，所述数字信号处理器同时读出像素阵列中A行像素单元的曝光信号和存储器中对应的伪曝光信号，A为大于0且小于等于像素阵列行数的整数。

8.一种采用权利要求1所述的单帧分段曝光的图像传感器进行数据采集的方法，其特征在于，包括如下步骤：

S01：进行图像传感器的第一帧数据采集，此时，像素阵列不曝光，拐点参考输入模块将拐点参考输入信号写入至像素阵列，像素阵列输出伪曝光信号，并将伪曝光信号写入至存储器；

S02：进行图像传感器的第二帧数据采集，此时，像素阵列进行曝光，数字信号处理器读出像素阵列的曝光信号和存储器中的伪曝光信号，并将对应像素单元的曝光信号与伪曝光信号相减，得到拐点差异消除的曝光信号；

S03：重复步骤S02进行图像传感器的第三帧至第B帧数据采集，直至完成所有帧的数据采集，B为图像传感器的数据采集总帧数。

9.根据权利要求8的一种进行数据采集的方法，其特征在于，所述步骤S02中数字信号处理器同时读出像素阵列中A行像素单元的曝光信号和存储器中对应的伪曝光信号，A为大于0且小于等于像素阵列行数的整数。

Images