CN102065221B - 具抖动补偿的图像传感器 - Google Patents

Abstract

本发明涉及具有抖动补偿的图像传感器。一种相机包括主像素阵列、一个或多个抖动检测像素群及逻辑电路。该主像素阵列可按照图像帧速率生成图像的图像帧。该一个或多个抖动检测像素群可生成抖动检测数据，其中以比该图像帧速率快的速率采样该第一抖动检测像素群的一个或多个像素。该逻辑电路可在接收到照片拍摄信号之后评估该抖动检测数据以选择所生成的图像帧中的一帧。

Description

具抖动补偿的图像传感器

技术领域

本发明一般涉及成像传感器，且更特定而言但非专指，涉及具有用于抖动补偿的元件的成像传感器。

背景技术

集成电路已开发成减小用于实现电路的组件的大小。举例而言，集成电路已使用不断变小的设计特征，此举减小用于实现电路的面积，以使设计特征现恰好低于可见光的波长。由于作为感测阵列的一部分的图像传感器及个别像素的大小不断减小，更有效率地捕获在入射光照射感测阵列时所形成的电荷变得重要。另外，相机的运动(诸如由手持式相机引起的抖动)的效应较不利地影响由大小不断减小的感测阵列所摄取的图像的质量。

附图简述

参考以下附图来描述本发明的非限制性且非详尽的实施例，其中除非另有说明，否则相同附图标记贯穿各附图指示相同部分。

图1为示出根据本发明的一个实施例的成像传感器的框图。

图2为根据本发明的实施例的样本抖动检测像素群的示意图。

图3为示出根据本发明的一个实施例的从抖动检测像素群和主像素阵列中读出数据的时序图。

图4为示出根据本发明的一个实施例的以主像素阵列的k倍速率从抖动检测像素群中读出数据的时序图。

图5为示出根据本发明的一个实施例的以主像素阵列的四倍速率从抖动检测像素群中读出数据的时序图。

图6为示出预览模式与摄取模式之间的不同分辨率及帧速率的时序图。

图7为示出预览模式与摄取模式之间的不同分辨率及帧速率的时序图。

图8(现有技术)为示出预览模式与摄取模式之间的不同分辨率及帧速率的时序图。

图9为示出根据本发明的一个实施例的预览模式与摄取模式之间的不同分辨率及帧速率的时序图。

图10为示出根据本发明的一个实施例的可执行抗抖动计算的时间周期的时序图。

图11为示出根据本发明的一个实施例的使用抖动检测像素群选择主像素帧的流程图。

具体实施方式

本文中描述具有抖动补偿的图像传感器的实施例。在以下描述中，陈述众多特定细节以透彻理解这些实施例。然而，本领域普通技术人员将认识到可在没有这些特定细节中的一个或多个的情况下或通过其它方法、组件、材料等等来实践本文中所描述的技术。在其它情况下，不详细显示或描述熟知结构、材料或操作以避免使某些方面混淆。

本说明书通篇中引用“一个实施例”或“一实施例”意味着结合该实施例中所描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，本说明书通篇中各处的词组“在一个实施例中”或“在一实施例中”的出现未必均指同一实施例。另外，可在一个或多个实施例中以任何合适的方式组合特定特征、结构或特性。如本文中所使用的术语“或”通常意味着涵盖包括性功能的意义，诸如“和/或”。如本文中所使用的术语“相机”亦可指多功能装置(诸如蜂窝电话)，这些多功能装置包含类似于相机的功能且常共享诸如内存的组件和处理功能。

图1为示出根据本发明的一个实施例的成像传感器100的框图。可使用正面或背面照明成像传感器来实践本发明的实施例。成像传感器100的所示实施例包括像素阵列105、读出电路110、功能逻辑115、控制电路120，以及一个或多个抖动检测像素群130。可如说明来放置该一个或多个抖动检测像素群130，但是可使用其它位置、形状、取向及大小。

像素阵列105为成像像素(例如，像素P1、P2、…、Pn)的二维(“2D”)阵列。在一个实施例中，每个像素为诸如互补金属氧化物半导体(“CMOS”)成像像素的有源像素传感器(“APS”)。每个像素通常具有诸如光电二极管区域的感光区域，其用于收集由入射到像素上的光所生成的电荷。如所说明，将每个像素排列成行(例如，行R1至Ry)和列(例如，列C1至Cx)以获取人、地点或对象的图像数据，该图像数据接着可用来呈现人、地点或对象的2D图像。每个像素可包括针对不同色彩的子像素群(诸如，具有以拜耳图案(Bayer pattern)排列的彩色微透镜的四个像素)。

在每个像素已获取其图像数据或图像电荷之后，图像数据由读出电路110读出并转移至功能逻辑115。读出电路110可包括放大电路、模数转换电路或其它电路。功能逻辑115可包括用于处理抖动检测像素群数据的诸如离散逻辑、一个或多个处理器和/或内存(包括查找表)的逻辑电路。功能逻辑亦可用于储存图像数据或通过应用后期图像效果来操纵图像数据(例如，剪切、旋转、消除红眼、调整亮度、调整对比度或其它操作)。在一个实施例中，读出电路110可沿读出列线一次读出一行图像数据(已说明)或者可使用各种其它技术读出图像数据(未说明)，诸如串行读出或并发地全并行读出所有像素。

控制电路120耦接至像素阵列105以控制像素阵列105的操作特性。举例而言，控制电路120可生成用于控制图像获取的快门信号。可响应于用户按压快门按钮、接收到来自闪光灯的信号、定时器信号的期满及其类似而生成该快门信号。

在一个实施例中，色彩图案(例如，拜耳图案)及图像处理可用于重构每个像素的RGB色彩。在另一实施例中，多个分离图像传感器可用于通过结合来自每个传感器的同一像素的图像来确定个别像素的RGB色彩以重构个别像素的RGB色彩。

举例而言，使用一个或多个抖动检测像素群130以减小可能是由于使用手持式相机拍摄照片而产生的模糊。由移动相机拍摄的照片可归因于例如手抖动、机械快门所引起的移动或推压快照按钮而模糊。本发明的教示允许减小最终所摄取的图像内的由这些移动所引起的模糊效应。在各种实施例中，可按照节省成本的方式来实现这些教示以便使这些教示适用于消费型电子产品。

相比而言，常规方法常通过使用具有抵消驱动机构的机械悬架来减小相机移动对于最终所摄取的图像的影响。系统中常包括机电运动感测装置。其它常规方法可包括将数据处理算法应用于具有所摄取的每个帧的数据的整个集合，其需要海量存储器和/或需要大量复杂逻辑软件或逻辑电路的滤波器电路。常规解决方案的典型的高成本常使其较不易被较低成本的消费型电子装置所接受。

尽管可使用其它位置，但可如所示来放置一个或多个抖动检测像素群130。取决于传感器的设计，处于“抖动检测像素群130”中的像素可为任何大小。一个或多个抖动检测像素群130可取决于成本考虑因素实现于各种实施例中，且其可取决于设计及应用要求而位于传感器阵列上的任何位置中。大体而言，较多抖动检测像素群130导致较佳性能，且每个群内的较多像素导致较佳性能。

图2为样本抖动检测像素群的示意图。一个或多个附加像素群可用于检测图像的抖动量。与从主像素阵列105读出图像信息相比，每个附加像素群可按照更快的帧速率或更快读出时序(诸如，以两倍或两倍以上的速率)来操作。

每个抖动检测像素群130可排列成(例如)单一像素210、m×n阵列220、长为m的行230、高为n的列240或长为m的行×高为n的列250。可通过使用像素阵列的子集(根据定义，其包括该集合)而形成抖动检测像素群130。因此，可从与主像素阵列105共享相同衬底的阵列中的像素的子集形成一个或多个抖动检测像素群130。在其它实施例中，分离衬底可用于一个或多个抖动检测像素群130及主像素阵列105。

如上文所论述，通常以比读出主像素阵列的速率快的速率来读出抖动检测像素群130。图3为示出从抖动检测像素群130及主像素阵列105读出数据的时序图。行310示出从主像素阵列105发生的帧读出速率。行320示出从抖动检测像素群130发生的读出速率。在所说明的实施例中，行320示出从抖动检测像素群130发生的读出速率为从主像素阵列105发生的读出速率的两倍。

行320中的数据为抖动检测像素群130的平均亮度值。在所说明的实例中，每个帧的“抖动量”可如下计算：

帧i的抖动量=ABS(数据1(i)-数据2(i))，

其中ABS(x)为x的绝对值。

更一般而言，该等式可描述为：

帧i的抖动量=STD(数据1(i)、数据2(i)、…、数据k(i))，

其中STD(x(k))为数据1(i)、数据2(i)、…、数据k(i)的标准偏差值。

在使用多个(诸如四个)群(群A、群B、群C、群D)的情况下，抖动量可如下计算：

帧i中的像素群A的抖动量=STD(数据A1(i)、数据A2(i)、…、数据A k(i))，

帧i中的像素群B的抖动量=STD(数据B1(i)、数据A2(i)、…、数据B k(i))，

帧i中的像素群C的抖动量=STD(数据C1(i)、数据A2(i)、…、数据C k(i))，

帧i中的像素群D的抖动量=STD(数据D1(i)、数据A2(i)、…、数据D k(i))。

可通过使用平均值方法、最大值方法或其它方法来计算最终抖动量。可如下地确定使用平均值方法来计算的最终抖动量：

帧i的最终抖动量=(帧I中的像素群A的抖动量+帧I中的像素群B的抖动量+帧I中的像素群C的抖动量+帧i中的像素群D的抖动量)/4。

可如下文所概述来确定使用最大值方法来计算的最终抖动量。假设帧I中的像素群A的抖动量为帧I中的最大值，则最终抖动量为：

帧I的最终抖动量=帧I中的像素群A的抖动量。

图4为示出以主像素阵列105的k倍速率从抖动检测像素群130读出数据的时序图。行410示出从主像素阵列105发生的帧读出速率。行420示出从抖动检测像素群130发生的读出速率。因此，行420示出从抖动检测像素群130发生的读出速率是从主像素阵列105发生的读出速率的k倍。

在比正常像素读出周期快的k倍速率处应用最终抖动量的情况下，则“抖动量”可描述为：

帧i的抖动量=STD(数据1(i)、数据2(i)、…、数据k(i))，

其中STD(x(k))为数据1(i)、数据2(i)、…、数据k(i)的标准偏差值。

图5为示出以主像素阵列105的四倍速率从抖动检测像素群130读出数据的时序图。行510示出从主像素阵列105发生的帧读出的速率。行520示出从抖动检测像素群130发生的读出的速率。因此，行520示出从抖动检测像素群130发生的读出的速率独立于从主像素阵列105发生的实际读出。

图6为示出预览模式与摄取模式之间的不同分辨率及帧速率的时序图。行610示出从主像素阵列105发生的帧读出的速率。时间630示出用户何时开始获取合乎需要地点中的图像目标。如行610中所示出，在时间630期间进行预览帧读出。时间640示出用户何时按压“快照”按钮。时间650示出从主像素阵列105读出摄取帧的时间周期。相机抗抖动装置可选择摄取帧中的任一帧作为最佳帧。在时间660处，相机返回至进行预览帧读出的预览模式。然而，在许多情况下，因为用户通常在按压快照按钮之前几秒尝试获取正确点中的正确图像目标，所以在按压快照按钮的前相机已看到若干类似帧。

图7为示出预览模式与摄取模式之间的不同分辨率及帧速率的时序图。时间周期730示出为用户想要摄取的图像目标呈现相同和/或类似图像目标的时间周期。因为常规或传统抗抖动装置通常使用应用正常传感器像素数据的通用或专用高通滤波器或抗抖动滤波器，所以难以使来自具有不同分辨率及帧速率的帧的数据相关联。

图8为示出在预览模式与摄取模式之间使用不同分辨率及帧速率的常规技术的时序图。行810示出从主像素阵列105发生的帧读出的速率。行820示出亦从主像素阵列读出预览帧的抗抖动数据(PD)的速率。在预览模式830期间，数据通常以较快帧速率但以较低分辨率读出。在帧摄取模式840期间，数据通常以较慢帧速率但以较高分辨率读出。

由于难以使来自具有不同分辨率及帧速率的帧的数据相关联，所以即使相机可在用户在时间850处按压摄取/快照按钮之前具有来自若干帧的相同/类似图像目标，常规抗抖动装置通常仅在用户按压摄取/快照按钮之后在时间周期860处开始抗抖动计算或决定。此限制通常导致非常缓慢的抗抖动响应时间或需要大的帧缓冲器以改良性能。相比而言，本发明具有与主像素阵列不同的读出周期。因为“最佳帧”决定使用来自抖动检测像素群130的数据，所以可独立地计算抖动量。

图9为示出根据本发明的一个实施例的预览模式与摄取模式之间的不同分辨率及帧速率的时序图。行910示出从主像素阵列105发生的帧读出的速率。行920示出从抖动检测像素群130读出抖动检测数据的速率。在预览模式930期间，抖动检测数据可按照与帧摄取模式940期间的抖动检测数据读出相同的速率及分辨率读出。

因为本文中揭示了不同读出周期及分离像素，所以可独立于正常像素阵列帧速率或分辨率来计算与抗抖动有关的数据。因为可独立于正常像素阵列帧速率或分辨率来计算与抗抖动有关的数据，所以可在用户在时间950处按压摄取/快照按钮的前计算与抗抖动有关的数据。

图10为示出可执行抗抖动计算的时间周期的时序图。抗抖动计算可始于时间1030而开始。因为在用户按压摄取按钮之前所摄取的图像已聚焦若干帧，所以可执行预先快门按压计算以达成较佳抗抖动算法性能。

图11为示出使用抖动检测像素群的主像素帧选择的流程图。在操作1110中，从一个或多个抖动检测像素群接收抖动检测像素群数据。该抖动检测像素群数据以比来自主像素阵列的帧速率快的速率传输。可从所接收的抖动检测像素数据提取平均亮度信息。

在操作1120中执行抖动计算。可使用抖动检测像素群数据使用以下(或等效、类似和/或经调适的)等式来确定抖动信息：

周期i的抖动量=STD(数据1(i)、数据2(i)、…、数据k(i))，

其中STD(x(k))为数据1(i)、数据2(i)、…、数据k(i)的标准偏差的值。

在操作1130中，判定是否已接收到照片拍摄信号。该照片拍摄信号可为，例如用户已按压相机上的快门按钮、闪光信号、定时器信号等。若尚未接收到照片拍摄信号，则逻辑流程进行至操作1140。

在操作1140中，使用抖动检测像素群数据来计算统计量，诸如先前N个周期的最大值、最小值、平均值和/或其它与抖动有关的信息。这些统计量可用于，例如通过比较这些所计算值与预定限值而确定所摄取的图像帧是否将有可能是可接受的。最大值为表示N个周期中的最大抖动值的值。最小值为表示N个周期期间的最小抖动值的值。平均值为表示N个周期的平均抖动值的值。N为整数值，其表示可计算最大值、最小值及平均值的周期的数目。可由应用程序设计师根据速度、功率、成本及准确度取舍来选择N的值。若在操作1130中确定已接收到照片拍摄信号，则逻辑流程进行至操作1150，在操作1150中评估“是否(条件)”。可使用诸如最大值、最小值或平均值的抖动检测像素群导出的数据和当前周期抖动信息来评估该是否(条件)。举例而言，可按比例调整当前周期抖动值并将其与最大值、最小值或平均值的值相比较，例如以判定是否选择当前帧。若按比例调整的当前周期值小于最大值或小于平均值或小于最小值，则程序流程进行至操作1160，此时选择来自主像素阵列的图像帧作为与所接收的照片拍摄信号相关联的照片。若比较的结果为否，则程序流程进行至上文所论述的操作1140。在各种实施例中，用以确定帧选择的可接受值可表达为百分比、容许值的范围、查找表等。可通过使用如上文实例中所说明的一个或若干条件来确定对于是否选择当前帧作为最终照片的确定。亦可由应用程序设计师根据速度、功率、成本及准确度取舍来选择逻辑条件的阈值。

包括摘要中所描述的内容的本发明的所示实施例的以上描述并不旨在穷尽或将本发明限于所揭示的精确形式。如本领域普通技术人员将认识到，虽然本文中出于说明性目的而描述本发明的特定实施例及示例，但各种修改可能落入本发明的范围内。

可根据以上描述对本发明进行这些修改。不应将以下权利要求中所使用的术语理解为将本发明限于本说明书中所揭示的特定实施例。实情为，本发明的范围将完全由以下权利要求来确定，其将根据已建立的权利要求解释原则来解释。

Claims (23)

1.一种相机，包括：

主像素阵列，其用于以图像帧速率生成图像的图像帧；

第一抖动检测像素群，其用于生成抖动检测数据，其中以比所述图像帧速率快的速率采样所述第一抖动检测像素群的一个或多个像素，其中所述第一抖动检测像素群物理地定位在所述主像素阵列之外；以及

逻辑电路，其用于使用从在接收到照片拍摄信号之前收集的抖动检测数据导出的数据和当前周期抖动信息，评估在接收到照片拍摄信号之后捕获的图像帧中的一个或多个，以选择在接收到照片拍摄信号之后捕获的图像帧之一。

2.如权利要求1所述的相机，其特征在于，还包括用于生成抖动检测数据的第二抖动检测像素群，其中以比所述图像帧速率快的速率采样所述第二抖动检测像素群的一个或多个像素。

3.如权利要求1所述的相机，其特征在于，所述第一抖动检测像素群包括排列成行和列的多个像素。

4.如权利要求3所述的相机，其特征在于，每一行中像素的数目相同。

5.如权利要求1所述的相机，其特征在于，所述图像帧速率包括摄取帧速率，且其中所述第一抖动检测像素群的所述一个或多个像素各自以所述摄取帧速率的两倍快的速率采样。

6.如权利要求1所述的相机，其特征在于，还包括在接收到所述照片拍摄信号之前用所述主像素阵列摄取预览帧。

7.如权利要求6所述的相机，其特征在于，以比所述预览帧的摄取速率快的速率采样所述第一抖动检测像素群的所述一个或多个像素。

8.如权利要求6所述的相机，其特征在于，响应于所述照片拍摄信号而选择所述图像帧中的一帧。

9.如权利要求1所述的相机，其特征在于，对于在由所述图像帧速率确定的时间周期期间接收的所述抖动检测数据执行一逻辑函数。

10.如权利要求9所述的相机，其特征在于，所述逻辑函数为对于在由所述图像帧速率确定的周期期间接收的抖动检测数据执行的标准偏差函数。

11.如权利要求9所述的相机，其特征在于，在接收到所述照片拍摄信号之前执行所述逻辑函数。

12.如权利要求11所述的相机，其特征在于，在接收到所述照片拍摄信号之前所执行的所述逻辑函数的结果用于选择在接收到所述照片拍摄信号之后由所述主像素阵列捕获的图像帧之一。

13.如权利要求12所述的相机，其特征在于，所执行的逻辑函数比较所计算的值与预定限值。

14.如权利要求1所述的相机，其特征在于，所述主像素阵列及所述第一抖动检测像素群在同一衬底上形成。

15.一种用于图像稳定化的方法，包括：

在相机处接收图像的入射光；

用所接收的入射光来照射主像素阵列及第一抖动检测像素群，其中所述第一抖动检测像素群物理地定位在所述主像素阵列之外；

响应于照射所述主像素阵列的所述入射光而生成图像帧；

通过以比图像帧速率快的速率采样所述第一抖动检测像素群的一个或多个像素而生成抖动检测数据；

接收照片拍摄信号；以及

至少部分地基于在接收到照片拍摄信号之前生成的像素抖动数据，从在接收到照片拍摄信号之后捕获的所生成图像帧选择最终图像。

16.如权利要求15所述的方法，其特征在于，还包括通过以比所述图像帧速率快的速率采样第二抖动检测像素群的一个或多个像素而生成抖动检测数据，其中所接收的入射光照射所述第二抖动检测像素群。

17.如权利要求15所述的方法，其特征在于，还包括评估所述抖动检测数据以确定选择所生成的图像帧中的一帧以与所述所接收的照片拍摄信号相关联的时间。

18.如权利要求15所述的方法，其特征在于，还包括在接收到所述照片拍摄信号之前使用所述主像素阵列生成预览帧。

19.如权利要求18所述的方法，其特征在于，还包括对于在由所述图像帧速率确定的时间周期期间接收的所述抖动检测数据执行逻辑函数。

20.如权利要求19所述的方法，其特征在于，在接收到所述照片拍摄信号之前执行所述逻辑函数。

21.一种成像传感器，包括：

衬底；

形成于所述衬底中的主像素阵列，其中所述主像素阵列排列成以图像帧速率生成图像的图像帧；

形成于所述衬底中的第一抖动检测像素群，其中所述第一抖动检测像素群被排列成生成抖动检测数据，其中以所述图像帧速率的至少两倍快的速率采样所述第一抖动检测像素群的一个或多个像素，其中所述第一抖动检测像素群物理地定位在所述主像素阵列之外；以及

逻辑电路，其用于使用从在接收到照片拍摄信号之前生成的抖动检测数据导出的数据和当前周期抖动信息，评估在接收到照片拍摄信号之后捕获的图像帧中的一个或多个，以选择在接收到照片拍摄信号之后捕获的图像帧之一。

22.如权利要求21所述的成像传感器，其特征在于，还包括用于生成抖动检测数据的第二抖动检测像素群，所述第二抖动检测像素群定位成与所述第一抖动检测像素群分离，其中以比所述图像帧速率快的速率采样所述第二抖动检测像素群的一个或多个像素。

23.如权利要求22所述的成像传感器，其特征在于，响应于所述照片拍摄信号而生成这些图像帧且其中所述图像帧包括图像摄取帧。

Images