CN102821252B

CN102821252B - 使用图像稳定来校正卷帘式快门

Info

Publication number: CN102821252B
Application number: CN201210183984.2A
Authority: CN
Inventors: W·E·曼佐; K·I·格林鲍姆; G·K·马林斯
Original assignee: Apple Computer Inc
Current assignee: Apple Inc
Priority date: 2011-06-06
Filing date: 2012-06-06
Publication date: 2015-05-20
Anticipated expiration: 2032-06-06
Also published as: EP2533517B1; US8823813B2; CN102821252A; US9602725B2; AU2012203318B2; KR20120135488A; EP2533517A1; TWI533692B; JP2012253778A; WO2012170199A1; US20140320681A1; TW201304527A; US20120307084A1; KR101376936B1; AU2012203318A1; JP5374619B2

Abstract

本发明涉及使用图像稳定来校正卷帘式快门。描述了用于校正卷帘式快门伪像的多种方法、设备以及系统。在一个实施例中，图像捕捉系统包括卷帘式快门图像传感器，该卷帘式快门图像传感器可能会产生卷帘式快门伪像（例如，扭曲）。该系统包括处理系统，该处理系统被配置成执行自动卷帘式快门校正机制，该机制基于图像传感器的图像平面中的像素位置以及像素位置在坐标空间中的相对应的光线之间的关系来使用校准数据。卷帘式快门机制基于校准数据来确定像素速度分量，并基于像素速度分量的总和来为每一图像估计总的像素速度。

Description

使用图像稳定来校正卷帘式快门

技术领域

本发明的各实施例一般涉及使用图像稳定来校正卷帘式快门。

背景技术

图像捕捉设备包括照像机、便携式手持电子设备，及其他电子设备。由图像捕捉设备捕捉到的图像可能会被图像捕捉设备的运动损害。例如，照像机的振动、照像机抖动或旋转可能会使图像模糊。

一种先验的方法使用比较不同的帧的类似部分并基于该比较来调整输出图像的软件。此方法通常补偿平移运动，但是不能补偿旋转运动。

某些图像捕捉设备可以使用可被称为卷帘式快门的东西，因为用来记录每一帧的图像获取的方法不是来自单一时间点的完整的帧的快照，而是通过垂直地或者水平地跨帧扫描，一次一行。换言之，并非图像的所有部分都被完全同时记录，尽管在回放过程中同时显示整个帧。至少某些CMOS图像传感器具有卷帘式快门。当物体快速移动或当传感器捕捉光的快速的闪动时，卷帘式快门产生可预测的失真。此方法通过跨可曝光的图像区域滚动（移动）快门而并非同时使图像区域全部曝光来实现。卷帘式快门会导致诸如偏斜并摆动之类的效应。当照像机或主体从一端移到另一端时图像在一个方向或另一个方向按对角方式弯曲时，产生偏斜，使图像的不同部分在不同的时间曝光。摆动在远距离摄影情况下对于手持的镜头是最常见的，并且在照像机由于被装到移动的车辆中而振动的情况下最厉害。卷帘式快门导致图像奇异地摆动。这常常叫做果冻效应（jello effect）。

用于稳定利用卷帘式快门捕捉到的图像的以前的方法可包括后处理技术。这些技术通常补偿平移运动，但是不能补偿旋转运动。

发明内容

描述了用于稳定图像以及校正卷帘式快门效应的多种方法、设备以及系统。在一个实施例中，图像捕捉设备包括照像机以及运动估计设备。在一个实施例中，图像捕捉设备使用照相机校准数据来将图像传感器的图像平面的图像坐标映射到坐标空间的规范化图像坐标。运动估计设备可以确定设备的运动数据（例如，三维旋转数据）。设备将运动数据匹配到由该设备捕捉到的帧序列以确定每一帧的运动数据。该设备基于运动数据来估计设备的估计运动路径。该设备基于估计运动路径来构建图像捕捉设备的目标运动路径。该设备基于估计运动路径以及目标运动路径来计算所希望的运动校正。然后，该设备使用照相机校准数据来对每一帧进行重新采样，以根据所希望的运动校正，生成稳定的帧的正确的序列。

例如，用户可以利用设备来捕捉图像序列。基于运动数据来构建运动路径，该运动路径指出突然的移动或细微的移动（例如，照像机在用户手中抖动，照像机的振动、旋转，等等）。稳定的帧在图像捕捉期间补偿设备的非故意的运动。

在另一实施例中，图像捕捉系统包括卷帘式快门图像传感器，该卷帘式快门图像传感器可能会产生卷帘式快门伪像（例如，扭曲）。该系统包括用于检测运动数据的运动估计设备，以及被配置成执行自动卷帘式快门校正机制的处理系统。校正机制基于图像传感器的图像平面中的像素位置以及像素位置在坐标空间（例如，三维空间）中的相对应的光线之间的关系，来使用校准数据，基于校准数据，确定像素速度分量，以及基于像素速度分量的总和以及根据运动数据确定的相对应的旋转速度值，为每一图像估计总的像素速度。校正机制对每一图像进行重新采样，以生成基于总的像素速度的新的校正图像。

还描述了其他实施例。根据各个附图以及随后的详细描述，本发明的其他特征将变得显而易见。

附图说明

专利或申请文件包含至少一个以颜色执行的附图。带有彩色附图的此专利或专利申请出版物的副本将由专利局应请求提供，并支付必要的费用。

本发明的各实施例是作为示例说明的，而在各个附图的图形中不作限制，在附图中，类似的参考编号表示类似的元件。应该注意，在本公开的本发明中对“一个”实施例的引用不一定是指同一个实施例，它们意味着至少一个。

图1示出了本发明的一个实施例中的稳定利用图像捕捉设备捕捉到的图像（例如，图像、视频的序列）的计算机实现的方法100的流程图。

图2示出了本发明的一个实施例中的图像捕捉设备的运动路径的结构。

图3示出了本发明的一个实施例中的要应用于帧的子集的分解图的帧重新采样。

图4示出了本发明的一个实施例中的图像400的示例。

图5示出了本发明的一个实施例中的对利用图像捕捉设备捕捉到的图像（例如，图像、视频的序列）进行卷帘式快门校正的计算机实现的方法500的流程图。

图6-8示出了本发明的一个实施例中的预先计算出的速度分量（例如，V_x，V_y，以及V_z）。

图9示出了本发明的一个实施例中的包括用于进行无线通信以及用于捕捉图像的能力的无线图像捕捉设备。

图10是系统1000的本发明的一个实施例的框图。

图11示出了本发明的一个实施例中的对利用对应于每一维度的旋转速度值的权重的每一预先计算出的像素速度的加权总和进行相加。

图12示出了本发明的一个实施例中的基于总的像素速度矢量V1220和(t_m–t₀)1210生成的位移图。

图13A-13D示出了本发明的一个实施例中的用于示出卷帘式快门校正的图像序列。

图14以及15示出了本发明的一个实施例中的图像捕捉设备的瞬时旋转。

具体实施方式

描述了用于稳定图像以及校正卷帘式快门伪像的多种方法、设备以及系统。在一个实施例中，图像捕捉设备包括图像传感器（例如，照像机）以及运动估计设备。在一个实施例中，运动估计设备可以确定设备的运动数据。设备将运动数据匹配到由该设备捕捉到的帧序列以确定每一帧的运动数据。该设备基于每一帧的运动数据来构建图像捕捉设备的目标运动路径。该设备计算从运动数据中观察到的估计运动路径到目标运动路径的所希望的运动校正。然后，该设备对每一帧进行重新采样，以根据所希望的运动校正，生成稳定的帧。

在另一实施例中，图像捕捉系统包括卷帘式快门图像传感器，该卷帘式快门图像传感器可能会产生卷帘式快门伪像（例如，扭曲）。该系统包括用于检测运动数据的运动估计设备，以及被配置成执行自动卷帘式快门校正机制的处理系统。

图1示出了本发明的一个实施例中的稳定利用图像捕捉设备捕捉到的图像（例如，图像、视频的序列）的计算机实现的方法100的流程图。计算机实现的方法100由处理逻辑来执行，处理逻辑可以包括硬件（电路、专用逻辑等等）、软件（诸如在通用计算机系统或专用机器或系统上运行的那些）或两者的组合。处理逻辑向具有微处理器和图像传感器的图像感应单元发送信息并从其接收信息。图像感应单元可以向处理逻辑发送元数据帧（例如，焦点数量、曝光时间、白平衡）。从图像传感器中读取像素值以生成图像数据。以某一时间间隔（例如，1/15秒）向处理逻辑发送帧。如下面所讨论的，通过校正图像捕捉设备的旋转路径来稳定帧。

在框102，处理逻辑（例如，一个或多个处理单元）生成图像捕捉设备的照像机的校准数据。在框103，使用校准数据，来将照像机的图像传感器的图像平面的图像坐标（例如，二维像素）转换为三维坐标空间的规范化图像坐标（例如，光线）。为生成校准数据，确定照像机的视场和径向畸变。在一个实施例中，视场是60.8x 47.5度，径向畸变大致是κ₁=0.1，κ₄=-0.007。校准可以是离线一次性过程。在框104，处理逻辑（例如，一个或多个处理单元）捕捉图像的序列（例如，帧、视频）。在框106，处理逻辑使用运动估计设备来确定设备的运动数据（例如，三维旋转数据）。在一个实施例中，运动估计设备可以是陀螺仪或加速度计或两者的组合。陀螺仪可以提供三维旋转数据，而加速度计可以提供三维平移数据（6个自由度）。确定每一帧的三维运动数据可包括确定每一帧的三维的旋转速度矢量。

在框108，处理逻辑将运动数据匹配到由图像捕捉设备捕捉到的帧序列，以确定每一帧的三维运动数据。将运动数据匹配到帧序列可包括将运动估计设备的时间戳转换为帧的视频时间，以及还集成从运动估计设备接收到的旋转速度数据（例如，旋转速度矢量），以估计帧之间的旋转（例如，ΔΘ[κ]）。运动估计设备的时间戳和帧的视频时间之间的实时偏误估计（live bias estimate）也可以通过使用长期平均（例如，5分钟）可用。

在框110，处理逻辑基于每一帧的三维运动数据来估计图像捕捉设备的估计运动路径（例如，观察到的运动路径）。估计运动路径是为运动数据构建的，指出突然的移动或细微的移动（例如，照像机在用户手中抖动、振动）。取决于照像机的移动，估计运动路径可以是粗略的或锯齿状的。在框111，处理逻辑基于估计运动路径来构建图像捕捉设备的目标运动路径。目标运动路径可以是估计运动路径的平滑（例如，经过滤的）版本。在框112，处理逻辑计算从估计运动路径到目标运动路径的所希望的运动校正。在框113，处理逻辑使用照相机校准数据来对每一帧进行重新采样，以根据所希望的运动校正，生成稳定的帧的正确的序列。在框114，在必要时，处理逻辑可任选地对稳定的帧的未知区域（例如，暗区）执行自适应裁剪和填充。方法100的操作提供预处理，该预处理可以是帧的压缩算法的一部分或者也可以与压缩算法脱离。基于方法100的操作，经压缩的视频帧可以要求较少的存储器空间或以较低的比特率提供更高的图像质量。

在某些实施例中，运动估计设备可以是单个或多个物理封装的陀螺仪、加速度计，或其任意组合。

下面将说明图像稳定的附加细节。

图2示出了本发明的一个实施例中的图像捕捉设备的运动路径的结构。处理逻辑基于每一帧的三维运动数据来构建图像捕捉设备的粗略运动路径220。处理逻辑可以在每一维度应用滤波器，诸如低通或预测滤波器，可能导致短延迟，以从粗略运动路径200构建平滑运动路径220。平滑运动路径220表示图像捕捉设备在图像捕捉期间的所希望的目标路径。

图3示出了本发明的一个实施例中的要应用于帧的子集的分解图的帧重新采样。处理逻辑可以将帧重新采样应用到分解图300。帧重新采样使用平滑运动路径220来校正帧320的子集330中的像素。处理逻辑可以基于运动路径220和运动路径200之间的差异来人工地旋转观察者的查看方向（例如，用户的查看方向）。帧重新采样使用内插法（例如，双线性内插法）来构建新帧。

帧4示出了本发明的一个实施例中的图像400的示例。中间区域402包括要被捕捉的对象410。周围区域403和404可以是图像的暗区。可以从图像404中裁剪或去除区域403和404。对于这些区域，像素值可能丢失。可以基于相邻的帧或去水印技术来填充这些值。可另选地，被裁剪的区域被约束在原始帧内。

方法100提供图像稳定以校正图像捕捉设备的旋转运动和振动。平移振动考虑大致10%的振动，并要求深度知识才能校正。旋转振动一般考虑大部分振动所产生的失真，并不要求深度知识即可校正。短期旋转偏移可以精确到在大致1毫弧度内。此方法100也可以用于中间的帧生成和卷帘式快门校正。可能会产生卷帘式快门伪像，因为从图像传感器（例如，CMOS图像传感器）一次一个地读取扫描线，照像机本身在图像捕捉时段移动。

图5示出了本发明的一个实施例中的对利用图像捕捉设备捕捉到的图像（例如，图像、视频的序列）进行卷帘式快门校正的计算机实现的方法500的流程图。计算机实现的方法500由处理逻辑来执行，处理逻辑可以包括硬件（电路、专用逻辑等等）、软件（诸如在通用计算机系统或专用机器或系统上运行的那些）或两者的组合。方法500确定某一时段之前或将来某一时段（例如，1毫秒、2毫秒）像素的值，以校正卷帘式快门效应。

在框501，处理逻辑（例如，一个或多个处理单元）校准图像捕捉设备的照像机以生成校准数据。在框502，使用校准数据，以便将照像机的图像传感器的图像平面的图像坐标（例如，二维像素）转换为三维方向矢量。校准模型是描述图像平面中的像素位置以及从照像机观察者的角度来看这些像素位置在三维空间中的相对应的光线之间的连接的参数方式。可以对方向矢量应用三维旋转。应用三维旋转和方向矢量导致确定像素将在三维空间中的假设照像机旋转下移动的位置。校准可以是离线一次性过程。

校准参数可包括如此处所描述的很多参数。在一个实施例中，可变参数包括焦距f或等效地视场以及描述径向畸变κ的两个或更多参数。视频帧可包括在视频帧的中间的中心点c（例如，对于1024x 768视频帧，c=[512,384]）。偏斜可以是零。焦距f_x可以被建模为大致1.1823*(2cx)，f_y可以被建模为大致1.1966*(2c_x)。可另选地，f_x=f_y=1.19*(2c_x)。所有径向畸变项κ都可以被设置为零，除了κ₁=0.1，κ₄=-0.007之外。如此，获得了将规范化像素坐标（例如，x矢量）转换为实际像素坐标（例如，m矢量）的函数F，如下列公式所示。

m矢量=F(x矢量)

F的逆将实际像素坐标规范化为图像平面（例如，x矢量=F^-1(m矢量)）。

在框504，处理逻辑将运动估计设备与图像捕捉设备的照像机校准并同步。此同步可包括将运动估计设备的时间戳转换为捕捉到的图像的视频时间。运动估计设备的时间戳和帧的视频时间之间的实时偏误估计也可以通过使用长期平均(例如，5分钟)可用。

在框506，处理逻辑从校准数据确定预先计算出的预测像素速度分量(例如，V_x，V_y，以及V_z)。可以从校准数据确定两个维度的像素速度分量。在框508，处理逻辑(例如，一个或多个处理单元)捕捉图像的序列(例如，视频、帧)。在框510，处理逻辑确定照像机在图像的捕捉期间的运动数据。运动数据可包括旋转速度矢量ω(例如，ω_x，ω_y，以及ω_z)。在框512，处理逻辑基于像素速度分量的总和来为每一图像估计相对应的总的像素速度矢量V。此总和可包括分量ω_xV_x，ω_yV_y，以及ω_zV_z的加权总和。在一个实施例中，旋转速度权重ω_x，ω_y，以及ω_z是标量，以及像素速度分量(例如，V_x，V_y，以及Vz)是函数。在框514，处理逻辑通过为每一像素指定新的值，对每一图像进行重新采样(例如，使用双线性内插法)来生成新图像(例如，帧)如下列公式所示。

新图像

行m被捕捉的时间由t_m来表示，图像捕捉的初始任意时间(例如，第一行、中间的行等等)由t₀来表示。新图像可包括基于照像机的移动的新像素位置。新像素位置可以不位于新图像的网格位置，并且可以基于一定数量的最近邻像素而插入。在丢失像素的情况下，外插对于计算新像素的颜色是必需的。

图6-8示出了本发明的一个实施例中的预先计算出的速度分量(例如，V_x，V_y，以及V_z)。由于照像机的估计或预测旋转运动，图6中的像素沿着y轴向上移动(例如，速度分量601)。由于照像机的估计旋转运动，图7中的像素沿着x轴向右移动(例如，速度分量701)。由于照像机的估计旋转运动，图8中的像素按顺时针方向移动(例如，速度分量801)。可以基于这些速度分量来确定每一像素的路径。可以从旋转速度ω和分量速度图V_x，V_y，以及V_z来计算像素速度场V。下面描述了变换的构成。

矢量m→矢量x→矢量x′→矢量m′

图像传感器的图像平面的由矢量m所表示的实际像素坐标被映射或转换成三维方向矢量x。可以将估计的三维旋转应用到方向矢量x，以生成矢量x'。例如，照像机的估计或预测旋转可以对应于当人握住照像机时手振动的人模型。此模型可以估计或预测当在捕捉一行或多行像素的时段期间在一个或多个方向稍微转动他的手时照像机的旋转。在一个实施例中，此模型被设计成预测具有小于或等于100赫兹的频率的振动。大于100赫兹的频率的振动不可能由人的旋转运动所导致，并且这些振动更难以校正。矢量x'利用函数F被转换为矢量m'。速度分量（例如，V_x，V_y，以及V_z）大致等于在分别围绕x，y，以及z轴的增量旋转下m和m'之间的差。

图11示出了本发明的一个实施例中的对利用对应于每一维度的旋转速度值的权重的每一预先计算出的像素速度的加权总和进行相加。分量ω_xV_x 1110，ω_yV_y 1120，以及ω_zV_z 1130的加权总和生成总的像素速度矢量V1140。在一个实施例中，ω_x=0.2弧度，ω_y=-0.2弧度，ω_z=0.8弧度。

图12示出了本发明的一个实施例中的基于总的像素速度矢量V1220和(t_m–t₀)1210生成的位移图。如上文所讨论的，图像传感器的行m被捕捉的时间由t_m来表示，图像捕捉的任意时间由t₀来表示。在不同的时间读出图像传感器的每一行，这通过图12中水平柱线来表示。对于图像传感器的上区域，(t_m–t₀)1210是负值。对于图像传感器的下区域，(t_m–t₀)1210是正值。通过将总的像素速度矢量V1220和(t_m–t₀)1210相乘来生成图像传感器的给定像素的位移图。位移图指出基于照像机在图像捕捉过程中的旋转或移动的图像传感器的给定像素的位移。

图13A-13D示出了本发明的一个实施例中的用于示出卷帘式快门校正的图像的序列。图13A示出了利用没有卷帘式快门校正的图像捕捉设备（例如，iPhone 4）捕捉到的参考图像1300，该参考图像1300表示带有停止符号1302的原始场景。参考图像1300可包括径向畸变。图13B示出了带有停止符号1312的模拟图像1310。模拟图像1310是在图像捕捉设备的瞬时旋转的效应下使用卷帘式快门曝光度曝光的图像1300的模拟呈现。

图14以及15示出了本发明的一个实施例中的图像捕捉设备的瞬时旋转。图14示出了垂直轴上的旋转度数与水平轴上的以毫秒为单位的tm–t0。例如，对于2毫秒曝光时间，图像捕捉设备从大致-25度旋转到大致25度。图15示出了垂直轴上的旋转度数对水平轴上的图像捕捉设备的图像传感器的行号码。

图13C示出了带有停止符号1322的已重新采样的图像1320。图像1320基于可能是不完整的可用信息来模拟对图像1310的歪斜校正（unwarping）。在此图示中，使用带有信噪比的不完整的旋转信息来执行校正，信噪比可以是10:1（即，对于在曝光间隔内的40度的旋转，大致4度的误差）。在实践中，误差可以由运动估计设备（例如，陀螺仪、加速度计）测量值的噪声以及由运动源（例如，场景中的运动，平移等等）所产生的建模误差所导致的。这些运动源难以准确地建模。

图13D示出了带有停止符号1332的已重新采样的图像1330。图像1330基于完美的可用的信息来模拟对图像1310的歪斜校正。图像1330示出了已恢复的或重新采样的图像看起来像什么模样，给定关于瞬时旋转的完全信息且没有其他运动源（例如，观察者的平移或环境中的移动）。从此模拟的图像1330中已经去除了径向畸变。

本发明的各实施例中的许多方法可以利用诸如数字处理系统（例如，常规、通用计算机系统）之类的图像捕捉设备来执行。也可以使用被设计或编程为只执行一个功能的专用计算机。

在某些实施例中，本发明的方法、系统，以及设备可以在下列各种设备中实现，包括电子设备、消费者设备、数据处理系统、台式计算机、便携式计算机、无线设备、蜂窝式设备、平板设备、手持式设备、多点触摸设备、多点触摸数据处理系统，这些设备的任意组合，或其他类似的设备。图9和10示出了这些设备中的一些示例，这些设备能够捕捉静止图像和视频来实现本公开的方法。方法（例如，100，500）基于图像稳定和卷帘式快门校正来增强捕捉图像、捕捉视频、视频呼叫等等的用户体验。

图9示出了本发明的一个实施例中的包括用于进行无线通信以及用于捕捉图像的能力的无线图像捕捉设备。无线设备900可包括天线系统901。无线设备900也可以包括耦合到天线系统901的数字和/或模拟射频（RF）收发器902，以通过天线系统901发射和/或接收语音、数字数据和/或媒体信号。

无线设备900也可以包括数字处理系统903以控制数字RF收发器以及管理语音、数字数据和/或媒体信号。数字处理系统903例如可以是诸如例如微处理器或控制器之类的通用处理系统。数字处理系统903也可以是诸如ASIC（专用集成电路）、FPGA（现场可编程门阵列）或DSP（数字信号处理器）之类的特殊用途处理系统。数字处理系统903也可以包括如在本领域内已知的其他设备以与无线设备900的其他组件对接。例如，数字处理系统903可包括模拟-数字和数字-模拟转换器以与无线设备900的其他组件对接。数字处理系统903可包括媒体处理系统909，该媒体处理系统909也可以包括通用或特殊用途处理系统以管理诸如音频数据文件之类的媒体。

无线设备900也可以包括耦合到数字处理系统的存储设备904，以存储无线设备900的数据和/或操作程序。存储设备904可以是，例如，任何类型的固态或磁存储器设备。存储设备904可以是或包括机器可读介质。

机器可读介质包括用于以机器（例如，计算机）可读的形式存储或传输信息的任何机制。例如，机器使用机器可读介质，诸如机器存储介质（例如，磁盘；光盘；随机存取存储器；只读存储器；闪速存储器设备；相位变化存储器），来存储和传递（内部，以及通过网络与其他设备）代码和数据。

无线设备900也可以包括耦合到数字处理系统903的一个或多个输入设备905，以接受用户输入（例如，电话号码、姓名、地址、媒体选择等等）。输入设备905可以是，例如小键盘、触摸板、触摸屏、与显示设备相结合的指示设备中的一项或多项，或类似的输入设备。

无线设备900也可以包括耦合到数字处理系统903的至少一个显示设备906，以显示诸如消息、电话呼叫信息、联系人信息、相片、电影和/或标题或通过输入设备905选择的媒体的其他指示符之类的信息。显示设备906可以是，例如，LCD显示设备。在一个实施例中，显示设备906和输入设备905可以被集成在同一个设备中（例如，与诸如LCD显示设备之类的显示设备集成的诸如多点触摸输入面板之类的触摸屏LCD）。显示设备906可包括背光906A以在某些情况下照明显示设备906。可以理解，无线设备900可包括多个显示器。

无线设备900也可以包括电池907以给系统的下列组件提供工作电能，包括数字RF收发器902、数字处理系统903、存储设备904、输入设备905、麦克风905A、音频转换器908、媒体处理系统909、一个或多个传感器910，以及显示设备906、图像传感器959（例如，CCD（电荷耦合器件）、CMOS传感器）。图像传感器可以与图像处理单元960集成。显示设备906可包括液晶显示器（LCD），该液晶显示器可以被用来显示由无线图像捕捉设备900捕捉或记录的图像。LCD充当照像机的取景器（例如，透镜963、图像传感器959、以及单元960的组合），在设备900上可以可任选地有其他类型的可以充当取景器的图像显示设备。

设备900还包括可以以光学方式耦合到图像传感器959的成像透镜963。处理系统903控制设备900的操作；并且，它可以通过执行存储在ROM 957，或存储在处理系统903，或存储在ROM 957和处理系统903两者中的软件程序来达到这一目的。

处理系统903控制图像处理操作；并且，它控制捕捉到的图像在存储设备904中的存储。处理系统903还控制图像数据（可能或者也可能没有经过颜色校正）向外部通用计算机或特殊用途计算机的导出。

处理系统903还对用户命令（例如，通过捕捉图像传感器上的一个或多个图像并将其存储在存储器中来“拍摄”相片或视频的命令或选定用于对比度增强和色彩平衡调整的命令）作出响应。

ROM 957可以存储软件指令，这些软件指令供处理系统903执行以执行本公开中所讨论的自动图像稳定和卷帘式快门校正机制。存储设备904被用来存储从图像传感器959接收到的捕捉/记录图像。可以理解，照像机的其他备选体系结构也可以与本发明的各实施例一起使用。

电池907可以是，例如，可再充电的或非可再充电的锂或镍金属氢化物电池。无线设备900也可以包括音频转换器908（该音频转换器908可包括一个或多个扬声器）、以及至少一个麦克风905A，以及加速度计946。设备900还包括运动或朝向检测器940（例如，加速度计、陀螺仪，或其任意组合），用于确定设备900的运动数据或朝向。

在一个实施例中，图像捕捉设备900被设计成稳定图像和视频。图像捕捉设备900包括感测图像的带有相关联的校准数据的图像传感器959，存储捕捉到的图像的存储设备904，检测设备的运动数据的运动估计设备940，以及耦合到存储设备和运动估计设备的处理系统903。处理系统被配置成通过使用运动估计设备来确定图像捕捉设备的运动数据，将运动数据匹配到由图像捕捉设备捕捉到的帧序列以确定每一帧的三维运动数据，以及基于每一帧的三维运动数据来估计图像捕捉设备的估计运动路径（例如，粗略运动路径），来执行自动图像稳定机制。确定每一帧的三维运动数据包括确定每一帧的三维旋转速度矢量。

处理系统进一步被配置成基于系统的估计运动路径来构建系统的目标运动路径（例如，平滑运动路径）。构建目标运动路径可包括对估计运动路径进行过滤。处理系统进一步被配置成计算从估计的运动路径到目标运动路径的所希望的运动校正。

处理系统进一步被配置成基于校准数据和所希望的运动校正（该所希望的运动校正可以基于系统的目标运动路径和估计运动路径之间的差来确定）来校正图像平面的图像坐标，从原始图像坐标到已校正的图像坐标为每一帧应用重新采样，以生成稳定的帧，以及在必要时，自适应地裁剪和填充稳定的帧的未知区域。基于校准数据和估计运动路径和目标运动路径之间的差来校正图像平面的图像坐标包括使用校准数据以将表示二维像素的图像坐标映射到表示光线的坐标空间的规范化图像坐标，根据估计运动路径和目标运动路径之间的差来将所希望的旋转应用到全部光线，以及使用校准数据来将这些旋转的光线映射回到图像平面。

将运动数据匹配到由图像捕捉设备捕捉到的帧序列以确定每一帧的三维运动数据可包括将运动估计设备的时间戳转换为帧的视频时间，以及集成从运动估计设备接收到的旋转速度数据，以估计帧之间的旋转。

在另一实施例中，图像捕捉系统（例如，图像捕捉设备900）被设计成校正卷帘式快门效应（例如，扭曲），并补偿图像捕捉系统的振动和旋转运动。图像捕捉系统包括感测图像的图像传感器959，耦合到图像传感器的存储设备904。存储设备存储捕捉到的图像。运动估计设备940（例如，陀螺仪、加速度计）检测运动数据。处理系统903耦合到存储设备和运动估计设备。处理系统被配置成执行自动图像传感器校正机制，以基于图像传感器的图像平面中的像素位置以及所述像素位置在三维空间中的相对应的光线之间的关系，使用校准数据，来基于校准数据确定像素速度分量，以及基于像素速度分量的总和，为每一图像估计总的像素速度。

像素速度分量（例如，V_x、V_y，以及V_z）包括预先计算出的预测速度分量，这些分量是在感测图像之前计算出的。确定像素速度分量可包括从校准数据构建像素速度图。基于像素速度分量的总和来为每一图像估计总的像素速度包括将对应于每一维度的旋转速度值（例如ω_x，ω_y，以及ω_z）的每一预先计算出的像素速度的加权总和相加。

处理系统进一步被配置成对每一图像进行重新采样，以生成新图像，以执行卷帘式快门校正机制。对每一图像进行重新采样以生成新图像是基于当前图像和总的像素速度来进行的。新图像补偿了图像捕捉系统的卷帘式快门效应、振动，以及旋转运动。

图10是系统1000的本发明的一个实施例的框图，该系统1000一般包括一种或多种计算机可读介质1001、处理系统1004、输入/输出（I/O）子系统1006、射频（RF）电路1008、音频电路1010，以及图像传感器1059（例如，CCD（电荷耦合器件）、CMOS传感器）。图像传感器可以与图像处理单元1060集成。图像传感器1059在光学上耦合以接收来自透镜1063的光，光可以用于利用图像传感器来捕捉图像。运动估计设备1040确定系统1000的三维空间中的运动数据。这些组件可以通过一种或多种通信总线或信号线1003来耦合。

显而易见，如图10所示的体系结构只是系统1000的一个示例体系结构，系统1000可以具有比所示出的多一些或少一些组件，或者具有组件的不同的配置。如图10所示的各种组件可以以硬件、软件、固件或其任意组合来实现，包括一种或多种信号处理和/或专用集成电路。

RF电路1008被用来通过无线链路或网络向一个或多个其他设备发送和从它们接收信息，并包括已知的用于执行此功能的电路。RF电路1008和音频电路1010通过外围设备接口1016耦合到处理系统1004。接口1016包括用于在外围设备和处理系统1004之间确立和维持通信的各种已知组件。音频电路1010耦合到音频扬声器1050和麦克风1052，并包括用于处理从接口1016接收到的语音信号以使用户能够实时地与其他用户进行通信的已知电路。在某些实施例中，音频电路1010包括耳机插孔（未示出）。

外围设备接口1016将系统的输入和输出外围设备耦合到一个或多个处理单元1018和计算机可读介质1001。一个或多个处理单元1018通过控制器1520与一种或多种计算机可读介质1001进行通信。计算机可读介质1001可以是可以存储供一个或多个处理单元1018使用的代码和/或数据的任何设备或介质（例如，存储设备、存储介质）。介质1001可包括存储器层次结构，包括但不仅限于高速缓存、主存储器和辅助存储器。存储器层次结构可以使用RAM（例如，SRAM、DRAM、DDRAM）、ROM、FLASH，磁和/或光存储设备，如磁盘驱动器、磁带、CD和DVD的任意组合来实现。介质1001也可以包括用于携带表示计算机指令或数据（有或者没有在其上调制信号的载波）的信息承载信号的传输介质。例如，传输介质可包括通信网络，包括，但不仅限于因特网（也被称为万维网）、内联网、局域网（LAN）、广域局域网（WLAN）、存储区域网络（SAN）、城域网（MAN）等等。

一个或多个处理单元1018运行存储在介质1001中的各种软件组件，以执行系统1000的各种功能。在某些实施例中，软件组件包括操作系统1022、通信模块（或指令集）1024、触摸处理模块（或指令集）1026、图形模块（或指令集）1028、一个或多个应用程序（或指令集）1030，以及模块[或指令集]1038和1039。图像稳定模块1038以及卷帘式快门校正模块1039各自都对应于用于执行上文所描述的一个或多个功能以及在本申请中所描述的方法（例如，此处所描述的计算机实现的方法及其他信息处理方法）的一组指令。这些模块（即，指令集）不必作为单独的软件程序、过程或模块来实现，因此，在各实施例中，可以组合或以别的方式重新排列这些模块的各种子集。

在某些实施例中，介质1001可以存储上文所标识的模块和数据结构的子集。此外，介质1001还可以存储上文没有描述的额外的模块和数据结构。

操作系统1022包括各种过程、指令集、软件组件和/或用于控制和管理一般系统任务（例如，存储器管理、存储设备控制、电源管理等等）的驱动程序并促进各种硬件和软件组件之间的通信。

通信模块1024通过一个或多个外部端口1036或通过RF电路1008促进与其他设备的通信，并包括用于处理从RF电路1008和/或外部端口1036接收到的数据的各种软件组件。

图形模块1028包括用于在显示器表面上呈现、动画化和显示图形对象的各种已知软件组件。在其中触摸I/O设备1012是触敏显示器（例如，触摸屏）的各实施例中，图形模块1028包括用于在触敏显示器上呈现、显示，以及动画化对象的组件。

一个或多个应用程序1030可包括安装在系统1000上的任何应用程序，包括但不仅限于浏览器、地址簿、联系人列表、电子邮件、即时消息、文字处理、键盘仿真、小部件、启用JAVA的应用程序、加密、数字权限管理、语音识别、语音复制、位置确定能力（诸如由全球定位系统（GPS）所提供的），音乐播放器等等。

触摸处理模块1026包括用于执行与触摸I/O设备1012相关联的各种任务（包括但不仅限于通过触摸I/O设备控制器1032接收和处理从I/O设备1012接收到的触摸输入）的各种软件组件。

系统1000可包括用于执行此处参考图1-10所描述的方法/功能的图像稳定模块1038、卷帘式快门校正模块1039，以及图像捕捉单元1060。图像捕捉单元1060与系统1000集成，并可以耦合到如图10所示的外围接口1016，或与I/O设备1012或1014中的一个集成。

在一个实施例中，计算机可读介质1001包含可执行的计算机程序指令（例如，模块1038），当由数据处理系统1000执行这些指令时，导致所述系统执行方法。该方法使用系统的照像机的校准数据来将照像机的图像传感器的图像平面的图像坐标映射到三维坐标空间的规范化图像坐标。该方法使用运动估计设备1040（例如，陀螺仪、加速度计）来确定系统的运动数据。使用校准数据可包括将表示二维像素的图像坐标映射到表示光线的三维坐标空间的规范化图像坐标。确定每一帧的三维运动数据可包括确定每一帧的三维的旋转速度矢量。

该方法还将运动数据匹配到由系统所捕捉到的帧序列，以确定每一帧的三维运动数据，基于每一帧的三维运动数据来估计系统的运动路径（例如，粗略运动路径），基于每一帧的运动数据来构建系统的目标运动路径（例如，平滑运动路径），并计算从在运动数据中观察到的估计运动路径到目标运动路径的所希望的运动校正。该方法基于所希望的运动校正来校正图像平面的图像坐标，并基于已校正的图像坐标来生成稳定的帧。将运动数据匹配到帧序列可包括将运动估计设备的时间戳转换为帧的视频时间。构建目标运动路径可包括在每一维度将低通或预测滤波器应用到用来构建估计的运动路径的三维运动数据（可能会导致延迟），以及基于估计运动路径来估计所需的校正。

该方法还基于所希望的运动校正来人工地旋转用户的查看方向，应用双线性内插法，以基于已校正的图像坐标来生成稳定的帧，以及如果存在稳定的帧的未知的区域（例如，暗的像素），则自适应地裁剪并填充未知的区域。

在另一实施例中，计算机可读介质包含可执行的计算机程序指令（例如，模块1039），当由数据处理系统1000执行这些指令时导致所述系统执行方法。该方法通过将图像传感器的图像平面中的二维像素位置转换为三维方向矢量来使用具有图像传感器1061和运动估计设备1040（例如陀螺仪、加速度计）的系统的校准数据。该方法基于校准数据来确定像素速度分量，利用系统来捕捉图像的序列，在图像捕捉过程中利用运动估计设备来确定运动数据，并基于三维的像素速度分量和相对应的运动数据的总和来为每一图像估计总的像素速度。估计可包括对利用对应于每一维度的旋转速度值的权重的每一预先计算出的像素速度的加权总和进行相加。

像素速度分量可包括预先计算出的速度分量，这些分量是在捕捉图像的序列之前计算出的。确定像素速度分量可包括从校准数据构建像素速度图。

该方法还包括对每一图像进行重新采样，以生成新图像。

对每一图像进行重新采样可以利用二进制内插法来进行，以生成基于当前图像和总的像素速度的新图像。

可以使用硬件、软件、固件或其任何组合来具体化模块1038和1039。虽然模块1038和1039被示为驻留在介质1001内，但是，模块1038和1039的全部或某些部分可以在系统1000内的其他组件内具体化，或者也可以完全作为系统1000内的单独的组件来具体化。

I/O子系统1006耦合到触摸I/O设备1012和用于控制或执行各种功能的一个或多个其他I/O设备1014。触摸I/O设备1012通过触摸I/O设备控制器1032来与处理系统1004进行通信，触摸I/O设备控制器1032包括用于处理用户触摸输入的各种组件（例如，扫描硬件）。一个或多个其他输入控制器1034从其他I/O设备1014接收电信号/向它们发送电信号。其他I/O设备1014可包括物理按钮、拨号盘、滑块开关、手柄、键盘、触摸板、额外的显示屏幕，或其任意组合。

如果作为触摸屏来具体化，则触摸I/O设备1012以GUI向用户显示可视输出。可视输出可包括文本、图形、视频，以及其任意组合。可视输出的某些或全部可以对应于用户接口对象。触摸I/O设备1012构成接受来自用户的触摸输入的触敏表面。触摸I/O设备1012和触摸屏控制器1032（与介质1001中的任何相关联的模块和/或指令集一起）检测和跟踪触摸I/O设备1012上的触摸或接近触摸（以及触摸的任何移动或释放），并将检测到的触摸输入转换为与诸如一个或多个用户接口对象之类的图形对象的交互。在其中设备1012作为触摸屏具体化的情况下，用户可以直接与显示在触摸屏上的图形对象进行交互。可另选地，在其中设备1012作为除触摸屏以外的触摸设备（例如，触摸板）具体化的情况下，用户可以间接地与显示在作为I/O设备1014具体化的单独的显示屏幕上的图形对象进行交互。

在其中触摸I/O设备1012是触摸屏的实施例中，触摸屏可以使用LCD（液晶显示器）技术、LPD（发光聚合物显示器）技术、OLED（有机LED）或OEL（有机电致发光），虽然在其他实施例中也可以使用其他显示技术。

可以由触摸I/O设备1012基于用户的触摸输入以及正在显示什么状态和/或计算系统的状态来提供反馈。反馈可以以光学方式传输（例如，光信号或显示的图像），以机械方式传输（触觉反馈、接触反馈、力反馈等等），以电的方式传输（例如，电刺激），通过嗅觉，听觉（例如，蜂鸣声等等），等等或其任何组合并以可变的或非可变的方式来传输。

系统1000还包括用于为各种硬件组件供电的电源系统1044，并可包括电源管理系统、一个或多个电源、再充电系统、电源故障检测电路、电源转换器或倒相器、电源状态指示灯，以及通常与便携式设备中的电能的产生、管理和分配相关联的任何其他组件。

在某些实施例中，外围设备接口1016、一个或多个处理单元1018，以及存储器控制器1020可以在诸如处理系统1004之类的单一芯片上实现。在某些其他实施例中，它们可以在单独的芯片上实现。本发明可以涉及用于执行此处所描述的操作中的一项或多项的设备。可以为所需的用途专门地设计此设备，也可以包括由存储在计算机中的计算机程序有选择地激活和/或重新配置的通用计算机。这样的计算机程序可以存储在机器（例如，计算机）可读的存储介质中，诸如，但不仅限于，任何类型的磁（光）盘，包括软盘、光盘、CD-ROM，以及磁性光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程ROM（EPROM）、电可擦除可编程只读存储器（EEPROM）、闪速存储器、磁卡或光卡，或适于存储电子指令的任何类型的介质，它们都各自耦合到总线。

机器可读的介质包括用于以机器（例如，计算机）可读的形式存储或传输信息的任何机制。例如，机器使用机器可读的介质，诸如机器存储介质（例如，磁盘；光盘；随机存取存储器；只读存储器；闪速存储器设备；相位变化存储器），来存储和传递（内部，以及通过网络与其他设备）代码和数据。

根据本发明，提供了一种计算机实现的用于对利用图像捕捉设备捕捉到的图像执行卷帘式快门校正的设备。所述设备包括：用于使用图像捕捉设备的照像机的校准数据来将所述照像机的图像传感器的图像平面中的图像坐标转换为方向矢量的装置；用于基于所述校准数据，确定预先计算出的像素速度分量的装置；用于利用所述图像捕捉设备捕捉图像的序列的装置；以及用于基于所述预先计算出的像素速度分量的总和来为每一图像估计总的像素速度的装置。

其中，所述预先计算出的像素速度分量是在捕捉所述图像的序列之前预先计算出的。

其中，用于确定所述预先计算出的像素速度分量的装置包括：用于从所述校准数据构建像素速度图的装置。

其中，用于基于所述预先计算出的像素速度分量的总和来为每一图像估计所述总的像素速度的装置包括：用于对利用对应于每一维度的旋转速度值的权重的每一预先计算出的像素速度的加权总和进行相加的装置。

所述设备还包括：用于对每一图像进行重新采样以生成新图像来执行卷帘式快门校正的装置。

所述设备还包括：用于利用运动估计设备来确定三维的运动数据的装置；以及用于基于所述运动数据，来确定所述旋转速度值的装置，以及其中，所述运动估计设备还包括陀螺仪、加速度计，或其任意组合。

在前面的说明中，参考特定的示例性实施例描述了本发明。显而易见的是，在不偏离如下面的权利要求所阐述的本发明的更广泛的精神和范围的情况下，可以作出各种修改。相应地，说明书和附图应被视为说明性的，而不是限制性的。

Claims

1.一种计算机实现的用于对利用图像捕捉设备捕捉到的图像执行卷帘式快门校正的方法，包括：

使用图像捕捉设备的照像机的校准数据来将所述照像机的图像传感器的图像平面中的图像坐标转换为方向矢量；

基于所述校准数据，确定预先计算出的像素速度分量；

利用所述图像捕捉设备捕捉图像的序列；

基于对利用对应于每一维度的旋转速度矢量的权重的每一预先计算出的像素速度分量的加权总和相加来为每一图像估计总的像素速度；以及

对每一图像进行重新采样以生成新图像来执行卷帘式快门校正。

2.如权利要求1所述的方法，其中，所述预先计算出的像素速度分量是在捕捉所述图像的序列之前预先计算出的。

3.如权利要求1所述的方法，其中，确定所述预先计算出的像素速度分量包括：

从所述校准数据构建像素速度图。

4.如权利要求1所述的方法，还包括：

利用运动估计设备来确定三维的运动数据；以及

基于所述运动数据确定每一维度的所述旋转速度矢量的旋转速度值。

5.一种数据处理系统，包括：

用于使用校准数据来将图像传感器的图像平面中的二维像素坐标转换为方向矢量的装置；

用于基于校准数据来确定预先计算出的像素速度分量的装置；

用于获取捕捉到的图像的序列的装置；

用于获取利用运动估计设备所确定的捕捉到的图像的运动数据的装置；

用于基于对利用对应于每一维度的旋转速度矢量的权重的每一预先计算出的像素速度分量的加权总和相加来为每一图像估计总的像素速度的装置；以及

用于对每一图像进行重新采样以生成新图像来执行卷帘式快门校正的装置。

6.如权利要求5所述的系统，其中，所述预先计算出的速度分量是在捕捉所述图像的序列之前计算出的。

7.如权利要求5所述的系统，其中，用于确定所述预先计算出的像素速度分量的装置包括：

用于从所述校准数据构建像素速度图的装置。

8.如权利要求5所述的系统，其中，用于对每一图像进行重新采样的装置使用二进制内插法以生成新图像，是基于当前图像和所述总的像素速度进行的。

9.如权利要求5所述的系统，其中，所述运动估计设备还包括陀螺仪、加速度计、或其任意组合。

10.一种图像捕捉系统，包括：

用于感测图像的卷帘式快门图像传感器；

耦合到所述图像传感器的存储设备，所述存储设备存储捕捉到的图像；

检测运动数据的运动估计设备；以及

耦合到所述存储设备和所述运动估计设备的处理系统，所述处理系统被配置成执行自动卷帘式快门校正机制，所述自动卷帘式快门校正机制基于所述图像传感器的图像平面中的像素位置以及所述像素位置在坐标空间中的相对应的光线之间的关系，使用校准数据来基于所述校准数据确定预先计算出的像素速度分量；基于对利用对应于每一维度的旋转速度矢量的权重的每一预先计算出的像素速度分量的加权总和相加来为每一图像估计总的像素速度；以及对每一图像进行重新采样以生成新图像。

11.如权利要求10所述的系统，其中，所述预先计算出的速度分量是在感测图像之前计算出的。

12.如权利要求10所述的系统，其中，确定所述预先计算出的像素速度分量包括：

从所述校准数据构建像素速度图。

13.如权利要求12所述的系统，其中，所述处理系统被配置成基于所述运动数据来确定每一维度的旋转速度值。

14.如权利要求11所述的系统，其中，对每一图像进行重新采样以生成新图像是基于当前图像和所述总的像素速度进行的。

15.如权利要求10所述的系统，其中，所述运动估计设备还包括陀螺仪、加速度计，或其任意组合。

16.一种计算机实现的用于对利用图像捕捉设备捕捉到的图像执行卷帘式快门校正的设备，包括：

用于使用图像捕捉设备的照像机的校准数据来将所述照像机的图像传感器的图像平面中的图像坐标转换为方向矢量的装置；

用于基于所述校准数据，确定预先计算出的像素速度分量的装置；

用于利用所述图像捕捉设备捕捉图像的序列的装置；

17.如权利要求16所述的设备，其中，所述预先计算出的像素速度分量是在捕捉所述图像的序列之前预先计算出的。

18.如权利要求16所述的设备，其中，用于确定所述预先计算出的像素速度分量的装置包括：

用于从所述校准数据构建像素速度图的装置。

19.如权利要求16所述的设备，还包括：

用于利用运动估计设备来确定三维的运动数据的装置；以及

用于基于所述运动数据确定每一维度的所述旋转速度矢量的旋转速度值的装置。