CN114375459A - 图像去扭曲系统 - Google Patents

Abstract

一种用于图像处理方法和装置。去扭曲电路被配置为以有序序列检索用于将第一图像的像素从失真图像空间重新映射到校正图像空间的多个去扭曲矩阵，其中第一图像描绘失真图像空间中的场景。去扭曲电路至少部分地基于去扭曲矩阵的顺序将第一图像的像素块读取到存储器缓冲器中，并且基于第一图像的像素块生成多个图像图块。图像图块中的每一个图像图块是使用去扭曲矩阵中的相应一个去扭曲矩阵从检索到的块中的一个或多个块内插的。去扭曲电路将多个图像图块写入外部存储器以产生描绘校正图像空间中的场景的第二图像。

Description

图像去扭曲系统

技术领域

本实施例总体上涉及图像处理。

背景技术

图像处理使得能够在显示器上渲染捕获的图像，使得考虑到图像捕获设备（例如，相机）的能力或限制，可以尽可能准确地再现原始场景。例如，广角透镜可以用于捕获比标准直线透镜大的视场（FOV）。然而，广角透镜也在捕获的图像中引入几何非线性失真。示例几何失真包括径向或桶形失真、切向失真等。因此，图像处理可以校正捕获图像中的几何失真，使得场景看起来更直线。反转由透镜光学器件和/或图像捕获设备的视角引入的几何失真的过程通常被称为去扭曲。

发明内容

提供本发明内容是为了以简化的形式介绍以下在具体实施方式中进一步描述的概念的选择。本发明内容既不旨在标识权利要求主题的关键特征或必要特征，也不旨在限制要求保护的主题的范围。

公开了一种用于图像处理的方法和装置。本公开的主题的一个创新方面可以在图像处理方法中实现。在一些实施例中，该方法可以包括以下步骤：以有序序列检索用于将第一图像的像素从失真图像空间重新映射到校正图像空间的多个去扭曲矩阵，其中第一图像描绘失真图像空间中的场景；至少部分地基于去扭曲矩阵的顺序检索第一图像的像素块；基于第一图像的像素块生成多个图像图块；其中图像图块中的每一个是使用去扭曲矩阵中的相应的一个从检索到的块中的一个或多个内插的，以及组合多个图像图块以产生描绘校正的图像空间中的场景的第二图像。

本公开的主题的另一创新方面可在图像处理系统中实现。在一些实施例中，系统可以包括处理器、存储器和去扭曲电路。存储器存储指令，该指令在由处理器执行时使系统以有序序列生成多个去扭曲矩阵，以用于将像素从失真图像空间重新映射到校正图像空间。

去扭曲电路被配置为至少部分地基于去扭曲矩阵的顺序来检索第一图像的像素块，其中第一图像描绘失真图像空间中的场景；基于第一图像的像素块生成多个图像图块，其中每个图像图块是使用去扭曲矩阵中的相应的一个从检索到的像素块中的一个或多个内插的；并且组合多个图像图块以产生描绘校正图像空间中的场景的第二图像。

附图说明

本实施例通过示例的方式示出，并且不旨在受附图中的图的限制。

图1示出了根据一些实施例的图像捕获和显示系统的框图。

图2示出了根据一些实施例的透镜几何失真校正（LGDC）电路的框图。

图3示出了根据一些实施例的示例校正图像空间。

图4示出了校正图像空间与失真图像空间之间的示例像素映射。

图5示出了根据一些实施例的LGDC系统的框图。

图6示出了根据一些实施例的图像空间重新映射控制器的框图。

图7示出了根据一些实施例的图块去扭曲电路的框图。

图8示出了根据一些实施例的图像空间重新映射控制器的另一框图。

图9是描绘根据一些实施例的示例图像处理操作的说明性流程图。

具体实施方式

在以下描述中，阐述了许多具体细节，诸如具体部件、电路和过程的示例，以提供对本公开的透彻理解。如本文中所使用的术语“耦合”是指直接连接到或通过一个或多个中间部件或电路连接。另外，在以下描述中并且出于解释的目的，阐述了具体的术语以提供对本公开的方面的透彻理解。然而，对于本领域技术人员将显而易见的是，实践示例实施例可能不需要这些具体细节。在其他情况下，以框图形式示出了公知的电路和设备，以避免使本公开不清楚。以下详细描述的一些部分是根据对计算机存储器内的数据位的操作的过程、逻辑块、处理和其他符号表示来呈现的。电路元件或软件块之间的互连可以显示为总线或单个信号线。每条总线可以可替代地是单个信号线，并且每条单个信号线可以可替代地是总线，并且单个线或总线可以代表用于部件之间通信的无数物理或逻辑机制中的任何一个或多个。

除非另有明确说明（如从以下讨论中显而易见的那样），否则应当理解，贯穿本申请，利用诸如“访问”、“接收”、“发送”、“使用”、“选择”、“确定、“标准化”、“相乘”、“平均”、“监视”、“比较”、“施加”、“更新”、“测量”、“导出”等术语的讨论指的是计算机系统、或类似的电子计算设备的动作和过程，其将表示为计算机系统的寄存器和存储器内的物理（电子）量的数据操纵和转换为类似表示为计算机系统存储器或寄存器或其他此类信息存储、传输或显示设备内的物理量的其他数据。

除非明确描述为以特定方式实现，否则本文中描述的技术可以以硬件、软件、固件、或其任意组合来实现。被描述为模块或部件的任何特征也可以一起在集成逻辑设备中实现，或者分别作为离散但可互操作的逻辑设备实现。如果以软件实现，则技术可以至少部分地由包括指令的非暂时性计算机可读存储介质来实现，所述指令在被执行时执行上述方法中的一种或多种。非暂时性计算机可读存储介质可以形成计算机程序产品的部分，该计算机程序产品可以包括封装材料。

非暂时性处理器可读存储介质可以包括随机存取存储器（RAM），诸如同步动态随机存取存储器（SDRAM）、只读存储器（ROM）、非易失性随机存取存储器（NVRAM）、电可擦除可编程只读存储器（EEPROM）、闪速存储器、其他已知的存储介质等。附加地或可替代地，该技术可以至少部分地由处理器可读的通信介质来实现，该处理器可读的通信介质以指令或数据结构的形式携带或传送代码，并且可以由计算机或其他处理器访问、读取、和/或执行。

结合本文中公开的实施例描述的各种说明性逻辑块、模块、电路和指令可以由一个或多个处理器执行。如本文中所使用的术语“处理器”可以指代能够执行存储在存储器中的一个或多个软件程序的脚本或指令的任何通用处理器、常规处理器、控制器、微控制器、专用处理器、和/或状态机。

图1示出了根据一些实施例的图像捕获和显示系统100的框图。系统100包括图像捕获设备110、图像处理器120和图像显示设备130。图像捕获设备110从场景捕获光101的图案，并将捕获的光101转换为数字图像捕获数据102。图像捕获数据102可以对应于描绘场景的数字图像。图像显示设备130通过在对应的显示表面上再现光图案来显示数字图像。在一些方面中，图像捕获设备110可以是相机，并且图像显示设备130可以是电子显示器（诸如电视、计算机监视器、智能电话等）。

图像处理器120对图像捕获数据102执行图像处理以生成图像渲染数据103，图像渲染数据103可用于在图像显示设备130上更准确地再现原始场景（由图像捕获设备110捕获）。在一些实施例中，图像处理器120可以并入或以其他方式包括在图像捕获设备110中。图像处理器120包括图像信号处理（ISP）模块122和透镜几何失真校正（LGDC）模块124。ISP模块122可以校正图像捕获数据102中的各种像素失真以改善数字图像的质量。示例像素失真包括但不限于渐晕、像差和噪声。

LGDC模块124可以将图像捕获数据102转换或传送到更适合或优化用于在图像显示设备130上显示的不同图像空间。例如，图像捕获设备上的广角透镜可能将几何失真（诸如径向或桶形失真、切向失真、梯形失真等）引入到图像捕获数据102中描绘的场景中。因此，LGDC模块124可以被配置为校正由图像捕获设备110引入的几何失真，使得捕获的图像或场景在图像显示设备130上看起来更直线。在一些实施例中，除了图像显示设备130之外或代替图像显示设备130，可以将图像渲染数据103提供给其他设备。例如，计算机视觉处理可以受益于直线图像。计算机视觉处理的示例可以包括但不限于面部检测、对象检测和对象跟踪。

本公开的方面认识到，某些应用可能需要图像捕获数据102的近实时处理。示例实时应用包括但不限于流视频应用（诸如来自内容递送网络、视频监控系统、视频会议系统等）和计算机视觉应用（诸如面部识别系统、汽车驾驶员辅助系统、增强现实（AR）系统等）。然而，LGDC操作需要复杂的计算和数据操纵。完整的软件去扭曲解决方案可能消耗中央处理单元（CPU）的大部分带宽或处理能力。另一方面，完整的硬件去扭曲架构可能占据显著的占用面积，并且可能提供有限的灵活性以将去扭曲算法重新配置或定制为不同的透镜几何形状。

在一些实施例中，图像处理器120可以将LGDC模块124实现为组合的硬件和软件解决方案。更具体地，本公开的各方面可以利用软件（例如，由CPU或专用处理器执行）的灵活性和可扩展性来生成用于基于图像捕获设备110的透镜参数将图像捕获数据102的一个或多个像素重新映射到图像渲染数据103的一个或多个像素的指令。本公开的各方面可以进一步利用硬件逻辑的速度和带宽来执行在由CPU生成的指令中阐述的计算和数据操纵。

在一些实施例中，图像渲染数据103的图像空间（例如，“校正图像空间”）可以被分割或细分为多个图块，使得可以以更精细的粒度执行去扭曲操作。例如，可以至少部分地基于LGDC模块124的存储带宽来配置或优化每个图块的大小。以图块粒度执行像素重新映射操作显著减少了对图像捕获数据102的帧或图像进行去扭曲所需的硬件开销量。这可以进一步减少图像处理的等待时间或延迟，使得可以近实时地生成图像渲染数据103。

图2示出了根据一些实施例的透镜几何失真校正（LGDC）电路200的框图。LGDC电路200可以是图1的LGDC模块124的一个实施例。因此，LGDC电路200可以被配置为校正失真图像202中的几何失真。例如，几何失真可以由透镜和/或用于获取或以其他方式生成失真图像202的图像捕获设备的其他特性引入。在一些实施例中，去扭曲电路210可以被配置为将失真图像202的一个或多个像素重新映射到校正图像204的一个或多个像素，使得校正图像204看起来基本上是直线的。

在图2的实施例中，失真图像202可以由具有广角透镜的相机（或其他图像捕获设备）捕获。因此，失真图像202中描绘的场景看起来径向失真。例如，具有直线的对象（诸如建筑物）在失真图像202中看起来是弯曲的。相比之下，校正图像204中描绘的场景看起来是直线的。例如，具有直线的对象在校正图像204中看起来是直的。如本文所使用的，术语“失真图像空间或DIS”是指失真图像202（例如，在去扭曲之前）的图像空间，并且术语“校正图像空间或CIS”是指校正图像204（例如，在去扭曲之后）的图像空间。

LGDC电路200包括去扭曲电路210和存储器220。去扭曲电路210可以接收对应于失真图像202的图像数据，并且可以输出对应于校正图像204的校正图像数据。在一些方面中，校正图像204可具有与失真图像202相同的尺寸（例如，像素高度和像素宽度）。然而，与失真图像202相比，在校正图像204中可以描绘更少的场景。例如，失真图像202的左上角中的建筑物未在校正图像204中示出。因此，去扭曲电路210可以从失真图像202的一个或多个像素内插校正图像204的每个像素。

在一些实施例中，去扭曲电路210可以至少部分地基于图像捕获设备的一个或多个相机透镜参数206来确定像素从失真图像空间到校正图像空间的重新映射。示例透镜参数206可以包括但不限于透镜几何形状和焦距。因为去扭曲操作是反转由相机透镜引入的几何失真，所以像素重新映射可以是由相机透镜创建的像素映射的逆。在一些方面中，去扭曲电路210可以基于多项式透镜模型来确定像素重新映射计算。在一些其它方面中，去扭曲电路210可基于非多项式透镜模型确定像素重新映射计算。

存储器220可以被配置为存储或缓冲完成去扭曲操作所需的任何数据。存储在存储器220中的数据可以包括但不限于相机透镜参数206、像素重新映射计算（例如，矩阵）、用于提取失真图像块的索引顺序、失真图像202的图像数据和校正图像204的图像数据。因为存储器220中的存储量是有限的，所以存储失真图像202和/或校正图像204的整个帧的完整像素数据集可能是低效的（如果不是不可能的话）。因此，在一些实施例中，LGDC电路200可以被配置为一次生成校正图像204的小部分（例如，图块）。由于校正图像204的每个部分仅从失真图像202的像素的相对小的子集（例如，块）被内插，因此本公开的各方面可以显著降低存储器220的存储带宽要求。

图3示出了根据一些实施例的示例校正图像空间300。校正图像空间300可以是图2的校正图像204的图像空间的一个实施例。如图3所示，校正图像空间300被分割或细分为相等或均匀大小的多个图块T1（1）-Tn（m）。每个图块可以包括校正图像空间300的多个像素。在一些实施例中，每个图块的大小（例如，像素高度和像素宽度）可以至少部分地基于LGDC电路（诸如图2的存储器220）的存储带宽。在一些其他实施例中，每个图块的大小可以至少部分地基于校正图像（诸如图2的校正图像204）的像素深度和/或颜色格式。

每行图块可以形成相应的步幅。例如，步幅S1可以包括图块T1（1）-T1（m），步幅S2可以包括图块T2（1）-T2（m），步幅S3可以包括图块T3（1）-T3（m），等等。因此，步幅S1-Sn中的每一个可以跨越校正图像空间300的宽度（例如，对应于图块T1（1）-T1（m）的组合像素宽度），并且可以具有等于图块中的一个的像素高度的高度。在一些实施例中，可以以光栅顺序对每个图块执行去扭曲，一次一个步幅。例如，去扭曲电路可以从左到右相继地处理步幅S1的图块中的每个（例如，T1（1）、T1（2）、……、T1（m）），之后继续从左到右处理步幅S2的图块中的每个（例如，T2（1）、T2（2）、……、T2（m））。

每个步幅的大小和尺寸可以至少部分地取决于显示更新的光栅顺序和/或每个更新的粒度。在图3的实施例中，步幅S1-Sn被示出为与校正图像空间300的水平行相对应，例如，以支持用于水平显示更新的近实时去扭曲。在其他实施例中，步幅可以与校正图像空间300的垂直列相对应，例如，以支持用于垂直显示更新的近实时去扭曲。例如，去扭曲电路可以从顶部到底部相继地处理整列图块（例如，T1（1）、T2（1）、……、Tn（1）），之后继续从顶部到底部处理下一列图块（例如，T1（2）、T2（2）、……、Tn（2））。此外，在一些实施例中，可以同时处理校正图像空间300的多个步幅（例如，使用多线程）。

本公开的各方面认识到，校正图像空间300与失真图像空间之间的像素映射可以是非线性的。例如参考图2，与图像的中心相比，几何失真在失真图像202的边缘或外围上可能更明显。因此，校正图像204的中心处的像素可以映射到失真图像202的中心处的像素。然而，校正图像204的角和边缘处的像素可能不会映射到失真图像202的相应角和边缘处的像素。相反，校正图像204的角和边缘处的像素可以映射到更靠近失真图像202的中心的像素。

图4示出了校正图像空间410与失真图像空间420之间的示例像素映射400。校正图像空间410可以是图3的校正图像空间300的一个实施例。在图4的实施例中，失真在失真图像空间420的中心处相对不明显。例如，校正图像空间410的中心处的图块412可以映射到失真图像空间420的中心处的像素块422。然而，失真朝向失真图像空间420的边缘变得明显更明显。例如，校正图像空间410的左上角处的图块414、416、和418可以各自映射到失真图像空间420中的相同像素块424。

因此，在一些实施例中，可以针对校正图像空间410的每个图块生成相应的去扭曲矩阵（或矩阵集合）。每个去扭曲矩阵可以定义校正图像空间410的特定图块与失真图像空间420的对应像素块之间的像素映射。在一些实施例中，失真图像空间420中的每个像素块的大小（例如，像素高度和像素宽度）可以至少部分地基于校正图像空间410的每个图块的大小和/或LGDC电路的存储带宽。在一些方面中，可以至少部分地基于存储器存储格式的图块粒度来配置校正图像空间410的块大小和失真图像空间420的图块大小。更具体地，图块粒度可以取决于存储在存储器中的图像的图像格式和像素深度来限制块和/或图块的大小。

在一些实施例中，校正图像空间410的块大小与失真图像空间420的图块大小之间的关系也可以相对于一个或多个透镜失真参数而变化。例如，当失真图像空间420表示基本上比校正图像空间410宽的视场时，失真图像空间420的块大小可以显著大于校正图像空间410的图块大小。然而，对于较不显著的失真，失真图像空间420的块大小可以更接近校正图像空间410的图块大小。在一些方面中，失真图像空间420的块可以大于校正图像空间410的图块（例如，是其大小的至少两倍）。如下面更详细描述的，这可以减少处理校正图像空间410的每个图块所需的块读取操作（例如，从存储器）的数量和/或频率。

图5示出了根据一些实施例的LGDC系统500的框图。LGDC系统500可以是图2的LGDC电路200的一个实施例。因此，LGDC系统500可以被配置为校正图像捕获数据501中的几何失真。LGDC系统500包括图像空间重新映射控制器510、存储器520、和图块去扭曲电路530。

图像空间重新映射控制器510可以被配置为生成重新映射数据502，以用于将图像捕获数据501的像素从失真图像空间重新映射到校正图像空间。在一些实施例中，重新映射数据502可以包括多个去扭曲矩阵和标识要由去扭曲矩阵使用的图像捕获数据501的像素块的多个查找表（LUT）。如关于图3和图4所描述的，每个去扭曲矩阵可以定义校正图像空间的相应图块与失真图像空间的一个或多个像素块之间的像素映射。因此，去扭曲矩阵可以定义要由去扭曲电路530执行的一系列去扭曲操作（例如，计算）。

图像空间重新映射控制器510可以至少部分地基于与用于捕获图像捕获数据501的图像捕获设备相关联的透镜配置数据503来生成去扭曲矩阵。例如，透镜配置数据503可以指示图像捕获设备的一个或多个透镜参数（诸如透镜几何形状和焦距）。在一些方面中，透镜配置数据503可以在设备制造阶段被提供给重新映射控制器510。在一些其他方面中，可以在制造LGDC系统500之后的任何时间将透镜配置数据503和/或新透镜配置数据提供给重新映射控制器510。因此，LGDC系统500可以被配置（和重新配置）为对由各种图像捕获设备捕获的图像进行去扭曲。

LUT可以指定顺序，去扭曲电路530以该顺序检索图像捕获数据501的像素块并且对图像捕获数据501的像素块起作用。由LUT标识的块的顺序可以至少部分地基于要由去扭曲电路530实现的去扭曲矩阵的顺序。更具体地，LUT可以确保去扭曲电路530以正确的顺序检索必要的像素块，以内插校正的图像空间的每个图块。在一些实施例中，去扭曲矩阵可以由去扭曲电路530以光栅顺序（例如，如上面关于图3所描述的）处理。因此，由LUT指定的块的顺序也可以取决于校正图像空间中的图块的光栅顺序。

存储器520可以被配置为存储或缓冲完成去扭曲操作所需的任何数据。在一些实施例中，存储器520可以是动态随机存取存储器（DRAM）。存储器520可以包括重新映射数据存储522、失真图像空间（DIS）图像数据存储524和校正图像空间（CIS）图像数据存储526。重新映射数据存储522可以存储或缓冲来自重新映射控制器的重新映射数据502。DIS图像数据存储524可以存储或缓冲图像捕获数据501。在一些方面中，DIS图像数据存储524可以被配置为存储描绘失真图像空间中的场景的全帧像素数据。CIS图像数据存储526可以存储或缓冲要输出到另一设备或电子系统（诸如图1的图像显示设备130）的图像渲染数据507。在一些方面中，CIS图像数据存储526可以被配置为存储描绘校正图像空间中的场景的全帧像素数据。

去扭曲电路530可以被配置为基于图像捕获数据501生成图像渲染数据507。例如，去扭曲电路530可以从图像捕获数据501的一个或多个像素内插图像渲染数据507的每个像素（例如，使用双三次内插技术）。在一些实施例中，去扭曲电路530可以对校正图像空间的每图块粒度起作用。更具体地，去扭曲电路530可以基于存储在重新映射数据存储522中的去扭曲矩阵的顺序（例如，光栅顺序）来连续地处理校正图像空间的每个图块。

去扭曲电路530可以从重新映射数据存储522中检索重新映射数据502，以确定与校正图像空间的每个图块相关联的去扭曲矩阵。去扭曲电路530还可以基于重新映射数据502中包括的LUT来确定要操作的（例如，图像捕获数据501的）像素块。例如，去扭曲电路530可以以由LUT指定的顺序从DIS图像数据存储524中检索一个或多个DIS图像块504。去扭曲电路530可以对由去扭曲矩阵定义的DIS图像块504执行双三次内插，以产生一个或多个CIS图像图块506。然后，去扭曲电路530可以将CIS图像图块506存储在CIS图像数据存储526中作为图像渲染数据507。因此，可以组合CIS图像图块506（例如，以光栅顺序）以产生描绘校正图像空间中的图像捕获数据501的场景的全帧图像。

在一些实施例中，重新映射控制器510可以以软件实现。例如，重新映射控制器510可以包括由通用处理器或CPU执行的指令集合。这在去扭曲矩阵的设计和/或配置中提供了更大的可扩展性和灵活性。例如，用于反转相机透镜的几何失真的算法可以是用户可配置的（并且可重新配置的）。因此，本公开的各方面可支持基于多项式透镜模型或非多项式透镜模型（例如，用于校正径向或切向失真）的去扭曲矩阵。在一些其它方面中，去扭曲矩阵可被配置或更新为支持额外几何失真校正，包括但不限于倾斜、缩放、旋转和焦点改变。

在一些实施例中，去扭曲电路530可以以硬件实现。例如，去扭曲电路530可以包括晶体管或逻辑门集合，其被硬连线以执行由去扭曲矩阵定义的计算或数学运算，诸如双三次内插或其他像素重新映射函数。这在内插图像渲染数据507时提供了较大的速度和带宽。通过以图块大小粒度处理图像渲染数据507，本公开的各方面可以进一步减少去扭曲过程的等待时间，同时还优化可用带宽和资源的使用。因此，可以近实时地生成图像渲染数据507的帧（例如，使得LGDC系统500以与系统500接收图像捕获数据501基本上相同的速率输出图像渲染数据507）。

图6示出了根据一些实施例的图像空间重新映射控制器600的框图。重新映射控制器600可以是图5的图像空间重新映射控制器510的一个实施例。因此，重新映射控制器600可以被配置为生成要用于将图5的图像捕获数据501的像素从失真图像空间重新映射到校正图像空间的重新映射数据。在一些实施例中，重新映射控制器600可以针对校正图像空间（CIS）的每个步幅602生成步幅重新映射数据集604。重新映射控制器600包括去扭曲矩阵生成器610和图像块LUT生成器620。

去扭曲矩阵生成器610被配置为至少部分地基于与图像捕获设备相关联的透镜配置数据603来生成多个去扭曲矩阵M（1）-M（m）。去扭曲矩阵M1（1）-M（m）中的每一个可以与当前CIS矩阵步幅602的相应CIS矩阵图块T（1）-T（m）相关联。每个CIS矩阵图块T（）中的矩阵元素可以指代CIS像素的行和列索引。在一些实施例中，去扭曲矩阵M（1）-M（m）可以定义CIS像素与失真图像空间（DIS）的像素之间的像素映射。因此，每个去扭曲矩阵M（）中的矩阵元素可以指代DIS像素的行和列索引。

在一些实施例中，矩阵生成器610可以以光栅顺序处理CIS矩阵图块T（1）-T（m）中的每一个（例如，如上面关于图3所述）。在一些方面中，每个去扭曲矩阵元素可以包括对所引用的DIS块中的像素的高精度像素引用。当处理给定CIS矩阵图块的每个像素时，相关联的去扭曲矩阵元素还指定用于DIS块中的像素内DIS像素引用的一个或多个分数坐标，将从该DIS块中内插像素。

图像块LUT生成器620被配置为针对每个CIS矩阵步幅602生成相应的块查找表（LUT）。每个LUT可以标识与CIS矩阵步幅602相关联的一个或多个DIS块。因为存储器缓冲器空间可能是有限的，所以LUT可以指定其中DIS块将被检索以供去扭曲电路（诸如图5的图块去扭曲电路530）处理的顺序。更具体地，DIS块的顺序可以与去扭曲矩阵M（1）-M（m）的顺序对齐，使得可以预取必要的DIS块以用于处理CIS矩阵图块T（1）-T（m）中的每一个。

在一些实施例中，LUT生成器620可以至少部分地基于包括在去扭曲矩阵M（1）-M（m）中的每一个中的像素引用来确定要包括在LUT中的DIS块。例如，LUT生成器620可以确定由特定去扭曲矩阵（或矩阵集合）中的最大和最小像素引用界定的失真图像空间的区域。LUT生成器620还可以标识由所标识的区域界定（或与所标识的区域重合）的一个或多个DIS块，并将DIS块与去扭曲矩阵相关。例如，LUT中的每个DIS块可以由DIS块列和行偏移地址连同其所服务的CIS矩阵的计数或其他指示符来标识。

LUT可以附加到去扭曲矩阵M（1）-M（m）并且作为步幅重新映射数据集604存储在系统存储器（诸如图5的存储器520）中。在一些实施例中，LUT可以被压缩（例如，使用游程长度编码）以减少数据集604的存储开销。在一些其他实施例中，还可以压缩重新映射矩阵M（1）-M（m）以进一步减少存储开销和/或减轻带宽拥塞。LUT生成器620可以针对图像捕获数据的每个帧连续地（例如，以光栅顺序）处理校正图像空间的每个步幅602。在一些方面中，LUT生成器620可以输出每个步幅重新映射数据集604作为连续数据流。

图7示出了根据一些实施例的图块去扭曲电路700的框图。去扭曲电路700可以是图5的图块去扭曲电路530的一个实施例。因此，去扭曲电路700可以被配置为基于失真的图像数据生成校正的图像数据。在一些实施例中，去扭曲电路700可以通过从失真图像空间的对应块像素数据706内插图块像素数据708来单独地（例如，以光栅扫描顺序）处理校正图像空间的每个图块。

去扭曲电路700包括存储器接口710、步幅处理控制器720、失真图像空间（DIS）输入缓冲器730、校正图像空间（CIS）输出缓冲器740、内插器750和定时控制器760。存储器接口710提供接口，去扭曲电路700可以通过该接口与系统存储器（诸如图5的存储器520）通信。存储器接口710可以包括步幅重新映射（SR）数据读取客户端712、DIS图像块读取客户端714和CIS图像块写入客户端716。步幅重新映射数据读取客户端712可以响应于步幅读取请求701从存储器读取步幅重新映射（SR）数据集702。DIS图像块读取客户端714可以响应于块读取请求705从存储器读取块像素数据706。CIS图像块写入客户端716可以响应于图块写入请求707将图块像素数据708写入存储器。在一些方面中，CIS图像块写入客户端716可以以光栅扫描顺序将图块像素数据708写入存储器。

步幅处理控制器720可以处理校正的图像空间的步幅。如关于图3所描述的，校正图像空间可以包括具有预定像素高度并且跨越校正图像空间的宽度的多个步幅。步幅处理控制器720可以输出相应的步幅读取请求701，以用于处理校正的图像空间的每个步幅。步幅重新映射数据读取客户端712响应于步幅读取请求701将SR数据集702返回到步幅处理控制器720。如关于图6所描述的，SR数据集702可以包括块LUT和多个去扭曲矩阵M（1）-M（m）。每个去扭曲矩阵可以定义校正图像空间的相应图块与一个或多个DIS块之间的像素映射。LUT可以标识服务每个去扭曲矩阵的DIS块。步幅处理控制器720可以将块LUT和去扭曲矩阵分别存储在LUT缓冲器722和矩阵缓冲器724中。在一些实施例中，矩阵缓冲器724可以被配置为一次仅存储单个去扭曲矩阵。

DIS输入缓冲器730可以从LUT缓冲器722读取块信息703以确定要从存储器检索哪些DIS块。例如，可以从LUT解析块信息703并以其中去扭曲矩阵要被处理的顺序将其提供给DIS输入缓冲器730。块信息703可以包括要从存储器读取的一个或多个DIS块的索引以及指示引用每个DIS块的去扭曲矩阵的数量的计数值。DIS输入缓冲器730可以针对具有在当前块信息703中指定的索引的每个DIS块（或DIS块集合）输出相应的块读取请求705。DIS图像块读取客户端714将（一个或多个）所请求的DIS块的块像素数据706返回到DIS输入缓冲器730。DIS输入缓冲器730可以存储或缓冲块像素数据706，直到从LUT缓冲器722读取后续块信息703。

内插器750可以基于块像素数据706和相应的去扭曲矩阵704来处理校正图像空间的每个图块。例如，内插器750可以以光栅顺序从矩阵缓冲器724读取每个去扭曲矩阵704。对于每个去扭曲矩阵704，内插器750可以使用缓冲的块像素数据706来根据由去扭曲矩阵704指定的像素映射生成校正的图像空间的对应图块。在一些实施例中，内插器750可以基于由块像素数据706中的去扭曲矩阵指示的参考点的双三次内插来生成每个图块。例如，内插器750可以使用块像素数据706的4个亮度（Y）像素和4个色度（UV）像素以及由去扭曲矩阵704指示的分数偏移来内插每个图块。

CIS输出缓冲器740可以缓冲内插器750的输出（例如，图块像素数据708），直到完整的图块被存储在CIS输出缓冲器740中。当CIS输出缓冲器740中的图块像素数据708表示校正图像空间的完整图块时，CIS输出缓冲器740可以将图块写回到系统存储器。例如，CIS输出缓冲器740可以将图块写入请求707连同图块像素数据708一起输出到CIS图像块写入客户端716。在一些实施例中，可以在内插器750开始处理校正图像空间中的下一个图块（或下一个去扭曲矩阵704）之前，以光栅顺序将每个完整的图块写入系统存储器。因此，当去扭曲电路700完成去扭曲时，图像渲染设备（或图像分析设备）可以近实时地渲染图块像素数据708。

定时控制器760可以生成定时信号709以控制步幅处理控制器720、DIS输入缓冲器730和CIS输出缓冲器740的定时。更具体地，定时信号709可以用于同步步幅处理控制器720、DIS输入缓冲器730和CIS输出缓冲器740的操作。例如，定时信号709可以确保块LUT首先被加载到LUT缓冲器722中，并且DIS输入缓冲器730在步幅处理控制器720检索与块像素数据706相关联的去扭曲矩阵704之前检索由LUT标识的块像素数据706。因为多个去扭曲矩阵704可以取决于相同的块像素数据706，所以DIS输入缓冲器730不需要为每个连续的去扭曲矩阵704检索新的块像素数据706。在一些方面中，当由内插器750处理的去扭曲矩阵的数量达到与存储在DIS输入缓冲器730中的（一个或多个）当前DIS块相关联的计数值时，DIS输入缓冲器730可以输出新的块读取请求705。

图8示出了根据一些实施例的图像空间重新映射控制器800的另一框图。重新映射控制器800可以在LGDC系统（诸如图5的LGDC系统500）中实现。因此，重新映射控制器800可以是图6的图像空间重新映射控制器600的一个实施例。重新映射控制器800包括处理器810和存储器820。

存储器820可以包括被配置为存储图像捕获数据和/或图像渲染数据的图像像素数据存储821。例如，图像捕获数据可以对应于失真图像空间中的场景的图像，并且图像渲染数据可以对应于校正图像空间中的场景的图像。存储器820还可包括可存储至少以下软件（SW）模块的非暂时性计算机可读介质（例如，一个或多个非易失性存储器元件，诸如EPROM、EEPROM、闪存、硬盘驱动器等）：

·去扭曲矩阵SW模块822，用于生成表示校正图像空间（CIS）的图块与失真图像空间（DIS）的块之间的像素映射的多个去扭曲矩阵，去扭曲矩阵SW模块822还包括：

o图块配置子模块823，用于至少部分地基于LGDC系统的存储带宽利用来配置每个CIS图块的大小；

o 用于基于多项式透镜模型确定像素映射的多项式建模子模块824；以及

o 用于基于非多项式透镜模型确定像素映射的非多项式建模子模块825；以及

·块LUT SW模块826，用于生成标识与每个去扭曲矩阵相关联的一个或多个DIS块的多个块LUT，所述块LUT SW模块826还包括：

o 块配置子模块827，用于至少部分地基于LGDC系统的存储带宽利用来配置每个DIS块的大小；以及

o 块顺序子模块828，用于至少部分地基于去扭曲矩阵的顺序来确定DIS块中的每个DIS块的提取顺序。

每个软件模块包括当由处理器810执行时使重新映射控制器800执行对应功能的指令。

处理器810可以是能够执行存储在重新映射控制器800中的一个或多个软件程序的脚本或指令的任何合适的一个或多个处理器。例如，处理器810可以执行指令822-828以针对校正图像空间的每个步幅生成步幅重新映射数据集（诸如图6的数据集604）。在一些实施例中，处理器810可以被配置为同时或并行地（例如，使用多线程）对多个步幅起作用以改善等待时间。更具体地，可以通过增加并发线程的数量来减少软件进程等待时间，由处理器810对该并发线程起作用。

处理器810可以执行去扭曲矩阵SW模块822以生成表示CIS图块与DIS块之间的像素映射的多个去扭曲矩阵。在执行去扭曲矩阵SW模块822时，处理器810还可以执行图块配置子模块823、多项式建模子模块824、和/或非多项式建模子模块825。例如，处理器810可以执行图块配置子模块823以至少部分地基于LGDC系统的存储带宽利用来配置每个CIS图块的大小。此外，处理器810可执行多项式建模子模块824以基于多项式透镜模型确定像素映射。更进一步，处理器810可执行非多项式建模子模块825以基于非多项式透镜模型确定像素映射。

处理器810还可以执行块LUT SW模块826以生成标识与每个去扭曲矩阵相关联的一个或多个DIS块的多个块LUT。在执行块LUT SW模块826时，处理器810还可以执行块配置子模块827和/或块顺序子模块828。例如，处理器810可以执行块配置子模块827，以至少部分地基于LGDC系统的存储带宽利用来配置每个DIS块的大小。此外，处理器810可以执行块顺序子模块828，以至少部分地基于去扭曲矩阵的顺序来确定每个DIS块的提取顺序。

图9是描绘根据一些实施例的示例图像处理操作900的说明性流程图。例如参考图7，操作900可以由图块去扭曲电路700执行，以基于失真图像数据生成校正图像数据。

去扭曲电路可以以有序序列检索多个去扭曲矩阵，以用于将第一图像的像素从失真图像空间重新映射到校正图像空间（910）。第一图像可以描绘失真图像空间中的场景。例如，去扭曲电路可以从存储器检索步幅重新映射数据集。数据集可以包括以光栅顺序布置的多个去扭曲像素。每个去扭曲矩阵可以定义相应CIS图块与一个或多个DIS块之间的像素映射。

去扭曲电路可以至少部分地基于去扭曲矩阵的顺序来检索第一图像的像素块（920）。例如，步幅重新映射数据集还可以包括块LUT，其标识服务每个去扭曲矩阵的DIS块。因此，DIS块的顺序可以至少部分地取决于其中去扭曲电路要检索和处理去扭曲矩阵的顺序。在一些实施例中，去扭曲电路可以以LUT中指定的顺序检索DIS块。

去扭曲电路可以基于第一图像的像素块生成多个图像图块，其中使用去扭曲矩阵中的相应一个去扭曲矩阵从检索到的像素块中的一个或多个像素块内插图像图块中的每个图像图块（930）。例如，去扭曲电路可以基于检索到的DIS块和相应的去扭曲矩阵来处理校正图像空间的每个图块。在一些实施例中，去扭曲电路可以基于由DIS块中的去扭曲矩阵指示的参考点的双三次内插来生成每个CIS图块。

然后，去扭曲电路可以组合多个图像图块以产生描绘校正图像空间中的场景的第二图像（940）。如上面关于图3所述，当以光栅顺序布置时，多个CIS图块可以形成校正图像空间的全帧图像。在一些实施例中，去扭曲电路可以在处理校正的图像空间中的下一个图块（或下一个去扭曲矩阵）之前将每个内插图块写回到存储器。因此，当去扭曲电路完成去扭曲时，图像渲染设备（或图像分析设备）可以近实时地渲染第二图像。

本领域技术人员将理解，可以使用多种不同工艺和技术中的任何来表示信息和信号。例如，在以上整个说明书中可能引用的数据、指令、命令、信息、信号、位、符号和码片可以由电压、电流、电磁波、磁场或粒子、光学场或粒子、或其任何组合表示。

此外，本领域技术人员将理解，结合本文中公开的方面描述的各种说明性的逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件、或两者的组合。为了清楚地说明硬件和软件的这种可互换性，上面已经大体上根据其功能性描述了各种说明性的部件、块、模块、电路和步骤。将这种功能性实现为硬件还是软件取决于特定的应用和施加在整个系统上的设计约束。技术人员可以针对每个特定应用以不同方式来实现所描述的功能性，但是这种实施方式决策不应被解释为导致脱离本公开的范围。

结合本文中公开的方面描述的方法、序列或算法可以直接体现在硬件中、在由处理器执行的软件模块中、或在两者的组合中。软件模块可以驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域已知的任何其他形式的存储介质中。示例性存储介质耦合到处理器，使得处理器可以从该存储介质读取信息，并且可以向该存储介质写入信息。在替代方案中，存储介质可以集成到处理器。

在前述说明书中，已经参考其具体示例描述了实施例。然而，将显而易见的是，在不脱离如所附权利要求中所阐述的本公开的更广范围的情况下，可以对其进行各种修改和改变。因此，说明书和附图应被认为是说明性的而不是限制性的。

Claims (29)

1.一种图像处理方法，包括：

以有序序列检索用于将第一图像的像素从失真图像空间重新映射到校正图像空间的多个去扭曲矩阵，所述第一图像描绘所述失真图像空间中的场景；

至少部分地基于所述去扭曲矩阵的顺序来检索所述第一图像的像素块；

基于所述第一图像的所述像素块生成多个图像图块，其中所述图像图块中的每个图像图块是从使用所述去扭曲矩阵中的相应一个去扭曲矩阵从检索到的像素块中的一个或多个像素块内插的；以及

组合所述多个图像图块以产生描绘所述校正图像空间中的所述场景的第二图像。

2.根据权利要求1所述的方法，其中所述像素块中的每个像素块包括所述第一图像的多个第一像素，并且其中所述图像图块中的每个图像图块包括所述第二图像的多个第二像素。

3.根据权利要求2所述的方法，其中每个像素块中的所述多个第一像素的数量大于每个图像图块中的所述多个第二像素的数量。

4.根据权利要求2所述的方法，其中所述第二像素中的每个第二像素是使用双三次内插从所述第一像素中的一个或多个第一像素内插的。

5.根据权利要求1所述的方法，其中所述有序序列至少部分地基于所述第二图像中的所述图像图块的光栅顺序。

6.根据权利要求5所述的方法，其中所述组合包括：

以所述光栅顺序存储所述多个图像图块。

7.根据权利要求1所述的方法，其中所述第二图像被分割成具有均匀高度和宽度的多个步幅，每个步幅的所述高度等于所述图像图块中的一个图像图块的高度，并且每个步幅的所述宽度等于所述第二图像的宽度，并且其中所述步幅中的每个步幅依次包括所述图像图块中的两个或更多个图像图块。

8.根据权利要求7所述的方法，其中所述去扭曲矩阵的所述检索包括：

检索用于生成所述多个步幅中的第一步幅的所述图像图块的所述去扭曲矩阵；以及

仅在已经检索到与所述第一步幅相关联的所述去扭曲矩阵中的每个去扭曲矩阵之后，检索用于生成所述多个步幅中的第二步幅的所述图像图块的所述去扭曲矩阵。

9.根据权利要求7所述的方法，其中所述像素块的所述检索包括：

检索第一查找表（LUT），所述第一查找表标识用于生成所述多个步幅中的第一步幅的所述图像图块的所述像素块；以及

仅在已经检索到由所述第一LUT标识的所述像素块中的每个像素块之后，检索第二LUT，所述第二LUT标识用于生成所述多个步幅中的第二步幅的所述图像图块的所述像素块。

10.根据权利要求1所述的方法，其中所述第一图像由图像捕获设备捕获，所述方法进一步包括：

至少部分地基于所述图像捕获设备的透镜的一个或多个几何失真参数或焦距来生成所述多个去扭曲矩阵。

11.根据权利要求10所述的方法，其中所述透镜在由所述第一图像描绘的所述场景中引入非线性失真，并且其中由所述第二图像描绘的所述场景是直线的。

12.根据权利要求10所述的方法，还包括：

至少部分地基于所述一个或多个几何失真参数或所述焦距来选择所述图像图块或像素块的大小。

13.根据权利要求10所述的方法，其中所述去扭曲矩阵是基于多项式透镜模型生成的。

14.根据权利要求10所述的方法，其中所述去扭曲矩阵是基于非多项式透镜模型生成的。

15.根据权利要求1所述的方法，还包括：

至少部分地基于用于生成所述图像图块中的每个图像图块的存储带宽要求来选择所述图像图块或像素块的大小。

16.根据权利要求15所述的方法，其中所述选择进一步基于所述第一图像的图像格式或像素深度。

17.一种去扭曲电路，包括：

存储缓冲器；以及

硬件逻辑，其被配置为：

以有序序列检索用于将第一图像的像素从失真图像空间重新映射到校正图像空间的多个去扭曲矩阵，所述第一图像描绘所述失真图像空间中的场景；

至少部分地基于所述去扭曲矩阵的顺序将所述第一图像的像素块读取到所述存储器缓冲器中；

基于所述第一图像的所述像素块生成多个图像图块，其中所述图像图块中的每个图像图块是使用所述去扭曲矩阵中的相应一个去扭曲矩阵从检索到的像素块中的一个或多个像素块内插的；以及

将所述多个图像图块写入外部存储器以产生描绘所述校正图像空间中的所述场景的第二图像。

18.根据权利要求17所述的去扭曲电路，其中所述像素块中的每个像素块包括所述第一图像的多个第一像素，并且其中所述图像图块中的每个图像图块包括所述第二图像的多个第二像素。

19.根据权利要求18所述的去扭曲电路，其中每个像素块中的所述多个第一像素大于每个图像图块中的所述多个第二像素。

20.根据权利要求17所述的去扭曲电路，其中所述有序序列至少部分地基于所述第二图像中的所述图像图块的光栅顺序。

21.根据权利要求20所述的去扭曲电路，其中所述硬件逻辑被进一步配置为以所述光栅顺序存储所述多个图像图块。

22.根据权利要求17所述的去扭曲电路，其中所述第二图像被分割成具有均匀高度和宽度的多个步幅，每个步幅的所述高度等于所述图像图块中的一个图像图块的高度，并且每个步幅的所述宽度等于所述第二图像的宽度，并且其中所述步幅中的每个步幅包括所述图像图块中的两个或更多个图像图块。

23.根据权利要求17所述的去扭曲电路，其中所述硬件逻辑用于通过以下操作来检索所述去扭曲矩阵：

检索用于生成所述多个步幅中的第一步幅的所述图像图块的所述去扭曲矩阵；以及

仅在已经检索到与所述第一步幅相关联的所述去扭曲矩阵中的每个去扭曲矩阵之后，检索用于生成所述多个步幅中的第二步幅的所述图像图块的所述去扭曲矩阵。

24.根据权利要求17所述的去扭曲电路，其中所述硬件逻辑用于通过以下操作将所述像素块读取到所述存储缓冲器中：

检索第一查找表（LUT），所述第一查找表标识用于生成所述多个步幅中的第一步幅的所述图像图块的所述像素块；以及

仅在已经检索到由所述第一LUT标识的所述像素块中的每个像素块之后，检索第二LUT，所述第二LUT标识用于生成所述多个步幅中的第二步幅的所述图像图块的所述像素块。

25.一种系统，包括：

处理器；

存储器，所述存储器存储指令，所述指令在由所述处理器执行时使所述系统：

以有序序列生成用于将像素从失真图像空间重新映射到校正图像空间的多个去扭曲矩阵；以及

去扭曲电路，其被配置为：

至少部分地基于所述去扭曲矩阵的顺序来检索第一图像的像素块，所述第一图像描绘所述失真图像空间中的场景；

基于所述第一图像的所述像素块生成多个图像图块，其中所述图像图块中的每个图像图块是使用所述去扭曲矩阵中的相应一个去扭曲矩阵从检索到的像素块中的一个或多个像素块内插的；以及

组合所述多个图像图块以产生描绘所述校正图像空间中的所述场景的第二图像。

26.根据权利要求25所述的系统，其中所述去扭曲矩阵是基于多项式透镜模型生成的。

27.根据权利要求25所述的系统，其中所述去扭曲矩阵是基于非多项式透镜模型生成的。

28.根据权利要求25所述的系统，其中所述指令的执行还使所述系统：

至少部分地基于用于生成所述图像图块中的每个图像图块的存储带宽要求来选择所述图像图块或像素块的大小。

29.根据权利要求28所述的系统，其中所述选择还基于所述第一图像的图像格式或像素深度。

Images