CN115104120A - 将低动态范围图像合并为单幅图像的方法及装置 - Google Patents

Abstract

本发明公开了一种结合不同曝光的低动态范围图像构建高动态范围图像的方法。该方法处理运动，以便最小化这种“不可恢复”遮挡的机会，并避免知道或找到低动态范围图像的响应函数的必要性。除此之外，该方法足够快，可以在移动相机设备中使用并产生良好的用户体验。

Description

将低动态范围图像合并为单幅图像的方法及装置

技术领域

本发明涉及图像处理领域，更具体地，涉及一种软件库，该软件库将同一场景的几幅不同亮度拍摄的图像组合起来，以实现代表更高动态范围的场景亮度的单个图像。

背景技术

现代图像传感器的动态范围不足。它们无法以合理的信噪比捕捉典型户外场景(例如阴影和天空)中的黑暗和明亮区域。通常，暗区的像素值太低，与噪声水平相当，和/或最亮的区域被剪裁到传感器饱和水平。为了克服这个障碍，可以捕获具有不同曝光时间和/或传感器灵敏度(增益)的图像很少。暗图像(短曝光时间)可以很好地捕捉天空等明亮区域，但在暗区域中不包含有用的信息。明亮的图像可以很好地捕捉暗区(阴影)，但亮区会过度曝光和饱和。然后，需要一种算法来组合(缝合、融合)暗图像和亮图像，从每个图像中获取有用信息并生成单个高动态范围图像(HDR)。

许多文章描述了HDR融合算法。融合可以通过不同的方法来实现，可以分为两种主要的方法：

(1)在辐射域中的融合。

融合图像像素值与场景亮度成正比。这些方法实际上仅适用于来自图像传感器的未处理图像。现代相机对传感器图像进行复杂的处理，之后很难或不可能恢复相机的整体响应功能。

这种方法需要通过复杂的自适应局部和全局色调映射算法进行后处理，将融合后的HDR图像中的像素值范围缩小到可显示范围。

(2)图像域中的融合。

该方法的一个里程碑是Mertens等人的文章“曝光融合”。来自不同曝光图像、具有不同相机响应曲线的不同区域被直接缝合。为了避免取自不同图像的区域之间的亮度过渡，使用拉普拉斯金字塔进行融合。这种方法结合了隐式局部和全局色调映射，因此融合图像具有与输入图像相似的像素动态范围，因此不需要复杂的后处理将其缩小到可显示的水平。

不管将使用什么方法进行融合，HDR融合中的主要问题是在捕捉多个图像时移动相机和移动物体。如果融合算法没有考虑到这一点，最终图像中就会出现类似鬼影的伪影。存在许多方法来检测潜在的重影区域。它们中的大多数依赖于场景的静态部分在不同曝光图像之间的辐射域中相似的假设。鬼影检测的结果可能是相似性和非相似性区域的强掩码，或显示每个像素包含静态场景的概率的每个图像每个像素的权重。

通过使用帧配准算法来对齐输入帧，大多消除了由于相机运动引起的非相似性。然而，在实际场景中仍然存在许多其他不相似之处——它们是由移动物体、运动模糊、帧对齐不完善、应用于不同曝光输入图像的不同图像处理参数引起的差异、相机的平移运动引起的，导致图像内的相互对象移动，无法通过全局帧对齐来表示和补偿。一旦检测到，将使用两种主要方法来避免重影：

(1)从单个图像中取出运动区域

该方法依赖于场景在每个单个图像中自洽的事实。最简单的方法是从参考图像中提取所有非相似性。如果参考图像中曝光严重，这种方法会使许多运动区域曝光过度或太暗或嘈杂。更好的方法是从一个图像或一组图像中提取每个非相似区域，在该区域内相似。

(2)全局优化调整每像素贡献权重

一些图像的融合可以表示为它们的像素的加权平均值，融合像素值或图像的变换(如拉普拉斯金字塔或梯度图)。每个图像中的每个像素都有自己的权重。理想情况下，在静态区域中，具有最佳曝光的像素应具有最大权重。在运动区域(非相似性)中，只有包含背景且曝光良好的图像中的像素才应具有高权重。最复杂的鬼影检测和去除方法试图定义一个全局目标函数，它结合了鬼影检测信息并取决于权重。通过最小化这个目标函数来确定权重。这是一个计算量非常大的过程，不适用于移动设备，计算能力有限，处理时间也受用户期望的限制。

Hasinoff完全采用了一种不同的方法用于HDR融合和重影处理。在“用于移动相机上的高动态范围和低光成像的连拍摄影”中。它们不是捕捉不同曝光的图像，而是捕捉多个暗图像以最小化过度曝光区域，并应用复杂的多帧降噪来降低暗区域的噪声，从而增加动态范围。去噪后，通过乘以像素值使暗区变亮，这再次增加了暗区的噪点。通过构建运动场来处理移动对象。需要大量的暗图像才能在暗区获得良好的信噪比-他们将其限制为8，可能是出于性能原因。虽然他们取得了非常好的整体结果，但暗区看起来很嘈杂，而且他们的方法仅限于拜耳图像域，其中场景最暗部分的信息不受图像处理和量化的影响。这使得该算法不适用于后处理步骤。

一般而言，试图通过几个图像的每像素加权平均来产生融合图像的所有方法都假设存在许多输入图像并且每个像素在多于一个输入图像中被很好地曝光。在实践中，应尽可能少地捕捉不同曝光的图像，以最大限度地减少处理时间。此外，初始图像对齐从来都不是完美的。即使图像中物体边缘的亚像素错位也会导致平均后清晰度的明显恶化。由于使用双线性像素插值，对齐本身会在一定程度上降低清晰度，这是当代移动GPU中唯一的选择，由于它们的帧扭曲速度而使用。为了尽可能保持输入图像的清晰度并最小化所需的输入图像数量，融合图像中的每个像素都应该取自一个输入图像。

与重影相关的另一个问题是不可恢复区域。这些是场景中的区域，通常是由移动物体引起的遮挡，这些区域在所有图像中都曝光严重。例如，如果一个黑暗的物体在明亮的背景前面移动，它必须从一些明亮的图像中取出，在它那里的地方。明亮的背景应该取自暗图像，但是，它的一部分被暗物体遮挡，在暗图像中处于不同的位置。到目前为止，在文章中很少或没有讨论这个问题。

发明内容

为了解决现有技术中的上述技术问题，第一方面，本发明提供了一种将低动态范围图像合并为单幅图像的方法，该方法包括：

获取具有不同EV补偿值的低动态范围图像；

通过根据相互的二维直方图均衡图像亮度，检测图像的非相似区域；

在对图像进行拉普拉斯分解之前修改非相似区域中的图像；

对图像重新分配和调整不同的融合权重，以融合单个高动态范围图像。

根据本发明的一种实施方式，图像曝光和感光度设置是按照特定的顺序拍摄的：暗-正常-亮-正常-暗-正常-亮或亮-正常-暗-正常-亮-正常-黑暗。

根据本发明的一种实施方式，通过根据图像直方图和均衡图像内的跟踪特征计算的互伽马均衡不同的曝光亮度，将图像与其中之一对齐。

根据本发明的一种实施方式，通过由相互二维直方图导出的互伽马值对对齐后的图像进行亮度均衡后，找出图像中的非相似区域。

根据本发明的一种实施方式，每个非相似区域取自其参考图像，使用互伽马转换为其他两次曝光，并复制到相应曝光的部分或全部图像中。

根据本发明的一种实施方式，将非相似区域内的融合权重重新分配到每个区域的新局部参考图像和与其相似的不同曝光的相邻图像中的区域之间。

根据本发明的一种实施方式，在高斯金字塔中分解后调整权重以调整全局色调映射和局部对比度增强。

根据本发明的一个实施例，该方法还包括：对突发捕获期间捕获帧形成的图像，执行帧对齐。

根据本发明的一个实施例，执行帧对齐还包括：通过相应的互伽马校正来均衡图像的亮度；检测要在参考图像中跟踪的特征并跟踪每个其他图像中的特征；执行单应性变换以从其他图像扭曲每个图像以匹配参考图像。

根据本发明的一个实施例，该方法还包括：

捕获三个曝光和灵敏度设置的七个输入低分辨率图像；

通过互伽马将第3个和第5个图像转换为第4个参考图像的像素亮度值；

通过“或”逻辑运算组合两个差异掩码，使用连接组件标记将相邻的非相似像素组合在一起以形成不同的区域；

分析每个区域的像素值以确定应该使用哪种曝光来获取每个区域。

根据本发明的一个实施例，该方法还包括：

在金字塔分解之前，用来自其他图像的亮度调整信息替换非相似区域。

另一方面，本发明提供了一种用于将低动态范围图像合并为单个图像的装置，包括：

采集模块，用于获取具有不同EV补偿值的低动态范围图像；

检测模块，用于通过根据相互的二维直方图均衡图像亮度，检测图像的非相似区域；

修改模块，用于在对图像进行拉普拉斯分解之前修改非相似区域中的图像；

融合模块，用于对图像重新分配和调整不同的融合权重，以融合单个高动态范围图像。

另一方面，本发明提供了一种电子设备，包括：

处理器；和

用于存储处理器可执行指令的存储器，其中，处理器被配置为执行前述第一方面的任一实现方式所述的方法。

另一方面，本发明的提供了一种存储可执行指令的非暂时性计算机可读存储介质，当由具有触敏显示器的电子设备执行时，使电子设备执行前述第一方面的任一实现方式所述的方法。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出了整个HDR拼接算法的数据流和主要功能块；

图2示出了第一处理阶段的子阶段：将图像(图1中的#12)与其中一个对齐；

图3示出了“差异与决策”的子阶段；

图4示出了“适应图像”的子阶段；

图5是根据本公开示例性实施例的用于将低动态范围图像合并为单幅图像的装置的框图；

图6提供了根据本公开的一个或多个实施例的装置的示例。

具体实施方式

现在将参考附图更详细地描述本发明。

参照图1，描述了根据本发明的高动态范围(HDR)拼接的一般阶段。

第一阶段是使用EV包围特征捕捉图像(阶段#10)，存在于大多数现代移动相机中。如果HDR拼接算法在非相机设备(如计算机)上运行，并且不同曝光的图像由外部设备捕获并提供给它，则缺少此阶段。如果拼接算法在相机设备上运行，它会要求相机以最快的速度捕捉7张具有不同EV补偿值的图像。EV补偿值决定了图像相对于没有EV补偿的相机捕获的图像应该有多亮(正值)或多暗(负值)。嵌入式相机自动曝光控制算法决定了实际曝光时间和传感器灵敏度。EV值1表示总曝光量增加2倍；-1表示缩短2倍。总曝光是曝光时间乘以传感器灵敏度。实际上，需要使用EV补偿值-2,0和+2捕获至少3张图像，这意味着总曝光时间比EV＝0的“自动”图像短和长4倍。值+2和-2是示例值。如果相机具有良好的图像处理能力和良好的降噪效果，则可以使用+3/-3值进一步增加输出动态范围。+/-2的EV补偿足以满足大多数娱乐场景的拍摄需求。

具有EV0的图像用作参考图像——它包含大部分曝光良好的场景，并且这些区域将从它传递到最终的HDR图像，并尽可能减少变化。只有参考图像中的太暗和曝光过度的区域将分别从较亮(EV+2)和较暗(EV-2)图像中获取。这种方法保证了HDR图像看起来与无HDR捕获(EV0)相似，但在黑暗和明亮区域会有所改善。这在实践中是一个重要的要求，在某些场景中，平均HDR图像亮度相对于非HDR图像的显着变化可能会被一些用户认为是“改善”，而另一些用户可能会认为是“恶化”。

仅使用3个图像会导致不可恢复区域的频繁存在(参见背景部分的结尾)。为了避免这个问题，我们按一定的顺序捕获输入图像。七个输入的低分辨率图像分别具有三种曝光和感光度设置，其中中间的3张图像(第3、第4、第5张)来自所有3种不同的设置，第1和第2幅图像与第4和第5幅图像具有相同的设置，并且第6和第7个图像与第3个和第4个图像具有相同的设置。作为EV补偿值给出的此类序列的示例是：-2,0,+2,0,-2,0,+2。具有相同设置的图像组在下文中通常简称为“曝光”，例如短曝光是指用EV-2拍摄的两张图像中的任何一张。

第4个图像(EV0)是参考图像。如果场景是纯静态的，则仅使用第3和第5幅图像来改进参考图像。然而，在大多数情况下，一些对象在场景内移动，创建不相似且可能不可恢复的区域。必须使用EV包围快速捕捉图像，使用当代8-12MPix图像传感器可以达到每秒30帧的图像。在捕获期间，对象通常是线性移动的，或者至少沿着一些简单的曲线移动而没有转向。有两个暗图像，围绕参考图像可保证其中任何一个中的任何不可恢复(曝光良好，但被遮挡)区域不会被另一个遮挡。类似的明亮图像夫妇。

第3-5幅图像中的每幅图像对于某些区域可能出现“参考”(见下文)。此区域中的某些像素可能需要从其他曝光中获取。上面的顺序保证了中间的3张图像中的每一张都有两张围绕它的所有其他曝光的图像，因此不可恢复区域的机会被最小化。

捕获的图像被馈送到下一阶段12“对齐帧”，其在图2中更详细地示出。参考图2，第一个子阶段是210“互伽马”。由于三次曝光的图像具有不同的亮度，因此根据中间三幅图像的直方图确定两个互响应函数。这些是查找表(LUT)，用于将较短曝光的像素值转换为相邻曝光之间较长曝光的像素值。LUT中的每个点都有索引和值，代表两个暗亮图像对中的像素值。两个对应的像素值(暗、亮)对应于累积直方图中的相同区间。缺失像素值的LUT值(如果有)是从相邻的现有像素值插入的。

下一个子阶段是212“检测和跟踪特征”。在参考图像中检测到要跟踪的良好特征，并在通过相应的互伽马均衡它们的亮度后在其他每个图像中进行跟踪。结果是每个图像和参考之间的一组对应的像素坐标，看到相同的对象。跟踪使用3-starge分辨率金字塔以获得更快的性能。然后(214，“拟合单应性”)单应变换被发现，描述如何扭曲每个图像以匹配参考图像。循环进行几次迭代以检测和消除跟踪过程中的潜在错误以及在移动物体上检测到的特征-异常值。单应性由背景静态场景上的特征决定，并作为每个图像的网格呈现，参考图像除外。每个网格的顶点包含其中一幅图像中的水平和垂直像素坐标，对应于一个规则的顶点网格，覆盖参考图像，即那些是后向映射网格。然后使用GPU对帧进行扭曲以获得最快的性能和最低的功耗—216“扭曲图像”。在突发捕捉期间捕捉帧时执行帧对齐，从而最大限度地减少整个HDR捕捉过程的按钮准备时间。

图1中的下一阶段，是14“差异和决策”，在图3中扩展到更多细节。参见图3，第一个子阶段再次构建“互伽马”。这一次，这些是在对齐的图像上计算的，使用2D相互直方图。互直方图的两个轴(X,Y)表示两个图像中的每一个中的像素值箱。相互直方图中的每个点或单元格都是一个2D bin，代表两个图像中像素值的范围(bin)。每个2D bin包含一个数字——在两个图像中位于相同位置并且在相应的1D bin内具有像素值的像素数。2D直方图可以被视为一个表面-直方图值是XY平面上方每个2D条柱的高度。该表面包含一个中心脊，其XY坐标定义了互伽马曲线。靠近脊的2D bin对应于像素，看到相同的场景，但受噪声影响。位于山脊外的2D bin对应于像素，它们在两个图像中看到不同的场景——移动物体。

图3中的下一步，是寻找非相似区域–312。首先，第3个和第5个图像(暗和亮)通过互伽马转换为参考图像(第4个–正常图像)的像素亮度值。在每一对(3,4和5,4)中，在RGB空间中相差超过阈值的相同位置的像素在称为“差异掩码”的二值图像中被标记为非相似像素——它们来自移动物体。

下一阶段是316“分组”。两个差异掩码(3,4和5,4)通过“或”逻辑运算组合。相邻的非相似像素使用连接组件标记组合在一起以形成不同的区域。太小的区域被丢弃。然后在318“选择源曝光”中，分析每个区域中的像素值并做出决定——应该使用哪个曝光来获取每个区域。这种方法保证了非相似区域内的图像一致性(没有重影)。注意，非相似区域包括三个中间图像中的运动物体位置。从单个图像中取出不同区域内的所有像素可确保不会出现重影。

图1中的整体块14“差异和决策”的结果。是一组非相似区域的掩码，每次曝光都应该拍摄每个掩码——即每个区域的参考图像(3，4或5)。请注意，一个区域中的某些像素在其参考图像中曝光也不是很好——这些像素将从其他曝光中获取，它们看起来与该区域的参考图像相似。因此，一个区域被分配给某个(参考)曝光，但并非所有像素都将从该曝光中获取。

图1中的下一阶段。是20个“权重”。理想情况下，如果场景是静态的，则只有中间的3个图像会融合为单个HDR图像。可以将融合视为3个图像的相同位置像素的加权平均。每个图像中的每个像素都分配一个权重系数，形成3个权重图像。权重是根据参考图像中的像素亮度确定的，在此阶段它们不依赖于差异图。每个像素的亮度计算为R、G、B的加权平均值和像素的R、G、B值中的最大值。四个权重是手动调整的。参考图像的权重通过梯形LUT表确定，定义了权重与像素亮度的关系。对于中等像素亮度，参考权重为1，这意味着此类像素将仅从参考图像中获取。低于某个阈值，参考权重平滑地减少到0，其余的1分配给明亮的图像权重，这意味着最暗的像素将只获取较亮的图像，并且沿着像素亮度有一些过渡区域，在那里像素将从正常图像和较亮图像中取平均值。类似地，高于某个阈值的参考权重降低，将权重转移到较暗的图像。到目前为止，只有中间3幅图像的权重不为0。如果将中间3幅图像与其权重融合，按照目前的计算，如果某些运动物体在梯形权重LUT的过渡区域内有亮度，就会出现重影在融合图像中。

下一阶段(22，“重新分配”)将来自每个区域的参考图像的非相似区域内的权重转移到不同曝光的相邻图像。假设决定从暗图像(第5个图像，EV-2)中获取非相似区域，因为其中大部分包含参考图像中曝光过度的运动物体。该区域由运动物体和背景组成，背景被遮挡在参考图像中的物体位置：

被遮挡区域是背景的一部分并且太暗而不能从暗图像中取出。但是，它在参考图像中被遮挡，因此也不应该从那里获取。在这种情况下，遮挡区域应取自第6张图像，该图像与参考图像(EV0)的曝光相同，但在其之后捕获。由于对象向右移动，因此该区域在第6幅图像中包含曝光良好的背景，可以从中获取。更一般地，在每个非相似区域内，其局部参考图像中曝光良好的像素被分配给该图像(该图像的高权重)。曝光严重的像素被分配给具有其他曝光的相邻图像，这些像素与局部参考图像中的像素相似。为了计算不同曝光像素之间的相似性，使用了来自第14阶段的互伽马。结果，在第20阶段之后仅分布在中间3张图像中的非相似区域中的权重现在重新分配到每个区域的新局部参考图像和与其相似的区域，在其四个相邻图像之间。

重新分配权重不足以避免重影。融合是使用拉普拉斯金字塔完成的。在将每个图像分解为金字塔时，来自被遮挡区域(在其中重新分配权重)的信息也在分配良好的区域中传播。因此，应该在融合的HDR图像中排除的部分信息实际上出现在那里。为了避免这种情况，在第16阶段“适应图像”中，每个非相似区域都取自其参考图像，转换为其他两次曝光，使用来自14阶段的互伽马，并在相应的所有图像中替换曝光。

然后在阶段18“分解图像”中将适应的图像分解为拉普拉斯金字塔。相应的权重在第24阶段“分解权重”中分解为高斯金字塔。

阶段26“适应权重”调节局部和全局色调映射之间的比率。一般来说，有两种方法可以将HDR图像的像素值范围压缩到可显示的低动态范围——局部和全局色调映射(或局部/全局亮度和对比度增强)。全局色调映射大致意味着通过查找表(伽马)转换所有像素-所有像素都相同。这种方法保留了整个图像中像素亮度的顺序，但会降低明亮区域内的对比度。本地时间映射是指使暗区变亮，使亮区变暗，同时保留其中的对比度，同时减小整个区域之间的差异。这种方法可以产生良好的图像对比度，但通常看起来不自然。

通过拉普拉斯金字塔根据像素亮度用权重融合不同曝光的图像具有局部色调映射的效果。如果使用固定权重(每个图像一个数字)，直接融合或通过拉普拉斯金字塔融合相当于全局色调映射。权重值和输入图像响应曲线决定了最终的响应曲线。为了调节全局色调映射上的局部对比度增强量，金字塔最粗层的权重被拉向相同的值，如：

new_weight＝weight*(1-k)+fixed_value*k

手动调整“fixed_value”和“k”以匹配所需对比度。当“k”等于1时，所有的权重都相等，融合图像被全局色调映射。当“k”减小到0时，融合图像变得越来越详细和对比度。

下一阶段28“融合”根据高斯金字塔中的权重平均所有图像拉普拉斯金字塔中的对应像素。结果是单个拉普拉斯金字塔。在加权平均期间，得到的拉普拉斯金字塔的中间层由一些手动调整的乘数缩放，这具有附加边缘增强和附加局部对比度增强的效果。此外，最终拉普拉斯金字塔的最细层，具有较小的绝对值，被进一步拉向0。这具有去噪的效果。这些操作的尺度和阈值可根据输出图像的所需外观进行调整。然后，将得到的拉普拉斯金字塔组合成一个图像。

最后的阶段30“后处理”纠正了一些问题，这些问题是使用拉普拉斯金字塔进行融合所固有的。根据场景的不同，在融合并将金字塔组合到图像上之后，最暗区域的像素值可能与亮输入图像上的像素值不同。取自暗图像的最亮区域也可能与其原始值不同。最后，取自参考图像的中间色调可能与原始图像不同。融合图像和暗图像(在3个中间图像中)的黑电平被测量为像素值，低于该值的所有像素的一定百分比。融合图像的白电平也作为像素值进行测量，高于该像素值的百分比。还测量了融合图像和参考图像的平均亮度。测量值确定全局色调映射曲线，该曲线应用于融合图像并将暗电平驱动到亮曝光之一，将白色电平拉至接近饱和，并在必要时将平均亮度增加到参考电平，从而防止融合图像看起来比参考图像更暗。这些调整旨在避免获得融合图像，该图像的亮度分布与参考图像的差异太大。在典型的相机设备中，用户可以使用HDR拼接和不使用HDR来捕捉同一个场景(生成参考图像)。用户期望HDR图像相似，但比参考图像更好。差异太大可能会被认为是“更糟”或至少是HDR拼接的“意外”行为。

上面描述了本发明的典型实施例作为常规移动相机设备的附加特征。其他实施例可能对HDR融合算法和/或调整提出不同的要求。它们可以通过修改某些处理阶段来实现。例如，如果放宽了看起来与参考图像相似的要求，则可以修改最终的后处理(30)以更复杂的方式构建伽马。在另一个实施例中，仅使用两次曝光可能是有益的——例如由于性能原因，以减少捕获和处理的图像的数量。此外，如果使用具有大像素并因此具有良好信噪比的图像传感器是暗区，则本发明中的算法可以仅增强亮区和曝光过度区，仅需要正常曝光和暗曝光。可以使用相同的算法，只需移除处理第三次曝光的部分并相应地调整权重LUT和其他调整参数。

在另一个实施例中，进一步不同于典型的实施例，例如对于机器视觉消费者而言，可能需要具有对光和线性输入图像的线性像素响应的输出HDR图像。同样，可以使用相同的算法，通过去除互伽马(用简单的乘法器代替它们)并在后处理阶段去除伽马曲线(只留下黑白级别调整)来简化。

如图所示。参见图5，一种用于将低动态范围图像组合成单个图像的装置50，包括：采集模块501，用于获取具有不同EV补偿值的低动态范围图像；检测模块502，用于通过根据相互的二维直方图均衡图像亮度，检测图像的非相似区域；修改模块503，用于在对图像进行拉普拉斯分解之前修改非相似区域中的图像；融合模块504，用于对图像重新分配和调整不同的融合权重，以融合单个高动态范围图像。

图6提供了根据本公开的一个或多个实施例的装置的示例。如图所示。如图6所示，该装置包括中央处理单元(CPU)61、存储介质62以及连接CPU 61和存储介质62的总线63。存储介质62可以存储计算机可执行指令。当计算机可执行指令由CPU 61执行时，该装置可以执行本公开中公开的方法。

本公开可以包括专用硬件实现，例如专用集成电路、可编程逻辑阵列和其他硬件设备。可以构造硬件实现以实现这里描述的一种或多种方法。可以包括各种示例的装置和系统的应用可以广泛地包括各种电子和计算系统。在此描述的一个或多个示例可以使用两个或多个特定互连硬件模块或设备来实现功能，其中相关控制和数据信号可以在模块之间和通过模块进行通信，或者作为专用集成电路的一部分。因此，所公开的计算系统可以包括软件、固件和硬件实现。术语“模块”、“子模块”、“单元”或“子单元”可包括存储可由一个或多个处理器执行的代码或指令的存储器(共享、专用或组)。

本领域技术人员应当理解，上述实施例中的任何一个都只是一个示例，并不意味着本公开(包括权利要求)仅限于这些示例。根据本公开，上述实施例或不同实施例的技术特征可以组合，步骤可以按任意顺序排列。本公开的上述不同方面存在许多其他变体，并且为了简单起见，不具体描述这些变体。

为了说明和讨论的简单性，以及为了容易理解本公开，附图可以示出或可以不示出集成电路(IC)和其他部件的电源/地的已知耦合。另外，为了避免难以理解本发明，可以将装置用框图表示，考虑如下，即框图所示装置的实施例的详细特征很大程度上取决于实施平台本公开内容(即，本领域技术人员可以充分理解详细特征)。在图示详细特征(例如，电路)来描述本公开的示例性实施例的情况下，对于本领域技术人员来说显而易见的是，可以在没有详细特征的情况下或者在没有详细特征的情况下实施本公开可以对详细特征进行这种变化的条件。因此，这些描述应该被理解为是说明性的而不是限制性的。

虽然结合本发明的详细实施例对本发明进行了说明，但是根据以上描述，对于本领域技术人员来说，这些实施例的各种替代、修改和变化是显而易见的。例如，其他存储结构(例如，动态RAM(DRAM))可以采用所讨论的实施例。

本公开的实施例意在涵盖所有这些落在所附权利要求范围内的替代、修改和变化。因此，在本发明的精神和原则之内，任何省略、修改、等同替换、修改等，均应包含在本发明的保护范围内。

Claims (14)

1.一种将低动态范围图像合并为单幅图像的方法，该方法包括：

获取具有不同EV补偿值的低动态范围图像；

通过根据相互的二维直方图均衡图像亮度，检测图像的非相似区域；

在对图像进行拉普拉斯分解之前修改非相似区域中的图像；

对图像重新分配和调整不同的融合权重，以融合单个高动态范围图像。

2.根据权利要求1所述的合并方法，其中图像曝光和感光度设置是按照特定的顺序拍摄的：暗-正常-亮-正常-暗-正常-亮或亮-正常-暗-正常-亮-正常-黑暗。

3.根据权利要求1所述的合并方法，其中通过根据图像直方图和均衡图像内的跟踪特征计算的互伽马均衡不同的曝光亮度，将图像与其中之一对齐。

4.如权利要求3所述的合并方法，其特征在于，通过由相互二维直方图导出的互伽马值对对齐后的图像进行亮度均衡后，找出图像中的非相似区域。

5.根据权利要求4所述的合并方法，其中每个非相似区域取自其参考图像，使用互伽马转换为其他两次曝光，并复制到相应曝光的部分或全部图像中。

6.如权利要求1所述的合并方法，其特征在于，将非相似区域内的融合权重重新分配到每个区域的新局部参考图像和与其相似的不同曝光的相邻图像中的区域之间。

7.根据权利要求6所述的合并方法，其中在高斯金字塔中分解后调整权重以调整全局色调映射和局部对比度增强。

8.如权利要求1所述的合并方法，其特征在于，该方法还包括：

对突发捕获期间捕获帧形成的图像，执行帧对齐。

9.如权利要求8所述的合并方法，其特征在于，所述执行帧对齐还包括：

通过相应的互伽马校正来均衡图像的亮度；

检测要在参考图像中跟踪的特征并跟踪每个其他图像中的特征；

执行单应性变换以从其他图像扭曲每个图像以匹配参考图像。

10.如权利要求1所述的合并方法，其特征在于，该方法还包括：

捕获三个曝光和灵敏度设置的七个输入低分辨率图像；

通过互伽马将第3个和第5个图像转换为第4个参考图像的像素亮度值；

通过“或”逻辑运算组合两个差异掩码，使用连接组件标记将相邻的非相似像素组合在一起以形成不同的区域；

分析每个区域的像素值以确定应该使用哪种曝光来获取每个区域。

11.如权利要求1所述的合并方法，其特征在于，该方法还包括：

在金字塔分解之前，用来自其他图像的亮度调整信息替换非相似区域。

12.一种用于将低动态范围图像组合成单个图像的装置，包括：

采集模块，用于获取具有不同EV补偿值的低动态范围图像；

检测模块，用于通过根据相互的二维直方图均衡图像亮度，检测图像的非相似区域；

修改模块，用于在对图像进行拉普拉斯分解之前修改非相似区域中的图像；

融合模块，用于对图像重新分配和调整不同的融合权重，以融合单个高动态范围图像。

13.一种电子设备，包括：

处理器；和

用于存储处理器可执行指令的存储器，

其中，处理器被配置为执行权利要求1-11的方法。

14.一种存储可执行指令的非暂时性计算机可读存储介质，当由具有触敏显示器的电子设备执行时，使该电子设备执行如权利要求1-11所述的方法。

Images