CN108668093B - Hdr图像的生成方法及装置 - Google Patents

Abstract

本申请涉及一种HDR图像的生成方法及装置。方法包括：获取图像序列的第一运动区域和第二运动区域；根据第一比例与第一阈值之间的比较结果以及第二比例与第一阈值之间的比较结果，确定目标运动区域；根据第一权重值和第二权重值，得到第一HDR图像；根据第一权重之和与第二权重之和的比较结果，确定参照图像；利用参照图像对第一HDR图像进行亮度调节处理，得到调节后的第一HDR图像；基于连通区域，将调节后的第一HDR图像与参考图像或第一非参考图像进行融合处理，得到第二HDR图像。由此，可以检测目标场景中一定面积的运动区域，扩大了运动区域的范围，即可以允许场景中存在较大的运动区域，并去除了调节后的第一HDR图像的鬼影，得到没有鬼影的第二HDR图像。

Description

HDR图像的生成方法及装置

技术领域

本发明涉及图像处理领域，尤其涉及HDR图像的生成方法及装置。

背景技术

高动态范围(High-Dynamic Range，HDR)成像(HDR Image，HDRI)技术，在计算机图形学与电影摄影术中，是用来实现比普通数位图像技术更大曝光动态范围(即更大的明暗差别)的一组技术。HDR的目的是正确地表示真实世界中从太阳光直射到较暗的阴影这样大的范围亮度。相比普通数位图像，HDR可以提供更多的动态范围和图像细节，根据不同的曝光时间的低动态范围(Low-Dynamic Range，LDR)图像，利用每个曝光时间相对应最佳细节的LDR图像来合成最终HDR图像，能够更好的反映人真实环境中的视觉效果。

高动态范围成像最初只用于纯粹由计算机生成的图像。后来，人们开发出了一些从不同曝光范围照片中生成HDR的方法。随着手持相机的日渐流行以及智能手机变得易于使用，使得许多业余摄影师能够通过一些手机应用简单地生成高动态范围场景的照片。

国内外许多手机算法设计者都已经对HDR的技术进行了一些研究，包括谷歌(Google)、苹果、宏达国际电子股份有限公司(High Technology Computer Corporat ion，HTC)、诺基亚等手机厂商也都已经将他们的技术应用到实际去，在他们的相机应用中内置了HDR算法。比较传统的方法是由Paul Debevec在1997年提出的，该方法利用图像的曝光时间，获得相机的响应函数，然后利用响应函数，将图像从像素值反映射回场景辐照域，从而获得像素的辐照度(正比于场景的实际亮度值)，然后在辐照域上对多幅图像进行加权平均融合，最后进行色调映射从而得到最终的HDR。但是这些方法的效果往往依赖于对相机响应函数的求解，而响应函数对图像的噪声比较敏感，因此为了能够得到精确的响应函数，需要拍摄出多幅不同曝光时间的高质量图像，并采样各种实际亮度不同的点，导致操作会比较复杂。此外，随着相机的损耗，相机的响应函数可能会发生改变，需要定时进行标定，这就需要标准化用户的操作，如果用户不能很好的进行响应函数的标定，那么HDR合成的效果会大打折扣。因此如果采用这种相机响应函数标定的方法，会使得用户体验较差，此外，得到的图像质量可能也会下降，不适合用于手持相机应用。

还有一种方法是在图像域上进行融合，是由Mertens在2009年提出曝光融合(exposure fusion)方法，该方法是计算多张图像每个像素的饱和度、对比度和曝光程度(well-exposedness)，即描述物体显示效果是否良好，结合这三种系数，得出每张图的每个像素的权重，然后利用这个权重对多张图片进行加权，这个方法只需要输入图像即可，并不需要求解相机响应函数，也不需要进行最终的色调映射。不管是Debevec的方法还是Mertens的方法，都只能对静态的场景进行处理，如果场景中有物体在运动，则会造成鬼影。

现有技术中，为了实现对动态的场景进行处理，以多张LDR图像作为输入，首先对图像进行对齐，在红、绿、蓝(Red、Green、Blue，RGB)通道上和亮度通道上分别利用直方图匹配将所有非参考图像的色调都变得和参考图像相似，然后在亮度通道上将非参考图像与参考图像做差，得到场景的运动区域，如果运动区域比较大，会将该图片舍弃，接着将运动区域对应的参考图像像素贴到未舍弃的非参考图像上，再利用Mertens方法对进行过色调映射的图进行曝光融合。

但是如果场景中物体的运动比较大，那么就无法将该图片包括到融合所用的图片中，导致只能用少数图片进行融合，而由于较亮图像的曝光时间比较长，较亮图像的曝光时长大于参考图像，运动物体在较亮图像中的位移相对参考图像较大，因此运动场景中的较亮图像往往会被抛弃，那么融合的结果就会偏暗，物体辨识度会下降，此外，由于没有对场景的细节区域进行增强，会导致一些细节区域的丢失。

发明内容

针对上述技术问题，本发明提供了一种HDR图像生成方法及装置，可以对目标场景中较大的运动区域进行检测，并利用细节区域对初次融合后的HDR图像进行细节增强，生成的目标HDR图像细节丰富。

第一方面，提供了一种HDR图像生成方法，所述方法包括：获取图像序列的第一运动区域和第二运动区域；其中，所述图像序列包括参考图像、第一非参考图像和第二非参考图像，所述第一非参考图像、所述参考图像和所述第二非参考图像对目标场景的曝光时长依次递增，所述第一运动区域为所述第一非参考图像相对于所述参考图像存在灰度值差异的区域，所述第二运动区域为所述第二非参考图像相对于所述参考图像存在灰度值差异的区域；根据第一比例与第一阈值之间的比较结果以及第二比例与所述第一阈值之间的比较结果，确定目标运动区域；其中，所述第一比例为所述第一非参考图像中所述第一运动区域所占的比例，所述第二比例为所述第二非参考图像中所述第二运动区域所占的比例，所述目标运动区域包括至少一个连通区域；根据第一权重值和第二权重值，得到第一HDR图像；其中，所述第一权重值为所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积与所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积之和；或者，所述第一权重值为所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；或者，所述第一权重值为所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；所述第二权重值为所述参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；根据第一权重之和与第二权重之和的比较结果，确定参照图像，其中,所述第一权重之和为所述参考图像中与所述连通区域重叠的区域的像素点的权重值之和,所述第二权重之和为所述第一非参考图像中与所述连通区域重叠的区域的像素点的权重值之和，其中，所述像素点的权重值为所述像素点的饱和度、对比度和曝光程度的乘积；利用所述参照图像对所述第一HDR图像进行亮度调节处理，得到调节后的第一HDR图像；基于所述连通区域，将所述调节后的第一HDR图像与所述参考图像或所述第一非参考图像进行融合处理，得到第二HDR图像。由此，通过第一阈值的设置，可以检测目标场景中一定面积的运动区域，扩大了运动区域的范围，即本申请可以允许场景中存在较大的运动区域，并去除了调节后的第一HDR图像的鬼影，得到没有鬼影的第二HDR图像。

在一种可能的实现方式中，所述方法还包括：确定所述第一非参考图像的边缘，所述边缘包括边缘像素点；判断所述第一非参考图像中每个像素点周围的所述边缘像素点的个数值是否大于第二阈值；如果所述边缘像素点的个数值大于第二阈值，则将所述第一非参考图像中像素点周围的边缘像素点的个数值大于第二阈值的所有像素点构成的区域确定为第一非参考图像的细节区域；基于所述细节区域，将所述第一非参考图像与所述第二HDR图像进行融合处理，得到目标HDR图像。由此，通过确定所述第一非参考图像的边缘，获取到细节区域，以对第二HDR图像进行细节增强，得到的目标HDR图像细节更丰富。

在一种可能的实现方式中，所述根据第一比例与第一阈值之间的比较结果以及第二比例与所述第一阈值之间的比较结果，确定目标运动区域，包括：当所述第一比例和所述第二比例都不大于所述第一阈值时，将所述第一运动区域和所述第二运动区域进行叠加，确定叠加后的区域为目标运动区域；或者，当所述第一比例不大于所述第一阈值，所述第二比例大于所述第一阈值时，确定所述第一运动区域为目标运动区域；或者，当所述第一比例大于所述第一阈值，所述第二比例不大于所述第一阈值时，确定所述第二运动区域为目标运动区域。

在一种可能的实现方式中，所述第一权重值为所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积与所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积之和；或者，所述第一权重值为所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；或者，所述第一权重值为所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；所述第二权重值为所述参考图像中每个像素点的饱和度、对比度和曝光程度的乘积，包括：当所述第一比例和所述第二比例都不大于所述第一阈值时，分别计算所述第一非参考图像和所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度，将所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度相乘，得到所述第一非参考图像中每个像素点的权重值，以及将所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度相乘，得到所述第二非参考图像中每个像素点的权重值，将所述第一非参考图像中每个像素点的权重值和所述第二非参考图像中每个像素点的权重值相加，得到所述第一权重值；或者，当所述第一比例不大于所述第一阈值，所述第二比例大于所述第一阈值时，计算所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度，将所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度相乘，得到所述第一权重值；或者，当所述第一比例大于所述第一阈值，所述第二比例不大于所述第一阈值时，计算所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度，将所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度相乘，得到所述第一权重值。

在一种可能的实现方式中，所述第一阈值不小于7.5％。

在一种可能的实现方式中，所述根据所述第一权重值和第二权重值，得到第一HDR图像，包括：将第一像素点的第一权重值和第二像素点的第二权重值加权平均，得到一个加权平均值，所述加权平均值作为第三像素点的权重值，所述第一像素点为确定了第一权重值的所有像素点中的任一个，所述第二像素点为所述参考图像中与所述第一像素点对应的像素点；根据获得的所有所述第三像素点的权重值，得到所述第一HDR图像。

在一种可能的实现方式中，根据第一比例与第一阈值之间的比较结果以及第二比例与所述第一阈值之间的比较结果，确定目标运动区域之后，所述方法还包括：对所述目标运动区域所在的图像进行扫描，当所述目标运动区域所在的图像中存在像素值等于第三阈值的像素点时，对所述像素值为第三阈值的像素点进行标记；确定标记过的所有像素点所构成的区域为所述连通区域。

在一种可能的实现方式中，所述根据第一权重之和与第二权重之和的比较结果，确定参照图像，包括：当所述第一权重之和不小于所述第二权重之和，确定所述参考图像为参照图像；当所述第一权重之和小于所述第二权重之和，确定所述第一非参考图像为参照图像。

在一种可能的实现方式中，所述利用所述参照图像对所述第一HDR图像进行亮度调节处理，得到调节后的第一HDR图像，包括：当所述第一权重之和不小于所述第二权重之和时，计算所述第一HDR图像的亮度值和所述参考图像的亮度值，利用所述第一HDR图像的亮度值和所述参考图像的亮度值的差异，对所述第一HDR图像进行调亮处理，得到调节后的第一HDR图像；或者，当所述第一权重之和小于所述第二权重之和时，计算所述第一HDR图像的亮度值和所述第一非参考图像的亮度值，利用所述第一HDR图像的亮度值和所述第一非参考图像的亮度值的差异，对所述第一HDR图像进行调暗处理，得到调节后的第一HDR图像。

在一种可能的实现方式中，所述当所述第一权重之和不小于所述第二权重之和时，利用所述第一HDR图像的亮度值和所述参考图像的亮度值的差异，对所述第一HDR图像进行调亮处理，得到调节后的第一HDR图像，包括：以所述参考图像的亮度值为基准，将所述第一HDR图像的亮度值与预设的第一亮度比例进行相乘处理，得到与所述参考图像的亮度值相同的第一HDR图像；所述当所述第一权重之和小于所述第二权重之和时，利用所述第一HDR图像的亮度值和所述第一非参考图像的亮度值的差异，对所述第一HDR图像进行调暗处理，得到调节后的第一HDR图像，包括：以所述第一非参考图像的亮度值为基准，将所述第一HDR图像的亮度值与预设的第二亮度比例进行相乘处理，得到与所述第一非参考图像的亮度值相同的第一HDR图像。

在一种可能的实现方式中，在基于所述细节区域，将所述第一非参考图像与所述第二HDR图像进行融合处理，得到目标HDR图像之后，所述方法还包括：对所述目标HDR图像进行引导滤波和曝光矫正。由此，目标HDR图像的各个部分更加清晰。

在一种可能的实现方式中，所述方法还包括：确定所述第一非参考图像的边缘，所述边缘包括边缘像素点；判断所述第一非参考图像中每个像素点周围的所述边缘像素点的个数值是否大于第二阈值；如果所述边缘像素点的个数值大于第二阈值，则将所述第一非参考图像中像素点周围的边缘像素点的个数值大于第二阈值的所有像素点构成的区域确定为第一非参考图像的细节区域；当所述第一比例和所述第二比例都大于所述第一阈值时，将所述细节区域和所述参考图像进行融合处理，得到目标HDR图像。

在一种可能的实现方式中，所述确定所述第一非参考图像的边缘，包括：利用canny算子对所述第一非参考图像的每个像素点进行边缘检测；根据所述边缘检测的结果，确定所述第一非参考图像的边缘。

第二方面，本发明提供了一种HDR图像的生成装置，所述装置包括：获取单元，用于获取图像序列的第一运动区域和第二运动区域；其中，所述图像序列包括参考图像、第一非参考图像和第二非参考图像，所述第一非参考图像、所述参考图像和所述第二非参考图像对目标场景的曝光时长依次递增，所述第一运动区域为所述第一非参考图像相对于所述参考图像存在灰度值差异的区域，所述第二运动区域为所述第二非参考图像相对于所述参考图像存在灰度值差异的区域；确定单元，用于根据第一比例与第一阈值之间的比较结果以及第二比例与所述第一阈值之间的比较结果，确定目标运动区域；其中，所述第一比例为所述第一非参考图像中所述第一运动区域所占的比例，所述第二比例为所述第二非参考图像中所述第二运动区域所占的比例，所述目标运动区域包括至少一个连通区域；处理单元，用于根据第一权重值和第二权重值，得到第一HDR图像；其中，所述第一权重值为所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；或者，所述第一权重值为所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；或者，所述第一权重值为所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积与所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积之和；所述第二权重值为所述参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；所述确定单元还用于，根据第一权重之和与第二权重之和的比较结果，确定参照图像，其中,所述第一权重之和为所述参考图像中与所述连通区域重叠的区域的像素点的权重值之和,所述第二权重之和为所述第一非参考图像中与所述连通区域重叠的区域的像素点的权重值之和，其中，所述像素点的权重值为所述像素点的饱和度、对比度和曝光程度的乘积；所述处理单元还用于，利用所述参照图像对所述第一HDR图像进行亮度调节处理，得到调节后的第一HDR图像；融合单元，用于基于所述连通区域，将所述调节后的第一HDR图像与所述参考图像或所述第一非参考图像进行融合处理，得到第二HDR图像。由此，通过第一阈值的设置，可以检测目标场景中一定面积的运动区域，扩大了运动区域的范围，即本申请可以允许场景中存在较大的运动区域，并去除了调节后的第一HDR图像的鬼影，得到没有鬼影的第二HDR图像。

在一种可能的实现方式中，所述确定单元还用于，确定所述第一非参考图像的边缘，所述边缘包括边缘像素点；所述装置还包括，判断单元；所述判断单元，用于判断所述第一非参考图像中每个像素点周围的所述边缘像素点的个数值是否大于第二阈值；所述确定单元还用于，如果所述边缘像素点的个数值大于第二阈值，则将所述第一非参考图像中像素点周围的边缘像素点的个数值大于第二阈值的所有像素点构成的区域确定为第一非参考图像的细节区域；所述融合单元还用于，基于所述细节区域，将所述第一非参考图像与所述第二HDR图像进行融合处理，得到目标HDR图像。由此，通过确定所述第一非参考图像的边缘，获取到细节区域，以对第二HDR图像进行细节增强，得到的目标HDR图像细节更丰富。

在一种可能的实现方式中，所述确定单元具体用于：当所述第一比例和所述第二比例都不大于所述第一阈值时，将所述第一运动区域和所述第二运动区域进行叠加，确定叠加后的区域为目标运动区域；或者，当所述第一比例不大于所述第一阈值，所述第二比例大于所述第一阈值时，确定所述第一运动区域为目标运动区域；或者，当所述第一比例大于所述第一阈值，所述第二比例不大于所述第一阈值时，确定所述第二运动区域为目标运动区域。

在一种可能的实现方式中，所述第一权重值为所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积与所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积之和；或者，所述第一权重值为所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；或者，所述第一权重值为所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；所述第二权重值为所述参考图像中每个像素点的饱和度、对比度和曝光程度的乘积，包括：当所述第一比例和所述第二比例都不大于所述第一阈值时，分别计算所述第一非参考图像和所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度，将所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度相乘，得到所述第一非参考图像中每个像素点的权重值，以及将所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度相乘，得到所述第二非参考图像中每个像素点的权重值，将所述第一非参考图像中每个像素点的权重值和所述第二非参考图像中每个像素点的权重值相加，得到所述第一权重值；或者，当所述第一比例不大于所述第一阈值，所述第二比例大于所述第一阈值时，计算所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度，将所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度相乘，得到所述第一权重值；或者，当所述第一比例大于所述第一阈值，所述第二比例不大于所述第一阈值时，计算所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度，将所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度相乘，得到所述第一权重值。

在一种可能的实现方式中，所述第一阈值不小于7.5％。

在一种可能的实现方式中，所述处理单元具体用于：将第一像素点的第一权重值和第二像素点的第二权重值加权平均，得到一个加权平均值，所述加权平均值作为第三像素点的权重值，所述第一像素点为确定了第一权重值的所有像素点中的任一个，所述第二像素点为所述参考图像中与所述第一像素点对应的像素点；根据获得的所有所述第三像素点的权重值，得到所述第一HDR图像。

在一种可能的实现方式中，所述装置还包括：扫描单元；所述扫描单元，用于对所述目标运动区域所在的图像进行扫描，当所述目标运动区域所在的图像中存在像素值等于第三阈值的像素点时，对所述像素值为第三阈值的像素点进行标记；所述确定单元还用于，确定标记过的所有像素点所构成的区域为所述连通区域。

在一种可能的实现方式中，所述确定单元具体用于：当所述第一权重之和不小于所述第二权重之和，确定所述参考图像为参照图像；当所述第一权重之和小于所述第二权重之和，确定所述第一非参考图像为参照图像。

在一种可能的实现方式中，所述处理单元具体用于：当所述第一权重之和不小于所述第二权重之和时，计算所述第一HDR图像的亮度值和所述参考图像的亮度值，利用所述第一HDR图像的亮度值和所述参考图像的亮度值的差异，对所述第一HDR图像进行调亮处理，得到调节后的第一HDR图像；或者，当所述第一权重之和小于所述第二权重之和时，计算所述第一HDR图像的亮度值和所述第一非参考图像的亮度值，利用所述第一HDR图像的亮度值和所述第一非参考图像的亮度值的差异，对所述第一HDR图像进行调暗处理，得到调节后的第一HDR图像。

在一种可能的实现方式中，所述当所述第一权重之和不小于所述第二权重之和时，利用所述第一HDR图像的亮度值和所述参考图像的亮度值的差异，对所述第一HDR图像进行调亮处理，得到调节后的第一HDR图像，包括：以所述参考图像的亮度值为基准，将所述第一HDR图像的亮度值与预设的第一亮度比例进行相乘处理，得到与所述参考图像的亮度值相同的第一HDR图像；所述当所述第一权重之和小于所述第二权重之和时，利用所述第一HDR图像的亮度值和所述第一非参考图像的亮度值的差异，对所述第一HDR图像进行调暗处理，得到调节后的第一HDR图像，包括：以所述第一非参考图像的亮度值为基准，将所述第一HDR图像的亮度值与预设的第二亮度比例进行相乘处理，得到与所述第一非参考图像的亮度值相同的第一HDR图像。

在一种可能的实现方式中，所述装置还包括：引导滤波和曝光矫正单元；所述引导滤波和曝光矫正单元，用于对所述目标HDR图像进行引导滤波和曝光矫正。由此，目标HDR图像的各个部分更加清晰。

在一种可能的实现方式中，所述确定单元还用于，确定所述第一非参考图像的边缘，所述边缘包括边缘像素点；所述判断单元还用于，判断所述第一非参考图像中每个像素点周围的所述边缘像素点的个数值是否大于第二阈值；所述确定单元还用于，如果所述边缘像素点的个数值大于第二阈值，则将所述第一非参考图像中像素点周围的边缘像素点的个数值大于第二阈值的所有像素点构成的区域确定为第一非参考图像的细节区域；所述融合单元还用于，当所述第一比例和所述第二比例都大于所述第一阈值时，将所述细节区域和所述参考图像进行融合处理，得到目标HDR图像。

在一种可能的实现方式中，所述确定单元具体用于：利用canny算子对所述第一非参考图像的每个像素点进行边缘检测；根据所述边缘检测的结果，确定所述第一非参考图像的边缘。

第三方面，本发明实施例提供了一种计算机存储介质，用于储存为上述HDR图像的生成方法所用的计算机软件指令，其包含用于执行上述第一方面所设计的程序。

附图说明

图1为本发明实施例提供的HDR图像的生成方法流程图；

图2为本发明实施例提供的得到最终的连通区域的示意图；

图3为本发明实施例提供的得到第二HDR图像的示意图；

图4为本发明实施例提供的得到目标HDR图像的示意图；

图5为本发明实施例提供的HDR图像的生成装置结构示意图；

图6为本发明实施例提供的HDR图像的生成装置的另一结构示意图；

图7为本发明实施例提供的HDR图像的生成装置的再一结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。

本申请的应用场景为图像处理领域，当需要将多张LDR图像生成HDR图像时，可以应用本申请提供的HDR图像的生成方法。

图1为本发明实施例提供的HDR图像的生成方法流程图。如图1所示，HDR图像生成方法包括以下步骤：

步骤101，获取图像序列的第一运动区域和第二运动区域。

其中，图像序列包括参考图像、第一非参考图像和第二非参考图像，第一非参考图像、参考图像和第二非参考图像对目标场景的曝光时长依次递增，第一运动区域为第一非参考图像相对于参考图像存在灰度值差异的区域，第二运动区域为第二非参考图像相对于参考图像存在灰度值差异的区域。

需要说明的是，本申请仅以三张图像为例进行说明，可以理解的是，图像的数量可以是三张以上，当图像的数量为三张以上时，第一非参考图像和第二非参考图像的曝光时长最接近参考图像，第一非参考图像的曝光时长小于参考图像，第二非参考图像的曝光时长大于参考图像。

下面，对如何获取到第一非参考图像、参考图像和第二非参考图像做详细的说明。

首先，可以通过终端设备拍摄目标场景的三张曝光时间逐渐增加的图像，即原始第一非参考图像、原始参考图像和原始第二非参考图像，其中，终端设备可以是具有摄像头的设备，包括但不限于照相机(例如数码相机)、摄像机、手机(例如智能手机)、平板电脑(Pad)、个人数字助理(Personal Digital Assistant，PDA)、便携设备(例如，便携式计算机)、可穿戴设备等，本发明实施例对此不做具体限定。

其次，分别将原始第一非参考图像、原始参考图像和原始第二非参考图像的RGB图转换为灰度图。

接着，在亮度通道上，以原始参考图像的灰度图为标准，对原始第一非参考图像的灰度图进行直方图匹配(histogrammatching，HM)，将原始第一非参考图像的灰度图调亮，以原始参考图像的灰度图为标准，对原始第二非参考图像的灰度图进行HM，将原始第二非参考图像调暗。

最后，利用surf特征点检测算法，获得调亮后的原始第一非参考图像、原始参考图像和调暗后的原始第二非参考图像的单应性矩阵，并分别利用单应性矩阵对原始第一非参考图像、原始参考图像和原始第二非参考图像进行映射，使图像对齐，消除因为相机抖动造成的运动，得到第一非参考图像、参考图像和第二非参考图像(分别参见图2中201、202和203)。

获取图像序列的第一运动区域和第二运动区域具体包括：

分别将第一非参考图像、参考图像和第二非参考图像的RGB图转换为灰度图(分别参见图2中的204、205和206)。接着，在亮度通道上，进行HM，以参考图像的灰度图为标准，对第一非参考图像的灰度图进行HM，将第一非参考图像的灰度图调亮(参见图2中的207)，将第二非参考图像的灰度图进行直方图匹配，将第二非参考图像的灰度图调暗(参见图2中的208)。最后，比较调亮后的第一非参考图像的灰度图和参考图像的灰度图的灰度值差异，将所有灰度差值大于预设阈值的像素点确定为第一运动区域(参见图2中的209)，相应的，比较调暗后的第二非参考图像的灰度图和参考图像的灰度图的灰度值差异，将所有灰度差值大于预设阈值的像素点确定为第二运动区域(参见图2中的210)，比如，调暗后的第二非参考图像的灰度图中第一像素点的灰度值为200，参考图像的灰度图中第一像素点的灰度值为100，两者灰度值差异为100，当预设阈值为50时，所述两者灰度值差异大于预设阈值，因此，第一像素点的像素值为1，获得所有像素值为1的像素点后，再经过阈值过滤、腐蚀膨胀操作得到经过去燥的第二运动区域，像素值为1的像素点参见图2中210的白色区域，像素值为0的像素点参见图2中210的黑色区域，得到的第二运动区域参见图2中的210。

步骤102，根据第一比例与第一阈值之间的比较结果以及第二比例与第一阈值之间的比较结果，确定目标运动区域。

其中，第一比例为第一非参考图像中第一运动区域所占的比例，第二比例为第二非参考图像中第二运动区域所占的比例，目标运动区域包括至少一个连通区域。在图像处理领域中，连通区域(Connected Component)一般是指图像中具有相同像素值且位置相邻的前景像素点组成的图像区域，

进一步地，根据第一比例与第一阈值之间的比较结果以及第二比例与所述第一阈值之间的比较结果，确定目标运动区域，包括：

当第一比例和第二比例都不大于所述第一阈值时，将所述第一运动区域和第二运动区域进行叠加，确定叠加后的区域为目标运动区域；或者，

当第一比例不大于所述第一阈值，第二比例大于所述第一阈值时，确定第一运动区域为目标运动区域；或者，

当第一比例大于第一阈值，所述第二比例不大于第一阈值时，确定第二运动区域为目标运动区域。

在一个实施例中，参见图2，第一比例和第二比例都不大于第一阈值，将第一运动区域和第二运动区域叠加后，得到的目标运动区域参见2中的211。

进一步地，根据第一比例与第一阈值之间的比较结果以及第二比例与所述第一阈值之间的比较结果，确定目标运动区域之后，所述方法还包括：对所述目标运动区域所在的图像进行扫描，当所述目标运动区域所在的图像中存在像素值等于第三阈值的像素点时，对所述像素值为第三阈值的像素点进行标记；确定标记过的所有像素点所构成的区域为所述连通区域。

在一个示例中，第三阈值为1，目标运动区域中所有像素值为1的像素点所构成的区域为连通区域。

在另一个示例中，第三阈值为0，确定目标区域中所有像素值为0的像素点所构成的区域，目标运动区域所在的图像中，除像素值为0的像素点所构成的区域，其余区域为连通区域。

举例来说，如果第一运动区域中包括两处运动的区域，比如，头和脚，那么头就是一个连通区域，脚就是一个连通区域，参见图1中的209，连通区域的个数为0，参见图2中的210，连通区域的个数为1。

在确定目标运动区域的连通区域后，以参考图像为引导图像，对连通区域进行引导滤波(guided filter，GF)，使得GF之后的连通区域更接近实际场景中的物体边缘。GF，即对连通区域进行智能扩张，让GF之后的连通区域更像一个完整的区域，从而适当扩大连通区域，如果不进行GF，由于该场景中人物的手是在运动的，得到的连通区域在手的边缘，也就是手指位置会有所缺失，而利用GF对目标运动区域的连通区域进行GF之后，会使得连通区域在边缘区域(即手指头位置)得到扩张，从而避免手指头位置出现鬼影，对连通区域进行引导滤波之后，得到的连通区域参见图2中的211。

在进行GF之后，连通区域的值会变成0-1之间的小数值，将GF之前的连通区域与GF后的连通区域相叠加，将像素值大于1的值置为1，小于1的值保持不变，使得生成的最终的连通区域看起来更像是针对一整个运动物体而不是部分运动物体，这样过渡更为自然，参见图2中的211和212，将引导滤波之前的连通区域211和引导滤波之后的连通区域212进行叠加，得到最终的连通区域，标记为213。

下文中，在基于连通区域进行融合处理时，特指利用最终得到的连通区域进行融合，即利用图2中的213进行融合处理。

第一阈值可以根据需要自行设置，第一阈值不小于7.5％。因此，本申请可以检测目标场景中一定面积的运动区域，扩大了运动区域的范围，即本申请可以允许场景中存在较大的运动区域。

步骤103，根据第一权重值和第二权重值，得到第一HDR图像。

其中，第一权重值为第一非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积与第二非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积之和；或者，第一权重值为第一非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；或者，第一权重值为第二非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；第二权重值为所述参考图像中每个像素点的饱和度、对比度和曝光程度的乘积。

下面对如何计算第一权重值和第二权重值进行具体的说明。

当第一比例和第二比例都不大于所述第一阈值时，分别计算第一非参考图像和所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度，将所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度相乘，得到第一非参考图像中每个像素点的权重值，以及将第二非参考图像中每个像素点的饱和度、对比度和曝光程度相乘，得到第二非参考图像中每个像素点的权重值，将第一非参考图像中每个像素点的权重值和所述第二非参考图像中每个像素点的权重值相加，得到所述第一权重值；或者，

当第一比例不大于所述第一阈值，第二比例大于所述第一阈值时，计算第一非参考图像中每个像素点的饱和度、对比度和曝光程度，将第一非参考图像中每个像素点的饱和度、对比度和曝光程度相乘，得到所述第一权重值；或者，

当所述第一比例大于所述第一阈值，所述第二比例不大于所述第一阈值时，计算所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度，将所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度相乘，得到所述第一权重值。

在一个示例中，根据所述第一权重值和第二权重值，得到第一HDR图像，包括：将第一像素点的第一权重值和第二像素点的第二权重值加权平均，得到一个加权平均值，所述加权平均值作为第三像素点的权重值，所述第一像素点为确定了第一权重值的所有像素点中的任一个，所述第二像素点为所述参考图像中与所述第一像素点对应的像素点；根据获得的所有所述第三像素点的权重值，得到所述第一HDR图像。

步骤104，根据第一权重之和与第二权重之和的比较结果，确定参照图像。

其中,所述第一权重之和为所述参考图像中与所述连通区域重叠的区域的像素点的权重值之和,所述第二权重之和为所述第一非参考图像中与所述连通区域重叠的区域的像素点的权重值之和，其中，所述像素点的权重值为所述像素点的饱和度、对比度和曝光程度的乘积。

在一个示例中，所述根据第一权重之和与第二权重之和的比较结果，确定参照图像，包括：当所述第一权重之和不小于所述第二权重之和，确定所述参考图像为参照图像；当所述第一权重之和小于所述第二权重之和，确定所述第一非参考图像为参照图像。

在一个示例中，参见图3，由于所述第一权重之和不小于所述第二权重之和，因此确定所述参考图像为参照图像。

步骤105，利用所述参照图像对所述第一HDR图像进行亮度调节处理，得到调节后的第一HDR图像。

在一个示例中，利用所述参照图像对所述第一HDR图像进行亮度调节处理，得到调节后的第一HDR图像，包括：

当所述第一权重之和不小于所述第二权重之和时，计算所述第一HDR图像的亮度值和所述参考图像的亮度值，利用所述第一HDR图像的亮度值和所述参考图像的亮度值的差异，对所述第一HDR图像进行调亮处理，得到调节后的第一HDR图像；或者，

当所述第一权重之和小于所述第二权重之和时，计算所述第一HDR图像的亮度值和所述第一非参考图像的亮度值，利用所述第一HDR图像的亮度值和所述第一非参考图像的亮度值的差异，对所述第一HDR图像进行调暗处理，得到调节后的第一HDR图像。

进一步地，所述当所述第一权重之和不小于所述第二权重之和时，利用所述第一HDR图像的亮度值和所述参考图像的亮度值的差异，对所述第一HDR图像进行调亮处理，得到调节后的第一HDR图像，包括：以所述参考图像的亮度值为基准，将所述第一HDR图像的亮度值与预设的第一亮度比例进行相乘处理，得到与所述参考图像的亮度值相同的第一HDR图像；

所述当所述第一权重之和小于所述第二权重之和时，利用所述第一HDR图像的亮度值和所述第一非参考图像的亮度值的差异，对所述第一HDR图像进行调暗处理，得到调节后的第一HDR图像，包括：以所述第一非参考图像的亮度值为基准，将所述第一HDR图像的亮度值与预设的第二亮度比例进行相乘处理，得到与所述第一非参考图像的亮度值相同的第一HDR图像。

在一个示例中，得到的调节后的第一HDR图像参见图3中的301。由于第一HDR图像存在鬼影，因此，要对第一HDR图像进行去鬼影。以下步骤106，将详细描述如何去除第一HDR图像的鬼影。

步骤106，基于所述连通区域，将所述调节后的第一HDR图像与所述参考图像或所述第一非参考图像进行融合处理，得到第二HDR图像。

其中，融合处理即拉普拉斯金字塔融合，在进行拉普拉斯金字塔融合时，将调节后的第一HDR图像和参考图像或者第一非参考图像进行融合，将这两幅图像分别设定为a和b，融合结果为c，那么c中肯定有一部分是从a拿过来的，这部分肯定是没有b的信息，同样的，从b拿过来的部分，是不会有a的信息的，那么如何区分哪些信息从a拿，哪些信息从b拿，连通区域就是对哪些信息从a拿，哪些信息从b拿进行区分，更直观的讲，连通区域只是个黑白的图像，白色代表从调节后的第一HDR图像拿，黑色代表从参考图像或者第一非参考图像拿，因此一次拉普拉斯金字塔融合中，严格的来说是需要三幅图像的，两幅源图像(最后合成的第二HDR图像由这两幅图像中的像素点组成)和一幅指示如何取点的掩码图像(mask)，连通区域，就是那个mask图像(非黑即白，非0即1)。上文已经说明过，此处的连通区域特指最终的连通区域，参见图3中213。由此，去除了调节后的第一HDR图像的鬼影。

可选地，步骤106之后还包括：

步骤107，确定所述第一非参考图像的边缘，所述边缘包括边缘像素点；判断所述第一非参考图像中每个像素点周围的所述边缘像素点的个数值是否大于第二阈值；如果所述边缘像素点的个数值大于第二阈值，则将所述第一非参考图像中像素点周围的边缘像素点的个数值大于第二阈值的所有像素点构成的区域确定为第一非参考图像的细节区域；基于所述细节区域，将所述第一非参考图像与所述第二HDR图像进行融合处理，得到目标HDR图像。由此，对第二HDR图像进行了细节增强，得到的目标HDR图像细节更丰富。

其中，在图像处理领域中，边缘是指其周围像素灰度急剧变化的那些象素的集合，它是图像最基本的特征。此处，将边缘中的像素点自定义为边缘像素点。如果一个像素点的边缘像素点的个数值大于第二阈值，则说明该像素点细节丰富，此时，可以根据实际需要，对第二阈值进行设置。

此处的融合处理，也可以是进行拉普拉斯金字塔融合处理，此时，细节区域的作用和步骤106中提及的连通区域的作用一致，都是作为mask图像的。细节区域在此处用于指示哪些信息从第一非参考图像拿，哪些信息从所述第二HDR图像拿，具体细节将不再赘述。

确定所述第一非参考图像的边缘，包括：利用canny算子对所述第一非参考图像的每个像素点进行边缘检测；根据所述边缘检测的结果，确定所述第一非参考图像的边缘。

可选地，在步骤107之后还包括：

步骤108，对所述目标HDR图像进行引导滤波和曝光矫正。

其中，进行引导滤波是对第二融合后的图像进行去噪，曝光矫正的目的是亮度调整。

在一个示例中，细节区域参见图4中的401，得到的目标HDR图像参见图4中的402，对所述目标HDR图像进行引导滤波和曝光矫正之后得到的图像参见图4中的403。

可选地，所述HDR图像的生成方法还包括：

步骤109，确定所述第一非参考图像的边缘，所述边缘包括边缘像素点；

判断所述第一非参考图像中每个像素点周围的所述边缘像素点的个数值是否大于第二阈值；

如果所述边缘像素点的个数值大于第二阈值，则将所述第一非参考图像中像素点周围的边缘像素点的个数值大于第二阈值的所有像素点构成的区域确定为第一非参考图像的细节区域；

当所述第一比例和所述第二比例都大于所述第一阈值时，将所述细节区域和所述参考图像进行融合处理，得到目标HDR图像。

需要说明的是，图2中的201、202、203，图3中的202、301、302，图4中的201、401、402、403都为RGB图，但是为了满足说明书附图的要求，其显示在图2、3和图4中的为灰度图。

进一步地，本发明实施例提供的HDR图像的生成方法，在生成HDR图像时，可以获取到每张非参考图像的运动区域，则可以利用多张运动区域，在描述非运动场景时，显示场景中的物体运动，甚至可以合成HDR时频。

图5为本发明实施例提供的HDR图像的生成装置结构示意图，用于执行图1所述的方法，如图5所示，该HDR图像生成装置500包括：获取单元510、确定单元520、处理单元530、融合单元540。

获取单元510，用于获取图像序列的第一运动区域和第二运动区域；其中，所述图像序列包括参考图像、第一非参考图像和第二非参考图像，所述第一非参考图像、所述参考图像和所述第二非参考图像对目标场景的曝光时长依次递增，所述第一运动区域为所述第一非参考图像相对于所述参考图像存在灰度值差异的区域，所述第二运动区域为所述第二非参考图像相对于所述参考图像存在灰度值差异的区域。

确定单元520，用于根据第一比例与第一阈值之间的比较结果以及第二比例与所述第一阈值之间的比较结果，确定目标运动区域；其中，所述第一比例为所述第一非参考图像中所述第一运动区域所占的比例，所述第二比例为所述第二非参考图像中所述第二运动区域所占的比例，所述目标运动区域包括至少一个连通区域。

处理单元530，用于根据第一权重值和第二权重值，得到第一HDR图像；其中，所述第一权重值为所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；或者，所述第一权重值为所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；或者，所述第一权重值为所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积与所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积之和；所述第二权重值为所述参考图像中每个像素点的饱和度、对比度和曝光程度的乘积。

确定单元520还用于，根据第一权重之和与第二权重之和的比较结果，确定参照图像，其中,所述第一权重之和为所述参考图像中与所述连通区域重叠的区域的像素点的权重值之和,所述第二权重之和为所述第一非参考图像中与所述连通区域重叠的区域的像素点的权重值之和，其中，所述像素点的权重值为所述像素点的饱和度、对比度和曝光程度的乘积。

处理单元530还用于，利用所述参照图像对所述第一HDR图像进行亮度调节处理，得到调节后的第一HDR图像。

融合单元540，用于基于所述连通区域，将所述调节后的第一HDR图像与所述参考图像或所述第一非参考图像进行融合处理，得到第二HDR图像。

进一步地，确定单元520还用于，确定所述第一非参考图像的边缘，所述边缘包括边缘像素点；

图6为本发明实施例提供的HDR图像的生成装置的另一结构示意图，如图6所示，该HDR图像的生成装置600还包括，判断单元610。

判断单元610，用于判断所述第一非参考图像中每个像素点周围的所述边缘像素点的个数值是否大于第二阈值。

所述确定单元520还用于，如果所述边缘像素点的个数值大于第二阈值，则将所述第一非参考图像中像素点周围的边缘像素点的个数值大于第二阈值的所有像素点构成的区域确定为第一非参考图像的细节区域。

所述融合单元540还用于，基于所述细节区域，将所述第一非参考图像与所述第二HDR图像进行融合处理，得到目标HDR图像。

进一步地，确定单元520具体用于：当所述第一比例和所述第二比例都不大于所述第一阈值时，将所述第一运动区域和所述第二运动区域进行叠加，确定叠加后的区域为目标运动区域；或者，

当所述第一比例不大于所述第一阈值，所述第二比例大于所述第一阈值时，确定所述第一运动区域为目标运动区域；或者，

当所述第一比例大于所述第一阈值，所述第二比例不大于所述第一阈值时，确定所述第二运动区域为目标运动区域。

进一步地，所述第一权重值为所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积与所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积之和；或者，所述第一权重值为所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；或者，所述第一权重值为所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；所述第二权重值为所述参考图像中每个像素点的饱和度、对比度和曝光程度的乘积，包括：

当所述第一比例和所述第二比例都不大于所述第一阈值时，分别计算所述第一非参考图像和所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度，将所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度相乘，得到所述第一非参考图像中每个像素点的权重值，以及将所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度相乘，得到所述第二非参考图像中每个像素点的权重值，将所述第一非参考图像中每个像素点的权重值和所述第二非参考图像中每个像素点的权重值相加，得到所述第一权重值；或者，

当所述第一比例不大于所述第一阈值，所述第二比例大于所述第一阈值时，计算所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度，将所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度相乘，得到所述第一权重值；或者，

当所述第一比例大于所述第一阈值，所述第二比例不大于所述第一阈值时，计算所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度，将所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度相乘，得到所述第一权重值。

进一步地，所述第一阈值不小于7.5％。

进一步地，所述处理单元530具体用于：

将第一像素点的第一权重值和第二像素点的第二权重值加权平均，得到一个加权平均值，所述加权平均值作为第三像素点的权重值，所述第一像素点为确定了第一权重值的所有像素点中的任一个，所述第二像素点为所述参考图像中与所述第一像素点对应的像素点；根据获得的所有所述第三像素点的权重值，得到所述第一HDR图像。

进一步地，所述装置还包括：扫描单元620。

所述扫描单元620，用于对所述目标运动区域所在的图像进行扫描，当所述目标运动区域所在的图像中存在像素值等于第三阈值的像素点时，对所述像素值为第三阈值的像素点进行标记。

所述确定单元520还用于，确定标记过的所有像素点所构成的区域为所述连通区域。

进一步地，所述确定单元520具体用于：

当所述第一权重之和不小于所述第二权重之和，确定所述参考图像为参照图像；

当所述第一权重之和小于所述第二权重之和，确定所述第一非参考图像为参照图像。

进一步地，所述处理单元530具体用于：

当所述第一权重之和不小于所述第二权重之和时，计算所述第一HDR图像的亮度值和所述参考图像的亮度值，利用所述第一HDR图像的亮度值和所述参考图像的亮度值的差异，对所述第一HDR图像进行调亮处理，得到调节后的第一HDR图像；或者，

当所述第一权重之和小于所述第二权重之和时，计算所述第一HDR图像的亮度值和所述第一非参考图像的亮度值，利用所述第一HDR图像的亮度值和所述第一非参考图像的亮度值的差异，对所述第一HDR图像进行调暗处理，得到调节后的第一HDR图像。

进一步地，所述当所述第一权重之和不小于所述第二权重之和时，利用所述第一HDR图像的亮度值和所述参考图像的亮度值的差异，对所述第一HDR图像进行调亮处理，得到调节后的第一HDR图像，包括：以所述参考图像的亮度值为基准，将所述第一HDR图像的亮度值与预设的第一亮度比例进行相乘处理，得到与所述参考图像的亮度值相同的第一HDR图像。

所述当所述第一权重之和小于所述第二权重之和时，利用所述第一HDR图像的亮度值和所述第一非参考图像的亮度值的差异，对所述第一HDR图像进行调暗处理，得到调节后的第一HDR图像，包括：以所述第一非参考图像的亮度值为基准，将所述第一HDR图像的亮度值与预设的第二亮度比例进行相乘处理，得到与所述第一非参考图像的亮度值相同的第一HDR图像。

进一步地，所述装置还包括：引导滤波和曝光矫正单元630。

所述引导滤波和曝光矫正单元630，用于对所述目标HDR图像进行引导滤波和曝光矫正。

进一步地，所述确定单元520还用于，确定所述第一非参考图像的边缘，所述边缘包括边缘像素点。

所述判断单元610还用于，判断所述第一非参考图像中每个像素点周围的所述边缘像素点的个数值是否大于第二阈值。

所述确定单元520还用于，如果所述边缘像素点的个数值大于第二阈值，则将所述第一非参考图像中像素点周围的边缘像素点的个数值大于第二阈值的所有像素点构成的区域确定为第一非参考图像的细节区域。

所述融合单元540还用于，当所述第一比例和所述第二比例都大于所述第一阈值时，将所述细节区域和所述参考图像进行融合处理，得到目标HDR图像。

进一步地，所述确定单元520具体用于：利用canny算子对所述第一非参考图像的每个像素点进行边缘检测；根据所述边缘检测的结果，确定所述第一非参考图像的边缘。

图7为本发明实施例提供的HDR图像的生成装置的再一结构示意图，该装置用于执行图1所述方法。如图7所示，该系统700包括处理器710、存储器720、显示器730、接收器740、通信接口750及系统总线760；所述处理器710、存储器720、显示器730、接收器740及通信接口750通过系统总线建立连接，一个或多个程序都将被存储在存储器720中并被配置为所述处理器710执行，一个或多个程序包括用于执行HDR图像的生成方法中的所有指令。

处理器710可以为中央处理器(英文：central processing unit，缩写：CPU)。

存储器720可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如只读存储器(英文：read-only memory，缩写：ROM)，快闪存储器，硬盘(英文：hard disk drive，缩写：HDD)或固态硬盘(英文：solid state drive，缩写：SSD)；存储器720还可以包括上述种类的存储器的组合。

一种示例性的存储介质耦合至处理器710，从而使处理器710能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器710的组成部分。处理器710和存储介质可以位于ASIC中。另外，该ASIC可以位于核心网接口设备中。当然，处理器710和存储介质也可以作为分立组件存在于核心网接口设备中。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (23)

1.一种高动态范围HDR图像的生成方法，其特征在于，所述方法包括：

获取图像序列的第一运动区域和第二运动区域；其中，所述图像序列包括参考图像、第一非参考图像和第二非参考图像，所述第一非参考图像、所述参考图像和所述第二非参考图像对目标场景的曝光时长依次递增，所述第一运动区域为所述第一非参考图像相对于所述参考图像存在灰度值差异的区域，所述第二运动区域为所述第二非参考图像相对于所述参考图像存在灰度值差异的区域；

根据第一比例与第一阈值之间的比较结果以及第二比例与所述第一阈值之间的比较结果，确定目标运动区域；其中，所述第一比例为所述第一非参考图像中所述第一运动区域所占的比例，所述第二比例为所述第二非参考图像中所述第二运动区域所占的比例，所述目标运动区域包括至少一个连通区域；

根据第一权重值和第二权重值，得到第一HDR图像；其中，所述第一权重值为所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积与所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积之和；或者，所述第一权重值为所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；或者，所述第一权重值为所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；所述第二权重值为所述参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；

所述根据第一权重值和第二权重值，得到第一HDR图像包括：将第一像素点的第一权重值和第二像素点的第二权重值加权平均，得到一个加权平均值，所述加权平均值作为第三像素点的权重值，所述第一像素点为确定了第一权重值的所有像素点中的任一个，所述第二像素点为所述参考图像中与所述第一像素点对应的像素点；根据获得的所有所述第三像素点的权重值，得到所述第一HDR图像；

根据第一权重之和与第二权重之和的比较结果，确定参照图像；其中,所述第一权重之和为所述参考图像中与所述连通区域重叠的区域的像素点的权重值之和,所述第二权重之和为所述第一非参考图像中与所述连通区域重叠的区域的像素点的权重值之和，其中，所述像素点的权重值为所述像素点的饱和度、对比度和曝光程度的乘积；

当所述第一权重之和不小于所述第二权重之和，确定所述参考图像为参照图像；

当所述第一权重之和小于所述第二权重之和，确定所述第一非参考图像为参照图像；

利用所述参照图像对所述第一HDR图像进行亮度调节处理，得到调节后的第一HDR图像；

基于所述连通区域，将所述调节后的第一HDR图像与所述参考图像或所述第一非参考图像进行融合处理，得到第二HDR图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定所述第一非参考图像的边缘，所述边缘包括边缘像素点；

判断所述第一非参考图像中每个像素点周围的所述边缘像素点的个数值是否大于第二阈值；

如果所述边缘像素点的个数值大于第二阈值，则将所述第一非参考图像中像素点周围的边缘像素点的个数值大于第二阈值的所有像素点构成的区域确定为第一非参考图像的细节区域；

基于所述细节区域，将所述第一非参考图像与所述第二HDR图像进行融合处理，得到目标HDR图像。

3.根据权利要求1或2所述的方法，其特征在于，所述根据第一比例与第一阈值之间的比较结果以及第二比例与所述第一阈值之间的比较结果，确定目标运动区域，包括：

当所述第一比例和所述第二比例都不大于所述第一阈值时，将所述第一运动区域和所述第二运动区域进行叠加，确定叠加后的区域为目标运动区域；或者，

当所述第一比例不大于所述第一阈值，所述第二比例大于所述第一阈值时，确定所述第一运动区域为目标运动区域；或者，

当所述第一比例大于所述第一阈值，所述第二比例不大于所述第一阈值时，确定所述第二运动区域为目标运动区域。

4.根据权利要求1或2所述的方法，其特征在于，所述第一权重值为所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积与所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积之和；或者，所述第一权重值为所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；或者，所述第一权重值为所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；所述第二权重值为所述参考图像中每个像素点的饱和度、对比度和曝光程度的乘积，包括：

当所述第一比例和所述第二比例都不大于所述第一阈值时，分别计算所述第一非参考图像和所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度，将所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度相乘，得到所述第一非参考图像中每个像素点的权重值，以及将所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度相乘，得到所述第二非参考图像中每个像素点的权重值，将所述第一非参考图像中每个像素点的权重值和所述第二非参考图像中每个像素点的权重值相加，得到所述第一权重值；或者，

当所述第一比例不大于所述第一阈值，所述第二比例大于所述第一阈值时，计算所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度，将所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度相乘，得到所述第一权重值；或者，

当所述第一比例大于所述第一阈值，所述第二比例不大于所述第一阈值时，计算所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度，将所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度相乘，得到所述第一权重值。

5.根据权利要求1所述的方法，其特征在于，所述第一阈值不小于7.5％。

6.根据权利要求1所述的方法，其特征在于，根据第一比例与第一阈值之间的比较结果以及第二比例与所述第一阈值之间的比较结果，确定目标运动区域之后，所述方法还包括：

对所述目标运动区域所在的图像进行扫描，当所述目标运动区域所在的图像中存在像素值等于第三阈值的像素点时，对所述像素值为第三阈值的像素点进行标记；

确定标记过的所有像素点所构成的区域为所述连通区域。

7.根据权利要求1-2或5-6任一项所述的方法，其特征在于，所述利用所述参照图像对所述第一HDR图像进行亮度调节处理，得到调节后的第一HDR图像，包括：

当所述第一权重之和不小于所述第二权重之和时，计算所述第一HDR图像的亮度值和所述参考图像的亮度值，利用所述第一HDR图像的亮度值和所述参考图像的亮度值的差异，对所述第一HDR图像进行调亮处理，得到调节后的第一HDR图像；或者，

当所述第一权重之和小于所述第二权重之和时，计算所述第一HDR图像的亮度值和所述第一非参考图像的亮度值，利用所述第一HDR图像的亮度值和所述第一非参考图像的亮度值的差异，对所述第一HDR图像进行调暗处理，得到调节后的第一HDR图像。

8.根据权利要求7所述的方法，其特征在于，所述当所述第一权重之和不小于所述第二权重之和时，利用所述第一HDR图像的亮度值和所述参考图像的亮度值的差异，对所述第一HDR图像进行调亮处理，得到调节后的第一HDR图像，包括：

以所述参考图像的亮度值为基准，将所述第一HDR图像的亮度值与预设的第一亮度比例进行相乘处理，得到与所述参考图像的亮度值相同的第一HDR图像；

所述当所述第一权重之和小于所述第二权重之和时，利用所述第一HDR图像的亮度值和所述第一非参考图像的亮度值的差异，对所述第一HDR图像进行调暗处理，得到调节后的第一HDR图像，包括：

以所述第一非参考图像的亮度值为基准，将所述第一HDR图像的亮度值与预设的第二亮度比例进行相乘处理，得到与所述第一非参考图像的亮度值相同的第一HDR图像。

9.根据权利要求2所述的方法，其特征在于，在基于所述细节区域，将所述第一非参考图像与所述第二HDR图像进行融合处理，得到目标HDR图像之后，所述方法还包括：

对所述目标HDR图像进行引导滤波和曝光矫正。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定所述第一非参考图像的边缘，所述边缘包括边缘像素点；

判断所述第一非参考图像中每个像素点周围的所述边缘像素点的个数值是否大于第二阈值；

如果所述边缘像素点的个数值大于第二阈值，则将所述第一非参考图像中像素点周围的边缘像素点的个数值大于第二阈值的所有像素点构成的区域确定为第一非参考图像的细节区域；

当所述第一比例和所述第二比例都大于所述第一阈值时，将所述细节区域和所述参考图像进行融合处理，得到目标HDR图像。

11.根据权利要求2或10所述的方法，其特征在于，所述确定所述第一非参考图像的边缘，包括：

利用canny算子对所述第一非参考图像的每个像素点进行边缘检测；

根据所述边缘检测的结果，确定所述第一非参考图像的边缘。

12.一种HDR图像的生成装置，其特征在于，所述装置包括：

获取单元，用于获取图像序列的第一运动区域和第二运动区域；其中，所述图像序列包括参考图像、第一非参考图像和第二非参考图像，所述第一非参考图像、所述参考图像和所述第二非参考图像对目标场景的曝光时长依次递增，所述第一运动区域为所述第一非参考图像相对于所述参考图像存在灰度值差异的区域，所述第二运动区域为所述第二非参考图像相对于所述参考图像存在灰度值差异的区域；

确定单元，用于根据第一比例与第一阈值之间的比较结果以及第二比例与所述第一阈值之间的比较结果，确定目标运动区域；其中，所述第一比例为所述第一非参考图像中所述第一运动区域所占的比例，所述第二比例为所述第二非参考图像中所述第二运动区域所占的比例，所述目标运动区域包括至少一个连通区域；

处理单元，用于根据第一权重值和第二权重值，得到第一HDR图像；其中，所述第一权重值为所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；或者，所述第一权重值为所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；或者，所述第一权重值为所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积与所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积之和；所述第二权重值为所述参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；

所述根据第一权重值和第二权重值，得到第一HDR图像包括：将第一像素点的第一权重值和第二像素点的第二权重值加权平均，得到一个加权平均值，所述加权平均值作为第三像素点的权重值，所述第一像素点为确定了第一权重值的所有像素点中的任一个，所述第二像素点为所述参考图像中与所述第一像素点对应的像素点；根据获得的所有所述第三像素点的权重值，得到所述第一HDR图像；

所述确定单元还用于，根据第一权重之和与第二权重之和的比较结果，确定参照图像，其中,所述第一权重之和为所述参考图像中与所述连通区域重叠的区域的像素点的权重值之和,所述第二权重之和为所述第一非参考图像中与所述连通区域重叠的区域的像素点的权重值之和，其中，所述像素点的权重值为所述像素点的饱和度、对比度和曝光程度的乘积；

当所述第一权重之和不小于所述第二权重之和，确定所述参考图像为参照图像；

当所述第一权重之和小于所述第二权重之和，确定所述第一非参考图像为参照图像；

所述处理单元还用于，利用所述参照图像对所述第一HDR图像进行亮度调节处理，得到调节后的第一HDR图像；

融合单元，用于基于所述连通区域，将所述调节后的第一HDR图像与所述参考图像或所述第一非参考图像进行融合处理，得到第二HDR图像。

13.根据权利要求12所述的装置，其特征在于，所述确定单元还用于，确定所述第一非参考图像的边缘，所述边缘包括边缘像素点；

所述装置还包括，判断单元；所述判断单元，用于判断所述第一非参考图像中每个像素点周围的所述边缘像素点的个数值是否大于第二阈值；

所述确定单元还用于，如果所述边缘像素点的个数值大于第二阈值，则将所述第一非参考图像中像素点周围的边缘像素点的个数值大于第二阈值的所有像素点构成的区域确定为第一非参考图像的细节区域；

所述融合单元还用于，基于所述细节区域，将所述第一非参考图像与所述第二HDR图像进行融合处理，得到目标HDR图像。

14.根据权利要求12或13所述的装置，其特征在于，所述确定单元具体用于：

当所述第一比例和所述第二比例都不大于所述第一阈值时，将所述第一运动区域和所述第二运动区域进行叠加，确定叠加后的区域为目标运动区域；或者，

当所述第一比例不大于所述第一阈值，所述第二比例大于所述第一阈值时，确定所述第一运动区域为目标运动区域；或者，

当所述第一比例大于所述第一阈值，所述第二比例不大于所述第一阈值时，确定所述第二运动区域为目标运动区域。

15.根据权利要求12或13所述的装置，其特征在于，所述第一权重值为所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积与所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积之和；或者，所述第一权重值为所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；或者，所述第一权重值为所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度的乘积；所述第二权重值为所述参考图像中每个像素点的饱和度、对比度和曝光程度的乘积，包括：

当所述第一比例和所述第二比例都不大于所述第一阈值时，分别计算所述第一非参考图像和所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度，将所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度相乘，得到所述第一非参考图像中每个像素点的权重值，以及将所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度相乘，得到所述第二非参考图像中每个像素点的权重值，将所述第一非参考图像中每个像素点的权重值和所述第二非参考图像中每个像素点的权重值相加，得到所述第一权重值；或者，

当所述第一比例不大于所述第一阈值，所述第二比例大于所述第一阈值时，计算所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度，将所述第一非参考图像中每个像素点的饱和度、对比度和曝光程度相乘，得到所述第一权重值；或者，

当所述第一比例大于所述第一阈值，所述第二比例不大于所述第一阈值时，计算所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度，将所述第二非参考图像中每个像素点的饱和度、对比度和曝光程度相乘，得到所述第一权重值。

16.根据权利要求12所述的装置，其特征在于，所述第一阈值不小于7.5％。

17.根据权利要求12所述的装置，其特征在于，所述装置还包括：扫描单元；

所述扫描单元，用于对所述目标运动区域所在的图像进行扫描，当所述目标运动区域所在的图像中存在像素值等于第三阈值的像素点时，对所述像素值为第三阈值的像素点进行标记；

所述确定单元还用于，确定标记过的所有像素点所构成的区域为所述连通区域。

18.根据权利要求12-13或16-17任一项所述的装置，其特征在于，所述处理单元具体用于：

当所述第一权重之和不小于所述第二权重之和时，计算所述第一HDR图像的亮度值和所述参考图像的亮度值，利用所述第一HDR图像的亮度值和所述参考图像的亮度值的差异，对所述第一HDR图像进行调亮处理，得到调节后的第一HDR图像；或者，

当所述第一权重之和小于所述第二权重之和时，计算所述第一HDR图像的亮度值和所述第一非参考图像的亮度值，利用所述第一HDR图像的亮度值和所述第一非参考图像的亮度值的差异，对所述第一HDR图像进行调暗处理，得到调节后的第一HDR图像。

19.根据权利要求18所述的装置，其特征在于，所述当所述第一权重之和不小于所述第二权重之和时，利用所述第一HDR图像的亮度值和所述参考图像的亮度值的差异，对所述第一HDR图像进行调亮处理，得到调节后的第一HDR图像，包括：

以所述参考图像的亮度值为基准，将所述第一HDR图像的亮度值与预设的第一亮度比例进行相乘处理，得到与所述参考图像的亮度值相同的第一HDR图像；

所述当所述第一权重之和小于所述第二权重之和时，利用所述第一HDR图像的亮度值和所述第一非参考图像的亮度值的差异，对所述第一HDR图像进行调暗处理，得到调节后的第一HDR图像，包括：

以所述第一非参考图像的亮度值为基准，将所述第一HDR图像的亮度值与预设的第二亮度比例进行相乘处理，得到与所述第一非参考图像的亮度值相同的第一HDR图像。

20.根据权利要求13所述的装置，其特征在于，所述装置还包括：引导滤波和曝光矫正单元；

所述引导滤波和曝光矫正单元，用于对所述目标HDR图像进行引导滤波和曝光矫正。

21.根据权利要求13所述的装置，其特征在于，所述确定单元还用于，确定所述第一非参考图像的边缘，所述边缘包括边缘像素点；

所述判断单元还用于，判断所述第一非参考图像中每个像素点周围的所述边缘像素点的个数值是否大于第二阈值；

所述确定单元还用于，如果所述边缘像素点的个数值大于第二阈值，则将所述第一非参考图像中像素点周围的边缘像素点的个数值大于第二阈值的所有像素点构成的区域确定为第一非参考图像的细节区域；

所述融合单元还用于，当所述第一比例和所述第二比例都大于所述第一阈值时，将所述细节区域和所述参考图像进行融合处理，得到目标HDR图像。

22.根据权利要求13或21所述的装置，其特征在于，所述确定单元具体用于：

利用canny算子对所述第一非参考图像的每个像素点进行边缘检测；

根据所述边缘检测的结果，确定所述第一非参考图像的边缘。

23.一种存储程序的计算机可读存储介质，存储计算机程序，所述计算机程序可被处理器执行以实现权利要求1-11任一项所述的方法。

Images