CN116167950B - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请涉及一种图像处理方法、装置、电子设备及存储介质。该图像处理方法，包括：对输入的原始图像从RGB色彩空间转换至HSL色彩空间，并获取亮度通道的第一亮度值；原始图像为SDR图像；将第一亮度值进行PQ变换，获得第二亮度值；根据全局映射曲线的方程，将第二亮度值转换为第三亮度值，得到第一中间图像；将第一中间图像转换至RGB色彩空间，得到第二中间图像；将第二中间图像从原始色域转换至目标色域，得到第三中间图像；目标色域为目标图像的色域，目标图像为HDR图像；根据目标图像的指定格式与第三中间图像，生成目标图像。本申请的技术方案，可以实现将整幅SDR图像转换为HDR图像，为不同的亮度条件的SDR图像提供高质量的视觉质量输出。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本发明涉及图像处理技术领域，具体涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

高动态范围（HDR）成像被认为是数字媒体的下一次革命，因为它努力遵循人类视觉系统（HVS）感知世界的能力，从而产生与现实世界非常接近的观看体验。HDR图像和视频技术可以捕获场景中的所有光线和颜色信息，提供接近我们眼睛感知的效果。这与常规标准动态范围（SDR）采集相反，后者只能捕获和再现真实场景中存在的有限动态范围和颜色信息。由于HDR值对应于绝对光值，因此HDR可以在亮度和颜色范围方面模仿HVS的功能。HDR技术彻底改变了数字媒体表示的整个流程，影响采集、压缩、传输和显示。HDR专注于视觉变化，允许同时捕获场景中非常暗和明亮的区域，解决了SDR中存在的黑暗和明亮区域的挑战，并提供了整个场景的更多细节。 HDR图像（或视频）包含的像素可以表示比现有SDR图像（或视频）提供的像素范围更大的颜色和亮度级别。这些像素极大地提高了图像（或视频）内容的整体视觉质量，使其看起来更逼真，更吸引观众。

HDR技术的日益普及为Netflix、好莱坞电影公司和整个广播行业等内容提供商打开了新的市场机遇。然而，采集HDR的过程仍然具有挑战性且成本高昂，因为该技术仍处于不成熟阶段。因此，能够通过将现有SDR内容转换为新格式并利用新HDR显示器的功能来制作HDR内容非常重要。这仍然可以显著提高以前以SDR格式捕获的内容在HDR显示器上的视觉质量。

相关技术中，一些工作集中在将SDR格式的图像转换为HDR格式，开发所谓的逆色调映射运算符（iTMO）来实现这种转换。鉴于人们试图重建丢失的信息这一事实，iTMO的设计已被证明是非常具有挑战性的。因此，大多数的工作只关注特定类别的内容，要么考虑SDR格式图像中正常（平均亮度）的内容，要么关注黑暗和/或明亮的内容，具有一定的局限性。因此，如何克服上述将SDR格式的图像转换为HDR格式图像的技术缺陷是需要解决的一个技术问题。

发明内容

本申请的目的在于提供一种图像处理方法、装置、电子设备及存储介质，可以实现将整幅SDR图像转换为HDR图像，为不同的亮度条件的SDR图像提供高质量的视觉质量输出。

根据本申请实施例的第一方面，提供一种图像处理方法，包括：

对光域中输入的原始图像从RGB色彩空间转换至HSL色彩空间，并获取亮度通道的第一亮度值；所述原始图像为标准动态范围SDR图像；

将所述第一亮度值进行感知量化PQ变换，获得在PQ域中对应的第二亮度值；

根据指定的全局映射曲线的方程，将所述第二亮度值转换为第三亮度值，得到第一中间图像；所述第三亮度值为所述第一中间图像的亮度通道的亮度值；

将所述第一中间图像从HSL色彩空间转换至RGB色彩空间，得到第二中间图像；

根据所述第二中间图像的颜色坐标与颜色转换矩阵，从原始色域转换至目标色域，得到第三中间图像；其中，所述原始色域为所述原始图像的色域，所述目标色域为目标图像的色域，所述目标图像为高动态范围HDR图像；

根据所述目标图像的指定格式与所述第三中间图像，生成所述目标图像。

在一种实施方式中，在所述将所述第一中间图像从HSL色彩空间转换至RGB色彩空间，得到第二中间图像之后，且在所述根据所述第二中间图像的颜色坐标与颜色转换矩阵，从原始色域转换至目标色域，得到第三中间图像之前，还包括：

针对每个颜色通道，根据指定的颜色调整方程对所述第二中间图像进行颜色调整，保持颜色的色调不变以及亮度基本不变，得到第四中间图像；

在得到所述第四中间图像之后，根据所述第四中间图像的颜色坐标与所述颜色转换矩阵，从原始色域转换至目标色域，得到所述第三中间图像。

由于根据指定的颜色调整方程进行颜色调整，保持颜色的色调不变以及亮度基本不变，这样，可以保证输入的SDR图像与输出的HDR图像之间颜色的准确性。

在一种实施方式中，所述颜色调整方程如下：

；

其中，为PQ域中所述第二中间图像的任一颜色通道的色彩饱和度，为PQ域中所述第四中间图像的任一颜色通道的色彩饱和度，/>为所述第二亮度值，/>为所述第三亮度值，

α和β为负责控制颜色的色调和色彩饱和度的两个常数。

在一种实施方式中，所述全局映射曲线为分段线性曲线，包括两个端点、两个分界点与三段线性曲线，三段线性曲线组成连续曲线，所述两个端点与所述两个分界点将所述原始图像划分为黑暗区、正常区与明亮区；三段线性曲线与黑暗区、正常区与明亮区一一对应；

所述根据指定的全局映射曲线的方程，将所述第二亮度值转换为第三亮度值，包括：

根据所述全局映射曲线的方程，确定所述两个端点与所述两个分界点；

根据所述两个端点与所述两个分界点，将所述原始图像划分为黑暗区、正常区与明亮区；

针对所述原始图像的每个区，根据全局映射曲线的方程将所述第二亮度值转换为对应的第三亮度值。

在一种实施方式中，所述全局映射曲线的方程如下：

；

其中，为所述第二亮度值，/>为所述第三亮度值，/>与/>分别为三段线性曲线的斜率，/>与/>分别为三段线性曲线的截距，/>与/>为两个分界点的横坐标，/>为所述第二亮度值的最小值，/>为所述第二亮度值的最大值。

在一种实施方式中，通过如下计算式计算得到：

；

通过如下计算式计算得到：

；

其中，为黑暗区与正常区的分界点的横坐标，/>为正常区与明亮区的分界点的横坐标。

在一种实施方式中，与/>的值可通过如下方法获取：

根据所述第二亮度值获取所述原始图像在PQ域中的直方图；

根据所述直方图对所述原始图像进行自适应分割，将所述原始图像划分为黑暗区、正常区与明亮区；

根据所述黑暗区与所述正常区的分界点得到的值，根据所述正常区与所述明亮区的分界点得到/>的值。

在一种实施方式中，以及/>的计算方法如下：

确定与/>在HDR域中各自对应的值/>与/>；

获取所述两个端点的坐标；

根据以及所述两个端点的坐标，计算得到以及/>的值。

在一种实施方式中，与/>的值通过以下计算式计算得到：

；

其中，与/>为两个常数。

在一种实施方式中，为0.15，/>为0.4。

在一种实施方式中，与/>的值可通过如下方法获取：

根据所述第二亮度值获取所述原始图像在PQ域中的直方图；

根据所述直方图确定所述黑暗区、所述正常区与所述明亮区中各自的像素数量；

根据所述黑暗区、所述正常区与所述明亮区中各自的像素数量，确定所述黑暗区、所述正常区与所述明亮区各自的权重；

根据所述黑暗区、所述正常区与所述明亮区各自的权重进行模拟，确定与/>的值。

在一种实施方式中，所述全局映射曲线为伽马曲线，所述伽马曲线的方程如下：

；

其中，为所述第二亮度值，/>为所述第三亮度值，c ₁ 与c ₂ 分别为常数；

c ₂ 的计算式如下：

；

c ₁ 的计算式如下：

；

其中，为所述第二亮度值的最小值，/>为所述第二亮度值的最大值， />为PQ域中目标HDR显示器的最小亮度值，/>为PQ域中目标HDR显示器的最大亮度值。

根据本申请实施例的第二方面，提供一种图像处理装置，包括：

第一获取模块，被配置为对光域中输入的原始图像从RGB色彩空间转换至HSL色彩空间，并获取亮度通道的第一亮度值；所述原始图像为标准动态范围SDR图像；

第二获取模块，被配置为将所述第一亮度值进行感知量化PQ变换，获得在PQ域中对应的第二亮度值；

第一转换模块，被配置为根据指定的全局映射曲线的方程，将所述第二亮度值转换为第三亮度值，得到第一中间图像；所述第三亮度值为所述第一中间图像的亮度通道的亮度值；

第二转换模块，被配置为将所述第一中间图像从HSL色彩空间转换至RGB色彩空间，得到第二中间图像；

第三转换模块，被配置为根据所述第二中间图像的颜色坐标与颜色转换矩阵，从原始色域转换至目标色域，得到第三中间图像；其中，所述原始色域为所述原始图像的色域，所述目标色域为目标图像的色域，所述目标图像为高动态范围HDR图像；

生成模块，被配置为根据所述目标图像的指定格式与所述第三中间图像，生成所述目标图像。

在一种实施方式中，所述图像处理装置，还包括：

颜色调整模块，被配置为针对每个颜色通道，根据指定的颜色调整方程对所述第二中间图像进行颜色调整，保持颜色的色调不变以及亮度基本不变，得到第四中间图像；

所述第三转换模块，还被配置为在得到所述第四中间图像之后，根据所述第四中间图像的颜色坐标与所述颜色转换矩阵，从原始色域转换至目标色域，得到所述第三中间图像。

根据本申请实施例的第三方面，提供一种电子设备，包括存储器与处理器，所述存储器用于存储所述处理器可执行的计算机程序；所述处理器用于执行所述存储器中的计算机程序，以实现上述的方法。

根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，当所述存储介质中的可执行的计算机程序由处理器执行时，能够实现上述的方法。

与现有技术相比，本申请的有益效果在于：由于对光域中输入的原始图像（SDR图像）从RGB色彩空间转换至HSL色彩空间，并获取亮度通道的亮度，得到第一亮度值，然后，将第一亮度值进行感知量化（PQ）转换，获得在PQ域中对应的第二亮度值，即，将SDR图像转换至感知域，因此，有助于保持框架的整体视觉印象。

然后，根据指定的全局映射曲线的方程，将第二亮度值转换为第三亮度值，其中，第三亮度值为第一中间图像的亮度通道的亮度值，一方面，由于使用全局映射曲线而非局部映射曲线，因此，可以对原始图像的整个图像的亮度进行转换，即对SDR图像中的所有不同亮度等级的区域全部进行亮度转换，而非仅对某类特定亮度等级的区域进行局部亮度转换，因此，可以实现将整幅SDR图像转换为HDR图像，为不同的亮度条件的SDR图像提供高质量的视觉质量输出，另一方面，由于使用全局映射曲线对原始图像的整个图像的亮度作为一个整体进行调整，可以避免可能导致闪烁的亮度的快速变化，进而可以避免闪烁伪影。

然后，将第一中间图像从HSL色彩空间转换至RGB色彩空间，得到第二中间图像，然后再根据第二中间图像的颜色坐标与颜色转换矩阵，从原始色域转换至目标色域，得到第三中间图像，最后，根据目标图像的指定格式与第三中间图像，生成目标图像。

综上所述，本申请提供的技术方案，可以实现将整幅SDR图像转换为HDR图像，为不同的亮度条件的SDR图像提供高质量的视觉质量输出；还可以避免图像格式转换过程中产生闪烁伪影。

附图说明

图1是根据一示例性实施例示出的一种图像处理方法的流程图。

图2是根据一示例性实施例示出的一种伽马曲线的示意图。

图3是根据另一示例性实施例示出的一种图像处理方法的流程图。

图4是根据另一示例性实施例示出的一种图像处理方法的流程图。

图5是根据一示例性实施例示出的一种分段线性曲线的示意图。

图6是根据另一示例性实施例示出的一种图像处理方法的流程图。

图7是根据另一示例性实施例示出的一种图像处理方法的流程图。

图8是根据一示例性实施例示出的一种图像处理装置的框图。

图9是根据另一示例性实施例示出的一种图像处理装置的框图。

图10是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

除非另作定义，在本说明书和权利要求书中使用的技术术语或者科学术语应当为本发明所属技术领域内具有一般技能的人士所理解的通常意义。以下将结合附图描述本发明的具体实施方式，需要指出的是，在这些实施方式的具体描述过程中，为了进行简明扼要的描述，本说明书不可能对实际的实施方式的所有特征均作详尽的描述。在不偏离本发明的精神和范围的情况下，本领域技术人员可以对本发明的实施方式进行修改和替换，所得实施方式也在本发明的保护范围之内。

相关技术中，除了由于试图重建丢失的信息，设计iTMO具有挑战性之外，设计iTMO的另一个重要挑战源于这样一个事实，即当我们试图扩大动态范围、增加位深度和亮度级别时，我们面临着在图像的不同区域引入和/或增加噪声的机会，这在黑暗区域尤其常见。

此外，无论处理的颜色空间或色域如何，亮度的任何变化都会导致颜色偏移。当处理SDR内容时，这种变化并不明显，但HDR中较高的亮度范围会导致明显的视觉差异。因此，在设计iTMO时，在HDR情况下保持色彩准确性是最重要的。

为了解决上述技术问题，本申请提出一种图像处理方法、装置、电子设备及存储介质，可以实现将整幅SDR图像转换为HDR图像，为不同的亮度条件的SDR图像提供高质量的视觉质量输出；还可以避免图像格式转换过程中产生闪烁伪影；以及可以保证输入的SDR图像与输出的HDR图像之间颜色的准确性。

图1是根据一示例性实施例示出的一种图像处理方法的流程图。该图像处理方法，可以应用于图像处理器、显示芯片等电子设备。请参见图1，该图像处理方法，可以包括以下步骤：

步骤101，对光域中输入的原始图像从RGB色彩空间转换至HSL色彩空间，并获取亮度通道的第一亮度值；原始图像为SDR图像。

在本实施例中，原始图像位于RGB色彩空间。在RGB色彩空间中，利用红色通道、绿色通道与蓝色通道三个颜色通道表示一幅图像。而在HSL色彩空间中，利用色相通道、饱和度通道与亮度通道三个通道表示一幅图像。因此，在调整原始图像的亮度之前，将原始图像从RGB色彩空间转换至HSL色彩空间，并提取亮度通道的值，得到第一亮度值。

在本实施例中，原始图像的色域为BT.709色域。BT.709色域是专门为SDR图像设计的。

在本实施例中，可以根据BT.709 标准计算光域中输入的原始图像的亮度通道的值，得到第一亮度值。

步骤102，将第一亮度值进行PQ变换，获得在PQ域中对应的第二亮度值。

在本实施例中，PQ（Perceptual Quantizer）域是视频信号编码和压缩的一种方式。PQ域属于感知域，是一个感知均匀的颜色空间，旨在更接近地匹配人类视觉系统感知颜色的方式。PQ域使用对数传递函数，可以更有效地使用可用的动态范围。这使其非常适合显示高动态范围（HDR）视频内容。

在本实施例中，感知量化（PQ）旨在优化与HVS属性相关的光强度分布，将物理线性值转换为感知线性值。感知线性意味着人眼以相同的方式看到任何亮度级别的任何强度变化（即，两个连续的亮度级别刚好低于HVS刚刚注意到的阈值）。感知线性是实施的基础，因为这样可以识别人眼可以看到的内容，并以最佳方式将该信息映射到更高的动态范围。因此，首先将输入的SDR图像的亮度通道的第一亮度值传输到PQ 域，这样可以使SDR图像的亮度值和HDR图像的亮度值在映射过程中位于同一域中。这使我们能够在感知域中工作，相邻亮度值对应于人眼可察觉的差异。

在本实施例中，将亮度通道的第一亮度值进行PQ变换，获得在PQ域中对应的第二亮度值。

在本实施例中，可以采用感知量化器对第一亮度值进行PQ变换。感知量化器是一种传递函数，可将显示设备的线性光强度映射为非线性信号，从而更好地匹配人类视觉系统 (HVS) 的特性。 感知量化器的功能旨在优化光强度的分布，以便最有效地利用可用的动态范围并提供原始图像的最佳再现。

在本实施例中，感知量化器为SMPTE ST 2084传输函数。它由指数约为78124且输出偏移为0.5的幂函数定义。该传递函数旨在提供与HVS对光的非线性响应更接近的匹配，并更好地利用可用的动态范围。 SMPTE ST 2084 传输函数广泛用于为电视和投影仪等显示设备制作HDR内容。 SMPTE ST2084传输函数还使用10或12 位的位深度，因为它可以表示大于8位，以保持HDR内容的高精度。

在本实施例中，感知量化器可使用的传递函数如下：

；

其中，是第一亮度值，/>是第二亮度值。 />和为常数，可分别设置为 0.8359、18.8515、18.6875、0.1593 和 78.8437。

在本实施例中，由于设法使用幂函数简化了 PQ 变换的复杂方程，根据初步的主观视频质量评估，它达到了可接受的视觉质量水平。因此，本实施例的iTMO是硬件友好的，可以在资源有限的硬件中实现。

步骤103，根据指定的全局映射曲线的方程，将第二亮度值转换为第三亮度值，得到第一中间图像；第三亮度值为第一中间图像的亮度通道的亮度值。

闪烁是色调映射期间可能发生的常见问题，尤其是在使用局部色调映射算法时。这是因为本地算法独立调整单个像素或一小组像素的亮度，会导致整个图像的亮度快速变化。这些亮度变化在高对比度区域可能特别明显，并且可能会分散注意力并造成视觉冲击。为了避免这个问题，本申请中的全局映射算法（全局映射曲线的方程）使用了不同的方法。它不是调整单个像素的亮度，而是取整个图像亮度值的平均值。因为整个图像的亮度是作为一个整体来调整的，这种方法避免了可能导致闪烁的亮度的快速变化。

在本实施例中，全局映射曲线可以根据用户输入的曲线标识确定。例如，曲线标识为00，指定的全局映射曲线为伽马曲线，曲线标识为01，指定的全局映射曲线为分段线性曲线。

在本实施例中，全局映射曲线为伽马曲线，伽马曲线的方程如下：

；

其中，为第二亮度值，/>为第三亮度值，c ₁ 与c ₂ 分别为常数。c ₁ 与c ₂ 的值可通过用户输入的信息确定，也可通过计算得到。

在本实施例中，可以先采用如下计算式计算c ₂ ：

；

然后，再采用如下计算式计算c ₁ ：

；

其中，为第二亮度值的最小值，/>为第二亮度值的最大值，为PQ域中目标HDR显示器的最小亮度值，/>为PQ域中目标HDR显示器的最大亮度值。

在本实施例中，采用的伽马曲线C1如图2所示。

在本实施例中，全局映射曲线采用伽马曲线，数学形式简单、计算复杂度低，并且能够生成高质量的HDR图像。而且，生成的HDR图像的对比度比较高。全局映射曲线采用伽马曲线，还可以在生成的HDR图像的整体亮度和对比度之间产生平衡。

在本实施例中，由于考虑了目标 HDR 显示器的最大和最小亮度值来构建映射曲线。这样做，使该图像处理方法能够生成在所有类型的 HDR 显示器上看起来都令人愉悦的内容。因此，本申请提供的算法是显示自适应的，可以生成与任何目标HDR显示器的功能相匹配的HDR图像内容。

步骤104，将第一中间图像从HSL色彩空间转换至RGB色彩空间，得到第二中间图像。

在本实施例中，后续需要在RGB色彩空间对图像数据进行操作，因此，将第一中间图像从HSL色彩空间转换至RGB色彩空间，得到第二中间图像。

步骤105，针对每个颜色通道，根据指定的颜色调整方程对第二中间图像进行颜色调整，保持颜色的色调不变以及亮度基本不变，得到第四中间图像。

设计高效iTMO的一个重要考虑因素是保持输入SDR图像和生成的HDR图像之间的颜色准确性。这是一个挑战，因为当将亮度级别从SDR图像扩展到HDR图像时，可能会导致颜色偏移。因此，在设计iTMO时，有效的颜色调整方案非常重要。

颜色调整是指调整图像中的颜色以使其看起来更自然或与预期的视觉外观一致的过程。这通常是通过调整图像中的红色、绿色和蓝色 (RGB) 的级别来完成的。颜色调整是一个重要步骤，因为它有助于保持场景的预期色彩平衡并保持图像的整体视觉吸引力。如果没有适当的颜色调整，HDR 图像中的颜色可能会显得过饱和、不自然甚至扭曲。此外，它还有助于避免肤色显得太红或出现其他不准确的颜色。此外，在许多情况下，当修改图像的亮度时，图像的色彩平衡会发生变化，使其显得太暖或太冷。色彩调整有助于恢复图像的预期色彩平衡，并为观看者创造更令人愉悦的视觉体验。

在本实施例中，为保证生成的图像的颜色的准确性，采用的颜色调整方程如下：

；

其中，为PQ域中第二中间图像的任一颜色通道（红色、绿色、或蓝色）的色彩饱和度，/>为PQ域中第四中间图像的任一颜色通道的色彩饱和度，/>为第二亮度值，/>为第三亮度值，α和β为负责控制颜色的色调和色彩饱和度的两个常数。

在本实施例中，由于根据指定的颜色调整方程进行颜色调整，保持颜色的色调不变以及亮度基本不变，这样，可以保证输入的SDR图像与输出的HDR图像之间颜色的准确性。

另外，根据广泛的模拟，上述颜色调整方程保留了颜色的色调，同时在将SDR图像映射到HDR图像时对其亮度的影响可以忽略不计。

在本实施例中，通过在感知域中执行颜色调整，使该图像处理方法保留了SDR图像的颜色的色调，并生成与 SDR图像的颜色非常接近的HDR图像的颜色。

步骤106，根据第四中间图像的颜色坐标与颜色转换矩阵，从原始色域转换至目标色域，得到第三中间图像；其中，原始色域为原始图像的色域，目标色域为目标图像的色域，目标图像为HDR图像。

在本实施例中，目标色域为BT.2020色域。因为BT.709色域是为SDR图像设计的，而不是为HDR图像设计的，因此，在颜色调整后，需要将色域从BT.709色域转换为BT.2020色域。这样，可以确保生成的内容显示正确的颜色。

其中，将色域从 BT.709 色域转换为 BT.2020色域涉及将给定图像或视频的颜色坐标从一种颜色空间转换为另一种颜色空间。

在一个实施例中，可以使用 3*3 颜色转换矩阵执行色域转换，该矩阵将源颜色空间 (BT.709) 中的颜色映射到目标颜色空间 (BT.2020) 中的颜色。该过程通常从将图像或视频从 RGB 转换为颜色空间的本机颜色表示开始。然后，将颜色转换矩阵应用于图像的颜色坐标，将它们转换到新的颜色空间。用于从 BT.709色域转换为 BT.2020色域的矩阵可以表示为：

R2020 = 0.627404078626 × R709 + 0.329282097415 × G709 +0.043313797587 × B709

G2020 = 0.069097233123 × R709 + 0.919541035593 × G709 +0.011361189924 × B709

B2020 = 0.016391587664 × R709 + 0.088013255546 × G709 +0.895595009604 × B709

其中，R、G和B 分别表示红色、绿色和蓝色通道。R709、G709、B709为BT.709色域中第四中间图像的颜色坐标，R2020、G2020、B2020为BT.2020色域中第三中间图像的颜色坐标。

需要说明的是，本步骤相当复杂，需要很高的精度，这个颜色转换矩阵只是一个近似值，如果要进行精确转换，需要使用三维颜色查找表（3D-CLUT）。同样重要的是，BT.2020色域比 BT.709 更宽，这种转换的结果可能会导致某些颜色超出目标颜色空间的范围。

步骤107，根据目标图像的指定格式与第三中间图像，生成目标图像。

目标图像有两种格式：HDR₁₀和HLG₁₀。这两种格式之间的区别在于它们的传递函数。HDR₁₀格式使用所谓的PQ函数，而 HLG₁₀格式使用混合对数伽马（Hybrid Log-Gamma，简称HLG）函数。PQ函数为上述执行PQ变换的函数，在此不再赘述。

在本实施例中，可以根据用户输入的图像格式的标识确定目标图像的指定格式。例如，图像格式的标识为01时，目标图像的指定格式为HDR₁₀，图像格式的标识为11时，目标图像的指定格式为HLG₁₀。

在本实施例中，目标图像的指定格式为HDR₁₀。由于HDR₁₀格式的图像已经存在于PQ域中，因此，不需要执行任何进一步的转换，可直接输出目标图像。

本申请提供的技术方案，由于对光域中输入的原始图像（SDR图像）从RGB色彩空间转换至HSL色彩空间，并获取亮度通道的亮度，得到第一亮度值，然后，将第一亮度值进行感知量化（PQ）转换，获得在PQ域中对应的第二亮度值，即，将SDR图像转换至感知域，因此，有助于保持框架的整体视觉印象。然后，根据指定的全局映射曲线的方程，将第二亮度值转换为第三亮度值，一方面，由于使用全局映射曲线而非局部映射曲线，因此，可以对原始图像的整个图像的亮度进行转换，即对SDR图像中的所有不同亮度等级的区域全部进行亮度转换，而非仅对某类特定亮度等级的区域进行局部亮度转换，因此，可以实现将整幅SDR图像转换为HDR图像，为不同的亮度条件的SDR图像提供高质量的视觉质量输出，另一方面，由于使用全局映射曲线对原始图像的整个图像的亮度作为一个整体进行调整，可以避免可能导致闪烁的亮度的快速变化，进而可以避免闪烁伪影。然后，将第一中间图像从HSL色彩空间转换至RGB色彩空间，得到第二中间图像，然后再根据第二中间图像的颜色坐标与颜色转换矩阵，从原始色域转换至目标色域，得到第三中间图像，这样，可以保证为生成的目标图像显示正确的颜色。最后，根据目标图像的指定格式与第三中间图像，生成目标图像。综上所述，本申请提供的技术方案，可以实现将整幅SDR图像转换为HDR图像，为不同的亮度条件的SDR图像提供高质量的视觉质量输出；还可以避免图像格式转换过程中产生闪烁伪影。

需要说明的是，在其他实施例中，如图3所示，可以省去上述的步骤105，也可以实现将整幅SDR图像转换为HDR图像，为不同的亮度条件的SDR图像提供高质量的视觉质量输出。其中，步骤301~304、306分别与上述的步骤101~104、107相同，步骤305与上述的步骤106相似，在此不再赘述。

图4是根据另一示例性实施例示出的一种图像处理方法的流程图。请参见图3，该图像处理方法，可以包括以下步骤：

（1）、提取颜色通道的亮度

本步骤与步骤101相同，在此不再赘述。

（2）、PQ变换

本步骤与步骤102相同，在此不再赘述。

（3）、选择映射曲线

在本实施例中，映射曲线为全局映射曲线，全局映射曲线包括伽马曲线与分段线性曲线。电子设备可以根据用户输入的曲线标识选择映射曲线。

在本实施例中，选择的映射曲线为分段线性曲线。如图5所示，所述全局映射曲线C2，包括两个端点D1、D2、两个分界点D3、D4与三段线性曲线C21、C22、C23，三段线性曲线C21、C22、C23组成连续曲线，所述两个端点D1、D2与所述两个分界点D3、D4将所述原始图像划分为黑暗区、正常区与明亮区；三段线性曲线与黑暗区、正常区与明亮区一一对应，具体地，线性曲线C21为黑暗区对应的曲线，线性曲线C22为正常区对应的曲线，线性曲线C23为明亮区对应的曲线。为两个分界点D3、D4的横坐标，

与/>为两个分界点D3、D4的纵坐标，/>与/>分别为三段线性曲线C21、C22、C23的斜率。

在本实施例中，所述全局映射曲线的方程如下：

；

其中，为第二亮度值，/>为第三亮度值，/>与/>分别为三段线性曲线C21、C22、C23的截距，/>为第二亮度值的最小值，/>为第二亮度值的最大值。

选择的映射曲线为伽马曲线，并进行全局映射的方法在上述实施例中已经介绍，在此不再赘述。

（4）、确定分割方法

在本实施例中，首先，计算与/>的值对图像进行分割，将原始图像划分为黑暗区、正常区与明亮区。

其中，通过如下计算式计算得到：

；

通过如下计算式计算得到：

；

其中，为黑暗区与正常区的分界点的横坐标，/>为正常区与明亮区的分界点的横坐标。

在计算出与/>的值后，确定/>与/>在HDR域中各自对应的值/>与/>。/>与值可通过如下计算式计算得到：

；

其中，与/>为两个常数。/>与/>可通过模拟得到，但不限于此。

在本实施例中，为0.15，/>为0.4。当/>为0.15，/>为0.4时，可得到高视觉质量的HDR图像。

接着，获取两个端点D1、D2的坐标。

接着，根据以及两个端点D1、D2的坐标，计算得到以及/>的值。

（5）、生成分段线性曲线，并进行全局映射

在本实施例中，根据以及/>的值，生成分段线性曲线，即得到全局映射曲线C2的方程。

然后，根据分段线性曲线进行全局映射，即根据全局映射曲线C2的方程，将所述第二亮度值转换为第三亮度值。进行全局映射具体方法为：首先，根据全局映射曲线的方程C2，确定两个端点D1、D2与两个分界点D3、D4，然后，根据两个端点D1、D2与两个分界点D3、D4，将原始图像划分为黑暗区、正常区与明亮区，接着，针对原始图像的每个区，根据全局映射曲线的方程将第二亮度值转换为对应的第三亮度值。其中，针对原始图像的黑暗区，根据线性曲线C21将第二亮度值转换为对应的第三亮度值，针对原始图像的正常区，根据线性曲线C22将第二亮度值转换为对应的第三亮度值，针对原始图像的明亮区，根据线性曲线C23将第二亮度值转换为对应的第三亮度值。

在本实施例中，使用分段线性曲线，可以使生成的HDR图像的整体亮度和对比度之间取得良好的平衡。

（6）、颜色调整

本步骤与步骤105相同，在此不再赘述。

（7）、色域转换

本步骤与步骤106相同，在此不再赘述。

（8）、选择HDR图像格式

如上所述，目标图像有两种格式：HDR₁₀和HLG₁₀。

在本实施例中，根据用户输入的图像格式的标识选择的目标图像的指定格式为HLG₁₀。HLG₁₀格式图像可使用混合对数伽马（HLG）函数转换得到。

混合对数伽马函数是一种用于高动态范围 (HDR) 图像和视频编码和解码的传递函数，旨在实现 HDR 视频的高效传输和存储。HLG 函数将像素的输入值（也称为“线性光”值）映射到应在显示设备上显示的输出值（也称为“感知光”值）。该函数有两个部分：对于低输入值，该函数是一个简单的幂函数。这部分函数用于编码和解码标准动态范围（SDR）图像。对于高输入值，该函数是一个对数函数，选择它是为了在压缩高光值的同时保持图像的整体动态范围。HLG函数的主要优点是它能够生成可以在 SDR 和 HDR 显示器上查看的图像。图像在两种类型的显示器上将具有相同的整体外观，但HDR显示器将能够显示图像的完整动态范围，而 SDR 显示器将显示具有较低动态范围的图像的色调映射版本。这允许行业更平稳地过渡到HDR。其中，HLG 函数如下：

；

其中， 是光域中图像的颜色通道的亮度值，/>是它在HLG域中的对应值。 a、b 和 c 分别等于 0.17、0.28 和 0.55。

（9）、反向PQ变换

在本实施例中，由于使用HLG 函数进行HLG变换时，采用的是光域中图像的亮度通道的亮度值，而在进行HLG变换之前，进行了PQ变换，因此，需要先进行反向PQ变换，将生成的HDR PQ值（第三亮度值）转换至光域，得到对应的第四亮度值。

反向PQ变换的计算式如下：

；

其中，为第三亮度值，/>为第三亮度值在光域中对应的第四亮度值，/>为常数，分别设置为 0.8359、18.8515、18.6875、0.1593 和78.8437。

（10）、HLG变换

在本实施例中，使用HLG 函数将光域中的第四亮度值转换至HLG域，生成HLG₁₀格式图像，以输出至显示器显示。

在本实施例中，可以对SDR图像中的所有不同亮度等级的区域全部进行亮度转换，而非仅对某类特定亮度等级的区域进行局部亮度转换，因此，可以实现将整幅SDR图像转换为HDR图像，为不同的亮度条件的SDR图像提供高质量的视觉质量输出。

本实施例中，iTMO在感知领域工作，以考虑人眼对不同亮度区域的亮度变化的敏感度。这有助于iTMO根据我们的眼睛如何感知它们来区别对待每个区域。

本实施例中，为了保留原始SDR图像的整体印象，iTMO使用一种新颖的分割方法自适应地将SDR图像划分为黑暗区、正常区和明亮区。这不仅能够保持每个区域的整体亮度，而且使iTMO能够处理所有类型的SDR图像，这是相关技术中大多数iTMO无法解决的问题。

本申请提供的iTMO是内容自适应的，可以根据转换目标生成不同的输出，不需要任何用户干预来设置全局映射曲线的值或针对特定类型的内容优化算法。这是通过实施伽马曲线和分段线性曲线来完成的。

本申请另一示例性实施例还提供一种图像处理方法。如图6所示，与上述实施例不同的是，在本实施例中，与/>的值可通过如下步骤获取。

步骤601，根据第二亮度值获取原始图像在PQ域中的直方图。

步骤602，根据直方图对原始图像进行自适应分割，将原始图像划分为黑暗区、正常区与明亮区。

步骤603，根据黑暗区与正常区的分界点得到的值，根据正常区与明亮区的分界点得到/>的值。

在本实施例中，通过使用直方图，可以更好地了解每帧图像中像素的亮度分布，以准确地对图像进行分区，进而可以提高计算与/>的值的准确性，最终有助于实现更高的视觉质量输出。

本申请另一示例性实施例还提供一种图像处理方法。如图7所示，与上述实施例不同的是，在本实施例中，与/>的值可通过如下步骤获取。

步骤701，根据第二亮度值获取原始图像在PQ域中的直方图。

步骤702，根据直方图确定黑暗区、正常区与明亮区中各自的像素数量。

步骤703，根据黑暗区、正常区与明亮区中各自的像素数量，确定黑暗区、正常区与明亮区各自的权重。

在本实施例中，一个区域中的像素数量越多，权重越大。例如，每个区的权重与该区中的像素数量成正比，但不限于此。

步骤704，根据黑暗区、正常区与明亮区各自的权重进行模拟，确定与/>的值。

在本实施例中，通过使用直方图，可以更好地了解每帧图像中每个区域中像素的数量，以为每个区域分配准确的权重，以使构建的全局映射曲线更准确，进而实现更高的视觉质量输出。

综上所述，本申请提供的技术方案，具备如下优点：保留输入的SDR内容的艺术印象；为各种亮度条件生成高视觉质量输出；通过提出全局映射曲线来避免闪烁伪影；无需人工干预参数设置的全自动方法；能够为所有级别的最大亮度生成内容的显示自适应方法；在转换过程中保持颜色准确性；实时应用的硬件友好实现； 当前的图像处理方法还可以扩展到非实时应用程序，通过考虑每帧的直方图特征以获得更好的视觉质量输出。

图8是根据一示例性实施例示出的图像处理装置的框图。如图8所示，本实施例中，该图像处理装置，包括：

第一获取模块81，被配置为对光域中输入的原始图像从RGB色彩空间转换至HSL色彩空间，并获取亮度通道的第一亮度值；所述原始图像为标准动态范围SDR图像；

第二获取模块82，被配置为将所述第一亮度值进行感知量化PQ变换，获得在PQ域中对应的第二亮度值；

第一转换模块83，被配置为根据指定的全局映射曲线的方程，将所述第二亮度值转换为第三亮度值，得到第一中间图像；所述第三亮度值为所述第一中间图像的亮度通道的亮度值；

第二转换模块84，被配置为将所述第一中间图像从HSL色彩空间转换至RGB色彩空间，得到第二中间图像；

第三转换模块85，被配置为根据所述第二中间图像的颜色坐标与颜色转换矩阵，从原始色域转换至目标色域，得到第三中间图像；其中，所述原始色域为所述原始图像的色域，所述目标色域为目标图像的色域，所述目标图像为高动态范围HDR图像；

生成模块86，被配置为根据所述目标图像的指定格式与所述第三中间图像，生成所述目标图像。

在一个实施例中，如图9所示，该图像处理装置，还包括：

颜色调整模块87，被配置为针对每个颜色通道，根据指定的颜色调整方程对所述第二中间图像进行颜色调整，保持颜色的色调不变以及亮度基本不变，得到第四中间图像；

所述第三转换模块85，还被配置为在得到所述第四中间图像之后，根据所述第四中间图像的颜色坐标与所述颜色转换矩阵，从原始色域转换至目标色域，得到所述第三中间图像。

本申请的实施例还提出了一种电子设备，包括处理器和存储器；所述存储器用于存储所述处理器可执行的计算机程序；所述处理器用于执行所述存储器中的计算机程序，以实现上述任一实施例所述的图像处理方法。

本申请的实施例还提出了一种计算机可读存储介质，当所述存储介质中的可执行的计算机程序由处理器执行时，能够实现上述任一实施例所述的图像处理方法。

关于上述实施例中的装置，其中处理器执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图10是根据一示例性实施例示出的一种电子设备的框图。例如，电子设备900可以被提供为一服务器。参照图10，设备900包括处理组件922，其进一步包括一个或多个处理器，以及由存储器932所代表的存储器资源，用于存储可由处理部件922的执行的指令，例如应用程序。存储器932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件922被配置为执行指令，以执行上述用于图像处理方法。

设备900还可以包括一个电源组件926被配置为执行设备900的电源管理，一个有线或无线网络接口950被配置为将设备900连接到网络，和一个输入输出(I/O)接口958。设备900可以操作基于存储在存储器932的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器932，上述指令可由设备900的处理组件922执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在本发明中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。

上述对实施例的描述是为了便于本技术领域的普通技术人员能理解和应用本申请。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其它实施例中而不必付出创造性的劳动。因此，本申请不限于这里的实施例，本领域技术人员根据本申请披露的内容，在不脱离本申请范围和精神的情况下做出的改进和修改都本申请的范围之内。

Claims (13)

1.一种图像处理方法，其特征在于，包括：

对光域中输入的原始图像从RGB色彩空间转换至HSL色彩空间，并获取亮度通道的第一亮度值；所述原始图像为标准动态范围SDR图像；

将所述第一亮度值进行感知量化PQ变换，获得在PQ域中对应的第二亮度值；

根据指定的全局映射曲线的方程，将所述第二亮度值转换为第三亮度值，得到第一中间图像；所述第三亮度值为所述第一中间图像的亮度通道的亮度值；

将所述第一中间图像从HSL色彩空间转换至RGB色彩空间，得到第二中间图像；

针对每个颜色通道，根据指定的颜色调整方程对所述第二中间图像进行颜色调整，保持颜色的色调不变以及亮度基本不变，得到第四中间图像；

在得到所述第四中间图像之后，根据所述第四中间图像的颜色坐标与颜色转换矩阵，从原始色域转换至目标色域，得到第三中间图像；其中，所述原始色域为所述原始图像的色域，所述目标色域为目标图像的色域，所述目标图像为高动态范围HDR图像；

根据所述目标图像的指定格式与所述第三中间图像，生成所述目标图像；

其中，所述颜色调整方程如下：

；

其中，为PQ域中所述第二中间图像的任一颜色通道的色彩饱和度，/>为PQ域中所述第四中间图像的任一颜色通道的色彩饱和度，L _SDR,PQ 为所述第二亮度值，L _HDR,PQ 为所述第三亮度值，α和β为负责控制颜色的色调和色彩饱和度的两个常数。

2.如权利要求1所述的图像处理方法，其特征在于，所述全局映射曲线为分段线性曲线，包括两个端点、两个分界点与三段线性曲线，三段线性曲线组成连续曲线，所述两个端点与所述两个分界点将所述原始图像划分为黑暗区、正常区与明亮区；三段线性曲线与黑暗区、正常区与明亮区一一对应；

所述根据指定的全局映射曲线的方程，将所述第二亮度值转换为第三亮度值，包括：

根据所述全局映射曲线的方程，确定所述两个端点与所述两个分界点；

根据所述两个端点与所述两个分界点，将所述原始图像划分为黑暗区、正常区与明亮区；

针对所述原始图像的每个区，根据全局映射曲线的方程将所述第二亮度值转换为对应的第三亮度值。

3.如权利要求2所述的图像处理方法，其特征在于，所述全局映射曲线的方程如下：

；

其中，L _SDR,PQ 为所述第二亮度值，L _HDR,PQ 为所述第三亮度值，与/>分别为三段线性曲线的斜率，/>与/>分别为三段线性曲线的截距，/>与/>为两个分界点的横坐标，SDR _min,PQ 为所述第二亮度值的最小值，SDR _max,PQ 为所述第二亮度值的最大值。

4.如权利要求3所述的图像处理方法，其特征在于，通过如下计算式计算得到：

；

通过如下计算式计算得到：

；

其中，为黑暗区与正常区的分界点的横坐标，/>为正常区与明亮区的分界点的横坐标。

5.如权利要求3所述的图像处理方法，其特征在于，与/>的值可通过如下方法获取：

根据所述第二亮度值获取所述原始图像在PQ域中的直方图；

根据所述直方图对所述原始图像进行自适应分割，将所述原始图像划分为黑暗区、正常区与明亮区；

根据所述黑暗区与所述正常区的分界点得到的值，根据所述正常区与所述明亮区的分界点得到/>的值。

6.如权利要求4或5所述的图像处理方法，其特征在于，以及的计算方法如下：

确定与/>在HDR域中各自对应的值/>与/>；

获取所述两个端点的坐标；

根据以及所述两个端点的坐标，计算得到以及/>的值。

7.如权利要求6所述的图像处理方法，其特征在于，与/>的值通过以下计算式计算得到：

；

其中，与/>为两个常数，HDR _min,PQ 为PQ域中目标HDR显示器的最小亮度值，HDR _max,PQ 为PQ域中目标HDR显示器的最大亮度值。

8.如权利要求7所述的图像处理方法，其特征在于，为0.15，/>为0.4。

9.如权利要求7所述的图像处理方法，其特征在于，与/>的值可通过如下方法获取：

根据所述第二亮度值获取所述原始图像在PQ域中的直方图；

根据所述直方图确定所述黑暗区、所述正常区与所述明亮区中各自的像素数量；

根据所述黑暗区、所述正常区与所述明亮区中各自的像素数量，确定所述黑暗区、所述正常区与所述明亮区各自的权重；

根据所述黑暗区、所述正常区与所述明亮区各自的权重进行模拟，确定与/>的值。

10.如权利要求1所述的图像处理方法，其特征在于，所述全局映射曲线为伽马曲线，所述伽马曲线的方程如下：

；

其中，L _SDR,PQ 为所述第二亮度值，L _HDR,PQ 为所述第三亮度值，c ₁ 与c ₂ 分别为常数；

的计算式如下：

；

的计算式如下：

；

其中，SDR _min,PQ 为所述第二亮度值的最小值，SDR _max,PQ 为所述第二亮度值的最大值，HDR _min,PQ 为PQ域中目标HDR显示器的最小亮度值，HDR _max,PQ 为PQ域中目标HDR显示器的最大亮度值。

11.一种图像处理装置，其特征在于，包括：

第一获取模块，被配置为对光域中输入的原始图像从RGB色彩空间转换至HSL色彩空间，并获取亮度通道的第一亮度值；所述原始图像为标准动态范围SDR图像；

第二获取模块，被配置为将所述第一亮度值进行感知量化PQ变换，获得在PQ域中对应的第二亮度值；

第一转换模块，被配置为根据指定的全局映射曲线的方程，将所述第二亮度值转换为第三亮度值，得到第一中间图像；所述第三亮度值为所述第一中间图像的亮度通道的亮度值；

第二转换模块，被配置为将所述第一中间图像从HSL色彩空间转换至RGB色彩空间，得到第二中间图像；

颜色调整模块，被配置为针对每个颜色通道，根据指定的颜色调整方程对所述第二中间图像进行颜色调整，保持颜色的色调不变以及亮度基本不变，得到第四中间图像；

第三转换模块，被配置为根据所述第四中间图像的颜色坐标与颜色转换矩阵，从原始色域转换至目标色域，得到第三中间图像；其中，所述原始色域为所述原始图像的色域，所述目标色域为目标图像的色域，所述目标图像为高动态范围HDR图像；

生成模块，被配置为根据所述目标图像的指定格式与所述第三中间图像，生成所述目标图像；

其中，所述颜色调整方程如下：

；

其中，为PQ域中所述第二中间图像的任一颜色通道的色彩饱和度，/>为PQ域中所述第四中间图像的任一颜色通道的色彩饱和度，L _SDR,PQ 为所述第二亮度值，L _HDR,PQ 为所述第三亮度值，α和β为负责控制颜色的色调和色彩饱和度的两个常数。

12.一种电子设备，其特征在于，包括存储器与处理器，所述存储器用于存储所述处理器可执行的计算机程序；所述处理器用于执行所述存储器中的计算机程序，以实现如权利要求1～10任一项所述的方法。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，当所述存储介质中的可执行的计算机程序由处理器执行时，能够实现如权利要求1～10任一项所述的方法。