CN112995615B - 图像处理方法、装置以及存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法，用于将具有原始色域空间的原始图像转换为具有目标色域空间的目标图像，所述图像处理方法包括：A)计算所述原始色域空间中的一组原始基色色调方向与所述目标色域空间中对应的一组目标基色色调方向之间的一组基色色调方向偏差，其中所述一组基色色调方向偏差中的每一个对应于一个基色；B)对于所述原始图像中的每个像素，基于其在所述原始色域空间中的原始色调坐标相对于所述一组原始基色色调方向的偏离以及所述一组基色色调方向偏差确定所述像素的校正色调坐标；以及C)对于所述原始图像中的每个像素，对其校正色调坐标进行色调映射，得到所述像素在所述目标色域空间中的目标色调坐标。

Description

图像处理方法、装置以及存储介质

技术领域

本申请涉及图像处理技术领域，更具体地，涉及一种图像处理方法、装置以及存储介质。

背景技术

高动态范围(HDR)视频图像与普通视频图像相比可以提供更高的动态范围和图像细节以及更加丰富的色彩范围。目前流行的HDR格式主要包括HDR10、HLG(Hybrid Log-Gamma)、杜比视界等。但是，如果要将这些HDR格式的图像或视频显示在标准动态范围(SDR)显示设备中，则需要对这些HDR格式的视频图像进行格式转换。其中，HDR-SDR格式转换通常包括亮度动态范围压缩和色域压缩。然而，现有的HDR-SDR格式转换方法中色域压缩算法(例如国际电信标准ITU-R BT.2047-0标准的附录5中提供的将BT.2020色域压缩到BT.709算法)会使得图像产生偏色，这会影响视频图像的显示效果。

因此，有必要对现有HDR-SDR格式转换方法进行改进。

发明内容

本申请的一个目的在于解决现有的色域压缩方法会使得图像产生偏色的问题。

在本申请的一个方面，提供了一种图像处理方法，用于将具有原始色域空间的原始图像转换为具有目标色域空间的目标图像，所述图像处理方法包括：A)计算所述原始色域空间中的一组原始基色色调方向与所述目标色域空间中对应的一组目标基色色调方向之间的一组基色色调方向偏差，其中所述一组基色色调方向偏差中的每一个对应于一个基色；B)对于所述原始图像中的每个像素，基于其在所述原始色域空间中的原始色调坐标相对于所述一组原始基色色调方向的偏离以及所述一组基色色调方向偏差确定所述像素的校正色调坐标；以及C)对于所述原始图像中的每个像素，对其校正色调坐标进行色调映射，得到所述像素在所述目标色域空间中的目标色调坐标。

在本申请的其他方面，还提供了一种图像处理装置以及存储介质。

以上为本申请的概述，可能有简化、概括和省略细节的情况，因此本领域的技术人员应该认识到，该部分仅是示例说明性的，而不旨在以任何方式限定本申请范围。本概述部分既非旨在确定所要求保护主题的关键特征或必要特征，也非旨在用作为确定所要求保护主题的范围的辅助手段。

附图说明

通过下面说明书和所附的权利要求书并与附图结合，将会更加充分地清楚理解本申请内容的上述和其他特征。可以理解，这些附图仅描绘了本申请内容的若干实施方式，因此不应认为是对本申请内容范围的限定。通过采用附图，本申请内容将会得到更加明确和详细地说明。

图1示出了BT.2020格式与BT.709格式的Luv色域空间的比较；

图2示出了根据本申请一个实施例的图像处理方法200；

图3示出了根据本申请一个实施例的图像处理方法300；

图4和图5分别示出了一种色调方向偏差的校正方法；

图6示出了根据本申请一个实施例的图像处理方法600；

图7示出了归一化最大亮度值随原始图像中最大亮度值的变化关系；

图8示出了全局映射曲线的一个示例。

具体实施方式

在下面的详细描述中，参考了构成其一部分的附图。在附图中，类似的符号通常表示类似的组成部分，除非上下文另有说明。详细描述、附图和权利要求书中描述的说明性实施方式并非旨在限定。在不偏离本申请的主题的精神或范围的情况下，可以采用其他实施方式，并且可以做出其他变化。可以理解，可以对本申请中一般性描述的、在附图中图解说明的本申请内容的各个方面进行多种不同构成的配置、替换、组合，设计，而所有这些都明确地构成本申请内容的一部分。

图1示出了BT.2020格式与BT.709格式的Luv色域空间的比较。其中，BT.2020格式与BT.709格式均为常用的Luv色域空间格式，但是BT.2020格式的色域范围比BT.709格式的色域范围要大得多。因此，如果要在采用BT.709格式的显示设备上显示BT.2020格式的视频图像，需要先对具有该BT.2020格式色域空间的原始图像进行图像处理，将其转换为具有或符合BT.709格式色域空间的目标图像。之后，该处理后的目标图像可以再被显示在对应的显示设备上。

在一些实施例中，原始图像采用的色域空间可能是RGB、YCbCr色域空间或其他格式的色域空间。相应地，可以将这些原始图像的色域空间转换为Luv色域空间，之后再进行格式转换。

本申请的发明人发现，图1所示的两种格式的Luv色域空间的色调方向存在偏差，例如，BT.2020格式的绿色色调方向WGh(从白点W至绿色顶点Gh)显著偏离BT.709格式的绿色色调方向WGh’(从白点W至绿色顶点Gh’)；BT.2020格式的红色色调方向WRh(从白点W至红色顶点Rh)也显著偏离BT.709格式的红色色调方向WRh’(从白点W至红色顶点Rh’)。这是格式转换后的图像产生偏色的主要原因。

为了校正上述偏色，本申请的图像处理方法可以先确定两种色域空间格式之间各个基色对应的基色色调方向偏差，并且在之后坐标转换时考虑上述基色色调方向偏差。这种处理方法能够有效地解决格式转换后的图像偏色的问题。

图2示出了根据本申请一个实施例的图像处理方法200。该图像处理方法200用于处理不同Luv色域空间之间的格式转换。接下来，结合图1和图2，以处理如图1所示的BT.2020格式的Luv色域空间向BT.709格式的色域空间的格式转换为例，对本申请实施例的图像处理方法200进行说明。

如图2所示，在步骤202，计算原始色域空间(例如图1所示的BT.2020格式的色域空间)中的一组原始基色色调方向与目标色域空间(如图1所示的BT.709格式的色域空间)中对应的一组目标基色色调方向之间的一组基色色调方向偏差，其中这一组基色色调方向偏差中的每一个对应于一个基色。

在一些实施例中，原始色域空间与目标色域空间均采用三基色，也即红绿蓝三基色，相应地，原始基色色调方向与目标基色色调方向之间的基色色调方向偏差即包括红色色调方向偏差、绿色色调方向偏差以及蓝色色调方向偏差。在图1中示出了红色色调方向偏差Dr、绿色色调方向偏差Dg以及蓝色色调方向偏差Db。优选地，基色色调方向偏差可以由角度值表示，或者也可以由角度值相关的三角函数值(例如正切值)来表示。基色色调方向的偏差可以通过色域空间三角形的位置信息(例如坐标)来进行计算。

可以理解，原始图像的每个像素均具有原始色域空间中对应的原始色调坐标，例如原始色调坐标可以是图1中的绿色色调顶点Gh的坐标，或者是另一任意色调坐标P₀，这取决于各个像素的实际色调。在一些实施例中，仅需要针对被处理的原始图像中所有像素所具有的原始色调进行调整和转换。例如，对于纯色图像，仅需要进行一次色调转换的计算即可。在另一些实施例中，原始色域空间与目标色域空间的转换关系可以预先生成，而不用考虑被处理的原始图像中各个像素所具有的实际色调。相应地，可以将原始色域空间中的每个色调坐标均转换到对应目标色域空间中的一个色调坐标，从而得到原始色域空间与目标色域空间的转换关系。这样，可以在图像处理时，特别是批量处理多个原始图像时，按每个原始图像中的所有像素点查询该预先生成的转换关系，并且根据查询的结果来实现每个像素点的色调转换。

在步骤204，对于原始图像中的每个像素，基于其在原始色域空间中的原始色调坐标相对于一组原始基色色调方向的偏离以及所述一组基色色调方向偏差确定该像素的校正色调坐标。

正如前述，由于原始色域空间与目标色域空间的基色色调方向之间存在偏差，因此步骤204可以计算并校正上述色调方向偏差。参考图1，原始绿色色调方向WGh可以被校正到目标绿色色调方向WGh’，而示例性原始色调坐标P₀的原始色调方向WP₀则可以被校正到目标色调方向WP₁，其中P₁是与原始色调坐标P₀对应的校正色调坐标。

可以理解，白点不具有色调偏差，三个基色通常具有最大的色调方向偏差，而其他色调则通常具有相对较小的色调方向偏差。通常来说，如果一个色调越靠近基色色调，那么其通常色调方向偏差也越大。因此，可以考虑每个色调的原始色调坐标相对于一组原始基色色调方向的偏离，特别是与其相邻的一个或多个基色色调方向的偏离，来计算校正色调坐标。例如，对于相对靠近绿色顶点Gh的原始色调，可以基于其与原始绿色色调方向的偏离来计算校正色调坐标；而对于相对靠近红色顶点Rh的原始色调，可以基于其与原始红色色调方向的偏离来计算校正色调坐标。可以理解，在其他的例子中，也可以基于原始色调相对于多个基色色调方向的偏离来计算校正色调坐标，这将在下文中详述。

在一些实施例中，可以根据相对于三个基色色调方向的位置将原始色域空间划分三个子色域空间。例如，在图1中，原始色域空间被划分为3个子色域空间，也即绿色空间Zg，红色空间Zr以及蓝色空间Zb。其中，绿色空间Zg与蓝色空间Zb由从白点W到原始色域空间三角形对应边的垂线Wgb分界，gb为垂足；绿色空间Zg与红色空间Zr由从白点W到原始色域空间三角形对应边的垂线Wgr分界，gr为垂足；而红色空间Zr与蓝色空间Zb则由从白点W到原始色域空间三角形对应边的垂线Wrb分界，rb为垂足。可以看出，原始色调坐标P₀位于靠近绿色色调方向WGh的绿色空间Zg中，因此其校正色调坐标及校正色调方向即可基于绿色色调方向偏差Dg以及P₀相对于绿色色调方向的偏离来计算。关于具体的计算方法，将在下文中具体说明。

可以理解，基于相对于原始色域空间中每两个相邻基色色调方向的位置，还可以通过其他方式将原始色域空间划分为多个子色域空间。例如图4所示，可以根据绿色色调方向WGh、红色色调方向WRh以及蓝色色调方向WBh将原始色域空间划分成三个子色域空间，也即绿色色调方向WGh、红色色调方向WRh以及对应原始色域空间边界限定的绿红空间，红色色调方向WRh、蓝色色调方向WBh以及对应原始色域空间边界限定的红蓝空间，以及蓝色色调方向WBh、绿色色调方向WGh以及对应原始色域空间边界限定的蓝绿空间。相应地，对于每个子色域空间中的原始色调坐标，可以基于与其所在子色域空间相关联的一个或两个原始基色色调方向以及对应的一个或两个基色色调方向偏差计算校正色调方向，进而基于该校正色调方向以及原始色调坐标计算对应的校正色调坐标。例如，对于原始色调坐标P₀，其位于蓝绿空间，而与蓝绿空间相关联的基色色调方向偏差为蓝色色调方向偏差Db和绿色色调方向偏差Dg，因此可以基于这两个基色色调方向偏差以及原始色调坐标的相对位置来计算校正色调方向与校正色调坐标P₁。关于具体的计算方法，将在下文中具体说明。

经校正后，例如原始色调坐标P₀被校正到校正色调坐标P₁，而绿色顶点坐标Gh则被校正到校正绿色顶点坐标Gh”。可以看出，校正色调坐标P₁仍位于目标色域空间之外。因此，还需要通过后续步骤将其调整到目标色域空间之内。

具体地，在步骤206，对于原始图像中的每个像素，对其校正色调坐标进行色调映射，得到该像素在目标色域空间中的目标色调坐标。

由于每个校正色调坐标均具有期望的校正色调方向，因此仅需要对每个校正色调坐标进行色调映射，也即沿已确定的校正色调方向对坐标相对于白点W的距离进行缩放，例如线性缩放。具体地，缩放步骤可以包括在校正色调方向上相对于原始色域空间的对应边界与目标色域空间的对应边界的相对位置，计算原始色调坐标在目标色域空间中的目标色调坐标。在缩放后，每个原始色调坐标被调整到目标色域空间中的目标色调坐标。例如在图1中，原始色调坐标P₀被调整到目标色调坐标P₂，绿色顶点坐标Gh则被调整到目标绿色顶点坐标Gh’；而红色顶点坐标Rh则被调整到目标红色顶点坐标Rh’。在一些实施例中，色调映射的计算需要考虑校正色调坐标相对于目标色域空间以及原始色域空间的位置，特别是相对于目标色域空间以及原始色域空间的位置。关于具体的计算方法，将在下文中具体说明。

可以看出，通过上述步骤，原始色域空间中的原始色调坐标就可以被转换为目标色域空间中的目标色调坐标，并且消除了偏色现象。

可以理解，上述步骤202至206主要用于色域调整，而原始图像格式可能与目标图像格式具有不同的亮度格式，例如原始图像格式可以为HDR10，而目标图像格式可以为SDR，其相对于而言具有较低的亮度范围。相应地，可以在进行色域调整之前或之后，对原始图像的每个像素的原始亮度进行调节，以将原始图像的原始亮度范围转换为目标图像的目标亮度范围。

图3示出了根据本申请一个实施例的图像处理方法300。该图像处理方法300用于处理不同Luv色域空间之间的格式转换，例如处理如图1所示的BT.2020格式的Luv色域空间向BT.709格式的色域空间的格式转换，也即例如将具有原始色域空间(例如图1所示的BT.2020格式的色域空间)的原始图像转换为具有目标色域空间(如图1所示的BT.709格式的色域空间)的目标图像。

如图3所示，在步骤302，对原始图像中像素的色调信息进行统计，以得到色调统计信息，其中该色调统计信息包括原始图像中超限像素的数量或占比，以及超限像素的统计超限水平。

具体地，超限像素是指原始色调坐标位于目标色域空间之外的像素，而每个像素的超限水平则用于表征该像素的原始色调坐标超出目标色域空间的程度。在一些实施例中，超限水平可以被计算为：在白点-像素连线的方向上，像素的原始色调坐标到目标色域空间边界的距离与目标色域空间边界到原始色域空间边界的距离之比。例如，对于图1中的原始色调坐标P₀，其超限水平可以被计算为P₀b/ba，其中，P₀b是从原始色调坐标P₀到目标色域空间边界Gh’Bh’的距离，而ba则是在对应的色调方向上原始色域空间BT.2020的边界GhBh到目标色域空间BT.709的对应边界Gh’Bh’的距离。对应地，超限水平的值取值为0至1，其中超限水平为0意味着原始色调坐标位于目标色域空间的边界上(也即位于图1中的b点)，而超限水平为1意味着原始色调坐标位于原始色域空间的边界上(也即位于图1中的a点)。超限像素的统计超限水平可以是原始图像中所有或一部分(例如被采样的)超限像素的超限水平的统计值，例如平均值或中位值。

步骤302中得到的色调统计信息可以用于后续色调映射处理，这将在下文中进一步说明。可以理解，在一些实施例中，也可以不进行步骤302的色调统计的步骤，相应地，色调映射可以不参考或采用色调统计信息，这也将在下文中结合示例进行具体说明。

在步骤304，计算原始色域空间中的一组原始基色色调方向与目标色域空间中对应的一组目标基色色调方向之间的一组基色色调方向偏差，其中这一组基色色调方向偏差中的每一个对应于一个基色；以及在步骤306，对于原始图像中的每个像素，基于其在原始色域空间中的原始色调坐标相对于一组原始基色色调方向的偏离以及一组基色色调方向偏差确定该像素的校正色调坐标。

与图2所示的步骤202类似，步骤304的色调校正用于校正原始色域空间与目标色域空间的对应色调方向之间的偏差。根据几何计算方法的不同，色调方向偏差的校正可以采用多种算法来实现。图4和图5分别示出了一种色调方向偏差的校正方法。

如图4所示，原始色域空间BT.2020的三个基色顶点分别为绿色顶点Gh、红色顶点Rh以及蓝色顶点Bh，而目标色域空间BT.709的三个基色顶点分别为绿色顶点Gh’、红色顶点Rh’以及蓝色顶点Bh’，对应的基色顶点之间存在基色色调方向偏差，分别为红色色调方向偏差Dr、绿色色调方向偏差Dg以及蓝色色调方向偏差Db。基色色调方向偏差可以以角度表示，也可以以对应角度的三角函数值表示，例如表示为正切值tan_green(绿色色调方向偏差)、tan_red(红色色调方向偏差)和tan_blue(蓝色色调方向偏差)。基色色调方向偏差可以通过解析几何方法计算。下面以绿色顶点对应的绿色色调方向偏差Dg为例来说明具体的计算方法。

如图4所示，绿色色调方向偏差Dg实质上对应于两个绿色顶点Gh和Gh’之间的最大旋转角度，其是直线WGh与直线WGh’之间的夹角。在以直角坐标系表示的(横坐标轴x，纵坐标轴y)色域空间中，直线WGh的直线方程可以表示为等式(1)：

y＝k_WGh*x+l_WGh 等式(1)

其中k_WGh表示直线斜率，而l_WGh表示直线的纵截距。在下文中，直接使用[k_WGh,l_WGh]来表示直线WGh，其他直线也采用同样方式表示。

类似地，直线WGh’可以表示为[k_WGh’,l_WGh’]。那么，利用正切函数的两角差计算公式，即可得到绿色色调方向偏差的正切值tan_green可以由等式(2)表示：

tan_green＝abs((k_WGh’-k_WGh)/(1+k_WGh’*k_WGh)) 等式(2)

其中，abs表示求绝对值，绿色色调方向偏差符号或校正方向可以图中所示的方向(逆时针方向)确定。可以理解，红色色调方向偏差的正切值tan_red和蓝色色调方向偏差的正切值tan_blue也可以用同样的方法计算得到。换言之，色域空间被划分为三个区域，每个区域由色域空间的一个边界以及两种基色色调方向限定。根据原始色调坐标所在区域的不同，可以使用不同的基色色调方向来进行坐标校正。

仍参考图4所示，假设一个像素点的原始色调坐标为P₀，其位于绿色色调方向WGh与蓝色色调方向WBh之间，那么可以通过下述方式进一步确定该原始色调坐标相对于绿色色调方向与蓝色色调方向之间的偏离。

具体地，连接白点W和原始色调坐标P₀的直线WP₀与BT.2020边界的交点为a点，而与BT.709边界的交点为b点。假设P₀点校正后位于坐标P₁的位置。那么，P₁点对应的校正的目标色调方向WP₁可以利用线段Gha和线段Bha的比值(其反映了该目标色调方向WP₁分别趋近于绿色色调方向和趋近于蓝色色调方向的程度)对绿色色调方向偏差和蓝色色调方向偏差进行线性映射(类似于加权计算)得到。具体实现中可以利用该比值对方向偏差的正切值tan_green和tan_blue进行计算。在一些实施例中，可以以等式(3)的映射公式计算该偏离，但是本领域技术人员可以理解该线性映射公式仅仅是示例性的。

tan_d＝(tan_green*dist_Bh_a+tan_blue*dist_Gh_a)/(dist_Bh_a+dist_Gh_a) 等式(3)

其中，tan_d表示校正角度D(校正方向WP₁与原始方向WP₀之间的角度差)的正切值，dist_Bh_a表示线段Bha的长度，而dist_Gh_a表示线段Gha的长度。

在图4所示的示例中，原始色调坐标P₀位于绿色色调方向与蓝色色调方向之间，因此可以根据这两个基色色调方向来计算校正方向WP₁。如果某个像素的原始色调坐标位于色域空间的其他区域，也可以采用同样的方法基于对应的两个相邻基色色调方向来计算得到校正角度，在此不再赘述。

在得到校正角度D后，可以进一步采用下述等式(4)计算考虑了校正角度的校正色调坐标P₁，也即原始色调坐标P₀(u_p0,v_p0)被校正到图4所示的坐标P₁(u_p1,v_p1)。

u_p1＝(u_p0–u_w)*cosD–(v_p0–v_w)*sinD+u_w

v_p1＝(v_p0–v_w)*cosD+(u_p0–u_w)*sinD+v_w 等式(4)

其中，白点W的坐标为(u_w,v_w)，D为校正角度。等式(4)实质上是基于解析几何的一种计算方法。

参考图4所描述的的计算方法考虑了原始色调坐标相对于两个相邻基色色调方向的位置。在一些其他的实施例中，也可以仅考虑原始色调坐标相对于最接近的基色色调方向的位置来计算校正色调坐标。图5即示出了仅考虑原始色调坐标相对于一种基色色调方向的距离来计校正方向偏差的校正方法。

具体地，如图5所示，线段Wgb是经过白点W且垂直于BT.2020边界线GhBh的线段，点gb是垂足。类似地，线段Wgr和Wrb是经过白点W且与BT.2020另两条边界线GhRh和RhBh垂直的线段，而点gr和rb分别是对应的垂足。这3条线段将BT.2020的三角形区域划分为了3个区域Zg、Zr和Zb，分别与对应顶点颜色相对应。具体地，绿色区域Zg为白点W、绿色顶点Gh和其相邻的两个垂足gb以及gr这4点组成的四边形；红色区域Zr为白点W、红色顶点Rh和其相邻的两个垂足gr以及rb这4点组成的四边形；蓝色区域Zb为白点W、蓝色顶点Bh和其相邻的两个垂足rb以及gb这4点组成的四边形。由于绿色顶点对应的绿色色调方向偏差是顺时针方向，因此区域Zg中校正方向是按照顺时针方向进行色调校正；类似地，区域Zr中校正方向按照逆时针方向进行色调校正，而区域Zb中校正方向按照顺时针方向进行色调校正。

可以理解，在区域Zg中，与白点W距离相等的条件下，在直线WGh上的颜色的校正量是最大的，而随着像素颜色的原始色调坐标偏离直线WGh越远，则其需要的校正量也随之减少。此外，对于两个均位于直线WGh上的原始色调坐标时，距离白点W越近校正量也越小。当坐标位于垂线Wgb和Wgr时，所需校正角度应为0，即不需要进行色调校正。

以区域Zg为例，可以基于绿色色调方向偏差Dg、以及像素的原始色调坐标相对于直线Wgb或者Wgr的距离来计算校正角度D，进而根据校正角度D得到校正色调坐标。同理，在区域Zr和区域Zb中校正角度的计算方法相同。下面就具体说明在区域Zg中校正角度D的计算。

首先，与图4所示的实施例的方法相同，基于等式(1)和(2)以及类似方法得到绿色色调方向偏差的正切值tan_green、红色色调方向偏差的正切值tan_red和蓝色色调方向偏差的正切值tan_blue。

接着，根据等式(5)计算校正系数adj_coeff：

adj_coeff＝dist_p0_Wgb/dist_Gh_gb 等式(5)

其中，dist_p0_Wgb表示从原始色调坐标p₀到直线Wgb的距离，而dist_Gh_gb表示从绿色顶点Gh到点gb之间的距离。可以看出，原始色调坐标p₀到直线Wgb的距离越小，校正系数也越小。

再然后，根据等式(6)计算校正角度D的正切值tanD。

tanD＝tan_green*adj_coeff*adj_coeff 等式(6)

这样，确定校正角度D或其正切值后，与图4所示的实施例类似，可以利用等式(4)计算考虑了校正角度的校正色调坐标P₁，也即原始色调坐标P₀(u_p0,v_p0)被校正到图5所示的坐标P₁(u_p1,v_p1)。

在步骤306之后，在步骤308，对于原始图像中的每个像素，对其校正色调坐标进行色调映射，得到该像素在目标色域空间中的目标色调坐标。

具体地，经过色调校正后，就克服了色域压缩中可能存在的偏色问题，从而就可以对校正后的颜色进行色调映射，以得到所需的目标色调坐标。可以理解，在图1、4和5所示的示例中，原始色域空间是范围较大的BT.2020格式，而目标色域空间是范围较小的BT.709格式，因此色调映射实质上是色域压缩，也即目标色调坐标相对于原始色调坐标和校正色调坐标更靠近白点。在一些其他的实施例中，目标色域空间的范围可能大于原始色域空间，因此色调映射实质上是色域扩展，也即目标色调坐标相对于原始色调坐标和校正色调坐标远离白点。在下面的例子中，仍结合图1以色域压缩为例进行说明，但是本领域技术人员可以根据实际应用的具体情况进行处理。

参考图1所示，假设一个像素的校正色调坐标为P₁(u_p1,v_p1)，而直线WP₁与BT.709和BT.2020色域空间的对应边界的交点分别为a’(u_a’,v_a’)点和b’(u_b’,v_b’)点。这样可以得到线段Wa’和Wb’、WP₁。根据Wa’和Wb’、WP₁分别的长度，可以按照线性映射公式(7)来计算对应的目标色调坐标P₂(u_p2,v_p2)到白点W(u_W,v_W)的距离，进而结合直接WP₁的表达式来计算目标色调坐标P₂(u_p2,v_p2)的具体值。

WP₂＝Wb’*WP₁/Wa’ 等式(7)

在另一些实施例中，也可以通过非线性映射算法来将坐标P₁非线性地映射到BT.709色域空间的P₂点中。映射比率R可以采用下述方法来计算。

首先，计算第一压缩参数C₁。假设白点W与BT.2020色域空间边界上的a’点(u_a’,v_a’)点之间的距离为Wa’，白点W与BT.709色域空间边界上的b’点(u_b’,v_b’)之间的距离为Wb’，并且校正色域坐标P₁与白点W之间的距离为WP₁。那么，第一压缩参数C₁可以由等式(8)计算。

C₁＝Wa’/Wb’–1 等式(8)

r_WP₁＝WP₁/Wb’ 等式(9)

其中，r_WP₁表示P₁点相对于BT.709色域空间边界的位置，其大于1说明P₁点位于BT.709色域空间边界之外。因此，可以根据P₁点的相对位置采用不同的方式来进行映射。

具体地：

如果r_WP₁的值大于1+C₁，则映射比率R＝1；

如果r_WP₁的值小于1-C₂，则由等式(10)计算映射比率R如下：

R＝pix_dis–adivb*(C₂-bdisa)*(C₂-bdisa) 等式(10)

其中，参数adivb＝C₁/((C₂-C₁)*(C₂-C₁))，而参数bdisa＝sqrt(C₂*C₂+(C₁–C₂)*(r_WP₁+C₂-1))；参数pix_dis＝sqrt(Wa’/Wb’)。

如果1-C₂<r_WP₁<1+C₁，则映射比率R＝r_WP₁。

其中，第二压缩参数C₂可以由参考色调统计信息确定。在一些实施例中，可以由等式(11)计算第二压缩参数C₂：

C₂＝1-r_avg*coefficient 等式(11)

其中，r_avg表示超限像素的超限水平的统计平均值，而coefficient可以取值为一经验值，例如0.7。

在一些其他的实施例中，第二压缩参数C₂可以设置为预定值，例如典型值为0.15～0.2之间的值。在这种情况下，色调映射可以不参考色调统计信息。

可以理解，在确定映射比率后，可以通过映射比率R按照下述等式(12)计算目标色调坐标P₂(u_p2,v_p2)。

u_p2＝(u_b’-u_W)*R+u_W

v_p2＝(v_b’-v_W)*R+v_W 等式(12)

这样，一个像素的原始色调坐标P₀(u_p0,v_p0)即被校正并转换为目标色调坐标P₂(u_p2,v_p2)。在一些实施例中，可以对原始图像中的每个像素的原始色调坐标进行转换，从而将其转换为符合目标色域空间格式。

需要说明的是，上述色调转换主要涉及原始图像的色域空间格式的转换。在一些情况下，除了色域空间格式不同之外，原始图像的原始亮度格式也可能不同于目标图像(符合显示设备)的目标亮度格式。例如原始图像的亮度格式为高动态范围的HDR10格式，而目标图像的亮度格式为较低动态范围的SDR格式。在一些实施例中，本申请还提供了亮度格式转换的方法，其可以与图2或图3所示的色调转换方法同时或分别地使用。

图6示出了根据本申请一个实施例的图像处理方法600，其可以用于图像的亮度格式的转换。可以理解，对于视频图像，其不同帧图像可能具有不同的亮度统计，例如最大亮度值和平均亮度值。在一些优选的实施例中，可以对于所有帧图像的亮度转换采用相同的亮度映射公式或曲线。相应地，为了采用相同的亮度映射曲线，需要对每帧图像的亮度值预先进行归一化处理。

如图6所示，在步骤602，对原始图像中的像素进行亮度统计，以确定原始图像的最大亮度值与统计亮度值。

具体地，统计亮度值是反映整帧原始图像的整体亮度的参数，其可以是例如该帧原始图像的平均亮度值或亮度中位值。统计得到的最大亮度值和统计亮度值可以用于亮度值的归一化处理。之所以在亮度统计时除了使用最大亮度值外还使用了平均亮度值这种统计值，是因为考虑平均亮度值可以使得在原始图像亮度偏暗时仍取得较好的显示效果。可以理解，在一些其他的实施例中，也可以仅确定最大亮度值并基于该最大亮度值进行归一化处理。在图6所示的实施例中，亮度调整同时考虑了统计亮度值和最大亮度值。

接着，在步骤604，基于最大亮度值与统计亮度值对原始图像中的每个像素的原始亮度进行归一化处理。

在一些实施例中，每个像素的亮度值被归一化为0～1。进行归一化处理的原则是尽量使得计算得到的归一化最大亮度值max_value向原始图像的原始亮度格式中规定的原始亮度上限maxcontent(其例如典型值为1000)靠近，同时还使得归一化最大亮度值max_value与统计得到的原始图像本身的最大亮度值以及统计亮度值相关。具体地，在计算归一化最大亮度值max_value时，是以原始亮度上限maxcontent为基准来计算得到的，这是因为maxcontent是原始亮度格式中规定的能够被显示的最大亮度。因此，在一些实施例中，归一化处理中使用的归一化最大亮度值max_value的具体值与maxcontent接近，既不能比maxcontent的值小太多也不能大太多。在一些实施例中，可以将归一化最大亮度值max_value的值设定为处于0.8*maxcontent～2*maxcontent之间。可以理解，在一些其他的实施例中，归一化最大亮度值max_value可以被设定满足其他根据maxcontent定义的范围，例如0.7*maxcontent～2.1*maxcontent，本申请对此不做限制。

类似于归一化最大亮度值的设定，在一些实施例中，还可以进一步根据原始亮度上限maxcontent来定义多个不同的亮度阈值，并且根据这些亮度阈值与原始图像中的最大亮度值max_lum的不同比较结果来进行对应的归一化处理。例如，可以用原始亮度上限maxcontent定义第一亮度阈值threshold1和第二亮度阈值threshold2，其分别用于表示计算归一化最大亮度值max_value时的分段亮度阈值。

在一些实施例中，第一亮度阈值threshold1和第二亮度阈值threshold2可以分别由等式(13)和(14)表示。

threshold1＝maxcontent/coeff1 等式(13)

threshold2＝coeff2*maxcontent 等式(14)

其中coeff1和coeff2为预设的调节系数，选择不同的调节系数可以调整并设定第一亮度阈值范围。可以理解，可以根据实际需要来设定调节系数。在一些实施例中，coeff1优选为1.2，而coeff2优选为2.0，这大体对应于将归一化最大亮度值max_value设定为处于0.8*maxcontent～2*maxcontent之间的要求。相应地，threshold1<threshold2。

当统计得到的原始图像中的最大亮度值max_lum<＝threshold1时，可以根据等式(15)来计算归一化最大亮度值max_value如下：

max_value＝max_lum*coeff1 等式(15)

其中，可以进一步将max_value限制在threshold1～maxcontent之间，例如使得max_value满足下面的等式(16)

max_value＝max(threshold1,min(max_value,maxcontent)) 等式(16)

上面的计算可以看到当max_lum等于threshold1时，max_value正好等于maxcontent。

对于上述等式(15)和(16)的计算，可以看出，由于原始图像中的最大亮度值小于或等于第一亮度阈值，这说明原始图像的最大亮度值偏低，因此在进行归一化处理时希望将归一化最大亮度值max_value稍微提升一些，以便其向原始亮度上限maxcontent靠近。可以看出，调节系数coeff1的值越大，则说明需要提升的程度越大。

另一方面，如果原始图像中的最大亮度值max_lum相对较大，也即当threshold1<＝max_lum<threshold2时，则可以利用等式(17)计算归一化最大亮度值：

max_value＝maxcontent+(max_lum-maxcontent/coeff1)*coeff3 等式(17)

由于在threshold1<max_lum时最大值达到maxcontent，所以这时是在maxcontent的基础上增加一个增量作为调整值，这个增量包括(max_lum-maxcontent/coeff1)和coeff3两个部分的调节。具体地，对于第一部分(max_lum-maxcontent/coeff1)(参见第一亮度阈值的定义，其也可以表示为(max_lum-threshold1))，当max_lum等于threshold1时该第一部分的值是0；随着max_lum的增加，该第一部分的值增加。

对于增量第二部分的参数coeff3，其是一个可以调节的系数。当coeff3等于coeff1时，max_value与max_lum的关系实际上是一个没有分段的线性函数；但是如果coeff3不等于coeff1，那么这两个系数之间的比值实质上决定了max_lum大于第一亮度阈值情况下的斜率。在一些实施例中，coeff3可以是0.8～1.5。可以看出，通过提供coeff3可以提高算法本身的灵活性。

图7示出了归一化最大亮度值max_value随原始图像中最大亮度值max_lum的变化关系。从图7可以看出，max_value随max_lum的变化关系取决于coeff3与coeff1的比值。此外，参考图7以及等式(15)和(17),可以看出，coeff1可以调节max_lum小于threshold1时的斜率，而coeff3可以在coeff1的基础上进一步调节max_lum大于threshold1时的斜率。在一些实施例中，还需要考虑平均亮度值与最大亮度值之间的差异，并且基于该差异对上文中计算得到的归一化最大亮度值max_value进行校正。

具体地，原始图像中平均亮度值与最大亮度值之间的差异因子delta可以由等式(18)计算：

delta＝ln(lum_r/base_r)*coeff5 等式(18)

其中，平均亮度值avg_lum与最大亮度值max_lum之间的比率lum_r＝avg_lum/max_lum，base_r是一预设的调节系数。

具体地，lum_r的值越大，说明这时亮度最大值或者接近最大值像素在原始图像中出现的概率越大，所以归一化最大亮度值max_value在上述计算结果的基础上可以适当增加。相反，lum_r的值越小，说明亮度最大值或者接近最大值像素在原始图像中出现的概率越小，所以归一化最大亮度值max_value在上述计算结果的基础上可以适当减少。为此，在一些实施例中可以根据实际应用设置base_r值，并且结合以下等式(19)、(20)和(22)可以看出，如果lum_r值大于base_r就会使得max_value值增加，而如果lum_r小于base_r就会使得max_value值减少。

根据等式(18)可以看出，base_r的具体取值直接决定差异因子是正值还是负值，因此在具体实现时可以根据统计数据来调整base_r的取值。经统计发现，当lum_r等于0.2时，max_value值基本不需要做调节和校正，所以在一般应用中base_r值可以设置为0.2，当然在一些低亮度应用场景中这个值可以设置更小，同样在高亮度应用场景中可以设置更大。

coeff5是可调节的比例因子，用于调节ln(lum_r/base_r)值对于max_value值的影响程度，一般算法具有更大的灵活性。在一些实施例中，base_r的典型值为0.2，调节系数coeff5的典型值为200。

基于上述考虑，在一些实施例中，可以进一步结合差异因子delta来计算max_value。例如，以下述方案考虑差异因子来进行计算。

如果max_lum<＝threshold1，则

max_value＝max_lum*coeff1+delta 等式(19)

此外，max_value的值可以类似地按照等式(16)来限制。

如果threshold1<max_lum<＝threshold2，则

max_value＝maxcontent+(max_lum-maxcontent/coeff1)*coeff3+delta 等式(20)

同样地，在这种情况下，max_value的值可以按照下述等式(21)限制：

max_value＝min(max_value,threshold2) 等式(21)

如果max_lum>threshold2，则

max_value＝maxcontent*coeff4+delta 等式(22)

同样地，max_value的值可以按照等式(23)来限制。

max_value＝min(max_value,threshold2) 等式(23)

可以看出，coeff4和threshold2共同决定max_value的最大值。一般来说，coeff4的值应大于等于coeff2。coeff4可以表示当前归一化最大亮度值max_value的最大值的水平。

在确定归一化最大亮度值max_value之后，可以对原始图像中每个像素的亮度值Li(x,y)(x,y分别表示该像素在原始图像中的横坐标和纵坐标)进行归一化处理如下：

如果Li(x,y)>max_value，则归一化的亮度值Li’(x,y)＝1；

否则，归一化的亮度值Li’(x,y)＝Li(x,y)/max_value。

在确定归一化亮度值之后，在步骤606中，基于每个像素归一化的亮度值与目标图像允许的最大亮度值计算目标图像中每个像素的目标亮度。

具体地，可以采用全局映射函数对归一化的亮度值进行全局映射。该全局映射函数可以是如下的非线性映射公式(24)：

Li”(x,y)＝(Li’(x,y)*(Li’(x,y)*(a+curve_adj)+b))/(Li’(x,y)*(Li’(x,y)*(c+curve_adj)+d)+e) 等式(24)

其中，curve_adj＝ln(max_value/maxcontent)*coeff6，Li’(x,y)为输入的归一化的亮度值，Li”(x,y)为归一化的目标亮度。curve_adj是映射曲线的调节量，可以根据当前图像的max_value值对映射曲线做适当的微调，当然也可以采用其他代表图像整体亮度的统计值来进行微调。Coeff6是调节参数。maxcontent是原始图像的原始亮度上限。图8示出了全局映射曲线的一个示例。

可以理解，通过调节参数a，b，c，d，e的值就可以得到不同的映射效果，同时有(a+b)＝(c+d+e)(保证输入输出两端(0和1)对齐，不会超出0～1的范围)。a和c相差应该不太大，同时e的值越小越能保证在输入值较小时被放大得更多。利用调节量curve_adj，可以适当地根据当前的最大亮度值将映射曲线稍微向上提升(并且不会超出0～1的范围)，这可以使得这个曲线调节适应当前最大的亮度的变化。

在满足上述约束条件的情况下，a，b，c，d，e的取值可以根据经验和实际映射曲线的需要来进行调整。在一些实施例中，a＝3.64，b＝1.65，c＝3.19，d＝1.99，e＝0.11。此外，调节系数coeff6可以设定为50～70，coeff6的值越大则curve_adj的值越大，而curve_adj的值越大则映射曲线会向上提升(如图8所示曲线向上提升)。

可以理解，上述非线性映射公式(24)仅仅是可以采用的非线性映射方式中的一种，任何适合的非线性映射方式都可以用于计算归一化的亮度值。

在得到归一化的目标亮度后，进一步结合目标图像的目标亮度格式的目标亮度上限，即可计算确定目标图像的目标亮度。在一些实施例中，可以将每个归一化的亮度值(对应于每个像素)与目标亮度上限相乘，以得到目标亮度的具体值。

这样，通过该图6所示的步骤，原始图像的原始亮度格式可以被转换为目标图像的目标亮度格式。可以理解，在一些实施例中，图6所示的亮度格式转换方法可以独立于图2或图3所示的色域空间转换方法单独执行。

应当注意，尽管在上文详细描述中提及了图像处理方法和装置的若干步骤、子步骤或模块、子模块，但是这种划分仅仅是示例性的而非强制性的。实际上，根据本申请的实施例，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。

本技术领域的一般技术人员可以通过研究说明书、公开的内容及附图和所附的权利要求书，理解和实施对披露的实施方式的其他改变。在权利要求中，措词“包括”不排除其他的元素和步骤，并且措辞“一”、“一个”不排除复数。在本申请的实际应用中，一个零件可能执行权利要求中所引用的多个技术特征的功能。权利要求中的任何附图标记不应理解为对范围的限制。

Claims (10)

1.一种图像处理方法，用于将具有原始色域空间的原始图像转换为具有目标色域空间的目标图像，其特征在于，所述图像处理方法包括：

A)计算所述原始色域空间中的一组原始基色色调方向与所述目标色域空间中对应的一组目标基色色调方向之间的一组基色色调方向偏差，其中所述一组基色色调方向偏差中的每一个对应于一个基色；

B)对于所述原始图像中的每个像素，基于其在所述原始色域空间中的原始色调坐标相对于所述一组原始基色色调方向的偏离以及所述一组基色色调方向偏差确定所述像素的校正色调坐标；以及

C)对于所述原始图像中的每个像素，对其校正色调坐标进行色调映射，得到所述像素在所述目标色域空间中的目标色调坐标。

2.根据权利要求1所述的图像处理方法，其特征在于，所述步骤B包括：

基于相对于所述原始色域空间中每两个相邻基色的原始色调方向的位置，将所述原始色域空间划分为多个子色域空间；

对于每个子色域空间中的原始色调坐标，基于与所述子色域空间相关联的一个或两个原始基色色调方向以及对应的一个或两个基色色调方向偏差计算所述原始色调坐标的校正色调方向；以及

对于每个子色域空间中的原始色调坐标，基于所述原始色调坐标的校正色调方向与所述原始色调坐标计算所述原始色调坐标的校正色调坐标。

3.根据权利要求2所述的图像处理方法，其特征在于，所述子色域空间包括原始红色色调方向与原始蓝色色调方向限定的第一子色域空间、原始绿色色调方向与原始红色色调方向限定的第二子色域空间、以及原始绿色色调方向与原始蓝色色调方向限定的第三子色域空间。

4.根据权利要求2所述的图像处理方法，其特征在于，所述子色域空间包括与原始红色色调方向相邻的第一子色域空间、与原始绿色色调方向相邻的第二子色域空间、以及与原始蓝色色调方向相邻的第三子色域空间。

5.根据权利要求1所述的图像处理方法，其特征在于，所述步骤C包括：

对于所述原始图像中的每个像素，确定其原始色调坐标在所述原始色域空间中的校正色调方向；以及

对于所述原始图像中的每个像素，基于其原始色调坐标在所述校正色调方向上相对于所述原始色域空间的对应边界与所述目标色域空间的对应边界的相对位置，计算所述原始色调坐标在所述目标色域空间中的目标色调坐标。

6.根据权利要求5所述的图像处理方法，其特征在于，所述方法还包括：

D)对原始图像中像素的色调信息进行统计，以得到色调统计信息；

所述计算所述原始色调坐标在所述目标色域空间中的目标色调坐标的步骤还包括参考所述色调统计信息计算所述目标色调坐标。

7.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：

E)对于所述原始图像的每个像素的原始亮度进行调节，以将原始图像的原始亮度格式转换为目标图像的目标亮度格式。

8.根据权利要求7所述的图像处理方法，其特征在于，所述步骤D包括：

对所述原始图像中的像素进行亮度统计，以确定所述原始图像的最大亮度值与统计亮度值；

基于所述最大亮度值与所述统计亮度值对所述原始图像中的每个像素的原始亮度进行归一化处理；以及

基于每个像素归一化的亮度值与所述目标图像允许的最大亮度值计算所述目标图像中每个像素的目标亮度。

9.一种图像处理装置，用于将具有原始色域空间的原始图像转换为具有目标色域空间的目标图像，其特征在于，所述图像处理装置包括非暂态计算机存储介质，其上存储有一个或多个可执行指令，所述一个或多个可执行指令被处理器执行后执行下述步骤：

A)计算所述原始色域空间中的一组原始基色色调方向与所述目标色域空间中对应的一组目标基色色调方向之间的一组基色色调方向偏差，其中所述一组基色色调方向偏差中的每一个对应于一个基色；

B)对于所述原始图像中的每个像素，基于其在所述原始色域空间中的原始色调坐标相对于所述一组原始基色色调方向的偏离以及所述一组基色色调方向偏差确定所述像素的校正色调坐标；以及

C)对于所述原始图像中的每个像素，对其校正色调坐标进行色调映射，得到所述像素在所述目标色域空间中的目标色调坐标。

10.一种非暂态计算机存储介质，其上存储有一个或多个可执行指令，所述一个或多个可执行指令被处理器执行后执行图像处理方法，所述图像处理方法用于将具有原始色域空间的原始图像转换为具有目标色域空间的目标图像，其特征在于，所述图像处理方法包括下述步骤：

A)计算所述原始色域空间中的一组原始基色色调方向与所述目标色域空间中对应的一组目标基色色调方向之间的一组基色色调方向偏差，其中所述一组基色色调方向偏差中的每一个对应于一个基色；

B)对于所述原始图像中的每个像素，基于其在所述原始色域空间中的原始色调坐标相对于所述一组原始基色色调方向的偏离以及所述一组基色色调方向偏差确定所述像素的校正色调坐标；以及

C)对于所述原始图像中的每个像素，对其校正色调坐标进行色调映射，得到所述像素在所述目标色域空间中的目标色调坐标。

Images