[go: up one dir, main page]

CN115428006A - 用于确定色调映射曲线参数的编码器、解码器、系统和方法 - Google Patents

用于确定色调映射曲线参数的编码器、解码器、系统和方法 Download PDF

Info

Publication number
CN115428006A
CN115428006A CN202080099463.1A CN202080099463A CN115428006A CN 115428006 A CN115428006 A CN 115428006A CN 202080099463 A CN202080099463 A CN 202080099463A CN 115428006 A CN115428006 A CN 115428006A
Authority
CN
China
Prior art keywords
pair
anchor points
curve
anchor
anchor point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080099463.1A
Other languages
English (en)
Inventor
陈虎
王弋川
徐巍炜
余全合
伊蕾娜·亚历山德罗夫娜·阿尔希娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN115428006A publication Critical patent/CN115428006A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

本发明大体上涉及视频处理领域,更具体地涉及高动态范围(high dynamic range,HDR)视频和图像处理。特别地,本发明涉及确定色调映射曲线的一个或多个曲线参数。例如,一种设备(编码器或解码器)可以获取高动态范围(high dynamic range,HDR)视频帧和与所述HDR视频帧关联的元数据。所述设备还根据所述HDR视频帧和所述元数据获取一对锚点。所述一对锚点包括所述色调映射曲线的第一锚点和第二锚点。此外,所述设备可以根据所述一对锚点生成所述色调映射曲线的所述一个或多个曲线参数。

Description

用于确定色调映射曲线参数的编码器、解码器、系统和方法
技术领域
本发明大体上涉及视频处理领域,更具体地涉及高动态范围(high dynamicrange,HDR)视频和图像处理。为此,本发明公开了一种用于确定色调映射曲线的一个或多个曲线参数的方法、一种用于对HDR视频帧进行编码的编码器、一种用于对HDR视频帧进行解码的解码器以及一种包括编码器和解码器的系统。特别地,可以根据之前获取的一对锚点生成色调映射曲线的一个或多个曲线参数。
背景技术
通常,在数字成像中,动态范围可以指被拍摄场景的亮度范围、某一数码相机或胶片可以捕获的亮度范围的限制或显示器能够显示的亮度范围。
典型的现实世界场景的动态范围通常在10-3尼特和106尼特之间。相比之下,消费型显示器的动态范围通常小得多。如果希望在显示器上显示真实场景,因此通常需要将真实场景的高动态范围缩小到显示器的较低动态范围:此过程称为色调映射。色调映射通常是非线性映射过程。
在HDR图像和视频处理中,感知量化(Perception Quantization,PQ)曲线常常用于将尼特或cd/m2的光信号转换为0和1之间的电信号。典型PQ曲线的等式如下所示:
Figure BDA0003875838380000011
其中,L是线性域中的亮度值,范围为0尼特至10000尼特等,L可以是,例如R值(红色分量的亮度值)、G值(绿色分量的亮度值)或B值(蓝色分量的亮度值)或亮度分量Y。
L'表示PQ域中的电信号,并包括在范围[0,1]中或包括范围[0,1]内的值,该范围通常称为PQ值或PQ域中的值。
Figure BDA0003875838380000012
Figure BDA0003875838380000013
Figure BDA0003875838380000014
Figure BDA0003875838380000015
Figure BDA0003875838380000016
PQ传递函数的输入是线性域中的光信号,输出是PQ域中的电信号。因为存在一对一映射,如果不应用量化,输入值和输出值实际上是等效的。只有它们位于两个不同的域中,即线性域和PQ域。
此外,PQ电光转换函数(Electro-Optical Transfer Function,OETF)经常用于量化。线性域中的HDR图像首先传递到PQ域,然后量化到10位或12位。PQ域中的图像可以由编解码器压缩用于存储或传输。PQ域中的量化对人类视觉系统更均匀,因为人类视觉系统是非线性的。如果量化在线性域中进行,则感知失真将大得多。
用于进行音调映射的一些传统方法基于使用多个点来确定要使用的色调映射曲线。此外,一些传统方法基于在低光区域中使用第一曲线(例如,线性曲线)、在中间色调范围中使用第二曲线(例如,抛物线)和在高光区域中使用第三曲线(例如,线性曲线)。
然而,传统方法的一个问题是,不能自由选择点的值或各种色调映射曲线本身的不同部分,这在很大程度上限制了色调映射曲线最终形状的灵活性。
传统方法的另一个问题是,选择色调映射曲线的曲线参数相当困难。
因此,需要一种改进的色调映射方法。
发明内容
鉴于上述问题和缺点,本发明的实施例旨在改进用于色调映射的传统方法、编码器、解码器和系统。目的是提供一种用于确定色调映射曲线的一个或多个曲线参数的方法,以便获取适合于HDR视频帧的色调映射的改进的色调映射曲线。特别地,实施例可以更灵活地获取色调映射曲线的最终形状。此外,实施例提高了效率且节约了资源。
所述目的通过所附独立权利要求中描述的本发明实施例实现。从属权利要求中进一步定义了本发明实施例的有利实现方式。
特别地,本发明的实施例可以包括:获取一对锚点,对所述锚点进行微调,以及使用所述微调的锚点生成色调映射曲线的曲线参数。
本发明的第一方面提供了一种用于确定色调映射曲线的一个或多个曲线参数的方法。所述方法包括:获取HDR视频帧和与所述HDR视频帧关联的元数据;根据所述HDR视频帧和所述元数据,获取一对锚点,其中,所述一对锚点包括所述色调映射曲线的第一锚点和第二锚点;根据所述一对锚点,生成所述色调映射曲线的所述一个或多个曲线参数。
所述方法可以(例如,全部或部分)由编码器、解码器、包括编码器和解码器的系统、HDR系统、HDR电视(television,TV)、HDR颜色分级软件、HDR视频转码器等电子设备执行。
所述方法可用于确定所述色调映射曲线的所述一个或多个曲线参数。所述色调映射曲线可以是自适应HDR色调映射曲线。例如,所述色调映射曲线(例如,所述色调映射曲线的参数)可以针对不同的HDR视频帧自适应地确定。所述色调映射曲线可以表示输入亮度值(x坐标)到输出亮度值(y坐标值)的映射(例如,由解码器执行)。
本发明的色调映射曲线的示例可以是中国超高清视频工业联盟(China Ultra-HDVideo Industrial Alliance,CUVA)HDR标准的基本曲线。
此外,可以获取所述HDR视频帧和与所述HDR视频帧关联的所述元数据。例如,所述HDR视频帧可以在感知量化(Perceptual Quantizer,PQ)域中,或可以转换到所述PQ域。此外,与所述HDR视频帧关联的所述元数据可以从所述HDR视频帧导出或提取。所述元数据可以是或可以包括定义所述HDR帧的亮度特征的统计数据,例如从同一场景的HDR帧和/或其它HDR帧中导出或提取。
例如,所述映射曲线可以是所述CUVA HDR标准的基本曲线,所述元数据可以包括所述CUVA HDR标准中定义的“MinSource”值和“MaxSource”值。
在一些实施例中,所述方法还包括在所述PQ域中获取所述一对锚点。
总体而言,所述第一方面的方法提供了一种提高效率和节约资源的方式来获取色调映射曲线的一个或多个曲线参数,其中,所述曲线参数使得解码器能够获取可以对所述HDR视频帧进行色调映射优化的色调映射曲线。因此,可以获取用于对所述HDR视频帧进行色调映射的改进色调映射曲线。
在所述第一方面的一种实现方式中,所述获取一对锚点包括:获取多对(例如,至少两对、3对或4对)锚点;为所述多对锚点中的每对锚点生成分段线性曲线;根据每个分段线性曲线对所述HDR视频帧进行色调映射,以获取多个色调映射的HDR视频帧;根据所述多个色调映射的HDR视频帧,从所述多对锚点中选择用于生成所述一个或多个曲线参数的所述一对锚点。
例如,在一些实施例中,可以获取多对锚点(例如,至少两对锚点)。此外,可以根据每对锚点生成分段线性曲线,即可以生成至少两条分段线性曲线。此外,对于每个分段线性曲线,可以对所述HDR视频帧执行色调映射,从而可以获取至少两个色调映射的HDR视频帧。基于这些,例如,可以根据表示或指示使用分段线性曲线获取的色调映射的HDR帧中的每个HDR帧的质量度量的标准(例如,帧(特别是HDR帧)的局部对比度、颜色失真模型或感知质量模型),选择用于生成所述色调映射曲线的一对锚点。
在所述第一方面的一种实现方式中,所述获取一对锚点包括:获取多对(例如,至少两对、3对或4对)锚点;
为所述多对锚点中的每对锚点构建分段线性曲线;为所述多个分段线性曲线中的每个分段线性曲线估计所述HDR视频帧的局部对比度的变化;选择产生最高局部对比度的一对锚点。
在所述第一方面的一种实现方式中,所述获取一对锚点包括:获取多对(例如,至少两对、3对或4对)锚点,包括一对初始锚点;为所述多对锚点中的每对锚点构建分段线性曲线;估计通过使用所述一对初始锚点构建的所述分段线性曲线进行色调映射的HDR视频帧的局部对比度与所述多个分段线性曲线中的每个分段线性曲线的HDR视频帧的局部对比度相比的变化;选择产生最高局部对比度的一对锚点。
所述从所述多对锚点中选择用于生成所述曲线参数的一对锚点有助于改进所述色调映射曲线,例如,有助于确定色调映射曲线的一个或多个曲线参数,改善色调映射后所述HDR视频帧的感知质量,例如对比度。
在所述第一方面的另一种实现方式中,每对锚点的所述分段线性曲线将预定最小锚点与相应的第一锚点连接,将所述相应的第一锚点与相应的第二锚点连接,以及将所述相应的第二锚点与预定最大锚点连接。
在所述第一方面的另一种实现方式中,所述选择用于生成所述一个或多个曲线参数的一对锚点包括:为所述多个色调映射的HDR视频帧确定局部对比度,以获取多个局部对比度;根据所述多个局部对比度,从所述多对锚点中选择用于生成所述一个或多个曲线参数的所述一对锚点。
例如,可以为所述多个色调映射的HDR视频帧获取所述多个局部对比度(即,每个色调映射的HDR视频帧的局部对比度)。此外,可以选择产生最大或最高局部对比度的一对锚点(例如,所选择的一对锚点是用于获取具有最大局部对比度的色调映射的HDR视频帧的一对锚点)。
根据所述局部对比度从所述多对锚点中选择用于生成所述一个或多个曲线参数的所述一对锚点可以产生改进的色调映射曲线。
在所述第一方面的另一种实现方式中,所述获取多对锚点包括:获取一对初始锚点;根据所述一对初始锚点,获取多对其它锚点。
在一些实施例中,任何对的第二锚点的x和y坐标值总是大于相应的第一锚点的x和y坐标值。
在所述第一方面的另一种实现方式中,一对其它锚点的第一锚点的x坐标值与所述一对初始锚点的第一锚点的x坐标值相同;和/或所述一对其它锚点的第二锚点的x坐标值与所述一对初始锚点的第二锚点的x坐标值相同。
在所述第一方面的另一种实现方式中,所述一对其它锚点的所述第一锚点的y坐标值与所述一对初始锚点的所述第一锚点的y坐标值不同;和/或所述一对其它锚点的所述第二锚点的y坐标值与所述一对初始锚点的所述第二锚点的y坐标值相同。
在所述第一方面的另一种实现方式中,所述一对初始锚点的所述第一锚点的x坐标值在预定最小阈值和预定中心阈值之间的范围内选择;所述一对初始锚点的所述第二锚点的x坐标值在所述预定中心阈值和预定最大阈值之间的范围内选择。
在一些实施例中,所述预定最小阈值可以是例如人类视锥细胞仍然可以感知颜色的亮度值,以下也被称为“minCone”,并且特别地可以具有值0.15。
此外,所述预定中心阈值可以是例如HDR视频帧的最小人类肤色亮度值(以下也称为“midLight”),并且特别地可以具有值0.35。此外,所述预定最大阈值可以是例如漫射白色的亮度值(以下也称为“defusingLight”)作为上阈值。
通过如上所述选择初始锚点,可以获取改进的色调映射曲线。
在所述第一方面的另一种实现方式中,所述一对初始锚点的所述第一锚点的y坐标值等于所述一对初始锚点的所述第一锚点的x坐标值。
在所述第一方面的另一种实现方式中,所述一对初始锚点的所述第二锚点的y坐标值是根据所述HDR视频帧的亮度值直方图计算的。
例如,在一些实施例中,所述HDR视频帧的所述亮度值直方图可以是“minCone”和“maxSource”之间的像素的直方图。
在所述第一方面的另一种实现方式中,所述方法还包括:计算亮度值在所述预定最小阈值和所述预定最大阈值之间的像素数;将所述亮度值直方图的直方图元素的值与所述计算出的像素数进行比较;如果一个或多个直方图元素的值大于所述计算出的数量,则在所述一个或多个直方图元素中剪裁大于预定最大显示亮度值的像素亮度值,并且将所述第二锚点的y坐标值设置为属于所述一个或多个直方图元素的所有像素的亮度值的平均值,其中,所述一个或多个直方图元素的值大于所述计算出的像素数;和如果所述一个或多个直方图元素的值都不大于所述计算的数量,则在所述预定中心阈值和所述预定最大阈值之间裁剪像素的像素亮度值,并将所述第二锚点的y坐标值设置为所有像素的亮度值的平均值,其中,所述平均值在HDR视频帧的预定中心阈值和所述预定最大阈值之间。
在所述第一方面的另一种实现方式中,所述方法还包括:根据所述一个或多个曲线参数,生成所述色调映射曲线。
在所述第一方面的另一种实现方式中,所述映射曲线由以下等式给出:
Figure BDA0003875838380000051
其中,L是HDR视频帧的输入像素的亮度,m_n是第一值,特别地,m_n=1,m_m是第二值,特别地,m_m=2.4,m_b是预定的PQ值,m_p是亮度控制因子,m_a是定义输出像素的最大亮度的缩放因子,所述一个或多个曲线参数包括m_p和m_a。
在所述第一方面的另一种实现方式中,所述方法还包括:接收所述元数据和所述HDR视频帧。
在所述第一方面的另一种实现方式中,所述方法还将所述一个或多个曲线参数作为其它元数据传输。
在所述第一方面的另一种实现方式中,所述方法由编码器和/或解码器执行。
本发明的第二方面提供了一种用于对HDR视频帧进行编码的编码器,其中,所述编码器用于执行根据所述第一方面和/或所述第一方面的任一实现方式所述的方法。
所述第二方面的编码器实现了针对所述第一方面的方法描述的所有优点和效果。
本发明的第三方面提供了一种用于对HDR视频帧进行解码的解码器,其中,所述解码器用于执行根据所述第一方面和/或所述第一方面的任一实现方式所述的方法。
所述第三方面的解码器实现了针对所述第一方面的方法描述的所有优点和效果。
本发明的第四方面提供了一种用于生成色调映射曲线的系统,其中,所述系统包括根据第二方面和/或其任一实现方式所述的编码器和/或根据第三方面和/或其任一实现方式所述的解码器。
本发明的第五方面提供了一种计算机程序,其中,所述计算机程序包括程序代码,所述程序代码用于执行根据第一方面或其任一实现方式所述的方法。
本发明的第六方面提供了一种非瞬时性存储介质,存储可执行程序代码,当所述可执行程序代码由处理器执行时,执行根据第一方面和/或其任一实现方式所述的方法。
需要说明的是,本申请所描述的所有设备、元件、单元和模块可以在软件或硬件元件或其任何组合中实现。本申请中描述的各种实体所执行的步骤以及所描述的各种实体要执行的功能均意在指各个实体用于执行各个步骤和功能。即使在以下具体实施例的描述中,外部实体要执行的特定功能或步骤未反映在执行该特定步骤或功能的实体的特定详细元件的描述中,技术人员应清楚,这些方法和功能可以在相应的软件或硬件元件中实现,或以此类元件的任何种组合实现。
附图说明
结合所附附图,下面具体实施例的描述将阐述上述各方面及其实现方式,其中:
图1为本发明一个实施例提供的设备(特别是用于对HDR视频帧进行编码的编码器或用于对HDR视频帧进行解码的解码器)的示意图;
图2A至图2C为示例性色调映射曲线的图;
图3A和图3B为示例性元数据的图;
图4为编码器生成色调映射曲线的一个或多个曲线参数并将生成的曲线参数传输给解码器的方法的流程图;
图5为解码器生成色调映射曲线的一个或多个曲线参数的方法的流程图;
图6为选择用于生成色调映射曲线的一个或多个曲线参数的一对锚点的方法的流程图;
图7为获取第一初始锚点的示例的图;
图8为获取第二初始锚点(例如,一对初始锚点)的示例的图;
图9为一对锚点的生成的分段线性曲线的示例的图;
图10为根据基于分段线性曲线生成的曲线参数生成的色调映射曲线的示例的图(在比较中示出);
图11为本发明一个实施例提供的确定一个或多个曲线参数的方法的流程图;
图12示出了HDR动态色调映射过程的管道的示例。
具体实施方式
图1为本发明一个实施例提供的设备100的示意图。设备100可以是用于对HDR视频帧进行编码的编码器。或者,设备100可以是用于对HDR视频帧进行解码的解码器。还可以形成一种系统,包括至少一个这样的编码器和一个这样的解码器。设备100可用于执行用于生成色调映射曲线130的一个或多个曲线参数131、132的方法1100(也参见图11所示的示意图)。例如,曲线参数131和132可以分别是如上所述的参数m_a和m_p。色调映射曲线130可用于对HDR视频帧进行色调映射。需要说明的是,本发明实施例可以在图12所示的管道1200的块1201或1204中实现。特别地,方法1100可以在管道1200的块1201或1204中执行。
设备100用于获取HDR视频帧111和与HDR视频帧111关联的元数据112。例如,设备100可以分别接收元数据112和HDR视频帧111。然而,设备100也可以从HDR视频帧111中提取元数据112。需要说明的是,元数据112可以是动态元数据,即,元数据112可以从一个HDR视频帧111改变到另一个HDR视频帧111,和/或从HDR视频的一个场景改变到另一个场景。
设备100还用于获取一对锚点120。一对锚点120包括色调映射曲线130的第一锚点121和第二锚点122。特别地,设备100可以根据获取的HDR视频帧111和/或获取的元数据112获取一对锚点120。设备100还可以用于从多个锚点120中选择一对锚点120,例如,从多对候选锚点120中选择一对锚点120。如果一对锚点120用于近似色调映射曲线,并且根据近似的色调映射曲线执行色调映射操作,则可以根据提供最高局部对比度的一对锚点120进行选择。
此外,设备100用于根据一对锚点120生成色调映射曲线130的一个或多个曲线参数131、132(例如,曲线参数m_a和m_p)。一个或多个曲线参数131、132由此可以限定色调映射曲线130。
如果设备100是解码器,则还可以根据一个或多个曲线参数131、132(例如,曲线参数m_a和m_p)生成色调映射曲线130。此外,设备100然后可以使用生成的色调映射曲线130对HDR视频帧111执行色调映射。解码器或解码设备可以包括显示器,或者可以连接到显示器,并可以向显示器输出色调映射的HDR视频帧。
如果设备100是编码器,则可以传输一个或多个曲线参数131、132(例如,曲线参数m_a和m_p)作为其它元数据322b(参见图3和4中的示例,其它元数据也可以称为艺术元数据)。为此,设备100可以使用曲线参数131、132作为其它元数据322b,并可以将其它元数据322b包括在获取的元数据112中,以获取增强元数据,然后传输所述增强元数据。例如,可以传输到解码器,然后解码器可以从其它元数据322b中提取一个或多个曲线参数131、132,然后可以根据所述曲线参数生成色调映射曲线130。通常仅在显示HDR视频帧的时候需要生成色调映射曲线。因此,编码器还可以生成色调映射曲线,例如,在编码器或编码设备包括显示器或连接到显示器并将色调映射的HDR视频帧输出到显示器的情况下,但也可以仅确定色调映射曲线的一个或多个曲线参数(例如用于传输或存储),而不生成色调映射曲线或相应的色调映射的HDR视频。
需要说明的是,色调映射曲线130可以是下面描述的“菲尼克斯(phoenix)”色调映射曲线。
设备100(编码器或解码器)可以包括处理电路(图1中未示出),该处理电路用于执行、进行或启动本文所述的设备100的各种操作。处理电路可以包括硬件和软件。硬件可以包括模拟电路或数字电路,或模拟电路和数字电路两者。数字电路可以包括专用集成电路(application-specific integrated circuit,ASIC)、现场可编程门阵列(field-programmable gate array,FPGA)、数字信号处理器(digital signal processor,DSP)或多用途处理器等组件。在一个实施例中,处理电路包括一个或多个处理器和连接到一个或多个处理器的非瞬时性存储器。非瞬时性存储器可以携带可执行程序代码,该可执行程序代码当由一个或多个处理器执行时,使设备100执行、进行或启动本文描述的操作或方法。
特别地,设备100可以包括用于执行计算机程序的处理器,该计算机程序包括用于执行方法1100的程序代码,即用于控制设备100执行上述步骤。
参考图2A、图2B和图2C,示出了可以由解码器生成的色调映射曲线130的示例,特别是示出了PQ域中的示例性色调映射曲线130A、130B和130C(x轴或坐标:PQ域中的输入亮度,y轴或坐标:PQ域中的输出/色调映射亮度)。
获取的色调映射曲线130可以称为“菲尼克斯曲线”,并且可以由以下公式给出:
Figure BDA0003875838380000071
如上面在本发明的发明内容部分中所描述。色调映射曲线130可用于通过解码器对HDR视频帧111进行色调映射。
对于“菲尼克斯曲线”,参数“m_b”可以固定为最小显示亮度(PQ域中的最小显示亮度值,或者换句话说,最小显示亮度的PQ值),参数m_n可以为1,参数m_m可以为2.4。此外,两个剩余变量是参数m_a和m_p,它们可以是上文讨论的一个或多个曲线参数131和132或可以包括在其中。即,设备100可以用于生成色调映射曲线130的参数m_a和m_p。
需要说明的是,曲线参数m_p表示亮度控制因子(特别地,m_p的值越大表示映射的色调越亮)。此外,曲线参数m_a是控制输出像素(通过使用色调映射曲线130的色调映射获取)的最大输出亮度的缩放因子。
使用“菲尼克斯曲线”的其它实施例可以使用其它参数,例如,m_m可以在1至5的范围内,m_n可以在0.5至2的范围内。
实施例可以使用其它非线性色调映射曲线(除了“菲尼克斯曲线”),并通过具有两个自适应锚点的分段线性曲线近似非线性色调映射曲线,以确定这些其它非线性色调映射曲线的一对最佳锚点(例如,关于感知质量)。
色调映射曲线130可以在PQ域中生成。换句话说,色调映射曲线130的输入L和输出都可以参考PQ值。输入L的范围可以为0至1,其中,PQ值0在线性域为0尼特,PQ值1在线性域为10000尼特。此外,输出值的范围可以为0至等于或小于PQ域中最大显示亮度的PQ值。最小和最大显示亮度取决于实际显示器,可能因显示器而异。编码器和/或解码器的实施例知道或至少假定为其确定色调映射曲线的一个或多个参数的显示器的最小和最大显示亮度。
特别地,可以由解码器生成的示例性色调映射曲线130A、130B和130C(在图2A至图2C中示出)根据不同的最大输入亮度(例如,与HDR视频帧111相关)和最大显示亮度(例如,HDR视频帧111将被色调映射到的显示器的)来生成。此外,例如,m_p=5.0。色调映射曲线130A可以由解码器根据10000尼特的最大输入亮度和500尼特的最大显示亮度生成。此外,色调映射曲线130B可以由解码器根据10000尼特的最大输入亮度和1000尼特的最大显示亮度生成。此外,色调映射曲线130C可以由解码器根据4000尼特的最大输入亮度和1000尼特的最大显示亮度来生成。
现在参考图3A和图3B,示出了示例性元数据112的图。特别地,用于第一模式的元数据112如图3A所示,用于第二模式的元数据112如图3B所示。根据本发明实施例的方法1100可以在第一模式或第二模式下执行。因此,编码器和解码器可以在这些不同的模式下操作。例如,参考CUVA HDR标准,第一模式在下文中称为“自动模式”,第二模式在下文中可以称为“艺术模式”。在这两种模式中,一个或多个曲线参数131、132(例如,曲线参数m_a和m_p)可以根据HDR视频帧111和/或元数据112生成,如上所述。需要说明的是,“艺术模式”并不意味着曲线参数131和132的生成是手动完成的。传统上,在艺术模式中,一个或多个曲线参数可以手动设计并插入元数据112中。然而,根据本发明的实施例,曲线参数131、132(例如,曲线参数m_a和m_p)也可以通过设备100和/或方法1100在艺术模式下自动生成。因此,本发明中的表达“艺术模式”并不意味着人类艺术家或色彩师参与生成一个或多个曲线参数131、132。
·自动模式:模式标志tone_mapping_mode=0。
在第一模式中,获取的元数据112可以包括例如参考CUVA HDR标准在图3A中示出的“基本元数据”312。此外,一个或多个曲线参数131、132(例如,曲线参数m_a和m_p)可以根据基本元数据312(包括在元数据112中)计算,特别是在充当设备100的解码器中计算。基本元数据312可以包括典型的图像统计数据,例如,可以包括关于HDR视频帧111的最小亮度值、最大亮度值、平均亮度值和/或亮度值的方差(例如,HDR帧111)。基本元数据312可以包括可以足以计算曲线参数131和132(例如,曲线参数m_a和m_p)的最小参数集。例如,基本元数据312可以包括以下四个参数(参考CUVA HDR标准):
·minimum_maxrgb_pq:帧中所有像素的maxrgb值的最小值。值在PQ域中。
·average_maxrgb_pq:帧中所有像素的maxrgb值的平均值。
·variance_maxrgb_pq:帧内所有像素的maxrgb值的第90百分位数的maxrgb值与帧内所有maxrgb值的第10百分位数的差值。
·maximum_maxrgb_pq:帧中所有像素的maxrgb值的最大值。值在PQ域中。
其中,像素的maxrgb值是像素的R、G和B值中的最大值。值在PQ域中。上面给出的所有四个参数都是PQ域中的值(因此每个值的名称以_pq结尾)。
基本元数据312的这些参数可以由编码器发送并由解码器接收(例如,在编码器和解码器都在自动模式下操作的情况下),并且可以由解码器用作生成一个或多个曲线参数131、132的基础,即,首先根据基本元数据312获取一对锚点120,然后,如上所述,根据一对锚点120生成曲线参数131、132。
此外,元数据112可以可选地包括颜色元数据322a(例如颜色调整或加权因子)。在第一模式中,色调映射曲线130(例如,“phoenix”曲线)的一个或多个曲线参数131、132(例如,曲线参数m_a和m_p)可以根据元数据112的基本元数据312和可选地根据颜色元数据322a计算。
·艺术模式(模式标志tone_mapping_mode=1):
在所述第二模式中,一个或多个曲线参数131、132(例如,曲线参数m_a和m_p)可以在编码器处确定,然后可以被添加到元数据112(特别地,添加到基本元数据312,并且可选地也添加到颜色元数据322a),特别地,作为其它元数据322b。生成的曲线参数131、132(例如,曲线参数m_a和m_p)可以嵌入在元数据112中包括的其它元数据322b中。然后,元数据112以及因此也可以将其它元数据322b提供给解码器。解码器(在艺术模式下)可以直接从码流(例如,通过直接从码流解析艺术模式元数据)获取其它元数据(例如,一个或多个曲线参数131、132,例如曲线参数m_a和m_p),因此不需要确定一个或多个曲线参数131、132来自基本元数据和HDR视频帧。有助于降低解码器侧的复杂性和/或处理能力。
特别地,其它元数据322b可以被称为艺术模式元数据322b(参考CUVA HDR标准)。除了生成的色调映射曲线参数131、132(例如,计算的“菲尼克斯”曲线参数m_a、m_p)之外,其它元数据322b还可以包括三次样条参数,例如“TH1、TH2、TH3、TH_strength”。TH1和TH3是三次样条曲线起点和终点的x值。y值与菲尼克斯曲线上的相应点相同。此外,TH2是介于两者之间的x值。此外,TH_strength是TH2处三次样条曲线的y值,可以控制三次样条曲线的高度。在TH1和TH3的范围内,可以使用三次样条曲线,该曲线可以取代基本色调映射曲线(菲尼克斯曲线)。此外,可以支持非重叠范围内的一个或多个三次样条曲线。
解码器可以根据其它元数据322b生成色调映射曲线130。特别地,解码器可以使用其它元数据322b中包括的一个或多个曲线参数131、132(例如,曲线参数m_a和m_p)来生成色调映射曲线130。例如,解码器可以从其它元数据322b中提取一个或多个曲线参数131、132(例如,曲线参数m_a和m_p)。需要说明的是,解码器还可以丢弃包括在其它元数据322b中的这些曲线参数131、132,并且可以根据基本元数据312计算新的一个或多个曲线参数131、132(例如,在解码器不支持“艺术模式”的情况下)。
总之,第一模式(例如,自动模式)和第二模式(例如,艺术模式)之间的区别在于,在第一模式中,(元数据112的)基本元数据312被传输到解码器,并且解码器据此生成一个或多个曲线参数131、132。在第二模式中,一个或多个曲线参数131、132在编码器侧计算,并作为其它元数据322b嵌入元数据112中,并发送到解码器。
图4示出了本发明的实施例,其中,方法1100以第二模式(例如艺术模式)在编码器侧执行。特别地,图4示出了由编码器和解码器(可以是传统解码器)的系统执行的方法400的流程图,其中,编码器生成一个或多个曲线参数131、132,并将生成的一个或多个曲线参数131、132作为其它元数据322b传输到解码器。
在下文中,对系统进行示例性讨论方法400,其中,一些步骤(即步骤S401至S404)由编码器执行,一些步骤(即步骤S405和S406)由解码器执行,而不限制本公开。
在步骤S401中,编码器获取包括基本元数据312的元数据112。例如,编码器100可以获取(HDR视频源的)HDR帧111,并且可以从HDR视频帧111中提取元数据112,特别是基本元数据312。
例如,编码器由此可以获取以下参数中的一个或多个:最大显示亮度MaxDisplay(PQ值);最小显示亮度MinDisplay(PQ值);当前HDR视频帧111的RGB域像素缓冲区f[Nframe][3]。f[Nframe][3]可以是二维数组,其中,Nframe是当前HDR视频帧111中的像素数,3表示3个颜色通道,即R、G、B。例如,f[11][0]可以是光栅扫描顺序中的第12个像素的R值,f[11][1]为G,f[11][2]为B。
在步骤S402中,编码器获取如上所述的一对锚点120(下面进一步给出如何获取/选择一对锚点120的更详细的描述)。例如,编码器可以计算包括上述第一锚点121和第二锚点122的两个锚点。如下面所解释的,编码器可以选择一对锚点120,可以对一对锚点120进行微调(例如,根据产生最高局部对比度的色调映射)。
在步骤S403中,编码器根据一对锚点120生成色调映射曲线130的一个或多个曲线参数131、132(例如,曲线参数m_a和m_p)。例如,编码器可以根据一对锚点120计算针对上述菲尼克斯曲线的曲线参数m_a和m_p。
在另一个示例中,编码器可以生成曲线参数集Ptone_mapping,包括以下参数中的一个或多个(如上所述的参数):m_p、m_m、m_n、m_b、K1、K2、K3。然而,m_p和m_a可以是重要的,其它参数可以都是预设的(m_m:2.4;m_n:1;K1、K2、K3都是1)。
在步骤S404中,编码器获取/生成包括其它元数据322b的增强元数据112。例如,编码器可以将其它元数据322b(这里示例性地称为艺术模式元数据)嵌入元数据112中,即,将其添加到基本元数据312中。其它元数据322b包括一个或多个曲线参数131、132(例如,曲线参数m_a和m_p)。此外,编码器可以将包括基本元数据312和其它元数据322b的增强元数据112传输到解码器。
在步骤S405中,解码器获取曲线参数131、132。例如,解码器可以从获取的增强元数据112,特别地,从其它元数据322b提取一个或多个曲线参数131、132(例如,参数m_a和m_p)。
在步骤S406中,解码器生成色调映射曲线130。例如,解码器可以根据曲线参数131、132(在步骤S405中获取)生成色调映射曲线130。例如,解码器可以根据m_a和m_p生成菲尼克斯曲线作为一个或多个曲线参数131、132。
图5示出了本发明的另一个实施例,其中,方法1100以第一模式(例如自动模式)在解码器侧执行。特别地,图5示出了由编码器(可以是传统编码器)和解码器的系统执行的方法500的流程图,其中,解码器生成一个或多个曲线参数131、132(例如,曲线参数m_a和m_p)。
在下文中,对系统进行示例性讨论方法500,其中,步骤S501由编码器执行,步骤S502至S504)由解码器执行,而不限制本公开。
在步骤S501中,编码器获取元数据112。例如,编码器可以(从HDR视频源)获取HDR帧111,并且可以从HDR视频视频帧111中提取元数据112,特别是基本元数据312。然后,编码器可以向解码器提供元数据112和HDR视频帧111。即,解码器可以接收元数据112和HDR视频帧111。
在步骤S502中,解码器获取一对锚点120。例如,解码器可以根据接收的HDR视频帧111和/或基本元数据312获取一对锚点120。一对锚点120可以包括第一锚点121和第二锚点122。如下面所解释的,编码器可以选择一对锚点120,可以对一对锚点120进行微调(例如,根据产生最高局部对比度的色调映射)。
在步骤S503中,解码器根据一对锚点120生成色调映射曲线130的一个或多个曲线参数131、132(例如,曲线参数m_a和m_p)。例如,解码器200可以根据一对锚点120计算菲尼克斯曲线的曲线参数m_a和m_p。
在步骤S504中,解码器可以生成色调映射曲线130。例如,解码器可以根据获取的曲线参数m_a和m_p生成色调映射曲线130,即,解码器可以生成如上所述的菲尼克斯曲线。
关于图4与图5相比,例如,由于视频压缩,解码器侧的HDR视频帧111可以与编码器侧的HDR视频帧111不同。在编码器侧,方法1100可以在编码之前执行,因此可以处理原始HDR视频帧111。在编码器侧执行方法1100可以降低复杂性(仅在编码器侧执行一次,而不是在每个解码器侧执行一次,并且还可以提供更好的参数,从而提供更好的质量,因为它可以使用原始HDR视频帧来确定一个或多个曲线参数)。然而,在解码器侧,可以通过方法1100对编码和压缩的HDR视频帧111进行解码和处理。
现在参考图6,示出了如上所述的用于确定用于生成一个或多个曲线参数131、132(例如曲线参数m_a和m_p)的一对锚点120的示例性方法600的流程图。特别地,方法600描述了选择一对锚点120,并微调一对锚点120(例如,根据产生最高局部对比度的色调映射)的示例,如上所述。用于生成一个或多个曲线参数131、132(例如,曲线参数m_a和m_p)的一对锚点120是从多对锚点120中选择的。一般来说,方法600包括获取多对锚点120(通过设备100);为多对锚点120中的每对锚点生成分段线性曲线901;根据每个分段线性曲线901对HDR视频帧111进行色调映射,获取多个色调映射的HDR视频帧;根据多个色调映射的HDR视频帧,从多对锚点120中选择用于生成一个或多个曲线参数131、132(例如,曲线参数m_a和m_p)的一对锚点120。
方法600可以由编码器或解码器执行。在下文中,方法600被示例性地讨论为通常由设备100执行的方法(例如,图1中所示),而不限制本公开。
在步骤S601a和S601b中,设备100获取一对初始锚点120,特别是初始锚点1(即,第一初始锚点121)和初始锚点2(即,第二初始锚点122)。
图7为获取的第一初始锚点121的示例的图。
例如,第一初始锚点121的y坐标值可以等于第一初始锚点121的x坐标值。第一初始锚点121的x坐标值可以在预定最小阈值和预定中心阈值之间的范围内选择。
特别地,第一初始锚点121可以表示为(L3,F3N),L3是x坐标值,F3N是第一初始锚点的y坐标值。因此,在一个实施例中,L3可以等于元数据112中的Average_dark的值(PQ值),F3N可以等于目标显示器的Perceptual_dark的值(PQ值)。在另一个实施例中,L3和F3N值相等,并且可以使用以下公式计算:
对于(minCone,midLight)中的所有f[i],
Figure BDA0003875838380000111
其中,f[i]是f[i][0]、f[i][1]和f[i][2]中的最大值,换句话说,第i个像素的R、G、B值或第i个像素的maxRGB值中的最大值。在此,仅考虑在minCone(即,最小阈值)和midLight(即,中心阈值)之间的f[i]值,并且Nframe是指具有maxRGB值在minCone和midLight之间的像素数。此外,minCone的值可以是0.15,即亮度范围的下阈值的PQ值,其中,人类视觉系统的锥细胞可以感知颜色。此外,midLight的值可以为0.35,即BT2408标准中建议的肤色亮度范围的下限。
实施例可以用于使用表示或考虑人类视觉系统或人类视觉感知的特征的预定阈值。例如,最小阈值可以设置为阈值亮度水平,低于该阈值亮度水平,人类视觉系统的锥细胞不再感知更多的颜色(例如minCone),从而提供更少的信息。因此,第一锚点被选择为大于最小阈值,例如大于minCone。中心阈值和最大阈值可以被选择与颜色感知相关。例如,中心阈值可以设置为代表人类肤色或用于人类肤色的值,例如,设置为人类肤色的较低阈值(例如,midLight),并且最大阈值可以设置为代表白色的值(例如,defusingLight)。因此,在这两个值之间选择第二锚点,以便肤色和白色更好地由第二锚点控制。在一个实施例中,最小阈值可以设置为minCone,中心阈值可以设置为midLight,最大阈值可以设置为defusingLight。其它实施例可以仅使用上述阈值和/或其它阈值中的一个或多个。
图8示出了获取的一对初始锚点120的示例的图,所述一对初始锚点包括第一初始锚点121和第二初始锚点122。第二初始锚点122的x坐标值可以在预定中心阈值和预定最大阈值之间的范围内选择。
特别地,第二初始锚点122可以表示为[M1,N1N],M1是x坐标值,N1N是第二初始锚点的y坐标值。M1可以等于元数据112中的average_midLight(PQ值),并且可以通过对midLight(即,中心阈值)和defusingLight(即,最大阈值)范围内的所有maxRGB值进行平均来计算。此外,defusingLight=midLight+(MaxSource–midLight)*比率,其中,该比率可以预设为4/6。此外,MaxSource可以是源图像(HDR视频帧111)的maxRGB值的最大值。MinSource可以是源图像(HDR视频帧111)的maxRGB值的最小值。defusingLight的值的计算可以基于消散白光范围的下阈值,例如,BT2048标准中建议的。
此外,可以根据HDR视频帧111的亮度值直方图计算第二初始锚点122的y坐标值。
特别地,N1N可以是Perceptual_midLight的值(PQ值),并且可以根据(midLight,defusingLight)范围内的所有maxRGB值的直方图计算,具体可以计算如下。
首先,设备100可以计算(minCone,MaxSource)范围内的maxRGB值的直方图,直方图元素大小可以设置为(MaxSource–minCone)*V/U,其中U和V为正整数,U建议为6,V小于或等于3。此外,设备100可以计算具有maxRGB值在(midLight,defusingLight)范围内的像素数,并将其命名为Half_Num。此外,如果直方图元素的样本数大于Half_Num,则所述元素称为HISA元素。
在此,HISA元素代表直方图的峰值部分。换句话说,与其它元素相比,HISA元素包括更大部分的像素。因此,如果存在HISA元素,它比其它元素更重要,因为HISA元素包括的像素要多得多。因此,锚点计算是基于HISA元素中的像素。如果不存在HISA元素,这意味着直方图是平坦的,所有元素都包括相似数量的像素,没有元素比其它元素更重要。在这种情况下,锚点2的计算不是针对特定的直方图元素定向的,而是基于midLight和defusingLight之间的所有像素。
其次,设备100可以根据HISA元素计算N1N。如果存在一个或多个HISA元素,如下所示:
对于(midLight,defusingLight以及HISA元素中)的所有f[i],
Figure BDA0003875838380000121
Figure BDA0003875838380000122
然而,如果不存在HISA元素,则系统300计算N1N如下:
对于(midLight,defusingLightH)中的所有f[i],
Figure BDA0003875838380000123
Figure BDA0003875838380000131
其中,difusingLightH=midLight+(MaxSource-midLight)*ratioH,建议ratioH为5/6。
通常,在一个实施例中,设备100可以计算亮度值在预定最小阈值和预定最大阈值之间的像素数。此外,设备100可以将亮度值直方图的直方图元素的值与计算出的像素数进行比较。然后,如果一个或多个直方图元素的值大于计算出的数量,则在一个或多个直方图元素中剪裁大于预定最大显示亮度值的像素亮度值,并且将第二锚点的y坐标值设置为属于一个或多个直方图元素的所有像素的亮度值的平均值,其中,所述一个或多个直方图元素的值大于计算出的像素数;并且,如果一个或多个直方图元素的值都不大于计算的数量,则在预定中心阈值和预定最大阈值之间裁剪像素的像素亮度值,并将第二锚点的y坐标值设置为所有像素的亮度值的平均值,其中,所述平均值在HDR视频帧111的预定中心阈值和预定最大阈值之间。
在步骤S602中,设备100计算第一锚点121和第二锚点122的一个或多个其它候选锚点,即,一对或多对其它锚点120。特别地,设备100可以根据一对初始锚点120获取一对或多对其它锚点120。
例如,设备100可以获取表示为(M1,N1N-M1*MaxDisplay*E/(MaxSource*10))的第二锚点122的其它候选锚点,并且可以获取表示为(L3,F3N*MaxDisplay*F/(MaxSource*10))的第一锚点121的其它候选锚点。设备100可以选择不同的E值和F值,以获取更多对候选锚点120。E的取值范围可以在[1,20]之间,F的取值范围可以在[1,10]之间。
当(由设备100)选择其它锚点121、122时,一对其它锚点120的第一锚点121的x坐标值可以与第一初始锚点121的x坐标值相同,和/或一对其它锚点120的第二锚点122的x坐标值可以与一对初始锚点的第二初始锚点122的x坐标值相同。
此外,一对其它锚点120的第一锚点121的y坐标值可以与第一初始锚点121的y坐标值不同,和/或一对锚点120的第二锚点122的y坐标值可以与第二初始锚点122的y坐标值相同。
在步骤S603中,设备100为多对锚点120中的每对锚点生成分段线性曲线901,即对于多对锚点120中的每对锚点,包括一对初始锚点120和一对或多对其它锚点120。图9为一对锚点120的生成的分段线性曲线901的示例的图。
因此,每对锚点120的分段线性曲线901将预定最小锚点902与相应的第一锚点121连接,将所述相应的第一锚点121与相应的第二锚点122连接,以及将所述相应的第二锚点122与预定最大锚点902连接。
例如,设备100可以与(minSource,minDisplay)(即最小锚点902)和(maxSource,maxDisplay)(即最大锚点902)一起选择一对候选锚点121、122,以生成这对锚点120的分段线性曲线901。所述分段线性曲线901可用作近似最终色调映射曲线130的候选曲线。
在步骤S604中,设备100使用分段线性曲线901进行色调映射,并计算局部对比度。一般来说,设备100可以根据每个分段线性曲线901对HDR视频帧111进行色调映射,获取多个色调映射的HDR视频帧。设备100还可以为多个色调映射的HDR视频帧中的每个帧确定局部对比度以获取多个局部对比度。
例如,E和F的不同值可以产生不同的多对锚点120,从而产生不同的分段线性曲线901。此外,可以使用每个分段线性曲线901对当前HDR视频帧111进行色调映射,并计算局部对比度。可以为色调映射HDR视频帧计算局部对比度,如下所示:
(1)设备100可以将色调映射的HDR视频帧划分为更小的块(patch)。块大小可以是8×8、16×16、32×32或64×64。
(2)设备100可以为每个图像块计算所有像素的最大maxRGB值和所有像素的最小maxRGB,并且局部对比度是最大值和最小值之间的差。
(3)设备100可以对所有块的局部对比度进行平均,并可以选择平均值作为色调映射的HDR视频帧的局部对比度值。
在步骤S605中,设备100接着可以根据多个色调映射的HDR视频帧(特别地,根据多个局部对比度),从多对锚点120中选择用于生成一个或多个曲线参数131、132(例如,曲线参数m_a和m_p)的一对锚点120。例如,设备100可以选择产生最高局部对比度的一对锚点120。
例如,设备100可以分别选择产生色调映射的HDR视频帧的最大局部对比度的值E和值F,并计算最终锚点121和122,即[L3,F3]、[M1,N1]。
在步骤S606中,设备100可以获取色调映射曲线130的一些预设参数。
在步骤S607中,设备100计算曲线参数131、132,例如,设备100可以计算色调映射曲线130的参数m_p和m_a。
例如,设备100可以使用选定的一对锚点[L3,F3]和[M1,N1],以及以下公式来计算m_a和m_p:
Figure BDA0003875838380000141
Figure BDA0003875838380000142
其中,m_m可以预设为2.4。
此外,设备100可以生成色调映射曲线130。根据一个或多个曲线参数131、132,生成色调映射曲线130。可选地,设备100还可以发送色调映射曲线130的预设参数。
为了对比,图10示出了根据一个或多个生成的曲线参数131、132生成的色调映射曲线130,并且示出了根据选定的一对锚点121生成的分段线性曲线901,从该分段线性曲线901生成一个或多个曲线参数131、132。
图11示出了本发明实施例提供的确定一个或多个曲线参数131、132的方/1100的流程图。方法1100可以由设备100(即,上文所述的编码器或解码器)执行。
方法1100包括步骤S1101:获取HDR视频帧111和与HDR视频帧111关联的元数据112。
方法1100还包括步骤S1102:根据HDR视频帧111和元数据112,获取一对锚点120,其中,所述一对锚点120包括色调映射曲线130的第一锚点121和第二锚点122。
方法1100还包括步骤S1103:根据所述一对锚点120,生成色调映射曲线130的一个或多个曲线参数131、132。例如,一个或多个曲线参数131、132可以分别是曲线参数m_a和m_p。
图12示出了HDR动态色调映射过程的信号处理管道1200的示例。系统的输入是HDR视频,例如,aHDR视频的HDR视频帧。一般来说,此HDR视频可以是后期制作阶段的输出,在后期制作阶段,调色师使用颜色分级系统编辑视频,以获得更好的质量或某些艺术意图。HDR视频峰值亮度较高,通常为1000尼特或2000尼特,在不久的将来为4000尼特或10000尼特。此外,视频的像素值在PQ域中。
在HDR预处理块1201中,HDR视频保持与输入相同。但是,元数据是可计算的。此外,在HDR视频编码块1202中,HDR视频被压缩,例如通过视频编解码器,例如根据H.265或任何其它视频标准(国家、国际或专有)的视频编解码器。此外,元数据嵌入在视频流的报头中,视频流从编码器发送到解码器(或存储在存储介质上,供解码器稍后检索)。在HDR视频解码块1203中,解码器接收HDR视频码流,解码压缩视频,并从报头中提取元数据。
此外,在HDR动态色调映射块1204中,进行色调映射,以使HDR视频适应显示容量。
已经结合作为示例的各种实施例以及实现方式描述了本发明。但是,根据对附图、本发明和独立权利要求的研究,本领域技术人员在实践所要求保护的发明时,能够理解和实现其它变型。在权利要求书以及说明书中,词语“包括”不排除其它元件或步骤,“一”不排除多个元件或步骤。单个元件或其它单元可满足权利要求中描述的若干实体或项目的功能。在仅凭某些措施被记载在相互不同的从属权利要求书中这个单纯的事实并不意味着这些措施的结合不能被有效地使用。

Claims (20)

1.一种用于确定色调映射曲线(130)的一个或多个曲线参数(131、132)的方法(1100),其特征在于,所述方法包括:
获取(S1101)高动态范围(high dynamic range,HDR)视频帧(111)和与所述HDR视频帧(111)关联的元数据(112);
根据所述HDR视频帧(111)和所述元数据(112),获取(S1102)一对锚点(120),其中,所述一对锚点(120)包括所述色调映射曲线(130)的第一锚点(121)和第二锚点(122);
根据所述一对锚点(120),生成(S1103)所述色调映射曲线(130)的所述一个或多个曲线参数(131、132)。
2.根据权利要求1所述的方法(1100),其特征在于,所述获取一对锚点(120)包括:
获取多对锚点(120);
为所述多对锚点(120)中的每对锚点生成分段线性曲线(901);
根据每个分段线性曲线(901)对所述HDR视频帧(111)进行色调映射,以获取多个色调映射的HDR视频帧;
根据所述多个色调映射的HDR视频帧,从所述多对锚点(120)中选择用于生成所述一个或多个曲线参数(131、132)的所述一对锚点(120)。
3.根据权利要求2所述的方法(1100),其特征在于,每对锚点(120)的所述分段线性曲线(901)将预定的最小锚点(902)与相应的第一锚点(121)连接,所述相应的第一锚点(121)与相应的第二锚点(122)连接,以及将所述相应的第二锚点(122)与预定的最大锚点(903)连接。
4.根据权利要求2或3所述的方法(1100),其特征在于,所述选择用于生成所述一个或多个曲线参数(131、132)的所述一对锚点(120)包括:
为所述多个色调映射的HDR视频帧中的每个视频帧确定局部对比度,以获取多个局部对比度;
根据所述多个局部对比度,从所述多对锚点(120)中选择用于生成所述一个或多个曲线参数(131、132)的所述一对锚点(120)。
5.根据权利要求2至4中任一项所述的方法(1100),其特征在于,所述获取多对锚点(120)包括:
获取一对初始锚点(120);
根据所述一对初始锚点(120),获取多对其它锚点(120)。
6.根据权利要求5所述的方法(1100),其特征在于,一对其它锚点(120)的第一锚点(121)的x坐标值与所述一对初始锚点(120)的第一锚点(121)的x坐标值相同;和/或
所述一对其它锚点(120)的第二锚点(122)的x坐标值与所述一对初始锚点(120)的第二锚点(122)的x坐标值相同。
7.根据权利要求6所述的方法(1100),其特征在于,所述一对其它锚点(120)的所述第一锚点(121)的y坐标值与所述一对初始锚点(120)的所述第一锚点(121)的y坐标值不同;和/或
所述一对其它锚点(120)的所述第二锚点(122)的y坐标值与所述一对初始锚点(120)的所述第二锚点(122)的y坐标值相同。
8.根据权利要求5至7中任一项所述的方法(1100),其特征在于,所述一对初始锚点(120)的所述第一锚点(121)的x坐标值在预定最小阈值和预定中心阈值之间的范围内选择;和/或
所述一对初始锚点(120)的所述第二锚点(122)的x坐标值在所述预定中心阈值和预定最大阈值之间的范围内选择。
9.根据权利要求8所述的方法(1100),其特征在于,所述一对初始锚点(120)的所述第一锚点(121)的y坐标值等于所述一对初始锚点(120)的所述第一锚点(121)的x坐标值。
10.根据权利要求8或9所述的方法(1100),其特征在于,所述一对初始锚点(120)的所述第二锚点(122)的y坐标值是根据所述HDR视频帧(111)的亮度值直方图计算的。
11.根据权利要求8至10中任一项所述的方法(1100),其特征在于,所述方法(1100)包括:
计算亮度值在所述预定最小阈值和所述预定最大阈值之间的像素数;
将所述亮度值直方图的直方图元素的值与所述计算出的像素数进行比较;
如果一个或多个直方图元素的值大于所述计算出的像素数,在所述一个或多个直方图元素中剪裁大于预定的最大显示亮度值的像素亮度值,并且将所述第二锚点的y坐标值设置为属于所述一个或多个直方图元素的所有像素的亮度值的平均值,其中,所述一个或多个直方图元素的值大于所述计算出的像素数;
如果所述一个或多个直方图元素的值都不大于所述计算出的像素数,在所述预定中心阈值和所述预定最大阈值之间裁剪像素的像素亮度值,并将所述第二锚点的y坐标值设置为所有像素的亮度值的平均值,其中,所述平均值在HDR视频帧(111)的预定中心阈值和所述预定最大阈值之间。
12.根据权利要求1至11中任一项所述的方法(1100),其特征在于,还包括:
根据所述一个或多个曲线参数(131、132),生成所述色调映射曲线(130)。
13.根据权利要求1至12中任一项所述的方法(1100),其特征在于,所述色调映射曲线(130)由以下等式给出:
Figure FDA0003875838370000021
其中,L是HDR视频帧的输入像素的亮度,m_n是第一值,特别地,m_n=1,m_m是第二值,特别地,m_m=2.4,m_b是预定的感知量化(perception quantization,PQ)值,m_p是亮度控制因子,m_a是定义输出像素的最大亮度的缩放因子,所述一个或多个曲线参数包括m_p和m_a。
14.根据权利要求1至13中任一项所述的方法(1100),其特征在于,所述方法(1100)包括:
接收所述元数据(112)和所述HDR视频帧(111)。
15.根据权利要求1至14中任一项所述的方法(1100),其特征在于,所述方法包括:
将所述一个或多个曲线参数(131、132)作为其它元数据(322b)传输。
16.根据权利要求1至15中任一项所述的方法(1100),其特征在于,
所述方法(1100)由一种编码器(100)和/或一种解码器(100)执行。
17.一种用于对HDR视频帧进行编码的编码器(100),其特征在于,所述编码器(100)用于执行根据权利要求1至11和13至15中任一项所述的方法(1100)。
18.一种用于对HDR视频帧进行解码的解码器(100),其特征在于,所述解码器(100)用于执行根据权利要求1至14中任一项所述的方法(1100)。
19.一种用于生成色调映射曲线的系统,其特征在于,所述系统包括:
根据权利要求17所述的编码器(100);
根据权利要求18所述的解码器(100)。
20.一种包括程序代码的计算机程序,其特征在于,当所述程序代码由处理器执行时,所述程序代码用于执行根据权利要求1至16中任一项所述的方法(1100)。
CN202080099463.1A 2020-05-08 2020-05-08 用于确定色调映射曲线参数的编码器、解码器、系统和方法 Pending CN115428006A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/089134 WO2021223205A1 (en) 2020-05-08 2020-05-08 Encoder, decoder, system, and method for determining tone mapping curve parameters

Publications (1)

Publication Number Publication Date
CN115428006A true CN115428006A (zh) 2022-12-02

Family

ID=78467683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080099463.1A Pending CN115428006A (zh) 2020-05-08 2020-05-08 用于确定色调映射曲线参数的编码器、解码器、系统和方法

Country Status (6)

Country Link
US (1) US20230057829A1 (zh)
EP (1) EP4028987B1 (zh)
JP (2) JP7476354B2 (zh)
KR (1) KR102727392B1 (zh)
CN (1) CN115428006A (zh)
WO (1) WO2021223205A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020036790A (ja) * 2018-09-05 2020-03-12 株式会社三洋物産 遊技機
JP2020036791A (ja) * 2018-09-05 2020-03-12 株式会社三洋物産 遊技機
JP2020036793A (ja) * 2018-09-05 2020-03-12 株式会社三洋物産 遊技機
EP4028987B1 (en) * 2020-05-08 2025-07-09 Huawei Technologies Co., Ltd. Encoder, decoder, system, and method for determining tone mapping curve parameters
CN118488156A (zh) * 2023-10-23 2024-08-13 镕铭微电子(上海)有限公司 图像处理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170180759A1 (en) * 2014-08-08 2017-06-22 Koninklijke Philips N.V. Methods and apparatuses for encoding hdr images
WO2019160986A1 (en) * 2018-02-14 2019-08-22 Dolby Laboratories Licensing Corporation Image reshaping in video coding using rate distortion optimization
JP2020510913A (ja) * 2017-02-15 2020-04-09 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ画像のためのトーン曲線マッピング
CN111095931A (zh) * 2017-09-06 2020-05-01 杜比实验室特许公司 色调曲线优化方法以及相关联的视频编码器和视频解码器

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4720537B2 (ja) 2006-02-27 2011-07-13 コニカミノルタホールディングス株式会社 撮像装置
JP4860551B2 (ja) * 2007-06-01 2012-01-25 株式会社キーエンス 拡大観察装置、高階調画像ファイル作成方法、高階調画像ファイル作成方法、高階調画像ファイル作成プログラム及びコンピュータで読み取り可能な記録媒体
EP2537138B1 (en) * 2010-02-19 2014-04-02 Thomson Licensing Parameters interpolation for high dynamic range video tone mapping
US8314847B2 (en) * 2010-05-25 2012-11-20 Apple Inc. Automatic tone mapping curve generation based on dynamically stretched image histogram distribution
TWI538473B (zh) * 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
IN2015KN02510A (zh) * 2013-02-21 2015-09-11 Dolby Lab Licensing Corp
CN107258078B (zh) * 2015-01-30 2019-09-24 皇家飞利浦有限公司 简单但通用的动态范围编码
US9984446B2 (en) * 2015-12-26 2018-05-29 Intel Corporation Video tone mapping for converting high dynamic range (HDR) content to standard dynamic range (SDR) content
AU2017235369B2 (en) * 2016-03-18 2022-02-03 Koninklijke Philips N.V. Encoding and decoding HDR videos
US10219345B2 (en) * 2016-11-10 2019-02-26 Ledengin, Inc. Tunable LED emitter with continuous spectrum
WO2018111682A1 (en) * 2016-12-12 2018-06-21 Dolby Laboratories Licensing Corporation Systems and methods for adjusting video processing curves for high dynamic range images
US10176561B2 (en) * 2017-01-27 2019-01-08 Microsoft Technology Licensing, Llc Content-adaptive adjustments to tone mapping operations for high dynamic range content
WO2018152063A1 (en) * 2017-02-15 2018-08-23 Dolby Laboratories Licensing Corporation Tone curve mapping for high dynamic range images
WO2018235338A1 (ja) * 2017-06-21 2018-12-27 パナソニックIpマネジメント株式会社 映像表示装置及び映像表示方法
US10755392B2 (en) * 2017-07-13 2020-08-25 Mediatek Inc. High-dynamic-range video tone mapping
JP7363772B2 (ja) * 2018-04-27 2023-10-18 ソニーグループ株式会社 情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラム
CN108900823B (zh) * 2018-07-05 2019-07-12 华为技术有限公司 一种视频信号处理的方法及装置
WO2020060980A1 (en) * 2018-09-17 2020-03-26 Dolby Laboratories Licensing Corporation Display mapping for high dynamic range images on power-limiting displays
EP3764346A1 (en) * 2019-07-09 2021-01-13 Koninklijke Philips N.V. Adjustment of display optimization behaviour for hdr images
CN116132648A (zh) * 2020-04-30 2023-05-16 华为技术有限公司 动态范围映射的方法和装置
EP4028987B1 (en) * 2020-05-08 2025-07-09 Huawei Technologies Co., Ltd. Encoder, decoder, system, and method for determining tone mapping curve parameters
CN115619648A (zh) * 2021-07-14 2023-01-17 华为技术有限公司 全景图像的色调映射方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170180759A1 (en) * 2014-08-08 2017-06-22 Koninklijke Philips N.V. Methods and apparatuses for encoding hdr images
JP2020510913A (ja) * 2017-02-15 2020-04-09 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ画像のためのトーン曲線マッピング
CN111095931A (zh) * 2017-09-06 2020-05-01 杜比实验室特许公司 色调曲线优化方法以及相关联的视频编码器和视频解码器
WO2019160986A1 (en) * 2018-02-14 2019-08-22 Dolby Laboratories Licensing Corporation Image reshaping in video coding using rate distortion optimization

Also Published As

Publication number Publication date
US20230057829A1 (en) 2023-02-23
WO2021223205A1 (en) 2021-11-11
KR102727392B1 (ko) 2024-11-06
JP2023525284A (ja) 2023-06-15
EP4028987A4 (en) 2022-10-12
KR20230002720A (ko) 2023-01-05
JP2024086904A (ja) 2024-06-28
EP4028987B1 (en) 2025-07-09
JP7476354B2 (ja) 2024-04-30
EP4028987A1 (en) 2022-07-20

Similar Documents

Publication Publication Date Title
JP7476354B2 (ja) エンコーダ、デコーダ、システム、およびトーンマッピング曲線パラメータを決定するための方法
CN111788831B (zh) 用于图像/视频处理的线性编码器
CN112106357B (zh) 用于对图像数据进行编码和解码的方法及装置
JP6563915B2 (ja) Hdr画像のための汎用コードマッピングのためのeotf関数を生成するための方法及び装置、並びにこれらの画像を用いる方法及び処理
JP6019157B2 (ja) 画像のダイナミックレンジの拡大
US10397586B2 (en) Chroma reshaping
CN111163268B (zh) 一种图像处理方法、装置以及计算机存储介质
CN110770787B (zh) 高效端到端单层逆向显示管理编码
WO2020007166A1 (zh) 一种视频信号处理方法及装置
TW200913701A (en) Content-adaptive contrast improving method and apparatus for digital image
KR101634652B1 (ko) 영상의 대비 강화 방법 및 장치
CN110999300B (zh) 用于图像/视频处理的单通道逆映射
US20230054477A1 (en) Determination of a parameter set for a tone mapping curve
JP6860415B2 (ja) 映像信号変換装置、ダイナミックレンジ変換装置およびそれらのプログラム
US20100002145A1 (en) Adaptive optimization of a video signal
CN118488155B (zh) 图像处理方法、装置、电子设备及存储介质
EP3226563A1 (en) Chroma reshaping
Lee et al. Logarithmic Tone Mapping for High Dynamic Range Imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination