CN103119936B - 用于图像的改进的编码的设备和方法 - Google Patents

Abstract

为了允许在任何显示器上对视频进行质量更好的渲染，提出了一种除了对视频数据（VID）还对附加数据（DD）进行编码的方法，其中该附加数据包括至少一个在时间上指示视频数据的特征辉度（CHRLUM）的改变的改变时刻（TMA_1），并且所述特征辉度概括了视频数据的图像中的像素辉度集合，该方法包括：基于视频数据（VID）来产生关于视频的特征辉度变化的描述性数据（DED），所述描述性数据包括至少一个改变时刻（TMA_1），以及－将所述描述性数据（DED）作为附加数据（DD）进行编码并输出。

Description

用于图像的改进的编码的设备和方法

技术领域

本发明涉及用于图像的改进的编码的设备、方法以及如同数据存储产品之类的最终产品，特别是用于允许利用显示器更佳处理编码的图像。

背景技术

近来，涉及图像/视频的编码的新的发展（无论是捕获场景还是计算机绘图）已出现，换句话说，所希望更佳地捕获自然出现的整个范围的辉度和颜色，其被称为HDR（高动态范围）编码。由于相机和显示器都正获取越来越大的原生范围（native range），因此需要在其之间发送图像信息的更佳标准。另一方面，较大数量的较低范围设备（例如旧显示器、打印机等等）仍然存在，并且这些设备也存在于一些成像系统链中。通常，如同低质量相机之类的低动态范围（LDR）设备以在中间范围之外的颜色为代价在8比特数据字（像素）中编码中间范围的关注值（例如，明亮的脸颜色）[注意：在不牺牲理解的情况下，即使在颜色编码三元组中颜色的辉度对于目前讨论是最重要的因素，我们也可以使用术语“颜色”]。

如果人查看图像，具有许多影响质量的因素。首先，具有能够被再现的最白的白色的亮度。其次，具有仍然能够被再现并且可能例如利用极小的噪声或其他干扰来适度再现的最暗的黑色。白色和黑色确定设备的动态范围。但是，对于真实图像来说，那些并不是影响外观的唯一参数。也具有一些确定中间灰色理想地应位于何处的参数。第一参数是对比度，其是与图像中的不同对象的明度相关的量度。如果在非常白与非常黑之间至少具有不同的可能灰度的一些对象，则该图像被称为整体上具有好的对比度。但是，局部对比度例如在一个对象与其周围环境之间可能是重要的。甚至如同锐度之类的非常局部的辉度变化也影响感知的对比度。例如，正是通过查看真实场景，观看者明白它实际上具有令人印象深刻的对比度（例如，与邻近6比特投影图像相对比）。但其次，对象/区域在黑-白轴上的位置尤其对逼真度（或艺术外观）也将具有影响。例如，假设（明亮）面部具有与白色相比的特定百分比的光反射。太白的面部可能似乎奇怪地发光，或者观看者可能误解该图像，即他认为面部利用某种附加光来照明。第三，所分配的颜色的精度可能是重要的，在复杂纹理方面不是如此重要，但是例如在面部梯度方面是重要的。相对于其他方面而言，许多观看者似乎更喜欢与亮度相关的质量改进（包括相关的颜色饱和度），并且这个申请将主要专注于辉度相关的问题。

显示器的用途是向观看者显示质量渲染（rendering）。理想地，这将是精确（逼真）的表示，但是由于这仍然是遥遥无期的，所以能够使用其他的质量标准，例如，如同图像的可辨认性、近似自然（例如，没有赝像）或视觉效果/影响等等。

当前涌现的流行HDR显示器是具有LED背光的二维模式的LCD，其允许二维调光。这样的显示器的动态范围受若干因素影响。

首先，LCD由于改进的背光而正变得越来越明亮。如果几年前200尼特（nit）白色是典型的，则现在500尼特是典型的，未来几年1000尼特将是典型的，并且以后甚至会2000尼特或以上将是典型的。然而，这对电视或监视器造成严重的技术限制，诸如成本和能源使用。

其次，对于黑色，LCD具有漏光问题（尤其在某些如同大角度观看之类的条件下），这意味着LCD可能具有100:1的固有对比度（LCD单元打开/闭合），尽管研究正使得LCD更佳。对于此的解决方案是改变来自后方的通过LCD阀的光量。2D调光显示器以这种方式理论上能够实现非常高的对比度，这是因为如果在LCD单元后面的光具有零辉度的话，除了泄漏之外，零辉度将局部出自显示器的那个区域。已报告超过10000:1乃至100000:1的动态范围。然而，在实践中，限制显示器黑色渲染的主要因素是来自周围环境的在显示器的前玻璃上反射的光。对明亮的周围环境而言，这可能将动态范围减至更现实的100:1乃至低于20:1。然而，在黑暗观看环境中光也可能由于各种各样的原因例如在前玻璃上从较亮区域到较暗区域的相互反射而泄漏。

最后，当然人眼也是重要的，且主要地其适应状态以及在脑中发生的复杂图像分析是重要的。眼睛适应一方面房间辉度与另一方面显示器亮度（实际上，所显示的图像）的组合。对于在正常客厅观看下例如500尼特电视而言，这两个因素可能是相对一致的（intune），但是在其他渲染情景中也可能是相距甚远的。不仅所看到的黑色的细节而且明亮区域的外观也将受到影响。例如，观看舒适度将受到特定显示设置，即眼睛的疲劳，乃至喜欢或不喜欢图像渲染的心理效应的影响。视网膜是非常复杂的，但是也能够简单地被概述如下。其视锥细胞具有始终试图使眼睛的敏感度（借助于大量的光敏分子）对于任何给定场景是最佳的生化过程。这起作用，这是因为无论什么辉度（其可能在满月0.1 1x、至阴天或不太明亮房间1001x、至阳光直射1000001x之间改变，即涉及超过百万差异因素），对象反射范围通常在1-100%，并且正是在黑暗灌木中的黑色美洲豹，人类视觉才最佳地需要局部区分。眼睛需要处理更大场景动态范围，考虑如同阴影或人工照明之类的照明效应，其通常能够是10000:1。如同神经节细胞之类的其他视网膜细胞更聪明地使用所有这些主要信号的组合，并且这样做例如依赖于其周围环境等等的辉度来改变局部响应的等级。

最后，在通过分析这个预处理的原始图像字段进行转换中，非常重要的因素是视觉皮质。例如，一旦认识到黄斑不是单独对象而是另一个黄色对象的一部分，则将重新确定这个黄斑的颜色，或者，一旦明白重叠那个局部区域的有色反射，则重新着色在玻璃窗后面看到的草地。这生成我们可以称为最终颜色“外观”，并且这是理论上显示器制造商和内容创建者二者最终感兴趣的这个因素。 因此，任何的更符合人类视觉所需的技术是可取的（特别在考虑其他技术限制时）。

虽然对于编码HDR图像（尤其对于视频）还没有一般公认的标准，但是编码（通过例如使用多次曝光并希望镜头不会对这种尝试产生过多妨碍来延伸相机系统的限制而捕获的）图像的第一次尝试通过给每一个像素分配大位字（例如，16比特，其允许65000:1线性编码，以及用于非线性编码的更多比特）（例如，exr格式）来做到这一点。然后，例如，场景对象上可变数量的光反射（眼睛部分地但是大部分地适应）到包括LCD阀模块和背光的图像渲染系统的映射能够通过如同在EP1891621B [Hekstra, stacked display device]中的照明估计技术来完成。实现output_luminance（输出辉度）=backlighting_luminance（背光辉度）×LCD_transmission（LCD透射）的简单算法是取HDR16比特输入的平方根，因此分配倍增8位（multiplicative 8 bit）背景图像，其可以针对LED（符合比例编码技术）进行二次抽样。也具有其他的仅像传统方式一样来简单地编码显现的场景辉度值的方法，例如，使用用于编码像素值的两层方案的EP2009921[Liu Shan，Mitsubishi Electric]。

然而，发明人已认识到，如果努力获得新的编码，除了场景图像像素的如此纯粹的编码（以及将这个用作整个链的主要的唯一编码）之外，一些进一步编码也是所希望的，因为这将极大地改善对成像操作的理解并由此改善成像操作的可用性。

发明内容

理想地，视频编码链是简单链，并且仅具有与理想表示相比少量的误差，其因此能够被抛弃。这就是过去如何完成电视信号编码的方式（例如NTSC，以及基于这些原理的标准，如同MPEG2）。定义标准/基准显示器（具有EBU荧光粉，2.2的伽马值，某些观看条件），并且这至少允许将要捕获的场景的场景颜色的某种固定定义的编码。随后将基于这个显示器（显示器相关的编码信号结果，例如YCrCb）来设计相机。摄影师、后期制作等等的技能将数据调谐成更接近那个最终显示颜色空间（通常通过在基准监视器上观看最终结果）。然而，这是在仅具有一种类型的显示器时在图像再现开始是良好的并且我们已对具有任何工作系统感到满意的情形。然而，现今电视显示器涉及诸如在阳光照射条件下的移动电话或家庭影院投影之类的可变技术，并且电视生产者也在其显示器中提供更多的图像处理功能。由此能够出现有趣的问题，即谁将控制大多数的最终颜色外貌：内容创建者（好莱坞可能想至少在电视能够如何改变在电影中的颜色/亮度的限制中具有至少一些话语权（say）），显示器制造商（通常经由自动图像增强或其他显示相关的处理）或终端用户（经由利用显示器所提供的控制）。在制订新的电视标准时，可能牵涉这样的考虑来定义在这样的标准中能够（至少可选地）规定的内容。

例如，鉴于在未来数年中，在内容创建者想要显示的内容和任何特定的实际显示器（以及显示环境）能够显示的内容之间将没有完美匹配（例如，内容创建者可能想接近于浅黑场景，但是在渲染端上它可能被变亮），能够提供更佳的选项来控制那些的行为（例如，允许显示器进行更智能图像增强，或者一般而言，用于其操作的技术设定，诸如用于各种显示组件的驱动值）。

这对于观看者而言可能是有益的（例如，在给定显示硬件以及例如基于其年龄、性格、情绪等等的用户的优选的情况下，提供一定数量的图像（颜色/辉度）渲染或效果），但是在视频编码中至少也能够使用附加信息（而不仅仅像素颜色）来处理物理显示限制，诸如功耗、温度问题、老化等等。有趣的是，一些附加数据编码有利地是如此通用的，以致它们可以在整个链中提供增加的值。例如，内容创建者（或后期创建者，其可能包括附加的基于人类的服务，或甚至自动视频分析，例如用于转码）可以使用附加编码的数据来创建其电影的更佳描述及其具有的实际意图，这允许在显示器侧上更佳的渲染。显示器制造商能够更好地控制其显示器的运行时行为（给定非常可变的图像输入的情况下）。如果希望的话，最终用户/观看者能够更好地将视频调谐至（tune to）其自己的优选，并且按照他最喜欢的方式观看视频（例如，在他发现一些节目太令人烦恼地在闪烁的情况下，他可以将那些节目片段调下来）。

在设想根据本发明的不同实施例时，若干这样的问题以及对更佳视频编码的需要的考虑被作为输入。

为了处理那些问题之中的至少一些，我们提议除了视频数据（VID）之外还编码附加数据（DD）的方法，其中附加数据包括至少一个在时间上指示视频数据的特征辉度（CHRLUM）的改变的改变时刻（TMA_1），其中特征辉度概括了视频数据的图像中像素的辉度集合，该方法包括：

基于视频数据（VID）生成视频的特征辉度变化的描述性数据（DED），其中描述性数据包括至少一个改变时刻（TMA_1），以及

将描述性数据（DED）作为附加数据（DD）来编码和输出。

这些改变时刻随后给出有关视频的非常重要的附加信息，并且能够用于在诸如电视之类的接收设备中更智能地处理和/或渲染视频，并且尤其更好地被调谐至每一个特定电视、当前观看者优选（潜在地取决于特定视频的每一个子分段）等等。常规地，视频编码的哲学始终是：通过利用像素图像编码技术编码单独的图像能够令人满意地编码这个集合的图像。然而，当以较粗略比例查看时，在视频的粗略比例时间结构中也具有重要的信息。原则上，人们可能期望在这些图片可用时能够导出出这个信息。然而，在那个信息中可能具有例如在接收侧上通过自动视频分析设备不容易导出出的因素。例如，分析组件未必具有足够的资源，诸如：可能不具有足够复杂的分析算法，或者无法访问未来的足够图像，该未来是与诸如显示的时刻之类的特定时刻相比而言的。内容创建者可能想传达有关图像信号的某个时间演变的特定信息，尤其其像素辉度。例如，创建者可能已创建包含爆炸（explosion）的一系列编码图像，其可能具有取决于编码系统的物理限制的像素值（例如，他可能需要妥协来将爆炸分配给最佳可用8比特LDR值）。除了他可能想传达一些附加信息之外，例如这假设是“非常强烈爆炸”，而稍后的第二次爆炸假设是“不太强烈的爆炸”，尽管其像素值可能由于编码限制而可能没有太大不同（因此，分析设备很难自动地判断那个差别）。在内容创建侧上，通常仍存在人类艺术家，因此除了确定像素图像的最佳编码之外，他还可能共同编码附加数据（例如，略微改变图像像素值，但是利用附加数据中的补充数据来描述那个）。

令人感兴趣的根据目前实施例来更好模拟视频的时间特性的附加数据能够基于特征辉度（CHRLUM）的概念来导出。这概括全局存在于至少一个图像中且往往存在于连续图像中的辉度（由此，还潜在地对一些图像取平均）。例如，从阴影区域内到基本上阳光充足的视图的相机移动将在阴影图像的（所有像素的）平均辉度中显示它本身，其中该平均辉度不同于阳光充足的视图图像的平均辉度。特别地，如果变化是足够大的以致其改变相当数量的LDR视频范围，或者如果特征辉度被如此制定以致其一般表征HDR范围等级或变化，即，例如爆炸包含具有与平均或期望或希望辉度等级相比非常高的辉度的若干像素，那么特征辉度受到严重影响（或对黑暗环境而言，反之亦然）。人们能够通过只考虑一些粗略等级的局部辉度变化来概括出关于特征辉度的粗略等级概念（虽然只观看图像中包含亮光的区域会使特征辉度更是局部的而不是对整个图片取平均，然而，如果这种表征是通过当前窗口的一个或多个主辉度区域/行为上进行的，那么其基本上仍旧是粗略等级的表征。例如，如果连续图像的集合包含了局部化的爆炸帧，那么可以通过只对所述帧像素（不必是诸如周围构建像素）取平均值来导出特征辉度。这种处理可以通过在具有火焰的第一图像上取平均值或是通过在包含火焰的若干个选定图像中进行帧像素的特征积分来完成，然而也可以将改变时刻分配在所述帧出现的第一时刻。从分析（一个或多个）图像中得到的描述性数据（DED）可以是依据本发明以本领域技术人员所理解的不同方式实现的实施例（例如，人们可以作为起始点，或最终的共同信息来对爆炸火焰球的椭圆亮度模型编码），然而它始终至少包含了改变时刻（TMA_1），并且在该时刻，分析单元和/或操作员会认为在视频持续期间发生了粗糙的特征辉度变化（其有可能正好是具有爆炸的第一图像，或近似地说，爆炸镜头开端的某个位置）。除了通常对视频数据（如果将一些HDR编码在附加数据中，那么其信息内容有可能较少）所进行的典型编码之外，该描述性数据最终会被编码成附加数据DD，所述附加数据可以仅仅是描述性数据DED的拷贝，或者可以包含该数据的子集和/或变形，但是依照规定的需求，该数据是成像链中的另一个站所需要的。

作为示例而不是限制，针对我们的方法、设备、信号、装置或信号的用途等等的实施例所进行的其它令人感兴趣的修改可以是：

如上文中更一般性描述的对附加数据（DD）编码的方法，其中该方法包括以下步骤：在附加数据（DD）中编码至少一个指示（ALCORR,(TYPE)），其中所述指示是所允许的由诸如电视显示器之类的设备（112,110）使用视频数据和附加数据的来对至少视频数据像素辉度执行再处理的策略的指示。

现在，该处理允许渲染处理器或显示器在改变时刻左右执行若干特定图像处理，而不是通常盲目进行的处理。该策略既可以是无约束的（“display_do_what_you_want（显示器做您想要的）”），也可以是显示器所应该做的或多或少精确的策略，但是优选地所有的都是可调谐的，以便将显示和环境细节考虑进来，而也允许创建侧进行一些控制，也就是使得显示器至少在某种程度上遵循编码建议（是否以及哪些处理应被执行、可被执行、不能被执行等等）。例如，具有背光的LCD显示器可以相比于所考虑的要被精确渲染的内容来（轻微地）修改背光驱动（也就是说，输出像素辉度是以最优的LCD透射百分比产生的，并且背光辉度是从中产生的，以便精确地获取如在诸如16位的HDR图像表示中描述的预期像素值）。这可能导致产生以略微不同的方式渲染的图像（不同的输出颜色/辉度），但这仍旧是可取的。此外，对于具有单个的逐像素显示元素的显示器、例如OLED来说，此类显示器可以通过使用“伪背光”来运用相同的算法理论，其中使用“伪背光”的处理即为通过定义某个基本组件并且通常对其执行乘法变化来允许调制总的驱动信号。

再处理通常会涉及函数变换，例如将用于连续图像集合的至少一些区域的在先像素颜色/辉度映射成新的像素颜色/辉度。在不同的再处理实施例（例如用于调低闪烁度）中，特征辉度的变化还会被重新表述成是变换策略或参数的变化，并且尤其包含了变换的预期改变时刻（应该指出，所认为的特征辉度发生改变的改变时刻TMA_1原则上可能不同于所预期的再处理开始的时刻TP_1）[例如，调暗背光区段]，但是通常可以认为它们是相同的，例如在必要的时候定义所述再处理函数或算法不会影响最初的少量图像，作为示例，对于乘法函数来说，使其开始为1（giving it leading 1’s））。关于处理策略的指示可以是不同的，它们可以是从非常高等级到非常严格。例如，所指示的既可以是允许为当前镜头进行任何处理，也可以是完全不允许（如果因为其分级精密而应该被精密渲染）。或者，所指示的既可以是是否允许某种处理（例如单纯地降低光亮度），也可以是是否仅仅允许在出于显示侧考虑下以最优方式来尝试渲染外貌（例如黑暗的场景）的处理，这与是否允许节能这类可能降低图像渲染质量的显示专用处理形成了对比。或者，所规定的甚至可以是在改变时刻附近应用的特定函数。应该指出，再处理无需是固定的，它也可以是可调的，例如依照观看者预期的预先设置来调谐，但其仍旧是基于至少一个改变时刻构造的（例如使用参数化的再处理函数）。

其它有用的一种编码附加数据（DD）的方法，包括编码来自带有前缀的约定代码集合的特定的再处理代码（MULT）的步骤。

其它有用的一种编码附加数据（DD）的方法，包括在附加数据（DD）中编码偏差策略的步骤，以便在时间间隔DTI中相比于初始辉度（Lin*）来再处理视频数据（VID）的像素辉度，其中例如，所述偏差策略例如是经过编码的时间型线（PROF）或是用于计算偏差策略的数学算法，其中所述再处理可以基于心理视觉模型或是显示器和/或观看环境的物理特征等等。

也就是说，在这种情况下，该指示更成了特定的方案。例如，人们可以像初始辉度Lin*被编码在了视频信号VID中一样从所述初始辉度Lin*开始，并且可以对其应用一个随着时间的变化来轻柔/不可察觉地降低该镜头的辉度的乘法型线（multiplicativeprofile）。该型线既可以是加法的，也可以是乘法的，还可以仅是一个指示，例如关于随时间变化的最终（输出）辉度应该具有的外观的粗略等级的平均值的指示（然而电视可以通过处理来将其大致获取）等等。

其它有用的一种编码附加数据（DD）的方法，其中所述再处理的类型包括确定用于背光的照明图像（ILIM），并且编码步骤包括：在围绕改变时刻（TMA_1）的间隔期间对影响用于背光的照明图像（ILIM）的判定的数据进行编码，例如由二维矩阵（MAP）中的位置的至少空间区域的初级基础函数贡献（contributions）组成的时间函数。然后则可以通过更直接地在背光部分中以时空结合的方式进行播放来建议或控制具体的渲染处理。例如，我们可以简单地通过从一组函数中构成诸如爆炸之类的HDR效果来表征某个HDR效果（的部分），所述函数可以是某些局部振荡、幂函数递减、高斯分解等等，并且所述函数至少部分是以所述时刻为基础定义的（例如，该函数上的采样窗口（a sampling window over thefunction），高斯模式的位置是比照TMA_1确定的，或者递减函数的起点等等）。

其它有用的一种编码附加数据（DD）的方法，包括在附加数据（DD）中编码关于改变时刻（TMA_1）的未来的特征辉度的信息和/或用于基准显示器的背光的照明图像（ILIM）的期望辉度的信息的步骤。

如果尽可能精确地了解视频的将来，尤其是关于即将到来的图像像素辉度的概要，那么将会使显示器、渲染处理器或是使用编码的附加数据的任何设备做出有关其当前处理，例如将视觉冲击最大化，在考虑了以后的电力使用的情况下以合理的电力来驱动背光等。对于电力管理之类的一些应用而言，关于未来特征辉度的表征有可能是非常粗略的级别，这是因为所需要的仅仅是大致知道将会需要多少光亮度（也就是例如所编码的可以是诸如接下来10秒和另外/或可选地两分钟的特征辉度的平均值；关于这种表征的时间层级允许接收侧作出更智能的预测，例如关于当前耗费电力的预测），然而，为了实现精确的心理视觉冲击，有可能需要更详细地了解时间调制。无论是背光显示器还是非背光显示器，我们都可以同等地将特征变化编码在总的图片编码（例如VID）或是其（虚拟）组件上，例如背光作用，并且接收侧由此可以获取任何需要的变体，例如通过使用带有前缀或是共同编码的多组件分割算法的变体。

其它有用的一种编码附加数据（DD）的方法，包括在附加数据（DD）中编码关于至少一个改变时刻（TMA_1）的重要性指示（IMPLEV）的步骤。这样做将会允许通用的偏差再处理，例如在若干个相关时间间隔中进行的关于渲染的分层处置（例如递减）（例如若干个相关的高亮度效果）。如果显示侧难以渲染所有效果，那么它可以基于所述重要性而仅仅渲染较重要的效果，或者它也可以在考虑了重要性层级等等的情况下设计一种再处理。

其它有用的一种视频编码设备（524），其被配置成除了视频数据（VID）之外还编码附加数据（DD），其中所述附加数据包括至少一个在时间上指示视频数据特征辉度（CHRLUM）的变化的改变时刻（TMA_1），其中所述特征辉度基于视频的特征辉度变化的描述性数据（DED）来概括视频数据的图像中的像素辉度集合。

其它有用的一种视频编码设备（524），其被配置成依照如上或如下所述的任何原理来除了视频数据（VID）之外还编码附加数据（DD），特别地，所述设备具有专门为了可供接收侧在特定时间作为图像再处理执行的不同规范而被实施的编码器、格式化器等等。

其它有用的一种解码附加数据（DD）视频数据（VID）的方法，其中该附加数据（DD）包括至少一个在时间上指示视频数据特征辉度（CHRLUM）的改变的改变时刻（TMA_1），所述特征辉度概述视频数据的图像中的像素辉度集合，该方法还包括输出至少一个改变时刻（TMA_1）。

通常，该解码方法会分析进入的信号并找到特定的包、数据字段等等，辨认编码数据，并且有可能会以一种对设备有益的格式来执行提取、变换以及重铸（recasting）。例如，它可以输出可能发生或假设发生了某个特定操作的时刻。与解码器相连且使用这种附加数据的设备可以依照其对数据的使用来规定其他递送方式（甚至是仅仅提取特定数据）。举个例子，如果设备只需要知道特征辉度发生改变的时刻，那么只要具有这些数据即可能足够，但是，图像处理设备可以请求解码单元执行一种将指向预先约定的变换的编码索引转换成更加可管理的格式的解码方法，例如有限时间区段上的用于乘法调光（multiplicativedimming）的函数。也就是说，无论附加数据是固定的预先定义的，还是与接收设备即时协商的，无论其是时间常数、再处理指示、诸如图像相关量度之类的指明信号时间特性的其他数据、面向显示还是面向胶片效果的准则等等，该解码方法的实施例都会以一种约定的格式来输出所有附加数据。

其它有用的一种解码附加数据（DD）视频数据（VID）的方法，该方法还包括：解码和输出至少一个本文中所描述的编码的数据实体。

其它有用的一种与视频数据（VID）相关联的数据信号（NDAT），包括至少一个在时间上指示视频数据特征辉度（CHRLUM）的改变的改变时刻（TMA_1），其中所述特征辉度概括了视频数据的图像中的像素的辉度集合。

其它有用的一种被配置成与视频数据（VID）相关地解码附加数据（DD）的视频解码设备（600），其中该附加数据（DD）包括至少一个在时间上指示视频数据特征辉度（CHRLUM）的改变的改变时刻（TMA_1），所述特征辉度概括了视频数据的图像中的像素辉度的集合，以及至少借助一个输出（650）来输出至少一个改变时刻（TMA_1）。

其它有用的一种被配置成解码本文中规定的至少一种编码数据实体的视频解码设备（600），并且该设备还被配置成向能够渲染视频（VID）的第二设备（100）传递这其中的至少一个编码数据实体，以便通过这其中的至少一个编码数据实体来影响渲染处理。

解码设备的不同实施例通常会具有不同的子单元，诸如专用IC（的一部分）或者至少在IC上临时运行的专用固件或软件，以便查看包含了例如再处理代码的附加数据的特定部分，由此隔离再处理代码，以及在未对其进行处理的情况下将其发送到IC的输出端，或者将其发送到会话子单元，以便将其转换成对于相连的设备而言更为有用的数字（或模拟）值或数据集合。本领域技术人员将会理解，相同的数据可以用不同方式经由不同输出端而被多次发送。

其它有用的一种包含了视频解码设备（600）以及显示器（100）的布置（110+100），其中显示器被配置成基于至少一个改变时刻（TMA_1）来改变其渲染。

附图说明

参考以下描述的实施方式和实施例以及参考附图可以清楚了解根据本发明的方法和设备的这些及其他方面，并且本发明的方法和设备的这些及其他方面是参考以下描述的实施方式和实施例以及参考附图而被阐述的，其中所述附图仅仅是对更通用概念的非限制性具体例证，并且在附图中使用了虚线来指示组件可选，并且未采用虚线的组件也未必是必需的。此外，虚线还可用于指示隐藏在对象内部并被解释成是必需的部件，或是可以用于无形的内容，例如对于对象/区域所做的选择（以及如何可以在显示器上对其进行显示）。

在附图中：

图1示意性地示出了一个能够依照本文描述的至少一些实施例来使用附加数据的例示视频接收布置。

图2示意性地示出了视频中的图像辉度如何改变的表示，以便说明关于本发明的至少一些实施例如何工作的一些示例；

图3示意性地示出了那些为了在显示器上实现令人满意的渲染而被应用于视频的处理；

图4示意性地示出了用于渲染黑色场景的特定示例的更多处理；

图5示意性地示出了一个用于创建附加数据DD的创建环境；

图6示意性地示出了一个用于解码附加数据DD的解码设备；

图7示意性地示出了为使用附加数据DD提供支持的数学运算；

图8示意性地示出了本发明的附加数据编码处理在电力优化情景/布置中的应用；以及

图9示意性地示出了用于编码与视频数据相关的附加数据的示例。

具体实施方式

图1描述一个可能的家庭视频观看布置，该布置包括具有LCD面板101的LED tv100（或是具有HDR功能的一般显示器，特别地，如果在渲染方面与只渲染视频VID的处理相比具有更高的可调性，那么它甚至可以是LDR显示器），其中所述LCD面板101由多个（白色或彩色）LED 102进行背光照明，并且所述面板可以根据如上所述以及现有技术中的原理来显示HDR图像或LDR（标准的、低动态范围）图像[在这种情况下至少存在着映射至LCD或LED驱动值的一定数量的视频处理]。应该指出，本领域技术人员将会理解，本发明的原理还可以映射到某些其他显示器，例如具有分段照明的投影仪以及DMD、OLED显示器等等。

在一个例示实施例中（我们会将其作为示例来描述我们的技术原理），电视/显示器经由连接（例如有线/HDMI或无线）113来获取其电视或图像信号，形成一个基于存储器的播放器，例如BD播放器110（但是毫无疑问，信号也可以来自诸如互连网上的服务器等等）。这个BD播放器110从蓝光碟115中获取编码的视频，其中在所述蓝光碟上有一条附加轨道116是利用依照如下所述的本发明的任一实施例的附加数据DD编码的（当然，此类数据也可以依照众多不同的原理来编码，例如在视频编码处理内部进行编码，编码在块组之前的字段中，然而，单独的数据项集合允许共同提供在诸如因特网之类的另一个信道上的编码处理）。

图2显示具有用于每一个图像（在时间t）的特征辉度且沿着电影的时间轴的时间型线（它可以是任何时间连续的相关图像，例如好莱坞电影，或者是来自安保摄像机的供给）。该特征辉度是从图像呈现的所有像素辉度中导出的，例如，它可以是一个加权平均值（因为摄像机通常还在确定导致产生在图像中编码的像素辉度分布的设定的过程中使用加权平均，因此，这一点通常会被部分地反映在捕获到的场景的记录中），但是也可以包含更智能的直方图分析。例如，用较高百分率量度的辉度可以至少部分有助于YC，由此可以判定诸如室外环境的高色调渲染、传感器饱和度、大的明亮局部区域（在用于导出YC的算法中还可以考虑空间属性，例如明暗区域的关系乃至明亮区域内部的黑暗区域的直方图，例如对在窗户前的人（部分地）的逆光捕获进行分析）等等。就特征辉度的时间判定而言，我们既可以确定逐个图像的特征辉度，也可以计算任意数量的连续图片的任意数学累积公式（例如像图2那样为镜头的所有图像给出相同特征辉度；在镜头或特征辉度改变边界之间）。应该指出，表征/注释特征辉度改变的人可以使用不同的指示，并且还能够标定被假设成具有不同特征辉度的时间区域之间的边界（至少在用于显示器的已处理的（例如HDR或伪HDR））输出图像中），然而这种差别是很难用自动算法计算的（例如指定一组替代的渲染意图，用于不同的显示器）。

该特征辉度可以用于确定场景捕获特征中出现差异的位置，其中例如，所述位置必须在显示器上的不同渲染尤其是对背光LED的不同驱动处理中被转换。以逆光为例，本领域技术人员可以理解，显示处理（无论是基于纯软件的输入图像改变还是最优背光驱动之类的硬件相关处理）可以改善图片（例如，在隐含（平均情况）或明确考虑了所有与显示器和观看者相关的方面的情况下，显示器可以采用可视性更好的方式来渲染图像中的人物对象的不同辉度），或特别地，如果使用新的HDR显示器，那么渲染的视觉质量有可能变糟。

电影的第一部分是一个会话场景SCN-CONVRS，其描述这样一种状况。该场景包括坐在屋内较亮部分的第一个人的交替的第一镜头SHT_WND，以及坐在屋内较暗部分的第二个人的第二镜头SHT_WLL（为了进行说明，类似的情景以及相关的技术处理可以在交错一系列的室内和室外镜头的时候进行）。如果考虑了艺术场景照明状况以及（人工或自动）摄像机曝光设定，那么有可能部分缓解这种差异（使这两个镜头能被良好/平均地曝光），但是仍旧有可能保持一定差异（例如，摄影指导想要的有可能是将这二者相对比的独特视觉感受）。然而，如果将这些特征辉度所依据的所有像素辉度映射到HDR显示器（例如，所包含的伸展仅仅是将{0, 255}LDR信号映射到{0,1024}HDR信号，以及映射到显示输出（区域/像素）辉度的HDR范围，而不是{0,500}LDR显示范围），那么不但所述独特视觉感受会受到损害，明亮的窗口区域甚至有可能伤到观看者的眼睛，或者至少会另一些观看者感到不快。在图2中借助了一种可以用数学方式导出且在用于（特定）HDR显示器R_HDR的驱动空间内部表征低动态范围PS_R_LDR的处理示意性地示出了这种状况。该范围可以是{0，255}的LDR范围，但其通常对应描述正常场景辉度的范围（例如曝光良好的内部或外部对象反射）以及尚未优化的HDR效果，例如爆炸、灯光等等。人们有可能希望在HDR中不要过大地提升这个范围，而将其保持非常缓和并且与LDR相类似。在HDR显示器上的渲染之前，在表征低动态范围PS_R_LDR的过程中描述的图像将具有一个通常将这些效果映射到HDR效果范围R_UPEFF（参见图3）以及用于正常对象的较低范围R_L_HDR的处理。应该指出，该处理只是用于例证本发明及其实施例的一个可能示意性示例。输入图像还有可能已经是经过HDR编码的图像——例如具有任何色调映射或其他辉度意义的{0,1024}或{0,65536}，或者有可能是一个仍旧需要根据本发明的处理的中间范围编码的图像。实际上，本领域技术人员应该了解，该示意图就像所描述的技术那样仅仅是用于图片的平均（或中值）辉度。在现实中，针对输入图片中呈现的任何像素的任何复杂操作都是可以应用的（尤其是针对特征辉度发生改变的位置来进行画面分析以及这些画面的（重新）渲染），但是为了简化说明，我们只描述了辉度的偏移（例如乘法缩放），并且将其描述成是背光的缩放（也就是说，LCD驱动值有可能会相应于LED驱动的改变而改变，但是我们当前在本说明书中会将其忽略）。

人工或自动分析算法已识别出电影中特征辉度发生变化（并且由此需要或者有可能改变背光）的时刻，例如当会话场景SCN_CONVRS的特征辉度开始的主要改变时刻TMA_1，以及用于较亮与较暗镜头SHT_WND与SHT_WLL之间的切换的场景中的较小改变时刻TMI_1和TMI_12（等等）（注意，较为简单的自动算法有可能仅限于确定主要改变时刻）。无论是否允许HDR处理（例如借助于布尔ALCORR，其中如果该布尔值等于0，则禁止或是对基本场景强制实施HDR显示侧处理，但是如果该布尔值等于1，则允许例如实施一种智能的提升策略），本发明中的大多数的简单实施例都将只编码此类时刻。这样做允许显示器（或是预处理设备，例如蓝光播放器、机顶盒、计算机等等）能够应用智能处理，而不是在不考虑当前电影内容、创作者的艺术意图或是其以后内容的情况下盲目地应用其单个算法。

在图3中示意性地示出了一些期望的图像处理以及若干个可能的数据编码实施例。

在心理视觉上，我们对于“静态”（稳定状态）场景SCN_CONVRS以及第二场景SCN_WLK具有不同的渲染需要，其中在所述第二场景中，一个人首先走入黑暗的走廊，然后（大约在改变时刻TMA_2）则进入明亮的阳光下。艺术家可能希望渲染处理创建某些特定的最终视觉感受，但其自己只能实施图像像素编码，不足以控制，并且。特别地，对于以上的两个示例这种具有不同渲染意图的场景，尤其是对传统视频来说，在设置了摄像机曝光之后，摄像机捕获到的值实际有可能是相似的。在该示例中，进入和脱离视野的窗户更令人感到讨厌，而不是具有预期的效果，然而，依照显示能力，我们有可能希望对在室内和室外行走的人做出一些惊人的效果。但是，如果摄像机操作者与分类者的组合采用更直接的方式而不是以闪耀的方式来编码该场景，那么我们仍旧可能在所有这两个情景中被迫接收非常相似的像素颜色/辉度值。在增加了显示器打算如何对此（“盲目地”）进行处理的问题的情况下，具有一种附加的信息编码机制并且优选具有一种渲染控制机制似乎是合乎需要的。在SCN_CNVRS中，虽然艺术家有可能希望在某种程度上显示光照差别（这其中有可能包括用于LCD的不同背光驱动以及不同的图像像素直方图，以及作为输入而对不同的总的HDR信号或是用于背光设置的不同提示进行编码，以此作为标准图像编码的补充），但是他将在假设了眼睛在很大程度上与所有这两种类型的交错镜头的状况相适应的情况下执行该处理的。也就是说，当在外面停留了一定时间或是在一定时间看着处于窗前的人物之后，观看者将会配置其视网膜灵敏度特征，这应该在对所要渲染的图像进行编码的过程中得到反映，但是最为重要在被渲染的图像自身当中得到反映。特别地，输出的显示图像的特征辉度（并且通常是眼睛会用其生化特性做出反应的辉度，例如，尝试稳定，以及基于所尝试的稳定状态对差别进行编码，例如平均辉度）应该使得所渲染的场景不会出现令人厌烦的闪烁以及令人感到视觉疲劳等等。对于范围有限的较早的显示器来说，这一点并不是什么问题，而对于新兴的高亮度显示器（甚至具有LDR内容）来说则确是如此，并且对于未来的HDR显示器而言尤其会成为一个关注点。因此，显示器有可能希望为SCN_CONVRS之类的情景保持有限的特征辉度差别，例如不过度提升（信号进而是其差别）（也就是说，为该场景的所有图像中的所有或大部分视频像素使用总的HDR范围R_HDR中的一个很小的子范围），乃至减小其差别（也就是作为显示输出辉度，将其与表征性的低动态范围PS_R_LDR给出的辉度相比较（如果输出了的话），例如，PS_R_LDR在HDR显示器上模拟500尼特的LDR显示器如何通过在该范围内映射[例示的时间适应的色域映射实施例]来渲染电影的时间部分。例如，渲染或信号计算设备可以减小局部范围或是落入该范围的视频像素的一些部分的辉度扩展（例如对量度特性概括贡献最大的像素），例如，它可以降低至少一些像素的辉度（这里说外部世界的剪辑视图）。此外，它还有可能增大该环境中较暗部分的辉度，其中所述部分至少是第二个人所在的区域。本领域技术人员应该理解，每像素辉度修改是如何修改特征辉度的，反之亦然，这可以通过若干种简单或统计的方法完成的。

相反，对于SCN_WLK来说，艺术家想渲染动态的亮度变化。走进廊道的人首先会遭遇到视网膜感觉迟钝（因为环境要比其适应状态更暗），并且在适应之后，当其走出廊道时，外界的强光会使其感到刺眼（曝光过度的失明）。例如，艺术家有可能已经在某种程度上例如通过使图像具有高色调（很多明亮甚至有可能过曝且具有低对比度的区域，也就是主要处于{0，255}的上半部分的直方图）而模拟了这种效果（甚至是摄像机自动曝光，但是将在本论述中假设至少对于质量，艺术家已经控制了电影以及非即时的电视），对于LDR{0,255}信号来说甚至也是如此。然而，在实际亮度改变的时候（作为补充甚至是明显的取代），这种图像/视频看上去有可能较好（高亮度渲染会为某些区域的编码精度给出不同的视觉感受，其中例如，这一点有可能取决于有关局部辉度的仅可被人类注意到的差异（justnoticeable differences, JND））或者至少是更有说服力的。例如，这通常可以通过提升背光来实现（保持LCD信号不变——例如，使用{0,255}的输入信号作为关于对象反射的估计——或者对LCD信号进行适应，例如对其进行优化再处理，以便匹配背光改变[对于具有不同能力的不同显示器来说，这种变化有可能是不同的]）。同样，使信号变暗可以模拟视觉无能（人们在适应之前只能看到最大的差别，因此可以通过编码较少的值来对此进行模拟），但是真实的视觉冲击会在将背光同样变暗的时候发生，或者一般来说，HDR显示器会为这种黑暗镜头使用其最优渲染策略。

因此，对于SCN_CONVRS来说，我们希望显示器“什么都不做”（或者至少不会应用重大的提升处理，乃至不会应用不可避免地与映射至较大输出辉度范围的缺省映射相联系的伸展），而对SCN_WLK来说，我们希望通过应用（显示渲染！）视觉效果（为了简单起见，在这里将其主要描述成是背光驱动改变）最大限度地使用（HDR）显示器的能力。同样，对于具有爆炸的第三个场景SCN_EXPL来说，我们希望应用一个不同的效果，并且对于所捕获的不同类型的爆炸（参见下文）来说，渲染处理优选应该是不同的。

对于SHT_WND和 SHT_WLL类型的相应图像来说，其像素值之间期望的有限差异可以采用多种方式规定，如果用于实现该期望的有限差异的图像处理操作具有辉度偏移类型（乘法或加法），那么通常可以在特征辉度表示中以类似的方式来对其进行规定（也就是说，在实践中将非常简单地在作用于像素集合的典型图像处理操作中实现当前教导）。

例如，艺术家（或自动注释算法（我们在以后的说明中将会假设本发明实施例的所有编码都是由人确定的，但大多数也可以通过应用图像分析而被自动确定）可以规定特征辉度所要占用的范围R_CORR（有可能会增加关于图像对象直方图的其他规定，例如辉度跨距或是辉度上限和/或下限落入的范围等等），所述范围可以相对一个基准显示范围来确定，例如特定的低动态范围PS_R_LDR或是基准高动态范围等等。然后，具有实际显示动态范围的显示器可以执行器处理，以使输出辉度看上去尽可能符合范围规定，例如，具有较高动态范围的显示可以分配一个子范围，以便模拟基准低动态范围，或者一般来说，任何显示器都可以应用一个导致产生最低限度地偏离期望的视觉感受/范围的输出的处理。特征辉度（以及基础像素直方图）的相似性还可以用其他方式规定，例如作为可用于乘法处理的允许的或优选的改变（向上和/或向下）百分比。“允许的”指艺术家不允许超出某个量的更大偏离，并且显示器的处理至少应该最大限度地尝试与之相符，或者在兼容的情况下与之完全相符，而“优选”则是艺术家给出的一个优选，并且显示器有可能只希望在执行其自己的处理的时候对此类指示加以考虑[例如，为当前观看环境计算新的驱动值，观看者优选等等]，由此，它至少会尝试获取类似的视觉感受，但是有可能会与之偏离。

对于SCN_WLK示例来说，显示器有可能想应用一个至少部分是通过编码时刻确定的型线。例如，众所周知，人眼会大致依照指数曲线来进行临时适应，因此，如同JND之类的量度同样会遵循该曲线。例如，显示器有可能会使用升指数函数EXPU或是首先增大光亮度但随后又降低到较低特征辉度的别的函数来提升背光，其中所述函数一方面模仿与舒适的显示亮度相适应的观看者适应度，但是另一方面还会将驱动置于总的范围R_HDR的中心区域中的某个位置，使得在非无限的显示范围中仍旧会有足够的空间来渲染其他环境，例如爆炸。这种处理有效的原因在于所述效果在其首次发生时具有最强的心理视觉，并且随后，观看者的眼睛会开始对其进行局部补偿，这样则没有必要耗费附加的背光电力，因为这样做不会给视觉带来多少。

同样，对于黑暗的廊道来说，所应用的可以是降指数EXPD。

当前，由于大多数的图像质量（乃至HDR）的关注点集中在附加亮度方面，因此，黑暗场景的渲染所受到的关注要少于所需要的关注。图4使用了一个可能的示例来详尽说明如何使用本发明来为此类场景实现显示器上的改进的渲染（现在，主要落在可见的水平之下，更不用说实现期望的渲染效果）。例如，如果不仅当前观看状况（显示驱动以及观看环境）良好，并且观看者还正确适应，则图像中处于稍微明亮但却仍旧黑暗的环境中的人的黑色外套才会被如实地渲染。另外，过去渲染的连续图像可以通过降低先前这些图像中的像素的辉度来预备该适应状态，其中所述降低优选地是以逐渐的方式进行的，由此不会太过明显或者至少不会过度令人讨厌（对于观看者或艺术家而言）。显示器可以通过获知其应该在以后为黑暗场景SCN_DRK实现的特征辉度CHRLUM等级来自动执行该处理，或者也可以在视频信号中或是与视频信号一起规定确切的或优选/近似的减小（例如由艺术家规定）。在这里可以对特定时刻TMSK_1、TMSK_2进行编码，其中在所述时刻之上或是期间将会优选地发生这种减小，以便在诸如镜头的边界上或是预计观看者将会观看面部的时候为围绕面部的周围像素等等降低其可感知度。此外，用于诸如爆炸（在夜间）之类的明亮对象的高范围R_EFF1可被逐渐降低（以使得一方面，观看者将不再过多的对其进行适应，另一方面，它们将不会过度突出于其他辉度而例如导致夸张的乃至使人炫目的观看体验）。关于时间内容的分析算法（无论是由接收显示器自己完成还是由用于在附加数据中更精确地编码接收显示器如何进行渲染的图像分析）同样可以查看某些时间片的视觉亮度安排，并且将会对以下方面进行编码，例如：明亮的对象（例如爆炸）是怎样的，它们有多大，它们持续了多长时间，接连发生次数，其与较暗的子时段的对比如何等等。然后，短的小型明亮照明仍旧可被分配给更高的范围R_EFF2，而对视觉适应具有较大影响的明亮区域则会在降低的高范围R_EFF1中被渲染。此外，特征辉度CHRLUM与处于范围SP_LUM内部的基础图像像素值之间的关系有可能改变。例如，我们可以从输入编码中导出出一个关于近似对象反射率的估计，由此产生一个输出图像，并且可以基于该图像（或是输入图像的任何衍生物）来应用一种带有倾向性的变换，其中所述变换会使明亮的对象稍暗一些，并且还可能使更暗的对象变暗。实际上，作为一种简单的近似，我们可以将如上所述的特征辉度看作是关于辉度范围的单值（1-value）判定（假定是平均值）。但是作为补充或替换，其他实施例可以编码用于表征图像（子集）中的辉度的其他量度，例如范围（例如，基于这两个范围的相应边界，随后可以规定从低范围到较大的被提升的高范围的处理）。通常，我们会在概念上将所有这些可能的概括编码称为特征辉度，但为了保持说明简单，我们将我们的说明限制成了单值特性。该系统特定适合与可控的环绕照明灯150配合使用，例如Philips的生活彩魅灯。这些灯可以配备（例如无线地通信的）驱动控制器151，其中所述驱动器可以由该配置（例如由显示器进行控制）中的任何单元依照根据本发明的附加编码数据来驱动。例如，在第一时刻TMSK_1，它有可能被关闭或调暗至50%，或更为智能地，它可以是依照特征辉度CHRLUM而被调暗的。通常，灯光可以依照暂时的视频辉度特征而被以最优的方式设定。

回到图3，显示器自身可以导出一个型线，或者优选地，所述型线可以由内容生成侧编码。该信号可以包括（可被接收侧、其解码IC及其处理IC理解和处理的）型线PROF代码下的若干个预定类，其中例如，所述代码可以是乘法MULT，这意味着在整个镜头期间（或者实际上是两个时刻代码之间的时段中），所应用的仅仅是乘法缩放（HDR信号本身、与背光对应的分解部分抑或是其组合）。修改型线还可以被进一步参数化，例如，P1是降低量（例如80%），并且P2是提升量（例如120%）。不同的参数仍允许不同显示器选择一个或另一个选项。对于SCN_WLK来说，型线类型是指数EXP，其中内容编码器可以补充诸如开始幅度A以及衰减时间TD之类的参数。通常，接收侧设备还可以独自确定在其期间需要与第一个值（例如输入视频的特征辉度表示或是根据第一算法为视频输入计算的背光驱动图像集合）偏离的时间间隔DTI，例如通过考虑视频以后的信息来确定（参见下文）。这种指数还可以用于降低持续很长时间的爆炸的辉度，其中例如，其原因是在伸展的时间表示中将其艺术地冻结。虽然初始信号可以编码包括初始捕获的辉度在内的爆炸的所有细节（因为这是具有爆炸设定的摄像机保持对其进行记录的方式），但是如果包含了所述指数，那么将会允许逐步地减小爆炸的辉度，而不会对视觉质量产生负面影响，但是例如，这样做将会允许减小电力（原本以静态方式执行的处理的时间的、内容驱动的等价物）。

此外，在具有少量此类基础型线（例如指数或线性分段）的情况下，内容提供方或是（先前编码材料的）再编码方可以产生复杂的时间型线。例如，这些型线可以用于例如将HDR效果应用于旧有材料。作为示例，旧电影有可能包含了一个关于向外生成热气体环波痕的超新星的场景，然而，所述场景是在{0,255}中以相当简单的方式编码的。与应用完整的计算机图形预测（或再渲染）来得到关于该场景的HDR{0,65K}编码不同，我们可以根据本发明来应用一个始于某个时刻的时间型线（通常是用于驱动背光的，但是并不局限于此），其中所述时刻可以是TMA_3，并且在此之后将会需要HDR效果。例如，通过允许编码这种（几乎）任意的时间型线，并且空间上也可变，我们可以例如在图像组件中定义向外去往LED背光的一个空时多正弦型线脉动（rippling），其中所述脉动与大多数发光气体云在初始（或经过处理的）{0,255}画面中的位置近似同步，以便驱动LCD。另外，该时间型线的空间特性SPATPROF可被编码，例如乘法形状，所述乘法形状例如可以是在原点为(x,y)且半径为r1的圆中定义的乘法常数。但是更有趣地，时间映射编码MAP可以是共同编码器，并且所述编码器可以是二维或三维的。这种处理可以是在为背光图像采用了一个基准分辨率（例如50x50，其中所述分辨率可以包括从竖着放置（portrait-positioned）的2:3数据读取器到21:9的电视的不同方面范围）的情况下完成的，并且所述基准分辨率可被重新采样，以便用于实际显示背光。例如，该映射可以包括用于这些区域的二进制数字（1=在即将到来的时间段中负载严重，0=不太严重的负载）或是局部累积驱动（其可以用于预测和反向调节局部加热、老化等等）。在这种情况下，二维数字阵列将被编码，例如，在下一个编码时刻或是接下来的10分钟固定约定间隔等等之前，{10,10,10,40,55,45,…}是基准LED的集成辉度。三维MAP（映射）可以包括有趣得多的局部空时数据（参数或实际的空间局部的时间函数），例如可以用于效果编码的数据。在前一个情形中，该映射只包含量度数据，其中就其热管理图像再处理而言，所述数据可以作为所关注的用于显示优化的信息数据使用，而在后一种情形中，它可以通过背光映射再采样来指导甚至命令例如LED的驱动。应该指出，任何用于在时间上调制背光的策略都可以被转换成单个的HDR驱动（例如用于OLED显示器），反之亦然，因此，任何编码实施例也都可以用于（HDR）颜色空间中的（被指导的）再处理，以便驱动显示器。

多种HDR渲染类型TYPE（改变场景照明ILLUMCHEN、改变局部拍摄环境ENVCHNG、类似于爆炸EXPL的效果等等）同样可以采用标准方式来约定，以便用于内容制作与显示渲染之间的通信，并且作为示例，视频可以包含一个脚本，如果显示器需要或者希望减小背光来节约电力（例如在观看者不太感兴趣的生态模式中），那么它会跳过从黑暗环境走到明亮环境中的效果，但是不会跳过所述爆炸（或者，更多或全部的环境会在其开始干涉爆炸之前改变）。或者，在场景照明类型渲染方面可以施加限制等等。附加参数可以为处于显示侧的单元实施的处理提供帮助，例如，局部统计LOCSTATS可以指示关于太高的像素辉度的最大问题是处于高于250像素辉度代码之上的剪辑（窗户）区域中，以及更大数量的颜色变形可以应用于高于200的初始编码像素值等等。

另一个有益实施例允许确定时间渲染的层级（例如爆炸之类的效果）。另外，重要性等级IMPLEV可以被编码。通过查看三个连续的爆炸SCN_EXPL，我们可以发现两件事情。首先，很多处于一个爆炸之后的爆炸未必会对观看者产生很大的冲击（并且这种冲击极大地取决于显示和观看环境，例如取决于处于明亮环境的移动电影观看者，我们可以具有两个明亮且间隔合适[持续时间有可能增加]的爆炸，其间则具有与三个几乎相同的级联爆炸相比相对较深的黑色调制，由此仅仅在彼此之上添加了感知差异，这种效果只有在较高端的显示器上以及更好的观看环境中才会被以令人满意的方式看到）。其次，在使用处于彼此之后的如此之多的爆炸来将显示器延伸至其限度的时候，有可能会存在过度的电力损耗乃至过热，也就是说，视频内容有可能与显示器的物理限制不一致。

爆炸增大了特征辉度（例如，火球上的平均辉度或是火球采样特征的辉度）。在初始的输入图像编码范围（或是其任何衍生物）中未必具有过多的空间来对其进行编码。通常，在编码范围边界附近捕获到的辉度是以渐进非线性（软削波）的方式编码的。即便是在非常近似的情况下，该函数也可以在解码（或转码）侧被共同编码或估计。无论怎样，如果存在着用于这些效果的较大范围（R_UPEFF），那么用于显示器输出的最终辉度都可以进一步分离。然而，考虑到敏感度以及对人类观看者的冲击度的降低，这些爆炸的附加提升可以是按照顺序的，并且大量的连续爆炸有可能不再适应可用范围R_UPEFF。一个有益的概念是“感觉明显的差别”WND。例如，这个概念可以被定义成是多个JND，并且形成可供艺术家编码的影响衡量（impact scale）的基础。所应用的处理可以使用经过编码的影响，例如将其作为用于连续爆炸之间的多个WND的指导方针。这可以借助型线PROF编码来完成，或者可以更显性地借助所允许的处理ALWDPROC的编码来完成，例如针对图像中的最亮的一半应用的色调映射。

但是，重要性等级允许降低某些时间渲染或是使某些时间渲染严重变色。鉴于第一和第三爆炸具有IMPLEV=1，第二爆炸具有IMPLEV=2。这意味着可以将其降低（或变形）而在辉度范围中产生空间，以便使用初始和最终爆炸来提供更为优化的视觉体验。此外，如果出于其他原因而需要改变诸如（局部）背光调光之类的渲染，那么显示器可以以最高的重要性等级为开始，例如IMPLEV=3，然后则是IMPLEV=2时间跨度等等。为了避免完全减小的第二次爆炸的视觉冲击或是将其变形，背光驱动中的损失可以通过让用于LCD的图像像素值极度明亮来对此进行部分补偿。这可以由显示器通过恰当的LCD图像补偿来完成，或者也可以通过特定的色调映射处理ALWDPROC来显式地编码。此外，该视觉冲击可以借助颜色规范COL并通过局部改变LCD或背光图像的色度参数来模拟，其中例如，所述颜色规范包括主对象或区域（在本范例中是爆炸）的色调差别HM，主对象或区域的饱和度差别SM，以及诸如（一个或多个）图像的剩余部分之类的周围区域的色调和饱和度差别。

对于以物理限制为基础的图像处理来说，令人关注的是这些与未来的特征辉度相关的参数NXTLD，例如到下一个过大的特征辉度的时间DT（例如，对于预测的基准显示器来说是高出80%的背光驱动）、具有过大的特征辉度的持续时间DUR、平均辉度或是在处于未来的PAV的时间间隔中耗费的电力等等。此类信息可以是到特征辉度间隔发生变化的时间，并且该信息可以用于由显示器通过对人类视觉或显示器的能量性态进行公式建模来确定时间型线。例如，我们可以基于导出得到且假设处于到来的30秒或5分钟的背光负载的最终规定来计算背光调光型线，并且可以基于最终规定的多个值或类来缩放指数。

图5示意性地显示了用于电影后期制作的颜色分类者599的装置的一个例示实施例（或者他也可以操作传统视频的半自动化标注），其中所述装置被配置成根据本发明来编码不同的注释数据（枚举所有可能性无助于简洁性，但是本领域技术人员可以通过从所描述的示例开始类推来确定这些可能性）。我们注意到，原则上，自动设备也可以实现本实施例，例如家中用于在夜间优化关于所获取的电影的特定显示的预处理设备，然而，我们将会使用人工分类来例示这些概念。颜色分类者具有一个分类设备500，该设备包含了用于规定不同选择、参数等等的输入装置501，其中所述装置通常具有带有诸如“接下来10秒的视频”、“显示/隐藏较小时刻的当前层级”、“添加时刻标记”之类的固定含义的按钮，字母数字键盘、用于确定色调或是提升关于连续关键视频图像的时间选择的旋转按钮等等。他还具有若干个显示器，例如基准HDR显示器511以及用于对电影进行时间分析的显示器512。例如，在这里显示了具有预先计算的特征辉度型线的多个关键帧，并且颜色分类者可以据此插入其时刻，通过对其双击来打开用于编码附加数据的一页，键入其类型ILLUMCHNG以及诸如统计参数之类的附加数据，这些可以很容易地借助运行在颜色板（color plane）之类的附加显示器上的帮助应用来提供。所有自动的预先计算都是由图像分析单元520完成的，其确定如上所述的不同参数，例如特征辉度型线，用于特征辉度型线改变的初始时刻（如果需要的话），其他编码的初始代码化，例如在渲染侧应用的优选型线。然后，颜色分类员即可轻松地接受或丢弃建议，并且在第二个情况下带来自己的人工提供的版本。应用单元522应用所有的当前可应用的编码，并且可以将其经由观看子单元5221发送到不同的显示器（例如围绕所确定的时刻TMA_1、TMI_1、……的最优关键图像的选集，以便在显示器512上观看，以及用于在基准HDR显示器511上的最终视觉感受。在用户输入装置上，其中一个按钮是为消费者起居室中特有的不同基准显示之间的快速切换保留的，其中例如，所述显示可以是在显示器511上模拟的500尼特的显示。在511上模拟的1000尼特的显示等等。这些模拟可以包括特定显示器有可能应用的图像处理的若干个（例如最坏的情形）场景，例如生态模式或锐化。然后，颜色分类员可以快速查看其做出的所有决定的影响，其是否松散编码了一个允许显示器应用可变量的处理并且由此导致差别很大的最终渲染的单个导引，或者其是否更紧密地编码一组用于不同基准情景的规范（例如老式LDR显示器、中等范围的显示器、……/黑暗与明亮环境对比、……）并且随后显示器由此必须尝试通过选择最恰当的规范来尽可能紧密地与之相符。最后，编码器524根据任何规定的格式来编码所有数据（例如共同编码的视频+数据信号NDAT），并且经由输出530来将其发送到连接531，例如发送到某个存储设备，然后，从所述存储设备中可以烧录BD或DVD，或者也可以将最终编码（视频+附加数据）经由卫星等等单独或共同发送到有线内容供应方。编码器可以采用预先规定的格式来编码这些时刻（相关示例参见下文），并且还可以包含一个再处理策略指示格式化器5241，以便以预定格式来编码可以在接收侧围绕这些时刻进行的处理。例如，编码器可以在多个字段（例如10个保留字段）中写入可以执行的处理类型的索引编号（例如，字段1=“1”意味着使用字段2=“x”中的斜率来线性减小当前预定输出辉度）。

在接收侧，例如，在包含碟片读取单元（在图1的示例中，该视频处理单元是BD播放器110中的IC 112，但是它也可以包含在TV，与显示相连的家庭网络中的计算机等等之中）的视频处理设备中可以引入一个视频处理/解码单元600（如图6所示）。IC 112和/或BD播放器可以产生一个适合驱动显示器的信号作为输出，作为示例，输出图像编码IMOUT包含了背光驱动图像组件ILIM以及LCD驱动图像LCDIM。视频处理单元经由输入640接收编码视频（例如从BD读取器、有线电视连接机顶盒等等），并且包含了一个解码器624，所述解码器可以对视频（通常是向后兼容的，也就是说，所述视频是依照AVC之类的MPEG标准编码的）进行解码，并且可以对依照本发明实施例的附加数据进行编码，例如特征辉度发生改变的时刻TMA_1……，此外，所述附加数据还规定了此类时间间隔的编码以及所述时间间隔中的视频（类型、视频统计信息、所要应用的映射型线等等）。视频解码单元600通常还会接收和解码与围绕时刻TMA或是由所述时刻TMA或者相对于所述时刻定义的辉度/颜色再处理相关的信息（例如，TMA可以定义一个用于以后的操作）。该视频处理单元600通常还可以被配置成包含视频分析器620，以便对解码后的视频VID执行自己的分析，从而应用其自己的视频处理（例如，显示器有可能优选应用自己的特定效果提升，甚至会忽略本发明的型线规范，但是这种处理至少可以通过获知所关注的时刻TMA_1而得到帮助；此外，与本发明相关度较低的视频处理也是可以应用的，例如草地纹理改善）。最终的视频处理部分是以视频分析器620自己的分析为基础的，并且部分是以根据本发明任一实施例的解码的附加数据DD为基础的，该视频处理是由视频处理器630完成的，并且最终得到的视频编码（对于图1的示例来说，其通常是LCD和LED驱动图像）将会经由输出650发送至显示器。我们还用虚线示意性地显示了一个相连的显示器6000（当然，具有解码能力的处理单元600可以与别的设备相连，例如转码器或存储设备等等）。在与智能显示器相连的情况下，视频处理单元600通常将输出仍然大量的初始信息DD（即使其已经创建了自己的优化视频信号），其中例如，所述信息可以是关于特征辉度在至少一个或若干个未来的时间分段中如何改变的规范SPECFUT。显示器可以使用该数据来得到自己的最终信号，以便在其显示面板6001上进行渲染，例如，它可以包含一个被配置成根据显示器的优选来确定最优视频驱动的观看体验优化器6002。

在信号中可以用不同的方式来编码附加数据DD。例如，大多数的字段可以包含在视频开端的主报头中，例如具有细节的时刻TMA_1……的列表，其中所述细节可以是电视是否允许处理以及允许哪些处理，所述字段可以是以关键字COL为开始并且之后跟随了4个参数（HM到SS）的字段。或者，DD可以包括表征了即将到来的图像的特征辉度型线或其他型线的线性分段的组合，具有空间位置并且作为曲线或稀疏参数列表的第三维点数据的3D LUT等等。但是例如，图像报头或是GOP或块的群组还可以包括（通常较少）以后即将到来的未来的数据，例如下一次特征辉度发生改变的时间及其类型。因此，数据DD可被编码在被视为视频信号VID的其内部（例如在其内使用预先定义的开放式的全部捕捉保留数据结构，如SEI）或是其外部（例如在单独的存储器上以及借助单独的信号路径），但是可以与之相关的。例如，这种编码可以在将视频VID的标识（例如标题+其他细节或是水印）发送至服务供应方的服务中使用，然后，所述服务供应方会发送附加数据DD或是提供针对附加数据DD的访问。对于其他视频。例如消费者捕获的视频来说，整个视频信号VID都可以被发送给供应方，但是对于这种情景来说（其中没有与电影一样的众所周知的视频数据），DD优选是以与VID紧密关联的方式保存的（但是有可能在VID之外），例如将其保存在相同的可移除存储器上，如果没有相同的硬盘，则将其保存在相同的家庭网络存储器上等等。特别地，如果消费者自己的某个设备（例如机顶盒、膝上型计算机）执行视频分析并且提供附加数据DD，那么这种处理将会实现。

图7更详细地示出如下方面的示例实施例：在设备使用附加数据得到期望的视频渲染时在数学方面进行的处理，以及特征辉度与视频图像的基础像素辉度背后的关系，尤其是其直方图。为了简单起见，我们假设输入图像（其直方图是在图表底部显示的，其中像素辉度Lin在0与255之间向左递增）是经过LDR编码的，并且具有使用部分直方图BRLGHT的单个明亮区域。该输入图像可以用特征辉度CHRLUM_i来表征（如前所述，所述特征辉度可以是关于概述了图像的光亮度（物理或感知方面）的输入图像像素的空间和/或辉度（/颜色）值分布的任何空间/数值等式），在本范例中，所述特征辉度显示出该图像由于处于Lin轴上的很低的位置而不是很亮（有可能是因为存在大量黑暗的像素，并且明亮的区域在数量或辉度方面均未占据优势）。由此，这个单独的特征辉度定义了主要是浅黑色的图像，但是也有可能存在明亮的区域（通常可以使用更复杂的表征方式，其中包括描述了当前图像或镜头的复杂度的其他特征辉度值）。如果在旨在用于显示驱动的HDR颜色空间中使用输出辉度Lout来表示这个初始图像（无论是否借助于背光/透射分解，也就是Lout有可能表示完整编码{0,65K}图像或是背光驱动图像的直方图），那么与之相对应一个初始（原始、起始）特征辉度CHRLUM_ini（例如针对输入图像使用与用于{0,65K}图像的等式相同的等式计算得到，其中所述等式产生自一个简单的映射，例如单纯的伸展，或者一个将较暗的辉度近似映射到标准的500尼特表示范围[也就是说，对于线性驱动而言——或是被补偿的任何伽马值来说——与驱动值中的最低的四分之一的某个部分相对应的将会是一个2000尼特的显示]以及将较亮的对象映射成HDR范围中的较高辉度值的更加非线性的函数）。针对HDR范围的初始分配被概念化为Lin*而（所显示关于不需要辉度偏离/提升的像素的示例）。然而，我们希望至少为最亮的辉度/区域给出附加提升，例如心理视觉提升，由此在Lout轴上向上移动BRLGHT部分直方图，而这与较高的特征辉度CHRLUM_o是对应的。应该指出，虽然我们描述了在概念上与特征辉度相关的每个内容来定义本发明，但是本发明实际是可以采用若干种不同的方式实现的。通常，图像处理会与诸如（局部）色调映射（TMO_B）之类的操作相对应，其通常会随时间改变（至少部分是由一些从DD中取回的数据指引的），这一点可以从用于后一个时刻（t2）的第二个垂直直方图中很清楚地看出，其中对于所述时刻而言，部分子直方图BRLGHT是略微下移的，由此与较低的特征辉度CHRLUM_0(t2)是对应的[为了简单起见，我们假设输入图片直方图在t2是相同的，否则这一点同样会在输出直方图中得到反映，这是因为通常只有色调映射策略才会依据时间以及本发明实施例规定的附加数据的函数而改变]。如前所述，作为补充或与之相似，根据本发明的相同处理概念还可以通过查看SP_I与SP_O相对比的部分直方图的局部跨度等等来表征（也就是说，我们可以计算一个特征辉度，用于量度相同内容的替换表示将会是等同的）。任何实施例都可以在单个流水线操作中实现，由此应该用一般意义上的处理来解释再处理。应该指出，时刻TMA_1等等还可以以更密集（和/或更等距）的速率编码在视频中，在这种情况下，我们会为其中一些给出不变化代码，或者至少ALCORR“not_allowed（不许可）”代码或是类似代码，这是因为它们并没有什么特别特殊的地方（但是，这种处理对于关于一些与特征辉度相关的属性或是相似属性的更密集的描述而言是非常有用的，其可用于控制时间附近的处理，例如用于背光驱动之类的能量考虑事项）。相关的概念是在实际发生变化之前对所述变化进行某种程度的编码。

应该理解，通过使用本发明，可以实现很多视觉效果渲染，例如闪耀（shine-through）等等。此外还应该认识到，本发明不但可以与单个视频编码VID（例如LDE编码的扩充）结合使用，而且还可以与若干种相关编码一起使用（例如LDR和HDR变体），然后则可以用于关联它们。例如，所述时刻可以指示具有相似性或不相似性的特别感兴趣的时间分段，并且图像处理型线可以关联它们或是使其更为相似或更不相似，抑或是导出出关于所有这二者的新的渲染等等。附加数据中的至少一些部分可以至少部分地基于视频数据确定的，或者也可以与之不相干（但是通常会存在某种关联，人们可以规定某种特定的表述方式）。此外，诸如时刻等等的附加数据的导出优选是从任一HDR信号开始进行的（例如HDR分类），但是也可以基于导出得到的视频编码来进行——例如作为粗略估计。

在使用若干个实施例详细描述了本发明之后，我们转到图1，以便了解与视频接收方面的布置并且通常与显示侧相关的其他可能性。若干种其他设备可以包括至少部分的本发明的组件，并且有助于本发明，例如具有存储器的视频接收设备120可以借助连接（无线或缆线）121而被连接。视频接收设备120可以根据本发明来应用自己的分析和注释，例如，可以在夜间离线，应用于经由与因特网130相连的连接122下载并且稍后将会查看的视频节目，以便创建用于相连接的显示器的背光的明智的驱动策略。应该指出，经由因特网可以到达计算机131，其中所述计算机131包含了根据本发明的注释数据（例如来自离线服务供应商），并且视频接收设备120甚至可以经由因特网连接到来自LDR或HDR摄像机132的供给。

图8描述具有第一侧设备（第一侧通常仍与所述布置中的其他设备处于相同位置，例如消费者的房屋，但是可能在不同的时间工作）以及第二侧设备（例如TV）的例示布置。在这个示例中，我们将第一侧设备作为具有电源功能的图像处理设备800来实现，例如它可以是具有存储器并且可以预先处理电影的机顶盒（当然，相同的处理也可以在电视中进行，或者在处于世界上的某个位置的处理侧等等进行）。

如US7284874B[Jeong, LED backlight including cooling]所述，显示器有可能变热，特别地，在显示众多明亮图像的情况下，背光有可能变得很热，尤其会在冷却器必须工作于其规范以上时过热。然而，我们可以模拟如何用对流将来自背光区域的热量传走。

图像处理设备800包括一个视频分析器801，该分析器被配置成以一种与热性能相关的方式来分析视频。也就是说，它通常知晓热模型以及诸如爆炸或是室外场景中的明亮视图之类的特定视频对于诸如预先加载的显示特性的热性能（例如相连电视的背光的热模型）的影响。我们描述一个更简单一些的分析单元，其中该单元仅仅会发送“一般的”时间特征，然后，接收侧可以在自己的热建模内中使用该特征，以及可选地，主要确定接收显示器的最佳显示驱动行为的分析单元。视频信号820可以包含两个爆炸。通用时间特征可以使用特定的建模函数821来描述至少一个这样的爆炸——或者一般来说是描述未来的辉度型线。例如，对于以后（或局部区域等等）的多个图像来说，其特征辉度的线性加法加权可被计算。通常，这种加权可以取决于（对于基准显示器来说）过载的持续时间，因为更长的时段将被假设具有更大的过热概率。也就是说，持续时间较长的爆炸的加权有可能更高（幅度将被简单地（trivially）引入）。例如，加权系数可以是从电视/第二侧接收的。无论怎样，电视可以使用视频的这种热时间特征TEMPREL来更安全地确定自己的设定。例如，未得益于当前给出的附加数据的电视将会基于虚线型线870来执行其背光调制。它仅仅会遵循所述提升，但是会因为过热而需要在中途变暗。如果不知道第二提升即将到来，那么将会因为热方面的原因而被迫失去更多的亮度（使得第二次爆炸不如第一次爆炸亮，而不是比它更亮）。有了附加数据，显示器可以使用更为智能的驱动策略，该策略是用虚线的特征辉度型线871表示的。也就是说，在爆炸之前，它可以在黑暗部分中变暗而不太令人感到厌烦，并且有可能在第一次爆炸中保留用于第二次的提升。

可选地，给定实际热模型，视频分析器801可以模拟实际（近似）修改822将会具有的效果，并且所述分析器可以将这些模型规定成是至少用于显示器的试验性指导的修改模型。在任何场景中，与电力相关的显示驱动优化器850都会基于其获取的任何附加数据DD来确定显示器的最终驱动。作为示例，替换实施例可以将临时变化的警告信号或是可用的热预算指定为附加数据DD，其中所述热预算规定显示器（可能）过热的严重程度等等。

图9给出依照MPEG4-AVC的SEI结构来编码本发明附加数据的例示实施例。我们将AVC示例描述成了关于从“内容创建”侧到消费者的电视之类的内容渲染侧的广播的示例，以及诸如BD播放器和电视之类的两个消费类设备之间的编码及其间的控制或通知功能的CEA 861-D示例。

MPEG特别为与编码视频相关的附加信令信息定义了一个特殊的元数据容器。这个元数据容器被称为补充增强信息（Supplemental Enhancement Information）消息，其缩写则是SEI消息。SEI消息是在单独的数据块中与视频数据一起在流中传送的（SEI NAL单元901）。

H2.64流是从NAL单元（网络抽象层）中构建的。在H2.64中定义了若干种不同类型的NAL单元，例如包含了编码图片数据的NAL单元以及包含了SEI消息的NAL单元。这其中的若干种NAL单元共同形成了一个访问单元。在访问单元中，所有数据都是可用的，并且这一点是开始解码和呈现一个或多个视频帧所必需的。

作为示例，异常明亮的场景的时刻可以用PTS（programming time stamps,编程时间戳）值来描述。DTS值可以指示何时——在时间上充足——需要对SEI消息解码并使用该值来将其发送到子单元。

用于携带HDR亮度提升说明符902的例示SEI消息句法可以如下所示：

HDR_Boost_Predictor(payloadsize){	比特数量	类型
			Maker_bit(s)	1	BSLBF
Frame_rate	8	UIMSBF
			PTS_start	32	UIMSBF
PTS_end	32	UIMSBF
			HDR_DTS	32	UIMSBF
Region_horizontal_position	16	UIMSBF
			Region_vertical_position	16	UIMSBF
Region_width	16	UIMSBF
			Region_height	16	UIMSBF
HDR_Gain	7	UIMSBF
			Reserved for future use	16	UIMSBF
}

在这个消息中，编码具有以下含义：

Marker_bit(s)：指示SEI消息开端的比特

Frame_rate：用于计算针对系统时钟的PTS值的相关联的视频的帧速率

PTS_start：包含了异常明亮的场景的第一个IDR帧的PTS值

PRS_end：包含了异常明亮的场景的最后一个IDR帧的PRS值

HDR_DTS：指示何时应该解码SEI消息的时间戳

Region_horizontal_position：异常明亮的帧的区域的水平位置

Region_vertical_position：异常明亮的帧的区域的垂直位置

Region_width：该区域的宽度

Region_height：高度

HDR_Gain：定义了当前帧的亮度的代码，例如相对于显示器可以在不会过热的情况下处理的基准等级。

以下示例通过视频内容递送设备与显示器之间的视频接口将消息嵌入到了信令中。用于该示例的当前例示标准是HDMI和Displayport。这两个标准中的信令都是以CEA861-D标准为基础的。该标准定义了厂家专有的信息帧的内容，其由在视频传输的垂直消隐时期中传送的多个字节组成。

例示的HDMI厂家专有数据块HDR可以如下所示。

在实践中，本文中公开的算法既可以（整体或部分地）作为硬件（例如专用集成IC的一部分）实现，也可以作为在专用数字信号处理器或通用处理器等等上运行的软件来实现。从至少一些用户输入可被给出/已被（例如在工厂或是消费者输入）给出的意义上讲，它们可以是半自动的。

从我们的描述中，本领域技术人员应该理解哪些组件是可选的改进并且可以结合其他组件来实现，以及方法的（可选）步骤如何与设备的相应装置相对应，反之亦然。在本发明中，一些组件是以某种关系公开的（例如在单个附图中，在某种配置中），但这个事实并不意味着其他配置不能作为依照这里为了申请专利而公开的同样的发明思想的实施例。此外，出于务实的原因，在这里仅仅描述了一系列有限的示例，但这并不意味着其他变体不能落入权利要求的广泛范围以内。实际上，本发明的组件可以在沿着任一使用链的不同变体中实现，例如，编码器的所有变体都可以类似于或对应于相应的解码器，反之亦然，并且可以在用于传输的信号中作为特定信号数据来编码，此外还可以在编码器与解码器之间的任何传输技术中使用，例如协调等等。在本申请中，单词“设备”是以最广泛的意义使用的，它指用于实现特定目标的一组装置，并且由此可以例如是IC（的一小部分）、专用电器（例如具有显示器的电器）或是联网系统的一部分等等。此外，“布置”同样是以最广泛的意义使用的，由此它特别可以包括单个设备、设备的一部分、协作设备（或是其一部分）的集合等等。

计算机程序产品表示应该被理解成是包含了命令集合的任何物理实现方式，其中所述命令集合能使通用或专用处理器在一系列加载步骤（这其中可以包括中间转换步骤，例如变换到中间语言，以及最终的处理器语言）之后将命令输入到处理器，以便执行本发明的任何特征功能。特别地，计算机程序产品可以作为载体上的数据来实现，例如磁盘或磁带，存储器中存在的数据，经由有线或无线网络连接传播的数据，或是纸上的程序代码。除了程序代码之外，程序所需要的特征数据还可以作为计算机程序产品来实现。此类数据可以采用任何方式来（部分地）提供。

该方法的操作所需要的一些步骤可以是在处理器或是本发明的任何设备实施例的功能中给出的，而不是在这里描述的计算机程序产品或任何单元、设备或方法中描述的（结合本发明实施例的特性），其中例如，这些步骤可以是数据输入和输出步骤，众所周知且通常会被引入的处理步骤，例如标准的显示驱动等等。我们还希望保护最终产品以及类似的结果，例如在这些方法的任一步骤或是设备的任何子部分中包含的特定的新颖信号，以及此类信号的任何新用途或是任何相关的方法。

应该指出，上述实施例是例证而不是限制本发明。在本领域技术人员很容易即可以将所给出的示例映射到权利要求中的其他区域的情况下，为了简洁起见，我们没有深入述及所有这些选项。除了权利要求中组合的本发明的要素组合之外，这些要素的其他组合也是可能的。所述要素的任何组合都可以在单个专用部件中实现。

在权利要求中，括号中的任何参考符号都不是为了限制权利要求，并且附图中的任何特定符号也是如此。单词“包括”并不排除权利要求中没有列举的其他要素或方面的存在。处于要素之前的单词“一”或“一个”并不排除多个此类部件的存在。

Claims (23)

1. 一种除了对视频数据（VID）还对附加数据（DD）进行编码的方法，其中该附加数据包括至少一个在时间上指示视频数据的特征辉度（CHRLUM）的改变的改变时刻（TMA_1），所述特征辉度概括了视频数据的图像中的像素辉度集合，该方法包括：

基于视频数据（VID）来生成关于视频特征辉度变化的描述性数据（DED），所述描述性数据包括至少一个改变时刻（TMA_1），以及

将视频数据（VID）编码并输出；

在附加数据（DD）中编码至少一个指示（ALCORR，（TYPE）），所述指示是已被允许的由设备（112,110）使用视频数据和附加数据来对至少视频数据像素辉度执行再处理的策略的指示，以获取高动态范围辉度，使得该时刻附近的图像的特征辉度被改变；

编码并输出附加数据（DD），其包括描述性数据（DED）。

2.如权利要求1所述的编码附加数据（DD）的方法，其中该方法包括在较低动态辉度范围和较高动态辉度范围之间映射要渲染的像素的辉度。

3.如权利要求1所述的编码附加数据（DD）的方法，包括编码来自带有前缀的约定代码集合中的特定的再处理代码（MULT）的步骤。

4.如权利要求1所述的编码附加数据（DD）的方法，包括在附加数据（DD）中编码辉度偏差策略的步骤，在至少一个改变时刻（TMA_1）附近的连续时刻中规定，以便在时间间隔DTI期间相比于初始辉度（Lin*）来再处理视频数据（VID）的像素辉度，其中所述辉度偏差策略被编码为编码时间型线（PROF）或是用于计算偏差策略的数学算法。

5.如以上任一权利要求所述的编码附加数据（DD）的方法，其中再处理基于根据渲染的图像辉度对所感知的光建模的心理视觉模型。

6.如权利要求1-4中任一权利要求所述的编码附加数据（DD）的方法，其中再处理基于显示器和/或观看环境的物理特征。

7.如权利要求1-4中任一权利要求所述的编码附加数据（DD）的方法，其中所述再处理的类型包括确定用于背光的照明图像（ILIM），并且该方法还包括：在围绕改变时刻（TMA_1）的间隔期间对影响用于背光的照明图像（ILIM）的判定的数据进行编码。

8.如权利要求7所述的编码附加数据（DD）的方法，其中影响用于背光的照明图像（ILIM）的判定的数据包括由二维矩阵（MAP）中的位置的至少空间区域的初级基础函数贡献组成的时间函数。

9.如权利要求1-4中任一权利要求所述的编码附加数据（DD）的方法，包括在附加数据（DD）中编码关于改变时刻（TMA_1）未来的特征辉度的信息和/或用于基准显示器的背光的照明图像（ILIM）的期望辉度的信息的步骤。

10.如权利要求1-4中任一权利要求所述的编码附加数据（DD）的方法，包括在附加数据（DD）中编码关于至少一个改变时刻（TMA_1）的重要性指示（IMPLEV）的步骤。

11.一种视频编码设备（524），其被配置成除了视频数据（VID）之外还编码附加数据（DD），其中所述附加数据包括至少一个在时间上指示视频数据特征辉度（CHRLUM）的改变的改变时刻（TMA_1），所述特征辉度概括了视频数据的图像中的像素辉度集合，该编码设备（524）被配置为：

- 将视频数据（VID）编码并输出；

- 在附加数据（DD）中编码至少一个指示（ALCORR，（TYPE）），所述指示是已被允许的由设备（112,110）使用视频数据和附加数据来对至少视频数据像素辉度执行再处理的策略的指示，以获取高动态范围辉度，使得该时刻附近的图像的特征辉度被改变；

- 编码并输出附加数据（DD），其包括描述性数据（DED）。

12.一种如权利要求11所述的视频编码设备（524），其被配置成除了对视频数据（VID）还对附加数据（DD）进行编码，所述附加数据（DD）包括来自带有前缀的约定代码的集合的特定再处理代码（MULT）。

13.一种对视频数据（VID）之外的附加数据（DD）解码的方法，其中该附加数据（DD）包括至少一个在时间上指示视频数据特征辉度（CHRLUM）的改变的改变时刻（TMA_1）以及至少一个指示（ALCORR，（TYPE）），所述指示是已被允许的由设备（112,110）使用视频数据和附加数据来对至少视频数据像素辉度执行再处理的策略的指示，以获取高动态范围辉度，使得该时刻附近的图像的特征辉度被改变，所述特征辉度概括视频数据的图像中的像素辉度集合，该方法还包括输出至少一个改变时刻（TMA_1）以便基于所述至少一个指示（ALCORR，（TYPE））转换该时刻附近的图像的像素辉度。

14.如权利要求13所述的除了视频数据（VID）还解码附加数据（DD）的方法，该方法还包括：从附加数据（DD）中提取关于视频数据像素辉度的再处理策略的至少一个指示（ALCORR，（TYPE）），该方法还包括采用预先约定的格式来输出所述指示。

15.如权利要求13所述的除了视频数据（VID）还解码附加数据（DD）的方法，该方法还包括：解码和输出至少一个如权利要求1-10中任一个所述的编码的数据实体。

16.一种视频解码设备（600），被配置来解码视频数据以及被配置来与视频数据（VID）相关地解码附加数据（DD），其中该附加数据（DD）包括在时间上指示了视频数据特征辉度（CHRLUM）的改变的至少一个改变时刻（TMA_1）以及至少一个指示（ALCORR，（TYPE）），所述指示是已被允许的由设备（112,110）使用视频数据和附加数据来对至少视频数据像素辉度执行再处理的策略的指示，以获取高动态范围辉度，使得该时刻附近的图像的特征辉度被改变，所述特征辉度概括了视频数据的图像中的像素辉度的集合，以及被配置来至少借助一个输出（650）来输出至少一个改变时刻（TMA_1）以便基于所述至少一个指示（ALCORR，（TYPE））转换该时刻附近的图像的像素辉度。

17.如权利要求16所述的视频解码设备（600），还被配置成解码所允许的至少视频数据像素辉度的再处理策略的至少一个指示（ALCORR，（TYPE））。

18.如权利要求17所述的视频解码设备（600），还被配置成解码来自带有前缀的约定代码的集合的特定再处理代码（MULT）。

19.如权利要求17所述的视频解码设备（600），还被配置成解码辉度偏差策略。

20.如权利要求19所述的视频解码设备（600），其中辉度偏差策略包括编码时间型线（PROF）或是用于计算偏差策略的数学算法，在至少一个改变时刻（TMA_1）附近的连续时刻中规定，以便在时间间隔DTI中相比于初始辉度（Lin*）来再处理视频数据（VID）的像素辉度。

21.如权利要求17所述的视频解码设备（600），还被配置成解码至少一个用于确定背光的驱动图像（ILIM）的规范。

22.如权利要求17所述的视频解码设备（600），还被配置成解码至少一个概述了关于改变时刻（TMA_1）的未来的特征辉度和/或用于基准显示器的背光的照明图像（ILIM）的期望的辉度的信息的规范（SPECFUT）。

23.一种系统（110+100），包括如以上任一视频解码权利要求中的视频解码设备（600），以及显示器（100），其中该显示器被配置成基于至少一个改变时刻（TMA_1）来改变其渲染。