[go: up one dir, main page]

CN106101708A - 用于广色域视频编码的感知颜色变换 - Google Patents

用于广色域视频编码的感知颜色变换 Download PDF

Info

Publication number
CN106101708A
CN106101708A CN201610281492.5A CN201610281492A CN106101708A CN 106101708 A CN106101708 A CN 106101708A CN 201610281492 A CN201610281492 A CN 201610281492A CN 106101708 A CN106101708 A CN 106101708A
Authority
CN
China
Prior art keywords
color
color space
computer
components
vertices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610281492.5A
Other languages
English (en)
Other versions
CN106101708B (zh
Inventor
D·卢戈布尔
T·O·艾丁
A·斯摩立科
N·斯蒂凡思科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Disney Enterprises Inc
Original Assignee
Disney Enterprises Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Disney Enterprises Inc filed Critical Disney Enterprises Inc
Publication of CN106101708A publication Critical patent/CN106101708A/zh
Application granted granted Critical
Publication of CN106101708B publication Critical patent/CN106101708B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8045Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

本发明公开用于广色域视频编码的感知颜色变换,本发明提供一种能够在固定比特率下适应高动态范围(HDR)和广色域(WCG)内容的视频编码流水线。为了处理图像内容,视频编码流水线基于单色品和亮度比变换。图像内容可以被转换为接近感知的均匀颜色空间,以在恒定的亮度下进行编码。此外,色品变换被利用,色品变换通过扩大用于压缩的码字分布来(以固定的比特率)减少在色度部分的编码错误。

Description

用于广色域视频编码的感知颜色变换
相关申请的交叉引用
本申请要求2015年5月1日提交的编号为62/156,124的美国临时专利申请的权益,其通过引用作为整体全并入本文。
技术领域
本公开总体涉及视频编码。
背景技术
人们对具有高动态范围(HDR)以及广色域(WCG)的视频或其他视觉内容的分布越来越感兴趣,这是由于,与传统标准动态范围(SDR)和标准色域(SCG)内容相比,其有能力提供更加增强的视觉体验。SDR内容的亮度通常在例如0.1到100尼特之间,该范围明显低于人眼可以在真实生活中所看到的。然而,以HDR和WCG拍摄或重新灌录的镜头片段包括更多的信息,这进而需要伴随着增加的比特率的更大的文件尺寸。
发明内容
各种实施例旨在通过使用恒定亮度编码流水线以固定的比特率来提供更好的内容(例如,图片)质量,其中图片内容可以转换为接近感知均匀亮度/色度(Y/U′V′)颜色空间。此外,本发明公开了用于使用在编码流水线中(使用区别于光度变换并且与光度变换不同的专用的色品变换进行的)各种色品变换。
根据本公开的一个实施例,一种计算机实现方法包括将加色模型信号转换为具有色品成分(component)和亮度成分的均匀颜色空间信号。该计算机实现方法进一步包括通过将色品比变换应用到色品成分并且将亮度比变换应用到亮度成分来变换色品成分和亮度成分。此外,计算机实现方法包括量化变换的色品成分和亮度成分,并且编码量化的色品成分和亮度成分。
根据本公开的另一个实施例,一种非暂时性计算机可读存储介质具有包括在其上的计算机可执行程序代码,该计算机可执行程序代码被配置为使处理器用于:解码携带图像信号的输入比特流的量化颜色和光亮度成分,该图像信号由具有光亮度和颜色成分的第一颜色空间模型表示;将量化的颜色和光亮度成分去量化;在去量化颜色成分上应用第一逆变换;在去量化光亮度成分上应用第二逆变换;并且将由第一颜色空间模型表示的图像信号转换为由第二颜色空间模型表示的图像信号,该第二颜色空间模型是加色空间模型。
根据本公开的又一实施例,一种系统包括转换器,该转换器用于将由第一颜色空间模型表示的图像信号变换为由具有亮度和颜色成分的第二颜色空间模型所表示的图像信号。该系统进一步包括将第一变换应用到颜色成分的第一变换器;光电传递函数编码器,其用于将第二变换应用到光亮度成分;量化器,其用于量化变换的颜色和亮度成分;和编码器,其用于对量化的颜色和光亮度成分进行编码并输出比特流。
附图说明
本公开根据一个或多个实施例参考附图来详细描述。所述附图只用于说明并且只描述了典型的或示例实施例。
图1是说明根据各个实施例的示例操作的流程图,该示例操作能够被执行以获得具有专用色品变换的恒定亮度编码流水线。
图2A是视频处理流水线的示意图表示,其中可以根据各个实施例实现图1中的具有专用色品变换的恒定亮度编码流水线。
图2B是可以被用于图2A的视频处理流水线的具有图1中的专用色品变换的恒定亮度编码流水线的示意表示。
图3是传统非恒定亮度流水线的示意表示。
图4是可以被用于图1的具有专用色品变换的恒定亮度编码流水线的色品变换的概念性表示。
图5是为了应用可以应用于具有图1中的专用色品变换的恒定亮度编码流水线的色品变换将颜色空间细分为网格的示例表示。
图6是对网格的每个顶点应用变换时的常规格网的形成的示例表示。
图7A是变换色品值中利用的直接变换的拉伸步骤的示例表示。
图7B是连接至多边形的边界点的顶点的示例表示。
图7C是映射到单位方形的颜色空间三角形的等距点的示例表示。
图8A是可以被应用到具有图1的专用色品变换的恒定亮度编码流水线中的非最优化的最小平方色品变换的示例表示。
图8B是可以被应用至具有图1的专用色品变换的恒定亮度编码流水线中的最优化的最小平方色品变换的示例表示。
图9是可用于实现本发明所描述的实施例的各种特性的示例计算组件。
上述图示并不是详尽的并且并不将本公开局限为本文中的具体形式。
具体实施方式
与传统的非恒定亮度视频编码流水线相比,在本文中公开的各个实施例提供具有专用色度变换的恒定亮度编码流水线。如上所述,高动态范围(HDR)和广色域(WCG)内的镜头片段(footage)相比于标准动态范围(SDR)包括更多的信息,这需要更多的存储空间或者增加的分配比特率。因为该比特率对某一分配通道来说过高,所以需要更高的压缩效率。
图1说明了根据各种实施例执行的通过使用具有专用色度变换的恒定亮度编码流水线获得更高效的颜色(标准色域(SCG)和WCG)视频编码的示例操作。结合图2B的此编码流水线的示意图来说明图1。编码流水线201可被考虑为具有预处理部分209和编码部分(通过编码器210体现)。
在操作100中,加色模型信号被转变为具有色品成分或通道和亮度成分或通道的均匀颜色空间信号(由图2B中转换器202实现)。红、绿、蓝(RGB)色模型为加色模型的示例,在加色模型中,红、绿和蓝光以各种方式添加在一起以得到多种其他颜色。RGB颜色模型可被用于电子系统(例如,监视器、TV等)中的图像感知、表现和显示。输入设备(例如摄影机、图像扫描仪、视频游戏机、数码相机等)可以将RGB信号输入到输出设备(例如,TV、监视器、投影仪或其他显示器)中。均匀颜色空间可以被称为被用于颜色图像流水线的CIE颜色空间或者YUV颜色空间。均匀颜色空间能够编码可以将人的感知考虑在内的图像或视频并且允许色度成分能够掩蔽(mask)传输误差和压缩失真(artifact)(而不是使用视频或图像的“直接”RGB表示)。变换的结果是具有亮度成分或通道、Y(代表光亮度)和色品成分或通道、U和V(代表颜色)的信号。
如上所述值得注意的是,从所述RGB颜色空间到YUV颜色空间的转变可以从RGB到YUV成分或通道来“直接”进行。然而,根据其他的实施例,可以进行中间转变(未示出)来将RGB成分或通道变换为XYZ颜色空间,其中XYZ成分可以随后被变换为前面提到的YUV成分。
在操作102中,色品成分和亮度成分被变换,通过将色品比变换(chromaticity-specific transform)应用到色度成分并且将亮度比(specific)变换应用到所述亮度成分来进行该变换(分别通过图2B中的变换器206和204来进行色度和亮度的变换)。如图2B所示,U和V通道被变换为U′和V′通道,其中色品变换根据各种实施例保持感知均匀性(这使用传统编码流水线上利用的传统变换方法是不可能的)。值得注意的是,亮度成分或通道被单独处理(例如,利用(由图2B的OETF编码器204执行的)光电传递函数(OETF)),从而导致了伽玛压缩的或编码的明度(luma)成分Y′。亮度和色品成分的单独处理进一步有助于使压缩更加有效。
在操作104中,明度Y′以及色品成分U′和V′被量化(由图2B中的量化器208进行),导致具有DY′、DU′和DV′的成分或通道的信号。量化可涉及通过在此情况下将一系列值(明度和色品成分值)压缩为单个量子值从而减少用来表示图像的颜色数量来实现的一种有损压缩技术。
在操作106中,色品成分DU′和DV′被编码(通过图2B中的编码器210来进行)。量化的明度成分DY′也是如此。编码器210可以具有带有计算机代码的存储器单元,该存储器单元被配置为使处理器应用视频编解码器,例如高效视频编码(HEVC)编解码器,这是高级视频编码(AVC)也被称为H.264的后继者。应注意的是,HEVC最初针对SDR和SCG内容被设计,并且在传统应用中,针对压缩效率而言,HEVC用于编码HDR或者WCG视频序列并不是最优的。然而,在本公开中公开的上述色品变换将色品成分(U,V)转变成不同的值(U′,V′),这对于压缩目的来说是更加高效的(更好利用了(例,HEVC)编解码器水平处的码字)。此外,如之前还讨论的,为了维持CIE或YUV颜色空间的感知适应,尽可能地使变换的色品成分被感知均匀。
图2A图示其中可以实现各种实施例的示例编码器和解码器体系结构系统200。系统200可包括编码器210、解码器218和与编码器218和解码器210两者连通的(多个)网络或分配通道216。编码器210可以包括存储器212和处理器214,而解码器218也可以包括存储器220和处理器222。解码器218可以是机顶盒、调谐器等。在操作中,编码器210的处理器214可以执行存储在存储器212中的计算机指令,例如,用于编码视频序列的计算机指令。也就是说,视频内容(其可以是HDR或WCG格式的)被馈送到编码器210中,接着被压缩,以准备进行存储和/或传输。例如,编码器210的处理器214可以通过使用上述HEVC编解码器执行一过程来编码视频序列,并将编码的视频序列经过网络216传输至解码器218。解码器218(体现为某种类型接收设备,例如,机顶盒,调谐器等)可以接收编码的HDR或WCG视频序列用于进行解码并呈现到显示器224。也就是说,解码器218的处理器222可以执行存储在存储器220上的计算机指令,例如,用于对接收的HEVC编码的视频序列进行解码的计算机指令。
如上所述,系统200也分别包括预处理部分209和后处理部分223,其中一种或更多种算法根据各种实施例针对(vis-à-vis)转换器202、OETF编码器204、色品变换器206和量化器208被执行。这些组件可以是单独的硬件和/或软件组件或者是同一硬件/软件组件的功能部分。尽管没有示出后处理部分223的相应组件,应理解的是其包括用于进行编码的视频序列的去量化和逆色变换的相似的硬件和/或软件。也就是说,输入比特流可以由解码器218来解码。通过解码输入比特流,解码器218可以将输入比特流转变为一系列变换系数、空间预测模式和运动补偿向量。应注意到,编码流水线的编码方面和解码方面不需要包括改良的(例如,HEVC)编解码器。
如上所述,传统的编码流水线基于非恒定亮度编码。图3图示示例传统编码流水线301来提供现有技术与本文中公开的各种实施例之间的区别的判断。传统编码流水线301将RGB颜色空间中的图像作为输入。因为输入视频序列的每个帧都必须被分独处理,所以参考流水线中的每个步骤被应用于序列中的每个帧。输入(RGB)图像首先被转变为范围为[0,1]的双精度。因此,由伽马编码器302来应用非线性传递函数(TF),这重新分配R、G和B通道的线性亮度至其他编码水平并且产生非线性RGB成分(用R′、G′和B′来表示)。可以认识到,处于较低强度的亮度的小改变相比于高强度来讲被更好的感知。此外,传统编码流水线300中的至少一部分后续过程将会是有损的,并且用于存储的比特数是有限的。TF通过为这些较低的值使用比特空间(bit space)中的较大部分来保留在较低强度中的有价值的信息。如果图像的某些显而易见的编码误差被引入到RGB中,观察者在较低强度时相比于较高强度将会更多地感知到这些误差。如果这些误差替代地是在R′G′B′域中,一旦图像被转变回RGB,这些误差将会在各种强度下同样是显而易见的。因此,较低的强度值被扩展,同时较高的强度值被压缩到一起。
根据BT.2020规范,转变器304将所述R′G′B′成分转变为所述Y′C′bC′r颜色空间。Y′C′bC′r颜色空间表示明度成分Y′、和蓝色差C′b以及红色差C′r颜色成分。量化器306作用为量化由CY′、DC′r和DC′b表示的Y′、C′r和C′b成分。编码器308(例如,应用AVC/H.264编解码器)将量化的成分进行编码并输出编码的比特流,该比特流可以按上文所述被存储和/或传输。
与编码流水线201相比,明度成分Y代表基于伽马校正RGB原色被非线性化编码的光强度。明度中引入的编码误差可能会漏进色度,并且不仅在光亮度上产生可观察到的差异,在由显示器呈现的颜色上也会产生显而易见的差异-因此,导致传统编码流水线(例如,编码流水线300)的非恒定亮度方面。虽然这个非恒定亮度编码流水线被设计用于编码SDR信号(例如,RGB在BT.709颜色空间中高达100尼特(nit)),其也可以被更改用途用于编码HDR和WCG信号(例如RGB在BT.2020颜色空间中高达10000尼特)。然而,此传统编码流水线在其继续应用亮度的非恒定编码时仍然存在设计不合理。在HDR内容中,这些误差的编码变得更加显而易见(例如,在颜色范围内的编码失真在HDR内容中相比于在SDR内容中变得更加明显)。
回到图2B,相对于传统编码流水线301,亮度成分Y被明确表示(与所述色品成分U和V区分)在恒定亮度编码流水线201中。因此,引入明度成分Y′的任何量化和编码误差只在亮度Y上有影响。具体地,压缩误差到色度的漏泄将不会发生。
具体地,代替将图像从RGB颜色空间变换为Y′C′bC′r颜色空间(如在传统编码流水线301中),RGB信号被转变到例如XYZ颜色空间(等式1),然后被转变到YUV颜色空间(等式2)。为了返回RGB颜色空间(在系统200的后处理部分223的解码期间),可以使用等式1的逆矩阵(等式3)。
X Y z = 0.636958 0.144617 0.168881 0.262700 0.677998 0.059302 0.000000 0.028073 1.060985 R G B
等式1
U = 2 x 6 y - x + 1.5 x = X X + Y + Z
V = 4.5 y 6 y - x + 1.5 y = Y X + Y + Z
等式2
X = Y y x x = 9 u 6 u - 16 v + 12
Z = Y y ( 1 - x - y ) y = 4 v 6 u - 16 v + 12
等式3
除了编码流水线201的恒定亮度以外,一种专用色品变换被提供用于能够改进色度压缩并且提高整体压缩效率。专用色度变换(由图2B中的变换器206在图1中的操作102来应用)通过扩大用于压缩的码字分布,以固定的比特率减少了颜色通道中的编码误差。可以理解为,专用色品变换只影响色品成分U和V。色品变换获得这两个成分并且返回通道(U′,V′)=T(U,V),其中T表示会在以下说明的变换。
应注意的是,当对图像进行量化以降低位深度时,可以在图像上应用色品变换。此外,在使用编解码器例如HEVC压缩图像之前,可以使用变换来以固定的比特率增强图片质量。传统变换在相同的比特率下针对视频序列不具有同样的质量增强效果。
色品变换的整体目标如图4所示,其表示变换为概念性的方形(square)(概念性的方形减少了废码字的数量)的概念性的颜色表示(作为具有在三角形的角中的三原色红、绿和蓝以及这些角之间的所有可能的颜色组合的三角形)。
作为说明,在颜色空间中的所有颜色的色品坐标(coordinate)位于YUV颜色空间(三角形402)的CIE图内。三角形402的角示出颜色空间(例如,BT.2020)的三原色坐标RGB。在此颜色空间中定义的所有色品值位于三角形402内。颜色空间的三个RGB原色定义了该颜色空间的色域、或者所有可能的颜色范围。点越是靠近图的边界,其颜色越是饱和。因此,颜色空间的三角形越大,三原色越饱和,并且色域越大。应该注意的是,以BT.2020原色捕捉和存储的镜头片段具有最大的色域并且被称为WCG(相对于例如BT.709,其为SCG颜色空间的示例)。
动态范围被定义为最大光强度和最小光强度之间的比例。动态范围越高,在最大光强度和最小光强度之间的差异越大。SDR中的镜头片段的光亮度通常在0.1到100尼特(cd/m2)的范围中。然而在现实生活中,光源远高于200cd/m2,并且夜空可以远低于0.1cd/m2。就HDR内容来说,最小值可以低至0.005cd/m2或高达10,000cd/m2
因为RGB图像被用作编码流水线201的输入,所以RGB图像的像素的所有色品坐标成分均位于由R、G、B顶点所限定的三角形402的U-V色品空间内。然而,在U-V色品空间上的编码允许三角形402之外的许多数值对(例如,无效色品值)的表示。为了降低这些码字的浪费,本公开的各个实施例将所有(U,V)对映射到矩形(例如,单位方形404)中。为了从如上所述的用于压缩的U-V空间的感知均匀性获益,没有强的局部变形被引入到从三角形402到单位方形404的映射中。(u,v)对可以被定义为像素的色品值,其中u∈U,v∈V。图像中的每个像素的(u,v)值将位于这个三角形之内或者在其边界上。
如前文所述,在此公开的色品变换的一个目标是提供具有更大码字范围的(例如,HEVC)编码解码器。量化步骤以双精度格式在[0,1]范围中获得图像并将其量化为在范围[0,4095]中的12位整数值、将最小输入值(0)映射为0并且将最大输入值(1)映射为4095。因此,U和V成分可以每个都利用范围[0,1]。每个图像像素的色品值(u,v)可以为单位方形404内部的任何值,单位方形404由点(0,0)、(0,1)、(1,0)和(1,1)来定义。这不是基于YUV颜色空间如何适合笛卡尔坐标系统的情况。值得注意的是,三角形402仅占用单位方形的相对小的部分。
因此,所需的变换T使得在三角形402内由三原色(例如,BT.2020)定义的每个可能值被映射到单位方形404中的某点,从而尽可能地利用其面积-也就是说将三角形变换为方形。对每个像素(u′,v′)的变换的色品值以及下面的此变换的某些约束进行讨论。
如上所述,在图2中的后处理步骤223中,一定要执行逆变换T-1,这意味着当应用T-1时,每个变换值(u′,v′)必须映射回原始值(u,v)。也就是说,下面如等式4所表示的特性必须保留,意味着T是可逆的并且色品变换在编码流水线201中是无损步骤。
∀ ( u , v ) ( ( u , v ) = T - 1 ( T ( u , v ) ) )
等式4.1
应理解的是,T将会导致大型全局畸变,彻底改变三角形的形状。一旦色品变换被集成到编码流水线201中,U′和V′通道被改变,这是由于编码和解码是有损耗的并且引入误差。这意味着(urec,vrec)=(u,v)+ε,其中ε是任意方向的小误差向量。YUV颜色空间是接近感知均匀的,因此(urec,vrec)和(u,v)之间的感知差异应只取决于ε的长度,而不取决于方向。这意味着T应当引入最小的局部畸变,意味着对接近某值(u,v)的所有色品值来说,它们到变换的值(u′,v′)的新距离可以增加或减少,但应该全部几乎相等。
根据一个实施例,接下来将会讨论,色品变换可以基于直接变换。根据另一实施例,也会在下文中进行说明,色品变换可以基于最小平方变换。应当了解的是,根据其他实施例仍然可以使用其他变换。
图5图示根据各个实施例细分图4中的三角形402准备用于色品值的变换方法的示例。三角形402可以被细分为网格,其包括由三个顶点构成的更小的三角形。为了细分三角形,三角形的三个角之间的中间点被标记并被连接,因此形成了的四个更小的三角形。可以针对每个更小的三角形进行第二次细分,结果总共有16个三角形。可以重复进行该细分的过程,其中每次新的细分将三角形的数量增加到4倍,所以n次细分将会产生4n个三角形,其中n∈N并且n≥1。三角形502和504分别是已经被细分3次和4次的主三角形的示例。三角形502在三次细分之后有64个较小的三角形,同时三角形504由于进行四次细分而具有256个较小的三角形。结果是一个三角形的列表,其中每个三角形可以通过记住在网格中的三个顶点来存储。Tr(a,b,c)表示由顶点a、b和c来定义的三角形。
n一旦被选择,4n个较小的三角形中的每个被映射到单位方形404。这导致一定程度的畸变。对每个三角形Tr(a,b,c)来说,相应的映射的三角形Tr(a′,b′,c′)被存储。映射三角形不应该互相重叠。
当映射单个色品值(u,v)时,每个(u,v)值位于主YUV颜色空间三角形402(主三角形是指较大、未经细分的三角形)内,从而也位于细分三角形402(三角形502)后生成的较小的三角形中的一个内。一旦找到这个三角形Tr(a,b,c),点(u,v)的位置p可以通过使用针对Tr(a,b,c)的重心坐标λ1、λ2和λ3来表示,其中
∀ i 1 ≥ λ i ≥ 0
等式4.2
因此,在映射三角形Tr(a′,b′,c′)中的正确位置p′可以由以下公式得出:
p′=λ1a′+λ2b′+λ3c′
等式4.3
在每个点分别执行这个过程。可以使用以下公式计算重心坐标:
λ 1 = ( b v - c v ) ( p u - c u ) + ( c u - b u ) ( p v - c v ) det ( T )
λ 2 = ( c v - a v ) ( p u - c u ) + ( a u - c u ) ( p v - c v ) det ( T )
λ3=1-λ12
等式4.4
其中点的下标定义其u或v成分,并且
T = a u - c u b u - c u a v - c v b v - c v
等式4.5
利用重心坐标映射的一个特性是可逆的,这意味着点(u′,v′)在其位置p′处的反向映射将其放置在其原始的位置p。如上所述,变换应当是可逆的从而允许图像信号的适当解码。
在其中包括色品点(u,v)时发现三角形应当在“合理”时间内完成,例如,在直播过程中,应该快速进行解码从而足以防止任何滞后/延迟。根据一个实施例,每个三角形的三个重心坐标可以被计算并且测试公式4.2是否有效。如果这样,色品点位于三角形内部。分别测试从上述(多个)细分产生的三角形中的每个是低效的。由此,各个实施例依靠通过执行以下的恒定时间测试:
考虑变换给定色品值(u,v)的线性变换,
( u , v ) t r a n s = R u - B u G u - B u R v - B v G v - B v - 1 ( ( u , v ) - B ) ,
等式4.6
其中R、G和B代表三原色(三角形402的三个角)。如果此变换应用到网格上的每个顶点,主三角形将会占据单位方形404的左下方的一半。如图6所示,较小的三角形将会以这样的方式对齐:它们的两个较短边可以是水平或者垂直的(在本示例中,n为3)。如果两个相邻的三角形被集合到一起以形成方形600,这将会形成一个规则的格网。
为了发现点(u,v)的相应三角形,对(u,v)应用等式4.3而不是网格本身。对于具体的细分值n来讲,变换的点(u,v)trans所处的常规格网的方形是不重要的(trivial)。由于所有的三角形被建立索引并且每个方形包括两个三角形,剩下的步骤是寻找三角形中哪一个包括点(u,v)。这可以通过针对两个三角形计算(u,v)的重心坐标并且然后测试等式4.2是否有效来完成。
在后处理223(图2A)期间,每个映射的色品值(u′,v′)的位置必须位于原始网格中(例如,图5)。根据一个实施例,查找表被利用。也就是说,对于在变换网格中的每个可能值,查找表指定值被映射到原始网格中哪个位置。接着单独的三角形被映射到单位方形上同时遵从变换T的特性。
如上所述,使用在色品值变换中的一种变换可以是直接变换。当使用直接变换时,网格被认为是顶点的集合,其中每个顶点将会被复制并且被映射到单位方形内部的一些新位置。这种类型的变换涉及在主三角形的边界线上选择四个顶点,并且通过将这些顶点牵拉至方形的四个角来拉伸主三角形。选择三角形的三个角是合理的,即原色R、G和B作为三个顶点而被牵拉。也可以在三角形的边界上选择第四个顶点。根据本公开的一个方面,可以选择位于连接点/顶点R和B的线的中间顶点P。因为n≥1,可知P是存在的。
图7图示这个概念性延伸的示例,其中四个顶点R、G、B和P在主三角形702上被示出,并且示出这四个顶点如何被映射。R可以被牵拉至单位正方形704的右上角,G被牵拉至单位正方形704的左上角,B被牵拉至单位正方形704的左下角,并且P被牵拉至单位正方形704的右下角。此外,其余的顶点沿着主三角形的边界被标记(用粗体点来强调)。所有这些m个顶点在一起形成了凸多边形P的边界。因为这些m个顶点位于四个顶点R、G、B和P中的任何两个之间的直线上,因此被映射到单位方形704的相应边界上,彼此之间等距。例如,G和B之间的顶点中的一个(简称为v∈GB)被映射到单位方形的左边缘,并且B和P之间的三个顶点被映射到单位方形的下边缘。此外,单位方形的四个边缘上的m个顶点形成了凸多边形P′。余下的顶点现在使用均值坐标(MVC)由P映射到P′。
MVC可以被表示为重心坐标的泛化(generalization)。(上文中提到的)重心坐标被用于三角形,其本质上是具有三个顶点的多边形。然而,MVC同样适用于具有任意数目的顶点的多边形。因此,利用MVC λi针对P的将多边形P内部的顶点v映射到多边形P′内部的新位置的映射通过以下给出
f ( v ) = Σ i = 0 m - 1 λ i ( v ) f ( p i )
等式4.7
其中pi和f(pi)表示多边形P和P′的边界顶点。图7B示出连接到多边形的边界点的顶点v(连同用于MVC的角定义),其以逆时针排序。顶点v的MVCλi由下式给出
λ i ( v ) = w i Σ i = 0 m - 1 λ i ( v ) f ( p i )
等式4.8
其中
w i = tan ( α i - 1 2 ) + tan ( α i 2 ) || p i - v ||
等式4.9
并且αi是角
等式4.7中说明的映射的一种特性在于其同样(此外,针对T变换)是可逆的,因此将顶点从T’映射回到T将会将顶点放置到其原始的位置。返回到图7A,其中示出基于使用MVC映射主三角形502的内部顶点生成三角形。正如本领域内普通技术人员所理解的,接近右下顶点P的较小的三角形与顶点G周围的三角形相比更加多的畸变。因为相比蓝色色调和红色色调来说,人眼对绿色色调的小变化更加敏感,需要在顶点G周围尽可能具有小的畸变。这是为什么第四个顶点是被选择为沿着主三角形502的这条边。此外,这是三角形的最长边,因此选择在另一边缘上的顶点很可能会导致更大的整体畸变。
总之,为了实现用于色品变换过程的直接变换,包括形成较小三角形的顶点和边缘的网格在主颜色空间三角形(例如三角形702)内被建立。通过选择四个顶点并且朝向单位方形(例如,单位方形704)的角牵拉这些顶点来拉伸主三角形。MVC可以被用来映射内部顶点。针对较小三角形Tr(a,b,c)的色品值(u,v)的重心坐标将(u,v)映射到其相应的三角形Tr(a′,b′,c′)。图7C示出通过使用文中所述的直接变换将等距点映射到单位方形的示例。图7C示出(主三角形702的)等距点如何被映射到单位方形704,并且示出可能出现的畸变模式。以最优方式分布顶点产生尽可能感知均匀的色度。
根据另一个实施例,变换色品值中利用的色品变换可以基于最小平方变换。图8A示出颜色空间三角形802中的色品值到单位方形804的示例变换(这不是最优的示例)。
像利用直接变换时按照的步骤一样,在主三角形802上选择同样四个顶点R、G、B和P,并生成了网格。为了这个变换,对网格的变形应用三组约束。一些约束使主三角形802尽可能地被拉伸,其他约束则尽量保持较小三角形的形状。可以理解的是,并不是所有的约束都能够完美被满足,因此最小平方变换涉及到权衡。
这些约束可以根据能量E1,E2和E3来表示,其中能量的整体总和应该被最小化。能量Ei越小,就会越满足第i组约束。图8的示例利用细分值n=3以及参数α=β=γ=1(下文将会讨论)。
第一约束可以被称为锚固(anchor)约束,其指定四个顶点应当映射至与在直接变换中相同的单元方形的四个角。这可以如下数学地被表示:
|| B ′ - 0 0 || 2 = 0 , || P ′ - 1 0 || 2 = 0 , || R ′ - 1 1 || 2 = 0 , || G ′ - 0 1 || 2 = 0
等式4.10
第一能量项E1可以被表达为:
E 1 = || B ′ - 0 0 || 2 + || P ′ - 1 0 || 2 + || R ′ - 1 1 || 2 + || G ′ - 0 1 || 2
等式4.11
第二约束可以称为边界约束,其指定在主三角形802的边界上的顶点(以加粗的点突出)应当被放置在单位方形804的边界上某处,如根据直接变换那样。例如,位于点B和G之间的顶点v应当被映射到单位方形804的左边缘上,从而使其u-坐标、vu等于零。对于所有的边界顶点,这些约束由以下给出:
f ( x ) = | v ′ u - 0 | 2 = 0 , i f v ∈ B G ‾ ; | v ′ u - 1 | 2 = 0 , i f v ∈ R P ‾ ; | v ′ v - 0 | 2 = 0 , i f v ∈ B P ‾ ; | v ′ v - 0 | 2 = 0 , i f v ∈ G R ‾ ,
等式4.12
并且能量E2由以下给出:
E 1 = Σ ∀ v ∈ B G ‾ | v ′ u | 2 + Σ ∀ v ∈ R P ‾ | v ′ u - 1 | 2 + Σ ∀ v ∈ B P ‾ | v ′ v | 2 + Σ ∀ v ∈ B G ‾ | v ′ v - 1 | 2
等式4.13
第一个两组约束(锚固和边界)试图将主三角形以与直接变换相同的方式进行拉伸。然而,关于主三角形的内部顶点,第三组约束(涉及均匀性约束)的目标是使(主三角形经过细分后的)较小的三角形尽可能的保持它们的形状以防止变形。每个三角形Tr(a,b,c)具有外心crm,外心是到顶点a、b和c是等距的特殊点。因此,这三个顶点位于围绕crm的圆上。从映射的三角形Tr(a′,b′,c′)的顶点到其新外心的距离应当同样被最小化。因此,这些约束应当会导致相似三角形。对三角形T的集合中的所有三角形来说,总能量E3等于从每个顶点到其映射的三角形的外心的平方距离之和。
E 3 = Σ T r ∈ T || a ′ - c r m || 2 + || b ′ - c r m || 2 + || c ′ - c r m || 2
等式4.14
外心crm可以使用重心坐标λ1、λ2和λ3通过计算以下来表示:
crm=λ1a′-λ1b′-λ2c′,
等式4.15
其中
λ 1 = b c ‾ ( - b c ‾ 2 + a c ‾ 2 + a b ‾ 2 ) ,
λ 2 = a c ‾ ( b c ‾ 2 - a c ‾ 2 + a b ‾ 2 ) ,
λ 3 = a b ‾ ( b c ‾ 2 + a c ‾ 2 - a b ‾ 2 ) ,
等式4.16
其中表示在两个顶点之间的欧几里得(Euclidean)距离。为了确保这三个坐标的总和等于1,通过将这三个坐标中的每个都除以三个值的总和来使其标准化。均匀性约束不需要保留网格中的三角形形状,而仅需要保持这些三角形“坚硬”(例如,不容易变形)。三角形可能变形非常严重但仍然符合均匀性约束,因为有无限数目的具有相同外心的三角形。然而,结合其他两个约束,三角形将会保持坚硬并维持接近其原始的形状。
理想情况下,网格应该被变形,使得网格利用单位方形的整个区域(为了提供具有更大范围码字的编码解码器)。为了实现此,定义了边界和锚固约束,但是同时,局部变形被最小化(例如,通过定义均匀性约束)。这导致了上述等式4.11、4.13和4.14中导出的三个能量项E1、E2和E3之间的权衡。为了获得最优的结果,总能量之和E根据如下被最小化:
E=αE1+βE2+γE3
等式4.17
附加参数α、β和γ在求解等式4时被引入用来指定能量项应该具有多少权重。最初,这三个参数都等于1。例如,如果期望加强E2中的边界约束并且希望边界顶点更靠近单位方形的边缘,β的值可以被增加。应该认识到,所有三组约束都是线性的,这将比如果这些约束是非线性的情况更容易求解等式4.17。由于这个特性,等式4.17可以用矩阵符号重新表示,并且最终要解决的问题由线性等式系统给出:
argmin x || A x - b || 2 o r x ~ = ( A T A ) - 1 A T b ,
等式4.18
这可以在最小平方意义上被求解。在这里,x是包括映射的顶点的值的求解向量。对于k个顶点,x必须包括每个顶点的u和v坐标,因此x∈R2k。这种求解使得顶点的分布尽可能的感知均匀。映射的顶点v’在x中以下列方式保持一致:
x = v 1 u v 1 v . . . v k u v k v
等式4.19
其中总共有l个单独约束,有A∈R1×2k并且b∈R1,x中的每个值都保持单独约束,由于每个顶点经受多个约束l≥2k,因此等式系统是超定的(overdertermined)。
如本文所考虑,产生的最小平方变换形状见单位方形804。畸变的三角形覆盖了单位方形的大部分区域,但并不是全部方区域。与具有最小平方变换的直接变换相比,可以考虑这两者之间的权衡。通过使用直接变换,可以对单位正方形的整体性加以影响,但是网格中的三角形被严重畸变。在最小平方变换中,不必利用单位方形的全部区域,但是关于映射的三角形存在较少的畸变。
如针对等式4.17所描述,所得的变换可以被修正,这取决于用户通过改变参数α、β,和γ希望优化哪个约束。如果这些值没有被修正,则最小平方变换被认为不是最优化的。例如,假如用户希望覆盖单位方形的更大的区域,则可以放弃均匀性约束。为了这样做,可以增大α和β的值。此变换(所谓的最优化的最小平方变换)的示例被说明为单位方形806,其中设置参数α=β=3并且γ=1。当将非最优化的最小平方变换(被示出为单位方形804)与最优化版本(被示出为单位方形806)相比时,可以看出网格是如何改变其形状的。
WCG中的视频或图像内容例如P3或BT.2020具有更广的色域并且因此要求用于存储和传输的更多比特。根据各种实施例,系统和方法提供处于固定给定比特率的改善的图像质量,或者通过选择某一图像质量并降低比特率,提供选择某一期望的图像质量的能力。通过利用称作色品变换来实现最优化,其涉及两个色品通道U和V的变换。如果YUV颜色空间被用于编码,则提供给编码解码器的码字比该编码解码器实际上能够接受的要少。如果U和V的码字分布被扩大,某些编码错误在重构的信号中将会变得较不突出,并且由于本文所公开的色品变换,视频和图像内容的图片质量被改善。然而,尽管扩大了码字的分布(这转变为提供编码解码器以更多的信息),但是压缩更有效率,从而取消了导致颜色保留和更好的内容的整体颜色质量的增加的比特率(例如,在同一比特率下,针对颜色可以实现1/2dB或更高的提升)的影响。
图9是计算组件的示例,可以用来实现本文所公开的系统和方法各种特征,例如上文中提到的,视频编码流水线中200的预处理部分209和后处理部分223各自的一个或多个方面的特征和功能性。
如本文所使用的,术语组件可描述给定的功能性单元,该功能性单元可以根据本发明的一个或多个实施例来执行。如本文所使用的,利用任何形式的硬件、软件或两者的组合可以实现组件。例如,一个或多个处理器、控制器、专用集成电路(ASIC)、PLA、PAL、复杂可编程逻辑器件(CPLD)、现场可编程门阵列(FPGA)、逻辑组件、软件程序或者可以被实现以构成组件的其他机构。在实现方式中,本文所述的各种元件可以被实现为分立组件或可以在一个或多个组件内部分共享或者全部共享所述的功能和特性。也就是说,由于本文中描述的各种特性和功能在读完本说明书之后对本领域普通技术人员来讲是显而易见的,因此各种特征和功能性可以被实现在任何给定应用中,并且能够以各种组合和排列被实现在一个或多个单独的或共享的组件中。虽然功能的各个特性或元素可以作为独立的组件被单独描述或声明,本领域的普通技术人员可以理解,这些特性或功能可以被共享在一个或多个通用软件和硬件元件中,并且本说明不要求或暗示利用单独的硬件或软件组件来实现这种特性或功能。
其中全部或部分使用软件来实现应用的组件或多个组件,在一个实施例中,可以实现这些软件元件以利用计算或处理组件来操作,计算或处理组件能够执行上文针对其所描述的功能。图9示出一个这样的示例计算组件。根据这个示例的计算组件900描述了多个实施例。读完本说明书之后,如何使用其他计算组件或体系结构实现该应用对相关领域的普通技术人员来说是显而易见的。
现在参考图9,计算组件900可以表示例如可能发现于自调节显示器、台式机、便携式电脑、笔记本电脑和平板电脑内的计算或处理能力;手提计算设备(平板电脑,掌上电脑(PDA)、智能手机、移动电话、掌上型电脑等);智能终端或者其他具有显示器的设备;服务器;或者任何其他类型的可能针对给定的应用或环境是需要的或适合的专用或通用计算设备。计算组件900也可以代表嵌入到给定设备或以其他方式对于给定设备可用的计算能力。例如,计算组件可以在其他电子设备(例如,导航系统、便携式计算设备以及可能包括某种形式的处理能力的其他电子设备)中被发现。
计算组件900可能包括例如一个或多个处理器、控制器、控制组件或其他处理设备(例如,处理器904)。可以使用通用或专用处理引擎来实现处理器904,例如,微处理器、控制器或其他控制逻辑。在所示的示例中,处理器904被连接到总线902,然而可以使用任何通信介质来便于与计算组件900的其他组件交互或与外部进行通信。
计算组件900也可能包括一个或多个内存组件,这里简单地指主存908。例如,优选是随机存取存储器(RAM)或其他动态内存可以被用来存储由处理器904执行的信息和指令。主存908也可以在执行由处理器904执行的指令的过程中被用来存储临时变量或其他中间信息。计算组件900可能类似地包括耦合至总线902的用于为处理器904存储静态信息和指令的只读存储器(“ROM”)或其他静态存储设备
计算组件900可能也包括一种或多种形式的信息储存机构910,这可能包括例如媒介驱动器912和存储单元接口920。媒介驱动器912可能包括驱动器或其他机构用于支持固定的或可移除的储存媒介914。例如,可能提供硬盘驱动器、固态驱动器、磁带驱动器、光盘驱动器、光盘(CD)或数字视频盘(DVD)驱动器(R或RW)或其他可移除或固定的媒介驱动器。因此,存储媒介914可包括例如硬盘、集成电路组件、磁带、胶卷、光盘、CD或DVD或其他写入到媒介驱动器912或由媒介驱动器912获取所读取的固定的或可移除的介质。正如这些示例所述,存储媒介914可能包括存储在其中的计算机软件或数据的计算机可用的存储介质。
在替代实施例中,信息存储机构910可能包括用于将计算机程序或其他指令或数据下载至计算组件900内的其他类似工具。这些工具可能包括例如固定或可移除的储存单元922和接口920。这些存储单元922和接口920的示例可包括程序盒式存储器和盒式存储器接口、可移除存储器(例如,闪存或其他可移除存储器组件)以及存储器插槽、PCMCIA插槽和卡片以及其他固定的或可移除的存储单元922及接口920,其能够将软件和数据从储存单元922传输至计算组件900。
计算组件900可能也包括通信接口924。通信接口924可能被用来在计算组件900和外部设备之间传输软件和数据。通信接口924的示例可能包括调制解调器和软调制解调器、网络接口(例如以太网、网络接口卡、无线媒介(Wimedia)、IEEE 802.XX或其他接口)、通信端口(例如,USB端口、IR端口、RS232端口接口或其他端口)、或其他通信接口。通过通信接口924传输的软件和数据通常由信号携带,可能是能够由给定通信结构924变换的电信号、电磁信号(包括光)或其他信号。这些信号可以经由通道928被提供给通信接口924。此通道928可能携带信号并且可以使用有线或无线通信介质来实现。通道的一些示例可能包括电话线、蜂窝链路、RF链路、光链路、网络接口、局域网或广域网或其他有线或无线通信通道。
在本文中,术语“计算机程序介质”和“计算机可用介质”一般被用来指暂时性或非暂时性媒体,例如,存储器908、储存单元920、媒介914和通道928。这些或其他各种形式的计算机程序媒介或计算机可用媒介可以涉及将一个或多个指令的一个或多个序列输送至处理设备用于执行。包括在介质上的指令一般被称作“计算机程序编码”或“计算机程序产品”(可以计算机程序的形式进行分组或进行其他分组)。当执行指令时,这些指令可能使计算组件900能够进行本文讨论的本应用的特性或功能。
虽然上文根据各种示例性实施例和实现方式进行讨论,可以理解的是,在一个或多个单个实施例中描述的各种特性、方面和功能并不局限于仅应用在针对其进行描述的具体实施例中,而是替代地可以单独的或各种组合来应用到本应用的一个或多个其他实施例,而不论这些实施例是否被描述过,并且也不论这些特性是否被变现为所描述的实施例的一部分。因此,本申请的宽度和范围不应局限于任何上述示例性实施例。
在本文中用到的术语和短语以及它们的变型,除非以其他方式明确说明,都应该被视为开放的而不是限制性的。如上述示例:术语“包括”应当理解为“包括,但不限于”或者类似的表达;术语“示例”被用于提供讨论中的术语的示例性实例,而不是其详尽的或限制性的列表;术语“一”或“一个”应当理解为“至少一个”、“一个或更多个”或类似的表达;形容词如“常规的”、“通常的”、“正常的”、“标准的”、“已知的”以及相近含义的术语不应当被解释为限制所描述的术语为一给定的时间段或限制为在一给定的时间可用该术语,而是应当理解为包括现在或在未来的任何时间可以获得或已知的常规的、通常的、正常的、标准的技术。同样,本文涉及的技术对本领域普通技术人员来讲是显而易见的或已知的,这些技术包括对本领域技术人员现在或未来的任何时间来说都是显而易见的或已知的那些技术。
扩展词语或语句例如“一个或更多个”、“至少”、“但不限于”或在某些例子中的其他类似的语句的出现不应该意味在这些扩展语句不存在的实例中意图或需要更窄的情况。术语“组件”的使用并不意味着被描述或声明为组件的一部分的方面或功能被配置在共同封装件(common package)中。实际上,组件的任何或所有各个方面(不管是控制逻辑还是其他组件)可以被合并在单个封装件或者被单独维护,并且进一步分布到多个组群或封装件或跨越多个位置。
除此之外,本文阐述的各个实施例以示例性框图、流程图和其他图示被描述。在阅读本文档后,所示的实施例和其各种替代物可以在没有限制于所示的示例的情况下实现,这对本领域普通技术人员来说是显而易见的。例如,框图及其相应的描述不应当被解释为要求特定的体系结构或配置。

Claims (20)

1.一种计算机实现的方法,其包括:
将加色模型信号转换为具有色品成分和亮度成分的均匀颜色空间信号;
通过在所述色品成分上应用色品比变换并在所述亮度成分应用亮度比变换来对所述色品成分和所述亮度成分进行变换;
量化变换的色品成分和亮度成分;以及
对量化的色品成分和亮度成分进行编码。
2.根据权利要求1所述的计算机实现的方法,其中所述加色模型信号包括红-绿-蓝颜色模型信号即RGB颜色模型信号。
3.根据权利要求1所述的计算机实现的方法,其中所述均匀颜色空间信号包括YUV颜色空间信号。
4.根据权利要求3所述的计算机实现的方法,其中所述色品成分的变换包括将所述色品成分在所述YUV颜色空间的主三角形表示细分为包括多个二级三角形的网格。
5.根据权利要求4所述的计算机实现的方法,其中所述主三角形表示的顶点中的每个包括所述加色模型的原色中的一个。
6.根据权利要求5所述的计算机实现的方法,进一步包括定义在所述加色模型的所述原色中的两个之间的中间顶点。
7.根据权利要求6所述的计算机实现的方法,进一步包括将所述主三角形表示的所述顶点中的每个以及定义的中间顶点映射到所述色品成分在所述YUV颜色空间中的矩形表示。
8.根据权利要求7所述的计算机实现的方法,其中所述矩形表示包括单位方形。
9.根据权利要求7所述的计算机实现的方法,其中所述多个二级三角形中的每个的各自的顶点使用平均值坐标被映射到所述色品成分在所述YUV颜色空间中的所述矩形表示。
10.根据权利要求9所述的计算机实现的方法,其中每个所述色品成分在所述YUV颜色空间中的值利用对应于每个所述色品成分的值的重心坐标被映射到所述色品成分的所述矩形表示。
11.根据权利要求6所述的计算机实现的方法,进一步包括将所述主三角形表示的所述顶点中的每个和定义的中间顶点映射到所述色品成分在所述YUV颜色空间中的四边多边形表示中。
12.根据权利要求11所述的计算机实现的方法,进一步包括应用影响所述主三角形表示的所述顶点中的每个、每个所述多个二级三角形中的顶点中的每个以及定义的中间顶点到所述四边多边形表示的映射的多个约束中的至少一个。
13.根据权利要求12所述的计算机实现的方法,进一步包括调节所述多个约束中的至少一个的特征来修改所述色品比变换。
14.根据权利要求1所述的计算机实现的方法,其中所述亮度比变换包括光电子传递函数。
15.一种具有其上包含计算机可执行程序代码的非暂时性计算机可读介质,所述计算机可执行程序代码被配置为使得处理器用于:
解码输入比特流的量化的颜色和光亮度成分,所述输入比特流携带由第一颜色空间模型表示的具有光亮度和颜色成分的图像信号;
将量化的颜色和光亮度成分进行去量化;
对去量化的颜色成分进行第一逆变换;
对去量化的光亮度成分进行第二逆变换;以及
将由第一颜色空间模型表示的所述图像信号转换为由第二颜色空间模型表示的图像信号,所述第二颜色空间模型是加色空间模型。
16.根据权利要求15所述的非暂时性计算机可读介质,其中所述第一逆变换包括直接逆变换或最小平方逆变换中的一种,其中所述颜色和光亮度成分已经在之前被转换,从而增加可用于压缩所述图像信号的视频编解码器的码字数目。
17.根据权利要求16所述的非暂时性计算机可读介质,其中所述第一颜色空间模型包括YUV颜色空间模型,所述第二颜色空间模型包括红-绿-蓝颜色空间模型即RGB颜色空间模型,并且所述视频编解码器包括高效视频编码编解码器即HEVC编解码器。
18.根据权利要求15所述的非暂时性计算机可读介质,其中所述图像信号包括标准动态范围图像信号即SDR图像信号、高动态范围图像信号即HDR图像信号、标准色域图像信号即SCG图像信号或者广色域图像信号即WCG图像信号中的一种。
19.一种系统,包括:
转换器,其用于将由第一颜色空间模型表示的图像信号转换为由第二颜色空间模型表示的具有光亮度和颜色成分的图像信号;
第一变换器,其用于将第一变换应用到所述颜色成分;
光电子传递函数编码器,其用于将第二变换应用到所述光亮度成分;
量化器,其用于量化变换的颜色和光亮度成分;以及
编码器,其用于编码量化的颜色和光亮度成分并输出比特流。
20.根据权利要求19所述的系统,其中所述第一变换是可逆的。
CN201610281492.5A 2015-05-01 2016-04-29 用于广色域视频编码的感知颜色变换 Active CN106101708B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562156124P 2015-05-01 2015-05-01
US62/156,124 2015-05-01
US14/862,027 US10257526B2 (en) 2015-05-01 2015-09-22 Perceptual color transformations for wide color gamut video coding
US14/862,027 2015-09-22

Publications (2)

Publication Number Publication Date
CN106101708A true CN106101708A (zh) 2016-11-09
CN106101708B CN106101708B (zh) 2019-11-05

Family

ID=57136014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610281492.5A Active CN106101708B (zh) 2015-05-01 2016-04-29 用于广色域视频编码的感知颜色变换

Country Status (5)

Country Link
US (1) US10257526B2 (zh)
JP (1) JP6738645B2 (zh)
KR (1) KR102566291B1 (zh)
CN (1) CN106101708B (zh)
DE (1) DE102016207230A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108024110A (zh) * 2017-12-15 2018-05-11 四川长虹电器股份有限公司 一种高色域液晶电视的色彩调试方法
CN112995615A (zh) * 2019-12-13 2021-06-18 澜至电子科技(成都)有限公司 图像处理方法、装置以及存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043237B2 (en) * 2015-08-12 2018-08-07 Gopro, Inc. Equatorial stitching of hemispherical images in a spherical image capture system
US11087644B2 (en) 2015-08-19 2021-08-10 E Ink Corporation Displays intended for use in architectural applications
US10462439B2 (en) * 2015-10-02 2019-10-29 Vid Scale, Inc. Color correction with a lookup table
EP3427478B1 (en) * 2016-03-07 2023-08-23 Koninklijke Philips N.V. Encoding and decoding hdr videos
US10659790B2 (en) * 2016-04-22 2020-05-19 Dolby Laboratories Licensing Corporation Coding of HDR video signals in the ICtCp color format
US10163030B2 (en) * 2016-05-20 2018-12-25 Gopro, Inc. On-camera image processing based on image activity data
CN112331122B (zh) 2016-05-24 2023-11-07 伊英克公司 用于渲染彩色图像的方法
WO2018006390A1 (en) * 2016-07-08 2018-01-11 SZ DJI Technology Co., Ltd. System and method for image processing
US11202050B2 (en) * 2016-10-14 2021-12-14 Lg Electronics Inc. Data processing method and device for adaptive image playing
JP2018107580A (ja) * 2016-12-26 2018-07-05 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム
EP3386198A1 (en) * 2017-04-07 2018-10-10 Thomson Licensing Method and device for predictive picture encoding and decoding
US11283967B1 (en) 2020-09-24 2022-03-22 Edward M. Granger Image transformation system and method
US20230368344A1 (en) 2020-10-14 2023-11-16 Dolby Laboratories Licensing Corporation Color transformation for hdr video with a coding-efficiency constraint

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1875398A (zh) * 2003-10-28 2006-12-06 松下电器产业株式会社 图像显示装置及图像显示方法
CN103563376A (zh) * 2011-04-08 2014-02-05 皇家飞利浦有限公司 视频编码和解码
US20140105277A1 (en) * 2012-10-16 2014-04-17 Microsoft Corporation Color Adaptation in Video Coding
CN103827956A (zh) * 2011-09-27 2014-05-28 皇家飞利浦有限公司 用于图像的动态范围变换的装置和方法
WO2014204865A1 (en) * 2013-06-17 2014-12-24 Dolby Laboratories Licensing Corporation Adaptive reshaping for layered coding of enhanced dynamic range signals
CN104486605A (zh) * 2009-03-10 2015-04-01 杜比实验室特许公司 扩展动态范围和扩展维数图像信号转换
US20150116740A1 (en) * 2013-10-31 2015-04-30 Kyocera Document Solutions Inc. Apparatus, Method, and Non-Transitory Computer-Readable Recording Medium for Image Forming That Create Highly Accurate Color Conversion Table

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6100998A (en) * 1996-11-29 2000-08-08 Fuji Xerox Co., Ltd. Print processor with efficient memory use
KR100467600B1 (ko) * 2002-07-30 2005-01-24 삼성전자주식회사 컬러 정정 방법
KR100938846B1 (ko) * 2003-05-22 2010-01-26 삼성전자주식회사 색변환장치 및 그 방법
KR101058125B1 (ko) * 2004-02-23 2011-08-24 삼성전자주식회사 화상 표시 방법 및 표시 장치와, 이의 구동 장치 및 방법
US7692663B2 (en) * 2005-10-19 2010-04-06 Canon Kabushiki Kaisha Multi-shelled gamut boundary descriptor for an RGB projector
US8085438B2 (en) * 2007-04-23 2011-12-27 Ecole Polytechnique Federale De Lausanne (EPPL) Printing color images visible under UV light on security documents and valuable articles
JP2009278538A (ja) * 2008-05-16 2009-11-26 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記録媒体
US8289344B2 (en) * 2008-09-11 2012-10-16 Apple Inc. Methods and apparatus for color uniformity
US8233705B2 (en) * 2008-10-03 2012-07-31 Eastman Kodak Company Potential field-based gamut mapping
CN102388612B (zh) 2009-03-13 2014-10-08 杜比实验室特许公司 高动态范围、可视动态范围和宽色域视频的分层压缩
GB2469794B (en) * 2009-04-24 2014-02-19 Photonstar Led Ltd High colour quality luminaire
KR20130141920A (ko) * 2012-06-18 2013-12-27 삼성디스플레이 주식회사 색역 변환 시스템 및 방법
US9948916B2 (en) * 2013-10-14 2018-04-17 Qualcomm Incorporated Three-dimensional lookup table based color gamut scalability in multi-layer video coding
US20160366449A1 (en) * 2014-02-21 2016-12-15 Koninklijke Philips N.V. High definition and high dynamic range capable video decoder
CN111654697B (zh) * 2015-01-30 2022-07-19 交互数字Vc控股公司 对彩色画面进行编码和解码的方法和装置
US20160309154A1 (en) * 2015-04-17 2016-10-20 Qualcomm Incorporated Dynamic range adjustment for high dynamic range and wide color gamut video coding

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1875398A (zh) * 2003-10-28 2006-12-06 松下电器产业株式会社 图像显示装置及图像显示方法
CN104486605A (zh) * 2009-03-10 2015-04-01 杜比实验室特许公司 扩展动态范围和扩展维数图像信号转换
CN103563376A (zh) * 2011-04-08 2014-02-05 皇家飞利浦有限公司 视频编码和解码
CN103827956A (zh) * 2011-09-27 2014-05-28 皇家飞利浦有限公司 用于图像的动态范围变换的装置和方法
US20140105277A1 (en) * 2012-10-16 2014-04-17 Microsoft Corporation Color Adaptation in Video Coding
WO2014204865A1 (en) * 2013-06-17 2014-12-24 Dolby Laboratories Licensing Corporation Adaptive reshaping for layered coding of enhanced dynamic range signals
US20150116740A1 (en) * 2013-10-31 2015-04-30 Kyocera Document Solutions Inc. Apparatus, Method, and Non-Transitory Computer-Readable Recording Medium for Image Forming That Create Highly Accurate Color Conversion Table

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108024110A (zh) * 2017-12-15 2018-05-11 四川长虹电器股份有限公司 一种高色域液晶电视的色彩调试方法
CN112995615A (zh) * 2019-12-13 2021-06-18 澜至电子科技(成都)有限公司 图像处理方法、装置以及存储介质
CN112995615B (zh) * 2019-12-13 2022-05-31 澜至电子科技(成都)有限公司 图像处理方法、装置以及存储介质

Also Published As

Publication number Publication date
DE102016207230A1 (de) 2016-11-03
KR102566291B1 (ko) 2023-08-10
US20160323556A1 (en) 2016-11-03
US10257526B2 (en) 2019-04-09
JP6738645B2 (ja) 2020-08-12
JP2016213828A (ja) 2016-12-15
CN106101708B (zh) 2019-11-05
KR20160130163A (ko) 2016-11-10

Similar Documents

Publication Publication Date Title
CN106101708B (zh) 用于广色域视频编码的感知颜色变换
JP7356478B2 (ja) カラー・ピクチャを符号化および復号する方法および装置
RU2710291C2 (ru) Способы и устройства для кодирования и декодирования цветного изображения hdr
US11671550B2 (en) Method and device for color gamut mapping
EP3251336B1 (en) Method and device for matching colors between color pictures of different dynamic range
RU2737507C2 (ru) Способ и устройство для кодирования изображения высокого динамического диапазона, соответствующий способ декодирования и устройство декодирования
KR102736328B1 (ko) 색 전역 매핑을 위한 방법 및 디바이스
RU2710873C2 (ru) Способ и устройство для декодирования цветного изображения
KR102509504B1 (ko) 코딩 및 디코딩 방법과 대응하는 디바이스
CN110741623B (zh) 用于色域映射的方法和设备
US11006152B2 (en) Method and apparatus for encoding/decoding a high dynamic range picture into a coded bitstream
EP3051792A1 (en) Method and device for matching colors between color pictures of different dynamic range
BR112017015790B1 (pt) Método, dispositivo, mídia legível por processador e mídia de armazenamento não transitório para codificar uma imagem colorida que tem componentes de cor, e método, dispositivo, mídia legível por processador e mídia de armazenamento não transitório para decodificar uma imagem colorida a partir de um fluxo de bits

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1228145

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant