[go: up one dir, main page]

CN109997360A - 基于感知度量分类对视频进行编码和解码的方法和装置 - Google Patents

基于感知度量分类对视频进行编码和解码的方法和装置 Download PDF

Info

Publication number
CN109997360A
CN109997360A CN201780072574.1A CN201780072574A CN109997360A CN 109997360 A CN109997360 A CN 109997360A CN 201780072574 A CN201780072574 A CN 201780072574A CN 109997360 A CN109997360 A CN 109997360A
Authority
CN
China
Prior art keywords
picture
quantization parameter
distortion
block
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780072574.1A
Other languages
English (en)
Inventor
F.加尔平
F.勒林内克
F.拉卡普
T.波里尔
T.维拉德
F.厄本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of CN109997360A publication Critical patent/CN109997360A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了用于对视频进行编码和解码的方法和装置。对视频进行编码的方法包括基于视频的图片中的块的感知度量分类将失真与量化曲线分配(12)给块，基于用于块的失真与量化曲线和目标失真来确定用于块的量化参数(132)，目标失真是用于图片的整体目标失真，并且基于量化参数对块进行编码(16)。还公开了格式化为包括编码数据的比特流，以及用于对视频进行编码和解码的计算机可读存储介质和计算机可读程序产品。

Description

基于感知度量分类对视频进行编码和解码的方法和装置
技术领域
本实施例通常涉及基于感知度量分类的视频编码和解码。
背景技术
本文描述的任何背景信息旨在向读者介绍本领域的各个方面，其可以与下面描述的本实施例相关。相信该讨论有助于向读者提供背景信息，以促进更好地理解本公开的各个方面。因此，应该理解，应该从这个角度来阅读这些陈述。
数字图像和视频序列需要大量资源用于存储和传输，并且因此需要图像和视频压缩技术来减少带宽和存储空间。
视频编码方案是已知的，诸如HEVC(“高效视频编码”)或VP9。在这种方案中，视频序列是逐个图片编码的。每张图片被分解为一组块。为了减少用于编码每个块的比特数，这样的方案使用量化工具来执行有损编码，该量化工具将值的范围压缩为单个量值。
在视频压缩方案中，诸如例如VP8或VP9，在编码器侧执行速率/失真优化，以便在编码图片的每个块时确定速率和失真之间的最佳折衷。这种速率/失真优化可以在块级处调整量化参数，以精确地控制要编码的块的速率和失真。传统上，使用诸如PSNR(峰值信噪比)或MSE(均方误差)的客观测量在块级处测量失真。然而，这些测量没有考虑人类视觉系统的属性，并导致其中图片质量不均匀的压缩视频。
发明内容
根据本公开的方面，公开了一种用于对视频进行编码的方法，包括：基于视频的图片中的块的感知度量分类将失真与量化曲线分配给块；基于用于块的曲线和目标失真确定用于块的量化参数，目标失真是图片的整体目标失真；以及基于量化参数对块进行编码。
根据本公开的方面，公开了一种用于对视频进行编码的装置，包括：用于基于视频的图片中的块的感知度量分类将失真与量化曲线分配给块的部件；用于基于用于块的曲线和目标失真确定用于块的量化参数的部件，目标失真是图片的整体目标失真；以及用于基于量化参数对块进行编码的部件。
根据本公开的方面，公开了一种用于对视频进行解码的方法，包括：提取用于编码视频比特流的图片的块的量化参数，该量化参数基于用于块的失真与量化曲线和用于块的目标失真，该曲线是基于块的感知度量分类确定的，该目标失真是图片的整体目标失真；以及基于量化参数对块进行解码。
根据本公开的方面，公开了一种用于对视频进行解码的装置，包括用于提取用于编码视频比特流的图片的块的量化参数的部件，该量化参数基于用于块的失真与量化曲线和用于块的目标失真，该曲线是基于块的感知度量分类确定的，该目标失真是图片的整体目标失真；以及用于基于量化参数对块进行解码的部件。
根据本公开的方面，公开了一种格式化为包括表示图片的块的编码数据的比特流，根据用于对视频进行编码的方法的任何实施例编码该编码数据。
根据本公开的方面，公开了一种计算机可读程序产品，其包括用于执行用于对视频进行编码的方法的任何实施例的程序代码指令。
根据本公开的方面，公开了一种计算机可读存储介质，其承载包括用于对视频进行编码的方法的任何实施例的程序代码指令的软件程序。
根据本公开的方面，公开了一种计算机可读程序产品，其包括用于执行用于对视频进行解码的方法的任何实施例的程序代码指令。
根据本公开的方面，公开了一种计算机可读存储介质，其承载包括用于对视频进行解码的方法的任何实施例的程序代码指令的软件程序。
以上呈现了主题的简化概述，以便提供对主题实施例的某些方面的基本理解。该概述不是对主题的广泛概述。其并不旨在标识实施例的关键/重要元素或描绘主题的范围。其唯一目的是以简化形式呈现主题的某些概念，作为稍后呈现的更详细描述的序言。
通过参考附图进行的说明性实施例的以下详细描述，本公开的附加特征和优点将变得显而易见。
附图说明
根据以下简要描述的以下示例性附图可以更好地理解本公开：
图1图示了根据本原理的实施例的用于编码图片的示例性方法的流程图，
图2A图示了根据本公开的实施例的用于生成学习数据的示例性方法的流程图，该学习数据可以在用于编码图片的示例性方法中使用，
图2B图示了根据本公开的实施例的用于生成轨迹曲线的示例性方法的流程图，该轨迹曲线可以在用于编码图片的示例性方法中使用，
图3图示了根据本公开的实施例的轨迹曲线的简化示例，
图4A图示了根据本公开的实施例的用于生成量化参数图的示例性方法的流程图，
图4B图示了根据本公开另一实施例的用于生成量化参数图的示例性方法的流程图，
图4C图示了根据本公开另一实施例的用于生成量化参数图的示例性方法的流程图，
图5图示了用于调整量化参数图的示例性方法的流程图，
图6图示了用于给定块轨迹的允许QP范围的简化示例，
图7图示了块的因果邻居，
图8图示了使用的图片编码顺序和参考图片的示例，
图9图示了根据本公开的实施例的示例性编码器的框图，
图10图示了根据本公开的实施例的、可以在本文公开的任何一个实施例中使用的编码器的示例性结构。
具体实施方式
传统的速率-失真优化(RDO)工具旨在在编码图片时在块级处分配比特预算，同时优化重构块的客观质量。此类RDO工具基于客观度量，诸如MSE/PSNR。因此，关于这些度量，优化了要编码的图片的整体客观质量。但是，PSNR没有考虑人类视觉系统的属性。可以在知道人眼的灵敏度的情况下执行更一致的比特率分配。通过在源视频序列的图片上更好地分布压缩方法和参数，可以实现整体内容的更高的感知/视觉质量。
人类视觉系统(HVS)对比度比绝对亮度更灵敏。此外，灵敏度取决于图片的空间频率或图片的区域。该灵敏度在高空间频率上降低，即在细节纹理中降低。这种现象也称为对比灵敏度。
高频率通常需要以高质量水平发送的大量比特，因为它们更难以预测。通过在编码图片时更好地分布编码参数，这些高度详细的区域或块将以较低的质量水平编码，例如通过使用更严格的量化。由于HVS不能检测产生的伪像，因此重构图片的主观质量不会受到影响。然后可以利用保留的比特率来增强低频区域的质量，以便改善整体感知质量。
当解决感知编码的问题时，某些方法依赖于在编码阶段期间特定的局部“感知度量”可用的事实，允许编码器基于这些度量来决定编码模式(尤其是局部块的QP)。这些方法通常依赖于局部活动测量，以决定编码模式。这些方法的问题是块的感知质量很难进行局部测量(即仅考虑块内的像素)，并且最佳感知度量(例如VQM、用于基于小波的质量评估的WQA等)使用全局方法来获得每个像素的度量。
实际上，这意味着在编码阶段，人们无法基于当前块的编码结果(通常在RDO期间)即时计算这些感知度量。另一种方法是执行所谓的“第一通道”，以便在编码阶段之前选择某些合适的量化参数(QP)。
图1示出了根据本公开的实施例的用于编码图片的示例性方法的流程图。在步骤10中，执行离线学习方法以计算一组轨迹曲线或D-Q曲线。轨迹曲线允许表示图片的给定块的质量变化作为量化参数的函数。对于视频序列的测试组，执行这种离线学习方法。离线学习方法提供一组N个轨迹类{Tk}N＝{Mk(QP)}N，其中Mk(QP)是类k的表示函数，其给出作为QP的函数的块的失真。
离线学习方法包括生成学习数据(步骤101)和生成QP(D)轨迹(步骤102)。下面分别利用图2A和2B进一步描述步骤101和102。
在步骤11中，将要编码的图片划分为一组块。通常，可以使用8×8像素或16×16像素，但是可以使用QP可以设置为恒定的任何其他区域形状。
在步骤12中，使用在步骤10中计算的一组轨迹类{Tk}N对每个块进行分类。这样的分类允许将来自组{Tk}N的给定轨迹类k与图片的每个块相关联。可以通过对当前块执行离线学习处理的步骤来执行这样的分类，以便确定其轨迹曲线Mb(QP)，并将类k与包括块的轨迹曲线Mb(QP)的当前块相关联。
根据另一变型，每类轨迹与块的特定特征相关联，诸如纹理类型、频率范围等。然后通过计算或确定块的特征、并将块与(与类似特征相关联的)轨迹类相关联来执行当前块的分类。
在步骤13中，为图片的每个块选择量化参数，使得图片的整体失真或整体质量在整个图片上扁平化。已知的RDO工具旨在最小化在块级别处的速率约束下的失真。相比之下，根据本原理，失真在整个图片上“均衡”。
为此，在步骤131中，针对图片计算或确定目标整体失真G0。将相同的初始量化参数QPg分配给图片的每个块。这样的初始量化参数QPg可以是例如通过编码器分配给图片的标称QP。然后，使用与针对QPg的块相关联的类的轨迹曲线获得每个块的失真。即，对于与轨迹类k相关联的块，失真由Mk(QPg)给出。
根据变型，然后通过平均图片的块的失真Mk(QPg)来计算目标整体失真G0。
根据另一变型，为了保持与由编码器决定的用于编码当前帧的质量相同的全局质量，目标整体失真G0被计算为鲁棒绝对感知度量和鲁棒扁平化得分的组合：
G0＝Mk_50％+a*(Mk_99％-Mk_50％)，
其中：
-Mk_50％是图片上的失真得分的中位数，
-Mk_99％是图片上99％分位数的失真，即失真使得99％的块低于该阈值，
-a是平衡绝对质量和扁平化得分的因素。
在步骤132中，确定用于图片的量化参数(QP)图。这样的QP图包括针对图片的每个块分配的QP。
由于函数Mk(QP)是可逆的，对于轨迹类k的每个块b，可以将QPb分配给具有的块b。
注意，可以选择目标质量G0作为任何度量，只要存在表示QP和失真之间的关系的可逆函数M。典型的示例是将M简单地定义为PSNR。在这种情况下，此方法将尝试提供与全局PSNR相同的局部PSNR。可以选择另一个度量作为WQA得分。
在步骤16中，然后使用在步骤132确定的QP图对图片进行编码。结合图10进一步公开了图片的编码。
根据本公开的实施例，在对图片进行编码之前，在可选步骤14中根据编码约束进一步调整QP图。结合图5进一步详细说明步骤14。当调整QP图到编码约束时，图片的整体失真G0可能已经改变并且可能不会在整个图片上扁平化。因此，可以迭代地执行步骤131、132和14，以便在整个图片上收敛到扁平化的整体失真。下面结合图4A、4B和4C公开了这种迭代方法的实施例。
根据本公开的实施例，在对图片进行编码之前，在可选步骤15中进一步细化分配给图片块的QP(QP图)，以便降低QP图的编码成本。下面结合图7和8进一步详细说明步骤15。
离线学习的目标(图1的步骤10)是创建一组类，该组类用于稍后对要编码的图片的每个块进行分类。分类基于块轨迹(D-Q曲线)。该轨迹显示了QPg质量函数的变化。通过将曲线拟合到在离线学习方法中获得的原始数据点{QP，度量}来计算该函数。
图2A图示了用于生成学习数据的示例性方法的流程图(图1中的步骤101)。在步骤20中，使用来自一组学习QP的不同QPg值对一组学习图片进行编码，范围例如从0到255。可以根据任何视频压缩方案来执行学习图片的编码。
在步骤21中，使用所选择的度量来评估每个编码的图片的质量和每个不同的QPg值。例如，选择WQA(基于小波的质量评估)度量。这样的度量给出每个像素的失真得分，但是使用整个图像来计算。
在步骤22中，将重构的图片划分为与图1中的步骤11中相同大小的一组块。我们的示例中的度量WQA是针对图片的每个块计算的。例如，针对块的WQA度量被计算为块中像素的WQA度量的平均值。
注意，给出每个块得分的任何其他度量也适用于此处。
学习数据的生成导致块原始数据包括用于来自该组学习图片的图片的每个块的一组QP和相关联的度量值。
图2B图示了用于生成轨迹类的示例性方法的流程图(图1中的步骤102)。在步骤23中，通过将曲线拟合到用于学习图片的每个块的原始数据点来对块原始数据进行建模。
由于所选择的度量依赖于全局方法，因此对于每个块可能不会单调变化。由于期望函数Mk(QP)＝wqa是可逆的，因此强制建模曲线的单调性。单调可以通过以下几种方式强制：
-“软单调”：原始数据是单调的，并且拟合是正常的(例如使用多项式函数的最小二乘拟合)。得到的轨迹不一定是单调的，但得到的曲线得到改善。
-“硬单调”：在拟合期间，添加硬单调约束(例如，使用凸优化方法)。
在将块原始数据建模到轨迹之后，似乎许多块轨迹可以分解为两个部分，如图3所示：
-增加的失真部分(图3中的拟合部分)
-“稳定(plateau)”部分，其中误差几乎稳定；实际上，它意味着块的所有“纹理”都已被移除，并且然后块质量不变。
知道用于编码图片的这些属性，执行拟合直到稳定部分，并且附加参数QPe给出稳定期的开始。
在步骤24中，在将测试组的每个块建模为轨迹曲线之后，需要将轨迹聚类成N个类。为此，执行轨迹空间中的聚类算法，如K-均值算法，例如此处的多项式函数。可替换地，可以通过使用前一步骤的原始数据重新计算最终类轨迹来细化最终轨迹类。
一旦决定了轨迹类，该类的所有相关轨迹样本用于计算用于该类的两个属性：速率轨迹和度量轨迹。从编码步骤20，对于一组学习图片的每个块，已知与给定QP相关联的比特率。因此，对于给定的轨迹类k，可以执行使用属于类k的、块的这种速率数据的模型拟合，以便关联用于每个QP的速率。由此获得函数Rk(QP)，其给出用于给定QP的类k的块的速率。
对于给定的类k，QP和度量之间的关系由函数Mk(QP)给出，其给出用于给定QP的类k的块的度量(或失真)。获得用于类k的这种函数Mk(QP)作为类k的质心轨迹。
在步骤102结束时，递送包括两条曲线Mk(QP)和Rk(QP)的一组轨迹类{Tk}N，以便稍后在对视频序列进行编码时用于块分类。
图4A图示了根据本公开的实施例的用于生成量化参数图的示例性方法的流程图。根据该实施例，为了考虑最终QP图，在从图1的步骤14进行调整之后，迭代地细化要编码的图片的每个块的QP。在该实施例中，期望保持要编码的图片的目标质量，并且因此不改变目标整体失真G0。
根据该实施例，一旦QP图已经调整到编码约束，则在步骤40中计算用于要编码的图片的整体失真Gi。根据调整的QP图和与图片的每个块相关联的轨迹曲线计算整体失真Gi。例如，如图1的步骤131所公开的那样计算整体失真Gi，但是对于图片的每个块b，使用在调整的QP图中分配给块b的QPb。也就是说，块b的失真因此由Mk(QPb)给出，其中k是块b所属的轨迹类，而Mk是类k的轨迹。
在步骤41中，比较整体失真Gi和目标整体失真G0。如果整体失真Gi高于取决于目标整体失真G0的第一阈值，即Gi＞α×G0，则目标整体失真G0减小变化因子d。这导致图片的输入质量目标的微小变化。
如果整体失真Gi低于取决于目标整体失真G0的第二阈值，即Gi＜β×G0，则目标整体失真G0增加变化因子d。这导致图片的输入质量目标的微小变化。
如果整体失真Gi在第一和第二阈值之间，即α×G0＞Gi＞β×G0，则目标整体失真G0不会改变，并且调整的QP图被递送到用于对图片进行编码的方法的下一步骤。例如，α和β可以被设置为0.05或者被设置为导致阈值为在两个阈值之间的整体失真Gi的值是目标整体失真G0的适当近似的任何值(例如1)。
如果在步骤41改变目标整体失真G0，则迭代步骤132、14、40和41，直到整体失真Gi在第一阈值和第二阈值之间或者直到已达到迭代次数。
图4B图示了根据本公开另一实施例的用于生成量化参数图的示例性方法的流程图。根据该实施例，期望保留由编码器决定的标称QP以对当前图片进行编码。
在步骤42中，计算QP图的中心QP(QPc)。例如，QP图的中心QP是QP图的N个排序QP的中值QP。
在步骤43中，比较中心QPc和标称QPg。如果中心QPc高于标称QPg，即QPc＞QPg，则目标整体失真G0减小变化因子d。
如果中心QPc低于标称QPg，即QPc＜QPg，则目标整体失真G0增加变化因子d。
如果中心QPc等于标称QPg，则目标整体失真G0不会改变，并且调整的QP图被递送到用于编码图片的方法的下一步骤。注意，这里的结束条件是在标称QPg不可达的情况下，中心QPc等于标称QPg或在标称QPg周围的中心QPc的振荡。
如果在步骤41改变目标整体失真G0，则重复步骤132、14、42和43，直到中心QPc等于标称QPg或者直到达到迭代次数。
图4C图示了根据本公开另一实施例的用于生成量化参数图的示例性方法的流程图。根据该实施例，期望保持标称速率Rt，其中标称速率是使用标称QPg的图片的速率或直接由编码器给出的目标速率。
在步骤44中，使用调整的QP图和与图片的每个块相关联的速率曲线Rk(QP)来计算用于图片的整体速率R。例如，对于图片的每个块b，速率Rb由Rk(QPb)给出，其中k是块b所属的轨迹类，以及Rk是类k的速率函数，以及QPb是在QP图中分配给块b的QP。然后，图片的速率R由图片的所有块的速率Rb的总和给出。
在步骤45中，比较速率R和标称速率Rt。如果速率R低于取决于标称速率Rt的第一阈值，即R＜α×Rt，则目标整体失真G0减小变化因子d。
如果速率R高于取决于标称速率Rt的第二阈值，即R＞β×Rt，则目标整体失真G0增加变化因子d。
如果速率R在第一和第二阈值之间，即α×Rt＞R＞β×Rt，则目标整体失真G0不会改变，并且调整的QP图被递送到用于对图片进行编码的方法的下一步骤。例如，例如，α和β可以被设置为0.05或者被设置为导致阈值为在两个阈值之间的速率R的值是标称速率Rt的适当近似的任何值(例如1)。
如果在步骤41改变目标整体失真G0，则迭代步骤132、14、40和41，直到速率R在第一阈值和第二阈值之间或者直到已经达到迭代次数。
图5图示了根据本公开的实施例的用于调整QP图的示例性方法的流程图。例如，QP图是从图1公开的步骤13获得的QP图。
调整QP图的目的是将任意QP的图转换成N个QP的图。与VP9/VP10编码器中一样，N可以是例如2到8的范围。
根据该实施例，通过应用类似K-均值(K-means)算法的聚类方法来执行调整QP图。然而，根据本公开，经典K-均值算法不能用于调整QP图。
根据本公开，要注意的是，每个块的QP来自特定函数Mk，其可以包含稳定部分，如图3所示。因此，即使块b被分配了特定量化参数Qb，如果Qb在区间[QPe，255]中，则区间[QPe，255]中的任何量化参数都适合于块b，因为在该区间内的所有量化参数将为块b提供相同的失真。还应注意，由于QP图的编码，可以通过开销消除非常接近的2个QP之间提供的质量差异。
在下文中，公开了考虑上述约束的K-均值算法，以便根据编码约束来调整QP图。
在步骤50中，选择N个初始质心，其中每个类i具有一个初始质心Ci。例如，初始质心是在QP图的QP范围内以规则区间取得的。步骤50递送一组初始质心{Ci}0＝{QPi}0。
在步骤51中，计算N个类。在标准K-均值算法中，类计算如下：
其中Ci是类i的质心，C(QP)是量化参数QP的类。这意味着每个值QP与最近的质心Ci相关联。
为了从轨迹类考虑Mk函数的稳定期，如果分配给QP图中的块b的给定值QP属于与块b相关联的Mk函数的稳定部分，则如果质心处于稳定期区间，则分配给块b的QP的值与几个质心相关联：
C(QP)＝{Ck}，
在步骤52中，计算在步骤51确定的每个类的新质心。在标准K-均值算法中，质心计算如下：
即，类k的新质心Cn+1是前一步骤n中类k的所有元素的平均值。
为了考虑与块相关联的函数的稳定部分，对于给定值QP，用2个步骤计算平均值。
我们用表示不属于稳定期区间的QP值，并且用表示属于稳定期区间的QP值：
其中N是不属于稳定期区间的QP的数量。
那么其中M是属于稳定期区间的QP的数量，是用于值的稳定期的开始。这里，当考虑QP是否属于稳定期区间时，应该理解，所考虑的稳定期区间是与在QP图中已经分配了QP的块b相关联的函数的稳定期区间。因此，来自类k中的QP的相同值，QP值可以属于用于第一块b1而不是第二块b2的函数的稳定部分。
根据本公开，它意味着稳定部分中的元素将参与质心计算，诸如稳定部分中的元素尽可能少地移动它们所属的类的平均值。
在步骤53中，计算用于QP的每个类i的误差。在K-均值算法中，用于类的误差计算如下：
使用与上述相同的方法，误差计算被调整如下：
具有
Pi＝max(QPe-Ck，0)if QPi∈[QPe，255]
在步骤54中，将误差Ek与阈值进行比较。如果误差Ek很小，即如果误差Ek低于阈值，则聚类方法结束，否则，聚类从步骤51迭代到54。
根据本公开的实施例，在K-均值算法中，通过对类的元素求平均来经典地完成质心计算。这可能导致质心值为非整数值，并且质心值彼此非常接近。为了避免这种情况，在质心计算之后，每个类都以整数值与另一个类进行比较：
如果值Tk1，k2低于阈值，则合并类。在这种情况下，可以在下一次迭代中重新插入新类。
根据本公开的另一实施例，质心的数量可以低于类的目标数量。这样的目标数可以是例如在VP9编码器中N类的硬约束等于8。质心的数量可以低于目标数量，例如，因为如下所公开的类合并。
根据该实施例，聚类方法将尝试插入新的质心以很好地平衡质心。选择新的类质心作为初始猜测以最小化全局误差，例如通过取最分离的质心之间的值。
根据本公开的实施例，QP图的不同量化参数的数量取决于图片的目标比特率。这意味着QP类的数量以及因此质心的数量取决于用于要编码的图片的目标比特率。
当为图片分配的速率变低时，与用于图片的感知度量的增益相比，用于编码QP图的成本的开销可能变得太高。因此，当在图1的步骤14处调整QP图时，调整最大质心数以便调整QP图的成本到分配给要编码的图片的速率。这种调整可以例如通过调整质心的数量作为标称量化参数QPg的函数来执行。例如，在低QP(高比特率)下，可以将8个类用于QP图，在高QP(例如QPg＝250)下，对于整个图片可以使用仅一个类，对于中间QP值，例如QPg＝125，可以将4个类用于QP图。
根据本公开的实施例，为了降低QP图的编码成本，在图1的步骤15执行对分配给QP图中的每个块的QP的细化。根据其他变型，这样的步骤15也可以在图4A、4B或4C公开的任何一个实施例中执行。
根据该实施例，对于每个块、块轨迹，即表示QP的度量(失真)函数的函数Mk以及目标整体失真G0是已知的。通过设置最大度量误差dE，可以为每个块推导出QP[QPm，QPM]的可允许范围，如图6中所公开的。
根据变型，使用空间邻域来编码QP图以便确定熵编码器的上下文。图7图示了对于QP图的当前块(用较粗的线表示)的这种空间邻域。为了降低QP图的成本，用于每个当前块的QP应尽可能与其相邻块的QP相似。为此，对于QP图的每个块，从分配给相邻块的QP值计算中值QP值。如果中值在QP的可允许范围的[QPm，QPM]区间内，则将用于当前块的QP设置为中值。
否则，对于当前块的因果邻域的每个相邻块，如果分配给相邻块的QP值在当前块的QP的可允许范围的[QPm，QPM]区间内，则将当前块的QP值设置为分配给相邻块的QP值。
否则，当前块的QP值保持为分配给QP图中的块的原始QP0值。
根据另一变型，使用时间编码来对QP图进行编码，即将上一帧中的共址块用于熵编码器的上下文。
为了降低QP图的成本，应该将分配给当前块的QP设置为与分配给共址块的QP尽可能相似。
为此，对于每个QP图，如果共址块的值在当前块的QP的可允许范围的[QPm，QPM]区间内，则将当前块的QP设置为分配给共址块的QP值。
否则，当前块的QP值保持为分配给QP图中的块的原始QP0值。
图9图示了根据本公开的实施例的示例性视频编码器的框图。根据本原理的实施例，这样的视频编码器90将视频的一组图片编码为比特流。视频编码器90根据诸如H.266、HEVC/H.265、AVC/H.264、VP9/VP10的任何视频编码标准或任何专有视频编码系统来执行图片的编码。
传统上，视频编码器90可以包括用于基于块的视频编码的若干模块，如图9所示。将要编码的图片I输入到编码器90。图片I首先由细分模块细分为一组块。然后对图片I的每个块BLK进行处理以便编码。块BLK可以具有从4×4到128×128像素的大小范围。通常但不是必须地，块BLK的大小是2的幂。
编码器90包括模式选择单元，用于(例如，基于速率/失真优化的编码模式)为要编码的图片的块选择编码模式，这种模式选择单元包括：
-运动估计模块，用于估计要编码的图片的一个当前块与参考图片之间的运动，
-运动补偿模块，用于使用所估计的运动来预测当前块，
-内部(intra)预测模块，用于对当前块进行空间预测。
模式选择单元递送预测块PRED和要在比特流中编码的相应语法元素，以便在解码器处执行相同的块预测。然后从要编码的图片的块和预测块PRED获得残差块RES。残差块RES由递送变换残差系数TCOEF的变换处理模块进行变换。然后，经变换的残差系数由递送经量化的残差变换系数QCOEF的量化模块进行量化。
在本公开中，在变换之后使用分配给如在上面公开的任何一个实施例中所公开的QP图中的块的量化参数QP来量化残差块RES。
然后将语法元素和经量化的残差变换系数QCOEF输入到熵编码模块以递送编码的视频数据。
经量化的残差变换系数QCOEF由逆量化模块和逆变换模块进行处理，以便重构残差块RES′。使用分配给如上面公开的任何一个实施例中所公开的QP图中的块的量化参数QP来执行块的系数的逆量化。
将预测块PRED添加到重构的残差块RES′，以便重构形成重构块REC的块。重构块REC存储在存储器中以供图片重构模块使用。图片重构模块执行从重构块REC重构图片I的解码版本I′。然后将重构的图片I′存储在参考图片存储器中以供稍后用作用于对要编码的一组图片的后续图片进行编码或用于对图片I的后续块进行编码的参考图片。
在模式选择单元对要编码的块执行模式选择之前，或在将要编码的图片I编码输入到编码器90之前，可以在编码器的第一编码通道中执行如在图1至图7中公开的任何一个实施例中所公开的QP图的确定。然后，编码器90在量化要编码的当前块的系数时使用分配给QP图中的块的量化参数。
当编码当前图片I时，应该将根据上面公开的任何一个实施例确定的用于当前图片I的QP图编码到比特流中，使得解码器可以使用与在编码阶段相同的量化参数来解码图片I的块。
根据本公开的实施例，QP图包括头部，其中将索引分配给QP图中的每个不同的QP值。也就是说，如果QP图包括N类QP，则头部包括N-1个索引，索引0对应于帧的默认QP(QPg)。QP图还包括索引图，其中将索引分配给QP图的每个块。
然后，通过编码表示头部的数据并且编码表示索引图的数据来对图片的QP图进行编码。通过对图的每个块使用根据图中块的因果邻域的空间预测，或者根据与上一编码图片进行编码的索引图的共址块的时间预测，由熵编码模块编码索引图。
编码器可以使用索引图来共享用于编码索引图的块的其他参数。例如，在VP9编码器中，上面公开的头部用于将给定索引(也称为VP9编码器中的段ID)编码特征分配给索引图中已经分配了索引的块。这样的编码特征可以是例如：对可以用于每个索引的参考帧、系数跳过、量化参数、环路滤波器强度、变换大小选项的限制。
在本公开中，共享用于若干编码特征的索引的影响是限制用于图片的不同QP的数量。
从一张图片到另一张图片，可以不对QP图的元素(头部、索引图)全部进行编码。可以有若干种用于图片的QP图的编码模式。
可以完全刷新QP图，即对图的每个块的索引值以及头部进行编码。或者，仅刷新QP图的头部，即仅更新分配给索引的QP值，分配给索引图中的块的索引不变。或者，QP图不变，即将相同的QP值分配给相同的索引，并且索引图保持不变。在该模式中，来自上一编码图片的QP图完全重用于要编码的当前图片。
根据该实施例，为了改善速率和感知失真之间的平衡，下面根据要编码的图片的类型提出QP图编码策略。
对于要编码的每个图片，在表1中示出了可以选择的QP图编码模式，以及与每个编码模式相关联的对速率和失真的影响，其中符号“+”表示对速率或失真的增加影响，并且符号“-”表示减少影响。
表1
对于内部编码(intra-coded)图片，即仅使用空间预测进行编码的图片，当在编码器处使能自适应QP工具时，应始终刷新QP图的头部和索引图。
对于间编码(inter-coded)图片，即通过参考先前的编码图片进行编码的图片，来自表1的任何一个选项都可以是有效的。
典型地，对于具有高速率的间编码图片，应该刷新索引图。根据本公开的实施例，为了保持一组一致的QP，在间编码图片的情况下，分配给QP图的头部中的索引的QP值不变。仅调整索引图。这意味着对于QP图的这种编码模式，在如图5所公开的QP图聚类中，QP类的每个质心的值是已知的。
对于低速率的间编码图片，可以传播索引图而不引入任何失真。对于这样的图片，QP图的附加编码成本可能太高，尤其是对于在深时间层处编码的图片。对于这类图片，应禁用QP图。
这样做的一个问题是会丢失可用于下一编码帧的时间编码的QP图。另一方面，通过使用传播模式保持QP图将增加失真，因为针对当前图片确定的QP图不一定与针对先前图片确定并编码的QP图对齐。
根据该实施例，在传播索引图但通过将每个索引的QP设置为相同的QP值来禁用QP图的情况下，使用“仅刷新头部”模式。通过这样做，索引图仍然可用于针对未来帧的熵编码，但是通过不更新索引图没有引入失真。
对于特定类型的图片，在VP9标准中称为怀旧帧(golden frames)，应该构建一个特殊的图。
怀旧帧是使用对“alt-ref”图片的参考进行编码的图片。alt-ref图片是在比特流中编码的图片，但由于alt-ref图片不用于显示，因此其是不可见的图片。仅对alt-ref图片进行编码以供稍后用作参考图片。alt-ref图片是与怀旧帧在时间上共址的图片，如图8所公开的。对于怀旧帧，期望精确地使用共址的alt-ref图片的块。产生的一个问题是，对怀旧帧进行编码而做出的速率-失真选择可能与alt-ref图片的速率-失真选择不一致，因为QP图在其间发生了变化，如图8所公开的。
为了保持怀旧帧的质量，当编码用于怀旧帧的QP图时，不刷新索引图，即使用上一编码图片的索引图。诸如对于每个索引刷新QP图的头部，而不是编码QP值，对设置为值1的跳过标志进行编码。
通过这样做，将整个怀旧帧编码为块的完全跳过，从而产生共址的alt-ref图片的精确副本。
图10图示了根据本原理的实施例的用于对视频进行编码的装置(100)的简化结构。这样的装置100被配置为根据上面公开的任何实施例实现根据本原理的用于对视频进行编码的方法。已经参考图9公开了编码器装置100的功能单元。下面公开的结构装置100可以被配置为根据上面公开的原理的任何一个实施例并且单独地或组合地实现这些功能单元中的每一个。
结构装置100还可以被配置为实现用于确定QP图的方法，如在图1至图8中描述的任何一个实施例中所公开的。
根据实施例，编码器装置100包括处理单元PROC，其配备有例如处理器并由存储在存储器MEM中的计算机程序PG驱动，并且实现根据本原理的用于对视频进行编码的方法。
在初始化时，计算机程序PG的代码指令例如被加载到RAM(未示出)中，然后由处理单元PROC的处理器运行。处理单元PROC的处理器根据计算机程序PG的指令实现上面已经描述的用于对视频进行编码的方法的步骤。
编码器装置100包括通信单元COMOUT，以将编码比特流STR发送到数据网络。编码器装置100还包括用于接收要编码的图片或视频的接口COMIN。
根据本公开，公开了用于对视频进行编码的方法。这种编码方法包括：
-关联12来自视频的图片的每个块与将量化参数作为失真值的函数给出的第一曲线，
-根据分配给图片的每个块的相同初始量化参数计算131用于图片的目标整体失真，并对每个块使用相关联的第一曲线，
-确定132用于图片的量化参数图，包括：
-为每个块分配由与用于目标整体失真的块相关联的第一曲线给出的量化参数，
-使用量化参数图对图片进行编码16。
本公开允许基于用于图片的目标整体失真来确定用于要编码的每个块的量化参数。因此，产生的压缩视频的图片质量更均匀。
根据实施例，公开了一种用于对视频进行编码的方法，包括：
-根据一组块的类对来自视频的图片的每个块进行分类12，并且为每个块分配与用于每个块的相应类相关联的失真量化D-Q曲线，D-Q曲线将量化参数作为失真值的函数给出并且是可逆的，
-使用分配给图片的每个块的相同初始量化参数确定131用于图片的目标整体失真，并使用为每个块分配的D-Q曲线以从初始量化参数确定用于每个块的失真，
-确定132用于图片的量化参数图，包括：
-通过对为每个块分配的D-Q曲线应用等于目标整体失真的失真值来确定用于每个块的量化参数，量化参数图包括用于每个块的量化参数，
-使用量化参数图对图片进行编码16。
根据本公开的实施例，编码方法还包括根据用于对量化参数图进行编码的编码约束来调整量化参数图。根据该实施例，由于根据编码约束调整所产生的量化参数图(QP图)，因此提高了压缩效率。例如，编码约束可以是对图片的块使用有限数量的量化参数。例如，VPx编码器仅允许8个不同的量化参数用于量化参数图。根据变型，用于对量化参数图进行编码的编码约束可以是对分配给每个块的QP进行编码所允许的编码成本或比特率。
根据本公开的实施例，编码方法还包括：
-根据调整的量化参数图和与图片的每个块相关联的第一曲线计算用于图片的整体失真，
-比较整体失真和目标整体失真：
-如果整体失真高于取决于目标整体失真的第一阈值，将目标整体失真减少第一变化因子，
-如果整体失真低于取决于目标整体失真的第二阈值，将目标整体失真增加第二变化因子，
-迭代确定用于图片的量化参数图的操作，根据编码约束调整量化参数图，计算用于图片的整体失真并比较整体失真和目标整体失真，直到整体失真在第一阈值和第二阈值之间或直到已经达到迭代次数。
该实施例允许在所选量化参数的编码速率与所产生的编码图片的质量之间提供折衷。该实施例允许基于感知的图片质量来控制量化参数图的确定。
根据本公开的实施例，编码方法还包括：
-从量化参数图计算中心量化参数，
-比较中心量化参数和初始量化参数：
-如果中心量化参数低于取决于初始量化参数的第一阈值，将目标整体失真减少第一变化因子，
-如果中心量化参数高于取决于初始量化参数的第二阈值，将目标整体失真增加第二变化因子，
-迭代确定用于图片的量化参数图的操作，根据编码约束调整量化参数图，计算中心量化参数并比较中心量化参数和初始量化参数，直到中心量化参数等于初始量化参数或直到已经达到迭代次数。
该实施例允许基于分配给要编码的图片的初始量化参数来控制量化参数图的确定。例如，这种初始量化参数可以是由编码器的速率控制机制分配的量化参数。
根据本公开的实施例，图片的每个块与将量化参数表示为速率值的函数的第二曲线相关联。编码方法还包括：
-根据调整的量化参数图和与图片的每个块相关联的第二曲线计算用于图片的整体速率，
-比较用于图片的整体速率和图片的目标速率：
-如果整体速率低于取决于目标速率的第一阈值，则将目标整体失真减少第一变化因子，
-如果整体速率高于取决于目标速率的第二阈值，则将目标整体失真增加第二变化因子，
-迭代确定用于图片的量化参数图的操作，根据编码约束调整量化参数图，计算用于图片的整体速率并比较整体速率和目标速率，直到整体失真在第一阈值和第二阈值之间或直到已经达到迭代次数。
该实施例允许基于要编码的图片的目标速率来控制量化参数图的确定。例如，这样的目标速率可以对应于使用由编码器分配给图片的初始量化参数计算的图片的速率或直接由编码器分配的速率。
根据本公开的实施例，调整量化参数图使用K-均值聚类方法来减少图的量化参数的数量。
根据本公开的实施例，K-均值聚类包括量化参数类计算，其中对于分配给块的量化参数，量化参数与包括稳定期上的质心的每个量化参数类相关联。
根据本公开的实施例，K-均值聚类包括量化参数类质心计算，其中对于分配给块的量化参数，量化参数属于与块相关联的第一曲线的稳定部分，用于计算类质心而考虑的值对应于从量化参数所属的第一曲线的稳定部分的第一量化参数中选择的最大值或者不属于稳定部分的类的量化参数的平均值。
根据该实施例，属于QP-失真曲线的稳定部分的类的量化参数将参与类质心的计算，例如它去除了较小可能的类的平均值。
根据本公开的实施例，K-均值聚类包括类的误差计算，其中对于分配给块的量化参数，量化参数属于与块相关联的第一曲线的稳定部分，通过考虑从差值中选择的最大值来计算误差，该差值被计算为量化参数所属的第一曲线的稳定部分的第一量化参数减去类质心的值或零值。
根据本公开的实施例，图的不同量化参数的数量取决于用于图片的目标比特率。该实施例允许将用于编码QP图的开销成本调整为分配给图片的速率。在低比特率下，与感知度量的增益相比，用于编码QP图的开销成本高。
根据本公开的实施例，编码方法还包括：对于图片的至少一个块，根据至少一个块的空间相邻块或者根据上一编码帧中的与至少一个块共址的块来细化分配给至少一个块的量化参数。该实施例允许通过考虑用于QP图的熵编码的块的空间或时间相邻来降低量化参数图的编码成本。
根据本公开的实施例，量化参数图包括量化参数的N个不同的值，并且量化参数图包括为量化参数的每个不同的值分配索引的头部，以及其中将索引分配给图片的每个块的索引图。编码方法还包括对量化参数图进行编码，包括：
-对表示头部的数据进行编码，
-对表示索引图的数据进行编码。
根据本公开的另一实施例，对于以帧间模式进行编码的图片，在图片之后，后续图片的头部是与图片的头部相同的头部。根据该实施例，用于编码图片的一组量化参数在间编码的图片之间保持一致。
根据本公开的实施例，对于在预定时间层进行编码的图片，在头部中将量化参数的N个不同的值设置为相同的量化参数值。根据该实施例，通过将数据图中的所有索引设置为相同的QP，可以对在深时间层中编码的图片禁用QP图。对于这样的图片，QP图的成本可能太高。根据该实施例，即使对深时间层图片禁用QP图，数据图仍然被传播到未来图片，使得数据图对于用于未来图片的熵编码可用。因此，当没有为图片更新数据图时，不会引入失真。
根据本公开的实施例，对于与仅用作参考图片进行编码的参考图片共址的第一图片，第一图片从参考图片进行间编码，至少一个第二图片在参考图片和第一图片之间进行编码，将被设置为值1的跳过标志分配给第一图片的量化参数图的头部的每个索引而不是量化参数值。例如，仅用作参考图片进行编码的参考图片对应于VPx压缩标准的alt-ref图片，并且与这样的参考图片共址并且从这样的参考图片进行间编码的第一图片对应于VPx压缩标准的怀旧图片。当在alt-ref图片和怀旧图片之间的比特流中对图片进行编码时，因为对于其间图片做出的速率-失真选择，用于对alt-ref图片进行编码的QP图可能在对怀旧图片进行编码时已经改变。该实施例允许通过将怀旧图片编码为块的完全跳过来保持怀旧图片的质量，从而导致alt-ref图片到怀旧图片的精确复制。
根据本公开的方面，还公开了用于对视频进行编码的装置。这种装置包括：
-用于关联来自视频的图片的每个块与将量化参数作为失真值的函数给出的第一曲线的部件，
-用于根据分配给图片的每个块的相同初始量化参数计算用于图片的目标整体失真的装置、并对每个块使用相关联的第一曲线的部件，
-用于确定用于图片的量化参数图的部件，包括：
-用于为每个块分配由与目标整体失真的块相关联的第一曲线给出的量化参数的部件，
-用于使用量化参数图对图片进行编码的部件。
根据本公开，公开了用于对视频进行编码的装置90、100，包括：
-用于根据一组块的类对来自视频的图片的每个块进行分类、并且为每个块分配与用于每个块的相应类相关联的失真量化D-Q曲线的部件，D-Q曲线将量化参数作为失真值的函数给出并且是可逆的，
-用于使用分配给图片的每个块的相同初始量化参数确定用于图片的目标整体失真、并使用为每个块分配的D-Q曲线以从初始量化参数确定用于每个块的失真的部件，目标整体失真是每个块的失真的平均值。
-用于确定用于图片的量化参数图的部件，包括：
-用于通过对为每个块分配的D-Q曲线应用等于目标整体失真的失真值来确定用于每个块的量化参数的部件，量化参数图包括用于每个块的量化参数，
-用于使用量化参数图对图片进行编码部件。
根据本公开，提供了用于对视频进行编码的装置90，其包括处理器和至少一个存储器，该处理器被配置为实现对视频进行编码的方法的任何实施例。
根据实施方式，如上所述的用于对视频进行编码的方法的不同步骤由一个或多个软件程序或软件模块程序实现，该软件程序或软件模块程序包括旨在由用于对视频进行编码的装置的数据处理器运行的软件指令，这些软件指令被设计为命令运行根据本公开的方法的不同步骤。
还公开了能够由计算机或数据处理器运行的计算机程序，该程序包括用于命令运行如上所述的用于对视频进行编码的方法的步骤的指令。
该程序可以使用任何编程语言，并且可以是源代码、目标代码或源代码和目标代码之间的中间代码的形式，诸如部分编译的形式或任何其他期望的形式。
信息载体可以是能够存储程序的任何实体或装置。例如，载体可以包括诸如ROM的存储部件，例如CD ROM或微电子电路ROM，或者也可以包括磁记录部件，例如软盘或硬盘驱动器。
同样，信息载体可以是可传输的载体，例如电信号或光信号，其可以经由电缆或光缆通过无线电或其他方式递送。可以特别地将根据本公开的程序上载到因特网类型的网络。
作为替代方案，信息载体可以是包含程序的集成电路，该电路适于运行所讨论的方法或适于被用于所讨论的方法的运行。
根据一种实施方式，如上所述的用于对视频进行编码的方法的不同步骤由一个或多个软件程序或软件模块程序实现，该软件程序或软件模块程序包括旨在由用于对视频进行编码的装置的数据处理器运行的软件指令，这些软件指令被设计为命令运行根据本公开的方法的不同步骤。
根据用于对视频进行编码的方法或装置的实施例，目标整体失真是用于每个块的失真的平均值或鲁棒绝对感知度量和鲁棒扁平化得分的加权和。
根据用于对视频进行编码的方法或装置的实施例，根据用于对量化参数图进行编码的编码约束来调整量化参数图。
根据用于对视频进行编码的方法或装置的实施例，根据调整的量化参数图和为图片的每个块分配的D-Q曲线来确定用于图片的整体失真，并且将整体失真和目标整体失真进行比较，其中：
-如果整体失真高于第一值，目标整体失真减少第一变化因子，
-如果整体失真低于第二值，目标整体失真增加第二变化因子。
根据用于对视频进行编码的方法或装置的实施例，第一值和第二值是目标整体失真、初始量化参数和目标速率中的一个的函数，其中，当第一值和第二值是目标速率的函数时，为每个块分配的D-Q曲线是为每个块分配的第二D-Q曲线。
根据用于对视频进行编码的方法或装置的实施例，调整量化参数图使用K-均值聚类方法来减少图的量化参数的数量。
根据用于对视频进行编码的方法或装置的实施例，K-均值聚类包括确定量化参数类，其中对于分配给块的量化参数，量化参数与包括稳定期上的质心的每个量化参数类相关联。稳定期
根据用于对视频进行编码的方法或装置的实施例，K-均值聚类包括确定量化参数类质心，其中对于分配给块的量化参数，量化参数属于与块相关联的第一曲线的稳定部分，用于确定类质心而考虑的值对应于从量化参数所属的第一曲线的稳定部分的第一量化参数中选择的最大值或者不属于稳定部分的类的量化参数的平均值。
根据用于对视频进行编码的方法或装置的实施例，K-均值聚类包括确定类的误差，其中对于分配给块的量化参数，量化参数属于与块相关联的第一曲线的稳定部分，通过考虑从差值中选择的最大值来计算误差，该差值被计算为量化参数所属的第一曲线的稳定部分的第一量化参数减去类质心的值或零值。
根据用于对视频进行编码的方法或装置的实施例，图的不同量化参数的数量取决于用于图片的目标比特率。
根据用于对视频进行编码的方法或装置的实施例，对于图片的至少一个块，根据至少一个块的空间相邻块或根据上一编码帧中的与至少一个块共址的块来细化分配给至少一个块的量化参数。
根据用于对视频进行编码的方法或装置的实施例，量化参数图包括量化参数的N个不同的值，并且其中量化参数图包括为量化参数的每个不同的值分配索引的头部，以及其中将索引分配给图片的每个块的索引图，其中还对量化参数图进行如下编码：
-对表示头部的数据进行编码，
-对表示索引图的数据进行编码。
根据用于对视频进行编码的方法或装置的实施例，对于以帧间模式进行编码的图片，在图片之后，后续图片的头部是与图片的头部相同的头部。
根据用于对视频进行编码的方法或装置的实施例，对于在预定时间层进行编码的图片，在头部中将量化参数的N个不同的值设置为相同的量化参数值。
根据用于对视频进行编码的方法或装置的实施例，对于与仅用作参考图片进行编码的参考图片共址的第一图片，第一图片从参考图片进行间编码，至少一个第二图片在参考图片和第一图片之间进行编码，将被设置为值1的跳过标志分配给第一图片的量化参数图的头部的每个索引而不是量化参数值。
根据本公开，提供了一种对视频进行编码的方法，包括基于视频的图片中的块的感知度量分类将失真与量化曲线分配(12)给块，基于用于块的曲线和目标失真确定132用于块的量化参数，目标失真是用于图片的整体目标失真，并且基于量化参数对块进行编码16。
根据本公开，提供了用于对视频进行编码的装置90、100，包括用于基于视频的图片中的块的感知度量分类将失真与量化曲线分配给块的部件，用于基于用于块的曲线和目标失真确定用于块的量化参数的部件，目标失真是用于图片的整体目标失真，以及用于基于量化参数对块进行编码的部件。
根据本公开，提供了对视频进行解码的方法，包括：提取(retrieving)用于编码视频比特流的图片的块的量化参数，该量化参数基于用于块的失真与量化曲线和用于块的目标失真，基于块的感知度量分类确定失真与量化曲线，目标失真是用于图片的整体目标失真，并且基于量化参数对块进行解码。可以根据对视频进行编码的方法的任何实施例来确定量化参数。可以根据对视频进行编码的方法的任何实施例对视频进行编码。
根据一种实施方式，如上所述的用于对视频进行解码的方法的不同步骤由一个或多个软件程序或软件模块程序实现，该软件程序或软件模块程序包括旨在由用于对视频进行解码的装置的数据处理器运行的软件指令，这些软件指令被设计为命令运行根据本公开的方法的不同步骤。
根据本公开，提供了用于对视频进行解码的装置100，包括：用于提取用于编码视频比特流的图片的块的量化参数的部件，该量化参数基于用于块的失真与量化曲线和用于块的目标失真，基于块的感知度量分类确定失真与量化曲线，目标失真是用于图片的整体目标失真，以及用于基于量化参数对块进行解码的部件。根据对视频进行编码的方法的任何实施例确定量化参数。根据对视频进行编码的方法的任何实施例对视频进行编码。
根据本公开，提供了用于对视频进行解码的装置100，包括：处理器和至少一个存储器，该处理器被配置为执行对视频进行解码的方法的任何实施例。
根据用于对视频进行编码或对视频进行解码的方法或装置的实施例，量化参数被包括在用于图片的量化参数图中。
根据用于对视频进行编码或对视频进行解码的方法或装置的实施例，量化参数图被包括在视频比特流中。
根据用于对视频进行编码或对视频进行解码的方法或装置的实施例，目标整体失真是用于每个块的失真的平均值或鲁棒绝对感知度量和鲁棒扁平化得分的加权和。
根据用于对视频进行编码或对视频进行解码的方法或装置的实施例，根据用于对量化参数图进行编码的编码约束来调整量化参数图。
根据用于对视频进行编码或对视频进行解码的方法或装置的实施例，根据调整的量化参数图和为图片的每个块的分配的失真与量化曲线来确定用于图片的整体失真，并且将整体失真与目标整体失真进行比较，其中：
-如果整体失真高于第一值，目标整体失真减少第一变化因子，
-如果整体失真低于第二值，目标整体失真增加第二变化因子。
根据用于对视频进行编码或对视频进行解码的方法或装置的实施例，第一值和第二值是目标整体失真、初始量化参数和目标速率中的一个的函数，其中，当第一值和第二值是目标速率的函数时，为每个块分配的失真与量化曲线是为每个块分配的第二失真与量化曲线。
根据用于对视频进行编码或对视频进行解码的方法或装置的实施例，调整量化参数图使用K-均值聚类方法以减少图的量化参数的数量。
根据用于对视频进行编码或对视频进行解码的方法或装置的实施例，K-均值聚类包括确定量化参数类，其中对于分配给块的量化参数，量化参数与包括稳定期上的质心的每个量化参数类相关联。稳定期。
根据用于对视频进行编码或对视频进行解码的方法或装置的实施例，K-均值聚类包括确定量化参数类质心，其中对于分配给块的量化参数，量化参数属于与块相关联的第一曲线的稳定部分，用于确定类质心而考虑的值对应于从量化参数所属的第一曲线的稳定部分的第一量化参数中选择的最大值或者不属于稳定部分的类的量化参数的平均值。
根据用于对视频进行编码或对视频进行解码的方法或装置的实施例，K-均值聚类包括确定类的误差，其中对于分配给块的量化参数，量化参数属于与块相关联的第一曲线的稳定部分，通过考虑从差值中选择的最大值来计算误差，该差值被计算为量化参数所属的第一曲线的稳定部分的第一量化参数减去类质心的值或零值。
根据用于对视频进行编码或对视频进行解码的方法或装置的实施例，图的不同量化参数的数量取决于用于图片的目标比特率。
根据用于对视频进行编码或对视频进行解码的方法或装置的实施例，根据块的空间相邻块或根据上一编码帧中的与所述块共址的块来细化量化参数。
根据用于对视频进行编码或对视频进行解码的方法或装置的实施例，量化参数图包括量化参数的N个不同的值，并且其中量化参数图包括为量化参数的每个不同的值分配索引的头部，以及其中将索引分配给图片的每个块的索引图，其中还对量化参数图进行如下编码：
-对表示头部的数据进行编码，
-对表示索引图的数据进行编码。
根据用于对视频进行编码或对视频进行解码的方法或装置的实施例，对于以帧间模式编码的图片，在图片之后，后续图片的头部是与图片的头部相同的头部。
根据用于对视频进行编码或对视频进行解码的方法或装置的实施例，对于在预定时间层进行编码的图片，在头部中将量化参数的N个不同的值设置为相同的量化参数值。
根据用于对视频进行编码或对视频进行解码的方法或装置的实施例，对于与仅用作参考图片进行编码的参考图片共址的第一图片，第一图片从参考图片进行间编码，至少一个第二图片在参考图片和第一图片之间进行编码，将被设置为值1的跳过标志分配给第一图片的量化参数图的头部的每个索引而不是量化参数值。
根据本公开，提供了格式化为包括表示图片的块的编码数据的比特流，该编码数据被根据对视频进行编码的方法的任何实施例而编码。
根据本公开，提供了计算机可读程序产品，包括用于执行对视频进行编码的方法的任何实施例的程序代码指令。
根据本公开，提供了计算机可读存储介质，其承载包括用于对视频进行编码的方法的任何实施例的程序代码指令的软件程序。
根据本公开，提供了计算机可读程序产品，包括用于执行对视频进行解码的方法的任何实施例的程序代码指令。
根据本公开，提供了计算机可读存储介质，其承载包括用于对视频进行解码的方法的任何实施例的程序代码指令的软件程序。
根据一个实施例，可以借助于软件和/或硬件组件来实现方法/装置。在这方面，术语“模块”或“单元”在本文中可以等同地对应于软件组件和硬件组件或一组硬件和软件组件。
软件组件对应于一个或多个计算机程序，程序的一个或多个子程序或更一般地对应于程序的任何元素或能够实现如下所述的用于相关模块的功能或一组功能的软件。这样的软件组件由物理实体(终端、服务器等)的数据处理器运行，并且能够访问该物理实体的硬件资源(存储器、记录介质、通信总线、输入/输出电子板、用户界面等)。
以相同的方式，硬件组件对应于能够实现如下所述的用于相关模块的功能或一组功能的硬件单元的任何元件。它可以是可编程硬件组件或具有用于运行软件的集成处理器的组件，例如用于运行固件的集成电路、智能卡、存储卡、电子板等。
重要的是要注意，根据本公开的各种方法中的一个或多个元素可以组合，以不同的顺序执行，或者不包含在某些实施例中，同时仍然实现本公开的各方面。可以并行执行其他步骤，其中处理器在开始另一步骤之前不等待步骤的完全完成。
应该理解，对本公开的“一个实施例”或“实施例”或“一个实施方式”或“实施方式”的引用以及其他变型意味着结合该实施例描述的特定特征、结构、特性等等包括在本公开的至少一个实施例中。因此，在整个说明书中出现在各个地方的短语“在一个实施例中”或“在实施例中”或“在一个实施方式中”或“在实施方式中”以及任何其他变型的出现不一定都指代同一实施例。
应该理解，所示和所述的各种特征是可互换的。除非另有指示，否则在一个实施例中示出的特征可以结合到另一个实施例中。此外，除非另外指示为不可分离或不可组合，否则各种实施例中描述的特征可以组合或分离。
如前所述，可以通过使用专用硬件以及能够与适当软件相联合运行软件的硬件来提供图中所示的各种元件的功能。而且，当由处理器提供时，功能可以由单个专用处理器提供、由单个共享处理器提供，或由多个单独的处理器提供，其中某些处理器可以是共享的。
还应该理解，因为附图中描绘的某些组成系统组件和方法优选地以软件实现，所以系统组件或过程功能块之间的实际连接可以根据本公开的过程的编程方式而不同。在给出本文的教导的情况下，相关领域的普通技术人员将能够设想本公开的这些和类似的实施方式或配置。
尽管本文已经参考附图描述了说明性实施例，但是应该理解，本公开不限于那些精确的实施例，并且本领域普通技术人员在不脱离本公开的范围的情况下可以在其中实现各种改变和修改。另外，在不脱离本公开的范围的情况下，可以组合单独的实施例。所有这种改变和修改都应包括在所附权利要求中阐述的本公开的范围内。

Claims (23)

1.一种对视频进行编码的方法，包括：
基于视频的图片中的块的感知度量分类，将失真与量化曲线分配(12)给所述块；
基于用于所述块的所述曲线和目标失真确定(132)用于所述块的量化参数，所述目标失真是用于所述图片的整体目标失真；和
基于所述量化参数对所述块进行编码(16)。
2.一种用于对视频进行编码的装置，包括：
用于基于视频的图片中的块的感知度量分类，将失真与量化曲线分配给所述块的部件；
用于基于用于所述块的所述曲线和目标失真确定用于所述块的量化参数的部件，所述目标失真是用于所述图片的整体目标失真；和
用于基于所述量化参数对所述块进行编码的部件。
3.一种对视频进行解码的方法，包括：
提取用于编码视频比特流的图片的块的量化参数，所述量化参数基于用于所述块的失真与量化曲线和用于所述块的目标失真，所述曲线是基于所述块的感知度量分类确定的，所述目标失真是用于所述图片的整体目标失真；和
基于所述量化参数对所述块进行解码。
4.一种用于对视频进行解码的装置，包括：
用于提取用于编码视频比特流的图片的块的量化参数的部件，所述量化参数基于用于所述块的失真与量化曲线和用于所述块的目标失真，所述曲线是基于所述块的感知度量分类确定的，所述目标失真是用于所述图片的整体目标失真；和
用于基于所述量化参数对所述块进行解码的部件。
5.根据权利要求1或3所述的方法或根据权利要求2或4所述的装置，其中所述量化参数被包括在用于所述图片的量化参数图中。
6.根据权利要求5所述的方法或根据权利要求5所述的装置，其中所述量化参数图被包括在所述视频比特流中。
7.根据权利要求1、3和5-6中任一项所述的方法或根据权利要求2、4和5-6中任一项所述的装置，其中所述目标整体失真是用于每个块的失真的平均值或鲁棒绝对感知度量和鲁棒扁平化得分的加权和。
8.根据权利要求5-7中任一项所述的方法，或根据权利要求5-7中任一项所述的装置，其中根据用于对所述量化参数图进行编码的编码约束来调整所述量化参数图。
9.根据权利要求8所述的方法或根据权利要求8所述的装置，其中根据所述调整的量化参数图和为所述图片的每个块分配的失真与量化曲线来确定整体失真，并且将所述整体失真与所述目标整体失真进行比较，其中：
-如果所述整体失真高于第一值，所述目标整体失真减小第一变化因子，
-如果所述整体失真低于第二值，所述目标整体失真增加第二变化因子。
10.根据权利要求9所述的方法或根据权利要求9所述的装置，其中所述第一值和第二值是所述目标整体失真、所述初始量化参数和所述目标速率中的一个的函数，其中，当所述第一值和第二值是所述目标速率的函数时，为每个块分配的失真与量化曲线是为每个块分配的第二失真与量化曲线。
11.根据权利要求8-10中任一项所述的方法，或根据权利要求8-10中任一项所述的装置，其中，调整量化参数图使用K-均值聚类方法以便减少所述图的量化参数的数量。
12.根据权利要求11所述的方法或根据权利要求11所述的装置，其中所述K-均值聚类包括确定量化参数类，其中对于分配给块的量化参数，所述量化参数与包括稳定期上的质心的每个量化参数类相关联。
13.根据权利要求11或12所述的方法，或根据权利要求11或12所述的装置，其中所述K-均值聚类包括确定量化参数类质心，其中对于分配给块的量化参数，所述量化参数属于与所述块相关联的第一曲线的稳定部分，用于确定类质心而考虑的值对应于从所述量化参数所属的所述第一曲线的稳定部分的第一量化参数中选择的最大值或者不属于稳定部分的所述类的量化参数的平均值。
14.根据权利要求11-13中任一项所述的方法，或根据权利要求11-13中任一项所述的装置，其中所述K-均值聚类包括确定类的误差，其中对于分配给块的量化参数，所述量化参数属于与所述块相关联的第一曲线的稳定部分，通过考虑从差值中选择的最大值来计算误差，该差值被计算为所述量化参数所属的所述第一曲线的稳定部分的第一量化参数减去所述类质心的值或零值。
15.根据权利要求5-14中任一项所述的方法，或根据权利要求5-14中任一项所述的装置，其中所述量化参数图的不同量化参数的数量取决于用于所述图片的目标比特率。
16.根据权利要求1、3和5-14中任一项所述的方法，或根据权利要求2、4和5-15中任一项所述的装置，其中根据所述块的空间相邻块或根据上一编码帧中的与所述块共址的块来细化所述量化参数。
17.根据权利要求5-16中任一项所述的方法，或根据权利要求5-17中任一项所述的装置，其中所述量化参数图包括量化参数的N个不同的值，并且其中所述量化参数图包括为量化参数的每个不同的值分配索引的头部及其中将索引分配给所述图片的每个块的索引图，其中还对所述量化参数图进行如下编码
-对表示所述头部的数据进行编码，
-对表示所述索引图的数据进行编码。
18.根据权利要求17所述的方法，或根据权利要求17所述的装置，其中对于以帧间模式进行编码的图片，在所述图片之后，所述后续图片的头部是与所述图片的头部相同的头部。
19.根据权利要求17或18所述的方法，或根据权利要求17或18所述的装置，其中对于在预定时间层进行编码的图片，在所述头部中将量化参数的所述N个不同的值设置为相同的量化参数值。
20.根据权利要求17-19中任一项所述的方法，或根据权利要求17-19中任一项所述的装置，其中，对于与仅用作参考图片进行编码的参考图片共址的第一图片，所述第一图片从所述参考图片进行间编码，至少一个第二图片在所述参考图片和所述第一图片之间进行编码，将被设置为值1的跳过标志分配给所述第一图片的量化参数图的头部的每个索引而不是量化参数值。
21.一种比特流，被格式化为包括表示图片的块的编码数据，所述编码数据根据权利要求1、3和5-20中任一项而被编码。
22.一种计算机可读程序产品，包括用于执行根据权利要求1、3和5-20中任一项所述的方法的程序代码指令。
23.提供了一种计算机可读存储介质，其承载包括用于执行根据权利要求1、3和5-20中任一项所述的方法的程序代码指令的软件程序。
CN201780072574.1A 2016-11-23 2017-11-21 基于感知度量分类对视频进行编码和解码的方法和装置 Pending CN109997360A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16306542.8A EP3328083A1 (en) 2016-11-23 2016-11-23 Method and apparatus for encoding a video applying adaptive quantisation
EP16306542.8 2016-11-23
PCT/EP2017/079867 WO2018095890A1 (en) 2016-11-23 2017-11-21 Methods and apparatuses for encoding and decoding video based on perceptual metric classification

Publications (1)

Publication Number Publication Date
CN109997360A true CN109997360A (zh) 2019-07-09

Family

ID=57517822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780072574.1A Pending CN109997360A (zh) 2016-11-23 2017-11-21 基于感知度量分类对视频进行编码和解码的方法和装置

Country Status (4)

Country Link
US (1) US20200068200A1 (zh)
EP (2) EP3328083A1 (zh)
CN (1) CN109997360A (zh)
WO (1) WO2018095890A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110493597A (zh) * 2019-07-11 2019-11-22 同济大学 一种高效感知视频编码优化方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3777196B1 (en) * 2018-03-29 2025-06-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for enhancing parallel coding capabilities
JP7075012B2 (ja) * 2018-09-05 2022-05-25 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN113924772A (zh) 2019-06-04 2022-01-11 华为技术有限公司 多层支持下视频译码中的帧间译码
EP4032259A4 (en) * 2019-09-20 2022-11-23 Alibaba Group Holding Limited Quantization parameter signaling in video processing
WO2022133320A1 (en) * 2020-12-18 2022-06-23 Beijing Dajia Internet Information Technology Co., Ltd. Network based image filtering for video coding
JP2024515894A (ja) * 2021-05-01 2024-04-10 ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド ビデオコーディングのためのネットワークベースの画像フィルタリング
CN113422966B (zh) * 2021-05-27 2024-05-24 绍兴市北大信息技术科创中心 一种多模型cnn环路滤波方法
CN113489983B (zh) * 2021-06-11 2024-07-16 浙江智慧视频安防创新中心有限公司 一种基于相关度比较确定分块编码参数的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050069214A1 (en) * 2003-09-29 2005-03-31 Casio Computer Co., Ltd. Image compression method and image compression device
US20060256857A1 (en) * 2005-05-16 2006-11-16 Douglas Chin Method and system for rate control in a video encoder
CN101156453A (zh) * 2005-04-05 2008-04-02 汤姆森许可贸易公司 用于局部调整量化阶的方法
US20090028239A1 (en) * 2005-05-03 2009-01-29 Bernhard Schuur Moving picture encoding method, moving picture decoding method and apparatuses using the methods
CN101658035A (zh) * 2007-04-23 2010-02-24 高通股份有限公司 用于质量受控编码的方法和系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1768416A1 (en) * 2005-09-27 2007-03-28 Matsushita Electric Industrial Co., Ltd. Frequency selective video compression and quantization
US8126283B1 (en) * 2005-10-13 2012-02-28 Maxim Integrated Products, Inc. Video encoding statistics extraction using non-exclusive content categories
EP2536144A1 (en) * 2011-06-17 2012-12-19 Thomson Licensing Method and device of lossy compress-encoding an image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050069214A1 (en) * 2003-09-29 2005-03-31 Casio Computer Co., Ltd. Image compression method and image compression device
CN101156453A (zh) * 2005-04-05 2008-04-02 汤姆森许可贸易公司 用于局部调整量化阶的方法
US20090028239A1 (en) * 2005-05-03 2009-01-29 Bernhard Schuur Moving picture encoding method, moving picture decoding method and apparatuses using the methods
US20060256857A1 (en) * 2005-05-16 2006-11-16 Douglas Chin Method and system for rate control in a video encoder
CN101658035A (zh) * 2007-04-23 2010-02-24 高通股份有限公司 用于质量受控编码的方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
P.GUILLOTEL等: "Perceptual video coding based on MB classification and rate–distortion optimization", 《SIGNALPROCESSING:IMAGE COMMUNICATION》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110493597A (zh) * 2019-07-11 2019-11-22 同济大学 一种高效感知视频编码优化方法
CN110493597B (zh) * 2019-07-11 2023-04-28 同济大学 一种高效感知视频编码优化方法

Also Published As

Publication number Publication date
EP3545677A1 (en) 2019-10-02
EP3328083A1 (en) 2018-05-30
WO2018095890A1 (en) 2018-05-31
US20200068200A1 (en) 2020-02-27

Similar Documents

Publication Publication Date Title
CN109997360A (zh) 基于感知度量分类对视频进行编码和解码的方法和装置
US10825204B2 (en) Artificial intelligence encoding and artificial intelligence decoding methods and apparatuses using deep neural network
US11310509B2 (en) Method and apparatus for applying deep learning techniques in video coding, restoration and video quality analysis (VQA)
CN112889283B (zh) 编码方法及其设备以及解码方法及其设备
Xu et al. Region-of-interest based conversational HEVC coding with hierarchical perception model of face
CN101390401B (zh) 借助伪影评价的提高的图像/视频质量
CN111083477B (zh) 基于视觉显著性的hevc优化算法
CN114631315B (zh) 图像编码方法和设备以及图像解码方法和设备
CN110225343B (zh) 一种视频编码的码率控制方法及装置
CN111193931B (zh) 一种视频数据的编码处理方法和计算机存储介质
CN103634601B (zh) 基于结构相似度的高效视频编码感知码率控制优化方法
CN112715029B (zh) Ai编码设备及其操作方法和ai解码设备及其操作方法
Xu et al. Consistent visual quality control in video coding
CN118872263A (zh) 用于视觉数据处理的方法、装置和介质
CN114173131B (zh) 一种基于帧间相关性的视频压缩方法及系统
US11816872B2 (en) Method and apparatus for performing artificial intelligence encoding and artificial intelligence decoding
US10616585B2 (en) Encoding data arrays
US11272185B2 (en) Hierarchical measurement of spatial activity for text/edge detection
Li et al. An improved ROI-based rate control algorithm for H. 264/AVC
US11515961B2 (en) Encoding data arrays
Yan et al. Two-stage perceptual quality oriented rate control algorithm for HEVC
US11985341B2 (en) Assigning bit budgets to parallel encoded video data
US20230196505A1 (en) Artificial intelligence-based image providing apparatus and method, and artificial intelligence-based display apparatus and method
US10848772B2 (en) Histogram-based edge/text detection
Saeedi et al. Content adaptive pre-filtering for video compression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190709