CN114786010B - 率失真优化量化方法、装置、存储介质及电子设备 - Google Patents
率失真优化量化方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN114786010B CN114786010B CN202210225735.9A CN202210225735A CN114786010B CN 114786010 B CN114786010 B CN 114786010B CN 202210225735 A CN202210225735 A CN 202210225735A CN 114786010 B CN114786010 B CN 114786010B
- Authority
- CN
- China
- Prior art keywords
- unit
- sub
- transform
- rate
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013139 quantization Methods 0.000 title claims abstract description 167
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000005457 optimization Methods 0.000 title claims abstract description 29
- 230000009466 transformation Effects 0.000 claims description 33
- 230000015654 memory Effects 0.000 claims description 21
- 238000007781 pre-processing Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 101000827703 Homo sapiens Polyphosphoinositide phosphatase Proteins 0.000 description 5
- 102100023591 Polyphosphoinositide phosphatase Human genes 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 108010001267 Protein Subunits Proteins 0.000 description 2
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 229920001690 polydopamine Polymers 0.000 description 2
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 1
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种率失真优化量化方法、装置、存储介质及电子设备。其中，上述方法包括：对视频帧中变换单元的所有最小子单元进行划分，得到变换子单元集合；其中，上述变换子单元集合中的每个变换子单元包括多个上述最小子单元；确定上述每个变换子单元的量化系数的代表值；基于上述代表值，依次计算在每个变换子单元作为Z字型扫描的最后一个非零系数单元时，上述变换单元对应的第一码率失真代价；将最小第一码率失真代价的Z字型扫描对应的变换子单元集合作为目标变换子单元集合；输出上述目标变换子单元集合中每个最小子单元对应的目标量化系数。本发明解决了相关技术中RDOQ模块需要消耗大量的编码时间，视频编码效率较低的技术问题。
Description
技术领域
本发明图像处理技术领域，具体而言，涉及一种率失真优化量化方法、装置、存储介质及电子设备。
背景技术
率失真优化量化(Rate Distortion Optimized Quantization，RDOQ)是AVS3视频编码标准中一项非常重要的技术，它能够有效的提升编码器的性能，但传统RDOQ模块需要计算变换单元中所有系数的码率-失真代价(RD-Cost)，这一过程计算复杂度较高，因此会导致RDOQ模块需要消耗大量的编码时间，视频编码效率较低。
发明内容
本发明实施例提供了一种率失真优化量化方法、装置、存储介质及电子设备，以至少解决相关技术中RDOQ模块需要消耗大量的编码时间，视频编码效率较低的技术问题。
根据本发明实施例的一个方面，提供了一种率失真优化量化方法，包括：对视频帧中变换单元的所有最小子单元进行划分，得到变换子单元集合；其中，上述变换子单元集合中的每个变换子单元包括多个上述最小子单元；确定上述每个变换子单元的量化系数的代表值；基于上述代表值，依次计算在每个变换子单元作为Z字型扫描的最后一个非零系数单元时，上述变换单元对应的第一码率失真代价；将最小第一码率失真代价的Z字型扫描对应的变换子单元集合作为目标变换子单元集合；输出上述目标变换子单元集合中每个最小子单元对应的目标量化系数。
根据本发明实施例的另一方面，还提供了一种率失真优化量化装置，包括：划分单元，对视频帧中变换单元的所有最小子单元进行划分，得到变换子单元集合；其中，上述变换子单元集合中的每个变换子单元包括多个上述最小子单元；第一确定单元，用于确定上述每个变换子单元的量化系数的代表值；计算单元，用于基于上述代表值，依次计算在每个变换子单元作为Z字型扫描的最后一个非零系数单元时，上述变换单元对应的第一码率失真代价；第二确定单元，用于将最小第一码率失真代价的Z字型扫描对应的变换子单元集合作为目标变换子单元集合；第一输出单元，用于输出上述目标变换子单元集合中每个最小子单元对应的目标量化系数。
根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过上述计算机程序执行上述的率失真优化量化方法。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述率失真优化量化方法。
在本发明实施例中，采用了对视频帧中变换单元的所有最小子单元进行划分，得到变换子单元集合；其中，上述变换子单元集合中的每个变换子单元包括多个上述最小子单元；确定上述每个变换子单元的量化系数的代表值；基于上述代表值，依次计算在每个变换子单元作为Z字型扫描的最后一个非零系数单元时，上述变换单元对应的第一码率失真代价；将最小第一码率失真代价的Z字型扫描对应的变换子单元集合作为目标变换子单元集合；输出上述目标变换子单元集合中每个最小子单元对应的目标量化系数的方法，在上述方法中，由于采用每个变换子单元的量化系数的代表值，无需对变换单元内所有的量化系数都进行最后非零系数位置决策，因此，不仅降低AVS3中RDOQ过程的计算复杂度，而且提高了RDOQ算法编码效率，进而解决了相关技术中RDOQ模块需要消耗大量的编码时间，视频编码效率较低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的率失真优化量化方法的应用环境的示意图；
图2是根据本发明实施例的另一种可选的率失真优化量化方法的应用环境的示意图；
图3是根据本发明实施例的一种可选的率失真优化量化方法的流程示意图；
图4是根据本发明实施例的一种可选的率失真优化量化方法的操作示意图；
图5是根据本发明实施例的另一种可选的率失真优化量化方法的操作示意图；
图6是根据本发明实施例的另一种可选的率失真优化量化方法的流程示意图；
图7是根据本发明实施例的一种可选的率失真优化量化装置的结构示意图；
图8是根据本发明实施例的一种可选的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面，提供了一种率失真优化量化方法，可选地，作为一种可选地实施方式，上述率失真优化量化方法可以但不限于应用于如图1所示的应用环境中。该应用环境中包括：与用户进行人机交互的终端设备102、网络104、服务器106。用户108与终端设备102之间可以进行人机交互，终端设备102中运行有率失真优化量化应用程序。上述终端设备102中包括人机交互屏幕1022，处理器1024及存储器1026。人机交互屏幕1022用于呈现视频帧中的变换单元；处理器1024用于获取视频帧中的变换单元。存储器1026用于存储上述变换子单元集合，目标变换子单元集合，每个最小子单元对应的目标量化系数。
此外，服务器106中包括数据库1062及处理引擎1064，数据库1062中用于存储上述变换子单元集合，目标变换子单元集合，每个最小子单元对应的目标量化系数。处理引擎1064用于基于对视频帧中变换单元的所有最小子单元进行划分，得到变换子单元集合；其中，上述变换子单元集合中的每个变换子单元包括多个上述最小子单元；确定上述每个变换子单元的量化系数的代表值；基于上述代表值，依次计算在每个变换子单元作为Z字型扫描的最后一个非零系数单元时，上述变换单元对应的第一码率失真代价；将最小第一码率失真代价的Z字型扫描对应的变换子单元集合作为目标变换子单元集合；输出上述目标变换子单元集合中每个最小子单元对应的目标量化系数；将上述目标量化系数发送至上述终端设备102的客户端。
在一个或多个实施例中，本申请上述率失真优化量化方法可以应用于图2所示的应用环境中。如图2所示，用户202与用户设备204之间可以进行人机交互。用户设备204中包含有存储器206和处理器208。本实施例中用户设备204可以但不限于参考执行上述终端设备102所执行的操作，以输出上述目标变换子单元集合中每个最小子单元对应的目标量化系数。
可选地，上述终端设备102和用户设备204包括但不限于以下至少之一：手机(如Android手机、iOS手机等)、笔记本电脑、平板电脑、掌上电脑、MID(Mobile InternetDevices，移动互联网设备)、PAD、台式电脑、智能电视等。目标客户端可以是视频客户端、即时通信客户端、浏览器客户端、教育客户端等。上述网络104可以包括但不限于：有线网络，无线网络，其中，该有线网络包括：局域网、城域网和广域网，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络。上述服务器106可以是单一服务器，也可以是由多个服务器组成的服务器集群，或者是云服务器。上述仅是一种示例，本实施例中对此不作任何限定。
作为一种可选地实施方式，如图3所示，本发明实施例提供了一种率失真优化量化方法，包括如下步骤：
S302，对视频帧中变换单元的所有最小子单元进行划分，得到变换子单元集合；其中，上述变换子单元集合中的每个变换子单元包括多个上述最小子单元。
相关技术中，如图4中(b)所示，对于一个含有n个量化系数的变换单元(TransformUnit，TU)，通过Z字形扫描决策一个最后非零系数位置需要遍历每个最小子单元。AVS3编码标准中RDOQ算法的基本处理单元，包含所有量化系数的TU，如图4所示，图4中(a)的TU包括4*4个最小子单元，每个最小子单元包括一个量化系数。
在本发明实施例中，对视频帧中变换单元的所有最小子单元进行划分，得到变换子单元集合，如图5所示，图4中(a)的TU包括4*4个最小子单元进行均等划分，得到包含2*2个变换子单元的变换子单元集合，每个变换子单元包含4个最小子单元。
S304，确定上述每个变换子单元的量化系数的代表值。
在本发明实施例中，由于每个变换子单元包含多个最小子单元，因此每个变换子单元的量化系数的代表值可以用器包含的多个最小子单元的量化系数的平均值，或该平均值的变换值来表示。
S306，基于上述代表值，依次计算在每个变换子单元作为Z字型扫描的最后一个非零系数单元时，上述变换单元对应的第一码率失真代价。
具体地，如图5所示，例如将变换子单元502作为Z字型扫描的最后一个非零系数单元，也就是说将其余3个变换子单元予以抛弃，并计算上述变换单元对应的第一码率失真代价，这里，上述变换单元对应的第一码率失真代价即为变换子单元502对应的码率失真代价。
S308，将最小第一码率失真代价的Z字型扫描对应的变换子单元集合作为目标变换子单元集合。
在本发明实施例中，如图5所示，例如最小第一码率失真代价的Z字型扫描对应的变换子单元集合，包括变换子单元502，以及变换子单元502右侧的变换子单元。
S310，输出上述目标变换子单元集合中每个最小子单元对应的目标量化系数。
具体地，如图5所示，例如最小第一码率失真代价的Z字型扫描对应的变换子单元集合，包括变换子单元502，以及变换子单元502右侧的变换子单元，此时，输出变换子单元502，以及变换子单元502右侧的变换子单元包含的最小子单元对应的目标量化系数。
相关技术中，如图4的(b)所示，4*4大小的CU内所有的系数都进行最后非零系数位置决策，需要经过16次Z字型扫码，如图5所示，从变换子单元502到最后一个变换子单元，而本发明实施例仅需要进行4次Z字型扫描。
在本发明实施例中，采用了对视频帧中变换单元的所有最小子单元进行划分，得到变换子单元集合；其中，上述变换子单元集合中的每个变换子单元包括多个上述最小子单元；确定上述每个变换子单元的量化系数的代表值；基于上述代表值，依次计算在每个变换子单元作为Z字型扫描的最后一个非零系数单元时，上述变换单元对应的第一码率失真代价；将最小第一码率失真代价的Z字型扫描对应的变换子单元集合作为目标变换子单元集合；输出上述目标变换子单元集合中每个最小子单元对应的目标量化系数的方法，在上述方法中，由于采用每个变换子单元的量化系数的代表值，无需对变换单元内所有的量化系数都进行最后非零系数位置决策，因此，不仅降低AVS3中RDOQ过程的计算复杂度，而且提高了RDOQ算法编码效率，进而解决了相关技术中RDOQ模块需要消耗大量的编码时间，视频编码效率较低的技术问题。
在一个或多个实施例中，上述确定上述每个变换子单元的量化系数的代表值，包括：
将上述每个变换子单元中所有最小子单元的量化系数的平均值作为上述代表值。
在本发明实施例中，通过将上述每个变换子单元中所有最小子单元的量化系数的平均值作为上述代表值，可以提升视频编码的速度。
在一个或多个实施例中，上述依次计算在每个变换子单元作为Z字型扫描的最后一个非零系数单元时，上述变换单元对应的第一码率失真代价，通过公式(1)，(2)，(3)获得：
Jj,coded＝Dcoded,j+λ·Rcoded,j； (2)
Jj,uncoded＝Duncoded,j+λ·Runcoded,j； (3)
其中，Ji,islast代表当前变换子单元作为最后一个非零系数单元的第一码率失真代价，Jj,coded代表编码当前变换子单元的量化系数所需要的码率失真代价，Jj,uncoded代表舍去该量化系数所需要的码率失真代价，Dcoded,j，Duncoded,j，分别对应编码当前量化系数以及舍去当前量化系数的失真参数；Rcoded,j，Runcoded,j分别对应编码当前量化系数以及舍去当前量化系数的码率，λ是拉格朗日系数。
在一个或多个实施例中，上述对视频帧中变换单元的所有最小子单元进行划分，得到变换子单元集合之前，包括：
获取变换单元的每个最小子单元对应的初始量化系数；
通过公式(4)对上述初始量化系数进行处理，得到每个上述初始量化系数对应的预处理量化系数：
其中，PQCoeff为预处理量化系数，TranCoeff为初始量化系数，Round为取整操作函数，Qstep为量化步长；
基于上述预处理量化系数获取上述每个最小子单元的量化系数。
在一个或多个实施例中，上述基于上述预处理量化系数获取上述每个最小子单元的量化系数，包括：
针对每个最小子单元，分别计算上述每个最小子单元对应的预处理量化系数，第一参考量化系数，第二参考量化系数所需要的第二码率失真代价；将第二码率失真代价最小的值作为当前最小子单元的上述量化系数。
在本发明实施例中，最小子单元对应的预处理量化系数为qi为例，上述第一参考量化系数可以为qi-1，第二参考量化系数为0。即分别计算上述每个最小子单元对应的预处理量化系数qi，第一参考量化系数qi-1，第二参考量化系数为0所需要的码率失真代价；将码率失真代价最小的值作为当前最小子单元的上述量化系数。
通过将最小子单元对应的预处理量化系数与不同的参考量化系数的码率失真代价相比较，能够降低图像编码的失真率，提高图像编码的准确性。
在一个或多个实施例中，上述率失真优化量化方法还包括：输出上述目标变换子单元集合中每个最小子单元对应的扫描位置信息。
在本发明实施例中，如图5所示，例如最小第一码率失真代价的Z字型扫描对应的变换子单元集合，包括变换子单元502，此时，输出变换子单元502，以及变换子单元502包含的最小子单元对应的扫描位置信息，例如最小子单元的位置信息(0，1，2，4)。
基于上述实施例，如图6所示，在一应用实施例中，上述的率失真优化量化方法还包括如下步骤：
S602，对于视频帧变换后一个变换块内的所有系数集合TranCoeff，首先依据以下公式对其进行预量化得到预量化系数集合PQCoeff：
其中Round为取整操作，Qstep为量化步长。
S604，对于PQCoeff中每一个系数qi，通过如下公式分别计算将其变为qi，qi-1，以及0，三个值所需要的码率失真代价(RD-Cost)：
RD-Cost(qi)＝D(qi)+λ·R(qi)
将其中RD-Cost最小的值作为变换块中的最小子单元当前位置i的最优系数，当PQCoeff中的所有量化系数都确定完后，得到最优量化系数集合OptimalCoeff。
S606，对于OptimalCoeff中的所有非零量化系数li，计算li作为最后非零量化系数的RD-Cost，其中RD-Cost最小的li对应的Z字形扫描坐标i即为最后非零系数坐标，记为LastNzPos。
S608，最后对所有Z字形扫描坐标大于LastNzPos的最小子单元对应的量化系数，将其直接置零，并输出最终的量化结果QuantCoeff。
在上述流程中，所有量化系数的处理按照如图2所示的顺序进行，如图2中(a)所示，参数i的大小代表TU中对应位置系数的处理顺序，图2中(b)展示了整个TU中的数据处理流程。在RDOQ的流程中，最后非零系数位置这一过程需要逐个计算整个TU中所有量化系数作为最后非零系数的码率失真代价Ji,islast，计算公式如下：
Jj,coded＝Dcoded,j+λ·Rcoded,j； (2)
Jj,uncoded＝Duncoded,j+λ·Runcoded,j； (3)
其中，Ji,islast代表当前变换子单元作为最后一个非零系数单元的第一码率失真代价，Jj,coded代表编码当前变换子单元的量化系数所需要的码率失真代价，Jj,uncoded代表舍去该量化系数所需要的码率失真代价，Dcoded,j，Duncoded,j，分别对应编码当前量化系数以及舍去当前量化系数的失真参数；Rcoded,j，Runcoded,j分别对应编码当前量化系数以及舍去当前量化系数的码率，λ是拉格朗日系数。
依据上述公式(1)，(2)，(3)即可计算得到整个TU中所有量化系数作为最后非零系数的码率失真代价。
确定最后非零系数是一个高计算复杂度的过程，在AVS3视频编码标准中支持最大64x64的TU，在原始算法中需要对所有4096个系数进行决策最后非零系数过程，需要耗费大量的编码时间。
为了减少决策最后非零系数过程的计算量，本发明实施例基于系数组(Coefficient Group，CG)的率失真优化量化算法，如图5所示每个TU被划分成包含四个系数的CG(最小子单元502)，首先对每一个CG内的四个系数取平均值，得到CG的代表值，将CG的代表值代入上述公式(1)、(2)、(3)计算。计算得到代价最低的CG，再对该CG进行逐个系数的处理。
本发明实施例还具有以下有益效果：
本发明相较于现有技术能够获得更好的编码质量，同时能够获得相似的编码速度提升。传统的RDOQ流程中，如图2中(b)所示，对于一个含有n个系数的TU，若确定一个最后非零系数位置需要的时间为t，则传统RDOQ确定完所有系数所需要的时间为n*t。而在本发明中，采用了基于CG的快速算法，无需对TU内所有的系数都进行最后非零系数位置确定，第一遍针对CG的粗筛只需用时n*t/4，总的确定时间为4t+n*t/4，总节省时间为(3n-16)t/4，AVS3中n的最小值为16，最大值为4096，发明实施例能够极大的节省算法编码时间，在AVS3参考软件HPM4.0.1平台，100帧low delay P(LDP)和random access(RA)配置下，对AVS3标准组推荐的15组序列，量化参数((Quantization Parameter，QP)为27、32、38、45，进行测试，BD-rate性能损失分别为0.1％和0％。这里，BD-rate为负值时，表示相同(Peak Signalto Noise Ratio，PSNR)条件下，码率减少，性能提高；正值是码率增加，性能下降。两幅图像间的PSNR越大，则越相似。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面，还提供了一种用于实施上述率失真优化量化方法的率失真优化量化装置。如图7所示，该装置包括：
划分单元702，对视频帧中变换单元的所有最小子单元进行划分，得到变换子单元集合；其中，上述变换子单元集合中的每个变换子单元包括多个上述最小子单元；
第一确定单元704，用于确定上述每个变换子单元的量化系数的代表值；
计算单元706，用于基于上述代表值，依次计算在每个变换子单元作为Z字型扫描的最后一个非零系数单元时，上述变换单元对应的第一码率失真代价；
第二确定单元708，用于将最小第一码率失真代价的Z字型扫描对应的变换子单元集合作为目标变换子单元集合；
第一输出单元710，用于输出上述目标变换子单元集合中每个最小子单元对应的目标量化系数。
在本发明实施例中，采用了对视频帧中变换单元的所有最小子单元进行划分，得到变换子单元集合；其中，上述变换子单元集合中的每个变换子单元包括多个上述最小子单元；确定上述每个变换子单元的量化系数的代表值；基于上述代表值，依次计算在每个变换子单元作为Z字型扫描的最后一个非零系数单元时，上述变换单元对应的第一码率失真代价；将最小第一码率失真代价的Z字型扫描对应的变换子单元集合作为目标变换子单元集合；输出上述目标变换子单元集合中每个最小子单元对应的目标量化系数的方法，在上述方法中，由于采用每个变换子单元的量化系数的代表值，无需对变换单元内所有的量化系数都进行最后非零系数位置决策，因此，不仅降低AVS3中RDOQ过程的计算复杂度，而且提高了RDOQ算法编码效率，进而解决了相关技术中RDOQ模块需要消耗大量的编码时间，视频编码效率较低的技术问题。
在一个或多个实施例中，上述第一确定单元704，具体包括：
第一确定模块，用于将上述每个变换子单元中所有最小子单元的量化系数的平均值作为上述代表值。
在一个或多个实施例中，上述计算单元706包括：计算模块，用于通过如下公式获得上述变换单元对应的第一码率失真代价：
Jj,coded＝Dcoded,j+λ·Rcoded,j； (2)
Jj,uncoded＝Duncoded,j+λ·Runcoded,j； (3)
其中，Ji,islast代表当前变换子单元作为最后一个非零系数单元的第一码率失真代价，Jj,coded代表编码当前变换子单元的量化系数所需要的码率失真代价，Jj,uncoded代表舍去该量化系数所需要的码率失真代价，Dcoded,j，Duncoded,j，分别对应编码当前量化系数以及舍去当前量化系数的失真参数；Rcoded,j，Runcoded,j分别对应编码当前量化系数以及舍去当前量化系数的码率，λ是拉格朗日系数。
在一个或多个实施例中，上述率失真优化量化装置，还包括：
第一获取单元，用于获取变换单元的每个最小子单元对应的初始量化系数；
预处理单元，用于通过公式(4)对上述初始量化系数进行处理，得到每个上述初始量化系数对应的预处理量化系数：
其中，PQCoeff为预处理量化系数，TranCoeff为初始量化系数，Round为取整操作函数，Qstep为量化步长；
第二获取单元，用于基于上述预处理量化系数获取上述每个最小子单元的量化系数。
在一个或多个实施例中，上述第二获取单元，包括：
第一计算模块，用于针对每个最小子单元，分别计算上述每个最小子单元对应的预处理量化系数，第一参考量化系数，第二参考量化系数所需要的第二码率失真代价；
第二确定模块，用于将第二码率失真代价最小的值作为当前最小子单元的上述量化系数。
在一个或多个实施例中，上述率失真优化量化装置还包括：
第二输出单元，用于输出上述目标变换子单元集合中每个最小子单元对应的扫描位置信息。
根据本发明实施例的又一个方面，还提供了一种用于实施上述率失真优化量化方法的电子设备，该电子设备可以是图8所示的终端设备或服务器。本实施例以该电子设备为终端为例来说明。如图8所示，该电子设备包括存储器802和处理器804，该存储器802中存储有计算机程序，该处理器804被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，对视频帧中变换单元的所有最小子单元进行划分，得到变换子单元集合；其中，上述变换子单元集合中的每个变换子单元包括多个上述最小子单元；
S2，确定上述每个变换子单元的量化系数的代表值；
S3，基于上述代表值，依次计算在每个变换子单元作为Z字型扫描的最后一个非零系数单元时，上述变换单元对应的第一码率失真代价；
S4，将最小第一码率失真代价的Z字型扫描对应的变换子单元集合作为目标变换子单元集合；
S5，输出上述目标变换子单元集合中每个最小子单元对应的目标量化系数。
可选地，本领域普通技术人员可以理解，图8所示的结构仅为示意，电子装置电子设备也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图8其并不对上述电子装置电子设备的结构造成限定。例如，电子装置电子设备还可包括比图8中所示更多或者更少的组件(如网络接口等)，或者具有与图8所示不同的配置。
其中，存储器802可用于存储软件程序以及模块，如本发明实施例中的率失真优化量化方法和装置对应的程序指令/模块，处理器804通过运行存储在存储器802内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的率失真优化量化方法。存储器802可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器802可进一步包括相对于处理器804远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器802具体可以但不限于用于存储目标量化系数等信息。作为一种示例，如图8所示，上述存储器802中可以但不限于包括上述率失真优化量化装置中的划分单元702、第一确定单元704、计算单元706、第二确定单元708与第一输出单元710。此外，还可以包括但不限于上述率失真优化量化装置中的其他模块单元，本示例中不再赘述。
可选地，上述的传输装置806用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置806包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置806为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
此外，上述电子设备还包括：显示器808，用于显示上述目标量化系数；和连接总线810，用于连接上述电子设备中的各个模块部件。
在其他实施例中，上述终端设备或者服务器可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点(P2P，Peer To Peer)网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述率失真优化量化方法，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，对视频帧中变换单元的所有最小子单元进行划分，得到变换子单元集合；其中，上述变换子单元集合中的每个变换子单元包括多个上述最小子单元；
S2，确定上述每个变换子单元的量化系数的代表值；
S3，基于上述代表值，依次计算在每个变换子单元作为Z字型扫描的最后一个非零系数单元时，上述变换单元对应的第一码率失真代价；
S4，将最小第一码率失真代价的Z字型扫描对应的变换子单元集合作为目标变换子单元集合；
S5，输出上述目标变换子单元集合中每个最小子单元对应的目标量化系数。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (7)
1.一种率失真优化量化方法，其特征在于，包括：
对视频帧中变换单元的所有最小子单元进行划分，得到变换子单元集合；其中，所述变换子单元集合中的每个变换子单元包括多个所述最小子单元；
确定所述每个变换子单元的量化系数的代表值，包括：将所述每个变换子单元中所有最小子单元的量化系数的平均值，或所述平均值的变换值作为所述代表值；
基于所述代表值，依次计算在每个变换子单元作为Z字型扫描的最后一个非零系数单元时，所述变换单元对应的第一码率失真代价；
将最小第一码率失真代价的Z字型扫描对应的变换子单元集合作为目标变换子单元集合；
输出所述目标变换子单元集合中每个最小子单元对应的目标量化系数；
其中，所述依次计算在每个变换子单元作为Z字型扫描的最后一个非零系数单元时，所述变换单元对应的第一码率失真代价，通过如下公式获得：
Jj，coded＝Dcoded，j+λ·Rcoded，j； (2)
Jj，uncoded＝Duncoded，j+λ·Runcoded，j； (3)
其中，Ji，islast代表当前变换子单元作为最后一个非零系数单元的第一码率失真代价，Jj，coded代表编码当前变换子单元的量化系数所需要的码率失真代价，Jj，uncoded代表舍去该量化系数所需要的码率失真代价，Dcoded，j，Duncoded，j分别对应编码当前量化系数以及舍去当前量化系数的失真参数；Rcoded，j，Runcoded，j分别对应编码当前量化系数以及舍去当前量化系数的码率，λ是拉格朗日系数。
2.根据权利要求1所述的方法，其特征在于，所述对视频帧中变换单元的所有最小子单元进行划分，得到变换子单元集合之前，包括：
获取变换单元的每个最小子单元对应的初始量化系数；
通过公式(4)对所述初始量化系数进行处理，得到每个所述初始量化系数对应的预处理量化系数：
其中，PQCoeff为预处理量化系数，TranCoeff为初始量化系数，
Round为取整操作函数，Qstep为量化步长；
基于所述预处理量化系数获取所述每个最小子单元的量化系数。
3.根据权利要求2所述的方法，其特征在于，所述基于所述预处理量化系数获取所述每个最小子单元的量化系数，包括：
针对每个最小子单元，分别计算所述每个最小子单元对应的预处理量化系数、第一参考量化系数、第二参考量化系数所需要的第二码率失真代价；
将所述第二码率失真代价最小的值作为当前最小子单元的所述量化系数。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
输出所述目标变换子单元集合中每个最小子单元对应的扫描位置信息。
5.一种率失真优化量化装置，其特征在于，包括：
划分单元，对视频帧中变换单元的所有最小子单元进行划分，得到变换子单元集合；其中，所述变换子单元集合中的每个变换子单元包括多个所述最小子单元；
第一确定单元，用于确定所述每个变换子单元的量化系数的代表值；
所述第一确定单元，具体包括：
第一确定模块，用于将所述每个变换子单元中所有最小子单元的量化系数的平均值作为所述代表值；
计算单元，用于基于所述代表值，依次计算在每个变换子单元作为Z字型扫描的最后一个非零系数单元时，所述变换单元对应的第一码率失真代价；其中，所述变换单元对应的第一码率失真代价，通过如下公式获得：
Jj，coded＝Dcoded，j+λ·Rcoded，j； (2)
Jj，uncoded＝Duncoded，j+λ·Runcoded，j； (3)
其中，Ji，islast代表当前变换子单元作为最后一个非零系数单元的第一码率失真代价，Jj，coded代表编码当前变换子单元的量化系数所需要的码率失真代价，Jj，uncoded代表舍去该量化系数所需要的码率失真代价，Dcoded，j，Duncoded，j分别对应编码当前量化系数以及舍去当前量化系数的失真参数；Rcoded，j，Runcoded，j分别对应编码当前量化系数以及舍去当前量化系数的码率，λ是拉格朗日系数；
第二确定单元，用于将最小第一码率失真代价的Z字型扫描对应的变换子单元集合作为目标变换子单元集合；
第一输出单元，用于输出所述目标变换子单元集合中每个最小子单元对应的目标量化系数。
6.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至4中任一项所述的方法。
7.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行所述权利要求1至4任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210225735.9A CN114786010B (zh) | 2022-03-07 | 2022-03-07 | 率失真优化量化方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210225735.9A CN114786010B (zh) | 2022-03-07 | 2022-03-07 | 率失真优化量化方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114786010A CN114786010A (zh) | 2022-07-22 |
| CN114786010B true CN114786010B (zh) | 2024-08-02 |
Family
ID=82423457
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210225735.9A Active CN114786010B (zh) | 2022-03-07 | 2022-03-07 | 率失真优化量化方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114786010B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115278244A (zh) * | 2022-08-08 | 2022-11-01 | 北京达佳互联信息技术有限公司 | 视频量化方法、装置、电子设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113573056A (zh) * | 2021-05-25 | 2021-10-29 | 杭州博雅鸿图视频技术有限公司 | 一种率失真优化量化的方法、装置、存储介质及终端 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7957600B2 (en) * | 2007-05-08 | 2011-06-07 | Arris Group, Inc. | Methods and systems for rate-distortion optimized quantization of transform blocks in block transform video coding |
| EP2362656B1 (en) * | 2010-02-18 | 2017-11-15 | BlackBerry Limited | Method and encoder for constrained soft-decision quantization in data compression |
| CN102651816B (zh) * | 2011-02-23 | 2014-09-17 | 华为技术有限公司 | 一种变换系数块的扫描方法和装置 |
| US10085024B2 (en) * | 2012-04-13 | 2018-09-25 | Qualcomm Incorporated | Lookup table for rate distortion optimized quantization |
| CN111556313B (zh) * | 2020-04-26 | 2021-05-04 | 武汉理工大学 | 基于整数近似的低复杂度dtt与自适应量化的图像压缩方法 |
| CN111787324B (zh) * | 2020-06-29 | 2021-05-04 | 北京大学 | 率失真优化量化的方法、编码方法及装置 |
| CN115428451B (zh) * | 2020-07-31 | 2024-12-27 | Oppo广东移动通信有限公司 | 视频编码方法、编码器、系统以及计算机存储介质 |
| CN113422957B (zh) * | 2021-05-17 | 2022-11-01 | 北京百度网讯科技有限公司 | 视频编码中的量化方法、装置、设备和存储介质 |
| CN113259667B (zh) * | 2021-05-17 | 2023-01-31 | 北京百度网讯科技有限公司 | 视频量化方法、装置、电子设备和计算机可读存储介质 |
| CN113489978A (zh) * | 2021-05-27 | 2021-10-08 | 杭州博雅鸿图视频技术有限公司 | 一种针对avs3的失真优化量化电路 |
-
2022
- 2022-03-07 CN CN202210225735.9A patent/CN114786010B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113573056A (zh) * | 2021-05-25 | 2021-10-29 | 杭州博雅鸿图视频技术有限公司 | 一种率失真优化量化的方法、装置、存储介质及终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114786010A (zh) | 2022-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110418177B (zh) | 视频编码方法、装置、设备和存储介质 | |
| CN111145090A (zh) | 一种点云属性编码方法、解码方法、编码设备及解码设备 | |
| US8126062B2 (en) | Per multi-block partition breakpoint determining for hybrid variable length coding | |
| US20120057633A1 (en) | Video Classification Systems and Methods | |
| US20070019877A1 (en) | Variable length coding for clustered transform coefficients in video compression | |
| CN112104867B (zh) | 一种视频处理方法、视频处理装置、智能设备及存储介质 | |
| CN114786010B (zh) | 率失真优化量化方法、装置、存储介质及电子设备 | |
| CN112437301A (zh) | 一种面向视觉分析的码率控制方法、装置、存储介质及终端 | |
| CN111415311B (zh) | 资源节约型图像质量增强模型 | |
| US11699212B2 (en) | Method of controlling encoding of display data | |
| WO2016202285A1 (zh) | 一种即时视频的传输方法和电子设备 | |
| CN114374841A (zh) | 视频编码码率控制的优化方法、装置及电子设备 | |
| CN117768647A (zh) | 图像处理方法、装置、设备及可读存储介质 | |
| CN112509107A (zh) | 一种点云属性重着色方法、装置及编码器 | |
| CN115379218B (zh) | 一种视频编码的矢量量化方法及系统 | |
| CN114339242B (zh) | 一种图像压缩的方法及装置 | |
| CN115665424A (zh) | 图像处理方法、装置、设备、存储介质及程序产品 | |
| US20190304074A1 (en) | Video optimization processing system and method | |
| CN114501015B (zh) | 视频编码码率处理方法和装置、存储介质及电子设备 | |
| WO2020107376A1 (zh) | 图像处理的方法、设备及存储介质 | |
| CN111260051B (zh) | 神经网络运算方法及相关装置 | |
| CN117956157B (zh) | 视频编码方法、装置、电子设备及计算机存储介质 | |
| US20240236381A9 (en) | Encoding Control Method and Apparatus, and Decoding Control Method and Apparatus | |
| CN113709482B (zh) | 面向硬件的帧内编码模式中编码单元划分模式确定方法 | |
| CN113436161B (zh) | 即时通信视频的处理方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20220722 Assignee: Hangzhou Beixinyuan Technology Industry Co.,Ltd. Assignor: Institute of Information Technology, Zhejiang Peking University|Hangzhou Weiming Information Technology Co.,Ltd. Contract record no.: X2024980043001 Denomination of invention: Rate distortion optimization quantization method, device, storage medium, and electronic equipment Granted publication date: 20240802 License type: Common License Record date: 20250102 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20220722 Assignee: Hangzhou Xiandao Information Technology Co.,Ltd. Assignor: Institute of Information Technology, Zhejiang Peking University|Hangzhou Weiming Information Technology Co.,Ltd. Contract record no.: X2024980043041 Denomination of invention: Rate distortion optimization quantization method, device, storage medium, and electronic equipment Granted publication date: 20240802 License type: Common License Record date: 20250102 Application publication date: 20220722 Assignee: Hangzhou Lezhi Weiming Technology Co.,Ltd. Assignor: Institute of Information Technology, Zhejiang Peking University|Hangzhou Weiming Information Technology Co.,Ltd. Contract record no.: X2024980043019 Denomination of invention: Rate distortion optimization quantization method, device, storage medium, and electronic equipment Granted publication date: 20240802 License type: Common License Record date: 20250103 |