[go: up one dir, main page]

CN111279697A - 码率分配的方法与装置 - Google Patents

码率分配的方法与装置 Download PDF

Info

Publication number
CN111279697A
CN111279697A CN201980005237.XA CN201980005237A CN111279697A CN 111279697 A CN111279697 A CN 111279697A CN 201980005237 A CN201980005237 A CN 201980005237A CN 111279697 A CN111279697 A CN 111279697A
Authority
CN
China
Prior art keywords
code rate
image slice
image
component
slice component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980005237.XA
Other languages
English (en)
Inventor
赵文军
郝开元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN111279697A publication Critical patent/CN111279697A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供一种码率分配的方法与装置，该方法包括：获取图像帧中的第一图像片，图像帧被划分为多个图像片；根据第一图像片的复杂度以及图像帧的压缩后总码率，计算第一图像片的预设码率；通过第一基准码率修正第一图像片的预设码率，使其向第一基准码率靠近，获得第一图像片的分配码率，第一基准码率根据图像帧中至少部分图像片的预设码率的平均值确定。可以提高图像片的码率分配的合理性，进而可以提高重建图像的PSNR值和视觉效果。

Description

码率分配的方法与装置
版权申明
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
技术领域
本申请涉及视频图像编码领域，并且更为具体地，涉及一种码率分配的方法与装置。
背景技术
码率控制在视频通信以及流媒体传输中控制着输出流，使之满足信道带宽和缓冲区的约束，在此基础上尽可能保证视频质量的失真最小。码率控制具有两个步骤，第一个步骤为码率分配，第二个步骤为计算量化参数。编码器根据分配的码率以及量化参数进行编码。
码率分配是视频编码过程的一个重要环节，码率分配对每帧图像分配的码率的多少很大程度上决定了编码质量的好坏。评判一种视频编解码技术的优劣，是比较在相同的带宽条件下，哪个视频质量更好；或者，在相同的视频质量条件下，哪个占用的网络带宽更少。码率控制的目的是，通过动态地调整编码参数，在保证一定图像质量的前提下使压缩后的视频码流能通过固定带宽的信道实时传输，或是满足特定时间内压缩后码流文件必须要小于某个规定尺寸的约束。
在网络带宽资源有限的情况下，如何平衡码率分配与视频质量的问题已经成来众多研究学者的热点问题。
在静止图像压缩的标准JPEG2000中，有关码率控制(也称为压缩率控制)的部分，会将一整幅图像分割成若干个图像片来处理，JPEG2000标准对各个图像片平均分配码率，编码后重建的图像的视觉效果很难让人满意。
发明内容
本申请提供一种码率分配的方法与装置，可以有效提高编码图像的视觉效果。
第一方面，提供一种码率分配的方法，该方法包括：获取图像帧中的第一图像片，图像帧被划分为多个图像片；根据第一图像片的复杂度以及图像帧的压缩后总码率，计算第一图像片的预设码率；通过第一基准码率修正第一图像片的预设码率，使其向第一基准码率靠近，获得第一图像片的分配码率，第一基准码率根据图像帧中至少部分图像片的预设码率的平均值确定。
在本申请提供的方案中，通过图像复杂度获得图像片的预设码率，并通过图像帧中至少部分图像片的预设码率的平均值，对图像片的预设码率进行修正。因此，本申请提供的方案可以提高图像片的码率分配的合理性，进而可以提高重建图像的PSNR值和视觉效果。
第二方面，提供一种码率分配的方法，该方法包括：获取图像片的分配码率；根据人眼对图像分量的敏感程度，获取图像片的各个图像片分量的码率分配权重，其中，至少一个图像片分量的码率分配权重之和大于其余图像片分量的码率分配权重之和；根据图像片的分配码率，以及每个图像片分量的码率分配权重，计算每个图像片分量的分配。
在本申请提供的方案中，基于人眼对图像片分量的敏感程度，来获取图像片分量的分配码率，换言之，针对人眼敏感程度较高的图像片分量，为其分配的码率大于为人眼敏感程度较低的图像程度分配的码率。因此，本申请提供的方案可以使得编码后的图像获得更好的主观视觉效果。
第三方面，提供一种码率分配的方法，该方法包括：获取图像片中第一图像片分量的分配码率；对第一图像片分量进行离散小波变换，获得第一图像片分量的分辨率层级；确定第一图像片分量的各个分辨率层级的码率在第一图像片分量的分配码率中所占的比重；根据第一图像片分量的分配码率、第一图像片分量中已经编码的分辨率层级所占的码率、第一图像片分量的各个分辨率层级的码率在第一图像片分量的分配码率中所占的比重、第一图像片分量中已经编码的分辨率层级的码率在第一图像片分量的分配码率中所占的权重，计算第一图像片分量中每个分辨率层级的分配码率。
在本申请提供的方案中，在tier1编码过程中，在分辨率层级的维度上，为各个分辨率层级分配码率，其中，供分配的码率随着编码的进行而动态更新，即供分配的码率等于总的码率减去已编码的分辨率层级所占的码率。因此，本申请提供的方案可以有效减少tier1编码与tier编码之间的数据积累，从而有效可以减小中间运算数据存储所需的空间与硬件开销，可以整体上减少编码的计算量与耗时，提高编码效率。
第四方面，提供一种编码装置，该编码装置用于执行上述第一方面，或第二方面或第三方面提供的方法。
第五方面，提供一种图像处理装置，该图像处理装置包括存储器和处理器，存储器用于存储指令，处理器用于执行存储器存储的指令，并且对存储器中存储的指令的执行使得处理器执行第一方面、第二方面或第三方面提供的方法。
第六方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得计算机实现第一方面、第二方面或第三方面提供的方法。
第七方面，提供一种包含指令的计算机程序产品，指令被计算机执行时使得计算机实现第一方面、第二方面或第三方面提供的方法。
附图说明
图1是JPEG2000图像编码过程的示意性框图。
图2是本申请实施例提供的码率分配的方法的示意性流程图。
图3是对图像帧进行填充，并将图像帧划分为图像块的示意图。
图4是图像的四个图像分量的示意图。
图5是本申请另一实施例提供的码率分配方法的示意性流程图。
图6是本申请再一实施例提供的码率分配方法的示意性流程图。
图7是对图像片分量进行离散小波变换之后得到的分辨率层级的示意图。
图8是本申请再一实施例提供的码率分配方法的示意性流程图。
图9是本申请实施例提供的编码装置的示意性框图。
图10是本申请另一实施例提供的编码装置的示意性框图。
图11是本申请再一实施例提供的编码装置的示意性框图。
图12是本申请实施例提供的图像处理装置的示意性框图。
具体实施方式
下面将结合附图，对本申请实施例中的技术方案进行描述。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
为了更好地理解本申请实施例的内容，下文首先介绍JPEG2000的基本原理与流程。
JPEG2000技术的核心是离散小波变换和率失真优化截取内嵌码块编码算法(Embedded Block Coding with Optimized Truncation，EBCOT)。JPEG2000算法的基本结构如图1所示，基本流程包括：对大图像进行分割处理，得到多个图像片(Tile)，每个图像片独立编码；进行电平(DC)移位，防止数据溢出；进行离散小波变换(Discrete WaveletTransformation，DWT)，以便于图像压缩；进行量化；执行EBCOT算法，EBCOT算法包括Tier1和Tier2两个编码步骤。EBCOT编码时，将个小波子带划分为更小的码块(如64*64)，以码块(Code-Block)为单位独立进行Tier编码。
图2为本申请一个实施例提供的码率分配的方法200的示意性流程图。该方法200包括如下步骤。
210，获取图像帧中的第一图像片，图像帧被划分为多个图像片。
220，根据所述图像帧的压缩后总码率以及所述第一图像片的复杂度，计算所述第一图像片的预设码率。
230，通过第一基准码率修正第一图像片的预设码率，使其向第一基准码率靠近，获得第一图像片的分配码率，第一基准码率根据图像帧中至少部分图像片的预设码率的平均值确定。
通过第一基准码率修正第一图像片的预设码率，使得修正之后的码率与第一基准码率之间的差值小于修正之前的码率与第一基准码率之间的差值。
第一基准码率可以根据图像帧中全部图像片的预设码率的平均值确定。例如，第一基准码率等于图像帧中全部图像片的预设码率的平均值，即第一基准码率等于图像帧的压缩后总码率与图像帧中图像片的总数量的比值。
第一基准码率也可以根据图像帧中的部分图像片的预设码率的平均值确定。
下文将详细描述第一基准码率的获取方式。
应理解，经过上述步骤230后获得第一图像片经修正后得到的分配码率之后，就可以根据第一图像片的分配码率进行编码。
本申请实施例基于第一图像片的复杂度获得第一图像片的预设码率，应理解，基于图像复杂度获得图像片的预设码率，可以实现对图像帧的不同区域针对性地分配码率，有助于提高视觉效果。
但是由于图像复杂度并不能准确无误地表征图像信息的真实情况，因此仅仅通过图像复杂度进行码率分配结果可能并不理想。针对这个问题，本申请实施例通过图像帧中至少部分图像片的预设码率的平均值，对第一图像片的预设码率进行修正，这样可以提高第一图像片的分配码率的合理性。
因此，本申请实施例通过图像复杂度获得第一图像片的预设码率，并通过图像帧中至少部分图像片的预设码率的平均值，对第一图像片的预设码率进行修正，从而可以提高分配码率的合理性，进而可以提高重建图像的峰值信噪比(Peak Signal to NoiseRatio，PSNR)值和视觉效果。
为了描述的简洁，本实施例以图像帧中的第一图像片为例进行描述。应理解，图像帧中的其余图像片也按照本实施例的方法进行码率分配。
作为步骤220的一种实施方式：获取第一图像片的复杂度比率，第一图像片的复杂度比率等于第一图像片的复杂度与图像帧的复杂度之比；获取第一图像片的预设码率，第一图像片的预设码率等于所述第一图像片的复杂度比率乘以所述图像帧的压缩后总码率。
例如，根据如下公式计算第一图像片的复杂度S：
S＝∑ICS(tile(m,n,k))
ICS(tile(m,n,k)＝|tile(m,n,k)-tile(m+1,n,k)|
+|tile(m,n,k)-tile(m,n+1,k)|式(1)
其中，m,n分别是第一图像片中的像素值，k为第一图像片中的图像片分量的序号。(tile(m,n,k)表示第一图像片中序号为k的图像片分量中的像素(m，n)的复杂度。对于第一图像片上的每个图像片分量的每个像素点而言，它的图像复杂度就是它的像素值与它右邻、下邻的差的总和。而整个第一图像片的图像复杂度则是第一图像片所有图像片分量上所有像素点的图像复杂度的总和。
例如，根据如下公式，确定第一图像片的预设码率r：
Figure BDA0002457536980000051
其中，S表示第一图像片的复杂度，SALL表示第一图像片所属图像帧中所有图像片的复杂度之和(即图像帧的复杂度)，B表示为该图像帧预设的压缩后总码率。
在步骤220中，还可以通过其它方式计算第一图像片的预设码率，只要其与第一图像片的复杂度有关即可。
可选地，作为步骤230的第一种实施方式，利用第一基准码率修正第一图像片的预设码率，使其向第一基准码率靠近，将基于第一基准码率的修正结果作为第一图像片的分配码率。
第一基准码率至少可以通过如下三种方式获得。
第一基准码率的获取方式1)：第一基准码率等于多个图像片的平均码率。其中，平均码率等于图像帧中全部图像片的预设码率的平均值。相当于，第一基准码率等于第一图像片所属图像帧的压缩后总码率除以该图像帧中包括的图像块的总数量。
例如，根据如下公式，计算第一基准码率
Figure BDA0002457536980000061
Figure BDA0002457536980000062
其中，B表示为第一图像片所属图像帧预设的压缩后总码率，M表示该图像帧中包括的图像片的总数量，
Figure BDA0002457536980000063
表示平均码率。
因此，通过利用图像帧中各个图像片的平均码率，对第一图像片的预设码率进行修正，可以提高第一图像片的分配码率的合理性，从而可以提高重建图像的视觉效果。
本文中提及的平均码率指的是，图像帧中全部图像片的预设码率的平均值，也即为图像帧预设的压缩后总码率除以图像帧中图像片的总数量。在下文中均以
Figure BDA0002457536980000066
表示平均码率。
第一基准码率的获取方式2)：当第一图像片的预设码率与多个图像片的平均码率之差超过第一阈值时，第一基准码率等于平均码率；当第一图像片的预设码率与平均码率之差的绝对值未超过第一阈值时，第一基准码率等于第一图像片的预设码率。
可选地，根据如下公式，计算第一基准码率
Figure BDA0002457536980000064
Figure BDA0002457536980000065
其中，r表示第一图像片的预设码率，
Figure BDA0002457536980000071
表示平均码率，L1表示第一阈值。
第一阈值可以根据实际需要确定，也可以根据经验值确定。
例如，当需要限制图像片的分配码率与平均码率之间的距离不超过L1时，第一阈值可以取值为L1。
可选地，还可以根据如下公式，计算第一基准码率
Figure BDA0002457536980000072
Figure BDA0002457536980000073
其中，r表示第一图像片的预设码率，
Figure BDA0002457536980000074
表示平均码率，a1与b1为常数，且a1大于b1。a1与b1可以根据第一阈值确定。例如，a1＝1.618,b1＝0.382。
应理解，当一个图像片的预设码率与平均码率之间的偏离程度较小时，例如，第一图像片的预设码率与平均码率之差的绝对值未超过第一阈值时，可以认为该图像片的预设码率可较为准确地表征图像信息的真实情况，因此，将该图像片的预设码率作为该图像片的分配码率，是较为合理的。所以，本实施例在第一图像片的预设码率与平均码率之差的绝对值未超过第一阈值时，将第一基准码率设置为第一图像片的预设码率。
应理解，当第一基准码率等于第一图像片的预设码率本身时，相当于不对第一图像片的预设码率进行修正。
因此，仅对预设码率偏离平均码率的程度超过第一阈值的图像片，进行预设码率的修正，对预设码率偏离平均码率的程度未超过第一阈值的图像不作修正，这样在保证码率分配的合理性的基础上，还可以提高码率分配的效果。
第一基准码率的获取方式3)：当第一图像片的预设码率大于多个图像片的平均码率时，第一基准码率等于多个图像片中预设码率大于平均码率的图像片的预设码率的平均值；当第一图像片的预设码率小于平均码率时，第一基准码率等于多个图像片中预设码率小于平均码率的图像片的预设码率的平均值；当第一图像片的预设码率等于平均码率时，第一基准码率等于平均码率。
例如，根据如下公式，计算第一基准码率
Figure BDA0002457536980000075
Figure BDA0002457536980000076
其中，r表示第一图像片的预设码率，
Figure BDA0002457536980000081
表示平均码率，
Figure BDA0002457536980000082
表示多个图像片中预设码率大于平均码率的图像片的预设码率的平均值，
Figure BDA0002457536980000083
表示多个图像片中预设码率小于平均码率的图像片的预设码率的平均值。
因此，本实施例针对预设码率大于平均码率的图像片，采用比平均码率大的基准码率进行修正，针对预设码率小于平均码率的图像片，采用比平均码率小的基准码率进行修正，针对预设码率等于平均码率的图像片，采用等于平均码率的基准码率进行修正。应理解，针对预设码率与平均码率的偏离程度不同的图像片，对其预设码率采用不同程度的修正，以获得其分配码率，可以进一步提高图像片码率分配的合理性。
应理解，上文描述的第一基准码率的获取方式1)、2)、3)仅为示例而非限定。实际应用中，可以根据具体需求赋予第一基准码率其他可行的定义。
作为示例，在步骤230的第一种实施方式中，第一图像片的分配码率等于第一图像片的预设码率与第一修正因子的乘积，其中，第一修正因子根据第一图像片的预设码率与第一基准码率的比值确定。
例如，根据如下公式，计算第一图像片的分配码率R：
Figure BDA0002457536980000084
Figure BDA0002457536980000085
其中，r表示第一图像片的预设码率，
Figure BDA0002457536980000086
表示第一基准码率，
Figure BDA0002457536980000087
表示第一修正因子，x为绝对值小于1的负数。例如，x等于-0.2。
式(7)中的第一基准码率
Figure BDA0002457536980000088
可以由前文描述的第一基准码率的获取方式1)、2)、3)中的任一种方式获得。
在上文描述的步骤230的第一种实施方式中，对第一图像片的预设码率进行一次修正，获得第一图像片的分配码率。在一些情况下，还可以对第一图像片的预设码率进行两次或更多次的修正，以获得第一图像片的分配码率。
可选地，作为步骤230的第二种实施方式。利用第一基准码率修正第一图像片的预设码率，使其向第一基准码率靠近，获得第一图像片的修正码率，其中，第一基准码率根据图像帧中至少部分图像片的预设码率的平均值确定。利用第二基准码率继续修正第一图像片的修正码率，使其向第二基准码率靠近，获得第一图像片的分配码率。
在步骤230的第二种实施方式中，第一基准码率可以通过前文描述的第一基准码率的获取方式1)、2)、3)中的任一种方式获得。
在步骤230的第二种实施方式中，第二基准码率的获取方式可以包括如下两种。
第二基准码率的获取方式1)：第二基准码率等于平均码率。
第二基准码率的获取方式2)：当第一图像片的修正码率与平均码率之差的绝对值超过第二阈值时，第二基准码率等于平均码率；当第一图像片的修正码率与平均码率之差的绝对值未超过第二阈值时，第二基准码率等于第一图像片的修正码率。
可选地，可以根据如下公式，计算第二基准码率
Figure BDA0002457536980000091
Figure BDA0002457536980000092
其中，r′表示第一图像片的修正码率，
Figure BDA0002457536980000093
表示平均码率，L2表示第二阈值。
第二阈值可以根据实际需要确定，也可以根据经验值确定。
例如，当需要限制图像片的分配码率与平均码率之间的距离不超过L2时，第二阈值可以取值为L2。
例如，在步骤230的第二种实施方式中，当第一基准码率的获取方式为前文描述的第一基准码率的获取方式2)时，第二阈值小于第一阈值，即L2＜L1。
可选地，还可以根据如下公式，计算第二基准码率
Figure BDA0002457536980000094
Figure BDA0002457536980000095
其中，r′表示第一图像片的修正码率，
Figure BDA0002457536980000096
表示平均码率，a2与b2为常数，且a2大于b2。a2与b2的值可以根据第二阈值确定。例如，a2＝1.618，b2＝0.382。
应理解，上文描述的第二基准码率的获取方式1)、2)仅为示例而非限定。实际应用中，根据具体需求可以赋予第二基准码率其他可行的定义。
作为示例，在步骤230的第二种实施方式中，第一图像片的分配码率等于第一图像片的修正码率与第二修正因子的乘积，其中，第二修正因子根据第一图像片的修正码率与第二基准码率的比值确定。第一图像片的修正码率等于第一图像片的预设码率与第一修正因子的乘积，其中，第一修正因子根据第一图像片的预设码率与第一基准码率的比值确定。
例如，可以根据如下公式(10)，计算第一图像片的分配码率R:
Figure BDA0002457536980000101
Figure BDA0002457536980000102
Figure BDA0002457536980000103
Figure BDA0002457536980000104
其中，r′表示第一图像片的修正码率，
Figure BDA0002457536980000105
表示第二基准码率，
Figure BDA0002457536980000106
表示第二修正因子，r表示第一图像片的预设码率，
Figure BDA0002457536980000107
表示第一基准码率，
Figure BDA0002457536980000108
表示第一修正因子，x与y均为绝对值小于1的负数。例如，x等于-0.2或-0.25。y等于-0.2。
式(10)中的第一基准码率
Figure BDA0002457536980000109
可以由前文描述的第一基准码率的获取方式1)、2)、3)中的任一种方式获得，第二基准码率
Figure BDA00024575369800001010
可以由前文描述的第二基准码率的获取方式1)、2)中的任一种方式获得。
为了更好地理解，通过对第一图像片的预设码率进行修正获得第一图像片的分配码率的方案，下面以步骤230的第二种实施方式为例，给出一个具体例子。
作为示例而非限定，步骤230包括如下两个步骤。
第一步，根据如下公式，对第一图像片的预设码率r进行修正，获得第一图像片的修正码率r′：
Figure BDA00024575369800001011
Figure BDA00024575369800001012
其中，
Figure BDA00024575369800001013
表示平均码率，
Figure BDA00024575369800001014
表示多个图像片中预设码率大于平均码率的图像片的预设码率的平均值，
Figure BDA00024575369800001015
表示多个图像片中预设码率小于平均码率的图像片的预设码率的平均值，
Figure BDA00024575369800001016
表示第一修正因子，是关于r,
Figure BDA00024575369800001017
的函数，x为绝对值小于1的负数。例如，经实验而知，当x等于-0.2或-0.25时，第一图像片的修正码率r′的效果较好。
应理解，在本例中，第一基准码率是通过前文描述的第一基准码率的获取方式3)获取的。公式(11)中的
Figure BDA0002457536980000111
和
Figure BDA0002457536980000112
分别表示了第一基准码率在不同情况下的变形。
第二步，根据如下公式，对采用式(11)获得的第一图像片的修正码率ri ′继续修正，获取第一图像片的分配码率R：
Figure BDA0002457536980000113
Figure BDA0002457536980000114
其中，
Figure BDA0002457536980000115
表示平均码率，
Figure BDA0002457536980000116
的表示第二修正因子，是关于r′,
Figure BDA0002457536980000117
的函数，y为绝对值小于1的负数，a2与b2为常数，且a2＞b2。例如，经实验而知，当y等于-0.2，a2等于1.618，b2等于0.382时，第一图像片的分配码率ri″的效果较好。
应理解，在本例中，第二基准码率是通过前文描述的第二基准码率的获取方式2)获取的。
如上，本申请实施例基于图像片的复杂度获得第一图像片的预设码率，从而可以实现对图像帧的不同区域针对性地分配码率；通过图像帧中至少部分图像片的预设码率的平均值，对第一图像片的预设码率进行修正，可以提高第一图像片的分配码率的合理性。
应理解，经过上述步骤230后获得第一图像片经修正的分配码率之后，就可以根据第一图像片的分配码率进行编码。
应理解，图像帧的尺寸不一定是要划分的图像片的尺寸的整数倍，例如，图像帧的长(或宽)不是图像片的长(或宽)的整数倍。
当图像帧的尺寸不是要划分的图像片的尺寸的整数倍时，在图像帧被划分为多个图像片的过程中，需要对图像帧进行填充(padding)。
为了区分填充之前的图像帧与填充之后的图像帧，本文中将填充之前的图像帧记为原图像帧。
在对原图像帧进行填充时，需要确定填充的尺寸以及填充的像素。
根据原图像帧和图像片的尺寸，确定填充的尺寸。填充的尺寸可以分为单向填充和双向填充两种情况。
单向填充的情况指的是，原图像帧的长(或宽)恰为图像片的长(或宽)的整数倍，且宽(或长)恰不是图像片的宽(或长)的整数倍。单向填充的情况下，需要填充的是，以图像片的宽(或长)的整数倍减去原图像帧的宽(或长)为长(或宽)，以原图像帧的宽(或长)为宽的矩形。
双向填充的情况指的是，原图像帧的长不是图像片的长的整数倍，且，原图像帧的宽不是图像片的宽的整数倍。双向填充的情况下，需要填充的是两个矩形。第一个矩形是以原图像帧的长为长，以图像片的宽的倍数与原图像帧的宽的差为宽的矩形。第二个矩形是以图像片的宽的倍数为宽，以图像片的长的倍数与原图像帧的长的差为长的矩形。
在对原图像帧进行填充时，需要的填充的像素值是符合图像精度规则的灰度值。
可选地，填充的像素值可以选择图像最大精度的一半，即2^(d/2)。
通过将需要填充的像素值设置为图像最大精度的一半，有利于后续小波变换。此外，也因为图像填充的像素值选取了一个常数量，所以它虽然把原图扩大了，但是相比于原图，所占的码流很小，在应用的允许范围内。
可选地，填充的像素值还可以选择为图像最大精度的1/3或3/4等。
上文描述了，在需要对原图像帧进行填充的情况下，确定填充的尺寸与填充的像素值。
此外，还需要确定填充的位置。目前有两种可行的方案，一种是在原图像帧的左上角进行填充(如图3(a)所示)，一种是在原图像帧的右下角进行填充(如图3(b)所示)。
可选地，当从原图像帧的左上角开始对图像片进行编码时，选择从原图像帧的左上角开始进行图像填充，如图3(a)所示。
本申请实施例，在将原图像帧划分为图像片的过程中，采用了填充(padding)的方法，使得划分得到的图像片的尺寸一致，这样可以简化硬件的设计。
此外，本申请实施例，通过采用了左上角padding的方法，可以提升重建图像的PSNR值和视觉效果。
作为示例，在需要对原图像帧进行填充的情况下，对原图像帧进行填充的大致流程如下。
1)，确定填充的位置。
例如，可以在原图像帧的左上角进行图像填充(如图3a所示)，或者，可以在原图像帧的右下角进行图像填充(如3(b)所示)。
可选地，在从原图像帧的左上角开始对图像片进行编码的情况下，选择从原图像帧的左上角开始进行图像填充，如3(a)所示。
2)，计算需要填充的尺寸。
根据原图像帧的尺寸与图像片的尺寸，判断是单向填充的情况，还是双向填充的情况。具体详见上文描述，这里不再赘述。
3)，确定需要填充的像素值的灰度值。
详见上文描述。
还应理解，当原图像帧的大小恰好为图像片的大小的整数倍，这种情况下，不需要对原图像帧进行填充。
需要说明的是，本申请实施例中提及的图像帧，指的是，尺寸与图像片的尺寸成倍数关系的图像帧(原图像帧或者填充之后的图像帧)。换言之，在原图像帧不需要填充的情况下，本申请实施例中提及的图像帧指的是原图像帧；在原图像帧需要填充的情况下，本申请实施例中提及的图像帧指的是填充之后的图像。
本申请实施例中的图像帧可以是原始图像，这种原始图像可以称为raw图像。raw图像指的是，CMOS或者CCD图像感应器将捕捉到的光源信号转化为数字信号的原始数据，主要记录了数码相机传感器的原始信息。
由于人眼对绿色更为敏感，CMOS或者CCD图像感应器采取的是RGGB格式的传感器阵列。因此，CMOS或者CCD图像感应器输出的raw图像具有RGGB的颜色分量排列方式，由一个红色图像分量(R分量)、一个蓝色图像分量(B分量)和两个绿色图像分量(G分量)组成。如图4所示，图像包括一个R分量，两个G分量，一个B分量。
上文描述了如何获取图像片的分配码率。在获得图像片的分配码率之后，还可以对图像片中的每个图像片的图像分量进行码率分配。
为了区分图像片的图像分量与普适意义上的图像分量，本文中将图像片的图像分量记为图像片分量。所以，本文中提及的图像分量指的是普适意义上的图像分量，例如，图像具有红色、绿色、蓝色三种图像分量，本文中提及的图像片分量指的是图像片包括的图像分量。
可选地，在获取第一图像片的分配码率之后，本申请实施例提供的方法200还可以包括：确定第一图像片中各个图像片分量的码率分配权重；按照各个图像片分量的码率分配权重，获取各个图像片分量的分配码率。
可选地，按照下文实施例提供的方法500获取第一图像片中各个图像片分量的分配码率。
或者，也可以按照现有技术的方法获取第一图像片中各个图像片分量的分配码率。例如，基于第一图像片的分配分量，对各个图像片分量进行平均分配码率，获得第一图像片中各个图像片分量的分配码率。
可选地，在获得第一图像片中各个图像片分量的分配码率之后，本申请实施例提供的方法200还可以包括：对第一图像片的每个图像片分量进行离散小波变换，分别获得每个图像片分量的分辨率层级；计算每个图像片分量的每个分辨率层级的分配码率。
可选地，可以按照下文实施例提供的方法600计算每个图像片分量的每个分辨率层级的分配码率。
或者，也可以按照现有技术计算每个图像片分量的每个分辨率层级的分配码率。
如图5所示，本申请另一实施例提供一种码率分配的方法500。该方法500包括如下步骤。
510，获取图像片的分配码率，该图像片为根据对图像帧划分得到。
可以采用上文实施例提供的方法200获取图像片的分配码率。例如，本实施例中的图像片为上文实施例提供的方法200中的第一图像片。
或者，还可以采用现有的其他可行的方法获取图像片的分配码率。例如，对图像帧的压缩后总码率求平均，获得各个图像片的分配码率。
520，根据人眼对图像分量的敏感程度，获取该图像片中各个图像片分量的码率分配权重。
其中，该图像片的所有图像片分量中的至少一个图像片分量的码率分配权重之和大于其余图像片分量的码率分配权重之和。该至少一个图像片分量可以表示该图像片中的一个图像片分量，或两个图像片分量。
应理解，在本实施例中，该图像片的各个图像片的码率分配权重不完全相同。例如，人眼敏感程度较高的图像片分量，可以分配较大的码率，反之，分配较小的码率。
530，根据该图像片的分配码率，以及该图像片的每个图像片分量的码率分配权重，计算该图像片的每个图像片分量的分配码率。
在现有的JPEG2000标准码率控制中，没有针对图像片分量的码率分配进行控制。在图像片被压缩时，默认的情况是平均分配该图像片的各个图像片分量的码率大小，这并不符合现今复杂多变的情况。首先，根据对人类视觉系统的研究，人眼对色彩、对灰度的分辨能力在不同的情况下是不同的。人类对光色的感知是依靠视网膜细胞。圆锥细胞负责感知较弱的光度和色彩，杆状细胞仅能感知光度，不能感知颜色，但其对光的敏感度比圆锥细胞高很多。视网膜中三种圆锥细胞有重叠的频率响应曲线，但响应强度有所不同，它们分别对红，绿，蓝光有最敏感，共同决定了色彩感觉。光度正比于视网膜细胞接受到的光强度能量，但人类对相同强度不同波长的光具有不同的敏感度。一般而言，人类的眼睛对绿色光产生最大的光强敏感度，所以绿光波所产生的细节是人类较为关注的。其次，随着摄影技术的普及，在实际的拍摄中，摄影用户的数目不断增加，不同的用户对图像的关注点也不尽相同。因此，无论从对人类视觉系统的研究成果的角度，还是从用户自身的摄影需求的角度而言，对图像片的各个图像片分量进行平均分配码率是不合理的。
本申请实施例根据人眼对图像分量的敏感程度，确定图像片的各个图像片分量的码率分配权重，然后根据各个图像片分量的码率分配权重以及图像片的分配码率，获取各个图像片分量的分配码率。换言之，本申请实施例是基于人眼对图像分量的敏感程度，来获取图像片中各个图像片分量的分配码率。例如，为人眼敏感程度较高的图像片分量分配较大的码率，为人眼敏感程度较低的图像片分量分配较小的码率。
因此，本申请实施例，通过基于人眼对图像分量的敏感程度，来获取图像片中各个图像片分量的分配码率，可以提高重构图像的主观视觉效果。
应理解，本文中提及的重构图像指的是对编码后的码流进行解码恢复出的图像。
在步骤520中，获得各个图像片分量的码率分配权重，其中，至少一个图像片分量的码率分配权重之和大于其余图像片分量的码率分配权重之和，这里的至少一个图像片分量可以是人眼敏感度较高的一个或多个图像片分量，或者，可以是用户所关注的图像片分量。
例如，该图像片包括红绿绿蓝(RGGB)四个图像片分量，两个绿色图像片分量的码率分配权重之和大于红色图像片分量与蓝色图像片分量的码率分配权重之和。
再例如，用户所关注的图像片分量的码率分配权重之和大于其余图像片分量的码率分配权重之和。
例如，在某次拍摄任务中，用户关注红色分量，这种情形下，可以为红色图像片分量分配较大的码率分配权重。假设该图像片包括红绿蓝(RGGB)四个图像片分量，红色图像片分量的码率分配权重大于绿色图像片分量与蓝色图像片分量的码率分配权重之和。
因此，在本申请实施例中，根据人眼对图像分量的敏感程度，为各个图像片分量确定码率分配权重，然后基于各个图像片分量的码率分配权重，计算各个图像片分量的分配码率，这样可以提高图像的主观视觉效果。
作为示例，假设第一图像片具有四个分量RGGB。在步骤520中，为图像片的四个图像片分量确定的码率分配权重如下：
α＝(a1,a2,a3,a4)
a2+a3>a1+a4
其中，a1表示红色图像片分量的码率分配权重，a2表示第一个绿色图像片分量的码率分配权重，a3表示第二个绿色图像片分量的码率分配权重，a4表示蓝色图像片分量的码率分配权重。a2+a3>a1+a4表示，两个绿色图像片分量的码率分配权重之和大于红色图像片分量与蓝色图像片分量的码率分配权重之和。
在本例中，α＝(a1,a2,a3,a4)表示根据人类视觉系统研究得出的人眼对不同颜色的敏感权重而确定的各个图像片分量的码率分配权重。
假设一个图像片包括四个图像片分量RGGB，在步骤520中，根据如下公式获取该图像片的第j个图像片分量的分配码率TCj：
Figure BDA0002457536980000161
其中，R表示为该图像片的分配码率，aj表示该图像片的第j个图像片分量的码率分配权重。
上面例子中，以根据人类视觉系统研究得出的人眼对不同颜色的敏感权重，确定各个图像片分量的码率分配权重为例进行了描述。本申请并非限定于此，还可以结合拍摄任务中人类所关注的颜色，来确定各个图像片分量的码率分配权重。
因此，本申请实施例，通过基于人眼对图像分量的敏感程度，来获取图像片中各个图像片分量的分配码率，可以提高重构图像的主观视觉效果。
可选地，在步骤510中，可以通过前文实施例提供的方法200获取该图像片的分配码率。具体描述详见上文相关描述，这里不再赘述。
因此，本实施例是基于图像复杂度获取图像片的分配码率，基于人眼对图像分量的敏感程度，来获取图像片分量的分配码率，从而可以进一步提高重构图像的主观视觉效果。
可选地，在步骤510中，还可以通过其他方式获取该图像片的分配码率。例如，对该图像片所属的图像帧的压缩后总码率求平均，获得该图像片的分配码率。
还应理解，通过步骤530获得图像片中各个图像片分量的分配码率之后，可以基于分配的码率进行编码。
可选地，在获得图像片中各个图像片分量的分配码率之后，本申请实施例提供的方法500还可以包括：对图像片的每个图像片分量进行离散小波变换，分别获得每个图像片分量的分辨率层级；计算每个图像片分量的每个分辨率层级的分配码率。
可选地，可以按照下文实施例提供的方法600计算每个图像片分量的每个分辨率层级的分配码率。
或者，也可以按照现有技术计算每个图像片分量的每个分辨率层级的分配码率。
如图6所示，本申请再一实施例提供一种码率分配的方法600。该方法600包括如下步骤。
610，获取图像片中第一图像片分量的分配码率。
可以采用上文实施例提供的方法200获取图像片的分配码率。例如，本实施例中的图像片为上文实施例提供的方法200中的第一图像片。
或者，还可以采用现有的其他可行的方法获取图像片的分配码率。例如，对图像帧的压缩后总码率求平均，获得各个图像片的分配码率。
可以采用上文实施例提供的方法500获取图像片中第一图像片分量的分配码率。
或者，还可以采用现有的其他可行的方法获取图像片中第一图像片分量的分配码率。
620，对该第一图像片分量进行离散小波变换，获得该第一图像片分量的分辨率层级。
例如，对该第一图像片分量进行离散小波变换，获得该第一图像片分量的(d+1)个分辨率层级，d为非负整数。
以d等于3为例，对第一图像片分量进行3次离散小波变换，获得这个图像片分量的4个分辨率层级，如图7所示。
630，确定该第一图像片分量的各个分辨率层级的码率在该第一图像片分量的分配码率中所占的比重。
640，根据该第一图像片分量的分配码率、该第一图像片分量中已经编码的分辨率层级所占的码率、该第一图像片分量的各个分辨率层级的码率在该第一图像片分量的分配码率中所占的比重、该第一图像片分量中已经编码的分辨率层级的码率在该第一图像片分量的分配码率中所占的权重，计算该第一图像片分量中每个分辨率层级的分配码率。
如前文结合图1所描述的，当对图像片分量完成离散小波变换(DWT)和量化后，需要先进行tier1编码，再进行筛选扫描通道并截断，之后进行tier2编码并打包。在现有的JPEG2000标准中，tier1编码是对所有的扫描通道都进行编码，这样会导致tier1编码占用了大量的编码时间，并且进行了很多没有包含在最终输出结果中的tier1编码过程。由于采用了压缩后率失真优化算法这种较为复杂的方法，使得这些编码过程又占据了很长的时间并增加了运算量。
在本申请实施例中，在tier1编码过程中，在分辨率层级的维度上，为各个分辨率层级分配码率，其中，供分配的码率随着编码的进行而动态更新，即供分配的码率等于总的码率减去已编码的分辨率层级所占的码率，这样可以有效减少tier1编码与tier编码之间的数据积累，从而有效可以减小中间运算数据存储所需的空间与硬件开销。因此，本申请提供的方案，可以整体上减少编码的计算量与耗时，提高编码效率。
例如，在步骤620中，获得该第一图像片分量的(d+1)个分辨率层级。步骤630的一种实现方式为：确定该第一图像片分量的(d+1)个分辨率层级在该第一图像片分量的分配码率中所占的比重为：ω＝(Wd+1,3Wd×40,…,3W3×4d-3，3W2×4d-2，3W1×4d-1)，其中，W1<W2<W3<…<Wd<3Wd+1。
可选地，在步骤630中，还可以通过其他方式确定该第一图像片分量的各个分辨率层级的码率在该第一图像片分量的分配码率中所占的比重。
作为示例，在步骤640中，根据如下公式计算该第一图像片分量的第i+1个分辨率层级的分配码率ri+1：
Figure BDA0002457536980000191
TC′＝∑Rdone
W′＝∑wdone 式(14)
其中，TC表示该第一图像片分量的分配码率，TC′表示该第一图像片分量中已经编码的分辨率层级所占的码率，W′表示该第一图像片分量中已经编码的分辨率层级在该第一图像片分量的分配码率中所占的权重。
应理解，前文结合方法500描述的确定图像片分量的分配码率的方式是编码之前的步骤。在本实施例的方法600中，是在编码过程中分配码率，具体地，供分配的码率随编码的进行而动态更新。
假设第一图像片分量所属图像片包括四个图像片分量RGGB，可以通过如下公式计算第一图像片分量的分配码率TC：
Figure BDA0002457536980000192
T＝∑TCdone
ax＝∑adone 式(15)
其中，a1,a2,a3与a4表示该图像片中四个图像片分量的码率分配权重。例如，可以通过前文实施例提供的方法500获取a1,a2,a3与a4。aj表示第一图像片分量的码率分配权重。T0表示第一图像片分量所属图像片的分配码流，或者表示为该图像片预设的编码后码流所需的存储空间大小。T表示第一图像片分量所属图像片中已经编码过的图像片分量所占的码流，或者，表示该图像片中已经编码过的图像片分量所占的存储空间的大小。ax表示第一图像片分量所属图像片中已经编码过的图像片分量的码率分配权重。
通过式(14)和式(15)可知，本申请实施例在分辨率层级的码率控制中采用了两个负反馈，分别是分辨率层级和图像片分量之间的，以及图像片分量和图像片之间的，这样的反馈控制可以实现在编码过程中更精确地控制码率的分配。
还应理解，为图像片分量预设的编码后码流所需的存储空间大小与该图像片分量的分配码率是相关的。例如，为图像片分量预设的编码后码流所需的存储空间大小约等于该图像片分量的分配码率。基于这个假设，在本实施例中，可以将“第一图像片分量的分配码率”替换为“为第一图像片分量预设的编码后码流所需的存储空间大小”。
在本实施例中，在tier1编码过程中，为各个分辨率层级分配码率，其中，供分配的码率随着编码的进行而动态更新，即供分配的码率等于总的码率减去已编码的分辨率层级所占的码率。可以理解到，相当于，本实施例固定tier1编码后的每个图像片所产生的码流的大小，然后以此为目标，对图像片的各个图像片分量的各个分辨率层级的码流进行了截断。由于采用了固定的内存大小，从而有利于硬件的实现。
可选地，在本实施例中，第一图像片分量的分配码率可以通过上述实施例提供的方法200获得。具体描述详见上文相关描述，这里不再赘述。
应理解，基于图像复杂度获取图像片的分配码率，从而可以使得编码后的图像获得更好的主观视觉效果。
可选地，在本实施例中，第一图像片分量的分配码率可以通过上述实施例提供的方法500获得。具体描述详见上文相关描述，这里不再赘述。
基于人眼对图像分量的敏感程度，来获取图像片分量的分配码率，从而可以使得编码后的图像获得更好的主观视觉效果。
可选地，在本实施例中，第一图像片分量的分配码率还可以通过其他方式获得，例如，对第一图像片分量所属图像片的分配码率求平均，获得第一图像片分量的分配码率。
如上，本申请在tier1编码过程中，在分辨率层级的维度上，为各个分辨率层级分配码率，其中，供分配的码率随着编码的进行而动态更新，即供分配的码率等于总的码率减去已编码的分辨率层级所占的码率，这样可以有效减少tier1编码与tier编码之间的数据积累，从而有效可以减小中间运算数据存储所需的空间与硬件开销。因此，本申请提供的方案，可以整体上减少编码的计算量与耗时，提高编码效率。
图8为本申请另一实施例提供的码率分配的方法800的示意图。该方法800包括如下步骤。
810，将原图(例如raw图像)分割为图像片，采用前文描述的方法200对各个图像片进行码率分配。
例如，可以采用如图3所示的方法对原图进行分割，获得图像片。
820，采用前文描述的方法500对图像片的图像片分量进行码率分配。
830，对每个图像片，进行电平移位。
840，对每个图像片，进行离散小波变换(DWT)。
850，对每个图像片，进行量化。
860，对每个图像片，采用率失真优化截取内嵌码块编码算法(EBCOT)进行编码，获得编码码流。
步骤860包括如下步骤：tier1编码，并且采用前文描述的方法600，在编码过程中，动态分配分辨率层级的码率；对tier1的编码结果进行tier2编码。
应理解，在编码过程中，动态分配分辨率层级的码率，相当于是对编码码流的一次粗截断。压缩后率失真优化算法可以看作是对编码码流的一次细截断。从而，本申请实施例相当于对编码码流进行了二次截断(如图8中所示)，优化了计算方式，可以有效减少tier1编码与tier2编码之间的数据积累，从而有效可以减小中间运算数据存储所需的空间与硬件开销，可以整体上减少编码的计算量与耗时，提高编码效率。
在本实施例中，通过图像复杂度获得图像片的预设码率，并通过图像帧中至少部分图像片的预设码率的平均值，对图像片的预设码率进行修正，从而可以提高图像片的码率分配的合理性，进而可以提高重建图像的PSNR值和视觉效果。通过基于人眼对图像分量的敏感程度，来获取图像片中各个图像片分量的分配码率，可以提高重构图像的主观视觉效果。通过基于人眼对图像分量的敏感程度，来获取图像片中各个图像片分量的分配码率，可以进一步提高重构图像的主观视觉效果。在tier1编码过程中，在分辨率层级的维度上，为各个分辨率层级分配码率，其中，供分配的码率随着编码的进行而动态更新，即供分配的码率等于总的码率减去已编码的分辨率层级所占的码率，这样可以有效减少tier1编码与tier编码之间的数据积累，从而有效可以减小中间运算数据存储所需的空间与硬件开销，可以整体上减少编码的计算量与耗时，提高编码效率。
本文中各个实施例提供的码率分配的方法可以适用于JPEG2000图像编码标准的编码以及其硬件的设计和实现。例如，本申请实施例提供的方法可以应用于对原始(raw)图像进行压缩编码的场景。
应理解，本文中给出的各个公式仅为示例而非限定，本领域技术人员根据本文给出的各个公式可以想到的所有变种，都落入本申请包括范围。
上文描述了本申请的方法实施例，下面描述本申请的装置实施例。应理解，装置实施例的描述与方法实施例的描述相互对应，因此，未详细描述的部分可以参见前面方法实施例。
如图9所示，本申请实施例提供一种编码装置900，该编码装置900用于执行上文方法实施例中的方法200。如图9所示，该编码装置900包括获取单元910，计算单元920和修正单元930。
获取单元910，用于获取图像帧中的第一图像片，图像帧被划分为多个图像片。
计算单元920，用于根据该第一图像片的复杂度以及图像帧的压缩后总码率，计算第一图像片的预设码率。
修正单元930，用于通过第一基准码率修正第一图像片的预设码率，使其向第一基准码率靠近，获得第一图像片的分配码率，第一基准码率根据图像帧中至少部分图像片的预设码率的平均值确定。
在本申请提供的方案中，通过图像复杂度获得图像片的预设码率，并通过图像帧中至少部分图像片的预设码率的平均值，对图像片的预设码率进行修正。因此，本申请提供的方案可以提高图像片的码率分配的合理性，进而可以提高重建图像的PSNR值和视觉效果。
可选地，作为一个实施例，第一基准码率等于多个图像片的平均码率，其中，平均码率等于图像帧中全部图像片的预设码率的平均值。
可选地，作为一个实施例，当第一图像片的预设码率与多个图像片的平均码率之差超过第一阈值时，第一基准码率等于平均码率，其中，平均码率等于图像帧中全部图像片的预设码率的平均值；当第一图像片的预设码率与平均码率之差的绝对值未超过第一阈值时，第一基准码率等于第一图像片的预设码率。
可选地，作为一个实施例，当第一图像片的预设码率大于多个图像片的平均码率时，第一基准码率等于多个图像片中预设码率大于平均码率的图像片的预设码率的平均值，其中，平均码率等于图像帧中全部图像片的预设码率的平均值；当第一图像片的预设码率小于平均码率时，第一基准码率等于多个图像片中预设码率小于平均码率的图像片的预设码率的平均值；当第一图像片的预设码率等于平均码率时，第一基准码率等于平均码率。
可选地，作为一个实施例，修正单元930用于：利用第一基准码率修正第一图像片的预设码率，使其向第一基准码率靠近，获得第一图像片的修正码率；利用第二基准码率继续修正第一图像片的修正码率，使其向第二基准码率靠近，获得第一图像片的分配码率，第二基准码率等于平均码率。
可选地，作为一个实施例，修正单元930用于：利用第一基准码率修正第一图像片的预设码率，使其向第一基准码率靠近，获得第一图像片的修正码率；利用第二基准码率继续修正第一图像片的修正码率，使其向第二基准码率靠近，获得第一图像片的分配码率，其中，当第一图像片的修正码率与平均码率之差的绝对值超过第二阈值时，第二基准码率等于平均码率，当第一图像片的修正码率与平均码率之差的绝对值未超过第二阈值时，第二基准码率等于第一图像片的修正码率。
可选地，作为一个实施例，第一图像片的分配码率等于第一图像片的预设码率与第一修正因子的乘积，其中，第一修正因子根据第一图像片的预设码率与第一基准码率的比值确定。
例如，修正单元930用于，根据前文描述的公式(7)，计算第一图像片的分配码率Ri。
可选地，作为一个实施例，第一图像片的分配码率等于第一图像片的修正码率与第二修正因子的乘积，其中，第二修正因子根据第一图像片的修正码率与第二基准码率的比值确定；其中，第一图像片的修正码率等于第一图像片的预设码率与第一修正因子的乘积，其中，第一修正因子根据第一图像片的预设码率与第一基准码率的比值确定。
例如，修正单元930用于，根据前文描述的公式(10)，计算第一图像片的分配码率Ri。
可选地，作为一个实施例，获取单元910还用于，根据人眼对图像分量的敏感程度，获取第一图像片的各个图像片分量的码率分配权重，其中，至少一个图像片分量的码率分配权重之和大于其余图像片分量的码率分配权重之和；计算单元920还用于，根据第一图像片的分配码率，以及第一图像片的每个图像片分量的码率分配权重，计算第一图像片的每个图像片分量的分配码率。
可选地，作为一个实施例，第一图像片包括红绿绿蓝RGGB四个图像片分量，其中，两个绿色图像片分量的码率分配权重之和大于红色图像片分量与蓝色图像片分量的码率分配权重之和。
可选地，作为一个实施例，如图9所示，编码装置900还包括小波变换单元940和确定单元950。
小波变换单元940，用于对第一图像片中的第一图像片分量进行离散小波变换，获得第一图像片分量的分辨率层级。
确定单元950，用于确定第一图像片分量的各个分辨率层级的码率在第一图像片分量的分配码率中所占的比重。
计算单元920还用于，根据第一图像片分量的分配码率、第一图像片分量中已经编码的分辨率层级所占的码率、第一图像片分量的各个分辨率层级的码率在第一图像片分量的分配码率中所占的比重、第一图像片分量中已经编码的分辨率层级的码率在第一图像片分量的分配码率中所占的权重，计算第一图像片分量中每个分辨率层级的分配码率。
可选地，作为一个实施例，小波变换单元940用于，对第一图像片分量进行离散小波变换，获得第一图像片分量的(d+1)个分辨率层级，d为非负整数。
确定单元950用于，确定第一图像片分量的(d+1)个分辨率层级在第一图像片分量的分配码率中所占的比重为：ω＝(Wd+1,3Wd×40,…,3W3×4d-3，3W2×4d-2，3W1×4d-1)，其中，W1<W2<W3<…<Wd<3Wd+1。
例如，计算单元920用于，根据前文描述的公式(14)计算第一图像片分量的第i+1个分辨率层级的分配码率ri+1。
可选地，在上述各个实施例中，图像帧为原始图像帧经过填充后得到的，当从原始图像帧的左上角开始编码时，填充的位置在原始图像帧的左上角。
应理解，本实施例中的获取单元910、计算单元920、修正单元930、小波变换单元940和确定单元950，均可以采用处理器或处理器相关电路实现。
如图10所示，本申请实施例提供另一种编码装置1000，该编码装置1000用于执行上文方法实施例中的方法500。如图10所示，该编码装置1000包括获取单元1010和计算单元1020。
获取单元1010，用于获取图像片的分配码率。
获取单元1010还用于，根据人眼对图像分量的敏感程度，获取图像片的各个图像片分量的码率分配权重，其中，至少一个图像片分量的码率分配权重之和大于其余图像片分量的码率分配权重之和。
计算单元1020，用于根据图像片的分配码率，以及每个图像片分量的码率分配权重，计算每个图像片分量的分配。
在本申请提供的方案中，基于人眼对图像片分量的敏感程度，来获取图像片分量的分配码率，换言之，针对人眼敏感程度较高的图像片分量，为其分配的码率大于为人眼敏感程度较低的图像程度分配的码率。因此，本申请提供的方案可以使得编码后的图像获得更好的主观视觉效果。
可选地，作为一个实施例，图像片包括红绿绿蓝RGGB四个图像片分量，两个绿色图像片分量的码率分配权重之和大于红色图像片分量与蓝色图像片分量的码率分配权重之和。
可选地，作为一个实施例，如图10所示，编码装置1000还包括小波变换单元1030、确定单元1040。
小波变换单元1030，用于对图像片中的第一图像片分量进行离散小波变换，获得第一图像片分量的分辨率层级。
确定单元1040，用于确定第一图像片分量的各个分辨率层级的码率在第一图像片分量的分配码率中所占的比重。
计算单元1020还用于，根据第一图像片分量的分配码率、第一图像片分量中已经编码的分辨率层级所占的码率、第一图像片分量的各个分辨率层级的码率在第一图像片分量的分配码率中所占的比重、第一图像片分量中已经编码的分辨率层级的码率在第一图像片分量的分配码率中所占的权重，计算第一图像片分量中每个分辨率层级的分配码率。
可选地，作为一个实施例，小波变换单元1030用于，对第一图像片分量进行离散小波变换，获得第一图像片分量的(d+1)个分辨率层级，d为非负整数。
确定单元1040用于，确定第一图像片分量的(d+1)个分辨率层级在第一图像片分量的分配码率中所占的比重为：ω＝(Wd+1,3Wd×40,…,3W3×4d-3，3W2×4d-2，3W1×4d-1)，其中，W1<W2<W3<…<Wd<3Wd+1。
例如，计算单元1020用于，根据前文描述的公式(14)计算第一图像片分量的第i+1个分辨率层级的分配码率ri+1。
应理解，本实施例中的获取单元1010、计算单元1020、小波变换单元1030和确定单元1040，均可以由处理器或处理器相关电路实现。
如图11所示，本申请实施例提供另一种编码装置1100，该编码装置1100用于执行上文方法实施例中的方法600。如图11所示，该编码装置1100包括获取单元1110、小波变换单元1120、确定单元1130和计算单元1140。
获取单元1110，用于获取图像片中第一图像片分量的分配码率。
小波变换单元1120，用于对第一图像片分量进行离散小波变换，获得第一图像片分量的分辨率层级。
确定单元1130，用于确定第一图像片分量的各个分辨率层级的码率在第一图像片分量的分配码率中所占的比重。
计算单元1140，用于根据第一图像片分量的分配码率、第一图像片分量中已经编码的分辨率层级所占的码率、第一图像片分量的各个分辨率层级的码率在第一图像片分量的分配码率中所占的比重、第一图像片分量中已经编码的分辨率层级的码率在第一图像片分量的分配码率中所占的权重，计算第一图像片分量中每个分辨率层级的分配码率。
在本申请提供的方案中，在tier1编码过程中，在分辨率层级的维度上，为各个分辨率层级分配码率，其中，供分配的码率随着编码的进行而动态更新，即供分配的码率等于总的码率减去已编码的分辨率层级所占的码率。因此，本申请提供的方案可以有效减少tier1编码与tier编码之间的数据积累，从而有效可以减小中间运算数据存储所需的空间与硬件开销，可以整体上减少编码的计算量与耗时，提高编码效率。
可选地，作为一个实施例，小波变换单元1120用于，对第一图像片分量进行离散小波变换，获得第一图像片分量的(d+1)个分辨率层级，d为非负整数。
确定单元1130用于，确定第一图像片分量的(d+1)个分辨率层级在第一图像片分量的分配码率中所占的比重为：ω＝(Wd+1,3Wd×40,…,3W3×4d-3，3W2×4d-2，3W1×4d-1)，其中，W1<W2<W3<…<Wd<3Wd+1。
例如，计算单元1140用于根据前文描述的公式(14)计算第一图像片分量的第i+1个分辨率层级的分配码率ri+1。
应理解，本实施例中的获取单元1110、小波变换单元1120、确定单元1130和计算单元1140可以由处理器或处理器相关处理电路实现。
如图12所示，本申请实施例还提供一种图像处理装置1200，该图像处理装置1200用于执行上文方法实施例提供的任一种方法。如图12所示，该图像处理装置1200包括处理器1210与存储器1220，存储器12200中存储有计算机程序，处理器1210用于执行存储器1220中存储的计算机程序，并且对存储器1220中存储的计算机程序的执行使得，处理器1210执行上文实施例提供的任一方法。
可选地，如图12所示，图像处理装置1210还可以包括通信接口1230，用于与图像处理装置1200的外部设备进行信号传输。
例如，处理器1210还用于控制通信接口1230进行接收和/或发送信号。
本申请实施例还提供一种计算机存储介质，其上存储有计算机程序，计算机程序被计算机执行时使得，计算机执行上文实施例提供的任一方法。
本申请实施例还提供一种包含指令的计算机程序产品，指令被计算机执行时使得计算机执行上文实施例提供的任一方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (51)

1.一种码率分配的方法，其特征在于，包括：
获取图像帧中的第一图像片，所述图像帧被划分为多个图像片；
根据所述第一图像片的复杂度以及所述图像帧的压缩后总码率，计算所述第一图像片的预设码率；
通过第一基准码率修正所述第一图像片的预设码率，使其向所述第一基准码率靠近，获得所述第一图像片的分配码率，所述第一基准码率根据所述图像帧中至少部分图像片的预设码率的平均值确定。
2.根据权利要求1所述的方法，其特征在于，所述第一基准码率等于所述多个图像片的平均码率，其中，所述平均码率等于所述图像帧中全部图像片的预设码率的平均值。
3.根据权利要求1所述的方法，其特征在于，
当所述第一图像片的预设码率与所述多个图像片的平均码率之差超过第一阈值时，所述第一基准码率等于所述平均码率，其中，所述平均码率等于所述图像帧中全部图像片的预设码率的平均值；
当所述第一图像片的预设码率与所述平均码率之差的绝对值未超过所述第一阈值时，所述第一基准码率等于所述第一图像片的预设码率。
4.根据权利要求1所述的方法，其特征在于，
当所述第一图像片的预设码率大于所述多个图像片的平均码率时，所述第一基准码率等于所述多个图像片中预设码率大于所述平均码率的图像片的预设码率的平均值，其中，所述平均码率等于所述图像帧中全部图像片的预设码率的平均值；
当所述第一图像片的预设码率小于所述平均码率时，所述第一基准码率等于所述多个图像片中预设码率小于所述平均码率的图像片的预设码率的平均值；
当所述第一图像片的预设码率等于所述平均码率时，所述第一基准码率等于所述平均码率。
5.根据权利要求4所述的方法，其特征在于，所述通过第一基准码率修正所述第一图像片的预设码率，使其向所述第一基准码率靠近，获得所述第一图像片的分配码率，包括：
利用所述第一基准码率修正所述第一图像片的预设码率，使其向所述第一基准码率靠近，获得所述第一图像片的修正码率；
利用第二基准码率继续修正所述第一图像片的修正码率，使其向所述第二基准码率靠近，获得所述第一图像片的分配码率，所述第二基准码率等于所述平均码率。
6.根据权利要求4所述的方法，其特征在于，所述通过第一基准码率修正所述第一图像片的预设码率，使其向所述第一基准码率靠近，获得所述第一图像片的分配码率，包括：
利用所述第一基准码率修正所述第一图像片的预设码率，使其向所述第一基准码率靠近，获得所述第一图像片的修正码率；
利用第二基准码率继续修正所述第一图像片的修正码率，使其向所述第二基准码率靠近，获得所述第一图像片的分配码率，其中，
当所述第一图像片的修正码率与所述平均码率之差的绝对值超过第二阈值时，所述第二基准码率等于所述平均码率，
当所述第一图像片的修正码率与所述平均码率之差的绝对值未超过所述第二阈值时，所述第二基准码率等于所述第一图像片的修正码率。
7.根据权利要求1至4中任一项所述的方法，其特征在于，所述第一图像片的分配码率等于所述第一图像片的预设码率与第一修正因子的乘积，其中，所述第一修正因子根据所述第一图像片的预设码率与所述第一基准码率的比值确定。
8.根据权利要求7所述的方法，其特征在于，所述获得所述第一图像片的分配码率，包括：
根据如下公式，计算所述第一图像片的分配码率Ri：
Figure FDA0002457536970000021
Figure FDA0002457536970000022
其中，ri表示所述第一图像片的预设码率，
Figure FDA0002457536970000023
表示所述第一基准码率，
Figure FDA0002457536970000024
表示所述第一修正因子，x为常数。
9.根据权利要求5或6所述的方法，其特征在于，所述第一图像片的分配码率等于所述第一图像片的修正码率与第二修正因子的乘积，其中，所述第二修正因子根据所述第一图像片的修正码率与所述第二基准码率的比值确定；
其中，所述第一图像片的修正码率等于所述第一图像片的预设码率与第一修正因子的乘积，其中，所述第一修正因子根据所述第一图像片的预设码率与所述第一基准码率的比值确定。
10.根据权利要求9所述的方法，其特征在于，所述获得所述第一图像片的分配码率，包括：
根据如下公式，计算所述第一图像片的分配码率Ri
Figure FDA0002457536970000031
Figure FDA0002457536970000032
Figure FDA0002457536970000033
Figure FDA0002457536970000034
其中，ri′表示所述第一图像片的修正码率，
Figure FDA0002457536970000035
表示所述第二基准码率，
Figure FDA0002457536970000036
表示所述第二修正因子，ri表示所述第一图像片的预设码率，
Figure FDA0002457536970000037
表示所述第一基准码率，
Figure FDA0002457536970000038
表示所述第一修正因子，x与y为常数。
11.根据权利要求1至10中任一项所述的方法，其特征在于，所述方法还包括：
根据人眼对图像分量的敏感程度，获取所述第一图像片的各个图像片分量的码率分配权重，其中，至少一个图像片分量的码率分配权重之和大于其余图像片分量的码率分配权重之和；
根据所述第一图像片的分配码率，以及所述第一图像片的每个图像片分量的码率分配权重，计算所述第一图像片的每个图像片分量的分配码率。
12.根据权利要求11所述的方法，其特征在于，所述第一图像片包括红绿绿蓝RGGB四个图像片分量，其中，两个绿色图像片分量的码率分配权重之和大于红色图像片分量与蓝色图像片分量的码率分配权重之和。
13.根据权利要求11或12所述的方法，其特征在于，所述方法还包括：
对所述第一图像片中的第一图像片分量进行离散小波变换，获得所述第一图像片分量的分辨率层级；
确定所述第一图像片分量的各个分辨率层级的码率在所述第一图像片分量的分配码率中所占的比重；
根据所述第一图像片分量的分配码率、所述第一图像片分量中已经编码的分辨率层级所占的码率、所述第一图像片分量的各个分辨率层级的码率在所述第一图像片分量的分配码率中所占的比重、所述第一图像片分量中已经编码的分辨率层级的码率在所述第一图像片分量的分配码率中所占的权重，计算所述第一图像片分量中每个分辨率层级的分配码率。
14.根据权利要求13所述的方法，其特征在于，所述对所述第一图像片分量进行离散小波变换，获得所述第一图像片分量的分辨率层级，包括：
对所述第一图像片分量进行离散小波变换，获得所述第一图像片分量的(d+1)个分辨率层级，d为非负整数；
所述确定所述第一图像片分量的各个分辨率层级的码率在所述第一图像片分量的分配码率中所占的比重，包括：
确定所述第一图像片分量的(d+1)个分辨率层级在所述第一图像片分量的分配码率中所占的比重为：ω＝(Wd+1,3Wd×40,…,3W3×4d-3，3W2×4d-2，3W1×4d-1)，其中，W1<W2<W3<…<Wd<3Wd+1。
15.根据权利要求14所述的方法，其特征在于，所述计算所述第一图像片分量中每个分辨率层级的分配码率，包括：
根据如下公式计算所述第一图像片分量的第i+1个分辨率层级的分配码率ri+1：
Figure FDA0002457536970000041
TC′＝∑Rdone
W′＝∑wdone
其中，TC表示所述第一图像片分量的分配码率，TC′表示所述第一图像片分量中已经编码的分辨率层级所占的码率，W′表示所述第一图像片分量中已经编码的分辨率层级在所述第一图像片分量的分配码率中所占的权重。
16.根据权利要求1至15中任一项所述的方法，其特征在于，所述图像帧为原始图像帧经过填充后得到的，当从所述原始图像帧的左上角开始编码时，所述填充的位置在所述原始图像帧的左上角。
17.一种码率控制的方法，其特征在于，包括：
获取图像片的分配码率；
根据人眼对图像分量的敏感程度，获取所述图像片的各个图像片分量的码率分配权重，其中，至少一个图像片分量的码率分配权重之和大于其余图像片分量的码率分配权重之和；
根据所述图像片的分配码率，以及每个图像片分量的码率分配权重，计算所述每个图像片分量的分配。
18.根据权利要求17所述的方法，其特征在于，所述图像片包括红绿绿蓝RGGB四个图像片分量，两个绿色图像片分量的码率分配权重之和大于红色图像片分量与蓝色图像片分量的码率分配权重之和。
19.根据权利要求17或18所述的方法，其特征在于，所述方法还包括：
对所述图像片中的第一图像片分量进行离散小波变换，获得所述第一图像片分量的分辨率层级；
确定所述第一图像片分量的各个分辨率层级的码率在所述第一图像片分量的分配码率中所占的比重；
根据所述第一图像片分量的分配码率、所述第一图像片分量中已经编码的分辨率层级所占的码率、所述第一图像片分量的各个分辨率层级的码率在所述第一图像片分量的分配码率中所占的比重、所述第一图像片分量中已经编码的分辨率层级的码率在所述第一图像片分量的分配码率中所占的权重，计算所述第一图像片分量中每个分辨率层级的分配码率。
20.根据权利要求19所述的方法，其特征在于，所述对所述第一图像片分量进行离散小波变换，获得所述第一图像片分量的分辨率层级，包括：
对所述第一图像片分量进行离散小波变换，获得所述第一图像片分量的(d+1)个分辨率层级，d为非负整数；
所述确定所述第一图像片分量的各个分辨率层级的码率在所述第一图像片分量的分配码率中所占的比重，包括：
确定所述第一图像片分量的(d+1)个分辨率层级在所述第一图像片分量的分配码率中所占的比重为：ω＝(Wd+1,3Wd×40,…,3W3×4d-3，3W2×4d-2，3W1×4d-1)，其中，W1<W2<W3<…<Wd<3Wd+1。
21.根据权利要求20所述的方法，其特征在于，所述计算所述第一图像片分量中每个分辨率层级的分配码率，包括：
根据如下公式计算所述第一图像片分量的第i+1个分辨率层级的分配码率ri+1：
Figure FDA0002457536970000061
TC′＝∑Rdone
W′＝∑wdone
其中，TC表示所述第一图像片分量的分配码率，TC′表示所述第一图像片分量中已经编码的分辨率层级所占的码率，W′表示所述第一图像片分量中已经编码的分辨率层级在所述第一图像片分量的分配码率中所占的权重。
22.一种码率控制的方法，其特征在于，包括：
获取图像片中第一图像片分量的分配码率；
对所述第一图像片分量进行离散小波变换，获得所述第一图像片分量的分辨率层级；
确定所述第一图像片分量的各个分辨率层级的码率在所述第一图像片分量的分配码率中所占的比重；
根据所述第一图像片分量的分配码率、所述第一图像片分量中已经编码的分辨率层级所占的码率、所述第一图像片分量的各个分辨率层级的码率在所述第一图像片分量的分配码率中所占的比重、所述第一图像片分量中已经编码的分辨率层级的码率在所述第一图像片分量的分配码率中所占的权重，计算所述第一图像片分量中每个分辨率层级的分配码率。
23.根据权利要求22所述的方法，其特征在于，所述对所述第一图像片分量进行离散小波变换，获得所述第一图像片分量的分辨率层级，包括：
对所述第一图像片分量进行离散小波变换，获得所述第一图像片分量的(d+1)个分辨率层级，d为非负整数；
所述确定所述第一图像片分量的各个分辨率层级的码率在所述第一图像片分量的分配码率中所占的比重，包括：
确定所述第一图像片分量的(d+1)个分辨率层级在所述第一图像片分量的分配码率中所占的比重为：ω＝(Wd+1,3Wd×40,…,3W3×4d-3，3W2×4d-2，3W1×4d-1)，其中，W1<W2<W3<…<Wd<3Wd+1。
24.根据权利要求23所述的方法，其特征在于，所述计算所述第一图像片分量中每个分辨率层级的分配码率，包括：
根据如下公式计算所述第一图像片分量的第i+1个分辨率层级的分配码率ri+1：
Figure FDA0002457536970000071
Figure FDA0002457536970000072
其中，TC表示所述第一图像片分量的分配码率，TC′表示所述第一图像片分量中已经编码的分辨率层级所占的码率，W′表示所述第一图像片分量中已经编码的分辨率层级在所述第一图像片分量的分配码率中所占的权重。
25.一种编码装置，其特征在于，包括：
获取单元，用于获取图像帧中的第一图像片，所述图像帧被划分为多个图像片；
计算单元，用于根据所述获取单元获取的所述第一图像片的复杂度以及所述图像帧的压缩后总码率，计算所述第一图像片的预设码率；
修正单元，用于通过第一基准码率修正所述计算单元计算得到的所述第一图像片的预设码率，使其向所述第一基准码率靠近，获得所述第一图像片的分配码率，所述第一基准码率根据所述图像帧中至少部分图像片的预设码率的平均值确定。
26.根据权利要求25所述的编码装置，其特征在于，所述第一基准码率等于所述多个图像片的平均码率，其中，所述平均码率等于所述图像帧中全部图像片的预设码率的平均值。
27.根据权利要求25所述的编码装置，其特征在于，
当所述第一图像片的预设码率与所述多个图像片的平均码率之差超过第一阈值时，所述第一基准码率等于所述平均码率，其中，所述平均码率等于所述图像帧中全部图像片的预设码率的平均值；
当所述第一图像片的预设码率与所述平均码率之差的绝对值未超过所述第一阈值时，所述第一基准码率等于所述第一图像片的预设码率。
28.根据权利要求25所述的编码装置，其特征在于，
当所述第一图像片的预设码率大于所述多个图像片的平均码率时，所述第一基准码率等于所述多个图像片中预设码率大于所述平均码率的图像片的预设码率的平均值，其中，所述平均码率等于所述图像帧中全部图像片的预设码率的平均值；
当所述第一图像片的预设码率小于所述平均码率时，所述第一基准码率等于所述多个图像片中预设码率小于所述平均码率的图像片的预设码率的平均值；
当所述第一图像片的预设码率等于所述平均码率时，所述第一基准码率等于所述平均码率。
29.根据权利要求28所述的编码装置，其特征在于，所述修正单元用于：
利用所述第一基准码率修正所述第一图像片的预设码率，使其向所述第一基准码率靠近，获得所述第一图像片的修正码率；
利用第二基准码率继续修正所述第一图像片的修正码率，使其向所述第二基准码率靠近，获得所述第一图像片的分配码率，所述第二基准码率等于所述平均码率。
30.根据权利要求28所述的编码装置，其特征在于，所述修正单元用于：
利用所述第一基准码率修正所述第一图像片的预设码率，使其向所述第一基准码率靠近，获得所述第一图像片的修正码率；
利用第二基准码率继续修正所述第一图像片的修正码率，使其向所述第二基准码率靠近，获得所述第一图像片的分配码率，其中，
当所述第一图像片的修正码率与所述平均码率之差的绝对值超过第二阈值时，所述第二基准码率等于所述平均码率，
当所述第一图像片的修正码率与所述平均码率之差的绝对值未超过所述第二阈值时，所述第二基准码率等于所述第一图像片的修正码率。
31.根据权利要求25至28中任一项所述的编码装置，其特征在于，所述第一图像片的分配码率等于所述第一图像片的预设码率与第一修正因子的乘积，其中，所述第一修正因子根据所述第一图像片的预设码率与所述第一基准码率的比值确定。
32.根据权利要求31所述的编码装置，其特征在于，所述修正单元用于，根据如下公式，计算所述第一图像片的分配码率Ri：
Figure FDA0002457536970000091
Figure FDA0002457536970000092
其中，ri表示所述第一图像片的预设码率，
Figure FDA0002457536970000093
表示所述第一基准码率，
Figure FDA0002457536970000094
表示所述第一修正因子，x为常数。
33.根据权利要求29或30所述的编码装置，其特征在于，所述第一图像片的分配码率等于所述第一图像片的修正码率与第二修正因子的乘积，其中，所述第二修正因子根据所述第一图像片的修正码率与所述第二基准码率的比值确定；
其中，所述第一图像片的修正码率等于所述第一图像片的预设码率与第一修正因子的乘积，其中，所述第一修正因子根据所述第一图像片的预设码率与所述第一基准码率的比值确定。
34.根据权利要求33所述的编码装置，其特征在于，所述修正单元用于，根据如下公式，计算所述第一图像片的分配码率Ri
Figure FDA0002457536970000095
Figure FDA0002457536970000096
Figure FDA0002457536970000097
Figure FDA0002457536970000098
其中，ri′表示所述第一图像片的修正码率，
Figure FDA0002457536970000099
表示所述第二基准码率，
Figure FDA00024575369700000910
表示所述第二修正因子，ri表示所述第一图像片的预设码率，
Figure FDA00024575369700000911
表示所述第一基准码率，
Figure FDA00024575369700000912
表示所述第一修正因子，x与y为常数。
35.根据权利要求25至34中任一项所述的编码装置，其特征在于，
所述获取单元还用于，根据人眼对图像分量的敏感程度，获取所述第一图像片的各个图像片分量的码率分配权重，其中，至少一个图像片分量的码率分配权重之和大于其余图像片分量的码率分配权重之和；
所述计算单元还用于，根据所述第一图像片的分配码率，以及所述获取单元获取的所述第一图像片的每个图像片分量的码率分配权重，计算所述第一图像片的每个图像片分量的分配码率。
36.根据权利要求35所述的编码装置，其特征在于，所述第一图像片包括红绿绿蓝RGGB四个图像片分量，其中，两个绿色图像片分量的码率分配权重之和大于红色图像片分量与蓝色图像片分量的码率分配权重之和。
37.根据权利要求35或36所述的编码装置，其特征在于，所述编码装置还包括：
小波变换单元，用于对所述第一图像片中的第一图像片分量进行离散小波变换，获得所述第一图像片分量的分辨率层级；
确定单元，用于确定所述小波变换单元得到的所述第一图像片分量的各个分辨率层级的码率在所述第一图像片分量的分配码率中所占的比重；
所述计算单元还用于，根据所述第一图像片分量的分配码率、所述第一图像片分量中已经编码的分辨率层级所占的码率、所述第一图像片分量的各个分辨率层级的码率在所述第一图像片分量的分配码率中所占的比重、所述第一图像片分量中已经编码的分辨率层级的码率在所述第一图像片分量的分配码率中所占的权重，计算所述第一图像片分量中每个分辨率层级的分配码率。
38.根据权利要求37所述的编码装置，其特征在于，所述小波变换单元用于，对所述第一图像片分量进行离散小波变换，获得所述第一图像片分量的(d+1)个分辨率层级，d为非负整数；
所述确定单元用于，确定所述第一图像片分量的(d+1)个分辨率层级在所述第一图像片分量的分配码率中所占的比重为：ω＝(Wd+1,3Wd×40,…,3W3×4d-3，3W2×4d-2，3W1×4d-1)，其中，W1<W2<W3<…<Wd<3Wd+1。
39.根据权利要求38所述的编码装置，其特征在于，所述计算单元用于，根据如下公式计算所述第一图像片分量的第i+1个分辨率层级的分配码率ri+1：
Figure FDA0002457536970000101
TC′＝∑Rdone
W′＝∑wdone
其中，TC表示所述第一图像片分量的分配码率，TC′表示所述第一图像片分量中已经编码的分辨率层级所占的码率，W′表示所述第一图像片分量中已经编码的分辨率层级在所述第一图像片分量的分配码率中所占的权重。
40.根据权利要求25至39中任一项所述的编码装置，其特征在于，所述图像帧为原始图像帧经过填充后得到的，当从所述原始图像帧的左上角开始编码时，所述填充的位置在所述原始图像帧的左上角。
41.一种编码装置，其特征在于，包括：
获取单元，用于获取图像片的分配码率；
所述获取单元还用于，根据人眼对图像分量的敏感程度，获取所述图像片的各个图像片分量的码率分配权重，其中，至少一个图像片分量的码率分配权重之和大于其余图像片分量的码率分配权重之和；
计算单元，用于根据所述图像片的分配码率，以及所述获取单元得到的每个图像片分量的码率分配权重，计算所述每个图像片分量的分配。
42.根据权利要求41所述的编码装置，其特征在于，所述图像片包括红绿绿蓝RGGB四个图像片分量，两个绿色图像片分量的码率分配权重之和大于红色图像片分量与蓝色图像片分量的码率分配权重之和。
43.根据权利要求41或42所述的编码装置，其特征在于，所述编码装置还包括：
小波变换单元，用于对所述图像片中的第一图像片分量进行离散小波变换，获得所述第一图像片分量的分辨率层级；
确定单元，用于确定所述小波变换单元得到的所述第一图像片分量的各个分辨率层级的码率在所述第一图像片分量的分配码率中所占的比重；
所述计算单元还用于，根据所述第一图像片分量的分配码率、所述第一图像片分量中已经编码的分辨率层级所占的码率、所述第一图像片分量的各个分辨率层级的码率在所述第一图像片分量的分配码率中所占的比重、所述第一图像片分量中已经编码的分辨率层级的码率在所述第一图像片分量的分配码率中所占的权重，计算所述第一图像片分量中每个分辨率层级的分配码率。
44.根据权利要求43所述的编码装置，其特征在于，所述小波变换单元用于，对所述第一图像片分量进行离散小波变换，获得所述第一图像片分量的(d+1)个分辨率层级，d为非负整数；
所述确定单元用于，确定所述第一图像片分量的(d+1)个分辨率层级在所述第一图像片分量的分配码率中所占的比重为：ω＝(Wd+1,3Wd×40,…,3W3×4d-3，3W2×4d-2，3W1×4d-1)，其中，W1<W2<W3<…<Wd<3Wd+1。
45.根据权利要求44所述的编码装置，其特征在于，所述计算单元用于，根据如下公式计算所述第一图像片分量的第i+1个分辨率层级的分配码率ri+1：
Figure FDA0002457536970000121
TC′＝∑Rdone
W′＝∑wdone
其中，TC表示所述第一图像片分量的分配码率，TC′表示所述第一图像片分量中已经编码的分辨率层级所占的码率，W′表示所述第一图像片分量中已经编码的分辨率层级在所述第一图像片分量的分配码率中所占的权重。
46.一种编码装置，其特征在于，包括：
获取单元，用于获取图像片中第一图像片分量的分配码率；
小波变换单元，用于对所述第一图像片分量进行离散小波变换，获得所述第一图像片分量的分辨率层级；
确定单元，用于确定所述小波变换单元得到的所述第一图像片分量的各个分辨率层级的码率在所述获取单元得到的所述第一图像片分量的分配码率中所占的比重；
计算单元，用于根据所述第一图像片分量的分配码率、所述第一图像片分量中已经编码的分辨率层级所占的码率、所述第一图像片分量的各个分辨率层级的码率在所述第一图像片分量的分配码率中所占的比重、所述第一图像片分量中已经编码的分辨率层级的码率在所述第一图像片分量的分配码率中所占的权重，计算所述第一图像片分量中每个分辨率层级的分配码率。
47.根据权利要求46所述的编码装置，其特征在于，所述小波变换单元用于，对所述第一图像片分量进行离散小波变换，获得所述第一图像片分量的(d+1)个分辨率层级，d为非负整数；
所述确定单元用于，确定所述第一图像片分量的(d+1)个分辨率层级在所述第一图像片分量的分配码率中所占的比重为：ω＝(Wd+1,3Wd×40,…,3W3×4d-3，3W2×4d-2，3W1×4d-1)，其中，W1<W2<W3<…<Wd<3Wd+1。
48.根据权利要求47所述的编码装置，其特征在于，所述计算单元，用于根据如下公式计算所述第一图像片分量的第i+1个分辨率层级的分配码率ri+1：
Figure FDA0002457536970000131
TC′＝∑Rdone
W′＝∑wdone
其中，TC表示所述第一图像片分量的分配码率，TC′表示所述第一图像片分量中已经编码的分辨率层级所占的码率，W′表示所述第一图像片分量中已经编码的分辨率层级在所述第一图像片分量的分配码率中所占的权重。
49.一种图像处理装置，其特征在于，包括：存储器与处理器，所述存储器用于存储指令，所述处理器用于执行所述存储器存储的指令，并且对所述存储器中存储的指令的执行使得，所述处理器用于执行如权利要求1至24中任一项所述的方法。
50.一种计算机存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被计算机执行时使得，所述计算机执行如权利要求1至24中任一项所述的方法。
51.一种包含指令的计算机程序产品，其特征在于，所述指令被计算机执行时使得计算机执行如权利要求1至24中任一项所述的方法。
CN201980005237.XA 2019-01-25 2019-01-25 码率分配的方法与装置 Pending CN111279697A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/073139 WO2020150992A1 (zh) 2019-01-25 2019-01-25 码率分配的方法与装置

Publications (1)

Publication Number Publication Date
CN111279697A true CN111279697A (zh) 2020-06-12

Family

ID=70999806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980005237.XA Pending CN111279697A (zh) 2019-01-25 2019-01-25 码率分配的方法与装置

Country Status (2)

Country Link
CN (1) CN111279697A (zh)
WO (1) WO2020150992A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000261799A (ja) * 1999-03-10 2000-09-22 Fujitsu Ltd 可変レート動画像符号化装置
JP2001025008A (ja) * 1999-07-06 2001-01-26 Fujitsu Ltd 可変レート動画像符号化装置
CN101094411A (zh) * 2007-07-03 2007-12-26 芯瀚电子技术（上海）有限公司 一种视频编码的码率控制方法
CN101127909A (zh) * 2007-09-29 2008-02-20 华为技术有限公司 一种图像码率控制方法及装置
CN102036073A (zh) * 2010-12-21 2011-04-27 西安交通大学 基于视觉潜在注意力目标区域的jpeg2000图像编解码方法
CN106331704A (zh) * 2015-07-07 2017-01-11 杭州海康威视数字技术股份有限公司 一种视频码率控制方法及视频编码装置
CN109076212A (zh) * 2017-12-27 2018-12-21 深圳市大疆创新科技有限公司 码率控制的方法与编码装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1241149C (zh) * 2003-04-07 2006-02-08 西安交通大学 一种jpeg2000多图像片压缩率预分配方法
CN100515021C (zh) * 2006-12-30 2009-07-15 中国科学院计算技术研究所 基于图像质量和码率约束的jpeg2000码率控制方法
JP2009033604A (ja) * 2007-07-30 2009-02-12 Victor Co Of Japan Ltd 映像信号符号化装置および方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000261799A (ja) * 1999-03-10 2000-09-22 Fujitsu Ltd 可変レート動画像符号化装置
JP2001025008A (ja) * 1999-07-06 2001-01-26 Fujitsu Ltd 可変レート動画像符号化装置
CN101094411A (zh) * 2007-07-03 2007-12-26 芯瀚电子技术（上海）有限公司 一种视频编码的码率控制方法
CN101127909A (zh) * 2007-09-29 2008-02-20 华为技术有限公司 一种图像码率控制方法及装置
CN102036073A (zh) * 2010-12-21 2011-04-27 西安交通大学 基于视觉潜在注意力目标区域的jpeg2000图像编解码方法
CN106331704A (zh) * 2015-07-07 2017-01-11 杭州海康威视数字技术股份有限公司 一种视频码率控制方法及视频编码装置
CN109076212A (zh) * 2017-12-27 2018-12-21 深圳市大疆创新科技有限公司 码率控制的方法与编码装置

Also Published As

Publication number Publication date
WO2020150992A1 (zh) 2020-07-30

Similar Documents

Publication Publication Date Title
AU2021201806B2 (en) Device and method of improving the perceptual luminance nonlinearity-based image data exchange across different display capabilities
JP5215379B2 (ja) 圧縮データ量の制御
US10825205B2 (en) Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
KR100559924B1 (ko) 코딩 시스템의 매크로 블록 기반 비율을 제어하기 위한장치 및 방법
CA2295689C (en) Apparatus and method for object based rate control in a coding system
CN107771392B (zh) 用于高动态范围图像的实时内容自适应感知量化器
US7483486B2 (en) Method and apparatus for encoding high dynamic range video
CN103051901B (zh) 视频数据编码装置和视频数据编码方法
US10887365B2 (en) System and methods for bit rate control
JP2001512651A (ja) 量子化マトリクスのフレーム毎の計算方法
US10057576B2 (en) Moving image coding apparatus, moving image coding method, storage medium, and integrated circuit
JP6663201B2 (ja) 画像符号化装置及びその制御方法、並びに、コンピュータプログラム及び記憶媒体
JP2007049680A (ja) イメージ圧縮デバイス及びその方法
CN104994382A (zh) 一种感知率失真的优化方法
JP2002176650A (ja) 画像符号化装置、電子カメラ、および画像符号化プログラムの記録媒体
US10897615B2 (en) Image encoding apparatus and control method therefor
JP2024177589A (ja) 画像データブロックの符号化方法、画像データ符号化器および非一時的コンピュータ読み取り可能媒体
CN111447445B (zh) 数据传输方法及装置
CN110418133B (zh) 用于为图像数据编码的方法和装置
CN107094251B (zh) 一种基于空间位置自适应质量调整的视频、图像编解码方法及装置
US8059712B2 (en) Independently adjusting the quality levels for luminance and chrominance channels in a digital image
JP6806466B2 (ja) 画像符号化装置及びその制御方法
CN110418136B (zh) 确定量化器的方法、计算机可读介质和实现量化器的装置
CN111279697A (zh) 码率分配的方法与装置
CN112866696A (zh) 4k、8k、16k超高清视频编码优化控制方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200612

WD01 Invention patent application deemed withdrawn after publication