[go: up one dir, main page]

CN110419215A - 支援离线cabac的视频编码工序的基于比特预测的比特率控制方法及其装置 - Google Patents

支援离线cabac的视频编码工序的基于比特预测的比特率控制方法及其装置 Download PDF

Info

Publication number
CN110419215A
CN110419215A CN201880013545.2A CN201880013545A CN110419215A CN 110419215 A CN110419215 A CN 110419215A CN 201880013545 A CN201880013545 A CN 201880013545A CN 110419215 A CN110419215 A CN 110419215A
Authority
CN
China
Prior art keywords
bit
frame
prediction
rate
counts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880013545.2A
Other languages
English (en)
Other versions
CN110419215B (zh
Inventor
朴烔震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chips and Media Inc
Original Assignee
Chips and Media Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chips and Media Inc filed Critical Chips and Media Inc
Publication of CN110419215A publication Critical patent/CN110419215A/zh
Application granted granted Critical
Publication of CN110419215B publication Critical patent/CN110419215B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

根据本发明的实施例的方法，其为在视频编码工序中控制比特率的方法，其中，包括：根据目标比特率设定，确定对码率量化模型的输入位计数的步骤；以及以所述输入位计数为基础，向编码部提供通过所述码率量化模型确定的量化参数值的步骤，根据从在所述编码部编码的当前或延迟帧的二进制计数信息和从离线上下文自适应二进制算术编码模块获取的所述延迟帧的延迟位计数信息预测的预测位计数信息更新所述码率量化模型。

Description

支援离线CABAC的视频编码工序的基于比特预测的比特率控 制方法及其装置
技术领域
本发明涉及视频编码工序，更具体地，本发明涉及基于支援离线上下文自适应二进制算术编码的视频编码工序的比特预测的比特率控制方法及其装置。
背景技术
数字视频技术可综合性地应用于包括数字电视、数字转播系统、无线广播系统、个人便携式信息终端(PDA)、笔记本或台式电脑、数字摄像头、数字录音设备、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电话等的广范围的数字视频设备。数字视频设备体现如MPEG-2、MPEG-4或ITU-T H.264/MPEG-4、第10部分、高级视频编码(AVC，Advanced VideoCoding)、HEVC的视频压缩技术，更有效地收发数字视频信息。视频压缩技术执行空间预测及时间预测来减去或减少在视频序列固有的冗余。
通过压缩技术的体现，在编码器有效压缩的多媒体数据以比特流的形态通过网络向目的地传送之后，通过解码器复原并播放。
只是，为了顺畅地播放，应同时考虑网络带宽和存储压缩比特流的缓存器的使用量、输入的比特量及输出的比特量来进行编码。超出传送宽带的允许范围的数据引发网络拥塞，并导致无法进行影像的解码。
为了解决所述问题，在编码处理时应通过在网络频道宽带可顺畅地传送的比特率压缩影像，在对应比特率中，需要实现最大画质的码率控制技术，持续开发了对此的多种算法。
通常，若设定目标比特率，将位计数(或比特量)和量化参数之间的关系作为函数建模来确定预测有可能会发生目标位计数(bitcount)的量化参数，随着利用通过所述建模预测的量化参数执行编码，发生与实际位计数相对应的位串，根据对之前编码的块的量化参数和实际发生位串来更新之前建模的关系函数的方式调节量化参数和比特率。
并且，在所述码率控制过程中，与目标比特率相对应的目标位计数通过漏桶算法(Leaky bucket)模型增加或减少地调节如编码图片缓存区(CPB，Coded Picture Buffer)的图片缓存级别以防溢出或下溢，通过适当的比特率和量化参数之间的调节，可体现考虑到缓存级别和目标比特率的最大画质。
另一方面，上下文自适应二进制算术编码(context-based adaptive binaryarithmetic coding)为在如ITU-T H.264/MPEG4、AVC及HEVC标准的几个编码标准中，当前支援的一类型的熵编码技术，上下文自适应二进制算术编码可包括具有二值化、上下文模型选择和二进制算术编码的伴随多个平台的过程。在二值化中，任意比(non)二进制符号与二进制序列(也称为空(bin)字符串)相匹配。在上下文建模中，模型概率分布分配于待编码的元素(例如，符号)。之后，后续二进制算术编码阶段中，为了发生形成根据所分配的模型概率分布编码的元素的已编码的表现的比特序列，分配的概率分布用于执行编码。即，上下文自适应二进制算术编码过程了解在已知的上下文中的元素的概率，由此，定义视频流的元素没有损失地被压缩。
只是，上下文自适应二进制算术编码处理在硬件编码器中体现，其执行速度具有与编码比特率呈比例的问题。因此，如图1的(A)所示，若使上下文自适应二进制算术编码模块通过其他硬件块与流水线进行操作，则除上下文自适应二进制算术编码之外的其他硬件与比特率无关地恒定维持执行速度，因上下文自适应二进制算术编码的执行延迟，当发生比特率大的块时，会存在发生流水线停顿(PIPELINE STALL)的问题。
图1的(B)为了解决所述问题而减去与其他硬件之间的速度差异，上下文自适应二进制算术编码可包括与通过流水线连接的其他硬件离线个别操作的结构。可将其出称为离线上下文自适应二进制算术编码模块。离线上下文自适应二进制算术编码模块至少延迟一个帧以上来操作，由此，可减去因与其他硬件之间的速度差的流水线停顿，可保障基于此的规定编码速度。
但是，在将当前离线上下文自适应二进制算术编码与所述码率控制技术联系的情况下，通过用于关系式更新的上下文自适应二进制算术编码的位计数为至少延迟一帧的帧的位计数，因此，发生无法实时实现准确地码率控制的问题。
尤其，如场面变化，在输入YUV值的特性很大程度改变的情况下，无法呈现出改变的特性，从而发生缓存模型溢出等码率控制性能降低的问题。
发明内容
本发明为解决所述问题而提出的，其目的在于，提供支援离线上下文自适应二进制算术编码的视频编码工序的基于比特预测的比特率控制方法及其装置，从而，可防止在体现离线上下文自适应二进制算术编码的过层中所发生的码率控制性能降低，并可以使错误发生最小化。
为解决上述技术问题，根据本发明的实施例的方法，作为在视频编码处理中控制比特率的方法，包括如下步骤：根据目标比特率设定，确定针对码率量化模型的输入位计数；以及基于所述输入位计数，将通过所述码率量化模型确定的量化参数值提供至编码部，其中，所述码率量化模型根据从在所述编码部编码的当前或延迟帧的二进制计数(bincount)信息和从离线上下文自适应二进制算术编码(CABAC：Context-adaptive binaryarithmetic coding)模块获取的所述延迟帧的延迟位计数信息预测的预测位计数(bitcount)信息进行更新。
为解决上述技术问题，根据本发明的实施例的装置，作为在视频编码处理的比特率控制装置，包括：输入比特分配部，根据目标比特率设定，确定针对码率量化模型的输入位计数；以及码率量化建模部，基于所述输入位计数，将通过所述码率量化模型确定的量化参数值提供至编码部，其中，所述码率量化模型根据从在所述编码部编码的当前或延迟帧的二进制计数信息和从离线上下文自适应二进制算术编码模块获取的所述延迟帧的延迟位计数信息预测的预测位计数信息进行更新。
另外，用于解决上述问题的根据本发明的实施例的方法存储为用于执行上述方法的程序，从而可实现为计算机可读取的记录介质。
根据本发明的实施例，离线上下文自适应二进制算术编码处理中，以所输出的延迟帧的位计数信息和编码处理的二进制计数信息为基础，预测当前帧的位计数信息，利用预测位计数信息执行比特率量化模型的更新，利用更准确的位计数信息来防止在体现离线上下文自适应二进制算术编码的过程中发生的码率控制性能的降低，并可以使错误发生最小化。
并且，根据本发明的实施例，对用于防止基于所述预测位计数信息的缓存模型的累积错误的延迟位计数信息的水平校正进行处理，由此，可实现准确的缓存级别计算及与目标比特量相对应的位计数分配。
附图说明
图1为用于说明以往的上下文自适应二进制算术编码流水线过程的问题及离线上下文自适应二进制算术编码的图。
图2为用于说明适用根据本发明的实施例的码率控制方法的影像编码装置的结构的图。
图3为用于更加具体说明根据本发明的实施例的码率控制装置的框图。
图4为用于说明根据本发明的实施例的码率控制方法的流程图。
具体实施方式
以下，参照附图详细说明本发明的实施例，以使本发明所属技术领域的普通技术人员简单实施本发明。但是，本发明可体现为多种不同形态，而并不局限于在此说明的实施例。而且，图中，为了明确说明本发明而省略了与说明无关的部分，通过整体说明书，对类似的部分赋予类似的附图标记。
在本发明的说明书整体中，当一个部分与其他部分“相连接”时，这包括“直接连接”的情况，也包括在中间隔着其他元件“间接连接”的情况。
在本发明的说明书整体中，当一个部件位于其他部件的上方时，这包括一个部件直接与其他部件相接的情况，也包括两个部件之间存在其他部件的情况。
在本发明的说明书整体中，当一个部分“包括”其他结构要素时，在没有特别相反的记载的情况下，意味着还包括其他结构要素，而并非意味着排除其他结构要素。在本发明的说明书整体中使用的程度术语“约”、“实质上”等是当在提及含义揭示固有的制作及物质允许误差时，指所述数值或接近所述数值的含义，为了帮助理解本发明，为了防止准确或绝对数值由非法人员不正当侵害提及的揭示内容而使用。在本发明的说明书整体中所使用的程度术语“步骤”或“的步骤”并不意味着“用于-的步骤”。
在本发明的说明书整体中，马库什形式的表现中所包含的这些的组合术语意味着选自由在马库什形式的表现中记载的结构要素组成的组中的一个以上的混合或组合，包括选自由所述结构要素组成的组中的一个以上。
作为编码实际影像和其的深度信息图的方法的一例，在至今开发的视频编码标准中，利用具有最高的编码效率的由运动图像专家组(MPEG：Moving Picture ExpertsGroup)和视频编码专家组(VCEG：Video Coding Experts Group)共同标准化的高效视频编码(HEVC：High Efficiency Video Coding)来执行编码，但并不局限于此。
通常，编码装置包括编码过程(或编码处理)和解码过程，解码装置包括解码过程。解码装置的解码过程与编码装置的解码过程相同。
并且，根据本发明的实施例的码率控制器一般用于编码装置。因此，以下，以编码装置为主进行说明。
图2示出视频编码装置的结构的框图。
参照图2，视频编码装置100包括图片分割部110、变换部120、量化部130、扫描部131、熵编码部140、帧内预测部150、帧间预测部160、逆量化部135、逆变换部125、后处理部170、图片存储部180、减法部190及加法部195。
图片分割部110分析输入的视频信号来将图片在每个编码树单元(CTU：CodingTree Unit)分割为规定大小的编码单元来确定预测模式，按所述编码单位确定预测单元的大小。
而且，图片分割部110根据预测模式(或预测方法)向帧内预测部150或帧间预测部160发送待编码的预测单元。并且，图片分割部110向减法部190发送待编码的预测单元。
图片由多个切片构成，切片可由作为多个最大编码单位的编码树单元构成。
所述编码树单元可被分割为多个编码单位，编码器可在比特流增加呈现出是否分割的信息(flag)。解码器可利用地址(CtuAddr)识别编码树单元的位置。
在不需要分割的情况下的编码单元被视为预测单元(PU：Prediction unit)，解码器可利用预测单元索引识别预测单元的位置。
预测单元PU可分为多个分区。并且，预测单元可由多个变换单元构成。
在此情况下，图片分割部110以基于确定的编码模式的规定大小的块单元(例如，预测单元或变换单元)向减法部190发送影像数据。
视频编码单元使用编码树单元，此时，编码树单元呈多种矩形形状。编码树单元包括编码单元。
编码单元呈四叉树(Quad Tree)形状，当具有编码单元的最大大小即64×64大小时，将深度(Depth)为0，通过递归(Recursive)找出最佳的预测单元来执行编码直至深度为3，即直至8×8大小的编码单位。
执行预测的预测单元被定义为PU，各个编码单元执行被分割为多个块的单元的预测，分成正方形和矩形形态来执行预测。
变换部120变换所输入的预测单元的原始块和在帧内预测部150或帧间预测部160生成的预测块的残差信号的残差块。所述残差块由编码单元或预测单元构成。由编码单元或预测单元构成的残差块被分割为最佳的变换单元并变换。根据预测模式(intra orinter)可确定不同变换矩阵。并且，帧内预测的残差信号根据预测模式具有方向性，因此，根据帧内预测模式，可确定适用性变换矩阵。
变换单位可通过2个(水平、垂直)一维变换矩阵变换，例如，帧间预测的情况下确定事先确定的一个变换矩阵。
一方面，帧内预测情况下，在帧内预测模式为水平时，残差块具有垂直方向的方向性地概率变高，因此，垂直方向适用基于DCT的整数矩阵，水平方向适用基于DST或基于KLT的整数矩阵，帧内预测模式为垂直时，垂直方向适用基于DST或基于KLT的整数矩阵，水平方向适用基于DCT的整数矩阵。
在DC模式下两方向均可适用基于DCT的整数矩阵。而且，帧内预测情况下，可基于变换单元的大小自适应地确定变换矩阵。
量化部130确定用于量化通过所述变换矩阵变换的残差块的系数的量化步长，可按照预设大小以上的编码单元(以下，称为量化单元)确定量化步长。
所述预先确定的大小可为8×8或16×16。并且，利用所确定的根据量化步长及预测模式而确定的量化矩阵对多个所述变换块的系数进行量化。
量化部130作为当前量化单元的量化步长的预测子，可以利用与当前量化单元相邻的量化单元的量化步长。
量化部130以当前量化单元的左侧量化单元、上侧量化单元、左上侧量化单元的顺序进行搜索，可利用1个或2个有效的量化步长生成当前量化单元的量化步长预测子。
例如，可将由所述顺序搜索的有效的第一个量化步长确定为量化步长预测子，或者可将由所述顺序搜索的有效的2个量化步长的平均值确定为量化步长预测子，或者在只有1个有效时，可将其确定为量化步长预测子。
若确定所述量化步长预测子，则将当前编码单元的量化步长和所述量化步长预测子之间的差分值传送至熵编码部140。
一方面，当前编码单元的左侧编码单元、上侧编码单元、左上侧编码单元可以都不存在。相反在最大编码单元内的编码顺序上可以存在之前存在的编码单元。
因此，按照编码的顺序，在与当前编码单元相邻的量化单元和所述最大编码单元内紧前面的量化单元的量化步长可成为候选。
此时，可以以1)当前编码单元的左侧量化单元、2)当前编码单元的上侧量化单元、3)当前编码单元的左上侧量化单元、4)按照编码顺序紧前面的量化单元的顺序设定优先顺序。所述顺序可以改变，还可以省略所述左上侧量化单元。
所述经量化的变换块被传送至逆量化部135和扫描部131。
扫描部131对经量化的变换块的系数进行扫描并将它们变换成一维量化系数。由于量化后的变换块的系数分布会取决于帧内预测模式，因此，根据帧内预测模式确定扫描方式。
并且，可以根据变换单位的大小不同地确定系数扫描方式。所述扫描方式可根据方向性帧内预测模式而不同。量化系数的扫描顺序可以在相反方向上扫描。
当所述经量化的系数被分割为多个子集时，对每个子集内的量化系数适用相同的扫描方式。子集之间的扫描方式适用Z字形扫描或对角线扫描。优选地，所述扫描方式从包括DC的主子集扫描到正向的剩余子集，但是，也可以进行反向扫描。
另外，可以以与子集中经量化的系数的扫描方式相同的方式设置子集之间的扫描方式。此时，可根据帧内预测模式确定子集之间的扫描方式。另一方面，编码器将可以指示在所述变换单元中非零的最后量化系数的位置的信息传送至解码器。
将指示在每个子集中非零的最后量化系数的位置的信息也传送至解码器。
逆量化部135对如上所述经量化的量化系数进行逆量化，逆变换部125将经逆量化的变换系数重建为空间区域的残差块。加法部相加由所述逆变换部重建的残差块和自帧内预测部150或帧间预测部160接收的预测块生成重建块。
后处理部170可以执行解块滤波过程，以消除在重建的图像中产生的方块效应；自适应偏移适用过程，以像素单位补偿与原始图像之间的差值；以及自适应环路滤波，以编码单元补偿与原始图像之间的差值。
解块滤波过程可适用于具有预定大小以上的大小的预测单元及变换单元的边界。
所述解块滤波过程包括：确定待滤波的边界(bounary)的步骤；确定适用于所述边界的边界滤波强度的步骤；确定是否适用解块滤波器的步骤；以及确定适用解块滤波器时，选择适用于所述边界的滤波器的步骤。
是否适用所述解块滤波器取决于i)所述边界滤波强度是否大于0；以及ii)与所述待滤波的边界相邻的2个块(P块、Q块)边界部份的像素值是否小于表示变化程度的值的量化参数所确定的第一参考值。
所述滤波器优选至少为2个。若位于块边界的2个像素之间的差值的绝对值大于或等于第二参考值，则选择执行相对弱滤波的滤波器。
所述第二参考值由所述量化参数和所述边界滤波强度而确定。
自适应偏移适用过程用于减小适用解块滤波的影像内的像素和原始像素之间的差值(distortion)，可以以图片或切片单位确定是否适用自适应偏移。
图片或切片可分割为多个偏移区域，对每个偏移区域确定偏移类型，所述偏移类型可包括预定数量(例如4个)的边缘偏移类型和2个带偏移类型。
当偏移类型为边缘偏移类型时，确定各像素所属的边缘类型来适用与其相对应的偏移，所述边缘类型基于与当前像素相邻的2个像素值的分布来确定。自适应环路滤波可适用于所述确定的ALF包含在4×4大小或8×8大小的块的像素整体。
是否适用自适应环路滤波器可取决于各个编码单元。可根据各个编码单元，所适用的环路滤波器的大小及系数不相同。显示各个编码单元是否适用所述自适应环路滤波器的信息可包含在各个切片首标。只是，所述自适应环路滤波过程可根据编码标准方式的变更而省略。
在色差信号的情况下，可通过像素单元确定是否适用自适应环路滤波器。与亮度不同，环路滤波器的形态也可呈矩形形态。
自适应环路滤波可按切片确定是否适用。因此，表示在当前切片是否适用自适应环路滤波的信息包含在切片首标或图片首标。
若表示在当前切片适用了自适应环路滤波，则切片首标或图片首标进一步包含表示用于自适应环路滤波过程的亮度成分的水平及/或垂直方向的滤波器滤波器长度的信息。
切片首标或图片首标可包括表示滤波器滤波器组数的信息。此时，若滤波器组数为2以上，则滤波器系数可使用预测方法来编码。因此，切片首标或图片首标可包括表示滤波器系数是否通过预测方法编码的信息，在使用预测方法的情况下，包含预测的滤波器系数。
另一方面，不仅是亮度，还可以自适应地过滤色差成分。因此，切片首标或图片首标可包含表示是否过滤色差成分的信息。在此情况下，为了减少比特数，可联合编码(即，多重编码)表示是否对Cr和Cb进行过滤的信息。
此时，在色差成分的情况下，为了减小复杂度，均不过滤Cr和Cb的情况最为频繁，因此，在均不过滤Cr和Cb的情况下，分配最小的索引来执行熵编码。
而且，在均过滤Cr及Cb的情况下，分配最大的索引来执行熵编码。
图像存储部180从后处理部170接收经后处理的影像数据，并以图像单位重建影像进行存储，图像可为帧单位的影像或场单位的影像。图片存储部180具备可以存储多个图片的缓存器(省略图示)。
帧间预测部160可以使用存储在所述图片存储部180中的至少一个参考图像执行运动估计，并可以确定表示参考图片的参考图片索引和运动矢量。
并且，根据所确定的参考图像索引和运动矢量从存储在图片存储部180中的多个参考图片中用于运动估计的参考图像提取对应于待编码的预测单元的预测块。
帧内预测部150利用包括当前预测单元的图片中重建的像素值来执行帧内预测编码。
帧内预测部150接收待预测编码的当前预测单元，并根据当前块的大小选择预先设定的数量的帧内预测模式中的一个来执行帧内预测。
帧内预测部150可以自适应地滤波参考像素来生成帧内预测块，在不能利用参考像素时，可以利用可用参考像素来生成参考像素。
熵编码部140可以对通过量化部130量化的量化系数、自帧内预测部150接收的帧内预测信息、自帧间预测部160接收的运动信息等进行熵编码。
此处，根据本发明的实施例的熵编码部140可以与其他结构要素独立操作，由此，影像编码装置可以区分为编码部100及熵编码部140来说明，但这只是方便说明熵编码部140而区分的，编码部100的其他一个以上的结构要素也可以结合或分离，这是明确的。
尤其，根据本发明的实施例，熵编码部140可包括根据本发明的实施例的离线上下文自适应二进制算术编码模块141，与通过流水线连接的其他硬件独立处理计算。基本上，如图1的(B)所示，处理相同操作，可解决因随着比特码率增加而发生的与其他硬件之间的速度差异而引起的流水线停顿问题。
而且，如图1的(B)所示，根据本发明的实施例的离线上下文自适应二进制算术编码模块140也可以处理延迟一帧以上的帧，由此可简单地与其他硬件同步。
而且，为了解决由此发生的所述问题等，根据本发明的实施例的熵编码部140的离线上下文自适应二进制算术编码模块141与根据本发明的实施例的码率控制装置200联动，可用于确定处理影像编码装置的预测编码及量化的编码部100的操作所需的适当量化参数值。为此，离线上下文自适应二进制算术编码模块141向码率控制装置200传递延迟的位计数，在码率控制装置200中确定预测位计数信息。对此，参照图3更加具体说明。
图3为用于更具体说明根据本发明的实施例的码率控制装置的框图。
参照图3，根据本发明的实施例的码率控制装置200可包括输入比特分配部210、码率量化建模部220、比特预测部(230)及缓存建模部240，与影像编码装置的编码部100及离线上下文自适应二进制算术编码模块141联动来向编码部100提供以预测位计数信息和目标位计数为基础的量化参数值。例如，量化参数值可用于编码部100的量化处理，由此可调节画质。
尤其，根据所述结构的本发明的实施例，根据目标比特率设定确定对码率量化模型的输入位计数，以所述输入位计数为基础，可以向编码部100提供通过所述码率量化模型确定的量化参数值，所述码率量化模型根据从在所述编码部100中编码的当前或延迟帧的二进制计数信息和从离线上下文自适应二进制算术编码模块141获取的所述延迟帧的延迟位计数信息预测的预测位计数信息来更新。其中，所述离线上下文自适应二进制算术编码模块141与所述编码部的硬件流水线非同步操作，对与在所述编码部处理的当前帧相比延迟预先设定的延迟值的之前帧的文脉适应性二进制算术编码进行处理。
更具体地，输入比特分配部210可根据用户输入或设定接收目标比特率，以输入的目标比特率和缓存建模部240的缓存级别信息为基础确定输入位计数。
并且，输入比特分配部210可参考缓存级别信息来调节位计数。输入比特分配部210可以执行以下处理，即在缓存建模部240的缓存级别接近溢出的情况下减少输入位计数，或者与下溢接近的情况下，增加输入位计数。
而且，输入比特分配部210向码率量化建模部220输出所确定的输入位计数。
码率量化建模部220以输入位计数为基础来适用于预先确定的码率量化模型，来确定可实现目标比特率的量化参数值，并向编码部100输出所述量化参数值。
码率量化建模部220能够以函数形态具有基于用于码率控制的比特分配模型的码率量化模型。尤其，根据本发明的实施例的码率量化模型函数可包括以量化参数值和从比特预测部230预测的预测位计数信息为基础形成的差分函数形态的预测模型。并且，根据编码器的复杂度和预测性能，可预先设定适当的码率量化模型，除量化参数值及量化预测位计数信息之外，还可利用用于预测最佳的量化参数的其他多种信息。
根据所述结构，以往的码率量化模型函数以量化参数＝F(输入位计数)的形态体现，若通过在实际编码部100输出的位计数更新，则根据本发明的实施例的码率量化建模部220的量化模型函数可利用从比特预测部230输出的预测位计数信息来更新。
而且，比特预测部230利用从编码部100输出的二进制计数信息和从离线上下文自适应二进制算术编码模块141输出的延迟帧的延迟位计数信息来计算适用于码率量化建模部220的预测位计数信息，向码率量化建模部220和码率建模部缓存建模部240输出预测位计数信息。
更具体地，比特预测部230可从离线上下文自适应二进制算术编码模块141接收与延迟帧相对应的位计数信息。
并且，比特预测部230可从编码部100接收包含如下信息的进制计数信息：与领先离线上下文自适应二进制算术编码模块141中设定的延迟值的之前的帧(延迟帧)相对应的常规二进制计数信息(Prev regular bin count)、与所述之前帧相对应的旁路二进制计数信息(Prev bypass bin count)、当前帧的常规二进制计数信息(Curr regular bincount)、当前帧的旁路二进制计数信息(Curr bypass bin count)。
而且，比特预测部230可按如下数学式1计算延迟帧的常规位计数(Prev regularbit count)值。
数学式1
上一个常规计数信息＝上一个位计数-上一个旁路位计数
所述数学式1在上下文自适应二进制算术编码过程中，因旁路二进制计数与旁路位计数值极为类似而导出，利用其来预测延迟帧的常规位计数值。
并且，如上所述，比特预测部230利用如上所述计算的延迟帧的常规位计数，如以下数学式2计算常规比特率(regular bit ratio)。
数学式2
常规比特率＝0.5*(常规比特率+上一个常规二进制计数/上一个常规位计数)
根据所述处理，比特预测部230如以下数学式3计算与当前帧相对应的最终预测位计数(estimated bit count)。
数学式3
预测位计数＝当前常规二进制计数*常规比特率+当前旁路二进制计数
如所述数学式1至数学式3，在计算所述预测位计数信息的过程中，所述二进制计数信息可包含当前或延迟帧的常规二进制计数信息和旁路二进制计数信息，比特预测部230利用相加所述当前帧的常规二进制计数乘以常规比特率的值和所述当前帧的旁路二进制计数的值计算所述预测位计数，所述常规比特率可基于从所述延迟帧的旁路二进制计数和所述延迟帧的位计数预测的延迟帧的常规位计数和所述延迟帧的常规二进制计数获取。
由此，可确定离线上下文自适应二进制算术编码模块141中输出的当前帧的预测位计数，而并非确定延迟帧，通过预测位计数可以确定更准确的码率量化模型。
为此，比特预测部230可向码率量化建模部220传递通过所述计算预测的预测位计数信息。由此，码率量化建模部220代替用于更新码率量化模型的实际位计数信息来利用所述预测位计数信息。因此，防止因从离线上下文自适应二进制算术编码模块141利用之前帧的位计数而发生的错误的码率量化模型，通过利用更准确的位计数信息，由此，即使利用离线上下文自适应二进制算术编码模块141，也可设定适当的量化参数值。
另一方面，缓存建模部240以从离线上下文自适应二进制算术编码模块141接收的延迟位计数信息和预测位计数信息为基础来校正缓存级别，向输入比特分配部210传递基于校正的缓存级别的缓存级别信息，由此，可设定为防止因延迟位计数发生的溢出或下溢，并可维持适当的缓存级别。
为此，缓存建模部240可从比特预测部230获取包含当前帧的预测位计数信息和与延迟帧相对应的以往预测位计数信息的预测位计数信息。
而且，缓存建模部240可从离线上下文自适应二进制算术编码模块141接收对延迟帧执行上下文自适应二进制算术编码而发生的实际延迟位计数信息。
而且，缓存建模部240可计算基于所述延迟位计数信息和预测位计数信息的延迟比特误差。例如，缓存建模部2240可执行将所获取的值作为变数的如数学式4的计算。
数学式4
上一个延迟比特误差＝上一个预测位计数-上一个实时位计数
而且，缓存建模部240计算将从用户输入的目标比特率除以帧率的目标位计数值，以所述目标位计数为基础来确定当前缓存级别，可执行利用所述延迟比特误差的校正。因此，缓存建模部240可进行如数学式5的计算。
数学式5
缓存级别＝缓存级别+当前预测位计数-目标位计数-上一个比特误差
如数学式4至数学式5所示，缓存建模部240的缓存级别可通过根据所述预测位计数信息和所述上下文自适应二进制算术编码模块的延迟位计数信息获取的延迟比特误差校正，所述延迟比特误差可根据从所述预测位计数信息获取的所述延迟帧及预测位计数与所述延迟帧的实际位计数之差来确定。由此，所述缓存级别可由在以往缓存级别加上所述当前帧的预测位计数的值减去所述输入位计数和所述延迟比特误差的值来调节。
根据如上所述的缓存级别调节，与目标比特率对应调节的缓存级别被调节为不会因延迟比特误差的累积等而溢出或下溢，因此，在具有离线上下文自适应二进制算术编码模块141的状态下，不会发生缓存级别的错误，可实现顺畅的码率控制。
图4为用于说明根据本发明的实施例的码率控制方法的流程图。
参照图4，根据本发明的实施例的码率控制装置200首先通过比特预测部230和缓存建模部240，从离线上下文自适应二进制算术编码模块141获取延迟帧的延迟位计数信息(S101)。
而且，码率控制装置200通过比特预测部230从编码部100获取二进制计数信息(S103)。
而且，码率控制装置200计算基于二进制计数信息和延迟位计数信息的预测位计数信息(S105)。
其中，用于计算预测位计数信息的计算可利用所述数学式1至数学式3。
之后，码率控制装置200通过码率量化建模部220执行利用所述预测位计数信息的量化模型的更新(S107)。
另一方面，码率控制装置200通过缓存建模部240，以所述预测位计数信息及所述延迟位计数信息为基础来校正缓存级别(S109)。
其中，用于缓存级别校正的延迟比特误差及水平校正计算可利用所述数学式4至5。
而且，若码率控制装置200通过目标比特分配部210输入目标比特率，则与所述目标比特率相对应来计算以所述校正的缓存级别为基础的输入位计数信息，并向码率量化建模部220输入输入位计数(S111)。
由此，码率控制装置200的码率量化建模部220中，计算利用根据预测位计数信息更新的码率量化模型的量化参数值。
由此，所计算的量化参数值向编码部100输入，从而可输出具有与目标比特率相对应的最佳的画质的比特流。
如上所述，根据本发明的实施例，以在离线上下文自适应二进制算术编码处理中输出的延迟帧的位计数信息和编码处理的二进制计数信息为基础来预测当前帧的位计数信息，执行利用预测位计数信息的比特率量化模型的更新，由此，在利用更准确的位计数信息来体现离线上下文自适应二进制算术编码过程中，防止所发生的码率控制性能降低，并可以使错误发生最小化。并且，处理用于防止基于所述预测位计数信息的缓存模型的累积错误的延迟位计数信息的级别校正，由此，可实现准确的缓存级别计算及与目标比特量相对应的位计数分配。
所述本发明的方法被制作成在计算机执行的程序并可存储于计算机可读记录介质，作为计算机可读记录介质，例如包括ROM、RAM、CD-ROM、磁带、软盘、光数据存储设备等。
计算机可读记录介质分散于通过网络连接的计算机系统，通过分散方式存储计算机可读取的代码并执行。而且，用于体现所述方法的功能(function)程序、代码及代码段通过本发明所属技术领域的程序员简单推论。
并且，以上，图示说明了本发明的优选实施例，但本发明并不局限于所述特定实施例，在不超出本发明的技术范围的主旨的情况下，本发明所属技术领域的普通技术人员可进行多种变形实施，这种变形实施不能从本发明的技术思想或展望个别理解。

Claims (15)

1.一种比特率控制方法，作为在视频编码处理中控制比特率的方法，其特征在于，包括如下步骤：
根据目标比特率设定，确定针对码率量化模型的输入位计数；以及
基于所述输入位计数，将通过所述码率量化模型而确定的量化参数值提供至编码部，
其中，所述码率量化模型根据从在所述编码部编码的当前或延迟帧的二进制计数信息和从离线上下文自适应二进制算术编码模块获取的所述延迟帧的延迟位计数信息预测的预测位计数信息进行更新。
2.根据权利要求1所述的比特率控制方法，其特征在于，所述离线上下文自适应二进制算术编码模块与所述编码部的硬件流水线非同步操作，从而处理比在所述编码部处理的当前帧延迟相当于预先设定的延迟值的之前帧的上下文适应性二进制算术编码。
3.根据权利要求1所述的比特率控制方法，其特征在于，还包括计算所述预测位计数信息的步骤，
所述二进制计数信息包含当前或延迟帧的常规二进制计数信息和旁路二进制计数信息，
所述计算的步骤包括：
利用相加所述当前帧的常规二进制计数乘以常规比特率的值和所述当前帧的旁路二进制计数的值计算所述预测位计数。
4.根据权利要求3所述的比特率控制方法，其特征在于，所述常规比特率基于从所述延迟帧的旁路二进制计数和所述延迟帧的位计数预测的延迟帧的常规位计数和所述延迟帧的常规二进制计数获取。
5.根据权利要求1所述的比特率控制方法，其特征在于，
确定所述输入位计数的步骤包括：
根据缓存建模部的缓存级别确定所述输入位计数，
其中，通过根据所述预测位计数信息和所述上下文自适应二进制算术编码模块的延迟位计数信息获取的延迟比特误差校正所述缓存级别。
6.根据权利要求5所述的比特率控制方法，其特征在于，根据从所述预测位计数信息获取的所述延迟帧及预测位计数与所述延迟帧的实际位计数之差，确定所述延迟比特误差。
7.根据权利要求6所述的比特率控制方法，其特征在于，通过在以往缓存级别加上所述当前帧的预测位计数的值中减去所述输入位计数和所述延迟比特误差的值来调节所述缓存级别。
8.一种比特率控制装置，作为视频编码处理的比特率控制装置，其特征在于，包括：
输入比特分配部，根据目标比特率设定，确定针对码率量化模型的输入位计数；以及
码率量化建模部，基于所述输入位计数，将通过所述码率量化模型确定的量化参数值提供至编码部，
其中，所述码率量化模型根据从在所述编码部编码的当前或延迟帧的二进制计数信息和从离线上下文自适应二进制算术编码模块获取的所述延迟帧的延迟位计数信息预测的预测位计数信息进行更新。
9.根据权利要求8所述的比特率控制装置，其特征在于，所述离线上下文自适应二进制算术编码模块与所述编码部的硬件流水线非同步操作，从而进行比在所述编码部处理的当前帧延迟相当于预先设定的延迟值的之前帧的上下文适应性二进制算术编码。
10.根据权利要求9所述的比特率控制装置，其特征在于，还包括：
比特预测部，计算所述预测位计数信息，
其中，所述二进制计数信息包括当前或延迟帧的常规二进制计数信息和旁路二进制计数信息，
所述比特预测部利用相加所述当前帧的常规二进制计数乘以常规比特率的值和所述当前帧的旁路二进制计数的值计算所述预测位计数。
11.根据权利要求10所述的比特率控制装置，其特征在于，所述比特预测部基于从所述延迟帧的旁路二进制计数和所述延迟帧的位计数预测的延迟帧的常规位计数和所述延迟帧的常规二进制计数获取所述常规比特率。
12.根据权利要求8所述的比特率控制装置，其特征在于，还包括：
缓存建模部，确定缓存级别，
其中，所述输入比特分配部根据缓存建模部的缓存级别确定所述输入位计数，所述缓存建模部通过根据所述预测位计数信息和所述上下文自适应二进制算术编码模块的延迟位计数信息获取的延迟比特误差来校正所述缓存级别。
13.根据权利要求12所述的比特率控制装置，其特征在于，根据从所述预测位计数信息获取的所述延迟帧及预测位计数与所述延迟帧的实际位计数之差确定所述延迟比特误差。
14.根据权利要求13所述的比特率控制装置，其特征在于，通过在以往缓存级别加上所述当前帧的预测位计数的值中减去所述输入位计数和所述延迟比特误差的值来调节所述缓存级别。
15.一种存储介质，其特征在于，存储有用于在计算机执行根据权利要求1至7中任一项所述的方法的程序。
CN201880013545.2A 2017-02-24 2018-02-27 比特率控制方法及其装置 Active CN110419215B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170024985A KR101960470B1 (ko) 2017-02-24 2017-02-24 오프라인 cabac을 지원하는 비디오 코딩 프로세스의 비트 예측 기반 비트 레이트 컨트롤 방법 및 그 장치
PCT/KR2018/002394 WO2018155996A1 (ko) 2017-02-24 2018-02-27 오프라인 cabac을 지원하는 비디오 코딩 프로세스의 비트 예측 기반 비트 레이트 컨트롤 방법 및 그 장치

Publications (2)

Publication Number Publication Date
CN110419215A true CN110419215A (zh) 2019-11-05
CN110419215B CN110419215B (zh) 2022-05-13

Family

ID=63253936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880013545.2A Active CN110419215B (zh) 2017-02-24 2018-02-27 比特率控制方法及其装置

Country Status (4)

Country Link
US (1) US10958912B2 (zh)
KR (1) KR101960470B1 (zh)
CN (1) CN110419215B (zh)
WO (1) WO2018155996A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110225343A (zh) * 2019-05-20 2019-09-10 北京佳讯飞鸿电气股份有限公司 一种视频编码的码率控制方法及装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3672242B1 (en) * 2018-12-21 2021-08-18 Axis AB A method of encoding a video sequence
EP3991422A4 (en) * 2019-06-25 2023-06-28 INTEL Corporation Generalized bypass bins and applications for entropy coding
KR102710817B1 (ko) * 2019-07-05 2024-09-26 엘지전자 주식회사 영상 디코딩 방법 및 그 장치
CN110339567B (zh) * 2019-07-17 2023-05-26 三星电子（中国）研发中心 系统资源配置、场景预测模型训练方法和装置
CN113473136B (zh) * 2020-03-30 2024-02-09 炬芯科技股份有限公司 视频编码器及其码率控制装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050180500A1 (en) * 2001-12-31 2005-08-18 Stmicroelectronics Asia Pacific Pte Ltd Video encoding
US20060222063A1 (en) * 2005-04-01 2006-10-05 Bo Zhang Method and system for rate control in a video encoder
CN101518088A (zh) * 2006-09-28 2009-08-26 汤姆森许可贸易公司 针对有效速率控制和增强视频编码质量的ρ域帧级比特分配的方法
US8520734B1 (en) * 2009-07-31 2013-08-27 Teradici Corporation Method and system for remotely communicating a computer rendered image sequence
CN104519354A (zh) * 2013-10-02 2015-04-15 瑞萨电子株式会社 视频编码器及其操作方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100394014B1 (ko) * 2001-06-23 2003-08-09 엘지전자 주식회사 영상 변환 부호화 장치
KR100677128B1 (ko) * 2004-08-30 2007-02-02 삼성전자주식회사 동영상 부호화기의 비트율 제어장치 및 방법
KR101168007B1 (ko) * 2010-08-02 2012-07-26 숭실대학교산학협력단 실시간 비디오 부호화를 위한 적응적인 유닛-레벨 비트율 제어방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050180500A1 (en) * 2001-12-31 2005-08-18 Stmicroelectronics Asia Pacific Pte Ltd Video encoding
US20060222063A1 (en) * 2005-04-01 2006-10-05 Bo Zhang Method and system for rate control in a video encoder
CN101518088A (zh) * 2006-09-28 2009-08-26 汤姆森许可贸易公司 针对有效速率控制和增强视频编码质量的ρ域帧级比特分配的方法
US8520734B1 (en) * 2009-07-31 2013-08-27 Teradici Corporation Method and system for remotely communicating a computer rendered image sequence
CN104519354A (zh) * 2013-10-02 2015-04-15 瑞萨电子株式会社 视频编码器及其操作方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110225343A (zh) * 2019-05-20 2019-09-10 北京佳讯飞鸿电气股份有限公司 一种视频编码的码率控制方法及装置
CN110225343B (zh) * 2019-05-20 2021-07-13 北京佳讯飞鸿电气股份有限公司 一种视频编码的码率控制方法及装置

Also Published As

Publication number Publication date
CN110419215B (zh) 2022-05-13
KR20180098030A (ko) 2018-09-03
WO2018155996A1 (ko) 2018-08-30
US10958912B2 (en) 2021-03-23
US20200068202A1 (en) 2020-02-27
KR101960470B1 (ko) 2019-07-15

Similar Documents

Publication Publication Date Title
CN110419215A (zh) 支援离线cabac的视频编码工序的基于比特预测的比特率控制方法及其装置
JP5290325B2 (ja) Ｃａｂａｃコーダのためのレート歪みモデリングに基づいた量子化
CN103999465B (zh) 自适应性重叠块运动补偿
JP2020017986A (ja) 映像復号化方法、映像符号化方法および記録媒体
KR101238974B1 (ko) 비디오 코더 및 디코더 공동 최적화를 위한 방법 및 시스템
CN101098473B (zh) 一种图像编码方法及装置
EP1727373A2 (en) Method and apparatus for controlling loop filtering or post filtering in block based motion compensated video coding
KR20170021337A (ko) 해시 기반의 블록 매칭의 결과에 기초한 인코더 결정
WO2004030369A1 (en) Real-time video coding/decoding
EP1723796A1 (en) Method, medium, and filter removing a blocking effect
US9210435B2 (en) Video encoding method and apparatus for estimating a code amount based on bit string length and symbol occurrence frequency
WO2019104862A1 (en) System and method for reducing video coding fluctuation
US20060198439A1 (en) Method and system for mode decision in a video encoder
JP2006157881A (ja) 可変長符号化装置及びその方法
JP7171748B2 (ja) ビデオフレームの符号化単位の分割方法、装置、記憶媒体及び電子装置
US10171807B2 (en) Picture-level QP rate control for HEVC encoding
CN108322740B (zh) 一种编码复杂度可控的编码方法
WO2005122588A1 (en) Method for chroma deblocking
US10015484B2 (en) Adaptive scan device and method for scanning thereof
Yang et al. Fast intra encoding decisions for high efficiency video coding standard
US20060262844A1 (en) Input filtering in a video encoder
JP4277530B2 (ja) 画像処理装置および符号化装置とそれらの方法
CN114071158A (zh) 视频编解码中的运动信息列表构建方法、装置及设备
US9438907B2 (en) Motion picture encoding apparatus
CN119767014A (zh) 视频编码方法、装置、电子设备、存储介质、程序产品和生成比特流的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant