CN101553988B - 视频编码方法、视频编码装置 - Google Patents

Abstract

本发明提供一种视频编码方法，其特征为，具有：二进制序列转换步骤，将图像块的编码数据转换成二进制序列的符号；二进制算术编码步骤，根据上下文对二进制序列的各符号进行算术编码；推算步骤，推算针对图像块的编码数据被二进制算术编码时所需的比特数；编码数据决定步骤，根据上述推算步骤中推算的比特数，决定是否对上述编码数据进行二进制算术编码而输出；和上下文更新步骤，对与在上述编码数据决定步骤中决定了进行二进制算术编码而输出的编码数据相对应的上述上下文进行更新，对与在上述编码数据决定步骤中决定了不进行二进制算术编码输出的编码数据相对应的上述上下文不进行更新，在推算步骤中，将针对向二进制算术编码的输入符号的算术编码输出比特数的最大值作为上述比特数。

Description

视频编码方法、视频编码装置

技术领域

本发明涉及利用根据表驱动二进制算数编码引擎(table-driven binary arithmetic coding engine)的CABAC(Context-based Adaptive binary Arithmetic Coding)技术的视频编码方法、视频编码装置以及视频编码程序。 

背景技术

视频编码装置在将从外部输入的活动图像信号数字化后，进行遵循所规定的图像编码方式的编码处理，由此，生成编码数据，即比特流。 

作为图像编码方式之一，有ITU-T建议H.264/AVC(AdvancedVideo Coding)(参照非专利文献1)。H.264/AVC相当于ISO/IEC14496-10 AVC。在H.264/AVC中，针对作为宏块(MB)层以下的编码数据的语法元素(SE)，选择哈夫曼编码系的CAVLC(Context-based Adaptive Variable Length Coding)或算数编码系的CABAC(Context-based Adaptive binary ArithmeticCoding)进行熵编码。而且，非专利文献1的7.3.5 Macroblocklayer syntax中有关于MB层的SE的记载。另外，以下将在H.264/AVC中所规定的内容称为H.264规格。 

与选择CAVLC的情况相比，通过选择CABAC进行熵编码，可以获得平均减少15％左右的编码量的效果。另外，作为H.264/AVC编码器的参照模式，联合模式(Joint Model)方式为人所知(以下，称为一般视频编码装置。)。 

参照图9，对将被数字化的图像帧作为输入、并输出比特流的一般视频编码装置的构成和工作进行说明。图9所示的视频编 码装置具有原图像帧缓冲器10、MB编码装置20、码率控制装置30、和解码图像帧缓冲器40。在图像帧为QCIF(Quarter CommonIntermediate Format)的情况下，原图像帧缓冲器10保存如图10所示的图像数据。图像帧被分割成称为MB的16×16像素的亮度像素、和以8×8像素的色差像素(Cr和Cb)为构成要素的像素块。 

通常，MB编码装置20以从图像帧的左上到右下的光栅扫描的顺序将MB编码。 

码率控制装置30监视MB编码装置20输出的比特流的输出比特数，调整提供给MB编码装置20的量子化参数，进行码率控制以使比特流接近目标的比特数。具体地，如果比特流的比特数比目标的比特数多，则将把量子化宽度设为大的量子化参数提供给MB编码装置20，相反，如果比特流的比特数比目标比特数少，则将把量子化宽度设为小的量子化参数提供给MB编码装置20。 

为了在以后的编码(预测)中使用基于MB编码装置20的解码图像，解码图像帧缓冲器40，在MB编码装置20完成了1MB的编码的时刻，读入基于MB编码装置20的解码图像并保存。 

接下来，对MB编码装置20的内部结构和工作进行说明。如图9所示，MB编码装置20具有：读取(Read)装置210、预测装置220、视频编码(Venc)装置230、熵编码(EC)装置240。读取(read)装置210包括原图像MB存储器211以及参照图像存储器212。视频编码装置230包括转换/量子化器231、逆量子化/逆转换器232以及解码图像MB存储器233。熵编码装置240包括熵编码器241、输出缓冲器242、控制装置243以及上下文复制存储器244。 

在原图像MB存储器211中，保存有原图像帧缓冲器10中所保存的图像帧中的编码对象MB的图像(以下，称为原图像org)。在参照图像存储器212中，保存有解码图像帧缓冲器40中所保存的图像中的、预测编码对象MB来进行编码时所需的图像(以下，称为参照图像ref)。 

预测装置220从保存在解码图像帧缓冲器40以及解码图像存储器233中的参照图像中，检测出可以将原图像适当地编码的预测参数param，并生成预测图像pred和预测误差图像pe。预测参数被提供给熵编码器241。预测误差图像pe被提供给转换/量子化器231。预测误差图像pe被加到逆量子化/逆转换器232的输出中一起计算，作为解码图像被保存在解码图像MB存储器233中。但是，在后面要提到的发生了原图像PCM(Pulse CodeModulation)再编码的情况下，由原图像MB存储器211提供的原图像作为解码图像被保存在解码图像MB存储器233中。 

预测有帧内预测和帧间预测两种。对帧内预测/帧间预测下的预测图像和预测误差图像进行说明。如果执行帧内预测，则参照显示时刻与现在的编码对象图像帧相同的以前的编码图像，利用在图像帧内(空间方向)的像素关联，生成预测图像pred。作为一个例子，图11的说明图表示了将MB更细地分割后的4×4像素块大小的帧内预测的各种模式(关于色差或其他情况下的帧内预测，参照非专利文献1的8.3节Intra prediction process)。 

图11(A)～(I)中的intra_dir是表示帧内预测的方向等的画面内预测方向参数。如果选择帧内预测，则预测装置220就按照画面内预测方向参数intra_dir生成预测图像pred。为了后面的说明，将帧内预测定义为公式1。 

(公式1) 

pred＝intra_prediction(ref，intra_dir) 

在公式1中，intra_prediction()是按照画面内预测方向参数intra_dir，由参照图像ref生成帧内预测图像的函数。 

如果执行帧间预测，则参照显示时刻与现在的编码对象图像帧不同的以前的解码图像，利用图像帧间(时间方向)的关联，生成预测图像pred。作为帧间预测的一个例子，参照图12的说明图，对16×16像素块的帧间预测进行说明(关于其他像素块大小等的帧间预测，参照非专利文献1的8.4节Intra prediction process)。 

图12所示的动态矢量mv_x、mv_y是帧间预测的预测参数。如果选择帧间预测，则预测装置220就按照运动矢量mv_x、mv_y生成预测图像pred。为了以后的说明，将帧间预测定义为公式2.

(公式2) 

pred＝inter_prediction(ref，mv_x，mv_y) 

在公式2中，inter_prediction()是按照运动矢量mv_x、mv_y，由参照图像ref生成帧间预测图像的函数。另外，H.264规格中，运动矢量的像素精度为1/4像素。 

预测装置220利用公式3以及公式4～公式7的成本函数(预测评估值)，检测出生成上述预测图像pred的预测参数param。如果是帧内预测，则预测参数指画面内预测方向intra_dir，如果是帧间预测，则预测参数指运动矢量mv_x、mv_y等(关于其他预测参数，参照非专利文献1的第7节Syntax and semantics)。将对应于所检测出的预测参数param的预测图像pred与原图像org的差分称为预测误差图像pe(参照公式6)。 

(公式3) 

$\mathrm{Cost}\left(\mathrm{param}\right)=\underset{\mathrm{idx}=0}{\overset{15}{\mathrm{\Σ}}}\mathrm{SATD}\left(\mathrm{idx}\right)+\mathrm{\λ}\left(\mathrm{QP}\right)\×R\left(\mathrm{param}\right)$

(公式4) 

$\mathrm{SATD}\left(\mathrm{idx}\right)=0.5\×\underset{x=0}{\overset{3}{\mathrm{\Σ}}}\underset{y=0}{\overset{3}{\mathrm{\Σ}}}|H{\left(\mathrm{idx}\right)}_{\mathrm{xy}}$

(公式5) 

$H\left(\mathrm{idx}\right)=$

$\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& 1& -1& -1\\ 1& -1& -1& 1\\ 1& -1& 1& -1\end{array}\right]\left[\begin{array}{cccc}{\mathrm{pe}}_{\mathrm{idx}}\left(\mathrm{0,0}\right)& {\mathrm{pe}}_{\mathrm{idx}}\left(\mathrm{0,1}\right)& {\mathrm{pe}}_{\mathrm{idx}}\left(\mathrm{0,2}\right)& {\mathrm{pe}}_{\mathrm{idx}}\left(\mathrm{0,3}\right)\\ {\mathrm{pe}}_{\mathrm{idx}}\left(\mathrm{1,0}\right)& {\mathrm{pe}}_{\mathrm{idx}}\left(\mathrm{1,1}\right)& {\mathrm{pe}}_{\mathrm{idx}}\left(\mathrm{1,2}\right)& {\mathrm{pe}}_{\mathrm{idx}}\left(\mathrm{1,3}\right)\\ {\mathrm{pe}}_{\mathrm{idx}}\left(\mathrm{2,0}\right)& {\mathrm{pe}}_{\mathrm{idx}}\left(\mathrm{2,1}\right)& {\mathrm{pe}}_{\mathrm{idx}}\left(\mathrm{2,2}\right)& {\mathrm{pe}}_{\mathrm{idx}}\left(\mathrm{2,3}\right)\\ {\mathrm{pe}}_{\mathrm{idx}}\left(\mathrm{3,0}\right)& {\mathrm{pe}}_{\mathrm{idx}}\left(\mathrm{3,1}\right)& {\mathrm{pe}}_{\mathrm{idx}}\left(\mathrm{3,2}\right)& {\mathrm{pe}}_{\mathrm{idx}}\left(\mathrm{3,3}\right)\end{array}\right]\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& 1& -1& -1\\ 1& -1& -1& 1\\ 1& -1& 1& -1\end{array}\right]$

(公式6) 

pe_idx(y，x)＝org(b4y_idx+y，b4x_idx+x)-pred(b4y_idx+y，b4x_idx+x) 

(公式7) 

λ(QP)＝2^(QP-12)/6

(公式8) 

(b4x_idx，b4y_idx){0≤b4x_idx≤12，0≤b4y_idx≤12} 

另外，公式3是说明H.264中的预测评价值的计算的公式。公式4是说明公式3中的SATD(idx)的计算的公式。公式5是说明公式4中的H(idx)的计算的公式。公式6是说明公式5中的peidx(y，x)的计算的公式。公式7是说明公式3中的λ(QP)的计算的公式。公式8是说明公式6中的b4x、b4y的公式。另外，公式3～公式7中的QP表示：MB的量子化参数；idx表示图10所示的MB内部的4×4模块的编号；b4x、b4y表示对应于idx的4×4模块的左上角的MB内部的坐标。 

接下来，转换/量子化器231将预测装置220提供的预测误差pe，用比MB还要细的模块单位(以下，称为转换块)进行频率转换，从空间域转换到频域。将被转换到频域的预测误差图像 称为转换系数T。 

另外，转换/量子化器231将转换系数T以与由码率控制装置30所提供的量子化参数QP相对应的量子化宽度进行量子化。被量子化的转换系数一般被称为转换量子化值L。为了以后的编码，转换量子化值L被提供给逆量子化/逆转换器232，为了形成比特流，转换量子化值L被提供给熵编码装置240。 

针对被提供给逆量子化/逆转换器232的转换量子化值L来说明以后的工作。 

逆量子化/逆转换器232将由转换/量子化器231所提供的转换量子化值L进行逆量子化，并进一步进行逆频率转换返回到原来的空间域。将被返回到原来的空间域的预测误差图像称为重构预测误差图像pe_rec。 

在由逆量子化/逆转换器232所提供的重构预测误差图像pe_rec中，如对H.264规格中的参照图像进行说明的公式9所示，由预测装置220提供的预测图像pred被加在一起计算，并作为解码图像rec保存在解码图像MB存储器233中。被保存在解码图像MB存储器233中的解码图像rec，在后面被预测装置220或解码图像帧缓冲器40读入而成为参照图像。 

(公式9) 

rec＝pred+pe_rec 

接下来，针对提供给熵编码装置240的转换量子化值L来说明以后的工作。 

熵编码装置240含有熵编码器241、输出缓冲器242、控制装置243、以及上下文复制存储器244。熵编码器241将输入数据进行熵编码，将输出比特提供给输出缓冲器242。控制装置243监视熵编码器241的输出比特数，控制其他装置的工作。上下文复制存储器244是保存后面所述的上下文数据的复制的存储器。 

控制装置243监视熵编码器241的输出比特数，根据控制信号(熵编码控制信号、输出缓冲器控制信号)，对熵编码器241 以及输出缓冲器242进行控制。 

将1MB所有的输入数据进行熵编码，在该输出比特数不超过H.264规格中所规定的上限比特数(例如，参照非专利文献1的Annex A A.3 Levels，则为3200比特)的情况下，控制装置243将根据输出缓冲器控制信号而被保存到输出缓冲器242中的比特作为MB的编码数据来输出。另外，以下将H.264规格中所规定的每1MB的上限比特数称为规定值。 

在对1MB的输入数据进行了熵编码的输出比特数超过MB比特数的规定值的瞬间，控制装置243根据熵编码控制信号，暂时停止熵编码器241的工作，根据输出缓冲器控制信号将输出缓冲器242的比特全部废弃。也就是说，不将此时的输出缓冲器242的内容作为编码数据。在比特废弃后，控制装置243根据熵编码控制信号启动熵编码器241，再编码输入图像数据，以达到规定值以下的比特数。 

接下来，对作为熵编码而选择了CABAC的情况下的熵编码器241的内部结构和工作进行说明。如图13所示，熵编码器241是由包含二进制化装置2411、二进制算术编码装置2412以及上下文建模装置2413的熵编码部2416、开关2414以及开关2415构成。 

针对通过熵编码装置的PCM再编码工作，进行说明。 

熵编码器241首先暂停针对输入数据的熵编码处理。接下来，将上下文复制存储器244中所保存的上下文数据读入上下文建模装置2413。然后，二进制化装置2411生成表示PCM的开始的预测参数bin(binary symbol)，并提供给二进制算术编码装置2412。与此同时，上下文建模装置2413将与bin对应的上下文数据提供给二进制算术编码装置2412。二进制算术编码装置2412使用上下文数据将bin进行算术编码，经由开关2415一边将输出比特导出到输出缓冲器242中，一边将通过算术编码被更新的上下文数据返回到上下文建模装置2413。二进制算术编码装置2412，在表示PCM开始的预测参数bin的算术编码结束之后，将 开关2414进行切换，读入原图像MB存储器211中所保存的图像，在PCM的原样状态下进行再编码，导出到输出缓冲器242中。 

作为再编码处理，通过PCM将没有应用上述转换处理的原图像进行再编码的处理被称为原图像PCM再编码(参照专利文献1)。如果利用原图像PCM再编码，则可以将转换或预测都不起作用的图像，无失真地、并以低于MB比特数的规定值的一定比特数来编码，所以，可以说不仅编码装置的熵编码装置的处理时间，解码侧的熵解码装置的处理时间，也可以保证在一定时间内。 

另外，作为不伴随再编码、遵守MB比特数的规定值的方法，有如下的方法，即，在CABAC前预测MB的MB输出比特数，并切换到利用了编码图像的PCM编码(参照专利文献2)。 

下面，详细说明CABAC的编码处理。 

如图14所示，为了实现CABAC，例如，由二进制化器101、开关111、二进制算术编码器102以及上下文建模器103所构成。另外，图14所示的结构，相当于图13所示的熵编码部2416的结构。上下文建模器103在片段(slice)前列的MB处理之前，使用最初的MB的QP被初始化(参照非专利文献1的9.3.1Initialisation process)。 

二进制化器101按照以规格制定的规则将被输入的SE转换成二进制序列(binary sequence)(关于SE与二进制序列转换的对应，参照非专利文献1的9.2.3Binarization process)。接下来，二进制算术编码器102，利用由上下文建模器103提供的上下文(大概率符号(MPS))和状态指标(state_idx)，将由二进制化器101提供的二进制序列的各符号(bin)进行二进制算术编码。 

另外，上下文的MPS对应于非专利文献1中的valMPS，state_idx对应于非专利文献1中的pStateIdx。一般地，在二进制算术编码中，按照符号的出现概率ρ分割数值线[0，1)将最终部分区间代表点的二进制小数值作为最终的代码字来进行比特输出。3符号的输入(110)的一般的二进制算术编码的工作 例如图15所示。 

在H.264规格的二进制算术编码中，现bin处理时的小概率符号(LPS)的出现概率(rLPS(i))对应于图15中的ρ。rLPS(i)可以用以下的公式10表示。 

(公式10) 

rLPS(i)＝range Tab LRS[state_idx][qCodIrangeIdx]/Rrange(i) 

在此，将Erange(i)(对应于非专利文献中的codIRange)设为现bin处理时的算术范围，将qCodIRangeIdx作为从Erange(i)的高位比特得到的算术范围指标，将rangeTabLPS[64][4](非专利文献1中的table9-35)作为小概率符号范围表(参照非专利文献1的9.3.4 Arithmetic encoding process(informative))。 

二进制算术编码器102使用rLPS(i)，进行相当于下列公式11以及12的演算的处理(参照非专利文献1的9.3.4.2 Encodingprocess for a binary decision(informative))，由此，完成针对1bin的二进制算术编码的处理。在此，Elow(i)(对应于非专利文献1中的codILow)作为现bin处理时的算术下限。作为rLPS(i)有常常成为固定值的Bypass encoding(参照非专利文献1的9.3.4.4 Bypass Encoding process for a binarydecisions(informative))。 

(公式11) 

$\mathrm{Erange}(i+1)=\left\{\begin{array}{ccc}\mathrm{Erange}\left(i\right)-\mathrm{rLRS}\left(i\right)& \mathrm{\Λ}& \mathrm{if}(\mathrm{bin}=\mathrm{MPS})\\ \mathrm{rLPS}\left(i\right)& \mathrm{\Λ}& \mathrm{otherwise}.\end{array}\right.$

(公式12) 

$\mathrm{Elow}(i+1)=\left\{\begin{array}{ccc}\mathrm{Elow}\left(i\right)& \mathrm{\Λ}& \mathrm{if}(\mathrm{bin}=\mathrm{MPS})\\ \mathrm{Erange}\left(i\right)-\mathrm{rLRS}\left(i\right)& \mathrm{\Λ}& \mathrm{otherwise}.\end{array}\right.$

另外，在H.264规格的二进制算术编码中，为了进行符合输 入符号的出现频率的算术编码，在每次1bin的二进制算术编码完成时，按照以下的公式13更新用于bin的二进制算术编码的上下文的MPS，同时，按照state迁移表(非专利文献1的Table9-36)更新上下文的state_idx的值。 

(公式13) 

$\mathrm{MPS}=\left\{\begin{array}{ccc}1-\mathrm{MPS}& \mathrm{\Λ}& \mathrm{if}(\mathrm{state}\_\mathrm{idx}=0\mathrm{ANDbin}\≠\mathrm{MPS})\\ \mathrm{MPS}& \mathrm{\Λ}& \mathrm{Otherwise}.\end{array}\right.$

如上所述，H.264规格的二进制算术编码根据小概率符号范围表和state迁移表管理小概率符号的概率，所以，被称为表驱动二进制算术编码(table-driven binary arithmetic coding)。 

通过对被输入的所有的bin逐次进行上述二进制算术编码，可以获得算术编码输出比特(比特流)。 

专利文献1：日本特开2006-93777号公报 

专利文献2：日本特愿2005-300933号公报 

非专利文献1：ITU-T建议H.264 Advanced video coding forgeneric audiovisual services，2005年5月(Prepublishedversion) 

发明所要解决的第1个课题是提供一种考虑由于算术范围或上下文引起的输出比特的变动，来推算出CABAC的输出比特数的最大值的方法。在建议了无需伴随PCM再编码，而遵守MB比特数的规定值的方法的专利文献2中，关于CABAC的MB输出比特数的推算，经常未考虑推算精度。具体地说，在专利文献2所记载的方法中，存在以下问题，即，由于针对CABAC的输入符号(bin)的个数，利用简单的线性计算来推算CABAC的MB输出比特数，因此，不能考虑到输出比特数会由于算术编码范围或上下文的缘故发生变动。 

发明所要解决的第2个课题是提供一种根据CABAC的bin和上下文，相应地选出合适的推算方法来推算输出比特数的方法。在考虑了输出比特数的变动的推算中，如果针对所有的bin使用 高准确性的推算方法，则虽然可以进行可靠度最高的输出比特数的推算，但是会产生装置面积和计算处理量增大这一另外的问题。 

发明内容

即，本发明的目的是：提供一种考虑到输出比特数会由于算术范围或上下文而发生变化，高准确性地推算针对1个符号、或多个符号的算术编码输出比特数的最大值，来进行视频编码的视频编码方法、视频编码装置以及视频编码程序。 

此外，本发明的另一个目的是：提供一种可以减少伴随输出比特数推算而造成的演算量减少这一问题，并高质量、高准确性地进行输出比特数的推算的视频编码方法、视频编码装置以及视频编码程序。 

解决上述课题的本发明为一种视频编码方法，其特征为，具有：将图像块的编码数据转换成二进制序列的符号的二进制序列转换步骤；根据上下文对二进制序列的各符号进行算术编码的二进制算术编码步骤；推算针对图像块的编码数据被二进制算术编码时所需的比特数的推算步骤；根据上述推算步骤中所推算的比特数，决定是否对上述编码数据进行二进制算术编码输出的编码数据决定步骤；以及对与在上述编码数据决定步骤中决定了进行二进制算术编码输出的编码数据相对应的上述上下文进行更新，对与在上述编码数据决定步骤中决定了不进行二进制算术编码输出的编码数据相对应的上述上下文不进行更新的上下文更新步骤。在上述推算步骤中，将针对向二进制算术编码的输入符号的算术编码输出比特数的最大值作为上述比特数。 

另外，解决上述课题的本发明为一种视频编码装置，其特征为，具有：二进制序列转换部，其将图像块的编码数据转换成二进制序列的符号；二进制算术编码部，其根据上下文对二进制序列的各符号进行算术编码；推算部，其推算针对图像块的编码数据被二进制算术编码时所需的比特数；编码数据决定部，其根据 上述推算部所推算的比特数，决定是否对上述编码数据进行二进制算术编码输出；和上下文更新部，其对与上述编码数据决定部决定了进行二进制算术编码输出的编码数据相对应的上述上下文进行更新，对与上述编码数据决定部决定了不进行二进制算术编码输出的编码数据相对应的上述上下文不进行更新。上述推算部将针对向二进制算术编码的输入符号的算术编码输出比特数的最大值作为上述比特数。 

另外，解决上述课题的本发明为一种视频编码程序。其特征为，使计算机执行以下处理：二进制序列转换处理，将图像块的编码数据转换成二进制序列的符号；二进制算术编码处理，根据上下文对二进制序列的各符号进行算术编码；推算处理，推算针对图像块的编码数据被二进制算术编码时所需的比特数；编码数据决定处理，根据上述推算处理中所推算的比特数，决定是否对上述编码数据进行二进制算术编码输出；以及上下文更新处理，对与在上述编码数据决定处理中决定了进行二进制算术编码输出的编码数据相对应的上述上下文进行更新，对与在上述编码数据决定处理中决定了不进行二进制算术编码输出的编码数据相对应的上述上下文不进行更新。在上述推算处理中，执行将针对向二进制算术编码的输入符号的算术编码输出比特数的最大值作为上述比特数的处理。 

本发明的第1个效果在于，可以提供一种能可靠性高地估算CABAC的算术编码中的输出比特数的视频编码方法、视频编码装置以及视频编码程序。其理由是：因为能按照算术编码的范围或上下文估算输出比特数的变动。 

第2个效果在于，通过利用取得了第1效果的可靠性高的输出比特数的估算，并使用遵守在H.264规格的视频编码方法中的不伴随再编码的MB比特数的规定值等方法，可以提供一种高质量的H.246规格的视频编码方法、视频编码装置以及视频编码程序。其理由是：由于可以应用可靠性高的估算，所以能减少编码比特数相对于MB比特数的规定值多余的部分，例如，可以抑制 由于粗化量子化参数等的方法使被编码的视频的画质变差的规定值的遵守方法。 

附图说明

图1是CABAC中的state_idx与ρLPS的关系说明图。 

图2是表示用于实现根据本发明的第1实施方式的视频编码器中的算术编码输出比特数推算方法的CABAC的熵编码部的结构的框图。 

图3是表示图2所示的熵编码部的工作的流程图。 

图4是表示本发明第2实施方式中的二进制算术编码最大比特数计算器的结构的框图。 

图5是表示图4所示的二进制算术编码最大比特数计算器的工作的流程图。 

图6是表示用于实现根据本发明的第3实施方式的视频编码器中的算术编码输出比特数推算方法的CABAC的熵编码部的结构的框图。 

图7是表示图6所示的熵编码部的工作的流程图。 

图8是表示可以实现本发明的信息处理系统的结构的框图。 

图9是说明一般性视频编码装置的结构的框图。 

图10是说明图像帧(YUV420格式)的结构的说明图。 

图11是说明帧内预测的一个例子的说明图。 

图12是说明帧间预测的一个例子的说明图。 

图13是说明PCM再编码的说明图。 

图14是表示用于实现CABAC的一般的熵编码部的结构的框图。 

图15是说明二进制算术编码的工作例的说明图。

符号的说明 

101    二进制化器 

102    二进制算术编码器 

103    上下文建模器 

104    bin缓冲器 

105    二进制算术编码最大比特数计算器 

106    第2上下文建模器 

107    上下文复制存储器 

110    开关部(PCM再编码开关) 

1050   二进制算术编码最大比特数计算器 

1051   1bin单位计算器 

1052   多bin单位计算器 

1053   累加计算器 

1054   开关部(单位计算器开关) 

1055   开关部(累加计算器开关) 

具体实施方式

说明本发明的实施方式。 

如上所述，通过使用rLPS(i)，可以将针对现bin(第i号的bin)的瞬间的算术编码输出比特数(cabac_bits(i))，通过现bin与MPS的比较，用公式14计算出。公式14是用于计算通过CABAC从1bin输出的比特数的公式。 

(公式14) 

$\mathrm{cabac}\_\mathrm{bits}\left(i\right)=\left\{\begin{array}{ccc}{\log }_2(\mathrm{rLPS}\left(i\right)-1& \mathrm{\Λ}& \mathrm{if}(\mathrm{bin}=\mathrm{MPS})\\ {\log }_2(-\mathrm{rLPS}\left(i\right))& \mathrm{\Λ}& \mathrm{otherwise}.\end{array}\right.$

在此，在H.246规格中，着眼以下两点，即，Erange(i)用固定的比特精度(9比特)来表现，以及rangeTabLPS[64][4]为按照规格规定的固定值。如此一来，即使未来的算术范围Erange(i)的值是不确定的条件(条件1)，对于上下文的state_idx，rLPS(i)可以获取的最大值(max_rLPS(state_idx))以及最小值(min_rLPS(state_idx))也是确定的。即，根据公式15可以正确地计算相对于现bin的cabac_bits(i)的最大值(max_cabac_bits(i))。公式15是用来计算通过CABAC在条件 1下由1bin输出的比特数的最大值的公式。 

(公式15) 

$\max \_\mathrm{cabac}\_\mathrm{bits}\left(i\right)=$

$\left\{\begin{array}{ccc}{\log }_2(\max \_\mathrm{rLPS}(\mathrm{state}\_\mathrm{idx})-1)& \mathrm{\Λ}& \mathrm{if}(\mathrm{bin}=\mathrm{MPS})\\ {\log }_2(-\min \_\mathrm{rLPS}(\mathrm{state}\_\mathrm{idx}))& \mathrm{\Λ}& \mathrm{otherwise}.\end{array}\right.$

也就是说，在CABAC中，用最初的MB进行上下文的state_idx和MPS的初始化，在二进制化和二进制算术编码之间设置保存bin的中间缓冲器，在二进制算术编码前，通过对保存在中间缓冲器中的各bin，进行公式15的计算和基于state迁移表的state_idx迁移计算，可以正确地计算中间缓冲器中保存的bin，即，针对MB层的SE的算术编码输出比特数的最大值。 

而且，不仅未来的算术范围Erange(i)，即使未来的上下文的state_idx是不确定的条件(条件2)，在H.264规格中，若着眼于state_idx通过state迁移表而被管理，另外，针对state_idx的rLPS连续地变化(图1，坐标图的纵轴的ρLPS对应于rLPS)这两点，则针对条件2中的多bin的算术编码输出比特数的最大值(max_sum_cabac_bits)为：一直到当前时刻的state_idx的值变成0为止，连续输入LPS而产生的比特数与state＝0时MPS持续反转而产生的比特数的合计。另外，图1是说明在CABAC中的state_idx(横轴)与ρLPS(纵轴)的关系的图。如果将bin数设为B、将当前时刻的state_idx的值设为s0(s0＝62为最大输出比特数)、将连续输入LPS、从state＝s0到state＝0为止的最大bin数设为L，则可以根据公式16以及公式17计算max_sum_cabac_bits。并且，因为F(ρ)的最大值为1(ρ＝0.5)，所以也可以使用将公式16简化后的公式18。公式16是用来计算通过CABAC在条件2下，从多bin输出的比特数的最大值的公式。公式17是用来计算公式16中的F(ρ)的公式。 

(公式16) 

$\mathrm{Max}\_\mathrm{sum}\_\mathrm{cabac}\_\mathrm{bits}=$

$\left\{\begin{array}{ccc}{\log }_2(-\underset{\mathrm{state}=s0}{\overset{L}{\mathrm{\Π}}}\min \_\mathrm{rPS}\left(\mathrm{state}\right))+(B-L)*F(\min \_\mathrm{rLPS}\left(0\right))& \mathrm{\Λ}& \mathrm{if}(B>L)\\ {\log }_2(-\underset{\mathrm{state}=s0}{\overset{B}{\mathrm{\Π}}}\min \_\mathrm{rLPS}\left(\mathrm{state}\right))& \mathrm{\Λ}& \mathrm{otherwise}.\end{array}\right.$

(公式17) 

F(ρ)＝ρlog₂(-ρ)+(1-ρ)log₂(-(1-ρ))

(公式18) 

$\mathrm{Max}\_\mathrm{sum}\_\mathrm{cabac}\_\mathrm{bits}=$

$\left\{\begin{array}{ccc}{\log }_2(-\underset{\mathrm{state}=s0}{\overset{L}{\mathrm{\Π}}}\min \_\mathrm{rLPS}\left(\mathrm{state}\right))+(B-L)& \mathrm{\Λ}& \mathrm{if}(B>L)\\ {\log }_2(-\underset{\mathrm{state}=s0}{\overset{B}{\mathrm{\Π}}}\min \_\mathrm{rLPS}\left(\mathrm{state}\right))& \mathrm{\Λ}& \mathrm{otherwise}.\end{array}\right.$

因为公式16、公式18的第1项是所规定的state迁移期间的各state的rLPS(state)的最小值的总和，所以是所规定的state迁移期间的rLPS(state)的总和的最小值。 

总结以上内容： 

·即使未来的算术范围Erange(i)的值为不确定，也可以用公式15计算针对1bin的算术编码输出比特数的最大值。 

·可知，即使不仅未来的算术范围Erange(i)，而且未来的上下文的state_idx也不确定，可以用公式16或18计算针对多bin的算术编码输出比特数的最大值计算。 

本发明基于上述2个事实，在视频编码方法、视频编码装置以及视频编码程序中，考虑到输出比特数会由于算术范围或上下文而发生变动，实 现了高精度地推算针对1bin或多bin的算术编码输出比特数的最大值的算术编码输出比特数推算方法。 

即，本发明的视频编码方法的特征为，具有：将图像块的编码数据转换成二进制序列的符号的二进制序列转换步骤；根据上下文对二进制序列的各符号进行算术编码的二进制算术编码步骤；推算针对图像块的编码数据被二进制算术编码时所需的比特数的推算步骤；根据推算步骤中推算的比特数，决定是否对编码数据进行二进制算术编码而输出的编码数据决定步骤；和对与在编码数据决定步骤中决定了进行二进制算术编码输出的编码数据相对应的上下文进行更新，对与在编码数据决定步骤中决定了不进行二进制算术编码输出的编码数据相对应的上下文不进行更新的上下文更新步骤。在推算步骤中，将针对向二进制算术编码的输入符号的算术编码输出比特数的最大值作为比特数。 

视频编码方法也可以这样构成，即，在推算步骤中，通过1个符号单位的计算，求出算术编码输出比特数的最大值，上述1个符号单位的计算使用了小概率符号出现概率的最小值。 

视频编码方法也可以这样构成，即，在推算步骤中，通过多个符号单位的计算，求出算术编码输出比特数的最大值，上述多个符号单位的计算使用了小概率符号连续发生时的小概率符号出现概率的总和的最小值。 

视频编码方法也可以这样构成，即，在推算步骤中，通过1个符号单位的计算，和多个符号单位的计算，求出算术编码输出比特数的最大值，上述1个符号单位的计算使用了小概率符号出现概率的最小值，上述多个符号单位的计算使用了小概率符号连续发生时的小概率符号出现概率的总和的最小值。 

视频编码方法也可以这样构成，具有：计算将图像块转换到频域并量子化的转换量子化值的转换量子化步骤；和输出将图像块进行了非熵编码(不使用熵编码，而作为非压缩数据进行编码)的数据的非熵编码步骤，在编码数据决定步骤中，当推算的比特数超过所规定值的情况下，将PCM模式报头决定作为输出的编码 数据，在非熵编码步骤中，通过二进制算术编码步骤将PCM模式报头进行算术编码输出后，将对重构转换量子化值而得到的图像块或应用转换量子化之前的原图像块的图像进行了非熵编码的PCM数据进行输出。 

本发明的视频编码装置，其特征为，具有：二进制序列转换部(作为一个例子，用二进制化器101实现)，其将图像块的编码数据转换成二进制序列的符号；二进制算术编码部(作为一个例子，用二进制算术编码器102实现)，其根据上下文对二进制序列的各符号进行算术编码；推算部(作为一个例子，用二进制算术编码最大比特数计算器105、1050实现)，其推算针对图像块的编码数据被二进制算术编码时所需的比特数；编码数据决定部(作为一个例子，用二进制算术编码器102实现)，其根据推算部推算的比特数，决定是否对编码数据进行二进制算术编码输出；和上下文更新部(作为一个例子，用二进制算术编码器102实现)，其对与编码数据决定部决定了进行二进制算术编码输出的编码数据对应的上下文进行更新，对与编码数据决定部决定了不进行二进制算术编码而输出的编码数据对应的上下文不进行更新，推算部将针对向二进制算术编码的输入符号的算术编码输出比特数的最大值作为比特数。 

视频编码装置也可以这样构成，即，推算部通过1个符号单位的计算(参照公式15)，求出算术编码输出比特数的最大值，上述1个符号单位的技算使用了小概率符号出现概率的最小值。 

视频编码装置也可以这样构成，即，推算部通过多个符号单位的计算(参照公式16、18)，求出算术编码输出比特数的最大值，上述多个符号单位的计算使用了小概率符号连续发生时的小概率符号出现概率的总和的最小值。 

视频编码装置也可以这样构成，即，推算部通过1个符号单位的计算，和多个符号单位的计算，求出算术编码输出比特数的最大值，上述1个符号单位的计算使用了小概率符号出现概率的最小值，上述多个符号单位的计算使用了小概率符号连续发生时的小概率符号出现概率的总和的最小值。 

视频编码装置也可以这样构成，即，具有：计算将图像块转换到频域并量子化的转换量子化值的转换量子化部；和输出将图像块进行了非熵编码的数据的非熵编码部，当推算的比特数超过所规定值的情况下，编码数据决定部将PCM模式报头决定作为输出的编码数据，在二进制算术编码部将PCM模式报头进行算术编码输出后，非熵编码部输出PCM数据，该PCM数据对重构转换量子化值而得到的图像块或应用转换量子化之前的原图像块的图像进行了非熵编码。 

本发明的视频编码程序，其特征为，使计算机执行以下处理：二进制序列转换处理，将图像块的编码数据转换成二进制序列的符号；二进制算术编码处理，根据上下文对二进制序列的各符号进行算术编码；推算处理，推算针对图像块的编码数据被二进制算术编码时所需的比特数；编码数据决定处理，根据推算处理中推算的比特数，决定是否对编码数据进行二进制算术编码输出；和上下文更新处理，对与在编码数据决定处理中决定了进行二进制算术编码输出的编码数据对应的上下文进行更新，对与在编码数据决定处理中决定了不进行二进制算术编码输出的编码数据对应的上下文不进行更新，在推算处理中执行将针对向二进制算术编码的输入符号的算术编码输出比特数的最大值作为比特数的处理。 

视频编码程序也可以这样构成，即，在计算机中执行以下处理：在推算处理中，通过1个符号单位的计算，求出算术编码输出比特数的最大值，上述1个符号单位的计算使用了小概率符号出现概率的最小值。 

视频编码程序也可以这样构成，即，在计算机中执行以下处理：在推算步处理中，通过多个符号单位的计算，求出算术编码输出比特数的最大值，上述多个符号单位的计算使用了小概率符号连续发生时的小概率符号出现概率的总和的最小值。 

视频编码程序也可以这样构成，即，使计算机执行以下处理：在推算处理中，通过1个符号单位的计算，和多个符号单位的计 算，求出算术编码输出比特数的最大值，上述1个符号单位的计算使用了小概率符号出现概率的最小值，上述多个符号单位的计算使用了小概率符号连续发生时的小概率符号出现概率的总和的最小值。 

视频编码程序也可以这样构成，即，使计算机执行以下处理：计算将图像块转换到频域并量子化的转换量子化值的转换量子化处理；和输出将图像块进行了非熵编码的数据的非熵编码处理，在编码数据决定处理中，当推算的比特数超过所规定值的情况下，将PCM模式报头决定作为输出的编码数据，在非熵编码处理中，在通过二进制算术编码处理将PCM模式报头算术编码输出后，输出PCM数据，该PCM数据对重构转换量子化值而得到的图像块或应用转换量子化之前的原图像块的图像进行了非熵编码。 

下面参照附图说明本发明的具体实施方式。 

实施方式1 

图2是表示用来实现本实施方式的CABAC的熵编码部的框图。若用来实现本实施方式的CABAC的熵编码部、与图14所示的熵编码进行比较，则还具有bin缓冲器104、二进制算术编码最大比特数计算器105、第2上下文建模器106以及开关部(PCM再编码开关)110。并且，在本实施方式中，二进制算术编码器102具有根据推算出的比特数，决定是否将编码数据进行二进制算术编码输出的功能。另外，在第1～第3实施方式中，熵编码器241的构成虽然不同，但视频编码装置的整体构成与图9所示的构成相同。 

二进制化器101与图14所示的相同，按照用规格(例如，H.264规格)规定的规则，将被输入的MB层的SE转换成二进制序列。然后，将二进制序列保存在bin缓冲器104中。接下来，二进制算术编码最大比特数计算器105，针对被保存在bin缓冲器104的二进制序列的各bin，逐次利用由第2上下文建模器106提供的上下文，用公式15计算针对各bin的算术编码输出比特数的最大值，将该累加值作为最大比特数(相当于所推算的二进 制算术编码时所需的比特数)输出。 

在用熵编码装置进行PCM再编码时，在基本工作中，将被保存在上下文复制存储器244中的上下文数据读入上下文建模器103。然后，二进制化器101生成表示PCM开始的预测参数的bin，提供给二进制算术编码器102。与此同时，上下文建模器103将对应于bin的上下文数据提供给二进制算术编码器102。二进制算术编码器102，使用上下文数据将bin进行算术编码，并一边经由开关部110将输出比特输出到输出缓冲器242，一边将通过算术编码而更新的上下文数据返回到上下文建模器103。二进制算术编码器102，在结束了表示PCM开始的预测参数的bin的算术编码后，读入保存在原图像MB存储器211中的图像，以PCM的原样状态进行再编码，并输出到输出缓冲器242中。 

在本实施方式中，二进制算术编码器102监视由二进制算术编码最大比特数计算器105所提供的最大比特数，如果最大比特数在所规定的阈值(例如3200比特)以下，则与图14所示的相同，利用由上下文建模器103提供的上下文，将保存在bin缓冲器104中的二进制序列的各bin进行二进制算术编码。如果最大比特数比所规定的阈值多，则二进制算术编码器102仅将相当于与PCM编码对应的MB层的SE(PCM模式报头)的二进制序列的各bin进行二进制算术编码。通过进行这样的处理，可以防止：与决定了不进行二进制算术编码输出的编码数据相对应的上下文不被更新，而之后的MB的二进制算术编码所需的上下文被错误地更新。 

开关部110监视由二进制算术编码最大比特数计算器105所提供的最大比特数，如果最大比特数是在所规定的阈值以下，则只选择二进制算术编码器102的输出作为比特流输出到外部。如果最大比特数比所规定的阈值多，则开关部110，在将二进制算术编码器102的输出(相当于对应PCM编码的MB层的SE的二进制算术编码数据)作为比特流提供给外部之后，选择由外部提供的图像数据作为PCM数据再作为比特流提供给外部。并且，在 H.264规格中，作为非熵编码来规定PCM编码。即，开关部110在选择由外部提供的图像数据的情况下，会输出将图像进行了非熵编码的PCM数据。 

在此应该注意的是：在第2上下文建模器106中保存的上下文常常与保存在上下文建模器104中的上下文同步。也就是说，在由二进制算术编码最大比特数计算器105所提供的最大比特数超过所规定的阈值的情况下，熵编码部用上下文建模器104中所保存的上下文来更新第2上下文建模器106中所保存的上下文。 

另外，由外部所提供的图像数据可以是对应的MB的原图像数据，也可以是将对应的MB进行了编码后的编码图像数据。 

下面，参照图3的流程图，来说明实现本实施方式的CABAC的熵编码部的工作。 

本实施方式的熵编码部，在MB层SE的CABAC之际，将MB最大比特计数(mb_max_bit)的值初始化为0。然后，初始化之后，进行下面要说明的6个步骤的处理。 

在步骤S101中，二进制化器101按照用规格规定了MB层的SE的规则，将MB层的所有SE转换成二进制序列，并保存到bin缓冲器104。然后，转移到步骤S102。 

在步骤S102中，二进制算术编码最大比特数计算器105针对bin缓冲器104中所保存的二进制序列的各bin，利用由第2上下文建模器所提供的上下文，用公式15计算各bin的算术编码输出比特的最大值，用公式19来更新MB最大比特计数。然后，转移到步骤S103。公式19是在本实施方式中的编码量推算的计算公式。 

(公式19) 

mb_max_bit＝mb_max_bit+cabac_bits(i) 

在步骤S103中，二进制算术编码最大比特数计算器105针对bin缓冲器104中所保存的二进制序列的各bin，判断是否应用了步骤S102的全部处理，如果是全部都应用了，则转移到步 骤S104，如果不是，则转移到步骤S102。另外，作为转移到步骤S104的条件，还可以追加mb_max_bit是否超过3200(阈值)。 

在步骤S104中，二进制算术编码器102判断mb_max_bit是否在3200比特以下，如果是在3200比特以下，则转移到步骤S105，如果不是，则转移到步骤S106。 

在步骤S105中，二进制算术编码器102利用从上下文建模器103所提供的上下文，对bin缓冲器104中所保存的二进制序列的各bin进行二进制算术编码。针对bin缓冲器104中所保存的二进制序列的各bin的二进制算术编码完成之后，结束MB的CABAC处理。 

在步骤S106中，开关部110，在将相当于与PCM编码相对应的MB层的SE的二进制算术编码数据输出之后，将图像数据作为PCM数据输出。接下来，为了后续的MB，用上下文建模器104中所保存的上下文更新第2上下文建模器106中所保存的上下文之后，结束MB的CABAC处理。 

像上面所述的那样进行本实施方式中的CABAC的处理。在本实施方式中，考虑到由于算术范围或上下文的缘故而输出比特数发生变动，并高精度地推算对1bin的算术编码输出比特数的最大值。因而，通过利用用来实现本实施方式的CABAC的熵编码部，可以高精度地推算对MB层SE的各bin的算术编码输出比特的最大值，可以高精度地编码控制，以使MB输出比特数达到3200比特以下。 

另外，在本实施方式中，也可以不仅判断MB最大比特计数是否超过所规定值的3200比特(步骤S104)，还考虑MB最大比特计数与码率控制装置30分配的编码量的关系，像上述步骤S106的处理那样进行PCM编码。 

实施方式2 

在第1实施方式(实施方式1)中，以1bin单位高精度地推算了算术编码输出比特数的最大值。在本实施方式中，CABAC还根据MB层的SE的种类，推算多bin单位的算术编码输出比特数 的最大值。以多bin单位计算算术编码输出比特数的最大值的好处是可以减少演算开销。但是，与第1实施方式的情况相比，估算的算术编码输出比特数会更大。 

作为以多bin单位推算算术编码输出比特数的最大值的MB层的SE，优选比residual层(参照非专利文献1的7.3.4.3)还上位的SE。这是因为：比residual层还上位的SE，在MB层中的bin的比例少，即使更多地估算算术编码输出比特数的最大值，对MB层整体的算术编码输出比特的影响也比较少。但是，当然，利用1bin单位的算术编码输出比特数的最大值推算与利用多bin单位的算术编码输出比特数的最大值推算的切换能以任意的SE进行。 

另外，由于residual层的significant_coneff_flag以及last_significant_coeff_flag的SE是从1个SE只能生成1个符号的SE，并且是在MB层中个数也很多的SE，所以，优选以1bin单位高精度地推算算术编码输出比特数的最大值。 

关于用来实现本实施方式的CABAC的熵编码部的结构，因为在第1实施方式的熵编码部中，仅仅是二进制算术编码最大比特数计算器105的内部结构变化而已。因此，仅对作为与第1实施方式的差分的二进制算术编码最大比特数计算器105进行说明。 

图4是表示本实施方式的二进制算术编码最大比特数计算器1050的结构的框图。如图4所示，二进制算数编码最大比特数计算器1050是由开关部(单位计算器开关)1054、1bin单位计算器1051、多bin单位计算器1052、开关部(累加计算器开关)1055、以及累加计算器1053构成的。 

关于由外部(图2所示的bin缓冲器104)提供的二进制序列，如果该SE是以1bin单位推算算术编码输出比特数的最大值的SE，则开关部1054就将二进制序列提供给1bin单位计算器1051。如果不是，则开关部1054就将二进制序列提供给多bin单位计算器1052。 

1bin单位计算器1051逐次利用由外部(图2所示的第2上 下文建模器106)所提供的上下文，根据公式15计算针对各bin的算术编码输出比特的最大值，经由开关部1055，将计算的值输出到累加计算器1053。 

多bin单位计算器1051逐次利用由外部(图2所示的第2上下文建模器106)所提供的上下文，根据公式16或公式18计算针对多bin的算术编码输出比特数的最大值，经由开关部1055，将该最大值输出到累加计算器1053。并且，在本实施方式中，MB层处理后的第2上下文建模器106与MB层处理后的上下文建模器103的上下文的值不同。这是因为将第2上下文建模器106的上下文作为小概率信号连续发生的上下文，使state_idx迁移的缘故。 

累加计算器1053累加针对属于MB层的SE的1bin或者多bin的算术编码输出比特的最大值，并在MB层的SE的处理完成之后，将累加值输出到外部(图2所示的二进制算术编码器102和开关部110)。 

然后，参照图5的流程图，对本实施方式的二进制算术编码最大比特数计算器1050的工作进行说明。虽然用来实现CABAC的熵编码部整体的处理与图3的流程图中所示的处理相同，但是步骤S102的处理置换为图4的流程图中所示的处理。 

在步骤S111中，开关部1054判断二进制序列的SE是否是以1bin单位推算算术编码输出比特数的最大值的SE(例如，是否是比MB层的SE还上位的SE)。如果是以1bin单位推算算术编码输出比特数的最大值的SE，则转移到步骤S112，如果不是，则转移到S113。 

在步骤S112中，1bin单位计算器1051逐次利用由外部(图2所示的第2上下文建模器103)所提供的上下文，根据公式15计算针对各bin的算术编码输出比特数的最大值，完成处理。在步骤S113中，多bin单位计算器1051逐次利用由外部(图2所示的第2上下文建模器106)所提供的上下文，根据公式16或公式18计算针对各多bin的算术编码输出比特数的最大值，完成 处理。 

在步骤S112或步骤S113中得到的最大值(针对1bin或多bin的算术编码输出比特数的最大值)被提供给外部，针对二进制序列的二进制算术编码最大比特数的计算结束。 

通过利用本实施方式的CABAC，可以高精度地推算针对MB层的SE的各bin的算术编码输出比特数的最大值，可以高精度地编码控制，以使MB输出比特数达到3200比特以下。另外，通过以多bin单位推算算术编码输出比特数的最大值，可以减少伴随推算的演算的开销。 

另外，在本实施方式中，虽然通过步骤S111的判断处理，来进行利用1bin单位的算术编码输出比特数的最大值的推算处理与利用多bin单位的算术编码输出比特数的最大值的推算处理的切换，但是，常常也可以执行利用多bin单位的算术编码输出比特数的最大值的推算处理。 

实施方式3 

图6是表示用来实现第3实施方式(实施方式3)的CABAC的熵编码部的框图。在本实施方式中，二进制算术编码最大比特数计算器105使用与第1实施方式(实施方式1)或第2实施方式(实施方式2)中任何一个方式中的二进制算术编码最大比特数计算器所使用的方式相同的方式。在此，以与第1实施方式相同的二进制算术编码最大比特数计算器105为例。 

用来实现本实施方式的CABAC的熵编码部，若与图14所示的熵编码部相比，则还具有：bin缓冲器104、二进制算术编码最大比特数计算器105、第2上下文建模器106以及开关部108。 

二进制化器101，将被输入的MB层的SE按照以规格规定的规则转换成二进制序列，并保存到bin缓冲器104中。然后，二进制算术编码最大比特数计算器105，针对bin缓冲器104中所保存的二进制序列的各bin，逐次利用由第2上下文建模器106所提供的上下文，计算对各bin的算术编码输出比特数的最大值。然后，比较所计算的累加值和MB比特数的规定值(例如3200比 特)。在累加值超过了MB比特数的规定值的情况下，从bin缓冲器104清除(clear)MB的输出bin，并将相当于与PCM编码所对应的MB层的SE的报头的bin保存到bin缓冲器104中。 

开关部108监视由二进制算术编码最大比特数计算器105所提供的最大比特数，如果最大比特数在MB最大比特数的规定值以下，则只选择二进制化器101的输出，并提供给bin缓冲器104。如果最大比特数比MB最大比特数的规定值多，则开关部108在提供PCM编码的标头的bin之后，选择由外部提供的图像数据，作为PCM数据提供给bin缓冲器104。 

二进制算术编码器102从二进制化器101的1MB工作完成以后开始工作，并与图14所示的熵编码部的情况相同，利用由上下文建模器103所提供的上下文，对保存在bin缓冲器104中的二进制序列的各bin进行二进制算术编码。在将算术编码的工作开始延迟1MB以上的情况下，根据bin缓冲器104的容量，可以将对于输入bin码率的二进制算术编码的负荷以数MB单位进行分散。 

在本实施方式中，由于二进制算术编码器102的处理发生延迟，所以当在MB最大比特数比规定值多的情况下进行PCM编码时，不能立刻进行向第2上下文建模器103的复制。因此，二进制算术编码最大比特数计算器105对于使用公式15来计算输出比特数的上下文，在MB处理的最初，预先保存来自第2上下文建模器106的复制，在PCM编码之际，拷贝所复制的上下文来继续二进制编码。并且，由外部提供的图像数据可以是对应的MB的原图像数据，也可以是编码了对应的MB后的编码图像数据。 

接下来，参照图7的流程图，对用来实现本实施方式的CABAC的熵编码部的工作进行说明。 

在MB层SE的CABAC时，本实施方式的熵编码部将MB最大比特计数(mb_max_bit)的值初始化为0。并且，在初始化后，进行以下要说明的7个步骤的处理。 

在步骤S201中，二进制算术编码最大比特数计算器105在 MB层复制第2上下文建模器106根据公式15推算的上下文。然后，转移到步骤S202。在步骤S202中，二进制化器101按照用规格规定了MB层的SE的规则，将MB层的所有的SE转换成二进制序列，并保存到bin缓冲器104中。然后，转移到步骤S203。 

在步骤203中，二进制算术编码最大比特数计算器105，与在第1实施方式中的步骤S102的处理一样，针对被保存在bin缓冲器104中的二进制序列的各bin，利用由第2上下文建模器所提供的上下文，根据公式15计算针对各bin的算术编码输出比特的最大值，如公式19所示，更新MB最大比特计数。然后，转移到步骤S204。 

在使用第2实施方式中的二进制编码最大比特数计算器1050的情况下，在步骤S203中，在执行了与图5的流程图相同的处理之后，根据公式19更新MB最大比特计数。然后，转移到步骤S204。 

在步骤S204中，二进制算术编码最大比特数计算器105针对bin缓冲器104中所保存的二进制序列的各bin，判断是否应用了所有的步骤S203的处理，如果是都应用了，则转移到步骤S205，如果不是，则转移到步骤S203。并且，作为转移到步骤S205的条件，还可以追加mb_max_bit是否超过3200(阈值)。 

在步骤S205中，二进制算术编码器102判断mb_max_bit是否在3200比特以下，如果是在3200比特以下，则转移到步骤S206，如果不是，则转移到步骤S207。 

在步骤S206中，二进制算术编码器102将相当于与PCM编码相对应的MB层的SE的bin数据输出之后，将图像数据作为PCM数据保存。接下来，为了后续的MB，用上下文复制存储器(第2上下文复制存储器)107中所保存的上下文，更新第2上下文建模器106中所保存的上下文，并进行对应于PCM编码的SE部分的上下文迁移，结束MB的CABAC处理。 

在步骤S207中，二进制算术编码器102利用由上下文建模器103所提供的上下文，对bin缓冲器104中所保存的二进制序 列的各bin进行二进制算数编码。针对Bin缓冲器104中所保存的二进制序列的各bin的二进制算术编码完成以后，结束MB的CABAC处理。另外，在本实施方式中，也可以不等步骤S207的处理结束就针对下面的MB开始S201的处理。 

像上面那样执行本实施方式中的CABAC的处理。在本实施方式中，可以高精度地推算针对MB层SE的各bin的算术编码输出比特数的最大值，并且，可以以数MB单位来分散二进制算术编码的处理负荷，所以很适用于流水线(pipeline)方式的处理。 

由上述说明可以明确，能通过硬件构成上述各实施方式，但也可以使用计算机程序来实现。例如，用来实现上述各实施方式的图8所示的信息处理系统，包括：处理器501、程序存储器502、存储图像数据的存储介质503以及存储比特流的存储介质504。处理器501按照程序存储器502中所保存的程序，执行图3所示的处理(第1实施方式)或图7所示的处理(第3实施方式)。在实现第2实施方式的情况下，执行图3或图7所示的处理和图5所示的处理。另外，存储介质503的存储区域以及存储介质504的存储区域既可以是不同的存储介质中的存储区域，也可以是同一个存储介质中的存储区域。另外，作为存储介质503、504，可以使用硬盘等的磁性存储介质。 

本申请要求以2006年12月14日提出的日本申请特愿2006-337468号为基础的优先权，将其公开的所有内容记载于此。 

工业上的可利用性 

本发明可以在使用基于算数编码输出比特数推算方法的CABAC的视频编码装置中很好地应用。 

Claims (10)

1.一种视频编码方法，其特征为，具有：

二进制序列转换步骤，将图像块的编码数据转换成二进制序列的符号；

二进制算术编码步骤，根据上下文对二进制序列的各符号进行算术编码；

推算步骤，推算针对图像块的编码数据被二进制算术编码时所需的比特数；

编码数据决定步骤，根据上述推算步骤中所推算的比特数与规定的阈值的比较结果，决定是否对上述编码数据进行二进制算术编码输出；和

上下文更新步骤，对与在上述编码数据决定步骤中决定了进行二进制算术编码输出的编码数据相对应的上述上下文进行更新，对与在上述编码数据决定步骤中决定了不进行二进制算术编码输出的编码数据相对应的上述上下文不进行更新，

在上述推算步骤中，将针对向二进制算术编码的输入符号的算术编码输出比特数的最大值作为上述比特数。

2.根据权利要求1记载的视频编码方法，其特征为：

在推算步骤中，通过1个符号单位的计算，求出算术编码输出比特数的最大值，上述1个符号单位的计算使用了小概率符号出现概率的最小值。

3.根据权利要求1记载的视频编码方法，其特征为：

在推算步骤中，通过多个符号单位的计算，求出算术编码输出比特数的最大值，上述多个符号单位的计算使用了小概率符号连续发生时的小概率符号出现概率的总和的最小值。

4.根据权利要求1记载的视频编码方法，其特征为：

在推算步骤中，通过1个符号单位的计算和多个符号单位的计算，求出算术编码输出比特数的最大值，上述1个符号单位的计算使用了小概率符号出现概率的最小值，上述多个符号单位的计算使用了小概率符号连续发生时的小概率符号出现概率的总和的最小值。

5.根据权利要求1记载的视频编码方法，其特征为，具有：

转换量子化步骤，计算将图像块转换到频域并量子化的转换量子化值；和

非熵编码步骤，输出将图像块进行了非熵编码的数据，

在编码数据决定步骤中，当推算的比特数超过了所规定的值的情况下，将PCM模式报头决定作为输出的编码数据，

在上述非熵编码步骤中，通过二进制算术编码步骤，在将上述PCM模式报头进行算术编码输出后，输出对重构上述转换量子化值而得到的图像块或应用转换量子化之前的原图像块的图像进行了非熵编码的PCM数据。

6.一种视频编码装置，其特征为，具有：

二进制序列转换部，其将图像块的编码数据转换成二进制序列的符号；

二进制算术编码部，其根据上下文对二进制序列的各符号进行算术编码；

推算部，其推算针对图像块的编码数据被二进制算术编码时所需的比特数；

编码数据决定部，其根据上述推算部所推算的比特数与规定的阈值的比较结果，决定是否对上述编码数据进行二进制算术编码输出；和

上下文更新部，其对与上述编码数据决定部决定了进行二进制算术编码输出的编码数据相对应的上述上下文进行更新，对与上述编码数据决定部决定了不进行二进制算术编码输出的编码数据相对应的上述上下文不进行更新，

上述推算部，将针对向二进制算术编码的输入符号的算术编码输出比特数的最大值作为上述比特数。

7.根据权利要求6记载的视频编码装置，其特征为：

推算部通过1个符号单位的计算，求出算术编码输出比特数的最大值，上述1个符号单位的计算使用了小概率符号出现概率的最小值。

8.根据权利要求6记载的视频编码装置，其特征为：

推算部通过多个符号单位的计算，求出算术编码输出比特数的最大值，上述多个符号单位的计算使用了小概率符号连续发生时的小概率符号出现概率的总和的最小值。

9.根据权利要求6记载的视频编码装置，其特征为：

推算部通过1个符号单位的计算和多个符号单位的计算，求出算术编码输出比特数的最大值，上述1个符号单位的计算使用了小概率符号出现概率的最小值，上述多个符号单位的计算使用了小概率符号连续发生时的小概率符号出现概率的总和的最小值。

10.根据权利要求6记载的视频编码装置，其特征为，具有：

转换量子化部，其计算将图像块转换到频域并量子化的转换量子化值；和

非熵编码部，其输出将图像块进行了非熵编码的数据，

编码数据决定部，当推算的比特数超过了所规定的值的情况下，将PCM模式报头决定作为输出的编码数据，

上述非熵编码部，在二进制算术编码部将上述PCM模式报头进行算术编码输出后，输出对重构上述转换量子化值而得到的图像块或应用转换量子化之前的原图像块的图像进行了非熵编码的PCM数据。

Images