CN101036394B - 视频编码方法及系统 - Google Patents

Abstract

本发明涉及一种视频切分技术，所述技术会降低复杂度、提高带宽效率及容错性。视频编码器在接近每个逻辑传输单元(LTU)开头之处布置RM，以使每一视频切片的除一极小尾部段以外的所有部分基本处于一LTU中。视频编码器并不要求将RM准确地布置在LTU边界处，而是采用近似对准技术。对视频切片进行编码，以使RM布置在接近每一LTU开头之处，例如，布置于处于LTU内的第一MB的尾部。来自前一切片的最末MB的一部分转入下一LTU中。丢失LTU会导致实际上丢失整个当前切片加上前一切片的一极小部分。

Description

视频编码方法及系统

相关申请案交叉参考

本申请案主张基于2004年8月23日提出申请的第60/603,978号美国临时申请案的权利，其全部内容以引用方式并入本文中。 

技术领域

本发明涉及数字视频编码，且具体而言涉及切分数字视频帧的技术。 

背景技术

在典型的视频编码器实施方案中，数字视频帧在编码器侧被分成多个视频切片，以减少传输过程中数据丢失的影响。每个视频切片均进行单独编码和解码。当检测到错误时，解码器将隐藏遭破坏的切片中的所有宏块(MB)。通过隐藏，会防止显示和传播经错误解码的MB，否则，可能会降低呈现给用户的视频的质量。 

视频切片通常以一再同步标记(RM)开头，当检测到错误时，解码器可使用该再同步标记(RM)来重新建立同步。为了使数据丢失最小化，视频切片在理想情况下对应于视频传输系统中的最小丢失单位。最小丢失单位是通过通信信道传输的最小信息单元。在无线系统中，将最小丢失单位称作逻辑传输单元(LTU)，其可具有固定或可变的长度。 

如果每一视频切片的大小为一LTU，则因LTU丢失所引起的任何错误将局限在丢失的切片中，而不会影响其他切片。然而，达到视频切片与LTU之间的完全对准很困难。具体而言，RM只可布置在MB边界上，而不能被随意布置在视频帧内。结果，编码器很难将切片大小调整到正好放置在给定的LTU中。 

一种用于LTU-切片对准的技术涉及使用切片级速率控制来调节MB的量化步长，以便调节切片长度。很遗憾，此技术为编码器的设计增添了很大复杂度，且未必准确。另一技术则涉及对切片进行编码，直到其大小超过预定长度，且然后在已编码的视频末端与LTU末端之间添加填充字节。但是，该方法降低带宽效率。 

发明内容

大体而言，本发明涉及一种视频切分技术，该技术会降低复杂度、提高带宽效率及容错性。根据该技术，视频编码器在接近每个LTU开头之处布置一个RM，以使每一视频切片的除一极小尾部段以外的所有部分基本处于一LTU中。 

视频编码器并非像为使视频切片和LTU严格对准所要求的一样要求将RM准确地布置在LTU的开头，而是采用了一种近似对准技术。根据该技术，对视频切片进行编码，以使RM布置在接近每一LTU开头之处，例如，布置于处于LTU内的第一MB的末端。因此，来自前一切片的上一MB的一部分转入下一LTU中。在此种情况下，丢失LTU导致实际上丢失整个切片加上前一切片的一极小部分(例如一个MB)。 

如在前一切片中一样，丢失的切片的一极小部分(例如一个MB)将转入下一LTU中。然而，该部分将不用于解码。相对于精确对准技术而言，该近似对准技术的实现复杂度大大降低，代价是仅在丢失数据中多丢失一个MB。无需将RM精确地布置在LTU边界上，或者提供对MB量化步长的切片级控制。这样便降低了复杂度。同时也无需在切片中使用填充字节，从而会实现高的带宽效率。 

在一实施例中，本发明描述一种视频编码方法。该方法包括：确定逻辑传输单元(LTU)的大小；产生与LTU大小相等的目标视频切片大小；以及对第一视频切片进行编码，直到该视频切片的大小大于目标视频切片大小。该方法进一步包括：确定第一视频切片的大小与目标视频切片的大小的差值；在该第一视频切片的末端插入一再同步标记(RM)；将该目标视频切片的大小更新为等于LTU大小减去该差值；以及对第二视频切片进行编码，直到该第二视频切片的大小大于经更新的目标视频切片的大小。本发明也涵盖计算机可读媒体，该计算机可读媒体包含使处理器执行这一方法的指令。 

在另一实施例中，本发明描述一种视频编码系统，该视频编码系统包括：逻辑传输单元(LTU)大小估计器模块，其用于估计LTU的大小；切片大小确定模块，其用于确定目标视频切片的大小；以及视频切片产生器，其用于编码第一视频切片，直到该视频切片的大小大于目标视频切片大小，所述视频切片产生器用于确定视频切片的大小与目标切片的大小之差，并在第一视频切片的末端插入一再同步标记(RM)。所述切片大小确定模块将目标视频切片大小更新为等于LTU大小减去该差值。所述视频切片产生器对第二视频切片进行编码，直到第二视频切片的大小大于经更新的目标视频切片的大小。 

在又一实施例中，本发明描述一种视频编码方法，其包括：将一数字视频帧分割成多个视频切片，及调整每一切片的大小，以使每一切片的第一部分驻留在第一物理层逻辑传输单元(LTU)中，且每一切片的第二部分驻留在第二物理层LTU中，并且，第二部分的大小不超过一个宏块(MB)。 

在附图及下文说明中将详细阐述一个或多个实施例。根据该说明及附图以及权利要求书，可清楚地理解本发明的其他特征、目的及优点。 

附图说明

图1为一方框图，其图解说明一视频/音频编码和解码系统。 

图2为一方框图，其图解说明根据本发明采用一种视频切分技术的视频编码器系统。 

图3、4及5为图解说明不同的视频切分技术的图式。 

图6和7为图解说明根据本发明的一种视频切分技术的图式。 

图8为图解说明根据本发明计算视频切片大小的图式。 

图9为一流程图，其图解说明根据本发明的一种视频切分技术的实施。 

具体实施方式

图1为图解说明一视频编码和解码系统10的方框图。如图1所示，系统10包括通过传输信道16连接的编码器系统12及解码器系统14。编码器系统12包括多路复用器(MUX)18、视频编码器20以及音频编码器22。解码器系统14包括多路分用器(DEMUX)26、视频解码器28及音频解码器30。 

系统10可例如为可视电话提供双向视频传输。因此，在信道16的相反端上可配备互逆的编码、解码、MUX及DEMUX组件。在一些实施例中，可将编码器系统12和解码器系统14包含在视频通信装置中，例如为进行视频流式传输、可视电话或二者而配备的无线移动终端机中。移动终端机按照ITU H.324M标准、或其他标准(例如RTP/UDP/IP)支持可视电话。 

视频编码器20按照一种视频压缩方法(例如MPEG-4)产生经编码的视频数据。也可使用其他视频压缩方法，例如国际电信联盟(ITU)H.263、ITU H.264、或MPEG-2方法。音频编码器22对伴随视频数据的音频数据进行编码。 

MUX 18从视频编码器20及音频编码器22获得适配层视频及音频数据单元。MUX 18将视频数据和音频数据多路复用，以形成一系列多路复用数据单元来经信道16传输。作为一实例，MUX 18和DEMUX 26可按照ITU所发布的H.223多路复用器协议运行。但是，也可使用其他协议，如用户数据报协议(UDP)。 

信道16将经多路复用的信息以物理层数据单元的形式载送至解码器系统14，这些物理层数据单元可称为逻辑传输单元(LTU)。信道16可为编码器系统12和解码器系统14之间的任何物理连接。例如，信道16可为有线连接，例如局域网或广域网。或者，如本文中所述，信道16可为无线连接，例如蜂窝式连接、卫星连接或光学连接。 

DEMUX 26识别来自LTU的多路复用数据单元，并对多路复用层数据单元的内容进行多路分用，以产生视频和音频适配层数据单元。在适配层中对适配层数据单元进行处理，以产生视频数据帧。视频解码器28在应用层中对视频数据帧进行解码来产生一视频数据流，以用来驱动显示装置。具体而言，视频解码器28对视频数据帧中的各个视频切片进行解码。音频解码器30对音频数据进行解码，以产生声音。 

根据本发明，解码器系统12采用一种低复杂性视频切分技术，其提供高的带宽 效率和容错性。编码器系统10并非像为使视频切片和LTU严格对准所要求的一样要求将RM精确地布置在LTU的开头，而是采用一种近似对准技术。根据该近似对准技术，对视频切片进行编码，以使RM布置在接近每个LTU的开头之处，例如，LTU中的第一MB的末端。在此种情况下，来自前一切片的单个MB会转入下一LTU中。 

使用近似对准技术，丢失一LTU导致实际上丢失整个切片加上前一切片的一极小部分(例如一个MB)。具体而言，每个LTU包含前一切片的一极小的尾部段、随后是当前切片的主体。与前一切片一样，当前切片随后也具有转入下一LTU中的一小尾部段。因此，每个切片跨越两个相继的LTU的部分，从而提供极小的重叠。尽管切片的一极小部分(例如一个MB)将转入下一LTU，但如果前一LTU在传输过程中丢失，则该部分将不用于解码。然而，如果前一LTU未丢失，则该小的部分仍可用于解码，以确保帧的完整性。因此，事实上，丢失一LTU的结果是丢失整个切片加上丢失来自前一切片的一MB。 

相对于精确对准技术而言，本文中所述的近似对准技术的实现复杂度大大降低，代价是仅多丢失一个MB。所述多丢失的一个MB是来自前一切片的转入所丢失LTU中的MB。按照该技术，无需将RM精确地布置在LTU边界上、或者在切片级控制MB量化步长，这样便降低了编码器实施方案的复杂度。也无需在切片中使用填充字节，从而得到更高的带宽效率。 

图2为一方框图，其图解说明视频编码器系统12的一实施例，视频编码器系统12采用本发明的有效的视频切分技术。视频编码器系统12可支持多种视频应用，包含流式视频或可视电话，例如，用于H.324M视频会议。如图2所示，视频编码器系统12包括MUX 18及视频编码器20。视频编码器20包括编码器引擎22，编码器引擎22接收来自视频输入装置24(例如，摄像机或视频大容量外存储器)的视频。编码器引擎22根据所输入的视频位流产生一系列宏块(MB)。 

视频切片产生器26将来自编码器引擎22的视频位流分割成视频切片。每个视频切片载送一系列数量不等的MB。为描绘各相继的切片，视频切片产生器26插入一RM。RM插入选定的MB边界处。因此，视频切片产生器26选择性地在选定的MB边界上插入一系列RM，以在一给定的视频帧中形成一系列切片。 

如下文所述，切片大小确定模块28指导视频切片产生器26在合适的位置产生切片。切片大小确定模块28利用视频切片产生器26所产生的前一切片的大小以及视频-LTU大小来产生目标切片大小。视频切片产生器26应用该目标切片大小制作下一切片。 

在本发明中，术语“LTU”与视频-LTU在某种程度上可互换地用于指物理层LTU的视频部分。然而，应了解，物理层LTU通常可包含音频信息，此可称为音频-LTU。关于视频切片与LTU边界的对准，应了解，这些边界可将物理层LTU中音频-LTU与视频-LTU的组合考虑在内，且这种边界可指因此种组合而在各相继的LTU之间产生的边界。 

适配层模块30自视频切片产生器26接收分割成视频切片的视频帧，并产生视频适配层协议数据单元(AL-PDU)。MUX 18包括一MUX引擎32，其接收视频AL-PDU并将其与来自音频编码器和音频适配层模块(未示出)的音频AL-PDU相组合，以形成MUX PDU来通过无线调制解调器34、射频发射器/接收器(TX/RX)35及天线36来传输。TX/RX 35可经配置以按照例如码分多址(CDMA)、宽带CDMA(W-CDMA)或时分多址(TDMA)等多种无线传输技术中的任一种来传输射频(RF)无线信号。 

MUX 18中的视频-LTU大小估计器模块38跟踪由MUX引擎32产生的每一MUXPDU的视频部分的大小、以及由无线发射器34产生的物理层LTU的大小。例如，MUX引擎32可为视频-LTU大小估计器模块38提供对于每一MUX PDU中音频信息与视频信息的比例(音频(AUDIO)：视频(VIDEO))的指示。此外，无线调制解调器34为视频-LTU大小估计器模块38提供对于通过空中界面传输的LTU实际大小的指示。 

视频-LTU大小估计器模块38利用这些参数来估计每一LTU的视频部分的大小，即视频-LTU大小。在一些实施方案中，AUDIO∶VIDEO比例以及LTU大小可均固定。在其他实施方案中，LTU大小可固定，但AUDIO∶VIDEO比例可以变化，例如，对于其中使用可变速率音频编码的实施方案而言。在这两种情况下，均显而易见，视频编码系统12提供一种独特的传送-编码器跨层设计，该设计根据物理层、MUX层和应用层所提供的信息来确定切片的大小。 

视频-LTU估计器模块38将视频-LTU大小传送给视频编码器20中的切片大小确定模块28。因此，切片大小确定模块28使用自MUX 18中的视频-LTU大小估计器模块38所获得的视频-LTU大小以及由视频切片产生器26提供的前一切片大小来确定目标切片大小。切片大小确定模块28然后产生目标切片大小，以供视频切片产生器26用来产生切片，并从而在视频帧中的适当MB边界处插入RM。 

在某些实施例中，物理层LTU可为W-CDMA RLC PDU。或者，物理层LTU可采用多种不同的形式，例如CDMA2000 lx RLPPDU、CDMA2000 lx EV-DO RLP PDU、CDMA2000EV-DV RLP PDU。MUX引擎32按照一种多路复用协议(例如ITU H.223)产生MUX PDU。然而，本文中所述的技术也可适用于其他视频传送协议，例如使用RTP/UDP/IP(实时传输协议/用户数据报协议/互联网协议)的基于SIP的可视电话协议和H.323可视电话协议。 

对于使用W-CDMA或CDMA2000的MPEG-4无线传输，RLC PDU或RLP PDU是在传输中会出现丢失的最小单位。例如，W-CDMA RLC-PDU的长度为160个字节，且每20ms传输一次。为了产生约等于LTU大小的视频切片，必须知道LTU的大小。在某些实施方案中，LTU的大小可随时间变化，并要求底层传送协议/物理层将LTU的大小通知视频编码器20。为此，视频-LTU大小估计器38估计每一视频LTU的大小，并将该信息传送给视频编码器20中的切片大小确定模块28。 

视频-LTU大小估计器38可按多种方式构建。在一些W-CDMA电路交换式视频应用中，LTU的大小恒定不变，且始终是160字节。例如，如果音频编码装置以12.2 Kbps的速率进行，则视频可使用的字节数为124字节。因此，在这种情况下，视频-LTU的大小为124字节。如果音频编码速率改变，则视频-LTU的大小也发生改变。在这两种情况下，视频-LTU大小估计器38均将该信息向上传递至视频编码器20以执行视频切分操作。对于分组交换式网络(例如CDMA2000 lx)，可能需要为每一RLP-PDU动态确定视频LTU的大小。如3GPP2针对视频会议服务所设想，如果移除标头开销，可有利于视频LTU大小的动态确定。 

如上文所提及，通过将LTU大小信息从物理层传递至MUX 18，并将视频-LTU大小信息从MUX 18传递至视频编码器20，视频编码器系统12会提供一种会促进有效视频切分的独特的传送-编码器跨层设计。根据此种跨层设计，传送层将其他信息传递至视频编码器20，以有效地布置RM，这些RM使视频切片与视频-LTU之间接近但不精确地对准。 

本文所述的技术可实施于通用微处理器、数字信号处理器(DSP)、应用专用集成电路(ASIC)、现场可编程门阵列(FPGA)、或其他等效的逻辑装置内。例如，视频编码器系统12及其组件可实施为在数字信号处理器(DSP)或其他处理装置上运行的编码过程或编码/解码(CODEC)过程的一部分。因此，称作模块的组件可形成这一过程的可编程特征。视频编码器系统12可具有用来存储指令和数据的专用存储器、以及专用硬件、软件、固件或其组合。如果实施于软件中，则这些技术可作为指令包含于例如以下等计算机可读媒体上：随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦可编程只读存储器(EEPROM)、闪速存储器或类似装置。所述指令使一个或多个处理器执行本发明中所述功能的某些方面。 

图3、4和5为图解说明不同的视频切分技术的图式，其目的是与本文中所述的近似对准技术进行比较。图3图解说明一要求RM与视频-LTU边界精确对准的技术，该技术当丢失单个视频LTU时只导致丢失单个切片。该方法具有实施复杂度高的缺陷。图4图解说明一种其中无需努力使RM与视频-LTU边界对准的技术。而是，RM往往会漂移入每一视频-LTU中，从而当丢失单个视频-LTU时导致丢失多个切片。图5图解说明一种切分技术，其中在每一切片的末端使用填充字节来使固定的切片与视频-LTU对准。在此情况下，填充字节会显著降低带宽效率。 

在图3的实例中，切片与最小丢失单位(即视频-LTU)精确对准。然而，为了执行图3所示的方法，视频编码器必须已知LTU边界并对视频位流施加LTU边界，然后在两个LTU边界之间产生相同大小的切片。然而，实现这一实施方案十分困难，且成本昂贵。具体而言，RM必须插入于MB边界上，而不能布置在位流中的任意字节位置上。由于这一限制，编码器很难控制每一切片的大小。如果切片的目标大小为K，则由于需要在MB边界处插入RM，编码器通常不能产生大小确切为K的切片。 

如图3所示，为了精确对准，将RM 42、44、46精确地布置在视频-LTU边界48、50、52上，视频-LTU边界48、50、52分别表示视频-LTU 54、56、58的起始位置。各相继的视频数据帧由表示前一视频数据字段的结尾的视频对象平面(VOP)字段60、 62分界。在精确对准的情况下，丢失单个LTU会导致丢失单个视频切片。在图3的实例中，例如，丢失视频-LTU 56会导致丢失对应的视频切片，该视频切片包含MB 55至72，即MB[55，72]。与前一视频-LTU 54对准的切片以及与相继的视频-LTU 58对准的切片仍保持完好无损并可得到解码，而与丢失的视频-LTU 56对准的切片的MB[55，72]则由解码器隐藏。 

为了使实施方案更简单，视频编码器可经配置以使用目标大小K对切片进行编码，但允许切片大小大于K。如图4所示，这一实施方案使RM 64、66、68的布置往往分别从视频RLC边界70、72、74“漂”移。该漂移由参考数字76、78、80表示。在图4的实例中，当一个视频-LTU丢失时，来自跨越所丢失视频-LTU边界的两个切片的数据也将丢失。因此，图4的方法可导致性能大大降低，尤其是在容易出错的应用中，例如在无线联网中。 

如在图5所示，某些其他实施方案可产生小于视频-LTU大小K的视频切片，且然后对每一切片添加填充字节，以使下一RM可精确地布置在下一视频-LTU的开头处。如图5所示，RM 82和84分别精确地布置在相继的视频-LTU 90、92、94的边界86、88处。然而，将每一切片的大小选择为小于视频-LTU大小。因此，每一切片包含填充字节96、98、100，以填充经编码的视频的末端与下一视频-LTU边界之间的空间。自然地，由于存在不能由解码器利用的填充字节，所以该方法的带宽效率较低。此外，该方法往往使编码器实施方案很复杂。具体而言，一旦编码器确定出当前切片大小超过视频-LTU大小K，则必须回退一个MB，形成一切片，开始一新切片，并然后重新编码下一MB。 

另一解决方案涉及到使用速率控制算法，该算法精确地估计对于不同的量化步长(称为量化参数(QP))，在每一MB上所将花费的准确位数。切片级速率控制技术试图确定要包含在每一切片中的MB的数量与这些MB的对应QP的最佳组合。显然，该方法在计算上非常繁琐。同时，该方法只能产生接近于视频-LTU大小K的视频切片。具体而言，即使具有可变的大小，MB边界也将不会总是精确地位于视频-LTU边界处。在此种情况下，仍无法避免使用填充字节。因此，速率控制算法既具有高的实施方案复杂度，又具有低的带宽效率。 

图6和7为图解说明根据本发明的一种基于切片与LTU的近似对准的视频切分技术的图式。图6和7中所示的视频切分技术可在图12所示的视频编码器系统12中实施。通常，该视频切分技术能具有相对低的实施复杂度，同时能实现容错性及带宽效率二者。如上文所述，该视频切分技术不要求RM与视频-LTU边界精确对准。因此，单个切片无需精确地放入单个视频-LTU中。而是，将每一视频切片构造成使RM将布置在接近每一视频-LTU的开头处。因此，无需进行精确对准或者严格的切片级速率控制，从而可降低编码器实施方案的复杂度。 

图6在RM及切片相对于视频-LTU边界的布置方面说明该视频切分技术。图6显示视频-LTU 102、104、106、108、视频LTU边界110、112、114、以及RM 116、 118、120。每一切片从一个RM延伸到下一RM。如图6所示，每一视频LTU的开头包含前一切片的一小尾部段122、124、126。在各个视频-LTU 102、104、106中，当前切片的主体部分跟随于前一切片的该小尾部段122、124、126之后。如前一切片一样，当前切片也包含延伸到下一视频-LTU中的小尾部段。因此，每一视频-LTU包含来自前一切片的少量数据、以及来自当前切片的大部分数据。 

当与图3的实例进行对比时(图3执行切片与LTU之间的精确对准)，图6所示的视频切分方法可视为在切片(RM至RM)与LTU(LTU边界至LTU边界)之间形成近似对准。对于每一切片，将其目标切片大小选择成使该切片的一小尾部段将转入下一视频-LTU。然后，下一RM便可容易地插入到由该尾部段的末端所界定的MB边界处。因此，通常仅单个MB的一部分将穿越进入下一视频-LTU中。 

图7从当LTU丢失时所必须隐藏的MB的数量方面图解说明图6的近似对准技术的性能。如图7所示，丢失一个视频-LTU 106大致等价于丢失单个切片。该切片的一极小的尾部段126转入可被正确接收到而不丢失的下一LTU 108中。然而，该小尾部段126将不用于解码，因为解码器对切片分别进行解码。因此，实际上，跨越视频-LTU 106的整个切片连同其小尾部段126均丢失。除随LTU 106丢失一整个切片以外，还将丢失来自LTU 104中前一切片的极小尾部段124，因为该尾部段转入了当前的LTU106。然而，所述前一切片的其余部分仍完好无损，并可得到解码。在一典型实施方案中，转入下一LTU的切片的尾部段仅是单个MB的一部分。 

与图3所示的精确对准方法相比较，图6和7所示的近似对准方法会实现降低的复杂度、及相当的带宽效率及容错性。在图3所示的实例中，当一LTU丢失时，精确对准方法的结果是丢失从55至72的MB(MB[54，72])。值得注意的是，如图7所示，近似对准方法的结果是仅多丢失一个MB，即MB[54，72]中的MB 54。该多丢失的MB是来自转入当前视频-LTU 106中的前一切片的尾部段的MB。因此，使用本发明所述的近似对准方法的成本是仅多丢失一个MB。然而，这一成本可由实施方案复杂度的降低以及带宽效率来平衡。 

在运行中，为了确保在检测到LTU错误时不会遗失处于所丢失视频-LTU 106之前的视频-LTU 104中前一切片的所有内容，解码器系统14应经配置以知晓编码器系统12所应用的近似对准方法。在某些实施例中，解码器系统14可经专门配置以处理根据该近似对准方法产生的切片。在其他实施例中，编码器系统12和解码器系统14可以交换控制信息，以指明该编码器系统正在使用近似对准方法且该解码器系统应相应地进行自身配置。作为另外的替代方案，某些编码器系统12及解码器系统14可经配置以提供可选模式，该可选模式在本文所述的近似对准技术、精确对准技术、填充技术、或者切片级速率控制技术之间转换。 

图8为图解说明按照本发明来计算视频切片大小的图式。如图8中所示，为实施该近似对准视频切分技术，编码器系统12获得每一LTU的大小—其用K(n)表示，其中n是表示每一视频-LTU在要通过空中界面传输的一系列LTU中的位置的索引。当 经编码的位数超过当前目标切片大小T(n)时(其中n为表示每一切片在一系列切片中的位置的索引)，编码器系统12对视频位流中的输入位进行编码，并产生视频切片。 

然而，根据该技术，切片T(n)的目标切片大小不等于K(n)，此将要求精确对准。同样，由于需要在MB边界处插入RM，因此很难进行切片与视频-LTU的精确对准。而是，每当形成一切片时，均调整目标切片大小，以便保证在下一LTU边界之后，例如在视频-LTU边界的一个MB内，立即出现下一RM。换句话说，每一RM无需布置在LTU边界上，而是应布置在LTU边界的一个MB中。相对于其中必须将RM布置在LTU边界上的技术而言，此会降低复杂度，确保RM始终与边界足够靠近，且还避免使用填充字节这一需要。 

对目标切片大小T(n)的调整是通过如下方式实施：计算实际编码的前一切片大小L与前一目标切片大小T(n)之差，并然后从K(n)中减去该差值。参考图8，对目标切片大小T(n)的调整可由以下公式表示： 

T(n)＝K(n)-d(n-1)，其中 

d(n-1)＝L(n-1)-T(n-1) 

在以上方程式中，T(n)为当前目标切片大小，K(n)为当前视频-LTU大小，且d(n-1)为前一实际编码切片大小与前一目标切片大小之差。针对编码器系统12所构造的每一切片，均重新计算这些值。 

上文参考图8所述的切片大小计算可由以下伪代码表示： 

Given： 

  The size of each LTU stored in an array K[n]； 

  Target slice size T； 

  Initialize i＝0，T＝K[0]； 

Start from encoding the first frame： 

  While(more frames to encode) 

  { 

    While(more MBs to encode) 

    { 

      If(the current slice size＞＝T) 

      { 

        d＝the current slice size-T； 

        T＝K[++i]-d； 

        Reset the current slice size； 

        Insert one RM and start a new slice； 

        Update the current slice size； 

      } 

      Else 

      { 

        Encode this MB； 

        Update the current slice size； 

      } 

    } 

  } 

图9为一流程图，其图解说明根据本发明的一种视频切分技术的作业。该视频切分技术可使用多种组件来执行，例如使用图2所示的视频切片产生器26、切片大小确定模块28、以及视频-LTU大小估计器38。该流程图大体沿循上文中伪代码所表示的 作业和结果。如图9中所示，该技术涉及到获得当前视频-LTU的大小K(126)，并产生目标切片大小T(128)。首先，针对帧中的第一切片，将目标切片大小T设定为等于LTU大小K(128)。视频-LTU大小K可从视频-LTU大小估计器38(图2)获得。只要视频帧仍要进行编码，该视频切分过程就会重复进行(130)。具体而言，该过程一个帧接一个帧地分步进行(132)。在给定的帧中，只要在适用的帧中仍有另外的MB要进行编码(134)，该过程就会重复进行。因此，该过程在帧中一个MB接一个MB地分步进行(136)。 

对于一给定的帧以及MB，该视频切分技术确定当前的切片大小L是否大于或等于目标切片大小T(138)。当前切片大小L是由已对该给定切片编码的MB的数量来确定。因此，实际切片大小L将随所编码的每一MB而增加。首先，目标切片大小T将等于当前的LTU大小K(128)。在当前切片大小L等于或超过目标切片大小T(138)时，该过程确定当前切片大小L与目标切片大小T之差d(140)。如果当前切片大小L尚不等于或超过目标切片大小T，则该过程继续对MB进行编码(142)，更新当前切片大小L(144)并返回处理另外的MB(134)。 

该过程然后将目标切片大小T调整至等于下一视频LTU的大小K与差值d之差(146)。通过此种方式，调整目标切片大小T以进行下一轮循环。具体而言，下一目标切片大小T将小于LTU大小K减去一等于前一切片尾部段大小的量，即量d。此时，该过程到达当前切片的尾部。该过程因此使当前切片大小L复位以进行下一轮循环(148)，在该切片的尾部插入RM，并开始新的切片(150)。在更新当前切片大小L(144)后，该过程返回来处理所适用视频帧中的其他MB(如果有)。 

如果当前切片大小L不等于或超过目标切片大小T，而在一给定帧中已没有MB要处理，则该过程已到达帧的尾部。在此种情况下，仅对于帧尾部的切片而言，该过程可插入填充字节来填充所适用切片的剩余部分。然而，这与为实现切片-LTU对准目的而在每一视频切片中布置填充字节是不同的。作为插入填充字节的一种替代方法，可在切片中插入来自下一帧的数据。此种将来自下一帧的数据插入一包含来自前一帧的数据的切片中的方法可造成一个帧的延时。然而，由于能换来高的带宽效率，该延时可证明是合算的。 

根据本发明，视频编码器系统12在视频编码器20与较低层之间(即MUX 18与调制解调器34)执行一跨层设计。通过这一方式，视频编码器20确定在传输层中如何分割位流并将其多路复用到LTU中。具体而言，自较低层提供每一切片的大小。根据视频数据如何与音频数据进行多路复用而定，切片大小可有所变化。此外，该技术假定视频编码器18知晓这种特定的编码方法，因而其将不会丢弃在LTU丢失前所获得的有用数据。 

通过广泛试验得到的初步结果显示：与会在切片与LTU边界之间引入漂移的现有技术相比，通过使用一种用于视频切分的近似对准技术，所丢失的MB的数量可减少26％至32％。根据该现有技术，视频编码器将设定一为120个字节的固定的目标切片 大小，且在当前切片大小超过120个字节时，视频将终止当前切片并开始一新的切片。如上文所述，这一现有技术可导致明显的漂移。由本文所述的近似对准技术所获得的改进量是显著的，如上文所述，所丢失MB的数量减少26％至32％。 

上文已经描述了多个实施例。这些及其他实施例仍归属于以下权利要求书的范畴内。 

Claims (28)

1.一种视频编码方法，其包括：

确定视频逻辑传输单元(LTU)的大小；

确定目标视频切片大小；

对视频切片进行编码，直到所述视频切片的大小大于所述目标视频切片的大小为止；

计算所述视频切片的大小与所述目标视频切片的大小之间的差值；

在所述视频切片的尾部插入再同步标记(RM)；

将所述目标视频切片的大小更新至等于所述视频LTU大小减去所述差值；及

针对视频帧中的多个视频切片重复所述编码、计算、插入及更新操作。

2.如权利要求1所述的视频编码方法，其中确定目标视频切片大小包括确定等价于所述视频LTU大小的目标视频切片大小。

3.如权利要求1所述的视频编码方法，其中确定所述视频LTU大小包括：确定包括视频部分及音频部分的物理层LTU的大小，确定所述视频部分与所述音频部分的比例，以及根据所述物理层LTU大小及所述比例来确定所述视频LTU大小。

4.如权利要求1所述的视频编码方法，其进一步包括：将所述视频LTU大小传递至视频通信装置中的多路复用层，并将所述视频LTU大小从所述多路复用层传递至所述视频通信装置的编码层。

5.如权利要求1所述的视频编码方法，其中插入RM包括在宏块(MB)边界处插入所述RM。

6.如权利要求1所述的视频编码方法，其中所述差值的大小小于一个宏块(MB)。

7.如权利要求1所述的视频编码方法，其进一步包括在所述视频切片中实质上不包含填充字节。

8.如权利要求1所述的视频编码方法，其中插入所述RM包括在对应于各相继视频LTU之间边界的位置处或之后插入所述RM。

9.如权利要求1所述的视频编码方法，其进一步包括将包含在所述视频切片中的信息与音频信息进行多路复用，以形成多个多路复用协议数据单元(MUX PDU)。

10.如权利要求1所述的视频编码方法，其中所述视频切片的第一部分驻留在第一物理层LTU中，且所述视频切片的第二部分驻留在第二物理层LTU中。

11.如权利要求10所述的视频编码方法，其中所述视频切片的第二部分的大小小于一个宏块(MB)。

12.一种视频编码系统，其包括：

逻辑传输单元(LTU)大小估计器模块，其用于估计视频LTU的大小；

切片大小确定模块，其用于确定目标视频切片大小；及 

视频切片产生器，其用于对视频切片进行编码，直到所述视频切片的大小大于或等于所述目标视频切片大小为止，所述视频切片产生器计算所述视频切片的大小与所述目标视频切片大小之间的差值，并在所述视频切片的尾部插入再同步标记(RM)，

其中所述切片大小确定模块将所述目标视频切片大小更新至等于所述视频LTU大小减去所述差值，且

上述相应的模块针对视频帧中的多个视频切片重复所述编码、计算、插入及更新操作。

13.如权利要求12所述的视频编码系统，其中所述切片大小确定模块确定所述目标视频切片大小等价于所述视频LTU大小。

14.如权利要求12所述的视频编码系统，其中所述逻辑传输单元(LTU)大小估计器模块确定包括视频部分及音频部分的物理层LTU的大小、确定所述视频部分与所述音频部分的比例、以及根据所述物理层LTU大小及所述比例来估计所述视频LTU大小。

15.如权利要求14所述的视频编码系统，其中所述逻辑传输单元(LTU)大小估计器模块驻留于所述系统中的多路复用层中。

16.如权利要求14所述的视频编码系统，其中所述逻辑传输单元(LTU)大小估计器模块从所述系统中的调制解调器获得物理层LTU的大小。

17.如权利要求14所述的系统，其中所述逻辑传输单元(LTU)大小估计器模块从所述系统中的多路复用引擎获得所述比例。

18.如权利要求12所述的视频编码系统，其中所述逻辑传输单元(LTU)大小估计器模块驻留于所述系统中的多路复用层中，并将所述视频LTU大小从所述多路复用层传递至所述系统的编码层中的所述切片大小确定模块。

19.如权利要求12所述的视频编码系统，其中所述视频切片产生器在宏块(MB)边界处插入所述RM。

20.如权利要求12所述的视频编码系统，其中所述差值的大小小于一个宏块(MB)。

21.如权利要求12所述的视频编码系统，其中所述视频切片产生器实质上不在所述视频切片中包含填充字节。

22.如权利要求12所述的视频编码系统，其中所述视频切片产生器在对应于各相继视频LTU之间边界的位置处或之后插入所述RM。

23.如权利要求12所述的视频编码系统，其进一步包括多路复用引擎，以用于将包含在所述视频切片中的信息与音频信息进行多路复用，以形成多个多路复用协议数据单元(MUX PDU)。

24.如权利要求12所述的视频编码系统，其中所述视频切片产生器插入所述RM，以使所述视频切片的第一部分驻留于第一物理层LTU中且所述视频切片的第二部分驻留于第二物理层LTU中。 

25.如权利要求24所述的视频编码系统，其中所述视频切片的第二部分的大小小于一个宏块(MB)。

26.一种视频编码系统，其包括：

确定装置，其用于确定视频逻辑传输单元(LTU)的大小；

确定装置，其用于确定目标视频切片大小；

视频编码装置，其用于对视频切片进行编码，直到所述视频切片的大小大于所述目标视频切片大小为止；

计算装置，其用于计算所述视频切片的大小与所述目标视频切片大小之间的差值；

插入装置，其用于在所述视频切片的尾部插入再同步标记(RM)；

更新装置，其用于将所述目标视频切片大小更新至等于所述视频LTU大小减去所述差值；及

上述相应的装置针对视频帧中的多个视频切片重复所述编码、计算、插入及更新操作。

27.一种视频编码方法，其包括：

将数字视频帧分割成视频切片；

确定视频逻辑传输单元(LTU)的大小；

确定目标视频切片大小；

对视频切片进行编码，直到所述视频切片的大小大于所述目标视频切片的大小为止；

计算所述视频切片的大小与所述目标视频切片的大小之间的差值；

在所述视频切片的尾部插入再同步标记(RM)；

将所述目标视频切片的大小更新至等于所述视频LTU大小减去所述差值；及

针对视频帧中的多个视频切片重复所述编码、计算、插入及更新操作，以使每一切片的第一部分驻留于一个第一物理层逻辑传输单元(LTU)中且每一切片的第二部分驻留于第二物理层LTU中，并且所述第二部分的大小不大于一个宏块(MB)。

28.一种视频编码系统，其包括：

分割装置，其用于将数字视频帧分割成视频切片；

确定装置，其用于确定视频逻辑传输单元(LTU)的大小；

确定装置，其用于确定目标视频切片大小；

视频编码装置，其用于对视频切片进行编码，直到所述视频切片的大小大于所述目标视频切片大小为止；

计算装置，其用于计算所述视频切片的大小与所述目标视频切片大小之间的差值；

插入装置，其用于在所述视频切片的尾部插入再同步标记(RM)；

更新装置，其用于将所述目标视频切片大小更新至等于所述视频LTU大小减去所 述差值；及

上述相应的装置针对视频帧中的多个视频切片重复所述编码、计算、插入及更新操作，以使每一切片的第一部分驻留于一个第一物理层逻辑传输单元(LTU)中且每一切片的第二部分驻留于第二物理层LTU中，并且所述第二部分的大小不大于一个宏块(MB)。 

Images