传输视频数据的方法
相关申请的交叉引用
本发明基于优先申请EP05291017.1,在此通过参考将其引入。
技术领域
本发明涉及一种传输视频数据的方法、一种发送视频处理设备、一种接收视频处理设备、一种网络和一种用于执行该方法的计算机程序产品。
背景技术
目前,无线网络上的多媒体流传输提供一种一般的用户视频质量。实际上,无线信道引起高比特误差率,并且在所接收的压缩视频序列中残余比特误差仍可能是严重的。当ARQ是有限的或甚至不可能时,例如在实时应用中,或者当与该信道状态相比信道编码不足够好时,在所接收的要进行解码的比特流中的误差甚至更重要(ARQ=自动重复请求)。
但是,目前设计用于尽量压缩数据的源编码器,假设了一种用于传输的可靠介质。因此,源解码器被设计用于无误差地处理图像或视频文件。另外,可能存在一种传输误差的传播,其会不利地影响接收端用户质量。例如,在进行压缩的所有情况,诸如在文本压缩(WinZip、zip、tar、gz、......)、图像压缩(JPEG、......)、音频压缩和视频压缩(MPEG、H2x、......)(JPEG=联合图像专家组;MPEG=运动图像专家组)中,使用已知对于误差非常敏感的熵压缩技术。
当使用传统的基于熵压缩技术的源编码器时,单个比特误差常常会引起序列同步的丢失。随后的是误差传播——在图像的情况下是 空间上的,或者在视频的情况下是空间和时间上的——并且数据的剩余部分丢失。对于音频流传输也发生相同的现象。
MPEG4-AVC,也称为H.264,是一种用于用户数字视频的新一代压缩算法,并且是一种极有前景的视频编码标准(AVC=高级视频编码)。MPEG4-AVC设计覆盖了视频编码层(=VCL),其有效地表示视频内容,以及网络抽象层(=NAL),其格式化视频的VCL表示,并以适合由诸如IP/RTP的具体传输层传送的方式或者以适合存储介质的方式提供头信息(IP=互联网协议,RTP=实时传输协议)。
NAL包括一系列具有整数字节数目的数据分组,所谓的NAL单元包括一个字节头和有效载荷(payload)数据。该头表示NAL单元的类型、在NAL单元有效载荷中的比特误差或语法违反的(潜在的)存在、以及关于NAL单元对于解码处理的相对重要性的信息。一些系统要求将NAL单元作为有序的字节或比特流来传递,在其它系统中,例如,IP/RTP系统中,在由系统传输协议成帧的分组中承载所编码的数据。
基本编码画面包括表示该画面的采样的NAL单元。还存在一种称作冗余编码画面的NAL类型,其包括基本编码画面的一些选择的视频宏块的复制。在基本编码画面中的数据丢失或破坏期间,使用冗余编码画面。然而,这种使用冗余编码画面来校正错误的基本编码画面的方法提供一种极弱的误差校正,并且所得到的数据尺寸——以及因此的带宽成本——相当大。
发明内容
本发明的目的是改善视频数据的传输。
本发明的目的通过一种从第一实体向第二实体传输视频数据的方法来实现,其中该视频数据包括信息比特,该方法包括以下步骤:对视频数据的信息比特应用系统的信道编码,并获得包括编码信息比特和该信息比特的误差校正比特的序列;产生包括视频数据的编码信息比特的基本编码画面NAL;通过将与编码数据的复制相比具有更高误差校正功率和更小尺寸的误差校正比特包括在冗余编码画 面NAL中,将误差校正比特插入冗余编码画面NAL;从第一实体向第二实体传送基本编码画面NAL和冗余编码画面NAL;在第二实体处接收基本编码画面NAL和冗余编码画面NAL;使用冗余编码画面NAL中的误差校正比特,来检测和校正所接收的基本编码画面NAL中的误差;以及执行所校正的基本编码画面NAL的视频解码。
本发明的目的进一步通过一种具有控制单元的视频处理设备来实现,其中该控制单元适于对视频数据的信息比特应用系统的信道编码,并获得包括编码信息比特和该信息比特的误差校正比特的序列;产生包括视频数据的编码信息比特的基本编码画面NAL;通过将与编码数据的复制相比具有更高误差校正功率和更小尺寸的误差校正比特包括在冗余编码画面NAL中,将误差校正比特插入冗余编码画面NAL;向另一实体传送基本编码画面NAL和冗余编码画面NAL,用于使用冗余编码画面NAL中的误差校正比特来检测和校正所接收的基本编码画面NAL中的误差,并用于在该另一实体处执行所校正的基本编码画面NAL的视频解码。
此外,本发明的目的通过一种具有控制单元的视频处理设备来实现,其中该控制单元适于从另一实体接收包括视频数据的编码信息比特的基本编码画面NAL和包括信息比特的误差校正比特的冗余编码画面NAL,该编码信息比特和误差校正比特通过对视频数据的信息比特应用系统的信道编码而获得;使用通过将与编码数据的复制相比具有更高误差校正功率和更小尺寸的误差校正比特包括在冗余编码画面NAL中而插入冗余编码画面NAL中的误差校正比特,来检测和校正所接收的基本编码画面NAL中的误差;以及执行所校正的基本编码画面NAL的视频解码。
并且,本发明的目的通过一种从第一实体向第二实体传输视频数据的设备来实现,其中视频数据包括信息比特,其中该设备包括:用于对视频数据的信息比特应用系统的信道编码并获得包括编码信息比特和该信息比特的误差校正比特的序列的装置;用于产生包括视频数据的编码信息比特的基本编码画面NAL的装置;用于通过将与编码数据的复制相比具有更高误差校正功率和更小尺寸的误差校正比特包括在冗余编码画面NAL中而将误差校正比特插入冗余编码画面NAL的装置;用于向另一视频处理单元传送基本编码画面NAL 和冗余编码画面NAL的装置;用于从该另一视频处理单元接收基本编码画面NAL和冗余编码画面NAL的装置;用于使用冗余编码画面NAL中的误差校正比特来检测和校正所接收的基本编码画面NAL中的误差的装置;以及用于执行所校正的基本编码画面NAL的视频解码的装置。
本发明提供了就误差校正功率和带宽而言比现有解决方案更有效的一种解决方案。对于相似的误差校正功率,带宽增益是2至4的因子。这意味着根据本发明的解决方案需要减小2倍至4倍的带宽,或者可以存在2倍至4倍的更多用户。
代替在冗余编码画面NAL中包括编码数据的简单复制,本发明的基本思想是包括更多巧妙的具有较高误差校正功率且具有较小尺寸的误差校正数据。因此,本发明可以实现带宽、用户的数目和/或无线资源的数目的增加。
根据本发明的方法可以利用或独立于标准而实施。
通过由所附的权利要求表示的本发明的实施例实现进一步的优点。
根据本发明的方法可以应用于具有NAL结构的任何视频数据。优选地,视频数据遵守MPEG4-AVC和/或H.264标准。
当在存在噪声的信道上传输编码时,将出现误差。信道编码的任务是以最小化解码中的误差概率的方式表示源信息。如果需要一次正确地传输信息,则加入冗余校验比特以确保误差检测和误差校正。
根据本发明的优选实施例,所应用的系统的信道编码是基于奇偶校验码,例如海明码(Hamming code)或LDPC码(LDPC=低密度奇偶校验)。根据本发明的另一优选实施例,所应用的系统的信道编码是基于卷积码。
用于从第一实体到第二实体的编码视频数据传输的传输介质可以是适于比特数据传输的任何传输介质,优选在IP/RTP协议之下。根据本发明的优选实施例,传输介质是无线网络,尤其是移动通信网络,或者IP网络,尤其是互联网。
附图说明
通过阅读以下结合附图所作出的目前优选的示例性实施例的详 细描述,将更好地理解本发明的这些以及其他特征和优点,在附图中:
图1是根据本发明的第一实施例的系统的框图。
图2是表示根据本发明的第一实施例在第一设备处的处理的操作步骤图。
图3是关于根据本发明第一实施例的访问单元的结构的流程图。
图4是表示根据本发明的第一实施例在第二设备处的处理的操作步骤图。
具体实施方式
图1表示用于发送视频数据的第一实体10、用于接收视频数据的第二实体20和用于视频数据传输的传输介质30。例如,传输介质30可以是分组交换网络,优选基于IP的网络,即,具有公共层3IP层的通信网络,例如互联网。第一实体10和第二实体20可以是具有调制解调器的计算机,以向分组交换网络发送和从分组交换网络接收视频数据。计算机10、20可以安装适于处理视频数据的软件。
在另一个实施例中,传输介质30也可以是包括电路交换电话网络和分组交换电话网络的通信系统,并且第一实体10和第二实体20也可以是能够发送/接收和重放视频数据的移动通信终端,例如,蜂窝电话。电路交换网络可以是例如PSTN、ISDN、GSM或UMTS网络(PSTN=公共交换电话网络;ISDN=综合业务数字网络;GSM=全球移动通信系统;UMTS=通用移动通信系统)。
发送和接收实体10、20是视频处理设备,并且通常具有发送和接收视频数据的能力。例如,在如图1的示例性实施例中所示的特定情况下,实体10可以是发送实体且实体20可以是接收实体。在另一个通信事件中,角色可以改变,并且实体20可以是发送实体且实体10可以是接收实体。
在图1的特定实施例中,发送实体10是包括发射机11、控制单元12和存储器13的终端,而接收实体20是包括接收机21、控制单 元22和存储器23的终端。发送和接收实体10、20经由连接19、29连接到传输介质30。该连接19、29可以是有线连接或无线连接。
发送实体10可以由用户手动触发或由处理触发信号自动触发,以启动具有NAL结构的视频数据从发送实体10经由连接19、传输介质30和连接29到接收实体20的传输。该视频数据可以从发送实体10的存储器13获取,在控制单元12中处理,并由发射机11传送到传输介质30。接收介质20可以利用接收机21从传输介质30接收视频数据,在控制单元22中对其处理,并且可将其存储在存储器23中。但也可以将所接收的视频数据直接发送给接收实体20的重放单元,以在显示器上呈现和显示该视频数据。
在图1的另一实施例中,视频数据存储在传输介质30内所包括的或从传输介质30可访问的视频处理单元40上,例如视频服务器或视频代理,该传输介质30优选为分组交换网络,例如互联网。视频处理单元40可以包括控制单元42、存储器单元或存储介质43、以及用于在网络30上发送和接收消息的收发器单元41。
接收实体20可以经由网络30向视频处理单元40的收发器单元41发送视频请求。视频处理单元40可以处理视频请求,从存储介质43或从网络30的独立存储介质53获取所请求的视频数据,处理视频数据和发起视频数据到接收实体20的传输。
终端10、20和视频处理单元40包括可具有用于无线通信的无线部分的电子电路、至少一个微处理器以及由该至少一个微处理器执行的应用程序。终端10、20还可以包括输入和输出装置,例如键盘、麦克风、扬声器和显示器。终端10、20和视频处理单元40的功能通过硬件和软件组件的交互作用来执行。终端10、20和视频处理单元40的存储器单元13、23、43可以适于接收和存储计算机程序产品,其中由终端10、20和视频处理单元40执行计算机程序产品,这适于向终端10、20和视频处理单元40提供额外功能。
网络30的视频处理单元40可以实施为具有点对点(peer to peer)和/或分层架构的一个或多个服务器。此外,由终端10、20和可与存 储介质53相连接的视频处理设备40所提供的视频处理的功能可以作为分离的、独立的单元实施,或者在分散结构中实施,其中所述功能由多个相互依赖的分散单元提供。
图2表示在传输介质30上传输视频数据之前,在发送实体10或视频存储和处理单元31中所执行的视频数据的处理。
视频数据可以作为信息比特201存在。利用模拟-数字转换(A/D转换),通过将视频信号转换为数字比特流可以获取这些信息比特201。A/D转换分两步进行,采样来自视频流的数据,以及将每一个所获得的采样量化为数字格式。
当将视频数据数字化后,可以将其与误差校正比特一起提交给系统的信道编码202。系统的信道编码202可以基于例如海明码、LDPC码或卷积码。系统的信道编码202的结果是包括编码信息比特203和称作误差校正比特204的一些其他比特的序列。
将信息比特203放入“基本编码画面”NAL205中。将来自系统的信道编码202的误差校正比特204放入“冗余编码画面”NAL206中。NAL单元205、206包括在用于传输的IP/RTP分组中。然后“基本编码画面”NAL205和“冗余编码画面”NAL206二者都在从发送实体10经传输介质30到接收实体20的访问单元框架内传输。
图3是描述在访问单元300的框架内产生基本编码画面和冗余编码画面的流程图。
访问单元300表示一组VCL NAL单元,它们一起组成了基本编码画面。除了基本编码画面,访问单元300还可以包含一个或多个冗余编码画面,或者其它不包含编码画面的片段(slice)或片段数据划分的NAL单元。访问单元300的解码总是产生解码画面。
在步骤301中,可以插入访问单元定界符(delimiter)301,其可以用于访问单元300之间的边界的检测,并且因此可以有助于新基本编码画面的开始的检测。在步骤302中,包含关于画面序列的所有信息的序列参数组,以及在步骤303中,包含关于属于单个画面的所有片段的所有信息的画面参数组,可以放入访问单元300中。
对于网关和接收机来说,接收层和子序列的特性以及子序列的从属信息例如画面定时信息,将会是有利的。因此,可以在步骤304中插入补充增强信息(=SEI)的一个或多个块。
在步骤305中,将基本编码画面放入访问单元300中,包含由系统的信道编码所获得的信息比特。基本编码画面包括一组VCL NAL单元,其包含表示视频画面的采样的片段或片段数据划分。基本编码画面包括画面的所有宏块。
作为访问单元300的随后的块,在步骤306中,可以将具有来自系统的信道编码的误差校正比特的冗余编码画面插入访问单元300中。通常,冗余编码画面是画面或部分画面的编码表示。冗余编码画面的内容不应当由针对遵守H.264的比特流的解码处理使用。冗余编码画面的内容可以由针对包含误差或损耗的比特流的解码处理使用。根据本发明,将误差校正比特插入冗余编码画面中。
如果所编码的画面是编码视频序列的最后画面,则在步骤307中可以给出序列NAL单元的末尾,以表示该序列的结束。最后,如果所编码的画面是在整个NAL单元流中的最后编码的画面,则可以给出流NAL单元的末尾308,以表示该流结束。
图4表示在传输介质30上的视频数据传输之后,由接收实体20所执行的视频数据的处理。
“基本编码画面”NAL401和“冗余编码画面”NAL402由接收实体20所接收,作为具有根据图3的结构的访问单元。与在第一实体10处的“基本编码画面”NAL205和“冗余编码画面”NAL206相比较,在第二实体20处的“基本编码画面”NAL401和“冗余编码画面”NAL402可以包括一个或多个不同的信息比特。这些差别,即,由于传输所引起的比特误差,其原因可能是传输介质30的较差的传输质量。这对于无线传输信道例如对于移动应用来说是尤其正确的。较差质量的传输信道可以引起信息比特从一个二进制状态变为另一个二进制状态,即,从0到1,或反之。
从冗余编码画面NAL402提取误差校正比特403。之后,当针对 误差而检查基本编码画面NAL401时,在检测步骤404中使用误差校正比特403,以检测在基本编码画面NAL401中是否出现任何误差,以及出现在哪里。在校正步骤405中,利用误差校正比特403来校正这样检测到的在基本编码画面NAL401中的误差。基本编码画面NAL401的检查、检测和校正的结果是所校正的基本编码画面NAL406。
在解码处理407中,将所校正的基本编码画面NAL406提交给视频解码,产生所校正的信息比特408。所校正的信息比特408承载视频数据,该视频数据现在可以在接收实体20或另一设备处理,用于显示、传送或存储。