CN101292538B

CN101292538B - 使用可缩放的视频编码的多视图视频编码

Info

Publication number: CN101292538B
Application number: CN2006800384594A
Authority: CN
Inventors: 尹澎; 克里斯蒂娜·戈米拉; 苏野平
Original assignee: THOMSON LICENSING CORP
Current assignee: Thomson Licensing SAS; International Digital Madison Patent Holding SAS
Priority date: 2005-10-19
Filing date: 2006-10-17
Publication date: 2012-11-28
Anticipated expiration: 2026-10-17
Also published as: KR20080063323A; BRPI0616745A2; JP5587552B2; KR101475527B1; CN101292538A; WO2007047736A2; US9131247B2; MY159176A; US20100165077A1; EP1946563A2; WO2007047736A3; JP2009513074A

Abstract

提供了一种使用可缩放的视频编码用于立体视频编码的方法和装置。一种可缩放的视频编码器，包括编码器(100)，使用来自对应于特定的视图和至少一个其它视图的至少一个的下层的预测，通过编码作为基层的至少两个视图的特定的视图，和编码作为增强层的至少两个视图的至少一个其它视图的每个，用于编码对应于多视图视频内容的至少两个视图。至少两个视图被基于从时间的、空间的和信噪比可缩放性技术的至少两个之中的选择而编码。

Description

使用可缩放的视频编码的多视图视频编码

相关申请的交叉引用

本申请要求于2005年10月19日申请的美国临时申请序列号60/728,141，并且名为“METHOD AND APPARATUS FOR STEREOSCOPICVIDEO USING SCALABLE VIDEO CODEC”的权益，其作为参考资料整体结合在此处。

技术领域

本发明通常涉及视频编码和解码，尤其是，涉及使用可缩放的视频编码用于多视图视频编码(MVC)的方法和装置。

背景技术

也称为三维的(3-D)视频的立体视频对于显示的图像生成深度感。一种用于生成深度感的方法是显示两个不同的二维(2-D)图像，这里每个图像代表相同目标的两个视角，类似于两个眼睛自然地以双眼视觉接收的视角。

对于在市场上抵达的许多高质量的立体显示，所希望的是提供一种借助于出众的编码效率和借助于合理的编码复杂度用于立体视频的压缩解决方案。

近年来，已经非常努力地设计了用于压缩立体视频经济而有效的方法。常规的单体压缩方法可以独立地适用于立体图像对的左和右视图。但是，如果采用在视图之间的高相关，可以实现较高的压缩比。

对于其中立体图像对的两个视图被编码的现有技术方法，多视图分布(profile)(MVP)在国际标准化组织/国际电子技术委员会(ISO/IEC)活动图像专家组-2(MPEG-2)标准中定义以传送一对视频信号。MVP依靠多层的信号表示方法，使得一个视图(通常左侧视图)分配给基层，并且另一个视图分配给增强层。具有与主分布(MP)相同的工具的单体编码被施加于该基层。该增强层被使用时间的可缩放性工具以及运动和视差场的混合预测来编码。

在与国际标准化组织/国际电子技术委员会(ISO/IEC)活动图像专家组 -4(MPEG-4)部分10改进的视频编码(AVC)标准/国际电信联盟-电信组(ITU-T)H.264标准(在下文中为“MPEG4/H.264标准”或者简单地“H.264标准”)有关的现有技术方法中，立体视频编码可以以二种不同的方式执行：(i)作为交错的图像编码的特定情况，这里特定的奇偶性的所有场分配给左视图，并且反奇偶性的所有场被考虑是立体视图内容的右视图；或者做为选择(ii)通过从左和右视图交替帧以生成一个单体视频序列。立体视觉辅助的增强信息(SEI)消息将是否编码的视频序列代表立体内容的表示提供给解码器，并且其方法被用于编码相应的内容。

这些先前巳知的方法需要对现有的单体编码技术的最小化修改。但是，它们示出用于降低在立体对中的两个视图之间存在的冗余有限的能力。因此，当与一个单体视图的编码相比的时候，立体视图的编码导致很大的开销。这个问题已经阻止用户以有限的传输带宽应用立体视觉的推广。

其它的现有技术方法包括对于一个视图加上一些“额外的三维信息”执行编码的方法。这种更加常规和简单的编码立体内容的方法是编码一个单个的视图加上一些额外的三维信息，允许接收机去再现该立体对的第二视图。传统地，传送的三维信息是由深度和/或奇偶性图表示的。深度图包括三维场景的二维图像表示，每个像素被分配一个深度值。在像素值方面的差值对应于在三维场景中的深度方面的差值。通常，深度数据被作为亮度信道唯一的视频流编码。

在MPEG-部分2中，视频目标语法包括所谓的多个辅助组分(MAC)，其被使用运动补偿的DCT作为灰度级图像编码。视频目标的运动矢量将用于其辅助组分的运动补偿。辅助组分的一个应用是代码深度或者视差图数据。但是，存在辅助组分必须具有与视频目标的亮度分量一样大小的限制。与MPEG-2MVP相比，先前的方法示出一个改进的性能。但是，因为MPEG-4部分10的出众的编码增益和建议的面向目标的编码方法的高的复杂度，MPEG-4部分2标准没有成功地在行业中采用。

发明内容

现有技术的这些和其它的缺点和弊病由本发明阐明，本发明提出一种使用可缩放的视频编码用于多视图视频编码(MVC)的方法和装置。

按照本原理的一个方面，提供了一种可缩放的视频编码器。该可缩放的视频编码器包括编码器，使用来自对应于特定的视图和至少一个其它视图的至少一个的下层的预测，通过编码作为基层的至少两个视图的特定的视图，和编码作为增强层的至少两个视图的至少一个其它视图的每个，用于编码对应于多视图视频内容的至少两个视图。至少两个视图被基于从时间的、空间的和信噪比可缩放性技术的至少两个之中的选择而编码。

按照本原理的另一个方面，提供了一种用于可缩放的视频编码的方法。该方法包括使用来自对应于特定的视图和至少一个其它视图的至少一个的下层的预测，通过编码作为基层的至少两个视图的特定的视图，和编码作为增强层的至少两个视图的至少一个其它视图的每个，编码对应于多视图视频内容的至少两个视图。至少两个视图被基于从时间的、空间的和信噪比可缩放性技术的至少两个之中的选择而编码。

按照本原理的又一个方面，提供了一种用于可缩放的视频解码的可缩放的视频解码器。该可缩放的视频解码器包括解码器，使用来自对应于特定的视图和至少一个其它视图的至少一个的下层的预测，通过解码作为基层的至少两个视图的特定的视图，和解码作为增强层的至少两个视图的至少一个其它视图的每个，用于解码对应于多视图视频内容的至少两个视图。至少两个视图被基于从时间的、空间的和信噪比可缩放性技术的至少两个之中的选择而解码。

按照本原理的再一个方面，提供了一种用于可缩放的视频解码的方法。该方法包括使用来自对应于特定的视图和至少一个其它视图的至少一个的下层的预测，通过解码作为基层的至少两个视图的特定的视图，和解码作为增强层的至少两个视图的至少一个其它视图的每个，解码对应于多视图视频内容的至少两个视图。至少两个视图被基于从时间的、空间的和信噪比可缩放性技术的至少两个之中的选择而解码。

按照本原理的再一个方面，提供了一种用于可缩放的视频编码的视频信号结构。该视频信号结构包括作为基层编码的至少两个视图的特定的视图，和使用来自对应于特定的视图和至少一个其它视图的至少一个的下层的预测，作为增强层编码的至少两个视图的至少一个其它视图。至少两个视图对应于多视图视频内容，并且基于从时间的、空间的和SNR可缩放性技术的至少两个之中的选择被编码。

按照本原理的更进一步的方面，提供了一种具有在其上编码的可缩放的视频信号数据的存储介质。该可缩放的视频信号数据包括作为基层编码的至少两个视图的特定的视图，和使用来自对应于特定的视图和至少一个其它视图的至少一个的下层的预测，作为增强层编码的至少两个视图的至少一个其它视图。至少两个视图对应于多视图视频内容，并且基于从时间的、空间的和SNR可缩放性技术的至少两个之中的选择被编码。

按照本原理的一个附加的方面，提供了一种可缩放的视频编码器。该可缩放的视频编码器包括编码器，用于编码作为基层的第一立体视图，并且使用来自第一立体视图的预测，编码作为增强层的深度图和视差图的至少一个。第一立体视图以及深度图和视差图的至少一个每个对应于特定的立体内容，并且基于从时间的、空间的和SNR可缩放性技术的至少两个之中的选择被编码。

按照本原理的另一个方面，提供了一种用于可缩放的视频编码的方法。该方法包括作为基层编码第一立体视图，使用来自第一立体视图的预测，编码作为增强层的深度图和视差图的至少一个。第一立体视图以及深度图和视差图的至少一个每个对应于特定的立体内容，并且基于从时间的、空间的和SNR可缩放性技术的至少两个之中的选择被编码。

按照本原理的又一个方面，提供了一种可缩放的视频解码器。该可缩放的视频解码器包括解码器，用于从基层解码第一立体视图，和使用来自第一立体视图的预测从增强层解码深度图和视差图的至少一个。第一立体视图以及深度图和视差图的至少一个每个对应于特定的立体内容，并且基于从时间的、空间的和SNR可缩放性技术的至少两个之中的选择被解码。

按照本原理的再一个方面，提供了一种用于可缩放的视频解码的方法。该方法包括从基层解码第一立体视图，和使用来自第一立体视图的预测从增强层解码深度图和视差图的至少一个。第一立体视图以及深度图和视差图的至少一个每个对应于特定的立体内容，并且基于从时间的、空间的和SNR可缩放性技术的至少两个之中的选择被解码。

按照本原理的更进一步的方面，提供了一种用于可缩放的视频编码的视频信号结构。该视频信号结构包括作为基层编码的第一立体视图，和作为增强层编码的深度图和视差图的至少一个，以允许从第一立体视图预测。第一立体视图以及深度图和视差图的至少一个每个对应于特定的立体内容，并且基于从时间的、空间的和SNR可缩放性技术的至少两个之中的选择被编码。

按照本原理的一个附加的方面，提供了一种具有在其上编码的可缩放的视频信号数据的存储介质。该可缩放的视频信号数据包括作为基层编码的第一立体视图，和作为增强层编码的深度图和视差图的至少一个，以允许从第一立体视图预测。第一立体视图以及深度图和视差图的至少一个每个对应于特定的立体内容，并且基于从时间的、空间的和SNR可缩放性技术的至少两个之中的选择被编码。

从以下与伴随的附图结合阅读的示范的实施例的详细说明中，本发明的这些和其他的方面、特征和优点将变得显而易见。

附图说明

按照以下示范的附图可以更好地理解本发明，其中：

图1示出用于一个示范的可以适用本原理的联合可缩放的视频模型(JSVM)3.0编码器的方框图；

图2示出用于一个示范的可以适用本原理的解码器的方框图；

图3是用于一个示范的对于每个维度缩放因子等于1/2的在SVC空间可缩放性中供层间预测的宏块映射的示意图；

图4是按照本原理示范的第一实施例用于能够编码立体内容的一对立体视图的可缩放的视频编码方法的示意图；

图5是按照本原理示范的第一实施例用于能够解码立体内容的一对立体视图的可缩放的视频解码方法的示意图；

图6是按照本原理示范的第二实施例用于能够编码立体内容的一对立体视图的可缩放的视频编码方法的示意图；

图7是按照本原理示范的第二实施例用于能够解码立体内容的一对立体视图的可缩放的视频解码方法的示意图；

图8是按照本原理的一个示范的实施例用于在增强层中编码宏块的可缩放的视频编码方法；和

图9是按照本原理的一个示范的实施例用于在增强层中解码宏块的可缩放的视频解码方法。

具体实施方式

本发明提出一种使用可缩放的视频编码用于多视图视频编码(MVC)的方法和装置。为了说明性的目的，相对于立体(两个视图)视频内容描述了本发明示范的实施例。但是，已经给出在此处提供的本原理的教导，并且本领域和相关领域的普通技术人员将能够容易地将本原理扩展为对应于两个或更多个视图的多视图视频内容，而保持本发明的范围。

本说明书举例说明本发明的原理。因此，应该理解，虽然未明确地描述或者在此处示出，那些本领域技术人员将能设计各种各样的方案，其实施本发明的原理，并且包括在其精神和范围之内。

在此处列举的所有例子和有条件语言意欲为了教学的目的，以帮助读者理解本发明的原理和由发明人提供的助长技巧的概念，并且将认为是没有具体地限制上述列举的例子和条件。

此外，在此处列举的本发明的原理、方面和实施例的所有陈述以及其特定的例子意欲拥有结构及其功能等效两者。另外，这意味着上述的等效通常地包括巳知的等效以及在将来开发的等效两者，即，不考虑结构执行相同的功能开发的任何单元。

因此，例如，本领域技术人员应该理解，在此处给出的方框图代表体现本发明原理的说明性的电路的概念图。类似地，应该理解，不管是否这样的计算机或者处理器被明确地示出，所有的流程图、流量图、状态转移图、伪代码等等代表可以实质上在计算机可读的介质中表示的，并且从而由计算机或者处理器执行的各种各样的处理过程。

在附图中示出的各种各样单元的功能可以通过使用专用硬件，以及能够执行与适宜的软件结合的软件的硬件而提供。当由处理器提供的时候，该功能可以由单个专用处理器，由单个共享处理器，或者由多个专用处理器，其中一些可以共享来提供。此外，明确的使用该术语“处理器”或者“控制器”不应该被解释为专门地涉及能够执行软件的硬件，并且可以隐含地包括，不限于数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)和非易失性存储器。

其它的硬件、常规和/或定制的也可以包括。类似地，在附图中示出的所有的开关仅仅是概念上的。它们的功能可以经由程序逻辑的操作，经由专用逻辑，经由程序控制和专用逻辑的相互作用，或者甚至手动地实现，该特定的技术是由制订人可选择的，更具体地说，如从背景处了解到的。

在此处的权利要求中，表示为用于执行指定功能的装置的所有的单元意欲拥有执行以下功能的任何方式，例如包括a)执行该功能的电路元件的组合，或者b)以与用于执行该软件来执行该功能的适宜的电路相结合的任何形式的软件，因此，包括固件、微码等等。如由这样的权利要求限定的本发明存在以下的事实，由各种各样列举的装置提供的功能以权利要求请求的方式组合和汇集在一起。因此，考虑可以提供那些功能的任何装置等效于在此处示出的那些。

转向图1，示范的本发明可以适用的联合可缩放的视频模型版本3.0(在下文中为“JSVM3.0”)编码器通常由参考数字100表示。JSVM3.0编码器100使用三个空间层和运动补偿时间滤波。JSVM编码器100包括二维的(2D)抽取器104、2D抽取器106和运动补偿时间滤波(MCTF)模块108，每个具有一个用于接收视频信号数据102的输入端。

2D抽取器106的输出端以信号通信方式与MCTF模块110的输入端连接。MCTF模块110的第一输出端以信号通信方式与运动编码器112的输入端连接，并且MCTF模块110的第二输出端以信号通信方式与预测模块116的输入端连接。运动编码器112的第一输出端以信号通信方式与多路复用器114的第一输入端连接。运动编码器112的第二输出端以信号通信方式与运动编码器124的第一输入端连接。预测模块116的第一输出端以信号通信方式与空间变换器118的输入端连接。空间变换器118的输出端以信号通信方式与多路复用器114的第二输入端连接。预测模块116的第二输出端以信号通信方式与内插器120的输入端连接。内插器的输出端以信号通信方式与预测模块122的第一输入端连接。预测模块122的第一输出端以信号通信方式与空间变换器126的输入端连接。空间变换器126的输出端以信号通信方式与多路复用器114的第二输入端连接。预测模块122的第二输出端以信号通信方式与内插器130的输入端连接。内插器130的输出端以信号通信方式与预测模块134的第一输入端连接。预测模块134的输出端以信号通信方式与空间变换器136连接。空间变换器的输出端以信号通信方式与多路复用器114的第二输入端连接。

2D抽取器104的输出端以信号通信方式与MCTF模块128的输入端连接。MCTF模块128的第一输出端以信号通信方式与运动编码器124的第二输入端连接。运动编码器124的第一输出端以信号通信方式与多路复用器114 的第一输入端连接。运动编码器124的第二输出端以信号通信方式与运动编码器132的第一输入端连接。MCTF模块128的第二输出端以信号通信方式与预测模块122的第二输入端连接。

MCTF模块108的第一输出端以信号通信方式与运动编码器132的第二输入端连接。运动编码器132的一个输出端以信号通信方式与多路复用器114的第一输入端连接。MCTF模块108的第二输出端以信号通信方式与预测模块134的第二输入端连接。多路复用器114的一个输出端提供一个输出比特流138。

对于每个空间层，执行运动补偿时间分解。这个分解提供时间的可缩放性。来自下空间层的运动信息可以用于在高层上运动的预测。对于纹理编码，在相继的空间层之间的空间预测可以应用于消除冗余。由预测内或者运动补偿的预测间引起的残留信号被编码变换。质量基层残余在每个空间层上提供最小化重建质量。如果没有施加层间预测，这个质量基层可以编码为一个H.264标准依从的数据流。为了质量可缩放性，质量增强层被另外编码。这些增强层可以被选择以或者提供粗略的或者细致的质量(SNR)可缩放性。

转向图2，一个示范的本发明可以适用的可缩放的视频解码器通常由参考数字200表示。多路分解器202的输入端可用作可缩放的视频解码器200的输入端，用于接收可缩放的比特流。多路分解器202的第一输出端以信号通信方式与空间逆变换SNR可缩放的熵解码器204的输入端连接。空间逆变换SNR可缩放的熵解码器204的第一输出端以信号通信方式与预测模块206的第一输入端连接。预测模块206的输出端以信号通信方式与逆MCTF模块208的第一输入端连接。

空间逆变换SNR可缩放的熵解码器204的第二输出端以信号通信方式与运动矢量(MV)解码器210的第一输入端连接。MV解码器210的输出端以信号通信方式与逆MCTF模块208的第二输入端连接。

多路分解器202的第二输出端以信号通信方式与空间逆变换SNR可缩放的熵解码器212的输入端连接。空间逆变换SNR可缩放的熵解码器212的第一输出端以信号通信方式与预测模块214的第一输入端连接。预测模块214的第一输出端以信号通信方式与内插模块216的输入端连接。内插模块216的输出端以信号通信方式与预测模块206的第二输入端连接。预测模块214的第二输出端以信号通信方式与逆MCTF模块218的第一输入端连接。

空间逆变换SNR可缩放的熵解码器212的第二输出端以信号通信方式与MV解码器220的第一输入端连接。MV解码器220的第一输出端以信号通信方式与MV解码器210的第二输入端连接。MV解码器220的第二输出端以信号通信方式与逆MCTF模块218的第二输入端连接。

多路分解器202的第三输出端以信号通信方式与空间逆变换SNR可缩放的熵解码器222的输入端连接。空间逆变换SNR可缩放的熵解码器222的第一输出端以信号通信方式与预测模块224的输入端连接。预测模块224的第一输出端以信号通信方式与插入模块226的输入端连接。插入模块226的输出端以信号通信方式与预测模块214的第二输入端连接。

预测模块224的第二输出端以信号通信方式与逆MCTF模块228的第一输入端连接。空间逆变换SNR可缩放的熵解码器222的第二输出端以信号通信方式与MV解码器230的输入端连接。MV解码器230的第一输出端以信号通信方式与MV解码器220的第二输入端连接。MV解码器230的第二输出端以信号通信方式与逆MCTF模块228的第二输入端连接。

逆MCTF模块228的输出端可用作解码器200的输出端，用于输出层0信号。逆MCTF模块218的输出端可用作解码器200的输出端，用于输出层1信号。逆MCTF模块208的输出端可用作解码器200的输出端，用于输出层2信号。

对于空间的、时间的和SNR可缩放性，结合了很大程度的层间预测。宏块内和间可以使用先前层的相应信号预测。此外，每个层的运动描述可以用于供以下增强层的运动描述的预测。这些技术分成三个类别：层间内部纹理预测、层间运动预测和层间残余预测。

按照当前的原理，我们公开了两个示范的用于编码立体视频的实施例，其能够以可缩放的视频编码(在此处以后也称为“H.264SVC”或者简单地“SVC”)方式使用，可缩放的视频编码通常地被作为H.264标准的修改而开发。按照第一方法，立体内容被以SVC作为视图对(左右视图，或者做为选择，第一和第二立体视图)编码。按照第二方法，立体内容被以SVC作为一个视图加深度/奇偶性图编码。对于两个示范的实施例的每个方法，新消息、指示符等等(例如，辅助的增强信息(SEI)消息)用于表示用于立体视频编码的SVC比特流。

应该理解，虽然给出的原理的实施例在此处相对于H.264SVC描述，那些本领域和相关领域的技术人员将认识到，给出的原理不受这样的限制，并且可以容易地也应用于其它的视频编码标准(例如，包括，但是不限于各种各样的MPEG标准，包括MPEG-2)，而保持给出的原理的范围。

按照第一示范实施例，以可缩放的视频编码方案编码立体图像对的两个视图是通过编码一个作为基层的视图，并且编码在增强层中的第二视图来执行的。在给出的原理和MPEG-2MVP方案之间的主要区别是，给出的原理不需要两个视图仅仅使用时间的可缩放性被编码。因此，按照给出的原理，取决于对于特定的应用需求可利用的需求量和效率，立体视图可以被编码(并且因此稍后解码)为时间的、空间的或者SNR可缩放性。例如，当我们需要最大的编码效率的时候，时间的可缩放性是更加适宜的当相应的应用可以得益于在两个视图之间的不同的空间分辨率/质量的时候，空间/SNR可缩放性是更加适宜的。

为了支持非立体显示以能够无需解码增强层解码视频，并且允许另一个视图具有不同的分辨率，对于空间可缩放性应用，在第一示范实施例的一个示范的方面中，我们提出使用缩放因子小于或者等于1。

在不同的照像机视图上的照明和颜色差异在捕获的立体视频中是通用的。上述的不希望有的差异可允许的原因包括，但是不局限于，差的照相机校准、不同的光投射方向和不同的表面反射特征。最初以H.264标准开发的加权预测(WP)是一种当涉及在两个视图之间的纹理预测的时候有效的补偿照度/色差的工具。WP是以SVC支持的，但是，其仅仅允许相同的层或者时间的可缩放性。因此，按照第一示范实施例的一个示范的实施例，由于在对于时间的可缩放性的第一示范实施例中，我们编码一个在基层中的视图，和在增强层中的第二视图，我们可以简单地以SVC允许WP去在用于交叉视图预测的编码效率方面提供好处。对于空间或者SNR可缩放性，我们建议增加用于lntra_BL模式的WP支持，即，编码在增强层中的宏块和在基层中的加权的宏块之间的差别。

提供了一个新的辅助的增强信息(SEI)消息，其支持在此处描述的示范的第一实施例，并且指定哪个视图对应于基层。SEI消息在表1中示出。例如，当base_layer_js_left_view_flag等于1的时候，这表示左侧视图在基层中被编码。相反地，当base_layer_is_left_view_flag等于0的时候，这表示右侧视图在基层中被编码。

表1

svc_stereo_video_info(payloadSize){	C	描述符
			base_layer_is_left_view_flag	5	u(1)
}

应当注意，由于这个元数据不是解码过程需要的，元数据可以按照不同的语法规范带外传送。

按照第二示范实施例，一个视图被编码，并且深度和/或视差图在增强层中使用以支持常规的非立体显示，能够无需解码深度图而解码视频。取决于应用需求，我们可以适用空间或者SNR可缩放性。由于深度图可以以较低的分辨率编码，在空间可缩放性中，一个可允许的优选实施例使用缩放因子小于或者等于1。

支持第二示范实施例的新的SEI消息被提供，并且提供额外的三维元数据，其被传送以辅助非传送的视图的再现过程。在特定的实施例中，该传送的元数据可以包括两个参数(Nknear，Nkfar)，如表2所示。借助于这两个参数和深度图，校正像素视差可以计算，并且从观众的角度来看将导致在显示器上想要的深度效果。

Nknear指定标准化为128的knear比参数，其将应用于计算新近再现的视图的屏幕纬线(parallel)。

Nkfar指定标准化为32的kfar比参数，其将应用于计算新近再现的视图的屏幕纬线。

表2

depth_map_descriptor(payloadSize){	C	描述符
			Nknear	5	u(8)
Nkfar	5	u(8)
			}

使用深度图和一个编码的视图(例如，左侧视图)去构成另一个非传送的视图(例如，右侧视图)的一个主要问题是，在左侧视图中咬合的区域在右侧视图中可能是看得见的。这可能在右侧视图中生成孔洞。另一个问题是因为左侧视图和深度图是有损耗的编码，在重建的右侧视图和原始右侧视图之间可能存在误差。为了改善非传送的视图的质量，可以增加额外的SNR层。该额外的SNR层应该与SEI消息相结合，因此，该解码器将已知该细化基于重建的非编码的视图。

应当注意到，通常地在SVC(其使用联合的可缩放的视频模型3(JSVM3))中，空间可缩放性仅仅操纵缩放比例大于或者等于1的分辨率。按照本发明，层间预测用于支持小于1的分辨率缩放比例。

对于层间预测，将阐明以下的问题以操纵用于分辨率缩放比例小于1的空间可缩放性：(1)混合的块处理；(2)宏块类型映射；(3)运动矢量缩放；(4)纹理缩放。新的和/或在先的技术，包括与空间分辨率代码转换有关的那些可用于阐明这些问题。

为简单起见，我们可以允许SVC去仅仅支持缩放因子为2^(-n)，这里n＞0。转向图3，一个示范的对于每个维度缩放因子等于1/2的在SVC空间可缩放性中用于层间预测的宏块映射通常由参考数字300表示。在这样一个例子中，在增强层中的一个宏块对应于在基层中的四个宏块。由于此四个宏块可以具有不同的模式内/间，并且SVC不允许在一个宏块中混合的模式，我们需要在层间预测的过程中判定什么模式将用于在增强层中的该宏块。我们建议强制该宏块为模式间，并且假设在宏块内的运动矢量(MV)和离散余弦变换(DCT)残余是零。对于宏块类型映射，由于在SVC中最小的分割是4×4，但是缩减一半可以导致分割为2×2，我们建议将每四个2×2分割分组为一个4×4分割。用于每个4×4分割的MV被设置为相应的8×8子宏块的角的MV。对于参考图像标志(index)，我们将每四个4×4分割分组为一个8×8分割。该参考图像标志被分配给相关的宏块的角。对于运动矢量缩放，MVE＝(MVB+1)＞＞1，这里MVE是增强层运动矢量，并且MVB是相应的基层运动矢量。对于涉及残余的纹理缩减，我们可以使用简单平均方法。对于空间纹理，我们可以使用简单平均方法或者通常地在JSVM中使用的MPEG-4缩减功能。对于缩放因子2^(-n)，我们可以重述地缩放1/2(n倍)。

应该理解，如在此处使用的，该术语“深度/视差图”期待涉及一个或多个深度图和/或一个或多个视差图。

图4和图5对应于本原理的第一示范实施例。

转向图4，用于能够编码立体内容的一对立体视图的可缩放的视频编码的方法通常由参考数字400表示。该方法400包括开始块405，其传送控制给判定块410。该判定块410确定是否将立体内容的左视图编码为基层。如果是这样的话，然后，控制被传送给功能块415。否则，控制被传送给功能块425。

该功能块415设置base_layer_is_left_view_flag等于1，将base_layer_is_left_view_flag写入辅助的增强信息(SEI)消息中，并且传送控制给功能块420。该功能块420将左侧视图作为基层编码，并且将右侧视图作为增强层编码，并且传送控制给结束块435。

该功能块425设置_base_layer_is_left_view_flag等于零，将base_layer_is_left_view_flag写入SEI消息中，并且传送控制给功能块430。该功能块430使用SNR、空间和/或时间的可缩放性将右侧视图作为基层编码，并且将左侧视图作为增强层编码，并且传送控制给结束块435。

转向图5，用于能够解码立体内容的一对立体视图的可缩放的视频解码的方法通常由参考数字500表示。该方法500包括开始块505，其传送控制给功能块510。该功能块分析在SEI消息中的base_layer_is_left_view_flag，并且传送控制给判定块515。该判定块515确定是否base_layer_is_left_view_flag等于1。如果是这样的话，然后，控制被传送给功能块520。否则，控制被传送给功能块525。

该功能块520使用SNR、空间和/或时间的可缩放性解码来自基层的左侧视图和来自增强层的右侧视图，并且传送控制给结束块599。

该功能块525使用SNR、空间和/或时间的可缩放性解码来自基层的右侧视图和来自增强层的左侧视图，并且传送控制给结束块599。

图6和图7对应于本原理的第二示范实施例。

转向图6，用于能够编码立体内容的一对立体视图的可缩放的视频编码的方法通常由参考数字600表示。该方法600包括开始块605，其传送控制给功能块610。该功能块610使用SNR、空间和/或时间的可缩放性将立体内容的一个视图作为基层编码，并且将对应于立体视频的深度/视差图作为增强层编码，并且传送控制给功能块615。该功能块615在SEI消息中写入深度参数，并且传送控制给功能块620。该功能块620使用来自基层的重建的视频，来自增强层的重建的深度/视差图和来自SEI消息的深度参数，重建立体内容的另一个(非编码的)视图，并且传送控制给功能块625。该功能块625基于重建的非编码的视图编码额外的SNR层，并且传送控制给结束块630。

转向图7，用于能够解码立体内容的一对立体视图的可缩放的视频解码的方法通常由参考数字700表示。该方法700包括开始块705，其传送控制给功能块710。该功能块710使用SNR、空间和/或时间的可缩放性解码来自基层的立体内容的一个立体视图，解码来自增强层的深度/视差图，并且传送控制给功能块715。该功能块715分析来自SEI消息的深度消息，并且传送控制给功能块720。该功能块720使用来自基层的重建的视频，来自增强层的重建的深度/视差图和来自SEI消息的深度参数，作为基层重建另一个立体(非编码的)视图，并且传送控制给功能块725。该功能块725基于重建的非编码的视图解码额外的SNR层，形成细化的非编码的视图，并且传送控制给结束块730。

转向图8，用于编码在增强层中的宏块的可缩放的视频编码方法通常由参考数字800表示。该方法800包括开始块805，其传送控制给判定块810。该判定块810确定是否去使用层间预测。如果是这样的话，然后，控制被传送给判定块815。否则，控制被传送给功能块855。

该判定块815确定是否去使用层间内部纹理预测。如果是这样的话，然后，控制被传送给判定块820。否则，控制被传送给判定块830。

该判定块820确定是否去使用加权的预测。如果是这样的话，然后，控制被传送给功能块825。否则，控制被传送给功能块840。

该功能块825编码在增强层中的宏块和在基层中来自一组映射的宏块缩放的加权宏块之间的差别，并且传送控制给判定块830。

该判定块830确定是否去使用层间运动矢量预测。如果是这样的话，然后，控制被传送给功能块835。否则，控制被传送给判定块845。

该功能块835执行模式映射和运动矢量映射，并且传送控制给判定块845。

该判定块845确定是否层间残余预测。如果是这样的话，然后，控制被传送给功能块850。否则，控制被传送给功能块855。

该功能块850执行模式映射和残余映射，并且传送控制给功能块855。在一个实施例中，功能块850可以包括设置空间缩放因子等于2^(-n)，n是一个大于零的整数，并且对于对应于至少某些块的残余的纹理下采样执行平均(850)。

该功能块855编码宏块，并且传送控制给结束块860。

该功能块840编码在增强层中的宏块和在基层中从一组映射的宏块缩放的宏块之间的差别，并且传送控制给该判定块830。

在一个实施例中，当空间可缩放性技术被选择的时候，功能块855可以包括约束空间缩放因子等于或者小于1。

在一个实施例中，功能块835、850和/或855可以包括，例如，设置空间缩放因子等于2^(-n)，n是一个大于零的整数，执行从基层到增强层的多对一块映射，将在基层中具有预测内模式的块转换为预测间模式，并且将在预测内模式中的运动矢量和离散余弦变换系数强制为零。

在一个实施例中，功能块835和/或855可以包括，例如，将用于在增强层中的块的运动矢量映射为在基层中来自一组映射的块相应的映射块的一角的缩放的运动矢量，并且将一个用于在增强层中的块的参考索引分配给在基层中相应的映射块的角，在增强层中的块被相对于在基层中的映射的块组共同设置。

在一个实施例中，功能块850和/或855可以包括设置空间缩放因子等于2^(-n)，n是一个大于零的整数，并且对于残余的纹理下采样执行平均。

转向图9，用于解码在增强层中的宏块的可缩放的视频解码方法通常由参考数字900表示。该方法900包括开始块905，其传送控制给功能块910。该功能块910分析用于该宏块的语法，并且传送控制给判定块915。该判定块915确定是否层间预测标记等于1。如果是这样的话，然后，控制被传送给判定块920。否则，控制被传送给功能块960。

该判定块920确定是否层间内部纹理预测标记等于1。如果是这样的话，然后，控制被传送给判定块925。否则，控制被传送给判定块935。

该判定块925确定是否加权的预测标记等于1。如果是这样的话，然后，控制被传送给功能块930。否则，控制被传送给功能块945。

该功能块930解码在增强层中的宏块和在基层中从一组映射的宏块缩放的加权宏块之间的差别，并且传送控制给判定块935。

该判定块935确定是否层间运动矢量预测标记等于1。如果是这样的话，然后，控制被传送给功能块940。否则，控制被传送给判定块950。

该功能块940执行模式映射和运动矢量映射，并且传送控制给判定块950。

该判定块950确定是否层间残余预测标记等于1。如果是这样的话，然后，控制被传送给功能块955。否则，控制被传送给功能块960。

该功能块955执行模式映射和残余映射，并且传送控制给功能块960。

该功能块960解码宏块，并且传送控制给结束块965。

该功能块945解码在增强层中的宏块和在基层中从一组映射的宏块缩放的宏块之间的差别，并且传送控制给判定块935。

现在将给出本发明许多伴随的优点/特点的一些的描述，其中的一些已经在上面提及。例如，一个优点/特点是可缩放的视频编码器，该视频编码器包括通过使用来自对应于特定的视图的至少一个和至少一个其它视图的下层的预测，将至少两个视图的特定的视图作为一个基层编码，和将至少两个视图的至少一个其它视图的每个作为一个增强层编码，用于编码对应于多视图视频内容的至少两个视图的编码器。至少两个视图被基于从时间的、空间的和信噪比可缩放性技术的至少两个之中的选择而编码。

另一个优点/特点是如上所述的可缩放的视频编码器，其中基层和增强层包括视频比特流，并且该编码器在指示视频比特流的消息中增加一个指示符。该指示符用于表示视频比特流包括多个视图视频信号。

又一个优点/特点是该可缩放的视频编码器，其在如上所述的消息中增加指示符，其中该消息是辅助的增强信息(SEI)消息。

此外，另一个优点/特点是该可缩放的视频编码器，其在如上所述的消息中增加该指示符，其中该消息被带外发送。

此外，另一个优点/特点是该可缩放的视频编码器，其在如上所述的消息中增加该指示符，其中该指示符被作为元数据提供。

同样地，另一个优点/特点是该可缩放的视频编码器，其在如上所述的消息中增加该指示符，其中该指示符将特定的视图或者至少一个其它视图的一个指定为在基层或者增强层的一个中编码。

另外，另一个优点/特点是如上所述的该可缩放的视频编码器，其中该时间的、空间的和信噪比可缩放性技术是遵照国际标准化组织/国际电子技术委员会活动图像专家组-4部分10改进的视频编码标准/国际电信联盟-电信组H.264标准的可缩放的视频编码扩展执行的。

此外，另一个优点/特点是如上所述的该可缩放的视频编码器，其中当空间可缩放性技术被选择的时候，该编码器约束空间缩放因子等于或者小于1。

此外，另一个优点/特点是该可缩放的视频编码器，其约束如上所述的该空间缩放因子，其中通过设置空间缩放因子等于2^(-n)，n是一个大于零的整数，执行从基层到增强层的多对一块映射，将在基层中具有预测内模式的至少某些块的任何一个转换为预测间模式，并且，将在预测内模式中的运动矢量和离散余弦变换系数强制为零，该编码器使用层间预测而编码在基层和增强层中的至少某些块。

同样地，另一个优点/特点是该可缩放的视频编码器，其使用如上所述的层间预测而编码在基层和增强层中的至少某些块，其中该编码器将用于在增强层中的块的运动矢量从在基层中的一组映射的块映射为相应的映射块的一角的缩放的运动矢量，并且将一个用于在增强层中的块的参考索引分配给在基层中相应的映射块的角，在增强层中的块和在基层中的映射块组包括在至少某些块中，在增强层中的块被相对于在基层中的映射块组共同设置。

另外，另一个优点/特点是该可缩放的视频编码器，其约束如上所述的该空间缩放因子，其中通过设置空间缩放因子等于2^(-n)，n是一个大于零的整数，并且对于对应于至少某些块的残余的纹理下采样执行平均，该编码器编码在基层和增强层中的至少某些块。

此外，另一个优点/特点是如上所述的该可缩放的视频编码器，其中至少两个视图通过允许对于在特定的视图和至少一个其它视图之间的交叉视图预测进行加权预测被编码。

此外，另一个优点/特点是该可缩放的视频编码器，其通过允许如上所述的交叉视图预测而编码至少两个视图，其中当编码在增强层中的宏块和从在基层中的一组映射宏块缩放的加权宏块之间的差别的时候，加权预测被允许，在增强层中的宏块被相对于在基层中的映射的宏块组共同设置。

另外，另一个优点/特点是如上所述的该可缩放的视频编码器，其中至少两个视图对应于一对立体视图，并且该对的一个视图被作为基层编码，并且该对的另一个视图被作为增强层使用来自基层的预测而编码。

本发明的这些和其它的特点以及优点可以容易地由一个相关领域普通的技术人员基于在此处的教导来确定。应该理解，本发明的教导可以以硬件、软件、固件、专用的处理器或者其组合的各种各样的形式来实现。

最好是，本发明的教导是作为硬件和软件的组合来实现的。此外，该软件最好是作为在程序存储单元上可触摸地实施的应用程序来实现。该应用程序可以加载到，并且由包括任何适宜的结构的机器执行。最好是，该机器是在具有硬件，诸如一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)和输入/输出(“I/O”)接口的计算机平台上实现的。该计算机平台还可以包括操作系统和微指令代码。在此处描述的各种各样的处理和功能或者可以是微指令代码的一部分，或者可以是应用程序的一部分(或者其任意组合)，其可以由CPU执行。此外，各种各样其他的外围单元可以连接到计算机平台，诸如，附加的数据存储单元和打印单元。

进一步应该理解，因为在伴随的附图中描述的构成系统部件和方法的一些最好是以软件实现，取决于本发明编程的方式，在系统部件或者处理功能块之间的实际连接可以不同。在此处给出教导，一个普通的相关领域技术人员将能够期待本发明的这些和类似的实施或者结构。

虽然参考伴随的附图在此处已经描述了说明性的实施例，应该理解，本发明不局限于这些明确的实施例，并且不脱离本发明的范围或者精神，可以由一个普通的相关领域技术人员在其中实施各种各样的变化和修改。所有这样的变化和修改意欲被包括在如在所附的权利要求阐述的本发明的范围内。

Claims

1.一种可缩放的视频编码器，包括：

编码器(100)，用于编码作为基层的第一立体视图，并且使用来自第一立体视图的预测，编码作为增强层的深度图和视差图的至少一个，

其中第一立体视图以及深度图和视差图的至少一个每个对应于特定的立体内容，并且基于从时间的、空间的和SNR可缩放性技术的至少两个之中的选择被编码。

2.根据权利要求1的可缩放的视频编码器，其中基层和增强层包括视频比特流，并且所述编码器(100)在指示视频比特流的消息中增加与特定的立体内容有关的附加三维信息。

3.根据权利要求2的可缩放的视频编码器，其中所述编码器(100)使用来自基层的重建的视频，重建的深度图和重建的视差图的至少一个，以及在消息中的附加三维信息，重建特定的立体内容的非编码的视图，并且基于重建的非编码的视图编码附加增强层。

4.根据权利要求1的可缩放的视频编码器，其中当空间可缩放性技术被选择的时候，所述编码器(100)约束空间缩放因子等于或者小于1。

5.根据权利要求4的可缩放的视频编码器，其中通过设置空间缩放因子等于2^(-n)，n是一个大于零的整数，执行从基层到增强层的多对一块映射，将在具有预测内模式的基层中的至少某些块的任何一个转换为预测间模式，和迫使在预测内模式中的运动矢量和离散余弦变换系数为零，所述编码器(100)使用层间预测而编码在基层和增强层中的至少某些块。

6.根据权利要求5的可缩放的视频编码器，其中所述编码器(100)将在增强层中用于块的运动矢量从在基层中的一组映射的块映射为相应的映射块的一角的缩放的运动矢量，并且将一个用于在增强层中的块的参考索引分配给在基层中相应的映射块的角，在增强层中的块和在基层中的映射块组包括在至少某些块中，在增强层中的块被相对于在基层中的映射块组共同设置。

7.根据权利要求4的可缩放的视频编码器，其中通过设置空间缩放因子等于2^(-n)，n是一个大于零的整数，并且对于对应于至少某些块的残余的纹理下采样执行平均，所述编码器(100)编码在基层和增强层中的至少某些块。

8.一种用于可缩放的视频编码的方法，包括：

编码(610)作为基层的第一立体视图；和

使用来自第一立体视图的预测，编码(610)作为增强层的深度图和视差图的至少一个，

9.根据权利要求8的方法，其中基层和增强层包括视频比特流，并且在指示视频比特流的消息中增加与特定的立体内容有关的附加三维信息(615)。

10.根据权利要求9的方法，进一步包括：

使用来自基层的重建的视频、重建的深度图和重建的视差图的至少一个、以及在消息中的附加三维信息，重建特定的立体内容的非编码的视图(620)；和

基于重建的非编码的视图编码附加增强层(625)。

11.根据权利要求8的方法，其中当空间可缩放的视频编码技术被选择的时候，约束空间缩放因子等于或者小于1(855)。

12.根据权利要求11的方法，其中通过设置空间缩放因子等于2^(-n)，n是一个大于零的整数，执行从基层到增强层的多对一块映射，将在具有预测内模式的基层中的至少某些块的任何一个转换为预测间模式，和迫使在预测内模式中的运动矢量和离散余弦变换系数为零，所述编码步骤使用层间预测而编码在基层和增强层中的至少某些块(830，850，855)。

13.根据权利要求12的方法，其中所述编码步骤将在增强层中用于块的运动矢量从在基层中的一组映射的块映射为相应的映射块的一角的缩放的运动矢量，并且将一个用于在增强层中的块的参考索引分配给在基层中相应的映射块的角，在增强层中的块和在基层中的映射块组包括在至少某些块中，在增强层中的块被相对于在基层中的映射块组共同设置(835，855)。

14.根据权利要求12的方法，其中通过设置空间缩放因子等于2^(-n)，n是一个大于零的整数，并且对于对应于至少某些块的残余的纹理下采样执行平均，所述编码步骤编码在基层和增强层中的至少某些块(850，855)。

15.一种可缩放的视频解码器，包括：

解码器(200)，用于从基层解码第一立体视图，和使用来自第一立体视图的预测从增强层解码深度图和视差图的至少一个，

其中第一立体视图以及深度图和视差图的至少一个每个对应于特定的立体内容，并且基于从时间的、空间的和SNR可缩放性技术的至少两个之中的选择被解码。

16.根据权利要求15的可缩放的视频解码器，其中基层和增强层包括视频比特流，并且所述解码器(200)从指示视频比特流的消息中读取与特定的立体内容有关的附加三维信息。

17.根据权利要求16的可缩放的视频解码器，其中所述解码器(200)使用来自基层的重建的视频、重建的深度图和重建的视差图的至少一个、和在消息中的附加三维信息，作为基层重建特定的立体内容的非编码的视图，并且基于重建的非编码的视图解码附加增强层以形成特定的立体内容的细化的非编码的视图。

18.一种用于可缩放的视频解码的方法，包括：

从基层解码(710)第一立体视图；和

使用来自第一立体视图的预测，从增强层解码(710)深度图和视差图的至少一个，

19.根据权利要求18的方法，其中基层和增强层包括视频比特流，并且方法进一步包括从指示视频比特流的消息中读取(715)与特定的三维内容有关的附加三维信息。

20.根据权利要求19的方法，进一步包括：

使用来自基层的重建的视频、重建的深度图和重建的视差图的至少一个、和在消息中的附加三维信息，作为基层重建(720)特定的立体内容的非编码的视图；和

基于重建的非编码的视图解码(725)附加增强层以形成特定的立体内容的细化的非编码的视图。