CN103814572A - 帧兼容的全分辨率立体3d压缩和解压缩 - Google Patents

Abstract

高分辨率3D图像可以被编码成基础层中的降低分辨率图像以及一个或更多个增强层中的全分辨率未滤波图像。用于3D图像的经编码的分辨率不对称的图像数据可以被分发到用于3D图像处理和呈现的多种装置。接收装置可以重建降低分辨率图像和全分辨率未滤波图像，以由于眼间掩蔽而利用高主观感知质量呈现3D图像。全分辨率未滤波图像可以在左眼和右眼之间交替。

Description

帧兼容的全分辨率立体3D压缩和解压缩

相关申请的交叉引用

本申请要求2011年9月16日提交的美国临时专利申请No.61/535,880的优先权，其整体通过参考被并入于此。

技术领域

本发明一般涉及图像数据。更特别地，本发明的示例实施例涉及用于立体3D图像的图像数据。

背景技术

用于3D内容递送的帧兼容的半分辨率（FCHR）解决方案遭受空间分辨率劣化，这是因为半分辨率3D内容仅仅包含从全分辨率3D图像帧二次采样（sub-sampled）的半分辨率图像帧。

帧兼容的全分辨率（FCFR）解决方案可以被用来通过经由基础层发送半分辨率3D图像帧以及经由增强层发送互补半分辨率3D图像帧来产生全分辨率3D图像帧。半分辨率3D图像帧以及互补半分辨率3D图像帧可以由接收装置结合成全分辨率的3D图像帧。

然而，双层FCFR解决方案执行低通滤波以便减少/去除半分辨率图像帧中的混叠（aliasing）。因为图像帧中的高频率内容通过低通滤波被去除，所以下游装置不可能恢复高空间频率内容中的所有细节和纹理（textures）。虽然仍然可能构造全分辨率3D图像帧，但是3D图像帧中的像素会已经通过低通滤波而不可逆地改变并且不能用于再现产生3D图像帧的原始的3D内容中的原始的分辨率和锐度（sharpness）。

在该部分中描述的方法是可以被实行的方法，但不一定是先前已经被设想或者实行的方法。因此，除非另有指明，否则不应该仅仅由于它们包括在该部分中而假设在该部分中描述的任何方法有资格作为现有技术。类似地，除非另有指明，否则不应该基于该部分假设关于一个或更多个方法识别出的问题已经在任何现有技术中被认识到。

附图说明

本发明通过示例的方式而不是通过限制的方式被示出在附图的各图中，并且在附图中相似的附图标志指的是类似的元件，并且在附图中：

图1A示出示例的多层视频编码器，图1B示出示例的多层视频解码器，并且图1C示出示例的基础层视频解码器，这些图与对其中高空间频率内容被滤波/去除的图像数据进行编码或解码有关；

图2A示出对用于左眼和右眼之一而不用于左眼和右眼中的另一个的高空间频率内容进行编码的示例的多层视频编码器；图2B示出被配置为对包括用于左眼和右眼之一而不用于左眼和右眼中的另一个的高空间频率内容的一个或更多个视频信号进行解码的示例的多层视频解码器；

图3A示出在左眼和右眼之间交替对高空间频率内容进行编码的示例的多层视频编码器；图3B示出对包括在左眼和右眼之间交替地编码的高空间频率内容的一个或更多个视频信号进行解码的示例的多层视频解码器；

图3C示出被配置为对一个或更多个增强层中的高空间频率内容和互补的降低分辨率图像数据两者进行解码的示例的多层视频解码器；

图4示出携带在左眼和右眼之间交替的用于眼睛的高空间频率内容的3D图像的示例序列；

图5示出包括用于左眼和右眼之一的全分辨率未滤波图像帧和用于另一个眼睛的半分辨率滤波图像帧的3D图像的示例类型；

图6A和图6B示出根据本发明的示例实施例的示例处理流程；以及

图7示出根据本发明的示例实施例的其上可以实现如在本申请中描述的计算机或者计算装置的示例硬件平台。

具体实施方式

在本申请中描述涉及在不同显示能力之上的基于感知照度非线性的图像数据交换的示例实施例。在下面的描述中，出于说明的目的，阐述了许多的具体细节以便提供对本发明的彻底的了解。然而，将明白，可以在没有这些具体细节的情况下实现本发明。在其它情况中，不以详尽的细节的方式描述公知的结构和装置，以免不必要地遮蔽、模糊或者混乱本发明。

在本申请中根据以下概述描述示例实施例：

1、一般概述

2、其中对于双眼的高空间内容被滤波的多层视频递送

3、其中对于一个眼睛的高空间内容未滤波的多层视频递送

4、其中在交替的视角（perspective）中高空间内容未滤波的多层视频递送

5、示例性处理流程

6、实现机构——硬件概述

7、等同物、扩展、替代方案和杂项

1、一般概述

该概述介绍本发明的示例实施例的一些方面的基本描述。应当注意，该概述不是示例实施例的方面的广泛的或者详尽的总结。此外，应当注意，该概述不意图被理解为标识示例实施例的任何特别显著的方面或者元件，也不被理解为特别地描绘示例实施例的任何范围，也没有一般描绘本发明的任何范围。该概述仅仅以精简和简化的格式介绍涉及示例实施例的一些概念，并且应该被理解为仅仅是对于下面跟随的示例实施例的更详细描述的概念上的序言。

当前主要经由网络连接（例如从基于因特网的内容供应商）接收视频数据。然而，分配给计算装置上的显示应用（诸如3D显示应用）的比特率（bitrate）是有限的。

为了支持最广泛的可能种类的3D图像呈现装置，3D图像内容可以被传递作为具有降低分辨率的帧兼容的3D图像帧（或图画）。如所讨论的，3D图像帧可以被从全分辨率3D图像帧二次采样为降低分辨率3D图像帧；全分辨率3D图像帧中的高空间频率内容可以由低通滤波器去除以便防止二次采样的图像帧中的混叠。

本发明的实施例利用在立体3D观看的情况下人类视觉中的两眼间的掩蔽效应和感知的冗余。当（同时或以帧连续的方式）观看包括具有两个不同的空间分辨率的3D图像的左眼（LE）和右眼（RE）图像帧的3D图像时，人类眼睛倾向于以两个不同的空间分辨率中的更高的空间分辨率来感知3D图像。

实施例包括将分辨率不对称的3D图像数据编码和提供给下游装置。为了呈现3D图像的序列中的各个3D图像，为左眼和右眼中的一个提供全分辨率未滤波图像数据，而同时为左眼和右眼中的另一个提供仅仅经滤波图像数据。

因为当分辨率在LE和RE图像帧之间不同时3D图像的质量和锐度的感知强烈地倾斜（weighted）朝向观看更大的空间分辨率图像帧的眼睛，所以在此描述的技术之下的分辨率不对称的3D图像数据要求少得多的数据量，但是提供与其它技术之下的使用多得多的数据来为左眼和右眼两者提供具有全分辨率未滤波图像数据的分辨率对称的3D图像数据类似的主观图画质量。

在一些示例实施例中，在基础层中将3D图像的帧兼容的降低分辨率LE和RE图像帧提供给接收装置的同时，在与基础层分离的一个或更多个增强层中将用于左眼和右眼中的一个的3D图像的全分辨率未滤波图像数据提供给接收装置。接收装置可以将3D图像的全分辨率未滤波图像数据与3D图像的两个帧兼容的降低分辨率3D图像帧中的用于左眼和右眼中的同一个眼睛的一个图像帧结合，以便重建用于左眼和右眼中的所述一个眼睛的全分辨率未滤波图像帧。

在此描述的编解码器（Codec）实现技术可以被配置为包括层间预测能力，以便充分利用在基础层中的降低分辨率滤波图像帧中的一个和对应的源图像帧之间的统计冗余（statistical redundancy）。增强层中的经编码图像数据可以（可能仅仅）携带残留的（或差分的）图像数据，而不是在不利用不同层的图像数据中的统计冗余的情况下携带大量全分辨率未滤波图像数据。增强层中提供的残留图像数据使得下游装置能够通过在基础层中的降低分辨率滤波图像帧中的一个之上添加残留图像数据来构造全分辨率未滤波图像帧。

在一些示例实施例中，编解码器可以被配置为包括如ITU-T推荐H.264和ISO/IEC14496-10中描述的使用的视图间（inter-view）预测能力。在一些示例实施例中，RPU（参考处理单元）可以被用来改善用于增强层压缩的层间预测中的效率。

在一些实施例中，由于缺少低通滤波而保留高空间频率内容的用于一个眼睛的全分辨率未滤波图像帧以及不保留高空间频率内容的用于另一个眼睛的降低分辨率（例如，上采样的）图像帧被呈现以用于观看。全分辨率未滤波图像帧的呈现可以从一个3D图像到下一个3D图像在左眼和右眼之间交替。可替代地和/或可选地，全分辨率未滤波图像帧的呈现可以从一个场景（scene）到下一个场景在左眼和右眼之间交替。可替代地和/或可选地，全分辨率未滤波图像帧的呈现可以从一个固定持续时间到下一个固定持续时间在左眼和右眼之间交替。在示例实施例中，固定持续时间可以是一个单帧或多个帧的回放时间。在示例实施例中，持续时间的长度可以在节目之间变化。可以使用在两个眼睛之间交替显示全分辨率未滤波图像帧的其它方式。

奇偶标志可以与图像帧一起被提供以便在增强层中用信号通知图像数据的奇偶性。图像数据的奇偶性指的是图像数据用于哪个眼睛。奇偶标志可以被传送作为视频比特流中可用的辅助增强信息（SEI）或其它类似的元数据运输（carriage）的一部分。

在一些示例实施例中，其它应用需要的数据也可以与全分辨率未滤波图像数据一起被包括在增强层中。在一些示例实施例中，如市场上可从加利福尼亚州的旧金山的杜比实验室买到的FCFR技术提供的特征可以被在此描述的基础和增强层支持。

本发明的实施例可以使带宽或比特率使用最小化并且以降低分辨率保留帧兼容的3D图像数据，其可以支持各种电视机、显示器和其它图像呈现装置。此外，与不使用在此描述的技术的其它方法相比，一些可用的系统部件的重复使用和改编特征和改善能力允许相对低的成本实现。

在一些示例实施例中，如本申请中描述的机构形成媒体处理系统的一部分，该媒体处理系统包括但不限于：手持装置、游戏机、电视机、膝上型计算机、上网本计算机、平板计算机、蜂窝式无线电话、电子图书阅读器、销售点终端、台式计算机、计算机工作站、计算机机房（kiosk）、或各种其它种类的终端和媒体处理单元。

对优选实施例的各种变型以及本申请中描述的通用原理和特征对于本领域技术人员而言将是容易明白的。因此，本公开不意图限于示出的实施例，而是要被给予符合本申请中描述的原理和特征的最宽的范围。

2、其中对于双眼的高空间内容被滤波的多层视频递送

图1A示出了根据本发明实施例的示例的多层视频编码器（100），其滤波/去除存在于输入视频序列中的高空间频率内容。图1B示出了根据该示例实施例的与图1A所示出的多层视频编码器（100）对应的多层视频解码器（150）。

在示例实施例中，多层视频编码器（100）被配置为对由3D输入图像的序列组成的输入3D视频序列进行编码。3D图像的序列中的3D输入图像包括包含高空间频率内容的全分辨率3D图像数据。如在此使用的，术语“全分辨率”可以指的是由图像帧中的可独立设置的像素的总数最大限度地支持的空间分辨率。3D输入图像中的全分辨率3D图像数据可以由多层视频编码器（100）初始解码成输入LE图像帧（102-L）和输入RE图像帧（102-R），这两者都包含高空间频率内容。

在一个示例实施例中，多层视频编码器（100）中的一个或更多个滤波机构（例如，104-L和104-R）基于输入的LE和RE图像帧（102-L和102-R）产生经滤波的LE和RE图像数据（106-L和106-R）。经滤波的LE和RE图像数据（106-L和106-R）可以通过从输入的LE和RE图像帧（102-L和102-R）中去除高空间频率内容的全部或显著的部分而产生。可以利用滤波机构（例如，104-L和104-R）中的一个或更多个低通滤波器（LPF）执行滤波。在一个示例实施例中，在此描述的滤波去除或基本上衰减输入图像中的在与多层视频解码器（150）支持的空间分辨率对应的临界频率以上的任何空间频率内容。

如在此使用的，术语“高空间频率内容”可以指的是存在于输入的3D视频序列中但是出于防混叠目的被例如低通滤波器去除的高空间频率图像细节。如果已经发生高空间频率内容的去除，则如下将是不可逆的，即下游装置不会能够利用经滤波图像数据再现高分辨率图像细节。

在一个示例实施例中，可以被实现为滤波机构（104-L和104-R）的一部分或除滤波机构（104-L和104-R）之外实现的一个或更多个采样器（例如，如图1A的104-L和104-R中利用向下指的箭头所示出的下采样器）执行采样（下采样）作为产生经滤波的LE和RE图像数据（106-L和106-R）的一部分。在一个示例实施例中，采样器将经滤波的LE图像数据分离成两半，其中的一半包括二次采样的（例如，每个奇数列或行）LE图像数据部分，而其中另一半包括互补的二次采样的（例如，每个偶数列或行）LE图像数据部分。类似地，采样器将经滤波的RE图像数据分离成两半，其中的一半包括二次采样的（例如，每个奇数列或行）RE图像数据部分，而其中另一半包括互补的二次采样的（例如，每个偶数列或行）RE图像数据部分。

在一个示例实施例中，一个或更多个多路复用器（例如，Mux108-1和Mux108-2）将经滤波的LE和RE图像数据（106-L和106-R）多路复用成多路复用的3D图像帧（112-1和112-2）。多路复用的3D图像帧（112-1和112-2中的一个）包括用于左眼的（例如，下采样的）图像数据部分和用于右眼的（例如，下采样的）图像数据部分两者。多路复用的3D图像帧可以被下游装置解码成降低分辨率（例如，一半分辨率）的LE图像帧和RE图像帧，降低分辨率小于全分辨率的100%。这种经解码的降低分辨率的LE和RE图像帧可以被上采样以便包括与全分辨率图像帧相同数量的像素，其具有比不是通过上采样操作获得的全分辨率图像更模糊（fuzzy）的外观（look）。

在一个示例实施例中，多路复用的3D图像帧（112-1）包括用于左眼的全分辨率图像帧中的像素的总数的一半（例如，每隔一列或每隔一行）以及用于右眼的另一半的图像数据，而多路复用的3D图像帧（112-2）包括用于左眼的全分辨率图像帧中的像素的总数的一半（例如，每隔一列或每隔一行）以及用于右眼的另一半的互补的图像数据。降低分辨率LE和RE图像数据部分可以在多路复用的3D图像帧（例如，112-1和112-2中的一个）之内以并排格式、上下格式、梅花形（quincunx）格式、棋盘（checkerboard）格式、交错（interleaved）格式、先前格式的组合或其它多路复用格式被多路复用。

一个或更多个增强层可以被用来携带互补的图像数据，该互补的图像数据可以与基础层中的图像数据结合来产生等于或低于全分辨率的图像帧。在一个示例中，基础层可以携带半分辨率图像帧并且增强层可以携带互补的半分辨率图像帧，该互补的半分辨率图像帧可以通过下游装置来与基础层中的半分辨率图像帧结合以产生全分辨率的图像帧。在另一个示例中，基础层压缩并且携带全分辨率的图像帧的三分之一，而增强层携带全分辨率的图像帧的剩余的三分之二，该剩余的三分之二可以通过下游装置来与基础层中的三分之一分辨率图像帧结合以产生全分辨率的图像帧。将全分辨率分解成降低分辨率的其它变型也是可能的。

在一个示例实施例中，BL编码器（110）至少部分基于多路复用的3D图像帧（112-1）产生要在基础层帧兼容的视频流（BL FC视频流118-1）中携带的基础层视频信号，而EL编码器（116）至少部分基于多路复用的3D图像帧（112-2）产生要在增强层帧兼容的视频流（EL FC视频流118-3）中携带的增强层视频信号。BL编码器（110）和EL编码器（116）中的一个或两者可以使用多个编解码器（诸如H.264/AVC、VP8、VC-1和/或其它）中的一个或更多个被实现。

可以使用混合视频编码方法（例如，由诸如VC-1、H.264/AVC和/或其它之类的视频编解码器实现）产生在此描述的增强层视频信号。可以根据相同图像帧中的相邻样本（使用帧内预测（intraprediction））、或者根据来自属于同一个层并且在预测参考图像帧缓冲器之内缓冲作为运动补偿的预测参考的过去解码的图像帧（帧间预测（inter prediction））的样本，预测多路复用的3D图像帧112-2中的图像数据。层间预测也可以至少部分基于来自其它层（例如，基础层等）的经解码的信息。

另外和/或可选地，多层视频编码器（100）可以包括参考处理单元（RPU，114）来执行与预测有关的操作。如由参考处理单元（114）实现的预测可以被用来减少在多层视频解码器（150）中构造全分辨率3D图像帧中的开销（overhead）和冗余数据。RPU（114）可以从BL编码器110接收和利用BL图像数据和其它预测有关的信息，并且通过帧内或帧间预测产生预测参考图像帧。

在利用这种预测的那些示例实施例中，EL编码器（116）至少部分基于多路复用的3D图像帧（112-2）和预测参考图像帧产生多路复用的3D图像残差（预测参考图像帧和多路复用的3D图像帧112-2之间的差）并且将图像残差存储在要在EL FC视频流（118-3）中携带的增强层视频信号中。此外，RPU（114）至少部分基于预测参考图像帧产生要在增强层（EL）RPU流（118-2）中携带的参考视频信号。

图1B示出了根据实施例的多层视频解码器（150），其接收其中已经将高空间频率内容从原始的视频序列（其可以是如结合图1A所讨论的输入视频序列）去除的输入视频信号。在一个示例实施例中，输入视频信号在多个层（或多个比特流）中被接收。如在此使用的，术语“多层”或“多个层”可以指的是携带（输入视频信号的）彼此之间具有一个或更多个逻辑依赖关系的输入视频信号的两个或更多个比特流。

在一个示例实施例中，多层视频解码器（150）被配置为将BL FC视频流（图1B的118-1）、EL RPU流（图1B的118-2）和EL FC视频流（图1B的118-3）中的一个或更多个输入视频信号解码成3D输出图像的序列。多层视频解码器（150）解码得到的3D输出图像的序列中的3D输出图像不包括用于任一眼睛的全分辨率未滤波的3D图像数据，这是因为产生输入视频信号的原始的视频序列中的高空间频率内容已经被滤波/去除并且不再能被多层视频解码器（150）恢复。

在一个示例实施例中，BL解码器（152）至少部分基于从BL FC视频流（图1B的118-1）接收的BL视频信号产生第一多路复用的3D图像帧（158-1），而EL解码器（156）至少部分基于从EL FC视频流（图1B的118-3）接收的EL视频信号产生第二多路复用的3D图像帧（158-2）。BL解码器（152）和EL解码器（156）中的一个或两者可以使用多个编解码器（诸如H.264/AVC、VP8、VC-1和/或其它）中的一个或更多个被实现。

在利用预测的实施例中，解码器侧RPU（154）至少部分基于从EL RPU流（图1B的118-2）接收的参考视频信号和/或来自BL解码器（152）的BL图像数据产生预测参考图像帧。此外，EL解码器（156）至少部分基于EL FC视频流（图1B的118-3）中的EL视频信号和来自RPU（154）的预测参考图像帧产生第二多路复用的3D图像帧（158-2）。

多层视频解码器（150）可以将在一个或更多个增强层（例如，EL RPU流118-2和EL FC视频流118-3）中接收的互补的图像数据与在基础层（例如，BL FC视频流118-1）中接收的图像数据结合来产生等于或低于全分辨率的图像帧。多层视频解码器（150）可以支持将全分辨率分解成基础层和一个或更多个增强层中的降低分辨率的变型中的一个或更多个。

在一个示例实施例中，一个或更多个多路分解器（demultiplexer）（例如，DeMux160-1和160-2）将多路复用的3D图像帧（158-1和158-2）多路分解（de-multiplex）成等于或低于全分辨率的经滤波的LE和RE输出图像帧（162-L和162-R）。虽然多路复用的3D图像帧（158-1和158-2）包括用于左眼和右眼两者的图像数据，但是经滤波的LE和RE输出图像帧（162-L和162-R）中的每一个仅仅用于左眼和右眼中的一个。第一多路复用的3D图像帧（158-1）中的降低分辨率的第一LE图像数据部分可以与第二多路复用的3D图像帧（158-2）中的降低分辨率的第二LE图像数据部分结合，以便形成等于或低于全分辨率的经滤波的LE输出图像（162-L）。类似地，第一多路复用的3D图像帧（158-1）中的降低分辨率的第一RE图像数据部分可以与第二多路复用的3D图像帧（158-2）中的降低分辨率的第二RE图像数据部分结合，以便形成等于或低于全分辨率的经滤波的RE输出图像（162-R）。

等于或低于全分辨率的经滤波的LE和RE输出图像帧可以由显示装置（其例如可以包括多层视频解码器150）呈现来表现输出3D图像。呈现经滤波的LE和RE输出图像帧可以但不限于以帧连续的方式。因为已经从多层视频解码器（150）接收的视频信号中滤出高空间频率内容，所以输出3D图像不包含可能存在于原始的3D图像（其可以是图1A的3D输入图像中的一个）中的高空间频率图像细节。

图1C示出了根据实施例的基础层视频解码器（150-1），其接收其中已经将高空间频率内容从原始的视频序列（其可以是如结合图1A所讨论的输入视频序列）去除的一个或更多个输入视频信号。在一个示例实施例中，基础层视频解码器（150-1）被配置为不管由解码器接收的物理信号中是否可以存在其它层中的视频信号、都将从基础层（图1C的BL FC视频流118-1）接收的BL输入视频信号解码成3D输出图像的序列。在一个示例实施例中，基础层视频解码器（150-1）被配置为忽略除BL FC视频流（118-1）以外的其它流中的视频信号的任何存在。

基础层视频解码器（150-1）产生的3D输出图像的序列中的3D输出图像不包括全分辨率未滤波的3D图像数据，这是因为产生输入视频信号的原始的视频序列中的高空间频率内容已经被滤波/去除并且不能由多层视频解码器（150-1）恢复。

在一个示例实施例中，BL解码器（图1C的152）至少部分基于BL FC视频流（图1C的118-1）中的BL输入视频信号产生多路复用的3D图像帧（图1C的158-1）。BL解码器（图1C的152）可以使用多个编解码器（诸如H.264/AVC、VP8、VC-1和/或其它）中的一个或更多个被实现。

在一个示例实施例中，上采样单元（170）将多路复用的3D图像帧（158-1）多路分解和/或分离成两个图像数据部分。虽然多路复用的3D图像帧（158-1）包括用于左眼和右眼两者的多路复用的经滤波图像数据，但是图像数据部分包括均处于低于全分辨率的降低分辨率的经滤波的LE图像数据部分和经滤波的RE图像数据部分。在一个示例实施例中，上采样单元（170）对经滤波的LE图像数据部分进行上采样来形成上采样的低于全分辨率的LE滤波输出图像帧（172-L）。类似地，上采样单元（170）对经滤波的RE图像数据部分进行上采样来形成上采样的低于全分辨率的RE滤波输出图像帧（172-R）。即使上采样的LE和RE滤波图像帧（172-L和-R）中的每一个可以包括与全分辨率图像帧相同数量的像素，利用上采样的LE和RE滤波图像帧（172-L和-R）呈现的3D图像也具有比由不是由上采样操作获得的全分辨率LE和RE图像帧（图1B的162-L和-R）组成的3D图像更模糊的外观。另外，上采样的LE和RE滤波图像帧（172-L和-R）不具有在输入视频信号（其可以从例如图1A的118-1到118-3导出）的编码处理中去除的高空间频率图像细节。

上采样的低于全分辨率的LE和RE滤波图像帧（172-L和-R）可以由显示装置（其例如可以包括基础层视频解码器150-1）呈现来表现输出3D图像。呈现上采样的LE和RE滤波图像帧（172-L和-R）可以但不限于以帧连续的方式。

3、其中对于一个眼睛的高空间内容未滤波的多层视频递送

图2A示出了根据实施例的多层视频编码器（200），其对用于一个眼睛的输入视频序列中的高空间频率内容进行滤波但是不对另一个眼睛进行滤波。图2B示出了根据该实施例的与图2A所示出的多层视频编码器（200）对应的多层视频解码器（250）。

仅仅出于例证的目的，图2A示出多层视频编码器（200）可以被用来在由多层视频编码器（200）产生的经编码的输出视频信号中提供用于左眼的未滤波的高空间频率内容和用于右眼的没有高空间频率内容的经滤波图像数据。相同技术可以被用来实现在由多层视频编码器产生的经编码的输出视频信号中提供用于右眼的未滤波的高空间频率内容和代之以用于左眼的没有高空间频率内容的经滤波图像数据的多层视频编码器。

在示例实施例中，多层视频编码器（200）被配置为对由3D输入图像的序列组成的输入3D视频序列进行编码。3D图像的序列中的3D输入图像的全分辨率未滤波的3D图像数据可以被解码成3D输入图像的输入左眼（LE）图像帧（102-L）和输入右眼（RE）图像帧（102-R）。

在一个示例实施例中，多层视频编码器（200）中的一个或更多个滤波机构（例如，104-L和104-R）基于输入LE和RE图像帧（102-L和102-R）产生经滤波的LE和RE图像数据（106-L和106-R）。经滤波的LE和RE图像数据（106-L和106-R）可以被从输入LE和RE图像帧（102-L和102-R）中去除高空间频率内容，并且可以通过滤波和/或下采样输入LE和RE图像帧（102-L和102-R）来产生。

在一个示例实施例中，多路复用器（例如，Mux108-1）在多路复用的3D图像帧（112-1）中将经滤波的LE和RE图像数据（106-L和106-R）多路复用。多路复用的3D图像帧包括用于左眼和右眼两者的经滤波图像数据，并且可以由下游装置解码成降低分辨率的LE图像帧和RE图像帧。

在一个示例实施例中，多路复用的3D图像帧（112-1）包括用于全分辨率LE图像帧的一半（例如，每个奇数列或行）的图像数据以及用于全分辨率RE图像的一半的图像数据。降低分辨率LE和RE图像数据可以在多路复用的3D图像帧（112-1）之内以并排格式、上下格式、梅花形格式、棋盘格式、交错格式、先前的格式的组合或其它多路复用格式被多路复用。

一个或更多个增强层可以被用来携带要由下游装置使用的用于左眼的未滤波的高空间频率内容，以便产生具有用于左眼的未滤波的高空间图像细节的全分辨率LE输出图像帧。在一个示例中，基础层可以携带半分辨率图像帧并且增强层可以携带未滤波的LE图像数据，该未滤波的LE图像数据可以通过下游装置来与基础层中的半分辨率图像帧结合以产生全分辨率的图像帧。在另一个示例中，基础层压缩并且携带全分辨率的图像帧的三分之一，而增强层携带未滤波的LE图像，该未滤波的LE图像可以通过下游装置来与基础层中的三分之一分辨率图像帧结合以产生全分辨率的图像帧。结合基础层和增强层图像数据的其它变型也是可能的。

在一个示例实施例中，BL编码器（110）至少部分基于多路复用的3D图像帧（112-1）产生要在基础层帧兼容的视频流（BL FC视频流118-1）中携带的基础层视频信号，而EL编码器（216）至少部分基于（未滤波的）输入左眼（LE）图像帧（102-L）产生要在可以是或可以不是帧兼容的增强层视频流（EL视频流218-1）中携带的用于左眼的具有未滤波的高空间频率内容的增强层视频信号。BL编码器（110）和EL编码器（216）中的一个或两者可以使用多个编解码器（诸如H.264/AVC、VP8、VC-1和/或其它）中的一个或更多个被实现。

可以使用混合视频编码方法（例如，由诸如VC-1、H.264/AVC和/或其它之类的视频编解码器实现）产生在此描述的增强层视频信号。可以根据相同图像帧中的相邻样本（使用帧内预测）或者根据来自属于同一个层并且在预测参考图像帧缓冲器之内缓冲作为运动补偿的预测参考的过去解码的图像帧（帧间预测）的样本，预测未滤波的全分辨率LE图像帧的图像数据。层间预测也可以至少部分基于来自其它层（例如，基础层等）的经解码的信息。

另外和/或可选地，多层视频编码器（200）可以包括参考处理单元（RPU，214），其执行与预测有关的一个或更多个操作。如由参考处理单元实现的预测可以减少在多层视频解码器（250）中构造用于左眼的全分辨率未滤波图像帧中的开销。RPU（214）可以从BL编码器110接收BL图像数据，并且通过帧内或帧间预测（或估计）产生预测参考图像帧。

在利用预测的实施例中，EL编码器（216）至少部分基于未滤波的输入LE图像帧（102-L）和预测参考图像帧产生未滤波的LE图像残差（预测参考图像帧和未滤波的输入LE图像帧102-L之间的差），将图像残差存储在要在EL视频流（218-1）中携带的增强层视频信号中。此外，RPU（214）至少部分基于预测参考图像帧产生要在增强层（EL）RPU流（218-2）中携带的参考视频信号。

图2B示出了根据实施例的示例多层视频解码器（250），其接收包括用于左眼的未滤波的高空间频率内容和用于右眼的没有高空间频率内容的经滤波图像数据的输入视频信号。在一个示例实施例中，输入视频信号在包括基础层和一个或更多个增强层的多个层（或多个比特流）中被接收。

在一个示例实施例中，多层视频解码器（250）被配置为将BL FC视频流（图2B的118-1）、EL RPU流（图2B的218-2）和EL视频流（图2B的218-1）中的一个或更多个输入视频信号解码成3D输出图像的序列。在一个示例实施例中，3D输出图像的序列中的3D输出图像包括用于左眼的具有全分辨率未滤波图像细节的LE3D和等于或低于全分辨率的RE经滤波的3D输出图像。

在一个示例实施例中，BL解码器（152）至少部分基于BL FC视频流（图2B的118-1）中的BL视频信号产生多路复用的3D图像帧（图2B的158-1），而EL解码器（256）至少部分基于EL视频流（图2B的218-1）中的EL视频信号产生包括存在于原始的输入视频序列（其可以是图2A的输入视频序列）中的未滤波的高空间频率内容的左眼输出图像帧（272-L）。BL解码器（152）和EL解码器（256）中的一个或两者可以使用多个编解码器（诸如H.264/AVC、VP8、VC-1和/或其它）中的一个或更多个被实现。

在利用这种预测的那些示例实施例中，解码器侧RPU（254）至少部分基于EL RPU流（图2B的218-2）中的参考视频信号和/或来自BL解码器（152）的BL图像数据产生预测参考图像帧。此外，EL解码器（256）至少部分基于EL视频流（图2B的218-1）中的EL视频信号和来自RPU（254）的预测参考图像帧来产生包括未滤波的高空间频率内容的LE输出图像帧（272-L）。

在一个示例实施例中，上采样单元（170）将多路复用的3D图像帧（158-1）多路分解和/或分离成两个图像数据部分。虽然多路复用的3D图像帧（158-1）包括用于左眼和右眼两者的多路复用的经滤波图像数据，但是图像数据部分包括经滤波的LE图像数据部分和经滤波的RE图像数据部分，其中每个图像数据部分都处于低于全分辨率的降低分辨率。在一个示例实施例中，上采样单元（170）对经滤波的RE图像数据部分进行上采样来形成上采样的低于全分辨率的RE滤波输出图像帧（172-R）。即使上采样的RE滤波图像帧（172-R）可以包括与全分辨率图像帧相同数量的像素，上采样的RE滤波图像帧（172-R）也具有比不是由上采样操作获得的全分辨率RE图像帧（例如，图1B的162-R）更模糊的外观。另外，上采样的RE滤波图像帧（172-R）不具有在输入视频信号（其可以从例如图2A的118-1导出）的编码处理中去除的高空间频率图像细节。

在一个示例实施例中，多层视频解码器（250）可以与基础层中接收的图像数据一起利用在一个或更多个增强层中接收的图像数据（包括但不限于EL RPU流中的参考视频信号和EL视频流中的EL视频信号），以便改善上采样的RE输出图像帧（172-R）的空间分辨率。

包括未滤波的高空间频率内容的LE输出图像帧（272-L）和上采样的低于全分辨率的RE滤波图像帧（172-R）可以由显示装置（其例如可以包括多层视频解码器250）呈现来表现输出3D图像。可以但不限于以帧连续的方式呈现LE和RE图像帧。

4、其中在交替视角中高空间内容未滤波的多层视频递送

单眼优势（eye dominance）可能在各种群之间不同。将未滤波的全分辨率图像细节仅仅呈现到同一个眼睛（例如，左眼或右眼）可以影响例如与不同种群的观看者有关的主观的或美学的感觉方面的3D观看体验的质量。在一些示例实施例中，未滤波图像帧可以在左眼和右眼之间交替，这因此可以帮助保持3D图像质量。例如，各包括具有未滤波的高空间频率内容的LE图像帧和没有未滤波的高空间频率内容的RE滤波图像帧的一个或更多个第一3D图像以及各包括具有未滤波的高空间频率内容的RE图像帧和没有未滤波的高空间频率内容的LE滤波图像帧的一个或更多个第二3D图像可以由显示装置分别在第一时间和不同的第二时间处呈现。如将在稍后进一步说明的，可以以不同的时间分辨率发生一个或更多个第一3D图像和一个或更多个第二3D图像之间的交替。

图3A示出了根据本公开的实施例的对用于一个眼睛的输入视频序列中的高空间频率内容进行滤波但是保留用于另一个眼睛的未滤波的高空间频率内容的多层视频编码器（300）。图3B示出了根据本公开的实施例的与图3A所示出的多层视频编码器（300）对应的多层视频解码器（350）。

在一个示例实施例中，多层视频编码器（300）被配置为对由3D输入图像的序列组成的输入3D视频序列进行编码。3D图像的序列中的3D输入图像的全分辨率未滤波的3D图像数据可以被解码成3D输入图像的输入左眼（LE）图像帧（102-L）和输入右眼（RE）图像帧（102-R）。

在一个示例实施例中，多层视频编码器（300）中的一个或更多个滤波机构（例如，104-L和104-R）基于输入LE和RE图像帧（102-L和102-R）产生经滤波的LE和RE图像数据（106-L和106-R）。经滤波的LE和RE图像数据（106-L和106-R）可以被从输入LE和RE图像帧（102-L和102-R）中去除高空间频率内容，并且可以通过对输入LE和RE图像帧（102-L和102-R）滤波和/或下采样来产生。

在一个示例实施例中，多路复用器（例如，Mux108-1）将经滤波的LE和RE图像数据（106-L和106-R）在多路复用的3D图像帧（112-1）中多路复用。多路复用的3D图像帧包括用于左眼和右眼两者的经滤波图像数据，并且可以由下游装置解码成降低分辨率的LE图像帧和RE图像帧。

在一个示例实施例中，多路复用的3D图像帧（112-1）包括用于全分辨率LE图像帧的一半（例如，每个奇数列或行）的图像数据以及用于全分辨率RE图像的一半的图像数据。降低分辨率LE和RE图像数据可以在多路复用的3D图像帧（112-1）之内以并排格式、上下格式、梅花形格式、棋盘格式、交错格式、先前的格式的组合或其它多路复用格式被多路复用。

一个或更多个增强层可以被用来携带要由下游装置使用的用于左眼和右眼中的一个的未滤波的高空间频率内容，以便产生用于左眼和右眼中的一个的具有未滤波的高空间图像细节的全分辨率输出图像帧。在一个示例中，基础层可以携带半分辨率LE或RE图像帧并且增强层可以携带未滤波的LE或RE图像数据，该未滤波的LE或RE图像数据可以通过下游装置来与基础层中的半分辨率图像帧结合以产生全分辨率的图像帧。在另一个示例中，基础层压缩并且携带全分辨率的LE或RE图像帧的三分之一，而增强层携带未滤波的LE或RE图像，该未滤波的LE或RE图像可以通过下游装置来与基础层中的三分之一分辨率图像帧结合以产生全分辨率的图像帧。结合基础层和增强层图像数据的其它变型也是可能的。

在一个示例实施例中，BL编码器（110）至少部分基于多路复用的3D图像帧（112-1）产生要在基础层帧兼容的视频流（BL FC视频流118-1）中携带的基础层视频信号，而EL编码器（316）至少部分基于（未滤波的）输入LE图像帧（102-L）和（未滤波的）输入RE图像帧（102-R）中的一个来产生要在可以是或可以不是帧兼容的增强层视频流（EL视频流318-1）中携带的用于对应的眼睛的具有未滤波的高空间频率内容的增强层视频信号。BL编码器（110）和EL编码器（316）中的一个或两者可以使用多个编解码器（诸如H.264/AVC、VP8、VC-1和/或其它）中的一个或更多个被实现。

可以使用混合视频编码方法（例如，由诸如VC-1、H.264/AVC和/或其它之类的视频编解码器实现）产生在此描述的增强层视频信号。可以根据相同图像帧中的相邻样本（使用帧内预测）或者根据来自属于同一个层并且在预测参考图像帧缓冲器之内缓冲作为运动补偿的预测参考的过去解码的图像帧（帧间预测）的样本，预测未滤波的全分辨率LE或RE图像帧的图像数据。层间预测也可以至少部分基于来自其它层（例如，基础层）的经解码的信息。

另外和/或可选地，多层视频编码器（300）可以包括参考处理单元（RPU314），其执行与预测有关的一个或更多个操作。如由参考处理单元实现的预测可以减少在多层视频解码器（350）中构造用于左眼和右眼中的一个的全分辨率未滤波图像帧中的开销。RPU（314）可以从BL编码器110接收BL图像数据，并且通过帧内或帧间预测（或估计）产生预测参考图像帧。

在一个示例实施例中，多层视频编码器（300）包括决策器（decision maker）单元（320），用于判决用于EL视频流（318-1）中的图像数据的奇偶标志的值。奇偶标志的第一值（例如，“L”、二进制值等）指示EL视频流（318-1）中的图像数据包括用于左眼的未滤波的高空间频率内容，而不同的第二值（例如，“R”、二进制值等）指示EL视频流（318-1）中的图像数据包括用于右眼的未滤波的高空间频率内容。决策器单元（320）被配置为基于基础层图像数据、（未滤波的）输入LE图像帧（102-L）和（未滤波的）输入RE图像帧（102-R）中的一个或更多个判决用于奇偶标志的值。在一个示例实施例中，决策器单元（320）将所判决的奇偶标志的值提供给RPU（314）。奇偶标志的值和与奇偶标志的值关联的图像帧的识别信息可以通过使用EL RPU流（318-2）被用信号通知（例如，作为SEI的一部分）给下游装置。在一个示例实施例中，决策器（320）被配置为设立用于（未滤波的）输入LE图像帧（102-L）和（未滤波的）输入RE图像帧（102-R）中的与要被提供给EL编码器（316）的奇偶标志的值对应的一个的数据流路（data flow path）。然后由EL编码器（316）将（未滤波的）输入LE图像帧（102-L）和（未滤波的）输入RE图像帧（102-R）中的那一个编码成EL视频信号。

在利用这种预测的那些示例实施例中，EL编码器（316）至少部分基于未滤波的输入LE图像帧（102-L）和未滤波的输入LE图像帧（102-L）中的一个以及预测参考图像帧产生未滤波的图像残差（预测参考图像帧与未滤波的输入LE图像帧（102-L）和未滤波的输入LE图像帧（102-L）中的一个之间的差），将图像残差存储在EL视频流（318-1）中要携带的增强层视频信号中。此外，RPU（314）至少部分基于预测参考图像帧产生要在增强层（EL）RPU流（318-2）中携带的参考视频信号。

在此描述的技术之下，一个或更多个增强层基本上包含未滤波的全分辨率LE或RE图像帧的序列。对于包括一对LE和RE图像的3D图像，LE和RE图像中的仅仅一个在增强层中存在有未滤波的高空间频率内容。由于基础层图画中的图像数据和增强层中的图像数据之间的大量统计冗余的存在，可以使得更有效地将图像数据编码成增强层。统计冗余可以出于预测目的被采用，由此使对于增强层的比特率要求最小化。

决策器（320）可以被配置为使用多个不同的方法中的任意一个来判决增强层中携带的未滤波图像数据的奇偶标志的值。在第一示例中，同一个3D图像的LE和RE未滤波图像数据两者被携带在增强层中。

在第二示例中，在任何给定时间处同一个3D图像的用于仅仅一个眼睛而不是左眼和右眼两者的未滤波图像数据被携带在增强层中。可以以帧级别将未滤波的LE和RE图像数据交替地携带在增强层中。例如，第一未滤波的LE图像数据可以被携带在用于第一3D图像的增强层中。用于第二3D图像（例如，紧接着第一3D图像）的第二未滤波的RE图像数据可以在增强层中紧接着第一未滤波的LE图像数据。用于第三3D图像（例如，紧接着第二3D图像）的第三未滤波图像数据可以在增强层中紧接着第二未滤波的RE图像数据。对于额外的未滤波的LE和RE图像数据可以类似地排序。

在第三示例中，未滤波的LE和RE图像数据可以以场景级别被交替地携带在增强层中。第一未滤波的LE图像数据可以被携带在用于3D图像序列中的第一场景的增强层中。用于3D图像序列中的第二场景（例如，紧接着第一场景）的第二未滤波的RE图像数据可以在增强层中紧接着第一未滤波的LE图像数据。用于3D图像序列中的第三场景（例如，紧接着第二场景）的第三未滤波LE图像数据可以在增强层中紧接着第二未滤波的RE图像数据。对于额外的未滤波的LE和RE图像数据可以类似地排序。

在第四示例中，未滤波的LE和RE图像数据可以周期性地被交替地携带在增强层中。用于构造第一多个未滤波的LE图像帧的第一未滤波的LE图像数据可以在第一时间段内被携带在增强层中。用于在第二时间段（例如，紧接着第一时间段）内构造第二多个未滤波图像帧的第二未滤波的RE图像数据可以在增强层中紧接着第一未滤波的LE图像数据。用于在第三时间段（例如，紧接着第二时间段）内构造第三多个未滤波图像帧的第三未滤波的LE图像数据可以在增强层中紧接着第二未滤波的RE图像数据。对于额外的未滤波的LE和RE图像数据可以类似地排序。

在如图4中所示出的示例实施例中，在基础层和增强层的视频信号中编码的3D图像序列可以包括两个类型的对（每个对是如图4所示的“3D图画对”）的图像帧的序列。第一类型对的图像帧包括未滤波的全分辨率RE图像帧（全分辨率RE）和经滤波的上采样的LE图像帧（半分辨率LE），而第二类型对的图像帧包括未滤波的全分辨率LE图像帧（全分辨率LE）和经滤波的上采样的RE图像帧（半分辨率RE）。每个类型对的图像帧可以被用来提供用于通过后处理进一步增强3D图像的空间分辨率的良好的基础。例如，对于一个眼睛（左眼或右眼），上采样的和未滤波的全分辨率图像数据两者是可用的，并且可以被用来推导估计或者预测来恢复用于另一个眼睛的图像数据中的高空间频率内容。

图4（a）示出如第二示例中一样以帧级别改变的交替类型对的图像帧的序列，而图4（b）示出如第三示例中一样以场景级别交替的交替类型对的图像帧的序列，或者如第四示例中一样以固定持续时间（或时间段）级别交替的交替类型对的图像帧的序列。

在其它示例实施例中，输入3D图像（或者它们的LE和RE构成图像帧）的一个或更多个信号特性（例如，指纹（fingerprint）、统计亮度值（luminance value）、动作、色度特征、锐度、亮度、颜色等）可以由在此描述的多层视频编码器使用来判决奇偶标志的值是否转变为不同的值以及何时转变为不同的值，其指示增强层中的图像数据对应的左眼和右眼中的特定一个。例如，在实况行动（live action）内容的情况下，由不同的照相机捕获的原始图像帧（图画）频繁地表现出锐度、亮度和颜色等的差异。在此描述的多层视频编码器可以基于源自原始图像帧或者从原始图像帧导出的这些信号特性中的一个或更多个选择用于奇偶标志的值，使得经编码的视频信号表现最好的3D观看体验。这种决策过程可以考虑分析增强层中的未滤波的全分辨率图像数据和基础层中的经滤波图像数据的结果。

由多层视频编码器（300）或者在其中的决策器（320）做出的决定引导创建增强层比特流。因此，该决定在信号中被传送到下游装置以便由下游装置使用它们，以正确构造用于3D观看的LE和RE图像帧的对。这种信号可以被携带在EL RPU流（318-2）中或者以其它类似的方式传送。另外和/或可选地，出于在视频解码器侧构造LE或者RE输出图像帧的目的，用于指示任何需要的下游装置进行的滤波的指标（index）可以被提供到下游装置。

然而，如下是可能的，即用户可能注意到与交替来自不同眼睛的图像帧关联的“闪烁（flicker）”，尤其在使用帧级别交替法的情况下。在一些示例实施例中，这可以在接收器/解码器侧经由一个或更多个高级后处理技术被改善，例如，通过使用诸如运动估计运动补偿（MEMC）或者3D内插技术之类的方法内插遗漏的像素来被改善。

在一些示例实施例中，在增强层中在不同眼睛之间交替可以以较小时间段（几分之一秒、一秒、两秒等）的转变来实现。例如，当未滤波的LE图像数据被改变为增强层中的未滤波的RE图像数据时，在此描述的多层视频编码器（例如，300）可以逐渐地（在连续的帧中；以便避免在单帧中突然地切换）将LE未滤波图像帧的全分辨率按比例缩小到比得上（comparable to）（相等，具有相同的分辨率范围，具有五（5）或者其它较小百分率的分辨率差异，等）基础层中的经滤波的RE图像帧的分辨率的转变分辨率。当通过增强层中的LE图像帧达到转变分辨率时，滤波到比得上转变分辨率的起始分辨率的RE图像帧被编码成增强层（在一些示例实施例中包括EL参考层）。多层视频编码器（300）可以逐渐地（在连续的帧中）从起始分辨率到未滤波的RE图像帧的全分辨率按比例放大增强层中的RE图像帧。

在一些示例实施例中，可以由下游装置执行在增强层中在不同眼睛之间改变图像帧时逐渐地转变分辨率。例如，多层视频编码器（例如，300）可以从预定的一组滤波器中选择滤波器。滤波器在应用时可以在增强层中携带的图像数据中逐渐地减少用于一个眼睛的分辨率并且逐渐地增大用于另一个眼睛的分辨率。在一个示例实施例中，多层视频编码器（300）可以包括EL RPU流中携带的RPU数据中的滤波器指标。滤波器指标可以由下游装置使用，以便查找预配置的一组可用的滤波器，并且确定在增强层中图像帧正在从一个眼睛改变到另一个眼睛时预配置的该组可用的滤波器中的哪一个应该被应用于逐渐地转变图像帧的分辨率。

图3B示出了根据实施例的多层视频解码器（350），其接收包括用于左眼和右眼中的一个的未滤波的高空间频率内容和用于左眼和右眼中的另一个的没有高空间频率内容的经滤波图像数据的输入视频信号。在一个示例实施例中，输入视频信号在包括基础层和一个或更多个增强层的多个层（或多个比特流）中被接收。

在一个示例实施例中，多层视频解码器（350）被提供用于将BLFC视频流（图3B的118-1）、EL RPU流（图3B的318-2）和EL视频流（图3B的318-1）中的一个或更多个输入视频信号解码成3D输出图像的序列。在一个示例实施例中，3D输出图像的序列中的3D输出图像包括用于左眼和右眼中的一个的具有全分辨率未滤波图像细节的3D以及用于左眼和右眼中的另一个的等于或低于全分辨率的经滤波的3D输出图像。

在一个示例实施例中，RPU（354）被配置为根据在EL RPU流（318-2）中接收的参考视频信号来确定奇偶标志的值以及EL视频流（318-1）中的EL视频信号中的与奇偶标志的值关联的图像帧的识别信息。

在一个示例实施例中，EL解码器（356）从RPU（354）接收奇偶标志的值和EL视频信号中的与奇偶标志的值关联的图像帧的识别信息。至少部分基于EL视频流（图3B的318-1）中的EL视频信号，EL解码器（356）产生用于左眼和右眼中的与从RPU（354）接收的奇偶标志的值对应的一个眼睛的未滤波的输出图像帧（372-L和372-R中的一个）。未滤波的输出图像帧（372-L和372-R中的一个）包括存在于原始的输入视频序列（其可以是图3A的输入视频序列）中的未滤波的高空间频率内容。

在一个示例实施例中，多层视频解码器（350）包括开关（374），该开关被配置为从RPU（354）接收奇偶标志的值并且基于奇偶标志的值切换数据流。例如，如果奇偶标志的值对应于左眼，则未滤波的输出图像帧对应于左眼。开关（374）基于奇偶标志的相同的值设立对应的数据流以便输出用于左眼的未滤波的输出图像帧作为3D输出图像序列的一部分。

在一个示例实施例中，BL解码器（152）至少部分基于BL FC视频流（图3B的118-1）中的BL视频信号产生多路复用的3D图像帧（图3B的158-1）。

在一个示例实施例中，上采样单元（370）从RPU（354）接收奇偶标志的值和EL视频信号中的与奇偶标志的值关联的图像帧的有关信息（例如，识别信息、滤波器信息等）。基于从RPU（354）接收的信息，上采样单元（370）从多路复用的3D图像帧（158-1）中取回和/或提取对应于左眼和右眼中的另一个（相对于由EL解码器356解码的图像帧）的中间滤波图像部分。中间滤波图像部分处于低于全分辨率的降低分辨率。在一个示例实施例中，上采样单元（170）对中间滤波图像部分进行上采样来形成上采样的低于全分辨率的滤波输出图像帧（172-R和172-L中的一个）。

在一个示例实施例中，多层视频解码器（350）可以与基础层中接收的图像数据一起利用在一个或更多个增强层中接收的图像数据（包括但不限于EL RPU流中的参考视频信号和EL视频流中的EL视频信号），以便改善上采样的输出图像帧（172-R和172-L中的一个）的空间分辨率。

在利用预测的实施例中，解码器侧RPU（354）至少部分基于EL RPU流（图3B的318-2）中的参考视频信号和/或来自BL解码器（152）的预测有关的信息产生预测参考图像帧。此外，EL解码器（356）至少部分基于EL视频流（图3B的318-1）中的EL视频信号和来自RPU（354）的预测参考图像帧来产生包括未滤波的高空间频率内容的输出图像帧（372-L和372-2中的一个）。

在此描述的技术之下，经解码的增强层包含未滤波的全分辨率LE和RE图像帧的序列。在如图5中所示出的示例实施例中，3D图像可以以一对（或者“3D图画对”）未滤波的全分辨率RE图像帧（经解码的全分辨率RE图画或者全分辨率RE）和经滤波的上采样的LE图像帧（重建的和上采样的全分辨率LE图画或者半分辨率LE）被呈现在3D TV上。类似地，3D图像可以以一对（或者3D图画对）未滤波的全分辨率LE图像帧（经解码的全分辨率LE图画或者全分辨率LE）和经滤波的上采样的RE图像帧（重建的和上采样的全分辨率RE图画或者半分辨率RE）被呈现在3D TV上。

包括未滤波的高空间频率内容的LE输出图像帧（272-L和272-R中的一个）和上采样的低于全分辨率的滤波图像帧（172-R和172-L中的一个）可以由显示装置例如以帧连续的方式来呈现。

BL解码器（152）和EL解码器（256）中的一个或两者可以使用多个编解码器（诸如H.264/AVC、VP8、VC-1和/或其它）中的一个或更多个被实现。

示例实施例包括比图3B更综合的构架（framework）。图3C示出也许能对在增强层流中编码的多个不同类型的图像数据中的任意一个进行解码的多层视频解码处理。多个不同类型的（经编码的）图像数据可以包括增强层中的用于双眼的经滤波的降低分辨率图像数据、增强层中的未滤波的全分辨率LE图像数据、增强层中的未滤波的全分辨率RE图像数据、先前的组合、其它类型的分辨率不对称的图像数据等。用于用信号通知重构的奇偶标志由RPU流（318-2）携带。在一些示例实施例中，对于全分辨率3D观看，三个选项是可用的。在选项A之下，提供分辨率对称的3D图像，其可以包括LE和RE图像（162-L和162-R）。在选项B和C之下，未滤波的RE或者LE图像帧被提供以便改善3D图像的空间分辨率的感知。与选项A、B或者C对应的增强层中的图像数据发送的选择可以基于来自不同应用的要求。编码处理可以具有确定要经由增强层传送什么类型的图像数据的灵活性。可以采用决策器（例如，图3A的320）来分析3D图像的输入序列以及针对最好可能的3D观看体验选择所发送的东西。

在图3C中，来自RPU流的奇偶标志控制经解码的BL和EL视频数据的正确的重构路径。基于在每个时间情况处什么类型图像数据存在于增强层中，奇偶标志可以被用来控制开关（374-1和374-2）的操作以便使得能够将合适类型的LE和RE图像的对发送给下游处理，例如，以用于在3D TV（374）上的图像呈现。

另外和/或可选地，可以由在此描述的解码器或者视频编码器执行变换、量子化、熵编码、图像缓冲、采样滤波、下采样、上采样、内插、多路复用、多路分解、交错、按比例放大、按比例缩小、运动补偿、视差（disparity）估计、视差补偿、深度估计、深度补偿、编码、解码等中的一个或更多个。

实施例保持编码的立体3D图像中的空间分辨率。在一些示例实施例中，维持与仅仅能够解码BL3D图像的解码器的向后兼容性和与能够解码经滤波的互补的EL3D图像数据的解码器的向后兼容性中的一个或更多个。因此，在一些示例实施例中，在此描述的视频信号可以向后兼容现有的用于3D内容递送的帧兼容的系统并且可以和当前FCFR构架一起使用。另外，在此描述的技术提供为了产生3D视觉质量的最佳再现交替在增强层中编码的图像帧的奇偶性的灵活性。

5、示例处理流程

图6A示出根据本发明实施例的示例处理流程。在一些示例实施例中，一个或更多个计算装置或部件可以执行这个处理流程。在块602中，多层视频编码器（例如，300）接收3D输入图像，该3D输入图像包括用于第一视角的第一输入图像帧和用于不同的第二视角的第二输入图像帧。如在此使用的，视角（例如，第一视角或者第二视角）指的是左眼（LE）视图（view）和右眼（RE）视图中的一个。

在块604中，多层视频编码器（300）基于第一输入图像帧产生用于第一视角的降低分辨率图像数据。

在块606中，多层视频编码器（300）基于第二输入图像帧产生用于第二视角的全分辨率图像数据。

在块608中，多层视频编码器（300）编码和输出降低分辨率图像数据和全分辨率图像数据以便表现3D输出图像。这里，3D输出图像包括一对从用于第一视角的降低分辨率图像数据导出的降低分辨率输出图像帧和从用于第二视角的全分辨率图像数据导出的全分辨率输出图像帧。

在一个示例实施例中，3D输出图像的全分辨率输出图像帧包括从第二输入图像帧导出的未滤波的高空间频率内容，而3D输出图像的降低分辨率输出图像帧包括从第一输入图像帧导出的经滤波图像数据。

在一个示例实施例中，3D输入图像是3D输入图像的序列中的第一3D输入图像，所述序列包括不同的第二3D输入图像，所述第二3D输入图像具有用于第一视角的第三输入图像帧和用于第二视角的第四输入图像帧；并且多层视频编码器（300）还执行：基于第四输入图像帧产生用于第二视角的第二降低分辨率图像数据；基于第一输入图像帧产生用于第一视角的第二全分辨率图像数据；以及编码和输出第二降低分辨率图像数据和第二全分辨率图像数据以便表现第二3D输出图像，该第二3D输出图像包括第二对从用于第二视角的降低分辨率图像数据导出的第二降低分辨率输出图像帧和从用于第一视角的全分辨率图像数据导出的全分辨率输出图像帧。

在一个示例实施例中，与第二视角对应的奇偶标志的第一值被输出作为用于3D输出图像的图像数据的一部分，而同时与第一视角对应的奇偶标志的不同的第二值被输出作为用于第二3D输出图像的图像数据的一部分。

在一个示例实施例中，奇偶标志以帧级别、场景级别或固定持续时间级别中的一种在第一值和不同的第二值之间转变。在一个示例实施例中，固定持续时间可以是一个单帧或多个帧的回放时间。在一个示例实施例中，持续时间的长度可以在各个节目之间变化。

在一个示例实施例中，多层视频编码器（300）按比例缩小多个3D输出图像中的多个全分辨率输出图像帧的空间分辨率，以便在其中奇偶标志在第一值和不同的第二值之间转变的时间段期间提供用于双眼的分辨率的平滑转变。

在一个示例实施例中，用于第一视角的降低分辨率图像数据在多路复用的3D图像帧中，该多路复用的3D图像帧还包括用于第二视角的降低分辨率图像数据。在一个示例实施例中，该多路复用的3D图像帧在多个输出比特流的基础层输出比特流中被输出。

在一个示例实施例中，多层视频编码器（300）还执行：至少部分基于用于第二视角的降低分辨率图像数据产生预测参考帧；以及产生用于第二视角的全分辨率图像数据作为预测参考帧和第二输入图像帧之间的差。在一个示例实施例中，多层视频编码器（300）还输出具有降低分辨率图像数据和全分辨率图像数据的预测参考帧。

在一个示例实施例中，全分辨率图像数据的至少一部分（例如，未滤波的高空间频率内容）在多个输出比特流的一个或更多个增强层输出比特流中被输出。

在一个示例实施例中，多层视频编码器（300）还执行：将利用一个或更多个输入视频信号表现、接收、传送或存储的一个或更多个3D输入图像转换成利用一个或更多个输出视频信号表现、接收、传送或存储的一个或更多个3D输出图像。

在一个示例实施例中，3D输出图像和3D输入图像中的至少一个包括以高动态范围（HDR）图像格式、与电影艺术与科学学院（AMPAS）的学院色彩编码规范（ACES）标准关联的RGB颜色空间、数字电影倡导联盟的P3颜色空间标准、参考输入媒体度量/参考输出媒体度量（RIMM/ROMM）标准、sRGB颜色空间或与国际电信联盟（ITU）的BT.709推荐标准关联的RGB颜色空间中的一个编码的图像数据。

图6B示出根据本发明示例实施例的另一个示例处理流程。在一些示例实施例中，一个或更多个计算装置可以执行这个处理流程。在块652中，多层视频解码器（例如，350-1）接收3D图像，所述3D图像包括用于第一视角的输入的降低分辨率图像数据和用于不同的第二视角的输入的全分辨率图像数据。

在块654中，多层视频解码器（350-1）基于输入的降低分辨率图像数据产生用于第一视角的3D图像的降低分辨率图像帧。

在块656中，多层视频解码器（350-1）基于输入的全分辨率图像数据产生用于第二视角的全分辨率图像帧。

在块658中，多层视频解码器（350-1）通过呈现用于第一视角的3D图像的降低分辨率图像帧并且通过呈现用于第二视角的3D图像的全分辨率图像帧来呈现3D图像。

在一个示例实施例中，3D图像的全分辨率图像帧包括在源3D图像中的未滤波的高空间频率内容，而同时3D图像的降低分辨率图像帧包括在源3D图像中的经滤波图像数据。

在一个示例实施例中，3D图像是3D图像的序列中的第一3D图像，所述序列包括不同的第二3D图像，第二3D图像具有用于第二视角的第二输入降低分辨率图像数据以及用于第一视角的第二输入全分辨率图像数据；并且多层视频解码器（350-1）还执行基于第二输入降低分辨率图像数据产生用于第二视角的第二3D图像的第二降低分辨率图像帧；基于第二输入全分辨率图像数据产生用于第一视角的第二全分辨率图像帧；以及通过呈现用于第二视角的第二3D图像的第二降低分辨率图像帧并且通过呈现用于第一视角的第二3D图像的第二全分辨率图像帧来呈现第二3D图像。

在一个示例实施例中，与第二视角对应的奇偶标志的第一值被接收作为用于第一3D图像的图像数据的一部分，而同时与第一视角对应的奇偶标志的不同的第二值被接收作为用于第二3D图像的图像数据的一部分。在一个示例实施例中，奇偶标志以帧级别、场景级别或固定持续时间级别中的一个在第一值和不同的第二值之间转变。

在一个示例实施例中，多层视频解码器（350-1）基于接收到的滤波器标志选择分辨率滤波器，以便按比例缩小多个3D图像中的多个全分辨率输出图像帧的空间分辨率，以便在其中奇偶标志在第一值和不同的第二值之间转变的时间段期间提供用于双眼的分辨率的平滑转变。

在一个示例实施例中，用于第一视角的输入的降低分辨率图像数据在输入的多路复用的3D图像帧中，该输入的多路复用的3D图像帧还包括用于第二视角的输入的降低分辨率图像数据。

在一个示例实施例中，从多个输入的比特流的基础层输入比特流接收输入的多路复用的3D图像帧。

在一个示例实施例中，多层视频解码器（350-1）还执行至少部分基于用于第二视角的输入的降低分辨率图像数据产生预测参考帧；以及通过结合预测参考帧和输入的全分辨率图像数据来产生全分辨率图像帧。

在一个示例实施例中，从多个输入比特流的一个或更多个增强层比特流接收输入的全分辨率图像数据的至少一部分。

在一个示例实施例中，多层视频解码器（350-1）处理利用一个或更多个输入视频信号表现、接收、传送或存储的一个或更多个3D图像。

在一个示例实施例中，3D图像包括以高动态范围（HDR）图像格式、与电影艺术与科学学院（AMPAS）的学院色彩编码规范（ACES）标准关联的RGB颜色空间、数字电影倡导联盟的P3颜色空间标准、参考输入媒体度量/参考输出媒体度量（RIMM/ROMM）标准、sRGB颜色空间或与国际电信联盟（ITU）的BT.709推荐标准关联的RGB颜色空间中的一个编码的图像数据。

在各种示例实施例中，编码器、解码器、系统等执行如描述的先前的方法的一部分或任何一个。

6、实现机构——硬件概述

根据一个实施例，本申请中描述的技术由一个或更多个专用的计算装置实现。专用的计算装置可以是被硬接线为执行该技术的，或者可以包括持久地被编程为执行该技术的数字电子器件（诸如一个或更多个专用集成电路（ASIC）或者现场可编程门阵列（FPGA）），或者可以包括被编程为依据固件、存储器、其它存储器或者组合中的程序指令执行该技术的一个或更多个通用的硬件处理器。这种专用的计算装置还可以结合具有定制的编程的定制的硬连线逻辑、ASIC或者FPGA以便实现该技术。专用的计算装置可以是台式计算机系统、便携式计算机系统、手持装置、连网装置或者包括硬接线和/或程序逻辑以实现该技术的任何其它装置。

例如，图7是示出其上可以实现本发明的示例实施例的计算机系统700的框图。计算机系统700包括总线702或者用于传递信息的其它通信机构、以及用于处理信息的与总线702耦接的硬件处理器704。硬件处理器704可以是例如通用微处理器。

计算机系统700还包括与总线702耦接的用于存储要由处理器704执行的指令和信息的主存储器706，诸如随机访问存储器（RAM）或者其它动态存储装置。主存储器706还可以被用于在执行要由处理器704执行的指令期间存储临时变量或者其它中间信息。这种指令在存储在处理器704能访问的非暂态存储介质中时致使计算机系统700为被定制以执行指令中指定的操作的专用机器。

计算机系统700还包括与总线702耦接的用于存储用于处理器704的指令和静态信息的只读存储器（ROM）708或者其它静态存储装置。存储装置710（诸如磁盘或者光盘）被提供并且与总线702耦接以用于存储信息与指令。

计算机系统700可以经由总线702耦接到显示器712（诸如液晶显示器），以用于向计算机用户显示信息。输入装置714（包括字母数字键和其它键）与总线702耦接以用于向处理器704传递信息和命令选择。另一类型的用户输入装置是用于向处理器704传递方向信息和命令选择以及用于控制显示器712上的光标移动的光标控制716，诸如鼠标、轨迹球或者光标方向键。这个输入装置典型地具有在两个轴（第一轴（例如，x）和第二轴（例如，y））上的两个自由度，其允许装置指定平面中的位置。

计算机系统700可以使用与计算机系统结合使得或者编程计算机系统700为专用机器的定制的硬连线逻辑、一个或更多个ASIC或FPGA、固件和/或程序逻辑来实现本申请中描述的技术。根据一个实施例，由计算机系统700响应于处理器704执行包含在主存储器706中的一个或更多个指令的一个或更多个序列执行本申请中的技术。这种指令可以被从另一存储介质（诸如存储装置710）读到主存储器706中。包含在主存储器706中的指令序列的执行使得处理器704执行本申请中描述的处理步骤。在可替代实施例中，硬接线的电路可以被使用来代替软件指令或与软件指令结合。

本文中使用的术语“存储介质”指的是存储使得机器以特定方式操作的指令和/或数据的任何非暂态介质。这种存储介质可以包括非易失性介质和/或易失性的介质。非易失性介质包括例如光盘或磁盘，诸如存储装置710。易失性介质包括动态存储器，诸如主存储器706。存储介质的常见形式包括，例如，软盘、柔性磁盘、硬盘、固态驱动、磁带或任何其它磁数据存储介质、CD-ROM、任何其它光数据存储介质、任何具有孔的图案的物理介质、RAM、PROM和EPROM、FLASH-EPROM、NVRAM、任何其它存储器芯片或盒（cartridge）。

存储介质与传输介质不同但是可以与传输介质结合使用。传输介质参与存储介质之间的传送信息。例如，传输介质包括同轴电缆、铜线和光纤，包括包含总线702的导线。传输介质还可以采取声波或光波的形式，诸如在无线电波和红外数据通信期间产生的那些。

各种形式的介质可以涉及将一个或更多个指令的一个或更多个序列运送到处理器704以用于执行。例如，指令可以初始被携带在远程计算机的固态驱动或磁盘上。远程计算机可以装载指令到它的动态存储器中并且使用调制解调器经由电话线发送指令。对于计算机系统700局部的调制解调器可以在电话线上接收数据并且使用红外的发送器来转换数据为红外信号。红外检测器可以接收红外信号中携带的数据，并且适当的电路可以放置数据在总线702上。总线702将数据运载到主存储器706，处理器704从该主存储器706取回指令并且执行指令。主存储器706接收的指令可以可选地在处理器704执行前后被存储在存储装置710上。

计算机系统700还包括与总线702耦接的通信接口718。通信接口718提供与网络链路720耦接的双向的数据通信，网络链路720连接到局部网络722。例如，通信接口718可以为集成服务数字网络（ISDN）卡、电缆调制解调器、卫星调制解调器、或提供到对应类型电话线的数据通信连接的调制解调器。作为另一示例，通信接口718可以为局域网（LAN）卡以便提供数据通信连接到可兼容的LAN。还可以实现无线链路。在任何这种实现中，通信接口718发送和接收电信号、电磁信号或光信号，其携带代表各种类型信息的数字数据流。

网络链路720典型地通过一个或更多个网络提供数据通信到其它数据装置。例如，网络链路720可以通过局部网络722提供连接到主机计算机724或到由因特网服务供应商（ISP）726操作的数据设备。ISP726又通过环球分组数据通信网络（现在一般被称为“因特网”728）提供数据通信服务。局部网络722和因特网728两者使用携带数字数据流的电信号、电磁信号或光信号。通过各种网络的信号以及网络链路720上的和通过通信接口718的信号（运送数字数据到计算机系统700和从计算机系统700运送数字数据）为传输介质的示例形式。

计算机系统700可以通过网络（或多个网络）、网络链路720以及通信接口718发送消息以及接收数据，包括程序代码。在因特网示例中，服务器730可能通过因特网728、ISP726、局部网络722和通信接口718发送用于应用程序的请求代码。

接收的代码可以由处理器704按照接收的原样执行，和/或存储在存储装置710中或其它非易失性存储器，以用于稍后执行。

7、等同物、扩展、替代方案和杂项

在前述说明书中，已经参考可以在实现方式之间变化的许多具体细节描述了本发明的示例实施例。因此，何为本发明以及申请人意图为本发明的仅有的且唯一的指示器为本申请发布的权利要求组，具有这种权利要求发布的特定形式，包括任何后续的校正。本申请中对于这种权利要求中包含的术语明确地陈述的任何定义应该决定权利要求中使用的这种术语的意思。因此，在权利要求中没有明确地叙述的限制、元件、特性、特征、优点、或属性不应该以任何方式限制这种权利要求的范围。因此，说明书和附图要被当作是示例性的而不是限制性的。

Claims (29)

1.一种方法，包括：

接收3D输入图像，该3D输入图像包括用于第一视角的第一输入图像帧和用于不同的第二视角的第二输入图像帧；

基于第一输入图像帧产生用于第一视角的降低分辨率图像数据；

基于第二输入图像帧产生用于第二视角的全分辨率图像数据；以及

编码和输出该降低分辨率图像数据和该全分辨率图像数据以便表现3D输出图像，该3D输出图像包括一对从用于第一视角的降低分辨率图像数据导出的降低分辨率输出图像帧和从用于第二视角的全分辨率图像数据导出的全分辨率输出图像帧。

2.如权利要求1所述的方法，其中3D输出图像的全分辨率输出图像帧包括从第二输入图像帧导出的未滤波的高空间频率内容，并且其中3D输出图像的降低分辨率输出图像帧包括从第一输入图像帧导出的经滤波图像数据。

3.如权利要求1所述的方法，其中3D输入图像是3D输入图像的序列中的第一3D输入图像，所述序列包括不同的第二3D输入图像，所述第二3D输入图像具有用于第一视角的第三输入图像帧和第四输入图像帧；并且所述方法还包括：

基于第四输入图像帧产生用于第二视角的第二降低分辨率图像数据；

基于第三输入图像帧产生用于第一视角的第二全分辨率图像数据；以及

编码和输出第二降低分辨率图像数据和第二全分辨率图像数据以便表现第二3D输出图像，该第二3D输出图像包括第二对从用于第二视角的第二降低分辨率图像数据导出的第二降低分辨率输出图像帧和从用于第一视角的第二全分辨率图像数据导出的第二全分辨率输出图像帧。

4.如权利要求1所述的方法，其中与第二视角对应的奇偶标志的第一值被输出作为用于3D输出图像的图像数据的一部分，并且其中与第一视角对应的奇偶标志的不同的第二值被输出作为用于第二3D输出图像的图像数据的一部分。

5.如权利要求4所述的方法，其中奇偶标志以帧级别、场景级别或固定持续时间级别中的一个在第一值和不同的第二值之间转变。

6.如权利要求4所述的方法，还包括按比例缩小多个3D输出图像中的多个全分辨率输出图像帧的空间分辨率，以便在其中奇偶标志在第一值和不同的第二值之间转变的时间段期间提供用于双眼的分辨率的平滑转变。

7.如权利要求1所述的方法，其中用于第一视角的降低分辨率图像数据在多路复用的3D图像帧中，该多路复用的3D图像帧还包括用于第二视角的降低分辨率图像数据。

8.如权利要求7所述的方法，其中该多路复用的3D图像帧在多个输出比特流的基础层输出比特流中被输出。

9.如权利要求7所述的方法，还包括：

至少部分基于用于第二视角的降低分辨率图像数据产生预测参考帧；以及

产生用于第二视角的全分辨率图像数据作为预测参考帧和第二输入图像帧之间的差。

10.如权利要求7所述的方法，还包括：

至少部分基于用于第二视角的降低分辨率图像数据产生预测参考帧；以及

利用降低分辨率图像数据和全分辨率图像数据来编码和输出预测参考帧。

11.如权利要求7所述的方法，其中经编码的全分辨率图像数据的至少一部分在多个输出比特流的一个或更多个增强层输出比特流中被输出。

12.如权利要求1所述的方法，还包括将利用一个或更多个输入视频信号表现、接收、传送或存储的一个或更多个3D输入图像转换成利用一个或更多个输出视频信号表现、接收、传送或存储的一个或更多个3D输出图像。

13.如权利要求1所述的方法，其中3D输出图像和3D输入图像中的至少一个包括以高动态范围（HDR）图像格式、与电影艺术与科学学院（AMPAS）的学院色彩编码规范（ACES）标准关联的RGB颜色空间、数字电影倡导联盟的P3颜色空间标准、参考输入媒体度量/参考输出媒体度量（RIMM/ROMM）标准、sRGB颜色空间或与国际电信联盟（ITU）的BT.709推荐标准关联的RGB颜色空间中的一个编码的图像数据。

14.一种方法，包括：

接收3D图像，所述3D图像包括用于第一视角的输入的降低分辨率图像数据和用于不同的第二视角的输入的全分辨率图像数据；

基于输入的降低分辨率图像数据产生用于第一视角的3D图像的降低分辨率图像帧；

基于输入的全分辨率图像数据产生用于第二视角的全分辨率图像帧；以及

通过呈现用于第一视角的3D图像的降低分辨率图像帧并且通过呈现用于第二视角的3D图像的全分辨率图像帧来呈现3D图像。

15.如权利要求14所述的方法，其中3D图像的全分辨率图像帧包括在源3D图像中的未滤波的高空间频率内容；并且

其中3D图像的降低分辨率图像帧包括在源3D图像中的经滤波图像数据。

16.如权利要求14所述的方法，其中该3D图像是3D图像的序列中的第一3D图像，所述序列包括不同的第二3D图像，第二3D图像具有用于第二视角的第二输入降低分辨率图像数据以及用于第一视角的第二输入全分辨率图像数据；并且所述方法还包括：

基于第二输入降低分辨率图像数据产生用于第二视角的第二3D图像的第二降低分辨率图像帧；

基于第二输入全分辨率图像数据产生用于第一视角的第二全分辨率图像帧；以及

通过呈现用于第二视角的第二3D图像的第二降低分辨率图像帧并且通过呈现用于第一视角的第二3D图像的第二全分辨率图像帧来呈现第二3D图像。

17.如权利要求14所述的方法，其中与第二视角对应的奇偶标志的第一值被接收作为用于第一3D图像的图像数据的一部分，并且其中与第一视角对应的奇偶标志的不同的第二值被接收作为用于第二3D图像的图像数据的一部分。

18.如权利要求17所述的方法，其中奇偶标志以帧级别、场景级别或固定持续时间级别中的一个在第一值和不同的第二值之间转变。

19.如权利要求17所述的方法，还包括基于接收到的滤波器标志选择分辨率滤波器，以便按比例缩小多个3D图像中的多个全分辨率输出图像帧的空间分辨率，以便在其中奇偶标志在第一值和不同的第二值之间转变的时间段期间提供用于双眼的分辨率的平滑转变。

20.如权利要求14所述的方法，其中用于第一视角的输入的降低分辨率图像数据在输入的多路复用的3D图像帧中，该输入的多路复用的3D图像帧还包括用于第二视角的输入的降低分辨率图像数据。

21.如权利要求20所述的方法，其中从多个输入的比特流的基础层输入比特流接收该输入的多路复用的3D图像帧。

22.如权利要求20所述的方法，还包括：

至少部分基于用于第二视角的输入的降低分辨率图像数据产生预测参考帧；以及

通过结合预测参考帧和输入的全分辨率图像数据来产生全分辨率图像帧。

23.如权利要求20所述的方法，其中从多个输入比特流的一个或更多个增强层比特流接收输入的全分辨率图像数据的至少一部分。

24.如权利要求14所述的方法，还包括处理利用一个或更多个输入视频信号表现、接收、传送或存储的一个或更多个3D图像。

25.如权利要求14所述的方法，其中3D图像包括以高动态范围（HDR）图像格式、与电影艺术与科学学院（AMPAS）的学院色彩编码规范（ACES）标准关联的RGB颜色空间、数字电影倡导联盟的P3颜色空间标准、参考输入媒体度量/参考输出媒体度量（RIMM/ROMM）标准、sRGB颜色空间或与国际电信联盟（ITU）的BT.709推荐标准关联的RGB颜色空间中的一个编码的图像数据。

26.执行如权利要求1-13所述的方法中的任意一个的一种编码器。

27.执行如权利要求14-25所述的方法中的任意一个的一种解码器。

28.执行如权利要求1-25所述的方法中的任意一个的一种系统。

29.一种系统，包括：

编码器，被配置为

接收3D输入图像，该3D输入图像包括用于第一视角的第一输入图像帧和用于不同的第二视角的右眼（RE）输入图像帧；

基于第一输入图像帧产生用于第一视角的降低分辨率图像数据；

基于第二输入图像帧产生用于第二视角的全分辨率图像数据；以及

编码和输出该降低分辨率图像数据和该全分辨率图像数据以便表现3D输出图像，该3D输出图像包括一对从用于第一视角的降低分辨率图像数据导出的降低分辨率输出图像帧和从用于第二视角的全分辨率图像数据导出的全分辨率输出图像帧；解码器，被配置为：

接收用于第一视角的降低分辨率图像数据和用于第二视角的全分辨率图像数据；

基于降低分辨率图像数据产生用于第一视角的降低分辨率输出图像帧；

基于全分辨率图像数据产生用于第二视角的全分辨率输出图像帧；以及

通过呈现用于第一视角的降低分辨率输出图像帧并且通过呈现用于第二视角的全分辨率输出图像帧，来呈现3D输出图像。

Images