CN101023681B

CN101023681B - 一种多视点视频位流的解码方法和解码装置

Info

Publication number: CN101023681B
Application number: CN2005800248006A
Authority: CN
Inventors: 孙光熏; 林廷恩
Original assignee: IND ACADEMIC COOP; LG Electronics Inc
Current assignee: IND ACADEMIC COOP; LG Electronics Inc
Priority date: 2004-06-25
Filing date: 2005-06-24
Publication date: 2010-10-06
Anticipated expiration: 2025-06-24
Also published as: CN101895768A; CN101023681A; CN101902656A; JP2011109690A; KR100679740B1; KR20050122717A; WO2006001653A1; EP1772022A1; JP2008503973A; US20090103619A1

Abstract

公开了一种多视点序列的编码/解码方法和其显示方法，通过所述方法，能够高效编码和解码多视点序列数据。根据本发明的多时间序列编码方法包括步骤：通过编码从多个视点获得多个画面产生位流，其中位流包括多个画面的每个画面的视点信息，视点信息是指定相应的画面对应多个视点当中哪一个视点的信息。因此，编码多视点序列以便选择性地解码以显示。

Description

一种多视点视频位流的解码方法和解码装置

技术领域

本发明涉及编码/解码多视点序列的方法，且更为具体地说，涉及编码/解码多视点序列的方法和其显示方法。尽管本发明适用于很广范围的应用，但是其特别适用于执行多视点序列数据的编解码和使得能够进行用于解码对应于接收端请求的视点的移动画面的视点选择。

背景技术

一般，当前的媒体不仅显示简单的文本和2维图像，而且也使得能够通过视，听，触，嗅和尝五种感觉的统一识别实现物体或状态的清晰和生动的感知。多媒体与通信结合更重要且意义重大。由于快速和海量信息传输技术的发展，实现了视频电话，远程视频会议，远程购物等的多媒体通信。

如果发展到3维信号处理，多媒体技术会变得更有生命力。为此，要求开发实现人的生活空间的现实的和自然的再现的3维视频处理和通信技术。

同时，人们生活在除了感觉顶部，底部，左右还包括深度感觉的3维世界之中。因此，除了提供二维感觉的二维图像外，很多关注给予了人能够体验深度感觉的立体效果和实际感觉的3维立体图像。而且，3维图像处理技术当前应用于通信，广播，虚拟现实，教育，医疗保健，娱乐等各领域。

用2维图像表示三维的最简单方式是立体方法。用左右图像构成的立体图像的缺点是数据的海量。所以，立体图像需要巨量存储装置，网络和快速计算机系统。并且，如果独立编码立体图像，对于立体图像需要2维图像传输用的大约二倍的带宽。在时间轴上延伸立体图像产生的立体序列或从时间和视点(view)轴上延伸立体图像产生的多视点序列的情况中，数据量与视点数目成比例地大量增加，并且要求的带宽也提高。

由于更多的关注给予3维图像，所以各种机构，大学，实验室等做了很多工作以研究和开发3维图像压缩和再现显示系统。

这样的3维图像系统的接收端需要能够解码和显示多视点序列的3维显示器。当前开发的3维LCD(液晶显示)监视器向一位观察者提供立体效果，并且演变成能够向几位观察者提供立体效果和实际感觉的3维多视点显示监视器。

但是，由于根据视点数目的递增3维多视点序列的数据量和操作量增加，需要能够高效进行3维多视点序列的编码和解码的多视点编码器/解码器(CODEC)。而且，也需要根据用户显示仅在接收端解码特定视点。

发明内容

因此，本发明涉及提供一种基本避免由于现有技术的限制和缺点造成的一个或多个问题的编码/解码多视点序列的方法和其显示方法。

本发明的目的是提供多视点序列的编解码方法和其显示方法，通过其能够高效编解码多视点序列数据。

本发明的另一目的是提供高效将编码成多视点序列的数据解码的装置和使用它的方法。

在下面的说明中部分地阐明，并且本领域技术人员通过下述说明或从本发明实践部分地明了本发明的附加优点，目的和特征。通过在说明中和权利要求以及附图中指出的结构可以获得本发明的目的和其他优点。

为了取得这些和其他优点根据本发明的用途，如实施例表明和广泛说明的，根据本发明的多视点序列编码方法包括步骤：通过编码从多个视点获得的多个画面产生位流，其中所述位流包括多个画面的每个的视点信息，并且其中所述视点信息是指定相应画面对应于在多个视点中哪个视点的信息。

为进一步取得这些和其他优点和根据本发明的用途，多视点序列编码方法包括步骤：通过编码主视点的第一画面类型的画面产生主位流，和产生用于至少一个或多个辅助视点的辅助位流，其中辅助位流是通过编码利用第一画面类型的画面预测的第二画面类型的画面产生的，其中辅助位流包括第二画面类型的每个画面的视点信息，并且其中视点信息是指定第二画面类型的相应画面对应于在至少一个或多个辅助视点中哪个辅助视点的信息。

为进一步取得这些和其他优点和根据本发明的用途，多视点序列解码方法包括步骤：接收通过分别编码从多个视点获得的画面产生的主位流，检查指定特定画面对应于多个视点的哪一个的视点信息；和在显示器中根据检查的视点信息解码与特定视点相关的画面。

为进一步取得这些和其他优点和根据本发明的用途，多视点序列解码方法包括步骤：接收通过编码从主视点获得的画面产生的主位流和通过编码从多个辅助视点获得的画面产生的辅助位流；恢复在所述主位流内的画面；和根据在辅助位流内存在的视点信息，利用在主位流内的恢复的画面，在显示器中选择性地进行与特定辅助视点相关的画面的预测恢复。

为了进一步取得这些和其他优点和根据本发明的用途，多视点序列解码装置包括：主位流解码单元，其接收通过编码从主视点获得的画面产生的主位流以恢复主位流内的画面，和辅助位流解码单元，其接收通过编码从多个辅助视点获得的画面产生的辅助位流，所述辅助位流解码单元根据在所述辅助位流内存在的视点信息，利用在所述主位流内的恢复的画面，选择性地进行特定辅助视点的画面的预测恢复。

为进一步取得这些和其他优点和根据本发明的用途，多视点序列显示方法包括：第一显示模式，其显示对应于主视点的画面，和第二显示模式，其一起显示对应主视点的画面和对应至少一个或多个辅助视点的画面，其中根据在包括所述画面的位流内存在的视点信息选择第一显示模式或第二显示模式。

应理解，上述一般说明和下面的详细说明都是示范性的，并且用于提供权利要求所述的本发明的进一步解释。

附图说明

为了提供本发明的进一步理解，包括的附图构成本说明书的部分，与文字说明和权利要求一起解释本发明原理。

在附图中：

图1是可应用于本发明的多视点序列编码装置的框图；

图2是根据本发明产生的辅助位流的例子的示意图；

图3A-3C是根据本发明d编码5-视点序列的“GGOP”的一个实施例示意图；

图4A和4B是根据本发明的编码9-视点序列的“GGOP”的一个实施例的示意图；

图5是根据本发明一个实施例的多视点序列显示方法的原理示意图；

图6是位流示意图，说明根据本发明解码传输的报头信息；

图7是根据本发明的多视点序列解码装置的框图；

图8A-8E是多视点序列示意图，解释根据本发明的编解码方法；

图9A-9E是多视点序列示意图，解释根据本发明的编解码方法；

图10是图8A-8E的5-视点序列的各种位流速率的编码结果的曲线图；

图11A和图11B是解释图9A的序列的各种位流速率的编码结果的曲线图；

图12A和12B是在分别通过“ONE-I”和“Two-I”类型解码具有大基准图像时，图像比较的示范例图；

图13A和图13B是结果图像的示意图，解释本发明的B_t，s帧的性能；和

图14A-14D是如果在接收端设置3维监视器的情况，接收了图9A-9E的5-视点位流的用户选择第二和第四视点的结果图像的示意图，所述监视器仅能够显示立体序列。

具体实施方式

下面详细参考在附图中示出的本发明优选实施例。

此外，尽管在本发明中使用的术语尽可能地选自当前周知的，但是在某些情况中本申请人任意地选择一些使用，以致在下面的说明中详细解释它们的意义。因此，应以本申请人选择的相应术语的指定意义，而不是术语本身的简单名字或含意理解本发明。

首先，在本发明中使用的“多视点序列”的意义是，在相同时间同时获得对相同的对象的视点不同的运动图像。例如，“多视点序列”的含意是通过多个运动图像捕获仪器(如相机)的方式在各种角度和各种方向拍摄相同目标获得的运动图像。

具体地，在本发明中的“主视点”是在多个视点当中作为编码参考的视点。将对应“主视点”的运动图像通过如MPEG-2，MPEG-4，H-623，H-264等常规运动图像编码方案编码成位流。并且，本发明中该位流被称为“主位流”。为了解释方便，取MPEG-2为常规运动图像编码方案为例，但是关于此本发明没有限制。

而且，在本发明中的“辅助视点”是在多视点当中的非主视点的视点。通过下面说明的本发明的独特的编码方案将对应“辅助视点”的运动图像编码成位流。而且，这个位流在本发明中被称为“辅助位流”。

另外，在本发明中预定，“位流”概括地用作“主位流”或“辅助位流”。

图1是用于本发明的多视点序列编码装置的框图。

在根据本发明的编码方法中，通过MPEG-2编码器编码取作与MPRG-2兼容的参考的序列以产生主位流，并且从辅助视点序列产生辅助位流。即，主位流包括用于包括“I(下面说明)”画面的序列的数据，且辅助位流包括通过其他序列的方差估计和运动估计编码的各类信息。

见图1，适用本发明的多视点编码装置包括预处理单元110，运动估计/补偿单元140，方差估计/补偿单元140，位速率控制单元150和差分(difference)图像编码单元160和170。

如果输入多视点序列数据A，该预处理单元110除去噪声，解决不平衡问题，通过经预处理增加多视点序列数据之间的相关性，增加方差估计和运动估计产生的向量的置信度(reliance)，且然后向方差估计/补偿单元140，运动估计/补偿单元120和130和差分图像编码单元160和170提供预处理的数据。

在此过程中，以使用参考图像的平均和分布和要补偿的补偿图像补偿不平衡和简单地使用中值滤波器除去噪音的方式，能够解决不平衡问题。

预处理单元110在辅助位流中插入“视点信息”，以提供在解码器中恢复特定视点的信息，这在图2中说明。

方差估计/补偿单元140和运动估计/补偿单元120和130通过取包括“I”画面的序列轴估计方差矢量和运动矢量，并利用半象素(half-pel)补偿来补偿它们。

差分图像编码单元160和170能够以在预处理单元110提供的原始图像和方差估计/补偿单元140和运动估计/补偿单元120和130补偿的恢复图像之间的差分信息上进行编码的方式对提供的多视点序列产生位流，以提供增强的图像质量和立体效果。

并且，位速率控制单元150能够控制用于高效地向每个画面分配位的位速率。

图2是根据本发明产生的辅助位流的例子的示意图。

见图2，根据本发明插入的“视点信息210”例如能够被以n位插入在辅助位流内的画面报头中。在此过程中，n-位应被考虑为支持最大2ⁿ个视点的情况。

即，将“视点信息”用作指定特定画面对应在多个辅助视点当中哪个辅助视点的信息。因此，在一个辅助位流内混合多个视点的画面的情况中，为了选择性地恢复仅与特定视点相关的画面而需要该“视点信息”。

但是，“视点信息”不仅限于辅助位流，而是与主位流和辅助位流之间的区别无关，能够以与特定视点相关的画面的含意使用。

下面详细说明根据本发明进行多视点序列编码的特定方法。

在普通的编码方案中，如MPEG-2编码方案中，编码的基本单元是GOP(画面组)。并且，GOP(画面组)包括“I”画面，“P”画面和“B”画面。

“I”画面用于进行内编码，和实现对序列的随机存取。“P”画面通过取先前的编码的“I”或“P”画面作为参考图像估计单向运动矢量。并且，“B”画面利用“I”和“P”画面估计双向的运动矢量。GOP的长度，即，“N”是“I”画面之间的距离，且“M”是“I”和“P”画面之间的距离。

但是，“I”，“P”和“B”画面是在MPEG-2编码方案中使用的画面项目(term)。如果该编码方案彼此不同，可使用的项目彼此部分。例如，在依照不同于MPEG-2的方案的主位流中，不参考任何参考画面可解码的画面名为“L”画面。并且，参考至少一个或两个参考画面可解码的画面称为“H”画面。

为了编码多视点序列，本发明提出作为多视点序列编码的基本单元的“GGOP(GOP的组)”结构。

本发明的“GGOP”与MPEG-2不同，包括对应时间轴和视点轴(view axis)的画面。即，通过使用“GGOP”结构除去空间的相关，时间轴的相关和视点之间的相关，能够高效编码多视点序列。

图3A-3C是根据本发明编码5个视点序列的“GGOP”的一个实施例示意图，其中示出“One-I”型(图3A)，“Two-I”型(图3B)和“Five-I”型(图3C)。为说明的方便，取“N＝6和M＝3”的情况为例子。并且，本领域技术人员明了，本发明不限于“N＝6和M＝3”的情况。

见图3A，本发明的“GGOP”结构的“One-I”型包括一个“I”画面，一个“P_t”画面，四个“B_t”画面，四个“P_s”画面和二十个“B_t，s”画面。

在此情况中，“P_t”画面是估计单向运动矢量的画面类型，与在MPEG-2中使用的“P”画面相同，“B_t”画面是估计双向的运动矢量的画面类型，与MEPG-2中使用的“B”相同。在本发明中，“I”，“P_t”和“B_t”画面被命名为构成主位流的第一类型画面。

“P_s”画面是利用视点之间的相关，即方差估计恢复的图像。而，“B_t，s”画面是利用瞬时轴(temporal axis)的运动矢量和视点轴的方差矢量，或通过在两个矢量之间的内插恢复的图像。

在与图3A相同的“N＝3和M＝3”的情况“One-I”型中，包括作为参考的序列，即，要通过MPEG-2编码的一个序列。此时，箭头即为估计方差矢量和运动矢量的方向。

通过与MPEG-2兼容的MEPG-2编码器编码“…B_t，B_t，I，B_t，B_t，P_t，…”，它是其中包括“I”画面的主视点序列。而且，也能够设定产生的位流等于MPEG-2的文法。如前所述，对应主序列的位流被定义为主位流，对应辅助视点的序列的数据被定义为辅助位流。因此，在与图3A相同的50视点“One-I”型的情况中，也产生一个主位流和一个辅助位流。

在获取多视点序列的相机之间的间隔很可观的情况中，即如果基准(baseline)大的情况中，能够增加视点之间的误差。因此，如果仅存在作为参考的一个序列，对应离主视点远的视点轴的序列的图像质量可能恶化。所以，优选地，为了编码从具有大基准的多视点相机获得的多视点序列需要至少两个主序列。

在根据相机拍摄角度指定多视点的情况，在相机之间的相机拍摄角度差成为基准。而且，优选是，在相机拍摄角度差大的情况中设定至少两个主序列。

图3B示出为了编码从具有大基准的多视点相机获得的多视点序列提出的50视点“Two-I”型。此时，多视点序列编码器能够产生两个主位流和一个辅助位流。

在第三视点上的“B_s”画面是利用从彼此相邻的左右图像估计的方差或两个方差的内插恢复的画面类型。

在本发明中，“P_s”，“B_s”，“B_t，s”画面被命名为构成辅助位流的第二类型画面。

同时，在图3C中的“Five-I”类型是多视点序列被认为是不进行方差估计而独立编码的MPEG-2序列。此时，产生五个主位流。而且，由于没有进行方差估计不产生辅助位流。

在通过图3A-3C说明的本发明一个实施例中，取对应5-视点序列的“GGOP”结构为例，即使在增加视点数目的情况下它是可扩展的。而且，下面参考图4A和4B说明这样的可扩展例。

图4A和4B是根据本发明编码9-视点序列的“GGOP”的一个实施例的示意图，其中分别示出“Two-I”和“Three-I”型。此时，为了与MEPG-2兼容，用MEPG-2编码器编码其中包括“I”画面的主序列，以产生主位流。同样，使得其他辅助视点序列生成辅助位流。

图4A示出在“N＝6和M＝3”时的“Two-I”型的“GGOP”结构。而且，该“GGOP”结构包括两个“I”画面，两个“P_t”画面，六个“P_s”画面，六个“B_s”画面和三十八个“B_t，s”画面。

图4B示出在大基准情况中多视点相机获得的9-视点序列的“GGOP”结构。此时，产生三个主位流和一个辅助位流。不使用与图3C中的5-视点的“Five-I”型相同的方差估计，能够用MEPG-2编码器独立编码对应每个视点的序列。

本发明提出的概念是，仅通过考虑接收端保留的显示特征，实现恢复对应特定视点的序列。

图5是根据本发明一个实施例的多视点序列显示方法的概念的示意图。

见图5，在根据本发明的显示方法中，能够通过根据接收端保留的显示类型选择特定视点，而恢复接收的多视点序列位流。

例如，当发射端编码5-视点序列，且然后将编码的序列发送到接收端时，在接收端仅具有能够显示3视点序列的多视点监视器的情况下，用户不能够看到3-视点序列以及5-视点序列。这个问题是由于在编码多视点序列中没有向发射端提供视点(view)信息引起的。因此，本发明的目的是解决这样的问题。

即，当发射端编码5-视点序列，然后向接收端发送该编码的序列时，在接收端具有仅能够显示3-视点序列的3维多视点监视器(模式2：这能够被称为“第二显示模式”)的情况中用户从五个视点选择三个视点，使得能够实现相应的恢复。而且，实现选择性恢复的信息对应上述的“视点信息”。

在接收端具有仅能够显示2维序列，而不是多视点监视器时，能够仅恢复主位流，以传送到显示器(模式0：这能够被称为“第一显示模式”)。

特别地，根据本发明的显示方法的特征是，具有仅显示对应主视点的画面的第一显示模式和显示对应于主位流画面和对应于至少一个辅助视点的其他画面的第二显示模式，并且根据在包括画面的位流内存在的视点信息选择该显示模式之一以进行显示。

图6是位流的示意图，用于解释根据本发明的为了解码传送的报头信息。

见图6，在产生多视点序列位流中将“视点信息”插在画面报头信息中，以便作为信息提供，所述信息表示当前编码画面是对应于多视点中的次序(order)的数据。该视点的信息被设定为能够支持2ⁿ视点的序列的n-位。

尽管图6示出“视点信息”仅插在辅助位流中，但是根据使用方法，“视点信息”也能够被插在主位流内的一侧中。

图7是应用本发明的多视点序列解码装置的框图。

见图7，可应用本发明的解码装置包括主位流解码单元710和辅助位流解码单元720。

主位流解码单元710通过MPEG-2解码器进行解码，且辅助位流解码单元720利用方差和运动矢量进行解码。在此过程中，在接收端为了解码特定视点，以确认画面报头信息的“视点信息”的方式，检查当前解码的数据具有什么视点次序。也就是说，由于在本发明中恢复特定视点，能够减小解码时间和解码单元的计算负荷。

特别是，主位流解码单元710接收主视点产生的主位流，且然后恢复该主位流内的画面。

而且，该辅助位流解码单元720接收多个辅助视点产生的辅助位流，然后通过利用在主位流解码单元710恢复的主位流内的画面，根据在辅助位流内存在的视点信息进行关于特定辅助视点的画面的预测恢复。

图8A-8E是多视点序列的示范图，其用于解释根据本发明的编解码方法，其中示出5-视点情况。

在测试中使用的图像大小是720×576。宏块大小为16×16。在方差估计的x方向中的搜索范围被设定为-16到16。由于取平行相机而在y方向未设定搜索范围。为了运动估计，在x方向和y方向的搜索范围被设定为-16到16。而且，在测试中使用的视频格式被设定为Y∶U∶V＝4∶2∶0。

图10是在图8A-8E中5-视点序列的各种位速率的编码结果的曲线图。

见图10，当“One-I”和“Two-I”型与不带方差估计的“Five-I”型比较时，能够确认在相似的位速率显出良好的效率。

同时，如上所述，本发明提出灵活性(fluidity)的“GGOP”结构。即，通过向具有大基准的多视点序列编码应用补偿视点之间相关性的至少“Two-I”型，并且通过向具有小基准的多视点序列应用“One-I”型，相比“Two-I”型向除了“I”帧的其余画面类型分配较多位。

图11A和11B是解释在图9A中的以序列各种位速率编码结果的曲线图，其中示出小基准和大基准的情况。

见图11A和11B，在具有小基准的多视点的PSNR方面“One-I”型在效率上优越。在具有大基准的多视点序列的PSNR方面在性能上“Two-I”型比“One-I”型优越。

图12A和12B是分别通过“One-I”和“Two-I”型编码具有大基准的图像情况，图像比较示意图。

见图12A和12B，在具有大基准的多视点情况，视点之间的相关性降低。为了对此补偿，增加“I”帧。而且，确认增加“I”帧以补偿这样降低相关性的“Two-I”型具有较好的效率。因此，本发明的“GGOP”结构具有根据多视点序列的基准大小的灵活性。

同时，在本发明的“GGOP”结构中，“B_t，s”画面从方差矢量和运动矢量选择具有小预测误差的矢量，或利用该两个矢量的平均总和(average total)。在具有大运动的多视点序列情况，因为方差矢量恢复中而不是运动矢量恢复中更能够减小误差，仅选择方差矢量。在另一方面，如果在时间轴上的相关性降低，由于使用运动矢量的预测效率更高而选择运动矢量。

图13A和13B是解释本发明的B_t，s帧性能的结果图像图。图13A示出在通过将多视点作为MPEG-2序列独立编码时的结果图像。图13B是根据本发明进行解码时的结果图像。

见图13A，由于常规MPEG-2不能够使用方差矢量预测具有大运动的区域，在常规MPEG-2中发生相当大的误差。但是，本发明使用方差矢量能够预测具有大运动的区域，从而降低误差。

在本发明中，一旦发射端向接收端发送主位流和辅助位流，接收端仅能够恢复特定视点。

图14A-14D是在向接收端提供仅能够显示立体序列的3维监视器的情况中，如果接收图9A-9E的5-视点位流的用户选择第二和第四视点的结果图像。

也就是说，图14A和14B示出使用MPEG-2解码器获得的结果图像，图14C和14D示出使用根据本发明的解码方法的解码的结果图像。

如图所示，图14C和14D的图像比其他图像清晰。图14A和14B的图像是仅使用方差矢量恢复的结果。图14C和14D的图像包括“B_t，s”画面。因此，在运动或方差矢量大时，能够降低预测误差。

工业应用性

因此，本发明高效编码多视点序列，且在接收端仅解码特定视点，从而进行更顺利和高效的编解码。

而且，本发明可用于利用3维图像处理技术的各种领域，如通信，广播，虚拟显示，教育，保健，娱乐等。

而且，本发明方法可实现为在计算机可读记录媒体(CD-ROM，RAM，ROM，软盘，硬盘，磁光盘等)存储的程序。

尽管参照优选实施例说明了本发明，本领域技术人员明了，不偏离本发明的范围可做出各种改变。因此，本发明包括权利要求范围和其等效条款内的各种变化。

Claims

1.一种多视点序列编码方法，其通过编码从多个视点获得的多个画面产生位流，其中所述位流包括多个画面的每个画面的视点信息，且其中该视点信息是指定相应画面对应于多个视点中的哪个视点的信息。

2.一种多视点序列编码方法，包括步骤：

通过编码主视点的第一画面类型的画面产生主位流；和

产生至少一个或多个辅助视点的辅助位流，其中通过编码使用第一画面类型的画面预测的第二画面类型的画面产生所述辅助位流，

其中所述辅助位流包括第二画面类型的每个画面的视点信息，并且其中所述视点信息是指定第二画面类型的相应画面对应于在至少一个或多个辅助视点当中哪个辅助视点的信息。

3.如权利要求2所述的多视点序列编码方法，其中，所述视点信息被插在辅助位流内的每个画面报头中。

4.如权利要求2所述的多视点序列编码方法，其中，该第一画面类型的画面包括内画面(I画面)，根据从内画面(I画面)的单向运动估计的预测画面(P_t画面)，和根据从内画面(I画面)和/或预测画面(P_t画面)的双向运动估计的预测画面(B_t画面)。

5.如权利要求4所述的多视点序列编码方法，其中，该第二画面类型的画面包括根据从第一类型画面的画面的方差估计的预测画面(P_s，B_s)和根据从第一画面类型和预测画面(P_s，B_s)的运动估计和方差估计的预测画面(B_t，s)。

6.如权利要求5所述的多视点序列编码方法，其中，所述辅助位流构成一个位流，并且其中辅助位流包括与多个辅助视点相关的第二画面类型的全部预测画面(P_s，B_s，B_t，s)的组合。

7.如权利要求2所述的多视点序列编码方法，其中，至少一个特定视点序列被指定为输入的多个视点序列中的主视点，并且其中其余视点序列被指定为辅助视点。

8.如权利要求7所述的多视点序列编码方法，其中，以主位流的数目对应于主视点的数目的方式产生主位流。

9.如权利要求7所述的多视点序列编码方法，其中，该主视点的数目取决于多视点序列的基准范围。

10.如权利要求7所述的多视点序列编码方法，其中，与每个视点相关的序列是从每个单独序列捕获设备(如相机)获得的序列。

11.如权利要求7所述的多视点序列编码方法，其中，与每个视点相关的序列是根据序列捕获设备(如相机)的拍摄角度获得的序列。

12.一种多视点序列解码方法，包括步骤：

接收通过分别编码从多个视点获得的画面产生的主位流；

检查指定特定画面对应于所述多个视点的哪一个的视点信息；和

根据检查的视点信息解码与显示器中特定视点相关的画面。

13.一种多视点序列解码方法，包括步骤：

接收通过编码从主视点获得的画面产生的主位流和通过编码从多个辅助视点获得的画面产生的辅助位流；

恢复在主位流内的画面；

根据在辅助位流内存在的视点信息，通过利用在主位流内的恢复的画面，在显示器中选择性地进行与特定辅助视点相关的画面的预测恢复。

14.如权利要求13所述的多视点序列解码方法，其中，该视点信息是指定特定画面对应于多个辅助视点中哪一个的信息。

15.如权利要求14所述的多视点序列解码方法，其中，所述视点信息被包括在每个画面报头信息内。

16.一种多视点序列解码装置，包括：

主位流解码单元，其接收通过编码从主视点获得的画面产生的主位流以恢复主位流内的画面；和

辅助位流解码单元，其接收通过编码从多个辅助视点获得的画面产生的辅助位流，所述辅助位流解码单元根据在所述辅助位流内存在的视点信息，通过利用主位流内的恢复的画面，选择性地进行关于特定辅助视点的画面的预测恢复。

17.如权利要求16所述的多视点序列解码装置，其中，该视点信息是指定特定画面对应于多个辅助视点中哪一个的信息。

18.如权利要求17所述的多视点序列解码装置，其中，该视点信息被包括在每个画面报头信息内。

19.一种多视点序列显示方法，其包括显示与主视点对应的画面的第一显示模式和一起显示对应主视点的画面和对应至少一个或多个辅助视点的画面的第二显示模式，其中根据在包括画面的位流内存在的视点信息选择第一显示模式或第二显示模式。

20.如权利要求19所述的多视点序列显示方法，其中，该视点信息是指定特定画面对应于多个视点中哪一个的信息。