CN101861735B - 图像解码装置及方法、图像编码装置及方法 - Google Patents

Abstract

本发明提供一种图像解码装置，在解码不瞬间地完成的情况下，也能够对利用视图间预测编码后的多个视图进行解码。图像解码装置包括：解码处理部(100)，对编码后的第一视图、和参考第一视图而编码后的第二视图进行解码；以及缓冲存储器(900)，被配置在解码处理部(100)；解码处理部(100)，在赋予给第一视图以及第二视图的解码时刻相同的情况下，在将赋予给第二视图的解码时刻与第一视图的图片的解码完成为止所需要的延迟时间相加而得到的时刻，对第二视图的图片进行解码。

Description

图像解码装置及方法、图像编码装置及方法

技术领域

本发明涉及对利用视图间预测编码后的影像进行解码的图像解码装置、以及利用视图间预测对影像进行编码的图像编码装置。 

背景技术

为了分发影片作品等动画内容，DVD以及Blu-ray Disc(蓝光光盘)等的光盘被广泛采用。特别是，以往的DVD能够处理SD(StandardDefinition：标准清晰度)，对此，Blu-ray Disc能够处理最大1920x1080的HD(High Definition：高清晰度)，因此，能够容纳更高画质的影像。对于光盘，以往容纳了一般的2D(二维)影像，但是，近些年随着能够欣赏可进行立体显示的3D(三维)影像的电影院增加，对将高画质的3D影像照原样容纳到光盘的要求越来越高。 

容纳有3D影像的光盘被要求，需要与仅能够播放容纳有2D影像的光盘的播放装置(以下，称为“2D播放装置”)之间的播放兼容性。在2D播放装置不能将容纳有3D影像的光盘作为2D影像来播放的情况下，由于需要针对相同的内容制造“3D影像用光盘”和“2D影像用光盘”这两种光盘，因此导致高成本。因此，对于容纳有3D影像的光盘，需要在2D播放装置，以2D影像来播放，并且，在能够播放2D影像和3D影像的播放装置(以下，称为“2D/3D播放装置”)，能够以2D影像或3D影像来播放。 

对于以容纳有3D影像的光盘来确保播放兼容性的光盘和播放装置的以往的例子，周知的是图39所示的方法。 

在光盘1801，容纳有多路复用后的左眼用影像流和右眼用影像流，该左眼用影像流容纳有左眼用的画面，该右眼用影像流容纳有右眼用的画面。左眼用影像流和右眼用影像流的帧率相同，播放显示时刻为交替。例如，在各个影像流的帧率为每一秒24帧的情况下，按每1/48秒交替显示左眼用影像流和右眼用影像流。各个影像流被多路复用，在光盘1801，各个影 像流以1GOP(图片组)以上的图像信息的记录单位被交错(Interleave)配置在盘上，即，被交替配置在盘上。 

在图39中，在光盘1801上，左眼用影像流被交错配置在流1802A、流1802B以及流1802C，右眼用影像流被交错配置在流1803A、流1803B以及流1803C。根据光盘1801的查找性能以及读入速度等，将配置有左眼用影像流的流1802A、流1802B以及流1802C配置，从而在依次分别播放时不间断地播放。 

在光盘1801被装填到2D播放装置1804的情况下，播放作为左眼用影像流的流1802A、流1802B以及流1802C，并输出2D影像。 

另一方面，在光盘1801被装填到能够播放3D影像的3D播放装置1805的情况下，或者，在光盘1801被装填到2D/3D播放装置且用户选择3D播放的情况下，以交错块为单位交替读入左眼用影像流和右眼用影像流。也就是说，以不发生驱动器的查找的方式，按照流1802A、流1803A、流1802B、流1803B、流1802C以及流1803C的顺序，连续读入。 

对于读入后的影像流，左眼用影像流输入到左眼用影像解码器，右眼用影像流输入到右眼用影像解码器，分别对双方的流进行解码，左眼画面和右眼画面交替输出到电视机。也可以以相同的解码器来进行左眼用影像流和右眼用影像流的解码。若用按每1/48秒切换右眼和左眼的快门的立体眼镜1806看该输出图像，则看成立体影像。 

根据该结构，容纳有3D影像的光盘，在2D播放装置能够播放2D影像，在3D播放装置或2D/3D播放装置能够播放3D影像。对于用于确保容纳有3D影像的光盘的播放兼容性的技术，有以下的专利文献1中所记载的以往的技术。 

作为ISO(国际标准化组织)/IEC(国际电工委员会)MPEG(运动图像专家组)和ITU-T(电信标准化部门)VCEG(视频编码专家组)的共同项目的Joint Video Team(JVT：视频联合工作组)，在2008年7月完成了称为Multiview Video Coding(MVC：多视点视频编码)的MPEG-4AVC/H.264的修改标准的制定。MVC是对多个视点(视图)的影像一起进行编码的标准，对预测编码，不仅将影像的时间方向的相似性利用于预测编码，还将视图间的相似性利用于预测编码，从而与多个视图的独立的压缩相比， 更能够提高压缩效率。 

图40是示出两个视点的情况的预测参考的例子的图。禁止由称为基础视图(以下，有时称为第一视图)的视图参考其它的视图，基础视图，由于能够单独解码，因此与2D播放装置的亲和性高。并且，对于MVC的多路复用方式，也正在进行MPEG-2系统标准的追补版的标准化，已经发行了以下的非专利文献1中所记载的草案。 

在非专利文献1中，规定对MVC的影像流进行包多路复用的方法、以及读入包多路复用后的MVC的数据来进行反多路复用、提取MVC的比特流、输入到解码器为止这一连串的工作被规定的系统目标解码器等。 

基于规定的播放装置，包括由系统目标解码器规定的大小的缓冲器。如非专利文献1所述，在缓冲器中，按照离解码器近的顺序，包含基本流缓冲器(EB)、多路复用缓冲器(MB)以及传输缓冲器(TB)。以下，将它们总称为STD(System Target Decoder：系统目标解码器)缓冲器。可以认为，基于规定的播放装置，若根据规定的数据的读入定时和读入速率来进行工作，则不使STD缓冲器发生上溢和下溢，而能够在规定的解码时刻对各个帧进行解码。 

专利文献1：(日本)国际公开第97/032437号 

非专利文献1：Text of ISO/IEC 13818-1：2007/FPDAM 4-Transport of Multiview Video over ITU-T Rec H.222.0 | ISO/IEC13818-1 

说明以往的例子的问题。 

在图39的以往的播放装置中，在利用像MVC那样的使用了视图间的预测的图像编码方法来试图提高两个视点图像的编码效率的情况下，在由其它的视图(以下，称为第二视图)参考之前，需要使用于视图间的预测的第一视图的帧已被解码。这是在由相同的解码器进行第一视图和第二视图的解码时也同样的。 

并且，容纳在光盘1801的以往的多路复用流的前提是，将相同的解码时刻(解码时间戳。以下称为DTS)赋予给第一视图和第二视图，瞬间地完成第一视图的解码。而且，DTS以及显示时刻(显示时间戳。以下称为PTS)是，根据MPEG-2系统标准的PES(Packetized Elementary Stream： 打包的基本流)数据包的头、MVC的比特流内的参数、或Blu-ray Disc等的应用标准中播放时被参考的数据库信息等来能够取得的。 

然而，在实际的播放装置中，不能瞬间地完成第一视图的解码，因此，存在以下的问题。 

在以往的播放装置中，根据DTS决定各个视图的解码时刻，但是，实际上，由于在第一视图的解码开始时刻不能开始第二视图的解码，因此，不能决定第二视图的解码时刻。也就是说，在以包含视图间预测的方法来编码了多个视图的情况下，存在在基于被赋予的DTS的解码时刻不能解码这具有本质性的第一问题。 

并且，在以往的系统目标解码器中存在第二问题，即，由于在第一视图的解码瞬间地完成的前提下规定了STD缓冲器的大小，因此，在第一视图的解码不瞬间地完成的情况下，在此期间，STD缓冲器发生上溢，不能将数据读入到STD缓冲器，在DTS之前，后续帧的数据不齐全。 

以下，参照图41以及图42说明第二问题。图41示出在解码瞬间地完成的情况下的基本流缓冲器的占有量，图42示出在对第一视图的解码需要T_dec的时间的情况下的基本流缓冲器的占有量。 

在图41中，在DTS1、DTS2以及DTS3，分别帧1、帧2以及帧3的第一视图和第二视图的流数据同时被提取，并瞬间地被解码。 

另一方面，在图42中，在DTS1，帧1的第一视图的流数据被提取，在相对于DTSl延迟了T_dec的时刻，帧1的第二视图的流数据被提取，帧2以后也同样进行处理。此时，在时刻Tfull，导致基本流缓冲器发生上溢，在从时刻Tfull到第二视图的解码时刻(DTS1+T_dec)为止的期间，不能读入数据。其结果为，在DTS3，帧3的第一视图的数据不齐全，导致基本流缓冲器发生下溢。 

发明内容

为了解决所述的问题，本发明的目的在于提供图像解码装置或图像编码装置，所述图像解码装置，在解码不瞬间地完成的情况下，也能够对利用视图间预测编码后的多个视图进行解码；所述图像编码装置，利用视图间预测对多个视图进行编码，从而能够进行解码。 

为了解决所述的问题本发明的图像解码装置，对以包含视图间预测的方法编码后的具有多个视图的比特流进行解码，该多个视图的各个视图中包含图片，所述图像解码装置，包括：解码处理部，对编码后的第一视图的比特流、以及参考所述第一视图而编码后的第二视图的比特流进行解码；以及缓冲存储器，被配置在所述解码处理部的前级，以保持将要输入到所述解码处理部的比特流；所述解码处理部，在赋予给所述第一视图以及所述第二视图的解码时刻相同的情况下，在将赋予给所述第二视图的解码时刻与延迟时间相加而得到的时刻，对所述第二视图的图片进行解码，所述延迟时间是直到所述第一视图的图片的解码完成为止所需要的时间。 

据此，对第一视图的图片进行解码后，参考第一视图的图片，对第二视图的图片进行解码。因此，能够对利用视图间预测编码后的多个视图进行解码。 

并且，也可以是，根据赋予给所述比特流的数据读入速率，所述比特流被读入到所述缓冲存储器；所述解码处理部，在对所述多个视图中包含的各个视图的比特流进行解码时，从所述缓冲存储器提取将要解码的所述各个视图的比特流；在加上所述延迟时间而得到的时刻，所述解码处理部提取所述第二视图的比特流的情况下，所述缓冲存储器的大小为在所述解码处理部提取所述各个视图的比特流时所述缓冲存储器不发生下溢的最小的大小以上。 

据此，不导致因解码延迟而引起的上溢，而编码后的数据被读入。因此，图像解码装置，能够对数据更适当地进行解码。 

并且，也可以是，所述缓冲存储器的大小为，将规定大小与在所述延迟时间中根据所述数据读入速率将要被读入的比特流的大小相加而得到的大小以上，所述规定大小是以在赋予给所述各个视图的解码时刻所述各个视图的比特流被提取为前提来决定的大小。 

据此，能够决定缓冲存储器的大小。 

并且，也可以是，所述解码处理部，依次对所述多个视图的比特流进行解码；在将所述多个视图中包含的视图的数量设为n、将所述多个视图中包含的各个图片的解码所需要的时间的最大值设为T、将所述数据读入速率设为R、以及将所述规定大小设为D的情况下，所述缓冲存储器的大小 为D+R×T×(n-1)以上的大小。 

据此，在依次对多个视图的比特流进行解码的情况下，更具体地决定缓冲存储器的大小。 

并且，也可以是，所述解码处理部，对所述多个视图的比特流并行进行解码；在将由视图间预测参考的视图的阶层的最大值设为m、将所述多个视图中包含的各个图片的解码所需要的时间的最大值设为T、将所述数据读入速率设为R、以及将所述规定大小设为D的情况下，所述缓冲存储器的大小为D+R×T×(m-1)以上的大小。 

据此，在对多个视图的比特流并行进行解码的情况下，更具体地决定缓冲存储器的大小。 

并且，也可以是，所述解码处理部，还包括：外部存储器，用于存储所述多个视图中包含的图片；第一解码器，对所述第一视图的比特流进行解码，使所述外部存储器存储在视图间预测所使用的图片；以及第二解码器，参考示出保持有所述图片的所述外部存储器内的位置的管理信息，从所述外部存储器获得在视图间预测所使用的图片，从而对所述第二视图的比特流进行解码。 

据此，即使包括两个解码器的图像解码装置，各个解码器也能够共享用于视图间预测的参考图像。 

并且，也可以是，在存在因所述延迟时间而未被读入的比特流的情况下，以比赋予给所述比特流的数据读入速率高的速度，所述比特流被读入到所述缓冲存储器。 

据此，在解码延迟发生的期间未被读入的数据被读入。因此，图像解码装置，能够对数据更适当地进行解码。 

并且，也可以是，所述解码处理部，还包括：外部存储器，用于存储所述多个视图中包含的图片；第一解码器，对所述第一视图的比特流进行解码，使所述外部存储器存储在视图间预测所使用的图片；以及第二解码器，参考示出保持有所述图片的所述外部存储器内的位置的管理信息，从所述外部存储器获得在视图间预测所使用的图片，从而对所述第二视图的比特流进行解码。 

据此，即使包括两个解码器的图像解码装置，各个解码器也能够共享 用于视图间预测的参考图像。而且，这些共享是，在高速读入比特流的情况下也能够适用的。 

并且，也可以是，本发明的图像编码装置，以包含视图间预测的方法，对各个视图中包含图片的多个视图进行编码，所述图像编码装置，包括：编码处理部，对所述多个视图进行编码，将相同的解码时刻赋予给所述多个视图；以及速率控制部，在读入编码后的所述多个视图的图像解码装置的缓冲存储器的大小为，从规定大小减去在延迟时间中将要被读入的编码后的所述多个视图的数据大小而得到的大小以下的前提下，使编码处理部进行编码，所述规定大小是估计在所述解码时刻解码瞬间地完成而决定的大小，所述延迟时间是直到由视图间预测参考的视图的解码完成为止所需要的时间。 

据此，以图像解码装置不发生下溢的方式，多个视图被编码。 

并且，也可以是，所述速率控制部，在将编码后的所述多个视图的数量设为n、将所述多个视图中包含的各个图片的解码所需要的时间的最大值设为T、将读入编码后的所述多个视图时的数据读入速率设为R、以及将所述规定大小设为D的情况下，所述图像解码装置的缓冲存储器的大小为D-R×T×(n-1)以下的大小的前提下，使编码处理部进行编码。 

据此，能够更具体地限制编码。 

并且，也可以是，所述编码处理部，还包括：外部存储器，用于存储所述多个视图中包含的图片；第一编码器，对所述多个视图中包含的第一视图进行编码，使外部存储器存储在视图间预测所使用的图片；以及第二编码器，参考示出保持有所述图片的所述外部存储器内的位置的管理信息，从所述外部存储器获得在视图间预测所使用的所述第一视图的图片，从而利用视图间预测对所述多个视图中包含的第二视图进行编码。 

据此，即使包括两个编码器的图像编码装置，各个编码器也能够共享用于视图间预测的参考图像。 

并且，也可以是，本发明的图像解码方法，对以包含视图间预测的方法编码后的具有多个视图的比特流进行解码，该多个视图的各个视图中包含图片，所述图像解码方法，包括：解码处理步骤，对编码后的第一视图的比特流、以及参考所述第一视图而编码后的第二视图的比特流进行解码； 以及数据保持步骤，在所述解码处理步骤之前，保持将要输入到解码处理步骤的比特流；在所述解码处理步骤，在赋予给所述第一视图以及所述第二视图的解码时刻相同的情况下，在将赋予给所述第二视图的解码时刻与延迟时间相加而得到的时刻，对所述第二视图的图片进行解码，所述延迟时间是直到所述第一视图的图片的解码完成为止所需要的时间。 

据此，对第一视图的图片进行解码后，参考第一视图的图片，对第二视图的图片进行解码。因此，能够对利用视图间预测编码后的多个视图进行解码。 

并且，也可以是，本发明的图像编码方法，以包含视图间预测的方法，对各个视图中包含图片的多个视图进行编码，所述图像编码方法，包括：编码处理步骤，对所述多个视图进行编码，将相同的解码时刻赋予给所述多个视图；以及速率控制步骤，在读入编码后的所述多个视图的图像解码装置的缓冲存储器的大小为，从规定大小减去在延迟时间中将要被读入的编码后的所述多个视图的数据大小而得到的大小以下的前提下，使编码处理步骤进行编码，所述规定大小是估计在所述解码时刻解码瞬间地完成而决定的大小，所述延迟时间是直到由视图间预测参考的视图的解码完成为止所需要的时间。

据此，以图像解码装置不发生下溢的方式，多个视图被编码。 

并且，也可以是，使计算机执行所述图像解码方法中包括的步骤的程序。 

据此，实现作为程序的所述图像解码方法。 

并且，也可以是，使计算机执行所述图像编码方法中包括的步骤程序。 

据此，实现作为程序的所述图像编码方法。 

根据本发明，在解码不瞬间地完成的情况下，也能够对由包含视图间预测的方法编码后的比特流进行解码。 

附图说明

图1是本发明的实施例1涉及的3D图像解码装置的方框图。 

图2是示出本发明的实施例1中的各个视图的实际的解码时刻以及显示时刻的例子的图。 

图3是示出本发明的实施例1中的各个视图的实际的解码时刻的决定方法的流程图。 

图4是示出图3所示的各个视图的实际的解码时刻的决定方法的变形例的流程图。 

图5是本发明的实施例1涉及的3D图像解码装置中的补偿缓冲器的说明图。 

图6是示出本发明的实施例1涉及的补偿缓冲器的效果的图。 

图7是示出图5所示的补偿缓冲器的配置的变形例的图。 

图8是示出图5所示的补偿缓冲器的配置的变形例的图。 

图9是说明具有两个以上的视图的情况的图。 

图10是说明高速读入的情况下的工作的图。 

图11是示出本发明的实施例1涉及的结构要素的图。 

图12是本发明的实施例1涉及的3D图像解码装置的变形例的方框图。 

图13是示出本发明的实施例1的变形例中的各个视图的实际的解码时刻以及显示时刻的例子的图。 

图14是本发明的实施例2涉及的3D图像解码装置的方框图。 

图15是示出本发明的实施例2中的各个视图的实际的解码时刻以及显示时刻的例子的图。 

图16是示出图15所示的各个视图的实际的解码时刻以及显示时刻的变形例的图。 

图17是示出多个视图的参考关系的例子的图。 

图18是本发明的实施例3涉及的3D图像编码装置的方框图。 

图19是示出本发明的实施例3涉及的3D图像编码装置的效果的图。 

图20是本发明的实施例3涉及的3D图像编码装置的变形例的方框图。 

图21是本发明的实施例4涉及的3D图像解码装置的方框图。 

图22是示出具有两个解码器的3D图像解码装置能够播放的PTS以及DTS的一个例子的图。 

图23是本发明的实施例4涉及的3D图像编码装置的方框图。 

图24是示出图22所示的PTS以及DTS的决定方法的一个例子的流程图。 

图25是示出具有两个解码器的3D图像解码装置能够播放的PTS以及DTS的一个例子的图。 

图26是示出图25所示的PTS以及DTS的决定方法的一个例子的流程图。 

图27是本发明的实施例4涉及的3D图像解码装置的变形例的方框图。 

图28是本发明的实施例4涉及的3D图像解码装置的变形例的方框图。 

图29是本发明的实施例5涉及的3D图像解码装置的方框图。 

图30是示出具有倍性能解码器的3D图像解码装置能够播放的PTS以及DTS的一个例子的图。 

图31是本发明的实施例5涉及的3D图像编码装置的方框图。 

图32是示出图30所示的PTS以及DTS的决定方法的一个例子的流程图。 

图33是示出具有倍性能解码器的3D图像解码装置能够播放的PTS以及DTS的一个例子的图。 

图34是示出图33所示的PTS以及DTS的决定方法的一个例子的流程图。 

图35是本发明的实施例6涉及的3D图像解码装置中的解码处理切换判断流程图。 

图36是本发明的实施例6涉及的3D图像解码装置的方框图。 

图37是本发明的实施例6涉及的3D图像解码装置中的解码处理切换判断流程图。 

图38是本发明的实施例6涉及的3D图像解码装置的方框图。 

图39是以往的3D影像播放装置的说明图。 

图40是示出MVC中的两个视点图像编码的预测参考的例子的图。 

图41是示出3D图像播放时的缓冲器管理的图。 

图42是示出3D图像播放时的缓冲器管理的问题的图。 

具体实施方式

以下，参照附图说明本发明的实施例。 

(实施例1) 

首先，参照附图说明本发明涉及的实施例1。 

图1是实施例1的3D图像解码装置001的方框图。图1的3D图像解码装置001包括解码器112e，该解码器112e具有以3D影像的帧率的2倍的速度来对3D影像的一侧视图的影像进行解码的能力。而且，解码器112e对第一视图以及第二视图这两个视图进行解码。由于参考第一视图对第二视图进行了编码，因此，3D图像解码装置001被构成为，正在对第二视图进行解码中能够参考第一视图的解码图像。 

3D图像解码装置001与以往的播放装置不同，即使在第一视图的解码不瞬间地完成的情况下，在对各个视图实际地进行解码的时刻，也能够对各个视图的流数据进行解码。 

说明3D图像解码装置001的工作。输入后的多路复用比特流101，输入到STD缓冲器902。而且，通过进行反多路复用，从而比特流被分离。然后，对第一视图的比特流，根据DTS输入到解码器112e，对第二视图的比特流，根据考虑到第一视图的解码所需要的时间的解码时刻(以下，称为DTS_MOD)输入到解码器112e。 

在此，对于多路复用方式，利用MPEG-2系统的传输流。而且，在进行反多路复用时，由图中不示出的反多路复用单元，从传输数据包列中分离PES数据包，从而获得容纳在PES数据包的有效负载的比特流。 

而且，多路复用方式，不仅限于MPEG-2系统的传输流。例如，多路复用方式也可以是，应用标准中扩展了功能的传输流，或者，由MPEG规定的MP4文件格式，进一步，由IETF(Internet Engineering TaskForce：互联网工程任务组)规定的RTP(Real Time streaming Protocol：实时流协议)等用于经由网络的流式分发的方式。 

解码器112e，对输入后的多路复用比特流101进行解码，根据PTS输出解码图像。开关903，将输出后的图像分离为第一视图的解码图像114以及第二视图的解码图像115。而且，分离后的图像，经由视频输出接口116，被显示在3D显示器117上，以作为3D图像。 

解码器112e，在解码处理中，将在画面间预测编码中参考的解码后的帧，复制到外部存储器109上的第一帧存储器110c以及第二帧存储器121，直到不被参考为止，保持在第一帧存储器110c以及第二帧存储器121。在 此，在第一帧存储器110c容纳第一视图的帧，在第二帧存储器121容纳第二视图的帧。 

在各个帧存储器保持多个帧。因此，解码器112e，通过保持第一帧存储器管理信息108g以及第二帧存储器管理信息120，从而管理哪个时刻的帧被保持在第一帧存储器110c以及第二帧存储器121上的哪个位置。 

在此，对于第二视图的编码，使用视图间预测编码，该视图间预测编码利用第一视图的帧进行预测。因此，解码器112e需要，对第二视图的解码，参考第一视图的解码图像。于是，解码器112e，每当第一视图的帧的解码结束时，更新第一帧存储器管理信息108g。而且，正在进行第二视图的解码中，也保持第一帧存储器管理信息108g。解码器112e，根据第一帧存储器管理信息108g，参考保持在第一帧存储器110c的第一视图的所希望的帧的解码图像。而且，解码器112e，对以包含视图间预测编码的编码方式编码后的第二视图的比特流进行解码。 

而且，对于第一视图的比特流，不参考其它的视图，而能够单独地进行解码。因此，解码器112e跳读第二视图的比特流，从而能够将3D图像解码装置001作为2D图像解码装置使用。 

并且，在解码器112e的第二视图的解码处理中，检测出比特流Syntax异常等某种异常的情况下，在达到比特流的随机存取点(跳入播放可能点)等，从而能够重新开始正常解码为止的期间，3D图像解码装置001也可以仅显示第一视图的解码图像。并且，在检测出所述的异常的情况下，3D图像解码装置001也可以，显示第一视图的解码图像，以作为第二视图的解码图像。根据所述的显示等，3D图像解码装置001能够减轻视听人的不快感。 

并且，在解码器112e的第一视图的解码处理中，检测出比特流Syntax异常等某种异常的情况下，也不能对参考第一视图的第二视图正常地进行解码。因此，3D图像解码装置001也可以，向上级系统通知解码器112e的异常，在达到比特流的随机存取点(跳入播放可能点)等，从而能够重新开始正常解码为止的期间，继续输出最后第一视图以及第二视图都正常地被解码的帧。根据所述的输出等，3D图像解码装置001能够减轻视听人的不快感。 

图2是示出3D图像解码装置001的解码处理中的各个视图的PTS以及DTS的关系的一个例子的图。在图2的例子中，各个视图的帧，以显示顺序被编码为I、B、B以及P型(P型仅进行单方向的预测。B型包含双方向的预测)，以编码顺序被编码为I、P、B以及B型。在视图间预测中，由第二视图参考第一视图时，仅参考紧前被显示的第一视图的帧。并且，第一视图以及第二视图交替被显示。 

在本例子中，首先，第一视图的开头帧I1被解码。而且，第二视图的开头帧P1，参考第一视图的开头帧I1。因此，直到第一视图的开头帧I1的解码完成为止，不能开始第二视图的开头帧P1的解码。3D图像解码装置001，由于利用显示帧率的倍速度的解码器112e，因此，对第一视图的开头帧I1的解码需要帧周期Δt/2(Δt＝1/帧率)。 

在此，由PES数据包的头部以及MVC流内的HRD(HypotheticalReference Decoder：假想参考解码器)相关的参数等得到的DTS值，在第一视图与第二视图之间相同。因此，第二视图的开头帧P1的实际的解码时刻DTS_MOD被决定为，第一视图的开头帧I1的DTS的Δt/2后。 

并且，由于第一视图的帧P4将第一视图的帧I1使用于预测，因此，本来，在第一视图的帧I1的解码完成后，能够开始第一视图的帧P4的解码。但是，在3D图像解码装置001中，由一个解码器进行第一视图和第二视图的解码，因此，不能与第二视图的帧P1同时进行解码。于是，第一视图的帧P4的DTS为，在第二视图的帧P1的DTS_MOD的Δt/2后。以后，以Δt/2间隔来交替地开始第一视图和第二视图的帧的解码。 

其次，说明PTS。针对显示顺序，解码顺序最晚的是，第二视图的B帧。因此，以能够显示第二视图的B帧的时刻为基准，决定第一视图以及第二视图的帧的PTS。具体而言，由于解码器112e对一个帧的解码需要Δt/2，因此，第二视图的帧B2的PTS为DTS_MOD的Δt/2后。以该时刻为基准，第一视图的开头帧I1的PTS为DTS的3Δt/2后，第二视图的开头帧P1的PTS为DTS_MOD的3Δt/2后。 

在此，3D图像的显示方式有，同时显示第一视图和第二视图的方式，以及如3D图像解码装置001交替显示第一视图和第二视图的方式。 

在设想对应于前者的方式的情况下，可以考虑的是，在多路复用比特 流101，第一视图和第二视图的PTS被设定为相同的值。在这些多路复用比特流输入到3D图像解码装置001的情况下，即，在由PES数据包的头部以及MVC流内的HRD(Hypothetical Reference Decoder)相关的参数等得到的DTS在第一视图与第二视图之间相同的情况下，如图2的例子，也可以决定第二视图的实际的PTS，以能够交替显示第一视图和第二视图。 

进而，作为其它的例子，可以设想的是，从PES数据包的头部能够得到的PTS仅是第一视图的PTS，根据第一视图的PTS决定第二视图的PTS，不将第二视图的PTS容纳到PES数据包的头部。或者，可以设想的是，将容纳到PES数据包的头部的第二视图的PTS固定为规定的值。例如，还可以设想的是，总是将容纳的PTS固定为0，根据第一视图的PTS决定实际的PTS。在这些情况下，如图2的例子，也可以决定第二视图的实际的PTS，以能够交替显示第一视图和第二视图。 

图3是示出3D图像解码装置001中决定第一视图和第二视图的解码时刻的工作的流程图。 

首先，解码器112e，获得PES数据包头所示的各个视图的DTS(S1000)。在此，在PES数据包头并不容纳所有的视图的DTS。因此，在PES数据包头不示出DTS的情况下，解码器112e也可以，根据另外获得的帧率信息等来决定DTS。并且，也可以根据PES数据包所容纳的MVC流的HRD相关信息来决定DTS。 

其次，解码器112e，判断处理对象是否为第一视图(S1001)。在此，若是第一视图(S1001的“是”)，解码器112e，则决定根据获得的DTS开始解码(S1002)。另一方面，若不是第一视图(S1001的“否”)，解码器112e，则考虑第一视图的解码所需要的时间，将DTS与帧周期Δt的1/2时间相加，决定二视图的解码时刻DTS_MOD(S1003)。 

图4是示出图3的工作的变形例的流程图。 

在该例子中，解码器112e，判断处理对象是否为第一视图(S1001)。在此，在不是第一视图的情况下(S1001的“否”)，解码器112e，参考DTS变更用的辅助信息，获得DTS的加法值DTS_DELTA(S1004)。其次，解码器112e，将DTS与DTS_DELTA相加，决定第二视图的解码时刻DTS_MOD(S1005)。 

例如，利用MVC流内的辅助信息容纳用的数据容纳单元，在随机存取单元的每个开头等的规定的位置能够传输DTS_DELTA。在此，在合并第一视图和第二视图的数据来定义一个存取单元的情况下，有可能按照辅助信息容纳用的容纳单元、以及像素数据容纳用的容纳单元等的容纳单元的种类，存取单元内的配置顺序受限制。 

此时，也可以配置辅助信息容纳用的容纳单元，从而在制作存取单元时不发生容纳单元的重新排列。例如，存在需要将辅助信息用的容纳单元配置在像素数据信息用的容纳单元之前的情况。此时，在将辅助信息作为第二视图的数据来容纳的情况下，在结合第一视图和第二视图的数据时，辅助信息位于第一视图的像素数据之后，从而发生容纳单元的重新排列。因此，也可以预先将辅助信息作为第一视图的数据来配置在第一视图的像素数据之前。 

并且，也可以将示出DTS_DELTA的辅助信息容纳在MPEG-2系统标准中的传输流内(例如，可以利用描述符等)、或在Blu-ray Disc等的应用标准中的播放时被参考的数据库信息内。并且，辅助信息，可以示出DTS_DELTA的绝对值，也可以间接地示出帧间隔或其它的基准时间间隔的整数倍、或整数的1倍等的DTS_DELTA的值。进而，也可以将DTS_MOD作为辅助信息来传输。而且，也可以同样传输用于决定第二视图的实际的PTS的辅助信息。 

在所述内容中设想了由两个视图构成的流的3D显示，但是，在从三个以上的视图中选择两个视图来进行解码并显示的情况下，追加从多个视图中选择两个视图的步骤即可。 

并且，也可以设想以下的用途，即，不进行3D显示而一边对多个视图进行切换一边显示，或者，同时划分并显示画面。在这些情况下，也以能够单独进行解码的第一视图为基准，来决定后续视图的DTS_MOD。例如，在显示三个视图的情况下，若以帧周期Δt的1/3的时间来能够完成各个视图的解码，则可以将第二视图的DTS_MOD决定为DTS+(1/3)×Δt，将第三视图的DTS_MOD决定为DTS+(2/3)×Δt。 

而且，在此说明了的帧中包含构成帧的场。而且，本方法可以适用于逐行影像，也可以适用于隔行影像。 

其次，说明3D图像解码装置001包括的STD缓冲器902。对于以往的播放装置，像所述的第二问题那样，在3D图像解码装置001中考虑第一视图的解码所需要的时间来决定第二视图的解码时刻的情况下，在第一视图的解码期间，解码器112e不能读入第二视图的比特流数据。因此，STD缓冲器902发生上溢。而且，其结果为，导致在DTS之前，后续帧数据不齐全的问题。 

因此，在3D图像解码装置001中，为了避免因在第一视图的解码期间第二视图的比特流数据的读入停止而引起的STD缓冲器的上溢，而除了包括以往的系统目标解码器中所规定的STD缓冲器以外，还包括新的补偿缓冲器。 

图5是示出3D图像解码装置001的STD缓冲器902的结构的图。由图中不示出的控制部，输入后的多路复用比特流101，首先，输入到传输缓冲器902a，从传输数据包中分离PES数据包后，输入到多路复用缓冲器902b。接着，从PES数据包的有效负载获得的比特流数据，输入到基本流缓冲器902c。STD缓冲器902，除了包括基本流缓冲器902c以外，还包括补偿缓冲器902d，以作为容纳比特流数据的缓冲器。 

在图5的例子中，分开示出了基本流缓冲器902c和补偿缓冲器902d，但是，两者的作用都是容纳从PES数据包的有效负载中分离的比特流数据。因此，STD缓冲器902，也可以包括具有加上这些两个缓冲器的大小的大小的单一的缓冲器，以作为比特流数据容纳用的缓冲器。 

而且，根据第一视图和第二视图的解码时刻，各个视图的比特流数据，从基本流缓冲器902c以及补偿缓冲器902d中的任一个缓冲器，输入到解码器112e。 

图6示出，在3D图像解码装置001中，不使STD缓冲器902发生上溢以及下溢而能够对在图42以例子示出的以往的播放装置中发生问题的比特流数据进行解码。图6的图表内的实线和虚线分别示出，3D图像解码装置001和以往的播放装置中的缓冲器占有量的变化。在以往的播放装置中，在时刻T1发生了上溢，但是，由于在STD缓冲器902中包括补偿缓冲器902d，因此，能够不发生上溢而继续读入比特流数据。其结果为，在DTS3，帧3的第一视图的数据已齐全，3D图像解码装置001能够实现不间断且连 续的解码。 

图7以及图8是示出，以不同通道来对第一视图和第二视图的数据进行处理时的STD缓冲器902的变形例的图。 

首先，说明图7。多路复用比特流101，由开关913，根据PID(PacketIndicator：包标识符)等的传输流数据包的标识信息，分离为第一视图的数据包101b和第二视图的数据包101e。在仅播放第一视图的情况下，在开关913，仅选择第一视图的传输数据包，而丢弃第二视图的传输数据包。 

第一视图的数据包，通过传输缓冲器9021a、多路复用缓冲器9021b以及基本流缓冲器9021c。第二视图的数据包，通过传输缓冲器9022a、多路复用缓冲器9022b、基本流缓冲器9022c以及补偿缓冲器9022d。第一视图和第二视图的比特流数据分别，根据解码时刻，经由开关914输入到解码器112e。 

图7所示的STD缓冲器902的结构为，针对第一视图，与以往的STD缓冲器之间具有兼容性。而且，包括与第二视图相对应的补偿缓冲器9022d。根据这些结构，能够解决因两个视图而引起的STD缓冲器的问题。 

图8所示的STD缓冲器902，在开关914的后级包括补偿缓冲器9022d。而且，即使视图的数量为三个以上，也与图7和图8所示的变形例相同，开关913和开关914选择视图，从而STD缓冲器902能够以不同通道来对各个视图进行处理。进而，在与图7的结构相同的情况下，也可以将补偿缓冲器共享于第二视图和第三视图以后的视图。 

其次，说明补偿缓冲器9022d的大小。 

首先，在从多路复用缓冲器向基本流缓冲器的数据的流入率的最大值为Rin的情况下，最大流入率Rin乘以第一视图的解码时间(等于帧周期Δt的1/2)而得到的数据量DATA_IN，在第一视图的解码期间内，流入到基本流缓冲器902c。公式1示出，此时的计算式。 

DATA_IN＝(1/2)×Δt×Rin    (公式1)

如非专利文献1规定，最大流入率Rin是，根据多路复用比特流101中的MVC流的最大比特率、或根据MVC流所属的等级中规定的最大率决定的。在此，等级是指，规定比特率、缓冲器大小、图像大小以及帧率等的参数上限值的信息，按照每个等级，参数上限值不同。并且，由于能够 将等级以及MVC流的比特率等的信息，编码在MVC的比特流内，因此，3D图像解码装置001，获得这些信息，从而决定最大流入率Rin。但是，DATA_IN的上限值由基本流缓冲器的大小EB_SIZE限制。 

进而，图42的例子等所示的基本流缓冲器的上溢，起因于在第一视图的解码时刻不能提取第二视图的数据。因此，补偿缓冲器的大小在第二视图的数据大小的上限值(以下，称为View2_MAX)以上即可。而且，View2_MAX的值，由MVC等的编码标准规定。例如，对于各个视图图像，原图像和编码图像的比特量的比，由称为MinCR(Minimum CompressionRatio：最小压缩比)的参数规定。而且，在MinCR为2的情况下，编码图像的数据大小被限制为原图像的比特量的1/2以下。原图像的数据大小是，能够根据图像大小或色差信息的采样方法来决定的。而且，也可以根据所有的视图的总数据大小的上限值，决定View2_MAX。 

根据所述内容，也可以将DATA_IN、EB_SIZE以及View2_MAX这三个参数值中的大小为最小的参数值(以下，称为COMP_BUF_SIZE)作为补偿缓冲器的大小。或可以，从三个参数值中单纯地选择任一个，以作为补偿缓冲器的大小。如此设定的补偿缓冲器的大小是，假定最坏情况而决定的。实际的比特流中需要的补偿缓冲器的大小，成为COMP_BUF_SIZE以下，其值是依存编码条件而变动的。 

因此，3D图像编码装置也可以，在比特流的编码时，设定各个视图的解码所需要的时间，根据设定的时间决定实际上需要的补偿缓冲器的大小，对示出决定的大小的信息进行编码，以作为比特流内的参数信息。3D图像解码装置，获得该参数信息，从而能够决定并确保补偿缓冲器的大小。 

而且，也可以包含设定为各个视图的解码所需要的时间的值，以作为参数信息。进而，3D图像编码装置也可以，估计各个视图的解码所需要的时间的多个候补，将与各个候补相对应的补偿缓冲器的大小包含在参数信息中。此时，3D图像解码装置，选择与自己的处理速度相对应的候补，决定补偿缓冲器的大小。 

图5所示的补偿缓冲器902d是比特流容纳用的缓冲器。据此，与在包含PES数据包的开销(overhead)的多路复用缓冲器、或在除了PES数据包以外还包含传输数据包的开销的传输缓冲器的阶段设置补偿缓冲器的情 况相比，更能够减少缓冲器大小。 

另一方面，例如，在将内置有基本流缓冲器的解码器安装在播放装置中的情况下，有在基本流缓冲器的阶段不能设置补充缓冲器的情况。在此情况下，也可以将补充缓冲器设置在与多路复用缓冲器等相同的阶段。此时，比特流以PES数据包化的状态而被容纳在多路复用缓冲器中，因此，将补偿缓冲器的大小，作为COMP_BUF_SIZE与PES数据包的头部以及其它的多路复用所涉及的开销相加的值。规定在多路复用缓冲器保持的数据中开销所占有的比例，根据该规定，能够决定开销的大小。 

而且，也可以将补偿缓冲器的大小设定为COMP_BUF_SIZE以上的任意的值。通过将如此决定的补偿缓冲器与STD缓冲器相加，从而能够解决问题。 

图9是说明对两个以上的视图进行解码时的COMP_BUF_SIZE的决定方法的图。在此，需要两个以上的视图的解码的情况中，除了包括显示解码后的所有的视图的情况以外，还包括以下的情况等，例如，在从十个以上的视图中选择两个视图来显示时，选择出的视图参考其它的视图，因此需要四个以上的视图的解码的情况等。 

图9示出对四个视图进行解码时的基本流缓冲器的占有量的变化。由于从第一视图View1到第三视图View3为止的代码量小，因此，正在进行各个视图的解码中，在时刻Tfull1、时刻Tfull2、时刻Tfull3中分别发生缓冲器的上溢。而且，不能输入比特流。 

在对各个视图的解码分别需要帧周期Δt的1/4的时间的情况下，因从第一到第三视图的解码而不能输入到缓冲器的数据大小的最大值，成为(3/4)×Rin。该值相当于DATA_IN。 

而且，同样，在视图的数量为n、以及对各个视图中包含的各个帧的解码需要的时间的最大值为Tmax的情况下，根据公式2得到相当于DATA_IN的值。 

DATA_IN＝Rin×Tmax×(n-1)      (公式2)

而且，将相当于View2_MAX的值，作为从View2到View4为止的三个视图的数据大小上限值的和。最后，也可以比较包含EB_SIZE的三种值，决定COMP_BUF_SIZE。或者，也可以单纯地选择三个参数值中的任一 个，从而作为补偿缓冲器的大小。通过将如此决定的补偿缓冲器与STD缓冲器相加，从而能够解决问题。 

然而，在本方法中存在，随着解码的视图的数量增加，补偿缓冲器的大小而增加的可能性。于是，例如，也可以将补偿缓冲器的大小限制为视图的数据大小的上限值的二倍等，从而在编码时，3D图像编码装置满足限制值。 

而且，也可以通过提高最大流入率，从而使补偿缓冲器不需要。在第二视图的解码期间内，追加地读入将COMP_BUF_SIZE的数据追加地读入到基本流缓冲器即可。例如，在第二视图的解码期间内，在数据读入速率为Rin+COMP_BUF_SIZE/(Δt/2)的情况下，读入数据。或者，也可以，通过简化，从而以Rin的2倍的速率而被读入。 

图10是示出对与图42相同的比特流进行解码时的工作例的图。图表内的实线示出本方法的工作，虚线示出以往的播放装置的工作。在帧1的第二视图的解码期间内，以比Rin高的速度读入数据，因此，在DTS3，帧3的第一视图的数据已齐全。也可以是，如图10的工作，在第一视图的解码期间内，仅在基本流缓冲器发生了上溢的情况下，在第二视图的解码期间内，高速读入数据。 

图11是示出实施例1中的3D图像解码装置的具有特征性的结构要素的图。实施例1中的3D图像解码装置包括由STD缓冲器902等安装的缓冲存储器900、以及由解码器112e等安装的解码处理部100。 

缓冲存储器900，保持输入到解码处理部100的比特流。而且，解码处理部100，对第一视图的比特流以及第二视图的比特流进行解码。在此，解码处理部100，对第一视图的帧进行解码后，参考解码后的帧，对第二视图的帧进行解码。据此，对利用视图间预测编码后的多个视图进行解码。 

进而，通过使缓冲存储器900的大小变大，或者，通过使缓冲存储器900高速读入数据，从而对利用视图间预测编码后的多个视图更准确地进行解码。 

图12是本发明的实施例1涉及的3D图像解码装置的变形例的方框图，也是示出图1所示的3D图像解码装置001的变形例的图。 

除了图1所示的3D图像解码装置001的结构以外，还在第一视图的 解码图像的路径上设置延迟缓冲器904。据此，能够调整第一视图的显示定时。 

图13是示出图12所示的3D图像解码装置001中的各个视图的实际的解码时刻以及显示时刻的例子的图。进行调整，从而与图2所示的解码时刻以及显示时刻相比，在相同的时刻显示第一视图和第二视图。图12所示的3D图像解码装置001，由延迟缓冲器904，在相同的时刻能够显示第一视图和第二视图。 

如上所述，实施例1中的3D图像解码装置001，即使在解码不瞬间地完成的情况下，也能够对利用视图间预测编码后的多个视图进行解码。并且，根据适当的缓冲存储器的大小、或高速读入，对利用视图间预测编码后的多个视图更准确地进行解码。 

(实施例2) 

其次，说明实施例2。实施例2中的3D图像解码装置包括两个解码器。而且，各个解码器，分别以与显示帧率相同的速度进行解码。 

图14是本发明的实施例2涉及的3D图像解码装置的方框图。图14所示的3D图像解码装置001包括与图7所示的STD缓冲器902相同的STD缓冲器902。而且，STD缓冲器902，不经由图7所示的开关914，而与两个解码器连接。第一解码器107a对第一视图进行解码，第二解码器112a对第二视图进行解码。 

第一解码器107a，将解码后的帧复制到外部存储器109的第一帧存储器110a，将示出帧的位置的第一帧存储器管理信息108a复制到外部存储器109的第一帧存储器管理信息108b。 

第二解码器112a，将外部存储器109的第一帧存储器管理信息108b，复制到第二解码器112a的第一帧存储器管理信息108c。而且，第二解码器112a，通过参考第一帧存储器管理信息108c，从而参考第一视图的帧，对第二视图进行解码。并且，第二解码器112a，为了利用于画面间预测，将解码后的帧复制到外部存储器109的第二帧存储器111，保持示出帧的位置的第二帧存储器管理信息113。 

作为解码后的帧的第一视图的解码图像114以及第二视图的解码图像115，经由视频输出接口116，被显示在3D显示器117。在此，第一视图 的路程上配置延迟缓冲器904。据此，调整第一视图的显示定时。 

图15是示出图14所示的3D图像解码装置001中的各个视图的实际的解码时刻以及显示时刻的例子的图。 

图14所示的3D图像解码装置001，由于包括两个解码器，因此能够对两个视图并行进行解码。因此，不需要交替进行解码。另一方面，在图14所示的3D图像解码装置001中，发生与帧周期Δt相同的时间的解码延迟。而且，由于第二视图的帧参考第一视图的帧，因此，在第一视图的帧被解码后，第二视图的帧被解码。其结果为，第二视图的帧，延迟帧周期Δt的时间后，与第一视图的帧同时被解码。 

图16是示出图14所示的3D图像解码装置001中的各个视图的实际的解码时刻以及显示时刻的例子的图，也是示出与图15所示的例子不同的例子的图。 

图16所示的解码时刻以及显示时刻被调整，与图15所示的解码时刻以及显示时刻相比，在相同的时刻显示第一视图和第二视图。如此，图14所示的3D图像解码装置001，由延迟缓冲器904，也可以在相同的时刻显示第一视图和第二视图。 

而且，实施例2中的3D图像解码装置001包括两个解码器，但也可以包括三个以上的解码器。并且，在此情况下，在3D图像解码装置001中，在对利用视图间预测编码后的多个视图进行解码时，发生被参考的视图的阶层的延迟。 

图17是示出五个视图的视图间预测的参考关系的例子的图。阶层2的视图参考阶层1的视图，阶层3的视图参考阶层2。在此情况下，即使赋予了相同的DTS的帧，也发生两个帧的解码延迟。也就是说，发生与比多个视图中包含的视图的数量少且被参考的视图的阶层的数量相对应的延迟期间。 

因此，在最大流入率为Rin、对各个帧的解码需要的时间的最大值为Tmax、以及由视图间预测参考的视图的阶层的最大值为m的情况下，根据公式3得到相当于作为延迟期间中读入的数据量的DATA_IN的值。 

DATA_IN＝Rin×Tmax×(m-1)    (公式3)

也可以将如此决定的补偿缓冲器与STD缓冲器相加。 

如上所述，实施例2中的3D图像解码装置001，即使在包括多个解码器的情况下，也通过共享用于视图间预测的参考图像，从而能够对利用视图间预测编码后的多个视图进行解码。 

(实施例3) 

其次，说明实施例3。实施例2中的3D图像编码装置进行编码，从而即使在3D图像解码装置发生解码延迟的情况下，也能够进行解码。 

图18是本发明的实施例3涉及的3D图像编码装置的方框图。第一视图的图像601以及第二视图的图像611，经由开关701，输入到编码处理部200的编码器607b。在此，也可以是，第二视图的图像611，经由帧缓冲器621输入。据此，编码处理部200，能够使第二视图的图像611的编码开始，延迟到第一视图的图像601的编码完成为止。 

编码器607b，对第一视图以及第二视图进行编码。并且，编码器607b，将画面间预测所使用的第一视图以及第二视图的帧局部性地进行解码，并分别复制到外部记存储器604的第一帧存储器605b以及第二帧存储器606。并且，保持示出帧的位置的第一帧存储器管理信息603d以及第二帧存储器管理信息608。而且，编码器607b，利用第一帧存储器管理信息603d，参考第一帧存储器605b，从而对第二视图进行编码。 

速率控制部201，使编码器607b进行编码，从而3D图像解码装置以规定的比率读入编码后的比特流。例如，调整压缩率、帧率以及像素数等。据此，能够抑制3D图像解码装置的上溢的发生。 

而且，编码后的第一视图以及第二视图，经由系统编码器610输出，以作为多路复用比特流101。 

图19是示出本发明的实施例3涉及的3D图像编码装置的效果的图。 

图18所示的3D图像编码装置，估计3D图像解码装置包括图19所示的估计大小的基本流缓冲器，从而进行编码。也就是说，3D图像编码装置，将从3D图像解码装置实际上包括的基本流缓冲器的大小减去在发生解码延迟的期间读入的比特流的大小而得到的结果作为限制值，从而进行编码。据此，在发生解码延迟的期间，也准确地读入比特流。 

而且，对于在发生解码延迟的期间读入比特流的大小，与实施例1所示的DATA_IN相同，例如，根据实施例1中的公式2得到。也可以将进 行编码时的限制值，作为从估计解码瞬间地完成而决定的规定大小减去在发生解码延迟的期间读入比特流的大小而得到的值。 

图20是本发明的实施例3涉及的3D图像编码装置的方框图。图20所示的3D图像编码装置包括第一编码器602a以及第二编码器607a这两个编码器。并且，3D图像编码装置包括连接于第一编码器602a以及第二编码器607a的速率控制部202。 

与图14所示的两个解码器相同，两个编码器共享帧。也就是说，第一编码器602a对第一视图的帧进行编码后，局部性地进行解码，从而将第一视图的帧容纳到第一帧存储器605a。而且，将示出帧的位置的第一帧存储器管理信息603a复制到第一帧存储器管理信息603b。第二编码器607a，将第一帧存储器管理信息603b复制到第一帧存储器管理信息603c。而且，通过参考第一帧存储器管理信息603c，从而参考第一视图的帧，利用视图间预测，对第二视图进行编码。 

与图18中的速率控制部201相同，速率控制部202进行编码的控制。也就是说，速率控制部202，使第一编码器602a以及第二编码器607a进行编码，从而3D图像解码装置以规定的比率读入编码后的比特流。而且，由两个编码器编码后的比特流，经由开关609输出。 

根据所述结构，即使包括两个编码器的3D图像编码装置，也能够限制3D图像解码装置所读入的比特流的大小。进而，通过共享利用视图间预测的图像，从而能够高效率地进行编码。 

而且，也可以设想，与图18所示的3D图像编码装置相同，第二视图的图像611，经由帧缓冲器621输入。据此，编码处理部200，能够使第二视图的图像611的编码开始，延迟到第一视图的图像601的编码完成为止。 

进而，也可以设想，由第一编码器602a编码后的第一视图的比特流103，经由流缓冲器622输出。据此，第一视图的比特流103，以第二视图的相同的时刻的帧的编码完成的定时而被重叠。因此，相同的时刻的帧以相同的定时而被重叠。 

如上所述，实施例3中的3D图像编码装置，利用视图间预测对多个视图进行编码，从而图像解码装置不发生下溢。并且，即使在包括多个编码 器的情况下，也通过共享用于视图间预测的参考图像，从而能够利用视图间预测对多个视图进行编码。 

(实施例4) 

其次，参照附图说明本发明涉及的利用图像编码方法以及图像解码方法的实施例4。实施例4的前提是，对于DTS以及PTS的值，针对各个视图能够设定不同的值。而且，对于DTS以及PTS，即使在根据标准分别设定为相同的值的情况下，也可以利用实施例4所示的DTS以及PTS，以作为实际上解码并显示的时刻。 

图21是实施例4的3D图像解码装置的方框图。图21的3D图像解码装置包括第一解码器107a以及第二解码器112a这两个解码器，该两个解码器具有以与3D影像的帧率相同的速度来对3D影像的一侧视图的影像进行解码的能力。而且，第一解码器107a对第一视图进行解码，第二解码器112a对第二视图进行解码。由于参考第一视图对第二视图进行了编码，因此，第二解码器112a被构成为，能够参考第一视图的解码图像。 

说明图21的3D图像解码装置的工作。输入后的多路复用比特流101，在开关102，被分离为第一视图的比特流103和第二视图的比特流104。而且，分离后的各个比特流，分别输入到第一输入缓冲器105或第二输入缓冲器106。进而，输入后的各个比特流，根据DTS，输入到第一解码器107a或第二解码器112a。 

第一解码器107a以及第二解码器112a，分别对输入后的第一视图的比特流103和第二视图的比特流104进行解码。而且，各个解码器，根据PTS，输出第一视图的解码图像114或第二视图的解码图像115。各个解码图像，经由视频输出接口116，被显示在3D显示器117上，以作为3D图像。 

第一解码器107a以及第二解码器112a，在解码处理中，将在画面间预测编码中参考的解码后的帧，复制到外部存储器109上的第一帧存储器110a或第二帧存储器111。而且，复制后的帧，直到不被参考为止，被保持在第一帧存储器110a以及第二帧存储器111。 

在各个帧存储器保持多个帧，因此，第一解码器107a以及第二解码器112a的每一个，通过保持第一帧存储器管理信息108a以及第二帧存储器 管理信息113，从而管理哪个时刻的帧被保持在第一帧存储器110a或第二帧存储器111上的哪个位置。 

在此，对于第二视图的编码，使用视图间预测编码，该视图间预测编码利用第一视图的帧进行预测。因此，第二解码器112a需要，对第二视图的解码，参考第一视图的解码图像。于是，第一解码器107a，每当帧的解码结束时，将第一帧存储器管理信息108a复制到外部存储器109上，以作为第一帧存储器管理信息108b。而且，第二解码器112a，在帧的解码开始之前，将第一帧存储器管理信息108b复制到内部，保持为第一帧存储器管理信息108c。 

第二解码器112a，根据第一帧存储器管理信息108c，参考保持在第一帧存储器110a的第一视图的所希望的帧的解码图像。而且，第二解码器112a，对以包含视图间预测编码的编码方式编码后的第二视图的比特流104进行解码。 

而且，对于第一视图的比特流103，不参考其它的视图，而能够单独地进行解码。因此，实施例4中的3D图像解码装置，不使第二解码器112a工作，而仅使第一解码器107a，从而也可以作为2D图像解码装置来使用。 

并且，在第二解码器112a的第二视图的解码处理中，检测出比特流Syntax异常等某种异常的情况下，3D图像解码装置也可以，向上级系统通知第二解码器112a的异常。而且，3D图像解码装置也可以，在达到比特流的随机存取点(跳入播放可能点)等，从而能够重新开始正常解码为止的期间，仅显示第一视图的解码图像。并且，也可以显示第一视图的解码图像，以作为第二视图的解码图像。根据所述的显示等，能够减轻视听人的不快感。 

并且，在第一解码器107a的第一视图的解码处理中，检测出比特流Syntax异常等某种异常的情况下，也不能对参考第一视图的第二视图正常地进行解码。因此，3D图像解码装置也可以，向上级系统通知第一解码器107a的异常。而且，3D图像解码装置也可以，在达到比特流的随机存取点(跳入播放可能点)等，从而能够重新开始正常解码为止的期间，继续输出最后第一视图以及第二视图都正常地被解码的帧。根据所述的显示等，能够减轻视听人的不快感。 

图22是示出图21的3D图像解码装置的解码处理中的各个视图的PTS以及DTS的关系的一个例子的图。在图22的例子中，各个视图的帧，以显示顺序被编码为I、B、B以及P型(P型仅进行单方向的预测。B型包含双方向的预测)，以编码顺序被编码为I、P、B以及B型。在视图间预测中，由第二视图参考第一视图时，仅参考紧前被显示的第一视图的帧。并且，第一视图以及第二视图交替被显示。 

在本例子中，首先，第一视图的开头帧I1被解码。而且，第二视图的开头帧P1，参考第一视图的开头帧I1。因此，直到第一视图的开头帧I1的解码完成为止，不能开始第二视图的开头帧P1的解码。 

在图21的3D图像解码装置中，利用与显示帧率相同速度的第一解码器107a。因此，对第一视图的开头帧I1的解码需要帧周期Δt(＝1/帧率)。据此，第二视图的开头帧P1的DTS为，第一视图的开头帧11的DTS的Δt后。第一视图的帧P4，将第一视图的帧I1使用于预测。因此，第一视图的帧I1的解码完成后，能够开始解码。 

在图21的3D图像解码装置中，由不同的解码器对第一视图和第二视图进行解码。因此，能够同时解码第一视图的帧P4和第二视图的帧P1。据此，第一视图的帧P4的DTS，与第二视图的帧P1的DTS相同。以后，按照第一视图和第二视图的帧B2和P4、B3和B2、P7和B3、以及B5和P7的顺序，以Δt间隔，同时开始两个视图的帧的解码。 

其次，说明PTS。针对显示顺序，解码顺序最晚的是，第二视图的B帧。因此，以能够显示第二视图的B帧的时刻为基准，决定第一视图以及第二视图的帧的PTS。具体而言，由于对一个帧的解码需要Δt，因此，第二视图的帧B2的PTS为DTS的Δt后。以该时刻为基准，第一视图的开头帧I1的PTS为DTS的5Δt/2后，第二视图的开头帧P1的PTS为DTS的2Δt后。 

图23是制作图21的3D图像解码装置能够解码的比特流的3D图像编码装置的一个例子。图23的3D图像编码装置包括第一编码器602a以及第二编码器607a这两个编码器，该两个编码器具有以与3D影像的帧率相同的速度来对3D影像的一侧视图的影像进行编码的能力。第一编码器602a对第一视图进行编码，第二编码器607a对第二视图进行编码。由于 参考第一视图对第二视图进行编码，因此，第二编码器607a被构成为，能够参考第一视图的局部解码图像。 

用于参考局部解码图像的结构，与图21所示的3D图像解码装置相同。也就是说，第二编码器607a，根据第一帧存储器管理信息603c，参考保持在第一帧存储器605a的第一视图的所希望的帧的局部解码图像。而且，第二编码器607a，以包含视图间预测编码的编码方式，对第二视图的图像611进行编码。 

图24是示出，在图23的3D图像编码装置的系统编码器610中，按照图22示出的编码顺序，将DTS以及PTS交替地赋予给第一视图的帧和第二视图的帧的顺序的流程图。在图23的3D图像编码装置中，通过根据图24的流程图赋予DTS以及PTS，从而能够赋予图22示出的DTS以及PTS。据此，能够制作在图21的3D图像解码装置中能够不间断地播放3D影像的比特流。能够将制作后的比特流记录在光盘或硬盘来搬运。进而，能够通过无线LAN以及光纤维等的通信手段，传输到远处。 

图25是示出图21的3D图像解码装置的解码处理中的各个视图的PTS以及DTS的关系的一个例子的图。除了同时显示第一视图和第二视图之处以外，与图22相同。 

图26是示出，在图23的3D图像编码装置的系统编码器610中，按照图25示出的编码顺序，将DTS以及PTS交替地赋予给向第一视图的帧和第二视图的帧的顺序的流程图。在图23的3D图像编码装置中，通过根据图26的流程图赋予DTS以及PTS，从而能够赋予图25示出的DTS以及PTS。据此，能够制作在图21的3D图像解码装置中能够不间断地播放3D影像的比特流。 

图27是示出图21的3D图像解码装置的第一变形例的图。对第二视图进行解码的第二解码器112b被构成为，能够直接参考对第一视图进行解码的第一解码器107b的第一帧存储器管理信息108b。根据该结构，不需要确保在外部存储器109上以及第二解码器112b内保持第一视图的帧存储器管理信息的区域，从而能够减少电路面积。 

图27是示出图21的3D图像解码装置的第二变形例的图。对第二视图进行解码的第二解码器112c被构成为，通过仿真对第一视图进行解码的 第一解码器107c的第一帧存储器管理信息108a的管理顺序，从而保持与第一帧存储器管理信息108a一致的第一帧存储器管理信息108e。在第二解码器112c中也可以，在制作多路复用比特流101时，将对管理顺序的仿真需要的第一视图的头信息(帧的编码型以及时间信息等)，嵌入到第二视图的比特流内。或者，也可以是，通过从图28的3D图像解码装置的上级系统向第二解码器112c通知等的方法，头信息被通知到第二解码器112c。 

如上所述，实施例4中的3D图像编码装置，即使在包括多个编码器的情况下，也通过共享用于视图间预测的参考图像，从而能够利用视图间预测对多个视图进行编码。并且，实施例4中的3D图像解码装置，即使在包括多个解码器的情况下，也通过共享用于视图间预测的参考图像，从而能够对利用视图间预测编码后的多个视图进行解码。 

(实施例5) 

参照附图说明本发明涉及的利用图像编码方法以及图像解码方法的实施例5。实施例5的前提是，对于DTS以及PTS的值，针对各个视图能够设定不同的值。而且，对于DTS以及PTS，即使在根据标准分别设定为相同的值的情况下，也可以利用实施例5所示的DTS以及PTS，以作为实际上解码并显示的时刻。 

图29是示出实施例5的3D图像解码装置的方框图。图29的3D图像解码装置包括解码器112d，该解码器112d具有以3D影像的帧率的2倍的速度来对3D影像的一侧视图的影像进行解码的能力。解码器112d对第一视图以及第二视图这两个视图进行解码。由于参考第一视图对第二视图进行了编码，因此，图29的3D图像解码装置被构成为，正在对第二视图进行解码中能够参考第一视图的解码图像。 

说明图29的3D图像解码装置的工作。输入后的多路复用比特流101，输入到输入缓冲器901，根据DTS输入到解码器112d。解码器112d，对输入后的多路复用比特流101进行解码，根据PTS输出解码图像。开关903，将输出后的比特流，分离为第一视图的解码图像114以及第二视图的解码图像115。各个解码图像，经由视频输出接口116，被显示在3D显示器117，以作为3D图像。 

解码器112d，在解码处理中，将在画面间预测编码中参考的解码后的 帧，复制到外部存储器109上的第一帧存储器110b以及第二帧存储器111。而且，复制后的帧，直到不被参考为止，被保持在第一帧存储器110b以及第二帧存储器111。在各个帧存储器保持多个帧，因此，解码器112d，保持第一帧存储器管理信息108f以及第二帧存储器管理信息113，管理哪个时刻的帧被保持在第一帧存储器110b以及第二帧存储器111上的哪个位置。 

在此，对于第二视图的编码，使用视图间预测编码，该视图间预测编码利用第一视图的帧进行预测。因此，解码器112d需要，对第二视图的解码，参考第一视图的解码图像。于是，解码器112d，每当第一视图的帧的解码结束时，更新第一帧存储器管理信息108f。而且，正在进行第二视图的解码中，也保持第一帧存储器管理信息108f。解码器112d，根据第一帧存储器管理信息108f，参考保持在第一帧存储器110b的第一视图的所希望的帧的解码图像。而且，解码器112d，对以包含视图间预测编码的编码方式编码后的第二视图的比特流进行解码。 

而且，对于第一视图的比特流，不参考其它的视图，而能够单独地进行解码。因此，解码器112d跳读第二视图的比特流，从而能够将3D图像解码装置作为2D图像解码装置使用。 

并且，在解码器112d的第二视图的解码处理中，检测出比特流Syntax异常等某种异常的情况下，在达到比特流的随机存取点(跳入播放可能点)等，从而能够重新开始正常解码为止的期间，3D图像解码装置也可以仅显示第一视图的解码图像。也可以显示第一视图的解码图像，以作为第二视图的解码图像。根据所述的显示等，能够减轻视听人的不快感。 

并且，在解码器112d的第一视图的解码处理中，检测出比特流Syntax异常等某种异常的情况下，也不能对参考第一视图的第二视图正常地进行解码。因此，3D图像解码装置也可以，向上级系统通知解码器112d的异常，在达到比特流的随机存取点(跳入播放可能点)等，从而能够重新开始正常解码为止的期间，继续输出最后第一视图以及第二视图都正常地被解码的帧。根据所述的输出等，能够减轻视听人的不快感。 

图30是示出图29的3D图像解码装置的解码处理中的各个视图的PTS以及DTS的关系的一个例子的图。在图30的例子中，各个视图的帧， 以显示顺序被编码为I、B、B以及P型(P型仅进行单方向的预测。B型包含双方向的预测)，以编码顺序被编码为I、P、B以及B型。在视图间预测中，由第二视图参考第一视图时，仅参考紧前被显示的第一视图的帧。并且，第一视图以及第二视图交替被显示。 

在本例子中，首先，第一视图的开头帧I1被解码。而且，第二视图的开头帧P1，参考第一视图的开头帧I1。因此，直到第一视图的开头帧I1的解码完成为止，不能开始第二视图的开头帧P1的解码。图29的3D图像解码装置，利用显示帧率的倍速度的解码器112d，因此，对第一视图的开头帧I1的解码需要帧周期Δt/2(Δt＝1/帧率)。 

因此，第二视图的开头帧P1的DTS为，第一视图的开头帧I1的DTS的Δt/2后。由于第一视图的帧P4将第一视图的帧I1使用于预测，因此，本来，在第一视图的帧I1的解码完成后，能够开始解码。但是，在图29的3D图像解码装置中，由一个解码器进行第一视图和第二视图的解码，因此，不能与第二视图的帧P1同时进行解码。于是，第一视图的帧P4的DTS为，在第二视图的帧P1的DTS的Δt/2后。以后，以Δt/2间隔来交替地开始第一视图和第二视图的帧的解码。 

其次，说明PTS。针对显示顺序，解码顺序最晚的是，第二视图的B帧。因此，以能够显示第二视图的B帧的时刻为基准，决定第一视图以及第二视图的帧的PTS。具体而言，由于对一个帧的解码需要Δt/2，因此，第二视图的帧B2的PTS为DTS的Δt/2后。以该时刻为基准，第一视图的开头帧I1的PTS为DTS的3Δt/2后，第二视图的开头帧P1的PTS为DTS的2Δt后。 

图31是制作图29的3D图像解码装置能够解码的比特流的3D图像编码装置的一个例子。图31的3D图像编码装置包括编码器607b，该编码器607b具有以3D影像的帧率的倍速度来对3D影像的一侧视图的影像进行编码的能力。编码器607b对第一视图以及第二视图进行编码。由于参考第一视图对第二视图进行了编码，因此，编码器607b被构成为，正在对第二视图进行编码中能够参考第一视图的局部解码图像。 

图32是示出，在图31的3D图像编码装置的系统编码器610中，按照图30示出的编码顺序，将DTS以及PTS交替地赋予给第一视图的帧和 第二视图的帧的顺序的流程图。在图31的3D图像编码装置中，通过根据图32的流程图赋予DTS以及PTS，从而能够赋予图30示出的DTS以及PTS。据此，能够制作在图29的3D图像解码装置中能够不间断地播放3D影像的比特流。能够将制作后的比特流记录在光盘或硬盘来搬运。进而，能够通过无线LAN以及光纤维等的通信手段，传输到远处。 

图33是示出图29的3D图像解码装置的解码处理中的各个视图的PTS以及DTS的关系的一个例子的图。除了同时显示第一视图和第二视图之处以外，与图30相同。 

图34是示出，在图31的3D图像编码装置的系统编码器610中，按照图33示出的编码顺序，将DTS以及PTS交替地赋予给第一视图的帧和第二视图的帧的顺序的流程图。在图31的3D图像编码装置中，通过根据图34的流程图赋予DTS以及PTS，从而能够赋予图33示出的DTS以及PTS。据此，能够制作在图29的3D图像解码装置中能够不间断地播放3D影像的比特流。 

如上所述，实施例5的3D图像编码装置，能够利用视图间预测对多个视图进行编码。并且，实施例5的3D图像解码装置，能够对利用视图间预测编码后的多个视图进行解码。 

(实施例6) 

如图22以及图30所示，可见，根据3D图像解码装置的结构(具有等速性能的双解码器、或具有倍速性能的单解码器)，DTS和PTS的赋予方法不同。于是，在实施例6中说明，按照制作比特流时估计了的3D图像解码装置的结构、与实际的3D图像解码装置的结构的组合，对解码处理进行切换的方法。 

图35是示出，在实际的3D图像解码装置是具有等速性能的双解码器的情况下，按照制作比特流时3D图像编码装置所估计的3D图像解码装置的结构，3D图像解码装置对处理进行切换的顺序的流程图。图36示出，根据图35所示的顺序对处理进行切换的3D图像解码装置的例子。 

在实际的结构与估计的结构不同的情况下，图36所示的3D图像解码装置，通过延迟缓冲器1601，使第二视图的比特流延迟Δt/2，通过延迟缓冲器1602以及延迟缓冲器1603，分别使第一视图以及第二视图的显示 延迟Δt。据此，能够不间断地播放3D影像。 

图37是示出，在实际的3D图像解码装置是具有倍速性能的单解码器的情况下，按照制作比特流时3D图像编码装置所估计的3D图像解码装置的结构，3D图像解码装置对处理进行切换的顺序的流程图。图38示出，根据图37所示的顺序对处理进行切换的3D图像解码装置的例子。 

在实际的结构与估计的结构不同的情况下，图38所示的3D图像解码装置，由开关1701，将多路复用比特流101分离为第一视图和第二视图的比特流。而且，通过延迟缓冲器1702，使第一视图的比特流延迟Δt，通过延迟缓冲器1704，使第二视图的比特流延迟Δt/2。然后，第一视图以及第二视图的比特流，分别输入到第一输入缓冲器1703以及第二输入缓冲器1705，经由开关，输入到解码处理部100。以后的处理，与图29所示的3D图像解码装置相同。 

因此，能够不间断地播放3D影像。 

如上所述，实施例6的3D图像解码装置，在对利用视图间预测编码后的多个视图进行解码时，通过使用缓冲器，从而调整解码时刻以及显示时刻。 

(其它的变形例) 

而且，根据所述的实施例说明了本发明，但是，当然，本发明不仅限于所述的实施例。本发明也包含以下的情况。 

(1)具体而言，所述的各个装置是，由微处理器、ROM(Read OnlyMemory：只读存储器)、RAM(Random Access Memory：随机存取存储器)、硬盘单元、显示器单元、键盘以及鼠标等构成的计算机系统。所述RAM或硬盘单元存储有计算机程序。所述微处理器根据所述计算机程序来工作，从而实现各个装置的功能。在此，计算机程序是，为了实现规定的功能，组合示出对计算机的指令的多个指令码而构成的。 

(2)构成所述的各个装置的构成要素的一部分或全部也可以，由一个系统LSI(Large Scale Integration：大规模集成电路)构成。系统LSI是，将多个构成部集成在一个芯片上而制造的超多功能LSI，具体而言，由微处理器、ROM、RAM等构成的计算机系统。所述RAM存储有计算机程序。所述微处理器根据所述计算机程序来工作，从而实现系统LSI的功能。 

(3)构成所述的各个装置的构成要素的一部分或全部也可以，由与各个装置可装卸的IC(Integrated Circuit：集成电路)卡或单体的模块构成。所述IC卡或所述模块是，由微处理器、ROM、RAM等构成的计算机系统。所述IC卡或所述模块也可以包括所述的超多功能LSI。微处理器根据计算机程序来工作，从而实现所述IC卡或所述模块的功能。该IC卡或该模块也可以具有防窜改性。 

(4)本发明也可以是所述的方法。并且，也可以是由计算机实现这些方法的计算机程序，还可以是由所述计算机程序构成的数字信号。 

并且，本发明也可以，将所述计算机程序或所述数字信号记录到计算机可读的记录介质，例如，记录到软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray Disc)、半导体存储器等。并且，也可以是这些记录介质所记录的所述数字信号。 

并且，本发明也可以，将所述计算机程序或所述数字信号，经由电信电路、无线或有线通信电路、以互联网为代表的网络、或数据广播等传输。 

并且，本发明也可以，包括微处理器和存储器的计算机系统，所述存储器存储所述计算机程序，所述微处理器根据所述计算机程序工作。 

并且，也可以是，将所述程序或所述数字信号记录到所述记录介质来传送，或者，将所述程序或所述数字信号经由所述网络传送，从而由独立的其它的计算机系统实施。 

(5)也可以是所述实施例、所述变形例、以及它们所示的构成要素的各个组合。 

而且，也可以从多个视图中选择的第一视图不是基础视图。即使在第一视图不是基础视图的情况下，也由本发明能够得到相同的效果。 

并且，以3D图像解码装置以及3D图像编码装置中的例子为中心进行了说明，但是，本发明不仅限于3D图像解码装置以及3D图像编码装置，也可以适用于利用视图间预测的图像解码装置以及图像编码装置。 

根据本发明的图像解码装置以及图像编码装置，通过利用MVC等的利用视图间的预测的高性能的图像编码方式，能够将要求性能的增加抑制到最小限度，来对3D影像进行编码并解码。据此，能够向市场提供更高品位的3D影像的影片标题等的动画内容，从而能够使电影市场或民用设备市场 活性化。因此，本发明涉及的图像解码装置以及图像编码装置，对电影产业或民用设备产业的利用可能性高。 

符号说明 

0013D图像解码装置 

100解码处理部 

101多路复用比特流 

101b，101e数据包 

102，609，701，903，913，914，1701开关 

103，104比特流 

105，1703第一输入缓冲器 

106，1705第二输入缓冲器 

107a，107b，107c第一解码器 

108a，108b，108c，108d，108e，108f，108g，603a，603b，603c，603d第一帧存储器管理信息 

109，604外部存储器 

110a，110b，110c，605a，605b第一帧存储器 

111，121，606第二帧存储器 

112a，112b，112c第二解码器 

112d，112e解码器 

113，120，608第二帧存储器管理信息 

114，115解码图像 

116视频输出接口 

1173D显示器 

200编码处理部 

201，202速率控制部 

601，611图像 

602a第一编码器 

607a第二编码器 

607b编码器 

610系统编码器 

621帧缓冲器 

622流缓冲器 

900缓冲存储器 

901输入缓冲器 

902STD缓冲器 

902a，9021a，9022a传输缓冲器(TB) 

902b，9021b，9022b多路复用缓冲器(MB) 

902c，9021c，9022c基本流缓冲器(EB) 

902d，9022d补偿缓冲器 

904，1601，1602，1603，1702，1704延迟缓冲器 

1801光盘 

1802A，1802B，1802C，1803A，1803B，1803C流 

18042D播放装置 

18053D播放装置 

1806立体眼镜 

Claims (13)

1.一种图像解码装置，对以包含视图间预测的方法编码后的具有多个视图的比特流进行解码，该多个视图的各个视图中包含图片，

所述图像解码装置，包括∶

解码处理部，对编码后的第一视图的比特流、以及参考所述第一视图而编码后的第二视图的比特流进行解码；以及

缓冲存储器，被配置在所述解码处理部的前级，以保持将要输入到所述解码处理部的比特流；

所述解码处理部，在赋予给所述第一视图以及所述第二视图的解码时刻相同、并且在所述编码后的第一视图的比特流以及所述编码后的第二视图的比特流各自中或者在这些比特流的复用数据的头信息中包含有相同的解码时刻的情况下，在将赋予给所述第二视图的解码时刻与延迟时间相加而得到的时刻，对所述第二视图的图片进行解码，所述延迟时间是直到所述第一视图的图片的解码完成为止所需要的时间。

2.如权利要求1所述的图像解码装置，

根据赋予给所述比特流的数据读入速率，所述比特流被读入到所述缓冲存储器，

所述解码处理部，在对所述多个视图中包含的各个视图的比特流进行解码时，从所述缓冲存储器提取将要解码的所述各个视图的比特流，

在加上所述延迟时间而得到的时刻，所述解码处理部提取所述第二视图的比特流的情况下，所述缓冲存储器的大小为在所述解码处理部提取所述各个视图的比特流时所述缓冲存储器不发生下溢的最小的大小以上。

3.如权利要求2所述的图像解码装置，

所述缓冲存储器的大小为，将规定大小与在所述延迟时间中根据所述数据读入速率将要被读入的比特流的大小相加而得到的大小以上，所述规定大小是以在赋予给所述各个视图的解码时刻所述各个视图的比特流被提取为前提来决定的大小。

4.如权利要求3所述的图像解码装置，

所述解码处理部，依次对所述多个视图的比特流进行解码，

在将所述多个视图中包含的视图的数量设为n、将所述多个视图中包含的各个图片的解码所需要的时间的最大值设为T、将所述数据读入速率设为R、以及将所述规定大小设为D的情况下，所述缓冲存储器的大小为D＋R×T×(n－1)以上的大小。

5.如权利要求3所述的图像解码装置，

所述解码处理部，对所述多个视图的比特流并行进行解码，

在将由视图间预测参考的视图的阶层的最大值设为m、将所述多个视图中包含的各个图片的解码所需要的时间的最大值设为T、将所述数据读入速率设为R、以及将所述规定大小设为D的情况下，所述缓冲存储器的大小为D＋R×T×(m－1)以上的大小。

6.如权利要求2所述的图像解码装置，

所述解码处理部，还包括∶

外部存储器，用于存储所述多个视图中包含的图片；

第一解码器，对所述第一视图的比特流进行解码，使所述外部存储器存储在视图间预测所使用的图片；以及

第二解码器，参考示出保持有所述图片的所述外部存储器内的位置的管理信息，从所述外部存储器获得在视图间预测所使用的图片，从而对所述第二视图的比特流进行解码。

7.如权利要求1所述的图像解码装置，

在存在因所述延迟时间而未被读入的比特流的情况下，以比赋予给所述比特流的数据读入速率高的速度，所述比特流被读入到所述缓冲存储器。

8.如权利要求7所述的图像解码装置，

所述解码处理部，还包括∶

外部存储器，用于存储所述多个视图中包含的图片；

第一解码器，对所述第一视图的比特流进行解码，使所述外部存储器存储在视图间预测所使用的图片；以及

第二解码器，参考示出保持有所述图片的所述外部存储器内的位置的管理信息，从所述外部存储器获得在视图间预测所使用的图片，从而对所述第二视图的比特流进行解码。

9.一种图像编码装置，以包含视图间预测的方法，对各个视图中包含图片的多个视图进行编码，所述图像编码装置，包括∶

编码处理部，对所述多个视图进行编码，将相同的解码时刻赋予给所述多个视图，输出在编码后的所述多个视图的多个比特流各自中或者在所述多个比特流的复用数据的头信息中包含所述相同的解码时刻的所述多个比特流；以及

速率控制部，在读入编码后的所述多个视图的图像解码装置的缓冲存储器的大小为，从规定大小减去在延迟时间中将要被读入的编码后的所述多个视图的数据大小而得到的大小以下的前提下，使编码处理部进行编码，所述规定大小是估计在所述解码时刻解码瞬间地完成而决定的大小，所述延迟时间是直到由视图间预测参考的视图的解码完成为止所需要的时间。

10.如权利要求9所述的图像编码装置，

所述速率控制部，在将编码后的所述多个视图的数量设为n、将所述多个视图中包含的各个图片的解码所需要的时间的最大值设为T、将读入编码后的所述多个视图时的数据读入速率设为R、以及将所述规定大小设为D的情况下，所述图像解码装置的缓冲存储器的大小为D－R×T×(n－1)以下的大小的前提下，使编码处理部进行编码。

11.如权利要求9所述的图像编码装置，

所述编码处理部，还包括∶

外部存储器，用于存储所述多个视图中包含的图片；

第一编码器，对所述多个视图中包含的第一视图进行编码，使外部存储器存储在视图间预测所使用的图片；以及

第二编码器，参考示出保持有所述图片的所述外部存储器内的位置的管理信息，从所述外部存储器获得在视图间预测所使用的所述第一视图的图片，从而利用视图间预测对所述多个视图中包含的第二视图进行编码。

12.一种图像解码方法，对以包含视图间预测的方法编码后的具有多个视图的比特流进行解码，该多个视图的各个视图中包含图片，

所述图像解码方法，包括∶

解码处理步骤，对编码后的第一视图的比特流、以及参考所述第一视图而编码后的第二视图的比特流进行解码；以及

数据保持步骤，在所述解码处理步骤之前，保持将要输入到解码处理步骤的比特流；

在所述解码处理步骤，在赋予给所述第一视图以及所述第二视图的解码时刻相同、且在所述编码后的第一视图的比特流以及所述编码后的第二视图的比特流各自中或者在这些比特流的复用数据的头信息中包含有相同的解码时刻的情况下，在将赋予给所述第二视图的解码时刻与延迟时间相加而得到的时刻，对所述第二视图的图片进行解码，所述延迟时间是直到所述第一视图的图片的解码完成为止所需要的时间。

13.一种图像编码方法，以包含视图间预测的方法，对各个视图中包含图片的多个视图进行编码，所述图像编码方法，包括∶

编码处理步骤，对所述多个视图进行编码，将相同的解码时刻赋予给所述多个视图，输出在编码后的所述多个视图的多个比特流各自中或者在所述多个比特流的复用数据的头信息中包含所述相同的解码时刻的所述多个比特流；以及

速率控制步骤，在读入编码后的所述多个视图的图像解码装置的缓冲存储器的大小为，从规定大小减去在延迟时间中将要被读入的编码后的所述多个视图的数据大小而得到的大小以下的前提下，使编码处理步骤进行编码，所述规定大小是估计在所述解码时刻解码瞬间地完成而决定的大小，所述延迟时间是直到由视图间预测参考的视图的解码完成为止所需要的时间。

Images