CN103262551B - 影像处理装置、发送装置、影像处理系统、影像处理方法、发送方法及集成电路 - Google Patents

Abstract

提供一种影像处理装置，迅速地确定字幕等的显示数据的流的分发形态，通过与所确定的分发形态对应的处理方法生成显示数据。影像处理装置接收传输流，该传输流包含与3D影像一起显示的显示数据的数据流、并且包含附加信息，该附加信息表示是否存在针对显示数据将左眼用显示数据和右眼用显示数据分别单独地流化而得到的左眼用的数据流及右眼用的数据流双方；基于上述附加信息，判别在上述传输流中是否存在左眼用的数据流及右眼用的数据流双方；在判别为存在的情况下，从左眼用的数据流生成左眼用显示数据、从右眼用的数据流生成右眼用显示数据，在判别为不存在的情况下，从上述数据流生成左眼用显示数据及右眼用显示数据。

Description

影像处理装置、发送装置、影像处理系统、影像处理方法、发送方法及集成电路

技术领域

本发明涉及对传输流的数据进行处理的技术，特别涉及对于应与3D影像一起显示的显示数据的处理技术。

背景技术

在现行的2D广播(不进行立体视的广播)中，将字幕以与影像不同的ES(ElementaryStream：基本流)送出，由此能够在接收装置侧进行应显示的字幕的语言的选择、以及字幕的显示及非显示的切换，在显示字幕时，与从2D广播送出的2D影像一起显示所选择的语言的字幕。

在视听者能够作为立体的影像观看的3D影像中，也与2D影像的情况同样，进行语言的选择、以及字幕的显示及非显示的切换，在指定了字幕的显示的情况下，需要与3D影像一起显示所选择的语言的字幕。

现有技术文献

专利文献

专利文献1：特开2010－268432号公报

专利文献2：特开2010－263616号公报

发明概要

发明要解决的问题

但是，在3D广播中也要与2D广播同样进行语言的选择、以及字幕的显示及非显示的切换的情况下，需要将应3D显示的字幕通过与3D影像不同的ES送出。

为了对字幕实现3D显示，有将平面的字幕用1个ES分发、在接收侧根据平面的字幕生成左眼用的字幕、右眼用的字幕的方法、以及将左眼用的字幕和右眼用的字幕分别用不同的ES分发、在接收侧根据各个ES生成左眼用的字幕和右眼用的字幕的方法等。

在3D广播的分发侧，按照分发的3D节目，考虑应针对该3D节目分发的数据量等，决定在分发字幕的情况下是将平面的字幕用1个ES分发、还是将平面的字幕和左眼用的字幕及右眼用的字幕分别分发的分发形态。因此，在作为接收侧的对影像进行处理的装置(影像处理装置)中，虽然通过字幕的ES的解码能够确定字幕的ES的分发形态，但如果通过解码确定分发形态、然后进行对应于分发形态的字幕显示，则由于在分发形态的确定之前不显示解码的字幕，所以发生字幕显示的延迟。这样的延迟在基于广播的3D影像的分发中是问题。

发明内容

所以，本发明鉴于上述问题，目的是提供一种能够迅速地确定字幕等的显示数据的流的分发形态、通过与所确定的分发形态对应的处理方法生成显示数据的影像处理装置、发送装置、影像处理系统、影像处理方法、发送方法、计算机程序及集成电路。

用于解决问题的手段

为了达到上述目的，本发明是一种影像处理装置，接收3D影像的影像流并再现，其特征在于，具备：接收单元，接收传输流，该传输流包含与3D影像一起显示的显示数据的数据流，并且包含附加信息，该附加信息表示是否存在针对显示数据将左眼用显示数据和右眼用显示数据分别单独地流化而得到的左眼用的数据流及右眼用的数据流双方；判别单元，基于上述附加信息，判别上述传输流中是否存在左眼用的数据流及右眼用的数据流双方；以及显示数据生成单元，在判别为存在左眼用的数据流及右眼用的数据流双方的情况下，从左眼用的数据流生成左眼用显示数据，从右眼用的数据流生成右眼用显示数据，在判别为不存在左眼用的数据流及右眼用的数据流双方的情况下，从上述数据流生成左眼用显示数据及右眼用显示数据。

发明效果

根据上述结构，影像处理装置由于使用包含在传输流中的附加信息判断是否存在左眼用的数据流及右眼用的数据流，所以能够迅速地确定显示数据的流的分发形态，迅速地进行与所确定的分发形态对应的显示数据的3D显示。

附图说明

图1是表示1plane+offset的机制的一例的图。

图2是表示2plane+offset的机制的一例的图。

图3是表示影像处理系统100的结构的图。

图4是表示影像分发装置200的结构的图。

图5是表示ES属性信息一览T100的数据构造的一例的图。

图6是表示PMT的数据构造的一例的图。

图7是表示3D字幕对描述符D200的一例的图。

图8是示意地表示记载有3D字幕对描述符D200的情况下的PMT的一部分的图。

图9是示意地表示TS(传输流)400的构造的图。

图10是表示影像处理装置300的结构的图。

图11是表示有关影像分发装置200的分发的处理的流程图。

图12是表示解码器分配部351的动作的流程图。

图13是为了实现字幕显示而分发的图像的形象图。

图14是表示进行了与影像处理装置的处理能力对应的分发的情况下的解码器分配部351的动作的流程图。

图15是表示影像处理系统100a的结构的图。

图16是表示影像分发装置200a的结构的图。

图17是表示3D字幕描述符D500的一例的图。

图18是示意地表示记载有3D字幕描述符D500的情况下的PMT的一部分的图。

图19是表示影像处理装置300a的结构的图。

图20是表示解码器分配部351a的动作的流程图，后接图21。

图21是表示解码器分配部351a的动作的流程图，上接图20。

图22是表示实现影像分发装置200的功能的LSI的结构的图。

图23是表示实现影像处理装置300的功能的LSI的结构的图。

具体实施方式

1.本发明的基础知识

在专利文献1中，公开了如下技术：在盘上分别准备左眼用的字幕数据和右眼用的字幕数据，在将影像再现的装置侧从盘分别读出这些字幕数据，生成左眼用的字幕和右眼用的字幕并输出。

在专利文献2中，公开了如下技术：对于影像分别准备左眼用影像的流和右眼用影像的流，在将影像再现的装置侧分别由这些流生成左眼用影像和右眼用影像。此时，字幕由1个流(ES)准备，根据该字幕的ES生成左眼用影像和右眼用影像。

专利文献1、2都以对记录在盘上的影像及字幕进行再现为前提。因此，即使平面的字幕和左眼用的字幕及右眼用的字幕对应于作为再现对象的影像而分别被流化并记录，在再现的装置侧将这些流的内容解析、决定作为显示字幕时的处理使用哪种方法也没有任何问题。这是因为，由于在盘上已经记录有1个节目，所以即使将字幕的流解析、然后开始再现，也不会发生显示延迟。

但是，在通过广播分发的节目中，由于接收节目的影像及字幕并且进行显示，所以对于影像等要求迅速的解析。

所以，本发明者们着眼于在将字幕等的显示数据的流进行处理之前参照的附加信息，想到了通过该附加信息迅速地确定字幕的ES的分发形态、用与所确定的分发形态对应的处理方法生成字幕的影像处理装置。

作为本发明的一技术方案的接收3D影像的影像流并再现的影像处理装置，其特征在于，具备：接收单元，接收传输流，该传输流包含与3D影像一起显示的显示数据的数据流，并且包含附加信息，该附加信息表示是否存在针对显示数据将左眼用显示数据和右眼用显示数据分别单独地流化而得到的左眼用的数据流及右眼用的数据流双方；判别单元，基于上述附加信息，判别上述传输流中是否存在左眼用的数据流及右眼用的数据流双方；以及显示数据生成单元，在判别为存在左眼用的数据流及右眼用的数据流双方的情况下，从左眼用的数据流生成左眼用显示数据，从右眼用的数据流生成右眼用显示数据，在判别为不存在左眼用的数据流及右眼用的数据流双方的情况下，从上述数据流生成左眼用显示数据及右眼用显示数据。

2.第1实施方式

以下，参照附图对本实施方式详细地说明。

2.1关于字幕文的立体视

首先，在说明本实施方式的基础上对作为基础技术的字幕文的3D显示的方法进行说明。

作为用于将字幕进行3D显示的方法，有两个再现模式。1个是1plane+offset(偏移)的再现模式，另一个是2plane+offset的再现模式。

图1是表示1plane+offset的机制的一例的图。在该模式中，一般将字幕用1个ES(ElementaryStream：基本流)分发，数字电视机等的影像处理装置将字幕数据解码，制作字幕平面的图像G10。并且，生成将制作出的字幕平面的图像G10向右移位了偏移值后的图像(左眼字幕图像)G11，与左眼影像叠加。此外，接着生成将制作出的字幕平面的图像G10向左移位了偏移值后的图像(右眼字幕图像)G12，与右眼影像叠加。通过将叠加字幕图像的左眼影像、右眼影像依次显示，字幕图像看起来比显示画面靠近前，能够进行3D显示。这里，偏移值是用于对3D影像适当地叠加字幕的值，用像素数表示。由于需要使其与影像同步，所以包含在3D影像的ES中而发送。例如，偏移值在3D影像数据被以MPEG(MovingPictureExpertsGroup)形式编码的情况下作为GOP(GroupofPictures)或各图像帧的userdata而被植入。

另外，在偏移值是负的情况下，通过以将字幕平面的图像向左移位后的图像为左眼字幕图像、以向右移位后的图像为右眼字幕图像，字幕图像看起来比显示画面靠里侧。

这样，通过设定移位的偏移值，能够设定字幕平面G13的进深。

在基于1plane+offset的再现模式中，由于字幕平面存储器为1个就可以，所以用于制作3D字幕的影像处理装置的负担较少，但不过是平面的图像出到近前、或拉入到里侧的显示，字幕或叠印字符的文本文件或位图等的对象自身不会看起来为立体。

图2是表示2plane+offset的机制的一例的图。在该模式中，虽然也能够将左眼用的字幕数据和右眼用的字幕数据用1个ES分发，但一般将左眼用的字幕数据和右眼用的字幕数据作为不同的ES用两个ES分发。在接收侧，将左眼用的字幕数据用左眼用的字幕解码器解码而制作左字幕平面的图像G20，将右眼用的字幕数据用右眼用的字幕解码器解码而制作右字幕平面的图像G21。并且，生成将制作出的左字幕平面的图像G20向右移位了偏移值的图像(左眼字幕图像)G22，与左眼影像叠加。此外，接着制作将制作出的右字幕平面的图像G21向左移位偏移值后的图像(右眼字幕图像)G23，与右眼影像叠加。通过将叠加了字幕图像的左眼影像、右眼影像依次显示，字幕图像看起来比显示画面靠近前，能够进行3D显示。

另外，在偏移值是负的情况下，以将左字幕平面的图像向左移位后的图像为左眼字幕图像，以将右字幕平面的图像向右移位后的图像为右眼字幕图像，字幕图像看起来比显示画面靠里侧。

这样，通过设定移位的偏移值，能够设定字幕平面G24的进深。

在基于2plane+offset的再现模式中，通过在左眼用字幕图像和右眼用字幕图像中使用不同的字幕平面的图像，字幕或叠印字符的文本文件及位图等的对象自身看起来是立体的，但字幕解码器及字幕平面存储器各需要两个，影像处理装置的处理负担较大。

以上是用于将3D字幕立体视的两个模式的概要。

2.2影像处理系统100

这里，对本实施方式的影像处理系统100的概要进行说明。

影像处理系统100如图3所示，由影像分发装置200及影像处理装置300、301、302构成。

影像分发装置200是将节目的影像、声音及对于该节目的字幕编码、将节目的影像、声音及对于该节目的字幕作为1个传输流进行数字广播而分发的装置。分发业者可以利用影像分发装置200分发节目的影像、声音及对于该节目的字幕。

影像处理装置300、301、302是接收从影像分发装置200分发的传输流、根据接收到的传输流生成节目的影像、声音及字幕并显示的装置。

影像分发装置200为了对应于3D非对应的2D影像处理装置、仅与用1个ES分发字幕的方法对应的3D影像处理装置、与通过1个ES的分发及通过两个ES的字幕的分发对应的3D影像处理装置等各种各样的处理能力的装置，对于1个节目生成2D用的字幕组、将3D用的字幕用1个ES分发的字幕组、用3D用的2个ES分发的字幕组等的字幕组中的两个以上的字幕组并分发。生成的字幕组是虽然看起来为平面、看起来为立体等用户感受到的视觉效果不同、但用于传达同样的内容的字幕数据。这里，所谓1ES，是将平面的字幕的影像流化的，在将字幕进行2D显示、以及进行使用1plane+offset的3D显示的情况下使用。即，通过1ES，能够实现2D用的字幕组及基于1plane+offset的3D显示用的字幕组的双方。所谓2ES，是由左眼用字幕的ES和右眼用字幕的ES构成的，在进行使用2plane+offset的3D显示的情况下使用。此外，以下有时将字幕组简单表述为字幕。

影像处理装置300、301、302仅显示多个字幕组中的、与自身的处理能力对应的1个字幕组。

另外，影像处理装置300是与通过1ES及2ES的字幕的分发对应的装置，影像处理装置301是仅对应于通过1ES分发字幕的方法的装置，影像处理装置302是3D非对应的装置(即显示2D影像的装置)。

此外，在本实施方式中，利用由MPEG2－TS(TransportStream)规格规定的SI/PSI(ServiceInformation/ProgramSpecificInformation)信息。

所谓SI，是将关于节目的信息以影像处理装置能够解释的形式编码的各种表的总称。它由ARIB(TheAssociationofRadioIndustriesandBusinesses)规定，例如在其中包含NIT(NetworkInformationTable)、EIT(EventInformationTable)的表。

所谓PSI，是将记载了TS所包含的各ES属于哪个节目的信息以影像处理装置能够解释的形式编码的各种表的总称。由ISO/IEC13818－1(InternationalOrganizationforStandardization/InternationalElectrotechnicalCommission13818－1)及ARIB制定的规格规定，例如在其中包含PAT(ProgramAssociationTable)或PMT(ProgramMapTable：节目映射表)的表。

2.3影像分发装置200

影像分发装置200如图4所示，由ES属性信息存储部201、节目排列信息生成部202、AV编码器203、字幕编码部204、声音编码部205、复用部206及分发部207构成。

(1)ES属性信息存储部201

ES属性信息存储部201存储用于由后述的节目排列信息生成部202生成SI/PSI信息的ES属性信息。

具体而言，ES属性信息存储部201存储有图5所示的ES属性信息一览T100。

ES属性信息一览T100具有用于存储多个由ES名、stream_type(流种类)、view(视)、PID及component_tag(组件标签)构成的组的区域。由ES名、stream_type、view、PID及component_tag构成的组为1个ES属性信息。

在“ES名”栏中保存为了识别各ES而赋予的名称。另外，由于只要能够识别各ES就可以，所以也可以不是名称、而赋予号码等来识别。

在“stream_type(流种类)”栏中，保存识别该ES的流的种类(影像、字幕、声音等)的信息。例如，在数字广播中，由ARIB的运用规定设定了影像的流为“0x10”、字幕的流为“0x06”。所以，对于左眼用影像及右眼用影像各自的流保存“0x10”、对于左眼用字幕及右眼用字幕各自的流保存“0x06”。

在“view(视)”栏中，保存用于表示该ES是左眼用还是右眼用的识别信息。另外，这里为了便于说明，关于左眼用的影像及字幕，记载“左”而作为识别信息，关于右眼用的影像及字幕记载“右”而作为识别信息。此外，关于用2D用的ES或1ES分发字幕的ES，由于没有左眼用、右眼用的区别，所以在识别信息中，保存对应的ES不进行左眼及右眼的区别之意的信息。这里，为了便于说明而记载“－”。

在“PID”栏中，保存分配给对应的ES、且应对该ES的TS(TransportStream)包赋予的PID的值。

在“component_tag(组件标签)”栏中，保存应对该ES赋予的component_tag的值。

例如，图5所示的ES属性信息T101由于“ES名”是左眼影像，“stream_type”是0x10，“view”是“左”，“PID”是“0x0110”，所以可知PID是“0x0110”的ES是左眼影像的流。

此外，图5所示的ES属性信息T102由于“ES名”是1ES字幕，“stream_type”是“0x06”，“view”是“－”，“PID”是“0x0112”，所以可知PID是“0x0112”的ES是将2D用的字幕或3D用的字幕影像用1个ES分发的流。

进而，ES属性信息T103由于“ES名”是左眼用字幕，“stream_type”是0x06，“view”是“左”，“PID”是“0x0113”，所以可知PID是“0x0113”的ES是左眼用字幕的流。

另外，虽然在图5中没有图示，但在ES属性信息一览T100中，还保存有关于声音的ES的ES属性信息。此外，ES属性信息存储部201为了制作其他SI/PSI信息而还保存有关于节目的信息等各种各样的信息。

(2)节目排列信息生成部202

节目排列信息生成部202基于由ES属性信息存储部201保存的信息制作SI/PSI信息，将所生成的SI/PSI信息向复用部206输出。

这里，作为生成为SI/PSI信息的各种表，例如是NIT、EIT、PAT及PMT等。

另外，根据构成1个节目的ES的结构，向SI/PSI信息的各种表插入的描述符及参数的值不同。因此，节目排列信息生成部202既可以在影像的分发前预先制作与所有的ES结构对应的多个SI/PSI信息，也可以在分发时考虑ES的结构而制作SI/PSI信息。

节目排列信息生成部202生成作为SI/PSI信息之一的PMT。

以下，对由节目排列信息生成部202生成的PMT进行说明。PMT保存有分发的节目的信息、节目的ES结构及关于各个ES的信息。

图6是表示PMT的数据构造的图。关于各个参数的意义，已在ISO/IEC13818－1(MPEG－2)中规定，所以将说明省略，仅对与本发明关联的部分进行说明。在PMT中，能够配置描述符的地方有两处。

第1个是称作第一循环D100的部分。在第一循环D100的“descriptor()”中能够进行描述符的配置。“descriptor()”部分被for语句包围，可知能够插入多个描述符。在这里配置关于节目整体的描述符。

第2个是在ES信息记载处D101中包含的称作第二循环D102的部分。ES信息记载处D101从第一循环D100的紧后开始for语句，该for语句重复包含在节目中的ES的数量。该for语句内的参数，例如stream_type及elementary_PID等是关于该ES的参数。第二循环D102包含在该ES信息记载处D101中。在第二循环D102的“descriptor()”中能够进行描述符的配置。“descriptor()”部分被for语句包围，可知能够插入多个描述符。在这里配置关于该ES的描述符。

ES信息记载处D101的elementary_PID是用于识别作为TS的一个个的包的传输包的信息。对于相同的影像ES、相同的字幕ES、相同的SI/PSI的表的传输包，分别赋予相同的elementary_PID。将elementary_PID也简称作PID。

例如，在由左眼用影像的ES、右眼用影像的ES、1ES字幕的ES、左眼用字幕的ES、右眼用字幕的ES的合计5个ES构成1个节目的情况下，在ES信息记载处D101中，记载ES信息的部分出现5次。并且，在基于ES属性信息在stream_type或elementary_PID等中作为参数而设定了关于左眼用字幕的ES的信息的情况下，在第二循环D102中配置关于左眼用字幕的ES的描述符。

图7是示意地表示通过将ISO/IEC13818－1(MPEG－2)及ARIB规格扩展、配置到PMT的第二循环D102中的3D字幕对描述符(stereoscopic_subtitle_pair_descriptor)D200的一例的图。3D字幕对描述符D200在由ES信息在stream_type及elementary_PID等中作为参数而设定了关于左眼用字幕的ES的信息的情况下及作为参数而设定了关于右眼用字幕的ES的信息的情况下配置。

3D字幕对描述符D200由“descriptor_tag”、“descriptor_length”、“subtitle_view，reserved”、“pair_PID”的参数构成。

“descriptor_tag”是用于由3D影像显示装置识别本描述符是3D字幕对描述符的信息，设定固定值。例如这里设定“0x80”。

“descriptor_length”是表示在该字段的紧后接下来的描述符的数据部分的全字节长的信息。本描述符是固定长度，由于后续的字节长度是2，所以设定固定值“2”。

“subtitle_view”是表示该ES是左右哪个字幕的ES的信息。如果是左眼用字幕的ES则设定“0”，如果是右眼用字幕的ES则设定“1”。

“reserved”是为了将来扩展等而在参数设定中不使用的区域。在这两位中全部设定“1”。

“pair_PID”是表示与该ES成对的字幕ES的PID的信息。如果该ES是左眼用字幕的ES则设定右眼用字幕的ES的PID，如果是右眼用字幕的ES则设定左眼用字幕的ES的PID的值。

图8是示意地表示由节目排列信息生成部202生成并向影像处理装置分发的PMT的一部分的图。在由图6的PMT的数据构造表示的ES信息记载处D101中实际记载有关于包含在节目中的全部的ES的ES的信息的是ES信息记载处D300。另外，如图6所示，本来在elementary_PID的前后有reserved区域及ES_info_length的记载，但在图8所记载的各ES信息D301、D304、D305、D306、D307中省略了这些记载。其中的记载有左眼用字幕的ES信息的是左眼用字幕的ES信息D301。其中，在图6所示的3D字幕对描述符D200中，实际记载有左眼用字幕ES的信息的是左眼用字幕ES的数据构造D302。此外，在以往的stream_identifier_descriptor中，实际记载有左眼用字幕ES的信息的是stream_identifier_descriptorD303。关于stream_identifier_descriptorD303的各参数的意义，由ISO/IEC13818－1及ARIB制定的规格规定，所以省略说明。

在左眼用字幕的ES信息D301中的stream_type中，代入了由图5的ES属性信息T103的“stream_type”表示的值“0x06”。在Elementary_PID中，代入了由图5的ES属性信息T103的“PID”表示的值“0x0113”。descriptor_tag代入了作为描述符的ID的“0x80”。在descriptor_length中，代入了作为后续的字节数的“0x2”。此外，在图5的ES属性信息T103的“view”中，由于设定了“左”，所以在subtitle_view中代入值“0x0”。在reserved中，代入作为固定值的“0x2”。在pair_PID中，由于该ES是左眼用字幕的ES，所以代入了作为右眼用字幕的ES的Elementary_PID的值的“0x0114”。右眼用字幕的ES的Elementary_PID的值能够从右眼用字幕的ES属性信息T104取得。关于stream_identifier_descriptor的内容是已有的，所以省略说明。

另外，在本实施方式中，3D字幕对描述符记载在针对字幕ES的ES信息中，但并不限定于此。3D字幕对描述符也可以记载在针对叠印字符用的文本字符串或位图的ES的ES信息中。这是因为，在ARIB规格中，设定为在字幕平面中能够显示字幕及叠印字符。因此，字幕和叠印字符能够以同样的方式实现立体视。所以，在将叠印字符进行3D显示时，通过分发基于2ES的叠印字符的ES、以及在针对叠印字符的ES信息中记载有与3D字幕对描述符同样的内容的描述符的PMT，在接收侧的装置能够对基于2ES的叠印字符进行基于2plane+offset方式的3D显示。

(3)AV编码器203

AV编码器203使用MPEG－2、MPEG－4等的方式，根据由视频摄像机等摄影的影像制作左眼用影像的ES和右眼用影像的ES，将所生成的左眼用影像的ES和右眼用影像的ES向复用部206输出。

另外，按照包含在各左眼影像的ES中的每个图片，赋予针对字幕的偏移值。

(4)字幕编码部204

字幕编码部204对字幕使用MPEG－1、MPEG－2等的方式编码，生成用1ES分发的字幕的ES、左眼用字幕的ES及右眼用字幕的ES等，将所生成的各字幕的ES向复用部206输出。

(5)声音编码部205

声音编码部205将声音数据以线性PCM等的方式压缩、编码，生成声音的ES，将所生成的声音的ES向复用部206输出。

(6)复用部206

复用部206对SI/PSI信息、左眼用影像的ES、右眼用影像的ES、用1ES分发的字幕的ES、左眼用字幕的ES、右眼用字幕的ES，根据需要而打包后，进行复用，生成MPEG2－TS形式的1个以上的TS(TransportStream)，将所生成的TS向分发部207输出。在TS的生成时，对各包赋予的PID遵循SI/PSI信息的记载。

(7)分发部207

分发部207经由广播波、CDN网或开放因特网对1个以上的影像显示装置分发由复用部206生成的1个以上的TS作为数字广播。

这里，图9是示意地表示由复用部206生成并由分发部207分发的TS400的构造的图。TS400由称作传输包的188字节的包连续而构成。在各传输包中包含有PID。PID是用于识别该传输包的信息，对于相同的影像ES、相同的字幕ES、相同的SI/PSI的表的传输包分别赋予相同的PID。因此，接收到TS400的装置能够将TS400分离为各ES、或将SI/PSI的表取出。可知在TS400中复用了PID的值为“0x000”、“0x101”、“0x110”、“0x111”、“0x112”、“0x113”、“0x114”的ES。

2.4影像处理装置300的结构

影像处理装置300是接收来自影像分发装置200的数字广播、与影像一起显示字幕并使用户立体视的数字电视机，如图10所示，由输入受理部311、分离处理部312、左视频解码器313、右视频解码器314、偏移取得部315、左眼影像输出部316、右眼影像输出部317、字幕生成部318、声音解码器319、叠加部320、321及显示处理部322构成。

此外，字幕生成部318如图10所示，具有主字幕解码器360、副字幕解码器361、左眼用字幕平面362、右眼用字幕平面363、左眼字幕输出部364及右眼字幕输出部365。

(1)输入受理部311

输入受理部311受理信道切换、2D/3D切换、字幕的ON/OFF切换等的用户输入，根据用户输入的内容，向分离处理部312指示应取得的包。

(2)分离处理部312

分离处理部312接收从影像分发装置200分发的传输流，分离为左眼用的影像包、右眼用的影像包、声音包、字幕包等、向对应的解码器输出。

分离处理部312如图10所示，具有分离部350及解码器分配部351。

(2－1)分离部350

分离部350接收从影像分发装置200分发的传输流(TS)400。

分离部350基于由输入受理部311受理的用户的指示，从接收到的TS400中仅取得用户选择的节目的SI/PSI的各种表、影像、声音、字幕的包。

分离部350为了使解码器分配部351确定各种包的输出目的地，将所取得的PAT、PMT等的SI/PSI信息向解码器分配部351输出。

分离部350根据来自解码器分配部351的指示，将各种包向适当的解码器输出。具体而言，分离部350在所取得的影像包是左眼用的影像的情况下向左视频解码器313输出，在是右眼用的影像的情况下向右视频解码器314输出。分离部350将所取得的声音包向声音解码器319输出。分离部350将所取得的字幕包根据解码器分配部351的指示，向主字幕解码器360及副字幕解码器361的某个输出。

(2－2)解码器分配部351

解码器分配部351将PAT、PMT等的SI/PSI信息解析并确定各种包的输出目的地。

关于影像包、声音包，由于是已有技术，所以详细的说明省略。

这里，对关于字幕包的输出目的地的确定进行说明。

解码器分配部351参照关于用户选择的节目的SI/PSI信息的各种表信息、例如PMT，确定多个字幕ES的包的输出目的地，即将多个字幕ES的包适当地向主字幕解码器和副字幕解码器分配。另外，判断为不需要分配的字幕ES不向主字幕解码器及副字幕解码器的任何一个分配，由此抑制由分离部350进行的向解码器的交接。例如，将用2ES分发的字幕的左眼用字幕的ES的包的输出目的地分配为主字幕解码器360，将右眼用字幕的ES的包的输出目的地分配为副字幕解码器361。

解码器分配部351向字幕生成部318通知字幕是用1ES分发的、还是用2ES分发的，作为SI/PSI信息的解析结果。

(3)左视频解码器313、右视频解码器314

左视频解码器313将左眼影像用的影像包解码，将作为解码结果的左眼用影像向左眼影像输出部316输出。

右视频解码器314将右眼影像用的包解码，将作为解码结果的右眼用影像向右眼影像输出部317输出。

另外，由于由视频解码器进行的包的解码的动作是已有技术，所以详细的说明省略。

(4)偏移取得部315

偏移取得部315从影像包中取得用于设定字幕的进深的偏移值，将所取得的偏移值向左眼字幕输出部364、右眼字幕输出部365输出。

(5)左眼影像输出部316、右眼影像输出部317

左眼影像输出部316将从左视频解码器313取得的左眼用影像(左视(view))以一定间隔向叠加部320输出。

右眼影像输出部317将从右视频解码器314取得的右眼用影像(右视(view))以一定间隔向叠加部321输出。

(6)字幕生成部318

字幕生成部318根据解码器分配部351的解析结果，从1ES进行3D显示用的字幕的生成，或从2ES进行3D显示用的字幕(左眼用字幕及右眼用字幕)的生成。以下，对作为字幕生成部318的构成要素的主字幕解码器360、副字幕解码器361、左眼用字幕平面362、右眼用字幕平面363、左眼字幕输出部364及右眼字幕输出部365进行说明。

(6－1)主字幕解码器360、副字幕解码器361

主字幕解码器360及副字幕解码器361将从分离部350接受到的字幕包解码，将作为解码结果的字幕向对应的平面写入。

具体而言，主字幕解码器360在从解码器分配部351接受到用2ES分发着字幕的通知的情况下，将用2ES分发的字幕的左眼用字幕的包解码，将作为解码结果的左眼用时字幕向左眼用字幕平面362保存。

此外，主字幕解码器360在从解码器分配部351接受到用1ES分发着字幕的通知的情况下，将用1ES分发的字幕的包解码，将作为解码结果的字幕的图像向左眼用字幕平面362及右眼用字幕平面363保存。

副字幕解码器361将用2ES分发的字幕的右眼用字幕包解码，将作为解码结果的右眼用字幕的图像向右眼用字幕平面363保存。

(6－2)左眼用字幕平面362、右眼用字幕平面363

左眼用字幕平面362是用于将由主字幕解码器360生成的一画面量的字幕文的影像的像素数据以线(line)单位保存、并沿着水平同步信号、垂直同步信号将这些像素数据输出的存储器。

右眼用字幕平面363是用于将由主字幕解码器360或副字幕解码器361生成的一画面量的字幕文的影像的像素数据以线单位保存、并沿着水平同步信号、垂直同步信号将这些像素数据输出的存储器。

(6－3)左眼字幕输出部364、右眼字幕输出部365

左眼字幕输出部364根据保存在左眼用字幕平面362中的字幕的图像生成左眼用字幕图像，以一定间隔向叠加部320输出。这里，所谓一定间隔，例如是左眼影像输出部316将左眼影像输出的定时。

右眼字幕输出部365在从解码器分配部351进行了用1ES分发着字幕的通知的情况下，根据保存在左眼用字幕平面362中的字幕的图像生成右眼用字幕图像，以一定间隔向叠加部321输出。在从解码器分配部351进行了用2ES分发着字幕的通知的情况下，根据保存在右眼用字幕平面363中的字幕的图像生成右眼用字幕图像，以一定间隔向叠加部321输出。这里，所谓一定间隔，例如是右眼影像输出部317将右眼影像输出的定时。

具体而言，左眼字幕输出部364对于左眼用字幕平面362，对水平坐标加上从偏移取得部315接受到的偏移值，来生成左眼用字幕图像。

此外，在用1ES分发着字幕的情况下，右眼字幕输出部365对于左眼用字幕平面362，从水平坐标减去从偏移取得部315接受到的偏移值，来生成右眼用字幕文的影像，在用2ES分发着字幕的情况下，对于右眼用字幕平面363，从水平坐标减去从偏移取得部315接受到的偏移值，来生成右眼用字幕图像。

(7)声音解码器319

声音解码器319将从分离部350接受到的声音的包解码，生成声音数据。并且，声音解码器319将所生成的声音数据作为声音输出。

(8)叠加部320、321

叠加部320对左眼影像叠加左眼用字幕的图像并输出。

叠加部321对右眼影像叠加右眼用字幕的图像并输出。

(9)显示处理部322

显示处理部322交替地重复如下动作，即：将由叠加部320生成的叠加了左眼用字幕的图像的左眼影像显示到显示器(未图示)上的动作、以及将由叠加部321生成的叠加了右眼用字幕的图像的右眼影像显示到该显示器上的动作。

2.5动作

(1)影像分发装置200的动作

这里，使用图11所示的流程图对影像分发装置200的动作进行说明。

节目排列信息生成部202基于由ES属性信息存储部201保存的信息，制作SI/PSI信息(步骤S5)。

AV编码器203将左眼影像及右眼影像分别编码，生成左眼影像的ES及右眼影像的ES(步骤S10)。

字幕编码部204针对字幕生成多个字幕ES，具体而言，生成用1ES分发的字幕的ES、左眼用字幕的ES及右眼用字幕的ES(步骤S15)。

声音编码部205将声音数据压缩、编码而生成声音ES(步骤S20)。

复用部206将SI/PSI信息、左眼影像的ES及右眼影像的ES、多个字幕的ES、以及声音的ES等复用，生成MPEG2－TS形式的传输流，经由分发部207向外部分发(步骤S25)。

(2)影像处理装置300的动作

这里，对于影像处理装置300的动作、特别是解码器分配部351的关于字幕ES的解码器分配的动作，使用图12所示的流程图进行说明。

解码器分配部351将关于用户选择的节目的SI/PSI信息所包含的PMT读入(步骤S100)。

解码器分配部351判断在所读入的PMT中是否存在字幕的ES信息(步骤S105)。具体而言，解码器分配部351根据stream_type或component_tag的值判断是否存在字幕的ES。例如，在数字广播中，由ARIB规格的“BS/宽带CS数字广播运用规定”设定为字幕及叠印字符的stream_type为“0x06”，字幕的component_tag为“0x30～0x37”，叠印字符的component_tag为“0x39～0x3F”。

在判断为存在ES信息的情况下(步骤S105中的“是”)，解码器分配部351判断在存在的ES信息中是否存在3D字幕对描述符(stereoscopic_subtitle_pair_descriptor)(步骤S110)。

在判断为存在3D字幕对描述符的情况下(步骤S110中的“是”)，解码器分配部351取得1个存在于ES信息中的3D字幕对描述符(步骤S115)。

解码器分配部351判断所取得的3D字幕对描述符是否是左眼用(步骤S120)。具体而言，解码器分配部351判断由所取得的3D字幕对描述符中包含的“subtitle_view”表示的值是否是“0x0”。

在判断为所取得的3D字幕对描述符是左眼用的情况下(步骤S120中的“是”)，解码器分配部351将主字幕解码器360分配为由ES信息中包含的“elementary_PID”表示的PID的字幕ES的包的输出目的地，将副字幕解码器361分配为由3D字幕对描述符中包含的“pair_PID”表示的PID的字幕ES的包的输出目的地(步骤S125)。

在判断为所取得的3D字幕对描述符不是左眼用、即是右眼用的情况下(步骤S120中的“否”)，解码器分配部351将副字幕解码器361分配为由3D字幕对描述符中包含的“pair_PID”表示的PID的字幕ES的包的输出目的地，将主字幕解码器360分配为由ES信息中包含的“elementary_PID”表示的PID的字幕ES的包的输出目的地(步骤S130)。

在判断为不存在3D字幕对描述符的情况下(步骤S110中的“否”)，解码器分配部351取得存在于ES信息中的字幕ES的包的ES信息(步骤S135)。解码器分配部351将主字幕解码器360分配为由所取得的ES信息中包含的“elementary_PID”表示的PID的字幕ES的包的输出目的地(步骤S140)。此时，副字幕解码器361不需要进行解码处理。

在判断为不存在ES信息的情况下(步骤S105中的“是”)，解码器分配部351结束该处理，即字幕ES的分配的处理。

由此，在进行基于2ES的字幕的分发、即将左眼用的字幕ES和右眼用字幕ES分别独立地分发的情况下，解码器分配部351将左眼用字幕ES分配给主字幕解码器360，将右眼用字幕ES分配给副字幕解码器361，所以影像处理装置300在进行基于2ES的字幕的分发的情况下，能够用基于2plane+offset的字幕图像、即高品质的图像显示字幕。

2.6具体例

这里，对于字幕显示使用具体例补充说明。

图13是为了实现字幕显示而分发的图像的形象图。图13(a)所示的字幕的图像G100是平面的图像，作为1ES用的字幕数据分发。

图13(b)所示的字幕的图像G101是从左侧观察物体时的图像，作为左眼用的字幕数据分发。此外，由图13(b)所示的字幕的图像G102是从右侧观察相同的物体时的图像，作为右眼用的字幕数据分发。

这里，说明将图像G100作为1ES的字幕、将图像G101和图像G102作为2ES的字幕分别从影像分发装置200分发、由影像处理装置300进行字幕显示为止的动作。

字幕编码部204从图像G100生成1个ES，从图像G101生成左眼用字幕的ES，从图像G102生成右眼用字幕的ES。关于字幕的数据构造是已经存在的，所以省略说明。

AV编码器203生成左眼用影像的ES和右眼用影像的ES。此外，由声音编码部205生成声音的ES。

节目排列信息生成部202生成SI/PSI信息。这里，在制作的PMT中，在图6所示的ES信息记载处D101的部分中，左眼用字幕ES的ES信息记载在ES信息D301中，右眼用字幕ES的ES信息记载在ES信息D304中，左眼用影像ES的ES信息记载在ES信息D305中，右眼用影像ES的ES信息记载在ES信息D306中，1ES的ES信息记载在ES信息D307中。

并且，通过复用部206，将SI/PSI信息、左眼用影像ES、右眼用影像ES、1ES3D字幕的ES、左眼用字幕的ES、右眼用字幕的ES复用，生成图9所示的TS400，由分发部207向影像处理装置300分发。

在影像处理装置300中，从输入受理部311受理用户的节目指定。并且，分离处理部312的解码器分配部351取得关于用户指定的节目的PMT，使用所取得的PMT，取得关于用户指定的节目的左眼用影像、右眼用影像及声音各自的PID。进而，解码器分配部351判断在TS400中是否分别独立地存在左眼用字幕ES及右眼用字幕ES。在此情况下，由于在S400中分别独立地存在左眼用字幕ES及右眼用字幕ES，所以解码器分配部351将左眼用字幕ES的包分配给主字幕解码器360、将右眼用字幕ES的包分配给副字幕解码器361。

分离部350从接收到的TS400中，将用户指定的节目的ES中的左眼用影像的ES的包向左视频解码器313输出、将右眼用影像的ES的包向右视频解码器314输出、将声音ES的包向声音解码器319输出。

进而，分离部350将所指定的节目的ES中的左眼用字幕的ES的包向主字幕解码器360输出、将右眼用字幕的ES的包向副字幕解码器361输出。

左视频解码器313将左眼用影像的ES的包解码，生成左眼用影像，向左眼影像输出部316输出。右视频解码器314将右眼用影像的ES的包解码，生成右眼用影像，向右眼影像输出部317输出。偏移取得部315从左眼用影像的ES的包取得偏移信息，向左眼字幕输出部364及右眼字幕输出部365输出。

声音解码器319将声音的ES的包解码而生成声音数据，作为声音输出。

主字幕解码器360将左眼用字幕的包(PID是“0x0113”的TS包)解码，生成左眼用字幕的图像G101，向左眼用字幕平面362保存。副字幕解码器361将右眼用字幕的包(PID是“0x0114”的TS包)解码，生成右眼用字幕的图像G102，向右眼用字幕平面363保存。

左眼字幕输出部364针对保存在左眼用字幕平面362中的左眼用字幕的图像G101，将对水平坐标加上从偏移取得部315取得的偏移值后的图像作为图2所示的左眼字幕图像G22以一定间隔输出。

右眼字幕输出部365针对保存在右眼用字幕平面363中的右眼用字幕的图像G102，从水平坐标减去从偏移取得部315取得的偏移值后的图像作为图2所示的左眼字幕图像G23以一定间隔输出。

在显示处理部322中，交替地重复将由叠加部320生成的叠加了左眼用字幕的图像的左眼影像进行图像输出的动作、以及将由叠加部321生成的叠加了右眼用字幕的图像的右眼影像进行输出的动作。由此，输出图2所示的字幕平面G24。

这样，定义3D字幕对描述符(stereoscopic_subtitle_pair_descriptor)的新描述符，作为用2ES分发字幕的字幕的ES信息配置到PMT中，从影像分发装置200分发，影像处理装置300通过解码器分配部351将PMT解析，将左眼用字幕的ES的包分配给主字幕解码器360，将右眼用字幕的ES的包分配给副字幕解码器361，由此能够与分发业者想要的影像(左眼用影像/右眼用影像)叠加显示。

2.7影像处理装置301及影像处理装置302

这里，对影像处理装置301及影像处理装置302的字幕的显示简单地说明。

影像处理装置301不能进行使用基于2ES的字幕组的字幕的3D显示。所以，使用基于1ES的字幕组进行基于1plane+offset方式的字幕的3D显示。

影像处理装置302不能进行字幕的3D显示本身。所以，使用基于1ES的字幕组，使字幕的2D显示、即通过解码得到的平面的字幕的图像本身与影像叠加显示。或者，也可以将用2ES分发的字幕的左眼用字幕及右眼用字幕中的某一个的字幕作为2D用的字幕显示。

进而，影像处理装置302由于影像的显示也仅是2D，所以例如在分发了左眼用影像和右眼用影像的情况下，也可以仅使用左眼用影像及右眼用影像中的某一个影像作为2D用的影像显示。

2.8变形例

在上述实施方式中，影像分发装置200构成为在传输流中总是包括1ES的字幕组及2ES的字幕组的双方，但并不限定于此。

影像分发装置200也可以根据作为分发目的地的影像显示装置的处理能力来变更分发的字幕组。

此时，在影像处理系统100中，影像处理装置300、301、302发送自身的处理能力。例如，影像处理装置300将能够进行基于2plane+offset的字幕显示之意与分发的请求一起发送，影像处理装置301将能够进行基于1plane+offset的字幕显示之意与分发的请求一起发送，影像处理装置302将能够进行基于2D显示的字幕显示之意与分发的请求一起发送。

在影像分发装置200中，将与分发的请求一起接受到的与分发目的地的影像处理装置的处理能力对应的字幕组与影像一起分发。此时，由于与作为接收侧的影像处理装置的处理能力对应的字幕组包含在传输流中，所以例如影像处理装置300的解码器分配部351以2ES的字幕组存在于传输流中为前提进行处理。

这里，使用图14所示的流程图，对本变形例的影像处理装置300的解码器分配部351的处理进行说明。

解码器分配部351将在关于用户选择的节目的SI/PSI信息中的PMT读入(步骤S200)。

解码器分配部351在变量“N”中代入0(步骤S205)。

接着，解码器分配部351将变量“N”的值增加1(步骤S210)。

解码器分配部351判断在ES信息记载处D101中是否存在第N个ES信息(步骤S215)。

在判断为存在第N个ES信息的情况下(步骤S215中的“是”)，解码器分配部351取得第N个ES信息(步骤S220)。

解码器分配部351判断在所取得的ES信息中是否存在3D字幕对描述符(stereoscopic_subtitle_pair_descriptor)(步骤S225)。

在判断为存在3D字幕对描述符的情况下(步骤S225中的“是”)，解码器分配部351取得存在于该ES信息中的3D字幕对描述符(步骤S230)。

解码器分配部351判断所取得的3D字幕对描述符是否是左眼用(步骤S235)。具体而言，解码器分配部351判断由所取得的3D字幕对描述符中包含的“subtitle_view”表示的值是否是“0x0”。

在判断为所取得的3D字幕对描述符是左眼用的情况下(步骤S235中的“是”)，解码器分配部351将主字幕解码器360分配为由包含在ES信息中的“elementary_PID”表示的PID的字幕ES的包的输出目的地，将副字幕解码器361分配由包含在3D字幕对描述符中的“pair_PID”表示的PID的字幕ES的包的输出目的地(步骤S240)。由此，仅将包的PID与Elementary_PID相同的包向主字幕解码器360输出，仅将包的PID与pair_PID相同的包向副字幕解码器361输出。

在判断为所取得的3D字幕对描述符不是左眼用、即是右眼用的情况下(步骤S235中的“否”)，解码器分配部351将副字幕解码器361分配为由包含在3D字幕对描述符中的“pair_PID”表示的PID的字幕ES的包的输出目的地，将主字幕解码器360分配为由包含在ES信息中的“elementary_PID”表示的PID的字幕ES的包的输出目的地(步骤S245)。

在判断为不存在3D字幕对描述符的情况下(步骤S225中的“否”)，处理向步骤S210返回。

在不存在第N个ES信息的情况下(步骤S215中的“否”)，处理结束。

另外，在本变形例中，以迅速地进行对于字幕对的解码器分配为目的，控制处理，以在将左眼用字幕的ES的ES信息及右眼用字幕的ES的ES信息的某个读入后不进行以后的读入。因此，为了确定影像及声音的PID而需要另外进行处理。所以，为了与对于字幕对的解码器分配并行地确定影像及声音的PID，也可以是，即使在将左眼用字幕的ES的ES信息及右眼用字幕的ES的ES信息的某个读入后，也如果影像及声音双方的PID没有被确定，则进行以后的ES信息的读入，直到这些PID被确定。

此外，在本变形例中，对于影像处理装置300，关于不存在左眼用字幕的ES的ES信息及右眼用字幕的ES的ES信息的情况下的处理没有言及，但在不存在这些ES信息且存在1ES的字幕组的情况下，使用该字幕组生成左眼用字幕及右眼用字幕。

另外，即使在存在1ES的字幕组的情况下，也可以以迅速地进行对于字幕对的解码器分配为目的而进行处理，以在将左眼用字幕的ES的ES信息及右眼用字幕的ES的ES信息的某个读入后不进行以后的读入。在此情况下，在将左眼用字幕的ES的ES信息及右眼用字幕的ES的ES信息的某个读入前将1ES的字幕的ES的ES信息读入的情况下，将Elementary_PID的值保持，以后在将左眼用字幕的ES的ES信息及右眼用字幕的ES的ES信息的某个读入的情况下，将1ES的字幕的Elementary_PID的值丢弃，根据左眼用字幕的ES的ES信息及右眼用字幕的ES的ES信息中的某一个ES信息进行主字幕解码器和副字幕解码器的分配，在PMT内的全部的ES信息的读入结束但也不存在左眼用字幕的ES的ES信息及右眼用字幕的ES的ES信息中的某一个ES信息的情况下，只要将由1ES的字幕的Elementary_PID表示的字幕ES分配给主字幕解码器就可以。

2.9其他变形例

此外，并不限定于上述实施方式等，例如可以考虑以下这样的变形例。

(1)在上述实施方式中，在通过2ES分发字幕的情况下，在3D字幕对描述符中记载“pair_PID”，确定与对应于它的PID成对的字幕的ES，但并不限定于此。

只要是能够确定成对的字幕ES的方法，是怎样的方法都可以。例如，也可以通过component_tag等的PID以外的参数确定成对的字幕ES。

或者也可以是，在分发侧和接收侧预先决定规则，以将对左眼用字幕的PID或component_tag加上固定值后的值或减去后的值作为右眼用字幕的PID或component_tag的值，由此在取得了一方的ES的PID或component_tag的时点能够确定成对的ES的PID或component_tag。

或者也可以是，在分发侧和接收侧预先决定规则而在PID或component_tag等的参数中设定仅对用2ES分发的字幕的左眼用字幕分配的值的范围及仅对右眼用字幕分配的值的范围，由此在取得了PID或component_tag等的参数的时点，能够确定是用2ES分发的字幕的左眼用字幕或右眼用字幕。在此情况下，只要在分发侧和接收侧预先决定规则以使得用2ES分发的字幕的左眼用字幕的component_tag为“0x31”、右眼用字幕的component_tag为“0x32”就可以。

此外，也可以是，不是由PID或component_tag等确定成对的字幕ES、而是指定叠加的影像的字幕，从而判断对主字幕解码器和副字幕解码器分配的字幕ES。在此情况下，在左眼用字幕的ES的ES信息中，指定用于确定对应的左眼用影像的PID或component_tag。

(2)在上述实施方式中，在PMT中配置3D字幕对描述符(stereoscopic_subtitle_pair_descriptor)，但并不限定于此。

3D字幕对描述符也可以配置在其他SI/PSI的表中。例如也可以配置在SI的EIT的循环中。或者也可以在SI和PSI双方中配置3D字幕对描述符。

EIT等的SI由于是在节目开始以前能够取得的信息，所以也可以在节目开始前通过解码器分配部351确定左眼用字幕ES的PID和右眼用字幕ES的PID。另外，SI是从节目开始以前分发的信息，在节目之前PID也有可能被变更，所以也可以在节目开始时将在SI与PSI中记载的3D字幕对描述符的内容比较，在记载内容不同的情况下以记载在PSI中的信息为优先。

(3)在上述实施方式中，通过3D字幕对描述符判别被分发了基于2ES的字幕组，但并不限定于此。

例如，也可以将SI/PSI的表的reserved区域或reserved_future_use区域等目前没有使用的区域扩展，将与记载在3D字幕对描述符中的信息同样的信息分割到这些扩展的区域中。

(4)在上述实施方式中，在左眼用字幕的ES信息及右眼用字幕的ES信息各自中配置3D字幕对描述符，在各3D字幕对描述符中记载view信息及pair_PID的信息，但并不限定于此。

也可以在某一方字幕ES的ES信息中配置3D字幕对描述符，或者作为双方的字幕ES的ES信息而仅记载view信息。

例如，在配置左眼用字幕的ES信息及右眼用字幕的ES信息中的一方的ES信息的3D字幕对描述符的情况下，在由ES信息记载处D101记述的左眼用字幕的ES信息及右眼用字幕的ES信息中的先记载的ES信息中记载3D字幕对描述符。由此，能够在将左眼用字幕的ES信息及右眼用字幕的ES信息中的一方的ES信息、即在ES信息记载处D101先记载的ES信息读入的时点确定左眼用字幕ES和右眼用字幕ES，能够缩短显示之前的时间。

(5)在上述实施方式中，在图12所示的步骤S115中，取得了具有3D字幕对描述符的1个ES信息，但在具有3D字幕对描述符的ES信息有多个的情况下，也可以取得多个ES信息。

另外，在此情况下，也可以将步骤S120、S125、S130的处理重复相当于ES信息的数量的量。

此外，在不存在3D字幕对且有多个字幕ES的ES信息的情况下，也可以取得多个ES信息。

另外，在此情况下，也可以将步骤S140的处理重复相当于ES的数量的量，将多个PID分配给主字幕解码器360。

(6)在上述实施方式中，影像处理装置301以用2ES分发的字幕组的显示为优先，以在有用2ES分发的字幕组的情况下显示用2ES分发的字幕组、在没有用2ES分发的字幕组的情况下显示用1ES分发的字幕组，但并不限定于此。

也可以以用1ES分发的字幕组的显示为优先。具体而言，解码器分配部351也可以如下这样动作：在有用1ES分发的字幕组的情况下将用1ES分发的字幕组显示在显示画面上，在没有用1ES分发的字幕组的情况下将用2ES分发的字幕组显示在显示画面上。

或者也可以是，用户预先或在节目视听时选择以用1ES分发的字幕组和用2ES分发的字幕组中的哪一方为优先，解码器分配部351动作为将用户选择的字幕组优先地显示。

或者也可以是，影像分发装置200将想要优先显示的字幕组是哪一方的信息保存在SI/PSI中并分发，由影像处理装置301参照该信息，决定优先显示的字幕组。

(7)也可以将上述实施方式及上述变形例分别组合。

2.10总结

如以上说明，分发业者为了对应于3D非对应的2D影像显示装置、仅与用1ES分发字幕的方法对应的3D影像显示装置、仅与1ES及2ES下的字幕的分发对应的3D影像显示装置等各种需求，针对1个节目，有可能制作2D用的字幕组、3D用的用1ES分发的字幕组、3D用的用2ES分发的字幕组等字幕组中的两个以上的字幕组。制作的字幕组虽然看起来为平面、或看起来为立体等用户感到的视觉效果不同，但都是用于传递同样的内容的字幕数据。因此，在影像处理装置中，只要仅将多个字幕组中的1个字幕组显示就可以。

所以，如本实施方式那样，将影像和多个字幕组分发、在影像处理装置侧选择最优的字幕组并显示，或者如上述变形例那样，在分发侧仅分发与影像处理装置的处理能力对应的影像和字幕组。

因此，例如在使用CDN网或因特网分发节目的情况下，通过在节目分发前3D影像分发装置取得3D影像显示装置的处理能力、3D影像显示装置将可显示的字幕组(2D字幕、用1ES分发的字幕、用2ES分发的字幕)返回，3D影像分发装置通过仅将最优的字幕组包含在节目中、将其以外不分发，能够实现分发的数据量及使用的网络带宽的削减。另外，也可以不是3D影像分发装置取得处理能力并判断最优的字符组，而是3D影像显示装置自身根据自身的处理能力、用户的嗜好及选择动作来请求最优的字幕组。

3.第2实施方式

在上述第1实施方式中，在使用图5所示的3D字幕对描述符(stereoscopic_subtitle_pair_descriptor)的情况下，能够根据该描述符的有无来判断字幕ES是否是用2ES分发的字幕组的ES。

但是，在用1ES分发的字幕组中，有2D用字幕、用1ES分发的3D字幕。进而，在用1ES分发的3D的字幕组有是用于以1plane+offset的再现模式显示的3D字幕的情况、和将左眼用字幕图像和右眼用字幕图像用1个ES分发并且以2plane+offset的再现模式再现的3D字幕的情况。

因此，虽然不对应于用2ES分发的字幕、但对应于用1ES分发、以1plane+offset的再现模式显示的3D字幕的影像处理装置为了显示适当的字幕ES，需要分别识别用1ES分发的字幕ES是2D用字幕还是3D用字幕、再现模式是1plane+offset还是2plane+offset、字幕组的ES结构是1ES还是2ES。

所以，在本实施方式中，对能够识别它们的影像处理系统100a进行说明。

影像处理系统100a如图15所示，由影像分发装置200a、影像处理装置300a、301a、302a构成。这里，影像处理装置300a是对应于用1ES及2ES的字幕的分发的装置，影像处理装置301a是仅对应于用1ES分发字幕的方法的装置，影像处理装置302a是3D非对应的装置(即显示2D影像的装置)。

各装置的概要与第1实施方式是同样的，所以这里的各装置的概要的说明省略。

以下，对于各装置的构成要素，以与第1实施方式不同的点为中心进行说明。

3.1影像分发装置200a

影像分发装置200a如图16所示，由ES属性信息存储部201、节目排列信息生成部202a、AV编码器203、字幕编码部204a、声音编码部205、复用部206及分发部207构成。

关于ES属性信息存储部201、AV编码器203、声音编码部205、复用部206及分发部207，由于在第1实施方式中说明了，所以这里的说明省略。

(1)节目排列信息生成部202a

节目排列信息生成部202a基于由ES属性信息存储部201保存的信息制作SI/PSI信息，将所生成的SI/PSI信息向复用部206输出。

这里，与第1实施方式的变更点是，记载在PMT中的信息不是3D字幕对描述符、而是3D字幕描述符(stereoscopic_subtitle_descriptor)D500。

以下，对3D字幕描述符D500进行说明。

图17是示意地表示通过将ISO/IEC13818－1(MPEG－2)及ARIB规格扩展得到的、配置在PMT的第二循环中的3D字幕描述符(stereoscopic_subtitle_descriptor)D500的一例的图。

3D字幕描述符D500在ES信息记载处D101配置在关于3D用的字幕组的字幕ES的ES信息中。

3D字幕描述符D500由descriptor_tag、descriptor_length、subtitle_mode、subtitle_component、subtitle_view、pair_PID、reserved这样的参数构成。

descriptor_tag是用于由能够进行3D显示的影像处理装置识别本描述符是3D字幕描述符的信息，设定固定值。例如，由于“0x80～0xBF”为能够设定为业者定义描述符的标签值的范围，所以这里设定“0x81”。

descriptor_length是表示在该字段的紧后接下来的描述符的数据部分的全字节长的信息。本描述符是固定长度，由于后续的字节长度是2，所以设定固定值“2”。

subtitle_mode是表示该ES是应以1plane+offset再现的字幕ES还是应以2plane+offset再现的字幕ES的信息。如果是1plane+offset则设定“0”，如果是2plane+offset则设定“1”。

subtitle_component是表示该ES是由1ES构成的字幕还是由2ES构成的字幕的一部分的信息。如果由1ES构成则设定“0”，如果由2ES构成则设定“1”。

subtitle_view是表示该ES是左右哪个字幕的ES的信息。如果是左眼用字幕的ES则设定“0”，如果是右眼用字幕的ES则设定“1”。

pair_PID是表示在用2ES分发着3D显示用的字幕的情况下与该ES成对的字幕ES的PID的信息。如果该ES是左眼用字幕的ES则设定右眼用字幕的ES的PID的值，如果是右眼用字幕的ES则设定左眼用字幕的ES的PID的值。

在reserved中全部设定“1”。

例如，在用1ES分发的3D字幕的ES(以下，称作“1ES3D字幕的ES”)中，在想要以1plane+offset再现的情况下，在subtitle_mode中放入“0”、在subtitle_component中放入“0”。此外，在1ES3D字幕的ES中，在想要以2plane+offset再现的情况下，在subtitle_mode中放入“1”、在subtitle_component中放入“0”。在用2ES分发的左眼用字幕的ES中，在subtitle_mode中放入“1”，在subtitle_component中放入“1”，在subtitle_view中放入“0”，在pair_PID中放入右眼用字幕的ES的Elementary_PID。

图18是示意地表示对各影像处理装置分发的PMT的一部分的图，在由图6的PMT的数据构造表示的ES信息记载处D101中，实际记载有以1plane+offset再现的1ES3D字幕的ES的信息、及左眼用字幕的ES的信息等。

例如，ES信息D601表示以1plane+offset再现的1ES3D字幕的ES的ES信息。在包含在ES信息D601中的描述符D602中，在图17的3D字幕描述符中实际记载有以1plane+offset再现的1ES3D字幕的ES信息。另外，如图6所示，本来在elementary_PID的前后有reserved区域及ES_info_length的记载，但在图18所记载的ES信息D601、D603中，省略了这些记载。

在ES信息D601的stream_type中，代入作为图5的ES属性信息一览T100的“stream_type”栏的值的“0x06”，在Elementary_PID中代入ES属性信息一览T100的“PID”栏的“0x0112”。

ES信息D601的descriptor_tag被代入作为描述符的ID的“0x81”，表示本描述符D602是3D字幕描述符。在descriptor_length中，代入了作为后续的字节数的“0x2”。并且，在subtitle_mode中，代入了表示该ES被以1plane+offset模式再现的值“0x0”。在subtitle_component中，代入了表示该ES是用1ES分发的字幕的值“0x0”。在reserved的14位中，由于是固定值“1”，所以代入了将2进制数的“0x11111111111111”用16进制数表示的“0x3FFF”。

此外，ES信息D603表示左眼用字幕的ES信息。在包含在ES信息D603中的描述符D604中，在图17的3D字幕描述符D500中实际记载有左眼用字幕ES的信息。

在ES信息D603的stream_type中，代入了作为ES属性信息一览T100的“stream_type”栏的值的“0x06”，在Elementary_PID中，代入了ES属性信息一览T100的“PID”栏的“0x0113”。

ES信息D603的descriptor_tag被代入作为描述符的ID的“0x81”，表示本描述符D602是3D字幕描述符。在descriptor_length中，代入了作为后续的字节数的“0x2”。在subtitle_mode中，由于该ES以2plane+offset模式再现，所以代入了“0x1”。在subtitle_component中，由于该ES字幕是用2ES分发的字幕的一部分，所以代入了“0x1”。在subtitle_view中，由于该ES是左眼用字幕的ES，所以代入了“0x0”。在pair_PID中，代入了作为右眼用字幕的ES的Elementary_PID的值的“0x0114”。另外，右眼用字幕的ES的Elementary_PID的值能够从ES属性信息一览T100取得。

另外，在本实施方式中，3D字幕描述符记载在对于字幕ES的ES信息中，但并不限定于此。3D字幕描述符也可以记载在对于叠印字符用的文本字符串或位图的ES的ES信息中。这是因为，在ARIB规格中，设定了能够在字幕平面中显示字幕及叠印字符。因此，字幕和叠印字符能够以同样的方式实现立体视。

(2)字幕编码部204a

字幕编码部204a使用MPEG－1、MPEG－2等的方式对字幕进行编码，基于3D字幕描述符D500的记述内容，生成2D显示用的字幕的ES、对应于1plane+offset的1ES3D字幕的ES、对应于2plane+offset的1ES3D字幕的ES、以及2ES的字幕的ES(即，左眼用字幕的ES及右眼用字幕的ES)等，将所生成的各字幕的ES向复用部206输出。

3.2影像处理装置300a

影像处理装置300a是接收来自影像分发装置200a的数字广播、并与影像一起显示字幕而使用户立体视的数字电视机，如图19所示，由输入受理部311、分离处理部312a、左视频解码器313、右视频解码器314、偏移取得部315、左眼影像输出部316、右眼影像输出部317、字幕生成部318、声音解码器319、叠加部320、321及显示处理部322构成。

此外，分离处理部312a具有分离部350和解码器分配部351a。

这里，对作为与第1实施方式的影像处理装置300不同的构成要素的分离处理部312a、特别是解码器分配部351a进行说明。

(1)解码器分配部351a

解码器分配部351a将PAT、PMT等的SI/PSI信息解析，并确定各种包的输出目的地。

关于影像包、声音包，由于是已有技术，所以详细的说明省略。

这里，对关于字幕包的输出目的地的确定进行说明。

解码器分配部351a参照关于用户选择的节目的SI/PSI信息的各种表信息、例如PMT，判断是否存在3D字幕描述符。

解码器分配部351a在判断为存在3D字幕描述符的情况下，基于该3D字幕描述符的记述内容，确定在3D显示中使用的字幕的再现方法及分发的方法。具体而言，解码器分配部351a进行字幕的再现方法是2plane+offset方式还是1plane+offset方式的确定、以及分发的方法是用1ES分发还是用2ES分发的确定。

解码器分配部351a根据确定的结果，将字幕的ES的包适当地分配给主字幕解码器和副字幕解码器。具体而言，解码器分配部351a在字幕的再现方法是2plane+offset方式、并且用2ES分发着字幕的情况下，将左眼用字幕的ES的包分配给主字幕解码器360，将右眼用字幕的ES的包分配给副字幕解码器361。在字幕的再现方法是2plane+offset方式、并且用1ES分发着字幕的情况下，解码器分配部351a将字幕的ES的包分配给主字幕解码器360及副字幕解码器361的双方。此外，在字幕的再现方法是1plane+offset方式、并且用1ES分发着字幕的情况下，解码器分配部351a将字幕的ES的包仅分配给主字幕解码器360。

解码器分配部351a将3D字幕描述符的存在的有无、以及在存在3D字幕描述符的情况下将在3D显示中使用的字幕的再现方法和分发的方法作为SI/PSI信息的解析结果向字幕生成部318通知。

此时，在分离部350中，根据解码器分配部351a的分配结果，将各种包向适当的解码器输出。此外，在字幕生成部318中，在从解码器分配部351a接受到不存在3D字幕描述符的通知的情况下，对从分离部350接受到的字幕包，作为2D显示来处理。在从解码器分配部351a接受到存在3D字幕描述符的通知的情况下，基于由解码器分配部351a确定的再现方法及分发方法生成左眼用字幕及右眼用字幕。

3.3动作

(1)影像分发装置200a的动作

这里，对于影像分发装置200a的动作，使用图11所示的流程图，仅说明变更点。

在步骤S5中，所生成的SI/PSI信息的内容、特别是PMT的内容与第1实施方式不同。具体而言，在进行字幕的3D显示的情况下，影像分发装置200a的节目排列信息生成部202a在PMT的ES信息记载处D101中记载3D字幕描述符。

此外，在步骤S15中，在本实施方式中，根据在步骤S5中生成的PMT的记载内容、具体而言根据3D字幕描述符的记载内容生成至少1个以上的字幕ES这一点与第1实施方式不同。另外，与3D字幕描述符的有无无关，总是生成2D显示用的字幕的ES。

(2)影像处理装置300a的动作

这里，使用图20及图21所示的流程图说明影像处理装置300a的动作、特别是解码器分配部351a的关于字幕ES的解码器分配的动作。

解码器分配部351a将关于用户选择的节目的SI/PSI信息中包含的PMT读入(步骤S100)。

解码器分配部351a判断在所读入的PMT中是否存在：存在3D字幕描述符(stereoscopic_subtitle_descriptor)、subtitle_mode＝1且subtitle_component＝1的ES信息(步骤S305)。

在判断为存在ES信息的情况下(步骤S305中的“是”)，解码器分配部351a取得subtitle_mode＝1且subtitle_component＝1的ES信息(步骤S310)。

解码器分配部351a判断所取得的ES信息是否是左眼用(步骤S315)。具体而言，解码器分配部351a判断在所取得的ES信息中包含的subtitle_view的值是否是0。

在判断为所取得的ES信息是左眼用的情况下(步骤S315中的“是”)，解码器分配部351a将主字幕解码器360分配为由包含在ES信息中的“elementary_PID”表示的PID的字幕ES的包的输出目的地，将副字幕解码器361分配为由包含在3D字幕描述符中的“pair_PID”表示的PID的字幕ES的包的输出目的地(步骤S320)。由此，仅将包的PID与Elementary_PID相同的包向主字幕解码器360输出，仅将包的PID与pair_PID相同的包向副字幕解码器361输出。此外，此时在主字幕解码器360中根据从分离部350接受到的包生成左眼用字幕，在副字幕解码器361中根据从分离部350接受到的包生成右眼用字幕。

在判断为所取得的ES信息不是左眼用、即是右眼用的情况下(步骤S315中的“否”)，解码器分配部351a将副字幕解码器361分配为由包含在3D字幕描述符中的“pair_PID”表示的PID的字幕ES的包的输出目的地，将主字幕解码器360分配为由包含在ES信息中的“elementary_PID”表示的PID的字幕ES的包的输出目的地(步骤S325)。

在判断为不存在ES信息的情况下(步骤S305中的“否”)，解码器分配部351a判断在所读入的PMT中是否存在：存在3D字幕描述符(stereoscopic_subtitle_descriptor)、subtitle_mode＝1且subtitle_component＝0的ES信息(步骤S340)。

在判断为存在ES信息的情况下(步骤S340中的“是”)，解码器分配部351a取得subtitle_mode＝1且subtitle_component＝0的ES信息(步骤S345)。

解码器分配部351a分配主字幕解码器360及副字幕解码器361的双方作为由包含在ES信息中的“elementary_PID”表示的PID的字幕ES的包的输出目的地(步骤S350)。由此，仅将包的PID与Elementary_PID相同的包向主字幕解码器360及副字幕解码器361输出。此外，此时在主字幕解码器360中，根据关于用1ES分发的左眼用字幕的包生成左眼用字幕，在副字幕解码器361中根据关于用1ES分发的右眼用字幕的包生成左眼用字幕。

在判断为不存在ES信息的情况下(步骤S340中的“否”)，解码器分配部351a判断在所读入的PMT中是否存在：存在3D字幕描述符(stereoscopic_subtitle_descriptor)、subtitle_mode＝0且subtitle_component＝0的ES信息(步骤S355)。

在判断为存在ES信息的情况下(步骤S355中的“是”)，解码器分配部351a取得subtitle_mode＝0且subtitle_component＝0的ES信息(步骤S360)。

解码器分配部351a分配主字幕解码器360作为由包含在ES信息中的“elementary_PID”表示的PID的字幕ES的包的输出目的地(步骤S350)。由此，仅将包的PID与Elementary_PID相同的包向主字幕解码器360输出。此时，副字幕解码器361不需要进行解码处理。此外，此时在包括主字幕解码器360的字幕生成部318中通过1plane+offset方式生成左眼用字幕及右眼用字幕。

在判断为不存在ES信息的情况下(步骤S355中的“否”)，解码器分配部351a判断是否存在字幕ES的ES信息(步骤S370)。这可以根据stream_type或component_tag的值来判断。例如，在数字广播中，由ARIB规格的“BS/宽带CS数字广播运用规定”决定字幕及叠印字符的stream_type为“0x06”、字幕的component_tag为“0x30～0x37”、叠印字符的component_tag为“0x39～0x3F”。

在判断为存在ES信息的情况下(步骤S370中的“是”)，解码器分配部351a取得字幕ES的ES信息(步骤S375)。

解码器分配部351a分配主字幕解码器360作为由包含在ES信息中的“elementary_PID”表示的PID的字幕ES的包的输出目的地而(步骤S380)。由此，仅将包的PID与Elementary_PID相同的包向主字幕解码器360输出。此时，副字幕解码器361不需要进行解码处理。此外，此时在将分发的影像进行3D显示的情况下，在包括主字幕解码器360的字幕生成部318中，根据分配给主字幕解码器360的字幕ES生成左眼用字幕及右眼用字幕。该情况下的各字幕的生成可以通过1plane+offset方式实现。

在判断为不存在ES信息的情况下(步骤S370中的“否”)，处理结束。在此情况下，由于在分发的TS内不包含字幕ES，所以对于主字幕解码器360及副字幕解码器361不进行字幕ES的分配。

3.4影像处理装置301a及影像处理装置302a

这里，对影像处理装置301a及影像处理装置302a的字幕的显示简单地说明。

影像处理装置301a由于是进行基于1palne+offset方式的字幕显示的装置，所以不能进行使用基于2ES的字幕组的字幕的3D显示，不能进行使用基于1ES的2plane+offset方式的字幕的3D显示。所以，在ES信息中存在3D字幕描述符的情况下，仅在subtitle_mode＝0且subtitle_component＝0时使用由该ES信息表示的字幕ES进行基于1palne+offset方式的字幕显示。在ES信息中存在3D字幕描述符、但不是subtitle_mode＝0且subtitle_component＝0的情况下，以及在不存在3D字幕描述符的情况下，影像处理装置301a在存在2D用的ES信息时，使用由该ES信息表示的字幕ES进行基于1palne+offset方式的字幕显示。

此外，影像处理装置302a不能进行字幕的3D显示本身。所以，在存在不存在3D字幕描述符的ES信息、即存在2D用的ES信息的情况下，使用由该ES信息表示的字幕ES进行2D的字幕显示。

3.5变形例

此外，并不限定于上述实施方式，例如可以考虑以下这样的变形例。

(1)在上述第2实施方式中，在字幕的分发方法是2ES的情况下，在3D字幕描述符中记载“pair_PID”，确定了成对的字幕ES，但并不限定于此。

只要是能够确定成对的字幕ES的方法，是怎样的方法都可以。例如，也可以通过component_tag等的PID以外的参数确定成对的字幕ES。

或者也可以是，在分发侧和接收侧预先决定规则，以将对左眼用字幕的PID或component_tag加上固定值后的值或减去后的值作为右眼用字幕的PID或component_tag的值，由此在取得了一方的ES的PID或component_tag的时点能够确定成对的ES的PID或component_tag。

或者也可以是，在分发侧和接收侧决定规则，以在PID或component_tag等的参数中设定仅对用2ES分发的字幕的左眼用字幕分配的值的范围、仅对用2ES分发的字幕的右眼用字幕分配的值的范围、仅对再现模式是1plane+offset、用1ES分发的字幕分配的值的范围、以及仅对再现模式是2plane+offset、用1ES分发的字幕分配的值的范围，在取得PID或component_tag等的参数的时点，能够确定是字幕ES的再现模式为1plane+offset、用1ES分发的字幕的ES，还是再现模式为2plane+offset、用1ES分发的字幕的ES，还是左眼用字幕的ES或右眼用字幕的ES。例如，只要在分发侧和接收侧预先决定规则，以使得用2ES分发的字幕的左眼用字幕的component_tag为“0x31”、右眼用字幕的component_tag为“0x32”就可以。

此外，也可以是，不是由PID或component_tag等确定成对的字幕ES、而是指定叠加的影像的字幕，从而判断对主字幕解码器和副字幕解码器分配的字幕ES。例如，在左眼用字幕的ES的ES信息中，指定用于确定对应的左眼用影像的PID或component_tag。

(2)在上述第2实施方式中，将3D字幕描述符(stereoscopic_subtitle_descriptor)配置在PMT中，但并不限定于此。

3D字幕描述符也可以配置在其他SI/PSI的表中。例如也可以配置在SI的EIT的循环中。此外，也可以在SI和PSI双方中配置3D字幕描述符(stereoscopic_subtitle_descriptor)。

由于EIT等的SI是能够在节目开始以前取得的信息，所以也可以在节目开始前通过解码器分配部351a确定左眼用字幕ES的PID和右眼用字幕ES的PID。另外，SI是从节目开始以前分发的信息，在节目之前PID也有可能被变更，所以在节目开始时将记载在SI和PSI中的stereoscopic_subtitle_descriptor描述符的内容比较，在记载内容不同的情况下，以记载在PSI中的信息为优先。

(3)在上述第2实施方式中，通过3D字幕描述符判别对于分发的字幕组的分发方法及再现方法，但并不限定于此。

例如，也可以将SI/PSI的表的reserved区域或reserved_future_use区域等、目前没有被使用的区域扩展，将与记载在3D字幕描述符中的信息同样的信息分割并放入到这些扩展后的区域中。

(4)在上述第2实施方式中，在左眼用字幕的ES信息及右眼用字幕的ES信息各自中配置3D字幕描述符(stereoscopic_subtitle_descriptor)，并且记载自身是左眼用字幕还是右眼用字幕的view信息和用于确定成对的字幕ES的pair_PID的信息，但并不限定于此。

也可以在某个字幕ES的ES信息中配置3D字幕对描述符、或者作为双方的字幕ES的ES信息而仅记载view信息，将pair_PID参数省略。

例如，在配置左眼用字幕的ES信息及右眼用字幕的ES信息中的一方的ES信息的3D字幕描述符的情况下，在由ES信息记载处D101记述的左眼用字幕的ES信息及右眼用字幕的ES信息中的先记载的ES信息中记载3D字幕描述符。由此，能够在将左眼用字幕的ES信息及右眼用字幕的ES信息中的一方的ES信息、即由ES信息记载处D101先记述的ES信息读入的时点确定左眼用字幕ES和右眼用字幕ES，能够缩短显示之前的时间。

(5)在上述第2实施方式中，2D用的字幕与3D用字幕独立地生成，但并不限定于此。

关于2D用字幕，也可以与3D用字幕的某个的字幕ES共用。由此，能够省去另行制作或分发2D用字幕的工夫。在此情况下，也可以在3D字幕描述符中再追加是否作为2D用字幕使用的参数。

(6)在上述第2实施方式中，在图20、图21所示的步骤S310、S345中，在满足条件(之前的判定步骤中的条件)的ES信息有多个的情况下，也可以取得多个ES信息。另外，在此情况下，也可以将多个PID分配给主字幕解码器360及副字幕解码器361。

此外，在步骤S360、S375中，在满足条件(紧前的判定步骤中的条件)的ES信息有多个的情况下，也可以取得多个ES信息。另外，在此情况下，也可以将多个PID分配给主字幕解码器360。

(7)在上述第2实施方式中，在有用2ES分发的字幕组的情况下，显示用2ES分发的字幕组，在没有用2ES分发的字幕组的情况下，显示再现模式是2plane+offset且用1ES分发的字幕组，在没有再现模式是2plane+offset且用1ES分发的字幕组的情况下，显示再现模式是1plane+offset且用1ES分发的字幕组，在都没有的情况下显示2D用的字幕组。即，以用2ES分发的字幕组、再现模式是2plane+offset且用1ES分发的字幕、再现模式是1plane+offset且用1ES分发的字幕、2D字幕的顺序使显示优先，但并不限定于此。

该优先顺序是一例，也可以根据影像处理装置的处理能力或用户的嗜好而改变优先顺序、或者抑制特性的字符集的使用。

例如也可以是，在如影像处理装置302a那样仅对应于再现模式是1plane+offset、用1ES分发的字幕组的情况下，即使有用2ES分发的字幕组、或者是2plane+offset、用1ES分发的字幕组，也不进行向主字幕解码器360及副字幕解码器361的分配，仅在存在再现模式是1plane+offset、用1ES分发的字幕组的情况下显示字幕。

(8)也可以将上述实施方式及上述变形例分别组合。

3.6总结

如以上说明，根据3D字幕描述符(stereoscopic_subtitle_descriptor)的有无，能够判定字幕ES是2D用字幕还是3D用字幕，根据subtitle_mode的值，能够进行再现模式是1plane+offset还是2plane+offset的判定，根据subtitle_component的值，能够进行字幕组的ES结构是1ES还是2ES的判定。

通过这样将3D字幕描述符(stereoscopic_subtitle_descriptor)的新描述符作为3D显示的字幕的ES信息配置并从影像分发装置200a分发，影像处理装置300a通过解码器分配部351a将PMT解析，根据解析结果将字幕的包向适当的字幕解码器输出，由此，能够与分发业者希望的的影像(左眼用影像/右眼用影像)叠加显示。

4.变形例

此外，并不限于上述各实施方式等，例如可以考虑以下这样的变形例。

(1)在上述各实施方式中，将传输流作为数字广播分发，但并不限定于此。

也可以作为IPTV及VOD(VideoOnDemand)而分发传输流。

此时，在作为IPTV而分发传输流的情况下，将3D字幕对描述符或3D字幕描述符不是记载在PMT中，而记载在再现控制信息、例如ERI(EntryResourceInformation：入口资源信息)中。或者，在通过IP网络的通信分发传输流的情况下，在HTTP或HTTPS(HypertextTransferProtocoloverSecureSocketLayer)的头中记载3D字幕对描述符或3D字幕描述符。

或者，在作为VOD而分发传输流的情况下，在ECG(ElectronicContentGuide：电子内容导航)元数据中记载3D字幕对描述符或3D字幕描述符。

此外，由于根据IP广播、VOD等分发的形态而运用规定不同，所以关于由解码器分配部351进行的PMT中是否存在字幕的ES信息的判断(参照步骤S105)，能够通过根据自身接收的形态(IP广播、VOD、数字广播)变更在判断中使用的参数及参数值来实现。

(2)在上述各实施方式中，假设偏移保存在左眼用影像的包中，但并不限定于此。

偏移也可以保存在右眼用影像的包中。在此情况下，偏移取得部315从右视频解码器314取得偏移。

或者，偏移取得部315也可以根据左眼用影像与右眼用影像的差，计算影像的进深信息，利用该进深信息来生成偏移信息。

(3)在上述各实施方式中，作为影像处理装置的一例而假设是数字电视机，但并不限定于此。也可以将影像处理装置应用到DVD记录机、BD(Blu－rayDisc)记录机或机顶盒中。

(4)上述各装置具体而言是由微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。在上述RAM或硬盘单元中存储有计算机程序。通过由上述微处理器按照上述计算机程序动作，各装置实现其功能。这里，计算机程序是为了达到规定的功能而将表示对计算机的指令的命令代码组合多个而构成的。

(5)构成上述各装置的构成要素的一部分或全部也可以由1个集成电路构成。

例如，第1实施方式所示的影像分发装置200如图22所示，ES属性信息存储部201、节目排列信息生成部202、AV编码器203、字幕编码部204、声音编码部205、复用部206及分发部207的各功能块典型地也可以作为集成电路即LSI实现。它们既可以单独地形成1个芯片，也可以包含1个以上的构成要素或各构成要素的一部分而形成1个芯片。

此外，第1实施方式所示的影像处理装置300如图23所示，输入受理部311、分离处理部312、左视频解码器313、右视频解码器314、偏移取得部315、左眼影像输出部316、右眼影像输出部317、字幕生成部318、声音解码器319、叠加部320、321及显示处理部322的各功能块典型地作为集成电路即LSI实现。它们既可以单独地形成1个芯片，也可以包含1个以上的构成要素或各构成要素的一部分而形成1个芯片。

(6)构成上述各装置的构成要素的一部分或全部也可以由对各装置可拆装的IC卡或单体的模组构成。上述IC卡或上述模组是由微处理器、ROM、RAM等构成的计算机系统。上述IC卡或上述模组也可以包含上述超多功能LSI。通过由微处理器按照计算机程序动作，上述IC卡或上述模组实现其功能。

(7)也可以将记述有在上述实施方式及变形例中说明的方法的步骤的程序存储在存储器中，通过由CPU(CentralProcessingUnit)等从存储器将程序读出并执行所读出的程序，来实现上述方法。

此外，也可以将记述有该方法的步骤的程序保存到记录介质中并发布。另外，作为存储上述程序的介质，例如有IC卡、硬盘、光盘、软盘、ROM闪存存储器等。

(8)也可以将上述实施方式及上述变形例分别组合。

6.补充

(1)作为本发明的一形态的、接收3D影像的影像流并再现的影像处理装置，其特征在于，具备：接收单元，接收传输流，该传输流包含与3D影像一起显示的显示数据的数据流，并且包含附加信息，该附加信息表示是否存在针对显示数据将左眼用显示数据和右眼用显示数据分别单独地流化的左眼用的数据流及右眼用的数据流双方；判别单元，基于上述附加信息，判别上述传输流中是否存在左眼用的数据流及右眼用的数据流双方；以及显示数据生成单元，在判别为存在左眼用的数据流及右眼用的数据流双方的情况下，从左眼用的数据流生成左眼用显示数据，从右眼用的数据流生成右眼用显示数据，在判别为不存在左眼用的数据流及右眼用的数据流双方的情况下，从上述数据流生成左眼用显示数据及右眼用显示数据。

根据该结构，影像处理装置使用包含在传输流中的附加信息判断是否存在左眼用的数据流及右眼用的数据流，所以能够迅速地确定显示数据的流的分发形态，迅速地进行与所确定的分发形态对应的显示数据的3D显示。

(2)这里，也可以是，由从上述影像流得到的多个影像构成一个3D节目；上述附加信息是关于上述一个3D节目的PMT(ProgramMapTable)；上述判别单元根据在上述PMT中是否存在表示左眼用的数据流及右眼用的数据流双方的存在的描述来进行上述判别。

根据该结构，影像处理装置进行使用PMT的上述判别，所以能够在将包含显示数据的流的内容解析之前确定是否存在左眼用的数据流及右眼用的数据流。因此，影像处理装置能够迅速地确定显示数据的流的分发形态。

(3)这里，也可以是，在上述传输流中包含左眼用的数据流及右眼用的数据流的情况下，在上述PMT中包含表示左眼用的数据流及右眼用的数据流中的至少某一方的存在的描述符；在该描述符中，记载有确定另一方的识别符；上述判别单元根据在上述PMT中是否存在上述描述符来进行上述判别，在判别为存在的情况下，还从该描述符取得确定另一方的识别符。

根据该结构，影像处理装置能够判别是否存在表示左眼用的数据流及右眼用的数据流中的至少某一方的存在的描述符，在存在描述符的情况下，能够根据该描述符确定另一方，所以能够缩短PMT的解析的时间。

(4)这里，也可以是，上述判别单元根据在上述PMT中是否存在表示左眼用的数据流的存在的第1描述符、以及表示右眼用的数据流的存在的第2描述符，进行上述判别。

根据该结构，影像处理装置通过判别第1描述符及第2描述符的双方的存在，能够确定是否存在左眼用的数据流及右眼用的数据流，还能够通过该判别而确定左眼用的数据流与右眼用的数据流的相互的对应。

(5)这里，也可以是，上述附加信息包括第1判别信息和第2判别信息，该第1判别信息表示是否存在左眼用的数据流及右眼用的数据流双方，该第2判别信息表示使用由上述显示数据生成单元使用1个平面进行上述处理的第1生成方法、以及使用两个平面进行上述处理的第2生成方法的哪种；上述数据流是使用上述第1生成方法的第1种数据流；在上述传输流中包含针对显示数据将左眼用显示数据和右眼用显示数据以成为相同的流的方式流化而得到的第2种数据流的情况下，在上述第2判别信息中表示使用上述第2生成方法；上述判别单元使用上述第1判别信息进行上述判别，在通过上述判别而判别为不存在左眼用的数据流及右眼用的数据流双方的情况下，进一步判别上述第2判别信息表示上述第1生成方法及上述第2生成方法中的哪种；上述显示数据生成单元在由上述判别单元判别为存在左眼用的数据流及右眼用的数据流双方的情况下，通过上述第2生成方法进行上述处理；在由上述判别单元判别为不存在左眼用的数据流及右眼用的数据流双方、并且判别为上述第2判别信息表示使用上述第2生成方法的情况下，使用上述第2生成方法从上述第2种数据流生成左眼用显示数据及右眼用显示数据；在由上述判别单元判别为不存在左眼用的数据流和右眼用的数据流、并且判别为上述第2判别信息表示使用上述第1生成方法的情况下，使用上述第1生成方法从上述第1种数据流生成左眼用显示数据及右眼用显示数据。

根据该结构，影像处理装置将生成左眼用显示数据及右眼用显示数据的优先顺序根据左眼用的数据流和右眼用的数据流生成、根据第2种数据流生成、根据第1种数据流生成。一般而言，与根据1个数据生成左眼用及右眼用的数据的情况相比，根据单独的数据分别生成左眼用及右眼用的数据的画质更好。此外，与将单独的数据用1个流流化相比，也是单独流化的画质更好。由此，影像处理装置能够按照上述优先顺序优先地显示画质较好的显示数据。

(6)此外，作为本发明的一形态的、为了使影像处理装置接收3D影像的影像流并再现而发送上述影像流的发送装置，其特征在于，具备：附加信息生成单元，生成附加信息，该附加信息表示是否存在针对与3D影像一起显示的显示数据将左眼用显示数据和右眼用显示数据分别单独地流化而得到的左眼用的数据流和右眼用的数据流双方；流生成单元，进行显示数据的数据流的生成、以及根据上述附加信息表示的内容进行上述左眼用的数据流和上述右眼用的数据流的生成；以及发送单元，将上述附加信息、上述影像流及由上述流生成单元生成的全部的流复用并发送。

根据该结构，发送装置在传输流中包含附加信息而向影像处理装置发送，使影像处理装置使用该附加信息判断是否存在左眼用的数据流及右眼用的数据流，由此，能够迅速地确定显示数据的流的分发形态、迅速地进行与所确定的分发形态对应的显示数据的3D显示。

(7)这里，也可以是，由从上述影像流得到的多个影像构成一个3D节目；上述附加信息是关于上述一个3D节目的PMT(ProgramMapTable)；上述附加信息生成单元在上述传输流中包含上述左眼用的数据流和上述右眼用的数据流的情况下，在上述PMT中记载表示上述左眼用的数据流及上述右眼用的数据流双方的存在的记述。

根据该结构，发送装置由于使影像处理装置进行使用PMT的上述判别，所以能够在将包含显示数据的流的内容解析之前确定是否存在左眼用的数据流及右眼用的数据流。

(8)这里，也可以是，上述附加信息生成单元使上述PMT包含表示左眼用的数据流及右眼用的数据流中的某一方的存在的描述符，进一步在该描述符中记载确定另一方的识别符。

根据该结构，发送装置由于将表示左眼用的数据流及右眼用的数据流中的至少某一方的存在的描述符包含在PMT中，因此在该描述符中记载确定另一方的识别符，所以能够使影像处理装置判别该描述符的有无，在存在描述符的情况下能够根据该描述符确定另一方，所以能够缩短PMT的解析的时间。

(9)这里，也可以是，上述附加信息生成单元使上述PMT包含表示左眼用的数据流的存在的第1描述符、以及表示右眼用的数据流的存在的第2描述符。

根据该结构，发送装置由于将第1描述符及第2描述符包含在PMT中，所以通过使影像处理装置判别这些描述符的双方的存在，能够确定是否存在左眼用的数据流及右眼用的数据流，进而通过该判别，能够确定左眼用的数据流与右眼用的数据流的相互的对应。

(10)这里，也可以是，上述附加信息生成单元生成包含第1判别信息和第2判别信息的上述附加信息，该第1判别信息表示是否存在左眼用的数据流及右眼用的数据流双方，该第2判别信息表示使用由上述显示数据生成单元使用1个平面进行上述处理的第1生成方法及使用2个平面进行上述处理的第2生成方法的哪种；上述数据流是使用上述第1生成方法的第1种数据流；上述流生成单元在上述第1判别信息表示不存在左眼用的数据流及右眼用的数据流双方、并且上述第2判别信息表示使用上述第2生成方法的情况下，进一步生成针对显示数据将左眼用显示数据和右眼用显示数据以成为相同的流的方式流化而得到的第2种数据流。

根据该结构，发送装置通过第1判别信息及第2判别信息，能够使影像处理装置容易地确定是否存在左眼用的数据流及右眼用的数据流、及各显示数据的生成方法。此外，发送装置即使在不存在左眼用的数据流及右眼用的数据流的情况下，也通过发送第2种数据流，使影像处理装置进行第2生成方法，因此能够将根据与左眼用的数据流及右眼用的数据流分别生成的各显示数据的画质同等的画质向影像处理装置提供。

(11)此外，作为本发明的一形态的、由发送3D影像的流的发送装置、和接收该影像流并再现的影像处理装置构成的影像处理系统，其特征在于，上述发送装置具备：附加信息生成单元，生成附加信息，该附加信息表示是否存在针对与3D影像一起显示的显示数据将左眼用显示数据和右眼用显示数据分别单独地流化而得到的左眼用的数据流和右眼用的数据流双方；流生成单元，进行显示数据的数据流的生成、以及根据上述附加信息表示的内容进行上述左眼用的数据流和上述右眼用的数据流的生成；以及发送单元，发送将上述附加信息、上述影像流及由上述流生成单元生成的全部的流复用而得到的传输流；上述影像处理装置具备：接收单元，接收上述传输流；判别单元，基于上述附加信息，判别在上述传输流中是否存在左眼用的数据流及右眼用的数据流双方；显示数据生成单元，在判别为存在的情况下，从左眼用的数据流生成左眼用显示数据，从右眼用的数据流生成右眼用显示数据，在判别为不存在的情况下，从上述数据流生成左眼用显示数据及右眼用显示数据。

根据该结构，影像处理系统的发送装置在传输流中包含附加信息而向影像处理装置发送，影像处理装置使用包含在传输流中的附加信息判断是否存在左眼用的数据流及右眼用的数据流。由此，在影像处理系统中，能够迅速地确定显示数据的分发形态、迅速地进行与所确定的分发形态对应的显示数据的3D显示。

工业实用性

有关本发明的影像处理系统及影像处理装置分别在与3D影像一起分发字幕的系统及接收它们并显示的装置中具有实用性。

附图标记说明

100、100a影像处理系统

200、200a影像分发装置

201ES属性信息存储部

202、202a节目排列信息生成部

203AV编码器

204、204a字幕编码部

205声音编码部

206复用部

207分发部

300、301、302、300a、301a、302a影像处理装置

311输入受理部

312、312a分离处理部

313左视频解码器

314右视频解码器

315偏移取得部

316左眼影像输出部

317右眼影像输出部

318字幕生成部

319声音解码器

320、321叠加部

322显示处理部

350分离部

351、351a解码器分配部

360主字幕解码器

361副字幕解码器

362左眼用字幕平面

363右眼用字幕平面

364左眼字幕输出部

365右眼字幕输出部

Claims (15)

1.一种影像处理装置，接收3D影像的影像流，并且进行再现，其特征在于，具备：

接收单元，接收传输流，该传输流包含与3D影像一起显示的显示数据的数据流，并且包含附加信息，该附加信息表示是否存在针对显示数据将左眼用显示数据和右眼用显示数据分别单独地流化而得到的左眼用的数据流及右眼用的数据流双方；

判别单元，基于上述附加信息，判别上述传输流中是否存在左眼用的数据流及右眼用的数据流双方；以及

显示数据生成单元，在被判别为存在左眼用的数据流及右眼用的数据流双方的情况下，从左眼用的数据流生成左眼用显示数据，从右眼用的数据流生成右眼用显示数据，在被判别为不存在左眼用的数据流及右眼用的数据流双方的情况下，从上述数据流生成左眼用显示数据及右眼用显示数据。

2.如权利要求1所述的影像处理装置，其特征在于，

由从上述影像流得到的多个影像构成一个3D节目；

上述附加信息是关于上述一个3D节目的节目映射表即PMT；

上述判别单元根据在上述PMT中是否存在表示左眼用的数据流及右眼用的数据流双方的存在的描述来进行上述判别。

3.如权利要求2所述的影像处理装置，其特征在于，

在上述传输流中包含左眼用的数据流及右眼用的数据流的情况下，在上述PMT中包含表示左眼用的数据流及右眼用的数据流中的至少某一方的存在的描述符；

在该描述符中记载有确定左眼用的数据流及右眼用的数据流中的另一方的识别符；

上述判别单元根据在上述PMT中是否存在上述描述符来进行上述判别，在判别为存在上述描述符的情况下，进一步从该描述符取得确定左眼用的数据流及右眼用的数据流中的另一方的识别符。

4.如权利要求2所述的影像处理装置，其特征在于，

上述判别单元根据在上述PMT中是否存在表示左眼用的数据流的存在的第1描述符、以及表示右眼用的数据流的存在的第2描述符，来进行上述判别。

5.如权利要求1所述的影像处理装置，其特征在于，

上述附加信息包含第1判别信息和第2判别信息，上述第1判别信息表示是否存在左眼用的数据流及右眼用的数据流双方，上述第2判别信息表示使用由上述显示数据生成单元利用一个平面生成左眼用显示数据及右眼用显示数据的第1生成方法以及利用两个平面生成左眼用显示数据及右眼用显示数据的第2生成方法中的哪一种；

上述数据流是使用上述第1生成方法的第1种数据流；

在上述传输流中包含第2种数据流的情况下，上述第2判别信息表示使用上述第2生成方法，上述第2种数据流是针对显示数据将左眼用显示数据和右眼用显示数据以成为相同的流的方式流化而得到的数据流；

上述判别单元使用上述第1判别信息进行上述判别，在通过上述判别判别为不存在左眼用的数据流及右眼用的数据流双方的情况下，进一步判别上述第2判别信息表示上述第1生成方法及上述第2生成方法中的哪一种；

在由上述判别单元判别为存在左眼用的数据流及右眼用的数据流双方的情况下，上述显示数据生成单元通过上述第2生成方法生成左眼用显示数据及右眼用显示数据；

在由上述判别单元判别为不存在左眼用的数据流及右眼用的数据流双方、并且判别为上述第2判别信息表示使用上述第2生成方法的情况下，上述显示数据生成单元使用上述第2生成方法从上述第2种数据流生成左眼用显示数据及右眼用显示数据；

在由上述判别单元判别为不存在左眼用的数据流和右眼用的数据流、并且判别为上述第2判别信息表示使用上述第1生成方法的情况下，上述显示数据生成单元使用上述第1生成方法从上述第1种数据流生成左眼用显示数据及右眼用显示数据。

6.一种发送装置，为了使影像处理装置接收3D影像的影像流并且进行再现，发送上述影像流，其特征在于，具备：

附加信息生成单元，生成附加信息，该附加信息表示是否存在针对与3D影像一起显示的显示数据将左眼用显示数据和右眼用显示数据分别单独地流化而得到的左眼用的数据流和右眼用的数据流双方；

流生成单元，生成显示数据的数据流，并且根据上述附加信息所表示的内容，生成上述左眼用的数据流和上述右眼用的数据流；以及

发送单元，发送将上述附加信息、上述影像流及由上述流生成单元生成的全部的流复用而得到的传输流。

7.如权利要求6所述的发送装置，其特征在于，

由从上述影像流得到的多个影像构成一个3D节目；

上述附加信息是关于上述一个3D节目的节目映射表即PMT；

上述附加信息生成单元在上述传输流包含上述左眼用的数据流和上述右眼用的数据流的情况下，在上述PMT中记载表示上述左眼用的数据流及上述右眼用的数据流双方的存在的描述。

8.如权利要求7所述的发送装置，其特征在于，

上述附加信息生成单元使上述PMT包含表示左眼用的数据流及右眼用的数据流中的某一方的存在的描述符，进一步在该描述符中记载确定左眼用的数据流及右眼用的数据流中的另一方的识别符。

9.如权利要求7所述的发送装置，其特征在于，

上述附加信息生成单元使上述PMT包含表示左眼用的数据流的存在的第1描述符、以及表示右眼用的数据流的存在的第2描述符。

10.如权利要求7所述的发送装置，其特征在于，

上述附加信息生成单元生成包含第1判别信息和第2判别信息的上述附加信息，上述第1判别信息表示是否存在左眼用的数据流及右眼用的数据流双方，上述第2判别信息表示使用利用一个平面生成左眼用显示数据及右眼用显示数据的第1生成方法以及利用两个平面生成左眼用显示数据及右眼用显示数据的第2生成方法中的哪一种；

上述数据流是使用上述第1生成方法的第1种数据流；

上述流生成单元在上述第1判别信息表示不存在左眼用的数据流及右眼用的数据流双方、并且上述第2判别信息表示使用上述第2生成方法的情况下，进一步生成第2种数据流，该第2种数据流是针对显示数据将左眼用显示数据和右眼用显示数据以成为相同的流的方式流化而得到的数据流。

11.一种影像处理系统，由发送3D影像的流的发送装置、以及接收该影像流并且进行再现的影像处理装置构成，其特征在于，

上述发送装置具备：

附加信息生成单元，生成附加信息，该附加信息表示是否存在针对与3D影像一起显示的显示数据将左眼用显示数据和右眼用显示数据分别单独地流化而得到的左眼用的数据流和右眼用的数据流双方；

流生成单元，生成显示数据的数据流，并且根据上述附加信息所表示的内容，生成上述左眼用的数据流和上述右眼用的数据流；以及

发送单元，发送将上述附加信息、上述影像流及由上述流生成单元生成的全部的流复用而得到的传输流；

上述影像处理装置具备：

接收单元，接收上述传输流；

判别单元，基于上述附加信息，判别在上述传输流中是否存在左眼用的数据流及右眼用的数据流双方；以及

显示数据生成单元，在被判别为存在左眼用的数据流及右眼用的数据流双方的情况下，从左眼用的数据流生成左眼用显示数据，从右眼用的数据流生成右眼用显示数据，在被判别为不存在左眼用的数据流及右眼用的数据流双方的情况下，从上述数据流生成左眼用显示数据及右眼用显示数据。

12.一种影像处理方法，在影像处理装置中使用，该影像处理装置具备接收单元、判别单元以及显示数据生成单元，接收3D影像的影像流并且进行再现，上述影像处理方法的特征在于，包括：

接收步骤，上述接收单元接收传输流，该传输流包含与3D影像一起显示的显示数据的数据流，并且包含附加信息，该附加信息表示是否存在针对显示数据将左眼用显示数据和右眼用显示数据分别单独地流化而得到的左眼用的数据流及右眼用的数据流双方；

判别步骤，上述判别单元基于上述附加信息，判别在上述传输流中是否存在左眼用的数据流及右眼用的数据流双方；以及

显示数据生成步骤，上述显示数据生成单元在由上述判别步骤判别为存在上述左眼用的数据流及上述右眼用的数据流双方的情况下，从左眼用的数据流生成左眼用显示数据，从右眼用的数据流生成右眼用显示数据，在由上述判别步骤判别为不存在上述左眼用的数据流及上述右眼用的数据流双方的情况下，从上述数据流生成左眼用显示数据及右眼用显示数据。

13.一种发送方法，在发送装置中使用，该发送装置具备附加信息生成单元、流生成单元以及发送单元，为了使影像处理装置接收3D影像的影像流并且进行再现，发送上述影像流，上述发送方法的特征在于，包括：

附加信息生成步骤，上述附加信息生成单元生成附加信息，该附加信息表示是否存在针对与3D影像一起显示的显示数据将左眼用显示数据和右眼用显示数据分别单独地流化而得到的左眼用的数据流和右眼用的数据流双方；

流生成步骤，上述流生成单元生成显示数据的数据流，并且根据上述附加信息所表示的内容，生成上述左眼用的数据流和上述右眼用的数据流；以及

发送步骤，上述发送单元将上述附加信息、上述影像流及由上述流生成单元生成的全部的流复用并发送。

14.一种集成电路，在接收3D影像的影像流并且进行再现的影像处理装置中使用，其特征在于，具备：

接收单元，接收传输流，该传输流包含与3D影像一起显示的显示数据的数据流，并且包含附加信息，该附加信息表示是否存在针对显示数据将左眼用显示数据和右眼用显示数据分别单独地流化而得到的左眼用的数据流及右眼用的数据流双方；

判别单元，基于上述附加信息，判别上述传输流中是否存在左眼用的数据流及右眼用的数据流双方；以及

显示数据生成单元，在被判别为存在左眼用的数据流及右眼用的数据流双方的情况下，从左眼用的数据流生成左眼用显示数据，从右眼用的数据流生成右眼用显示数据，在被判别为不存在左眼用的数据流及右眼用的数据流双方的情况下，从上述数据流生成左眼用显示数据及右眼用显示数据。

15.一种集成电路，在为了使影像处理装置接收3D影像的影像流并且进行再现而发送上述影像流的发送装置中使用，其特征在于，具备：

附加信息生成单元，生成附加信息，该附加信息表示是否存在针对与3D影像一起显示的显示数据将左眼用显示数据和右眼用显示数据分别单独地流化而得到的左眼用的数据流和右眼用的数据流双方；

流生成单元，生成显示数据的数据流，并且根据上述附加信息所表示的内容，生成上述左眼用的数据流和上述右眼用的数据流；以及

发送单元，将上述附加信息、上述影像流及由上述流生成单元生成的全部的流复用并发送。