CN104506839A - 处理三维视频信号的方法和执行该方法的数字广播接收机 - Google Patents

Abstract

本发明公开了一种处理三维视频信号的方法和执行该方法的数字广播接收机。一种用于发送三维(3D)广播信号的方法，该方法包括：获取由至少一个摄像机捕获的视频数据；格式化从获取的由第一摄像机捕获的视频数据提取的二维2D视频流、以及针对3维电视3DTV业务的包括信令信息的至少一个流；对包括所述2D视频流以及针对3DTV业务的所述至少一个流的3D广播信号编码；发送所述3D广播信号，其中，所述信令信息包括：分辨率字段，所述分辨率字段标识所述3DTV业务的分辨率是否与所述2D视频流的2DTV业务的分辨率相同。

Description

处理三维视频信号的方法和执行该方法的数字广播接收机

本申请是申请号为200980158098.0、国际申请号为PCT/KR2009/007599、申请日为2009年12月18日、发明名称为“用于处理三维(3D)视频信号的方法和用于执行该处理方法的数字广播接收机”的发明专利申请的分案申请。

技术领域

本发明涉及三维(3D)广播，更具体地，涉及一种用于处理3D视频信号的方法和用于执行该处理方法的数字广播接收机。

背景技术

通常，三维(3D)图像(或立体图像)使用立体视觉原理向用户的眼睛提供立体效果。人类通过由他们的彼此相距大约65mm的双眼之间的距离引起的双眼视差感受深度，从而3D图像使得右眼和左眼都能够分别观看它们关联的平面图像，并且人脑把两个不同图像彼此合并，导致3D图像中的深度感和存在感。

例如，上面提到的3D图像显示方法可分为立体方案、体积方案、全息方案等。另外，3D图像显示装置把深度信息加入到二维(2D)图像或者使用左视图像信息和右视图像信息，从而3D图像显示装置的用户能够感受到3D图像中的逼真感和真实感。

另外，允许用户观看3D图像的方法可以示例性地分为向用户提供偏振眼镜的一种方法和不向用户提供偏振眼镜的另一种方法。

根据现有技术的电视已被设计为仅显示2D图像。相比之下，许多开发者和公司近来对数字广播中使用的3D影像技术进行了深入研究。然而，与3D广播信号处理技术相关的详细协议还未定义，从而广播内容提供商、广播站和DTV制造商在这种3D广播信号处理方面存在极大的困惑。

发明内容

技术问题

因此，本发明致力于一种用于处理三维(3D)视频信号的方法和用于执行该处理方法的数字广播接收机，其基本上消除了由于现有技术的限制和缺点而导致的一个或多个问题。

本发明的目的在于提供一种能够处理3D广播信号的新协议。

本发明的另一目的在于提供一种用于更有效地发送3维电视(3DTV)广播业务所需的信令(signaling)信息的方法。

本发明的又一目的在于提供一种用于实现3DTV广播业务而不管广播站是否发送摄像机参数信息的方法。

技术方案

为了实现这些目的和其它优点以及根据本发明的目的，如在此具体实施和广义描述的，一种用于接收三维(3D)广播信号的方法包括：接收针对3维电视(3DTV)业务的至少一个流的信令信息以及二维(2D)视频流，基于所述信令信息解复用针对3DTV业务的至少一个流以及2D视频流，对针对3DTV业务的至少一个解复用的流以及解复用的2D视频流解码，以及通过格式化针对3DTV业务的至少一个解码的流以及解码的2D视频流来输出3D视频信号。

在本发明的另一方面中，在此提供了一种用于发送三维(3D)广播信号的方法，该方法包括：获取由至少两个摄像机捕获的多个视频信息；格式化从获取的多个视频信息中提取的二维(2D)视频流以及针对3维电视(3DTV)业务的至少一个流的信令信息，对格式化的2D视频流以及格式化的针对3DTV业务的至少一个流的信令信息编码，以及发送编码的2D视频流以及编码的针对3DTV业务的至少一个流的信令信息。

应该理解，本发明的前面的一般描述和下面的详细描述都是示例性和解释性的，旨在提供对要求保护的本发明的进一步解释。

有益效果

本发明的一个实施方式提供了一种能够处理3D广播信号的新协议。

本发明的另一实施方式提供了一种用于更有效地发送3DTV广播业务所需的信令信息的方法。

本发明的另一实施方式提供了一种用于实现3DTV广播业务而不管广播站是否发送摄像机参数信息的方法。

附图说明

附图被包括以提供对本发明的进一步理解，附图例示了本发明的实施方式并与描述一起用于解释本发明的原理。

在附图中：

图1是例示根据本发明一个实施方式的针对3DTV业务的多个流的结构图。

图2示出根据本发明一个实施方式的虚拟频道表(VCT)。

图3示出根据本发明一个实施方式的包括来自图2中所示的VCT的字段中的添加值的业务类型字段。

图4示出根据本发明一个实施方式的添加到图2中所示的VCT的3D业务位置描述符。

图5示出根据本发明一个实施方式的节目映射表(PMT)。

图6示出根据本发明一个实施方式的添加到图5中所示的PMT的3D业务位置描述符。

图7是例示根据本发明一个实施方式的用于处理包括3D业务位置描述符的3D广播信号的数字广播接收机的组成部分的方框图。

图8是例示根据本发明实施方式的当数字广播发射机发送摄像机参数时控制数字广播发射机和数字广播接收机以提供3DTV业务的方法的流程图。

图9是例示根据本发明实施方式的图8中所示的数字广播发射机操作的一些部分的概念图。

图10是例示根据本发明实施方式的图8中所示的数字广播接收机操作的一些部分的概念图。

图11示出根据本发明一个实施方式的在实现3DTV业务的屏幕图像的过程中不具有遮挡数据的一种情况和具有遮挡数据的另一种情况。

图12是例示根据本发明实施方式的当数字广播发射机不发送摄像机参数时控制数字广播发射机和数字广播接收机以提供3DTV业务的方法的流程图。

图13是例示根据本发明实施方式的图12中所示的数字广播发射机的一些操作的概念图。

图14是例示根据本发明实施方式的图12中所示的数字广播接收机的一些操作的概念图。

图15是例示当数字广播发射机不发送摄像机参数时使用观测几何学假设获取3DTV业务所需的附加视点图像的方法的概念图。

具体实施方式

现在将详细参考本发明的优选实施方式，附图中例示了这些优选实施方式的示例。以下将参照附图给出的详细描述旨在解释本发明的示例性实施方式，而非示出根据本发明能够实现的仅有的实施方式。

在描述本发明之前，应该注意，本发明中公开的大多数术语是考虑到本发明的功能而定义的，这些术语对应于现有技术中公知的一般术语，并且能够根据本领域技术人员的意图、惯例或新技术的引入不同地确定。在一些情况下，申请人根据需要选择了一些术语，并且以下将在本发明的下面描述中公开这些术语。因此，优选地，基于在本发明中的含义来理解由申请人定义的术语。

根据本发明的以下实施方式，能够处理3D视频信号的信息被包含在系统信息中。系统信息也可以称为业务信息。例如，系统信息包括频道信息、节目信息、事件信息等。根据本发明的实施方式，系统信息可以根据需要而被新添加到节目专用信息/节目和系统信息协议(PSI/PSIP)。然而，本发明的范围和精神不限于上述示例。如果假设存在能够以表格式发送系统信息的协议，则本发明的范围和精神也能够应用于其它示例而不管系统信息的标题如何。

仅为了说明的目的和对本发明的更好理解而公开PSI。PSI可包括节目关联表(PAT)、条件访问表(CAT)、节目映射表(PMT)、网络信息表(NIT)等。

PAT对应于由PID为“0”的包传输的专用信息。PAT传输每个节目的PMT的PID信息和NIT的PID信息。CAT传输广播发射系统中使用的付费广播业务的信息。PMT传输节目标识号、传输流包的包标识符(PID)信息、以及PID信息，其中在传输流包的包标识符(PID)信息中传输构成节目的视频和音频数据的各比特流，在PID信息中传输PCR(节目时钟基准)。NIT传输实际传输网络的信息。例如，通过解析PID为“0”的PAT，可以获取节目编号和PMT的PID信息。另外，在解析从PAT获取的PMT的情况下，获取关于节目的组成要素之间的相关性的信息。

PSIP可包括例如虚拟频道表(VCT)、系统时间表(STT)、分级区域表(RRT)、扩展文本表(ETT)、直接频道转换表(DCCT)、直接频道转换选择码表(DCCSCT)、事件信息表(EIT)、主指南表(MGT)等。

VCT传输关于虚拟频道的信息(例如，用于选择频道的频道信息)和关于用于接收音频和/或视频数据的包标识符(PID)的信息。也就是说，当解析VCT时，能够知道频道名称、频道编号、以及频道中运载(carry)的广播节目的音频和视频数据的PID。STT传输当前日期和时间信息，RRT传输关于对于节目分级级别的区域和咨询机构的信息。ETT传输关于频道和广播节目的附加描述，EIT传输关于虚拟频道的事件的信息。DCCT/DCCSCT传输关于自动频道转换的信息，MGT传输PSIP中包含的各个表的版本和PID信息。

现有技术仅提供了2维(2D)广播业务，从而它未定义实现3DTV业务所需的详细信令信息。

因此，本发明的一个实施方式提供3DTV业务所需的信令信息，定义用于发送、接收和处理定义的信息的过程，以下将描述其详细描述。

图1是例示根据本发明一个实施方式的针对3DTV业务的多个流的结构图。如图1中所示，为了提供3DTV业务，可能需要2D视频流、深度流、遮挡(occlusion)流、透明度(transparency)流等。然而，可以可选地使用遮挡流、透明度流等。以下将参照图2的附图描述用于定义针对上述流的信令信息的方法。

图2示出根据本发明一个实施方式的虚拟频道表(VCT)。图3示出根据本发明一个实施方式的包括来自图2中所示的VCT的字段中的添加值的业务类型字段。

图2中所示的字段的简要描述如下。

‘table_id’字段的值指示这里定义的表部分的类型。对于‘terrestrial_virtual_channel_table_section()’字段，‘table_id’字段应该设置为‘0xC8’。

‘section_syntax_indicator’字段是1位字段，对于‘terrestrial_virtual_channel_table_section()’字段应该设置为‘1’。

‘private_indicator’字段应该设置为‘1’。

‘section_length’字段是12位字段，其中前两位应该设置为‘00’。它指定从紧跟在‘section_length’字段后面开始并包括CRC的部分的字节数。此字段中的值不应该超过‘1021’。

‘transport_stream_id’字段指示16位MPEG-2传输流(TS)ID，因为它出现在由为零的PID值所识别的节目关联表(PAT)中以用于这种复用。‘transport_stream_id’字段区分地面虚拟频道表(TVCT)与可在不同PTC(物理传输信道)中广播的其它信息。

‘version_number’字段是虚拟频道表(VCT)的版本号。对于当前VCT(current_next_indicator＝‘1’)，每当当前VCT的定义改变时版本号应该增加1。一旦达到值31，它回到零‘0’。对于下一VCT(current_next_indicator＝‘0’)，版本号应该比当前VCT的版本号大一个单位(同样按照模32运算)。在任何情况下，‘version_number’字段的值应该与主指南表(MGT)中的对应条目的‘version_number’字段的值相同。

‘current_next_indicator’字段是1位指示器。在‘current_next_indicator’字段设置为‘1’的情况下，这意味着发送的虚拟频道表(VCT)当前可用。当‘current_next_indicator’字段的位设置为‘0’时，这意味着发送的表还不可用，并且应该是下一个变为有效的表。此标准不要求必须发送‘下一个’表(‘current_next_indicator’字段设置为‘0’的那些表)。应该通过使‘version_number’字段增加来示意对当前可用表的更新。

‘section_number’字段给出这个部分的编号。地面虚拟频道表(TVCT)中的第一部分的‘section_number’字段应该设置为‘0x00’。针对地面虚拟频道表(TVCT)中的每个附加部分，它应该增加1。

‘last_section_number’字段指定整个地面虚拟频道表的最后一个部分(即，具有最高section_number值的部分)的编号。

‘protocol_version’字段用于在未来允许表类型运载可能与当前协议中定义的参数不同地构造的参数。当前，对‘protocol_version’字段有效的唯一一个值是零。‘protocol_version’字段的非零值可由此标准的未来版本使用以指示结构不同的表。

‘num_channels_in_section’字段指定这个VCT部分中的虚拟频道的数量。这个数量由部分的长度限制。

‘short_name’字段指定虚拟频道的名称。

‘major_channel_number’字段指示10位数字，其表示与此‘for’循环迭代中定义的虚拟频道关联的‘主’频道编号。每个虚拟频道应该关联有主频道编号和辅频道编号。主频道编号和辅频道编号都用作针对虚拟频道的用户参考编号。‘major_channel_number’字段应该存在于‘1’和‘99’之间。‘major_channel_number’字段的值应该被设置为使得不存在‘major_channel_number/minor_channel_number’对在TVCT内重复的情况。

‘minor_channel_number’字段指示从‘0’到‘999’的范围中的10位数字，以表示‘辅’或‘副’频道编号。该‘minor_channel_number’字段与‘major_channel_number’字段一起可指示两部分频道编号，其中‘minor_channel_number’字段表示该编号的第二或右侧部分。当‘service_type’字段用于指示模拟电视时，‘minor_channel_number’字段应该设置为零‘0’。‘service_type’字段的值为‘ATSC_digital_television’或‘ATSC_audio_only’的的每个业务应该使用从1到99的任何辅编号。‘minor_channel_number’字段的值应该设置为使得不存在‘major_channel_number/minor_channel_number’对在TVCT内重复的情况。对于其它类型的业务(诸如数据广播)，有效辅虚拟频道编号处于从‘1’到‘999’的范围中。

‘modulation_mode’字段指示针对传输的与虚拟频道关联的载波的调制模式。

‘carrier_frequency’字段设置为零值。‘carrier_frequency’字段可用于识别载波频率，但不赞成使用‘carrier_frequency’字段。

处于从0x0000到0xFFFF的范围中的‘channel_TSID’字段表示与运载由虚拟频道参考的MPEG-2节目的传输流(TS)关联的MPEG-2传输流(TS)ID。对于无效频道，‘channel_TSID’字段应该表示当变为有效时将运载业务的传输流(TS)的ID。期望接收机使用‘channel_TSID’字段来核实任何接收的传输流(TS)实际上等同于所希望的复用。对于模拟频道(service_type 0x01)，‘channel_TSID’字段应该指示NTSC信号的VBI中所包括的模拟TSID的值。

‘program_number’字段可以将这里定义的虚拟频道与MPEG-2节目关联和TS节目映射表相关联。

对于表示模拟业务的虚拟频道，应该针对‘program_number’字段指定值0xFFFF。

‘ETM_location’字段指定扩展文本消息(ETM)的存在和位置。

‘access_controlled’字段指示1位布尔标志。当设置了‘access_controlled’字段的布尔标志时，这意味着访问与虚拟频道关联的事件可能受控。当该布尔标志设置为‘0’时，事件访问不受限制。

‘hidden’字段指示1位布尔标志。当设置了‘hidden’字段的布尔标志时，这意味着无法由用户通过直接输入虚拟频道编号访问该虚拟频道。隐藏的虚拟频道在用户浏览频道时被跳过，并且如果通过直接频道输入进行访问则看起来好像未被定义一样。隐藏频道的典型应用是测试信号和NVOD业务。隐藏频道及其事件是否可出现在EPG显示中取决于‘hide_guide’位的状态。

‘hide_guide’字段指示布尔标志。当‘hide_guide’字段的布尔标志针对隐藏频道设置为零‘0’时，这意味着虚拟频道及其事件可出现在EPG显示中。对于不具有隐藏位设置的频道，应该忽略这个位，从而非隐藏频道及其事件可以总是被包括在EPG显示中而不管‘hide_guide’位的状态如何。‘hide_guide’位设置为‘1’的隐藏频道的典型应用是测试信号和可通过应用级指针访问的业务。

‘service_type’字段应该识别虚拟频道中运载的业务的类型。具体地，如图3中所示的，如果‘service_type’字段设置为0x10，则这意味着虚拟频道运载3D电视节目。毫无疑问，公开上述值0x10仅是为了说明的目的，对于本领域技术人员而言很明显的，本发明的范围和精神并不仅限于上述值，而是可根据需要应用于其它示例。

‘source_id’字段识别与虚拟频道关联的节目源。在此上下文中，源是一个特定的视频、文本、数据或音频节目源。保留为零的源ID值。在运载VCT的传输流(TS)内从0x0001到0x0FFF的范围中的源ID值应该是唯一的，而值0x1000到0xFFFF应该在区域级别是唯一的。0x1000及高于它的Source_id值应该由ATSC指定的注册机构(RA)发布和管理。

‘CRC_32’字段包含确保来自解码器中的寄存器的零输出的CRC值。

此外，如果‘service_type’字段具有与3DTV业务对应的值，则图2中所示的描述符可新定义构造3DTV业务所需的深度信息、遮挡信息和透明度信息。以下将参照图4详细描述深度信息、遮挡信息和透明度信息。

图4示出根据本发明一个实施方式的添加到图2中所示的VCT的3D业务位置描述符。图4中所示的描述符存在于图2中所示的VCT中，并执行构造对应虚拟频道的3D分量的信息的信令通知。各字段的详细描述如下。

‘PCR_PID’字段是13位字段，其指示应该包含对于由‘program_number’字段指定的节目有效的PCR字段的传输流(TS)包的PID。

‘number_elements’字段指示与VCT对应的元素的数量。例如，前述元素可指示用于3DTV业务的元素。

‘data_type’字段指示上述元素是否与深度数据、遮挡数据或透明度数据关联。

‘elementary_PID’字段是13位字段，其指定运载关联的节目元素的传输流(TS)包的PID。

‘codec_type’字段识别上述元素的编码类型。例如，编码类型可以是MPEG-2视频、H.264/高级视频编码(AVC)视频等。

根据‘bit_depth_minus_1’字段，如果把值1加到‘bit_depth_minus_1’字段，则这个相加结果意味着用于表示每个像素的位数。例如，位数可以设置为8、10等，从而位可以是8位、10位等。

‘same_resolution_flag’字段指示与3DTV业务关联的每个元素的分辨率是否与2D视频的分辨率相同。如果与3DTV业务关联的每个元素的分辨率不同于2D视频的分辨率，则‘same_resolution_flag’字段使用‘horizontal_size’字段和‘vertical_size’字段指示分辨率的水平尺寸和垂直尺寸。

以下将详细描述本发明的上述实施方式。

根据本发明一个实施方式的数字广播接收机不仅接收针对3DTV业务的一个或多个流的信令信息，还接收2D视频流。基于信令信息，数字广播接收机可以对针对3DTV业务的一个或多个流和2D视频流进行解复用。

数字广播接收机分别对针对3DTV业务的至少一个解复用的流和解复用的2D视频流解码。数字广播接收机对针对3DTV业务的至少一个解码的流和解码的2D视频流进行格式化，从而它输出3D视频数据。

如上所述，例如，可以在图2所示的VCT的描述符中定义信令信息，并且该描述符可以是图4中所示的语法。根据本发明的另一实施方式，例如，可以在稍后描述的图5所示的PMT的描述符中定义信令信息，并且该描述符可以是稍后描述的图6中所示的语法。

信令信息可包括用于识别深度信息、遮挡信息和透明度信息中的至少一个的第一字段(例如，图4的‘data_type’字段)和用于识别深度信息、遮挡信息或透明度信息的编码类型的第二字段(例如，图4的‘codec_type’字段)。

信令信息还可以包括用于识别针对3DTV业务的至少一个流的分辨率大小是否与2D视频流的分辨率大小相等的第三字段(例如，图4中所示的‘same resolution flag’字段)。

本发明的上述实施方式的详细描述如下。

广播接收机使用图2中所示的VCT中所包含的‘service_type’字段确定是否在对应虚拟频道上提供3DTV业务。如果在对应虚拟频道上提供3DTV业务，则广播接收机使用业务位置描述符检测2D视频流的elementary_PID信息。2D视频流的PID可以称为‘PID_V’。

广播接收机使用图4中所示的3D业务位置描述符(‘3D_service_location_descriptor’字段)确定深度信息、遮挡信息和透明度信息中的哪一个与对应的基本流关联。随后，广播接收机获取对应基本流的elementary_PID。深度关联流的PID可称为‘PID_D’，遮挡关联流的PID可称为‘PID_O’，透明度关联流的PID可称为‘PID_T’。毫无疑问，可以在广播接收机处部分或完全接收以上三个流。可以使用‘data_type’字段确定指示哪一个流可用的可用性信息。

广播接收机使用图4中所示的3D业务位置描述符(‘3D_service_location_descriptor’字段)中所包含的‘codec_type’字段和‘bit_depth_minus_1’字段确定编码信息和位信息。

广播接收机通过解复用接收的流而将与PID_V对应的流发送给视频解码器，并且视频解码器对接收的流解码。

广播接收机分别把与PID_D、PID_O和PID_T对应的流发送给用于处理深度信息的第一解码器、用于处理遮挡信息的第二解码器和用于处理透明度信息的第三解码器。第一解码器、第二解码器和第三解码器可以集成在一个3D元数据解码器中，从而每个解码器或者所有解码器可称为3D元数据解码器。

最后，广播接收机同时处理2D视频流和与2D视频流对应的针对3DTV业务的至少一个流(例如，深度、遮挡、透明度等)，从而它可以进行渲染或格式化3D视频数据。

图5示出根据本发明一个实施方式的节目映射表(PMT)。

图5中所示的字段的简要描述如下。

‘table_id’字段是在‘TS_program_map_section’字段中应该总是设置为‘0x02’的8位字段。

‘section_syntax_indicator’字段是应该设置为‘1’的1位字段。

‘section_length’字段是12位字段，其中前两位应该设置为‘00’。其余10位可指定从紧跟在‘section_length’字段后面开始并包括CRC的部分的字节数。这个字段中的值不应该超过‘1021’(0x3FD)。

‘program_number’字段是16位字段。它指定可应用‘program_map_PID’字段的节目。一个节目定义应该仅在一个‘TS_program_map_section’字段内被运载。这意味着节目定义永远不会长于‘1016’(0x3F8)。例如，‘program_number’字段可用作对于广播频道的指定。通过描述属于节目的不同节目元素，来自不同源的数据(例如，顺序事件)能够使用‘program_number’字段连接在一起以形成连续的一组流。

‘version_number’字段是‘TS_program_map_section’字段的版本号。当该部分内运载的信息的发生变化时，版本号应该增加1(模32)。版本号指示单个节目的定义，因此指示单个部分。当‘current_next_indicator’字段设置为‘1’时，‘version_number’字段应该是当前可用的‘TS_program_map_section’字段的‘version_number’字段。当‘current_next_indicator’字段设置为‘0’时，‘version_number’字段应该是下一可用‘TS_program_map_section’字段的‘version_number’字段。

‘current_next_indicator’字段可以设置为‘1’，这指示发送的‘TS_program_map_section’字段当前可用。当‘current_next_indicator’字段的位设置为‘0’时，该‘0’位指示发送的‘TS_program_map_section’字段还不可用，并且应该是下一个变为有效的‘TS_program_map_section’字段。

‘section_number’字段的值应该为‘0x00’。

‘last_section_number’字段的值应该为‘0x00’。

‘PCR_PID’字段是13位字段，其指示应该包含对于由‘program_number’字段指定的节目有效的PCR字段的传输流(TS)包的PID。在没有PCR与针对私有流的节目定义相关联的情况下，则这个字段将会采用值‘0x1FFF’。

‘program_info_length’字段是12位字段，其中前两位应该为‘00’。其余10位可指定紧跟在‘program_info_length’字段后面的描述符的字节数。

‘stream_type’字段是8位字段，其指定PID值由‘elementary_PID’字段指定的包内运载的节目元素的类型。

‘elementary_PID’字段是13位字段，其指定运载关联节目元素的传输流(TS)包的PID。

‘ES_info_length’字段是12位字段，其中前两位应该为‘00’。其余10位可指定紧跟在‘ES_info_length’字段后面的关联节目元素的描述符的字节数。

‘CRC_32’字段是32位字段，它包含给出解码器中的寄存器的零输出的CRC值。

另外，图5中所示的PMT的‘stream_type’字段可用于与图4中所示的‘data_type’字段相同的目的。图5中所示的描述符可位于‘ES_info_length’字段下，并包括用于3DTV业务的基本流的信息。图5中所示的描述符可设计为具有图6中所示的3D业务位置描述符的形式，并且图6中所示的字段的功能可以与图4中所示的字段的功能相同。因此，根据本发明，能够把针对3DTV的信令信息插入到VCT和PMT中的每一个中。图6示出根据本发明一个实施方式的添加到图5中所示的PMT中的3D业务位置描述符。

以下将详细描述本发明的另一实施方式。

广播接收机使用图5中所示的PMT的‘stream_type’字段确定深度信息、遮挡信息和透明度信息中的哪一个与对应的基本流关联。随后，广播接收机获取对应基本流的elementary_PID。深度关联流的PID可称为‘PID_D’，遮挡关联流的PID可称为‘PID_O’，透明度关联流的PID可称为‘PID_T’。毫无疑问，可以在广播接收机处部分或完全接收以上三个流。可以使用‘stream_type’字段确定指示哪一个流可用的可用性信息。

广播接收机使用图6中所示的3D业务位置描述符(‘3D_service_location_descriptor’字段)中所包含的‘codec_type’字段和‘bit_depth_minus_1’字段确定编码信息和位信息。

广播接收机使用图5中所示的节目编号(‘program_number’)字段把接收的信息映射到从VCT提供的信息。结果，广播接收机确定针对3DTV业务提供哪个虚拟频道。

广播接收机通过解复用接收的流把与PID_V(即，与2D视频流对应的PID)对应的流发送给视频解码器，并且视频解码器对接收的流解码。

广播接收机分别把与PID_D、PID_O和PID_T对应的流发送给用于处理深度信息的第一解码器、用于处理遮挡信息的第二解码器和用于处理透明度信息的第三解码器。第一解码器、第二解码器和第三解码器可以集成在一个3D元数据解码器中，从而每个解码器或者所有解码器可仅称为3D元数据解码器。

最后，广播接收机同时处理2D视频流和与2D视频流对应的针对3DTV业务的至少一个流(例如，深度、遮挡、透明度等)，从而它可以进行渲染或格式化3D视频数据。

图7是例示根据本发明一个实施方式的用于处理包括3D业务位置描述符的3D广播信号的数字广播接收机的组成部分的框图。

参照图7，根据本发明一个实施方式的数字广播接收机700包括：调谐器和解调器710、残留边带(VSB)解码器720、TP解复用器730、PSI/PSIP/SI处理器740、3D视频解码器750、输出格式化器760等。TP解复用器(TP Demux)730也可以用作PID过滤器，3D视频解码器可包括初级视频解码器750和3D元数据解码器752。

调谐器和解调器710可从数字广播发射机接收数字广播信号，并解调接收的广播信号。例如，数字广播信号可包括针对3DTV业务的至少一个流的信令信息、2D视频流等。

VSB解码器720对解调后的信号解码。TP解复用器730通过使用PID把2D视频流发送给初级视频解码器751，把针对3DTV业务的一个或多个流发送给3D元数据解码器752，并把针对3DTV业务的一个或多个流的信令信息发送给PSI/PSIP/SI处理器740。

初级视频解码器751可以对解复用的2D视频流解码。3D元数据解码器752从PSI/PSIP/SI处理器740接收图4或6中所示的针对3D业务的信令信息，并对针对3DTV业务的至少一个解复用的流(例如，深度流、遮挡流、透明度流、DOT流等)解码。

输出格式化器760格式化针对3DTV业务的至少一个解码的流和解码的2D视频流，从而它输出3D视频数据。例如，3D视频数据可以是立体视频数据。

图8是例示根据本发明实施方式的当数字广播发射机发送摄像机参数时控制数字广播发射机和数字广播接收机以提供3DTV业务的方法的流程图。以下将参照图8描述允许数字广播发射机发送包括摄像机参数的视频信号的方法和允许数字广播接收机基于摄像机参数生成并恢复视频数据(或图像数据)的方法。

数字广播发射机在步骤S810处使用几个摄像机(例如，一对立体摄像机)捕获视频数据并获取多个视频信息。这几个摄像机中的至少一个摄像机可以是真实摄像机，而其余的每个摄像机可以是虚拟摄像机。在这种情况下，真实摄像机可以是把捕获的图像的流发送给数字广播接收机的摄像机。虚拟摄像机是指把摄像机参数发送给数字广播接收机、以使得视频流不被发送给数字广播接收机并且数字广播接收机能够恢复对应的流的摄像机。上述虚拟摄像机可以是实际不存在的，但下面的针对虚拟摄像机的摄像机参数可以由广播节目制作人或工程师可选地决定。

对应于每个真实摄像机，布置用于获得与图像中包含的每个主视点关联的深度信息(或范围信息)的摄像机(称为深度摄像机)，从而数字广播接收机能够同时获得图像(或视频信息)和深度信息。此外，数字广播发射机可以从由摄像机捕获的图像中提取要被发送给数字广播接收机的附加信息。所述附加信息可包括用于估计由前面物体遮盖的盲区(blind part)的特定信息。例如，该特定信息可包括几何信息(诸如，物体轮廓)、物体透明度信息、颜色信息等。根据本发明的实施方式，可以从真实摄像机获取所述附加信息。然而，根据任何修改的实施方式，可以从由虚拟摄像机捕获的图像或者由真实摄像机捕获的图像和由虚拟摄像机捕获的图像的组合获取所述附加信息。可能并不总是需要深度信息和/或附加信息，当数字广播接收机生成虚拟图像时，可以可选地提取并发送深度信息和/或附加信息。

在步骤S820处，数字广播发射机使用由摄像机捕获的多个视频信息不仅格式化2D视频流还格式化针对3DTV业务的至少一个流的信令信息。换句话说，数字广播发射机可以复用具有以上图像的形式的视频信号以及深度信息和附加信息的组合。

在步骤S830处，数字广播发射机对格式化的2D视频流、针对3DTV业务的至少一个流的信令信息和摄像机参数编码。在步骤S840处，数字广播发射机发送编码的2D视频流、针对3DTV业务的至少一个流的信令信息和摄像机参数。

然而，虽然在图8中例示了步骤S820、S830和S840处理2D视频流、信令信息、摄像机参数等，但可以是这样的情况，即可以附加地处理与信令信息对应的深度流、遮挡流和透明度流，从而可以把处理结果发送给数字广播接收机。

如果在步骤S850处数字广播接收机接收到2D视频流、信令信息和摄像机参数，则数字广播接收机根据2D视频流和信令信息恢复图像。根据本发明的另一实施方式，可以在数字广播接收机处附加地接收与信令信息对应的深度流、遮挡流和透明度流。

首先，在步骤S860处，数字广播接收机使用摄像机参数执行3D变形(warping)，并在虚拟摄像机的位置处恢复深度信息。随后，数字广播接收机可在步骤S870处根据3D格式合成并恢复在虚拟摄像机位置处获取的图像。数字广播接收机在步骤S880处输出3D视频数据。3D视频数据可以是立体视频数据等。

图9是例示根据本发明实施方式的图8中所示的数字广播发射机操作的一些部分的概念图。图10是例示根据本发明实施方式的图8中所示的数字广播接收机操作的一些部分的概念图。

参照图9和图10，数字广播发射机可发送编码的视频信息、编码的深度信息和编码的附加信息，数字广播接收机可对视频信息、深度信息和附加信息解码，从而能够生成并恢复目标图像，以下将详细描述其详细描述。

从图9可以看出，为了描述的方便和对本发明的更好理解，图9中示出了一个真实摄像机和一个虚拟摄像机。然而，仅是为了说明的目的而公开真实摄像机的数量和虚拟摄像机的数量，对于本领域技术人员而言很明显的是，也可以根据需要安装更多的真实摄像机和更多的虚拟摄像机。

在图9中，假设由真实摄像机捕获的图像是‘img[0]’，并且由虚拟摄像机捕获或可捕获的图像是‘img[1]’。假设由p[0]表示图像img[0]上与3D真实世界中的点P对应的点，并且由p[1]表示图像img[1]上与点P对应的点。摄像机参数可分为摄像机内(intrinsic)参数和摄像机外(extrinsic)参数。摄像机内参数可指示摄像机镜头的光学特性(诸如，焦距和主点)和摄像机的独特特性(诸如，倾斜因子)。摄像机外参数可指示真实摄像机或虚拟摄像机的几何位置和方向，并且可包括每个参考坐标系相对于真实世界的参考坐标系的平移和旋转量等。在图9的示例中，假设第一摄像机(即，真实摄像机)的摄像机内参数由‘A’表示。如果假设第二摄像机(即，虚拟摄像机)与第一摄像机种类相同、并且利用第一摄像机进行了充分标定(calibrate)，则第二摄像机的摄像机内参数也按照与第一摄像机相同的方式设置为‘A’。假设第一摄像机的旋转量由r[0]表示并且第一摄像机的平移由t[0]表示。第二摄像机的旋转量由r[1]表示并且第二摄像机的平移由t[1]表示。

根据本发明的实施方式，所有真实摄像机中的每个真实摄像机的深度信息和图像信息被发送给数字广播接收机。另外，附加信息基于一个图像而构造，然后发送给数字广播接收机。因此，在包括一个真实摄像机和一个虚拟摄像机的图9的示例中，将用作真实摄像机的第一摄像机的图像img[0]和深度信息depth[0]发送给数字广播接收机。另外，还将附加信息发送给数字广播接收机，从而能够在数字广播接收机中使用第二摄像机的图像img[1]和深度信息depth[1]。

数字广播接收机对编码的视频信号解码，并恢复针对用作真实摄像机的第一摄像机的图像img[0]、深度信息depth[0]和附加信息。另外，数字广播接收机在解码过程期间恢复针对所有摄像机的摄像机参数A、r[0]、t[0]、r[1]和t[1]。参照图10，数字广播接收机使用摄像机参数A、r[0]、t[0]、r[1]和t[1]、第一摄像机的图像img[0]和深度信息‘depth[0]’以及附加信息在第二摄像机的位置处生成深度信息‘depth[1]’。随后，数字广播接收机执行3D变形，从而生成第二虚拟摄像机的位置的图像img[1]。以这种方法，获得由第一摄像机捕获的图像img[0]和由第二摄像机捕获的图像img[1]，从而数字广播接收机格式化两个图像(即，真实图像img[0]和虚拟图像img[1])以显示3D图像。例如，真实图像和虚拟图像中的一个被设置为左视图像而另一个被设置为右视图像，从而这些图像根据3D格式立体地显示。

为了实现3DTV业务，必须获得附加视点图像。具体地，如图8中所示，以下将描述用于在发送摄像机参数的同时获得附加视点图像的方法。

3D空间的一个点(即，点P)被映射到第0摄像机中的p[0]，并被映射到第一摄像机中的p[1]。可以使用从数字广播发射机传送的摄像机参数通过下面的方程1表示p[i]、s[i]、A[i]、r[i]和t[i]之间的关系。

[方程1]

$s\left[i\right]\left[\frac{p\left[i\right]}{1}\right]=A\left[i\right]\left[\begin{array}{cc}r\left[i\right]& t\left[i\right]\end{array}\right]\left[\frac{P}{1}\right]$

在方程1中，s[i]是第i摄像机的比例因子，A[i]是第i摄像机的内参数，r[i]是第i摄像机的外参数中的旋转值，t[i]是第i摄像机的外参数中的平移值。

相对于被映射到第i摄像机的点，也可以由下面的方程2表示针对映射到第0摄像机的点的方程。

[方程2]

z[i]p[i]＝z[0]A[i]r[i]r[0]A[0]^-1p[0]-A[i]r[i]r[0]^-1t[0]+A[i]t[i]

在方程2中，z是深度值。

如果通过已获取2D视频数据的第0摄像机的参数对相应的深度图(depth map)执行3D变形(例如，单应变换)，则能够获得第i虚拟摄像机的深度图。因此，能够获得方程2的深度值‘z’，从而能够计算映射到第i摄像机的图像值p[i]。

方程1和方程2能够由下面的方程(a)和(b)表示。

[方程(a)]

s[i]p[i]＝A[i]r[i]P+A[i]t[i]

[方程(b)]

s[0]p[0]＝A[0]r[0]P+A[0]t[0]

方程(b)能够由下面的方程(c)表示。

A[0]r[0]P＝s[0]p[0]-A[0]t[0]

[方程(c)]

P＝s[0]r[0]^-1A[0]^-1p[0]-r[0]^-1t[0]

如果把方程(c)代入到方程(a)，则能够获得下面的方程(d)。

[方程(d)]

s[i]p[i]＝s[0]A[i]r[i]r[0]^-1A[0]^-1p[0]-A[i]r[i]r[i]^-1t[0]+A[i]t[i]

在方程(d)中，如果以深度‘z[i]’替换s(i)并且在两侧的每一侧都乘以p[i]^-1，则能够获取下面的方程(e)。

[方程(e)]

s[i]＝s[0]A[i]r[i]r[0]^-1A[0]^-1p[0]p[i]^-1-A[i]r[i]r[0]^-1t[0]p[i]^-1+A[i]t[i]p[i]^-1

例如，深度图是由与一个2D图片对应的每个像素的3D坐标组成的深度图像。因此，深度图的每个坐标值对应于与2D图片对应的位置(x,y)的深度值。换句话说，深度值能够表示从摄像机到物体的距离。

根据上述方法的应用，如果数字广播接收机建立预定虚拟摄像机，即如果数字广播接收机建立摄像机参数，则能够实现新视点的3D视频数据(或3D图像)。

图11示出根据本发明一个实施方式的在实现3DTV业务的屏幕图像的过程中不具有遮挡数据的一种情况和具有遮挡数据的另一种情况。

如上所述，当获得新视点图像以使用深度信息把2D视频信号转换成3D视频信号时，必须在随后的过程中利用外围值(peripheral value)(例如，像素值)对新视点的新观看部分(即，遮挡区)进行孔洞填充(hole-filling)处理。例如，如图11的上部分所示，孔洞填充处理甚至也可以应用于不具有遮挡数据的情况。

然而，在经传输信道传输遮挡信息的情况下，甚至可以在新视点处实现更完美的3D图像，如图11的下部所示。另外，当经传输信道传输透明度信息时，还能够更平滑地处理背景视图和全景视图之间的边界。

图12是例示根据本发明实施方式的当数字广播发射机不发送摄像机参数时控制数字广播发射机和数字广播接收机以提供3DTV业务的方法的流程图。以下将参照图12描述在数字广播发射机发送不具有摄像机参数的视频信号的情况下使得数字广播接收机能够生成并恢复图像的方法。

参照图12，数字广播发射机在步骤S1210处控制几个摄像机(例如，一对立体摄像机)捕获图像，从而它获得多个视频信息。几个摄像机中的至少一个摄像机是真实摄像机，每个其余的摄像机是虚拟摄像机。然而，也可以通过参照图8中所示的方法来解释图12中所示的过程。

在步骤S1220处，数字广播发射机使用由摄像机捕获的多个视频信息不仅格式化2D视频流还格式化针对3DTV业务的至少一个流的信令信息。

在步骤S1230处，数字广播发射机对格式化的2D视频流、针对3DTV业务的至少一个流的信令信息、以及摄像机参数编码。在步骤S1240处，数字广播发射机发送编码的2D视频流和针对3DTV业务的至少一个流的信令信息。

然而，虽然图12中例示了步骤S1220、S1230和S1240处理2D视频流、信令信息等，但可以是这样的情况，即可以附加地处理与信令信息对应的深度流、遮挡流和透明度流，从而可以把处理结果发送给数字广播接收机。

如果在步骤S1250处数字广播接收机接收到2D视频流和信令信息，则数字广播接收机可以根据2D视频流和信令信息恢复图像。根据本发明的另一实施方式，还可以在数字广播接收机处附加地接收与信令信息对应的深度流、遮挡流和透明度流。

首先，在步骤S1260处，数字广播接收机可使用观测几何学假设合成并恢复新视点图像，以下将参照图15描述其详细描述。另外，数字广播接收器在步骤S1270处输出3D视频数据。3D视频数据可以是立体视频数据等。

图13是例示根据本发明实施方式的图12中所示的数字广播发射机的一些操作的概念图。图14是例示根据本发明实施方式的图12中所示的数字广播接收机的一些操作的概念图。

参照图13，如果以不同于图9的方式而不发送照相机参数(例如，A、r、t等)，则无法如图10中所示地那样使用这种摄像机参数计算用于合成3D图像的新视点。在这种情况下，如图14或15中所示，有必要使用观测几何学假设计算新视点。

图15是例示当数字广播发射机不发送摄像机参数时使用观测几何学假设获取3DTV业务所需的附加视点图像的方法的概念图。在图15中，B是右眼和左眼之间的距离，D是显示面板和人之间的距离。如果把预定平均值代入到每个距离值，则如图15中所示，能够使用三角学原理计算视差(p)。可以使用深度图计算指示从新视点到显示面板的距离的距离(z)以实现3D图像。

因此，结合2D视频数据的每个像素，可以基于与深度图的每个像素对应的深度值计算距离(z)。另外，可通过下面的方程3计算视差(p)，并且可以使像素位置移动视差(p)。如果对2D视频数据的所有像素执行了上述处理，则能够实现新的3D合成图像。

[方程3]

$\frac{z}{p}=\frac{z+D}{B}\⇒p=\frac{\mathrm{Bz}}{z+D}$

如上所述，当获得新视点图像以使用深度信息把2D视频信号转换成3D视频信号时，必须在随后的过程中利用外围值(例如，像素值)对新视点的新观看部分(即，遮挡区)进行孔洞填充处理。

然而，在经传输信道传输遮挡信息的情况下，甚至可以在新视点处实现更完美的3D图像，如图11的下部所示。另外，当经传输信道传输透明度信息时，也能够更平滑地处理背景视图和全景视图之间的边界。

如上所述，根据本发明的一个实施方式，明确地定义了一种用于发送针对3DTV业务的信令信息的过程、一种用于接收该信令信息的过程、和一种用于处理该信令信息的过程，从而常规DTV不仅能够提供2D广播业务还能够提供3DTV业务。

此外，根据本发明的另一实施方式，不管是否发送信令信息和摄像机参数，都能够实现3DTV业务。

本发明中公开的方法可以用可由各种计算机装置执行、并记录在计算机可读记录介质上的形式实现。计算机可读记录介质可单独或组合地包括程序命令、数据文件、数据结构等。记录在介质上的程序命令可以是针对本发明专门设计和构造的程序命令，或者是计算机软件领域技术人员已知并可获得的程序命令。计算机可读记录介质的示例包括：磁介质(诸如，硬盘、软盘和磁带)、光介质(诸如，压缩盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光介质(诸如，软式光盘)和专门用于存储并执行程序命令的硬件装置(诸如，ROM、随机存取存储器(RAM)和闪存)。程序命令的示例包括：可由使用解释器等的计算机执行的高级语言代码；以及诸如由编译器产生的机器语言代码。上述硬件装置可以配置为作为一个或多个软件模块操作以执行本发明的操作，反之亦然。虽然已结合有限的实施方式和附图描述了本发明，但本发明不限于此。本领域技术人员应该理解，根据本说明书可以做出各种修改、添加和替换。因此，本发明的范围不应该限于示例性实施方式的描述，并且应该由所附权利要求及其等同物确定。

本发明的模式

已经以用于执行本发明的最佳模式描述了各种实施方式。

工业实用性

从以上描述中清楚可知，本发明的实施方式可以全部或部分应用于数字广播系统。

对于本领域技术人员而言明显的是，在不脱离本发明的精神或范围的情况下能够对本发明做出各种修改和变型。因此，本发明旨在涵盖落入所附权利要求及其等同物的范围内的本发明的修改和变型。

Claims (12)

1.一种用于发送三维(3D)广播信号的方法，该方法包括：

获取由至少一个摄像机捕获的视频数据；

格式化从获取的由第一摄像机捕获的视频数据提取的二维2D视频流、以及针对3维电视3DTV业务的包括信令信息的至少一个流；

对包括所述2D视频流以及针对3DTV业务的所述至少一个流的3D广播信号编码；

发送所述3D广播信号，

其中，所述信令信息包括：

分辨率字段，所述分辨率字段标识所述3DTV业务的分辨率是否与所述2D视频流的2DTV业务的分辨率相同。

2.根据权利要求1所述的方法，其中当所述分辨率字段指示所述3DTV业务的分辨率与所述2DTV业务的分辨率不同时，所述信令信息还包括：

指示所述3DTV业务中的帧的水平尺寸的horizontal_size字段；和

指示所述3DTV业务中的帧的垂直尺寸的vertical_size字段。

3.根据权利要求1所述的方法，其中所述信令信息还包括：

标识所述信令信息是否包括对应于所述2D视频流的深度信息、遮挡信息或透明度信息的data_type字段。

4.根据权利要求3所述的方法，其中格式化针对3DTV的包括信令信息的至少一个流包括：

基于虚拟摄像机的虚拟位置获得所述深度信息、遮挡信息或透明度信息。

5.根据权利要求3所述的方法，其中格式化针对3DTV的包括信令信息的至少一个流包括：

基于第二摄像机的位置获得所述深度信息、遮挡信息或透明度信息。

6.根据权利要求3所述的方法，其中所述信令信息还包括：

标识针对所述深度信息、遮挡信息或透明度信息应用的编码类型的codec_type字段。

7.一种用于处理三维(3D)广播信号的数字广播接收机，该数字广播接收机包括：

调谐器，其用于接收包括针对3维电视3DTV业务的包含信令信息的至少一个流、以及二维2D视频流的3D广播信号；

解复用器，其用于解复用针对所述3DTV业务的包含信令信息的至少一个流、以及所述2D视频流；

解码器，其对针对所述3DTV业务的至少一个流、以及所述2D视频流解码；

格式化器，其通过使用所述信令信息和解码的2D视频流来输出所述3DTV业务，

其中，所述信令信息包括：

分辨率字段，所述分辨率字段标识所述3DTV业务的分辨率是否与所述2D视频流的2DTV业务的分辨率相同。

8.根据权利要求7所述的数字广播接收机，其中当所述分辨率字段指示所述3DTV业务的分辨率与所述2DTV业务的分辨率不同时，所述信令信息还包括：

指示所述3DTV业务中的帧的水平尺寸的horizontal_size字段；和

指示所述3DTV业务中的帧的垂直尺寸的vertical_size字段。

9.根据权利要求7所述的数字广播接收机，其中所述信令信息还包括：

标识所述信令信息是否包括对应于所述2D视频流的深度信息、遮挡信息或透明度信息的data_type字段。

10.根据权利要求9所述的数字广播接收机，其中基于虚拟摄像机的虚拟位置获得所述深度信息、遮挡信息或透明度信息。

11.根据权利要求9所述的数字广播接收机，其中基于真实摄像机的位置获得所述深度信息、遮挡信息或透明度信息。

12.根据权利要求9所述的数字广播接收机，其中所述信令信息还包括：

标识针对所述深度信息、遮挡信息或透明度信息应用的编码类型的codec_type字段。