CN100452857C

CN100452857C - 数据处理装置

Info

Publication number: CN100452857C
Application number: CNB038160285A
Authority: CN
Inventors: 伊藤正纪
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2002-07-12
Filing date: 2003-07-11
Publication date: 2009-01-14
Anticipated expiration: 2023-07-11
Also published as: JPWO2004008759A1; JP4299836B2; WO2004008759A1; CN1666514A; AU2003248055A1; US20050254498A1

Abstract

本发明的数据处理装置具有：接收视频·声音数据的接收部(100)，以及对所接收到的视频·声音数据进行编码，生成MPEG2系统标准的编码数据的压缩部(101)，以及生成包含有参照编码数据的参照信息，与以编码数据的VOBU为抽样单位，描述抽样单位的属性的属性信息的附属信息的附属信息生成部(103)，以及将编码数据作为数据文件记录在记录媒体中，将附属信息作为附属信息文件记录在记录媒体中的记录部(120)。编码数据，能够根据附属信息文件以及MPEG2系统标准中的任一个进行解码。

Description

数据处理装置

技术领域

本发明涉及一种在光盘等记录媒体中记录动画流的流数据的数据处理装置以及方法。

背景技术

低比特率压缩并编码视频数据的各种数据流已经被标准化了。作为这样的数据视频的例子，公知的有MPEG2系统标准(ISO/IEC 13818-1)的系统流。系统流包括程序流(PS)、传输流(TS)以及PES流这3种。

近年来，制订新的MPEG4系统标准(ISO/IEC 14496-1)的数据流的动向正在不断发展。MPEG4系统标准的格式中，含有MPEG2视频流或MPEG4视频流的视频流，以及各种声音流被多重化，作为动画流而被生成。另外，MPEG4系统标准的格式中规定了附属信息。附属信息与动画流被作为1个文件(MP4文件)规定。MP4文件的数据结构，以Apple(注册商标)公司的QuickTime文件格式为基础，将其格式扩展而制订的。另外，MPEG2系统标准的系统流中，没有规定记录附属信息(访问信息、特殊再生信息、记录时间等)的数据结构。这是因为，MPEG2系统标准中，附属信息被设置在系统流内。

视频数据以及声音数据，以前一般被记录在磁带中。然而，近年来，作为代替磁带的记录媒体，以DVD-RAM、MO等为代表的光盘非常引人注目。

图1中显示了以前的数据处理装置350的构成。数据处理装置350，能够在DVD-RAM盘中记录数据流，并将记录在DVD-RAM盘中的数据量再生。数据处理装置350，从视频信号输入部300以及声音信号输入部302接收视频信号以及声音信号，分别传送给MPEG2压缩部301。MPEG2压缩部301，根据MPEG2标准及/或MPEG4标准，将视频数据以及音频数据压缩编码，生成MPEG4文件。更具体的说，MPEG2压缩部301，根据MPEG2视频标准，压缩编码视频数据以及声音数据，生成视频流以及声音流之后，进一步根据MPEG系统标准使这些流多重化，生成MP4流。此时，记录控制部341控制记录部320的动作。连续数据区域检测部340，按照记录控制部341的指示，调查被逻辑单元管理部343所管理的扇区的使用状况，检测出物理上连续的空区域。之后，记录部320，通过拾取器330在DVD-RAM盘331中写入MP4文件。

图2中显示了MP4文件20的数据结构。MP4文件20，具有附属信息21以及动画流22。附属信息21，根据规定视频数据、声音数据等的属性的原子结构23而被描述。图3中显示了原子结构23的具体例子。原子构造23，描述有分别关于视频数据以及声音数据的独立的帧单位的数据大小、数据的保存地址、表示再生时序的时间戳等的信息。这意味着视频数据以及声音数据分别作为单独的轨道原子而被管理。

图2中所示的MP4文件的动画流22中，分别以1个以上的帧单位配置视频数据以及声音数据从而构成流。例如，如果动画流能够利用MPEG2标准的压缩编码方式，则在动画流中规定多个GOP。GOP是对含有能够单独再生的视频帧的I图像，以及到下一个I图像之前的P图像以及B图像的多个视频帧进行概括的单位。在再生动画流22的任意视频帧时，首先指定动画流22内的含有该视频帧的GOP。

另外，以下，如图2的MP4文件的数据结构所示，将具有动画流与附属信息的结构的数据流称作“MP4流”。

图4中显示了动画流22的数据结构。动画流22含有视频轨道与声音轨道，各个轨道中附有识别码(TrackID)。轨道并不仅限于各存在1个，有时也在中途切换轨道。图5中显示了在中途切换轨道的动画流22。

图6中显示了动画流22与DVD-RAM盘331的记录单位(扇区)之间的对应关系。记录部320，在DVD-RAM盘中实时记录动画流22。更具体的说，记录部320，确保换算为最大的记录速率的11秒以上的物理上连续的逻辑块作为1个连续数据区域，按顺序在该区域中记录视频帧以及声音帧。连续数据区域，由分别为32k字节的多个逻辑块构成，每个逻辑块中附加有错误修正码。逻辑块进一步由分别为2k字节的多个扇区构成。另外，数据处理装置350的连续数据区域检测部340，在1个连续数据区域的剩余换算为最大记录速率为3秒时，再次检测出下一个连续数据区域。这样，当1个连续数据区域满了之后，在下一个连续数据区域中写入动画流。MP4文件20的附属信息21，也同样被写入确保的连续数据区域中。

图7中显示了在DVD-RAM的文件系统中管理所记录的数据的状态。利用例如UDF(Universal Disk Format)文件系统，或ISO/IEC 13346(Volumeand file structure of write-once and rewritable media using non-sequentialrecording for information interchange)文件系统。图7中，将连续记录的1个MP4文件以文件名MOV0001.MP4保存。该文件中，文件名以及文件入口的位置由FID(File Identifier Descriptor)进行管理。在文件·标识符栏中将文件名设定为MOV0001.MP4，在ICB栏中将文件入口设定为文件入口的开头扇区的编号。

另外，UDF标准相当于ISO/IEC 13346标准的安装规约。另外，DVD-RAM驱动器通过1394接口以及SBP-2(Serial Bus Protocol)协议与计算机(PC等)相连接，从而能够将以UDF为标准形式所写入的文件，从PC看也作为一个文件进行处理。

文件入口，对使用分配描述符的保存数据的连续数据区域(CDA：Contiguous Data Area)a、b、c以及数据区域d进行管理。具体的说，记录控制部341，在将MP4文件写入到连续数据区域a中时，一旦发现不良逻辑块，就跳过该不良逻辑块，从连续数据区域b的开头开始继续写入。接下来，记录控制部341在将MP4文件写入到连续数据区域b中时，一旦检测出存在无法写入的PC文件的记录区域时，就从连续数据区域c的开头开始继续写入。之后，在记录结束时，在数据区域d中记录附属信息21。其结果是，文件VR_MOVIE.VRO由连续数据区域a、b、c、d构成。

如图7所示，参照分配描述符a、b、c、d的数据的开始位置，与扇区的开头相一致。这样，除了最末的分配描述符d以外的分配描述符a、b、c所参照的数据的数据大小为1扇区的整数倍，这样的描述规则是预先制订的。

在再生MP4文件时，数据处理装置350取出经拾取器330以及再生部321所接收到的动画流，在MPEG2解码部中进行解码，生成视频信号与声音信号，从视频信号输出部310以及声音信号输出部312输出。从DVD-RAM盘读出数据与向MPEG2解码部311输出所读出的数据是同时进行的。此时，控制数据的读出速度比数据的输出速度大，使得应当再生的数据不会不足。因此，如果读出连续的数据并连续输出，可以确保数据的余量为数据读出速度与数据输出速度之间的差。将多余的能够确保的数据，作为因拾取器的跳跃而使读出数据中断时的输出数据使用，就能够实现连续再生。

具体的说，将从DVD-RAM盘331读取数据的速度设为11Mbps，将向MPEG2解码部311的数据输出速度设为最大8Mbps，拾取器的最大移动时间为3秒，则需要在拾取器的移动中，确保相当于向MPEG2解码部311的输出数据量的24M字节的数据作为余量输出数据。为了确保该数据量，需要有8秒的连续读出。也即，需要有将24M字节除以数据读出速度11Mbps与数据输出速度8Mbps之间的差所得到的时间的连续读出。

因此，8秒的连续读出期间，读出了88M字节，也即11秒的输出数据，所以，通过确保11秒以上的连续数据区域，就能够确保连续数据再生。

另外，连续数据区域中，可以存在数个不良逻辑块。因此，在该情况下，需要估计在再生时读出相关不良逻辑块所需要的读出时间，确保连续数据区域稍大于11秒。

在进行删除所记录的MP4文件的处理时，记录控制部341对记录部320以及再生部321进行控制，执行给定的删除处理。MP4文件，附属部分中含有表示对所有帧的显示时序(时间戳)。因此，例如在动画流部分的中间进行部分删除时，对于时间戳，可以只删除附属信息部分的时间戳。另外，MPEG2系统流中，由于部分删除位置中具有连续性，因此必须对动画流进行解析。这是因为时间戳分散在流中。

MP4文件格式的特征在于，将视频·声音流的视频帧或声音帧作为1个集合来记录。同时，作为国际标准，首先规定了使得对各个帧的随机访问成为可能的访问信息。访问信息以帧单位设置，含有例如帧大小、帧周期以及对于帧的地址信息。也即，对于视频帧，以显示时间的每1/30秒为1单位，对于声音帧，例如在AC-3声音的情况下，以合计1536个抽样为1单位(也即1声音帧)，在每个单位中保存访问信息。这样，例如在希望变更某个视频帧的显示时序时，只需要变更访问信息就能够对应，而不需要视频·声音流的变更。这样的访问信息的信息量，1小时大约为1M字节。

与访问信息的信息量相关联，根据例如“用于可重写/能够重新记录的盘的DVD标准部分3视频录制标准1.1版”，DVD论坛发行，VR4，p.31～35，DVD视频录制标准的访问信息中所必须的信息量为1小时70k字节。DVD视频录制标准的访问信息的信息量，为MP4文件的附属信息中所含有的访问信息的信息量的1/10以下。图8为显示作为DVD视频录制标准的访问信息所使用的区域名与区域名所表示的图像等之间的对应关系的模式图。图9中显示了图8中所示的访问信息的数据结构、数据结构所规定的区域名、其设定内容以及数据大小。

另外，例如特开2001-94933号公报(图3)中所述的光盘装置中，不是以1帧单位，而是以1GOP单位记录视频帧。同时，以相当于1GOP的时间长度连续记录声音帧。通过GOP单位来规定访问信息。通过这样，降低了访问信息中的必要信息量。

另外，MP4文件，是根据MPEG2视频标准记录动画流所得到的，与MPEG2系统标准的系统流之间没有互换性。因此，无法利用目前的PC等中所使用的应用程序的动画编辑功能，编辑MP4文件。这是因为，多数应用程序的编辑功能是以MPEG2系统标准的动画流为编辑对象的。另外，MP4文件的标准中，也不存在用于确保动画流部分的再生互换性的解码器模型。因此，完全无法应用与目前非常普及的MPEG2系统标准相对应的软件及硬件。

发明内容

本发明的目的在于提供一种使访问信息的信息量较少，并且在对应于以前的格式的应用程序中也可以使用的数据结构，以及能够进行根据该数据结构的处理的数据处理装置。

基于本发明的数据处理装置，包括接收部，接收视频数据以及声音数据；以及压缩部，对所接收到的上述视频数据以及上述声音数据进行编码，生成MPEG2系统标准的编码数据；以及附属信息生成部，生成包含有参照上述编码数据的参照信息，与以上述编码数据的视频目标单元(VOBU)为抽样单位，描述上述抽样单位的属性的属性信息的附属信息；以及记录部，将上述编码数据作为数据文件记录在记录媒体中，将上述附属信息作为附属信息文件记录在上述记录媒体中。上述编码数据，能够根据上述附属信息文件以及上述MPEG2系统标准中的任一个进行解码。

作为优选方式，上述参照信息，表示上述记录媒体中所记录的上述数据文件的文件名以及保存位置。

作为优选方式，上述压缩部生成多个编码数据；上述附属信息生成部，生成分别参照上述多个编码数据的上述参照信息。

作为优选方式，上述压缩部生成多个编码数据；上述附属信息生成部，在上述多个编码数据连续排列生成1个流数据，每个再生时序的编码数据的数据大小不固定的情况下，生成还对指定上述编码数据的记录位置的位置信息进行描述的附属信息。

作为优选方式，上述压缩部，生成以MPEG2程序流以及MPEG2传输流中的一方为标准的编码数据。

作为优选方式，上述附属信息生成部，将上述编码数据中，对应于上述声音数据的编码声音数据的声音帧，进一步作为其他抽样单位在上述属性信息中进行描述。

作为优选方式，上述压缩部，生成第1～第3数据文件，上述第2数据文件包含有为了对上述第1数据文件的编码数据与上述第3数据文件的编码数据在时间上连续解码所必要的帧数据。

作为优选方式，附属信息生成部，生成按照MP4格式所描述的附属信息文件。

作为优选方式，附属信息生成部，生成按照QuickTime格式所描述的附属信息文件。

本发明的流数据，由包含在数据文件中的编码数据，以及包含在附属信息文件中的附属信息所构成。上述编码数据，视频数据以及声音数据被按照MPEG2系统标准编码，并且，能够根据上述附属信息文件以及上述MPEG2系统标准中的任一个进行解码。上述附属信息，包含有参照上述编码数据的参照信息，以及以上述编码数据的视频目标单元(VOBU)为抽样单位并描述上述抽样单位的属性的属性信息。本发明的记录媒体中，记录有上述流数据。

本发明的另一个数据处理装置，包括再生部，从上述流数据中读出上述附属信息文件，并根据控制信号读出上述数据文件；以及再生控制部，根据上述附属信息文件的上述附属信息中所规定的上述参照信息，生成指示读出上述数据文件的信号作为上述控制信号；以及解码部，接收所读出的上述数据文件的编码数据以及上述附属信息，根据上述附属信息中所包含的上述属性信息，从上述编码数据中解码出上述视频数据以及上述声音数据；以及输出部，输出所解码的上述视频数据以及上述声音数据。

本发明的数据记录方法，包括接收视频数据以及声音数据的步骤；以及对所接收到的上述视频数据以及上述声音数据进行编码，生成MPEG2系统标准的编码数据的步骤；以及生成包含有参照上述编码数据的参照信息，与以上述编码数据的视频目标单元(VOBU)为抽样单位，描述上述抽样单位的属性的属性信息的附属信息的步骤；以及将上述编码数据作为数据文件记录在记录媒体中，将上述附属信息作为附属信息文件记录在上述记录媒体中的步骤。上述编码数据，能够根据上述附属信息文件以及上述MPEG2系统标准中的任一个进行解码。

本发明的数据记录程序，是能够在数据处理装置中执行的计算机程序。数据记录程序，包括接收视频数据以及声音数据的步骤；以及对所接收到的上述视频数据以及上述声音数据进行编码，生成MPEG2系统标准的编码数据的步骤；以及生成包含有参照上述编码数据的参照信息，与以上述编码数据的视频目标单元(VOBU)为抽样单位，描述上述抽样单位的属性的属性信息的附属信息的步骤；以及将上述编码数据作为数据文件记录在记录媒体中，将上述附属信息作为附属信息文件记录在上述记录媒体中的步骤。上述编码数据，能够根据上述附属信息文件以及上述MPEG2系统标准中的任一个进行解码。

本发明的数据再生方法，包括从上述流数据中读出上述附属信息文件的步骤；以及根据上述附属信息文件的上述附属信息中所规定的上述参照信息，生成指示读出上述数据文件的信号作为控制信号的步骤；以及根据上述控制信号读出上述数据文件的步骤；以及接收所读出的上述数据文件的编码数据以及上述附属信息，根据上述附属信息中所包含的上述属性信息，从上述编码数据中解码出上述视频数据以及上述声音数据的步骤；以及输出所解码的上述视频数据以及上述声音数据的步骤。

本发明的数据再生程序，是能够在数据处理装置中执行的计算机程序。数据再生程序，包括从上述流数据中读出上述附属信息文件的步骤；以及根据上述附属信息文件的上述附属信息中所规定的上述参照信息，生成指示读出上述数据文件的信号作为控制信号的步骤；以及根据上述控制信号读出上述数据文件的步骤；以及接收所读出的上述数据文件的编码数据以及上述附属信息，根据上述附属信息中所包含的上述属性信息，从上述编码数据中解码出上述视频数据以及上述声音数据的步骤；以及输出所解码的上述视频数据以及上述声音数据的步骤。

本发明的另一种数据处理装置，包括接收部，接收视频数据以及声音数据；以及压缩部，将所接收到的上述视频数据以及上述声音数据以给定的编码形式编码，生成使对应于上述视频数据的数据与对应于上述声音数据的数据重叠的编码数据；以及生成附属信息的附属信息生成部，上述附属信息含有参照编码数据的参照信息，以及描述抽样单位的属性的属性信息。上述抽样为根据上述视频数据的再生时间所构成的上述编码数据的集合；上述编码数据，能够根据上述附属信息文件，以及对应于上述给定的编码方式的解码方式中的任一个进行解码。

附图说明

图1为说明以前的数据处理装置350的构成的示意图。

图2为说明MP4文件20的数据结构的示意图。

图3为说明原子构造23的具体例子的示意图。

图4为说明动画流22的数据结构的示意图。

图5为说明中途切换轨道的动画流22的示意图。

图6为说明动画流22与DVD-RAM盘331的扇区之间的对应的示意图。

图7为说明在DVD-RAM文件系统中管理所记录的数据的状态的示意图。

图8为说明作为DVD视频录制标准的访问信息而利用的区域名与区域名所表示的图像等之间的对应关系的模式图。

图9为说明图8中所示的访问信息的数据结构、数据结构所规定的区域名、其设定内容以及数据大小的示意图。

图10说明通过本发明进行数据处理的便携式录像机10-1、摄像机10-2以及PC10-3之间的连接环境的示意图。

图11为说明数据处理装置10中的功能方框的结构的示意图。

图12为说明基于本发明的MP4流12的数据结构的示意图。

图13为说明MPEG2-PS14的声音数据的管理单位的示意图。

图14为说明程序流与基本流之间的关系的示意图。

图15为说明附属信息13的数据结构的示意图。

图16为说明构成原子结构的各个原子的内容的示意图。

图17为说明数据参照原子15的描述形式的具体例子的示意图。

图18为说明抽样表原子16中所含有的各个原子的描述内容的具体例子的示意图。

图19为说明抽样描述原子17的描述形式的具体例子的示意图。

图20为说明抽样描述入口18的各个区域的内容的示意图。

图21为说明MP4流的生成处理的顺序的流程图。

图22为说明根据基于本发明的处理所生成的MPEG2-PS，与以前的MPEG2 Video(基本流)之间的不同点的表格。

图23为说明使1VOBU与1个图像相对应时的MP4流12的数据结构的示意图。

图24为说明使1VOBU与1个图像相对应时的数据结构的示意图。

图25为说明使1VOBU与1个图像相对应时的，抽样表原子19中所含有的各个原子的描述内容的具体例子的示意图。

图26为说明对于1个附属信息文件存在2个PS文件的MP4流12的例子的示意图。

图27为说明1个PS文件中存在多个不连续的MPEG2-PS的例子的示意图。

图28为说明设置了含有无缝连接用MPEG2-PS的PS文件的MP4流12的示意图。

图29为说明不连续点中的不足声音(音频)帧的示意图。

图30为说明基于本发明的其他例子的MP4流12的数据结构的示意图。

图31为说明基于本发明的另一个例子的MP4流12的数据结构的示意图。

图32为说明MTF文件32的数据结构的示意图。

图33为说明各种文件格式标准的相互关系的示意图。

图34为说明QuickTime流的数据结构的示意图。

图35为说明QuickTime流的附属信息13中的各个原子的内容的示意图。

图36为说明记录象素数发生变化的情况下的动画流的标志位设定内容的示意图。

具体实施方式

下面对照附图对本发明的实施方式进行说明。

便携式录像机10-1，利用附属的天线来接收播放节目，对播放节目进行动画压缩生成MP4流。摄像机10-2一边录制视频，一边对附随着视频的声音进行录制，生成MPEG流。MP4流中，视频·声音数据被给定的压缩编码方式所编码，按照基于本发明的数据结构被描述。便携式录像机10-1以及摄像机10-2，将所生成的MP4流记录在DVD-RAM等记录媒体131中，或通过IEEE1394、USB等数字接口输出。另外，便携式录像机10-1以及摄像机10-2等需要进一步的小型化，因此，记录媒体131并不仅限于直径8cm的光盘，还可以是直径更小的光盘等。

PC10-3通过记录媒体或传输媒体接收MP4流。如果各个机器通过数字接口连接，那么PC10-3就能够将摄像机10-2等作为外部存储装置进行控制，从各个机器接收MP4流。

在PC10-3具有对应于基于本发明的MP4流处理的应用软件、硬件的情况下，PC10-3，能够再生MP4流，作为基于MP4文件标准的MP4流。另外，在不能够对应基于本发明的MP4流处理的情况下，PC10-3能够根据MPEG2系统标准，再生动画流部分。另外，PC10-3还能够进行MP4流的部分删除等编辑的相关处理。本说明书中，“再生”这一术语包括关于编辑的处理。以下，将图10的便携式录像机10-1、摄像机10-2以及PC10-3称作“数据处理装置”进行说明。

图11位说明数据处理装置10中的功能方框的构成的示意图。以下，本说明书中，以数据处理装置10具有MP4流的记录功能与再生功能这两方面的功能的情况进行说明。具体的说，数据处理装置10能够生成MP4流并写入到记录媒体131中，并且，还能够再生写入在记录媒体131中的MP4流。记录媒体131例如为DVD-RAM盘，以下称作“DVD-RAM盘131”。

首先，对数据处理装置10的MP4流记录功能进行说明。作为与该功能相关联的构成要素，数据处理装置10具有视频信号输入部100、MPEG2-PS压缩部101、声音信号输入部102、附属信息生成部103、记录部120、光拾取器130以及记录控制部141。

视频信号输入部100为视频信号输入端，接收表示视频数据的视频信号。声音信号输入部102为声音信号输入端，接收表示声音数据的声音信号。例如，便携式录像机10-1(图10)的视频信号输入部100以及声音信号输入部102，分别与调谐部(图中未显示)的视频输出部以及声音输出部相连接，分别从中接收视频信号以及声音信号。另外，摄像机10-2(图10)的视频信号输入部100以及声音信号输入部102，分别从照相机的CCD(图中未显示)的输出以及麦克风输出接收视频信号以及声音信号。

MPEG2-PS压缩部(以下称作“压缩部”)101，接收视频信号以及声音信号，生成MPEG2系统标准的MPEG2程序流(以下称作“MPEG2-PS”)。所生成的MPEG2-PS，根据MPEG2系统标准，能够仅根据流本身进行解码。关于MPEG2-PS的详述将在后面进行。

附属信息生成部103，生成MP4流的附属信息。附属信息包括参照信息以及属性信息。参照信息是指定压缩部101所生成的MPEG2-PS的信息，例如为记录MPEG2-PS时的文件名以及在DVD-RAM盘131上的保存位置。另外，属性信息是指描述MPEG2-PS的抽样单位的属性的信息。“抽样”是指，MP4文件标准的附属信息所规定的抽样描述原子(SampleDescription Atom；后述)中的最小管理单位，记录每个抽样的数据大小、再生时间等。1个抽样为例如能够随机访问的数据单位。换而言之，属性信息是用于再生抽样的必要信息。特别是后述的抽样描述原子(SampleDescription Atom)，也称作访问信息。

属性信息，具体的说，为数据的保存地址、表示再生时序的时间戳、编码比特率、解码等信息。对应于各个抽样内的视频数据以及声音数据分别设置，以下除了明示说明的区域的描述，都以以前的MP4流20的附属信息的内容为标准。

如下所述，本发明的1个抽样为MPEG2-PS的1个视频目标单元(VOBU)。另外，VOBU表示DVD录像标准的同名视频目标单元。附属信息将在后面进行详述。

记录部120，根据来自记录控制部141的指示，对拾取器130进行控制，在DVD-RAM盘131的特定位置(地址)上记录数据。更具体的说，记录部120，将压缩部101所生成的MPEG2-PS以及附属信息生成部103所生成的附属信息，分别作为不同的文件记录在DVD-RAM盘131中。

另外，数据处理装置10，具有在记录数据时工作的连续数据区域检测部(以下称作“检测部”)140，以及逻辑块管理部(以下称作“管理部”)143。连续数据区域检测部140，根据来自记录控制部141的指示，对逻辑块管理部143中所管理的扇区的使用状况进行调查，检测出物理上连续的空区域。记录控制部141，指示记录部120在该空区域进行数据记录。数据的具体记录方法，与对照图7所说明的记录方法相同，没有特别差异，因此，省略其详细说明。另外，MPEG2-PS以及附属信息，分别作为不同的文件记录，因此，在图7中的文件·标识符栏中，描述各自的文件名。

接下来，对照图12，对MP4流的数据结构进行说明。图12中显示了基于本发明的MP4流12的数据结构。MP4流12具有包括附属信息13的附属信息文件(“MOV001.MP4”)，以及MPEG2-PS14的数据文件(“MOV001.MPG”)(以下称作“PS文件”)。通过这两个文件内的数据，构成1个MP4流。本说明书中，为了使属于同一个MP4流这一点更加明确，给附属信息文件以及PS文件标上相同的名字(“MOV001”)，而使扩展名不一样。具体的说，附属信息文件的扩展名采用与以前的MP4文件的扩展名相同的“MP4”，PS文件的扩展名采用以前的程序流一般所采用的扩展名“MPG”。

附属信息13，具有用来参照MPEG2-PS14的参照信息(“dref”)。另外，附属信息13含有描述每个MPEG2-PS14的视频目标单元(VOBU)的属性信息。由于属性信息描述每个VOBU的属性，因此，数据处理装置10能够以VOBU单位指定MPEG2-PS14中所含有的VOBU的任意位置，并进行再生·编辑等操作。

MPEG2-PS14，为基于视频包、声音包等交织起来所构成的MPEG2系统标准的动画流。视频包含有包头以及被编码的视频数据。声音包含有包头以及被编码的声音数据。MPEG2-PS14中，通过以换算为视频的再生时间相当于0.4～1秒的动画数据为单位的视频目标单元(VOBU)对数据进行管理。动画数据包括多个视频包以及声音包。数据处理装置10，根据在附属信息13中所描述的信息，能够指定任意的VOBU位置并再生该VOBU。另外，VOBU含有1个以上的GOP。

基于本发明的MP4流12的特征之一是，MPEG2-PS14，能够根据对应于MPEG4系统标准所规定的MP4流的数据结构的属性信息13进行解码，同时，也能够根据MPEG2系统标准进行解码。由于附属信息文件与PS文件分别记录，因此，数据处理装置10能够分别对其独立进行解析、处理等。例如，能够实施本发明的数据处理的MP4流再生装置，能够根据属性信息13调整MP4流12的再生时间等，指定MPEG2-PS14的编码方式，通过对应的解码方式进行解码。另外，在能够解码MPEG2-PS的以前的装置等中，能够按照MPEG2系统标准进行解码。这样，即使是只对应于现在所广泛普及的MPEG2系统标准的软件以及硬件，也能够再生MP4流中所含有的动画流。

另外，在设置VOBU单位的抽样描述原子(Sample Description Atom)的同时，还可以如图13所示，以MPEG2-PS14的声音数据的给定时间的帧数为管理单位的抽样描述原子(Sample Description Atom)。给定的时间是指例如0.1秒。图中“V”表示图12的视频包，“A”表示声音包。0.1秒的声音帧由1个以上的多个包构成。1声音帧，例如在AC-3的情况下，将抽样频率设为48kHz时，含有抽样个数的1536个抽样的声音数据。此时，抽样描述原子，既可以设置在轨道原子内的用户数据原子中，又可以作为独立的轨道的抽样描述原子而设置。另外，作为其他实施方式，附属信息13，还可以以与VOBU同步的0.4～1秒的声音帧为单位，保存每个该单位的合计数据大小、开头包的数据地址以及表示输出时序的时间戳等的属性。

接下来，对MPEG2-PS14的视频目标单元(VOBU)的数据结构进行说明。图14中显示了程序流与基本流之间的关系。MPEG2-PS14的VOBU，含有多个视频包(V_PCK)以及声音包(A_PCK)。另外，更严密的说，VOBU由从序列头(图中的SEQ头)开始，到下一个序列头前一个包构成。也即，序列包被配置在VOBU的开头。另外，基本流(Video)含有N个GOP。GOP含有各种头(序列(SEQ)头以及GOP头)以及视频数据(I图像、P图像、B图像)。基本流(Audio)含有多个声音帧。

MPEG2-PS14的VOBU中所含有的视频包以及声音包，分别使用基本流(Video)/(Audio)的各个数据构成，各自的数据量为2k字节。另外，如上所述的各个包中设有包头。

另外，在存在字幕数据等副视频数据的相关基本流(图中未显示)时，MPEG2-PS14的VOBU还包括该副视频数据的包。

接下来，对照图15以及图16，对MP4流12中的附属信息13的数据结构进行说明。图15中显示了附属信息13的数据结构。该数据结构也称作“原子结构”，被多层化。例如，“Movie Atom”包括“Movie Header Atom”、“Object Descriptor Atom”以及“Track Atom”。进一步，“Track Atom”包括“Track Header Atom”、“Edit List Atom”、“Media Atom”以及“UserData Atom”。图中所示的其他Atom也一样。

本发明中，特别利用数据参考原子(“Data Reference Atom”：dref)15以及抽样表原子(“Sample Table Atom”：dref)16，描述抽样单位的属性。如上所述，1个抽样与MPEG2-PS的1个视频目标单元(VOBU)相对应。抽样表原子16，包括图示的6个下位原子。

图16中显示了构成原子结构的各个原子的内容。数据参考原子(“DataReference Atom”)，以URL形式保存指定动画流(MPEG2-PS)14的文件的信息。另外，抽样表原子(“Sample Table Atom”)通过下位的原子来记录每个VOBU的属性。例如，在“Decoding Time to Sample Atom”中保存每个VOBU的再生时间，在“Sample Size Atom”中保存每个VOBU的数据大小。另外，“Sample Description Atom”表示构成MP4流12的PS文件的数据为MPEG2-PS14，同时，还表示MPEG2-PS14的详细规格。以下，将通过数据参照原子(“Data Reference Atom”)所描述的信息称作“参照信息”，将抽样表原子(“Sample Table Atom”)中所描述的信息称作“属性信息”。

图17中显示了数据参照原子15的描述形式的具体例子。指定文件的信息，在描述数据参照原子15的区域的一部分(这里为“DataEntryUrlAtom”)中被描述。这里，通过URL形式，描述MPEG2-PS14的文件名以及文件的保存位置。通过参照数据参照原子15，能够指定其附属信息13以及构成MP4流12的MPEG2-PS14。另外，即使在将MPEG2-PS14记录在DVD-RAM盘131中之前，图11的附属信息生成部103，也能够指定MPEG2-PS14的文件名以及文件的保存位置。这是因为，文件名能够渔汛决定，并且，文件的保存位置也能够通过文件系统的层级构造的表记从而在理论上进行指定。

图18中显示了抽样表原子16中所包含的各个原子的描述内容的具体例子。各个原子中，规定了区域名、能够重复以及数据大小。例如，抽样大小原子(Sample Size Atom)，具有3个区域(“sample-size”、“samplecount”以及“entry-size”)。其中，抽样大小(“sample-size”)区域中，保存有VOBU的缺省数据大小，入口大小(“entry-size”)区域中，保存有与VOBU的缺省值不同的个别的数据大小。另外，图中的“设定值”栏的参数(“VOBU_ENT”等)中，设定有与DVD录像机标准的同名的访问数据相同的值。

图18中所示的抽样描述原子(“Sample Description Atom”)17，描述了抽样单位的属性信息。下面，对抽样描述原子17所描述的信息的内容进行说明。

图19中显示了抽样描述原子17的描述形式的具体例子。抽样描述原子17，描述了其数据大小、以1个VOBU为1个抽样的抽样单位的属性信息等。属性信息在抽样描述原子17的“sample_description_entry”18中被描述。

图20中显示了“sample_description_entry”18的各个区域的内容。入口18，包含指定对应的MPEG2-PS14的编码形式的数据格式(“data-format”)。图中的“p2sm”表示MPEG2-PS14是包含MPEG2 Video的MPEG2程序流。

入口18包含该抽样的显示开始时刻(“开始Presentation Time”)以及显示结束时刻(“结束Presentation Time”)。它们保存最初以及最后的视频帧的时序信息。另外，入口18还包含该抽样内的视频流的属性信息(“视频ES属性”)以及声音流的属性信息(“声音ES属性”)。如图19所示，视频数据的属性信息，指定视频的CODEC类型(例如MPEG2视频)、视频数据的宽度(“Width”)、高度(“height”)等。同样，声音数据的属性信息，指定声音的CODEC类型(例如AC-3)、视频数据的频道数(“channel count”)、声音抽样的大小(“samplesize”)、抽样率(“samplerate”)等.

另外，入口18中还包含不连续点开始标志以及无缝连接信息。这些信息，如下所述，在1个MP4流12内存在有多个PS流时被描述。例如，在不连续点开始标志的值为“0”时，表示前面的动画流与现在的动画流为完全连续的程序流，在值为“1”时，表示这些动画流为不连续的程序流。在不连续的情况下，即使在动画以及声音等的不连续点中，也能够进行用于无中断动画、声音等的再生的无缝连接信息的描述。无缝连接信息，包括再生时的声音不连续信息以及SCR不连续信息。包含声音不连续信息的无声音区间(也即图31的音频间隙)的有无、开始时序以及时间长。SCR不连续信息中，包括不连续点的前一个以及后一个包的SCR值。

通过设置不连续点开始标志，能够独立指定Sample Description Entry的切换以及动画流的连续性的切换处。如图36所示，例如在记录象素数中途发生变化时，Sample Description也变化，此时，如果动画流自身是连续的，就可以将不连续点开始标志设为0。通过使不连续点开始标志为0，在直接编辑动画流的情况下，PC等不需要对2个动画流的连接点进行再编辑就能够进行无缝连接再生。另外，图36中以水平象素数变化的情况为例，但在其他的属性信息发生变化的情况下也可以。例如，关于外观信息，4∶3的外观比变化为16∶9的外观比的情况，以及声音的比特率变化的情况等。

以上对图12中所示的MP4流12的附属信息13以及MPEG2-PS14的数据结构进行了说明。上述数据结构中，在进行MPEG2-PS14的部分删除时，可以只变更附属信息13内的时间戳等属性信息，而不需要变更MPEG2-PS14中所设置的时间戳。因此，能够进行灵活应用以前的MP4流的优点的编辑处理。另外，通过上述的数据结构，使用对应于MPEG2标准的流的应用程序以及硬件，在PC上进行动画编辑时，可以只将PS文件输入给PC。这是因为，PS文件的MPEG2-PS14是MPEG2系统标准的动画流。由于这样的应用程序以及硬件非常普及，因此，能够灵活由于现有的硬件以及硬件。同时，能够通过以ISP标准为标准的数据结构来记录附属信息。

接下来，对照图11以及图21，对数据处理装置10生成MP4流，并在DVD-RAM盘131上记录的处理进行说明。图21为说明MP4流的生成处理的顺序的流程图。首先在步骤210中，数据处理装置10通过视频信号输入部100接收视频数据，通过声音信号输入部102接收声音数据。接下来，在步骤211中，压缩部101根据MPEG2系统标准，对所接收到的视频数据以及声音数据进行编码。接下来，压缩部101在步骤212中，利用视频以及声音的编码流，构成MPEG2-PS(图14)。

步骤213中，记录部120，决定在DVD-RAM盘131上记录MPEG2-PS时的文件名以及记录位置。步骤214中，附属信息生成部103，取得PS文件的文件名以及记录位置，作为参照信息(Data Reference Atom；图17)指定应当描述的内容。如图17所示，本说明书中，采用能够同时指定文件名与记录位置的描述方式。

接下来，步骤215中，附属信息生成部103，对每个MPEG2-PS14中所规定的VOBU，取得表示再生时间、数据大小等的数据，作为属性信息(Sample Table Atom；图18～图20)指定应当描述的内容。通过以VOBU单位设置属性信息，能够读出及编码任意的VOBU。这表示将1个VOBU作为1个抽样处理。

接下来，步骤216中，附属信息生成部103，根据参照信息(DataReference Atom)以及性信息(Sample Table Atom)等，生成附属信息。

步骤217中，记录部120将附属信息13以及MPEG2-PS14作为MP4流12输出，在DVD-RAM盘131上分别作为属性信息文件以及PS文件记录。按照以上的顺序，能够生成MP4流，并在DVD-RAM盘131中记录。

接下来，对照图11以及图12，对数据处理装置10的MP4流再生功能进行说明。DVD-RAM盘131中，记录有具有上述的数据结构的附属信息13以及具有MPEG2-PS14的MP4流12。数据处理装置10，通过用户的选择，对记录在DVD-RAM盘131中的MPEG2-PS14进行再生以及解码。作为再生功能的相关构成要素，数据处理装置10具有视频信号输出部110、MPEG2-PS解码部111、声音信号输出部112、再生部121、拾取器130以及再生控制部142。

首先，再生部121根据来自再生控制部142的命令，对拾取器130进行控制，从DVD-RAM盘131中读出MP4文件，取得附属信息13。再生部121将所取得的附属信息13输出给再生控制部142。另外，再生部121，根据后述的再生控制部142所输出的控制信号，从DVD-RAM盘131读出PS文件。控制信号为指定应当读出的PS文件(“MOV001.MPG”)的信号。

再生控制部142，从再生部121接收附属信息13，通过对其数据结构进行解析，取得附属信息13中所含有的参照信息15(图17)。再生控制部142，输出控制信号，指示从所指定的位置(“./”：路径目录)读出参照信息15中所指定的PS文件(“MOV001.MPG”)。

MPEG2-PS解码部111，接收MPEG2-PS14以及附属信息13，根据附属信息13中所包含的属性信息，从MPEG2-PS14中解码出视频数据以及声音数据。更具体的说，MPEG2-PS解码部111，读出抽样描述原子17(图19)的数据格式(“data-format”)、视频流的属性信息(“视频ES属性”)、声音流的属性信息(“声音ES属性”)等，根据这些信息所指定的编码形式、视频数据的显示大小、抽样频率等，解码视频数据以及声音数据。

视频信号输出部110为视频信号的输出端，将被解码的视频数据作为视频信号输出。声音信号输出部112为声音信号的输出端，将被解码的声音数据作为声音信号输出。

数据处理装置10再生MP4流的处理，与以前的MP4流文件的再生处理一样，首先从读出扩展名为“MP4”的文件(“MOV001.MP4”)开始。接下来，再生控制部142解析附属信息13，抽出参照信息(Data ReferenceAtom)。再生控制部142，根据所抽出的参照信息，输出控制信号，指示读出构成相同MP4流的PS文件。本说明书中，再生控制部142所输出的控制信号，指示读出PS文件(“MOV001.MPG”)。

接下来，再生部121根据控制信号，读出所指定的PS文件。接下来，MPEG2-PS解码部111，接收所读出的数据文件中所包含的MPEG2-PS14以及附属信息13，对附属信息13进行解析，抽出属性信息。接下来，MPEG2-PS解码部111，根据附属信息中所包含的抽样描述原子17(图19)，指定MPEG2-PS14的数据格式(“data-format”)、视频流的属性信息(“视频ES属性”)、声音流的属性信息(“声音ES属性”)等，解码视频数据以及声音数据。通过以上的处理，根据附属信息13再生MPEG2-PS14。

另外，如果是能够再生MPEG2系统标准流的以前的再生装置、再生软件等，只通过再生PS文件，就能够再生MPEG2-PS14。此时，再生装置等可以不对应于MP4流12的再生。由于MP4流12是由附属信息13以及MPEG2-PS14以分开的文件所构成的，因此，能够容易地根据例如扩展名识别出保存有MPEG2-PS14的PS文件并进行再生。

图22为说明基于本发明的处理所生成的MPEG2-PS与以前的MPEG2Video(基本流)之间的不同点的表格。图中，本发明(1)这一栏相当于前面所说明的以1VOBU为1抽样的例子。以前的例子中，以1视频帧(Videoframe)为1个抽样，在各个抽样中设置抽样表原子(Sample Table Atom)等属性信息(访问信息)。根据本发明，以包含多个视频帧的VOBU为抽样单位，对每个抽样设置访问信息，因此，能够大幅降低属性信息的信息量。因此，基于本发明以1个VOBU为1个抽样是非常理想的。

图22的本发明(2)这一栏，显示了本发明(1)中所示的数据结构的变形例。本发明(2)与本发明(1)的不同点在于，本发明(2)的变形例中，使1个码块(chunk)与1个VOBU相对应，对每个码块构成访问信息。这里，“码块”是指有多个抽样所构成的单位。此时，MPEG2-PS14的包头中所包含的视频帧对应于1个抽样。图23中显示了1码块与1VOBU相对应时的MP4流12的数据结构。不同点在于将图12的1抽样置换为1码块。另外，以前的例子中，1个抽样与1个视频帧相对应，1个码块与1GOP相对应。

图24为说明使1码块与1VOBU相对应时的数据结构的示意图。与图15中所示的1抽样与1VOBU相对应时的数据结构进行比较，附属信息13的属性信息中所包含的抽样表原子19中所规定的内容不一样。图25中显示了1码块与1VOBU相对应时，抽样表原子19中所包含的各个原子的描述内容的具体例子。

接下来，对构成MP4流12的PS文件的相关变形例进行说明。图26中，显示了对应于1个附属信息文件(“MOV001.MP4”)存在2个PS文件(“MOV001.MPG”以及“MOV002.MPG”)的MP4流12的例子。2个PS文件中。分别记录有表示不同的动画场景的MPEG2-PS14的数据。各个PS文件内，动画流是连续的，基于MPEG2系统标准的SCR(System ClockReference)、PTS(Presentation Time Stamp)以及DTS(Decoding TimeStamp)也是连续的。但是，PS文件互相之间(各个PS文件中所包含的MPEG-PS#1的末尾到MPEG-PS#2的开头之间)，SCR、PTS以及DTS分别是不连续的。2个PS文件分别作为不同的轨道(图)来处理。

附属信息文件中，描述有指定各个PS文件的文件名以及记录位置的参照信息(dref；图17)。例如，根据参照信息应当参照的属性进行描述。图中，对参照#1所指定的PS文件“MOV001.MPG”进行再生，之后，对参照#2所指定的PS文件“MOV002.MPG”进行再生。即使像这样存在多个PS文件，通过在附属信息文件内设置各个PS文件的参照信息，也能够实质上连续地再生各个PS文件。

图27中显示了1个PS文件内存在多个不连续的MPEG2-PS的例子。PS文件中，表示不同的动画场景的MPEG2-PS#1以及#2的数据是连续排列的。“不连续的MPEG2-PS”是指，2个MPEG2-PS之间(MPEG-PS#1的末尾到MPEG-PS#2的开头之间)，SCR、PTS以及DTS分别不连续。也即，表示再生时序中没有连续性。不连续点存在于2个MPEG2-PS的边界上。另外，各个MPEG2-PS内动画流是连续的，基于MPEG2系统标准的SCR、PTS以及DTS也是连续的。

附属信息文件中，描述有指定PS文件的文件名以及记录位置的参照信息(dref；图17)。附属信息文件中存在1个指定该PS文件的参照信息。但是，顺序再生PS文件时，MPEG2-PS#1与#2之间的不连续点无法再生。这是因为，SCR、PTS、DTS是不连续的。因此，将关于该不连续点的信息(不连续点的位置信息(地址)等)描述在附属信息文件中。具体的说，将不连续点的位置信息作为图19中的“不连续点开始标志”记录。例如，再生时，再生控制部142计算出不连续点的位置信息，通过先读出存在于不连续点之后的MPEG2-PS#2的视频数据，进行再生控制能够至少使视频数据的连续再生不发生中断。

对照图26，对包含互相不连续的MPEG2-PS的2个PS文件，设置2个参照信息并再生的顺序进行说明。但是，如图28所示，对2个PS文件，新插入包含有无缝连接用MPEG2-PS的PS文件，从而能够无缝再生起初的2个PS文件。图28中，显示了设置了包含有无缝连接用MPEG2-PS的PS文件(“MOV002.MPG”)的MP4流12。PS文件(“MOV002.MPG”)，在MPEG2-PS#1于MPEG2-PS#3之间的不连续点中包含有不足的声音帧。下面对照图29进行更加详细的说明。

图29中显示了不连续点中的不足的声音(音频)帧。图中，将含有MPEG2-PS#1的PS文件标记为“PS#1”，将含有MPEG2-PS#3的PS文件标记为“PS#3”。

首先，进行PS#1的数据处理，接下来，对PS#3的数据进行处理。从上方开始第2段的DTS视频帧以及第3段的PTS视频帧，分别表示关于视频帧的时间戳。从它们可以得知，PS文件#1以及#3，能够不中断再生视频。但是，关于音频帧，从PS#1再生结束之后到再生PS#3之间，产生了没有一定区间的数据的无音区间。因此，无法实现无缝再生。

因此，设置新的PS#2，设置包含有用于无缝连接的声音帧的PS文件，参照附属信息文件。该声音帧，含有覆盖无音区间的声音数据，例如拷贝了与PS#1末尾的动画同步记录的声音数据。如图29所示，在音频帧，将无缝连接用音频帧插入在PS#1之后。PS#2的声音帧被设置为一直延续到PS#3的开始前1帧以内。同时，在附属信息13中设置参照新的PS#2的参照信息(图28的dref)，紧接着PS#1进行参照。

另外，图29中，存在以“音频缝隙”所表示的1声音帧以下的无数据区间(无音区间)，因此，可以在PS#2内包含相当于下一个1声音帧的数据的余量，使得无音区间不产生。这种情况下，为含有例如与PS#2以及PS#3相同的声音数据抽样的部分，也即含有声音帧重叠的部分。但是，不会产生特别的问题，这是因为，重叠部分不管再生哪个数据都输出相同的声音。

通过以上的处理，在再生不连续的多个PS文件时，能够在时间上连续解码并再生。

另外，图29中以参照使用参照信息(dref)的PS文件进行了说明，但是对于PS#2文件，也可以从其他原子(例如独立定义的专用原子)或第2PS轨道来参照PS#2。换而言之，只要是以DVD视频录制标准为标准的PS文件，也可以从“dref”原子进行参照。另外，可以将PS#2文件内的声音帧作为基本流的独立文件记录，通过设置在附属信息文件中的独立声音轨道原子进行参照，另外，还可以记录在附属信息文件中使其与PS#1的末尾并列再生。PS#1与声音的基本流的同时再生时序，能够通过附属信息的编辑列表原子(例如图15)进行指定。

以上对动画流为MPEG2程序流进行了说明。但是，也可以由MPEG2系统标准所规定的MPEG2-传输流(以下，称作“MPEG2-TS”)来构成动画流。

图30中显示了基于本发明的其他例子的MP4流12的数据结构。MP4流12具有包含附属信息13的附属信息文件(“MOV001.MP4”)，以及MPEG2-TS14的数据文件(“MOV001.M2T”)(以下称作“TS文件”)。

MP4流12中，TS文件通过附属信息13内的参照信息(dref)来进行参照这一点，与图12的MP4流相同。

MPEG2-TS14中添加有时间戳。更详细地说，MPEG2-TS14中，送出时所参照的4字节的时间戳被添加在188字节的传输包(以下称作“TS包”)之前。其结果是，含有视频的TS包(V_TSP)以及含有声音的TS包(A_TSP)由192字节构成。另外，时间戳也可以添加在TS包的后面。

图30中所示的MP4流12中，与图12中的VOBU一样，对于视频能够以含有相当于约0.4～1秒的视频数据的TS包作为1抽样，在附属信息13中描述属性信息。另外，与图13一样，可以在附属信息13中描述1帧的声音数据的数据大小、数据地址以及再生时序等。

另外，也可以使1帧与1抽样相对应，是多个帧与1码块相对应。图31中显示了基于本发明的另一个例子的MP4流12的数据结构。此时，与图23相同，对于视频使包含相当于约0.4～1秒的视频数据的多个TS包与一个码块相对应，通过给每个码块设置访问信息。能够得到与图12中所示的构成的MP4流12几乎完全相同的优点。

另外，根据利用上述的图30以及图31的数据结构时的各个文件的构成以及数据结构的处理，与将图12、13以及23关联起来所说明的处理类似。这些说明，可以将图12、13以及23中的视频包与音频包的相关说明，分别置换为含有图30中所示的时间戳的视频用TS包(V_TSP)以及声音用TS包(A_TSP)。

接下来，对照图32，对能够适用之前所说明的数据处理的其他数据格式的文件结构进行说明。图32中显示了MTF文件32的数据结构。MTF32为用于动画的记录以及编辑结构的保存的文件。MTF文件32含有多个连续的MPEG2-PS14，另外，各个MPEG2-PS14含有多个抽样(“P2Sample”)。抽样(“P2Sample”)为1个连续的流。例如，如图12关联说明的那样，能够以抽样单位设置属性信息。之前的说明中，该抽样(“P2Sample”)相当于VOBU。各个抽样分别包含由一定的数据量(2048字节)所构成的多个视频包以及声音包。另外，例如，如果将2个MTF集中成1个，那么MTF就由2个P2stream构成。

当MTF32内前后MPEG2-PS14为连续的程序流时，可以在连续范围内设置1个参照信息，构成1个MP4流。在前后MPEG2-PS14为不连续的程序流时，能够如图27所示设置不连续点的数据地址属性信息，构成MP4流12。因此，在MTF32中，也能够适用之前所说明的数据处理。

以上，对扩展2001年被标准化的MP4文件格式，处理MPEG2系统流的例子进行了说明，但本发明还能够同样扩展QuickTime文件格式以及ISOBase Media文件格式，处理MPEG2系统流。这是因为，MP4文件格式以及ISO Base Media文件格式的大部分标准是以QuickTime文件格式为基础制订的，其规格的内容也相同。图33中说明了各种文件格式标准的相互关系。“本发明”、“MP4(2001)”以及“QuickTime”中重复的原子类型(moov，mdat)中，能够使用基于上述本发明的数据结构。如上所述，原子类型“moov”作为附属信息的最上位的“Movie Atom”，如图15等中所示。

图34中显示了QuickTime流的数据结构。QuickTime流也由描述附属信息13的文件(“MOV001.MOV”)，与包含MPEG2-PS14的PS文件(“MOV001.MPG”)构成。与图15中所示的MP4文件比较，QuickTime流的附属信息13中所规定的“Movie Atom”这一部分被变更。具体的说，是代替空媒体头原子(“Null Media Header Atom”)，新设有基础媒体头原子(“Base Media Header Atom”)36，以及图15的第3段所记载的目标描述原子(“Object Descriptor Atom”)在图34的附属信息13中被删除。图35中显示了QuickTime流的附属信息13中的各个原子的内容。追加的基础媒体头原子(“Base Media Header Atom”)36，在各个抽样(VOBU)内的数据中既没有视频帧又没有声音帧的情况下，通过该原子表示这1事项。图35中所示的其他原子构造及其内容，与使用上述MP4流12所说明的例子相同，因此省略其说明。

以上对本发明的实施方式进行了说明。图12的MPEG2-PS14是由0.4～1秒的动画数据(VOBU)所构成的，但时间范围也可以不一样。另外，MPEG2-PS14是由DVD视频录制标准的VOBU所构成的，但也可以是以其他MPEG2系统标准为标准的程序流，以及以DVD视频标准为标准的程序流。

图11中所示的数据处理装置10中，对记录媒体131为DVD-RAM盘进行了说明，但并不仅限于此。例如，记录媒体131可以是MO、DVD-R、DVD-RW、DVD+RW、CD-R、CD-RW等光记录媒体以及硬盘等磁性记录媒体。另外，记录媒体131还可以是半导体存储器等半导体记录媒体。

数据处理装置10，根据计算机程序进行数据流的生成、记录以及再生处理。例如，生成、记录数据流的处理，通过执行根据图21所示的流程图所描述的计算机程序来实现。计算机程序可以记录在以光盘为代表的光记录媒体、SD存储卡、EEPROM所代表的半导体记录媒体、软盘所代表的磁记录媒体等记录媒体中。另外，光盘装置10不但可以通过记录媒体，还可以通过互联网等电气通信线路来取得计算机程序。

产业应用

根据本发明，能够提供一种附属信息的数据结构以ISO标准为标准，适用于目前最新的标准，同时又与以前的格式同等的数据流的数据结构，以及根据该数据结构工作的数据处理装置。由于数据流也对应于以前的格式，因此，现有的应用程序等也能够利用数据流。从而能够有效地灵活应用现有的软件以及硬件。

Claims

1.一种数据处理装置，其特征在于，包括：

接收部，接收视频数据以及声音数据；

压缩部，对所接收到的上述视频数据以及上述声音数据进行编码，生成MPEG2系统标准的编码数据；

附属信息生成部，生成包含有参照上述编码数据的参照信息，和以上述编码数据的视频目标单元(VOBU)为抽样单位、描述上述抽样单位的属性的属性信息的附属信息；以及

记录部，将上述编码数据作为数据文件记录在记录媒体中，将上述附属信息作为附属信息文件记录在上述记录媒体中，

上述编码数据，能够根据上述附属信息文件以及上述MPEG2系统标准中的任一个进行解码。

2.如权利要求1所述的数据处理装置，其特征在于：

上述参照信息，表示上述记录媒体中所记录的上述数据文件的文件名以及保存位置。

3.如权利要求1所述的数据处理装置，其特征在于：

上述压缩部生成多个编码数据；

上述附属信息生成部，生成分别参照上述多个编码数据的上述参照信息。

4.如权利要求1所述的数据处理装置，其特征在于：

上述压缩部生成多个编码数据；

上述附属信息生成部，将上述多个编码数据连续排列生成1个流数据，在每个再生时序的编码数据的数据大小不固定的情况下，生成还对指定上述编码数据的记录位置的位置信息进行描述的附属信息。

5.如权利要求1所述的数据处理装置，其特征在于：

上述压缩部，生成以MPEG2程序流以及MPEG2传输流中的一方为标准的编码数据。

6.如权利要求1所述的数据处理装置，其特征在于：

上述附属信息生成部，将上述编码数据中、对应于上述声音数据的编码声音数据的声音帧，进一步作为其他抽样单位在上述属性信息中进行描述。

7.如权利要求3所述的数据处理装置，其特征在于：

上述压缩部，生成第1～第3数据文件，上述第2数据文件包含有为了对上述第1数据文件的编码数据与上述第3数据文件的编码数据在时间上连续解码所必要的帧数据。

8.如权利要求1所述的数据处理装置，其特征在于：

附属信息生成部，生成按照MP4格式所描述的附属信息文件。

9.如权利要求1所述的数据处理装置，其特征在于：

附属信息生成部，生成按照QuickTime格式所描述的附属信息文件。

10.一种数据处理装置，其特征在于，包括：

再生部，从流数据中读出附属信息文件，再根据控制信号读出数据文件，所述流数据由包含在数据文件中的编码数据，和包含在附属信息文件中的附属信息所构成，所述编码数据，视频数据以及声音数据被按照MPEG2系统标准编码，并且，能够根据所述附属信息文件以及所述MPEG2系统标准中的任一个进行解码，所述附属信息，包含有参照所述编码数据的参照信息，和以所述编码数据的视频目标单元(VOBU)为抽样单位描述所述抽样单位的属性的属性信息；

再生控制部，根据上述附属信息文件的上述附属信息中所规定的上述参照信息，生成指示读出上述数据文件的信号来作为上述控制信号；

解码部，接收所读出的上述数据文件的编码数据以及上述附属信息，根据上述附属信息中所包含的上述属性信息，从上述编码数据中解码出上述视频数据以及上述声音数据；以及

输出部，输出所解码的上述视频数据以及上述声音数据。

11.一种数据记录方法，其特征在于，包括：

接收视频数据以及声音数据的步骤；

对所接收到的上述视频数据以及上述声音数据进行编码，生成MPEG2系统标准的编码数据的步骤；

生成包含有参照上述编码数据的参照信息，和以上述编码数据的视频目标单元(VOBU)为抽样单位、描述上述抽样单位的属性的属性信息的附属信息的步骤；以及

将上述编码数据作为数据文件记录在记录媒体中，将上述附属信息作为附属信息文件记录在上述记录媒体中的步骤，

12.一种数据再生方法，其特征在于，包括：

从流数据中读出附属信息文件的步骤，所述流数据由包含在数据文件中的编码数据，和包含在附属信息文件中的附属信息所构成，所述编码数据，视频数据以及声音数据被按照MPEG2系统标准编码，并且，能够根据所述附属信息文件以及所述MPEG2系统标准中的任一个进行解码，所述附属信息，包含有参照所述编码数据的参照信息，和以所述编码数据的视频目标单元(VOBU)为抽样单位描述所述抽样单位的属性的属性信息；

根据上述附属信息文件的上述附属信息中所规定的上述参照信息，生成指示读出上述数据文件的信号作为控制信号的步骤；

根据上述控制信号读出上述数据文件的步骤；

接收所读出的上述数据文件的编码数据以及上述附属信息，根据上述附属信息中所包含的上述属性信息，从上述编码数据中解码出上述视频数据以及上述声音数据的步骤；以及

输出所解码的上述视频数据以及上述声音数据的步骤。

13.一种数据处理装置，其特征在于，包括：

接收部，接收视频数据以及声音数据；

压缩部，将所接收到的上述视频数据以及上述声音数据以给定的编码形式编码，生成使对应于上述视频数据的数据与对应于上述声音数据的数据重叠的编码数据；以及

生成附属信息的附属信息生成部，上述附属信息含有参照编码数据的参照信息，以及描述抽样单位的属性的属性信息，

上述抽样为根据上述视频数据的再生时间所构成的上述编码数据的集合；

上述编码数据，能够根据上述附属信息文件，以及对应于上述给定的编码方式的解码方式中的任一个进行解码。