CN1343348A - 数据再现装置、数据再现方法以及信息终端设备 - Google Patents

Abstract

用数据接收部(3)所接收的MIDI、声音、文字以及图像的数据是SMF格式的数据,该SMF格式的数据包括事件信息和用于实行事件的δ时间;数据分配部4根据接收的各数据的δ时间,按种类分配数据。所分配的各数据分别在MIDI再现部(11)、声音再现部(12)、文字再现部(13)以及图像再现部(14)中被再现。用混频器(15)把MIDI再现部和声音再现部所再现的数据混合,作为声音从扬声器(19)输出。用混频器(16)把文字再现部和图像再现部所再现的数据混合,作为可视信息显示在显示器(20)上。因为是根据δ时间的间隔来再现各数据的,所以能比较容易地在如声音和图像等不同种类的数据之间取得同步。

Description

数据再现装置、数据再现方法以及信息终端设备

技术领域

本发明涉及一种用于再现声音和图像等属性不同的数据的数据的再现装置、数据再现方法以及携带终端设备。

技术背景

现在，随着多媒体技术的发展，可以通过网络提供一种各种各样的信息。这些信息的代表是声音、文字或图像等。以通信卡拉OK为例，歌曲的标题和歌词等是文字信息，伴奏曲和背景合唱等是声音信息，而背景动画等则是图像信息。

在通信卡拉OK中，是通过网络来同时发送这样的各种信息，而在终端装置再现各种信息。然后，通过在这些各种信息之间取得同步，随着乐曲的进行，歌词文字的颜色发生变化，动态图像发生变化。

以往，为了取得以上所述同步，在处理声音、文字和图像等各种信息的各种软件程序中设置时钟，根据该时钟的时间信息进行同步处理。因此，当系统的负荷增大时，会发生各时钟相互之间不一致，发生所谓的同步偏移，各种信息输出的时间发生偏移，产生声音和图像不一致等问题。

而且，还存在以下问题：对于声音、文字和图像等各种信息，为了根据命令读出文件，在处理上要花时间，并且因为要根据各种数据来分别生成文件，所以文件管理非常烦杂。

发明内容

鉴于以上所述问题，本发明的目的在于：提供一种当再现属性不同的各种数据时，能比较容易地取得同步的数据再现装置和数据再现方法。

本发明的其他目的在于：提供一种不需要按数据类别来制作文件，文件管理比较容易的数据再现装置，

本发明的其他目的在于：提供一种能比较容易地把声音、文字和图像等任意信息嵌入到现有数据格式中的数据再现装置。

本发明的其他目的在于：提供一种适合于通信卡拉OK的数据再现装置。

本发明的其他目的在于：提供一种能得到充满现场感的音乐演奏的数据再现装置。

本发明的其他目的在于：提供一种在重复再现数据时，能减少数据传送量的数据再现方法。

本发明的其他目的在于：提供一种用小容量通信线路的数据再现方法。

本发明的其他目的在于：提供一种能进一步减少再现数据的数据量的数据再现方法。

本发明的其他目的在于：提供一种能抑制数据再现时噪声的产生的数据再现方法。

本发明的其他目的在于：提供一种能高速处理数据的数据再现装置和数据再生方法。

本发明的其他目的在于：提供一种与传输线路的容量无关，能稳定地再现数据的数据再现装置。

本发明的其他目的在于：提供一种能下载声音、文字和图像等属性不同的各种信息，对其进行再现并能作为声音和可视信息来进行输出的信息终端设备。

本发明的其他目的在于：提供一种能在具有电话机和游戏机功能的信息终端设备中，对中断信号进行适当处理的信息终端设备。

本发明的其他目的在于：提供一种能下载并使用CD(光盘)和MD(小盘)等的音乐、歌词和护封相片数据的信息终端设备。

本发明的其他目的在于：提供一种能把下载的各数据储存在小型信息存储介质中进行使用的信息终端设备。

本发明的其他目的还在于：提供一种当接收了商业广告信息，进行收听收看时，能接受到由该商业广告提供者所提供的服务的数据再现装置。

在本发明中，所谓MIDI是乐器指令数字化接口的省略语，它是为了在电子乐器之间、电子乐器和计算机之间相互交换音乐演奏信号的国际标准规格。并且，所谓SMF是标准MIDI文件的省略语，文件形式是标准的，由表示被称为δ时间的时间信息和演奏内容等的事件信息组成。按照以上所述含义上来使用本说明书中的用语MIDI和SMF。

在本发明中，接收的数据包括事件信息和实行事件的时间信息，它是如SMF这种形式的数据构成。所接收的数据根据各自的时间信息按照不同的种类被划分，实施所分配的数据的事件，再现数据。

在本发明中，因为时间信息和声音、文字、图像等信息是一体的，所以通过根据它们所具有的时间信息再现各种数据，就能把时间信息作为同步信息来使用。其结果，就能在象声音和图像这样的不同种类的数据间简单地取得同步，并且，也没有必要根据数据的种类来分别制作文件，从而使文件管理也变得比较容易。另外，没有必要再每次都访问各种文件，从而使处理变得高速化。

接收的数据能由具有MIDI事件信息的第一数据和具有MIDI以外的事件信息的第二数据构成。作为第二数据，例如可以考虑有关文字、图像或声音等的数据。

MIDI事件是用于控制电子乐器发音的命令集合体。例如，它采用如“开始发1的音”、“停止发1的音”这样的命令形式。然后，把作为事件信息的δ时间附加到该MIDI事件，成为SMF形式的数据，根据δ时间所表示的时间，一到给定时间，就开始实行“开始发1的音”、“停止发1的音”这样的事件。

另一方面，在MIDI以外的事件中，有META事件和系统排他事件。如下面所述那样，这些事件能扩展格式，能在该扩展格式中嵌入各种数据。如果采用这样的SMF的扩展形式，不用大幅度地改变格式，就能比较容易地记录声音和图像等各种数据。

在本发明中，接收具有MIDI、文字和图像的各事件信息的数据，在把再现的MIDI数据作为声音进行输出的同时，还能通过把再现的文字和图像数据作为可视信息输出，来实现适合于卡拉OK的数据再现装置。此时，作为音像，在MIDI以外加上音响，据此，就能分别用MIDI来再现乐器的演奏部，而用声音来再现背景合唱等有声部，就能实现充满现场感的演奏。

当重复再现具有MIDI以外的事件信息的第二数据时，把最初接收的数据储存到存储器中，当重复再现数据时，最好用第二数据只发送与再现相关的时间信息。据此，就能减少数据的传送量。

并且，当接着第一数据再现第二数据时，最好把第二数据的再现数据分割为多个数据，发送把分割后得到的多个数据插入到先行的第一数据之间后得到的数据群，在接收一侧，从该数据群把插入的分割数据抽出，把抽出的分割数据合成后作为再现数据。据此，就能把所发送的数据量标准化，使用小容量的通信线路就可以了。此时，通过把抽出的分割数据按时间序列依次储存在存储器中，并在所储存的分割数据的区域内记录与该分割数据相连的后续分割数据的开始地址，就能比较容易而准确地合成分割数据。

另外，通过消除第二数据中所记录的再现数据的无音区间，就能进一步减少了数据量。此时，如对再现数据的上升部和下降部附近的信号实施窗处理，就能抑制干扰的发生。

在本发明的数据再现装置的其他实施例中，把属性不同的各数据，根据它们的时间信息，分配到各单位区间并储存到存储部中，在下一个单位区间中，从存储部中按顺序读出后进行再现。据此，由于所接收数据的处理被流线化，所以能进行更高速的处理。并且，通过管理数据的时间信息和单位区间的时间长度，只把应该在该单位区间处理的数据送到存储部中，就能比较容易地取得时间同步。

本发明的数据再现装置也可以采取一边下载数据，一边进行再现的流水作业方式。此时，如果因再现所消耗的数据量比得到的数据量大，则由于数据不足，会导致声音和图像等的中断，所以通过只把必要量的数据高速缓冲存储器后再开始进行再现，能使数据不中断地连续再现。

本发明的数据再现装置能够装在象移动电话和游戏机那样的信息终端设备上，利用终端设备的通信功能，就能从服务器上下载各种数据。然后，通过在信息终端设备上设置可输出声音的扬声器和可显示文字以及图像的显示器，就能在终端设备上视听音乐和图像。如果是电话机，在接收了来电信号时，禁止从扬声器进行声音输出，输出来电声音。如果是游戏机，能在扬声器发出声音的同时，还输出根据MIDI的效果音。

在本发明的数据再现装置中，能够设置可以安装、卸下的小型信息存储介质，能在该信息存储介质中储存下载的各种数据，以备再用。例如，如果把音乐数据以MIDI和声音形式、歌词和曲目解说等数据以文字形式、护封用相片数据以图像形式分别下载，就能把信息存储介质本身作为CD和MD来加以使用。

在本发明中，接收的商业广告信息的文字数据中包括：互联网的URL和有关在该URL中提供的服务的信息。通过在再现商业广告后，使其链接到所述URL的主页上，就能向商业广告的视听者们提供各种各样的服务。

附图说明下面简要说明附图。

图1是表示本发明的数据再现装置的例子的框图。

图2是表示SMF形式的接收数据格式的图。

图3是关于MIDI的数据格式的例子。

图4是关于简易型MIDI的数据格式的例子。

图5是关于声音、文字和图像的数据格式的例子。

图6是关于控制的META格式的例子。

图7是关于声音、文字和图像的数据的其他格式的例子。

图8是数据列的格式的例子。

图9是表示本发明的数据再现方法的例子的程序框图。

图10是表示本发明的数据再现方法的其他例子的程序框图。

图11是说明数据的重复再现处理的图。

图12是数据的重复再现处理的程序框图。

图13是表示先发送数据的原理图。

图14是表示插入分割数据的例子的图。

图15是表示储存了分割数据的存储器内容的图。

图16是把分割数据储存在存储器中时的程序框图。

图17是有无音区间的声音数据的波形图。

图18是表示无音区间的处理的程序框图。

图19是表示本发明数据再现装置其他例子的程序框图。

图20是表示本发明的数据再现方法的其他例子的程序框图。

图21是说明数据分配中的时间计算原理的图。

图22是表示数据分配顺序的程序框图。

图23是表示各数据再现部的动作的程序框图。

图24是数据处理的全部时间图。

图25是说明流线方式的数据接收动作的图。

图26是数据接收的时间图。

图27是说明数据的高速缓冲存储器的时间图。

图28是表示本发明的数据再现装置的其他例子的框图。

图29是表示图28中的装置动作的时间图。

图30是表示本发明的数据再现装置的其他例子的框图。

图31是表示图30中装置的动作的时间图。

图32是使用本发明的数据再现装置进行付款打折处理时的程序框图。

图33是将构成CM的各数据按时间序列来显示的图。

图34是在文字数据中附加标签的例子。

图35是使用本发明的数据再现装置进行有效期服务时的程序框图。

图36是在文字数据中附加标签的例子。

图37是表示装上了本发明的数据再现装置后的移动电话的图。

图38是内藏在信息存储介质中的存储器表图。

图39是表示使用移动电话的系统图。

具体实施方式

下面，参照附图说明本发明的理想实施例。

图1表示了本发明的数据再现装置的例子。在图1中，1a和1b是记录了数据的文件，1a是例如互联网上服务器上的文件，1b是例如装置内部的硬盘上的文件。

2是控制数据再现装置的整体的CPU，它包括数据接收部3和数据分配部4。虽然CPU2含有除此之外的功能，但因为与本发明没有直接关系，所以在图示中省略了。数据接收部3访问文件1a和1b，接收储存在它们中的数据。可通过有线或无线接收文件1a的数据。这些接收的数据暂时储存在缓冲器3a中。数据分配部4把数据接收部3接收的数据按种类分配到数据再现部6中。

数据再现部6包括：用于再现与MIDI有关的数据的MIDI再现部11、用于再现与声音有关的数据的声音再现部12、用于再现与文字有关的数据的文字再现部13、用于再现与图像有关的数据的图像再现部14。MIDI再现部11中包括储存了再现音乐中所使用的各种乐器的音源数据的只读存储器11a。可把该音源只读存储器11a置换成随机存取存储器，使内装的数据可交换。图像再现部14具有再现静止画面和动画的功能。

15是用来混合MIDI再现部11和声音再现部12的输出的混频器，16是用来混合文字再现部13和图像再现部14的输出的混频器。混频器15中，设有用于附加回声的声效部15a，在混频器16中，设有用于在图像上添加特殊效果的视觉效果部16a。17是用于暂时储存混频器15的输出的输出缓冲器，18是用于暂时储存混频器16的输出的输出缓冲器。19是根据输出缓冲器17的数据输出声音的扬声器，20是根据输出缓冲器18的数据，显示文字和图像等可视信息的显示器。

文件1a和1b所记录的SMF形式的数据被输入到数据接收部3中。SMF形式的数据一般由叫做时间间隔的时间信息和代表演奏内容等的时间信息构成，与事件信息的种类相应，在图2(a)至(c)中显示了三种形式。(a)是事件信息由MIDI事件构成的数据，(b)是事件信息由META事件构成的数据，(c)是事件信息由系统排他事件构成的数据。

MIDI事件的详情如图3所示。图3(a)和图2(a)相同。如图3(b)和(c)所示，MIDI事件由状态信息和数据组成。图3(b)是表示发音开始命令的事件，在状态信息中记录了乐器的种类，数据1中记录了音阶，数据2中记录了音的强弱。并且，图3(c)是表示发音停止命令的事件，在状态信息中记录了乐器的种类，数据3中记录了音阶，数据4中记录了音的强弱。据此，MIDI事件是储存演奏信息的事件，通过一个事件，例如由命令“用钢琴以该强度发1的音”构成。

图4表示了简化图3的格式、削减数据量后得到的简易型MIDI格式的例子。在图3中，分别由发音开始命令和发音停止命令构成，但是在图4中，通过在数据中输入发音时间，发音和停止被集成到一个事件中。并且，省略了音的强弱的数据，音阶数据包括在状态信息中。另外，虽然图4的格式不是SMF那样的标准格式，但是在本发明中处理的数据也包括象这样的非SMF格式。

MIDI事件的详情如图5所示。图5(a)和图2(b)相同。META事件是控制数据的传送、再现的开始和停止的事件，它的格式能扩展，能在扩展的格式中嵌入各种数据。图5(b)至(e)显示了扩展的META事件的格式的例子，(b)是嵌入声音数据的格式，(c)是嵌入文字数据的格式，(d)是嵌入图像数据的格式，(e)是嵌入文字和图像数据的格式。图像中除了包括图画和照片等静态画面，还包括动画。

开始的FFh是文件头，它表示该事件是META事件。接着的30h，31h，…等是标识符，它表示META事件的格式是扩展格式。并且，len表示META事件的数据长度，type表示要传送的数据的格式，id表示数据的号码。event表示应实行的事件的内容，例如“开始传送声音数据”和“停止传送图像数据”等命令。能从表示数据长度的len的值知道这些数据的结束位置。

在META事件中，除了有记录了所述数据的扩展格式外，还有关于控制的格式。图6是这样的一个例子，(a)是表示再现开始，(b)是表示再现停止的事件格式。(a)的10h和(b)的11分别是开始再现和停止再现的命令。此外，因为FFh、len、type和id与图5中的一样，所以省略说明。

Sys.Ex事件的详情如图7所示。图7(a)和图2(c)相同。Sys.Ex事件被叫做系统排他事件，例如，在设置适合于管弦乐的系统时，关于设置信息等的事件。系统排他事件的格式也能扩展，能在扩展的格式中嵌入各种数据。图7b)至(e)显示了扩展的系统排他事件的格式的例子，与图5的格式相同。

SMF形式的数据的构造如上，把多个这样的数据组合起来，形成一连串的数据列。图8表示了这样的数据列的例子。M是关于MIDI的数据，具有图3所示的格式。A是关于声音的数据，具有图5(b)所示的格式。T是关于文字的数据，具有图5(c)所示的格式。P是关于图像的数据，具有图5(d)所示的格式。另外，各数据的排列顺序并不局限于图8，可以存在各种模式。并且，图8中，声音、文字和图像的数据被记录在META事件中，但也可在系统排他事件中记录这些。各数据M、A、T和P分别由信息包构成，把这些连起来，变成一连串的数据列。图1的数据接收部3接收该数据列，储存在缓冲器3a中。

用数据分配部，分别根据接收的数据的时间间隔ΔT，把其分配。用数据再现部6实行事件，再现数据。实行事件的时间由时间间隔ΔT决定。也就是，当从刚实行了的事件开始经过的时间Δt和这回实行的事件的时间间隔ΔT的关系是Δt≥ΔT时，事件被实行。总之，某一事件一被实行，就计算从该事件开始经过的时间，当经过的时间等于或大于下一事件的时间间隔时(因为用CPU分割时间的能力是有限的，所以与时间间隔不完全一致，大于它的情况也会出现)，实行下一个事件。据此，时间间隔表示了从上一个事件开始，应经过多长时间再实行下一事件，虽然它不表示绝对时间，但是通过累计时间间隔，就能算出开始再现的时间。

下面，将详细说明在数据再现部6的各部的再现。首先，说明MIDI再现部11的再现动作。在图1中，CUP2的数据分配部4根据图中未表示的只读存储器中储存的程序，从缓冲器3a按顺序读出接收的数据。如果读出的数据是关于MIDI的数据M(图3)，把该事件信息传给MIDI11再现部。如果事件的内容是象“用钢琴的音发3的音”之类的命令，MIDI11再现部翻译该命令，从音源只读存储器11a读入钢琴的音，通过软件合成器生成合成音，用“3”的音程开始发音。CUP2从此时开始计算经过的时间，如果该经过时间等于或大于下一个叫“停止3的发音”的事件所具有的时间间隔时，该命令被传给MIDI再现部11，MIDI再现部11翻译该命令，停止“3”音的发音。据此，只在发音开始到发音停止之间的时间中，用钢琴音再现“3”的音。

接着，CUP2从停止发“3”的音开始计算经过时间，如果该经过时间等于或大于下一个例如叫“用钢琴音发6的音”的事件所具有的时间间隔时，该命令被传给MIDI再现部11，MIDI再现部11翻译该命令，从音源只读存储器11a读入钢琴的音，通过软件合成器生成合成音，用“6”的音程开始发音。然后，CUP2从此时开始计算经过的时间，如果该经过时间等于或大于下一个叫“停止6的发音”的事件所具有的时间间隔时，该命令被传给MIDI再现部11，MIDI再现部11翻译该命令，停止“6”音的发音。据此，只在发音开始到发音停止之间的时间中，用钢琴音再现“6”的音。通过重复这样的动作，MIDI再现部11再现根据MIDI的音。

接着，就具有MIDI以外的事件信息的数据加以说明。如上所述，声音、文字和图像的各数据记录在META事件(图5)或系统排他事件(图7)中。在图1中，数据分配部4与所述一样，从缓冲器3a按顺序读出接收的数据。如果读出的数据的事件信息是关于声音的数据A时，根据时间间隔把读出的数据的事件信息分配到声音再现部12，声音再现部12翻译该事件的内容，实行事件，再现声音。如果读出的数据是关于文字的数据T，根据时间间隔把读出的数据的事件信息分配到文字再现部13，文字再现部13翻译该事件的内容，实行事件，再现文字。如果读出的数据是关于图像的数据P，根据时间间隔把读出的数据的事件信息分配到图像再现部14，图像再现部14翻译该事件的内容，实行事件，再现图像。

更具体地说，如果声音再现部12从数据分配部4接收了如“发声音B”这样的事件，声音再现部12把该事件所具有的声音B的数据解码，再现它。CUP2从此时开始计算经过的时间，如果该经过时间等于或大于下一个叫“显示文字C”的事件所具有的时间间隔时，文字再现部13对该事件所具有的文字C的数据解码，再现它。接着，CUP2从文字C的再现开始计算经过的时间，如果该经过时间等于或大于下一个比如叫“显示图像D”的事件所具有的时间间隔时，图像再现部14对该事件所具有的图像D的数据解码，再现它。在这点上，与上述的MIDI数据的再现原理基本相同。

在所述说明中，为了方便，分为MIDI再现部11的再现动作和MIDI以外的再现部12到14的再现动作，实际上，如图8所示，具有MIDI事件的数据M和具有MIDI以外的事件的数据A、T、P被按时间序列混合输入到数据接收部3中。例如，象MIDI(M)→图像(P)→文字(T)→MIDI(M)→声音(A)→动画(P)→…，一个接一个输入了不同种类的数据。数据分配部4根据时间间隔把这些数据分配到各再现部11至14，各再现部分别进行相应的数据再现处理。

混频器15把MIDI再现部11再现的数据和声音再现部12再现的数据混合，用声效部15a进行回声处理后，暂时储存在输出缓冲器17中，从扬声器19输出声音。一方面，混频器16把文字再现部13再现的数据和图像再现部14再现的数据混合，用视觉效果部16a进行特殊影像处理后，暂时储存在输出缓冲器18中，从显示器20输出可视信息。然后，数据分配部4接收图6(b)所示的停止再现的META事件，停止再现数据。

据此，图1的数据再现装置，能从MIDI、声音、文字和图像混合在一起的数据列中，按种类分配并再现数据。然后，在再现文字和图像时，与MIDI的再现一样，要参照时间间隔，根据时间间隔所决定的时间进行再现。因此，只通过记述时间间隔就能简单地取得在声音和图像等不同种类的数据之间的同步，并且，因为不用象以前那样，在处理各数据的程序中加入时钟，所以就不会发生因为时钟间的不一致而导致的同步偏移。

图9是表示图1中的再现装置的数据再现方法的程序流程图，它显示了CPU2所实行的步骤。下面以再现装置是通信卡拉OK用的再现装置为例，说明动作。另外，以下把程序流程图的步骤简称为“S”。数据接收部3通过通信线路从网络上的服务器中的文件1a接收数据(S101)，把接收的数据储存到缓冲器3a中(S102)。接着，数据分配部4读出缓冲器3a的数据，计算从实行上一个事件开始经过的时间(S103)。然后，判断该经过时间是否与时间间隔所表示的时间一致(或超过)(S104)，如果未超过时间间隔(S104NO)，返回到S103，继续计算经过的时间。如果经过时间与时间间隔所表示的时间一致或超过时间间隔(S104YES)，转移到数据处理。

在数据的处理中，首先判断接收的数据的种类。也就是，判断接收的数据是否为MIDI数据M(S105)，如果是MIDI数据(S105YES)，把它分配到MIDI再现部11，在MIDI再现部11，生成合成音(S111)。因为已经说明了详细的原理，所以这中就不再说明。通过合成器的声音再现，从扬声器19输出卡拉OK的伴奏曲。如果接收的数据不是数据M(S105NO)，接着判断是否为声音数据A(S106)，如果是声音数据A(S106YES)，把它分配到声音再现部12，在声音再现部12，进行声音的处理，再现声音(S112)。因为已经说明了详细的原理，所以这中就不再说明。通过声音再现，从扬声器19输出背景合唱等的声音。

如果接收的数据不是数据A(S106NO)，接着判断是否为文字数据T(S107)，如果是文字数据T(S107YES)，把它分配到文字再现部13，在文字再现部13，进行文字处理，再现文字(S113)。通过文字再现，卡拉OK曲的标题和歌词在显示器20中显示出来。如果接收的数据不是数据T(S107NO)，接着判断是否为图像数据P(S108)，如果是图像数据P(S108YES)，把它分配到图像再现部14，在图像再现部14，进行静止图像和动画处理，再现图像(S114)。通过图像再现，动画片和动画等在显示器20中显示出来。

如果接收的数据不是数据P(S108NO)，例如，该数据是与设置和控制相关的数据，进行它的内容给定的处理(S109)。接着，判断是否停止再现，也就是判断是否接收了图6(b)中的META事件(S110)。如果不停止再现(S110NO)，返回到S101，等待接收下一数据；如果停止再现，(S110YES)，就结束动作。

如上所述，通过在图1的数据再现装置中，设置由MIDI再现部11、声音再现部12组成的声音再现部和由文字再现部13、图像再现部14组成的可视信息再现部，构成了适用于通信卡拉OK的装置。虽然在本发明中，声音再现部12并不是必要的部，也能省略，但是，通过设置声音再现部12，把乐器的部由MIDI再现部11再现，声音部由声音再现部再现，就能用本来的声音再现声音部，从而得到极富现场感的演奏。另外，如上所述，数据接收部3所接收的SMF形式的数据是储存在网络上的服务器的文件1a中，定期把新曲的数据上载到文件1a中，更新文件1a的内容。

图10是表示把图1中的数据再现装置用于电视CM(商业广告)放映时的再现方法的程序流程图，显示了CPU2实行的步骤。在图中，S121至S124分别与图9中的S101至S104对应，因为动作与图9中的一样，所以不再说明。

给定的时间一到，就转移到处理(S124)，判断接收的数据是否为CM的背景音乐的数据(S125)。这中，背景音乐的数据由MIDI构成。如果是背景音乐的数据(S125YES)，把它分配到MIDI再现部11，进行合成处理，再现声音(S132)。因此，从扬声器19输出CM的背景音乐。

如果接收的数据不是背景音乐的数据(S125NO)，接着判断是否为播音员所说的播音的数据(S126)。该播音数据由声音数据构成。如果是播音数据(S126YES)，把它分配到声音再现部12，进行声音处理，再现声音(S133)。通过声音的再现，从扬声器19输出播音员的解说等。

如果接收的数据不是播音的数据(S126NO)，接着判断是否为表示商品名的文字数据(S127)，如果是文字数据(S127YES)，把它分配到文字再现部13，用文字再现部13再现文字，在显示器20上显示(S134)。

如果接收的数据不是文字数据(S127NO)，接着判断是否为图像数据(S128)，如果是图像数据(S128YES)，把它分配到图像再现部14，用图像再现部14进行静止画面的处理，再现图像，在显示器20上显示(S135)。

如果接收的数据不是图像数据(S128NO)，接着判断是否为动画数据(S129)，如果是动画数据(S129YES)，把它分配到图像再现部14，用图像再现部14进行动画处理，再现动画，在显示器20上显示(S136)。接收的数据如果不是动画数据(S129NO)，就进入S130。S130和S131分别与图9的S109和S110对应，因为它的动作也与图9中的一样，所以不再说明。

可是，在上述的再现方法中，在再现嵌入到SMF形式的数据中的声音、文字和图像数据时，有时会多次重复再现同一数据。例如，重复3次卡拉OK的背景合唱，在商业广告的开始和结束的部，两次显示相同的文字。此时，如果把重复的次数所对应的数量的数据嵌入到图5或图7的格式中，会导致数据量的增大。

图11中表示的是解决该问题的对策。也就是，如(a)所示，当在时间t1、t2和t3反复三次再现同一数据R时，在发送端(服务器)，如b所示，最初只发送一次嵌入了数据R的信息包。在接收端(数据再现装置)，把该数据储存到存储器(省略图示)中。重复再现时，发送端不发送数据R，只发送内容为“如果过了时间间隔所显示的时间，就再现数据R”的消息。在接收端，根据此消息，一到时间间隔给定的时间，从存储器中读出数据R，再现它。该动作在t1、t2和t3要进行三次，但发送的数据量只有三分之一。

另外，这中举的是发送的数据储存到存储器中后，进行再现的例子，图11的方法是一边下载数据，一边再现，在所谓的流线方式的数据接收中也适用。此时，在最初的再现时间t1，把送来的数据R储存到存储器中。

图12是表示上述的重复再现处理的程序流程图，是图9的S113、S113或S114的详细步骤，或者是图10中的S133、S134、S135或136的详细步骤。首先，判断判断接收的数据是否是要重复再现的数据R(S141)，如果不是重复数据(S141NO)，作为一般的数据处理。如果是重复数据(S141YES)，在CPU内部的计数器N中设置再现的次数(S142)，从存储器读出数据R(S143)，输出它(S144)。接着，把计数器减1后更新为N-1(S145)。然后，判断N是否为0(S146)，如果不是0(S146NO)，转移到图9的S110或图10的S131。如果计数器N为0(S146YES)，消除记录的数据R释放存储器(S147)。

图13是表示流线方式中提前发送数据的原理图。当在MIDI数据后发送声音和图像等数据时，如(a)所示，虽然MIDI部的数据量少，但是一到声音和图像等数据X的部，数据量一下增大了。(MIDI的数据量之所以少是因为MIDI不是声音的数据，是控制发音的命令，它由二进制的数据构成。)因此，如果就这样发送数据X，就需要大容量的通信线路。

如图13(b)所示，适当地分割数据X，把ID号X1、X2和X3分配给分割的数据，把这些分割的数据先插入到MIDI数据间，先行发送，发送的数据量被标准化，就能减小线路的容量。虽然这中只是把分割数据X的一部分作为例子，对数据X进行全面的分割也可以。如图14所示，作为MIDI的后续数据，也可以同时存在多个数据X和Y。此时，分别按X和Y的组别给数据X和数据Y的各分割数据中分配id号，X1、X2，…和Y1、Y2…。图14(b)表示了先行把分割数据插入到MIDI数据间的例子。据此，插入了分割数据的数据群被数据接收部3接收后，从数据群抽出插入的分割数据，通过合成抽出的分割数据，还原为原来的再现数据。用图15和16对此进行详细说明。把接收的分割数据与MIDI数据分开，从图14(b)中的开头的数据开始，按时间序列依次储存在存储器中。图15表示了存储器的内容。储存了各分割数据的区域中，分别记录了X和Y组中与该分割数据相连的后续分割数据的开始地址。例如，在数据X1的最后记录了数据X2的开始地址，在数据X2的最后记录了数据X3的开始地址。并且，在数据Y1的最后记录了数据Y2的开始地址，在数据Y2的最后记录了数据X3的开始地址。

图16是表示数据接收部13接收了图14(b)中的数据群时，抽出分割数据储存在存储器中的动作的程序流程图。首先，读取开头的数据X1(S151)，把读取的数据X1写入存储器(S152)。接着，读取数据X2(S153)，此时把储存X2的区域的开始地址写到数据X1的最后(S154)，把数据X2写入存储器(S155)。接着，在处理完MIDI数据后(S156)，读取数据Y1(S157)，把读取的数据Y1写入存储器(S158)。之后，读取数据X3(S159)，把储存X3的区域的开始地址写到数据X2的最后(S160)，把数据X3写入存储器(S161)。接着，读取数据Y2(S162)，把储存Y2的区域的开始地址写到数据Y1的最后(S163)，把数据Y2写入存储器(S164)。以下，与前面同样，把数据X4至X6写入存储器。据此，通过在储存于存储器中的分割数据的结尾处记录了后续分割数据的开始地址，能比较容易地合成并恢复分割数据。也就是，关于数据X，因为分割数据X1、X2，…X6通过开始地址，被连结起来，所以如图15所示，即使把数据X的分割数据和数据Y的分割数据混合储存，如果参照开始地址，读出并合成X1、X2，…X6，就能简单地还原为原来的数据X。关于数据Y，也是一样的。

图17说明了对有无音区间的声音数据的处理。例如，把播音员的声音记录为声音信号，嵌入到图5(b)或图7(b)中的SMF格式中。播音员的声音有时会中断，该中断的区间(无音区间)的数据本来是不要的。因此，如果能切掉无音区间的数据，只把需要的部嵌入到SMF格式中，就能减少数据量。

在图17的声音信号中，T区间为无音区间。无音区间T本来是信号水平为0的区间，可是实际上由于有噪声等混在中面，信号水平也就不一定为0。这中，把它定为一定范围的水平值L，当信号水平低于L的区间持续了一定区间时，把该区间定为无音区间T。然后，生成切掉该无音区间T的声音数据，把它嵌入到图5(b)或图7(b)的SMF格式中，再根据所述再现方法进行再现，据此，发送的数据量也少了，也能节省接收端的存储器空间。

可是，如果只切掉无音区间T，在再现时，信号急剧的上升和下降，会产生噪声。这中，为了避免这，在信号的上升和下降的附近，进行窗处理，以便得到平滑的上升和下降特性。可通过使用了窗函数的众所周知的方法，实现窗处理。图17中，W1至W4是实施窗处理的部。图18是切掉无音区间，记录数据时的程序流程图。从开头按顺序读取数据(S171)，判断读取的数据的水平是否超过了一定值(S172)。如果没有超过一定值(S172NO)，回到S171，继续读取数据，如果超过了一定值(S172YES)，在数据的上升部附近，进行上述的窗处理，把处理后的数据写入存储器(S173)。这中的窗处理是图17中的W1所进行的窗处理，是使信号平缓地上升的渐现处理。

接着，再读取数据(S174)，判断读取的数据的水平是否超过了一定值(S175)。如果超过了一定值(S175YES)，把该数据写入存储器(S176)，回到174，读下一数据。如果没有超过一定值(S175NO)，判断该区间是否已连续了一定区间(S177)，如果没有连续一定的区间(S177NO)，把数据写入存储器(S176)，回到S174，对下一数据。如果低于标准的区间连续了一定区间(S177YES)，把该区间视为无音区间，在17图的W2部进行窗处理，把处理后的数据写入存储器(S178)。这中的窗处理是使信号平缓地下降的渐隐处理。另外，在S178中，进行把在S176中写入的数据中处于无音区间的无用数据消除的处理。接着，判断是否结束读数据(S179)，如果不结束(S179NO)，返回到S171，读下一数据，这以后，通过与所述同样的步骤，进行图17中的W3和W4的窗处理。如果读数据结束(S179YES)，结束动作。

在所述实施例中，作为在SMF的扩展形式中嵌入的数据，已列举了声音、文字和图像，但嵌入的信息可以是任何数据，例如计算机的程序。此时，例如，如果设置为在MIDI数据后，接着再现计算机的程序，就能实现在最初演奏根据MIDI的音乐，音乐结束后自动地启动计算机程序。

并且，在所述实施例中，表示了通过通信线路从网络上的服务器上的文件1a接收数据的例子，也可以用个人电脑生成SMF形式的数据，把它储存在硬盘的文件1b中，再从这中下载数据也可以。图19显示了本发明的数据再现装置的其他的例子。1a和1b是记录了数据的文件，1a是例如互联网上服务器上的文件，1b是例如装置内部的硬盘上的文件。2是控制数据再现装置的整体的CPU，它包括数据接收部3和数据分配部4。虽然CPU2含有除此之外的功能，但因为与本发明没有直接关系，所以在图示中省略了。数据接收部3访问文件1a和1b，接收储存在它们中的数据。可通过有线或无线接收文件1a的数据。接收的数据的格式，不是图2的格式，而与图8的相同。这些接收的数据暂时储存在缓冲器3a中。数据分配部4把数据接收部3接收的数据按种类分配，储存在构成存储部5的缓冲器7至10中。

6是数据再现部，它包括：用于处理与MIDI有关的数据的MIDI再现部11、用于处理与声音有关的数据的声音再现部12、用于处理与文字有关的数据的文字再现部13、用于处理与图像有关的数据的图像再现部14。另外，虽然省略了图示，MIDI再现部11中包括了图1中的音源只读存储器11a。图像再现部14具有再现静止画面和动画的功能。

15是用来混合MIDI再现部11和声音再现部12的输出的混频器，16是用来混合文字再现部13和图像再现部14的输出的混频器。混频器15中，具有图1中的声效部15a，在混频器16中，具有图1中的视觉效果部16a。17是用于暂时储存混频器15的输出的输出缓冲器，18是用于暂时储存混频器16的输出的输出缓冲器。19是根据输出缓冲器17的数据输出声音的扬声器，20是根据输出缓冲器18的数据，显示文字和图像等可视信息的显示器。21是产生作为系统的基准时间的系统时钟，控制各部的时间的定时控制部，22是数据再现装置外带的外部储存设备。

存储部4包括：数据再现部6、混频器15、混频器16、输出缓冲器17、输出缓冲器18；定时控制部21由DSP(数字信号处理器)构成。也可以用大规模集成电路代替DSP，构成所述各部。如果把图19和图1做比较，就清楚了，图19的数据再现装置中，数据分配部4和数据再现部6之间设有由缓冲器7至10组成的存储部5，并且设有定时控制部21。

图20是表示图19中的数据再现装置的全体的动作程序流程图。首先，数据接收部3从文件1a或者文件1b接收数据(S181)。把接收的数据储存在缓冲器3a中。接着，CPU2根据来自定时控制部21的系统时钟和数据接收部3接收的各数据的时间间隔，进行数据分配部4分配数据所需的时间计算(S182)。将在后面具体介绍S182。数据分配部4根据时间计算的结果，把应处理的数据按种类分配，储存在对应的缓冲器7至10中(S183)。将在后面具体介绍S183。

各缓冲器所对应的数据再现部11至14分别读出缓冲器7至10中储存的数据，在数据再现部11至14，实行数据中记录的事件，再现数据(S184)。将在后面具体介绍S184。再现的数据中，用混频器15混合MIDI和声音数据，用混频器16混合文字和图像数据(S185)。这些混合后的数据分别储存到输出缓冲器17、18后，由扬声器19和显示器20输出(S186)。

图21是说明在S182的时间计算的原理图。图的t是时间轴，事件0至4表示了包括在接收的数据列中的事件的再现时间(但是，该再现时间是，假设根据接收的数据的时间间隔再现时的时间，而不表示时间轴t上实际再现的时间)。例如，事件0是图像事件，事件1是MIDI事件，事件2是声音事件，事件3是文字事件，事件4是图像事件。ΔT1至ΔT4是时间间隔，ΔT1是事件1的时间间隔，ΔT2是事件2的时间间隔，ΔT3是事件3的时间间隔，ΔT4是事件4的时间间隔。如前所述，时间间隔是实行上一事件的时间到实行这次的事件间的时间，例如从实行事件1的时间开始，经过ΔT2，实行事件2，从实行事件2的时间开始，经过ΔT3，实行事件3。t1是上次处理数据的时间，t2代表现在时间，t2与t1的差相当于单位区间1帧。1帧的区间，例如有15毫秒的时间段，1帧的开始和结束时间由来自定时控制部21(参照图19)的系统时钟决定。Q是数据的处理区间，它被定义为现在时间t2和前一帧的最后事件(事件0)的实行时间t0的差。

图22是表示数据分配部4的数据分配步骤的程序流程图。以下参照图21和图22，说明数据分配的步骤。在图21的t2时间，从定时控制部21向CPU2发出时钟，系统进入唤醒状态(S191)，CPU2计算处理区间Q的时间长度(S192)。Q为如上所述，计算Q＝t2－t0，它代表处理这次数据的时间长度。接着，CPU2顺序读取接收的数据的时间间隔ΔT(S193)，判断处理区间Q的时间长度是否大于ΔT(S194)。如果Q≥ΔT(S194YES)，接着按顺序判定数据的种类(S195、S198、S200、S202)，分别把数据分配到对应的缓冲器7至10中，储存起来(S196、S199、S201、S203)。之后，计算Q＝Q-ΔT，更新Q的值(S197)。

图21的例子中，因为事件1已在上次处理完了，所以从事件1开始按顺序判断。关于事件1的时间间隔ΔT1，因为Q＞ΔT1，所以S194的判断是YES，接着判断数据是否为MIDI(S195)。在图2中，事件1如果是MIDI事件(S195YES)，把数据送到缓冲器7，暂时保存(S196)。如果事件1不是MIDI事件(S195NO)，判断它是否为声音事件(S198)。事件1如果是声音事件(S198YES)，把数据送到缓冲器8，暂时保存(S199)。如果事件1不是声音事件(S198NO)，判断它是否为文字事件(S200)。事件1如果是文字事件(S200YES)，把数据送到缓冲器9，暂时保存(S201)。如果事件1不是文字事件(S200NO)，判断它是否为图像事件(S202)。事件1如果是图像事件(S202YES)，把数据送到缓冲器10，暂时保存(S203)。如果事件1不是图像事件(S202N0)，进行其他处理。

据此，把事件1的数据分配到缓冲器7至10中的一个后，计算Q＝Q－ΔT1(S197)，返回到S193，读下一事件2的时间间隔ΔT2，判断是否Q≥ΔT2(S194)。此时，虽然Q＝Q－ΔT1，但是，图21中Q－ΔT1＞ΔT2，因此S194的判断为YES，与所述情况一样，判断事件2的数据种类，分配到对应的缓冲器中。

之后，计算Q＝Q－ΔT2(S197)，返回到S193，读下一事件3的时间间隔ΔT3，判断是否Q≥ΔT3(S194)。此时，虽然Q＝Q－ΔT1－ΔT2，但是，图21中Q－ΔT1－ΔT2＞ΔT3，因此S194的判断为YES，与所述情况一样，判断事件3的数据种类，分配到对应的缓冲器中。之后，计算Q＝Q－ΔT3(S197)，返回到S193，读下一事件4的时间间隔ΔT4(图21中，事件4是在t2之后，但是在t2时间，事件4的数据已经在缓冲器3a中，能够读取)，判断是否Q≥ΔT4(S194)。此时，虽然Q＝Q－ΔT1－ΔT2－ΔT3，但是，图21中Q－ΔT1－ΔT2－ΔT3＜ΔT3，因此S194的判断为NO，CPU2不处理事件4的数据，进入睡眠状态，在下一帧的处理之前处于待机状态(S204)。然后，在下一帧的最初时间，从定时控制部21传来时钟，进入唤醒状态(S191)，对于事件4以下的数据，做与上述处理相同的处理。

在图22的程序流程图中，S192至S194和S197是图20中的S182的具体步骤，S195、S196、S198至S203是图20中的S180的具体步骤。接着，具体说明数据再现部11至14的处理，也就是图20中的S184的具体步骤。图23是表示各数据再现部的处理步骤的程序流程图。(a)代表MIDI再现部11的处理步骤。在MIDI再现部11，如果由数据分配部4分配来的1帧区间中的数据被储存在缓冲器7中，就在下1帧的区间，读入该数据(S211)。然后，翻译读入的数据中记录的MIDI事件(参照图3和4)的内容，通过软件合成器生成合成音(S212)。把该合成器的输出暂时储存在图上未显示的位于MIDI再现部11内部的缓冲器中，从该缓冲器向混频器15输出(S213)。

图23(b)代表声音再现部12的处理步骤。在声音再现部12，如果由数据分配部4分配来的1帧区间中的数据被储存在缓冲器8中，就在下1帧的区间，读入该数据(S311)。然后，翻译读入的数据的事件中所记录的声音数据(参照图5(b)和7(b))，再现音乐(S312)。把该再现数据暂时储存在图上未显示的位于声音再现部12内部的缓冲器中，从该缓冲器向混频器15输出(S313)。

图23(c)代表文字再现部13的处理步骤。在文字再现部13，如果由数据分配部4分配来的1帧区间中的数据被储存在缓冲器9中，就在下1帧的区间读入该数据(S411)。然后，翻译读入的数据的事件中所记录的文字数据(参照图5(c)和7(c))，再现文字(S412)。把该再现数据暂时储存在图上未显示的位于文字再现部13内部的缓冲器中，从该缓冲器向混频器16输出(S413)。

图23(d)代表图像再现部14的处理步骤。在图像再现部14，如果由数据分配部4分配来的1帧区间中的数据被储存在缓冲器10中，就在下1帧的区间读入该数据(S511)。然后，翻译读入的数据的事件中所记录的图像数据(参照图5(d)和7(d))，再现图像(S512)。把该再现数据暂时储存在图上未显示的位于图像再现部14内部的缓冲器中，从该缓冲器向混频器16输出(S513)。

按照程序给定的顺序进行上述的图23(a)至(d)的各处理，在这中，是按(a)至(d)的顺序进行。也就是，首先进行(a)MIDI处理，完后进行(b)声音处理，声音处理完后转到(c)文字处理，文字处理完后进行(d)图像处理。另外，之所以这样串行地进行处理，是因为构成存储部5和数据再现部6等的数字信号处理器只有一个，如果为各再现部分别设置一个数字信号处理器，就能并行地进行处理。

在混频器15把S213中输出到混频器15的MIDI再现数据和S313中输出到混频器15的声音再现数据混合后，储存在输出缓冲器17中，作为声音从扬声器19输出。并且，在混频器16把S413中输出到混频器16的文字再现数据和S513中输出到混频器16的图像再现数据混合和后，储存在输出缓冲器18中，作为可视信息从显示器20输出。由输出缓冲器17扬声器19构成第一输出部，由输出缓冲器18和显示器20构成第二输出部。另外，输出缓冲器17具有计算向扬声器19输出数据的个数的功能，根据该计数值，向定时控制部21发控制信号，定时控制部21根据该控制信号，向CPU2发定时信号(系统时钟)。也就是，从输出缓冲器17输出一个数据所需的时间由采样频率决定，如果用τ代表此时间，输出N个数据所需的时间为N×τ，由N的值可决定定时。并且，时间控制不21根据上述的控制信号，也向输出缓冲器18发定时信号，控制从输出缓冲器18输出的数据的定时。

图24全面显示了从上述数据的分配到再现间的动作，(a)表示了各再现部处理的数据量和帧区间的关系，(b)表示了各再现部的处理时间和帧区间的关系。F1至F3是一个帧区间，各帧区间的时间长度，例如设为15毫秒。也就是，数据分配部4中，每隔15毫秒，就从定时控制部21传来时钟。t代表时间轴，M是MIDI事件的再现定时，A是声音事件的再现定时，T是文字事件的再现定时，P代表图像事件的再现定时。另外，这些再现定时，和图21一样，是假设根据时间间隔再现接收的数据时的时间，而不表示时间轴t上实际再现的定时。

如图21所说明的，在区间F1处理的数据，在该区间的最后定时，被分配并储存到缓冲器7至10中。然后，各再现部11至14在下一帧区间F2，从缓冲器读出数据，并再现。此时，从各缓冲器向各再现部传送的数据量是各再现部在一帧区间内能处理的数据量，如图24(a)所示，各再现部在下一帧区间F2内，能处理全部数据。

该处理的时间表是图24(b)，白色箭头的长度表示处理时间。该处理时间因帧而异。如前所述，在下一帧区间F2，各再现部11至14按重新决定的顺序读出缓冲器中储存的数据，在各再现部，实行数据所记录的事件，进行数据再现。图24(b)中，按M(MIDI)、A(声音)、P(图像)的顺序再现。再现的M和A由混频器1(图19的混频器15)处理，再现的P由混频器2(图19的混频器16)处理。据此，在F1区间分配的数据在F2区间内全部处理完毕，剩下的时间是在下面的F3区间的处理开始之前的待机时间。图中的SLEEP代表该。然后，把混频器1的输出储存到输出缓冲器1(图19中的缓冲器17)后，在下一帧区间F3，输出声音，并且，把混频器2的输出储存到输出缓冲器2(图19中的缓冲器18)后，在下一帧区间F3，输出可视信息。

同样，在F2区间，把A、M、T的数据分配到缓冲器中，在F3区间，按M、A、T的顺序读出这些数据，在各再现部以与所述同样的原理再现，在下一F4区间(图24中未显示)输出。

如上所述，在图19的数据再现装置中，把接收的数据按帧分配并储存到缓冲器中，在下一帧，从缓冲器读出数据并再现，再从下一帧输出声音和可视信息。因此，能以帧为单位，边取得数据的时间同步，边再现。

并且，数据分配部4专门从事把接收的数据分配到缓冲器7至10的作业，各再现部11至14专门用于把储存在缓冲器中的数据读出并再现，因此数据接收部3把接收的数据流线化，能高速地进行处理。

另外，在再现数据时，本来应该是根据时间间隔管理再现的定时，但在图19的装置中，通过数据分配部4把数据分配到缓冲器7至10后，数据变为离散的，因此各时间间隔对决定再现定时没有实质的意义。可是，如前所述，1帧区间是15毫秒，是极短的时间，在这一时间中再现的数据，可以看作与各数据的再现定时无关，可认为是同时发生的再现。实际上，经验已经证明，在15毫秒左右的区间内的数据再现的定时偏差，通常人们是感觉不到的。因此，在分配数据的时间，只要根据时间间隔确定了1帧区间内应该处理的数据，在1帧区间内，即使这些数据的再现定时与根据时间间隔的再现定时有偏差，也没有问题。

在同一帧区间内，即使交换不同种类的数据的再现顺序也没关系。例如，在图24(b)的F1区间中，是按接收的数据的顺序M、A、P从各数据再现缓冲器读出数据，尽管在F2区间中，接收的数据的顺序是A、M、T，可是再现部从缓冲器读数据的顺序变为M、A、T，A和M交换了顺序。这是因为，如上所述，各再现部的处理顺序由程序定为M、A、T、P。可是，即使这样改变处理顺序，如果各再现部在15毫秒以内处理数据，如上所述，人的感觉也是无法区分数据的再现定时的，因此，不会成为问题。

并且，在图24中，使在1帧区间分配的数据全部在下一帧区间处理，但不必非要如此。也就是，如果输出缓冲器17和18有超过1帧区间的处理量的尺寸，即使有在1帧内处理不了的数据，可是，因为在输出缓冲器17和18中已提前保存了处理的数据，所以就能够不中断地输出数据。

图25说明了在图1或图19的数据再现装置中，采取边下载数据，边再现的流线方式时，数据接收部3的动作。这中，缓冲器3a由缓冲器A、缓冲器B和缓冲器C等三个缓冲器构成。3b是对应于缓冲器A、B、C设置的寄存器。接收的数据表示为流线数据S。在流线数据S的最前头记录了文件头H，接着用信息包P1、P2、P3，…Pm混合记录了MIDI、声音、文字和图像各数据。该流线数据S的全部数据量定为K。

以下以音乐再现为例，说明接收数据的动作。通过访问服务器，数据接收部3开始从文件1a接收流线数据S，首先，从流线数据S的最开头开始，把相当于缓冲器A的尺寸(容量)的数据A1储存在缓冲器A中。据此，缓冲器A变为满的状态，在寄存器A中，设置了表示缓冲器处于满的状态的标志。接着，把相当于缓冲器B的尺寸(容量)的数据B1储存在缓冲器B中。据此，缓冲器B也变为满的状态，在寄存器B中，设置了表示缓冲器处于满的状态的标志。

在缓冲器B变满的时间，数据分配部4开始分配数据，把缓冲器A中储存的数据A1和缓冲器B中储存的数据B1按数据的种类传送到缓冲器7至10。传送的数据在再现部11至14再现，开始曲子的演奏。一方面，把相当于缓冲器C的尺寸(容量)的数据C1储存在缓冲器C中。据此，缓冲器C也变为满的状态，在寄存器C中，设置了表示缓冲器处于满的状态的标志。

在缓冲器C储存数据C1期间，缓冲器A的数据A1被使用，缓冲器A变空，寄存器A的标志被复位，数据接收部3取得下一数据A2，储存在缓冲器A中。据此，缓冲器A再次变为满的状态，在寄存器A中，设置了标志。并且，缓冲器B的数据B1被使用，缓冲器B变空，寄存器B的标志被复位，数据接收部3取得下一数据B2(图25中未显示)，储存在缓冲器B中。据此，缓冲器B再次变为满的状态，在寄存器B中，设置了标志。通过重复以上的动作，进行流线数据S的再现。图26表示了此时的数据流。在上述的流线方式中，能从接收数据A1的时间开始再现。可是，当储存到缓冲器中的数据量不充足时，再现开始后，对缓冲器的数据补给赶不上使用量，会发生声音中断的现象。为了避免这种情况，有必要先在缓冲器中缓存数据，在储存了一定数量的数据的时间开始再现。以图27为例说明这种情况。

在图27中，缓冲器A、B、C的尺寸分别为50千字节，如果在千字节存储器储数据的时间为5秒，1秒中的数据传送量为50/5＝10千字节每秒。并且，如果曲子的演奏时间为10秒，全部数据量为200千字节，由曲子的演奏所消耗的数据量为200/10＝20千字节每秒。因此，如果从接收数据的时间t0开始再现，因为使用的数据量大于储存到缓冲器的数据量，所以缓冲器的数据量不足，发生音乐中断。

该问题的解决方法如下。也就是，从接收数据的时间t0开始的5秒内，在缓冲器A中储存50千字节的数据A1，在接着的5秒中，在缓冲器B中储存50千字节的数据B1，10秒中共缓存了100千字节的数据。然后，从从接收数据的时间t0开始经过10秒的时间t1开始再现。据此，即使再现开始后的数据传送量小于数据的消耗量，在缓冲器A和B中已经储存了100千字节的数据，并且，因为能在演奏开始的时间t1到演奏结束的时间t2的10秒间，把剩下100千字节的数据(C1和A2的合计)储存到缓冲器C和A中，所以数据就不会中断，能到最后一直连续再现曲子。

对此，当储存到缓冲器的数据量大于消耗的数据量时，就不需要所述数据的高速缓冲存储器，但是在缓冲器变为满的状态的时间，有必要从数据接收部3向服务器发不要再发送数据的指示。此时，当缓冲器俄数据被使用完，缓冲器变空的时间，数据接收部3开始从服务器取得数据。

如果把以上所述一般化就得到如下的叙述。如果缓冲器的尺寸为U，把数据储存到缓冲器所需的时间为t，单位时间内的数据传送量为J，J＝U/t。并且，如果总数据量为K，再现时间为T，单位时间内的数据消耗量为E，E＝K/T。在图25中，总数据量K和演奏时间T记录在文件头H中，数据接收部3读取文件头H，计算数据消耗量E。并且，在把数据A1储存到缓冲器A的时间，计算数据传送量J。结果，如果J＜E，就判断有必要高速缓冲存储器数据，高速缓冲存储器必要量的数据。此时，数据的高速缓冲存储器量为C，如果高速缓冲存储器数据，使条件K＜C＋J·T得到满足，就能不中断地再现数据。为了高速缓冲存储器数据，数据接收部3从服务器取得数据B1，储存在缓冲器B。如果在这一时间，满足了上述条件，数据接收部3向数据分配部4发ready信号，接收到该信号，数据分配部4开始分配缓冲器A和B的数据。以后的动作已经说明过了。

一方面，如果J＞E，就不需要数据的高速缓冲存储器，因此从接收数据A1的时间开始，数据分配部4开始分配数据。可是，因为再现开始后，缓冲器立刻变满，在缓冲器变满的时间，数据再现部3对服务器发送停止发送数据的要求。然后，数据被消耗，缓冲器一变空，数据再现部3再由求服务器发送数据。也就是，数据再现部3从服务器间歇地取得数据。

如上所述，数据再现部3监视数据的传送量，如果J＜E，在高速缓冲存储器了必要量的数据后，开始再现；如果J＞E，不用高速缓冲存储器数据，边间歇地接受数据，边再现。据此，即使变动传输线路的容量，也能稳定地再现数据。另外，当J＝E时，不用高速缓冲存储器数据，从服务器连续地接收数据。

其中，如果传输线路的容量由于某种原因突然减小，来不及向缓冲器高速缓冲存储器数据，会出现缓冲器A、B、C会全部为空的情况。此时，从数据分配部4向MIDI再现部11和声音再现部12发哑音信号，通过禁止输出杂音，能消除杂音给使用者带来的不快。并且，从数据分配部4向文字再现部13和图像再现部14发送前置保持信号，以维持之前的画面。并且，代替这些，也能采取如下方法：即使各再现部11至14没有收到代表数据的结束的信号，当数据分配部4没有发来数据时，各再现部11至14自动进行哑音和前置保持处理，有数据发来时，再开始再现。

在所述说明中，作为缓冲器3a独立设置了三个缓冲器A、B和C，这不过是一个例子，缓冲器的数目可以是任意的。并且，可以用环状缓冲器代替独立的缓冲器。

接着，说明本发明的实施例。图1或图19的数据再现装置，能够安装在具有电话机功能的信息终端设备上。这样就能使移动电话具有如下功能：下载声音、文字和图像等各种信息，把这些再现，从扬声器放出声音，在画面中显示文字和图像。例如，能用移动电话视听由网络提供一种的CM(商业广告)、卡拉OK等的音乐和影像。在图37中表示了这样的移动电话的例子。

在图37中，50是作为信息终端设备的移动电话，51是电话机的主体，主体51中设有天线52、显示器53、数值键54等各种键、扬声器55和麦克风56。移动电话50，如图39所示，与基地电台73通信，通过电台73下载服务器72上储存的数据。天线52是用来在电话与电台73之间发送、接收信号。显示器53由彩色液晶显示器等构成，它显示电话号码和图像等。从发声部的扬声器55能听到通话对方的声音和音调。麦克风56是用来在通话时和制作外出留言时输入声音的。

54是0至9的数字构成的数字键，用于输入电话号码和缩位号码等。57是开关电话机的电源的电源键，58是用于使通话开始的通话键，59是用来滚动显示内容的滚动键。60是用来与其他键组合使用，以达到各种功能的功能键，61是用来调用登记的内容，在显示器53上显示的调用键，62是用来登记缩位拨号号码等时使用的登记键。63是用来删除显示内等的删除键，64是用来实行给定的动作的实行键。65是从服务器72下载音乐数据时，用来显示新曲目录的新曲显示键，66是在制作外出留言时，使用的外出记录键，67是在演奏卡拉OK时，使用的卡拉OK键，68是使演奏开始的演奏开始键，69是使演奏结束的演奏结束键。

并且，70是卡状和棒状的小型信息存储介质，能从电话机主体51上的插口(图示省略)上安装、卸下。在该信息存储介质70的内部，内置有作为储存元件的闪存71，下载的数据储存在闪存71中。

在以上的结构中，显示器53相当于图1或图19中的显示器20，它显示文图和图像。例如，如果是CM，它显示文字、绘画、照片和动画等；如果是卡拉OK，它显示标题、歌词、背景画面等。并且，扬声器55相当于图1或图19的扬声器19，MIDI和声音的声音从这中输出。例如，如果是CM，放出CM歌曲和商品介绍信息；如果是卡拉OK，放出伴奏去和背景合唱。据此，通过把图1或图19的数据再现装置安装在移动电话50上，能把移动电话50作为卡拉OK装置使用。

并且，移动电话50能只从服务器72下载MIDI数据。此时，如果把根据MIDI生成的音调作为来电音从扬声器55输出，来电音成为极清晰、优雅的音乐。并且，如果预先在移动电话50的内部存储器中(图示省略)，对应于来电信号储存了不同的音乐MIDI数据，如果对应于来电信号用徒步的音调告知，就能比较容易地识别是来自谁的电话。并且，使移动电话50中内置的用于告知来电的振动器(图示省略)根据MIDI数据振动，例如按与鼓的节奏相同的节奏使振动器振动。另外，也能在外出留言中附加根据MIDI的BGM(背景音乐)。

信息存储介质70相当于图19的外部信息储存装置22，在闪存71中能储存音乐数据和图像数据。例如，当下载CD(光盘)的音乐数据时，如图38所示，通过记录根据MIDI或声音的音乐数据，根据文字的歌词和曲目解说等数据，再加上根据图像的光盘护封的相片数据，就能把信息存储介质70自身光盘化。这同样适用于MD(小盘)的场合。在安装了所述数据再现装置的移动电话50中，例如，在视听CM时有来电时，应优先输出来电音。图28表示了用于实现这的结构。因为图28的装置也是安装在移动电话50上的，所以与图19相同的部使用了相同的符号。图28与图19的不同点是，设置了用于来电信号的缓冲器23和在缓冲器7、MIDI再现部11之间的切换部24。图29是表示图28的数据再现装置的动作的时间图表。最初，如图(c)所示，从扬声器19放出CM音乐，如(d)所示，在显示器20上显示CM图像。现在，在数据接收部3输入象(a)那样的来电信号，数据接收部3在把来电信号的数据储存到缓冲器23的同时，把切换部24从缓冲器7切换到缓冲器23。据此，代替缓冲器7的数据，把缓冲器23的数据输入到MIDI再现部11，MIDI再现部11读入缓冲器23的数据，通过软件合成器生成来电音，通过混频器15和输出缓冲器17向扬声器19输出。结果，从扬声器19如(b)所示，代替CM音乐，输出MIDI来电音。然后，来电结束，来电音一停止，从扬声器19如(c)所示，再次放出CM音乐。另外，如(d)所示，无论有无来电音，CM图像继续在显示器20上显示。据此，通过图28的数据再现装置，当有来电时，通过使来电音优先输出，能使视听者确实地知道有来电。并且，在生成来电音时，因为公用了MIDI再现部11的软件合成器，所以简化了处理。

本发明的数据再现装置除了能安装在具有电话机功能的信息终端设备上，还能安装在具有游戏机功能的信息终端设备上。游戏机可以是游戏专用机，也可以是同时具有游戏和其他功能的装置。例如，图37所示的移动电话50中内置了游戏软件也可以。

在这样的游戏机中，通常在进行游戏时播放背景音乐，如果与画面的状况相配，把根据MIDI的效果音与背景音乐重叠播放，就会展现出很富情趣的游戏。图30是用于实现这的结构，与图19相同的部使用了相同的符号。图30与图19的不同点是设有用于效果音信号的缓冲器25和缓冲器7、MIDI再现部11之间的混频器26。

图31是表示图30的装置的动作的时间图表。最初，如图(c)所示，从扬声器19放出背景音乐，如(d)所示，在显示器20上显示游戏图像。现在，通过操作游戏机上的特定按钮，在数据接收部3输入如(a)所示的效果音信号，数据接收部3把效果音信号的数据储存到缓冲器25。在混频器26把缓冲器25的数据和缓冲器7的数据混合。MIDI再现部11读入混频器26的数据，通过软件合成器加上背景音乐，生成效果音，通过混频器15和输出缓冲器17向扬声器19输出。结果，从扬声器19如(b)所示，输出根据MIDI的效果音(例如爆炸声)。在播放效果音的同时，如(c)所示，继续播放背景音乐。然后，效果音信号一结束，来自扬声器19的效果音停止，只播放背景音乐。另外，如(d)所示，游戏图像持续在显示器20上显示。据此，通过图30的数据再现装置，能得到在背景音乐上重叠播放根据MIDI的效果音的游戏机。并且，在生成效果音时，因为公用了MDI再现部11的软件合成器，所以简化了处理。

如果使用本发明的数据再现装置，能得到除具有以上所述功能，还具有其他种种功能的系统。图32至34是这样的一个例子，它表示的例子是，在网络上，对于视听特定的CM的人，给与一定的特权。CM信息中，如图33所示，MIDI、声音、文字和图像等各数据按时间序列混合存在一起。这中，在文字数据的最后部(虚线Z)输入记述了如图34所示的URL(统一资源定位符)标签。在该标签中，最后的“XXX”代表是何CM。

如果按图32的程序流程图说明，视听者首先从网络上的服务器上的文件1a(参照图1，图19)下载CM数据(S601)。用数据接收部3接收CM数据，通过数据分配部4向各部分配，按所述步骤再现，从扬声器19和显示器20输出。这中，文字再现部把接收的文字数据全部再现后，就读取了图34所示的标签(S602)。

接着，启动浏览器(浏览软件)(S603)，链接到读取的标签中记述的统一资源定位符的主页(S604)。链接目标的服务器(图示省略)，解释标签的“XXX”部，判断是视听何种CM(S605)，当在网络上购买该CM的商品时，例如进行打折20％的付款处理(S606)。因此，通过所述系统，能够对CM的视听者给与打折服务。

图35和图36是使用了本发明的再现装置的其他实施例，他表示了对于在网络上购买音乐数据的人，提供一种票的打折服务的例子。此时，在音乐数据中，附加了歌词和曲的解说或演奏者的介绍等文字数据，在文字数据的最后部输入了如图36所示的标签。在该标签中，“from＝2000/08/15to＝2000/09/15”表示票的有效期限是从公历2000年8月15日到2000年9月15日。并且，最后的“YYY”是表示购买的音乐数据为何物的信息。

如果按图35的程序流程图说明，视听者首先从网络上的服务器上的文件1a下载音乐数据(S701)。用数据接收部3接收CM数据，通过数据分配部4向各部分配，按所述步骤再现，从扬声器19和显示器20输出。并且，各数据被储存在外部储存装置22(在图37中是信息存储介质70)中。这中，文字再现部把接收的文字数据全部再现后，就读取了图34所示的标签(S702)。

接着，启动浏览器(S703)，判断现在的日期是否在有效期限内(S704)。通过是参照所述标签中记录的有效期限进行的。如果在有效期限内(S704YES)，链接到读取的标签中记述的统一资源定位符的主页(S705)，如果不在有效期限内，(S704NO)，不做任何事，结束(S708)。链接目标的服务器(图示省略)，解释标签的“YYY”部，判断是购买了何种音乐数据(S706)，发送用于打折购买该音乐家的音乐会门票的指导信息，在显示器20上显示该信息。因此，通过所述系统，能够对购买音乐数据的人，诱导其购买门票。

产业上的使用领域

本发明的再现装置，除了上述的移动电话和游戏机，还能安装在个人电脑和网络电视用的STB(机顶盒)等各种信息终端设备上。

Claims (27)

1.一种数据再现装置，是接收并再现包括事件信息和用于实行事件的时间信息的数据的数据再现装置，其特征在于，包括：

能接收具有不同属性的事件信息的多种数据的数据接收部；

根据所述数据接收部接收的各数据的时间信息，来按种类分配数据的数据分配部；

再现利用所述数据分配部所分配的数据的数据再现部；

输出利用所述数据再现部所再现的数据的输出部。

2.根据权利要求1所述数据再现装置，多种数据由具有MIDI事件信息的第一数据和具有MIDI以外的事件信息的第二数据构成。

3.根据权利要求2所述数据再现装置，第二数据包括：具有文字事件信息的数据和具有图像事件信息的数据。

4.根据权利要求3所述数据再现装置，第二数据还包括：具有声音事件的数据。

5.根据权利要求2所述数据再现装置，第一数据和第二数据由SMF形式的数据构成，第二数据具有扩展的格式，在该扩展格式的事件信息中记录了应该再现的数据。

6.一种数据再现装置，是接收并再现包括事件信息和用于实行事件的时间信息的数据的数据再现装置，其特征在于，包括：

能接收具有MIDI事件信息的数据、具有文字事件信息的数据和具有图像事件信息的数据的数据接收部；

根据所述数据接收部接收的各数据的时间信息，按种类分配数据的数据分配部；

实行用所述数据分配部分配的数据中所记录的事件，再现该数据的数据再现部；

把用所述数据再现部所再现的MIDI数据作为声音进行输出的第一输出部；

把用所述数据再现部所再现的文字和图像数据作为可视信息进行输出的第二输出部。

7.根据权利要求6所述数据再现装置，数据接收部还能接收带声音事件信息的数据，第一输出部把利用所述数据再现部所再现的MIDI和声音数据作为声音进行输出。

8.根据权利要求7所述数据再现装置，包括混合用所述数据再现部所再现的MIDI和声音数据的第一混频器和混合用所述数据再现部所再现的文字和图像数据的第二混频器；

所述第一输出部输出用所述第一混频器所混合的数据；

所述第二输出部输出用所述第二混频器所混合的数据。

9.一种数据再现方法，是接收并再现包括事件信息和用于实行事件的时间信息的数据的数据再现方法，其特征在于：包括：

接收带MIDI事件信息的第一数据和带MIDI以外的事件信息的第二数据的步骤；

根据接收的各数据的时间信息，按种类分配数据的步骤；

再现所分配的数据的步骤；

输出所再现的数据的步骤。

10.一种数据再现方法，是按给定次数重复再现第二数据的根据权利要求9所述的数据再现方法，包括：

在最初接收第二数据时，把该第二数据中记录的再现数据储存到存储器中的步骤；

在重复再现第二数据时，按照该第二数据的时间信息，从所述存储器中读出并再现所述再现数据的步骤。

11.一种数据再现方法，是把第二数据中记录的再现数据的全部或一部分分割为多个数据，并接着第一数据来再现第二数据的根据权利要求9所述的数据再现方法，包括：

接收在先行的第一数据间插入了所分割的多个数据的数据群，从该数据群中抽出所插入的分割数据的步骤；

合成所抽出的分割数据，来作为再现数据的步骤。

12.根据权利要求11所述的数据再现方法，把分割数据按时间序列依次储存到存储器中，在所储存的分割数据的区域中记录与该分割数据连接的后续分割数据的开始地址。

13.根据权利要求9所述的数据再现方法，第二数据所记录的再现数据中的信号水平低于一定值的无音区间被消除了。

14.根据权利要求13所述的数据再现方法，对再现数据的上升部和下降部附近的信号实施窗处理。

15.一种数据再现装置，是接收并再现包括事件信息和用于实行事件的时间信息的数据的数据再现装置，其特征在于，包括：

能接收带属性不同的事件信息的多种数据的数据接收部；

根据所述数据接收部接收的各数据的时间信息，把应在具有给定时间长度的单位区间内处理的数据，按种类分配到每个单位区间的数据分配部；

按种类暂时储存用所述数据分配部所分配的数据的存储部；

把所述存储部中储存的每个单位区间的数据在下一区间依次读出，实行各数据中记录的事件，再现数据的数据再现部；

输出用所述数据再现部所再现的数据的输出部。

16.根据权利要求15所述的数据再现装置，所述数据分配部利用单位区间的最后时间，把应处理的数据按种类进行分配并储存到存储部中；

所述数据再现部，在下一区间依次读出所述数据分配部分配的单位区间数据，并实行该数据的事件。

17.根据权利要求16所述的数据再现装置，所述时间信息是作为从实行上次事件的时间到实行这次事件的时间来规定的δ时间；

所述数据分配部从作为单位区间的最后时间的现在时间与前一个单位区间的最后事件的实行时间的差，来计算出这次应处理数据的处理区间的时间长度，分配单位区间的数据并储存到存储部中，使该处理区间中的各事件的δ时间的和处在处理区间的时间长度范围内；

所述数据再现部把所述数据分配部所分配的单位区间的数据在具有与该单位区间同样的时间长度的下一个单位区间中再现。

18.根据权利要求15～17中任意一项所述的数据再现装置，设有管理单位区间的开始时间和结束时间的定时控制部。

19.根据权利要求18所述的数据再现装置，所述输出部具有计算输出数据个数的功能，根据该计数值向定时控制部发送控制信号，定时控制部根据该控制信号来输出定时信号。

20.一种数据再现方法，是接收并再现包括事件信息和用于实行事件的时间信息的数据的数据再现方法，其特征在于：包括：

接收带属性不同的事件信息的多种数据的步骤；

根据接收的各数据的时间信息，把应在具有给定时间长度的单位区间内处理的数据，按种类分配在每个单位区间中并暂时储存在存储部中的步骤；

把储存在所述存储部中的每个单位区间的数据在下一区间依次读出，实行该数据中所记录的事件并再现数据的步骤；

输出所再现的数据的步骤。

21.一种数据再现装置，是一边下载流线数据，一边进行再现的根据权利要求1或15所述的数据再现装置，其特征在于：

所述数据接收部具有缓冲器；

所述数据接收部根据最初接收的数据，计算每单位时间内的数据传输容量J和每单位时间内的数据消耗量E；

当J＜E时，只把必要量的数据高速缓冲存储到所述缓冲器中，然后，开始再现；当J＞E时，不进行数据的高速缓冲存储，而是一边间歇性地接收数据，一边进行再现。

22.一种信息终端设备，是安装了根据权利要求1或15所述的数据再现装置，并能下载各种数据的信息终端设备，包括：

根据下载的数据来输出声音的发音部；

根据下载的数据来显示文字和图像的显示器。

23.根据权利要求22所述的信息终端设备，是具有电话机功能的信息终

端设备，在声音被输出的状态下，当所述数据接收部接收到来电信号时，禁止声音的输出，并输出来电音。

24.根据权利要求22所述的信息终端设备，具有游戏机的功能，在声音被输出的状态下，当所述数据接收部接收到效果音信号时，与声音同时输出效果音。

25.根据权利要求22所述的信息终端设备，下载根据MIDI的音乐数据、根据文字的歌词数据和根据图像的护封相片数据。

26.根据权利要求22～25中任意一项所述的信息终端设备，能安装、卸下小型信息存储介质，并把下载的各数据储存在所述信息存储介质中。

27.根据权利要求3所述的数据再现装置，接收包括文字的商业广告信息，所述文字数据包括：作为启动国际互联网浏览器时的转移目标的URL；和有关在该URL中所提供的服务的信息。

Images