WO2000054249A1 - Dispositif de reproduction de donnees, procede de reproduction de donnees et terminal d'informations - Google Patents

Description

明 細 書 発明の名称

データ再生装置、 データ再生方法および情報端末機

技術分野

本発明は、 音や画像等の属性の異なるデータを再生するのに用い られるデータ再生装置、データ再生方法および携帯端末機に関する。 背景技術

マルチメディァの進展によ り、 さまざまな情報がネッ トワークを 通じて供給されるよ うになっている。 これらの情報の代表的なもの は、 音や文字、 あるいは画像などである。 たとえば通信カラオケを 例にとる と、 曲のタイ トルや歌詞などは文字の情報であり、 伴奏曲 ゃバック コーラスなどは音の情報であり、 背景の動画などは画像の 情報である。

通信カラオケでは、 このよ うな各種の情報がネッ トワークを通じ て同時に配信され、 端末装置にて各情報の再生が行われる。 そして、 これらの各情.報相互間で同期をとることによ り、 曲の進行に応じて 歌詞の文字の色が変化したり、 動画が変化したりする。

従来においては、 上記のよ うな同期をとるために、 音、 文字、 画 像等の各情報を処理するそれぞれのソフ トウエアのプログラム中に 時計を設け、 この時計の時間情報に従って同期処理をしていた。 こ のため、 システムの負荷が増大したよ うな場合に各時計が相互に一 致しないことがあり、 いわゆる同期ずれが発生して各情報の出力さ れるタイ ミ ングがずれ、 音声と画像とがー致しないなどの不具合が 生じていた。

また、 音、 文字、 画像等のデータは、 命令に従ってその都度ファ ィルにアクセス して読み出しているため、 処理に時間を要すると共 に、 フ ァイルが各データ毎に別個に作成されているために、 フアイ ル管理が煩雑になる という問題もあった。

発明の開示

それゆえに、 本発明の目的は、 属性の異なる各種の情報を再生す るにあたって容易に同期をとることができるデータ再生装置および データ再生方法を提供することにある。

本発明の他の目的は、 データの種類別にファィルを作成する必要 がなく 、 フアイル管理が容易なデータ再生装置を提供することにあ る。

本発明の他の目的は、 音声、 文字、 画像等の任意の情報を既存の データフォーマッ トに容易に埋め込むことが可能なデータ再生装置 を提供するこ とにある。

. 本発明の他の目的は、 通信カラオケに適したデータ再生装置を提 供するこ とにある。

本発明の他の目的は、 臨場感にあふれた音楽演奏が得られるデー タ再生装置を提供することにある。

本発明の他の目的は、 データを反復して再生する場合にデータの 転送量を減らすことができるデータ再生方法を提供することにある 本発明の他の目的は、 通信回線が小容量のもので済むデータ再生 方法を提供することにある。

本発明の他の目的は、 再生データのデータ量を一層低減すること ができるデータ再生方法を提供することにある。

本発明の他の目的は、 データ再生時のノイズ発生を抑制すること ができるデータ再生方法を提供することにある。

本発明の他の目的は、 データを高速で処理できるデータ再生装置 およびデータ再生方法を提供することにある。

本発明の他の目的は、 伝送路の容量の変動にかかわらず、 安定し てデータを再生することができるデータ再生装置を提供するこ とに ある。

本発明の他の目的は、 音、 文字、 画像などの属性の異なる各種の 情報をダウンロー ドし、 これらを再生してサウン ドや可視情報と し て出力するこ とができる情報端末機を提供することにある。

本発明の他の目的は、 電話機やゲーム機の機能を備えた情報端末 機において、 割込信号に対して適切な処理を行なえる情報端末機を 提供するこ とにある。

本発明の他の目的は、 C D (Compact Disk) や MD (Mini Disk ) などの音楽、 歌詞およびジャケッ ト写真のデータをダウンロー ド して利用することができる情報端末機を提供することにある。

本発明の他の目的は、 ダウンロー ドした各データを小型の情報記 憶媒体に格納して利用することができる情報端末機を提供するこ と こある。

本発明のさ らに他の目的は、 コマーシャル情報を受信して視聴し た場合に、 当該コマーシャルの提供者によるサービスを受けるこ と ができるデータ再生装置を提供することにある。

本発明において、 M I D I とは、 Musical Instrument Digital Interface の略語であって、 電子楽器相互間や電子楽器とコ ンビュ ータ との間で音楽演奏の信号を相互にやり取りするための国際標準 規格のこ とである。 また、 S MF とは、 Standard MIDI Fileの略語 であって、 デルタ · タイムと呼ばれる時間情報と、 演奏内容等を示 すィベン ト情報とからなる標準フアイル形式のことである。 本明細 書における 「M I D I 」 および 「 S MF」 という用語は、 上記の意 味で用いるものとする。

本発明においては、 受信するデータはイベン ト情報とイベン トが 実行される時間情報とを含んでおり、 S M Fのよ うな形式のデータ _ _

からなる。 受信データは、 それぞれの時間情報に基づいて種類別に 振り分けられ、 振り分けたデータのイベン トが実行されてデータの 再生が行なわれる。

本発明では時間情報と音、 文字、 画像等の情報とがー体となって いるため、 各種データをそれらの持つ時間情報に従って再生するこ とによ り、 時間情報を同期情報と して利用することができる。 その 結果、 サウン ドや映像のよ うな異なる種類のデータ間で簡単に同期 をとることが可能となり、また、データの種類ごとにファイルを別々 に作成して管理する必要がなく ファイル管理も容易となる。さ ら-に、 各種のファイルに都度アクセスする必要がなく なり、 処理が高速化 される。

受信データは、 M I D I のイベン ト情報を持つ第 1 のデータ と、 M I D I 以外のイベン ト情報を持つ第 2のデータ とから構成するこ とができる。 第 2のデータ と しては、 たとえば文字や画像あるいは 音声等に'関するデータが考えられる。

M I D I イベン トは、 電子楽器の発音を制御するためのコマン ド の集合体である。 たとえば、 「 ドの音の発音を開始せよ」 「 ドの音の 発音を停止せよ」 という よ うな命令コマン ドの形をとつている。 そ して、 この M I D I イベン トは、 時間情報であるデルタ . タイムが 付加されて S M F形式の.データ となり、 デルタ · タイムが示す時間 に従って所定時刻になる と 「 ドの音の発音開始」 「 ドの音の発音停 止」 といったイベン トが実行されるようになっている。

—方、 M I D I以外のイベン トには、 M E T Aイベン トやシステ ム ' ェクスクルーシブ . イベン トがある。 これらのイベン トは、 後 述するよ う にフォーマツ トを拡張することが可能であり 、 この拡張 されたフォーマツ トに各種データを埋め込むことができる。 このよ うな S M Fの拡張フォーマツ トを用いると、 フォーマツ トに大幅な —

改変を加えることなく 、 サウン ドや映像等の各種データを容易に記 録するこ とができる。

本発明では、 M I D I 、 文字および画像の各イベン ト情報を持つ データを受信し、 再生した M I D I のデータをサウン ドと して出力 する と と もに、 再生した文字および画像のデータを可視情報と して 出力するこ とによって、 カラオケに適したデータ再生装置を実現で きる。 この場合、 サウンドと して M I D I のほかに音声を加えるこ とによ り、 楽器の演奏パー トを M I D I で、 ノくック コーラスなどの ボーカル部分を音声でそれぞれ再生することが可能となり 、 臨場感 にあふれた演奏を実現することができる。

M I D I 以外のイベン ト情報を持つ第 2のデータを反復して再生 する場合は、 最初に受信したデータをメモリ に記憶しておき、 デー タを反復して再生する際に、 再生に関する時間情報だけを第 2のデ ータで送信することが好ましい。 こ うすることによ り、 データの転 送量を減らすことができる。

また 第 1 のデータに続いて第 2のデータを再生する場合は、 第 2のデータにおける再生データを複数のデータに分割して、 この分 割した複数のデータを先行する第 1 のデータの間に挿入したデータ 群を送信し、 受信側でこのデータ群から挿入された分割データを抽 出し、 抽出された分割データを合成して再生データ とすることが好 ま しい。 こ うすることによ り、 送信されるデータ量が平準化され、 通信回線が小容量で済む。 この場合、 抽出された分割データを時系 列的に順次メモリ に格納してゆき、 格納された分割データのェリ ァ に当該分割データが連結される後続の分割データの開始番地を記録 することによ り、 分割データを容易かつ確実に合成することができ る。

さ らに、 第 2のデータに記録される再生データの無音区間をカ ツ トするこ とによって、 データ量が一層低減される。 この場合、 再生 データの立上り部と立下り部付近の信号に窓処理を施すこ とが、 ノ ィズの発生を抑制する う えで好ま しい。

本発明に係るデータ再生装置の他の形態では、 属性の異なる各デ ータはそれらの時間情報に基づいて単位区間ごとに振り分けられて 記憶部に格納され、 次の単位区間において記憶部から順次読み出さ れて再生される。 これによる と、 受信データの処理がパイプライ ン ィ匕されるため、 よ り高速な処理を行う ことができる。 また、 データ の時間情報と単位区間の時間幅とを管理し、 当該単位区間で処理す べきデータのみを記憶部へ送ることによって、 容易に時間同期をと るこ とができる。

本発明に係るデータ再生装置は、 データをダウンロー ドしながら 再生を行うス ト リーム方式を採用することも可能である。この場合、 再生によって消費されるデータ量が取り込まれるデータ量を上回る と、 データが不足して音や画像等が途切れるため、 データを必要量 だけキャ ッシュ した後に再生を開始することによ り、 データが途切 れるこ となく連続して再生を行なう ことができる。

本発明に係るデータ再生装置は、 携帯電話機やゲーム機のよ うな 情報端末機に搭載することが可能であり、 端末機の通信機能を利用 して、 各種データをサーバからダウンロー ドすることができる。 そ して、 情報端末機にサウン ドを出力するス ピーカや、 文字および画 像を表示する表示器を設けるこ とによ り、 音楽や映像を端末機で視 聴することができる。 電話機の場合は、 着信信号を受信したときに スピーカからのサゥン ド出力を禁止して、 着信音を出力するのが好 ま しい。 ゲーム機の場合は、 ス ピーカからサウン ドと と もに M I D

I による効果音を出力するこ と もできる。

本発明に係るデータ再生装置には、 小型の情報記憶媒体を着脱可 能に設けるこ とができ、 ダウンロー ドした各種データをこの情報記 憶媒体に保存して再利用するこ とができる。 たとえば、 音楽データ を M I D I や音声で、 歌詞や曲目解説等のデータを文字で、 ジャケ ッ ト用の写真データを画像でそれぞれダウンロー ドすれば、 情報記 憶媒体それ自体を C Dや MDと して利用することができる。

本発明では、 受信するコマーシャル情報の文字データの中に、 ィ ンターネッ トの U R Lと、 この U R Lにおいて提供されるサービス に関する情報とを含ませておき、 コマーシャルの再生に続いて前記 U R Lのホームページへジャンプさせることによって、 コマーシャ ル視聴者に種々のサービスを提供することができる。

図面の簡単な説明

第 1 図は、本発明のデータ再生装置の例を示すプロ ック図である。 第 2図は、 SMF形式の受信データのフォーマツ トを示す図であ る。

第 3図は、 M I D I に関するデータのフォーマツ ト例である。 第 4図は、 簡易型の M I D I に関するデータのフォーマツ ト例で ある。

第 5図は、 音声、 文字、 画像に関するデータのフォーマッ ト例で ある。

第 6図は、 制御に関する ME T Aイベン トのフォーマツ ト例であ る。

第 7図は、 音声、 文字、 画像に関するデータの他のフォーマツ ト 例である。

第 8図は、 データ列のフォーマッ ト例である。

第 9図は、 本発明に係るデータ再生方法の例を示すフローチヤ一 トである。

第 1 0図は、 本発明に係るデータ再生方法の他の例を示すフ口一 —

チヤ一トである。

第 1 1 図は、 データの反復再生処理を説明する図である。

第 1 2図は、 反復再生処理のフローチャー トである。

第 1 3図は、 データの先送り の原理を示す図である。

第 1 4図は、 分割データの挿入例を示す図である。

第 1 5図は、分割データを格納したメモ リ の内容を示す図である。 第 1 6図は、 分割データをメモリ に格納する場合のフローチャー トである。

第 1 7図は、 無音区間を有する音声データの波形図である。 - 第 1 8図は、 無音区間の処理を示すフローチャー トである。

第 1 9図は、 本発明のデータ再生装置の他の例を示すプロ ック図 である。

第 2 0図は、 本発明のデータ再生方法の他の例を示すフローチヤ 一トである。

第 2 1 図は、 データ振分けにおける時間演算の原理を説明する図 である。

第 2 2図は、 データ振分けの手順を示すフローチャー トである。 第 2 3図は、各データ再生部の動作を示すフローチャー トである。 第 2 4図は、 データ処理の全体のタイムチャー トである。

第 2 5図は、 ス ト リ ーム方式におけるデータ受信の動作を説明す る図である。

第 2 6図は、 データ受信のタイムチャー トである。

第 2 7図は、 データのキャッシュを説明するタイムチャー トであ る。

第 2 8図は、 本発明のデータ再生装置の他の例を示すプロ ック図 である。

第 2 9図は、第 2 8図の装置の動作を示すタイムチャー トである。 第 3 0図は、 本発明のデータ再生装置の他の例を示すプロ ック図 である。

第 3 1図は、第 3 0図の装置の動作を示すタイムチャー トである。 第 3 2図は、 本発明のデータ再生装置を用いて課金割引処理を行 なう場合のフローチヤ一トである。

第 3 3図は、 C Mを構成する各データを時系列的に示した図であ る。

第 3 4図は、 文字データに付加されるタグの例である。

第 3 5図は、 本発明のデータ再生装置を用いて有効期限付きのサ 一ビスを行なう場合のフローチヤ一トである。

第 3 6図は、 文字データに付加されるタグの例である。

第 3 7図は、 本発明のデータ再生装置を搭載した携帯電話機を示 す図である。

第 3 8図は、 情報記憶媒体に内蔵されたメモリ のテーブル図であ る。

第 3 9図は、 携帯電話機を用いたシステムを示す図である。

発明を実施するための最良の形態

本発明に係るデータ再生装置の例を第 1図に示す。 第 1 図におい て、 l a， 1 bはデータが記録されたファイルであって、 l a はた とえばインターネッ ト上のサーバにあるファイル、 1 bはたとえば 装置内部のハードディスクにあるファイルである。

2はデータ再生装置の全体を制御する C P Uで、 データ受信部 3 およびデータ振分部 4を含んで構成されている。 C P U 2はこれ以 外にも種々の機能を有するプロ ックを含んでいるが、 本発明では直 接関係しないので、 図示は省略してある。 データ受信部 3は、 ファ ィル 1 a , 1 bへアクセスしてこれらに格納されたデータを受信す る。 ファイル l a のデータは、 有線を介してまたは無線によ り受信 される。 これらの受信データは、 ノくッファ 3 a に一時的に格納され る。 データ振分部 4は、 データ受信部 3が受信したデータをデータ 再生部 6へ種類別に振り分ける。

デ一タ再生部 6は、 M I D I に関するデータを再生する M I D I 再生部 1 1 と、 音声に関するデータを再生する音声再生部 1 2 と、 文字に関するデータを再生する文字再生部 1 3 と、 画像に関するデ —タを再生する画像再生部 1 4とから構成されている。 M I D I 再 生部 1 1 は、 再生する音楽に用いる種々の楽器の音源データを記憶 した音源 R OM 1 1 a を有している。 この音源 R OM 1 1 a は、— R AMに置き換えて内蔵データを交換できるよ う に実装すること もで きる。 画像再生部 1 4は、 静止画と動画を再生する機能を備えてい る。

1 5は M I D I再生部 1 1および音声再生部 1 2の出力を混合す る ミキサ、 1 6は文字再生部 1 3および画像再生部 1 4の出力を混 合する ミキサである。 ミキサ 1 5にはエコー付加のよ うな処理を行 うためのサウン ドエフェク ト部 1 5 aが設けられており 、 ミキサ 1 6 には映像に特殊効果を付与する処理を行うためのビジュアルエフ ェク ト部 1 6 aが設けられている。 1 7はミキサ 1 5の出力が一時 的に格納される出力バッファ、 1 8はミキサ 1 6の出力が一時的に 格納される出力バッファである。 1 9は出力バッファ 1 7のデータ に基づいてサウン ドを出力する発音部と してのスピーカ、 2 0は出 力バッファ 1 8のデータに基づいて文字や絵などの可視情報を表示 する表示器である。

データ受信部 3には、 フアイノレ l a , l bに記録されている S M . F形式のデータが入力される。 S MF形式のデータは、 一般にデル タ · タイムと呼ばれる時間情報と、 演奏内容等を示すイベン ト情報 と力 らなり、 イベン ト情報の種類に応じて第 2図 （ a ) 〜 （ c ) に 示す 3つの形式がある。 （ a )はイベン ト情報が M I D I イベン ト力、 らなるデータ、 （ b )はィベン ト情報が M E T Aィベン トからなるデ ータ、 （ c ) はイベン ト情報が Sys. Exイベン トからなるデータであ る。

M I D I イベン トの詳細が第 3図に示されている。 第 3図 （ a ) は第 2図 （ a ) と同じものである。 M I D I イベン トは、 第 3図 （ b ) ( c ) のよ うに、 ステータス情報とデータ とからなる。 第 3図 （ b ) は発音開始命令のイベン トであって、 ステータス情報には楽器 の種類、 データ 1 には音階、 データ 2には音の強弱がそれぞれ記録 されている。 また、 第 3図 （ c ) は発音停止命令のイベン トであつ て、 ステータス情報には楽器の種類、 データ 3には音階、 データ 4 には音の強弱がそれぞれ記録されている。 このように、 M I D I ィ ' ベン トは演奏情報が格納されたィベン トであって、 1つのィベン ト によって、 たとえば 「 ドの音をピアノの音でこの強さで発音せよ」 といった命令が構成される。

第 4図は、 第 3図のフォーマツ トを簡略化してデータ量を削減し た簡易型 M I D I のフォーマツ ト例を示す。 第 3図では、 発音開始 命令と発音停止命令とが別々に構成されているが、 第 4図ではデ一 タに発音時間を入れることで、 発音と停止とを 1つのイベン トに統 合している。 また、 音の強弱のデータは省き、 また音階のデータは ステータス情報に含ませている。 なお、 第 4図のフォーマツ トは S M Fのよ うな標準フォーマツ トではないが、 本発明で取り扱うデー タにはこのよ うな S MF以外のフォーマツ トも含む。

ME TAイベン トの詳細が第 5図に示されている。 第 5図 （ a ) は第 2図 （ b ) と同じものである。 ME T Aイベン トは、 データを 転送したり、 再生の開始 ·停止などの制御を行ぅィベン トである力 フォーマツ トの拡張が可能であって、 拡張されたフォーマ ツ トに各 — —

種のデータを埋め込むこ とができる。 第 5図 （ b ) 〜 （ e ) は、 拡 張された ME T Aイベン トのフォーマツ ト例を示しており、 （ b )は 音声データが埋め込まれたフォーマツ ト、 （ c )は文字データが埋め 込まれたフォーマツ ト、 （ d )は画像データが埋め込まれたフォーマ ッ ト、 （ e )は文字データ と画像データ とが埋め込まれたフォーマツ トをそれぞれ示している。画像には絵や写真のよ うな静止画のほか、 動画も含まれる。

先頭の F F hはこのィベン トが ME T Aィベン トであることを示 すヘッダである。 次の 3 O h , 3 1 h , …は、 ME T Aイベン トの フォーマツ トが拡張フォーマツ トであることを表す識別子である。 また、 1 e nは ME T Aイベン トのデータ長、 t y p e は転送する データのフォーマツ ト、 i dはデータの番号をそれぞれ表している。 e v e n t は実行すべきイベン トの内容を示すもので、 たとえば 「 音声データの転送を開始せよ」 や 「画像データの転送を終了せよ」 といった命令で表される。 これらのデータの終了位置は、 データ長 を表す 1 e nの値から知ることができる。

ME TAイベン トには上記のよ うなデータを記録した拡張フォー マッ トのほかに、 制御に関するフォーマッ トがある。 第 6図はその 一例であって、 （ a ) は再生開始、 （ b ) は再生停止のイベン トフォ 一マッ トを示している。 （ a ) の 1 0 h と （ b ) の 1 l hが、 それぞ れ再生開始および再生停止のコマンドである。 それ以外の F F h、 1 e n、 t y p eおよび i dについては、 第 5図と同一であるから 説明は省略する。

Sys. Ex イベン トの詳細が第 7図に示されている。 第 7図 （ a ) は第 2図 （ c ) と同じものである。 Sys. Ex イベン トはシステム · ェクスクル一シヴ · イベン ト と呼ばれ、 たとえばォーケス トラに適 合したシステムに設定する場合の設定情報等に関するィベン トであ — —

る。 この Sys. Exイベン トも拡張が可能であって、 拡張されたフォ 一マッ トに各種のデータを埋め込むことができる。 第 7図 （ b ) 〜

( e ) は、 拡張された Sys. Ex イベン トのフォーマツ ト例を示して おり、 第 5図と同様のフォーマッ ト となっている。

S MF形式のデータは以上のよ うに構成されており 、 これらのデ —タがいくつも組み合わされて一連のデータ列が構成される。 第 8 図は、 このよ うなデータ列の例を示している。 Mは M I D I に関す るデータで、 第 3図に示したフォーマッ トを備えている。 Aは音声 に関するデータで、 第 5図 （ b ) に示したフォーマッ トを備えてい る。 Tは文字に関するデータで、 第 5·図 （ c ) に示したフォーマツ トを備えている。 Pは画像に関するデータで、 第 5図 （ d ) に示し たフォーマッ トを備えている。 なお、 各データの配列順序は第 8図 に限定されるものではなく、 種々のパターンが存在しう る。 また、 第 8図では音声、 文字および画像のデータが ME T Aイベン トに記 録されているが、 これらを Sys. Exイベン トに記録すること もでき る。 各データ M, A, Τ, Pはそれぞれパケッ ト と して構成されて おり、 これらが連鎖されて一連のデータ列となっている。 このデー タ列は、 第 1図のデータ受信部 3によつて受信され、 ノくッファ 3 a に格納される。

受信されたデータは、 それぞれのデルタ · タイム Δ Tに基づいて データ振分部で振分けられ、 データ再生部 6でイベン トが実行され てデータが再生される。 イベン トが実行されるタイ ミ ングは、 デル タ · タイム Δ Tによって決まる。 すなわち、 直前に実行されたィべ ン トからの経過時間 Δ と、 今回実行されるイベン トのデルタ · タ ィム Δ T との関係が Δ t Δ Τのときにィベン トが実行される。 つ ま り、 あるイベン トが実行されると、 そのイベン ト開始からの経過 時間がカウン トされ、 この経過時間が次のイベン トのデルタ · タイ — —

ムと等しいかあるいはそれを超えたときに （ C P Uによる時間分解 能は有限なので、 デルタ · タイムとぴったり一致しないで超える場 合もある）、 次のィベン トが実行されるよ うになっている。 このよ う に、 デルタ · タイムは直前のィベン トからどれだけ時間が経過すれ ば今回のィベン トを実行すべきかを表す情報であって、 絶対的な時 間を表すものではないが、 デルタ ' タィムを積算してゆく ことで再 生開始からの時間を算出することは可能である。

以下、 データ再生部 6の各部における再生の詳細について説明す る。 まず、 M I D I 再生部 1 1 における再生動作を説明する。 第 1 図において、 C P U 2のデータ振分部 4は、 図示しない R OMに格 納されたプログラムに従って、 受信したデータをバッファ 3 a から 順次読み出す。 読み出されたデータが M I D I に関するデータ M ( 第 3図） であれば、 そのイベン ト情報は M I D I 再生部 1 1 に与え られる。 イベン トの内容が、 たとえば 「ミの音をピアノの音で発音 せよ」 とレ、う命令であったとすると、 M I D I再生部 1 1 はこの命 令を解読して、 音源 R OM 1 1 aからピアノの音を読込み、 ソフ ト ウェア · シンセサイザによってシンセサイザ音を生成してミの音程 で発音を開始する。このと きから C P U 2は経過時間を力ゥン ト し、 この経過時間が 「ミの発音を停止せよ」 という次のイベン トに付属 しているデルタ · タイムと等しく なるかも しく はそれを超える と、 M I D I 再生部 1 1 にこの命令が与えられ、 M I D I 再生部 1 1 は この'命令を解読して、 ミの音の発音を停止する。 こ う して、 発音開 始から発音停止までの時間だけミの音がピアノ音で再生される。

次に C P U 2は、 ミの音の発音停止からの経過時間を力ゥン ト し 、 この経過時間がたとえば 「ラの音をピアノの音で発音せよ」 とい う次のイベン トに付属しているデルタ ' タイムと等しく なるかも し く はそれを超えると、 ^11 0 1 再生部 1 1 にこの命令が与えられ、 — —

M I D I 再生部 1 1 はこの命令を解読して、 音源 R OM 1 1 a から ピアノ の音を読込み、 シンセサイザ音を生成してラの音程で発音を 開始する。 そして、 このときから C P U 2は経過時間をカ ウン ト し 、 この経過時問が 「ラの発音を停止せよ」 という次のイベン トに付 属しているデルタ ■ タイムと等しく なるかも しく はそれを超える と 、 M I D I 再生部 1 1 にこの命令が与えられ、 M I D I 再生部 1 1 はこの命令を解読して、 ラの音の発音を停止する。 こ う して、 発音 開始から発音停止までの時間だけラの音がピアノ音で再生される。 このよ うな動作が繰り返されることによ り、 1 0 1 再生部 1 tは M I D I による音の再生を行う。

次に、 M I D I 以外のィベン ト情報をもつデータの再生について 説明する。 前述のよ うに、 音声、 文字および画像の各データは M E TAイベン ト （第 5図） または Sys. Exイベン ト （第 7図） に記録 されている。 第 1図において、 データ振分部 4は、 前記と同様にし て受信データをバッファ 3 aから順次読み出す。 読み出されたデー タが音声に関するデータ Aの場合は、 読み出したデータのィベン ト 情報はデルタ ■ タイムに従って音声再生部 1 2へ振分けられ、 音声 再生部 1 2は当該イベン トの內容を解読してイベン トを実行し、 音 声を再生する。 読み出されたデータが文字に関するデータ Tの場合 は、 読み出したデータのイベン ト情報はデルタ ' タイムに従って文 字再生部 1 3へ振分けられ、 文字再生部 1 3は当該イベン トの内容 を解読してイベン トを実行し、 文字を再生する。 読み出されたデー タが画像に関するデータ Pの場合は、 読み出したデータのイベン ト 情報はデルタ ■ タイムに従って画像再生部 1 4へ振分けられ、 画像 再生部 1 4は当該イベン トの内容を解読してイベン トを実行し、 画 像を再生する。

よ り具体的には、 音声再生部 1 2がデータ振分部 4からたとえば 「音声 Bを発音せよ」 いうイベン トを受け取る と、 音声再生部 1 2 は当該イベン トに付加されている音声 Bのデ一タをデコー ドして再 生する。 このときから C P U 2は経過時間をカウン ト し、 この経過 時間がたとえば 「文字 Cを表示せよ」 という次のイベン ト に付属し ているデルタ · タイムと等しく なるかも しく はそれを超える と、 文 字再生部 1 3は当該ィベン トに付加されている文字 Cのデータをデ コー ドして再生する。 次に C P U 2は、 文字 Cの再生からの経過時 間をカウン ト し、 この経過時間がたとえば 「絵 Dを表示せよ」 とい う次のイベン トに付属しているデルタ ■ タイムと等しく なるかも し く はそれを超えると、 画像再生部 1 4は当該イベン トに付加されて いる絵 Dのデータをデコー ドして再生する。 この点、 前述した M l D I データの再生の原理と基本的に同じである。

上記の説明においては便宜上、 M I D I 再生部 1 1 による再生動 作と、 M I D I 以外の再生部 1 2〜 1 4による再生動作とを分けて 記述したが、 実際には第 8図でも示したよ うに、 データ受信部 3 に は M I D I イベントを持つデータ Mと M I D I 以外のィベン トを持 つデータ A， T、 Ρ とが時系列的に混在して入力される。 たとえば、 M I D I (1^1) →絵 （？） →文字 （丁） →^11 0 1 (1^) →音声 （ ） —軌画 （P) —…のよ うに、 次々 と異なる種類のデータが入力され る。 データ振分部 4は、 これらのデータをデルタ ' タイムに従って 種類別に各再生部 1 1〜 1 4へ振り分け、 各再生部 1 1 〜 1 4はそ れぞれに対応したデータの再生処理を行なう。

M I D I再生部 1 1で再生されたデータ と、 音声再生部 1 2で再 生されたデータとは、 ミキサ 1 5で混合され、 サゥン ドエフエ.ク ト 部 1 5 aでエコー処理等が施された後、 出力バッファ 1 7に一時的 に格納され、 スピーカ 1 9からサウン ドと して出力される。 一方、 文字再生部 1 3で再生されたデータ と、 画像再生部 1 4で再生され たデータ とは、 ミキサ 1 6 で混合され、 ビジュアルエフェク ト部 1 5 a で特殊映像処理等が施された後、 出力バッフ ァ 1 8 に一時的に 格納され、 表示器 2 0に可視情報と して表示される。 そして、 デー タ振分部 4が第 6図 （ b ) に示した再生停止の M E T Aイベン トを 受取る と、 データの再生は終了する。

このよ う にして、 第 1図のデータ再生装置においては、 M I D I 、 音声、 文字および画像が混在したデータ列から各データを種類別に 振り分けて再生するこ とができる。 そして、 文字や画像を再生する にあたっては、 M I D I の再生と同じよ うにデルタ · タイムを参照 し、 このデルタ · タイムに従う タイ ミ ングでデータを再生するよ う にしている。 したがって、 デルタ · タイムを記述するだけでサゥン ドゃ映像のよ うな異なる種類のデータ間で簡単に同期をとるこ とが でき、 また、 従来のよ うに各データを処理するプログラム中に時計 を組み込む必要がないので、 時計相互間の不一致による同期ずれの 問題も生じない。

第 9図は、 第 1図の再生装置におけるデータ再生方法を示したフ ローチャー トであり、 C P U 2によつて実行される手順を示してい る。 以下、 再生装置が通信カラオケ用の再生装置である場合を例に とって動作を説明する。 なお、 以下ではフローチャー トのステップ を 「 S」 と略記するこ と とする。

データ受信部 3がネッ トワーク上のサーバのフアイノレ 1 a から通 信回線を介してデータを受信する と （ S 1 0 1 )、 この受信データは ノ ッファ 3 aへ格納される （ S 1 0 2 )。 次に、 データ振分部 4はバ ッファ 3 a のデータを読み出して、 直前のイベン トが実行されてか らの経過時間をカウン トする （ S 1 0 3 )。 そして、 この経過時間が デルタ · タイムの示す時間と一致したか （または超えた力 を判断 し （ S 1 0 4 )、 デルタ ·タイムを超えていなければ （ S 1 0 4 N O ) . S 1 0 3 に戻って経過時間のカウン トを続行する。 経過時間がデル タ · タイムと一致したかまたは超える と （ S 1 0 4 Y E S )、 データ の処理に移る。

データの処理にあたっては、 まず受信したデータの種類が判別さ れる。 すなわち、 受信したデータが M I D I のデータ Mか否かが判 別され ( S 1 0 5 )、 M I D I のデータであれば （ S 1 0 5 Y E S ) , これを M I D I 再生部 1 1へ振り分け、 M I D I 再生部 1 1 ではシ ンセサイザ音が生成される （ S 1 1 1 )。 その詳細な原理については すでに述べたので、 ここでは説明を省略する。 シンセサイザによる 音の再生によって、 ス ピーカ 1 9からカラオケの伴奏曲が出力され る。

受信データが M I D I のデータ Mでなければ （ S 1 0 5 N O )、 次 に音声のデータ Aか否かが判別され （ S 1 0 6 )、 音声のデータ Aで あれば （ S 1 0 6 Y E S )、 これを音声再生部 1 2へ振り分け、 音声 再生部 1 2で音声の処理が行われて音声が再生される（ S 1 1 2 )。 その詳細な原理についてもすでに述べたので、 ここでは説明を省略 する。 音声の再生によって、 ス ピーカ 1 9からはバック コーラスな どのボーカルが出力される。

受信データが音声のデータ Aでなければ （ S 1 0 6 N O )、 次に文 字のデータ Tか否かが判別され （ S 1 0 7 )、 文字のデータ Tであれ ば （ S 1 0 7 Y E S )、 これを文字再生部 1 3へ振り分け、 文字再生 部 1 3で文字の処理が行われて文字が再生される （ S 1 1 3 )。 文字 の再生によって、 カラオケ曲のタイ トルゃ歌詞が表示器 2 0に表示 される。

受信データが文字のデータ Tでなければ （ S 1 0 7 N O )、 次に画 像のデータ Pか否かが判別され （ S 1 0 8 )、 画像のデータ Pであれ ば （ S 1 0 8 Y E S )、 これを画像再生部 1 4へ振り分け、 画像再生 部 1 4で静止画や動画の処理が行われて画像が再生される （ S 1 1 4 )。 画像の再生によって、 アニメ一ショ ンゃ動画などの背景画像が 表示器 2 0に表示される。

受信データが画像データでもなければ （ S 1 0 8 N〇）、 そのデ一 タはたとえば設定や制御などに関するデータであり 、 その内容に従 つた所定の処理が行われる （ S 1 0 9 )。 ついで、 再生を停止するか 否か、 すなわち第 6図 （ b ) の ME TAイベン トを受取ったか否か が判断される （ S 1 1 ◦ )。再生を停止しない場合は（ S 1 1 0 N〇）、 S 1 0 1 に戻って次のデータの受信を待ち、 再生を停止する場合は ( S 1 1 0 Y E S )、 動作を終了する。

以上のよ うに、 第 1図のデータ再生装置は、 M I D I 再生部 1 1 および音声再生部 1 2からなるサゥンドの再生部と、 文字再生部 1 3および画像再生部 1 4からなる可視情報の再生部とを設けたこと によって、 通信カラオケに適した装置となっている。 本発明におい ては、 音声再生部 1 2は必ずしも必要なものではなく 、 省略するこ と も可能であるが、 音声再生部 1 2を設けて楽器のパー トは M I D I 再生部 1 1で再生し、 ボーカル部分を.音声再生部 1 2で再生する ことによ り、 ボーカル部分を本来の音声で再生することが可能とな り、 きわめて臨場感の高い演奏が実現できる。

なお、 データ受信部 3が受信する S MF形式のデータは、 前述の よ うにネッ トワーク上のサーバのファイル 1 a に蓄積されており 、 このファイル 1 aには新曲のデータが定期的にアップロー ドされて フアイノレ 1 a の内容が更新されるよ うになっている。

第 1 0図は、 第 1図のデータ再生装置をテレビの CM (コマーシ ャル） の放映に用いた場合の再生方法を示すフローチャー トで、 C P U 2によって実行される手順を示している。 図において、 S 1 2 1〜 S 1 2 4は第 9図の S 1 0 1〜； L 0 4にそれぞれ対応しており — —

その動作は第 9図の場合と同じであるので、 説明は省略する。

所定の時刻が到来して処理に移る と （ S 1 2 4 Y E S )、 受信デー タが C Mのバックに流れる音楽のデータか否かが判別される （ S 1 2 5 )。 ここでは、 このバック音楽のデータは M I D I で構成されて レヽる。 バック音楽のデータであれば （ S 1 2 5 Y E S )、 M I D I 再 生部 1 1へ振り分けてシンセサイザ処理を行い、 音を再生する （ S 1 3 2 )。 これによつて、 ス ピーカ 1 9から CMのバック音楽が出力 される。

受信データがバック音楽データでなければ （ S 1 2 5 N〇）、 次に アナウンサーが話すアナウンスのデータか否かが判別される （ S 1

2 6 )。 このアナウンスデータは音声データで構成されている。 アナ ゥン スデータであれば （S 1 2 6 Y E S )、 音声再生部 1 2へ振り分 けて音声処理を行い、 音声を再生する （ S 1 3 3 )。 音声の再生によ つて、 スピーカ 1 9からはアナウンサーの解説などが出力される。 受信データがアナウンスデータ'でなければ （ S 1 2 6 N O )、 次に 商品名などを表す文字のデータか否かが判別され （ S 1 2 7 )、 文字 データであれば （ S 1 2 7 Y E S )、 これを文字再生部 1 3へ振り分 け、文字再生部 1 3で文字が再生されて表示器 2 0に表示される（ S 1 3 4 ) 。

受信データが文字データでなければ （ S 1 2 7 N O )、 次に絵のデ ータか否かが判別され （ S 1 2 8 )、 絵のデータであれば （ S 1 2 8 Y E S )、 これを画像再生部 1 4へ振り分け、 画像再生部 1 4で静止 画の処理が行われて絵が再生され、 表示器 2 0に表示される （ S 1

3 5 )₀

受信データが絵のデータでなければ （ S 1 2 8 N O )、 次に動画の データか否かが判別され （ S 1 2 9 )、 動画のデータであれば （ S 1 2 9 Y E S )、 これを画像再生部 1 4へ振り分け、 画像再生部 1 4で — —

動画の処理が行われて動画が再生され、表示器 2 0 に表示される（ S 1 3 6 )。

受信データが動画データでもなければ （ S 1 2 9 N〇）、 S 1 3 0 へ進む。 S 1 3 0および S 1 3 1 は、 第 9図の S 1 0 9および S 1 1 0にそれぞれ対応しており、その動作も第 9図と同様であるから、 説明は省略する。

と ころで、 上述した再生方法において、 S MF形式のデータに埋 め込まれた音声、文字および画像のデータを再生するにあたっては、 同じデータを何回か反復して再生する場合がある。 たとえば、 カラ オケのバックコーラスを 3回繰り返したり、 CMの最初と終り の部 分で同じ文字を 2回表示したりすることがある。 このよ うな場合、 繰り返し回数に対応した個数のデータを第 5図も しく は第 7図のフ ォーマツ トに埋め込むと、 データ量が増大するという問題がある。 そこで、 この解決策と して第 1 1図に示す方法が考えられる。 す なわち、 （ a ) のよ う に、 同じデータ Rを t l， t 2 , t 3のタイ ミ ングで 3回繰り返して再生する場合、 送信側 （サーバ） では、 （ b ) のよ うにデータ Rを埋め込んだバケツ トを最初に 1回だけ送る。 受 信側 （データ再生装置） では、 このデータ Rをメモ リ （図示省略） に記憶しておく。 反復再生時には、 送信側はデータ Rは送らず、 「デ ノレタ ■ タイムの示す時間が経過したらデータ Rを再生せよ」 という メ ッセージだけを送る。受信側ではこのメ ッセ一ジに従い、デルタ · タイムに従う所定の時刻になると、 メモリからデータ Rを読み出し てきてこれを再生する。 この動作を t l , t 2 , t 3の 3回にわた つて行う ことで、 送信するデータ量は 3分の 1で済む。

なお、 ここでは送信データを一旦メモリ に蓄積した後に再生を行 う場合を例に挙げたが、 第 1 1図の方法は、 データをダウンロー ド しながら再生を行う、 いわゆるス ト リーム方式のデータ受信におい ても適用できる。 この場合は、 最初の再生時点である t 1 において、 送られてきたデータ Rをメモリ に記憶するこ とになる。

第 1 2図は上述した反復再生処理を示したフローチヤ一トであり 、 第 9図の S 1 1 2、 S 1 1 3 も しく は S 1 1 4における詳細な手順、 または、 第 1 0図の S 1 3 3、 S 1 3 4、 S 1 3 5 も しく は S 1 3 6 における詳細な手順である。 まず、 受信したデータが反復再生す るデータ Rか否かを判断して（ S 1 4 1 )、反復データでなければ（ S 1 4 1 N O)、通常のデータと して処理する。反復データであれば（ S 1 4 1 Y E S )、 再生回数を C P U内部のカウンタ Nにセッ ト して ( S 1 4 2 ) メモリからデータ Rを読み出し （ S 1 4 3 )、 これを出 力する （ S 1 4 4 )。 次にカウンタ Nを 1つ減じて N— 1 に更新する ( S 1 4 5 )。 そしてカウンタ Nが 0になったか否かを判断して （ S 1 4 6 )、 0 になっていなければ （ S 1 4 6 N O) 第 9図の S 1 1 0 も しく は第 1 0図の S 1 3 1へ移行する。 カウンタ Nが 0になれば ( S 1 4 6 Y E S)、記録されているデータ Rを消去してメモ リ を開 放する （ S 1 4 7 )。

第 1 3図は、 ス ト リ ーム方式におけるデータ先送り の原理を示す 図である。 M I D I のデータに続いて音声や画像などのデータを送 る場合、 （ a ) に示したよ うに、 M I D I の部分ではデータ量は少な いが、 音声や画像などのデータ Xの部分になる と急激にデータ量が 増大する。 （M I D I のデータ量が少ないのは、 M I D I は音そのも ののデータではなく、音の発音を制御するためのコマン ドであって、 バイナリデータで構成されているからである。） したがって、 このデ ータ Xをそのまま送ったのでは、 通信回線と して大容量のものが必 要となる。

そこで、 第 1 3図 （ b ) に示すよ う にデータ Xを適当に分割して、 この分割したデータに X I， X 2 , X 3 という I Dを付し、 これら の分割データを先行する M I D I のデータ問に挿入して先送りする こ とで、 送信するデータ量が平準化され、 回線の容量を減らすこ と が可能となる。 ここではデータ Xの一部だけを分割する例を示した が、 データ Xを全区間にわたって分割してもよい。

M I D I に後続するデータ と しては.、 第 1 4図 （ a ) に示すよ う に複数のデータ X， Yが同時に存在するものであってもよレ、。 この 場合も、 データ Xおよびデータ Yの各分割データには、 X I , X 2 , …および Y l , Y 2 , …といった X， Yそれぞれのグループごとの I Dが付与される。 第 1 4図 （ b ) は、 分割データを先行する M l D I のデータ間に挿入した例を示す。 このよ うに分割データが挿入 されたデータ群がデータ受信部 3で受信されると、 このデータ群か ら挿入された分割データが抽出され、 抽出された分割データを合成 することによ り、 元の再生データが復元される。 この詳細を第 1 5 図および第 1 6図によ り説明する。

受信された分割データは、 M I D I のデータ とは分離されて、 第 1 4図 （ b ) における先頭のデータから時系列的に順次メモリ に格 納されてゆく。 このメモリ の内容が第 1 5図に示されている。 格納 された各分割データのエリ アには、 当該分割データに連結される後 続の分割データの開始番地が X, Yそれぞれのグループごとに記録 される。 たとえば、 データ X 1 の最後にはデータ X 2の開始番地が 記録され、 データ X 2の最後にはデータ X 3の開始番地が記録され る。 また、 データ Y 1の最後にはデータ Y 2の開始番地が記録され、 データ Y 2の最後にはデータ Y 3の開始番地が記録される。

第 1 6図は、 データ受信部 3が第 1 4図 （ b ) のデータ群を受信 した場合に、 分割データを抽出してメモリ に格納する動作を示すフ ローチャー トである。 まず先頭のデータ X I を読み取り （ s 1 5 1 ) 読み取ったデータ X 1 をメモ リ に書き込む （ S 1 5 2 )。 ついでデー タ X 2 を読み取り （ S 1 5 3 )、 このときデータ X 2が格納されるェ リ アの開始番地をデータ X I の最後に書き込んでから（ S 1 5 4 )、 データ X 2 をメモリ に書き込む （ S 1 5 5 )。 次に、 M I D I のデー タの処理を行った後 （ S 1 5 6 )、データ Y 1 を読み取り （ S 1 5 7 )、 読み取ったデータ Y 1 をメモリ に書き込む （ S 1 5.8 )。 その後、 デ ータ X 3 を読み取り （ S 1 5 9 )、 このときデータ X 3が格納される エリ アの開始番地をデータ X 2の最後に書き込んでから（ S 1 6 0 )、 データ X 3 をメモリ に書き込む （ S 1 6 1 )。 ついでデータ Y 2 を読 み取り （ S 1 6 2 )、 このときデータ Y 2が格納されるエリ アの開始 番地をデータ Y 1の最後に書き込んでから （ S 1 6 3 )、 データ Y 2 をメモリ に書き込む （ S 1 6 4 )。 以下、 同様にしてデータ X 4から データ X 6までをメモリ に書き込む。

このよ うにして、 メモリ に格納された分割データの終わり に後続 の分割データの開始番地を記録しておく ことによ り、 分割データを 容易に合成して復元することができる。 すなわち、 データ Xに関し ては、 分割データ X I， X 2 , '·'Χ 6が開始番地を介して連鎖的に 連結されているので、 第 1 5図のよ うにデータ Xの分割データ とデ ータ Υの分割データ とが混在して格納されていても、 開始番地を参 照して X I , X 2 , —X 6のデータを読み出して合成すれば、 簡単 に元のデータ Xを復元することができる。 データ Υに関しても同様 である。

第 1 7図は無音区間を.有する音声データの処理を説明する図であ る。 たとえば、 アナウンサーの声を音声信号と して記録し、 第 5図 ( b ) も しく は第 7図 （ b ) の SMFフォーマッ トに埋め込む場合 を考える。 アナウンサーの声は途中で途切れたりすることがあり、 この途切れた区間 （無音区間） のデータは本来不要なデータである。 したがって、 この無音区間のデータをカッ ト して、 必要な部分だけ — —

を S M Fフォーマツ トに埋め込むよ う にすれば、 データ量を削減す るこ とができる。

第 1 7図の音声信号においては、 Tの区間が無音区間である。 無 音区間 Tは本来的には信号レベルが 0の区間であるが、 実際にはノ ィズ等の混入によ り必ずしもレベルが 0 とは限らない。 そこで、 一 定範囲のレベル値 Lを定め、 信号レベルが Lを超えない区間が一定 区間続いた場合に、 この区間を無音区間 Tとする。 そして、 この無 音区間 Tをカ ッ ト した音声データを作成し、 これを第 5図 （ b ) も しく は第 7図 （ b ) の S M Fフォーマッ トに埋め込んで、 前述した 再生方法に従って再生するよ うにすれば、 送信するデータ量が少な く て済み、 受信側のメモリ の容量も節約できる。

しかしながら、 無音区間 Tを単にカ ッ ト しただけでは、 再生時に 信号が急峻な立上りや立下がり をしてノィズが発生する。 そこで、 これを回避するために信号の立上り と立下り付近において窓処理を 施し、 滑らかな立上り ■ 立下り特性が得られるようにするこ とが望 ま しい。 この窓処理は、 窓関数を用いた公知の方法によ り容易に実 現できる。 第 1 7図においては、 W 1 〜W 4が窓処理の施される部 分である。

第 1 8図は、 無音区間をカッ ト してデータを記録する場合のフ口 一チャー トである。 先頭から順次データを読取り （ S 1 7 1 )、 読取 つたデータのレベルが一定値を超えているか否かが判断される （ S 1 7 2 )。 一定値を超えていなければ （ S 1 7 2 N〇）、 S 1 7 1 へ 戻って引続きデータを読取り、 一定値を超えていれば （ S 1 7 2 Y E S )、 データの立上り付近で上述した窓処理を行い、 処理後のデー タをメモリ に書き込む （ S 1 7 3 )。 ここでの窓処理は、 第 1 7図に おける W 1での窓処理であり、 緩やかに信号が立上るフエイ ド - ィ ンの処理となる。 一 —

次に、 再びデータを読取り （ S 1 7 4 )、 読取ったデータのレベル が一定値を超えているか否かが判断される （ S 1 7 5 )。 一定値を超 えていれば （ S 1 7 5 Y E S )、 そのデータをメモリ に書き込み （ S 1 7 6 )、 S 1 7 4へ戻って次のデータを読む。 一定値を超えていな ければ （ S 1 7 5 N O)、 その区間が一定区間連続したか否かが判断 され （ S 1 7 7 )、 一定区間連続していなければ （ S 1 7 7 N O)、 データをメモリ に書き込んで （ S 1 7 6 )、 S 1 7 4へ戻って次のデ ータを読む。 一定レベルを超えない区間が一定区間連続していれば ( S 1 7 7 Y E S )、 その区間は無音区間である とみなして、 第 1ー 7 図における W 2の部分に窓処理を施し、 処理後のデータをメモリ に 書き込む （ S 1 7 8 )。 こ こでの窓処理は、 緩やかに信号が立下るフ ヱイ ド ' アウ トの処理となる。 なお、 S 1 7 8では S 1 7 6で書き 込んだデータのう ち、 無音区間における不要なデータを消去する処 理も行われる。

次に、 データの読取りが終了したか否かが判断され （ S 1 7 9 )、 終了していなければ （ S 1 7 9 N O ) S 1 7 1へ戻って次のデータ を読み、 以降は上記と同様のステップを経て、 第 1 7図の W 3， W 4 における窓処理が行われる。 データの読取りが終了すれば （ S 1 7 9 Y E S )、 動作を終了する。

上記実施形態においては、 S MFの拡張フォーマツ トに埋め込む 情報と して、 音声、 文字および画像をと り あげたが、 埋め込む情報 は何であってもよく 、 たとえばコンピュータ · プログラムであって もよい。 この場合、 たと えば M I D I のデータに続いてコンビユ ー タ · プログラムが再生されるよ うにしておく と、 最初に M I D I に よる音楽が演奏され、 これが終ると 自動的にプログラムが立ち上が る といった使い方ができる。

また、 上記実施形態ではネッ トワーク上のサーバのファイル 1 a から通信回線を介してデータを受信する例を示したが、 パーソナル コ ンピュータで S M F形式のデータを作成してハー ドディスク上の フア イ ノレ 1 b に蓄積しておき、 ここからデータをダウンロー ドする よ う にしてもよレ、。

第 1 9図は本発明に係るデータ再生装置の他の例を示す。 1 a ， 1 b はデータが記録されたファイルであって、 1 a はたとえばイ ン ターネッ ト上のサーバにあるファイル、 1 bはたとえば装置内部の ノヽー ドディスクにあるファイルである。

2はデータ再生装置の全体を制御する C P Uで、 データ受信部 3 およびデータ振分部 4を含んで構成されている。 C P U 2はこれ以 外にも種々の機能を有するブロ ックを含んでいるが、 本発明では直 接関係しないので、 図示は省略してある。 データ受信部 3は、 フ ァ ィル 1 a， 1 bへアクセスしてこれらに格納されたデータを受信す る。 ファイル l a のデータは、 有線を介してまたは無線によ り受信 される。 受信するデータのフォーマッ トは、 第 2図ないし第 8図と 同 じものである。 これらの受信データは、 バッファ 3 a に一時的に 格納される。 データ振分部 4は、 データ受信部 3が受信したデータ を種類別に振り分けて、 記憶部 5を構成する各バッファ 7〜 1 0 に 格納する。

6 はデータ再生部であって、 M I D I に関するデータを処理する M I D I 再生部 1 1 と、 音声に関するデータを処理する音声再生部 1 2 と、 文字に関するデータを処理する文字再生部 1 3 と、 画像に 関するデータを処理する画像再生部 1 4 とから構成されている。 な お、 図示は省略してあるが、 M I D I 再生部 1 1 は第 1図の音源 R O M 1 1 a を備えている。 画像再生部 1 4は、 静止画と動画を再生 する機能を備えている。

1 5 は M I D I 再生部 1 1および音声再生部 1 2 の出力を混合す る ミキサ、 1 6は文字再生部 1 3および画像再生部 1 4の出力を混 合する ミキサである。 ここでも図示を省略してあるが、 ミキサ 1 5 は第 1図のサウンドエフェク ト部 1 5 a を備えており 、 ミキサ 1 6 は第 1図のビジュアルエフェク ト部 1 6 a を備えている。 1 7 はミ キサ 1 5の出力が一時的に格納される出力バッファ、 1 8 はミキサ 1 6の出力が一時的に格納される出力バッファである。 1 9 は出力 バッファ 1 7のデータに基づいてサウンドを出力する発音部と して のス ピーカ、 2 0は出力バッファ 1 8のデータに基づいて文字や絵 などの可視情報を表示する表示器である。 2 1 はシステムの基準時 刻となるシステムク 口 ックを発生して各部のタイ ミ ングを制御する タイ ミ ング制御部、 2 2はデータ再生装置に外付けされる外部記憶 装置である。

記憶部 5、 データ再生部 6、 ミキサ 1 5 , 1 6、 出力バッファ 1 7， 1 8およびタイ ミング制御部 2 1は、 D S P (Digital Signal Processor) によ り構成されてレ、る。 D S Pに代えて L S I によって 上記各部を構成することも可能である。

第 1 9図と第 1図とを比較すれば明らかなように、 第 1 9図のデ ータ再生装置においては、 データ振分部 4 とデータ再生部 6 との間 にバッファ 7〜 1 0からなる記憶部 5が設けられており 、 またタイ ミ ング制御部 2 1が設けられている。 さらに、 外部記憶装置 2 2 も 付加されている。

第 2 0図は、 第 1 9図のデータ再生装置の全体の動作を示すフ口 一チャー トである。 まず、 データ受信部 3がファイル l a またはフ アイノレ 1 bからのデータを受信する （ S 1 8 1 )。 この受信データは バッファ 3 aへ格納される。 次に、 C P U 2はタイ ミ ング制御部 2 1 からのシステムク ロ ックや、 データ受信部 3が受信した各データ のデルタ · タイムに基づいて、 データ振分部 4がデータを振り分け — 一

るのに必要な時間演算を行なう （ S 1 8 2 )。 この S 1 8 2の詳細に ついては後述する。 データ振分部 4は、 時間演算の結果に従って処 理すべきデータを種類別に振り分け、 対応するバッフ ァ 7〜 1 0 に 格納する （ S 1 8 3 )。 この S 1 8 3の詳細についても後述する。

ノくッフ ァ 7〜 1 0に格納されたデータは、 各バッフ ァ に対応する データ再生部 1 1〜 1 4によ りそれぞれ読み出され、 各データ再生 部 1 1〜 1 4においてデータに記録されたイベン トが実行されてデ ータが再生される （ S 1 8 4 )。 S 1 8 4の詳細についても後述する。 再生されたデータのうち、 M I D I と音声のデータはミキサ 1 5で 混合され、 文字と画像のデータはミキサ 1 6で混合される （ S 1 8

5 )。 これらの混合されたデータはそれぞれ出力バッファ 1 7 , 1 8 に格納された後、 ス ピーカ 1 9および表示器 2 0へ出力される （ S

1 8 6 )。

第 2 1図は、 S 1 8 2における時間演算の原理を説明する図であ る。 図の t は時間軸であって、 イベン ト 0〜イベン ト 4は受信した データ列に含まれているィベン トの再生タイ ミ ングを示している (ただし、 この再生タイ ミ ングは、 受信データをそれらのデルタ - タイムに従って再生したと仮定した場合のタイ ミ ングを表しており 、 時間軸 t上で実際に再生されたタイ ミングを表したものではないこ とに注意）。 たとえば、 イベン ト 0は画像のィベン ト、 ィベン'ト 1 は M I D I のイベン ト、 イベン ト 2は音声のイベン ト、 イベン ト 3 は 文字のイベン ト、 イベン ト 4は画像のイベン トである。 Δ Τ 1 〜厶 T 4はデルタ · タイムであって、 Δ Τ 1はイベン ト 1のデルタ · タ ィム、 Δ Τ 2はイベン ト 2のデルタ ' タイム、 Δ Τ 3はイベン ト 3 のデルタ · タイム、 Δ Τ 4はイベン ト 4のデルタ · タイムである。 前述のよ う に、 デルタ · タイムは直前のイベン トが実行された時点 から今回のィベン トが実行されるまでの時間であり、 たとえばィべ 一 —

ン ト 1 が実行された時点から Δ T 2が経過する とィベン ト 2が実行 され、 ィベン ト 2が実行された時点から Δ Τ 3が経過する とィベン ト 3が実行されるよ うになつている。 t 1 は前回データを処理した 時刻、 t 2は現在時刻を表しており、 その差 t 2 — t 1 は単位区間 である 1 フ レームに相当 している。 この 1 フ レーム区間はたとえば 1 5 m s の時間幅を有.しており、 1 フ レームの最初と最後のタイ ミ ングは、 タイ ミ ング制御部 2 1 (第 1 9図参照） からのシステムク ロ ックによって決定される。 Qはデータの処理区間であって、 現在 時刻 t 2 と、 1つ前のフ レームにおける最後のイベン ト （イベン ト 0 ) の実行時刻 t 0 との差と して定義される。

第 2 2図はデータ振分部 4によるデータ振分けの手順を示すフ口 一チャー トである。 以下、 第 2 1図および第 2 2図を参照して、 デ —タを振り分ける手順について説明する。 第 2 1図の t 2のタイ ミ ングにおいてタイ ミ ング制御部 2 1から C P U 2へク 口 ックの割込 みがある と、 システムが WAKE状態となり （ S 1 9 1》、 C P U 2 は処理区間 Qの時間幅を演算する （ S 1 9 2 )。 この Qは前述のよ う に、

Q = t 2 - t 0

と して算出ざれ、 今回データを処理する時間幅を表している。 次に C P U 2は、 受信したデータのデルタ · タイム Δ Tを順に読み取つ て （ S 1 9 3 )、 処理区間 Qの時間幅が Δ T以上あるか否かを判定す る （ S 1 9 4 )。 Q Δ Τであれば （S 1 9 4 Y E S)、 次にデータ の種類を順に判定してゆき （ S 1 9 5、 S 1 9 8、 S 2 0 0、 S 2 0 2 )、それぞれのデータに対応して設けられたバッファ 7〜 1 0へ データを振り分けて格納する （ S 1 9 6、 S I 9 9、 S 2 0 1 、 S 2 0 3 )。 その後、 Q = Q— Δ Tの演算を行なって Qの値を更新する ( S 1 9 7 )。 — —

第 2 1 図の例では、 イベン ト 0は前回すでに処理が終わっている ので、 イベン ト 1から順に判定する。 イベン ト 1 のデルタ · タイム 厶 T 1 に関しては、 <2〉 Δ Τ 1 であるから S 1 9 4の判定は Y E S となり 、 次にデータが M I D I か否かを判定する （ S 1 9 5 )。 第 2 1 図において、 イベン ト 1 が M I D I のイベン トであれば （ S 1 9 5 Y E S )、バッファ 7へデータを送ってデータを一時的に格納する ( S 1 9 6 )。，イベン ト 1が M I D I のイベン トでなければ （ S 1 9 5 N〇）、 音声のイベン トか否かを判定する （ S 1 9 8 )。 イベン ト 1 が音声のイベン トであれば （ S 1 9 8 Y E S )、 ノくッファ 8へデ一 タを送ってデータを一時的に格納する （ S 1 9 9 )。 イベン ト 1が音 声のィベン トでなければ （ S 1 9 8 NO)、 文字のィベン トか否かを 判定する （ S 2 0 0 )。 イベン ト 1が文字のィベン トであれば （ S 2 0 0 Y E S )、バッファ 9へデータを送ってデータを一時的に格納す る （ S 2 0 1 )。 イベン ト 1が文字のイベン トでなければ （ S 2 0 0 N O)、 画像のイベン トか否かを判定する （ S 2 0 2 )。 イベン ト 1 が画像のィベン トであれば （ S 2 0 2 Y E S )、 ノ ッファ 1 0へデー タを送ってデータを一時的に格納する （ S 2 0 3 )。 イベン ト 1が画 像のイベン トでもなければ （ S 2 0 2 NO)、 他の処理を行なう。

このよ うにして、 イベン ト 1 のデータをノくッファ 7〜 1 0のいず れかへ振り分けた後、 Q = Q— Δ Τ 1の演算を行ない （ S 1 9 7 )、 S 1 9 3へ戻って次のイベン ト 2のデルタ ■ タイム Δ Τ 2を読み取 り 、 Q Δ Τ 2を判定する （ S 1 9 4 )。 このときの Qの値は Q = Q — 厶 T 1 であるが、 第 2 1図では Q— Δ Τ 1 〉 Δ Τ 2である力 ら、 S 1 9 4の判定は Y E S となり、 上記の場合と同様にしてィベン ト 2のデータの種類を判別して、 対応するバッファへ振り分ける。 その後、 Q = Q _ A T 2の演算を行ない （ S 1 9 7 )、 S 1 9 3へ 戻って次のイベン ト 3のデルタ ' タイム Δ Τ 3 を読み取り、 <3≥ Δ T 3 を判定する （ S 1 9 4 )。 このときの Qの値は Q = Q— Δ Τ 1 — 厶 Τ 2である力 第 2 1図では Q— Δ Τ Ι — Δ Τ 2 > Δ Τ 3である から、 S 1 9 4の判定は Y E S となり、 上記の場合と同様にしてィ ベン ト 3のデータの種類を判別して、 対応するバッファへ振り分け る。

その後、 Q = Q— Δ Τ 3の演算を行ない （ S 1 9 7 )、 S 1 9 3へ 戻って次のイベント 4のデルタ · タイム Δ Τ 4を読み取り （第 2 1 図ではィベン ト 4は t 2 よ り後に図示されているが、 t 2の時点で はイベン ト 4のデータはすでにバッファ 3 a に入っていて読取りが 可能となっている）、 <3≥ Δ Τ 4を判定する （ S 1 9 4 )。 このとき の Qの値は Q = Q— Δ Τ Ι — Δ Τ 2— Δ Τ 3であるが、 第 2 1図で は Q— Δ Τ Ι — Δ Τ 2— Δ Τ 3 く Δ Τ 4である力、ら、 S 1 9 4の判 定は N〇となり、 C P U 2はィベン ト 4のデータ処理は行なわずに、 S L E E P状態に移行して次のフレームでの処理まで待機する （ S 2 0 4 )。 そして、 次のフ レームの最初のタイ ミ ングでタイ ミ ング制 御部 2 1からのクロック割込みがある と、 WAK E状態となって（ S 1 9 1 )、イベント 4以下のデータについて上述した処理と同様の処 理を行なう。

第 2 2図のフローチャー トにおいて、 S 1 9 2〜 S 1 9 4、 およ び S 1 9 7が第 2 0図の S 1 8 2の詳細であり、 S 1 9 5 , S 1 9 6、 S 1 9 8〜 S 2 0 3が第 2 0図の S 1 8 3の詳細である。

次に、 各データ再生部 1 1〜 1 4における処理の詳細、 すなわち 第 2 0図の S 1 8 4の詳細について説明する。 第 2 3図は各データ 再生部での処理手順を示すフローチャー トで、 （ a )は M I D I 再生 部 1 1 における処理手順を表している。 ^11 0 1 再生部 1 1 では、 データ振分部 4によって振り分けられた 1 フ レーム区間のデータが バッファ 7に格納されると、 このデータを次の 1 フ レーム区間にお —

いて読み込む （ S 2 1 1 )。 そして、 読み込んだデータに記録されて いる M I D I イベン ト （第 3図、 第 4図参照） の内容を解読して、 ソフ ト ウエア ■ シンセサイザによ り シンセサイザ音を生成する （ S 2 1 2 )。 このシンセサイザの出力は、 M I D I 再生部 1 1の内部に ある図示しないバッファに一時的に格納され、 このバッファカゝら ミ キサ 1 5へ出力される （ S 2 1 3 )。

第 2 3図 （ b ) は、 音声再生部 1 2における処理手順を示してい る。 音声再生部 1 2では、 データ振分部 4によって振り分けられた 1 フ レーム区間のデータがバッファ 8に格納されると、 このデ タ を次の 1 フ レーム区間において読み込む （ S 3 1 1 )。 そして、 読み 込んだデータのイベン トに記録されている音声データ （第 5図 （ b )、 第 7図 （ b ) 参照） をデコー ドして、 音声を再生する （ S 3 1 2 )。 この再生データは、 音声再生部 1 2の内部にある図示しないバッフ ァに一時的に格納され、 このバッファからミキサ 1 5へ出力される ( S 3 1 3 )。

第 2 3図 （ c ) は、 文字再生部 1 3における処理手順を示してい る。 文字再生部 1 3では、 データ振分部 4によって振り分けられた 1 フ レーム区間のデータがバッファ 9に格納されると、 このデータ を次の 1 フ レーム区間において読み込む （S 4 1 1 )。 そして、 読み 込んだデータのイベン トに記録されている文字データ （第 5図 （ c )、 第 7図 （ c ) 参照） をデコー ドして、 文字を再生する （ S 4 1 2 )。 この再生データは、 文字再生部 1 3の内部にある図示しないバッフ ァに一時的に格納され、 このバッファからミキサ 1 6へ出力される ( S 4 1 3 )。

第 2 3図 （ d ) は、 画像再生部 1 4における処理手順を示してい る。 画像再生部 1 4では、 データ振分部 4によって振り分けられた 1 フ レーム区間のデータがバッファ 1 0に格納されると、 このデー 一 —

タを次の 1 フ レーム区間において読み込む （ S 5 1 1 )。 そして、 読 み込んだデ一タのィベン トに記録されている画像データ （第 5 図

( d )、 第 7図 （ d ) 参照） をデコードして、 画像を再生する （ S 5 1 2 )。 この再生データは、 画像再生部 1 4の内部にある図示しない ノ ッファに一時的に格納され、 このバッファからミキサ 1 6へ出力 される （ S 5 1 3 )。

以上述べた第 2 3図 （ a ) 〜 （ d ) の各処理は、 プログラムで定 められた順序に従って行なわれ、 ここでは （ a ) 〜 （ d ) の順序で 行なわれるものとする。 すなわち、 （ a ) の M I D I の処理をまず行 ない、 これが完了すれば （ b ) の音声処理に移り、 音声処理が完了 すれば （ c ) の文字処理に移り、 文字処理が完了すれば （ d ) の画 像処理を行なう。 なお、 このよ う に処理を直列的に行なうのは、 .記 憶部 5やデータ再生部 6等を構成する D S Pが 1個であるためであ り、 D S Pを各再生部ごとに設けた場合には、 処理を並列的に行な う ことができる。

S 2 1 3でミキサ 1 5へ出力された M I D I の再生データ と、 S 3 1 3でミキサ 1 5へ出力された音声の再生データ とは、 ミキサ 1 5で混合されて出カバッフ ァ 1 7へ格納され、 サウンドと してス ピ 一力 1 9から出力される。 また、 S 4 1 3でミキサ 1 6へ出力され た文字の再生データ と、 S 5 1 3でミキサ 1 6へ出力された画像の 再生データとは、 ミキサ 1 6で混合されて出力バッファ 1 8へ格納 され、 可視情報と して表示器 2 0に表示される。 出力バッフ ァ 1 7 およびス ピーカ 1 9によって第 1 の出力部が構成され、 出力バッフ ァ 1 8および表示器 2 0によって第 2の出力部が構成される。なお、 出力バッファ 1 7はスピーカ 1 9へ出力するデータの個数を計数す る機能を備えており、 この計数値に基づいてタイ ミ ング制御部 2 1 へ制御信号を送り、 タイ ミング制御部 2 1 はこの制御信号に基づい て C P U 2にタイ ミング信号 （システムク ロ ック） を与える。 すな わち、 出力バッファ 1 7からデータ 1個が出力するのに要する時間 はサンプリ ング周波数によ り決ま り、 この時間を τ とする と、 Ν個 のデータが出力するのに要する時間は Ν X _τ となるから、 Νの値に よってタイ ミ ングを決定することができる。 また、 タイ ミ ング制御 部 2 1 は上記制御信号に従って出カバッファ 1 8 にもタイ ミ ング信 号を与え、 出力バッファ 1 8から出力されるデータのタイ ミ ングを コ ン ト ロー-ノレする。

第 2 4図は、 以上述べたデータの振り分けから再生までの動作を 全体的に表した図で、 （ a )は各再生部が処理するデータ量とフ レー ム区間との関係を表しており、 （ b )は各再生部における処理時間と フ レーム区間との関係を表したものである。 F 1〜F 3は 1 フ レー ム区間であり、 各フ レーム区間の時間幅は、 たとえば 1 5 m _S に設 定されている。 すなわち、 データ振分部 4には、 1 5 m s ごとにタ ィ ミ ング制御部 2 1からクロ ックの割り込みがかかるよ うになって いる。 t は時間軸を示し、 Mは M I D I ,のイベン ト、 Aは音声のィ ベン ト、 Tは文字のイベン ト、 Pは画像のイベン トの再生タイ ミ ン グを表している。 なお、 これらの再生タイ ミ ングは、 第 2 1 図と同 様に、 受信データをデルタ ■ タイムに従って再生したと仮定した場 合のタイ ミングを示すものであって、 時間軸 t上で実際に再生され たタイ ミ ングを示すものではない。

第 2 1図で説明したように、 区間 F 1で処理されるデータは、 当 該区間の最後のタイ ミ ングにおいてバッファ 7〜 1 0へ振り分けら れ、 格納される。 そして、 各再生部 1 1〜1 4は次の 1 フ レーム区 間 F 2でバッファからデータを読み出して再生処理を行なう。 この 場合、 各バッファから各再生部へ転送されるデータの量は、 各再生 部が 1 フ レーム区間で処理できる量のデータであり、 第 2 4図 （ a ) に示すよ う に、 各再生部は次の 1 フ レーム区間 F 2内で、 データを すべて処理できるよ うになつている。

この処理のタイムチャー トが第 2 4図 （ b ) であって、 白矢印の 長さが処理時間を表している。 この処理時間は、 各フ レームごとに 異なる。 前述のよ うに、 バッファに格納されたデータは次の 1 フ レ ーム区間 F 2において、 あらかじめ決められた順序で各再生部 1 1 〜 1 4によ り順番に読み出され、 各再生部においてデータに記録さ れたィベン トが実行されてデータの再生が行なわれる。 第 2 4図 ( b ) では、 M (M I D I ), A (音声）、 P (画像） がこの順序で 再生処理される。 再生された Mと Aはミキサ 1 (第 1 9図のミキサ

1 5 ) にて処理され、 再生された Pはミキサ 2 (第 1 9図のミキサ

1 6 ) で処理される。 このよ う にして、 F 1 区間で振り分けられた データは F 2区間においてすベて処理が完結され、 余った時間は次 の F 3区間での処理が開始されるまでの待機時間となる。 図の S L E E Pがこれを表している。 そして、 ミキサ 1からの出力は、 出力 ノくッファ 1 (第 1 9図の出力バッファ 1 7 ) に格納された後、 次の フ レーム区間 F 3においてサウンドと して出力され、 また、 ミキサ 2からの出力は、 出力バッファ 2 (第 1 9図の出力バッファ 1 8 ) に格納された後、 フレーム区間 F 3 において可視情報と して出力さ れる。

同様にして、 F 2区間では A， M， Tのデータがバッファに振り 分けられ、 これらのデータは F 3区間において M, A, Tの順序で 読み出されて、 各再生部において上記と同じ要領で再生処理され、 次の F 4区間 （第 2 4図では図示されない） において出力される。 以上のよ うにして、 第 1 9図のデータ再生装置においては、 受信 したデータをフ レームごとに振り分けてバッファに格納し、 次のフ レームでバッファから読み出してデータを再生し、 さ らにその次の フレームでサゥン ドゃ可視情報と して出力している。 したがって、 フレーム単位でデータの時間同期をと り ながら再生を行なう こ とが でき る。

まだ、 データ振分部 4は受信データをバッファ 7〜 1 0 に振り分 ける作業に専念し、 各再生部 1 1〜 1 4はバッファに格納されたデ ータを読み出して再生することに専念するため、 データ受信部 3が 受信したデータをパイプライン化して、 高速に処理することが可能 となる。

なお、 データの再生にあたっては、 本来はデルタ · タイムに従つ て再生のタイ ミングが管理されるべきであるが、 第 1 9図の装置で は、 データ振分部 4によってデータがバッファ 7〜 1 0に振り分け られた後はデータが離散するため、 個々のデルタ · タイムは再生タ イ ミ ングを決定する上で実質的に意味を持たなく なる。 しかし、 1 フレーム区間は前述のよう に 1 5 m s という ごく短い時間であるか ら、 この間に再生されたデータは、 各データの再生タイ ミ ングにか かわらず、 同時に再生されたものとみなして差し支えない。 実際、 1 5 m s程度の区間内におけるデータの再生タイ ミ ングのずれは、 通常の人間の感覚では識別できないことが経験的に確かめられてい る。 したがって、 データを振り分ける時点において、 デルタ · タイ ムに基づいて 1 フレーム区間で処理すべきデータさえ決定しておけ ば、 1 フ レーム区間内でそれらのデータの再生タイ ミ ングがデル タ · タイムに従う再生タイ ミングからずれていても問題はない。

さ らに、 同一フ レーム区間内において、 異種のデータの再生順序 が入れ替わっても差し支えない。 たとえば、 第 2 4図 （ b ) の F 1 区間では受信したデータの順序 M , A , Pに従って各再生部がバッ ファからデータを読み出しているが、 F 2区間では、 受信したデー タの順序が A , M , Tであるにもかかわらず、 再生部がバッファか らデータを読み出す順序は M , A , Tとなり、 Αと Μが入れ替わる。 これは、 前述のよ うに、 各再生部での処理順序がプログラムによつ て Μ , A , 丁， P と定められているからである。 しかし、 このよ う に処理順序が入れ替わっても、 1 5 m s以内に各再生部がデータ処 理を行なっていれば、 上述したよ うにデータの再生タイ ミ ングは人 間の感覚ではわからないため問題はない。

また、 第 2 4図では 1 フ レーム区間で振り分けられたデータを、 次の 1 フ レーム区間ですベて処理するよ うにしているが、 これは必 ずしも必須のことではない。 すなわち、 出力バッファ 1 7 , 1 8力 ' 1 フ レーム区間での処理量を超えるサイズを有しておれば、 1 フ レ ーム内で処理できなかったデータがあつたと しても、 出力バッファ 1 7， 1 8 には先に処理されたデータが残っているので、 データを 途切れることなく 出力することができる。

第 2 5図は、 第 1図または第 1 9図のデータ再生装置において、 データをダウンロー ドしながら再生を行ぅ ス ト リーム方式を採用 し た場合のデータ受信部 3の動作を説明する図である。 こ こでは、 バ ッ フ ァ 3 a がノ ッ フ ァ A、 ノくッ ファ B、 ノくッ ファ Cの 3 つのノく ッ フ ァから構成されている。 3 bは各バッ フ ァ A , B， Cに対応して設 けられたレジスタ A , B , Cである。 受信されるデータはス ト リ ー ムデータ S と して示されている。 ス ト リームデータ Sの先頭にはへ ッダ Hが記録されており、 これに続いて M I D I 、 音声、 文字、 画 像の各データがパケッ ト P 1 , P 2 , P 3 , " · Ρ πιと して混在して 記録されている。 このス ト リ ームデータ S の全データ量を Κとする 以下、 音楽を再生する場合を例にとって受信動作を説明する。 サ —バへのアクセスによ りデータ受信部 3がファイル 1 a からス ト-リ ームデータ S の受信を開始すると、 まず、 ス ト リ ームデータ S の先 頭からバッファ Aのサイズ （容量） に相当する分のデータ A 1 がバ ッ フ ァ Aに格納される。 これによつてバッファ Aはフル状態となり 、 レジス タ Aにはバッファ Aがフル状態であることを示すフラグが セッ 卜 される。 続いて、 ノくッファ Bのサイズに相当する分のデータ B 1 がノくッ フ ァ B に格納される。 これによつてノくッフ ァ B もフル状 態となり 、 レジスタ Bにはバッファ Bがフル状態であるこ とを示す フラグがセッ ト される。

ノくッフ ァ Bがフルになつた時点で、 データ振分部 4はデータの振 分けを開始し、 バッファ Aに格納されたデータ A 1 とバッファ Bに 格納されたデータ B 1 をデータの種類別にバッフ ァ 7〜 1 0へ転送 する。 転送されたデータは各再生部 1 1〜 1 4で再生され、 曲の演 奏が開始される。 一方、 バッファ Cにはそのサイズに相当する分の データ C 1が格納される。 これによつてバッファ Cはフル状態とな り 、 レジスタ Cにはバッファ Cがフル状態であることを示すフラグ がセ ッ ト される。

バッファ Cにデータ C 1が格納されている間に、 ノくッファ Aのデ ータ A 1 が消費されてバッファ Aが空になると、 レジスタ Aのフラ グがリセッ ト され、 データ受信部 3は次のデータ A 2を取得してバ ッファ Aに格納する。 これによつて、 ノくッファ Aは再びフル状態と なり、 レジスタ Aにフラグがセッ トされる。 また、 ノくッファ Bのデ ータ B 1 が消費されてバッフ ァ Bが空になると、 レジスタ Bのフラ グがリセッ トされ、 データ受信部 3は次のデータ B 2 (第 2 5図で は図示されない） を取得してバッファ Bに格納する。 これによつて 、 ノくッファ Bは再びフル状態となり、 レジスタ Bにフラグがセッ ト される。 以上のよ うな動作を繰り返すことによって、 ス ト リ ームデ ータ Sの再生が進行する。 第 2 6図はこの場合のデータの流れを示 した図である。 上述したス ト リーム方式においては、 データ A 1 が受信された時 点から再生をスター トするこ と も可能である。 しかしながら、 バッ ファに取り込まれるデータの転送容量が十分でない場合は、 再生開 始後にバッ ファへのデータ補給が消費に追いつかず、 音が途切れる という現象が発生する。 そこで、 これを回避するには、 ノく ッファに データをキャ ッシュ して、 ある程度データが貯まった時点から再生 をスター トする必要がある。 これを第 2 7図の例で説明する。

第 2 7図において、 ノくッファ A， B , Cのサイズをそれぞれ 5 0 K b i t と し、 ノく ッファにデータを取り込むのに要した時間を 5.秒 とする と、 1秒あたり のデータの転送容量は 5 0 / 5 = 1 0 K b p s となる。 また、 曲の演奏時間を 1 0秒、 全データ量を 2 0 0 K b i t とする と、 曲の演奏によって消費されるデータの量は、 1秒間 あたり 2 0 0 Z l O = 2 0 K b p s となる。 したがって、 データが 受信された時点 t 0から再生を開始したのでは、 消費されるデータ 量がバッファに取り込まれるデータ量を上回るため、 ノくッファのデ ータが不足して音が途切れるこ とになる。

この問題は次のよ うにして解決される。 すなわち、 データの受信 時点 t 0カゝら 5秒間でバッファ Aに 5 0 K b i tのデータ A 1 を格 納し、 続く 5秒間でバッファ Bに 5 0 K b i tのデータ B 1 を格納 し、 1 0秒間で合計 1 0 0 K b i t のデータをキャ ッシュ しておく 。 そして、 データの受信時点 t 0から 1 0秒経過した t 1 の時点か ら再生を開始する。 このよ う にする と、 再生開始以降のデータ転送 容量がデータ消費量よ り小さ く ても、 バッフ ァ A， Bに既に 1 0 0 K b i tのデータが貯まっており、 また、 演奏開始時点 t 1 から演 奏終了時点 t 2までの 1 0秒間に残りの 1 0 0 K b i t のデータ （ C 1 と A 2の合計） をバッファ C , Aに取り込むことができるため 、 データが途絶えることがなく なり、 曲を最後まで連続して再生す るこ とができる。

これに対して、 バッファに取り込まれるデータ量が消費されるデ 一タ量を上回る場合には、 上記のよ うなデータのキヤ ッシュは不要 であるが、 バッファがフル状態になった時点で、 それ以上のデータ を送信しないよ うにデータ受信部 3からサーバに対して指示を与え る必要がある。 この場合は、 バッファのデータが消費されてバッ フ ァに空きが生じた時点で、 データ受信部 3はサーバからデータを取 得するこ とになる。

以上のことを一般化して記述する と次のよ うになる。 バッファの サイズを U、 バッファにデータを取り込むのに要した時間を t とす ると、 単位時間あたりのデータ転送容量 J は、 J 二 U Z tで与えら れる。 また、 全データ量を K、 再生時間を Τとする と、 単位時間あ たりのデータ消費量 Εは、 Ε = Κ / Τで与えられる。 第 2 5図にお いては、 全データ量 Κおよび演奏時間 Τはヘッダ Ηに記録されてお り、 データ受信部 3はへッダ Ηを読み取ってデータ消費量 Εを計算 する。 また、 バッファ Αにデータ A 1が取り込まれた時点で、 デー タ転送容量 J を計算する。 その結果、 J く Eであればデータのキヤ ッシュが必要と判断して、 必要な量のデータをキャ ッシュする。 こ の場合、 データのキャッシュ量を C と して

K < C + J · T

の条件を満たすよ う にデータをキャッシュすれば、 データを途切れ ることなく再生することができる。 データをキャ ッシュするために 、 データ受信部 3はサーバからデータ B 1 を取得してバッフ ァ Bに 格納する。 この時点で上記条件が満たされる と、 データ受信部 3は データ振分部 4に _r e a d y信号を送り、 これを受けてデータ振分 部 4はバッファ A , Bのデータの振分けを開始する。 以後の動作は すでに述べたとおりである。 — —

—方、 J 〉 Eであればデータのキャ ッシュは不要であるため、 デ ータ A 1 を受信した時点からデータ振分部 4はデータの振分けを開 始する。 しかし、 再生開始後にバッファがすぐにフル状態となるた め、 バッファがフル状態になつた時点で、 データ受信部 3 はサーバ に対してデータ送信の停止を要求する。 そして、 データが消費され てバッ フ ァ に空きができる と、 データ受信部 3は再びサーバに対し てデータの送信を要求する。 すなわち、 データ受信部 3 はサーバか ら間歇的にデータを取得することになる。

以上のよ うにして、 データ受信部 3はデータ転送容量 J を監視し 、 J < Eであればデータを必要量だけキャ ッシュ した後に再生を開 始し、 J 〉 Eであればデータのキヤッシュは行なわずに間歇的にデ ータを受信しながら再生を行なう。 —これによつて、 伝送路の容量の 変動にかかわらず、 安定してデータを再生することができる： なお 、 J = Eの場合は、 データのキャッシュは不要であり、 サーバから データを連続して受信する。

こ こで、 伝送路の容量が何らかの原因によって突然減少する と、 ノくッファへのデータキャ ッシュが間に合わず、 ノくッファ A， B , C がすべて空状態になることがある。 この場合は、 データ振分部 4か ら M I D I 再生部 1 1 と音声再生部 1 2へミュー ト信号を送って、 雑音が出力されるのを禁止することによ り、 ユーザに与える不快感 をなくすことができる。 また、 データ振分部 4から文字再生部 1 3 と画像再生部 1 4へは前置保持信号を送って、 直前の画面の表示が 維持されるよ うにするとよい。 また、 これらに代えて、 各再生部 1 1〜 1 4がデータの終了を表す信号を受け取っていないにもかかわ らずデータ振分部 4からデータが来ない場合には、 各再生部 1 1 〜 1 4において自動的にミュー トゃ前置保持の処理を行い、 データが 来れば再生を再開するという方法を採用することもできる。 上記説明においては、 ッファ 3 a と して独立した 3 つのバッ フ ァ A , B， Cを設けたが、 これは単なる一例に過ぎず、 フ ァ の 数は任意に選定することができる。 また、 独立したバッファに代え て リ ングバッファなどを用いてもよい。

次に、 本発明の応用例について説明する。 第 1図も しく は第 1 9 図のデータ再生装置は、 電話機の機能を備えた情報端末機に搭載す るこ とができる。 これによると、 音、 文字、 画像などの各種情報を ダウンロー ドし、 これらを再生してス ピーカからサゥン ドを流した り画面に文字や画像を表示することのできる携帯電話機が実現でき る。 たとえば、 インターネッ トによって提供される C M (コマーシ ャル） や、 カラオケなどの音楽 ' 映像等を携帯電話機で視聴するこ とが可能となる。 このよ うな携帯電話機の例が第 3 7図に示されて いる。

第 3 7図において、 5 0は情報端末機と しての携帯電話機、 5 1 は電話機の本体であって、 本体 5 1 にはアンテナ 5 2、 表示器 5 3 、 数値キー 5 4等の各種キー、 ス ピーカ 5 5、 マイ ク ロ フォン 5 6 が設けられている。 この携帯電話機 5 0は、 第 3 9図に示したよ う に、 基地局 7 3 との間で通信を行ない、 サーバ 7 2に蓄積されたデ ータを基地局 7 3 を介してダウンロー ドするよ うになつている。 アンテナ 5 2は基地局 7 3 との間で信号の送受信を行う ものであ る。 表示器 5 3はカラー液晶ディスプレイ等から構成されており 、 電話番号や映像などが表示される。 発音部であるス ピーカ 5 5から は通話相手の音声ゃメ 口ディが聞こえるよ うになつている。 マイク 口 フォン 5 6は、 通話時や留守番案内メ ッセージの作成時に音声を 入力するためのものである。

5 4は 0〜 9の数字からなる数字キーで、 電話番号や短縮番号の 入力などに用いられる。 5 7は電話機の電源をオンオフする電源キ —

―、 5 8は通話を開始する ときに操作する通話キー、 5 9 は表示器 5 3 に表示される内容をスク ロールするスク ロールキーである。 6 0は他のキーとの組合せ操作によ り各種の機能を達成するフ ァ ンク ショ ンキー、 6 1 は登録されている内容を呼び出して表示器 5 3 に 表示させるための呼出しキー、 6 2は短縮ダイヤル番号等の登録を 行う際に操作する登録キーである'。 6 3 は表示内容などを消去する ためのク リ アキー、 6 4は所定の動作を実行させる際に操作する実 行キ一である。 6 5はサーバ 7 2から音楽データをダウンロー ドす るにあたって、.新曲のリ ス トを表示させるための新曲表示キー、- 6 6は留守番案内メ ッセージを作成する際に操作する留守録キー、 6 7はカラオケを演奏する際に操作するカラオケキー、 6 8は曲の演 奏をスター トさせる演奏開始キー、 6 9は曲の演奏を終了させる演 奏終了キーである。

また、 7 0はカー ドゃスティ ック等の形状をした小型の情報記憶 媒体であって、 電話機本体 5 1 に設け.られたスロ ッ ト （図示省略） に着脱可能となっている。 この情報記憶媒体 7 0 の内部には、 記億 素子であるフラ ッシュメモ リ 7 1 が内蔵されてお り 、 このメモ リ Ί 1 にダウンロー ドした各種データが記憶される。

以上の構成において、 表示器 5 3は第 1図も しく は第 1 9図の表 示器 2 0に相当し、 ここには文字や画像が表示される。 たとえば、 C Mの場合には文字、 イラス ト、 写真、 動画などが表示され、 カラ オケの場合には、 タイ トル、 歌詞、 背景映像などが表示される。 ま た、 ス ピーカ 5 5は第 1図も しく は第 1 9図のス ピーカ 1 9 に相当 し、 ここからは M I D I や音声によるサウンドが出力される。 たと えば、 C Mの場合には C Mソングゃ商品案内メ ッセージなどが流れ、 力ラオケの場合には伴奏曲ゃバック コーラスなどが流れる。 このよ う にして、 第 1図もしく は第 1 9図のデータ再生装置を携帯電話機 ―

5 0 に搭載することによ り 、 携帯電話機 5 0をたとえばカラオケ装 置と して利用するこ とができる。

また、 携帯電話機 5 0にサーバ 7 2から M I D I のデータだけを ダウンロー ドするこ と もできる。 この場合、 M I D I によ り生成さ れたメ 口ディ を着信音と してス ピーカ 5 5 よ り 出力するよ うにすれ ば、 着信音はきわめてリ アルで洗練された音楽となる。 また、 携帯 電話機 5 0 の内部メ モ リ （図示省略） に、 着信信号に対応させて異 なる音楽の M I D I データを記憶しておき、 着信信号に応じて異な るメ 口ディで報知するよ うにすれば、 誰からの電話かを容易に識別 するこ と ができ る。 また、 携帯電話機 5 0に内蔵された着信報知用 のバイブレータ （図示省略） を M I D I データに基づいて振動させ、 たと えばドラムのリズムと同じリズムでバイブレータを振動させる よ う にしてもよい。 さ らに、 留守番案内メ ッセージに M I D I によ る B G M (バック ' グラン ド ' ミ ュージック） を付加するよ うな使 い方もできる。

情報記憶媒体 7 0は第 1 9 図の外部記憶装置 2 2に相当するもの で、 フラ ッシュメモリ 7 1 に、 音楽データや映像のデータを記憶し て保存することができる。 たとえば C D ( Compact Di sk) の音楽デ —タをダウンロー ドする場合、 第 3 8図に示したよ うに、 M I D I または音声による音楽データや、 文字による歌詞および曲目解説等 のデータに加えて、 画像による C Dジャケッ トの写真データもあわ せて記録することによ り、 情報記憶媒体 7 0それ自体を C D化する こ とができる。 M D ( Mi n i Di sk ) の場合も同様のことがあてはまる _c 上記のよ うなデータ再生装置を搭載した携帯電話機 5 0において は、 たとえば C Mを視聴している問に着信があった場合に、 着信音 を優先させて出力させるのが望ま しい。 第 2 8図はこれを実現する ための構成を示している。 第 2 8図の装置も携帯電話機 5 0に搭載 — —

されるもので、 第 1· 9図と同一部分には同一符号を付してある。 第 2 8図において第 1 9図と相違する点は、 着信信号用のバッ フ ァ 2 3が設けられていること と、 ノくッファ 7 と M I D I 再生部 1 1 との 間に切替部 2 4が設けられていることである。

第 2 9図は、 第 2 8図のデータ再生装置の動作を示すタイムチヤ ー トである。 最初、 スピーカ 1 9から （ c ) のよ う に CM音楽が流 れており 、 また表示器 2 0に （ d ) のよ うに CM画像が表示されて いる とする。 いま、 データ受信部 3に （ a ) のよ うな着信信号が割 込信号と して入力されると、 データ受信部 3は着信信号のデータを バッフ ァ 2 3へ格納する と と もに、 切替部 2 4をバッフ ァ 7力 らノく ッファ 2 3側に切り替える。 これによつて、 ノくッファ 7のデータに 代えてバッファ 2 3のデータが M I D I 再生部 1 1へ入力され、 M I D I 再生部 1 1ではバッファ 2 3のデータを読み込んでソフ ト ゥ エア · シンセサイザによ り着信音を生成し、 これをミキサ 1 5およ び出力バッフ ァ 1 7 を介してス ピーカ 1 9へ出力する。 その結果、 ス ピーカ 1 9からは （ b ) のよ うに CM音楽に代わって M I D I の 着信音が出力される。 そして、 着信が終了して着信音が停止する と、 ス ピーカ 1 9からは （ c ) のよ うに再び CM音楽が流れる。 なお、 CM画像は （ d ) のよ うに、 着信音の有無にかかわらず継続して表 示器 2 0に表示される。 このよ うにして、 第 2 8図のデータ再生装 置によれば、 着信があつたときに着信音が優先されて出力されるこ とになり 、 視聴者に着信を確実に知らせることができる。 また、 着 信音の生成にあたって M I D I 再生部 1 1のソフ トウエア ■ シンセ サイザを共用できるので、 処理が簡略化される。

本発明のデータ再生装置は、 電話機の機能を備えた情報端末機の ほかにも、 たとえばゲーム機の機能を備えた情報端末機に搭載する ことができる。 ゲーム機と しては、 ゲーム専用機であってもよいし、 ゲームと他の機能とを併有する装置であってもよい。 たとえば、 第

3 7図に示した携帯電話機 5 ◦ にゲームのソフ ト ウエアを組み込ん だものであってもよレ、。

このよ う なゲーム機において、 通常、 ゲームの進行中にはバック に音楽が流れているが、 画面の状況に合わせて M I D I による効果 音をバック音楽に重ねて鳴らすよ う にすれば、 趣向に富んだゲーム 展開となる。 第 3 0図はこれを実現するための構成であって、 第 1 9図と同一部分には同一符号を付してある。 第 3 0図において第 1 9図と相違する点は、 効果音信号用のバッファ 2 5が設けられてい ること と、 ノくッファ 7 と M I D I 再生部 1 1 との間にミキサ 2 6力 S 設けられていることである。

第 3 1図は、第 3 0図の装置の動作を示すタイムチャー トである。 最初、 スピーカ 1 9から （ c ) のよ う にバック音楽が流れており、 また表示器 2 0に （ d ) のよ う にゲーム画像が表示されている とす る。 いま、 ゲーム機の特定のボタンを操作するこ とによって、 デー タ受信部 3に （ a ) のよ うな効果音信号が割込信号と して入力され たとすると、 データ受信部 3は効果音信号のデータをバッファ 2 5 へ格納する。 このバッフ ァ 2 5の効果音データは、 ミキサ 2 6にお いてバッファ 7のデータ と混合される。 M I D I 再生部 1 1 は、 ミ キサ 2 6のデータを読み込んで、 ソフ トウエア · シンセサイザによ りバック音楽に加えて効果音を生成し、 これらをミキサ 1 5および 出力バッファ 1 7を介してス ピーカ 1 9へ出力する。 その結果、 ス ピー力 1 9からは （ b ) のよ うに M I D I による効果音 （たとえば 爆発音） が出力される。 この効果音が鳴っている間も、 バック音楽 は （ c ) のよ うに継続して流れている。 そして、 効果音信号が終了 するとスピー力 1 9からの効果音は停止し、 バック音楽のみが流れ る。 なお、 ゲーム画像は （ d ) のよ うに、 継続して表示器 2 0 こ表 示される。 このよ うにして、 第 3 0図のデータ再生装置によれば、 バック音楽の上に M I D I による効果音を重ねて鳴らすことのでき るゲーム機が実現できる。 また、 効果音の生成にあたって M I D I 再生部 1 1 のソフ トウェア ■ シンセサイザを共用できるので、 処理 が簡略化される。

本発明のデータ再生装置を用いると、 以上のほかにも種々の機能 をもつシステムが実現できる。 第 3 2図ないし第 3 4図はその一例 であって、 インターネッ トにおいて特定の CMを視聴した者に対し て一定の特典を付与する例を示している。 CM情報には、 第 3 3·図 のよ う に M I D I 、 音声、 文字、 画像の各データが時系列的に混在 している。 そこで、 文字データの最後の部分 （破線 Z ) に、 第 3 4 図に示したよ うな U R L (Uniform Resource Locator) を記述した タグを入れておく。 このタグにおいて、 最後の 「X X X」 は、 何の CMかを表す情報である。

第 3 2図のフローチャー トに従って説明すると、 視聴者はまずィ ンターネッ ト上のサーバにあるフアイノレ 1 a (第 1図、 第 1 9図参 照 ) から、 C Mデータをダウンロー ドする （ S 6 0 1 )。 この CMデ ータはデータ受信部 3で受信され、 データ振分部 4によ り各部へ振 り分けられ、 前述した手順で再生されてスピー力 1 9および表示器 2 0から出力される。 ここで、 受信した文字データを文字再生部 1 3において最後まで再生すると、 第 3 4図に示したタグが読み取ら れる （ S 6 0 2 )。

続いて、 ブラウザ （閲覧ソフ ト ウエア） が起動され （ S 6 0 3 )、 読み取ったタグに記述されている U R Lのホームページへジャンプ する （ S 6 0 4 )。 ジャンプ先のサーバ （図示省略） では、 タグの 「X X X」 の部分を解釈して、 何の CMを視聴したのかを判別し （ S 6 0 5 )、 ネッ ト上で当該 C Mの商品の購入があった場合に、 たとえば 2 0 %割り 引いた額で課金する といった処理を行なう（ S 6 0 6 )。 したがって、 上記システムによると、 C Mを視聴した者に対して割 引サー ビスを付与するこ とができる。

第 3 5図および第 3 6図は、 本発明のデータ再生装置を用いた他 の応用例であって、 インターネッ トにおいて音楽データを購入した 者に対して、 チケッ トの割引サービスを提供する例を示している。 この場合、 音楽データには、 歌詞や曲の解説あるいは演奏者の紹介 などが文字データと して付加されており、 文字データの最後の部分 に第 3 6図に示したよ うなタグを入れておく。 このタグにおいて、

「 f r o m = 2 0 0 0 / 0 8 / l 5 t o = 2 0 0 0 / 0 9 / l 5」 は、 チケッ トの有効期限が西暦 2 0 0 0年 8月 1 5 日から西暦 2 0 0 0年 9月 1 5 日までであることを表している。 また、 最後の

「 Y Y Y」 は購入した音楽データが何かをあらわす情報である。 第 3 5図のフローチャー トに従って説明すると、 視聴者はまずィ ンターネッ ト上のサーバにあるファイル 1 aから、 音楽データをダ ゥンロー ドする （ S 7 0 1 )。 この音楽データはデータ受信部 3で受 信され、 データ振分部 4によ り各部へ振り分けられ、 前述した手順 で再生されてス ピーカ 1 9および表示器 2 0から出力される。また、 各データは外部記憶装置 2 2 (第 3 7図では情報記憶媒体 7 0 ) へ 格納され保存される。 ここで、 受信した文字データを文字再生部 1

3 において最後まで再生すると、 第 3 6図に示したタグが読み取ら れる （ S 7 0 2 )。

続いて、 ブラウザが起動され （ S 7 0 3 )、 現在の日付が有効期限 内か否かが判定される （ S 7 0 4 )。 この判定は、 前述したタグに記 述されている有効期限を参照することによ り行なう。 有効期限内で あれば （ S 7 0 4 Y E S )、 読み取ったタグに記述されている U R L のホームページへジャンプし（ S 7 0 5 )、有効期限内でなければ（ S 7 0 4 N O)、 何もせずに終了する （ S 7 0 8 )。

ジャ ンプ先のサーバ （図示省略） では、 タグの 「Y Y Y」 の部分 を解釈して、 何の音楽データを購入したのかを判別し （ S 7 0 6 )、 その音楽アーティス トのコンサー トのチケッ トを割引価格で購入で きる旨の案内メ ッセージを送信し、 表示器 2 0にそのメ ッセージが 表示される （ S 7 0 7 )。 したがって、 上記システムによる と、 音楽 データを購入した者に対して、 チケッ トの購入を誘導することが可 能となる。

産業上の利用分野

本発明のデータ再生装置は、 前述した携帯電話機やゲーム機のほ か、 パーソナル ' コ ンピュータやイ ンターネッ トテレビ用の S T B (Set Top Box) など、 各種の情報端末機に搭載することができる。

Claims

請 求 の 範 囲 1 . イベン ト情報とイベン トを実行するための時間情報とを含む データを受信して再生するデータ再生装置であって、

属性の異なるィベン ト情報を持つ複数種類のデータを受信するこ とが可能なデータ受信部と、

前記データ受信部が受信した各データの時間情報に基づいて、 デ ータを種類別に振り分けるデータ振分部と、

前記データ振分部で振り分けられたデータを再生するデータ再生 部と、

前記データ再生部で再生されたデータを出力する出力部と、 を備えたことを特徴とするデータ再生装置。

2 . 複数種類のデータは、 M I D I のイベン ト情報を持つ第 1 の データ と、 M I D I 以外のイベン ト情報を持つ第 2のデータ とから なる、 請求の範囲第 1項に記載のデータ再生装置。

3 . 第 2のデータは、 文字のイベン ト情報を持つデータおよび画 像のィベン ト情報を持つデータを含む、 請求の範囲第 2項に記載 データ再生装置。

4 . 第 2のデータは、 さ らに音声のイベン ト情報を持つデータを 含む、 請求の範囲第 3項に記載のデータ再生装置。

5 . .第 1および第 2のデータは S M F形式のデータからなり 、 第 2 のデータは拡張されたフォしマ ツ トを有しており、 この拡張フォ 一マツ トのィベン ト情報に再生すべきデータが記録されている、 請 求の範囲第 2項に記載のデータ再生装置。

6 . ィベン ト情報とィベン トを実行するための時間情報とを含む データを受信して再生するデータ再生装置であって、

M I D I のィベン ト情報を持つデータと、 文字のィベン ト情報を 持つデータ と、 画像のイベン ト情報を持つデータ とを受信するこ と が可能なデータ受信部と、

前記データ受信部が受信した各データの時間情報に基づいて、 デ ータを種類別に振り分けるデータ振分部と、

前記データ振分部で振り分けられたデータに記録されているィべ ン トを実行して当該データを再生するデータ再生部と、

前記データ再生部で再生された M I D I のデータをサゥン ドと し て出力する第 1 の出力部と、

前記データ再生部で再生された文字および画像のデータを可視情 報と して出力する第 2 の出力部と、

を備えたこ とを特徴とするデータ再生装置。

7 - データ受信部は、 さ らに音声のイベン ト情報を持つデータの 受信が可能であって、 第 1の出力部は前記データ再生部で再生され た M I D I および音声のデータをサウンドと して出力する、 請求の 範囲第 6項に記載のデータ再生装置。

8 . 前記データ再生部で再生された M I D I および音声のデータ を混合する第 1 のミキサと、'

前記データ再生部で再生された文字および画像のデータを混合す る第 2のミ キサと、 を有し、

前記第 1 の出力部は、 前記第 1のミキサで混合されたデータを出 力 し、

前記第 2 の出力部は、 前記第 2 のミキサで混合されたデータを出 力する、

請求の範囲第 7項に記載のデータ再生装置。

9 . ィベン ト情報とィベン トを実行するための時間情報とを含む データを受信して再生するデータ再生方法であって、

M I D I のィベン ト情報を持つ第 1 のデータ と、 M I D I 以外の 00/54249 — 53 — PCT/JPOO/00602^

イベン ト情報を持つ第 2のデータ とを受信するステップと、

受信した各データの時間情報に基づいて、 データを種類別に振り 分けるステップと、

振り分けられたデータを再生するステップと、

再生されたデータを出力するステップと、

を備えたこ とを特徴とするデータ再生方法。

1 0 . 第 2のデータを所定回数反復して再生する請求の範囲第 9 項に記載のデータ再生方法であって、

第 2 のデータを最初に受信した時に、 当該第 2 のデータに記録さ れている再生データをメモ リ に記憶するステツプと、

第 2のデータの反復再生時に、 当該第 2のデータの時間情報に従 つて前記メモリから前記再生データを読み出して再生するステップ と、

を含む、 データ再生方法。

1 1 . 第 2のデータに記録された再生データの全部も しく は一部 が複数のデータに分割され、 第 1 のデータに続いて第 2のデータを 再生する請求の範囲第 9項に記載のデータ再生方法であって、

分割された複数のデータが先行する第 1 のデータの間に挿入され ているデータ群を受信して、 このデータ群から挿入された分割デー タを抽出するステップと、

抽出された分割データを合成して再生データ とするステップと、 を含む、 データ再生方法。

1 2 . 分割データを時系列的に順次メモ リ に格納してゆき、 格納 された分割データのエリァに当該分割データに連結される後続の分 割データの開始番地を記録する、 請求の範囲第 1 1項に記載のデー タ再生方法。

1 3 . 第 2のデータに記録される再生データは、 信号レベルが一 定値を超えない無音区間がカ ツ ト されている、 請求の範囲第 9項に 記載のデータ再生方法。

1 4 . 再生データの立上り部と立下り部付近の信号に窓処理が施 されている、 請求の範囲第 1 3項に記載のデータ再生方法。

1 5 . イベン ト情報とイベン トを実行するための時間情報とを含 むデータを受信して再生するデータ再生装置であって、

属性の異なるイベン ト情報を持つ複数種類のデータを受信するこ とが可能なデータ受信部と、

前記データ受信部が受信した各データの時間情報に基づいて、 -所 定の時間幅を有する単位区間内で処理すべきデータを単位区間ごと に種類別に振り分けるデータ振分部と、

前記データ振分部で振り分けられたデータを種類別に一時的に格 納する記憶部と、

前記記憶部に格納された単位区間ごとのデータを次の単位区間に おいて順次読み出し、 各データに記録されているイベン トを実行し てデータを再生するデータ再生部と、

前記データ再生部で再生されたデータを出力する出力部と、 を備えたことを特徴とするデータ再生装置。

1 6 . 前記データ振分部は、 処理すべきデータを単位区間の最後 のタイ ミングで種類別に振り分けて記憶部に格納し、

前記データ再生部は、 前記データ振分部が振り分けた単位区間の データを次の単位区間において順次読み出して当該データのィベン トを実行する、

請求の範囲第 1 5項に記載のデータ再生装置。

1 7 . 前記時間情報は、 前回イベン トの実行時点から今回ィベン トが実行されるまでの時間と して規定されるデルタ · タイムであつ て、 前記データ振分部は、 単位区間の最後の時刻である現在時刻と、 1 つ前の単位区間における最後のイベン トの実行時刻との差から今 回データを処理すべき処理区間の時間幅を算出し、 当該処理区間に おける各イベン トのデルタ · タイムの和が処理区間の時間幅の範囲 内となるよ う に単位区間のデータを振分けて記憶部に格納し、 前記データ再生部は、 前記データ振分部が振り分けた単位区間の データを当該単位区間と同じ時間幅をもつ次の単位区間において再 生する、

請求の範囲第 1 6項に記載のデータ再生装置。

1 8 . 単位区間の開始および終了のタイ ミ ングを管理するタイ ミ ング制御部を設けた、 請求の範囲第 1 5項ないし第 1 7項のいずれ かに記載のデータ再生装置。

1 9 . 前記出力部は、 出力データの個数を計数する機能を備えて おり、 この計数値に基づいてタィ ミング制御部へ制御信号を送り、 タイ ミ ング制御部はこの制御信号に基づいてタイ ミ ング信号を出力 する、 請求の範囲第 1 8項に記載のデータ再生装置。

2 0 . ィベン 卜情報とイベン トを実行するための時間情報とを含 むデー を受信して再生するデータ再生方法であって、

属性の異なるィベン ト情報を持つ複数種類のデータを受信するス テツプと、

受信した各データの時間情報に基づいて、 所定の時間幅を有する 単位区間内で処理すべきデータを単位区間ごとに種類別に振り分け て記憶部に一時的に格納するステップと、

前記記憶部に格納された単位区間ごとのデータを次の単位区間に おいて順次読み出し、 当該データに記録されているィベン トを実行 してデータを再生するステツプと、

再生されたデータを出力するステップと、 を備えたこ とを特徴とするデータ再生方法。

2 1 . ス ト リームデータをダウンロー ドしながら再生を行う請求 の範囲第 1項または第 1 5項に記載のデータ再生装置であって、 前記データ受信部はバッファを備え、

前記データ受信部が最初に受信したデータに基づいて単位時間あ たり のデータ転送容量 Jおよび単位時間あたり のデータ消費量 Eを 計算し、

J く Eの場合はデータを必要量だけ前記バッファにキヤ ッシュ し た後に再生を開始し、 J 〉 Eの場合はデータめキャッシュは行なわ ずに間歇的にデータを受信しながら再生を行なう、データ再生装置。

2 2 . 請求の範囲第 1項または第 1 5項に記載のデータ再生装置 を搭載し、 各種データがダウンロー ド可能な情報端末機であって、 ダウンロー ドしたデータに基づいてサウンドを出力する発音部と、 ダウンロー ドしたデータに基づいて文字および画像を表示する表示 器とを含む、 情報端末機。

2 3 . 電話機の機能を備えた情報端末機であって、 サウン ドが出 力されている状態において前記データ受信部が着信信号を受信した ときに、 サウン ドの出力を禁止して着信音を出力する、 請求の範囲 第 2 2項に記載の情報端末機。

2 4 . ゲーム機の機能を備えた情報端末機であって、 サウン ドが 出力されている状態において前記データ受信部が効果音信号を受信 したときに、 サウン ドと と もに効果音を出力する、 請求の範囲第 2 2項に記載の情報端末機。

2 5 . M I D I による音楽データ と、 文字による歌詞データ と、 画像によるジャケッ ト写真データ とをダウンロー ドする、 請求の範 囲第 2 2項に記載の情報端末機。

2 6 . 小型の情報記憶媒体が着脱可能となっており、 ダウンロー O 00/54249 — 57 _ PCT/JP00雇 02 -

ドした各データを前記情報記憶媒体に格納する、 請求の範囲第 2 2 項ないし第 2 5項のいずれかに記載の情報端末機。

2 7 . 文字を含むコマーシャル情報を受信し、 前記文字のデータ は、イ ンターネッ トのブラウザ起動時のジャンプ先である U R Lと、 この U R Lにおいて提供されるサービスに関する情報とを含んでい る、 請求の範囲第 3項に記載のデータ再生装置。