JP3895014B2 - 映像再生装置およびカラオケ装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、音声の再生に同期して動く映像を再生する同期映像生成方法およびそれを用いたカラオケ装置に関し、さらに詳しくは、人間、動物またはこれらの模倣物からなる物体の形状および動き等を測定することによって得られたデータに基づいて、前記物体を表す映像を生成し、その映像を音声の再生に同期させながら表示する映像再生装置およびカラオケ装置に関する。
【０００２】
【従来の技術】
歌謡曲、ポップス等の楽曲（伴奏部分）を再生すると共に、再生する楽曲専用の背景画像を表示するカラオケ装置は、一般に知られている。このようなカラオケ装置は、例えば、ＶＣＤ（Video CD）またはＬＤ（Laser Disc）等を用いた記憶装置を有しており、この記憶装置に、楽曲を再生するための音声データ、背景画像および歌詞を表示するための画像データを記憶保持している。ここで、前記音声データは、例えばＰＣＭ音声データ等であり、前記画像データは、撮影された景色に歌詞を合成することによって形成されたデータである。そして、このカラオケ装置は、前記記憶装置から音声データを読み出して楽曲を再生し、これと同時に、前記記憶装置から画像データを読み出して背景画像を表示する。
【０００３】
ところで、前記カラオケ装置が備えている記憶装置は、ＶＣＤやＬＤといった比較的記憶容量の大きい記憶媒体を用いている。しかしながら、カラオケで使用される楽曲の数は膨大であり、特に画像データの容量が格段に大きいため、前記記憶媒体をもってしても全楽曲に対応する音声データおよび画像データを記憶できないという不都合が生じた。また、カラオケで使用される楽曲は流行歌が多いため、新しい楽曲を頻繁に追加しなければならないという問題が生じた。そこで、近年では、カラオケ装置に通信機能を備え、楽曲を再生するための音声データおよび歌詞データを電話回線等を介して伝送する、いわゆる通信カラオケ装置が広く普及している。
【０００４】
このような通信カラオケ装置では、楽曲を再生するための音声データ等を電話回線を介して受け取る構成であるため、再生できる楽曲の数は記憶装置の記憶容量によって制限されない。従って、膨大な楽曲を再生することができる。また、最新の楽曲を再生する必要が生じても、電話回線を介してその楽曲の音声データを受け取れば、当該最新の楽曲を再生することができる。
【０００５】
ところが、背景画像を表示するための画像データは、楽曲を再生するための音声データと比較してデータ量が格段に大きいため、画像データを、音声データ等と同様に電話回線等を介して伝送するのは時間的または経済的な不利益が大きい。このため、上述したような通信カラオケ装置においても、背景画像の表示に関しては、従前のカラオケ装置と同様であり、即ち、ＶＣＤまたはＬＤ等の記憶媒体に予め記憶された画像データに基づいて背景画像を表示している。しかしながら、表示可能な背景画像の種類は記憶媒体の記憶容量によって制限されるため、再生する楽曲のすべてに異なった背景画像を対応させることは困難である。従って、上述したようなカラオケ装置では、再生される楽曲にふさわしいが直接は関係のない背景画像を選択して表示するようにしている。
【０００６】
【発明が解決しようとする課題】
ところで、カラオケで使用される楽曲のうち、特にリズミカルな楽曲の場合、楽曲を歌っているときの歌手等の動作、例えば、振りまたは踊りをカラオケ装置によって表示することが望まれる。
【０００７】
しかしながら、このような歌手等の動作は、再生される楽曲の曲調に合った動きであるため、各楽曲毎に異なる。この結果、このような歌手等の動作を表示するための映像データを各楽曲毎に設けようとすると、映像データの量が膨大になり、たとえデータ圧縮技術を用いても、上述したようなカラオケ装置に設けられた記憶媒体の記憶容量を遙かに超えてしまう。従って、歌手等の動作を表示するための画像データを各楽曲毎に設けるのは困難であるという問題がある。
【０００８】
また、前述したような歌手等の動作を再現するには、歌手等の動作を表す映像データを、再生する楽曲と正確に同期させる必要がある。ここで、楽曲の進行に同期して変化する映像を表示できるカラオケ装置は、例えば特開平７−１９９９７６号公報により知られている。即ち、このカラオケ装置は、ポリゴンデータと時間データとから構成される映像データを有しており、この映像データに含まれる時間データに基づいて、映像の表示と楽曲の再生とを同期させるものである。しかしながら、ポリゴンデータと時間データとからなる映像データを楽曲毎に設けようとすれば、映像データの総量は膨大なものとなるため、映像データを各楽曲毎に設けるのは依然困難である。
【０００９】
一方、カラオケに使用される楽曲の数は膨大であり、現在に至るまでに各楽曲を再生するための膨大な音声データが、既に設置された各カラオケ装置、および通信カラオケ装置に音声データを配信するためのセンターホストコンピュータ等に蓄積されている。従って、楽曲の再生に合わせて動作する歌手等を表示させるカラオケ装置を実現するためには、これら蓄積された膨大な楽曲に合わせて動作する歌手等を表示するための映像データを追加する必要がある。このとき、映像データを追加するために、現在に至るまでに蓄積された膨大な音声データを作成し直すのは、時間的または経済的な不利益が大きいという問題がある。
【００１０】
また、カラオケを行う際には、様々なテンポ（速度）で楽曲を再生する必要がある。このため、カラオケ装置は、通常、カラオケを行う者の好みに応じて実際に再生する楽曲のテンポを基準テンポよりも遅くしたり、速くしたりする機能を有する。従って、楽曲の再生に合わせて動作する歌手等を表示させるカラオケ装置を実現するためには、楽曲のテンポを変化させた場合でも、表示されている歌手の映像を自然に、滑らかに動作させる必要がある。
【００１１】
さらに、カラオケを行う際には、練習等のため楽曲を途中から再生したり、楽曲の一部分を繰り返し再生させたりする必要がある。このため、カラオケ装置は、通常、楽曲を途中から再生する機能を有する。従って、楽曲の再生に合わせて動作する歌手等を表示させるカラオケ装置を実現するためには、楽曲を途中から再生したときには、その楽曲の再生部分に対応するように歌手等の動作を表示し、楽曲の途中からでも歌手等の動作をその楽曲に正確に同期させる必要がある。
【００１２】
本発明は上述したような問題に鑑みなされたもので、本発明は、音声の再生に同期して動作し、かつ、複数種類の音声がある場合には、各音声毎に異なった動作をする映像を表示することができる映像再生装置およびカラオケ装置を提供することを目的としている。
【００１３】
また、本発明は、現在に至るまでに作成された既存の音声データを作成し直すことなく、この音声データに基づいて再生される音声に同期して動作する映像を表示することができる映像再生装置およびカラオケ装置を提供することを目的としている。
【００１４】
さらに、本発明は、音声の再生速度を変化させた場合でも、表示している映像を音声の再生に同期させながら滑らかに動作させることができる映像再生装置およびカラオケ装置を提供することを目的としている。
【００１５】
さらにまた、本発明は、楽曲等の音声を途中から再生したときでも、その音声に正確に同期して動作する映像を表示することができる映像再生装置およびカラオケ装置を提供することを目的としている。
【００１６】
【課題を解決するための手段】
上述した課題を解決するために、請求項１に記載の発明は、音声データを再生する音声再生装置から、当該音声データの基準再生速度を示す基準再生速度情報と、当該音声データの再生位置を示す識別符号が付された同期信号と、を受信する受信手段と、物体の各構成要素の形状を規定する形状データを記憶する形状データ記憶手段と、前記各構成要素の位置または動作を、映像の再生単位である再生フレーム毎に規定する動作データが再生順に配列された映像データを記憶する映像データ記憶手段と、前記受信された基準再生速度情報と、前記再生フレームの再生周期と、に基づいて、前記同期信号に付された前記識別符号と、当該同期信号が受信された時点で再生すべき前記再生フレームである同期フレームと、の対応付けを示すテーブル情報を生成するテーブル情報生成手段と、前記形状データと前記動作データとに基づいて前記再生フレームを順次生成し表示装置に出力するとともに、前記テーブル情報と前記受信される同期信号とに基づいて、次に出力しようとしている前記再生フレームの同期状況を判定し、同期しない場合には、次に出力する前記再生フレームを別の前記再生フレームに変更する映像再生手段と、を備えることを特徴とする。
【００１７】
請求項２に記載の発明は、請求項１に記載の映像再生装置において、前記映像再生手段は、前記同期信号が受信されていないときに、次に出力しようとしている前記再生フレームが前記同期フレームである場合には、次に出力する前記再生フレームを、前記再生フレームを補間するための補間フレームに変更することを特徴とする。
【００１８】
請求項３に記載の発明は、請求項１または請求項２に記載の映像再生装置において、前記映像再生手段は、前記同期信号が受信された時点において、次に出力しようとしている再生フレームが前記同期フレームではない場合には、次に出力する前記再生フレームを前記同期フレームに変更することを特徴とする。
【００１９】
請求項４に記載の発明は、請求項１乃至３のいずれか１項に記載の映像再生装置において、前記形状データ記憶手段は、複数の前記形状データを記憶し、前記映像再生手段は、当該映像再生装置の外部から受信された選択データに対応する前記形状データに基づいて、前記再生フレームを生成することを特徴とする。
【００２０】
請求項５に記載の発明は、請求項１乃至４のいずれか１項に記載の映像再生装置と、前記表示装置と、前記音声再生装置と、を備えるカラオケ装置であって、前記音声再生装置は、利用者からの指示を指示信号として入力するための入力手段と、前記基準再生速度情報を含む前記音声データを複数記憶する音声データ記憶手段と、前記記憶された音声データを再生する音声再生手段と、前記音声再生手段による前記音声データの再生に同期して、当該音声データの再生位置を示す前記識別符号が付された前記同期信号を出力する同期信号出力手段と、前記入力手段から入力された前記指示信号に基づいて指定された前記音声データに含まれる前記基準再生速度情報を出力し、当該音声データを当該基準再生速度情報が示す再生速度で前記音声再生手段により再生させるとともに、前記入力手段から入力された前記指示信号に基づいて、前記音声再生手段における前記音声データの再生速度を変更させる音声再生制御手段と、を備えることを特徴とする。
【００４９】
【発明の実施の形態】
以下、本発明の実施の形態を図１ないし図１５に従って説明する。なお、本実施形態では、本発明による同期映像生成方法を用いたカラオケ装置として、図１に示す通信カラオケ装置１００を例に挙げて説明する。
【００５０】
（１）通信カラオケ装置の構成および動作
まず、通信カラオケ装置１００の構成および動作について説明する。
【００５１】
図１に示すように、通信カラオケ装置１００は、音声によって構成される楽曲を再生すると共に、楽曲の歌詞を表す歌詞画像を生成するカラオケ演奏部１０と、楽曲の再生に同期して動作する歌手等の物体映像を生成する映像再生部３０と、楽曲の再生時に背景画像を生成する背景画像生成部４０と、歌詞画像、物体映像および背景画像を合成する合成部５０とを備えている。そして、カラオケ演奏部１０には、センターホストコンピュータ２００が電話回線を介して接続されている。さらに、カラオケ演奏部１０には、楽曲の音声とマイク８０から入力される音声とを合成するミキサアンプ６０が接続され、このミキサアンプ６０にはスピーカ７０およびマイク８０が接続されている。また、合成部５０には、この合成部５０から出力される映像・画像を表示する表示装置としてのモニタ９０が接続されている。
【００５２】
さらに、カラオケ演奏部１０は、音声用ＣＰＵ（Central Processing Unit）１１、ＲＡＭ（Random Access Memory）１２、ＲＯＭ（Read Only Memory）１３、ＣＤ−ＲＯＭ読取部１４、インタフェース回路１５を介して接続された音声データ記憶手段としての楽曲データ記憶部１６、入力部１７、歌詞画像生成部１８、音源部１９およびＦＩＦＯ（First In First Out）回路２０を備えている。そして、これらはバス２２を介して相互に接続されている。
【００５３】
ここで、音声用ＣＰＵ１１は、カラオケ演奏部１０の総合的な制御を行うと共に、歌謡曲、ポップス等の楽曲（伴奏部分）の自動演奏を行うものである。具体的に説明すると、音声用ＣＰＵ１１は、例えば、ＭＩＤＩ規格に沿って構成されたＭＩＤＩデータに基づいて楽曲の自動演奏を行う機能を有している。さらに、この音声用ＣＰＵ１１は、タイマを有しており、ＭＩＤＩクロックに基づいて後述する同期信号を生成する機能をも有している。また、ＲＡＭ１２は、音声用ＣＰＵ１１が制御処理を行うときに作業エリアとして利用されると共に、各種データを一時的に蓄積するために利用される。また、ＲＯＭ１３には、カラオケ演奏部１０の動作を定める制御プログラム等が記憶されている。
【００５４】
ＣＤ−ＲＯＭ読取部１４は、ＣＤ−ＲＯＭから後述する楽曲データや映像データ等読み出すものである。ここで、ＣＤ−ＲＯＭは外部から装着することができ、そのＣＤ−ＲＯＭには、後述する楽曲データや映像データ等が記憶されている。ＣＤ−ＲＯＭ読取部１４から読み出された楽曲データは、楽曲データ記憶部１６に転送される。また、ＣＤ−ＲＯＭ読取部１４から読み出された楽曲データが、ＲＡＭ１２に転送され、即座に音声用ＣＰＵ１１および音源部１９によって再生される場合もある。一方、楽曲データ記憶部１６は、例えば、ハードディスクにより構成されており、楽曲データを例えば２０００曲程度記憶している。また、楽曲データ記憶部１６は書き換え可能であり、センターホストコンピュータ２００からモデム２１を介して受信された楽曲データや、ＣＤ−ＲＯＭ読取部１４から転送された楽曲データを追加して記憶することができる。
【００５５】
入力部１７は、再生すべき楽曲の選択、楽曲を再生する際のテンポの設定、楽曲の調の設定、視点情報および光源情報等の設定、楽曲の早送り・巻き戻し等、通信カラオケ装置１００を制御するための指示を入力するものである。また、歌詞画像生成部１８は、例えば、ＯＳＤ（On Screen Display）回路等によって構成されており、楽曲の再生と同時にモニタ９０に表示する歌詞画像を生成するものである。さらに詳しく説明すると、楽曲データには、後述するように、楽曲を再生するための音声データと楽曲の歌詞画像を生成するための歌詞データが含まれている。歌詞画像生成部１８は、この楽曲データに含まれる歌詞データに基づいて歌詞画像を生成する。
【００５６】
音源部１９は、楽曲データに含まれる音声データに基づいて音声を合成するものである。例えば、前記楽曲データは、ＭＩＤＩ規格に沿った自動演奏用のＭＩＤＩデータであり、音源部１９は、このＭＩＤＩデータに基づいて楽音等を発生させるシンセサイザー等によって構成されている。一方、ＦＩＦＯ回路２０は、映像再生部３０のバスラインとのバッファとして機能すると共に、音声用ＣＰＵ１１から出力される同期信号を映像再生部３０に出力するものである。
【００５７】
モデム２１は、センターホストコンピュータ２００に電話回線を介して接続されており、センターホストコンピュータ２００から電話回線を介して伝送されるデータの受信、復調を行うものである。ここで、センターホストコンピュータ２００には、多数の楽曲データと、これら各楽曲データに対応した多数の映像データが蓄積されている。そして、通信カラオケ装置１００の楽曲データ記憶部１６またはＣＤ−ＲＯＭ読取部１４にセットされたＣＤ−ＲＯＭに記憶されていない楽曲、例えば、最新の流行歌等を再生する必要が生じたときには、センターホストコンピュータ２００から通信カラオケ装置１００に向けて当該楽曲データ等が伝送される。このとき、モデム２１は、センターホストコンピュータ２００から伝送される楽曲データ等を受信し、受信したデータを復調した後、ＲＡＭ１２または楽曲データ記憶部１６に転送する。
【００５８】
一方、映像再生部３０は、映像用ＣＰＵ３１、ＲＯＭ３２、インタフェース回路３３を介して接続された動作データ記憶手段としての映像データ記憶部３４、形状データ記憶手段としての形状データ記憶部３５および瞬時映像生成手段としての物体映像生成部３６を備えている。そして、これらはバス３７を介して相互に接続されている。なお、バス３７はカラオケ演奏部１０のバス２２との間でＦＩＦＯ回路２０を介し、相互にデータの転送を行うことができるようになっている。
【００５９】
ここで、映像用ＣＰＵ３１は、映像再生部３０の総合的な制御を行うものである。また、ＲＯＭ３２には、映像再生部３０の動作を定める制御プログラムおよび後述する同期映像生成処理を行うための制御プログラム等が記憶されている。
【００６０】
映像データ記憶部３４は、例えば、ハードディスクにより構成されており、映像データを記憶している。また、映像データ記憶部３４は書き換え可能であり、センターホストコンピュータ２００からモデム２１を介して受信された映像データや、ＣＤ−ＲＯＭ読取部１４から転送された映像データを追加して記憶したり、更新することができる。一方、形状データ記憶部３５は、後述する形状データを記憶するものであり、ＲＡＭ、ＲＯＭまたはハードディスク等によって構成されている。
【００６１】
物体映像生成部３６は、例えば、ＯＳＤ回路等によって構成され、映像データ記憶部３４等に記憶された映像データに含まれる動作データと、形状データ記憶部３５に記憶された形状データとに基づいて、楽曲に合わせて踊る歌手等の動く物体を映像（動画）として再生するための瞬時映像データを生成するものである。さらに具体的に説明すると、当該通信カラオケ装置１００では、図１５に示すように、楽曲の再生と同時に、楽曲の歌詞を表す歌詞画像Ｉｍ１と、背景画像Ｉｍ２と、楽曲に合わせて踊る歌手の映像Ｉｍ３をモニタ９０に表示する。物体映像生成部３６は、これら各画像および映像のうち、楽曲に合わせて踊る歌手の映像Ｉｍ３を表示するための瞬時映像データを生成する。ここで、瞬時映像データは、映像Ｉｍ３の１フレーム分を形成するデータである。
【００６２】
また、前記物体映像生成部３６には、作成用メモリ３６Ａと、表示用メモリ３６Ｂとが設けられている。物体映像生成部３６は、映像データ記憶部３４および形状データ記憶部３５からそれぞれ動作データおよび形状データを受信し、これら動作データおよび形状データを作成用メモリ３６Ａに展開し、この作成用メモリ３６Ａ内で瞬時映像データを生成する。その後、物体映像生成部３６は、この瞬時映像データを、作成用メモリ３６Ａから表示用メモリ３６Ｂに転送する。ここで、表示用メモリ３６Ｂは、画像１フレームに一対一に対応した、いわゆるビデオメモリである。従って、作成用メモリ３６Ａから表示用メモリ３６Ｂに瞬時映像データを転送することによって、表示用メモリ３６Ｂ内には、歌手等の物体を表す１フレーム分の映像が形成される。そして、表示用メモリ３６Ｂ内に形成された映像は、合成部５０に出力され、合成部５０において歌詞画像および背景画像と合成されて、モニタ９０に表示される。
【００６３】
背景画像生成部４０は、例えば、ＬＤ再生装置等により構成されており、モニタ９０に表示する背景画像Ｉｍ２を生成するものである。具体的に説明すると、背景画像生成部４０は、ＬＤ（Laser Disc）に記録された背景画像を形成するための画像データを読み出し、この画像データに基づいて背景画像を生成し、生成された背景画像を合成部５０に出力する。
【００６４】
モニタ９０は、例えば、ＣＲＴ（Cathode-Ray Tube）ディスプレイまたは液晶ディスプレイ等により構成されている。
【００６５】
上述したような通信カラオケ装置１００によれば、カラオケを行うときには、まず、入力部１７を操作して、楽曲の選択、テンポの設定等を行い、楽曲の演奏を開始すべき指示を入力する。これにより、カラオケ演奏部１０の楽曲データ記憶部１６に記憶された楽曲データの中から、選択された楽曲に対応する楽曲データが抽出される。また、選択された楽曲に対応する楽曲データが楽曲データ記憶部１６に存在しない場合には、ＣＤ−ＲＯＭ読取部１４に装着されたＣＤ−ＲＯＭ内から楽曲データが抽出される。さらに、選択された楽曲に対応する楽曲データが楽曲データ記憶部１６にも、ＣＤ−ＲＯＭ内にも存在しない場合には、選択された楽曲に対応する楽曲データの伝送を、センターホストコンピュータ２００に要求する。これにより、その楽曲データが、センターホストコンピュータ２００からモデム２１を介して受信される。
【００６６】
ここで、楽曲データ記憶部１６またはＣＤ−ＲＯＭ内から抽出され、またはセンターホストコンピュータ２００から伝送された楽曲データには、楽曲を再生するための音声データと歌詞画像を生成するための歌詞データが含まれている。従って、楽曲データは、音声データと歌詞データに分離され、音声データはＲＡＭ１２に、歌詞データは歌詞画像生成部１８にそれぞれ転送される。
【００６７】
続いて、音声用ＣＰＵ１１は、ＲＡＭ１２に転送された音声データに基づいて自動演奏を行う。これにより、音源部１９によって合成された音声がミキサアンプ６０を介してスピーカ７０に出力され、楽曲が演奏される。これと並行して、歌詞画像生成部１８は、歌詞データに基づいて歌詞画像を生成し、合成部５０に出力する。また、このとき、音声用ＣＰＵ１１は楽曲の演奏に対応した同期信号を映像再生部３０に向けて出力する。
【００６８】
さらに、これと並行して、映像再生部３０の映像データ記憶部３４に記憶された映像データの中から、選択された楽曲に対応する映像データが抽出される。また、選択された楽曲に対応する映像データが映像データ記憶部３４に存在しない場合には、ＣＤ−ＲＯＭ読取部１４に装着されたＣＤ−ＲＯＭ内から映像データが抽出される。さらに、選択された楽曲に対応する映像データが映像データ記憶部３４にも、ＣＤ−ＲＯＭ内にも存在しない場合には、選択された楽曲に対応する映像データの伝送を、センターホストコンピュータ２００に要求する。これにより、その映像データが、センターホストコンピュータ２００からモデム２１を介して受信される。
【００６９】
続いて、映像データ記憶部３４またはＣＤ−ＲＯＭ内から抽出され、またはセンターホストコンピュータ２００から伝送された映像データから動作データが抽出され、この動作データが、形状データ記憶部３５に記憶された形状データと共に、物体映像生成部３６の作成用メモリ３６Ａに転送される。そして、物体映像生成部３６により、歌手等の物体を表す映像の１フレーム分の画像を形成する瞬時映像データが生成され、合成部５０に出力される。このとき、物体映像生成部３６は、音声用ＣＰＵ１１から映像再生部３０に向けて出力された同期信号に同期するように瞬時映像データを出力する。
【００７０】
さらに、これと並行して、背景画像生成部４０から合成部５０に向けて、選択された楽曲に対応する背景画像が出力される。そして、歌詞画像生成部１８から出力された歌詞画像、物体映像生成部３６から出力された歌手等を表す映像および背景画像生成部４０から出力された背景画像は、合成部５０により合成され、モニタ９０に表示される。
【００７１】
これにより、選択された楽曲の再生が実行されると共に、楽曲の再生に同期して踊る歌手等の映像が、歌詞画像および背景画像と共にモニタ９０に表示される。
【００７２】
（２）楽曲データおよび映像データの構成
次に、楽曲データおよび映像データの構成について説明する。
【００７３】
図２は、楽曲データの構成を示している。楽曲データは、ヘッダＨｍ、対応する楽曲を特定するための番号である曲番号Ｎｍ、楽曲を再生する際の速度を示すテンポデータＴｍ、楽曲に対応する背景画像を指定するための番号である背景データＢｍおよび複数の演奏データＰｍ等から構成されている。
【００７４】
さらに、各演奏データＰｍは、音声データＳｄと時間データＴｓｄからなるブロックと、歌詞データＷｄおよび時間データＴｗｄからなるブロックとから構成されている。音声データＳｄは、楽曲を再生するためのデータであり、例えば、ＭＩＤＩデータ等によって構成されている。より具体的に説明すると、音声データＳｄは、音を鳴らす旨の指令、音を止める旨の指令、どの音を鳴らすかを指定する旨の指令等を含んでいる。音声データＳｄの隣に配列された時間データＴｓｄは、音声データに基づく指令を実行する時間（タイミング）を制御するのに用いられるデータである。一方、歌詞データＷｄは、歌詞画像を生成するためのデータである。歌詞データＷｄの隣に配列された時間データＴｗｄは、歌詞画像を生成する時間（タイミング）を制御するのに用いられるデータである。
【００７５】
また、図３は、映像データの構成を示している。映像データは、ヘッダＨｐ、対応する楽曲を特定するための番号である曲番号Ｎｐ、動作データのデータ数Ｄｐおよび複数の動作データＭｐ等から構成されている。
【００７６】
（３）動作データおよび形状データの構成
次に、動作データおよび形状データの構成について説明する。上述したように、動作データおよび形状データは、楽曲の再生に同期して踊る歌手等の映像を形成するための瞬時映像データを生成するのに用いられるデータである。
【００７７】
動作データは、人間、動物またはこれらの模倣物からなる物体を表す映像を複数の構成要素に分割し、これら各構成要素の位置および回転を設定するデータである。また、動作データは、図３に示すように、映像データ中に複数配列されており、個々の動作データ（瞬時動作データ）は、１フレーム分の映像の動き（位置および回転）を設定するものである。なお、上述したように、動作データは、映像データの一部に含まれ、各楽曲毎に個別に設定されている。また、映像データは、センターホストコンピュータから電話回線で受け取ることができる。
【００７８】
さらに具体的に説明すると、動作データは、人間、動物またはこれらの模倣物からなる物体を表す映像を複数の構成要素に分割し、これら各構成要素の位置または動作を設定するデータである。
【００７９】
例えば、図５に示すように、人間を模倣した人間モデルを仮想的に定義し、この人間モデルを腰、胸、頭、腕および脚等の各構成要素に分割する。この分割した各構成要素を「レベル」と呼ぶ。例えば、図５に示すように、人間モデルはレベル１〜レベル１７に分割され、そのうちレベルＬ１は人間モデルの腰に相当し、レベルＬ５は人間モデルの頭に相当する。そして、レベル１はＸ軸方向、Ｙ軸方向およびＺ軸方向に移動することができると共に、Ｘ軸方向の軸、Ｙ軸方向の軸およびＺ軸方向の軸をそれぞれ中心として回転することができる。各レベル２〜１７は、連結部Ｒでそれぞれ連結されており、連結部Ｒを基準にＸ軸方向の軸、Ｙ軸方向の軸およびＺ軸方向の軸を中心として回転することができる。動作データは、このような各レベルの位置および回転を記録したものである。
【００８０】
ここで、図４は、動作データの構成を示している。図４に示すように、動作データは、レベル１〜レベル１７の各動作データによって構成されており、レベル１の動作データは、位置座標（Ｘ,Ｙ,Ｚ）および回転角度（Ｘｒ,Ｙｒ,Ｚｒ）によって構成され、レベル２〜レベル１７の各動作データは回転角度（Ｘｒ,Ｙｒ,Ｚｒ）のみによって構成されている。
【００８１】
また、動作データは、以下の方法で作成する。即ち、楽曲を、その楽曲に予め設定された基準テンポＴｍで再生する。そして、その再生された楽曲に合わせて人間が実際に踊り（ダンス、振り）を行う。さらに、踊りを行っている人間の各構成要素の位置、回転等を所定の測定周期、例えば１／１５秒の周期で測定し、前記レベル１〜１７の各座標に関するデータを採取する。これにより、１／１５秒毎に動作データが作成される。なお、この測定周期は後述する表示周期と同一である。
【００８２】
このように構成される動作データは、従来のようなフレーム毎に完全な画像データを用意するものと比較してデータ量が少ない。従って、動作データを各楽曲毎に個別に設定することができ、センターホストコンピュータ２００から通信カラオケ装置１００に向けて短時間で伝送することができる。
【００８３】
一方、形状データは、人間、動物またはこれらの模倣物からなる物体を表す映像を複数の構成要素に分割し、これら各構成要素の形状を設定するデータである。形状データは、形状データ記憶部３５に記憶されている。そして、形状データは、動作データと異なり、各楽曲毎に個別に設定されていない。即ち、形状データは、主として複数の楽曲で共通して用いられる。なお、形状データは、表示する映像の種類に応じて複数種類設けられている。例えば、複数種類の形状データを変更することにより、歌手の映像を動物の映像に変更して表示することができる。
【００８４】
また、形状データは、各レベル１〜１７毎にそれぞれ設定されている。ここで、図６は、レベルＬ１の形状データの構成を示している。図６に示すように、形状データは、頂点座標Ａ１〜Ａ８からなる頂点座標データと、ポリゴンデータＰ１〜Ｐ６からなるポリゴンリンクデータとから構成されている。頂点座標データは、図７に示すように、レベルＬ１の各頂点座標Ａ１〜Ａ８を定めることにより、レベルＬ１の立体形状を設定するものである。また、ポリゴンリンクデータは、レベルＬ１の各面の質感や特性を定めるものである。具体的に説明すると、ポリゴンリンクデータを構成する各ポリゴンデータＰ１〜Ｐ６は、それぞれサーフェスデータと頂点番号とから構成されている。サーフェスデータは、表面の色、アンビエント、透明度、その表面に画像（テクスチャー）を張り付けるか否かを指示するデータ等を有している。頂点座標は、各表面を形成する頂点を示すデータである。レベルＬ１の形状データはこのように構成されるが、レベルＬ２〜Ｌ１７の各形状データも、同様に構成されている。また、形状データには、各レベルのつながりの関係を示す情報およびその位置、即ち、図５で示すような連結部Ｒの座標を含んでいる。
【００８５】
（４）楽曲と映像の同期
次に、本実施形態による通信カラオケ装置１００のカラオケ演奏部１０によって再生される楽曲と、映像再生部３０によって生成され、モニタ９０に表示される歌手等の映像の同期について説明する。
【００８６】
楽曲の再生は、主として音声用ＣＰＵ１１に設けられた自動演奏機能によって行われる。上述したように、音声用ＣＰＵ１１は、音声データに基づいてＭＩＤＩ規格に従った自動演奏を行う。このとき、自動演奏の基本的な時間制御はＭＩＤＩクロックによって行われる。
【００８７】
また、楽曲には、予め基準テンポが設定されており、楽曲データ中にテンポデータＴｍとして記述されている。この基準テンポは、楽曲毎に異なり、例えば、リズム感のあるロック等の楽曲の場合には、比較的速い基準テンポが設定されている。また、バラード等のゆっくりした楽曲の場合には、比較的遅い基準テンポが設定されている。従って、楽曲の再生は、通常、基準テンポで行われる。しかしながら、入力部１７によってテンポの変更を入力されたときには、入力されたテンポに従って、楽曲を基準テンポよりも遅いテンポまたは基準テンポよりも速いテンポで再生する。
【００８８】
一方、歌手等の映像の生成は、主として映像用ＣＰＵ３１および物体映像生成部３６によって行われる。上述したように、物体映像生成部３６は、動作データと形状データとに基づいて映像の１フレームを形成する瞬時映像データを生成する。即ち、物体映像生成部３６は、作成用メモリ３６Ａ内で瞬時映像データを次々に生成し、生成した瞬時映像データを表示用メモリ３６Ｂに所定の表示周期で転送する。これにより、所定の表示周期で変化する映像が合成部５０を介してモニタ９０に表示される。
【００８９】
ここで、前記所定の表示周期は、動作データを測定したときに用いた測定周期と同一であり、例えば、１／１５秒である。即ち、動作データは、上述したように、楽曲を基準テンポＴｍで再生し、その再生された楽曲に合わせて人間が実際に踊り（ダンス、振り）を行い、その踊っている人間の各構成要素の位置、回転等を所定の測定周期、例えば１／１５秒周期で測定することによって生成される。従って、このように生成された動作データを用い、かつ、前記所定の測定周期と同一の表示周期で瞬時映像データを表示することにより、測定時の人間の動きをそのまま再現し、自然にかつ滑らかに動く映像を再生することができる。
【００９０】
さらに、物体映像生成部３６が瞬時映像データを表示する表示周期、即ち、動作データを測定する測定周期は、モニタ９０が１フレームを表示する表示周期の整数倍となるように設定されている。即ち、モニタ９０は、ＣＲＴディスプレイまたは液晶ディスプレイによって構成されており、１フレームの画像を一定の表示周期、例えばＮＴＳＣ方式であれば、２フィールドからなる１フレームを１／３０秒周期で表示する。この場合、物体映像生成部３６が瞬時映像データを表示する表示周期は、例えば、モニタ９０が１フレームを表示する表示周期の２倍の周期、即ち、１／１５秒である。従って、同一の画像が２フィールドにわたって表示されることになる。
【００９１】
また、これら楽曲の再生と映像の表示との同期は、音声用ＣＰＵ１１から映像用ＣＰＵ３１に出力される同期信号と、後述する再生フレームテーブルＴｓに基づいて行われる。同期信号は、音声用ＣＰＵ１１によりＭＩＤＩクロックに基づいて生成される。ＭＩＤＩクロックは、例えば、楽曲の４分音符当たり２４のクロックパルスを出力する信号であり、楽曲のテンポに対応している。そして、同期信号は、このＭＩＤＩクロックを分周した信号であり、例えば、楽曲の８分音符当たり１のクロックパルスを出力する信号である。
【００９２】
さらに、同期信号を構成する各クロックパルスには、図９に示すように、楽曲の再生位置を認識するための識別符号が付される。この識別符号は、楽曲の先頭から末尾に向けて１,２,３,…と１ずつ増加する。
【００９３】
さらにまた、再生フレームテーブルは、図８に示すように、同期信号を構成する各クロックパルスと映像を構成する各フレームとの時間的な対応関係を記述したテーブルである。即ち、物体映像生成部３６から出力される瞬時映像データは、１／１５秒周期で変化し、モニタ９０に表示される映像の１フレーム分を形成する。ここで、モニタ９０に表示される映像の各フレーム（以下、これを「再生フレーム」という）を、図９に示すように、所定の再生周期ｔ（１／１５秒周期）で再生順に配列し、各再生フレームにＦ１〜Ｆ１１等のフレーム番号を付ける。そして、再生する楽曲の基準テンポに基づいて同期信号の周期を算定し、これに基づいて、同期信号を構成する各クロックパルスに付された識別番号が、再生順に配列された各再生フレームＦ１〜Ｆ１１等のうち、いずれの再生フレームに一致するかを算定する。その結果を記述したものが、再生フレームテーブルＴｓである。なお、この再生フレームテーブルＴｓは、楽曲の再生が開始される直前に作成される。
【００９４】
それでは、楽曲の再生と映像の表示との同期が、上述した同期信号および再生フレームテーブルＴｓに基づいてどのようにして行われるかについて、図８ないし図１１に従って説明する。
【００９５】
▲１▼楽曲の再生が基準テンポのとき
まず、楽曲の再生が基準テンポのときには、図９に示すように、楽曲の再生開始と同時に、第１番目の再生フレームＦ１を表示し、それ以降、楽曲の再生と並列して各再生フレームＦ２〜Ｆ１１等を再生順通りに表示する。即ち、楽曲の再生と並列して、物体映像生成部３６によって各再生フレームを形成するための瞬時映像データを生成し、生成した瞬時画像データを再生周期ｔ毎に合成部５０に出力する。合成部５０は、モニタ９０の表示周期に同期させて合成された画像データをモニタ９０に出力する。
【００９６】
ここで、瞬時映像データを形成するために用いられる動作データ（瞬時動作データ）は、基準テンポで再生した楽曲に合わせて踊る人間の動きを測定することによって生成されている。従って、楽曲を基準テンポで再生するときには、楽曲の再生開始時点と、映像の表示開始時点を一致させ、楽曲の再生と映像の表示とを並列して行えば、楽曲の再生と映像の表示は同期する。しかしながら、楽曲の再生テンポが再生中に変更された場合や、楽曲を一度停止して再び再生する場合等に備えて、楽曲の再生と各再生フレームの表示との時間的な対応関係を常に認識しておく必要がある。そこで、通信カラオケ装置１００は、楽曲の再生と各再生フレームの表示との時間的な対応関係を、同期信号および再生フレームテーブルＴｓに基づいて常に認識している。即ち、図８に示す再生フレームテーブルＴｓによれば、同期信号のクロックパルス１は再生フレームＦ１に対応し、クロックパルス２は再生フレームＦ４に対応している。さらに、クロックパルス３は再生フレームＦ７に対応し、クロックパルス４は再生フレームＦ１１に対応している。従って、楽曲を基準テンポで再生するときには、各クロックパルスの出力と、再生フレームテーブルＴｓに記述された再生フレームの表示とが時間的に一致し、かつ、各クロックパルスと再生フレームの対応関係が、再生フレームテーブルの記述に合致しているか確認しながら、映像の表示を行う。
【００９７】
▲２▼楽曲の再生が基準テンポよりも遅いとき
次に、楽曲の再生が基準テンポよりも遅いときには、図１０に示すように、再生フレームＦ１〜Ｆ８等の間に補間フレームＧ１,Ｇ２等を挿入する。即ち、楽曲の再生が基準テンポより遅いときでも、各再生フレームの生成・表示は、所定の表示周期ｔに同期して行われるため、各再生フレームをそのまま再生順に表示したのでは、各再生フレームの表示が楽曲の再生よりも早くなり、楽曲の再生と映像の表示との同期がとれなくなる。そこで、各クロックパルスの出力と、再生フレームテーブルＴｓに記述された再生フレームの表示とが時間的に一致し、かつ、各クロックパルスと再生フレームの対応関係が、再生フレームテーブルの記述に合致するように、再生フレームＦ１〜Ｆ８等の間に補間フレームＧ１,Ｇ２等を挿入する。そして、再生フレームＦ１〜Ｆ８等および補間フレームＧ１,Ｇ２を順次表示する。
【００９８】
ここで、補間フレームＧ１,Ｇ２を形成する瞬時画像データを生成するのに用いられる動作データ（以下、これを「補間動作データ」という）は、補間フレームを挿入する位置の直前に配置された再生フレームに対応する瞬時画像データの動作データ（以下、これを「直前動作データ」という）と、補間フレームを挿入する位置の直後に配置された再生フレームに対応する瞬時画像データの動作データ（以下、これを「直後動作データ」という）とに基づいて算定される。さらに詳しく説明すると、映像の動きが激しく、直前動作データと直後動作データとの値の差が大きいときには、直前動作データと直後動作データとの平均値が、補間動作データとして用いられる。映像の動きが緩やかで、直前動作データと直後動作データとの値の差が小さいときには、直前動作データと直後動作データのうち、いずれか一方の値が、補間動作データとして用いられる。これにより、楽曲が基準テンポよりも遅い速度で再生されても、楽曲の再生と映像の表示との同期を容易にとることができると共に、表示される映像を滑らかに動作させることができる。
【００９９】
▲３▼楽曲の再生が基準テンポよりも速いとき
次に、楽曲の再生が基準テンポよりも速いときには、図１１に示すように、各再生フレームＦ１〜Ｆ１３等のうち、一部の再生フレームＦ３，Ｆ６，Ｆ９，Ｆ１０，Ｆ１３等を抜き取り、各再生フレームを間引きする。即ち、楽曲の再生が基準テンポより速いときでも、各再生フレームの生成・表示は、所定の表示周期ｔに同期して行われるため、各再生フレームをそのまま再生順に表示したのでは、各再生フレームの表示が楽曲の再生よりも遅くなり、楽曲の再生と映像の表示との同期がとれなくなる。そこで、各クロックパルスの出力と、再生フレームテーブルＴｓに記述された再生フレームの表示とが時間的に一致し、かつ、各クロックパルスと再生フレームの対応関係が、再生フレームテーブルの記述に合致するように、各再生フレームを間引きしながら、各再生フレームの表示を行う。これにより、楽曲が基準テンポよりも速い速度で再生されても、楽曲の再生と映像の表示との同期を容易にとることができる。
【０１００】
（５）同期映像生成処理
次に、同期映像生成処理について図１２ないし図１４のフローチャートに沿って説明する。同期映像生成処理は、上述したような楽曲の再生と映像の表示との同期を行う処理であり、映像再生部３０のＲＯＭ３２に記憶された制御プログラムに従って映像用ＣＰＵ３１および物体映像生成部３６によって実行される。
【０１０１】
まず、通信カラオケ装置１００を利用者が、入力部１７により、再生すべき楽曲を選択し、楽曲の再生を開始する旨の指令を入力すると、カラオケ演奏部１０の音声用ＣＰＵ１１は、選択された楽曲に対応する楽曲データを楽曲データ記憶部１６等からＲＡＭ１２に転送する。そして、音声用ＣＰＵ１１は、楽曲データからテンポデータを抽出し、このテンポデータに基づいて選択された楽曲の基準テンポを認識し、その基準テンポのデータを映像用ＣＰＵ３１に出力する。さらに、音声用ＣＰＵ１１は、入力部１７から入力されたテンポ変更の指令等を認識し、これら指令に従って楽曲再生に関する設定を行う。
【０１０２】
そして、上述したように音声用ＣＰＵ１１が楽曲再生に関する設定を行っている間に、映像再生部３０の映像用ＣＰＵ３１は、選択された楽曲に対応する映像データを映像データ記憶部３４等から物体映像生成部３６に転送すると共に、形状データを形状データ記憶部３５から物体映像生成部３６に転送する。さらに、映像用ＣＰＵ３１は、音声用ＣＰＵ１１から受け取った基準テンポを、物体映像生成部３６に出力する。続いて、物体映像生成部３６において、以下に説明する同期画像生成処理のプログラムがスタートする。
【０１０３】
まず、図１２中のステップ１では、映像データ記憶部３４等から転送される映像データ、形状データ記憶部３５から出力される形状データおよび映像用ＣＰＵ３１から出力される基準テンポのデータを、物体映像生成部３６が受信したか否か判定する。いずれのデータも受信しないときには、いずれかのデータを受信するまでステップ１を繰り返す。
【０１０４】
そして、形状データを受信したときには、ステップ１からステップ２を経てステップ５に移行する。そして、ステップ５では、受信した形状データを物体映像生成部３６の作成用メモリ３６Ａに展開し、再びステップ１に戻る。また、ステップ１で映像データを受信したときには、ステップ１からステップ２および３を経てステップ５に移行する。そして、ステップ５では、映像データ中から動作データを抽出し、その動作データを物体映像生成部３６の作成用メモリ３６Ａに展開し、再びステップ１に戻る。このとき、各動作データにはフレーム番号を付し、フレーム番号によってランダムアクセス可能に記憶しておく。最終的に、フレーム番号は１からデータ数Ｄｐまでとなる。さらに、ステップ１で基準テンポのデータを受信したときには、ステップ１からステップ２および３を経てステップ４に移行する。そして、ステップ４で「ＹＥＳ」と判定し、受信した基準テンポのデータを物体映像生成部３６に設けられたメモリに記憶してから、ステップ６に移行する。一方、ステップ１で、形状データ、映像データおよび基準データ以外のデータを受信したときには、ステップ１からステップ２および３を経てステップ４に移行し、ステップ４で「ＮＯ」と判定し、ステップ１に戻る。
【０１０５】
ステップ６では、すべての形状データを受信し、形状データの受信が完了したか否かを判定する。その結果、形状データの受信を完了していないときには、ステップ１に戻って形状データの受信を待ち、形状データの受信を完了したときには、ステップ７に移行する。
【０１０６】
ステップ７では、選択された楽曲に対応する映像データ（動作データ）をすべて受信し、映像データの受信を完了したか、即ち、データ数Ｄｐ分の動作データを受信したか否かを判定する。その結果、映像データの受信を完了していないときには、ステップ１に戻って映像データの受信を待ち、映像データの受信を完了したときには、ステップ８に移行する。
【０１０７】
ステップ８では、モニタ９０に表示すべき映像の視点位置と光源位置をデフォルト（初期設定）の位置に設定する。ここで、物体映像生成部３６は、視点位置、即ち、物体の映像をモニタ９０に表示するときに、物体をどの角度、どの距離から見た状態で表示するかを設定することができ、例えば、歌手等の映像を前からだけでなく、横や後ろから見た状態で表示することができる。なお、視点位置をデフォルトの位置に設定すると、前から見た歌手等の映像が表示される。また、物体映像生成部３６は、光源位置、即ち、映像をモニタ９０に表示するときに、映像にどの角度からライトを当てた状態で表示するかを設定することができ、例えば、左上、右上、正面等からライトを当てた状態で歌手等の映像を表示することができる。なお、光源位置をデフォルトの位置に設定すると、左上からライトを当てた歌手等の映像が表示される。
【０１０８】
ステップ９では、ステップ４で受信した基準テンポのデータおよびデータ数Ｄｐ、即ち動作データＭｐの数に基づいて、図８に示すような再生フレームテーブルＴｓをその１曲分について作成する。
【０１０９】
次に、図１３中のステップ１０では、楽曲の再生位置を認識する。即ち、通常、楽曲は、その先頭から再生されるが、利用者が入力部１７を操作して、楽曲の再生位置を指定した場合には、その指定された位置から楽曲を再生することができる。即ち、利用者が楽曲の再生位置を指定した場合には、その指定された再生位置を示すデータが物体映像生成部３６に入力される。ここで、同期信号を構成する各クロックパルスには、再生位置を認識するための識別符号が付されている。従って、指定された再生位置を示すデータに基づいて、指定された再生位置に対応するクロックパルスの識別符号を認識することにより、指定された位置から楽曲が再生することができる。
【０１１０】
ステップ１１では、楽曲の再生開始の指示を受信したか否か判定する。即ち、利用者が入力部１７を操作して、楽曲の再生を開始する旨の指示を入力すると、その指示は物体映像生成部３６に送信される。そして、その指示を物体映像生成部３６が受信すると、ステップ１１で「ＹＥＳ」と判定し、ステップ１２に移行する。これにより、カラオケ演奏部１０では、ステップ１０で指定された再生位置から楽曲の再生が開始され、映像再生部３０では、ステップ１０で指定された再生位置から映像の生成が開始される。一方、楽曲の再生を開始する旨の指示を受信しないときには、ステップ１１で「ＮＯ」と判定し、楽曲の再生を開始する旨の指示を受信するまでステップ１１を繰り返す。
【０１１１】
ステップ１２では、楽曲の再生終了の指示を受信したか否か判定する。即ち、利用者が入力部１７を操作して、楽曲の再生を終了（中止）する旨の指示を入力すると、その指示は物体映像生成部３６に送信される。そして、その指示を物体映像生成部３６が受信すると、ステップ１２で「ＹＥＳ」と判定し、楽曲の再生を終了すると共に、同期画像生成処理を終了する。一方、楽曲の再生を終了する旨の指示を受信しないときには、ステップ１２で「ＮＯ」と判定し、ステップ１３に移行する。
【０１１２】
ステップ１３およびステップ１４では、視点情報または光源情報を受信したか否かを判定する。即ち、通信カラオケ装置１００は、視点位置を設定するための情報である視点情報と、光源位置を設定するための情報である光源情報を利用者の指示に従って設定、変更する機能を有している。そして、利用者が入力部１７を操作して視点情報または光源情報を入力すると、このステップ１３またはステップ１４で、「ＹＥＳ」と判定され、ステップ１５に移行し、ステップ１５で、各情報が物体映像生成部３６に設けられたメモリに記憶される。
【０１１３】
ステップ１６では、ステップ５で、物体映像生成部３６の作成用メモリ３６Ａに展開した形状データおよび動作データに基づいて再生フレームを生成する。即ち、形状データおよび動作データに基づいて再生フレームを形成するための瞬時映像データを生成する。そして、再生フレームを生成してから１／１５秒間経過するまでステップ１７を繰り返し、その後、ステップ１８で、音声用ＣＰＵ１１から出力された同期信号のクロックパルスを受信したか否かを判定する。
【０１１４】
ステップ１８で同期信号のクロックパルスを受信したときには、ステップ２２に移行し、ステップ２２で、同期信号のクロックパルスを受信した時点において、次に表示しようとしている再生フレームが同期フレームか否かを判定する。ここで、「同期フレーム」とは、再生フレームテーブルＴｓに記述されたフレーム番号に相当する再生フレームを意味する。即ち、上述したように、再生フレームテーブルＴｓは、楽曲を基準テンポで再生し、かつ、これと同時に、各再生フレームを所定の表示周期（例えば、１／１５秒周期）で表示したとき、同期信号を構成する各クロックパルスと時間的に一致する再生フレームを記述したものである。従って、同期信号の各クロックパルスを受信したときには、再生フレームテーブルＴｓに記述されたフレーム番号に相当する再生フレームを表示するようにすれば、楽曲の再生と映像の表示との同期をとることができる。この意味で、再生フレームテーブルに記述されたフレーム番号に相当する再生フレームを「同期フレーム」という。例えば、図８に示す再生フレームテーブルによれば、同期フレームは、再生フレームＦ１，Ｆ４，Ｆ７，Ｆ１１等である。なお、図９ないし図１１では、枠内に斜線を付した再生フレームが、同期フレームである。
【０１１５】
そして、ステップ２２の判定の結果、同期信号のクロックパルスを受信した時点において、次に表示しようとしている映像の再生フレームが同期フレームであるときには、その同期フレームを表示すべく、図１４中のステップ２４に移行する。
【０１１６】
一方、ステップ２２の判定の結果、同期信号のクロックパルスを受信した時点において、次に表示しようとしている映像の再生フレームが同期フレームでないときには、ステップ２３に移行し、ステップ２３で、その再生フレームを破棄する。そして、その破棄した再生フレームの代わりに、その再生フレームからみて時間的に後側に配列されている各同期フレームのうち、一番近い同期フレームを表示すべく、その同期フレームを形成する瞬時動作データを使用して生成する。そして、その同期フレームを表示すべく、図１４中のステップ２４に移行する。
【０１１７】
ここで、ステップ２２の判定の結果、同期信号のクロックパルスを受信した時点において、次に表示しようとしている再生フレームが同期フレームでないといった事態は、楽曲の再生が基準テンポよりも速いときに起こる。即ち、図９に示すように、楽曲の再生が基準テンポのときには、再生順に配列された各再生フレームがそのままの順序で表示されれば、各クロックパルスの出力と同期フレームの表示とは時間的に一致し、楽曲の再生と映像の表示との同期はとれる。このため、ステップ１８で同期信号のクロックパルスを受信した時点において、次に表示しようとしている映像の再生フレームは、常に同期フレームである。言い換えれば、同期信号を構成する各クロックパルスが出力される時間間隔は、同期フレームが配置された時間間隔と等しい。一方、図１１に示すように、楽曲の再生が基準テンポよりも速いときには、同期信号を構成する各クロックパルスが出力される時間間隔が、各同期フレームが配置された時間間隔よりも短くなる。従って、ステップ２２の判定の結果、同期信号のクロックパルスを受信した時点において、次に表示しようとしている再生フレームが同期フレームでないといった事態が生じる。この場合には、次に表示しようとしている再生フレームを間引きする。即ち、次に表示しようとしている再生フレームを破棄し、破棄した再生フレームの代わりに、その破棄した再生フレームからみて時間的に後側に配列されている各同期フレームのうち一番近い同期フレームを表示するようにする。これにより、楽曲の再生が基準テンポよりも速くても、各クロックパルスの出力と各同期フレームの表示とを時間的に一致させることができ、楽曲の再生と映像の表示との同期をとることができる。即ち、表示される映像の動きは、楽曲の再生が速められた分、速くなる。
【０１１８】
一方、ステップ１７において、再生フレームを生成してから１／１５秒間経過した時点において、ステップ１８で同期信号のクロックパルスを受信しなかった場合には、ステップ１９に移行し、ステップ１９で、次に表示しようとしている再生フレームが同期フレームか否かを判定する。そして、ステップ１９の判定の結果、次に表示しようとしている再生フレームが同期フレームでないときには、その再生フレームを表示すべく、図１４中のステップ２４に移行する。
【０１１９】
一方、ステップ１９の判定の結果、次に表示しようとしている再生フレームが同期フレームの場合には、ステップ２０に移行し、補間フレームを生成し、ステップ２１で、次に表示しようとしている同期フレームの直前に、生成した補間フレームを挿入する。そして、挿入した補間フレームを表示すべく、図１４中のステップ２４に移行する。
【０１２０】
ここで、ステップ１９の判定の結果、同期信号のクロックパルスを受信していないにも拘わらず、次に表示しようとしている再生フレームが同期フレームであるといった事態は、楽曲の再生が基準テンポよりも遅いときに起こる。即ち、図１０に示すように、楽曲の再生が基準テンポよりも遅いときには、同期信号を構成する各クロックパルスが出力される時間間隔が、各同期フレームが配置された時間間隔よりも長くなる。従って、ステップ１９の判定の結果、同期信号のクロックパルスを受信していないにも拘わらず、次に表示しようとしている再生フレームが同期フレームであるといった事態が生じる。この場合には、各同期フレームの間に補間フレームを挿入し、各クロックパルスの出力と、各同期フレームの表示とが一致するように調整する。これにより、楽曲の再生が基準テンポよりも遅くても、楽曲の再生と映像の表示との同期をとることができる。即ち、表示される映像の動きは、楽曲の再生が遅くなった分だけ、遅くなる。
【０１２１】
ステップ２４では、再生フレームを形成する瞬時映像データの動作データおよび視点情報に基づいてポリゴンの表示座標系での座標を計算する。ここで、ステップ１３で入力された視点情報に従って、表示すべき映像の視点位置が算定される。
【０１２２】
ステップ２５では、形状データ、光源情報および視点情報に基づいてテクスチャの張り付けを行う。これにより、視点位置によって変化する表面の模様や質感がポリゴンの各表面に付加される。
【０１２３】
ステップ２６では、光源情報および視点情報に基づいてポリゴンのシェーディングを行う。これにより、光源の向きによって形成される影等が各ポリゴンに付加される。
【０１２４】
ステップ２７では、物体映像生成部３６の作成用メモリ３６Ａに生成された瞬時映像データを表示用メモリ３６Ｂに転送する。これにより、瞬時映像データによって形成された映像が、合成部５０を介してモニタ９０に表示される。
【０１２５】
その後、ステップ１２に戻り、ステップ１２で、楽曲の再生を終了する旨の指示を受信するまで、ステップ１３〜ステップ２７の処理を繰り返し実行する。これにより、楽曲が再生されると共に、モニタ９０には、図１５に示すように、楽曲に合わせて踊る歌手等の映像が表示される。
【０１２６】
かくして、本実施形態による通信カラオケ装置１００によれば、楽曲の再生に合わせて踊る歌手等の映像をモニタ９０に表示することができる。特に、歌手等の映像を形成する瞬時映像データを生成するときに用いられる動作データと形状データをそれぞれ分離して記憶する構成としたから、比較的データ量の少ない動作データを各楽曲毎に設け、形状データを各楽曲共通にすれば、各楽曲毎に固有の動作をする映像を少ないデータ量で容易に生成することができる。
【０１２７】
さらに、動作データは、比較的データ量が少ないため、楽曲データと同様に、センターホストコンピュータ２００から電話回線を介して伝送することができる。これにより、最新の楽曲等、通信カラオケ装置１００内に記憶されていない楽曲を再生するときには、楽曲データと共に、その楽曲に対応する動作データをセンターホストコンピュータ２００から受け取ることができる。従って、最新の楽曲等を即座に再生できると共に、その楽曲に施された最新の踊り、振り付け等を楽曲に同期させながら、即座に表示することができる。
【０１２８】
さらに、動作データと形状データをそれぞれ分離して記憶する構成としたから、表示する映像の種類に応じて複数種類の形状データを設ければ、形状データの種類を変更することによって、楽曲に合わせて踊る映像の様子を大幅に変化させることができる。例えば、男性の映像を形成する形状データと、女性の映像を形成する形状データとの２種類の形状データを設ければ、動作データを変更することなく、１つの楽曲について、男性が踊る映像と女性が踊る映像との２種類の映像を選択して、あるいは合成して同時に表示することができる。
【０１２９】
また、本実施形態による通信カラオケ装置１００によれば、楽曲データと動作データとが完全に分離しているため、既存の楽曲データに動作データを容易に後付することができる。例えば、既存の楽曲データを再生し、その再生された楽曲に合わせて人間が踊り、その人間の動きを測定して動作データを生成するだけで、
既存の楽曲データに対応した動作データを生成することができる。そして、このようにして生成された動作データを、例えば、センターホストコンピュータ２００から通信カラオケ装置１００に伝送すれば、既存の楽曲データに対応する動作データを容易に追加することができる。従って、既存の楽曲データを作成し直す必要がなく、既存の楽曲データを有効に利用することができる。
【０１３０】
また、本実施形態による通信カラオケ装置１００によれば、基準テンポで再生された楽曲に合わせて踊る人間の動作を所定の測定周期で測定することにより、動作データを生成し、この動作データを用いて生成された瞬時映像データを、前記測定周期と同一の表示周期で表示する構成としたから、楽曲を基準テンポで再生したとき、楽曲の再生と映像の表示との同期を容易にとることができ、かつ、楽曲に合わせて踊る歌手等の映像を正確に再現できる。
【０１３１】
さらに、楽曲の再生が基準テンポよりも遅いときには、補間フレームを、各同期フレームの間に挿入する構成としたから、楽曲の再生が基準テンポよりも遅くても、楽曲の再生と映像の表示とを同期させることができ、かつ、表示される映像を滑らかに動かすことができる。また、楽曲の再生が基準テンポよりも速いときには、一部を再生フレームを間引きする構成としたから、楽曲の再生が基準テンポよりも速いときでも、楽曲の再生と映像の表示とを容易の同期させることができる。
【０１３２】
一方、本実施形態による通信カラオケ装置１００によれば、各再生フレームの表示周期、即ち、各瞬時映像データの表示周期を、モニタ９０が１フレームの画像を表示する表示周期の整数倍となるように設定したから、物体映像生成部３６によって生成された各瞬時映像データによって形成される映像を、モニタ９０の表示周期に合わせて表示することができる。従って、物体映像生成部３６によって生成された各瞬時映像データによって形成される映像をすべてモニタ９０に表示することができ、モニタ９０に表示される映像の動きを滑らかにすることができる。
【０１３３】
また、上述した実施形態によれば、各再生フレームを表示する表示周期は、同期信号の周期よりも短い。ここで、楽曲のテンポは、通常、１分間あたりの４分音符の数で表す。テンポが速い楽曲でも、１分間あたりの４分音符の数はせいぜい２４０程度である。一方、同期信号の周期は、楽曲の８分音符あたりに１クロックパルスが出力される周期であるから、１分間あたりの４分音符の数が２４０の楽曲を再生すると、同期信号の周期は、１／８秒となる。これに対し、各再生フレームを表示する表示周期は、例えば１／１５秒である。従って、各再生フレームを表示する表示周期は、同期信号の周期よりも短い。
【０１３４】
このように、各再生フレームを表示する表示周期が、同期信号の周期よりも短いと、同期信号を構成する各クロックパルスが出力される間に、複数の再生フレームを表示することができる。例えば、図９に示すように、クロックパルス１が出力されてから、次のクロックパルス２が出力されるまでの間に、４つの再生フレームＦ１〜Ｆ４を表示することができる。このように、同期信号を構成する各クロックパルスが出力される間に、複数の再生フレームを表示することができると、楽曲のテンポが基準テンポよりも速くなったときでも、図１１のように、一部の再生フレームを間引きすることによって、楽曲の再生と映像の表示との同期を容易にかつ正確にとることができる。一方、楽曲のテンポが基準テンポよりも遅くなったときでも、図１０に示すように、各再生フレーム間に補間フレームを挿入することにより、各クロックパルスの出力と各同期フレームの表示とを時間的に正確に一致させることができ、楽曲の再生と映像の表示との同期を容易にかつ正確にとることができる。
【０１３５】
また、本実施形態による通信カラオケ装置１００によれば、同期信号を構成する各クロックパルスに、楽曲の再生位置を認識するための識別符号を付したから、楽曲の再生位置を常に認識することができ、楽曲の途中からの再生や、楽曲の早送り、巻き戻し等を容易に行うことができる。
【０１３６】
また、上述したように、形状データは、形状データ記憶部３５に複数種類記憶されており、楽曲のタイプ（曲調や歌手が男性か女性か等）によって選択することができる。例えば、楽曲データにどの形状データを使用するかを示す選択データを記述しておくことにより、その楽曲に標準的な歌手が自動的に選択できる。また、形状データを入力部１７からの入力によって選択できる構成とすることにより、利用者の好みに応じた歌手等を選択することができる。さらに、複数の歌手を選択すれば、モニタ９０内に同一の動作をする複数の歌手を同時に並べて表示することができる。
【０１３７】
なお、前記実施形態では、補間フレームを同期フレームの直前に挿入するが、本発明はこれに限らず、同期フレームではない各再生フレームの間や、同期フレームの直後に挿入してもよい。また、楽曲のテンポが基準テンポよりも大幅に遅いときには、複数の補間フレームを連続的に挿入する必要が生じる。この場合には、各補間フレームの挿入位置を分散させるようにする。これにより、表示される物体の動きをより滑らかにすることができる。同様に、楽曲のテンポが基準テンポよりも大幅に速いときには、複数の再生フレームを連続的に間引きする必要が生じる。この場合には、間引きする各再生フレームを分散させるようにする。これにより、表示される物体の動きをより滑らかにすることができる。また、各補間フレームの挿入位置を分散させる処理、または、各再生フレームを分散的に間引きする処理は、楽曲の再生中に演算して求めてもよく、楽曲の再生前のテンポ設定時等に演算して求めてもよい。
【０１３８】
また、前記実施形態では、表示周期を１／１５秒としたが、本発明はこれに限らず、動作データのデータ量、画像作成処理の所要時間等の条件がよければ、動きをより滑らかに再生するために、表示周期を１／１５秒よりも短い時間としてもよい。例えば、前記実施形態におけるモニタ９０の表示周期は、１フレームが２フィールドからなるので、１フィールド１／６０秒である。従って、表示周期を１／６０秒としてもよい。
【０１３９】
また、前記実施形態では、形状データを映像再生部３０内の形状データ記憶部３５に記憶するようにしたが、本発明はこれに限るものではない。例えば、形状データをＲＡＭ１２内に記憶してもよい。また、前記実施形態では、動作データを映像データ記憶部３４に記憶するようにしたが、例えば、動作データを楽曲データと共に楽曲データ記憶部１６に記憶してもよい。即ち、形状データ、動作データ、楽曲データを、それぞれ独立したファイルとして扱うことができ、それぞれのデータに個別にアクセスでき、個別に追加、変更、削除等ができれば、前記各データをそれぞれ別々の記憶装置に記憶しなくてもよい。
【０１４０】
また、前記実施形態では、歌手等の人間の映像を表示する場合を例に挙げたが、本発明はこれに限らず、動物や、人間または動物の模倣物を表示してもよい。例えば、犬や猫といった動物のキャラクターが人間のように踊る映像を表示するようにしてもよい。
【０１４１】
また、前記実施形態では、形状データを形状データ記憶部３５に記憶するものとして述べたが、本発明はこれに限らず、形状データをＣＤ−ＲＯＭ等を用いて追加、変更することができる構成としてもよい。また、センターホストコンピュータ２００から形状データを受信し、適宜、追加、変更、削除できる構成としてもよい。この場合、形状データ自体は、比較的データ量が小さいため、センターホストコンピュータ２００から通信カラオケ装置１００に向けて短時間で伝送することができる。そこで、通信カラオケ装置１００が利用されない時間に、形状データの伝送を適宜行うようにすればよい。
【０１４２】
さらに、前記実施形態では、同期画像生成方法を通信カラオケ装置に適用した場合を例に挙げて説明したが、本発明はこれに限らず、エアロビクスの音楽とエアロビクスのインストラクターの映像とを同期させる装置や、アナウンサーの声と手話の映像を同期させる装置等にも適用できる。
【０１４３】
【発明の効果】
以上詳述したとおり、請求項１の発明によれば、音声に同期して動く人間、動物等の映像を表示することができる。
【０１４４】
請求項２の発明によれば、音声の再生速度を遅くした場合でも、表示している映像を音声の再生に同期させながら滑らかに動作させることができる。
【０１４５】
請求項３の発明によれば、音声の再生速度を速くした場合でも、音声の再生に同期して動く映像を容易に表示させることができる。
【０１４６】
請求項４の発明によれば、楽曲に応じて、または利用者の好みに応じて、表示する物体の形状等を設定、変更することができる。
【０１４７】
請求項５の発明によれば、音声に同期して動く人間、動物等の映像を表示することができる。また、音声データの再生速度を変更しても、音声データの再生と映像の表示との同期をとることができる。
【図面の簡単な説明】
【図１】本発明の実施形態による通信カラオケ装置を示すブロック図である。
【図２】本発明の実施形態において、楽曲データの構成を示す説明図である。
【図３】本発明の実施形態において、映像データの構成を示す説明図である。
【図４】本発明の実施形態において、動作データの構成を示す説明図である。
【図５】本発明の実施形態において、物体モデルを示す説明図である。
【図６】本発明の実施形態において、形状データの構成を示す説明図である。
【図７】本発明の実施形態において、物体モデルの構成要素を示す斜視図である。
【図８】本発明の実施形態において、再生フレームテーブルを示す説明図である。
【図９】本発明の実施形態において、基準速度で楽曲が再生されているときに、ＭＩＤＩクロック、同期信号および再生フレームが同期している状態を示すタイムチャートである。
【図１０】本発明の実施形態において、基準速度よりも遅いテンポで楽曲が再生されているときに、ＭＩＤＩクロック、同期信号および再生フレームが同期している状態を示すタイムチャートである。
【図１１】本発明の実施形態において、基準速度よりも速いテンポで楽曲が再生されているときに、ＭＩＤＩクロック、同期信号および再生フレームが同期している状態を示すタイムチャートである。
【図１２】本発明の実施形態の通信カラオケ装置による同期映像生成処理を示すフローチャートである。
【図１３】図１２に続く同期映像生成処理を示すフローチャートである。
【図１４】図１３に続く同期映像生成処理を示すフローチャートである。
【図１５】本発明の実施形態による通信カラオケ装置のモニタに表示された映像を示す説明図である。
【符号の説明】
１０ カラオケ演奏部
１１ 音声用ＣＰＵ（音声再生手段、同期信号出力手段）
１２ ＲＡＭ
１６ 楽曲データ記憶部（音声データ記憶手段）
１７ 入力部（再生速度変更手段）
１９ 音源部（音声再生手段）
２１ モデム（データ受取手段）
３０ 映像再生部
３１ 映像用ＣＰＵ
３２ ＲＯＭ
３４ 映像データ記憶部（動作データ記憶手段）
３５ 形状データ記憶部（形状データ記憶手段）
３６ 物体映像生成部（瞬時映像生成手段、表示手段）
５０ 合成部
６０ ミキサアンプ
７０ スピーカ
９０ モニタ（表示装置）
１００ 通信カラオケ装置

Claims (5)

1. 音声データを再生する音声再生装置から、当該音声データの基準再生速度を示す基準再生速度情報と、当該音声データの再生位置を示す識別符号が付された同期信号と、を受信する受信手段と、
   物体の各構成要素の形状を規定する形状データを記憶する形状データ記憶手段と、
   前記各構成要素の位置または動作を、映像の再生単位である再生フレーム毎に規定する動作データが再生順に配列された映像データを記憶する映像データ記憶手段と、
   前記受信された基準再生速度情報と、前記再生フレームの再生周期と、に基づいて、前記同期信号に付された前記識別符号と、当該同期信号が受信された時点で再生すべき前記再生フレームである同期フレームと、の対応付けを示すテーブル情報を生成するテーブル情報生成手段と、
   前記形状データと前記動作データとに基づいて前記再生フレームを順次生成し表示装置に出力するとともに、前記テーブル情報と前記受信される同期信号とに基づいて、次に出力しようとしている前記再生フレームの同期状況を判定し、同期しない場合には、次に出力する前記再生フレームを別の前記再生フレームに変更する映像再生手段と、
   を備えることを特徴とする映像再生装置。
2. 前記映像再生手段は、前記同期信号が受信されていないときに、次に出力しようとしている前記再生フレームが前記同期フレームである場合には、次に出力する前記再生フレームを、前記再生フレームを補間するための補間フレームに変更することを特徴とする請求項１に記載の映像再生装置。
3. 前記映像再生手段は、前記同期信号が受信された時点において、次に出力しようとしている再生フレームが前記同期フレームではない場合には、次に出力する前記再生フレームを前記同期フレームに変更することを特徴とする請求項１または請求項２に記載の映像再生装置。
4. 前記形状データ記憶手段は、複数の前記形状データを記憶し、
   前記映像再生手段は、当該映像再生装置の外部から受信された選択データに対応する前記形状データに基づいて、前記再生フレームを生成することを特徴とする請求項１乃至３のいずれか１項に記載の映像再生装置。
5. 請求項１乃至４のいずれか１項に記載の映像再生装置と、前記表示装置と、前記音声再生装置と、を備えるカラオケ装置であって、
   前記音声再生装置は、
   利用者からの指示を指示信号として入力するための入力手段と、
   前記基準再生速度情報を含む前記音声データを複数記憶する音声データ記憶手段と、
   前記記憶された音声データを再生する音声再生手段と、
   前記音声再生手段による前記音声データの再生に同期して、当該音声データの再生位置を示す前記識別符号が付された前記同期信号を出力する同期信号出力手段と、
   前記入力手段から入力された前記指示信号に基づいて指定された前記音声データに含まれる前記基準再生速度情報を出力し、当該音声データを当該基準再生速度情報が示す再生速度で前記音声再生手段により再生させるとともに、前記入力手段から入力された前記指示信号に基づいて、前記音声再生手段における前記音声データの再生速度を変更させる音声再生制御手段と、
   を備えることを特徴とするカラオケ装置。

Images