JP4062324B2 - 動画再生装置及び動画再生方法 - Google Patents

Description

この発明は、動画再生のための時間軸を制御し音楽に合わせて動画を再生表示することができる動画再生装置及び動画再生方法に関する。

従来より、動画を再生する装置とテンポに応じて音楽を演奏する装置は、それぞれ存在していた。また、動画を再生する際に、単純に２倍に伸ばしたり或いは１／２倍に縮めるというように、簡単な再生速度の変更を行う装置も、ビデオデッキ等にみられるように、存在はしていた。

しかしながら、従来の装置においては、音楽のテンポと動画の再生タイミングを合わせることができなかった。また、音楽のテンポと動画の再生タイミングをスタート時に同期再生させて頭だけを合わすことができても、曲の途中でテンポを早くした場合は動画のフレームが余り、遅くした場合はフレームが足りなくなるなどの不都合があった。さらに、ループ再生用の動画素材を、可変するテンポに追随させることも困難であった。

この発明は、このような従来技術の問題点に鑑み、動画の再生中にも時間軸が可変に制御され、演奏される音楽に合わせて動画を再生表示することができる動画再生装置及び動画再生方法を提供することを目的とする。

この発明の主たる特徴によると、動画データメモリ（７０）に記憶されており動画を表わす多数のフレームから成る複数の動画データの中から音楽データの所望のタイミングに合わせて配置したロケート命令に応じて１つの動画データを選択すると共に、該音楽データの所望のタイミングに合わせて配置したデファード・プレイ命令に応じて該選択された動画データの再生を開始して表示装置（１５）に動画を表示するための動画再生装置であって、動画データの再生中、音楽データによる音楽の演奏テンポを表わすテンポクロック（ＭＩＤＩクロック）（ＴＣ）を入力するクロック入力手段（１）と、クロック入力手段により入力したテンポクロックに応じて、単位時間当りフレーム数で表わされる動画データの再生速度を制御するための再生速度制御信号を生成する制御信号生成手段（７１，７３）と、動画データメモリ（７０）に記憶されている動画データのフレームを、制御信号生成手段により生成された再生速度制御信号に基づくフレーム読出しレートで、順次、読み出して表示装置（１５）に出力する動画データ読出し手段（７３）とを具備し、フレーム読出しレートは、クロック入力手段により標準テンポ（例えば、テンポ値＝１２０）を示すテンポクロックが入力されているときは、所定の単位時間当りフレーム数（例えば、３０フレーム／秒）で表わされ、クロックにより標準テンポから正又は負に変化したテンポを示すテンポクロックが入力されているときは、所定の単位時間当りフレーム数からこのテンポ変化に応じた分だけ変化した単位時間当りフレーム数で表わされる動画再生装置〔請求項１〕が提供される。なお、括弧書きは、理解の便のために、対応する実施例の参照記号や用語等を併記したものであり、以下においても同様である。

また、この特徴によると、動画データメモリ（７０）に記憶されており動画を表わす多数のフレームから成る複数の動画データの中から音楽データの所望のタイミングに合わせて配置したロケート命令に応じて１つの動画データを選択すると共に、該音楽データの所望のタイミングに合わせて配置したデファード・プレイ命令に応じて該選択された動画データの再生を開始して表示装置（１５）に動画を表示するための動画再生装置における動画再生方法であって、動画データの再生中、音楽データによる音楽の演奏テンポを表わすテンポクロック（ＭＩＤＩクロック）（ＴＣ）を入力するクロック入力ステップ（１）と、クロック入力ステップにて入力したテンポクロックに応じて、単位時間当りフレーム数で表わされる動画データの再生速度を制御するための再生速度制御信号を生成する制御信号生成ステップ（７１，７３）と、動画データメモリ（７０）に記憶されている動画データのフレームを、制御信号生成ステップで生成された再生速度制御信号に基づくフレーム読出しレートで、順次、読み出して表示装置（１５）に出力する動画データ読出しステップ（７３）とを備え、フレーム読出しレートは、クロック入力ステップで標準テンポ（例えば、テンポ値＝１２０）を示すテンポクロックが入力されているときは、所定の単位時間当りフレーム数（例えば、３０フレーム／秒）で表わされ、クロック入力ステップで標準テンポから正又は負に変化したテンポを示すテンポクロックが入力されているときは、所定の単位時間当りフレーム数からこのテンポ変化に応じた分だけ変化した単位時間当りフレーム数で表わされる動画再生方法〔請求項３〕が提供される。

つまり、この発明では、動画データメモリ（７０）に記憶されており動画を表わす多数のフレームから成る複数の動画データの中から音楽データの所望のタイミングに合わせて配置したロケート命令に応じて１つの動画データを選択すると共に、該音楽データの所望のタイミングに合わせて配置したデファード・プレイ命令に応じて該選択された動画データの再生を開始して表示装置（１５）に動画を表示するための動画再生装置及び動画再生方法において、動画データの再生中、音楽データによる音楽の演奏テンポを表わすテンポクロック（ＭＩＤＩクロック）（ＴＣ）を入力し（１）、入力したテンポクロックに応じた読出し速度（フレーム読出しレート）で動画データメモリ（７０）に記憶されている動画データの各フレームを順次読み出して表示装置（１５）に出力し、動画データの再生制御（７１，７３）を行う。ここで、動画データの再生制御（７１，７３）では、入力したテンポクロックに応じて、単位時間当りフレーム数で表わされる動画データの再生速度を制御するための再生速度制御信号を生成し（７１，７３）、かつ、生成された再生速度制御信号に基づくフレーム読出しレートで、動画データメモリ（７０）に記憶された動画データのフレームを順次読み出して表示装置（１５）に出力する（７３）。このフレーム読出しレートは、標準テンポ（例えば、テンポ値＝１２０）を示すテンポクロック（ＴＣ）が入力されているときは、所定の単位時間当りフレーム数（例えば、３０フレーム／秒）で表わされ、標準テンポから正又は負に変化したテンポを示すテンポクロックが入力されているときは、所定の単位時間当りフレーム数からこのテンポ変化に応じた分だけ変化した単位時間当りフレーム数で表わされる。なお、この音楽の演奏テンポを表わすテンポクロックは、例えば、時間経過に従って配置された楽曲のメロディ、リズム、伴奏などを自動的に演奏するための演奏データの再生速度を表わす。また、この再生速度制御信号は、動画データの単位データとして所定フレーム数をとれば、所定フレーム数（単位データ）当たりの読出し時間をテンポクロックに応じて変化させるものであって、動画データの再生における時間軸を制御する時間軸制御情報である。従って、これによれば、フレーム数で表わされる或る区間の動画の再生時間が、演奏中の音楽において対応する区間（例えば、小節、拍、チック数などで表わされる）の長さに追随するように、動画の再生時間軸が音楽の演奏テンポを表わすテンポクロックに応じて制御される。従って、動画の再生中に演奏される音楽の演奏テンポが変化しても、その演奏テンポに合わせた動画再生が可能になる。

この発明による動画再生装置は、さらに、動画データ読出し手段（７３）によって読み出された動画データと、別途入力した動画データとを合成して表示装置に出力する動画データ合成手段（７４）を具備する〔請求項２〕ように構成することができ、この発明による動画再生方法は、さらに、動画データ読出しステップにて読み出された動画データと、別途入力した動画データとを合成して前記表示装置に出力する動画データ合成ステップ（７４）を備える〔請求項４〕ように構成することができる。

つまり、この発明による動画再生装置及び動画再生方法においては、さらに、再生制御によって読み出された動画データと、別途入力した動画データとを合成して表示装置（１５）に出力するようになされる。この場合、別途入力する動画データとしては、例えば、映像再生器（１４）からの動画データを利用することができる。これによれば、映像演出効果を更に高めた動画を出力することができる。

この発明の主たる特徴によれば（請求項１，３）、上述したように、動画を表わす多数のフレームから成る複数の動画データを動画データメモリに記憶しておき、音楽データの所望のタイミングに合わせて配置したロケート命令に応じて、これら動画データの中から１つの動画データを選択し、該音楽データの所望のタイミングに合わせて配置したデファード・プレイ命令に応じて、該選択された動画データの再生を開始すると共に、動画データの再生中は、音楽データによる音楽の演奏テンポを表わすテンポクロックを入力し、入力したテンポクロックに応じた単位時間当りフレーム数で表わされるフレーム読出しレートで動画データメモリから動画データのフレームを順次読み出して表示装置に出力するようにしているので、音楽データの再生に同期して所望の動画データを再生することができると共に、多数のフレームから成る動画データを再生する際のフレーム読出しレートを、音楽の演奏テンポを表わすテンポクロックに応じてリアルタイムに制御することができ、フレーム数で表わされる或る区間の動画データの再生時間が、演奏中の音楽データにおいて対応する区間の長さに追随するようになって、動画再生中に演奏される音楽の演奏テンポが変化すると、その演奏テンポに合わせた動画再生が可能になり、音楽演奏及び動画再生の演出効果を高めることができる。

さらに、この発明によれば、再生制御によって読み出された動画データと別途入力した動画データ（例えば、映像再生器からの動画データ）とを合成して表示装置に出力するようにしているので、映像演出効果を更に高めた動画を出力することができる（請求項２，４）。

〔種々の特徴〕
また、上述した課題（目的）に対応してこの明細書に記載された種々の発明の実施に関する別の特徴により次の〔１〕〜〔３〕のように構成することができる：
〔１〕一連の音楽データ中の少なくとも１箇所の音楽データと、一連の動画データ中の少なくとも１箇所の動画データとの再生タイミングの一致を指定するためのタイミングセット情報（ＴＳ）を出力し、かつ、出力されたタイミングセット情報（ＴＳ）に基づいて、少なくとも１箇所の動画データの再生タイミングを少なくとも１箇所の音楽データの再生タイミングに一致させるように、動画データメモリ（７０）に記憶されている動画データの読出しタイミングを制御して、読み出した動画データを表示装置（１５）に出力するように構成すること。

〔２〕一連の音楽データ中の少なくとも２箇所の音楽データと、一連の動画データ中の少なくとも２箇所の動画データとの再生タイミングの一致を指定するためのタイミングセット情報（ＴＳ）を出力し、かつ、出力されたタイミングセット情報（ＴＳ）に基づいて、少なくとも２箇所の動画データの再生タイミングを少なくとも２箇所の音楽データの再生タイミングに一致させるように、動画データメモリ（７０）に記憶されている動画データの読出しタイミング及び読出し速度を制御して、読み出した動画データを表示装置（１５）に出力するように構成すること。

これら〔１〕，〔２〕の場合、タイミングセット情報（ＴＳ）は、例えば、動画データの特定フレームに対応させて、音楽データにおける特定の演奏タイミングを表わすものである。見方を逆にすれば、音楽データにおける特定の演奏タイミングに対応させて、動画データの特定フレームを表わすものである。そして、この特定の演奏タイミングは、演奏開始後の絶対時間、小節、拍又はチック数を用いて表わされる。また、音楽データとしては、時間経過に従って配置された楽曲のメロディ、リズム、伴奏などを自動的に演奏するための演奏データを用いることができる。

これら〔１〕，〔２〕の構成によれば、音楽のテンポ変化に拘わらず、所望の動画フレームを所望部分の音楽演奏に同期させて再生することができる。また、動画のつなぎ目部分を破綻させないようにしながら動画を再生することができるため、ループ再生用の動画素材をも使用することができる。従って、例えば、音楽のアクセント部分と動画の或るフレームとの同期をリアルタイム作業の中で簡単に行うことができるので、さらに、演奏及び再生現場でのバリエーションの幅を広げることができる。

特に、ＶＪ（VisuaI Jockey ）用に動画をループ再生する場合、テンポに合わせて幾つもの動画素材を用意したりすることなく、お気に入りのループ素材を使用してどんなテンポにも対応することができるようになる。従って、事前の打ち合わせや編集が難しいＤＪ（Disc Jockey ）＆ＶＪの関係も、演奏及び再生現場においてＶＪ側で臨機応変に対処することができる。

〔３〕上述した〔１〕，〔２〕の構成において、再生制御によって読み出された動画データと、別途入力した動画データとを合成して表示装置（１５）に出力するように構成すること。この場合、別途入力する動画データとしては、例えば、映像再生器（１４）からの動画データを利用することができる。この〔３〕の構成によれば、映像演出効果を更に高めた動画を出力することができる。

さらに、別の観点から、以下の（１）〜（３）のように構成することもできる：
（１）動画情報を記憶する動画記憶手段と、動画の再生中に可変の時間軸制御信号を入力する制御入力手段と、時間軸制御信号に応じて動画の再生速度を制御する動画再生速度制御手段と、再生速度に応じて情報単位当りの読出し時間を伸縮し動画記憶手段から動画情報を読み出す動画読出し手段と、読み出された動画情報を表示装置に出力する動画出力手段とを具備する動画時間軸制御指示装置。この動画時間軸制御指示装置においては、制御入力手段は、時間軸制御信号としてテンポクロックを入力し、動画再生速度制御手段は、テンポクロックに応じて動画の再生速度を制御するか、或いは、制御入力手段は、時間軸制御信号としてタイムコードを入力し、動画再生速度制御手段は、タイムコードに応じて動画の再生速度を制御するように構成することができる。さらに、動画の再生速度の緩急を指示する操作子と、操作子の操作を検出する検出手段とを備え、制御入力手段は、検出された操作子の操作に基づく時間軸制御信号を入力するように構成することができる。また、この場合、操作子は１次元位置検出形操作子であることが好ましい。

（２）動画情報を記憶する動画記憶手段と、動画情報の再生タイミングについて、複数の特定再生タイミングを指定する再生タイミング指定手段と、楽音情報の演奏タイミングについて、複数の特定演奏タイミングを指定する演奏タイミング指定手段と、指定された特定再生タイミング及び特定演奏タイミングに基づいて、各特定再生タイミングを各特定演奏タイミングに対応するように調整すると共に、各特定再生タイミング間における複数の中間再生タイミングを演算する再生タイミング調整手段と、調整された特定再生タイミング及び演算された中間再生タイミングで動画情報を読み出す動画読出し手段と、読み出された動画情報を表示装置に出力する動画出力手段とを具備する動画時間軸制御指示装置。

（３）上述した（１）及び（２）の動画時間軸制御指示装置において、さらに、別に入力される動画情報と、動画記憶手段から動画読出し手段によって読み出された動画情報を合成する動画合成手段を具備する動画時間軸制御指示装置。

以下、図面を参照しつつ、この発明の好適な実施例を詳述する。なお、以下の実施例は単なる一例であって、この発明の精神を逸脱しない範囲で種々の変更が可能である。

〔ハードウエア構成〕
図１には、この発明の一実施例による動画再生制御システム（「動画時間軸制御指示システム」とも呼ばれる。）のハードウエア構成のブロック図が示されている。このシステムの例では、パーソナルコンピュータ（ＰＣ）を利用して動画時間軸制御指示を含む各種処理を行わせる構成がとられている。システムは、中央処理装置（ＣＰＵ）１、読出専用メモリ（ＲＯＭ）２、本体側ランダムアクセスメモリ（本体ＲＡＭ）３、外部記憶装置４、検出回路５、表示回路６などの本体ＰＣの要素の外に、動画処理回路７、ＭＩＤＩインターフェース（ＭＩＤＩＩ／Ｆ）８、通信インターフェース（通信Ｉ／Ｆ）９などを備え、これらの装置１〜９は、バス１０を介して互いに接続されている。

システム全体を制御するＣＰＵ１は、所定のソフトウエア・プログラムに従いタイマ１１による時間計測を利用して種々の制御を行い、特に、後述する動画時間軸制御指示などの処理を管理する。ＲＯＭ２には、このシステムを制御するための所定の制御プログラムが記憶されている。これらの制御プログラムは、基本的な情報処理と共に、この発明による動画時間軸制御指示などの処理を管理するためのプログラム、各種テーブル、各種データなどを含む。本体ＲＡＭ３は、各種処理に際して必要なデータやパラメータを記憶する一時記憶部として機能する。

外部記憶装置４は、ハードディスク（ＨＤ）の外に、コンパクトディスク・リード・オンリィ・メモリ（ＣＤ−ＲＯＭ）、フレキシブルディスク（ＦＤ）、光磁気（ＭＯ）ディスク、ディジタル多目的ディスク（ＤＶＤ）、ＺＩＰ、半導体メモリ等の可搬型記憶媒体を用いた装置から成り、各種制御プログラムや各種データを記憶することができる。従って、動画時間軸制御指示などに必要なプログラムや各種データは、ＲＯＭ２ばかりでなく、必要に応じて、外部記憶装置４からＲＡＭ４内に読み込まれ、また、処理結果が外部記憶装置４に記録され得る。

検出回路５にはパネル操作子装置１２が接続され、パネル操作子装置１２は、各種のスイッチやキー、その他のタイプの操作子を備える。これらの操作子は、パネル操作子とも呼ばれ、動画時間軸制御指示などの処理のために、ユーザが動画の再生モードなどの各種設定や指示の情報をシステムに入力するために用いられる。例えば、モードスイッチ（Ｍ１，Ｍ２）は、動画の再生モードを切り換えるために設けられ、リボンコントローラ（操作指が接触している１次元位置を検出するリニア操作型パッド操作子）は、音楽及び動画の進行速度をリアルタイムで操作するためのリアルタイム操作子として設けられる。

表示回路６は、ＬＣＤなどで構成された本体ディスプレイ１３や、各種インジケータの表示状態を制御する。本体ディスプレイ１３の表示状態に関連して、ユーザがパネル操作子装置１３の操作子を操作することにより、動画時間軸制御指示に関する設定や指示が行われる。そして、上述したこれらの要素１〜６、１０〜１３により本体システム（又は本体ＰＣ）が構成される。

動画処理回路７は専用ＲＡＭを有している。動画処理回路７には、ＶＴＲやビデオディスク再生器などの映像再生器１４、及び、ＣＲＴやプロジェクタのような比較的大きな画面をもつ映像ディスプレイ１５が接続される。動画処理回路７は、映像再生器１４からのビデオ信号（動画映像信号）を処理して所定の再生速度で動画情報を再生し、この動画情報に基づく映像を映像ディスプレイ１５に表示させる。そして、これらの動画処理回路７、映像再生器１４及び映像ディスプレイ１５によって動画再生システムが構成される。

なお、動画処理回路７の入力部には、Ａ／Ｄ変換器が内蔵されており、映像再生器１４から出力されたアナログ形式のビデオ信号は、この入力部にてディジタル形式のビデオ信号（動画情報）に変換される。そして、動画処理回路７内においては、変換されたディジタル形式の動画情報に対して各種処理が施される。また、動画処理回路７の出力部には、Ｄ／Ａ変換器が内蔵されており、動画処理回路７にて処理されたディジタル形式の動画情報がアナログ形式のビデオ信号に変換されて映像ディスプレイ１５に出力される。

ＭＩＤＩインターフェース（Ｉ／Ｆ）８には、音楽データ（music data）を発生するシーケンサやパーソナルコンピュータ（ＰＣ）などで構成されるＭＩＤＩ機器１６が接続される。ＭＩＤＩ機器１６には、音源回路（tone signal generator）１７が接続される。
音源回路１７は、入力された音楽データに基づいて楽音信号（tone signal ）を形成して出力する。音源回路１７には、ディジタル・シグナル・プロセッサ（ＤＳＰ：Digital Signal Processor）やスピーカを含むサウンドシステム１８が接続される。

サウンドシステム１８は、入力された楽音信号に種々の音楽的効果（musical effect）を付与してこの音楽的効果が付与された楽音信号に対応した楽音（musical sound ）を発生する。ＭＩＤＩ機器１６は、自身のもつ音楽データ（音楽情報）に加えて、例えば、ＲＯＭ２や外部記憶装置４に記憶されている音楽データ（音楽情報）も、音源回路１７に出力することができる。従って、ＲＯＭ２や外部記憶装置４に記憶されている音楽データに基づく楽音信号に対応した楽音も、サウンドシステム１８から発生される。

ここで、音楽データは、例えば、スタンダードＭＩＤＩファイル（ＳＭＦ）形式の自動演奏データ（automatic performance data）であり、ＭＩＤＩ機器１６は該自動演奏データを再生する。音楽データ（自動演奏データ）の再生に当っては、音楽データに付随するタイムコードやテンポクロック（ＭＩＤＩクロック）指令、或いは、リアルタイム操作子（１２）の指示などに従って、再生のテンポが制御される。そして、これらのＭＩＤＩ機器１６、音源１７及びサウンドシステム１８によって音楽演奏システムが構成される。

なお、タイムコードとは、自動演奏データの再生開始から絶対的な時間を基準にして定期的に与えられるタイミング信号であり、このタイムコードは、自動演奏データの再生開始からの時間を表わす時間情報（時、分、秒）を含む。また、テンポクロックは、音楽のテンポに対応した時間間隔で定期的に与えられるタイミング信号であり、例えば、４分音符に対応した時間長の１／２４の時間長ごとに与えられる。

また、通信インターフェイス（Ｉ／Ｆ）９は、ローカルエリアネットワーク（ＬＡＮ）やインターネット、電話回線等の通信ネットワーク１９を介してサーバコンピュータ２０等に交信可能に接続される。従って、サーバコンピュータ１６等から制御プログラムや音楽データなどの各種データを外部記憶装置４にダウンロードすることもできる。

なお、図１は、本体ＰＣを用いるシステムについて説明したが、本体システム及び音楽演奏システムについては、他の同等の処理機能を有する電子楽器や自動演奏装置などの情報処理装置を用い、これに動画再生システムを接続して動画再生制御システム（動画時間軸制御指示システム）を構成してもよい。

〔動画再生システム〕
図２は、この発明の一実施例による動画時間軸制御指示システムにおける動画処理機能部（動画再生システム）のブロック図を示す。動画処理回路７は、動画処理に専用の専用ＲＡＭ７０の外に、時間軸制御部７１、動画録画部（ビデオサンプラー）７２、動画再生部７３及び映像合成部７４を備える。

ここで、図２を用いて、この発明の実施例による動画再生制御システム（動画時間軸制御指示システム）の概略を簡単に説明しておく。この動画再生制御システムでは、動画データメモリ（専用ＲＡＭ）７０に予め記憶された動画データ（動画情報）の読出しに際して、動画データを再生するための時間軸が可変に制御される。或るモードＭ１では、動画データ再生中、ＣＰＵ１は、テンポ検出機構ＴＣ，ＴＭからの演奏音楽のテンポに応じた時間軸制御信号を時間軸制御部７１に供給する。時間軸制御部７１は、時間軸制御信号に応じて再生速度を調整（制御）し、動画再生部７３は、調整された再生速度に従って単位データ当りの読出し時間を伸縮して動画データをデータメモリ７０から読み出し、表示装置（ディスプレイ）１５に出力する。別のモードＭ２では、動画データの特定フレーム再生タイミングに特定の音楽演奏タイミングをセット（ＴＳ）しておき、ＣＰＵ１、時間軸制御部７１及び動画再生部７３から成る動画データの再生制御系により、このタイミングセット情報ＴＳに基づいて、各演奏タイミングに一致する再生タイミングで特定フレームの動画データをデータメモリ７０から読み出し、表示装置１５に出力する。

以下、図２の動画再生システムを具体的に説明する。まず、動画録画部７２は、本体システムのＣＰＵ１の指示に従って、予め、ＶＴＲなどの映像再生器１４からのビデオ信号（動画映像信号）をサンプリングし、ディジタル動画データのストレージとして機能する専用ＲＡＭ７０に記録する。すなわち、パネル操作子１２からの録画開始指示に応じて、その時点で映像再生器１４から動画処理回路７に入力しているビデオ信号が、専用ＲＡＭ７０の所定の記憶領域にディジタル動画データとして記億される。この専用ＲＡＭには複数の記憶領域が設定可能であり、複数のディジタル動画データを記憶することができる。

なお、前述のように、動画処理回路７にて処理されるビデオ信号（動画映像信号）は、図示しない入力部にてディジタル信号に変換されるものである。従って、動画録画部７２は、ディジタル形式のビデオ信号を専用ＲＡＭ７０にディジタル録画データとして書き込むことになる。また、このディジタル録画データの書込みにおいては、専用ＲＡＭ７０に記憶されるデータ量を少なくするために、動画録画部７２は、ディジタル動画データを圧縮して専用ＲＡＭ７０に書き込むようにするとよい。

動画再生の際は、種々の態様でＣＰＵ１から動画再生が指示される。例えば、パネル操作子１２には、専用ＲＡＭに記憶された複数の動画データに対応した複数の動画選択スイッチが設置されている。ＣＰＵ１は、何れかの動画選択スイッチの操作に応じて、動画処理回路７に対し、対応する動画データを再生開始するよう指示する。

或いは、ＭＩＤＩ機器１６で再生される音楽データにより動画データの再生を指示することもできる。ＭＩＤＩ規格には、ディジタル・レコーダやＶＴＲを制御するためのＭＩＤＩマシン・コントロール（ＭＭＣ）規格が定められている。ＭＭＣを用いた場合、ロケート命令に応じて複数動画データの中から１つの動画データを選択し、デファード（deferred）・プレイ命令に応じて選択された動画データを再生開始することができる。なお、ロケート命令とは、複数動画データ中の再生される動画データの位置を指令する命令である。また、デファード・プレイ命令とは、動画データの再生開始のタイミングを指定する命令である。

また、音楽データの再生に同期して、所望の動画データを再生したい場台、音楽データの所望のタイミングに合わせてロケート命令、デファード・プレイ命令を配置すればよい。ＭＩＤＩ機器１６により該音楽データが再生されると、その配置したタイミングでロケート命令、デファード・プレイ命令がそれぞれ取り出され、取り出されたロケート命令、デファード・プレイ命令は、ＭＩＤＩインターフェース（Ｉ／Ｆ）８を介してＣＰＵ１に取り込まれる。ＣＰＵ１は、該ロケート命令に応じて動画データを選択し、該デファード・プレイ命令に応じて選択された動画データを再生開始するよう動画処理回路７を制御する。

動画再生の際には、動画再生部７３は、このようなＣＰＵ１の指示に従って、専用ＲＡＭ７０に記録された複数のサンプリング動画データから所望の動画データを選択し、選択された動画データが、時間軸制御部７１による制御の下に、所定の速度で読み出されて順次再生される。なお、前述のように、圧縮した動画データが専用ＲＡＭに記憶されている場合には、動画再生部７３は、専用ＲＡＭ７０から読み出した動画データを伸長する。ここで、時間軸制御部７１は、再生モード（Ｍ１，Ｍ２）に応じたＣＰＵ１からの制御入力に従い、音楽のテンポ指示情報ＴＣ或いは特定のタイミングセットＴＳに基づいて動画再生部７３を制御し、動画の再生をコントロールする機能を有する。

つまり、時間軸制御部７１は、ＣＰＵ１からのテンポ指示情報ＴＣ或いは特定タイミングセットＴＳに基づいて、現在演奏されている音楽の進行に合う値となる動画再生速度で動画再生を行うように、動画再生部７３に指示を与える。そして、動画再生部７３は、指示された動画再生速度で専用ＲＡＭ７０から動画情報を順次読み出して動画再生を行うのである。なお、これらのテンポ指示情報及び特定のタイミングセットＴＳに基づく動画再生速度の制御については、後で詳述する。

また、動画再生部７３による動画再生には、ＣＰＵ１からの指示により、専用ＲＡＭ７０中から選択された動画データの一部又は全部を何回も繰り返して再生する「ループ再生」を用いることができ、この実施例によれば、シームレスに且つ破綻（画像の切落しや空白画像の発生）なくループ再生することができる。

動画再生部７３において再生された動画データは、映像合成部７４を介して、映像ディスプレイ１５の画面上に所定の再生速度で表示される。この例では、映像合成部７４は、動画再生部７３から、再生速度が制御された動画データを（例えば、主画像として）受けると共に、映像再生器１４から、実時間で再生される（所謂“たれ流し”）ビデオ信号による他の動画データを（例えば、背景画像として）受けて、両動画データを合成する。これによって、映像ディスプレイ１５には、両動画データを合成した映像が表示される。なお、映像ディスプレイ１５に供給される信号は、前述したように、図示しない出力部内に設けたアナログ形式の映像信号である。

また、映像合成部７４における映像（カラー画像）の合成手法には、動画再生部７３からの時間軸可変の再生動画と映像再生器１４からの実時間動画とを単純に重ね合わせたり、それぞれに関連するクロスフェードなどをかけたり、再生動画と実時間動画の論理和又は論理積をとったり、両者を別々の画面領域に表示させ各表示領域を変化させていくなど、必要に応じて、種々の映像演出効果を採用することができる。

〔第０再生モード〕
この動画時間軸制御指示システムでは、動画処理回路７を第０再生モードで動作させることができる。第０再生モードにおいては、図２（左上）に示すように、音楽データのテンポクロック（ＭＩＤＩクロック）やタイムコードなどの指示によるテンポ指示情報ＴＣに基づいて、動画再生速度を変化させる。つまり、音楽データを用いて演奏する場合、ＣＰＵ１は、タイムコードの差分値（タイムコードの時間間隔）やテンポクロック（ＭＩＤＩクロック）間の時間間隔で示されるテンポ指示情報を受けて、演奏される音楽のテンポに変更があったことを感知し、これを時間軸制御部７１に伝える。時間軸制御部７１は、ＣＰＵ１から制御入力として与えられたテンポ指示情報に基づいて、動画再生部７３における動画再生を制御する。

図３は、第０再生モードにおいて動画データに対する読出し速度がテンポ指示に応じて変化する様子を極く概略的に表わした図である。同図において、○印は、動画データにおける所定の動画データ単位〔所定のフレーム数。以下、単に「区間」という。〕及び音楽データにおける音楽データ単位〔所定の小節（ｂａｒ）数。拍数又はチック（ＴＩＣＫ）数でもよく、何れの場合も、整数でなくても（小数込みの値でも）よい。以下、単に「区間」という。〕を表わし、○印の幅は、各区間のデータの再生又は演奏密度（情報単位当り時間量）の変化を視覚的に分かりやすく示すだけのものである。なお、チック数とは、シーケンサにおける時間分解能を表わす単位時間間隔の数を示す。

図３の最上段は、動画再生専用ＲＡＭ７０に記憶されている動画データを表わす。これに対して、第２段は、経過時間ｔ（ｓｅｃ）に対して、テンポクロックなどの指示によるテンポ指示情報に基づくテンポ値が変化する様子を示し、縦軸の“０”は標準テンポ値（例えば、テンポ値＝１２０）を表わす。

音楽演奏システム１６〜１８において音楽データに従って音楽演奏が開始すると、テンポ指示情報により指示されるテンポ値に対応する速度で動画再生が行われる。例えば、音楽データのテンポ情報が“０”に対応するテンポ指示値（標準テンポ値＝１２０）に設定されていれば、動画処理回路７においては、専用ＲＡＭ７０に記憶されている動画データが、ＣＰＵ１からの指令に基づいて、時間軸制御部７１及び動画再生部７３により、通常の動画再生速度、例えば、３０フレーム／秒で読み出される。

また、テンポ指示値が“０”の標準テンポ値から変化すると、変化したテンポ指示値がＣＰＵ１から指令され、指令されたテンポ指示値に基づいて音楽演奏及び動画再生が行われる。なお、このテンポ指示値は、テンポクロックの時間間隔やタイムコードの差分値（タイムコードの時間間隔）などの情報から得ることができる。

従って、第０再生モードでは、第２段のようにテンポ値が変化すると、音楽データが、変化したテンポ値に応じて〔指定されたテンポ値から正負（＋，−）のテンポ値変化分に応じた分だけ変化したテンポで〕最下段のように再生されるのに伴って、動画データの読出し速度は、通常の動画再生速度から、正負（＋，−）のテンポ値変化分に応じた分だけが変化し、動画データは、第３段に示されるように、テンポ値に応じた速度で再生されるので、動画の再生を音楽の演奏に合わせる演出効果を得ることができる。ＳＭＦ等の音楽データでは、テンポ値を変更したいタイミングにテンポ情報を配置することができる。その音楽データを再生すると、そのタイミングでテンポ情報が現われてテンポ値が変更される。すなわち、音楽データに含まれるテンポ情報に基づいて、音楽演奏と動画再生を同時に制御することができる。

〔第１再生モード〕
この動画時間軸制御指示システムでは、操作子装置１２中のモードスイッチＭ１を操作したとき（図２参照）、動画処理回路７を第１再生モードで動作させることができる。第１再生モードにおいては、音楽の演奏中、ＣＰＵ１は、リアルタイム操作子の操作に基づくテンポ変更（操作）情報ＴＭを受けて、演奏されている音楽のテンポの変更操作があったことを感知し、これを時間軸制御部７１に伝える。時間軸制御部７１は、ＣＰＵ１から制御入力として与えられたテンポ変更（操作）情報に基づいて、動画再生部７３における動画再生を制御する。

図４は、第１再生モードにおいて動画データに対する読出し速度がテンポの変更操作に応じて変化する様子を極く概略的に表わした図である。同図においても、○印の意味は前述したところと同じである。パネル操作子装置１２には、既に説明したように、音楽演奏のテンポをリアルタイムで変更操作するために、リボンコントローラ（１次元接触位置検出を行うリアルタイム操作子）が設けられている。図４の最上段は、動画再生専用ＲＡＭ７０に記憶されている動画データを表わす。これに対して、第２段は、経過時間ｔ（ｓｅｃ）に対するリボンコントローラの操作量の変化を示し、縦軸の“０”は、リボンコントローラ操作の原点位置である。

リボンコントローラの原点位置に操作指を接触すると、原点位置＝“０”に対応する速度で音楽演奏及び動画再生が行われる。つまり、音楽演奏システム１６〜１８においては、例えば、標準テンポ値＝１２０とすれば、原点位置に対応するテンポ値＝１２０で演奏される。すなわち、ＣＰＵ１はテンポ値＝１２０のテンポクロック信号を発生してＭＩＤＩ機器１６に供給し、ＭＩＤＩ機器１６では、供給されるテンポクロック信号に同期して音楽データの再生を行う。また、この場合、動画処理回路７においては、専用ＲＡＭ７０に記憶されている動画データが、ＣＰＵ１からの指令に基づいて、時間軸制御部７１及び動画再生部７３により、通常の動画再生速度、例えば、３０フレーム／秒で読み出される。

また、リボンコントローラの任意の位置に操作指をタッチすると、タッチした指の位置（原点位置＝“０”からの変位）に応じた操作量がＣＰＵ１から指令され、指令された操作量に基づいて音楽演奏及び動画再生が行われる。従って、第２段のようにリボンコントローラを操作すると、音楽データは、ＭＩＤＩ機器１６において、リボンコントローラの操作量に応じて、指定されたテンポ値から正負（＋，−）の操作量に応じた分だけ変化したテンポで、最下段のように再生される。これに対応して、動画データの読出し速度も、通常の動画再生速度から、正負（＋，−）の操作量に応じた分だけが変更され、動画データは、第３段に示されるように、リボンコントローラの操作量に応じた速度で再生されるので、動画の再生を音楽の演奏に合わせることができる。

図４の例では、時点ｔ０で音楽演奏及び動画再生が開始されると同時に、第２段のように、リボンコントローラの操作を開始し、一旦正方向に操作してから負方向に操作し原点位置＝“０”を通った後、再び正方向に操作し、時点ｔ１において、所定の正位置で操作を停止すると同時に、負の所定位置にジャンプして再度正方向に操作し時点ｔ２で操作を停止（操作指をリボンコントローラから離すこと）したままにした場合について示されている。

この場合、音楽データについては、図４の最下段に示されるように、時点ｔ０で最初の区間（小節、拍又はチック数で規定される）ｎ０の音楽データの再生が開始され、時点ｔ１で、操作指をコントローラから離すと、再タッチした負の所定位置に対応する速度で、区間ｎ１の音楽演奏から再開される。そして、区間ｎ２の音楽演奏がなされた時点ｔ２で操作を停止すると、時点ｔ２以降は、操作を停止したときの操作量に対応する速度で音楽演奏が維持される。

これに対して、動画データについても、図４の第３段に示されるように、音楽データと同様に再生速度が制御される。つまり、時点ｔ０では、正方向の或る位置のコントローラ操作に応じて、動画データにおける最初の区間（フレーム数で規定される）ｐ０の動画データが比較的高い速度（“急”）で再生され、コントローラ操作に応じた“緩”・“急”の速度で動画再生が、順次、行われる。時点ｔ１で、操作指が負の所定位置にジャンプすると、ジャンプ後の位置に対応する“緩”やかな再生速度で、区間ｐ１の動画データが再生され、コントローラ操作に応じて、順次、再生速度が高められ、区間ｐ２の動画再生がなされた時点ｔ２での操作停止に基づいて、時点ｔ２以降は、操作を停止したときの操作量が維持されるので、この操作量に対応する高い速度（“急”）のままで動画データが再生されていく。

従って、動画データは、音楽演奏の演奏速度と同様に、コントローラ操作量に応じて再生速度が緩急に変化し、音楽演奏の進行を合わせて再生することができる。なお、図２（左上）に示すように、音楽データのテンポクロックの時間間隔やタイムコードの差分値（タイムコードの時間間隔）などのテンポ指示情報に基づく動画再生速度の変化に加えて、上述したリボンコントローラのリアルタイム操作によるテンポ変更情報に基づいて、音楽演奏速度及び動画再生速度を同時に変化させるので、音楽演奏及び動画再生の演出効果を高めることができる。

〔第２再生モード〕
この動画時間軸制御指示システムでは、操作子装置１２中のモードスイッチＭ２を操作したとき（図２参照）、動画処理回路７を第２再生モードで動作させることができる。第２再生モードにおいては、音楽演奏に伴う動画再生に際し、図２の右上に示すように、ＣＰＵ１は、予め設定された特定音楽演奏タイミング−特定動画再生タイミングのセットＴＳを時間軸制御部７１に送る。

時間軸制御部７１は、この特定タイミングセットＴＳに基づいて、動画データの特定再生タイミングが、対応する音楽演奏の演奏タイミングに一致するように、動画再生部７３に対して指令する動画再生速度を調整して、この速度で動画再生を行うように動画再生部７３に指示を与える。そして、動画再生部７３は、指示された動画再生速度で専用ＲＡＭ７０からサンプリング動画データを読み出して動画再生を行う。

図５〜図９は、第２再生モードでの動画再生を説明するための時間軸変換例をを極く概略的に表わした図である。図５〜図７の最上段及び図８の第２段は、音楽演奏システム１６〜１８において音楽演奏に利用される音楽データを表わし、タイムコード或いはテンポクロック（ＭＩＤＩクロック）によるテンポ指示を考慮して演奏時間に換算して示されている。この例では、音楽データの「区間ｎ０」〜「区間ｎ１の直前」が「区間ｎ１」〜「区間ｎ２」より速いテンポとしており、これは○印の幅で表示されている。すなわち、音楽データの区間ｎ１の開始点には、テンポ情報が配置されている。ＭＩＤＩ機器１６は、音楽データ中に配置されている初期テンポを演奏テンポとして区間ｎ０から音楽演奏を開始し、区間ｎ１の開始点で、演奏テンポを、そこに配置されているテンポ情報に従って、より遅いテンポに変更して音楽演奏を継続する。

図５〜図７の第２段及び図８の第３段は、動画処理回路７の音楽データ専用ＲＡＭに記憶されている動画データを表わし、図５〜図７においては、動画データの記録位置を便宜的に音楽データの総演奏区間ｎ０〜ｎ２に一致させている。このようなタイミングの同期は、前述したデファード・プレイ命令を音楽データに配置するタイミングを調整することにより制御することができる。また、各図における○印の意味は、図３や図４で既に説明したように、データを構成する各区間（データ単位）を表わし、音楽データについては、所定の小節数、拍数又はチック（ＴＩＣＫ）数〔整数でなくても（小数でも）よい〕で規定することができ、動画データについては、所定のフレーム数で規定することができる。

さて、図５は、動画データ中の任意位置の動画情報を音楽データ中の任意位置の演奏情報に対応付けたセット（ＴＳ）を用いた場合の時間軸変換例を示している。この時間軸変換は、動画及び音楽の進行途中の１点（複数点でもよい）を互いに一致させる演出効果にとって好適である。この例では、最上段及び第２段間に示されるように、動画データにおける或る特定の区間ｐ１（の開始点）を、音楽データの或る特定の区間ｎ１（の開始点）に対応するようにセットしておき（“ＳＥＴ”）、両データの開始及び終了位置ｐ０，ｎ０；ｐ２，ｎ２については対応付けをしない（“Ｆｒｅｅ”）。

この場合、動画データ及び音楽データの各再生は、それぞれ、任意の時点ｔ０，ｔ０ｍで開始される。しかし、動画データは、時点ｔ０から再生が開始された後、特定区間ｐ１の動画データに対応するようにセットされた特定区間ｎ１の音楽データの再生が開始される特定時点ｔ１において、区間ｐ１の動画データの再生が開始されるように、動画データの再生のための時間軸が制御される。

つまり、動画データ及び音楽データにおける第１区間ｐ０，ｎ０の各再生開始時点ｔ０，ｔ０ｍを表わす開始時点情報、及び、特定区間ｐ１の動画データに対応するようにセットされた区間ｎ１の音楽データの再生が開始する特定時点ｔ１を表わす特定時点情報が、ＣＰＵ１から時間軸制御部７１に送られる。時間軸制御部７１は、これらの時点情報を受けて、時点ｔ０で第１区間ｐ０の動画データの再生開始を行うと共に、特定時点ｔ１で特定区間ｐ１の動画データの再生を開始することができるように、動画再生部７３を制御する。そして、動画再生部７３は、時点ｔ０〜ｔ１間における動画データの読出し速度を演算し、演算された読出し速度で、時点ｔ０から第１区間ｐ０の動画データの再生を開始する。

また、ＣＰＵ１は、音楽データの再生を開始すべき時点ｔ０ｍを検出し、ＭＩＤＩ機器１６に対して再生開始を指示する。ＭＩＤＩ機器１６は再生開始の指示に応じて、音楽データの再生を開始するとともに、テンポクロック信号をＭＩＤＩインターフェース（Ｉ／Ｆ）８を介してＣＰＵ１に供給する。ＣＰＵ１は、供給されるテンポクロック信号に基づいて、時間軸制御部７１における基準時刻を補正する。ここで、「基準時刻」とは、例えば、時点ｔ０，ｔ１，ｔ２，…のような時点を検出するための基準となるタイミングを表わすものである。すなわち、「基準時刻」は、時点ｔ０ｍで音楽演奏が開始されるより前から計測されているが、音楽演奏が始まったら、それ以降は、音楽演奏と同期して計測される。

これによって、特定時点ｔ１において、特定区間ｐ１の動画データが、予めこれに対応するようにセットされた特定区間ｎ１の音楽データの再生に同期して再生される。つまり、動画データの読出しは、固定されない（Ｆｒｅｅ）再生開始点ｔ０から特定時点ｔ１までの間、速度が調整される。また、特定時点ｔ１以降は、予め定められた動画データ自体の読出し速度に基づいて再生が行われ、従って、動画データ再生の終了時点ｔ２は、図示のように、音楽演奏の終了時点ｔ２ｍとは必ずしも一致しない。なお、区間ｐ０についても、前記動画データ自体の読出し速度で再生するようにしてもよい。このように、この実施例では、特定位置（ｐ１）の音楽データが再生される時点ｔ１で、特定位置（ｎ１）の動画データが再生されるように、動画データの再生タイミングを制御している。

なお、図５では特定時点ｔ１を１点としたが、動画及び音楽の進行途中の対応位置を複数セットしておき、セットされた各位置の動画データ及び音楽データの各再生が２以上の複数時点で一致するようにしてもよい。この場合は、動画再生の開始から特定時点まで及び特定時点間における動画再生の時間軸（速度）が制御される。また、この実施例では、ＣＰＵ１からの再生指示に応じてＭＩＤＩ機器１６が再生を開始した後、ＭＩＤＩ機器１６自体がテンポクロック信号を発生するものとして説明を行ったが、ＭＩＤＩ機器１６の代わりにＣＰＵ１がテンポクロック信号を発生し、ＭＩＤＩ機器１６は、ＣＰＵ１から供給されるテンポクロック信号に基づいて音楽データを再生するようにしてもよい。その場合、ＣＰＵ１は、時間軸制御部７における基準時刻と、ＭＩＤＩ機器で再生される（音楽データに配置された）テンポ情報とに基づいて、発生するテンポクロック信号の周期を制御する。

図６は、動画データ中の任意位置及び再生終了位置の動画情報を音楽データ中の任意位置及び演奏終了位置の演奏情報に対応付けたセット（ＴＳ）を用いた場合の時間軸変換例を示している。この時間軸変換は、動画及び音楽の進行途中の１点（複数点でもよい）及び終了位置を互いに一致させる演出効果にとって好適である。この例では、最上段及び第２段間に示されるように、動画データにおける或る特定の区間ｐ１（の開始点）を、音楽データの或る特定の区間ｎ１（の開始点）に対応するようにセットしておく（“ＳＥＴ”）と共に、動画データの再生終了（最終区間ｐ２の終了）位置を音楽データの再生終了（最終区間ｎ２の終了）位置に対応するようにセットしておき（“ＳＥＴ”＆“ＦＩＸ”）、両データの開始位置の区間ｐ０，ｎ０については、対応付けをしない（“Ｆｒｅｅ”）。

ここで、“ＳＥＴ”とは、動画データ中の任意位置を音楽データ中の任意位置に対して同期させるための設定をいう。また、“ＦＩＸ”は、動画データ中の任意位置及び音楽データ中の任意位置が、基準時刻スケール上の所定時点にそれぞれ再生されるように制御するための設定をいう。従って、“ＦＩＸ”の設定がなされた「任意位置」は、基準時刻スケール上の「所定時点」に固定される。例えば、動画データの或る区間乃至或る位置の再生時点が編集されても、“ＦＩＸ”設定された位置の動画データの再生時刻は、「所定時点」に固定されたままである（固定されたままとなるように調整される。）。なお、図６〜図８においては、“ＦＩＸ”で示される位置は、全て、“ＳＥＴ”の設定もなされている。

図６の場合も、動画データ及び音楽データは任意の開始時点ｔ０，ｔ０ｍで各再生がそれぞれ開始されるが、動画データは、開始時点ｔ０から再生が開始された後、特定区間ｐ１の動画データに対応するようにセットされた特定区間ｎ１の音楽データの再生が開始される特定時点ｔ１において、区間ｐ１の動画データの再生が開始されるように、動画再生の時間軸が制御される。次いで、特定時点ｔ１以降も、特定区間ｐ１の再生開始から最終区間ｐ２の再生終了までの動画データは、区間ｎ１〜ｎ２の音楽演奏に一致するように、再生の時間軸が制御される。

つまり、動画データ及び音楽データにおける第１区間ｐ０，ｎ０の各再生開始時点ｔ０，ｔ０ｍを表わす開始時点情報、特定区間ｐ１の動画データに対応するようにセットされた区間ｎ１の音楽データの再生が開始する特定時点ｔ１を表わす特定時点情報、及び、最終区間ｎ２の音楽データの再生が終了する終了時点ｔ２を表わす終了時点情報が、ＣＰＵ１から時間軸制御部７１に送られる。時間軸制御部７１は、これらの時点情報を受けて、時点ｔ０で第１区間ｐ０の動画データの再生開始を行うと共に、特定時点ｔ１で特定区間ｐ１の動画データの再生を開始し終了時点ｔ２で最終区間ｐ２の動画データの再生を終了することができるように、動画再生部７３を制御する。そして、動画再生部７３は、時点ｔ０〜ｔ１，ｔ１〜ｔ２間における動画データの第１及び第２読出し速度を演算し、演算された第１読出し速度で、第１区間ｐ０の動画データを時刻ｔ０から再生して行き、特定時点ｔ１以降は、演算された第２読出し速度で特定区間ｐ１から最終区間ｐ２までの動画データを順次再生していく。

これによって、特定時点ｔ１において、特定区間ｐ１の動画データが、予めこれに対応するようにセットされた特定区間ｎ１の音楽データの再生に同期して再生されるだけでなく、特定時点ｔ１以降も、最終区間ｐ２までの動画データが、対応する音楽データの再生に同期して再生される。従って、図示のように、同期設定されない（“Ｆｒｅｅ”）再生開始点ｔ０から特定時点ｔ１までと、特定時点ｔ１から同期設定された（“ＳＥＴ”）再生終了点ｔ２までとは、異なる態様で動画データの再生速度が調整される。

なお、図６では特定時点ｔ１を１点としたが、動画及び音楽の進行途中の対応位置を複数セットしておき、セットされた各位置の動画データ及び音楽データの各再生が２以上の複数時点で一致するようにしてもよい。また、図６では終了時点ｔ２を一致させたが、変形例として、終了時点ｔ２を一致させず（各終了位置を“ＳＥＴ”せず“Ｆｒｅｅ”とする）、動画データの再生開始位置ｔ０を音楽データの再生開始時点ｔ０ｍに一致させる（各開始位置を“ＳＥＴ”）ようにして、共通の開始時点ｔ０から特定時点ｔ１までについてのみ動画再生及び音楽演奏を同期させるようにしてもよい。

図７は、動画データ中の再生開始位置、途中の任意位置及び再生終了位置の動画情報を、音楽データ中の任意位置及び演奏終了位置の演奏情報に対応付けたセット（ＴＳ）を用いた場合の時間軸変換例を示している。この時間軸変換は、動画及び音楽の開始・終了位置及び進行途中の１点（複数点でもよい）を互いに一致させる演出効果、特に、動画データをループ再生で音楽データに合わせて繰り返し再生する演出効果にとって好適である。この例では、最上段及び第２段間に示されるように、動画データの再生開始（第１区間ｐ０の開始）及び再生終了（最終区間ｐ２の終了）位置を、それぞれ、音楽データの再生開始（第１区間ｎ０の開始）及び再生終了（最終区間ｐ２の終了）位置に対応するようにセットしておく（“ＳＥＴ”＆“ＦＩＸ”）と共に、動画データにおける或る特定の区間ｐ１（の開始点）を音楽データの或る特定の区間ｎ１（の開始点）に対応するようにセットしておく（“ＳＥＴ”）。

この場合は、所定の開始時点ｔ０において、互いに対応するようにセットされた第１区間ｐ０，ｎ０の動画及び音楽データの各再生それぞれが開始され、特定区間ｐ１の動画データに対応するようにセットされた特定区間ｎ１の音楽データの再生が開始される特定時点ｔ１において、特定区間ｐ１の動画データの再生が開始されるように、動画データの再生のための時間軸が制御される。次いで、特定時点ｔ１以降も、特定区間ｐ１の再生開始から最終区間ｐ２の再生終了までの動画データが、区間ｎ１〜ｎ２の音楽演奏に一致するように、動画データの再生のための時間軸が制御される。

つまり、動画及び音楽データにおける第１及び最終区間ｐ０，ｎ０；ｐ２，ｎ２の各再生開始時点ｔ０，ｔ２を表わす開始・終了時点情報、及び、特定区間ｐ１の動画データに対応するようにセットされた区間ｎ１の音楽データの再生が開始する特定時点ｔ１を表わす特定時点情報が、ＣＰＵ１から時間軸制御部７１に送られる。時間軸制御部７１は、これらの時点情報を受けて、時点ｔ０で第１区間ｐ０の動画データの再生を開始し、特定時点ｔ１で特定区間ｐ１の動画データの再生を開始し、終了時点ｔ２で最終区間ｐ２の動画データの再生を終了することができるように、動画再生部７３を制御する。そして、動画再生部７３は、時点ｔ０〜ｔ１，ｔ１〜ｔ２間における動画データの第１及び第２読出し速度を演算し、演算された第１読出し速度で、第１区間ｐ０の動画データを時点ｔ０から再生して行き、特定時点ｔ１以降は、演算された第２読出し速度で特定区間ｐ１から最終区間ｐ２までの動画データを順次再生していく。

これによって、開始及び終了時点ｔ０，ｔ２において、第１及び最終区間ｐ０，ｐ２の動画データの再生が、第１及び最終区間ｎ０，ｎ２の音楽演奏の開始及び終了に一致して開始及び終了される。また、特定時点ｔ１において、特定区間ｐ１の動画データが、予めこれに対応するようにセットされた特定区間ｎ１の音楽データの再生に同期して再生される。図示の例では、固定された（“ＳＥＴ”＆“ＦＩＸ”された）再生開始点ｔ０から特定時点ｔ１まではテンポ及び再生速度が速くくなり、特定時点ｔ１以降はテンポ及び再生速度が遅くなっている。

なお、図７では特定時点ｔ１を１点としたが、動画及び音楽の進行途中の対応位置を複数セットしておき、セットされた各位置の動画データ及び音楽データの再生及び演奏が２以上の複数時点で一致するようにしてもよい。

図８及び図９は、図６の説明で示した変形例又は図７の例を一般化したものであり、動画データの再生開始位置及び動画データ途中の任意の複数位置の動画情報を、それぞれ、音楽データの再生開始位置及び音楽データ途中の任意の複数位置の演奏情報に対応付けたセット（ＴＳ）を用いた場合の時間軸変換例を示している。この時間軸変換は、動画及び音楽の開始位置から進行途中の複数点を互いに一致させる演出効果にとって好適である。図８の最上段は、単に音楽データを楽譜を用いて示すものであり、第２段の音楽データと厳密に対応させたものではない。

図８の例では、第２段及び第３段間に示されるように、少なくとも、動画データの再生開始（第１区間ｐ０の開始）位置を音楽データの再生開始（第１区間ｎ０の開始）位置に対応するようにセットしておく（“ＳＥＴ”＆“ＦＩＸ”）と共に、動画データにおける或る特定の複数の区間ｐ１，ｐ２，ｐ３，ｐ４，…（の開始点）を音楽データの或る特定の区間ｎ１，ｎ２，ｎ３，ｎ４，…（の開始点）に対応するようにセットしておく（“ＳＥＴ”）。

この場合、所定の開始時点ｔ０において、互いに対応するようにセットされた第１区間ｐ０，ｎ０の動画及び音楽データの各再生がそれぞれ開始され、特定区間ｐ１の動画データに対応するようにセットされた特定区間ｎ１の音楽データの再生が開始される特定時点ｔ１において、特定区間ｐ１の動画データ情報の再生が開始されるように、動画データの再生のための時間軸が制御される。次いで、特定時点ｔ１以降も、特定区間ｐ１，ｐ２，ｐ３，ｐ４，…の動画データが、特定区間ｎ１，ｎ２，ｎ３，ｎ４，…の音楽データに一致するように、動画データの再生のための時間軸が制御される。

図９には、動画再生時間軸を制御するために、時間経過に従って、時間経過に従って専用ＲＡＭ７０から読み出される動画データの記録位置（フレーム）を演算する方法が概略的に示されている。動画及び音楽データにおける第１区間ｐ０，ｎ０の再生及び演奏開始時点ｔ０を表わす開始時点情報、及び、特定区間ｐ１，ｐ２，ｐ３，ｐ４，…の動画データに対応するようにセットされた区間ｎ１，ｎ２，ｎ３，ｎ４，…の音楽データの再生が開始する特定時点ｔ１，ｔ２，ｔ３，ｔ４，…を表わす特定時点情報が、ＣＰＵ１から時間軸制御部７１に送られる。

時間軸制御部７１は、これらの時点情報を受けて、時点ｔ０で第１区間ｐ０の動画データの再生を開始し、特定時点ｔ１，ｔ２，ｔ３，ｔ４，…で特定区間ｐ１，ｐ２，ｐ３，ｐ４，…の動画データの再生を順次開始することができるように、動画再生部７３を制御する。動画再生部７３は、時点ｔ０〜ｔ１，ｔ１〜ｔ２，ｔ２〜ｔ３，ｔ３〜ｔ４，…間における動画データの読出し速度を演算する。演算される読出し速度は、図９において、時点ｔ０〜ｔ１，ｔ１〜ｔ２，ｔ２〜ｔ３，ｔ３〜ｔ４，…における各線分の勾配で示される。そして、演算された各読出し速度で、時点ｔ０〜ｔ１，ｔ１〜ｔ２，ｔ２〜ｔ３，ｔ３〜ｔ４，…間の対応する動画データを順次再生していく。

これによって、開始時点ｔ０において、第１区間ｐ０の動画データの再生が、第１区間ｎ０の音楽演奏の開始に一致して開始され、特定時点ｔ１，ｔ２，ｔ３，ｔ４，…において、特定区間ｐ１，ｐ２，ｐ３，ｐ４，…の動画データが、予めこれに対応するようにセットされた特定区間ｎ１，ｎ２，ｎ３，ｎ４，…の音楽データの再生に同期して再生される。

つまり、図８の動画時間軸変換例に示されるように、音楽データに対して、多数のフレームから成る動画データが専用ＲＡＭ７０に記憶されている。そして、ユーザが、データの複数のポイントが同期するように指定すると、各ポイント間の読出し位置は自動的に補間演算されて、動画データを緩急（“ノーマル”、“緩”、“急”）を伴って再生する。従って、例えば、楽譜（図８上段）上の強拍音符がある位置を音楽演奏の特定位置に選定し、これらの演奏位置に刺激的な特定の動画フレーム（赤色光、青色光、黄色光などの刺激的な映像画面）をそれぞれ対応させるように設定すると、特定の音符に関する音が発生されたときに、特定の動画フレームが対応して現れるので、音と動画がリンクしてコンサート会場やクラブイベントなどの聴衆に対して効果的な演出が得られる。

〔第３再生モード〕
この動画時間軸制御指示システムでは、操作子装置１２中のモードスイッチＭ１，Ｍ２を操作したとき（図２参照）、動画処理回路７を第３再生モードで動作させることができる。第３再生モードにおいては、音楽演奏に伴う動画再生に際し、ＣＰＵ１は、予め設定された特定音楽演奏タイミング−特定動画再生タイミングのセット（ＴＳ）に加えて、リボンコントローラのようなリアルタイム操作子の操作に応じたテンポ変更情報（ＴＭ）を時間軸制御部７１に送る。

時間軸制御部７１は、この特定タイミングセットに基づいて、動画データの特定再生タイミングが、対応する音楽演奏の演奏タイミングに一致するように、しかも、リボンコントローラのようなリアルタイム操作子の操作に応じて再生速度が変化するように、動画再生部７３に対して指令する動画再生速度を調整して、この速度で動画データの再生を行うように動画再生部７３に指示を与える。そして、動画再生部７３は、指示された動画再生速度で専用ＲＡＭ７０からサンプリング動画データを読み出して動画再生を行う。

この第３再生モードでは、第２再生モードにおけるように、特定区間の動画データを特定区間の音楽データに一致させるだけでなく、リアルタイム操作子の操作に応じて動画再生及び音楽演奏の速度を可変に制御するので、多彩な演出効果を得ることができる。

〔種々の実施態様〕
以上、この発明による動画時間軸指示処理について具体的な実施例に従って説明してきたが、実施態様は例示したものに限らない。例えば、実施例においては、入力する動画はＶＴＲ（ビデオテープレコーダ）からとしたが、これに限らず、ＬＤプレイヤー、ＤＶＤプレイヤー、ＰＣ（パーソナルコンピュータ）からのビデオ出力など、動画を再生可能な装置であれば、その種類は問わない。

実施例では、出力装置を、比較的大きな映像ディスプレイとしたが、ＣＲＴ、ＬＣＤ等、その種類やサイズは問わない。また、ユーザ（操作者）の手元でのモニタ用と聴衆への表示用など、複数の出力装置を接続できるようにしても良い。

実施例では、本体システム及び動画処理システム自体に内蔵の操作子によって時間軸制御信号を変化させて動画の再生速度を制御していたが、外部制御装置からの時間軸制御信号によって動画の再生速度を制御しても良く、そのための外部制御信号入力手段を持っていても良い。具体的には、ＰＣ内の動画制御ソフトウェア上で再生速度の緩急を数値指示による折れ線で表わしたり、マウスやタブレットなどの外部ポインティングデバイスを用いた手書き入力曲線などで表わした出力値を使って、動画の再生速度を変化させるものでも良い。

実施例では、動画データの読出しを、固定（“ＦＩＸ”）した再生開始又は終了点（端）に基づいて自動補正したが、再生開始又は終了点（端）を“ＦＩＸ”するか“Ｆｒｅｅ”にするか、または、余分な部分をカットするか足りない部分を補ったりするかは、必要に応じて任意に採用することができる。

実施例では、１つの音楽データの再生に同期して１つの動画データを再生する例を示しているが、複数の動画データがそれぞれ個別に選定された時点で同期再生されるようにしてもよい。

実施例では、動画データの再生を制御するのにＭＭＣのコマンドを用いたが、その代わりに、ＭＩＤＩショー・コントロール（ＭＳＣ）のコマンドを用いてもよい。その場合、ＭＳＣのゴー（“ＧＯ”）命令に基づき、当該ゴー命令に含まれるキュー（“ＱＵＥ”）番号に応じて動画データを選択し再生開始するようにすればよい。

音楽データの特定再生タイミングは、演奏時間軸上の時刻で指定してもよいし、テンポクロック数や、小節数、拍等で指定してもよい。また、動画データの特定再生タイミングは、再生時間軸上の時刻で指定してもよいし、動画のフレーム番号などで指定してもよい。

実施例では、テンポ情報の配置された音楽データに関して、動画データ中の任意位置を対応付け（ＳＥＴ）するように説明したが、先に対応付け（ＳＥＴ）を行った後で、音楽データの任意の時点にテンポ情報を配置するようにしてもよい。このようにすると、音楽データのテンポを編集しても、動画データはテンポ編集後の音楽データに同期して再生されるので、ユーザは、動画との同期ずれを気にせず、音楽データのテンポを自由に編集することができる。

図７や図８では、この発明の適用の結果、動画データと音楽データのテンポが全体を通して同期されるように描かれているが、ここまで完全に同期させることは必ずしも必要ではない。動画データの所望の一部と音楽データの所望の一部を同期させることができればよい。

なお、音楽データの処理方法は、設定されたテンポ指示情報に応じて処理周期を変更する方法、処理周期は一定で、音楽データ中のタイミングデータの値を設定されたテンポ指示情報に応じて変更する方法、処理周期は一定で、１回の処理において音楽データ中のタイミングデータの計数の仕方をテンポ指示情報に応じて変更する方法等、どのようなものであってもよい。

図１は、この発明の一実施例による動画再生制御システム（動画時間軸制御指示システム）のハードウエア構成を示すブロック図である。 図２は、この発明の一実施例による動画時間軸制御指示システムの動画処理機能部のブロック図である。 図３は、この発明の一実施例による動画時間軸制御指示システムの第１実施形態においてテンポ指示情報により動画再生速度を変化させて動画時間軸制御を行う場合（第０再生モード）の一例を示す図である。 図４は、この発明の一実施例による動画時間軸制御指示システムの第１実施形態においてリボンコントローラ操作により動画再生速度を変化させて動画時間軸制御を行う場合（第１再生モード）の一例を示す図である。 図５は、この発明の一実施例による動画時間軸制御指示システムの第２実施形態（第２再生モード）において１点をセットする場合の動画時間軸制御例〔１〕を示す図である。 図６は、この発明の一実施例による動画時間軸制御指示システムの第２実施形態（第２再生モード）において終点を含む２点をセットする場合の動画時間軸制御例〔２〕を示す図である。 図７は、この発明の一実施例による動画時間軸制御指示システムの第２実施形態（第２再生モード）において始終点を含む３点をセットする場合の動画時間軸制御例〔３〕を示す図である。 図８は、この発明の一実施例による動画時間軸制御指示システムの第２実施形態（第２再生モード）の一般的な動画時間軸制御例〔４〕を示す図である。 図９は、第２実施形態（第２再生モード）の動画時間軸制御例〔４〕における動画再生速度の演算を説明するための図である。

符号の説明

ＴＣ 音楽データのテンポ指示を検出するテンポ指示検出機構、
ＴＭ 音楽テンポの変更操作を検出するテンポ変更検出機構、
ＴＳ 特定の再生及び演奏タイミングのセット機構、
ｐ０，ｐ１，ｐ２，ｐ３，ｐ４ 動画データにおける区間（フレーム）番号、
ｔ０，ｔ１，ｔ２，ｔ３，ｔ４ 各区間（フレーム）の読出しタイミング、
ｔ０ｍ，ｔ２ｍ 音楽データの読出し開始及び終了タイミング、
ｎ０，ｎ１，ｎ２，ｎ３，ｎ４ 音楽データにおける区間（小節、拍又はチック）番号。

Claims (4)

1. 動画データメモリに記憶されており動画を表わす多数のフレームから成る複数の動画データの中から音楽データの所望のタイミングに合わせて配置したロケート命令に応じて１つの動画データを選択すると共に、該音楽データの所望のタイミングに合わせて配置したデファード・プレイ命令に応じて該選択された動画データの再生を開始して表示装置に動画を表示するための動画再生装置であって、
   前記動画データの再生中、前記音楽データによる音楽の演奏テンポを表わすテンポクロックを入力するクロック入力手段と、
   前記クロック入力手段により入力したテンポクロックに応じて、単位時間当りフレーム数で表わされる動画データの再生速度を制御するための再生速度制御信号を生成する制御信号生成手段と、
   前記動画データメモリに記憶されている動画データのフレームを、前記制御信号生成手段により生成された再生速度制御信号に基づくフレーム読出しレートで、順次、読み出して前記表示装置に出力する動画データ読出し手段と
   を具備し、
   前記フレーム読出しレートは、前記クロック入力手段により標準テンポを示すテンポクロックが入力されているときは、所定の単位時間当りフレーム数で表わされ、前記クロック入力手段により標準テンポから正又は負に変化したテンポを示すテンポクロックが入力されているときは、所定の単位時間当りフレーム数からこのテンポ変化に応じた分だけ変化した単位時間当りフレーム数で表わされる
   ことを特徴とする動画再生装置。
2. さらに、
   前記動画データ読出し手段によって読み出された動画データと、別途入力した動画データとを合成して前記表示装置に出力する動画データ合成手段
   を具備することを特徴とする請求項１に記載の動画再生装置。
3. 動画データメモリに記憶されており動画を表わす多数のフレームから成る複数の動画データの中から音楽データの所望のタイミングに合わせて配置したロケート命令に応じて１つの動画データを選択すると共に、該音楽データの所望のタイミングに合わせて配置したデファード・プレイ命令に応じて該選択された動画データの再生を開始して表示装置に動画を表示するための動画再生装置における動画再生方法であって、
   前記動画データの再生中、前記音楽データによる音楽の演奏テンポを表わすテンポクロックを入力するクロック入力ステップと、
   前記クロック入力ステップにて入力したテンポクロックに応じて、単位時間当りフレーム数で表わされる動画データの再生速度を制御するための再生速度制御信号を生成する制御信号生成ステップと、
   前記動画データメモリに記憶されている動画データのフレームを、前記制御信号生成ステップで生成された再生速度制御信号に基づくフレーム読出しレートで、順次、読み出して前記表示装置に出力する動画データ読出しステップと
   を備え、
   前記フレーム読出しレートは、前記クロック入力手段により標準テンポを示すテンポクロックが入力されているときは、所定の単位時間当りフレーム数で表わされ、前記クロック入力手段により標準テンポから正又は負に変化したテンポを示すテンポクロックが入力されているときは、所定の単位時間当りフレーム数からこのテンポ変化に応じた分だけ変化した単位時間当りフレーム数で表わされる
   ことを特徴とする動画再生方法。
4. さらに、
   前記動画データ読出しステップにて読み出された動画データと、別途入力した動画データとを合成して前記表示装置に出力する動画データ合成ステップ
   を備えることを特徴とする請求項３に記載の動画再生方法。

Images