JP6268287B2 - 動画像生成装置、動画像生成方法、プログラム - Google Patents

Description

本発明は、音楽に合わせてキャラクターオブジェクトが動作する様子を示す動画像を生成する動画像生成装置、動画像生成方法、プログラム、及び当該プログラムを格納した情報記憶媒体に関する。

従来より、音楽に含まれる音の音程、強さ、ビートの種類などを検出して、音楽の特徴を解析する技術が検討されている（例えば特許文献１、特許文献２等）。

特開２００５−２７４７０８号公報 特開２００８−１０２４０５号公報

ユーザーに音楽鑑賞を楽しんでもらうための手法の一つとして、音楽の再生中に、当該音楽に合わせて人や動物などを模したキャラクターオブジェクトが動作する様子を示す動画像を表示することがある。従来は、このような動画像を制作者が手作業で制作していたため、非常に手間がかかっていた。

本発明は上記実情を考慮してなされたものであって、その目的の一つは、音楽に合わせてキャラクターオブジェクトが動作する様子を示す動画像を容易に生成することのできる動画像生成装置、動画像生成方法、プログラム、及び当該プログラムを格納した情報記憶媒体を提供することにある。

本発明に係る動画像生成装置は、対象となる音楽を構成する音のタイミングを示すタイミング情報を取得する取得部と、前記タイミング情報を用いて、キャラクターオブジェクトが前記音のタイミングに応じたタイミングで動作する様子を示す動画像を生成する生成部と、を含むことを特徴とする。

本発明に係る動画像生成方法は、対象となる音楽を構成する音のタイミングを示すタイミング情報を取得するステップと、前記タイミング情報を用いて、キャラクターオブジェクトが前記音のタイミングに合わせて動作する様子を示す動画像を生成するステップと、を含むことを特徴とする。

本発明に係るプログラムは、対象となる音楽を構成する音のタイミングを示すタイミング情報を取得するステップと、前記タイミング情報を用いて、キャラクターオブジェクトが前記音のタイミングに合わせて動作する様子を示す動画像を生成するステップと、をコンピュータに実行させるためのプログラムである。このプログラムは、コンピュータ読み取り可能な情報記憶媒体に格納されてよい。

本発明の実施の形態に係る動画像生成装置の構成ブロック図である。 本発明の実施の形態に係る動画像生成装置の機能ブロック図である。 キャラクターオブジェクトが個別動作を実行する様子の一例を示す図である。 音楽と動画像の生成パターンとの間の関係の一例を示す図である。

以下、本発明の実施形態について、図面に基づき詳細に説明する。

図１は、本発明の一実施形態に係る動画像生成装置１の構成ブロック図である。動画像生成装置１は、パーソナルコンピュータや家庭用ゲーム機等の情報処理装置であって、図１に示すように、制御部１１と、記憶部１２と、を含んで構成されている。また、動画像生成装置１は、入力部１３、表示部１４、及び音声出力部１５と接続されている。

制御部１１は、ＣＰＵ等であって、記憶部１２に格納されたプログラムに従って各種の情報処理を行う。記憶部１２は、ＲＡＭ等のメモリ素子を含んで構成され、制御部１１が実行するプログラム、及び当該プログラムが処理対象とするデータを記憶する。

入力部１３は、動画像生成装置１のユーザーから操作入力を受け付ける。入力部１３は、例えばキーボードやマウス等であってよい。また、タッチパネルや操作ボタンなどを含んでもよい。ユーザーが入力部１３に対して入力した操作の内容を示す操作信号は、制御部１１に伝達される。表示部１４は、例えば液晶表示パネル等であって、制御部１１の制御に従って動画像生成装置１が生成した動画像を画面に表示する。音声出力部１５は、スピーカーやヘッドフォン等であって、制御部１１の制御に従って音声を鳴動させる。

動画像生成装置１は、対象となる音楽（以下、音楽Ｍと表記する）について、その音楽Ｍに合わせてキャラクターオブジェクトが動く様子を示す動画像を生成する。以下、本実施形態において動画像生成装置１が実現する機能について説明する。図２に示すように、動画像生成装置１は、機能的に、特徴データ取得部２１と、動画像生成部２２と、動画像再生部２３と、を含んで構成されている。これらの機能は、制御部１１が記憶部１２に記憶されたプログラムを実行することにより実現される。このプログラムは、インターネット等の通信ネットワークを経由して動画像生成装置１に提供されてもよいし、光ディスク等の各種のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。

特徴データ取得部２１は、音楽Ｍの特徴を示すデータ（以下、特徴データという）を取得する。特に本実施形態において、特徴データは、音楽Ｍを構成する複数の音のそれぞれについて、その音の鳴るタイミングを示す鳴動タイミング情報を含んでいる。例えば鳴動タイミング情報は、音楽Ｍの演奏開始から対応する音が鳴動するタイミングまでの経過時間を示す情報であってよい。この鳴動タイミング情報により、音楽Ｍ内においてその音が鳴るタイミングが特定できる。さらに特徴データは、鳴動タイミング情報のほかにも、音楽Ｍを構成する複数の音のそれぞれについて、その音の音程や音の強さ（レベル）、ビート（拍）の種別を示すビート種別情報などを含んでもよい。ここでビート種別情報は、対象となる音と音楽Ｍのビートとの関係を示す情報であって、その音が音楽Ｍの基本の拍に一致する音（以下、ビート音という）なのか、あるいは裏拍などの基本の拍に一致しない音（以下、非ビート音という）なのかを示している。さらにビート種別情報は、その音がビート音の場合に、その音が強拍（小節の先頭などの拍）か、あるいは弱拍（小節の２拍目などの拍）かを示す情報など、さらに詳細なビートの種類を示す情報を含んでもよい。また、特徴データは、音楽Ｍを構成する個々の音に関する情報だけでなく、音楽Ｍの調（長調か短調か）や拍子（３拍子、４拍子、２拍子など）に関する情報、１小節の長さやテンポの情報など、音楽Ｍ全体に関する情報を含んでもよい。また、各小節の先頭のタイミングを示す情報を含んでもよい。

この特徴データは、例えば、ＰＣＭなどの形式で記録された音楽Ｍの音声データに対して周波数解析を行うことによって生成できる。周波数解析によって音楽Ｍに含まれる音の音程や強さ、タイミング、ビートの種別などを特定する方法は、例えば特許文献１、特許文献２などに開示されている。特徴データ取得部２１は、自分自身で音楽Ｍの音声データに対してこのような周波数解析を行って、特徴データを生成してもよい。あるいは、他の情報処理装置によって生成された特徴データを、通信ネットワーク等を介して外部から受信してもよい。また、特徴データは、ＭＩＤＩ等のフォーマットで記述された音楽Ｍの音声データや、音楽Ｍの楽譜データなどから抽出して得られるものであってもよい。ここでは特徴データ取得部２１は、後述する動画像の生成が開始される前に、音楽Ｍ全体の特徴データを取得するものとする。以下では、このように動画像Ａの生成を開始する前に特徴データ取得部２１が音楽Ｍ全体の特徴データを取得するという手順の処理を、静的処理という。

動画像生成部２２は、特徴データ取得部２１が取得した特徴データを用いて、音楽Ｍに合わせてキャラクターオブジェクトが動く様子を示す動画像（以下、動画像Ａと表記する）を生成する。キャラクターオブジェクトは、人や動物などを模したキャラクターを表すオブジェクトであって、２Ｄオブジェクト、及び３Ｄオブジェクトのいずれであってもよい。キャラクターオブジェクトは、互いに連結された複数のパーツから構成されており、各パーツは、互いの位置関係について予め定められた制限条件を満たす範囲内で動作する。具体例として、以下ではキャラクターオブジェクトは、人型のオブジェクトであって、頭、胴体、腕、足などのパーツから構成されるものとする。このキャラクターオブジェクトのオブジェクトデータは、予め記憶部１２に記憶されている。また、動画像生成部２２は、動画像生成装置１に接続されたカメラ（不図示）によって撮影されたユーザーの顔画像を、キャラクターオブジェクトの頭のパーツに貼り付けてもよい。動画像生成部２２は、キャラクターオブジェクトの少なくとも一部のパーツ（例えば腕や足など）を音楽Ｍに含まれる音の鳴動タイミングに合わせて動かすことによって、動画像Ａを生成する。これにより、例えば人が音楽Ｍに合わせて踊っているような動画像Ａが生成できる。動画像生成部２２が動画像Ａを生成する手法の具体例については、後述する。

動画像再生部２３は、動画像生成部２２が生成した動画像Ａを、音楽Ｍに合わせて再生する。具体的に、動画像再生部２３は、音楽Ｍの音声データを別途取得し、その音声を音声出力部１５から再生させる。そして、音楽Ｍの再生と同期させながら、動画像生成部２２が生成した動画像Ａを表示部１４の画面に表示させる。これにより、ユーザーは動画像Ａ内のキャラクターオブジェクトが音楽Ｍに合わせて動作する様子を視聴することができる。例えば動画像再生部２３は、カラオケ用の映像や音楽Ｍのプロモーション映像として動画像Ａを音楽Ｍとともに再生してもよい。

以下、動画像生成部２２が動画像Ａを生成する手法のいくつかの具体例について、説明する。まず第１の例として、予め定義された定型動作を用いて動画像Ａを生成する手法について説明する。この例では、キャラクターオブジェクトの一連の動きによって構成される定型動作が予め定義されている。この定型動作は、楽曲の１又は複数の小節から構成されるフレーズに合わせて実行されることが想定されている。しかしながら、定型動作は音楽Ｍとは無関係に予め作成されているため、音楽Ｍのリズムと一致した動きになっているとは限らない。そこで動画像生成部２２は、定型動作の再生時間が鳴動タイミング情報に応じて決まる時間に一致するように、定型動作の再生速度を調整する。

より具体的に、動画像生成部２２は、特徴データに含まれる鳴動タイミング情報を用いて、音楽Ｍの単位フレーズ（１又は複数の小節からなる音楽Ｍのまとまった単位）の長さ（所要時間）を特定する。そして、１回の定型動作の所要時間が単位フレーズの長さに一致するように、定型動作の再生速度を調整して動画像Ａの一部とする。また、音楽Ｍ中における単位フレーズの開始タイミングに一致させるように、動画像Ａ中における定型動作の開始タイミングを決定する。こうすれば、単位フレーズの再生に合わせてキャラクターオブジェクトが定型動作を行う様子を示す動画像Ａを生成することができる。

なお、定型動作は複数種類用意されてもよい。この場合、動画像生成部２２は、所与の条件に従って選択した定型動作を組み合わせてキャラクターオブジェクトを連続して動作させる。また、３拍子や４拍子など、拍子の種類に合わせて複数種類の定型動作を用意することとしてもよい。この場合、動画像生成部２２は、特徴データに含まれる音楽Ｍの拍子の種類に応じて、動画像Ａに使用する定型動作の種類を決定する。

次に、第２の例として、音楽Ｍを構成する個々の音に合わせてキャラクターオブジェクトを動かす手法について、説明する。この例では、音楽Ｍを構成する複数の音の全部、又は一部に合わせて、その音が鳴るタイミングに応じたタイミングでキャラクターオブジェクトを構成するパーツを動かすこととする。例えば動画像生成部２２は、特徴データに含まれるビート種別情報を参照して、予め定められたビート種別の音（例えばビート音）を抽出する。そして、音楽Ｍ中においてその抽出された音が鳴るタイミングに応じたタイミングで、キャラクターオブジェクトを構成する特定のパーツを動かすように、動画像Ａを生成する。なお、動画像再生部２２は、音が鳴るタイミングと一致するタイミングに限らず、音が鳴るタイミングから特定される強拍や弱拍、あるいは裏拍などのタイミングに合わせてキャラクターオブジェクトを動かすこととしてもよい。以下では、この第２の例において個々の音のタイミングに応じたタイミングでキャラクターオブジェクトに行わせる動作を、個別動作という。

動画像生成部２２は、個別動作をキャラクターオブジェクトに実行させる場合において、その個別動作の内容を、対応する音の音程や強さ、ビート種別などに応じて決定してもよい。具体例として、動画像生成部２２は、音楽Ｍ中の音のタイミングに応じたタイミングでキャラクターオブジェクトの腕を動かす場合に、その腕の動きの大きさを、音の強さに応じて変化させてもよい。また、例えば動画像生成部２２は、ビート音が鳴るタイミングで腕を、非ビート音が鳴るタイミングでは手首を、といったように、ビート種別に応じて互いに異なるキャラクターオブジェクトのパーツを動かすこととしてもよい。

図３は、この第２の例における個別動作の一例を示す図である。この図では、個別動作の具体例として、ビート音に合わせてキャラクターオブジェクトの右腕を動かす例が示されている。この図の例では、音楽Ｍは４拍子の楽曲であることとしている。図中、Ｐ０が右手（右腕の先端部分）の基準位置を示しており、Ｐ１〜Ｐ４がそれぞれ１つの小節内における第１拍から第４拍までのタイミングにおける右手の位置（目標位置）を示している。キャラクターオブジェクトの右手は、基準位置Ｐ０から開始して、第１拍のタイミングで目標位置Ｐ１に、第２拍のタイミングで目標位置Ｐ２に、第３拍のタイミングで目標位置Ｐ３に、第４拍のタイミングで目標位置Ｐ４に、それぞれ移動する。その結果、キャラクターオブジェクトは、動画像Ａ内において音楽Ｍに合わせて腕を回転させる動作を行うことになる。

なお、上述した例における右手の位置は、各ビート音の強さ（レベル）に応じて変化させてもよい。その場合、例えばビート音のレベルが最大値の場合には目標位置Ｐ１〜Ｐ４に右手を移動させることとし、ビート音のレベルが最小値（０）の場合には右手を基準位置Ｐ０から動かさないこととする。そして、ビート音のレベルが最小値と最大値の間にある場合には、基準位置Ｐ０と目標位置Ｐ１〜Ｐ４とを結ぶ直線上において、その音のレベルが大きければ大きいほど目標位置Ｐ１〜Ｐ４に近く、小さければ小さいほど基準位置Ｐ０に近い位置になるように、右手を動かすこととする。これにより、音が大きければ大きいほどキャラクターオブジェクトを大きく動作させることができる。このように、ある音が鳴るタイミングに合わせてキャラクターオブジェクトを動作させる際に、その音のレベルに応じた量だけキャラクターオブジェクトを構成するパーツを動かすことによって、音のレベルに合わせた自然な動作表現を行うことができる。

以上説明した第１の例と第２の例は、組み合わせて用いてもよい。例えば、音楽Ｍの最初の１小節に対応する部分は第１の例の手法で生成し、次の小節に対応する部分は第２の例の手法で生成するなど、小節ごと、又は単位フレーズごとに別の手法で音楽Ｍに対応した動画像Ａを生成してもよい。図４は、このような手法で生成される動画像Ａの時系列に沿った推移を示している。この図４において、横軸は時間経過を示しており、横軸から上方向に延びる矢印は音楽Ｍのビート音が鳴るタイミングを、下方向に延びる矢印は非ビート音が鳴るタイミングを、それぞれ示している。この図の例では、音楽Ｍの第１小節に対応する時間には、時間を調整した１回の定型動作をキャラクターオブジェクトが実行する。また、第２小節に対応する時間には、当該小節に含まれる各音に合わせた個別動作をキャラクターオブジェクトが実行している。図中の白丸と黒丸は、音楽Ｍの音に合わせた個別動作の実行タイミングを示しており、白丸はビート音に合わせた動作（例えば肩や肘の動き）を、黒丸は非ビート音に合わせた動作（例えば手首の動き）を実行することを示している。

動画像生成部２２は、一つの単位フレーズに対応する動画像を、第１の例と第２の例とを組み合わせた手法で生成してもよい。具体例として、動画像生成部２２は、単位フレーズに合わせてキャラクターオブジェクトに定型動作を行わせつつ、定型動作の合間に個々の音（特に非ビート音）に合わせた個別動作を行わせる動画像を生成する。あるいは、キャラクターオブジェクトの一部のパーツ（例えば足や体）については定型動作に沿った動きをさせながら、他のパーツ（例えば腕）については第２の例によって決定される動きを行わせる動画像Ａを生成してもよい。

以上の説明では、動画像生成部２２は単体のキャラクターオブジェクトが動作する様子を示す動画像Ａを生成することとした。しかしながらこれに限らず、動画像Ａは複数のキャラクターオブジェクトが音楽Ｍに合わせて動作する様子を示すものであってもよい。この場合、各キャラクターオブジェクトは互いに同じ動作をすることとしてもよいし、互いに異なる手法により決定された異なる動作をすることとしてもよい。また、動画像Ａには、音楽Ｍに合わせて動作するキャラクターオブジェクトのほかに、音楽Ｍと非同期に動作する他のオブジェクトが含まれてもよい。

さらに、動画像Ａに含まれる各オブジェクトは、互いに相互作用することとしてもよい。具体例として、仮想空間内に配置された２人のキャラクターオブジェクトが互いに独立に音楽Ｍに合わせた動作を行っている場合において、その動作内容に応じて、各キャラクターオブジェクトのパーツ同士（例えばお互いの手）が所定距離内まで近づくことがある。このようなイベントが発生した場合に、例えば２人のキャラクターオブジェクトが互いに手をつないで一定時間予め定められた動作を行い、その後、また音楽Ｍに合わせた動作を再開することとしてもよい。また、キャラクターオブジェクトは、仮想空間内を移動する他のオブジェクトを掴んだり、投げたりといった動作を行ってもよい。

また、動画像生成部２２は、ユーザーの指示に基づいて動画像Ａを生成してもよい。この場合、例えばユーザーは、音楽Ｍを構成する単位フレーズごとに、複数の定型動作の候補の中から実際にキャラクターオブジェクトに実行させる定型動作を選択したり、音楽Ｍに含まれる音に合わせた具体的な個別動作の内容を指定したりすることによって、動画像Ａを生成する。この場合にも、ユーザーは定型動作や個別動作の内容だけを指定すればよく、それらの動作を実行するタイミングは動画像生成部２２が特徴データに含まれる鳴動タイミング情報に基づいて決定する。これにより、個々の動作のタイミングをユーザーが指定する場合と比較して、ユーザーは容易に音楽Ｍに合わせた動画像Ａを自作することができる。そのため、例えば自作の動画像Ａを他のユーザーにプレゼントしたり、複数ユーザーが同じ音楽Ｍに合わせてそれぞれ自作した動画像Ａ同士を比較して、その出来を競うコンテストを行ったりといった楽しみ方を容易に実現できる。

さらに、動画像生成部２２は、動画像再生部２３による動画像Ａの再生中にユーザーの入力部１３に対する操作入力を受け付け、その操作入力の内容に応じて動画像Ａの内容を変化させてもよい。この場合、動画像生成部２２は、動画像再生部２３による動画像Ａの再生中にリアルタイムでキャラクターオブジェクトの動作を決定し、続く動画像Ａの再生に反映させることになる。

以上の説明では、動画像生成装置１は事前に音楽Ｍ全体の特徴データを取得し終えてから動画像Ａを生成する静的処理を実行することとした。しかしながら、これに限らず動画像生成装置１は、音楽Ｍの再生中にリアルタイムで特徴データを取得しながら動画像Ａを生成してもよい。以下ではこのような手順の処理を、リアルタイム処理という。リアルタイム処理の具体例について、以下に説明する。この処理例では、動画像生成装置１はマイクロフォン等の集音装置（不図示）と接続されており、外部の音源によって再生される音楽Ｍを集音装置で録音しながら動画像Ａを生成することとする。

この処理例では、特徴データ取得部２１は、集音装置によって録音された音声データに対して、リアルタイムで周波数解析などの解析処理を実行して、音楽Ｍに含まれる音のタイミングを特定する。さらに特徴データ取得部２１は、特定された音のタイミングから、音楽Ｍの拍子、小節の長さ、及び小節の先頭のタイミングなど、音楽Ｍの周期的に繰り返されるリズムサイクルに関する情報を推定してもよい。このようなリズムサイクルの推定を行うことによって、新たに検出された音についても、そのビート種別を特定することができるようになる。具体例として、これまでに検出された音のタイミングから、時刻ｔ１に検出された音が小節の先頭のビート音（強拍）であり、１小節の長さがＴｂと推定されたものとする。この場合、特徴データ取得部２１は、その後に時刻（ｔ１＋Ｔｂ）に新たな音が鳴ったことを検出した場合、その音がやはり小節の先頭のビート音であると判定する。

このように特徴データ取得部２１が音の鳴動タイミングを検出することができれば、動画像生成部２２は、前述した静的処理の場合と同様に、各種の方法で音のタイミングに合わせてキャラクターオブジェクトが動作する様子を示す動画像Ａを生成することができる。具体的に、例えば動画像生成部２２は、音の鳴動が検出された場合、そのタイミングに合わせて直ちにキャラクターオブジェクトに所定の個別動作を実行させる動画像Ａを生成する。このとき、音の検出から、キャラクターオブジェクトの動作内容の決定、そして決定された個別動作を行う動画像Ａの表示部１４への表示までの一連の処理が十分短い時間で行われれば、実際には音の発生からわずかに遅延してキャラクターオブジェクトが動作を行ったとしても、ユーザーの目には音楽Ｍ内の音に合わせてキャラクターオブジェクトが動作しているように見える。

また、動画像生成部２２は、前述したようなリズムサイクルの推定が行われていれば、単位フレーズに合わせた定型動作をキャラクターオブジェクトに実行させることもできる。具体的に動画像生成部２２は、特徴データ取得部２１が検出したリズムサイクル１個分又はｎ個分（ｎは所定の自然数）を単位フレーズとして、その単位フレーズの長さに一致するように速度を調整した定型動作をキャラクターオブジェクトに実行させる。これにより、前述した静的処理の例と同様に、単位フレーズに合わせた定型動作をキャラクターオブジェクトが行う様子を示す動画像Ａを生成することができる。

また、このリアルタイム処理においては、音楽Ｍのビートのタイミングをユーザーが指示することとしてもよい。具体的に、ユーザーは、例えば手拍子によって音楽Ｍのビートのタイミングを指示してもよい。この手拍子の音を集音装置で集音し、周波数解析によって検出することによって、特徴データ取得部２１は、音楽Ｍの音だけを用いる場合と比較して、より精度よく音楽Ｍのリズムサイクルを推定することができる。また、ユーザーは、明示的に入力部１４に対してビートのタイミングを指示する操作入力を行うこととしてもよい。この場合、ユーザーは再生中の音楽Ｍのビートのタイミングに合わせて操作ボタンやタッチセンサに対する操作入力を行う。特徴データ取得部２１は、この操作入力のタイミングを、音楽Ｍのビートのタイミングとして特定する。これにより、精度よく音楽Ｍのリズムサイクルを特定することができる。

なお、本発明の実施の形態は以上説明したものに限られない。例えば以上の説明では動画像生成装置１が生成した動画像Ａを自身で再生することとしたが、これに限らず動画像Ａを通信ネットワーク経由で配信したりすることによって、他の再生装置で再生させることとしてもよい。この場合にも、再生装置側で音楽Ｍと同期して動画像Ａを再生することで、音楽Ｍに合わせてキャラクターオブジェクトが動作する様子を再生することができる。この場合において、動画像生成装置１は、動画像Ａのデータと音楽Ｍの音声データとを合成して一つの動画像データを生成し、外部への配信対象としてもよい。また、再生装置側で個別に入手した動画像Ａのデータと音楽Ｍの音声データとを同期再生してもよい。

Claims (7)

1. 集音装置で集音されるユーザの手拍子の音に基づいて、対象となる音楽を構成する音のタイミングを特定する特定部と、
   特定される前記タイミングから、前記音楽のリズムサイクルを推定する推定部と、
   前記リズムサイクルに基づいて新たな音の鳴動が検出されたタイミングに、前記リズムサイクル１個分又はｎ個分を単位フレーズとして、当該単位フレーズの長さに一致するよう速度を調整した動作をキャラクターオブジェクトに実行させる動画像を生成する生成部と、
   を含むことを特徴とする動画像生成装置。
2. 請求項１に記載の動画像生成装置において、
   前記キャラクターオブジェクトは複数のパーツから構成され、
   前記生成部は、前記複数のパーツのいずれかを動かして前記動画像を生成する
   ことを特徴とする動画像生成装置。
3. 請求項１又は２に記載の動画像生成装置において、
   前記生成部は、前記キャラクターオブジェクトが予め定められた定型動作を前記単位フレーズに合わせて実行する動画像を生成する
   ことを特徴とする動画像生成装置。
4. 請求項２又は３に記載の動画像生成装置において、
   前記推定部は、前記音の強さを併せて推定し、
   前記生成部は、前記複数のパーツのいずれかを前記音の強さに応じた量だけ動かして前記動画像を生成する
   ことを特徴とする動画像生成装置。
5. 請求項１から４のいずれか一項に記載の動画像生成装置において、
   前記特定部は、前記音のビート種別を併せて特定し、
   前記生成部は、前記キャラクターオブジェクトに実行させる前記リズムサイクルに応じた動作の内容を、当該音のビート種別に応じて変化させる
   ことを特徴とする動画像生成装置。
6. 集音装置で集音されるユーザの手拍子の音に基づいて、対象となる音楽を構成する音のタイミングを特定するステップと、
   特定される前記タイミングから、前記音楽のリズムサイクルを推定するステップと、
   前記リズムサイクルに基づいて新たな音の鳴動が検出されたタイミングに、前記リズムサイクル１個分又はｎ個分を単位フレーズとして、当該単位フレーズの長さに一致するよう速度を調整した動作をキャラクターオブジェクトに実行させる動画像を生成するステップと、
   を含むことを特徴とする動画像生成方法。
7. 集音装置で集音されるユーザの手拍子の音に基づいて、対象となる音楽を構成する音のタイミングを特定するステップと、
   特定される前記タイミングから、前記音楽のリズムサイクルを推定するステップと、
   前記リズムサイクルに基づいて新たな音の鳴動が検出されたタイミングに、前記リズムサイクル１個分又はｎ個分を単位フレーズとして、当該単位フレーズの長さに一致するよう速度を調整した動作をキャラクターオブジェクトに実行させる動画像を生成するステップと、
   をコンピュータに実行させるためのプログラム。

Images