JP4174028B2 - 音楽画像出力システム、音楽画像出力方法 - Google Patents

Description

本発明は、音楽とともに画像を出力するシステムなどに関するものであり、より詳しくは、生成されたオリジナルの音楽に対しても、その音楽の雰囲気に適合した画像をリアルタイムに表示させることができるようにしたシステムなどに関するものである。

一般に、カラオケ装置などのように音楽出力装置では、その音楽とともに風景画やアニメーションや音楽の演奏状態などを表示するようにしたものが多い。このような装置などとしてはカラオケ装置のほか、パーソナルコンピュータ、携帯電話などが存在するが、これらは一般的にあらかじめ音楽に対応した映像や画像を記憶しておき、その音楽が選択された場合に、この音楽に対応した画像を記憶手段から読み出して表示させるようにしたものである。また、このような画像を表示するシステムに関する文献としては下記の特許文献１に記載されるようなものが存在する。

この特許文献１に記載されたシステムは、カラオケ装置に関するものであり、リクエストされた音楽のジャンルに適合した画像をサーバの記憶手段から読み出して音楽とともに表示できるようにしたものであり、具体的には、音楽ジャンルや歌手の性別毎に基本画像をあらかじめサーバの入力者などが入力しておき、音の高さ、音量、伸ばし音などに基づいてその入力された基本画像中の雪粒の大きさを大きくさせるなどの変化を持たせるようにしたものである。
特開平８―１９０３９４号公報

ところで、これらの装置は、いずれも既に作曲された音楽に対する画像を表示させるものであり、ある程度時間的余裕を持ってサーバ側の入力者がその音楽に適合した画像を入力しておくものである。従って、このようなものでは、ユーザが独自に作曲したオリジナルの音楽に対し、それに適合した画像をリアルタイムに表示させることができなかった。

一方、音楽とともに画像をリアルタイムに出力するシステムでは、その端末装置に記憶された画像をランダムに読み出して表示させることが多く、例えば、悲しい音楽を出力するにも拘わらず明るいイメージをもった画像を表示してしまったり、もしくは、多数の楽器で構成された音楽を出力するにも拘わらずその構成楽器とは無関係の楽器で演奏されているような表示をしてしまったりする場合があった。

そこで、本発明は上記課題に着目してなされたものであり、出力される音楽の雰囲気に適合した画像をリアルタイムに読み出し、音楽とともにその音楽に適合した画像を表示させるシステムなどを提供することを目的とするものである。

すなわち、本発明は上記課題を解決すべく、音楽とともに所定の画像を出力する音楽画像出力システムにおいて、音楽の構成楽器に対応した複数の画像を記憶する記憶手段と、前記出力される音楽の各小節内における各構成楽器の出力の有無を検出し、小節内に出力音が存在すると検出された場合、当該出力音を有する構成楽器のみを含む画像を前記記憶手段から読み出す画像読出手段と、前記各小節毎に、前記画像読出手段によって読み出された画像を音楽とともに出力する出力手段とを備えるようにしたものである。

このように構成すれば、あらかじめその音楽に適合した画像を調べて入力する必要がなくなり、リアルタイムにその音楽に適合した画像を表示させることができるようになる。しかも、音楽の演奏状態を表示させる場合に、その音楽の構成楽器と無関係の楽器による演奏状態を表示させてしまうようなことがなくなり、その音楽のイメージにより適合させた画像を表示させることができるようになる。

また、このような発明において、入力されたテキストに基づいて画像付き音楽を出力できるようにする。具体的には、入力されたテキストの文字数をカウントし、そのカウント数に対応してあらかじめ用意されたメロディのテンプレートを当てはめてメロディを生成する音符列生成手段と、当該生成された音符列に対して複数の構成楽器による伴奏付けを行う伴奏データ生成手段と、伴奏付けされた各構成楽器毎における各小節毎の出力音の有無を検出し、小節内に出力音が存在すると検出された場合、当該出力音を有する構成楽器のみを含む画像を前記記憶手段から読み出す画像読出手段と、当該小節毎に、前記画像読出手段によって読み出された画像を前記伴奏付けされたメロディとともに出力する出力手段とを備えるようにする。

このようにすれば、オリジナルのテキストに基づいてオリジナルの音楽を生成することができ、また、このオリジナルの音楽に適合した画像も表示させることができるので、より趣向性の高いシステムを構築することができる。

本発明では、音楽とともに所定の画像を出力する音楽画像出力システムにおいて、音楽の構成楽器に対応した複数の画像を記憶する記憶手段と、前記出力される音楽の各小節内における各構成楽器の出力の有無を検出し、小節内に出力音が存在すると検出された場合、当該出力音を有する構成楽器のみを含む画像を前記記憶手段から読み出す画像読出手段と、前記各小節毎に、前記画像読出手段によって読み出された画像を音楽とともに出力する出力手段とを備えるようにしたので、入力者がその音楽に適合した画像を調べて入力する必要がなくなり、リアルタイムにその音楽に適合した画像を表示させることができるようになる。しかも、音楽の演奏状態を表示させる場合に、その音楽の構成楽器と無関係の楽器による演奏状態を表示させてしまうようなことがなくなり、その音楽のイメージにより適合させた画像を表示させることができるようになる。

＜第一の実施の形態＞
以下、本発明の第一の実施の形態について説明する。本実施形態における音楽画像出力システム１は、図１に示すように、端末装置２ａ、２ｂと、音楽データ生成サーバ装置３と、インターネットなどのネットワーク４などを具備して成るもので、端末装置２から音楽データ生成サーバ装置３を介して第三者の端末装置２ｂにメールを送信する際、入力したメッセージを基に音楽データ生成サーバ装置３でオリジナルの音楽を生成する。そして、その生成された音楽の構成要素である旋法や構成楽器などに基づいて相手方の端末装置２ｂにその音楽に適合した画像を表示させるようにしたものである。具体的には、音楽データ生成サーバ装置３で生成されたオリジナルの音楽が長調である場合は、明るいイメージを有する画像を端末装置２ｂに表示させ、また、生成されたオリジナルの音楽が短調である場合は、暗いイメージを有する画像を表示させる。また、その音楽がピアノ、ドラム、ベースなどの楽器で構成されている場合は、その構成楽器による実際の演奏状態を表示させるようにしたものである。以下、本実施形態における音楽画像出力システム１の具体的構成を図２のブロック図などを用いて説明する。

端末装置２ａ、２ｂは、例えば、携帯電話やパーソナルコンピュータ（図１では携帯電話のみを図示する）などによって構成されるもので、歌詞となるべきメッセージの入力などを受け付け、その受け付けたデータを音楽データ生成サーバ装置３に送信する。そして、その歌詞などに基づいて音楽データ生成サーバ装置３で生成されたオリジナルの音楽やその音楽に適合した画像を表示させるようにしたものである。そして、これらの機能を実現するため、端末装置２ａ、２ｂは以下の各手段を備える。

入力手段２０は、操作キーおよびメッセージ入力を許容するためのアプリケーションなどによって構成されもので、例えば、この端末装置２ａ、２ｂが携帯電話などで構成される場合は、テンキーなどによって構成される。そして、この入力手段２０によって、相手方に送信するメッセージのみならず、相手方の端末装置２ｂに送信する音楽のジャンルや、歌詞の表示方法などを入力する。この歌詞の表示方法としては、図１０に示すように表示させるメッセージの色を音楽の進行に合わせて変化させる方法や、表示させるメッセージの各文字をその文字に対応する音符の音高に合わせた５線譜上に表示する方法、単にメッセージをメッセージボックスなどに表示する方法などがある。また、この入力手段２０では、メッセージを送信する相手方の端末装置２ｂのメールアドレスなどを入力する。

送受信手段２１は、インターネットなどのネットワーク４を介して音楽データ生成サーバ装置３にメッセージや音楽のジャンル、歌詞の表示方法などを送信し、また、音楽データ生成サーバ装置３から送信されてきた音楽付きメッセージや表示データなどを受信する。

記憶手段２２は、端末装置２ａ、２ｂを動作させるために必要なプログラムや各種データなどを記憶するもので、例えば、この端末装置２ａ、２ｂが携帯電話で構成される場合は、その携帯電話を機能させるための実行プログラムなどの他、音楽データ生成サーバ装置３から受け取った音楽付きメッセージなどのデータや画像データなどを記憶する。この画像は、あらかじめ音楽データ生成サーバ装置３に記憶された画像をダウンロードして記憶しておくもので、その画像に対応した画像識別データを割り当てて記憶しておく。

画像読出手段２３は、音楽データ生成サーバ装置３から送信されてきたデータのうち、画像識別データを抽出し、このデータに基づいてその画像識別データに対応する画像を記憶手段２２から読み出す。

出力手段２４は、ディスプレイなどの表示出力手段およびスピーカなどの音声出力手段を具備してなるもので、メッセージや画像などを表示するとともに、その音楽データ生成サーバ装置３で生成された音楽を音声出力手段で音声出力する。

一方、音楽データ生成サーバ装置３は、端末装置２ａで入力されたメッセージを形態素解析して読み変換し、その文字数に対応した音符列を有するテンプレートを当てはめて独自のメロディを生成する。そして、この生成されたメロディに対応してコード付けを行うとともに、音楽ジャンルに対応した伴奏楽器による伴奏データを付与するものである。具体的にこの音楽データ生成サーバ装置３は、以下の各手段を具備する。

まず、受信手段３０ａは、端末装置２ａから送信されてきたメッセージや生成すべき音楽のジャンル、歌詞の表示方法などに関する情報を受信する他、この音楽付きメッセージの送信先の電子メールアドレスなどを受信する。

解析手段３１は、送信されてきたメッセージを形態素解析するものであり、例えば、図３に示すように、端末装置２ａで「この手法を適応すると、今までより自然だ」なるメッセージが入力された場合、これを平仮名変換して「この」「しゅほう」「を」「てきおう」「すると」「いままで」「より」「しぜん」「だ」などのように分解する。なお、この形態素解析については、平仮名変換により分解する方法の他に、分かち書きにより「この」「手法」「を」「適応」「すると」「今まで」「より」「自然」「だ」と分解する方法や、ローマ字変換により「kono」「shuhou」「wo」「tekiou」「suruto」「imamade」「yori」「shizen」「da」と分解するようにしても良い。

キーワード抽出手段３２は、この解析手段３１によって解析された文字構成要素の中におけるポジティブなキーワードやネガティブなキーワードの数をカウントする。例えば、あらかじめポジティブな要素の文字列として、例えば、明るいイメージを有する「嬉、うれし、楽、たのし、好、明、良、軽、南、白、上、・・・」などを登録しておき、また、ネガティブな要素の文字列として、悲しいイメージを有する「悲、かなし、嫌、暗、悪、苦、重、北、黒、下、・・・」などを登録しておく。そして、形態素解析された文字構成要素の中に、ポジティブな要素の文字列やネガティブな要素の文字列がいくつ含まれているかをカウントする。

旋法・調判定手段３３は、このポジティブな要素の文字列の数とネガティブな要素の文字列の数とを比較し、ポジティブな要素の文字列が多い場合や同数である場合は、音楽を長調で構成する。また、これとは逆にネガティブな要素の文字列の数の方が多かった場合は、音楽を短調で構成する。また、どの音を主音とするかの調については、例えば、ハ音（Ｃ）を主音とする。

音符列生成手段３４は、形態素解析された文字構成要素の文字数をカウントし、そのカウント数に応じてあらかじめ用意された音符列を有するテンプレートを当てはめてメロディを生成する。具体的には、まず１音、２音、３音、４音、５音で構成されるＣ ｍａｊｏｒおよびｃ minorのテンプレートを複数種類用意しておき、形態素解析された文字構成要素に対して、１文字を「１」とカウントし、図３に示すようにこのカウント数に対応した音数のテンプレート（ＰＴn(n=１、２、・・・））を当てはめる。この際、長調であれば長調のテンプレート群の中から抽出し、短調であれば短調のテンプレート群の中から抽出する。但し、文字構成要素のカウント数が「５」を超える場合は、文字構成要素のカウント数を「５」以下の任意のカウント数に分解してその分解されたカウント数に対応したテンプレートを抽出して当てはめる。

このテンプレートの当てはめ処理は、具体的に次のようにして行われる。すなわち、テンプレートをランダムに前方から当てはめたのでは、メロディの最終音が主音以外の音になるなど中途半端な終わり方をしてしまう可能性がある。また、Ａメロディ・Ｂメロディ・サビ・エンディングなどのような一般的な曲構造に従わないメロディになってしまう。そこで、これらの課題を解決すべく、まず、最後の文字列のカウント数を「１」とするように分割し、その部分に終止音としての主音を設定する。これにより、その音楽の終止感を持たせるようにする。そして、そこから順次前方へ向けて隣接するテンプレートの音高が自然につながるように隠れマルコフモデルを応用してテンプレートを当てはめていく。そして、最後に、このように生成されたメロディを音楽的な曲構造をもったものにすべく、あらかじめ設定されたＡメロディ・Ｂメロディ・サビ・エンディングなどといった曲構造を持ったものへの修正処理を行う。図４にこの処理の一例を述べる。

図４は、図３と同様に「この手法を適応すると、今までより自然だ」というメッセージが入力された場合のメロディの生成処理を示しており、このメッセージによって生成されたメロディをＡメロディ・Ｂメロディ・サビ・エンディングといった曲構造へ対応した修正するための処理を示したものである。この図において、曲構造中のＡからＪはメロディの音符列の集合を意味し、「’」が付与されたものは、それが付与されていない記号のメロディに類似したメロディを有するものを示している。すなわち、図４における曲構造のＢメロディでは、「Ｄ」と「Ｄ’」が存在しているため、Ｂメロディの部分では類似のメロディが繰り返し演奏されることになる。

この処理において、テンプレートの当てはめによって生成されたメロディのうち、まず、終止音をエンディングに割り当てるとともに、順に前方に向かって各テンプレートをサビ・Ｂメロディ・Ａメロディの部分に割り当てていく。なお、図４の例においては、終止音の部分については既に文字数が「１」となっているため、終止音を割り当てる分割処理は行われない。そして、Ａメロディ・Ｂメロディ・サビ内における繰り返しが存在する部分を有するテンプレートの種類を検出する。図４では、サビにおけるＧとＧ’が類似のメロディの繰り返しであるので、Ｇ’側の先頭に割り当てられたテンプレートＰＴ７と、Ｇ側の先頭に割り当てられたテンプレートＰＴ９とを検出し、それぞれの繰り返しの部分の先頭のテンプレートを同様の音符列に置き換える。図４における処理では、Ｇ’側の先頭に割り当てられたテンプレートＰＴ７をＧ側の先頭に割り当てられたテンプレートＰＴ９と同様の音符列に置き換えている。そして、これらの修正処理を行った後、最後に各小節の余った部分に休符を埋め、全体としてその曲構造に沿った自然なメロディにする。

コード生成手段３５は、生成されたメロディに付与するコードを生成する。このコードの生成においては、まず、与えられたメロディについて三和音進行に従って許容される和音進行のすべてを列挙する。この和音進行は、基本的に１小節単位で行い、長調および短調でそれぞれ利用するコードネームを定義する。このコードネームは、図５に示すように、トニック（Ｔ）、サブドミナント（ＳＤ）、ドミナント（Ｄ）毎に長調・短調のコードを分類して定義しておく。さらに、この定義されたコードから遷移可能なコードへの推奨度を示したテーブルを図６（ａ）（ｂ）のように作成しておく。この図６において、図６（ａ）は長調におけるコードの遷移表、図６（ｂ）は短調におけるコードの遷移表を示しており、縦軸は遷移前のコード、横軸は遷移後のコードを示している。また、各表内において「ＳＲ」は遷移を「強く推奨」、「Ｒ」は「推奨」、「Ａ」は「接続可」、「Ｎ」は「接続不可」とする場合を示している。そして、このように生成されたコード遷移表に基づきコード進行を生成する場合、まず、生成されたメロディに関する情報を取得して、そのメロディのシンコペーションやアプローチノートなどの判定を行う。具体的には、シンコペーションの判定に際しては、
（１）最初の音が小節内の一番最後の音符であること、
（２）２つの小節を跨いだ音符が存在していること、
（３）最初の小節４拍目以降の音でスタートしていること、
などの条件を満たした場合に、その音符をシンコペーションであると判定する。

また、アプローチノートのうち（Ａ）経過音の判定については、
（Ａ−１）対象音符の並びが常に上昇もしくは下降している状態であること、
（Ａ−２）対応音符に関し隣り合う音高が２半音以内であること、
（Ａ−３）３音の場合は、最後の音の開始時間から真ん中の開始時間の差や、真ん中の開始時間から最初の開始時間の差が規定の値（例えば、８分音符が３つ）以下であること、
（Ａ―４）対象音符の前後の音が同じ音高の場合や３半音以上離れていること、
などの条件を満たした場合に、３和音の場合は真ん中の音を経過音と判定し、また、５音の場合は２番目・４番目の音符を経過音であると判定する。

さらに、アプローチノートのうち（Ｂ）刺繍音の判定については、
（Ｂ−１）最初と最後の音が同じ音高であること、
（Ｂ−２）真ん中の音は２半音以下の音高でかつ同じ音高でないこと、
（Ｂ−３）最後の音の開始時間から真ん中の開始時間の差や、真ん中の開始時間から最初の開始時間の差が規定の値（例えば、８分音符が１つ）以下であること、
（Ｂ−４）対象音符の前後の音が同じ音高の場合もしくは３半音以上離れている場合、
などの条件を満たしている場合に、３音の真ん中の音を刺繍音と判定する。

また、同様に、他のアプローチノートとして先行音の判定処理なども行う。

そして、このように判定されたシンコペーションを考慮してコード付けを行うブロックを決定するとともに、アプローチノートを無視した音符に基づいて、図６（ａ）（ｂ）に示されたコード遷移表の推奨度の高い和音を当てはめていく。これにより、上記生成されたメロディに対してコード付けを行う。

伴奏データ生成手段３６は、ユーザによって選択された音楽ジャンルに対応する構成楽器の伴奏付けを行う。この伴奏付けは、あらかじめ音楽ジャンル毎に複数の構成楽器を割り当てておき、ユーザによって選択された音楽のジャンルに対応する構成楽器の伴奏付けを行う。例えば、ユーザによって「ジャズ」の音楽ジャンルが選択された場合は、構成楽器の音としてピアノ、ドラム、ベースを抽出し、そのうち、ピアノをメロディ音に割り当てるとともに、ドラムについては、あらかじめ用意された数種類の演奏パターンの中から任意に抽出してメロディに当てはめる。また、ベースについては、前記コード付けされた構成音を主とした音符列による伴奏付けを行うようにする。そして、これら伴奏される各構成楽器については、その伴奏データを生成する際に、図７に示すように、小節毎にそれらの構成楽器の出力音の有無を記録し、例えば、１小節内にその構成楽器の出力音が含まれている場合は、その構成楽器におけるその小節にフラグ「１」を記録し、また、１小節内にその構成楽器の出力音が含まれていない場合は、その構成楽器におけるその小節にフラグ「０」を記録する。

画像データ生成手段３７は、生成されたオリジナルの音楽の構成要素に基づいてその音楽に適合する画像に関するデータを生成する。このデータの生成に際しては、あらかじめ記憶手段に、画像データとその画像を識別するための画像識別データを記憶しておく。また、図８に示すように、ジャンル毎、旋法毎に各２種類の画像識別データ（画像ＩＤ１・画像ＩＤ２）を記憶しておく。この２種類の画像識別データとは、例えば、ピアノの鍵盤を押している状態の画像と、鍵盤から手を離している状態の画像などのようなものが記憶され、それぞれの画像を微少時間で入れ替えることによって動的な演奏状態を表示できるようにする。そして、画像識別データを生成する際は、生成された音楽のジャンルおよび旋法、各小節毎のフラグの状態を検出し、小節毎にフラグ「１」が記録されている構成楽器、すなわち、その小節内で実際に演奏されている構成楽器のみを含む画像識別データを抽出する。さらに、その生成された音楽が長調である場合は、その画像の色を白や赤などの明るい色に設定し、短調であれば、黒、茶色などの暗い色に設定するための色データを生成する。

歌詞画像生成手段３８は、送信すべきメッセージを表示させるためのデータを生成するもので、例えば、音楽の進行に伴ってそのメッセージを歌詞の色を変化させるための表示データや、その歌詞の文字をその音高に対応した５線譜に表示するためのデータ、単にメッセージをメッセージボックスなどに表示するためのデータなどを生成する。

メディアデータ生成手段３９は、このように生成されたメロディ、コード、伴奏データ、画像識別データ、色データ、歌詞の表示データなどを統合し、端末装置２ａ、２ｂへ送信可能なデータに変換する。この生成される音楽データのファイルは、端末装置２ａ、２ｂが携帯電話である場合は、その携帯電話で出力可能なファイルとして、ＳＭＡＦ（Synthetic music Mobile Application Format）、ＣＭＩＤＩ（Compact MIDI）、ＭＦｉ（Melody Format for iMode）などのファイル形式に変換される。なお、このファイルの変換作業において、受信する側の出力形式が不明な場合は、例えば、音楽データ生成サーバ装置３から受信側の端末装置２ａ、２ｂにその出力可能なファイル形式を問い合わせ、この返信を受けることによってその端末装置２ａ、２ｂに対応したフォーマットに変換するようにしても良い。

送信手段３０ｂは、このように生成された音楽データおよび表示データなどをネットワーク４を介して端末装置２ａ、２ｂに送信する。

次に、このように構成された音楽画像出力システム１を用いて、メッセージの入力から端末装置２ａ、２ｂ側で音楽付きメッセージなどを出力するまでのフローチャートを図９を用いて説明する。

まず、携帯電話などの端末装置２ａを用いて他人に音楽付きメッセージを送信する場合、そのメッセージ送信用のアプリケーションを起動させて、メッセージ送信先のアドレス、メッセージの入力を受け付ける（Ｓ１）。また、その際、このように入力されたメッセージを基に生成される音楽の希望の音楽ジャンル、歌詞の表現方法、および、音楽付きメッセージを送信する相手先のメールアドレスなどの入力を受け付ける。そして、送信ボタンの入力を受け付けることによって（Ｓ２）、これら入力されたデータを音楽データ生成サーバ装置３に送信する（Ｓ３）。

これらのデータを受信した音楽データ生成サーバ装置３では（Ｔ１）、まず、受信したデータのうち、メッセージとして入力されたテキストの情報を抽出し（Ｔ２）、このテキストを形態素解析で平仮名変換し、分かち書きをした後（Ｔ３）、文節毎のテキストの文字数をカウントする（Ｔ４）。また、このテキストの中からあらかじめ設定されたポジティブな文字列およびネガティブな文字列がいくつ含まれているかをカウントし（Ｔ４）、ポジティブな文字列の方がネガティブな文字列よりも多い場合もしくは同等である場合、これから生成する音楽の旋法を長調と設定する。また、逆にネガティブな文字列の方が多い場合は、短調と設定する（Ｔ６）。そして、このようにして設定された旋法に基づき、長調・短調毎のテンプレートの当てはめ処理を行う（Ｔ７）。そして、最後の文字列のカウント数が「１」となるように文字数を分割し、その位置に終止音である主音を設定する。そして、そこから順次前方に向かって隠れマルコフモデルを応用してテンプレートの終止音と開始音とが自然となるようなテンプレートを当てはめ、最後に開始音としてあらかじめ設定された音を有するテンプレートを当てはめる。次に、このようにして当てはめられたテンプレートを曲構造の有するものに修正すべく、あらかじめ設定された曲構造と比較して、繰り返し処理や休符の割り当て処理などを行う（Ｔ８）。そして、このようにメロディ生成処理が終わると、次に、このメロディに対応したコード付け処理（Ｔ９）を行うとともに、ユーザによって指定された音楽ジャンルに対応する構成楽器の伴奏付けを行う（Ｔ１０）。そして、このように生成された音楽に対し、その音楽の旋法や構成楽器に関する情報に基づいてこれに適合した画像識別データや色データを生成する（Ｔ１１）。また、ユーザによって指定された歌詞の表現方法に従って歌詞の表示データを生成し（Ｔ１２）、これらメロディ、コード、伴奏データ、画像識別データ、色データ、歌詞の表示データなどを統合し、端末装置２でこれらを出力できるフォーマットに変換した後（Ｔ１３）、視聴用として一旦送信元の端末装置２ａに送信する（Ｔ１４）。そして、その端末装置２ａがこれらのデータを受信して（Ｓ４）視聴用に出力（Ｓ５）した後、そのユーザによる送信許可（Ｓ６）の信号が送られてきたことを条件に（Ｓ７、Ｔ１５）、この生成した音楽付きメッセージや画像識別データ、色データ、歌詞の表示データなどをその相手先の端末装置２ｂに送信する（Ｔ１６）。

これらのデータを受信した端末装置２ｂ側では（Ｓ１０）、一旦、送信されてきたデータを記憶手段２２に記憶する（Ｓ１１）とともに、音楽付きメッセージの出力指示がなされることを条件に（Ｓ１２）、送信されてきた音楽を音声出力する。その際、音楽の進行に同期して画像識別データに基づいて記憶手段２２から画像データを読み出し、受信した色データに基づいた色彩変更をした後、その音楽に対応した画像を表示する（Ｓ１３）。そして、その画像の下方側に、音楽データ生成サーバ装置３から送信されてきた歌詞の表現データに基づいて図１０に示すような歌詞を表示し、音楽の進行に従った歌詞の表示を行う。

＜第二の実施の形態＞
次に、本発明における第二の実施の形態について説明する。この第二の実施の形態は、上記第一の実施の形態において相手方の端末装置２ｂに音楽付きメッセージを送信していたものを送信元の端末装置２ａにのみ送信するようにしたものである。すなわち、相手方の端末装置２ｂに歌詞としてのメールを送信するのではなく、自分自身で作成した歌詞に基づいて音楽を生成し、その音楽を自分で楽しめるようにしたものである。

この第二の実施の形態においては、基本的に第一の実施の形態の構成と同じ構成を用いて実現することができる。すなわち、端末装置２ａには、第一の実施の形態と同様に入力手段２０、送受信手段２１、記憶手段２２、画像読出手段２３、出力手段２４を有し、音楽データ生成サーバ装置３についても同様に、受信手段３０ａ、解析手段３１、キーワード抽出手段３２、旋法・調判定手段３３、音符列生成手段３４、コード生成手段３５、伴奏データ生成手段３６、画像データ生成手段３７、歌詞画像生成手段３８、メディアデータ生成手段３９、送信手段３０ｂを有する。そして、第一の実施の形態で説明した図９のフローチャートに対して第二の実施の形態では図１１のフローチャートに基づく処理を行い、音楽データ生成サーバ装置３で生成された音楽をステップＴ１４で送信し、これを送信元の端末装置２ａで受信することによってその端末装置２ａで音楽と画像を同期出力できるようにする。この図１１において、図９のフローチャートと同じ符号を示したものは図９と同じ処理を示しており、説明に際しては音楽データ生成処理などの重複した説明を省略する。

図１１の音楽データ生成サーバ装置３のステップＴ１４において、音楽データ生成サーバ装置３から送信された音楽データなどを端末装置２ａで受信した場合（Ｓ４）、その受信した音楽データなどを端末装置２ａ側で視聴可能に出力する（Ｓ５）。そして、この視聴に基づき、この生成された音楽をダウンロードするか否かの入力を受け付け（Ｓ６）、その結果を音楽データ生成サーバ装置３に送信する（Ｓ７）。そして、音楽データ生成サーバ装置３側では、端末装置２から「ＯＫ」の信号が送信されてきた場合（Ｔ１５：ＯＫ）、その音楽データ生成サーバ装置３で生成した音楽データなどを端末装置２ａに送信し（Ｔ１６）、一方、端末装置２ａから「ＮＧ」の信号が送信されてきた場合は（Ｔ１５：ＮＧ）、ステップＴ７に戻ってテンプレートの当てはめからの処理を行い、端末装置２ａから「ＯＫ」の信号が送信されてくるまでこの処理を繰り返す（Ｔ７〜Ｔ１６）。そして、「ＯＫ」の信号に基づいて音楽データ生成サーバ装置３から端末装置２ａに音楽データなどが送信された場合（Ｔ１６、Ｓ１４）、その受信した音楽データなどを記憶手段２２に記憶させ（Ｓ１５）、端末装置２ａの入力手段２０を用いて出力の指示がなされることを条件に（Ｓ１６）、記憶手段２２に記憶された情報を読み出してその音楽データを画像とともに同期して出力させる（Ｓ１７）。

このように本実施の形態によれば、音楽とともに所定の画像を出力する音楽画像出力システム１において、音楽の構成楽器に対応した複数の画像を記憶する記憶手段２２と、前記出力される音楽の各小節内における各構成楽器の出力の有無を検出し、小節内に出力音が存在すると検出された場合、当該出力音を有する構成楽器のみを含む画像を前記記憶手段２２から読み出す画像読出手段２３と、前記各小節毎に、前記画像読出手段２３によって読み出された画像を音楽とともに出力する出力手段２４とを備えるようにしたので、あらかじめ入力者がその音楽に適合した画像を調べて入力する必要がなくなり、リアルタイムにその音楽に適合した画像を表示させることができるようになる。しかも、音楽の演奏状態を表示させる場合に、その音楽の構成楽器と無関係の楽器による演奏状態を表示させてしまうようなことがなくなり、その音楽のイメージにより適合させた画像を表示させることができるようになる。

また、上記実施の形態では、入力されたテキストの文字数をカウントし、そのカウント数に対応してあらかじめ用意されたメロディのテンプレートを当てはめてメロディを生成する音符列生成手段３４と、当該生成された音符列に対して複数の構成楽器による伴奏付けを行う伴奏データ生成手段３６と、伴奏付けされた各構成楽器毎における各小節毎の出力音の有無を検出し、小節内に出力音が存在すると検出された場合は、当該出力音を有する構成楽器のみを含む画像を前記記憶手段２２から読み出す画像読出手段２３と、当該小節毎に、前記画像読出手段２３によって読み出された画像を前記伴奏付けされたメロディとともに出力する出力手段２４とを備えるようにしたので、オリジナルのテキストに基づいてオリジナルの音楽を生成することができるとともに、そのオリジナルの音楽に適合した画像も表示させることができる。これにより、趣向性の高いシステムを構築することができるようになる。

なお、本発明は上記実施の形態に限定されることなく種々の形態で実施することができる。

例えば、上記実施の形態では、音楽の構成要素として、音楽の旋法やその構成楽器などに関する情報を例に挙げて説明したが、音楽の他の構成要素を用いてその音楽に適合した画像を表示させることもできる。例えば、その他の構成要素として、音楽のテンポ、メロディの平均音高などを用いた場合は、早いテンポの音楽に対応して、早い動きをイメージさせる画像を表示させるようにしても良い。また、高い平均音高を有する音楽に対応して、例えば、金属色などのような冷たさをイメージさせる画像を表示させるようにしても良い。

また、上記実施の形態では、あらかじめ音楽ジャンル毎に構成楽器を設定しておき、指定された音楽ジャンルに対応する構成楽器の画像識別データを抽出して端末装置２ａ、２ｂに表示させるようにしているが、例えば、生成された音楽の周波数帯域毎の出力波形などから構成楽器を推測し、その推測された構成楽器による演奏状態を端末装置２に表示させるようにしても良い。

さらに、上記実施の形態では、旋法に基づいて画像の色を変える場合について説明したが、これに限らず、旋法が短調である場合は、悲しいイメージを有する画像を表示させるようにすることもでき、また、長調である場合は、明るいイメージを有する画像を表示させるようにすることもできる。

加えて、上記実施の形態では、音楽画像出力システム１として、端末装置２ａ、２ｂと音楽データ生成サーバ装置３で構成したが、これに限らず、これらの機能を集約した１台の装置で構成することもできる。この場合、本発明との関係において、その１台に集約された装置が音楽画像出力システムとなる。

また、上記実施の形態では、あらかじめその端末装置２ａ、２ｂに画像データを記憶させておき、音楽データ生成サーバ装置３から送信されてきた画像識別データに基づいてその画像を表示させるようにしたが、これに限らず、瞬時に大量のデータの送信が可能な場合は、直接音楽データ生成サーバ装置３から端末装置２ａ、２ｂに画像を送信するようにしても良い。

本発明の一実施の形態を示す音楽画像出力システムの概観図 同形態における端末装置および音楽データ生成サーバ装置の機能ブロック図 同形態における解析手段の形態素解析およびテンプレートの当てはめ処理を示す図 同形態における曲構造に対応した修正処理を示す図 同形態におけるコードネームの定義づけを示す図 同形態におけるコードの遷移を示す図 同形態における音楽データ生成の際のトラック情報を示す図 同形態における音楽データ生成サーバ装置に記憶されるデータを示す図 同形態における音楽画像出力システムのフローチャートを示す図 同形態における歌詞の表示方法の例を示す図 第二の実施の形態における音楽画像出力システムのフローチャートを示す図

符号の説明

１・・・音楽画像出力システム
２ａ、２ｂ・・・端末装置
３・・・音楽データ生成サーバ装置
２２・・・端末装置の記憶手段
２３・・・画像読出手段
２４・・・出力手段
３０ｂ・・・送信手段
３３・・・旋法・調判定手段
３６・・・伴奏データ生成手段
３７・・・画像データ生成手段

Claims (4)

1. 音楽とともに所定の画像を出力する音楽画像出力システムにおいて、
   音楽の構成楽器に対応した複数の画像を記憶する記憶手段と、
   前記出力される音楽の各小節内における各構成楽器の出力の有無を検出し、小節内に出力音が存在すると検出された場合、当該出力音を有する構成楽器のみを含む画像を前記記憶手段から読み出す画像読出手段と、
   前記各小節毎に、前記画像読出手段によって読み出された画像を音楽とともに出力する出力手段とを備えたことを特徴とする音楽画像出力システム。
2. 入力されたテキストに基づいてメロディを生成し、当該生成されたメロディとともに所定の画像を出力する音楽画像出力システムにおいて、
   音楽の構成楽器に対応した複数の画像を記憶する記憶手段と、
   前記入力されたテキストの文字数をカウントし、そのカウント数に対応してあらかじめ用意されたメロディのテンプレートを当てはめてメロディを生成する音符列生成手段と、
   当該生成された音符列に対して複数の構成楽器による伴奏付けを行う伴奏データ生成手段と、
   伴奏付けされた各構成楽器毎における各小節毎の出力音の有無を検出し、小節内に出力音が存在すると検出された場合、当該出力音を有する構成楽器のみを含む画像を前記記憶手段から読み出す画像読出手段と、
   当該小節毎に、前記画像読出手段によって読み出された画像を前記伴奏付けされたメロディとともに出力する出力手段とを備えたことを特徴とする音楽画像出力システム。
3. 音楽とともに所定の画像を出力する音楽画像出力方法において、
   音楽の構成楽器に対応した複数の画像を記憶しておき、
   前記出力される音楽の各小節内における各構成楽器の出力の有無を検出し、小節内に出力音が存在すると検出された場合、当該出力音を有する構成楽器のみを含む画像を読み出すステップと、
   前記各小節毎に、前記読み出された画像を音楽とともに出力するステップとを備えたことを特徴とする音楽画像出力方法。
4. 入力されたテキストに基づいてメロディを生成し、当該生成されたメロディとともに所定の画像を出力する音楽画像出力方法において、
   音楽の構成楽器に対応した複数の画像を記憶しておき、
   前記入力されたテキストの文字数をカウントし、そのカウント数に対応してあらかじめ用意されたメロディのテンプレートを当てはめてメロディを生成するステップと、
   当該生成された音符列に対して複数の構成楽器による伴奏付けを行うステップと、
   伴奏付けされた各構成楽器毎における各小節毎の出力音の有無を検出し、小節内に出力音が存在すると検出された場合、当該出力音を有する構成楽器のみを含む画像を読み出すステップと、
   当該小節毎に、前記読み出された画像を前記伴奏付けされたメロディとともに出力するステップとを備えたことを特徴とする音楽画像出力方法。

Images