JP3844627B2 - 音楽検索システム - Google Patents
音楽検索システム Download PDFInfo
- Publication number
- JP3844627B2 JP3844627B2 JP32644799A JP32644799A JP3844627B2 JP 3844627 B2 JP3844627 B2 JP 3844627B2 JP 32644799 A JP32644799 A JP 32644799A JP 32644799 A JP32644799 A JP 32644799A JP 3844627 B2 JP3844627 B2 JP 3844627B2
- Authority
- JP
- Japan
- Prior art keywords
- song
- pitch
- search key
- change
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
- Electrophonic Musical Instruments (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、多数の曲データを収録した曲データベースから目的とする曲を検索する音楽検索システムに関し、特にマイク等から入力されたメロディーを検索キーとして目的とする曲を曖昧検索する音楽検索システムに関する。
【０００２】
【従来の技術】
従来、カラオケでは、曲毎に固有の番号を付加しておき、曲名や歌手名から曲の番号を探すことができるようにした冊子を用いて所望の曲を選択できるようにしている。
しかし、曲名がわからない場合や冊子が手元にない場合は所望の曲を探すことができない。そこで、歌声、鼻歌、ハミング又は楽器音等（以下、単に「メロディ」という）をマイクから入力し、曲データベースに収録された多数の曲データから所望の曲を検索することが提案されている。
【０００３】
例えば、特開平８−１２９３９３号公報には、マイクから入力されたメロディを旋律データ（音程の経時的変化を表わす数値データ）に変換し、曲データベースに収録された曲の旋律データと比較することにより曲を検索することが記載されている。また、特開平９−２９３０８３号公報には、マイクから入力されたメロディを音程データ及びリズムデータに変換し、曲データベースに収録された曲の音程データ及びリズムデータとを比較して、１小節毎に類似率を算出することが記載されている。更に、特開平８−１６０９７５号公報には、マイクから入力されたメロディの音程の相対的変化を求め、曲データベースに収録された曲の音程の相対的変化と比較して曲を検索することが記載されている。いずれの場合も、入力されたメロディの音程が収録曲の音程と完全に一致していなくても、検索が可能になっている。
【０００４】
【発明が解決しようとする課題】
上述した従来の技術では、いずれもマイクから入力されたメロディを１音づつ分割して旋律データ又は音程データとリズムデータとを作成し、収録曲のデータと比較している。
しかしながら、人間の歌声（鼻歌及びハミングを含む）には半音程度のビブラートがあることが多い。このため、マイクから入力された人間の歌声を１音毎に分析すると極めて複雑になり、曲データベースに収録されている曲データとの比較照合が難しくなる。
【０００５】
以上から本発明の目的は、マイク等から入力された人間の歌声（鼻歌やハミングを含む）を基に所望の曲をより確実に検索することができる音楽検索システムを提供することである。
【０００６】
【課題を解決するための手段】
上記した課題は、音楽検索に使用する検索キーの作成方法において、曲の旋律データから音程の変化の頂点を抽出し、それらの頂点から誤差範囲Ｅを超えて音程が変化した頂点を代表点として抽出し、それらの代表点の音程の変化をその変化の大きさによって分類し、その結果に基づいて音程の変化を示す分木データを作成し、前記分木データを数値化して検索キーを作成することを特徴とする音楽検索キーの作成方法により解決する。
また、上記した課題は、複数の曲データを収録した曲データ収録手段と、前記曲データ収録手段に収録された曲の音程の変化に基づいて作成された収録曲検索キーを格納した収録曲検索キー格納手段と、入力された信号をデジタルの旋律データに変換する旋律認識手段と、前記旋律認識手段から出力される前記旋律データの音程の変化に基づいて入力曲検索キーを作成する検索キー作成手段と、前記入力曲検索キーと前記収録曲検索キー格納手段に格納された前記収録曲検索キーとを比較する検索手段とを有し、前記収録曲検索キーが、曲の旋律データから音程の変化の頂点を抽出し、それらの頂点から誤差範囲Ｅを超えて音程が変化した頂点を代表点として抽出し、それらの代表点の音程の変化をその変化の大きさによって分類し、その結果に基づいて音程の変化を示す分木データをフレーズ毎に作成し、それらの分木データを重ね合わせ、その結果を数値化して作成されたものであり、前記検索キー作成手段は、前記旋律データから音程の頂点を抽出し、それらの頂点から誤差範囲Ｅを超えて音程が変化した頂点を代表点として抽出し、それらの代表点の音程の変化をその変化の大きさによって分類し、その結果に基づいて音程の変化を示す分木データを作成し、前記分木データを数値化して前記入力曲検索キーを作成することを特徴とする音楽検索システムにより解決する。
【０００７】
以下、本発明の作用について説明する。
本発明においては、検索キー作成手段が、旋律認識手段から出力される旋律データを基に音程（音高）の変化を簡略化して表わす入力曲検索キーを作成する。また、収録曲検索キーデータベースには、曲データベースに収録された曲の音程の変化を簡略化して表わす収録曲検索キーを格納している。そして、検索手段により、入力曲検索キーと収録曲検索キー格納手段に格納されている収録曲検索キーとを比較照合して、目的とする曲を検索する。
【０００８】
このように、本発明においては、マイク等から入力されたメロディと収録曲の旋律とを１音毎に比較するのではなく、入力音の音程（音高）の変化を簡略化した入力曲検索キーと、収録曲の音程の変化を簡略化した収録曲検索キーとを比較照合して目的とする曲を検索するので、簡略化の際に細かな音程の変化が省略される。これにより、細かな音程の変化に起因する検索ヒット率の低下が回避される。例えば、音程の誤差範囲を決めて、その誤差範囲内の音程の変化を省略することにより、ビブラートの影響を取り除くことができる。
【０００９】
また、本発明においては、絶対音階でなく相対的な音程の変化を検索キーとするので、例えばマイク等から入力されたメロディのキー（調）がずれていても、音程の変化の傾向が間違っていなければ所望の曲を検索することができる。
検索キーの作成方法としては、例えば旋律データの音程の変化を調べて音程の変化の頂点を抽出し、これらの頂点から音程の誤差範囲Ｅを超えて音程が変化した頂点を代表点として抽出して、これらの代表点に着目した音程の変化を表わす検索キーを作成する。このようにして作成された検索キーは、曲の音程の変化の傾向が表わされており、細かな音程の変化が省略されている。収録曲検索キー及び入力曲検索キーを同じアルゴリズムで作成して、入力曲検索キーと収録曲検索キーとを比較照合することにより、目的とする曲をより確実に検索することができる。
【００１０】
ところで、一般的な楽曲では、音域の範囲が１オクターブから２オクターブ程度であることが多く、ある代表点から次の代表点への音程（音高）の変化が上向きであるときは、更に次の代表点への音程の変化が上向きとなる可能性は、下向きとなる可能性に比べて小さくなる。この場合は、音高の変化が上向きのときの分類を荒くし、下向きのときの分類に細かくすることにより、検索キーのもつ情報量を効率よく上げることができる。また、ある代表点から次の代表点への音程の変化が下向きであるときは、更に次の代表点への音程の変化が下向きとなる可能性は、上向きとなる可能性に比べて小さくなる。この場合は、音高の変化が下向きのときの分類を荒くし、上向きのときの分類を細かくすることにより、検索キーの持つ情報量を効率よく上げることができる。
【００１１】
このように、ある代表点から次の代表点への音程の変化が上向きか下向きかに応じて更に次の代表点への音程の変化の評価アルゴリズムを変えることにより、検索キーのもつ情報量を効率よく上げることができて、より一層正確な楽曲の検索が可能となる。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態について、添付の図面を参照して説明する。
（第１の実施の形態）
図１は本発明の第１の実施の形態の音楽検索システムの構成を示すブロック図である。なお、本実施の形態は本発明をカラオケに適用した例を示す。
【００１３】
この音楽検索システムは、通信回線を介して接続されたサーバ２０及び端末装置１０により構成されており、サーバ２０には多数の曲データを磁気記録装置等に収録してなる曲データベース２１が構築されている。本実施の形態では、サーバ２０にはＭＩＤＩ（musical instrument digital interface）形式で曲データが収録されているものとする。
【００１４】
端末装置１０は、マイク１１、旋律認識部１２、検索エンジン１３、表示部１４、キー作成部１５及び検索キーデータベース１６により構成されている。マイク１１に入力された歌声、鼻歌、ハミング又は楽器音は、アナログの電気信号に変換されて旋律認識部１２に入力される。旋律認識部１２は、入力されたアナログの電気信号をＡ／Ｄ（アナログ−デジタル）変換して数秒間分保持する。そして、保持したデジタル信号を例えば高速フーリエ変換（Fast Fourier Transform）してデジタルの旋律データに変換する。
【００１５】
キー作成部１５は、旋律認識部１２から旋律データを入力して、後述するアルゴリズムにより検索キー（入力曲検索キー）を作成する。また、キー作成部１５は曲データベース２１からＭＩＤＩデータを入力し、入力曲検索キーの作成アルゴリズムと同様のアルゴリズムで収録曲の検索キー（収録曲検索キー）も作成する。
【００１６】
キー作成部１５で作成された収録曲検索キーは検索キーデータベース１６に格納される。予め、検索キーデータベース１６には、曲データベース２１に収納されている全ての曲の検索キーを格納しておくことが好ましいが、サーバ２０から端末装置１０に新しい曲が呼び出されるたびにその曲の収録曲検索キーを作成するようにしてもよい。また、予めサーバ２０又はその他の装置により作成された収録曲検索キーを検索キーデータベース１６に転送して格納してもよい。
【００１７】
また、入力曲検索キーは、キー作成部１５から旋律認識部１２を介して検索エンジン１３に伝達される。検索エンジン１３は、入力曲検索キーと検索キーデータベース１６に記録されている収録曲検索キーとを比較照合して該当する曲を検索し、その検索結果を表示部１４に表示する。
なお、端末装置１０はマイクロコンピュータと該マイクロコンピュータの動作手順を決めるソフトウェアを記録した記録装置とを有しており、旋律認識部１２はＡ／Ｄコンバータ等のハードウェアとソフトウェアとにより実現され、検索エンジン１３及びキー作成部１５はソフトウェアにより実現され、検索キーデータベース１６は磁気記録装置とそれに記録された収録曲検索キーとにより実現される。
【００１８】
以下、検索キーの作成アルゴリズムについて説明する。以下の例は、曲データベース２１に収録された曲データから収録曲検索キーを作成する場合について説明する。なお、この例に使用した曲は「ちょうちょう」である。
まず、キー作成部１５は、サーバ２０から曲データ（ＭＩＤＩデータ）を入力すると、音高（音程）の時間に対する変化を調べる。図２（ａ）はサーバ２０から入力された曲データの旋律（簡略化前の旋律）を示す模式図であり、横軸が時間、縦軸が音高である。この例では、１オクターブを半音毎の１２音に分割しており、半音を１単位としている。なお、マイク１１からメロディを入力した際に旋律認識部１２からキー作成部１５に出力される旋律データも、これと同様のデータ形式である。
【００１９】
キー作成部１５では、図２（ａ）に示すような旋律データをフレーズに分割する。ここでは、図２（ｂ）に示すように、４小節単位で付点四分音符以上の長さ（時間）があるところをフレーズの区切りとしている。なお、ＭＩＤＩデータに含まれるデータにより１小節を判別して一定数の小節毎にフレーズを区切ってもよい。
【００２０】
次に、図２（ｃ）に示すように、各フレーズの旋律データを簡略化する。旋律データの簡略化は、以下の４つのステップによる。
▲１▼第１ステップ
旋律データの頂点（山及び谷）を抽出する。例えば、旋律データの頂点は図３中に（１）から（２１）の数字で示した部分である。旋律認識部１２は、旋律データから各頂点の位置（時間及び音高）を抽出して記憶する。
【００２１】
▲２▼第２ステップ
音程の誤差範囲をＥとし、各頂点のうちＥ／２の範囲を超えて変化する頂点を抽出して代表点とする。例えば、Ｅ＝２（半音２つ分）とした場合に、図３において、（２）の頂点と（３）の頂点との音高差は１であるので、（３）の頂点は抽出されず、第１のフレーズで抽出される頂点は、（１）、（２）、（４）、（５）の４つであり、これらの頂点が第１のフレーズの代表点となる。これと同様に、第２のフレーズの代表点は、（６）、（７）、（９）、（１０）、（１１）の５つであり、第３のフレーズの代表点は、（１２）、（１３）、（１５）の３つであり、第４のフレーズの代表点は、（１６）、（１７）、（１９）、（２０）、（２１）の５つである。
【００２２】
▲３▼第３ステップ
簡略化された旋律データから各フレーズ毎に４分木データを作成する。ここでは、音程移動のしきい値をＷとし、各フレーズ毎に代表点と次の代表点との音高の差が＋Ｗを超えて変化する場合、０〜＋Ｗの範囲内である場合、０〜−Ｗの範囲内である場合、及び−Ｗを超えて変化する場合の４つに分類する。すなわち、各代表点毎に選択可能な枝が４つあり、次の代表点との音高差により４つの枝から１つの枝のみを選択する。そして、各代表点毎に４つの枝からいずれか１つの枝を選択して、フレーズ毎の４分木データを作成する。
【００２３】
図４（ａ）は、Ｅ＝２、Ｗ＝５としたときの第１のフレーズの４分木データであり、破線及び実線で示す枝が各代表点毎に用意された４つの枝を示し、実線で示す枝が次の代表点との音高差により選択された枝を示す。第１のフレーズの代表点（１）と代表点（２）との間の音高の変化は０〜−Ｗの範囲内であるので、４つの枝のうちの上から３番目の枝が選択される。また、代表点（２）と代表点（４）との間の音高の変化も０〜−Ｗの範囲内であるので、上から３番目の枝が選択される。更に、代表点（４）と代表点（５）との間の音高の変化は＋５を超えるので、上から１番目の枝が選択される。これらの枝をつなげて描画すると、図４（ａ）に示す４分木データとなる。
【００２４】
第２〜第４のフレーズについても、同様に４分木データを作成する。図４（ｂ）は第２のフレーズの４分木データであり、図４（ｃ）は第３のフレーズの４分木データ、図４（ｄ）は第４のフレーズの４分木データである。
▲４▼第４ステップ
第１〜第４のフレーズの各４分木データをマージする。すなわち、第１のフレーズの４分木データに、第２〜第４のフレーズの４分木データを重ね合わせる。この例では、第１のフレーズの分木データに第２〜第４のフレーズの分木データをマージすると、図５に示すように、第１の枝分かれ位置（ポインタ）及び第２の枝分かれ位置（ポインタ）ではそれぞれ２つの枝が選択されている。
【００２５】
このようにして、作成した４分木データを数値化して検索キー（収録曲検索キー）とし、曲名又は曲の番号と関連付けて検索キーデータベース１６に記憶する。分木データを数値化する場合、この例では、各枝分かれ位置に選択可能な４つの枝があり、枝分かれ位置が４つあるので、例えば検索キーのデータは順に０１１０ ０１１０ １０００ ００１０の１６ビットとなる。このように、各フレーズの４分木データをマージすることにより、収録曲検索キーのビット数を削減できて、検索キーデータベース１６の記憶容量を削減することができる。なお、実際には端末用データとして０（NULL）を用いるため、検索キーのビット数は１６ビットよりも少し多くなる。
【００２６】
誤差範囲Ｅ及びしきい値Ｗの値を変えて、上記の第２〜第４ステップを繰り返し、１つの曲に対し複数の検索キーを用意する。上記の例ではＥ＝２、Ｗ＝５としたが、Ｅの値又はＷの値のいずれか一方又は両方を変化させた条件で１つの曲に対し１０種類程度の検索キーを用意しておく。この場合、１つの検索キーのビット数は１６ビットであるので、１曲に対し複数の検索キーを用意しても、データ量は極めて少ない。
【００２７】
一方、マイクから入力したメロディ（歌声、鼻歌、ハミング又は楽器音等）は、旋律認識部１２でサンプリングしてデジタルの旋律データに変換する。このデジタルの旋律データから、キー作成部１５で、収録曲検索キーの作成アルゴリズムと同様のアルゴリズムにより入力曲検索キーを作成する。但し、マイクから入力されるメロディは１フレーズ程度であると考えられるので、フレーズ毎の分木データをマージする必要がなく、図５に示す分木データと異なり、１つの枝分かれ位置で２以上の枝が選択されることはない。
【００２８】
検索エンジン１３は、入力曲検索キーと収録曲検索キーとを比較し、検索キーが一致する収録曲を抽出する。但し、マイク１１から入力されるメロディは１フレーズ未満の場合もあるので、フレーズの途中まで一致していれば（例えば、３番目の枝分かれ位置まで一致していれば）、検索条件に合致したものとみなす。また、検索エンジン１３は、誤差範囲Ｅ及びしきい値Ｗの値が同じ検索キー同士を比較することが必要である。例えば、１０種類の検索キーがあれば、各検索キーについて入力曲検索キーと収録曲検索キーとを比較照合し、１０のうち８つの検索キーが一致すれば一致率を８０％とする。
【００２９】
このようにして、検索エンジン１３は例えば一致率が７０％以上の曲を検索候補とし、一致率（照合度合い）が高いものから降順にソートして表示部１４に曲名と一致率とを表示する。ユーザは、必要に応じて、違うフレーズのメロディを入力することにより、更に検索候補を絞り込むこともできる。そして、表示部１４に表示された１又は複数の検索候補からユーザが所望の曲を指定すると、端末装置１０からサーバ２０に曲データ転送要求が出力され、サーバー２０から端末装置１０に曲データが伝送されて、図示しない演奏装置により曲の演奏が開始される。
【００３０】
本実施の形態においては、上述の如く、曲データベース２１に収録された曲データ及びマイク１１から入力されたメロディの両方を同じアルゴリズムで簡略化して収録曲検索キー及び入力曲検索キーを作成し、入力曲検索キーと収録曲検索キーとを比較照合して所望の曲を検索するので、例えばマイクからメロディを入力する際に音程が細かく変化しても、所望の曲を検索することができる。また、本実施の形態においては、誤差範囲Ｅ及びしきい値Ｗの値を変えて１つの曲につき複数の検索キーを作成するので、所望の曲をある程度絞り込むことができて、検索ヒット数が多くなることが回避される。また、検索キーのビット数が少ないので、検索を高速で行うことができる。更に、本実施の形態では、簡略化した音程の変化により曲を検索するので、類似した曲の検索も可能である。
【００３１】
（第２の実施の形態）
以下、本発明の第２の実施の形態について説明する。
本実施の形態においては、第１の実施の形態で説明した第１〜第４ステップのうち、第３ステップのアルゴリズムが異なることにあり、第１の実施の形態と重複する部分の説明は省略する。
【００３２】
通常の楽曲では、音域の範囲が１オクターブから２オクターブ程度の範囲に限られることが多い。このため、ある代表点（第１の代表点）から次の代表点（第２の代表点）への音程の変化が上向きであるとすると、第２の代表点から次の代表点（第３の代表点）への音高の変化が上向きであることは比較的少なく、音高の変化が下向きの可能性が大きい。これと同様に、ある代表点（第１の代表点）から次の代表点（第２の代表点）への音高の変化が下向きであるとすると、第２の代表点から次の代表点（第３の代表点）への音高の変化が下向きであることは比較的少なく、音高の変化が上向きの可能性が大きい。
【００３３】
このため、第１の代表点から第２の代表点への音高の変化が上向きの場合は、第２の代表点から第３の代表点への音高の変化が下向きの場合を更に詳しく分類し、第１の代表点から第２の代表点への音高の変化が下向きの場合は、第２の代表点から第３の代表点への音高の変化が上向きの場合を更に詳しく分類することによって、検索キーのもつ情報量をより効率的に上げることができる。
【００３４】
以下、より具体的に説明する。
本実施の形態においては、音程の誤差範囲Ｅと、３つのしきい値Ｗ、Ｗ1 ，Ｗ2 （但し、０＜Ｗ1 ＜Ｗ2 ）とにより、分木データを作成する。
まず、第１の実施の形態と同様にして代表点を抽出する。すなわち、旋律データの頂点を抽出した後、各頂点のうち音高がＥ／２を超えて変化する頂点を抽出して代表点とする。
【００３５】
その後、フレーズの最初の代表点（第１の代表点）から次の代表点（第２の代表点）への音高の変化に基づく枝の選択は、第１の実施の形態と同様に行う。すなわち、第１の代表点から第２の代表点への音高の変化が＋Ｗを超える場合は、上から１番目の枝を選択する。第１の代表点から第２の代表点への音高の変化が０〜＋Ｗの範囲内であれば、上から２番目の枝を選択する。第１の代表点から第２の代表点への音高の変化が０〜−Ｗの範囲内であれば、上から３番目の枝を選択する。第１の代表点から第２の代表点への音高の変化が−Ｗを超える場合は、上から４番目の枝を選択する。
【００３６】
第２の代表点から第３の代表点への音高の変化に基づく枝の選択は、第１の代表点から第２の代表点への音高の変化の方向に応じて、下記の２つの音程の変化の評価アルゴリズムのいずれか一方のアルゴリズムを用いて決定する。
▲１▼第１の評価アルゴリズム（第１の代表点から第２の代表点への音高の変化が上向きの場合）
第２の代表点から第３の代表点への音高の変化が上向きの場合は、上から１番目の枝を選択する。第２の代表点から第３の代表点への音高の変化が０〜−Ｗ1 の範囲内のときは、上から２番目の枝を選択する。第２の代表点から第３の代表点への音高の変化が−Ｗ1 〜−Ｗ2 の範囲内のときは、上から３番目の枝を選択する。第２の代表点から第３の代表点への音高の変化が−Ｗ2 より小さいときは、上から４番目の枝を選択する。
【００３７】
▲２▼第２の評価アルゴリズム（第１の代表点から第２の代表点への音高の変化が下向きの場合）
第２の代表点から第３の代表点への音高の変化がＷ2 より大きいときは、上から１番目の枝を選択する。第２の代表点から第３の代表点への音高の変化がＷ1 〜Ｗ2 の範囲内のときは、上から２番目の枝を選択する。第２の代表点から第３の代表点への音高の変化が０〜Ｗ1 の範囲内のときは、上から３番目の枝を選択する。第２の代表点から第３の代表点への音高の変化が下向きのときは、上から４番目の枝を選択する。
【００３８】
いずれも場合も、選択した枝に沿って次の枝分かれ位置まで移動する。そして、第３の代表点以降についても、上記と同様にして枝を選択し、１フレーズ毎に分木データを作成する。
図６（ａ）は、Ｅ＝２、Ｗ＝５、Ｗ1 ＝４．５、Ｗ2 ＝６．５としたときの第１のフレーズの４分木データである。図中、破線及び実線で示す枝が各代表点毎に用意された４つの枝を示し、実線で示す枝が次の代表点との音高差により選択された枝を示す。例えば、第１のフレーズの代表点（１）から代表点（２）への音高の変化が０〜−Ｗの範囲内であるので、上から３番目の枝が選択される。次の枝分かれ位置では、代表点（１）から代表点（２）への変化が下方向の変化であり、かつ代表点（２）から代表点（４）への音高の変化が下向きであるので、上から４番目の枝が選択される。次の枝分かれ位置では、代表点（２）から代表点（４）の変化が下方向の変化であり、且つ代表点（４）から代表点（５）への音高の変化がＷ2 を超えるので、上から１番目の枝が選択される。これらの枝をつなげて描画すると、図６（ａ）に示す４分木データとなる。
【００３９】
第２〜第４のフレーズについても、同様に４分木データを作成する。図６（ｂ）は第２のフレーズの４分木データであり、図６（ｃ）は第３のフレーズの４分木データ、図６（ｄ）は第４のフレーズの４分木データである。
その後、第１の実施の形態と同様に、これらの第１〜第４のフレーズの４分木データをマージし、数値化して収録曲検索キーとする。本実施の形態においても、誤差範囲Ｅ及びしきい値Ｗ、Ｗ1 、Ｗ2 の値を変えて、１つの曲に対し複数の収録曲検索キーを用意する。
【００４０】
一方、マイクから入力したメロディについても、同様のアルゴリズムで入力曲検索キーを作成し、入力曲検索キーと収録曲検索キーとを比較して、所望の楽曲を検索する。
本実施の形態においては、前の代表点からの音高の変化が上向きならば第１の評価アルゴリズムを使用して、音高の上方向の移動による選択枝を少なくし、下方向の選択枝を多くする。逆に、前の代表点からの音高の変化が下向きならば第２の評価アルゴリズムを使用して、音高の下方向の移動による選択枝を少なくし、上方向の選択枝を多くする。これにより、検索キーのもつ情報量を効率よく上げることができて、より一層的確な楽曲検索が可能になる。
【００４１】
本願発明者らが第１の実施の形態及び第２の実施の形態の音楽検索システムを実際に作製して検索の絞込み度合いの適否を調べたところ、第１の実施の形態の検索システムでは、楽曲によって検索キーで検索される楽曲の数に偏りがあり、ある音列では１０００曲中で１曲しか検索ヒットしないが、他の音列では１０００曲中で１００曲ヒットしてしまうということがあり、マイクから入力されたフレーズで検索曲を数曲に絞り込むことが難しいことがあった。
【００４２】
一方、第２の実施の形態の音楽検索システムでは検索のヒット率が最適化され、第１の実施の形態に比べて楽曲の絞込み度合いが最高で約１０倍程度改善された。
なお、第１の実施の形態又は第２の実施の形態による楽曲の検索に加えて、例えば更に音程の移動による分木データを作成し、検索曲を絞り込むようにしてもよい。音程の移動による分木データとは、例えば図７に示すように、同じ音程は無視し、音程の変化を分木データで表したものである。
【００４３】
また、上記の第１の実施の形態及び第２の実施の形態では、マイクから入力したメロディのみで所望の曲を検索する場合について説明したが、曲名、歌手名又は歌詞の一部からも曲を検索できるように、これらの情報を端末装置１０又はサーバ２０に文字データとして格納しておいてもよい。
更に、上記の第１の実施の形態及び第２の実施の形態では４分木データにより音程の変化を簡略化した場合について説明したが、本発明は４分木データによる簡略化に限定されるものではなく、２分木データ、６分木データ又は８分木データ等により簡略化してもよい。
【００４４】
更にまた、上記の第１の実施の形態及び第２の実施の形態では本発明をカラオケの曲検索に適用した例について説明したが、これにより本発明がカラオケに限定されるものではない。
【００４５】
【発明の効果】
以上説明したように、本発明によれば、収録曲検索キーデータベースに曲データベースに収録されている曲の音程の変化を簡略化して表わす収録曲検索キーを格納しておき、マイク等から入力したメロディを旋律認識部でデジタルの旋律データに変換して、検索キー作成手段で入力曲の音程の変化を簡略化して表わす入力曲検索キーを作成して、入力曲検索キーと収録曲検索キーとを比較照合することにより所望の曲を検索するので、音程の細かな変化が省略され、人間の歌声等による曲検索をより確実に行うことができる。また、入力曲検索キー及び収録曲検索キーのビット数が少ないので、検索が高速で行われる。
【００４６】
また、ある代表点から次の代表点への音程の変化が上向きか下向きかに応じて更に次の代表点への音程の変化の評価アルゴリズムを変えることにより、検索キーのもつ情報量を効率よく上げることができて、より正確な検索が可能になる。
【図面の簡単な説明】
【図１】図１は、本発明の第１の実施の形態の音楽検索システムの構成を示すブロック図である。
【図２】図２は、旋律データの簡略化方法を示す模式図である。
【図３】図３は、旋律データの頂点の抽出及び代表点の抽出を示す模式図である。
【図４】図４は、各フレーズの４分木データである。
【図５】図５は、４つの４分木データをマージした後の４分木データである。
【図６】図６は、本発明の第２の実施の形態の音楽検索システムによる各フレーズの４分木データである。
【図７】図７は、音程の移動による分木データの作成方法を示す模式図である。
【符号の説明】
１０ 端末装置、
１１ マイク、
１２ 旋律認識部、
１３ 検索エンジン、
１４ 表示部、
１５ キー作成部、
１６ 検索キーデータベース、
２０ サーバ、
２１ 曲データベース。
【発明の属する技術分野】
本発明は、多数の曲データを収録した曲データベースから目的とする曲を検索する音楽検索システムに関し、特にマイク等から入力されたメロディーを検索キーとして目的とする曲を曖昧検索する音楽検索システムに関する。
【０００２】
【従来の技術】
従来、カラオケでは、曲毎に固有の番号を付加しておき、曲名や歌手名から曲の番号を探すことができるようにした冊子を用いて所望の曲を選択できるようにしている。
しかし、曲名がわからない場合や冊子が手元にない場合は所望の曲を探すことができない。そこで、歌声、鼻歌、ハミング又は楽器音等（以下、単に「メロディ」という）をマイクから入力し、曲データベースに収録された多数の曲データから所望の曲を検索することが提案されている。
【０００３】
例えば、特開平８−１２９３９３号公報には、マイクから入力されたメロディを旋律データ（音程の経時的変化を表わす数値データ）に変換し、曲データベースに収録された曲の旋律データと比較することにより曲を検索することが記載されている。また、特開平９−２９３０８３号公報には、マイクから入力されたメロディを音程データ及びリズムデータに変換し、曲データベースに収録された曲の音程データ及びリズムデータとを比較して、１小節毎に類似率を算出することが記載されている。更に、特開平８−１６０９７５号公報には、マイクから入力されたメロディの音程の相対的変化を求め、曲データベースに収録された曲の音程の相対的変化と比較して曲を検索することが記載されている。いずれの場合も、入力されたメロディの音程が収録曲の音程と完全に一致していなくても、検索が可能になっている。
【０００４】
【発明が解決しようとする課題】
上述した従来の技術では、いずれもマイクから入力されたメロディを１音づつ分割して旋律データ又は音程データとリズムデータとを作成し、収録曲のデータと比較している。
しかしながら、人間の歌声（鼻歌及びハミングを含む）には半音程度のビブラートがあることが多い。このため、マイクから入力された人間の歌声を１音毎に分析すると極めて複雑になり、曲データベースに収録されている曲データとの比較照合が難しくなる。
【０００５】
以上から本発明の目的は、マイク等から入力された人間の歌声（鼻歌やハミングを含む）を基に所望の曲をより確実に検索することができる音楽検索システムを提供することである。
【０００６】
【課題を解決するための手段】
上記した課題は、音楽検索に使用する検索キーの作成方法において、曲の旋律データから音程の変化の頂点を抽出し、それらの頂点から誤差範囲Ｅを超えて音程が変化した頂点を代表点として抽出し、それらの代表点の音程の変化をその変化の大きさによって分類し、その結果に基づいて音程の変化を示す分木データを作成し、前記分木データを数値化して検索キーを作成することを特徴とする音楽検索キーの作成方法により解決する。
また、上記した課題は、複数の曲データを収録した曲データ収録手段と、前記曲データ収録手段に収録された曲の音程の変化に基づいて作成された収録曲検索キーを格納した収録曲検索キー格納手段と、入力された信号をデジタルの旋律データに変換する旋律認識手段と、前記旋律認識手段から出力される前記旋律データの音程の変化に基づいて入力曲検索キーを作成する検索キー作成手段と、前記入力曲検索キーと前記収録曲検索キー格納手段に格納された前記収録曲検索キーとを比較する検索手段とを有し、前記収録曲検索キーが、曲の旋律データから音程の変化の頂点を抽出し、それらの頂点から誤差範囲Ｅを超えて音程が変化した頂点を代表点として抽出し、それらの代表点の音程の変化をその変化の大きさによって分類し、その結果に基づいて音程の変化を示す分木データをフレーズ毎に作成し、それらの分木データを重ね合わせ、その結果を数値化して作成されたものであり、前記検索キー作成手段は、前記旋律データから音程の頂点を抽出し、それらの頂点から誤差範囲Ｅを超えて音程が変化した頂点を代表点として抽出し、それらの代表点の音程の変化をその変化の大きさによって分類し、その結果に基づいて音程の変化を示す分木データを作成し、前記分木データを数値化して前記入力曲検索キーを作成することを特徴とする音楽検索システムにより解決する。
【０００７】
以下、本発明の作用について説明する。
本発明においては、検索キー作成手段が、旋律認識手段から出力される旋律データを基に音程（音高）の変化を簡略化して表わす入力曲検索キーを作成する。また、収録曲検索キーデータベースには、曲データベースに収録された曲の音程の変化を簡略化して表わす収録曲検索キーを格納している。そして、検索手段により、入力曲検索キーと収録曲検索キー格納手段に格納されている収録曲検索キーとを比較照合して、目的とする曲を検索する。
【０００８】
このように、本発明においては、マイク等から入力されたメロディと収録曲の旋律とを１音毎に比較するのではなく、入力音の音程（音高）の変化を簡略化した入力曲検索キーと、収録曲の音程の変化を簡略化した収録曲検索キーとを比較照合して目的とする曲を検索するので、簡略化の際に細かな音程の変化が省略される。これにより、細かな音程の変化に起因する検索ヒット率の低下が回避される。例えば、音程の誤差範囲を決めて、その誤差範囲内の音程の変化を省略することにより、ビブラートの影響を取り除くことができる。
【０００９】
また、本発明においては、絶対音階でなく相対的な音程の変化を検索キーとするので、例えばマイク等から入力されたメロディのキー（調）がずれていても、音程の変化の傾向が間違っていなければ所望の曲を検索することができる。
検索キーの作成方法としては、例えば旋律データの音程の変化を調べて音程の変化の頂点を抽出し、これらの頂点から音程の誤差範囲Ｅを超えて音程が変化した頂点を代表点として抽出して、これらの代表点に着目した音程の変化を表わす検索キーを作成する。このようにして作成された検索キーは、曲の音程の変化の傾向が表わされており、細かな音程の変化が省略されている。収録曲検索キー及び入力曲検索キーを同じアルゴリズムで作成して、入力曲検索キーと収録曲検索キーとを比較照合することにより、目的とする曲をより確実に検索することができる。
【００１０】
ところで、一般的な楽曲では、音域の範囲が１オクターブから２オクターブ程度であることが多く、ある代表点から次の代表点への音程（音高）の変化が上向きであるときは、更に次の代表点への音程の変化が上向きとなる可能性は、下向きとなる可能性に比べて小さくなる。この場合は、音高の変化が上向きのときの分類を荒くし、下向きのときの分類に細かくすることにより、検索キーのもつ情報量を効率よく上げることができる。また、ある代表点から次の代表点への音程の変化が下向きであるときは、更に次の代表点への音程の変化が下向きとなる可能性は、上向きとなる可能性に比べて小さくなる。この場合は、音高の変化が下向きのときの分類を荒くし、上向きのときの分類を細かくすることにより、検索キーの持つ情報量を効率よく上げることができる。
【００１１】
このように、ある代表点から次の代表点への音程の変化が上向きか下向きかに応じて更に次の代表点への音程の変化の評価アルゴリズムを変えることにより、検索キーのもつ情報量を効率よく上げることができて、より一層正確な楽曲の検索が可能となる。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態について、添付の図面を参照して説明する。
（第１の実施の形態）
図１は本発明の第１の実施の形態の音楽検索システムの構成を示すブロック図である。なお、本実施の形態は本発明をカラオケに適用した例を示す。
【００１３】
この音楽検索システムは、通信回線を介して接続されたサーバ２０及び端末装置１０により構成されており、サーバ２０には多数の曲データを磁気記録装置等に収録してなる曲データベース２１が構築されている。本実施の形態では、サーバ２０にはＭＩＤＩ（musical instrument digital interface）形式で曲データが収録されているものとする。
【００１４】
端末装置１０は、マイク１１、旋律認識部１２、検索エンジン１３、表示部１４、キー作成部１５及び検索キーデータベース１６により構成されている。マイク１１に入力された歌声、鼻歌、ハミング又は楽器音は、アナログの電気信号に変換されて旋律認識部１２に入力される。旋律認識部１２は、入力されたアナログの電気信号をＡ／Ｄ（アナログ−デジタル）変換して数秒間分保持する。そして、保持したデジタル信号を例えば高速フーリエ変換（Fast Fourier Transform）してデジタルの旋律データに変換する。
【００１５】
キー作成部１５は、旋律認識部１２から旋律データを入力して、後述するアルゴリズムにより検索キー（入力曲検索キー）を作成する。また、キー作成部１５は曲データベース２１からＭＩＤＩデータを入力し、入力曲検索キーの作成アルゴリズムと同様のアルゴリズムで収録曲の検索キー（収録曲検索キー）も作成する。
【００１６】
キー作成部１５で作成された収録曲検索キーは検索キーデータベース１６に格納される。予め、検索キーデータベース１６には、曲データベース２１に収納されている全ての曲の検索キーを格納しておくことが好ましいが、サーバ２０から端末装置１０に新しい曲が呼び出されるたびにその曲の収録曲検索キーを作成するようにしてもよい。また、予めサーバ２０又はその他の装置により作成された収録曲検索キーを検索キーデータベース１６に転送して格納してもよい。
【００１７】
また、入力曲検索キーは、キー作成部１５から旋律認識部１２を介して検索エンジン１３に伝達される。検索エンジン１３は、入力曲検索キーと検索キーデータベース１６に記録されている収録曲検索キーとを比較照合して該当する曲を検索し、その検索結果を表示部１４に表示する。
なお、端末装置１０はマイクロコンピュータと該マイクロコンピュータの動作手順を決めるソフトウェアを記録した記録装置とを有しており、旋律認識部１２はＡ／Ｄコンバータ等のハードウェアとソフトウェアとにより実現され、検索エンジン１３及びキー作成部１５はソフトウェアにより実現され、検索キーデータベース１６は磁気記録装置とそれに記録された収録曲検索キーとにより実現される。
【００１８】
以下、検索キーの作成アルゴリズムについて説明する。以下の例は、曲データベース２１に収録された曲データから収録曲検索キーを作成する場合について説明する。なお、この例に使用した曲は「ちょうちょう」である。
まず、キー作成部１５は、サーバ２０から曲データ（ＭＩＤＩデータ）を入力すると、音高（音程）の時間に対する変化を調べる。図２（ａ）はサーバ２０から入力された曲データの旋律（簡略化前の旋律）を示す模式図であり、横軸が時間、縦軸が音高である。この例では、１オクターブを半音毎の１２音に分割しており、半音を１単位としている。なお、マイク１１からメロディを入力した際に旋律認識部１２からキー作成部１５に出力される旋律データも、これと同様のデータ形式である。
【００１９】
キー作成部１５では、図２（ａ）に示すような旋律データをフレーズに分割する。ここでは、図２（ｂ）に示すように、４小節単位で付点四分音符以上の長さ（時間）があるところをフレーズの区切りとしている。なお、ＭＩＤＩデータに含まれるデータにより１小節を判別して一定数の小節毎にフレーズを区切ってもよい。
【００２０】
次に、図２（ｃ）に示すように、各フレーズの旋律データを簡略化する。旋律データの簡略化は、以下の４つのステップによる。
▲１▼第１ステップ
旋律データの頂点（山及び谷）を抽出する。例えば、旋律データの頂点は図３中に（１）から（２１）の数字で示した部分である。旋律認識部１２は、旋律データから各頂点の位置（時間及び音高）を抽出して記憶する。
【００２１】
▲２▼第２ステップ
音程の誤差範囲をＥとし、各頂点のうちＥ／２の範囲を超えて変化する頂点を抽出して代表点とする。例えば、Ｅ＝２（半音２つ分）とした場合に、図３において、（２）の頂点と（３）の頂点との音高差は１であるので、（３）の頂点は抽出されず、第１のフレーズで抽出される頂点は、（１）、（２）、（４）、（５）の４つであり、これらの頂点が第１のフレーズの代表点となる。これと同様に、第２のフレーズの代表点は、（６）、（７）、（９）、（１０）、（１１）の５つであり、第３のフレーズの代表点は、（１２）、（１３）、（１５）の３つであり、第４のフレーズの代表点は、（１６）、（１７）、（１９）、（２０）、（２１）の５つである。
【００２２】
▲３▼第３ステップ
簡略化された旋律データから各フレーズ毎に４分木データを作成する。ここでは、音程移動のしきい値をＷとし、各フレーズ毎に代表点と次の代表点との音高の差が＋Ｗを超えて変化する場合、０〜＋Ｗの範囲内である場合、０〜−Ｗの範囲内である場合、及び−Ｗを超えて変化する場合の４つに分類する。すなわち、各代表点毎に選択可能な枝が４つあり、次の代表点との音高差により４つの枝から１つの枝のみを選択する。そして、各代表点毎に４つの枝からいずれか１つの枝を選択して、フレーズ毎の４分木データを作成する。
【００２３】
図４（ａ）は、Ｅ＝２、Ｗ＝５としたときの第１のフレーズの４分木データであり、破線及び実線で示す枝が各代表点毎に用意された４つの枝を示し、実線で示す枝が次の代表点との音高差により選択された枝を示す。第１のフレーズの代表点（１）と代表点（２）との間の音高の変化は０〜−Ｗの範囲内であるので、４つの枝のうちの上から３番目の枝が選択される。また、代表点（２）と代表点（４）との間の音高の変化も０〜−Ｗの範囲内であるので、上から３番目の枝が選択される。更に、代表点（４）と代表点（５）との間の音高の変化は＋５を超えるので、上から１番目の枝が選択される。これらの枝をつなげて描画すると、図４（ａ）に示す４分木データとなる。
【００２４】
第２〜第４のフレーズについても、同様に４分木データを作成する。図４（ｂ）は第２のフレーズの４分木データであり、図４（ｃ）は第３のフレーズの４分木データ、図４（ｄ）は第４のフレーズの４分木データである。
▲４▼第４ステップ
第１〜第４のフレーズの各４分木データをマージする。すなわち、第１のフレーズの４分木データに、第２〜第４のフレーズの４分木データを重ね合わせる。この例では、第１のフレーズの分木データに第２〜第４のフレーズの分木データをマージすると、図５に示すように、第１の枝分かれ位置（ポインタ）及び第２の枝分かれ位置（ポインタ）ではそれぞれ２つの枝が選択されている。
【００２５】
このようにして、作成した４分木データを数値化して検索キー（収録曲検索キー）とし、曲名又は曲の番号と関連付けて検索キーデータベース１６に記憶する。分木データを数値化する場合、この例では、各枝分かれ位置に選択可能な４つの枝があり、枝分かれ位置が４つあるので、例えば検索キーのデータは順に０１１０ ０１１０ １０００ ００１０の１６ビットとなる。このように、各フレーズの４分木データをマージすることにより、収録曲検索キーのビット数を削減できて、検索キーデータベース１６の記憶容量を削減することができる。なお、実際には端末用データとして０（NULL）を用いるため、検索キーのビット数は１６ビットよりも少し多くなる。
【００２６】
誤差範囲Ｅ及びしきい値Ｗの値を変えて、上記の第２〜第４ステップを繰り返し、１つの曲に対し複数の検索キーを用意する。上記の例ではＥ＝２、Ｗ＝５としたが、Ｅの値又はＷの値のいずれか一方又は両方を変化させた条件で１つの曲に対し１０種類程度の検索キーを用意しておく。この場合、１つの検索キーのビット数は１６ビットであるので、１曲に対し複数の検索キーを用意しても、データ量は極めて少ない。
【００２７】
一方、マイクから入力したメロディ（歌声、鼻歌、ハミング又は楽器音等）は、旋律認識部１２でサンプリングしてデジタルの旋律データに変換する。このデジタルの旋律データから、キー作成部１５で、収録曲検索キーの作成アルゴリズムと同様のアルゴリズムにより入力曲検索キーを作成する。但し、マイクから入力されるメロディは１フレーズ程度であると考えられるので、フレーズ毎の分木データをマージする必要がなく、図５に示す分木データと異なり、１つの枝分かれ位置で２以上の枝が選択されることはない。
【００２８】
検索エンジン１３は、入力曲検索キーと収録曲検索キーとを比較し、検索キーが一致する収録曲を抽出する。但し、マイク１１から入力されるメロディは１フレーズ未満の場合もあるので、フレーズの途中まで一致していれば（例えば、３番目の枝分かれ位置まで一致していれば）、検索条件に合致したものとみなす。また、検索エンジン１３は、誤差範囲Ｅ及びしきい値Ｗの値が同じ検索キー同士を比較することが必要である。例えば、１０種類の検索キーがあれば、各検索キーについて入力曲検索キーと収録曲検索キーとを比較照合し、１０のうち８つの検索キーが一致すれば一致率を８０％とする。
【００２９】
このようにして、検索エンジン１３は例えば一致率が７０％以上の曲を検索候補とし、一致率（照合度合い）が高いものから降順にソートして表示部１４に曲名と一致率とを表示する。ユーザは、必要に応じて、違うフレーズのメロディを入力することにより、更に検索候補を絞り込むこともできる。そして、表示部１４に表示された１又は複数の検索候補からユーザが所望の曲を指定すると、端末装置１０からサーバ２０に曲データ転送要求が出力され、サーバー２０から端末装置１０に曲データが伝送されて、図示しない演奏装置により曲の演奏が開始される。
【００３０】
本実施の形態においては、上述の如く、曲データベース２１に収録された曲データ及びマイク１１から入力されたメロディの両方を同じアルゴリズムで簡略化して収録曲検索キー及び入力曲検索キーを作成し、入力曲検索キーと収録曲検索キーとを比較照合して所望の曲を検索するので、例えばマイクからメロディを入力する際に音程が細かく変化しても、所望の曲を検索することができる。また、本実施の形態においては、誤差範囲Ｅ及びしきい値Ｗの値を変えて１つの曲につき複数の検索キーを作成するので、所望の曲をある程度絞り込むことができて、検索ヒット数が多くなることが回避される。また、検索キーのビット数が少ないので、検索を高速で行うことができる。更に、本実施の形態では、簡略化した音程の変化により曲を検索するので、類似した曲の検索も可能である。
【００３１】
（第２の実施の形態）
以下、本発明の第２の実施の形態について説明する。
本実施の形態においては、第１の実施の形態で説明した第１〜第４ステップのうち、第３ステップのアルゴリズムが異なることにあり、第１の実施の形態と重複する部分の説明は省略する。
【００３２】
通常の楽曲では、音域の範囲が１オクターブから２オクターブ程度の範囲に限られることが多い。このため、ある代表点（第１の代表点）から次の代表点（第２の代表点）への音程の変化が上向きであるとすると、第２の代表点から次の代表点（第３の代表点）への音高の変化が上向きであることは比較的少なく、音高の変化が下向きの可能性が大きい。これと同様に、ある代表点（第１の代表点）から次の代表点（第２の代表点）への音高の変化が下向きであるとすると、第２の代表点から次の代表点（第３の代表点）への音高の変化が下向きであることは比較的少なく、音高の変化が上向きの可能性が大きい。
【００３３】
このため、第１の代表点から第２の代表点への音高の変化が上向きの場合は、第２の代表点から第３の代表点への音高の変化が下向きの場合を更に詳しく分類し、第１の代表点から第２の代表点への音高の変化が下向きの場合は、第２の代表点から第３の代表点への音高の変化が上向きの場合を更に詳しく分類することによって、検索キーのもつ情報量をより効率的に上げることができる。
【００３４】
以下、より具体的に説明する。
本実施の形態においては、音程の誤差範囲Ｅと、３つのしきい値Ｗ、Ｗ1 ，Ｗ2 （但し、０＜Ｗ1 ＜Ｗ2 ）とにより、分木データを作成する。
まず、第１の実施の形態と同様にして代表点を抽出する。すなわち、旋律データの頂点を抽出した後、各頂点のうち音高がＥ／２を超えて変化する頂点を抽出して代表点とする。
【００３５】
その後、フレーズの最初の代表点（第１の代表点）から次の代表点（第２の代表点）への音高の変化に基づく枝の選択は、第１の実施の形態と同様に行う。すなわち、第１の代表点から第２の代表点への音高の変化が＋Ｗを超える場合は、上から１番目の枝を選択する。第１の代表点から第２の代表点への音高の変化が０〜＋Ｗの範囲内であれば、上から２番目の枝を選択する。第１の代表点から第２の代表点への音高の変化が０〜−Ｗの範囲内であれば、上から３番目の枝を選択する。第１の代表点から第２の代表点への音高の変化が−Ｗを超える場合は、上から４番目の枝を選択する。
【００３６】
第２の代表点から第３の代表点への音高の変化に基づく枝の選択は、第１の代表点から第２の代表点への音高の変化の方向に応じて、下記の２つの音程の変化の評価アルゴリズムのいずれか一方のアルゴリズムを用いて決定する。
▲１▼第１の評価アルゴリズム（第１の代表点から第２の代表点への音高の変化が上向きの場合）
第２の代表点から第３の代表点への音高の変化が上向きの場合は、上から１番目の枝を選択する。第２の代表点から第３の代表点への音高の変化が０〜−Ｗ1 の範囲内のときは、上から２番目の枝を選択する。第２の代表点から第３の代表点への音高の変化が−Ｗ1 〜−Ｗ2 の範囲内のときは、上から３番目の枝を選択する。第２の代表点から第３の代表点への音高の変化が−Ｗ2 より小さいときは、上から４番目の枝を選択する。
【００３７】
▲２▼第２の評価アルゴリズム（第１の代表点から第２の代表点への音高の変化が下向きの場合）
第２の代表点から第３の代表点への音高の変化がＷ2 より大きいときは、上から１番目の枝を選択する。第２の代表点から第３の代表点への音高の変化がＷ1 〜Ｗ2 の範囲内のときは、上から２番目の枝を選択する。第２の代表点から第３の代表点への音高の変化が０〜Ｗ1 の範囲内のときは、上から３番目の枝を選択する。第２の代表点から第３の代表点への音高の変化が下向きのときは、上から４番目の枝を選択する。
【００３８】
いずれも場合も、選択した枝に沿って次の枝分かれ位置まで移動する。そして、第３の代表点以降についても、上記と同様にして枝を選択し、１フレーズ毎に分木データを作成する。
図６（ａ）は、Ｅ＝２、Ｗ＝５、Ｗ1 ＝４．５、Ｗ2 ＝６．５としたときの第１のフレーズの４分木データである。図中、破線及び実線で示す枝が各代表点毎に用意された４つの枝を示し、実線で示す枝が次の代表点との音高差により選択された枝を示す。例えば、第１のフレーズの代表点（１）から代表点（２）への音高の変化が０〜−Ｗの範囲内であるので、上から３番目の枝が選択される。次の枝分かれ位置では、代表点（１）から代表点（２）への変化が下方向の変化であり、かつ代表点（２）から代表点（４）への音高の変化が下向きであるので、上から４番目の枝が選択される。次の枝分かれ位置では、代表点（２）から代表点（４）の変化が下方向の変化であり、且つ代表点（４）から代表点（５）への音高の変化がＷ2 を超えるので、上から１番目の枝が選択される。これらの枝をつなげて描画すると、図６（ａ）に示す４分木データとなる。
【００３９】
第２〜第４のフレーズについても、同様に４分木データを作成する。図６（ｂ）は第２のフレーズの４分木データであり、図６（ｃ）は第３のフレーズの４分木データ、図６（ｄ）は第４のフレーズの４分木データである。
その後、第１の実施の形態と同様に、これらの第１〜第４のフレーズの４分木データをマージし、数値化して収録曲検索キーとする。本実施の形態においても、誤差範囲Ｅ及びしきい値Ｗ、Ｗ1 、Ｗ2 の値を変えて、１つの曲に対し複数の収録曲検索キーを用意する。
【００４０】
一方、マイクから入力したメロディについても、同様のアルゴリズムで入力曲検索キーを作成し、入力曲検索キーと収録曲検索キーとを比較して、所望の楽曲を検索する。
本実施の形態においては、前の代表点からの音高の変化が上向きならば第１の評価アルゴリズムを使用して、音高の上方向の移動による選択枝を少なくし、下方向の選択枝を多くする。逆に、前の代表点からの音高の変化が下向きならば第２の評価アルゴリズムを使用して、音高の下方向の移動による選択枝を少なくし、上方向の選択枝を多くする。これにより、検索キーのもつ情報量を効率よく上げることができて、より一層的確な楽曲検索が可能になる。
【００４１】
本願発明者らが第１の実施の形態及び第２の実施の形態の音楽検索システムを実際に作製して検索の絞込み度合いの適否を調べたところ、第１の実施の形態の検索システムでは、楽曲によって検索キーで検索される楽曲の数に偏りがあり、ある音列では１０００曲中で１曲しか検索ヒットしないが、他の音列では１０００曲中で１００曲ヒットしてしまうということがあり、マイクから入力されたフレーズで検索曲を数曲に絞り込むことが難しいことがあった。
【００４２】
一方、第２の実施の形態の音楽検索システムでは検索のヒット率が最適化され、第１の実施の形態に比べて楽曲の絞込み度合いが最高で約１０倍程度改善された。
なお、第１の実施の形態又は第２の実施の形態による楽曲の検索に加えて、例えば更に音程の移動による分木データを作成し、検索曲を絞り込むようにしてもよい。音程の移動による分木データとは、例えば図７に示すように、同じ音程は無視し、音程の変化を分木データで表したものである。
【００４３】
また、上記の第１の実施の形態及び第２の実施の形態では、マイクから入力したメロディのみで所望の曲を検索する場合について説明したが、曲名、歌手名又は歌詞の一部からも曲を検索できるように、これらの情報を端末装置１０又はサーバ２０に文字データとして格納しておいてもよい。
更に、上記の第１の実施の形態及び第２の実施の形態では４分木データにより音程の変化を簡略化した場合について説明したが、本発明は４分木データによる簡略化に限定されるものではなく、２分木データ、６分木データ又は８分木データ等により簡略化してもよい。
【００４４】
更にまた、上記の第１の実施の形態及び第２の実施の形態では本発明をカラオケの曲検索に適用した例について説明したが、これにより本発明がカラオケに限定されるものではない。
【００４５】
【発明の効果】
以上説明したように、本発明によれば、収録曲検索キーデータベースに曲データベースに収録されている曲の音程の変化を簡略化して表わす収録曲検索キーを格納しておき、マイク等から入力したメロディを旋律認識部でデジタルの旋律データに変換して、検索キー作成手段で入力曲の音程の変化を簡略化して表わす入力曲検索キーを作成して、入力曲検索キーと収録曲検索キーとを比較照合することにより所望の曲を検索するので、音程の細かな変化が省略され、人間の歌声等による曲検索をより確実に行うことができる。また、入力曲検索キー及び収録曲検索キーのビット数が少ないので、検索が高速で行われる。
【００４６】
また、ある代表点から次の代表点への音程の変化が上向きか下向きかに応じて更に次の代表点への音程の変化の評価アルゴリズムを変えることにより、検索キーのもつ情報量を効率よく上げることができて、より正確な検索が可能になる。
【図面の簡単な説明】
【図１】図１は、本発明の第１の実施の形態の音楽検索システムの構成を示すブロック図である。
【図２】図２は、旋律データの簡略化方法を示す模式図である。
【図３】図３は、旋律データの頂点の抽出及び代表点の抽出を示す模式図である。
【図４】図４は、各フレーズの４分木データである。
【図５】図５は、４つの４分木データをマージした後の４分木データである。
【図６】図６は、本発明の第２の実施の形態の音楽検索システムによる各フレーズの４分木データである。
【図７】図７は、音程の移動による分木データの作成方法を示す模式図である。
【符号の説明】
１０ 端末装置、
１１ マイク、
１２ 旋律認識部、
１３ 検索エンジン、
１４ 表示部、
１５ キー作成部、
１６ 検索キーデータベース、
２０ サーバ、
２１ 曲データベース。
Claims (2)
- 音楽検索に使用する検索キーの作成方法において、
曲の旋律データから音程の変化の頂点を抽出し、
それらの頂点から誤差範囲Ｅを超えて音程が変化した頂点を代表点として抽出し、
それらの代表点の音程の変化をその変化の大きさによって分類し、その結果に基づいて音程の変化を示す分木データを作成し、
前記分木データを数値化して検索キーを作成することを特徴とする音楽検索キーの作成方法。 - 複数の曲データを収録した曲データ収録手段と、
前記曲データ収録手段に収録された曲の音程の変化に基づいて作成された収録曲検索キーを格納した収録曲検索キー格納手段と、
入力された信号をデジタルの旋律データに変換する旋律認識手段と、
前記旋律認識手段から出力される前記旋律データの音程の変化に基づいて入力曲検索キーを作成する検索キー作成手段と、
前記入力曲検索キーと前記収録曲検索キー格納手段に格納された前記収録曲検索キーとを比較する検索手段とを有し、
前記収録曲検索キーが、曲の旋律データから音程の変化の頂点を抽出し、それらの頂点から誤差範囲Ｅを超えて音程が変化した頂点を代表点として抽出し、それらの代表点の音程の変化をその変化の大きさによって分類し、その結果に基づいて音程の変化を示す分木データをフレーズ毎に作成し、それらの分木データを重ね合わせ、その結果を数値化して作成されたものであり、
前記検索キー作成手段は、前記旋律データから音程の頂点を抽出し、それらの頂点から誤差範囲Ｅを超えて音程が変化した頂点を代表点として抽出し、それらの代表点の音程の変化をその変化の大きさによって分類し、その結果に基づいて音程の変化を示す分木データを作成し、前記分木データを数値化して前記入力曲検索キーを作成することを特徴とする音楽検索システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32644799A JP3844627B2 (ja) | 1999-04-12 | 1999-11-17 | 音楽検索システム |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10399899 | 1999-04-12 | ||
| JP11-103998 | 1999-04-12 | ||
| JP32644799A JP3844627B2 (ja) | 1999-04-12 | 1999-11-17 | 音楽検索システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000356996A JP2000356996A (ja) | 2000-12-26 |
| JP3844627B2 true JP3844627B2 (ja) | 2006-11-15 |
Family
ID=26444557
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32644799A Expired - Fee Related JP3844627B2 (ja) | 1999-04-12 | 1999-11-17 | 音楽検索システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3844627B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010097870A1 (ja) | 2009-02-27 | 2010-09-02 | 三菱電機株式会社 | 音楽検索装置 |
| WO2017028113A1 (zh) * | 2015-08-16 | 2017-02-23 | 胡丹丽 | 具有手写输入功能的音频播放器及其播放方法 |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3612272B2 (ja) * | 2000-10-13 | 2005-01-19 | 日本電信電話株式会社 | 音楽情報検索装置、音楽情報検索方法および音楽情報検索用プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP2002215632A (ja) * | 2001-01-18 | 2002-08-02 | Nec Corp | 携帯端末を用いた音楽検索システム、音楽検索方法、および購入方法 |
| KR20020065668A (ko) * | 2001-02-07 | 2002-08-14 | 엘지전자주식회사 | 음악 서비스 제공 시스템 및 이 시스템의 운영 방법 |
| JP2002258874A (ja) * | 2001-03-01 | 2002-09-11 | Alpine Electronics Inc | 音楽試聴方法、システムおよび情報端末、音楽検索サーバ |
| US7373209B2 (en) | 2001-03-22 | 2008-05-13 | Matsushita Electric Industrial Co., Ltd. | Sound features extracting apparatus, sound data registering apparatus, sound data retrieving apparatus, and methods and programs for implementing the same |
| KR100512143B1 (ko) * | 2002-02-08 | 2005-09-02 | 엘지전자 주식회사 | 멜로디 기반 음악 검색방법과 장치 |
| KR100497356B1 (ko) * | 2002-06-12 | 2005-06-23 | 삼성전자주식회사 | 주파수 분석을 이용한 노래선곡방법 및 장치 |
| KR20040000797A (ko) * | 2002-06-25 | 2004-01-07 | 엘지전자 주식회사 | 음악 데이터의 특징 정보 표현방법 |
| KR100468971B1 (ko) * | 2002-06-25 | 2005-01-29 | 엘지전자 주식회사 | 멜로디 기반 검색이 가능한 음악 재생장치 |
| JP2007519092A (ja) * | 2003-12-08 | 2007-07-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | メロディデータベースの検索 |
| KR100774708B1 (ko) | 2006-07-18 | 2007-11-08 | 한국정보통신대학교 산학협력단 | 실시간 음악 인식을 통한 사용자 선호 멜로디 구간의벨소리 및/또는 컬러링 생성 시스템 및 방법 |
| CN101226526A (zh) * | 2007-01-17 | 2008-07-23 | 上海怡得网络有限公司 | 一种基于音乐片段信息查询的音乐搜索方法 |
| JP4906565B2 (ja) * | 2007-04-06 | 2012-03-28 | アルパイン株式会社 | メロディー推定方法及びメロディー推定装置 |
| JP5678686B2 (ja) * | 2011-01-25 | 2015-03-04 | ヤマハ株式会社 | 端末装置、プログラムおよび楽曲検索方法 |
| JP2013117688A (ja) | 2011-12-05 | 2013-06-13 | Sony Corp | 音響処理装置、音響処理方法、プログラム、記録媒体、サーバ装置、音響再生装置および音響処理システム |
| KR101376478B1 (ko) | 2012-05-09 | 2014-03-19 | (주)마이오디 | 허밍 기반 음원 검색환경 구성방법과 이를 위한 음원 검색장치 및 음원 자동 재생을 위한 음원 검색시스템 |
| JP6291913B2 (ja) * | 2014-03-04 | 2018-03-14 | ヤマハ株式会社 | 楽曲生成システム |
| CN104867492B (zh) * | 2015-05-07 | 2019-09-03 | 科大讯飞股份有限公司 | 智能交互系统及方法 |
| WO2017028115A1 (zh) * | 2015-08-16 | 2017-02-23 | 胡丹丽 | 智能桌面音箱和智能桌面音箱的控制方法 |
| CN106469557B (zh) * | 2015-08-18 | 2020-02-18 | 阿里巴巴集团控股有限公司 | 伴奏音乐的提供方法和装置 |
-
1999
- 1999-11-17 JP JP32644799A patent/JP3844627B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010097870A1 (ja) | 2009-02-27 | 2010-09-02 | 三菱電機株式会社 | 音楽検索装置 |
| WO2017028113A1 (zh) * | 2015-08-16 | 2017-02-23 | 胡丹丽 | 具有手写输入功能的音频播放器及其播放方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000356996A (ja) | 2000-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3844627B2 (ja) | 音楽検索システム | |
| EP1397756B1 (en) | Music database searching | |
| US6528715B1 (en) | Music search by interactive graphical specification with audio feedback | |
| Jang et al. | A general framework of progressive filtering and its application to query by singing/humming | |
| US7064262B2 (en) | Method for converting a music signal into a note-based description and for referencing a music signal in a data bank | |
| US6307139B1 (en) | Search index for a music file | |
| JP2003519845A (ja) | 音楽検索エンジン | |
| Rolland et al. | Musical content-based retrieval: an overview of the Melodiscov approach and system | |
| Casey et al. | The importance of sequences in musical similarity | |
| JP2010521021A (ja) | 楽曲ベースの検索エンジン | |
| JPH09293083A (ja) | 楽曲検索装置および検索方法 | |
| JPH1115468A (ja) | 楽曲検索方法、楽曲検索装置、楽曲検索システム、及び記録媒体 | |
| KR100512143B1 (ko) | 멜로디 기반 음악 검색방법과 장치 | |
| Lee et al. | Korean traditional music genre classification using sample and MIDI phrases | |
| Dannenberg et al. | Panel: new directions in music information retrieval | |
| JP2002055695A (ja) | 音楽検索システム | |
| JP3934556B2 (ja) | 信号識別子の抽出方法及びその装置、信号識別子からデータベースを作成する方法及びその装置、及び、検索時間領域信号を参照する方法及びその装置 | |
| JP2003131674A (ja) | 楽曲検索システム | |
| Kosugi et al. | SoundCompass: a practical query-by-humming system; normalization of scalable and shiftable time-series data and effective subsequence generation | |
| JP2002123287A (ja) | 音楽特徴量生成方法及び装置と音楽情報検索装置と音楽特徴量生成用プログラムの記録媒体 | |
| Salamon et al. | A chroma-based salience function for melody and bass line estimation from music audio signals | |
| JPH06202621A (ja) | 楽曲演奏情報を利用した楽曲検索装置 | |
| JP2001167100A (ja) | 音楽検索システムの検索結果出力方法 | |
| JP2004531758A5 (ja) | ||
| JP2001056817A (ja) | 音楽検索システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040729 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060516 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060710 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060815 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060816 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100825 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100825 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110825 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |