JP4199097B2 - 楽曲自動分類装置及び方法 - Google Patents

Description

本発明は、複数の楽曲を自動分類する楽曲自動分類装置及び方法に関する。

近年、圧縮音楽の普及と蓄積装置の大容量化により、個人でも大量の楽曲を保存し、楽しむことができるようになってきた。一方、利用者が大量の楽曲を自ら整理し、聴きたい楽曲を探し出すことは非常に困難になってきており、それを解決するための有効な楽曲分類および選択方法が求められている。

従来の楽曲分類方法としては、大量に蓄積されている楽曲を、特定の種類に分類するために、曲名、歌手名や、ロック、ポップスといった音楽が属するジャンル名、テンポといった書誌に示された情報を用いる方法がある（特許文献１参照）。

また、楽曲信号から抽出したビートや周波数変動といった特徴量に対して、多数の被験者間で共有できた「躍動感のある」といったイメージ用語を割り当て、分類選択に用いる方法がある（特許文献２参照）。

更に、ロック、演歌等の楽曲信号の一部から音楽三要素（メロディ、リズム、和声）を抽出し、そのジャンル識別子と対応付けておき、その後、ジャンル混合の音楽ソースと目的のジャンル名を与えると、そのジャンル名に合った曲の音楽ソースだけを別の装置に録音する方法が提案されている（特許文献３参照）。

また、従来の楽曲分類方法としては、音楽特徴量として、テンポ、長調短調、高音、低音の量を用いてマトリクス状に自動分類し、楽曲の選択を容易にする方法が知られている（特許文献４参照）。

更に、利用者が一度選択した音楽の音響パラメータ（ケプストラム、パワーの高次モーメント）を抽出し、次回からはそれに類似する音響パラメータを有する音楽を提示する方法もある（特許文献５参照）。
特開２００１−２９７０９３号公報 特開２００２−２７８５４７号公報 特開２０００−２６８５４１号公報 特開２００３−５８１４７号公報 特開２００２−４１０５９号公報

しかしながら、上記の特許文献１に示された曲名やジャンルといった書誌に示された情報を用いる方法は、必ず人による作業が必要になり、ネットワークに接続できる方法ではなく、分類のための情報が入手困難な場合にはまったく機能しないという問題があった。

特許文献２の分類方法では、音楽に対するイメージは主観的であり、また同一視聴者においても、曖昧かつ変動するものであるために、当事者以外のイメージによる分類であった場合に、継続的な効果は期待できない。従って、主観的なイメージ用語の効果を維持するためには、分類動作に対する視聴者からの継続的なフィードバックが必須であり、これは視聴者に多大な労力を強いるといった問題がある。また、ビート等のリズム情報による分類は、対象音楽が限定されるという問題がある。

特許文献３の分類方法では、楽音信号から抽出した音楽三要素の少なくとも一つを用いて分類するが、各特長量とジャンル識別子との具体的な関連付けが開示技術からでは困難である。また、音楽三要素は数小節分だけを用いる分類では、ジャンルを決定する大きな分類キーとなるとは考え難い。

特許文献４の分類方法では、提案されているテンポや調性などの組み合わせは、音楽の明るさや早さを原理的に表現できるものであり、曲調を表現するに有望なものであるが、実際の楽曲においてテンポや調性が終始一貫しているものは少なく、楽曲単位で分類する特徴量としては、精度が緩慢であるといった問題がある。

また、これらの特許文献１〜４の方法では、イメージ用語、ジャンル名或いは長調短調等の静的に確定した用語を用いて選曲するため、気分によって楽曲に対する印象も変化するので、適切な選曲ができないという問題があった。

特許文献５には、楽曲を選択するほどに、嗜好に合った楽曲が提供されるとあるが、実際に用いる特徴量は、音楽信号の一部或いは全体から抽出した結果を数値化したものであるため、楽曲中の曲調の変化までを表現することはできない。したがって、嗜好で楽曲を分類するに適した精度が確保できないという問題があった。

本発明が解決しようとする課題には、上記の欠点が一例として挙げられ、複数の楽曲を曲調の類似性にて自動分類することができる楽曲自動分類装置及び方法を提供することが本発明の目的である。

請求項１に係る発明の楽曲自動分類装置は、複数の楽曲を自動分類する楽曲自動分類装置であって、前記複数の楽曲各々の和音進行順列を示す和音進行パターンデータを保存する和音進行データ蓄積手段と、前記複数の楽曲毎に和音進行の変化特徴量を前記和音進行パターンデータに応じて抽出する特徴量抽出手段と、前記複数の楽曲各々の前記和音進行パターンデータによって示される和音進行順列と前記和音進行の変化特徴量とに応じて前記複数の楽曲を集合分けする集合作成手段と、を備え、前記特徴量抽出手段は、前記複数の楽曲毎に前記和音進行パターンデータに応じて存在する和音各々の継続時間の合計をヒストグラム値として算出する和音ヒストグラム演算手段と、前記複数の楽曲毎に和音各々の前記ヒストグラム値に応じてヒストグラム偏差を算出するヒストグラム偏差演算手段と、前記複数の楽曲毎に前記和音進行パターンデータに応じて和音変化率を算出する和音変化率演算手段と、を備え、前記複数の楽曲毎の前記ヒストグラム偏差と前記和音変化率とを前記変化特徴量とすることを特徴としている。

請求項１５に係る発明の楽曲自動分類方法は、複数の楽曲を自動分類する楽曲自動分類方法であって、前記複数の楽曲各々の和音進行順列を示す和音進行パターンデータを保存する和音進行データ蓄積ステップと、前記複数の楽曲毎に和音進行の変化特徴量を前記和音進行パターンデータに応じて抽出する特徴量抽出ステップと、前記複数の楽曲各々の前記和音進行パターンデータによって示される和音進行順列と前記和音進行の変化特徴量とに応じて前記複数の楽曲を集合分けする集合作成ステップと、を含み、前記特徴量抽出ステップは、前記複数の楽曲毎に前記和音進行パターンデータに応じて存在する和音各々の継続時間の合計をヒストグラム値として算出する和音ヒストグラム演算ステップと、前記複数の楽曲毎に和音各々の前記ヒストグラム値に応じてヒストグラム偏差を算出するヒストグラム偏差演算ステップと、前記複数の楽曲毎に前記和音進行パターンデータに応じて和音変化率を算出する和音変化率演算ステップと、を含み、前記複数の楽曲毎の前記ヒストグラム偏差と前記和音変化率とを前記変化特徴量とすることを特徴としている。

更に、請求項１６に係る発明のプログラムは、複数の楽曲を自動分類する楽曲自動分類手順をコンピュータをして実行せしめるコンピュータ読取可能なプログラムであって、前記複数の楽曲各々の和音進行順列を示す和音進行パターンデータを保存する和音進行データ蓄積ステップと、前記複数の楽曲毎に和音進行の変化特徴量を前記和音進行パターンデータに応じて抽出する特徴量抽出ステップと、前記複数の楽曲各々の前記和音進行パターンデータによって示される和音進行順列と前記和音進行の変化特徴量とに応じて前記複数の楽曲を集合分けする集合作成ステップと、を備え、前記特徴量抽出ステップは、前記複数の楽曲毎に前記和音進行パターンデータに応じて存在する和音各々の継続時間の合計をヒストグラム値として算出する和音ヒストグラム演算ステップと、前記複数の楽曲毎に和音各々の前記ヒストグラム値に応じてヒストグラム偏差を算出するヒストグラム偏差演算ステップと、前記複数の楽曲毎に前記和音進行パターンデータに応じて和音変化率を算出する和音変化率演算ステップと、を備え、前記複数の楽曲毎の前記ヒストグラム偏差と前記和音変化率とを前記変化特徴量とすることを特徴としている。

以下、本発明の実施例を図面を参照しつつ詳細に説明する。

図１は本発明による楽曲自動分類装置を示している。この楽曲自動分類装置は、音楽情報入力装置１、和音進行パターン抽出部２、和音ヒストグラム偏差及び和音変化率演算部３、和音特徴量蓄積装置４、楽曲蓄積装置５、相対和音進行出現頻度演算部６、和音進行特徴ベクトル作成部７、音楽集合作成部８、分類集合蓄積装置９、音楽集合単位表示装置１０、音楽集合選択装置１１、代表曲抽出部１２、楽曲リスト抽出部１３、楽曲リスト表示装置１４、楽曲リスト選択装置１５及び音楽再生装置１６を備えている。

音楽情報入力装置１は、分類対象となる複数の楽曲のディジタル楽曲信号（オーディオ信号）を楽曲音データとして予め入力するものであり、例えば、ＣＤ−ＲＯＭドライブやＣＤプレーヤからの再生楽曲信号、或いは圧縮済みの楽曲音データを復号化したものを入力する。楽曲信号であれば入力可能であるため、外部入力などを用いたアナログ録音のオーディオ信号をディジタル化して楽音データとしても良い。また、その楽曲音データには楽曲識別情報も併せて入力される。楽曲識別情報としては例えば、曲名、歌手名、ジャンル名、ファイル名等が含まれるが、その情報は単数或いは複数の種類の項目で楽曲を特定することが可能なものであれば良い。

音楽情報入力装置１の出力は、和音進行パターン抽出部２、和音特徴量蓄積装置４及び楽曲蓄積装置５に接続されている。

和音進行パターン抽出部２は、音楽情報入力装置１を介して入力された楽音信号中から和音データを抽出して、楽曲の和音進行順列（和音進行パターン）を生成する。

和音ヒストグラム偏差及び和音変化率演算部３は、和音進行パターン抽出部２によって生成された和音進行パターンに応じて、用いられている和音の種類とその頻度からヒストグラムを生成し、曲調の変化度合としてその偏差を演算する。また、１分あたりの和音の変化率を演算し、音楽のテンポの度合として分類に用いる。

和音特徴量蓄積装置４は、楽曲毎に和音進行パターン抽出部２にて得られた和音進行と、パターン和音ヒストグラム偏差及び和音変化率演算部３にて得られた和音ヒストグラム偏差及び和音変化率と、音楽情報入力装置１にて得られた楽曲識別情報とを和音進行の変化特徴量として保存する。その保存の際には楽曲識別情報は分類処理される複数の楽曲各々を識別可能にする識別情報として用いられる。

楽曲蓄積装置５は、音楽情報入力装置１で入力された楽曲音データと楽曲識別情報とを関連付けて保存するものである。

相対和音進行出現頻度演算部６は、楽曲蓄積装置５に楽曲音データが蓄積された楽曲が共有する和音進行パターンの出現頻度を演算し、分類に用いる特徴的な和音進行パターンを抽出する。

和音進行特徴ベクトル作成部７は、分類対象とする複数の楽曲が、相対和音進行出現頻度演算部６によって演算した特徴的な和音進行パターンを含む割合を多次元ベクトルとして生成する。

音楽集合作成部８は、和音進行特徴ベクトル作成部７によって生成された分類対象とする複数の楽曲の和音進行特徴ベクトルに応じて類似する集合を作成する。

分類集合蓄積装置９は、音楽集合作成部８において生成された集合と、集合に属する楽曲に対応する楽曲識別情報とを関連付けて保存するものである。音楽集合単位表示装置１０は、分類集合蓄積装置９に蓄積された各楽曲集合を、曲調の類似度の順にかつそれに属する楽曲の量が分かるように表示するものである。

音楽集合選択装置１１は、音楽集合単位表示装置１０で表示した音楽集合を選択するためのものである。代表曲抽出部１２は、音楽集合選択装置１１によって選択された集合に属する楽曲のうち、その集合の特徴を最も含む楽曲を抽出する。

楽曲リスト抽出部１３は、音楽集合選択装置１１によって選択された集合に属する各楽曲の楽曲識別情報を分類集合蓄積装置９から抽出する。楽曲リスト表示装置１４は、楽曲リスト抽出部１３によって抽出された楽曲識別情報の内容をリストとして表示する。

楽曲リスト選択装置１５は、楽曲リスト表示装置１４で表示した楽曲リスト中のうちのいずれかの楽曲をユーザの操作に応じて選択するものである。音楽再生装置１６は、代表曲抽出部１２又は楽曲リスト選択装置１５によって抽出又は選択された楽曲についての楽曲識別情報に応じて、実際の楽曲音データを楽曲蓄積装置５から選択し音響出力として再生するものである。

かかる構成の本発明による楽曲自動分類装置においては、和音特徴量抽出処理が行われる。この和音特徴量抽出処理は、分類対象の複数の楽曲について、音楽情報入力装置１を介して入力される楽曲音データと楽曲識別情報とを楽曲蓄積装置５に保存すると同時に、その楽曲音データが示す楽曲音中の和音進行の変化特徴量をデータとして抽出して和音特徴量蓄積装置４に保存する処理である。

和音特徴量抽出処理を具体的に説明するに当たって、処理対象の楽曲の楽曲数をＱとし、楽曲数を計数するカウンタ値をＮとする。和音特徴量抽出処理の開始時にはカウンタ値Ｎは初期値０に予めされているとする。

和音特徴量抽出処理においては、図２に示すように、先ず、Ｎ番目の楽音データ及び楽曲識別情報の音楽情報入力装置１を介した入力が開始され（ステップＳ１）、Ｎ番目の楽音データは和音進行パターン抽出部２に供給されると共にＮ番目の楽曲音データ及び楽曲識別情報は対応関係を付けて楽曲蓄積装置５に保存される（ステップＳ２）。Ｎ番目の楽音データの入力が終了したことを次のステップＳ３にて判別されるまでステップＳ２のＮ番目の楽音データの保存は続けられる。

Ｎ番目の楽音データの入力が終了したならば、和音進行パターン抽出結果を和音進行パターン抽出部２から得ることが行われる（ステップＳ４）。

ここで、和音は５オクターブ分の平均律の１２音について検出される。平均律の１２音はＡ，Ａ＃，Ｂ，Ｃ，Ｃ＃，Ｄ，Ｄ＃，Ｅ，Ｆ，Ｆ＃，Ｇ，Ｇ＃である。図３はＡ音を１.０とした場合の１２音及び１オクターブ高いＡ音各々の周波数比を示している。

和音進行パターン抽出部２の和音進行パターン抽出処理においては、図４に示すように、入力ディジタル信号に対してフーリエ変換によって周波数変換を０.２秒間隔で行うことによって周波数情報ｆ(Ｔ)が得られる（ステップＳ２１）。そして、今回のｆ(Ｔ)、前回のｆ(Ｔ−１)及び前々回のｆ(Ｔ−２)を用いて移動平均処理が行われる（ステップＳ２２）。この移動平均処理では、０.６秒以内では和音が変化することが少ないという仮定で過去２回分の周波数情報が用いられる。移動平均処理は次式によって演算される。

ｆ(Ｔ)＝(ｆ(Ｔ)＋ｆ(Ｔ−１)／２.０＋ｆ(Ｔ−２)／３.０)／３.０
……(1)
ステップＳ２２の実行後、移動平均処理後の周波数情報ｆ(Ｔ)から周波数成分ｆ１(Ｔ)〜ｆ５(Ｔ)が各々抽出される（ステップＳ２３〜Ｓ２７）。上記したステップＳ６〜Ｓ１０と同様に、周波数成分ｆ１(Ｔ)〜ｆ５(Ｔ)は、(１１０.０＋２×Ｎ)Hzを基本周波数とした５オクターブ分の平均律の１２音Ａ，Ａ＃，Ｂ，Ｃ，Ｃ＃，Ｄ，Ｄ＃，Ｅ，Ｆ，Ｆ＃，Ｇ，Ｇ＃である。ステップＳ２３のｆ１(Ｔ)はＡ音を(１１０.０＋２×Ｎ)Hzとし、ステップＳ２４のｆ２(Ｔ)はＡ音を２×(１１０.０＋２×Ｎ)Hzとし、ステップＳ２５のｆ３(Ｔ)はＡ音を４×(１１０.０＋２×Ｎ)Hzとし、ステップＳ２６のｆ４(Ｔ)はＡ音を８×(１１０.０＋２×Ｎ)Hzとし、ステップＳ２７のｆ５(Ｔ)はＡ音を１６×(１１０.０＋２×Ｎ)Hzとしている。ここで、Ｎは平均律の周波数に対する誤差値であり、−３〜３の範囲内の値に設定されるが、無視できる程度ならば、０としても良い。

ステップＳ２３〜Ｓ２７の実行後、周波数成分ｆ１(Ｔ)〜ｆ５(Ｔ)は１オクターブ分の帯域データＦ'(Ｔ)に変換される（ステップＳ２８）。帯域データＦ'(Ｔ)は、
Ｆ'(Ｔ)＝ｆ１(Ｔ)×５+ｆ２(Ｔ)×４+ｆ３(Ｔ)×３+ｆ４(Ｔ)×２+ｆ５(Ｔ)
……(2)
の如く表される。すなわち、周波数成分ｆ１(Ｔ)〜ｆ５(Ｔ)各々は個別に重み付けされた後、加算される。帯域データＦ'(Ｔ)は各音成分を含むことになる。

ステップＳ２８の実行後、帯域データＦ'(Ｔ)中の各音成分のうちの強度レベルが大きいものから６音が候補として選択され（ステップＳ２９）、その６音候補から２つの和音Ｍ１，Ｍ２が作成される（ステップＳ３０）。候補の６音のうちから１つの音を根音（ルート）として３音からなる和音が作成される。すなわち₆Ｃ₃通りの組み合わせの和音が考慮される。各和音を構成する３音のレベルが加算され、その加算結果の値が最大となった和音が第１和音候補Ｍ１とされ、加算結果の値が２番目に大きい和音が第２和音候補Ｍ２とされる。

和音を構成する音は３音に限らず、セブンスやディミニッシュセブンス等の４音もある。４音からなる和音に対しては図５に示すように３音からなる２つ以上の和音に分類されるとしている。よって、４音からなる和音に対しても３音からなる和音と同様に、帯域データＦ'(Ｔ)の各音成分の強度レベルに応じて２つの和音候補を設定することができる。

ステップＳ３０の実行後、ステップＳ３０において設定された和音候補数があるか否かが判別される（ステップＳ３１）。ステップＳ３０では少なくとも３つの音を選択するだけの強度レベルに差がない場合には和音候補が全く設定されないことになるので、ステップＳ３１の判別が行われる。和音候補数＞０である場合には、更に、その和音候補数が１より大であるか否かが判別される（ステップＳ３２）。

ステップＳ３１において和音候補数＝０と判別された場合には前回Ｔ−１（約０.２秒前）の本処理において設定された和音候補Ｍ１，Ｍ２が今回の和音候補Ｍ１，Ｍ２として設定される（ステップＳ３３）。ステップＳ３２において和音候補数＝１と判別された場合には今回のステップＳ３０の実行では第１和音候補Ｍ１だけが設定されたので、第２和音候補Ｍ２は第１和音候補Ｍ１と同一の和音に設定される（ステップＳ３４）。

ステップＳ３２において和音候補数＞１と判別された場合には今回のステップＳ３０の実行では第１及び第２和音候補Ｍ１，Ｍ２の両方が設定されたので、時刻、第１及び第２和音候補Ｍ１，Ｍ２が和音進行パターン抽出部２内のメモリ（図示せず）に記憶される（ステップＳ３５）。そのメモリには時刻、第１和音候補Ｍ１、第２和音候補Ｍ２が１組となって記憶される。時刻は０.２秒毎に増加するＴで表される本処理実行回数である。そのＴの順に第１及び第２和音候補Ｍ１，Ｍ２が記憶される。

具体的には、上記のメモリに各和音候補を図６に示したように１バイトで記憶させるために、基本音とその属性との組み合わせが用いられる。基本音には平均律の１２音が用いられ、属性にはメジャー｛４，３｝、マイナー｛３，４｝、セブンス候補｛４，６｝及びディミニッシュセブンス（ｄｉｍ７）候補｛３，３｝の和音の種類が用いられる。｛ ｝内は半音を１とした場合の３音の差である。本来、セブンス候補は｛４，３，３｝及びディミニッシュセブンス（ｄｉｍ７）候補｛３，３，３｝であるが、３音で示すために上記のように表示している。

基本音の１２音は図７(a)に示すように１６ビット（１６進表記）で表され、属性の和音の種類は同様に図７(b)に示すように１６ビット（１６進表記）で表される。その基本音の下位４ビットと属性の下位４ビットがその順に連結されて図７(c)に示すように８ビット（１バイト）として和音候補として用いられる。

ステップＳ３５はステップＳ３３又はＳ３４を実行した場合にもその直後に実行される。

ステップＳ３５の実行後、楽曲が終了したか否かが判別される（ステップＳ３６）。例えば、入力アナログオーディオ信号の入力がなくなった場合、或いは操作入力装置４からの楽曲の終了を示す操作入力があった場合には楽曲が終了したと判断される。

楽曲の終了が判断されるまでは変数Ｔに１が加算され（ステップＳ３７）、ステップＳ２１が再度実行される。ステップＳ２１は上記したように０.２秒間隔で実行され、前回の実行時から０.２秒が経過して再度実行される。

楽曲の終了判別後、図８に示すように、メモリから全ての第１及び第２和音候補がＭ１(0)〜Ｍ１(R)及びＭ２(0)〜Ｍ２(R)として読み出される（ステップＳ４１）。０は開始時刻であり、開始時刻の第１及び第２和音候補がＭ１(0)及びＭ２(0)である。Ｒは最終時刻であり、最終時刻の第１及び第２和音候補がＭ１(R)及びＭ２(R)である。読み出された第１和音候補Ｍ１(0)〜Ｍ１(R)及び第２和音候補Ｍ２(0)〜Ｍ２(R)について平滑化が行われる（ステップＳ４２）。この平滑化は和音の変化時点とは関係なく０.２秒間隔で和音候補を検出したことにより和音候補に含まれるノイズによる誤差を除去するために行われる。平滑化の具体的方法としては、３つの連続する第１和音候補Ｍ１(t−１)，Ｍ１(t)，Ｍ１(t＋１)についてＭ１(t−１)≠Ｍ１(t)かつＭ１(t)≠Ｍ１(t＋１)の関係が成立するか否かが判別され、その関係が成立する場合には、Ｍ１(t＋１)にＭ１(t)は等しくされる。この判別は第１和音候補毎に行われる。第２和音候補についても同様の方法により平滑化は行われる。なお、Ｍ１(t＋１)にＭ１(t)を等しくするのではなく、逆に、Ｍ１(t＋１)をＭ１(t)に等しくしても良い。

平滑化後、第１及び第２和音候補の入れ替え処理が行われる（ステップＳ４３）。一般的に０．６秒のような短い期間には和音が変化する可能性は低い。しかしながら、信号入力段の周波数特性及び信号入力時のノイズによって帯域データＦ'(Ｔ)中の各音成分の周波数が変動することによって第１及び第２和音候補が０．６秒以内に入れ替わることが起きることがあり、これに対処するためにステップＳ４３は行われる。第１及び第２和音候補が入れ替えの具体的方法としては、５つの連続する第１和音候補Ｍ１(t−２)，Ｍ１(t−１)，Ｍ１(t)，Ｍ１(t＋１)，Ｍ１(t＋２)及びそれに対応する５つの連続する第２和音候補Ｍ２(t−２)，Ｍ２(t−１)，Ｍ２(t)，Ｍ２(t＋１)，Ｍ２(t＋２)についての次の如き判別が実行される。すなわち、Ｍ１(t−２)＝Ｍ１(t＋２)，Ｍ２(t−２)＝Ｍ２(t＋２)，Ｍ１(t−１)＝Ｍ１(t)＝Ｍ１(t＋１)＝Ｍ２(t−２)及びＭ２(t−１)＝Ｍ２(t)＝Ｍ２(t＋１)＝Ｍ１(t−２)の関係が成立するか否かが判別される。この関係が成立する場合には、Ｍ１(t−１)＝Ｍ１(t)＝Ｍ１(t＋１)＝Ｍ１(t−２)及びＭ２(t−１)＝Ｍ２(t)＝Ｍ２(t＋１)＝Ｍ２(t−２)が定められ、Ｍ１(t−２)とＭ２(t−２)と間で和音の入れ替えが行われる。なお、Ｍ１(t−２)とＭ２(t−２)との間で和音の入れ替えに代えてＭ１(t＋２)とＭ２(t＋２)との間で和音の入れ替えを行っても良い。また、Ｍ１(t−２)＝Ｍ１(t＋１)，Ｍ２(t−２)＝Ｍ２(t＋１)，Ｍ１(t−１)＝Ｍ１(t)＝Ｍ１(t＋１)＝Ｍ２(t−２)及びＭ２(t−１)＝Ｍ２(t)＝Ｍ２(t＋１)＝Ｍ１(t−２)の関係が成立するか否かが判別される。この関係が成立する場合には、Ｍ１(t−１)＝Ｍ１(t)＝Ｍ１(t−２)及びＭ２(t−１)＝Ｍ２(t)＝Ｍ２(t−２)が定められ、Ｍ１(t−２)とＭ２(t−２)との間で和音の入れ替えが行われる。なお、Ｍ１(t−２)とＭ２(t−２)との間で和音の入れ替えに代えてＭ１(t＋１)とＭ２(t＋１)との間で和音の入れ替えを行っても良い。

ステップＳ４１において読み出された第１和音候補Ｍ１(0)〜Ｍ１(R)及び第２和音候補Ｍ２(0)〜Ｍ２(R)の各和音が、例えば、図９に示すように時間経過と共に変化する場合には、ステップＳ４２の平均化を行うことによって図１０に示すように修正される。更に、ステップＳ４３の和音の入れ替えを行うことによって第１及び第２和音候補の和音の変化は図１１に示すように修正される。なお、図９〜図１１は和音の時間変化を折れ線グラフとして示しており、縦軸は和音の種類に対応した位置となっている。

ステップＳ４３の和音の入れ替え後の第１和音候補Ｍ１(0)〜Ｍ１(R)のうちの和音が変化した時点ｔのＭ１(t)が検出され（ステップＳ４４）、その検出された第１和音候補の和音変化総数Ｍと、変化時点ｔ間の差である和音継続時間（４バイト）及び和音（４バイト）が出力される（ステップＳ４５）。ステップＳ４５で出力される１楽曲分のデータが和音進行パターンデータである。

ステップＳ４３の和音の入れ替え後の第１和音候補Ｍ１(0)〜Ｍ１(R)及び第２和音候補Ｍ２(0)〜Ｍ２(R)の和音が図１２(a)に示すように時間経過と共に変化する場合には、変化時点の時刻と和音とがデータとして抽出される。図１２(b)が第１和音候補の変化時点のデータ内容であり、Ｆ，Ｇ，Ｄ，Ｂ♭，Ｆが和音であり、それらは１６進データとして０ｘ０８，０ｘ０Ａ，０ｘ０５，０ｘ０１，０ｘ０８と表される。変化時点ｔの時刻はＴ１(0)，Ｔ１(1)，Ｔ１(2)，Ｔ１(3)，Ｔ１(4)である。また、図１２(c)が第２和音候補の変化時点のデータ内容であり、Ｃ，Ｂ♭，Ｆ＃ｍ，Ｂ♭，Ｃが和音であり、それらは１６進データとして０ｘ０３，０ｘ０１，０ｘ２９，０ｘ０１，０ｘ０３と表される。変化時点ｔの時刻はＴ２(0)，Ｔ２(1)，Ｔ２(2)，Ｔ２(3)，Ｔ２(4)である。図１２(b)及び図１２(c)に示したデータ内容は楽曲識別情報と共にステップＳ４５において図１２(d)に示すような形式で和音進行パターンデータとして出力される。出力される和音進行パターンデータの和音継続時間はＴ(0)＝Ｔ１(1)−Ｔ１(0)，Ｔ(1)＝Ｔ１(2)−Ｔ１(1)，……である。

ステップＳ４において抽出された和音進行パターンデータについて１２音の根音各々メジャー、マイナー及びDiminish（ディミニッシュ）の各和音Ａ〜Ｇ＃に対して、継続時間を加算し、最大値が１００となるように正規化してヒストグラム値を算出することが行われる（ステップＳ５）。

ヒストグラム値は次の式(3)，(4)によって算出される。

ｈ'(i+k×12)＝ΣＴ'(j) ……(3)
ｈ(i+k×12)＝ｈ'(i+k×12)×１００/max(ｈ'(i+k×12)) ……(4)
これら式(3)，(4)では、ｉはＡ〜Ｇ＃の和音の根音（１２音）に対応し、その順にｉ＝０〜１１である。ｋは和音のメジャー(ｋ＝0)、マイナー(ｋ＝1)及びディミニッシュ(ｋ＝2)に対応する。Ｊは和音の順番であり、Σ演算はｊ＝０〜Ｍ−１について行われる。式(3)のｈ'(i+k×12)は実際の和音継続時間Ｔ'(j)の合計時間であり、ｈ'(0)〜ｈ'(35)である。式(4)のｈ(i+k×12)はヒストグラム値であり、ｈ(0)〜ｈ(35)として得られる。和音進行パターンデータのｊ番目の和音の根音がｉ、属性がｋであるときの和音継続時間Ｔ(j)がＴ'(j)とされる。例えば、０番目の和音がメジャーのＣならば、ｉ＝３，ｋ＝０であるので、０番目の和音継続時間Ｔ(０)はｈ'(3)に合算される。すなわち、根音と属性とが同一の和音毎に和音継続時間Ｔ(j)がＴ'(j)として加算され、その結果がｈ'(i+k×12)である。max(ｈ'(i+k×12))はｈ'(i+k×12)、すなわちｈ'(0)〜ｈ'(35)のうちの最大値である。

図１３(a)及び(b)は楽曲毎の和音のメジャー(Ａ〜Ｇ＃)、マイナー(Ａ〜Ｇ＃)及びディミニッシュ(Ａ〜Ｇ＃)に対するヒストグラム値の算出結果を示している。図１３(a)の場合には、和音が広く出現する楽曲であり、分散が少ないさまざまな和音が使用された変化に富む曲調を示している。図１３(b)の場合には、特定の和音が突出して出現する楽曲であり、分散が大きい数少ない和音の繰り返しか、和音変化の少ないストレートな曲調を示している。

このようにヒストグラム値の算出後、和音ヒストグラム偏差が算出される（ステップＳ６）。ヒストグラム偏差を算出するに当たって、先ず、ヒストグラム値ｈ(0)〜ｈ(35)についての平均値Ｘが、式(5)によって算出される。

Ｘ＝（Σｈ(i)）/３６ ……(5)
この式(5)では、ｉは０〜３５である。すなわち、
Σｈ(i)＝ｈ(0)＋ｈ(1)＋ｈ(2)＋……＋ｈ(35) ……(6)
そのヒストグラム値Ｘの偏差σは、式(7)によって算出される。ここでもｉは０〜３５である。

σ＝(Σ(ｈ(i)−Ｘ)²)^1/2/３６ ……(7)
更に、和音変化率Ｒが算出される（ステップＳ７）。和音変化率Ｒは、式(8)によって算出される。

Ｒ＝Ｍ×６０×Δｔ/(ΣＴ(j)) ……(8)
この式(8)では、Ｍは和音変化総数、Δｔは１秒間に行う和音検出の回数、ΣＴ(j)の演算はｊ＝０〜Ｍ−１について行われる。

音楽情報入力装置１から得られた楽曲識別情報と、ステップＳ４で抽出された和音進行パターンデータと、ステップＳ６で算出されたヒストグラム偏差σと、ステップＳ７で算出された和音変化率Ｒとは和音進行の変化特徴量として和音特徴量蓄積装置４に保存される（ステップＳ８）。その変化特徴量の保存の際のフォーマットは図１４に示す通りである。

ステップＳ８の実行後、カウンタ値Ｎに１が加算され（ステップＳ９）、そのカウンタ値Ｎが処理対象の楽曲数Ｑに達したか否かが判別される（ステップＳ１０）。Ｎ＜Ｑならば、上記したステップＳ１〜Ｓ１０の動作が繰り返される。一方、Ｎ＝Ｑのため処理対象の楽曲数Ｑ全てについて和音進行の変化特徴量の保存が終了したならば、その楽曲数Ｑの各楽曲の楽曲識別情報に識別子ＩＤ(i)が付加されて保存される（ステップＳ１１）。

次に、相対和音進行出現頻度演算部６にて行われる相対和音進行出現頻度演算処理について説明する。相対和音進行出現頻度演算処理では、和音特徴量蓄積装置４に保存された和音進行パターンデータに含まれる、少なくとも２回以上変化する和音進行部分の出現頻度が演算され、分類対象となる楽曲群に含まれる特徴的な和音進行パターン群が検出される。

相対和音進行とは、和音進行が絶対和音の系列であるのに対して、和音進行を構成する各和間の度数差（根音の差。負の場合には１２を加算する。）と、変化後のメジャー、マイナー等の属性の系列として表現するものである。相対和音進行を用いることによって、調性のオフセットを吸収し、編曲やテンポが異なっていても、曲調の類似度合いを容易に演算することができる。

なお、和音進行部分として選択する和音の変化数は任意であるが、３回程度が適当であるので、３回変化する和音進行を用いるものとして説明する。

相対和音進行出現頻度演算処理においては、図１５に示すように、出現頻度カウンタ値Ｃ(i)が０に初期設定される（ステップＳ５１）。このステップＳ５１では、ｉ＝０〜２１２９５であるので、Ｃ(0)〜Ｃ(21295)＝０と設定される。また、カウンタ値Ｎが０に初期設定され（ステップＳ５２）、カウンタ値Ａが０に初期設定される（ステップＳ５３）。

楽曲識別情報ＩＤ(Ｎ)で指定されるＮ番目の楽曲の相対和音進行データＨＰ(k)が演算される（ステップＳ５４）。相対和音進行データＨＰ(k)のkは０〜Ｍ−２である。相対和音進行データＨＰ(k)は[度数差分値,移行先属性]と表され、和音の変化の際の度数差分値と移行先属性とを示す列データである。度数差分値と移行先属性とはＮ番目の楽曲の和音進行パターンデータに応じて得られる。その和音進行パターンデータでは和音が例えば、図１６に示すように、時間経過と共にＡｍ７，Ｄｍ，Ｃ，Ｆ，Ｅｍ，Ｆ，Ｂ♭７，…の如く変化する場合には、１６進データとして０ｘ３０，０ｘ２５，０ｘ０３，０ｘ０８，０ｘ２７，０ｘ０８，０ｘ１１，…と表されているとすると、度数差分値は５，１０，５，１１，１，５，…となり、移行先属性は０ｘ０２，０ｘ００，０ｘ００，０ｘ０２，０ｘ００，０ｘ００，…となる。なお、半音を１とし、根音（基本音）の値が移行先が移行前よりマイナスの場合には移行先に１２を加えて移行先が移行前よりプラスになるようにしてから度数差分値は求められる。また、和音の属性としてセブンス及びディミニッシュは無視される。

ステップＳ５４の実行後、変数ｉが０に初期設定され（ステップＳ５５）、相対和音進行データＨＰ(A)，ＨＰ(A+1)，ＨＰ(A+2)が相対和音進行パターンＰ(i,0)，Ｐ(i,1)，Ｐ(i,2)と一致するか否かが判別される（ステップＳ５６）。相対和音進行パターンは相対和音進行データと同様に、[度数差分値,移行先属性]と表される。相対和音進行パターンとしては、和音進行がメジャーコードとマイナーコードとで構成されるとし、３回の和音変化があるとした場合に２×２２×２２×２２＝２１２９６パターンがある。すなわち、図１７に示すように、１回目の和音変化では、メジャーコード及びマイナーコード各々について１度アップメジャーコードへの移行，２度アップメジャーコードへの移行，……，１１度アップメジャーコードへの移行と１度アップマイナーコードへの移行，２度アップマイナーコードへの移行，……，１１度アップマイナードへの移行とからなる２２パターンの変化がある。その後の２回目の和音変化及び３回目の和音変化でも各々２２パターンである。相対和音進行パターンのＰ(i,0)は１回目の和音変化、Ｐ(i,1)は２回目の和音変化、Ｐ(i,2)は３回目の和音変化のパターンであり、相対和音進行出現頻度演算部６内のメモリ（図示せず）にデータテーブルとして予め備えられている。

ＨＰ(A)，ＨＰ(A+1)，ＨＰ(A+2)とＰ(i,0)，Ｐ(i,1)，Ｐ(i,2)とが一致する場合、すなわちＨＰ(A)＝Ｐ(i,0)，ＨＰ(A+1)＝Ｐ(i,1)，ＨＰ(A+2)＝Ｐ(i,2)である場合には、カウンタ値Ｃ(i)に１が加算される（ステップＳ５７）。その後、変数ｉが２１２９６に達したか否かが判別される（ステップＳ５８）。ｉ＜２１２９６ならば、ｉに１が加算され（ステップＳ５９）、ステップＳ５６が再度実行される。ｉ＝２１２９６ならば、カウンタ値Ａに１が加算され（ステップＳ６０）、カウンタ値ＡがＭ−４に達したか否かが判別される（ステップＳ６１）。ＨＰ(A)，ＨＰ(A+1)，ＨＰ(A+2)とＰ(i,0)，Ｐ(i,1)，Ｐ(i,2)とが不一致である場合には、ステップＳ５７を迂回してステップＳ５８が直ちに実行される。

ステップＳ６１の判別結果がＡ＜Ｍ−４である場合には、ステップＳ５５に戻って上記の一致判別動作が繰り返される。Ａ＝Ｍ−４である場合には、カウンタ値Ｎに１が加算され（ステップＳ６２）、そのＮが楽曲数Ｑに達したか否かが判別される（ステップＳ６３）。Ｎ＜Ｑならば、ステップＳ５３に戻って別の楽曲について上記の相対和音進行出現頻度演算が実行される。Ｎ＝Ｑならば、相対和音進行出現頻度演算処理は終了である。

この相対和音進行出現頻度演算処理の結果、楽曲数Ｑの楽曲群に含まれる３回の変化を含む２１２９６パターンの和音進行部分（Ｐ(i,0)，Ｐ(i,1)，Ｐ(i,2)：ｉ＝０〜２１２９５）についての出現頻度がカウンタ値Ｃ(0)〜Ｃ(21295)に得られる。

和音進行特徴ベクトル作成部７にて作成される和音進行特徴ベクトルは、ｘ(n, i)によって値で表され、分類対象となる各楽曲が、Ｃ(i)及びＰ(i,0)，Ｐ(i,1)，Ｐ(i,2)で示される特徴的な和音進行パターン群を含む程度を示す多次元ベクトルである。ｘ(n, i)のｎは０〜Ｑ−１であり、曲番を示す。

和音進行特徴ベクトル作成部７による和音進行特徴ベクトル作成処理においては、図１８に示すように、先ず、カウンタ値Ｃ(0)〜Ｃ(21295)が示す出現頻度のうちの大きい値から順にＷ個のカウンタ値Ｃ(i)のｉの値を抽出する（ステップＳ７１）。すなわち、ｉの値を示すＴＢ(j)＝ＴＢ(0)〜ＴＢ(W-1)が得られる。ＴＢ(0)が示すｉ値のカウンタ値Ｃ(ＴＢ(0))によって示される出現頻度が最大値である。ＴＢ(W-1)が示すｉ値のカウンタ値Ｃ(ＴＢ(W-1))によって示される出現頻度がＷ番目に大きい値である。Ｗは例えば、８０〜１００である。

ステップＳ７１の実行後、分類対象の各楽曲に対応する和音進行特徴ベクトルx(n, i)の値がクリアされる（ステップＳ７２）。ここで、ｎは０〜Ｑ−１、ｉは０〜Ｗ＋１である。すなわち、ｘ(0,0)〜ｘ(0,W+1)，…ｘ(Q-1,0)〜ｘ(Q-1,W+1)及びｘ'(0,0)〜ｘ'(0,W+1)，…ｘ'(Q-1,0)〜ｘ'(Q-1,W+1)の全てが０とされる。そして、相対和音進行出現頻度演算処理のステップＳ５２〜Ｓ５４と同様に、カウンタ値Ｎが０に初期設定され（ステップＳ７３）、カウンタ値Ａが０に初期設定される（ステップＳ７４）。そして、Ｎ番目の楽曲の相対和音進行データＨＰ(k)が演算される（ステップＳ７５）。相対和音進行データＨＰ(k)のkは０〜Ｍ−２である。

ステップＳ７５の実行後、カウンタ値Ｂが０に初期設定され（ステップＳ７６）、相対和音進行データＨＰ(B)，ＨＰ(B+1)，ＨＰ(B+2)が相対和音進行パターンＰ(ＴＢ(A),0)，Ｐ(ＴＢ(A),1)，Ｐ(ＴＢ(A),2)と一致するか否かが判別される（ステップＳ７７）。このステップＳ７６及びＳ７７についても相対和音進行出現頻度演算処理のステップＳ５５及びＳ５６と同様に行われる。

ＨＰ(B)，ＨＰ(B+1)，ＨＰ(B+2)とＰ(ＴＢ(A),0)，Ｐ(ＴＢ(A),1)，Ｐ(ＴＢ(A),2)とが一致する場合、すなわちＨＰ(B)＝Ｐ(ＴＢ(A),0)，ＨＰ(B+1)＝Ｐ(ＴＢ(A),1)，ＨＰ(B+2)＝Ｐ(ＴＢ(A),2)である場合には、ベクトル値ｘ(N,ＴＢ(A))に１が加算される（ステップＳ７８）。その後、カウンタ値Ｂに１が加算され（ステップＳ７９）、カウンタ値ＢがＭ−４に達したか否かが判別される（ステップＳ８０）。ＨＰ(B)，ＨＰ(B+1)，ＨＰ(B+2)とＰ(ＴＢ(A),0)，Ｐ(ＴＢ(A),1)，Ｐ(ＴＢ(A),2)とが不一致である場合には、ステップＳ７８を迂回してステップＳ７９が直ちに実行される。

ステップＳ８０の判別結果がＢ＜Ｍ−４である場合には、ステップＳ７７に戻って上記の一致判別動作が繰り返される。Ｂ＝Ｍ−４である場合には、カウンタ値Ａに１が加算され（ステップＳ８１）、そのＡが所定値Ｗに達したか否かが判別される（ステップＳ８２）。Ａ＜Ｗならば、ステップＳ７６に戻って出現頻度が次に大きい相対和音進行パターンについて上記のステップＳ７７の上記の一致判別動作が実行される。Ａ＝Ｗならば、ベクトル値ｘ(N,W)にＮ番目の楽曲のヒストグラム偏差σが代入され（ステップＳ８３）、ベクトル値ｘ(N,W+1)にＮ番目の楽曲の和音変化率Ｒが代入される（ステップＳ８４）。

ステップＳ８４の実行後、出現頻度調整用重み付け係数Ｇ(i)＝Ｇ(0)〜Ｇ(W−1)を用いて和音進行特徴ベクトルｘ(N,0)〜ｘ(N,W+1)に対して重み付けを行い、修正後の和音進行特徴ベクトルｘ'(N,0)〜ｘ'(N,W+1)が生成される（ステップＳ８５）。一般に、西洋音楽の流れに沿う音楽は、本発明が注目する音楽の曲調を識別する和音進行よりも、トニック、ドミナントおよびサブドミナントを組み合わせた動き（以降、基本和音進行と呼ぶ）を多く含む。それらの基本和音進行の出現頻度が支配的になることを防ぐために出現頻度調整が行われる。出現頻度調整用重み付け係数Ｇ(i)はＧ(i)＝（０.５/ｍ）×ｉ＋０.５であり、図１９に示すようにｉ＝０〜ｍ−１では１より小なる値となり、ｉ＝ｍ〜Ｗ−１では１とされている。すなわち、極めて出現頻度の高い上位ｍ−１個のパターンに対してステップＳ８５の実行により出現頻度が調整される。基本和音進行とみなすパターンの数ｍとしては、１０〜２０程度が適当である。

カウンタ値Ｎに１が加算され（ステップＳ８６）、そのＮが楽曲数Ｑに達したか否かが判別される（ステップＳ８７）。Ｎ＜Ｑならば、ステップＳ７２に戻って別の楽曲について上記の和音進行特徴ベクトル作成処理が実行される。Ｎ＝Ｑならば、和音進行特徴ベクトル作成処理は終了である。

よって、和音進行特徴ベクトル作成処理が終了すると、図２０に示すように、和音進行特徴ベクトルｘ(0,0)〜ｘ(0,W+1)，…ｘ(Q-1,0)〜ｘ(Q-1,W+1)及びｘ'(0,0)〜ｘ'(0,W+1)，…ｘ'(Q-1,0)〜ｘ'(Q-1,W+1)が作成される。なお、ベクトルｘ(N,W)及びｘ(N,W+1)と、ｘ'(N,W)及びｘ'(N,W+1)とは同じである。

次に、音楽集合作成部８で行われる音楽分類処理及び分類結果表示処理は、和音進行特徴ベクトル作成処理によって生成された和音進行特徴ベクトル群を用いて、ベクトル間の距離が近いものを集合化する。最終分類結果数を予め固定するものでなければその集合化方法は問わない。例えば、自己組織化マップ法などを用いることができる。自己組織化マップ法は、多次元のデータ群を、類似する特徴をもつ１次元等の低次元の集合（クラスタ）に変換するものである。なお、自己組織化マップ法に対して、最終的な分類クラスタ数を効率的に検出する方法として、非特許文献１に示されたクラスタ分類法を用いると効果的である。本実施例では、自己組織化マップ法を用いて、集合化を行うものとする。
寺島他「自己組織化特徴マップ上のデータ密度ヒストグラムを用いた教師なしクラスタ分類法、電子情報通信学会論文誌、D-II、Vol.J79-D-II, No.7, 1996」

音楽分類処理及び分類結果表示処理においては、図２１に示すように、先ず、カウンタ値Ａが０に初期設定され（ステップＳ９１）、対象とするＱ個の楽曲に関する和音進行特徴ベクトル群ｘ'(n, i)＝ｘ'(0,0)〜ｘ'(0,W+1)，…ｘ'(Q-1,0)〜ｘ'(Q-1,W+1)を、自己組織化マップ法を用いて分類クラスタを検出することが行われる（ステップＳ９２）。自己組織化マップ法では、入力データｘ'(n, i)と同じ次元数をもつＫ個のニューロンｍ(i,j,t)をランダム値で初期化し、Ｋ個のニューロンの中で入力データｘ'(n, i)の距離が最小となるニューロンｍ(i,j,t)を求め、ｍ(i,j,t)の近傍(所定の半径内)のニューロンの重みを変更することが行われる。すなわち、ニューロンｍ(i,j,t)は式(9)で表される。

ｍ(i, j, t+1)＝ｍ(i, j, t)＋ｈｃ(t)[ｘ'(n, i)−ｍ(i, j, t)] ……(9)
式(9)において、ｔ＝０〜Ｔ、ｎ＝０〜Ｑ−１、ｉ＝０〜Ｋ−１、ｊ＝０〜Ｗ＋１である。ｈc(t)は時間減衰関数であり、近傍の大きさと、変更の度合いは時間減少する。Ｔは学習回数、Ｑは楽曲総数、Ｋはニューロンの総数である。

ステップＳ９２の実行後、カウンタ値Ａに１が加算され（ステップＳ９３）、カウンタ値Ａ、すなわち学習回数Ａが所定の学習回数Ｇに達したか否かが判別される（ステップＳ９４）。Ａ＜Ｇならば、ステップＳ９２において、上記したＫ個のニューロンの中で入力データｘ'(n, i)の距離が最小となるニューロンｍ(i,j,t)を求め、ｍ(i,j,t)の近傍のニューロンの重みを変更する動作が繰り返される。Ａ＝Ｇならば、ステップＳ９２の演算動作の結果、得られた分類数がＵとされる（ステップＳ９５）。

次に、得られたＵ個のクラスタに属する楽曲識別情報ＩＤ(i)に対応するＸ(n,i)が、集合の中心的な特徴を表すニューロンｍ(i,j,T)に近い順に並び換えられ、新たな楽曲識別情報ＦＩＤ(i)に保存される（ステップＳ９６）。そして、Ｕ個のクラスタに属する楽曲識別情報ＦＩＤ(i)が分類集合蓄積装置９に保存される（ステップＳ９７）。更に、各クラスタ位置関係と属する楽曲数に対応した選択画面が作成され、その選択画面データが音楽集合単位表示装置１０に出力される（ステップＳ９８）。

図２２は自己組織化マップによる分類結果と音楽集合単位表示装置１０によって表示される集合表示例を示している。図２２においては、各集合Ａ〜Ｉは一つの枠で表現されており、各枠の高さは各集合に属する楽曲の量を表している。各枠の高さに絶対的な意味はなく、相対的に各集合に属する楽曲数の違いを認識することができれば良い。各集合の位置関係として、隣り合う集合は近似している曲調の楽曲群を表すものとなる。

図２３は集合表示として実際のインターフェース画像を示している。また、本実施例の自己組織化マップ処理は１次元のものを示したが、２次元の自己組織化マップ処理も広く知られている。本発明における分類処理を２次元自己組織化マップ法で行った場合は、図２４に示す如きインターフェース画像を用いることが可能である。図２３においては、各銀河系が１つの集合を示し、図２４においては各惑星が１つの集合を示している。枠で囲まれた部分が選択された集合である。また、図２３及び図２４において表示画像中の右側には選択された集合に含まれる楽曲リストと操作ボタンを含む再生／停止手段とが表示される。

以上の各処理によって、分類対象となるすべての楽曲に対して、和音進行特徴ベクトルによる自動分類処理が完了し、任意の集合を選択できる表示が終了したことになる。

分類された音楽集合の選択及び再生処理が音楽集合単位表示装置１０及び音楽集合選択装置１１において行われる。

音楽集合の選択及び再生処理においては、図２５に示すように、分類された音楽集合（例えば、図２２に示した集合Ａ〜Ｉ）のうちの１の集合の選択が行われたか否かが判別される（ステップＳ１０１）。１の集合の選択が確認されると、現在、楽曲音再生中か否かが判別される（ステップＳ１０２）。楽曲音再生中が確認されると、その再生が停止される（ステップＳ１０３）。

楽曲音再生中ではない場合には、或いはステップＳ１０３にて再生が停止された場合には、選択された１の集合に属する楽曲識別情報が分類集合蓄積装置８から抽出され、その抽出情報がＦＩＤ(i)＝ＦＩＤ(0)〜ＦＩＤ(FQ-1)に保存される（ステップＳ１０４）。ＦＱは上記の１の集合に属する楽曲識別情報、すなわち楽曲数である。そのＦＩＤ(i)の先頭から順に楽曲識別情報が楽曲リスト表示装置１４に出力される（ステップＳ１０５）。楽曲リスト表示装置１４では、選択された１の集合に対応した楽曲識別情報に含まれる各楽曲名が例えば、図２６に示すようなインターフェース画像によって、分かるように表示しても良い。

ＦＩＤ(i)の先頭のＦＩＤ(0)に対応する楽曲が代表曲抽出部１２において自動的に選択され、ＦＩＤ(0)に対応する楽曲音データが楽曲蓄積装置５から読み出されて音楽再生装置１６に供給され、音楽再生装置１６では供給された楽曲音データに応じて楽曲音が再生出力される（ステップＳ１０６）。

なお、ＦＩＤ(0)に対応する楽曲音を再生するのではなく、楽曲リスト表示装置１４にはＦＩＤ(i)に応じて複数の楽曲が表示され、その複数の楽曲から１の楽曲が楽曲リスト選択装置１５を介して選択された場合には、その１の楽曲に対応する楽曲音データが楽曲蓄積装置５から読み出されて音楽再生装置１６に供給され、音楽再生装置１６ではその１の楽曲の楽曲音を再生出力するようにしても良い。

図２７は本発明の他の実施例として楽曲自動分類装置を示している。図２７の楽曲自動分類装置は、図１の楽曲自動分類装置に示した装置（部）１〜１６の他に従来型楽曲選択装置１７、視聴履歴保存装置１８、対象楽曲選択部１９及び再分類用音楽集合単位選択装置２０が備えられている。

図２７の楽曲自動分類装置は、楽曲蓄積装置５に楽曲音データとして保存された楽曲全てに対する分類だけでなく、所定の条件によって限定された楽曲に対する分類を行う場合に対応している。

従来型楽曲選択装置１７は、従来から一般的である、曲名、歌手名およびジャンル等の楽曲を特定することができる楽曲識別情報を用いて、楽曲蓄積装置５に保存されている楽曲を選択するための装置である。選択された楽曲は、音楽再生装置１６によって再生される。

視聴履歴蓄積装置１８は、音楽再生装置１６によって一回以上再生が行われた楽曲についての楽曲識別情報を蓄積する装置である。

再分類用音楽集合選択手段２０は、音楽集合単位表示装置１０によって表示された音楽分類結果を用いて所望の分類結果を選択するための装置である。

対象楽曲選択部１９は、楽曲蓄積装置５に保存されている全ての楽曲識別情報、或いは従来型楽曲選択装置１７及び再分類用音楽集合選択手段２０によって分類対象楽曲として選択された楽曲識別情報に対応する和音進行の変化特徴量を、相対和音進行出現頻度演算部６及び和音進行特徴ベクトル作成部７に提供する装置である。

先ず、ユーザがその時点までに聴取した比較的嗜好に合う複数の楽曲のみを曲調で分類する場合には、図２８に示すように、視聴履歴蓄積装置１８から楽曲識別情報が読み出され、履歴の総曲数が楽曲数Ｑに代入され、履歴の総曲数分の楽曲識別情報がＩＤ(i)＝ＩＤ(0)〜ＩＤ(Q-1)に代入され（ステップＳ１１１）、その後、上記の相対和音進行出現頻度演算処理、和音進行特徴ベクトル作成処理、音楽分類処理及び分類結果表示処理、並びに音楽集合の選択及び再生処理が順に実行される（ステップＳ１１２）。

次に、ユーザがその時点までに聴取した比較的嗜好に合う複数の楽曲を用いて、楽曲蓄積装置５に保存されている複数の楽曲を曲調で分類する場合には、図２９に示すように、上記のステップＳ１１１と同様に、視聴履歴蓄積装置１８から楽曲識別情報を読み出し、履歴の総曲数を楽曲数Ｑに、履歴の総曲数分の楽曲識別情報をＩＤ(i)＝ＩＤ(0)〜ＩＤ(Q-1)に代入し（ステップＳ１２１）、そして、ステップＳ１２１の実行結果に応じて上記の相対和音進行出現頻度演算処理が行われる（ステップＳ１２２）。その後、和音特徴量蓄積装置４から楽曲識別情報が読み出され、蓄積総曲数が楽曲数Ｑに代入され、また総曲数分の楽曲識別情報がＩＤ(i)＝ＩＤ(0)〜ＩＤ(Q-1)に代入され（ステップＳ１２３）、和音進行特徴ベクトル作成処理、音楽分類処理及び分類結果表示処理、並びに音楽集合の選択及び再生処理が順に実行される（ステップＳ１２４）。

また、歌手名やジャンルなどをもとに選択された、特定の楽曲群や、指定した集合に属する特定の楽曲群を用いて、その楽曲群のみを曲調で分類する場合は、図３０に示すように、従来型楽曲選択装置１７又は再分類用音楽集合選択装置２０から選択楽曲の総数が上記の相対和音進行出現頻度演算処理におけるＱに代入され、楽曲識別情報群がＩＤ(i)に代入され（ステップＳ１３１）、その後、相対和音進行出現頻度演算処理、和音進行特徴ベクトル作成処理、音楽分類処理及び分類結果表示処理、並びに音楽集合の選択及び再生処理が順に実行される（ステップＳ１３２）。

更に、歌手名やジャンルなどをもとに選択された特定の複数の楽曲や、指定した集合に属する特定の楽曲群を用いて、楽曲蓄積装置５のすべての楽曲群を曲調で分類する場合には、図３１に示すように、従来型楽曲選択装置１７又は再分類用音楽集合選択装置２０から選択楽曲の総数を上記の相対和音進行出現頻度演算処理におけるＱに、楽曲識別情報群をＩＤ(i)に代入し（ステップＳ１４１）、その後、相対和音進行出現頻度演算処理が実行される（ステップＳ１４２）。次いで、和音情報蓄積装置４に保存されている楽曲識別情報の総数が上記の和音進行特徴ベクトル作成処理におけるＱに代入され、楽曲識別情報群がＩＤ(i)に代入され（ステップＳ１４３）、その後、和音進行特徴ベクトル作成処理、音楽分類処理及び分類結果表示処理、並びに音楽集合の選択及び再生処理が順に実行される（ステップＳ１４４）。

かかる本発明においては、複数の楽曲各々の和音進行順列を示す和音進行パターンデータを保存する和音進行データ蓄積手段と、複数の楽曲毎に和音進行の変化特徴量を和音進行パターンデータに応じて抽出する特徴量抽出手段と、複数の楽曲各々の和音進行パターンデータによって示される和音進行順列と和音進行の変化特徴量とに応じて複数の楽曲を集合分けする集合作成手段と、が備えられているので、楽曲の分類指針として曲調の動き、いわゆる音楽の個性を表現する重要な特徴量である和音進行を用いて楽曲の自動分類を実現することができる。よって、次のような効果を奏することができる。

(1)曲名やジャンルといった書誌情報を介さず、また"躍動感のある"といった静的に確定した用語によって音楽に対するイメージを限定することなく、類似する曲調を有する楽曲を容易に選択し、直接感性に合致する音楽を聴くことができる。

(2)異なる楽曲楽集合に属しつつも、隣接する位置に表示する集合は、他の集合よりも類似した曲調から成っているため、選択の結果、若干イメージが異なっていた場合でも、容易に類似の曲調の楽曲を選択することができる。

(3)旋律の有無、テンポや編曲の違いに依存せず、また調性、音域といった全体的な特徴ではなく、曲調の動きという音楽として有意義な特徴を生かし、多くの種類の楽曲を分類、選択することができる。

(4)作曲家独自の作風や、ジャンル特有の曲調、ならびに時代毎に流行する曲調で楽曲を分類することができる。このことは、音楽に対する言葉で表現できない嗜好やテーマを抽出することに等しく、新たな音楽の楽しみ方を創出することができる。

(5)特定の条件で限定された音楽にも適用することが可能であり、歌手名やジャンルなどをもとに選択された楽曲群や、普段視聴している比較的嗜好に合う楽曲群に対して、更に細かい曲調の分類を行うことができるため、本来興味のない楽曲群を予め分類対象から排除した上で、個人の嗜好を満足させる音楽の楽しみ方を提供することができる。

本発明の実施例を示すブロック図である。 和音特徴量抽出処理を示すフローチャートである。 Ａ音を１.０とした場合の１２音及び１オクターブ高いＡ音各々の周波数比を示す図である。 和音解析動作の本処理を示すフローチャートである。 ４音からなる和音に対する３音からなる和音への変換を示す図である。 記録フォーマットを示す図である。 基本音及び和音の属性の表記方法、並びに和音候補の表記方法を示す図である。 和音解析動作の後処理を示すフローチャートである。 平滑化処理前の第１及び第２和音候補の時間変化を示す図である。 平滑化処理後の第１及び第２和音候補の時間変化を示す図である。 入れ替え処理後の第１及び第２和音候補の時間変化を示す図である。 和音進行パターンデータの作成方法及びそのフォーマットを示す図である。 ２つの楽曲中の和音のヒストグラムを示す図である。 和音進行の変化特徴量の保存の際のフォーマットを示す図である。 相対和音進行出現頻度演算処理を示すフローチャートである。 相対和音進行データの求め方を示す図である。 ３回の和音変化がある場合の複数の和音変化パターンを示す図である。 和音進行特徴ベクトル作成処理を示すフローチャートである。 出現頻度調整用重み付け係数Ｇ(i)の特性を示す図である。 和音進行特徴ベクトル作成処理の結果を示す図である。 音楽分類処理及び分類結果表示処理を示すフローチャートである。 分類結果及び集合表示例を示す図である。 選択用の集合表示画像を示す図である。 別の選択用の集合表示画像を示す図である。 音楽集合の選択及び再生処理を示すフローチャートである。 楽曲リスト表示画像を示す図である。 本発明の他の実施例を示すブロック図である。 図２７の装置の動作例を示すフローチャートである。 図２７の装置の別の動作例を示すフローチャートである。 図２７の装置の別の動作例を示すフローチャートである。 図２７の装置の別の動作例を示すフローチャートである。

符号の説明

１ 音楽情報入力装置
２ 和音進行パターン抽出部
３ 和音ヒストグラム偏差及び和音変化率演算部
４ 和音特徴量蓄積装置
６ 相対和音進行出現頻度演算部
７ 和音進行特徴ベクトル作成部
８ 音楽集合作成部
１０ 音楽集合単位表示装置
１１ 音楽集合選択装置
１２ 代表曲抽出部
１３ 楽曲リスト抽出部
１４ 楽曲リスト表示装置
１５ 楽曲リスト選択装置
１６ 音楽再生装置

Claims (16)

1. 複数の楽曲を自動分類する楽曲自動分類装置であって、
   前記複数の楽曲各々の和音進行順列を示す和音進行パターンデータを保存する和音進行データ蓄積手段と、
   前記複数の楽曲毎に和音進行の変化特徴量を前記和音進行パターンデータに応じて抽出する特徴量抽出手段と、
   前記複数の楽曲各々の前記和音進行パターンデータによって示される和音進行順列と前記和音進行の変化特徴量とに応じて前記複数の楽曲を集合分けする集合作成手段と、
   を備え、前記特徴量抽出手段は、
   前記複数の楽曲毎に前記和音進行パターンデータに応じて存在する和音各々の継続時間の合計をヒストグラム値として算出する和音ヒストグラム演算手段と、
   前記複数の楽曲毎に和音各々の前記ヒストグラム値に応じてヒストグラム偏差を算出するヒストグラム偏差演算手段と、
   前記複数の楽曲毎に前記和音進行パターンデータに応じて和音変化率を算出する和音変化率演算手段と、を備え、
   前記複数の楽曲毎の前記ヒストグラム偏差と前記和音変化率とを前記変化特徴量とすることを特徴とする楽曲自動分類装置。
2. 前記集合作成手段は、所定の楽曲全ての前記和音進行パターンデータによって示される和音進行順列に含まれる少なくとも２回の和音変化を含む和音進行部分の全てのうちの出現頻度が大なる順に所定数種類の和音進行部分を検出する相対和音進行出現頻度演算手段と、
   前記複数の楽曲毎に前記和音進行パターンデータによって示される和音進行順列中における前記所定数種類の和音変化部分各々についての出現頻度を検出し、その検出した出現頻度と前記和音進行の変化特徴量とを和音進行特徴ベクトル値として保存する和音進行特徴ベクトル演算手段と、
   前記複数の楽曲各々の前記和音進行特徴ベクトル値について自己組織化処理を施して前記複数の楽曲を類似の曲調毎の集合に分類する分類手段と、を備えたことを特徴とする請求項１記載の楽曲自動分類装置。
3. 前記相対和音進行出現頻度演算手段は、前記複数の楽曲各々の前記和音進行パターンデータに応じて楽曲中の全ての和音の変化前及び変化後の根音差分値と、その変化後の和音の種類とを示す相対和音進行データを生成する相対和音進行データ生成手段と、
   前記少なくとも２回の連続した和音進行部分が取り得る全和音変化パターン各々を示す基準相対和音進行データを生成する基準相対和音進行データ生成手段と、
   前記相対和音進行データ生成手段によって生成された前記相対和音進行データのうちの全ての前記少なくとも２回の連続した和音進行部分と前記全和音変化パターン各々を示す基準相対和音進行データとの一致を検出してその全ての前記少なくとも２回の連続した和音進行部分各々の出現頻度を計数する比較手段と、
   を備えたことを特徴とする請求項２記載の楽曲自動分類装置。
4. 前記和音進行特徴ベクトル演算手段は、前記複数の楽曲各々の前記和音進行パターンデータに応じて和音変化前及び変化後の根音差分値と、変化後の和音の種類とを示す相対和音進行データを生成する相対和音進行データ生成手段と、
   前記所定数種類の和音変化部分各々を示す基準相対和音進行データを生成する基準相対和音進行データ生成手段と、
   前記相対和音進行データ生成手段によって生成された前記相対和音進行データのうちの全ての前記少なくとも２回の連続した和音進行部分と前記所定数種類の和音変化部分各々を示す基準相対和音進行データとの一致を検出して前記所定数種類の和音変化部分各々の前記複数の楽曲毎の出現頻度を計数する比較手段と、
   を備えたことを特徴とする請求項２記載の楽曲自動分類装置。
5. 前記和音進行特徴ベクトル演算手段は、前記比較手段によって得られた前記所定数種類の和音変化部分各々の前記複数の楽曲毎の出現頻度に対して重み付け係数を乗算して最終的な前記複数の楽曲毎の出現頻度を算出する重み付け手段を更に有することを特徴とする請求項４記載の楽曲自動分類装置。
6. 前記集合作成手段によって分類された複数の集合を表示する集合表示手段と、
   前記集合表示手段によって表示された複数の集合のうちのいずれか１の集合を操作に応じて選択する選択手段と、
   前記１の集合に属する楽曲のリストを表示する楽曲リスト表示手段と、
   前記１の集合に属する楽曲各々の楽曲音を選択的に再生する再生手段と、
   を備えたことを特徴とする請求項１記載の楽曲自動分類装置。
7. 前記再生手段は、前記複数の楽曲の楽曲音を示す楽曲音データを蓄積する楽曲蓄積装置を有することを特徴とする請求項６記載の楽曲自動分類装置。
8. 前記再生手段は、前記１の集合に属する楽曲のうちの代表曲の楽曲音を再生することを特徴とする請求項６記載の楽曲自動分類装置。
9. 前記和音進行データ蓄積手段は、前記複数の楽曲各々を識別するための楽曲識別情報に対応させて前記和音進行パターンデータを保存することを特徴とする請求項１記載の楽曲自動分類装置。
10. 前記複数の楽曲各々を示す入力オーディオ信号を入力して前記和音進行データを作成する和音進行データ作成手段を含むことを特徴とする請求項１記載の楽曲自動分類装置。
11. 前記和音進行データ作成手段は、前記複数の楽曲各々を示す入力オーディオ信号を所定の時間毎に周波数成分の大きさを示す周波数信号に変換する周波数変換手段と、
    前記周波数変換手段によって得られた周波数信号から平均律の各音に対応した周波数成分を前記所定の時間毎に抽出する成分抽出手段と、
    前記成分抽出手段によって抽出された各音に対応した周波数成分のうちのレベル合計が大となる３つの周波数成分の組によって各々形成される２つの和音を第１及び第２和音候補として検出する和音候補検出手段と、
    前記和音候補検出手段によって繰り返し検出された第１及び第２和音候補各々の列を平滑化処理して前記和音進行パターンデータを生成する平滑化手段と、
    を備えたことを特徴とする請求項１１記載の楽曲自動分類装置。
12. 前記所定の楽曲は前記複数の楽曲であることを特徴とする請求項２記載の楽曲自動分類装置。
13. 前記所定の楽曲は視聴履歴がある楽曲であることを特徴とする請求項２記載の楽曲自動分類装置。
14. 前記所定の楽曲は操作に応じて選択された楽曲であることを特徴とする請求項２記載の楽曲自動分類装置。
15. 複数の楽曲を自動分類する楽曲自動分類方法であって、
    前記複数の楽曲各々の和音進行順列を示す和音進行パターンデータを保存する和音進行データ蓄積ステップと、
    前記複数の楽曲毎に和音進行の変化特徴量を前記和音進行パターンデータに応じて抽出する特徴量抽出ステップと、
    前記複数の楽曲各々の前記和音進行パターンデータによって示される和音進行順列と前記和音進行の変化特徴量とに応じて前記複数の楽曲を集合分けする集合作成ステップと、
    を含み、前記特徴量抽出ステップは、
    前記複数の楽曲毎に前記和音進行パターンデータに応じて存在する和音各々の継続時間の合計をヒストグラム値として算出する和音ヒストグラム演算ステップと、
    前記複数の楽曲毎に和音各々の前記ヒストグラム値に応じてヒストグラム偏差を算出するヒストグラム偏差演算ステップと、
    前記複数の楽曲毎に前記和音進行パターンデータに応じて和音変化率を算出する和音変化率演算ステップと、を含み、
    前記複数の楽曲毎の前記ヒストグラム偏差と前記和音変化率とを前記変化特徴量とすることを特徴とする楽曲自動分類方法。
16. 複数の楽曲を自動分類する楽曲自動分類手順をコンピュータをして実行せしめるコンピュータ読取可能なプログラムであって、
    前記複数の楽曲各々の和音進行順列を示す和音進行パターンデータを保存する和音進行データ蓄積ステップと、
    前記複数の楽曲毎に和音進行の変化特徴量を前記和音進行パターンデータに応じて抽出する特徴量抽出ステップと、
    前記複数の楽曲各々の前記和音進行パターンデータによって示される和音進行順列と前記和音進行の変化特徴量とに応じて前記複数の楽曲を集合分けする集合作成ステップと、 を備え、前記特徴量抽出ステップは、
    前記複数の楽曲毎に前記和音進行パターンデータに応じて存在する和音各々の継続時間の合計をヒストグラム値として算出する和音ヒストグラム演算ステップと、
    前記複数の楽曲毎に和音各々の前記ヒストグラム値に応じてヒストグラム偏差を算出するヒストグラム偏差演算ステップと、
    前記複数の楽曲毎に前記和音進行パターンデータに応じて和音変化率を算出する和音変化率演算ステップと、を備え
    前記複数の楽曲毎の前記ヒストグラム偏差と前記和音変化率とを前記変化特徴量とすることを特徴とするプログラム。

Images