JP2006323438A

JP2006323438A - 楽曲検索システム

Info

Publication number: JP2006323438A
Application number: JP2005143438A
Authority: JP
Inventors: Narifumi Nochida; 成文後田
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2005-05-17
Filing date: 2005-05-17
Publication date: 2006-11-30

Abstract

【課題】本発明は、ユーザが所望する印象の楽曲を検索する際に、所望する楽曲に対するユーザの主観的な要件を入力するという煩雑な操作を必要とせず、所望の印象の楽曲を検索することができる楽曲検索システムを提供することを課題とする。
【解決手段】携帯端末装置３０の音声出力部３６によって楽曲データが音声出力されている状態で、音声出力されている楽曲データに基づく代表曲検索を指示する代表曲検索指示キーとして機能する決定キー３４２を有し、決定キー３４２が押下されると、楽曲検索部３３は、音声出力されている楽曲データを代表曲として決定し、決定した代表曲に基づいて所定数の楽曲データを特定する。
【選択図】図１

Description

本発明は、入力された楽曲データを楽曲データベースに記憶させる楽曲登録装置と、当該楽曲登録装置に接続可能に構成され、楽曲データベースに記憶された楽曲データが転送される端末楽曲データベースを有する携帯端末装置とからなる楽曲検索システムに関し、特に携帯端末装置において端末楽曲データベースに記憶された楽曲データの検索を行う楽曲検索システムに関する。

近年、ＨＤＤ等の大容量の記憶手段が開発され、大容量の記憶手段に大量の楽曲データを記憶させることができるようになっている。大容量の記憶手段に記憶されている大量の楽曲データの検索は、アーティスト名や曲名、その他のキーワード等の書誌データを用いて行うのが一般的であるが、書誌データで検索した場合には、楽曲が持っている情感を考慮することができず、印象の異なる楽曲が検索される可能性があり、聴取した際の印象が同じような楽曲を検索したい場合には、不向きである。

そこで、楽曲に対する主観的な印象に基づいて利用者の希望する楽曲を検索可能にするために、検索を希望する楽曲に対するユーザの主観的な要件を入力して数値化して出力し、その出力から、検索対象の楽曲の印象を数量化した予測印象値を算出し、算出した予測印象値をキーとして、複数の楽曲の音響信号およびその楽曲の印象を数量化した印象値を記憶した楽曲データベースを検索することにより、利用者の楽曲に対する主観的なイメージに基づいて、希望する楽曲を検索する装置が提案されている（例えば、特許文献１参照）。

しかしながら、従来技術では、ユーザが希望する印象の楽曲を検索する場合には、検索を希望する楽曲に対するユーザの主観的な要件を入力するという煩雑な操作が必要になると共に、ユーザの主観的な要件の入力には、ユーザの感覚を文字に置き換える作業が含まれているため、異なる印象の楽曲が検索されてしまう恐れがあるという問題点があった。
特開２００２−２７８５４７号公報

本発明は斯かる問題点を鑑みてなされたものであり、その目的とするところは、ユーザが所望する印象の楽曲を検索する際に、所望する楽曲に対するユーザの主観的な要件を入力するという煩雑な操作を必要とせず、所望の印象の楽曲を検索することができる楽曲検索システムを提供する点にある。

本発明は上記課題を解決すべく、以下に掲げる構成とした。
本発明の楽曲検索システムは、入力された楽曲データを楽曲データベースに記憶させる楽曲登録装置と、当該楽曲登録装置に接続可能に構成され、前記楽曲データベースに記憶された前記楽曲データが転送される端末楽曲データベースを有し、当該端末楽曲データベースに記憶された前記楽曲データを選択的に音声出力する携帯端末装置とからなる楽曲検索システムであって、前記楽曲登録装置は、入力された前記楽曲データから物理的な特徴データを抽出する特徴データ抽出手段と、該特徴データ抽出手段によって抽出された前記特徴データを人間の感性によって判断される印象度データに変換する印象度データ変換手段と、前記楽曲データベースに記憶された前記楽曲データと共に前記印象度データを前記携帯端末装置に転送する楽曲データ送信手段とを具備し、前記携帯端末装置は、前記楽曲登録装置の前記楽曲データ送信手段から転送された前記楽曲データおよび前記印象度データを前記端末楽曲データベースに記憶させる楽曲データ受信手段と、音声出力されている前記楽曲データに基づく代表曲検索を指示する代表曲検索指示キーと、該代表曲検索指示キーが押下されると、音声出力されている前記楽曲データを代表曲として決定し、決定した前記代表曲の前記印象度データに基づいて所定数の前記楽曲データを特定する楽曲検索手段と、該楽曲検索手段によって検索された前記楽曲データを音声出力する音声出力手段とを具備することを特徴とする。

さらに、本発明の楽曲検索システムは、前記楽曲検索手段は、前記代表曲の前記印象度データを入力ベクトルとすると共に、前記端末楽曲データベースに記憶されている前記印象度データを検索対象ベクトルとし、両者のユークリッド距離が小さい順に所定数検索することを特徴とする。

また、本発明の楽曲検索システムは、入力された楽曲データを楽曲データベースに記憶させる楽曲登録装置と、当該楽曲登録装置に接続可能に構成され、前記楽曲データベースに記憶された前記楽曲データが転送される端末楽曲データベースを有し、当該端末楽曲データベースに記憶された前記楽曲データを選択的に音声出力する携帯端末装置とからなる楽曲検索システムであって、前記楽曲登録装置は、入力された前記楽曲データから物理的な特徴データを抽出する特徴データ抽出手段と、該特徴データ抽出手段によって抽出された前記特徴データを人間の感性によって判断される印象度データに変換する印象度データ変換手段と、該印象度データ変換手段に変換された前記印象度データに基づいて、入力された前記楽曲データを座標が付与された複数の部分空間に分割された楽曲マップにマッピングすると共に、前記部分空間の座標と前記部分空間に配置されている前記楽曲データとからなる検索テーブルを作成する楽曲マッピング手段と、前記楽曲データベースに記憶された前記楽曲データと共に前記楽曲マッピング手段によって作成された前記検索テーブルを前記携帯端末装置に転送する楽曲データ送信手段とを具備し、前記携帯端末装置は、前記楽曲登録装置の前記楽曲データ送信手段から転送された前記楽曲データおよび前記検索テーブルを前記端末楽曲データベースに記憶させる楽曲データ受信手段と、音声出力されている前記楽曲データに基づく代表曲検索を指示する代表曲検索指示キーと、該代表曲検索指示キーが押下されると、音声出力されている前記楽曲データを代表曲として決定し、決定した前記代表曲に基づいて前記検索テーブルを検索することで所定数の前記楽曲データを特定する楽曲検索手段と、該楽曲検索手段によって検索された前記楽曲データを音声出力する音声出力手段とを具備することを特徴とする。

さらに、本発明の楽曲検索システムは、前記楽曲検索手段は、前記代表曲が配置されている前記部分空間を中心空間とし、所定の検索数以上になるまで前記中心空間から外側に向けて前記部分空間に配置された前記楽曲データを検索することを特徴とする。

さらに、本発明の楽曲検索システムは、前記印象度データ変換手段は、前記特徴データ抽出手段によって抽出された特徴データを予め学習が施された階層型ニューラルネットワークを用いて人間の感性によって判断される印象度データに変換することを特徴とする。

また、本発明の携帯端末装置は、上位装置に接続可能に構成され、前記上位装置から転送される前記楽曲データを記憶する端末楽曲データベースを有し、当該端末楽曲データベースに記憶された前記楽曲データを選択的に音声出力する携帯端末装置であって、前記上位装置から前記楽曲データと共に、前記楽曲データの物理的な特徴データから変換された人間の感性によって判断される印象度データを受信し、受信した前記楽曲データおよび前記検索テーブルを前記端末楽曲データベースに記憶させる楽曲データ受信手段と、音声出力されている前記楽曲データに基づく代表曲検索を指示する代表曲検索指示キーと、該代表曲検索指示キーが押下されると、音声出力されている前記楽曲データを代表曲として決定し、決定した前記代表曲の前記印象度データに基づいて所定数の前記楽曲データを特定する楽曲検索手段と、該楽曲検索手段によって検索された前記楽曲データを音声出力する音声出力手段とを具備することを特徴とする。

また、本発明の携帯端末装置は、上位装置に接続可能に構成され、前記上位装置から転送される前記楽曲データを記憶する端末楽曲データベースを有し、当該端末楽曲データベースに記憶された前記楽曲データを選択的に音声出力する携帯端末装置であって、前記上位装置から前記楽曲データと共に、分割された部分空間のそれぞれの座標と前記部分空間に配置されている前記楽曲データとからなる検索テーブルを受信し、受信した前記楽曲データおよび前記検索テーブルを前記端末楽曲データベースに記憶させる楽曲データ受信手段と、音声出力されている前記楽曲データに基づく代表曲検索を指示する代表曲検索指示キーと、該代表曲検索指示キーが押下されると、音声出力されている前記楽曲データを代表曲として決定し、決定した前記代表曲に基づいて前記検索テーブルを検索して所定数の前記楽曲データを特定する楽曲検索手段と、該楽曲検索手段によって検索された前記楽曲データを音声出力する音声出力手段とを具備することを特徴とする。

本発明の楽曲検索システムは、音声出力されている楽曲データに基づく代表曲検索を指示する代表曲検索指示キーを有し、代表曲検索指示キーが押下されると、音声出力されている楽曲データを代表曲として決定し、決定した代表曲に基づいて所定数の楽曲データを特定するように構成することにより、ユーザが所望する印象の楽曲を検索する際に、所望する楽曲に対するユーザの主観的な要件を入力するという煩雑な操作を必要とせず、代表曲検索指示キーが押下するだけで、所望する印象の楽曲を検索することができ、さらに、音声出力されている楽曲データに基づいた検索であるため、ユーザの感性そのままの検索を行うことができ、所望の印象の楽曲を検索することができるという効果を奏する。

また、本発明の楽曲検索システムは、音声出力されている前記楽曲データを代表曲として決定し、決定した前記代表曲に基づいて、分割された部分空間のそれぞれの座標と前記部分空間に配置されている前記楽曲データとからなる検索テーブルを検索して所定数の前記楽曲データを特定するように構成することにより、全探索を行う必要がなく、据置機器と比較して計算能力が低い携帯機器においても負荷を少なくより高速に検索を行うことができるという効果を奏する。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。

図１は、本発明に係る楽曲検索システムの実施の形態の構成を示すブロック図であり、図２は、図１に示す携帯端末装置の構成を示す前面図であり、図３は、図１に示す楽曲登録装置に用いられるニューラルネットワークを事前に学習させるニューラルネットワーク学習装置の構成を示すブロック図である。

本実施の形態は、図１を参照すると、楽曲登録装置１０と、携帯端末装置３０とがＵＳＢ等のデータ伝送路２３で接続されており、携帯端末装置３０は、楽曲登録装置１０から切り離して携帯することができる構成となっている。

楽曲登録装置１０は、パーソナルコンピュータ等のプログラム制御で動作する情報処理装置であり、図１を参照すると、楽曲データ入力部１１と、圧縮処理部１２と、特徴データ抽出部１３と、印象度データ変換部１４と、楽曲データベース１５と、楽曲マッピング部１６と、楽曲マップ記憶部１７と、楽曲検索部１８と、ＰＣ操作部１９と、ＰＣ表示部２０と、送受信部２１と、音声出力部２２とからなる。

楽曲データ入力部１１は、ＣＤ、ＤＶＤ等の楽曲データが記憶されている記憶媒体を読み取る機能を有し、ＣＤ、ＤＶＤ等の記憶媒体から楽曲データを入力し、圧縮処理部１２および特徴データ抽出部１３に出力する。ＣＤ、ＤＶＤ等の記憶媒体以外にインターネット等のネットワークを経由した楽曲データ（配信データ）を入力するように構成しても良い。なお、圧縮された楽曲データが入力される場合には、圧縮された楽曲データを伸長して特徴データ抽出部１３に出力する。

圧縮処理部１２は、楽曲登録時には、楽曲データ入力部１１から入力された楽曲データをＭＰ３やＡＴＲＡＣ（Adaptive Transform Acoustic Coding ）等の圧縮形式で圧縮し、圧縮した楽曲データを、アーティスト名、曲名等の書誌データと共に楽曲データベース１５に記憶させる。

特徴データ抽出部１３は、楽曲データ入力部１１から入力された楽曲データから、ゆらぎ情報からなる特徴データを抽出し、抽出した特徴データを印象度データ変換部１４に出力する。

印象度データ変換部１４は、予め学習が施された階層型ニューラルネットワークを用いて、特徴データ抽出部１３から入力された特徴データを、人間の感性によって判断される印象度データに変換し、変換した印象度データを楽曲マッピング部１６に出力すると共に、特徴データ抽出部１３から入力された特徴データと変換した印象度データとを楽曲データに関連づけて楽曲データベース１５に登録する。

楽曲データベース１５は、ＨＤＤ等の大容量の記憶手段であり、圧縮処理部１２によって圧縮された楽曲データ、書誌データと、特徴データ抽出部１３によって抽出された特徴データと、印象度データ変換部１４によって変換された印象度データとが関連づけられて記憶される。

楽曲マッピング部１６は、印象度データ変換部１４から入力された印象度データに基づいて、任意空間である楽曲マップに楽曲データをマッピングし、楽曲データをマッピングした楽曲マップを楽曲マップ記憶部１７に記憶させると共に、楽曲マップにマッピングされた楽曲データを検索するための検索テーブルを作成し、作成した検索テーブルを楽曲データベース１５に記憶させる。

楽曲マップ記憶部１７は、ＨＤＤ等の大容量の記憶手段であり、楽曲マッピング部１６によって楽曲データがマッピングされた楽曲マップが記憶される。

楽曲検索部１８は、ＰＣ操作部１９から書誌データに基づいて楽曲データベース１５を検索し、当該検索結果をＰＣ表示部２０に表示すると共に、ＰＣ操作部１９によって選択された代表曲に基づいて楽曲マップ記憶部１７を検索し、当該代表曲検索結果をＰＣ表示部２０に表示すると共に検索リストとして楽曲データベース１５に記憶させる。

ＰＣ操作部１９は、キーボードやマウス等の入力手段であり、楽曲データベース１５および楽曲マップ記憶部１７に記憶されている楽曲データを検索する検索条件の入力、携帯端末装置３０に出力する楽曲データを選択する入力が行われる。

ＰＣ表示部２０は、例えば液晶ディスプレイ等の表示手段であり、楽曲マップ記憶部１７に記憶されている楽曲データのマッピング状況の表示、楽曲データベース１５および楽曲マップ記憶部１７に記憶されている楽曲データを検索する検索条件の表示、検索された楽曲データ（検索結果）の表示等が行われる。

送受信部２１は、携帯端末装置３０の送受信部３１との間をＵＳＢ等のデータ伝送路２３で接続可能に構成されており、楽曲データベース１５に記憶されている楽曲データと、当該楽曲データに対応する印象度データおよび楽曲マップにおけるニューロンの座標と、検索テーブルと、検索リストとを携帯端末装置３０の送受信部３１に出力する。

音声出力部２２は、楽曲データベース１５に記憶されている楽曲データを伸長して再生するオーディオプレーヤである。

携帯端末装置３０は、ＨＤＤ等の大容量の記憶手段を有するポータブルオーディオ等の音声再生装置であり、図１を参照すると、送受信部３１と、端末楽曲データベース３２と、楽曲検索部３３と、端末操作部３４、端末表示部３５と、音声出力部３６とからなる。

送受信部３１は、楽曲登録装置１０の送受信部２１との間をＵＳＢ等のデータ伝送路２３で接続可能に構成されており、楽曲登録装置１０の送受信部２１から入力された楽曲データを端末楽曲データベース３２に記憶させる。

端末楽曲データベース３２は、ＨＤＤ等の大容量の記憶手段であり、楽曲データベース１５に記憶されている楽曲データと、当該楽曲データに対応する印象度データおよび楽曲マップにおけるニューロンの座標と、検索テーブルと、検索リストとが記憶される。

楽曲検索部３３は、端末操作部３４から書誌データに基づいて端末楽曲データベース３２を検索し、当該検索結果を端末表示部３５に表示すると共に、端末操作部３４によって特定された代表曲に基づいて検索テーブルを検索し、当該検索結果を端末表示部３５に表示する。

端末操作部３４は、楽曲データの再生に係る入力が行われる入力手段であり、図２を参照すると、再生する楽曲データの選択する入力、検索方法を選択する入力、ボリュームコントロールの入力等を行う十字キー３４１と、選択された楽曲データの出力を指示する入力、選択された検索方法の実行を指示する入力等を行う決定キー３４２からなる。

端末表示部３５は、例えば液晶ディスプレイ等の表示手段であり、端末楽曲データベース３２に記憶されている楽曲データを検索する検索条件の表示、検索された楽曲データ（検索結果）の表示等が行われる。

音声出力部３６は、端末楽曲データベース３２に圧縮されて記憶されている楽曲データを伸長して再生するオーディオプレーヤである。

ニューラルネットワーク学習装置４０は、印象度データ変換部１４で用いられる階層型ニューラルネットワークと、楽曲マッピング部１６で用いられる楽曲マップとの学習を行う装置であり、図３を参照すると、楽曲データ入力部４１と、音声出力部４２と、特徴データ抽出部４３と、印象度データ入力部４４と、結合重み値学習部４５と、楽曲マップ学習部４６と、結合重み値出力部４７と、特徴ベクトル出力部４８とからなる。

楽曲データ入力部４１は、ＣＤ、ＤＶＤ等の楽曲データが記憶されている記憶媒体を読み取る機能を有し、ＣＤ、ＤＶＤ等の記憶媒体から楽曲データを入力し、音声出力部４２および特徴データ抽出部４３に出力する。ＣＤ、ＤＶＤ等の記憶媒体以外にインターネット等のネットワークを経由した楽曲データ（配信データ）を入力するように構成しても良い。なお、圧縮された楽曲データが入力される場合には、圧縮された楽曲データを伸長して音声出力部４２および特徴データ抽出部４３に出力する。

音声出力部４２は、楽曲データ入力部４１から入力された楽曲データを伸長して再生するオーディオプレーヤである。

特徴データ抽出部４３は、楽曲データ入力部４１から入力された楽曲データから、ゆらぎ情報からなる特徴データを抽出し、抽出した特徴データを結合重み値学習部４５に出力する。

印象度データ入力部４４は、音声出力部４２からの音声出力に基づく、評価者による印象度データの入力を受け付け、受け付けた印象度データを、階層型ニューラルネットワークの学習に用いる教師信号として結合重み値学習部４５に出力すると共に自己組織化マップへの入力ベクトルとして楽曲マップ学習部４６に出力する。

結合重み値学習部４５は、特徴データ抽出部４３から入力された特徴データと、印象度データ入力部４４から入力された印象度データとに基づいて階層型ニューラルネットワークに学習を施し、各ニューロンの結合重み値を更新し、結合重み値出力部４７を介して更新した結合重み値を出力する。学習が施された階層型ニューラルネットワーク（更新された結合重み値）は、楽曲登録装置１０の印象度データ変換部１４に移植される。

楽曲マップ学習部４６は、印象度データ入力部４４から入力された印象度データを自己組織化マップへの入力ベクトルとして自己組織化マップに学習を施し、各ニューロンの特徴ベクトルを更新し、特徴ベクトル出力部４８を介して更新した特徴ベクトルを出力する。学習が施された自己組織化マップ（更新された特徴ベクトル）は、楽曲マップとして楽曲登録装置１０の楽曲マップ記憶部１７に記憶される。

まず、楽曲登録装置１０における楽曲登録動作について図４乃至図９を参照して詳細に説明する。
図４は、図１に示す楽曲登録装置における楽曲登録動作を説明するためのフローチャートであり、図５は、図１に示す特徴データ抽出部における特徴データ抽出動作を説明するためのフローチャートであり、図６は、図１に示す特徴データ抽出部におけるテンポ決定動作を説明するためのフローチャートであり、図７は、図１に示す印象度データ変換部で用いられる階層型ニューラルネットワーク例を示す説明図であり、図８は、図１に示す楽曲マッピング部が楽曲データをマッピングする楽曲マップ例を示す説明図であり、図９は、図１に示す楽曲データベースに記憶される検索テーブル例を示す図である。

楽曲データ入力部１１にＣＤ、ＤＶＤ等の楽曲データが記憶されている記憶媒体をセットし、楽曲データ入力部１１から楽曲データを入力する（ステップＡ１）。

圧縮処理部１２は、楽曲データ入力部１１から入力された楽曲データを圧縮し（ステップＡ２）、圧縮した楽曲データを、アーティスト名、曲名等の書誌データと共に楽曲データベース１５に記憶させる（ステップＡ３）。

特徴データ抽出部１３は、楽曲データ入力部１１から入力された楽曲データから、ゆらぎ情報からなる特徴データを抽出する（ステップＡ４）。

特徴データ抽出部１３における特徴データの抽出動作は、図４乃至図６を参照すると、楽曲データ入力部１１にＣＤプレーヤ等の楽曲再生装置やインターネット等のネットワークから楽曲データが入力されると（ステップＢ１）、楽曲データ入力部１１は、高速化を目的とし、楽曲データ入力部１１に入力された楽曲データを４４．１ｋＨｚから２２．０５ｋＨｚにダウンサンプリングし、ダウンサンプリングした楽曲データを特徴データ抽出部１３に出力する。

次に、特徴データ抽出部１３は、楽曲データの予め定められたデータ解析開始点（楽曲の先頭から３０ｓ）から一定のフレーム長に対してのＦＦＴ処理を行い、パワースペクトルを算出する（ステップＢ２）。なお、本実施の形態においては、特徴データの１つである楽曲のテンポとしてテンポの周期を抽出し、テンポの周期が０．３〜１ｓの範囲にあることを想定し、サンプリング周期が２２．０５ｋＨｚである楽曲データに対して１０２４ポイントのＦＦＴ処理を行うように構成した。すなわち、ＦＦＴ処理を行うフレーム長を、１０２４／２２．０５ｋＨｚ≒４６ｍｓとし、想定した楽曲におけるテンポの周期の最小値よりも短い値としている。

次に、特徴データ抽出部１３は、Ｌｏｗ（０〜２００Ｈｚ）、Ｍｉｄｄｌｅ（２００〜６００Ｈｚ）、Ｈｉｇｈ（６００〜１１０５０Ｈｚ）の周波数帯域を予め設定しておき、Ｌｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈの３帯域のパワースペクトルを積分し、平均パワーを算出し（ステップＢ３）、ステップＢ２〜ステップＢ３の処理動作を行ったフレーム個数が予め定められた設定値（２０４８）に達したか否かを判断し（ステップＢ４）、ステップＢ２〜ステップＢ３の処理動作を行ったフレーム個数が予め定められた設定値に達していない場合には、データ解析開始点をシフトしながら（ステップＢ５）、ステップＢ２〜ステップＢ３の処理動作を繰り返す。これにより、ステップＢ２〜ステップＢ３の処理動作は、予め定められたフレーム個数の設定値分行われることになり、Ｌｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈ３帯域の平均パワーの時系列データをそれぞれ求めることができる。なお、本実施の形態では、解析時間長を６０ｓとし、データ解析開始点を６０ｓ＊２２．０５ｋＨｚ／２０４８≒６４６ポイントずつシフトしながらＦＦＴ処理を行い、２０４８ポイント、６０ｓの平均パワーの時系列データを作成するように構成した。

次に、特徴データ抽出部１３は、ステップＢ２〜ステップＢ５の処理動作によって算出したＬｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈの平均パワーの時系列データに対しそれぞれＦＦＴを行い、ゆらぎ情報を算出する（ステップＢ６）。なお、本実施の形態では、平均パワーの時系列データに対して２０４８ポイントのＦＦＴ処理を行うように構成した。

次に、特徴データ抽出部１３は、Ｌｏｗ、Ｍｉｄｄｌｅ、ＨｉｇｈにおけるＦＦＴ分析結果から、横軸を対数周波数、縦軸を対数パワースペクトルとしたグラフにおける近似直線を最小２乗法等によって算出し（ステップＢ７）、近似直線の傾きと、近似直線のＹ切片とを求め（ステップＢ８）、Ｌｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈのそれぞれにおける近似直線の傾きおよびＹ切片を特徴データとして抽出する。

また、特徴データ抽出部１３は、ＬｏｗにおけるＦＦＴ分析結果において、ステップＢ６で算出されたゆらぎ情報と、ステップＢ７で算出された算出された近似直線との差分を差分情報として算出し（ステップＢ９）、予め定められたロジックに基づいて算出した差分情報を解析することで、テンポの周期を決定し（ステップＢ１０）、決定したテンポを特徴データとして抽出し、Ｌｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈのそれぞれにおける近似直線の傾きおよびＹ切片と共に印象度データ変換部１４に出力する。

なお、特徴データ抽出部１３におけるテンポ決定動作は、図６を参照すると、ステップＢ９で算出された差分情報を解析することで、まず、周期０．３〜２ｓにおいて近似直線と１．２５ｄＢ以上離れている成分があるか否か、すなわち周波数１／０．３〜１／２Ｈｚの範囲内に近似直線と１．２５ｄＢ以上離れている周波数成分があるか否かを判断し（ステップＣ１）、近似直線と１．２５ｄＢ以上離れている周波数成分がある場合には、近似直線と１．２５ｄＢ以上離れている周波数成分の内、最も周期が長い周波数成分の周期を候補Ａとする（ステップＣ２）。

次に、特徴データ抽出部１３は、候補Ａが１ｓ以上か否かを判断し（ステップＣ３）、候補Ａが１ｓ以上である場合には、候補Ａ／２をテンポの周期として決定すると共に（ステップＣ４）、候補Ａが１ｓ以上でない場合には、候補Ａをテンポの周期として決定する（ステップＣ５）。

ステップＣ１で近似直線と１．２５ｄＢ以上離れている周波数成分がない場合には、特徴データ抽出部１３は、周期０．３〜２ｓにおいて近似直線と０．７ｄＢ以上離れている成分があるか否か、すなわち周波数１／０．３〜１／２Ｈｚの範囲内に近似直線と０．７ｄＢ以上離れている周波数成分があるか否かを判断し（ステップＣ６）、近似直線と０．７ｄＢ以上離れている周波数成分がある場合には、近似直線と０．７ｄＢ以上離れている周波数成分の内、最も周期が長い周波数成分の周期を候補Ａとする（ステップＣ７）。

次に、特徴データ抽出部１３は、候補Ａが１ｓ以上か否かを判断し（ステップＣ８）、候補Ａが１ｓ以上である場合には、候補Ａ／２をテンポの周期として決定すると共に（ステップＣ９）、候補Ａが１ｓ以上でない場合には、候補Ａが０．６ｓ以上か否かを判断する（ステップＣ１０）。候補Ａが０．６ｓ以上である場合には、候補Ａ以外に近似直線と０．７ｄＢ以上離れている周波数成分が２つ以上あるか否かを判断し（ステップＣ１１）、候補Ａ以外に近似直線と０．７ｄＢ以上離れている周波数成分が２つ以上ある場合には、候補Ａ／２をテンポの周期として決定する（ステップＣ９）。ステップＣ１０で候補Ａが０．６ｓ以上でない場合と、ステップＣ１１で候補Ａ以外に近似直線と０．７ｄＢ以上離れている周波数成分が２つ以上ない場合には、候補Ａをテンポの周期として決定する（ステップＣ１２）。

ステップＣ１１で近似直線と０．７ｄＢ以上離れている周波数成分がない場合には、特徴データ抽出部１３は、周期０．３〜２ｓにおいて近似直線と０．６ｄＢ以上離れている成分があるか否か、すなわち周波数１／０．３〜１／２Ｈｚの範囲内に近似直線と０．６ｄＢ以上離れている周波数成分があるか否かを判断し（ステップＣ１３）、近似直線と０．６ｄＢ以上離れている周波数成分がある場合には、近似直線と０．６ｄＢ以上離れている周波数成分の内、最も周期が長い周波数成分の周期を候補Ａとする（ステップＣ７）。

次に、特徴データ抽出部１３は、候補Ａが１ｓ以上か否かを判断し（ステップＣ８）、候補Ａが１ｓ以上である場合には、候補Ａ／２をテンポの周期として決定すると共に（ステップＣ９）、候補Ａが１ｓ以上でない場合には、候補Ａが０．６ｓ以上か否かを判断する（ステップＣ１０）。候補Ａが０．６ｓ以上である場合には、候補Ａ以外に近似直線と０．６ｄＢ以上離れている周波数成分が２つ以上あるか否かを判断し（ステップＣ１１）、候補Ａ以外に近似直線と０．６ｄＢ以上離れている周波数成分が２つ以上ある場合には、候補Ａ／２をテンポの周期として決定し（ステップＣ９）、ステップＣ１０で候補Ａが０．６ｓ以上でない場合と、ステップＣ１１で候補Ａ以外に近似直線と０．６Ｂ以上離れている周波数成分が２つ以上ない場合には、候補Ａをテンポの周期として決定する（ステップＣ１２）。

ステップＣ１３で近似直線と０．６ｄＢ以上離れている周波数成分がない場合には、特徴データ抽出部１３は、周期３〜４ｓにおいて近似直線と０．６ｄＢ以上離れている成分があるか否か、すなわち周波数１／３〜１／４Ｈｚの範囲内に近似直線と０．６ｄＢ以上離れている周波数成分があるか否かを判断し（ステップＣ１４）、近似直線と０．６ｄＢ以上離れている周波数成分がある場合には、近似直線と０．６ｄＢ以上離れている周波数成分の内、最も周期が長い周波数成分の周期を候補Ａとし（ステップＣ１５）、候補Ａ／４をテンポの周期として決定する（ステップＣ１６）。

ステップＣ１４で近似直線と０．６ｄＢ以上離れている周波数成分がない場合には、特徴データ抽出部１３は、周期０．１〜０．３ｓにおいて近似直線と０．７ｄＢ以上離れている成分があるか否か、すなわち周波数１／０．１〜１／０．３Ｈｚの範囲内に近似直線と０．７ｄＢ以上離れている周波数成分があるか否かを判断し（ステップＣ１７）、近似直線と０．７ｄＢ以上離れている周波数成分がない場合には、１ｓをテンポの周期として決定すると共に（ステップＣ１８）、近似直線と０．７ｄＢ以上離れている周波数成分がある場合には、０．３ｓをテンポの周期として決定する（ステップＣ１９）。

なお、本実施の形態では、楽曲のテンポとしてテンポの周期を抽出するように構成したが、一般にテンポを表す単位として用いられているＢＰＭ（beat per minutes)に換算するようにしても良く、さらにテンポの周期を一定の加工方法で加工するようにしても良い。

次に、図４を参照すると、印象度データ変換部１４は、図７に示すような入力層（第１層）、中間層（第ｎ層）、出力層（第Ｎ層）からなる階層型ニューラルネットワークを用い、入力層（第１層）に特徴データ抽出部１３で抽出された特徴データを入力することによって、出力層（第Ｎ層）から印象度データを出力、すなわち特徴データを印象度データに変換し（ステップＡ５）、出力層（第Ｎ層）から出力された印象度データを、楽曲マッピング部１６に出力すると共に、特徴データ抽出部１３から入力された特徴データと、出力層（第Ｎ層）から出力された印象度データとを、楽曲データと共に楽曲データベース１５に記憶させる。なお、中間層（第ｎ層）の各ニューロンの結合重み値ｗは、評価者によって予め学習が施されている。また、本実施の形態の場合には、入力層（第１層）に入力される特徴データ、すなわち特徴データ抽出部１３によって抽出される特徴データの項目は、前述のようにＬｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈのそれぞれにおける近似直線の傾きおよびＹ切片と、テンポとの７項目であり、印象度データの評価項目としては、人間の感性によって判断される「明るい、暗い」、「澄んだ、にごった」、「激しい、穏やか」の３項目を設定し、各評価項目を７段階評価で表すように設定した。従って、入力層（第１層）のニューロン数Ｌ_１は、７個、出力層（第Ｎ層）のニューロン数Ｌ_Ｎは、３個となっており、中間層（第ｎ層：ｎ＝２，…，Ｎ−１）のニューロン数Ｌｎは、適宜設定されている。

楽曲マッピング部１６は、楽曲データ入力部１１から入力された楽曲データを楽曲マップ記憶部１７に記憶されている楽曲マップの該当箇所にマッピングする（ステップＡ６）。楽曲マッピング部１６におけるマッピング動作に用いられる任意空間である楽曲マップは、複数の部分空間に分割されており、楽曲データは、複数の部分空間のいずれかに配置される。楽曲マップとしては、例えばニューロンが２次元に規則的に配置（図８に示す例では、９＊９の正方形）されている自己組織化マップ（ＳＯＭ）を用いることができ、この場合には、ニューロンが複数の部分空間に対応する。

本実施の形態では、楽曲マップとしてニューロンが１００＊１００の正方形に配列された２次元ＳＯＭを使用し、楽曲マップの各ニューロンには、（１，１）〜（１００，１００）の座標が付与され、座標によりニューロン間の距離が認識できるように構成されており、楽曲マッピング部１６は、楽曲マップにマッピングされた楽曲データを検索するための検索テーブルを作成し、作成した検索テーブルを楽曲データベース１５に記憶させると共に、楽曲データが配置されたニューロンの座標を楽曲データと共に楽曲データベース１５に記憶させる。検索テーブルは、該当するニューロンを検索し、検索されたニューロンに配置されている楽曲データを特定するためのものであり、図９に示すように、楽曲マップにおける各ニューロンの座標と、各ニューロンに配置されている楽曲データ（楽曲データを特定する番号等）とからなる。なお、本実施の形態では、楽曲マップとしてニューロンが正方形に配列された２次元ＳＯＭを用いたが、ニューロンの配列は、長方形であっても、蜂の巣であっても良く、さらに３次元ＳＯＭを用いるようにしても良い。

また、楽曲マッピング部１６におけるマッピング動作に用いられる楽曲マップは、予め学習が施されており、各ニューロンには、予め学習されたｎ次元の特徴ベクトルｍ_ｉ（ｔ）∈Ｒ^ｎが付与されており、楽曲マッピング部１６は、印象度データ変換部１４によって変換された印象度データと、特徴データ抽出部１３によって抽出されたテンポとを入力ベクトルｘ_ｊとし、入力ベクトルｘ_ｊに最も近いニューロン、すなわちユークリッド距離‖ｘ_ｊ−ｍ_ｉ‖を最小にするニューロンに、入力された楽曲データを配置し、楽曲データがマッピングされた楽曲マップを楽曲マップ記憶部１７に記憶させる。なお、Ｒは、印象度データの各評価項目の評価段階数を示し、ｎは、印象度データの項目数を示す。

次に、印象度データ変換部１４における変換動作（ステップＡ５）に用いられる階層型ニューラルネットワークの学習動作について図１０を参照して詳細に説明する。
図１０は、図２に示すニューラルネットワーク学習装置における階層型ニューラルネットワークの学習動作を説明するためのフローチャートである。

評価者による階層型ニューラルネットワーク（結合重み値ｗ）の学習は、例えば、図２に示すニューラルネットワーク学習装置４０を用いて行われ、まず、階層型ニューラルネットワーク（結合重み値ｗ）を事前学習させるための事前学習データ（楽曲データの特徴データ＋印象度データ）の入力が行われる。

楽曲データ入力部４１にＣＤ、ＤＶＤ等の楽曲データが記憶されている記憶媒体をセットし、楽曲データ入力部４１から楽曲データを入力し（ステップＤ１）、特徴データ抽出部４３は、楽曲データ入力部４１から入力された楽曲データから特徴データを抽出する（ステップＤ２）。なお、特徴データ抽出部４３によって抽出する特徴データは、楽曲登録装置１０の特徴データ抽出部１３で抽出する特徴データと同一である。

また、音声出力部４２は、楽曲データ入力部４１から入力された楽曲データを音声出力し（ステップＤ３）、評価者は、音声出力部４２からの音声出力を聞くことによって、楽曲の印象度を感性によって評価し、評価結果を印象度データとして印象度データ入力部４４から入力し（ステップＤ４）、結合重み値学習部４５は、印象度データ入力部４４から入力された印象度データを教師信号として受け付ける。なお、本実施の形態では、印象度の評価項目としては、人間の感性によって判断される「明るい、暗い」、「澄んだ、にごった」、「激しい、穏やか」の３項目を設定し、各評価項目についての７段階評価を印象度データとして印象度データ入力部４４で受け付けるように構成した。

次に、特徴データと入力された印象度データとからなる学習データが予め定められたサンプル数Ｔ_１に達したか否かを判断し（ステップＤ５）、学習データがサンプル数Ｔ_１に達するまでステップＤ１〜ステップＤ４の動作が繰り返される。

結合重み値学習部４５における階層型ニューラルネットワークの学習、すなわち各ニューロンの結合重み値ｗの更新は、誤差逆伝播学習法を用いて行う。
まず、初期値として、中間層（第ｎ層）の全てのニューロンの結合重み値ｗを乱数によって−０．１〜０．１程度の範囲の小さな値に設定しておき、結合重み値学習部４５は、特徴データ抽出部４３によって抽出された特徴データを入力信号ｘ_ｊ(ｊ＝１，２，…，８) として入力層（第１層）に入力し、入力層（第１層）から出力層（第Ｎ層）に向けて、各ニューロンの出力を計算する。

次に、結合重み値学習部４５は、印象度データ入力部４４から入力された印象度データを教師信号ｙ_ｊ(ｊ＝１，２，…，８) とし、出力層（第Ｎ層）の出力out_j ^Ｎと、教師信号ｙ_ｊとの誤差から、学習則δ_j ^Ｎを次式によって計算する。

次に、結合重み値学習部４５は、学習則δ_j ^Ｎを使って、中間層（第ｎ層）の誤差信号 δ_j ⁿ を次式によって計算する。

なお、数式２において、ｗは、第 n 層 j 番目と第 n -1 層ｋ番目のニューロンの間の結合重み値を表している。

次に、結合重み値学習部４５は、中間層（第ｎ層）の誤差信号 δ_j ⁿ を用いて各ニューロンの結合重み値ｗの変化量Δｗを次式によって計算し、各ニューロンの結合重み値ｗを更新する（ステップＤ６）。なお、次式において、ηは、学習率を表し、評価者による学習では、η_１(0＜η_１≦1)に設定されている。

ステップＤ６では、サンプル数Ｔ_１の事前学習データのそれぞれについて学習が行われ、次に、次式に示す２乗誤差Ｅが予め定められた事前学習用の基準値Ｅ_１よりも小さいか否かが判断され（ステップＤ７）、２乗誤差Ｅが基準値Ｅ_１よりも小さくなるまでステップＤ６の動作が繰り返される。なお、２乗誤差Ｅが基準値Ｅ_１よりも小さくなると想定される学習反復回数Ｓを予め設定しておき、ステップＤ６の動作を学習反復回数Ｓ回繰り返すようにしても良い。

ステップＤ７で２乗誤差Ｅが基準値Ｅ_１よりも小さいと判断された場合には、結合重み値学習部４５は、事前学習させた各ニューロンの結合重み値ｗを結合重み値出力部４７によって出力し（ステップＤ８）、結合重み値出力部４７から出力された各ニューロンの結合重み値ｗは、印象度データ変換部１４に記憶される。

次に、楽曲マッピング部１６におけるマッピング動作（ステップＡ６）に用いられる楽曲マップの学習動作について図１１を参照して詳細に説明する。
図１１は、図２に示すニューラルネットワーク学習装置における楽曲マップの学習動作を説明するためのフローチャートある。

楽曲データ入力部４１にＣＤ、ＤＶＤ等の楽曲データが記憶されている記憶媒体をセットし、楽曲データ入力部４１から楽曲データを入力し（ステップＥ１）、特徴データ抽出部４３は、楽曲データ入力部４１から入力された楽曲データから特徴データとしてテンポを抽出し（ステップＥ２）、抽出したテンポを楽曲マップ学習部４６に出力する。なお、特徴データ抽出部４３によって抽出するテンポは、楽曲登録装置１０の特徴データ抽出部１３で抽出するテンポと同一である。

次に、音声出力部４２は、楽曲データ入力部４１から入力された楽曲データを音声出力し（ステップＥ３）、評価者は、音声出力部４２からの音声出力を聞くことによって、楽曲の印象度を感性によって評価し、評価結果を印象度データとして印象度データ入力部４４から入力する（ステップＥ４）。

楽曲マップ学習部４６は、特徴データ抽出部４３から入力されたテンポと、印象度データ入力部４４から入力された印象度データとを自己組織化マップへの入力ベクトルとして受け付ける。なお、本実施の形態では、印象度の評価項目としては、人間の感性によって判断される「明るい、暗い」、「澄んだ、にごった」、「激しい、穏やか」の３項目を設定し、各評価項目についての７段階評価を印象度データとして印象度データ入力部４４で受け付けるように構成した。

楽曲マップ学習部４６は、特徴データ抽出部４３から入力されたテンポと、印象度データ入力部４４から入力された印象度データとを入力ベクトルｘ_ｊ（ｔ）∈Ｒ^ｎとし、各ニューロンの特徴ベクトルｍ_ｉ（ｔ）∈Ｒ^ｎを学習させる。なお、ｔは、学習回数を表し、学習回数を定める設定値Ｔを予め設定しておき、学習回数ｔ＝０，１，…，Ｔについて学習を行わせる。なお、Ｒは、各評価項目の評価段階を示し、ｎは、印象度データの項目数を示す。

まず、初期値として、全てのニューロンの特徴ベクトルｍ_ｃ（０）をそれぞれ０〜１の範囲でランダムに設定しておき、楽曲マップ学習部４６は、ｘ_ｊ（ｔ）に最も近いニューロンｃ、すなわち‖ｘ_ｊ（ｔ）−ｍ_ｃ（ｔ）‖を最小にする勝者ニューロンｃを求め、勝者ニューロンｃの特徴ベクトルｍ_ｃ（ｔ）と、勝者ニューロンｃの近傍にある近傍ニューロンｉの集合Ｎｃのそれぞれの特徴ベクトルｍ_ｉ（ｔ）（ｉ∈Ｎｃ）とを、次式に従ってそれぞれ更新する（ステップＥ５）。なお、近傍ニューロンｉを決定するための近傍半径は、予め設定されているものとする。

なお、数式５において、ｈ_ｃｉ（ｔ）は、学習率を表し、次式によって求められる。

なお、α_initは学習率の初期値であり、Ｒ^２（ｔ）は、単調減少する一次関数もしくは指数関数が用いられる。

次に、楽曲マップ学習部４６は、学習回数ｔが設定値Ｔに達したか否かを判断し（ステップＥ６）、学習回数ｔが設定値Ｔに達するまでステップＥ１〜ステップＥ５の処理動作を繰り返し、学習回数ｔが設定値Ｔに達すると、再び最初のサンプルから同じ処理動作を行う。この反復回数が予め定められたＳ回になった時点で、特徴ベクトル出力部４８を介して学習させた特徴ベクトルｍ_ｉ（Ｔ）∈Ｒ^ｎを出力する（ステップＥ７）。出力された各ニューロンｉの特徴ベクトルｍ_ｉ（Ｔ）は、楽曲登録装置１０の楽曲マップ記憶部１７に楽曲マップとして記憶される。

次に、楽曲登録装置１０における楽曲検索動作について図１２乃至図１７を参照して詳細に説明する。
図１２は、図１に示す楽曲登録装置における楽曲検索動作を説明するためのフローチャートであり、図１３は、図１に示すＰＣ表示部に表示される検索条件入力画面例を示す図であり、図１４は、図１に示すＰＣ表示部に表示される条件検索結果表示画面例を示す図であり、図１５は、図１に示すＰＣ表示部に表示される代表曲検索結果表示画面例を示す図であり、図１６は、図１に示すＰＣ表示部に表示される楽曲リスト表示画面例を示す図であり、図１７は、図１に示すＰＣ表示部に表示される楽曲マップ表示画面例を示す図である。

楽曲検索部１８は、ＰＣ表示部２０に、検索条件を入力する検索条件入力画面５１を表示し、ＰＣ操作部１９からのユーザ入力を受け付ける。検索条件入力画面５１は、図１３に示すように、検索条件として書誌データを入力する書誌データ入力領域５１１と、検索の実行を指示する条件検索実行ボタン５１２と、全曲リスト表示ボタン５１３と、楽曲マップ表示ボタン５１４とからなり、ユーザは、検索条件として書誌データをＰＣ操作部１９から入力し（ステップＦ１）、条件検索実行ボタン５１２をクリックすることで、書誌データに基づく検索を楽曲検索部１８に指示する。

楽曲検索部１８は、ＰＣ操作部１９から入力された書誌データに基づいて楽曲データベース１５を検索し（ステップＦ２）、条件検索結果を表示する条件検索結果表示画面５２をＰＣ表示部２０に表示させる（ステップＦ３）。条件検索結果表示画面５２は、図１４を参照すると、条件検索結果の中から代表曲を選択する代表曲選択領域５２１と、選択された代表曲に基づく検索を指示する代表曲検索実行ボタン５２２と、条件検索結果を検索リストとして登録する登録ボタン５２３とからなる。なお、代表曲検索とは、代表曲として特定した楽曲データと近い印象を持つ楽曲データを検索するものであり、ユーザが似たような楽曲を試聴したい場合に用いられる。

次に、ユーザは、代表曲選択領域５２１に表示されている検索結果の中から代表曲を選択し（ステップＦ４）、代表曲検索実行ボタン５２２をクリックすることで、代表曲に基づく検索を楽曲検索部１８に指示する。なお、この時点で登録ボタン５２３がクリックされた場合には、楽曲検索部１８は、代表曲選択領域５２１に表示されている条件検索結果を検索リストとして楽曲データベース１５に記憶させる。

楽曲検索部１８は、選択された代表曲に基づいて楽曲データベース１５を検索することで、楽曲マップにおいて代表曲が配置されているニューロン（以下、代表ニューロンと称す）の座標を特定する（ステップＦ５）。

次に、楽曲検索部１８は、変数ｎに０を設定し（ステップＦ６）、楽曲マップ記憶部１７に記憶されている図９に示す検索テーブルを参照することで、ステップＦ５で特定した代表ニューロンから距離ｎのニューロンに配置されている楽曲データを検索し（ステップＦ７）、検索された楽曲数が予め定められた検索数以上であるか否かを判断する（ステップＦ８）。

ステップＦ８で検索された楽曲数が予め定められた検索数未満である場合には、楽曲検索部１８は、変数ｎをインクリメントし（ステップＦ９）、ステップＦ７に戻り、検索された楽曲数が予め定められた検索数以上になるまでステップＦ７およびステップＦ８を繰り返す。

ステップＦ８で検索された楽曲数が予め定められた検索数以上である場合には、楽曲検索部１８は、検索された楽曲データを予め定められた検索数まで絞り込んだ後（ステップＦ１０）、絞り込んだ楽曲データを代表曲検索結果として代表曲検索結果表示画面５３をＰＣ表示部２０に表示する（ステップＦ１１）。代表曲検索結果表示画面５３は、図１５を参照すると、出力する楽曲データを選択する出力楽曲選択領域５３１と、選択された楽曲データの出力を指示する出力ボタン５３２とからなる。

ステップＦ１０における検索された楽曲データの絞り込みは、代表ニューロンの特徴ベクトルもしくは代表曲の印象度データ変換部１４によって変換された印象度データを入力ベクトルｘ_ｊとし、検索された楽曲データの印象度データを検索対象ベクトルＸ_ｊとすると、入力ベクトルｘ_ｊに近い検索対象ベクトルＸ_ｊ、すなわちユークリッド距離‖Ｘ_ｊ−ｘ_ｊ‖が小さいものを順に予め定められた検索数まで検索することで行われる。なお、ステップＦ１０における検索された楽曲データの絞り込みは、代表ニューロンから最も離れたニューロン、すなわち代表ニューロンから検索に用いた変数ｎの最大値分離れたニューロンに配置されている楽曲データに対してのみ行うようにすると、距離計算を行う対象件数を少なくすることができるため、検索時間（計算時間）を短縮することができる。また、ステップＦ１０における検索された楽曲データの絞り込みを行うことなく、検索された楽曲データの全てを代表曲検索結果として代表曲検索結果表示画面５３に表示するようにしても良く、この場合には、距離計算を行うことなく検索を行うことができるため、検索時間（計算時間）をさらに短縮することができる。

次に、楽曲検索部１８は、出力ボタン５３２がクリックされると、出力楽曲選択領域５３１に表示されている代表曲検索結果を検索リストとして楽曲データベース１５に記憶させる（ステップＦ１２）。

また、検索条件入力画面５１において、全曲リスト表示ボタン５１３がクリックされると、楽曲検索部１８は、記憶されている全楽曲データの楽曲リストを表示する楽曲リスト表示画面５４をＰＣ表示部２０に表示させる。楽曲リスト表示画面５４は、図１６を参照すると、全楽曲データの楽曲リストの中から代表曲を選択する代表曲選択領域５４１と、選択された代表曲に基づく検索を指示する代表曲検索実行ボタン５４２とからなる。

ユーザが代表曲選択領域５４１に表示されている楽曲リストの中から代表曲を選択し（ステップＦ４）、代表曲検索実行ボタン５４２をクリックすることで、選択された代表曲に基づく検索が楽曲検索部１８に指示され、以下、ステップＦ５〜ステップＦ１２の楽曲検索動作が行われる。

さらに、検索条件入力画面５１において、楽曲マップ表示ボタン５１４がクリックされると、楽曲検索部１８は、楽曲マップのニューロンをポイントとして表示する楽曲マップ表示画面５５をＰＣ表示部２０に表示させる。楽曲マップ表示画面５５は、図１７を参照すると、検索の中心とするニューロンを選択するニューロン選択領域５５１と、選択されたニューロンに基づく検索を指示するマップ検索実行ボタン５５２とからなる。

ユーザがニューロン選択領域５５１に表示されているニューロンの中から検索の中心とするニューロンを選択し、マップ検索実行ボタン５５２をクリックすることで、ステップＦ５で特定される代表ニューロンの替わりに、ニューロン選択領域５５１で選択されたニューロンに基づく検索が楽曲検索部１８に指示され、以下、ステップＦ６〜ステップＦ１２の楽曲検索動作が行われる。

なお、ニューロン選択領域５５１においては、楽曲データが配置されているニューロンのみが表示され、楽曲がマッピングされているニューロンにカーソルを移動させると、カーソルが位置するニューロンに配置されている楽曲データの楽曲名のポップアップ表示５５３が行われるように構成されている。

次に、楽曲登録装置１０から携帯端末装置３０への楽曲データの転送動作について詳細に説明する。
図１８は、図１に示す楽曲登録装置から携帯端末装置への楽曲データの転送動作を説明するための説明図である。

楽曲登録装置１０の楽曲データベース１５には、図１８に示すように、楽曲データと、当該楽曲データに対応する特徴データ（特徴データ抽出部１３で抽出）、書誌データ、印象度データ（印象度データ変換部１４で変換）および楽曲マップにおけるニューロンの座標（楽曲マッピング部１６でマッピング）と、検索テーブル（楽曲マッピング部１６で作成）と、検索リスト（楽曲検索部１８で検索）とが記憶されており、携帯端末装置３０の端末楽曲データベース３２には、楽曲データと、当該楽曲データに対応する書誌データ、印象度デーおよび楽曲マップにおけるニューロンの座標と、検索テーブルと、検索リストとが転送される。

楽曲登録装置１０の送受信部２１と、携帯端末装置３０の送受信部３１とは、データ伝送路２３によって携帯端末装置３０が接続されると、楽曲登録装置１０の楽曲データベース１５の記憶内容と、携帯端末装置３０の端末楽曲データベース３２の記憶内容とを比較し、楽曲登録装置１０の楽曲データベース１５の記憶内容を携帯端末装置３０の端末楽曲データベース３２に反映させる。

次に、携帯端末装置３０における楽曲検索動作について図１９および図２０を参照して詳細に説明する。
図１９は、図２に示す携帯端末装置の端末表示部における表示例を示す図であり、
図２０は、図１に示す携帯端末装置における代表曲検索動作を説明するためのフローチャートである。

楽曲検索部３３は、図示しない電源キーによって携帯端末装置３０の電源が投入されると、再生する楽曲データを検索する方法として「書誌データによる検索」、「印象度データによる検索」、「検索リストによる検索」のいずれかを選択するための検索方法選択画面３５１を端末表示部３５に表示し、ユーザは、検索方法選択画面３５１に表示されている検索方法を十字キー３４１の上下で選択し、決定キー３４２を押下することで選択した検索方法に基づく楽曲データの検索を楽曲検索部３３に指示する。

検索方法選択画面３５１で「書誌データによる検索」が選択された場合には、楽曲検索部３３は、「アーティスト」、「アルバム」、「タイトル」の内のいずれかを選択するための一覧表示選択画面３５２を端末表示部３５に表示し、ユーザは、一覧表示選択画面３５２に表示されている「アーティスト」、「アルバム」、「タイトル」のいずれかを十字キー３４１の上下で選択し、決定キー３４２を押下することで選択した一覧の表示を楽曲検索部３３に指示する。

一覧表示選択画面３５２で「アーティスト」もしくは「アルバム」が選択された場合には、楽曲検索部３３は、端末楽曲データベース３２に記憶されている全楽曲データに対応する書誌データからアーティスト名もしくはアルバム名を読み出し、アーティスト名もしくはアルバム名の一覧を表示するアーティスト・アルバム一覧画面３５３を端末表示部３５に表示する。ユーザは、アーティスト・アルバム一覧画面３５３に表示されているアーティスト名もしくはアルバム名のいずれかを十字キー３４１の上下で選択し、決定キー３４２を押下することでアーティスト名もしくはアルバム名に基づく検索を楽曲検索部３３に指示し、楽曲検索部３３は、選択されたアーティスト名もしくはアルバム名に基づいて端末楽曲データベース３２を検索し、該当する楽曲データのタイトル一覧を検索結果画面３５４として端末表示部３５に表示する。なお、一覧表示選択画面３５２で「タイトル」が選択された場合には、楽曲検索部３３は、端末楽曲データベース３２に記憶されている全楽曲データに対応するタイトルを読み出し、読み出したタイトル一覧を検索結果画面３５４として端末表示部３５に表示する。

検索方法選択画面３５１で「印象度データによる検索」が選択された場合には、楽曲検索部３３は、検索条件として印象度データを入力する印象度データ入力画面３５５を端末表示部３５に表示し、ユーザは、十字キー３４１の上下左右で印象度データの各項目の値を選択し、決定キー３４２を押下することで印象度データに基づく検索を楽曲検索部３３に指示する。楽曲検索部３３は、印象度データに基づく検索が指示されると、検索条件として入力された印象度データに基づいて端末楽曲データベース３２に記憶されている楽曲データを検索し、検索した楽曲データのタイトル一覧を検索結果画面３５４として端末表示部３５に表示する。検索条件として入力された印象度データに基づく楽曲データの検索は、検索条件として入力された印象度データを入力ベクトルｘ_ｊとすると共に、端末楽曲データベース３２に記憶されている全楽曲データに対応するそれぞれの印象度データを検索対象ベクトルｍ_ｉ（ｔ）∈Ｒ^ｎとし、ユークリッド距離‖ｘ_ｊ−ｍ_ｉ‖が小さい方から所定数を検索する。なお、Ｒは、印象度データの各評価項目の評価段階数を示し、ｎは、印象度データの項目数を示す。

検索方法選択画面３５１で「検索リストによる検索」が選択された場合には、楽曲検索部３３は、端末楽曲データベース３２に記憶されている検索リストの一覧を検索リスト一覧画面３５６として端末表示部３５に表示し、ユーザは、検索リスト一覧画面３５６に表示されている検索リストのいずれかを十字キー３４１の上下で選択し、決定キー３４２を押下することで選択した検索リストの表示を楽曲検索部３３に指示し、楽曲検索部３３は、選択された検索リストのタイトル一覧を検索結果画面３５４として端末表示部３５に表示する。

端末表示部３５に検索結果画面３５４が表示されている状態では、十字キー３４１の上下は、表示されているタイトルを選択するタイトル選択キー、十字キー３４１の左は、音声出力モード（通常再生、リピート再生、ランダム再生等）を切り換えるモード切り換えキー、十字キー３４１の右は、音声出力の開始を指示する再生指示キーとしてそれぞれ機能する。従って、検索結果画面３５４において、十字キー３４１の右が押下されると、楽曲検索部３３は、タイトル選択キーによるタイトルの選択と、モード切り換えキーによるモードの選択とに応じて端末楽曲データベース３２から楽曲データを読み出し、読み出した楽曲データを音声出力部２２に出力して音声出力させる。

また、端末表示部３５に検索結果画面３５４が表示されている状態と、音声出力部３６によって楽曲データが音声出力されている状態とでは、決定キー３４２は、代表曲検索を指示する代表曲検索指示キーとして機能する。

検索結果画面３５４で決定キー３４２が押下されると、楽曲検索部３３は、十字キー３４１の上下によって選択されているタイトルを代表曲として決定すると共に、楽曲データが音声出力されている状態で決定キー３４２が押下されると、楽曲検索部３３は、音声出力されている楽曲データを代表曲として決定する（ステップＧ１）。

次に、楽曲検索部３３は、決定した代表曲に基づいて端末楽曲データベース３２を検索することで、楽曲マップにおいて代表曲が配置されているニューロン（以下、代表ニューロンと称す）の座標を特定する（ステップＧ２）。

次に、楽曲検索部３３は、変数ｎに０を設定し（ステップＧ３）、端末楽曲データベース３２に記憶されている図７に示す検索テーブルを参照することで、ステップＧ２で特定した代表ニューロンから距離ｎのニューロンに配置されている楽曲データを検索し（ステップＧ４）、検索された楽曲数が予め定められた検索数以上であるか否かを判断する（ステップＧ５）。

ステップＧ４で検索された楽曲数が予め定められた検索数未満である場合には、楽曲検索部３３は、変数ｎをインクリメントし（ステップＧ６）、ステップＧ４に戻り、検索された楽曲数が予め定められた検索数以上になるまでステップＧ４〜ステップＧ６を繰り返す。

ステップＧ５で検索された楽曲数が予め定められた検索数以上である場合には、楽曲検索部３３は、検索された楽曲データを予め定められた検索数まで絞り込んだ後（ステップＧ７）、絞り込んだ楽曲データのタイトル一覧を検索結果画面３５４として端末表示部３５に表示する（ステップＧ８）。

ステップＧ７における検索された楽曲データの絞り込みは、代表ニューロンの特徴ベクトルもしくは代表曲の印象度データ変換部１４によって変換された印象度データを入力ベクトルｘ_ｊとし、検索された楽曲データの印象度データを検索対象ベクトルＸ_ｊとすると、入力ベクトルｘ_ｊに近い検索対象ベクトルＸ_ｊ、すなわちユークリッド距離‖Ｘ_ｊ−ｘ_ｊ‖が小さいものを順に予め定められた検索数まで検索することで行われる。なお、ステップＧ７における検索された楽曲データの絞り込みは、代表ニューロンから最も離れたニューロン、すなわち代表ニューロンから検索に用いた変数ｎの最大値分離れたニューロンに配置されている楽曲データに対してのみ行うようにすると、距離計算を行う対象件数を少なくすることができるため、検索時間（計算時間）を短縮することができる。また、ステップＧ７における検索された楽曲データの絞り込みを行うことなく、検索された楽曲データの全てを代表曲検索結果として検索結果画面３５４に表示するようにしても良く、この場合には、距離計算を行うことなく検索を行うことができるため、検索時間（計算時間）をさらに短縮することができる。

なお、本実施の形態では、検索テーブルを用いて代表曲検索を行うように構成したが、代表曲として特定した楽曲データの印象度データに基づいて代表曲検索を行うようにしても良く、この場合には、代表曲として特定した楽曲データの印象度データを入力ベクトルとすると共に、端末楽曲データベース３２に記憶されている各楽曲データのそれぞれの印象度データを検索対象ベクトルとし、両者のユークリッド距離が小さい順に所定数検索する。

以上説明したように、本実施の形態によれば、携帯端末装置３０の音声出力部３６によって楽曲データが音声出力されている状態で、音声出力されている楽曲データに基づく代表曲検索を指示する代表曲検索指示キーとして機能する決定キー３４２を有し、決定キー３４２が押下されると、楽曲検索部３３は、音声出力されている楽曲データを代表曲として決定し、決定した代表曲に基づいて所定数の楽曲データを特定するように構成することにより、ユーザが所望する印象の楽曲を検索する際に、所望する楽曲に対するユーザの主観的な要件を入力するという煩雑な操作を必要とせず、代表曲検索指示キーが押下するだけで、所望する印象の楽曲を検索することができ、さらに、音声出力されている楽曲データに基づいた検索であるため、ユーザの感性そのままの検索を行うことができ、所望の印象の楽曲を検索することができるという効果を奏する。

また、本実施の形態によれば、音声出力されている前記楽曲データを代表曲として決定し、決定した前記代表曲に基づいて、分割された部分空間のそれぞれの座標と前記部分空間に配置されている前記楽曲データとからなる検索テーブルを検索して所定数の前記楽曲データを特定するように構成することにより、全探索を行う必要がなく、据置機器と比較して計算能力が低い携帯機器においても負荷を少なくより高速に検索を行うことができるという効果を奏する。

なお、本発明が上記各実施の形態に限定されず、本発明の技術思想の範囲内において、各実施の形態は適宜変更され得ることは明らかである。また、上記構成部材の数、位置、形状等は上記実施の形態に限定されず、本発明を実施する上で好適な数、位置、形状等にすることができる。なお、各図において、同一構成要素には同一符号を付している。

本発明に係る楽曲検索システムの実施の形態の構成を示すブロック図である。図１に示す携帯端末装置の構成を示す前面図である。図１に示す楽曲登録装置に用いられるニューラルネットワークを事前に学習させるニューラルネットワーク学習装置の構成を示すブロック図である。図１に示す楽曲登録装置における楽曲登録動作を説明するためのフローチャートである。図１に示す特徴データ抽出部における特徴データ抽出動作を説明するためのフローチャートである。図１に示す特徴データ抽出部におけるテンポ決定動作を説明するためのフローチャートである。図１に示す印象度データ変換部で用いられる階層型ニューラルネットワーク例を示す説明図である。図１に示す楽曲マッピング部が楽曲データをマッピングする楽曲マップ例を示す説明図である。図１に示す楽曲データベースに記憶される検索テーブル例を示す図である。図２に示すニューラルネットワーク学習装置における階層型ニューラルネットワークの学習動作を説明するためのフローチャートである。図２に示すニューラルネットワーク学習装置における楽曲マップの学習動作を説明するためのフローチャートである。図１に示す楽曲登録装置における楽曲検索動作を説明するためのフローチャートである。図１に示すＰＣ表示部に表示される検索条件入力画面例を示す図である。図１に示すＰＣ表示部に表示される条件検索結果表示画面例を示す図である。図１に示すＰＣ表示部に表示される代表曲検索結果表示画面例を示す図である。図１に示すＰＣ表示部に表示される楽曲リスト表示画面例を示す図である。図１に示すＰＣ表示部に表示される楽曲マップ表示画面例を示す図である。図１に示す楽曲登録装置から携帯端末装置への楽曲データの転送動作を説明するための説明図である。図２に示す携帯端末装置の端末表示部における表示例を示す図である。図１に示す携帯端末装置における代表曲検索動作を説明するためのフローチャートである。

符号の説明

１０楽曲登録装置
１１楽曲データ入力部
１２圧縮処理部
１３特徴データ抽出部
１４印象度データ変換部
１５楽曲データベース
１６楽曲マッピング部
１７楽曲マップ記憶部
１８楽曲検索部
１９ＰＣ操作部
２０ＰＣ表示部
２１送受信部
２２音声出力部
２３データ伝送路
３０携帯端末装置
３１送受信部
３２端末楽曲データベース
３３楽曲検索部
３４端末操作部
３５端末表示部
３６音声出力部
４０ニューラルネットワーク学習装置
４１楽曲データ入力部
４２音声出力部
４３特徴データ抽出部
４４印象度データ入力部
４５結合重み値学習部
４６楽曲マップ学習部
４７結合重み値出力部
４８特徴ベクトル出力部
５１検索条件入力画面
５２条件検索結果表示画面
５３代表曲検索結果表示画面
５４楽曲リスト表示画面
５５楽曲マップ表示画面
３４１十字キー
３４２決定キー
３５１検索方法選択画面
３５２一覧表示選択画面
３５３アーティスト・アルバム一覧画面
３５４検索結果画面
３５５印象度データ入力画面
３５６検索リスト一覧画面
５１１書誌データ入力領域
５１２条件検索実行ボタン
５１３全曲リスト表示ボタン
５１４楽曲マップ表示ボタン
５２１代表曲選択領域
５２２代表曲検索実行ボタン
５２３登録ボタン
５３１出力楽曲選択領域
５３２出力ボタン
５４１代表曲選択領域
５４２代表曲検索実行ボタン
５５１ニューロン選択領域
５５２マップ検索実行ボタン
５５３ポップアップ表示

Claims

入力された楽曲データを楽曲データベースに記憶させる楽曲登録装置と、当該楽曲登録装置に接続可能に構成され、前記楽曲データベースに記憶された前記楽曲データが転送される端末楽曲データベースを有し、当該端末楽曲データベースに記憶された前記楽曲データを選択的に音声出力する携帯端末装置とからなる楽曲検索システムであって、
前記楽曲登録装置は、入力された前記楽曲データから物理的な特徴データを抽出する特徴データ抽出手段と、
該特徴データ抽出手段によって抽出された前記特徴データを人間の感性によって判断される印象度データに変換する印象度データ変換手段と、
前記楽曲データベースに記憶された前記楽曲データと共に前記印象度データを前記携帯端末装置に転送する楽曲データ送信手段とを具備し、
前記携帯端末装置は、前記楽曲登録装置の前記楽曲データ送信手段から転送された前記楽曲データおよび前記印象度データを前記端末楽曲データベースに記憶させる楽曲データ受信手段と、
音声出力されている前記楽曲データに基づく代表曲検索を指示する代表曲検索指示キーと、
該代表曲検索指示キーが押下されると、音声出力されている前記楽曲データを代表曲として決定し、決定した前記代表曲の前記印象度データに基づいて所定数の前記楽曲データを特定する楽曲検索手段と、
該楽曲検索手段によって検索された前記楽曲データを音声出力する音声出力手段とを具備することを特徴とする楽曲検索システム。
前記楽曲検索手段は、前記代表曲の前記印象度データを入力ベクトルとすると共に、前記端末楽曲データベースに記憶されている前記印象度データを検索対象ベクトルとし、両者のユークリッド距離が小さい順に所定数検索することを特徴とする請求項１記載の楽曲検索システム。
入力された楽曲データを楽曲データベースに記憶させる楽曲登録装置と、当該楽曲登録装置に接続可能に構成され、前記楽曲データベースに記憶された前記楽曲データが転送される端末楽曲データベースを有し、当該端末楽曲データベースに記憶された前記楽曲データを選択的に音声出力する携帯端末装置とからなる楽曲検索システムであって、
前記楽曲登録装置は、入力された前記楽曲データから物理的な特徴データを抽出する特徴データ抽出手段と、
該特徴データ抽出手段によって抽出された前記特徴データを人間の感性によって判断される印象度データに変換する印象度データ変換手段と、
該印象度データ変換手段に変換された前記印象度データに基づいて、入力された前記楽曲データを座標が付与された複数の部分空間に分割された楽曲マップにマッピングすると共に、前記部分空間の座標と前記部分空間に配置されている前記楽曲データとからなる検索テーブルを作成する楽曲マッピング手段と、
前記楽曲データベースに記憶された前記楽曲データと共に前記楽曲マッピング手段によって作成された前記検索テーブルを前記携帯端末装置に転送する楽曲データ送信手段とを具備し、
前記携帯端末装置は、前記楽曲登録装置の前記楽曲データ送信手段から転送された前記楽曲データおよび前記検索テーブルを前記端末楽曲データベースに記憶させる楽曲データ受信手段と、
音声出力されている前記楽曲データに基づく代表曲検索を指示する代表曲検索指示キーと、
該代表曲検索指示キーが押下されると、音声出力されている前記楽曲データを代表曲として決定し、決定した前記代表曲に基づいて前記検索テーブルを検索することで所定数の前記楽曲データを特定する楽曲検索手段と、
該楽曲検索手段によって検索された前記楽曲データを音声出力する音声出力手段とを具備することを特徴とする楽曲検索システム。
前記楽曲検索手段は、前記代表曲が配置されている前記部分空間を中心空間とし、所定の検索数以上になるまで前記中心空間から外側に向けて前記部分空間に配置された前記楽曲データを検索することを特徴とする請求項３記載の楽曲検索システム。
前記印象度データ変換手段は、前記特徴データ抽出手段によって抽出された特徴データを予め学習が施された階層型ニューラルネットワークを用いて人間の感性によって判断される印象度データに変換することを特徴とする請求項１乃至４記載の楽曲検索システム。
上位装置に接続可能に構成され、前記上位装置から転送される前記楽曲データを記憶する端末楽曲データベースを有し、当該端末楽曲データベースに記憶された前記楽曲データを選択的に音声出力する携帯端末装置であって、
前記上位装置から前記楽曲データと共に、前記楽曲データの物理的な特徴データから変換された人間の感性によって判断される印象度データを受信し、受信した前記楽曲データおよび前記検索テーブルを前記端末楽曲データベースに記憶させる楽曲データ受信手段と、
音声出力されている前記楽曲データに基づく代表曲検索を指示する代表曲検索指示キーと、
該代表曲検索指示キーが押下されると、音声出力されている前記楽曲データを代表曲として決定し、決定した前記代表曲の前記印象度データに基づいて所定数の前記楽曲データを特定する楽曲検索手段と、
該楽曲検索手段によって検索された前記楽曲データを音声出力する音声出力手段とを具備することを特徴とする携帯端末装置。
上位装置に接続可能に構成され、前記上位装置から転送される前記楽曲データを記憶する端末楽曲データベースを有し、当該端末楽曲データベースに記憶された前記楽曲データを選択的に音声出力する携帯端末装置であって、
前記上位装置から前記楽曲データと共に、分割された部分空間のそれぞれの座標と前記部分空間に配置されている前記楽曲データとからなる検索テーブルを受信し、受信した前記楽曲データおよび前記検索テーブルを前記端末楽曲データベースに記憶させる楽曲データ受信手段と、
音声出力されている前記楽曲データに基づく代表曲検索を指示する代表曲検索指示キーと、
該代表曲検索指示キーが押下されると、音声出力されている前記楽曲データを代表曲として決定し、決定した前記代表曲に基づいて前記検索テーブルを検索して所定数の前記楽曲データを特定する楽曲検索手段と、
該楽曲検索手段によって検索された前記楽曲データを音声出力する音声出力手段とを具備することを特徴とする携帯端末装置。