JP5228432B2 - 素片検索装置およびプログラム - Google Patents

Description

この発明は、楽曲の編集等のために楽曲データ中の音の素片の波形データの検索を行う装置およびプログラムに関する。

楽曲編集に関する技術として、オーディオモザイキングと呼ばれる技術がある。このオーディオモザイキング技術では、各種の楽曲を時間長の短い素片に分割し、各素片の波形を示す素片データを集めて素片データベースを構成する。そして、この素片データベースの中から所望の素片データを選択し、選択した素片データを時間軸上において繋ぎ合わせ、新規な楽曲を編集する。なお、この種の技術に関する文献として、例えば非特許文献１がある。
AriLazier, Perry Cook、"MOSIEVIUS: FEATURE DRIVENINTERACTIVE AUDIO MOSAICING"、[on line]、Proc of the 6th Int. Conference on Digital Audio Effects (DAFx-03),London, UK, September 8-11, 2003、［平成１９年３月６日検索］、インターネット<URL:http://soundlab.cs.princeton.edu/publications/mosievius_dafx_2003.pdf> TristanJehan、"Creating Music by Listening"、［on line］、PhD Thesis, Massachusetts Instituteof Technology,September,2005、［平成１９年９月２０日検索］、インターネット＜URL:http://web.media.mit.edu/%7Etristan/phd/pdf/Tristan_PhD_MIT.pdf＞

ところで、楽曲の編集スタイルには、既存の楽曲の素片を例えば他の楽曲の素片に置き換える作業を繰り返し、別の印象を持った楽曲を編集するようなスタイルがある。ここで、編集中の楽曲の素片が既存のものと全く特徴の異なった素片に置き換えられると、楽曲を構成する各素片間の脈絡が失われ、意図した楽曲とは程遠いものになる場合がある。このような事態を招かないためには、予め用意された置換用の素片の中から編集中の楽曲の素片と特徴の似通ったものを選択し、置換に用いることが好ましい。そこで、本出願人は、先に出願した特願２００６−３１１３２５号において、「楽曲を区分した各素片の楽音データと前記各素片の音楽的な特徴量とを複数の楽曲の各々について記憶する記憶手段と、前記複数の楽曲のひとつである主楽曲の各素片の特徴量と前記主楽曲以外の複数の副楽曲の各々における各素片の特徴量との類否を示す類否指標値を算定する類否特定手段と、前記主楽曲に含まれる素片の楽音データを、前記複数の副楽曲のうち当該素片との類否指標値が類似を示す素片の楽音データに基づいて加工する加工手段とを具備する楽曲加工装置」を提案した。この楽曲加工装置によれば、主楽曲の各素片の楽音データの加工の際に、各素片と特徴量の類似した素片の楽音データが用いられるため、加工後の主楽曲が意図しない楽曲になるのをある程度防止することができる。

さて、類比評価の対象となる特徴量を得るための方法として、例えば素片を一定時間長のフレームに分割し、フレーム毎に求めた特徴量を素片全体を通じて平均化したものをその素片の特徴量とする方法が考えられる。この方法によれば、少ない演算量により加工に用いる素片を選択することができる。しかし、この方法では、元の素片に対して聴感上明らかに特徴が異なっている素片が置換用の素片として選択される問題が生じることがある。具体的には次の通りである。

まず、例えば１つの素片の中で複数の打楽器音が発生しているような場合が考えられる。この場合、素片全体を通じて特徴量を平均化すると、平均化後の特徴量は、そのような複数の打楽器音の存在を示す情報が捨象されたものとなる。

また、例えば音量が素片の途中で変化し、素片前半は小音量、素片後半は大音量となっているような場合も考えられる。この場合、素片全体を通じて平均化された特徴量は、この素片の途中の音量の変化を示す情報が捨象されたものとなる。

このように、平均化された特徴量は、素片によってはその聴感上の特徴を正確に表さない場合があるため、元の素片と特徴量が類似している素片を選んで素片の置き換えを行うと、元の素片が全く似通っていない素片に置き換えられる場合があるのである。

一方、非特許文献２は、素片をフレーム単位に分割し、各フレームの特徴量を全て用いて、素片間の類似度を評価する技術を提案している。この技術によれば、素片の持っている特徴が捨象されないので、類似度の評価を正確に行うことができる。しかし、この技術は、素片１個当たりの特徴量の情報量が多くなるため、実施に必要なメモリの容量が膨大なものとなり、また、素片間の類似度を評価するための演算量も膨大なものとなる。従って、この技術を楽曲編集のための装置に用いるのは現実的でない。

この発明は、以上説明した事情に鑑みてなされたものであり、必要なメモリ容量および演算量を極端に増加させることなく、所望の素片の特徴と類似した特徴を有する素片を正確に検索するための技術的手段を提供することを目的としている。

この発明は、楽曲の波形を示す楽曲データを楽曲の素片の波形データに分割し、各素片の波形データをオンセットから始まる小区間であるイベントの波形データに分割し、各イベントの波形データの特徴量を求める解析手段と、１または複数の楽曲データを記憶するとともに、前記解析手段の処理を経ることにより前記楽曲データから得られた前記楽曲データにおける各イベントの波形データの位置と各イベントの波形データの特徴量とを示す楽曲構成データを記憶する記憶手段と、所望の素片を構成する各イベントの特徴量との類似度が高い特徴量を持った１または複数の連続したイベントの波形データを前記記憶手段に記憶された楽曲データから取り出し素片検索手段とを具備することを特徴とする素片検索装置およびコンピュータを前記各手段として機能させるコンピュータプログラムを提供する。

かかる発明によれば、記憶手段に記憶された楽曲データから所望の素片の各イベントの特徴量と類似した特徴量を有する１または複数の連続したイベントの波形データが取り出される。従って、必要なメモリ容量および演算量を極端に増加させることなく、所望の素片と類似した素片を正確に検索することができる。

以下、図面を参照し、この発明の実施の形態を説明する。
図１はこの発明による素片検索装置の一実施形態である楽曲編集装置の構成を示すブロック図である。この楽曲編集装置は、例えばパーソナルコンピュータなどのコンピュータにこの発明による素片検索プログラムの一実施形態である楽曲編集プログラムをインストールしたものである。

図１において、ＣＰＵ１は、この楽曲編集装置の各部を制御する制御中枢である。ＲＯＭ２は、ローダなど、この楽曲編集装置の基本的な動作を制御するための制御プログラムを記憶した読み出し専用メモリである。

表示部３は、装置の動作状態や入力データおよび操作者に対するメッセージなどを表示するための装置であり、例えば液晶ディスプレイパネルとその駆動回路により構成されている。操作部４は、ユーザからコマンドや各種の情報を受け取るための手段であり、各種の操作子により構成されている。好ましい態様において、操作部４は、キーボードと、マウスなどのポインティングデバイスを含む。

インタフェース群５は、ネットワークを介して他の装置との間でデータ通信を行うためのネットワークインタフェースや、磁気ディスクやＣＤ−ＲＯＭなどの外部記憶媒体との間でデータの授受を行うためのドライバなどにより構成されている。

ＨＤＤ（ハードディスク装置）６は、各種のプログラムやデータベースなどの情報を記憶するための不揮発性記憶装置である。ＲＡＭ７は、ＣＰＵ１によってワークエリアとして使用される揮発性メモリである。ＣＰＵ１は、操作部４を介して与えられる指令に従い、ＨＤＤ６内のプログラムをＲＡＭ７にロードして実行する。

サウンドシステム８は、この楽曲編集装置において編集された楽曲または編集途中の楽曲を音として出力する手段であり、音のサンプルデータであるデジタル音声信号をアナログ音声信号に変換するＤ／Ａ変換器と、このアナログ音声信号を増幅するアンプと、このアンプの出力信号を音として出力するスピーカ等により構成されている。本実施形態において、このサウンドシステム８と、上述した表示部３および操作部４は、楽曲の編集に関連した情報をユーザに提供するとともに、楽曲の編集に関する指示をユーザから受け取るユーザインタフェースとしての役割を果たす。

ＨＤＤ６に記憶される情報として、楽曲編集プログラム６１と、楽曲データベース６２と、楽曲構成データベース６３がある。

楽曲データベース６２は、楽曲における演奏音やボーカル音のオーディオ波形の時系列サンプルデータである楽曲データの集合体である。楽曲構成データベース６３は、楽曲データを解析することにより得られた楽曲構成データの集合体である。好ましい態様において、楽曲編集プログラム６１や楽曲データは、例えばインターネット内のサイトからインタフェース群５の中の適当なものを介してダウンロードされ、ＨＤＤ６にインストールされる。また、他の態様において、楽曲編集プログラム６１や楽曲データは、ＣＤ−ＲＯＭ、ＭＤなどのコンピュータ読み取り可能な記憶媒体に記憶された状態で取引される。この態様では、インタフェース群５の中の適当なものを介して記憶媒体から楽曲編集プログラム６１や楽曲データが読み出され、ＨＤＤ６にインストールされる。

楽曲編集プログラム６１は、大別して、解析部１１０と、編集部１２０とにより構成されている。解析部１１０は、操作部４の操作により指定された楽曲データベース６２内の楽曲データをＲＡＭ７にロードして解析し、楽曲構成データをＲＡＭ７内に生成するルーチンである。また、解析部１１０は、操作部４の操作により格納指令が与えられた場合に、ＲＡＭ７内の楽曲構成データをＨＤＤ６内の楽曲構成データベース６３に追加登録する機能を備えている。ここで、楽曲構成データは、楽曲データを構成する複数の素片の各位置、各素片を構成する１または複数のイベントの各位置、各イベントのイベント特徴量を示すデータである。素片とは、楽曲データを例えば拍単位に分割したものである。また、イベントは、素片をオンセット（音波形の立ち上がり部分）により区切った場合におけるオンセットから始まる小区間である。

編集部１２０は、操作部４の操作に従い、ＲＡＭ７内において楽曲データを編集するルーチンである。この編集部１２０が行う処理のうち本実施形態に特有のものとして、素片置換処理がある。これは、編集対象である楽曲データにおいて置換の対象となる素片（以下、被置換素片という）の波形データと特徴が類似した他の素片または１または複数の連続したイベントの波形データを楽曲データベース６２の楽曲データの中から検索し、検索した波形データにより被置換素片の波形データを置換する処理である。編集部１２０は、この素片置換処理を実行するためのルーチンとして、素片検索手段としての役割を果たす検索部１２１と合成部１２２とを有している。

素片置換処理において、検索部１２１は、楽曲構成データベース６３を検索することにより、被置換素片を構成する各イベントの波形データの特徴量との類似度が高い特徴量を持った１または連続した複数のイベントの波形データの所在を求め、該当する１または複数の連続したイベントの波形データを楽曲データベース６２中の楽曲データの中から取り出す。そして、合成部１２２は、この取り出した波形データにより、編集対象である楽曲データ中の被置換素片の波形データを置き換える。編集対象の楽曲データ中のいずれの素片の波形データを被置換素片の波形データにするかは操作部４の操作により指定可能である。また、置換用の波形データの検索範囲となる１または複数の楽曲データも操作部４の操作により指定可能である。

次に本実施形態の動作について説明する。本実施形態では、ＣＰＵ１が楽曲編集プログラム６１を実行している状態において、ユーザは、操作部４の操作により、楽曲データベース６２中の所望の楽曲データを指定し、その楽曲データについての楽曲構成データの作成およびその楽曲構成データベース６３への登録の指示を楽曲編集プログラム６１に与えることが可能である。この指示が与えられた場合、解析部１１０は、ユーザにより指定された楽曲データを楽曲データベース６２から読み出し、ＲＡＭ７に格納する。

このように処理対象である楽曲データがＲＡＭ７に格納されると、解析部１１０の第１分割部１１１および第２分割部１１２の各処理がＲＡＭ７内の楽曲データに施される。図２はこの分割部１１１および１１２の処理内容を例示するものである。

まず、第１分割部１１１は、ＲＡＭ７内の楽曲データを各々１拍分の長さを持った素片の波形データに分割し、楽曲データの先頭を基準とした各素片の開始点の相対位置を示す素片開始アドレスを各々求める。なお、この分割には、周知の拍検出アルゴリズムを利用することが可能である。

次に、第２分割部１１２は、各素片の波形データを一定時間長のフレーム単位に分割し、フレーム毎に波形データの瞬時エネルギーを求め、この瞬時エネルギーが所定の閾値Ｔｈを越える点をオンセットの位置として求める。このオンセットの位置を求める際、第２分割部１１２は、次のルールに従う。
ａ．瞬時エネルギーが閾値Ｔｈを越える点が素片間の境界から所定時間Δｔ以内にある場合、その点はオンセットとみなさない。
ｂ．瞬時エネルギーが閾値Ｔｈを越える点が、それに先行するオンセットから所定時間Δｔ以内にある場合、その点はオンセットとみなさない。

次に特徴量生成部１１３は、各素片の波形データをオンセット位置から始まるイベントの波形データに分割し、各イベントの波形データを解析して特徴量を生成する。この特徴量には、loudness（音量）、pitch（音高）、timbre（音色）の各種類がある。特徴量pitchとしては、ＨＰＣＰ（Harmonic Pitch Class Profile）情報を用いる。本実施形態では、このように１つの素片を分割した各イベントの特徴量の集合体が、素片間の特徴の類似度を評価する上での判断材料となる。この点に本実施形態の最大の特徴がある。

１つのイベントの波形データは、一定時間長のフレーム単位に分割することができ、フレーム毎に波形データの特徴量を求めることができる。このようなフレーム毎に求めた特徴量の集合体は、イベントの波形データの特徴を正確に表すものであるが、そのデータ量が膨大であり、取り扱いが困難である。本実施形態におけるイベントの特徴量は、このようなフレーム単位の特徴量の集合体ではなく、簡約化された特徴量である。

このような簡約化されたイベントの特徴量の生成方法に関しては各種の態様が考えられる。第１の態様では、図３に示すように、１つのイベントの波形データを一定時間長のフレームに分割し、１つのイベント内の全フレームを通じて平均化した波形データを求め、この平均的な波形データについてloudness、pitch、timbreの各特徴量を求め、簡約化されたイベントの特徴量とする。

第２の態様において、特徴量生成部１１３は、以下説明するように、イベントの波形データの各特徴量loudness、pitch、timbreをその種類に応じた異なった方法により簡約化し、そのイベントについての簡約化された特徴量とする。

ａ．特徴量loudness
まず、特徴量生成部１１３は、図４に示すように、イベントの各フレーム毎の波形データから瞬時的なloudnessを求め、イベント内の全フレーム中のloudnessの最大値をそのイベントについての簡約化されたloudnessとする。

ｂ．特徴量pitch
次に、特徴量生成部１１３は、フレーム毎に、瞬時的なloudnessと瞬時的なピッチの明瞭度の積に相当する重み係数を求め、このフレーム毎の重み係数を用いて、イベント内の全フレームを通じて瞬時的なＨＰＣＰ情報を加重平均したものを簡約化されたpitchとする。この簡約化された特徴量pitchの生成方法を図５を参照して説明すると次の通りである。

まず、イベントの波形データをフレーム毎に分割し、フレーム毎のＨＰＣＰ情報ｈｐｃｐ_ｋ（ｉ）（ｉ＝１〜ｎ）を求める。ここで、ＨＰＣＰ情報ｈｐｃｐ_ｋ（ｉ）におけるインデックスｋは、そのＨＰＣＰ情報がイベントの開始点を基準としてｋ番目のフレームのものであることを示している。また、ＨＰＣＰ情報ｈｐｃｐ_ｋ（ｉ）におけるインデックスｉは、音の周波数を示すインデックスである。そして、ＨＰＣＰ情報ｈｐｃｐ_ｋ（ｉ）は、ｋ番目のフレームの波形データにおけるｉ番目の周波数の音の強度を示している。本実施形態における特徴量生成部１１３は、各フレームにおいてＨＰＣＰ情報ｈｐｃｐ_ｋ（ｉ）（ｉ＝１〜ｎ）の最大値が１となるように、ＨＰＣＰ情報ｈｐｃｐ_ｋ（ｉ）（ｉ＝１〜ｎ）をフレーム毎に正規化する。

次に特徴量生成部１１３は、イベントの開始位置から終了位置までの各フレームについて、ＨＰＣＰ情報ｈｐｃｐ_ｋ（ｉ）（ｉ＝１〜ｎ）から次式に従ってtonalnessインディケータＴ_ｋを求める。このtonalnessインディケータＴ_ｋは、波形データが示す音波形の第ｋフレームにおける瞬時的なピッチの明瞭度を示すデータである。なお、下記式において、演算結果が負となった場合には、tonalnessインディケータＴ_ｋの値を０とする。従って、tonalnessインディケータＴ_ｋは０〜４９の範囲内の値となる。

次に特徴量生成部１１３は、各フレームにおけるloudness_ｋとtonalnessインディケータＴ_ｋとの積を重み係数として、イベントの開始位置のフレーム（第１フレーム）から終了位置のフレーム（第ｋｍフレーム）までの全フレームについてのＨＰＣＰ情報ｈｐｃｐ_ｋ（ｉ）（ｉ＝１〜ｎ）の加重平均値を次式に従って算出し、そのイベントについての簡約化された特徴量pitchとする。

ｃ．特徴量timbre
次に、特徴量生成部１１３は、図６に示すように、イベントの開始点から始まる例えば１０フレームについて、フレーム毎にイベントの波形データが示す音波形の周波数分割を行い、オーディオ帯域を分割したサブバンド毎の音波形のエネルギーＥ_ｋ（ｊ）（ｊ＝１〜ｍ）を求める。そして、１０フレームについて求めたサブバンド毎のエネルギーＥ_ｋ（ｊ）（ｊ＝１〜ｍ、ｋ＝１〜１０）を簡約化された特徴量timbreとする。このようにイベントの開始点から始まる１０フレーム分の区間の波形のフレーム毎のエネルギーＥ_ｋ（ｊ）（ｊ＝１〜ｍ、ｋ＝１〜１０）を簡約化された特徴量timbreとして用いるのは、かかる区間の波形は音の立ち上がり区間の波形であり、音色を表現する重要な情報を含んでいるからである。
以上が第２の態様における簡約化された特徴量loudness、pitch、timbreの生成方法である。

特徴量生成部１１３は、このようにして楽曲データ中の全てのイベントの波形データについて、簡約化された特徴量loudness、pitch、timbreを得ると、楽曲構成データを構成する。ここで、１つの楽曲データに対応した楽曲構成データは、次の情報を含む。
ａ．その楽曲構成データに対応した楽曲データを特定するＩＤ（例えば楽曲データのファイル名、ＨＤＤ６内における所在等）
ｂ．楽曲データを分割した複数の素片の波形データについての素片開始アドレス
この素片開始アドレスは、楽曲データの開始点を基準として各素片の波形データの開始点の相対位置を示す相対アドレスである。
ｃ．各素片の波形データを分割した複数のイベントの波形データについてのイベント開始アドレス
このイベント開始アドレスは、楽曲データにおいて、イベントが属する素片の波形データの開始点を基準として、そのイベントの波形データの開始点の相対位置を示す相対アドレスである。
ｄ．各イベントの波形データから各々得られた簡約化された特徴量loudness、pitch、timbre

そして、特徴量生成部１１３は、このようにして生成した楽曲構成データを楽曲構成データベース６３に登録する。図７は、この楽曲構成データベース６３のデータ構造を示すものである。
以上が本実施形態における解析部１１０の動作例である。

次に本実施形態における編集部１２０の動作例について説明する。ＣＰＵ１が楽曲編集プログラム６１を実行している状態において、ユーザは、操作部４の操作により、編集対象の楽曲データを指定することができる。この指定がなされると、楽曲編集プログラム６１における編集部１２０は、指定された楽曲データをＨＤＤ６内の楽曲データベース６２から読み出し、ＲＡＭ７内の編集楽曲格納エリアに格納する。この状態において、ユーザは、素片置換処理の実行を要求することができる。その際にユーザは、操作部４の操作により次の事項を指定する。
ａ．楽曲データ中において他の素片の波形データと置換する被置換素片の位置
ｂ．楽曲構成データベース６３に楽曲構成データが登録されている各楽曲データのうち被置換素片との交換に用いる素片の検索範囲となる１または複数の楽曲データ

上記ａ．に関して、編集部１２０は、被置換素片を指定する情報をユーザから受け取るために、複数の素片に分割された編集対象の楽曲データを表すストライプ等の図形を表示部３に表示させ、操作部４のポインティングデバイス等によりその図形における被置換素片の位置を指定させる。その際、ユーザが所望の被置換素片を指定することができたか否かを容易に確認することができるように、ユーザが指定した素片の波形データをＲＡＭ７内の編集楽曲格納エリアから読み出してサウンドシステム８に送り、音として出力させてもよい。また、ユーザは、楽曲データにおける全ての素片を被置換素片として指定することも可能である。

上記ｂ．に関して、ユーザは、楽曲構成データベース６３に楽曲構成データが登録されている全ての楽曲データを、被置換素片との交換に用いる素片の検索範囲として指定することも可能である。

上記ａ．およびｂ．の各事項に関する指定情報が与えられると、編集部１２０における検索部１２１は、楽曲構成データベース６３内における編集対象の楽曲データに対応した楽曲構成データの中から被置換素片に属する１または複数のイベントの特徴量loudness、pitch、timbreを読み出す。そして、楽曲構成データベース６３を検索することにより、この被置換素片の各イベントの特徴量との類似度が高い特徴量を持った１または複数の連続したイベントの波形データの所在を求める。この検索の方法として、次の２つの方法が用意されている。ユーザは、操作部４の操作により、所望の検索方法を選択することが可能である。

＜第１の検索方法＞
図８はこの第１の検索方法により被置換素片と置換する素片を検索する様子を示すものである。この第１の検索方法では、次の手順により被置換素片と置換する素片を求める。

（１）楽曲構成データベース６３内において、ユーザによって検索範囲として指定された各楽曲データに対応した楽曲構成データを特定する。
（２）上記（１）により特定された各楽曲構成データが示す各素片の中から被置換素片のイベント数と同数のイベントを持つ各素片を選択する。図８に示す例では、被置換素片のイベント数が４であることから、イベント数が４である素片が検索範囲内の楽曲データの中から選択されている。

（３）上記（２）により選択した各素片を順次選択し、選択した素片の各イベントの特徴量loudness、pitch、timbreと被置換素片の各イベントの特徴量loudness、pitch、timbreとの類似度Ｄを例えば次式により算出する。

ここで、Ｄ１は、選択した素片の各イベントのloudnessを成分とする特徴量ベクトルと、被置換素片の各イベントのloudnessを成分とする特徴量ベクトルとの類似度であり、例えば両特徴量ベクトル間のユークリッド距離に応じて決定される値である。Ｄ２は、選択した素片の各イベントのpitchを成分とする特徴量ベクトルと、被置換素片の各イベントのpitchを成分とする特徴量ベクトルとの類似度であり、例えば両特徴量ベクトル間のcosine角に応じて決定される値である。Ｄ３は、選択した素片の各イベントのtimbreを成分とする特徴量ベクトルと、被置換素片の各イベントのtimbreを成分とする特徴量ベクトルとの類似度であり、例えば両特徴量ベクトル間のユークリッド距離に応じて決定される値である。そして、Ａ、Ｂ、Ｃは、特徴量ベクトルloudness間の類似度Ｄ１、特徴量ベクトルpitch間の類似度Ｄ２、特徴量ベクトルtimbre間の類似度Ｄ３の各々の重み係数である。

（４）上記（３）において求めた各類似度Ｄの中から最も高い類似度Ｄｍａｘを求める。そして、この類似度Ｄｍａｘが得られた素片の所在、すなわち、当該素片の波形データが属する楽曲データ、その楽曲データ内における当該素片の波形データの開始アドレスと終了アドレスを楽曲構成データを参照することにより求める。
以上が第１の検索方法である。この第１の検索方法は、検索範囲内の楽曲データの数が多い場合に有効な方法である。

＜第２の検索方法＞
図９はこの第２の検索方法により被置換素片と置換する素片を検索する様子を示すものである。この第２の検索方法では、次の手順により被置換素片と置換する素片を求める。

（１）上記第１の検索方法と同様、楽曲構成データベース６３内において、ユーザによって検索範囲として指定された各楽曲データに対応した楽曲構成データを特定する。

（２）上記（１）により特定された各楽曲構成データにおいて、元の楽曲データにおける素片間の境界を無視し、被置換素片のイベント数と同数の連続したイベントの組を順次選択する。図９に示す例では、被置換素片のイベント数が４であることから、連続した４個のイベントからなる各組が検索範囲内の楽曲データの中から選択されている。

（３）上記（２）により選択した連続イベントの各組について、その組に属する各イベントの特徴量loudness、pitch、timbreと被置換素片の各イベントの特徴量loudness、pitch、timbreとの類似度Ｄを算出する。

（４）上記（３）において、求めた各類似度Ｄの中から最も高い類似度Ｄｍａｘを求める。そして、この類似度Ｄｍａｘが得られた連続イベントの組（この連続イベントの組は元の楽曲データの素片であることもあるし、元の楽曲データの素片境界を跨ぐ場合もある）の波形データの所在、すなわち、当該連続イベントの組の波形データが属する楽曲データ、その楽曲データ内における当該波形データの開始アドレスと終了アドレスを楽曲構成データを参照することにより求める。
以上が第２の検索方法である。この第２の検索方法は、検索範囲内の楽曲データの数が少ない場合に有効な方法である。

検索部１２１は、以上のようにして求めた置換用の素片または連続イベントの組の波形データが属する楽曲データと、その楽曲データ内における置換用の素片または連続イベントの組の波形データの開始アドレスと終了アドレスとを合成部１２２に引き渡す。合成部１２２は、この引き渡された情報に基づいて、置換用の素片または連続イベントの組の波形データを楽曲データベース６２から読み出し、ＲＡＭ７の編集楽曲格納エリア内の楽曲データにおける被置換素片の波形データをこの読み出した波形データにより置き換える。

この置換の際、置換用の素片または連続イベントの波形データの時間長と被置換素片の波形データの時間長が一致していない場合がある。そこで、合成部１２２は、前者の波形データの時間長が後者の波形データの時間長よりも長い場合には前者の波形データの時間長を短くして後者の波形データの時間長に一致させ、前者の波形データの時間長が後者の波形データの時間長よりも短い場合には前者の波形データの時間長を長くして後者の波形データの時間長に一致させる。この時間長の調整に関しては、各種の態様が考えられる。ある好ましい態様では、置換用の波形データにおいてほぼ同一の音量レベルでほぼ同一の波形が繰り返されている区間に着目し、この区間における波形の繰り返し回数を増減することにより波形データの時間長の増減を行う。他の好ましい態様では、置換用の波形データにおける無音区間または音量レベルが閾値未満である区間に着目し、この区間の一部を削減し、またはこの区間の一部のコピーを同区間内に挿入することにより波形データの時間長の増減を行う。置換用の波形データにおいて、波形データの時間長がイベント間で異なる場合、最も時間長の長いイベントの波形データを時間調整に用いてもよい。

以上説明したように、本実施形態によれば、編集対象である楽曲データの被置換素片の波形データが特定された場合において、楽曲データベース６２に格納された検索範囲内の楽曲データの中から被置換素片の波形データの各イベントの特徴量と類似した特徴量を持った素片または連続イベントの波形データが取り出され、編集対象である楽曲データの被置換素片の波形データとの置換に用いられる。従って、必要なメモリ容量および演算量を極端に増加させることなく、被置換素片と類似した素片を正確に選択し、楽曲データの編集に用いることができる。

以上、この発明の一実施形態について説明したが、この発明には、他にも実施形態が考えられる。例えば次の通りである。

（１）合成部１２２は、編集対象の楽曲データの被置換素片の波形データを置換用の素片または連続イベントの波形データによって置換する際、編集対象の楽曲データにおいて被置換素片の前後の波形データの音量レベルと整合するように、置換用の素片または連続イベントの波形データの音量レベルを調整してもよい。

（２）検索部１２１が用いる類似度Ｄの算出式における重み係数Ａ、Ｂ、Ｃをユーザが操作部４の操作により調整し得るように構成してもよい。この態様によれば、いずれの種類の特徴量に重きを置いて置換用の素片または連続イベントの検索を行うかをユーザが操作することができるという利点がある。

（３）楽曲データおよび楽曲構成データを例えば音楽のジャンルによりグループ分けし、ユーザが操作部４の操作により選択したグループ内の楽曲データおよび楽曲構成データを検索範囲として、置換用の素片または連続イベントの検索を行わせるようにしてもよい。

（４）上記実施形態において、合成部１２２は、最も高い類似度Ｄｍａｘの得られた素片または連続イベントの波形データを被置換素片の波形データとの置換に用いた。このようにする代わりに、合成部１２２は、次のようにして素片または連続イベントを決定してもよい。まず、置換用の高い類似度の得られた上位所定個数の素片または連続イベントを示す所定個数のアイコンを表示部３に表示させる。そして、ユーザが所望のアイコンを操作部４の操作により指示すると、この指示されたアイコンに対応した素片または連続イベントの波形データをそれが属する楽曲データから取り出してサウンドシステム８に送り、ユーザに素片または連続イベントの音を試聴させる。そして、ユーザがその素片または連続イベントの音を気に入り、操作部４の操作により置換用の素片または連続イベントの決定を指示すると、合成部１２２は、最後にユーザに試聴させた素片または連続イベントを置換用の素片または連続イベントに決定するのである。

（５）上記実施形態では、編集対象の楽曲に実際に含まれる被置換素片に特徴量が類似した素片を他の楽曲から検索した。しかし、実在しない被置換素片の特徴量を合成し、これに類似した特徴量を持った素片または連続イベントを他の楽曲から検索できるようにしてもよい。例えば編集対象の楽曲中に素片Ａと素片Ｂが含まれている場合において、前半のイベントが素片Ａの前半のものであり、後半のイベントが素片Ｂの後半のものであるような仮想的な被置換素片の各イベントの特徴量を合成し、これとの類似度が高い素片を既存の他の楽曲の中から検索し、編集対象の楽曲中のある素片と置換する、といった処理を行えるようにしてもよい。

（６）上記実施形態では、被置換素片の波形データを置換用素片の波形データによって置換することにより楽曲データの編集を行った。しかし、編集には、置換以外の態様も考えられる。例えば元の楽曲データ中の素片の波形データと、検索により得られた波形データとを混合し、この混合した波形データにより、元の楽曲データ中の素片の波形データを置換する、といった態様も考えられる。

（７）上記実施形態では、この発明による素片検索装置を楽曲編集装置として具現した。しかし、この発明の適用範囲は、このような楽曲編集装置としての実施形態に限定されるものではない。この発明の実施形態として、楽曲データを構成する素片の波形データについての検索結果を楽曲編集以外の他の用途に利用する形態もあり得る。

この発明の一実施形態である楽曲編集装置の構成を示すブロック図である。 同実施形態における第１分割部１１１および第２分割部１１２の処理内容を示す図である。 同実施形態における各イベントの簡約化された特徴量の第１の生成方法を示す図である。 同実施形態における各イベントの簡約化された特徴量の第２の生成方法において、簡約化された特徴量loudnessの生成方法を示す図である。 同実施形態における各イベントの簡約化された特徴量の第２の生成方法において、簡約化された特徴量pitchの生成方法を示す図である。 同実施形態における各イベントの簡約化された特徴量の第２の生成方法において、簡約化された特徴量timbreの生成方法を示す図である。 同実施形態における楽曲構成データベース６３のデータ構造を示す図である。 同実施形態において検索部１２１が実行する第１の検索方法を示す図である。 同実施形態において検索部１２１が実行する第２の検索方法を示す図である。

符号の説明

１……ＣＰＵ、２……ＲＯＭ、３……表示部、４……操作部、５……インタフェース群、６……ＨＤＤ、７……ＲＡＭ、８……サウンドシステム、６１……楽曲編集プログラム、６２……楽曲データベース、６３……楽曲構成データベース、１１０……解析部、１１１……第１分割部、１１２……第２分割部、１１３……特徴量生成部、１２０……編集部、１２１……検索部、１２２……合成部。

Claims (6)

1. 楽曲の波形を示す楽曲データを楽曲の素片の波形データに分割し、各素片の波形データをオンセットから始まる小区間であるイベントの波形データに分割し、各イベントの波形データの特徴量を求める解析手段と、
   １または複数の楽曲データを記憶するとともに、前記解析手段の処理を経ることにより前記楽曲データから得られた前記楽曲データにおける各イベントの波形データの位置と各イベントの波形データの特徴量とを示す楽曲構成データを記憶する記憶手段と、
   所望の素片を構成する各イベントの特徴量との類似度が高い特徴量を持った１または複数の連続したイベントの波形データを前記記憶手段に記憶された楽曲データから取り出す素片検索手段と
   を具備することを特徴とする素片検索装置。
2. 前記記憶手段は、前記楽曲構成データとして、前記楽曲データにおける各イベントの波形データの位置と各イベントの波形データの特徴量とに加えて、前記楽曲データにおける各素片の波形データの位置を示すものを記憶し、
   前記素片検索手段は、所望の素片の各イベントの特徴量との類似度が高い特徴量を持った１または複数の連続したイベントの波形データとして、素片の波形データを前記記憶手段に記憶された楽曲データから取り出すことを特徴とする請求項１に記載の素片検索装置。
3. 前記解析手段は、前記イベントの波形データを一定時間長のフレーム単位に区切り、前記イベントの全フレームを通じて平均的な波形データを求め、この波形データを解析することより前記イベントの特徴量を生成することを特徴とする請求項１または２に記載の素片検索装置。
4. 前記解析手段は、前記イベントの波形データについて、一定時間長のフレーム単位で複数種類の特徴量を求め、各フレームにおける複数種類の特徴量を特徴量の種類により定められた簡約化アルゴリズムに従って簡約化することにより、前記イベントの特徴量を生成することを特徴とする請求項１または２に記載の素片検索装置。
5. 前記解析手段は、前記複数種類の特徴量として、音量、ピッチおよび音色を前記イベントの波形データから求め、前記音量については、イベントの全フレームについての音量の最大値を簡約化された音量とし、前記ピッチについては、フレーム毎の瞬時的な音量と瞬時的なピッチの明瞭度の積に相当する重み係数を用い、イベントの全フレームを通じて瞬時ピッチを加重平均したものを簡約化されたピッチとし、前記音色については、イベントの開始点から始まる所定数のフレームにおける瞬時的な音色を簡約化された音色とし、前記イベントの特徴量を構成することを特徴とする請求項４に記載の素片検索装置。
6. コンピュータを、
   楽曲の波形を示す楽曲データを楽曲の素片の波形データに分割し、各素片の波形データをオンセットから始まる小区間であるイベントの波形データに分割し、各イベントの波形データの特徴量を求める解析手段と、
   １または複数の楽曲データを記憶するとともに、前記解析手段の処理を経ることにより前記楽曲データから得られた前記楽曲データにおける各イベントの波形データの位置と各イベントの波形データの特徴量とを示す楽曲構成データを記憶する記憶手段と、
   所望の素片を構成する各イベントの特徴量との類似度が高い特徴量を持った１または複数の連続したイベントの波形データを前記記憶手段に記憶された楽曲データから取り出す素片検索手段と
   して機能させることを特徴とするコンピュータプログラム。

Images