JP4273202B2 - Music reproduction method and apparatus - Google Patents
Music reproduction method and apparatus Download PDFInfo
- Publication number
- JP4273202B2 JP4273202B2 JP2003025331A JP2003025331A JP4273202B2 JP 4273202 B2 JP4273202 B2 JP 4273202B2 JP 2003025331 A JP2003025331 A JP 2003025331A JP 2003025331 A JP2003025331 A JP 2003025331A JP 4273202 B2 JP4273202 B2 JP 4273202B2
- Authority
- JP
- Japan
- Prior art keywords
- music
- structure feature
- section
- sections
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 67
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 claims description 133
- 241001342895 Chorus Species 0.000 claims description 131
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 claims description 35
- 238000013500 data storage Methods 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 4
- 230000033458 reproduction Effects 0.000 description 50
- 238000010586 diagram Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 16
- 238000001514 detection method Methods 0.000 description 14
- 238000002372 labelling Methods 0.000 description 13
- 230000009191 jumping Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 238000003825 pressing Methods 0.000 description 7
- 230000003252 repetitive effect Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000011069 regeneration method Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Landscapes
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、楽曲中のサビ区間等の特徴区間を選択的に再生する方法及び装置
に関するものである。
【0002】
【従来の技術】
従来、音楽情報処理の研究分野では楽曲の検索や音楽理解に関する研究は多かったものの、音楽の試聴に着目した研究はなされていなかった。現在、レコード店の店頭でコンパクトディスク(CD)等に記録された音楽を「試聴」する場合、試聴者は、早送りを行いながら聴きたい部分だけを選び出して試聴している場合が多い。これは試聴の主目的が、自分の探していた楽曲、好みの楽曲であるかどうかを短時間で判断するためのものだからである。例えばポピュラー音楽の場合等では、楽曲中で一番代表的な盛り上がる主題の部分であるサビ(chorus,refrain)区間や何度も繰り返し演奏されるメロディ区間のような楽曲の構造に特徴のある区間(以下楽曲構造特徴区間と言う)を試聴して判断することが多い。そこで試聴者は、イントロを少し聴いた後に、サビ区間や繰り返し区間等の楽曲構造特徴区間を探しながら早送りボタンを何度も押して途中を飛ばし、楽曲構造特徴区間を再生するというような特殊な聴き方をする。
【0003】
なお楽曲中からサビ区間を検出する技術については、本出願の発明者が、「リアルタイム音楽情景記述システム:サビ区間検出手法」と題して、「情報処理学会 音楽情報科学研究会 研究報告」(非特許文献1)の2002−MUS−47−6(Vol.2002,No.100,pp.27−34)に発表している。
【0004】
【非特許文献1】
「情報処理学会 音楽情報科学研究会 研究報告」
2002−MUS−47−6(Vol.2002,No.100,pp.27−34)
【0005】
【発明が解決しようとする課題】
しかし、従来の音楽CDの試聴機には、このような試聴固有の聴き方を支援する機能はなかった。試聴機は通常のCDプレーヤ相当の再生操作ボタンを持つが、その中で、早送りと早戻しのボタンしか、サビの部分を探すために利用できなかった。一方、最近CD販売店に導入され始めたデジタル試聴機では、MP3等の圧縮形式で蓄積されている数十万曲の中から、ハードディスクあるいはネットワーク経由で再生することができる。しかし、楽曲先頭の短い区間(通常45秒)だけが機械的に切り出されて収録されているため、試聴者は楽曲構造特徴部分を必ずしも聴くことはできなかった。近年、日本のポピュラー音楽ではサビから始まる楽曲構造を持つ曲が増えているとはいえ、発明者の調査では、日本のポピュラー音楽のヒットチャート(2001年1月〜12月の週間ランキングのシングル上位20曲)の楽曲中、楽曲開始後40秒以内にサビが始まる曲は約20%しかなかった。
【0006】
本発明の目的は、インターフェースを用いた選択により簡単に楽曲構造特徴区間を音楽音響データ再生装置を用いて再生することができる楽曲再生方法及び装置並びに該装置に用いるインターフェース及びプログラムを提供することにある。
【0007】
本発明の他の目的は、音響音楽データの再生中にインターフェースを用いた選択により任意の楽曲構造特徴区間へと音楽音響データ再生装置による再生位置を変更することができる楽曲再生方法及び装置並びに該装置に用いるインターフェース及びプログラムを提供することにある。
本発明の他の目的は、特に楽曲中のサビ区間を音楽音響データ再生装置を用いて簡単に再生することができる楽曲再生方法及び装置並びに該装置に用いるインターフェースを提供することにある。
【0008】
本発明の他の目的は、楽曲中のサビ区間の特定を確実に行える楽曲再生方法を提供することにある。
【0009】
本発明の別の目的は、楽曲構造特徴区間の分散状況と音楽音響データの再生状況とを視覚により確認できる楽曲再生方法及び装置並びに該装置に用いるインターフェースを提供することにある。
【0010】
本発明の他の目的は、サビ出し区間と繰り返し区間の存在状況を視覚により区別することできるようにした楽曲再生方法及び装置並びに該装置に用いるインターフェースを提供することにある。
【0011】
本発明の他の目的は、操作者が選択ボタンを操作するだけで楽曲構造特徴区間を選択的に再生することができる楽曲再生方法及び装置並びに該装置に用いるインターフェースを提供することにある。
【0012】
本発明の別の目的は、楽曲構造特徴区間を統計データから容易に抽出することができる楽曲構造特徴区間の抽出方法を提供することにある。
【0013】
【課題を解決するための手段】
音楽音響データを再生する音楽音響データ再生装置を用いて音楽音響データを再生する本発明の楽曲再生方法は、第1乃至第3のステップを実行する。ここで音楽音響データとは、アナログ音響信号、デジタル音響信号、MIDIデータ(標準MIDIファイル)等の各種の再生可能な音響データを含むもので、圧縮/非圧縮のいずれでもよい。なお圧縮されたデータの場合、圧縮フォーマットの形式は任意である。また後述する「複数の楽曲構造特徴区間」とは、前述のサビ区間及び/または繰り返し区間を含むものである。なおサビ区間または繰り返し区間だけを複数の楽曲構造特徴区間としてもよいのは勿論である。
【0014】
第1のステップでは、再生の対象となる音楽音響データに関して、複数の楽曲構造特徴区間を指定するための複数の楽曲構造特徴区間指定データを予め用意する。複数の楽曲構造特徴区間指定データとは、楽曲構造特徴区間の始まり位置と終了位置に関するデータである。例えば、楽曲構造特徴区間の始まり位置と終了位置は、対象となる音楽音響データ中の位置データや、実際に演奏を開始してからその位置に達するまでに要する時間で表した位置データとして表現することができる。この複数の楽曲構造特徴区間指定データは、音楽音響データと組合せてすなわちセットにしてもよいが、音楽音響データとは別のデータとして存在させてもよい。このようにすると、すでに音楽音響データを入手している人は、ネットワーク等を介してその楽曲に対応する楽曲構造特徴区間指定データを後から入手することができるようになる。また複数の楽曲構造特徴区間指定データを音楽音響データと組合せておけば、音楽音響データをダウンロードするときに必然的に複数の楽曲構造特徴区間指定データもダウンロードされる上、両データの対応関係を考慮する必要がなくなるので便利である。
【0015】
複数の楽曲構造特徴区間の抽出方法は、任意である。例えば発明者が先に発表した前述の非特許文献1に記載のサビ区間検出方法を用いても良い。また音楽音響データを再生しながら複数の楽曲構造特徴区間を人が特定したり(ラベリングし)、専用のラベリング用エディタを用いて複数の楽曲構造特徴区間を特定してもよい。また対象とする音楽音響データを複数の試聴者が再生した際の再生行動の統計データに基いて複数の楽曲構造特徴区間を特定し、特定した複数の楽曲構造特徴区間を指定するための複数の楽曲構造特徴区間指定データを作成するようにしてもよい。この場合には、例えば、複数の試聴者が試聴した回数または再生した回数が多い区間(予め定めた回数よりも多い区間)を楽曲構造特徴区間として特定することができる。なおこの場合には、ネットワークに接続された複数台の試聴用の楽曲再生装置から複数の試聴者による再生回数が多い区間のデータを集めてもよい。このようにすると簡単に大量のデータを入手できる。また入手したデータをヒストグラムとして視覚により認識可能な状態とし、ヒストグラムから複数の楽曲構造特徴区間を特定してもよい。このようにすると統計データからの楽曲構造特徴区間の特定が容易になる。このような人の試聴を基準にすると、楽曲構造からサビといわれる部分の検出が困難な楽曲からも楽曲構造特徴部分を容易に抽出することができる。
【0016】
第2のステップでは、複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択するインターフェースを用意する。このインターフェースとは、操作者と装置の間を関係づけるものであり、操作者により選択操作される部分と、選択結果を発信する機能とを少なくとも備えていればよい。したがって最も簡単なインターフェースは、アナログまたはデジタルのスイッチからなる選択ボタンにより構成することができる。選択ボタンだけでインターフェースを構成する場合には、再生される音楽を聴きながら選択ボタンを操作することになる。選択ボタンだけでは、音楽音響データのどの部分に楽曲構造特徴区間が幾つ存在するのかが分からない。そのため必要以上に選択ボタンを操作する可能性がある。また選択ボタンだけでは、複数種類の楽曲構造特徴区間がある場合に同じ種類の楽曲構造特徴区間を意図的に試聴することができない。
【0017】
そこでこのような問題を解決するためには、第2のステップで用意するインターフェースとして、音楽音響データの長さを時間軸を用いた画像表示により表示し、併せて音楽音響データ再生装置が音楽音響データを再生している音楽音響データの再生位置と複数の楽曲構造特徴区間とを時間軸を用いた画像表示により表示する画像表示部を有するものを用いればよい。このようなインターフェースを用いると、画像表示部の表示を見ることにより、現在の再生位置と複数の楽曲構造特徴区間との位置関係または時間関係を視覚を用いて認識できる。したがって画像表示部の表示を見ながら、任意の箇所の楽曲構造特徴区間を任意に選択することが可能になる。なお楽曲の演奏時間が長い場合には、演奏時間の全時間分の表示を一画面に表示することができない場合もある。このような場合には、演奏時間の一部に対応する表示を画面に表示しておき、時間の経過とともにスクロール式に画面を変更してもよいのは勿論である。
【0018】
インターフェースに画像表示部を設ける場合に、複数の楽曲構造特徴区間を、楽曲のサビ部分を示す複数のサビ区間と、繰り返し部分を示す複数の繰り返し区間とから構成するときには、画像表示部が複数のサビ区間と複数の繰り返し区間とを区別して表示するのが好ましい。このようにすると画像表示を見ながらサビ区間と繰り返し区間とを任意に選択することが容易になる。
【0019】
またインターフェースは、複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択するために操作者が操作する1以上の選択ボタンを有している。この選択ボタンとして、人が指で操作するアナログ式の選択ボタン、表示画面に表示されたボタンの表示を人間の指やカーソルでクリックしてオン・オフを判定するタイプの選択ボタン(画像表示ボタン)、音声認識により選択を判別するタイプの選択ボタン等の各種の選択ボタンが含まれる。特に、1以上の選択ボタンに、複数の楽曲構造特徴区間からサビ区間だけを選択する1以上のサビ区間選択ボタンをインターフェースに配置するのが好ましい。このような専用選択ボタンを配置すると、特別な知識を持たない人でも簡単にサビ区間の再生を実行できるので、汎用性が非常に高くなる。また1以上のサビ区間選択ボタンは、前のサビ区間を選択する第1のサビ区間選択ボタンと、後のサビ区間を選択する第2のサビ区間選択ボタンとから構成するのが好ましい。このようにすると選択の自由度が増すだけでなく、繰り返しサビ区間を再生することが可能になる。また1以上の選択ボタンには、複数の繰り返し区間を選択する際に前の繰り返し区間を選択する第1の繰り返し区間選択ボタンと、後の繰り返し区間を選択する第2の繰り返し区間選択ボタンが含まれてもよい。この場合にも選択の自由度が増すだけでなく、繰り返し区間を繰り返し再生することが可能になる。
【0020】
第3のステップでは、音楽音響データ再生装置を用いて音楽音響データの再生を開始した後、操作者がインターフェースを用いて選択した任意の楽曲構造特徴区間に対応する楽曲構造特徴区間指定データに基いて、音楽音響データ再生装置による音楽音響データの再生位置を任意の楽曲構造特徴区間に変更する。すなわち演奏途中であっても、インターフェースから特定の楽曲構造特徴区間に再生位置を変更する指令が入力されると、その指令に基づいて再生位置を変更することになる。
【0021】
なおインターフェース上で任意の楽曲構造特徴区間を選択した場合にのみ、その選択された区間の再生を行うようにしてもよいのは勿論である。その場合には、第3のステップでは、操作者がインターフェースを用いて選択した任意の楽曲構造特徴区間に対応する楽曲構造特徴区間指定データに基いて音楽音響データ再生装置に前記任意の楽曲構造特徴区間を再生させるようにすればよい。
【0022】
本発明の方法を実施するための楽曲再生装置は、音楽音響データを再生する音楽音響データ再生装置を有し、且つ楽曲中の複数の楽曲構造特徴区間から選択した任意の楽曲構造特徴区間を再生する機能を備えている。そして本発明の楽曲再生装置は、インターフェースと、楽曲構造特徴区間指定データ格納手段と、指定データ付与手段とを更に備えている。インターフェースは、複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択する機能を有するものである。また楽曲構造特徴区間指定データ格納手段は、再生する音楽音響データに対応して予め定められた複数の楽曲構造特徴区間を指定するための楽曲構造特徴区間指定データを格納する。そして指定データ付与手段は、インターフェースによって選択された任意の楽曲構造特徴区間を指定する楽曲構造特徴区間指定データを音楽音響データ再生装置に与える。音楽音響データ再生装置は、指定データ付与手段から付与された楽曲構造特徴区間指定データによって指定された楽曲構造特徴区間に再生位置を変更するように構成されている。本発明の装置では、楽曲の再生中であっても、インターフェースによって選択された任意の楽曲構造特徴区間を再生することができる。また楽曲の再生中でなくても、インターフェースによって選択された任意の楽曲構造特徴区間を再生することができる。なお音楽音響データに楽曲構造特徴区間指定データが付随している場合には、楽曲構造特徴区間指定データ格納手段は音楽音響データに付随する楽曲構造特徴区間指定データを読み取って格納すればよい。
【0023】
また音楽音響データから自動的に楽曲中の複数の楽曲構造特徴区間を抽出して楽曲構造特徴区間指定データを作成する特徴区間指定データ生成手段を更に備えていてもよい。このような手段を備えていれば、既存の楽曲を再生する場合にも本発明を適用することが容易になる。
【0024】
なお本発明は、コンピュータと、前記コンピュータからの指令に基いて動作するディスプレイと、前記コンピュータからの指令で音楽音響データを再生する音楽音響データ再生装置とから構成された装置を用いて、楽曲中の複数の楽曲構造特徴区間から選択した任意の楽曲構造特徴区間を再生する機能を前記コンピュータに実現させるためのプログラムとしても特定できる。このプログラムは、複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択するインターフェースを前記ディスプレイ上に構成する機能と、再生する前記音楽音響データに対応して予め定められた前記複数の楽曲構造特徴区間を指定するための楽曲構造特徴区間指定データを格納する楽曲構造特徴区間指定データ格納手段を構成する機能と、前記インターフェースによって選択された前記任意の楽曲構造特徴区間を指定する前記楽曲構造特徴区間指定データを前記音楽音響データ再生装置に与える指定データ付与手段を構成する機能と、前記指定データ付与手段から付与された前記楽曲構造特徴区間指定データによって指定された前記楽曲構造特徴区間を再生するように前記音楽音響データ再生装置に指令を与える機能とを前記コンピュータに実現させる構成を備えている。
【0025】
なおインターフェースを前記ディスプレイ上に構成する機能は、複数の楽曲構造特徴区間に含まれるサビ区間を選択するために操作者が操作するサビ区間選択ボタンを含む1以上の選択ボタンをディスプレイ上に形成する機能を有しているのが好ましい。
【0026】
本発明を用いれば、「サビ出し」機能(サビ区間選択ボタン)を搭載した音楽試聴機を得ることができる。試聴者はこのサビ区間選択ボタンを押すだけで、サビ区間の先頭へ再生をジャンプさせる(瞬時に早送りする)ことができ、自分でサビ区間を探す煩わしい作業から解放される。さらに、サビ以外の楽曲中の繰り返し区間も事前に推定あるいは用意しておくことで、次の楽曲構造の繰り返し区間の先頭へも再生をジャンプさせることができる。
【0027】
【発明の実施の形態】
以下図面を参照して本発明の実施の形態の一例を詳細に説明する。図1は本発明の楽曲再生方法の実施の形態の概念を示すブロック図である。これらの実施の形態では、楽曲構造上意味を持つ区間(サビ区間及び繰り返し区間)の先頭に、音楽の再生位置を自動ジャンプさせる。基本的には、音楽音響信号や標準MIDIファイル等の音楽音響データの楽曲構造を事前に解析しておき、その中で試聴者(ユーザ)が関心を持つ部分(サビの部分、繰り返し演奏される部分)すなわち楽曲構造特徴区間へ演奏箇所を自動的にジャンプできる機能を提供する。音楽音響データは、ローカルな電子計算機(サーバ)等やCDプレーヤ等の音楽再生器上に用意されていてもよく、またネットワークからダウンロードされるものでもよい。
【0028】
[第1のステップの説明]
具体的には、再生の対象となる音楽音響データに関して、楽曲中の楽曲構造特徴区間を指定するための複数の楽曲構造特徴区間指定データを予め用意する(第1のステップ)。最も単純には、音楽音響データを再生しながら複数の楽曲構造特徴区間を人が特定し、その特定結果を基準にして複数の楽曲構造特徴区間を指定するための複数の楽曲構造特徴区間指定データを作成する。この作業はマニュアルでの作業になるため、時間がかかるものの、実際に人間(例えば、一般人だけでなく、音楽を深く理解している専門家や音楽製作者)が判断して楽曲構造特徴区間を特定するため、例えばサビ区間が分かり難い楽曲でも必要な楽曲構造特徴区間指定データを得ることができる。なお本実施の形態では、複数の楽曲構造特徴区間のそれぞれの始まり位置と終了位置を、実際に演奏を開始してからその位置に達するまでに要する時間で表した位置データまたは音楽音響データ中の位置データとして表現している。そして本実施の形態では、複数の楽曲構造特徴区間指定データを音楽音響データと組合せて一つのセットにしている。
【0029】
図1の実施の形態では、楽曲構造特徴区間を、自動サビ区間検出手法、手動サビ区間ラベリング手法、試聴者行動分析手法のいずれか一つの方法を用いて楽曲構造特徴区間を特定する。以下各手法を説明する。
【0030】
[自動サビ区間検出手法]
この手法では、楽曲中のサビ区間や繰り返し区間の開始点と終了点の一覧を自動検出する。本手法は、人手がかからないため多数の楽曲に適用可能である。自動検出では検出結果に誤りが含まれることもあるが、実用上は、完全な精度でなくても試聴者が再生位置を見つける手掛かりとなるため、従来の試聴機よりは便利となる。このための手法は、例えば、「音楽音響信号中のサビ区間検出方法」(後藤真孝/特願2002−309519)または「リアルタイム音楽情景記述システム:サビ区間検出手法」と題して,「情報処理学会 音楽情報科学研究会研究報告」(非特許文献1)の2002−MUS−47−6(Vol.2002,No.100,pp.27−34)に発明者が発表した論文に記載されている。具体的には、この手法における楽曲中のサビ区間や繰り返し区間の開始点と終了点の一覧を自動検出する技術が使用できる。上記の手法以前は、楽曲の音響信号中に何度も出現するサビの中のどこか一箇所を、常に指定した長さだけ切り出して提示する手法はあったが、サビ区間の開始点と終了点はわからず、サビの転調も扱えなかった。この発明者が発表した論文に記載されている手法は、様々な繰り返し区間の相互関係を調べることで、楽曲中で繰り返されるすべてのサビ区間を網羅的に検出し、それらの開始点と終了点を推定できる。また、転調後でも繰り返しと判断できる類似度を導入することで、転調を伴うサビ区間も検出できる。
【0031】
[手動サビ区間ラベリング手法]
サビや楽曲構造をラベリング可能なエディタ上で、人間が音楽を聴きながら手作業で指定する。精度は高いが、労力と時間がかかる。この手動ラベリングは、自動検出が困難な楽曲、音楽ジャンルに対しても有効である。なお、自動サビ区間検出の結果を利用して、それをエディタ上で手作業で修正することもできる。このためのエディタとして、発明者は楽曲を分割して各部にサビ、第1のメロディ(Aメロ)、第2のメロディ(Bメロ)、イントロ、間奏、エンディング等をラベリングできる、楽曲構造ラベリング用エディタを開発した。エディタの画面を図2(A)に示す。この図の上半分に示された横軸は時間軸(sec)で楽曲全体を表示している。一番上のミニウインドウがパワー変化、二番目のミニウインドウが楽曲各部のラベリング結果、三番目のミニウインドウの最上段がサビ区間の一覧であり、下5段が繰り返し構造を表す。下半分は、楽曲各部のラベリング結果を、楽曲全体の時間軸を折り返しながら拡大表示している。このエディタ上では、ユーザは縦棒表示で表されるカーソルの位置の情報を編集する。楽曲の再生・停止は自由に制御することができ、カーソルは楽曲の再生位置を指す。ユーザはカーソルを自由に移動しながら、カーソル前後の音を繰り返し聞いたりして、適切な箇所に、楽曲の各部の区切りを入れることができる。そして、区切りの間の区間をラベリングする。なお、このエディタは、事前にビートや小節の区切りをラベリングしておき、エディタ上ではビートや小節単位でカーソルを移動することで、ラベリング作業を迅速におこなう機能も持つなど、効率のよい作業環境を提供している。このエディタ上での編集結果として、楽曲中のサビ区間や繰り返し区間の開始点と終了点の一覧を得ることができる。
【0032】
[試聴者行動分析手法]
この手法では、過去の多数の試聴者が聴いた箇所を記録しておき、試聴者が多く聴いた区間を分析する。そうして求めた区間を、サビ区間(試聴者が関心を持つ区間)であると仮定して推定する。ポピュラー音楽以外でも、多く聴いた区間は典型的な試聴者が聴きたい区間となっていることが多く、幅広い音楽ジャンルに有効である。本手法は、繰り返し利用されるまで、実質的に従来の試聴機とあまり変わらない機能しか提供できないが、事前に楽曲内容の分析やラベリングを必要としない利点を持つ。なお、上記二つの手法と組み合わせることも可能である。具体的には、以下のようにおこなう。基本的には、楽曲中の各箇所の再生回数のヒストグラムを作成し、ヒストグラムから多く再生されている箇所を求め、そこをサビ区間であると推定する。ヒストグラムの例を図2(B)及び(C)に示す。まず、最初はまったく記述がない状態で始め、従来のように典型的な再生操作ボタンを使って(早送りボタンを何度も押して途中を飛ばしながら)、試聴者はサビ区間等を手探りで見つけながら聴く。その際に、楽曲全体を非常に短い区間(例えば10 msec)に区切り、その各区間ごとの再生回数をカウントしておく(ヒストグラムを作成する)。通常、サビの先頭が見つかると、サビ全体が再生し終わるまで試聴者は聞くため、これを多数の試聴者がおこなうと、多くの試聴者が興味を持って再生した区間が、ヒストグラム上で長い区間に渡って高頻度な区間(多く再生された区間)として求めることができる。さらに拡張として、再生回数をカウントする際に、ボタン操作をせずに連続して再生した区間の長さに応じた重みを付け、長く再生するほど、大きな値がヒストグラムに加算されるようにする。これにより、サビの探索中は短い区間しか再生されないために小さい値がヒストグラムに加算され、サビが見つかると長い区間を再生されるために大きい値がヒストグラムに加算される。こうして、ヒストグラム中のサビの区間の値をより高くすることができ、より適切にサビの区間が求まる。
【0033】
なお上記の処理は、単独の試聴機で実行するだけでなく、試聴機同士をインターネット等の広域ネットワークで接続し、同一楽曲に対して、世界中の試聴者(ユーザ)がどのように操作して聴いたのかのヒストグラムを集計することもできる。これにより、より多くの試聴者の行動分析結果がヒストグラムに反映され、サビの区間を求める精度が向上する。なお試聴者行動分析手法の場合には、ヒストグラムを視覚化するのが効果的であり、過去の試聴者がどこをよく聴いたのかを視覚的に見ながら操作できる。
【0034】
試聴者行動分析手法の結果を使うには、図2(B)に示すようにヒストグラムのある閾値(図中の横線)以上をサビの区間(典型的な試聴者が関心を持つ区間)として、ヒストグラムの上か下に、明示的に表示すると便利である。このようにして定めた区間を楽曲構造特徴区間として本発明を適用すれば、ユーザは他の手法で求めた楽曲構造特徴区間と同様に、インターフェースによる選択に従って再生位置をジャンプさせることが可能である。あるいは図2(C)に示すように、このような区間に代わる別の表示方法として、ヒストグラムを平滑化してスムーズにした関数を求め、それを時間軸方向に一次微分した関数(導関数)が、ある閾値以上になっている時刻に線分(複数存在する)を表示してもよい。それらの線分は、ヒストグラムが急激に上昇した箇所を表しており、多くの試聴者が聴き始める箇所(典型的な試聴者が関心を持つ区間の開始時刻)を表している。この場合でも、ユーザがインターフェースにより線分を選択することにより、それらの線分の時刻に対応する再生位置をジャンプして再生することが可能である。
【0035】
[第2のステップ及び第3のステップの説明]
次に本実施の形態の方法では、複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択するインターフェースを用意する(第2のステップ)。このインターフェースについては、後に詳しく説明する。そして音楽音響データ再生装置を用いて音楽音響データの再生を開始した後、操作者がインターフェースを用いて任意の楽曲構造特徴区間を選択すると、選択した任意の楽曲構造特徴区間に対応する楽曲構造特徴区間指定データに基いて、音楽音響データ再生装置による音楽音響データの再生位置を任意の楽曲構造特徴区間に変更する(第3のステップ)。この再生位置の変更がいわゆる楽曲構造特徴区間の先頭へのジャンプである。図1の実施の形態では、インターフェースに画像表示部を設けて、楽曲の内容を反映しながら楽曲構造特徴区間を視覚により見えるようにしている。なおこの視覚化も後に詳しく説明する。この実施の形態によれば、具体的には、「サビ区間の頭出し」、「前の楽曲構造の区間(繰り返し区間)の頭出し」、「次の楽曲構造の区間(繰り返し区間)の頭出し」が可能となり、試聴者がサビの部分だけ聴いたり、前後の楽曲構造の先頭へとジャンプして聴いたりすることができるようになる。
【0036】
図3は本発明の方法を実施する本発明の楽曲再生装置の一実施の形態の構成を示すブロック図である。この楽曲再生装置1は、音楽音響データを再生する音楽音響データ再生装置3を備えて楽曲中の複数の楽曲構造特徴区間から選択した任意の楽曲構造特徴区間を再生する機能を備えている。この例では、例えばネットワークを介して送られてきた楽曲構造特徴区間指定データ付の音楽音響データがデータ分離手段5に入力される。データ分離手段5は、楽曲構造特徴区間指定データ付の音楽音響データから音楽音響データと楽曲構造特徴区間指定データとを分離し、音楽音響データについては音楽音響データ格納手段7に格納し、楽曲構造特徴区間指定データについては楽曲構造特徴区間指定データ格納手段9に格納する。制御部11は、音楽音響データ再生装置3と、インターフェース13を内蔵してディスプレイ15を備えた画像表示部17をコントロールする。制御部11の内部には、指定データ付与手段12が含まれている。音楽音響データ再生装置3、制御部11、指定データ付与手段12、インターフェース13及び画像表示部17の主要部はプログラムによって動作可能になる図示しないコンピュータにより実現される。
【0037】
楽曲構造特徴区間指定データ格納手段9は、再生する音楽音響データに対応して予め定められた複数の楽曲構造特徴区間を指定するための楽曲構造特徴区間指定データを格納する。そしてインターフェース13は、後に詳しく説明するように、複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択する機能を有する。また指定データ付与手段12は、インターフェース13によって選択された任意の楽曲構造特徴区間を指定する楽曲構造特徴区間指定データを楽曲構造特徴区間指定データ格納手段9から読み出して音楽音響データ再生装置3に与える。音楽音響データ再生装置3は、インターフェース13からの指令に従って動作し、特に指定データ付与手段12から楽曲構造特徴区間指定データが与えられると、指定データによって指定された楽曲構造特徴区間に再生位置を変更する。この楽曲再生装置1では、楽曲の再生中であっても、インターフェース13によって選択された任意の楽曲構造特徴区間を再生することができる。なお音楽音響データ再生装置3は、楽曲の再生中でなくても、インターフェースによって選択された任意の楽曲構造特徴区間を再生することができるように構成されていてもよいのは勿論である。
【0038】
図4(A)は、音楽音響データから自動的に楽曲中の複数の楽曲構造特徴区間を抽出して楽曲構造特徴区間指定データを作成する特徴区間指定データ生成手段21を備え、またインターフェース13´が独立して存在している本発明の楽曲再生装置1´の変形例を示している。このような特徴区間指定データ生成手段21を備えていれば、既存の楽曲を再生する場合にも本発明を適用することが容易になる。なお特徴区間指定データ生成手段21は、前述の自動サビ区間検出手法を実施できるように構成すればよい。また図4(A)の実施の形態においては、1以上の選択ボタンを備えたインターフェース13´が独立した装置として用意されている。このインターフェース13´では、選択ボタンがいわゆる指で物理的に操作するマニュアルスイッチにより構成されている。なお選択ボタンは、タッチパネル上に画面表示されているものを指やペンでクリックして操作したり、マウスでクリックして操作するタイプのものでもよく、その構造は任意である。
【0039】
また図4(B)に示すように、インターフェース13´を含んだ画像表示部17´を独立した装置として構成してもよいのは勿論である。この例では、音楽音響データと楽曲構造特徴区間指定データのそれぞれを別個にダウンロードしてそのまま音楽音響データ格納手段7と楽曲構造特徴区間指定データ格納手段9に格納するようにしている。
【0040】
前述の図3の実施の形態では、いずれもディスプレイ15上にインターフェース13の操作部及び表示部が表示される構成を有している。インターフェースの動作を制御する手段は、画像表示部17内に内蔵されている。図5(A)は、ディスプレイ15上に表示したインターフェース13の操作部及び表示部の構成の一例を示す図である。この例では、上側のウインドウW1内に、音楽音響データの長さを時間軸を用いた画像表示Aにより表示し、併せて音楽音響データ再生装置3が音楽音響データを再生している音楽音響データの再生位置と複数の楽曲構造特徴区間とを時間軸を用いた画像表示Bにより表示し、下側のウインドウW2内に各種の選択ボタンSW1〜SW10もディスプレイ15上に画像表示Cによって画像表示部17が表示している。
【0041】
下側のウインドウW2には、左側から順に、停止選択ボタンSW1、一時停止選択ボタンSW2、再生選択ボタンSW3、前の曲の頭出し選択ボタンSW4、早戻し選択ボタンSW5、早送り選択ボタンSW6、次の曲の頭出し選択ボタンSW7が並んでおり、これらのボタンの上には慣例的な記号が描かれている。これらの選択ボタンは、既存のインターフェースで用いられているものと同じである。停止選択ボタンSW1の上側には、楽曲の先頭からの経過時間が表示されている。
【0042】
本実施の形態で用いるインターフェースでは、ウインドウW2内にさらに自動ジャンプボタンと呼ばれる3つの選択ボタンSW8〜SW10を備えている。左から順に、「前の楽曲構造の区間の頭出し」用の第1の繰り返し区間選択ボタンSW8、「次の楽曲構造の区間の頭出し」用の第2の繰り返し区間選択ボタンSW9及び「サビ区間の頭出し」用のサビ区間選択ボタンSW10である。
【0043】
サビ区間選択ボタンSW10を押すと、現在の再生位置より後方の(後方になければ最初の)サビ区間を探索し、その開始点にジャンプする。通常、サビは楽曲中で複数回繰り返されるが、このボタンSW10を押す度にそれらの間を順にジャンプできる。他の二つのボタンSW8及びSW9を押すと、現在の再生位置の直後もしくは直前に位置する繰り返し区間の開始点を探索し、その先頭にジャンプする。探索時には、区間の終了点は無視する。
【0044】
次に、上側にウインドウW1(楽曲構造表示ウインドウ)の構成について説明する。最上段にサビ区間の表示バーB1があり、その下に5段の繰り返し区間表示バーB2〜B6が視覚により認識できるように表示されている。この例では、5段の繰り返し区間表示バーを用いているが、表示バーの数は任意であり、この実施の形態に限定されるものではない。サビ区間の表示バーB1の区間を表示する色と同じ色のマークがサビ区間選択ボタンSW10の上に表示しており、また区間表示バーB2〜B6の区間を表示する色と同じ色のマークが二つのボタンSW8及びSW9の上に表示されている。これにより操作者がボタンを選択する際の誤認動作が防止できる。この例は、5種類のメロディが繰り返し演奏されていることを表示している。最下段の細い横棒の表示Aは、楽曲中の経過時間を知らせる再生位置スライダである。またこの例では、6本の表示バーB1乃至B6を横切るように縦表示バーIを設けてある。この縦表示バーIは、再生位置スライダAの表示マークaと同期して変位して、現在の再生位置を表示する。このような表示を用いる場合、各区間を直接クリック(タッチパネル使用時にはタッチ)して音楽音響データを再生したり、再生位置スライダをクリックして再生位置の変更をしたりすることが可能である。以上のインターフェースと機能により、試聴者は、イントロを少し聴いた後に、ボタンを押すだけでサビを試聴することが可能となる。なお、ウインドウW2に「前のサビ区間の頭出し」用の第1のサビ区間選択用ボタンと「次のサビ区間の頭出し」用の第2のサビ区間選択用ボタンの二つを用意してもよい。この実施の形態では、以下の理由から一つのボタンとしている。(1)現状の「サビ区間の頭出し」用のサビ区間選択ボタンSW10を連打すれば、すべてのサビ区間を一巡した後にまた最初の区間に戻るので、短時間で望みの箇所へ移動できる。(2)瞬時に過去のサビ区間へ戻る必要がある場合には、楽曲構造表示ウインドウW1で区間を直接クリックする手段が用意されている。また、楽曲全体の構造を視覚的に把握しながら、様々な箇所を選択的に試聴できる。
【0045】
この例のように、サビ区間や楽曲中の繰り返し区間の構造を視覚化する(いずれか一方でも良い)と、この視覚化された画面から、試聴者は、イントロ、第1の種類のメロディ(Aメロ)、第2の種類のメロディ(Bメロ)、サビ、間奏等の相互の位置関係が把握できる。
【0046】
図5(B)は他のインターフェースの表示態様を示している。図5(B)のインターフェースでは、サビ区間選択ボタンが次のサビ区間にジャンプする場合に用いる第1のサビ区間選択ボタンSW10の他に、前のサビ区間にジャンプさせる第2のサビ区間選択ボタンSW11を備えている。その他の点は、図5(A)のインターフェースと同じである。
【0047】
図6は、上記実施の形態で用いる図5(B)に示したインターフェース13を実現する場合に用いるプログラムのアルゴリズムを示すブロック図である。したがって、インターフェースはサビ区間選択ボタンが次のサビ区間にジャンプする場合に用いる第1のサビ区間選択ボタンとは別に、前のサビ区間にジャンプさせる第2のサビ区間選択ボタンを備えている。
まずステップST1では、サビ区間及び繰り返し区間を表示バーB1乃至B6として視覚化する。次にステップST2で再生位置を縦表示バーIと表示マークaによって表示する。これらの表示が終了すると、ステップST3において、停止選択ボタンSW1、一時停止選択ボタンSW2及び再生選択ボタンSW3のいずれが押されているか(クリックされているか又は選択されているか)の判定が行われる。そして停止選択ボタンSW1が押されていれば、音楽音響データの再生位置をデータの先頭に設定して、再生状態を停止に設定する。また一時停止選択ボタンSW2が押されていれば再生状態を一時停止に設定する。更に再生選択ボタンSW3が押されていれば、再生状態を再生に設定する(なおこのときの再生速度は普通である。)。ステップST4が終了すると、ステップST2へと戻り、縦表示バーIと表示マークaの位置を再生位置に合わせて変更する。いずれの選択ボタンも押されていない場合には、ステップST5へと進む。ステップST5では、早送り選択ボタンSW6または早戻し選択ボタンSW5が押されているか否かの判定が行われる。早送り選択ボタンSW6、早戻し選択ボタンSW5のいずれかが押されている場合には、ステップST6へと進んでボタンが押されている間だけ再生速度を早送りまたは早戻しに変更し、次にステップST7で再生状態を再生に設定する。その結果、再生をしながら早送りまたは早戻しが実行される。なお再生速度の変更に応じた再生位置の変更はステップST2で表示され、縦表示バーIと表示マークaの移動速度も変更される。
【0048】
早送り選択ボタンSW6、早戻し選択ボタンSW5のいずれもが押されていない場合には、ステップST8へと進む。ステップST8では、次のサビ区間の頭出しのために第1及び第2のサビ区間選択ボタンSW10またはSW11が押されたか否かが判断される。第1及び第2のサビ区間選択ボタンSW10またはSW11のいずれかが押されていれば、ステップST9へと進む。ステップST9では、再生位置または再生位置を次のサビ区間の先頭に変位させることを設定する。そしてステップST7を経由してステップST2へと戻り、縦表示バーIと表示マークaのジャンプまたは変位が表示される。ステップST8で選択ボタンSW10またはSW11が押されていないことが確認されると、ステップST10へと進む。ステップST10では、前の繰り返し区間の先頭または後の繰り返し区間の先頭にジャンプするための第1及び第2の繰り返し区間選択用ボタンSW8及びSW9が押されているかが判定される。もし第1及び第2の繰り返し区間選択用ボタンSW8及びSW9のいずれかが押されていれば、ステップST11へと進む。ステップST11では、現在の再生位置又は再生位置から次のまたは前の繰り返し区間の先頭に再生位置を変位させる。そしてステップST7へと進んで再生状態を再生に設定し、ステップST2で再生位置の表示が変更される。ステップST10においては、第1及び第2の繰り返し区間選択用ボタンSW8及びSW9のいずれもが押されていない場合には、ステップST12へと進む。
【0049】
ステップST12は、ディスプレイ15上の各区間表示がそのままで選択ボタンになるようにする場合に設けられる。この場合にも各区間が直接クリック(タッチ)された場合には、そのクリック(タッチ)された区間の先頭に再生位置を変位させる。その後ステップST7へと進んで再生状態を再生に設定し、ステップST2へと進んで再生位置の変更が表示される。
【0050】
ステップST12で選択ボタンがクリックされていない場合には、ステップST14へと進む。ステップST14では、再生位置スライダのマークaをクリック(タッチ)してマークaを移動させる指示操作が行われたか否かが判断される。操作が行われると、ステップST15へと進んでスライダのマークaの移動先に再生位置を設定し、その後ステップST7で再生状態を再生に設定してステップST2へと戻る。
【0051】
図7は、選択ボタンSW1〜SW7を用いて操作する場合のアルゴリズムを示すフローチャートである。図6に示したアルゴリズムに従った動作と図7のアルゴリズムに従った動作とは並行して進行している。選択ボタンSW8〜SW11が押されなければ、図6に従って再生が行われ、その再生の途中で選択ボタンSW8〜SW11等が押されると、図6のアルゴリズムの所定のステップが実行される。
【0052】
なお図6及び図7において、「再生状態」とは、停止、一時停止及び再生の状態を含み、「再生位置」とは楽曲のファイルの先頭からの経過時間であり、「再生速度」には通常の再生速度と、早送りの再生速度と、早戻しの再生速度が含まれる。
【0053】
図8乃至図13を用いてインターフェース13の動作状態を説明する。なお表示バーB1〜B6において、黒色の部分と灰色の部分が、サビ区間及び繰り返し区間の楽曲構造特徴区間を示している。またこれらの図において、押された状態にある選択ボタンには、理解を容易にするためハッチングを付してある。最初、図8(A)〜(C)及び図9(A)〜(C)を用いて、サビ区間の頭出し動作を説明する。図8(A)に示す状態が再生選択ボタンSW3を押して、ある音楽音響データの再生を開始した直後の状態である。この状態では、縦表示バーI及び表示マークaが、再生の最初の位置にある。図8(B)は再生状態を続けている状態を示している。そしてこの状態でサビ区間選択ボタンSW10が1回押されると、図8(C)のようになる。この状態では、後方のサビ区間の表示の先頭に縦表示バーI及び表示マークaはジャンプし、再生位置も最初のサビ区間の先頭に変位する。しばらく再生状態を継続した後再度サビ区間選択ボタンSW10を押すと、図9(A)に示すように、更に2番目のサビ区間の表示の先頭に縦表示バーI及び表示マークaは移動またはジャンプし、再生位置も2番目のサビ区間の先頭に変位する。そして更にサビ区間選択ボタンSW10を押すと、図9(B)に示すように3番目のサビ区間の表示の先頭に縦表示バーI及び表示マークaは移動またはジャンプし、再生位置も3番目のサビ区間の先頭に変位する。さらにサビ区間選択ボタンSW10を押すと、次にサビ区間が存在しないため、図9(C)に示すように、最初のサビ区間の先頭に縦表示バーI及び表示マークaは移動またはジャンプし、再生位置も最初のサビ区間の先頭に変位する。
【0054】
次に図10及び図11を用いて繰り返し区間をジャンプする動作を説明する。図10(A)に示す状態が再生選択ボタンSW3を押して、ある音楽音響データの再生を開始した直後の状態である。この状態では、縦表示バーI及び表示マークaが、再生の最初の位置にある。図10(B)は再生状態を続けている状態を示している。そしてこの状態で第2の繰り返し区間選択ボタンSW9が1回押されると、図10(C)のようになる。この状態では、最も近い後方の繰り返し区間の[表示バーB4の2番目の繰り返し区間]の表示の先頭に縦表示バーI及び表示マークaはジャンプし、再生位置も最も近い後方の繰り返し区間[表示バーB4の2番目の繰り返し区間]の先頭に変位する。しばらく再生状態を継続した後再度第2の繰り返し区間選択ボタンSW9が1回押されると、図11(A)に示すように、この状態で最も近い後方の繰り返し区間の[表示バーB5の1番目の繰り返し区間]の表示の先頭に縦表示バーI及び表示マークaはジャンプし、再生位置も最も近い後方の繰り返し区間[表示バーB5の1番目の繰り返し区間]の先頭に変位する。そして更に第2の繰り返し区間選択ボタンSW9が1回押されると、図11(B)に示すように、この状態で最も近い後方の繰り返し区間の[表示バーB5の2番目の繰り返し区間]の表示の先頭に縦表示バーI及び表示マークaはジャンプし、再生位置も最も近い後方の繰り返し区間[表示バーB5の2番目の繰り返し区間]の先頭に変位する。
【0055】
次に図12及び図13を用いて繰り返し区間を前方にジャンプする動作を説明する。図12(A)に示す状態が再生選択ボタンSW3を押して、ある音楽音響データの再生を開始した直後の状態である。この状態では、縦表示バーI及び表示マークaが、再生の最初の位置にある。図12(B)は再生状態を続けている状態を示している。そしてこの状態で第1の繰り返し区間選択ボタンSW8が1回押されると、図12(C)のようになる。この状態では、最も近い前方の繰り返し区間の[表示バーB4の1番目の繰り返し区間]の表示の先頭に縦表示バーI及び表示マークaはジャンプし、再生位置も最も近い前方の繰り返し区間[表示バーB4の1番目の繰り返し区間]の先頭に変位する。この状態で再度第1の繰り返し区間選択ボタンSW8が1回押されると、図13に示すように、この状態で最も近い前方の繰り返し区間[表示バーB6の1番目の繰り返し区間]の表示の先頭に縦表示バーI及び表示マークaはジャンプし、再生位置も最も近い前方の繰り返し区間[表示バーB6の1番目の繰り返し区間]の先頭に変位する。
【0056】
このようにして選択ボタンSW8〜SW10を任意に選択することにより、インターフェース13によって選択された任意の楽曲構造特徴区間を再生することができる。
【0057】
図14に発明者が実際に作成したインターフェースの画面の一例を示す。
【0058】
次に本発明をより具体的に実施した実機とその結果について説明する。
【0059】
実機のインターフェースは、サビ区間検出手法を用いて得たサビ区間と繰り返し構造の記述を含むファイルを利用する形で動作する。
【0060】
実機のGUI部分、音楽音響再生装置のエンジン部分、音響出力デバイス制御部分は、拡張性が高くなるように、分散環境で動作する別々のプロセスとして実装した。そのために、音響信号や各種制御情報をネットワーク上で効率よく共有することを可能にするネットワークプロトコルRACP(Remote Audio Control Protocol)を設計し、それに基づいて実装した。RACPは、RMCP(遠隔音楽制御用プロトコル)を音響信号の伝送用に拡張したプロトコルである。
【0061】
実機を、二つの提案機能(ジャンプのための選択ボタンSW8〜SW10と楽曲構造表示)の有無に応じて、四つの条件で運用した。試聴対象には、「RWC研究用音楽データベース: ポピュラー音楽」の100曲(RWC−MDB−P−2001 No.1〜100)の中から、試聴者が初めて聴く楽曲を選んだ。ただし、自動サビ区間検出手法によって正しく得られた楽曲構造特徴区間指定データを用いた(自動サビ区間検出手法による100曲中の正答曲数は、80曲であった)。参考までに、これら100曲に対して、開発した手動サビ区間ラベリング用エディタを用いて人間(音楽大学卒業生)が手作業でラベリングするのに、事前にビートや小節の区切りをラベリングしてあるところから始めて、約100時間を要した。以下、四つの条件とその運用結果を述べる。ここでは、条件間の比較のために、視覚化された楽曲構造上の区間を直接クリックして再生する機能は用いていない。
【0062】
[条件1] 提案機能が一切ない(従来に相当)。
【0063】
試聴者は、曲の頭の部分がサビでない場合、少し聴いては早送り選択ボタンを押すという動作を、サビが出てくるまで5〜10回程度繰り返した。少しずつ聴きながら早送りすることは、時間がかかって煩わしいものの、楽曲の雰囲気をつかみたいときには有効であった。
【0064】
[条件2] 選択ボタンSW8〜SW10はないが、楽曲構造表示はある。
【0065】
どこまで再生位置を早送りすればよいかのフィードバックが得られる点が効果的であり、試聴者は条件1よりも便利だと評価した。ただし、画面表示によって現在の再生位置よりも先が見えているだけに、そこまで飛ばしたいという欲求が強くおきる傾向があった。
【0066】
[条件3] 選択ボタンSW8〜SW10はあるが、楽曲構造表示がない。
【0067】
最初にイントロを聴いた後に、直接サビ区間選択ボタンSW10を押す聴き方と、「次の楽曲構造の区間の頭出し」に用いる第2の繰り返し区間選択ボタンSW9を押しては少し聴くという操作を繰り返し、サビが出てきたらそこをじっくり聴くという聴き方が主だった。効率よく飛ばしながら聴ける点が評価され、条件2より好まれていた。
【0068】
[条件4] 提案機能がすべて有効である(実施の形態に相当)。
【0069】
条件2、条件3の利点が共に得られる試聴方法であり、最も便利だと評価された。条件3のような聴き方に加え、楽曲構造上を自在に行き来しながら聴く傾向が強くなり、サビを聴いた後に、第1の種類のメロディ(Aメロ)に戻って聴いたり、楽曲の後半のサビの繰り返しへ飛んで聴いたりしていた。
【0070】
条件3は、通常のメディアプレーヤに三つの選択ボタンSW8〜SW10を追加した場合に相当し、楽曲構造表示がなくても通常のプレーヤより便利であることがわかった。また条件4から、視覚化はさらにその操作を助け、楽曲の様々な箇所を聴く上で有効であることがわかった。さらに、ボタンの機能や表示ウインドウの中身に関して一切説明を受けていない試聴者が、条件4で利用した場合でも、短時間の使用でこれらの意味を把握することが確認された。
【0071】
以上から、インターフェースが実用的に機能し、試聴者は、楽曲構造表示の助けを得ながらジャンプ用の選択ボタンSW8〜SW10を押して、インタラクティブに楽曲再生に介入できることを確認した。
【0072】
上記実施の形態は、インターフェースの操作部をディスプレイ上に形成するものであるが、アナログスイッチ等の実際のスイッチを用いてインターフェースを構成してもよいのは勿論である。
【0073】
また上記実施の形態は、いわゆるパーソナルコンピュータにプログラムをインストールすることにより実現される。しかしながら例えば、いわゆる、ラジオカセット、CDプレーヤ、DVDプレーヤ等の各種の音楽音響再生器においても本発明を適用できるのは勿論である。
【0074】
本実施の形態で用いるインターフェースは、一般的な音楽再生インターフェースとして有用であり、従来の楽曲単位での操作体系に対し、楽曲内部の区間単位での操作体系が追加されたものである。従来は楽曲単位で興味のない曲を飛ばせたが、楽曲内部の興味のない箇所を飛ばすのは容易でなかった。本発明のインターフェースにより、原曲の時系列に沿わずに、「好きなところを聴きたいように聴ける」ようになったメリットは大きい。なお、楽曲単位でのランダムプレイ(シャッフルプレイ)機能が可能なように、区間単位でのランダムプレイ機能も実現可能である。また試聴よりも長時間の利用が許される場面で、楽曲構造を見ながら音楽再生位置をインタラクティブに変更して聴くときには、従来の鑑賞に比べてより分析的に聴く傾向がある。例えば、楽曲全体がどのような構造になっているかを確かめ、構成上の各区間を聴いたり、繰り返される区間同士の比較をしたりする場面がみられる。また、楽曲構造の視覚化結果は、それを眺めながら音楽を聴くだけでも面白く有用である。
【0075】
さらに楽曲中の繰り返し区間の先頭へ再生位置をジャンプするだけでなく、繰り返されない区間(間奏・ギターソロ等)にもラベリングしておけば、それらの先頭へも再生位置をジャンプできる。
【0076】
【発明の効果】
本発明によれば、インターフェースによる選択により簡単にサビ区間等の楽曲構造特徴区間を音楽音響データ再生装置を用いて再生することができる利点が得られる。
【0077】
また本発明を用いれば、「サビ出し」機能(サビ区間選択ボタン)を搭載した音楽試聴機を得ることができる。試聴者はこのサビ区間選択ボタンを押すだけで、サビ区間の先頭へ再生をジャンプさせる(瞬時に早送りする)ことができ、自分でサビ区間を探す煩わしい作業から解放される利点がある。さらに、サビ以外の楽曲中の繰り返し区間も事前に推定あるいは用意しておくことで、次の楽曲構造の繰り返し区間の先頭へも再生をジャンプさせることができる利点が得られる。
【図面の簡単な説明】
【図1】本発明の楽曲再生方法の実施の形態の概念を示すブロック図である。
【図2】(A)は、手動サビ区間ラベリング用エディタの画面の表示であり、(B)及び(C)は試聴者行動分析手法で得られたヒストグラムの例を示す図である。
【図3】本発明の楽曲再生装置の一実施の形態の構成を示すブロック図である。
【図4】(A)はそれぞれ音楽音響データから自動的に楽曲中の複数の楽曲構造特徴区間を抽出して楽曲構造特徴区間指定データを作成する特徴区間指定データ生成手段を備えた本発明の楽曲再生装置の変形例を示すブロック図であり、(B)は他の変形例を示すブロック図である。
【図5】インターフェースの表示画面の一例を示す図である。
【図6】インターフェースを実現する場合に用いるプログラムのアルゴリズムを示すフローチャートである。
【図7】通常の再生動作を行う際のインターフェースの動作のアルゴリズムを示すフローチャートである。
【図8】(A)〜(C)はサビ区間の選択を説明するために用いる図である。
【図9】(A)〜(C)はサビ区間の選択を説明するために用いる図である。
【図10】(A)〜(C)は繰り返し区間の選択を説明するために用いる図である。
【図11】(A)及び(B)は繰り返し区間の選択を説明するために用いる図である。
【図12】(A)〜(C)は繰り返し区間の選択を説明するために用いる図である。
【図13】繰り返し区間の選択を説明するために用いる図である。
【図14】実際に作成したインターフェースの画面を示す図である。
【符号の説明】
1 楽曲再生装置
3 音楽音響データ再生装置
5 データ分離手段
7 音楽音響データ格納手段
9 楽曲構造特徴区間指定データ格納手段
1 1 制御部
13 インターフェース
15 ディスプレイ
17 画像表示部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method and an apparatus for selectively reproducing feature sections such as rust sections in music.
It is about.
[0002]
[Prior art]
Conventionally, in the research field of music information processing, there have been many studies on music search and music understanding, but no research focusing on listening to music has been done. At present, when “listening” music recorded on a compact disc (CD) or the like at a record store, a previewer often selects only the part he / she wants to listen to while listening to it. This is because the main purpose of the audition is to determine in a short time whether or not it is the music that he / she was looking for and the favorite music. For example, in the case of popular music, etc., there are sections characterized by the structure of the music, such as the chorus (refrain) section, which is the most prominent theme part of the music, and the melody section that is repeatedly played. It is often judged by auditioning (hereinafter referred to as a music structure feature section). Therefore, the listener listens to the intro for a while and then searches for a music structure feature section such as a chorus section or a repeat section, and presses the fast-forward button repeatedly to skip the middle and play the music structure feature section. To do.
[0003]
As for the technology for detecting the chorus section in the music, the inventor of the present application entitled “Real-time music scene description system: chorus section detection method”, “Information Processing Society of Japan Music Information Science Research Report” (non- (Patent Document 1) 2002-MUS-47-6 (Vol. 2002, No. 100, pp. 27-34).
[0004]
[Non-Patent Document 1]
"Information Processing Society of Japan Music Information Science Research Report"
2002-MUS-47-6 (Vol. 2002, No. 100, pp. 27-34)
[0005]
[Problems to be solved by the invention]
However, conventional music CD listening machines have no function to support such listening-specific listening methods. The listening device has playback operation buttons equivalent to those of a normal CD player, but only the fast forward and fast reverse buttons can be used to search for rust. On the other hand, digital listening devices that have recently begun to be introduced into CD stores can play back from a hard disk or a network from hundreds of thousands of songs stored in a compressed format such as MP3. However, since only the short section (usually 45 seconds) at the beginning of the music is recorded by being cut out mechanically, the listener cannot always listen to the music structure feature. In recent years, although the number of songs with a music structure that starts with chorus has increased in Japanese popular music, the inventor's survey found that Japanese popular music hit charts (single top in the weekly rankings from January to December 2001) 20 songs), only about 20% of songs started rusting within 40 seconds after the music started.
[0006]
An object of the present invention is to provide a music playback method and apparatus capable of easily playing back a music structure feature section using a music acoustic data playback apparatus by selection using an interface, and an interface and program used for the apparatus. is there.
[0007]
Another object of the present invention is to provide a music playback method and apparatus capable of changing the playback position by a music acoustic data playback device to an arbitrary music structure feature section by selection using an interface during playback of acoustic music data, and the device. It is to provide an interface and a program used in the apparatus.
Another object of the present invention is to provide a music reproducing method and apparatus capable of easily reproducing a chorus section in a music using a music acoustic data reproducing apparatus, and an interface used for the apparatus.
[0008]
Another object of the present invention is to provide a music reproducing method capable of reliably specifying a chorus section in a music.
[0009]
Another object of the present invention is to provide a music playback method and apparatus capable of visually confirming the distribution status of music structure feature sections and the playback status of music acoustic data, and an interface used in the apparatus.
[0010]
Another object of the present invention is to provide a music reproducing method and apparatus capable of visually distinguishing the presence status of a rusting section and a repeated section, and an interface used for the apparatus.
[0011]
Another object of the present invention is to provide a music playback method and apparatus that can selectively play back a music structure feature section by an operator operating a selection button, and an interface used in the apparatus.
[0012]
Another object of the present invention is to provide a music structure feature section extraction method that can easily extract music structure feature sections from statistical data.
[0013]
[Means for Solving the Problems]
The music reproducing method of the present invention for reproducing music acoustic data using a music acoustic data reproducing apparatus for reproducing music acoustic data performs the first to third steps. Here, the music sound data includes various reproducible sound data such as an analog sound signal, a digital sound signal, MIDI data (standard MIDI file), and may be either compressed or uncompressed. In the case of compressed data, the format of the compression format is arbitrary. In addition, “a plurality of music structure feature sections” to be described later includes the above-described chorus sections and / or repeating sections. Of course, only the chorus section or the repeated section may be a plurality of music structure feature sections.
[0014]
In the first step, a plurality of music structure feature section designation data for designating a plurality of music structure feature sections is prepared in advance for music acoustic data to be reproduced. The plurality of music structure feature section designation data is data relating to the start position and end position of the music structure feature section. For example, the start position and end position of the music structure feature section are expressed as position data in the target music acoustic data, or position data expressed by the time required to reach that position after actually starting the performance. be able to. The plurality of music structure feature section designation data may be combined with music acoustic data, that is, set, but may exist as data different from music acoustic data. In this way, a person who has already obtained music acoustic data can later obtain music structure feature section designation data corresponding to the music via a network or the like. If multiple music structure feature section designation data is combined with music acoustic data, when music acoustic data is downloaded, a plurality of music structure feature section designation data is inevitably downloaded, and the correspondence between the two data This is convenient because there is no need to consider it.
[0015]
A method for extracting a plurality of music structure feature sections is arbitrary. For example, the rust section detection method described in Non-Patent Document 1 previously announced by the inventor may be used. Further, a plurality of music structure feature sections may be specified (labeled) by a person while reproducing music acoustic data, or a plurality of music structure feature sections may be specified using a dedicated labeling editor. In addition, a plurality of music structure feature sections are specified based on statistical data of reproduction behavior when a plurality of listeners play the target music acoustic data, and a plurality of music structure feature sections are specified for specifying the plurality of specified music structure feature sections. Music structure feature section designation data may be created. In this case, for example, a section with a large number of trials or playbacks by a plurality of listeners (a section larger than a predetermined number) can be specified as the music structure feature section. In this case, data of a section where the number of reproductions by a plurality of test listeners is large may be collected from a plurality of music playback devices for test listening connected to the network. In this way, a large amount of data can be obtained easily. The obtained data may be visually recognized as a histogram, and a plurality of music structure feature sections may be specified from the histogram. This facilitates the identification of the music structure feature section from the statistical data. Based on the trial listening of such a person, the music structure characteristic part can be easily extracted from the music whose detection of the part called rust is difficult from the music structure.
[0016]
In the second step, an interface for selecting an arbitrary music structure feature section from a plurality of music structure feature sections is prepared. This interface relates the operator and the device, and it is sufficient to include at least a portion that is selected and operated by the operator and a function that transmits a selection result. Therefore, the simplest interface can be constituted by a selection button comprising an analog or digital switch. When an interface is configured with only selection buttons, the selection buttons are operated while listening to music to be played. With only the selection button, it is not possible to know how many music structure feature sections exist in which part of the music acoustic data. Therefore, there is a possibility of operating the selection button more than necessary. In addition, when there are a plurality of types of music structure feature sections, it is not possible to intentionally listen to the same type of music structure feature sections using only the selection button.
[0017]
Therefore, in order to solve such a problem, as the interface prepared in the second step, the length of the music sound data is displayed by image display using a time axis, and the music sound data reproducing apparatus is also connected to the music sound data. What is necessary is just to use what has an image display part which displays the reproduction | regeneration position of the music acoustic data which is reproducing | regenerating data, and several music structure characteristic area by the image display using a time axis. By using such an interface, it is possible to visually recognize the positional relationship or temporal relationship between the current playback position and the plurality of music structure feature sections by viewing the display on the image display unit. Accordingly, it is possible to arbitrarily select a music structure feature section at an arbitrary location while viewing the display on the image display unit. If the performance time of the music is long, the display for the entire performance time may not be displayed on one screen. In such a case, it is of course possible to display a display corresponding to a part of the performance time on the screen and change the screen in a scrolling manner with the passage of time.
[0018]
In the case where an image display unit is provided in the interface, when the plurality of music structure feature sections are composed of a plurality of chorus sections indicating the chorus part of the music and a plurality of repeat sections indicating the repetitive part, It is preferable to distinguish and display the rust section and the plurality of repeated sections. In this way, it becomes easy to arbitrarily select the chorus section and the repeated section while viewing the image display.
[0019]
The interface also has one or more selection buttons operated by the operator to select an arbitrary music structure feature section from a plurality of music structure feature sections. As this selection button, an analog type selection button operated by a person's finger, a type selection button (image display button) for determining on / off by clicking the display of the button displayed on the display screen with a human finger or cursor ) And various selection buttons such as a selection button of a type for determining selection by voice recognition. In particular, it is preferable that one or more chorus section selection buttons for selecting only the chorus section from the plurality of music structure feature sections are arranged on the interface on the one or more selection buttons. When such a dedicated selection button is arranged, even a person who does not have special knowledge can easily perform the reproduction of the chorus section, so that versatility is very high. Further, it is preferable that the one or more chorus section selection buttons include a first chorus section selection button for selecting a previous chorus section and a second chorus section selection button for selecting a subsequent chorus section. This not only increases the degree of freedom of selection, but also makes it possible to reproduce the chorus section repeatedly. The one or more selection buttons include a first repetition section selection button for selecting a previous repetition section and a second repetition section selection button for selecting a subsequent repetition section when selecting a plurality of repetition sections. May be. In this case as well, the degree of freedom of selection is increased, and it is possible to repeatedly reproduce the repeated section.
[0020]
In the third step, after the reproduction of the music acoustic data is started by using the music acoustic data reproducing apparatus, the music structure feature section designation data corresponding to an arbitrary music structure feature section selected by the operator using the interface is used. Then, the playback position of the music sound data by the music sound data playback device is changed to an arbitrary music structure feature section. That is, even during the performance, when a command for changing the playback position is input from the interface to a specific music structure feature section, the playback position is changed based on the command.
[0021]
Of course, only when an arbitrary music structure feature section is selected on the interface, the selected section may be reproduced. In that case, in the third step, the arbitrary music structure feature is stored in the music acoustic data playback device based on the music structure feature section designation data corresponding to the arbitrary music structure feature section selected by the operator using the interface. What is necessary is just to make it reproduce | regenerate an area.
[0022]
A music playback device for carrying out the method of the present invention has a music acoustic data playback device for playing back music acoustic data, and plays back an arbitrary music structure feature section selected from a plurality of song structure feature sections in the song It has a function to do. The music reproducing apparatus of the present invention further includes an interface, a music structure feature section designation data storage means, and designation data provision means. The interface has a function of selecting an arbitrary music structure feature section from a plurality of music structure feature sections. The music structure feature section designation data storage means stores music structure feature section designation data for designating a plurality of music structure feature sections predetermined in correspondence with the music acoustic data to be reproduced. Then, the designation data giving means gives music structure feature section designation data for designating an arbitrary music structure feature section selected by the interface to the music sound data reproducing apparatus. The music acoustic data reproducing apparatus is configured to change the reproduction position to the music structure feature section designated by the music structure feature section designation data given from the designation data giving means. In the apparatus of the present invention, an arbitrary music structure feature section selected by the interface can be reproduced even during the reproduction of the music. Even if the music is not being played back, any music structure feature section selected by the interface can be played back. If the music structure feature section designation data is attached to the music acoustic data, the music structure feature section designation data storage means may read and store the music structure feature section designation data attached to the music acoustic data.
[0023]
Further, it may further comprise a feature section designation data generating means for automatically extracting a plurality of music structure feature sections in the music from the music acoustic data and creating music structure feature section designation data. If such a means is provided, the present invention can be easily applied even when an existing music piece is reproduced.
[0024]
It should be noted that the present invention uses a device comprising a computer, a display that operates based on a command from the computer, and a music / acoustic data playback device that plays back music / acoustic data according to a command from the computer. It can also be specified as a program for causing the computer to realize a function of reproducing an arbitrary music structure feature section selected from the plurality of music structure feature sections. The program includes a function for configuring an interface for selecting an arbitrary music structure feature section from a plurality of music structure feature sections on the display, and the plurality of music structures predetermined corresponding to the music acoustic data to be reproduced. A function constituting music structure feature section designation data storage means for storing music structure feature section designation data for designating a feature section, and the music structure feature for designating the arbitrary music structure feature section selected by the interface A function that constitutes a designation data giving means for giving section designation data to the music sound data reproducing device, and the music structure feature section designated by the music structure feature section designation data given from the designation data giving means is reproduced. And a function of giving a command to the music sound data reproducing device. And a configuration to realize the data.
[0025]
The function of configuring the interface on the display forms one or more selection buttons including a chorus section selection button operated by the operator in order to select chorus sections included in a plurality of music structure feature sections. It preferably has a function.
[0026]
By using the present invention, it is possible to obtain a music sampler equipped with a “rusting out” function (rusting section selection button). By simply pressing the chorus section selection button, the test listener can jump the playback to the beginning of the chorus section (fast forward), and is freed from the troublesome work of searching for the chorus section. Furthermore, reproduction can be jumped to the beginning of the repeat section of the next music structure by estimating or preparing the repeat section in the music other than the chorus in advance.
[0027]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an example of an embodiment of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing the concept of the embodiment of the music reproducing method of the present invention. In these embodiments, the music playback position is automatically jumped to the head of a section having a meaning in the music structure (a chorus section and a repeated section). Basically, the music structure of music sound data such as music sound signals and standard MIDI files is analyzed in advance, and the part of interest (user part) is repeatedly played in that part. Part), that is, a function capable of automatically jumping to a music structure feature section. The music acoustic data may be prepared on a music player such as a local electronic computer (server) or a CD player, or may be downloaded from a network.
[0028]
[Explanation of the first step]
Specifically, a plurality of music structure feature section designation data for designating a music structure feature section in the music is prepared in advance for the music acoustic data to be reproduced (first step). Most simply, a plurality of music structure feature section specification data for specifying a plurality of music structure feature sections based on a result of specifying a plurality of music structure feature sections while reproducing music acoustic data. Create Since this work is a manual work, it takes time, but actually humans (for example, not only ordinary people but also experts and music producers who have a deep understanding of music) judge music structure feature sections. In order to specify, for example, it is possible to obtain necessary music structure characteristic section designation data even for a music whose chorus section is difficult to understand. In the present embodiment, position data that represents the start position and end position of each of the plurality of music structure feature sections as the time required to actually reach the position after the performance is started.Or position data in music sound dataIt expresses as In this embodiment, a plurality of music structure feature section designation data is combined with music acoustic data to form one set.
[0029]
In the embodiment of FIG. 1, the music structure feature section is specified by using any one of the automatic chorus section detection method, the manual chorus section labeling method, and the tester behavior analysis method. Each method will be described below.
[0030]
[Automatic rust detection method]
In this method, a list of start points and end points of a chorus section or a repeated section in a music is automatically detected. This method can be applied to a large number of music because it does not require manual labor. In the automatic detection, an error may be included in the detection result. However, in practice, it is more convenient than a conventional listening device because the listener can find the playback position even if the accuracy is not perfect. The technique for this purpose is, for example, entitled “Chain section detection method in music acoustic signal” (Masataka Goto / Japanese Patent Application No. 2002-309519) or “Real-time music scene description system: Chorus section detection method”. It is described in a paper published by the inventor in 2002-MUS-47-6 (Vol. 2002, No. 100, pp. 27-34) of "Study Report of the Society for Music Information Science" (Non-Patent Document 1). Specifically, a technique for automatically detecting a list of start points and end points of a chorus section or a repeated section in a music piece in this method can be used. Prior to the above method, there was a method that always cuts and shows a certain part of the rust that appears many times in the sound signal of the music, but the start and end of the rust section I didn't know the point and couldn't handle the chorus modulation. The technique described in the paper published by this inventor is to comprehensively detect all the chorus sections that are repeated in the music by examining the interrelationships between various repeat sections, and the starting point and ending point thereof. Can be estimated. In addition, by introducing a similarity that can be determined to be repeated even after modulation, it is possible to detect a chorus section with modulation.
[0031]
[Manual chorus section labeling method]
On an editor capable of labeling rust and music structure, a human specifies it manually while listening to music. High accuracy but labor and time. This manual labeling is also effective for music and music genres that are difficult to detect automatically. It is also possible to manually correct the result on the editor using the result of automatic rust section detection. As an editor for this, the inventor can divide music and label rust, first melody (A melody), second melody (B melody), intro, interlude, ending, etc. for music structure labeling Developed an editor. The editor screen is shown in FIG. The horizontal axis shown in the upper half of this figure represents the entire music on the time axis (sec). The top mini-window is the power change, the second mini-window is the labeling result of each part of the music, the top row of the third mini-window is the list of rust sections, and the bottom 5 rows represent the repetitive structure. The lower half displays the enlarged labeling result of each part of the music while turning back the time axis of the whole music. On this editor, the user edits information on the position of the cursor represented by a vertical bar display. The playback / stop of the music can be freely controlled, and the cursor indicates the playback position of the music. The user can move the cursor freely, repeatedly hear the sound before and after the cursor, and put a break of each part of the music at an appropriate location. Then, the section between the breaks is labeled. In addition, this editor has an efficient work environment, such as having a function to quickly perform labeling work by labeling beats and bar breaks in advance and moving the cursor in beats and bars on the editor. Is provided. As an editing result on the editor, a list of the start point and end point of the chorus section and the repeat section in the music can be obtained.
[0032]
[Analyzer Analysis Method]
In this method, a part that has been listened to by a large number of past listeners is recorded, and an interval in which many listeners have listened is analyzed. The section thus obtained is estimated on the assumption that it is a chorus section (section in which the listener is interested). In addition to popular music, a section that has been frequently listened to is often a section that a typical listener wants to listen to, which is effective for a wide variety of music genres. Until this method is used repeatedly, this method can provide only functions that are not much different from those of conventional listening devices, but has the advantage of not requiring music content analysis or labeling in advance. It is also possible to combine with the above two methods. Specifically, this is done as follows. Basically, a histogram of the number of times of reproduction of each part in the music is created, and a part that is often reproduced is obtained from the histogram, and it is estimated that it is a chorus section. Examples of histograms are shown in FIGS. First, start with no description at all, and then use the typical playback operation buttons as before (press the fast-forward button many times to skip the middle), and the listener will search for the chorus section etc. listen. At that time, the entire music is divided into very short sections (for example, 10 msec), and the number of reproductions for each section is counted (a histogram is created). Normally, when the head of a chorus is found, the listener listens until the entire chorus has finished playing. If many listeners do this, the section that many listeners played with interest is long on the histogram. It can be obtained as a high-frequency section (a section that has been reproduced a lot) over the section. As an extension, when the number of playbacks is counted, a weight is added according to the length of a section that is continuously played back without button operation, and a larger value is added to the histogram as playback is longer. . As a result, only a short section is reproduced during the search for chorus, so that a small value is added to the histogram, and when a chorus is found, a large value is added to the histogram to reproduce a long section. In this way, the value of the chorus section in the histogram can be increased, and the chorus section can be obtained more appropriately.
[0033]
Note that the above process is not only executed by a single listening device, but also by connecting the listening devices to a wide area network such as the Internet, and how the listeners (users) around the world operate the same music. You can also add a histogram of what you listened to. As a result, the behavior analysis results of more listeners are reflected in the histogram, and the accuracy of obtaining the chorus section is improved. In the case of the tester behavior analysis method, it is effective to visualize the histogram, and it is possible to operate while visually observing where the previous tester listened well.
[0034]
To use the result of the listener behavior analysis method, a threshold having a histogram as shown in FIG.(Horizontal line in the figure)It is convenient to explicitly display the above as a chorus section (section in which a typical listener is interested) explicitly above or below the histogram. If the present invention is applied to the section defined in this way as a music structure feature section, the user can jump the playback position according to the selection by the interface in the same manner as the music structure feature section obtained by other methods. . Alternatively, as shown in FIG. 2C, as another display method instead of such a section, a smoothed function is obtained by smoothing the histogram, and a function (derivative) obtained by first-order differentiation in the time axis direction is obtained. Alternatively, a line segment (a plurality of lines) may be displayed at a time when the threshold is exceeded. These line segments represent points where the histogram has suddenly increased, and represent points where many listeners begin to listen (the start times of sections in which typical listeners are interested). Even in this case, when the user selects line segments through the interface, the reproduction position corresponding to the time of the line segments can be jumped and reproduced.
[0035]
[Explanation of the second step and the third step]
Next, in the method of the present embodiment, an interface for selecting an arbitrary music structure feature section from a plurality of music structure feature sections is prepared (second step). This interface will be described in detail later. Then, after starting the reproduction of the music acoustic data using the music acoustic data playback device, when the operator selects an arbitrary music structure feature section using the interface, the music structure feature corresponding to the selected arbitrary music structure feature section Based on the section designation data, the music acoustic data playback position by the music acoustic data playback device is changed to an arbitrary music structure feature section (third step). This change in the playback position is a jump to the head of a so-called music structure feature section. In the embodiment of FIG. 1, an image display unit is provided in the interface so that the music structure feature section can be seen visually while reflecting the contents of the music. This visualization will be described in detail later. Specifically, according to this embodiment, “Cueing of rust section”, “Cueing of previous music structure section (repeated section)”, “Head of next music structure section (repeated section)” , "Listen" is possible, and the listener can listen to only the chorus part or jump to the head of the previous and next music structure and listen to it.
[0036]
FIG. 3 is a block diagram showing the configuration of an embodiment of the music reproducing apparatus of the present invention for carrying out the method of the present invention. The music reproducing device 1 includes a music acoustic
[0037]
The music structure feature section designation data storage means 9 stores music structure feature section designation data for designating a plurality of music structure feature sections predetermined in correspondence with the music acoustic data to be reproduced. The
[0038]
FIG. 4A includes a feature section designation data generation means 21 that automatically extracts a plurality of song structure feature sections in a song from music acoustic data and creates song structure feature section designation data, and includes an
[0039]
Further, as shown in FIG. 4B, the
[0040]
In the embodiment of FIG. 3 described above, the operation unit and the display unit of the
[0041]
In the lower window W2, in order from the left side, a stop selection button SW1, a pause selection button SW2, a playback selection button SW3, and the head of the previous song are displayed.ShiA selection button SW4, a fast-reverse selection button SW5, a fast-forward selection button SW6, and a next song cue selection button SW7 are arranged side by side. Conventional symbols are drawn on these buttons. These selection buttons are the same as those used in the existing interface. The elapsed time from the beginning of the music is displayed above the stop selection button SW1.
[0042]
The interface used in the present embodiment further includes three selection buttons SW8 to SW10 called automatic jump buttons in the window W2. In order from the left, the first repeat section selection button SW8 for “finding the section of the previous music structure”, the second repeat section selection button SW9 for “finding the section of the next music structure”, and “rust” This is the chorus section selection button SW10 for “section heading”.
[0043]
When the chorus section selection button SW10 is pressed, a chorus section behind the current playback position (or the first chorus section if not behind) is searched and jumped to the start point. Normally, rust is repeated a plurality of times in the music, but each time this button SW10 is pressed, it is possible to jump between them in order. When the other two buttons SW8 and SW9 are pressed, the start point of the repeated section located immediately after or immediately before the current reproduction position is searched and jumped to the head thereof. When searching, the end point of the section is ignored.
[0044]
Next, the configuration of the window W1 (music structure display window) on the upper side will be described. There is a rust section display bar B1 at the top, and below it, five repeated section display bars B2 to B6 are displayed so that they can be visually recognized. In this example, a 5-stage repeated section display bar is used, but the number of display bars is arbitrary and is not limited to this embodiment. A mark of the same color as the color for displaying the section of the chorus section display bar B1 is displayed on the chorus section selection button SW10, and a mark of the same color as the color for displaying the sections of the section display bars B2 to B6 is displayed. It is displayed on the two buttons SW8 and SW9. As a result, an erroneous operation when the operator selects a button can be prevented. This example displays that five types of melody are being played repeatedly. The display A of the thin horizontal bar at the bottom is a playback position slider that informs the elapsed time in the music. In this example, the six display bars B1 to B6 are crossed.A vertical display bar I is provided. This vertical display bar IIs displaced in synchronization with the display mark a of the playback position slider A to display the current playback position. When such a display is used, music acoustic data can be reproduced by directly clicking each section (touching when using the touch panel), or the reproduction position can be changed by clicking the reproduction position slider. With the above interface and functions, the listener can listen to the chorus just by pressing a button after listening to the intro a little. The window W2 has two buttons, a first rust section selection button for “finding the previous rust section” and a second rust section selection button for “finding the next rust section”. May be. In this embodiment, one button is used for the following reason. (1) If the current chorus section selection button SW10 for “finding the chorus section” is repeatedly hit, after all the chorus sections have been made, the first section is returned to the first section, so that it is possible to move to the desired location in a short time. (2) When it is necessary to return to the past chorus section instantaneously, means for directly clicking the section in the music structure display window W1 is prepared. In addition, various parts can be selectively listened to while visually grasping the entire structure of the music piece.
[0045]
As shown in this example, when the structure of the chorus section or the repeated section in the music is visualized (whichever is acceptable), the listener can intro, the first type of melody (from the visualized screen) (A melody), the second kind of melody (B melody), rust, interlude, etc. can be grasped.
[0046]
FIG. 5B shows another interface display mode. In the interface shown in FIG. 5B, in addition to the first chorus section selection button SW10 used when the chorus section selection button jumps to the next chorus section, the second chorus section selection button for jumping to the previous chorus section. SW11 is provided. The other points are the same as the interface of FIG.
[0047]
FIG. 6 is used in the above embodiment.As shown in FIG.It is a block diagram which shows the algorithm of the program used when implement | achieving the interface 13.The So the interface isIn addition to the first chorus section selection button used when the chorus section selection button jumps to the next chorus section, a second chorus section selection button for jumping to the previous chorus section is provided.The
First, in step ST1, the rust section and the repeated section are visualized as display bars B1 to B6. In step ST2, the reproduction position is displayed by the vertical display bar I and the display mark a. When these displays are finished, in step ST3, stop selection button SW1, pause selection button SW2 andRegenerationIt is determined which one of the selection buttons SW3 is pressed (clicked or selected). If the stop selection button SW1 is pressed, the playback position of the music sound data is set to the head of the data, and the playback state is set to stop. If the pause selection button SW2 is pressed, playback is performed.StatusSet to pause. If the reproduction selection button SW3 is further pressed, the reproduction state is set to reproduction (the reproduction speed at this time is normal). When step ST4 ends, the process returns to step ST2, and the positions of the vertical display bar I and the display mark a are changed according to the reproduction position. If no selection button is pressed, the process proceeds to step ST5. In step ST5, it is determined whether or not the fast forward selection button SW6 or the fast reverse selection button SW5 is pressed. If either the fast-forward selection button SW6 or the fast-reverse selection button SW5 is pressed, the process proceeds to step ST6, and the playback speed is changed to fast-forward or fast-reverse only while the button is pressed, and then step In ST7, the playback state is set to playback. As a result, fast-forward or fast-reverse is executed while playing back. Note that the change of the reproduction position according to the change of the reproduction speed is displayed in step ST2, and the moving speed of the vertical display bar I and the display mark a is also changed.
[0048]
If neither the fast forward selection button SW6 nor the fast reverse selection button SW5 is pressed, the process proceeds to step ST8. In step ST8, it is determined whether or not the first and second chorus section selection buttons SW10 or SW11 are pressed for cueing the next chorus section. If either the first or second chorus section selection button SW10 or SW11 is pressed, the process proceeds to step ST9. In step ST9, it is set that the playback position or the playback position is displaced to the beginning of the next chorus section. Then, the process returns to step ST2 via step ST7, and the jump or displacement of the vertical display bar I and the display mark a is displayed. If it is confirmed in step ST8 that the selection button SW10 or SW11 is not pressed, the process proceeds to step ST10. In step ST10, it is determined whether the first and second repeated section selection buttons SW8 and SW9 for jumping to the beginning of the previous repeated section or the beginning of the subsequent repeated section are pressed. If any of the first and second repeated section selection buttons SW8 and SW9 is pressed, the process proceeds to step ST11. In step ST11, the playback position is displaced from the current playback position or playback position to the beginning of the next or previous repeat section. In step ST7, the reproduction state is set to reproduction, and the reproduction position display is changed in step ST2. In step ST10, if neither of the first and second repeated section selection buttons SW8 and SW9 is pressed, the process proceeds to step ST12.
[0049]
Step ST12 is provided when each section display on the
[0050]
If the selection button is not clicked in step ST12, the process proceeds to step ST14. In step ST14, it is determined whether or not an instruction operation for moving the mark a by clicking (touching) the mark a on the reproduction position slider has been performed. When the operation is performed, the process proceeds to step ST15, where the playback position is set as the movement destination of the slider mark a, and then the playback state is set to playback in step ST7, and the process returns to step ST2.
[0051]
FIG. 7 is a flowchart showing an algorithm for operation using the selection buttons SW1 to SW7. The operation according to the algorithm shown in FIG. 6 and the operation according to the algorithm of FIG. 7 proceed in parallel. If the selection buttons SW8 to SW11 are not pressed, reproduction is performed according to FIG. 6, and if the selection buttons SW8 to SW11 are pressed during the reproduction, predetermined steps of the algorithm of FIG. 6 are executed.
[0052]
6 and 7, the “playback state” includes stop, pause, and playback states, “playback position” is the elapsed time from the beginning of the music file, and “playback speed” A normal playback speed, a fast-forward playback speed, and a fast-rewind playback speed are included.
[0053]
The operation state of the
[0054]
Next, the operation of jumping the repeated section will be described with reference to FIGS. The state shown in FIG. 10A is a state immediately after the reproduction selection button SW3 is pressed and reproduction of certain music acoustic data is started. In this state, the vertical display bar I and the display mark a are at the initial position for reproduction. FIG. 10B shows a state where the reproduction state is continued. In this state, when the second repeated section selection button SW9 is pressed once, the state is as shown in FIG. In this state, the vertical display bar I and the display mark a jump to the head of the display of [second repeat section of display bar B4] of the nearest rear repeat section, and the nearest rear repeat section [display It is displaced to the head of the second repeated section of the bar B4. When the second repeat section selection button SW9 is pressed once again after continuing the playback state for a while, as shown in FIG. 11 (A), the [1st display bar B5 of the nearest rear repeat section in this state is displayed. The vertical display bar I and the display mark a jump to the head of the display of [repeated section of [], and are displaced to the head of the rear repeated section [the first repeated section of the display bar B5] whose reproduction position is the closest. When the second repeat section selection button SW9 is further pressed once, as shown in FIG. 11 (B), the display of [second repeat section of display bar B5] of the nearest repeat section in this state is displayed. The vertical display bar I and the display mark a jump to the top of the head, and are displaced to the head of the rear repeated section [second repeated section of the display bar B5] whose reproduction position is closest.
[0055]
Next, using FIG. 12 and FIG. 13, the operation of jumping forward in the repeated section will be described. The state shown in FIG. 12A is a state immediately after the reproduction selection button SW3 is pressed and reproduction of certain music sound data is started. In this state, the vertical display bar I and the display mark a are at the initial position for reproduction. FIG. 12B shows a state where the reproduction state is continued. When the first repeat section selection button SW8 is pressed once in this state, the state is as shown in FIG. In this state, the vertical display bar I and the display mark a jump to the head of the display of [the first repeat section of the display bar B4] of the nearest forward repeat section, and the nearest repeat section [display It is displaced to the head of the first repeated section of the bar B4. When the first repeat section selection button SW8 is pressed once again in this state, as shown in FIG. 13, it is closest in this state.forwardThe vertical display bar I and the display mark a jump to the top of the display of the repeat section [first repeat section of the display bar B6], and the nearest repeat section [first repeat section of the display bar B6] is the closest playback position. Displaces to the beginning of.
[0056]
As described above, by arbitrarily selecting the selection buttons SW8 to SW10, it is possible to reproduce an arbitrary music structure feature section selected by the
[0057]
FIG. 14 shows an example of an interface screen actually created by the inventor.
[0058]
Next, the actual machine which implemented this invention more concretely and its result are demonstrated.
[0059]
The actual machine interface operates by using a file including a description of a rust section and a repetitive structure obtained using the rust section detection method.
[0060]
The GUI part of the actual machine, the engine part of the music sound reproduction apparatus, and the sound output device control part are implemented as separate processes that operate in a distributed environment so as to enhance scalability. For this purpose, a network protocol RACP (Remote Audio Control Protocol) that enables efficient sharing of acoustic signals and various control information on the network was designed and implemented based on it. RACP is a protocol obtained by extending RMCP (Remote Music Control Protocol) for transmission of acoustic signals.
[0061]
The actual machine was operated under four conditions depending on the presence or absence of two proposed functions (selection buttons SW8 to SW10 for jumping and music structure display). As a sample to be listened to, a song that the listener listens to for the first time was selected from 100 songs (RWC-MDB-P-2001 No. 1 to 100) of “RWC Research Music Database: Popular Music”. However, the music structure characteristic section designation data correctly obtained by the automatic chorus section detection method was used (the number of correct answers in 100 songs by the automatic chorus section detection method was 80). For reference, these 100 songs have been labeled with beats and bar breaks in advance for humans (music college graduates) to manually label these 100 songs using the manual chorus section labeling editor that we have developed. It took about 100 hours from the beginning. The four conditions and their operational results are described below. Here, for comparison between conditions, a function of directly clicking and reproducing a section on the visualized music structure is not used.
[0062]
[Condition 1] There is no proposed function (conventional).
[0063]
When the head part of the song was not rusted, the listener repeated the operation of pressing the fast-forward selection button after listening to it for a while until the rust appeared about 5-10 times. Fast-forwarding while listening little by little was time-consuming and annoying, but it was effective when you wanted to get a feel for the music.
[0064]
[Condition 2] There are no selection buttons SW8 to SW10, but there is a music structure display.
[0065]
It was effective to obtain feedback on how far the playback position should be fast-forwarded, and the listener evaluated it as more convenient than Condition 1. However, since the screen display shows the point beyond the current playback position, there has been a strong desire to jump to that point.
[0066]
[Condition 3] There are selection buttons SW8 to SW10, but there is no music structure display.
[0067]
After listening to the intro for the first time, repeatedly pressing the chorus section selection button SW10 and repeating the operation of pressing the second repeat section selection button SW9 used for “finding the section of the next music structure section” and listening a little The main way of listening is to listen carefully when rust comes out. The point of being able to listen while flying efficiently was evaluated and was preferred over Condition 2.
[0068]
[Condition 4] All the proposed functions are valid (corresponding to the embodiment).
[0069]
This is a trial listening method that provides the advantages of both condition 2 and
[0070]
[0071]
From the above, it has been confirmed that the interface functions practically and the listener can interactively intervene in the music reproduction by pressing the selection buttons SW8 to SW10 for jumping with the help of the music structure display.
[0072]
In the above embodiment, the interface operation unit is formed on the display. However, the interface may be configured using an actual switch such as an analog switch.
[0073]
The above-described embodiment is realized by installing a program in a so-called personal computer. However, for example, the present invention can of course be applied to various music sound players such as so-called radio cassettes, CD players, and DVD players.
[0074]
The interface used in the present embodiment is useful as a general music playback interface, and is obtained by adding an operation system for each section in the music to a conventional operation system for each music. Previously, you could skip songs you weren't interested in, but it wasn't easy to skip parts of interest that weren't interesting. The interface of the present invention has a great merit that “you can listen to what you want” without following the timeline of the original song. A random play function in units of sections can also be realized so that a random play (shuffle play) function in music units can be performed. Also, when listening to music while changing the music playback position interactively while watching the music structure in a scene that allows longer usage than trial listening, there is a tendency to listen more analytically than conventional appreciation. For example, there are scenes in which the entire music composition is confirmed, each section on the composition is listened to, and repeated sections are compared. Also, the result of visualizing the music structure is interesting and useful just by listening to music while looking at it.
[0075]
In addition to jumping the playback position to the beginning of a repeated section in a song, if you label a section that is not repeated (interlude, guitar solo, etc.), you can jump the playback position to the beginning.
[0076]
【The invention's effect】
According to the present invention, there is an advantage that a music structure feature section such as a chorus section can be easily reproduced using a music acoustic data reproducing apparatus by selection through an interface.
[0077]
In addition, if the present invention is used, it is possible to obtain a music sampler equipped with a “rusting out” function (rusting section selection button). By simply pressing the chorus section selection button, the test listener can jump the playback to the head of the chorus section (instant fast forward), which is advantageous in that it is freed from the troublesome work of searching for the chorus section. Furthermore, by presuming or preparing the repeated sections in the music other than the chorus in advance, there is an advantage that the playback can be jumped to the beginning of the repeated section of the next music structure.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a concept of an embodiment of a music reproducing method of the present invention.
FIG. 2A is a display of a screen for an editor for manual chorus section labeling, and FIGS. 2B and 2C are diagrams showing examples of histograms obtained by a listener behavior analysis technique.
FIG. 3 is a block diagram showing a configuration of an embodiment of a music playback device of the present invention.
FIG. 4A is a diagram showing a feature section specifying data generation unit that automatically extracts a plurality of song structure feature sections in a song from music acoustic data and creates song structure feature section designation data. It is a block diagram which shows the modification of a music reproduction apparatus, (B) is a block diagram which shows another modification.
FIG. 5 is a diagram illustrating an example of an interface display screen.
FIG. 6 is a flowchart showing an algorithm of a program used when realizing an interface.
FIG. 7 is a flowchart showing an algorithm of an interface operation when performing a normal reproduction operation.
FIGS. 8A to 8C are diagrams used for explaining selection of a chorus section.
FIGS. 9A to 9C are diagrams used for explaining selection of a chorus section.
FIGS. 10A to 10C are diagrams used to explain selection of a repeated section.
FIGS. 11A and 11B are diagrams used for explaining selection of a repetitive section. FIGS.
FIGS. 12A to 12C are diagrams used to explain selection of a repeated section.
FIG. 13 is a diagram used for explaining selection of a repetitive section.
FIG. 14 is a diagram showing a screen of an actually created interface.
[Explanation of symbols]
1 Music playback device
3 Musical sound data playback device
5 Data separation means
7 Music acoustic data storage means
9 Music structure feature section designation data storage means
1 1 Control unit
13 Interface
15 display
17 Image display
Claims (25)
再生の対象となる前記音楽音響データに関して、楽曲中の楽曲構造特徴区間を指定するための複数の楽曲構造特徴区間指定データを予め用意する第1のステップと、
前記複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択するインターフェースを用意する第2のステップと、
前記音楽音響データ再生装置を用いて前記音楽音響データの再生を開始した後、操作者が前記インターフェースを用いて選択した前記任意の楽曲構造特徴区間に対応する前記楽曲構造特徴区間指定データに基いて、前記音楽音響データ再生装置による前記音楽音響データの再生位置を前記任意の楽曲構造特徴区間に変更する第3のステップとからなり、
前記楽曲構造特徴区間が、前記楽曲中のサビ区間と前記楽曲中の繰り返し区間を含んでおり、
前記第2のステップで用意する前記インターフェースは、前記音楽音響データの長さを時間軸を用いた画像表示により表示し、併せて前記音楽音響データ再生装置が前記音楽音響データを再生している前記音楽音響データの再生位置と前記複数の楽曲構造特徴区間とを前記時間軸を用いた画像表示により表示する画像表示部を有しており、
前記インターフェースは、前記複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択するために操作者が操作する1以上の選択ボタンを有していることを特徴とする楽曲再生方法。A music reproducing method for reproducing the music acoustic data using a music acoustic data reproducing apparatus for reproducing music acoustic data,
A first step of preparing, in advance, a plurality of music structure feature section designation data for designating a music structure feature section in a song for the music acoustic data to be reproduced;
A second step of preparing an interface for selecting an arbitrary music structure feature section from the plurality of music structure feature sections;
Based on the music structure feature section designation data corresponding to the arbitrary music structure feature section selected by the operator using the interface after starting the reproduction of the music acoustic data using the music sound data playback apparatus. And a third step of changing the music acoustic data playback position by the music acoustic data playback device to the arbitrary music structure feature section ,
The music structure feature section includes a rust section in the music and a repeating section in the music,
The interface prepared in the second step displays the length of the music sound data by image display using a time axis, and the music sound data playback device plays back the music sound data. It has an image display unit that displays the playback position of music acoustic data and the plurality of music structure feature sections by image display using the time axis,
The music reproducing method , wherein the interface has one or more selection buttons operated by an operator in order to select an arbitrary music structure feature section from the plurality of music structure feature sections .
再生の対象となる前記音楽音響データに関して、前記複数の楽曲構造特徴区間を指定するための複数の楽曲構造特徴区間指定データを予め用意する第1のステップと、
前記複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択するインターフェースを用意する第2のステップと、
操作者が前記インターフェースを用いて選択した前記任意の楽曲構造特徴区間に対応する前記楽曲構造特徴区間指定データに基いて前記音楽音響データ再生装置に前記任意の楽曲構造特徴区間を再生させる第3のステップとからなり、
前記楽曲構造特徴区間が、前記楽曲中のサビ区間と前記楽曲中の繰り返し区間を含んでおり、
前記第2のステップで用意する前記インターフェースは、前記音楽音響データの長さを時間軸を用いた画像表示により表示し、併せて前記音楽音響データ再生装置が前記音楽音響データを再生している前記音楽音響データの再生位置と前記複数の楽曲構造特徴区間とを前記時間軸を用いた画像表示により表示する画像表示部を有しており、
前記インターフェースは、前記複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択するために操作者が操作する1以上の選択ボタンを有していることを特徴とする楽曲再生方法。A method for playing back an arbitrary music structure feature section selected from a plurality of music structure feature sections in a song using a music sound data playback device for playing back music acoustic data,
A first step of preparing in advance a plurality of music structure feature section designation data for designating the plurality of music structure feature sections with respect to the music acoustic data to be reproduced;
A second step of preparing an interface for selecting an arbitrary music structure feature section from the plurality of music structure feature sections;
A third unit for causing the music / acoustic data reproducing apparatus to reproduce the arbitrary music structure feature section based on the music structure feature section designation data corresponding to the arbitrary music structure feature section selected by the operator using the interface; Consisting of steps ,
The music structure feature section includes a rust section in the music and a repeating section in the music,
The interface prepared in the second step displays the length of the music sound data by image display using a time axis, and the music sound data playback device plays back the music sound data. It has an image display unit that displays the playback position of music acoustic data and the plurality of music structure feature sections by image display using the time axis,
The music reproducing method , wherein the interface has one or more selection buttons operated by an operator in order to select an arbitrary music structure feature section from the plurality of music structure feature sections .
前記画像表示部は前記複数のサビ区間と前記複数の繰り返し区間とを区別して表示することを特徴とする請求項1または2に記載の楽曲再生方法。The plurality of music structure feature sections are composed of a plurality of climax sections indicating a rust portion of the music and a plurality of repeat sections indicating a repeated portion,
Music reproducing method according to claim 1 or 2, wherein the image display unit and displaying distinguishes between the plurality of repeated sections and the plurality of chorus section.
前記複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択する機能を有するインターフェースと、
再生する前記音楽音響データに対応して予め定められた前記複数の楽曲構造特徴区間を指定するための楽曲構造特徴区間指定データを格納する楽曲構造特徴区間指定データ格納手段と、
前記インターフェースによって選択された前記任意の楽曲構造特徴区間を指定する前記楽曲構造特徴区間指定データを前記音楽音響データ再生装置に与える指定データ付与手段とを具備し、
前記音楽音響データ再生装置は、前記音楽音響データを再生しているときに、前記指定データ付与手段から付与された前記楽曲構造特徴区間指定データによって指定された前記楽曲構造特徴区間に再生位置を変更するように構成されており、
前記楽曲構造特徴区間が、前記楽曲中のサビ区間と前記楽曲中の繰り返し区間を含んでおり、
前記インターフェースは、前記音楽音響データの長さを時間軸を用いた画像表示により表示し、併せて前記音楽音響データ再生装置が前記音楽音響データを再生している前記音楽音響データの再生位置と前記複数の楽曲構造特徴区間とを前記時間軸を用いた画像表示により表示する機能を有する画像表示部を備えており、
前記インターフェースは、前記複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択するために操作者が操作する1以上の選択ボタンを有していることを特徴とする楽曲再生装置。A music playback device having a music acoustic data playback device for playing back music acoustic data and having a function of playing back an arbitrary music structure feature section selected from a plurality of song structure feature sections in a song,
An interface having a function of selecting an arbitrary music structure feature section from the plurality of music structure feature sections;
Music structure feature section designation data storage means for storing music structure feature section designation data for designating the plurality of music structure feature sections predetermined in correspondence with the music acoustic data to be reproduced;
Designation data providing means for providing the music sound data reproducing device with the music structure feature section designation data for designating the arbitrary music structure feature section selected by the interface;
The music acoustic data playback device changes the playback position to the music structure feature section designated by the music structure feature section designation data given from the designated data giving means when playing the music acoustic data. is configured to,
The music structure feature section includes a rust section in the music and a repeating section in the music,
The interface displays the length of the music acoustic data by image display using a time axis, and at the same time, the music acoustic data playback device playing back the music acoustic data and the music acoustic data playback position and the music acoustic data playback position. An image display unit having a function of displaying a plurality of music structure feature sections by image display using the time axis;
The music playback apparatus according to claim 1, wherein the interface includes one or more selection buttons operated by an operator to select an arbitrary music structure feature section from the plurality of music structure feature sections .
前記複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択する機能を有するインターフェースと、
再生する前記音楽音響データに対応して予め定められた前記複数の楽曲構造特徴区間を指定するための楽曲構造特徴区間指定データを格納する楽曲構造特徴区間指定データ格納手段と、
前記インターフェースによって選択された前記任意の楽曲構造特徴区間を指定する前記楽曲構造特徴区間指定データを前記音楽音響データ再生装置に与える指定データ付与手段とを具備し、
前記音楽音響データ再生装置は前記指定データ付与手段から付与された前記楽曲構造特徴区間指定データによって指定された前記楽曲構造特徴区間を再生位置として前記音楽音響データの再生を実行するように構成されており、
前記楽曲構造特徴区間が、前記楽曲中のサビ区間と前記楽曲中の繰り返し区間を含んでおり、
前記インターフェースは、前記音楽音響データの長さを時間軸を用いた画像表示により表示し、併せて前記音楽音響データ再生装置が前記音楽音響データを再生している前記音楽音響データの再生位置と前記複数の楽曲構造特徴区間とを前記時間軸を用いた画像表示により表示する機能を有する画像表示部を備えており、
前記インターフェースは、前記複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択するために操作者が操作する1以上の選択ボタンを有していることを特徴とする楽曲再生装置。A music playback device having a music acoustic data playback device for playing back music acoustic data and having a function of playing back an arbitrary music structure feature section selected from a plurality of song structure feature sections in a song,
An interface having a function of selecting an arbitrary music structure feature section from the plurality of music structure feature sections;
Music structure feature section designation data storage means for storing music structure feature section designation data for designating the plurality of music structure feature sections predetermined in correspondence with the music acoustic data to be reproduced;
Designation data providing means for providing the music sound data reproducing device with the music structure feature section designation data for designating the arbitrary music structure feature section selected by the interface;
The music / acoustic data reproducing apparatus is configured to execute the reproduction of the music / acoustic data with the music structure feature section designated by the music structure feature section designation data given from the designation data giving means as a playback position. And
The music structure feature section includes a rust section in the music and a repeating section in the music,
The interface displays the length of the music acoustic data by image display using a time axis, and at the same time, the music acoustic data playback device playing back the music acoustic data and the music acoustic data playback position and the music acoustic data playback position. An image display unit having a function of displaying a plurality of music structure feature sections by image display using the time axis;
The music playback apparatus according to claim 1, wherein the interface includes one or more selection buttons operated by an operator to select an arbitrary music structure feature section from the plurality of music structure feature sections .
前記楽曲構造特徴区間指定データ格納手段は前記音楽音響データに付随する前記楽曲構造特徴区間指定データを読み取って格納することを特徴とする請求項11または12に記載の楽曲再生装置。The music acoustic data is accompanied by the music structure feature section designation data,
The music reproducing apparatus according to claim 11 or 12 , wherein the music structure feature section designation data storage means reads and stores the music structure feature section designation data accompanying the music acoustic data.
前記画像表示部は前記複数のサビ区間と前記複数の繰り返し区間とを区別して表示する機能を有していることを特徴とする請求項10または11に記載の楽曲再生装置。The plurality of music structure feature sections are composed of a plurality of climax sections indicating a rust portion of the music and a plurality of repeat sections indicating a repeated portion,
The music reproducing apparatus according to claim 10 or 11 , wherein the image display unit has a function of distinguishing and displaying the plurality of chorus sections and the plurality of repeated sections.
前記1以上の選択ボタンは前記画像表示部に表示された画像表示ボタンである請求項10または11に記載の楽曲再生装置。The interface includes one or more selection buttons operated by an operator to select an arbitrary music structure feature section from the plurality of music structure feature sections.
The music reproducing device according to claim 10 or 11 , wherein the one or more selection buttons are image display buttons displayed on the image display unit.
前記複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択するインターフェースを前記ディスプレイ上に構成する機能と、
再生する前記音楽音響データに対応して予め定められた前記複数の楽曲構造特徴区間を指定するための楽曲構造特徴区間指定データを格納する楽曲構造特徴区間指定データ格納手段を構成する機能と、
前記インターフェースによって選択された前記任意の楽曲構造特徴区間を指定する前記楽曲構造特徴区間指定データを前記音楽音響データ再生装置に与える指定データ付与手段を構成する機能と、
前記音楽音響データを再生しているときに、前記指定データ付与手段から付与された前記楽曲構造特徴区間指定データによって指定された前記楽曲構造特徴区間に再生位置を変更するように前記音楽音響データ再生装置に指令を与える機能とを前記コンピュータに実現させる構成を備え、
前記インターフェースを前記ディスプレイ上に構成する機能は、前記複数の楽曲構造特徴区間に含まれるサビ区間を選択するために操作者が操作するサビ区間選択ボタンを含む1以上の選択ボタンを前記ディスプレイ上に形成する機能を有しており、
前記インターフェースを前記ディスプレイ上に構成する機能は、前記音楽音響データの長さを時間軸を用いた画像表示により前記ディスプレイ上に表示し、併せて前記音楽音響データ再生装置が前記音楽音響データを再生している前記音楽音響データの再生位置と前記複数の楽曲構造特徴区間とを前記時間軸を用いた画像表示により前記ディスプレイ上に表示する機能を更に有しており、
前記複数の楽曲構造特徴区間は、楽曲のサビ部分を示す複数のサビ区間と、繰り返し区間を示す複数の繰り返し区間とからなり、
前記インターフェースを前記ディスプレイ上に構成する機能は、前記複数のサビ区間と前記複数の繰り返し区間とを区別して前記ディスプレイ上に表示し、前記ディスプレイ上に示された前記複数のサビ区間及び前記複数の繰り返し区間の表示を、前記複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択するために操作者が操作する前記1以上の選択ボタンとする機能をさらに有していることを特徴とする楽曲再生装置実現用プログラム。A plurality of music structures in a music composition using a device comprising a computer, a display that operates based on a command from the computer, and a music sound data reproducing device that reproduces music sound data according to the command from the computer A program for causing the computer to realize a function of reproducing an arbitrary music structure feature section selected from a feature section,
A function of configuring an interface on the display for selecting an arbitrary music structure feature section from the plurality of music structure feature sections;
A function constituting music structure feature section designation data storage means for storing music structure feature section designation data for designating the plurality of music structure feature sections predetermined in correspondence with the music acoustic data to be reproduced;
A function that constitutes designation data giving means for giving the music sound data reproducing device the music structure feature section designation data that designates the arbitrary music structure feature section selected by the interface;
When the music / acoustic data is being reproduced, the music / acoustic data is reproduced so that the reproduction position is changed to the music structure feature section designated by the music structure feature section designation data given from the designation data giving means. apparatus and a function of providing an instruction e Bei configuration to realize said computer,
The function of configuring the interface on the display includes one or more selection buttons on the display including a chorus section selection button operated by an operator to select chorus sections included in the plurality of music structure feature sections. Has the function to form,
The function of configuring the interface on the display displays the length of the music acoustic data on the display by image display using a time axis, and the music acoustic data reproduction device reproduces the music acoustic data. The music acoustic data playback position and the plurality of music structure feature sections are further displayed on the display by image display using the time axis,
The plurality of music structure feature sections are composed of a plurality of climax sections indicating a rust portion of the music and a plurality of repeat sections indicating a repeat section,
The function of configuring the interface on the display distinguishes the plurality of chorus sections and the plurality of repeating sections and displays them on the display, and the plurality of chorus sections and the plurality of chorus sections shown on the display. It further has a function of displaying the repeated section as the one or more selection buttons operated by an operator in order to select an arbitrary music structure feature section from the plurality of music structure feature sections. A program for realizing a music player.
前記複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択するインターフェースを前記ディスプレイ上に構成する機能と、
再生する前記音楽音響データに対応して予め定められた前記複数の楽曲構造特徴区間を指定するための楽曲構造特徴区間指定データを格納する楽曲構造特徴区間指定データ格納手段を構成する機能と、
前記インターフェースによって選択された前記任意の楽曲構造特徴区間を指定する前記楽曲構造特徴区間指定データを前記音楽音響データ再生装置に与える指定データ付与手段を構成する機能と、
前記指定データ付与手段から付与された前記楽曲構造特徴区間指定データによって指定された前記楽曲構造特徴区間を再生するように前記音楽音響データ再生装置に指令を与える機能とを前記コンピュータに実現させる構成を備え、
前記インターフェースを前記ディスプレイ上に構成する機能は、前記複数の楽曲構造特徴区間に含まれるサビ区間を選択するために操作者が操作するサビ区間選択ボタンを含む1以上の選択ボタンを前記ディスプレイ上に形成する機能を有しており、
前記インターフェースを前記ディスプレイ上に構成する機能は、前記音楽音響データの長さを時間軸を用いた画像表示により前記ディスプレイ上に表示し、併せて前記音楽音響データ再生装置が前記音楽音響データを再生している前記音楽音響データの再生位置と前記複数の楽曲構造特徴区間とを前記時間軸を用いた画像表示により前記ディスプレイ上に表示する機能を更に有しており、
前記複数の楽曲構造特徴区間は、楽曲のサビ部分を示す複数のサビ区間と、繰り返し区 間を示す複数の繰り返し区間とからなり、
前記インターフェースを前記ディスプレイ上に構成する機能は、前記複数のサビ区間と前記複数の繰り返し区間とを区別して前記ディスプレイ上に表示し、前記ディスプレイ上に示された前記複数のサビ区間及び前記複数の繰り返し区間の表示を、前記複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択するために操作者が操作する前記1以上の選択ボタンとする機能をさらに有していることを特徴とする楽曲再生装置実現用プログラム。A plurality of music structures in a music composition using a device comprising a computer, a display that operates based on a command from the computer, and a music sound data reproducing device that reproduces music sound data according to the command from the computer A program for causing the computer to realize a function of reproducing an arbitrary music structure feature section selected from a feature section,
A function of configuring an interface on the display for selecting an arbitrary music structure feature section from the plurality of music structure feature sections;
A function constituting music structure feature section designation data storage means for storing music structure feature section designation data for designating the plurality of music structure feature sections predetermined in correspondence with the music acoustic data to be reproduced;
A function that constitutes designation data giving means for giving the music sound data reproducing device the music structure feature section designation data that designates the arbitrary music structure feature section selected by the interface;
A configuration for causing the computer to realize a function of giving a command to the music acoustic data playback device so as to play back the music structure feature section designated by the music structure feature section designation data given from the designation data giving means. Bei example,
The function of configuring the interface on the display includes one or more selection buttons on the display including a chorus section selection button operated by an operator to select chorus sections included in the plurality of music structure feature sections. Has the function to form,
The function of configuring the interface on the display displays the length of the music acoustic data on the display by image display using a time axis, and the music acoustic data reproduction device reproduces the music acoustic data. The music acoustic data playback position and the plurality of music structure feature sections are further displayed on the display by image display using the time axis,
Wherein the plurality of musical structure characteristic section is composed of a plurality of chorus section showing the climax part of the music, a plurality of repeated sections showing between repeated Ward,
The function of configuring the interface on the display distinguishes the plurality of chorus sections and the plurality of repeating sections and displays them on the display, and the plurality of chorus sections and the plurality of chorus sections shown on the display. It further has a function of displaying the repeated section as the one or more selection buttons operated by an operator in order to select an arbitrary music structure feature section from the plurality of music structure feature sections. A program for realizing a music player.
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003025331A JP4273202B2 (en) | 2003-01-31 | 2003-01-31 | Music reproduction method and apparatus |
KR1020057007022A KR100836574B1 (en) | 2002-10-24 | 2003-10-23 | Musical composition reproduction method and device, and method for detecting a representative motif section in musical composition data |
AT03758828T ATE556404T1 (en) | 2002-10-24 | 2003-10-23 | PLAYBACK METHOD FOR MUSICAL COMPOSITIONS AND DEVICE AND METHOD FOR RECOGNIZING A REPRESENTATIVE MOTIVE PART IN MUSIC COMPOSITION DATA |
PCT/JP2003/013563 WO2004038694A1 (en) | 2002-10-24 | 2003-10-23 | Musical composition reproduction method and device, and method for detecting a representative motif section in musical composition data |
US10/532,400 US7179982B2 (en) | 2002-10-24 | 2003-10-23 | Musical composition reproduction method and device, and method for detecting a representative motif section in musical composition data |
EP03758828A EP1577877B1 (en) | 2002-10-24 | 2003-10-23 | Musical composition reproduction method and device, and method for detecting a representative motif section in musical composition data |
AU2003275618A AU2003275618A1 (en) | 2002-10-24 | 2003-10-23 | Musical composition reproduction method and device, and method for detecting a representative motif section in musical composition data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003025331A JP4273202B2 (en) | 2003-01-31 | 2003-01-31 | Music reproduction method and apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004234807A JP2004234807A (en) | 2004-08-19 |
JP4273202B2 true JP4273202B2 (en) | 2009-06-03 |
Family
ID=32953642
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003025331A Expired - Lifetime JP4273202B2 (en) | 2002-10-24 | 2003-01-31 | Music reproduction method and apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4273202B2 (en) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006022148A1 (en) * | 2004-08-25 | 2006-03-02 | Pioneer Corporation | Information reproducing device |
JP4243862B2 (en) | 2004-10-26 | 2009-03-25 | ソニー株式会社 | Content utilization apparatus and content utilization method |
JP4595555B2 (en) | 2005-01-20 | 2010-12-08 | ソニー株式会社 | Content playback apparatus and content playback method |
JP4741267B2 (en) | 2005-03-28 | 2011-08-03 | ソニー株式会社 | Content recommendation system, communication terminal, and content recommendation method |
WO2007000959A1 (en) * | 2005-06-27 | 2007-01-04 | Matsushita Electric Industrial Co., Ltd. | Same scene detection method, device, and storage medium containing program |
JP2007011928A (en) | 2005-07-04 | 2007-01-18 | Sony Corp | Content provision system, content provision device, content distribution server, content reception terminal and content provision method |
JP5133508B2 (en) | 2005-07-21 | 2013-01-30 | ソニー株式会社 | Content providing system, content providing device, content distribution server, content receiving terminal, and content providing method |
JP4403415B2 (en) * | 2005-09-20 | 2010-01-27 | ソニー株式会社 | Content reproduction method and content reproduction apparatus |
JP4811046B2 (en) | 2006-02-17 | 2011-11-09 | ソニー株式会社 | Content playback apparatus, audio playback device, and content playback method |
JP4844270B2 (en) | 2006-07-21 | 2011-12-28 | ソニー株式会社 | Display control apparatus, recording medium, display control method, and display control program |
JP4650701B2 (en) * | 2008-05-12 | 2011-03-16 | ソニー株式会社 | Content playback device, status bar display method, and status bar display program |
-
2003
- 2003-01-31 JP JP2003025331A patent/JP4273202B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2004234807A (en) | 2004-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100836574B1 (en) | Musical composition reproduction method and device, and method for detecting a representative motif section in musical composition data | |
KR101156827B1 (en) | Creation of playlists using audio identification | |
JP4528964B2 (en) | Content search and display device, method, and program | |
JP4616337B2 (en) | Playback order change support unit, music information playback apparatus, and playback order change support method | |
Goto | Active music listening interfaces based on signal processing | |
US7899564B2 (en) | Procedure and apparatus for generating automatic replay of recordings | |
JP4273202B2 (en) | Music reproduction method and apparatus | |
WO2003083824A2 (en) | Media player with 'dj' mode | |
JP2013080538A (en) | Content reproduction device, content reproduction method, and program | |
JP2007306279A (en) | Content marking method, content reproducing device, content reproducing method, and program for content marking and program for content retrieval | |
JP3886372B2 (en) | Acoustic inflection point extraction apparatus and method, acoustic reproduction apparatus and method, acoustic signal editing apparatus, acoustic inflection point extraction method program recording medium, acoustic reproduction method program recording medium, acoustic signal editing method program recording medium, acoustic inflection point extraction method Program, sound reproduction method program, sound signal editing method program | |
EP1818762A1 (en) | Information management method, information management program, and information management device | |
US9990911B1 (en) | Method for creating preview track and apparatus using the same | |
JP7226709B2 (en) | Video control system and video control method | |
JP6244217B2 (en) | Content processing apparatus, processing method and program for content processing apparatus | |
JP4670591B2 (en) | Music material editing method and music material editing system | |
Cliff | hpDJ: An automated DJ with floorshow feedback | |
KR20080024876A (en) | Audio section searcher and method | |
JP2010198713A (en) | Audio reproducing device | |
JP6421130B2 (en) | Content selection device, control method and program for content selection device | |
Andersen | Searching for music: How feedback and input-control change the way we search | |
Kosonen et al. | Rhythm metadata enabled intra-track navigation and content modification in a music player | |
JP2003242758A (en) | Method and device for selectively playing back specified part of recording medium by using multimedia player | |
EP2181381A1 (en) | A user interface for handling dj functions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20051013 |
|
RD07 | Notification of extinguishment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7427 Effective date: 20051013 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20051020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081014 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20081022 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090127 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4273202 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |