[go: up one dir, main page]

JP6305958B2 - 合奏装置、合奏システム、その方法及びプログラム - Google Patents

合奏装置、合奏システム、その方法及びプログラム Download PDF

Info

Publication number
JP6305958B2
JP6305958B2 JP2015080591A JP2015080591A JP6305958B2 JP 6305958 B2 JP6305958 B2 JP 6305958B2 JP 2015080591 A JP2015080591 A JP 2015080591A JP 2015080591 A JP2015080591 A JP 2015080591A JP 6305958 B2 JP6305958 B2 JP 6305958B2
Authority
JP
Japan
Prior art keywords
ensemble
sound
point
information
player
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015080591A
Other languages
English (en)
Other versions
JP2016200712A (ja
Inventor
佐藤 尚
尚 佐藤
守谷 健弘
健弘 守谷
優 鎌本
優 鎌本
パブロ ナバ ガブリエル
パブロ ナバ ガブリエル
善史 白木
善史 白木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2015080591A priority Critical patent/JP6305958B2/ja
Publication of JP2016200712A publication Critical patent/JP2016200712A/ja
Application granted granted Critical
Publication of JP6305958B2 publication Critical patent/JP6305958B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

本発明は、ネットワークを介して、第一地点にいる第一演奏者と、上記第一地点とは異なる第二地点にいる第二演奏者との合奏を実現する合奏装置、合奏システム、その方法及びプログラムに関する。
ネットワークを介して、第一地点にいる第一演奏者と、上記第一地点とは異なる第二地点にいる第二演奏者との合奏を実現する合奏システムの従来技術として特許文献1が知られている。遠隔地共演ではネットワーク上の遅延時間にともなってコラボレーション(共演)が難しくなるが、特許文献1では、各地点において、演奏操作から楽音が出力されるまでに、2つの地点間の通信の往復遅延時間の約半分の遅延が生じさせることで、言い換えると、往復遅延時間を各地点において分け合うことで、各地点の演奏者の違和感を低減している。
特開2007−178860号公報
しかしながら、従来技術では、演奏操作から楽音が出力されるまでに、2つの地点間の通信の往復遅延時間の約半分の遅延が生じるため、演奏者に違和感が残る場合がある。
本発明は、従来技術とは異なる方法でネットワーク上の遅延時間に基づく違和感を低減する合奏装置、合奏システム、その方法及びプログラムを提供することを目的とする。
上記の課題を解決するために、本発明の一態様によれば、合奏装置は、ネットワークを介して、第一地点にいる第一演奏者と、第一地点とは異なる第二地点にいる第二演奏者との合奏を実現するために第一地点に配置される。合奏装置は、第一演奏者がリズムを刻む音を発生する動きをすることを意図したことに起因して発生する生体信号に対応する生体情報を取得する生体信号取得部と、ネットワークを介して第二地点に、生体情報を送信し、その後、生体信号による動きにより発生した音に対応する楽音情報を送信する送信部と、を含み、第二地点では、楽音情報に対応する音が再生されるよりも早く、生体情報に対応する刺激が第二演奏者に呈示される。
上記の課題を解決するために、本発明の他の態様によれば、合奏システムは、ネットワークを介して、第一地点にいる第一演奏者と、第一地点とは異なる第二地点にいる第二演奏者との合奏を実現する。合奏システムは、第一演奏者がリズムを刻む音を発生する動きをすることを意図したことに起因して発生する生体信号に対応する生体情報を取得する生体信号取得部と、ネットワークを介して第二地点に、生体情報を送信し、その後、生体信号による動きにより発生した音に対応する楽音情報を送信する送信部と、を含む第一合奏装置と、生体情報を受信し、その後、楽音情報を受信する受信部と、生体情報に基づき、第二演奏者に刺激を呈示する呈示部と、を含む第二合奏装置とを有する。
上記の課題を解決するために、本発明の他の態様によれば、合奏方法は、ネットワークを介して、第一地点にいる第一演奏者と、第一地点とは異なる第二地点にいる第二演奏者との合奏を実現する。合奏方法は、生体信号取得部が、第一演奏者がリズムを刻む音を発生する動きをすることを意図したことに起因して発生する生体信号に対応する生体情報を取得する生体信号取得ステップと、送信部が、ネットワークを介して第二地点に、生体情報を送信する第一送信ステップと、音取得部が、生体信号による動きにより発生した音に対応する楽音情報を取得する音取得ステップと、送信部が、ネットワークを介して第二地点に、楽音情報を送信する第二送信ステップと、を含み、第二地点では、楽音情報に対応する音が再生されるよりも早く、生体情報に対応する刺激が第二演奏者に呈示される。
上記の課題を解決するために、本発明の他の態様によれば、合奏方法は、第一地点に配置された第一合奏装置と、第一地点とは異なる第二地点に配置された第二合奏装置を用いて、ネットワークを介して、第一地点にいる第一演奏者と、第二地点にいる第二演奏者との合奏を実現する。合奏方法は、第一合奏装置が、第一演奏者がリズムを刻む音を発生する動きをすることを意図したことに起因して発生する生体信号に対応する生体情報を取得する生体信号取得ステップと、第一合奏装置が、ネットワークを介して第二地点に、生体情報を送信する第一送信ステップと、第二合奏装置が、生体情報を受信する第一受信ステップと、第二合奏装置が、生体情報に基づき、第二演奏者に刺激を呈示する呈示ステップと、第一合奏装置が、生体信号による動きにより発生した音に対応する楽音情報を取得する音取得ステップと、第一合奏装置が、ネットワークを介して第二地点に、楽音情報を送信する第二送信ステップと、第二合奏装置が、楽音情報を受信する第二受信ステップと、
第二合奏装置が、楽音情報に基づき、音を再生する再生ステップとを含む。
本発明によれば、従来技術とは異なる方法でネットワーク上の遅延時間に基づく違和感を低減することができるという効果を奏する。
図1Aはネットワーク上の通信の往復遅延時間と第一地点と第二地点で得られる楽音のタイミング(第一地点においてA音が演奏と同時発生する)を示した図。図1Bはネットワーク上の通信の往復遅延時間と第一地点と第二地点で得られる楽音のタイミング(第一地点においてA音をB音と同時再生する)を示した図。 図2Aは第一実施形態の合奏システムを用いた場合の刺激と楽音のタイミング(第一地点においてA音が演奏と同時発生する)を示す図。図2Bは第一実施形態の合奏システムを用いた場合の刺激と楽音のタイミング(第一地点においてA音をB音と同時再生する)を示す図。 第一実施形態の合奏システムを用いた場合の刺激と楽音のタイミングを示す図。 第一実施形態に係る合奏システムの機能ブロック図。 第一実施形態に係る合奏システムの処理フローの例を示す図。 図6Aは第一実施形態の変形例の合奏システムを用いた場合の刺激と楽音のタイミング(第一地点においてA音が演奏と同時発生する)を示す図。図26は第一実施形態の変形例の合奏システムを用いた場合の刺激と楽音のタイミング(第二地点においてA音をB音と同時再生する)を示す図。
以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。
<第一実施形態のポイント>
まず本実施形態の基本原理について述べる。図1は、第一地点から第二地点への往路の所要時間(伝送遅延)が例えば20msで、復路の所要時間(伝送遅延)が例えば180msのときに、第一地点で演奏入力動作(例えば鍵盤を1回押す動作)をした場合に、第一地点と第二地点で得られる楽音のタイミングを示した図である。つまり、ネットワーク上の通信の往復遅延時間を表している。
第一地点の演奏者(以下「第一演奏者」ともいう)が楽器αを時刻taで演奏し、A音を出す場合、離れた第二地点では、その往路の所要時間分の20ms後の時刻tbに楽器αのA音が再生される。第二地点の演奏者(以下「第二演奏者」ともいう)はこのA音に合わせて楽器βを演奏し、B音を出すことが出来る。しかし、第二地点での演奏に基づく演奏情報を第一地点に送ると、第一地点では時刻taから200ms後の時刻tcでB音が再生される(図1A)。よって、第一演奏者が演奏動作を行ったタイミングでその動作に基づく楽音(A音)を発生させると、第一地点では演奏される楽音(A音及びB音)が同期して混合されない。
この第一地点におけるB音に時刻taの演奏に基づくA音を同期させるためには、演奏動作から200ms後に楽音(A音)を発生させなければならない。これでは、第一演奏者は、自分の演奏動作とその動作に基づく楽音(A音)とのタイミングのずれが大きいため、大きな違和感を感じる(図1B)。
そこで、本実施形態では、第二地点において、楽音(A音)が出力されるよりも早いタイミングtfで、楽音(A音)が出力されることを第二演奏者に知らせる(図2参照)。本実施形態では、楽音(A音)とは異なる刺激を第二演奏者に呈示することで知らせる。刺激の後に所定の時間間隔を置いて楽音が再生されることが続くと、第二演奏者は、実際に楽音(A音)が再生されるタイミングtbよりも早いタイミング(時刻tf以上時刻tb未満のタイミング)で楽音(A音)が再生されているように錯覚すると考えられる。その結果、第二演奏者は、錯覚したタイミング(実際に楽音(A音)が再生されるタイミングtbよりも早いタイミングth)で楽器βを演奏し、B音を出す。第二地点において、A音とB音のなるタイミングは異なるが、第二演奏者は上述の錯覚により合奏している感覚を得ることができる。一方、第一地点においても、A音とB音のなるタイミングta,tiは異なるが、その誤差は図1Aの場合より小さく、第一演奏者は合奏している感覚を得ることができる。なお、第一地点におけるB音に時刻taの演奏に基づくA音を同期させるために、演奏動作の後に楽音(A音)を再生してもよい(図2B参照)。その場合、自分の演奏動作とその動作に基づく楽音(A音)とのタイミングのずれは、図1Bの場合より小さく、違和感を低減することができる。図示していないが、同様に、第二地点におけるA音に時刻thの演奏に基づくB音を同期させるために、演奏動作の後に、タイミングtbで楽音(B音)を再生してもよい。仮に第二演奏者に上述の錯覚が生じないとしても、刺激の後に所定の時間間隔を置いて楽音が再生されること説明し、刺激のリズムに合わせて(A音が再生されるよりも早いタイミングで)楽器βを演奏するように指示することで、同様の効果を得ることができる。
本実施形態では、楽音が出力されるよりも早いタイミングで、楽音が出力されることを知らせるために、第一演奏者が演奏動作を行う際に発生する筋電位を利用する。これは、演奏動作により発生する楽音が得られるよりも数百ms(図2の例では、550ms)前に、その演奏動作に対応する筋肉の動きにより筋電位が発生するためである。
なお、図3のように、第一地点において、楽音(B音)が出力されるよりも早いタイミングtgで、楽音(B音)が出力されることを第一演奏者に知らせてもよい。このような構成により、各演奏者は互いに同期していると錯覚しながら、実際の再生音よりも早いタイミングに同期するように各楽器を演奏し、違和感を低減することができる。
<合奏システム1>
図4は第一実施形態に係る合奏システム1の機能ブロック図を、図5はその処理フローを示す。
合奏システム1はR台の合奏装置100−rを含み、R台の合奏装置100−rは通信回線10を介して接続可能とされている。Rは2以上の整数の何れかであり、r=1,2,…,Rである。本実施形態では合奏装置100−pと合奏装置100−qとの間で合奏を行う場合について説明する。ただし、p及びqはそれぞれ1,2,…,Rの何れかであり、p≠qである。なお、合奏装置100−pは第一地点に配置されており、第一地点には第一演奏者がいるものとし、合奏装置100−qは第一地点とは異なる第二地点に配置されており、第二地点には第二演奏者がいるものとする。合奏システム1は、第一演奏者と、第二演奏者との合奏を実現する。
合奏装置100−rは、生体信号取得部110−r、音取得部120−r、送信部130−r、再生部140−r、呈示部150−r及び受信部160−rを含む。
<生体信号取得部110−p>
合奏装置100−pの生体信号取得部110−pが、第一演奏者がリズムを刻む音を発生する動きをすることを意図したことに起因して発生する生体信号に対応する生体情報を取得する(S1)。送信部130−pが、通信回線10を介して第二地点の合奏装置100−qに、生体情報を送信する(S2)。
例えば、生体信号として、合奏に関わる者が主にリズムを刻むために動かす部位から取得した演奏のタイミングに関する筋電位に対応する情報を用いる。筋電位に対応する理由は、前述の通り、筋電位が、筋肉の動きにより音が発生するよりも早い時点(数百ms前、図2の例では550ms前)で発生するためである。例えば、筋電位を取得する部位は、リズムを刻む音を発生する動きに深く関与する部位が望ましい。例えば、第一演奏者がドラム演奏者ならば二の腕であり、ピアノ演奏者ならば左手の前腕である。なお、1チャネルではなく、複数チャネルの筋電位を取得しても良い。例えば、演奏者がドラム演奏者の場合には、1チャネルならば二の腕の拮抗筋に、複数チャネルならば二の腕の拮抗筋と主働筋に、筋電位測定用の電極を取り付ければよく、演奏者がピアノ演奏者の場合、1チャネルならば左手の前腕の何れか(例えば鍵盤を弾く際に動かす指に対応して動く複数の箇所の中の何れか1箇所)に、複数チャネルならば左手の前腕全体(例えば鍵盤を弾く際に動かす指に対応して動く複数の箇所の中の何れか2個以上)に筋電位測定用の電極を取り付ければよい。要は、リズムを刻むための筋肉に電極を取り付ければよい。
なお、複数チャネルの筋電位を取得する場合には、チャネル間の加算または差分を送っても良い。例えば、ドラム演奏者の二の腕の拮抗筋及び主働筋の筋電位を取得する場合には、筋電位の差分を送ることにより、より正確にドラムを叩くタイミングを得ることができる。また、ピアノ演奏者の左手の前腕全体の筋電位を取得する場合には、得られた筋電位の総和を送ることにより、各指の打鍵タイミングをひとつのタイミングとして扱えることができる。
また、伝送量を減らすために、筋電位、その差分及びその和の少なくとも何れかをそのまま送るのではなく、単位時間当たりのスパイク量(筋電位、その差分及びその和の少なくとも何れかが閾値を超えたピークの数)を伝送してもよい。なお、単位時間当たりのスパイク量を得るために、筋電位を蓄積する必要があり、遅延が生じるが、この遅延は、演奏動作により楽音が発生する時刻と演奏動作に対応する筋肉の動きにより筋電位が発生する時刻との間隔(例えば図2の場合、間隔te−ta)に比べれば十分に小さいため、楽音が出力されるよりも早いタイミングで、楽音が出力されることを知らせることは可能である。
例えば、生体信号取得部110−pは、既知の筋電位測定装置を含み、その測定結果である筋電位を用いて、(1)そのまま、(2)複数チャネルの場合には、筋電位の差分及び和、(3) (1)または(2)の単位時間当たりのスパイク量の少なくとも何れかを生体情報として取得する。
<呈示部150−q>
合奏装置100−qの受信部160−qが、生体情報を受信する(S3)。このとき、第一地点から第二地点に生体情報を伝送する際に、数十msの遅延が生じたとしても、第二演奏者側に生体情報が到着した時点では第一地点ではA音は発生していないぐらい時間的な余裕がある。
合奏装置100−qの呈示部150−qが、生体情報に基づき、第二演奏者に刺激を呈示する(S4)。
呈示の仕方として、生体情報((1)筋電位そのもの、(2)複数の筋電位の差分及び和、(3) (1)または(2)の単位時間当たりのスパイク量の少なくとも何れか)からタイミング情報を取り出し、それをリズム表示する。タイミング情報とは、例えば、筋電図のスパイク量が閾値を超えたタイミングを示す情報である。
また、リズム表示の方法としては、例えば、(1)タイミングと同期したフラッシュや振り子などを視覚的に呈示したり、または(2)タイミングと同期した振動などにより触覚的に呈示したり、または(3)メトロノーム音など、A音とは異なる音により聴覚的に呈示する方法等が考えられる。例えば、呈示部150は、視覚的に提示するのであれば光刺激を呈示するためのLEDやディスプレイ等の装置を含み、触覚的に提示するのであれば触覚的な刺激を呈示するためのバイブレータ等の装置を含み、聴覚的に提示するのであれば再生部140−qにA音とは異なる音に対応する信号を出力すればよい。また、(4)機能的電気刺激により呈示してもよい。例えば、FES(Functional Electrical Stimulation)により実現する(特許文献1参照)。このとき、機能的電気刺激の強さは適宜設定すればよい。例えば、ピリピリとした電気刺激を感じさせるだけでもよいし、筋肉そのものを動かすほどの電気刺激を与えてもよい。
言い換えると、呈示部150−qによって、第二地点では、楽音情報に対応する音が再生されるよりも早く、生体情報に対応する視覚的刺激、触覚的刺激及び聴覚的刺激の少なくとも何れかが、リズム(このリズムは、αの演奏、または、演奏に起因する筋電位に対応するリズムである)に合わせて第二演奏者に呈示される。または、生体情報に対応する機能的電気刺激が、リズムに合わせて第二演奏者に呈示される。
表示の仕方として筋電情報を直接表示することでリズムを伝えてもよい。そのまま波形を視覚的に表示することで、データ加工の時間を省き、遅延をより減らすことができる。また、スパイク量と連動してバーの長さを変えても良い。
なお、伝送遅延を考慮しても刺激を呈示するタイミングが早すぎる場合(刺激を呈示するのが早すぎて曲のリズムに合わせ難くなる場合)には、遅延を入れてもよい。例えば、合奏装置100−pで生体情報を伝送するタイミングを遅らせてもよいし、合奏装置100−qで刺激を呈示するタイミングを遅らせてもよい。
<音取得部120−p>
合奏装置100−pの音取得部120−pが、生体信号による動きにより発生した音に対応する楽音情報を取得する(S5)。合奏装置100−pの送信部130−pが、通信回線10を介して第二地点の合奏装置100−qに、楽音情報を送信する(S6)。
例えば、音取得部120−pとしてマイクロホンを用い、マイクロホンの出力信号(収音信号)を楽音情報としてもよい。また、音取得部120−pとして電子楽器を用い、電子楽器の出力信号を楽音情報としてもよい。また、マイクロホンまたは電子楽器の出力信号そのものではなく、出力信号に対応する情報、例えば、アナログ出力信号、デジタル出力信号、周波数領域の出力信号、出力信号を既知の音声符号化により符号化して得られる符号等を楽音情報として用いてもよい。
<再生部140−q>
合奏装置100−qの受信部160−qが、楽音情報を受信する(S7)。合奏装置100−qの再生部140−qが、楽音情報に基づき、音を再生する(S8)。再生部140−qとして例えばスピーカを用いる。なお、第二演奏者の演奏する楽器βのB音を音取得部120−qで取得し、再生部140−qから再生してもよい。この場合、再生のタイミングは、楽器βの演奏時でもよいし(図2A参照)、A音の再生時に合わせて遅延させてもよい。なお、A音とB音の混合方法、及び、B音を遅延させる方法は従来技術と同様の方法により実現すればよい(例えば特許文献1参照)。
なお、合奏装置100−qから合奏装置100−pに楽音情報を送る際にも、同様の処理を行うことで、図3の合奏を実現することができる。
刺激が呈示されてから楽音が再生されるまでの時間間隔を一定とするために、通信回線10は通信遅延が一定となるものが望ましい。
<効果>
以上の構成により、従来技術とは異なる方法でネットワーク上の遅延時間に基づく違和感を低減することができる。
<変形例>
本実施形態では、生体情報として、筋電位に対応する情報を用いたが、第一演奏者の演奏のリズムを刻むタイミングに関する運動野、錐体路及び筋肉の少なくとも何れかの活動に基づき発生する生体信号に対応する情報を用いてもよい。要は、演奏により発生する楽音が得られるよりも前に、その演奏動作に対応する生体信号が得られれば良い。例えば、筋電位ではなく、筋肉の活動に合わせて変化する、筋音計によって測定した筋音図を生体情報として用いてもよい。また、筋肉に信号を送る運動野または錐体路の活動に基づき発生する生体信号に対応する情報から本実施形態と同様の効果を得ることができる。
本実施形態では、演奏者は楽器を演奏するものとして説明したが、演奏者は合奏にかかわるもの全般を意味する。「演奏者」は、例えば、楽器を使わずに歌うボーカルや、音を出さないが曲に合わせて指揮棒を振る指揮者や、曲のリズム、テンポに合わせて踊るダンサーを含む概念であり、言い換えると、曲のリズム、テンポに合わせて他の演奏者とともに何らかの動作を行うものを意味する。例えば、ボーカルの腹筋や指揮者の腕に電極を取り付けて筋電位を取得することで、リズムを刻む音を発生する動きをすることを意図したことに起因して発生する生体信号を得ることができる。
なお、送信側の合奏装置100−pの必須構成は生体信号取得部110−p、送信部130−p及び160−pであり、音取得部120−p及び再生部140−pは別装置により実現してもよい。例えば、マイクロホンまたは電子楽器とスピーカとを合奏装置100−pに接続して用いればよい。一方、受信側の合奏装置100−qの必須構成は、呈示部150−q、受信部160−q及び送信部130−pであり、音取得部120−q及び再生部140−qは別装置により実現してもよい。
なお、第二演奏者は呈示部150−qで呈示される刺激に合わせて演奏してもよい。このとき、刺激を呈示するタイミングを以下のように遅延させる。遅延時間d=(A音が発生するタイミング−筋電位が発生するタイミング(図2Aの例ではta−te))−ネットワーク上の通信の往復遅延時間(図2Aの例では(tf−te)+(ti−th))とし、第一地点では生体情報を取得してから遅延時間dだけ経過してから生体情報を送信するか、または、第二地点では生体情報を受け取ってから遅延時間dだけ経過してから刺激を呈示する(図6A参照)。このような構成とすることで、第二地点において、刺激に合わせて演奏すると、第一地点において、第一演奏者はB音の再生に合わせて楽器αを演奏することができ、第一演奏者の違和感を低減することができる。なお、第二地点において、B音を楽器βの演奏と共に出力するか(図6A)、A音の再生時に一緒に出力するか(図6B)は適宜設定すればよい。何れにしても、第二演奏者は刺激に合わせて演奏すればよいため、違和感を低減することができる。
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
<プログラム及び記録媒体>
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (10)

  1. ネットワークを介して、第一地点にいる第一演奏者と、上記第一地点とは異なる第二地点にいる第二演奏者との合奏を実現するために上記第一地点に配置される合奏装置であって、
    上記第一演奏者がリズムを刻む音を発生する動きをすることを意図したことに起因して発生する生体信号に対応する生体情報を取得する生体信号取得部と、
    上記ネットワークを介して上記第二地点に、上記生体情報を送信し、その後、上記生体信号による動きにより発生した音に対応する楽音情報を送信する送信部と、を含み、
    上記第二地点では、上記楽音情報に対応する音が再生されるよりも早く、上記生体情報に対応する刺激が上記第二演奏者に呈示される、
    合奏装置。
  2. 請求項1の合奏装置であって、
    上記生体情報は、第一演奏者の演奏のリズムを刻むタイミングに関する運動野、錐体路及び筋肉の少なくとも何れかの活動に基づき発生する生体信号に対応する情報である、
    合奏装置。
  3. 請求項2の合奏装置であって、
    上記生体情報は、合奏に関わる者が主にリズムを刻むために動かす部位から取得した演奏のタイミングに関する筋電位に対応する情報である、
    合奏装置。
  4. 請求項3の合奏装置であって、
    上記筋電位は、上記第一演奏者がドラム演奏者の場合には二の腕の拮抗筋の筋電位であり、上記第一演奏者がピアノ演奏者の場合には左手前腕の筋電位である、
    合奏装置。
  5. ネットワークを介して、第一地点にいる第一演奏者と、上記第一地点とは異なる第二地点にいる第二演奏者との合奏を実現する合奏システムであって、
    上記第一演奏者がリズムを刻む音を発生する動きをすることを意図したことに起因して発生する生体信号に対応する生体情報を取得する生体信号取得部と、
    上記ネットワークを介して上記第二地点に、上記生体情報を送信し、その後、上記生体信号による動きにより発生した音に対応する楽音情報を送信する送信部と、を含む第一合奏装置と、
    上記生体情報を受信し、その後、上記楽音情報を受信する受信部と、
    上記生体情報に基づき、上記第二演奏者に刺激を呈示する呈示部と、
    上記楽音情報に基づき、上記音を再生する再生部とを含む第二合奏装置とを有する、
    合奏システム。
  6. 請求項5の合奏システムであって、
    上記再生部が上記楽音情報に対応する音を再生するよりも早く、上記呈示部は上記生体情報に対応する視覚的刺激、触覚的刺激または上記楽音情報に対応する音とは異なる聴覚的刺激の少なくとも何れかを、上記リズムに合わせて上記第二演奏者に呈示する、
    合奏システム。
  7. 請求項5の合奏システムであって、
    上記再生部が上記楽音情報に対応する音を再生するよりも早く、上記呈示部は上記生体情報に対応する機能的電気刺激を、上記リズムに合わせて上記第二演奏者に呈示する、
    合奏システム。
  8. ネットワークを介して、第一地点にいる第一演奏者と、上記第一地点とは異なる第二地点にいる第二演奏者との合奏を実現する合奏方法であって、
    生体信号取得部が、上記第一演奏者がリズムを刻む音を発生する動きをすることを意図したことに起因して発生する生体信号に対応する生体情報を取得する生体信号取得ステップと、
    送信部が、上記ネットワークを介して上記第二地点に、上記生体情報を送信する第一送信ステップと、
    音取得部が、上記生体信号による動きにより発生した音に対応する楽音情報を取得する音取得ステップと、
    送信部が、上記ネットワークを介して上記第二地点に、上記楽音情報を送信する第二送信ステップと、を含み、
    上記第二地点では、上記楽音情報に対応する音が再生されるよりも早く、上記生体情報に対応する刺激が上記第二演奏者に呈示される、
    合奏方法。
  9. 第一地点に配置された第一合奏装置と、上記第一地点とは異なる第二地点に配置された第二合奏装置を用いて、ネットワークを介して、上記第一地点にいる第一演奏者と、上記第二地点にいる第二演奏者との合奏を実現する合奏方法であって、
    上記第一合奏装置が、上記第一演奏者がリズムを刻む音を発生する動きをすることを意図したことに起因して発生する生体信号に対応する生体情報を取得する生体信号取得ステップと、
    上記第一合奏装置が、上記ネットワークを介して上記第二地点に、上記生体情報を送信する第一送信ステップと、
    上記第二合奏装置が、上記生体情報を受信する第一受信ステップと、
    上記第二合奏装置が、上記生体情報に基づき、上記第二演奏者に刺激を呈示する呈示ステップと、
    上記第一合奏装置が、上記生体信号による動きにより発生した音に対応する楽音情報を取得する音取得ステップと、
    上記第一合奏装置が、上記ネットワークを介して上記第二地点に、上記楽音情報を送信する第二送信ステップと、
    上記第二合奏装置が、上記楽音情報を受信する第二受信ステップと、
    上記第二合奏装置が、上記楽音情報に基づき、上記音を再生する再生ステップとを含む、
    合奏方法。
  10. 請求項1〜請求項4の何れかの合奏装置としてコンピュータを機能させるためのプログラム。
JP2015080591A 2015-04-10 2015-04-10 合奏装置、合奏システム、その方法及びプログラム Active JP6305958B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015080591A JP6305958B2 (ja) 2015-04-10 2015-04-10 合奏装置、合奏システム、その方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015080591A JP6305958B2 (ja) 2015-04-10 2015-04-10 合奏装置、合奏システム、その方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2016200712A JP2016200712A (ja) 2016-12-01
JP6305958B2 true JP6305958B2 (ja) 2018-04-04

Family

ID=57422968

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015080591A Active JP6305958B2 (ja) 2015-04-10 2015-04-10 合奏装置、合奏システム、その方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6305958B2 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4348577B2 (ja) * 1999-08-17 2009-10-21 ソニー株式会社 筋電位情報を利用したモーションキャプチャー装置とその制御方法、並びにこれを用いた電気刺激装置、力触覚呈示装置とこれらの制御方法
JP3646599B2 (ja) * 2000-01-11 2005-05-11 ヤマハ株式会社 演奏インターフェイス
JP4391091B2 (ja) * 2003-01-17 2009-12-24 ソニー株式会社 情報伝送方法、情報伝送装置、情報記録方法、情報記録装置、情報再生方法、情報再生装置および記録媒体
JP4333588B2 (ja) * 2005-01-17 2009-09-16 ヤマハ株式会社 セッション端末
JP2014048504A (ja) * 2012-08-31 2014-03-17 Casio Comput Co Ltd セッション装置、方法及びプログラム

Also Published As

Publication number Publication date
JP2016200712A (ja) 2016-12-01

Similar Documents

Publication Publication Date Title
Rottondi et al. An overview on networked music performance technologies
US9602388B2 (en) Session terminal apparatus and network session system
KR102546398B1 (ko) 레이턴시 없이 라이브에 가까운 라이브 인터넷 음악을 공연하고 녹음하는 방법 및 시스템
JP5257966B2 (ja) 音楽再生制御システム、音楽演奏プログラム、および演奏データの同期再生方法
US20110252951A1 (en) Real time control of midi parameters for live performance of midi sequences
WO2016027366A1 (ja) 振動信号生成装置及び振動信号生成方法
JP6457326B2 (ja) 歌唱音声の伝送遅延に対応したカラオケシステム
JP7456019B2 (ja) オーディオ波形サンプルを用いてライブ音楽を演奏及び録音するための方法及びシステム
WO2019208067A1 (ja) 任意信号挿入方法及び任意信号挿入システム
KR102294752B1 (ko) 원격 사운드 동기화 시스템 및 방법
WO2006043536A1 (ja) コンテンツ再生方法およびコンテンツ再生装置
Tom et al. Haptic Tutor-A haptics-based music education tool for beginners
JP4259329B2 (ja) 演奏装置および合奏システム
Carôt et al. Towards a comprehensive cognitive analysis of delay-influenced rhythmical interaction
JP4700351B2 (ja) マルチユーザ環境の制御
CN104376840B (zh) 取样装置、键盘乐器、取样方法及计算机可读取记录介质
JP6305958B2 (ja) 合奏装置、合奏システム、その方法及びプログラム
JP2014153515A (ja) 演奏録音システム
JP4612541B2 (ja) 遠隔地における合奏方法及びそれに用いる電子楽器及びそのプログラム
Roth Music technology for neurologic music therapy
Greeff The influence of perception latency on the quality of musical performance during a simulated delay scenario
JP4422656B2 (ja) ネットワークを用いた遠隔多地点合奏システム
JP2018063315A (ja) 演奏システムおよび自動演奏方法
Chao et al. DanceVibe: Assistive Dancing for the Hearing Impaired
JP5109127B2 (ja) 合奏システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180307

R150 Certificate of patent or registration of utility model

Ref document number: 6305958

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150