[go: up one dir, main page]

JP6699677B2 - 情報処理方法、情報処理装置およびプログラム - Google Patents

情報処理方法、情報処理装置およびプログラム Download PDF

Info

Publication number
JP6699677B2
JP6699677B2 JP2018019141A JP2018019141A JP6699677B2 JP 6699677 B2 JP6699677 B2 JP 6699677B2 JP 2018019141 A JP2018019141 A JP 2018019141A JP 2018019141 A JP2018019141 A JP 2018019141A JP 6699677 B2 JP6699677 B2 JP 6699677B2
Authority
JP
Japan
Prior art keywords
data
performance
control data
control
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018019141A
Other languages
English (en)
Other versions
JP2019139295A (ja
JP2019139295A5 (ja
Inventor
陽 前澤
陽 前澤
ボチェン リー
ボチェン リー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2018019141A priority Critical patent/JP6699677B2/ja
Priority to PCT/JP2019/004115 priority patent/WO2019156092A1/ja
Priority to CN201980008411.6A priority patent/CN111630573B/zh
Publication of JP2019139295A publication Critical patent/JP2019139295A/ja
Publication of JP2019139295A5 publication Critical patent/JP2019139295A5/ja
Application granted granted Critical
Publication of JP6699677B2 publication Critical patent/JP6699677B2/ja
Priority to US16/983,341 priority patent/US11557269B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/021—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs or seven segments displays
    • G10H2220/026—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs or seven segments displays associated with a key or other user input device, e.g. key indicator lights
    • G10H2220/056—Hand or finger indicator, e.g. for indicating which hand or which specific finger should be used
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Processing Or Creating Images (AREA)
  • Auxiliary Devices For Music (AREA)

Description

本発明は、演奏者等の実演者を表すオブジェクトの動作を制御するための技術に関する。
演奏者を表す画像であるオブジェクトの動作を、楽曲の演奏データに応じて制御する技術が従来から提案されている（特許文献１，２および非特許文献１，２）。例えば特許文献１には、演奏データが指定する音高に応じて、当該楽曲を演奏する演奏者の動画像を生成する技術が開示されている。
特開２０００−１０５６０号公報 特開２０１０−１３４７９０号公報
山本和樹ほか５名，"ピアノ演奏における自然な手指動作ＣＧの自動生成"，TVRSJ Vol.15 No.3 p.495-502，2010 釘本望美ほか５名，"モーションキャプチャを用いたピアノ演奏動作のＣＧ表現と音楽演奏インタフェースへの応用"，社団法人情報処理学会 研究報告，2007-MUS-72(15)，2007/10/12
特許文献１の技術では、各音符の音高および音量等の条件毎にオブジェクトの動作を示す演奏動作データが記憶装置に記憶される。そして、楽曲の演奏データが指定する各音符の条件に対応する演奏動作データが記憶装置から検索されて、オブジェクトの動作の制御に利用される。しかし、演奏データと演奏動作データとが固定的に対応付けられた構成では、演奏データに応じたオブジェクトの動作が単調かつ画一的になり易いという問題がある。以上の事情を考慮して、本発明は、オブジェクトの動作を演奏に応じて多様に変化させるための制御データを生成することを目的とする。
以上の課題を解決するために、本発明の好適な態様に係る情報処理方法は、音符の時系列を表す解析データと、実演者を表すオブジェクトの動作を制御するための制御データとの関係を学習した学習済モデルに、処理対象の解析データを入力することで、当該解析データに応じた制御データを生成する。
本発明の好適な態様に係る情報処理装置は、音符の時系列を表す解析データと、実演者を表すオブジェクトの動作を制御するための制御データとの関係を学習した学習済モデルに、処理対象の解析データを入力することで、当該解析データに応じた制御データを生成する制御データ生成部を具備する。
本発明の実施形態に係る演奏システムの構成を例示するブロック図である。 情報処理装置の機能的な構成を例示するブロック図である。 表示装置による表示画面の説明図である。 解析データの説明図である。 制御データの説明図である。 制御データ生成部の構成を例示するブロック図である。 第１統計モデルの構成を例示するブロック図である。 第２統計モデルの構成を例示するブロック図である。 教師データの説明図である。 動作制御処理を例示するフローチャートである。
＜本発明の好適な形態＞
図１は、本発明の好適な形態に係る演奏システム１００の構成を例示するブロック図である。演奏システム１００は、演奏者Ｐが所在する音響ホール等の空間に設置されたコンピュータシステムである。演奏者Ｐは、例えば楽器の演奏者または楽曲の歌唱者である。演奏システム１００は、演奏者Ｐによる楽曲の演奏に並行して当該楽曲の自動演奏を実行する。
図１に例示される通り、演奏システム１００は、情報処理装置１１と演奏装置１２と収音装置１３と表示装置１４とを具備する。情報処理装置１１は、演奏システム１００の各要素を制御するコンピュータシステムであり、例えばタブレット端末またはパーソナルコンピュータ等の情報端末で実現される。
演奏装置１２は、情報処理装置１１による制御のもとで楽曲の自動演奏を実行する。具体的には、演奏装置１２は、駆動機構１２１と発音機構１２２とを具備する自動演奏楽器（例えば自動演奏ピアノ）である。発音機構１２２は、自然楽器の鍵盤楽器と同様に、鍵盤の各鍵の変位に連動して弦（発音体）を発音させる打弦機構を鍵毎に具備する。駆動機構１２１は、発音機構１２２を駆動することで対象楽曲の自動演奏を実行する。情報処理装置１１からの指示に応じて駆動機構１２１が発音機構１２２を駆動することで自動演奏が実現される。なお、情報処理装置１１を演奏装置１２に搭載してもよい。
収音装置１３は、演奏者Ｐによる演奏で発音された音響（例えば楽器音または歌唱音）を収音するマイクロホンである。収音装置１３は、音響の波形を表す音響信号Ａを生成する。なお、電気弦楽器等の電気楽器から出力される音響信号Ａを利用してもよい。したがって、収音装置１３は省略され得る。表示装置１４は、情報処理装置１１による制御のもとで各種の画像を表示する。例えば液晶表示パネルまたはプロジェクタが表示装置１４として好適に利用される。
図１に例示される通り、情報処理装置１１は、制御装置１１１と記憶装置１１２とを具備するコンピュータシステムで実現される。制御装置１１１は、例えばＣＰＵ（Central Processing Unit）等の処理回路であり、演奏システム１００を構成する各要素（演奏装置１２，収音装置１３および表示装置１４）を統括的に制御する。制御装置１１１は、少なくとも１個の回路を含んで構成される。
記憶装置（メモリ）１１２は、例えば磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または複数種の記録媒体の組合せで構成され、制御装置１１１が実行するプログラムと制御装置１１１が使用する各種のデータとを記憶する。なお、演奏システム１００とは別体の記憶装置１１２（例えばクラウドストレージ）を用意し、移動体通信網またはインターネット等の通信網を介して制御装置１１１が記憶装置１１２に対する書込および読出を実行してもよい。すなわち、記憶装置１１２を演奏システム１００から省略してもよい。
本実施形態の記憶装置１１２は、楽曲データＤを記憶する。楽曲データＤは、例えばＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠した形式のファイル（ＳＭＦ：Standard MIDI File）である。楽曲データＤは、楽曲を構成する音符の時系列を指定する。具体的には、楽曲データＤは、音符を指定して演奏を指示する演奏データＥと、各演奏データＥの読出の時点を指定する時間データとが配列された時系列データである。演奏データＥは、例えば音符の音高と強度とを指定する。時間データは、例えば相前後する演奏データＥの読出の間隔を指定する。
図２は、情報処理装置１１の機能的な構成を例示するブロック図である。図２に例示される通り、制御装置１１１は、記憶装置１１２に記憶されたプログラムに従って複数のタスクを実行することで、図２に例示された複数の機能（演奏制御部２１，解析データ生成部２２，制御データ生成部２３および表示制御部２４）を実現する。なお、複数の装置の集合（すなわちシステム）で制御装置１１１の機能を実現してもよいし、制御装置１１１の機能の一部または全部を専用の電子回路（例えば信号処理回路）で実現してもよい。また、演奏装置１２と収音装置１３と表示装置１４とが設置された音響ホール等の空間から離間した位置にあるサーバ装置が、制御装置１１１の一部または全部の機能を実現してもよい。
演奏制御部２１は、楽曲データＤの各演奏データＥを演奏装置１２に対して順次に出力するシーケンサである。演奏装置１２は、演奏制御部２１から順次に供給される演奏データＥで指定された音符を演奏する。本実施形態の演奏制御部２１は、演奏装置１２による自動演奏が演奏者Ｐによる実演奏に追従するように、演奏装置１２に対する演奏データＥの出力の時点を可変に制御する。演奏者Ｐが楽曲の各音符を演奏する時点は、当該演奏者Ｐが意図する音楽的な表現等に起因して動的に変化する。したがって、演奏制御部２１が演奏装置１２に演奏データＥを出力する時点も可変である。
具体的には、演奏制御部２１は、楽曲内で演奏者Ｐが現に演奏している時点（以下「演奏時点」という）を音響信号Ａの解析により推定する。演奏時点の推定は、演奏者Ｐによる実演奏に並行して順次に実行される。演奏時点の推定には、例えば特開２０１５−７９１８３号公報等の公知の音響解析技術（スコアアライメント）が任意に採用され得る。演奏制御部２１は、演奏装置１２による自動演奏が演奏時点の進行に同期するように各演奏データＥを演奏装置１２に出力する。具体的には、演奏制御部２１は、楽曲データＤの各時間データにより指定された時点に演奏時点が到達するたびに、当該時間データに対応する演奏データＥを演奏装置１２に出力する。したがって、演奏装置１２による自動演奏の進行が演奏者Ｐによる実演奏に同期する。すなわち、演奏装置１２と演奏者Ｐとが相互に協調して合奏しているかのような雰囲気が演出される。
表示制御部２４は、図３に例示される通り、仮想的な演奏者を表す画像（以下「演奏者オブジェクト」という）Ｏbを表示装置１４に表示させる。演奏者オブジェクトＯbが演奏する鍵盤楽器を表す画像も演奏者オブジェクトＯbとともに表示装置１４に表示される。図３に例示された演奏者オブジェクトＯbは、演奏者の両腕部と胸部と頭部とを含む上半身を表す画像である。表示制御部２４は、演奏装置１２による自動演奏に並行して演奏者オブジェクトＯbを動的に変化させる。具体的には、演奏装置１２による自動演奏に連動した演奏動作を演奏者オブジェクトＯbが実行するように、表示制御部２４は演奏者オブジェクトＯbを制御する。例えば、自動演奏のリズムで演奏者オブジェクトＯbが身体を揺動させ、自動演奏による音符の発音時には演奏者オブジェクトＯbが押鍵の動作を実行する。したがって、表示装置１４による表示画像を視認する利用者（例えば演奏者Ｐまたは観客）は、演奏者オブジェクトＯbが楽曲を演奏しているかのような感覚を知覚することが可能である。図２の解析データ生成部２２および制御データ生成部２３は、演奏者オブジェクトＯbの動作を自動演奏に連動させるための要素である。
解析データ生成部２２は、自動演奏される各音符の時系列を表す解析データＸを生成する。解析データ生成部２２は、演奏制御部２１が出力する演奏データＥを順次に取得し、演奏データＥの時系列から解析データＸを生成する。演奏制御部２１が出力する演奏データＥの取得に並行して、時間軸上の複数の単位期間（フレーム）の各々について解析データＸが順次に生成される。すなわち、演奏者Ｐによる実演奏および演奏装置１２による自動演奏に並行して解析データＸが順次に生成される。
図４は、解析データＸの説明図である。本実施形態の解析データＸは、Ｋ行Ｎ列の行列（以下「演奏行列」という）Ｚを表す（Ｋ，Ｎは自然数）。演奏行列Ｚは、演奏制御部２１が順次に出力する演奏データＥの時系列を表す２値行列である。演奏行列Ｚの横方向は時間軸に相当する。演奏行列Ｚの任意の１列は、Ｎ個（例えば６０個）の単位期間のうちの１個の単位期間に対応する。また、演奏行列Ｚの縦方向は音高軸に相当する。演奏行列Ｚの任意の１行は、Ｋ個（例えば１２８個）の音高のうちの１個の音高に対応する。演奏行列Ｚのうち第ｋ行第ｎ列（ｋ＝１〜Ｋ，ｎ＝１〜Ｎ）の１個の要素は、第ｎ列に対応する単位期間において第ｋ行に対応する音高が発音されるか否かを表す。具体的には、任意の音高に対応する第ｋ行のＮ個の要素のうち、当該音高が発音される各単位期間に対応する要素は「１」に設定され、当該音高が発音されない各単位期間に対応する要素は「０」に設定される。
時間軸上の１個の単位期間（以下「特定単位期間」という）Ｕ0について生成される解析データＸは、図４に例示される通り、特定単位期間Ｕ0を含む解析期間Ｑ内の音符の時系列を表す。時間軸上の複数の単位期間の各々が時系列の順番で順次に特定単位期間Ｕ0として選択される。解析期間Ｑは、特定単位期間Ｕ0を含むＮ個の単位期間で構成される期間である。すなわち、演奏行列Ｚの第ｎ列は、解析期間Ｑを構成するＮ個の単位期間のうち第ｎ番目の単位期間に対応する。具体的には、解析期間Ｑは、１個の特定単位期間Ｕ0（現在）と、特定単位期間Ｕ0の前方（過去）に位置する期間Ｕ1と、特定単位期間Ｕ0の後方（未来）に位置する期間Ｕ2とで構成される。期間Ｕ1および期間Ｕ2の各々は、複数の単位期間で構成された約１秒程度の期間である。
演奏行列Ｚのうち期間Ｕ1内の各単位期間に対応する要素は、演奏制御部２１から既に取得した各演奏データＥに応じて「１」または「０」に設定される。他方、演奏行列Ｚのうち期間Ｕ2内の各単位期間に対応する要素（すなわち、演奏データＥを未だ取得していない未来の期間に対応する要素）は、特定単位期間Ｕ0以前の音符の時系列と楽曲データＤとから予測される。期間Ｕ2内の各単位期間に対応する要素の予測には、公知の時系列解析技術（例えば線形予測またはカルマンフィルタ）が任意に採用される。以上の説明から理解される通り、解析データＸは、演奏者Ｐによる演奏に応じた可変の時点で発音される音符の時系列を表すデータである。
図２の制御データ生成部２３は、演奏者オブジェクトＯbの動作を制御するための制御データＹを、解析データ生成部２２が生成した解析データＸから生成する。制御データＹは、単位期間毎に順次に生成される。具体的には、任意の１個の単位期間の解析データＸから当該単位期間の制御データＹが生成される。演奏制御部２１による演奏データＥの出力に並行して制御データＹが生成される。すなわち、演奏者Ｐによる実演奏および演奏装置１２による自動演奏に並行して制御データＹの時系列が生成される。以上の例示の通り、本実施形態では、演奏装置１２による自動演奏と制御データＹの生成とに共通の演奏データＥが利用される。したがって、演奏装置１２による自動演奏と制御データＹの生成とに別個のデータを利用する構成と比較して、演奏装置１２による自動演奏に連動した動作をオブジェクトに実行させるための処理が簡素化されるという利点がある。
図５は、演奏者オブジェクトＯbおよび制御データＹの説明図である。図５に例示される通り、演奏者オブジェクトＯbは、複数の制御点４１と複数の連結部４２（リンク）とで骨格が表現される。各制御点４１は、仮想空間内で移動可能な点であり、連結部４２は、各連結部４２を相互に連結する直線である。図３および図５から理解される通り、楽器の演奏に直接的に関与する両腕部だけでなく、演奏中に揺動する胸部および頭部にも、連結部４２および制御点４１が設定される。各制御点４１を移動させることで演奏者オブジェクトＯbの動作が制御される。以上に説明した通り、本実施形態では、両腕部に加えて胸部および頭部にも制御点４１が設定されるから、両腕部により楽器を演奏する動作だけでなく、演奏中に胸部および頭部を揺動させる動作を含む自然な演奏動作を、演奏者オブジェクトＯbに実行させることができる。すなわち、演奏者オブジェクトＯbが仮想的な演奏者として自動演奏しているような演出を実現できる。なお、制御点４１および連結部４２の位置または個数は任意であり、以上の例示には限定されない。
制御データ生成部２３が生成する制御データＹは、座標空間内における複数の制御点４１の各々の位置を表すベクトルである。本実施形態の制御データＹは、図５に例示される通り、相互に直交するＡx軸とＡy軸とが設定された２次元座標空間内における各制御点４１の座標を表す。制御データＹが表す各制御点４１の座標は、複数の制御点４１について平均が０で分散が１となるように正規化されている。複数の制御点４１の各々についてＡx軸上の座標とＡy軸上の座標とを配列したベクトルが制御データＹとして利用される。ただし、制御データＹの形式は任意である。以上に例示した制御データＹの時系列は、演奏者オブジェクトＯbの動作（すなわち、各制御点４１および各連結部４２の経時的な移動）を表現する。
本実施形態の制御データ生成部２３は、図６に例示される通り、学習済モデルＭを利用して解析データＸから制御データＹを生成する。学習済モデルＭは、解析データＸと制御データＹとの関係を学習した統計的予測モデル（典型的にはニューラルネットワーク）であり、解析データＸの入力に対して制御データＹを出力する。本実施形態の学習済モデルＭは、図６に例示される通り、第１統計モデルＭaと第２統計モデルＭbとを直列に接続した構成である。
第１統計モデルＭaは、解析データＸの特徴を表す特徴ベクトルＦを生成する。例えば特徴の抽出に好適な畳込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）が第１統計モデルＭaとして好適に利用される。図７に例示される通り、第１統計モデルＭaは、例えば第１層Ｌa1と第２層Ｌa2と全結合層Ｌa3とを積層した構成である。第１層Ｌa1および第２層Ｌa2の各々は、畳込層と最大プーリング層とで構成される。
第２統計モデルＭbは、特徴ベクトルＦに応じた制御データＹを生成する。例えば時系列データの処理に好適な長期短期記憶（ＬＳＴＭ：Long Short Term Memory）ユニットを含む再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）が第２統計モデルＭbとして好適に利用される。具体的には、図８に例示される通り、第２統計モデルＭbは、例えば第１層Ｌb1と第２層Ｌb2と全結合層Ｌb3とを積層した構成である。第１層Ｌb1および第２層Ｌb2の各々は、長期短期記憶ユニットで構成される。以上に例示した通り、本実施形態によれば、畳込みニューラルネットワークと再帰型ニューラルネットワークとの組合せにより、演奏データＥの時系列に応じた適切な制御データＹを生成できる。ただし、学習済モデルＭの構成は任意であり、以上の例示には限定されない。
学習済モデルＭは、解析データＸから制御データＹを生成する演算を制御装置１１１に実行させるプログラム（例えば人工知能ソフトウェアを構成するプログラムモジュール）と、当該演算に適用される複数の係数Ｃとの組合せで実現される。複数の係数Ｃは、多数の教師データＴを利用した機械学習（特に深層学習）により設定されて記憶装置１１２に保持される。具体的には、第１統計モデルＭaを規定する複数の係数Ｃと第２統計モデルＭbを規定する複数の係数Ｃとが、複数の教師データＴを利用した機械学習により一括的に設定される。
図９は、教師データＴの説明図である。図９に例示される通り、複数の教師データＴの各々は、解析データｘと制御データｙとの組合せを表す。演奏者オブジェクトＯbが仮想的に演奏する楽器と同種の楽器を特定の演奏者（以下「標本演奏者」という）が実際に演奏する場面を観測することで、機械学習用の複数の教師データＴが収集される。具体的には、標本演奏者が演奏した音符の時系列を表す解析データｘが順次に生成される。また、標本演奏者による演奏の様子を撮像した動画像から標本演奏者の各制御点の位置が特定され、各制御点の位置を表す制御データｙが生成される。時間軸上の１個の時点について生成された解析データｘと制御データｙとを相互に対応させることで１個の教師データＴが生成される。なお、複数の標本演奏者から教師データＴを収集してもよい。
機械学習では、教師データＴの解析データｘを暫定的なモデルに入力したときに生成される制御データＹと、当該教師データＴの制御データｙ（すなわち正解）との差異を表す損失関数が最小化されるように、学習済モデルＭの複数の係数Ｃが設定される。例えば、暫定的なモデルが生成する制御データＹと教師データＴの制御データｙとの間の平均絶対誤差が損失関数として好適である。
なお、損失関数の最小化という条件だけでは、各制御点４１の間隔（すなわち各連結部４２の全長）が一定であることが保証されない。したがって、演奏者オブジェクトＯbの各連結部４２が不自然に伸縮する可能性がある。そこで、本実施形態では、損失関数の最小化という条件のほか、制御データｙが表す各制御点４１の間隔の時間的な変化が最小化されるという条件のもとで、学習済モデルＭの複数の係数Ｃが最適化される。したがって、各連結部４２の伸縮が低減された自然な動作を演奏者オブジェクトＯbに実行させることが可能である。以上に説明した機械学習で生成された学習済モデルＭは、標本演奏者による演奏内容と演奏時の身体の動作との関係から抽出される傾向のもとで、未知の解析データＸに対して統計的に妥当な制御データＹを出力する。また、第１統計モデルＭaは、解析データＸと制御データＹとの間に以上の関係を成立させるために最適な特徴ベクトルＦを抽出するように学習される。
図２の表示制御部２４は、制御データ生成部２３が単位期間毎に生成した制御データＹに応じて演奏者オブジェクトＯbを表示装置１４に表示させる。具体的には、制御データＹで指定される座標に各制御点４１が位置するように、演奏者オブジェクトＯbの状態が単位期間毎に更新される。単位期間毎に以上の制御が実行されることで各制御点４１は経時的に移動する。すなわち、演奏者オブジェクトＯbは演奏動作を実行する。以上の説明から理解される通り、制御データＹの時系列は演奏者オブジェクトＯbの動作を規定する。
図１０は、演奏者オブジェクトＯbの動作を制御するための処理（以下「動作制御処理」という）を例示するフローチャートである。動作制御処理は、時間軸上の単位期間毎に実行される。動作制御処理を開始すると、解析データ生成部２２は、特定単位期間Ｕ0とその前方および後方の期間（Ｕ1，Ｕ2）とを含む解析期間Ｑ内の音符の時系列を表す解析データＸを生成する（Ｓ1）。制御データ生成部２３は、解析データ生成部２２が生成した解析データＸを学習済モデルＭに入力することで制御データＹを生成する（Ｓ2）。表示制御部２４は、制御データ生成部２３が生成した制御データＹに応じて演奏者オブジェクトＯbを更新する（Ｓ3）。解析データＸの生成（Ｓ1）と制御データＹの生成（Ｓ2）と演奏者オブジェクトＯbの表示（Ｓ3）とは、演奏データＥの取得に並行して実行される。
以上に説明した通り、本実施形態では、特定単位期間Ｕ0とその前後の期間とを含む解析期間Ｑ内の解析データＸから、演奏データＥの取得に並行して、演奏者オブジェクトＯbの動作を制御するための制御データＹが生成される。したがって、楽曲内の各音符の発音の時点が可変であるにも関わらず、演奏者オブジェクトＯbの動作を適切に制御できる。
また、本実施形態では、学習済モデルＭに解析データＸを入力することで制御データＹが生成されるから、機械学習に利用された複数の教師データＴから特定される傾向のもとで、未知の解析データＸに対して統計的に妥当な動作を表す多様な制御データＹを生成できる。また、複数の制御点４１の各々の位置を示す座標が正規化されているから、多様なサイズの演奏者オブジェクトＯbの動作を制御データＹにより制御できるという利点もある。
＜変形例＞
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
（１）前述の形態では、解析期間Ｑ内の音符の時系列を表す２値行列を演奏行列Ｚとして例示したが、演奏行列Ｚは以上の例示に限定されない。例えば、解析期間Ｑ内の音符の演奏強度（音量）を表す演奏行列Ｚを生成してもよい。具体的には、演奏行列Ｚのうち第ｋ行第ｎ列の１個の要素は、第ｎ列に対応する単位期間において第ｋ行に対応する音高が演奏される強度を表す。以上の構成によれば、各音符の演奏強度が制御データＹに反映されるから、演奏強度の強弱に応じて演奏者の動作が相違する傾向を演奏者オブジェクトＯbの動作に付与することができる。
（２）前述の形態では、第１統計モデルＭaが生成した特徴ベクトルＦを第２統計モデルＭbに入力したが、第１統計モデルＭaが生成した特徴ベクトルＦに他の要素を付加したうえで第２統計モデルＭbに入力してもよい。例えば、演奏者Ｐによる楽曲の演奏時点（例えば小節線からの距離）、演奏速度、楽曲の拍子を表す情報、または演奏強度（例えば強度値もしくは強度記号）を、特徴ベクトルＦに付加したうえで第２統計モデルＭbに入力してもよい。
（３）前述の形態では、演奏装置１２の制御に利用される演奏データＥを演奏者オブジェクトＯbの制御にも流用したが、演奏データＥを利用した演奏装置１２の制御を省略してもよい。また、演奏データＥは、ＭＩＤＩ規格に準拠したデータに限定されない。例えば、収音装置１３が出力する音響信号Ａの周波数スペクトルを演奏データＥとして利用してもよい。演奏データＥの時系列は、音響信号Ａのスペクトログラムに相当する。音響信号Ａの周波数スペクトルは、楽器が発音する音符の音高に対応した帯域にピークが観測されるから、音符の発音を表すデータに相当する。以上の説明から理解される通り、演奏データＥは、音符の発音を表すデータとして包括的に表現される。
（４）前述の形態では、自動演奏の対象となる楽曲を演奏する演奏者を表す演奏者オブジェクトＯbを例示したが、制御データＹにより動作が制御されるオブジェクトの態様は以上の例示に限定されない。例えば、演奏装置１２による自動演奏に連動してダンスを実施するダンサーを表すオブジェクトを表示装置１４に表示させてもよい。具体的には、楽曲に合わせてダンスするダンサーを撮像した動画像から制御点の位置が特定され、各制御点の位置を表すデータが教師データＴの制御データｙとして利用される。したがって、学習済モデルＭは、演奏される音符とダンサーの身体の動作との関係から抽出される傾向を学習する。以上の説明から理解される通り、制御データＹは、実演者（例えば演奏者またはダンサー）を表すオブジェクトの動作を制御するためのデータとして包括的に表現される。
（５）前述の形態に係る情報処理装置１１の機能は、コンピュータ（例えば制御装置１１１）とプログラムとの協働により実現される。前述の形態に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされる。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体を含む。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供してもよい。
（６）学習済モデルＭを実現するための人工知能ソフトウェアの実行主体はＣＰＵに限定されない。例えば、Tensor Processing UnitおよびNeural Engine等のニューラルネットワーク用の処理回路、または、人工知能に専用されるＤＳＰ（Digital Signal Processor）が、人工知能ソフトウェアを実行してもよい。また、以上の例示から選択された複数種の処理回路が協働して人工知能ソフトウェアを実行してもよい。
＜付記＞
以上に例示した形態から、例えば以下の構成が把握される。
本発明の好適な態様（第１態様）に係る情報処理方法は、音符の時系列を表す解析データと、実演者を表すオブジェクトの動作を制御するための制御データとの関係を学習した学習済モデルに、処理対象の解析データを入力することで、当該解析データに応じた制御データを生成する。以上の態様では、学習済モデルに解析データを入力することで制御データが生成されるから、機械学習に利用された複数の教師データから特定される傾向のもとで、未知の解析データに対して妥当な動作を表す多様な制御データを生成できる。
第１態様の好適例（第２態様）において、前記学習済モデルは、前記解析データの特徴を表す特徴ベクトルを生成する畳込みニューラルネットワークと、前記特徴ベクトルに応じた制御データを長期短期記憶ユニットにより生成する再帰型ニューラルネットワークとを含む。以上の態様では、学習済モデルが、畳込みニューラルネットワークと再帰型ニューラルネットワークとの組合せを含むから、演奏データに応じた適切な制御データを生成できる。
第１態様または第２態様の好適例（第３態様）において、単位期間における制御データの生成に利用される解析データは、当該単位期間と、当該単位期間の前方および後方の期間とを含む解析期間内の音符の時系列を表す。以上の態様では、単位期間の解析データが、当該単位期間とその前後の期間とを含む解析期間内の音符の時系列を表すから、単位期間に対して過去の音符と未来の音符とを加味した適切な動作を表す制御データを生成できる。
第１態様から第３態様の何れかの好適例（第４態様）において、前記制御データは、前記オブジェクトを規定する複数の制御点の各々の位置を示す正規化された座標を表す。以上の態様では、オブジェクトの複数の制御点の各々の位置を示す座標が正規化されるから、多様なサイズのオブジェクトの動作を制御データにより制御できるという利点がある。
１００…演奏システム、１１…情報処理装置、１１１…制御装置、１１２…記憶装置、１２…演奏装置、１２１…駆動機構、１２２…発音機構、１３…収音装置、１４…表示装置、２１…演奏制御部、２２…解析データ生成部、２３…制御データ生成部、２４…表示制御部、４１…制御点、４２…連結部、Ｍ…学習済モデル、Ｍa…第１統計モデル、Ｍb…第２統計モデル。

Claims (9)

  1. 音符の時系列を表す解析データと、実演者を表すオブジェクトの動作を制御するための制御データとの関係を学習した学習済モデルに、処理対象の解析データを入力することで、当該解析データに応じた制御データを生成する
    コンピュータにより実現される情報処理方法であって、
    前記学習済モデルは、
    前記解析データの特徴を表す特徴ベクトルを生成する畳込みニューラルネットワークと、
    前記特徴ベクトルに応じた制御データを生成する再帰型ニューラルネットワークとを含む
    情報処理方法。
  2. 前記再帰型ニューラルネットワークは、長期短期記憶ユニットを含む
    請求項１の情報処理方法。
  3. 単位期間における制御データの生成に利用される解析データは、当該単位期間と、当該単位期間の前方および後方の期間とを含む解析期間内の音符の時系列を表す
    請求項１または請求項２の情報処理方法。
  4. 前記制御データは、前記オブジェクトを規定する複数の制御点の各々の位置を示す正規化された座標を表す
    請求項１から請求項３の何れかの情報処理方法。
  5. 音符の時系列を表す解析データと、実演者を表すオブジェクトの動作を制御するための制御データとの関係を学習した学習済モデルに、処理対象の解析データを入力することで、当該解析データに応じた制御データを生成する制御データ生成部を具備し、
    前記学習済モデルは、
    前記解析データの特徴を表す特徴ベクトルを生成する畳込みニューラルネットワークと、
    前記特徴ベクトルに応じた制御データを生成する再帰型ニューラルネットワークとを含む
    情報処理装置。
  6. 前記再帰型ニューラルネットワークは、長期短期記憶ユニットを含む
    請求項５の情報処理装置。
  7. 単位期間における制御データの生成に利用される解析データは、当該単位期間と、当該単位期間の前方および後方の期間とを含む解析期間内の音符の時系列を表す
    請求項５または請求項６の情報処理装置。
  8. 前記制御データは、前記オブジェクトを規定する複数の制御点の各々の位置を示す正規化された座標を表す
    請求項５から請求項７の何れかの情報処理装置。
  9. 音符の時系列を表す解析データと、実演者を表すオブジェクトの動作を制御するための制御データとの関係を学習した学習済モデルに、処理対象の解析データを入力することで、当該解析データに応じた制御データを生成する制御データ生成部
    としてコンピュータを機能させるプログラムであって、
    前記学習済モデルは、
    前記解析データの特徴を表す特徴ベクトルを生成する畳込みニューラルネットワークと、
    前記特徴ベクトルに応じた制御データを生成する再帰型ニューラルネットワークとを含む
    プログラム。
JP2018019141A 2018-02-06 2018-02-06 情報処理方法、情報処理装置およびプログラム Active JP6699677B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018019141A JP6699677B2 (ja) 2018-02-06 2018-02-06 情報処理方法、情報処理装置およびプログラム
PCT/JP2019/004115 WO2019156092A1 (ja) 2018-02-06 2019-02-05 情報処理方法
CN201980008411.6A CN111630573B (zh) 2018-02-06 2019-02-05 信息处理方法
US16/983,341 US11557269B2 (en) 2018-02-06 2020-08-03 Information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018019141A JP6699677B2 (ja) 2018-02-06 2018-02-06 情報処理方法、情報処理装置およびプログラム

Publications (3)

Publication Number Publication Date
JP2019139295A JP2019139295A (ja) 2019-08-22
JP2019139295A5 JP2019139295A5 (ja) 2020-04-30
JP6699677B2 true JP6699677B2 (ja) 2020-05-27

Family

ID=67548952

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018019141A Active JP6699677B2 (ja) 2018-02-06 2018-02-06 情報処理方法、情報処理装置およびプログラム

Country Status (4)

Country Link
US (1) US11557269B2 (ja)
JP (1) JP6699677B2 (ja)
CN (1) CN111630573B (ja)
WO (1) WO2019156092A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6699677B2 (ja) * 2018-02-06 2020-05-27 ヤマハ株式会社 情報処理方法、情報処理装置およびプログラム
JP6724938B2 (ja) * 2018-03-01 2020-07-15 ヤマハ株式会社 情報処理方法、情報処理装置およびプログラム
JP7243026B2 (ja) * 2018-03-23 2023-03-22 ヤマハ株式会社 演奏解析方法、演奏解析装置およびプログラム
JP7147384B2 (ja) * 2018-09-03 2022-10-05 ヤマハ株式会社 情報処理方法および情報処理装置
US11615772B2 (en) * 2020-01-31 2023-03-28 Obeebo Labs Ltd. Systems, devices, and methods for musical catalog amplification services
CN115699161A (zh) * 2020-06-09 2023-02-03 雅马哈株式会社 音响处理方法、音响处理系统及程序
JP7571804B2 (ja) 2021-02-10 2024-10-23 ヤマハ株式会社 情報処理システム、電子楽器、情報処理方法および機械学習システム
WO2023170757A1 (ja) * 2022-03-07 2023-09-14 ヤマハ株式会社 再生制御方法、情報処理方法、再生制御システムおよびプログラム

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0563929B1 (en) * 1992-04-03 1998-12-30 Yamaha Corporation Sound-image position control apparatus
JPH08195070A (ja) * 1995-01-20 1996-07-30 Toyota Motor Corp 車載選曲装置
JP3384314B2 (ja) * 1997-12-02 2003-03-10 ヤマハ株式会社 楽音応答画像生成システム、方法、装置、及び、そのための記録媒体
JP3921817B2 (ja) * 1998-06-18 2007-05-30 ヤマハ株式会社 自動演奏装置およびフィンガリング記録装置
JP2002086378A (ja) * 2000-09-08 2002-03-26 Sony Corp 脚式ロボットに対する動作教示システム及び動作教示方法
JP3945279B2 (ja) * 2002-03-15 2007-07-18 ソニー株式会社 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置
JP4917446B2 (ja) * 2007-01-22 2012-04-18 ブラザー工業株式会社 画像生成装置、画像生成プログラム、データ補間装置、およびデータ補間プログラム
KR100900794B1 (ko) * 2007-04-12 2009-06-02 누리엔소프트웨어 주식회사 댄스 게임방법 및 이 방법이 수록되어 컴퓨터로 읽을 수있는 기록매체
CN101414322A (zh) * 2007-10-16 2009-04-22 盛趣信息技术（上海）有限公司 虚拟角色的展示方法及系统
WO2009052032A1 (en) * 2007-10-19 2009-04-23 Sony Computer Entertainment America Inc. Scheme for providing audio effects for a musical instrument and for controlling images with same
JP5495222B2 (ja) * 2008-04-23 2014-05-21 インターナショナル・ビジネス・マシーンズ・コーポレーション 操作対象物制御装置、システム、方法およびプログラム
JP5206378B2 (ja) * 2008-12-05 2013-06-12 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9177540B2 (en) * 2009-06-01 2015-11-03 Music Mastermind, Inc. System and method for conforming an audio input to a musical key
CN101853668B (zh) * 2010-03-29 2014-10-29 北京中星微电子有限公司 一种将midi音乐生成动画的方法和系统
US20120058824A1 (en) * 2010-09-07 2012-03-08 Microsoft Corporation Scalable real-time motion recognition
JP6019858B2 (ja) * 2011-07-27 2016-11-02 ヤマハ株式会社 楽曲解析装置および楽曲解析方法
WO2014189137A1 (ja) * 2013-05-23 2014-11-27 ヤマハ株式会社 演奏解析方法及び演奏解析装置
JP6171711B2 (ja) * 2013-08-09 2017-08-02 ヤマハ株式会社 音声解析装置および音声解析方法
JP6187132B2 (ja) * 2013-10-18 2017-08-30 ヤマハ株式会社 スコアアライメント装置及びスコアアライメントプログラム
JP6295597B2 (ja) * 2013-10-22 2018-03-20 ヤマハ株式会社 複数人による協調演奏を実現する装置およびシステム
JP2015138160A (ja) * 2014-01-23 2015-07-30 株式会社マトリ キャラクタ演奏画像生成装置、キャラクタ演奏画像生成方法、キャラクタ演奏システム及びキャラクタ演奏方法
JP6313159B2 (ja) * 2014-08-15 2018-04-18 国立研究開発法人産業技術総合研究所 ダンス動作データ作成システム及びダンス動作データ作成方法
JP6481319B2 (ja) * 2014-10-01 2019-03-13 ヤマハ株式会社 楽譜表示装置および楽譜表示方法
CN106572419B (zh) * 2015-10-08 2018-08-03 中国科学院声学研究所 一种立体声音效增强系统
JP6776788B2 (ja) * 2016-10-11 2020-10-28 ヤマハ株式会社 演奏制御方法、演奏制御装置およびプログラム
JP6809112B2 (ja) * 2016-10-12 2021-01-06 ヤマハ株式会社 演奏システム、自動演奏方法およびプログラム
CN107277599A (zh) * 2017-05-31 2017-10-20 珠海金山网络游戏科技有限公司 一种虚拟现实的直播方法、装置和系统
US10504498B2 (en) * 2017-11-22 2019-12-10 Yousician Oy Real-time jamming assistance for groups of musicians
US20190043239A1 (en) * 2018-01-07 2019-02-07 Intel Corporation Methods, systems, articles of manufacture and apparatus for generating a response for an avatar
JP6699677B2 (ja) * 2018-02-06 2020-05-27 ヤマハ株式会社 情報処理方法、情報処理装置およびプログラム
JP7069768B2 (ja) * 2018-02-06 2022-05-18 ヤマハ株式会社 情報処理方法、情報処理装置およびプログラム
WO2020031544A1 (ja) * 2018-08-10 2020-02-13 ヤマハ株式会社 楽譜データの情報処理装置
US10643593B1 (en) * 2019-06-04 2020-05-05 Electronic Arts Inc. Prediction-based communication latency elimination in a distributed virtualized orchestra
CN110853670B (zh) * 2019-11-04 2023-10-17 南京理工大学 音乐驱动的舞蹈生成方法
CN114554111B (zh) * 2022-02-22 2023-08-01 广州繁星互娱信息科技有限公司 视频生成方法和装置、存储介质及电子设备

Also Published As

Publication number Publication date
JP2019139295A (ja) 2019-08-22
US11557269B2 (en) 2023-01-17
CN111630573B (zh) 2023-11-03
CN111630573A (zh) 2020-09-04
US20200365126A1 (en) 2020-11-19
WO2019156092A1 (ja) 2019-08-15

Similar Documents

Publication Publication Date Title
JP6699677B2 (ja) 情報処理方法、情報処理装置およびプログラム
JP7432124B2 (ja) 情報処理方法、情報処理装置およびプログラム
CN111052223B (zh) 播放控制方法、播放控制装置及记录介质
JP6776788B2 (ja) 演奏制御方法、演奏制御装置およびプログラム
US10748515B2 (en) Enhanced real-time audio generation via cloud-based virtualized orchestra
US11869465B2 (en) Musical performance analysis method and musical performance analysis apparatus
CN111602193B (zh) 用于处理乐曲的演奏的信息处理方法和装置
Solis et al. Musical robots and interactive multimodal systems: An introduction
JP5803172B2 (ja) 評価装置
CN115437598A (zh) 虚拟乐器的互动处理方法、装置及电子设备
JP2021140065A (ja) 処理システム、音響システム及びプログラム
CN112912951A (zh) 表示动作的数据的信息处理装置
JP6838357B2 (ja) 音響解析方法および音響解析装置
JP2018063315A (ja) 演奏システムおよび自動演奏方法
JP6977813B2 (ja) 自動演奏システムおよび自動演奏方法
JP7528971B2 (ja) 情報処理方法、情報処理システムおよびプログラム
WO2023170757A1 (ja) 再生制御方法、情報処理方法、再生制御システムおよびプログラム
Thelle Making sensors make sense: challenges in the development of digital musical instruments
WO2023182005A1 (ja) データ出力方法、プログラム、データ出力装置および電子楽器
Carthen et al. Justice Colby, and Frederick C. Harris Jr.
JP3535360B2 (ja) 音響生成方法および音響生成装置および記録媒体
Salgian et al. Teaching Robots to Conduct: Automatic Extraction of Conducting Information from Sheet Music
Aydın et al. Improvisation Based on Relaxation of Imitation Parameters by a Robotic Acoustic Musical Device.

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200318

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200318

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200318

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200331

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200413

R151 Written notification of patent or utility model registration

Ref document number: 6699677

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350