JP7571804B2 - 情報処理システム、電子楽器、情報処理方法および機械学習システム - Google Patents

Description

本開示は、電子楽器等の楽器の演奏を支援する技術に関する。

電子楽器等の楽器の演奏を支援する各種の技術が従来から提案されている。例えば特許文献１には、事前に用意された楽曲データのパラメータと、利用者による演奏を表す演奏データのパラメータとの差分から標準偏差等の統計値を算定し、当該パラメータの種類に応じた方法で統計値を集計する技術が開示されている。

特開２００５－５５６３５号公報

しかし、演奏を評価した結果である評価値を利用者に提示するだけでは、個々の利用者の演奏に関する傾向（例えば演奏ミスの傾向等）を踏まえて効果的に演奏を練習することは実際には困難である。以上の事情を考慮して、本開示のひとつの態様は、利用者の演奏の傾向に応じた効果的な演奏の練習を実現することをひとつの目的とする。

以上の課題を解決するために、本開示のひとつの態様に係る情報処理システムは、利用者による楽曲の演奏を表す演奏データを取得する演奏データ取得部と、楽曲の演奏を表す学習用演奏データと、前記学習用演奏データが表す演奏の傾向を表す学習用傾向データとの関係を学習した第１学習済モデルに、前記演奏データ取得部が取得した前記演奏データを入力することで、前記利用者による演奏の傾向を表す傾向データを生成する傾向特定部と、前記傾向特定部が生成した前記傾向データに応じた練習フレーズを特定する練習フレーズ特定部とを具備する。

本開示のひとつの態様に係る電子楽器は、利用者による楽曲の演奏を受付ける演奏受付部と、前記演奏受付部が受付けた演奏を表す演奏データを取得する演奏データ取得部と、楽曲の演奏を表す学習用演奏データと、前記学習用演奏データが表す演奏の傾向を表す学習用傾向データとの関係を学習した第１学習済モデルに、前記演奏データ取得部が取得した前記演奏データを入力することで、前記利用者による演奏の傾向を表す傾向データを前記第１学習済モデルから出力する傾向特定部と、前記傾向特定部が出力した前記傾向データを利用して、前記利用者による演奏の傾向に応じた練習フレーズを特定する練習フレーズ特定部と、前記練習フレーズを前記利用者に提示する提示処理部とを具備する。

本開示のひとつの態様に係る情報処理方法は、利用者による楽曲の演奏を表す演奏データを取得し、楽曲の演奏を表す学習用演奏データと、前記学習用演奏データが表す演奏の傾向を表す学習用傾向データとの関係を学習した第１学習済モデルに、前記取得した前記演奏データを入力することで、前記利用者による演奏の傾向を表す傾向データを生成し、前記傾向データに応じた練習フレーズを特定する。

本開示のひとつの態様に係る機械学習システムは、利用者による楽曲の演奏を表す演奏データと、前記楽曲内の時点と当該時点における演奏の傾向とを表す指摘データとを取得する第１学習データ取得部と、前記演奏データのうち前記指摘データが表す時点を含む区間内の演奏を表す学習用演奏データと、当該指摘データが表す演奏の傾向を表す学習用傾向データとの組合せを表す第１学習データを利用した機械学習により、前記学習用演奏データと前記学習用傾向データとの関係を学習した第１学習済モデルを確立する第１学習処理部とを具備する。

第１実施形態における演奏システムの構成を例示するブロック図である。 電子楽器の構成を例示するブロック図である。 情報処理システムの構成を例示するブロック図である。 情報処理システムの機能的な構成を例示するブロック図である。 特定処理の具体的な手順を例示するフローチャートである。 機械学習システムの構成を例示するブロック図である。 機械学習システムの機能的な構成を例示するブロック図である。 指導者が使用する情報装置の構成を例示するブロック図である。 指摘データの模式図である。 準備処理の具体的な手順を例示するフローチャートである。 学習処理の具体的な手順を例示するフローチャートである。 第２実施形態における情報処理システムの機能的な構成を例示するブロック図である。 第２実施形態における特定処理の手順を例示するフローチャートである。 第３実施形態における情報処理システムの機能的な構成を例示するブロック図である。 第３実施形態における特定処理の手順を例示するフローチャートである。 第３実施形態における機械学習システムの機能的な構成を例示するブロック図である。 第３実施形態における学習処理の手順を例示するフローチャートである。 第４実施形態における電子楽器の機能的な構成を例示するブロック図である。 第５実施形態における情報装置の機能的な構成を例示するブロック図である。

Ａ：第１実施形態
図１は、第１実施形態に係る演奏システム１００の構成を例示するブロック図である。演奏システム１００は、電子楽器１０の利用者Ｕが当該電子楽器１０の演奏を練習するためのコンピュータシステムであり、電子楽器１０と情報処理システム２０と機械学習システム３０とを具備する。演奏システム１００を構成する各要素は、例えばインターネット等の通信網２００を介して相互に通信する。なお、演奏システム１００は実際には複数の電子楽器１０を含むが、以下の説明では任意の１個の電子楽器１０に便宜的に着目する。

図２は、電子楽器１０の構成を例示するブロック図である。電子楽器１０は、利用者Ｕが楽曲を演奏するために使用する演奏機器である。第１実施形態の電子楽器１０は、利用者Ｕが操作する複数の鍵を具備する電子鍵盤楽器である。電子楽器１０は、制御装置１１と記憶装置１２と通信装置１３と演奏装置１４と表示装置１５と音源装置１６と放音装置１７とを具備するコンピュータシステムで実現される。なお、電子楽器１０は、単体の装置として実現されるほか、相互に別体で構成された複数の装置でも実現される。

制御装置１１は、電子楽器１０の各要素を制御する単数または複数のプロセッサで構成される。例えば、制御装置１１は、ＣＰＵ（Central Processing Unit）、ＳＰＵ（Sound Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、またはＡＳＩＣ（Application Specific Integrated Circuit）等の１種類以上のプロセッサにより構成される。

記憶装置１２は、制御装置１１が実行するプログラムと制御装置１１が使用する各種のデータとを記憶する単数または複数のメモリである。記憶装置１２は、例えば磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せで構成される。なお、電子楽器１０に対して着脱される可搬型の記録媒体、または例えば通信網２００を介して制御装置１１が書込または読出を実行可能な記録媒体（例えばクラウドストレージ）を、記憶装置１２として利用してもよい。

第１実施形態の記憶装置１２は、相異なる楽曲を表す複数の楽曲データＸを記憶する。各楽曲の楽曲データＸは、当該楽曲の一部または全部を構成する複数の音符の時系列を指定する。具体的には、楽曲データＸは、楽曲内の音符毎に音高と発音期間とを指定する。楽曲データＸは、例えばＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠した形式のデータである。

通信装置１３は、通信網２００を介して情報処理システム２０と通信する。なお、通信装置１３と通信網２００との間の通信は、有線通信および無線通信の何れでもよい。また、電子楽器１０とは別体の通信装置１３を有線または無線により電子楽器１０に接続してもよい。電子楽器１０と別体の通信装置１３としては、例えばスマートフォンまたはタブレット端末等の情報端末が例示される。

表示装置１５は、制御装置１１による制御のもとで画像を表示する。例えば液晶表示パネルまたは有機ＥＬ（Electroluminescence）パネル等の各種の表示パネルが表示装置１５として利用される。表示装置１５は、例えば、利用者Ｕが演奏する楽曲の楽曲データＸを利用して当該楽曲の楽譜を表示する。

演奏装置１４は、利用者Ｕによる演奏を受付ける入力機器である。具体的には、演奏装置１４は、相異なる音高に対応する複数の鍵が配列された鍵盤を具備する。利用者Ｕは、演奏装置１４の所望の鍵を順次に操作することで楽曲を演奏する。演奏装置１４は、「演奏受付部」の一例である。

制御装置１１は、利用者Ｕによる楽曲の演奏を表す演奏データＹを生成する。具体的には、演奏データＹは、演奏装置１４に対する操作で利用者Ｕが指示する複数の音符の各々について音高と発音期間とを指定する。演奏データＹは、楽曲データＸと同様に、例えばＭＩＤＩ規格に準拠した形式の時系列データである。通信装置１３は、利用者Ｕによる楽曲の演奏を表す演奏データＹと当該楽曲の楽曲データＸとを情報処理システム２０に送信する。楽曲データＸは、楽曲に関する模範的または標準的な演奏を表すデータであり、演奏データＹは、利用者Ｕによる当該楽曲の実際の演奏を表すデータである。したがって、楽曲データＸが指定する各音符と演奏データＹが指定する各音符とは、相互に相関するけれども完全には一致しない。楽曲のうち利用者Ｕによる演奏ミスが発生し易い箇所、または利用者Ｕにとって演奏が苦手な箇所においては特に、楽曲データＸと演奏データＹとの相違が顕著となる。

音源装置１６は、演奏装置１４に対する演奏に応じた音響信号Ａを生成する。音響信号Ａは、演奏装置１４に対する演奏で指示された楽音の波形を表す信号である。具体的には、音源装置１６は、演奏データＹが時系列に指定する各音符の楽音を表す音響信号Ａを生成するＭＩＤＩ音源である。すなわち、音源装置１６は、演奏装置１４の複数の鍵のうち利用者Ｕが押鍵した鍵に対応する音高の楽音を表す音響信号Ａを生成する。なお、記憶装置１２に記憶されたプログラムを実行することで、制御装置１１が音源装置１６の機能を実現してもよい。すなわち、音響信号Ａの生成に専用される音源装置１６は省略される。

放音装置１７は、音響信号Ａが表す演奏音を放音する。例えばスピーカまたはヘッドホンが放音装置１７として利用される。以上の説明から理解される通り、第１実施形態における音源装置１６および放音装置１７は、利用者Ｕによる演奏に応じた楽音を再生する再生システム１８として機能する。

図３は、情報処理システム２０の構成を例示するブロック図である。情報処理システム２０は、利用者Ｕによる演奏の練習に好適な音楽のフレーズ（以下「練習フレーズ」という）Ｚを当該利用者Ｕに提供する。情報処理システム２０は、制御装置２１と記憶装置２２と通信装置２３とを具備するコンピュータシステムで実現される。なお、情報処理システム２０は、単体の装置として実現されるほか、相互に別体で構成された複数の装置でも実現される。

制御装置２１は、情報処理システム２０の各要素を制御する単数または複数のプロセッサで構成される。例えば、制御装置２１は、ＣＰＵ、ＳＰＵ、ＤＳＰ、ＦＰＧＡ、またはＡＳＩＣ等の１種類以上のプロセッサにより構成される。通信装置２３は、通信網２００を介して電子楽器１０および機械学習システム３０の各々と通信する。なお、通信装置２３と通信網２００との間の通信は、有線通信および無線通信の何れでもよい。

記憶装置２２は、制御装置２１が実行するプログラムと制御装置２１が使用する各種のデータとを記憶する単数または複数のメモリである。記憶装置２２は、例えば磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せで構成される。なお、情報処理システム２０に対して着脱される可搬型の記録媒体、または例えば通信網２００を介して制御装置２１が書込または読出を実行可能な記録媒体（例えばクラウドストレージ）を、記憶装置２２として利用してもよい。

図４は、情報処理システム２０の機能的な構成を例示するブロック図である。記憶装置２２は、相異なる傾向データＤに対応する複数の練習フレーズＺを記憶する。複数の傾向データＤの各々と複数の練習フレーズＺの各々とが相互に対応付けられたテーブルが記憶装置２２に記憶されると換言してもよい。

傾向データＤは、演奏者による演奏の傾向（以下「演奏傾向」という）を表す任意の形式のデータである。演奏傾向は、例えば、演奏者による演奏ミスの傾向または演奏者が苦手な演奏法の傾向である。例えば、「押鍵の時点がずれる」「目的の鍵に隣接する他の鍵を押鍵する」「音高を間違える」「跳躍進行が苦手」「コード（和音）の演奏が苦手」「指くぐりが苦手」等の複数種の演奏傾向の何れかが傾向データＤにより指定される。なお、跳躍進行は、音高差が所定値（例えば３度）を上回る２個の音符を相前後して演奏する箇所である。また、指くぐりは、１個の音符に対応する鍵を押鍵している手指の下方を通過するように他の手指を移動させて高音側の音符を演奏する演奏法である。

練習フレーズＺは、複数の音符で構成される楽曲を表す時系列データであり、具体的には電子楽器１０の練習に好適な旋律（例えば練習曲の一部または全部）である。練習フレーズＺは、単音またはコードの時系列で構成される。各傾向データＤに対応する練習フレーズＺは、当該傾向データＤが指定する演奏傾向を改善するために好適な楽曲を表す。例えば、「跳躍進行が苦手」という演奏傾向の傾向データＤについては、跳躍進行を豊富に含む練習フレーズＺが登録される。また、「コードの演奏が苦手」という演奏傾向の傾向データＤについては、コードを豊富に含む練習フレーズＺが登録される。練習フレーズＺは、例えば複数の音符の各々について音高と発音期間とを指定するＭＩＤＩ形式のデータである。

情報処理システム２０の制御装置２１は、記憶装置２２に記憶されたプログラムを実行することで、楽曲データＸおよび演奏データＹから練習フレーズＺを特定するための複数の要素（演奏データ取得部７１，傾向特定部７２および練習フレーズ特定部７３）を実現する。

演奏データ取得部７１は、利用者Ｕによる楽曲の演奏を表す演奏データＹを取得する。具体的には、演奏データ取得部７１は、電子楽器１０から送信された楽曲データＸおよび演奏データＹを通信装置２３により受信する。楽曲データＸと演奏データＹとを含む制御データＣが演奏データ取得部７１により生成される。

傾向特定部７２は、利用者Ｕの演奏傾向を表す傾向データＤを制御データＣに応じて生成する。傾向特定部７２による傾向データＤの生成には、学習済モデルＭaが利用される。学習済モデルＭaは「第１学習済モデル」の一例である。

演奏者が演奏する楽曲の楽譜（楽曲データＸ）と当該演奏者による実際の演奏（演奏データＹ）との異同と、当該演奏者の演奏傾向（傾向データＤ）との間には相関がある。例えば、各音符の発音の時点が楽曲データＸと演奏データＹとの間で相違する場合には、「押鍵の時点がずれる」という演奏傾向が推定される。また、楽曲データＸが表す音符に近い他の音符が演奏データＹにより指定される場合には、「目的の鍵に隣接する他の鍵を押鍵する」という演奏傾向が推定される。また、楽曲のうち跳躍進行が存在する箇所で楽曲データＸと演奏データＹとの相違が顕著である場合には、「跳躍進行が苦手」という演奏傾向が推定される。学習済モデルＭaは、以上のような傾向を学習した統計的推定モデルである。すなわち、学習済モデルＭaは、楽曲データＸおよび演奏データＹの組合せ（すなわち制御データＣ）と、演奏者の演奏傾向を表す傾向データＤとの関係を学習した統計的推定モデルである。傾向特定部７２は、楽曲データＸと演奏データＹとを含む制御データＣを学習済モデルＭaに入力することで、利用者Ｕの演奏傾向を表す傾向データＤを当該学習済モデルＭaから出力する。

学習済モデルＭaは、例えば深層ニューラルネットワーク（ＤＮＮ：Deep Neural Network）で構成される。例えば、再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）、または畳込ニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）等の任意の形式のニューラルネットワークが学習済モデルＭaとして利用される。複数種の深層ニューラルネットワークの組合せで学習済モデルＭaが構成されてもよい。また、長短期記憶（ＬＳＴＭ：Long Short-Term Memory）等の付加的な要素が学習済モデルＭaに搭載されてもよい。

学習済モデルＭaは、制御データＣから傾向データＤを生成する演算を制御装置２１に実行させるプログラムと、当該演算に適用される複数の変数（具体的には加重値およびバイアス）との組合せで実現される。学習済モデルＭaを実現するプログラムおよび複数の変数は、記憶装置２２に記憶される。学習済モデルＭaを規定する複数の変数の各々の数値は、機械学習により事前に設定される。

練習フレーズ特定部７３は、傾向特定部７２が特定した傾向データＤを利用して、利用者Ｕの演奏傾向に応じた練習フレーズＺを特定する。具体的には、練習フレーズ特定部７３は、記憶装置２２に記憶された複数の練習フレーズＺのうち、傾向特定部７２が特定した傾向データＤに対応する練習フレーズＺを、記憶装置２２から検索する。すなわち、傾向データＤが表す利用者Ｕの演奏傾向を改善するために好適な練習フレーズＺが特定される。

練習フレーズ特定部７３が特定した練習フレーズＺは、通信装置２３から電子楽器１０に送信される。電子楽器１０の通信装置１３は、情報処理システム２０から送信された練習フレーズＺを受信する。制御装置１１は、練習フレーズＺの楽譜を表示装置１５に表示させる。利用者Ｕは、表示装置１５に表示された楽譜を確認しながら練習フレーズＺを演奏する。

図５は、情報処理システム２０の制御装置２１が実行する処理（以下「特定処理」という）Ｓaの具体的な手順を例示するフローチャートである。

特定処理Ｓaが開始されると、演奏データ取得部７１は、電子楽器１０から送信された楽曲データＸおよび演奏データＹを通信装置２３により受信するまで待機する（Ｓa1：NO）。演奏データ取得部７１が楽曲データＸおよび演奏データＹを取得すると（Ｓa1：YES）、傾向特定部７２は、楽曲データＸと演奏データＹとを含む制御データＣを学習済モデルＭaに入力することで当該学習済モデルＭaから傾向データＤを出力する（Ｓa2）。練習フレーズ特定部７３は、記憶装置２２に記憶された複数の練習フレーズＺのうち傾向データＤに対応する練習フレーズＺを特定する（Ｓa3）。練習フレーズ特定部７３は、練習フレーズＺを通信装置２３から電子楽器１０に送信する（Ｓa4）。

以上に説明した通り、第１実施形態においては、利用者Ｕによる楽曲の演奏を表す演奏データＹを学習済モデルＭaに入力することで当該利用者Ｕの演奏傾向を表す傾向データＤが生成され、当該傾向データＤに応じた練習フレーズＺが特定される。したがって、利用者Ｕが練習フレーズＺを演奏することで、当該利用者Ｕの演奏傾向に応じた効果的な練習が実現される。

第１実施形態においては、相異なる演奏傾向（傾向データＤ）に対応する複数の練習フレーズＺのうち利用者Ｕの演奏傾向に対応する練習フレーズＺが特定される。したがって、利用者Ｕの演奏傾向に応じた練習フレーズＺを特定する処理の負荷が軽減される。

図１の機械学習システム３０は、以上に例示した学習済モデルＭaを生成する。図６は、機械学習システム３０の構成を例示するブロック図である。機械学習システム３０は、制御装置３１と記憶装置３２と通信装置３３とを具備する。なお、機械学習システム３０は、単体の装置として実現されるほか、相互に別体で構成された複数の装置としても実現される。

制御装置３１は、機械学習システム３０の各要素を制御する単数または複数のプロセッサで構成される。例えば、制御装置３１は、ＣＰＵ、ＳＰＵ、ＤＳＰ、ＦＰＧＡ、またはＡＳＩＣ等の１種類以上のプロセッサにより構成される。通信装置３３は、通信網２００を介して情報処理システム２０と通信する。なお、通信装置３３と通信網２００との間の通信は、有線通信および無線通信の何れでもよい。

記憶装置３２は、制御装置３１が実行するプログラムと制御装置３１が使用する各種のデータとを記憶する単数または複数のメモリである。記憶装置３２は、例えば磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せで構成される。また、機械学習システム３０に対して着脱される可搬型の記録媒体、または通信網２００を介して制御装置３１が書込または読出を実行可能な記録媒体（例えばクラウドストレージ）を、記憶装置３２として利用してもよい。

図７は、機械学習システム３０の機能的な構成を例示するブロック図である。制御装置３１は、記憶装置３２に記憶されたプログラムを実行することで、学習済モデルＭaを機械学習により確立するための複数の要素（学習データ取得部８１aおよび学習処理部８２a）として機能する。

学習処理部８２aは、複数の学習データＴaを利用した教師あり機械学習（後述の学習処理Ｓc）により学習済モデルＭaを確立する。学習データ取得部８１aは、複数の学習データＴaを取得する。学習データ取得部８１aが取得した複数の学習データＴaが記憶装置３２に記憶される。複数の学習データＴaの各々は、学習用の制御データＣtと学習用の傾向データＤtとの組合せで構成される。制御データＣtは、学習用の楽曲データＸtと学習用の演奏データＹtとを含む。楽曲データＸtは「学習用楽曲データ」の一例であり、演奏データＹtは「学習用演奏データ」の一例であり、傾向データＤtは「学習用傾向データ」の一例である。また、楽曲データＸtが表す楽曲は、「参照楽曲」の一例である。学習データ取得部８１aは「第１学習データ取得部」の一例であり、学習処理部８２aは「第１学習処理部」の一例である。また、学習データＴaは「第１学習データ」の一例である。

図７に例示される通り、学習データＴaは、練習者Ｕ1による楽曲の演奏と、指導者Ｕ2による当該演奏の指導との結果を利用して生成される。練習者Ｕ1は、電子楽器１０を利用して楽曲を演奏する。指導者Ｕ2は、情報装置４０を利用して練習者Ｕ1による演奏を評価および指導する。情報装置４０は、例えばスマートフォンまたはタブレット端末等の情報端末である。練習者Ｕ1と指導者Ｕ2とは、例えば遠隔地に所在する。ただし、練習者Ｕ1と指導者Ｕ2とは同じ場所に所在してもよい。

電子楽器１０は、楽曲を表す楽曲データＸ0と、練習者Ｕ1による当該楽曲の演奏を表す演奏データＹ0とを、情報装置４０および機械学習システム３０に送信する。楽曲データＸ0は、前述の楽曲データＸと同様に、楽曲を構成する複数の音符の時系列を指定する。演奏データＹ0は、前述の演奏データＹと同様に、演奏装置１４に対する操作で練習者Ｕ1が指示する複数の音符の時系列を指定する。

図８は、情報装置４０の構成を例示するブロック図である。情報装置４０は、練習者Ｕ1による電子楽器１０の演奏を指導者Ｕ2が評価および指導するためのコンピュータシステムであり、制御装置４１と記憶装置４２と通信装置４３と操作装置４４と表示装置４５と再生システム４６とを具備する。なお、情報装置４０は、単体の装置として実現されるほか、相互に別体で構成された複数の装置でも実現される。

制御装置４１は、情報装置４０の各要素を制御する単数または複数のプロセッサで構成される。例えば、制御装置４１は、ＣＰＵ、ＳＰＵ、ＤＳＰ、ＦＰＧＡ、またはＡＳＩＣ等の１種類以上のプロセッサにより構成される。

記憶装置４２は、制御装置４１が実行するプログラムと制御装置４１が使用する各種のデータとを記憶する単数または複数のメモリである。記憶装置４２は、例えば磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せで構成される。なお、情報装置４０に対して着脱される可搬型の記録媒体、または例えば通信網２００を介して制御装置４１が書込または読出を実行可能な記録媒体（例えばクラウドストレージ）を、記憶装置４２として利用してもよい。

通信装置４３は、通信網２００を介して電子楽器１０および機械学習システム３０の各々と通信する。なお、通信装置４３と通信網２００との間の通信は、有線通信および無線通信の何れでもよい。通信装置４３は、例えば、電子楽器１０から送信された楽曲データＸ0および演奏データＹ0を受信する。

操作装置４４は、指導者Ｕ2からの指示を受付ける入力機器である。操作装置４４は、例えば、指導者Ｕ2が操作する複数の操作子、または、指導者Ｕ2による接触を検知するタッチパネルである。表示装置４５は、制御装置４１による制御のもとで画像を表示する。具体的には、表示装置４５は、通信装置４３が受信した演奏データＹが指定する音符の時系列を表示する。すなわち、練習者Ｕ1による演奏を表す画像が表示装置４５に表示される。なお、楽曲データＸが指定する音符の時系列を演奏データＹの音符と並列に表示してもよい。再生システム４６は、電子楽器１０の再生システム１８と同様に、演奏データＹが指定する各音符の楽音を再生する。すなわち、練習者Ｕ1が演奏した楽音が再生システム４６により再生される。

指導者Ｕ2は、表示装置４５が表示する画像を視認しながら再生システム４６による再生音を聴取することで、練習者Ｕ1による楽曲の演奏を確認することが可能である。指導者Ｕ2は、操作装置４４を操作することで、練習者Ｕ1による楽曲の演奏について指摘すべき演奏傾向を入力する。指導者Ｕ2は、練習者Ｕ1による楽曲の演奏に関する演奏傾向と、当該楽曲内において演奏傾向が観測される時点とを指定する。演奏傾向は、例えば、操作装置４４に対する操作により指導者Ｕ2が複数の選択肢から選択する。例えば、「押鍵の時点がずれる」「目的の鍵に隣接する他の鍵を押鍵する」「音高を間違える」「跳躍進行が苦手」「コードの演奏が苦手」「１６分音符等の短音での素早い演奏が苦手」等の複数種の演奏傾向の何れかが練習者Ｕ1の演奏に関する指摘事項として選択される。

制御装置４１は、指導者Ｕ2からの指示に応じた指摘データＰを生成する。図９は、指摘データＰの模式図である。指摘データＰは、指導者Ｕ2による指摘毎に、傾向データＤtと時刻データτとを含む。傾向データＤtは、指導者Ｕ2が指摘した演奏傾向を表すデータである。時刻データτは、楽曲内において当該演奏傾向が観測される時点の時刻を表すデータである。以上の説明から理解される通り、指摘データＰは、楽曲内の時点と当該時点における演奏傾向とを表すデータである。

通信装置４３は、制御装置４１が生成した指摘データＰを電子楽器１０および機械学習システム３０に送信する。電子楽器１０の通信装置１３は、情報装置４０から送信された指摘データＰを受信する。制御装置１１は、当該指摘データＰが表す演奏傾向を表示装置１５に表示する。練習者Ｕ1は、表示装置１５の画像を視認することで、指導者Ｕ2による指摘（演奏傾向）を確認できる。

図７に例示される通り、機械学習システム３０における学習データ取得部８１aは、電子楽器１０から送信された楽曲データＸ0および演奏データＹ0と、情報装置４０から送信された指摘データＰとを、通信装置３３により受信する。学習データ取得部８１aは、楽曲データＸ0と演奏データＹ0と指摘データＰとを利用して学習データＴaを生成する。なお、電子楽器１０は「第１装置」の一例であり、情報装置４０は「第２装置」の一例である。

図１０は、学習データ取得部８１aが学習データＴaを生成する処理（以下「準備処理」という）Ｓbの具体的な手順を例示するフローチャートである。例えば楽曲データＸ0と演奏データＹ0と指摘データＰとを通信装置３３が受信することを契機として準備処理Ｓbが開始される。準備処理Ｓbが開始されると、学習データ取得部８１aは、楽曲データＸ0と演奏データＹ0と指摘データＰとを、通信装置３３から取得する（Ｓb1）。

学習データ取得部８１aは、楽曲データＸ0のうち指摘データＰの時刻データτが指定する時点を含む区間（以下「特定区間」という）内の部分を、楽曲データＸtとして抽出する（Ｓb2）。特定区間は、例えば時刻データτが指定する時点を中点とする所定長の区間である。また、学習データ取得部８１aは、演奏データＹ0のうち指摘データＰの時刻データτが指定する時点を含む特定区間内の部分を、演奏データＹtとして抽出する（Ｓb3）。すなわち、楽曲データＸ0および演奏データＹ0の各々について、指導者Ｕ2が演奏傾向を指摘した時点を含む特定区間が抽出される。

学習データ取得部８１aは、以上の手順により生成した楽曲データＸtおよび演奏データＹtを含む学習用の制御データＣtを生成する（Ｓb4）。そして、学習データ取得部８１aは、学習用の制御データＣtと指摘データＰに含まれる傾向データＤtとを相互に対応させることで、学習データＴaを生成する（Ｓb5）。

以上に例示した準備処理Ｓbが反復されることで、多数の練習者Ｕ1による多様な楽曲の演奏について、特定区間に対応する楽曲データＸtおよび演奏データＹtと、指導者Ｕ2が当該特定区間について指摘した演奏傾向の傾向データＤtとを含む多数の学習データＴaが生成される。

図１１は、機械学習システム３０の制御装置３１が学習済モデルＭaを確立する学習処理Ｓcの具体的な手順を例示するフローチャートである。学習処理Ｓcは、機械学習により学習済モデルＭaを生成する方法（学習済モデルの生成方法）とも表現される。

学習処理Ｓcが開始されると、学習処理部８２aは、記憶装置３２に記憶された複数の学習データＴaの何れか（以下「選択学習データＴa」という）を選択する（Ｓc1）。学習処理部８２aは、図７に例示される通り、選択学習データＴaの制御データＣtを初期的または暫定的なモデル（以下「暫定モデルＭa0」という）に入力し（Ｓc2）、当該入力に対して暫定モデルＭa0が出力する傾向データＤを取得する（Ｓc3）。

学習処理部８２aは、暫定モデルＭa0が生成する傾向データＤと選択学習データＴaの傾向データＤtとの誤差を表す損失関数を算定する（Ｓc4）。学習処理部８２aは、損失関数が低減（理想的には最小化）されるように、暫定モデルＭa0の複数の変数を更新する（Ｓc5）。損失関数に応じた複数の変数の更新には、例えば誤差逆伝播法が利用される。

学習処理部８２aは、所定の終了条件が成立したか否かを判定する（Ｓc6）。終了条件は、例えば、損失関数が所定の閾値を下回ること、または、損失関数の変化量が所定の閾値を下回ることである。終了条件が成立しない場合（Ｓc6：NO）、学習処理部８２aは、未選択の学習データＴaを新たな選択学習データＴaとして選択する（Ｓc1）。すなわち、終了条件の成立（Ｓc6：YES）まで、暫定モデルＭa0の複数の変数を更新する処理（Ｓc2－Ｓc5）が反復される。終了条件が成立した場合（Ｓc6：YES）、学習処理部８２aは、暫定モデルＭa0を規定する複数の変数の更新（Ｓc2－Ｓc5）を終了する。終了条件が成立した時点における暫定モデルＭa0が、学習済モデルＭaとして確定される。すなわち、学習済モデルＭaの複数の変数は、学習処理Ｓcの終了の時点における数値に確定される。

以上の説明から理解される通り、学習済モデルＭaは、複数の学習データＴaにおける制御データＣtと傾向データＤtとの間に潜在する関係のもとで、未知の制御データＣに対して統計的に妥当な傾向データＤを出力する。すなわち、学習済モデルＭaは、前述の通り、演奏者による楽曲の演奏（制御データＣ）と当該演奏者の演奏傾向（傾向データＤ）との関係を学習した統計的学習モデルである。

学習処理部８２aは、以上の手順で確立された学習済モデルＭaを通信装置３３から情報処理システム２０に送信する（Ｓc7）。具体的には、学習処理部８２aは、学習済モデルＭaの複数の変数を通信装置３３から情報処理システム２０に送信する。情報処理システム２０の制御装置２１は、機械学習システム３０から受信した学習済モデルＭaを記憶装置２２に保存する。具体的には、学習済モデルＭaを規定する複数の変数が記憶装置２２に記憶される。

Ｂ：第２実施形態
第２実施形態を説明する。なお、以下に例示する各態様において機能が第１実施形態と同様である要素については、第１実施形態の説明と同様の符号を流用して各々の詳細な説明を適宜に省略する。

図１２は、第２実施形態における情報処理システム２０の機能的な構成を例示するブロック図である。第１実施形態においては、複数の練習フレーズＺが記憶装置２２に記憶される。第２実施形態においては、第１実施形態の複数の練習フレーズＺに代えて１個の基準フレーズＺrefが記憶装置２２に記憶される。

基準フレーズＺrefは、第１実施形態の練習フレーズＺと同様に、複数の音符で構成される楽曲を表す時系列データである。具体的には、基準フレーズＺrefは、電子楽器１０の練習に好適な旋律（例えば練習曲の一部または全部）である。第２実施形態の練習フレーズ特定部７３は、傾向特定部７２が生成する傾向データＤに応じて基準フレーズＺrefを編集することで練習フレーズＺを生成する。具体的には、練習フレーズ特定部７３は、基準フレーズＺrefのうち傾向データＤが指定する演奏傾向に関連する部分について演奏の難易度が低下するように基準フレーズＺrefを編集する。

図１３は、第２実施形態における特定処理Ｓaの具体的な手順を例示するフローチャートである。第２実施形態の特定処理Ｓaは、第１実施形態の特定処理ＳaにおけるステップＳa3をステップＳa13に置換した処理である。

演奏データ取得部７１による楽曲データＸおよび演奏データＹの取得（Ｓa1）、および、傾向特定部７２による傾向データＤの生成（Ｓa2）は、第１実施形態と同様である。第２実施形態の練習フレーズ特定部７３は、記憶装置２２に記憶された基準フレーズＺrefを傾向データＤに応じて編集することで練習フレーズＺを生成する（Ｓa13）。練習フレーズ特定部７３が練習フレーズＺを電子楽器１０に送信する処理（Ｓa4）は第１実施形態と同様である。基準フレーズＺrefの編集（Ｓa13）の具体例を以下に説明する。

例えば、傾向データＤが「コードの演奏が苦手」という演奏傾向を表す場合、練習フレーズ特定部７３は、基準フレーズＺrefに含まれる１個以上のコードを変更することで練習フレーズＺを生成する。例えば、練習フレーズ特定部７３は、所定個を上回る個数の構成音を含むコードについて、複数の構成音のうち例えば根音以外の１個以上の構成音を省略する。また、最低音と最高音との音高差が所定値を上回るコードについて、最高音を含む所定個の構成音を省略する。構成音の省略によりコードの演奏の難易度が低下する。以上の例示の通り、練習フレーズ特定部７３による基準フレーズＺrefの編集は、コードの変更を含む。

また、傾向データＤが「跳躍進行が苦手」という演奏傾向を表す場合、練習フレーズ特定部７３は、基準フレーズＺrefに含まれる跳躍進行を省略または変更することで練習フレーズＺを生成する。例えば、練習フレーズ特定部７３は、跳躍進行に係る２個の音符のうち後方の音符を省略する。また、練習フレーズ特定部７３は、跳躍進行に係る２個の音符のうち後方の音符を、低音側の他の音符に変更する。以上の例示の通り、練習フレーズ特定部７３による基準フレーズＺrefの編集は、跳躍進行の省略または変更を含む。

基準フレーズＺrefは、例えば運指等の演奏法の指定を含む。具体的には、練習フレーズＺは、複数の音符の各々について当該音符を演奏すべき手指の番号の指定を含む。傾向データＤが「指くぐりが苦手」という演奏傾向を表す場合、練習フレーズ特定部７３は、基準フレーズＺrefに関する運指を変更することで練習フレーズＺを生成する。例えば、小指による押鍵が演奏の初心者には困難であることを想定すると、練習フレーズ特定部７３は、基準フレーズＺrefのうち小指の番号が指定された音符について、当該番号を小指以外の他の手指の番号に変更する。編集後の練習フレーズＺを受信した電子楽器１０においては、練習フレーズ特定部７３による変更後の運指（音符毎の手指の番号）が、練習フレーズＺの楽譜とともに表示装置１５に表示される。以上の例示の通り、練習フレーズ特定部７３による基準フレーズＺrefの編集は、楽器の演奏法の変更を含む。

第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態においては、基準フレーズＺrefの編集により練習フレーズＺが生成されるから、利用者Ｕによる演奏技術のレベルに応じた適切な練習フレーズＺを当該利用者Ｕに提供できる。

Ｃ：第３実施形態
図１４は、第３実施形態における情報処理システム２０の機能的な構成を例示するブロック図である。第１実施形態においては、記憶装置２２に記憶された複数の練習フレーズＺのうち利用者Ｕの傾向データＤに対応する練習フレーズＺを練習フレーズ特定部７３が特定する構成を例示した。第３実施形態の練習フレーズ特定部７３は、学習済モデルＭbを利用して、傾向データＤに応じた練習フレーズＺを特定する。学習済モデルＭbは「第２学習済モデル」の一例である。

第１実施形態の説明から理解される通り、演奏者の演奏傾向（傾向データＤ）と当該演奏傾向に好適な練習フレーズＺとの間には相関がある。例えば、各傾向データＤに対応する練習フレーズＺは、当該傾向データＤが指定する演奏傾向を改善するために好適な楽曲である。学習済モデルＭbは、傾向データＤと練習フレーズＺとの関係を学習した統計的推定モデルである。第３実施形態の練習フレーズ特定部７３は、傾向特定部７２が生成した傾向データＤを学習済モデルＭbに入力することで、当該傾向データＤが表す演奏傾向に応じた練習フレーズＺを特定する。例えば、学習済モデルＭbは、相異なる複数の練習フレーズＺの各々について傾向データＤに対する妥当性の指標（すなわち、利用者Ｕの演奏傾向に対して各練習フレーズＺが妥当である度合）を出力する。練習フレーズ特定部７３は、記憶装置２２に記憶された複数の練習フレーズＺのうち当該指標が最大である練習フレーズＺを特定する。

学習済モデルＭbは、例えば深層ニューラルネットワークで構成される。例えば、再帰型ニューラルネットワークまたは畳込ニューラルネットワーク等の任意の形式のニューラルネットワークが学習済モデルＭbとして利用される。複数種の深層ニューラルネットワークの組合せで学習済モデルＭbが構成されてもよい。また、長短期記憶（ＬＳＴＭ：Long Short-Term Memory）等の付加的な要素が学習済モデルＭbに搭載されてもよい。

学習済モデルＭbは、傾向データＤから練習フレーズＺを推定する演算を制御装置２１に実行させるプログラムと、当該演算に適用される複数の変数（具体的には加重値およびバイアス）との組合せで実現される。学習済モデルＭbを実現するプログラムおよび複数の変数は、記憶装置２２に記憶される。学習済モデルＭbを規定する複数の変数の各々の数値は、機械学習により事前に設定される。

図１５は、第３実施形態における特定処理Ｓaの具体的な手順を例示するフローチャートである。第３実施形態の特定処理Ｓaは、第１実施形態の特定処理ＳaにおけるＳa3をステップＳa23に置換した処理である。

演奏データ取得部７１による楽曲データＸおよび演奏データＹの取得（Ｓa1）、および、傾向特定部７２による傾向データＤの生成（Ｓa2）は、第１実施形態と同様である。第３実施形態の練習フレーズ特定部７３は、傾向データＤを学習済モデルＭbに入力することで練習フレーズＺを特定する（Ｓa23）。練習フレーズ特定部７３が練習フレーズＺを電子楽器１０に送信する処理（Ｓa4）は第１実施形態と同様である。

以上に例示した学習済モデルＭbは、機械学習システム３０により生成される。図１６は、機械学習システム３０のうち学習済モデルＭbの生成に関する機能的な構成を例示するブロック図である。制御装置３１は、記憶装置３２に記憶されたプログラムを実行することで、学習済モデルＭbを機械学習により確立するための複数の要素（学習データ取得部８１bおよび学習処理部８２b）として機能する。

学習処理部８２bは、複数の学習データＴbを利用した教師あり機械学習（後述の学習処理Ｓd）により学習済モデルＭbを確立する。学習データ取得部８１bは、複数の学習データＴbを取得する。具体的には、学習データ取得部８１bは、記憶装置３２に保存された複数の学習データＴbを記憶装置３２から取得する。学習データ取得部８１bは「第２学習データ取得部」の一例であり、学習処理部８２bは「第２学習処理部」の一例である。また、学習データＴbは「第２学習データ」の一例である。

複数の学習データＴbの各々は、学習用の傾向データＤtと学習用の練習フレーズＺtとの組合せで構成される。各学習データＴbの練習フレーズＺtは、当該学習データＴbの傾向データＤtが示す演奏傾向に対して好適な楽曲である。傾向データＤtと練習フレーズＺtとの組合せは、例えば、学習データＴの作成者が選定する。傾向データＤtは「学習用傾向データ」の一例であり、練習フレーズＺtは「学習用練習フレーズ」の一例である。

図１７は、制御装置３１が学習済モデルＭbを確立する学習処理Ｓdの具体的な手順を例示するフローチャートである。学習処理Ｓdは、機械学習により学習済モデルＭbを生成する方法（学習済モデルの生成方法）とも表現される。

学習処理Ｓdが開始されると、学習データ取得部８１bは、記憶装置３２に記憶された複数の学習データＴbの何れか（以下「選択学習データＴb」という）を選択する（Ｓd1）。学習処理部８２bは、図１６に例示される通り、選択学習データＴbの傾向データＤtを初期的または暫定的なモデル（以下「暫定モデルＭb0」という）に入力し（Ｓd2）、当該入力に対して暫定モデルＭb0が推定する練習フレーズＺを取得する（Ｓd3）。

学習処理部８２bは、暫定モデルＭb0が推定する練習フレーズＺと選択学習データＴbの練習フレーズＺtとの誤差を表す損失関数を算定する（Ｓd4）。学習処理部８２bは、損失関数が低減（理想的には最小化）されるように、暫定モデルＭb0の複数の変数を更新する（Ｓd5）。損失関数に応じた複数の変数の更新には、例えば誤差逆伝播法が利用される。

学習処理部８２bは、所定の終了条件が成立したか否かを判定する（Ｓd6）。終了条件が成立しない場合（Ｓd6：NO）、学習処理部８２bは、未選択の学習データＴbを新たな選択学習データＴbとして選択する（Ｓd1）。すなわち、終了条件の成立（Ｓd6：YES）まで、暫定モデルＭb0の複数の変数を更新する処理（Ｓd2－Ｓd5）が反復される。終了条件が成立した時点（Ｓd6：YES）における暫定モデルＭb0が、学習済モデルＭbとして確定される。

以上の説明から理解される通り、学習済モデルＭbは、複数の学習データＴbにおける傾向データＤtと練習フレーズＺtとの間に潜在する関係のもとで、未知の傾向データＤに対して統計的に妥当な練習フレーズＺを推定する。すなわち、学習済モデルＭbは、傾向データＤと練習フレーズＺとの関係を学習した統計的推定モデルである。第３実施形態の練習フレーズ特定部７３は、傾向データＤtと練習フレーズＺtとの関係を学習した学習済モデルＭbに傾向データＤを入力することで練習フレーズＺを特定する。

学習処理部８２bは、以上の手順で確立された学習済モデルＭbを通信装置３３から情報処理システム２０に送信する（Ｓd7）。情報処理システム２０の制御装置２１は、機械学習システム３０から受信した学習済モデルＭbを記憶装置２２に保存する。

第３実施形態においても第１実施形態と同様の効果が実現される。また、第３実施形態においては、傾向特定部７２が出力する傾向データＤを学習済モデルＭbに入力することで練習フレーズＺが特定される。したがって、学習用の傾向データＤtと学習用の練習フレーズＺtとの間に潜在する関係のもとで統計的に妥当な練習フレーズＺを特定できる。

Ｄ：第４実施形態
図１８は、第４実施形態に係る電子楽器１０の機能的な構成を例示するブロック図である。前述の各形態においては、情報処理システム２０が演奏データ取得部７１と傾向特定部７２と練習フレーズ特定部７３とを具備する構成を例示した。第４実施形態においては、演奏データ取得部７１と傾向特定部７２と練習フレーズ特定部７３とを電子楽器１０が具備する。以上の要素は、記憶装置１２に記憶されたプログラムを制御装置１１が実行することで実現される。また、制御装置１１は提示処理部７４としても機能する。

電子楽器１０の記憶装置１２には、第１実施形態と同様の複数の楽曲データＸのほか、学習済モデルＭaと複数の練習フレーズＺとが記憶される。機械学習システム３０が確立した学習済モデルＭaが電子楽器１０に転送され、当該学習済モデルＭaが記憶装置１２に保存される。また、複数の練習フレーズＺの各々は、相異なる傾向データＤに対応する。

演奏データ取得部７１は、第１実施形態と同様に、利用者Ｕによる楽曲の演奏を表す演奏データＹと、当該楽曲の楽曲データＸとを取得する。具体的には、演奏データ取得部７１は、演奏装置１４に対する利用者Ｕからの操作に応じて演奏データＹを生成する。また、演奏データ取得部７１は、利用者Ｕが演奏する楽曲の楽曲データＸを記憶装置１２から取得する。演奏データ取得部７１は、楽曲データＸと演奏データＹとを含む制御データＣを生成する。

傾向特定部７２は、第１実施形態と同様に、利用者Ｕの演奏傾向を表す傾向データＤを制御データＣに応じて生成する。具体的には、傾向特定部７２は、楽曲データＸと演奏データＹとを含む制御データＣを学習済モデルＭaに入力することで傾向データＤを特定する。

練習フレーズ特定部７３は、第１実施形態と同様に、傾向特定部７２が特定した傾向データＤを利用して、利用者Ｕの演奏傾向に応じた練習フレーズＺを特定する。具体的には、練習フレーズ特定部７３は、記憶装置１２に記憶された複数の練習フレーズＺのうち、傾向特定部７２が特定した傾向データＤに対応する練習フレーズＺを、記憶装置１２から検索する。

提示処理部７４は、練習フレーズ特定部７３が特定した練習フレーズＺを利用者Ｕに提示する。具体的には、提示処理部７４は、練習フレーズＺの楽譜を表示装置１５に表示させる。また、提示処理部７４は、練習フレーズＺの演奏音を再生システム１８に再生させてもよい。

以上の説明から理解される通り、第４実施形態においても第１実施形態と同様の効果が実現される。なお、練習フレーズ特定部７３が基準フレーズＺrefの編集により練習フレーズＺを生成する第２実施形態の構成、および、練習フレーズ特定部７３が学習済モデルＭbを利用して練習フレーズＺを特定する構成は、練習フレーズ特定部７３が電子楽器１０に搭載された第４実施形態にも同様に適用される。

Ｅ：第５実施形態
図１９は、第５実施形態に係る演奏システム１００の構成を例示するブロック図である。演奏システム１００は、電子楽器１０と情報装置５０とを具備する。情報装置５０は、例えばスマートフォンまたはタブレット端末等の装置である。情報装置５０は、例えば有線または無線により電子楽器１０に接続される。

情報装置５０は、制御装置５１と記憶装置５２とを具備するコンピュータシステムで実現される。制御装置５１は、情報装置５０の各要素を制御する単数または複数のプロセッサで構成される。例えば、制御装置５１は、ＣＰＵ、ＳＰＵ、ＤＳＰ、ＦＰＧＡ、またはＡＳＩＣ等の１種類以上のプロセッサにより構成される。記憶装置５２は、制御装置５１が実行するプログラムと制御装置５１が使用する各種のデータとを記憶する単数または複数のメモリである。記憶装置５２は、例えば磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せで構成される。なお、情報装置５０に対して着脱される可搬型の記録媒体、または例えば通信網２００を介して制御装置５１が書込または読出を実行可能な記録媒体（例えばクラウドストレージ）を、記憶装置５２として利用してもよい。

制御装置５１は、記憶装置５２に記憶されたプログラムを実行することで、演奏データ取得部７１と傾向特定部７２と練習フレーズ特定部７３とを実現する。演奏データ取得部７１と傾向特定部７２と練習フレーズ特定部７３との各々の構成および動作は、第１実施形態から第４実施形態の例示と同様である。練習フレーズ特定部７３が特定した練習フレーズＺが電子楽器１０に送信される。電子楽器１０の制御装置１１は、練習フレーズＺの楽譜を表示装置１５に表示させる。

以上の説明から理解される通り、第５実施形態においても第１実施形態から第４実施形態と同様の効果が実現される。第１実施形態から第３実施形態の情報処理システム２０と、第４実施形態の電子楽器１０と、第５実施形態の情報装置５０とは、「情報処理システム２０」の一例である。

Ｆ：変形例
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された複数の態様を、相互に矛盾しない範囲で適宜に併合してもよい。

（１）前述の各形態においては、１個の学習済モデルＭaを利用して傾向データＤを生成したが、複数の学習済モデルＭaを選択的に利用して傾向データＤを生成してもよい。例えば、相異なる楽器に対応する複数の学習済モデルＭaが用意される。傾向特定部７２は、複数の学習済モデルＭaのうち利用者Ｕが演奏する楽器に対応する学習済モデルＭaを選択し、当該学習済モデルＭaに制御データＣを入力することで傾向データＤを生成する。利用者Ｕによる演奏の内容（演奏データＹ）と利用者Ｕの演奏傾向（傾向データＤ）との関係は、楽器毎に相違する。相異なる楽器に対応する複数の学習済モデルＭaを選択的に利用する構成によれば、利用者Ｕが実際に演奏する楽器の演奏傾向を適切に表す傾向データＤを生成できる。

（２）第３実施形態においては、１個の学習済モデルＭbを利用して練習フレーズＺを生成したが、複数の学習済モデルＭbを選択的に利用して練習フレーズＺを生成してもよい。例えば、相異なる楽器に対応する複数の学習済モデルＭbが用意される。練習フレーズ特定部７３は、複数の学習済モデルＭbのうち利用者Ｕが演奏する楽器に対応する学習済モデルＭbを選択し、当該学習済モデルＭbに傾向データＤを入力することで練習フレーズＺを生成する。

（３）第４実施形態の電子楽器１０に対し、機械学習システム３０が確立する複数の学習済モデルＭaの何れかが選択的に転送されてもよい。例えば、相異なる楽器に対応する複数の学習済モデルＭaのうち、電子楽器１０の利用者Ｕが指定した楽器に対応する学習済モデルＭaが、機械学習システム３０から電子楽器１０に転送される。同様に、第５実施形態の情報装置５０に対し、機械学習システム３０が確立する複数の学習済モデルＭaの何れかが選択的に転送されてもよい。第３実施形態においては、機械学習システム３０が確立する複数の学習済モデルＭbの何れかが選択的に情報処理システム２０に転送されてもよい。

（４）前述の各形態においては、指導者Ｕ2からの指示に応じて指摘データＰを生成したが、練習者Ｕ1からの指示に応じて電子楽器１０の制御装置１１が指摘データＰを生成してもよい。例えば、練習者Ｕ1は、自身の演奏について演奏傾向（例えば苦手な演奏法）と当該演奏傾向が観測される時点とを指示する。制御装置１１は、利用者Ｕからの指示に応じて指摘データＰを生成し、当該指摘データＰを通信装置１３から機械学習システム３０に送信する。

（５）前述の各形態においては、制御データＣが楽曲データＸと演奏データＹとを含む構成を例示したが、制御データＣの内容は以上の例示に限定されない。例えば、利用者Ｕが電子楽器１０を演奏する様子を撮像した画像の画像データを制御データＣに含ませてもよい。例えば、演奏時における利用者Ｕの両手の画像データが制御データＣに含まれる。学習用の制御データＣtについても同様に、演奏者を撮像した画像の画像データが含まれる。以上の構成によれば、利用者Ｕの演奏の様子も反映した好適な練習フレーズＺを特定できる。また、制御データＣが楽曲データＸを含まない形態も想定される。以上の説明から理解される通り、学習済モデルＭaには、演奏データＹを少なくとも含む制御データＣが入力される。すなわち、傾向特定部７２は、学習済モデルＭaに演奏データＹを入力することで傾向データＤを生成する。

（６）第１実施形態においては、利用者Ｕの演奏傾向を改善するために好適な楽曲を練習フレーズＺとして例示したが、第２実施形態と同様に、利用者Ｕの演奏傾向に関連する部分について演奏の難易度が低い練習フレーズＺを、練習フレーズ特定部７３が特定してもよい。

（７）複数の練習フレーズＺの何れかを傾向データＤに応じて選択する第１実施形態の構成と、基準フレーズＺrefを傾向データＤに応じて編集する第２実施形態の構成とを併合してもよい。例えば、練習フレーズ特定部７３は、記憶装置２２に記憶された複数の練習フレーズＺのうち傾向データＤに応じた１個の練習フレーズＺを基準フレーズＺrefとして選択し（Ｓa3）、基準フレーズＺrefを傾向データＤに応じて編集することで練習フレーズＺを生成する（Ｓa13）。すなわち、練習フレーズＺの選択（Ｓa3）と基準フレーズＺrefの編集（Ｓa13）とに傾向データＤが共用される。

（８）第２実施形態においては、記憶装置２２に記憶された１個の基準フレーズＺrefを編集することで練習フレーズ特定部７３が練習フレーズＺを生成したが、記憶装置２２に記憶された複数の基準フレーズＺrefを選択的に利用して練習フレーズＺを生成してもよい。例えば、記憶装置２２に記憶された複数の基準フレーズＺrefのうち電子楽器１０の利用者Ｕが選択した楽曲の基準フレーズＺrefを利用して、練習フレーズ生成部が練習フレーズＺを生成してもよい。

（９）前述の各形態においては電子鍵盤楽器を電子楽器１０として例示したが、利用者Ｕが演奏する楽器の種類は任意である。例えば電気ギター等の電気弦楽器を利用者Ｕが演奏してもよい。電気弦楽器の弦の振動を表す音響信号（オーディオデータ）、または、電気弦楽器が発音する楽音の解析により生成されるＭＩＤＩ形式のデータが、演奏データＹとして利用される。電気弦楽器に関する演奏傾向としては、例えば「消音すべき箇所で充分に消音されていない」「目的の音符に対応する弦以外の弦が発音している」等の傾向が例示される。例えばトランペットまたはサックス等の管楽器を利用者Ｕが演奏する場合を想定すると、傾向データＤが表す演奏傾向として「楽音の音量が不安定である」「音高が不正確である」等の傾向が想定される。例えばドラム等の打楽器を利用者Ｕが演奏する場合を想定すると、傾向データＤが表す演奏傾向として「打撃の時点がずれる」「短い間隔での連打が苦手」等の傾向が想定される。

（１０）前述の各形態においては、深層ニューラルネットワークを学習済モデルＭaとして例示したが、学習済モデルＭaは深層ニューラルネットワークに限定されない。例えば、ＨＭＭ（Hidden Markov Model）またはＳＶＭ（Support Vector Machine）等の統計的推定モデルを、学習済モデルＭaとして利用してもよい。ＳＶＭを利用した学習済モデルＭaについて以下に詳述する。

例えば、複数種の演奏傾向から２種類の演奏傾向を選択する全通りの組合せの各々についてＳＶＭが用意される。２種類の演奏傾向の組合せに対応するＳＶＭについては、多次元空間内の超平面が機械学習（学習処理Ｓc）により確立される。超平面は、２種類の演奏傾向のうち一方の演奏傾向に対応する制御データＣが分布する空間と、他方の演奏傾向に対応する制御データＣが分布する空間とを分離する境界面である。学習済モデルＭaは、相異なる演奏傾向の組合せに対応する複数のＳＶＭで構成される（multi-class SVM）。

傾向特定部７２は、学習済モデルＭaの複数のＳＶＭの各々に制御データＣを入力する。各組合せに対応するＳＶＭは、超平面で分離される２個の空間の何れに制御データＣが存在するかに応じて、当該組合せに係る２種類の演奏傾向の何れかを選択する。相異なる組合せに対応する複数のＳＶＭの各々において同様に演奏傾向の選択が実行される。傾向特定部７２は、複数種の演奏傾向のうち複数のＳＶＭによる選択の回数が最大となる演奏傾向を表す傾向データＤを生成する。

以上の例示から理解される通り、学習済モデルＭaの種類に関わらず、傾向特定部７２は、制御データＣを学習済モデルＭaに入力することで、利用者Ｕの演奏傾向を表す傾向データＤを生成する要素として機能する。なお、以上の説明においては学習済モデルＭaに着目したが、第３実施形態の学習済モデルＭbについても同様に、例えばＨＭＭまたはＳＶＭ等の統計的推定モデルが利用される。

（１１）前述の各形態においては、複数の学習データＴを利用した教師あり機械学習を学習処理Ｓcとして例示したが、学習データＴを必要としない教師なし機械学習、または報酬を最大化させる強化学習により、学習済モデルＭaを確立してもよい。教師なし機械学習としては、公知のクラスタリングを利用した機械学習が例示される。第３実施形態の学習済モデルＭbについても同様に、教師なし機械学習または強化学習により確立されてもよい。

（１２）前述の各形態においては、機械学習システム３０が学習済モデルＭaを確立した。しかし、機械学習システム３０が学習済モデルＭaを確立する機能（学習データ取得部８１aおよび学習処理部８２a）は、第１実施形態から第３実施形態の情報処理システム２０、第４実施形態の電子楽器１０、または第５実施形態の情報装置５０に搭載されてもよい。第３実施形態の学習済モデルＭbについても同様である。すなわち、機械学習システム３０が学習済モデルＭbを確立する機能（学習データ取得部８１bおよび学習処理部８２b）は、第３実施形態の情報処理システム２０、第４実施形態の電子楽器１０、または第５実施形態の情報装置５０に搭載されてもよい。

（１３）前述の各形態においては、制御データＣに応じた傾向データＤの生成に学習済モデルＭaを利用したが、学習済モデルＭaの利用は省略されてもよい。例えば、複数の制御データＣの各々と複数の傾向データＤの各々とが相互に対応付けられたテーブルが傾向データＤの生成に利用されてもよい。制御データＣと傾向データＤとの対応が登録されたテーブルは、例えば第１実施形態の記憶装置２２、第４実施形態の記憶装置１２、または第５実施形態の記憶装置５２に記憶される。傾向特定部７２は、演奏データ取得部７１が生成する制御データＣに対応する傾向データＤをテーブルから検索する。

（１４）前述の各形態においては、楽曲データＸおよび演奏データＹを含む制御データＣと、傾向データＤとの関係を学習した学習済モデルＭaを利用したが、制御データＣから傾向データＤを生成するための構成および方法は、以上の例示に限定されない。例えば、相異なる複数の制御データＣの各々に傾向データＤが対応付けられた参照テーブルが、傾向特定部７２による傾向データＤの生成に利用されてもよい。参照テーブルは、制御データＣと傾向データＤとの対応が登録されたデータテーブルであり、例えば記憶装置２２（第４実施形態においては記憶装置１２）に記憶される。傾向特定部７２は、楽曲データＸと演奏データＹとの組合せに対応する制御データＣを参照テーブルから検索し、複数の傾向データＤのうち当該制御データＣに対応付けられた傾向データＤを、参照テーブルから取得する。

（１５）第３実施形態においては、傾向データＤと練習フレーズＺとの関係を学習した学習済モデルＭbを利用したが、傾向データＤから練習フレーズＺを生成するための構成および方法は、以上の例示に限定されない。例えば、相異なる複数の傾向データＤの各々に練習フレーズＺが対応付けられた参照テーブルが、練習フレーズ特定部７３による練習フレーズＺの生成に利用されてもよい。参照テーブルは、傾向データＤと練習フレーズＺとの対応が登録されたデータテーブルであり、例えば記憶装置２２（第４実施形態においては記憶装置１２）に記憶される。練習フレーズ特定部７３は、傾向データＤに対応する練習フレーズＺを参照テーブルから検索し、複数の練習フレーズＺのうち当該傾向データＤに対応付けられた練習フレーズＺを、参照テーブルから取得する。

（１６）前述の各形態においては、利用者Ｕの演奏を表す演奏データＹを、演奏データ取得部７１が電子楽器１０から取得したが、演奏データ取得部７１が演奏データＹを取得する方法は、以上の例示に限定されない。例えば、演奏装置１４に対する演奏に並行して演奏データ取得部７１が実時間的に演奏データＹを取得する必要はない。例えば、利用者Ｕによる過去の演奏を記録した演奏データＹを、演奏データ取得部７１が電子楽器１０から取得してもよい。すなわち、演奏データ取得部７１が、利用者Ｕによる演奏に対して実時間的に演奏データＹを取得するか否かは、本開示において不問である。

また、例えば、利用者Ｕが演奏した音符列を表す演奏データＹを、演奏データ取得部７１が電子楽器１０から受信する必要はない。例えば、演奏データ取得部７１は、利用者Ｕの演奏の様子を撮影した動画データを通信装置２３により受信し、当該動画データを解析することで演奏データＹを生成してもよい。すなわち、演奏データ取得部７１による演奏データＹの「取得」には、電子楽器１０等の外部装置から演奏データＹを受信する処理のほか、動画データ等の情報から演奏データＹを生成する処理も包含される。

（１７）前述の各形態においては、練習者Ｕ1による楽曲の演奏を表す演奏データＹ0と、指導者Ｕ2による指摘を表す指摘データＰとを、学習データ取得部８１aが取得したが、学習データ取得部８１aが学習データＴaを取得する方法は、以上の例示に限定されない。例えば、練習者Ｕ1による演奏と指導者Ｕ2による指導とに並行して学習データ取得部８１aが演奏データＹ0および指摘データＰ（さらには学習データＴa）を取得する必要はない。例えば、練習者Ｕ1による過去の演奏を記録した演奏データＹ0と、指導者Ｕ2による過去の指導を記録した指摘データＰとを、学習データ取得部８１aが取得してもよい。すなわち、学習データ取得部８１aが、練習者Ｕ1による演奏および指導者Ｕ2による指導に対して実時間的に演奏データＹ0および指摘データＰを取得するか否かは、本開示において不問である。

また、例えば、練習者Ｕ1が演奏した音符列を表す演奏データＹ0を、学習データ取得部８１aが電子楽器１０から受信する必要はない。例えば、学習データ取得部８１aは、練習者Ｕ1の演奏の様子を撮影した動画データを通信装置２３により受信し、当該動画データを解析することで演奏データＹ0を生成してもよい。すなわち、学習データ取得部８１aによる演奏データＹ0の「取得」には、電子楽器１０等の外部装置から演奏データＹ0を受信する処理のほか、動画データ等の情報から演奏データＹ0を生成する処理も包含される。

同様に、指導者Ｕ2による指摘を表す指摘データＰを、学習データ取得部８１aが情報装置４０から受信する必要はない。例えば、学習データ取得部８１aは、指導者Ｕ2の指導の様子を撮影した動画データを通信装置２３により受信し、当該動画データを解析することで指摘データＰを生成してもよい。すなわち、学習データ取得部８１aによる指摘データＰの「取得」には、情報装置４０等の外部装置から指摘データＰを受信する処理のほか、動画データ等の情報から指摘データＰを生成する処理も包含される。

（１８）前述の各形態においては、電子楽器１０から送信された演奏データＹ0のうち指摘データＰの時刻データτが指定する時点を含む特定区間内の部分を、学習データ取得部８１aが演奏データＹtとして抽出したが、学習用の演奏データＹtが電子楽器１０から機械学習システム３０に送信されてもよい。例えば、電子楽器１０の制御装置１１は、情報装置４０から指摘データＰを受信し、演奏データＹ0のうち当該指摘データＰの時刻データτに対応する特定区間内の部分を、演奏データＹtとして通信装置１３から機械学習システム３０に送信する。学習データ取得部８１aは、電子楽器１０から送信された演奏データＹtを通信装置３３により受信する。以上の構成によれば、機械学習システム３０は、情報装置４０から時刻データτを取得する必要はない。すなわち、情報装置４０から機械学習システム３０に送信される指摘データＰから時刻データτは省略されてよい。

なお、以上の説明においては演奏データＹtに着目したが、学習用の楽曲データＸtについても同様に、電子楽器１０から機械学習システム３０に送信されてよい。例えば、電子楽器１０の制御装置１１は、楽曲データＸ0のうち指摘データＰの時刻データτに対応する特定区間内の部分を、楽曲データＸtとして通信装置１３から機械学習システム３０に送信する。学習データ取得部８１aは、電子楽器１０から送信された楽曲データＸtを通信装置３３により受信する。

（１９）前述の各形態に例示した機能（演奏データ取得部７１，傾向特定部７２および練習フレーズ特定部７３）は、前述の通り、制御装置を構成する単数または複数のプロセッサと、記憶装置に記憶されたプログラムとの協働により実現される。以上のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体も包含される。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体も除外されない。また、配信装置が通信網２００を介してプログラムを配信する構成では、当該配信装置においてプログラムを記憶する記録媒体が、前述の非一過性の記録媒体に相当する。

Ｇ：付記
以上に例示した形態から、例えば以下の構成が把握される。

ひとつの態様（態様１）に係る情報処理システムは、利用者による楽曲の演奏を表す演奏データを取得する演奏データ取得部と、参照楽曲の演奏を表す学習用演奏データと、前記学習用演奏データが表す演奏の傾向を表す学習用傾向データとの関係を学習した第１学習済モデルに、前記演奏データ取得部が取得した前記演奏データを入力することで、前記利用者による演奏の傾向を表す傾向データを生成する傾向特定部と、前記傾向特定部が生成した前記傾向データに応じた練習フレーズを特定する練習フレーズ特定部とを具備する。以上の態様によれば、利用者による楽曲の演奏を表す演奏データを第１学習済モデルに入力することで、当該利用者の演奏の傾向を表す傾向データが生成され、利用者による演奏の傾向に応じた練習フレーズが傾向データに応じて特定される。したがって、練習フレーズの演奏により、利用者の演奏の傾向に応じた効果的な練習が実現される。

「演奏データ」は、利用者による演奏を表す任意の形式のデータである。例えば、利用者が演奏した音符の時系列を表す音楽データ（例えばＭＩＤＩデータ）、利用者による演奏で楽器から発音された演奏音を表す音響データが、演奏データとして例示される。また、利用者による演奏の様子を撮像した動画データを、演奏データに含ませてもよい。

「傾向データ」は、利用者による演奏の傾向を表す任意の形式のデータである。「演奏の傾向」は、例えば、利用者による演奏ミスの傾向または苦手な演奏法の傾向である。例えば、傾向データは、演奏ミスまたは演奏法に関する複数種の傾向のうちの何れかを指定する。

「練習フレーズ」は、利用者が演奏を練習するための音符列（旋律）である。「利用者による演奏の傾向に応じた練習フレーズ」は、例えば、利用者による演奏に発生し易い傾向がある演奏ミスまたは当該利用者が苦手な演奏法を克服するために好適な音符列である。練習フレーズは、１個の楽曲の全体でもよいし当該楽曲の一部でもよい。

態様１の具体例（態様２）において、前記第１学習済モデルは、前記参照楽曲の楽譜を表す学習用楽曲データと前記学習用演奏データとを含む学習用制御データと、前記学習用傾向データとの関係を学習したモデルであり、前記傾向特定部は、前記演奏データと前記楽曲の楽譜を表す楽曲データとを含む制御データを前記第１学習済モデルに入力することで、前記傾向データを生成する。以上の態様によれば、演奏データに加えて楽曲データが制御データに含まれるから、演奏データと楽曲データとの関係（例えば異同）を反映した適切な傾向データを生成できる。

態様１または態様２の具体例（態様３）において、前記練習フレーズ特定部は、演奏の相異なる傾向に対応する複数の練習フレーズのうち、前記傾向データが表す傾向に対応する練習フレーズを選択する。以上の態様によれば、利用者の演奏の傾向に対応する練習フレーズが複数の練習フレーズから選択されるから、練習フレーズ特定部が練習フレーズを特定する処理の負荷が軽減される。

態様１または態様２の具体例（態様４）において、前記練習フレーズ特定部は、前記傾向データが表す傾向に応じて基準フレーズを編集することで前記練習フレーズを生成する。以上の態様によれば、基準フレーズの編集により練習フレーズが生成されるから、利用者による演奏技術のレベルに応じた適切な練習フレーズを当該利用者に提供できる。

「基準フレーズの編集」は、傾向データが表す傾向に応じて演奏の難易度が変化するように基準フレーズを変更する処理を意味する。例えば、基準フレーズ内のコードの簡略化（例えばコードの構成音の省略）、跳躍進行（音高差が大きい２個の音符を相前後して演奏する部分）の省略、または、演奏時の運指の簡略化等が、「編集」として例示される。

態様４の具体例（態様５）において、前記基準フレーズは、コードの時系列を含み、前記基準フレーズの編集は、前記コードの変更を含む。態様４の他の具体例（態様６）において、前記基準フレーズは、音高差が所定値を上回る跳躍進行を含み、前記基準フレーズの編集は、前記跳躍進行の省略または変更を含む。また、態様４の他の具体例（態様７）において、前記基準フレーズは、楽器の演奏法の指定を含み、前記基準フレーズの編集は、前記演奏法の変更を含む。「演奏法」は、楽器の演奏の仕方を意味する。例えば、鍵盤楽器または弦楽器等の楽器における運指、ギターまたはベース等の弦楽器におけるハンマリング，プリングまたはカッティング等の特殊奏法が、「演奏法」として例示される。

態様１から態様４の何れかの具体例（態様８）において、前記練習フレーズ特定部は、演奏の傾向を表す学習用傾向データと、前記学習用傾向データが表す傾向に応じた学習用練習フレーズとの関係を学習した第２学習済モデルに、前記傾向特定部が出力する前記傾向データを入力することで、前記練習フレーズを特定する。以上の態様によれば、傾向特定部が出力する傾向データを第２学習済モデルに入力することで、練習フレーズ特定部が練習フレーズを特定する。したがって、学習用傾向データと学習用練習フレーズとの間に潜在する関係のもとで統計的に妥当な練習フレーズを特定できる。

態様８の具体例（態様９）において、前記練習フレーズ特定部は、相異なる楽器に対応する複数の第２学習済モデルの何れかを選択的に利用して前記練習フレーズを特定する。以上の態様によれば、ひとつの第２学習済モデルのみを利用する構成と比較して、利用者が実際に演奏する楽器にとって適切な練習フレーズを特定できる。

態様１から態様９の何れかの具体例（態様１０）において、前記傾向特定部は、相異なる楽器に対応する複数の第１学習済モデルの何れかを選択的に利用して前記傾向データを生成する。以上の態様によれば、相異なる楽器に対応する複数の第１学習済モデルが傾向データの生成に選択的に利用されるから、ひとつの第１学習済モデルのみを利用する構成と比較して、利用者が実際に演奏する楽器の演奏傾向を適切に表す傾向データを生成できる。

本開示のひとつの態様（態様１１）に係る電子楽器は、利用者による楽曲の演奏を受付ける演奏受付部と、前記演奏受付部が受付けた演奏を表す演奏データを取得する演奏データ取得部と、楽曲の演奏を表す学習用演奏データと、前記学習用演奏データが表す演奏の傾向を表す学習用傾向データとの関係を学習した第１学習済モデルに、前記演奏データ取得部が取得した前記演奏データを入力することで、前記利用者による演奏の傾向を表す傾向データを前記第１学習済モデルから出力する傾向特定部と、前記傾向特定部が出力した前記傾向データを利用して、前記利用者による演奏の傾向に応じた練習フレーズを特定する練習フレーズ特定部と、前記練習フレーズを前記利用者に提示する提示処理部とを具備する。

提示処理部は、利用者が視覚的または聴覚的に知覚可能な態様で練習フレーズを当該利用者に提示する。例えば、練習フレーズの楽譜を表示装置に表示させる要素、または、練習フレーズの演奏音を放音装置に放音させる要素が、提示処理部として例示される。

本開示のひとつの態様（態様１２）に係る情報処理方法は、利用者による楽曲の演奏を表す演奏データを取得し、楽曲の演奏を表す学習用演奏データと、前記学習用演奏データが表す演奏の傾向を表す学習用傾向データとの関係を学習した第１学習済モデルに、前記取得した前記演奏データを入力することで、前記利用者による演奏の傾向を表す傾向データを生成し、前記傾向データに応じた練習フレーズを特定する。

態様１２の具体例（態様１３）においえ、前記練習フレーズの特定においては、演奏の相異なる傾向に対応する複数の練習フレーズのうち、前記傾向データが表す傾向に対応する練習フレーズを選択する。また、態様１２の具体例（態様１４）において、前記練習フレーズの特定においては、前記傾向データが表す傾向に応じて基準フレーズを編集することで前記練習フレーズを生成する。態様１２の他の具体例（態様１５）において、前記練習フレーズの特定においては、演奏の傾向を表す学習用傾向データと、前記学習用傾向データが表す傾向に応じた学習用練習フレーズとの関係を学習した第２学習済モデルに、前記傾向データを入力することで、前記練習フレーズを特定する。

本開示のひとつの態様（態様１６）に係る機械学習システムは、利用者による楽曲の演奏を表す学習用演奏データと、当該指摘データが表す演奏の傾向を表す学習用傾向データとを含む第１学習データを取得する第１学習データ取得部と、前記第１学習データを利用した機械学習により、前記学習用演奏データと前記学習用傾向データとの関係を学習した第１学習済モデルを確立する第１学習処理部とを具備する。以上の態様によれば、学習用演奏データと学習用傾向データとの間に潜在する関係のもとで、演奏データに対して統計的に妥当な傾向データを、第１学習済モデルにより生成できる。

態様１６の具体例（態様１７）において、前記第１学習データ取得部は、前記利用者による前記楽曲の演奏を表す演奏データと、前記楽曲内の時点と当該時点における前記演奏の傾向とを表す指摘データとを取得し、前記演奏データのうち前記指摘データが表す時点を含む区間内の演奏を表す前記学習用演奏データと、当該指摘データが表す演奏の傾向を表す前記学習用傾向データとを含む前記第１学習データを生成する。以上の態様によれば、演奏データの供給元（例えば第１装置）において、利用者による演奏のうち指摘データが表す時点に対応する区間を抽出する必要がない。

態様１７の具体例（態様１８）において、前記第１学習データ取得部は、第１装置から前記演奏データを取得し、前記第１装置とは別個の第２装置から前記指摘データを取得する。以上の態様によれば、例えば相互に遠隔地にある第１装置と第２装置とから取得したデータ（演奏データおよび指摘データ）を利用して、機械学習用のデータを準備できる。第１装置は、例えば、楽器の演奏を練習する練習者が使用する端末装置であり、第２装置は、例えば、練習者による演奏を評価および指導する指導者が使用する端末装置である。

態様１６から態様１８の何れかの具体例（態様１９）において、前記第１学習済モデルは、前記参照楽曲の楽譜を表す学習用楽曲データと前記学習用演奏データとを含む学習用制御データと、前記学習用傾向データとの関係を学習したモデルである。以上の態様においては、学習用演奏データに加えて学習用楽曲データが学習用制御データに含まれるから、学習用演奏データと学習用楽曲データとの関係（例えば異同）を反映した適切な傾向データを生成可能な第１学習済モデルを確立できる。

態様１６から態様１９の何れかの具体例（態様２０）において、演奏の傾向を表す学習用傾向データと、前記学習用傾向データが表す傾向に応じた学習用練習フレーズとを含む複数の第２学習データを取得する第２学習データ取得部と、前記複数の第２学習データを利用した機械学習により、前記第２学習データにおける前記学習用傾向データと前記学習用練習フレーズとの関係を学習した第２学習済モデルを確立する第２学習処理部とをさらに具備する。

本開示のひとつの態様（態様２１）に係る機械学習方法は、利用者による楽曲の演奏を表す演奏データと、前記楽曲内の時点と当該時点における演奏の傾向とを表す指摘データとを取得し、前記演奏データのうち前記指摘データが表す時点を含む区間内の演奏を表す学習用演奏データと、当該指摘データが表す演奏の傾向を表す学習用傾向データとを含む第１学習データを利用した機械学習により、前記学習用演奏データと前記学習用傾向データとの関係を学習した第１学習済モデルを確立する。

１００…演奏システム、１０…電子楽器、１１，２１，３１，４１，５１…制御装置、１２，２２，３２，４２，５２…記憶装置、１３，２３，３３，４３…通信装置、１４…演奏装置、１５，４５…表示装置、１６…音源装置、１７…放音装置、１８，４６…再生システム、２０…情報処理システム、３０…機械学習システム、４０…情報装置、４４…操作装置、５０…情報装置、７１…演奏データ取得部、７２…傾向特定部、７３…練習フレーズ特定部、７４…提示処理部、８１a，８１b…学習データ取得部、８２a，８２b…学習処理部。

Claims (16)

1. 利用者による楽曲の演奏を表す演奏データを取得する演奏データ取得部と、
   参照楽曲の演奏を表す学習用演奏データと、前記学習用演奏データが表す演奏の傾向を表す学習用傾向データとの関係を学習した第１学習済モデルに、前記演奏データ取得部が取得した前記演奏データを入力することで、前記利用者による演奏の傾向を表す傾向データを生成する傾向特定部と、
   前記傾向特定部が生成した前記傾向データが表す傾向に応じて基準フレーズを編集することで練習フレーズを生成する練習フレーズ特定部と
   を具備する情報処理システム。
2. 前記第１学習済モデルは、前記参照楽曲の楽譜を表す学習用楽曲データと前記学習用演奏データとを含む学習用制御データと、前記学習用傾向データとの関係を学習したモデルであり、
   前記傾向特定部は、前記演奏データと前記楽曲の楽譜を表す楽曲データとを含む制御データを前記第１学習済モデルに入力することで、前記傾向データを生成する
   請求項１の情報処理システム。
3. 前記基準フレーズは、コードの時系列を含み、
   前記基準フレーズの編集は、前記コードの変更を含む
   請求項１または請求項２の情報処理システム。
4. 前記基準フレーズは、音高差が所定値を上回る跳躍進行を含み、
   前記基準フレーズの編集は、前記跳躍進行の省略または変更を含む
   請求項１から請求項３の何れかの情報処理システム。
5. 前記基準フレーズは、楽器の演奏法の指定を含み、
   前記基準フレーズの編集は、前記演奏法の変更を含む
   請求項１から請求項４の何れかの情報処理システム。
6. 利用者による楽曲の演奏を表す演奏データを取得する演奏データ取得部と、
   参照楽曲の演奏を表す学習用演奏データと、前記学習用演奏データが表す演奏の傾向を表す学習用傾向データとの関係を学習した第１学習済モデルに、前記演奏データ取得部が取得した前記演奏データを入力することで、前記利用者による演奏の傾向を表す傾向データを生成する傾向特定部と、
   演奏の傾向を表す学習用傾向データと、前記学習用傾向データが表す傾向に応じた学習用練習フレーズとの関係を学習した第２学習済モデルに、前記傾向特定部が生成した前記傾向データを入力することで、練習フレーズを特定する練習フレーズ特定部と
   を具備する情報処理システム。
7. 前記練習フレーズ特定部は、相異なる楽器に対応する複数の第２学習済モデルの何れかを選択的に利用して前記練習フレーズを特定する
   請求項６の情報処理システム。
8. 前記傾向特定部は、相異なる楽器に対応する複数の第１学習済モデルの何れかを選択的に利用して前記傾向データを生成する
   請求項１から請求項７の何れかの情報処理システム。
9. 利用者による楽曲の演奏を受付ける演奏受付部と、
   前記演奏受付部が受付けた演奏を表す演奏データを取得する演奏データ取得部と、
   楽曲の演奏を表す学習用演奏データと、前記学習用演奏データが表す演奏の傾向を表す学習用傾向データとの関係を学習した第１学習済モデルに、前記演奏データ取得部が取得した前記演奏データを入力することで、前記利用者による演奏の傾向を表す傾向データを前記第１学習済モデルから出力する傾向特定部と、
   前記傾向特定部が出力した前記傾向データが表す傾向に応じて基準フレーズを編集することで、前記利用者による演奏の傾向に応じた練習フレーズを生成する練習フレーズ特定部と、
   前記練習フレーズを前記利用者に提示する提示処理部と
   を具備する電子楽器。
10. 利用者による楽曲の演奏を受付ける演奏受付部と、
    前記演奏受付部が受付けた演奏を表す演奏データを取得する演奏データ取得部と、
    楽曲の演奏を表す学習用演奏データと、前記学習用演奏データが表す演奏の傾向を表す学習用傾向データとの関係を学習した第１学習済モデルに、前記演奏データ取得部が取得した前記演奏データを入力することで、前記利用者による演奏の傾向を表す傾向データを前記第１学習済モデルから出力する傾向特定部と、
    演奏の傾向を表す学習用傾向データと、前記学習用傾向データが表す傾向に応じた学習用練習フレーズとの関係を学習した第２学習済モデルに、前記傾向特定部が出力した前記傾向データを入力することで、前記利用者による演奏の傾向に応じた練習フレーズを特定する練習フレーズ特定部と、
    前記練習フレーズを前記利用者に提示する提示処理部と
    を具備する電子楽器。
11. 利用者による楽曲の演奏を表す演奏データを取得し、
    楽曲の演奏を表す学習用演奏データと、前記学習用演奏データが表す演奏の傾向を表す学習用傾向データとの関係を学習した第１学習済モデルに、前記取得した前記演奏データを入力することで、前記利用者による演奏の傾向を表す傾向データを生成し、
    前記傾向データが表す傾向に応じて基準フレーズを編集することで練習フレーズを生成する
    コンピュータシステムにより実現される情報処理方法。
12. 利用者による楽曲の演奏を表す演奏データを取得し、
    楽曲の演奏を表す学習用演奏データと、前記学習用演奏データが表す演奏の傾向を表す学習用傾向データとの関係を学習した第１学習済モデルに、前記取得した前記演奏データを入力することで、前記利用者による演奏の傾向を表す傾向データを生成し、
    演奏の傾向を表す学習用傾向データと、前記学習用傾向データが表す傾向に応じた学習用練習フレーズとの関係を学習した第２学習済モデルに、前記傾向データを入力することで、練習フレーズを特定する
    コンピュータシステムにより実現される情報処理方法。
13. 利用者による楽曲の演奏を表す学習用演奏データと、当該演奏の傾向を表す学習用傾向データとを含む第１学習データを取得する第１学習データ取得部と、
    前記第１学習データを利用した機械学習により、前記学習用演奏データと前記学習用傾向データとの関係を学習した第１学習済モデルを確立する第１学習処理部と、
    演奏の傾向を表す学習用傾向データと、前記学習用傾向データが表す傾向に応じた学習用練習フレーズとを含む複数の第２学習データを取得する第２学習データ取得部と、
    前記複数の第２学習データを利用した機械学習により、前記第２学習データにおける前記学習用傾向データと前記学習用練習フレーズとの関係を学習した第２学習済モデルを確立する第２学習処理部と
    を具備する機械学習システム。
14. 前記第１学習データ取得部は、
    前記利用者による前記楽曲の演奏を表す演奏データと、前記楽曲内の時点と当該時点における前記演奏の傾向とを表す指摘データとを取得し、
    前記演奏データのうち前記指摘データが表す時点を含む区間内の演奏を表す前記学習用演奏データと、当該指摘データが表す演奏の傾向を表す前記学習用傾向データとを含む前記第１学習データを生成する
    請求項１３の機械学習システム。
15. 前記第１学習データ取得部は、
    第１装置から前記演奏データを取得し、
    前記第１装置とは別個の第２装置から前記指摘データを取得する
    請求項１４の機械学習システム。
16. 前記第１学習済モデルは、前記楽曲の楽譜を表す学習用楽曲データと前記学習用演奏データとを含む学習用制御データと、前記学習用傾向データとの関係を学習したモデルである
    請求項１３から請求項１５の何れかの機械学習システム。
    

Images