[go: up one dir, main page]

JP3873914B2 - Performance practice device and program - Google Patents

Performance practice device and program Download PDF

Info

Publication number
JP3873914B2
JP3873914B2 JP2003064911A JP2003064911A JP3873914B2 JP 3873914 B2 JP3873914 B2 JP 3873914B2 JP 2003064911 A JP2003064911 A JP 2003064911A JP 2003064911 A JP2003064911 A JP 2003064911A JP 3873914 B2 JP3873914 B2 JP 3873914B2
Authority
JP
Japan
Prior art keywords
performance
data
melody
user
accompaniment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003064911A
Other languages
Japanese (ja)
Other versions
JP2004272067A (en
Inventor
賢次 近藤
保彦 旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2003064911A priority Critical patent/JP3873914B2/en
Publication of JP2004272067A publication Critical patent/JP2004272067A/en
Application granted granted Critical
Publication of JP3873914B2 publication Critical patent/JP3873914B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Auxiliary Devices For Music (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、ユーザが伴奏パートを演奏する技量に応じてメロディパートの演奏態様を制御することができる演奏練習システムに関する。
【0002】
【従来の技術】
従来より、手本となる曲を選びレッスンモードにて演奏のレッスンを行うことができる電子楽器があり、このような楽器では、レッスン時はユーザの演奏内容を手本となる曲データと比較して評価を行うようにしている。この場合、例えば、ユーザが演奏を間違うと、正しく演奏されるまで曲データの再生をストップさせて練習自体がストップしてしまうものがある。
【0003】
また、特許文献1に示されるように、ユーザの演奏が手本と比較して或る程度ずれてくると、ユーザの演奏の代わりに、手本となる曲データ内のユーザ演奏パートに当たる演奏データを再生するように制御する技術も知られている。
【0004】
【特許文献1】
特許第3166621号公報
【0005】
このように、従来技術では、曲データの再生がストップしない、或いは、自分の演奏データが最後まで再生されるということで、レッスンの上達を確認していたので、自分のレッスンするパートを追うばかりで、他のパートの演奏を楽しんだり、レッスン自体を楽しむ気持ちになりにくかった。
【0006】
【発明が解決しようとする課題】
この発明は、このような不都合に鑑み、ユーザによるレッスン演奏を他パートの演奏に影響させるように構成することによって、他パートの演奏も一緒に楽しむことができ、レッスンに目標を持たせることができる演奏練習システムを提供することを目的とする。
【0007】
【課題を解決するための手段】
この発明の主たる特徴に従うと、メロディパート及び伴奏パートを含む曲データ(Mn)の伴奏パートについて演奏を練習するための演奏練習装置(PC)であって、ユーザの演奏に基づくユーザ演奏データ(Pn)を伴奏パートの演奏データ(Ac)と比較する比較手段(CM;S4,S5,S9)と、この比較の結果に応じてメロディパートの演奏を制御するメロディパート制御手段(CT;S6〜S8,S10,S11)とを具備する演奏練習装置〔請求項1〕、並びに、メロディパート及び伴奏パートを含む曲データの伴奏パートについて演奏を練習するために用いられる演奏データ処理装置(PC)に対して、ユーザの演奏に基づくユーザ演奏データ(Pn)を伴奏パートの模範演奏データ(Ac)と比較するステップ(CM;S4,S5,S9)と、この比較の結果に応じてメロディパートの演奏を制御するステップ(CT;S6〜S8,S10,S11)とから成る手順を実行するための演奏練習プログラム〔請求項4〕が提供される。なお、括弧書きは、対応する実施例の参照記号である。
【0008】
この発明による演奏練習装置(PC)のメロディパート制御手段(CT)は、比較手段(CM)によりユーザの演奏が間違えていると判定された区間に対応するメロディパートに対して、その演奏が下手になるように制御する(S6,S8,S10)〔請求項2〕ように構成したり、比較手段(CM)によりユーザが正しく演奏できたと判定された区間に相当するメロディパートの演奏データに対して、その演奏が上手になるように制御する(S11)〔請求項3〕ように構成することができる。
【0009】
〔作用〕
この発明による演奏練習システムは、例えば、歌声パートなどのメロディパートと伴奏パートとを含む曲データ(Mn)の伴奏パートをレッスンパートとし、曲の進行に従い、ユーザが伴奏パートを演奏する〔PIN→7(PP)〕のに並行して、メロディパートの演奏データ(Sg)が再生されるように構成される〔DIN→MC→7(SP)〕。その際、ユーザ演奏データ(Pn)を伴奏パートの模範演奏データ(Ac)と比較し、ユーザによる伴奏パート演奏の優劣に応じてメロディパートの演奏を制御する〔CM→CT→MC〕。
【0010】
例えば、比較の結果に応じて、ユーザが正しい演奏をすればメロディパートが正しく再生されるが〔S4(YES)→S9(YES)→S11〕、下手な演奏をするとメロディパートもそれに合わせて下手になるようにメロディパートの演奏データ(Sg)に制御が加えられる〔S4(NO)→S6,S8;S9(NO)→S10〕。また、正しく演奏できた場合は、メロディパートの演奏データ(Sg)を忠実に再生するだけでなく、さらに、メロディパートの演奏が上手になるように制御を加えることもできる〔S11〕。
【0011】
この発明によると、このように、ユーザ自身のレッスンパートの演奏が他パートの演奏の上手い下手に影響してくるようにしており、しかも、上手・下手の影響を感じ易いメロディパートを他パートとしているので、他パートの演奏も一緒に楽しむことができる。また、ユーザの演奏が下手なうちは他パートの演奏も下手で、ユーザの演奏技量の上達に他パートも付いてきてくれるので、レッスンに目標を持つことができる。
【0012】
【発明の実施の形態】
以下、図面を参照しつつ、この発明の好適な実施例を詳述する。なお、以下の実施例は単なる一例であって、この発明の精神を逸脱しない範囲で種々の変更が可能である。
【0013】
〔システム構成〕
図1は、この発明の一実施例による演奏練習システムのハードウエア構成例を示す。この例では、演奏練習装置本体PCとして、楽音生成機能を備えたパーソナルコンピュータで構成される演奏データ処理装置が用いられている。この演奏練習装置PCは、中央処理装置(CPU)1、ランダムアクセスメモリ(RAM)2、読出専用メモリ(ROM)3、外部記憶装置4、入力操作部5、表示部6、音源部7、通信インターフェース(通信I/F)8などを備え、これらの装置1〜8はバス9に接続される。
【0014】
装置全体を制御するCPU1は、所定の制御プログラムに従って演奏練習処理を含む各種処理を実行する。RAM2は、これらの処理で利用される種々の情報を一時的に記憶するための処理バッファとして機能し、例えば、演奏練習処理時には、手本となる曲データ(Mn)のメロディパートについてパラメータリストを格納する領域が確保される。また、ROM3は、CPU1に演奏練習処理を実行させるための演奏練習プログラムを含む各種制御プログラムや、曲データ(Mn)などの各種データ、テーブル等を記憶している。
【0015】
外部記憶装置4は、ハードディスク(HD)や、コンパクトディスク・リード・オンリィ・メモリ(CD−ROM)、フレキシブルディスク(FD)、光磁気(MO)ディスク、ディジタル多目的ディスク(DVD)、メモリカード等の記憶媒体を用いた記憶手段であり、演奏練習プログラム等の各種制御プログラムやデータは、ROM3だけでなく外部記憶装置4に記憶させることができる。
【0016】
例えば、ROM3に制御プログラムが記憶されていない場合、HDやCD−ROMなどの外部記憶装置4に制御プログラムを記憶させておいてそれをRAM2に読み込むことで、ROM3に制御プログラムを記憶している場合と同様の動作をCPU1にさせることができる、制御プログラムの追加やバージョンアップ等を容易に行うことができる。例えば、演奏練習処理に用いられる演奏練習プログラムや手本の曲データ(Mn)をインストールすることによって、所望の演奏練習装置を実現することができる。
【0017】
入力操作部5は入力操作子及び入力検出回路から成り、マウスやキーボード等の入力操作子による設定/制御操作の内容を入力検出回路で検出してシステム内に導入する。入力操作子は、各種キーやスイッチなどの操作子を備え、このシステムの動作状態を設定したり演奏練習に必要な各種情報を入力するのに用いられる。表示部6は、これに接続されるディスプレイ(CRT、LCD等の表示器)10の表示内容や各種インジケータ(ランプ)の点灯状態をCPU1からの指令に従って制御し、入力操作部5の操作に対する表示援助を行う。また、ROM3や外部記憶装置4に、ギターなど楽器の演奏レッスンのための曲データを多数用意しておき、演奏練習プログラムに従ってこれら曲データのリストをディスプレイ10に表示することができる。
【0018】
音源部7は、音源(ソフトウエアを含む)や効果付与DSPを含み、CPU1で再生された演奏データなどに対応する楽音信号を生成し、音源部7に接続されるサウンドシステム11は、D/A変換部やアンプ、スピーカを備え、音源部7からの楽音信号に基づく楽音を発生する。つまり、音源7及びサウンドシステム11は、楽音生成部を形成し再生処理後の演奏データに基づく楽音を発音する。
【0019】
また、図示の通信I/F8は、ローカルエリアネットワーク(LAN)や、インターネット、電話回線などの一般用通信ネットワーク、或いは、MIDI用ネットワークに接続される各種インターフェースを一括して表わしており、サーバ等の他のコンピュータやMIDI機器などの種々の外部機器PDと、必要な各種情報を授受することができる。例えば、当演奏練習装置PCに制御プログラムや各種データ等が記憶されていない場合、通信I/F8を介して他のコンピュータPDから制御プログラムや制御データ等をダウンロードすることができる。
【0020】
また、外部機器PDは、ギターや鍵盤などの演奏操作子を含み、演奏操作子の演奏操作に基づく演奏データ(PIN)を通信I/F8から取り込むことができる。例えば、ギター演奏操作子からは、ユーザの演奏操作に基づくギター演奏データを演奏練習装置PCに入力することができる。なお、以下の具体例においては、外部機器PDの一つであるギター演奏操作子に参照記号“PD”を用いる。
【0021】
〔全体の動作例〕
図2は、この発明の一実施例による演奏練習システム全体の動作例を表わす機能ブロック図である。CPU1は、演奏練習プログラムに従って、ROM3や外部記憶装置4に記憶されている曲データと、演奏操作子PDからの演奏データに対して、図示の各ブロック(DIN,PIN,CM,CT等)の動作機能を実行する。この動作例では、演奏操作子PDはギターであり、歌詞付きのメロディデータが音声に変換される場合について説明する。なお、歌詞付きのメロディデータに代えて、歌詞が付いていない通常のMIDIデータを用いてもよい。
【0022】
ここで、図2を用いてこの発明の一実施例による演奏練習システムの主たる機能を概略的に説明しておく。この演奏練習システムでは、メロディパート(Sg)及び伴奏パート(Ac)を含む曲データMnに対し、伴奏パートをレッスンパートとして演奏の練習をすることができる。曲の進行に従い、ユーザが伴奏パートを演奏する(PIN→PP)のに並行して、メロディパートの演奏データSgが再生される(DIN→MC→SP)。その際、比較判定部CMにより、ユーザの演奏に基づくユーザ演奏データPnを伴奏パートの演奏データAcと比較し、メロディ制御部CTにより、この比較の結果に応じてメロディパートの演奏を制御する。例えば、ユーザの演奏が間違えていると判定された区間に対応するメロディパートに対して、当該メロディパートの演奏が下手になるように制御する。
【0023】
以下、図2について、より詳しく説明する。演奏練習プログラムに従って曲データのリストが表示され、ユーザがリストから所望のレッスン曲を選択すると、データ入力部DINは、ROM3又は外部記憶装置4から、対応する曲データMnをRAM2上に読み込む。曲データMnはメロディパート及び伴奏パートの演奏データSg,Acから構成され、メロディパートの演奏データSgはメロディデータ処理部MC及びメロディ制御部CTに出力され、また、伴奏パートの演奏データAcは比較判定部CMに出力される。
【0024】
この例では、メロディパートの演奏データSgには、歌詞付きメロディデータが用いられる。また、伴奏パートの演奏データAcは、ユーザ演奏の模範とされるギターのコード弾きデータであり、図示のように模範伴奏データと呼ばれることがある。ここで、歌詞付きメロディデータSgは、曲の主旋律を表わすメロディデータ部と、これに対応して歌詞を表わす歌詞データ部とから成る“メロディ+歌詞”データであり、歌声データとも呼ばれる。また、これに対応してメロディパートを歌声パートと呼ぶことがある。
【0025】
曲データの進行に従い、データ入力部DIN→メロディデータ処理部MC→音源7のメロディ楽音生成部SPの経路で、メロディパートの演奏データ(歌詞付きメロディデータ)Sgが再生される。つまり、メロディ楽音生成部SPは、歌詞付きメロディデータSgにおける歌詞データ部の歌詞をメロディデータ部の主旋律に従った音声に変換する「“メロディ+歌詞”→音声」変換機能を有し、メロディデータ処理部MCで処理された歌詞付きメロディデータSgに基づいて、曲の主旋律に従った歌詞を音声で再生させる音声データを生成する。
【0026】
これに並行して、ユーザがギター演奏操作子PDをコード弾きで演奏すると、ユーザ演奏データ入力部PINは、ユーザの演奏によりギター演奏操作子PDから入力されるコード弾きのユーザ演奏データPnを、比較判定部CMに出力すると共に、演奏データ処理部を介して音源7の実演奏楽音生成部PPへ出力する。そして、音源7では、両楽音生成部SP,PPにより両演奏データSg,Pnに基づく楽音データを生成しサウンドシステム11に送る。
【0027】
さて、比較判定部CMは、ギター演奏に基づくユーザ演奏データPnを模範伴奏データ(コード弾きデータ)Acと比較し、比較結果をメロディ制御部CTに送る。メロディ制御部CTは、比較判定部CMにおける比較結果の内容に応じて、メロディデータSgに対する変更パラメータを算出し、算出した変更パラメータをメロディデータ処理部MCに送る。例えば、ユーザの演奏入力(Pn)が間違っている場合、サウンドシステム11から放音される歌声が下手になるように、該当する範囲のメロディデータSgの変更パラメータを算出する。この変更パラメータには、音高だけでなく、ノートオンのタイミングや、テンポ、エフェクト、ピッチベンド等、任意の楽音パラメータを適用することができる。
【0028】
メロディデータ処理部MCは、データ入力部DINからの歌詞付きメロディデータSgについて、音源7での再生処理に適したデータに変換すると共に、データ内容をメロディ制御部CTからの変更パラメータに対応して変更する処理を行い、処理後の歌詞付きメロディデータSgを音源7のメロディ楽音生成部SPに送る。例えば、上述のような演奏入力間違いの範囲については、メロディ制御部CTからの変更パラメータに応じて下手な歌声で再生されるように、歌詞付きメロディデータSgの対応パラメータを制御する。
【0029】
〔変更パラメータの生成例〕
この発明の一実施例による演奏練習システムにおいては、前述した比較判定部CM及びメロディ制御部CTの機能に従って、ユーザの演奏入力(Pn)を曲データ中の伴奏パート(Ac)と比較した結果(CM)に応じて、メロディパート(Sg)の楽音パラメータを変更してメロディパート(Sg)の演奏を制御することができる。図3は、この発明の一実施例による変更パラメータの生成例を表わすフローチャートである。この変更パラメータ生成フローは、主として、前述た演奏比較部CM及びメロディ制御部CTの機能に対応する。なお、図3では、ユーザ演奏データPnは、“演奏入力”と簡略表記されている。
【0030】
このフローがスタートすると、CPU1は、まず、ユーザのギター演奏操作子PDによるコード弾きの演奏データPnが入力されたか否かを検知し(ステップS1:なお、以下においては、記号“S…”単独で該当ステップを表わす)、演奏データPnが入力されるまで(S1→YES)、演奏データPnの入力を待機する状態にある(S1→NO→S1)。
【0031】
ここで、ユーザ演奏による演奏データPnが入力されると(S1→YES)、RAM2上のパラメータリストを、入力された演奏データPnに該当する区間のメロディデータSg内のイベントで初期化する(S2)。このパラメータリストは、例えば、当該区間のメロディデータSg内の音符イベントについて、そのタイミング、音高、長さ、強さ、歌詞などのパラメータを時系列に並べたものである。但し、歌詞については別のイベントとしてもよい。
【0032】
パラメータリスト初期化(S2)の後、ユーザ演奏データPnの根音及びタイプを検出する(S3)。ここで、検出できない音高の組合せの場合は、デフォルトの根音及びタイプに設定するものとし、このデフォルトはユーザによる設定が可能である。次いで、伴奏データAcのコードに対してユーザ演奏データPnの根音及びタイプが一致しているか否かを判定する(S4)。
【0033】
ユーザ演奏データPnと伴奏データAcとの間でコードの根音乃至タイプの不一致であれば(S4→NO)、さらに、伴奏データAcのコードに対してユーザ演奏データPnの根音が違うか否かを判定する(S5)。ここで、根音が一致しているとき、即ち、演奏データPnのタイプが伴奏データAcのコードと違っているときは(S5→NO)、音高差替えステップ(S6)でパラメータリストを変更した後、パラメータリスト送信ステップ(S7)に進む。つまり、コードの「タイプ違い」の場合には(S5→NO)、音高差替えステップ(S6)で、伴奏データAcのコード構成音のうちユーザ演奏データPnの構成音と違う音を検出し、パラメータリスト内の各音符イベントの中で、検出された音に対応する音名を持つ音符イベントの音高を、ユーザ演奏データPnの構成音の音名を持つ音高に差し替える。
【0034】
一方、根音判定ステップ(S5)で演奏データPnの根音が違うときには(S5→YES)、コードの「根音違い」として、ユーザ演奏データPnの根音と伴奏データAcのコードの根音との距離を算出し、パラメータリスト内の各音符イベントの音高をそれぞれシフトする処理(S8)を行った後、パラメータリスト送信ステップ(S7)に進む。また、根音だけでなくタイプも違う場合には、破線で示すように、さらに、音高差替えステップ(S6)に進んで前述した音高差替えを行った後、パラメータリスト送信ステップ(S7)に進む。
【0035】
さて、根音及びタイプ判定ステップ(S4)でコードの根音及びタイプが一致していると判定したときは(S4→YES)、さらに、伴奏データAcのコードに対してユーザ演奏データPnのタイミングが一致しているか否かを判定する(S9)。ここで、タイミングが一致しなければ「タイミング違い」と判断し(S9→NO)、パラメータリスト内の各音符イベントに対して、ユーザ演奏データPnがずれた分だけタイミングをずらす(S10)。そして、パラメータリスト送信ステップ(S7)に進む。
【0036】
また、タイミングが一致したときは(S9→YES)、「正しく弾けた」と判定し、パラメータリスト内の音符イベントに対し、上手な演奏に聴こえるような情報を追加したり或いは調整する(S11)。これには、例えば、該当する位置にリバーブをかける、或いは、各音符の長さをレガートっぽくなるように調整する、等々の方法がある。この処理の後、パラメータリスト送信ステップ(S7)に進む。
【0037】
そして、パラメータリスト送信ステップ(S7)では、各パラメータ変更ステップ(S6,S8,S10,S11)で変更された各パラメータリストの内容をメロディデータ処理部MCに送るための処理を実行する。そして、この処理の後、演奏入力検知ステップ(S1)に戻って、終了指示があるまで、上述した動作処理(S1〜S11)を繰り返す。
【0038】
〔種々の実施態様〕
以上、この発明を一実施例について説明したが、この発明は種々の態様で実施することができる。例えば、実施例においては、ギター演奏操作子を用いて、レッスンパートをコード弾きパートとし、メロディパートを歌声パート(歌詞付きメロディデータ)としたが、例えば、演奏操作子に鍵盤を用い、レッスンパートを左手パート、メロディパートを右手パートなどとしてもよい。
【0039】
また、実施例における各パラメータ変更ステップ(S6,S8,S10,S11)でのメロディパートを下手/上手に演奏させるための処理内容は、一例に過ぎない。ユーザが演奏を間違えた場合にメロディパートが下手になるようにする方法は、実施例に限らず、例えば、間違えた程度によってメロディパートの音高のはずし方を変えてもよい。また、テンポによりコントロールしてもよい。さらに、メロディパートが歌声パートの場合、下手にする方法の1つとして、歌詞を発音させないようにする方法もある。
【0040】
上手に弾けたときの処理(S11)については、歌声(メロディ)パートにエフェクトがかかるようにしてもよい。例えば、リバーブやビブラート、抑揚、音量などを付加することができる。
【0041】
ユーザの演奏を評価(比較・判定)する際に、実施例では音高及びノートオンのタイミングを考慮したが、この他にも、例えば、ユーザの各音を弾く強さや長さなどを考慮することができる。
【0042】
メロディパートの制御には、1つのメロディデータの楽音パラメータを制御するものだけでなく、予め同一曲について、下手/上手の複数段階のメロディデータを用意しておき、ユーザ演奏の評価に応じて、再生されるメロディデータを切り換えるようにしてもよい。例えば、下手なデータを何段階か模範の曲データと共に記憶しておいてもよい。
【0043】
歌声パートの再生方法としては、MIDI形式の音高と長さと歌詞より歌声を作りだすようなエンジンを使用してもよいし、サンプリングデータを使うなど他の方法でもよい。
【0044】
演奏操作子を用いてレッスン演奏する際のレッスン内容の提示は、例えば、演奏操作子上に設けたランプなどで視覚的にユーザに知らせる方法でもよいし、楽譜などを表示する方法などでもよい。また、ユーザ演奏の評価については、曲データの再生制御だけでなく、さらに、評価に応じて得点やメッセージなどをユーザに提示するようにしてもよい。
【0045】
なお、「伴奏パート」という表現は、実施例のようなコード弾きパートだけではなく、例えば、ドラムパート、リズムパート、ベースパート、メロディ以外のフレーズを弾くパート、分散和音を弾くパートなど、楽曲を構成するパートの中でメロディパート以外の全てのパートを指す。
【0046】
【発明の効果】
以上説明したように、この発明によれば、メロディパートと伴奏パートとを含む曲データについて、ユーザが伴奏パートをレッスンパートとして演奏するのに並行して、メロディパートの演奏データを再生する際に、例えば、ユーザが正しい演奏をすればメロディパートが正しく再生され、下手な演奏をするとメロディパートもそれに合わせて下手になるというように、ユーザによる伴奏パート演奏の優劣に応じてメロディパートの演奏を制御し、ユーザ自身のレッスンパートの演奏が他パートの演奏の上手/下手に影響してくるようにしているので、他パートの演奏も一緒に楽しむことができる。また、ユーザの演奏が下手なうちは他パートの演奏も下手で、ユーザの演奏技量が上達すれば他パートの演奏の仕方もこれに追従するので、レッスンに目標を持つことができる。
【図面の簡単な説明】
【図1】図1は、この発明の一実施例による演奏練習システムのハードウエア構成例を示すブロック図である。
【図2】図2は、この発明の一実施例による演奏練習システム全体の動作例を表わす機能ブロック図である。
【図3】図3は、この発明の一実施例による変更パラメータの生成例を表わすフローチャートである。
【符号の説明】
PC 演奏練習装置(パーソナルコンピュータ)、
PD 外部機器(ギター演奏操作子など)、
DIN,PIN 曲データ入力部及びユーザ演奏データ入力部、
CM 比較判定部、
CT メロディ制御部、
MC メロディデータ処理部、
SP メロディ楽音生成部。
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a performance practice system that allows a user to control the performance mode of a melody part according to the skill of playing an accompaniment part.
[0002]
[Prior art]
Conventionally, there are electronic musical instruments that can select a model song and perform a lesson in the lesson mode. With such an instrument, the user's performance is compared with the sample song data during the lesson. To evaluate. In this case, for example, if the user makes a mistake in the performance, the reproduction of the song data is stopped until the performance is correctly performed, and the practice itself is stopped.
[0003]
Further, as shown in Patent Document 1, when the user's performance deviates to a certain extent as compared with the model, the performance data corresponding to the user performance part in the sample music data is used instead of the user's performance. There is also known a technique for controlling to reproduce the video.
[0004]
[Patent Document 1]
Japanese Patent No. 3166621 gazette
In this way, in the prior art, the song data does not stop playing, or your performance data is played back to the end, so you have confirmed the progress of the lesson. So I didn't feel like enjoying the performances of other parts or enjoying the lessons themselves.
[0006]
[Problems to be solved by the invention]
In view of such inconvenience, the present invention is configured such that the lesson performance by the user affects the performance of the other parts, so that the performance of the other parts can be enjoyed together and the lesson can have a goal. The purpose is to provide a performance practice system.
[0007]
[Means for Solving the Problems]
According to the main feature of the present invention, there is provided a performance practice device (PC) for practicing performance for an accompaniment part of music data (Mn) including a melody part and an accompaniment part, wherein the user performance data (Pn) is based on the performance of the user. ) To the performance data (Ac) of the accompaniment part (CM; S4, S5, S9), and the melody part control means (CT; S6 to S8) for controlling the performance of the melody part according to the result of this comparison , S10, S11), and a performance data processing apparatus (PC) used for practicing the performance of the accompaniment part of the song data including the melody part and the accompaniment part. The user performance data (Pn) based on the user performance is compared with the model performance data (Ac) of the accompaniment part (CM; S , S5, S9) and a performance practice program for executing a procedure comprising the steps (CT; S6-S8, S10, S11) for controlling the performance of the melody part in accordance with the result of this comparison. Is provided. Note that the parentheses are reference symbols for the corresponding embodiments.
[0008]
The melody part control means (CT) of the performance practice device (PC) according to the present invention is poor in performance with respect to the melody part corresponding to the section determined by the comparison means (CM) that the user's performance is wrong. (S6, S8, S10) [Claim 2] or the performance data of the melody part corresponding to the section determined by the comparison means (CM) that the user was able to perform correctly. Thus, the performance can be controlled (S11) [Claim 3].
[0009]
[Action]
In the performance practice system according to the present invention, for example, an accompaniment part of music data (Mn) including a melody part such as a singing voice part and an accompaniment part is used as a lesson part, and the user plays the accompaniment part as the music progresses [PIN → 7 (PP)], the performance data (Sg) of the melody part is reproduced [DIN → MC → 7 (SP)]. At that time, the user performance data (Pn) is compared with the model performance data (Ac) of the accompaniment part, and the performance of the melody part is controlled according to the superiority or inferiority of the accompaniment part performance by the user [CM → CT → MC].
[0010]
For example, according to the comparison result, if the user performs the correct performance, the melody part is reproduced correctly [S4 (YES) → S9 (YES) → S11]. Control is added to the performance data (Sg) of the melody part [S4 (NO) → S6, S8; S9 (NO) → S10]. If the performance is correct, not only can the performance data (Sg) of the melody part be faithfully reproduced, but also control can be applied to improve the performance of the melody part [S11].
[0011]
According to the present invention, the performance of the user's own lesson part in this way affects the performance of the other part's performance, and the melody part that is easy to feel the effect of the skill of the upper / lower is regarded as the other part. So you can enjoy the performance of other parts together. In addition, while the user is not good at playing, other parts are also poor at playing, and other parts are accompanied by the improvement of the user's performance skills, so the lesson can have a goal.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. The following embodiments are merely examples, and various modifications can be made without departing from the spirit of the present invention.
[0013]
〔System configuration〕
FIG. 1 shows a hardware configuration example of a performance practice system according to an embodiment of the present invention. In this example, a performance data processing device composed of a personal computer having a musical tone generation function is used as the performance practice device main body PC. This performance practice device PC includes a central processing unit (CPU) 1, a random access memory (RAM) 2, a read only memory (ROM) 3, an external storage device 4, an input operation unit 5, a display unit 6, a sound source unit 7, a communication An interface (communication I / F) 8 is provided, and these devices 1 to 8 are connected to a bus 9.
[0014]
CPU1 which controls the whole apparatus performs various processes including a performance practice process according to a predetermined control program. The RAM 2 functions as a processing buffer for temporarily storing various types of information used in these processes. For example, during a performance practice process, a parameter list is stored for a melody part of song data (Mn) as a model. A storage area is secured. The ROM 3 stores various control programs including a performance practice program for causing the CPU 1 to perform performance practice processing, various data such as song data (Mn), tables, and the like.
[0015]
The external storage device 4 is a hard disk (HD), a compact disk read only memory (CD-ROM), a flexible disk (FD), a magneto-optical (MO) disk, a digital multipurpose disk (DVD), a memory card, etc. The storage means uses a storage medium, and various control programs such as a performance practice program and data can be stored not only in the ROM 3 but also in the external storage device 4.
[0016]
For example, if no control program is stored in the ROM 3, the control program is stored in the ROM 3 by storing the control program in the external storage device 4 such as an HD or a CD-ROM and reading it into the RAM 2. It is possible to cause the CPU 1 to perform the same operation as in the case, and it is possible to easily add a control program or upgrade the version. For example, a desired performance training device can be realized by installing a performance training program and model song data (Mn) used for performance training processing.
[0017]
The input operation unit 5 includes an input operation element and an input detection circuit, and detects the contents of the setting / control operation by the input operation element such as a mouse and a keyboard by the input detection circuit and introduces the contents into the system. The input operation element includes operation elements such as various keys and switches, and is used to set the operating state of the system and to input various information necessary for performance practice. The display unit 6 controls the display content of a display (display such as a CRT or LCD) 10 connected thereto and the lighting state of various indicators (lamps) in accordance with commands from the CPU 1, and displays the operation for the input operation unit 5. Give assistance. In addition, a large number of song data for performance lessons of musical instruments such as guitars can be prepared in the ROM 3 and the external storage device 4, and a list of these song data can be displayed on the display 10 in accordance with a performance practice program.
[0018]
The sound source unit 7 includes a sound source (including software) and an effect-providing DSP, generates a musical sound signal corresponding to performance data reproduced by the CPU 1, and the sound system 11 connected to the sound source unit 7 has a D / D An A conversion unit, an amplifier, and a speaker are provided, and a musical tone based on a musical tone signal from the sound source unit 7 is generated. That is, the sound source 7 and the sound system 11 form a musical sound generation unit and generate musical sounds based on the performance data after the reproduction process.
[0019]
The communication I / F 8 shown in the figure collectively represents various interfaces connected to a local area network (LAN), a general communication network such as the Internet and a telephone line, or a MIDI network. Various necessary information can be exchanged with various external devices PD such as other computers and MIDI devices. For example, when the control program and various data are not stored in the performance practice device PC, the control program and control data can be downloaded from another computer PD via the communication I / F 8.
[0020]
The external device PD includes a performance operator such as a guitar or a keyboard, and can acquire performance data (PIN) based on the performance operation of the performance operator from the communication I / F 8. For example, from a guitar performance operator, guitar performance data based on a user's performance operation can be input to the performance practice device PC. In the following specific example, the reference symbol “PD” is used for a guitar performance operator which is one of the external devices PD.
[0021]
[Example of overall operation]
FIG. 2 is a functional block diagram showing an operation example of the entire performance practice system according to one embodiment of the present invention. In accordance with the performance practice program, the CPU 1 performs the illustrated blocks (DIN, PIN, CM, CT, etc.) on the music data stored in the ROM 3 and the external storage device 4 and the performance data from the performance operator PD. Perform operational functions. In this operation example, a case where the performance operator PD is a guitar and melody data with lyrics is converted into sound will be described. Instead of melody data with lyrics, normal MIDI data without lyrics may be used.
[0022]
Here, the main functions of the performance practice system according to one embodiment of the present invention will be schematically described with reference to FIG. In this performance practice system, it is possible to practice performance using the accompaniment part as a lesson part for the music data Mn including the melody part (Sg) and the accompaniment part (Ac). As the music progresses, the performance data Sg of the melody part is reproduced (DIN → MC → SP) in parallel with the user playing the accompaniment part (PIN → PP). At that time, the comparison / determination unit CM compares the user performance data Pn based on the user's performance with the performance data Ac of the accompaniment part, and the melody control unit CT controls the performance of the melody part according to the comparison result. For example, with respect to the melody part corresponding to the section in which it is determined that the user's performance is wrong, control is performed so that the performance of the melody part is poor.
[0023]
Hereinafter, FIG. 2 will be described in more detail. When a list of song data is displayed according to the performance practice program and the user selects a desired lesson song from the list, the data input unit DIN reads the corresponding song data Mn from the ROM 3 or the external storage device 4 into the RAM 2. The music data Mn is composed of performance data Sg and Ac of the melody part and accompaniment part, the performance data Sg of the melody part is output to the melody data processing unit MC and the melody control unit CT, and the performance data Ac of the accompaniment part is compared. It is output to the determination unit CM.
[0024]
In this example, melody data with lyrics is used for the performance data Sg of the melody part. The performance data Ac of the accompaniment part is guitar chord playing data that is an example of user performance, and may be referred to as exemplary accompaniment data as shown. Here, the melody data with lyrics Sg is “melody + lyric” data composed of a melody data portion representing the main melody of the song and a lyric data portion representing the lyrics corresponding thereto, and is also called singing voice data. Correspondingly, the melody part may be called a singing voice part.
[0025]
In accordance with the progress of the song data, the performance data (melody data with lyrics) Sg of the melody part is reproduced through the path of the data input unit DIN → the melody data processing unit MC → the melody musical tone generation unit SP of the sound source 7. In other words, the melody musical sound generating unit SP has a ““ melody + lyric ”→ speech” conversion function for converting the lyrics in the lyric data portion in the melody data Sg with lyrics into the voice according to the main melody of the melody data portion, and the melody data Based on the melody data with lyrics Sg processed by the processing unit MC, voice data for reproducing the lyrics in accordance with the main melody of the music is generated.
[0026]
In parallel with this, when the user plays the guitar performance operator PD by playing the chord, the user performance data input unit PIN receives the chord playing user performance data Pn input from the guitar performance operator PD by the user's performance. While outputting to the comparison judgment part CM, it outputs to the real performance musical sound production | generation part PP of the sound source 7 via a performance data processing part. In the sound source 7, musical sound data based on both performance data Sg and Pn is generated by both musical sound generation units SP and PP and sent to the sound system 11.
[0027]
Now, the comparison determination unit CM compares the user performance data Pn based on the guitar performance with the model accompaniment data (chord playing data) Ac, and sends the comparison result to the melody control unit CT. The melody control unit CT calculates a change parameter for the melody data Sg according to the content of the comparison result in the comparison determination unit CM, and sends the calculated change parameter to the melody data processing unit MC. For example, when the user's performance input (Pn) is wrong, the change parameter of the melody data Sg in the corresponding range is calculated so that the singing voice emitted from the sound system 11 is poor. As the change parameter, not only the pitch but also any musical sound parameters such as note-on timing, tempo, effect, pitch bend, and the like can be applied.
[0028]
The melody data processing unit MC converts the melody data with lyrics Sg from the data input unit DIN into data suitable for reproduction processing with the sound source 7, and the data content corresponds to the change parameter from the melody control unit CT. Processing to change is performed, and the processed melody data Sg with lyrics is sent to the melody musical sound generation unit SP of the sound source 7. For example, the corresponding parameter of the melody data with lyrics Sg is controlled so that the range of performance input errors as described above is reproduced with a poor singing voice according to the change parameter from the melody control unit CT.
[0029]
[Example of generating change parameters]
In the performance practice system according to one embodiment of the present invention, the result of comparing the user's performance input (Pn) with the accompaniment part (Ac) in the song data according to the functions of the comparison determination unit CM and the melody control unit CT described above ( Depending on CM, the musical tone parameter of the melody part (Sg) can be changed to control the performance of the melody part (Sg). FIG. 3 is a flowchart showing an example of generation of change parameters according to one embodiment of the present invention. This change parameter generation flow mainly corresponds to the functions of the performance comparison unit CM and the melody control unit CT described above. In FIG. 3, the user performance data Pn is simply expressed as “performance input”.
[0030]
When this flow starts, the CPU 1 first detects whether or not the chord playing performance data Pn by the user's guitar performance operator PD has been input (step S1: In the following, the symbol “S...” Alone is detected. Until the performance data Pn is input (S1 → YES), the input of the performance data Pn is awaited (S1 → NO → S1).
[0031]
When the performance data Pn by the user performance is input (S1 → YES), the parameter list on the RAM 2 is initialized with the event in the melody data Sg in the section corresponding to the input performance data Pn (S2). ). This parameter list includes, for example, parameters such as timing, pitch, length, strength, and lyrics of note events in the melody data Sg in the section in time series. However, the lyrics may be another event.
[0032]
After the parameter list initialization (S2), the root tone and type of the user performance data Pn are detected (S3). Here, in the case of a combination of pitches that cannot be detected, the default root tone and type are set, and this default can be set by the user. Next, it is determined whether or not the root tone and type of the user performance data Pn match the chord of the accompaniment data Ac (S4).
[0033]
If the chord root tone or type mismatch between the user performance data Pn and the accompaniment data Ac (S4 → NO), whether or not the root tone of the user performance data Pn is different from the chord of the accompaniment data Ac. Is determined (S5). Here, when the roots match, that is, when the type of the performance data Pn is different from the chord of the accompaniment data Ac (S5 → NO), the parameter list is changed in the pitch replacement step (S6). Thereafter, the process proceeds to the parameter list transmission step (S7). That is, in the case of “type difference” of the chord (S5 → NO), in the pitch replacement step (S6), a sound different from the constituent sound of the user performance data Pn is detected among the chord constituent sounds of the accompaniment data Ac, Among the note events in the parameter list, the pitch of the note event having the pitch name corresponding to the detected sound is replaced with the pitch having the pitch name of the constituent sound of the user performance data Pn.
[0034]
On the other hand, when the root tone of the performance data Pn is different in the root tone determination step (S5) (S5 → YES), the root tone of the user performance data Pn and the chord root of the accompaniment data Ac are determined as “difference of root tone” of the chord. And the process of shifting the pitch of each note event in the parameter list (S8), the process proceeds to the parameter list transmission step (S7). If not only the root tone but also the type is different, as indicated by a broken line, the process further proceeds to the pitch replacement step (S6) and the above-described pitch replacement is performed, and then to the parameter list transmission step (S7). move on.
[0035]
When it is determined in the root note and type determination step (S4) that the root note and type of the chord match (S4 → YES), the timing of the user performance data Pn with respect to the chord of the accompaniment data Ac is further determined. (S9). Here, if the timings do not match, it is determined that “timing is different” (S9 → NO), and the timing is shifted by the shift of the user performance data Pn with respect to each note event in the parameter list (S10). And it progresses to a parameter list transmission step (S7).
[0036]
If the timings match (S9 → YES), it is determined that the key has been played correctly, and information that can be heard in a good performance is added to or adjusted for the note event in the parameter list (S11). . For example, reverb is applied to the corresponding position, or the length of each note is adjusted to be legato-like. After this processing, the process proceeds to the parameter list transmission step (S7).
[0037]
In the parameter list transmission step (S7), processing for sending the contents of each parameter list changed in each parameter changing step (S6, S8, S10, S11) to the melody data processing unit MC is executed. After this process, the process returns to the performance input detection step (S1), and the above-described operation processes (S1 to S11) are repeated until an end instruction is given.
[0038]
[Various Embodiments]
As mentioned above, although this invention was demonstrated about one Example, this invention can be implemented in a various aspect. For example, in the embodiment, a guitar performance operator is used, the lesson part is a chord playing part, and the melody part is a singing voice part (melody data with lyrics). May be the left hand part and the melody part may be the right hand part.
[0039]
In addition, the processing content for causing the melody part to be played poorly / skillfully in each parameter changing step (S6, S8, S10, S11) in the embodiment is merely an example. The method of making the melody part unsatisfactory when the user makes a mistake in performance is not limited to the embodiment, and for example, the pitch of the melody part may be changed depending on the degree of the mistake. Moreover, you may control by tempo. Furthermore, when the melody part is a singing voice part, there is also a method of preventing the lyric from being pronounced as one of the methods for making it poor.
[0040]
About the process (S11) when playing well, you may make it apply an effect to a singing voice (melody) part. For example, reverb, vibrato, intonation, volume, etc. can be added.
[0041]
In evaluating (comparing / determining) a user's performance, in the embodiment, the pitch and note-on timing are taken into account, but in addition to this, for example, the strength and length of each user's sound are taken into account. be able to.
[0042]
The melody part is controlled not only by controlling the musical tone parameters of one melody data, but also by preparing multiple levels of melody data of lower / upper tiers for the same song in advance. The melody data to be played back may be switched. For example, poor data may be stored together with some types of model music data.
[0043]
As a method for reproducing the singing voice part, an engine that creates a singing voice from the pitch, length, and lyrics of the MIDI format may be used, or other methods such as using sampling data may be used.
[0044]
The presentation of lesson contents when performing a lesson using a performance operator may be, for example, a method of visually informing the user with a lamp or the like provided on the performance operator, or a method of displaying a score or the like. Further, regarding the evaluation of the user performance, not only the reproduction control of the music data but also a score or a message may be presented to the user according to the evaluation.
[0045]
The expression “accompaniment part” is not limited to the chord playing part as in the embodiment. For example, the drum part, the rhythm part, the bass part, the part that plays phrases other than the melody, the part that plays distributed chords, etc. This refers to all parts other than the melody part.
[0046]
【The invention's effect】
As described above, according to the present invention, the music data including the melody part and the accompaniment part is reproduced when the user reproduces the performance data of the melody part in parallel with the performance of the accompaniment part as the lesson part. For example, if the user plays correctly, the melody part is played back correctly, and if the user performs poorly, the melody part is also poorly matched. Since the performance of the user's own lesson part affects the upper / lower of the performance of the other part, the performance of the other part can be enjoyed together. In addition, while the user's performance is poor, the performance of the other parts is also poor, and when the user's performance skill is improved, the performance of the other parts follows this, so the lesson can have a goal.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a hardware configuration example of a performance practice system according to an embodiment of the present invention.
FIG. 2 is a functional block diagram showing an operation example of the entire performance practice system according to one embodiment of the present invention.
FIG. 3 is a flowchart showing an example of generation of a change parameter according to one embodiment of the present invention.
[Explanation of symbols]
PC performance training device (personal computer),
PD external devices (guitar performance controls, etc.)
DIN, PIN song data input section and user performance data input section,
CM comparison / determination unit,
CT melody control unit,
MC melody data processing section,
SP Melody musical tone generator.

Claims (4)

メロディパート及び伴奏パートを含む曲データの伴奏パートについて演奏を練習するための演奏練習装置であって、
ユーザの演奏に基づくユーザ演奏データを伴奏パートの模範演奏データと比較する比較手段と、
この比較の結果に応じてメロディパートの演奏を制御するメロディパート制御手段と
を具備することを特徴とする演奏練習装置。
A performance practice device for practicing the performance of an accompaniment part of music data including a melody part and an accompaniment part,
A comparison means for comparing user performance data based on the user's performance with the model performance data of the accompaniment part;
A performance practice device comprising melody part control means for controlling the performance of the melody part according to the result of the comparison.
前記メロディパート制御手段は、前記比較手段によりユーザの演奏が間違えていると判定された区間に対応するメロディパートに対して、その演奏が下手になるように制御することを特徴とする請求項1に記載の演奏練習装置。The melody part control means controls the melody part corresponding to the section determined by the comparison means that the user's performance is wrong so that the performance is poor. The performance practice device described in 1. 前記メロディパート制御手段は、前記比較手段によりユーザが正しく演奏できたと判定された区間に相当するメロディパートの演奏データに対して、その演奏が上手になるように制御することを特徴とする請請求項1又は2に記載の演奏練習装置。The melody part control means controls the performance data of the melody part corresponding to the section determined to be correctly played by the user by the comparison means so that the performance is good. Item 3. The performance practice device according to Item 1 or 2. メロディパート及び伴奏パートを含む曲データの伴奏パートについて演奏を練習するために用いられる演奏データ処理装置に対して、
ユーザの演奏に基づくユーザ演奏データを伴奏パートの模範演奏データと比較するステップと、
この比較の結果に応じてメロディパートの演奏を制御するステップと
から成る手順を実行するための演奏練習プログラム。
For a performance data processing apparatus used for practicing the performance of an accompaniment part of music data including a melody part and an accompaniment part,
Comparing user performance data based on the user's performance with the model performance data of the accompaniment part;
The performance practice program for performing the procedure which consists of the step which controls the performance of a melody part according to the result of this comparison.
JP2003064911A 2003-03-11 2003-03-11 Performance practice device and program Expired - Fee Related JP3873914B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003064911A JP3873914B2 (en) 2003-03-11 2003-03-11 Performance practice device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003064911A JP3873914B2 (en) 2003-03-11 2003-03-11 Performance practice device and program

Publications (2)

Publication Number Publication Date
JP2004272067A JP2004272067A (en) 2004-09-30
JP3873914B2 true JP3873914B2 (en) 2007-01-31

Family

ID=33126082

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003064911A Expired - Fee Related JP3873914B2 (en) 2003-03-11 2003-03-11 Performance practice device and program

Country Status (1)

Country Link
JP (1) JP3873914B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013231944A (en) * 2012-04-02 2013-11-14 Yamaha Corp Singing support device
JP6520162B2 (en) * 2015-02-04 2019-05-29 ヤマハ株式会社 Accompaniment teaching device and accompaniment teaching program
JP6724938B2 (en) * 2018-03-01 2020-07-15 ヤマハ株式会社 Information processing method, information processing apparatus, and program

Also Published As

Publication number Publication date
JP2004272067A (en) 2004-09-30

Similar Documents

Publication Publication Date Title
US6703549B1 (en) Performance data generating apparatus and method and storage medium
JP3807275B2 (en) Code presenting device and code presenting computer program
JP4274272B2 (en) Arpeggio performance device
JP3915807B2 (en) Automatic performance determination device and program
JP4802857B2 (en) Musical sound synthesizer and program
JP2009156914A (en) Automatic accompaniment device and program
JP4407473B2 (en) Performance method determining device and program
JP4211388B2 (en) Karaoke equipment
JP3873914B2 (en) Performance practice device and program
US8299347B2 (en) System and method for a simplified musical instrument
JP4670686B2 (en) Code display device and program
JPH11338480A (en) Karaoke (prerecorded backing music) device
JP5969421B2 (en) Musical instrument sound output device and musical instrument sound output program
JP4802947B2 (en) Performance method determining device and program
JP6582517B2 (en) Control device and program
JP4003625B2 (en) Performance control apparatus and performance control program
JP7456149B2 (en) Program, electronic device, method, and performance data display system
JP2002297139A (en) Playing data modification processor
CN112634847B (en) Electronic musical instrument, control method and storage medium
JP4033146B2 (en) Karaoke equipment
JP4172509B2 (en) Apparatus and method for automatic performance determination
JP3873880B2 (en) Performance assist device and performance assist program
JP3565065B2 (en) Karaoke equipment
JP4067007B2 (en) Arpeggio performance device and program
JP2005173628A (en) Performance music reproducing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061016

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101102

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101102

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111102

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111102

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121102

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121102

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131102

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees