JP2016038543A - 効果付加装置、方法、およびプログラム、電子楽器 - Google Patents

Abstract

【課題】楽音信号に効果を付加する技術に関し、操作子の操作に応じて様々に変化する歪み音成分を楽音に付加する。【解決手段】入力楽音信号２０７は、フィルタ部２０４に入力し、入力楽音信号２０７から所定の周波数帯域成分を選択する。周波数シフタ２０１は、フィルタ部２０４から出力される楽音信号に対して、周波数シフト処理を実行する。アンプ２０５は、周波数シフタ２０１が出力する周波数シフト処理された楽音信号に対して、状態信号２０３に応じたレベル制御処理を実行する。アンプ２０５が出力するウエット音信号２０９は、混合部２０２に入力し、アンプ２０６で振幅が調整された入力楽音信号２０７に混合され、出力楽音信号２０８として出力される。出力楽音信号２０８には、入力楽音信号２０７を周波数シフト処理することにより得られるウエット音信号２０９の高調波成分が多く含まれ、ダンパーペダルのオフ処理時の歪み音成分をシミュレートできる。【選択図】図２

Description

本発明は、楽音信号に効果を付加する装置、方法、およびプログラム、ならびに電子楽器に関する。

アコースティックピアノにおいて、ダンパーペダル装置を使って発音している状態から、ダンパーペダル装置の踏込みを緩めると、ダンパーが元の位置に戻っていく。この際、ダンパーが弦に触れることにより振動が抑制されるが、これに起因した歪み音成分が発生することが知られている。

従来の電子ピアノにおいて、ダンパーペダル装置の操作に応じて発音される楽音の振幅エンベロープを制御することにより、ダンパーペダルの操作に応じた効果を楽音に付加する従来技術が知られている。

また、電子ピアノにおいて、離鍵時にキーオフタッチ情報を検知してキーオフ音を発生させることにより、アコースティックピアノの離鍵時のダンパー機構の動作に応じて発生する歪み音成分を再現する技術も知られている（例えば特許文献１に記載の技術）。

特許第３５８７１６７号公報

しかし、ダンパーペダル装置の操作に応じて発音される楽音の振幅エンベロープを制御する従来技術では、楽音の振幅エンベロープを制御できるだけであり、歪み音成分を忠実に再現することはできなかった。

ダンパー動作に応じてキーオフ音を発生させる従来技術では、キーオフ音を発生させるために楽音発生チャネルを割り当てなければならず、チャネルを消費してしまう。また、単純にキーオフ音を波形メモリから読み出して発生させる従来方式では、歪み音成分が短調であり、ダンパーペダル装置の細かい操作の違いに応じて様々に変化する歪み音成分を忠実に再現することができなかった。

本発明は、操作子の操作に応じて様々に変化する歪み音成分を楽音に付加することを目的とする。

態様の一例では、原音信号を入力して周波数シフト処理を実行する周波数シフタと、周波数シフト処理後の音信号に対して操作子の操作状態を表す状態信号に応じたレベル制御処理を実行するレベルコントローラと、そのレベル制御処理後の音信号を原音信号に混合して出力するミキサと、を備える。

本発明によれば、操作子の操作に応じて様々に変化する歪み音成分を楽音に付加することが可能となる。

電子鍵盤楽器の実施形態のハードウェア構成例を示す図である。 効果付与部の構成例を示すブロック図である。 周波数シフタの構成例を示すブロック図である。 フィードバックの効果を説明する図である。 ＦＩＲフィルタで実現されるヒルベルト変換を用いた解析信号化処理部の構成例を示すブロック図である。 操作子がオフされたときのウエット音信号の振幅エンベロープ特性の例を示す図である。 操作子の踏込量とウエット音信号の振幅エンベロープ特性との関係を説明する図である。 操作子がオフされた直後に新たな発音指示に基づく楽音信号が発生したときのウエット音信号の振幅エンベロープ特性の例を示す図である。 周波数シフタの他の構成例を示すブロック図である。 本実施形態による電子鍵盤楽器の全体制御処理の例を示すフローチャートである。 操作子オフ処理の詳細例を示すフローチャートである。 発音処理の詳細例を示すフローチャートである。

以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。図１は、電子鍵盤楽器の実施形態のハードウェア構成例を示す図である。本実施形態は、ＣＰＵ（中央演算処理装置）１０１、ＲＡＭ（ランダムアクセスメモリ）１０２、ＲＯＭ（リードオンリーメモリ）１０３、操作子１０４、鍵盤１０５、およびＤＳＰ（デジタル信号処理プロセッサ）１０６が、バス１１０によって相互に接続された構成を有する。ＤＳＰ１０６は、音源部１０７および効果付与部１０８を備える。ＤＳＰ１０６内の効果付与部１０８から出力される出力楽音信号は、Ｄ/Ａ（デジタル−アナログ変換器）、増幅器、およびスピーカなどを備えるサウンドシステム１０９から放音される。

ＣＰＵ１０１は、読出し専用記憶装置であるＲＯＭ１０３に格納されたソフトウェアプログラムに従って、読み書き可能記憶装置であるＲＡＭ１０２とデ−タの授受を行いながら楽音信号生成のための演算を実行し、演算結果をＲＡＭ１０２に書き込むことができる。

ＣＰＵ１０１は、鍵盤１０５の押鍵状態やダンパーペダル装置である操作子１０４の操作状態をスキャンし、必要に応じてＤＳＰ１０６内の音源部１０７に発音指示を出すことができる。音源部１０７は、ＣＰＵ１０１からの発音指示に基づいて、楽音波形デ−タを内部の特には図示しない波形ＲＯＭから読み込み、その楽音波形デ−タに対して演算処理を実行する。

音源部１０７での演算結果として得られる楽音信号は、ＤＳＰ１０６内の効果付与部１０８に入力楽音信号として入力する。効果付与部１０８は、入力楽音信号に対して、操作子１０４のペダルオフ操作に応じたウエット音信号の生成および混合処理を実行することにより、出力楽音信号を生成しサウンドシステム１０９に出力する。

図２は、図１の効果付与部１０８の構成例を示すブロック図である。図２に示される効果付与部１０８は、周波数シフタ２０１、混合部２０２、状態信号２０３、フィルタ部２０４、アンプ２０５、２０６、入力楽音信号２０７、出力楽音信号２０８、ウエット音信号２０９を含む。この効果付与部１０８は、ドライ側２１１を通過する入力楽音信号２０７に対して、破線枠で示されるウエット側２１０で効果音成分であるウエット音信号２０９を生成し、混合部２０２が両者を混合できる構成を有する。

図１の音源部１０７から出力された入力楽音信号２０７は、ウエット側２１０のフィルタ部２０４に入力する。ウエット側２１０は、フィルタ部２０４、周波数シフタ２０１、およびアンプ２０５を備える。フィルタ部２０４は、入力楽音信号２０７から所定の周波数帯域成分を選択する例えばバンドパスフィルタであり、図１のＤＳＰ１０６の機能により実現される。フィルタ部２０４は、図１の操作子１０４の操作状態に応じて生成される状態信号２０３に基づいてフィルタ特性ｆc を制御する。

フィルタ部２０４から出力される所定の周波数帯域成分からなる楽音信号は、周波数シフタ２０１に入力する。周波数シフタ２０１は、フィルタ部２０４が出力する楽音信号を入力して周波数シフト処理を実行する。周波数シフト処理については、後述する。

周波数シフタ２０１が出力する楽音信号は、アンプ２０５に入力する。アンプ２０５は、状態信号２０３に応じたレベル制御処理を実行する。このアンプは、図１のＤＳＰ１０６によって実現される、エンベロ−プ制御を行う係数乗算器で実現できる。

アンプ２０５が出力する楽音信号（以下これを「ウエット音信号」と呼ぶ）２０９は、混合部２０２に入力する。混合部２０２には、ドライ側２１１の経路上のアンプ２０６で振幅が調整された入力楽音信号２０７も入力する。混合部２０２は、アンプ２０５でレベル制御されたウエット音信号２０９を入力楽音信号２０７に混合して、その混合結果を出力楽音信号２０８として出力する。

図２には明示しないが、周波数シフタ２０１による周波数シフト処理で時間遅延が生じる場合は、アンプ２０６の手前に、入力楽音信号２０７を上記時間遅延に合わせて遅延させる遅延器を挿入してもよい。

図２の効果付与部１０８の構成により、入力楽音信号２０７に、その入力楽音信号２０７の特定の周波数帯域成分を周波数シフトして得られる高調波成分であるウエット音信号２０９を混合することができる。このとき、状態信号２０３が、例えばダンパーペダル装置である操作子１０４の操作状態に応じて決定され、この状態信号２０３によってアンプ２０５のゲインが制御されることにより、混合部２０２での入力楽音信号２０７に対する高調波成分を含むウエット音信号２０９の混合割合が制御される。これにより例えば、操作子１０４であるダンパーペダル装置の踏込みが行われているときには、状態信号２０３を介してアンプ２０５のゲインをゼロにしてウエット音信号２０９を入力楽音信号２０７に混合する割合をゼロにし、ダンパーペダル装置の踏込みが解除されたときに状態信号２０３を介してアンプ２０５のゲインが急峻に所定値に増加させ、その解除の時点以後所定時間内にアンプ２０５のゲインを所定値からゼロまで漸次減少させるという制御が行われる。これにより、ダンパーペダル装置の踏込みが解除された直後に、入力楽音信号２０７にその特定周波数帯域の高調波成分を多く含むウエット音信号２０９を混合することができ、アコースティックピアノの離鍵時のダンパー機構の動作に応じて発生する歪み音成分を再現することが可能となる。また、アンプ２０５のゲインだけでなく、フィルタ部２０４のフィルタ特性や周波数シフタ２０１の周波数シフト処理の特性も状態信号２０３で制御することにより、ダンパーペダル装置の操作に応じてより複雑に高調波成分が変化する出力楽音信号２０８を得ることが可能となる。

図３は、図２の周波数シフタ２０１の構成例を示すブロック図である。図３に示される周波数シフタ２０１は、解析信号化処理部３０１、実数部乗算器３０２、虚数部乗算器３０３、減算器３０４、フィードバック経路３０５、アンプ３０６、混合部３０７、入力楽音信号３０８、ウエット音信号３０９を含む。図３の周波数シフタ２０１は、図２のフィルタ部２０４から出力される入力楽音信号３０８を解析信号に変換して周波数シフト処理を実行する構成を有する。

ここで、解析信号とは、入力楽音信号３０８である原信号を実数部に、原信号に対して位相がπ／２（πは円周率）ラジアンだけ遅れた実信号を虚数部にもった複素信号をいう。いま、角周波数ω₀ （ω₀ ＞０）を有する振幅Ａの実信号ｆ₁ ［ｎ］は、下記（１）式で示される。なお、ｎは、離散時間を示す。

ｆ₁ ［ｎ］＝Ａｃｏｓ［ω₀ ｎ］ ・・・（１）

（１）式の実信号に対して、位相がπ／２遅れた実信号ｆ₂ ［ｎ］は、下記（２）式で示される。

ｆ₂ ［ｎ］＝Ａｃｏｓ［ω₀ ｎ−π／２］＝Ａｓｉｎ［ω₀ ｎ］ ・・・（２）

この結果、（１）式の実信号ｆ₁ ［ｎ］および（２）式の実信号ｆ₂ ［ｎ］をそれぞれ実数部および虚数部に持つ複素信号ｆ［ｎ］は、下記（３）式で示される。

ｆ［ｎ］＝ｆ1 ［ｎ］＋ｊｆ2 ［ｎ］
＝Ａｃｏｓ［ω0 ｎ］＋ｊＡｓｉｎ［ω0 ｎ］ ・・・（３）

（３）式をオイラーの公式を使って複素指数関数で表現すると、下記（４）式となる。

ｆ［ｎ］＝Ａ｛ｅｘｐ［ｊω₀ ｎ］＋ｅｘｐ［−ｊω₀ ｎ］｝／２
＋ｊ［−ｊＡ｛ｅｘｐ［ｊω₀ ｎ］−ｅｘｐ［−ｊω₀ ｎ］｝／２］
＝Ａｅｘｐ［ｊω₀ ｎ］ ・・・（４）

この複素信号ｆ［ｎ］を、解析信号と定義する。これより、解析信号とは、複素信号の特別な場合で、正の周波数成分ω₀ のみを含み負の周波数成分−ω₀ をもたない信号として定義される。

このようにして得られた解析信号を用いると、以下のようにして周波数変換を行うことができる。いま説明の簡単のために、振幅Ａを無視して、角周波数がω₀ である解析信号をｅｘｐ［ｊω₀ ｎ］とする。この角周波数をω₀ ＋ω₁ に周波数変換する場合、解析信号は、下記（５）式で示される。

ｅｘｐ［ｊ（ω₀ ＋ω₁ ）ｎ］＝ｅｘｐ［ｊω₀ ｎ］×ｅｘｐ［ｊω₁ ｎ］
・・・（５）

（５）式より、角周波数がω₀ である解析信号ｅｘｐ［ｊω₀ ｎ］の周波数をω₀ ＋ω₁ に周波数変換するためには、角周波数がω₀ である原信号の解析信号ｅｘｐ［ｊω₀ ｎ］に、角周波数がω₁ である解析信号ｅｘｐ［ｊω₁ ｎ］を単純に乗算すればよいことがわかる。

楽音信号を周波数シフト処理する演算では、虚数部は不要であるため、（５）式の実数部のみの演算は、下記（６）式で示される演算になる。なお、次式において「Ｒｅ｛｝」は実数部を抽出する演算を示し、「Ｉｍ｛｝」は虚数部を抽出する演算を示す。

Ｒｅ｛ｅｘｐ［ｊ（ω₀ ＋ω₁ ）ｎ］｝
＝Ｒｅ｛ｅｘｐ［ｊω₀ ｎ］×ｅｘｐ［ｊω₁ ｎ］｝
＝Ｒｅ｛ｅｘｐ［ｊω₀ ｎ］｝×Ｒｅ｛ｅｘｐ［ｊω₁ ｎ］｝
−Ｉｍ｛ｅｘｐ［ｊω₀ ｎ］｝×Ｉｍ｛ｅｘｐ［ｊω₁ ｎ］｝
・・・（６）

（６）式より、角周波数がω₀ である原信号の解析信号ｅｘｐ［ｊω₀ ｎ］を角周波数ω₁ だけ周波数シフト処理する演算は、原解析信号の実数部Ｒｅ｛ｅｘｐ［ｊω₀ ｎ］｝に角周波数がω₁ である参照側解析信号の実数部Ｒｅ｛ｅｘｐ［ｊω₁ ｎ］｝を乗算した結果から、原解析信号の虚数部Ｉｍ｛ｅｘｐ［ｊω₀ ｎ］｝に角周波数がω₁ である参照側解析信号の虚数部Ｉｍ｛ｅｘｐ［ｊω₁ ｎ］｝を除算した結果を減算する演算として実現できることがわかる。

原信号が入力楽音信号３０８である場合、その角周波数成分は、単一の角周波数ω₀ の成分のみではなく、複数の角周波数の成分を含む。一方、参照側の解析信号は単一の角周波数ω₁ を有する。従って、実際の周波数シフト処理では、入力楽音信号３０８に含まれる各角周波数成分ごとに（６）式の演算が実行されて、入力楽音信号３０８の周波数成分全体が角周波数ω₁ だけ周波数シフト処理されることになる。

ここで、参照側解析信号の実数部Ｒｅ｛ｅｘｐ［ｊω₁ ｎ］｝は、例えば余弦波信号ｃｏｓ（ω₁ ｎ）とすることができ、参照側解析信号の虚数部Ｉｍ｛ｅｘｐ［ｊω₁ ｎ］｝は、例えば正弦波信号ｓｉｎ（ω₁ ｎ）とすることができる。

以上より、図３の破線枠３１０で囲まれた機能ブロックにより、周波数シフト処理を実行することができる。まず、解析信号化処理部３０１は、入力楽音信号３０８に対応する解析信号を算出する。

次に、実数部乗算器３０２は、解析信号化処理部３０１が出力する解析信号の実数部に対して、周波数シフト量に対応する角周波数ω₁ を有する余弦波信号ｃｏｓ（ω₁ ｎ）を乗算する。

同様に、虚数部乗算器３０３は、解析信号化処理部３０１が出力する解析信号の虚数部に対して、周波数シフト量に対応する角周波数ω₁ を有する正弦波信号ｓｉｎ（ω₁ ｎ）を乗算する。

余弦波信号ｃｏｓ（ω₁ ｎ）および正弦波信号ｓｉｎ（ω₁ ｎ）は、例えば１つの発振器の出力信号として得ることができる。

そして、減算器３０４は、実数部乗算器３０２の乗算結果から、虚数部乗算器３０３の乗算結果を減算し、その減算結果をウエット音信号３０９として出力する。

図２に示される周波数シフタ２０１は、破線枠３１０で示される上述の周波数シフト処理演算機能に加えて、アンプ３０６および混合部３０７を含むフィードバック経路３０５を備える。このフィードバック経路は、減算器３０４から出力されるウエット音信号３０９を、アンプ３０６および混合部３０７を介して入力楽音信号３０８が入力する入力側にフィードバックさせる。

このフィードバック経路３０５により、周波数シフト処理した楽音信号成分をさらに繰り返し周波数シフト処理することが可能となり、より複雑な高調波成分を生成することが可能となる。すなわち、周波数シフト処理したウエット音信号３０９に対しても周波数シフト効果が得られることになるため、アンプ３０６のゲインを調整することによりフィードバックゲインを大きくすると、設定された周波数シフト量の高調波成分を容易に増やすことができる。図４は、フィードバックの効果を説明する図である。図４（ａ）は、フィードバックなしの場合の出力楽音信号２０８（図２）の周波数特性の例を示す図である。この周波数特性には、原音の入力楽音信号３０８の周波数成分３００Ｈｚ（ヘルツ）と、その成分に対して２００Ｈｚの周波数シフト処理を行って得られるウエット音信号３０９の周波数成分５００Ｈｚが含まれることがわかる。図４（ｂ）は、フィードバックゲインが５０％である場合の出力楽音信号２０８（図２）の周波数特性の例を示す図である。この周波数特性には、周波数７００Ｈｚ、９００Ｈｚ、１１００Ｈｚと、設定された周波数シフト量ずつ周波数が順次シフトして得られる各周波数成分が含まれることがわかる。図４（ｂ）は、フィードバックゲインが約９０％である場合の出力楽音信号２０８（図２）の周波数特性の例を示す図である。この周波数特性には、高調波成分がさらに多く含まれることがわかる。このようにして、フィードバック経路３０５を設けることにより、複雑な高調波成分を有するウエット音信号３０９を含む出力楽音信号２０８を得ることが可能となる。

図５は、ＦＩＲフィルタで実現されるヒルベルト変換を用いた図３の解析信号化処理部３０１の構成例を示すブロック図である。

前述した（３）式および（４）式の定義より、入力楽音信号３０８に対応する解析信号は、入力楽音信号３０８を実数部に持ち、その入力楽音信号３０８の位相をπ／２だけ遅延させて得られる楽音信号を虚数部に持つ信号である。入力楽音信号３０８の位相をπ／２遅延させる処理は、ヒルベルト変換器により実現できることが知られている。ヒルベルト変換器の周波数特性Ｈ（ω）は、標本化周波数をω_s とすれば、下記（７）式の特性を有する。

Ｈ（ω）＝−ｊ， ０＜ω＜ω_s ／２
＝ ｊ， −ω_s ／２＜ω＜０ ・・・（７）

これより、ヒルベルト変換器は、振幅特性が周波数によらず一定で、位相特性は正の周波数領域でπ／２遅れ、負の周波数領域ではπ／２進むようなフィルタとみなすことができる。そして、入力楽音信号３０８の周波数帯域を図２のフィルタ部２０４によって限定することで、（７）式の周波数特性を有するヒルベルト変換器のフィルタは例えば、ＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ：有限インパルス応答）フィルタで十分な精度で近似的に演算できる。

ここで、楽音信号に対するリアルタイム処理を考えた場合、Ｍ次のＦＩＲフィルタではＭ／２の遅延が発生する。そのため、入力楽音信号３０８に対してＭ次のＦＩＲフィルタ処理を実行した場合、そこから出力される入力楽音信号３０８に対応する解析信号の虚数部である入力楽音解析信号虚数部５０２は、同じく実数部である入力楽音解析信号実数部５０１（＝入力楽音信号３０８）に対して、Ｍ／２の遅延を生じる。そこで、この位相のずれを補正するために、入力楽音信号３０８をＭ／２の遅延処理を行う遅延器に入力させ、その出力として入力楽音解析信号実数部５０１を出力する必要がある。

図５は、図３の解析信号化処理部３０１を実現するＭ次のＦＩＲフィルタの構成例である。このＦＩＲフィルタにおいて、入力楽音信号３０８であるｘ［ｎ］は、ｚ^-1で示される離散時間単位遅延素子をＭ個従属接続された回路部分に入力される。そして、各遅延素子の出力に各乗算器でそれぞれフィルタ係数ｈ₀ 、ｈ₁ 、・・・ｈ_M/2 、・・・ｈ_M-1 、ｈ_M を乗算して得られる各乗算結果を加算した結果が、ｙ_Im［ｎ］＝入力楽音解析信号虚数部５０２として、図３の虚数部乗算器３０３に出力される。

図５の構成において、ＦＩＲフィルタのＭ／２段目の遅延素子の出力に現れる信号が、入力楽音信号３０８＝ｘ［ｎ］をＭ／２だけ遅延させた信号ｘ［ｎ−Ｍ／２］に等しいことがわかり、別に遅延器を用意せずに、ＦＩＲフィルタのＭ／２段目の遅延素子の出力ｘ［ｎ−Ｍ／２］を、ｙ_Re［ｎ］＝入力楽音解析信号実数部５０１として、図３の実数部乗算器３０２に出力させることができる。

以上に示した図２から図５の構成例を有する図１の効果付与部１０８は、図１のＤＳＰ１０６のソフトウェア処理によって実現することができる。

次に、図１の操作子１０４の操作状態に基づいて、図１の状態信号２０３が制御される場合の動作について説明する。

まず、操作子１０４の操作状態が例えば、オンまたはオフの２値をとる場合について説明する。図６は、操作子１０４がオフされたときの図２のウエット音信号２０９の振幅エンベロープ特性の例を示す図である。図５のＦＩＲフィルタの各フィルタ係数ｈ₀ 〜ｈ_M 、図３の角周波数ω₁ による定まる周波数シフト量、および図３のアンプ３０６に設定されるフィードバックゲインには、あらかじめ所定の値を設定しておく。操作子１０４のオフが検出されると、例えば図６に例示される所定のエンベロープに従って、図２の状態信号２０３が、ウエット音信号２０９の振幅エンベロープを制御するアンプ２０５のゲイン値として制御される。すなわち、操作子１０４であるダンパーペダル装置の踏込みが行われているときにはアンプ２０５のゲインとして与えられる状態信号２０３の値がゼロにされ、ダンパーペダル装置の踏込みが解除されたときに状態信号２０３の値が急峻に所定値に増加させられた後、その解除の時点以後所定時間内に状態信号２０３の値が上記所定値からゼロまで漸次減少させられる。なお、図６の例は、エンベロープ特性は直線的な遷移を有するが、これに限定されるものではない。このようにして、操作子１０４のオフ処理に応じて、図２の入力楽音信号２０７に高調波成分を含むウエット音信号２０９を付与された出力楽音信号２０８を得ることができる。

次に、操作子１０４の操作状態が例えば、２値以上の値をとる場合について説明する。この場合、操作子１０４がオフする時の開始位置情報とオフ時の変位速度（ベロシティに相当する）に基づき、図２の状態信号２０３を制御することができる。この場合の操作子１０４の操作状態として、ダンパーペダル装置の踏込みが解除されたときのそのダンパーペダル装置の踏込量および踏込解除速度が検出される。図７は、操作子１０４の踏込量と図２のウエット音信号２０９の振幅エンベロープ特性との関係を説明する図である。振幅エンベロープ特性７０１は操作子１０４の踏込量が多い場合、振幅エンベロープ特性７０２は操作子１０４の踏込量が少ない場合である。このようにして、操作子１０４の踏込量に基づいて、アンプ２０５に供給される状態信号２０３の値の最大レベルが制御されることにより、操作子１０４の踏込量に応じて、操作子１０４のオフ時に図２のウエット音信号２０９が出力楽音信号２０８に含まれる割合すなわち高調波の割合を制御することが可能となる。

次に、操作子１０４の踏込解除速度は、鍵盤楽器における弦振動の抑制度合に対応させることができ、その速度が速いほど効果を大きくすることができる。ここでは、抑制度合いの効果を大きな状態を再現するために、次のような制御を実施することができる。すなわち、踏込解除速度が速い場合には、図２のフィルタ部２０４の選択帯域を広げるような状態信号２０３がフィルタ部２０４に供給され、また、図３のアンプ３０６のフィードバックゲインを上げるような状態信号２０３がアンプ３０６に供給される。踏込解除速度が遅い場合には、図２のフィルタ部２０４の選択帯域を狭めるような状態信号２０３がフィルタ部２０４に供給され、また、図３のアンプ３０６のフィードバックゲインを下げるような状態信号２０３がアンプ３０６に供給される。

以上のような操作子１０４の踏込量と踏込解除速度の制御により、例えば、操作子１０４の踏込みが大きな状態で速くダンパーペダルを離した場合には、ウエット音信号２０９が多くの高調波成分を含んだ状態で出力楽音信号２０８を出力させることができる。

ここで、周波数シフト量は固定としたが、周波数シフト量とフィードバックゲインを適宜調整して、高調波分の密度をより細かく調整するような構成にすることも可能である。

次に、図３および図５の解析信号化処理部３０１が出力する解析信号において、その包絡線は一般的に、下記（８）式により算出することができる。

（ｙ_Re［ｎ］² ＋ｙ_Im［ｎ］² ）^1/2 ・・・（８）

（８）式の計算値または平方根を取る前の値などを用いると、解析信号の概略振幅（概レベル情報）を知ることができる。操作子１０４のオフ時に、状態信号２０３を決定するときに、この概略振幅情報も加味することができる。例えば、概略振幅の値が小さい場合は、そのタイミングでの制御対象への影響も小さくなるとみなし、状態信号２０３による各パラメータへの影響度合が小さくなるようにすればよく、対象となるパラメータの元々の効果があるとすれば、これに概略振幅の割合を乗じたものを用いるようにすればよい。これにより、実際に発音している楽音信号の振幅量に応じて、効果の付与具合を変えることが可能となる。例えば、効果付与する際に、入力楽音信号２０７が小さい振幅であった場合に、図２のウエット音信号２０９の割合が極端に大きくなるような不自然さを無くすことができる。

図８は、操作子１０４がオフされた直後に図１の音源部１０７から新たな発音指示に基づく入力楽音信号２０７が発生したときのウエット音信号２０９の振幅エンベロープ特性の例を示す図である。操作子１０４のオフに対するウエット音信号２０９の生成処理中の例えば図８の８０１のタイミングで新たな入力楽音信号２０７の発音が発生した場合、再度、鍵盤楽器の弦が振動状態になっているとみなせるので、ウエット音信号２０９の影響を低減する処理が実行される。具体的には、ウエット音信号２０９の生成処理中に新たな発音が検出された場合、図８に示されるように、ウエット音信号２０９の振幅エンベロープが、通常のエンベロープ８０２よりも速く消音するエンベロープ８０３に切り替えられる。

図９は、図２の周波数シフタ２０１の他の構成例を示すブロック図である。図９の構成が図３の構成と異なる点は、実数部乗算器３０２に供給される周波数シフト量に対応する角周波数ω₁ を有する余弦波信号ｃｏｓ（ω₁ ｎ）と、虚数部乗算器３０３に供給される同じく角周波数ω₁ を有する正弦波信号ｓｉｎ（ω₁ ｎ）が、発振器からではなく、図１の音源部１０７から供給される点である。音源部１０７は、一般的にこれらの信号を生成する機能を備えているため、発振器を別途用意する必要がなく、効果付与部１０８の構成を簡略化することが可能である。この構成をとった場合、既存リソースを活用しながら、効果付与部１０８における処理量を低減することができ、同時にシフト量などを音源部１０７の側でより細かく制御することが可能となる。

図１０は、本実施形態による電子鍵盤楽器の全体制御処理の例を示すフローチャートである。この全体処理は、図１のＣＰＵ１０１が、ＲＡＭ１０２を作業領域として使用しながら、ＲＯＭ１０３に記憶された全体制御処理プログラムを実行する動作として実現される。

ユーザによって電子鍵盤楽器の電源スイッチ（特には図示しない）がオンされると、ＣＰＵ１０１は、このプログラムをスタートさせ、電源スイッチがオフされるまで、ステップＳ１００１の操作子オフ処理、ステップＳ１００２の発音処理、およびステップＳ１００３のその他の処理を繰り返し実行する。なお、ステップＳ１００３のその他の処理は、電子鍵盤楽器の特には図示しない各種設定スイッチをスキャン等する処理である。

図１１は、図１０のステップＳ１００１の操作子オフ処理の詳細例を示すフローチャートである。

ＣＰＵ１０１はまず、操作子１０４のオフ処理を開始したときの時間位置情報（踏込量）を取得し、ＲＡＭ１０２上の変数ｘに格納する（ステップＳ１１０１）。

次に、ＣＰＵ１０１は、図２の入力楽音信号２０７の入力振幅情報を前述した（８）式によって取得し、ＲＡＭ１０２上の変数ｅｎｖに格納する（ステップＳ１１０２）。

次に、ＣＰＵ１０１は、図２のウエット音信号２０９の振幅を決定するための状態信号２０３の値（アンプ２０５に供給するゲイン）であるＷｅｔレベルを取得する（ステップＳ１１０３）。具体的には、ステップＳ１１０１で変数ｘに取得したオフ処理開始の時間位置情報と、ステップＳ１１０２で変数ｅｎｖに取得した入力振幅情報をパラメータとして、Ｗｅｔレベルを計算する関数ＬｅｖｅｌＣｕｒｖｅ（ｘ，ｅｎｖ）を呼び出し、その計算結果をＲＡＭ１０２上の変数ｗｅｔに格納する。

次に、ＣＰＵ１０１は、操作子１０４の踏込解除速度情報を取得してＲＡＭ１０２上の変数ｖに格納する（ステップＳ１１０４）。

次に、ＣＰＵ１０１は、ステップＳ１１０４で変数ｖに取得した踏込解除速度情報とステップＳ１１０２で変数ｅｎｖに取得した入力振幅情報をパラメータとして、図２のフィルタ部２０４の中心周波数を算出する関数Ｃｏｅｆ（ｖ，ｅｎｖ）を呼び出し、その計算結果をＲＡＭ１０２上の変数ｆ_c に格納する。また、ＣＰＵ１０１は、ステップＳ１１０４で変数ｖに取得した踏込解除速度情報とステップＳ１１０２で変数ｅｎｖに取得した入力振幅情報をパラメータとして、周波数シフト量（図３のω₁ に対応）を算出する関数ＦｒｅｑＳｈｉｆｔ（ｖ，ｅｎｖ）を呼び出し、その計算結果をＲＡＭ１０２上の変数ｓｈｉｆｔに格納する。さらに、ＣＰＵ１０１は、ステップＳ１１０４で変数ｖに取得した踏込解除速度情報とステップＳ１１０２で変数ｅｎｖに取得した入力振幅情報をパラメータとして、図３のアンプ３０６にフィードバックゲインとして供給する状態信号２０３の値を算出する関数Ｆｅｅｄｂａｃｋ（ｖ，ｅｎｖ）を呼び出し、その計算結果をＲＡＭ１０２上の変数ｆｂｋに格納する（以上、ステップＳ１１０５）。

その後、ＣＰＵ１０１は、ステップＳ１１０５で変数ｆ_c 、ｓｈｉｆｔ、およびｆｂｋにそれぞれ取得したパラメータを図１のＤＳＰ１０６内の効果付与部１０８に通知する（ステップＳ１１０６）。これにより、ＤＳＰ１０６は、図２のフィルタ部２０４の中心周波数と、図３の周波数シフト量ω₁ と、図３のアンプ３０６のゲインを、上記変数ｆ_c 、ｓｈｉｆｔ、およびｆｂｋの各値に基づいて制御する。

さらに、ＣＰＵ１０１は、ステップＳ１１０３で変数ｗｅｔに取得したパラメータを図１のＤＳＰ１０６内の効果付与部１０８に通知する（ステップＳ１１０７）。これにより、ＤＳＰ１０６は、図２のアンプ２０５のゲインを、上記変数ｗｅｔの値に基づいて制御する。

以上の一連の処理の後、ＣＰＵ１０１は、図１１のフローチャートで例示される図１０のステップＳ１００１の操作子オフ処理を終了する。

なお、図１１のフローチャートにおいて、破線で囲んだステップＳ１１０２、ステップＳ１１０４、およびステップＳ１１０５の各処理は、操作子１０４の操作情報が図６で説明したようにオン、オフの２値をとる場合には、実行しなくてよい。この場合には、前述したように、図２のアンプ２０５のゲインのみが、操作子１０４のオフを起点として制御される。この場合、ステップＳ１１０３で参照される変数ｅｎｖの値は、固定値である。

図１２は、図１０のステップＳ１００２の発音処理の詳細例を示すフローチャートである。

まず、ＣＰＵ１０１は、鍵盤１０５の状態をスキャンして押鍵または離鍵を検出して、その検出結果に基づく押鍵（ノートオン）指示または離鍵（ノートオフ）指示を音源部１０７に通知する等の、通常の発音処理を実行する（ステップＳ１２０１）。

次に、ＣＰＵ１０１は、図１のＤＳＰ１０６内の効果付与部１０８がエンベロープ制御を実行中であるか否かを判定する（ステップＳ１２０２）。

効果付与部１０８がエンベロープ制御を実行中ではない場合（ステップＳ１２０２の判定がＮＯの場合）には、ＣＰＵ１０１は、そのまま図１２のフローチャートで例示される図１０のステップＳ１００２の発音処理を終了する。

効果付与部１０８がエンベロープ制御を実行中の場合（ステップＳ１２０２の判定がＹＥＳの場合）には、ＣＰＵ１０１は、図８の８０３として例示したように高速リリース用のエンベロープ値を設定する処理を実行し、その結果得られる値をＲＡＭ１０２上の変数ｗｅｔに格納する（ステップＳ１２０３）。

そして、ＣＰＵ１０１は、ステップＳ１２０３で変数ｗｅｔに取得したパラメータを図１のＤＳＰ１０６内の効果付与部１０８に通知する（ステップＳ１２０４）。これにより、ＤＳＰ１０６は、図２のアンプ２０５のゲインを、上記変数ｗｅｔの値に基づいて図８の８０３で例示される特性で高速リリース処理する。

以上説明した実施形態は、図１の音源部１０７から出力される入力楽音信号２０７の全体に対して周波数シフト処理を実行するように構成されたが、音源部１０７が出力する個別のチャネルの入力楽音信号に対して周波数シフト処理が実行されてもよい。

以上説明した実施形態により、入力楽音信号２０７に応じて周波数シフト処理による倍音構成を違えることができるので、従来の波形再生による歪み音成分の付加のように効果が単調となることがなく、ダンパーペダル装置から足を離した場合の歪み感を出せる。

本実施形態では、図２のフィルタ部２０４を設けることで、特定帯域の音を元にした周波数シフト音を生成できるため、歪み音の特性を容易にコントロールできる。

本実施形態では、図２の周波数シフタ２０１内に図３のフィードバック経路３０５を設けたので、周波数シフト量の調節の他に、生成信号の周波数成分を調節することが可能となり、複雑な高調波成分を付加することが可能となる。

本実施形態では、入力楽音信号２０７の振幅情報に基づいて、周波数シフト処理を制御できるため、効果が単調にならず、自然な動きとなる。

本実施形態によるシステムは、図１０から図１２のフローチャートの処理で実現される機能を搭載したプログラムを図１のＣＰＵ１０１が実行することで実現される。そのプログラムは、例えば図１には特には図示しない外部記憶装置や可搬記録媒体に記録して配布してもよく、或いは図１には特には図示しない通信インタフェースによりネットワークから取得できるようにしてもよい。また、図１のＤＳＰ１０６が実行する制御プログラムも同様に取得することができる。

以上の実施形態に関して、更に以下の付記を開示する。
（付記１）
原音信号を入力して周波数シフト処理を実行する周波数シフタと、
周波数シフト処理後の音信号に対して操作子の操作状態を表す状態信号に応じたレベル制御処理を実行するレベルコントローラと、
当該レベル制御処理後の音信号を前記原音信号に混合して出力するミキサと、
を備えることを特徴とする効果付加装置。
（付記２）
前記原音信号から所定の周波数帯域成分を選択するフィルタを更に備え、当該所定の周波数帯域成分の音信号を前記周波数シフタに入力させる、
ことを特徴とする付記１に記載の効果付加装置。
（付記３）
前記フィルタは、前記状態信号に応じて、フィルタ特性を制御する、
ことを特徴とする付記２に記載の効果付加装置。
（付記４）
前記周波数シフタは、当該周波数シフタから出力される音信号を当該周波数シフタの入力側にフィードバックさせるフィードバック経路を備える、
ことを特徴とする付記１ないし３のいずれかに記載の効果付加装置。
（付記５）
前記周波数シフタは、前記状態信号に応じて、前記フィードバック経路におけるフィードバック量を制御する、
ことを特徴とする付記４に記載の効果付加装置。
（付記６）
前記周波数シフタは、
前記原音信号を入力して解析信号を算出する解析信号化処理手段と、
当該解析信号の実数部および虚数部に対してそれぞれ、前記周波数シフト処理における周波数シフト量に対応する周波数を有する解析信号の実数部および虚数部をそれぞれ乗算する乗算手段と、
前記乗算手段が出力する実数部および虚数部を加算し、当該加算後の音信号を前記周波数シフト処理後の音信号として出力する加算手段と、
を備えることを特徴とする付記１ないし５のいずれかに記載の効果付加装置。
（付記７）
前記周波数シフト量に対応する周波数を有する解析信号を、電子楽器の音源部の出力に基づいて生成する、
ことを特徴とする付記６に記載の効果付加装置。
（付記８）
前記解析信号化処理手段が出力する解析信号の概レベル情報を生成し、当該概レベル情報に基づいて前記状態信号を生成する、
ことを特徴とする付記６または７に記載の効果付加装置。
（付記９）
付記１ないし８のいずれかに記載の効果付加装置と、
楽音信号を生成する音源手段と、
を備え、
前記楽音信号を前記原音信号として前記効果付加装置に入力し、当該効果付加装置が出力する音信号を出力楽音信号として出力する、
ことを特徴とする電子楽器。
（付記１０）
前記操作子はダンパーペダル装置であり、前記操作子の操作状態は当該ダンパーペダル装置の踏込みが解除される状態である、
ことを特徴とする付記９に記載の電子楽器。
（付記１１）
前記操作子の状態を表す状態信号は前記ダンパーペダル装置の踏込みが解除されたときの当該ダンパーペダル装置の踏込量および踏込解除速度を表す信号である、
ことを特徴とする付記１０に記載の電子楽器。
（付記１２）
前記ミキサは、前記ダンパーペダル装置の踏込みが行われているときには前記レベル制御処理後の音信号を前記原音信号に混合する割合をゼロにし、前記ダンパーペダル装置の踏込みが解除されたときに前記割合を急峻に所定割合に増加させた後、当該解除の時点以後所定時間内に前記割合を前記所定割合からゼロまで漸次減少させる、
ことを特徴とする付記９ないし１１のいずれかに記載の電子楽器。
（付記１３）
前記ミキサは、前記ダンパーペダル装置の踏込量に応じて前記所定割合を制御する、
ことを特徴とする付記１２に記載の電子楽器。
（付記１４）
前記ミキサは、前記所定時間内に前記割合を前記所定割合からゼロまで漸次減少させる制御を実行しているときに、前記音源手段から次の発音指示に基づく楽音信号が発生した場合に、前記所定時間よりも短い時間内に前記割合を前記所定割合からゼロまで漸次減少させる、
ことを特徴とする付記１２または１３に記載の電子楽器。
（付記１５）
効果付加装置が、
原音信号を入力して周波数シフト処理を実行し、
周波数シフト処理後の音信号に対して操作子の操作状態を含む状態信号に応じたレベル制御処理を実行し、
当該レベル制御処理後の音信号を前記原音信号に混合して出力する、
ことを特徴とする効果付加方法。
（付記１６）
原音信号を入力して周波数シフト処理を実行するステップと、
周波数シフト処理後の音信号に対して操作子の操作状態を含む状態信号に応じたレベル制御処理を実行するステップと、
当該レベル制御処理後の音信号を前記原音信号に混合して出力するステップと、
をコンピュータに実行させるためのプログラム。

１０１ ＣＰＵ
１０２ ＲＡＭ
１０３ ＲＯＭ
１０４ 操作子
１０５ 鍵盤
１０６ ＤＳＰ
１０７ 音源部
１０８ 効果付与部
１０９ サウンドシステム
１１０ バス
２０１ 周波数シフタ
２０２、３０７ 混合部
２０３ 状態信号
２０４ フィルタ部
２０５、２０６、３０６ アンプ
２０７、３０８ 入力楽音信号
２０８ 出力楽音信号
２０９、３０９ ウエット音信号
２１０ ウエット側
２１１ ドライ側
３０１ 解析信号化処理部
３０２ 実数部乗算器
３０３ 虚数部乗算器
３０４ 減算器
３０５ フィードバック経路
３１０ 破線枠
５０１ 入力楽音解析信号実数部
５０２ 入力楽音解析信号虚数部

Claims (16)

1. 原音信号を入力して周波数シフト処理を実行する周波数シフタと、
   周波数シフト処理後の音信号に対して操作子の操作状態を表す状態信号に応じたレベル制御処理を実行するレベルコントローラと、
   当該レベル制御処理後の音信号を前記原音信号に混合して出力するミキサと、
   を備えることを特徴とする効果付加装置。
2. 前記原音信号から所定の周波数帯域成分を選択するフィルタを更に備え、当該所定の周波数帯域成分の音信号を前記周波数シフタに入力させる、
   ことを特徴とする請求項１に記載の効果付加装置。
3. 前記フィルタは、前記状態信号に応じて、フィルタ特性を制御する、
   ことを特徴とする請求項２に記載の効果付加装置。
4. 前記周波数シフタは、当該周波数シフタから出力される音信号を当該周波数シフタの入力側にフィードバックさせるフィードバック経路を備える、
   ことを特徴とする請求項１ないし３のいずれかに記載の効果付加装置。
5. 前記周波数シフタは、前記状態信号に応じて、前記フィードバック経路におけるフィードバック量を制御する、
   ことを特徴とする請求項４に記載の効果付加装置。
6. 前記周波数シフタは、
   前記原音信号を入力して解析信号を算出する解析信号化処理手段と、
   当該解析信号の実数部および虚数部に対してそれぞれ、前記周波数シフト処理における周波数シフト量に対応する周波数を有する解析信号の実数部および虚数部をそれぞれ乗算する乗算手段と、
   前記乗算手段が出力する実数部および虚数部を加算し、当該加算後の音信号を前記周波数シフト処理後の音信号として出力する加算手段と、
   を備えることを特徴とする請求項１ないし５のいずれかに記載の効果付加装置。
7. 前記周波数シフト量に対応する周波数を有する解析信号を、電子楽器の音源部の出力に基づいて生成する、
   ことを特徴とする請求項６に記載の効果付加装置。
8. 前記解析信号化処理手段が出力する解析信号の概レベル情報を生成し、当該概レベル情報に基づいて前記状態信号を生成する、
   ことを特徴とする請求項６または７に記載の効果付加装置。
9. 請求項１ないし８のいずれかに記載の効果付加装置と、
   楽音信号を生成する音源手段と、
   を備え、
   前記楽音信号を前記原音信号として前記効果付加装置に入力し、当該効果付加装置が出力する音信号を出力楽音信号として出力する、
   ことを特徴とする電子楽器。
10. 前記操作子はダンパーペダル装置であり、前記操作子の操作状態は当該ダンパーペダル装置の踏込みが解除される状態である、
    ことを特徴とする請求項９に記載の電子楽器。
11. 前記操作子の操作状態を表す状態信号は、前記ダンパーペダル装置の踏込みが解除されたときの当該ダンパーペダル装置の踏込量および踏込解除速度を表す信号である、
    ことを特徴とする請求項１０に記載の電子楽器。
12. 前記ミキサは、前記ダンパーペダル装置の踏込みが行われているときには前記レベル制御処理後の音信号を前記原音信号に混合する割合をゼロにし、前記ダンパーペダル装置の踏込みが解除されたときに前記割合を急峻に所定割合に増加させた後、当該解除の時点以後所定時間内に前記割合を前記所定割合からゼロまで漸次減少させる、
    ことを特徴とする請求項９ないし１１のいずれかに記載の電子楽器。
13. 前記ミキサは、前記ダンパーペダル装置の踏込量に応じて前記所定割合を制御する、
    ことを特徴とする請求項１２に記載の電子楽器。
14. 前記ミキサは、前記所定時間内に前記割合を前記所定割合からゼロまで漸次減少させる制御を実行しているときに、前記音源手段から次の発音指示に基づく楽音信号が発生した場合に、前記所定時間よりも短い時間内に前記割合を前記所定割合からゼロまで漸次減少させる、
    ことを特徴とする請求項１２または１３に記載の電子楽器。
15. 効果付加装置が、
    原音信号を入力して周波数シフト処理を実行し、
    周波数シフト処理後の音信号に対して操作子の操作状態を含む状態信号に応じたレベル制御処理を実行し、
    当該レベル制御処理後の音信号を前記原音信号に混合して出力する、
    ことを特徴とする効果付加方法。
16. 原音信号を入力して周波数シフト処理を実行するステップと、
    周波数シフト処理後の音信号に対して操作子の操作状態を含む状態信号に応じたレベル制御処理を実行するステップと、
    当該レベル制御処理後の音信号を前記原音信号に混合して出力するステップと、
    をコンピュータに実行させるためのプログラム。