JP4296767B2

JP4296767B2 - ブレス音合成方法、ブレス音合成装置およびプログラム

Info

Publication number: JP4296767B2
Application number: JP2002306798A
Authority: JP
Inventors: 崇野口
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2002-10-22
Filing date: 2002-10-22
Publication date: 2009-07-15
Anticipated expiration: 2022-10-22
Also published as: JP2004144814A

Description

【０００１】
【発明の属する技術分野】
本発明は、音声機器に用いて好適なブレス音合成方法、ブレス音合成装置およびプログラムに関する。
【０００２】
【従来の技術】
歌唱音等の音声データまたはシーケンスデータを、パーソナルコンピュータ上で修正することは周知技術である。それゆえ、手動により適切な位置にブレス（息継ぎ）音の波形データまたはイベントデータを該音声データまたは該シーケンスデータに付加することは可能であると考えられる。
一方、特許文献１には、楽器演奏のためのメロディデータと歌詞データとを含む演奏データに基づいて歌唱音を自動的に合成する歌唱音声合成装置が開示されている。該演奏データには歌詞データに対する息継ぎ指定（呼気フラグ）が適宜設けられ、該指定があった場合に、発音中の音源チャンネルに対してノートオフ操作を行う旨が開示されている。
【０００３】
【特許文献１】
特許第３２３９７０６号公報
【０００４】
【発明が解決しようとする課題】
しかし、特許文献１に示される技術においては、息継ぎ指定が呼気フラグの挿入のみによって行われている。そして、該呼気フラグのタイミングで発音中の歌唱音はノートオフされるが、具体的な息継ぎ音の発生指示や特性の指定については開示がない。また、手動で音声データにブレス音を付加する技術においても、フレーズの長短や強弱に関係なく同じブレス音を毎回同じように再生すると、不自然な歌唱音に聞こえる問題点がある。一方、自然な歌唱音を合成するために、ブレスのタイミング、長さ、強度を毎回手動で指定することはきわめて煩雑である。
この発明は、上述した事情に鑑みてなされたものであり、使用者がブレスのことを意識せず曲制作を行うことが出来るブレス音合成方法、ブレス音合成装置およびプログラムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記課題を解決するため本発明にあっては、下記構成を具備することを特徴とする。なお、括弧内は例示である。
請求項１記載のブレス音合成方法にあっては、各々が連続的な発音期間（フレーズ）であって順次発生する第１および第２の発音期間を音声データ内またはシーケンスデータ内から検出する検出過程と、前記音声データ中または前記シーケンスデータ中、前記第１の発音期間の終了後、前記第２の発音期間の開始前のタイミングにブレス音または該ブレス音を発生させるブレスイベントを挿入するブレス音挿入過程とを有し、前記ブレス音の波形は、前記第２の発音期間に係る連続波形強度（フレーズ強度）が強いほどブレス量が多く、また、連続波形長（フレーズ長）が長いほど該ブレス量が多くなるように設定される波形であり、前記ブレス音の長さであるブレス長は、前記第１の発音期間が終了した後に前記第２の発音期間が開始されるまでの期間において、該ブレス音が終了する時刻から前記第２の発音期間が開始されるまでの所定の間隔（Ｔ _BP2 ）を除いた範囲内で設定されるものであり、前記ブレス音の強度であるブレス強度は、前記ブレス量が多いほど大きく、また前記ブレス長が長いほど小さくなるように算出されるものであり、前記ブレス音の開始タイミングは、前記ブレス長と、前記所定の間隔（Ｔ_BP2）とに基づいて算出されるものであることを特徴とする。
さらに、請求項２記載の構成にあっては、請求項１記載のブレス音合成方法において、前記第２の発音期間に係る連続波形強度（フレーズ強度）および連続波形長（フレーズ長）に応じて決定されるブレス量の値により、前記ブレス音または前記ブレスイベントを挿入するか否かの判定を行うブレス音挿入判定過程をさらに有することを特徴とする。
また、請求項３記載のブレス音合成装置にあっては、請求項１または２に記載のブレス音合成方法を実行することを特徴とする。
また、請求項４記載のプログラムにあっては、請求項１または２に記載のブレス音合成方法を処理装置（５０）に実行させることを特徴とする。
【０００６】
【発明の実施の形態】
1. 実施形態の構成
本発明の一実施形態であるブレス音合成装置の構成を図１を参照して説明する。
図において、１０は液晶表示パネルであり、データファイルの指定に関する表示、該データファイルについてのリアルタイム再生波形の表示が行われる。２０はＩ／Ｏ制御部であり、ＭＩＤＩインターフェース、ＵＳＢインターフェースにより、音声データ、ＭＩＤＩデータ（シーケンスデータ）の通信が行われる。尚、各種設定を行うためのポインティングデバイスが含まれる。３０はＦＤＤ制御部であり、フレキシブルディスクを介して、STANDARD_MIDI_FORMATファイル、音声ファイルの交換が行われる。４０はＨＤＤ制御部であり、一時ファイル、パラメータが記憶される。５０はＣＰＵであり、各部を制御する。６０はＲＯＭであり、ＣＰＵ５０を駆動するプログラムが記憶される。７０はＲＡＭであり、ワークメモリとして使用される。９０はバスラインであり、各部を接続する。以上により、ブレス音合成装置１００が構成される。
【０００７】
２．実施形態の動作
ブレス音合成装置１００は、リアルタイムな振幅データである音声データ、あるいはイベントデータの集合であるシーケンスデータのいずれに対しても対応している。以下、各々のデータに対する処理を場合を分けて説明する。
（１）音声データでの動作
ブレス音合成装置１００について音声データでの動作を図３のフローチャートを参照して説明する。所定の操作を行うことにより、図３のルーチンが起動する。
ステップＳＰ１０１において、曲調・テンポ・曲データの情報を含む音声データファイルの全体がハードディスクに読み込まれる。読み込みは、ＵＳＢインターフェースあるいはフレキシブルディスク等を介して行われる。ここで、図２（ａ）に、読み込まれた音声データについてのリアルタイム再生波形の一部を示す。一息で連続的に発音される連続波形の期間をフレーズといい、該フレーズが時系列的に複数存在する。また、前のフレーズと後ろのフレーズとの間に空白期間が存在し、該空白期間に、目的とするブレス音が挿入される。なお、一息で発音されるフレーズは、五線譜において「スラー」により表現される。そして、読み込み終了後、処理はステップＳＰ１０３に進む。
【０００８】
ステップＳＰ１０３においては、フレーズの検出処理が行われる。すなわち、読み込まれた音声データファイルが振幅データに変換され、連続波形の期間すなわち、所定の閾値以上の信号レベルが連続している期間がフレーズであると判断される。なお、読み込まれた音声ファイルの全体についてこの処理が行われる。そして、処理はステップＳＰ１０５に進み、フレーズ分析が行われる。
【０００９】
ステップＳＰ１０５においては、ｎ番目のフレーズのデータおよび（ｎ＋１）番目のフレーズのデータがワークメモリに読み込まれ、フレーズ間隔が検出される。ここで図２（ａ）に示されるように、フレーズ間隔（PHRASE_INTERVAL）とは、前のフレーズと後ろのフレーズとの間隔をいう。特に、最初の処理においては、ｎ＝１に設定され、第１番目のフレーズと第２番目のフレーズとのフレーズ間隔が検出される。そして、処理はステップＳＰ１０７に進む。ステップＳＰ１０７においては、後ろのフレーズ長（PHRASE_LENGTH）およびフレーズ強度（PHRASE_STRENGTH）の検出が行われる。ここで、フレーズ強度は音量レベルの平均値で定義される。そして、処理はステップＳＰ１０９に進む。
【００１０】
ステップＳＰ１０９においては、ブレス量の算出処理が行われる。ブレス量（BREATH_POWER）は、後ろのフレーズのフレーズ長（PHRASE_LENGTH）およびフレーズ強度（PHRASE_STRENGTH）の関数で与えられ、具体的にはフレーズ長とフレーズ強度との積で与えられる。すなわち、後ろのフレーズが長いほど、あるいは、強いほど必要なブレス量が多くなる。そして、処理はステップＳＰ１１１に進む。
【００１１】
ステップＳＰ１１１においては、ブレス音を挿入するか否かが判定される。ブレス量（BREATH_POWER）が所定の閾値未満であればブレス音を付加する必要がなく「ＮＯ」と判定され、処理はステップＳＰ１１７に進む。ステップＳＰ１１７においては、フレーズの更新が行われる。すなわち、ｎの値が増加され、次のフレーズのデータがワークメモリに読み込まれる。そして、処理はステップＳＰ１０５に戻る。一方、ブレス量が所定の閾値以上であれば、ブレス音を付加する必要があり、「ＹＥＳ」と判定され、処理はステップＳＰ１１３に進む。
【００１２】
ステップＳＰ１１３においては、ブレス強度、ブレス長、ブレスタイミングの算出処理が行われる。ここで、ブレス長（BREATH_LENGTH）は、フレーズ間隔（PHRASE_INTERVAL）と、ブレス終了時刻から後ろのフレーズの開始時刻までの時間Ｔ_BP2（図２（ｂ）参照）との関数である。ここで、Ｔ_BP2の値は予め所定の値に設定される。すなわち、ブレスの終了時刻と後ろのフレーズの開始時刻との時間が一定間隔にされ、ブレス長はフレーズ間隔の範囲内でなるべく大きな値にされる。但し、ブレス長の最大値は所定値に制限される。特に、前のフレーズが存在せず、フレーズ間隔が無限大とみなされる場合には、該所定値がブレス長に設定される。なお、前のフレーズの終了時刻とブレスの開始時刻との間の時間Ｔ_BP1が設定されることがある。
【００１３】
また、ブレス強度（BREATH_STRENGTH）は、ブレス量（BREATH_POWER）およびブレス長（BREATH_LENGTH）の関数であり、ブレス量が大きければ、ブレス強度が大きくなり、ブレス長が長ければブレス強度が小さくなる（図２（ｃ）参照）。また、ブレス強度は、ブレス波形の振幅の平均値に等しい。ここで、該ブレス波形は、波形の中心で最大値になりブレス開始時刻およびブレス終了時刻に近づくにつれて対称的に低下するような波形にされる（図２（ｂ）実線）。
【００１４】
さらに、ブレスタイミング（ブレス再生開始時刻）は、ブレス長（BREATH_LENGTH）および時間Ｔ_BP2（図２（ｂ）参照）の関数である。たとえば、後ろのフレーズの開始時刻から該所定値およびＴ_BP2の値を減算した時刻がブレスタイミングに設定される。そして、処理はステップＳＰ１１４に進む。
【００１５】
ステップＳＰ１１４においては、曲調・テンポによる修正処理が行われる。たとえば、曲調が落ち着いた曲であれば、ブレス強度を小さくし、ブレス長を長くすると好適である。一方、テンポが早い曲であれば、ブレス長を短くし、ブレス強度を大きくすると好適である。そして、処理はステップＳＰ１１５に進む。
【００１６】
ステップＳＰ１１５においては、最終フレーズまで処理が完了したか否かが判定される。処理が完了しなければ、「ＮＯ」と判定され、処理はステップＳＰ１１７に進む。ステップＳＰ１１７においては、フレーズの更新が行われ、処理はステップＳＰ１０５に戻る。一方、最終フレーズまで処理が完了すれば、「ＹＥＳ」と判定され、本ルーチンは終了する。
【００１７】
そして、算出されたブレス強度、ブレス長、ブレスタイミングに基づき、音声データの合成処理が行われる。すなわち、ブレス強度、ブレス長の情報を用いて音声データにブレス音が追加される。
【００１８】
（２）シーケンスデータの場合の動作
以下、ＭＩＤＩのシステムエクスクルーシブメッセージなどに挿入されたシーケンスデータ（歌詞データおよびメロディデータ）についての動作を、上記と同様に図３を参照して説明する。
ステップＳＰ１０１において、シーケンスデータの読み込みがＭＩＤＩインターフェース、ＵＳＢインターフェースあるいはフレキシブルディスクを介して、行われる。ここで、歌詞データは、歌詞の一音素ずつに対応する複数の音声シーケンスデータ等から構成されている。さらに、該音声シーケンスデータは、フォルマントデータを指定するインデックスデータから構成される。
【００１９】
なお、かかるシーケンスデータの具体例は上述した特許文献１に開示されており、シーケンスデータには各音素のノートオンタイミングを特定する情報は含まれている。但し、特許文献１においては、一の音素に対してノートオンが発生した後、次の音素に対してノートオンが発生するまで、該一の音素の発音状態が継続することが原則であるため、ノートオフタイミングを直接的に指定するための情報が含まれていない。これに対して、本実施形態においては、各音素に対するノートオフタイミングを特定するために、各音素の発音時間を特定するデュレーションデータが含まれている。従って、各音素のノートオフタイミングは、対応するノートオンタイミングにデュレーションデータを加算したタイミングに等しい。
【００２０】
次に、処理がステップＳＰ１０３に進むと、決定されたノートオン／オフタイミングに基づいて、「フレーズ」が検出される。すなわち、「任意の音素のノートオフタイミングから次の音素のノートオンタイミングまでの時間が所定時間以下である区間」が各々「フレーズ」を構成すると判定される。次に、処理がステップＳＰ１０５に進むと、これら複数のフレーズ相互間の間隔が「フレーズ間隔」として検出される。以後の処理は「音声データ」に対する処理と同様であり、各フレーズ間隔、フレーズ長およびフレーズ強度等に基づいて、挿入されるブレス音のブレス強度、ブレス長、ブレスタイミング等が決定される。そして、本ルーチンの処理が終了すると、これらブレス音を発生させるブレスイベントデータがシーケンスデータに追加される。なお、音源が多数のブレス音を有していれば、ブレス強度、ブレス長によって定まる音色選択情報（プログラムチェンジ）およびノートオン情報等を音声ファイルに挿入しても良い。
【００２１】
以上の動作により、フレーズ長、フレーズ強度、フレーズ間隔に応じて、自然なブレス音が自動的に挿入されるので、使用者がブレスのことを意識することなく音声データ・シーケンスデータの制作を行うことが出来る。
【００２２】
３．変形例
本発明は上述した実施形態に限定されるものではなく、例えば以下のような種々の変形が可能であり、全て本発明の範疇に含まれる。
（１）上記実施形態は、フレーズの強度をレベルの平均強度で定義したが、最大強度、二乗平均強度によって定義しても良い。
（２）上記実施形態は、ブレス長をフレーズ間隔の範囲内で大きな値に設定し、ブレス強度を可変したが、ブレス強度を所定値に固定し、ブレス長を可変しても良い。ただし、ブレス長の計算値がフレーズ間隔よりも長い値になる場合においては、例外的に、ブレス強度は該所定値よりも大きな値にされる。
（３）上記実施形態では、波形の中心で最大値になりブレス開始時刻およびブレス終了時刻に近づくにつれて対称的に低下するようにブレス波形を設定したが（図２（ｂ）実線参照）、矩形波状のブレス波形（図２（ｃ）参照）でもよい。また、ブレス長が短くなる場合においては、ブレス最大値に早く到達し、徐々に低下するような波形（図２（ｂ）破線参照）にしてもよい。
（４）上記実施形態は、音声データファイルの全体を読み込み、ブレス音データを必要に応じて挿入したが、リアルタイムに音声データを読み込み、後ろのフレーズが読み込まれた時点でブレス音に係るデータを挿入した音声データファイルを生成してもよい。
（５）上記実施形態においては、ＲＯＭ６０に記憶されたプログラムによってブレス音合成方法を実行する機能を実現したが、例えばパーソナルコンピュータ上で動作するアプリケーションプログラムによっても同様の機能を実現することができる。このアプリケーションプログラムあるいはブレス音合成方法を実行して得た音声ファイルをＣＤ−ＲＯＭ、フレキシブルディスク等の記憶媒体に格納して頒布し、あるいは電気通信回線を通じて頒布してもよい。
【００２３】
【発明の効果】
以上説明したように本発明によれば、
第１の発音期間と第２の発音期間との間にブレス音またはブレスイベントが挿入される。
【図面の簡単な説明】
【図１】本発明の一実施形態であるブレス音合成装置の構成図である。
【図２】音声ファイルのリアルタイム再生波形図および該説明図である。
【図３】フローチャートを示す図である。
【符号の説明】
１０…液晶表示パネル、２０…Ｉ／Ｏ制御部、３０…ＦＤＤ制御部、４０…ＨＤＤ制御部、５０…ＣＰＵ、６０…ＲＯＭ、７０…ＲＡＭ、９０…バスライン、１００…ブレス音合成装置

Claims

各々が連続的な発音期間であって順次発生する第１および第２の発音期間を音声データ内またはシーケンスデータ内から検出する検出過程と、
前記音声データ中または前記シーケンスデータ中、前記第１の発音期間の終了後、前記第２の発音期間の開始前のタイミングにブレス音または該ブレス音を発生させるブレスイベントを挿入するブレス音挿入過程と
を有し、
前記ブレス音の波形は、前記第２の発音期間に係る連続波形強度が強いほどブレス量が多く、また、連続波形長が長いほど該ブレス量が多くなるように設定される波形であり、
前記ブレス音の長さであるブレス長は、前記第１の発音期間が終了した後に前記第２の発音期間が開始されるまでの期間において、該ブレス音が終了する時刻から前記第２の発音期間が開始されるまでの所定の間隔を除いた範囲内で設定されるものであり、
前記ブレス音の強度であるブレス強度は、前記ブレス量が多いほど大きく、また前記ブレス長が長いほど小さくなるように算出されるものであり、
前記ブレス音の開始タイミングは、前記ブレス長と、前記所定の間隔とに基づいて算出されるものである
ことを特徴とするブレス音合成方法。
前記第２の発音期間に係る連続波形強度および連続波形長に応じて決定されるブレス量の値により、前記ブレス音または前記ブレスイベントを挿入するか否かの判定を行うブレス音挿入判定過程をさらに有することを特徴とする請求項１記載のブレス音合成方法。
請求項１または２に記載のブレス音合成方法を実行することを特徴とするブレス音合成装置。
請求項１または２に記載のブレス音合成方法を処理装置に実行させることを特徴とするプログラム。