JP3603008B2

JP3603008B2 - 音声合成処理装置

Info

Publication number: JP3603008B2
Application number: JP2000163460A
Authority: JP
Inventors: 章寛隈田
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2000-05-31
Filing date: 2000-05-31
Publication date: 2004-12-15
Anticipated expiration: 2020-05-31
Also published as: JP2001343991A

Description

【０００１】
【発明の属する技術分野】
本発明は、読み取った文章を発声させる音声合成処理装置に関する。
【０００２】
【従来の技術】
特開平８−８３２７０号公報には、音声合成装置においてテキストデータに話調に関するデータを指定することで、その複合データから自動的に話調を変更して音声を出力できる構成が開示されている。これは起伏のない朗読調になりがちな音声合成処理において、使用者がテキストデータに対して感情的な話調データを指定することで、擬似的に起伏のある感情のこもっているような音声を自動的に発声させることを可能にしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述した従来の方式では、頻繁に話調が変化するような文章では話調変更に関する表示データが多く煩雑であり、見づらくなることがある。
【０００４】
本発明では、話調変更規則を改善することにより、より見やすく扱いが容易にすることを目的とする。
【０００５】
【課題を解決するための手段】
本発明は、発声する音声合成文および発声する声質の指定、切替を行う声質切替情報を含む入力文章を順に読み込んで音声合成文および声質切替情報を抽出し、抽出した音声合成文を、声質切替情報に基づいて音声合成処理を行い、指定された声質で発声する音声合成処理装置において、
抽出した声質切替情報を順に格納する声質切替履歴記憶手段を有し、読み出した音声合成文は、最も新しく格納された声質切替情報に基づいて発声し、
前記声質切替情報は、声質の指定を示す声質切替情報を解除する声質解除情報を含み、声質解除情報を読み出したとき、最も新しく格納された声質切替情報を解除し、以降の文章は、前記最も新しく格納された最新声質切替情報よりも１回前に格納されている前回声質切替情報に基づいて発声することを特徴とする音声合成処理装置である。
【０００６】
また本発明の前記声質解除情報は、改行コードを含むことを特徴とする。
また本発明の前記声質解除情報は、句点コードまたは読点コードを含むことを特徴とする。
【０００７】
本発明に従えば、入力文章は音声合成文と声質切替情報とを含み、入力文章を順に読み取って、音声合成文と声質切替情報を読み出し、抽出した声質切替情報を声質切替履歴記憶手段に格納しておく。そして、読み出した音声合成文を、最も新しく格納された声質切替情報に基づいて発声する。このようにして、入力文章に挿入された声質切替情報に応じて声質を変更して発声する。
本発明では、声質切替情報は声質解除情報を含み、声質解除情報を読み出したとき、声質切替履歴記憶手段に最も新しく格納された声質切替情報が打ち消されて解除される。これによって、次に、声質切替履歴記憶手段に格納されている前回の声質切替情報に基づいて発声される。したがって、たとえば最初に標準声質設定を行った場合には、声質を変える部分の文頭に声質切替履歴記憶手段に最も新しく格納された最新声質切替情報を設定し、文末に、声質解除情報を設定することで、以降の文章は、最も新しく格納された声質切替情報よりも１回前に声質切替履歴記憶手段に格納されている前回声質切替情報であるもとの標準声質にもどすことができる。
【０００８】
また、本発明では改行コードや句読点など、入力文章にもともと挿入されるコードを声質解除情報に設定することによって、前述した従来技術のように、話調変更に関する表示データが煩雑に表示されることが防がれ、見ずらくなるといったことが防がれる。
【０００９】
また本発明の前記声質切替情報は、疑問符または感嘆符を含むことを特徴とする。
【００１０】
また本発明は、声質切替情報である前記疑問符、または感嘆符を読み出したとき、その直前の音声合成文の語句を、声質切替情報に対応付けられた声質で発声させることを特徴とする。
【００１１】
本発明に従えば、疑問符や感嘆符を声質切替情報とし、たとえば疑問符を読み出したとき、その直前の語句の語尾が上がるように設定したり、感嘆符の直前の語句は、驚いた口調で発生するように設定することによって、特別な話調変更データを挿入しなくとも、自然な話調で発声することができる。
【００１２】
【発明の実施の形態】
以下、添付した図面を参照して本発明の音声合成処理装置の実施の一形態について詳細に説明する。本実施形態の音声合成処理装置は、たとえばパーソナル・コンピュータ、または携帯情報端末などの情報処理装置によって実現される。
【００１３】
図１は本実施形態の音声合成装置１の概略構成を示すブロック図である。本装置はＣＰＵ（ｃｅｎｔｒａｌｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）１１、ＲＯＭ（ｒｅａｄｏｎｌｙｍｅｍｏｒｙ）１２、ＲＡＭ（ｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ）１３、記憶装置１４、辞書１５、入力部１６、表示部１７、音響処理部１８、およびスピーカ１９から構成される。
つぎに、本装置の概要について説明する。記憶装置１４には、音声合成を行う文章が格納されており、使用者は入力部１６、表示部１７により前記文章に音質切替情報を挿入して文章の編集を行い、音声合成文および声質切替情報を含む入力文章を作成する。なお、声質切替情報の具体的な挿入方法については、図８〜図１４で詳細に説明する。
【００１４】
音声合成処理のプログラムはＲＯＭ１２に格納されており、辞書１５には、漢字の読みやアクセント情報がデータとして登録されている。ＣＰＵ１１は、ＲＯＭ１２に格納されるプログラムにしたがって記憶装置１４から前記入力文章を読み出し、辞書１５に記憶されたデータをもとに音響処理部１８で抑揚とともに、指定された声質で音声合成を行い、スピーカ１９から発声する。
【００１５】
図２は音声合成装置１の音声合成処理の構成を示すブロック図である。処理部２２は、前記記憶装置１４から声質切替情報が含まれた入力文章２１を順に読み出し、音声合成処理を行い、声質切換を伴った音声２８を発声させる。
【００１６】
処理部２２は、フォント音質対応記憶手段２３、音声合成文一時記憶手段２４、声質切替履歴記憶手段２６、音声合成処理部２７とを有する。これらは、実行時にＲＡＭ１３に生成される。
【００１７】
フォント声質対応記憶手段２３は、図３に一例として示すように、フォントと声質切替情報とを対応させて記憶している。たとえば、フォント欄に示されているロボットの顔に似せた絵文字は、“ロボットの声にする”という声質切替情報に対応づけられている。また、句点“。”は、声質解除情報として対応づけられおり、“！”、“？”は、それぞれのフォントが出現する以前の文章を、驚いた声、疑問の声で発声する声質切替情報と対応づけられている。
【００１８】
また、通常は表示されないが、テキストデータに含まれる改行コードや読点“、”を声質解除情報として設定してもよい。
【００１９】
つぎに、音声合成処理方法について説明する。入力文章２１は先頭から一文字ずつ読み出して処理が行われる。読み出したフォントが、フォント声質対応記憶手段２３で対応づけされていない場合は、音声合成文となるテキストデータとして、音声合成文一時記憶手段２４に一時的に記憶する。また、対応づけされた声質切替フォントは対応する声質切替情報２５に変換し、この声質切替情報２５に従って、声質情報を声質切替履歴記憶手段２６に記憶する。
【００２０】
このようにして、一連の入力文章を読み込み、音声合成文一時記憶手段２４に記憶された音声合成文と共に声質切替情報を音声合成処理部２７に送り、音声２８として発声する。
【００２１】
図４〜６は声質切替履歴記憶手段２６の記憶形式及び動作について示したものである。声質切替履歴記憶手段はスタックのような動作を行い、読みだした順に声質切替情報がスタックにプッシュされ、声質解除情報によりスタックからポップされるものとする。
【００２２】
図４を参照して音質切替履歴記憶手段２６の動作について説明する。音質切替履歴記憶手段２６には、下から“宇宙人の声”、“相撲取りの声”、“お婆さんの声”の順に音質切替情報が積み上げられて格納されており、音声合成文一時記憶手段２４に記憶されている情報はリセットされ、何も記憶されていないものとする。そして、入力文章を順に読み出し、音質切替情報が現れるまで、音声合成文一時記憶手段２４に音声合成文がテキストデータとして蓄積される。
【００２３】
図４の４１の状態は、“ロボットの声にする”という声質切替情報が現れたときの状態を示す。以下の説明では、声質切替情報を、声質情報と略称することがある。声質切替情報が現れると、声質切替情報履歴記憶手段２６に最後に積まれた情報である“お婆さんの声にする”という声質情報と共に音声合成文一時記憶手段２４に記憶された音声合成文を音声合成処理部２７へ送り、音声合成文をお婆さんの声で発声させる。その上で、“ロボットの声にする”という声質情報を音質切替履歴記憶手段２６の最後に積むことにする。そうすることで、声質切替情報以後の文章を、ロボットの声質で発声させることができる。
【００２４】
図５は声質切替情報として声質解除情報が与えられた場合の処理を示す。５１の状態から声質解除情報が与えられた時は、それまでに最後に積まれた最新の情報である“ロボットの声にする”という声質情報と共に音声合成文一時記憶手段２４に記憶された文章を音声合成処理部へ送り、ロボットの声で発声させる。その上で、スタックの最上部に積まれた“ロボットの声にする”という声質情報をスタックから削除する（５２）。そうすることにより、次に発声される文章を、元の声質情報（すなわち前記最新の情報“ロボットの声にする”よりも１回前に声質切替履歴記憶手段２６に格納されている前回声質切替情報）である“お婆さんの声”に戻すことが可能となる。
【００２５】
また、図３で示したように、句点“。”を声質解除情報と設定することで、一文ずつ、音質切替履歴記憶手段２６に積まれた声質切替情報を取り出し、一文ごとに、声質切替履歴記憶手段２６に格納される声質切替情報で順に発声することができる。
【００２６】
また、改行コードを声質解除情報として設定した場合は、一段落を一まとまりの音声合成文として発声することができ、読点“、”を声質解除情報として設定した場合は、読点で区切られた文章を一まとまりの音声合成文として発声することができる。
また、図４の４２で“ロボットの声にする”という声質情報をスタックに積むとき、複数、たとえば２個積むことにより、その直後の声質解除情報を無効にし、２文を指定された声質で発声させることも可能である。
【００２７】
図６は直前文声質切替情報が与えられた場合の処理を示している。図３で示したように、“！”および“？”には、直前文声質切替情報が対応付けられており、図６の６１の状態において、“！”に対応づけられた“驚いた声にする”という直前文声質切替情報が与えられた時は、最後に積まれた情報である“お婆さんの声”という声質情報に“驚いた声”という声質情報を加えた上に、音声合成文一時記憶手段２４に記憶された文章と共に音声合成処理部へ送り、お婆さんの驚いた声で発声させる。この“驚いた声”の声質情報は声質切替履歴手段２６には積まず、声質切替履歴手段２６はそのままの状態を保持する（６２）。
【００２８】
図７は本発明の動作を示すフローチャートである。前述したように、声質切替情報を含んだ入力文章を１文字づつ読み出し、図７に示すフローチャートに従って一文字ずつ処理する。
【００２９】
まず、読み出した文字が声質切替情報であるかを判定し（ステップＳ７０１）、声質切替情報の場合は図４で示したように声質切替履歴記憶手段２４の最上部に積まれた声質情報で発声させる（ステップＳ７０２）。その後、音声合成文一時記憶手段２４に記憶される音声合成文を削除した上で、入力切替情報を声質切替履歴手段２６に積んで元の処理に戻る（ステップＳ７０３）。
【００３０】
声質切替情報でない場合は、声質解除情報であるかを判定し、（ステップＳ７０４）、声質解除情報の場合は図５で示したように声質切替履歴記憶手段２４の最上部に積まれた最新の声質情報で発声させる（ステップＳ７０５）。音声合成文一時記憶手段２４の音声合成文を削除した上で、声質切替履歴記憶手段２４の最上部に積まれた声質情報を削除し、元の処理に戻り、すなわち前記最新声質切替情報よりも１回前に格納されている前記声質切替情報で発声する（ステップＳ７０６）。
【００３１】
声質解除情報でない場合は、直前文声質切替情報であるかを判定し、（ステップＳ７０７）、直前文声質切替情報の場合は図６で示したように声質切替履歴記憶手段２４の最上部に積まれた声質情報に直前文声質切替情報を加えた声質で発声させ、音声合成文一時記憶手段２４の情報を削除した上で、元の処理に戻る（ステップＳ７０８）。
【００３２】
直前文声質切替情報でない場合は、通常のテキストデータとして、音声合成文一時記憶手段２４に一時記憶（ステップ７０９）し、その後、全文が終了したかどうかを判定し（ステップ７１０）、終了していない場合は元の処理に戻る。終了した場合は、音声合成文一時記憶手段２４に記憶される音声合成文を声質切替履歴記憶手段２４の最上部に積まれた声質情報で発声して処理を終了する（Ｓ７１１）。
【００３３】
図８〜１４は音声合成処理すべき文章に声質切替情報を挿入して入力文章を作成するときの表示例である。文章全文を指定された声質で発声される場合は、まず、図８に示すように、文章の先頭にカーソル１００を配置する。つぎに、図９に示すように、その場所でメニュー表示を表示させる、そこで希望の声質を選択する。こうすることで、フォント声質対応記憶手段２３に記憶されている対応付けされたフォント１０１が、図１０のようにカーソル位置に挿入される。このように文章の先頭にのみ声質切替情報が挿入された入力文章は、全文が指定された声質で発声される。
【００３４】
その他の設定状態として、文章全体に標準声質設定が指定されており、句点コード“。”が声質解除情報に対応づけられており、上記したように、文章の先頭のみに声質切替情報が挿入される場合は、最初の文章の“突然ですが、本日５時に集まることになりました。”のみが声質切替情報で指定された声質で発声され、その後は標準声質設定の声質で発声されることになる。このような標準声質の設定は、たとえば声質解除情報によって解除されないように設定されて声質切替履歴記憶手段２６に格納するようにしてもよい。
【００３５】
図１１からは使用者が指定する区間のみの声質を切り替える時の手順を示している。カーソル１００を声質切替えしたい区間の先頭に配置し（図１１）、シフトキーを押しながらカーソルキーを押すなどによる既存のテキスト文書の区間指定手段にしたがって、終点を指定する（図１２）。区間が指定された状態のまま、メニュー表示を開いて希望の声質を選択する（図１３）。そうすることで、声質切替えをする先頭に声質切替情報に対応づけられたフォント１４１が挿入され、終点には声質解除情報に対応づけされたフォント１４２が挿入される。
この場合、文章の先頭の“突然ですが、〜連絡しておきます。”までが標準声質設定の声質で発声され、その次の“ご注意！〜”の手前に、声質切替えフォント１４１があるため、この“ご注意！〜電話で確認して下さい。”までを対応する声質情報に切り替えて発声させる。その次には、声質解除情報に対応づけされたフォント１４２があるので、前記“ご注意”の前にある声質切替えフォント１４１の設定を解除し、以降の文章は、対応する声質切替え情報１４１以前の声質である標準声質設定で発声されることになる。
【００３６】
その他の条件として例えば声質切替えフォント１４１以前に“ロボットの声質に切り替える”声質切替えフォントが指定されていた場合は、声質解除フォント１４２以降がロボットの声質で発声される。
【００３７】
【発明の効果】
本発明によれば、声質解除情報を設定することで、元の声質に戻して発声することができる。この声質解除情報として、テキストデータにもともと挿入される改行コードや句読点などのコードを対応づけることで、表示が煩雑にならず見やすくなる。
また、疑問符や感嘆符が付されている直前の単語の声質を変えることで、内容を確実に伝えることができ、聞く場合に、注意して聞くところを促すことができる。
【図面の簡単な説明】
【図１】本発明の実施の一形態の音声合成処理装置１を示す概略図である。
【図２】音声合成処理を示すブロック図である。
【図３】フォント声質対応記憶手段２３の記憶形式の一例である。
【図４】声質切替履歴記憶手段２６の声質切替情報が与えられた時の動作の一例を示す概略図である。
【図５】声質切替履歴記憶手段２６の声質解除情報が与えられた時の動作の一例を示す概略図である。
【図６】声質切替履歴記憶手段２６の直前文声質切替情報が与えられた時の動作の一例を示す概略図である。
【図７】本発明の動作説明のためのフローチャートである。
【図８】声質切替情報を挿入するときの表示内容の一例を示す概略図である。
【図９】声質切替情報を挿入するときの表示内容の一例を示す概略図である。
【図１０】声質切替情報を挿入するときの表示内容の一例を示す概略図である。
【図１１】声質切替情報を挿入するときの表示内容の一例を示す概略図である。
【図１２】声質切替情報を挿入するときの表示内容の一例を示す概略図である。
【図１３】声質切替情報を挿入するときの表示内容の一例を示す概略図である。
【図１４】声質切替情報を挿入するときの表示内容の一例を示す概略図である。
【符号の説明】
１音声合成処理装置
１１ＣＰＵ
１２ＲＯＭ
１３ＲＡＭ
１４記憶装置
１５辞書
１６入力部
１７表示部
１８音響処理部
１９スピーカ
２１入力文章
２２処理部
２３フォント声質対応記憶手段
２４音声合成文一時記憶手段
２５声質切替情報
２６声質切替履歴記憶手段
２７音声合成処理部
２８音声
１００カーソル
１０１，１０２声質切替えに対応づけられたフォント
１４２声質解除に対応づけられたフォント

Claims

発声する音声合成文および発声する声質の指定、切替を行う声質切替情報を含む入力文章を順に読み込んで音声合成文および声質切替情報を抽出し、抽出した音声合成文を、声質切替情報に基づいて音声合成処理を行い、指定された声質で発声する音声合成処理装置において、
抽出した声質切替情報を順に格納する声質切替履歴記憶手段を有し、読み出した音声合成文は、最も新しく格納された声質切替情報に基づいて発声し、
前記声質切替情報は、声質の指定を示す声質切替情報を解除する声質解除情報を含み、声質解除情報を読み出したとき、最も新しく格納された声質切替情報を解除し、以降の文章は、前記最も新しく格納された最新声質切替情報よりも１回前に格納されている前回声質切替情報に基づいて発声することを特徴とする音声合成処理装置。
前記声質解除情報は、改行コードを含むことを特徴とする請求項１記載の音声合成処理装置。
前記声質解除情報は、句点コードまたは読点コードを含むことを特徴とする請求項１または２記載の音声合成処理装置。
前記声質切替情報は、疑問符または感嘆符を含むことを特徴とする請求項１〜３のいずれか１つに記載の音声合成処理装置。
声質切替情報である前記疑問符、または感嘆符を読み出したとき、その直前の音声合成文の語句を、声質切替情報に対応付けられた声質で発声させることを特徴とする請求項４記載の音声合成処理装置。