JP2908720B2

JP2908720B2 - 合成を基本とした会話訓練装置及び方法

Info

Publication number: JP2908720B2
Application number: JP7085534A
Authority: JP
Inventors: ヘクター、ラウル、ジャブキン; エリザベス、グレイス、キート; ノーマ、アントナンザス、バロソ; ブライアン、アレン、ハンソン
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1994-04-12
Filing date: 1995-04-11
Publication date: 1999-06-21
Anticipated expiration: 2014-06-21
Also published as: JPH0830190A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、会話（ｓｐｅｅｃｈ）
訓練装置（ｔｒａｉｎｉｎｇｓｙｓｔｅｍ）及び方法
（ｍｅｔｈｏｄ）に関し、特に、言語に障害を持つ生徒
の訓練装置及び方法に関する。また、聴覚障害者以外の
学習者の外国語会話の学習に関する。

【０００２】

【従来の技術】耳の不自由な児童に会話、特に発声、こ
の他口の動き等を視認することによる聞き取りを教える
最も基本的な教授（訓練）法としては、教師が自らの口
等の発声器官（ｖｏｃａｌａｐｐａｒａｔｕｓ）を使
って正しい発音動作を示す方法がある。これによって、
児童学習者（訓練生）は、言語音声作成時におこる唇や
顎などの外部発声器官の動作を観察でき、また舌の動き
もある程度までは観察できる。触覚を利用する教授法と
して、学習者が教師の発声器官と自分の発声器官を触っ
て比較し、自分の誤りを正す方法も時折使用されてい
る。このような従来の教授法には、発声の動作の多くは
外部から観察できないなどの限界があった。

【０００３】近年、音声分析を行う装置またはコンピュ
ータプログラムを使用して、言語の発声方法を解説する
教授法が可能となっている。これらの装置やプログラム
を使用した教授法では、学習者は発声情報の表示など数
多くの音声の発声に伴う各種の特徴を観察することが出
来る。そのようなシステムの最適な使用例として、松下
（Ｍａｔｓｕｓｈｉｔａ）によって開発されたコンピュ
ータを内蔵した会話、特に発声訓練補助装置（ＣＩＳＴ
Ａ，ＣｏｍｐｕｔｅｒＩｎｔｅｇｒａｔｅｄＳｐｅｅ
ｃｈＴｒａｉｎｉｎｇＡｉｄ）がある。ＣＩＳＴＡ
では、数個の変換器によって集められた複数チャンネル
データが供給される。その内容は、以下のようなもので
ある。

【０００４】１．動的口蓋図。１９６２年に旧ソビエ
トの学者、Ｙ．Ｋｕｚｍｉｎが初めて使用した教授方法
であり、発声時に起こる舌と口蓋の接触が、口中に人工
的に設けられた口蓋上の多くの電極の接触を利用して示
される。舌が電極の１つに触れると、口外に通ずる機器
との低電圧回路が通じ、これを検知する。更に、接触の
有無は、ＣＲＴ（表示装置）に表示される。

【０００５】２．鼻音センサ。鼻腔の側面にヘッドギ
ア（頭部を介しての固定具、Ｈｅａｄｇｅａｒ）また
は一時的に粘着テープで取り付けられたマイクロフォン
（Ｅｌｅｃｔｒｅｔｍｉｃｒｏｐｈｏｎｅ）が鼻音化
の震えを検出する。３．喉センサ。喉頭にフレキシブルな襟で取り付けら
れたマイクフォンが声門の震えを検出する。

【０００６】４．空気流センサ。児童学習者の口の前
で、吐き出す空気の流れを感知する装置を使用するもの
であり数種の方法がある。５．標準的なマイクロフォンで音声分析用の入力を行
う。耳の不自由な児童学習者への会話の教育は、教師に
よる教育時間が制約されるためなかなか困難とされてい
る。聴覚に障害を持たない児童が、毎日何時間も音声を
聞き取り、自らの発声について音声によるフィードバッ
クを得るのに対して、耳の不自由な児童は１週間に１回
程度の会話の訓練時間に、自分の発声のフィードバック
を得るにすぎない。

【０００７】ＣＩＳＴＡのような会話訓練装置とコンピ
ュータを組み合わせると、会話の、特に発声の訓練の一
部を教師抜きで行うことができ、したがって訓練時間を
大幅に延長することが可能となる。他の従来例として文
書（章）音声化システムがあるが、このシステムでは、
いかなる発話（発声対象の言語、単語、文等を指す。言
語学上の「発話」に限定されない。以下同様。ｕｔｔｅ
ｒａｎｃｅ）がタイプ入力されても、それを自動的に合
成する。このような文書音声化システムで現在最もよく
知られているのは、ディジタル・イクイップメント（Ｄ
ｉｇｉｔａｌＥｑｕｉｐｍｅｎｔ）社の文書から英語
を発声する「ＤＥＣＴａｌｋ」である。

【０００８】次に、発声の研究について説明する。人間
の声道（発声器官により作り出される声の通り途）の形
状は、発声のための共振状態を決定し、更には人の発声
そのものをコントロールする。このため、声道の形状
と、その結果生じる音響出力の関係を示す電子的、計算
的モデルは、長年会話研究者の主要な研究課題であっ
た。そして、この研究では声道の形状は研究者自身のも
のを調べて音響出力を測定していた。極く最近では、研
究者らは、明瞭な有節音（ａｒｔｉｃｕｌａｔｏｒｙ）
の合成を開発し、声道の形状の生成は自動的に行われ
る。この場合、インプットは音素群（ｓｔｒｉｎｇｏ
ｆｐｈｏｎｅｍｅｓ）で構成され、この音素の群は声道
の形状の詳細な仕様に変換される。声道の形状は音声を
発する声道モデルの形成に使用される。

【０００９】

【発明が解決しようとする課題】しかしながら、ＣＩＳ
ＴＡのようにフィードバックを学習者に直接提供する会
話訓練装置では、指導内容が個別の音声または事前にプ
ログラムされた発声や会話に限定される。また、「ＤＥ
ＣＴａｌｋ」では、文書音声化システムが作成するのは
聞き取り可能な音に限られる。

【００１０】また、発声の正確性に影響する各発声器
官、空気流等の表示等が完全とはいえない。特に、実際
の声道の形成に重要な役割を課す舌と口蓋の動作、具体
的には接触パターン、どの部分がどの時点で接触したり
離れたりするのか等の使用、表示が不明確である。そし
て、これについては、学習訓練、指導に採用することが
考えられていなかった。

【００１１】また、多少とも聴覚が残っている者への効
果的な学習には不充分である。また、外国語の修得にも
不便である。本発明は、以上の課題に鑑みなされたもの
であり、児童学習者が教師の指導を受けることなく、い
かなる発話に対しても、フィードバック情報を入手可能
にする訓練装置及び方法を提供することを目的としてい
る。

【００１２】また、同じく、発声の形成に重要な役を課
す声道形成の様子がわかるようにする訓練装置及び方法
を提供することを目的としている。併せて、外国語の修
得にも便利なものを提供することを目的としている。

【００１３】

【課題を解決するための手段】上記の各目的を達成する
ため本発明の会話訓練装置及び方法は、学習者（訓練
生）は、学習（訓練）を希望するいかなる発話（ｕｔｔ
ｅｒａｎｃｅ）や外国語もコンピュータにタイプ入力
し、タイプ入力された文書の発声に伴う（必要な）必ず
しも視認し難い各種発声器官の正しい動作たる調音模範
動作（ａｒｔｉｃｕｌａｔｏｒｙｍｏｄｅｌｍｏｖ
ｅｍｅｎｔｓ）、特に舌と口蓋の接触の様子（ｔｏｎｇ
ｕｅ−ｐａｌａｔｅｃｏｎｔａｃｔｐａｔｔｅｒｎ
ｓ．）という形式や、これに伴う空気流の様子や各器官
の動きの様子をＣＲＴに表示させて見ることにより学習
することを可能としている。

【００１４】また、多少とも聴覚が残っている者には、
正しい発声を大きな音で聞かせる。他の目的を達成する
ため、本発明の会話訓練装置及び方法は、タイプ入力し
た発話や外国語を学習者が発声すると、学習者の実際の
発声と模範的な発声との類似点や相違点を比較し、この
評価結果をＣＲＴに表示することにより正しい発声を訓
練、学習するというフィードバックを可能としている。

【００１５】

【作用】上記構成により、まず、編集手段がタイプ入力
された文書（章）を発声のために編集、変換して、音声
合成部に送る。音声合成部は、このタイプ入力された文
書を一連の音素群に分析し、文書の発音の特徴を規定す
るパラメータを１０ミリセカンド毎に作成する。作成さ
れた１セットのパラメータはシステムに戻されて、タイ
プ入力された文書を発声するのに必要な、例えば舌と口
蓋の接触についての調音模範パターンを表す１セットの
パラメータに変換される。そして、この調音のための舌
と口蓋の接触している場所や時間の関係を示す接触パタ
ーンの映像がＣＲＴに表示される。

【００１６】学習者が文書化して入力した発話を実際に
発声する際の鼻音化振動、声門振動、吐き出した空気
流、舌の接触及び発声そのものの判別可能性が１セット
の変換器で測定される。会話訓練装置は、学習者の発声
した音を、例えば模範的な舌と口蓋の接触パターン等と
如何に類似しているかに基づいて評価する。この評価
は、ＣＲＴに舌、口蓋の接触パターンの画面として表示
される。

【００１７】また、模範的な発声を行う外国語の訓練、
学習でも同様のことがなされる。

【００１８】

【実施例】以下、本発明を使用した、合成を基本とした
音声能力訓練システムの実施例を図と表を参照しつつ説
明する。（第１実施例）図１にその構成を示す。本実施例の合成
を基本とした会話訓練装置は、ラボラトリ用ディジタル
コンピュータを使用することもできる。このような装置
は、学習すべき発話を入力する手段を持ち、そのような
手段としては、会話訓練装置の入力部を構成するキーボ
ード１が好適である。

【００１９】入力された発話は、ＡＳＣＩＩ表記方式の
音声訓練装置に送られることとなる。会話訓練装置は、
文書音声化装置を利用してタイプ入力された発話を自動
的に合成することとなる。ここに、英語に対しての文書
音声化装置としては、現在ディジタル・イクウィプメン
ト社の「ＤＥＣＴａｌｋ」が最もよく知られている。し
かし、本実施例で使用しているのは、パナソニック・テ
クノロジー（ＰａｎａｓｏｎｉｃＴｅｃｈｎｏｌｏｇ
ｉｅｓ）社に属する会話技術（ＳｐｅｅｃｈＴｅｃｈ
ｎｏｌｏｇｙ）研究所によってその後に開発された最新
の文書音声化システム「ＳＴＬｔａｌｋ」である。

【００２０】合成部３と会話訓練装置間の連絡は、ＲＳ
−２３２ポートを介して行われる。ＲＳ−２３２はＸＯ
Ｎ／ＸＯＦＦ通信規約（ｐｒｏｔｏｃｏｌ）用に構成さ
れ、その送信セッティングは９６００ビット／秒（ｂａ
ｕｄ）、８データビット、１ストップビット、０パリテ
ィビットである。合成部３は、一連の音素群である入力
文書を受け取り、これを入力バッファに格納する。

【００２１】文書音声化部２では、入力された発話が分
析されることとなる。発話の構文分析（ｓｙｎｔａｃｔ
ｉｃａｎａｌｙｓｉｓ）は、綴り中のコンマの位置お
よび辞書検索時に検出する前置詞等の機能語（ｆｕｎｃ
ｔｉｏｎｗｏｒｄｓ）や動詞の構文上の役割を参照し
て行う。次に、図２に示す手順に従って、発話の音素情
報（ｐｈｏｎｅｍｉｃｒｅｐｒｅｓｅｎｔａｔｉｏ
ｎ）が作成される。以下、本図の内容を説明する。

【００２２】まず、各語を、小さい発音用辞書の見出し
語と比べる（ステップ１２）。若し、辞書に対応する見
出し語がない場合には、”ｅｄ”や”ｉｎｇ”等の共通
接尾辞を取り除くなどして語を形態素（ｍｏｒｐｈｅｍ
ｅｓ）に分割する（ステップ１４）。分割後、残った語
根（ｒｏｏｔ）を音素辞書（ｐｈｏｎｅｍｉｃｄｉｃ
ｔｉｏｎａｒｙ）の見出し音と比べる（ステップ１
６）。もし語根に匹敵する見出しがない場合には、文字
から音素（ｐｈｏｎｅｍｅ）への変換規則を参照して発
音を推測する（ステップ１８）。加えて、対象語を音素
へ変換する際に、音節に使用されるべき強勢（アクセン
ト、ｓｔｒｅｓｓ）パターンの検討も行われる。すなわ
ち、対象語がシステム内の辞書に記載されていなかった
り、語から分解された語根の強勢パターンが接頭辞によ
って変わるときは、それを推測しなければならない。音
節の強勢レベルは、音素表記された母音の直前に強勢記
号を挿入することにより表される。強勢記号が無いとき
には、強勢は置かれない。発声等に際しては、共通接尾
辞を除去しているならば再度付加する（ステップ２
０）。

【００２３】音パラメータ合成部３は、前記バッファを
処理して、１セット２０の音声パラメータを、１０ミリ
セカンドの連続する音素毎に１つ作成する。音パラメー
タは、学習される発話の音としての特徴を規定するもの
である。これらパラメータは、送られてきた情報を、基
本的な周波数や振幅数、フォルマント（厳密には母音の
構成素音、ｆｏｒｍａｎｔである。ただし、本明細書で
は訓練対象の音をも指すことがある。）の周波数や帯域
幅、対象となる発話のノイズ源に基づいて予め定められ
た規定値と比べる。音パラメータの例を表１に示す。

【００２４】

【表１】

【００２５】同一の音パラメータが２組作成される。発
話の終わりを表す記号であるピリオドを受け取ると、第
１組は、アレイ（ａｒｒａｙ，ＣＰＵ内の記憶素子の配
列された記憶装置。）に格納される。次に、第２組の音
パラメータがフォルマント合成部４に送られて、アナロ
グ音声信号形式の出力信号に変換される。フォルマント
合成部４で変換された出力信号は、スピーカー５により
大きな音量で再生されるので、聴覚がいくらか残ってい
る学習者はこれを聞くことができる。

【００２６】音パラメータ合成部（フォルマント合成を
除く）３のアレイに格納された第１組の音パラメータセ
ットは、ＲＳ−２３２ポートを介して会話訓練装置に戻
される。会話訓練装置は、これらの値を読み込んで、別
のアレイに格納する。そして、音パラメータは、音パラ
メータの調音パラメータへの変換部６で調音パラメータ
に変換される。調音パラメータで、３形式のタイプ入力
発話を表す。

【００２７】会話訓練装置は、１グループの音パラメー
タを、タイプ入力された発話の音声特徴を示す調音パラ
メータに変換する。変換に使用される音パラメータは基
本的な周波数、発話の振幅数、有声または無声、フォル
マント１、２、３の周波数を含む。文書音声化装置は、
音パラメータの周波数（ｈｅｒｚ）を１０倍して会話訓
練装置に送る。周波数を使用する会話訓練装置は、受け
取ったパラメータを１０で割って、ＣＲＴに画面として
表示する。

【００２８】会話訓練装置は、また、タイプ入力された
発話の鼻音化を示す調音パラメータを作成する。鼻音化
は、／ｍ／や／ｎ／等の音には適しているが、聴覚障害
者は、しばしば不適切に発話を鼻音化して発声し（鼻声
で話す）、これが会話の妨げとなる。鼻音は、周波数定
義域に鼻音ポール（ｎａｓａｌｐｏｌｅｓ）と鼻音ゼ
ロ（ｚｅｒｏ）の両方が存在するか否かで示される。典
型例としては、１鼻音ポール及び１鼻音ゼロで鼻音化が
表される。これらは、鼻と口の間に存在する弁である軟
口蓋が低く、開位置まで下がると現れる。そして、軟口
蓋が閉まると存在しなくなる。

【００２９】文書音声化装置は、タイプ入力された発話
の鼻音化を検出する音パラメータ変数を提供する。会話
訓練装置は、音パラメータを使用して鼻音インデックス
を作成する。文書音声化装置は、非鼻音用の音パラメー
タとして鼻音ポールと鼻音ゼロを同じ周波数および帯域
幅に設定する。すなわち、同じ周波数および帯域幅に設
定された鼻音ポールと鼻音ゼロは相互に打ち消しあう。
本件では、非鼻音を表すのに、鼻音ポールと鼻音ゼロを
２５０Ｈｚに設定する。鼻音を作成する際は、鼻音ポー
ルと鼻音ゼロの周波数は互いに異なった値に移動して、
それぞれ音スペクトルの異なった箇所に影響する。鼻音
ゼロの周波数は、対象音が／ｎ／３４または／ｍ／３６
であるかによって、一時的に３３０または３６０Ｈｚに
増加する。周波数の変動は、図３に示される。文書音声
化装置は、また、鼻音フォルマント３０、３２の振幅数
を提供する。鼻音フォルマントの典型的な振幅数は３０
から６０の範囲内であるが、振幅数が０であるときは鼻
音フォルマント３０、３２どちらも提供されない。文書
音声化装置が提供する音パラメータを使用する言語能力
訓練装置は、タイプ入力した発話を行うのに必要な鼻音
量を学習者に知らせる鼻音インデックスを作成するため
の演算を行う。

【００３０】上記演算の１例は以下のようである。ＮＩ＝｛（｜Ｆ_nf−Ｆ_nz｜）／（｜Ｆ_nf−Ｆ
_nz｜）_max｝×〔｛（ＡＮ−１）−｜（ＡＮ−１）｜｝
／２＋１〕ここに、ＮＩ＝鼻音インデックス(nasalization index) Ｆ_nf＝鼻音フォルマントの周波数(frequency of the na
sal formant) Ｆ_nz＝鼻音ゼロの周波数(frequency of the nasal zer
o) ＡＮ＝鼻音フォルマントの振幅(amplitude of the nasa
l formant) ここに、全入力変数は整数である。

【００３１】また、演算式の右辺、２番目の要素では鼻
音化の振幅が０であれば値に０を掛け、鼻音化の振幅数
が０以外であれば値に１を掛ける。会話訓練装置は、ま
た、タイプ入力した発話を行うのに必要な舌と口蓋の接
触を示す有声音（ａｒｔｉｃｕｌａｔｏｒｙ）の調音パ
ラメータを作成する。音パラメータを提供する以外、文
書音声化システムは、次の４つの時間のタイミングをと
るために使用される。つまり音の開始時点、最大振幅に
達する時点、振幅が減少し始める時点、そして終了する
時点である。これらの時間は組み合わせて、１セットの
口蓋図で示されている。

【００３２】音素であれ音節であれ、各発声単位の接触
のための最大領域は音パラメータの調音パラメータへの
変換部６で格納され、発声単位の対象（ｔａｒｇｅｔ）
パターンとして扱われる。会話の音声は種々のコンテク
スト（文脈、単語、音等の前後関係。例えば、「ｔ」な
らば、「ｃｔ」、「ｔｈ」、「ｓｔ」等。ｃｏｎｔｅｘ
ｔ）に応じた接触パターンで変化するので、多くの異な
った接触パターンを各音ごとにだけでなく、各文脈、前
後関係毎に格納する必要がある。

【００３３】各発声単位には、その開始、終了の時期、
その間の安定した状態の部分の持続時間（ｄｕｒａｔｉ
ｏｎ）のデータが割り当てられている。舌と口蓋の間の
接触領域は６３個の点からなるセットとして定義されて
いる。なお、ここに、６３個としたのは、各種の音声、
発音単位に対して、充分に舌と口蓋の接触の様子がわか
ること、ＣＲＴ上での視覚性が良好なこと、実際の製作
や使用にあたっての実用性を考慮したものである。

【００３４】分類段階階層（ｈｉｅｒａｒｃｈｙ）は、
いくつかの点が開始、終了の部分で接触したり離れたり
するような順に定義されている。概して、最初に接触す
る地点は口蓋の奥に向かう部分であり、最初に離れる地
点は口蓋の前方の部分である。文書音声化システムによ
って生成された音パラメータを人間が学ぶ舌と口蓋の接
触パターンに変換することは困難であるので、本発明
（実施例）では、舌−口蓋接触パターンの合成に子音の
開始と終了を使用（流用）している。

【００３５】例えば、“Ｓｈｅｓａｉｄ”という発話
をする場合、文書音声化システムは合成パラメータによ
って／ＳＨ／の開始と終了、及び／Ｓ／の開始と終了を
知らせる。図４には、発話“Ｓｈｅｓａｉｄ”の全て
のパラメータが示されている。口蓋の接触のためには、
実際の接触パターンを提供する現在の訓練装置では、始
めと終わりの時間のみ使用されている。

【００３６】現在の装置で、学習者により表示される舌
−口蓋接触はこの文書音声化システムに含まれている。
図５に示すのは、典型的なパターンであり、“Ｓｈｅ
ｓａｉｄ”の中の／Ｓ／音を取り囲んでいる母音の舌−
口蓋接触パターンを示している。大きい方の点は接触
を、小さい方の点は非接触を示している。５８から１０
４までの各フレームは１０ミリ秒を表している。

【００３７】図５のフレームの連続は“Ｓｈｅ”の中の
母音から次に続く／Ｓ／音、そして“ｓａｉｄ”の母音
という流れを表している。始めの７つのフレーム５８、
６０、６２、６４、６６、６８、７０は“Ｓｈｅ”の母
音が“ｓａｉｄ”の／Ｓ／フレーム１０４に続くための
接触を示している。

【００３８】完全な／Ｓ／音とフレーム８と７２で始ま
り、９フレーム後のフレーム９０で舌は口蓋から離れ始
める。２４番目のフレーム１０４によって、“ｓａｉ
ｄ”の中の母音に必要な接触は完全に非接触となる。会
話訓練プログラムにおいて、ＣＲＴに画面として表示す
る実際の舌の接触動作は、以下の３つの異なる方法によ
る。

【００３９】装置は、子音／ｔ／、／ｄ／、／ｓ／、／
ｚ／、／ｓｈ／、／ｚｈ／、／ｌ／、／ｎ／、／ｒ／を
発音する際、その舌接触パターンは予め格納（利用可能
な態様でのあらかじめの記憶、Ｐｒｅｓｔｏｒｅｄ）し
ておく。現在までには、高舌、前舌母音の直前または直
後に発音される／ｋ／または／ｇ／の舌接触パターンは
前記予め格納される舌接触パターンに含まれていない
が、適用される原理は同じである。

【００４０】教師は、各音の舌接触パターンを、それが
形成される状況に応じて装置に利用可能な態様で記憶さ
せる。また、学習者、児童の発声中、一度はうまく発声
されたけれども、情況は異なるものの日本人における
とｒの区別等、くり返し練習する必要があると教師が判
断した音を選定の上記憶させる。最も適当な舌と口蓋の
接触は各学習者の口蓋の形に深く関っているので、教師
によって行われるこの格納方法が最も有効である場合が
多い。

【００４１】教師は、各子音に対して、上記の３つの方
法の何れを採用するか指定する。特に指定されなけれ
ば、予め舌接触パターンを格納しておく方法が採用され
る。上記全ての方法に共通して、会話訓練装置は子音開
始前に始まり、子音終了後まで続く一連の接触パターン
を提供する。舌と口蓋の接触を有する子音を要求する発
話が装置にタイプ入力された場合、文書音声化システム
は、その子音の開始と終了についての時間を訓練装置に
通知する。次に、上記に述べた３つの方法のうちの１つ
により格納された一連のパターンは、学習者に適切な接
触パターンを表示するために使用される。

【００４２】タイプ入力した発話を行うために必要な舌
と口蓋の接触の動作の様子をＣＲＴ上の画面で確認した
後、学習者はその発話を実際に発声してみる。なお、こ
こに会話訓練装置は、以上説明してきた会話訓練補助装
置（ＣＩＳＴＡ）を使用している。そして、この装置
は、数個の変換器（ｓｐｅｅｃｈｔｒａｎｓｄｕｃｅ
ｒｓ）８を使用して学習者の発声に伴う各種パターン、
パラメータを測定する。学習者の舌口蓋接触、鼻音化振
動、声門振動、吐き出した空気流及び音響を測定し、発
声の際の評価に必要なデータが取得される。そして、変
換器へ入力されたデータが解析されることとなる。

【００４３】会話訓練装置の評価部９は、学習者の発声
に伴う測定結果と格納されている音パラメータとを比較
して、その類似性（相違）を検出し、また評価する。そ
の後、学習者が実際に行った発音器官動作と調音模範動
作との相違に基づいて、表示部１０を通じて学習者にフ
ィードバックを行う。（第２実施例）本実施例では、正常な聴力を持つ学習者
が合成を基本とした会話訓練装置を使用して外国語会話
を学習する。以下に述べる点を除いて、本実施例で使用
する会話（ｓｐｅｅｃｈ）訓練（学習）装置は、第１実
施例で使用する会話訓練装置と同一である。

【００４４】学習者は会話訓練装置の入力部（キーボー
ド）１に、学習の目的とする外国語の文書を入力する。
文書音声化部２は、入力された文書を会話用に編集す
る。編集された文書は、音パラメータ合成部（除く、フ
ォルマント合成部）３に送られる。この合成部３は、文
書を処理して、２０の音パラメータからなる音パラメー
タセットを作成する。ここに、音パラメータは、所定
の、この場合には学習対象の、外国語の文書の音声特徴
を特定するものである。

【００４５】同一の音パラメータが２組作成される。２
組目の音パラメータセットは、フォルマント合成部４に
送られてアナログ音声シグナルの出力信号に変換され
る。フォルマント合成部４の出力は、所定の外国語で、
発声部としてのスピーカー５から再生される。次に、１
組目の音パラメータセットが会話訓練装置の音パラメー
タの調音パラメータへの変換部６に送られる。会話訓練
装置は、音パラメータをこの変換部６で調音パラメータ
に変換して、入力された文書を所定の外国語で発音する
ための調音模範動作を示す。変換された調音パラメータ
に相応した子音を含む舌と口蓋の接触パターンを含む等
各部の動作はＣＲＴ７に画面表示される。

【００４６】所定の外国語で入力された文書を発声する
ための舌と口蓋の接触パターンを含んだ調音模範動作を
参照して、学習者は外国語の入力文書を発音する。会話
訓練装置は、学習者の発音を測定する。次に、学習者の
発声に伴う測定値を、外国語用として入力された文書用
音パラメータと比較して評価する。会話訓練装置の評価
部９は、学習者が外国語で入力された文書用音パラメー
タと比較して評価する。会話訓練装置は、学習者が外国
語で入力された文書を発声する際に行った調音動作に対
して、あらかじめ格納等されている調音模範動作との相
違を検出し、これを学習者に表示部のフィードバック用
のディスプレイ１０を使用してフィードバックする。

【００４７】以上、いわゆる当業者が本発明を明瞭に理
解し、実施しえるべく好ましい実施例に基づいて説明し
たが、本発明は何も明細書の実施例の記載に制約をされ
るものではなく、その要旨からはずれる事なく種々の変
更しての実施が可能なことは言うまでもない。具体的に
は、例えば英語のシステムでは音素を基本的発声単位と
して使用する。このため、実施例では音素を基本的単位
とする英語のシステムについて述べている。しかしなが
ら、日本語等他の言語のなかには、基本的発声単位とし
て主に音節を使用するものもある。従って、かかる言語
の場合は、音節を基本的発声単位とするシステムとして
いる。

【００４８】

【発明の効果】以上説明してきたように、本発明によれ
ば、聴覚に障害のある児童でも、キーボード入力さえで
きれば、どのような単語、文書でもそれを正しく発声す
るのに必要な、しかし本来視認し難い口蓋、舌の接触を
中心とした動き等をＣＲＴに表示させ、これによりそれ
を目で観察することが可能となる。このため、正確な発
音をするために口蓋、舌を如何に動かせばよいか、接触
させればよいか等が容易に理解しえる。

【００４９】更には、他人が話しているときの動きを観
察することによる口での聞き取りの支援ともなる。以上
より聴覚に障害があるため音声情報を知得しえず、この
一方で早い時期にタイプを学習する児童学習者に好適で
ある。また、多少とも聴覚がのこっておれば、大きな音
量とすることにより聞き取り可能となるため、更に良好
な会話の訓練が可能となる。また、自分が実際に発声を
した際の発声そのものはもとより、口蓋、舌等の発声器
官の動作やこれに伴う空気流れ等の測定値と模範的な発
声や発声器官の動作等とを比較した結果がＣＲＴに表示
されるため、より一層、会話、特に発声の訓練が効果的
となる。

【００５０】また、会話の訓練に専任の教師も不要とな
る。また、聴覚障害者でなく、一般人が外国語を学習す
る際にも使用しえる。この場合も、正確な発声はもとよ
り、口蓋、舌等の正確な発音のための動作と実際の自分
の発声や動作とがＣＲＴに比較表示されるため、学習効
率が増加する。

【図面の簡単な説明】

【図１】会話訓練装置の一実施例の構成図である。

【図２】ＡＳＩＩ方式に基づいて表記された語を音素、
強勢及び品詞情報（ｐａｒｔｓ−ｏｆ−ｓｐｅｅｃｈ
ｉｎｆｏｒｍａｔｉｏｎ）に書き換える動作流れ図であ
る。

【図３】１発話中の鼻音ゼロおよび鼻音ポール（極点、
ｐｏｌｅ）の音パラメータを示す音スペクトルである。

【図４】１発話中に起こる舌の口蓋への接触パターンを
示す音スペクトルの例である。

【図５】１発話中に起こる、舌と口蓋の実際の接触パタ
ーンを表示した図である。

【符号の説明】

１学習対象の会話のキーボード入力部２文書音声化部３音パラメータ合成部（フォルマント合成部を除
く）４フォルマント合成部５合成された会話の発声部６音パラメータの調音パラメータへの変換部７調音パラメータの表示部８学習者の発声の際の測定器９学習者の発声をパラメータを使用して評価する評
価部１０フィードバックとしての表示部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号ＦＩＧ１０Ｌ 9/02 ３０１Ｇ１０Ｌ 9/02 ３０１ＡＨ０４Ｒ 1/42 Ｈ０４Ｒ 1/42 (72)発明者ブライアン、アレン、ハンソンアメリカ合衆国カリフォルニアゴレタサン・カルピノ 7457 (56)参考文献特開平６−348297（ＪＰ，Ａ) 特開平４−359299（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G09B 21/00 G09B 5/06 G09B 19/06 G10L 3/00 G10L 3/00 551 G10L 9/02 301 H04R 1/42

Claims

(57)【特許請求の範囲】

【請求項１】訓練対象の会話を文書化して入力する入
力手段と、上記文書化して入力された会話を構成することとなる発
声を、実施教育に使用するため１組毎の発声単位と該発
声単位毎の開始と終了に関係するデータに変換する編集
手段と、上記各１組の発声単位とその開始、終了に関係するデー
タを基に、訓練対象の会話の実施教育における音声とし
ての特徴づけをなす１組の舌と口蓋の接触パターンを合
成する合成手段と、上記合成された各１組の舌と口蓋の接触パターンとを表
示する表示手段とを有していることを特徴とする合成を
基本とした会話訓練装置。
【請求項２】前記合成手段は、各発声単位の開始、終了の時間及び接触の安定状態の持
続時間が判明するように合成を制御する三種時間判明制
御部を有していることを特徴とする請求項１記載の合成
を基本とした会話訓練装置。
【請求項３】前記三種時間判明制御部は、各発声単位毎に、その開始、終了の時間、安定状態の持
続時間が判明するように合成を制御する各発声単位用三
種時間判明制御部分を有していることを特徴とする請求
項２記載の合成を基本とした会話訓練装置。
【請求項４】前記各発声単位用三種時間判明制御部分
は、各発声単位に、対して、その舌と口蓋の接触の最大とな
る領域と、その発声単位が含まれている各異なったコン
テクストに応じた他の少なくも１の接触領域の区分けし
ての合成を可能とするコンテクスト反映小部分を有して
いることを特徴とする請求項３記載の合成を基本とした
会話訓練装置。
【請求項５】前記合成手段は、舌と口蓋の接触部を６３個の点で表現する６３点表現制
御部を有していることを特徴とする請求項１、請求項
２、請求項３若しくは請求項４記載の合成を基本とした
会話訓練装置。
【請求項６】舌と口蓋の接触パターンの測定を含んだ
発声についての測定を行う発声測定手段を有しているこ
とを特徴とする請求項１、請求項２、請求項３請求項４
若しくは請求項５記載の合成を基本とした会話訓練装
置。
【請求項７】訓練における模範的な発声と測定した訓
練生の発声との舌と口蓋の接触のパターンの類似性を評
価する評価手段を有していることを特徴とする請求項６
記載の合成を基本とした会話訓練装置。
【請求項８】上記類似性の評価の結果を表示する表示
手段を有していることを特徴とする請求項７記載の合成
を基本とした会話訓練装置。
【請求項９】訓練対象の会話を入力する会話入力ステ
ップと、上記入力された会話を発声単位と該発声単位の開始と終
了のデータに変換する会話データ作成変換ステップと、上記変換にて作成された会話のデータを対応する舌と口
蓋の接触パターンに変換する舌口蓋接触パターン作成ス
テップと、上記変換された舌と口蓋の接触パターンを表示する表示
ステップとを有していることを特徴とする合成を基本と
した会話訓練方法。
【請求項１０】前記舌口蓋接触パターン作成ステップ
は、各発声単位毎の舌と口蓋の接触の領域を示すデータと、
更に各発声単位の開始、終了の時間と安定状態の持続時
間についてのデータを保持し、両データをもとに舌と口
蓋の接触パターンを作成する接触領域時間反映作成小ス
テップを有していることを特徴とする請求項９記載の合
成を基本とした会話訓練方法。
【請求項１１】前記接触領域時間反映作成小ステップ
は、各発声単位に対して、その舌と口蓋の接触する最大とな
る領域と、その発声単位が使われている各異なったコン
テクストに応じた他の少なくも１つの別の接触領域のデ
ータを保持し、このデータと上記各発声単位の開始、終
了の時期と安定状態の持続時間についてのデータとから
コンテクストに応じての舌と口蓋の接触パターンを作成
するコンテクスト反映小小ステップを有していることを
特徴とする請求項１０記載の合成を基本とした会話訓練
装置。
【請求項１２】前記舌口蓋接触パターン作成ステップ
は、上記各発声単位の舌と口蓋の接触の領域を示すデータと
して、舌と口蓋の間の各接触領域を６３点からなるデー
タとして保持する６３点化データ保持小ステップを有し
ていることを特徴とする請求項９、請求項１０若しくは
請求項１１記載の合成を基本とした会話訓練方法。
【請求項１３】訓練対象の会話を文書化して入力する
入力手段と、上記入力された会話を実施教育に使用するため音素セッ
トに変換する編集手段と、上記変換された音素セットを、訓練対象の会話の実施教
育における音声としての特徴づけをなす音パラメータセ
ットに変換する音パラメータ合成手段と、上記変換された音パラメータセットを、その発声に必要
な発声器官の動作に関係する調音パラメータセットに変
換する調音パラメータ合成手段と、上記変換された調音パラメータセットをもとに発声器官
の動作を表示する動作表示手段と、上記変換された音パラメータセットを合成音声出力に変
換する合成音声変換手段と、上記変換された合成音声出力から難聴者が聞取り可能な
音声を作成する音声作成手段と、訓練対象の会話を訓練生が発声する際に訓練生の舌接触
パタンを測定する手段と、同じく、訓練生の発声を測定する発声測定手段と、同じく、訓練生の吐き出し空気流を測定する空気流測定
手段と、同じく、訓練生の鼻音化振動を測定する鼻音化振動測定
手段と、同じく、訓練生の頸部振動を測定する頸部振動測定手段
と、同じく、訓練生から得た測定値と実施教育における模範
的な発声の音パラメータセットとの類似点を比較評価す
る比較手段と、前記比較手段の比較評価の結果表示する比較表示手段と
を有していることを特徴とする合成を基本とした会話訓
練装置。
【請求項１４】訓練対象の会話を文書化して入力する
入力手段と、上記入力され文書化された会話を、実施教育に使用する
ため音素セットに変換する編集手段と、上記変換された音素セットを、訓練対象の会話の実施教
育における模範的音声としての特徴づけをなす音パラメ
ータセットに変換する合成手段と、上記変換された音パラメータセットを、その発声に必要
な発声器官の動作に関係する調音パラメータセットに変
換する調音パラメータ合成手段と、上記変換された調音パラメータセットをもと発声器官の
動作を表示する表示手段とを有していることを特徴とす
る合成を基本とした会話訓練装置。
【請求項１５】上記変換された音パラメータセットを
合成音声出力に変換するフォルマント合成手段を有して
いることを特徴とする請求項１４記載の合成を基本とし
た会話訓練装置。
【請求項１６】聞取り可能な合成音声を出力する合成
音声出力手段を有していることを特徴とする請求項１４
若しくは請求項１５記載の合成を基本とした会話訓練装
置。
【請求項１７】訓練生の発声に伴う調音パラメータに
関係する要素を測定する調音パラメータ測定手段を有し
ていることを特徴とする請求項１４記載の合成を基本と
した会話訓練装置。
【請求項１８】前記調音パラメータ測定手段は、舌の
接触パターンを測定する舌接触パターン測定部を有して
いることを特徴とする請求項１８記載の合成を基本とし
た会話訓練装置。
【請求項１９】前記調音パラメータ測定手段は、音響
を測定する音響測定部を有していることを特徴とする請
求項１７記載の合成を基本とした会話訓練装置。
【請求項２０】前記調音パラメータ測定手段は、吐き
出し空気流を測定する吐き出し空気流測定部を有してい
ることを特徴とする請求項１７記載の合成を基本とした
会話訓練装置。
【請求項２１】前記調音パラメータ測定手段は、鼻音
化振動を測定する鼻音化振動測定部を有していることを
特徴とする請求項１７記載の合成を基本とした会話訓練
装置。
【請求項２２】前記調音パラメータ測定手段は、頸部
振動を測定する頸部振動測定部を有していることを特徴
とする請求項１７記載の合成を基本とした会話訓練装
置。
【請求項２３】実施教育における会話の模範的な発声
の音パラメータセットと訓練生の発声に伴う音パラメー
タセットとの類似性を比較評価する類似性比較評価手段
を有していることを特徴とする請求項１７記載の合成を
基本とした会話訓練装置。
【請求項２４】実施教育における模範的会話の音パラ
メータセットと訓練生の発声の際に測定した音パラメー
タセットの値との類似性を比較表示する比較表示手段を
有していることを特徴とする請求項１７若しくは請求項
２３記載の合成を基本とした会話訓練装置。
【請求項２５】訓練対象の会話を文書化して入力する
ステップと、上記入力された会話を実施教育に使用するため音素セッ
トに変換するステップと、上記変換された音素セットを訓練対象の会話の実施教育
における音声としての特徴づけをなす音パラメータに変
換する音パラメータ合成ステップと、上記変換された音パラメータを合成音声出力に変換する
合成音声出力ステップと、上記変換された合成音声出力から難聴者でも聞き取り可
能な音声を作成する音声作成ステップと、上記変換された音パラメータをその発声に必要な発声器
官の動作に関係する調音パラメータセットに変換する調
音パラメータ合成ステップと、上記変換された調音パラメータをその発声に必要な発声
器官の動作に関係する調音パラメータセットに変換する
調音パラメータセット合成ステップと、上記変換された調音パラメータセットをもとに発声器官
の動作を表示する動作表示ステップと、訓練対象の会話を訓練生が発声する際に、訓練生の舌接
触パターンを測定する舌接触パターン測定ステップと、同じく、訓練生の発声を測定する発声測定ステップと、同じく、訓練生の吐き出し空気流を測定する吐き出し空
気流測定ステップと、同じく、訓練生の鼻音化振動を測定する鼻音化振動測定
ステップと、同じく、訓練生の頸部振動を測定する頸部振動測定ステ
ップと、実施教育のおける模範的な発声の音パラメータセットと
訓練生から得た測定値との類似性を比較評価する類似性
比較評価ステップと、前記比較評価するステップの結果を表示する比較表示ス
テップとを有していることを特徴とする合成を基本とし
た会話訓練方法。
【請求項２６】訓練対象の会話を文書化して入力する
入力ステップと、上記入力され文書化された会話を実施教育に使用するた
め音素セットに変換する編集ステップと、上記変換された音素セットを、訓練対象の会話の実施教
育における模範的音声としての特徴づけをなす音パラメ
ータセットに変換する音パラメータ合成ステップと、上記変換された音パラメータをその発声に必要な発声器
官の動作に関係する調音パラメータに変換する調音パラ
メータ合成ステップと、上記変換された調音パラメータセットをもとに発声器官
の動作を表示する動作表示ステップとを有していること
を特徴とする合成を基本とした会話訓練方法。
【請求項２７】音パラメータセットを合成音声出力に
変換する合成音声変換ステップと、上記変換された合成音声出力から難聴者が聞き取り可能
な音声を作成する音声作成ステップと、訓練生が訓練対象として入力した文書に相当する会話を
発声する際に、その舌接触パターン、発声音響、吐き出
し空気流、鼻音化振動、頸部振動の測定をする発声測定
ステップと、実施教育における模範的発声の音パラメータセットと訓
練生が発声した際の音パラメータセットの測定値との類
似性を比較評価する比較ステップと、前記比較ステップにおける比較評価の結果を表示する比
較表示ステップとを有していることを特徴とする請求項
２６記載の合成を基本とした会話訓練方法。
【請求項２８】学習対象の言語の文書を入力する入力
ステップと、上記入力された文書を音素セットに変換する編集ステッ
プと、上記変換された音素セットを、学習対象の外国語の入力
文書の発声を特徴づける音パラメータセットに変換する
音パラメータセット合成ステップと、上記変換された音パラメータセットを、入力文書を外国
語で音声化するのに必要な発声器官の調音パラメータセ
ットに変換する調音パラメータ合成ステップと、上記変換された調音パラメータセットをもとに発声器官
の動作を表示する動作表示ステップとを有していること
を特徴とする合成を基本とした会話訓練方法。
【請求項２９】音パラメータを合成音声出力に変換す
る合成音声出力ステップと、上記変換された合成音声出力から、訓練生が聞き取り可
能な外国語音声を作成する外国語音声作成ステップと、訓練生が学習対象の文書を外国語で発声する際に、その
舌接触パターン、発声音、吐き出し空気流、鼻音化振
動、頸部振動を測定する外国語発声測定ステップと、上記変換された外国語の入力文書の音パラメータセット
と訓練生が発声した際の測定値との類似性を比較評価す
る比較ステップと、前記比較ステップにおける比較評価の結果を表示する比
較表示ステップとを有していることを特徴とする請求項
２８記載の合成を基本とした会話訓練方法。