JP2001109493A - 音声対話装置 - Google Patents
音声対話装置Info
- Publication number
- JP2001109493A JP2001109493A JP28931699A JP28931699A JP2001109493A JP 2001109493 A JP2001109493 A JP 2001109493A JP 28931699 A JP28931699 A JP 28931699A JP 28931699 A JP28931699 A JP 28931699A JP 2001109493 A JP2001109493 A JP 2001109493A
- Authority
- JP
- Japan
- Prior art keywords
- dialog state
- transition destination
- state
- transition
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
キーワード相互関係の考慮がなく,対話成功率を高める
ため,一発話毎に利用者へ確認を行い,確認対話が多く
利用者の利便性と対話の自然性を損なう。 【解決手段】 各対話状態の認識対象語彙,システム応
答と,システム応答想定回答及び回答に応じた遷移先対
話状態を記憶する対話手順記憶部と,対話手順記憶部の
各対話状態の認識対象語彙で音声認識を行い,複数の結
果を出力する音声認識部と,音声認識部の認識結果と対
話手順記憶部の内容とで遷移先対話状態を定め、遷移先
対話状態の仮説が所定条件を満たす場合は一つに確定
し、所定条件を満たさない場合は確定を保留すると共に
遷移先対話状態仮説を出力する遷移先対話状態確定動作
決定部と,仮説を確定する場合、遷移先対話状態仮説の
認識結果を確認するシステム応答を出力し、確定を保留
する場合は、遷移先対話状態仮説のシステム応答を出力
する対話動作実行部とを備える。
Description
・マシン・インタフェースに用いられる音声対話処理装
置に関するものである。
る情報を得るような音声対話装置の重要性が高まってい
る。このような音声対話装置においては,利用者の入力
中に含まれるキーワードを高い精度で認識し,かつ必要
な情報を利用者が効率的に得るための対話制御を行うこ
とが重要である。
ために,入力音声に含まれる複数のキーワード間の関連
性を利用する方法が提案されている。例えば,図14は
特開平7-92994号に示された認識候補抽出装置である。
このように構成された従来の認識候補抽出装置において
は,音声認識装置が,関連性を持った複数のキーワード
を含んだ連続音声から複数のキーワードを認識し,認識
尤度の高い順に各キーワードの認識結果を複数出力す
る。
力される認識結果から,予め定めたキーワード間の組合
わせ情報を用いて,組合わせ情報と一致するキーワード
の組のみを抽出して認識候補として出力し,関連性のな
いキーワードの組合わせを棄却することで認識候補の正
解率が向上する。
置から出力される認識候補を利用者に復唱確認すること
で確定し,復唱した認識候補が正しくないと判定された
場合には,複数のキーワードのうち第1のキーワードを
音声認識装置で認識し,この認識結果を確定処理装置で
確定した後,第2のキーワード以降の認識では確定した
キーワードと組合わせ可能なキーワードのみを認識候補
として抽出するため認識候補の正解率が向上する。
ような従来の候補抽出処理装置では,複数の発話に跨っ
たキーワード相互の関係は考慮しておらず,利用者との
数回のやり取りによって得られる全入力項目の認識率を
向上させ対話成功率を高めるためには,一発話毎に利用
者へ確認を行い確定的に対話を進める必要があり,確認
対話が多くなり利用者の利便性および対話の自然性を損
なうという課題があった。
ためになされたもので,一つの発話毎に確定処理を行わ
ずとも認識率を向上できる音声対話装置を得ることを目
的とするものである。
装置は,音声認識部と,対話手順記憶部と,遷移先対話
状態確定動作決定部と,対話動作実行部とを備え,音声
での対話により,利用者が必要とする情報を得る音声対
話装置であって,対話手順記憶部は,各対話状態におけ
る認識対象語彙,システム応答と,システム応答に想定
される答え及びその答えに応じた遷移先対話状態を規定
して記憶し,音声認識部は,入力音声に対して,対話手
順記憶部に記憶された各対話状態に応じた認識対象語彙
を用いて音声認識を行って,複数の認識結果を出力し,
遷移先対話状態確定動作決定部は,前記音声認識部から
の認識結果と対話手順記憶部の内容により遷移先対話状
態を定め、その遷移先対話状態の仮説が予め定められた
所定条件を満たす場合は一つに確定し、所定条件を満た
さない場合は確定を保留する決定をすると共に遷移先対
話状態仮説を出力し,対話動作実行部は、仮説を一つに
確定する場合、遷移先対話状態確定動作決定部からの遷
移先対話状態仮説の認識結果を確認するシステム応答を
出力し、確定を保留する場合は、遷移先対話状態仮説の
システム応答を出力するものである。
話状態遷移記憶部と,遷移先対話状態確定部と,暫定遷
移先対話状態決定部とを付加し、遷移先対話状態確定動
作決定部は,音声認識部からの認識結果と対話状態遷移
記憶部又は対話手順記憶部の内容とから定まる遷移先対
話状態の仮説を一つに確定するか、確定を保留するかを
決定し,遷移先対話状態仮説を出力し,遷移先対話状態
確定部は,遷移先対話状態確定動作決定部からの遷移先
対話状態仮説を一つに確定する場合にその遷移先対話状
態仮説を入力とし,利用者に認識結果を確認することに
より遷移先対話状態を確定して出力するとともに,対話
状態遷移記憶部に対し,記憶されている遷移先対話状態
仮説をを書変え,暫定遷移先対話状態決定部は,遷移先
対話状態確定動作決定部からの遷移先対話状態仮説を保
留する場合にその遷移先対話状態仮説を入力とし,暫定
的な遷移先対話状態を決定して出力するとともに,対話
状態遷移記憶部に対し遷移先対話状態仮説を書変え,対
話状態遷移記憶部は,対話開始時点からの対話状態遷移
履歴と遷移先対話状態確定部又は,暫定遷移先対話状態
決定部からの遷移先対話状態仮説を記憶し,対話動作実
行部は,前記遷移先対話状態確定部または暫定遷移先対
話状態決定部からの遷移先対話状態を入力とし,該遷移
先対話状態に規定されたシステム応答を出力するととも
に,該遷移先対話状態に規定された認識対象語彙を前記
音声認識部に出力し,音声認識部は,入力音声に対し
て,対話動作実行部から入力される認識対象語彙を用い
て音声認識を行い,複数の認識結果を出力するものであ
る。
声認識部は,複数の認識結果とその認識結果のスコアを
出力するように構成され、遷移先対話状態確定動作決定
部は,音声認識部からの入力された認識結果のスコアに
応じて確定動作を行うか否かを決定するものである。
話手順記憶部に記憶された各対話状態には,他の対話状
態から該対話状態へ状態遷移を行うために予め確定動作
を行う必要があるか否かを記述し,遷移先対話状態確定
動作決定部は,前記音声認識部から入力される認識結果
と前記対話状態遷移記憶部の内容と前記対話手順とから
定まる遷移先対話状態の仮説が,予め確定動作を行う必
要があるものの場合に確定動作を行うと決定するもので
ある。
移先対話状態確定動作決定部は,利用者からの入力項目
がすべて入力されていなくても,音声認識部からの認識
結果を確定することにより未入力項目に対する項目値が
一意に定まる場合に確定動作を行うと決定するものであ
る。
移先対話状態確定動作決定部は,遷移先対話状態仮説に
規定されたシステム応答に応じて確定動作を行うか否か
を決定するものである。
移先対話状態確定動作決定部は,遷移先対話状態仮説に
共通のシステム応答が存在しない場合に確定動作を行う
と決定し,遷移先対話状態仮説に共通のシステム応答が
存在する場合には,共通のシステム発話を持つ遷移先対
話状態仮説のみを遷移先対話状態仮説として出力するも
のである。
話手順記憶部に記憶された各対話状態には,複数のシス
テム応答を記述でき,対話動作実行部は,暫定遷移先対
話状態決定部から遷移先対話状態が入力された場合,入
力された遷移先対話状態に規定されたシステム応答のう
ち,前記対話状態遷移記憶部に記憶された遷移先対話状
態仮説に規定されたシステム応答と共通のものを出力す
るものである。
移先対話状態確定動作決定部は,遷移先対話状態仮説の
全ての認識対象語彙を合計した語彙の規模が予め定めた
基準より大きい場合に確定動作を行うと決定するもので
ある。
移先対話状態確定動作決定部は,前記対話状態遷移記憶
部を参照して,確定した対話状態から遷移先対話状態仮
説までの遷移系列の長さが予め定めた基準値以上の場合
に確定動作を行うと決定するものである。
音声対話装置の実施の形態1の構成図を示すものであ
る。1は,入力音声に対して,後述する対話動作実行部
から入力される認識対象語彙を用いて音声認識を行い,
複数の認識結果および認識結果のスコアを出力する音声
認識部,2は,各対話状態における認識対象語彙,シス
テム応答,音声認識結果に応じた遷移先対話状態を規定
した対話手順記憶部,3は,対話開始時点からの対話状
態遷移履歴および遷移先対話状態仮説を記憶する対話状
態遷移記憶部,4は,前記音声認識部からの認識結果を
入力とし,該認識結果と前記対話状態遷移記憶部の内容
と前記対話手順とから定まる遷移先対話状態の仮説を一
つに確定するか否かを決定し,確定する場合には後述す
る遷移先対話状態確定部に遷移先対話状態仮説を出力
し,確定を保留する場合には暫定遷移先対話状態決定部
に遷移先対話状態仮説を出力する遷移先対話状態確定動
作決定部である。
からの遷移先対話状態仮説を入力とし,利用者へ認識結
果を確認することにより遷移先対話状態を確定して出力
するとともに,前記対話状態遷移記憶部に対し,記憶さ
れている遷移先対話状態仮説をすべて削除し,該確定し
た遷移先対話状態を書き加える遷移先対話状態確定部で
ある。
話状態仮説を入力とし,認識結果のスコアに基づいて暫
定的な遷移先対話状態を決定して出力するとともに,前
記対話状態遷移記憶部に対し遷移先対話状態仮説を書き
加える暫定遷移先対話状態決定部,7は,前記遷移先対
話状態確定部あるいは暫定遷移先対話状態決定部からの
遷移先対話状態を入力とし,該遷移先対話状態に規定さ
れたシステム応答を出力するとともに,該遷移先対話状
態に規定された認識対象語彙と,前記対話状態遷移記憶
部に記憶された遷移先対話状態仮説に規定された認識対
象語彙を前記音声認識部に出力する対話動作実行部であ
る。
置として用いた場合について具体的な動作説明を行う。
電話番号案内音声対話装置とは,利用者が装置と音声で
対話することで,電話番号案内に必要な都道府県名,市
区町村名,業種,対象名などの項目値を入力し,装置は
入力された項目値に基づき電話番号の検索を行い,利用
者に電話番号を案内するものである。
態の一例を示すものである。例えば,対話状態S1におい
ては,システム応答としてR1「県名をどうぞ」が,認識
対象語彙V1として都道府県名が規定されている。また,
認識結果が「北海道」の場合の遷移先対話状態としてS2
が規定されている。以下,音声認識部が出力する認識結
果の個数Nを5,遷移先対話状態確定動作決定部で用いる
一位の認識結果のスコアに対する閾値を0.5,対話開始
状態がS1の場合を例に説明する。
部がシステム応答R1「都道府県名をどうぞ」を利用者に
出力し,認識対象語彙V1を音声認識部に出力することに
より対話を開始する。
認識対象語彙V1を用いて音声認識処理を行い認識結果と
スコアを出力する。例えば利用者が「佐賀です」と入力
した場合,認識結果として「滋賀(0.88),佐賀(0.87),
香川(0.73),神奈川(0.52),鹿児島(0.50)」の5つの候
補を出力する。括弧内の数値は各認識候補に対するスコ
アであり1に近いほど良いスコアを表す。
確定動作決定部は現在の対話状態S1に規定された遷移テ
ーブル T1 を参照して,前述の5つの認識結果に対する
遷移先対話状態の仮説として 5つの対話状態 S15, S16,
S17, S18, S19 を得る。次に,一位の認識結果「滋
賀」のスコアが 0.88 で閾値以上であるため確定を保留
すると決定し,5つの遷移先対話状態仮説を暫定遷移先
対話状態決定部に出力する。
遷移先対話状態仮説から認識結果のスコアに基づいて暫
定的な遷移先対話状態仮説を一つ選択する。例えば,前
述の5つの遷移先対話状態仮説 S15, S16, S17, S18, S1
9 に対しては,スコアの最も良い「滋賀」に対する遷移
先対話状態仮説S16を選択し,対話動作実行部へ出力す
る。さらに,すべての遷移先対話状態仮説を対話状態遷
移記憶部に書き加える.例えば,図3は5つの遷移先対
話状態仮説 S15, S16, S17, S18,S19 を対話状態遷移記
憶部に書き加えた結果を示している。
6が入力されると,対話動作実行部はシステム応答R16
「市名をどうぞ」を利用者に出力するとともに,対話状
態S16に規定された認識対象語彙V16と,対話状態遷移記
憶部に記憶された4つの遷移先対話状態仮説S15,S17,S1
8,S19に規定された認識対象語彙V15,V17,V18,V19を音声
認識部に出力する。
「市名をどうぞ」に対して,利用者が「伊万里市です」
と入力した場合,音声認識部は認識対象語彙V15,V16,V1
7,V18,V19を用いて音声認識処理を行い,認識結果とし
て「伊万里(0.91),出水(0.76),伊勢原(0.30),八日市
(0.11),平塚(0.09)」を出力する。
対話状態仮説 S15, S16, S17, S18,S19 に規定された遷
移テーブル T15, T16, T17, T18, T19 を参照して,認
識結果に対する遷移先対話状態の仮説として5つの対話
状態 S152, S153, S163,S182,S192 を得る。現在の対話
状態S16からの遷移先対話状態仮説であるS163 に対する
認識結果「八日市」のスコアは0.11で閾値以下のため,
遷移先対話状態確定動作決定部は遷移先対話状態の確定
を行うと決定し,遷移先対話状態仮説S152, S153, S16
3, S182, S192 を遷移先対話状態確定部に出力する。
の仮説が入力されると,例えばスコアの良い認識結果か
ら順に利用者に確認を行い遷移先対話状態を確定する。
遷移先対話状態仮説 S152, S153, S163, S182, S192 が
入力された場合には,利用者にまず「伊万里市ですか」
と確認を行い,利用者がこれに対して「はい」と応答す
ることにより遷移先対話状態が S182 に確定する。
状態確定部は確定した対話状態 S182 を対話動作実行部
に出力するとともに対話状態 S182 を対話状態遷移記憶
部に書き加え,さらに対話状態遷移記憶部に記憶されて
いた遷移先対話状態仮説 S15, S16, S17, S19 を対話状
態遷移記憶部から削除する。以上の動作を行った後の対
話状態遷移記憶部は図4に示すものとなる。
実行部はシステム応答 R182「町名をどうぞ」を利用者
に出力するとともに,対話状態 S182 に規定された認識
対象語彙 V182 を音声認識部に出力し対話を継続する。
利用者の入力に対する対話状態遷移の仮説を複数保持
し,遷移先対話状態確定動作決定部が,現在選択してい
る仮説に対する認識スコアが閾値より悪くなったときに
遷移先対話状態を一つに確定するため,一発話毎に利用
者へ確認を行なって確定的に対話を進めなくても認識率
を向上でき,さらに確認対話の回数が減るため利用者と
装置との自然な対話が実現でき利用者の利便性が向上す
る。
態遷移記憶部と,遷移先対話状態確定部と,暫定遷移先
対話状態決定部とを省き,音声認識部と,対話手順記憶
部と,遷移先対話状態確定動作決定部と,対話動作実行
部とで構成することも可能である。この音声対話装置に
あって,対話手順記憶部は,各対話状態における認識対
象語彙,システム応答と,システム応答に想定される答
え及びその答えに応じた遷移先対話状態を規定して記憶
する。
順記憶部に記憶された各対話状態に応じた認識対象語彙
を用いて音声認識を行って,複数の認識結果を出力す
る。遷移先対話状態確定動作決定部は,前記音声認識部
からの認識結果と対話手順記憶部の内容により遷移先対
話状態を定め、その遷移先対話状態の仮説が予め定めら
れた所定条件を満たす場合は一つに確定し、所定条件を
満たさない場合は確定を保留する決定をすると共に遷移
先対話状態仮説を出力する。対話動作実行部は、仮説を
一つに確定する場合、遷移先対話状態確定動作決定部か
らの遷移先対話状態仮説の認識結果を確認するシステム
応答を出力し、確定を保留する場合は、遷移先対話状態
仮説のシステム応答を出力する。
は,利用者が音声入力を行うと,音声認識部は対話手順
記憶部に記憶された認識対象語彙V1を用いて音声認識処
理を行い認識結果を出力する。例えば利用者が「佐賀で
す」と入力した場合,認識結果として「滋賀(0.88),佐
賀(0.87),香川(0.73),神奈川(0.52),鹿児島(0.50)」
の5つの候補を出力する。括弧内の数値は予め定められ
た所定条件としての各認識候補に対するスコアであり1
に近いほど良いスコアを表す。
確定動作決定部は現在の対話状態S1に規定された遷移テ
ーブル T1 を参照して,前述の5つの認識結果に対する
遷移先対話状態の仮説として 5つの対話状態 S15, S16,
S17, S18, S19 を得,フラグをたてる。次に,予め定
められた所定条件が認識結果のスコアであるとすると,
一位の認識結果「滋賀」のスコアが 0.88 で所定条件の
閾値以上であるため確定を保留すると決定する。
移先対話状態仮説から認識結果のスコアに基づいて暫定
的な遷移先対話状態仮説を一つ選択する。例えば,前述
の5つの遷移先対話状態仮説 S15, S16, S17, S18, S19
に対しては,スコアの最も良い「滋賀」に対する遷移先
対話状態仮説S16を選択し,対話動作実行部へ出力す
る。
のシステム応答R16「市名をどうぞ」を利用者に出力す
る。
「市名をどうぞ」に対して,利用者が「伊万里市です」
と入力した場合,音声認識部は対話手順記憶部の認識対
象語彙V15,V16,V17,V18,V19を用いて音声認識処理を行
い,認識結果として「伊万里(0.91),出水(0.76),伊勢
原(0.30),八日市(0.11),平塚(0.09)」を出力する。
対話状態仮説 S15, S16, S17, S18,S19 に規定された遷
移テーブル T15, T16, T17, T18, T19 を参照して,認
識結果に対する遷移先対話状態の仮説として5つの対話
状態 S152, S153, S163,S182,S192 を得る。
仮説であるS163 に対する認識結果「八日市」のスコア
は0.11で所定条件の閾値以下のため,遷移先対話状態確
定動作決定部は遷移先対話状態の確定を行うと決定す
る。
識結果から順に利用者に確認を行い遷移先対話状態を確
定する。遷移先対話状態仮説 S152, S153, S163, S182,
S192 が入力された場合には,利用者にまず「伊万里市
ですか」と確認を行い,利用者がこれに対して「はい」
と応答することにより遷移先対話状態が S182 に確定す
る。
実行部はシステム応答 R182「町名をどうぞ」を利用者
に出力するとともに,対話状態 S182 に規定された認識
対象語彙 V182 を音声認識部に出力し対話を継続する。
以上のように,遷移先対話状態確定動作決定部が遷移先
対話状態の仮説を一つに確定するまで、動作を繰り返
す。
の形態1とは遷移先対話状態確定動作決定部の動作が異
なるものであり、他は上述の実施の形態1と同様であ
る。以下,図1の対話手順記憶部と遷移先対話状態確定
動作決定部の動作について説明する。
保持された対話状態の一例である。図6の対話状態 S18
231,S18241, S18251, S18281 に規定された語彙 V1823
1, V18241, V18251, V18281の規模は大きく,他の対話
状態の認識対象語彙と同時に音声認識処理を行うことが
望ましくなくいため,これらの対話状態に遷移する前に
対話状態の確定動作を行う必要があるという条件が規定
されている。
話を開始した後,実施の形態1と同様に対話を行い,現
在の対話状態が S182 である場合を例に説明する。
「町名をどうぞ」に対して,利用者が「黒川です」と入
力した場合,音声認識部は認識対象語彙 V182 を用いて
音声認識処理を行い,認識結果として「黒川(0.95),大
川(0.88),大川内(0.70),大坪(0.11),立花(0.03)」を
出力する。
ブル T182 を参照して遷移先対話状態仮説 S1825, S182
2, S1823, S1824, S1828 を得る。次に,一位の認識結
果「黒川」のスコアが閾値以上であるため,遷移先対話
状態の確定動作の保留を決定して遷移先対話状態仮説を
暫定遷移先対話状態決定部に出力する。
も良い「黒川」に対する遷移先対話状態仮説 S1825 を
選択して対話動作実行部へ出力するとともに,すべての
遷移先対話状態仮説を対話状態遷移記憶部に書き加え
る。これらの処理後,対話状態遷移記憶部は図7に示す
ものとなる。
1825 が入力されると,対話動作実行部はシステム応答
R1825「業種をどうぞ」を利用者に出力するとともに,
対話状態 S1825 に規定された認識対象語彙 V1825 と,
対話状態遷移記憶部に記憶された4つの遷移先対話状態
仮説に規定された認識対象語彙 V1822, V1823, V1824,V
1828 を音声認識部に出力する。
利用者が「旅館です」と入力した場合,音声認識部は認
識対象語彙 V1825, V1822, V1823, V1824, V1828 を用
いて音声認識処理を行い,認識結果として「旅館(0.9
5),理容(0.62),旅行業(0.51),リュウマチ科(0.27),
療養所(0.10),猟銃(0.02)」を出力する。
ブル T1825, T1822, T1823, T1824,T1828 を参照して,
認識結果に対する遷移先対話状態の仮説として9つの対
話状態 S18231, S18232, S18241, S18242, S18243, S18
251, S18252, S18281, S18282 を得る。スコアの最もよ
い認識結果「旅館」のスコアは0.95で閾値以上である
が,「旅館」に対する遷移先対話状態仮説 S18231, S18
241, S18251, S18281 はすべて予め確定動作を行う必要
がある対話状態のため,遷移先対話状態確定動作決定部
は遷移先対話状態の確定を行うと決定し,遷移先対話状
態仮説を遷移先対話状態確定部に出力する。
旅館ですか」と確認を行い,利用者がこれに対して「は
い」と応答することにより遷移先対話状態がS18231,S18
241,S18251, S18281 に確定されるため,対話状態遷移
記憶部に記憶された遷移先対話状態仮説 S1822を削除す
る。さらに,遷移対話状態仮説 S1823,S1824, S1825,S1
828 が存在するため,遷移先対話状態確定部は利用者に
町名を確認することにより仮説の確定を行う。まず,最
もスコアの良い対話状態S1825 に対する認識結果につい
て「町名は黒川ですか」と利用者に確認する。この確認
に対し利用者が「はい」と応答し対話状態S182が確定す
る。これにより最終的な遷移先対話状態は S18251 に決
定される。
作実行部は認識対象語彙 V18251 を音声認識部に出力
し,システム応答R18251「旅館の名前は何ですか」を利
用者に出力して対話を継続する。
彙が大きいため他の対話状態の認識対象語彙と同時に音
声認識処理を行うことが望ましくなく,該対話状態に遷
移する直前に予め確定動作を行う必要がある対話状態に
対して,遷移先対話状態確定動作決定部が確定動作実行
を決定し,遷移先対話状態決定部が遷移先対話状態を確
定するため,認識対象語彙を限定でき認識率が向上す
る。
の形態1とは遷移先対話状態確定動作決定部の動作が異
なるものであり、他は上述の実施の形態1と同様であ
る。以下,図1の遷移先対話状態確定動作決定部の動作
について,対話手順記憶部に記憶された対話状態が図
8,電話番号データベースが図9,音声認識部が出力す
る認識結果の個数Nが3 の場合を例に説明する。
部がシステム応答R1「どこの電話番号をお調べですか」
を利用者に出力し,認識対象語彙V1を音声認識部に出力
することにより対話を開始する。
認識対象語彙V1を用いて音声認識処理を行い認識結果と
スコアを出力する。例えば利用者が「甘太郎です」と入
力した場合,認識結果として「アマタ(0.88),甘太郎
(0.87),天城(0.73)」の3つの候補を出力する。
確定動作決定部は遷移テーブル T1を参照して,遷移先
対話状態仮説として S2, S3, S4 を得る。次に,音声認
識部からの認識結果を確定することにより未入力項目に
対する項目値が一意に定まるか否かを検査する。本実施
の形態においては利用者の入力項目は,都道府県名,市
区町村名,業種,対象名である。現時点では対象名のみ
が入力された状態であり,図9の電話番号データベース
を参照することにより,認識結果として得られた対象名
のみから未入力項目が一意に定まるか否かを検査すれば
よい。認識候補「アマタ」に対しては,データ番号 5,
6 の二つのデータが存在するが,未入力項目である県名
は認識結果を確定しただけでは一意には定まらない。他
の認識結果「甘太郎」「天城」についても同様であり,
すべての認識候補に対して未入力項目が一意には定まら
ないため,遷移先対話状態の確定を保留すると決定し,
3つの遷移先対話状態仮説を暫定遷移先対話状態決定部
に出力する。
アの最も良い「アマタ」に対する遷移先対話状態仮説S3
を選択して対話動作実行部へ出力する。さらに,すべて
の遷移先対話状態仮説を対話状態遷移記憶部に書き加え
る。
が入力されると,対話動作実行部はシステム応答R3「何
県でしょうか」を利用者に出力するとともに,対話状態
S3に規定された認識対象語彙V3と,対話状態遷移記憶部
に記憶された2つの遷移先対話状態仮説 S2, S4 に規定
された認識対象語彙 V2, V4 を音声認識部に出力する。
「何県でしょうか」に対して,利用者が「神奈川県で
す」と入力した場合,音声認識部は認識対象語彙 V2, V
3, V4 を用いて音声認識処理を行い,認識結果として
「神奈川(0.95),香川(0.72),佐賀(0.41)」を出力す
る。
ーブル T2, T3, T4 を参照して,認識結果に対する遷移
先対話状態の仮説として9つの対話状態 S22, S23, S24,
S32,S33, S34, S42, S43, S44 を得る。次に,音声認識
部からの認識結果を確定することにより未入力項目に対
する項目値が一意に定まるか否かを検査する。現時点で
は対象名と県名が入力された状態であり,図9の電話番
号データベースを参照すると,名称「アマタ」,県名
「神奈川」であるデータはデータ番号 5, 6 の二つであ
るが,県名を確定しただけでは未入力項目である市名は
一意に確定しない。同様に,名称が「甘太郎」,県名が
「神奈川」のデータ 1,2, 3も市名が一意に確定しない
ため,遷移先対話状態の確定を保留すると決定し,9つ
の遷移先対話状態仮説を暫定遷移先対話状態決定部に出
力する。
状態 S2 からスコアの最も良い「神奈川」に対する遷移
先対話状態仮説 S32 を選択して対話動作実行部へ出力
する。さらに,すべての9つの遷移先対話状態仮説を対
話状態遷移記憶部に書き加える。
2が入力されると,対話動作実行部はシステム応答R32
「何市ですか」を利用者に出力するとともに,対話状態
S32に規定された認識対象語彙V32と,対話状態遷移記憶
部に記憶された8つの遷移先対話状態仮説 S22, S42, S2
3, S33, S43, S24, S34, S44 に規定された認識対象語
彙 V22, V42, V23, V33, V43, V24, V34, V44 を音声認
識部に出力する。
「何市ですか」に対して,利用者が「鎌倉市です」と入
力した場合,音声認識部は認識対象語彙 V22, V32, V4
2, V23,V33, V43, V24, V34, V44 を用いて音声認識処
理を行い,認識結果として「鎌倉(0.87),川崎(0.66),
唐津(0.28)」を出力する。
ーブル T22, T32, T42, T23, T33,T43, T24, T34, T44
を参照して,認識結果に対する遷移先対話状態の仮説と
して9つの対話状態 S222, S223, S322, S323, S422, S4
23, S243, S343, S443 を得る。次に,音声認識部から
の認識結果を確定することにより未入力項目に対する項
目値が一意に定まるか否かを検査する。現時点では対象
名,県名,市名が入力された状態であり,図9の電話番
号データベースを参照すると,名称「アマタ」,県名
「神奈川」,市名「鎌倉」というデータは存在しない。
市名「鎌倉」に対しては,データ番号 1のデータが存在
し,市名を確定することにより,未入力項目である町
名,業種が一意に確定する。したがって,遷移先対話状
態の確定を行うと決定し,遷移先対話状態仮説 S222, S
223, S322, S323, S422, S423, S243, S343, S443 を遷
移先対話状態確定部に出力する。
の仮説が入力されると,最もスコアの良い認識結果であ
る「鎌倉」を確認することで遷移先対話状態を S223 に
確定し,対話動作実行部に対話状態S223を出力する。
れると,対話状態遷移記憶部に記憶された対話遷移系列
と,図の電話番号データベースから,全入力項目に対す
る項目値が,名称「甘太郎」,県名「神奈川」,市名
「鎌倉」,町名「大船」,業種「居酒屋」と決定し,電
話番号「0467-00-0000」が一意に定まるため,該電話番
号を利用者に応答する。
対話状態遷移の仮説を複数保持し,利用者からの入力項
目がすべて入力されていなくても,認識結果を確定する
ことにより未入力項目に対する項目値が一意に定まる場
合に遷移先対話状態を一つに確定するため,一発話毎に
利用者へ確認を行なって確定的に対話を進めなくても認
識率を向上でき,さらに確認対話の回数が減るため利用
者と装置との自然な対話が実現でき利用者の利便性が向
上する。
形態1とは遷移先対話状態確定動作決定部の動作が異な
るものであり、他は上述の実施の形態1と同様である。
以下,図1の遷移先対話状態確定動作決定部の動作につ
いて,対話手順記憶部に図10の対話状態が保持されて
いる場合を例に説明する。
部がシステム応答R1「都道府県名をどうぞ」を利用者に
出力し,認識対象語彙V1を音声認識部に出力することに
より対話を開始する。
認識対象語彙V1を用いて音声認識処理を行い認識結果と
スコアを出力する。例えば利用者が「佐賀です」と入力
した場合,認識結果として「佐賀(0.92),滋賀(0.80),
香川(0.73),神奈川(0.52),鹿児島(0.50)」の5つの候
補を出力する。
確定動作決定部は現在の対話状態S1に規定された遷移テ
ーブルT1を参照して,前述の5つの認識結果に対する遷
移先対話状態の仮説として5つの対話状態 S15, S16, S1
7, S18, S19 を得る。次に,一位の認識結果「佐賀」の
スコアが0.92で閾値以上であるため確定を保留すると決
定し,共通のシステム応答を持つ5つの遷移先対話状態
仮説すべてを暫定遷移先対話状態決定部に出力する。
も良い「佐賀」に対する遷移先対話状態仮説 S18 を選
択し対話動作実行部へ出力し,すべての遷移先対話状態
仮説を対話状態遷移記憶部に書き加える。
18 が入力されると,対話動作実行部はシステム応答 R1
8 「市名をどうぞ」を利用者に出力するとともに,認識
対象語彙 V18と,対話状態遷移記憶部に記憶された4つ
の遷移先対話状態仮説 S15,S16, S17, S19 に規定され
た認識対象語彙 V15, V16, V17, V19 を音声認識部に出
力する。
「市名をどうぞ」に対して,利用者が「伊万里市です」
と入力した場合,音声認識部は認識対象語彙 V15, V16,
V17, V18, V19 を用いて音声認識処理を行い,認識結果
として「伊万里(0.91),出水(0.76),伊勢原(0.30),八
日市(0.11),平塚(0.09)」を出力する。
ーブル T15, T16, T17, T18, T19を参照して,認識結果
に対する遷移先対話状態の仮説として5つの対話状態 S1
52, S153, S163, S182, S192 を得る。スコアの最も良
い認識結果「伊万里」のスコアは閾値以上であるが,遷
移先対話状態仮説 S152, S153, S163, S182,S192に共通
のシステム応答が存在しないため,遷移先対話状態確定
動作決定部は遷移先対話状態の確定を行うと決定し,遷
移先対話状態仮説 S152, S153, S163, S182, S192 を遷
移先対話状態確定部に出力する。
動作し,遷移先対話状態を S182に確定して対話動作実
行部に出力する。遷移先対話状態 S182 が入力される
と,対話動作実行部も実施例1と同様に動作して利用者
との対話を継続する。
利用者の入力に対する対話状態遷移の仮説を複数保持
し,遷移先対話状態確定動作決定部が,遷移先対話状態
仮説に共通のシステム発話が存在しなくなった場合に遷
移先対話状態を一つに確定するため,一発話毎に利用者
へ確認を行なって確定的に対話を進めなくても認識率を
向上でき,さらに確認対話の回数が減るため利用者と装
置との自然な対話が実現でき利用者の利便性が向上す
る。
の形態1とは遷移先対話状態確定動作決定部の動作が異
なるものであり、他は上述の実施の形態1と同様であ
る。以下,図1の遷移先対話状態確定動作決定部の動作
を,対話手順記憶部に図11の対話状態が保持されてい
る場合を例に説明する。図11に示した例では,対話状
態 S152 において複数のシステム応答 R152-1「伊勢原
市の何町ですか」とR152-2「町名をどうぞ」が規定され
ている。
態S1から対話を開始し,対話状態 S18 に至り,利用者
がシステム応答 R18 「市名をどうぞ」に対し「伊万里
市です」と応答して音声認識部が認識結果「伊万里(0.9
1),出水(0.76),伊勢原(0.30),八日市(0.11),平塚
(0.09)」を出力した場合について説明する。
ーブル T15, T16, T17, T18, T19を参照して,実施の形
態4と同様に認識結果に対する遷移先対話状態の仮説と
して5つの対話状態 S152, S153, S163, S182, S192 を
得る。スコアの最も良い認識結果「伊万里」のスコアは
閾値以上であり,かつ遷移先対話状態仮説 S152,S153,
S163, S182, S192 に共通のシステム応答「町名をどう
ぞ」が存在するため,遷移先対話状態確定動作決定部は
遷移先対話状態の確定を保留すると決定し,遷移先対話
状態仮説 S152, S153, S163, S182, S192 を暫定遷移先
対話状態決定部に出力する。
態仮説 S152, S153, S163, S182,S192 が入力される
と,最もスコアのよい認識結果「伊万里」に対する対話
状態S182 を暫定遷移先対話状態と決定して対話動作実
行部に出力する。
れると,対話状態 S182 に規定された複数のシステム応
答のなかから,遷移先対話状態仮説 S152, S153, S163,
S192に規定されたシステム応答と共通の R182-2「町名
をどうぞ」をシステム応答として出力して対話を継続す
る。
態S1から対話を開始し,対話状態 S16 に至り,システ
ム応答 R16「市名をどうぞ」に対し利用者が「伊万里市
です」と応答したため,遷移先対話状態決定部が利用者
に確認を行い,遷移先対話状態を S182 に決定した場合
について説明する。
実行部は対話状態 S182 に規定されたシステム応答 R18
2-1「伊万里市の何町ですか」およびR182-2「町名をど
うぞ」のうち,例えば,最初に定義されている R182-1
をシステム応答として出力し対話を継続する。
された各対話状態に複数のシステム応答を記述すること
で,遷移先対話状態仮説に共通のシステム発話が存在す
る場合は,遷移先対話状態確定動作決定部は確認による
確定動作を行わず,各遷移先対話状態仮説に共通のシス
テム発話を出力して対話を継続し,一方,遷移先対話状
態確定部で遷移先対話状態が確定した場合には,確定し
た対話状態に固有のシステム応答を行えるため,一発話
毎に利用者へ確認を行なって確定的に対話を進めなくて
も認識率を向上でき,さらに対話状態遷移に応じた自然
な応答を行えるため,利用者と装置との自然な対話が実
現でき利用者の利便性が向上する。
の形態1とは遷移先対話状態確定動作決定部の動作が異
なるものであり、他は上述の実施の形態1と同様であ
る。以下,図1の遷移先対話状態確定動作決定部の動作
について,対話手順記憶部に図2,5の対話状態が保持
されている場合を例に,遷移先対話状態確定動作決定部
で確定動作決定に用いる語彙規模の閾値が 300の場合に
ついて説明する。
行部がシステム応答 R1 「都道府県名をどうぞ」を利用
者に出力し,認識対象語彙 V1 を音声認識部に出力する
ことにより対話を開始する。
認識対象語彙V1を用いて音声認識処理を行い認識結果と
スコアを出力する。例えば利用者が「佐賀です」と入力
した場合,認識結果として「佐賀(0.92),滋賀(0.80),
香川(0.73),神奈川(0.52),鹿児島(0.50)」の5つの候
補を出力する。
確定動作決定部は現在の対話状態S1に規定された遷移テ
ーブルT1を参照して,前述の5つの認識結果に対する遷
移先対話状態の仮説として5つの対話状態 S15, S16, S1
7, S18, S19 を得る。次に,遷移先対話状態仮説の全て
の認識対象語彙 V15, V16, V17, V18, V19 を合計した
語彙を求める。V15, V16, V17, V18, V19 はそれぞれ,
神奈川県の市名,滋賀県の市名,香川県の市名,佐賀県
の市名,鹿児島県の市名のため,合計の語彙はこれら5
県のすべての市名であり,これらの異なる5県で同一の
市名は存在しないため,その語彙の規模は 52である。
先対話状態確定動作決定部は遷移先対話状態仮説の確定
を保留すると決定し,共通のシステム応答を持つ5つの
遷移先対話状態仮説すべてを暫定遷移先対話状態決定部
に出力する。
も良い「佐賀」に対する遷移先対話状態仮説 S18 を選
択し対話動作実行部へ出力し,すべての遷移先対話状態
仮説を対話状態遷移記憶部に書き加える。
18 が入力されると,対話動作実行部はシステム応答 R1
8 「市名をどうぞ」を利用者に出力するとともに,認識
対象語彙 V18 と,対話状態遷移記憶部に記憶された4つ
の遷移先対話状態仮説 S15, S16, S17, S19 に規定され
た認識対象語彙 V15, V16, V17, V19 を音声認識部に出
力する。
「市名をどうぞ」に対して,利用者が「伊万里市です」
と入力した場合,音声認識部は認識対象語彙 V15, V16,
V17, V18, V19 を用いて音声認識処理を行い,認識結果
として「伊万里(0.91),出水(0.76),伊勢原(0.30),八
日市(0.11),平塚(0.09)」を出力する。
ーブル T15, T16, T17, T18, T19を参照して,認識結果
に対する遷移先対話状態の仮説として5つの対話状態 S1
52, S153, S163, S182, S192 を得る。次に,遷移先対
話状態仮説の全ての認識対象語彙 V152, V153, V163, V
182, V192 を合計した語彙を求める。V152,V153, V163,
V182, V192 はそれぞれ,神奈川県伊勢原市の町名,神
奈川県平塚市の町名,滋賀県八日市市の町名,佐賀県伊
万里市の町名,鹿児島県出水市の町名のため,合計の語
彙はこれら5市のすべての町名である。その総数は 332
であるが,これら異なる5市に同一の町名が存在するた
め異なり語数は 327 である。
先対話状態確定動作決定部は遷移先対話状態の確定を行
うと決定し,遷移先対話状態仮説 S152, S153, S163, S
182,S192 を遷移先対話状態確定部に出力する。
動作し,遷移先対話状態を S182に確定して対話動作実
行部に出力する。遷移先対話状態 S182 が入力される
と,対話動作実行部も実施例1と同様に動作して利用者
との対話を継続する。
規定された認識対象語彙の規模が大きく,認識率が低下
する恐れがある場合に遷移先対話状態確定動作決定部が
確定動作実行を決定し,遷移先対話状態決定部が遷移先
対話状態を確定するため,認識対象語彙を限定でき認識
率が向上する。
の形態1とは遷移先対話状態確定動作決定部の動作が異
なるものであり、他は上述の実施の形態1と同様であ
る。以下,図1の遷移先対話状態確定動作決定部の動作
について,対話手順記憶部に図2および図5の対話状態
が保持されており,遷移先対話状態確定動作決定部が確
定動作決定に用いる遷移系列の長さの閾値が 2 である
場合について説明する。
部がシステム応答R1「都道府県名をどうぞ」を利用者に
出力し,認識対象語彙V1を音声認識部に出力することに
より対話を開始する。
認識対象語彙V1を用いて音声認識処理を行い認識結果と
スコアを出力する。例えば利用者が「佐賀です」と入力
した場合,認識結果として「佐賀(0.92),滋賀(0.80),
香川(0.73),神奈川(0.52),鹿児島(0.50)」の5つの候
補を出力する。
確定動作決定部は現在の対話状態S1に規定された遷移テ
ーブルT1を参照して,前述の5つの認識結果に対する遷
移先対話状態の仮説として5つの対話状態 S15, S16, S1
7, S18, S19 を得る。遷移先対話状態確定動作決定部
は,遷移先対話状態仮説の遷移系列の長さを対話状態遷
移記憶部を参照して得る。この時点では対話開始状態 S
1 からの遷移先対話状態仮説は対話状態遷移記憶部には
なにも記憶されていないため,遷移系列の長さは0 であ
り閾値の 2 より小さい。したがって,遷移先対話状態
確定動作決定部は遷移先対話状態の確定を保留すると決
定し,5つの遷移先対話状態仮説すべてを暫定遷移先対
話状態決定部に出力する。
も良い「佐賀」に対する遷移先対話状態仮説 S18 を選
択し対話動作実行部へ出力し,すべての遷移先対話状態
仮説を対話状態遷移記憶部に書き加える。以上の動作の
結果,対話状態遷移記憶部の内容は図12に示すものと
なる。
18 が入力されると,対話動作実行部はシステム応答 R1
8 「市名をどうぞ」を利用者に出力するとともに,認識
対象語彙V18と,対話状態遷移記憶部に記憶された4つの
遷移先対話状態仮説 S15,S16, S17, S19 に規定された
認識対象語彙 V15, V16, V17, V19 を音声認識部に出力
する。
「市名をどうぞ」に対して,利用者が「伊万里市です」
と入力した場合,音声認識部は認識対象語彙 V15, V16,
V17, V18, V19 を用いて音声認識処理を行い,認識結果
として「伊万里(0.91),出水(0.76),伊勢原(0.30),八
日市(0.11),平塚(0.09)」を出力する。
ーブル T15, T16, T17, T18, T19を参照して,認識結果
に対する遷移先対話状態の仮説として5つの対話状態 S1
52, S153, S163, S182, S192 を得る。次に,図12に
示す対話状態遷移記憶部の内容を参照すると,対話開始
状態S1から現在の対話状態 S18 までの遷移系列の長さ
は 1 であり,閾値である 2 より小さい。したがって,
遷移先対話状態確定動作決定部は遷移先対話状態の確定
を保留すると決定し,5つの遷移先対話状態仮説すべて
を暫定遷移先対話状態決定部に出力する。
態仮説 S152, S153, S163, S182,S192 が入力される
と,最もスコアのよい認識結果「伊万里」に対する対話
状態 S182 を暫定遷移先対話状態と決定して対話動作実
行部に出力する。さらに,すべての遷移先対話状態仮説
を対話状態遷移記憶部に書き加え,対話状態遷移記憶部
の内容は図13に示すものとなる。
182 が入力されると,対話動作実行部はシステム応答 R
182 「町名をどうぞ」を利用者に出力するとともに,認
識対象語彙 V182 と,対話状態遷移記憶部に記憶された
4つの遷移先対話状態仮説 S152, S153, S163, S192 に
規定された認識対象語彙 V152, V153, V163, V192 を音
声認識部に出力する。
「町名をどうぞ」に対して,利用者が「黒川です」と入
力した場合,音声認識部は認識対象語彙 V182, V152, V
153,V163, V192 を用いて音声認識処理を行い,認識結
果として「黒川(0.90),広川(0.64),大川(0.42),串橋
(0.13),黒部丘(0.11)」を出力する。
ブル T182 を参照して遷移先対話状態仮説 S1825, S182
2, S1823, S1824, S1828 を得る。次に,図13に示す
対話状態遷移記憶部の内容を参照すると,対話開始対話
状態 S1 から現在の対話状態S182 までの遷移系列の長
さは 2 であり閾値と等しい。したがって,遷移先対話
状態確定動作決定部は遷移先対話状態の確定を行うと決
定し,5つの遷移先対話状態仮説を遷移先対話状態確定
部に出力する。
説 S1825, S1822, S1823, S1824,S1828 が入力される
と,最もスコアのよい「黒川」を利用者に確認すること
で遷移先対話状態を S1825 に確定し,対話動作実行部
に出力する。
力されると,認識対象語彙 V1825 を音声認識部に出力
し,システム応答 R1825 「業種をどうぞ」を利用者に
出力して対話を継続する。
利用者の入力に対する対話状態遷移の仮説を複数保持
し,遷移先対話状態確定動作決定部が,最も最近に確定
した対話状態からの対話状態遷移仮説系列の長さが閾値
以上になった場合に遷移先対話状態を一つに確定するた
め,一発話毎に利用者へ確認を行なって確定的に対話を
進めなくても認識率を向上でき,さらに確認対話の回数
が減るため利用者と装置との自然な対話が実現でき利用
者の利便性が向上する。
対話状態確定動作決定部が,現在選択している仮説が所
定の条件を満たすときに遷移先対話状態を一つに確定す
るため,一発話毎に利用者へ確認を行なって確定的に対
話を進めなくても認識率を向上でき,さらに確認対話の
回数が減るため利用者と装置との自然な対話が実現でき
利用者の利便性が向上する。
憶部が利用者の入力に対する対話状態遷移の仮説を複数
保持し,遷移先対話状態確定動作決定部が,現在選択し
ている仮説に対する認識スコアが閾値より悪くなったと
きに遷移先対話状態を一つに確定するため,一発話毎に
利用者へ確認を行なって確定的に対話を進めなくても認
識率を向上でき,さらに確認対話の回数が減るため利用
者と装置との自然な対話が実現でき利用者の利便性が向
上する。
対象語彙が大きいため他の対話状態の認識対象語彙と同
時に音声認識処理を行うことが望ましくなく,該対話状
態に遷移する直前に予め確定動作を行う必要がある対話
状態に対して,遷移先対話状態確定動作決定部が確定動
作実行を決定し,遷移先対話状態決定部が遷移先対話状
態を確定するため,認識対象語彙を限定でき認識率が向
上する。
対する対話状態遷移の仮説を複数保持し,利用者からの
入力項目がすべて入力されていなくても,認識結果を確
定することにより未入力項目に対する項目値が一意に定
まる場合に遷移先対話状態を一つに確定するため,一発
話毎に利用者へ確認を行なって確定的に対話を進めなく
ても認識率を向上でき,さらに確認対話の回数が減るた
め利用者と装置との自然な対話が実現でき利用者の利便
性が向上する。
憶部が利用者の入力に対する対話状態遷移の仮説を複数
保持し,遷移先対話状態確定動作決定部が,遷移先対話
状態仮説に共通のシステム発話が存在しなくなった場合
に遷移先対話状態を一つに確定するため,一発話毎に利
用者へ確認を行なって確定的に対話を進めなくても認識
率を向上でき,さらに確認対話の回数が減るため利用者
と装置との自然な対話が実現でき利用者の利便性が向上
する。
に記憶された各対話状態に複数のシステム応答を記述す
ることで,遷移先対話状態仮説に共通のシステム発話が
存在する場合は,遷移先対話状態確定動作決定部は確認
による確定動作を行わず,各遷移先対話状態仮説に共通
のシステム発話を出力して対話を継続し,一方,遷移先
対話状態確定部で遷移先対話状態が確定した場合には,
確定した対話状態に固有のシステム応答を行えるため,
一発話毎に利用者へ確認を行なって確定的に対話を進め
なくても認識率を向上でき,さらに対話状態遷移に応じ
た自然な応答を行えるため,利用者と装置との自然な対
話が実現でき利用者の利便性が向上する。
仮説に規定された認識対象語彙の規模が大きく,認識率
が低下する恐れがある場合に遷移先対話状態確定動作決
定部が確定動作実行を決定し,遷移先対話状態決定部が
遷移先対話状態を確定するため,認識対象語彙を限定で
き認識率が向上する。
憶部が利用者の入力に対する対話状態遷移の仮説を複数
保持し,遷移先対話状態確定動作決定部が,最も最近に
確定した対話状態からの対話状態遷移仮説系列の長さが
閾値以上になった場合に遷移先対話状態を一つに確定す
るため,一発話毎に利用者へ確認を行なって確定的に対
話を進めなくても認識率を向上でき,さらに確認対話の
回数が減るため利用者と装置との自然な対話が実現でき
利用者の利便性が向上する。
の構成図。
された対話状態の一例を示す説明図。
対話状態遷移記憶部に書き加えた結果の説明図。
定結果の対話状態遷移記憶部の説明図。
された対話状態の一例を示す説明図。
された対話状態の一例を示す説明図。
対話状態遷移記憶部に書き加えた結果の説明図。
された対話状態の説明図。
の説明図。
憶された対話状態の説明図。
憶された対話状態の説明図。
を対話状態遷移記憶部に書き加えた結果の説明図。
の対話開始対話状態から現対話状態までの遷移系列の説
明図。
記憶部,4:遷移先対話状態確定動作決定部,5:遷移先
対話状態確定部,6:暫定遷移先対話状態決定部,7:対
話動作実行部。
Claims (10)
- 【請求項1】 音声認識部と,対話手順記憶部と,遷移
先対話状態確定動作決定部と,対話動作実行部とを備
え,音声での対話により,利用者が必要とする情報を得
る音声対話装置であって,対話手順記憶部は,各対話状
態における認識対象語彙,システム応答と,システム応
答に想定される答え及びその答えに応じた遷移先対話状
態を規定して記憶し,音声認識部は,入力音声に対し
て,対話手順記憶部に記憶された各対話状態に応じた認
識対象語彙を用いて音声認識を行って,複数の認識結果
を出力し,遷移先対話状態確定動作決定部は,前記音声
認識部からの認識結果と対話手順記憶部の内容により遷
移先対話状態を定め、その遷移先対話状態の仮説が予め
定められた所定条件を満たす場合は一つに確定し、所定
条件を満たさない場合は確定を保留する決定をすると共
に遷移先対話状態仮説を出力し,対話動作実行部は、仮
説を一つに確定する場合、遷移先対話状態確定動作決定
部からの遷移先対話状態仮説の認識結果を確認するシス
テム応答を出力し、確定を保留する場合は、遷移先対話
状態仮説のシステム応答を出力することを特徴とする音
声対話装置。 - 【請求項2】 対話状態遷移記憶部と,遷移先対話状態
確定部と,暫定遷移先対話状態決定部とを付加し、 遷移先対話状態確定動作決定部は,音声認識部からの認
識結果と対話状態遷移記憶部又は対話手順記憶部の内容
とから定まる遷移先対話状態の仮説を一つに確定する
か、確定を保留するかを決定し,遷移先対話状態仮説を
出力し,遷移先対話状態確定部は,遷移先対話状態確定
動作決定部からの遷移先対話状態仮説を一つに確定する
場合にその遷移先対話状態仮説を入力とし,利用者に認
識結果を確認することにより遷移先対話状態を確定して
出力するとともに,対話状態遷移記憶部に対し,記憶さ
れている遷移先対話状態仮説をを書変え,暫定遷移先対
話状態決定部は,遷移先対話状態確定動作決定部からの
遷移先対話状態仮説を保留する場合にその遷移先対話状
態仮説を入力とし,暫定的な遷移先対話状態を決定して
出力するとともに,対話状態遷移記憶部に対し遷移先対
話状態仮説を書変え,対話状態遷移記憶部は,対話開始
時点からの対話状態遷移履歴と遷移先対話状態確定部又
は,暫定遷移先対話状態決定部からの遷移先対話状態仮
説を記憶し,対話動作実行部は,遷移先対話状態確定部
または暫定遷移先対話状態決定部からの遷移先対話状態
を入力とし,該遷移先対話状態に規定されたシステム応
答を出力するとともに,該遷移先対話状態に規定された
認識対象語彙を前記音声認識部に出力し,音声認識部
は,入力音声に対して,対話動作実行部から入力される
認識対象語彙を用いて音声認識を行い,複数の認識結果
を出力することを特徴とする請求項1記載の音声対話装
置。 - 【請求項3】 音声認識部は,複数の認識結果とその認
識結果のスコアを出力するように構成され、 遷移先対話状態確定動作決定部は,音声認識部からの入
力された認識結果のスコアに応じて確定動作を行うか否
かを決定することを特徴とする請求項1又は2記載の音
声対話装置。 - 【請求項4】 対話手順記憶部に記憶された各対話状態
には,他の対話状態から該対話状態へ状態遷移を行うた
めに予め確定動作を行う必要があるか否かを記述し,遷
移先対話状態確定動作決定部は,音声認識部から入力さ
れる認識結果と対話状態遷移記憶部の内容と対話手順と
から定まる遷移先対話状態の仮説が,予め確定動作を行
う必要があるものの場合に確定動作を行うと決定するこ
とを特徴とする請求項1〜3いずれか記載の音声対話装
置。 - 【請求項5】 遷移先対話状態確定動作決定部は,利用
者からの入力項目がすべて入力されていなくても,音声
認識部からの認識結果を確定することにより未入力項目
に対する項目値が一意に定まる場合に確定動作を行うと
決定することを特徴とする請求項1〜4いずれか記載の
音声対話装置。 - 【請求項6】 遷移先対話状態確定動作決定部は,遷移
先対話状態仮説に規定されたシステム応答に応じて確定
動作を行うか否かを決定することを特徴とする請求項1
〜5いずれか記載の音声対話装置。 - 【請求項7】 遷移先対話状態確定動作決定部は,遷移
先対話状態仮説に共通のシステム応答が存在しない場合
に確定動作を行うと決定し,遷移先対話状態仮説に共通
のシステム応答が存在する場合には,共通のシステム発
話を持つ遷移先対話状態仮説のみを遷移先対話状態仮説
として出力することを特徴とする請求項6記載の音声対
話装置。 - 【請求項8】 対話手順記憶部に記憶された各対話状態
には,複数のシステム応答を記述でき,対話動作実行部
は,暫定遷移先対話状態決定部から遷移先対話状態が入
力された場合,入力された遷移先対話状態に規定された
システム応答のうち,対話状態遷移記憶部に記憶された
遷移先対話状態仮説に規定されたシステム応答と共通の
ものを出力することを特徴とする請求項5または6記載
の音声対話装置。 - 【請求項9】 遷移先対話状態確定動作決定部は,遷移
先対話状態仮説の全ての認識対象語彙を合計した語彙の
規模が予め定めた基準より大きい場合に確定動作を行う
と決定することを特徴とする請求項1〜7いずれか記載
の音声対話装置。 - 【請求項10】 遷移先対話状態確定動作決定部は,対
話状態遷移記憶部を参照して,確定した対話状態から遷
移先対話状態仮説までの遷移系列の長さが予め定めた基
準値以上の場合に確定動作を行うと決定することを特徴
とする請求項1〜8いずれか記載の音声対話装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28931699A JP3941299B2 (ja) | 1999-10-12 | 1999-10-12 | 音声対話装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28931699A JP3941299B2 (ja) | 1999-10-12 | 1999-10-12 | 音声対話装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001109493A true JP2001109493A (ja) | 2001-04-20 |
JP3941299B2 JP3941299B2 (ja) | 2007-07-04 |
Family
ID=17741621
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP28931699A Expired - Fee Related JP3941299B2 (ja) | 1999-10-12 | 1999-10-12 | 音声対話装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3941299B2 (ja) |
Cited By (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006349954A (ja) * | 2005-06-15 | 2006-12-28 | Fujitsu Ltd | 対話システム |
JP2013080476A (ja) * | 2011-09-30 | 2013-05-02 | Apple Inc | バーチャルアシスタントのコマンド処理を容易にするためのコンテクスト情報の使用 |
US9633660B2 (en) | 2010-02-25 | 2017-04-25 | Apple Inc. | User profiling for voice input processing |
US9668024B2 (en) | 2014-06-30 | 2017-05-30 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
US9865248B2 (en) | 2008-04-05 | 2018-01-09 | Apple Inc. | Intelligent text-to-speech conversion |
US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
US9966060B2 (en) | 2013-06-07 | 2018-05-08 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
JP2018072784A (ja) * | 2016-11-06 | 2018-05-10 | ナレルシステム株式会社 | 音声認識方法、コンピュータプログラム及び装置 |
US9971774B2 (en) | 2012-09-19 | 2018-05-15 | Apple Inc. | Voice-based media searching |
US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
US9986419B2 (en) | 2014-09-30 | 2018-05-29 | Apple Inc. | Social reminders |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
US10079014B2 (en) | 2012-06-08 | 2018-09-18 | Apple Inc. | Name recognition system |
US10089072B2 (en) | 2016-06-11 | 2018-10-02 | Apple Inc. | Intelligent device arbitration and control |
US10169329B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Exemplar-based natural language processing |
US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
US10269345B2 (en) | 2016-06-11 | 2019-04-23 | Apple Inc. | Intelligent task discovery |
US10283110B2 (en) | 2009-07-02 | 2019-05-07 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
US10297253B2 (en) | 2016-06-11 | 2019-05-21 | Apple Inc. | Application integration with a digital assistant |
US10318871B2 (en) | 2005-09-08 | 2019-06-11 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US10356243B2 (en) | 2015-06-05 | 2019-07-16 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US10354011B2 (en) | 2016-06-09 | 2019-07-16 | Apple Inc. | Intelligent automated assistant in a home environment |
US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
US10410637B2 (en) | 2017-05-12 | 2019-09-10 | Apple Inc. | User-specific acoustic models |
US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
US10482874B2 (en) | 2017-05-15 | 2019-11-19 | Apple Inc. | Hierarchical belief states for digital assistants |
US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
US10521466B2 (en) | 2016-06-11 | 2019-12-31 | Apple Inc. | Data driven natural language event detection and classification |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10706841B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Task flow identification based on user intent |
US10733993B2 (en) | 2016-06-10 | 2020-08-04 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10755703B2 (en) | 2017-05-11 | 2020-08-25 | Apple Inc. | Offline personal assistant |
US10791176B2 (en) | 2017-05-12 | 2020-09-29 | Apple Inc. | Synchronization and task delegation of a digital assistant |
US10795541B2 (en) | 2009-06-05 | 2020-10-06 | Apple Inc. | Intelligent organization of tasks items |
US10810274B2 (en) | 2017-05-15 | 2020-10-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
US11217255B2 (en) | 2017-05-16 | 2022-01-04 | Apple Inc. | Far-field extension for digital assistant services |
US11831799B2 (en) | 2019-08-09 | 2023-11-28 | Apple Inc. | Propagating context information in a privacy preserving manner |
-
1999
- 1999-10-12 JP JP28931699A patent/JP3941299B2/ja not_active Expired - Fee Related
Cited By (64)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4680691B2 (ja) * | 2005-06-15 | 2011-05-11 | 富士通株式会社 | 対話システム |
JP2006349954A (ja) * | 2005-06-15 | 2006-12-28 | Fujitsu Ltd | 対話システム |
US10318871B2 (en) | 2005-09-08 | 2019-06-11 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US9865248B2 (en) | 2008-04-05 | 2018-01-09 | Apple Inc. | Intelligent text-to-speech conversion |
US10795541B2 (en) | 2009-06-05 | 2020-10-06 | Apple Inc. | Intelligent organization of tasks items |
US11080012B2 (en) | 2009-06-05 | 2021-08-03 | Apple Inc. | Interface for a virtual digital assistant |
US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
US10475446B2 (en) | 2009-06-05 | 2019-11-12 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
US10283110B2 (en) | 2009-07-02 | 2019-05-07 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
US10706841B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Task flow identification based on user intent |
US11423886B2 (en) | 2010-01-18 | 2022-08-23 | Apple Inc. | Task flow identification based on user intent |
US9633660B2 (en) | 2010-02-25 | 2017-04-25 | Apple Inc. | User profiling for voice input processing |
US10049675B2 (en) | 2010-02-25 | 2018-08-14 | Apple Inc. | User profiling for voice input processing |
JP2015122104A (ja) * | 2011-09-30 | 2015-07-02 | アップル インコーポレイテッド | バーチャルアシスタントのコマンド処理を容易にするためのコンテクスト情報の使用 |
US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
JP2013080476A (ja) * | 2011-09-30 | 2013-05-02 | Apple Inc | バーチャルアシスタントのコマンド処理を容易にするためのコンテクスト情報の使用 |
US10079014B2 (en) | 2012-06-08 | 2018-09-18 | Apple Inc. | Name recognition system |
US9971774B2 (en) | 2012-09-19 | 2018-05-15 | Apple Inc. | Voice-based media searching |
US9966060B2 (en) | 2013-06-07 | 2018-05-08 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
US10169329B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Exemplar-based natural language processing |
US10904611B2 (en) | 2014-06-30 | 2021-01-26 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US9668024B2 (en) | 2014-06-30 | 2017-05-30 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US9986419B2 (en) | 2014-09-30 | 2018-05-29 | Apple Inc. | Social reminders |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
US10356243B2 (en) | 2015-06-05 | 2019-07-16 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US11500672B2 (en) | 2015-09-08 | 2022-11-15 | Apple Inc. | Distributed personal assistant |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
US11526368B2 (en) | 2015-11-06 | 2022-12-13 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
US11069347B2 (en) | 2016-06-08 | 2021-07-20 | Apple Inc. | Intelligent automated assistant for media exploration |
US10354011B2 (en) | 2016-06-09 | 2019-07-16 | Apple Inc. | Intelligent automated assistant in a home environment |
US11037565B2 (en) | 2016-06-10 | 2021-06-15 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
US10733993B2 (en) | 2016-06-10 | 2020-08-04 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
US10089072B2 (en) | 2016-06-11 | 2018-10-02 | Apple Inc. | Intelligent device arbitration and control |
US10297253B2 (en) | 2016-06-11 | 2019-05-21 | Apple Inc. | Application integration with a digital assistant |
US11152002B2 (en) | 2016-06-11 | 2021-10-19 | Apple Inc. | Application integration with a digital assistant |
US10521466B2 (en) | 2016-06-11 | 2019-12-31 | Apple Inc. | Data driven natural language event detection and classification |
US10269345B2 (en) | 2016-06-11 | 2019-04-23 | Apple Inc. | Intelligent task discovery |
US10553215B2 (en) | 2016-09-23 | 2020-02-04 | Apple Inc. | Intelligent automated assistant |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
JP2018072784A (ja) * | 2016-11-06 | 2018-05-10 | ナレルシステム株式会社 | 音声認識方法、コンピュータプログラム及び装置 |
US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
US10755703B2 (en) | 2017-05-11 | 2020-08-25 | Apple Inc. | Offline personal assistant |
US10410637B2 (en) | 2017-05-12 | 2019-09-10 | Apple Inc. | User-specific acoustic models |
US10791176B2 (en) | 2017-05-12 | 2020-09-29 | Apple Inc. | Synchronization and task delegation of a digital assistant |
US11405466B2 (en) | 2017-05-12 | 2022-08-02 | Apple Inc. | Synchronization and task delegation of a digital assistant |
US10810274B2 (en) | 2017-05-15 | 2020-10-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
US10482874B2 (en) | 2017-05-15 | 2019-11-19 | Apple Inc. | Hierarchical belief states for digital assistants |
US11217255B2 (en) | 2017-05-16 | 2022-01-04 | Apple Inc. | Far-field extension for digital assistant services |
US11831799B2 (en) | 2019-08-09 | 2023-11-28 | Apple Inc. | Propagating context information in a privacy preserving manner |
Also Published As
Publication number | Publication date |
---|---|
JP3941299B2 (ja) | 2007-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2001109493A (ja) | 音声対話装置 | |
EP1162602B1 (en) | Two pass speech recognition with active vocabulary restriction | |
WO2015075975A1 (ja) | 対話制御装置及び対話制御方法 | |
US7043420B2 (en) | Trainable dynamic phrase reordering for natural language generation in conversational systems | |
JP2008203559A (ja) | 対話装置及び方法 | |
US20030125948A1 (en) | System and method for speech recognition by multi-pass recognition using context specific grammars | |
JP2000122691A (ja) | 綴り字読み式音声発話の自動認識方法 | |
EP1696422A2 (en) | Method for converting phonemes to written text and corresponding computer system and computer program | |
JP2001005488A (ja) | 音声対話システム | |
JP4680691B2 (ja) | 対話システム | |
EP2904607A1 (en) | Mapping an audio utterance to an action using a classifier | |
JPH06332493A (ja) | 音声対話型情報検索装置及び方法 | |
CN113113024B (zh) | 语音识别方法、装置、电子设备和存储介质 | |
CN112084791A (zh) | 一种对话过程意图提取及说法提示方法、系统及其电子设备 | |
EP3005152B1 (en) | Systems and methods for adaptive proper name entity recognition and understanding | |
CN103918027B (zh) | 用于语音应用中的最优有限状态转换机(fst)的有效渐进修改 | |
CN115129878A (zh) | 一种对话业务执行方法、装置、存储介质及电子设备 | |
JP2003015686A (ja) | 音声対話装置、音声対話方法及び音声対話処理プログラム | |
US20010002465A1 (en) | Speech recognition device implementing a syntactic permutation rule | |
JP2003030187A (ja) | 自動通訳システム、会話学習装置、自動通訳装置及びその方法並びにそのプログラム | |
JP4220151B2 (ja) | 音声対話装置 | |
Liu et al. | Efficient dynamic wfst decoding for personalized language models | |
Hanazawa et al. | An efficient search method for large-vocabulary continuous-speech recognition | |
JP4095577B2 (ja) | 対話装置、音声対話装置、対話プログラム、音声対話プログラムおよび記録媒体 | |
JP2006053470A (ja) | 音声対話シーケンス状態表記方法、プログラム、および音声対話装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040625 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041029 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070313 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070326 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100413 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110413 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120413 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120413 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130413 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130413 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140413 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |