[go: up one dir, main page]

JP3682562B2 - 出力制御可能型言語生成方法及び装置 - Google Patents

出力制御可能型言語生成方法及び装置 Download PDF

Info

Publication number
JP3682562B2
JP3682562B2 JP26852696A JP26852696A JP3682562B2 JP 3682562 B2 JP3682562 B2 JP 3682562B2 JP 26852696 A JP26852696 A JP 26852696A JP 26852696 A JP26852696 A JP 26852696A JP 3682562 B2 JP3682562 B2 JP 3682562B2
Authority
JP
Japan
Prior art keywords
output
sequence
language
command
utterance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP26852696A
Other languages
English (en)
Other versions
JPH10116177A (ja
Inventor
浩二 堂坂
明 島津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP26852696A priority Critical patent/JP3682562B2/ja
Publication of JPH10116177A publication Critical patent/JPH10116177A/ja
Application granted granted Critical
Publication of JP3682562B2 publication Critical patent/JP3682562B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Machine Translation (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、出力制御可能型言語生成方法及び装置に係り、特に、ある動作記述の列内容を説明するための文節の列を文字列または、音声として出力し、文節の列を出力している最中に、出力制御のための言語表現が文字列として入力されるとき、その出力制御のための言語表現から出力制御命令を生成し、その出力制御命令に従うことにより、出力の中断、出力の繰り返し、または、出力の再開を行う出力制御可能型言語生成方法及び装置に関する。
【0002】
例えば、ある場所から別の場所へ移動するために必要な動作の列を自然言語で説明するために、その動作の列の内容を説明するために必要な文節の列を、計算機端末のディスプレイ、プリンタ、タイプライタ、音声合成装置、或いは、これらの組み合わせを介して、文字列または、音声として出力し、文節の列を出力している最中に計算機端末のキーボード、文字認識装置、音声認識装置、あるいは、これらの組み合わせを介して出力制御のための言語表現が文字列として入力されるときに、その出力制御のための言語表現から出力制御命令を生成し、その出力制御命令が出力中断命令であれば、その時点での出力を中断し、その出力制御命令が出力確認命令であれば、出力を繰り返し、その出力制御命令が出力再開命令ならば、中断されていた文節の列の出力を再開する計算機処理技術における出力制御可能型言語生成方法及び装置に関する。
【0003】
【従来の技術】
ある動作記述の列の内容を説明するための文節の列を文字列、または、音声によって出力し、文節の列を出力している最中に、出力制御のための言語表現が文字列として入力されるとき、その出力制御のための言語表現から出力制御命令を生成し、その出力制御命令に従うことによって、出力の中断、出力の繰り返し、出力の再開を行う装置を実現するための従来の技術として、2つのアプローチに分けることができる。
【0004】
第1のアプローチは、出力制御のための言語表現が入力されても、1つの動作記述の内容の説明を終えるまでは、出力制御命令を生成しないアプローチである。
第2のアプローチは、出力制御のための言語表現が入力されたら、その時点で出力制御命令を生成し、当該出力制御命令が出力中断命令なら、その時点での出力を中断し、その出力制御命令が出力確認命令なら、その時点での出力を中断し、最後に出力された文節に直接続けて確認対象の文節を繰り返して出力し、その出力制御命令が出力再開命令なら、最後に出力された文節に直接続けて中断されていた文節の列の出力を再開する。
【0005】
【発明が解決しようとする課題】
しかしながら、上記の従来の第1のアプローチでは、出力制御のための言語表現が入力されても、1つの動作記述の内容の説明を終えるまでは、出力制御命令を生成しないため、出力制御のための言語表現が入力された後、直ちに、出力の中断、出力の繰り返し、出力の再開を行うことができないという問題がある。
【0006】
例えば、武蔵野センタからバスで吉祥寺まで移動するという動作記述、吉祥寺から井の頭線で下北沢まで移動するという動作記述、下北沢から小田急線で愛甲石田まで移動するという動作記述の3つの動作記述の列の内容を説明するために、以下の例1で示す文節の列が出力されるとする。なお、上記の「と」で括られた言語表現が文節である。
【0007】
例1:
「武蔵野センタから」、「バスで」、「吉祥寺まで」、「行って」、
「吉祥寺から」、「井の頭線で」、「下北沢まで」、「行って」、
「下北沢から」、「バスで」、「愛甲石田まで」、「行きます」
例1で示した文節の列が順に「武蔵野センタから」、「バスで」、「吉祥寺まで」、「行って」、「吉祥寺から」と出力された時点で、出力制御のための言語表現「待って下さい」が入力されたと仮定する。この言語表現は、出力の中断を求める言語表現であるので、この言語表現から出力制御命令として出力中断命令を生成することが可能である。しかし、「吉祥寺から」という文節が出力された直後では、“吉祥寺から井の頭線で下北沢まで移動する”という動作記述の内容の説明が終了していないので、上記の第1のアプローチでは、この時点では出力中断命令を生成できない。従って、上記の第1のアプローチには、出力中断のための言語表現が入力されても直ちに出力を中断できないという問題がある。
【0008】
さらに、上記従来の第2のアプローチでは、動作記述の列の内容を説明するための文節の列を出力している最中に出力確認命令が生成されたときに、その時点で文節の列の出力を中断し、最後に出力された文節に直接続けて確認対象である文節を繰り返して出力するため、自然言語として理解することが困難な文節の列を出力するという問題がある。
【0009】
例えば、上記の例1で示した文節の列が順に、「武蔵野センタから」、「バスで」、「吉祥寺まで」、「行って」、「吉祥寺から」と出力された時点で、出力制御のための言語表現「バスですか」が入力されたと仮定する。この出力制御のための言語表現は、既に出力された「バスで」という文節を確認するための言語表現である。この時点で出力確認命令が生成される。その出力確認命令の確認対象の文節は「バスで」である。出力確認命令が生成されたので、出力は中断され、最後に出力された文節である「吉祥寺から」に直接続けて確認対象の文節である「バスで」が繰り返し出力される。
【0010】
結局、次に示す例2の文節の列が生成されることになる。
例2:
「武蔵野センタから」、「バスで」、「吉祥寺まで」、「行って」、
「吉祥寺から」、〈「バスですか」〉、「バスで」
例2において、<「バスですか」>は、「吉祥寺から」の出力の直後に「バスですか」という出力制御のための言語表現が入力されたことを示している。
【0011】
上記の例2に示した文節の例は、吉祥寺から別の場所に移動するための手段がバスに乗ることであることを説明しているのか、それとも、武蔵野センタから吉祥寺まで移動する手段はバスに乗ることであることを繰り返して説明しているのかのどちらなのかを自然言語として理解することが困難である。
【0012】
また、上記従来の第2のアプローチでは、出力再開命令が生成された時に、最後に出力された文節に直接続けて中断されていた文節の列の出力を再開するので、自然言語として理解することが困難な文節の列を出力するという問題がある。例えば、例2で「バスで」が出力された後、出力制御のための言語表現「はい」が入力されたと仮定する。この出力制御のための言語表現は、文節の列の出力が中断されているときに出力を再開するための言語表現である。この時点で出力再開命令が生成される。例2は、例1の文節の列の出力が「吉祥寺から」という文節を出力した時点で中断されて、その後「バスで」という文節が繰り返して出力された結果、得られたものである。従って、例1で示した文節の列において、「井の頭線で」という文節以後の文節の列の出力が中断されている。
【0013】
出力再開命令が生成されると、最後に出力された文節である「バスで」に直接続けて、中断されていた「井の頭線で」という文節以後の文節の列の出力が再開されることになる。結局、次の例3で示す文節が出力される。
例3:
「武蔵野センタから」、「バスで」、「吉祥寺まで」、「行って」、
「吉祥寺から」、〈「バスですか」〉、「バスで」、
〈「はい」〉、「井の頭線で」、「下北沢まで」、「行って」
上記の例3において、〈「はい」〉は、「バスで」の出力の直後に「はい」という出力制御のための言語表現が入力されたことを示している。
【0014】
例3で示した文節の列は、吉祥寺から下北沢まで移動する手段は、バスに乗ることなのか、それとも井の頭線に乗ることなのかどちらなのかを自然言語として理解することが困難である。
本発明は、上記の点に鑑みなされたもので、ある動作記述の列の内容を説明するための文節の列を出力している最中に出力制御のための言語表現が入力されたときに、従来の技術では、直ちに出力の中断、または、出力の繰り返し、出力の再開ができない場合であっても、出力制御のための言語表現が入力された時点で出力制御命令を生成し、直ちに出力の中断、または、出力の繰り返し、出力の再開を行うことが可能な出力制御可能型言語生成方法及び装置を提供することを目的とする。
【0015】
本発明の更なる目的は、ある動作記述の列の内容を説明するための文節の列を出力している最中に、出力確認命令が生成されたときに、従来の技術では、自然言語として理解することが困難な文節の列を出力するような場合であっても、理解を損ねないように確認対象の文節を繰り返して出力することが可能な出力制御可能型言語生成方法及び装置を提供することである。
【0016】
また、本発明の更なる目的は、従来の技術のように、出力再開命令が生成されたときに、従来の技術では自然言語として理解することが困難な文節の列を出力するような場合であっても、理解を損ねないように出力を再開することのために必要な文節の列を出力することが可能な出力制御可能型言語生成方法及び装置を提供することである。
【0017】
【課題を解決するための手段】
図1は、本発明の原理を説明するための図である。
本発明は、言語生成装置に入力された出力制御のための言語表現によって、動作記述の列の内容を説明する出力を制御する出力制御可能型言語生成方法において、
出力制御のための言語表現が言語表現理解手段に入力されるステップと(ステップ1)
言語表現理解手段が、出力制御のための言語表現から出力制御命令である出力中断命令と出力確認命令と出力再開命令とのいずれかを生成し、制御手段に転送するステップと(ステップ2)、
制御手段が、発話計画手段と言語表現出力手段との少なくとも 1 つに、出力制御命令に応じて、指令するステップと、
発話計画手段が、指令に応じて、述語論理で表現された動作記述の列から該動作記述に対応する発話行為の列を生成し、言語表現出力手段に転送する、または転送を中断するステップと(ステップ3)、
言語表現出力手段が、指令に応じて、発話行為の列に対応する文節の列を順に文字列または音声によって出力する、または出力を中断するステップと(ステップ4)、からなり、
言語表現理解手段で生成された出力制御命令が出力中断命令である場合、発話計画手段と言語表現出力手段とが、該出力制御命令が生成された時点で出力を中断し、
言語表現理解手段で生成された出力制御命令が出力確認命令である場合、発話計画手段と言語表現出力手段とが、該出力制御命令が生成された時点で出力を中断し、言語表現出力手段が、該出力確認命令の確認対象に対応する発話行為の列の提題言語表現と該確認対象とを順に出力し、
言語表現理解手段で生成された出力制御命令が出力再開命令であり、該出力制御命令が生成された時点で発話行為の列に対応する文節の列の出力が中断されている場合、言語表現出力手段が、該中断を命令した該出力制御命令が生成された時点での出力に対応する発話行為の列の提題言語表現と中断されていた該発話行為の列に対応する文節の列に続く文節の列とを出力する
【0018】
また、本発明では、発話計画手段において生成される動作記述に対応する発話行為の列は、該動作記述を表す記号と、源泉格と手段格と目標格と動作種別とのいずれか1つと、当該1つを説明する文節とからなる。
【0019】
また、本発明において、発話計画手段で扱う動作記述は、1階述語論理式の項として表現される。
【0020】
図2は、本発明の原理構成図である。
本発明は、入力された出力制御のための言語表現によって、動作記述の列の内容を説明する出力を制御する出力制御可能型言語生成装置であって、
出力制御のための言語表現が入力されると、該出力制御のための言語表現から出力制御命令である出力中断命令と出力確認命令と出力再開命令とのいずれかを生成して転送する言語表現理解手段10と、
述語論理で表現された動作記述の列から該動作記述に対応する発話行為の列を生成し、転送する、または、転送を中断する発話計画手段20と、
発話行為の列に対応する文節の列を順に文字列または音声によって出力する、または、出力を中断する言語表現出力手段30と、
言語表現理解手段10から転送された出力制御命令を取得し、発話計画手段20と言語表現出力手段30との少なくとも1つに、該出力制御命令に応じて指令する制御手段40と、を有し、
発話計画手段20は、
制御手段40の指令に応じて、述語論理で表現された動作記述の列から該動作記述に対応する発話行為の列を生成し、言語表現出力理解手段30に転送する、または、転送を中断する手段と、
制御手段40の指令に応じて、言語表現理解手段10で生成された出力制御命令が出力中断命令である場合、該出力制御命令が生成された時点で出力を中断する手段と、
制御手段40の指令に応じて、出力制御命令が出力確認命令である場合、該出力制御命令が生成された時点で出力を中断する手段と、を有し、
言語表現出力手段30は、
制御手段40の指令に応じて、言語表現理解手段20で生成された出力制御命令が出力中断命令である場合、該出力制御命令が生成された時点で出力を中断する手段と、
制御手段40の指令に応じて、出力制御命令が出力確認命令である場合、該出力制御命令が生成された時点で出力を中断し、該出力確認命令の確認対象に対応する発話行為の列の提題言語表現と該確認対象とを順に出力する手段と、
制御手段40の指令に応じて、出力制御命令が出力再開命令であり、該出力制御命令が生成された時点で発話行為の列に対応する文節の列の出力が中断されている場合、該中断を命令した該出力制御命令が生成された時点での出力に対応する発話行為の列の提題言語表現と中断されていた該発話行為の列に対応する文節の列に続く文節の列とを出力する手段と、を有する。
【0021】
また、上記の発話計画手段において生成する動作記述に対応する発話行為の列は、該動作記述を表す記号と、源泉格と手段格と目標格と動作種別とのいずれか1つと、当該1つを説明する文節とからなる。
【0022】
また、上記の発話計画手段が扱う動作記述は、1階述語論理式の項として表現される。
【0024】
上記のように、本発明は、並列的な動作により動作記述の内容を文節の列で説明するために実行することが必要な発話行為の列を生成し、発話行為に対応する文節の列を出力する。さらに、並列的な動作により文節の列を出力している途中に出力制御を行うための言語表現が入力されたら、その時点で出力制御命令を生成し、出力制御命令に従うことにより直ちに出力の中断、確認、再開を行う。このことにより、出力制御を行うための言語表現が入力された時点で、1つの動作記述の内容の説明が終了していなくとも、直ちに出力の中断、確認、再開を行うことが可能となる。
【0025】
また、本発明は、出力中断命令が生成された場合には、発話行為の列を生成する手段が文節の列を出力する手段に発話行為の列を転送することを中断し、文節の列を出力する手段が発話行為の列に対応する文節の列を出力することを中断する。これにより、出力中断のための言語表現が入力された時点で、1つの動作記述の内容の説明が終了していなくても、直ちに出力の中断を行うことが可能となる。
【0026】
さらに、本発明は、出力確認命令が生成された場合には、文節の列を出力する手段が文節の列を出力する手段に発話行為の列を転送することを中断し、文節の列を出力する手段が発話行為の列に対応する文節の列を出力することを中断する。さらに、理解を損ねないための提題言語表現を出力した後に、確認対象の文節を繰り返すために実行することが必要な発話行為の列を生成し、その発話行為の列を文節の列を生成する手段に転送する。これにより、理解を損ねないように確認対象の文節の列を繰り返すことが可能となる。
【0027】
さらに、本発明は、文節の列の出力が中断されている場合に、さらに、出力再開命令が生成された場合には、理解を損ねないための提題言語表現を出力した後に中断されていた文節の列の出力を再開するための発話行為の列を生成し、その発話行為の列を、文節の列を生成する手段に転送する。これにより、理解を損ねないように文節の列の出力を再開することが可能となる。
【0028】
【発明の実施の形態】
図3は、本発明の言語生成装置の構成を示す。同図に示す構成は、言語表現理解装置10、発話計画装置20、言語表現出力装置30及び制御装置40より構成される。なお、同図に示す言語生成装置の各構成要素は、並列に動作するものとする。
【0029】
言語表現理解装置10は、ある出力制御のための言語表現が入力された時点で、その出力制御のための言語表現から出力制御命令として出力中断命令または、出力再開命令または、出力確認命令を生成し、その出力制御命令を制御装置40に転送する。
【0030】
発話計画装置20は、ある動作記述の列の内容を文節の列で説明するために実行することが必要な発話行為の列を生成し、その発話行為の列を言語表現出力装置30に転送する。発話計画装置20は、発話行為の列の言語表現出力装置30への転送を中断するように制御装置40から指令されると、直ちに、その時点における発話行為の列の言語表現出力装置30への転送を中断する。発話計画装置20は、発話行為の列の言語表現出力装置30への転送を継続するように、制御装置40から指令されると、その時点における発話行為の列の言語表現出力装置30への転送を継続する。
【0031】
言語表現出力装置30は、発話計画装置20から発話行為の列が転送されてきた時点で、その発話行為の列を実行するために、その発話行為の列に対応する文節の列を順に文字列または、音声によって出力する。言語表現出力装置30は、文節の列の出力を中断するように制御装置40から指令されると、直ちにその時点における文節の列の出力を中断する。また、言語表現出力装置30は、文節の列の出力を継続するように制御装置40から指令されると、その時点における文節の列の出力を継続する。
【0032】
図4は、本発明の言語表現理解装置から出力制御命令が転送された場合の制御装置の動作を示す。
制御装置40は、言語表現理解装置10から出力制御命令が転送されてきた時点で(ステップ101)、その出力制御命令が出力中断命令である場合には(ステップ102)、発話計画装置20に対して発話行為の列の言語表現出力装置30へ転送を中断するように指令し、言語表現出力装置30に対して文節の列の出力を中断するように指令する(ステップ103)。
【0033】
また、制御装置40は、言語表現理解装置10から出力制御命令が転送されてきた時点で(ステップ101)、その出力制御命令が出力確認命令である場合には(ステップ102)、発話計画装置20に対して発話行為の列の言語表現出力装置30への転送を中断するように指令し(ステップ104)、言語表現出力装置30に対して文節の列の出力を中断するように指令する(ステップ105)。次に、制御装置40は、発話計画装置20に対して理解を損ねないための提題言語表現を出力した後に(ステップ106)、確認対象の文節を繰り返すために実行することが必要な発話行為の列を生成するように指令する(ステップ107)。これにより、発話計画装置20は、その指令を受けて、理解を損ねないための提題言語表現を出力した後に、確認対象の文節を繰り返すために実行することが必要な発話行為の列を生成する。その発話行為の列が生成された時点で、発話計画装置20は、その発話行為を言語表現出力装置30に転送する。
【0034】
また、制御装置40は、言語表現理解装置10から出力制御命令が転送されてきた時点で(ステップ101)、その出力制御命令が出力再開命令であり(ステップ102)、なおかつ、その時点で言語表現出力装置30が文節の列の出力を中断している場合には(ステップ108)、発話計画装置20に対して理解を損ねないための提言言語表現を出力した後に中断されていた文節の列の出力を再開するために実行することが必要な発話行為の列を生成するように指令する(ステップ109)。発話計画装置20は、その指令を受けて、理解を損ねないための提題言語表現を出力した後に、中断されていた文節の列の出力を再開するために実行することが必要な発話行為の列を生成する。その発話行為の列が生成された時点で、発話計画装置20は、当該発話行為を言語表現出力装置30に転送する。
【0035】
また、制御装置40は、言語表現理解装置10から出力制御命令が転送されてきた時点で(ステップ101)、その出力制御命令が出力再開命令であり(ステップ102)、なおかつ、その時点で言語表現出力装置30が文節の列の出力を中断していない場合には(ステップ108)、発話計画装置20に対して、発話行為の列の言語表現出力装置30への転送を継続するように指令し、言語表現出力装置30に対して文節の列の出力を継続するように指令する(ステップ110)。
【0036】
【実施例】
以下に、本発明の実施例を説明する。
最初に、発話計画装置20による発話行為の列の生成処理について説明する。
本実施例において、発話計画装置20が扱う動作記述は、一階述語論理式の項として表現される。例えば、「武蔵野センタからバスで吉祥寺まで移動する」という動作記述A1,「吉祥寺から井の頭線で下北沢まで移動する」という動作記述A2、「下北沢から小田急線で愛甲石田まで移動する」という動作記述A3は、次の例4のように表現される。
【0037】
例4:
A1=Move(武蔵野センタ、バス、吉祥寺)
A2=Move(吉祥寺、井の頭線、下北沢)
A3=Move(下北沢、小田急線、愛甲石田)
本実施例では、発話計画装置20は、例4で示した3つの動作記述A1,A2,A3からなる動作記述の列の内容を文節の列で説明するために実行することが必要な発話行為の列を生成する。
【0038】
まず、動作記述A1の内容を文節の列で説明するために実行することが必要な発話行為の列として、次の例5で示すように表現される4つの発話行為UA11,UA12,UA13,UA14の列が生成される。
例5:
UA11=Utter (A1,源泉格,武蔵野センタから),
UA12=Utter (A1,手段格,バスで),
UA13=Utter (A1,目標格,吉祥寺まで),
UA14=Utter (A1,動作種別,行って)
上記の例5において、Utter (Act,源泉格,Exp)という表現は、動作記述Actの源泉格を文節Expで説明するという発話行為を表す。Utter(Act,手段格,Exp)という表現は、動作記述Actの手段格を文節Expで説明するという発話行為を表す。Utter(Act,目標格,Exp)という表現は、動作記述Actの目標格を文節Expで説明するという発話行為を表す。Utter(Act,動作種別,Exp)という表現は、動作記述Actの動作種別を文節Expで説明するという発話行為を表す。ある場所Sから手段Mで別の場所Dまで移動するという動作記述の場合は、動作記述の源泉格は移動の起点Sのことであり、動作記述の手段格は、移動の手段Mのことであり、動作記述の目格は移動の着点Dのことであり、動作記述の種別は移動である。
【0039】
次に、発話計画装置20は、動作記述A2の内容を文節の列で説明するために実行することが必要な発話行為の列として、次の例6で示すように表現される4つの発話行為UA21,UA22,UA23,UA24の列を生成する。
例6:
UA21=Utter (A2,源泉格,吉祥寺から),
UA22=Utter (A2,手段格,井の頭線で),
UA23=Utter (A2,目格,下北沢まで),
UA24=Utter (A2,動作種別,行って)
次に、発話計画装置20は、動作記述A3の内容を文節の列で説明するために実行することが必要な発話行為の列として、次の例7で示すように表現される4つの発話行為UA31,UA32,UA33,UA34の列を生成する。
【0040】
例7:
UA31=Utter (A3,源泉格,下北沢から),
UA32=Utter (A3,手段格,小田急線で),
UA33=Utter (A3,目格,愛甲石田まで),
UA34=Utter (A3,動作種別,行きます)
結局、発話計画装置20は、例5、例6、例7で示した12個の発話行為UA11,UA12,UA13,UA14,UA21,UA22,UA23,UA24,UA31,UA32,UA33,UA34の列を順に生成する。発話計画装置20は、発話行為の列を生成しながら、その発話行為の列を順に言語表現出力装置30に転送する。
【0041】
以上説明したように、発話計画装置20が動作記述の列の内容を文節の列で説明するために実行することが必要な発話行為の列を生成し、その発話行為の列を言語生成装置30に転送することが可能になる。
次に、言語表現出力装置30による文節の列の出力の処理について説明する。
【0042】
本実施例において、言語表現出力装置30は、例5、例6、例7とで示した12個の発話行為UA11,UA12,UA13,UA14,UA21,UA22,UA23,UA24,UA31,UA32,UA33,UA34の列に対応する文節の列を順に出力する。次の例8で示す12個の文節の列が順に出力される。
【0043】
例8:
「武蔵野センタから」,「バスで」,「吉祥寺まで」,「行って」,
「吉祥寺から」,「井の頭線で」,「下北沢まで」、「行って」
「下北沢から」,「バスで」,「愛甲石田まで」,「行きます」
以上説明したように、発話計画装置20から動作記述の列の内容を文節の列で説明するための発話行為の列を生成し、発話計画装置20がその発話行為の列を言語生成装置30に転送し、言語生成装置30がその発話行為の列に対応する文節の列を順に出力することが可能になる。
【0044】
次に、言語表現理解装置10による出力制御命令の生成処理について説明する。
本実施例において、言語表現理解装置10は、出力制御のための言語表現が入力された時点で、その出力制御のための言語表現から出力制御命令を生成し、その出力制御命令を制御装置40に転送する。制御装置40は、言語表現理解装置10から転送された出力制御命令に従うことにより、出力の中断または、出力の繰り返し、または、出力の再開を行う。
【0045】
本実施例において、言語表現理解装置10は、出力制御のための言語表現として、「えーと」といったつなぎ語や、「待って下さい」といった相手に対して発話の中断を求めるための言語表現が入力された時点で、出力中断命令を生成する。
【0046】
例えば、次の例9に示す言語表現が入力された時点で、言語表現理解装置10は、出力中断命令を生成し、その出力中断命令を制御装置40に転送する。
例9:
「えっ」,「えと」,「えーと」,「えとですね」,「えーとですね」,
「あっ」,「あの」,「あのー」,「あのですね」,「あのーですね」,
「そのー」,「待て」,「待って」,「待って下さい」,「ちょっと」,
「ちょっと待て」,「ちょっと待って下さい」
本実施例において、言語表現理解装置10は、出力制御のための言語表現として、名詞に「ですか」または、「ですね」が接続した言語表現といった相手に情報の確認を求めるための言語表現が入力された時点で、出力確認命令を生成する。例えば、次の例10に示す言語表現が入力された時点で言語表現理解装置10は、出力確認命令を生成し、その出力中断命令を制御装置40に転送する。
【0047】
例10:
「バスですか」,「バスですね」,「吉祥寺ですか」,「吉祥寺ですね」
名詞に「ですか」または、「ですね」が接続した言語表現から生成される出力確認命令の確認対象は、既に出力された文節の中でその名詞を含むような文節である。
【0048】
本実施例において、言語表現理解装置10は、出力制御のための言語表現として、「はい」といった応答的な間投詞や「続けて下さい」といった相手に対して発話の再開及び継続を求めるための言語表現が入力された時点で、出力再開命令を生成する。
【0049】
例えば、次の例11に示す言語表現が入力された時点で、言語表現理解装置10は、出力再開命令を生成し、その出力再開命令を制御装置40に転送する。
例11:
「はい」,「ええ」,「続けて」,「続けて下さい」,「どうぞ続けて下さい」
以上説明したように、出力制御のための言語表現が入力された時点で、言語理解装置10は、出力制御命令として、出力中断命令または、出力確認命令または、出力再開命令を生成し、その出力制御命令を制御装置40に転送する。これにより、出力制御のための言語表現が入力された時点で、直ちに、出力の中断、または、出力の繰り返し、または、出力の再開を行うことが可能になる。
【0050】
次に、出力中断命令が生成されたときの装置の動作を説明する。
本実施例において、前述の例4に示された動作記述の列の内容を文節の列で説明するために、発話計画装置20は、発話行為の列として例5、例6、例7に示した12個の発話行為UA11,UA12,UA13,UA14,UA21,UA22,UA23,UA24,UA31,UA32,UA33,UA34の列を生成し、その発話行為の列を言語表現出力装置30に順に転送する。
【0051】
言語表現出力装置30は、その発話行為の列に対応する文節の列として、例8に示された文節の列を最初から順に出力する。
このとき、例8に示した文節の中で、「吉祥寺から」が出力された直後に、出力制御のための言語表現として、例9で示したような言語表現が入力されたとする。この時点で、言語表現理解装置10は、その入力された言語表現から出力中断命令を生成し、その出力中断命令を制御装置40に転送する。
【0052】
制御装置40は、発話計画装置20に対して発話行為の列の言語表現出力装置30への転送を中断するように指令し、言語表現出力装置30に対して文節の列の出力を中断するように指令する。その結果、例8に示された文節の列の出力は、「吉祥寺から」を出力した直後に中断する。
【0053】
以上説明したように、出力制御のための言語表現として、例9で示したような言語表現が入力された時点で、出力中断命令が生成され、直ちに出力を中断させることが可能となる。
次に、出力確認命令が生成されたときの装置の動作を説明する。
【0054】
本実施例において、前述の例4に示された動作記述の列の内容を文節の列で説明するために、発話計画装置20は、発話行為の列として例5、例6、例7に示した12個の発話行為UA11,UA12,UA13,UA14,UA21,UA22,UA23,UA24,UA31,UA32,UA33,UA34の列を生成し、その発話行為の列を言語表現出力装置30に順に転送する。言語表現出力装置30は、その発話行為の列に対応する文節の列として、例8に示された文節の列を最初から順に出力する。
【0055】
このとき、例8に示した文節の中で「吉祥寺から」が出力された直後に、出力制御のための言語表現として、「バスですか」という言語表現が入力されたとする。この時点で、言語表現理解装置10は、その入力された言語表現から出力確認命令を生成する。この出力確認命令の確認対象の文節は、例8で示した文節の中の「バスで」という文節である。言語表現理解装置10は、この出力中断命令を制御装置40に転送する。
【0056】
制御装置40は、発話計画装置20に対して発話行為の列の言語表現出力装置30への転送を中断するように指令し、言語表現出力装置30に対して文節の列の出力を中断するように指令する。その結果、例8に示された文節の列の出力は、「吉祥寺から」を出力した後で中断する。
【0057】
次の例12は、この時点で出力みの文節を示している。
例12:
「武蔵野センタから」,「バスで」,「吉祥寺まで」,「行って」,「吉祥寺から」
次に、制御装置40は、発話計画装置20に対して、理解を損ねないための提題言語表現を出力した後に、確認対象の文節を繰り返すために実行することが必要な発話行為の列を生成するように指令する。このとき、発話計画装置20は、次の原則1に基づいて発話行為を生成する。
【0058】
原則1:
種別が移動であるような動作記述Act1と、種別が移動であるような動作記述Act2に関して、動作記述Act2の内容を説明するための文節Bun2が出力された直後に、動作記述Act1の内容を説明するために、既に出力されている文節Bun1を理解を損ねないように繰り返して出力するためには、動作記述Act1の源泉格を提題化した提題言語表現を出力した後に、文節Bun1を繰り返す必要がある。
【0059】
この時点で生成されている出力確認命令の確認対象の文節は既に出力さている「バスで」という文節である。この「バスで」という文節は、「武蔵野センタからバスで吉祥寺まで移動する」という動作記述A1を説明するための文節である。また、直前に出力された文節は、「吉祥寺から」という文節である。この「吉祥寺から」という文節は、「吉祥寺から井の頭線で下北沢に移動する」という動作記述A2の内容を説明するための文節である。動作記述A1の種別も動作記述A2の種別も移動である。従って、原則1により、動作記述の源泉格である“武蔵野センタ”を提題化した提題言語表現を出力した後に、確認対象の文節の「バスで」を繰り返す必要がある。動作記述A1の源泉格である“武蔵野センタ”を提題化した提題言語表現とは、「武蔵野センタからは」といった言語表現である。
【0060】
発話計画装置20は、動作記述A1の源泉格である“武蔵野センタ”を提題化した提題言語表現を出力した後に、確認対象の文節の「バスで」を繰り返すために実行することが必要な発話行為の列として、次の例13に示す発話行為UA41,UA42の列を生成する。
【0061】
例13:
UA41=Utter (A1,源泉格、武蔵野センタからは),
UA42=Utter (A1,手段格、バスで),
この発話行為の列が言語表現出力装置30に転送され、言語表現出力装置30は、この発話行為の列に対応する文節の列を例12で示した出力に続けて出力する。
【0062】
結局、次の例14に示すような文節の列が出力される。
例14:
「武蔵野センタから」,「バスで」,「吉祥寺まで」,「行って」,
「吉祥寺から」,<「バスですか」>,「武蔵野センタからは」,「バスで」
上記の例14において、<「バスですか」>は、「吉祥寺から」の出力の直後に「バスですか」という出力制御のための言語表現が入力されたことを示している。
例14において、「武蔵野センタからは」の後で繰り返し出力さた「バスで」という文節は、“武蔵野センタ”からの移動の手段の説明を繰り返しているためのものであることが容易に理解できる。
【0063】
以上説明したように、出力確認命令が生成されたときに、理解を損ねないための提題言語表現を出力した後に、確認対象の文節を繰り返すために実行することが必要な発話行為の列を生成し、その発話行為の列に対応する文節の列を生成することにより、従来の技術において、理解が困難な文節の列が出力される場合にも、理解を損ねることなく、確認対象を繰り返し出力することが可能となる。
【0064】
次に、出力再開命令が生成された時の装置の動作を説明する。
本実施例において、例14で示した文節の列が出力された直後に、出力制御のための言語表現として「はい」が入力されたとする。このとき、言語表現理解装置10は、出力再開命令を生成し、その出力再開命令を制御装置40に転送する。
【0065】
この時点では、前述の例8に示した文節の列の出力が「吉祥寺から」を出力した後で中断されているので、制御装置40は、中断されている出力を再開するために、発話計画装置20に対して理解を損ねないための提題言語表現を出力した後に中断されていた文節の列の出力を再開するために実行することが必要な発話行為の列を生成するように指令する。このとき、発話計画装置20は、次の原則2に基づいて発話行為を生成する。
【0066】
原則2:
種別が移動であるような動作記述Act1と、種別が移動であるような動作記述Act2に関して、動作記述Act2の内容を説明するための文節の列の出力が中断されているときに、動作記述Act1の内容を記述するための文節Bun1が出力された直後に、動作記述のAct2の内容を説明するための文節の列の出力を理解を損ねないように再開するためには、動作記述Act2の源泉格を提題化した提題言語表現を出力してから、出力を再開する必要がある。
【0067】
この時点では、「吉祥寺から井の頭線で下北沢まで行く」という動作記述A2の内容を説明するための文節の列の出力が「吉祥寺から」を出力したところで中断されている。従って、動作記述A2の内容を説明する「井の頭線で」,「下北沢まで」,「行く」という文節の列の出力を再開する必要がある。また、直前に出力されている文節は、「バスで」という文節である。この文節は、「武蔵野センタからバスで吉祥寺まで移動する」という動作記述A1を説明するための文節である。動作記述A1の種別も動作記述A2の種別も移動である。従って、原則2により、動作記述A2の源泉格である“吉祥寺”を提題化した提題言語表現を出力した後に中断されている出力を再開する必要がある。動作記述A2の源泉格である吉祥寺を提題化した提題言語表現とは、「吉祥寺からは」といった言語表現である。
【0068】
発話計画装置20は、動作記述A2の源泉格である“吉祥寺”を提題化した提題言語表現を出力した後に、中断されていた文節の出力を再開するために実行することが必要な発話行為の列として、次の例15に示す4つの発話行為UA51,UA22,UA23,UA24の列を生成する。
【0069】
例15:
UA51= Utter (A2,源泉格,吉祥寺からは),
UA22= Utter (A2,手段格,井の頭線で),
UA23= Utter (A2,目格,下北沢まで),
UA24= Utter (A2,動作種別,行って)
上記の例15において、発話行為UA51は、動作記述A2の源泉格を提題化した提題表現で説明するためのものであり、発話行為UA22,UA23,UA24は、前述の例6に示した動作記述A2の手段格、目格、動作種別を説明するという発話行為と同じものである。
【0070】
この発話行為の列が言語表現出力装置30に転送され、言語表現出力装置30は、この発話行為の列に対応する文節の列を前述の例14で示した出力に続けて出力する。
結局、次の例16に示すような文節が出力される。
【0071】
例16:
「武蔵野センタから」,「バスで」,「吉祥寺まで」,「行って」,
「吉祥寺から」,<「バスですか」>,「武蔵野センタからは」,
「バスで」,<「はい」>,「吉祥寺からは」,「井の頭線で」,
「下北沢まで」,「行って」
上記の例16において、<「はい」>は、「バスで」の出力の直後に「はい」という出力制御のための言語表現が入力されたことを示している。
【0072】
例16において、「吉祥寺からは」の後で出力された「井の頭線で」という文節は、吉祥寺からの移動の手段の説明を行っているものであることが容易に理解できる。
また、「武蔵野センタからは」の後で出力された「バスで」という文節は、“武蔵野センタ”からの移動の手段の説明を繰り返し行っているものであることが容易に理解できる。
【0073】
以上説明したように、出力再開命令が出力されたときに、理解を損ねないための提題言語表現を出力した後に、中断されていた文節の列を出力するために実行することが必要な発話行為の列を生成し、その発話行為の列に対応する文節の列を生成することにより、従来の技術において、理解が困難な文節の列が出力される場合であっても、理解を損ねることなく中断されていた出力を再開することが可能となる。
【0074】
なお、本発明は、上記の実施例に限定されることなく、特許請求の範囲内で種々変更・応用が可能である。
【0075】
【発明の効果】
上述のように、本発明の出力制御可能型言語生成方法及び装置によれば、ある動作記述の列の内容を説明するための文節の列を文字列、または、音声によって出力し、文節の列を出力している最中に、出力制御のための言語表現が文字列として入力されるとき、その出力制御のための言語表現から出力制御命令を生成し、その出力制御命令に従うことによって、出力の中断、出力の繰り返し、出力の再開を行うとき、1つの動作記述が終わるまでは出力制御命令を生成しないという理由により、出力制御のための言語表現が入力されているにも関わらず、従来の方法では、直ちに出力の中断、繰り返し、再開を行うことができないが、本発明は、出力制御のための言語表現が入力された時点で出力制御命令を生成し、直ちに出力の中断、繰り返し、再開を行うことが可能となる。
【0076】
また、従来の方法では、出力確認命令が生成された場合には、出力を中断し、最後に出力された文節に直接続けて確認対象の文節を繰り返して出力するという理由により、自然言語として理解が困難な文節の列を出力することがあるが、本発明によれば、理解を損ねないための提題言語表現を出力した後に、確認対象の文節を繰り返すので、理解を損ねないように確認対象の文節を繰り返して出力することができる。
【0077】
また、従来の方法では、文節の列の出力が中断されているときに、出力再開命令が生成された場合には、最後に出力された文節に直接続けて中断されていた文節の列の出力を再開するという理由により、自然言語として理解が困難な文節の列を出力することがあるが、本発明によれば、理解を損ねないための提題言語表現を出力した後、中断されていた文節の列の出力を再開するので、理解を損ねないように中断されていた文節の列の出力を再開することができる。
【図面の簡単な説明】
【図1】本発明の原理を説明するための図である。
【図2】本発明の原理構成図である。
【図3】本発明の言語生成装置の構成図である。
【図4】本発明の言語解析装置から出力制御命令が転送された場合の制御装置の動作を示す図である。
【符号の説明】
10 言語表現理解手段、言語表現理解装置
20 発話計画手段、発話計画装置
30 言語表現出力手段、言語表現出力装置
40 制御手段、制御装置

Claims (6)

  1. 言語生成装置に入力された出力制御のための言語表現によって、動作記述の列の内容を説明する出力を制御する出力制御可能型言語生成方法において、
    前記出力制御のための言語表現が言語表現理解手段に入力されるステップと
    前記言語表現理解手段が、前記出力制御のための言語表現から出力制御命令である出力中断命令と出力確認命令と出力再開命令とのいずれかを生成し、制御手段に転送するステップと、
    前記制御手段が、発話計画手段と言語表現出力手段との少なくとも 1 つに、前記出力制御命令に応じて、指令するステップと、
    前記発話計画手段が、前記指令に応じて、述語論理で表現された動作記述の列から該動作記述に対応する発話行為の列を生成し、前記言語表現出力手段に転送する、または転送を中断するステップと、
    前記言語表現出力手段が、前記指令に応じて、前記発話行為の列に対応する文節の列を順に文字列または音声によって出力する、または出力を中断するステップと、からなり、
    前記言語表現理解手段で生成された前記出力制御命令が出力中断命令である場合、前記発話計画手段と前記言語表現出力手段とが、該出力制御命令が生成された時点で出力を中断し、
    前記言語表現理解手段で生成された前記出力制御命令が出力確認命令である場合、前記発話計画手段と前記言語表現出力手段とが、該出力制御命令が生成された時点で出力を中断し、前記言語表現出力手段が、該出力確認命令の確認対象に対応する発話行為の列の提題言語表現と該確認対象とを順に出力し、
    前記言語表現理解手段で生成された前記出力制御命令が出力再開命令であり、該出力制御命令が生成された時点で発話行為の列に対応する文節の列の出力が中断されている場合、前記言語表現出力手段が、該中断を命令した該出力制御命令が生成された時点での出力に対応する発話行為の列の提題言語表現と中断されていた該発話行為の列に対応する文節の列に続く文節の列とを出力する、 ことを特徴とする出力制御可能型言語生成方法。
  2. 前記発話計画手段において生成される前記動作記述に対応する発話行為の列は、該動作記述を表す記号と、源泉格と手段格と目標格と動作種別とのいずれか1つと、当該1つを説明する文節とからなる請求項1記載の出力制御可能型言語生成方法。
  3. 前記発話計画手段で扱う前記動作記述は、1階述語論理式の項として表現される請求項1または2記載の出力制御可能型言語生成方法。
  4. 入力された出力制御のための言語表現によって、動作記述の列の内容を説明する出力を制御する出力制御可能型言語生成装置であって、
    前記出力制御のための言語表現が入力されると、該出力制御のための言語表現から出力制御命令である出力中断命令と出力確認命令と出力再開命令とのいずれかを生成して転送する言語表現理解手段と、
    述語論理で表現された動作記述の列から該動作記述に対応する発話行為の列を生成し、転送する、または、転送を中断する発話計画手段と、
    前記発話行為の列に対応する文節の列を順に文字列または音声によって出力する、または、出力を中断する言語表現出力手段と、
    前記言語表現理解手段から転送された前記出力制御命令を取得し、前記発話計画手段と前記言語表現出力手段との少なくとも1つに、該出力制御命令に応じて指令する制御手段と、を有し、
    前記発話計画手段は、
    前記制御手段の前記指令に応じて、述語論理で表現された動作記述の列から該動作記述 に対応する発話行為の列を生成し、前記言語表現出力手段に転送する、または、転送を中断する手段と、
    前記制御手段の前記指令に応じて、前記言語表現理解手段で生成された前記出力制御命令が出力中断命令である場合、該出力制御命令が生成された時点で出力を中断する手段と、
    前記制御手段の前記指令に応じて、前記出力制御命令が出力確認命令である場合、該出力制御命令が生成された時点で出力を中断する手段と、を有し、
    前記言語表現出力手段は、
    前記制御手段の前記指令に応じて、前記言語表現理解手段で生成された前記出力制御命令が出力中断命令である場合、該出力制御命令が生成された時点で出力を中断する手段と、
    前記制御手段の前記指令に応じて、前記出力制御命令が出力確認命令である場合、該出力制御命令が生成された時点で出力を中断し、該出力確認命令の確認対象に対応する発話行為の列の提題言語表現と該確認対象とを順に出力する手段と、
    前記制御手段の指令に応じて、前記出力制御命令が出力再開命令であり、該出力制御命令が生成された時点で発話行為の列に対応する文節の列の出力が中断されている場合、該中断を命令した該出力制御命令が生成された時点での出力に対応する発話行為の列の提題言語表現と中断されていた該発話行為の列に対応する文節の列に続く文節の列とを出力する手段と、を有することを特徴とする出力制御可能型言語生成装置。
  5. 前記発話計画手段において生成する前記動作記述に対応する発話行為の列は、該動作記述を表す記号と、源泉格と手段格と目標格と動作種別とのいずれか1つと、当該1つを説明する文節とからなる請求項4記載の出力制御可能型言語生成装置。
  6. 前記発話計画手段が扱う前記動作記述は、1階述語論理式の項として表現される請求項4または5記載の出力制御可能型言語生成装置。
JP26852696A 1996-10-09 1996-10-09 出力制御可能型言語生成方法及び装置 Expired - Fee Related JP3682562B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP26852696A JP3682562B2 (ja) 1996-10-09 1996-10-09 出力制御可能型言語生成方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26852696A JP3682562B2 (ja) 1996-10-09 1996-10-09 出力制御可能型言語生成方法及び装置

Publications (2)

Publication Number Publication Date
JPH10116177A JPH10116177A (ja) 1998-05-06
JP3682562B2 true JP3682562B2 (ja) 2005-08-10

Family

ID=17459750

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26852696A Expired - Fee Related JP3682562B2 (ja) 1996-10-09 1996-10-09 出力制御可能型言語生成方法及び装置

Country Status (1)

Country Link
JP (1) JP3682562B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7036015B2 (ja) * 2016-08-17 2022-03-15 ソニーグループ株式会社 対話制御装置および方法
KR102170155B1 (ko) * 2017-12-15 2020-10-28 한국전자통신연구원 발화 정지 시점을 고려한 발화 제어 방법 및 이를 위한 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3398401B2 (ja) * 1992-03-16 2003-04-21 株式会社東芝 音声認識方法及び音声対話装置

Also Published As

Publication number Publication date
JPH10116177A (ja) 1998-05-06

Similar Documents

Publication Publication Date Title
Ball et al. Lifelike computer characters: The persona project at Microsoft research
Hertz From text to speech with SRS
AU723274B2 (en) Natural-language speech control
JP3682562B2 (ja) 出力制御可能型言語生成方法及び装置
WO1998009228A9 (en) Natural-language speech control
JP4705242B2 (ja) 情報および/またはメッセージを音声によって出力する方法および装置
JPH10222342A (ja) ハイパーテキスト音声制御方法及び装置
Bernsen et al. A dedicated task-oriented dialogue theory in support of spoken language dialogue systems design.
KR960032226A (ko) 데이타 정합 보존 제공 방법 및 이를 수행하는 데이타 프로세싱 시스템
Liddell Holds and positions: Comparing two models of segmentation in ASL
WO2024069978A1 (ja) 生成装置、学習装置、生成方法、学習方法、及びプログラム
JP2007047488A (ja) 対話方法、対話装置、対話プログラムおよび記録媒体
Ostrand et al. Humans linguistically align to their conversational partners, and language models should too
JP2009036998A (ja) コンピュータによる対話方法、対話システム、コンピュータプログラムおよびコンピュータに読み取り可能な記憶媒体
JPH03226785A (ja) 音声認識装置付き語学用教育装置
Long Natural language as an interface style
JPS62163179A (ja) 機械翻訳装置
Nishimura et al. A markup language for describing interactive humanoid robot presentations
JPH11102196A (ja) 音声対話システム及び音声対話方法及び記録媒体
JPH03226784A (ja) 音声出力装置付き語学用教育装置
JPH10124515A (ja) 自然言語文生成システム,方法およびこの方法を実現するプログラムを格納した記憶媒体
Paggio et al. Linguistic Interaction in Staging—a Language Engineering View
Ball The SpeakEasy dialogue controller
TR2024004194A2 (tr) Meti̇nden sese bi̇ri̇mi̇ni̇n hizlandirilmasini sağlayan bi̇r si̇stem
Silva On automatic speech-understanding systems

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050426

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20050427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050509

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090603

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090603

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100603

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100603

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110603

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120603

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130603

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees