JPH10322450A - Voice recognition system, call center system, voice recognition method and record medium - Google Patents
Voice recognition system, call center system, voice recognition method and record mediumInfo
- Publication number
- JPH10322450A JPH10322450A JP10064851A JP6485198A JPH10322450A JP H10322450 A JPH10322450 A JP H10322450A JP 10064851 A JP10064851 A JP 10064851A JP 6485198 A JP6485198 A JP 6485198A JP H10322450 A JPH10322450 A JP H10322450A
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- voice
- user
- result
- recognition result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION
【0001】[0001]
【発明の属する技術分野】本発明は、利用者の音声を認
識する対話型の音声認識システムにおいて、より認識精
度を高めることができる音声認識システム及び記録媒体
に関する。また、オペレータの作業の負荷を軽減するこ
とができる音声認識システム、コールセンタシステム、
音声認識方法及び記録媒体に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an interactive speech recognition system for recognizing a user's speech, and more particularly to a speech recognition system and a recording medium capable of improving recognition accuracy. Speech recognition systems, call center systems,
The present invention relates to a voice recognition method and a recording medium.
【0002】[0002]
【従来の技術】利用者からの問い合わせ、注文、等を電
話で受信するシステムとして、例えば、オペレータを配
置しない自動応答型の音声認識システムが使用される。
このようなシステムでは、コンピュータが、電話からの
ユーザの音声を認識し、その認識結果を基に自動的に処
理を行う。また、利用者からの電話にオペレータが応答
し、オペレータが復唱した音声をコンピュータが認識
し、入力処理を行う音声認識システムが提案されてい
る。2. Description of the Related Art As a system for receiving inquiries, orders, and the like from a user by telephone, for example, an automatic response type voice recognition system without an operator is used.
In such a system, the computer recognizes the voice of the user from the telephone and automatically performs processing based on the recognition result. Further, there has been proposed a voice recognition system in which an operator responds to a telephone call from a user, and a computer recognizes a voice read by the operator and performs input processing.
【0003】[0003]
【発明が解決しようとする課題】しかし、自動応答型の
システムの場合、電話からの音声を認識するため、認識
精度が低く、正しく認識されるまでユーザは何度も発声
を繰り返さなければならならない。また、オペレータが
復唱した音声を認識するシステムの場合、利用者が正し
く発声してもオペレータが間違って復唱した場合、発声
を繰り返す必要が生じる。However, in the case of the automatic answering type system, since the voice from the telephone is recognized, the recognition accuracy is low, and the user has to repeat the utterance many times until it is correctly recognized. . Further, in the case of a system that recognizes voices repeated by an operator, if the user utters correctly, but the operator erroneously repeats, it is necessary to repeat the utterance.
【0004】本発明は、上記実状に鑑みてなされたもの
で、認識精度の高い音声認識システム、コールセンタシ
ステム、音声認識方法及び記録媒体を提供することを目
的とする。また、オペレータの作業の負荷を軽減するこ
とができる音声認識システム、コールセンタシステム、
音声認識方法及び記録媒体を提供すること他の目的とす
る。[0004] The present invention has been made in view of the above situation, and has as its object to provide a speech recognition system, a call center system, a speech recognition method, and a recording medium with high recognition accuracy. Speech recognition systems, call center systems,
Another object is to provide a voice recognition method and a recording medium.
【0005】[0005]
【課題を解決するための手段】上記目的を達成するた
め、この発明の第1の観点に係る音声認識システムは、
利用者からの用件を音声で受け付ける音声認識システム
において、前記利用者の音声を受信する受信手段と、前
記受信手段により受信された前記利用者の音声を分析
し、第1の認識結果と該第1の認識結果に対する第1の
認識確率とを生成する第1の認識手段と、前記利用者の
音声を管理者に供給する供給手段と、前記管理者の音声
を入力する入力手段と、前記入力手段により入力された
前記管理者の音声を分析し、第2の認識結果と該第2の
認識結果に対する第2の認識確率とを生成する第2の認
識手段と、前記第1と第2の認識手段により生成された
前記第1と第2の認識結果が一致するか否かを判別する
判別手段と、前記第1と第2の認識結果が一致すると判
別された場合、前記第1と第2の認識結果を最終的な認
識結果として決定する決定手段と、前記第1と第2の認
識結果が一致しないと判別された場合、前記第1と第2
の認識確率を比較して最終的な認識結果として選択する
手段と、を備える。In order to achieve the above object, a speech recognition system according to a first aspect of the present invention comprises:
In a voice recognition system that receives a message from a user by voice, a receiving unit that receives the voice of the user, and analyzes the voice of the user that is received by the receiving unit. A first recognition unit that generates a first recognition probability for a first recognition result, a supply unit that supplies a voice of the user to a manager, an input unit that inputs a voice of the manager, A second recognition unit that analyzes a voice of the manager input by the input unit and generates a second recognition result and a second recognition probability for the second recognition result; and the first and second recognition units. Determining means for determining whether or not the first and second recognition results generated by the recognition means match; and determining that the first and second recognition results match, determining whether the first and second recognition results match. Determine the second recognition result as the final recognition result And determining means, when the first and second recognition result is judged not to match, the first and second
Means for comparing the recognition probabilities of the two and selecting the result as the final recognition result.
【0006】このような構成によれば、利用者の音声と
管理者の音声との双方の認識処理を行い、それらの認識
結果が異なる場合は、双方の認識確率を比較して適当な
認識結果を採用する。これにより、より認識精度の高い
音声認識システムを実現することができる。According to such a configuration, recognition processing is performed on both the user's voice and the manager's voice, and if the recognition results are different, the two recognition probabilities are compared to determine the appropriate recognition result. Is adopted. Thereby, a speech recognition system with higher recognition accuracy can be realized.
【0007】前記選択手段は、前記第1の認識確率が前
記第2の認識確率より大きい場合、前記第1の認識結果
を最終的な認識結果として選択し、前記第1の認識結果
が前記第2の認識結果より小さい場合、前記第2の認識
結果を最終的な認識結果として選択する手段を備えても
よい。このような構成によれば、利用者の音声の認識確
率と管理者の音声の認識確率を比較し、認識確率の高い
方の認識結果を最終的な認識結果として採用する。これ
により、より認識精度の高い音声認識システムを実現す
ることができる。[0007] When the first recognition probability is larger than the second recognition probability, the selection means selects the first recognition result as a final recognition result, and the first recognition result is determined by the first recognition result. If the second recognition result is smaller than the second recognition result, a means for selecting the second recognition result as a final recognition result may be provided. According to such a configuration, the recognition probability of the user's voice and the recognition probability of the manager's voice are compared, and the recognition result with the higher recognition probability is adopted as the final recognition result. Thereby, a speech recognition system with higher recognition accuracy can be realized.
【0008】前記供給手段は、前記第1の認識結果を表
示する手段を更に備えてもよい。これにより、管理者
は、表示された認識結果を参照しながら利用者の音声を
復唱することができるため、管理者の作業の負荷を削減
することができる。[0008] The supply means may further comprise means for displaying the first recognition result. This allows the administrator to repeat the user's voice while referring to the displayed recognition result, thereby reducing the workload of the administrator.
【0009】該音声認識システムは、データベースと、
前記第1の認識手段より生成された前記第1の認識結果
をキーとして前記データベースを検索し、該当するデー
タを読み出して、表示する手段と、を備えてもよい。こ
れにより、1項目のデータ(例えば、ユーザID等)を
認識することにより、そのデータにリンクされたデータ
(例えば、住所、氏名、電話番号等)を自動的に表示さ
せることができる。このため、利用者が発声しなければ
ならない項目を削減し、利用者の作業負荷を削減するこ
とができる共に、迅速な対応が可能な効率の良いシステ
ムを実現することができる。[0009] The speech recognition system comprises: a database;
Means for searching the database using the first recognition result generated by the first recognition means as a key, reading out corresponding data, and displaying the data. Thus, by recognizing one item of data (for example, a user ID or the like), data (for example, an address, a name, a telephone number, or the like) linked to the data can be automatically displayed. For this reason, it is possible to reduce the items that the user must utter, reduce the workload of the user, and realize an efficient system that can respond quickly.
【0010】前記第1の認識確率と前記第2の認識確率
にそれぞれ第1の重み値と第2の重み値とを掛け合わせ
るようにしてもよい。これにより、例えば、利用者と管
理者の音声の品質が同等になるよう調整することができ
る。[0010] The first recognition probability and the second recognition probability may be multiplied by a first weight value and a second weight value, respectively. Thereby, for example, it is possible to make adjustments so that the voice qualities of the user and the administrator become equal.
【0011】また、この発明の第2の観点にかかるコー
ルセンタシステムは、利用者からの電話をオペレータが
受け付けるコールセンタシステムにおいて、前記利用者
の音声を受信する受信手段と、前記受信手段により受信
された前記利用者の音声を分析し、第1の認識結果と該
第1の認識結果に対する第1の認識確率とを生成する第
1の認識手段と、前記第1の認識手段により生成された
前記第1の認識結果を前記オペレータに提示示する手段
と、前記利用者の音声を前記オペレータに供給する手段
と、前記オペレータの音声を入力する入力手段と、前記
入力手段により入力された前記オペレータの音声を分析
し、第2の認識結果と該第2の認識結果に対する第2の
認識確率とを生成する第2の認識手段と、前記第1と第
2の認識手段により生成された前記第1と第2の認識結
果が一致するか否かを判別する手段と、前記第1と第2
の認識結果が一致すると判別された場合、該第1と第2
の認識結果を最終的な認識結果として決定し、前記第1
と第2の認識結果が一致しないと判別された場合、前記
第1と第2の認識確率を比較して最終的な認識結果を選
択する手段と、を備える。In a call center system according to a second aspect of the present invention, in a call center system in which an operator receives a telephone call from a user, a receiving means for receiving the voice of the user, and a receiving means for receiving the voice of the user. A first recognition unit that analyzes a voice of the user and generates a first recognition result and a first recognition probability for the first recognition result; and the first recognition unit that is generated by the first recognition unit. A means for presenting and displaying the recognition result to the operator, a means for supplying the voice of the user to the operator, an input means for inputting the voice of the operator, and a voice of the operator input by the input means Analyzing means for generating a second recognition result and a second recognition probability for the second recognition result; and Generated first and a means for the second recognition result is determined whether or not match, the first and second
If it is determined that the recognition results match, the first and second
Is determined as a final recognition result, and the first
Means for comparing the first and second recognition probabilities and selecting a final recognition result when it is determined that the first and second recognition results do not match.
【0012】このような構成によれば、利用者の音声と
オペレータの音声との双方の認識処理を行い、それらの
認識結果が異なる場合は、より認識確率の高い方を最終
的な認識結果として採用する。これにより、より認識精
度の高いコールセンタシステムを実現することができ
る。また、オペレータは、表示された認識結果を参照し
ながら利用者の用件を復唱することができるため、オペ
レータの作業の負荷を削減することができる。According to such a configuration, recognition processing is performed on both the user's voice and the operator's voice, and when the recognition results are different, the higher recognition probability is used as the final recognition result. adopt. As a result, a call center system with higher recognition accuracy can be realized. Further, since the operator can repeat the user's business while referring to the displayed recognition result, the operator's work load can be reduced.
【0013】また、この発明の第3の観点にかかる音声
認識方法は、利用者の音声を受信する受信ステップと、
前記受信ステップにより受信された音声を分析し、第1
の認識結果と該第1の認識結果に対する第1の認識確率
とを生成する第1の認識ステップと、前記音声を管理者
に供給し、該音声の復唱を求める復唱要求ステップと、
前記管理者に復唱された音声を分析し、第2の認識結果
と該第2の認識結果に対する第2の認識確率とを生成す
る第2の認識ステップと、前記第1と第2の認識手段に
より生成された前記第1と第2の認識結果が一致するか
否かを判別するステップと、前記第1と第2の認識結果
が一致すると判別された場合、該第1と第2の認識結果
を最終的な認識結果として決定し、前記第1と第2の認
識結果が一致しないと判別された場合、前記第1と第2
の認識確率を比較して最終的な認識結果を選択するステ
ップと、を備える。[0013] A voice recognition method according to a third aspect of the present invention includes a receiving step of receiving a voice of a user;
Analyzing the voice received by the receiving step,
A first recognition step of generating a recognition result of the first recognition result and a first recognition probability for the first recognition result; a repetition requesting step of supplying the voice to an administrator to request a repetition of the voice;
A second recognition step of analyzing a voice read back by the manager to generate a second recognition result and a second recognition probability for the second recognition result; and the first and second recognition means Determining whether or not the first and second recognition results generated by the first and second recognition processes match; and, if it is determined that the first and second recognition results match, the first and second recognition processes are performed. A result is determined as a final recognition result, and when it is determined that the first and second recognition results do not match, the first and second recognition results are determined.
And selecting a final recognition result by comparing the recognition probabilities of the two.
【0014】このような構成によれば、利用者の音声と
管理者の音声の双方に対して認識処理を行い、それらの
認識結果が異なる場合は、より認識確率の高い方を最終
的な認識結果として採用するため、音声認識の精度を高
めることができる。According to such a configuration, recognition processing is performed on both the user's voice and the manager's voice, and when the recognition results are different, the higher recognition probability is used for the final recognition. As a result, the accuracy of speech recognition can be improved.
【0015】また、この発明の第4の観点にかかる記録
媒体は、コンピュータを、利用者からの用件を音声で受
け付ける音声認識システムとして機能させるためのプロ
グラムを記録したコンピュータ読み取り可能な記録媒体
であって、該コンピュータを、前記利用者の音声を受信
する受信手段、前記受信手段により受信された前記利用
者の音声を分析し、第1の認識結果と該第1の認識結果
に対する第1の認識確率とを生成する第1の認識手段、
前記利用者の音声を管理者に供給する供給手段、前記管
理者の音声を入力する入力手段、前記入力手段により入
力された前記管理者の音声を分析し、第2の認識結果と
該第2の認識結果に対する第2の認識確率とを生成する
第2の認識手段、前記第1と第2の認識手段により生成
された前記第1と第2の認識結果が一致するか否かを判
別する判別手段、前記第1と第2の認識結果が一致する
と判別された場合、前記第1と第2の認識結果を最終的
な認識結果として決定する決定手段、前記第1と第2の
認識結果が一致しないと判別された場合、前記第1と第
2の認識確率を比較して最終的な認識結果を選択する選
択手段、として機能させるためのプログラムを記録す
る。A recording medium according to a fourth aspect of the present invention is a computer-readable recording medium that stores a program for causing a computer to function as a voice recognition system that accepts a business message from a user. Receiving means for receiving the user's voice, analyzing the user's voice received by the receiving means, and providing a first recognition result and a first recognition result for the first recognition result. First recognition means for generating a recognition probability;
Supply means for supplying the voice of the user to a manager, input means for inputting the voice of the manager, analyzing the voice of the manager input by the input means, and obtaining a second recognition result and the second A second recognition unit that generates a second recognition probability for the recognition result of the first determination unit, and determines whether the first and second recognition results generated by the first and second recognition units match. Determining means for determining the first and second recognition results as a final recognition result when determining that the first and second recognition results match; determining the first and second recognition results; If it is determined that does not match, a program for functioning as selection means for comparing the first and second recognition probabilities and selecting a final recognition result is recorded.
【0016】また、この発明の第5の観点にかかる記録
媒体は、コンピュータを、利用者からの電話をオペレー
タが受け付けるコールセンタシステムとして機能させる
ためのプログラムを記録したコンピュータ読み取り可能
な記録媒体であって、該コンピュータを、前記利用者の
音声を受信する受信手段、前記受信手段により受信され
た前記利用者の音声を分析し、第1の認識結果と該第1
の認識結果に対する第1の認識確率とを生成する第1の
認識手段、前記第1の認識手段により生成された前記第
1の認識結果を前記オペレータに提示する手段、前記利
用者の音声を前記オペレータに供給する手段、前記オペ
レータの音声を入力する入力手段、前記入力手段により
入力された前記オペレータの音声を分析し、第2の認識
結果と該第2の認識結果に対する第2の認識確率とを生
成する第2の認識手段、前記第1と第2の認識手段によ
り生成された前記第1と第2の認識結果が一致するか否
かを判別する手段、前記第1と第2の認識結果が一致す
ると判別された場合、該第1と第2の認識結果を最終的
な認識結果として決定し、前記第1と第2の認識結果が
一致しないと判別された場合、前記第1と第2の認識確
率を比較して最終的な認識結果を選択する手段、として
機能させるためのプログラムを記録する。A recording medium according to a fifth aspect of the present invention is a computer-readable recording medium storing a program for causing a computer to function as a call center system that accepts telephone calls from a user by an operator. Receiving means for receiving the voice of the user, analyzing the voice of the user received by the receiving means, and providing a first recognition result and the first
First recognition means for generating a first recognition probability with respect to the recognition result, means for presenting the first recognition result generated by the first recognition means to the operator, and voice of the user Means for supplying to the operator, input means for inputting the voice of the operator, analyzing the voice of the operator input by the input means, a second recognition result and a second recognition probability for the second recognition result; Second recognition means for generating the first recognition result, means for determining whether or not the first and second recognition results generated by the first and second recognition means match, the first and second recognition means When it is determined that the results match, the first and second recognition results are determined as final recognition results, and when it is determined that the first and second recognition results do not match, the first and second recognition results are determined. Comparing the second recognition probability and final Recording the Do means for selecting a recognition result, a program to function as a.
【0017】[0017]
【発明の実施の形態】本発明の実施の形態にかかる音声
認識システムについて、商品に関する問い合わせ、修理
依頼等を電話で受け付けるサポートセンタに設置された
音声認識システムを例に以下図面を参照して説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A speech recognition system according to an embodiment of the present invention will be described below with reference to the drawings, taking as an example a speech recognition system installed at a support center for receiving inquiries regarding products, repair requests, and the like by telephone. I do.
【0018】この音声認識システムは、図1に示すよう
に、回線制御部11と、オペレータ操作部12と、音声
認識部13と、主制御部15と、データベース17と、
を備える。回線制御部11は、利用者の電話からの音声
を公衆回線を介して受信し、音声認識部13に転送す
る。また、回線制御部11は、回線の接続・切断等を行
う。オペレータ操作部12は、マイク、キーボード、ス
ピーカ、表示装置、等を備える。As shown in FIG. 1, the speech recognition system includes a line control unit 11, an operator operation unit 12, a speech recognition unit 13, a main control unit 15, a database 17,
Is provided. The line control unit 11 receives voice from the user's telephone via a public line and transfers the voice to the voice recognition unit 13. The line control unit 11 connects / disconnects the line. The operator operation unit 12 includes a microphone, a keyboard, a speaker, a display device, and the like.
【0019】音声認識部13は、回線制御部11とオペ
レータ操作部12からのアナログ形式の音声データをデ
ジタルデータに変換するA/D変換部を備える。音声認
識部13は、音声データをA/D変換部でデジタルデー
タに変換し、認識処理を行う。認識方法は、認識結果と
その結果が正しい確率(尤度)が得られる方法であれ
ば、確率モデルを用いた方法、線形計画法を用いた方
法、実験に基づいた方法等、任意である。音声認識部1
3は、認識結果と尤度とを主制御部15に送信する。The voice recognition unit 13 includes an A / D conversion unit that converts analog voice data from the line control unit 11 and the operator operation unit 12 into digital data. The voice recognition unit 13 converts the voice data into digital data by an A / D conversion unit and performs a recognition process. The recognition method is arbitrary, such as a method using a probabilistic model, a method using a linear programming, a method based on an experiment, and the like, as long as a recognition result and a correct probability (likelihood) of the result can be obtained. Voice recognition unit 1
3 transmits the recognition result and the likelihood to the main control unit 15.
【0020】主制御部15は、音声認識部13からの利
用者の音声とオペレータの音声の認識結果の比較処理を
行い、また、この音声認識システム全体を制御する。ま
た、主制御部15は、利用者がユーザIDを発音した場
合、データベース17を参照して、該当する利用者の情
報(利用者情報)を読み出し、オペレータ操作部12の
表示装置に表示する。データベース17は、例えば、図
2に示すように、利用者に付与されたユーザIDをキー
として、利用者名、住所、電話番号、等の利用者情報を
記憶する。The main control unit 15 performs a process of comparing the recognition result of the user's voice from the voice recognition unit 13 with the recognition result of the operator's voice, and controls the entire voice recognition system. Further, when the user pronounces the user ID, the main control unit 15 refers to the database 17 to read out information of the corresponding user (user information), and displays the information on the display device of the operator operation unit 12. For example, as shown in FIG. 2, the database 17 stores user information such as a user name, an address, a telephone number, and the like using a user ID assigned to the user as a key.
【0021】本システムは、利用者の音声の認識結果を
暫定的な認識結果としてオペレータに提示して、オペレ
ータによる人為的ミスを削減すると共に、利用者の音声
の認識結果とオペレータの音声の認識結果とを比較(マ
ッチング)することにより、その認識精度を高めること
ができる音声認識システムである。次に、このシステム
における処理の流れについて図3を参照して説明する。The present system presents the recognition result of the user's voice to the operator as a provisional recognition result, reduces human error by the operator, and recognizes the recognition result of the user's voice and the recognition of the operator's voice. This is a speech recognition system that can improve the recognition accuracy by comparing (matching) results. Next, the flow of processing in this system will be described with reference to FIG.
【0022】まず、音声認識システムの回線制御部11
が、公衆回線を介して利用者からの電話(発呼)を受信
する(P1)。これに応答して、主制御部15は、「ど
のような御用件ですか?」等の用件の入力(発声)を促
す旨のガイダンスを送信する(P2)。利用者は、この
ガイダンスに応答して、「故障修理をお願いします。」
等の用件を発声する(P3)。主制御部15は、この音
声の受信に応答して、オペレータ操作部12のスピーカ
を介してオペレータに利用者の音声を供給する(P4)
と共に音声認識部13に受信した音声の認識を指示す
る。First, the line controller 11 of the speech recognition system
Receives a telephone call (call) from the user via the public line (P1). In response to this, the main control unit 15 transmits a guidance for prompting input (utterance) of a message such as "What kind of request is it?" (P2). The user responds to this guidance and asks "Please repair the device."
And the like (P3). The main control unit 15 supplies the user's voice to the operator via the speaker of the operator operation unit 12 in response to the reception of the voice (P4).
At the same time, it instructs the voice recognition unit 13 to recognize the received voice.
【0023】音声認識部13は、この指示に従い、利用
者の音声を認識し、認識結果とその尤度を主制御部15
に送信する。主制御部15は、認識結果に対応する画面
(例えば、認識結果が「故障修理」の場合、故障修理受
付画面)をオペレータ操作部12の表示装置に表示する
(P5)。オペレータは、「故障修理ですね。」のよう
に、利用者からの音声が示す事項を復唱する。ここで、
オペレータは、表示画面より認識結果が正しいと判断し
た場合、その表示画面(例えば、故障修理受付画面)を
参照しながら復唱することができる。オペレータの音声
は、オペレータ操作部12のマイクを介して主制御部1
5に送られる(P6)。The voice recognition unit 13 recognizes the voice of the user according to the instruction, and outputs the recognition result and the likelihood to the main control unit 15.
Send to The main control unit 15 displays a screen corresponding to the recognition result (for example, a failure repair reception screen when the recognition result is “failure repair”) on the display device of the operator operation unit 12 (P5). The operator repeats the item indicated by the voice from the user, such as "It is a repair." here,
If the operator determines from the display screen that the recognition result is correct, the operator can repeat the song while referring to the display screen (for example, a failure repair reception screen). The voice of the operator is transmitted to the main control unit 1 via the microphone of the operator operation unit 12.
5 (P6).
【0024】主制御部15は、回線制御部11と公衆回
線を介してオペレータの音声を利用者に供給する(P
7)と共に音声認識部13に音声の認識を指示する。音
声認識部13は、この指示に従い、オペレータの音声を
認識し、認識結果とその尤度を主制御部15に送信す
る。The main control unit 15 supplies the voice of the operator to the user via the line control unit 11 and the public line (P
At the same time, the voice recognition unit 13 is instructed to recognize voice. The voice recognition unit 13 recognizes the voice of the operator according to the instruction, and transmits the recognition result and the likelihood to the main control unit 15.
【0025】ここで、主制御部15は、利用者の音声の
認識結果及び尤度と、オペレータの音声の認識結果及び
尤度と、を比較し、最終的な認識結果を生成する。この
比較処理について図4を参照して説明する。なお、利用
者の音声が電話回線を介して送信されているため、利用
者の音声の認識結果よりもオペレータの音声の認識結果
の方が認識精度が高くなることが予想される。このこと
を考慮して、この比較処理では、各認識結果に重み付け
を行う。各認識結果に対応する重み付け(重み)の値の
取得方法は任意であり、例えば、電話回線の種類、複数
のオペレータの音声等、種々の条件において実験的に取
得された値でもよい。この例では利用者の認識結果への
重みをW1とし、オペレータの認識結果への重みをW2
とする。また、利用者の認識結果の尤度をT1とし、オ
ペレータの認識結果の尤度をT2とする。Here, the main control unit 15 compares the recognition result and the likelihood of the voice of the user with the recognition result and the likelihood of the voice of the operator, and generates a final recognition result. This comparison processing will be described with reference to FIG. Since the voice of the user is transmitted via the telephone line, it is expected that the recognition result of the voice of the operator will have higher recognition accuracy than the recognition result of the voice of the user. In consideration of this, in this comparison processing, each recognition result is weighted. The method of obtaining the value of the weight (weight) corresponding to each recognition result is arbitrary, and for example, may be a value experimentally obtained under various conditions, such as the type of telephone line and the voices of a plurality of operators. In this example, the weight on the recognition result of the user is W1, and the weight on the recognition result of the operator is W2.
And The likelihood of the user's recognition result is T1 and the likelihood of the operator's recognition result is T2.
【0026】まず、主制御部15は、利用者の音声の認
識結果とオペレータの音声の認識結果とが一致するか否
かを判別する(ステップS1)。一致すると判別した場
合、最終的な認識結果として、初めに認識した利用者の
音声の認識結果を選択し(ステップS5)、処理を終了
する。一致しないと判別した場合、主制御部15は、各
認識結果の尤度(T1、T2)と対応する重み(W1、
W2)とをそれぞれ掛け合わせた値をそれぞれ認識確度
(R1、R2)として計算し、比較する(ステップS
2、S3)。この比較において、利用者の音声の認識確
度R1の方が高い場合(R1>R2)、最終的な認識結
果として、利用者の音声の認識結果を選択し(ステップ
S5)、処理を終了する。また、オペレータの音声の認
識確度R2の方が高い場合(R1<R2)、最終的な認
識結果として、オペレータの音声の認識結果を選択する
(ステップS4)。First, the main controller 15 determines whether or not the recognition result of the user's voice matches the recognition result of the operator's voice (step S1). When it is determined that they match, the recognition result of the voice of the user recognized first is selected as the final recognition result (step S5), and the process ends. If it is determined that they do not match, the main control unit 15 determines the likelihood (T1, T2) of each recognition result and the weight (W1,
W2) is calculated as the recognition accuracy (R1, R2) and compared (step S2).
2, S3). In this comparison, when the recognition accuracy R1 of the voice of the user is higher (R1> R2), the recognition result of the voice of the user is selected as the final recognition result (step S5), and the process is terminated. If the recognition accuracy R2 of the voice of the operator is higher (R1 <R2), the recognition result of the voice of the operator is selected as the final recognition result (step S4).
【0027】上記比較処理において、最終的な認識結果
として、オペレータの認識結果を選択した場合、主制御
部15は、オペレータ操作部12の表示装置に表示され
ている画面を、オペレータの音声の認識結果に対応する
画面に変更し、初めに認識された利用者の音声の認識結
果を訂正する(P8)。また、最終的な認識結果とし
て、利用者の音声の認識結果を選択した場合、表示装置
の表示画面は変更しない。In the above comparison processing, when the operator's recognition result is selected as the final recognition result, the main control unit 15 changes the screen displayed on the display device of the operator operation unit 12 to recognize the operator's voice. The screen is changed to a screen corresponding to the result, and the recognition result of the voice of the user recognized first is corrected (P8). Further, when the recognition result of the user's voice is selected as the final recognition result, the display screen of the display device is not changed.
【0028】このようにして、利用者とオペレータの双
方の音声を認識し、それらの認識結果を比較し、認識精
度の高い方を選択することにより、より正確な認識結果
を取得することができる。また、初めに認識した利用者
の音声の認識結果を暫定的な認識結果としてオペレータ
に提示することにより、オペレータがその認識結果を参
照して利用者の音声の内容を復唱することができる。こ
れにより、聞き間違い等の人為的ミスを防ぎ、オペレー
タの作業の負荷を削減することができる。In this way, by recognizing the voices of both the user and the operator, comparing the recognition results, and selecting the one with the higher recognition accuracy, a more accurate recognition result can be obtained. . Further, by presenting the recognition result of the user's voice recognized first as a provisional recognition result to the operator, the operator can repeat the content of the user's voice with reference to the recognition result. As a result, human errors such as listening mistakes can be prevented, and the workload of the operator can be reduced.
【0029】また、1回の用件において、利用者からの
入力(発声)が複数回必要な場合、上述の処理(図2の
P2〜P8)が繰り返される。例えば、利用者からの用
件が「故障修理」の要求であった場合、主制御部15
は、オペレータ操作部12の表示装置に図5に示すよう
な複数の入力項目を備える画面を表示し、製品名を尋ね
る旨のガイダンスを利用者に送信する(P2)。このガ
イダンスに応答して、利用は製品名を発声する(P
3)。主制御部15は、この音声の受信に応答して、オ
ペレータに利用者の音声を供給する(P4)と共に音声
認識部13に受信した音声の認識を指示する。音声認識
部13は、主制御部15からの指示を受けて、この製品
名の認識処理を実行し、認識結果と尤度を主制御部15
に渡す。In a case where an input (utterance) from the user is required a plurality of times in one operation, the above-described processing (P2 to P8 in FIG. 2) is repeated. For example, when the request from the user is a request for “failure repair”, the main control unit 15
Displays a screen having a plurality of input items as shown in FIG. 5 on the display device of the operator operation unit 12 and transmits guidance to the user to ask for a product name (P2). In response to this guidance, the usage utters the product name (P
3). In response to the reception of the voice, the main control unit 15 supplies the user's voice to the operator (P4) and instructs the voice recognition unit 13 to recognize the received voice. Upon receiving an instruction from the main control unit 15, the voice recognition unit 13 executes the product name recognition process, and outputs the recognition result and the likelihood to the main control unit 15.
Pass to.
【0030】主制御部15は、図5に示す画面の製品名
の入力欄B1に認識結果を表示する(P5)。オペレー
タは、スピーカからの利用者の音声(この場合、製品
名)を復唱する(P6)。この際、オペレータは、表示
された認識結果を正しいと判断した場合、画面の製品名
の入力欄B1に表示された製品名を参照しながら復唱す
ることができる。主制御部15は、復唱された製品名を
利用者に供給する(P7)と共に音声認識部13に音声
の認識を指示する。音声認識部13は、復唱された製品
名の認識処理を行い、認識結果を主制御部15に渡す。
主制御部15は、2つの認識結果に対して比較処理を行
い、最終的な認識結果を決定する。ここで、2つの認識
結果が異なり、最終的な認識結果をオペレータが発声し
た製品名の認識結果とした場合、表示画面の製品名の入
力欄B1の認識結果を訂正する(P8)。又、最終結果
を当初の認識結果として決定した場合、次の入力項目を
尋ねるガイダンス(例えば、ユーザID)を利用者に送
る(P2)。The main controller 15 displays the recognition result in the product name input field B1 on the screen shown in FIG. 5 (P5). The operator repeats the user's voice (in this case, the product name) from the speaker (P6). At this time, if the operator determines that the displayed recognition result is correct, the operator can repeat the song while referring to the product name displayed in the product name input field B1 on the screen. The main control unit 15 supplies the repeated product name to the user (P7) and instructs the voice recognition unit 13 to recognize the voice. The voice recognizing unit 13 performs a process of recognizing the name of the repetitive product, and passes the recognition result to the main control unit 15.
The main control unit 15 performs a comparison process on the two recognition results, and determines a final recognition result. Here, if the two recognition results are different and the final recognition result is the recognition result of the product name uttered by the operator, the recognition result in the product name input field B1 on the display screen is corrected (P8). When the final result is determined as the initial recognition result, guidance (eg, user ID) for asking the next input item is sent to the user (P2).
【0031】なお、本システムでは、主制御部15が、
音声認識部13から受け取った認識結果を基にデータベ
ース17を検索し、対応するデータを読み出してオペレ
ータ操作部に表示することができる。主制御部15は、
データベース17を参照するためのキーとなる項目(キ
ー項目)を予め記憶しておき、そのキー項目が入力さ
れ、認識されたとき、その認識結果を基にデータベース
17を参照する。In the present system, the main control unit 15
The database 17 is searched based on the recognition result received from the voice recognition unit 13, and the corresponding data can be read out and displayed on the operator operation unit. The main control unit 15
Items (key items) serving as keys for referring to the database 17 are stored in advance, and when the key items are input and recognized, the database 17 is referred to based on the recognition result.
【0032】本システムにおけるデータベース17は、
図2に示すようにユーザIDをキーとする。ユーザID
を要求する旨のガイダンスに従って利用者がユーザID
を発声した場合、発声されたユーザIDが音声認識部1
3により認識され、主制御部15に渡される。主制御部
15は、データベース17を検索し、認識されたユーザ
IDに対応する各項目(利用者名と住所と電話番号)を
読み出し、認識結果であるユーザIDと共に例えば図5
に示す入力欄B2、B3、B4、B5にそれぞれ表示す
る。The database 17 in the present system is
As shown in FIG. 2, the user ID is used as a key. User ID
User according to the guidance to request
Is uttered, the uttered user ID is the speech recognition unit 1
3 and passed to the main control unit 15. The main control unit 15 searches the database 17 and reads out each item (user name, address, and telephone number) corresponding to the recognized user ID, and, together with the user ID as the recognition result, for example, as shown in FIG.
In the input fields B2, B3, B4, and B5 shown in FIG.
【0033】オペレータは、ユーザIDを復唱し、その
復唱されたユーザIDが音声認識部13により認識さ
れ、主制御部15により認識結果の比較処理がなされ、
最終的な認識結果が決定される。最終的な認識結果とし
て、当初の認識結果(利用者により発声されたユーザI
Dの認識結果)ではなくオペレータが発声したユーザI
Dの認識結果が選択された場合、そのユーザIDをキー
としてデータベース17が再検索される。このように、
入力項目をキーとするデータベースを備えることによ
り、キー項目に対応する項目を読み出してオペレータに
提示することができる。これにより、データ入力の手間
が省け、処理時間を短縮することができる。The operator repeats the user ID, the repetitive user ID is recognized by the voice recognition unit 13, and the main control unit 15 performs a comparison process of the recognition result.
The final recognition result is determined. As the final recognition result, the initial recognition result (the user I uttered by the user
D) The user I who was uttered by the operator instead of the recognition result of D)
When the recognition result of D is selected, the database 17 is searched again using the user ID as a key. in this way,
By providing a database using input items as keys, items corresponding to the key items can be read and presented to the operator. As a result, the trouble of inputting data can be saved, and the processing time can be reduced.
【0034】次に、本システムにおける具体的な処理の
流れを、利用者C(ユーザID”A021”)から商品
注文の電話を受信し、その用件を処理する場合を例に図
6を参照して説明する。まず、利用者Cからの電話(発
呼)が回線制御部11により受信(着呼)される(F
1)。これに応答して、主制御部15は「御用件をどう
ぞ。」等のガイダンスを利用者に送る(F2)。このガ
イダンスを受けて、利用者は、例えば「商品を注文した
い。」と発声する。利用者の音声は、オペレータ操作部
12のスピーカよりオペレータに通知されると共に、音
声認識部13に渡され、認識処理が実行される。認識処
理完了後、認識結果とその尤度が主制御部15に渡され
る。主制御部15は、認識された「商品の注文」に対応
する「商品注文受付画面」(図7)をオペレータ操作部
12の表示装置に表示する(F3)。Next, a specific processing flow in the present system will be described with reference to FIG. 6 as an example of a case where a telephone for a product order is received from a user C (user ID “A021”) and the business is processed. I will explain. First, a telephone call (call) from the user C is received (received) by the line control unit 11 (F).
1). In response, the main control unit 15 sends guidance such as "Please do your business" to the user (F2). Upon receiving this guidance, the user utters, for example, "I want to order a product." The voice of the user is notified to the operator from the speaker of the operator operation unit 12 and passed to the voice recognition unit 13 to execute the recognition process. After the completion of the recognition process, the recognition result and its likelihood are passed to the main control unit 15. The main control unit 15 displays a “commodity order reception screen” (FIG. 7) corresponding to the recognized “commodity order” on the display device of the operator operation unit 12 (F3).
【0035】オペレータは、利用者の音声を聞き、画面
を参照しながら、例えば「商品の注文ですね。」と、利
用者の用件を復唱する。オペレータの音声は、公衆回線
を介して利用者に通知されると共に、音声認識部13に
渡され、認識処理が実行される。認識処理完了後、認識
結果とその尤度が主制御部15に渡される(F4)。主
制御部15は、利用者の音声とオペレータの音声の認識
結果の比較処理を実行し、最終的な認識結果を決定する
(F5)。The operator listens to the user's voice and refers to the screen to repeat the user's message, for example, "It's a product order." The voice of the operator is notified to the user via a public line, and is also passed to the voice recognition unit 13 to execute a recognition process. After the completion of the recognition process, the recognition result and its likelihood are passed to the main control unit 15 (F4). The main control unit 15 performs a comparison process of the recognition result of the voice of the user and the recognition result of the voice of the operator, and determines a final recognition result (F5).
【0036】双方の認識結果が一致した場合、主制御部
15は次の入力項目を処理するために、「ご注文の製品
名をどうぞ。」等のガイダンスを利用者に送る(F
6)。このガイダンスを受けて、利用者は、例えば「コ
ードレス電話機”BBフォン”」と発声する。利用者の
音声は、オペレータ操作部12のスピーカよりオペレー
タに通知されると共に、音声認識部13に渡され、認識
処理が実行される。認識処理完了後、音声認識部13
は、認識結果とその尤度を主制御部15に渡す。このと
き、例えば「コードレス電話機”PPフォン”」という
誤った認識結果と尤度「0.4」が取得され主制御部1
5に渡されたこととする。主制御部15は、認識された
「コードレス電話機”PPフォン”」を注文製品名入力
欄B11に表示する(F7)。When the two recognition results match, the main control unit 15 sends a guidance such as "Please enter the product name of the order" to the user in order to process the next input item (F).
6). In response to this guidance, the user utters, for example, "a cordless telephone" BB phone "". The voice of the user is notified to the operator from the speaker of the operator operation unit 12 and passed to the voice recognition unit 13 to execute the recognition process. After the completion of the recognition process, the voice recognition unit 13
Passes the recognition result and its likelihood to the main control unit 15. At this time, for example, an erroneous recognition result of “cordless telephone“ PP phone ”” and a likelihood “0.4” are obtained, and the main control unit 1
5 The main control unit 15 displays the recognized “cordless telephone“ PP phone ”” in the order product name input field B11 (F7).
【0037】オペレータは、利用者の音声を聞き、画面
表示が誤りであると判断し、「コードレス電話機”BB
フォン”ですね。」と、利用者の用件を復唱する。オペ
レータの音声は、公衆回線を介して利用者に通知される
と共に、音声認識部13に渡され、認識処理が実行され
る(F8)。この場合、正しい認識結果である「コード
レス電話機”BBフォン”」と尤度「0.8」が取得さ
れ主制御部15に渡されたこととする(F9)。The operator listens to the voice of the user, determines that the screen display is incorrect, and sets the "cordless telephone" BB
The phone says, "I repeat." The voice of the operator is notified to the user via a public line, and is also passed to the voice recognition unit 13 to execute a recognition process (F8). In this case, it is assumed that the correct recognition result “cordless telephone“ BB phone ”” and the likelihood “0.8” have been obtained and passed to the main control unit 15 (F9).
【0038】主制御部15は、利用者の音声とオペレー
タの音声の認識結果について、それぞれの尤度とその重
みとを掛け合わせた値を比較する。例えば、利用者の音
声の認識結果とオペレータの音声の認識結果に対する重
みがそれぞれ「0.8」と「0.7」に設定されている
場合、利用者の音声に対する認識確度R1は「0.32
(=0.4×0.8)」となり、オペレータの音声に対
する認識確度R2は「0.56(=0.8×0.7)」
となる。主制御部15は、オペレータの音声の認識確度
の方が高い(R1<R2)と判別し、最終的な認識結果
を「コードレス電話機”BBフォン”」と決定する。こ
の場合、主制御部15は、図7の画面の注文製品名入力
欄B11の内容を訂正する(F9)。The main control unit 15 compares the values obtained by multiplying the respective likelihoods and the weights of the recognition results of the user's voice and the operator's voice. For example, when the weights for the recognition result of the user's voice and the recognition result of the operator's voice are set to “0.8” and “0.7”, respectively, the recognition accuracy R1 for the user's voice is “0. 32
(= 0.4 × 0.8) ”and the recognition accuracy R2 for the voice of the operator is“ 0.56 (= 0.8 × 0.7) ”.
Becomes The main control unit 15 determines that the recognition accuracy of the voice of the operator is higher (R1 <R2), and determines the final recognition result as “cordless telephone“ BB phone ””. In this case, the main control unit 15 corrects the contents of the order product name input column B11 on the screen of FIG. 7 (F9).
【0039】次に、主制御部15は、「ユーザIDをど
うぞ」等のガイダンスを利用者に送る(F10)。この
ガイダンスを受けて、利用者は自己のID(この場合、
「A021」)を発声する。利用者の音声は、オペレー
タ操作部12のスピーカよりオペレータに通知されると
共に、音声認識部13に渡され、認識処理が実行され
る。認識処理完了後、認識結果とその尤度が主制御部1
5に渡される。Next, the main control unit 15 sends guidance such as "Please enter your user ID" to the user (F10). In response to this guidance, the user must enter his or her ID (in this case,
"A021"). The voice of the user is notified to the operator from the speaker of the operator operation unit 12 and passed to the voice recognition unit 13 to execute the recognition process. After the completion of the recognition process, the recognition result and its likelihood are stored in the main control unit 1
Passed to 5.
【0040】主制御部15は、この利用者からの入力デ
ータ(ユーザID)がデータベース17のキー項目であ
ると判別し、音声認識部13から受け取った「A02
1」をキーとしてデータベース17を検索し、対応する
氏名と住所と電話番号のデータを読み出す。主制御部1
5は、認識結果である「A021」をユーザID入力欄
B12に表示すると共に、読み出したデータを氏名入力
欄B13と住所入力欄B14と電話番号入力欄B15に
それぞれ表示する(F11)。The main control unit 15 determines that the input data (user ID) from the user is a key item of the database 17 and receives “A02” received from the voice recognition unit 13.
The database 17 is searched by using "1" as a key, and the data of the corresponding name, address, and telephone number are read. Main control unit 1
5 displays the recognition result “A021” in the user ID input field B12 and displays the read data in the name input field B13, address input field B14, and telephone number input field B15 (F11).
【0041】オペレータは、利用者が発声したユーザI
Dを聞き、画面を参照しながら、「A021ですね。」
と、利用者のユーザIDを復唱する。オペレータの音声
は、公衆回線を介して利用者に通知されると共に、音声
認識部13に渡され、認識処理が実行される。認識処理
完了後、認識結果とその尤度が主制御部15に渡される
(F12)。The operator is the user I who spoke
Listening to D and referring to the screen, "A021."
And repeat the user ID of the user. The voice of the operator is notified to the user via a public line, and is also passed to the voice recognition unit 13 to execute a recognition process. After the completion of the recognition process, the recognition result and its likelihood are passed to the main control unit 15 (F12).
【0042】主制御部15は、利用者の音声とオペレー
タの音声の認識結果の比較処理を実行し、最終的な認識
結果を決定する(F13)。双方の認識結果が一致した
場合、主制御部15は、商品注文受付画面において必要
な入力項目は全て入力されたとみなし、利用者に「あり
がとうございました。」等のガイダンスを送信し(F1
4)、回線制御部11に回線を切断するよう指示する。
この指示を受けて、回線制御部11は回線を切断し、処
理を終了する(F15)。The main control unit 15 executes a comparison process between the recognition results of the user's voice and the operator's voice to determine the final recognition result (F13). If the two recognition results match, the main control unit 15 considers that all necessary input items have been entered on the product order reception screen, and transmits guidance such as “Thank you” to the user (F1).
4) Instruct the line controller 11 to disconnect the line.
Upon receiving this instruction, the line control unit 11 disconnects the line and ends the processing (F15).
【0043】このようにして、利用者の音声とオペレー
タの音声の双方に対して認識処理を実行し、それらの認
識結果を比較することにより、より精度の高い認識結果
を取得することができる。また、利用者が発声した音声
を認識し、その認識結果を画面表示してオペレータに提
示することにより、オペレータがその画面表示を参照し
ながら復唱することができるため、オペレータの作業を
支援することができる。In this way, by performing recognition processing on both the user's voice and the operator's voice and comparing the recognition results, a more accurate recognition result can be obtained. Also, by recognizing the voice uttered by the user, displaying the recognition result on the screen and presenting it to the operator, the operator can repeat the song while referring to the screen display. Can be.
【0044】なお、次の項目の入力に移る前に、「よろ
しいですか?」等、利用者の確認を求めるガイダンスを
送信し、利用者から例えば「はい。」という音声が送信
された場合、次の入力に移り、例えば「いいえ。」とい
う音声が送信された場合、利用者にその項目の再発声を
促すようにしてもよい。このとき、再発生された音声
は、音声認識部13より認識されてもよく、オペレータ
によりオペレータ操作部12のキーボードから入力され
るようにしてもよい。Before the next item is input, a guidance requesting confirmation of the user, such as "Are you sure?", Is transmitted. If the user transmits a voice such as "Yes." Moving to the next input, for example, when a voice saying “No.” is transmitted, the user may be prompted to re-utter the item. At this time, the regenerated voice may be recognized by the voice recognition unit 13 or may be input by the operator from the keyboard of the operator operation unit 12.
【0045】また、オペレータがガイダンスをオペレー
タ操作部12のマイクから発声するようにしてもよい。The operator may give guidance from the microphone of the operator operation unit 12.
【0046】なお、データベースに記憶されるデータは
上記説明のデータに限定されず種々のデータを記憶して
もよく、この音声認識システムは、そのようなデータベ
ースを複数備えてもよい。Note that the data stored in the database is not limited to the data described above, and various data may be stored. This speech recognition system may include a plurality of such databases.
【0047】また、上記説明では、比較処理において、
尤度と重みとを掛け合わせた認識確度を比較するように
しているが、尤度のみを用いて比較処理を行うようにし
てもよい。In the above description, in the comparison processing,
Although the recognition accuracy obtained by multiplying the likelihood by the weight is compared, the comparison process may be performed using only the likelihood.
【0048】また、図4に示す比較処理において、認識
確度R1とR2を比較し、それらが一致する場合、どち
らか一方を選択するステップを更に設けてもよい。この
選択は、オペレータが行うようにしてもよく、システム
が予め設定された選択基準に従って行うようにしてもよ
い。In the comparison processing shown in FIG. 4, a step of comparing the recognition degrees R1 and R2 and, when they match, selecting one of them may be further provided. This selection may be performed by the operator or the system may be performed according to a preset selection criterion.
【0049】なお、この発明の音声認識システムは、専
用のシステムによらず、通常のコンピュータシステムを
用いて実現可能である。例えば、アナログデータをデジ
タルデータに変換するA/D変換器とオペレータの音声
を入力するためのマイクとを備えるコンピュータに上述
の動作を実行するためのプログラムを格納した媒体(フ
ロッピーディスク、CD−ROM等)から該プログラム
をインストールすることにより、上述の処理を実行する
音声認識システムを構成することができる。なお、上述
の機能を、OSが分担又はOSとアプリケーションの共
同により実現する場合等には、OS以外の部分のみを媒
体に格納してもよい。The speech recognition system of the present invention can be realized by using a general computer system without using a dedicated system. For example, a medium (floppy disk, CD-ROM) storing a program for executing the above-described operation in a computer including an A / D converter for converting analog data into digital data and a microphone for inputting an operator's voice. Etc.) to install the program, a speech recognition system that executes the above-described processing can be configured. In the case where the above-described functions are realized by the OS sharing or the OS and the application being jointly used, only the part other than the OS may be stored in the medium.
【0050】また、コンピュータにプログラムを供給す
るための媒体は、通信媒体(通信回線、通信ネットワー
ク、通信システムのように、一時的に且つ流動的にプロ
グラムを保持する媒体)でも良い。例えば、通信ネット
ワークの掲示板(BBS)に該プログラムを掲示し、こ
れをネットワークを介して配信してもよい。そして、こ
のプログラムを起動し、OSの制御下で、他のアプリケ
ーションプログラムと同様に実行することにより、上述
の処理を実行することができる。The medium for supplying the program to the computer may be a communication medium (a medium that temporarily and fluidly stores the program, such as a communication line, a communication network, or a communication system). For example, the program may be posted on a bulletin board (BBS) of a communication network and distributed via the network. Then, by starting this program and executing it in the same manner as other application programs under the control of the OS, the above-described processing can be executed.
【0051】[0051]
【発明の効果】以上説明したように、本発明によれば、
利用者の音声と管理者の音声の双方に対して認識処理を
行い、それらの認識結果が異なる場合は、より認識確率
の高い方を最終的な認識結果として採用する。これによ
り、より精度の高い音声認識を実現することができるで
きる。As described above, according to the present invention,
Recognition processing is performed on both the user's voice and the manager's voice, and when the recognition results are different, the one with a higher recognition probability is adopted as the final recognition result. Thereby, more accurate voice recognition can be realized.
【図1】本発明の実施の形態に係る音声認識システムの
構成を示す図である。FIG. 1 is a diagram showing a configuration of a speech recognition system according to an embodiment of the present invention.
【図2】データベースに記憶されるデータの構造を示す
図である。FIG. 2 is a diagram showing a structure of data stored in a database.
【図3】本システムにおける処理の流れを説明するため
の図である。FIG. 3 is a diagram for explaining a processing flow in the present system.
【図4】比較処理を説明するためのフローチャートであ
る。FIG. 4 is a flowchart illustrating a comparison process.
【図5】故障修理の受付時に、オペレータ操作部の表示
装置が表示する画面を示す図である。FIG. 5 is a diagram showing a screen displayed on a display device of an operator operation unit when a failure repair is received.
【図6】利用者から商品の注文を受け付ける場合の処理
を説明するための図である。FIG. 6 is a diagram for explaining processing when an order for a product is received from a user.
【図7】商品の注文の受付時に、オペレータ操作部の表
示装置が表示する画面を示す図である。FIG. 7 is a diagram illustrating a screen displayed by a display device of an operator operation unit when an order for a product is received.
11 回線制御部 12 オペレータ操作部 13 音声認識部 15 主制御部 17 データベース 11 Line control unit 12 Operator operation unit 13 Voice recognition unit 15 Main control unit 17 Database
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 FI G10L 3/00 561 H04M 11/00 302 H04M 11/00 302 G06F 15/403 310Z ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 6 Identification code FI G10L 3/00 561 H04M 11/00 302 H04M 11/00 302 G06F 15/403 310Z
Claims (10)
認識システムにおいて、 前記利用者の音声を受信する受信手段と、 前記受信手段により受信された前記利用者の音声を分析
し、第1の認識結果と該第1の認識結果に対する第1の
認識確率とを生成する第1の認識手段と、 前記利用者の音声を管理者に供給する供給手段と、 前記管理者の音声を入力する入力手段と、 前記入力手段により入力された前記管理者の音声を分析
し、第2の認識結果と該第2の認識結果に対する第2の
認識確率とを生成する第2の認識手段と、 前記第1と第2の認識手段により生成された前記第1と
第2の認識結果が一致するか否かを判別する判別手段
と、 前記第1と第2の認識結果が一致すると判別された場
合、前記第1と第2の認識結果を最終的な認識結果とし
て決定する決定手段と、 前記第1と第2の認識結果が一致しないと判別された場
合、前記第1と第2の認識確率を比較して最終的な認識
結果を選択する選択手段と、を備える、 ことを特徴とする音声認識システム。1. A voice recognition system for receiving a business message from a user by voice, comprising: receiving means for receiving the voice of the user; analyzing the voice of the user received by the receiving means; A first recognition unit that generates a recognition result of the first recognition result and a first recognition probability for the first recognition result; a supply unit that supplies a voice of the user to a manager; and a voice of the manager. An input unit, a second recognition unit that analyzes a voice of the administrator input by the input unit, and generates a second recognition result and a second recognition probability for the second recognition result; Determining means for determining whether or not the first and second recognition results generated by the first and second recognition means match; and determining that the first and second recognition results match. Final recognition of the first and second recognition results Determining means for determining as a result, and selecting means for comparing the first and second recognition probabilities and selecting a final recognition result when it is determined that the first and second recognition results do not match. A speech recognition system comprising:
記第2の認識確率より大きい場合、前記第1の認識結果
を最終的な認識結果として選択し、前記第1の認識結果
が前記第2の認識結果より小さい場合、前記第2の認識
結果を最終的な認識結果として選択する手段を備える、 ことを特徴とする請求項1に記載の音声認識システム。2. The method according to claim 1, wherein the selecting unit selects the first recognition result as a final recognition result when the first recognition probability is larger than the second recognition probability. The speech recognition system according to claim 1, further comprising: means for selecting the second recognition result as a final recognition result when the result is smaller than the second recognition result.
示する手段を更に備える、ことを特徴とする請求項1又
は2に記載の音声認識システム。3. The speech recognition system according to claim 1, wherein said supply means further comprises means for displaying said first recognition result.
前記第1の認識手段より生成された前記第1の認識結果
をキーとして前記データベースを検索し、該当するデー
タを読み出して、表示する手段と、を備える、 ことを特徴とする請求項1乃至3のいずれか1項に記載
の音声認識システム。4. A speech recognition system comprising: a database;
4. A means for searching the database using the first recognition result generated by the first recognition means as a key, reading and displaying corresponding data, and displaying the data. The speech recognition system according to claim 1.
にそれぞれ第1の重み値と第2の重み値とを掛け合わせ
ることにより、前記利用者と前記管理者の音声の品質が
同等になるよう調整する調整手段を備える、ことを特徴
とする請求項1乃至4のいずれか1項に記載の音声認識
システム。5. The voice quality of the user and the manager is improved by multiplying the first recognition probability and the second recognition probability by a first weight value and a second weight value, respectively. The speech recognition system according to any one of claims 1 to 4, further comprising an adjusting unit that adjusts the voice recognition to be equal.
率と前記第2の認識確率にそれぞれ第1の重み値と第2
の重み値とを掛け合わせる手段を備え、 前記選択手段は、前記第1と第2の認識結果が一致しな
いと判別された場合、前記第1の重み値を掛け合わされ
た前記第1の認識確率と前記第2の重み値を掛け合わさ
れた前記第2の認識確率とが一致するか否かを判別する
手段と、前記第1の重み値を掛け合わされた前記第1の
認識確率と前記第2の重み値を掛け合わされた前記第2
の認識確率とが一致しないと判別された場合、該認識確
率の大きい方の認識結果を最終的な認識結果として選択
する手段と、前記第1の重み値を掛け合わされた前記第
1の認識確率と前記第2の重み値を掛け合わされた前記
第2の認識確率とが一致すると判別された場合、前記第
1と第2の認識結果のいずれか一方を最終的な認識結果
として選択する手段と、を備える、 ことを特徴とする請求項1乃至4のいずれか1項に記載
の音声認識システム。6. The speech recognition system according to claim 1, wherein the first recognition probability and the second recognition probability have a first weight value and a second weight value, respectively.
Means for multiplying the first recognition probability multiplied by the first weight value when it is determined that the first and second recognition results do not match. Means for determining whether or not the second recognition probability multiplied by the second weight value coincides with the first recognition probability; and the second recognition probability multiplied by the first weight value and the second recognition probability. The second multiplied by the weight of
Means for selecting a recognition result having a higher recognition probability as a final recognition result when it is determined that the recognition probability does not match with the first recognition value; and a first recognition probability multiplied by the first weight value. Means for selecting one of the first and second recognition results as a final recognition result when it is determined that the second recognition probability multiplied by the second weight value matches the second recognition probability. The speech recognition system according to any one of claims 1 to 4, further comprising:
るコールセンタシステムにおいて、 前記利用者の音声を受信する受信手段と、 前記受信手段により受信された前記利用者の音声を分析
し、第1の認識結果と該第1の認識結果に対する第1の
認識確率とを生成する第1の認識手段と、 前記第1の認識手段により生成された前記第1の認識結
果を前記オペレータに提示示する手段と、 前記利用者の音声を前記オペレータに供給する手段と、 前記オペレータの音声を入力する入力手段と、 前記入力手段により入力された前記オペレータの音声を
分析し、第2の認識結果と該第2の認識結果に対する第
2の認識確率とを生成する第2の認識手段と、 前記第1と第2の認識手段により生成された前記第1と
第2の認識結果が一致するか否かを判別する手段と、 前記第1と第2の認識結果が一致すると判別された場
合、該第1と第2の認識結果を最終的な認識結果として
決定し、前記第1と第2の認識結果が一致しないと判別
された場合、前記第1と第2の認識確率を比較して最終
的な認識結果を選択する手段と、を備える、 ことを特徴とするコールセンタシステム。7. A call center system in which an operator accepts a telephone call from a user, a receiving means for receiving the voice of the user, and analyzing the voice of the user received by the receiving means to perform first recognition. First recognition means for generating a result and a first recognition probability for the first recognition result; means for presenting and showing the first recognition result generated by the first recognition means to the operator; Means for supplying the voice of the user to the operator; input means for inputting the voice of the operator; analyzing the voice of the operator input by the input means; A second recognition unit that generates a second recognition probability for the recognition result of the first and second recognition units; and determining whether the first and second recognition results generated by the first and second recognition units match each other. Means for determining, and when it is determined that the first and second recognition results match, the first and second recognition results are determined as a final recognition result, and the first and second recognition results are determined. Means for comparing the first and second recognition probabilities with each other and selecting a final recognition result when it is determined that the two do not match with each other.
の認識結果と該第1の認識結果に対する第1の認識確率
とを生成する第1の認識ステップと、 前記音声を管理者に供給し、該音声の復唱を求める復唱
要求ステップと、 前記管理者に復唱された音声を分析し、第2の認識結果
と該第2の認識結果に対する第2の認識確率とを生成す
る第2の認識ステップと、 前記第1と第2の認識手段により生成された前記第1と
第2の認識結果が一致するか否かを判別するステップ
と、 前記第1と第2の認識結果が一致すると判別された場
合、該第1と第2の認識結果を最終的な認識結果として
決定し、前記第1と第2の認識結果が一致しないと判別
された場合、前記第1と第2の認識確率を比較して最終
的な認識結果を選択するステップと、を備える、 ことを特徴とする音声認識方法。8. A receiving step of receiving a user's voice, analyzing the voice received in the receiving step,
A first recognition step of generating a recognition result of the first recognition result and a first recognition probability for the first recognition result; a repetition requesting step of supplying the voice to a manager and requesting a repetition of the voice; A second recognition step of analyzing the repetition of the voice and generating a second recognition result and a second recognition probability for the second recognition result; and a second recognition step generated by the first and second recognition means. Determining whether or not the first and second recognition results match; and determining that the first and second recognition results match, finalizes the first and second recognition results. Determining the final recognition result by comparing the first and second recognition probabilities when it is determined that the first and second recognition results do not match; A speech recognition method, comprising:
で受け付ける音声認識システムとして機能させるための
プログラムを記録したコンピュータ読み取り可能な記録
媒体であって、 該コンピュータを、 前記利用者の音声を受信する受信手段、 前記受信手段により受信された前記利用者の音声を分析
し、第1の認識結果と該第1の認識結果に対する第1の
認識確率とを生成する第1の認識手段、 前記利用者の音声を管理者に供給する供給手段、 前記管理者の音声を入力する入力手段、 前記入力手段により入力された前記管理者の音声を分析
し、第2の認識結果と該第2の認識結果に対する第2の
認識確率とを生成する第2の認識手段、 前記第1と第2の認識手段により生成された前記第1と
第2の認識結果が一致するか否かを判別する判別手段、 前記第1と第2の認識結果が一致すると判別された場
合、前記第1と第2の認識結果を最終的な認識結果とし
て決定する決定手段、 前記第1と第2の認識結果が一致しないと判別された場
合、前記第1と第2の認識確率を比較して最終的な認識
結果を選択する選択手段、 として機能させるためのプログラムを記録したコンピュ
ータ読み取り可能な記録媒体。9. A computer-readable recording medium storing a program for causing a computer to function as a voice recognition system that accepts a business message from a user, wherein the computer reads the voice of the user. Receiving means for receiving, first recognition means for analyzing a voice of the user received by the receiving means, and generating a first recognition result and a first recognition probability for the first recognition result; Supply means for supplying the voice of the user to the administrator; input means for inputting the voice of the administrator; analyzing the voice of the administrator input by the input means; and a second recognition result and the second A second recognition unit that generates a second recognition probability for the recognition result; a determination unit that determines whether the first and second recognition results generated by the first and second recognition units match. Another means, determining means for determining the first and second recognition results as a final recognition result when it is determined that the first and second recognition results match, the first and second recognition results If it is determined that the two do not match, a selection unit that compares the first and second recognition probabilities to select a final recognition result. A computer-readable recording medium recording a program for causing the program to function as:
ペレータが受け付けるコールセンタシステムとして機能
させるためのプログラムを記録したコンピュータ読み取
り可能な記録媒体であって、 該コンピュータを、 前記利用者の音声を受信する受信手段、 前記受信手段により受信された前記利用者の音声を分析
し、第1の認識結果と該第1の認識結果に対する第1の
認識確率とを生成する第1の認識手段、 前記第1の認識手段により生成された前記第1の認識結
果を前記オペレータに提示する手段、 前記利用者の音声を前記オペレータに供給する手段、 前記オペレータの音声を入力する入力手段、 前記入力手段により入力された前記オペレータの音声を
分析し、第2の認識結果と該第2の認識結果に対する第
2の認識確率とを生成する第2の認識手段、 前記第1と第2の認識手段により生成された前記第1と
第2の認識結果が一致するか否かを判別する手段、 前記第1と第2の認識結果が一致すると判別された場
合、該第1と第2の認識結果を最終的な認識結果として
決定し、前記第1と第2の認識結果が一致しないと判別
された場合、前記第1と第2の認識確率を比較して最終
的な認識結果を選択する手段、 として機能させるためのプログラムを記録したコンピュ
ータ読み取り可能な記録媒体。10. A computer-readable recording medium which records a program for causing a computer to function as a call center system for receiving a telephone call from a user by an operator, the computer receiving the user's voice. Receiving means, analyzing the voice of the user received by the receiving means, generating a first recognition result and a first recognition probability for the first recognition result, a first recognition means, Means for presenting the first recognition result generated by the recognition means to the operator, means for supplying the user's voice to the operator, input means for inputting the voice of the operator, input by the input means Analyzing the voice of the operator, and generating a second recognition result and a second recognition probability for the second recognition result. A second recognition unit, a unit for determining whether the first and second recognition results generated by the first and second recognition units match, the first and second recognition results match. If it is determined, the first and second recognition results are determined as final recognition results. If it is determined that the first and second recognition results do not match, the first and second recognition results are determined. Means for comparing the recognition probabilities and selecting the final recognition result; and a computer-readable recording medium on which a program for functioning as a computer is recorded.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP06485198A JP3810551B2 (en) | 1997-03-18 | 1998-03-16 | Voice recognition system, call center system, voice recognition method and recording medium |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6451097 | 1997-03-18 | ||
JP9-64510 | 1997-03-18 | ||
JP06485198A JP3810551B2 (en) | 1997-03-18 | 1998-03-16 | Voice recognition system, call center system, voice recognition method and recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10322450A true JPH10322450A (en) | 1998-12-04 |
JP3810551B2 JP3810551B2 (en) | 2006-08-16 |
Family
ID=26405614
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP06485198A Expired - Lifetime JP3810551B2 (en) | 1997-03-18 | 1998-03-16 | Voice recognition system, call center system, voice recognition method and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3810551B2 (en) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005174251A (en) * | 2003-12-15 | 2005-06-30 | Sharp Corp | Order processing device, order processing method, order processing program, order processing program recording medium and order processing system |
JP2007200198A (en) * | 2006-01-30 | 2007-08-09 | Masahiro Yoshimoto | Call center system |
JP2007233249A (en) * | 2006-03-03 | 2007-09-13 | Nec Corp | Speech branching device, utterance training device, speech branching method, utterance training assisting method, and program |
US7343288B2 (en) | 2002-05-08 | 2008-03-11 | Sap Ag | Method and system for the processing and storing of voice information and corresponding timeline information |
US7406413B2 (en) | 2002-05-08 | 2008-07-29 | Sap Aktiengesellschaft | Method and system for the processing of voice data and for the recognition of a language |
JP2008233229A (en) * | 2007-03-16 | 2008-10-02 | Fujitsu Ltd | Speech recognition system and speech recognition program |
JP2009237386A (en) * | 2008-03-28 | 2009-10-15 | Mitsubishi Electric Information Systems Corp | Voice-character converter, voice-character conversion method and voice-character conversion program |
JP2009237387A (en) * | 2008-03-28 | 2009-10-15 | Mitsubishi Electric Information Systems Corp | Voice-character converter, voice-character conversion method and voice-character conversion program |
US8010359B2 (en) | 2005-03-16 | 2011-08-30 | Fujitsu Limited | Speech recognition system, speech recognition method and storage medium |
US8095371B2 (en) | 2006-02-20 | 2012-01-10 | Nuance Communications, Inc. | Computer-implemented voice response method using a dialog state diagram to facilitate operator intervention |
JP2018010146A (en) * | 2016-07-13 | 2018-01-18 | 公益財団法人鉄道総合技術研究所 | Transmission information immediate verification device, transmission information immediate verification system, transmission information immediate verification method and program |
JP2020010107A (en) * | 2018-07-04 | 2020-01-16 | Psソリューションズ株式会社 | Server, control method of server, control program of server, and remote support system |
JP2020034774A (en) * | 2018-08-30 | 2020-03-05 | 沖電気工業株式会社 | Information processing device, information processing method, and program |
JP2020173654A (en) * | 2019-04-11 | 2020-10-22 | 株式会社東芝 | Ticket dispenser, ticket dispensing support method and program |
-
1998
- 1998-03-16 JP JP06485198A patent/JP3810551B2/en not_active Expired - Lifetime
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7343288B2 (en) | 2002-05-08 | 2008-03-11 | Sap Ag | Method and system for the processing and storing of voice information and corresponding timeline information |
US7406413B2 (en) | 2002-05-08 | 2008-07-29 | Sap Aktiengesellschaft | Method and system for the processing of voice data and for the recognition of a language |
JP2005174251A (en) * | 2003-12-15 | 2005-06-30 | Sharp Corp | Order processing device, order processing method, order processing program, order processing program recording medium and order processing system |
US8010359B2 (en) | 2005-03-16 | 2011-08-30 | Fujitsu Limited | Speech recognition system, speech recognition method and storage medium |
JP2007200198A (en) * | 2006-01-30 | 2007-08-09 | Masahiro Yoshimoto | Call center system |
US8095371B2 (en) | 2006-02-20 | 2012-01-10 | Nuance Communications, Inc. | Computer-implemented voice response method using a dialog state diagram to facilitate operator intervention |
US8145494B2 (en) | 2006-02-20 | 2012-03-27 | Nuance Communications, Inc. | Voice response system |
JP2007233249A (en) * | 2006-03-03 | 2007-09-13 | Nec Corp | Speech branching device, utterance training device, speech branching method, utterance training assisting method, and program |
JP2008233229A (en) * | 2007-03-16 | 2008-10-02 | Fujitsu Ltd | Speech recognition system and speech recognition program |
US8346553B2 (en) | 2007-03-16 | 2013-01-01 | Fujitsu Limited | Speech recognition system and method for speech recognition |
JP2009237386A (en) * | 2008-03-28 | 2009-10-15 | Mitsubishi Electric Information Systems Corp | Voice-character converter, voice-character conversion method and voice-character conversion program |
JP2009237387A (en) * | 2008-03-28 | 2009-10-15 | Mitsubishi Electric Information Systems Corp | Voice-character converter, voice-character conversion method and voice-character conversion program |
JP2018010146A (en) * | 2016-07-13 | 2018-01-18 | 公益財団法人鉄道総合技術研究所 | Transmission information immediate verification device, transmission information immediate verification system, transmission information immediate verification method and program |
JP2020010107A (en) * | 2018-07-04 | 2020-01-16 | Psソリューションズ株式会社 | Server, control method of server, control program of server, and remote support system |
JP2020034774A (en) * | 2018-08-30 | 2020-03-05 | 沖電気工業株式会社 | Information processing device, information processing method, and program |
JP2020173654A (en) * | 2019-04-11 | 2020-10-22 | 株式会社東芝 | Ticket dispenser, ticket dispensing support method and program |
Also Published As
Publication number | Publication date |
---|---|
JP3810551B2 (en) | 2006-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9202247B2 (en) | System and method utilizing voice search to locate a product in stores from a phone | |
US8996375B1 (en) | Speech interface system and method for control and interaction with applications on a computing system | |
JPH10322450A (en) | Voice recognition system, call center system, voice recognition method and record medium | |
CN107077848B (en) | Method, computer system and program product for performing speaker recognition | |
US7406413B2 (en) | Method and system for the processing of voice data and for the recognition of a language | |
US8064573B2 (en) | Computer generated prompting | |
KR100541907B1 (en) | Efficient presentation of database query results through audio user interfaces | |
US6466654B1 (en) | Personal virtual assistant with semantic tagging | |
US7791471B2 (en) | Item locator system utilizing item and location bar codes | |
US8213579B2 (en) | Method for interjecting comments to improve information presentation in spoken user interfaces | |
US7318029B2 (en) | Method and apparatus for a interactive voice response system | |
US6462616B1 (en) | Embedded phonetic support and TTS play button in a contacts database | |
US20050144187A1 (en) | Data processing apparatus and method | |
US20060095268A1 (en) | Dialogue system, dialogue method, and recording medium | |
CN103714813A (en) | Phrase spotting systems and methods | |
US20090304161A1 (en) | system and method utilizing voice search to locate a product in stores from a phone | |
US20060020471A1 (en) | Method and apparatus for robustly locating user barge-ins in voice-activated command systems | |
US8010343B2 (en) | Disambiguation systems and methods for use in generating grammars | |
JPH0685893A (en) | Voice telephone dialing | |
WO2016136207A1 (en) | Voice interaction device, voice interaction system, control method of voice interaction device, and program | |
US7461000B2 (en) | System and methods for conducting an interactive dialog via a speech-based user interface | |
US20040002868A1 (en) | Method and system for the processing of voice data and the classification of calls | |
US20050069122A1 (en) | System and method for operator assisted automated call handling | |
US20060095267A1 (en) | Dialogue system, dialogue method, and recording medium | |
US20050234720A1 (en) | Voice application system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040318 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060523 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060524 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100602 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100602 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110602 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120602 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120602 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130602 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |