JP6531776B2 - 音声対話システムおよび音声対話方法 - Google Patents
音声対話システムおよび音声対話方法 Download PDFInfo
- Publication number
- JP6531776B2 JP6531776B2 JP2017086257A JP2017086257A JP6531776B2 JP 6531776 B2 JP6531776 B2 JP 6531776B2 JP 2017086257 A JP2017086257 A JP 2017086257A JP 2017086257 A JP2017086257 A JP 2017086257A JP 6531776 B2 JP6531776 B2 JP 6531776B2
- Authority
- JP
- Japan
- Prior art keywords
- voice
- output
- sound
- reproduction
- speaker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L15/222—Barge in, i.e. overridable guidance for interrupting prompts
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Circuit For Audible Band Transducer (AREA)
- Telephone Function (AREA)
- Telephonic Communication Services (AREA)
Description
本発明は、音声対話システムに関する。
音声対話システムが音声認識に失敗する原因として、スピーカーから出力中の音声をマイクが拾い、拾った音声を対象として音声認識処理を開始することが挙げられる。これに対処するために、音声対話システムは、音声出力中にはマイクをオフにしたりゲインを下げたりする音声スイッチ機能を有する。
ここで、音声対話システムが2つの音声出力を比較的短い間隔で連続して行う場合、その間はマイクが通常通り機能する。この間にユーザが発話を開始することが想定され、その場合、2つ目の音声出力によってマイクがオフにされた時点でユーザ発話の入力が打ち切られるため、途中までの発話に基づいて音声認識が行われることになり正しく動作しない。また、音声対話システムは、音声データを発話し、その後わずかな時間をおいてユーザの音声入力を受け付け可能であることを示す信号(例えば「ピコッ」という音)を出力する場合もある。このとき、発話データの出力中および信号音の出力中には音声を拾わないが、2つの出力の間には不要な音声(入力を意図しないユーザの声や周囲の雑音)を拾ってしまうという問題が生じる。
従来技術(特許文献1−5)には、目的音声以外が入力されることを防止するために、非目的音声を減衰させることが行われている。これらの文献では、以下のような処理が行われる。まず、目的とする話者の入力音声信号が目的方向から到来している目的音声区間と、話者以外の音声以外である妨害音声(話者以外の音声)やそれに重畳された周辺雑音等の非目的音声区間を判別する。そして、非目的音声区間では、マイクのゲインを下げることで非目的音声を減衰させている。
しかしながら、これらの従来技術では、上述した問題は解消できない。
本発明の目的は、音声対話システムが短時間に複数回音声を出力する場合に、不要な音声入力を受け付けて想定外の動作が発生してしまうことを防止することにある。
本発明の一態様に係る音声対話システムは、
スピーカーと、
前記スピーカーから音声を出力している間はマイクゲインが低く設定されるマイクと、
前記マイクから入力される入力音声データに対して音声認識処理を施す音声認識部と、
出力音声データを前記スピーカーから出力する音声出力部と、
複数の音声出力を閾値以下の時間間隔で出力する場合に、少なくとも前記複数の音声出力の間に非可聴音を前記スピーカーから出力する非可聴音出力部と、
を備える。
スピーカーと、
前記スピーカーから音声を出力している間はマイクゲインが低く設定されるマイクと、
前記マイクから入力される入力音声データに対して音声認識処理を施す音声認識部と、
出力音声データを前記スピーカーから出力する音声出力部と、
複数の音声出力を閾値以下の時間間隔で出力する場合に、少なくとも前記複数の音声出力の間に非可聴音を前記スピーカーから出力する非可聴音出力部と、
を備える。
本態様の音声対話システムにおいて、スピーカーから音声を出力している間はそうでない場合よりもマイクゲインが低く設定される。マイクゲインを低く設定することには、マイク機能をオフにすることも含まれる。
本態様におけるスピーカーは非可聴音を出力可能である。非可聴音は、可聴音よりも高くてもよいし低くてもよい。可聴音は一般に20Hz〜20kHzといわれるが、17kHz程度以上であれば聞き取れないユーザが十分多いので、非可聴音として17kHzあるいはそれ以上の音を採用してもよい。また、非可聴音は、通常の使用態様においてユーザが聞き取れないような音であればよく、可聴音周波数の音成分を一部に含んでいてもかまわない。本態様におけるマイクは、スピーカーが出力する非可聴音を取得できてもよいし取得できなくてもよい。
本態様における非可聴音出力部は、音声対話システムが複数の音声出力を閾値以下の時間間隔で出力する場合に、少なくともその間に非可聴音をスピーカーから出力する。時間間隔閾値は、例えば、2つの音声出力が連続するものでありその間にユーザが発話することが想定されないような時間間隔とすればよい。出力する非可聴音はどのようなものであってもよく、例えば、非可聴音対域内でのホワイトノイズや単一周波数音を採用できる。非可聴音が出力されるタイミングは、先の音声出力の終了時点から後の音声出力の開示時点までを含めばよい。例えば、非可聴音が出力されるタイミングは、先の音声出力の開始時点から後の音声出力の終了時点までとしてもよい。
本態様において、第1の音声と第2の音声を前記閾値以下の時間間隔で出力する場合に、以下に記載の処理を行う制御部を有することも好ましい。すなわち、制御部は、第1の音声の再生開始を指示するとともに、非可聴音の連続再生開始を指示し、第1の音声の再生終了後に、第2の音声の再生開始および非可聴音の連続再生終了を指示する。非可聴音の連続再生終了の指示は、第2の音声の再生開始指示と同時またはその後に行われることが好ましい。あるいは、制御部は、第1の音声の再生開始を指示するとともに前記非可聴音の連続再生開始を指示し、第1の音声の再生終了後に第2の音声の再生開始を指示し、第2の音声の再生終了後に非可聴音の連続再生終了を指示してもよい。
本態様における音声認識部は、マイクから入力される入力音声データに対して音声認識処理を施す。この際、音声認識部は、入力音声データの可聴周波数帯における音量が所定値以上である場合に音声認識処理を行うとよい。また、音声認識部は、フィルタ処理によって非可聴音が除去された音声データを認識対象とするとよい。
なお、本発明は、上記手段の少なくとも一部を備える音声対話システムとして捉えることもできる。本発明は、また、上記処理の少なくとも一部を実行する音声対話方法あるいは発話出力方法として捉えることができる。また、本発明は、この方法をコンピュータに実行させるためのコンピュータプログラム、あるいはこのコンピュータプログラムを非一時的に記憶したコンピュータ可読記憶媒体として捉えることもできる。上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
本発明によれば、音声対話システムが短時間に複数回音声を出力する場合に、不要な音声入力を受け付けて生じる予期しない動作が発生することを防止できる。
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。以下で説明される実施形態は音声対話ロボットをローカルの音声対話端末として用いたシステムであるが、ローカルの音声対話端末はロボットである必要はなく任意の情報処理装置や音声対話インタフェースなどを用いることができる。
<システム構成>
図1は本実施形態に係る音声対話システムのシステム構成を示す図であり、図2は機能構成を示す図である。本実施形態に係る音声対話システムは、図1、図2に示すように、ロボット100、スマートフォン110、音声認識サーバ200、対話サーバ300から構成される。
図1は本実施形態に係る音声対話システムのシステム構成を示す図であり、図2は機能構成を示す図である。本実施形態に係る音声対話システムは、図1、図2に示すように、ロボット100、スマートフォン110、音声認識サーバ200、対話サーバ300から構成される。
ロボット(音声対話ロボット)100は、マイク(音声入力部)101、スピーカー(音声出力部)102、音声スイッチ制御部103、非可聴音ノイズ出力部104、コマンド送受信部105、通信部(BT:Bluetooth(登録商標))106を含む。図示は省略
しているが、ロボット100は、画像入力部(カメラ)、可動関節(顔、腕、足等)、当該可動関節の駆動制御部、各種のライト、当該ライトの点灯・消灯などの制御部などを有している。
しているが、ロボット100は、画像入力部(カメラ)、可動関節(顔、腕、足等)、当該可動関節の駆動制御部、各種のライト、当該ライトの点灯・消灯などの制御部などを有している。
ロボット100は、マイク101によってユーザからの音声を取得し、画像入力部によってユーザを写した画像を取得する。ロボット100は、通信部105を介して入力音声と入力画像をスマートフォン110に送信する。ロボット100は、スマートフォン110からコマンドを取得すると、それに応じてスピーカー102から音声を出力したり、可動関節部を駆動したりする。
音声スイッチ制御部103は、スピーカー102から音声が出力されている間、マイク101のゲインを低下させる処理を行う。後述するように、本実施形態においては入力音声の音量が閾値以上である場合に音声認識処理が行われる。したがって、音声スイッチ制御部103は、音声認識処理が開始されない程度の音量となるようにマイクのゲインを低下させればよい。音声スイッチ制御部103は、ゲインをゼロに設定してもよい。本実施形態では、ロボット100はマイク101やスピーカー102をオン/オフ制御は行わず、これらのオン/オフ制御はスマートフォン110からの指示によって行われる。ロボット100は、音声スイッチ制御部103によってスピーカー102から出力される音声がマイク101に入力されることを防止している。
非可聴音ノイズ出力部104は、非可聴音帯域のホワイトノイズを、スピーカー102から出力するよう制御する。後述するように、非可聴音ノイズ出力部104の出力は、音声出力コマンドを受信したコマンド送受信部105からの指示によって行われる。
コマンド送受信部105は、通信部(BT)106を介してスマートフォン110から
コマンドを受け取り当該コマンドにしたがって、ロボット100を制御する。また、コマンド送受信部105は、通信部(BT)106を介してスマートフォン110にコマンドを送信する。
コマンドを受け取り当該コマンドにしたがって、ロボット100を制御する。また、コマンド送受信部105は、通信部(BT)106を介してスマートフォン110にコマンドを送信する。
通信部(BT)106は、Bluetooth(登録商標)規格にしたがって、スマートフォン110とのあいだで通信を行う。
スマートフォン110は、マイクロプロセッサなどの演算装置、メモリなどの記憶部、タッチスクリーンなどの入出力装置、通信装置などを含むコンピュータである。スマートフォン100は、マイクロプロセッサがプログラムを実行することにより、入力音声処理部111、音声合成処理部112、制御部113、通信部(BT)117、通信部(TCP/IP)118を備える。
入力音声処理部111は、ロボット100からの音声データを受け取り、通信部118を介して音声認識サーバ200に送信して音声認識処理を依頼する。なお、入力音声処理部111が一部の前処理(雑音除去・話者分離等)を行ってから、音声認識サーバ200へ音声認識処理を依頼してもよい。入力音声処理部111は、音声認識サーバ200による音声認識結果を通信部118を介して対話サーバ300へ送信し、ユーザ発話に応答する応答文のテキスト(ロボット100に発話させる文章)の生成を依頼する。
音声合成処理部112は、応答文のテキストを取得して、音声合成処理を行ってロボット100に発話させる音声データを生成する。
制御部113は、スマートフォン110の全体的な処理を司る。通信部(BT)117は、Bluetooth(登録商標)規格にしたがって、ロボット100とのあいだで通信を行う。通信部(TCP/IP)118は、TCP/IP規格にしたがって音声認識サーバ200や対話サーバ300とのあいだで通信を行う。
音声認識サーバ200は、マイクロプロセッサなどの演算装置、メモリ、通信装置などを含むコンピュータであり、通信部201および音声認識処理部202を備える。音声認識サーバ200は、従来技術に係る非目的音声の除去技術を用いることも好ましい。音声認識サーバ200は、豊富な資源を有しており、高精度な音声認識が可能である。
対話サーバ300は、マイクロプロセッサなどの演算装置、メモリ、通信装置などを含むコンピュータであり、通信部301、応答作成部302、情報記憶部303を備える。情報記憶部303には、応答作成のための対話シナリオが格納される。応答作成部302は、情報記憶部303の対話シナリオを参照して、ユーザ発話に対する応答を作成する。対話サーバ300は、豊富な資源(高速な演算部や、大容量の対話シナリオDBなど)を有しており、高度な応答を生成可能である。
<全体処理>
図3を参照して、本実施形態に係る音声対話システムにおける全体的な処理の流れを説明する。図3に示すフローチャートの処理は、繰り返し実行される。
図3を参照して、本実施形態に係る音声対話システムにおける全体的な処理の流れを説明する。図3に示すフローチャートの処理は、繰り返し実行される。
ステップS10において、ロボット100がマイク101からユーザの発話の音声の入力を受けると、ロボット100は通信部106を介して入力音声データをスマートフォン110の入力音声処理部111に送信する。そして、入力音声処理部111が当該入力音声データを音声認識サーバ200へ送信する。
ステップS11において、音声認識サーバ200の音声認識処理部202が音声認識処
理を実施する。
理を実施する。
なお、ステップS11の音声認識処理は、ユーザの発話の音量(可聴周波数帯域における音量)が所定値以上である場合に実施するようにする。そのために、スマートフォン110の入力音声処理部111は、入力音声データから可聴周波数帯成分をフィルタ処理によって抽出し、抽出後の音声データ音量を確認してもよい。入力音声処理部111は、この音量が所定値以上である場合のみ音声認識サーバ200に音声データを送信する。音声認識サーバ200に送信する音声データは、フィルタ処理後の音声データとするとよいが、入力音声データをそのまま送信してもよい。
ステップS12において、スマートフォン110の入力音声処理部111が音声認識サーバ200による認識結果を取得する。入力音声処理部111は、音声認識結果を対話サーバ300へ送信して、応答文の作成を依頼する。なお、この際、音声認識結果以外の情報、例えば、ユーザの顔画像や現在位置などの情報を対話サーバ300に送信してもよい。また、ここではスマートフォン110を介して音声認識結果を音声認識サーバ200から対話サーバ300へ送っているが、音声認識サーバ200から対話サーバ300へ直接音声認識結果を送ってもよい。
ステップS13において、対話サーバ300の応答作成部302は、音声認識結果に対する応答のテキストを生成する。この際、情報記憶部303に記憶されている対話シナリオを参照する。対話サーバ300によって生成された応答文テキストはスマートフォン110に送信される。
ステップS14において、スマートフォン110が対話サーバ300から応答文テキストを受信すると、音声合成処理部112が音声合成処理により応答文テキストの音声データを生成する。
ステップS15において、スマートフォン110からの指示に従ってロボット100が応答文の音声を出力する。具体的には、スマートフォン110の制御部113が音声データを含む音声出力コマンドを生成してロボット100に送信し、ロボット100がこのコマンドに基づいてスピーカー102から応答文の音声データを出力する。本実施形態においては、ロボット100からの音声出力は、基本的に、対話サーバ300が生成した応答文とユーザに発話を促す信号音とを、短い時間間隔を開けて連続して出力することにより行われる。すなわち、ロボット100から何らかの発話を行う場合には、応答文の出力の後に、システム発話の完了と音声認識の開始をユーザに伝えるための信号音(例えば、「ピコ」という音)を出力する。この際、本実施形態では、システム発話の間のユーザ発話を取得して音声認識処理の対象としないための処理を実施する。詳細は、以下で説明する。
<音声出力処理>
図4は、本実施形態に係る音声対話システムにおいてロボット100から音声を出力する際の処理(図3のステップS15)を説明する図である。上述したように、本実施形態では、対話サーバ300が生成した応答文とユーザに発話を促す信号音とを、短い時間間隔で連続してロボット100から出力する。図4は、このように2つの音声出力を閾値以下の時間間隔で連続して出力する場合の処理である。単一の音声出力を行う場合や、閾値以上の時間間隔を空けて複数の音声出力を行い場合には、図4に示す処理に従う必要は無い。
図4は、本実施形態に係る音声対話システムにおいてロボット100から音声を出力する際の処理(図3のステップS15)を説明する図である。上述したように、本実施形態では、対話サーバ300が生成した応答文とユーザに発話を促す信号音とを、短い時間間隔で連続してロボット100から出力する。図4は、このように2つの音声出力を閾値以下の時間間隔で連続して出力する場合の処理である。単一の音声出力を行う場合や、閾値以上の時間間隔を空けて複数の音声出力を行い場合には、図4に示す処理に従う必要は無い。
ステップS20において、スマートフォン110の制御部113は、音声合成処理部112によって生成された応答文の音声データを取得する。
ステップS21において、制御部113は、(1)応答文音声の再生開始と、(2)非可聴音ノイズのループ再生開始(連続再生開始)と、を指示する音声出力コマンドを生成して、ロボット100に送信する。
ロボット100がこのコマンドを受信すると、スピーカー102から応答文の音声データの再生を開始する(S31)とともに、非可聴音ノイズのループ再生も開始する(S32)。非可聴音ノイズのループ再生は、非可聴音ノイズ出力部104が非可聴音ノイズの音声データをスピーカー102に繰り返し出力することにより行われる。これにより、スピーカー102からは、応答文音声と非可聴音ノイズを重畳した音声が出力され、応答文音声の再生終了後は非可聴音ノイズのみが出力される。非可聴音ノイズの音声データはロボット100にあらかじめ記憶しておけばよいが、ロボット100が動的に生成したり、スマートフォン110からロボット100に渡したりしてもよい。
ここで、非可聴音ノイズはユーザが聞き取れないように、非可聴音帯域(20Hz〜20kHz以外)の音であればよい。また、非可聴音ノイズの出力は、音声スイッチ制御部103のマイクゲイン低減処理が有効となるように行う。例えば、マイクゲイン低減処理が有効になるために閾値以上の音量(強度)での出力が必要であれば、その閾値以上の音量で非可聴音ノイズを出力する。
ロボット100が音声出力を行っている間は、音声スイッチ制御部103がマイク101のゲインを下げる制御を行う。したがって、音声出力中は、出力中の音声やユーザ発話などがマイク101から取得されて音声認識処理の対象となることを防止できる。
ロボット100における応答文の再生(S31)は、所定の時間がたつと終了する。ここで、ロボット100のコマンド送受信部105は、応答文の再生が完了したことを通信によりスマートフォン110に通知してもよい。一方、非可聴音ノイズはループ再生されているので、明示的な停止指示を受けない限り再生が継続する。
応答文の再生完了の通知を受けると、スマートフォン110は、ユーザに発話を促すための信号音の再生開始を指示する音声出力コマンドを送信する(S22)。再生完了通知に基づかずに、応答文の出力コマンド送信から所定時間後(応答文の長さによって定まる)に、信号音の再生開始を指示する音声出力コマンドを送信してもよい。
また、スマートフォン110は、信号音の再生開始コマンド送信の直後に、非可聴音ノイズのループ再生の停止を指示する音声出力コマンドを送信する(S23)。なお、信号音の再生開始指示と非可聴音ノイズのループ再生停止指示は同時にロボット100に送ってもよい。
ロボット100は、信号音の再生開始指示を受け付けると、スピーカー102から信号音を出力する(S33)。信号音の音声データは、音声出力コマンド内に格納されてスマートフォン110からロボット100に渡されてもよいし、ロボット100にあらかじめ格納されている音声データを利用してもよい。また、ロボット100は、非可聴音ノイズのループ再生停止指示を受け付けると、非可聴音ノイズの出力を停止する。
上記の処理において、非可聴音ノイズのループ再生停止指示は、信号音の再生開始指示と同時またはその後であればよい。したがって、例えば、スマートフォン110が、ロボット100から信号音の再生完了通知を受け取った後に、非可聴音ノイズのループ再生指示をロボット100に送信してもよい。また、信号音の再生完了をロボット110が検知した段階でロボット110が非可聴音ノイズの連続再生を停止してもよい。これらの手法
の場合、厳密には信号音の再生が完了してから非可聴音ノイズの再生が停止するが、ユーザにとっては信号音と非可聴音ノイズの再生はほぼ同時にて終了することになる。
の場合、厳密には信号音の再生が完了してから非可聴音ノイズの再生が停止するが、ユーザにとっては信号音と非可聴音ノイズの再生はほぼ同時にて終了することになる。
<作用・効果>
図5(A)、図5(B)を参照して、本実施形態における音声出力処理の作用・効果を説明する。図5(A)は本実施形態による音声出力を行うときの、出力音声とマイクゲインの関係を示す図である。図5(B)は比較例として、非可聴音ノイズの出力を行わずに2つの音声(応答文と信号音)を連続して出力するときの、出力音声とマイクゲインの関係を示す図である。図中のタイミングa,bは応答文の出力開始および終了タイミングであり、タイミングc,dは信号音の出力開始および終了タイミングである。
図5(A)、図5(B)を参照して、本実施形態における音声出力処理の作用・効果を説明する。図5(A)は本実施形態による音声出力を行うときの、出力音声とマイクゲインの関係を示す図である。図5(B)は比較例として、非可聴音ノイズの出力を行わずに2つの音声(応答文と信号音)を連続して出力するときの、出力音声とマイクゲインの関係を示す図である。図中のタイミングa,bは応答文の出力開始および終了タイミングであり、タイミングc,dは信号音の出力開始および終了タイミングである。
いずれの手法であっても、応答文の出力中(タイミングa〜b)および信号音の出力中(タイミングc〜d)は、音声スイッチ制御部103によってマイクゲインが下げられる。したがって、その間のユーザ発話やスピーカー102の出力音声が音声認識処理の対象となることを避けられる。
ここで、非可聴音ノイズを用いない手法(図5(B))の場合、応答文の出力終了時点bから信号音の出力開始時点cの間はスピーカー102から音声が出力されない。すなわち、タイミングb〜cのあいだは、音声スイッチ制御部103は機能せずマイクゲインは通常の値に設定される。したがって、この間に、入力を意図しないユーザの声や周囲の雑音などの不要な音声が入力されてしまう事態が起こりうる。そして、場合によっては、この間に取得した音声に対して音声認識処理が実行され、意図しない動作が発生する恐れがある。
これに対して、本実施形態の手法(図5(A))の場合、応答文を出力した後も非可聴音ノイズのループ再生が継続される。すなわち、タイミングb〜cの間も音声スイッチ制御部103によってマイクゲインが低く設定される。したがって、この間に、入力を意図しないユーザの声や周囲の雑音などの不要な音声が入力されて音声認識処理が実行されることはなく、意図しない動作の発生を抑制できる。
また、本実施形態においては、スマートフォン110とロボット100は無線通信により接続されており、ロボット100からの音声出力のタイミングは制御遅延・通信遅延などが原因となってスマートフォン110において厳密は把握できない場合もある。本実施形態では、スマートフォン110において応答文音声や信号音の再生開始・終了の厳密なタイミングが把握できなくても、応答文と信号音の再生の合間に非可聴音ノイズが出力されることを保証でき、したがって、この間に不要な音声が入力されることを抑制できる。
<変形例>
上記の実施形態および変形例の構成は、本発明の技術的思想を逸脱しない範囲内で、適宜組み合わせて利用することができる。また、本発明は、その技術的思想を逸脱しない範囲で適宜変更を加えて実現しても構わない。
上記の実施形態および変形例の構成は、本発明の技術的思想を逸脱しない範囲内で、適宜組み合わせて利用することができる。また、本発明は、その技術的思想を逸脱しない範囲で適宜変更を加えて実現しても構わない。
上記の説明では、2つの音声を短い時間間隔で連続して出力する場合の処理に焦点を当てて説明した。1つのみの音声出力を行う場合や、複数の音声出力を閾値以上の時間間隔を空けて出力する場合は、上記で説明したような図4に示す処理を行う必要は無い。したがって、スマートフォン110は、複数の音声出力を閾値以下の時間間隔で行うか否かを判断して、そうである場合のみ図4に示す処理を実行するようにしてもよい。あるいは、何らかの音声を出力する場合には必ず閾値以下の時間間隔で別の音声を出力する場合には、判断処理を挟まずに常に図4に示す処理を実行してもよい。
上記の説明では、連続して出力する音声として応答文と信号音の組み合わせを例示したが、出力音声の内容は特に限定されない。また、連続する音声は2つである必要はなく、3つ以上の音声を連続して出力してもよい。
音声対話システムは、上記の実施形態のようにロボット、スマートフォン、音声認識サーバ、対話サーバなどにより構成する必要は無い。上記の機能が実現できれば、システム全体をどのように構成してもよい。例えば、全ての機能を1つの装置で実行してもよい。あるいは、上記実施形態において1つの装置で実施している機能を複数の装置で分担して実行してもよい。また、各機能は上述の装置で実行する必要は無い。例えば、スマートフォンで実行している処理の一部をロボットにおいて実行するように構成してもかまわない。
100:ロボット
101:マイク
102:スピーカー
103:音声スイッチ制御部
104:非可聴音ノイズ出力部
105:コマンド送受信部
110:スマートフォン
111:入力音声処理部
112:音声合成処理部
113:制御部
200:音声認識サーバ
300:対話サーバ
101:マイク
102:スピーカー
103:音声スイッチ制御部
104:非可聴音ノイズ出力部
105:コマンド送受信部
110:スマートフォン
111:入力音声処理部
112:音声合成処理部
113:制御部
200:音声認識サーバ
300:対話サーバ
Claims (6)
- スピーカーと、
前記スピーカーから音声を出力している間はマイクゲインが低く設定されるマイクと、
前記マイクから入力される入力音声データに対して音声認識処理を施す音声認識部と、
出力音声データを前記スピーカーから出力する音声出力部と、
複数の音声出力を閾値以下の時間間隔で出力する場合に、少なくとも前記複数の音声出力の間に非可聴音を前記スピーカーから出力する非可聴音出力部と、
を備える、音声対話システム。 - 制御部をさらに備え、当該制御部は、
第1の音声と第2の音声を前記閾値以下の時間間隔で出力する場合に、
前記第1の音声の再生開始を指示するとともに、前記非可聴音の連続再生開始を指示し、
前記第1の音声の再生終了後に、前記第2の音声の再生開始および前記非可聴音の連続再生終了を指示する、
請求項1に記載の音声対話システム。 - 制御部をさらに備え、当該制御部は、
第1の音声と第2の音声を前記閾値以下の時間間隔で出力する場合に、
前記第1の音声の再生開始を指示するとともに、前記非可聴音の連続再生開始を指示し、
前記第1の音声の再生終了後に、前記第2の音声の再生開始を指示し、
前記第2の音声の再生終了後に、前記非可聴音の連続再生終了を指示する、
請求項1に記載の音声対話システム。 - 前記音声認識部は、前記入力音声データの可聴周波数帯における音量が所定値以上である場合に、音声認識処理を行う、
請求項1から3のいずれか1項に記載の音声対話システム。 - スピーカーと、前記スピーカーから音声を出力している間はマイクゲインが低く設定されるマイクと、を備える音声対話システムが実行する音声対話方法であって、
第1の出力音声データを前記スピーカーから出力する第1音声出力ステップと、
第2の出力音声データを、前記第1の出力音声データの出力から閾値以下の時間間隔で前記スピーカーから出力する第2音声出力ステップと、
少なくとも前記第1の出力音声データの出力と前記第2の出力音声データの出力の間に非可聴音を前記スピーカーから出力する非可聴音出力ステップと、
を含む、音声対話方法。 - 請求項5に記載の方法の各ステップをコンピュータに実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017086257A JP6531776B2 (ja) | 2017-04-25 | 2017-04-25 | 音声対話システムおよび音声対話方法 |
US15/954,190 US10629202B2 (en) | 2017-04-25 | 2018-04-16 | Voice interaction system and voice interaction method for outputting non-audible sound |
CN201810369671.3A CN108735207B (zh) | 2017-04-25 | 2018-04-24 | 声音对话系统、声音对话方法及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017086257A JP6531776B2 (ja) | 2017-04-25 | 2017-04-25 | 音声対話システムおよび音声対話方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018185401A JP2018185401A (ja) | 2018-11-22 |
JP6531776B2 true JP6531776B2 (ja) | 2019-06-19 |
Family
ID=63852415
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017086257A Active JP6531776B2 (ja) | 2017-04-25 | 2017-04-25 | 音声対話システムおよび音声対話方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10629202B2 (ja) |
JP (1) | JP6531776B2 (ja) |
CN (1) | CN108735207B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210110812A1 (en) * | 2019-10-10 | 2021-04-15 | International Business Machines Corporation | Audio quality of speech in sound systems |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10866783B2 (en) * | 2011-08-21 | 2020-12-15 | Transenterix Europe S.A.R.L. | Vocally activated surgical control system |
CN109377994B (zh) * | 2018-11-06 | 2020-12-15 | 南京邮电大学 | 面向智能家居场景的语音识别控制方法 |
JP7219076B2 (ja) * | 2018-12-07 | 2023-02-07 | シャープ株式会社 | 筆記入力装置及び筆記入力システム |
CN114080641B (zh) * | 2019-07-17 | 2024-11-01 | 星电株式会社 | 麦克风单元 |
WO2021059771A1 (ja) * | 2019-09-25 | 2021-04-01 | ソニー株式会社 | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム |
CN114730562A (zh) | 2019-11-21 | 2022-07-08 | 索尼集团公司 | 信息处理系统、信息处理设备、信息处理方法及程序 |
CN111899734A (zh) * | 2020-07-16 | 2020-11-06 | 陕西闪现智能科技有限公司 | 智能语音对话装置及其运行方法、智能语音对话机器人 |
WO2024058147A1 (ja) * | 2022-09-15 | 2024-03-21 | 京セラ株式会社 | 処理装置、出力装置及び処理システム |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6104808A (en) * | 1998-08-31 | 2000-08-15 | Motorola, Inc. | Portable communication device with speakerphone operation |
JP3023365B2 (ja) * | 1999-09-13 | 2000-03-21 | 富士通株式会社 | 音声認識制御装置 |
JP2003241797A (ja) * | 2002-02-22 | 2003-08-29 | Fujitsu Ltd | 音声対話システム |
JP2005025100A (ja) | 2003-07-02 | 2005-01-27 | Nissan Motor Co Ltd | 車載機器制御装置 |
JP2005338454A (ja) * | 2004-05-27 | 2005-12-08 | Toshiba Tec Corp | 音声対話装置 |
US7894598B2 (en) * | 2004-12-14 | 2011-02-22 | Nuance Communications, Inc. | System for limiting receive audio |
EP1884923A4 (en) * | 2005-05-27 | 2009-06-03 | Panasonic Corp | DEVICE, METHOD AND PROGRAM FOR EDITING VOICES |
JP4471128B2 (ja) * | 2006-11-22 | 2010-06-02 | セイコーエプソン株式会社 | 半導体集積回路装置、電子機器 |
JP2009122598A (ja) * | 2007-11-19 | 2009-06-04 | Pioneer Electronic Corp | 電子機器、電子機器の制御方法、音声認識装置、音声認識方法及び音声認識プログラム |
JP5772562B2 (ja) | 2011-12-13 | 2015-09-02 | 沖電気工業株式会社 | 目的音抽出装置及び目的音抽出プログラム |
CN102624961A (zh) * | 2012-02-29 | 2012-08-01 | 华为终端有限公司 | 一种防止外放扬声器与麦克风声音串扰的方法及终端 |
JP5838861B2 (ja) | 2012-02-29 | 2016-01-06 | 沖電気工業株式会社 | 音声信号処理装置、方法及びプログラム |
JP6028502B2 (ja) | 2012-10-03 | 2016-11-16 | 沖電気工業株式会社 | 音声信号処理装置、方法及びプログラム |
CN103886861B (zh) * | 2012-12-20 | 2017-03-01 | 联想(北京)有限公司 | 一种控制电子设备的方法及电子设备 |
KR101977087B1 (ko) * | 2012-12-24 | 2019-05-10 | 엘지전자 주식회사 | 자동응대 기능을 갖는 이동 단말기 및 그의 자동응대 방법 |
US20140267933A1 (en) * | 2013-03-15 | 2014-09-18 | Toshiba America Information Systems, Inc. | Electronic Device with Embedded Macro-Command Functionality |
US10078487B2 (en) * | 2013-03-15 | 2018-09-18 | Apple Inc. | Context-sensitive handling of interruptions |
US9437186B1 (en) * | 2013-06-19 | 2016-09-06 | Amazon Technologies, Inc. | Enhanced endpoint detection for speech recognition |
US9640182B2 (en) * | 2013-07-01 | 2017-05-02 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and vehicles that provide speech recognition system notifications |
KR101475863B1 (ko) * | 2013-09-24 | 2014-12-23 | (주)파워보이스 | 음파를 출력하는 디바이스 및 방법, 그리고 음파에 대응하는 제어 정보를 생성하는 모바일 디바이스 및 방법 |
US9318112B2 (en) * | 2014-02-14 | 2016-04-19 | Google Inc. | Recognizing speech in the presence of additional audio |
US9614969B2 (en) * | 2014-05-27 | 2017-04-04 | Microsoft Technology Licensing, Llc | In-call translation |
JP5863928B1 (ja) * | 2014-10-29 | 2016-02-17 | シャープ株式会社 | 音声調整装置 |
CN104967960B (zh) * | 2015-03-25 | 2018-03-20 | 腾讯科技(深圳)有限公司 | 语音数据处理方法、游戏直播中的语音数据处理方法和系统 |
US9437184B1 (en) * | 2015-06-01 | 2016-09-06 | Baker Hughes Incorporated | Elemental artificial cell for acoustic lens |
CN107231598B (zh) * | 2017-06-21 | 2020-06-02 | 惠州Tcl移动通信有限公司 | 一种自适应音频调试方法、系统及移动终端 |
-
2017
- 2017-04-25 JP JP2017086257A patent/JP6531776B2/ja active Active
-
2018
- 2018-04-16 US US15/954,190 patent/US10629202B2/en active Active
- 2018-04-24 CN CN201810369671.3A patent/CN108735207B/zh active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210110812A1 (en) * | 2019-10-10 | 2021-04-15 | International Business Machines Corporation | Audio quality of speech in sound systems |
US11151981B2 (en) * | 2019-10-10 | 2021-10-19 | International Business Machines Corporation | Audio quality of speech in sound systems |
Also Published As
Publication number | Publication date |
---|---|
US20180308478A1 (en) | 2018-10-25 |
US10629202B2 (en) | 2020-04-21 |
CN108735207A (zh) | 2018-11-02 |
CN108735207B (zh) | 2023-05-02 |
JP2018185401A (ja) | 2018-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6531776B2 (ja) | 音声対話システムおよび音声対話方法 | |
CN114080589B (zh) | 自动主动降噪(anr)控制以改善用户交互 | |
US10586534B1 (en) | Voice-controlled device control using acoustic echo cancellation statistics | |
KR102282366B1 (ko) | 음성 향상 방법 및 그 장치 | |
US9280539B2 (en) | System and method for translating speech, and non-transitory computer readable medium thereof | |
US10425717B2 (en) | Awareness intelligence headphone | |
US9324322B1 (en) | Automatic volume attenuation for speech enabled devices | |
US9940944B2 (en) | Smart mute for a communication device | |
CN107995360B (zh) | 通话处理方法及相关产品 | |
JP2005084253A (ja) | 音響処理装置、方法、プログラム及び記憶媒体 | |
JP2017138536A (ja) | 音声処理装置 | |
KR20230133864A (ko) | 스피치 오디오 스트림 중단들을 처리하는 시스템들및 방법들 | |
WO2018167960A1 (ja) | 音声処理装置、音声処理システム、音声処理方法、および音声処理プログラム | |
JP2019184809A (ja) | 音声認識装置、音声認識方法 | |
WO2018135276A1 (ja) | 言動制御装置、ロボット、制御プログラムおよび言動制御装置の制御方法 | |
JP5251588B2 (ja) | 携帯電話端末装置及び通話伝達の判断方法 | |
JP4810343B2 (ja) | 音声処理装置およびその制御方法 | |
JP5495612B2 (ja) | カメラ制御装置及び方法 | |
JP2019139146A (ja) | 音声認識システム、及び、音声認識方法 | |
JP7141226B2 (ja) | 音声入力装置、及び遠隔対話システム | |
JP2008249893A (ja) | 音声応答装置及びその方法 | |
JP2019072787A (ja) | 制御装置、ロボット、制御方法、および制御プログラム | |
EP4156181A1 (en) | Controlling playback of audio data | |
JP2015007665A (ja) | 情報提示方法、及び情報提示システム | |
JP2021131404A (ja) | メディア再生装置およびその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190412 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190423 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190506 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6531776 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |