JP2004354930A

JP2004354930A - 音声認識システム

Info

Publication number: JP2004354930A
Application number: JP2003155571A
Authority: JP
Inventors: Eiji Shigeyoshi; 英二重吉
Original assignee: Calsonic Kansei Corp
Current assignee: Marelli Corp
Priority date: 2003-05-30
Filing date: 2003-05-30
Publication date: 2004-12-16

Abstract

【課題】複数の乗員がいても誤作動を起こさず確実に音声認識ができ、同時に複数の音声を、誤作動を起こさずに処理することができる音声認識システムを提供すること。
【解決手段】車内の複数位置から音声を入力する複数のマイク４を設け、ＣＣＤカメラ５からの車内画像から車内座席の乗員の有無を判断する撮像装置３を設け、複数のマイク４からの音声入力と撮像装置３からの着座情報とから、音声を入力した人の座席位置を特定する音声認識制御部２１を設けた。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、主に車載情報通信装置の、音声による操作入力装置となる音声認識システムの技術分野に属する。
【０００２】
【従来の技術】
従来の音声入力は、運転時等、リモコンやスイッチの手動操作が出来ない時に、代わって装置の操作を行うものである。使用法としては、装置の案内ガイダンスに従い、項目・番号を音声発声して詳細メニュー選択、電話番号のような連続数字を発声してハンズフリー電話、施設名や地名を発声して周辺検索や目的地の経路誘導設定、といったものが一般であり、音声操作のコマンド候補語の多くは、装置のデータベース上に規定のものが用意されている。
【０００３】
この従来の音声入力では、発話区間検出回路により音声入力対象者（使用者）が発した音声信号レベルに基づいて求めた発話区間情報（ＳＶ，ＥＶ）と、発話区間検出回路により音声入力対象者の口を撮影して得た口画像データに基づいて求めた発話区間情報（ＳＡ、ＥＡ）とが略一致している場合に限り、音声認識結果に対応する音声操作語句データを出力している。（例えば、特許文献１参照。）。
また、画像処理ＥＣＵにより顔がマイクロホンの方向を向いている場合や視線がマイクロホンの方向を向いている場合や唇が動いている場合の条件を総合的に判断して、発声の有無を確認し、画像処理ＥＣＵが発声についての判断結果を音声認識ＥＣＵに送るようにし、発声が始まったと判断されたときに、「認識開始トリガー信号」を送り、発声が終了したと判断されたときに、「認識終了トリガー信号」を送り、音声認識ＥＣＵが認識開始トリガー信号の入力から認識終了トリガー信号の入力までの間、マイクロホンからの入力信号に対して音声認識処理を行うものもある。（例えば、特許文献２参照。）。
また、画像用ＤＳＰによってＣＣＤカメラが撮像した顔から唇パターンを演算し、その唇パターンに基づいて操縦者の会話の開始を検出し、その会話の開始を示す始端信号を音声用ＤＳＰに出力し、音声用ＤＳＰはこの始端信号に応答してマイクロホンから操縦者の音声を入力し音声認識処理動作を開始するものもある。（例えば、特許文献３参照。）。
【０００４】
【特許文献１】
特開２００２−９１４６６号公報（第２−７頁、第４図）
【０００５】
【特許文献２】
特開号平１１−３５２９８７公報（第２−４頁、第１図）
【０００６】
【特許文献３】
特開号平１１−３３８４９０公報（第２−５頁、第２図）
【０００７】
【発明が解決しようとする課題】
しかしながら、従来の音声認識システムにあっては、乗員が複数いる場合、他乗員の音声で誤作動する可能性が高く、運転者等、特定話者が音声認識している場合、同時に他話者の音声を拾うと、思わぬ所へメニューが進行するような誤作動を起こす可能性が高かった。
また、運転者とそれ以外では使用したい音声メニューが異なるが、このことに対しての充分な対応が出来ていなかった。
【０００８】
本発明は、上記問題点に着目してなされたもので、その目的とするところは、複数の乗員がいても誤作動を起こさず確実に音声認識ができ、同時に複数の音声を、誤作動を起こさずに処理することができる音声認識システムを提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、請求項１記載の発明では、音声入力によって車両における操作入力を行う音声認識システムにおいて、車内の複数位置から音声を入力する多音声入力手段を設け、画像入力手段からの車内画像から車内座席の乗員の有無を判断する着座判断手段を設け、多音声入力手段からの音声入力と着座判断手段からの着座情報とから、音声を入力した人の座席位置を特定する音声入力位置判断手段を設けたことを特徴とする手段とした。
【００１０】
請求項２記載の発明では、音声入力位置判断手段が、着座判断手段からの着座情報と、多音声入力手段へ入力された複数の音声信号の大小の違いと音声信号の遅れから、その音声を入力した人の座席位置を特定することを特徴とする手段とした。
【００１１】
請求項３記載の発明では、データ格納部に予め記憶した多数の認識語候補と入力音声語の一致を判断する認識処理手段を設け、認識語候補が運転者用の認識語候補と運転者以外用の認識語候補に分けて予め設けられていることを特徴とする手段とした。
【００１２】
請求項４記載の発明では、音声入力位置判断手段が着座判断手段からの着座情報により乗員がいないと判断された座席方向からの音声をノイズと判断して除外するようにしたことを特徴とする手段とした。
【００１３】
【発明の効果】
請求項１記載の発明では、複数の乗員がいても誤作動を起こさず確実に音声認識ができ、同時に複数の音声を、誤作動を起こさずに処理することができる。
【００１４】
請求項２記載の発明では、確実に入力された音声の発声者を確実に特定でき、さらに誤作動しないようにできる。
【００１５】
請求項３記載の発明では、運転者用と運転者以外で操作したい機器の違いがあることに対応でき、運転者だけが操作可能にできる操作を設定でき、より安全に使用できる。
【００１６】
請求項４記載の発明では、より明確にどの座席から音声が入力されたかを判断でき、さらに誤動作を防止することができる。
【００１７】
【発明の実施の形態】
以下、本発明の音声認識システムを実現する実施の形態を、請求項１，２，３，４に係る発明に対応する実施例に基づいて説明する。
【００１８】
（実施例）
【００１９】
まず、構成を説明する。
図１は実施例の音声認識システムの構成を示すブロック図である。図２は実施例の音声認識システムの撮像装置における乗員検知の処理の流れを示すフローチャート図である。図３は実施例の音声認識システムの音声認識制御装置の処理の流れを示すフローチャート図である。図４は実施例の音声認識システムの車内設置例を示す説明図である。
【００２０】
本実施例の音声認識システム１は、図１に示すように、音声認識制御装置２、音声認識制御装置２に音声を入力する複数のマイク４（多音声入力手段）、撮像装置３（着座判断手段）、撮像装置３に画像を入力するＣＣＤカメラ５（画像入力手段）、車内通信により接続される車載機器であるエアコン制御部６１、ナビ制御部６２、オーディオ制御部６３で構成される。
音声認識システム１の音声認識制御装置２は、音声認識制御部２１（音声位置判断手段であり認識処理手段である）、音響処理部２２、データ格納部２３で構成される。
また、音声認識システム１には、構成の形態によっては、投光器７１や音声入力トリガスイッチ７２が設けられる。
【００２１】
本実施例の音声認識システム１の音声認識制御装置２を構成する音響処理部２２は、マイク４から入力された音信号から、音声を抽出し、抽出した音声データを音声認識制御部２１に送るものである。データ格納部２３は、音声認識制御部２１で音声認識を行う際に使用する音声認識のコマンド候補列を予め格納しておくものであり、格納しているコマンド候補列には、ドライバー用と他乗員用を別に分けて格納するようにしている。音声認識制御部２１は、撮像装置３から送られる乗員位置情報と、音響処理部２２から送られる音声データから、その音声データがドライバーの座席から発せられたものか、ドライバー以外から発せられたものかを判断するとともに、その音声データとデータ格納部２３に格納しているコマンド候補列を比較して一致するかどうかを判断し、一致すると判断する場合には、そのコマンド信号を車内ＬＡＮ等の車内通信によって車載機器に送るものである。
【００２２】
音声認識制御装置２に車内の音信号を入力するマイク４は、指向性のあるものを使用し、図４に示すように、車両の側方部分の前後２箇所に、その指向性が側方を向くように設けられる。
【００２３】
また、車内には、図４に示すように車内の座席に乗員が着席しているかどうかがわかる映像を取り込むＣＣＤカメラ５を設ける。このＣＣＤカメラ５の映像信号は撮像装置３に入力される。撮像装置３は、映像信号から画像処理により、乗員を検知して各座席への乗員の有無を乗員位置情報として音声認識制御部２１に送るようにする。また、この撮像及び乗員検知は、音声認識制御部２１からの要求信号があった際に行うようにするものである。
【００２４】
ここで、図１には、場合によっては投光器７１を設けてもよいことを示しているが、ＣＣＤカメラ５に暗い環境での撮影ができないものを用いたような場合には投光器７１を設けるようにすればよく、赤外線による暗視を行えるもの等である場合や、映像を入力する際には、車両の室内灯を短時間点灯させるような場合には必要がない。
また、図１には、音声入力トリガスイッチ７２を設けてもよいように示しているが、本実施例の音声認識システム１で操作する車載装置からの必要性等によって設けるようにしてもよい。
【００２５】
次に、作用を説明する。
【００２６】
［乗員検知処理］
図２は実施例の音声認識システム１の撮像装置３の処理の流れを示すフローチャート図で、以下、各ステップについて説明する。
【００２７】
ステップＳ１１では、音声認識制御装置２からの要求信号、又は車両のイグニッションＯＮによって、撮像装置３が、ＣＣＤカメラ５から映像を取り込むのを開始する。
【００２８】
ステップＳ１２では、撮像装置３が取り込んだ映像を画像処理して、どの座席に乗員が着座しているかを判断して、その結果である乗員位置情報を音声認識制御装置２に送って、データ格納部２３に格納している乗員データを更新するようにする。
【００２９】
［乗員の有無を考慮した音声認識制御］
図３は実施例の音声認識システム１の音声認識制御装置２の処理の流れを示すフローチャート図で、以下、各ステップについて説明する。
【００３０】
ステップＳ２１では、撮像装置３に乗員データの更新を要求する信号を送り、乗員データの更新を行う。
【００３１】
ステップＳ２２では、音声認識コマンドが入力されたかどうかを判断し、入力されたと判断したならばステップＳ２３に移行し、入力されていないと判断したならばステップＳ２１に移行する。
【００３２】
ステップＳ２３では、車内２箇所のマイク４から音データを入力し、音データから、音声を抽出し、その音声がどの座席位置から発せられたかを音声データの音量や、音声の遅れから判断する。
【００３３】
ステップＳ２４では、ステップＳ２３で判断した音声の発せられたと判断した座席に乗員がいるかどうかを乗員データから判断し、その座席に乗員がいる場合には、ステップＳ２５に移行し、乗員がいない場合には、ステップＳ３２に移行する。
【００３４】
ステップＳ２５では、その音声が発せられた座席がドライバーかドライバー以外かを判断し、ドライバーであるならばステップＳ２６に移行し、ドライバー以外であるならばステップＳ２９に移行する。
【００３５】
ステップＳ２６では、ドライバー用のコマンド候補列を読み出す。
【００３６】
ステップＳ２７では、ドライバー用のコマンド候補列と入力された音声が一致するかどうかを判断する音声認識制御を行う。
【００３７】
ステップＳ２８では、音声認識結果に応じた出力を行う。
【００３８】
ステップＳ２９では、他乗員用のコマンド候補列を読み出す。
【００３９】
ステップＳ３０では、他乗員用のコマンド候補列と入力された音声が一致するかどうかを判断する音声認識制御を行う。
【００４０】
ステップＳ３１では、音声認識結果に応じた出力を行う。
【００４１】
ステップＳ３２では、ノイズと判断して、その音声データに該当する部分の削除を行う。
【００４２】
ステップＳ３３では、入力された音声データの中に、他の者が発したと判断される音声データが有るかどうかを判断し、有ると判断したならばステップＳ２４に移行し、無いと判断したならばステップＳ３４に移行する。
【００４３】
ステップＳ３４では、エラーである旨を示すエラー出力を行う。
【００４４】
［誤動作を防止した音声による操作入力作用］
例えば、本実施例では、ドライバーのみが音声により車載されたナビゲーション装置の操作を行うことができるようにしているとする。
▲１▼ドライバーが音声操作を行った場合
まず、ドライバーや乗員が車両に乗り込んで、イグニッションがＯＮになると、音声認識制御装置２が、ステップＳ２１の処理により乗員データの更新を要求する信号を撮像装置３に送る。撮像装置３では、ステップＳ１１の処理によりＣＣＤカメラ５で車内の様子を撮影し、その映像から画像処理により各座席への乗員の有無を判断して、その結果を乗員位置情報として音声認識制御装置２に送り、ステップＳ１２、Ｓ２１の処理により乗員データが更新される。
その後、ドライバーがナビゲーション装置を音声によって操作するために、音声によりコマンドを発声したならば、その音声は、図４に示す２箇所に設けたマイク４に入力される。この状態では、周囲の騒音等も同時に入力されることとなる。
【００４５】
コマンドが発声されると次に、ステップＳ２３の処理により、入力された音データから音響処理部２２により音声データが抽出される。ドライバーが発した音声は、車両前方のマイク４にも、車両後方のマイク４にも入力されるが、ドライバーからの音声入力の場合、車両前方のマイク４に入力される音声データに対して、車両後方のマイク４に入力される音声データは遅れが生じ、かつ音量が小さくなるため、同じ音声データが入力されても、前方座席か後方座席かが判断されることとなる。次に、マイク４は助手席側の側方に設けられているため、ドライバーの音声データは音量が小さく入力される。このことから、まず、ステップＳ２３の処理により音声データのみから発声者を特定する。
【００４６】
次に、ステップＳ２４の処理により、音声データから特定した座席位置に乗員がいるかどうかを乗員データと比較して判断し、ステップＳ２５の処理によりドライバーかどうかが判断される。この場合にはドライバーであるので、ステップＳ２６により、データ格納部２３からドライバー用のコマンド候補列が読み出され、ステップＳ２７の処理により、音声データと一致するものがあるか、また、一致するかが判断される。この場合にはナビゲーション装置を操作するコマンドと認識され、ステップＳ２８の処理により、そのコマンドに応じた信号が音声認識制御装置２から車内通信によりナビ制御部６２に送られて、ドライバーが意図する操作が行われることとなる。
このように本実施例では、ドライバーが入力した音声が確実に認識され、音声による操作が行われる。
【００４７】
▲２▼ドライバー以外が音声操作を行った場合
ドライバー以外が音声操作を行った際には、ステップＳ２３における処理による音声データの遅れや音量から座席が特定され、ステップＳ２４の処理により画像による確認が行われて、ドライバー以外の乗員の音声入力とステップＳ２５で判断されると、ステップＳ２９の処理により他乗員用のコマンド候補列が読み出され、ステップＳ３０の処理により音声データと一致するものがあるか、また、一致するかが判断される。この場合にはエアコン装置やオーディオ装置を操作するコマンドと認識され、ステップＳ３１の処理により、そのコマンドに応じた信号が音声認識制御装置２から車内通信によりエアコン制御部６１やオーディオ制御部６３に送られて、ドライバー以外の乗員が意図する操作が行われることとなる。
この際には、音声入力した者の座席が判明しているため、エアコン制御による風量の調整やオーディオ装置による音量の調整がより適確に行うことができ、操作する人の要求に確実に応えられる操作系統となる。
【００４８】
▲３▼ドライバー以外がドライバーのみの音声操作を行った場合
本実施例において、ドライバー以外の乗員がドライバーのみに操作を限定している例えばナビゲーション装置の操作を行った場合には、その音声データから座席を特定するステップＳ２４の処理と、乗員の有無を確認するステップＳ２５の処理により、ドライバー以外と判断され、ステップＳ２９へ移行するため、ドライバーのみ操作できるとしている場合にはそのコマンド候補列がないこととなり、音声認識で該当するコマンドがないと判断されて、その操作は実行されない。よって、ドライバーの運転に影響を与えるような操作は予めドライバー専用の操作としておけば、より安全に用いることができる音声認識システム１となる。
【００４９】
▲４▼ドライバー以外がドライバーの音声操作とほぼ同時に音声操作を行った場合
ドライバーの音声操作と、ドライバー以外の乗員による音声操作がほぼ同時に行われた場合にも、その音声データがそれぞれ音響処理部２２により抽出されることにより、図３のフローチャートには詳細に記載していないが、別の入力としてそれぞれ処理させることで、その音声データの２つのマイク４への入力の遅れや音量の違い、座席への乗員の有無から、それぞれ判断されて操作処理が行われる。このため、ほぼ同時に音声入力がされても誤判断することなく、それぞれの音声入力が判断されることとなる。
【００５０】
▲５▼ドライバーの音声入力の際に別の乗員らが会話等を行っているような場合
ドライバー以外の乗員らが会話を行っているような状態でドライバーが音声入力を行った場合には、入力された音声データに他の乗員の音声データが混じった状態となる。
このような場合、図３のフローチャートには詳細に記載していないが、ドライバーの入力を重要とするよう重み付けをしておき、他の乗員が発した音声とステップＳ２４、ステップＳ２５で判断される音声データをノイズとして除去することにより、ドライバーからの音声入力が確実に認識されるようにする。これにより、ドライバーが音声操作を行うために乗員を静かにさせる処置をするようなことがないようにして、ドライバーがより運転に集中できるようにする。
【００５１】
▲６▼乗員のいない方向からの音声入力が反射などにより発生した場合
例えば、ドライバーが一人で運転しているような場合であって、コマンドの発声方向が通常の方向でなかったり、車内の音響反射により別の乗員の入力のように音声入力がされたような場合には、ステップＳ２４の画像から判断する乗員データによって、乗員のいない座席からの音声入力と判断され、ステップＳ３２の処理により、ノイズデータとして削除される処理が行われることとなり、誤操作を招くようなことがない。よって、より確実な音声認識が行われることとなる。
【００５２】
次に、効果を説明する。
【００５３】
実施例の音声認識システム１にあっては、下記に列挙する効果を得ることができる。
【００５４】
（１）音声入力によって車両における操作入力を行う音声認識システム１において、車内の複数位置から音声を入力する複数のマイク４を設け、ＣＣＤカメラ５からの車内画像から車内座席の乗員の有無を判断する撮像装置３を設け、複数のマイク４からの音声入力と撮像装置３からの着座情報とから、音声を入力した人の座席位置を特定する音声認識制御部２１を設けたため、複数の乗員がいても誤作動を起こさず確実に音声認識ができ、同時に複数の音声を、誤作動を起こさずに処理することができる。
【００５５】
（２）音声入力位置判断手段が、撮像装置３からの着座情報と、複数のマイク４へ入力された複数の音声信号の大小の違いと音声信号の遅れから、その音声を入力した人の座席位置を特定するため、確実に入力された音声の発声者を確実に特定でき、さらに誤作動しないようにできる。
【００５６】
（３）データ格納部２３に予め記憶した多数の認識語候補と入力音声語の一致を判断する音声認識制御部２１を設け、認識語候補が運転者用のコマンド候補列と運転者以外用のコマンド候補列に分けて予め設けられているため、運転者用と運転者以外で操作したい機器の違いがあることに対応でき、運転者だけが操作可能にできる操作を設定でき、より安全に使用できる。
【００５７】
（４）音声入力位置判断手段が撮像装置３からの着座情報により乗員がいないと判断された座席方向からの音声をノイズと判断して除外するようにしたため、より明確にどの座席から音声が入力されたかを判断でき、さらに誤動作を防止することができる。
【００５８】
以上、本発明の音声認識システムを実施例に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
【００５９】
例えば、実施例では、多音声入力手段として車内の側部の前後２箇所にマイクをそれぞれ設けるようにしたが、さらに数を多くするように複数のマイクを設けるようにしてもよい。また、マイクに指向性の方向は、実施例では横方向のものを示したが、前後方向や斜め方向にしてもよい。
【図面の簡単な説明】
【図１】実施例の音声認識システムの構成を示すブロック図である。
【図２】実施例の音声認識システムの撮像装置における乗員検知の処理の流れを示すフローチャート図である。
【図３】実施例の音声認識システムの音声認識制御装置の処理の流れを示すフローチャート図である。
【図４】実施例の音声認識システムの車内設置例を示す説明図である。
【符号の説明】
１音声認識システム
２音声認識制御装置
２１音声認識制御部
２２音響処理部
２３データ格納部
３撮像装置
４マイク
５ＣＣＤカメラ
６１エアコン制御部
６２ナビ制御部
６３オーディオ制御部
７１投光器
７２音声入力トリガスイッチ
Ａ車室内

Claims

音声入力によって車両における操作入力を行う音声認識システムにおいて、
車内の複数位置から音声を入力する多音声入力手段を設け、
画像入力手段からの車内画像から車内座席の乗員の有無を判断する着座判断手段を設け、
前記多音声入力手段からの音声入力と前記着座判断手段からの着座情報とから、音声を入力した人の座席位置を特定する音声入力位置判断手段を設けたことを特徴とする音声認識システム。
請求項１に記載された音声認識システムにおいて、
音声入力位置判断手段が、前記着座判断手段からの着座情報と、多音声入力手段へ入力された複数の音声信号の大小の違いと音声信号の遅れから、その音声を入力した人の座席位置を特定することを特徴とする音声認識システム。
請求項１または請求項２に記載された音声認識システムにおいて、
データ格納部に予め記憶した多数の認識語候補と入力音声語の一致を判断する認識処理手段を設け、
前記認識語候補が運転者用の認識語候補と運転者以外用の認識語候補に分けて予め設けられていることを特徴とする音声認識システム。
請求項１〜請求項３に記載された音声認識システムにおいて、
音声入力位置判断手段が、着座判断手段からの着座情報により乗員がいないと判断された座席方向からの音声をノイズと判断して除外するようにしたことを特徴とする音声認識システム。