JP2010130223A - 音声操作システムおよび音声操作方法 - Google Patents

Abstract

【課題】運転中のドライバーでも安全に携帯端末装置の音声操作をすることができるとともに、同乗者も所定の携帯端末装置を簡単に音声操作することができること。
【解決手段】音声操作システムおよび音声操作方法は、利用者が発する音声を入力し、入力した音声を音声認識し、音声認識した音声認識結果を操作コマンドに変換したうえで当該操作コマンドを実行する。また、車載装置は、音声入力手段、音声認識手段ならびにコマンド実行手段が装置内に存在するか否かを、装置を識別する装置識別子と対応付けた振分情報を記憶し、振分情報に基づいて音声入力手段からの出力を音声認識手段へ、音声認識手段からの出力をコマンド実行手段へ、それぞれ振り分けるように構成する。
【選択図】 図３

Description

この発明は、車載装置を用いて携帯端末装置の音声操作を行う音声操作システムおよび音声操作方法に関し、特に、運転中のドライバーでも安全に携帯端末装置の音声操作をすることができるとともに、同乗者も所定の携帯端末装置を簡単に音声操作することができる音声操作システムおよび音声操作方法に関する。

ＧＰＳ（Global Positioning System）を利用したカーナビゲーションシステムの普及に伴い、車両には、ナビゲーション機能を有する車載装置が搭載される場合が多くなってきた。同時に、運転中のドライバーが安全に操作できることも必要不可欠となってきている。

たとえば、音声でナビゲーション機能の操作ができるように、入力された音声を認識し、文字データに変換する音声認識エンジンを搭載する車載装置もあるが、車載装置の高価格化を招くため、ユーザにとって好ましいものではない。

一方、携帯電話などの携帯端末装置は、低価格でありながら、音声認識エンジンを搭載するものや、ナビゲーション機能を搭載するものも普及してきている。また、ブルートゥース（登録商標）などの近距離無線通信機能を搭載する携帯端末装置も普及してきている。

これらのことから、かかる近距離無線通信機能で携帯端末装置と車載装置とを連携させ、携帯端末装置側の機能を車載装置側で利用する取り組みもなされている。これにより、車載装置の低価格化を図ることが可能となる。

たとえば、特許文献１には、携帯端末装置の画面に表示される表示画面を車載装置へ送信し、車載装置のディスプレイに対して携帯端末装置で生成された表示画面を表示する技術が開示されている。

特開２００３−２４４３４３号公報

しかしながら、特許文献１の連携システムでは、車載装置の操作画面を用いて携帯端末装置を遠隔操作しようとするものであるが、携帯端末装置を音声操作できないという問題があった。

たとえば、車載装置に音声認識エンジンが搭載されておらず、ドライバーの携帯端末装置には音声認識エンジンが搭載されている場合について、説明する。

この場合、ドライバーは、運転中に携帯端末装置を操作することが法律で禁じられていることから、携帯端末装置に触れることができない。このため、車載装置から携帯端末装置の音声認識エンジンを利用することは不可能である。

また、ドライバーの携帯端末装置にナビゲーション機能が搭載されていて、同乗者の携帯端末装置にはナビゲーション機能が搭載されていない場合に、同乗者が、ドライバーの携帯端末装置を操作して、ナビゲーション機能を利用してもよい。

しかし、携帯端末装置にはアドレス帳、発着信履歴やメール及びその履歴などの個人のプライバシーに関する情報を有するので、所有者以外が操作するのは、好ましいものではない。

これらのことから、車載装置を用いて携帯端末装置の操作を行う場合に、運転中のドライバーでも安全に音声操作することができるとともに、同乗者の携帯端末装置からでも、ドライバーの携帯端末装置に搭載するアプリケーションを操作することができる音声操作システムおよび音声操作方法をいかにして実現するかが大きな課題となっている。

この発明は、上述した従来技術による問題点を解消するためになされたものであり、車載装置を用いて携帯端末装置の操作を行う場合に、運転中のドライバーでも安全に携帯端末装置の音声操作をすることができるとともに、同乗者も所定の携帯端末装置を簡単に音声操作することができる音声操作システムおよび音声操作方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、車載装置を用いて携帯端末装置の音声操作を行う音声操作システムであって、利用者が発する音声を入力する音声入力手段と、前記音声を音声認識する音声認識手段と、前記音声認識手段による音声認識結果を操作コマンドに変換したうえで当該操作コマンドを実行するコマンド実行手段とを備え、前記車載装置は、前記音声入力手段、前記音声認識手段ならびに前記コマンド実行手段が装置内に存在するか否かを、前記装置を識別する装置識別子と対応付けた振分情報を記憶する振分情報記憶手段と、前記振分情報に基づいて前記音声入力手段からの出力を前記音声認識手段へ、前記音声認識手段からの出力を前記コマンド実行手段へ、それぞれ振り分ける振分手段とを備えたことを特徴とする。

本発明によれば、利用者が発する音声を入力し、入力した音声を音声認識し、音声認識した音声認識結果を操作コマンドに変換したうえで当該操作コマンドを実行する。車載装置は、音声入力手段、音声認識手段ならびにコマンド実行手段が装置内に存在するか否かを、装置を識別する装置識別子と対応付けた振分情報を記憶し、振分情報に基づいて音声入力手段からの出力を音声認識手段へ、音声認識手段からの出力をコマンド実行手段へ、それぞれ振り分けることができる音声操作システムおよび音声操作方法を提供することができるという効果を奏する。

以下に添付図面を参照して、本発明にかかる音声操作システムおよび音声操作方法の好適な実施例を詳細に説明する。なお、以下では、自動車に搭載されるＤＡ（display Audio）と呼ばれる車載装置と、携帯端末装置とが、近距離無線通信機能で連携する音声操作システムについて説明することとする。

ここで、ＤＡとは、表示機能やオーディオ再生機能、携帯端末装置との通信機能といった基礎的な機能のみを実装し、携帯端末装置と連携することで多機能化する車載装置のことを指す。

また、以下では、本発明にかかる音声操作システムの概要について図１を用いて説明した後に、本発明にかかる音声操作システムについての実施例を図２〜図１６を用いて説明することとする。

携帯端末装置と車載装置とを連携させる従来の操作システムでは、ドライバーの携帯端末装置にナビゲーション機能が搭載されていても、自身の携帯端末装置を操作することができなかった。

そこで、今回の本発明にかかる音声操作装置および音声操作システムでは、音声操作によって携帯端末装置に搭載されたナビゲーション機能などのアプリケーション（以下、単に「アプリケーション」と記載する）を操作する。

図１は、本実施例にかかる音声操作システムの概要を示す図である。同図上部の表に示すように、車載装置は、音声認識エンジンならびにアプリケーションが装置内に存在するか否かおよび結果出力表示先を指定する情報等を、装置を識別する装置識別子と対応付けて振分情報として記憶している。

この場合、音声認識エンジンは、装置識別子が「３３３」である装置に搭載されており、ナビゲーション機能のアプリケーションは、装置識別子が「２２２」である装置に搭載されており、音声認識結果は、装置識別子が「１１１」である装置に出力するように設定されている場合について説明する。

たとえば、装置識別子が「２２２」と割り当てられた同乗者の携帯端末Ａのマイクから、同乗者が「目的地 自宅」というコマンドを発した場合（同図の（１）参照）、装置識別子が「１１１」と割り当てられたＤＡに入力音声データが送信される。

そして、ＤＡは、音声認識エンジンがどの装置に存在するかの振分情報に基づいて、入力音声データを送信する。この場合、装置識別子が「３３３」と割り当てられたドライバーの携帯端末Ｂに入力音声データを送信する（同図の（２）参照）。

携帯端末Ｂに搭載された音声認識エンジンは、受信した入力音声データを音声認識して（同図の（３）参照）、「目的地 自宅」という文字列に変換した音声認識結果をＤＡに送信する（同図の（４）参照）。

一方、音声認識結果を受信したＤＡは、振分情報の結果出力表示先の装置情報に基づいて、音声認識結果を表示する。この場合、ＤＡのディスプレイに音声認識結果「目的地 自宅」というコマンド文字列を表示する（同図の（５）参照）。

そして、同乗者は、表示された音声認識結果に対して、再び携帯端末Ａのマイクから応答を行う。この場合、音声認識結果が正しかったので、同乗者は「ＯＫ」と発して、応答を行う（同図の（６）参照）。

その後、入力音声データはＤＡに送信され、ＤＡでは、上述した（２）〜（４）までの音声認識処理と同様に、「ＯＫ」の入力音声データを、携帯端末Ｂに搭載された音声認識エンジンによって文字列に変換し、携帯端末Ｂは、音声認識結果をＤＡに送信する。

そして、ＤＡは、アプリケーションがどの装置に存在するかの振分情報に基づいて、コマンド文字列を送信する。この場合、携帯端末Ａにアプリケーションが存在するので、ＤＡは、携帯端末Ａにコマンド文字列を送信する。

一方、携帯端末Ａでは、受信したコマンド文字列「目的地 自宅」に基づいて、目的地が「自宅」である、地図の表示や経路案内を行うなどの処理を実行する（同図の（７）参照）。

なお、ここでは、音声入力を同乗者の携帯端末Ａのマイクから行うようにしたが、ＤＡに搭載されたマイクを、ハンズフリーのマイクに接続して、ドライバーがコマンドを発してもよい。

このように、音声認識エンジンおよびアプリケーションが、いずれかの携帯端末装置に存在する場合に、運転中のドライバーでも安全に携帯端末装置の音声操作をすることができるとともに、同乗者も所定の携帯端末装置を簡単に音声操作することができる。

次に、図２を用いて、本実施例にかかる音声操作システムの装置構成について説明する。図２は、本実施例にかかる音声操作システムの装置構成パターンを示す図である。

実施例１では、同図の（Ａ）に示すように、車両には、マイク、スピーカーおよびアプリケーションを搭載した携帯端末装置と音声認識エンジンを搭載した携帯端末装置とが存在し、それぞれＤＡと通信処理ができる装置構成の場合を説明する。

実施例２では、同図の（Ｂ）に示すように、車両には、マイク、ディスプレイを搭載した携帯端末装置と、音声認識エンジンを搭載した携帯端末装置と、アプリケーションを搭載した携帯端末装置とが存在し、それぞれＤＡと通信処理ができる装置構成の場合を説明する。

実施例３では、同図の（Ｃ）に示すように、車両には、アプリケーションおよび音声認識エンジンを搭載した携帯端末装置が存在し、マイクおよびタッチパネルディスプレイを搭載したＤＡと通信処理ができる装置構成の場合を説明する。

以下では、本発明にかかる音声操作システムおよび音声操作方法の実施例１について図３〜図８を用いて詳細に説明する。図３は、実施例１にかかる音声操作システムの構成を示すブロック図である。同図に示すように、音声操作システムは、車載装置１０と、携帯端末装置２０と、携帯端末装置３０とを含んでいる。

まず、車載装置１０の構成について説明する。同図に示すように、車載装置１０は、近距離通信部１１と、記憶部１２と、制御部１３とを備えている。また、記憶部１２は、振分情報１２ａをさらに備えており、制御部１３は、受信部１３ａと、振分部１３ｂとをさらに備えている。

近距離通信部１１は、ブルートゥース（登録商標）などの近距離無線通信を用いて携帯端末装置２０および携帯端末装置３０との通信リンクをそれぞれ確立するとともに、確立した各通信リンクを用いて車載装置１０／各携帯端末装置間の通信処理を行う。

ここで、ブルートゥース（Bluetooth：登録商標）とは、２．４ＧＨｚの周波数帯を用いて半径数１０ｍ程度の無線通信を行う近距離無線通信規格であり、近年では、携帯電話やパーソナルコンピュータなどの電子機器に広く適用されている。

なお、実施例１では、ブルートゥース（登録商標）を用いて車載装置１０／各携帯端末装置間の通信を行う場合について説明するが、Ｗｉ−Ｆｉ（ワイファイ：登録商標）、ＺｉｇＢｅｅ（ジグビー：登録商標）といった他の無線通信規格を用いることとしてもよい。また、車載装置１０／各携帯端末装置間の通信を有線通信で行うこととしてもよい。

記憶部１２は、不揮発性ＲＡＭ（Random Access Memory）や、ＨＤＤ（Hard Disk Drive）等で構成される記憶部であり、振分情報１２ａを記憶する。

振分情報１２ａは、音声認識エンジンならびにアプリケーションが装置内に存在するか否か、音声入力元装置および音声認識結果出力先装置を指定する情報を、装置を識別する装置識別子と対応付けられた情報であり、記憶部１２へ蓄積される。

記憶部１２に蓄積された振分情報１２ａは、ＤＡのディスプレイ等から設定の変更を行うことができる。なお、振分情報１２ａの詳細な項目の説明については、図４を用いて、後述することとする。

受信部１３ａは、近距離通信部１１経由で携帯端末装置２０および携帯端末装置３０から入力音声データおよび音声認識結果データを受信し、受信した各種データを、振分部１３ｂへ渡す処理を行う処理部である。

振分部１３ｂは、受信部１３ａから各種データを受信し、受信したデータを、振分情報１２ａに基づいて、近距離通信部１１経由で携帯端末装置２０および携帯端末装置３０へ送信する処理を行う処理部である。

次に、携帯端末装置２０の構成について説明する。同図に示すように、携帯端末装置２０は、車載装置１０との通信を行う近距離通信部２１と、マイク２２と、スピーカー２３と、操作コマンド情報２４と、音声入力部２５と、音声出力部２６と、アプリケーション２７とを備えている。

なお、実際の携帯端末装置２０では、図示した機能部以外の機能部（例えば、操作部、表示部など）を有するが、図３では、実施例１にかかる携帯端末装置２０の特徴を説明するために必要な構成要素のみを抜粋している。

近距離通信部２１は、車載装置１０の近距離通信部１１と同様に、ブルートゥース（登録商標）などの近距離無線通信を用いて車載装置１０との通信リンクを確立するとともに、確立した通信リンクを用いて携帯端末装置２０／車載装置１０間の通信処理を行う。

マイク２２は、音声を電気信号に変換する機器であり、変換した電気信号を音声データとして音声入力部２５へ渡す。スピーカー２３は、音声出力部２６からの電気信号である音声データを物理振動に変えて、音として再生する機器である。

操作コマンド情報２４は、アプリケーション２７が実行可能な形式に変換されたコマンド（以下、「操作コマンド」と記載する）毎に、操作コマンドに対応付けられたコマンド文字列および操作コマンドの実行制限を設定しておく情報が、不揮発性ＲＡＭ等に記憶される。操作コマンド情報２４については、図５を用いて、後述することとする。

音声入力部２５は、マイク２２からの入力音声データを近距離通信部２１へ渡す処理を行う処理部である。音声出力部２６は、近距離通信部２１経由で受信した音声データをスピーカー２３へ渡す処理を行う処理部である。

アプリケーション２７は、携帯端末装置２０上で動作するアプリケーションである。ここで、アプリケーションとしては、ＧＰＳ（Global Positioning System）アンテナを用いた現在位置を取得し、現在位置と地図情報を重ねあわせて目的地までの経路案内を行うナビアプリや、楽曲などの音楽を再生する音楽再生アプリなどがある。

アプリケーション２７では、近距離通信部２１経由で受信したコマンド文字列に基づいて、携帯端末装置２０上で動作するために、装置内部で処理が実行可能な操作コマンドに変換して、変換したコマンドおよび操作コマンド情報２４に基づいて、処理を実行する。

つづいて、携帯端末装置３０の構成について説明する。同図に示すように、携帯端末装置３０は、車載装置１０との通信を行う近距離通信部３１と、音声認識部３２と、結果生成部３３とを備えている。

なお、実際の携帯端末装置３０では、図示した機能部以外の機能部（例えば、操作部、表示部、スピーカー、マイク等の音声入力手段など）を有するが、図３では、実施例１にかかる携帯端末装置３０の特徴を説明するために必要な構成要素のみを抜粋している。

近距離通信部３１は、近距離通信部２１と同様であるので、ここでは説明を省略する。音声認識部３２は、近距離通信部３１経由で受信した入力音声データのノイズ除去等、解析しやすい音声データに調整してから、人間の話す音声言語を解析し、文字列データとして取り出す（以下、「音声認識する」と記載する）処理処理を行う処理部である。

結果生成部３３は、音声認識部３２で認識した音声認識結果を、結果表示用に画像データまたは結果音声出力用に音声データに変換する処理を行う処理部である。

なお、本発明請求項記載の車載装置は車載装置１０、携帯端末装置は携帯端末装置２０および携帯端末装置３０、音声入力手段はマイク２２および音声入力部２５、音声認識手段は音声認識部３２、コマンド実行手段はアプリケーション２７、振分手段は振分部１３ｂに相当するものである。

次に、振分情報１２ａについて、図４を用いて、詳細に説明する。図４は、振分情報を示す図である。同図に示すように、振分情報１２ａは、装置識別子毎に、「音声認識」項目、「アプリケーション」項目、「入力優先順位」項目、「出力表示」項目および「出力音声」項目の情報を含んでいて、ＤＡのディスプレイに表示をして、設定の変更を行うことができる。

装置識別子は、装置を識別する装置識別子であり、ＤＡが、通信処理を行う各装置を認識した際に、所定の装置識別子を割り当てる。「音声認識」項目は、音声認識エンジンが装置内に存在するか否かを示す情報である。

「アプリケーション」項目は、アプリケーションが装置内に存在するか否かを示す情報である。「入力優先順位」項目は、各装置から同時に音声を発せられた場合、どの装置の音声を優先で処理するかを、ＤＡが判定する為の情報である。

たとえば、装置識別子「２２２」および装置識別子「４４４」である装置から、同時に音声が発せられた場合、装置識別子「２２２」の「入力優先順位」は「１」であり、また、装置識別子「４４４」の「入力優先順位」は「３」であることから、ＤＡは、優先順位の高い装置識別子「２２２」の装置からの音声に対して処理を行うこととする。

「出力表示」項目は、音声認識結果を表示する装置の設定を行う。たとえば、音声入力された装置がいずれであっても、装置識別子「１１１」である装置のディスプレイに表示しようとする場合、装置識別子「１１１」の「出力表示」項目に「ａ」と設定する。

また、音声入力された携帯端末装置のディスプレイに表示しようとする場合には、所定の携帯端末装置の「出力表示」項目に「ｂ」と設定しておくと、「ｂ」と設定された携帯端末装置の中から、音声入力された携帯端末装置のディスプレイに表示する。

さらに、指定したすべての携帯端末装置のディスプレイに表示しようとする場合には、所定の携帯端末装置の「出力表示」項目に「ｃ」と設定しておくと、「ｃ」と設定された携帯端末装置すべてのディスプレイに表示する。

「出力音声」項目は、音声認識結果を音声によって出力する装置の設定を行う。これも、「出力表示」項目と同様で、音声入力された装置がいずれであっても、音声認識結果を音声出力する端末には、「出力音声」項目に「ａ」を設定する。

また、音声入力された携帯端末装置に音声出力しようとする場合、所定の携帯端末装置の「出力音声」項目に「ｂ」と設定し、指定したすべての携帯端末装置に音声出力しようとする場合、所定の携帯端末装置の「出力音声」項目に「ｃ」と設定する。

ここでは、「出力表示」項目および「出力音声」項目の設定を、「ａ」、「ｂ」および「ｃ」としたが、他の文字や数値等で表現することとしてもよい。

また、この振分情報１２ａは、ＤＡのディスプレイに表示して設定の変更を行えるようにしたが、ＤＡが、振分情報１２ａを所定の携帯端末装置に送信して、受信した携帯端末装置で、設定の変更を行えるようにしてもよい。

次に、操作コマンド情報２４について、図５を用いて、詳細に説明する。図５は、操作コマンド変更画面を示す図である。同図の表に示すように、操作コマンド情報２４は、操作コマンド毎に、「文字列」項目、「使用」項目の情報を含んでいる。

「文字列」項目は、操作コマンドに対応付けられた、コマンド文字列である。「文字列」項目のコマンド文字列を音声入力すると、対応する操作コマンドがアプリケーション２７で実行される。

「使用」項目は、コマンドの操作制限を設定しておく情報であり、操作コマンドが音声操作によって実行してもよいか否かを設定しておく。たとえば、「コマンド：３０」の「音楽 再生」を「使用不可」（ここでは「×」）に設定しておくと、「音楽 再生」と音声入力された場合には、「音楽 再生」に対応する操作は実行されない。

アプリケーション２７が搭載されている携帯端末装置２０には、たとえば、同図下部に示すように、「追加」ボタン、「更新」ボタンおよび「終了」ボタンを備えた操作コマンドの設定画面によって、操作コマンドを設定することができる。

「追加」ボタンが押下されると、操作コマンド情報２４に新規に操作コマンドを登録することができる。また、「更新」ボタンが押下されると、操作コマンド情報２４を変更した後、操作コマンドを更新することができる。

具体的には、同図に示すように、「コマンド：１０」のコマンド文字列は「ＯＫ」に設定されているが、「実行」または「はい」等の他のコマンド文字列に変更することによって、「実行」または「はい」と音声入力することで、「コマンド：１０」が実行される。

「終了」ボタンが押下されると、操作コマンドの設定処理を終了する。なお、携帯端末装置２０の出荷時に、あらかじめアプリケーションで使用される共通の操作コマンドを初期設定しておくこととしてもよい。

ここで、音声操作システムが行う操作コマンド入力処理手順および結果確認処理手順を説明する際の、振分情報１２ａの設定状態を、図６に示す。図６は、実施例１にかかる振分情報を示す図である。

この場合、車載装置１０は、装置識別子「１１１」に割り当てられ、同乗者の携帯端末を携帯端末装置２０とすると、装置識別子「２２２」に割り当てられ、ドライバーの携帯端末を携帯端末装置３０とすると、装置識別子「３３３」に割り当てられているものとする。

音声認識エンジンは、携帯端末装置３０に搭載されており、アプリケーションは携帯端末装置２０に搭載されている。「入力優先順位」は、携帯端末装置２０が「１」、車載装置１０が「２」と設定されているものとする。また、音声認識結果は、携帯端末装置２０から、音声によって出力するよう設定されているものとして、以下を説明する。

まず、音声操作システムが行う操作コマンド入力処理手順について、図７を用いて説明する。図７は、実施例１にかかる操作コマンド入力処理手順を示すシーケンス図である。

車載装置１０では、まず、図示しない車載装置１０に備える音声操作を開始するボタンが割り当てられており、音声操作の開始ボタンが押下されたことによって、音声操作が行えるような状態になっているとする。

同図に示すように、同乗者が、携帯端末装置２０から、コマンド文字列を音声入力すると（ステップＳ１０１）、携帯端末装置２０は、近距離通信部２１を経由して、入力音声データを車載装置１０へ送る。

そして、車載装置１０の振分部１３ｂは、振分情報１２ａに基づいて、音声認識エンジンがいずれの装置に搭載されているかを携帯端末装置３０と判定し（ステップＳ１０２）、近距離通信部１１を経由して、入力音声データをステップＳ１０２で判定した携帯端末装置３０へ送る。

一方、携帯端末装置３０の音声認識部３２は、受信した入力音声データを、音声認識して（ステップＳ１０３）、コマンド文字列に変換し、さらに、結果生成部３３では、音声出力用にコマンド文字列の音声データを生成して（ステップＳ１０４）、近距離通信部３１を経由して、音声データおよびコマンド文字列を車載装置１０に送る。

その後、車載装置１０の振分部１３ｂは、振分情報１２ａに基づいて、音声認識結果の出力先装置およびアプリケーションの搭載されている装置を共に携帯端末装置２０と判定し（ステップＳ１０５）、近距離通信部１１を経由して、音声データおよびコマンド文字列を携帯端末装置２０に送る。

そして、携帯端末装置２０は、受信した音声データをスピーカー２３によって出力し（ステップＳ１０６）、受信したコマンド文字列を一時記憶メモリ等に記憶しておく（ステップＳ１０７）。

図７の処理手順につづいて、音声操作システムが行う結果確認処理手順について、図８を用いて説明する。図８は、実施例１にかかる結果確認処理手順を示すシーケンス図である。

同図に示すように、同乗者が、携帯端末装置２０から、確認文字列を音声入力すると（ステップＳ２０１）、携帯端末装置２０は、近距離通信部２１を経由して、入力音声データを車載装置１０へ送る。

そして、車載装置１０の振分部１３ｂは、振分情報１２ａに基づいて、音声認識エンジンがいずれの装置に搭載されているかを携帯端末装置３０と判定し（ステップＳ２０２）、近距離通信部１１を経由して、入力音声データをステップＳ２０２で判定した携帯端末装置３０へ送る。

一方、携帯端末装置３０の音声認識部３２は、受信した入力音声データを、音声認識して（ステップＳ２０３）、結果生成部３３では、音声確認結果を確認文字列として文字列データ生成を行い（ステップＳ２０４）、近距離通信部３１を経由して、確認文字列を車載装置１０に送る。

その後、車載装置１０の振分部１３ｂは、振分情報１２ａに基づいて、アプリケーションの搭載されている装置を携帯端末装置２０と判定し（ステップＳ２０５）、近距離通信部１１を経由して、確認文字列を携帯端末装置２０に送る。

そして、携帯端末装置２０のアプリケーション２７は、受信した確認文字列が「ＯＫ」であれば、一時記憶メモリ等に記憶しておいたコマンド文字列を、操作コマンド情報２４に基づいて、操作コマンドを生成し（ステップＳ２０６）、操作コマンドに基づいて、アプリケーションを実行する（ステップＳ２０７）。

このように、実施例１では、音声認識エンジンがドライバーの携帯端末装置３０に搭載されており、アプリケーションが同乗者の携帯端末装置２０に搭載されている場合、同乗者の携帯端末装置２０から音声入力を行って、車載装置１０が、音声認識エンジンが搭載されている携帯端末装置３０にデータを振り分けるよう構成した。

これにより、たとえば、後部座席に乗車している同乗者が、ドライバーの携帯端末装置３０に触れることなく音声操作することができ、また、車両前方に設置されている車載装置１０を操作する必要がない。したがって、同乗者は、前方に乗り出す等の、ドライバーの運転を妨害するような行動をとることなく、自由な姿勢で音声操作することができる。

なお、実施例１においては、同乗者の携帯端末装置から音声入力するようにしたが、車載装置１０に接続した、ヘッドセットマイクなどのハンズフリーユニットから音声入力するようにしてもよい。

さて、上記の実施例１では、車載装置１０と２台の携帯端末装置２０、３０とが、近距離無線通信機能で連携する音声操作システムについて説明したが、車載装置と３台以上の携帯端末装置とを連携させてもよい。

そこで、実施例２では、車載装置と３台の携帯端末装置とが、近距離無線通信機能で連携する場合について、図９〜図１２を用いて詳細に説明する。図９は、実施例２にかかる音声操作システムの構成を示すブロック図である。

同図に示すように、音声操作システムは、車載装置１１０と、携帯端末装置１２０と、携帯端末装置１３０と、携帯端末装置１４０とを含んでいる。

車載装置１１０および携帯端末装置１３０については、実施例１の車載装置１０および携帯端末装置３０と同様であるので、ここでは説明を省略する。

次に、携帯端末装置１２０の構成について説明する。同図に示すように、携帯端末装置１２０は、車載装置１１０との通信を行う近距離通信部１２１と、マイク１２２と、ディスプレイ１２３と、音声入力部１２４と、表示部１２５とを備えている。

なお、実際の携帯端末装置１２０では、図示した機能部以外の機能部（例えば、操作部、スピーカーなど）を有するが、図９では、実施例２にかかる携帯端末装置１２０の特徴を説明するために必要な構成要素のみを抜粋している。

近距離通信部１２１は、実施例１の近距離通信部２１と同様であるので、ここでは説明を省略する。また、マイク１２２は、実施例１のマイク２２と同様であるので、ここでは説明を省略する。ディスプレイ１２３は、表示部１２５からの画像データを表示する機器である。

音声入力部１２４は、マイク１２２からの入力音声データを近距離通信部１２１へ渡す処理を行う処理部である。表示部１２５は、近距離通信部２１経由で受信した画像データをディスプレイ１２３へ渡す処理を行う処理部である。

つづいて、携帯端末装置１４０の構成について説明する。同図に示すように、携帯端末装置１４０は、車載装置１１０との通信を行う近距離通信部１４１と、アプリケーション１４２と、操作コマンド情報１４３とを備えている。

なお、実際の携帯端末装置１４０では、図示した機能部以外の機能部（例えば、操作部、表示部、スピーカー、マイク等の音声入力手段など）を有するが、図９では、実施例２にかかる携帯端末装置１４０の特徴を説明するために必要な構成要素のみを抜粋している。

操作コマンド情報１４３は、実施例１の操作コマンド情報２４と同様であるので、ここでは説明を省略する。また、アプリケーション１４２は、実施例１のアプリケーション２７と同様であるので、ここでは説明を省略する。

なお、本発明請求項記載の車載装置は車載装置１１０、携帯端末装置は携帯端末装置１２０、携帯端末装置１３０および携帯端末装置１４０、音声入力手段はマイク１２２および音声入力部１２４、音声認識手段は音声認識部１３２、コマンド実行手段はアプリケーション１４２、振分手段は振分部１１３ｂに相当するものである。

ここで、音声操作システムが行う操作コマンド入力処理手順および結果確認処理手順を説明する際の、振分情報１１２ａの設定状態を、図１０に示す。図１０は、実施例２にかかる振分情報を示す図である。

この場合、車載装置１１０は、装置識別子「１１１」に割り当てられ、同乗者の携帯端末を携帯端末装置１２０および携帯端末装置１４０とすると、装置識別子「２２２」および装置識別子「４４４」に割り当てられ、ドライバーの携帯端末を携帯端末装置１３０とすると、装置識別子「３３３」に割り当てられているものとする。

音声認識エンジンは、携帯端末装置１３０に搭載されており、アプリケーションは携帯端末装置１４０に搭載されている。「入力優先順位」は、携帯端末装置１２０が「１」、携帯端末装置１４０が「２」、車載装置１１０が「３」と設定されているものとする。また、音声認識結果は、携帯端末装置１２０から、ディスプレイによって表示するよう設定されているものとして、以下を説明する。

まず、音声操作システムが行う操作コマンド入力処理手順について、図１１を用いて説明する。図１１は、実施例２にかかる操作コマンド入力処理手順を示すシーケンス図である。

車載装置１１０では、まず、図示しない車載装置１１０に備える音声操作を開始するボタンが割り当てられており、音声操作の開始ボタンが押下されたことによって、音声操作が行えるような状態になっているとする。

同図に示すように、同乗者が、携帯端末装置１２０から、コマンド文字列を音声入力すると（ステップＳ３０１）、携帯端末装置１２０は、近距離通信部１２１を経由して、入力音声データを車載装置１１０へ送る。

そして、車載装置１１０の振分部１１３ｂは、振分情報１１２ａに基づいて、音声認識エンジンがいずれの装置に搭載されているかを携帯端末装置１３０と判定し（ステップＳ３０２）、近距離通信部１１１を経由して、入力音声データをステップＳ３０２で判定した携帯端末装置１３０へ送る。

一方、携帯端末装置１３０の音声認識部１３２は、受信した入力音声データを、音声認識して（ステップＳ３０３）、コマンド文字列に変換し、さらに、結果生成部１３３では、表示用に音声認識結果の確認を促す画像データを生成して（ステップＳ３０４）、近距離通信部１３１を経由して、画像データおよびコマンド文字列を車載装置１１０に送る。

その後、車載装置１１０の振分部１１３ｂは、振分情報１１２ａに基づいて、音声認識結果の出力先装置を携帯端末装置１２０と判定し、また、アプリケーションの搭載されている装置を携帯端末装置１４０と判定し（ステップＳ３０５）、近距離通信部１１１を経由して、画像データを携帯端末装置１２０に送る。

そして、携帯端末装置１２０は、受信した画像データをディスプレイ１２３によって表示する（ステップＳ３０６）。たとえば、図１のＤＡ（１１１）に表示したような画像を、携帯端末装置１２０のディスプレイ１２３に表示する。

その後、車載装置１１０は、近距離通信部１１１を経由して、コマンド文字列を携帯端末装置１４０に送り、携帯端末装置１４０は、受信したコマンド文字列を一時記憶メモリ等に記憶しておく（ステップＳ３０７）。

図１１の処理手順につづいて、音声操作システムが行う結果確認処理手順について、図１２を用いて説明する。図１２は、実施例２にかかる結果確認処理手順を示すシーケンス図である。

同図に示すように、同乗者が、携帯端末装置１２０から、確認文字列を音声入力すると（ステップＳ４０１）、携帯端末装置１２０は、入力音声データを車載装置１１０へ送る。

そして、車載装置１１０の振分部１１３ｂは、振分情報１１２ａに基づいて、音声認識エンジンがいずれの装置に搭載されているかを携帯端末装置１３０と判定し（ステップＳ４０２）、近距離通信部１１１を経由して、入力音声データをステップＳ４０２で判定した携帯端末装置１３０へ送る。

一方、携帯端末装置１３０の音声認識部１３２は、受信した入力音声データを、音声認識して（ステップＳ４０３）、結果生成部１３３では、音声確認結果を確認文字列として文字列データ生成を行い（ステップＳ４０４）、近距離通信部１３１を経由して、確認文字列を車載装置１１０に送る。

その後、車載装置１１０の振分部１１３ｂは、振分情報１１２ａに基づいて、アプリケーションの搭載されている装置を携帯端末装置１４０と判定し（ステップＳ４０５）、近距離通信部１１１を経由して、確認文字列を携帯端末装置１２０に送る。

そして、携帯端末装置１４０のアプリケーション１４２は、受信した確認文字列が「ＯＫ」であれば、一時記憶メモリ等に記憶しておいたコマンド文字列を、操作コマンド情報１４３に基づいて、操作コマンドを生成し（ステップＳ４０６）、操作コマンドに基づいて、アプリケーションを実行する（ステップＳ４０７）。

このように、実施例２では、音声認識エンジン、アプリケーションおよび音声入力／表示を行う装置がいずれにあっても、車載装置１１０が、それぞれの処理を各装置で行えるよう、振り分け処理するよう構成した。

これにより、同乗者が、ドライバーの携帯端末装置１３０に触れることなく音声操作することができるとともに、音声認識エンジンやアプリケーションを搭載していない携帯端末装置からも音声操作することができる。さらには、同乗者自身の持つ携帯端末装置を使用することで、音声操作システムを使用する装置を新たに購入する必要がなく、多くの同乗者が利用することができる。

ところで、これまでは、同乗者の携帯端末装置から、音声入力を行う場合について説明してきたが、ドライバーだけが乗車しているような場合、すなわち、車載装置と１台の携帯端末装置とを連携させるようにしてもよい。

そこで、実施例３では、車載装置と１台の携帯端末装置とが、近距離無線通信機能で連携する場合について、図１３〜図１６を用いて詳細に説明する。図１３は、実施例３にかかる音声操作システムの構成を示すブロック図である。

同図に示すように、音声操作システムは、車載装置２１０と、携帯端末装置２２０とを含んでいる。まず、車載装置２１０の構成について説明する。同図に示すように、車載装置２１０は、近距離通信部２１１と、マイク２１２と、ディスプレイ２１３と、制御部２１４とを備えている。

また、制御部２１４は、受信部２１４ａと、振分部２１４ｂと、音声入力部２１４ｃと、表示操作部２１４ｄとをさらに備えている。近距離通信部２１１については、実施例１の近距離通信部１１と同様であるので、ここでは説明を省略する。

マイク２１２は、ヘッドセットマイクなどのハンズフリーユニットで、ドライバーが運転中にも音声操作が可能な入力デバイスで構成され、音声を電気信号に変換し、変換した電気信号を音声データとして音声入力部２１４ｃへ渡す。

ディスプレイ２１３は、タッチパネルディスプレイなどの入出力デバイスで構成され、表示操作部２１４ｄからの画像データを表示するとともに、表示した表示画面に対するタッチ情報等を取得する。

ここで、タッチ情報とは、タッチされたディスプレイ上の座標位置情報や、タッチから次のタッチまでの時間間隔などを含んだ情報である。なお、ディスプレイ２１３は、取得したタッチ情報を表示操作部２１４ｄへ渡す。

受信部２１４ａは、近距離通信部１１経由で携帯端末装置２２０から音声認識結果データを受信し、音声入力部２１４ｃから入力音声データを受信し、さらに、表示操作部２１４ｄからは座標位置情報等を受信し、受信した各種データを、振分部２１４ｂへ渡す処理を行う処理部である。

振分部２１４ｂは、受信部２１４ａから各種データを受信し、受信したデータを、図示しない振分情報に基づいて、表示操作部２１４ｄまたは携帯端末装置２２０へ送信する処理を行う処理部である。

音声入力部２１４ｃは、マイク２１２からの入力音声データを受信部２１４ａへ渡す処理を行う処理部である。表示操作部２１４ｄは、振分部２１４ｂから受信した画像データをディスプレイ２１３へ渡し、また、ディスプレイ２１３から受信したタッチ情報を受信部２１４ａへ渡す処理を行う処理部である。

次に、携帯端末装置２２０の構成について説明する。同図に示すように、携帯端末装置２２０は、車載装置２１０との通信を行う近距離通信部２２１と、音声認識部２２２と、結果生成部２２３と、アプリケーション２２４と、操作コマンド情報２２５とを備えている。

なお、実際の携帯端末装置２２０では、図示した機能部以外の機能部（例えば、操作部、表示部、スピーカー、マイク等の音声入力手段など）を有するが、図１３では、実施例３にかかる携帯端末装置２２０の特徴を説明するために必要な構成要素のみを抜粋している。

近距離通信部２２１、音声認識部２２２、結果生成部２２３、アプリケーション２２４および操作コマンド情報２２５は、実施例１の近距離通信部２１、音声認識部３２、結果生成部３３、アプリケーション２７および操作コマンド情報２４と同様であるので、ここでは説明を省略する。

なお、本発明請求項記載の車載装置は車載装置２１０、携帯端末装置は携帯端末装置２２０、音声入力手段はマイク２１２および音声入力部２１４ｃ、音声認識手段は音声認識部２２２、コマンド実行手段はアプリケーション２２４、振分手段は振分部２１４ｂに相当するものである。

ここで、音声操作システムが行う操作コマンド入力処理手順および結果確認処理手順を説明する際の、振分情報の設定状態を、図１４に示す。図１４は、実施例３にかかる振分情報を示す図である。

この場合、車載装置２１０は、装置識別子「１１１」に割り当てられ、ドライバーの携帯端末を携帯端末装置２２０とすると、装置識別子「２２２」に割り当てられているものとする。

音声認識エンジンおよびアプリケーションは、携帯端末装置２２０に搭載されている。「入力優先順位」は、ドライバーは携帯端末装置２２０を使用することができないので、車載装置２１０に「１」とだけ設定されているものとする。また、音声認識結果は、上記と同様の理由から車載装置２１０のディスプレイ２１３によって表示するよう設定されているものとして、以下を説明する。

まず、音声操作システムが行う操作コマンド入力処理手順について、図１５を用いて説明する。図１５は、実施例３にかかる操作コマンド入力処理手順を示すシーケンス図である。

車載装置２１０では、まず、図示しない車載装置２１０に備える音声操作を開始するボタンが割り当てられており、音声操作の開始ボタンが押下されたことによって、音声操作が行えるような状態になっているとする。

同図に示すように、ドライバーが、ハンズフリーのマイク２１２から、コマンド文字列を音声入力すると（ステップＳ５０１）、車載装置２１０の振分部２１４ｂは、振分情報に基づいて、音声認識エンジンがいずれの装置に搭載されているかを携帯端末装置２２０と判定し（ステップＳ５０２）、近距離通信部２１１を経由して、入力音声データをステップＳ５０２で判定した携帯端末装置２２０へ送る。

一方、携帯端末装置２２０の音声認識部２２２は、受信した入力音声データを、音声認識して（ステップＳ５０３）、コマンド文字列に変換し、さらに、結果生成部２２３では、表示用に音声認識結果の確認を促す画像データを生成して（ステップＳ５０４）、近距離通信部２２１を経由して、画像データおよびコマンド文字列を車載装置２１０に送る。

その後、車載装置２１０の振分部２１４ｂは、振分情報に基づいて、音声認識結果の出力先装置を車載装置２１０と判定し、また、アプリケーションの搭載されている装置を携帯端末装置２２０と判定する（ステップＳ５０５）。

そして、車載装置２１０は、画像データをディスプレイ２１３によって表示する（ステップＳ５０６）。たとえば、図１のＤＡ（１１１）に表示したような画像を、車載装置２１０のディスプレイ２１３に表示する。

その後、車載装置２１０は、近距離通信部２１１を経由して、コマンド文字列を携帯端末装置２２０に送り、携帯端末装置２２０は、受信したコマンド文字列を一時記憶メモリ等に記憶しておく（ステップＳ５０７）。

図１５の処理手順につづいて、音声操作システムが行う結果確認処理手順について、図１６を用いて説明する。図１６は、実施例３にかかる結果確認処理手順を示すシーケンス図である。

同図に示すように、ドライバーが、音声認識結果の確認を促す画像が表示されているディスプレイ２１３の「ＯＫ」部分をタッチすることにより確認入力を行う（ステップＳ６０１）。

車載装置２１０のディスプレイ２１３は、ディスプレイ２１３からタッチ情報としてタッチされたディスプレイ上の座標位置情報を取得し（ステップＳ６０２）、座標位置情報を表示操作部２１４ｄへ送る。

そして、車載装置２１０の表示操作部２１４ｄは、取得した座標位置情報および音声認識結果の確認を促す画像データに基づいて、確認結果を判別し（ステップＳ６０３）、確認結果を文字列に変換して、変換した確認文字列を受信部２１４ａに送る。

その後、車載装置２１０の振分部２１４ｂでは、振分情報に基づいて、アプリケーションの搭載されている装置を携帯端末装置２２０と判定し（ステップＳ６０４）、近距離通信部２１１を経由して、確認文字列を携帯端末装置２２０に送る。

そして、携帯端末装置２２０のアプリケーション２２４は、受信した確認文字列が「ＯＫ」であれば、一時記憶メモリ等に記憶しておいたコマンド文字列を、操作コマンド情報２２５に基づいて、操作コマンドを生成し（ステップＳ６０５）、操作コマンドに基づいて、アプリケーションを実行する（ステップＳ６０６）。

このように、実施例３では、ドライバーの携帯端末装置に、音声認識エンジン、アプリケーションが搭載されており、車載装置２１０で、音声入力／表示を行い、ドライバーの携帯端末装置の機能を利用できるよう構成した。

これにより、運転中のドライバーでも安全に携帯端末装置２２０の音声操作をすることができるとともに、携帯端末装置２２０の機能を利用することによって、ハード構成及びソフト構成の両面において車載装置２１０の構成を簡素化し、廉価な価格で製品提供することができる。

なお、上記実施例においては、音声操作する操作コマンドについて、アプリケーションの操作について説明したが、ＤＡに表示または備えている入力項目、たとえば、数字キー、十字キーなどにも対応するようにしてもよく、この場合、ＤＡの機能を音声操作することにより、ドライバーがより安全に運転することができる。

また、上記実施例においては、音声認識結果の確認を行う際、音声入力により「ＯＫ」と発する、または、ＤＡのディスプレイをタッチすることで、確認操作を認識してアプリケーションを実行していた。

ところが、音声認識結果を表示または出力した後、たとえば、一定時間、操作がなければ「ＯＫ」とみなす、あるいは、一定時間、操作がなければ「キャンセル」とみなすとすることで、操作者の動作を簡略化することができ、ドライバーがより安全に運転することができる。

また、上記実施例においては、入力音声データのノイズ除去を携帯端末装置で行うようにしていたが、ＤＡで行うようにすることで、音声認識処理を行う携帯端末装置の処理負荷を軽減することができる。

また、上記実施例においては、携帯端末装置に搭載された音声認識エンジンを使用するようにしていたが、ＤＡに音声認識エンジンを搭載することで、アプリケーションを搭載する携帯端末装置さえ存在すればよいので、ドライバーや同乗者が携帯端末装置を購入する際の負担を軽減することができる。

また、上記実施例においては、ＤＡに音声操作を開始するボタンを備えるように構成していたが、携帯端末装置、または、ヘッドセットマイクなどのハンズフリーユニットに音声操作を開始するボタンを割り当ててもよい。

あるいは、携帯端末装置、または、ＤＡのディスプレイに開始ボタンを表示させてもよい。この場合、ＤＡに音声操作用のボタンを備えずに済むことから、ハード構成及びソフト構成の両面において、ＤＡの構成を簡素化し、廉価な価格で製品提供することができる。

以上のように、本発明にかかる音声操作システムおよび音声操作方法は、車載装置を用いて携帯端末装置の操作を行う場合に、運転中のドライバーの安全性を損なうことなく音声操作できるとともに、特に、音声認識エンジンおよびアプリケーションが、いずれの携帯端末装置に存在する場合であっても、ドライバーや同乗者が、自身の携帯端末装置から簡単に音声操作したい場合に適している。

本実施例にかかる音声操作システムの概要を示す図である。 本実施例にかかる音声操作システムの装置構成パターンを示す図である。 実施例１にかかる音声操作システムの構成を示すブロック図である。 振分情報を示す図である。 操作コマンド変更画面を示す図である。 実施例１にかかる振分情報を示す図である。 実施例１にかかる操作コマンド入力処理手順を示すシーケンス図である。 実施例１にかかる結果確認処理手順を示すシーケンス図である。 実施例２にかかる音声操作システムの構成を示すブロック図である。 実施例２にかかる振分情報を示す図である。 実施例２にかかる操作コマンド入力処理手順を示すシーケンス図である。 実施例２にかかる結果確認処理手順を示すシーケンス図である。 実施例３にかかる音声操作システムの構成を示すブロック図である。 実施例３にかかる振分情報を示す図である。 実施例３にかかる操作コマンド入力処理手順を示すシーケンス図である。 実施例３にかかる結果確認処理手順を示すシーケンス図である。

符号の説明

１０ 車載装置
１１ 近距離通信部
１２ 記憶部
１２ａ 振分情報
１３ 制御部
１３ａ 受信部
１３ｂ 振分部
２０ 携帯端末装置
２１ 近距離通信部
２２ マイク
２３ スピーカー
２４ 操作コマンド情報
２５ 音声入力部
２６ 音声出力部
２７ アプリケーション
３０ 携帯端末装置
３１ 近距離通信部
３２ 音声認識部
３３ 結果生成部

Claims (5)

1. 車載装置を用いて携帯端末装置の音声操作を行う音声操作システムであって、
   利用者が発する音声を入力する音声入力手段と、
   前記音声を音声認識する音声認識手段と、
   前記音声認識手段による音声認識結果を操作コマンドに変換したうえで当該操作コマンドを実行するコマンド実行手段と
   を備え、
   前記車載装置は、
   前記音声入力手段、前記音声認識手段ならびに前記コマンド実行手段が装置内に存在するか否かを、前記装置を識別する装置識別子と対応付けた振分情報を記憶する振分情報記憶手段と、
   前記振分情報に基づいて前記音声入力手段からの出力を前記音声認識手段へ、前記音声認識手段からの出力を前記コマンド実行手段へ、それぞれ振り分ける振分手段と
   を備えたことを特徴とする音声操作システム。
2. 前記音声認識手段は、
   前記音声認識結果を利用者に対して通知して確認を得る結果確認手段
   をさらに備え、
   前記振分情報は、
   前記結果確認手段による通知先となる装置の前記装置識別子をさらに含むものであって、
   前記振分手段は、
   前記振分情報に基づき、前記音声認識手段からの出力を前記コマンド実行手段へ振り分ける前に、当該出力を前記結果確認手段へ振り分けることを特徴とする請求項１に記載の音声操作システム。
3. 前記振分情報は、
   前記音声入力手段が複数の装置に設けられていて、複数の利用者がそれぞれの前記音声入力手段によって同時に音声を入力した場合に、どの前記音声入力手段からの前記音声を優先的に用いるかを示す入力優先順位をさらに含むものであって、
   前記振分手段は、
   前記振分情報に基づき、前記音声入力手段によって入力された前記音声を取捨選択することを特徴とする請求項１または２に記載の音声操作システム。
4. 前記コマンド実行手段が実行する前記操作コマンドと前記音声認識手段による前記音声認識結果との対応付けを変更する変更手段
   をさらに備えたことを特徴とする請求項１、２または３のいずれか１項に記載の音声操作システム。
5. 車載装置を用いて携帯端末装置の音声操作を行う音声操作方法であって、
   利用者が発する音声を入力する音声入力工程と、
   前記音声を音声認識する音声認識工程と、
   前記音声認識工程による音声認識結果を操作コマンドに変換したうえで当該操作コマンドを実行するコマンド実行工程と
   を備え、
   前記車載装置は、
   前記音声入力工程、前記音声認識工程ならびに前記コマンド実行工程が装置内に存在するか否かを、前記装置を識別する装置識別子と対応付けた振分情報を記憶する振分情報記憶工程と、
   前記振分情報に基づいて前記音声入力工程からの出力を前記音声認識工程へ、前記音声認識工程からの出力を前記コマンド実行工程へ、それぞれ振り分ける振分工程と
   を備えたことを特徴とする音声操作方法。

Images