JP2019001428A - On-vehicle device, voice operation system, and voice operation method - Google Patents
On-vehicle device, voice operation system, and voice operation method Download PDFInfo
- Publication number
- JP2019001428A JP2019001428A JP2017120204A JP2017120204A JP2019001428A JP 2019001428 A JP2019001428 A JP 2019001428A JP 2017120204 A JP2017120204 A JP 2017120204A JP 2017120204 A JP2017120204 A JP 2017120204A JP 2019001428 A JP2019001428 A JP 2019001428A
- Authority
- JP
- Japan
- Prior art keywords
- command
- unit
- execution
- vehicle device
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000008569 process Effects 0.000 claims description 48
- 230000004044 response Effects 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 22
- 238000010586 diagram Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000003550 marker Substances 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Navigation (AREA)
Abstract
Description
本発明は、車載装置、音声操作システムおよび音声操作方法の技術に関するものである。 The present invention relates to a technology of an in-vehicle device, a voice operation system, and a voice operation method.
ユーザーが発話した内容に対応するコマンドが走行中に操作可能か否かを判断し、走行車両が走行中のときには操作可能のときだけアプリケーション制御部に対してそのコマンドの実行を指示し、操作不可能と判断されたときにはそのコマンドの実行を指示しない技術が、特許文献１に記載されている。
It is determined whether or not a command corresponding to the content spoken by the user can be operated during traveling. When the traveling vehicle is traveling, the application control unit is instructed to execute the command only when the operation is possible. A technique that does not instruct execution of the command when it is determined to be possible is described in
上記のような技術では、走行中に実行できるコマンドについては走行中も実行可能とし、そうでないコマンドについては走行中は実行不可能とすることについて、ポリシーにて定義することができる。しかし、音声操作について、通信を介してサーバー装置で実行するコマンドが多くなると、安全性、ユーザビリティを考慮した実行タイミング制御についても細やかに対応する必要が有る。 In the above-described technology, it is possible to define in the policy that a command that can be executed during traveling can be executed during traveling, and that a command that is not possible can not be executed during traveling. However, with regard to voice operations, when the number of commands executed by the server device via communication increases, it is necessary to respond finely to execution timing control in consideration of safety and usability.
本発明の目的は、音声操作について、安全性、ユーザビリティを考慮した実行タイミング制御を細やかに行う車載装置、音声操作システムおよび音声操作方法を提供することにある。 An object of the present invention is to provide an in-vehicle device, a voice operation system, and a voice operation method that perform detailed execution timing control in consideration of safety and usability for voice operation.
本発明は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本発明に係る車載装置は、コマンドごとに実行を制御するパラメータを含むポリシー情報を記憶する記憶部と、音声情報を取り込む音声取込部と、上記音声情報に対応するコマンドを受け付けて該コマンドの実行を上記ポリシー情報に応じて制御するコマンド制御部と、を備え、上記コマンド制御部は、上記コマンドについて、上記ポリシー情報に含まれるパラメータに応じて一又は複数の段階を設けて処理を実行する、ことを特徴とする車載装置。 The present invention includes a plurality of means for solving at least a part of the problems described above. Examples of the means are as follows. In order to solve the above-described problem, the in-vehicle device according to the present invention corresponds to the storage unit that stores the policy information including the parameter for controlling the execution for each command, the voice capturing unit that captures the voice information, and the voice information. A command control unit that receives a command and controls execution of the command according to the policy information, and the command control unit is configured to perform one or more steps for the command according to a parameter included in the policy information. An in-vehicle device characterized in that a process is performed by providing a device.
本願発明によれば、安全性、ユーザビリティを考慮した実行タイミング制御を細やかに行う車載装置、音声操作システムおよび音声操作方法を提供することが可能となる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。 According to the present invention, it is possible to provide an in-vehicle apparatus, a voice operation system, and a voice operation method that finely execute execution timing control in consideration of safety and usability. Problems, configurations, and effects other than those described above will become apparent from the following description of embodiments.
以下に、本発明に係る車載装置を含む音声操作システムについて、図面を参照して説明する。なお、図１〜図１１は、音声操作システム１の全ての構成を示すものではなく、理解容易のため、適宜、構成の一部を省略して描いている。
Hereinafter, a voice operation system including a vehicle-mounted device according to the present invention will be described with reference to the drawings. 1 to 11 do not show all the configurations of the
図１に、本発明に係る実施形態を適用した音声操作システムの構造を示す。本発明に係る実施形態を適用した音声操作システム１においては、車載装置１００およびサーバー装置２００の制御の一部に、アプリケーションソフトウェアによる制御が含まれる。また、車載装置１００においては、ナビゲーションを行うアプリケーションの機能は、車載装置１００のＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の管理下で動作するアプリケーションソフトウェアにより実現されるものとする。一方で、サーバー装置２００においては、ＰＯＩ（Ｐｏｉｎｔ Ｏｆ Ｉｎｔｅｒｅｓｔ）検索アプリケーションあるいは目的地設定の機能は、サーバー装置２００のＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の管理下で動作するアプリケーションソフトウェアにより実現されるものとする。
FIG. 1 shows the structure of a voice operation system to which an embodiment according to the present invention is applied. In the
車載装置１００は、各種のソフトウェアを実行可能な情報処理装置である。車載装置１００は、本実施形態においては、ＯＳを備え、複数のソフトウェアをインストール可能であり、並列してアプリケーション等のソフトウェアを実行することも可能である。車載装置１００は、車載の状態で使用される専用の装置に限られず、パーソナルコンピューターやスマートフォン、タブレット端末等の各種の独立動作可能な装置であればよい。
The in-
車載装置１００は、制御部１１０と、記憶部１２０と、表示部１４０と、音声出力部１５０と、外部に備えられて接続される集音部１３０と、図示しない通信部と、を含んで構成される。制御部１１０には、音声取込部１１１と、コマンド制御部１１２と、コマンド実行部１１３と、が含まれる。コマンド実行部１１３には、アプリケーション１１４、アプリケーション１１５等の各種のアプリケーションの処理部が含まれる。記憶部１２０には、ポリシー情報１２１が含まれる。
The in-
図２は、ポリシー情報のデータ構造例を示す図である。ポリシー情報１２１には、コマンド１２１Ａと、実行アプリ１２１Ｂと、キャンセル受付時間１２１Ｃと、Ｐｒｅ−ｃｏｍｍａｎｄ／ｃｏｍｍａｎｄ１２１Ｄと、レスポンス（結果）１２１Ｅと、レスポンス（パラメータ）１２１Ｆと、フィードバック表示１２１Ｇと、フィードバック音声１２１Ｈと、が対応付けられて記憶される。 FIG. 2 is a diagram illustrating a data structure example of policy information. The policy information 121 includes a command 121A, an execution application 121B, a cancellation reception time 121C, a pre-command / command 121D, a response (result) 121E, a response (parameter) 121F, a feedback display 121G, and a feedback voice 121H. Are stored in association with each other.
コマンド１２１Ａは、実行するコマンド（処理のアトミックな管理単位）を特定する情報である。例えば、コマンドは、有料優先ルート変更や、ＰＯＩ検索、あるいは目的地設定等、各種処理の基本単位（実行、確定、キャンセル等の単位）である。実行アプリ１２１Ｂは、コマンド１２１Ａにて特定されるコマンドを実行するプログラムが属するアプリケーションソフトウェアを特定する情報である。キャンセル受付時間１２１Ｃは、コマンド１２１Ａにて特定されるコマンドについて、実行直前にキャンセル指示を受け付ける時間を特定する情報である。 The command 121A is information for specifying a command to be executed (atomic management unit of processing). For example, the command is a basic unit (unit of execution, confirmation, cancellation, etc.) of various processes such as pay priority route change, POI search, or destination setting. The execution application 121B is information that specifies application software to which a program that executes the command specified by the command 121A belongs. The cancellation reception time 121C is information for specifying a time for receiving a cancellation instruction immediately before execution of the command specified by the command 121A.
Ｐｒｅ−ｃｏｍｍａｎｄ／ｃｏｍｍａｎｄ１２１Ｄは、コマンド１２１Ａの処理を行うにあたり必要な実行可否判断の問い合わせであるＰｒｅ−ｃｏｍｍａｎｄと、実際の処理を指示するｃｏｍｍａｎｄのいずれかの区分を示す情報である。レスポンス（結果）１２１Ｅは、Ｐｒｅ−ｃｏｍｍａｎｄまたはｃｏｍｍａｎｄの結果を示す戻り値である。レスポンス（パラメータ）１２１Ｆは、Ｐｒｅ−ｃｏｍｍａｎｄまたはｃｏｍｍａｎｄの結果を示す戻り値に付随するパラメータ（引数）の情報である。 The Pre-command / command 121D is information indicating either a pre-command that is an inquiry about whether to execute the command 121A or a command that instructs an actual process. The response (result) 121E is a return value indicating the result of Pre-command or command. The response (parameter) 121F is information on a parameter (argument) attached to a return value indicating the result of Pre-command or command.
フィードバック表示１２１Ｇおよびフィードバック音声１２１Ｈは、いずれもレスポンス（結果）１２１Ｅに応じたユーザーインターフェースの言語出力を特定する情報である。フィードバック表示１２１Ｇは車載装置１００の表示部１４０に表示される言語文字情報であり、フィードバック音声１２１Ｈは車載装置１００の音声出力部１５０から出力される言語音声情報、例えばＴＴＳ（Ｔｅｘｔ Ｔｏ Ｓｐｅｅｃｈ）情報である。
The feedback display 121G and the feedback sound 121H are information for specifying language output of the user interface according to the response (result) 121E. The feedback display 121G is linguistic character information displayed on the display unit 140 of the in-
なお、ポリシー情報１２１は、サーバー装置２００の記憶部２２０にも格納されており、後述するポリシー情報取得処理により車載装置１００はポリシー情報をサーバー装置２００の記憶部２２０からダウンロードして、ポリシー情報１２１として記憶部１２０に記憶する。
The policy information 121 is also stored in the
音声取込部１１１は、集音部１３０から集音した音声情報を所定の音声情報フォーマットに変換し、音声認識のためにサーバー装置２００へ送信する。
The voice capturing unit 111 converts the voice information collected from the
コマンド制御部１１２は、通信部を介してサーバー装置２００から音声情報に対応するコマンドを受信し、該コマンドの実行をポリシー情報１２１に応じて制御する。その際、コマンド制御部１１２は、ポリシー情報１２１に含まれるパラメータ（実行アプリ１２１Ｂの「（サーバー実行）マーカー」）に応じて、一又は複数の段階（Ｐｒｅ−ｃｏｍｍａｎｄ／ｃｏｍｍａｎｄの別）を設けて処理を実行する。より具体的には、コマンド制御部１１２は、実行アプリ１２１Ｂに（サーバー実行）マーカーが含まれていれば、複数の段階（Ｐｒｅ−ｃｏｍｍａｎｄ／ｃｏｍｍａｎｄの二段階）を設けてサーバー装置２００による処理を実行開始させ、マーカーが含まれていなければ、一段階（ｃｏｍｍａｎｄのみ）を設けて自装置のローカルプログラムにより処理を実行するようコマンド実行部１１３へ指示する。
The
コマンド実行部１１３は、複数存在するコマンドのうち、コマンド制御部１１２から実行を指示された一部のコマンドについて処理を実行する。具体的には、コマンド実行部１１３は、コマンド制御部１１２が管理するポリシー情報に規定されたコマンドに対応するアプリケーション１１４またはアプリケーション１１５に対して、該コマンドに対応する処理の呼び出しを行う。
The
集音部１３０は、周囲の音声情報を集める。具体的には、集音部１３０は、車載装置１００が使用される周囲の車内の環境音を集めるマイクロフォンである。
The
表示部１４０は、画面情報を表示する。具体的には、表示部１４０は、ディスプレイを用いて画面情報を表示する。音声出力部１５０は、音声情報を出力する。具体的には、音声出力部１５０は、スピーカー等を用いて、ＴＴＳ等を用いて音声化したガイダンス情報やエラー発生通知等の注意喚起、あるいは検索結果の読み上げ等の各種音声処理のための対話情報を音声出力する。 The display unit 140 displays screen information. Specifically, the display unit 140 displays screen information using a display. The audio output unit 150 outputs audio information. Specifically, the voice output unit 150 uses a speaker or the like to create dialogues for various voice processing such as guidance information that is voiced using TTS or the like, an alert such as an error occurrence notification, or a reading of a search result. Output information as audio.
サーバー装置２００は、インターネット等のネットワーク５０を介して車載装置１００と通信可能に接続される。サーバー装置２００は、いわゆるコンピューターサーバー装置であり、制御部２１０と、記憶部２２０と、図示しない通信部と、を備える。
記憶部２２０には、ポリシー情報１２１が格納される。ポリシー情報１２１は、車載装置１００の記憶部１２０で述べたポリシー情報１２１と同様のデータ構造を有する。そのため、説明は割愛する。なお、このポリシー情報１２１は、例えば車載装置１００の機種ごとに機種固有の制約条件を反映したバリエーションを有するものであってもよいし、車載装置１００が使用される言語環境に応じて言語を異ならせたバリエーションを有するものであってもよい。
Policy information 121 is stored in the
制御部２１０には、音声認識部２１１と、意図推定部２１２と、コマンド判別部２１３と、サーバーコマンド実行部２１４と、が含まれる。音声認識部２１１は、音声情報を受け付けると、解析して該音声情報を自然言語として認識する。
The
意図推定部２１２は、自然言語の情報を受け付けると、文脈の推定や論理を解析して、その自然言語の発話意図を推定する。例えば、自然言語が「ガソリンスタンドある？」であった場合には、意図推定部２１２は、その発話意図はガソリンスタンドの検索であると推定する。 When the intention estimation unit 212 receives natural language information, the intention estimation unit 212 analyzes context estimation and logic, and estimates the natural language utterance intention. For example, when the natural language is “Is there a gas station?”, The intention estimation unit 212 estimates that the utterance intention is a search for a gas station.
コマンド判別部２１３は、推定された発話意図に関し実行すべきコマンドを判別して車載装置１００へ送信する。具体的には、コマンド判別部２１３は、発話意図がガソリンスタンドの検索である場合には、「ＰＯＩ検索」コマンドを検索ワードのパラメータ「ガソリンスタンド」と判別して、車載装置１００へ送信する。
The
サーバーコマンド実行部２１４は、コマンドの段階に応じた情報を受け付けると、所定の処理を行う。換言すると、複数存在するコマンドのうち、車載装置１００のコマンド制御部１１２から実行を指示された一部のコマンドについて処理を実行する。具体的には、サーバーコマンド実行部２１４は、コマンド制御部１１２が管理するポリシー情報に規定されたコマンドに対応するアプリケーション１１４またはアプリケーション１１５に対して、該コマンドの段階（Ｐｒｅ−ｃｏｍｍａｎｄまたはｃｏｍｍａｎｄ）に対応する処理の呼び出しを行う。なお、Ｐｒｅ−ｃｏｍｍａｎｄは、実行可能か否かの問い合わせであるが、サーバーコマンド実行部２１４は、管理下にあるアプリケーション２１５あるいはアプリケーション２１６に対してコマンドとパラメータを引き渡し、その問い合わせ結果を取得して返すコントローラの役割を果たす。サーバーコマンド実行部２１４は、該当するアプリケーション２１５、２１６が存在しない場合や使用不可能である場合には、実行不可能である旨を返却し、該当するアプリケーション２１５が稼動状態に無い場合には、稼動開始を指示して実行可能である旨を返却する。
When the server
図３は、車載装置１００のハードウェア構造例を示す図である。車載装置１００は、入力受付装置１０１と、演算装置１０２と、通信装置１０３と、主記憶装置１０４と、外部記憶装置１０５と、音声出力装置１０６と、集音装置１０７と、表示装置１０８と、これらをつなぐバス１０９と、を含んで構成される。
FIG. 3 is a diagram illustrating an exemplary hardware structure of the in-
入力受付装置１０１は、ハードウェアボタンやタッチパネル等の各種入力装置である。演算装置１０２は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算装置である。
The
通信装置１０３は、携帯電話網や、無線ネットワーク等を介して、他の装置と通信経路を確立し情報を送受信するネットワークモジュール等の装置である。
The
主記憶装置１０４は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのメモリ装置である。
The
外部記憶装置１０５は、例えばハードディスクやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、その他各種の不揮発性記憶媒体に情報を書き込み、あるいは不揮発性記憶媒体から所定の情報を読み出す装置である。
The
音声出力装置１０６は、音声情報を受け付けて音声に変換して出力する、いわゆるスピーカーである。
The
集音装置１０７は、周囲の環境音を集めてサンプリングし音声情報を得る、いわゆるマイクである。なお、集音装置１０７は、車載装置１００から独立した動作を行うマイクであってもよいし、車載装置１００により操作、制御されることで動作を行うマイクであってもよい。
The sound collecting device 107 is a so-called microphone that collects ambient environmental sounds and samples them to obtain sound information. Note that the sound collection device 107 may be a microphone that performs an operation independent from the in-
表示装置１０８は、例えば液晶ディスプレイや、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の表示出力を行う装置である。
The
上記した制御部１１０の各機能部、すなわち音声取込部１１１、コマンド制御部１１２、コマンド実行部１１３は、演算装置１０２が所定のプログラムを読み込み実行することにより構築される。そのため、主記憶装置１０４には、各機能部の処理を実現するためのプログラムが記憶されている。
Each functional unit of the
また、上記した記憶部１２０は、主記憶装置１０４あるいは外部記憶装置１０５により、集音部１３０は、集音装置１０７により、表示部１４０は、表示装置１０８により、音声出力部１５０は、音声出力装置１０６により、それぞれ実現される。
The storage unit 120 is the
なお、上記した各構成要素は、車載装置１００の構成を、理解を容易にするために、主な処理内容に応じて分類したものである。そのため、構成要素の分類の仕方やその名称によって、本願発明が制限されることはない。車載装置１００の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。
In addition, each above-mentioned component classifies the structure of the vehicle-mounted
また、制御部１１０の各機能部は、ＣＰＵに限らずハードウェア（ＡＳＩＣ、ＧＰＵなど）により構築されてもよい。また、各機能部の処理が一つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。
Each functional unit of the
図４は、サーバー装置２００のハードウェア構造例を示す図である。サーバー装置２００は、主記憶装置２０１と、演算装置２０２と、通信装置２０３と、外部記憶装置２０４と、これらをつなぐバス２０５と、を含んで構成される。
FIG. 4 is a diagram illustrating an example of a hardware structure of the
主記憶装置２０１は、例えばＲＡＭなどのメモリ装置である。
The
演算装置２０２は、例えばＣＰＵなどの演算装置である。通信装置２０３は、携帯電話網や、無線ネットワーク等を介して、他の装置である車載装置１００と通信経路を確立し情報を送受信するネットワークモジュール等の装置である。
The
外部記憶装置２０４は、例えばハードディスクやＳＳＤ、その他各種の不揮発性記憶媒体に情報を書き込み、あるいは不揮発性記憶媒体から所定の情報を読み出す装置である。
The
上記した制御部２１０の各機能部、すなわち音声認識部２１１、意図推定部２１２、コマンド判別部２１３、サーバーコマンド実行部２１４は、演算装置２０２が所定のプログラムを読み込み実行することにより構築される。そのため、主記憶装置２０１には、各機能部の処理を実現するためのプログラムが記憶されている。
Each functional unit of the
また、上記した記憶部２２０は、主記憶装置２０１あるいは外部記憶装置２０４により実現される。
The
なお、上記した各構成要素は、サーバー装置２００の構成を、理解を容易にするために、主な処理内容に応じて分類したものである。そのため、構成要素の分類の仕方やその名称によって、本願発明が制限されることはない。サーバー装置２００の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。
Each component described above is a classification of the configuration of the
また、制御部２１０の各機能部は、ＣＰＵに限らずハードウェアにより構築されてもよい。また、各機能部の処理が一つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。
In addition, each function unit of the
［動作の説明］次に、ポリシー情報取得に関する全体の流れの動作について説明する。図５は、ポリシー情報取得処理の流れを示す図である。ポリシー情報取得処理は、車載装置１００のアクセサリオン（電源投入）時に開始される。
[Description of Operation] Next, the operation of the overall flow regarding policy information acquisition will be described. FIG. 5 is a diagram showing the flow of policy information acquisition processing. The policy information acquisition process is started when the on-
まず、コマンド制御部１１２は、ポリシー情報が取得済みか否か判定する（ステップＳ００１）。具体的には、コマンド制御部１１２は、記憶部１２０にポリシー情報１２１が格納されているか否かを判定する。
First, the
ポリシー情報が取得済みでない場合（ステップＳ００１にて「Ｎｏ」の場合）には、コマンド制御部１１２は、ポリシー情報１２１をサーバー装置２００からダウンロードする（ステップＳ００３）。
If the policy information has not been acquired (“No” in step S001), the
ポリシー情報が取得済みの場合（ステップＳ００１にて「Ｙｅｓ」の場合）に、コマンド制御部１１２は、前回取得時から所定時間内か否かを判定する（ステップＳ００２）。前回取得時から所定時間内の場合（ステップＳ００２にて「Ｙｅｓ」の場合）には、コマンド制御部１１２は、ポリシー情報１２１が最新であると判定し、ポリシー情報取得処理を終了させる。
When the policy information has been acquired (in the case of “Yes” in step S001), the
前回取得時から所定時間内でない場合（ステップＳ００２にて「Ｎｏ」の場合）には、コマンド制御部１１２は、ステップＳ００３を実施して、最新のポリシー情報を取得してアップデートする。
If it is not within the predetermined time since the previous acquisition (in the case of “No” in step S002), the
以上が、ポリシー情報取得処理の流れである。ポリシー情報取得処理によれば、車載装置１００は、サーバー装置２００にあるポリシー情報を最新化することができる。
The above is the flow of policy information acquisition processing. According to the policy information acquisition process, the in-
図６は、音声コマンド受付処理の流れを示す図である。音声コマンド受付処理は、車載装置１００が動作中に、開始される。
FIG. 6 is a diagram showing the flow of voice command reception processing. The voice command reception process is started while the in-
まず、集音部１３０が、発話音声を取得する（ステップＳ１０１）。そして、音声取込部１１１が、音声データを取り込みサーバー装置へ送信する（ステップＳ１０２）。
First, the
そして、サーバー装置２００の音声認識部２１１が、音声を認識する（ステップＳ１０３）。
Then, the
そして、サーバー装置２００の意図推定部２１２が、音声で発せられた文章を特定し、文脈解析等の所定の必要な処理を行って発話意図を推定する（ステップＳ１０４）。
Then, the intention estimation unit 212 of the
推定された発話意図を用いて、コマンド判別部２１３がコマンドとパラメータを判別し、判別したコマンドとパラメータとを車載装置１００へ送信する（ステップＳ１０５）。
Using the estimated utterance intention, the
以上が、音声コマンド受付処理の流れである。音声コマンド受付処理によれば、発話意図に応じて行うべき操作であるコマンドを特定し、車載装置１００においては特定されたコマンドを得ることができる。すなわち、車載装置１００の処理負担を軽減しつつ、頻繁な認識機能の改善を速やかに適用することができる。
The above is the flow of the voice command reception process. According to the voice command reception process, a command that is an operation to be performed according to the utterance intention can be specified, and the specified command can be obtained in the in-
図７は、コマンド実行処理の流れを示す図である。コマンド実行処理は、上述の音声コマンド受付処理に続けて実施が開始される。 FIG. 7 is a diagram showing the flow of command execution processing. The command execution process is started after the voice command reception process described above.
コマンド制御部１１２は、コマンドの実行アプリはサーバー実行であるか否かを判定する（ステップＳ２０１）。具体的には、コマンド制御部１１２は、音声コマンド受付処理において受け付けられた音声コマンドを特定し、コマンドに応じてポリシー情報１２１を参照して実行アプリ１２１Ｂを特定する。なお、図２において実行アプリ１２１Ｂに「ナビゲーション」が格納されている例が示されているが、この例では実行アプリは「ナビゲーション」であり、その処理は車載装置１００にて実行されることを示す。
The
また別の例として、実行アプリ１２１Ｂに「ＰＯＩ検索（サーバー実行）」が格納されている例を示しているが、この例では実行アプリは「ＰＯＩ検索」であり、その処理はサーバー装置２００のサーバーコマンド実行部２１４において実行されることを示す。さらに別の例として、実行アプリ１２１Ｂに「ＰＯＩ検索（サーバー実行）、観光地検索（サーバー実行）」が格納されている例が示されているが、この例では実行アプリは「ＰＯＩ検索」または「観光地検索」であり、その処理はサーバー装置２００のサーバーコマンド実行部２１４にて実行されることを示す。なお、実行アプリが二つ以上指定されている場合には、車載装置１００において利用中の（ブラウザアプリの場合にはアクティブ状態にあるタブの）アプリが実行アプリとなる。
As another example, an example is shown in which “POI search (server execution)” is stored in the execution application 121B. In this example, the execution application is “POI search”, and the processing is performed by the
コマンドの実行アプリがサーバー実行でない場合（ステップＳ２０１にて「Ｎｏ」の場合）には、コマンド制御部１１２は、ｃｏｍｍａｎｄとパラメータを実行アプリへ受け渡し、レスポンスを受け取る（ステップＳ２０２）。具体的には、コマンド制御部１１２は、コマンド実行部１１３に対して、ｃｏｍｍａｎｄとパラメータを受け渡し、コマンド実行部１１３は、対応するコマンドを実行するアプリケーションを特定して起動する。当該コマンド実行において得たレスポンスは、後述するステップＳ２１０にてフィードバック出力される。
If the command execution application is not server execution (“No” in step S201), the
コマンドの実行アプリがサーバー実行である場合（ステップＳ２０１にて「Ｙｅｓ」の場合）には、コマンド制御部１１２は、Ｐｒｅ−ｃｏｍｍａｎｄとパラメータを実行アプリへ受け渡しレスポンスを受け取る（ステップＳ２０３）。具体的には、コマンド制御部１１２は、コマンドに応じた第一段階のコマンドであるＰｒｅ−ｃｏｍｍａｎｄを特定し、サーバー装置２００へ実行可否を問い合わせる。その際に、当該Ｐｒｅ−ｃｏｍｍａｎｄに必要なパラメータが有る場合には、コマンド制御部１１２は、発話においてなされたＰＯＩのジャンル等の検索ワード、あるいは車載装置１００の状態や車載装置１００が搭載されている車両の状態等のパラメータを用いる。
If the command execution application is server execution (“Yes” in step S201), the
サーバーコマンド実行部２１４は、Ｐｒｅ−ｃｏｍｍａｎｄとパラメータを車載装置１００から受け取ると、実行アプリへ受け渡し、レスポンスを車載装置へ送信する（ステップＳ２０４）。具体的には、サーバーコマンド実行部２１４は、アプリケーション２１５等のサーバーコマンド実行部２１４により制御されるアプリケーションのうち、受け渡されたＰｒｅ−ｃｏｍｍａｎｄに対応するアプリケーションに対して、処理の前提条件が整っているか否か判定する。前提条件には、必要なアプリケーションの起動がなされているか、実行可能状態に有るか、アプリケーションの進行の流れに沿っているものか、等が含まれる。一方で、サーバーコマンド実行部２１４は、アプリケーションの起動がなされていない場合には、該アプリケーションの起動を行ってから上記前提条件の判定を行う。そして、サーバーコマンド実行部２１４は、レスポンスとして結果（実行可能、あるいはエラーの場合にはその種類等）と、パラメータ（検索結果やその代表、あるいは使用したパラメータそのもの等、アプリケーション２１５等において規定）とを車載装置１００へ送信する。
When the server
コマンド制御部１１２は、サーバーコマンド実行部２１４から返されたレスポンスが実行可能を示すものか否かを判定する（ステップＳ２０５）。実行可能でない場合（ステップＳ２０５にて「Ｎｏ」の場合）には、コマンド制御部１１２は、後述するステップＳ２１０の処理により、ポリシー情報１２１に規定されるフィードバック（フィードバック表示１２１Ｇまたはフィードバック音声１２１Ｈあるいはその両方）を出力する。
The
実行可能である場合（ステップＳ２０５にて「Ｙｅｓ」の場合）には、コマンド制御部１１２は、キャンセル受付時間の間、キャンセル指示を受け付ける（ステップＳ２０６）。具体的には、コマンド制御部１１２は、ポリシー情報１２１に規定されるフィードバック表示１２１Ｇとフィードバック音声１２１Ｈを用いて、所定のキャンセル受付画面をキャンセル受付時間１２１Ｃだけ表示してキャンセル操作を受け付ける。
If it can be executed (in the case of “Yes” in step S205), the
そして、コマンド制御部１１２は、キャンセル受付時間内にキャンセル指示が無かったか否かを判定する（ステップＳ２０７）。キャンセル指示があった場合（ステップＳ２０７にて「Ｎｏ」の場合）には、コマンド制御部１１２は、後述するステップＳ２１０の処理により、所定のキャンセルフィードバック（所定の表示または所定の音声あるいはその両方）を出力する。例えば、コマンド制御部１１２は、「キャンセルしました」等のフィードバック出力（画面表示あるいは音声出力）を行うことが考えられる。
Then, the
キャンセル指示が無かった場合（ステップＳ２０７にて「Ｙｅｓ」の場合）には、コマンド制御部１１２は、第二段階のコマンドであるｃｏｍｍａｎｄとパラメータを実行アプリへ受け渡しレスポンスを受け取る（ステップＳ２０８）。具体的には、コマンド制御部１１２は、コマンドに応じた第二段階のコマンドであるｃｏｍｍａｎｄを特定し、サーバー装置２００へ実行を指示する。その際に、当該ｃｏｍｍａｎｄに必要なパラメータが有る場合には、コマンド制御部１１２は、発話においてなされたＰＯＩのジャンル等の検索ワード、あるいは車載装置１００の状態や車載装置１００が搭載されている車両の状態等のパラメータを用いる。
If there is no cancel instruction (“Yes” in step S207), the
サーバーコマンド実行部２１４は、ｃｏｍｍａｎｄとパラメータを車載装置１００から受け取ると、実行アプリへ受け渡し、レスポンスを車載装置へ送信する（ステップＳ２０９）。具体的には、サーバーコマンド実行部２１４は、アプリケーション２１５等のサーバーコマンド実行部２１４により制御されるアプリケーションのうち、受け渡されたｃｏｍｍａｎｄに対応するアプリケーションに対して、ｃｏｍｍａｎｄを発行する。そして、レスポンスとして結果（実行可否、あるいはエラーの場合にはその種類等）と、パラメータ（検索結果やその代表、あるいは使用したパラメータそのもの等、アプリケーション２１５等において規定）とを車載装置１００へ送信する。
Upon receiving the command and parameter from the in-
そして、コマンド制御部１１２は、フィードバックを出力する（ステップＳ２１０）。具体的には、コマンド制御部１１２は、レスポンスとして結果（実行可否、あるいはエラーの場合にはその種類等）と、パラメータ（検索結果やその代表、あるいは使用したパラメータそのもの等、アプリケーション１１４あるいはアプリケーション２１５等において規定）とを受け付けると、ポリシー情報１２１に規定されたポリシーに応じて、フィードバック表示１２１Ｇと、フィードバック音声１２１Ｈにより規定された出力および画面遷移を行う。そして、コマンド制御部１１２は、コマンド実行処理を終了させる。
Then, the
以上が、コマンド実行処理の処理フローである。コマンド実行処理によれば、コマンド判別部２１３により判別されたコマンドを、ポリシー情報に従って、ローカル（自装置）処理であれば車載装置１００において実行し、リモート（サーバー装置）処理であればサーバー装置２００において実行可否の問い合わせを行う段階を含む多段階で実行することができる。なお、上記のステップＳ２０２において、コマンド制御部１１２は、一段階でｃｏｍｍａｎｄとパラメータを実行アプリへ受け渡しているが、これに限られるものではない。
The above is the process flow of the command execution process. According to the command execution process, the command determined by the
例えば、ｃｏｍｍａｎｄが一連のアプリ処理の流れの一部を実行するものであれば、その実行タイミングが適切であるか否かを判定する必要も考えられる。具体的には、「有料優先ルート変更」コマンドが、目的地へのルートを、別条件（有料道路走行を優先する）で探索したルートへ変更するコマンドである場合、元のルートの存在が必要である。こういった場合には、コマンド制御部１１２は、ポリシー上Ｐｒｅ−ｃｏｍｍａｎｄが設定されておりアプリケーション１１４がこれに対応していれば、Ｐｒｅ−ｃｏｍｍａｎｄとｃｏｍｍａｎｄとの多段階での実行を行う事で、実行可否の判定処理を独立実施させることが可能となる。
For example, if the command executes a part of the flow of a series of application processes, it may be necessary to determine whether or not the execution timing is appropriate. Specifically, if the “Change toll priority route” command is a command to change the route to the destination to a route searched under another condition (prioritizing toll road driving), the original route must exist. It is. In such a case, if Pre-command is set in the policy and the application 114 supports this, the
また、コマンド制御部１１２は、ステップＳ２０２において、実行前にキャンセル受付時間１２１Ｃに応じたキャンセル受付処理をステップＳ２０６と同様に行うようにしても良い。このようにすることで、音声操作の誤り確認と処理の中止を容易に行うことができるようになる。
Further, in step S202, the
図８は、ローカルコマンド実行結果出力の例を示す図である。ローカルコマンド実行結果出力画面４００には、フィードバック表示としてメッセージ「ナビ操作を受け付けました」が表示されるメッセージ領域４０１が含まれる。この例の処理内容は、一般道優先のルート案内（ローカルアプリ）処理中に音声操作「有料優先」との発話がなされた場合に、「有料優先ルート変更」コマンドが判別され、コマンド実行部１１３にてコマンド実行が一段階（Ｐｒｅ−ｃｏｍｍａｎｄ無）でなされるというものである。コマンド制御部１１２はコマンド実行部１１３にｃｏｍｍａｎｄの実行を行わせる。
FIG. 8 is a diagram illustrating an example of a local command execution result output. The local command execution
図９は、サーバーコマンドのプレコマンド処理実行結果出力の例を示す図である。プレコマンド実行結果出力画面５００には、フィードバック表示としてメッセージ「認識結果 ガソリンスタンド」が表示されるメッセージ領域５０１およびキャンセル指示受付ボタン５０２が含まれる。この場合の処理の流れは、以下である。
FIG. 9 is a diagram illustrating an example of a pre-command process execution result output of a server command. The pre-command execution
まず、コマンド制御部１１２は、サーバーコマンド実行部２１４に対して、ＰＯＩ検索アプリのＰｒｅ−ｃｏｍｍａｎｄを発行する。サーバーコマンド実行部２１４は、ＰＯＩ検索アプリが存在し、実行可能であれば「実行可能」のレスポンス（結果）と、検索ワードの「ガソリンスタンド」とを返却する。
First, the
そして、コマンド制御部１１２は、ポリシー情報１２１の対応する返却結果を特定し、フィードバック表示１２１Ｇに従ってメッセージ「認識結果 ガソリンスタンド」を表示させる。プレコマンド実行結果出力画面５００の表示後に、キャンセル受付時間１２１Ｃが経過すると、コマンド制御部１１２はコマンド実行部１１３にｃｏｍｍａｎｄの実行を行わせる。なお、キャンセル指示は、車載装置１００のハードウェアボタンから受け付けを行ってもよいし、プレコマンド実行結果出力画面５００上のキャンセル指示受付ボタン５０２を介して受け付けてもよい。
And the
そして、コマンド制御部１１２は、レスポンス（結果）として返された「実行可能」の戻り値と、パラメータとしてＰＯＩ検索結果の一件目のＰＯＩ名称「ガソリンスタンドＡＢＣ」の戻り値を受けて、ポリシー情報１２１に規定されているフィードバック音声「ガソリンスタンドＡＢＣが見つかりました。「そこに行く」と言うと、目的地に設定できます。」を音声出力部１５０に出力させる。
Then, the
続けて、発話「そこに行く」がなされると、コマンド制御部１１２は、Ｐｒｅ−ｃｏｍｍａｎｄを発行してサーバーコマンド実行部２１４へ実行可否を問い合わせる。サーバーコマンド実行部２１４は、ＰＯＩ検索アプリが存在し、特定のＰＯＩが選択されており実行可能であれば「実行可能」のレスポンス（結果）と、行先の「ガソリンスタンドＡＢＣ」とを返却する。
Subsequently, when an utterance “go there” is made, the
そして、コマンド制御部１１２は、ポリシー情報１２１の対応する返却結果を特定し、フィードバック表示１２１Ｇに従ってメッセージ「ナビ操作を受け付けました。」を表示させるとともに、「ガソリンスタンドＡＢＣを目的地に設定します。」とフィードバック音声を出力させる。その表示後に、キャンセル受付時間１２１Ｃが経過すると、コマンド制御部１１２はサーバーコマンド実行部２１４にｃｏｍｍａｎｄの実行を行わせる。なお、キャンセル指示は、車載装置１００のハードウェアボタンから受け付けを行ってもよいし、画面上のキャンセル指示受付ボタンを介して受け付けてもよい。
Then, the
サーバーコマンド実行部２１４は、ｃｏｍｍａｎｄの実行指示を受け付けると、「実行可能」のレスポンス（結果）と、目的地のＰＯＩ名称「ガソリンスタンドＡＢＣ」とを返却する。
Upon receiving the command execution instruction, the server
そして、サーバーコマンド実行部２１４は、ポリシー情報に設定されたキャンセル受付時間２．５秒の後、車載装置１００のコマンド実行部１１３に、目的地設定の要求を出す。コマンド実行部１１３は、目的地に「ガソリンスタンドＡＢＣ」を設定してルート検索を行い、経路誘導を開始する。
Then, the server
図１０は、サーバーコマンドのプレコマンド処理実行結果出力の別の例を示す図である。プレコマンド実行結果出力画面６００には、フィードバック表示としてメッセージ「認識結果 １１番に行く」が表示されるメッセージ領域６０１およびキャンセル指示受付ボタン６０２が含まれる。また、本例はエラー発生の例となるため、ＰＯＩ検索結果が１０件得られており、発話が存在しないＰＯＩ検索結果の１１番目を行先に指定する「１１番に行く」であったとする。この場合の処理の流れは、以下である。
FIG. 10 is a diagram illustrating another example of the pre-command processing execution result output of the server command. The pre-command execution
まず、コマンド制御部１１２は、サーバーコマンド実行部２１４に対して、ＰＯＩ検索アプリのＰｒｅ−ｃｏｍｍａｎｄを発行する。この際のパラメータは、１１番目のＰＯＩを指定する情報である。サーバーコマンド実行部２１４は、１１番目のＰＯＩは存在しないため、レスポンス（結果）として「フォーカスされている項目がない」旨の情報を車載装置１００へ返却する。
First, the
そして、コマンド制御部１１２は、ポリシー情報１２１の対応する返却結果を特定し、フィードバック表示１２１Ｇの「認識結果 １１番に行く」をプレコマンド実行結果出力画面６００のメッセージ領域６０１に表示させる。また、コマンド制御部１１２は、フィードバック音声１２１Ｈに従ってメッセージ「今はその操作はできません。」を音声出力部１５０に出力させる。
Then, the
図１１は、サーバーコマンドのプレコマンド処理実行結果出力のさらに別の例を示す図である。プレコマンド実行結果出力画面７００には、フィードバック表示としてメッセージ「認識結果 コンビ」が表示されるメッセージ領域７０１およびキャンセル指示受付ボタン７０２が含まれる。また、本例はエラー発生の例となるため、発話指示がコンビニエンスストアを検索したい旨の「コンビニ」がなされたとするが、意図通りのコマンドが認定されず、「コンビ」を検索ワードとしたＰＯＩ検索が誤認されたとする。この場合の処理の流れは、以下である。
FIG. 11 is a diagram showing still another example of the pre-command processing execution result output of the server command. The pre-command execution
まず、コマンド制御部１１２は、サーバーコマンド実行部２１４に対して、ＰＯＩ検索アプリのＰｒｅ−ｃｏｍｍａｎｄを発行する。この際のパラメータは、誤認識された検索ワード「コンビ」である。サーバーコマンド実行部２１４は、ＰＯＩ検索アプリが存在し、実行可能であれば「実行可能」のレスポンス（結果）と、検索ワードの「コンビ」とを返却する。
First, the
そして、コマンド制御部１１２は、ポリシー情報１２１の対応する返却結果を特定し、フィードバック表示１２１Ｇに従ってメッセージ「認識結果 コンビ」を表示させる。プレコマンド実行結果出力画面７００の表示後に、キャンセル受付時間１２１Ｃが経過すると、コマンド制御部１１２はコマンド実行部１１３にｃｏｍｍａｎｄの実行を行わせる。なお、キャンセル指示は、車載装置１００のハードウェアボタンから受け付けを行ってもよいし、プレコマンド実行結果出力画面７００上のキャンセル指示受付ボタン７０２を介して受け付けてもよい。
Then, the
キャンセル受付時間１２１Ｃの経過前にキャンセルを受け付けると、コマンド制御部１１２は、音声操作処理をキャンセルさせる。
If a cancellation is received before the cancellation reception time 121C elapses, the
以上が、実施形態に係る音声操作システム１、車載装置１００、サーバー装置２００および音声操作方法である。上記の実施形態によれば、音声操作について、安全性、ユーザビリティを考慮した実行タイミング制御を細やかに行う車載装置１００、サーバー装置２００および音声操作方法を実現できる。
The above is the
ただし、本発明は、上記の実施形態に制限されない。上記の実施形態は、本発明の技術的思想の範囲内で様々な変形が可能である。 However, the present invention is not limited to the above embodiment. The above embodiment can be variously modified within the scope of the technical idea of the present invention.
例えば、上記の実施形態においては、車載装置１００の通信先がサーバー装置２００のみの例を示したが、これに限られない。例えば、上記実施形態に記載したサーバー装置２００が複数存在し、異なるアプリケーション実装を行うものであってもよい。
For example, in the above-described embodiment, the example in which the communication destination of the in-
また例えば、サーバー装置２００にて音声情報からコマンドを判別する処理を行っているが、これに限られず、その一部あるいは全部を、車載装置１００において実行するものであってもよい。具体的には、音声認識部２１１、意図推定部２１２、コマンド判別部２１３については、車載装置１００上の制御部１１０に設けられ、ローカル処理されるものであってもよい。
Further, for example, the
１・・・音声操作システム、５０・・・ネットワーク、１００・・・車載装置、１１０・・・制御部、１１１・・・音声取込部、１１２・・・コマンド制御部、１１３・・・コマンド実行部、１１４、１１５・・・アプリケーション、１２０・・・記憶部、１２１・・・ポリシー情報、１３０・・・集音部、１４０・・・表示部、１５０・・・音声出力部、２００・・・サーバー装置、２１０・・・制御部、２１１・・・音声認識部、２１２・・・意図推定部、２１３・・・コマンド判別部、２１４・・・サーバーコマンド実行部、２１５、２１６・・・アプリケーション、２２０・・・記憶部、２２１・・・ポリシー情報
DESCRIPTION OF
Claims (14)
音声情報を取り込む音声取込部と、
前記音声情報に対応するコマンドを受け付けて該コマンドの実行を前記ポリシー情報に応じて制御するコマンド制御部と、を備え、
前記コマンド制御部は、
前記コマンドについて、前記ポリシー情報に含まれるパラメータに応じて一又は複数の段階を設けて処理を実行する、
ことを特徴とする車載装置。 A storage unit for storing policy information including parameters for controlling execution for each command;
An audio capture unit that captures audio information;
A command control unit that receives a command corresponding to the voice information and controls execution of the command according to the policy information,
The command control unit
For the command, execute processing by providing one or more stages according to parameters included in the policy information.
In-vehicle device characterized by the above.
外部装置と通信する通信部を備え、
前記コマンド制御部は、前記パラメータに応じて、
前記通信部を介して前記外部装置へ実行可否を問う第一段階のプレコマンド処理と、
前記プレコマンド処理の結果を受信後該結果が実行可能を示すものであれば前記外部装置へ前記コマンドの実行を指示する第二段階のコマンド実行指示処理と、を行う、
ことを特徴とする車載装置。 The in-vehicle device according to claim 1,
A communication unit that communicates with an external device;
In response to the parameter, the command control unit
A first-stage pre-command process that asks whether or not the external device can be executed via the communication unit;
If the result of the pre-command processing is received and the result indicates that execution is possible, a second-stage command execution instruction processing for instructing the external device to execute the command is performed.
In-vehicle device characterized by the above.
前記コマンド制御部は、
前記プレコマンド処理と前記コマンド実行指示処理との間に、前記パラメータに定めるキャンセル受付時間を設けて、キャンセル入力を受け付ける、
ことを特徴とする車載装置。 The in-vehicle device according to claim 2,
The command control unit
Between the pre-command process and the command execution instruction process, a cancel reception time set in the parameter is provided, and a cancel input is received.
In-vehicle device characterized by the above.
前記コマンドの一部のコマンドについて処理を実行するコマンド実行部を備え、
前記コマンド制御部は、前記ポリシー情報に含まれるパラメータにおいて自装置で処理するコマンドであると規定されている場合には、前記コマンド実行部に該コマンドを実行するよう指示するコマンド実行指示処理を行う、
ことを特徴とする車載装置。 The in-vehicle device according to any one of claims 1 to 3,
A command execution unit that executes processing for a part of the commands;
The command control unit performs command execution instruction processing for instructing the command execution unit to execute the command when the parameter included in the policy information specifies that the command is to be processed by the own device. ,
In-vehicle device characterized by the above.
外部装置と通信する通信部を備え、
前記コマンド制御部は、前記外部装置において判別された前記コマンドを、前記通信部を介して受け付ける、
ことを特徴とする車載装置。 The in-vehicle device according to claim 1,
A communication unit that communicates with an external device;
The command control unit receives the command determined in the external device via the communication unit;
In-vehicle device characterized by the above.
前記車載装置は、
コマンドごとに実行を制御するパラメータを含むポリシー情報を記憶する記憶部と、
音声情報を取り込む音声取込部と、
前記サーバー装置と通信する車載装置側通信部と、
前記車載装置側通信部を介して前記音声情報に対応するコマンドを受信し該コマンドの実行を前記ポリシー情報に応じて制御するコマンド制御部と、を備え、
前記コマンド制御部は、
前記コマンドについて、前記ポリシー情報に含まれるパラメータに応じて一又は複数の段階を設けて処理を実行し、
前記サーバー装置は、
前記車載装置と通信するサーバー側通信部と、
音声情報を受け付けると解析して該音声情報を自然言語として認識する音声認識部と
前記音声情報の自然言語の意図を推定する意図推定部と、
推定された前記意図に関し実行すべきコマンドを判別して前記車載装置へ送信するコマンド判別部と、
前記コマンドの前記段階に応じた情報を受け付けると所定の処理を行うサーバーコマンド実行部と、を備える、
ことを特徴とする音声操作システム。 A voice operation system including an in-vehicle device and a server device communicably connected to the in-vehicle device,
The in-vehicle device is
A storage unit for storing policy information including parameters for controlling execution for each command;
An audio capture unit that captures audio information;
An in-vehicle device-side communication unit that communicates with the server device;
A command control unit that receives a command corresponding to the voice information via the in-vehicle device side communication unit and controls execution of the command according to the policy information;
The command control unit
For the command, execute processing by providing one or a plurality of stages according to the parameters included in the policy information,
The server device is
A server-side communication unit that communicates with the in-vehicle device;
A voice recognition unit that analyzes voice information when it is received and recognizes the voice information as a natural language; an intention estimation unit that estimates a natural language intention of the voice information;
A command determination unit that determines a command to be executed with respect to the estimated intention and transmits the command to the in-vehicle device;
A server command execution unit that performs predetermined processing upon receiving information according to the stage of the command,
A voice operation system characterized by that.
前記サーバーコマンド実行部は、
前記コマンドの前記段階に応じた情報に応じて、前記所定の処理の前提条件が整っている場合には実行可能を示す処理の結果を前記車載装置へ送信する、
ことを特徴とする音声操作システム。 The voice operation system according to claim 6,
The server command execution unit
According to the information corresponding to the stage of the command, if the preconditions for the predetermined process are in place, the result of the process indicating execution is transmitted to the in-vehicle device.
A voice operation system characterized by that.
前記サーバーコマンド実行部は、
前記コマンドの前記段階に応じた情報に応じて、前記所定の処理の前提条件に必要なアプリケーションの起動がなされていない場合には、該アプリケーションの起動を行う、
ことを特徴とする音声操作システム。 The voice operation system according to claim 6 or 7,
The server command execution unit
In response to the information corresponding to the stage of the command, if the application required for the preconditions of the predetermined process has not been started, the application is started.
A voice operation system characterized by that.
前記サーバー装置は、前記ポリシー情報を記憶する記憶部を備え、
前記車載装置は、起動時に所定の期間経過が経過していれば前記サーバー装置から前記ポリシー情報を取得する、
ことを特徴とする音声操作システム。 The voice operation system according to any one of claims 6 to 8,
The server device includes a storage unit that stores the policy information,
The in-vehicle device acquires the policy information from the server device if a predetermined period of time has elapsed at startup.
A voice operation system characterized by that.
前記車載装置は、
コマンドごとに実行を制御するパラメータを含むポリシー情報を記憶する記憶部と、
音声情報を取り込む音声取込部と、
前記音声情報に対応するコマンドを受け付けて該コマンドの実行を前記ポリシー情報に応じて制御するコマンド制御部と、を備え、
前記コマンド制御部は、
前記コマンドについて、前記ポリシー情報に含まれるパラメータに応じて一又は複数の段階を設けて処理を実行する実行ステップ、
を実施することを特徴とする音声操作方法。 A voice operation method for an in-vehicle device,
The in-vehicle device is
A storage unit for storing policy information including parameters for controlling execution for each command;
An audio capture unit that captures audio information;
A command control unit that receives a command corresponding to the voice information and controls execution of the command according to the policy information,
The command control unit
For the command, an execution step of executing processing by providing one or a plurality of stages according to parameters included in the policy information;
The voice operation method characterized by implementing.
前記車載装置は、
外部装置と通信する通信部を備え、
前記コマンド制御部は、前記実行ステップにおいて、前記パラメータに応じて、
前記通信部を介して前記外部装置へ実行可否を問う第一段階のプレコマンド処理と、
前記プレコマンド処理の結果を受信後該結果が実行可能を示すものであれば前記外部装置へ前記コマンドの実行を指示する第二段階のコマンド実行指示処理と、を行う、
ことを特徴とする音声操作方法。 The voice operation method according to claim 10,
The in-vehicle device is
A communication unit that communicates with an external device;
The command control unit, in the execution step, according to the parameter,
A first-stage pre-command process that asks whether or not the external device can be executed via the communication unit;
If the result of the pre-command processing is received and the result indicates that execution is possible, a second-stage command execution instruction processing for instructing the external device to execute the command is performed.
A voice operation method characterized by the above.
前記コマンド制御部は、前記実行ステップにおいて、
前記プレコマンド処理と前記コマンド実行指示処理との間に、前記パラメータに定めるキャンセル受付時間を設けて、キャンセル入力を受け付ける、
ことを特徴とする音声操作方法。 The voice operation method according to claim 11,
The command control unit, in the execution step,
Between the pre-command process and the command execution instruction process, a cancel reception time set in the parameter is provided, and a cancel input is received.
A voice operation method characterized by the above.
前記コマンドの一部のコマンドについて処理を実行するコマンド実行部を備え、
前記コマンド制御部は、前記実行ステップにおいて、
前記ポリシー情報に含まれるパラメータにおいて自装置で処理するコマンドであると規定されている場合には、前記コマンド実行部に該コマンドを実行するよう指示するコマンド実行指示処理を行う、
ことを特徴とする音声操作方法。 The voice operation method according to any one of claims 10 to 12,
A command execution unit that executes processing for a part of the commands;
The command control unit, in the execution step,
If the parameter included in the policy information stipulates that the command is a command to be processed by the own device, a command execution instruction process is performed to instruct the command execution unit to execute the command.
A voice operation method characterized by the above.
前記車載装置は、
外部装置と通信する通信部を備え、
前記コマンド制御部は、前記外部装置において判別された前記コマンドを、前記通信部を介して受け付けるステップ、
を実施することを特徴とする音声操作方法。 The voice operation method according to claim 10,
The in-vehicle device is
A communication unit that communicates with an external device;
The command control unit accepting the command determined in the external device via the communication unit;
The voice operation method characterized by implementing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017120204A JP2019001428A (en) | 2017-06-20 | 2017-06-20 | On-vehicle device, voice operation system, and voice operation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017120204A JP2019001428A (en) | 2017-06-20 | 2017-06-20 | On-vehicle device, voice operation system, and voice operation method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019001428A true JP2019001428A (en) | 2019-01-10 |
Family
ID=65005060
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017120204A Pending JP2019001428A (en) | 2017-06-20 | 2017-06-20 | On-vehicle device, voice operation system, and voice operation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019001428A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021056486A (en) * | 2019-09-29 | 2021-04-08 | バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド | Voice control method, voice control device, electronic device, and readable storage medium |
| JP2021056485A (en) * | 2019-09-29 | 2021-04-08 | バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド | Voice control method, voice control device, electronic device, and readable storage medium |
| WO2022260337A1 (en) * | 2021-06-09 | 2022-12-15 | 삼성전자 주식회사 | Electronic device and method for operating electronic device |
-
2017
- 2017-06-20 JP JP2017120204A patent/JP2019001428A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021056486A (en) * | 2019-09-29 | 2021-04-08 | バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド | Voice control method, voice control device, electronic device, and readable storage medium |
| JP2021056485A (en) * | 2019-09-29 | 2021-04-08 | バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド | Voice control method, voice control device, electronic device, and readable storage medium |
| WO2022260337A1 (en) * | 2021-06-09 | 2022-12-15 | 삼성전자 주식회사 | Electronic device and method for operating electronic device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108829235B (en) | Voice data processing method and electronic device supporting the same | |
| US10832674B2 (en) | Voice data processing method and electronic device supporting the same | |
| US9741343B1 (en) | Voice interaction application selection | |
| US9218812B2 (en) | Vehicular device, server, and information processing method | |
| KR20190006403A (en) | Voice processing method and system supporting the same | |
| US11170762B2 (en) | Learning offline voice commands based on usage of online voice commands | |
| AU2019201441B2 (en) | Electronic device for processing user voice input | |
| US11048293B2 (en) | Electronic device and system for deciding duration of receiving voice input based on context information | |
| US9773500B2 (en) | Method for acquiring at least two pieces of information to be acquired, comprising information content to be linked, using a speech dialogue device, speech dialogue device, and motor vehicle | |
| KR20180109631A (en) | Electronic device and method for executing function of electronic device | |
| KR20180113075A (en) | Method and device for generating natural language expression by using framework | |
| KR20190118813A (en) | System for processing user utterance and controlling method thereof | |
| JP2019001428A (en) | On-vehicle device, voice operation system, and voice operation method | |
| KR102594838B1 (en) | Electronic device for performing task including call in response to user utterance and method for operation thereof | |
| CN111640429A (en) | Method of providing voice recognition service and electronic device for the same | |
| KR20190021136A (en) | System and device for generating TTS model | |
| US20190026074A1 (en) | Electronic device and method for expressing natural language | |
| US11705119B2 (en) | Guide voice output control system and guide voice output control method | |
| US20200321006A1 (en) | Agent apparatus, agent apparatus control method, and storage medium | |
| KR20220057249A (en) | Electronic apparatus for processing user utterance and controlling method thereof | |
| US20200051555A1 (en) | Electronic apparatus for processing user utterance and controlling method thereof | |
| KR100749088B1 (en) | Interactive navigation system and its control method | |
| KR102392178B1 (en) | Method and system for providing departure timer | |
| KR20190083884A (en) | Method for displaying an electronic document for processing a voice command and electronic device thereof | |
| US20080228492A1 (en) | Device Control Device, Speech Recognition Device, Agent Device, Data Structure, and Device Control |