JP6657048B2 - 処理結果異常検出装置、処理結果異常検出プログラム、処理結果異常検出方法及び移動体 - Google Patents

Description

本発明は、処理結果異常検出装置、処理結果異常検出プログラム、処理結果異常検出方法及び移動体に関する。

従来、道案内をする車載装置において、マイクで取得されたユーザの音声を解析し、ユーザの音声による指示を認識する装置が知られている（特許文献１参照）。

例えば、特許文献１では、ユーザとしての運転手より道案内が指示されると、運転手の状態が平常心による状態か否かを判定し、当該判定結果が否定的である場合、運転手の焦り度を判定し、当該判定された焦り度に基づいて、道案内時の音声の種類を切り替える技術が提案されている。

また特許文献２では認識エラーを報告する技術が開示されている。

特開２００２−２２１４２９号公報 特開２０００−２５９１７８号公報

しかし、周囲の雑音又はユーザの個別の発声の仕方等の理由により、ユーザの音声入力を正しく認識できない場合がある。このような場合、システムやアプリケーションへのフィードバックのために、エラー事象を外部の管理センターへ通信ネットワークを介してアップロードするなどしている。エラーは正誤の見分けがしにくいものもあるが、明らかに音声認識エラーとわかる事例もある。しかしその全てをエラーかも知れないとユーザが一々アップロードしたり等の作業をすることは手間であることに加え、ユーザにどのようなエラーかの区別を任せると、ユーザに煩わしさを覚えさせてしまうおそれがある。

そこで、本発明は、ユーザに与えられる煩わしさを軽減または解消しながら、処理結果の異常を検出できる、処理結果異常検出装置、処理結果異常検出プログラム、処理結果異常検出方法及び移動体を提供することを目的とする。

本発明の処理結果異常検出装置は、ユーザの反応を含む前記ユーザの挙動を認識する挙動認識部と、前記ユーザの挙動に応じた処理を実行する処理部と、前記処理の結果である処理結果に対する前記ユーザの反応に基づいて、前記ユーザの感情の度合いを推定する感情推定部と、推定された前記ユーザの感情の度合いが所定の閾値以上である場合に、前記処理結果を異常であると判定する判定部とを備え、前記感情推定部は、前記ユーザの指示に対応する前記ユーザの挙動に基づいて、前記処理前の前記ユーザの感情の度合いを推定し、前記判定部は、前記処理の前の前記ユーザの感情の度合いに基づいて前記閾値を定めることを特徴とする。

本発明の処理結果異常検出装置において、前記処理結果が異常である
本発明の処理結果異常検出装置において、前記感情推定部は、前記処理結果に対する前記ユーザの反応に基づいて、前記ユーザの感情の度合いに加え、前記ユーザの感情の種別を推定するように構成され、前記判定部は、前記ユーザの感情の種別が否定的な種別である場合には、前記ユーザの感情の種別が肯定的な種別である場合よりも小さな値を前記閾値とすることが好ましい。

本発明の処理結果異常検出装置において、前記判定部は、前記ユーザの感情の度合いが所定の第１閾値以上である場合、前記処理結果を前記ユーザの指示の認識の異常を伴う第１異常と判定し、前記ユーザの感情の度合いが前記第１閾値未満かつ前記第１閾値よりも小さい第２閾値以上である場合、前記処理結果を前記ユーザの指示の認識の異常を伴わない第２異常であると判定することが好ましい。

本発明の処理結果異常検出装置において、前記感情推定部は、前記ユーザの指示に対応する前記ユーザの挙動に基づいて、前記処理前の前記ユーザの感情の度合いを推定し、前記判定部は、前記処理の前の前記ユーザの感情の度合いに基づいて前記閾値を定めることが好ましい。

当該構成の処理結果異常検出装置において、前記特定の種別は、肯定的な感情の種別を含むことが好ましい。

本発明の処理結果異常検出装置、処理結果異常検出プログラム、処理結果異常検出方法及び移動体によれば、ユーザに与えられる煩わしさを軽減または解消しながら、異常な処理結果を判定することが出来る。

処理結果異常検出システムの全体構成図。 エージェント装置のブロック図。 処理結果異常検出処理のフローチャート。 感情の種別を示すテーブルの説明図。 認識異常の一例を説明する図。 認識異常の他の例を説明する図。 図７Ａは、肯定的感情の閾値設定の一例を示す図、図７Ｂは、否定的感情の閾値設定の一例を示す図、図７Ｃは、ユーザの感情が肯定的な感情と推定された場合の肯定的感情の閾値設定の一例を示す図、図７Ｄは、ユーザの感情が肯定的な感情と推定された場合の否定的感情の閾値設定の一例を示す図。

図１〜図７Ｄを参照して、本発明の処理結果異常検出装置、処理結果異常検出プログラム、処理結果異常検出方法及び移動体の一実施形態を説明する。

処理結果異常検出システムは、図１に示されるように、サーバ１と、複数の移動体２と、それぞれの移動体２に搭載され、かつ、エージェント装置３（処理結果異常検出装置）とを備える。サーバ１と、エージェント装置３とは、無線通信網を介して相互に通信可能に接続されている。移動体２は、例えば車両であり、その搭乗者を本明細書ではユーザＵと呼ぶ。図１では１つの移動体に１名（ユーザＵ）が搭乗しているが、１つの移動体に複数名が搭乗していてもよい。

（サーバの構成）
サーバ１は、一又は複数のコンピュータにより構成されている。サーバ１は、それぞれのエージェント装置３から、データ及びリクエストを受信し、データをデータベース等の記憶部に記憶し、リクエストに応じた処理を実行し、処理結果をエージェント装置３に送信するように構成されている。

サーバ１を構成するコンピュータの一部又は全部が、移動局、例えば、一又は複数のエージェント装置３の構成要素により構成されていてもよい。

本発明の構成要素が担当演算処理を実行するように「構成されている」とは、当該構成要素を構成するＣＰＵ等の演算処理装置が、ＲＯＭ、ＲＡＭ等のメモリ又は記録媒体から必要な情報に加えてソフトウェアを読み出し、当該情報に対して当該ソフトウェアにしたがって演算処理を実行するように「プログラムされている」又は「デザイン（設計）されている」ことを意味する。各構成要素が共通のプロセッサ（演算処理装置）により構成されてもよく、各構成要素が相互通信可能な複数のプロセッサにより構成されてもよい。

（移動体の構成）
移動体２は、例えば、四輪自動車であるが、これに加えてまたは代えて、二輪自動車、自転車、ロボット又は倒立振子型車両等であってもよい。

図２に示されるように、移動体２には、移動体２の各状態を示す信号を出力するセンサ部２１と、無線接続又は有線接続によりセンサ部２１に接続されたエージェント装置３とが搭載されている。

センサ部２１は、移動体２の現在位置を取得するＧＰＳセンサ２１１と、移動体２の移動速度を取得する車速センサ２２２と、移動体２の角速度を取得するジャイロセンサ２２３とを備えている。センサ部２１は、不図示のセンサにより、移動体２のイグニッションスイッチの状態、移動体２に対するアクセル、ブレーキ又は操舵などの操作指示量及びその他の移動体２に搭載されている機器情報も取得するように構成されている。センサ部２１は、取得された情報をエージェント装置３に出力するように構成されている。

（エージェント装置の構成）
エージェント装置３は、例えば、ナビゲーション装置のように、エージェント装置３のユーザＵ（移動体の乗員）が搭乗する移動体２に搭載可能なようにサイズ等が設計されている情報端末である。

エージェント装置３は、タブレット型端末又はアプリケーションプログラムによるカスタマイズ可能で、外部の情報検索が可能な回線無線電話、いわゆるスマートフォン等、ユーザＵによる携帯が可能なようにサイズ、形状及び重量が設計されている情報端末により構成されてもよい。

エージェント装置３は、ユーザーの思考、行動や状態に応じてユーザＵへ何らかの反応を示す、つまり“直接或いは間接的に働きかける”もので、ユーザＵの意図を酌んで移動体２を制御したり、運転手のみの1人乗車であれば発話等何らかの手段により会話の相手をしたり、同乗者がいる複数乗車であれば乗員同士の会話の雰囲気を良好に保つように話題を提供するなど何らかの手段により会話に加わったりすることができるもので、これにより乗員がより快適に乗車できることを支援するものである。

エージェント装置３は、制御部３１、記憶部３２、出力部３３、状態認識部３４、通信部３５及び処理部３６を備えている。

制御部３１は、ＣＰＵ等のプロセッサにより構成されている。制御部３１には、処理結果異常検出プログラムがインストールされている。処理結果異常検出プログラムが起動されることにより、制御部３１は、後述の演算処理を実行する挙動認識部３１１、感情推定部３１２、処理認識部３１３及び判定部３１４として機能するように構成されている。

制御部３１は、制御部３１、記憶部３２、出力部３３、状態認識部３４、通信部３５及び処理部３６と情報を送受信可能なように構成されている。

記憶部３２は、ＲＡＭ、ＲＯＭ（ＥＥＰＲＯＭ）又はＨＤＤ、着脱可能なカード型メモリ等の記憶装置により構成され、種々の情報を記録するように構成されている。記憶部３２は、制御部３１による演算処理で記憶又は使用されるユーザ挙動情報３２１、実行処理情報３２２、ユーザ感情情報３２３、異常情報３２４及びフィードバック情報３２５を記憶及び読出可能に構成されている。

出力部３３は、画像表示部３３１と、音声出力部３３２とを備える。

画像表示部３３１は、液晶パネル又はディスプレイ等の画像を表示可能な表示装置により構成され、制御部３１にインストールされているプログラム（処理結果異常検出プログラム）の機能に応じた機能画像又はナビゲーション画像が表示される。

音声出力部３３２は、例えばスピーカーにより構成され、制御部３１から入力された信号に応じて、音声を出力するように構成されている。また、音声出力部３３２は、出力している音声等を含む動作状況を示す信号を制御部３１に出力するように構成されている。

状態認識部３４は、操作入力部３４１と、撮像部３４２と、音声入力部３４３とを備える。

操作入力部３４１は、タッチパッドのようなユーザＵのタッチ操作を検知する入力装置により構成されている。操作入力部３４１でタッチ操作が検知されると、当該タッチ操作に対応する信号が制御部３１へ出力される。操作入力部３４１と画像表示部３３１との組合せによりタッチパネルを構成してもよい。また、操作入力部３４１は、これに加えてまたは代えて、ボタン、キーボード及びマウス等のユーザＵの操作が検知可能な入力装置により構成されてもよい。

撮像部３４２は、例えば、カメラにより構成され、移動体２の内部を撮影し、撮像した画像を信号化して制御部３１に出力するように構成されている。

音声入力部３４３は、例えば、マイクにより構成され、ユーザＵの音声を検知し、検知した音声を信号として制御部３１に出力するように構成されている。音声入力部３４３は、制御部３１が入力された信号から、音声出力部３３２から出力されている音声及び移動体２の動作音等の環境音を除去することにより、ユーザＵの音声を認識するように構成されていてもよい。

通信部３５は、近距離通信部３５１と、無線通信網通信部３５２とを備える。

近距離通信部３５１は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）接続コードなどの有線又は近距離での無線通信に適した通信規格にしたがって移動体２内の無線ＬＡＮ等を介して移動体２又は移動体２に搭載された機器（たとえばセンサ部２１）と相互に通信するように構成されている。

無線通信網通信部３５２は、３Ｇ、４Ｇ、ＬＴＥ（Ｌｏｎｇ ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、又はＩＥＥＥ８０２．Ｘ（Ｘはｂ，ｃ，ａｃ，ｎ等）規格に準拠したＷｉＦｉ（登録商標）を用いた等の遠距離での無線通信に適した通信規格にしたがって無線通信網を介してサーバ１等の外部端末と相互通信するように構成されている。

処理部３６は、検索部３６１と、ナビゲーション部３６２とを備える。

検索部３６１は、指定されたキーワードに関連する情報を、例えば、無線通信網通信部３５２を介してサーバ１と通信することにより、検索し、結果を出力部３３に出力するように構成されている。

ナビゲーション部３６２は、指定された目的地までのルートを、例えば、無線通信網通信部３５２を介してサーバ１と通信することにより、探索し、、結果を出力部３３に出力するように構成されている。

処理部３６は、近距離通信部３５１を介して移動体２と通信することにより、移動体２に搭載された空調設備等の各機器の動作状態を制御するように構成されていてもよい。

エージェント装置３を構成するコンピュータの一部が、移動体2の外部のコンピュータ、例えば、サーバ１の構成要素により構成されていてもよい。例えば、サーバ１が、エージェント装置３からのリクエストを処理してエージェント装置３に返答することにより、エージェント装置３の制御部３１または処理部３６の一部又は全部として機能してもよい。また、サーバ１が、エージェント装置３からのリクエストに応じてデータを記憶し又は読出すことにより、エージェント装置３の記憶部３２の一部又は全部として機能してもよい。

（処理結果異常検出処理）
図３〜図７Ｄを参照して、制御部３１が実行する処理結果異常検出処理を説明する。

挙動認識部３１１は、状態認識部３４を介して、ユーザＵの挙動を認識する（図３／ＳＴＥＰ０２）。ユーザＵの挙動とは、例えば、操作入力部３４１を介して検知したユーザＵの操作であってもよいし、撮像部３４２を介して撮像したユーザＵの動作又は表情であってもよいし、音声入力部３４３を介して検知したユーザＵの発声でもよい。挙動認識部３１１は、認識されたユーザＵの挙動と、不図示のタイマーにより測定された挙動を認識した時刻とを記憶部３２のユーザ挙動情報３２１に追加して記憶する。

感情推定部３１２は、図３／ＳＴＥＰ０２において認識されたユーザＵの挙動に基づいてユーザＵの感情を推定する（図３／ＳＴＥＰ０４）。例えば、感情推定部３１２は、ユーザＵの挙動を入力として、ディープラーニング又はサポートベクターマシン等の機械学習により作成されたフィルターを用いて、ユーザＵの感情を推定する。ユーザＵの感情は、図４に示されるような感情テーブルにより示される。濃く示されている感情ほど、ユーザＵの感情の度合いが強いことを示す。感情推定部３１２は、推定されたユーザの感情とタイマーによって計測された推定日時とを記憶部３２のユーザ感情情報３２３に追加して記憶する。

ユーザＵの感情は、感情の種別と、感情の度合いとによって表現される。感情は、例えばプルチック氏によって提唱されるように幾つかの種類に分けて理解されることが提唱されている。例えば、感情は、好き、安定、気持ちいい、楽しい、喜び、信頼、期待等の肯定的な感情の種別と、不安定、嫌い、痛い、怒り、嫌悪等の否定的な感情の種別とを含む。 感情の推定は公知または新規の感情モデルに基づいて行われる。図４は、公知のプルチックの感情モデルを簡略に示したものである。公知のプルチックの感情のモデルにおいては、感情は、４組８種の感情「喜び、悲しみ、怒り、恐れ、嫌悪、信頼、驚き、期待」に分類される。各感情は放射の８方向Ｌ１〜・・Ｌ５〜Ｌ８に分類される。各感情は、円の中心に寄るほど（Ｃ１→Ｃ３）感情の度合いが強いものとして表現されている。例えば、喜びＬ１は、喜び小Ｌ１−Ｃ１、喜び中Ｌ１−Ｃ２、喜び大Ｌ１−Ｃ３に分類される。感情の度合いは、０以上の数値で表され、感情の度合いが強いほど、その感情が強いことを意味してもよい。ユーザＵの感情は、複数の感情の種別ごとに、それぞれの種別に割り振られた感情の度合いによって表現される。

判定部３１４は、図３／ＳＴＥＰ０４において推定されたユーザＵの感情に基づいて、閾値を設定する（図３／ＳＴＥＰ０６）。判定部３１４は、感情の各種別ごとに、推定されたユーザＵの感情に基づいて、第１閾値と、第１閾値よりも小さい第２閾値を設定する。閾値の設定処理の詳細については後述する。

処理認識部３１３は、図３／ＳＴＥＰ０２において認識されたユーザＵの挙動に基づいて、実行すべき処理を認識する（図３／ＳＴＥＰ０８）。

ここで、例えば、車両での移動途中で「周辺の 塩ラーメン のお店」を検索する場合を考える。この場合、ユーザＵは、「塩ラーメン」と発声する。図３／ＳＴＥＰ０８では、ユーザＵの発声をユーザＵの挙動として認識する。

処理認識部３１３は、処理部３６を介して、図３／ＳＴＥＰ０８で認識した処理を実行する（図３／ＳＴＥＰ１０）。この結果、例えば、処理部３６における処理結果が出力部３３から出力され、又は移動体２に搭載された機器の動作状態が制御されうる。処理認識部３１３は、タイマにより示される処理実行日時及び処理結果を記憶部３２の実行処理情報３２２に追加する。

挙動認識部３１１は、状態認識部３４を介して、図３／ＳＴＥＰ１０の処理結果に対するユーザＵの反応（挙動）を認識する（図３／ＳＴＥＰ１２）。挙動認識部３１１は、認識されたユーザＵの挙動とタイマーにより測定された挙動を認識した時刻とを記憶部３２のユーザ挙動情報３２１に追加して記憶する。

感情推定部３１２は、図３／ＳＴＥＰ１２で認識したユーザＵの反応に基づいて、ユーザＵの感情を推定する（図３／ＳＴＥＰ１４）。感情推定部３１２は、推定したユーザＵの感情とタイマにより示される推定日時とを記憶部３２のユーザ感情情報３２３に追加する。

判定部３１４は、ユーザＵの感情の種別が特定種別であるか否かを判定する（図３／ＳＴＥＰ１６）。ここで特定種別は、例えば、嫌い、怒り、イライラ、がっかり、楽しい、好き、うきうき、喜びである。ユーザＵが複数の種別の感情を催していた場合には、判定部３１４は、その中に特定種別が含まれている場合、図３／ＳＴＥＰ１６の判定結果を肯定的と判断する。

図３／ＳＴＥＰ１６は、処理結果が異常であるかどうかを判定するための処理の１つであるが、ここで、特定種別に、嫌い、怒り、イライラ、がっかりという否定的な感情の種別だけでなく、楽しい、好き、うきうき、喜びという肯定的な感情の種別が含まれるのは、次のような理由からである。

例えば、図５に示されるように、ユーザＵによる「塩ラーメン」との発言５１にもかかわらず、エージェント装置３の出力部３３（画像表示部３３１）に「塩ラーメン」と関係のない「空目」６１に関連する情報の検索結果６２が表示されるなど、ユーザの期待に沿わない処理結果であった場合、ユーザＵが嫌い、怒り、イライラ、がっかりという否定的な感情を催す可能性の他に、処理結果６２の意外さをユーザＵが面白く感じるなど、ユーザＵが楽しい、好き、うきうきという肯定的な感情を催す可能性があるためである。

図３／ＳＴＥＰ１６の判定結果が肯定的である場合（図３／ＳＴＥＰ１６・・ＹＥＳ）、判定部３１４は、ユーザＵの特定種別の感情の度合いがその特定種別に対して定められた第１閾値以上であるか否かを判定する（図３／ＳＴＥＰ１８）。

当該判定結果が肯定的である場合（図３／ＳＴＥＰ１８・・ＹＥＳ）、判定部３１４は、処理結果がユーザＵの挙動の認識の異常を伴う第１異常であると判定する（図３／ＳＴＥＰ２０）。判定部３１４は、図３／ＳＴＥＰ０２で認識されたユーザＵの挙動、図３／ＳＴＥＰ１０の処理結果及び第１異常である旨を記憶部３２の異常情報３２４に追加する。

当該判定結果が否定的である場合（図３／ＳＴＥＰ１８・・ＮＯ）、判定部３１４は、ユーザＵの特定種別の感情の度合いがその特定種別に対して定められた第２閾値以上であるか否かを判定する（図３／ＳＴＥＰ２２）。

当該判定結果が肯定的である場合（図３／ＳＴＥＰ２２・・ＹＥＳ）、判定部３１４は、処理結果がユーザＵの挙動に対する認識の異常を伴わない第２異常であると判定する（図３／ＳＴＥＰ２４）。判定部３１４は、図３／ＳＴＥＰ０２で認識されたユーザＵの挙動、図３／ＳＴＥＰ１０の処理結果及び第２異常である旨を記憶部３２の異常情報３２４に追加する。

図３／ＳＴＥＰ２０又は図３／ＳＴＥＰ２４の処理の後、判定部３１４は、異常情報３２４をサーバ１にアップロードする（図３／ＳＴＥＰ２６）。

図３／ＳＴＥＰ１６、又は図３／ＳＴＥＰ２２のいずれかの判定結果が否定的である場合（図３／ＳＴＥＰ１６・・ＮＯ又は図３／ＳＴＥＰ２２・・ＮＯ）、判定部３１４は、図３／ＳＴＥＰ０２で認識されたユーザＵの挙動、図３／ＳＴＥＰ１０の処理結果及び異常でない旨を示すフィードバック情報をサーバ１にアップロードする（図３／ＳＴＥＰ２８）。

ここで、図５〜図７Ａを参照しながら、図３／ＳＴＥＰ１８〜図３／ＳＴＥＰ２４の処理の意味について補足する。

本明細書では、処理結果の異常を第１異常と第２異常とに分けている。

第１異常は、図５に示されるような、ユーザＵの「塩ラーメン」との発言５１にもかかわらず、「塩ラーメン」と意味も出だしの言葉も異なる「空目」６１に対する処理結果６２のような、ユーザの挙動に対する認識の異常に起因する異常である。第１異常には、他に、検索対象キーワードの「塩ラーメン」と出だしの音は同一であるが意味が全く異なる「塩良方面」と認識する認識異常、又は検索センテンス「周辺の博多ラーメンか塩ラーメンのお店を検索」に対する「遠方の博多地方のお店」又は「伯方の塩」のように、各単語の関係を不適切に認識した結果、異なる意味の文言を認識する認識異常などがある。

第２異常は、図６に示されるような、ユーザＵが内心で「塩ラーメン」を提供する店舗の検索を期待していたために、ユーザＵの発言「塩ラーメン」５２に対するキーワード「塩ラーメン」７１の処理結果７２がユーザＵの期待に沿わなかった場合のような、ユーザＵの挙動に対する認識の異常は伴っていない異常である。第２異常には、他に、例えば、検索キーワード「塩ラーメン」に対して、発話した言葉の一部が上手く認識できず、残部（例えば後半）の「ラーメン」だけが認識されてしまう認識異常、検索センテンス「周辺の博多ラーメンか塩ラーメンのお店を検索」に対する、各単語は適切に認識しているものの、ユーザの意図に沿った検索結果とはならない認識異常、例えば、食材を売るお店又はファミリーレストランのメニューを提示してしまう認識異常がある。

これらの異常においては、第１異常の方が第２異常と比較してユーザＵにとって意外な結果となりやすいので、第１異常の方が第２異常と比較してユーザＵに強い感情をもたらしやすい。例えば、図５に示されるような第１異常の場合、ユーザＵは、「あり得ない」という反応で、大笑いしたり、大声で違うと言ってしまう可能性がある。また、図６に示されるような第２異常の場合、ユーザＵは、「食べる処」「専門店を期待していたのに」という失望的な感情をいただいたり「違う」と述べる可能性がある。

このため、図７Ａに示されるように、判定部３１４は、例えば、ユーザＵの楽しいの感情の度合いが楽しいの第１閾値Ｅ１以上である場合（図３／ＳＴＥＰ１８‥ＹＥＳ）、処理結果が第１異常であると判定する。他方、判定部３１４は、例えば、ユーザＵの楽しいの感情の度合いが楽しいの第１閾値Ｅ１未満（図３／ＳＴＥＰ１８‥ＮＯ）かつ第１閾値Ｅよりも小さい第２閾値Ｅ２以上である場合（図３／ＳＴＥＰ２２‥ＹＥＳ）、処理結果が第２異常であると判定する。

これにより、第１異常と第２異常との区別して検出することが出来る。

また、説明を後回しにした図３／ＳＴＥＰ０６の閾値の設定について説明する。

判定部３１４は、図７Ａ及び図７Ｂに示されるように、楽しいのような肯定的な種別の感情の閾値Ｅ１，Ｅ２のそれぞれよりも、失望のような否定的な種別の感情の閾値Ｄ１、Ｄ２をそれぞれ小さく設定することが好ましい。これは、否定的な種別の感情をもたらすような処理結果を異常と認識し、異常から回復又は異常が発生しないように対策を取ることで、ユーザＵの否定的な種別の感情を軽減または解消することが図れるためである。

判定部３１４は、また、図３／ＳＴＥＰ０４で推定されたユーザＵの感情に基づいて、閾値を設定することが好ましい。

例えば、図３／ＳＴＥＰ０４で推定されたユーザＵの感情が楽しい等の肯定的な種別の感情の度数が所定値以上である場合、図７Ｃに示されるように、肯定的な感情の種別の閾値Ｅ１＋，Ｅ２＋をユーザＵの当該感情が平常の場合（当該感情の度合いがゼロである場合）の閾値Ｅ１，Ｅ２よりも大きくし、図７Ｄに示されるように、否定的な感情の種別の閾値Ｄ１＋，Ｄ２＋をユーザＵの当該感情が平常の場合の閾値Ｄ１，Ｄ２よりも小さくすることが好ましい。また、図３／ＳＴＥＰ０４で推定されたユーザＵの感情が失望等の否定的な種別の感情の度数が所定値以上である場合、否定的な感情の種別の閾値をユーザＵの当該感情が平常の場合の閾値よりも大きくし、肯定的な感情の種別の閾値をユーザＵの当該感情が平常の場合の閾値よりも小さくすることが好ましい。このようにすることで、処理前のユーザＵの感情を勘案して異常判定を行うことが出来る。

（本実施形態の作用効果）
当該構成のエージェント装置３、処理結果異常検出プログラム、処理結果異常検出方法及び移動体２によれば、処理結果に対するユーザＵの反応に基づいてユーザＵの感情の度合いが推定され（図３／ＳＴＥＰ１４）、ユーザの感情の度合いが所定の閾値以上である場合（図３／ＳＴＥＰ１８・・ＹＥＳ又は図３／ＳＴＥＰ２２・・ＹＥＳ）、処理結果が異常であると判定される（図３／ＳＴＥＰ２０又は図３／ＳＴＥＰ２４）。

ここで、ユーザＵの感情の度合いが所定の閾値以上となる場合とは、処理結果が、図５又は図６に示されるように、ユーザＵにとって意外な処理結果である場合であり、ひいては、処理結果が、ユーザＵの期待に沿わない、すなわち異常な処理結果である蓋然性が高い。

また、処理結果に対するユーザＵの反応に基づいて処理結果の判定を行うので（図３／ＳＴＥＰ１８又は図３／ＳＴＥＰ２２）、処理結果が期待に沿っているかを入力等する等のユーザＵによる追加の作業が不要となる。この結果、ユーザＵに与えられる煩わしさが軽減または解消されうる。

従って、本発明のエージェント装置３、処理結果異常検出プログラム、処理結果異常検出方法及び移動体２によれば、ユーザＵに与えられる煩わしさを軽減または解消しながら、異常な処理結果を精度よく検出することが出来る。

また、上記構成のエージェント装置３、処理結果異常検出プログラム、処理結果異常検出方法及び移動体２によれば、ユーザＵの感情の種別が否定的な種別である場合には、ユーザＵの感情の種別が肯定的な種別である場合よりも小さな値が所定の閾値として設定される（図３／ＳＴＥＰ０６、図７Ａ〜図７Ｄ）。

これにより、否定的な感情が催された場合には、異常と判定されやすくなる。このような異常な判定結果に基づいて付加的な処理を行ったり、異常な処理が行われにくくなるように学習したりすることにより、ユーザＵが催す否定的な種別の感情が軽減または解消されうる。

ユーザＵの認識の異常を伴った処理結果である場合（図５）、ユーザの認識の異常を伴わない処理結果である場合よりも（図６）、ユーザの感情の度合いが大きくなると推察される。

この点に鑑みて構成された当該構成のエージェント装置３、処理結果異常検出プログラム、処理結果異常検出方法及び移動体２によれば、ユーザＵの反応から処理結果の異常の種別が精度よく認識されうる。

処理結果が異常となる場合であっても、処理前のユーザＵの感情に応じて、ユーザＵの反応は異なりうる。この点に鑑みて構成されたエージェント装置３、処理結果異常検出プログラム、処理結果異常検出方法及び移動体２によれば、処理前のユーザＵの感情に基づいて閾値が定められるので（図３／ＳＴＥＰ０６、図７Ｂ〜図７Ｄ）、処理前のユーザＵの感情が勘案された形で処理結果の異常の有無が判定されうる。

処理結果がユーザＵの期待に沿わない結果であった場合、ユーザＵが催す感情の種別は限られているところ、当該構成のエージェント装置３、処理結果異常検出プログラム、処理結果異常検出方法及び移動体２によれば、ユーザＵの感情の種別が特定の種別の感情である場合に（図３／ＳＴＥＰ１６・・ＹＥＳ）、処理結果が異常であると判定される（図３／ＳＴＥＰ２０又は図３／ＳＴＥＰ２４）。これにより、処理結果の異常の検出精度が向上しうる。

処理結果がユーザＵの期待に沿わない結果であった場合でも、意外な結果に対して、ユーザＵが面白く感じるなど、ユーザＵが肯定的な感情を催す可能性がある。当該構成のエージェント装置３、処理結果異常検出プログラム、処理結果異常検出方法及び移動体２は、ユーザＵが肯定的な感情を催した場合でも、感情の度合いが閾値以上となる場合に（図３／ＳＴＥＰ１８・・ＹＥＳ、図３／ＳＴＥＰ２２・・ＹＥＳ、図７Ａ〜図７Ｄ）、処理結果が異常であると判定するので（図３／ＳＴＥＰ２０又は図３／ＳＴＥＰ２４）、処理結果の異常の検出精度が向上しうる。

（変形態様）
本実施形態では、第１閾値と第２閾値とを用いたが、これに代えて、一方の閾値により、第１異常のみを検出又は第１異常及び第２異常の両方を区別せず検出するようにしてもよい。

本実施形態では、図３／ＳＴＥＰ２６で異常情報をアップロードしたが、これに代えてまたは加えて、制御部３１は、例えば処理結果が第１異常である場合には認識手法を変更して再度認識を実行したり、処理結果が第２異常である場合には処理内容を検索等の処理からナビゲーション等の異なる処理に変更して処理を再実行したりすることにより、異常状態からの回復する処理を実行してもよい。

また、制御部３１は、第１異常である場合には、ユーザが早口でしゃべっているために認識できない可能性もあるため、ユーザにゆっくり発声することを促す音声を再生したり、音楽を再生する制御を行ってユーザを落ち着かせたりしてもよい。

本実施形態では、判定部３１４は、感情の種別が特定種別かどうかの判定を行ったが（図３／ＳＴＥＰ１６）、この処理を省略して、図３／ＳＴＥＰ１８の処理を実行してもよい。

本実施形態では、挙動認識部３１１は、エージェント装置３に備えられた状態認識部３４からの入力に基づいてユーザＵの挙動を認識したが、これに加えてまたは代えて、ユーザＵが携帯する携帯端末と通信することにより、ユーザＵの挙動を認識してもよい。

また、処理部３６がエージェント装置３に備えられた出力部３３に処理結果を出力することに加えてまたは代えて、ユーザＵが携帯する携帯端末の出力部に処理結果を出力してもよい。

３・・エージェント装置、３１１・・挙動認識部、３１２・・感情推定部、３１４・・判定部、３６・・処理部、Ｕ・・ユーザ。

Claims (8)

1. ユーザの反応を含む前記ユーザの挙動を認識する挙動認識部と、
   前記ユーザの挙動に応じた処理を実行する処理部と、
   前記処理の結果である処理結果に対する前記ユーザの反応に基づいて、前記ユーザの感情の度合いを推定する感情推定部と、
   推定された前記ユーザの感情の度合いが所定の閾値以上である場合に、前記処理結果を異常であると判定する判定部とを備え、
   前記感情推定部は、前記ユーザの指示に対応する前記ユーザの挙動に基づいて、前記処理の前の前記ユーザの感情の度合いを推定し、
   前記判定部は、前記処理の前の前記ユーザの感情の度合いに基づいて前記閾値を定めることを特徴とする処理結果異常検出装置。
2. 請求項１記載の処理結果異常検出装置において、
   前記感情推定部は、前記処理結果に対する前記ユーザの反応に基づいて、前記ユーザの感情の度合いに加え、前記ユーザの感情の種別を推定するように構成され、
   前記判定部は、前記ユーザの感情の種別が否定的な種別である場合には、前記ユーザの感情の種別が肯定的な種別である場合よりも小さな値を前記閾値とすることを特徴とする処理結果異常検出装置。
3. 請求項１又は２記載の処理結果異常検出装置において、
   前記判定部は、前記ユーザの感情の度合いが所定の第１閾値以上である場合、前記処理結果を前記ユーザの指示の認識の異常を伴う第１異常と判定し、前記ユーザの感情の度合いが前記第１閾値未満かつ前記第１閾値よりも小さい第２閾値以上である場合、前記処理結果を前記ユーザの指示の認識の異常を伴わない第２異常であると判定することを特徴とする処理結果異常検出装置。
4. 請求項１〜３のうちいずれか１項記載の処理結果異常検出装置において、
   前記感情推定部は、前記処理結果に対する前記ユーザの反応に基づいて、前記ユーザの感情の度合いに加え、前記ユーザの感情の種別を推定するように構成され、
   前記判定部は、前記ユーザの感情の種別が特定の種別であり、前記ユーザの感情の度合いが前記閾値以上である場合に、前記処理結果が異常であると判定することを特徴とする処理結果異常検出装置。
5. 請求項４記載の処理結果異常検出装置において、
   前記特定の種別は、肯定的な感情の種別を含むことを特徴とする処理結果異常検出装置。
6. 請求項１〜５のうちいずれか１項記載の処理結果異常検出装置を備えた移動体。
7. ユーザの反応を含む前記ユーザの挙動を認識する挙動認識ステップと、
   前記ユーザの挙動に応じた処理を実行する処理ステップと、
   前記処理の結果である処理結果に対する前記ユーザの反応に基づいて、前記ユーザの感情の度合いを推定する感情推定ステップと、
   推定された前記ユーザの感情の度合いが所定の閾値以上である場合に、前記処理結果を異常であると判定する判定ステップとをコンピュータに実行させ、
   前記感情推定ステップは、前記ユーザの指示に対応する前記ユーザの挙動に基づいて、前記処理の前の前記ユーザの感情の度合いを推定し、
   前記判定ステップは、前記処理の前の前記ユーザの感情の度合いに基づいて前記閾値を定めることを特徴とする処理結果異常検出プログラム。
8. コンピュータが実行する方法であって、
   ユーザの反応を含む前記ユーザの挙動を認識する挙動認識ステップと、
   前記ユーザの挙動に応じた処理を実行する処理ステップと、
   前記処理の結果である処理結果に対する前記ユーザの反応に基づいて、前記ユーザの感情の度合いを推定する感情推定ステップと、
   推定された前記ユーザの感情の度合いが所定の閾値以上である場合に、前記処理結果を異常であると判定する判定ステップとを含み、
   前記感情推定ステップは、前記ユーザの指示に対応する前記ユーザの挙動に基づいて、前記処理の前の前記ユーザの感情の度合いを推定し、
   前記判定ステップは、前記処理の前の前記ユーザの感情の度合いに基づいて前記閾値を定めることを特徴とする処理結果異常検出方法。