JP2008015585A - 生活タスク支援システム - Google Patents

Abstract

【課題】 複数ステップで構成される生活タスクをユーザが実行する場合に，ステップに応じた情報やガイダンスを提示して支援する。
【解決手段】 タスクモデル取得部２２は，タスク教材データベース１３から，ユーザが選択した生活タスクの各ステップを，より詳細なサブステップで表すタスクモデルに変換し，状態遷移モデルを生成する。タスク進行制御部２３は，センサ情報から得たユーザの動作／状態からコンテキストを取得し，このコンテキストに合致する状態遷移モデルのサブステップを特定する。インタラクション制御部２４は，このサブステップのタスク内容を，映像提示部２６を介してユーザに提示し，音声出力部２５を介して音声ガイダンスを行って，インタラクションを制御する。映像検索部２７は，要求された生活タスクのステップの教師映像データ，ユーザが行った作業の映像データとを検索し，映像提示部２６で出力する。
【選択図】 図１

Description

本発明は，対話機能を用いて，ユーザの生活タスクを支援する生活タスク支援システムに関する。より詳しくは，複数のステップで構成されるような生活タスクをユーザが行っている場合に，実行中のユーザの動作または置かれた状況などを表すコンテキストをセンサ情報から推論し，インタラクティブな対話機能を用いてユーザを支援する技術に関する。

生活タスクとは，ユーザの一般的な生活，その他の様々な活動において行われる，ある目的のための作業や動作であって，時系列的な複数のステップで構成されるものをいう。

ユビキタスな環境を背景にして，ユーザの居住空間などに設置されて自律的にユーザの生活を支援する生活支援システムが実現されている。この生活支援システムは，快適な環境の維持やユーザの活動支援のために，各種のセンサ情報にもとづいて環境やユーザの行動を推論し，ネットワークで接続されたアプライアンス（通信機能を備えた家電機器），情報端末装置などを制御してユーザの生活を支援するための種々のサービスを提供するものである。

例えば，非特許文献１の生活支援システムは，センサ情報をもとにユーザの動作・姿勢，部屋の状況を分析してユーザがリラックスした状態であると推論すると，アプライアンスの一つであるオーディオシステムによってユーザの嗜好にあった音楽を流したり，または，エアコンによって室内の温湿度を維持したりして，ユーザがこれらのアプライアンスを意識的に操作することなく快適な生活環境を実現できるようにしている。

また，本発明者は，特許文献１の対話システムに示すように，ユーザの生活環境全体に構築されてアプライアンスを自立的に制御して生活支援のサービスを提供する生活支援システムと，生活支援システムが提供するサービスの説明などをユーザと音声によって対話する対話ロボットとを備えるシステムを実現している（参照，特許文献１）。
美濃導彦，「ゆかりプロジェクトの目的と概要――ＵＫＡＲＩプロジェクト報告Ｎｏ．１」，情報処理学会 第６６回全国大会，２００４年 ＷＯ２００５／０８６０５１Ａ１

このように，生活支援システムは，ユーザの動作やユーザを取り巻く環境などをセンシングした情報をもとに推論したコンテキストに応じて，様々な生活サービスを実行することができる。例えば，ユーザの動作や取り巻く環境（コンテキスト）などに応じて，「エアコンによって室内の温湿度を調節する」など，状況適応的にアプライアンスを制御するサービスを実行することができる。

しかし，ユーザの生活タスクの内容にもとづいて，より高度な支援が行えるようなサービスが求められている。例えば，調理タスク，清掃タスク，介護タスクなど，所定の目的のために一連の手順に従って行うような作業を行う場合に，ユーザの動作や周囲の状況などのコンテキストを推論して，タスクを実行中のユーザの動作や状態に応じた適切な支援を行えるサービスが求められている。

生活タスクの一つである調理タスクを支援する従来のシステムとして，調理中のユーザの動作をビデオカメラで撮影しておき，ユーザが何らかの事情で調理タスクの動作を一旦中断し，その後に調理タスクに復帰した場合に，中断直前のユーザの動作が録画されたビデオデータを再生することによって，ユーザが行っていた動作を確認できるようにするシステムが知られている。しかし，この従来システムでは，システム側で，調理タスクにおける手順や方法についての５Ｗ１Ｈの情報，すなわち「誰が，何を，いつ，どこで，どのように行う」という情報が蓄積されていないため，時系列的に記録されたユーザのビデオデータから，単に特定の時点（中断時）の直前に行っていた部分を再生してユーザの動作を確認するだけであった。

調理タスクは，所定の複数の手順（ステップ）があり，各ステップでは所定の動作を行うように規定されている。この規定された動作をステップ順に行えたときに，調理タスクが成功したと考えられる。

したがって，行うべきステップを抜かしてしまったり，ステップで行うべき動作を完全に行えなかったりしたときは，調理タスクが失敗してしまうことになる。例えば，調理中のユーザが，電話応答のために一時的に調理を中断し，その後に調理に戻ったときに，「調味料を既に入れたか，未だ入れていなかったか」を思い出せないことがある。このような状況では，調理タスク中の「味付け」というステップが抜けたり，または重複して行われたりするおそれがあり，調理タスクの失敗につながる。

また，ユーザが初心者の場合には，調理の各ステップで，所定の動作を行っているつもりでも，本人が気づかないうちにステップを抜かしていたり，間違った動作をしたりするおそれがあり，調理タスクを失敗することになる。

このような失敗をできるだけ排除できるように，ユーザが行っているステップに応じた情報やガイダンスを提供する必要がある。

また，ユーザ側は，調理タスク終了後に「どのステップで失敗したのか」，「どのような動作の誤りがあったのか」など失敗の原因となるような状況を確認したいという要求がある。

本発明の目的は，ユーザとのインタラクション機能を備えた生活タスク支援システムにおいて，センサ情報からユーザの動作や状況を表すコンテキストを獲得し，複数のステップによって構成される生活タスクをユーザが実行している場合に，ユーザが実行中のステップに応じた情報やガイダンスを提示して，ユーザの生活タスクを支援するシステムを提供することである。

また，本発明の別の目的は，ユーザが生活タスクを実行した後，生活タスク実行の手本動作となる情報，さらにはユーザが行った動作内容などをユーザに提示して，ユーザの生活タスクを支援するシステムを提供することである。

本発明は，ユーザが行う生活タスクを支援するために，ユーザの環境，生活タスクで行われる動作についての暗黙的な知識情報などを蓄積し，生活タスクをモデル化する機能，センシングされた情報から，ユーザの動作や取り巻く状況を表すコンテキストを推定する機能，および，生活タスク実行中のユーザが必要な情報を，適切なタイミング，メディアかつ内容の粒度でインタラクティブに提示する機能を制御することを特徴とする。

本発明は，ユーザが行う生活タスクについて，生活タスクで使用される語彙を規定するタスク知識情報と，各生活タスクの動作，使用する器具，および実行される場所を含むタスク情報と，ユーザの生活タスクが実行される空間内で計測されたセンサ情報と，前記センサ情報をもとに推論された生活タスク実行中のユーザの動作および状態に関する動作／状態情報と，前記動作／状態情報から推論されるコンテキストとを蓄積する分散環境行動データベースを備える生活タスク支援システムであって，１）複数のステップで構成される生活タスクの内容および手順を複数のサブステップで記述したタスクモデルを記憶するタスクモデル記憶手段と，２）前記タスクモデル記憶手段から，ユーザによって選択された生活タスクのタスクモデルを抽出するタスクモデル取得手段と，３）前記ユーザへの問いかけを生成して出力する処理と当該問いかけに対する前記ユーザの応答内容を解釈する処理とを行って，前記ユーザとのインタラクションを制御するインタラクション制御手段と，４）前記抽出されたタスクモデルをもとに，前記分散環境行動データベースに蓄積されるセンサ情報として検出可能なユーザの動作および状態に対応して構成された状態遷移モデルを生成するタスク記述手段と，５）前記センサ情報または前記応答内容から生成された前記ユーザの動作情報または状態情報をもとに前記生活タスクにおけるユーザの動作または状態を表すコンテキストを推定し，前記状態遷移モデルから前記コンテキストに合致する前記タスクモデルのサブステップを特定するタスク進行制御手段と，６）前記特定されたサブステップに関連付けられた前記生活タスクの内容を，前記ユーザに対して提示するタスク内容提示手段とを備えることを特徴とする。

本発明は，ユーザによって指定された生活タスクを支援するために，生活タスクの内容および手順を複数のサブステップで記述したタスクモデルを記憶するタスクモデル記憶手段を備える。そして，タスクモデル取得手段によって，タスクモデル記憶手段から，ユーザによって選択された生活タスクのタスクモデルを取得する。さらに，タスク記述手段によって，このタスクモデルをもとに，センサ情報として検出可能なユーザの動作および状態に対応して構成された状態遷移モデルを生成する。

そして，タスク進行制御手段によって，センサ情報および応答内容から生成された前記ユーザの動作／状態情報をもとに生活タスクにおけるユーザの動作または状態を表すコンテキストを推定し，この状態遷移モデルからコンテキストに合致するタスクモデルのサブステップを特定する。そして，タスク内容提示手段によって，特定されたサブステップに関連付けられた生活タスクの内容を，ユーザに対して提示する。また，インタラクション制御手段によって，生活タスクの進行中に，コンテキストにもとづいてユーザへの問いかけを生成し，この問いかけを音声データに変換して出力し，または，問いかけに対してユーザが発話した音声データを音声認識して問いかけに対する応答内容を解釈する。

これによって，生活タスクを実行中のユーザに対して，実行中のステップに応じた情報を提示させることができる。

また，本発明は，前記タスク記述手段によって，生活タスクの内容および定義が記述されたタスク教材データを取得し，このタスク教材データの各ステップを複数のサブステップで記述したタスクモデルを生成する。

さらに，前記タスク記述手段によって，分散環境行動データベースから，ユーザに要求された生活タスクに関連するコンテキストを検索し，このコンテキストに記述された情報をもとに，生活タスクのタスクモデルを生成し，このタスクモデルから状態遷移モデルを生成する。

また，本発明は，生活タスクの内容および手順が記述されたタスク教材データを記憶するタスク教材データベースを備えて，前記タスク記述手段によって，このタスク教材データベースからユーザによって選択されたタスク教材データを取得する。

また，本発明は，生活タスクの各ステップにおいて手本となる動作を記録した教師映像データを記憶する教師映像データベースと，教師映像データベースから，特定された生活タスクのステップに関連する教師映像データを検索する映像検索手段とを備え，前記タスク内容提示手段によって，検索された教師映像データを出力する。

また，本発明は，生活タスクを実行中のユーザの動作を記録したユーザ映像データを記憶するユーザ映像データベースと，ユーザ映像データベースにユーザ映像データを蓄積するユーザ映像蓄積処理手段とを備え，前記映像検索手段によって，ユーザから映像提示の要求があった場合に，教師映像データベースから要求にかかる動作または状態または生活タスクのステップのいずれかに該当する教師映像データを検索し，ユーザ映像データベースから要求にかかるユーザ映像データを検索し，前記タスク内容提示手段によって，検索された教師映像データおよびユーザ映像データを，例えばユーザが比較可能な状態で表示するなどして，出力することができる。これによって，ユーザが行った動作内容と生活タスク実行の手本動作となる情報とを共にユーザに提示させて，ユーザに比較させることができる。

また，本発明の前記インタラクション制御手段は，ユーザとの対話を生成するための言語情報を蓄積する対話用辞書データベースと，コンテキストをもとにユーザに対する問いかけを生成する問いかけ生成手段と，生成された問いかけを音声データに変換して発話する音声合成手段と，ユーザが発話した音声データの内容を認識する音声認識手段とを備えることを特徴とする。これによって，ユーザと音声データによるインタラクションを実現することができる。これによって，音声によってユーザとインタラクションを行うことができる。

また，本発明は，インタラクション制御手段によって，センサ情報から得られるユーザの状態またはコンテキストによって得られる生活タスクの進行状態から，ユーザの状態情報についてのユーザ状態モデルを生成し，このユーザ状態モデルをもとに，インタラクションの内容を決定するための所定のパラメータを算出する。所定のパラメータとは，例えば，ユーザに知らせる内容，内容の粒度（詳細さの程度），使用するメディア（音声，イメージ，テキストなど）を決定するものである。これによって，ユーザのスキルなどに合わせた内容でインタラクションを行うことができる。

また，本発明の生活タスク支援システムは，１）複数のステップで構成される生活タスクの内容および手順が記述されたタスク教材データと，生活タスクの各ステップにおいて手本となる動作を記録した教師映像データとを記憶するタスク教材データベースと，２）ユーザから映像提示要求があった場合に，分散環境行動データベースをもとに要求にかかる生活タスクを特定し，特定した生活タスクにおいて要求に合致する動作または状態を表すコンテキストを推定し，推定したコンテキストをもとにタスク教材データから要求にかかる生活タスクのステップを特定する提示対象特定手段と，３）特定されたステップに対応する教師映像データを，前記タスク教材データベースから抽出する映像検索手段と，４）前記抽出された教師映像データを出力する映像提示手段とを備える。

本発明は，ユーザから映像提示要求があった場合に，提示対象特定手段によって，分散環境行動データベースをもとに，要求された生活タスクを特定し，特定した生活タスクにおいて要求に合致する動作または状態を表すコンテキストを推定し，このコンテキストをもとにタスク教材データから当該要求にかかる生活タスクの手順を特定する。そして，映像検索手段によって，特定した手順に対応する教師映像データを，タスク教材データベースから抽出し，映像提示手段によって，抽出された教師映像データを出力する。

これによって，ユーザは，生活タスクを終了した後に手順を確認したい場合に，教材データの提示要求によって，該当する教師映像データを見ることができる。

また，本発明は，生活タスクを実行中のユーザの動作を記録したユーザ映像データを記憶するユーザ映像データベースと，ユーザ映像データベースに，前記ユーザ映像データを蓄積するユーザ映像蓄積処理手段とを備えて，映像検索手段によって，ユーザ映像データベースから要求にかかるステップを実行したユーザ映像データを検索し，映像提示手段によって，検索された教師映像データおよびユーザ映像データを出力する。

本発明によれば，複数のステップが順次行われて終了するような生活タスクについて，各ステップにおけるタスクの内容や動作などが記述されたタスク教材データ，手本となる動作を記録する映像データなどを蓄積しておき，センサ情報，ユーザの発話から，作業中のユーザの取り巻くコンテキストを抽出し，このコンテキストをもとに，ユーザが実行するべきステップ，各ステップで実行するべきタスクの内容，次のステップへのガイダンスなどをユーザに提示することができる。

これにより，タスク実行中のユーザが，必要なステップを抜かしたり，ステップでのタスク内容を間違ったりすることを防止して，生活タスクを失敗なく完了できるように支援することができる。

また，本発明によれば，生活タスクの各ステップでの動作手本となる映像情報と，ユーザが実際に実行したタスクの映像情報とを共に提示することができる。これにより，ユーザから問い合わせられたステップやタスク内容について，手本となる映像と自分の映像とを比較できるように表示することができる。これにより，ユーザは，手本となる動作と自分の動作とを比較して，失敗の箇所やその原因などを確認することができ，同じ生活タスクを再度実行するときに，より良く実行できるように支援することができる。

本発明は，生活タスクの支援対象とするが，狭義の生活において行われるタスクに限らず，前述のように複数のステップが順次行われて完了する作業であればどのような分野のタスクをも支援対象とすることができる。本発明によれば，例えば，一人の作業者が複数の工程を通して行うことによって所定の組み立て作業を完成させる「屋台方式」と呼ばれるような作業タスクを支援することができる。そのため，作業者個々人に対応させて，作業の内容の説明を行うことができるため，作業の効率や精度の向上を図ることが期待できる。

以下に，本発明を実施するための最良の形態として，ユーザが，生活タスクとして「調理タスク」を行う場合を例に説明する。

図１は，本発明の生活タスク支援システムの構成例を示す図である。

生活タスク支援システム１は，分散環境行動データベース１１，タスクモデルデータベース１２，タスク教材データベース１３，ユーザ映像データベース１５，センサ情報収集部２１，タスクモデル取得部２２，タスク進行制御部２３，インタラクション制御部２４，音声出力部２５，映像提示部２６，映像検索部２７，および状態遷移モデル記憶部２８を備える。

分散環境行動データベース１１は，種々のセンサによって検出された，ユーザ，ユーザの周囲に存在する物，ユーザを取り巻く環境（空間の状態）などの情報をもとに検出したイベント情報／状態情報，イベント情報／状態情報から推論されたコンテキストなどを階層的に管理・蓄積するデータベースである。分散環境行動データベース１１は，いわゆる生活空間における「人・モノ・環境」の情報を管理・蓄積・検索利用できるプラットフォームである。分散環境行動データベース１１は，前記特許文献１（ＷＯ２００５／０８６０５１Ａ１）に記載された技術を用いて実現する。

図２および図３に，分散環境行動データベース１１の構成例を示す。分散環境行動データベース１１は，センサ情報データベース（ＤＢ）層１１１，イベント／状態管理データベース（ＤＢ）層１１３，コンテキストデータベース（ＤＢ）層１１５，およびドメイン／タスク知識データベース（ＤＢ）層１１７の４つの管理層から構成される。

図３に示すように，センサ情報データベース層１１１は，ユーザが生活タスクを行う生活空間に配置されたセンサ（センシング装置）を介して収集されたセンサ情報を蓄積・管理するデータ管理手段である。

ユーザの生活空間には，ＲＦＩＤタグセンサ，無線ＬＡＮ測位システム，床センサ，焦電センサ，カメラ，マイク，睡眠センサ，家電機器状態センサ，ロボットセンサ（対話ロボットなどに搭載されたセンサ）などの多様なセンサが分散配置される。センサで収集された各センサ情報は，タイムスタンプ，データタイプ，データサイズをヘッダとした構造体のバイナリデータとして，センシング種別ごとに分散して蓄積される。

イベント／状態管理データベース層１１３は，センサ情報データベース層１１１のセンサ情報をもとに，生活空間内で生じたイベントや状態を検出し，その検出結果（イベント情報，状態情報）を蓄積・管理するデータ管理手段である。イベントや状態の検出処理として，具体的には，位置検出処理，人物同定処理，動き検出処理，音声認識処理，その他の処理が行われる。これらの処理結果は，時間情報，人・モノ・環境のＩＤ情報（同定情報），位置情報を主キーとし，イベントや状態の内容と確信度とを単位とした形式のデータとして蓄積される。

コンテキストデータベース層１１５は，イベント／状態管理データベース層１１３の情報をもとに，ユーザの動作や取り巻く状態を表すコンテキストを推論し，このコンテキストデータを蓄積・管理するデータ管理手段である。コンテキストデータベース層１１５には，主格（人・モノ・環境などのコンテキストの主題を示す），動作格（主格の動作を示す），対象格（動作の対象を示す），場所格（動作の行われた場所を示す），確信度（推定されたコンテキストである確信の度合い）などの情報が，ＸＭＬ（eXtensible Markup Language）形式で記述されたコンテキストデータが蓄積される。

図４は，コンテキストデータベース層１１５に蓄積されるコンテキストデータの例である。図４に示すコンテキストデータは，「指定されたＩＤのユーザ（主格）が，記述された時間帯に，サラダ油（対象格）を指定された位置から（場所格）０．８５の確信度で取り出した（動作格）」を表している。

ドメイン／タスク知識データベース層１１７は，ドメイン知識情報やタスク知識情報を蓄積・管理するデータ管理手段である。ドメイン／タスク知識データベース層１１７には，ユーザが実行する生活タスクの語彙などのサービスドメインを規定するドメイン知識データ，生活タスクでの動作，使用する器具やその実行場所での対応などの流用可能な暗黙的なタスク内容を規定するタスク知識データなどが，ＸＭＬまたはＲＤＦ（Resource Description Framework）形式で蓄積される。

図５に，ドメイン／タスク知識ＤＢ層１１７のドメイン／タスク知識データ例を示す。図５（Ａ）は，調理に関する暗黙知識を示すタスク知識データの例である。ここでは，「煮る(Boil)という調理動作は，なべ（Pan）が必要で，レンジ（Range）で実行する」という内容を，調理器具と器具・場所などとの関係を示したＲＤＦ記述によって規定している。図５（Ｂ）は，主な調理動作の記述例を示す図である。「煮る(Boil)」以外に，「火を消す（closeFire），水を止める（closeWater），…」などが規定されている。

タスクモデルデータベース１２は，タスクモデルが蓄積されたデータ蓄積手段である。タスクモデルは，生活タスクの内容および手順を複数のステップによる構造として記述したデータである。

タスク教材データベース１３は，タスク教材データが蓄積されたデータ蓄積手段である。タスク教材データは，生活タスクの内容および手順を人間が理解可能な形式で自然言語によって記述したデータである。本例で，タスク教材データは，調理レシピデータである。また，タスク教材データベース１３は，生活タスクの各手順（ステップ）において手本となる動作を記録した教師映像データを蓄積する。

本例では，タスク教材データベース１３に，調理レシピデータおよび教師映像データが蓄積されている。

図６に，調理レシピデータの例を示す。図６の調理レシピデータは，「牛肉ときのこのオイスターソース炒め」の調理タスクに必要な食材と，実行される調理動作とをステップごとに時系列的に記述した情報である。ここでは，以下のように，より詳細な作業の内容を示す複数のステップに分けて記述されている。
「Ｓ１．片栗粉大さじ１／２を水大さじ１／２で溶く，
Ｓ２．牛もも肉２５０ｇは繊維に沿って細切りにする，
Ｓ３．酒大さじ１，しょう油大さじ２，水溶きかたくり粉（同量の水で溶いたもの），サラダ油大さじ１を順に牛もも肉に加えてもみ込む，
Ｓ４．牛もも肉を約２０分おく，
Ｓ５．まいたけ１パックとしめじ１パックの石づきを取る，…」。

教師映像データは，各ステップで実行される調理動作の手本となる動作の映像データである。

生活タスクの内容は，通常，いくつかのより細かいステップに分けることができる。タスク教材データは，いくつかのステップに分割され，ステップごとに内容が記述されているが，タスクモデルデータベース１２に蓄積されているタスクモデルは，タスク教材データのステップ各々を，より細かなステップ（サブステップ）に分けて記述している。

後述するように，タスクモデル取得部２２は，支援対象となる生活タスクのタスクモデルがタスクモデルデータベース１２に蓄積されていれば，蓄積されたタスクモデルを用いてタスク進行制御のための状態遷移モデルを生成する。また，支援対象となる生活タスクのタスクモデルがなければ，タスク教材データからタスクモデルを生成する。したがって，生活タスク支援システム１は，タスクモデルデータベース１２とタスク教材データベース１３のいずれか一方を備えていればよい。

ユーザ映像データベース１５は，調理タスクを実行中のユーザの調理動作を撮影したユーザ映像情報を蓄積するデータ蓄積手段である。ユーザ映像情報は，センサの一つとして，キッチンの作業台の上に設置された固定カメラで撮影され，センサ情報収集部２１を介してユーザ映像データベース１５に蓄積される。

センサ情報収集部２１は，ユーザの生活空間に分配設置されたセンサが検出したセンサ情報を収集し，分散環境行動データベース１１へ格納する処理手段である。ユーザの生活空間の中で調理タスクが行われるキッチンには，ユーザの位置および移動を検出する床センサ，食器棚，食品棚などの扉の開閉を検出するリードスイッチ，タスクで使用されるＲＦＩＤタグ付きのオブジェクト（調理用器具，食品保存容器，食器など）の位置を検出するＲＦＩＤリーダ，冷蔵庫などのアプライアンスの動作状態を検出するセンシング機能，ユーザが発話した音声データを収集するマイク，作業台の天板を撮影するカメラなどが設置される。

タスクモデル取得部２２は，タスクモデル取得処理，タスクモデル記述処理，状態遷移モデル生成処理などを行う処理手段である。

タスクモデル取得部２２は，タスクモデル取得処理として，タスクモデルデータベース１２から，ユーザによって選択された生活タスクのタスクモデルを抽出する。

また，タスクモデル記述処理として，タスク教材データベース１３からユーザが選択した調理タスクの調理レシピデータを抽出し，調理レシピデータの各ステップを，より詳細な調理動作に分けたサブステップに変換してタスクモデルを記述する。ここで，あるステップ内で生成されたサブステップのいくつかは，配列的に行われる動作や状態を記述するものであってもよい。

また，状態遷移モデル生成処理として，タスクモデルをもとに，センサ情報として検出可能なユーザの動作および状態に対応して構成された状態遷移モデルを生成し状態遷移モデル記憶部２８に保存する。

ここで生成される状態遷移モデルは，分散環境行動データベース１１に蓄積されている，調理タスクで使用される調理器具，食器，食材など（オブジェクト）の状態データ（イベント／状態管理データベース層１１３），調理タスクに関連するタスク知識データをもとに，センサ情報として検出可能なユーザの動作および状態を要素として構成される。

タスク進行制御部２３は，タスク教材データを参照して，センサ情報によって獲得したユーザの生活タスクの動作に応じたリアルタイムの支援処理を実行するために，センサイベント検出処理，コンテキスト抽出処理，提示対象特定処理などを行って，支援する生活タスクの進行を制御する処理手段である。タスク進行制御部２３は，タスクモデル取得部２２，インタラクション制御部２４，映像検索部２７などを制御する。

タスク進行制御部２３は，センサイベント検出処理として，センサ情報から生成されたユーザの動作／状態情報やインタラクション制御部２４から得たユーザの応答内容を取得する。さらに，コンテキスト抽出処理として，これらのセンサ情報または応答内容をもとに調理タスクにおけるユーザの動作または状態を表すコンテキストを推定し，このコンテキストデータに合致する調理タスクのサブステップを状態遷移モデルから特定する。

また，タスク進行制御部２３は，提示対象特定処理として，ユーザから教師映像データの提示が要求された場合に，要求された生活タスクにおいて，要求の内容に合致する動作または状態を表すコンテキストを推定し，このコンテキストデータをもとにタスク教材データの該当するステップを特定する。

インタラクション制御部２４は，ユーザとのインタフェースとして，ユーザとの対話処理，タスク教材データベース１３に蓄積された調理レシピデータの内容の表示処理，ユーザ映像データと教師映像データとの比較表示処理などを制御する処理手段である。

インタラクション制御部２４は，ユーザとの対話処理のための処理手段として，ユーザとの対話を生成するための言語情報を蓄積する対話用辞書データベース，タスク進行制御部２３によって抽出されたコンテキストをもとにユーザに対する問いかけを生成する問いかけ生成部，生成された問いかけを音声データに変換して発話する音声合成部，ユーザが発話した音声データの内容を認識する音声認識部などを備える。

インタラクション制御部２４は，ユーザとの対話処理として，タスク進行制御部２３によって特定された調理レシピデータのステップで実行される調理内容や調理動作の案内，次のステップへの導入案内，調理動作終了の確認などの問いかけを音声データに変換して出力する。また，問いかけに対するユーザの発話を入力し，音声認識し，その応答内容を解析して，タスク進行制御部２３へ渡す。

また，インタラクション制御部２４は，調理レシピデータの内容の表示処理として，タスク進行制御部２３によって特定された調理タスクのサブステップに関連する調理レシピの内容を音声データに変換して出力する。

また，インタラクション制御部２４は，映像データの比較表示処理として，ユーザから映像の提示要求があった場合に，映像検索部２７によって抽出されたユーザ映像データと教師映像データとの該当部分を並べてディスプレイに表示する。

音声出力部２５は，インタラクション制御部２４で生成された音声データを出力する処理手段である。映像提示部２６は，調理レシピの内容，映像データをディスプレイに表示する処理手段である。

図７に，ディスプレイの表示例を示す。図７（Ａ）は，調理タスクの支援を実行中の表示である。ディスプレイ画面２００には，調理タスクのステップに対応する調理タスクの内容表示２０１と，手本となる調理動作の教師映像データ表示２０３などが表示される。図７（Ｂ）は，検索要求に対する映像表示例である。ディスプレイ画面２００には，ユーザ自身の調理動作であるユーザ映像データ表示２０５と，該当するステップや動作についての教師映像データ表示２０７とが並んで表示される。

映像検索部２７は，ユーザから映像提示要求があった場合に，タスク教材データベース１３またはユーザ映像データベース１５を検索して，要求された箇所または動作に関連する映像データを取得する処理手段である。

以下に，生活タスク支援システム１による調理タスクの支援処理を，より詳細に説明する。

（１）センサイベントの検出
センサ情報収集部２１によって収集されたセンサ情報は，分散環境行動データベース１１のセンサ情報データベース層１１１へ蓄積される。分散環境行動データベース１１では，センサ情報が蓄積されると，センサイベントが検出される。そして，センサ情報から，人物同定，動き，会話内容（会話テキスト）などが検出・認識される。その処理結果として，ユーザの動作（イベント情報）やキッチンの状態（状態情報）などが推定され，イベント／状態管理データベース層１１３に蓄積される。さらに，収集されたイベント情報や状態情報は，統合的に推論され，コンテキストが推定される。コンテキストデータは，コンテキストデータベース層１１５に蓄積される。

また，センサイベントは，タスク進行制御部２３へ通知される。

（２）調理タスクのモデル化
調理タスクの支援では，ユーザの調理の進行に合わせて調理レシピデータを適切に提示する必要がある。ユーザの調理の進行状況を管理するため，センサイベントで特定できるユーザの動作や状態が，調理タスクのどのサブステップに該当するのかを判定するために，調理タスクをモデル化して状態を定義する。

ユーザが，「牛肉ときのこのオイスターソース炒め」の調理タスクについての支援サービスを要求すると，タスクモデル取得部２２は，タスク教材データベース１３から，「牛肉ときのこのオイスターソース炒め」の調理レシピデータを取得する。

そして，「牛肉ときのこのオイスターソース炒め」の調理レシピデータに時系列的に記述された各ステップを，より詳細なサブステップへ分割して調理タスクモデルへ変換する。

具体的には，図８に示すように，分散環境行動データベース１１のドメイン／タスク知識データベース層１１７に蓄積されているタスク知識データ，イベント／状態管理データベース層１１３に蓄積されているイベント／状態情報などを参照して，調理レシピデータの各ステップを，調理タスクモデルに変換する。

例えば，暗黙なタスク知識データ「ＡをＢで溶くには，容器が必要である。溶く動作は，通常，作業台で行う。…」が蓄積され，また，状態データ「容器は，ボウルobject１,ボウルobject２は，キッチンの左上の食器棚に存在する。…」が蓄積されている場合に，調理レシピデータのステップＳ１「１．片栗粉大さじ１／２を水大さじ１／２で溶く」は，以下の６つのサブステップに分割される。
「ＳｕｂＳ１：ボウルを作業台に置く，
ＳｕｂＳ２：片栗粉を作業台に置く，
ＳｕｂＳ３：計量スプーンを作業台に置く，
（ＳｕｂＳ１〜３は順序不同），
ＳｕｂＳ４：計量スプーンでボウルに片栗粉を入れる，
ＳｕｂＳ５：計量スプーンでボウルに水を入れる，
ＳｕｂＳ６：片栗粉をかき混ぜる」。

タスクモデル取得部２２は，さらに，センサイベントによって獲得できるユーザのイベント情報／状態情報を用いて調理タスクの進行制御が行えるように，調理タスクモデルから，センサイベントによって認識可能なユーザのイベント（動作）や周囲の状態を要素として抜粋して，状態遷移モデルを生成し，状態遷移モデル記憶部２８へ保存する。例えば，上記のステップＳ１「片栗粉を水で溶く」の場合に，センサイベントで認識可能なユーザの動作または状態は，「ボウルが作業台に現れる」，「片栗粉の容器が作業台に現れる」，「計量スプーンが作業台に現れる」の３つがある。従って，上記のステップの状態遷移モデルでは，これらの動作または状態が要素に含まれる。

（３）コンテキストの獲得
タスク進行制御部２３は，調理タスクを実行中のユーザの動作や周囲の状態に合致するサブステップを特定するために，センサイベントによって生成されたイベント／状態情報をもとに，コンテキストを獲得する。

本例において，センサイベントでは，調理中のユーザの動作や状況を知るためのセンサ情報が，図９に示すようなセンサを介して収集される。

・カメラ：図９に示すように，キッチンの作業台上およびＩＨクッキングヒータ上にそれぞれ２台ずつカメラを設置し，各撮影区域内の調理タスクに関係するオブジェクト（ボウル，まな板，フライパンなどの調理器具，食器，食材用容器など）の出現／消失を検出する。オブジェクトの位置検出には，例えばＡＲＴｏｏｌＫｉｔ（http://www.hitl.washington.edu/artoolkitを参照）を使用する。ＡＲＴｏｏｌＫｉｔに準拠したマーカを予めオブジェクトに貼付しておく。マーカが貼付されたオブジェクトについては，撮影された画像中からマーカを検出することによって，オブジェクトの位置情報を検出することが可能である。

また，予めボウルの内底部にマーカを貼付しておき，ボウル内が空の状態では，マーカが撮影され，また，ボウル内に食材が入っている状態では，入れられた食材でマーカが隠れて撮影されないことを利用して，オブジェクトの状態情報を検出することが可能である。

さらに，カメラによって撮影された作業台やＩＨクッキングヒータ上のユーザの手元の映像は，ユーザ映像データとしてユーザ映像データベース１５に蓄積される。

・リードスイッチ：包丁を収納する包丁ホルダにリードスイッチを設置し，包丁にマグネットを取り付けておく。これによって，「包丁ホルダから包丁が取り出された」というイベントを検出することができる。また，食器棚や食品収納庫の扉にリードスイッチを設置し，扉の開閉を検出することによって，「オブジェクトへのアクセスがあった」ことを検出することができる。

・振動センサ：キッチンの作業台に振動センサを設置し，「作業台上にオブジェクトが置かれた」「モノ（食材）を切る」，「モノ（食材）を叩いてつぶす」などの調理動作を検出することができる。

実際のセンシング環境では，ユーザの動作やキッチンの状態の認識処理の精度が低くなったり，時には，動作や状態の変化が全く認識できなかったりする。そのため，ユーザの意志を明示的に入力してもらうようにしてもよい。例えば，インタラクション制御部２４との協働によって，調理タスクの進行上確認したいユーザの動作や周囲の状態について確認する旨の問いかけを発話し，ユーザの応答によって動作やキッチンの状態を獲得する。

または，キッチンに確認ボタンなどを設置し，ユーザが調理動作の終了時にボタンを押下するように決めておき，ボタン押下を検出して，ユーザ動作やキッチンの状態などを認識するようにしてもよい。

このようなセンサイベントを，調理タスクモデルから生成された状態遷移モデルに対応付けることによって，ユーザが，「いつ，どのオブジェクトに対して，どのような動作をしたか」というコンテキストを獲得することができる。

図１０に示すように，ユーザが調理タスクを実行している間，センサ群によって検出された，調理器具の位置，ユーザの姿勢・向き，ユーザの発話などのセンサ情報から，ユーザの動作やキッチンの状態などの内容と確信度とを含むイベント情報が生成される。例えば，カメラが，ボウルに貼付されたマーカを検出したというセンサイベントから，「調理器具が作業台に現れた」というイベント情報が生成される。

イベント情報は，調理レシピの該当するステップの状態遷移モデルに入力される。センサイベントから生成された「調理器具（ボウル）が作業台に現れた」，「調理器具（ボウル）に食材（片栗粉）が入った」などのイベント情報は，調理タスクの各ステップ（Ｓｎ，Ｓｎ＋１，…）の状態遷移モデルに入力され，調理タスクにおけるコンテキストが獲得される。これによって，どのステップまたはサブステップが実行されているかを管理することが可能となる。

タスク進行制御部２３は，入力されたイベント情報によって，あるステップＳｎの最後のサブステップが終了したというコンテキストが獲得されたときは，その調理レシピデータの次のステップＳｎ＋１へ切り替える。

図１１および図１２を用いて，調理タスクモデルとセンサイベントとの関係を説明する。ここで，調理レシピデータ（図６参照）では，ステップＳ１「片栗粉を水で溶く」，ステップＳ２「牛もも肉を細切りにする」，…，という順で進行する。

図１１は，ステップＳ１「片栗粉を水で溶く」のサブステップと，入力が期待されるセンサイベントとの関係を示す図である。

ユーザが，インタラクション制御部２４により発話された調理タスクの指示に従ってキッチンの食器棚からボウルと片栗粉の容器とを取り出して作業台の上に置くと，カメラによって，ボウルと片栗粉の容器とに貼付されたマーカが検出される。このセンサイベントから生成された「ボウルのマーカが作業台に現れる」，「片栗粉の容器のマーカが作業台に現れる」というイベント情報が状態遷移モデルに入力され，「ユーザが，ボウルを作業台に置いた」，「ユーザが，片栗粉を作業台に置いた」，「ユーザが，計量スプーンを作業台に置いた」というコンテキストが獲得される。これによって，タスク進行制御部２３は，ユーザが，サブステップＳｕｂＳ１〜３の動作を行ったことがわかる。

その後，ユーザが，片栗粉をボウルに入れることによってボウルの底に貼付されたマーカが見えなくなると，「ボウルのマーカが消える」というイベント情報が入力され，「ユーザが，片栗粉をボウルに入れた」というコンテキストが獲得できるので，ユーザがサブステップＳｕｂＳ４の動作を行ったことがわかる。

しかし，ユーザが，計量スプーンでボウルに水を入れ，片栗粉をかき混ぜるという調理動作は，カメラや振動センサによるセンシングでは認識できないことがある。そこで，後述するインタラクション制御などによって，ユーザに対して，片栗粉を溶く動作が終了したかどうかを問い合わせ，ユーザの応答の内容から「ユーザが片栗粉を水で溶いた」というコンテキストを獲得して，ステップＳ１「片栗粉を水で溶く」の終了を判定する。

その後，図１２に示すように，ステップＳ２「牛もも肉を細切りにする」に制御対象が移される。ステップＳ１での制御と同様に，ユーザが，システムの指示に従って，冷蔵庫から牛肉の容器，収納部から包丁，まな板を取り出し作業台の上に置くと，カメラによる容器やまな板に貼付されたマーカの検出，包丁が取り出されたことの検出などのセンサイベントから生成されたユーザのイベント情報が入力され，「ユーザが，肉を作業台に置いた」，「ユーザが，包丁を作業台に置いた」，「ユーザが，まな板を作業台に置いた」というコンテキストが獲得される。

これによって，タスク進行制御部２３は，ユーザが，サブステップＳｕｂＳ１０〜１２の動作を行ったことがわかる。その後，ユーザが肉を切っているときには，作業台の振動センサのセンサイベントから，「ユーザが，作業台でモノ（肉）を切っている」というコンテキストが獲得できるので，ユーザがサブステップＳｕｂＳ１３，１４の動作を行ったことがわかる。

（４）インタラクション制御
生活タスク支援システム１とユーザとのインタラクションのインタフェースは，インタラクション制御部２４，音声出力部２５，ディスプレイを出力部とする映像提示部２６によって実現される。

本例では，インタラクション制御部２４および音声出力部２５は，前出の特許文献１の対話システムを構成する対話ロボットによって実施され，例えば，既存の擬人化音声対話エージェントツールキット（Galatea Toolkit ）によって実現される（詳細は，特許文献１参照のこと）。

インタラクション制御部２４は，タスク進行制御部２３においてセンサイベントと調理タスクモデルとのマッチングによって導出された調理タスクの状態（コンテキスト）が与えられると，その状態に応じたインタラクションを生成する。

ここで，生成されるインタラクションには，次のようなものがある。

・「現在進行中のステップが終了したかどうかの問いかけ」
センサイベントによっては調理タスクの進行の状況の認識ができない場合に，進行中のステップが終了したか否かを確認するための問いかけを生成し，ユーザに対して発話する。対話ロボットを介して，ユーザに「（今やっている調理ステップは）終わりましたか？」と問いかけ，ユーザから「終わったよ。」という肯定的な応答が得られれば，「現在のステップは終了した」というコンテキストが獲得でき，制御対象が次のステップへ進められる。

・「次のステップのガイダンス」
図１３に示すように，センサ情報にもとづくコンテキストによって，ユーザが，現在行っているステップＳｎの最後のサブステップに対応する動作に到達したことが認識された場合に，次のステップＳｎ＋１で最初に行うべきサブステップ（動作）のガイダンスが行なわれる。そして，ユーザが指示対象のサブステップの動作に着手したときに，対応するステップの調理レシピデータを提示されるなど，ステップＳｎ＋１のタスク進行制御が行われる。

・「未実行の調理動作に対する警告」
センサイベントによって，行われるべき調理動作の実行が認識できなかった場合に，未実行のサブステップ（動作）があることを警告する。

インタラクション制御部２４は，調理タスク実行中のユーザの動作（イベント情報）にもとづく状態遷移モデルと同様に，ユーザの状態情報についてのモデル（ユーザ状態モデル）を生成する。

図１４に示すように，ユーザ状態モデルは，センサイベントによって得られるユーザの状態情報，調理タスクモデルから得るタスクの状態情報，分散環境行動データベース１１に蓄積されたユーザプロファイル情報（ユーザの調理の熟練度など）をもとに，ダイナミックベイジアンによって記述される。インタラクション制御部２４は，このユーザ状態モデルにもとづいて，調理タスクのガイダンスの粒度（詳細度），ガイダンス提示のタイミング，ユーザへの警告，提示するメディアの選択などのインタラクション制御パラメータを決定する。

これらのインタラクション制御パラメータを使うことによって，ユーザが調理初心者である場合には，システムが事細かに各ステップの調理動作をチェックし，ユーザが調理動作を行わずに次のステップに進もうとしたら警告を発するようにするなど，エラーリカバリー機能をユーザに適応したレベルで実現することが可能となる。

（５）調理映像検索による見直し支援
タスク進行制御部２３は，ユーザから調理タスクの教師映像データの提示要求があった場合に，要求の内容から，調理タスクのステップまたはそのタスクモデルのサブステップや調理動作を特定する。

そして，映像検索部２７は，タスク進行制御部２３によって特定された調理タスクのステップまたはサブステップに対応する教師映像データをタスク教材データベース１３から検索し取得する。また，特定された調理タスクのステップまたはサブステップが実行された時刻をもとにユーザ映像データベース１５から該当するユーザ映像データを検索し取得する。

映像提示部２６は，取得されたこれらの映像データを並べてディスプレイに表示する。

例えば，ユーザが，調理終了後に肉の炒め具合に問題があると感じ，自分の調理動作を見直したいと考えて「肉を炒めたときの様子が見たい。」と要求する。インタラクション制御部２４では，ユーザが発した要求内容から，音声認識処理，形態素解析処理などによって，「肉」，「炒める」といった検索用キーワードを抽出する。この検索用キーワードは，タスク進行制御部２３へわたされる。

タスク進行制御部２３は，検索用キーワードを含む調理タスクのステップをタスク教材データベース１３の調理レシピデータから検索する。映像検索部２７は，検索された調理タスクのステップに対応する教師映像データを取得する。さらに，タスク進行制御部２３は，ユーザが該当する調理レシピのステップを行った時刻情報を分散環境行動データベース１１のコンテキストデータベース層１１５から検索する。映像検索部２７は，得られた時刻情報をもとに，ユーザ映像データベース１５から該当するユーザ映像データを取得する。

そして，映像提示部２６は，教師映像データとユーザ映像データを並べてディスプレイに表示する。これにより，ユーザは，調理が終わった後の落ち着いた状態で，お手本となる映像と自分の調理とを比較して見直すことができる。

以上,本発明をその実施の形態により説明したが,本発明はその主旨の範囲において種々の変形が可能であることは当然である。

例えば，生活タスク支援システム１は，前出の特許文献１の対話システムに組み込まれたシステムとして実施することができる。この場合に，生活タスク支援システム１の分散環境行動データベース１１，タスクモデルデータベース１２，タスク教材データベース１３，ユーザ映像データベース１５，センサ情報収集部２１，タスクモデル取得部２２，タスク進行制御部２３，映像提示部２６，映像検索部２７などは，対話システムの生活支援システムによって実施される。また，インタラクション制御部２４および音声出力部２５は対話システムの対話ロボットとして実施される。

また，本発明では，生活タスクで使用するオブジェクト（用具，器具など）の位置検出に，ＲＦＩＤタグによる位置検出システムを利用することができる。

また，本発明は，コンピュータにより読み取られ実行される処理プログラムとして実施することができる。本発明を実現する処理プログラムは，コンピュータが読み取り可能な，可搬媒体メモリ，半導体メモリ，ハードディスクなどの適当な記録媒体に格納することができ，これらの記録媒体に記録して提供され，または，通信インタフェースを介して種々の通信網を利用した送受信により提供されるものである。

本発明の生活タスク支援システムの構成例を示す図である。 分散環境行動データベースの構成例を示す図である。 分散環境行動データベースの構成例および各層のデータ処理を示す図である。 コンテキストデータの例を示す図である。 ドメイン知識データおよびタスク知識データ例を示す図である。 調理レシピデータの例を示す図である。 ディスプレイの表示例を示す図である。 調理タスクのモデル化を説明するための図である。 各種センサによるセンサイベントとイベント情報／状態情報との関係を示す図である。 センサイベント，イベント情報／状態情報の生成，状態遷移モデルへの入力の関係を説明するための図である。 調理タスクモデルとセンサイベントとの関係を説明するための図である。 調理タスクモデルとセンサイベントとの関係を説明するための図である。 次ステップのガイダンスのインタラクションを説明するための図である。 ユーザ状態モデルの生成を説明するための図である。

符号の説明

１ 生活タスク支援システム
１１ 分散環境行動データベース（ＤＢ）
１２ タスクモデルデータベース（ＤＢ）
１３ タスク教材データベース（ＤＢ）
１５ ユーザ映像データベース（ＤＢ）
２１ センサ情報収集部
２２ タスクモデル取得部
２３ タスク進行制御部
２４ インタラクション制御部
２５ 音声出力部
２６ 映像提示部
２７ 映像検索部
２８ 状態遷移モデル記憶部

Claims (10)

1. ユーザが行う生活タスクについて，生活タスクで使用される語彙を規定するタスク知識情報と，各生活タスクの動作，使用する器具，および実行される場所を含むタスク情報と，ユーザの生活タスクが実行される空間内で計測されたセンサ情報と，前記センサ情報をもとに推論された生活タスク実行中のユーザの動作および状態に関する動作／状態情報と，前記動作／状態情報から推論されるコンテキストとを蓄積する分散環境行動データベースを備える生活タスク支援システムであって，
   複数のステップで構成される生活タスクの内容および手順を複数のサブステップで記述したタスクモデルを記憶するタスクモデル記憶手段と，
   前記タスクモデル記憶手段から，ユーザによって選択された生活タスクのタスクモデルを抽出するタスクモデル取得手段と，
   前記ユーザへの問いかけを生成して出力する処理と当該問いかけに対する前記ユーザの応答内容を解釈する処理とを行って，前記ユーザとのインタラクションを制御するインタラクション制御手段と，
   前記抽出されたタスクモデルをもとに，前記分散環境行動データベースに蓄積されるセンサ情報として検出可能なユーザの動作および状態に対応して構成された状態遷移モデルを生成するタスク記述手段と，
   前記センサ情報または前記応答内容から生成された前記ユーザの動作情報または状態情報をもとに前記生活タスクにおけるユーザの動作または状態を表すコンテキストを推定し，前記状態遷移モデルから前記コンテキストに合致する前記タスクモデルのサブステップを特定するタスク進行制御手段と，
   前記特定されたサブステップに関連付けられた前記生活タスクの内容を，前記ユーザに対して提示するタスク内容提示手段とを備える
   ことを特徴とする生活タスク支援システム。
2. 前記タスク記述手段は，前記生活タスクの内容および手順が記述されたタスク教材データを取得し，前記タスク教材データの各ステップを複数のサブステップで記述したタスクモデルを生成し，前記生成したタスクモデルから状態遷移モデルを生成する
   ことを特徴とする請求項１に記載の生活タスク支援システム。
3. 前記タスク記述手段は，前記分散環境行動データベースから，ユーザに要求された生活タスクに関連するコンテキストを検索し，前記検索したコンテキストに記述された情報をもとに，前記生活タスクのタスクモデルを生成し，前記生成したタスクモデルから状態遷移モデルを生成する
   ことを特徴とする請求項１に記載の生活タスク支援システム。
4. 生活タスクの内容および手順が記述されたタスク教材データを記憶するタスク教材データベースを備えるとともに，
   前記タスク記述手段は，前記タスク教材データベースから，ユーザによって選択されたタスク教材データを取得して，タスクモデルを生成する
   ことを特徴とする請求項２に記載の生活タスク支援システム。
5. 生活タスクの各ステップにおいて手本となる動作を記録した教師映像データを記憶する教師映像データベースと，
   前記教師映像データベースから，前記特定された生活タスクのサブステップに関連する教師映像データを検索する映像検索手段とを備えるとともに，
   前記タスク内容提示手段は，前記検索された教師映像データを出力する
   ことを特徴とする請求項１または請求項２のいずれか一項に記載の生活タスク支援システム。
6. 前記生活タスクを実行中のユーザの動作を記録したユーザ映像データを記憶するユーザ映像データベースと，
   前記ユーザ映像データベースに，前記ユーザ映像データを蓄積するユーザ映像蓄積処理手段とを備えるとともに，
   前記映像検索手段は，前記ユーザから映像提示要求があった場合に，前記教師映像データベースから前記要求にかかる動作または状態または生活タスクのステップのいずれかに該当する教師映像データを検索し，前記ユーザ映像データベースから前記要求にかかるステップを実行したユーザ映像データを検索し，
   前記タスク内容提示手段は，前記検索された教師映像データおよびユーザ映像データを出力する
   ことを特徴とする請求項５に記載の生活タスク支援システム。
7. 前記インタラクション制御手段は，
   前記ユーザとの対話を生成するための言語情報を蓄積する対話用辞書データベースと，
   前記コンテキストをもとにユーザに対する問いかけを生成する問いかけ生成手段と，
   前記生成された問いかけを音声データに変換して発話する音声合成手段と，
   前記ユーザが発話した音声データの内容を認識する音声認識手段とを備える
   ことを特徴とする請求項１ないし請求項６のいずれか一項に記載の生活タスク支援システム。
8. 前記インタラクション制御手段は，前記センサ情報から得られる前記ユーザの状態または前記コンテキストによって得られる生活タスクの進行状態から，前記ユーザの状態情報についてのユーザ状態モデルを生成し，前記ユーザ状態モデルをもとに，前記インタラクションの内容を決定するための所定のパラメータを算出する
   ことを特徴とする請求項１ないし請求項７のいずれか一項に記載の生活タスク支援システム。
9. ユーザが行う生活タスクについて，生活タスクで使用される語彙を規定するタスク知識情報と，各生活タスクの動作，使用する器具，および実行される場所を含むタスク情報と，ユーザの生活タスクが実行される空間内で計測されたセンサ情報と，前記センサ情報をもとに推論された生活タスク実行中のユーザの動作および状態に関する動作／状態情報と，前記動作／状態情報から推論されるコンテキストとを蓄積する分散環境行動データベースを備える生活タスク支援システムであって，
   複数のステップで構成される生活タスクの内容および手順が記述されたタスク教材データと，前記生活タスクの各ステップにおいて手本となる動作を記録した教師映像データとを記憶するタスク教材データベースと，
   前記ユーザから映像提示要求があった場合に，前記分散環境行動データベースをもとに当該要求にかかる生活タスクを特定し，当該特定した生活タスクにおいて前記要求に合致する動作または状態を表すコンテキストを推定し，前記推定したコンテキストをもとに前記タスク教材データから当該要求にかかる生活タスクのステップを特定する提示対象特定手段と，
   前記特定されたステップに対応する教師映像データを，前記タスク教材データベースから抽出する映像検索手段と，
   前記抽出された教師映像データを出力する映像提示手段とを備える
   ことを特徴とする生活タスク支援システム。
10. 前記生活タスクを実行中のユーザの動作を記録したユーザ映像データを記憶するユーザ映像データベースと，
    前記ユーザ映像データベースに，前記ユーザ映像データを蓄積するユーザ映像蓄積処理手段とを備えるとともに，
    前記映像検索手段は，前記ユーザ映像データベースから前記要求にかかるステップを実行したユーザ映像データを検索し，
    前記映像提示手段は，前記検索された教師映像データおよびユーザ映像データを出力する
    ことを特徴とする請求項９に記載の生活タスク支援システム。
    

Images