JP6048074B2 - 状態推定プログラム及び状態推定装置 - Google Patents

Description

本発明は、状態推定プログラム及び状態推定装置に関する。

従来の技術として、検出した状況変化から利用者の操作を先読みする状態推定装置が提案されている（例えば、特許文献１参照）。

特許文献１に開示された状態推定装置は、利用者の状況情報として加速度等の情報をセンサ等で取得し、当該状況情報の変化を検出する検出手段と、入力部に入力された利用者の操作と検出手段が検出した状況情報の変化を関連付けてパターンとして記憶部に格納する格納手段とを有し、格納したパターンに基づいて状況情報の変化に応じて利用者の操作を先読みする。

特開２０１０−１６４４３号公報

本発明の目的は、本構成を用いない場合に比べて、状態遷移の誤判定を低減する状態推定プログラム及び状態推定装置を提供することにある。

本発明の一態様は、上記目的を達成するため、以下の状態推定プログラム及び状態推定装置を提供する。

［１］コンピュータを、
センサから得られる情報から前記センサを携帯する利用者の状態である一次状態を推定する第１の状態推定手段と、
前記センサから得られる情報から予め定めたパターンを検出する検出手段と、
複数の前記一次状態が属する二次状態を遷移する確率として遷移確率が複数登録されているとき、前記検出手段が前記パターンを検出した場合と検出しない場合とで異なる前記遷移確率を選択する選択手段として機能させるための状態推定プログラム。

［２］前記選択手段は、前記検出手段が検出したパターンの種類に応じて異なる前記遷移確率を選択する前記［１］に記載の状態推定プログラム。

［３］前記選択手段が選択した前記遷移確率に基づいて、前記検出手段がパターンを検出した前後の前記二次状態の変化の履歴を推定する第２の状態推定手段としてさらに機能させるための前記［１］又は［２］に記載の状態推定プログラム。

［４］前記遷移確率は、前記検出手段がパターンを検出した場合に他の状態へ遷移する確率が同じ状態にとどまる場合に比べて高く、検出しない場合に他の状態へ遷移する確率が同じ状態にとどまる場合に比べて低く設定される前記［１］−［３］のいずれかに記載の状態推定プログラム。

［５］前記選択手段は、前記検出手段が前記予め定めたパターンを一定の期間内に複数回検出した場合に、当該複数回の検出について一の遷移確率を選択する前記［１］−［４］のいずれかに記載の状態推定プログラム。

［６］前記選択手段は、前記検出手段が複数種類の前記予め定めたパターンを検出していずれに該当するか判定できない場合に、それぞれ該当する確率に基づいて遷移確率に重みづけして加算し、前記複数種類の予め定めたパターンに対応する遷移確率を算出し、新たな遷移確率とする前記［１］−［４］のいずれかに記載の状態推定プログラム。

［７］センサから得られる情報から前記センサを携帯する利用者の状態である一次状態を推定する第１の状態推定手段と、
前記センサから得られる情報から予め定めたパターンを検出する検出手段と、
複数の前記一次状態が属する二次状態を遷移する確率として遷移確率が複数登録されているとき、前記検出手段が前記パターンを検出した場合と検出しない場合とで異なる前記遷移確率を選択する選択手段とを有する状態推定装置。

請求項１又は７に係る発明によれば、本構成を用いない場合に比べて、状態遷移の誤判定を低減することができる。

請求項２に係る発明によれば、検出したパターンの種類に応じて異なる遷移確率を選択することができる。

請求項３に係る発明によれば、パターンを検出した前後の状態の変化の履歴を推定することができる。

請求項４に係る発明によれば、状態遷移確率をパターンを検出した場合に他の状態へ遷移する確率が同じ状態にとどまる場合に比べて高く、検出しない場合に他の状態へ遷移する確率が同じ状態にとどまる場合に比べて低く設定できる。

請求項５に係る発明によれば、パターンを一定の期間内に複数回検出した場合に、当該複数回の検出についてまとめて一の遷移確率を選択することができる。

請求項６に係る発明によれば、複数種類のパターンを検出していずれに該当するか判定できない場合に、それぞれ該当する確率に基づいて遷移確率に重みづけして加算し、複数種類のパターンに対応する遷移確率を算出し、新たな遷移確率とすることができる。

図１は、状態推定装置の構成の一例を示すブロック図である。 図２（ａ）及び（ｂ）は、パターン情報の構成例を示すグラフ図である。 図３（ａ）−（ｄ）は、遷移確率情報の構成例を示すグラフ図である。 図４は、一次状態と二次状態の関係及び各状態を遷移する際のパターン情報との関係について説明するための概略図である。 図５は、一次状態と二次状態の関係及び各状態を遷移する際のパターン情報との関係について説明するための他の概略図である。 図６（ａ）及び（ｂ）は、パターン検出手段が検出対象とするセンサが検出した加速度の時間変化の一例を示すグラフ図である。 図７（ａ）はパターン検出を行った場合の一次状態及び二次状態の推定動作を説明するための概略図である。また、図７（ｂ）はパターン検出を行わなかった場合の従来の一次状態及び二次状態の推定動作を説明するための概略図である。 図８は、状態推定装置の動作の一例を示すフローチャートである。

［実施の形態］
（状態推定装置の構成）
図１は、状態推定装置１の構成の一例を示すブロック図である。

この状態推定装置１は、例えば携帯電話等であり、ＣＰＵ等から構成され各部を制御するとともに各種のプログラムを実行する制御部１０と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やフラッシュメモリ等の記録媒体から構成され情報を記憶する記憶装置の一例としての記憶部１１と、三軸方向の加速度を検出する加速度センサ等であるセンサ１２と、文字や図形等を表示する表示部１３と、ボタンスイッチやタッチセンサ等の操作部１４と、マイク及びスピーカ等を含む電話機能部１５とを備える。

制御部１０は、後述する状態推定プログラム１１０を実行することで、一次状態推定手段１００、パターン検出手段１０１、パターン特定手段１０２、遷移確率選択手段１０３及び二次状態推定手段１０４等として機能する。

一次状態推定手段１００は、センサ１２が検出した加速度等の情報（以下、「センサ情報」という。）に基づいて直接的に推定される一次状態を推定する。ここで、一次状態とは、状態推定装置１を利用している利用者が通話中である「発話状態」、表示部１３を閲覧している「閲覧状態」、何もせずにじっとしている「停止状態」等の状態であり、加速度に対応付けて予め状態情報１１１に登録されるものである。また、一次状態は、センサ１２が検出した加速度に限らず、表示部１３の表示状態や操作部１４及び電話機能部１５の被利用状態に基づいて推定されるものであってもよい。

また、ここで一次状態が属する二次状態について説明する。二次状態とは、一例として「社内の打ち合わせ」という状況においては、状態推定装置１を利用している利用者が打ち合わせ中である「打合せ状態」、打ち合わせをせずに待機している「待機状態」等であり、センサ１２が検出した加速度等に基づいて間接的に推定されるものである。二次状態についても予め状態情報１１１に登録されるものである。

パターン検出手段１０１は、センサ１２が検出した加速度等のセンサ情報の時間変化のパターンを検出する。ここで、パターンは、一次状態推定手段１００が一次状態の推定の対象とするセンサ情報の時間範囲よりも短い時間範囲で現れるセンサ情報の時間変化から検出される。

なお、一次状態推定手段１００及びパターン検出手段１０１は、センサ情報から算出したピーク周波数等の特徴量、急峻な値の変化、閾値以上の値の検出、規則性・周期性の低下の検出、特定波形形状の検出等により一次状態の推定及びパターン検出を行う。

パターン特定手段１０２は、パターン検出手段１０１が検出したパターンが予め定めたパターン情報１１２のいずれに類似したパターンであるか特定する。

遷移確率選択手段１０３は、パターン特定手段１０２が特定したパターンに基づいて二次状態間の遷移確率である遷移確率情報１１３から対応した遷移確率を選択する。なお、パターン特定手段１０２がパターンを特定できない場合は、パターンと比較的類似するパターンの遷移確率に類似度に基づいた重みづけをして遷移確率を算出してもよい。

二次状態推定手段１０４は、遷移確率選択手段１０３が選択した遷移確率に基づいてパターン検出手段１０１がパターンを検出した前後の二次状態について推定する。

記憶部１１は、状態推定プログラム１１０、状態情報１１１、パターン情報１１２及び遷移確率情報１１３等を格納する。

状態推定プログラム１１０は、制御部１０で実行することにより制御部１０を上記した各手段１００〜１０４として機能させるプログラムである。

状態情報１１１は、予め登録された情報であり、後述する図４及び図５に示すように複数の一次状態と、一次状態に関連付けられた二次状態とを有する。

パターン情報１１２は、後述する図２に示すように加速度の時間変化のパターンを複数有する。

遷移確率情報１１３は、後述する図３に示すようにパターン情報１１２のパターンにそれぞれ対応付けられた遷移確率を複数有する。

なお、状態推定装置１は、例えば、センサ１２を備えた携帯電話等や携帯情報処理端末であるが、センサ１２を別体としてサーバ装置やパーソナルコンピュータを用いて構成してもよい。

また、センサ１２は、加速度センサの他、照度センサ、近接センサ等を用いてもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）等により近接ユーザを検知してもよい。また、マイクにより周囲を集音して音声情報を取得し、音声情報からユーザの一次状態を推定したり、音声情報に含まれる話声等を識別して近接ユーザの存在を検知してもよい。

図２（ａ）及び（ｂ）は、パターン情報１１２の構成例を示すグラフ図である。

図２（ａ）に示すように、センサ１２が検出する三軸方向の加速度が時間変化するパターン１１２ａが「状態推定装置１をバッグに入れる動作」としてパターン情報１１２に予め登録される。なお、ａ_ｘ、ａ_ｙ、ａ_ｚはそれぞれｘ方向、ｙ方向、ｚ方向の加速度である。また、ｘ方向、ｙ方向、ｚ方向は、それぞれ状態推定装置１が携帯電話等である場合は、表示部１３の水平方向、垂直方向、法線方向とする。

また、図２（ｂ）に示すように、センサ１２が検出する三軸方向の加速度が時間変化するパターン１１２ｂが「状態推定装置１を胸ポケットに入れた利用者がおじぎする動作」としてパターン情報１１２に予め登録される。

図３（ａ）−（ｄ）は、遷移確率情報１１３の構成例を示すグラフ図である。

図３（ａ）−（ｃ）に示す遷移確率α_１−α_３は、パターン検出手段１０１がパターンを検出した場合に遷移確率選択手段１０３が選択する遷移確率であり、α_１−α_３のいずれの遷移確率を選択するかはパターン特定手段１０２が特定したパターンに依存する。

また、図３（ｄ）に示す遷移確率βは、パターン検出手段１０１がパターンを検出しない場合に遷移確率選択手段１０３が選択する遷移確率である。

図４は、一次状態と二次状態の関係及び各状態を遷移する際のパターン情報との関係について説明するための概略図である。

状態情報１１１のうち「社内打ち合わせ」という状況において、一次状態ｓ_ａは二次状態ｓ_１およびｓ_２に属し、一次状態ｓ_ｂは二次状態ｓ_１に属し、一次状態ｓ_ｃは二次状態ｓ_２に属する。また、二次状態ｓ_１からｓ_２へは予め定めた遷移確率で遷移するが、二次状態ｓ_２からｓ_１へはパターンＰ_２１が検出された場合と、検出されない場合とでは異なった遷移確率で遷移する。

ここで、一次状態ｓ_ａ「閲覧」は、利用者が状態推定装置１に備えられたインターネットのブラウジング機能を利用して表示部１３でウェブページを閲覧している状態を指す。また、ｓ_ｂ「発話」は、利用者が状態推定装置１の電話機能部１５を利用して会話している状態を指す。また、ｓ_ｃ「停止」は、利用者が何もしていない状態を指す。

図５は、一次状態と二次状態の関係及び各状態を遷移する際のパターン情報との関係について説明するための他の概略図である。

状態情報１１１のうち「営業」という状況において、一次状態ｓ_ａは二次状態ｓ_３及びｓ_４に属し、一次状態ｓ_ｂは二次状態ｓ_３に属し、一次状態ｓ_ｃは二次状態ｓ_４及びｓ_５に属し、一次状態ｓ_ｄは二次状態ｓ_５に属する。また、二次状態ｓ_３からｓ_４へ、二次状態ｓ_４とｓ_５との間及び二次状態ｓ_５からｓ_３へは予め定めた遷移確率で遷移するが、二次状態ｓ_３からｓ_５へ及び二次状態ｓ４からｓ３へはパターンＰ_３５及びＰ_４３が検出された場合と、検出されない場合とでは異なった遷移確率で遷移する。

ここで、一次状態ｓ_d「歩行」は、利用者が状態推定装置１を所持しながら歩いている状態を指す。

（状態推定装置の動作）
次に、本実施の形態の作用を、（１）基本動作、（２）一次状態推定動作、（３）二次状態推定動作に分けて説明する。

（１）基本動作
まず、利用者は状態推定装置１を携帯し、様々な活動をする。活動の一例として、利用者は状態推定装置１を利用者の着用するシャツの胸ポケットに入れた状態で移動やおじぎ等の動作をしたり、状態推定装置１を利用者所有の鞄等に入れたり、操作部１４を操作することで状態推定装置１に備えられたインターネットのブラウジング機能を利用して表示部１３でウェブページを閲覧したり、状態推定装置１の電話機能部１５を利用して会話したりする。

（２）一次状態推定動作
図８は、状態推定装置１の動作の一例を示すフローチャートである。

状態推定装置１の一次状態推定手段１００は、上記した利用者の活動に伴いセンサ１２によって検出された加速度を受け付けて（Ｓ１）、利用者がどのような状態であるのか推定する。つまり、一次状態を推定する（Ｓ２）。また、一次状態推定手段１００は、推定センサ１２が検出した加速度に限らず、表示部１３の表示状態や操作部１４及び電話機能部１５の被利用状態に基づいて状態を推定してもよい。

ここで、一次状態推定手段１００によって推定される一次状態は、図４及び図５に示す一次状態ｓ_ａ「閲覧」、ｓ_ｂ「発話」、ｓ_ｃ「停止」又はｓ_ｄ「歩行」等である。

（３）二次状態推定動作
次に、パターン検出手段１０１は、センサ１２が検出した加速度の時間変化パターンを検出する（Ｓ３）。

図６（ａ）及び（ｂ）は、パターン検出手段１０１が検出対象とするセンサ１２が検出した加速度の時間変化の一例を示すグラフ図である。

パターン検出手段１０１は、図６（ａ）及び（ｂ）に示すような加速度ａ_ｘ、ａ_ｙ、ａ_ｚから一時的に生じる特徴的な時間変化をパターンとして検出する（Ｓ３；Ｙｅｓ）。図６（ａ）に示す例ではｔ＝２〜５に生じる時間変化を、図６（ｂ）に示す例ではｔ＝３〜７に生じる時間変化をパターンとして検出する。

次に、パターン特定手段１０２は、パターン検出手段１０１が検出したパターンが予め定めたパターン情報１１２のいずれに類似したパターンであるか特定する（Ｓ４）。

例えば、図６（ａ）から抽出されたｔ＝２〜５のパターンについては、図２（ａ）に示すパターン１１２ａと特定される。なお、パターンの特定方法としては、一例としてＤＴＷ（Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ）距離を算出し、算出したＤＴＷ距離が予め定めた閾値より小さい場合にパターン情報１１２に登録されたパターンと類似すると判定する。

また、図６（ｂ）から抽出されたｔ＝３〜７のパターンについては、図２（ｂ）に示すパターン１１２ｂと特定される。

次に、遷移確率選択手段１０３は、パターン特定手段１０２が特定したパターン１１２ａ又は１１２ｂに基づいて二次状態間の遷移確率である遷移確率情報１１３から対応した遷移確率α_１又はα_２を選択する（Ｓ５）。

また、ステップＳ３においてパターン検出手段１０１がパターンを検出しない場合は（Ｓ３；Ｎｏ）、遷移確率選択手段１０３は、パターンが検出されなかった場合の遷移確率として遷移確率βを選択する（Ｓ６）。

二次状態推定手段１０４は、遷移確率選択手段１０３が選択した遷移確率に基づいてパターン検出手段１０１がパターンを検出した前後の二次状態について推定する（Ｓ７）。

上記動作を具体的に説明すると、図７（ａ）のようになる。

図７（ａ）はパターン検出を行った場合の一次状態及び二次状態の推定動作を説明するための概略図である。また、図７（ｂ）はパターン検出を行わなかった場合の従来の一次状態及び二次状態の推定動作を説明するための概略図である。

図７（ａ）に示すように、パターン特定手段１０２が時刻ｔ_１においてパターンＰ_４３を検出したと特定した場合、遷移確率選択手段１０３は遷移確率α_３を選択する。その結果、二次状態ｓ_４からｓ_３への遷移確率が高いため、二次状態推定手段１０４は時刻ｔ_１において二次状態はｓ_４からｓ_３へと遷移したと推定する。

また、同様にパターン特定手段１０２が時刻ｔ_２においてパターンＰ_３５を検出したと特定した場合、遷移確率選択手段１０３は遷移確率α_２を選択する。その結果、二次状態ｓ_３からｓ_５への遷移確率が高いため、二次状態推定手段１０４は時刻ｔ_２において二次状態はｓ_３からｓ_５へと遷移したと推定する。

なお、ｔ_１及びｔ_２以外の時刻においてはパターンが検出されないため、遷移確率選択手段１０３は遷移確率βを選択する。その結果、現在の二次状態から他の二次状態へと遷移する確率は低いため誤判定が減少する。

一方、図７（ｂ）に示すように、パターン検出を行わない場合は、一次状態ｓ_ａは二次状態ｓ_３及びｓ_４のいずれにも存在し、かつ二次状態ｓ_３及びｓ_４間の遷移確率は常に一定であるため、時刻ｔ_１で二次状態の変化が生じたことを推定できず変化遅れが生じる可能性が増加する。また、一次状態ｓ_ｃは二次状態ｓ_４及びｓ_５のいずれにも存在するため、時刻ｔ_２においてｓ_４に遷移したと誤判定する可能性が増加する。

（実施の形態の効果）
上記した実施の形態によると、センサ情報から一次状態を推定する動作と別にセンサ情報からパターンを検出し、検出されたパターンに応じて遷移確率を変更することとしたため、パターン検出を行わない場合に比べて、状態遷移の誤判定を低減することができる。

［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。例えば、遷移確率選択手段１０３は、パターン特定手段１０２が複数種類のパターンを検出していずれに該当するか判定できない場合に、それぞれのパターンに該当する確率に基づいて遷移確率に重みづけして加算し、新たな遷移確率を算出するようにしてもよい。

また、遷移確率選択手段１０３は、パターン検出手段１０１が同一のパターンを一定の期間内に複数回検出した場合、例えば、複数の人に挨拶する等しておじぎの動作を複数回検出した場合等において、当該複数回の検出を１つのまとまりとして、遷移確率を１回だけ選択するようにしてもよい。

また、センサ情報から推定される一次状態、一次状態から推定される二次状態について説明したが、二次状態から推定されるさらに高次（三次、四次…）の状態を推定するものとし、高次の状態間の遷移確率について本発明を適用してもよい。

上記実施の形態では制御部１０内の各手段１００−１０９の機能をプログラムで実現したが、各手段の全て又は一部をＡＳＩＣ等のハードウエアによって実現してもよい。また、上記実施の形態で用いたプログラムをＣＤ−ＲＯＭ等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入れ替え、削除、追加等は本発明の要旨を変更しない範囲内で可能である。

１ 状態推定装置
１０ 制御部
１１ 記憶部
１２ センサ
１３ 表示部
１４ 操作部
１５ 電話機能部
１００ 一次状態推定手段
１０１ パターン検出手段
１０２ パターン特定手段
１０３ 遷移確率選択手段
１０４ 二次状態推定手段
１１０ 状態推定プログラム
１１１ 状態情報
１１２ パターン情報
１１２ａ、１１２ｂ パターン
１１３ 遷移確率情報

Claims (7)

1. コンピュータを、
   センサから得られる情報から前記センサを携帯する利用者の状態である一次状態を推定する第１の状態推定手段と、
   前記センサから得られる情報から予め定めたパターンを検出する検出手段と、
   複数の前記一次状態が属する二次状態を遷移する確率として遷移確率が複数登録されているとき、前記検出手段が前記パターンを検出した場合と検出しない場合とで異なる前記遷移確率を選択する選択手段として機能させるための状態推定プログラム。
2. 前記選択手段は、前記検出手段が検出したパターンの種類に応じて異なる前記遷移確率を選択する請求項１に記載の状態推定プログラム。
3. 前記選択手段が選択した前記遷移確率に基づいて、前記検出手段がパターンを検出した前後の前記二次状態の変化の履歴を推定する第２の状態推定手段としてさらに機能させるための請求項１又は２に記載の状態推定プログラム。
4. 前記遷移確率は、前記検出手段がパターンを検出した場合に他の状態へ遷移する確率が同じ状態にとどまる場合に比べて高く、検出しない場合に他の状態へ遷移する確率が同じ状態にとどまる場合に比べて低く設定される請求項１−３のいずれかに記載の状態推定プログラム。
5. 前記選択手段は、前記検出手段が前記予め定めたパターンを一定の期間内に複数回検出した場合に、当該複数回の検出について一の遷移確率を選択する請求項１−４のいずれかに記載の状態推定プログラム。
6. 前記選択手段は、前記検出手段が複数種類の前記予め定めたパターンを検出していずれに該当するか判定できない場合に、それぞれ該当する確率に基づいて遷移確率に重みづけして加算し、前記複数種類の予め定めたパターンに対応する遷移確率を算出し、新たな遷移確率とする請求項１−４のいずれかに記載の状態推定プログラム。
7. センサから得られる情報から前記センサを携帯する利用者の状態である一次状態を推定する第１の状態推定手段と、
   前記センサから得られる情報から予め定めたパターンを検出する検出手段と、
   複数の前記一次状態が属する二次状態を遷移する確率として遷移確率が複数登録されているとき、前記検出手段が前記パターンを検出した場合と検出しない場合とで異なる前記遷移確率を選択する選択手段とを有する状態推定装置。

Images