JP3822796B2 - Information processing apparatus, information processing program, and recording medium - Google Patents
Information processing apparatus, information processing program, and recording medium Download PDFInfo
- Publication number
- JP3822796B2 JP3822796B2 JP2001032217A JP2001032217A JP3822796B2 JP 3822796 B2 JP3822796 B2 JP 3822796B2 JP 2001032217 A JP2001032217 A JP 2001032217A JP 2001032217 A JP2001032217 A JP 2001032217A JP 3822796 B2 JP3822796 B2 JP 3822796B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- biosensor
- parameter value
- time
- distribution function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ユーザが体験する環境関連情報（光、音、臭い、味、気温、圧力、振動、位置座標、電磁気、各種ガス、時刻等）と、ユーザ自身に関わる生体関連情報（体温、脳波、筋電位、皮膚表面電位、皮膚表面抵抗、脈拍、心電位、呼吸音等）とを統合的に記録し、検索し、再生するマルチメディア情報処理装置に関する。
【０００２】
【従来の技術】
近年、映像や音声などのマルチメディア情報を記録し、再生し、編集し、表示するパソコンやホームサーバーの開発が進められている。さらに情報機器の小型化に伴い、コンピュータを常時装着し、いつでもどこでもサービスを受けたり、生データを入力したりできるウェアラブルコンピュータの開発も行なわれている。このような機器が進化するとユーザが自身の人生体験を全て記録して好きな時に思い出したい時点の情報を再生できる「人生アルバム」というコンセプトの機器を実現できることも予想される。
【０００３】
インターネットの情報検索サービスのように、テキストベースの情報の場合は効率的な検索方法が多数存在するが、光、音、臭い等の環境情報に関しては検索用に予め何らかのイベント名称等のインデックスが必要である。さらに、これらの情報が公ではなく個人に関わる場合にはユーザ自身でインデックスを付与するという手間が生じる。しかしながら、遠い将来に人生を振り返る際には、具体的なイベント名称すら忘れていることも想定される。
【０００４】
現在、これらの情報が記録された日時に対応して自動的に作成できるタイムスタンプが多く用いられている。例えば、特開平１１−６９２６６には、タイムスタンプと組み合わせて映像の種類（静止画、動画）に応じてユーザヘの表示形態を改善する技術が開示されている。
このように、環境情報が記録された日時に対応して自動的に作成できるタイムスタンプが多く用いられているが、人間の記憶が曖昧である為に、日時すら思い出せないことも度々ある。
【０００５】
【発明が解決しようとする課題】
上記したごとく、光、音、臭い等の環境情報を検索するためには、ユーザー自身の正確な記憶に頼る以外の方法が存在しなかった。そこで、ユーザー自身の記憶が曖昧なものであっても、上記の環境情報を正確に検索し得る方法が求められる。
【０００６】
また、「ドキドキした時」、「ワクワクした時」、「ハラハラした時」等のように想い出の心理状態グループ別に環境情報を検索したいという潜在ニーズも想定される。
心理状態グループを分類する際の評価値として、特開平８−８７８７０には、体温、脈拍、脳波等の生体センサ情報パラメータ値を使うことが記載されている。しかしながら、生体センサ情報の場合は不安定で個人差が大きく、さらに長い年月の間に経時変化もするので、生体センサ情報パラメータ値の絶対値や変化量をそのままその時点における意味のある評価値として使用することは、分類や検索において精度上の課題がある。
【０００７】
【課題を解決するための手段】
上記課題を解決するために、本発明は、光、音、臭い等を検出する環境センサと、体温、脈拍、脳波等を検出する生体センサとを用いて得られた情報（実体験関連データ）を測定時刻とともに大容量メモリに記録し、検索したい時には、記録された生体センサ情報を利用して記録された環境センサ情報を検索し、検索結果の環境関連情報を対応する生体関連情報とともにユーザに提示できる情報処理装置を提供することを目的とする。
なお生体センサ情報を検索する際には、生体センサ情報パラメータ値の絶対値や変化量をそのまま利用するのではなく、生体センサ情報が記録された全期間のヒストグラムまたは分布曲線における生体センサ情報パラメータ値の意味合いを利用することにより、心理状態グループに近い感覚での精度の良い検索を実現する。さらに、複数の生体センサ情報パラメータ値のヒストグラムまたは分布曲線を用いて総合的に判断することにより、さらに検索精度を高めることができる。
【０００８】
すなわち、本発明は、１または複数の環境センサおよび１または複数の生体センサを含み、該環境センサにより測定された環境センサ情報パラメータ値および該生体センサにより測定された生体センサ情報パラメータ値を測定時刻とともに記録する記録手段と、該生体センサ情報パラメータ値の分布関数グラフを作成する分布関数グラフ作成手段と、該生体センサ情報パラメータ値の分布関数グラフを利用して環境センサ情報を検索する検索手段と、検索された環境センサ情報を対応する生体センサ情報とともに提示する提示手段とを具備する情報処理装置を提供する。ここに、該分布関数のグラフは、ヒストグラムまたは分布曲線のいずれであってもよい。
【０００９】
また、本発明の情報処理装置は、生体センサ情報パラメータ値の分布関数グラフにおいて、生体センサ情報パラメータに対して予め決定された閾値以下の出現頻度のパラメータ値が記録された時刻に対応する環境センサ情報を優先的に検索結果として提示することを特徴とする。
一つの局面において、本発明の情報処理装置は、１の生体センサから得られた生体センサ情報パラメータ値の１の分布関数グラフにおいて、その生体センサ情報パラメータに対して予め決定された閾値以下の出現頻度のパラメータ値が記録された時刻に対応する環境センサ情報を優先的に検索結果として提示する。
もう一つの局面において、本発明の情報処理装置は、複数の生体センサから得られた生体センサ情報パラメータ値の複数の分布関数グラフの各々において、それら生体センサ情報パラメータの各々に対して予め決定された各閾値以下の出現頻度のパラメータ値が記録された時刻が一致した場合、その時刻に対応する環境センサ情報を優先的に検索結果として提示する。
【００１０】
また、本発明の情報処理装置は、複数の生体センサから得られた生体センサ情報パラメータ値から作成された複数の分布関数グラフを統合して作成した新たな分布関数グラフにおいて、それら生体センサ情報パラメータの各々に対して予め決定された閾値を合計して算出された新たな閾値以下の出現頻度のパラメータ値が記録された時刻に対応する環境センサ情報を優先的に検索結果として提示することを特徴とする。
【００１１】
さらに、本発明の情報処理装置は、生体センサ情報パラメータ値の分布関数グラフを指定した時間間隔毎に算出することを特徴とする。
【００１２】
さらに、本発明の情報処理装置は、現時点も含む任意の時点の生体センサ情報パラメータ値に最も近い生体センサ情報パラメータ値を持つ別の時点の環境センサ情報を提示することを特徴とする。
【００１３】
さらに、本発明の情報処理装置は、環境センサと生体センサのいずれか一方または両方が装置本体と離れていて、装置本体と離れているセンサは装置本体無線通信によって接続されていることを特徴とする。
【００１４】
また、本発明は、コンピュータを上記の全手段として機能させる情報処理プログラムおよび該情報処理プログラムが記録されたコンピュータ読取り可能な記録媒体を提供する。
すなわち、本発明の情報処理プログラムは、環境センサに環境センサ情報パラメータを測定し、生体センサに生体情報パラメータを測定する測定ステップと、該環境センサにより測定された環境センサ情報パラメータ値および該生体センサにより測定された生体センサ情報パラメータ値を測定時刻とともに記録する記録ステップと、該生体センサ情報パラメータ値の分布関数グラフを作成する分布関数グラフ作成ステップと、該生体センサ情報パラメータ値の分布関数グラフを利用して環境センサ情報を検索する検索ステップと、環境センサ情報を対応する生体センサ情報とともに提示する提示ステップとをコンピュータに実行させることを特徴とする。
【００１５】
また、本発明の情報処理プログラムは、生体センサ情報パラメータ値の分布関数グラフにおいて、生体センサ情報パラメータに対して予め決定された閾値以下の出現頻度のパラメータ値が記録された時刻に対応する環境センサ情報を優先的に検索結果として提示手段に提示させることを特徴とする。
【００１６】
また、本発明の情報処理プログラムは、１の生体センサにより測定された生体センサ情報パラメータ値から作成された１の分布関数グラフにおいて、その生体センサ情報パラメータに対して予め決定された閾値以下の出現頻度のパラメータ値が記録された時刻に対応する環境センサ情報を優先的に検索結果として提示手段に提示させることを特徴とする。
あるいは、本発明の情報処理プログラムは、複数の生体センサにより測定された生体センサ情報パラメータ値から作成された複数の分布関数グラフの各々において、それら生体センサ情報パラメータの各々に対して予め決定された各閾値以下の出現頻度のパラメータ値が記録された時刻が一致した場合、その時刻に対応する環境センサ情報を優先的に検索結果として提示手段に提示させることを特徴とする。
【００１７】
さらに、本発明の情報処理プログラムは、複数の生体センサにより測定された生体センサ情報パラメータ値から作成された複数の分布関数グラフを統合して得られた新たな分布関数グラフにおいて、各生体センサ情報パラメータに対して予め決定された閾値を合計して算出された新たな閾値以下の出現頻度のパラメータ値が記録された時刻に対応する環境センサ情報を優先的に検索結果として提示手段に提示させることを特徴とする。
【００１８】
【発明の実施の態様】
本発明の第１の実施形態は、自身の人生を記録して、必要な時にマルチメディア情報で回想できる「人生アルバム」というコンセプトの情報処理装置の実現に関わる。
【００１９】
図１Ａは、本発明の第１の実施形態における使用シーンで、環境センサおよび生体センサの両方がユーザに装着されている。このとき、環境センサおよび生体センサの両方が情報処理装置本体と接続されていてもよいし、環境センサおよび生体センサのいずれか一方または両方が情報処理装置から離れていてもよい。センサが情報処理装置から離れている場合、そのセンサからの情報は無線通信により情報処理装置本体に送信される。
【００２０】
入力モード時には、カメラやマイクなどの環境センサは環境情報を入力し、環境センサメモリに蓄積すると同時に、脳波形や脈拍計、血圧計などの生体センサは生体情報を入力し、生体センサメモリに蓄積する。これらの情報入力と並行して、設定された複数の周期毎に各生体センサ情報パラメータのヒストグラムを作成し、生体センサ情報ヒストグラムメモリに蓄積する。
【００２１】
検索モード時において、情報入力部（ＨＩ部）経由で、ユーザからある特定の心理状態グループ（例えば、「好きなことに熱中している時」）を検索するように指示コマンドを受けた際には、制御部は心理状態−生体センサ情報対応表メモリに記憶された心理状態−生体センサ情報対応表を検索して、低頻度領域が指定された心理状態グループに対応する値を持つことを予め定義されている生体センサ情報を見つけ出し、その生体センサ情報のパラメータ値が低頻度領域にあった時刻の環境センサ情報を、制御部は環境センサ情報メモリから読み出して情報出力部へ出力してユーザに提示する。ここで、上記した心理状態−生体センサ情報対応表は予め多数の被験者を用いた実験により作成されている。
【００２２】
また、本発明の第２の実施形態は、お年寄りや幼児の生活を記録して、危険が迫った時にマルチメディア情報で離れた場所にいる家族に通知できる「生活エージェント」いうコンセプトの情報処理装置の実現に関わる。
【００２３】
図１Ｂは、本発明の第２の実施形態における使用シーンで、生体センサのみがユーザに装着されており、環境センサはユーザから離れた場所に配置されている。このとき、環境センサおよび生体センサのいずれか一方または両方が情報処理装置から離れていてもよい。センサが情報処理装置から離れている場合、そのセンサからの情報は無線通信により情報処理装置本体に送信される。
【００２４】
入力モード時には、カメラやマイクなどの環境センサは環境情報を入力し、環境センサメモリに蓄積すると同時に、脳波形や脈拍計、血圧計などの生体センサは生体情報を入力し、生体センサメモリに蓄積する。これらの情報入力と並行して、設定された複数の周期毎に各生体センサ情報パラメータのヒストグラムを作成し、生体センサ情報ヒストグラムメモリに蓄積する。
【００２５】
次いで、検索モードを実行する。好ましくは、入力モードと並行して検索モードを実行し、ＨＩ部経由で、予めユーザまたはユーザ以外からある特定の心理状態グループ（例えば、「ドキドキしている時」）を検索するように指示コマンドを受けていた際には、制御部は心理状態−生体センサ情報対応表メモリに記憶された心理状態−生体センサ情報対応表を検索して、低頻度領域が指定された心理状態グループに対応する値を持つことを予め定義されている生体センサ情報を見つけ出し、その生体センサ情報のパラメータ値が低頻度領域にあった時刻の環境センサ情報を、制御部は環境センサ情報メモリから読み出して情報出力部へ出力してユーザまたはユーザ以外に提示する。なおユーザ以外に提示する際に通信を用いて遠方に提示情報を送っても構わない。
【００２６】
以下、本発明の実施形態１および２を図面を参照して個別に説明する。
Ａ．第１の実施形態
図２は、本発明による第１の実施形態の情報処理装置のブロック図である。第１の実施形態は、生体センサおよび環境センサの両方を含む情報処装置本体をユーザーが携帯する場合の実施例に関するものである。
本発明の情報処理装置の動作モードは、大きくは入力モードと検索モードからなる。入力モード時において、少なくとも１つ以上の環境センサにより得られた情報Ｍ（ｔ）が時刻ｔとともに環境センサ情報メモリに記憶され、同時に少なくとも１つ以上の生体センサのうちｉ番目の生体センサにより得られた情報ｘｉ（ｔ）が時刻ｔとともに生体センサ情報メモリに記憶される。
【００２７】
ＨＩ部は本発明の情報処理装置に対するユーザの指示コマンド入力のためのインタフェース部であり、各生体センサ情報のヒストグラムを作成する際の周期（時間間隔）Ｈを設定することができる。例えば、「優勢脳波周波数」という生体センサ情報に対して「１分間隔」（Ｈ＝１分）という周期を設定すれば、制御部は環境センサ情報メモリから１分間分の優勢脳波周波数値を読出して優勢脳波周波数のヒストグラムを作成し、生体センサ情報ヒストグラムメモリに記憶する。
【００２８】
図３は、このようにして作成された生体センサ情報パラメータ値の分布関数を表示するグラフである。ここでは、分布曲線を用いて分布関数を表示している。例として、頻度の分布曲線が右下がり型、左下がり型および中央凹型を示しているが、生体センサの種類によってはこれら以外の型も存在する。
一般的に、ある生体センサ情報パラメータの値が低頻度領域にある場合は、ユーザの心理的状態が通常ではない心理状態グループにあることが想定される。例えば、体温という生体センサ情報パラメータの値が低頻度領域にある場合は、ユーザは高熱を出していたりするし、脈拍という生体センサ情報パラメータの値が低頻度領域にある場合は、ユーザは心臓がドキドキしていたりする。
【００２９】
図４は、生体センサ情報パラメータ値の分布関数の経時変化を示す概念図である。ここでｉ番目の生体センサ情報パラメータのｎ番目の時期Ｔｎ（Ｈ）（例えば、Ｔｎ（日））に作成されたヒストグラムＨｉ（Ｔｎ（Ｈ））から推定される分布曲線の横軸をｘｉ、縦軸を確率Ｐｉ（ｘｉ,Ｔｎ（Ｈ））とする。確率Ｐｉ（ｘｉ,Ｔｎ（Ｈ））が各生体センサ情報に対して決定された特定の値（閾値）以下の値をとるｘｉの範囲を低頻度領域と呼ぶことにする。
人生という長い期間で観測した際には、生体センサ情報パラメータ値の分布関数は徐々に変化していくのが普通である。すなわち、同じ生体センサ情報パラメータ値ｘｉであっても、時期Ｔｎ（Ｈ）の違いによって確率Ｐｉ（ｘｉ,Ｔｎ（Ｈ））は変化し、それに従って、低頻度領域も変化する。
【００３０】
図５は、生体センサ情報ヒストグラムメモリに記憶される各周期毎の生体センサ情報ヒストグラムの時系列の概念図である。本例では周期Ｈは一つであるが、複数の時間間隔のＨ毎に作成される生体センサ情報ヒストグラムの時系列を記憶しても構わない。
【００３１】
また本発明において、生体センサ情報パラメータ値の分布関数のグラフは分布曲線（確率密度曲線）に限定されるものではなく、ヒストグラムまたはヒストグラムを近似する関数であっても構わない。実際には、先ず、生体センサ情報パラメータ値からヒストグラムを作成する。観測データが多くなり、ヒストグラムの分解能（分割）を増大すれば、分布曲線で近似することが可能となる。
以下、本発明においては、「ヒストグラム」というときは、断りがない限り、分布曲線も意味するものとする。
【００３２】
（１）心理状態−生体センサ情報対応表
表１は、予め大勢の被験者から測定された各心理状態（心理状態グループ）と各生体センサ情報との関連を表した心理状態−生体センサ情報対応表である。この対応表は、ｉ番目の生体センサ情報の複数の時期Ｔｎ（Ｈ）における複数のヒストグラムＨｉ（Ｔｎ（Ｈ））と、そのヒストグラムにおける確率Ｐｉ（ｘｉ,Ｔｎ（Ｈ））がｊ番目の心理状態に対して意味を持つか否かを判断するための閾値Ａｉｊを格納し、心理状態−生体センサ情報対応表メモリの中に記憶されている。
【００３３】
【表１】
検索モード時において、上記ＨＩ部経由で、ユーザからある特定の心理状態グループ（例えば、「ドキドキしている時」）を検索するように指示コマンドを受けた際には、制御部は心理状態−生体センサ情報対応表メモリの中の心理状態−生体センサ情報対応表を検索して、低頻度領域が指定された心理状態グループに対応する値を持つことを予め定義されている生体センサ情報を見つけ出し、その生体センサ情報のパラメータ値が低頻度領域にあった時刻の環境センサ情報を、制御部は環境センサ情報メモリから読み出して情報出力部へ出力してユーザに提示する。
【００３５】
（２）環境センサ情報検索モード
ａ．特定の心理状態グループによる検索
図６は、特定の心理状態グループを指定して環境センサ情報を検索するモード時のフローである。
ユーザがＨＩ部経由で検索したい心理状態グループの番号ｊを入力する（１０１）。
時刻変数ｔに本発明の装置が記録を開始した時点の時刻にわずかな時刻△ｔを加えた値を初期値としてセットする（１０２）。
時刻変数ｔをヒストグラムを作成する周期（時間間隔）Ｈで割った値の少数点以下を切り捨てた数に１を加えた数を期間の通し番号変数ｎにセットする（例えば、ｔ／Ｈ＝０．５の場合、ｎ＝０＋１＝１）。これにより、測定開始時刻が属する周期を第１周期として、時刻変数ｔを第ｎ周期に振り分ける（１０３）。
生体センサの番号変数ｉに１を、条件を満たした回数をカウントするための変数ｃｎｔに０をセットして初期化する（１０４）。
確率Ｐｉ（ｘｉ,Ｔｎ（Ｈ））の時刻ｔ−Ｈｔから時刻ｔ＋Ｈｔ（Ｈｔ：周期Ｈよりはずっと小さい正の定数）までの積分値を求め、閾値Ａｉｊより小さいか比較する（１０５）。
もし閾値Ａｉｊより小さければ変数ｃｎｔの値を1つ増やす（１０６）。
上記（１０５）から（１０６）までの処理を生体センサの番号変数ｉがＩ（ｉの最大値）になるまで繰り返し（１０７、１０９）、最終的なカウント値ｃｎｔが閾値Ｘｃｎｔより大きいか比較し、大きい場合には、制御部は、時刻ｔ前後における環境センサ情報Ｍ（ｔ）を環境センサ情報メモリから読み出して情報出力部へ出力してユーザに提示する（１１０）。
【００３６】
上記説明では生体センサ情報番号ｉ毎に、確率Ｐｉ（ｘｉ,Ｔｎ（Ｈ））の時刻ｔ−Ｈｔから時刻ｔ＋Ｈｔまでの積分値と閾値Ａｉｊとを比較してカウントしたが、複数の生体センサ情報パラメータｉ＝１、…Ｉに対する確率Ｐｉ（ｘｉ,Ｔｎ（Ｈ））の積分値の和と閾値Ａｉｊの和とを比較して、ユーザより指示された心理状態グループの番号ｊに対応する環境センサ情報を出力するか否かを判断しても構わない。
尚、複数の生体センサ情報パラメータに対する確率Ｐｉの積分値の和を算出するためには、生体センサ情報パラメータ値から作成された分布関数を規格化しておく必要がある。具体的には、観測したパラメータ値の最小値を０．０１とし、最大値を０．９９として横軸のスケールを正規化する。縦軸のスケールは、例えば％表示にすることにより、全ての生体パラメータ情報に対して統一することができる。
【００３７】
ｂ．任意時点の心理状態と同様な心理状態による検索
図７は、任意時点における心理状態と同様な心理状態における環境センサ情報を検索するモード時のフローである。
ユーザがＨＩ部経由で検索対象の時刻Ｔｂを入力する（２０１）。
時刻変数ｔに本発明の装置が記録を開始した時点の時刻にわずかな時刻△tを加えた値を初期値としてセットする。さらに時刻変数Ｔｂをヒストグラムを作成する周期（時間間隔）Ｈで割った値の少数点以下を切り捨てた数に１を加えた数を期間の通し番号変数ｎｂにセットする（２０２）。
時刻変数ｔをヒストグラムを作成する周期（時間間隔）Ｈで割った値の少数点以下を切り捨てた数に１を加えた数を期間の通し番号変数ｎにセットする（２０３）。
生体センサの番号変数ｉに１を、条件を満たした回数をカウントするための変数ｃｎｔに０をセットして初期化する（２０４）。
確率Ｐｉ（ｘｉ,Ｔｎ（Ｈ））の時刻ｔ−Ｈｔから時刻ｔ＋Ｈｔ（Ｈｔ:周期Ｈよりはずっと小さい正の定数）までの積分値と確率Ｐｉ（ｘｉ,Ｔｎｂ（Ｈ））の時刻Ｔｂ−Ｈｔから時刻Ｔｂ＋Ｈｔまでの積分値との差を求め、予め設定された閾値Ｂｉより小さいか比較する（２０５）。
もし閾値Ｂｉより小さければ変数ｃｎｔの値を１つ増やす（２０６）。
上記（２０５）から（２０６）までの処理を生体センサの番号変数ｉがＩ（ｉの最大値）になるまで繰り返し（２０７、２０９）、最終的なカウント値ｃｎｔが閾値Ｙｃｎｔより大きいか比較し、大きい場合には、制御部は、時刻ｔ前後における環境センサ情報Ｍ（ｔ）を環境センサ情報メモリから読み出して情報出力部へ出力してユーザに提示する（２１０）。
【００３８】
Ｂ．第２の実施形態
図８は、本発明による第２の実施形態の情報処理装置のブロック図である。第２の実施形態は、環境センサを含む情報処理装置本体がユーザとは離れた場所に設置されている場合の実施例に関するものである。生体センサが情報処理装置から離れて設置されていること以外は図２で示した第１の実施形態で使用するブロック図と同じである。
生体センサから入力された情報は信号送出部より無線で送信され、信号受信部で受信されて生体センサ情報メモリに記憶される。さらに、環境センサも情報処理装置本体と無線通信で接続されていても構わない。
第２の実施形態においても、第１の実施形態で説明したように、特定の心理状態グループによる検索および任意時点の心理状態と同様の心理状態による検索を行うことができる。
【００３９】
【実施例】
実施例１ 心理状態−生体センサ情報相関図の作成
多数の被検者の脳波および脈拍を様々な環境（例えば、睡眠中、仕事中、好きなことに熱中しているとき等）において測定した。また、各測定につき、被検者に心理状態を確認し、心理状態と各生体センサ情報パラメータの頻度と対応させた。
【００４０】
脳波は、その周波数により分類することができ、ここでは、θ波、α波（Ｓｌｏｗ α波、Ｍｉｄ α波およびＦａｓｔ α波）およびβ波の５つの周波数帯に分類した。
α波は覚醒安静時の閉眼状態、すなわち、リラックスした時に優勢であり、その周波数により、さらに、Ｓｌｏｗ α波（７〜８Ｈｚ）、Ｍｉｄ α波（９〜１１Ｈｚ）およびＦａｓｔ α波（１２〜１４Ｈｚ）の３つに分類した。β波は開眼状態または精神的活動が高まったとき、例えば、緊張したときに優勢となり、ここでは１５Ｈｚ以上の脳波をβ波とした。また、θ波は睡眠時やその他の状態において見られ、６Ｈｚ以下の脳波をθ波と分類した。
【００４１】
この結果、緊張または睡眠時には、Ｍｉｄ α波の頻度が１０％以下であることが分った。そこで、緊張または睡眠時に対応するＭｉｄ α波の頻度について１０％を閾値とした。
また、この実験から、ドキドキした時、すなわち脈拍が通常よりも高い範囲にある頻度は５％以下であることが分った。これにより、心理状態「１．ドキドキした時」に対する生体センサ情報パラメータ「２．脈拍」の閾値Ａ２１を５％とした。
同様に、上記以外の心理状態についても各生体センサ情報パラメータの閾値を決定し心理状態−生体センサ情報対応表を作成した。
【００４２】
実施例２ ヒストグラムの作成
心理状態「寝起きで仕事（勉強）しているとき」を構築するために、被験者に３０分間の睡眠後９０分間仕事をしてもらい、その間中、被験者の脳波を測定した。このときの優勢脳波周波数の頻度を表２に示し、この結果をもとに作成したヒストグラムを図９に示す。
【００４３】
【表２】
図９から明らかなように、上記の１２０分間（睡眠３０分間＋仕事９０分間）のヒストグラムにおいて、３種のα波の頻度がいずれも１０％以下と低く、β波およびθ波の頻度が高いことが分った。すなわち、睡眠または緊張している状態であることがヒストグラムに反映されていることが確認された。
【００４５】
実施例３ 検索
「寝起きで仕事（勉強）しているとき」で検索したところ上記のヒストグラムを出力した。
【００４６】
【発明の効果】
本発明によれば、ユーザ自身が実際に体験し記録した情報に意図的にインデックスを付けなくても、環境関連情報と同時に入力された生体関連情報をインデックス代わりに用いて、心理状態グループ別に思い出したいシーンを再生することができる。生体関連情報をインデックスとして使用する際に、そのまま生体関連情報パラメータ値やその変化量を用いるのと比較して、任意の周期で求めた各生体関連情報のヒストグラムまたは分布曲線を用いることにより、検索対象の心理状態グループとよく対応した精度の高い実用的なインデックスを実現し、検索に利用することができる。
【図面の簡単な説明】
【図１】 本発明の使用シーンを示す概略図である。
【図２】 本発明の第１の実施形態のブロック図である。
【図３】 生体センサ情報パラメータのヒストグラムの概念図である。
【図４】 生体センサ情報パラメータのヒストグラムの経時変化の概念図である。
【図５】 各周期毎の生体センサ情報ヒストグラム時系列の概念図である。
【図６】 本発明による特定の心理状態グループによる検索のフロー図である。
【図７】 本発明による任意時刻の心理状態と同様の心理状態グループによる検索のフロー図である。
【図８】 本発明の第２の実施形態のブロック図である。
【図９】 優勢脳波周波数のヒストグラムである。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to environment-related information (light, sound, odor, taste, temperature, pressure, vibration, position coordinates, electromagnetics, various gases, time, etc.) experienced by the user, and biological related information (body temperature, brain waves) related to the user himself / herself. , Myoelectric potential, skin surface potential, skin surface resistance, pulse rate, cardiac potential, breathing sound, etc.
[0002]
[Prior art]
In recent years, development of personal computers and home servers for recording, reproducing, editing, and displaying multimedia information such as video and audio has been promoted. In addition, along with the downsizing of information equipment, wearable computers are being developed that are always equipped with computers and can receive services and input raw data anytime and anywhere. As such devices evolve, it is expected that a device with the concept of “life album” that allows users to record all their own life experiences and replay information at the time they want to remember when they like it.
[0003]
There are many efficient search methods for text-based information, such as Internet information search services, but environmental information such as light, sound, smell, etc. needs some kind of event name index in advance for searching. It is. Furthermore, when these pieces of information are not public but are related to individuals, there is a trouble of giving an index by the user himself / herself. However, when looking back on life in the distant future, it is assumed that even a specific event name has been forgotten.
[0004]
Currently, time stamps that can be automatically created corresponding to the date and time when these pieces of information are recorded are often used. For example, Japanese Patent Application Laid-Open No. 11-69266 discloses a technique for improving the display form for the user in accordance with the type of video (still image, moving image) in combination with a time stamp.
As described above, time stamps that can be automatically created corresponding to the date and time when environmental information is recorded are often used. However, since human memory is ambiguous, it is often impossible to remember even the date and time.
[0005]
[Problems to be solved by the invention]
As described above, there is no method other than relying on the user's own accurate memory to search for environmental information such as light, sound, and smell. Therefore, there is a need for a method that can accurately retrieve the environmental information even if the user's own memory is ambiguous.
[0006]
In addition, there is a potential need to search for environmental information for each psychological state group, such as “when you are excited”, “when you are excited”, “when you are excited”, and so on.
As an evaluation value for classifying psychological state groups, Japanese Patent Application Laid-Open No. 8-87870 describes the use of biosensor information parameter values such as body temperature, pulse, and electroencephalogram. However, in the case of biosensor information, it is unstable, has large individual differences, and changes over time over a longer period of time. Therefore, the absolute value and change amount of the biosensor information parameter value are used as they are as meaningful evaluation values. Use as a problem in accuracy in classification and search.
[0007]
[Means for Solving the Problems]
In order to solve the above problems, the present invention provides information (actual experience-related data) obtained by using an environmental sensor that detects light, sound, odor, and the like, and a biological sensor that detects body temperature, pulse, brain waves, and the like. Is recorded in the large-capacity memory together with the measurement time, and when it is desired to search, the recorded environmental sensor information is searched using the recorded biological sensor information, and the environment-related information of the search result is sent to the user together with the corresponding biological-related information. An object is to provide an information processing apparatus that can be presented.
When searching for biosensor information, the absolute value or change amount of the biosensor information parameter value is not used as it is, but the biosensor information parameter value in the histogram or distribution curve of the entire period in which the biosensor information is recorded. By using the meaning of, it is possible to achieve a high-precision search with a sense close to a psychological state group. Furthermore, the search accuracy can be further improved by making a comprehensive determination using histograms or distribution curves of a plurality of biosensor information parameter values.
[0008]
That is, the present invention includes one or a plurality of environmental sensors and one or a plurality of biosensors, and the environment sensor information parameter value measured by the environment sensor and the biosensor information parameter value measured by the biosensor are measured. Recording means for recording together, distribution function graph creating means for creating a distribution function graph of the biosensor information parameter value, search means for retrieving environmental sensor information using the distribution function graph of the biosensor information parameter value, An information processing apparatus is provided that includes presentation means for presenting retrieved environmental sensor information together with corresponding biological sensor information. Here, the graph of the distribution function may be either a histogram or a distribution curve.
[0009]
Further, the information processing apparatus according to the present invention provides an environment sensor corresponding to a time at which a parameter value having an appearance frequency equal to or lower than a predetermined threshold for a biosensor information parameter is recorded in a biometric sensor information parameter value distribution function graph. Information is preferentially presented as a search result.
In one aspect, the information processing apparatus according to the present invention appears in a distribution function graph of one biosensor information parameter value obtained from one biosensor, below a predetermined threshold value for the biosensor information parameter. The environmental sensor information corresponding to the time when the frequency parameter value is recorded is preferentially presented as a search result.
In another aspect, the information processing apparatus of the present invention is predetermined for each of the biosensor information parameters in each of the plurality of distribution function graphs of biosensor information parameter values obtained from the plurality of biosensors. When the time when the parameter value of the appearance frequency equal to or less than each threshold is coincident, the environmental sensor information corresponding to the time is preferentially presented as a search result.
[0010]
Further, the information processing apparatus of the present invention provides a new distribution function graph created by integrating a plurality of distribution function graphs created from biosensor information parameter values obtained from a plurality of biosensors. The environmental sensor information corresponding to the time when the parameter value of the appearance frequency equal to or less than the new threshold value calculated by summing the predetermined threshold values for each of the above is recorded as a search result is preferentially presented. And
[0011]
Furthermore, the information processing apparatus according to the present invention is characterized in that a distribution function graph of biosensor information parameter values is calculated at each specified time interval.
[0012]
Furthermore, the information processing apparatus of the present invention presents environmental sensor information at another time point having a biosensor information parameter value closest to the biosensor information parameter value at an arbitrary time point including the current time point.
[0013]
Furthermore, the information processing apparatus according to the present invention is characterized in that either one or both of the environmental sensor and the biological sensor are separated from the apparatus main body, and the sensor separated from the apparatus main body is connected by the apparatus main body wireless communication. To do.
[0014]
The present invention also provides an information processing program that causes a computer to function as all the above means, and a computer-readable recording medium on which the information processing program is recorded.
That is, the information processing program of the present invention measures the environmental sensor information parameter in the environmental sensor, measures the biological information parameter in the biological sensor, the environmental sensor information parameter value measured by the environmental sensor, and the biological sensor A recording step of recording the biosensor information parameter value measured by the measurement time together with a measurement time, a distribution function graph creating step of creating a distribution function graph of the biosensor information parameter value, and a distribution function graph of the biosensor information parameter value It is characterized by having a computer execute a search step for searching for environmental sensor information by using and a presentation step for presenting environmental sensor information together with corresponding biosensor information.
[0015]
Further, the information processing program of the present invention provides an environment sensor corresponding to a time at which a parameter value having an appearance frequency equal to or lower than a predetermined threshold for a biosensor information parameter is recorded in a distribution function graph of biosensor information parameter values. The present invention is characterized in that information is preferentially presented as a search result to a presentation means.
[0016]
In addition, the information processing program of the present invention appears in one distribution function graph created from the biosensor information parameter value measured by one biosensor, below the threshold value determined in advance for the biosensor information parameter. Environmental sensor information corresponding to the time when the frequency parameter value is recorded is preferentially presented as a search result to the presenting means.
Alternatively, the information processing program of the present invention is predetermined for each of the biosensor information parameters in each of a plurality of distribution function graphs created from biosensor information parameter values measured by a plurality of biosensors. When the time when the parameter value of the appearance frequency equal to or less than each threshold is recorded matches, the environment sensor information corresponding to the time is preferentially presented as a search result to the presenting means.
[0017]
Furthermore, the information processing program according to the present invention provides each biosensor information in a new distribution function graph obtained by integrating a plurality of distribution function graphs created from biosensor information parameter values measured by a plurality of biosensors. The environment sensor information corresponding to the time when the parameter value of the appearance frequency equal to or less than the new threshold value calculated by summing the predetermined threshold values for the parameters is recorded is preferentially presented as a search result to the presenting unit. It is characterized by.
[0018]
BEST MODE FOR CARRYING OUT THE INVENTION
The first embodiment of the present invention relates to the realization of an information processing apparatus of the concept of “life album” that records his / her own life and can recall it with multimedia information when necessary.
[0019]
FIG. 1A is a scene of use in the first embodiment of the present invention, in which both an environmental sensor and a biological sensor are attached to a user. At this time, both the environmental sensor and the biological sensor may be connected to the information processing apparatus main body, or either one or both of the environmental sensor and the biological sensor may be separated from the information processing apparatus. When the sensor is away from the information processing apparatus, information from the sensor is transmitted to the information processing apparatus main body by wireless communication.
[0020]
In the input mode, environmental sensors such as cameras and microphones input environmental information and store it in the environmental sensor memory. At the same time, biological sensors such as brain waveforms, pulse meters, and blood pressure monitors input biological information and store them in the biological sensor memory. To do. In parallel with these information inputs, a histogram of each biosensor information parameter is created for each set period and stored in the biosensor information histogram memory.
[0021]
In the search mode, when an instruction command is received from the user via the information input unit (HI unit) to search for a specific psychological state group (for example, “when enthusiastic about anything”) The control unit searches the psychological state-biological sensor information correspondence table stored in the psychological state-biological sensor information correspondence table memory and determines in advance that the low frequency area has a value corresponding to the designated psychological state group. The control unit reads out the defined biosensor information from the environment sensor information memory and outputs the environmental sensor information at the time when the parameter value of the biosensor information was in the low frequency region, and outputs it to the information output unit to the user. Present. Here, the above-described psychological state / biological sensor information correspondence table is created in advance by experiments using a large number of subjects.
[0022]
In addition, the second embodiment of the present invention records the life of elderly people and infants, and information processing based on the concept of “living agent” that can notify a distant family with multimedia information when danger is imminent. Involved in the realization of the device.
[0023]
FIG. 1B shows a usage scene in the second embodiment of the present invention, in which only a biometric sensor is attached to the user, and the environmental sensor is arranged at a location away from the user. At this time, either one or both of the environmental sensor and the biological sensor may be separated from the information processing apparatus. When the sensor is away from the information processing apparatus, information from the sensor is transmitted to the information processing apparatus main body by wireless communication.
[0024]
In the input mode, environmental sensors such as cameras and microphones input environmental information and store it in the environmental sensor memory. At the same time, biological sensors such as brain waveforms, pulse meters, and blood pressure monitors input biological information and store them in the biological sensor memory. To do. In parallel with these information inputs, a histogram of each biosensor information parameter is created for each set period and stored in the biosensor information histogram memory.
[0025]
Next, the search mode is executed. Preferably, the search command is executed in parallel with the input mode, and the instruction command is used to search for a specific psychological state group (for example, “when throbbing”) from the user or other than the user in advance via the HI unit. When receiving, the control unit searches the psychological state-biological sensor information correspondence table stored in the psychological state-biological sensor information correspondence table memory, and corresponds to the psychological state group in which the low frequency area is designated. The biosensor information predefined to have a value is found, and the control unit reads out the environmental sensor information at the time when the parameter value of the biosensor information was in the low frequency area from the environmental sensor information memory, and outputs the information To be presented to the user or non-user. In addition, when presenting to a person other than the user, the presentation information may be sent far away using communication.
[0026]
Hereinafter,
A. First embodiment
FIG. 2 is a block diagram of the information processing apparatus according to the first embodiment of this invention. 1st Embodiment is related with the Example in case a user carries the information processing apparatus main body containing both a biosensor and an environmental sensor.
The operation mode of the information processing apparatus according to the present invention mainly includes an input mode and a search mode. In the input mode, information M (t) obtained by at least one environmental sensor is stored in the environmental sensor information memory together with time t, and is simultaneously obtained by the i-th biological sensor among at least one biological sensor. The obtained information xi (t) is stored in the biosensor information memory together with the time t.
[0027]
The HI unit is an interface unit for inputting a user's instruction command to the information processing apparatus of the present invention, and can set a cycle (time interval) H for creating a histogram of each biosensor information. For example, if a period of “1 minute interval” (H = 1 minute) is set for the biosensor information “dominant electroencephalogram frequency”, the control unit reads the dominant electroencephalogram frequency value for one minute from the environmental sensor information memory. Then, a histogram of the dominant electroencephalogram frequency is created and stored in the biosensor information histogram memory.
[0028]
FIG. 3 is a graph displaying the distribution function of the biosensor information parameter value created in this way. Here, the distribution function is displayed using a distribution curve. As an example, the frequency distribution curve shows a right-down type, a left-down type, and a central concave type, but other types exist depending on the type of the biosensor.
Generally, when the value of a certain biosensor information parameter is in a low-frequency region, it is assumed that the user's psychological state is in an unusual psychological state group. For example, when the value of the biosensor information parameter called body temperature is in the low-frequency area, the user generates high fever, and when the value of the biosensor information parameter called pulse is in the low-frequency area, the user I'm thrilled.
[0029]
FIG. 4 is a conceptual diagram showing a change with time of the distribution function of the biosensor information parameter value. Here, the horizontal axis of the distribution curve estimated from the histogram Hi (Tn (H)) created at the n-th time Tn (H) (for example, Tn (day)) of the i-th biosensor information parameter is xi, The vertical axis represents the probability Pi (xi, Tn (H)). A range of xi in which the probability Pi (xi, Tn (H)) takes a value equal to or less than a specific value (threshold value) determined for each biosensor information is referred to as a low frequency region.
When observed over a long period of life, the distribution function of biosensor information parameter values usually changes gradually. That is, even if the biometric sensor information parameter value xi is the same, the probability Pi (xi, Tn (H)) varies depending on the difference in time Tn (H), and the low-frequency region also varies accordingly.
[0030]
FIG. 5 is a time-series conceptual diagram of the biosensor information histogram for each period stored in the biosensor information histogram memory. In this example, there is one period H, but a time series of biosensor information histograms created for each H of a plurality of time intervals may be stored.
[0031]
In the present invention, the distribution function graph of biosensor information parameter values is not limited to a distribution curve (probability density curve), and may be a histogram or a function approximating a histogram. Actually, first, a histogram is created from the biosensor information parameter value. If the observation data increases and the resolution (division) of the histogram is increased, the distribution curve can be approximated.
Hereinafter, in the present invention, “histogram” means a distribution curve unless otherwise specified.
[0032]
(1) Psychological state-biosensor information correspondence table
Table 1 is a psychological state-biological sensor information correspondence table showing the relationship between each psychological state (psychological state group) measured from a large number of subjects in advance and each biosensor information. This correspondence table shows that a plurality of histograms Hi (Tn (H)) at a plurality of times Tn (H) of the i-th biosensor information and a probability Pi (xi, Tn (H)) in the histogram are j-th psychology. A threshold value Aij for determining whether or not the state is meaningful is stored and stored in the psychological state-biological sensor information correspondence table memory.
[0033]
[Table 1]
In the search mode, when an instruction command is received from the user to search for a specific psychological state group (for example, “when throbbing”) via the HI unit, the control unit The psychological state-biological sensor information correspondence table in the biosensor information correspondence table memory is searched to find biosensor information that is defined in advance as having a value corresponding to the specified psychological state group in the low frequency area. Then, the control unit reads out the environmental sensor information at the time when the parameter value of the biosensor information was in the low-frequency region from the environmental sensor information memory, outputs it to the information output unit, and presents it to the user.
[0035]
(2) Environmental sensor information search mode
a. Search by specific psychological group
FIG. 6 is a flow in a mode for searching for environmental sensor information by designating a specific psychological state group.
The user inputs a psychological state group number j to be searched via the HI part (101).
A value obtained by adding a slight time Δt to the time when the apparatus of the present invention starts recording to the time variable t is set as an initial value (102).
The number obtained by adding 1 to the number obtained by rounding off the decimal point of the value obtained by dividing the time variable t by the period (time interval) H for creating the histogram is set in the serial number variable n of the period (for example, t / H = 0. In the case of 5, n = 0 + 1 = 1). As a result, the time variable t is assigned to the nth cycle with the cycle to which the measurement start time belongs as the first cycle (103).
Initialization is performed by setting the biometric sensor number variable i to 1 and the variable cnt for counting the number of times the condition is satisfied to 0 (104).
An integral value from the time t−Ht of the probability Pi (xi, Tn (H)) to the time t + Ht (Ht: a positive constant much smaller than the period H) is obtained and compared with whether it is smaller than the threshold value Aij (105).
If it is smaller than the threshold value Aij, the value of the variable cnt is increased by one (106).
The processes from (105) to (106) are repeated until the biometric sensor number variable i becomes I (the maximum value of i) (107, 109), and the final count value cnt is compared with a threshold value Xcnt. If larger, the control unit reads the environmental sensor information M (t) before and after time t from the environmental sensor information memory, outputs it to the information output unit, and presents it to the user (110).
[0036]
In the above description, for each biosensor information number i, the time t−H of the probability Pi (xi, Tn (H)). t To time t + H t The integrated value up to and the threshold value Aij are counted, and the sum of the integrated values of the probabilities Pi (xi, Tn (H)) and the sum of the threshold values Aij for a plurality of biological sensor information parameters i = 1,. To determine whether to output environmental sensor information corresponding to the number j of the psychological state group instructed by the user.
In order to calculate the sum of integral values of the probability Pi for a plurality of biosensor information parameters, it is necessary to normalize the distribution function created from the biosensor information parameter values. Specifically, the horizontal axis scale is normalized by setting the minimum value of observed parameter values to 0.01 and the maximum value to 0.99. The scale of the vertical axis can be unified for all the biological parameter information by, for example,% display.
[0037]
b. Search by psychological state similar to the psychological state at any time
FIG. 7 is a flow in a mode for searching environment sensor information in a psychological state similar to the psychological state at an arbitrary time.
The user inputs a search target time Tb via the HI unit (201).
A value obtained by adding a slight time Δt to the time when the apparatus of the present invention starts recording to the time variable t is set as an initial value. Further, a number obtained by adding 1 to the number obtained by rounding off the decimal point of the value obtained by dividing the time variable Tb by the period (time interval) H for creating the histogram is set in the serial number variable nb of the period (202).
A number obtained by adding 1 to the number obtained by rounding off the decimal point of the value obtained by dividing the time variable t by the period (time interval) H for creating the histogram is set in the serial number variable n of the period (203).
The biometric sensor number variable i is set to 1 and initialized to a variable cnt for counting the number of times the condition is satisfied (204).
The integrated value from the time t−Ht of the probability Pi (xi, Tn (H)) to the time t + Ht (Ht: a positive constant much smaller than the period H) and the time Tb− of the probability Pi (xi, Tnb (H)) A difference from the integral value from Ht to time Tb + Ht is obtained and compared with a threshold value Bi set in advance (205).
If it is smaller than the threshold value Bi, the value of the variable cnt is increased by one (206).
The processes from (205) to (206) are repeated until the biosensor number variable i becomes I (the maximum value of i) (207, 209), and the final count value cnt is compared with a threshold value Ycnt. If larger, the control unit reads the environmental sensor information M (t) before and after time t from the environmental sensor information memory, outputs it to the information output unit, and presents it to the user (210).
[0038]
B. Second embodiment
FIG. 8 is a block diagram of an information processing apparatus according to the second embodiment of the present invention. The second embodiment relates to an example in the case where an information processing apparatus main body including an environment sensor is installed at a location away from a user. Except that the biosensor is installed away from the information processing apparatus, it is the same as the block diagram used in the first embodiment shown in FIG.
Information input from the biosensor is wirelessly transmitted from the signal transmission unit, received by the signal reception unit, and stored in the biosensor information memory. Furthermore, the environment sensor may be connected to the information processing apparatus main body by wireless communication.
Also in the second embodiment, as described in the first embodiment, a search by a specific psychological state group and a search by a psychological state similar to the psychological state at an arbitrary time point can be performed.
[0039]
【Example】
Example 1 Creation of Psychological State-Biosensor Information Correlation Diagram
The brain waves and pulses of a large number of subjects were measured in various environments (for example, when sleeping, at work, when they were enthusiastic about things, etc.). For each measurement, the psychological state was confirmed with the subject, and the psychological state was associated with the frequency of each biosensor information parameter.
[0040]
The electroencephalogram can be classified according to its frequency, and here, it is classified into five frequency bands of θ wave, α wave (Slow α wave, Mid α wave and Fast α wave) and β wave.
The α wave is dominant when the eyes are awake at rest, that is, when relaxed, and depending on the frequency, the Slow α wave (7 to 8 Hz), Mid α wave (9 to 11 Hz) and Fast α wave (12 to 14 Hz). ). The β wave becomes dominant when the eye-opening state or mental activity is increased, for example, when it is tense, and here, the brain wave of 15 Hz or higher is defined as the β wave. In addition, θ waves were found during sleep and other states, and brain waves of 6 Hz or less were classified as θ waves.
[0041]
As a result, it was found that the frequency of Mid α waves was 10% or less during tension or sleep. Therefore, 10% was set as a threshold for the frequency of Mid α waves corresponding to tension or sleep.
Also, from this experiment, it was found that the frequency when the heart beats, that is, the pulse is in a higher range than usual is 5% or less. As a result, the threshold A21 of the biosensor information parameter “2. pulse” for the psychological state “1.
Similarly, the threshold value of each biosensor information parameter was determined for psychological states other than those described above, and a psychological state-biosensor information correspondence table was created.
[0042]
Example 2 Creation of Histogram
In order to construct a psychological state “when waking up and working (study)”, the subject was asked to work 90 minutes after 30 minutes of sleep, during which time the subject's brain waves were measured. The frequency of the dominant electroencephalogram frequency at this time is shown in Table 2, and a histogram created based on this result is shown in FIG.
[0043]
[Table 2]
As is apparent from FIG. 9, in the histogram for 120 minutes (30 minutes of sleep + 90 minutes of work), the frequency of the three types of α waves is low, 10% or less, and the frequency of β waves and θ waves is high. I found out. That is, it was confirmed that the histogram reflects that the patient is sleeping or nervous.
[0045]
Example 3 Search
When searching for "When I am awake and work (study)", the above histogram is output.
[0046]
【The invention's effect】
According to the present invention, even if the user does not intentionally index the information actually experienced and recorded by the user himself / herself, the biological related information input simultaneously with the environment related information is used instead of the index, and the psychological state group is recalled. You can play the scene you want. When using bio-related information as an index, search by using a histogram or distribution curve of each bio-related information obtained at an arbitrary period compared to using the bio-related information parameter value or its change amount as it is A practical and highly accurate index that corresponds well with the target psychological state group can be realized and used for searching.
[Brief description of the drawings]
FIG. 1 is a schematic diagram showing a use scene of the present invention.
FIG. 2 is a block diagram of a first embodiment of the present invention.
FIG. 3 is a conceptual diagram of a histogram of biosensor information parameters.
FIG. 4 is a conceptual diagram of a temporal change in a histogram of biosensor information parameters.
FIG. 5 is a conceptual diagram of a biosensor information histogram time series for each cycle.
FIG. 6 is a flow chart of a search by a specific psychological state group according to the present invention.
FIG. 7 is a flow chart of a search by a psychological state group similar to a psychological state at an arbitrary time according to the present invention.
FIG. 8 is a block diagram of a second embodiment of the present invention.
FIG. 9 is a histogram of dominant brain wave frequencies.
Claims (10)
該環境センサにより測定された環境センサ情報パラメータ値および該生体センサにより測定された生体センサ情報パラメータ値を測定時刻とともに記録する記録手段と、
該生体センサ情報パラメータ値の分布関数グラフを作成する分布関数グラフ作成手段と、
該生体センサ情報パラメータ値の分布関数グラフを利用して環境センサ情報を検索する検索手段と、
該生体センサ情報パラメータ値の分布関数グラフにおいて、生体センサ情報パラメータに対して予め決定された閾値以下の出現頻度のパラメータ値が記録された時刻に対応する環境センサ情報を優先的に検索結果として、対応する生体センサ情報とともに提示する提示手段とを具備し、
ここに、該環境センサ情報パラメータ値は、光、音、臭い、味、気温、圧力、振動、位置座標、電磁気、各種ガスよりなる群から選択されるパラメータの測定値またはそれらの組合せであって、
ここに、該生体センサ情報パラメータ値は、体温、脳波、筋電位、皮膚表面電位、皮膚表面抵抗、脈拍、心電位、呼吸音よりなる群から選択されるパラメータの測定値またはそれらの組合せであることを特徴とする情報処理装置。Including one or more environmental sensors and one or more biological sensors;
Recording means for recording the environmental sensor information parameter value measured by the environmental sensor and the biological sensor information parameter value measured by the biological sensor together with the measurement time;
A distribution function graph creating means for creating a distribution function graph of the biosensor information parameter value;
Search means for searching for environmental sensor information using the distribution function graph of the biosensor information parameter value;
In the distribution function graph of the biosensor information parameter value, the environmental sensor information corresponding to the time when the parameter value of the appearance frequency equal to or less than a predetermined threshold for the biosensor information parameter is recorded as a search result with priority. Presenting means for presenting together with corresponding biosensor information ,
Here, the environmental sensor information parameter value is a measured value of a parameter selected from the group consisting of light, sound, odor, taste, temperature, pressure, vibration, position coordinates, electromagnetics, various gases, or a combination thereof. ,
Here, the biosensor information parameter value is a measured value of a parameter selected from the group consisting of body temperature, brain wave, myoelectric potential, skin surface potential, skin surface resistance, pulse, cardiac potential, and respiratory sound, or a combination thereof. An information processing apparatus characterized by that .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001032217A JP3822796B2 (en) | 2001-02-08 | 2001-02-08 | Information processing apparatus, information processing program, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001032217A JP3822796B2 (en) | 2001-02-08 | 2001-02-08 | Information processing apparatus, information processing program, and recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002236698A JP2002236698A (en) | 2002-08-23 |
| JP3822796B2 true JP3822796B2 (en) | 2006-09-20 |
Family
ID=18896186
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001032217A Expired - Fee Related JP3822796B2 (en) | 2001-02-08 | 2001-02-08 | Information processing apparatus, information processing program, and recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3822796B2 (en) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7233684B2 (en) * | 2002-11-25 | 2007-06-19 | Eastman Kodak Company | Imaging method and system using affective information |
| US7319780B2 (en) * | 2002-11-25 | 2008-01-15 | Eastman Kodak Company | Imaging method and system for health monitoring and personal security |
| WO2005076136A1 (en) * | 2004-02-09 | 2005-08-18 | Brother Kogyo Kabushiki Kaisha | Mobile terminal device, unified file creation device, combined information creation system, and unified file creation system |
| JP4547926B2 (en) * | 2004-02-09 | 2010-09-22 | ブラザー工業株式会社 | Fragment data creation device and fragment data creation system |
| JP4547925B2 (en) * | 2004-02-09 | 2010-09-22 | ブラザー工業株式会社 | Integrated file creation device and integrated file creation system |
| JP4547927B2 (en) * | 2004-02-09 | 2010-09-22 | ブラザー工業株式会社 | Mobile terminal device, fragment data creation device, and integrated file creation system |
| JP2008168148A (en) * | 2008-03-03 | 2008-07-24 | Japan Science & Technology Agency | EEG evaluation method and evaluation apparatus |
| US20130321425A1 (en) * | 2012-06-05 | 2013-12-05 | Dexcom, Inc. | Reporting modules |
| WO2015145626A1 (en) * | 2014-03-26 | 2015-10-01 | 株式会社日立製作所 | Time series data management method and time series data management system |
| US20230284971A1 (en) * | 2022-03-10 | 2023-09-14 | Bitsensing Inc. | Device, method and computer program for scoring sleep quality |
-
2001
- 2001-02-08 JP JP2001032217A patent/JP3822796B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002236698A (en) | 2002-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12251214B1 (en) | Sleep detection and analysis system | |
| Gu et al. | Sleep hunter: Towards fine grained sleep stage tracking with smartphones | |
| CN114080180B (en) | Detecting and measuring snoring | |
| US8493220B2 (en) | Arrangement and method to wake up a sleeping subject at an advantageous time instant associated with natural arousal | |
| US10517527B2 (en) | Sleep quality scoring and improvement | |
| JP5799581B2 (en) | Biorhythm disturbance degree calculation device, biological rhythm disturbance degree calculation system, biological rhythm disturbance degree calculation method, program, and recording medium | |
| JP2018524080A (en) | Apparatus and method for monitoring the physiological state of a subject | |
| JP3822796B2 (en) | Information processing apparatus, information processing program, and recording medium | |
| CN108652587A (en) | A device for preventing and monitoring cognitive dysfunction | |
| NL2037018B1 (en) | Monitoring a person using machine learning | |
| CN106108846A (en) | A kind of intelligent drug risk monitoring method and system | |
| CN112307250A (en) | Method and device for music recommendation and playback control | |
| CN112386224A (en) | Sleep health management system | |
| CN113990450B (en) | A device and method for improving user's memory status | |
| Van Wouwe et al. | Sleep monitoring: a comparison between three wearable instruments | |
| CN111657855A (en) | Sleep evaluation and sleep awakening method and device and electronic equipment | |
| JP5895345B2 (en) | Time lag symptom estimation apparatus, estimation system, estimation method, and program | |
| US20210290131A1 (en) | Wearable repetitive behavior awareness device and method | |
| JP2022174944A (en) | Biological data-related index measuring system, information processing system, and biological data-related index measuring method | |
| CN118476782A (en) | Undisturbed sleep state monitoring system and method | |
| US20230033963A1 (en) | Multiple Physiological Data Collection and Analysis Device and System | |
| CN117814744A (en) | Method, device, apparatus and medium for identifying user sleep | |
| JP2618630B2 (en) | Alarm clock | |
| Adithya et al. | A Deep Learning Framework for Comprehensive Sleep Analysis and Quality Tracking | |
| US20230023391A1 (en) | Multiple Physiological Data Collection Device and System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060131 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060313 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060620 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060623 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100630 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100630 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110630 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |