[go: up one dir, main page]

JP6311478B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP6311478B2
JP6311478B2 JP2014127387A JP2014127387A JP6311478B2 JP 6311478 B2 JP6311478 B2 JP 6311478B2 JP 2014127387 A JP2014127387 A JP 2014127387A JP 2014127387 A JP2014127387 A JP 2014127387A JP 6311478 B2 JP6311478 B2 JP 6311478B2
Authority
JP
Japan
Prior art keywords
information
user
position information
action
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014127387A
Other languages
English (en)
Other versions
JP2016006612A5 (ja
JP2016006612A (ja
Inventor
倉田 雅友
雅友 倉田
呂尚 高岡
呂尚 高岡
由幸 小林
由幸 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014127387A priority Critical patent/JP6311478B2/ja
Priority to EP15719514.0A priority patent/EP3158294A1/en
Priority to US15/307,937 priority patent/US20170131103A1/en
Priority to CN201580026786.7A priority patent/CN106415206A/zh
Priority to PCT/JP2015/002144 priority patent/WO2015194081A1/en
Publication of JP2016006612A publication Critical patent/JP2016006612A/ja
Publication of JP2016006612A5 publication Critical patent/JP2016006612A5/ja
Application granted granted Critical
Publication of JP6311478B2 publication Critical patent/JP6311478B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1654Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with electromagnetic compass
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Navigation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。
ユーザが携帯または装着するモバイル装置またはウェアラブル装置に搭載された加速度センサなどの検出値を利用して、ユーザの行動を認識する行動認識技術が開発されている。こうした行動認識技術、および行動認識技術によって得られる情報を利用してユーザに提供される情報の例は、例えば特許文献1に見ることができる。
特開2013−003643号公報
特許文献1に記載されたような技術では、加速度センサなどの検出値とともに、GPS(Global Positioning System)を利用して取得されたユーザの位置情報を用いて行動認識が実施される。位置情報は、例えば、ユーザの行動が発生した場所や、ユーザの移動速度などを特定するために用いられる。行動認識技術の中で取得される位置情報について、それ以上の有効な活用は、特許文献1などにおいてはなされていなかった。
そこで、本開示では、行動ログに含まれる位置情報と行動認識情報とをさらに有効に活用することが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提案する。
本開示によれば、ユーザの位置情報を取得する位置情報取得機能と、上記位置情報に関連付けられた上記ユーザのセンシング情報に基づいて生成され、建物設備に関連する上記ユーザの行動が発生したことを示す行動認識情報を取得する行動認識情報取得機能と、上記行動認識情報に基づいて、上記位置情報に上記建物設備を関連付ける関連付け処理機能とを実現する処理回路を備える情報処理装置が提供される。
また、本開示によれば、ユーザの位置情報を取得することと、上記位置情報に関連付けられた上記ユーザのセンシング情報に基づいて生成され、建物設備に関連する上記ユーザの行動が発生したことを示す行動認識情報を取得することと、処理回路が、上記行動認識情報に基づいて、上記位置情報に上記建物設備を関連付けることとを含む情報処理方法が提供される。
また、本開示によれば、ユーザの位置情報を取得する位置情報取得機能と、上記位置情報に関連付けられた上記ユーザのセンシング情報に基づいて生成され、建物設備に関連する上記ユーザの行動が発生したことを示す行動認識情報を取得する行動認識情報取得機能と、上記行動認識情報に基づいて、上記位置情報に上記建物設備を関連付ける関連付け処理機能とを処理回路に実現させるためのプログラムが提供される。
以上説明したように本開示によれば、行動ログに含まれる位置情報と行動認識情報とをさらに有効に活用することができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態の全体的な構成の例を示すブロック図である。 本開示の一実施形態の全体的な構成の別の例を示すブロック図である。 本開示の一実施形態の全体的な構成の別の例を示すブロック図である。 本開示の一実施形態における入力部、処理部、および出力部の機能構成の第1の例を示す概略的なブロック図である。 本開示の一実施形態における入力部、処理部、および出力部の機能構成の第2の例を示す概略的なブロック図である。 本開示の一実施形態における位置情報補正の第1の段階について説明するための図である。 本開示の一実施形態における位置情報補正の第2の段階について説明するための図である。 本開示の一実施形態における位置情報補正の第3および第4の段階について説明するための図である。 本開示の一実施形態における位置情報補正の効果について説明するための図である。 本開示の一実施形態におけるモデル学習機能について説明するための図である。 本開示の一実施形態におけるモデル学習機能について説明するための図である。 本開示の一実施形態における状態のモデルに基づく場所属性の推定について説明するための図である。 本開示の一実施形態における状態のモデルに基づく場所属性の推定について説明するための図である。 本開示の一実施形態における場所属性の利用の例について説明するための図である。 本開示の一実施形態における行動のスコアを利用した行動認識結果の補正について説明するための図である。 本開示の一実施形態における行動のスコアを利用した情報の提示について説明するための図である。 本開示の一実施形態における行動のスコアを利用した情報の提示について説明するための図である。 本開示の一実施形態における行動のスコアを利用した情報の提示について説明するための図である。 本開示の一実施形態におけるマップの分割の第1の段階について説明するための図である。 本開示の一実施形態におけるマップの分割の第2の段階について説明するための図である。 本開示の一実施形態におけるマップの分割の第3の段階について説明するための図である。 本開示の一実施形態におけるマップの分割の結果を示す図である。 本開示の一実施形態における行動マップの分割の効果について説明するための図である。 本開示の一実施形態におけるエレベータに関連する行動の検出について説明するための図である。 本開示の一実施形態においてエレベータに関連する行動を検出する処理の例を示すフローチャートである。 本開示の一実施形態における階段に関連する行動の検出について説明するための図である。 本開示の一実施形態において階段に関連する行動を検出する処理の例を示フローチャートである。 本開示の実施形態に係るシステム構成の第1の例を示すブロック図である。 本開示の実施形態に係るシステム構成の第2の例を示すブロック図である。 本開示の実施形態に係るシステム構成の第3の例を示すブロック図である。 本開示の実施形態に係るシステム構成の第4の例を示すブロック図である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.全体的な構成
1−1.入力部
1−2.処理部
1−3.出力部
2.機能構成例
2−1.第1の例
2−2.第2の例
3.位置情報補正機能
4.モデル学習機能
5.マップ生成機能
6.位置情報と建物設備との関連付け処理機能
7.システム構成
8.ハードウェア構成
9.補足
(1.全体的な構成)
図1は、本開示の一実施形態の全体的な構成の例を示すブロック図である。図1を参照すると、システム10は、入力部100と、処理部200と、出力部300とを含む。入力部100、処理部200、および出力部300は、後述するシステム10の構成例に示されるように、1または複数の情報処理装置によって実現される。
(1−1.入力部)
入力部100は、例えば、操作入力装置、センサ、または外部サービスから情報を取得するソフトウェアなどを含み、ユーザ、周辺環境、または他のサービスから、さまざまな情報の入力を受け付ける。
操作入力装置は、例えば、ハードウェアボタン、キーボード、マウス、タッチパネル、タッチセンサ、近接センサ、加速度センサ、ジャイロセンサ、温度センサなどを含み、ユーザによる操作入力を受け付ける。また、操作入力装置は、ユーザのジェスチャまたは音声によって表現される操作入力を受け付ける、カメラ(撮像素子)またはマイクロフォンなどを含んでもよい。
なお、入力部100には、操作入力装置によって取得される信号またはデータを操作コマンドに変換するプロセッサまたは処理回路が含まれてもよい。あるいは、入力部100は、操作入力装置が取得した信号またはデータを、操作コマンドに変換することなくインターフェース150に出力してもよい。その場合、操作入力装置が取得した信号またはデータは、例えば処理部200で操作コマンドに変換される。
センサは、加速度センサ、ジャイロセンサ、地磁気センサ、照度センサ、温度センサ、または気圧センサなどを含み、装置にかかる加速度や角速度、方位、照度、温度、気圧などを検出する。上記の各種センサは、例えばセンサを含む装置がユーザによって携帯または装着されている場合に、各種情報をユーザに関する情報、例えばユーザの運動や向きなどを示す情報として検出することができる。また、センサは、他にも、脈拍、発汗、脳波、触覚、嗅覚、味覚など、ユーザの生体情報を検出するセンサを含んでもよい。入力部100には、これらのセンサによって検出された情報、および/または後述するカメラやマイクによって検出された画像または音声のデータを解析することによってユーザの感情を示す情報を取得する処理回路が含まれてもよい。あるいは、上記の情報および/またはデータは解析を経ずにインターフェース150に出力され、例えば処理部200において解析が実行されてもよい。
さらに、センサは、カメラ、マイク、上述した各種センサなどにより、ユーザまたは装置の近傍の画像または音声をデータとして取得してもよい。また、センサは、屋内または屋外の位置を検出する位置検出手段を含んでもよい。位置検出手段は、具体的には、GNSS(Global Navigation Satellite System)受信機、および/または通信装置などを含みうる。GNSSは、例えばGPS(Global Positioning System)、GLONASS(Global Navigation Satellite System)、BDS(BeiDou Navigation Satellite System)、QZSS(Quasi-Zenith Satellites System)、またはGalileoなどを含みうる。以下の説明では、例としてGPSが利用される場合について説明するが、同様に他のGNSSが利用されてもよい。通信装置は、例えばWi−fi、MIMO(Multi-Input Multi-Output)、セルラー通信(例えば携帯基地局を使った位置検出、フェムトセル)、または近距離無線通信(例えばBLE(Bluetooth Low Energy)、Bluetooth(登録商標))などの技術を利用して位置を検出する。
上記のようなセンサがユーザの位置や状況(生体情報を含む)を検出する場合、センサを含む装置は、例えばユーザによって携帯または装着されている。あるいは、センサを含む装置がユーザの生活環境に設置されているような場合にも、ユーザの位置や状況(生体情報を含む)を検出することが可能でありうる。例えば、室内などに固定して設置されたカメラによって取得されたユーザの顔を含む画像を解析することによって、ユーザの脈拍を検出することができる。
なお、入力部100には、センサによって取得される信号またはデータを所定の形式に変換する(例えば、アナログ信号をデジタル信号に変換したり、画像または音声のデータをエンコードしたりする)プロセッサまたは処理回路が含まれてもよい。あるいは、入力部100は、取得された信号またはデータを、所定の形式に変換することなくインターフェース150に出力してもよい。その場合、センサが取得した信号またはデータは、処理部200で操作コマンドに変換される。
外部サービスから情報を取得するソフトウェアは、例えば、外部サービスのAPI(Application Program Interface)を利用して、外部サービスによって提供される各種の情報を取得する。ソフトウェアは、例えば外部サービスのサーバから情報を取得してもよいし、クライアント装置で実行されているサービスのアプリケーションソフトウェアから情報を取得してもよい。ソフトウェアによって、例えば、ユーザまたは他のユーザがソーシャルメディアなどの外部サービスに投稿したテキストや画像などの情報が取得されうる。取得される情報は、必ずしもユーザまたは他のユーザによって意図的に投稿されたものでなくてもよく、例えばユーザまたは他のユーザが実行した操作のログなどであってもよい。また、取得される情報は、ユーザまたは他のユーザの個人的な情報には限らず、例えばニュース、天気予報、交通情報、POI(Point Of Interest)、または広告などのように、不特定多数のユーザに向けて配信される情報であってもよい。
また、外部サービスから取得される情報には、上述した各種センサによって取得された情報、例えば加速度、角速度、方位、照度、温度、気圧、脈拍、発汗、脳波、触覚、嗅覚、味覚、その他の生体情報、感情、位置情報などが、外部サービスと連携する他のシステムに含まれるセンサによって検出され、外部サービスに投稿されることによって生成された情報が含まれてもよい。
インターフェース150は、入力部100と処理部200との間のインターフェースである。例えば、入力部100と処理部200とが別個の装置で実現される場合、インターフェース150は、有線または無線の通信インターフェースを含みうる。また、インターネットが入力部100と処理部200の間に介在することもありうる。より具体的には、有線または無線の通信インターフェースは、3G/LTEなどのセルラー通信、Wi−Fi、Bluetooth(登録商標)、NFC(Near Field Communication)、イーサネット(登録商標)、HDMI(登録商標)(High-Definition Multimedia Interface)、USB(Universal Serial Bus)などを含みうる。また、入力部100と処理部200の少なくとも一部とが同一の装置で実現される場合、インターフェース150は、装置内のバスや、プログラムモジュール内でのデータ参照などを含みうる(以下、これらを装置内のインターフェースともいう)。また、入力部100が複数の装置に分散して実現される場合、インターフェース150は、それぞれの装置のための異なる種類のインターフェースを含みうる。例えば、インターフェース150は、通信インターフェースと装置内のインターフェースとの両方を含んでもよい。
(1−2.処理部)
処理部200は、入力部100によって取得された情報に基づいてさまざまな処理を実行する。より具体的には、例えば、処理部200は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、またはFPGA(Field-Programmable Gate Array)などのプロセッサまたは処理回路を含む。また、処理部200は、プロセッサまたは処理回路において実行されるプログラム、および処理において読み書きされるデータを一時的または永続的に格納するメモリまたはストレージ装置を含んでもよい。
なお、処理部200は、単一の装置内の単一のプロセッサまたは処理回路によって実現されてもよいし、複数の装置、または同一の装置内の複数のプロセッサもしくは処理回路に分散して実現されてもよい。処理部200が分散して実現される場合、図2Aおよび図2Bに示す例のように、処理部200の分割された部分の間にはインターフェース250が介在する。インターフェース250は、上記のインターフェース150と同様に、通信インターフェース、または装置内のインターフェースを含みうる。なお、後述する処理部200の詳細な説明では、処理部200を構成する個々の機能ブロックを例示するが、インターフェース250は、任意の機能ブロックの間に介在しうる。つまり、処理部200が複数の装置、または複数のプロセッサもしくは処理回路に分散して実現される場合、機能ブロックをどのように各装置、各プロセッサまたは各処理回路に振り分けるかは、別途の記載がない限り任意である。
(1−3.出力部)
出力部300は、処理部200から提供された情報を、ユーザ(入力部100のユーザと同じユーザであってもよいし、異なるユーザであってもよい)、外部装置、または他のサービスに出力する。例えば、出力部300は、出力装置、制御装置、または外部サービスに情報を提供するソフトウェアなどを含みうる。
出力装置は、処理部200から提供された情報を、ユーザ(入力部100のユーザと同じユーザであってもよいし、異なるユーザであってもよい)の視覚や聴覚、触覚、嗅覚、味覚などの感覚によって知覚される形式で出力する。例えば、出力装置はディスプレイであり、情報を画像によって出力する。なお、ディスプレイは、LCD(Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイなどの反射型または自発光型のディスプレイには限らず、ウェアラブル装置などで用いられるような、ユーザの眼に画像表示光を導光する導光部材と光源との組み合わせをも含む。また、出力装置はスピーカを含み、情報を音声によって出力してもよい。その他にも、出力装置は、プロジェクタやバイブレータなどを含んでもよい。
制御装置は、処理部200から提供された情報に基づいて装置を制御する。制御される装置は、出力部300を実現する装置に含まれてもよいし、外部装置であってもよい。より具体的には、例えば、制御装置は制御コマンドを生成するプロセッサまたは処理回路を含む。外部装置が制御される場合、出力部300は、さらに、制御コマンドを外部装置に送信する通信装置を含みうる。制御装置は、例えば、処理部200から提供された情報を印刷物として出力するプリンタを制御する。制御装置は、処理部200から提供された情報の、ストレージ装置またはリムーバブル記録媒体への書き込みを制御するドライバを含んでもよい。あるいは、制御装置は、処理部200から提供された情報を出力または記録する装置以外の装置を制御してもよい。例えば、制御装置は、照明装置を制御して照明を点灯させたり、テレビを制御して画像を消したり、オーディオ装置を制御して音量を調節したり、ロボットを制御してその動き等を制御したりしてもよい。
外部サービスに情報を提供するソフトウェアは、例えば、外部サービスのAPIを利用して、処理部200から提供された情報を外部サービスに提供する。ソフトウェアは、例えば外部サービスのサーバに情報を提供してもよいし、クライアント装置で実行されているサービスのアプリケーションソフトウェアに情報を提供してもよい。提供される情報は、必ずしもすぐに外部サービスに反映されるものでなくてよく、例えばユーザが外部サービスに投稿または送信するための候補として提供されてもよい。より具体的には、例えば、ソフトウェアは、クライアント装置で実行されているブラウザソフトウェアにおいて、ユーザが入力する検索キーワードやURL(Uniform Resource Locator)の候補として用いられるテキストを提供してもよい。また、例えば、ソフトウェアは、ユーザに代わって、ソーシャルメディアなどの外部サービスに、テキスト、画像、動画、音声などを投稿してもよい。
インターフェース350は、処理部200と出力部300との間のインターフェースである。例えば、処理部200と出力部300とが別個の装置で実現される場合、インターフェース350は、有線または無線の通信インターフェースを含みうる。また、処理部200の少なくとも一部と出力部300とが同一の装置で実現される場合、インターフェース350は、上述した装置内のインターフェースを含みうる。また、出力部300が複数の装置に分散して実現される場合、インターフェース350は、それぞれの装置のための異なる種類のインターフェースを含みうる。例えば、インターフェース350は、通信インターフェースと装置内のインターフェースとの両方を含んでもよい。
(2.機能構成例)
(2−1.第1の例)
図3は、本開示の一実施形態における入力部、処理部、および出力部の機能構成の第1の例を示す概略的なブロック図である。以下、図3を参照して、本実施形態に係るシステム10に含まれる入力部100、処理部200、および出力部300の第1の機能構成例について説明する。
入力部100は、加速度センサ101と、ジャイロセンサ103と、地磁気センサ105と、気圧センサ107と、操作入力装置109とを含みうる。加速度センサ101、ジャイロセンサ103、地磁気センサ105、および気圧センサ107は、例えば、ユーザによって携帯または装着される端末装置に搭載される。これらのセンサによって、ユーザにかかる加速度または角速度や、ユーザの向きの変化、ユーザの周辺の気圧を検出することができる。入力部100には、後述する自律測位や行動認識に利用可能なセンサデータを提供する他のセンサが含まれてもよい。操作入力装置109は、上記の各センサと同じ端末装置、またはこれとは異なる端末装置に搭載される。操作入力装置109は、例えば、後述する位置情報および行動認識情報に基づく情報生成に関するユーザの指示を示す操作入力を取得する。上述の通り、入力部100は、これらのセンサおよび操作入力装置によって取得されたデータを変換または解析するためのプロセッサまたは処理回路をさらに含んでもよい。
処理部200は、自律測位部201と、行動認識部203と、統合解析部205と、情報生成部207とを含みうる。これらの機能構成は、例えば端末装置と通信するサーバのプロセッサまたは処理回路によって実現される。また、これらの機能構成のうちの一部は、入力部100に含まれるセンサまたは操作入力装置と同じ端末装置のプロセッサまたは処理回路によって実現されてもよい。なお、そのような構成の具体的な例については後述する。以下、それぞれの機能構成について、さらに説明する。
自律測位部201は、加速度センサ101、ジャイロセンサ103、および地磁気センサ105(以下、これらのセンサを総称してモーションセンサともいう)、ならびに気圧センサ107の検出値に基づく自律測位を実施することによって相対的な位置情報を取得する。この位置情報は、センサが搭載された端末を携帯または装着しているユーザの位置情報でありうる。センサの検出値が時間的に連続して提供される場合、自律測位部201は位置情報の系列を取得する。なお、自律測位の手法については既によく知られているため、詳細な説明は省略する。本実施形態において、自律測位部201は、公知の自律測位技術の任意の構成を採用することが可能である。自律測位部201によって取得される位置情報は、例えばセンサの検出値の誤差範囲などに対応する信頼度の情報を含んでもよい。
行動認識部203は、加速度センサ101、ジャイロセンサ103、および地磁気センサ105(モーションセンサ)、ならびに気圧センサ107の検出値に基づく行動認識を実施することによって行動認識情報を取得する。行動認識によって、例えば、滞在、徒歩、走り、ジャンプ、階段、エレベータ、エスカレータ、自転車、バス、列車、自動車、船、または飛行機といったユーザの行動の種類が認識される。なお、行動認識の手法については、例えば特開2012−8771号公報など多くの文献に記載されているため、詳細な説明は省略する。本実施形態において、行動認識部203は、公知の行動認識技術の任意の構成を採用することが可能である。行動認識情報は、例えばセンサの検出値の誤差範囲や行動の種類について算出されるスコアなどに対応する信頼度の情報を含んでもよい。
ここで、本実施形態において自律測位部201および行動認識部203は、いずれも、モーションセンサを含むセンサの検出値を解析することによって、位置情報および行動認識情報をそれぞれ取得する。位置情報と行動認識情報とは、例えば元のセンサの検出値のタイムスタンプに基づいて、互いに関連付けられる。以下、互いに関連付けられた位置情報およびユーザの行動認識情報を含む情報を、ユーザの行動ログともいう。図3に示された第1の例では、自律測位部201および行動認識部203によって、行動ログ取得機能が実現されている。他の例で、自律測位部201または行動認識部203の少なくともいずれかと、統合解析部205とが異なる装置において実現される場合には、統合解析部205を実現する装置において位置情報または行動認識情報の少なくともいずれかを受信する通信装置によって行動ログ取得機能が実現されてもよい。
統合解析部205は、行動ログに含まれる位置情報と行動認識情報とを統合的に解析する。より具体的には、例えば、統合解析部205は、行動認識情報に基づいて位置情報の系列に含まれる基準位置を特定し、該基準位置を基準にして複数の行動ログに含まれる位置情報の系列を補正する位置情報補正機能、または、位置情報および行動認識情報に基づいて、位置情報によって示される位置におけるユーザの行動のモデルを学習するモデル学習機能のいずれかまたは両方を実現する。また、統合解析部205は、位置情報および行動認識情報に基づいて、行動認識情報に基づく情報を配置するためのマップを生成するマップ生成機能を実現してもよい。なお、これらの機能の詳細については後述する。
情報生成部207は、統合解析部205から提供される情報に基づいて、出力部300からユーザに出力するための情報を生成する。より具体的には、例えば、情報生成部207は、統合解析部205によって実現されるモデル学習機能によって学習されたモデルに基づく情報を生成する。また、情報生成部207は、位置情報に基づいて生成されたマップ上に、行動認識情報に基づく情報を配置した情報を生成してもよい。情報生成部207によって生成された情報は、インターフェース350を介して出力部300において出力されうる。なお、情報生成部207によって生成される情報のより具体的な例については後述する。
出力部300は、ディスプレイ301と、スピーカ303と、バイブレータ305とを含みうる。ディスプレイ301、スピーカ303、およびバイブレータ305は、例えば、ユーザによって携帯または装着される端末装置に搭載される。ディスプレイ301は情報を画像として出力し、スピーカ303は情報を音声として出力し、バイブレータ305は情報を振動として出力する。出力される情報は、情報生成部207によって生成された情報を含みうる。ディスプレイ301、スピーカ303、またはバイブレータ305は、入力部100のセンサと同じ端末装置に搭載されてもよい。また、ディスプレイ301、スピーカ303、またはバイブレータ305は、入力部100の操作入力装置109と同じ端末装置に搭載されてもよい。あるいは、ディスプレイ301、スピーカ303、またはバイブレータ305は、入力部100の構成要素とは異なる端末装置に搭載されてもよい。なお、入力部100、処理部200、および出力部300を実現する端末装置およびサーバのより具体的な構成例については後述する。
(2−2.第2の例)
図4は、本開示の一実施形態における入力部、処理部、および出力部の機能構成の第2の例を示す概略的なブロック図である。以下、図4を参照して、本実施形態に係るシステム10に含まれる入力部100、処理部200、および出力部300の第2の機能構成例について説明する。なお、出力部300の構成については、上記の第1の例と同様であるため、重複した説明は省略する。
入力部100は、GPS受信機111と、加速度センサ101と、ジャイロセンサ103と、地磁気センサ105と、気圧センサ107と、操作入力装置109とを含みうる。上記の第1の例との違いとして、第2の例では、入力部100が、センサおよび操作入力装置に加えてGPS受信機111を含みうる。従って、入力部100では、GPSを利用した測位を実施し、絶対的な位置情報を取得することが可能である。それ以外の部分については、上記の第1の例と同様であるため、重複した説明は省略する。
処理部200は、位置情報取得部211と、行動認識部203と、統合解析部205と、情報生成部207とを含みうる。上記の第1の例との違いとして、第2の例では、処理部200が、自律測位部201に代えて位置情報取得部211を含む。位置情報取得部211は、入力部100に含まれるGPS受信機111から、インターフェース150を介して送信される位置情報を受信する。つまり、図4に示された第2の例では、位置情報取得部211および行動認識部203によって、行動ログ取得機能が実現されている。位置情報取得部211によって取得される、GPSによって取得された位置情報の信頼度が十分に高いような場合、統合解析部205は、必ずしも位置情報補正機能を実現しなくてもよい。
なお、上記の第1の例と第2の例とは、重畳的に採用されうる。つまり、入力部100は、センサおよび操作入力装置に加えてGPS受信機111を含み、処理部200は、自律測位部201と位置情報取得部211との両方を含んでもよい。この場合、GPS受信機111による測位が可能な場合には第2の例が採用されうる。つまり、位置情報取得部211がGPS受信機111から送信される位置情報を受信し、統合解析部205が位置情報補正機能を実現しない。一方、上記の場合、GPS受信機111による測位が困難な場合には第1の例が採用されうる。つまり、自律測位部201がセンサの検出値に基づく自律測位を実施し、統合解析部205が位置情報補正機能を実現する。
(3.位置情報補正機能)
次に、本実施形態において実現されうる位置情報補正機能について、さらに説明する。上記のように、位置情報補正機能は、処理部200に含まれる統合解析部205において実現されうる。
図5は、本開示の一実施形態における位置情報補正の第1の段階について説明するための図である。図5には、自律測位部201が取得する相対的な位置情報の系列によって構成されるユーザの移動軌跡Tが示されている。まず、統合解析部205は、位置情報に関連付けられたユーザの行動認識情報などに基づいて、位置情報の系列に含まれる基準位置を特定する。図示された例において、統合解析部205は、移動軌跡T上の基準位置P1〜P4を特定している。基準位置P1,P4は、移動軌跡Tによって示される位置情報の系列の始点および終点である。また、基準位置P2,P3は、後述するように、位置情報の系列の分割点である。
基準位置P1,P4は、行動認識情報によって、建物設備に関連する行動が発生したことが示される位置である。建物設備は、例えば、階段、エレベータ、またはエスカレータのような昇降設備、またはドアのようなゲートウェイ設備を含みうる。図示された例では、基準位置P1において、「エレベータへの乗降」が発生したことが、行動認識情報によって示されている。また、基準位置P4において、「階段の昇降」が発生したことが、行動認識情報によって示されている。このような行動認識情報は、例えば、行動認識部203が、入力部100に含まれる加速度センサ101や気圧センサ107などの検出値を解析することによって取得されうる。
基準位置P2は、センサを搭載した端末装置が、別途搭載している通信装置によってビーコンBとの通信に成功した位置である。端末装置は、ビーコンBとの間で、例えばBluetooth(登録商標)などの近距離無線通信を実行する。端末装置は、通信が成功したことを示す情報を、タイムスタンプとともに、処理部200を実現する装置(例えばサーバ)に送信する。この場合、統合解析部205は、タイムスタンプを用いて、端末装置とビーコンBとの通信結果を位置情報に対応付けることができる。ここで、ビーコンBは、例えば建物のフロアなどにおける固定設備であるため、ビーコンB自体の位置情報が知られていなくても、ビーコンBとの通信に成功した端末装置は、同じ、または近接した位置にある可能性が高い。同様の理由で、統合解析部205は、センサを搭載した端末装置が、GPSなどによる絶対的な位置情報を取得することに成功した位置を、基準位置として特定してもよい。この場合も、共通の絶対的な位置情報を取得した端末装置は、同じ、または近接した位置にある可能性が高い。
基準位置P3は、位置情報によって、ユーザの所定時間以上の滞在が示される位置である。このように、統合解析部205は、位置情報の系列に現れる特異点を、基準位置として特定してもよい。特異点として、他には、ユーザの進行方向や移動速度が顕著に転換する点などがありうる。なお、同様の特異点は、位置情報の系列ではなく、行動認識情報に基づいて特定されてもよい。また、統合解析部205は、位置情報の系列と行動認識情報を組み合わせて解析することによって、特異点を特定してもよい。
図6は、本開示の一実施形態における位置情報補正の第2の段階について説明するための図である。図6には、基準位置P1〜P4を基準にしてユーザの移動軌跡Tを分割する区間S1〜S3が示されている。本実施形態において、統合解析部205は、基準位置を基準にして位置情報の系列を複数の区間に分割し、該分割された位置情報の系列を複数の行動ログの間で平均化することによって、位置情報の系列を補正する。
図7は、本開示の一実施形態における位置情報補正の第3および第4の段階について説明するための図である。自律測位部201および行動認識部203によって取得される行動ログが、異なるユーザによって提供された、または異なる時刻に提供された(同じユーザによって提供されてもよい)複数の行動ログを含む場合、統合解析部205は、複数の行動ログのそれぞれについて上記の第1および第2の段階の処理を実施する。これによって、基準位置を基準にして複数の区間に分割された位置情報の系列(以下、セグメントともいう)が多数生成される。
ここで、第3の段階として、統合解析部205は、セグメント(分割された位置情報の系列)をクラスタリングする。このクラスタリングによって、その特徴が互いに類似するセグメントが同じクラスタに分類される。セグメントの特徴は、例えば、区間の前後の基準位置に対応する行動の種類(行動認識情報によって示される)、区間の前後の基準位置の位置情報、またはセグメントに含まれる位置情報の系列によって示される移動距離もしくは移動時間を含む。例えば、図5および図6に示された移動軌跡Tの例において、他のユーザの行動ログに含まれる位置情報の系列も基準位置P1から基準P2までの区間に分割される場合、この区間に対応するセグメントは、移動軌跡Tが分割された区間S1に対応するセグメントと同じクラスタに分類される可能性がある。ただし、位置情報の系列によって示される移動距離または移動時間が大きく異なる場合には、これらのセグメントは同じクラスタに分類されなくてもよい。特徴が互いに類似するセグメントを同じクラスタに分類し、同じクラスタに分類されたセグメントについて後述する平均化を実施することによって、実際には異なる位置における移動を示すセグメントが誤って平均化されたり、ユーザの不規則な動きを含むセグメントが平均化に用いられることによって平均化の結果にノイズが混入したりすることを防止できる。
続いて、図7に示されているように、統合解析部205は、同じクラスタに分類されたセグメントの間で、位置情報系列の平均化を実施する。図示された例では、3つの異なる行動ログにそれぞれ含まれるセグメントに対応する移動軌跡の部分T1,T2,T3が、中央座標系列T_AVEに近づくように、並進移動、回転移動、拡大または縮小されている。このような操作によって、例えば、各セグメントに対応する位置情報の系列の始点における速度や向きの初期値における誤差や、センサの感度の差によって生じる誤差の累積を補正することができる。中央座標系列T_AVEは、例えば、複数の行動ログにそれぞれ含まれる位置情報の系列によって示される座標を位置ごとに相加平均することによって算出される。このとき、それぞれの系列によって示される座標は、位置情報の信頼度に応じて重みづけして相加平均されてもよい。この場合、信頼度がより高い位置情報によって示される座標が、中央座標系列T_AVEにより大きく影響する。
図8は、本開示の一実施形態における位置情報補正の効果について説明するための図である。図示された例では、自律測位によって得られるユーザの位置情報の系列によって示される移動軌跡T’が、移動軌跡Tへと補正されている。移動軌跡T’を構成する位置情報の系列は、自律測位によって相対的に求められるため、始点での速度や向きの設定値が適切でなかったり、センサの検出値に含まれる誤差が累積したりすることによって、実際の位置から乖離する可能性がある。図示された例では、始点におけるユーザの向きの設定値が適切でなかったことによって、移動軌跡T’が、始点を中心にして回転するような形で本来の移動軌跡から乖離している。
このような自律測位結果における誤差を補正するためには、例えば、GPSなどによる絶対的な測位を2点以上で実施し、それらの点を基準にして位置情報の系列を補正する方法が考えられる。しかしながら、例えばGPSなどによる絶対的な測位を利用困難な屋内などの環境では、そのような方法を採用することは容易ではない。そこで、本実施形態では、位置情報の系列を補正するための基準位置を、位置情報に関連付けて取得される行動認識情報に基づいて特定する。行動認識情報は、例えばユーザがセンサを搭載した端末装置を携帯または装着している限りにおいて、屋内でも屋外でも取得できるため、位置情報の系列に含まれる位置の中から、任意の数の基準位置を特定することができる。
ここで、例えば、基準位置を2点だけ特定した場合、その間の位置情報の系列について、複数の行動ログの間での平均化による補正を実施することも可能である。しかしながら、例えば位置情報の系列が、比較的広い領域での位置情報を含む場合、位置情報の系列によって構成される軌跡の形状が複雑になり、例えば単純な並進移動、回転移動、拡大または縮小などによって位置情報の系列を補正することが困難である。それゆえ、本実施形態では、基準位置を位置情報系列の始点、終点、および分割点とし、基準位置を基準にして複数の区間に分割された位置情報の系列のそれぞれについて平均化を実施する。これによって、例えば、図に示した例のように補正対象の移動軌跡の形状が単純になり、平均的な移動軌跡の算出や、並進移動、回転移動、拡大または縮小による補正が容易になる。
また、複数の行動ログにそれぞれ含まれる位置情報の系列の中には、同じコースでの規則的な移動によって生成された系列だけが含まれるとは限らない。例えば、部分的に同じコースでも途中から別のコースになったり(例えば、異なるユーザがオフィスに入ってからそれぞれのデスクに向かった場合など)、ユーザの不規則な動きが含まれたり(例えば、ユーザが不意に立ち止まったり、寄り道をした場合など)する可能性がある。このような場合に生成される位置情報の系列が平均化に用いられると、規則的な移動によって生成された系列に対するノイズになってしまい、位置情報が正しく補正されない可能性がある。それゆえ、本実施形態では、基準位置を基準にして位置情報の系列を複数の区間に分割し、分割された位置情報の系列の特徴が互いに類似する場合に、それらの位置情報の系列の間で平均化を実施する。
(4.モデル学習機能)
次に、本実施形態において実現されうるモデル学習機能について、さらに説明する。上記のように、モデル学習機能は、処理部200に含まれる統合解析部205において実現されうる。
図9および図10は、本開示の一実施形態におけるモデル学習機能について説明するための図である。図9には、位置情報および行動認識情報によって定義されるユーザの状態STが示されている。統合解析部205によって学習されるユーザの行動のモデルは、例えば、図示された例のように、状態STと、状態STにおける位置の観測確率および行動の観測確率と、状態間の遷移確率とによって定義される確率モデルであってもよい。状態STとユーザの位置情報との関連性を示すために、図9には、ユーザの移動軌跡Tも示されている。
なお、本実施形態において、モデル学習機能は、上記の位置情報補正機能とは独立して実現されうる。つまり、図9において移動軌跡Tによって示されているようなユーザの位置情報は、例えば上記の機能構成の第1の例において自律測位部201が取得する位置情報が、統合解析部205が実現する位置情報補正機能によって補正されることによって提供されてもよい。また、ユーザの位置情報は、自律測位部201が取得する位置情報が、上記の位置情報補正機能とは異なる方法によって補正されることによって提供されてもよく、自律測位部201が取得した位置情報そのものであってもよい。あるいは、ユーザの位置情報は、上記の機能構成の第2の例において位置情報取得部211が取得する、GPSによる位置情報であってもよい。
本実施形態では、行動のモデル学習のために、例えばHMM(Hidden Markov Model)のような確率モデルが利用される。HMMは、状態、観測確率、および遷移確率からなるモデルである。観測確率は、それぞれの状態について、座標(位置)がどのあたりであり、どのような行動が発生しているかを、確率として表現する。遷移確率は、ある状態が別の状態に遷移する、または自己遷移する確率を示す。統合解析部205は、異なるユーザによって提供された、または異なる時刻に提供された(同じユーザによって提供されてもよい)複数の行動ログに含まれる、位置情報と該位置情報に関連付けられた行動認識情報との組に基づいて状態を定義する。状態は位置情報のみによって定義されるわけではないため、重複した位置に複数の異なる状態が定義されることがありうる。
図10には、図9において破線で囲んだ部分にある3つの状態ST1〜ST3を抽出したものが図示されている。図10では、状態ST3について、観測確率POBは、座標(緯度および経度)のそれぞれの平均および標準偏差(σ)、および行動認識結果の観測確率を含む。なお、観測確率POBには、図示された例の項目以外にも、時刻、曜日、季節、施設、またはユーザ属性などのような付帯的な属性の観測確率が含まれてもよい。つまり、本実施形態において、確率モデルは、さらに、各状態における付帯的な属性の観測確率によって定義されてもよい。一方、図10では、状態ST2について、遷移確率Pが、状態ST1へ22%、状態ST3へ27%、図示しない下方の状態へ24%、自己遷移確率PSTが27%であることが示されている。
図11および図12は、本開示の一実施形態における状態のモデルに基づく場所属性の推定について説明するための図である。本実施形態において、処理部200に含まれる情報生成部207は、統合解析部205が学習したモデルに基づく情報を生成しうる。例えば、情報生成部207は、行動ログに含まれる位置情報によって示される位置の場所属性を示す情報を生成する。
図11には、上記の図9に示された状態STが、通路の場所属性に対応する状態ST_Pと、エレベータの場所属性に対応する状態ST_Eとに分類された状態が示されている。例えば、上記で図9および図10を参照して説明したような行動のモデル学習の処理によって、状態STと、状態STにおける位置および行動の観測確率と、状態ST間の遷移確率とが定義されている。ここで、状態STの観測確率および遷移確率から抽出される特徴を入力として、識別関数を用いて各場所属性のスコアを算出した結果、図示された例の状態STは、通路の場所属性に対応する状態ST_Pと、エレベータの場所属性に対応する状態ST_Eとに分類されている。なお、状態STの特徴は、例えば、行動の観測確率や、遷移先の状態における行動の観測確率、遷移確率のエントロピー、状態STに該当したユーザの数(1日あたりのユーザ数、ユニークなユーザ数、延べユーザ数、など)などを含みうる。
図12には、識別関数を用いた各場所属性のスコア算出の例が示されている。例えば、ある範囲で定義された状態STについて、それぞれの状態の対応する場所属性ラベルPL1〜PL3が所与である場合、これらの状態および場所属性ラベルに基づいてSVM(Support Vector Machine)やAdaBoostといった手法を用いた機械学習を実施することで、それぞれの場所属性についての識別関数C(x)を定義することができる。より具体的には、ある状態STの特徴量xを入力した場合に、当該状態STに対して所与の場所属性ラベルPLのスコアが最も高くなるように、学習によって識別関数C(x)を生成する。図示された例では、場所属性ラベル「エレベータ」を識別するための識別関数Celevator(x)や、場所属性ラベル「通路」を識別するための識別関数Cpathway(x)などが例示されている。
図13は、本開示の一実施形態における場所属性の利用の例について説明するための図である。図13に示された例では、建物のフロアにおいて、会議室、デスク、および通路の場所属性が推定されている。このような状況において、例えば、デスクから会議室に向かう移動軌跡Tを伴うユーザの行動が検出された場合、ユーザがデスクで仕事をしている状態から、会議に参加するために会議室に移動したという行動を推定することができる。情報生成部207は、このように、位置情報および位置情報に関連付けられた行動認識情報を含む行動ログと、行動ログに基づくユーザの行動のモデル学習の結果として推定される場所属性とに基づいて認識される行動を示す情報を生成してもよい。上記の例において、行動認識部203は、センサの検出値を利用した行動認識を実施するが、この場合に、仕事中、買い物中、食事中といったようなユーザの高次の行動を高い精度で認識することは困難である。そこで、上記のようなユーザの行動のモデル学習および場所属性の推定の結果を組み合わせてさらなる行動認識を実施することによって、ユーザの高次の行動を高い精度で認識することが可能になる。
また、他の例において、情報生成部207は、モデルにおける位置の観測確率および行動の観測確率に基づいて算出される位置ごとの行動のスコアに基づく情報を生成してもよい。このスコアは、例えば、それぞれの状態における行動の観測確率を、位置の平均および分散に応じて足し合わせることによって算出される。例えば、情報生成部207は、スコアに基づいて特定される、位置を代表する行動を示す情報を生成してもよい。位置を代表する行動は、最も高いスコアを有する行動でありうる。また、例えば、情報生成部207は、スコアに基づく位置における行動の度数分布を示す情報を生成してもよい。度数分布は、それぞれの行動のスコアに応じて生成されうる。
図14は、本開示の一実施形態における行動のスコアを利用した行動認識結果の補正について説明するための図である。図14に示された例では、行動ログに含まれる行動認識情報が、ユーザの移動手段(列車、バス、自動車)を示す情報を含む。また、行動ログに含まれる位置情報が移動軌跡Tを示している。また、過去に取得された行動ログに基づいて、それぞれの移動手段(列車、バス、自動車)の観測確率を含むモデルが学習されている。この場合、モデルにおける位置および行動の観測確率に基づいて、位置ごとの移動手段(列車、バス、自動車)のスコアを算出することができる。このスコアを、各状態における位置の観測確率に基づいてマップ上に表現することによって、それぞれの位置において認識された移動手段(列車、バス、自動車)の傾向を示すマップを生成することができる。
図示された例では、それぞれの移動手段のスコアが高い領域が、それぞれR_train、R_Bus、R_Carとして示されている。なお、それぞれの領域は、印刷の都合上均一なハッチングで表現されているが、実際には領域内で位置ごとにスコアの高低が表現されうる。つまり、領域R_train、R_Bus、R_Carの中には、それぞれの移動手段のスコアがより高い領域とそうではない領域とが含まれうる。また、位置ごとに複数の移動手段のスコアが表現されていてもよい。
ここで、例えば、ユーザの移動軌跡Tが主に自動車のスコアが高い領域R_Carを通過しているにもかかわらず、移動軌跡Tに関連付けられた行動認識情報は移動手段が列車であることを示している場合、情報生成部207は、行動認識結果を列車から自動車に補正してもよい。このような処理は、例えば、マップ上で線路や道路の領域が予め与えられる場合にも可能であるが、そのような情報をマップの全体について取得し、さらに随時更新することは容易ではない。本実施形態では、上記のような状態のモデル学習によって、位置ごとに認識される行動の傾向を示すマップを生成することができるため、容易に位置情報に基づいた行動認識結果の補正を実施することができる。
より具体的な行動認識結果の補正の方法として、例えば、情報生成部207は、行動認識部203が取得する行動認識情報によって示される行動のスコアと、統合解析部205が学習した確率モデルによって示される行動のスコアとを重みづけして足し合わせることによって算出されるスコアに基づいて認識される行動を示す情報を生成してもよい。例えば、図14に示された例において、行動認識情報によって示される行動のスコアが、「列車=0.5,自動車=0.25」であり、確率モデルによって示される行動のスコア(マップ上の移動軌跡T上の位置に対応するスコア)が「列車=0.25,自動車=0.75」であり、それぞれのスコアに0.5ずつの重みづけをして足し合わせる場合、列車のスコアは、0.5×0.5+0.25×0.5=0.375になる。また、自動車のスコアは、0.25×0.5+0.75×0.5=0.5になる。従って、行動認識結果は、列車から自動車に補正される。
図15〜図17は、本開示の一実施形態における行動のスコアを利用した情報の提示について説明するための図である。図15〜図17を参照して説明される画面1100は、例えば出力部300に含まれるディスプレイ301によって画像として表示される。
図15では、画面1100において、マップ1101と、行動種類入力1103と、曜日入力1105と、時間帯入力1107とが表示されている。上述のように、本実施形態において、統合解析部205によって学習されるユーザの行動のモデルは、ユーザの状態と、該状態における位置の観測確率および行動の観測確率と、状態間の遷移確率とによって定義される確率モデルでありうる。さらに、確率モデルは、さらに、各状態における付帯的な属性の観測確率によって定義されうる。この場合、情報生成部207は、これらの付帯的な属性に応じて行動の観測確率をフィルタすることによって情報を生成することが可能である。
図16では、図15に示した画面1100において、行動種類入力1103で「自動車」、「バス」および「列車」が選択され、曜日入力1105で月曜日〜金曜日が選択され、時間帯として6:00〜10:00が選択されている。この場合、マップ1101では、選択された曜日および時間帯において、選択された行動の種類(列車、バス、自動車)のスコアが高い領域R_train、R_Bus、R_Carがオーバーレイ表示される。スコアは、上記の通り、例えば、それぞれの状態における行動の観測確率を、位置の平均および分散に応じて足し合わせることによって算出される。このとき、行動の観測確率は、選択された曜日および時間帯の観測確率に応じて重みづけした上で足し合わされる。
なお、領域R_train、R_Bus、R_Carは、印刷の都合上均一なハッチングで表現されているが、実際には領域内で位置ごとにスコアの高低が表現されうる。スコアの高低は、例えばヒートマップやコンターマップ(等高線図)などによって表現されうる。また、それぞれの位置において複数の移動手段のスコアが算出されている場合、領域R_train、R_Bus、R_Carの表示にあたっては、そのうちで最も高いスコアを有する行動が選択されうる。
図17には、上記の図15および図16の例における行動種類入力1103、曜日入力1105、および時間帯入力1107のような入力部の他の例が示されている。例えば、図示された例のように、年齢入力1109、性別入力1111、または職業入力1113が、上記の図15に示された入力部とともに、またはこれに代えて、画面1100に表示されてもよい。例えば、確率モデルが各状態における年齢、性別、職業を含む付帯的な属性の観測確率によって定義される場合には、情報生成部207がこれらの属性に応じて行動の観測確率をフィルタして情報を生成することも可能である。
なお、上記で図15〜図17を参照して説明した画面1100のような情報の提示は、統合解析部205がユーザの行動モデルを学習しない場合にも可能である。例えば、行動ログが、異なるユーザによって提供された、または異なる時刻に提供された(同じユーザによって提供されてもよい)複数の行動ログを含む場合に、統合解析部205は、複数の行動ログにおいて同じ位置または近接する位置を示す位置情報に関連付けられた行動認識情報によって示される行動の頻度に対応するスコアを算出してもよい。この場合も、情報生成部207は、算出されたスコアを上記の例における行動のスコアと同様に扱うことによって、図15〜図17を参照して説明した画面1100のような情報の提示を実現することが可能である。
以上で説明した例のように、位置情報および行動認識情報に基づいて、位置情報によって示される位置におけるユーザの行動のモデルを学習することによって、異なるユーザによって提供された、または異なる時刻に提供された(同じユーザによって提供されてもよい)複数の行動ログに含まれる行動認識情報を、それぞれの行動認識情報に関連付けられた位置情報を介して結合させることができる。このようなモデルが提供されることによって、例えば、行動ログに含まれる位置情報によって示される位置の場所属性を推定したり、推定された場所属性を利用することによって行動認識情報の精度を向上させたりすることができる。また、モデルにおける位置の観測確率および行動の観測確率に基づいて算出される位置ごとの行動のスコアに基づく情報を生成することもできる。
(5.マップ生成機能)
次に、本実施形態において実現されうるマップ生成機能について、さらに説明する。上記のように、マップ生成機能は、処理部200に含まれる統合解析部205において実現されうる。
マップ生成機能を実現する統合解析部205は、少なくとも行動ログに含まれる位置情報に基づいて、行動認識情報に基づく情報を配置するためのマップを生成する。なお、位置情報が、GPSなどによる絶対的な測位の結果などに基づいて既存のマップに対応付けられているような場合には、マップ生成機能は実現されなくてもよい。この場合、情報生成部207は、既存のマップ上に、行動認識情報に基づく情報を配置した情報を生成しうる。このような処理によっても、例えば上記で図15〜図17を参照して説明した画面1100のような情報は生成可能である。
つまり、マップ生成機能は、上記のモデル学習機能や情報生成機能の例とは独立して実現されうる。マップ生成機能を実現する統合解析部205は、例えば、行動ログに含まれる位置情報が既存のマップに対応付けられていない場合(既存のマップが存在しない場合を含む)に、位置情報に基づいて新たにマップを生成する。
単純な例として、マップ生成機能を実現する統合解析部205は、例えば図5に示したような、位置情報の系列によって構成されるユーザの移動軌跡に基づいてマップを生成してもよい。なお、マップ生成機能は、上記の位置情報補正機能とも独立して実現されうる。つまり、統合解析部205は、上記の機能構成の第1の例において自律測位部201が取得する位置情報を、位置情報補正機能によって補正した上で、以下で説明するマップ生成機能に利用してもよいし、上記の位置情報補正機能とは異なる方法によって位置情報を補正した上で、マップ生成機能に利用してもよい。あるいは、統合解析部205は、自律測位部201が取得した位置情報を、そのままマップ生成機能に利用してもよい。また、統合解析部205は、上記の機能構成の第2の例において位置情報取得部211が取得する、GPSによる位置情報を、マップ生成機能に利用してもよい(例えば、既存の地図よりも詳細なマップを生成する場合など)。
ここで、例えば、マップ生成機能を実現する統合解析部205は、位置情報が標高の異なる複数の系列の位置情報を含む場合に、各系列の位置情報ごとに分割されたマップを生成してもよい。例えば、位置情報は、緯度、経度、および標高(これらの数値は、グローバルなものであってもよいしローカルなものであってもよい)の情報を含みうるが、異なるユーザによって提供された、または異なる時刻に提供された(同じユーザによって提供されてもよい)複数の行動ログに含まれる位置情報の中に、標高が(誤差の範囲を超えて)異なる複数の系列の位置情報が含まれる場合に、統合解析部205は、これらの位置情報のそれぞれに対応するようにマップを分割してもよい。具体的には、行動ログの中に、建物の異なるフロアで取得された位置情報の系列が含まれるような場合に、マップは分割されうる。
また、マップ生成機能を実現する統合解析部205は、行動ログに含まれる行動認識情報にさらに基づいてマップを生成してもよい。その場合の例(マップの分割)について、以下でさらに説明する。
図18は、本開示の一実施形態におけるマップの分割の第1の段階について説明するための図である。図18には、例えば上記で図9および図10を参照して説明したような行動のモデル学習によって定義された状態STと、互いに遷移関係にある状態STを接続するリンクLとが示されている。図示された例では、状態STがリンクLで互いに接続されることによって構成されるグラフ構造が、ジオフェンスGFによって分割されている。より具体的には、ジオフェンスGFをまたぐリンクLが分割点に設定されている。ジオフェンスGFは、例えばマップ内での建物の範囲のような地理的な境界を示す所与の情報でありうる。ジオフェンスGFと同様にマップ内での地理的境界を示す情報として、例えば、建物における各フロアの標高情報などが用いられてもよい。状態STの特徴量に標高が含まれる場合、各フロアの境界に相当する標高をまたぐリンクLが分割点に設定されることによって、グラフ構造が分割される。このように、第1の段階では、利用可能な外部の地図情報や、ユーザによって手動で指定された情報など、所与の情報に基づいて行動マップが分割される。
図19は、本開示の一実施形態におけるマップの分割の第2の段階について説明するための図である。図19には、上記の第1の段階において分割された領域ジオフェンスGFの外側の領域が、領域R1として示されている。図示された例では、残りの領域における状態STのグラフ構造が、さらに、建物設備に関連する行動が発生したことが示される位置で分割される。建物設備は、例えば、階段、エレベータ、またはエスカレータのような昇降設備、またはドアのようなゲートウェイ設備を含みうる。図示された例では、状態ST_DOORに接続されたリンクLが分割点に設定されている。状態ST_DOORは、行動認識において「ドアの開閉」の行動が認識された状態である。例えば、建物内で部屋ごとに行動マップを分割しようとする場合、ドアに対応する位置でマップを分割することは適切である。なお、領域R1の中でも、同様に、特定の行動認識結果を示す状態の位置で状態STのグラフ構造がさらに分割されてもよい。
図20は、本開示の一実施形態におけるマップの分割の第3の段階について説明するための図である。図20には、上記の第1および第2の段階において分割された領域が、領域R1,R2として示されている。図示された例では、残りの領域における状態STのグラフ構造が、さらに、状態間の類似度に基づいて分割される。図示された例では、残りの領域における状態STのグラフ構造において、類似度が所定の閾値よりも低い(類似しない)と判定された状態間のリンクLが分割点に設定され、マップが2つの領域に分割されている。つまり、マップは、位置ごとのユーザの行動を示す状態が類似しない位置の間で分割される。以下では、状態が類似するか否かを判定するための類似度関数を、位置情報および行動認識情報の学習によって生成する方法について、さらに説明する。
図示された例では、類似度関数を作成するために、まず、ある範囲で定義された状態STにラベルを与える。ここで与えられるラベルは、例えば「居室」、「会議室」、「廊下」などといったものでありうる。なお、状態STにラベルを与えるという点では、この処理は図12を参照して説明した場所属性ラベルを与える処理に類似しているが、ラベルの内容は図12の例と異なりうる。図12の例で与えられたラベルが行動認識のために用いられるのに対して、ここで与えられるラベルは行動マップの分割のために用いられる。従って、例えば、図12の例では「デスク」のラベルが与えられた状態に、「居室」のラベルが与えられうる(個々のデスクではなくデスクがある居室全体を単位としてマップを分割するため)。類似度関数は、例えば、ラベルが同じ2つの状態を入力すると類似度スコアが高くなり、ラベルが異なる2つの状態を入力すると類似度スコアが低くなるような距離関数Dとして作成される。より具体的には、2つの状態ST1,ST2の特徴量x1,x2を入力した場合に、距離関数D(x1,x2)によって算出されるスコアが上記の類似度スコアになるように、例えばDistance Metric Learningのような手法を用いて距離関数Dが作成される。
図21は、上記の第1〜第3の段階によるマップの分割の結果を示す図である。領域R1は、第1の段階において、行動マップがジオフェンスGFによって分割されることによって定義された領域である。この領域は、例えば、建物の外側に対応する。領域R2は、第2の段階において、行動マップが特徴的な行動認識結果(ドアの開閉)を示す状態ST_DOORの位置で分割されることによって定義された領域である。この領域は、例えば、建物内の通路の領域に対応する。領域R3,R4は、第3の段階において、行動マップが状態間の類似度に基づいて分割されることによって定義された領域である。これらの領域は、例えば、建物内の用途の異なる部屋(居室と会議室など)に対応する。上記の第1〜第3の段階を含む処理によれば、例えば領域R1〜R4のような、さまざまな属性の領域を含む行動マップを、適切に分割することができる。
なお、上記の領域の例は一例にすぎない。例えば、行動マップに含まれる領域がすべて建物内であってもよいし、すべて建物外であってもよい。また、上述のように、第1の段階で分割された領域のすべてが、第2の段階でさらに分割されてもよい。同様に、第1の段階または第2の段階で分割された領域の全てが、第3の段階でさらに分割されてもよい。
図22は、本開示の一実施形態における行動マップの分割の効果について説明するための図である。図22には、分割前の行動マップの例(MAP_A)と、分割後の行動マップの例(MAP_B)とが示されている。なお、これらの行動マップでは、状態の図示は省略し、遷移によるリンク(移動軌跡)だけが示されている。
図示された例の行動マップは、2つの建物(ビルA、ビルB)とその外側の屋外とを含むが、例えば上記の第1〜第3の段階の処理によって屋外の領域と、それぞれの建物のフロアの領域とに分割される。このように行動マップが分割されることによって、例えば、建物内のフロアを俯瞰する2次元的な行動マップを表示する場合のように、行動マップの所望の範囲を限定した閲覧が容易になる。また、建物内と建物外との行動マップが分離されることによって、それぞれに特有の行動や場所属性を利用した解析が可能になる。
(6.位置情報と建物設備との関連付け処理機能)
本実施形態において、処理部200に含まれる統合解析部205は、行動認識情報に基づいて、位置情報に建物設備を関連付ける関連付け処理機能を実現してもよい。この場合、例えば、自律測位部201または位置情報取得部211が、ユーザの位置情報を取得する位置情報取得機能を実現する。また、例えば、行動認識部203が、建物設備に関連するユーザの行動が発生したことを示す行動認識情報を取得する行動認識情報取得機能を実現する。
例えば、既に説明した位置情報補正機能やマップ生成機能の中でも、行動認識情報によって建物設備に関連する行動が示される例が説明された。これらの例では、建物設備に関連する行動が発生したことが示される位置が、位置情報の系列を補正するための基準点として利用されたり、マップの分割位置として利用されたりした。これらの機能の中でも、上記の関連付け処理機能が実現されていたといえる。
その一方で、本実施形態において、関連付け処理機能は、上述した位置情報補正機能やマップ生成機能とは独立して、統合解析部205によって実現されうる。以下では、そのような関連付け処理機能について説明するとともに、建物設備に関連するユーザの行動の認識手法の一例についても説明する。このような手法は、関連付け処理機能が独立して実現される場合だけではなく、位置情報補正機能やマップ生成機能とともに関連付け処理機能が実現される場合にも利用可能である。
本実施形態において、自律測位部201は、ユーザの位置情報を取得する位置情報取得機能を実現しうる。上述のように、自律測位部201は、入力部100に含まれる加速度センサ101、ジャイロセンサ103、および地磁気センサ105(モーションセンサ)の検出値を含むユーザのセンシング情報に基づく自律測位を実施することによって位置情報を取得する。あるいは、位置情報取得部211が位置情報取得機能を実現してもよい。位置情報取得部211は、入力部100に含まれるGPS受信機111によって提供される位置情報を取得する。
また、本実施形態において、行動認識部203は、位置情報に関連付けられたユーザのセンシング情報に基づいて生成され、建物設備に関連するユーザの行動が発生したことを示す行動認識情報を取得する行動認識情報取得機能を実現しうる。例えば、自律測位部201によって位置情報取得機能が実現される場合、行動認識部203に入力されるセンシング情報は、自律測位部201に入力されるセンシング情報共通でありうるため、位置情報にはセンシング情報が関連付けられているといえる。また、位置情報取得部211によって位置情報取得機能が実現される場合も、タイムスタンプなどによって位置情報にセンシング情報を関連付けることができる。
上述の通り、行動認識部203は、加速度センサ101、ジャイロセンサ103、および地磁気センサ105(モーションセンサ)、ならびに気圧センサ107の検出値に基づく行動認識を実施することによって行動認識情報を取得する。行動認識の手法については公知の任意の構成を採用することが可能であるが、例えば、行動認識部203は、建物設備に関連するユーザの行動に対応する動作モデルを参照して、センサの検出値のパターン認識などを実行することによって、行動認識情報を取得してもよい。なお、他の例で、行動認識部203と統合解析部205とが異なる装置において実現されるような場合には、統合解析部205を実現する装置において行動認識情報を受信する通信装置によって行動認識情報取得機能が実現される。
図23は、本開示の一実施形態におけるエレベータに関連する行動の検出について説明するための図である。図23には、加速度センサ101によって提供される3軸の加速度a,a,aと、3軸の加速度の重力方向成分aとが示されている。図示された例において、加速度の重力方向成分aは、3軸の加速度a,a,aを重力方向に投影し、さらに、重力加速度成分を除いたものである。ここで、ユーザがエレベータに乗っていた場合、3軸の加速度a,a,aにおける加速度値の分散が小さくなり、かつ、加速度の重力方向成分aに特定のパターンが現れる。この特定のパターンは、エレベータの加速および減速に対応して発生しうる。このような条件に合致する区間が、図では区間Evとして示されている。
このような区間Evが観察された場合、行動認識部203が取得する行動認識情報は、エレベータに関するユーザの行動が発生したことを示しうる。例えば、行動認識情報は、区間Evの全体にわたって「エレベータで移動している」という行動の発生を示してもよいし、区間Evの始点で「エレベータに乗った」、区間Evの終点で「エレベータから降りた」という行動の発生をそれぞれ示してもよい。
図24は、本開示の一実施形態においてエレベータに関連する行動を検出する処理の例を示すフローチャートである。図24を参照すると、行動認識部203は、まず、加速度センサの検出値における平均avgおよび分散varを算出する(S101)。ここで、分散varが所定の閾値Vよりも小さく、平均avgが所定の範囲(A1〜A2)内にある場合(S103のYES)、さらに、行動認識部203は、重力方向の加速度変化を抽出する(S105)。上記のように、重力方向の加速度変化は、加速度センサ101の検出値に基づいて算出される。行動認識部203は、重力方向の加速度変化に特定のパターンが現れた場合(S107のYES)、エレベータに関連する行動を検出し(S109)、当該行動を示す行動認識情報を生成する。
図25は、本開示の一実施形態における階段に関連する行動の検出について説明するための図である。図25には、気圧センサ107によって提供される気圧の検出値Pと、検出値Paに基づいて認識される上昇/下降の区分C(up/down)と、加速度センサ101の検出値に基づいて認識される歩行/静止の区分C(walk/still)と、区分C(up/down)および区分C(walk/still)に基づいて判定される階段上昇/階段下降の区分C(stairs)とが示されている。図示された例では、区分C(walk/still)においてユーザが歩行中であることが示され(walk)、かつ、区分C(up/down)においてユーザが重力方向に移動していることが示される(upまたはdown)場合に、階段に関連するユーザの行動が検出される。このような条件に合致する区間が、図では区間Stとして示されている。
このような区間Stが観察された場合、行動認識部203が取得する行動認識情報は、階段に関するユーザの行動が発生したことを示しうる。例えば、行動認識情報は、区間Stの全体にわたって「階段を昇降している」という行動の発生を示してもよいし、区間Stの始点で「階段を昇り/降り始めた」、区間Stの終点で「階段を昇り/降り終えた」という行動の発生をそれぞれ示してもよい。
図26は、本開示の一実施形態において階段に関連する行動を検出する処理の例を示フローチャートである。図26を参照すると、行動認識部203は、まず、加速度センサ101の検出値に基づいて、ユーザの歩行を検出する処理を実行する(S201)。なお、ユーザの方向を検出する処理には、公知の様々な技術を利用することが可能である。ここで、ユーザの歩行が検出された場合(S203のYES)、さらに、行動認識部203は、気圧センサ107の検出値に基づいて、ユーザの重力方向への移動を検出する処理を実行する(S205)。図25に示したように、ユーザの重力方向への移動は、気圧センサ107の検出値(気圧)の上昇または下降の量または割合によって判定されうる。行動認識部203は、ユーザの重力方向への移動が検出された場合(S207のYES)、階段に関連する行動を検出し(S209)、当該行動を示す行動認識情報を生成する。
既に述べたように、位置情報に建物設備を関連付ける関連付け処理機能は、例えば位置情報補正機能やマップ生成機能のような他の機能とは独立して実現されうる。例えば、自律測位部201によって取得される位置情報が、上記の位置情報補正機能とは異なる方法によって補正されたものについて、関連付け処理機能が建物設備を関連付けてもよい。また、自律測位部201または位置情報取得部211によって取得される位置情報が既に十分な精度を有している場合、関連付け処理機能は位置情報取得機能によって取得された位置情報にそのまま建物設備を関連付けてもよい。例えば、マップを生成せずとも、位置情報にユーザの他の行動を示す情報とともに建物設備を関連付けることによって、ユーザが一連の行動を実際の環境に対応させて把握することが容易になる。
(7.システム構成)
以上、本開示の一実施形態について説明した。上述したように、本実施形態に係るシステム10は、入力部100と、処理部200と、出力部300とを含み、これらの構成要素は、1または複数の情報処理装置によって実現される。以下では、システム10を実現する情報処理装置の組み合わせの例について、より具体的な例とともに説明する。
(第1の例)
図27は、本開示の実施形態に係るシステム構成の第1の例を示すブロック図である。図27を参照すると、システム10は、情報処理装置11,13を含む。入力部100および出力部300は、情報処理装置11において実現される。一方、処理部200は、情報処理装置13において実現される。情報処理装置11と情報処理装置13とは、本開示の実施形態に係る機能を実現するために、ネットワークを介して通信する。入力部100と処理部200との間のインターフェース150bおよび処理部200と出力部300との間のインターフェース350bは、いずれも装置間の通信インターフェースでありうる。
第1の例において、情報処理装置11は、例えば端末装置でありうる。この場合、入力部100は、入力装置、センサ、外部サービスから情報を取得するソフトウェアなどを含みうる。外部サービスから情報を取得するソフトウェアは、例えば、端末装置で実行されているサービスのアプリケーションソフトウェアからデータを取得する。出力部300は、出力装置、制御装置、外部サービスに情報を提供するソフトウェアなどを含みうる。外部サービスに情報を提供するソフトウェアは、例えば、端末装置で実行されているサービスのアプリケーションソフトウェアに情報を提供しうる。
また、第1の例において、情報処理装置13は、サーバでありうる。処理部200は、情報処理装置13が備えるプロセッサまたは処理回路がメモリまたはストレージ装置に格納されたプログラムに従って動作することによって実現される。情報処理装置13は、例えばサーバとして利用される装置であってもよい。この場合、情報処理装置13は、データセンタなどに設置されてもよいし、家庭内に設置されてもよい。あるいは、情報処理装置13は、他の機能については端末装置として利用可能であるが、本開示の実施形態に係る機能に関しては入力部100および出力部300を実現しない装置であってもよい。
(第2の例)
図28は、本開示の実施形態に係るシステム構成の第2の例を示すブロック図である。図28を参照すると、システム10は、情報処理装置11a,11b,13を含む。入力部100は、入力部100a,100bに分かれて実現される。入力部100aは、情報処理装置11aにおいて実現される。入力部100aは、例えば、上記で説明された加速度センサ101、ジャイロセンサ103、地磁気センサ105、気圧センサ107、および/またはGPS受信機111を含みうる。
入力部100bおよび出力部300は、情報処理装置11bにおいて実現される。入力部100bは、例えば、上記で説明された操作入力装置109を含みうる。また、処理部200は、情報処理装置13において実現される。情報処理装置11a,11bと情報処理装置13とは、本開示の実施形態に係る機能を実現するために、ネットワークを介してそれぞれ通信する。入力部100と処理部200との間のインターフェース150b1,150b2、および処理部200と出力部300との間のインターフェース350bは、いずれも装置間の通信インターフェースでありうる。ただし、第の例では、情報処理装置11aと情報処理装置11bとが別個の装置であるために、インターフェース150b1と、インターフェース150b2およびインターフェース350bとは、それぞれ異なる種類のインターフェースを含みうる。
第2の例において、情報処理装置11a,11bは、例えば端末装置でありうる。情報処理装置11aは、例えば、ユーザによって携帯または装着され、ユーザをセンシングする。一方、情報処理装置11bは、センシングの結果に基づいて情報処理装置13において生成された情報を、ユーザに向けて出力する。このとき、情報処理装置11bは、出力される情報に関するユーザの操作入力を受け付ける。従って、情報処理装置11bは、必ずしもユーザによって携帯または装着されていなくてもよい。また、情報処理装置13は、上記の第1の例と同様に、サーバまたは端末装置でありうる。処理部200は、情報処理装置13が備えるプロセッサまたは処理回路がメモリまたはストレージ装置に格納されたプログラムに従って動作することによって実現される。
(第3の例)
図29は、本開示の実施形態に係るシステム構成の第3の例を示すブロック図である。図29を参照すると、システム10は、情報処理装置11,13を含む。第3の例において、入力部100および出力部300は、情報処理装置11において実現される。一方、処理部200は、情報処理装置11および情報処理装置13に分散して実現される。情報処理装置11と情報処理装置13とは、本開示の実施形態に係る機能を実現するために、ネットワークを介して通信する。
上記のように、この第3の例では、処理部200が、情報処理装置11と情報処理装置13との間で分散して実現される。より具体的には、処理部200は、情報処理装置11で実現される処理部200a,200cと、情報処理装置13で実現される処理部200bとを含む。処理部200aは、入力部100からインターフェース150aを介して提供される情報に基づいて処理を実行し、処理の結果を処理部200bに提供する。処理部200aは、例えば、上記で説明された自律測位部201および行動認識部203を含みうる。一方、処理部200cは、処理部200bから提供される情報に基づいて処理を実行し、処理の結果をインターフェース350aを介して出力部300に提供する。処理部200cは、例えば、上記で説明された情報生成部207を含みうる。
なお、図示された例では、処理部200aおよび処理部200cの両方が示されているが、実際にはこのうちのいずれか一方だけが存在してもよい。つまり、情報処理装置11は、処理部200aを実現するが、処理部200cを実現せず、処理部200bから提供される情報は、そのまま出力部300に提供されてもよい。同様に、情報処理装置11は、処理部200cを実現するが、処理部200aを実現しなくてもよい。
処理部200aと処理部200bとの間、および処理部200bと処理部200cとの間には、それぞれインターフェース250bが介在する。インターフェース250bは、装置間の通信インターフェースである。一方、情報処理装置11が処理部200aを実現する場合、インターフェース150aは、装置内のインターフェースである。同様に、情報処理装置11が処理部200cを実現する場合、インターフェース350aは、装置内のインターフェースである。上記のように処理部200cが情報生成部207を含む場合、入力部100からの情報の一部、例えば操作入力装置109からの情報は、インターフェース150aを介して直接的に処理部200cに提供される。
なお、上述した第3の例は、処理部200aまたは処理部200cのうちの一方または両方が情報処理装置11が備えるプロセッサまたは処理回路によって実現される点を除いては、上記の第1の例と同様である。つまり、情報処理装置11は、端末装置でありうる。また、情報処理装置13は、サーバでありうる。
(第4の例)
図30は、本開示の実施形態に係るシステム構成の第4の例を示すブロック図である。図30を参照すると、システム10は、情報処理装置11a,11b,13を含む。入力部100は、入力部100a,100bに分かれて実現される。入力部100aは、情報処理装置11aにおいて実現される。入力部100aは、例えば、上記で説明された加速度センサ101、ジャイロセンサ103、地磁気センサ105、気圧センサ107、および/またはGPS受信機111を含みうる。
入力部100bおよび出力部300は、情報処理装置11bにおいて実現される。入力部100bは、例えば、上記で説明された操作入力装置109を含みうる。また、処理部200は、情報処理装置11a,11bおよび情報処理装置13に分散して実現される。情報処理装置11a,11bと情報処理装置13とは、本開示の実施形態に係る機能を実現するために、ネットワークを介してそれぞれ通信する。
図示されているように、この第4の例では、処理部200が、情報処理装置11a,11bと情報処理装置13との間で分散して実現される。より具体的には、処理部200は、情報処理装置11aで実現される処理部200aと、情報処理装置13で実現される処理部200bと、情報処理装置11bで実現される処理部200cとを含む。このような処理部200の分散については、上記の第3の例と同様である。ただし、この第4の例では、情報処理装置11aと情報処理装置11bとが別個の装置であるために、インターフェース250b1,250b2は、それぞれ異なる種類のインターフェースを含みうる。上記のように処理部200cが情報生成部207を含む場合、入力部100bからの情報、例えば操作入力装置109からの情報は、インターフェース150a2を介して直接的に処理部200cに提供される。
なお、第4の例は、処理部200aまたは処理部200cのうちの一方または両方が情報処理装置11aまたは情報処理装置11bが備えるプロセッサまたは処理回路によって実現される点を除いては、上記の第2の例と同様である。つまり、情報処理装置11a,11bは、端末装置でありうる。また、情報処理装置13は、サーバでありうる。
(8.ハードウェア構成)
次に、図31を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図31は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
情報処理装置900は、CPU(Central Processing unit)901、ROM(Read Only Memory)903、およびRAM(Random Access Memory)905を含む。また、情報処理装置900は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含んでもよい。さらに、情報処理装置900は、必要に応じて、撮像装置933、およびセンサ935を含んでもよい。情報処理装置900は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、またはFPGA(Field-Programmable Gate Array)などの処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置900内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置900の操作に対応した携帯電話などの外部接続機器929であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりする。
出力装置917は、取得した情報をユーザに対して視覚や聴覚、触覚などの感覚を用いて通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)または有機EL(Electro-Luminescence)ディスプレイなどの表示装置、スピーカまたはヘッドフォンなどの音声出力装置、もしくはバイブレータなどでありうる。出力装置917は、情報処理装置900の処理により得られた結果を、テキストもしくは画像などの映像、音声もしくは音響などの音声、またはバイブレーションなどとして出力する。
ストレージ装置919は、情報処理装置900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置919は、例えばCPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込む。
接続ポート923は、機器を情報処理装置900に接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどでありうる。また、接続ポート923は、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、情報処理装置900と外部接続機器929との間で各種のデータが交換されうる。
通信装置925は、例えば、通信ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、LAN(Local Area Network)、Bluetooth(登録商標)、Wi−Fi、またはWUSB(Wireless USB)用の通信カードなどでありうる。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置925に接続される通信ネットワーク931は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などを含みうる。
撮像装置933は、例えば、CMOS(Complementary Metal Oxide Semiconductor)またはCCD(Charge Coupled Device)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置933は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
センサ935は、例えば、加速度センサ、角速度センサ、地磁気センサ、照度センサ、温度センサ、気圧センサ、または音センサ(マイクロフォン)などの各種のセンサである。センサ935は、例えば情報処理装置900の筐体の姿勢など、情報処理装置900自体の状態に関する情報や、情報処理装置900の周辺の明るさや騒音など、情報処理装置900の周辺環境に関する情報を取得する。また、センサ935は、GPS(Global Positioning System)信号を受信して装置の緯度、経度および高度を測定するGPS受信機を含んでもよい。
以上、情報処理装置900のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
(9.補足)
本開示の実施形態は、例えば、上記で説明したような情報処理装置、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)ユーザの位置情報を取得する位置情報取得機能と、
前記位置情報に関連付けられた前記ユーザのセンシング情報に基づいて生成され、建物設備に関連する前記ユーザの行動が発生したことを示す行動認識情報を取得する行動認識情報取得機能と、
前記行動認識情報に基づいて、前記位置情報に前記建物設備を関連付ける関連付け処理機能と
を実現する処理回路を備える情報処理装置。
(2)前記位置情報は、前記センシング情報を解析することによって生成される、前記(1)に記載の情報処理装置。
(3)前記センシング情報は、モーションセンサの検出値を含む、前記(1)または(2)に記載の情報処理装置。
(4)前記モーションセンサは、加速度センサを含み、
前記行動認識情報は、前記加速度センサの検出値において、加速度の分散が小さく、かつ重力方向の加速度変化に特定のパターンが現れる場合に、エレベータに関連する前記ユーザの行動が発生したことを示す、前記(3)に記載の情報処理装置。
(5)前記センシング情報は、気圧センサの検出値をさらに含み、
前記モーションセンサは、加速度センサを含み、
前記行動認識情報は、前記加速度センサの検出値に基づいて前記ユーザが歩行中であることが示され、かつ前記気圧センサの検出値に基づいて前記ユーザが重力方向に移動していることが示される場合に、階段に関連する前記ユーザの行動が発生したことを示す、前記(3)または(4)に記載の情報処理装置。
(6)前記処理回路は、前記位置情報および前記位置情報に関連付けられた前記建物設備の情報に基づいてマップを生成するマップ生成機能をさらに実現する、前記(1)〜(5)のいずれか1項に記載の情報処理装置。
(7)前記マップ生成機能は、前記建物設備が関連付けられた位置を基準にして分割された前記マップを生成する、前記(6)に記載の情報処理装置。
(8)前記処理回路は、前記建物設備が関連付けられた位置を基準にして前記位置情報を補正する位置情報補正機能をさらに実現する、前記(1)〜(6)のいずれか1項に記載の情報処理装置。
(9)ユーザの位置情報を取得することと、
前記位置情報に関連付けられた前記ユーザのセンシング情報に基づいて生成され、建物設備に関連する前記ユーザの行動が発生したことを示す行動認識情報を取得することと、
処理回路が、前記行動認識情報に基づいて、前記位置情報に前記建物設備を関連付けることと
を含む情報処理方法。
(10)ユーザの位置情報を取得する位置情報取得機能と、
前記位置情報に関連付けられた前記ユーザのセンシング情報に基づいて生成され、建物設備に関連する前記ユーザの行動が発生したことを示す行動認識情報を取得する行動認識情報取得機能と、
前記行動認識情報に基づいて、前記位置情報に前記建物設備を関連付ける関連付け処理機能と
を処理回路に実現させるためのプログラム。
10 システム
11,13 情報処理装置
100 入力部
101 加速度センサ
103 ジャイロセンサ
105 地磁気センサ
107 気圧センサ
109 操作入力装置
111 GPS受信機
150,250,350 インターフェース
200 処理部
201 自律測位部
203 行動認識部
205 統合解析部
207 情報生成部
211 位置情報取得部
300 出力部
301 ディスプレイ
303 スピーカ
305 バイブレータ

Claims (10)

  1. ユーザの位置情報を取得する位置情報取得機能と、
    前記位置情報に関連付けられた前記ユーザのセンシング情報に基づいて生成され、建物設備に関連する前記ユーザの行動が発生したことを示す行動認識情報を取得する行動認識情報取得機能と、
    前記行動認識情報に基づいて、前記位置情報に前記建物設備を関連付ける関連付け処理機能と
    を実現する処理回路を備え
    前記建物設備は、建物内に設置され空間と空間とを接続するゲートウェイ設備を含み、
    前記関連付け処理機能は、前記ゲートウェイ設備の使用に係る前記行動認識情報に基づいて、前記位置情報に前記ゲートウェイ設備を関連付ける、
    情報処理装置。
  2. 前記位置情報は、前記センシング情報を解析することによって生成される、請求項1に記載の情報処理装置。
  3. 前記センシング情報は、モーションセンサの検出値を含む、請求項1または2に記載の情報処理装置。
  4. 前記モーションセンサは、加速度センサを含み、
    前記行動認識情報は、前記加速度センサの検出値において、加速度の分散が小さく、かつ重力方向の加速度変化に特定のパターンが現れる場合に、エレベータに関連する前記ユーザの行動が発生したことを示す、請求項3に記載の情報処理装置。
  5. 前記センシング情報は、気圧センサの検出値をさらに含み、
    前記モーションセンサは、加速度センサを含み、
    前記行動認識情報は、前記加速度センサの検出値に基づいて前記ユーザが歩行中であることが示され、かつ前記気圧センサの検出値に基づいて前記ユーザが重力方向に移動していることが示される場合に、階段に関連する前記ユーザの行動が発生したことを示す、請求項3または4に記載の情報処理装置。
  6. 前記処理回路は、前記位置情報および前記位置情報に関連付けられた前記建物設備の情報に基づいてマップを生成するマップ生成機能をさらに実現する、請求項1〜5のいずれか1項に記載の情報処理装置。
  7. 前記マップ生成機能は、前記建物設備が関連付けられた位置を基準にして分割された前記マップを生成する、請求項6に記載の情報処理装置。
  8. 前記処理回路は、前記建物設備が関連付けられた位置を基準にして前記位置情報を補正する位置情報補正機能をさらに実現する、請求項1〜6のいずれか1項に記載の情報処理装置。
  9. ユーザの位置情報を取得することと、
    前記位置情報に関連付けられた前記ユーザのセンシング情報に基づいて生成され、建物設備に関連する前記ユーザの行動が発生したことを示す行動認識情報を取得することと、
    処理回路が、前記行動認識情報に基づいて、前記位置情報に前記建物設備を関連付けることと
    を含み、
    前記建物設備は、建物内に設置され空間と空間とを接続するゲートウェイ設備を含み、
    前記関連付けることは、前記ゲートウェイ設備の使用に係る前記行動認識情報に基づいて、前記位置情報に前記ゲートウェイ設備を関連付けること、をさらに含む、
    情報処理方法。
  10. ユーザの位置情報を取得する位置情報取得機能と、
    前記位置情報に関連付けられた前記ユーザのセンシング情報に基づいて生成され、建物設備に関連する前記ユーザの行動が発生したことを示す行動認識情報を取得する行動認識情報取得機能と、
    前記行動認識情報に基づいて、前記位置情報に前記建物設備を関連付ける関連付け処理機能と
    を処理回路に実現させ
    前記建物設備は、建物内に設置され空間と空間とを接続するゲートウェイ設備を含み、
    前記関連付け処理機能は、前記ゲートウェイ設備の使用に係る前記行動認識情報に基づいて、前記位置情報に前記ゲートウェイ設備を関連付ける、
    プログラム。
JP2014127387A 2014-06-20 2014-06-20 情報処理装置、情報処理方法およびプログラム Active JP6311478B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014127387A JP6311478B2 (ja) 2014-06-20 2014-06-20 情報処理装置、情報処理方法およびプログラム
EP15719514.0A EP3158294A1 (en) 2014-06-20 2015-04-20 Apparatus, method and program to position building infrastructure through user information
US15/307,937 US20170131103A1 (en) 2014-06-20 2015-04-20 Information processing apparatus, information processing method, and program
CN201580026786.7A CN106415206A (zh) 2014-06-20 2015-04-20 通过用户信息定位建筑物设施的装置、方法以及程序
PCT/JP2015/002144 WO2015194081A1 (en) 2014-06-20 2015-04-20 Apparatus, method and program to position building infrastructure through user information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014127387A JP6311478B2 (ja) 2014-06-20 2014-06-20 情報処理装置、情報処理方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2016006612A JP2016006612A (ja) 2016-01-14
JP2016006612A5 JP2016006612A5 (ja) 2017-02-23
JP6311478B2 true JP6311478B2 (ja) 2018-04-18

Family

ID=53016727

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014127387A Active JP6311478B2 (ja) 2014-06-20 2014-06-20 情報処理装置、情報処理方法およびプログラム

Country Status (5)

Country Link
US (1) US20170131103A1 (ja)
EP (1) EP3158294A1 (ja)
JP (1) JP6311478B2 (ja)
CN (1) CN106415206A (ja)
WO (1) WO2015194081A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017211712A1 (de) * 2017-07-10 2019-01-10 Audi Ag Verfahren zur Datengenerierung zum Erzeugen und Aktualisieren einer Topologiekarte für mindestens einen Raum mindestens eines Gebäudes
JP6409104B1 (ja) * 2017-08-07 2018-10-17 三菱電機インフォメーションシステムズ株式会社 配置提案システム、配置提案方法、配置提案装置および配置提案プログラム
JP6795529B2 (ja) * 2018-02-15 2020-12-02 Kddi株式会社 通信分析方法およびシステム
US11057332B2 (en) * 2018-03-15 2021-07-06 International Business Machines Corporation Augmented expression sticker control and management
JP7329825B2 (ja) * 2018-07-25 2023-08-21 公立大学法人岩手県立大学 情報提供システム、情報提供方法、プログラム
JP6643417B2 (ja) * 2018-08-02 2020-02-12 Hapsモバイル株式会社 システム、制御装置及び軽航空機
JP7080137B2 (ja) * 2018-08-23 2022-06-03 株式会社ハピネスプラネット スコア管理装置およびスコア管理方法
CN109631908B (zh) * 2019-01-31 2021-03-26 北京永安信通科技有限公司 基于建筑物结构数据的对象定位方法、装置和电子设备
CN109813318A (zh) * 2019-02-12 2019-05-28 北京百度网讯科技有限公司 坐标修正方法及装置、设备及存储介质
WO2023209822A1 (ja) * 2022-04-26 2023-11-02 三菱電機ビルソリューションズ株式会社 移動軌跡表示システムおよび移動軌跡表示方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001235534A (ja) * 2000-02-25 2001-08-31 Nippon Telegr & Teleph Corp <Ntt> 位置情報補正装置と方法及び位置情報補正プログラムを記録した記録媒体
US7312752B2 (en) * 2003-10-22 2007-12-25 Awarepoint Corporation Wireless position location and tracking system
AU2008283845A1 (en) * 2007-08-06 2009-02-12 Trx Systems, Inc. Locating, tracking, and/or monitoring personnel and/or assets both indoors and outdoors
US8334766B2 (en) * 2009-04-01 2012-12-18 RFID Mexico, S.A. DE C.V. Tracking system
JP5440080B2 (ja) * 2009-10-02 2014-03-12 ソニー株式会社 行動パターン解析システム、携帯端末、行動パターン解析方法、及びプログラム
JP2012008771A (ja) 2010-06-24 2012-01-12 Sony Corp 情報処理装置、情報処理システム、情報処理方法およびプログラム
JP5198531B2 (ja) * 2010-09-28 2013-05-15 株式会社東芝 ナビゲーション装置、方法及びプログラム
WO2012084003A1 (en) * 2010-12-20 2012-06-28 Tomtom Belgium N.V. Method for generating map data
TW201227604A (en) * 2010-12-24 2012-07-01 Tele Atlas Bv Method for generating map data
JP5768517B2 (ja) 2011-06-13 2015-08-26 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5782387B2 (ja) * 2012-01-05 2015-09-24 株式会社 日立産業制御ソリューションズ 入退室管理システム
JP5788810B2 (ja) * 2012-01-10 2015-10-07 株式会社パスコ 撮影対象検索システム
JP6061063B2 (ja) * 2012-03-23 2017-01-18 セイコーエプソン株式会社 高度計測装置、ナビゲーションシステム、プログラム及び記録媒体

Also Published As

Publication number Publication date
WO2015194081A1 (en) 2015-12-23
CN106415206A (zh) 2017-02-15
US20170131103A1 (en) 2017-05-11
EP3158294A1 (en) 2017-04-26
JP2016006612A (ja) 2016-01-14

Similar Documents

Publication Publication Date Title
US20190383620A1 (en) Information processing apparatus, information processing method, and program
JP6311478B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2016098457A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP5904021B2 (ja) 情報処理装置、電子機器、情報処理方法、及びプログラム
CN104737523B (zh) 通过指派用于数据群集的情境标签来管理移动装置中的情境模型
JP2019220194A (ja) 情報処理装置、情報処理方法及びプログラム
US20110190008A1 (en) Systems, methods, and apparatuses for providing context-based navigation services
CN105308641B (zh) 信息处理设备、信息处理方法及程序
WO2016111068A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2016181670A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6358247B2 (ja) 情報処理装置、情報処理方法およびプログラム
US11143507B2 (en) Information processing apparatus and information processing method
WO2015190141A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2015194270A1 (ja) 情報処理装置、情報処理方法およびプログラム
US11173931B2 (en) Information processing apparatus, information processing method, and program
US20180139592A1 (en) Information processing apparatus, information processing method, and program
KR20200083157A (ko) 사용자에게 현실 공간에 기반한 게임을 추천하는 방법 및 장치
WO2015194269A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2017056774A1 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
US20210133561A1 (en) Artificial intelligence device and method of operating the same
WO2015194215A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP6421087B2 (ja) 周辺状況推定支援装置、方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170120

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180305

R151 Written notification of patent or utility model registration

Ref document number: 6311478

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151