JP4282091B1 - 端末装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】移動する人が注目している対象物を特定し、対象物内で興味を示しているエリアを判定すると共に、情動反応を算出して客観的な結果を得ることにより、行動要因分析の高精度化を実現する。
【解決手段】計測装置４の行動分析・アプリケーション制御部４３は、利用者２の位置情報、方向及び対象物１の位置情報に基づいて、利用者２が注目している対象物１を特定する。そして、行動分析・アプリケーション制御部４３は、視野映像内のマーカを識別し、対象物情報に基づいて利用者２の視点位置から、その対象物１内において利用者２が興味を示しているエリアを判定し、情動反応を算出する。そして、移動体端末５の機能制御部５１は、利用者２が興味を示しているエリアに対応付けられたアプリケーションを起動する。アプリケーションの起動に伴う利用者２のコンバージョン情報を得ることにより、利用者２の行動を分析することできる。
【選択図】図４

Description

本発明は、利用者の行動を分析するために用いる端末装置、情報処理方法及びプログラムに関し、特に、移動する利用者が注目する対象物を特定し、対象物内のエリアを判定し、エリアに関するアプリケーションを起動して利用者の行動に関する情報を収集する技術に関する。

従来、コンテンツに対する興味関心度合いを評価するシステムとして、人間の眼球運動に基づくものが知られている（特許文献１を参照）。このシステムは、人間の情動反応が眼球運動に表れることに着目し、表示装置に表示されたコンテンツに対する利用者の視点滞留時間または瞳孔径を算出することによって、コンテンツへの興味関心度合いを定量的に算出し、コンテンツを評価するものである。

このようなシステムにおいて、利用者の視点滞留時間及び瞳孔径は、利用者の視線及び眼球画像に基づいて計測される。利用者の視線を検出するためには、例えば、眼球へ赤外線を照射して撮影した眼球画像と、赤外線を照射していないときに撮影した眼球画像との差分画像が用いられる（特許文献２を参照）。また、利用者の視線を一層精度高く検出するために、眼球形状モデルを用いる技術も知られている（非特許文献１を参照）。

ところで、利用者の眼球を撮影するカメラ、及び、利用者が実際に見ているコンテンツ等を撮影するカメラが設けられためがねが知られている（非特許文献２を参照）。このめがねは、カメラにより撮影された眼球画像及びコンテンツ等の視野映像を格納する記録媒体も備えている。利用者がこのめがねをかけることにより、カメラで撮影した眼球画像及び視野映像が記録媒体に格納される。そして、制御装置は、記録媒体から眼球画像及び視野映像を読み出し、画像処理を行うことにより、視野映像内の視点位置、視点軌跡、滞留時間、瞳孔径、瞬目回数等を算出する。

一方、携帯電話等の移動体端末を用いたナビゲーションシステムが知られている（特許文献３を参照）。このシステムは、移動体端末から情報を収集し、収集した情報を分析して加工し、ナビゲーションに関する各種の情報を生成して移動体端末へ送信するものである。例えば、移動体端末から利用者の位置情報を行動結果として収集し、予め設定された行動予定と収集した行動結果との間の違いを分析する。このようにして分析された結果は、マーケティング等の集計のために利用される。

特開２００４−２８２４７１号公報 特開２００７−４４４８号公報 特開２００３−１９６２８４号公報 大野健彦、他２名、「眼球形状モデルに基づく視線測定法」、第８回画像センシングシンポジウム、２００２年、ｐｐ．３０７−３１２ "モバイル型アイマークレコーダ ＥＭＲ−９"、［online］、株式会社ナックイメージテクノロジー、［平成２０年８月１日検索］、インターネット＜ＵＲＬ：http://www.eyemark.jp/product/emr_9/index.html＞

前述した特許文献１のシステムは、表示装置に表示されたコンテンツの画面を利用者が見ることにより、興味関心度合いを算出してコンテンツを評価する。このため、コンテンツが表示される画面を予め用意し、利用者が表示装置の前でそのコンテンツを見る必要があり、コンテンツを評価するための準備に手間がかかるという問題があった。また、利用者が様々な場所へ移動し、例えば、移動先で看板を見たときに、その看板内で注目したコンテンツ等が特定され、そのコンテンツ等に対応した利用者の行動が分析されるとすると、その分析結果は利用者及びコンテンツ提供者等にとって有用なものになり得る。

例えば、前述した非特許文献２のめがねを用いたシステムを想定した場合、そのめがねによって、移動する利用者が実際に見た視野映像を得ることができると共に、視野映像内の視点位置における興味関心度合いを算出することができる。しかしながら、利用者が例えば看板を見た場合、このシステムでは、視野映像が看板内のどの位置に存在するのか、利用者が看板内のどの箇所に興味をもったのか、また、利用者が看板内のどのコンテンツに注目したのかについて判断することができない。したがって、特許文献１のシステムに非特許文献２のめがめを適用したシステムを想定した場合であっても、移動する利用者の行動を分析することができず、有用な情報を生成することもできない。

一般に、人間の行動を分析するには、例えばアンケートに対する回答を得て、その回答を集計する必要がある。しかし、このアンケートによる行動分析は主観的なものであるから、必ずしも客観的な分析結果が得られるとは限らない。

そこで、本発明は上記課題を解決するためになされたものであり、その目的は、移動している人に対して行動分析を行う場合に、その人が注目している対象物を特定し、対象物内のエリアを判定し、エリアに関するアプリケーションを起動して利用者の行動に関する情報を収集し、客観的な結果を得ることにより、行動要因分析の高精度化を実現可能な端末装置、情報処理方法及びプログラムを提供することにある。

上記目的を達成するために、請求項１の発明は、移動する利用者が携帯する装置であって、前記移動する利用者が注目している対象物を特定し、前記対象物内に配置された複数のマーカにより囲まれるエリアを判定し、前記エリアに関するアプリケーションを起動する端末装置において、対象物の存在位置を示す位置情報、前記対象物内に配置されたマーカの存在位置を示す位置情報、及び、複数のマーカにより囲まれる前記エリアと前記マーカとの関係を示す関係情報を含む対象物情報を記憶する対象物情報記憶手段と、前記対象物内のエリアと前記エリアに関するアプリケーションを起動するためのアプリケーション情報とを対応付けて記憶するアプリケーション情報記憶手段と、前記利用者の移動に伴って変化する移動距離が所定距離以上である場合に、前記利用者の現在の存在位置を基点とした所定範囲を定める情報を含む取得要求を、ネットワークを介して、対象物情報及びアプリケーション情報を管理するサーバへ送信し、前記サーバから、前記取得要求における所定範囲内に設置された対象物についての対象物情報、及び前記対象物内のエリアに対応付けられたアプリケーション情報を受信し、前記対象物情報記憶手段及びアプリケーション情報記憶手段にそれぞれ格納する対象物情報及びアプリケーション情報収集手段と、前記対象物情報記憶手段に格納された対象物の位置情報を読み出し、前記利用者の現在の存在位置を基点とした前記利用者が向いている方向の所定範囲内に、前記読み出した対象物の位置情報が示す存在位置が含まれる場合に、前記対象物を、前記利用者が注目している対象物として特定する対象物特定手段と、前記利用者が向いている前方が撮影された視野映像から、前記対象物特定手段により特定された対象物に配置されたマーカを識別し、前記識別したマーカの位置情報を前記対象物情報記憶手段から読み出し、前記利用者が見ている視点位置と、前記読み出したマーカの位置情報が示すマーカ位置とにより、前記視点位置を囲む複数のマーカを特定し、前記対象物情報記憶手段に格納されたマーカとエリアとの関係情報を読み出し、前記複数のマーカが囲むエリアを特定し、前記特定したエリアに前記利用者の視点位置が所定時間以上滞留している場合に、前記特定したエリアを、前記利用者が注目している対象物内のエリアとして判定するエリア判定手段と、前記アプリケーション情報記憶手段から、前記エリア判定手段により判定されたエリアに対応付けられた複数のアプリケーション情報を読み出し、前記エリアへの視点滞留時間に応じて、前記複数のアプリケーション情報のうちの一つを特定してアプリケーションを起動するアプリケーション起動手段と、前記アプリケーション起動手段によるアプリケーションの起動に伴って、前記利用者の入力操作を、前記利用者が注目していた対象物内のエリアに対する行動情報として収集する情報収集手段と、を備えたことを特徴とする。

また、請求項２の発明は、請求項１に記載の端末装置において、前記エリア判定手段が、前記特定したエリアに前記利用者の視点位置が存在し、前記利用者の眼球の瞳孔径が所定長以上である場合に、前記特定したエリアを、前記利用者が注目している対象物内のエリアとして判定する、ことを特徴とする。

また、請求項３の発明は、請求項１または２に記載の端末装置において、前記アプリケーション起動手段が、前記アプリケーション情報記憶手段から、前記エリア判定手段により判定されたエリアに対応付けられた複数のアプリケーション情報を読み出し、前記エリアに視点が滞留したときの眼球の瞳孔径に応じて、前記複数のアプリケーション情報のうちの一つを特定してアプリケーションを起動する、ことを特徴とする。

また、請求項４の発明は、請求項１から３までのいずれか一項に記載の端末装置において、前記アプリケーション情報を、ウェブページを指定するＵＲＬとする、ことを特徴とする。

また、請求項５の発明は、移動する利用者が携帯する装置が、対象物の存在位置を示す位置情報、前記対象物内に配置されたマーカの存在位置を示す位置情報、及び、複数のマーカにより囲まれる前記エリアと前記マーカとの関係を示す関係情報を含む対象物情報を記憶する対象物情報記憶手段と、前記対象物内のエリアと前記エリアに関するアプリケーションを起動するためのアプリケーション情報とを対応付けて記憶するアプリケーション情報記憶手段と、対象物情報及びアプリケーション情報収集手段と、対象物特定手段と、エリア判定手段と、アプリケーション起動手段と、情報収集手段とを備え、前記移動する利用者が注目している対象物を特定し、前記対象物内に配置された複数のマーカにより囲まれるエリアを判定し、前記エリアに関するアプリケーションを起動する情報処理方法において、前記対象物情報及びアプリケーション情報収集手段が、前記利用者の移動に伴って変化する移動距離が所定距離以上である場合に、前記利用者の現在の存在位置を基点とした所定範囲を定める情報を含む取得要求を、ネットワークを介して、対象物情報及びアプリケーション情報を管理するサーバへ送信し、前記サーバから、前記取得要求における所定範囲内に設置された対象物についての対象物情報、及び前記対象物内のエリアに対応付けられたアプリケーション情報を受信し、前記対象物情報記憶手段及びアプリケーション情報記憶手段にそれぞれ格納する第１のステップと、前記対象物特定手段が、前記対象物情報記憶手段に格納された対象物の位置情報を読み出し、前記利用者の現在の存在位置を基点とした前記利用者が向いている方向の所定範囲内に、前記読み出した対象物の位置情報が示す存在位置が含まれる場合に、前記対象物を、前記利用者が注目している対象物として特定する第２のステップと、前記エリア判定手段が、前記利用者が向いている前方が撮影された視野映像から、前記対象物特定手段により特定された対象物に配置されたマーカを識別し、前記識別したマーカの位置情報を前記対象物情報記憶手段から読み出し、前記利用者が見ている視点位置と、前記読み出したマーカの位置情報が示すマーカ位置とにより、前記視点位置を囲む複数のマーカを特定し、前記対象物情報記憶手段に格納されたマーカとエリアとの関係情報を読み出し、前記複数のマーカが囲むエリアを特定し、前記特定したエリアに前記利用者の視点位置が所定時間以上滞留している場合に、前記特定したエリアを、前記利用者が注目している対象物内のエリアとして判定する第３のステップと、前記アプリケーション起動手段が、前記アプリケーション情報記憶手段から、前記エリア判定手段により判定されたエリアに対応付けられた複数のアプリケーション情報を読み出し、前記エリアへの視点滞留時間に応じて、前記複数のアプリケーション情報のうちの一つを特定してアプリケーションを起動する第４のステップと、前記情報収集手段が、前記アプリケーション起動手段によるアプリケーションの起動に伴って、前記利用者の入力操作を、前記利用者が注目していた対象物内のエリアに対する行動情報として収集する第５のステップと、を有することを特徴とする。

また、請求項６の発明は、請求項５に記載の情報処理方法において、前記第３のステップが、前記エリア判定手段により、前記特定したエリアに前記利用者の視点位置が存在し、前記利用者の眼球の瞳孔径が所定長以上である場合に、前記特定したエリアを、前記利用者が注目している対象物内のエリアとして判定する、ことを特徴とする。

また、請求項７の発明は、請求項５または６に記載の情報処理方法において、前記第４のステップが、前記アプリケーション起動手段により、前記アプリケーション情報記憶手段から、前記エリア判定手段により判定されたエリアに対応付けられた複数のアプリケーション情報を読み出し、前記エリアに視点が滞留したときの眼球の瞳孔径に応じて、前記複数のアプリケーション情報のうちの一つを特定してアプリケーションを起動する、ことを特徴とする。

また、請求項８の発明は、請求項５から７までのいずれか一項に記載の情報処理方法において、前記アプリケーション情報を、ウェブページを指定するＵＲＬとする、ことを特徴とする。

また、請求項９の発明は、請求項５から８までのいずれか一項に記載の情報処理方法をコンピュータに実行させることを特徴とする情報処理プログラムにある。

以上のように、本発明によれば、移動する利用者が注目している対象物を特定し、対象物内のエリアを判定し、エリアに関するアプリケーションを提示して利用者の行動に関する情報を収集することにより客観的な結果を得るようにした。これにより、移動する利用者に対して、客観的な行動分析を行うことができる。したがって、アンケート等の主観的な手段ではなく、客観的な手段を用いるようにしたから、行動要因分析の高精度化を実現することが可能となる。

以下、本発明を実施するための最良の形態について、図面を参照して説明する。
〔システムの概略〕
まず、本発明の実施形態が適用される全体システムの概略について説明する。図１は、全体システムの概略図である。このシステムは、対象物１内の特定のエリアに興味を示す利用者２について、その行動を分析することを目的とするものである。具体的には、このシステムは、複数の対象物のうち、利用者２が注目している対象物１を特定し、その対象物１内において、利用者２が興味を示しているエリアを判定し、そのエリアに関する情報を利用者２へ提示し、その情報に基づいた利用者２のコンバージョン（行動）の情報（コンバージョン情報）を収集して分析する。

対象物１は、例えば、ＰＯＰ（Ｐｏｉｎｔ Ｏｆ Ｐｕｒｃｈａｓｅ）、看板、ポスター、陳列棚であり、利用者２が興味を示しているエリアを特定するためのマーカが設けられている。エリア及びマーカの詳細については後述する。利用者２は、めがね３をかけており、計測装置４及び移動体端末５を携帯している。めがね３には、利用者２が向いている前方にある対象物１を撮影するための視野映像用カメラ８、及び利用者２の眼球を撮影するための眼球画像用カメラ９が設けられている。利用者２が対象物１を見たときに、視野映像用カメラ８により撮影される映像と、利用者２の視野に写る映像とが一致するように、めがね３における視野映像用カメラ８の位置等が予め調整されている。また、眼球画像用カメラ９も、利用者２の眼球が正しく撮影され、計測装置４によって眼球画像から視線等を解析できるように、予め調整されている。視野映像用カメラ８及び眼球画像用カメラ９により撮影されたデータは、ケーブルを介してまたは無線により計測装置４へ送信される。

計測装置４及び移動体端末５によって、行動分析端末装置が構成される。以下、計測装置４と移動体端末５とは別々の装置として説明するが、行動分析端末装置として一体的な一つの装置であってもよい。

計測装置４は、例えばベルトに装着され、利用者２により注目された対象物１の情報、利用者２の位置情報（緯度及び経度）及び方向、視点の滞留時間等の各種データを順次格納する。計測装置４と移動体端末５との間で、トルカ（登録商標）、人体通信、Ｂｌｕｅｔｏｏｔｈ等によりデータが送受信される。尚、計測装置４が各種データをＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）カードに格納し、利用者２がそのＳＤカードを計測装置４から取り外して移動体端末５に取り付けることにより、データを受け渡すようにしてもよい。

移動体端末５は、例えば、携帯電話、携帯端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）であり、アプリケーションを自動起動したり、利用者２の意思または選択によってアプリケーションを起動したり、移動体端末５を計測装置４に近づけることによってアプリケーションを起動したりする機能、電子メールを送受信する機能、ウェブページを表示する機能等を実現する。移動体端末５とサービスセンター６との間で、無線通信によりデータが送受信される。

サービスセンター６は、利用者２により注目された対象物１の情報及び視点の滞留時間等の情報（行動結果）、提示した情報に基づいた利用者２のコンバージョン情報を収集し、利用者２の行動を分析する。また、サービスセンター６は、分析結果を、利用者２が携帯する移動体端末５へ送信したり、マーケティング情報として事業者へ提示したりする。

〔システムの構成〕
図２は、図１に示した全体システムの構成を示すブロック図である。まず、計測装置４について説明する。計測装置４は、眼球運動解析部４１、位置方向解析部４２及び行動分析・アプリケーション制御部４３を備えている。

眼球運動解析部４１は、めがね３に設けられた視野映像用カメラ８から視野映像を入力すると共に、眼球画像用カメラ９から眼球画像を入力する。そして、眼球運動解析部４１は、視野映像及び眼球画像を解析し、眼球運動である視点及び瞳孔径、並びに視点と対応付けた視野映像を行動分析・アプリケーション制御部４３に出力する。

位置方向解析部４２は、計測装置４に設けられたアンテナ（図１には図示せず）からＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）データを入力すると共に、計測装置４に設けられた加速度センサ（図１には図示せず）から加速度センサデータを入力する。そして、位置方向解析部４２は、ＧＰＳデータ及び加速度センサデータを解析し、利用者２の位置情報（緯度及び経度）及び方向を行動分析・アプリケーション制御部４３に出力する。

行動分析・アプリケーション制御部４３は、対象物１に関する情報（対象物情報）を取得するための要求（対象物情報取得要求）を移動体端末５へ送信する。そして、行動分析・アプリケーション制御部４３は、移動体端末５から対象物情報を受信し、記憶媒体に格納する。

また、行動分析・アプリケーション制御部４３は、眼球運動解析部４１から利用者２の視点及び瞳孔径並びに視野映像を入力すると共に、位置方向解析部４２から利用者２の位置情報（緯度及び経度）及び方向を入力する。そして、行動分析・アプリケーション制御部４３は、入力したこれらの解析データを時系列に記憶媒体に格納する。また、行動分析・アプリケーション制御部４３は、利用者２が注目している対象物１を特定し、対象物１について、利用者２が興味を示しているエリアである視線一致エリアを判定すると共に、視線一致エリアの興味関心度合いを算出し、これらの行動結果を記憶媒体に格納すると共に移動体端末５へ送信する。

次に、移動体端末５について説明する。移動体端末５は、機能制御部５１を備えている。機能制御部５１は、計測装置４から対象物情報取得要求を受信し、取得対象の対象物情報に加えてアプリケーション情報も取得するために、対象物情報及びアプリケーション情報取得要求をサービスセンター６のサーバ１０へ送信する。また、機能制御部５１は、サービスセンター６のサーバ１０から対象物情報及びアプリケーション情報を受信し、アプリケーション情報を記録媒体に格納する。そして、機能制御部５１は、対象物情報を計測装置４へ送信する。

また、機能制御部５１は、計測装置４から解析データ及び行動結果を受信し、解析データをサービスセンター６のサーバ１０へ送信する。また、機能制御部５１は、受信した行動結果に対応するアプリケーションをアプリケーション情報から特定し、そのアプリケーションを起動する。

利用者２は、起動したアプリケーションに伴い、移動体端末５の画面に表示された情報に基づいて行動したり、移動体端末５を操作したりする。機能制御部５１は、このときの利用者２の行動、行為、動作等を移動体端末５の操作に反映したコンバージョン情報として収集し、行動結果及びコンバージョン情報をサービスセンター６のサーバ１０へ送信する。

次に、サービスセンター６のサーバ１０について説明する。サービスセンター６のサーバ１０は、情報管理・分析部６１を備えている。情報管理・分析部６１は、移動体端末５から対象物情報及びアプリケーション情報取得要求を受信し、この要求に対応する対象物情報及びアプリケーション情報を移動体端末５へ送信する。

また、情報管理・分析部６１は、移動体端末５の機能制御部５１から解析データ、行動結果及びコンバージョン情報を受信し、利用者２の行動を分析し、利用者２及び事業者にとって有用な情報を生成して提示する。また、情報管理・分析部６１は、計測装置４及び移動体端末５の処理において必要な各種パラメータを変更する。

〔システムの機能〕
次に、図１及び図２に示したシステムの機能フローについて説明する。図３は、全体の処理を説明する機能フローであり、システムが行う主な処理を時系列に示したものである。まず、計測装置４の行動分析・アプリケーション制御部４３は、利用者２の位置情報（緯度及び経度）に応じて必要となる対象物情報を、移動体端末５を介してサービスセンター６の情報管理・分析部６１から取得し、記憶媒体に格納する（ステップＳ３０１）。また、移動体端末５の機能制御部５１は、利用者２の位置情報（緯度及び経度）に応じて必要となるアプリケーション情報を、計測装置４の行動分析・アプリケーション制御部４３からの要求に従って、サービスセンター６の情報管理・分析部６１から取得し、記憶媒体に格納する（ステップＳ３０１）。

具体的には、計測装置４の行動分析・アプリケーション制御部４３は、利用者２の位置情報（緯度及び経度）を中心として、所定範囲内に設けられた全ての対象物１について、これらの対象物情報を常に記憶媒体に格納しておく。これは、利用者２の移動に伴い、利用者２が注目するであろう対象物１が、利用者２の位置情報（緯度及び経度）に基づいて前もって推定できるからである。つまり、計測装置４は、対象物１を特定する前に、対象物１の対象物情報を取得する。

計測装置４の行動分析・アプリケーション制御部４３は、利用者２が注目している対象物１を特定する（ステップＳ３０２）。具体的には、計測装置４の行動分析・アプリケーション制御部４３は、利用者２の位置情報（緯度及び経度）及び方向と、対象物１の位置情報（対象物情報に含まれる位置情報）とに基づいて、利用者２と対象物１との位置関係を算出し、利用者２の方向によって、利用者２が見ているであろう対象物１を、利用者２が注目している対象物１として特定する。

計測装置４の行動分析・アプリケーション制御部４３は、利用者２が注目している対象物１について、利用者２が興味を示しているエリアを視線一致エリアとして判定する（ステップＳ３０３）。対象物１には、前述したように、対象物１を区分けしたエリアを判定するためのマーカが設けられている。計測装置４の行動分析・アプリケーション制御部４３は、視野映像内のマーカを識別し、そのマーカによって、視点が滞留している視線一致エリアを判定する。詳細については後述する。

計測装置４の行動分析・アプリケーション制御部４３は、行動結果のデータを生成し、記憶媒体に格納する（ステップＳ３０４）。具体的には、計測装置４の行動分析・アプリケーション制御部４３は、例えば、視線一致エリアにおける視点滞留時間を算出し、これを興味関心度合いのデータとして、視線一致エリア及び興味関心度合いを含む行動結果のデータを生成する。

移動体端末５の機能制御部５１は、計測装置４の行動分析・アプリケーション制御部４３から行動結果を受信し、行動結果に含まれる視線一致エリアに対応付けられたアプリケーションをアプリケーション情報から特定し、特定したアプリケーションを起動する（ステップＳ３０５）。

移動体端末５の機能制御部５１は、起動したアプリケーションに伴い、利用者２が移動体端末５の画面に表示された情報に基づいて行動したり、移動体端末５を操作したりする情報を収集する。そして、このときの利用者２の行動、行為、動作等を反映した移動体端末５の操作をコンバージョン情報として、行動結果及びコンバージョン情報をサービスセンター６のサーバ１０へ送信する（ステップＳ３０６）。

サービスセンター６の情報管理・分析部６１は、移動体端末５の機能制御部５１から行動結果及びコンバージョン情報を受信し、利用者２の行動を分析し、利用者２または事業者にとって有用な情報を生成して提示する(ステップＳ３０７)。尚、機能フローにはないが、計測装置４の行動分析・アプリケーション制御部４３により生成された解析データ（時刻、視点位置、瞳孔径、利用者位置情報及び利用者方向）も、計測装置４から移動体端末５を介してサービスセンター６のサーバ１０へ送信される。

〔計測装置〕
次に、図１及び図２に示した計測装置４について詳細に説明する。図４は、計測装置４の構成を示すブロック図である。計測装置４は、前述のように、眼球運動解析部４１、位置方向解析部４２及び行動分析・アプリケーション制御部４３を備えている。また、眼球運動解析部４１は、視点・瞳孔径解析部４１１及び視野映像解析部４１２を備え、位置方向解析部４２は、緯度経度解析部４２１及び方向解析部４２２を備えている。また、行動分析・アプリケーション制御部４３は、アプリケーション管理制御部４３１、記憶媒体４３２、データ同期管理制御部４３３、画像解析・エリア興味分析部４３４、データ転送管理制御部４３５及び機能間通信部４３６を備えている。

眼球運動解析部４１の視点・瞳孔径解析部４１１は、めがね３の眼球画像用カメラ９から利用者２の眼球画像を入力し、眼球画像を解析することにより、後述する視野映像を平面としたときの視点（視野映像における視点の位置座標）及び瞳孔径を算出し、視点及び瞳孔径を行動分析・アプリケーション制御部４３の画像解析・エリア興味分析部４３４に出力する。尚、眼球画像の解析手法についは既知であり、例えば、前述した特許文献１，２及び非特許文献１に記載されているから、ここでは説明を省略する。

視野映像解析部４１２は、めがね３の視野映像用カメラ８から利用者２の視野映像を入力し、例えば１／３０秒毎に入力する視野映像と、視点・瞳孔径解析部４１１において算出される視点及び瞳孔径との時間的な対応付けを行い、視点・瞳孔径解析部４１１により出力される視点及び瞳孔径に時間的に対応した視野映像を行動分析・アプリケーション制御部４３の画像解析・エリア興味分析部４３４に出力する。したがって、視点・瞳孔径解析部４１１により出力される視点及び瞳孔径と、視野映像解析部４１２により出力される視野映像とは、同期したデータとなる。

位置方向解析部４２の緯度経度解析部４２１は、アンテナからＧＰＳデータを入力し、ＧＰＳデータを解析することにより利用者２の位置情報（緯度及び経度）を生成し、その位置情報（緯度及び経度）を行動分析・アプリケーション制御部４３のデータ同期管理制御部４３３に出力する。ＧＰＳデータは、ＧＰＳ衛星との間の通信によって得られるデータである。

方向解析部４２２は、加速度センサから加速度センサデータを入力し、加速度センサデータを解析することにより利用者２の向き（方向）のデータを生成し、その方向を行動分析・アプリケーション制御部４３のデータ同期管理制御部４３３に出力する。具体的には、方向解析部４２２は、加速度センサにより計測されたｘ，ｙ，ｚ方向の加速度センサデータを解析し、利用者２の向いている方向のデータを生成する。尚、利用者２の方向のデータを生成する手法の詳細については、例えば、特開２００６−３２０５６６号公報を参照されたい。

行動分析・アプリケーション制御部４３のアプリケーション管理制御部４３１は、記憶媒体４３２、データ同期管理制御部４３３、画像解析・エリア興味分析部４３４及びデータ転送管理制御部４３５の処理を統括的に制御して管理する。例えば、アプリケーション管理制御部４３１は、行動分析・アプリケーション処理の開始及び終了を各部に出力したり、各部の処理が同期して動作するように、同期信号を出力したりする。

データ同期管理制御部４３３は、位置方向解析部４２の緯度経度解析部４２１から利用者２の位置情報（緯度及び経度）を入力すると共に、方向解析部４２２から利用者２の方向を入力し、位置情報（緯度及び経度）及び方向を同期させ、同期した位置情報（緯度及び経度）及び方向を画像解析・エリア興味分析部４３４及びデータ転送管理制御部４３５に出力する。尚、画像解析・エリア興味分析部４３４及びデータ転送管理制御部４３５からの要求に従って、同期した位置情報（緯度及び経度）及び方向を出力するようにしてもよい。

データ転送管理制御部４３５は、データ同期管理制御部４３３から同期した位置情報（緯度及び経度）及び方向を入力し、記憶媒体４３２が利用者２の位置情報（緯度及び経度）を中心として所定範囲内の全ての対象物１の対象物情報を常に記憶しているようにするため、取得対象の範囲を示す位置情報を含む対象物情報取得要求を、機能間通信部４３６を介して移動体端末５へ送信する。具体的には、データ転送管理制御部４３５は、利用者２の移動に伴って、既に入力した最新の位置情報（緯度及び経度）と新たに入力した位置情報（緯度及び経度）とを比較し、移動距離が所定距離以上である場合に、対象物情報取得要求を送信する。データ転送管理制御部４３５は、移動体端末５から機能間通信部４３６を介して、取得対象の範囲内に設置された全ての対象物１の対象物情報を受信し、その対象物情報を記憶媒体４３２に格納する。

例えば、データ転送管理制御部４３５は、利用者２の位置情報（緯度及び経度）及びそれを中心とした所定範囲の位置情報を取得対象の範囲の位置情報として、対象物取得要求を送信するようにしてもよい。この場合、データ転送管理制御部４３５は、移動体端末５から対象物情報を受信すると、記憶媒体４３２に既に格納されている対象物情報を削除し、受信した対象物情報を新たに格納する。

また、データ転送管理制御部４３５は、利用者２の移動に伴って、利用者２の位置情報（緯度及び経度）を中心とした所定範囲が変動した場合、その変動した範囲（新たな範囲）のみを取得対象の範囲として、対象物取得要求を送信するようにしてもよい。この場合、データ転送管理制御部４３５は、移動体端末５から対象物情報を受信すると、記憶媒体４３２に格納されている対象物情報のうち所定範囲外となった対象物情報を削除し、受信した新たな範囲内の対象物情報を記憶媒体４３２に格納する。これにより、記憶媒体４３２には、利用者２の位置情報（緯度及び経度）を中心とした所定範囲内の対象物情報が格納されていることになる。データ転送管理制御部４３５は、利用者２の位置情報（緯度及び経度）を中心とした所定範囲内の全ての対象物情報を受信する必要がなく、移動に伴う新たな範囲内の対象物情報のみを受信すればよいから、通信量を抑えることができ、効率の良い処理を実現することができる。

図９は、対象物情報の構成を示す図である。図９に示すように、対象物情報は、対象物ＩＤ、対象物の位置情報（緯度及び経度）、対象物の種類（例えば、ＰＯＰ、看板、ポスター、陳列棚）、マーカの形式（例えば、ＬＥＤ、ＱＲコード、市松模様）、マーカの位置情報（対象物を正面から見たときの位置座標）、エリアとマーカとの関係を示す情報（関係情報）から構成される。これらの構成データは、対象物毎に存在する。ここで、マーカの位置情報は、例えば、利用者２が対象物を見たときの平面において、マーカが存在する座標を示す。また、エリアは、例えば４つのマーカにより囲まれる領域である場合、エリアとマーカとの関係情報は、１つのエリアと４つのマーカとの関係を示す情報となる。尚、エリア及びマーカには予め番号が付されている。これらのデータは、データ転送管理制御部４３５によって記憶媒体４３２に格納され、画像解析・エリア興味分析部４３４によって記憶媒体４３２から読み出される。

画像解析・エリア興味分析部４３４は、眼球運動解析部４１から視点、瞳孔径及び視野映像を入力すると共に、データ同期管理制御部４３３から同期した位置情報（緯度及び経度）及び方向を入力し、これらのデータを時刻データと共に解析データとして記憶媒体４３２に格納する。

図１１は、解析データの構成を示す図である。図１１に示すように、解析データは、時刻、視点位置、瞳孔径、利用者２の位置情報（緯度及び経度）及び利用者２の方向のデータから構成される。前述したように、これらのデータは、画像解析・エリア興味分析部４３４によって記憶媒体４３２に格納され、データ転送管理制御部４３５によって記憶媒体４３２から読み出される。尚、視野映像は解析データに含まれるが、説明の便宜上省略してある。

画像解析・エリア興味分析部４３４は、記憶媒体４３２から対象物情報を読み出し、利用者２の位置情報（緯度及び経度）及び方向と、対象物情報に含まれる対象物１の位置情報（緯度及び経度）とに基づいて、利用者２と対象物１との位置関係を算出し、利用者２が注目している対象物１を特定する。具体的には、画像解析・エリア興味分析部４３４は、利用者２の位置情報（緯度及び経度）及び方向から、利用者２が存在する位置を中心として利用者２が見ている向きの所定距離内の領域を設定し、その範囲内にある対象物１を、対象物１の位置情報（緯度及び経度）から特定する。その範囲内にある対象物１が複数存在する場合は、最も近い対象物１を特定する。

そして、画像解析・エリア興味分析部４３４は、特定した対象物１において、利用者２が興味を示しているエリア（視線一致エリア）を、視野映像に含まれるマーカを識別することにより、また、特定した対象物１の対象物情報、利用者２の興味関心度合い等により判定する。以下、詳細に説明する。

図７は、対象物１、視野映像、視線一致場所及びマーカを説明する図である。図７に示すように、対象物１には複数のマーカ（図７において丸印の形態）が所定箇所に埋め込まれ、または貼り付けられており、そのマーカはそれぞれ固有の識別情報を有している。例えば、マーカがＱＲコードの場合、マーカにはそれぞれ０，１，２，３，・・・を示す情報が含まれている。マーカは、高輝度の赤外光ＬＥＤまたは蛍光体等からなり、ＬＥＤを並べて数字として表したものであってもよいし、市松模様のパターンであってもよい。

図７に示すように、利用者２が対象物１に注目し、めがね３に設けられた視野映像用カメラ８により視野映像が撮影されているものとする。この場合、視野映像には、対象物１に埋め込まれたマーカ（図７では４つのマーカ）が含まれ、利用者２の視点は、視野映像内に存在する。

図８は、視線一致エリアを判定する処理を説明する図である。図７と同様に、利用者２が対象物１に着目し、めがね３に設けられた視野映像用カメラ８により、４つのマーカＭ３，１、Ｍ３，２、Ｍ４，１及びＭ４，２を含む視野映像が撮影されているものとする。ここで、Ｍ３，１等はマーカの番号を示す。

画像解析・エリア興味分析部４３４は、対象物情報に含まれるマーカの形式に従ったマーカの識別処理を行い、眼球運動解析部４１から入力した視野映像に含まれるマーカを識別する。図８の例では、４つのマーカＭ３，１、Ｍ３，２、Ｍ４，１、Ｍ４，２が識別される。そして、画像解析・エリア興味分析部４３４は、識別したマーカの位置情報を、特定した対象物１の対象物情報から取り出し、眼球運動解析部４１から入力した視点の位置情報と、識別したマーカの位置情報とに基づいて、視点を囲む４つのマーカを特定する。

例えば、図９に示した対象物情報に含まれるマーカの位置情報が、（Ｍ３，１：ｘ３，ｙ１）（Ｍ３，２：ｘ３，ｙ２）等の情報であるとする。ここで、Ｍ３，１等はマーカの番号を示し、（ｘ３，ｙ１）等は対象物１におけるマーカの平面座標を示す。この場合、図８に示すように、画像解析・エリア興味分析部４３４は、識別したマーカＭ３，１の位置情報（ｘ３，ｙ１）等を対象物情報から取り出し、取り出したマーカの位置情報と視点の位置情報とに基づいて、視点を囲むマーカＭ３，１、Ｍ３，２、Ｍ４，１、Ｍ４，２を特定する。

そして、画像解析・エリア興味分析部４３４は、特定した対象物１の対象物情報に含まれるエリアとマーカの関係情報から、特定したマーカに囲まれるエリアを特定する。図８の例では、マーカＭ３，１、Ｍ３，２、Ｍ４，１及びＭ４，２に囲まれるエリアＡ３，１が特定される。

そして、画像解析・エリア興味分析部４３４は、特定したエリアに利用者２の視点が所定時間以上滞留していると判定した場合に、利用者２がそのエリアに興味を示したと判定し、そのエリアを視線一致エリアと判定する。この場合、画像解析・エリア興味分析部４３４は、視点滞留時間による判定に代えて、特定したエリアに対して、所定長以上の瞳孔径が所定時間以上継続していると判定した場合に、利用者２がそのエリアに興味を示したと判定し、そのエリアを視線一致エリアと判定するようにしてもよい。

画像解析・エリア興味分析部４３４は、どのエリアにどれだけの時間、視点が滞留していたかを算出する。つまり、画像解析・エリア興味分析部４３４は、同じエリアに視点が滞留している限り、その時間をカウントし、そのエリアにおける滞留時間を算出する。視点の滞留時間が長いほど、その視線一致エリアに対する興味関心度合いが高くなる。画像解析・エリア興味分析部４３４は、対象物１を識別するための対象物ＩＤ、エリア、そのエリアにおける視点の滞留時間、滞留開始時刻、滞留終了時刻及び視線一致エリアであるか否かの判定結果からなる行動結果を生成し、その行動結果を記憶媒体４３２に格納する。

図１２は、行動結果の構成を示す図である。図１２に示すように、行動結果は、対象物ＩＤ、エリア、そのエリアにおける視点の滞留時間、滞留開始時刻、滞留終了時刻及び視線一致エリアであるか否かの判定結果から構成される。これらのデータは、画像解析・エリア興味分析部４３４によって記憶媒体４３２に格納され、データ転送管理制御部４３５によって記憶媒体４３２から読み出される。尚、画像解析・エリア興味分析部４３４は、視点の滞留時間に代えて、瞳孔径の平均値を格納するようにしてもよい。この場合、瞳孔径の平均値が大きいほど、その視線一致エリアに対する興味関心度合いが高くなる。

画像解析・エリア興味分析部４３４は、視線一致エリアを判定し、視点が視線一致エリアから外れたときに、利用者２が興味を示したときの行動結果（対象物ＩＤ、エリア、そのエリアにおける視点の滞留時間、滞留開始時刻、滞留終了時刻、視線一致エリアである旨）を送信するようにアプリケーション管理制御部４３１を介してデータ転送管理制御部４３５に指示する。そして、データ転送管理制御部４３５は、利用者２が興味を示したときの行動結果を、機能間通信部４３６を介して移動体端末５へ送信する。また、データ転送管理制御部４３５は、所定の周期にて記憶媒体４３２から解析データ及び行動結果を読み出し、機能間通信部４３６を介して移動体端末５へ送信する。

〔移動体端末〕
次に、図１及び図２に示した移動体端末５について詳細に説明する。図５は、移動体端末５の構成を示すブロック図である。移動体端末５は、前述のように、機能制御部５１を備えている。また、機能制御部５１は、図５に示すように、中央制御部５１１、記憶媒体５１２、機能間通信部５１３及び移動体通信部５１４を備えている。

中央制御部５１１は、計測装置４から機能間通信部５１３を介して、取得対象の範囲を示す位置情報を含む対象物情報取得要求を受信し、取得対象の範囲の対象物情報に加えてアプリケーション情報も取得するために、対象物情報及びアプリケーション情報取得要求を、移動体通信部５１４を介してサービスセンター６へ送信する。そして、中央制御部５１１は、サービスセンター６から移動体通信部５１４を介して、取得対象の範囲の対象物情報及びアプリケーション情報を受信し、アプリケーション情報を記憶媒体５１２に格納する。

図１０は、アプリケーション情報の構成を示す図である。図１０に示すように、アプリケーション情報は、対象物ＩＤ、エリア番号、エリアに対応付けられるアプリケーション及びアプリケーションの起動方法から構成されている。記憶媒体５１２に格納されるアプリケーション情報は、利用者２の位置情報（緯度及び経度）を中心とした所定範囲内に設置された全ての対象物１における対象物１内のエリアについて、そのエリアに対応付けられたアプリケーション等の情報である。エリアに対応付けられているアプリケーションは、例えば、指定ＵＲＬのウェブページの閲覧、指定アドレスへの電子メールの送信、アプリケーションの指定である。また、アプリケーションの起動方法には、例えば、即起動、興味関心度合いに応じた起動、移動体端末５を計測装置４に近づけたときに起動、がある。移動体端末５を計測装置４に近づけたときに起動するとは、計測装置４を近づけたときに反応するセンサが移動体端末５に設けられており、移動体端末５と計測装置４との間の距離が所定距離以上のときにはそのセンサは反応せず、移動体端末５と計測装置４との間の距離が所定距離よりも短いときにそのセンサが反応し、アプリケーションが起動することをいう。

尚、複数のエリア番号に同一のアプリケーションを割り付けるようにしてもよいし、１つのエリア番号に複数のアプリケーションを割り付けるようにしてもよい。また、興味関心度合い（例えば、視点滞留時間、瞳孔径）に応じたアプリケーションを割り付けておき、例えば、所定の設定値以上の興味関心度合いのときに、第１のアプリケーション（例えば、利用者２が興味を示していたエリアに表示されていた商品について、その商品購入用画面を表示するアプリケーション）が起動し、所定の設定値未満の興味関心度合いのときに、第２のアプリケーション（例えば、利用者２が興味を示していたエリアに表示されていた商品について、その商品の詳細な説明用画面を表示するアプリケーション）が起動するように割り付けてもよい。また、利用者２の位置情報（緯度及び経度）、利用者２の方向、時刻等のそれぞれの条件に応じたアプリケーションが起動するように、アプリケーション及びその起動方法を割り付けるようにしてもよい。

また、中央制御部５１１は、計測装置４から機能間通信部５１３を介して、解析データ及び行動結果を受信し、これらのデータを、移動体通信部５１４を介してサービスセンター６へ送信する。

また、中央制御部５１１は、計測装置４から機能間通信部５１３を介して、利用者２が興味を示したときの行動結果（対象物ＩＤ、エリア、そのエリアにおける視点の滞留時間、滞留開始時刻、滞留終了時刻、視線一致エリアである旨）を受信する。そして、中央制御部５１１は、記憶媒体５１２からアプリケーション情報を読み出し、受信した行動結果に含まれる対象物ＩＤ及びエリア（エリア番号）をキーとして、アプリケーション情報に含まれる、エリアに対応付けられるアプリケーション及びアプリケーションの起動方法を取り出す。

中央制御部５１１は、視線一致エリアに対応付けられているアプリケーションを、その起動方法で起動する。利用者２は、アプリケーションの起動に伴い、移動体端末５の画面に表示された情報を見て次の行動等を判断する。中央制御部５１１は、そのときの利用者２による行動、行為、動作を、移動体端末５への操作入力を介して、時刻データを含むコンバージョン情報として収集する。そして、中央制御部５１１は、行動結果、起動したアプリケーション（起動しなかった場合も含む）、起動方法及びコンバージョン情報を、移動体通信部５１４を介してサービスセンター６へ送信する。

〔サービスセンター〕
次に、図２に示したサービスセンター６のサーバ１０について詳細に説明する。図６は、サーバ１０の構成を示すブロック図である。サーバ１０は、情報管理・分析部６１を備えており、情報管理・分析部６１は、移動体通信部６２、対象物情報管理部６３、情報分析部６４及びパラメータ設定部６５を備えている。

対象物情報管理部６３は、管理部６３１、設定部６３２及び記憶媒体６３３を備えている。設定部６３２は、図９に示した対象物情報及び図１０に示したアプリケーション情報を構成する各データを設定し、これらの情報を記憶媒体６３３に格納する。また、設定部６３２は、記憶媒体６３３から対象物情報及びアプリケーション情報を読み出し、これらの情報を構成する各データを修正し、記憶媒体６３３に格納する。つまり、記憶媒体６３３には、位置情報（緯度及び経度）に対応した対象物情報（図９を参照）及びアプリケーション情報（図１０を参照）が格納されている。

管理部６３１は、移動体端末５から移動体通信部６２を介して、取得対象の範囲を示す位置情報を含む対象物情報及びアプリケーション情報取得要求を受信する。管理部６３１は、対象物情報及びアプリケーション情報取得要求に含まれる取得対象の範囲を示す位置情報をキーにして記憶媒体６３３を検索し、その取得対象の範囲の対象物情報及びアプリケーション情報を読み出し、移動体通信部６２を介して移動体端末５へ送信する。これにより、計測装置４は、利用者２の移動に伴い、利用者２の位置情報（緯度及び経度）を中心とした所定範囲内に設けられた対象物１の対象物情報を取得し、記憶媒体４３２に格納することができる。また、移動体端末５も同様に、利用者２の位置情報（緯度及び経度）を中心とした所定範囲内に設けられた対象物１のアプリケーション情報を取得し、記憶媒体５１２に格納することができる。

情報分析部６４は、情報収集部６４１、対象物効果測定部６４２、行動分析部６４３、お薦め情報生成部６４４及び記憶媒体６４５を備えている。情報収集部６４１は、移動体端末５から移動体通信部６２を介して、解析データ、行動結果、利用者２が興味を示したときの行動結果、起動したアプリケーション、起動方法及びコンバージョン情報等を受信し、記憶媒体６４５に格納する。

対象物効果測定部６４２は、利用者２が興味を示したときの行動結果等を用いることにより、対象物１が利用者２の行動に影響を及ぼしているか否かを数値化する。すなわち、対象物効果測定部６４２は、記憶媒体６４５から利用者２が興味を示したときの行動結果等のデータを読み出し、利用者２が注目した対象物において興味を示した視線一致エリア毎に、対象物効果測定結果を算出及び整理し、記憶媒体６４５に格納する。具体的には、対象物効果測定部６４２は、利用者２が興味を示したときの行動結果に含まれる視点滞留時間と、その時間において解析データに含まれる瞳孔径とを、視点の滞留開始時刻から滞留終了時刻までの間で積分処理を行い、その積分値である興味度を算出する。また、対象物効果測定部６４２は、最初に起動したアプリケーションの名称等を特定し、利用者２の行動、行為等を示すコンバージョン情報を特定する。起動したアプリケーションがない場合には、未起動のアプリケーションの名称等を特定する。コンバージョン情報には、例えば、アプリケーションの起動によって画面に表示された商品についての詳細な情報を取得するための操作、その商品の申し込み、購入決済等の操作がある。

また、対象物効果測定部６４２は、利用者２が興味を示した視線一致エリアが判定されてからアプリケーションが起動するまでの間の時間（Ｔ１）を算出し、アプリケーションが起動してから所定の行為を行うまでの間の時間（Ｔ２）を算出する。Ｔ２の算出において、所定の行為とは、例えば、アプリケーションの起動によって画面に表示された商品を購入する操作をいう。対象物効果測定部６４２は、所定の行為がコンバージョン情報に含まれている場合は時間Ｔ２を算出し、含まれていない場合は時間Ｔ２を算出しない。前述の例では、商品を購入する操作を行わなかった場合は、時間Ｔ２は算出されない。

また、対象物効果測定部６４２は、興味度、特定したアプリケーション及びコンバージョン情報、時間Ｔ１及び時間Ｔ２に基づいて、評価点（０〜１００点）を算出する。例えば、興味度等のデータにそれぞれ重み付けをして、合計が１００点以下になるように正規化する。これらのデータは、対象物効果測定結果として記憶媒体６４５に格納され、利用者２に通知するために移動体端末５へ送信され、また、有用なマーケティング情報として事業者へ提供される。

図１３は、対象物効果測定結果の構成を示す図である。図１３に示すように、対象物効果測定結果は、利用者２毎のデータであり、対象物、エリア、興味度、アプリケーション、コンバージョン情報、時間Ｔ１、時間Ｔ２及び評価点から構成される。前述したように、これらのデータは、対象物効果測定部６４２によって記憶媒体６４５に格納される。

このように、対象物効果測定部６４２が、利用者２の行動結果を対象物１毎に数値化することにより、利用者２の行動に対する対象物１の有用性を分析することができる。

行動分析部６４３は、利用者２である消費者の行動を分析するために、利用者２毎に、利用者２の行動結果を数値化する。すなわち、行動分析部６４３は、記憶媒体６４５から対象物効果測定結果を読み出し、利用者２毎に各対象物１に対する評価点を整理し、行動分析結果として記憶媒体６４５に格納する。

図１４は、行動分析結果の構成を示す図である。図１４に示すように、行動分析結果は、利用者２毎における各対象物１の評価点から構成される。例えば、利用者２である消費者１は、対象物ａについて評価点が８５、対象物ｂについての評価点が６０であることが示されている。このような行動分析結果は、行動分析部６４３によって記憶媒体６４５に格納される。

このように、行動分析部６４３が、図１４に示した行動分析結果を生成することにより、利用者２である消費者及び消費者モニターについて、対象物１が示す商品の購買パターン及び消費行動パターンを分析することができる。また、第１の利用者２の行動分析結果を、その第１の利用者２のグループ（年齢、性別、性格等）に属する他の利用者２に用いることにより、例えば、同じアプリケーションを起動して同じ商品情報を提示することにより、他の利用者２は所望する商品情報を見ることができ、結果として商品の購買を促進することができる。

尚、前記実施形態では、商品に対する消費行動を分析する例を示したが、アミューズメントパーク等の娯楽性の強い施設においても適用することができる。

お薦め情報生成部６４４は、利用者２である消費者の行動分析結果を、お薦め情報として整理し、リアルタイムに利用者２に提示する。すなわち、お薦め情報生成部６４４は、記憶媒体６４５から対象物効果測定結果及び行動分析結果を読み出し、起動したアプリケーション及びコンバージョン情報から商品名及び店舗名を特定し、購買点を決定し、興味度及び総合点（評価点）を含めたお薦め情報を生成し、記憶媒体６４５に格納し、利用者２が携帯する移動体端末５へ送信する。商品名及び店舗名は、例えば、アプリケーションの起動によって画面に表示される複数のデータに含まれており、利用者２が操作によって選択されたものとする。購買点は、予め点数が付けられたコンバージョン情報から決定される。例えば、アプリケーションの起動によって画面に表示された商品についての詳細な情報を取得するための操作をした場合の点数、その商品の申し込みの操作をした場合の点数、購入決済等の操作をした場合の点数等が予め用意されており、お薦め情報生成部６４４は、実際のコンバージョン情報に対応した点数を購買点として決定する。また、興味度及び総合点（評価点）は、対象物効果測定結果から取り出される。

図１５は、お薦め情報の構成を示す図である。図１５に示すように、お薦め情報は、利用者２毎、商品名及び店舗名における興味度、購買度及び総合点（評価点）により構成される。このようなお薦め情報は、お薦め情報生成部６４４によって記憶媒体６４５に格納される。

このように、お薦め情報生成部６４４が、利用者２に対するお薦め情報を生成し利用者２へ提示することにより、利用者２は、自らの興味に沿った商品及び店舗等について認識することができる。例えば、お薦め情報生成部６４４は、対象物１が設置されている対象地域の商店街及びショッピングセンター等に限定したお薦め情報を利用者２へ提示することができる。

パラメータ設定部６５は、情動反応重み値設定部６５１、有意時間しきい値設定部６５２及び記憶媒体６５３を備えている。パラメータ設定部６５は、計測装置４及び移動体端末５が動作するために必要な各種パラメータを設定し、移動体通信部６２を介して送信する。ここで、パラメータ設定部６５による各種パラメータの設定には、計測装置４及び移動体端末５に対し、所定の動作をさせるために必要なパラメータを設定することに加え、ある動作をしている計測装置４及び移動体端末５に対して新たな動作をさせるために、既に設定されてるパラメータを変更することも含まれる。設定した各種パラメータは、記憶媒体６５３に格納される。例えば、計測装置４における行動分析・アプリケーション制御部４３のデータ転送管理制御部４３５は、利用者２の位置情報（緯度及び経度）を中心とした所定範囲内の対象物情報を取得する。この場合、パラメータ設定部６５は、その所定範囲を定める距離を設定して送信する。また、計測装置４における行動分析・アプリケーション制御部４３の画像解析・エリア興味分析部４３４は、利用者２が興味を示した視線一致エリアを判定する際にその設定値を設定して送信する。このように、パラメータ設定部６５は、計測装置４及び移動体端末５が動作するために必要な各種パラメータを設定し変更するようにしたから、サービスセンター６側から計測装置４及び移動体端末５を制御することができる。尚、情動反応重み値設定部６５１、有意時間しきい値設定部６５２及び記憶媒体６５３の詳細については、後述する図１６及び図１７を用いた本発明の他の実施形態が適用される全体システムにおいて説明する。

以上のように、本発明の実施形態によれば、計測装置４は、利用者２の位置情報（緯度及び経度）及び方向、並びに対象物情報に含まれる対象物１の位置情報（緯度及び経度）に基づいて、利用者２が注目する対象物１を特定するようにした。これにより、利用者２が移動している場合であっても、複数の対象物の中から利用者２が注目している対象物１を特定することができる。

また、本発明の実施形態によれば、計測装置４は、視野映像内のマーカを識別し、対象物情報に含まれるマーカの形式及び位置情報、エリアとマーカとの関係情報、興味関心度合い、利用者２の視点のデータから、その対象物１内において視点が存在するエリアを判定し、利用者２が興味を示している視線一致エリアを判定することができる。

また、本発明の実施形態によれば、移動体端末５は、対象物１内で利用者２が興味をもっているエリアに対応付けられたアプリケーションを、アプリケーション情報に基づいて特定し起動するようにした。これにより、アプリケーションの起動に伴い、例えば画面表示された情報に基づいた利用者２の行動等のコンバージョン情報を得ることができ、利用者２の行動を分析することできる。

このように、本発明の実施形態によれば、移動する利用者２が注目している対象物１を特定し、その対象物１内で興味を示しているエリアを判定すると共に、利用者２の視線に基づいた情動反応を算出して客観的な結果を得るようにした。これにより、移動している利用者２に対して、客観的な行動分析を行うことができる。したがって、アンケート等の主観的な手段ではなく、客観的な手段を用いるようにしたから、行動要因分析の高精度化を実現することが可能となる。

〔変形例〕
次に、図２に示したシステムの変形例について説明する。図１６は、本発明の他の実施形態が適用される全体システムを示すブロック図である。このシステムは、図２に示したシステムと同様に、計測装置４、移動体端末５、及びサービスセンター６のサーバ１０により、対象物１内の特定のエリアに興味を示す利用者２について、その行動を分析することを目的とするものである。図２に示したシステムと、図１６に示すシステムとを比較すると、図１６の計測装置４は、図２の計測装置４における眼球運動解析部４１、位置方向解析部４２及び行動分析・アプリケーション制御部４３に加えて、さらに、生理反応解析部４４及び外界条件解析部４５を備えている点で相違する。また、この相違に伴い、計測装置４の行動分析・アプリケーション制御部４３及びサーバ１０の情報管理・分析部６１による処理が相違する。

図１６において、計測装置４は、眼球運動解析部４１、位置方向解析部４２、行動分析・アプリケーション制御部４３、生理反応解析部４４及び外界条件解析部４５を備えている。眼球運動解析部４１及び位置方向解析部４２については、図２のものと同様であるので、ここでは説明を省略する。

生理反応解析部４４は、利用者２の所定箇所に付けられた脇下体温センサ及び体表センサから各種センサデータを入力し、入力した各種センサデータを解析し、体温、脈拍、体表温度及び発汗量を行動分析・アプリケーション制御部４３に出力する。脇下体温センサは、利用者２の脇の下に付けられ、体温を検出するためのデータを出力する。体表センサは、例えば、下着または腕時計に付けられ、脈拍、体表温度及び発汗量を検出するためのデータを出力する。脈拍計を耳たぶに付けるようにしてもよい。

外界条件解析部４５は、利用者２が保持している温度センサ、湿度センサ及び光量センサから各種センサデータを入力し、入力した各種センサデータを解析し、利用者２の周囲環境の外界条件に関するデータである外気温、湿度及び光量を行動分析・アプリケーション制御部４３に出力する。

行動分析・アプリケーション制御部４３は、対象物１の対象物情報を取得するための対象物取得要求を移動体端末５へ送信し、対象物情報を受信して記憶媒体に記憶する。また、行動分析・アプリケーション制御部４３は、眼球運動解析部４１から利用者２の視点及び瞳孔径並びに視野映像を、位置方向解析部４２から利用者２の位置情報（緯度及び経度）及び方向を、生理反応解析部４４から利用者２の体温、脈拍、体表温度及び発汗量を、外界条件解析部４５から外気温、湿度及び光量をそれぞれ入力する。そして、行動分析・アプリケーション制御部４３は、入力したこれらのデータを時系列に記憶媒体に格納する。

また、行動分析・アプリケーション制御部４３は、利用者２が注目している対象物１を特定し、対象物１について、利用者２が興味を示しているエリアである視線一致エリアを判定し、視線一致エリアの情動反応を算出し、算出した情動反応の値が所定の閾値より大きくなる時間帯を有意時間として設定し、これらの行動結果を記憶媒体に格納すると共に移動体端末５へ送信する。行動分析・アプリケーション制御部４３は、有意時間における各データに対し、興味誘導要因としてフラグ付けする。

以下、行動分析・アプリケーション制御部４３による情動反応の算出及び有意時間の設定等の処理について詳細に説明する。行動分析・アプリケーション制御部４３によるその他の処理については図２〜図４を用いて既に説明済みであるので、ここでは詳細な説明を省略する。

行動分析・アプリケーション制御部４３のデータ同期管理制御部４３３は、位置方向解析部４２から利用者２の位置情報（緯度及び経度）及び方向を入力すると共に、外界条件解析部４５から外気温、湿度及び光量を入力し、入力したこれらのデータを同期させ、同期した位置情報（緯度及び経度）、方向、外気温、湿度及び光量を画像解析・エリア興味分析部４３４に出力する。

画像解析・エリア興味分析部４３４は、眼球運動解析部４１から視点、瞳孔径及び視野映像を、生理反応解析部４４から体温、脈拍、体表温度及び発汗量を、データ同期管理制御部４３３から同期した位置情報（緯度及び経度）、方向、外気温、湿度及び光量をそれぞれ入力する。

そして、画像解析・エリア興味分析部４３４は、前述のように、対象物１を特定し、特定した対象物１において利用者２が興味を示している視線一致エリアを判定すると共に、瞳孔径、体温、脈拍、体表温度及び発汗量の時系列データ（各データは同期しているものとする）に基づいて情動反応を算出する。具体的には、画像解析・エリア興味分析部４３４は、瞳孔径の時系列データをｐ（ｔ）、体温の時系列データをａ（ｔ）、脈拍の時系列データをｂ（ｔ）、体表温度の時系列データをｃ（ｔ）、発汗量の時系列データをｄ（ｔ）、各時系列データへの重み値をそれぞれＰ，Ａ，Ｂ，Ｃ，Ｄ、定数をＳとすると、以下の式により情動反応Ｅ（ｔ）を算出する。
Ｅ（ｔ）＝Ｐ・ｐ（ｔ）＋Ａ・ａ（ｔ）＋Ｂ・ｂ（ｔ）＋Ｃ・ｃ（ｔ）＋Ｄ・ｄ（ｔ）＋Ｓ

画像解析・エリア興味分析部４３４は、算出した情動反応Ｅ（ｔ）と所定の閾値ｔｈとを比較し、情動反応Ｅ（ｔ）が閾値ｔｈ以上の場合に、その時間帯を有意時間として設定し、その時間帯のデータに対し興味誘導要因としてラベル付けをする。すなわち、以下の式により、Ｊ（ｔ）＝１のときのｔを有意時間として設定する。
Ｊ（ｔ）＝１（ｉｆ Ｅ（ｔ）≧ｔｈ）
＝０（ｅｌｓｅ）

そして、画像解析・エリア興味分析部４３４は、特定した対象物１を識別するための対象物ＩＤ、エリア、視点、瞳孔径、視野映像、体温、脈拍、体表温度、発汗量、利用者２の位置情報（緯度及び経度）、利用者２の方向、外気温、湿度、光量、重み付けした瞳孔径の時系列データＰ・ｐ（ｔ）等、情動反応Ｅ（ｔ）及びラベルを時刻データと共に解析データとして記憶媒体４３２に格納する。解析データは、移動体端末５を介してサービスセンター６へ送信される。

図１７は、有意時間を説明する図である。図１７に示すように、情動反応Ｅ（ｔ）が閾値ｔｈよりも大きい時間帯をｔ１〜ｔ２，ｔ３〜ｔ４とすると、有意時間はｔ１〜ｔ２，ｔ３〜ｔ４となる。したがって、時間ｔ１〜ｔ２，ｔ３〜ｔ４においてＪ（ｔ）＝１となるから、解析データは、有意時間ｔ１〜ｔ２，ｔ３〜ｔ４の各データにラベルが付けられ、有意時間ｔ１〜ｔ２，ｔ３〜ｔ４における各データが興味誘導要因となる。

また、画像解析・エリア興味分析部４３４は、前述のとおり、特定した対象物１を識別するための対象物ＩＤ、判定した視線一致エリア、その視線一致エリアにおける視点の滞留時間、滞留開始時刻及び滞留終了時刻からなる行動結果を生成し、その行動結果を記憶媒体４３２に格納する。行動結果は、移動体端末５を介してサービスセンター６へ送信される。

また、データ転送管理制御部４３５は、前述のとおり、視線一致エリアを判定し、視点が視線一致エリアから外れたときに、利用者２が興味を示したときの行動結果（対象物ＩＤ、エリア、そのエリアにおける視点の滞留時間、滞留開始時刻、滞留終了時刻、視線一致エリアである旨）を送信するようにアプリケーション管理制御部４３１を介してデータ転送管理制御部４３５に指示する。そして、データ転送管理制御部４３５は、利用者２が興味を示したときの行動結果を、機能間通信部４３６を介して移動体端末５へ送信する。移動体端末５は、前述のとおり、計測装置４から利用者２が興味を示したときの行動結果を受信すると、その行動結果に対応するアプリケーションをアプリケーション情報から特定し、そのアプリケーションを起動する。また、データ転送管理制御部４３５は、所定の周期にて記憶媒体４３２から解析データ及び行動結果を読み出し、機能間通信部４３６を介して移動体端末５へ送信する。

次に、図６に示したサーバ１０における情報管理・分析部６１のパラメータ設定部６５について説明する。パラメータ設定部６５は、前述のとおり、情動反応重み値設定部６５１、有意時間しきい値設定部６５２及び記憶媒体６５３を備えている。情動反応重み値設定部６５１は、情動反応Ｅ（ｔ）を算出する際に用いる瞳孔径、体温、脈拍、体表温度及び発汗量の時系列データの重み値を設定し、移動体通信部６２を介して送信する。設定した重み値は記憶媒体６５３に格納される。また、情動反応重み値設定部６５１は、記憶媒体６５３から重み値を読み出して修正し、移動体通信部６２を介して送信すると共に、記憶媒体６５３に格納する。

また、有意時間しきい値設定部６５２は、有意時間を算出する際に用いる閾値ｔｈを設定し、移動体通信部６２を介して送信する。設定した閾値ｔｈは記憶媒体６５３に格納される。また、有意時間しきい値設定部６５２は、記憶媒体６５３から閾値ｔｈを読み出して修正し、移動体通信部６２を介して送信すると共に、記憶媒体６５３に格納する。

また、パラメータ設定部６５は、情動反応Ｅ（ｔ）を算出する際に用いる時系列データの項目を設定し、移動体通信部６２を介して送信すると共に、記憶媒体６５３に格納する。これにより、情動反応Ｅ（ｔ）は、計測装置４の行動分析・アプリケーション制御部４３において、パラメータ設定部６５により設定された時系列データの項目で算出される。このように、パラメータ設定部６５は、計測装置４及び移動体端末５が動作するために必要な、重み値及び閾値ｔｈ等の各種パラメータを設定し変更するようにしたから、サービスセンター６側から計測装置４及び移動体端末５を制御することができる。

以上のように、本発明の他の実施形態によれば、移動している利用者２が注目する対象物１を特定し、その対象物１内で興味をもったエリアを判定すると共に、利用者２の視線に基づいた情動反応Ｅ（ｔ）を算出して客観的な結果を得るようにした。これにより、移動している利用者２に対して、客観的な行動分析を行うことができる。したがって、アンケート等の主観的な手段ではなく、客観的な手段を用いるようにしたから、行動要因分析の高精度化を実現することが可能となる。

また、本発明の他の実施形態によれば、サーバ１０の情報管理・分析部６１は、情動反応Ｅ（ｔ）を算出するために必要な各時系列データの重み値Ｐ等を設定するようにした。また、情報管理・分析部６１は、有意時間を算出するために必要な閾値ｔｈを設定するようにした。これにより、利用者２に応じて重み値Ｐ及び閾値ｔｈを設定することができるから、利用者２の体調、体質、環境等に応じた精度の高い情動反応Ｅ（ｔ）を算出することができる。したがって、行動要因分析の高精度化を実現することができる。

以上、図２及び図１６に示したシステムを用いて本発明の実施形態を説明したが、さらに、興味関心度合いの大きさに応じて、視野映像のズームアップ度及び解像度を変更するようにしてもよい。具体的には、画像解析・エリア興味分析部４３４は、利用者２が実際に対象物１を見ているときの興味関心度合い（例えば、視点滞留時間、瞳孔径の大きさ、図１６の変形例における情動反応でもよい）を、前述したように算出する。そして、図示しないズーム制御部は、画像解析・エリア興味分析部４３４から興味関心度合いを入力し、閾値判定により興味関心度合いが大きいと判定したときは、ズームアップ度が大きくなるようにズームアップ度を設定し、視線方向映像用カメラ８のズームを制御する。これにより、視線方向映像解析部４１２及び画像解析・エリア興味分析部４３４は、図示しないズーム制御部により制御されたズームアップ度による視野映像を入力することができる。したがって、興味関心度合いに応じた行動分析を行うことができる。つまり、興味関心度合いが大きい場合は、鮮明な視野映像を得て利用者２が注目している箇所を一層明確にすることができるから、より以上に正確な行動分析を行うことができる。

また、視線方向映像解析部４１２は、画像解析・エリア興味分析部４３４から興味関心度合いを入力し、閾値判定により興味関心度合いが大きいと判定したときは、解像度が高くなるように解像度を設定し、その解像度による視野映像を生成して出力する。これにより、画像解析・エリア興味分析部４３４は、興味関心度合いが大きい場合に高い解像度の視野映像を入力することができる。したがって、興味関心度合いに応じた行動分析を行うことができる。つまり、興味関心度合いが大きい場合は、鮮明な視野映像を得て利用者２が注目している箇所を一層明確にすることができるから、より以上に正確な行動分析を行うことができる。

この場合、サーバ１０における情報管理・分析部６１のパラメータ設定部６５は、前述した図示しないズーム制御部及び視線方向映像解析部４１２における閾値のパラメータを設定し変更することができる。また、通常時のズームアップ度及び解像度、興味関心度合いが大きいときのズームアップ度及び解像度を含む、興味関心度合いに応じたズームアップ度及び解像度を設定し変更することができる。

尚、計測装置４、移動体端末５及びサーバ１０は、それぞれＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。図２に示した計測装置４に備えた眼球運動解析部４１、位置方向解析部４２及び行動分析・アプリケーション制御部４３の各機能、及び図１６に示した眼球運動解析部４１、位置方向解析部４２、行動分析・アプリケーション制御部４３、生理反応解析部４４及び外界条件解析部４５の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、移動体端末５に備えた機能制御部５１の機能は、この機能を記述したプログラムをＣＰＵに実行させることにより実現される。また、サーバ１０に備えた情報管理・分析部６１の機能は、この機能を記述したプログラムをＣＰＵに実行させることにより実現される。また、これらのプログラムは、磁気ディスク（フロッピィー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、前記実施形態では、めがね３を用いるようにしたが、必ずしもめがね３である必要はなく、例えば、カメラが設けられた帽子であってもよい。要するに、カメラによって、利用者２の眼球画像及び視野映像が撮影されればよい。

また、前記実施形態では、計測装置４が瞳孔径を含む解析データを生成し、記憶媒体４３２に格納するようにしたが、必ずしも瞳孔径を含む必要はなく、例えば、瞬目回数、視点の滞留時間であってもよい。要するに、眼球画像から得られる利用者２の興味関心度合いまたは情動反応に関するデータであればよい。

また、前記実施形態では、計測装置４が視点滞留時間を含む行動結果を生成し、記憶媒体４３２に格納するようにしたが、必ずしも視点滞留時間である必要はなく、例えば、瞳孔径、瞬目回数であってもよい。要するに、眼球画像から得られる利用者２の興味関心度合いまたは情動反応に関するデータであればよい。

また、前記実施形態では、計測装置４が、生理反応データとして体温、脈拍、体表温度及び発汗量を扱うようにしたが、必ずしもこれらのデータである必要はなく、利用者２の生理反応に関するデータであればよい。また、前記実施形態では、計測装置４が、環境条件である外界条件のデータとして外気温、湿度及び光量を扱うようにしたが、必ずしもこれらのデータである必要はなく、利用者２の周囲の環境に関するデータであればよい。

本発明の実施形態が適用される全体システムの概略図である。 本発明の実施形態が適用される全体システムの構成を示すブロック図である。 全体の処理を説明する機能フロー図である。 計測装置の構成を示すブロック図である。 移動体端末の構成を示すブロック図である。 サーバの構成を示すブロック図である。 対象物、視野映像、視線一致場所及びマーカを説明する図である。 視線一致エリアを判定する処理を説明する図である。 対象物情報の構成を示す図である。 アプリケーション情報の構成を示す図である。 解析データの構成を示す図である。 行動結果の構成を示す図である。 対象物効果測定結果の構成を示す図である。 行動分析結果の構成を示す図である。 お薦め情報の構成を示す図である。 本発明の他の実施形態が適用される全体システムの構成を示すブロック図である。 有意時間を説明する図である。

符号の説明

１ 対象物
２ 利用者
３ めがね
４ 計測装置
５ 移動体端末
６ サービスセンター
７ ネットワーク
８ 視野映像用カメラ
９ 眼球画像用カメラ
１０ サーバ
４１ 眼球運動解析部
４２ 位置方向解析部
４３ 行動分析・アプリケーション制御部
４４ 生理反応解析部
４５ 外界条件解析部
５１ 機能制御部
６１ 情報管理・分析部
６２ 移動体通信部
６３ 対象物情報管理部
６４ 情報分析部
６５ パラメータ設定部
４１１ 視点・瞳孔径解析部
４１２ 視野映像解析部
４２１ 緯度経度解析部
４２２ 方向解析部
４３１ アプリケーション管理制御部
４３２ 記憶媒体
４３３ データ同期管理制御部
４３４ 画像解析・エリア興味分析部
４３５ データ転送管理制御部
４３６ 機能間通信部
５１１ 中央制御部
５１２ 記憶媒体
５１３ 機能間通信部
５１４ 移動体通信部
６３１ 管理部
６３２ 設定部
６３３ 記憶媒体
６４１ 情報収集部
６４２ 対象物効果測定部
６４３ 行動分析部
６４４ お薦め情報生成部
６４５ 記憶媒体
６５１ 情動反応重み値設定部
６５２ 有意時間しきい値設定部
６５３ 記憶媒体

Claims (9)

1. 移動する利用者が携帯する装置であって、前記移動する利用者が注目している対象物を特定し、前記対象物内に配置された複数のマーカにより囲まれるエリアを判定し、前記エリアに関するアプリケーションを起動する端末装置において、
   対象物の存在位置を示す位置情報、前記対象物内に配置されたマーカの存在位置を示す位置情報、及び、複数のマーカにより囲まれる前記エリアと前記マーカとの関係を示す関係情報を含む対象物情報を記憶する対象物情報記憶手段と、
   前記対象物内のエリアと前記エリアに関するアプリケーションを起動するためのアプリケーション情報とを対応付けて記憶するアプリケーション情報記憶手段と、
   前記利用者の移動に伴って変化する移動距離が所定距離以上である場合に、前記利用者の現在の存在位置を基点とした所定範囲を定める情報を含む取得要求を、ネットワークを介して、対象物情報及びアプリケーション情報を管理するサーバへ送信し、前記サーバから、前記取得要求における所定範囲内に設置された対象物についての対象物情報、及び前記対象物内のエリアに対応付けられたアプリケーション情報を受信し、前記対象物情報記憶手段及びアプリケーション情報記憶手段にそれぞれ格納する対象物情報及びアプリケーション情報収集手段と、
   前記対象物情報記憶手段に格納された対象物の位置情報を読み出し、前記利用者の現在の存在位置を基点とした前記利用者が向いている方向の所定範囲内に、前記読み出した対象物の位置情報が示す存在位置が含まれる場合に、前記対象物を、前記利用者が注目している対象物として特定する対象物特定手段と、
   前記利用者が向いている前方が撮影された視野映像から、前記対象物特定手段により特定された対象物に配置されたマーカを識別し、前記識別したマーカの位置情報を前記対象物情報記憶手段から読み出し、前記利用者が見ている視点位置と、前記読み出したマーカの位置情報が示すマーカ位置とにより、前記視点位置を囲む複数のマーカを特定し、前記対象物情報記憶手段に格納されたマーカとエリアとの関係情報を読み出し、前記複数のマーカが囲むエリアを特定し、前記特定したエリアに前記利用者の視点位置が所定時間以上滞留している場合に、前記特定したエリアを、前記利用者が注目している対象物内のエリアとして判定するエリア判定手段と、
   前記アプリケーション情報記憶手段から、前記エリア判定手段により判定されたエリアに対応付けられた複数のアプリケーション情報を読み出し、前記エリアへの視点滞留時間に応じて、前記複数のアプリケーション情報のうちの一つを特定してアプリケーションを起動するアプリケーション起動手段と、
   前記アプリケーション起動手段によるアプリケーションの起動に伴って、前記利用者による入力操作を、前記利用者が注目していた対象物内のエリアに対する行動情報として収集する情報収集手段と、
   を備えたことを特徴とする端末装置。
2. 請求項１に記載の端末装置において、
   前記エリア判定手段は、前記特定したエリアに前記利用者の視点位置が存在し、前記利用者の眼球の瞳孔径が所定長以上である場合に、前記特定したエリアを、前記利用者が注目している対象物内のエリアとして判定する、ことを特徴とする端末装置。
3. 請求項１または２に記載の端末装置において、
   前記アプリケーション起動手段は、前記アプリケーション情報記憶手段から、前記エリア判定手段により判定されたエリアに対応付けられた複数のアプリケーション情報を読み出し、前記エリアに視点が滞留したときの眼球の瞳孔径に応じて、前記複数のアプリケーション情報のうちの一つを特定してアプリケーションを起動する、ことを特徴とする端末装置。
4. 請求項１から３までのいずれか一項に記載の端末装置において、
   前記アプリケーション情報を、ウェブページを指定するＵＲＬとする、ことを特徴とする端末装置。
5. 移動する利用者が携帯する装置が、対象物の存在位置を示す位置情報、前記対象物内に配置されたマーカの存在位置を示す位置情報、及び、複数のマーカにより囲まれるエリアと前記マーカとの関係を示す関係情報を含む対象物情報を記憶する対象物情報記憶手段と、前記対象物内のエリアと前記エリアに関するアプリケーションを起動するためのアプリケーション情報とを対応付けて記憶するアプリケーション情報記憶手段と、対象物情報及びアプリケーション情報収集手段と、対象物特定手段と、エリア判定手段と、アプリケーション起動手段と、情報収集手段とを備え、前記移動する利用者が注目している対象物を特定し、前記対象物内に配置された複数のマーカにより囲まれるエリアを判定し、前記エリアに関するアプリケーションを起動する情報処理方法において、
   前記対象物情報及びアプリケーション情報収集手段が、前記利用者の移動に伴って変化する移動距離が所定距離以上である場合に、前記利用者の現在の存在位置を基点とした所定範囲を定める情報を含む取得要求を、ネットワークを介して、対象物情報及びアプリケーション情報を管理するサーバへ送信し、前記サーバから、前記取得要求における所定範囲内に設置された対象物についての対象物情報、及び前記対象物内のエリアに対応付けられたアプリケーション情報を受信し、前記対象物情報記憶手段及びアプリケーション情報記憶手段にそれぞれ格納する第１のステップと、
   前記対象物特定手段が、前記対象物情報記憶手段に格納された対象物の位置情報を読み出し、前記利用者の現在の存在位置を基点とした前記利用者が向いている方向の所定範囲内に、前記読み出した対象物の位置情報が示す存在位置が含まれる場合に、前記対象物を、前記利用者が注目している対象物として特定する第２のステップと、
   前記エリア判定手段が、前記利用者が向いている前方が撮影された視野映像から、前記対象物特定手段により特定された対象物に配置されたマーカを識別し、前記識別したマーカの位置情報を前記対象物情報記憶手段から読み出し、前記利用者が見ている視点位置と、前記読み出したマーカの位置情報が示すマーカ位置とにより、前記視点位置を囲む複数のマーカを特定し、前記対象物情報記憶手段に格納されたマーカとエリアとの関係情報を読み出し、前記複数のマーカが囲むエリアを特定し、前記特定したエリアに前記利用者の視点位置が所定時間以上滞留している場合に、前記特定したエリアを、前記利用者が注目している対象物内のエリアとして判定する第３のステップと、
   前記アプリケーション起動手段が、前記アプリケーション情報記憶手段から、前記エリア判定手段により判定されたエリアに対応付けられた複数のアプリケーション情報を読み出し、前記エリアへの視点滞留時間に応じて、前記複数のアプリケーション情報のうちの一つを特定してアプリケーションを起動する第４のステップと、
   前記情報収集手段が、前記アプリケーション起動手段によるアプリケーションの起動に伴って、前記利用者による入力操作を、前記利用者が注目していた対象物内のエリアに対する行動情報として収集する第５のステップと、
   を有することを特徴とする情報処理方法。
6. 請求項５に記載の情報処理方法において、
   前記第３のステップは、前記エリア判定手段が、前記特定したエリアに前記利用者の視点位置が存在し、前記利用者の眼球の瞳孔径が所定長以上である場合に、前記特定したエリアを、前記利用者が注目している対象物内のエリアとして判定する、ことを特徴とする情報処理方法。
7. 請求項５または６に記載の情報処理方法において、
   前記第４のステップは、前記アプリケーション起動手段が、前記アプリケーション情報記憶手段から、前記エリア判定手段により判定されたエリアに対応付けられた複数のアプリケーション情報を読み出し、前記エリアに視点が滞留したときの眼球の瞳孔径に応じて、前記複数のアプリケーション情報のうちの一つを特定してアプリケーションを起動する、ことを特徴とする情報処理方法。
8. 請求項５から７までのいずれか一項に記載の情報処理方法において、
   前記アプリケーション情報を、ウェブページを指定するＵＲＬとする、ことを特徴とする情報処理方法。
9. 請求項５から８までのいずれか一項に記載の情報処理方法をコンピュータに実行させることを特徴とする情報処理プログラム。

Images