JP5315111B2 - 端末装置、情報提示システム及び端末画面表示方法 - Google Patents

Description

本発明は、端末装置、情報提示システム及び端末画面表示方法に関するものである。

携帯電話事業における移動体通信技術は、アナログ方式の第一世代から、音声通話に加えてデジタル技術によるデータ通信を実現したＰＤＣ方式やＧＳＭ方式等の第二世代を経て、現在ではより高速なデータ通信やマルチメディアを利用した各種サービスを提供するＷ−ＣＤＭＡ等の第三世代へと発達を続けている。また、このような通信技術を利用する移動体通信端末においてもＣＰＵ等のプロセッサ、メモリ、各種周辺デバイスおよび実装技術の各分野で技術革新が進められた結果、多機能化と高機能化の双方で飛躍的な進歩を達成している。

このように移動体通信および端末に関する技術が高度に発達したことにより、音声通話に加えて、テレビ通話、電子メール、Ｗｅｂブラウジング、チャット等の様々な通信サービスが携帯電話で実現されている。また、多機能化した端末には液晶／有機ＥＬ表示モジュール、カメラモジュール、非接触ＩＣカードモジュール、赤外線通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信モジュール、ＷｉＦｉ通信モジュール、ＧＰＳモジュールのような各種デバイスが搭載されている。さらに、端末の多機能化はソフトウェアの面でも進んでおり、各種モジュールを制御する種々のアプリケーションソフト、また各種ビューワ、マルチメディアプレーヤ、ブラウザ、メーラ、ゲーム、ＰＩＭ等のアプリケーションソフトがオペレーティングシステム上に実装されており、マルチタスク機能により複数のアプリケーションを同時並行的に実行することで極めて高度な機能が実現可能となっている。

一方、情報処理の分野では、コンピュータグラフィックスにより仮想的な現実空間を構成する仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、現実空間の映像をコンピュータで処理して情報を付加する拡張現実感（ＡＲ；Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）に関する研究が進められており、特に最近では拡張現実感技術（ＡＲ技術）が注目されている。ＡＲ技術の実現方法には様々な態様が考えられるが、その一つにカメラ付き携帯電話を利用したものを挙げることができる。例えば米国ＭＯＢＩＬＩＺＹ社は、携帯電話向けオープンプラットフォームの一つであるＡｎｄｒｏｉｄ向けに、カメラでキャプチャーした実空間の風景映像に観光情報を付加して表示するトラベルガイドのアプリケーション製品を提供している。このアプリケーションは、端末の位置情報（ＧＰＳ測位またはユーザのマニュアル入力による）をサーバに送信し、サーバに予め登録された情報のうち周辺の観光情報をサーバから端末へレスポンスさせ、取得した観光情報を風景映像に付加して表示することにより拡張現実感を実現するものである。

また、特許第３７０００２１号には、カメラでイメージを取得するとともにカメラの位置および姿勢を測定し、測定されたカメラの位置および姿勢から記憶装置の所定アドレスに格納されたデータを読み出し、読み出されたデータをカメラで取得したイメージに結合させて表示するＡＲ技術について開示されている。

特許第３７０００２１号公報

カメラでキャプチャーした実空間の映像に情報を表示する拡張現実感技術においては、情報を情報バルーン、アイコン等のグラフィックスオブジェクトとして実空間の映像に重畳することになるが、表示する情報の量が多くなると画面は非常に煩雑となり、さらにグラフィックスオブジェクトが重なり合うようになると視認、ならびに操作対象としての選択も難しくなる。このような問題は小型の表示装置が使用されている携帯電話やＰＤＡ等のモバイル端末では特に顕著である。さらに、近時のモバイル端末にはタッチパネルを採用したものもあるが、画面上にグラフィックスオブジェクトが密集している状態でタッチパネルを操作することは極めて困難である。

上記事情に鑑み、本発明は、実空間の映像に表示する情報の量が多くなっても画面の煩雑化を抑制することができる端末装置、情報提示システム及び端末画面表示方法を提供することを目的とする。

すなわち本発明に係る端末装置は、実空間の映像を取得するカメラ部と、画面を表示する表示部と、位置情報に関連付けられた拡張現実感情報を記憶した記憶部と、前記各部の動作を制御するとともに情報処理機能を実現する制御部とを備え、前記制御部は、前記カメラ部により取得された実空間の前記映像を前記表示部に表示させるとともに、前記拡張現実感情報と対応するグラフィックスオブジェクトの表示位置を決定し、実空間の前記映像に前記グラフィックスオブジェクトを前記表示位置で重畳して前記表示部に描画させる処理を行う端末装置であって、前記制御部は、前記拡張現実感情報と関連付けされている前記位置情報に基づいて前記表示位置を決定し、前記位置情報が相互に近接している複数の前記拡張現実感情報を１つの集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行い、現在地点からの距離が遠い地点に関連付けされた前記拡張現実感情報ほど複数の拡張現実感情報の間で前記位置情報が相互に近接していると判定する範囲を拡大することを特徴として構成される。

本発明に係る端末装置によれば、制御部により、表示位置が近接する複数の拡張現実感情報を、１つの集合グラフィックスオブジェクトとして表示部に表示させることができる。このため、近接した複数の拡張現実感情報が表示されることがないので、画面の複雑化を回避することができる。また、実空間で近接するものをまとめて表示できるので、実空間での位置関係を視覚で表現することが可能となるとともに、ユーザにとって分かり易い表示とすることができる。さらに、制御部により、グラフィックスオブジェクトの表示位置が撮影位置から遠い地点となるほど１つの集合グラフィックスオブジェクトとしてまとめて表示部に表示され易くなる。このため、表示が視認しにくくなるほど１つにまとめて表示することができるので、画面の簡素化を一層図ることができる。

また、前記制御部は、前記拡張現実感情報の種類に応じた前記グラフィックスオブジェクトを前記表示部に描画させる処理を行い、前記集合グラフィックスオブジェクトは、所定の条件で並べられた複数の前記グラフィックスオブジェクトが重なり合った形状であることが好適である。このように構成することで、集合グラフィックスオブジェクトが複数のグラフィックスオブジェクトを含むことを容易に視認することができるとともに、例えばユーザにとって情報検索し易い表示とすることが可能となる。

また、前記制御部は、前記集合グラフィックスオブジェクトを選択するユーザの操作を検出した場合には、当該集合グラフィックスオブジェクトとして前記表示部に表示させている複数の前記拡張現実感情報の前記グラフィックスオブジェクトを、環状に並べて前記表示部に表示させる処理を行うことが好適である。このように構成することで、制御部により、ユーザの操作を検出すると集合グラフィックスオブジェクトとしてまとめられたグラフィックスオブジェクトが環状に展開される。このため、画面の簡素化を図りつつユーザが必要とする場合のみ詳細な情報を表示することが可能となるユーザインターフェイスを提供することができる。

また、前記制御部は、１つの前記集合グラフィックスオブジェクトとして前記表示部に表示させている前記拡張現実感情報の数が、環状に並べて一度に表示可能な前記グラフィックスオブジェクトの数よりも多い場合には、表示可能な数だけ環状に並べられた前記グラフィックスオブジェクトを前記表示部に表示させ、環状に並べられた前記グラフィックスオブジェクトの移動方向を明示するユーザの操作を検出した場合には、環状に並べた前記グラフィックスオブジェクトそれぞれを周方向に沿って回転移動させるとともに、表示されているグラフィックスオブジェクトを入れ替える処理を行うことが好適である。このように構成することで、制御部により、移動方向を明示する操作に応じて環状に並べたグラフィックスオブジェクトを周方向に沿って回転移動させるとともに、グラフィックスオブジェクトが入れ替えられて表示部に表示される。このため、ユーザにとって直感的で理解しやすく、操作性に優れたユーザインターフェイスを提供することができる。

また、前記制御部は、複数の前記拡張現実感情報の前記グラフィックスオブジェクトを環状に並べて前記表示部に表示させる処理を行う場合には、所定の条件に基づいて前記グラフィックスオブジェクトの大きさを変更して前記表示部に表示させることが好適である。このように構成することで、制御部により、所定の条件に基づいて環状に並んだグラフィックスオブジェクトの大きさが変更される。このため、ユーザにとって直感的で理解しやすいユーザインターフェイスを提供することができる。

また、前記制御部は、複数の前記拡張現実感情報の前記グラフィックスオブジェクトを環状に並べて前記表示部に表示させる処理を行う場合には、所定の条件に基づいて前記グラフィックスオブジェクトの透明度を変更して前記表示部に表示させることが好適である。このように構成することで、制御部により、所定の条件に基づいて環状に並んだグラフィックスオブジェクトの透明度が変更される。このため、ユーザにとって直感的で理解しやすいユーザインターフェイスを提供することができる。

また、前記制御部は、所定の条件を満たす前記拡張現実感情報の前記グラフィックスオブジェクトを、前記集合グラフィックスオブジェクトの先頭に位置するように前記表示部に表示させることが好適である。このように構成することで、制御部により所定の条件を満たす拡張現実感情報のグラフィックスオブジェクトが集合グラフィックスの先頭に配置される。このため、例えばユーザにとって情報検索し易い表示とすることができる。

また、前記制御部は、環状に並べられた前記グラフィックスオブジェクトの移動方向を明示するユーザの操作として前記グラフィックスオブジェクトに沿ってドラッグするユーザの操作を検出した場合であって、ドラッグするユーザの操作が閾値より低速である場合には表示されている前記グラフィックスオブジェクトを１個ずつ入れ替え、閾値以上の高速である場合には表示されている前記グラフィックスオブジェクトを全て入れ替える処理を行うことが好適である。このように構成することで、制御部により、閾値より低速でドラッグするユーザの操作に応じて環状に並べたグラフィックスオブジェクトが１つずつ入れ替って回転移動し、閾値より高速でドラッグするユーザの操作に応じて環状に並べたグラフィックスオブジェクトの全てが、入れ替って表示部に表示される。このため、ユーザにとって直感的で理解しやすいユーザインターフェイスを提供することができる。

また、前記制御部は、前記グラフィックスオブジェクトを選択するユーザの操作を検出した場合には、当該グラフィックスオブジェクトにかかる前記拡張現実感情報について、実行可能な処理を表示する前記グラフィックスオブジェクトを環状に並ぶように前記表示部に表示させ、環状に並んで表示された前記グラフィックスオブジェクトのうち１つの前記グラフィックスオブジェクトを選択するユーザの操作を検出した場合には、当該グラフィックスオブジェクトにかかる処理を行うことが好適である。このように構成することで、制御部により、環状に並べたグラフィックスオブジェクトのうちユーザにより選択された１つのグラフィックスオブジェクトに係る処理が実行される。このため、ユーザにとって直感的で理解しやすいユーザインターフェイスを提供することができる。

また、前記制御部は、前記拡張現実感情報について、所定の条件に基づいて前記グラフィックスオブジェクトの大きさを変更して前記表示部に表示させることが好適である。このように構成することで、制御部により、所定の条件に基づいてグラフィックスオブジェクトの大きさが変更されて表示部に表示される。このため、実空間の映像に情報が平板に表示されることを回避することができるので、優れた拡張現実感を提供することが可能となる。

さらに、前記制御部は、前記拡張現実感情報について、所定の条件に基づいて前記グラフィックスオブジェクトの情報量を変更して前記表示部に表示させることが好適である。このように構成することで、制御部により、所定の条件に基づいてグラフィックスオブジェクトの情報量が変更されて表示部に表示される。このため、実空間の映像に情報が平板に表示されることを回避することができるので、優れた拡張現実感を提供することが可能となる。

また、本発明に係る情報提示システムは、表示部により画面を表示する端末装置と、前記端末装置と通信可能に構成され、位置情報に関連付けられた拡張現実感情報を有するサーバと、を備える情報提示システムであって、前記サーバは、実空間の映像を前記表示部に表示させ、前記端末装置の位置情報に基づいて、前記拡張現実感情報と対応するグラフィックスオブジェクトの表示位置を決定し、実空間の前記映像に前記グラフィックスオブジェクトを前記表示位置で重畳して前記表示部に描画させるとともに、前記表示位置が近接する複数の前記拡張現実感情報を、１つの集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行うサーバ制御部を備え、前記サーバ制御部は、前記拡張現実感情報と関連付けされている前記位置情報に基づいて前記表示位置を決定し、前記位置情報が相互に近接している複数の前記拡張現実感情報を１つの集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行い、前記端末装置の現在地点からの距離が遠い地点に関連付けされた前記拡張現実感情報ほど複数の拡張現実感情報の間で前記位置情報が相互に近接していると判定する範囲を拡大すること、を特徴として構成される。

本発明に係る情報提示システムによれば、サーバ制御部により、表示位置が近接する複数の拡張現実感情報を、１つの集合グラフィックスオブジェクトとして端末装置の表示部に表示させることができる。このため、近接した複数の拡張現実感情報が端末装置の表示部に表示されることないので、端末装置の画面の複雑化を回避することができる。

また、本発明に係る端末画面表示方法は、カメラ部により取得された実空間の映像に、位置情報に関連付けられた拡張現実感情報と対応するグラフィックスオブジェクトを重畳して表示部に描画させる端末画面表示方法であって、前記拡張現実感情報と対応するグラフィックスオブジェクトの表示位置を決定する表示位置決定ステップと、複数の前記グラフィックスオブジェクトの前記表示位置が相互に近接するか否かを判定する近接判定ステップと、前記表示位置が相互に近接する場合には、複数の前記拡張現実感情報を１つの集合グラフィックスオブジェクトとして前記表示部に表示させる表示ステップと、を備え、前記近接判定ステップでは、前記拡張現実感情報と関連付けされている前記位置情報に基づいて前記表示位置を決定し、前記端末装置の現在地点からの距離が遠い地点に関連付けされた前記拡張現実感情報ほど複数の拡張現実感情報の間で前記位置情報が相互に近接していると判定する範囲を拡大することを特徴として構成される。

本発明に係る端末画面表示方法によれば、表示位置が近接する複数の拡張現実感情報を、１つの集合グラフィックスオブジェクトとして表示部に表示させることができる。このため、近接した複数の拡張現実感情報が表示されることがないので、画面の複雑化を回避することができる。

本発明によれば、実空間の映像に表示する情報の量が多くなっても画面の煩雑化を抑制することができる。

実施形態に係る端末装置を有する情報提示システムの構成を示す概略図である。 実施形態に係る端末装置の機能ブロック図である 位置情報コンテンツのリストの一例である。 拡張現実感情報を丸形のアイコンで表示する画面図である。 近接するアイコン及び集合グラフィックスオブジェクトの説明図である。 実空間の映像に拡張現実感情報を重畳した画面図である。 タイプ毎に絵柄を付したアイコンの一例である。 アイコンの画面動作を説明する画面図である。 アイコンの画面動作を説明する画面図である。 アイコンの他の画面動作を説明する画面図である。 アイコンの他の画面動作を説明する説明図である。 アイコンの他の画面動作を説明する画面図である。 実施形態に係る拡張現実感サーバの機能ブロック図である。 実施形態に係る端末装置の起動から操作待ちの状態になるまでの動作を示すフローチャートである。 実施形態に係る端末装置の起動から操作待ちの状態になるまでの他の動作を示すフローチャートである。 実施形態に係る端末装置のスパイラルメニュー動作を示すフローチャートである。 実施形態に係る端末装置のディスクメニュー動作を示すフローチャートである。 ディスクバリエーションのインジケータである。

以下、本発明を実施するための形態について説明する。図１は、本発明の実施形態にかかる端末装置１００と、端末装置１００に拡張現実感情報を提供する拡張現実感サーバ３００とを備える拡張現実感システム（情報提示システム）１の構成を概略的に示した図面である。端末装置１００は、通信網１５０と接続して通信を行う携帯電話等のモバイル端末であって、後述するようにイメージ取得機能を備えたカメラ部および表示部を備えている。拡張現実感サーバ３００は、通信網１５０と接続されたネットワーク２００と接続されたサーバコンピュータシステムであり、同様にネットワーク２００と接続された外部サーバである地図情報サーバ３５１、経路情報サーバ３６１および位置情報コンテンツサーバ３７１ならびに端末装置１００と通信可能な構成となっている。このような構成の拡張現実感システム１は、端末装置１００のユーザが実空間に向けたカメラで取得した画像に、拡張現実感サーバ３００が提供する情報を重畳することにより、ユーザに拡張現実感を与えるサービスを提供するものである。以下、端末装置１００および拡張現実感サーバ３００について詳細に説明する。

まず端末装置１００について説明する。図２は本実施形態における端末装置１００の機能ブロック図である。この端末装置１００は、主として、端末の位置情報を取得する位置情報取得部１０１と、画面を表示する表示部１０２と、ユーザのキー操作による入力を受け付けるキー入力部１０３と、端末が向いている方位を検出する方位センサ１０４と、通信網１５０と接続して通信を行う通信部１０５と、実空間の映像を取得するカメラ部１０６と、所定のプログラムおよびデータを記憶する記憶部１０７と、各部の動作を制御するとともに所定の情報処理を実現する制御部１０８とから構成されている。

位置情報取得部１０１は、例えば、複数のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星からの電波を受信して、それらの強度から現在の端末位置情報を取得するＧＰＳモジュールを用いることができる。また、ＧＰＳ方式に加えて通信部１０５を介して通信網１５０と通信することにより端末の近くに存在する衛星の情報をアシストデータとして取得し、位置測位を行うＡＧＰＳ（Ａｓｓｉｓｔｅｄ Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）方式に対応したモジュールを利用すれば、端末位置情報をより高速かつ正確に取得することができるので好適である。ただし、位置情報取得システムはＧＰＳまたはＡＧＰＳを利用するものに限られるものではなく、ＧＰＳに依存することなく端末位置情報を取得する構成とすることも可能である。例えば、ＷｉＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信基地局を空間内に複数配設し、それらからの電波強度により端末位置情報を取得する方式を利用してもよいし、このような方式をＧＰＳないしはＡＧＰＳに併用する方式を利用することも可能である。

表示部１０２は、画面表示を行うためのＬＣＤモジュール１１３およびＬＣＤコントローラ１１２と、画面にユーザがタッチする操作に反応し、ユーザの接触位置を検出するセンサモジュール１１４および位置検出部１１１とを備え、画面表示機能およびタッチパネル機能を実現したものである。すなわち、表示部１０２は、制御部１０８からのデータおよび制御信号をＬＣＤコントローラ１１２で受け付けて所定の画面をＬＣＤモジュール１１３で表示するとともに、画面をタッチするユーザの操作をセンサモジュール１１４で受け付けて位置検出部１１１にて接触位置を検出し、その接触位置に関する位置信号を制御部１０８に入力として通知するものである。本実施形態の端末装置１００おいては、後述する動作に従って、カメラ部１０６により取得した実空間の映像に拡張現実感サーバから取得した情報を付加して表示することによりユーザに拡張現実感を提供し、また表示機能およびタッチパネル機能によりユーザインターフェイスを提供する。

キー入力部１０３は、端末装置１００の筐体に設けられたキーパッド、ならびにその他ボタン等の入力装置であり、ユーザが操作することにより各キーまたはボタンに応じた信号であるキーイベントが制御部１０８に通知され、種々の操作ないしは制御に利用される。

方位センサ１０４は、自分が向いている方向の姿勢・角度を検出し、それに相当する信号を制御部１０８に出力するモジュールである。制御部１０８は、方位センサ１０４の検出値からユーザが端末装置１００を保持している姿勢・角度を認識することが可能である。このような方位センサ１０４には複数の地磁気センサを組み合わせたものを利用することが可能であり、さらに地磁気センサに加えて複数の加速度センサを組み合わせたモーションセンサを用いてもよい。３軸方向の地磁気センサと３軸方向の加速度センサとを組み合わせた６軸センサ、３軸方向の地磁気センサと２軸方向の加速度センサとを組み合わせた５軸センサ、また、加速度センサの代わりにジャイロを用いる場合等は、いずれもモーションセンサとして方位センサ１０４に利用することができる。このようにモーションセンサを利用した場合には、端末装置１００の姿勢・角度に関する情報だけでなく、ユーザが端末装置１００を動かしたり傾けたりした動作の向きおよび速さを検出することが可能となる。

通信部１０５は、通信網１５０と接続して、他の端末装置やサーバシステムと通信を行うためのモジュールである。ここでの通信としては、例えば、他の端末装置と通信接続して行う回線交換型通信、通信網１５０を介してネットワーク２００に接続されたサーバシステムと行うパケット交換型通信等を挙げることができる。また、ＡＧＰＳ方式により端末位置情報を取得する場合には、通信部１０５は位置情報取得部１０１と協調動作して端末位置情報の取得を補助する。

カメラ部１０６は、所定の光学系および受像素子を有し、デジタル画像を取得する機能を提供するモジュールである。端末装置１００でデジタル画像を撮影する際には、起動されたカメラ部１０６は、通常、光学系の取得した被写体像から所定露光時間で受像素子によりデータを取得する処理を所定時間間隔で繰り返し、当該データを表示部１０２に表示することによりライブビュー機能を実現する。そして、その状態でユーザがさらにキー入力部１０３で所定の操作を行うことにより、カメラ部１０６は光学系の取得した被写体像から設定された撮影条件で画像データを生成し、生成された画像データは記憶部１０７に保存される。本実施形態にかかる拡張現実感システムは、上述のライブビュー機能により表示部１０２に表示される実空間映像に拡張現実感をもたらす情報を表示するものである。

記憶部１０７は、所定の情報を制御部１０８の制御下で記憶し、また記憶している情報を制御部１０８に提供するためのメモリである。また、記憶部１０７は、制御部１０８で実行される種々のプログラムを記憶しており、制御部１０８はこれを適宜読み出して実行する。記憶部１０７は一様な構成である必要はなく、ＲＯＭ、ＲＡＭ、Ｆｌａｓｈ ＲＯＭ等の各種メモリを適宜組み合わせて構成することが可能であり、さらにＨＤＤのような二次記憶装置を組み合わせるようにしても構わない。なお、端末装置１００に付与された固有の端末ＩＤもその他のデータとともに記憶部１０７に記憶されている。また、記憶部１０７は、後述する拡張現実感サーバから提供された種々の拡張現実感情報を記憶している。図３には、記憶部１０７が記憶している拡張現実感情報のうち位置情報コンテンツのリストを一例として示す。位置情報コンテンツは、端末装置１００からのリクエストに応じて拡張現実感サーバ３００により位置情報コンテンツサーバ３７１から取得され、端末装置１００にレスポンスとして返されたものである。記憶部１０７のリストには、各位置情報コンテンツについて、コンテンツＩＤ、コンテンツタイプ、コンテンツ名および位置情報（地点情報）が含まれており、さらに端末装置１００の現在の端末位置からの距離、視野角内か否かの項目が設けられている。このうち、距離と視野角以外の項目については拡張現実感サーバ３００から取得した情報がそのまま記録されており、距離および視野角の項目については端末装置１００の制御部１０８が算出および判定した結果が記録されている。

制御部１０８は、不図示のＣＰＵ上で記憶部１０７に記憶されたプログラムを実行することにより仮想的に構成される機能ブロックであって、端末装置１００の位置情報取得部１０１、表示部１０２、キー入力部１０３、方位センサ１０４、通信部１０５、カメラ部１０６および記憶部１０７といった各機能ブロックとの間でデータおよび制御信号をやり取りすることにより、端末装置１００の各種機能を実現するものである。また、本実施形態における端末装置１００の制御部１０８は、位置情報取得部１０１が取得した端末位置情報を送信してリクエストすることにより拡張現実感サーバ３００から端末位置情報に応じた拡張現実感情報のレスポンスを受けて、拡張現実感をユーザに提供する。この場合に特徴的な機能として、制御部１０８、前記カメラ部の撮影した実空間の映像を表示部１０２に表示させつつ、拡張現実感情報を実空間の映像に重畳する表示位置を決定し、当該表示位置に当該拡張現実感情報と対応したグラフィックスオブジェクトを重畳して描画する際に、重畳する表示位置が近接した複数の拡張現実感情報を１つの集合グラフィックスオブジェクトとして表示部１０２に表示させる処理を行う。以下、このような処理について詳細に説明する。

まず、カメラ部１０６の姿勢および角度に基づいて拡張現実感情報の表示位置を決定し、実空間の映像に重畳して表示部に表示させる処理について説明する。この処理では、まず、方位センサ１０４の検出値からカメラの向いている姿勢・方向を導出し、カメラの水平方向視野角および垂直方向視野角に基づいて、記憶部１０７に記憶されている拡張現実感情報がカメラ部１０６の視野に入るか否かを判定し、結果を拡張現実感情報のリストに記録する（図３参照）。続いて、視野にはいると判定された拡張現実感情報について、端末装置１００の現在の端末位置を原点とした座標空間に配置したと想定し、原点の所定高さを中心点としてカメラの水平方向視野角および垂直方向視野角ならびに映像サイズに基づいて原点から所定距離に定まる矩形平面に各拡張現実感情報を透過投影する処理を行い、透過投影された位置をもって表示位置と決定する。ここで、透過投影する中心点の高さについては、ユーザが立った状態で端末装置１００を使用する状況を再現するために、１．５ｍ程度の高さとすることが好適である。

上記処理の後、決定された表示位置に各拡張現実感情報を描画することにより実空間映像に重畳させて表示する処理を行う。このような処理についての制限は特にないが、各拡張現実感情報が所定の表示位置に描画されて残部が透明の画面レイヤーを作成し、この画面レイヤーを実空間映像に重ねて表示部１０２に表示させることができ、これにより実空間映像の適切な位置に拡張現実感情報が表示される。この際、本実施形態における拡張現実感情報は、アイコン、情報バルーン、サブウィンドウ等のグラフィックスオブジェクトとして画面上に表示される。

この際、制御部１０８は重畳する表示位置が近接した複数の拡張現実感情報を１つの集合グラフィックスオブジェクトとして表示部１０２に表示させる。図４（ａ）、（ｂ）、（ｃ）は拡張現実感情報を丸形のアイコンで表示する画面の例を示したものであり、（ａ）はカメラ部１０６の取得した実空間の映像を示し、（ｂ）は前述の方法により各拡張現実感情報の表示位置を求めてアイコンを描画したイメージを示したものである。ここで、この画面では、アイコンの大きさがアイコンごとに変更されて表示される。また、アイコンの透明度がアイコンごとに変更されて表示されてもよい。大きさ及び透明度の変更は、所定の条件に従って変更される。所定条件として、例えば、現在地点から位置情報コンテンツが示す位置までの距離、位置情報コンテンツが示す位置の高さ、位置情報コンテンツが示す建築物の建造年月日や、位置情報コンテンツの更新日、情報鮮度、アクセス回数、アクセス時刻、お勧め度、ユーザやサービスがカテゴリ分けに用いるタグ等が採用される。例えば、所定条件として距離を採用した場合には、アイコンが示す位置情報が、現在の端末地点から近い位置となるほど大きく表示され、アイコンが示す位置情報が、現在の端末地点から近い位置となるほど透明度が小さく表示される。すなわち、現在の端末地点から近い位置を示すアイコンほど、大きくはっきりと表示される。他方、現在の端末地点から遠い位置を示すアイコンほど、小さくぼやけて（かすんで）表示される。すなわち距離に応じてアイコンの情報量が変更される。なお、透明度の表示方法は、従来の３Ｄレタリング技術を用いてもよいし、明るさや青系統の色を用いて遠近感を表現してもよい。このように表示することで、平板に重畳された情報により拡張現実感が損なわれることも防止できる。

しかしながら、図４に示されるように、画面上に表示される拡張現実感情報の量が多くなると、画面が煩雑となり、また、アイコンが重なり合って視認し難くなる。さらに、本実施形態では表示部１０２にタッチパネル機能を設けているが、図４（ｃ）に示した状態で密集したアイコンをタッチして操作することは極めて困難である。

そこで、本実施形態では、さらに、図５（ａ）に示すように重畳する表示位置が近接するアイコン（アイコングループα、β、γ）については、個々のアイコンを表示することなく、図５（ｂ）に示すように、アイコンが密集していることを示す集合グラフィックスオブジェクトとして表示部１０２に表示させる。図５（ｂ）に示すように、ここでの集合グラフィックスオブジェクトは、複数のアイコンが重なり合った図柄のアイコンである。このような集合グラフィックスオブジェクトを使用することにより、実空間の映像に拡張現実感情報を表示した画面を図６に示す。図６に示されるように、集合グラフィックスオブジェクトを使用することで画面の表示は簡素化され、画面が煩雑化して視認し難くなることを防ぐことができる。

このような集合グラフィックスオブジェクトで表示する対象は、例えば、決定された表示位置に描画するとグラフィックスオブジェクトが重なり合う複数の拡張現実感情報とすることができる。これによりアイコンが重なり合って視認できなくなることを未然に防止することができる。グラフィックスオブジェクトが重なり合うか否かは、実際に個々のグラフィックスオブジェクトを描画してＡＮＤ条件により検出してもよいし、描画することなく計算により検出してもよい。また、図１０（ａ）に示すように、画面を複数のエリアに分割して管理し、図１０（ｂ）に示すように、重畳する表示位置が同じエリアに決定された複数の拡張現実感情報を１つの集合グラフィックスオブジェクトとして表示部１０２に表示させることもできる。エリアの分割管理は、投影面を分割管理して行えばよい。この場合には、各グラフィックスオブジェクトが重なり合うか判定する必要がないので、重畳する表示位置の近接した拡張現実感情報を検出する負荷を軽減することができる。また、位置情報（地点情報）が近接している複数の拡張現実感情報を１つの集合グラフィックスオブジェクトとして表示部１０２に表示させることも可能である。図１１を用いて詳細を説明する。図１１は、カメラの撮像方向の地図情報の平面図であって、位置情報コンテンツが示す位置情報を×印で示したものである。図１１に示すように、×印で示す位置情報コンテンツのうち位置情報が近接する位置情報コンテンツ（点線で囲う部分）を集合グラフィックスオブジェクトとして表示させる。この場合には、位置情報コンテンツを住所ごとに集合グラフィックスオブジェクトとして表示部１０２に表示させることができる。なお、この場合には、端末装置から遠距離にある地点に関連付けられた拡張現実感情報の間では、実空間映像における遠近法の効果を考慮して、近接していると判定する範囲を拡大することが好ましい。これにより、位置情報が現在地点から遠い地点を示す位置情報コンテンツほど集合グラフィックスオブジェクトとして表示できるので、画面の複雑化を回避することが可能となる。

図７（ａ）は、拡張現実感情報のうち位置情報コンテンツを表示するアイコンについて、そのタイプ毎に絵柄を付した例である。このようなグラフィックスオブジェクトを使用することで拡張現実感情報の視認性を向上することができる。また、位置情報コンテンツの集合グラフィックスオブジェクトについては、図７（ｂ）に示すように、所定の条件を満たす場所の位置情報コンテンツのタイプに応じた絵柄を付したものとすることができる。所定の条件として、例えば、現在地点から位置情報コンテンツが示す位置までの距離、位置情報コンテンツが示す位置の高さ、位置情報コンテンツが示す建築物の建造年月日や、位置情報コンテンツの更新日、情報鮮度、アクセス回数、アクセス時刻、お勧め度、ユーザやサービスがカテゴリ分けに用いるタグ等が採用される。例えば、所定条件として距離を採用した場合には、端末装置１００に最も近い場所の位置情報コンテンツのタイプに応じた絵柄を付したものとすることができる。さらに、集合グラフィックスオブジェクトは、上述した所定の条件でグラフィックスオブジェクトが並べられて表示される。このように表示されることで、拡張現実感情報の視認性を向上することができるとともに、情報検索を容易とすることが可能となる。

以上のように、重畳する表示位置が近接した複数の拡張現実感情報を１つの集合グラフィックスオブジェクトとして表示部１０２に表示させることで、画面が煩雑化して視認し難くなることを防ぐことができる。ここで、集合グラフィックスオブジェクトから個々の拡張現実感情報に対するインターフェイスを設計する必要がある。最も簡単な方法は、カーソルを集合グラフィックスオブジェクトに合わせるキー操作をすることで情報のリストが表示部１０２に表示され、再度キー操作をすることで目的の情報が選択されるインターフェイスとすることである。しかし、本実施形態では、タッチパネル機能を備えた表示部１０２を利用して、以下に示す画面遷移のインターフェイスを提案する。

このインターフェイスでは、図６に示した集合アイコンα上をユーザがタッチしたことを検出すると、表示部１０２に表示される実空間映像はタッチした時点のものに固定され、画面の明度は暗く変更される。同時に他のアイコン等は画面から消去され、集合アイコンαが画面中央に移動される（図８（ａ））。続いて、集合アイコンαとして表示されている拡張現実感情報の一つ一つを表示するために、各拡張現実感情報に対応したアイコンが表示される。ここでは集合アイコンαから各アイコンが回転しながら広がっていくように展開され（図８（ｂ））、距離の近い位置情報コンテンツから順に所定数のアイコンが環状（リング状）に配置される(図８（ｃ））。

このようにアイコンを表示した画面に対して、ユーザが表示部１０２の表面をアイコンのリングに沿ってドラッグ操作することで、画面に表示されたアイコンのリングはドラッグした方向（リングの周方向）に回転し、左方向にドラッグすると先頭のアイコンα１が画面から消え、代わりにα８に続くα９が表示される（図９（ａ））。すなわち、アイコンの回転移動方向および表示位置（リングにおけるアイコンの配置位置）に基づいて入れ替えされるアイコンが決定される。このようなインターフェイスは、集合アイコンαとして表示されている拡張現実感情報が、画面に対して垂直な螺旋の上に距離の近いものから順に並んでいる状態を、螺旋の正面から見た状態としてモデル化したものである。すなわち、実空間の映像と同様にユーザの手前から奥に向かって、拡張現実感情報が近いものから連続的に表示され、ねじを回転させるようにドラッグ操作することでアイコンの表示領域は螺旋上の画面奥へと進む。このようなインターフェイスによれば、ユーザが片手で端末装置１００を保持して画面上を親指でドラッグし、親指の届く位置に所望のアイコンを移動させてタッチ操作することにより、片手のみで端末装置１００を操作することができる。

また、図８（ｃ）に示す画面を図１２（ａ）に示す画面のように表示してもよい。図１２に示す画面は、上述した螺旋のモデルを視覚的に表した画面である。この画面では、アイコンの大きさがアイコンごとに変更されて表示される。また、アイコンの透明度がアイコンごとに変更されて表示されてもよい。大きさ及び透明度の変更は、所定の条件に従って変更される。所定条件として、例えば、現在地点から位置情報コンテンツが示す位置までの距離、位置情報コンテンツが示す位置の高さ、位置情報コンテンツが示す建築物の建造年月日や、位置情報コンテンツの更新日、情報鮮度、アクセス回数、アクセス時刻、お勧め度、ユーザやサービスがカテゴリ分けに用いるタグ等が採用される。例えば、所定条件として距離を採用した場合には、位置情報コンテンツが示す位置情報が現在の端末地点から近い位置となるほどアイコンは大きく表示され、位置情報コンテンツが示す位置情報が現在の端末地点から近い位置となるほどアイコンの透明度は小さく表示される。すなわち、現在の端末地点から近い位置を示す位置情報コンテンツほど、アイコンが大きくはっきりと表示される。他方、現在の端末地点から遠い位置を示す位置情報コンテンツほど、アイコンが小さくぼやけて（かすんで）表示される。なお、透明度の表示方法は、従来の３Ｄレタリング技術を用いてもよいし、明るさや青系統の色を用いて遠近感を表現してもよい。そして、所定条件を満たす順にアイコンを並べてリング状に表示することで、アイコンの大きさ及び透明度が周方向に徐々に変化するように表示することができるので、螺旋を示すモデルを視覚的にユーザに提供することが可能となる。そして、図１２（ｂ）に示すように、図９（ａ）に示す画面と同様にドラッグした方向に螺旋を回転させることができる。左方向にドラッグすると先頭のアイコンα１が画面から消えるとともにアイコンα２がアイコンα１の表示されていた位置に移動される。そして、アイコンα２の大きさ及び透明度が、先頭に位置したアイコンα１の大きさ及び透明度と同等となるように変更される。このように、リング状のアイコンが螺旋的に表示されることで、時間や距離等を直感的に表現することができる。

また、図８（ｃ）または図９（ａ）に示した状態で、アイコンの１つをタッチすると、アイコンで表示された拡張現実感情報について利用可能なメニューアイコンのセットがリング状に表示される（図９（ｂ））。この状態でも前記同様に画面をドラッグすることでアイコンをリングに沿って回転させることができる。ただし、図９（ｂ）の画面は固定的なメニュー表示を行うものなので、前述のように回転させながらアイコンを入れ替えることはしない。メニューアイコンのセットは、画面中央にディスクとして表現されており、表示部１０２の表面を速くドラッグすることにより次または前のディスク（メニューアイコンのセット）へ画面は遷移する。このようにタッチパネル機能を利用した物理的な操作をともなう視覚性および認識性に優れたインターフェイスによって、本実施形態に係る端末装置は優れた拡張現実感をもたらすものである。

次に、拡張現実感サーバ３００について説明する。図１３は、本実施形態における拡張現実感サーバ３００の機能ブロック図である。この拡張現実感サーバ３００は、Ｗｅｂサーバの常駐したサーバシステムであり、主として、通信部３０１、サーバ制御部３１０およびユーザＤＢ３１６を有し、端末装置１００からのリクエストを通信網１５０およびネットワーク２００を介して受け付け、必要に応じてネットワーク２００に接続された地図情報サーバ３５１、経路情報サーバ３６１または位置情報コンテンツサーバ３７１からデータを取得して、拡張現実感情報として端末装置１００にレスポンスする処理を行う。

通信部３０１は、ネットワークに接続して端末装置１００、地図情報サーバ３５１、経路情報サーバ３６１および位置情報コンテンツサーバ３７１といった外部サーバと通信を行うネットワークモジュールであり、公知のものを使用することができる。ユーザＤＢ３１６は、拡張現実感サーバ３００のシステム領域内にあるデータベースマシンであり、端末装置１００から受け付けた端末ＩＤ、端末位置情報およびハンドル名を関連付けて記録し、管理する。

サーバ制御部３１０は、不図示のＣＰＵで所定のプログラムを実行することにより仮想的に構成される機能ブロックである。サーバ制御部３１０は、より詳細には、地図情報サーバ３５１から地図データを取得する地図データ取得部３１１、経路情報サーバ３６１から経路データを取得する経路データ取得部３１２、位置情報コンテンツサーバ３７１から位置情報コンテンツを取得する位置情報コンテンツ取得部３１３、およびユーザＤＢ３１６にアクセスするユーザデータ部３１５からなっている。これら地図データ取得部３１１、経路データ取得部３１２、位置情報コンテンツ取得部３１３およびユーザデータ部３１５は、いずれも端末装置１００から送信されたリクエストに基づき、対応するＣＧＩプログラムである拡張現実感サーバＡＰＩを呼び出すことにより所定の処理を行うものである。以下、地図データ取得部３１１、経路データ取得部３１２および位置情報コンテンツ取得部３１３について詳細に説明する。

地図データ取得部３１１は、端末装置１００が地図データを要求した場合に呼び出されるＡＰＩであり、端末装置１００から送信された端末位置情報を中心とした所定範囲についての地図データを、公開ＡＰＩを利用して地図情報サーバ３５１に要求する。これに応じて地図情報サーバ３５１が地図情報ＤＢ３５２から対応する地図データを抽出して拡張現実感サーバ３００に返却し、拡張現実感サーバ３００は取得した地図データを端末装置１００で表示可能なデータ形式として端末装置１００にリプライする。この際、端末装置１００が地図データをリクエストする際に、地図データの範囲および縮尺をパラメータとして指定している場合には、これらを指定して地図情報サーバ３５１が公開しているＡＰＩを呼び出す処理を行う。

経路データ取得部３１２は、端末装置１００が経路データを要求した場合に呼び出されるＡＰＩであり、端末装置１００が位置情報取得部１０１で取得された端末位置情報を始点として、併せて送信された位置情報（地点情報）を終点とした経路データを経路情報サーバ３６１に要求する。これに応じて経路情報サーバ３６１が経路情報ＤＢ３６２から対応する経路データを生成して拡張現実感サーバ３００に返却し、拡張現実感サーバ３００は取得した経路データを端末装置１００で対応可能なデータ形式として端末装置１００にリプライする。この際、経路情報サーバ３６１が算出して総所要時間、総料金を経路データに付加してリプライしてもよい。

位置情報コンテンツ取得部３１３は、端末装置１００が位置情報コンテンツを要求した場合に呼び出されるＡＰＩである。ここで、位置情報コンテンツとは、駅、空港、港、バス停、インターチェンジ、サービスエリア、ガソリンスタンド、レストラン、居酒屋、コンビニ、デパート、病院、学校、信号、曲がり角、交差点等について、それらの位置情報（地点情報）と関連付けられた当該施設の情報をいう。例えば、レストランに関しては、住所、電話番号、ファクス番号、メールアドレス、ホームページＵＲＬ、紹介文、営業時間情報、店舗画像等を含んだ位置情報コンテンツが、情報サービスプロバイダーの提供するサービスで公開されている。

位置情報コンテンツ取得部３１３は、端末装置１００の位置情報取得部１０１で取得された端末位置情報を中心とした所定距離内に存在する位置情報コンテンツを、情報サービスプロバイダー等により公開されている位置情報コンテンツサーバ３７１に要求する。これに応じて位置情報コンテンツサーバ３７１が位置情報コンテンツＤＢ３７２から条件を満たす位置情報コンテンツを抽出したリストを拡張現実感サーバ３００に返却し、拡張現実感サーバ３００は取得した位置情報コンテンツを端末装置１００で利用可能なデータ形式として端末装置１００にリプライする。この際、位置情報コンテンツ取得部３１３は、複数の位置情報コンテンツサーバ３７１に対して位置情報（地点情報）を要求することができ、この場合に拡張現実感サーバ３００は複数の位置情報コンテンツサーバ３７１からのリストを共通フォーマットに統合して端末装置１００にリプライする。また、位置情報コンテンツの分野毎に利用する位置情報コンテンツサーバ３７１を登録しておけば、端末装置１００から要求のあった分野についてのみ位置情報コンテンツを要求することも可能である。

また、ユーザＤＢ３１６には別の端末装置の端末ＩＤおよび端末位置情報がユーザのハンドル名とともに記録されているが、かかる内容も位置情報（地点情報）と関連付けられたコンテンツであり、他の位置情報コンテンツと等価に取り扱うことができる。すなわち、位置情報コンテンツ取得部３１３からユーザデータ部３１５に対して、端末装置１００の現在の端末位置から所定距離内の位置情報（地点情報）に関連付けて記録されているユーザのハンドル名を要求させ、ユーザデータ部がこれに応じてユーザＤＢ３１６から抽出したハンドル名のリストを拡張現実感サーバ３００に返却し、拡張現実感サーバ３００から端末装置１００へ共通フォーマットでリプライすれば、他の位置情報コンテンツとともにコンテンツとして利用可能である。

以下、以上のように構成された拡張現実感システム１における端末装置１００の動作についてフローチャートを参照しながら説明する。

図１４は、本実施形態における端末装置１００側の動作について、起動から拡張現実感情報を表示してユーザによる操作待ちの状態になるまでを示したフローチャートである。

この動作は、ユーザが端末装置１００のキー入力部１０３を操作して拡張現実感プログラムを起動することにより開始される。まず、カメラ部１０６および各種センサ（位置情報取得部１０１および方位センサ１０４）を起動し、初期画面としてライブビュー表示を開始する（ＳＴ１０１）。ライブビュー表示は、常法にしたがって、起動されたカメラ部１０６の光学系により取得された被写体像から所定露光時間で受像素子により映像データを生成し、当該データを表示部１０２に表示させる処理を所定時間間隔で繰り返すことにより行われる。続いて位置情報取得部１０１の検出値より端末装置１００の現在の端末位置にかかる端末位置情報を取得する（ＳＴ１０２）。

次に、端末装置１００がＳＴ１０２で取得した端末位置情報を拡張現実感サーバ３００へ送信して拡張現実感情報をリクエストし（ＳＴ１０３）、拡張現実感サーバ３００によりレスポンスされた端末装置１００周辺の拡張現実感情報のリストを受信し、記憶部１０７に記録する（ＳＴ１０４）。

続いて、ＳＴ１０４で受信したリストの拡張現実感情報について、方位センサ１０４で検出されたカメラ部１０６の姿勢および角度の情報およびＳＴ１０２で取得された端末位置情報に基づいて、リストに記載された情報の関連付けられた地点がカメラ部１０６の視界に入るか否かを個々に判定し、記憶部１０７に記憶された拡張現実感情報のリストに記録する（ＳＴ１０５）。以下では、記憶部１０７のリストを参照し、ここでカメラ部１０６の視界に入るものと判定された拡張現実感情報について処理を行う。

次に、端末装置１００の現在の端末位置を原点とした座標空間に抽出された拡張現実感情報を配置したと想定して、原点の所定高さを中心点としてカメラの水平方向視野角および垂直方向視野角ならびに映像サイズに基づいて原点から所定距離に定まる矩形平面に各拡張現実感情報を透過投影する処理を行うことにより各情報の表示位置を算出する（ＳＴ１０６）。

続いて、算出された各情報の表示位置に基づいて、表示位置の間隔が所定値以下となる拡張現実感情報があるか否かを判定し（ＳＴ１０７）、表示位置の間隔が所定値以下となる拡張現実感情報がある場合には当該拡張現実感情報を集合アイコンとして表示し（ＳＴ１０８）、残りの拡張現実感情報を通常のアイコンとして表示する（ＳＴ１０９）。以上で、実空間の映像に拡張現実感情報を重畳する動作は終了してユーザの操作を待つ動作となる。終了指示があったか否かを判定し（ＳＴ１１０）、終了指示があったと判定した場合には一連の動作を終了する。終了指示があったと判定しない場合には、続いて集合アイコンにタッチする操作がなされたか否かを判定し（ＳＴ１１１）、集合アイコンにタッチする操作がなされていると判定した場合には後述するスパイラルメニューの動作へと進む。一方。集合アイコンにタッチする操作がなされていると判定しない場合には、通常のアイコンにタッチする操作がなされたか否かを判定する（ＳＴ１１２）。通常のアイコンにタッチする操作がなされていると判定した場合には、後述するディスクメニューの動作へと進む。ＳＴ１１２で通常のアイコンにタッチする操作がなされていると判定しない場合には、ＳＴ１１０に戻って以降の動作を繰り返す。

続いて、起動から拡張現実感情報を表示してユーザによる操作待ちの状態になるまでの別の動作を図１５のフローチャートを参照しながら説明する。

この動作は、まず前記動作と同様に、カメラ部１０６および各種センサを起動してライブビュー表示を開始し（ＳＴ１０１’）、位置情報取得部１０１が端末位置情報を取得し（ＳＴ１０２’）、端末位置情報を拡張現実感サーバ３００へ送信して拡張現実感情報をリクエストし（ＳＴ１０３’）、拡張現実感サーバ３００によりレスポンスされた拡張現実感情報のリストを記憶部１０７が記録し（ＳＴ１０４’）、リストの拡張現実感情報がカメラ部１０６の視界に入るか否かを判定する（ＳＴ１０５’）。

続いて、記憶部１０７に記録されたリストのうちカメラ部１０６の視野角に入ると判定された拡張現実感情報について、その位置情報（地点情報）にかかる地点から端末装置１００までの距離をそれぞれ算出して記憶部１０７のリストに記録する（ＳＴ１２０）。次に、前記動作と同様に各情報の表示位置を算出する（ＳＴ１２１）。

この動作では拡張現実感情報のうち位置情報コンテンツを実空間の映像に重畳するにあたり、位置情報（地点情報）にかかる地点が近距離の場合には大きいアイコン（グラフィックスオブジェクト）を描画し、遠距離の場合には小さいアイコン（グラフィックスオブジェクト）を描画することにより、拡張現実感情報に実際の距離に応じて遠近感をもたせ、優れた拡張現実感をもたらすものである。したがって、この動作では、距離に応じたサイズのアイコンを表示部１０２に表示させると、他の拡張現実感情報のアイコンと重なり合う拡張現実感情報があるか否かを判定する（ＳＴ１２２）。ここで、他の拡張現実感情報のアイコンと重なり合う拡張現実感情報があると判定した場合には、当該拡張現実感情報を集合アイコンとして表示部１０２に表示させ（ＳＴ１２３）、続いて残りの情報を距離に応じた通常のアイコンとして表示部１０２に表示させる（ＳＴ１２４）。一方、ＳＴ１２３で、他の拡張現実感情報のアイコンと重なり合う拡張現実感情報があると判定しない場合には、そのまま各拡張現実感情報を距離に応じた通常のアイコンとして表示する（ＳＴ１２４）。

以降、前述の動作と同様にユーザの操作を待つ動作となり、終了指示があったか否かの判定（ＳＴ１１０’）、集合アイコンにタッチする操作がなされたか否かの判定（ＳＴ１１１’）、通常のアイコンにタッチする操作がなされたか否かの判定（ＳＴ１１２’）を繰り返す。

次に、上記ユーザの操作を待っている動作において、ＳＴ１１１またはＳＴ１１１’にて、ユーザが集合アイコンをタッチする操作がなされたものと判定した場合に行われるスパイラルメニュー動作について、図１６のフローチャートを参照しながら説明する。

本実施形態のスパイラルメニュー動作においては、ＳＴ１１１またはＳＴ１１１’にてユーザが集合アイコンをタッチする操作がなされたと判定して開始する場合には、まず、表示部１０２に表示されているライブビュー画像をタッチされた時点でロックするとともに明度を低減する（ＳＴ２０１）。ここでライブビュー画像をロックするとは、表示部１０２に表示される実空間の映像をタッチされた時点のものに固定することである。このようにすることで、メニュー操作中に端末の姿勢角度が変化しても集合アイコンにかかる拡張現実感情報の関連付けられた地点の映像を表示し続けることができる。また、実空間映像の明度を低減することによりアイコン等の拡張現実感情報をより強調して表示することが可能となる。続いてタッチされた集合アイコン以外のアイコンを画面から消去し（ＳＴ２０２）、タッチされた集合アイコンを画面中央に移動させる（ＳＴ２０３、図８（ａ）。）次に、画面中央に移動された集合アイコンを、通常のアイコンを重ね合わせた画像に書き換え、集合アイコンとして表示されていた拡張現実感情報のうち所定個のアイコンを、端末装置１００までの距離が近いものから順に画面中央を中心として回転移動させてリング状に展開させて配置する（ＳＴ２０４、図８（ｂ））。以上でタッチされた集合アイコンに関するスパイラルメニューが表示部１０２に表示される。

以降はスパイラルメニューに対するユーザの入力に応じた処理となる。まず、アイコンのなすリングの中央部分をタッチする操作等、スパイラルメニュー終了指示として定義された操作がなされたか否かを判定する（ＳＴ２０５）。スパイラルメニュー終了指示として定義された操作がなされたと判定した場合には、表示中のメニューをクリアし（ＳＴ２１１）、ライブビュー画像のロックを解除して実空間映像の明度を戻し（ＳＴ２１２）、通常のアイコン、集合アイコンを再表示させて（ＳＴ２１３）、図１４のＳＴ１１０または図１５のＳＴ１１０’以降の処理でユーザの操作待ちに戻る。

一方、スパイラルメニュー終了指示として定義された操作がなされていないと判定した場合は、まず個々のアイコンに対するタッチ操作がなされたか否かを判定する（ＳＴ２０６）。ＳＴ２０６で個々のアイコンに対するタッチ操作がなされたと判定した場合には、後述するディスクメニュー動作を開始する。ＳＴ２０６でタッチ操作がなされたと判定しない場合は、続いて所定のドラッグ操作がなされたか否かを判定する（ＳＴ２０７）。ここで、所定のドラッグ操作とは、スパイラルメニューに対する入力操作であって、具体的にはスパイラルメニューをなすリング状に配置されたアイコンに沿って回転させるようにドラッグする動作のことである。表示部１０２のタッチパネル機能によりこのようなドラッグ操作がなされたと判定した場合、続いてドラッグ操作の方向が左方向であるか否かを判定する（ＳＴ２０８）。ドラッグ操作の方向が左方向であると判定した場合には、リング状に配置されているアイコンを左方向へリング状の周方向に回転移動させて、表示されるアイコンを１個ずつ遠距離方向へシフトさせる（ＳＴ２０９）。また、ＳＴ２０８でドラッグ操作の方向が左方向であると判定しない場合には、右方向へドラッグされたものとして、リング状に配置されているアイコンを右方向へリング状の周方向に回転移動させて、表示されたアイコンを１個ずつ近距離方向へシフトさせる（ＳＴ２１０）。ＳＴ２０９またはＳＴ２１０でアイコンをシフトさせた後、ＳＴ２０７で所定のドラッグ操作がなされたと判定しない場合には、いずれもＳＴ２０５に戻って以上の動作を繰り返す。

次に、図１４のＳＴ１１２または図１５のＳＴ１１２’にて通常のアイコンにタッチする操作がなされたと判定した場合、ならびに図１６のＳＴ２０６のスパイラルメニュー動作で個々のアイコンに対するタッチ操作がなされたと判定した場合に行われるディスクメニュー動作について、図１７のフローチャートを参照しながら説明する。

このディスクメニュー動作は、個々のアイコンにかかる拡張現実感情報について選択可能なメニューを、表示部１０２に一度に表示可能な数のセットに配分したディスクメニューとして表示し、表示部１０２のタッチパネル機能を利用して片手でも容易に操作可能なインターフェイスを提供するものである。

まず、前述のスパイラルメニューを経ずに図１４のＳＴ１１２または図１５のＳＴ１１２’からディスクメニュー動作を開始する場合には、まず、前述のＳＴ２０１と同様にライブビュー画像をロックするとともに明度を低減し、タッチされなかったアイコンを消去して（ＳＴ２５０）、タッチされたアイコンを画面中央に移動させる（ＳＴ２５１）。スパイラルメニュー動作のＳＴ２０６からディスクメニュー動作を開始する場合は、ＳＴ２５１から開始する。

続いて、初期メニューディスクのアイコンのセットを、スパイラルメニュー動作のＳＴ２０４と同様の動作でリング状に展開させて配置する（ＳＴ２５２）。以降はディスクメニューに対するユーザの入力に応じた処理となり、まず所定のディスクメニュー終了指示として定義された操作がなされたか否かを判定し（ＳＴ２５３）、終了指示の操作がなされたと判定した場合には表示中のメニューをクリアし（ＳＴ２５４）、集合アイコンが選択された状態であるか否かを判定する（ＳＴ２６５）。集合アイコンが選択されていると判定した場合にはアイコンおよび集合アイコンを再描画してスパイラルメニュー動作のＳＴ２０３に戻り、集合アイコンが選択されていると判定しない場合には図１４のＳＴ１１０または図１５のＳＴ１１０’に戻る。

続いて、現在表示しているディスクメニューのアイコンに対してタッチ操作がなされたか否かを判定し（ＳＴ２５５）、タッチ操作がなされたと判定した場合には当該アイコンに対応した処理を実行する（ＳＴ２５６）。一方、タッチ操作がなされたと判定しない場合には、続いて所定のドラッグ操作がなされたか否かを判定する（ＳＴ２５７）。ここで、所定のドラッグ操作とは、ディスクメニューに対する入力操作であって、ディスクメニューをなすリング状に配置されたアイコンに沿って回転させるようにドラッグする動作のことである。このようなドラッグ操作がなされたと判定した場合、続いてドラッグ操作の方向が左方向であるか否かを判定する（ＳＴ２５８）。ドラッグ操作の方向が左方向であると判定した場合、続いてドラッグ操作が低速であったか否かを判定する（ＳＴ２５９）。ドラッグ操作が低速であると判定した場合にはディスクメニューとして表示しているアイコンのセットを左へ１個ずつリング状の周方向に回転移動させ（ＳＴ２６０）、ドラッグ操作が低速であると判定しない場合には画面から表示中のアイコンを消去して次のメニューディスクのアイコンセットを表示させ（ＳＴ２６１）、ＳＴ２５３以降の動作を繰り返す。また、ＳＴ２５８でドラッグ操作が左方向と判定しない場合には、続いてドラッグ操作が低速であったか否かを判定する（ＳＴ２６２）。ドラッグ操作が低速であると判定した場合にはディスクメニューとして表示しているアイコンのセットを右へ１個ずつリング状の周方向に回転移動させる（ＳＴ２６３）。ドラッグ操作が低速であると判定しない場合には画面から表示中のアイコンを消去して前のメニューディスクのアイコンセットを表示させ（ＳＴ２６４）、ＳＴ２５３以降の動作を繰り返す。

図１８は、図１７に示したディスクメニュー動作において、リング状に並べられたアイコンの中央に表示されるディスクバリエーションのインジケータである。図１８に示すように、このディスクメニューは、一例として初期メニュー、コミュニケーション、ナビゲーション、関連ブログに関する操作のメニューアイコンのセットに大別されている。ディスクメニュー動作では、表示中のディスクメニューの種別に応じてインジケータの強調箇所（図中斜線部分）を変更する。このため、視認性に優れたインターフェイスが実現される。

以上のような処理により、本実施形態の端末装置１００は、実空間の映像に情報を表示する拡張現実感技術に対応し、表示する情報の量が多くなっても重畳する表示位置の近接した拡張現実感情報を集合グラフィックスオブジェクトとして表示するので、画面の煩雑化を抑制することが可能である。これに加えてスパイラルメニューとディスクメニューによって、タッチパネルを利用した物理的な操作により直感的で視認性に優れた分かりやすいインターフェイスを実現しているので、ユーザエクスペリエンスに優れた拡張現実感を提供することができる。さらに、情報を重畳する対象物と端末装置１００との距離に応じて、視覚的または情報量的な遠近感を設けて情報を重畳することができるので、平板に重畳された情報により拡張現実感が損なわれることも防止できる。

なお、本発明の端末装置、情報提示システム及び端末画面表示方法は、上記実施形態に限られるものではなく、種々変形が可能である。たとえば上記実施形態ではグラフィックスオブジェクトを丸形のアイコンとした場合を示したが、これに限られるものではなく、角形のアイコンであってもよいし情報バルーンのようなものであっても構わない。

また、上記実施形態ではリング状にグラフィックスオブジェクトを展開する例を説明したが、正確なリング状である必要な無く、環状であればよい。

また、上記実施形態では、端末装置１００の制御部１０８が拡張現実感情報の表示位置等を決定する処理を行う例を説明したが、拡張現実感サーバ３００のサーバ制御部３１０が拡張現実感情報の表示位置等を決定する処理を行い、結果のみを端末装置１００へ返すように構成してもよい。

また、上記実施形態では、リング状に表示させたグラフィックスオブジェクトをドラッグするユーザ操作を検出し、左方向であるか否かを判定する場合（ＳＴ２０８）を例に説明したが、図１７のＳＴ２５９、ＳＴ２６２に示すように、ドラッグの速度に応じて表示アイコンの全てを入れ替える処理を実行してもよい。

また、上記実施形態では、サーバの機能を呼び出す際、機能をＣＧＩで構築しその呼び出しをＡＰＩとしているが、その手法は他のプロトコルや、分散オブジェクトなど、いかなるアプリケーション間の通信手段で構成してもよい。

また、上記実施形態では、表示部１０２がタッチパネル機能を備える例を説明したが、これに限られるものではなく、ユーザの操作を検出する機能を端末装置１００が有していればよい。例えば、タッチパネル機能に替えて、ポインティングデバイス、十字キー、テンキー等のハードウェアボタンによる画面操作を検出する構成としてもよい。

１…拡張現実感システム（情報提示システム）、１００…端末装置、１０１…位置情報取得部、１０２…表示部、１０３…キー入力部、１０４…方位センサ、１０５…通信部、１０６…カメラ部、１０７…記憶部、１０８…制御部。

Claims (13)

1. 実空間の映像を取得するカメラ部と、画面を表示する表示部と、位置情報に関連付けられた拡張現実感情報を記憶した記憶部と、前記各部の動作を制御するとともに情報処理機能を実現する制御部とを備え、前記制御部は、前記カメラ部により取得された実空間の前記映像を前記表示部に表示させるとともに、前記拡張現実感情報と対応するグラフィックスオブジェクトの表示位置を決定し、実空間の前記映像に前記グラフィックスオブジェクトを前記表示位置で重畳して前記表示部に描画させる処理を行う端末装置であって、
   前記制御部は、前記拡張現実感情報と関連付けされている前記位置情報に基づいて前記表示位置を決定し、前記位置情報が相互に近接している複数の前記拡張現実感情報を１つの集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行い、現在地点からの距離が遠い地点に関連付けされた前記拡張現実感情報ほど複数の前記拡張現実感情報の間で前記位置情報が相互に近接していると判定する範囲を拡大すること、
   を特徴とする端末装置。
2. 前記制御部は、前記拡張現実感情報の種類に応じた前記グラフィックスオブジェクトを前記表示部に描画させる処理を行い、
   前記集合グラフィックスオブジェクトは、所定の条件で並べられた複数の前記グラフィックスオブジェクトが重なり合った形状であることを特徴とする請求項１に記載の端末装置。
3. 前記制御部は、前記集合グラフィックスオブジェクトを選択するユーザの操作を検出した場合には、当該集合グラフィックスオブジェクトとして前記表示部に表示させている複数の前記拡張現実感情報の前記グラフィックスオブジェクトを、環状に並べて前記表示部に表示させる処理を行うことを特徴とする請求項１又は２に記載の端末装置。
4. 前記制御部は、１つの前記集合グラフィックスオブジェクトとして前記表示部に表示させている前記拡張現実感情報の数が、環状に並べて一度に表示可能な前記グラフィックスオブジェクトの数よりも多い場合には、表示可能な数だけ環状に並べられた前記グラフィックスオブジェクトを前記表示部に表示させ、環状に並べられた前記グラフィックスオブジェクトの移動方向を明示するユーザの操作を検出した場合には、環状に並べた前記グラフィックスオブジェクトそれぞれを周方向に沿って回転移動させるとともに、表示されているグラフィックスオブジェクトを入れ替える処理を行うことを特徴とする請求項３に記載の端末装置。
5. 前記制御部は、複数の前記拡張現実感情報の前記グラフィックスオブジェクトを環状に並べて前記表示部に表示させる処理を行う場合には、所定の条件に基づいて前記グラフィックスオブジェクトの大きさを変更して前記表示部に表示させることを特徴とする請求項３又は４に記載の端末装置。
6. 前記制御部は、複数の前記拡張現実感情報の前記グラフィックスオブジェクトを環状に並べて前記表示部に表示させる処理を行う場合には、所定の条件に基づいて前記グラフィックスオブジェクトの透明度を変更して前記表示部に表示させることを特徴とする請求項３〜５の何れか１項に記載の端末装置。
7. 前記制御部は、所定の条件を満たす前記拡張現実感情報の前記グラフィックスオブジェクトを、前記集合グラフィックスオブジェクトの先頭に位置するように前記表示部に表示させることを特徴とする請求項１〜６の何れか１項に記載の端末装置。
8. 前記制御部は、環状に並べられた前記グラフィックスオブジェクトの移動方向を明示するユーザの操作として前記グラフィックスオブジェクトに沿ってドラッグするユーザの操作を検出した場合であって、ドラッグするユーザの操作が閾値より低速である場合には表示されている前記グラフィックスオブジェクトを１個ずつ入れ替え、閾値以上の高速である場合には表示されている前記グラフィックスオブジェクトを全て入れ替える処理を行うことを特徴とする請求項３〜７の何れか１項に記載の端末装置。
9. 前記制御部は、前記グラフィックスオブジェクトを選択するユーザの操作を検出した場合には、当該グラフィックスオブジェクトにかかる前記拡張現実感情報について、実行可能な処理を表示する前記グラフィックスオブジェクトを環状に並ぶように前記表示部に表示させ、
   環状に並んで表示された前記グラフィックスオブジェクトのうち１つの前記グラフィックスオブジェクトを選択するユーザの操作を検出した場合には、当該グラフィックスオブジェクトにかかる処理を行うことを特徴とする請求項１〜８の何れか１項に記載の端末装置。
10. 前記制御部は、前記拡張現実感情報について、所定の条件に基づいて前記グラフィックスオブジェクトの大きさを変更して前記表示部に表示させることを特徴とする請求項１〜９の何れか１項に記載の端末装置。
11. 前記制御部は、前記拡張現実感情報について、所定の条件に基づいて前記グラフィックスオブジェクトの情報量を変更して前記表示部に表示させることを特徴とする請求項１〜１０の何れか１項に記載の端末装置。
12. 表示部により画面を表示する端末装置と、
    前記端末装置と通信可能に構成され、位置情報に関連付けられた拡張現実感情報を有するサーバと、
    を備える情報提示システムであって、
    前記サーバは、実空間の映像を前記表示部に表示させ、前記端末装置の位置情報に基づいて、前記拡張現実感情報と対応するグラフィックスオブジェクトの表示位置を決定し、実空間の前記映像に前記グラフィックスオブジェクトを前記表示位置で重畳して前記表示部に描画させるとともに、前記表示位置が近接する複数の前記拡張現実感情報を、１つの集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行うサーバ制御部を備え、
    前記サーバ制御部は、前記拡張現実感情報と関連付けされている前記位置情報に基づいて前記表示位置を決定し、前記位置情報が相互に近接している複数の前記拡張現実感情報を１つの集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行い、前記端末装置の現在地点からの距離が遠い地点に関連付けされた前記拡張現実感情報ほど複数の前記拡張現実感情報の間で前記位置情報が相互に近接していると判定する範囲を拡大すること、
    を特徴とする情報提示システム。
13. カメラ部により取得された実空間の映像に、位置情報に関連付けられた拡張現実感情報と対応するグラフィックスオブジェクトを重畳して端末装置の表示部に描画させる端末画面表示方法であって、
    前記拡張現実感情報と対応するグラフィックスオブジェクトの表示位置を決定する表示位置決定ステップと、
    複数の前記グラフィックスオブジェクトの前記表示位置が相互に近接するか否かを判定する近接判定ステップと、
    前記表示位置が相互に近接する場合には、複数の前記拡張現実感情報を１つの集合グラフィックスオブジェクトとして前記表示部に表示させる表示ステップと、
    を備え、
    前記近接判定ステップでは、前記拡張現実感情報と関連付けされている前記位置情報に基づいて前記表示位置を決定し、前記端末装置の現在地点からの距離が遠い地点に関連付けされた前記拡張現実感情報ほど複数の前記拡張現実感情報の間で前記位置情報が相互に近接していると判定する範囲を拡大すること、
    を特徴とする端末画面表示方法。