JP5211120B2 - 情報表示装置及び情報表示方法 - Google Patents

Description

本発明の実施形態は、情報表示装置及び情報表示方法に関する。

実際の風景において、利用者が指示した特定の物体の名称や説明等の情報を、利用者に呈示する情報表示装置がある。

このような情報表示装置では、利用者にとって、より利便性の高いものが望まれている。

特開平１０−１４８５３５号公報 特開２００９―１２８５６５号公報

本発明が解決しようとする課題は、利用者にとって、より利便性の高い情報表示装置及び情報表示方法を提供することである。

上記課題を解決するために、本発明の実施形態に係る情報表示装置は、タッチパネルが重層された、風景を透過する表示部と、前記表示部を透過して観測可能な前記風景中に存在する、複数の物体の位置を示す位置情報と、前記物体の案内を示す案内情報とを格納する格納部と、前記表示部を通して、前記風景を観察する利用者の視点位置を算出する視点位置算出部と、前記視点位置に基づいて、前記風景中において、前記利用者が前記表示部を通して観察している領域を推定する領域推定部と、前記位置情報に基づいて、推定された前記領域中に存在する前記物体の前記案内情報を前記格納部から抽出する抽出部と、
前記タッチパネル上でのタッチ位置をワールド座標系におけるタッチ位置に変換する第２変換部と、前記視点位置と前記タッチ位置とから、前記抽出部が抽出した前記案内情報のうち、一の前記案内情報を選択する選択部とを備え、前記表示部は、抽出された前記案内情報を表示する。

第１の実施の形態に係る情報表示装置１の使用態様を示す一例図。 情報表示装置１の構成を表すブロック図。 情報表示装置１の処理を表すフローチャート。 格納部３０が格納する地理情報の概念図。 格納部３０が格納する地理情報を表す一例図。 撮像部１００が撮影した利用者９０を表す一例図。 領域推定部１３が推定する領域の概念図。 利用者９０の視点位置から観察した表示部５０を表す一例図。 画像生成部１５による表示位置の判定を説明するための概念図。 第１の実施の形態の変形例１に係る情報表示装置１０の構成を表すブロック図。 第１の実施の形態の変形例２に係る情報表示装置２００の構成を表すブロック図。 第２の実施の形態に係る情報表示装置２の使用態様を表す一例図。 情報表示装置２の構成を表すブロック図。 選択部２０が物体を指定する方法を説明するための概念図。

（第１の実施の形態）
第１の実施の形態に係る情報表示装置１は、例えば、観光地等に設置され、有名な建造物や自然物等の物体の情報を利用者に提供することにより観光案内を行なう情報キオスク端末等に用いられる。

図１は、情報表示装置１の使用態様を示す一例図である。情報表示装置１は、透明な表示部５０を有する。利用者９０は、表示部５０越しに風景を観察する。

情報表示装置１は、利用者９０の視点位置から、利用者９０が表示部５０越しに観察している風景中に存在する一又は複数の物体を推定し、当該物体の名称や説明等の情報を表示部５０に表示する。これにより、利用者９０は、観察している物体に重畳された状態で、当該物体の情報を知覚することができる。

図２は、情報表示装置１の構成を表すブロック図である。情報表示装置１は、処理部５と、格納部３０と、撮像部１００と、表示部５０とを備える。処理部５は、視点位置算出部１１と、第１変換部１２と、領域推定部１３と、抽出部１４と、画像生成部１５とを含む。

格納部３０は、情報表示装置１の周囲の風景上に存在する建造物や自然物等、複数の物体の地理情報を格納している。地理情報とは、物体の位置を示す位置情報、及び物体の名称や特徴等を示す案内情報を含む。

視点位置算出部１１は、カメラ座標系３２（後に図６を用いて説明する）における利用者９０の視点位置の座標を算出する。第１変換部１２は、カメラ座標系３２における利用者９０の視点位置の座標を、ワールド座標系３１における利用者９０の視点位置の座標に変換する。

領域推定部１３は、利用者９０が表示部５０越しに観察している風景の領域を推定する。抽出部１４は、推定された領域内に存在する一又は複数の物体の地理情報を、格納部３０から抽出する。画像生成部１５は、抽出された物体の地理情報を可視化した画像を生成する。表示部５０は、画像を表示する。

処理部５は、ＣＰＵ及びＣＰＵが用いるメモリにより実現されてよい。格納部３０は、ＣＰＵが用いるメモリにより実現されてよい。また、格納部３０は、ＣＰＵが用いる補助記憶装置により実現されてもよい。

ここで、ワールド座標系３１とは、情報表示装置１を基準とする座標系である。例えば、図１に示したように、情報表示装置１の設置面の中心部を原点Ｏとしてもよい。また、情報表示装置１の設置面の中心から、東の方向をｘ軸、鉛直方向をｙ軸、南の方向をｚ軸としてもよい。

カメラ座標系３２とは、撮像部１００を基準とする座標系である。例えば、カメラ座標系３２は、撮像部１００が撮影する撮像領域の左上を原点Ｏ”とし、水平方向をｘ”軸、鉛直方向をｙ”軸、奥行方向をｚ”軸として定義した座標系であってよい。カメラ座標系３２については、後に図６を用いて説明する。

図３は、情報表示装置１の処理を表すフローチャートである。視点位置算出部１１は、撮像部１００を用いて、カメラ座標系３２における利用者９０の視点位置の座標を算出する（Ｓ３０１）。第１変換部１２は、カメラ座標系３２における利用者９０の視点位置の座標を、ワールド座標系３１における利用者９０の視点位置の座標に変換する（Ｓ３０２）。風景推定部１３は、利用者９０が表示部５０越しに観察している風景を推定する（Ｓ３０３）。

抽出部１４は、推定された風景内に存在する一又は複数の物体の案内情報を、格納部３０から抽出する（Ｓ３０４）。画像生成部１５は、抽出された物体の案内情報を可視化した画像を生成する（Ｓ３０５）。表示部５０は、画像を表示する（Ｓ３０６）。

以上、情報表示装置１の処理について説明した。

情報表示装置１の各部について詳述する。

格納部３０は、情報表示装置１の周囲の風景上に存在する建造物や自然物等、複数の物体の地理情報を格納している。

図４は、格納部３０が格納する地理情報のうち、位置情報について説明するための図である。位置情報は、情報表示装置１を包囲する円筒４００の側面に射影された物体の射影像を基に定めることができる。

すなわち、図４に示すように、ワールド座標系３１におけるｙ軸を中心軸とし、かつ情報表示装置１よりも大きい、半径ｒ、高さＨの円筒４００を仮想的に定義する。そして、半径ｒがｘ軸となす角をθ、ｘｚ平面からの高さをｈとする円筒座標系（ｒ，θ，ｈ）を定義すると、円筒４００の側面における点Ｆは（θ，ｈ）の変数の組で表わされる。

なお、ワールド座標系３１と円筒座標系とは、ｘ＝ｒ×ｃｏｓθ、ｙ＝ｈ、ｚ＝ｒ×ｓｉｎθなる関係がある。

ある物体の位置情報は、当該物体を表示部５０の中心位置に向かって射影した場合に、円筒４００の側面において射影される射影像を取り囲む領域の座標（θ，ｈ）により定められてよい。ここで、ｒは定数であるから、領域の座標を（θ，ｈ）で定めることができる。本実施形態において、当該領域は、縦がｙ軸と平行、横がｘｚ平面と平行である。当該領域は、物体の射影像を囲むことができ、かつ面積が最小となるのが望ましい。当該領域は、対角にある２点により定めることができる。

例えば、図４において、物体５０１の位置情報は、物体５０１を表示部５０の中心位置に向かって射影した場合に、円筒４００の側面において射影される射影像６０１を取り囲む領域４５１により定められる。領域４５１において対角にある点Ｆ_１（θ_１，ｈ_１）とＦ_２（θ_２，ｈ_２）で定められるので、物体５０１の位置情報は、点Ｆ_１（θ_１，ｈ_１）とＦ_２（θ_２，ｈ_２）で表わされる。

図５は、格納部３０が格納する地理情報を表す一例図である。図５に示すように、格納部３０は、物体の識別番号である物体ＩＤと、物体の位置情報と、物体の案内情報とを対応付けた地理情報を格納している。格納部３０は、リレーショナルデータベースであってよい。

図５において、例えば、物体ＩＤ「００１」には、物体５０１の名称「○○山」や、物体５０１の特徴等をテキストデータで記述した説明文等の案内情報が対応付けられる。そして、２点（点Ｆ_１（θ_１，ｈ_１）とＦ_２（θ_２，ｈ_２））で表わされる物体５０１の位置情報が対応付けられる。

例えば、物体ＩＤ「００２」には、物体５０２の名称「××タワー」や、物体５０２の特徴等をテキストデータで記述した説明文等の案内情報が対応付けられる。そして、２点（点Ｆ_３（θ_３，ｈ_３）とＦ_４（θ_４，ｈ_４））で表わされる物体５０２の位置情報が対応付けられる。

なお、案内情報は、「名称」と「説明文」以外にも、物体に辿り着くまでの経路や、物体に関する画像、ＵＲＬ等を含んでいても構わない。

視点位置算出部１１は、撮像部１００を用いて、利用者９０の視点位置を算出する。撮像部１００は、例えば、利用者９０の顔を撮影することができるビデオカメラであってよい。撮像部１００は、図１に示すように、表示部５０の上部に設けられていてよい。

図６は、撮像部１００が撮影した利用者９０の顔画像を表す一例図である。まず、視点位置算出部１１は、撮像部１００が撮影した利用者９０の顔画像から、カメラ座標系３２における利用者９０の視点位置を算出する。本実施形態におけるカメラ座標系３２は、図６に示したように、撮像部１００が撮影する撮像領域の左上を原点Ｏ”とし、水平方向をｘ”軸、鉛直方向をｙ”軸、奥行方向をｚ”軸として定義した座標系であってよい。

例えば、視点位置算出部１１は、カメラ座標系３２のｘ”ｙ”平面における、利用者９０の右眼の座標Ｅ”_ｒ（ｘ”_ｒ，ｙ”_ｒ）、及び利用者９０の左眼の座標Ｅ”_ｌ（ｘ”_ｌ，ｙ”_ｌ）を算出する。視点位置算出部１１は、利用者９０の右眼の座標Ｅ”_ｒと、左眼の座標Ｅ”_ｌとの中点Ｅ”_ｍ（ｘ”_ｍ，ｙ”_ｍ）を、カメラ座標系３２のｘ”ｙ”平面における利用者９０の視点位置としてよい。利用者９０の顔画像から、利用者の眼を特定する際は、例えば、特許文献２の手法等を用いることができる。

そして、視点位置算出部１１は、カメラ座標系３２における利用者９０の視点位置のｚ”軸方向の成分ｚ”_ｍを推定し、最終的にカメラ座標系３２における利用者１００の視点位置Ｅ”_ｍ（ｘ”_ｍ，ｙ”_ｍ，ｚ”_ｍ）を算出する。ｚ”_ｍの推定には、例えば、撮像部１００が撮影した画像中の顔画像の大きさや眼間距離等から推定することができる。あるいは，表示部５０と視点位置の距離をあらかじめ仮定していても構わない。

第１変換部１２は、カメラ座標系３２における利用者９０の視点位置Ｅ”_ｍ（ｘ”_ｍ，ｙ”_ｍ，ｚ”_ｍ）を、ワールド座標系における利用者９０の視点位置Ｅ_ｍ（ｘ_ｍ，ｙ_ｍ，ｚ_ｍ）に変換する。例えば、第１変換部１２は、既知である撮像部１００のワールド座標系における位置から、カメラ座標系３２からワールド座標系への変換行列Ｍを予め求めておく。第１変換部１２は、変換行列ＭをＥ”_ｍに乗じることによりＥ_ｍを算出してよい。

第１変換部１２は、ワールド座標系３１における利用者９０の視点位置Ｅ_ｍ（ｘ_ｍ，ｙ_ｍ，ｚ_ｍ）を領域推定部１３に供給する。

領域推定部１３は、利用者９０が表示部５０越しに観察している風景の領域を推定する。図７は、領域推定部１３が推定する領域を説明するための概念図である。

領域推定部１３は、ワールド座標系３１で定義される仮想空間において、利用者９０の視点位置Ｅ_ｍから表示部５０の表面の頂点Ｄ_１、Ｄ_２、Ｄ_３、Ｄ_４に向かって延びる半直線Ｅ_ｍＤ_１、Ｅ_ｍＤ_２、Ｅ_ｍＤ_３、Ｅ_ｍＤ_４を生成する。そして、各々の半直線と円筒４００の側面との交点をＣ_１（θ_ｃ１，ｈ_ｃ１）、Ｃ_２（θ_ｃ２，ｈ_ｃ２）、Ｃ_３（θ_ｃ３，ｈ_ｃ３）、Ｃ_４（θ_ｃ４，ｈ_ｃ４）とする。ここで、ワールド座標系３１における表示部５０の表面の頂点Ｄ_１、Ｄ_２、Ｄ_３、Ｄ_４は既知であるとする。

領域推定部１３は、円筒４００の側面において、点Ｃ_１（θ_ｃ１，ｈ_ｃ１）と、Ｃ_２（θ_ｃ２，ｈ_ｃ２）と、Ｃ_３（θ_ｃ３，ｈ_ｃ３）と、Ｃ_４（θ_ｃ４，ｈ_ｃ４）とで構成される領域４６０を生成する。領域推定部１３は、領域４６０を、利用者９０が表示部５０越しに観察している風景の領域であると推定する。領域推定部１３は、領域４６０（点Ｃ_１（θ_ｃ１，ｈ_ｃ１）と、Ｃ_２（θ_ｃ２，ｈ_ｃ２）と、Ｃ_３（θ_ｃ３，ｈ_ｃ３）と、Ｃ_４（θ_ｃ４，ｈ_ｃ４））を抽出部１４に供給する。

抽出部１４は、格納部３０を検索し、領域４６０内に位置情報が含まれる物体の案内情報を抽出する。抽出部１４は、領域４６０内に物体の位置情報が含まれるか否かを、領域４６０の頂点の座標（θ，ｈ）と、円筒４００の側面において、物体の射影像を取り囲む領域の頂点の座標（θ，ｈ）とを比較することにより判定してよい。

例えば、図７において、領域４６０内には、物体５０１（射影像６０１を取り囲む領域４５１）と物体５０２（射影像６０２を取り囲む領域４５２）とが含まれる。抽出部１４は、格納部３０を検索し、物体５０１（物体ＩＤ「００１」）の案内情報と、物体５０２（物体ＩＤ「００２」）の案内情報とを抽出する。抽出部１４は、抽出した一又は複数の物体の地理情報を画像生成部１５に供給する。

なお、抽出部１４は、領域４６０内に物体の位置情報の一部の領域が重なる場合であっても、当該物体の案内情報を画像生成部１５に供給しても構わない。

画像生成部１５は、抽出された物体の案内情報を可視化した画像を生成する。図８は、利用者９０の視点位置Ｅ_ｍから観察した表示部５０を表す一例図である。画像生成部１５は、ワールド座標系における利用者９０の視点位置Ｅ_ｍと、表示部５０の表面の位置（頂点Ｄ_１、Ｄ_２、Ｄ_３、Ｄ_４）と、物体の位置情報（θ，ｈ）と用いて、表示部５０における、案内情報の画像の表示位置を判定してよい。

図９は、画像生成部１５による表示位置の判定を説明するための概念図である。例えば、画像生成部１５は、上述の仮想空間において、物体５０１の位置情報（Ｆ_１（θ_１，ｈ_１）とＦ_２（θ_２，ｈ_２））から、物体５０１の射影像６０１を取り囲む領域４５１の中心（Ｆ_ｐ（（θ_１+θ_２）／２，（ｈ_１+ｈ_２）／２）を求めてよい。画像生成部１５は、利用者９０の視点位置Ｅ_ｍと点Ｆ_ｐとを結ぶ半直線Ｅ_ｍＦｐを生成し、半直線Ｅ_ｍＦｐが表示部５０の表面と交差する、表示部５０上の点Ｐを求めてよい。画像生成部１５は、表示部５０における点Ｐの位置を、物体５０１の地理情報を表示する位置としてよい。また、画像生成部１５、地理情報のうちの案内情報を可視化した画像を生成してよい。

表示部５０は、画像を表示する。例えば、表示部５０は、透明ディスプレイであってよい。また、表示部５０は、投射機（不図示）を有するホログラムスクリーンであってよい。また、表示部５０はハーフミラーと投影機（不図示）を有するディスプレイ装置であってもよい。

本実施形態により、利用者９０は、観察している物体に重畳された状態で、当該物体の情報を知覚することができる。また、利用者９０の視点位置が移動した場合であっても、表示部５０に観察される風景内の物体の情報を、分かりやすく利用者９０に呈示することができる。

（変形例１）
図１０は、本実施形態の変形例１に係る情報表示装置１０の構成を表すブロック図である。本実施形態の変形例１に係る情報処理装置１０は、操作者により情報処理装置１０の向きを変更する操作が可能なものである。情報表示装置１０は、回転センサ８０１を用いて、情報表示装置１０の回転角度を測定する回転測定部１６を有する点が、情報表示装置１の場合と異なる。

回転センサ８０１は、電子コンパスやロータリエンコーダ等を用いることができる。回転測定部１６は、回転センサ８０１を用いて、ワールド座標系３１における情報表示装置１０の基準位置からの回転角を測定する。回転測定部１６は、測定した回転角を第１変換部１２と領域判定部１３に供給する。後の処理は、本実施の形態の場合と同様である。情報処理装置１０には、操作者により回転させるための取っ手を有していてもよい。

（変形例２）
図１１は、本実施形態の変形例２に係る情報表示装置２００の構成を表すブロック図である。本実施形態の変形例２に係る情報表示装置２００は、操作者により情報処理装置１０の位置を変更する操作が可能なものである。情報表示装置２００は、位置センサ８０２を用いて、情報表示装置２００の位置を測定する位置測定部１７を有する点が、情報表示装置１の場合と異なる。

位置センサ８０２は、超音波センサ、ＧＰＳセンサ、ジャイロセンサ、電子コンパス等である。位置測定部１７は、位置センサ８０２を用いて、ワールド座標系３１における情報表示装置２００の位置（向き、高さ、傾斜角度を含む）を測定する。位置測定部１７は、測定した位置を第１変換部１２と領域判定部１３に供給する。後の処理は、本実施の形態の場合と同様である。

この場合、格納部３０は、情報表示装置２００が移動した位置に対応する地理情報を格納しておくことが望ましい。

情報処理装置１０には、操作者により移動させるための取っ手を有していてもよい。

（第２の実施の形態）
図１２は、第２の実施の形態に係る情報表示装置２の使用態様を表す一例図である。情報表示装置２は、表示部５０に重層されるタッチパネル５１を有する点が前実施形態と異なる。情報表示装置２は、タッチパネル５１におけるタッチ位置と、利用者９０の視点位置とから、利用者９０が指示する物体を推定し、当該物体の地理情報をタッチパネル５１に表示する。これにより、利用者９０は、特定の物体の地理情報を知覚することができる。

図１３は、情報表示装置２の構成を表すブロック図である。情報表示装置２は、情報表示装置１に対して、さらに、タッチパネル５１と、タッチ位置算出部１８と、第２変換部１９と、選択部２０とを備える。

タッチ位置算出部１８は、タッチパネル座標系における利用者９０がタッチパネル５１をタッチした位置（タッチ位置）の座標を算出する。第２変換部１９は、タッチパネル座標系における利用者９０のタッチ位置の座標を、ワールド座標系３１における利用者９０のタッチ位置の座標Ｔに変換する。

選択部２０は、利用者９０の視点位置Ｅ_ｍとタッチ位置Ｔとから、抽出部１４が抽出した物体の中で利用者９０が指示した一の物体を選択する。

ここでタッチパネル座標系とは、タッチパネル５１を基準とする座標系である。例えば、タッチパネル座標系は、タッチパネル５１の中心を原点Ｏ’とし、水平方向をｘ’軸、鉛直方向をｙ’軸 として定義した座標系であってよい。

図１４は、選択部２０が物体を指定する方法を説明するための概念図である。物体推定部２０は上述の仮想空間において、利用者９０の視点位置Ｅ_ｍとタッチ位置Ｔと結ぶ半直線Ｅ_ｍＴを生成し、半直線Ｅ_ｍＴが円筒４００と交差する点Ｆ_Ｔ（θ_Ｔ，ｈ_Ｔ）を求める。選択部２０は、点Ｆ_Ｔ（θ_Ｔ，ｈ_Ｔ）を領域内部に含む位置情報があるか否かを判定する。点Ｆ_Ｔ（θ_Ｔ，ｈ_Ｔ）を領域内部に含む位置情報がある場合、選択部２０は、当該位置情報に対応する物体の案内情報を画像生成部１５に供給する。これにより、利用者９０は、特定の物体の案内情報を知覚することができる。

上述した実施形態により、利用者にとって、より利便性の高い情報表示装置及び情報表示方法を提供することができる。

なお、情報表示装置２は、表示部５０の他に、別の表示部（不図示）を備え、タッチパネル５１においてタッチされた物体の詳細な情報を当該表示部（不図示）に表示してもよい。

これまで、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１、２、１０ 情報表示装置
５ 処理部
１１ 視点位置算出部
１２ 第１変換部
１３ 領域推定部
１４ 抽出部
１５ 画像生成部
１６ 回転測定部
１７ 位置測定部
１８ タッチ位置算出部
１９ 第２変換部
２０ 選択部
３０ 格納部
３１ ワールド座標系
３２ カメラ座標系
５０ 表示部
５１ タッチパネル
９０ 利用者
１００ 撮像部
４００ 円筒
４５１、４５２ 領域
５０１、５０２ 物体
６０１、６０２ 射影像
８０１ 回転センサ
８０２ 位置センサ

Claims (4)

1. タッチパネルが重層された、風景を透過する表示部と、
   前記表示部を透過して観測可能な前記風景中に存在する、複数の物体の位置を示す位置情報と、前記物体の案内を示す案内情報とを格納する格納部と、
   前記表示部を通して、前記風景を観察する利用者の視点位置を算出する視点位置算出部と、
   前記視点位置に基づいて、前記風景中において、前記利用者が前記表示部を通して観察している領域を推定する領域推定部と、
   前記位置情報に基づいて、推定された前記領域中に存在する前記物体の前記案内情報を前記格納部から抽出する抽出部と、
   前記タッチパネル上でのタッチ位置をワールド座標系におけるタッチ位置に変換する第２変換部と、
   前記視点位置と前記タッチ位置とから、前記抽出部が抽出した前記案内情報のうち、一の前記案内情報を選択する選択部とを備え、
   前記表示部は、
   抽出された前記案内情報を表示する
   情報表示装置。
2. 前記格納部は、
   仮想空間において、前記利用者から見て前記表示部が存在する位置に仮想的に定義される面の一部である仮想面に前記物体を射影した射影像の、前記仮想面における座標により前記物体の前記位置情報を定め、
   前記領域推定部は、
   ワールド座標系における前記視点位置と前記表示部の角とを結ぶ複数の半直線を前記仮想空間において生成し、複数の前記半直線と前記仮想面との交差点で作られる領域を、前記利用者が前記表示部を通して観察している風景中の領域であると推定する
   請求項１記載の情報表示装置。
3. 基準となる向きからの回転角を測定する回転測定部をさらに備え、
   前記領域推定部は、
   前記視点位置と前記回転角とに基づいて、前記風景中において、前記利用者が前記表示部を通して観察している領域を推定する
   請求項２記載の情報表示装置。
   
4. タッチパネルが重層された、風景を透過する表示部を通して前記風景を観察する利用者の視点位置を算出し、
   前記視点位置に基づいて、前記風景中において、前記利用者が前記表示部を通して観察している領域を推定し、
   前記表示部を透過して観測可能な前記風景中に存在する、複数の物体の位置を示す位置情報と、前記物体の案内を示す案内情報とを格納する格納部から、前記位置情報に基づいて、
   推定された前記領域中に存在する前記物体の前記案内情報を抽出し、
   抽出された前記案内情報を表示し、
   前記タッチパネル上でのタッチ位置をワールド座標系におけるタッチ位置に変換し、
   前記視点位置と前記タッチ位置とから、前記抽出部が抽出した前記案内情報のうち、一の前記案内情報を選択する
   情報表示方法。

Images