JP6088094B1

JP6088094B1 - 複合現実環境を作成するためのシステム等

Info

Publication number: JP6088094B1
Application number: JP2016121928A
Authority: JP
Inventors: 修一倉林
Original assignee: Cygames Inc
Current assignee: Cygames Inc
Priority date: 2016-06-20
Filing date: 2016-06-20
Publication date: 2017-03-01
Anticipated expiration: 2036-06-20
Also published as: KR20190020758A; JP2017227975A; US20190147658A1; CN109643465B; US11282279B2; KR102164471B1; CN109643465A; WO2017221461A1

Abstract

【課題】複合現実環境において実空間の環境をリアルタイムに認識することができるシステムを提供する。【解決手段】本発明に係るシステムは、サーバと、ユーザに対して仮想オブジェクトを表示するための表示部及び実空間を撮影する撮影部を有する携帯可能な表示装置と、所定の実空間内の領域を撮影可能な複数の定点からそれぞれ画像を取得する画像取得装置とを備え、表示部を通してユーザが視認する実空間又は実空間の撮影画像に対して仮想オブジェクトを重畳させて描画するためのシステムであって、３次元空間データ記憶手段と、テーブル記憶手段と、色情報決定手段と、色情報更新手段と、ユーザ環境決定手段と、仮想照明情報生成手段と、描画手段との各手段をサーバ又は表示装置が備える。【選択図】図１

Description

本発明は、システムに関するものであり、特に複合現実環境において実空間の環境をリアルタイムに認識するシステムに関する。

近年、現実世界と仮想世界をリアルタイムかつシームレスに融合させる技術として複合現実感、いわゆるＭＲ（ＭｉｘｅｄＲｅａｌｉｔｙ）技術が知られている。本技術は、これを体験するユーザに対して、あたかもその場に仮想の物体が存在するかのような体験を行わせることができる。複合現実感の技術は、様々な分野で注目を集めている。ＭＲ技術を実現するために、ユーザは、光学シースルー型ＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）やビデオシースルー型ＨＭＤを装着することにより、ＨＭＤに重畳表示された複合現実画像を確認することができる。

現実世界を３Ｄ空間として認識する技術としては、ユーザ視点の高精度なカメラを搭載する手法と、観測対象空間を取り囲むようにカメラを設置する手法の２つが知られている。

ユーザ視点の高精度なカメラを搭載する手法としては、赤外線プロジェクタと赤外線カメラを用いる手法がある。例えば、ユーザ視点の高精度なカメラを搭載する手法としては、赤外線を照射し、その反射パターンの歪みから、物体の深度を計測する手法がある。また、Time of Flight法（ＴＯＦ法）と呼ばれる手法では、赤外線などの不可視光を照射し、その反射結果を計測することにより、対象物までの往復の距離を算出する手法がある。これらの方式は、３次元化できる空間が、赤外線の到達範囲に限定され、また、太陽効果で使用できないという問題点がある。

また、極めて高精度な３次元情報を撮影する手法としては、３Ｄレーザスキャナを用いる方式がある。本方式は、高い測定精度を実現できるが、３６０度の測定を行うために、最低でも１０分程度、標準画質で３０分間程度の時間を要する。したがって、リアルタイムの用途には適用できない。また、３Ｄレーザスキャナは、１台が数百〜数千万円と非常に高価であり、広域に大量配備するには適さない。３Ｄレーザスキャナは以上のような特性から、土木における測量や工場内のレイアウト確認などの、長時間かけて高精度な３Ｄ化を行う用途に用いられている。例えば特許文献１は、３Ｄイメージスキャナでスキャンして作成した点群データに対して、カメラで撮影した画像の色を付与することで、現実世界を３Ｄ空間として認識する技術を実現している。

観測対象空間を取り囲むようにカメラを設置する手法としては、非特許文献１に示すStructure-from-Motion（ＳｆＭ）と呼ばれる技術を用いて、複数の、ばらばらに撮影された画像から、元の３次元情報を復元する方式が挙げられる。この方式を採用する代表的な製品としては、Microsoft Photosynth（登録商標）がある。Ｓｆｍが実現する精度は、ＭＲ技術が要求する精度との比較においては相対的に低いものの、安価に３Ｄモデルを構築できる方式である。しかしながら、リアルタイム性は低く、そのままではＭＲ環境の実現に適用することはできない。

上述のとおり、これらの手法では、リアルタイム性と高精度な測定を同時に実現できないため、建造物等の背景を高精度に撮影することと、太陽の移動や人の移動による間接照明の変化を認識することが困難である。

特開２０１３−６９２３５号公報

Sameer Agarwal, Yasutaka Furukawa, Noah Snavely, Ian Simon, Brian Curless, Steven M. Seitz, and Richard Szeliski. 2011. Building Rome in a day. Commun. ACM 54, 10 (October 2011), 105-112. DOI=http://dx.doi.org/10.1145/2001269.2001293

上述のとおり、現実世界の構造や環境をリアルタイムかつ高精度に認識してそれを仮想空間に反映する方法は、未だ確立されていない。これは、ＭＲ環境において、例えば、描画される仮想オブジェクトの高品質なグローバルイルミネーションやユーザ（ＨＭＤ）のポジショントラッキングを実現する上で問題である。

本発明は、このような課題を解決するためになされたものであり、複合現実環境において実空間の環境をリアルタイムに認識することができるシステムを提供することを目的とする。

上記の目的を達成するために、本発明の一態様としてのシステムは、サーバと、ユーザに対して仮想オブジェクトを表示するための表示部及び実空間を撮影する撮影部を有する携帯可能な表示装置と、所定の実空間内の領域を撮影可能な複数の定点からそれぞれ画像を取得する画像取得装置とを備え、上記表示部を通してユーザが視認する実空間又は実空間の撮影画像に対して仮想オブジェクトを重畳させて描画するためのシステムであって、予め取得された上記所定の実空間内にある実オブジェクトの点群データに基づいて作成された３次元空間データであって、それぞれが３次元位置情報を有する３次元形状要素から構成される３次元空間データを記憶する３次元空間データ記憶手段と、上記画像取得装置により取得された画像のそれぞれのピクセルの位置情報と、それぞれのピクセルが示す１又は複数の上記３次元形状要素の３次元位置情報とが関連付けられたテーブルを記憶するテーブル記憶手段と、上記３次元形状要素が関連付けられた１又は複数の上記ピクセルの色情報に基づいて上記３次元形状要素の色情報を決定する色情報決定手段と、上記画像取得装置により取得された画像のそれぞれのピクセルの色情報の変化に基づいて上記３次元形状要素の色情報を更新する色情報更新手段と、上記表示装置の位置及び上記撮影部の撮影方向を決定するユーザ環境決定手段と、上記３次元形状要素の色情報及び３次元位置情報に基づいて、上記描画される仮想オブジェクトに対する仮想照明情報を生成する仮想照明情報生成手段と、上記表示装置の位置及び上記撮影部の撮影方向、並びに上記仮想照明情報に基づいて、上記表示部に上記仮想オブジェクトを描画する描画手段と、の各手段を上記サーバ又は上記表示装置が備える、ことを特徴とする。

このように構成された本発明によれば、３次元空間データを構成する３次元形状要素（例えばメッシュやボクセル）の位置情報と、画像取得装置（例えば固定カメラ）により取得された画像のそれぞれのピクセルの位置情報とを関連付けたテーブルを用いることにより、３次元形状要素の色情報を画像取得装置により取得された画像のピクセルの色情報から決定し、また更新する。このようにテーブルを用いることにより、画像取得装置から得られる色情報を３次元形状要素のそれぞれにリアルタイムに反映することが可能となる。

また、本発明において好ましくは、上記仮想照明情報生成手段は、上記３次元形状要素の色情報及び３次元位置情報に基づいて、上記描画される仮想オブジェクトを収容する仮想的な多面体の各面における仮想照明情報を上記描画される仮想オブジェクトに対する仮想照明情報として生成する。

このように構成された本発明によれば、描画される仮想オブジェクトに対して、該仮想オブジェクトを収容する仮想的な多面体を想定し、該多面体の各面における色彩（光）の状態を、実空間の色彩を反映させた３次元形状要素のそれぞれから決定する。そして、決定された各面における色彩の状態を、描画される仮想オブジェクトの仮想的な間接照明として用いる。これにより、より実空間の環境に近い色彩や陰影を持つ仮想オブジェクトを描画することが可能となる。

また、本発明において好ましくは、上記表示装置は、位置姿勢センサを更に備え、上記ユーザ環境決定手段は、上記位置姿勢センサにより取得された上記表示装置の位置及び上記撮影部の撮影方向を暫定ユーザ環境とし、該暫定ユーザ環境から所定範囲内の位置及び方向において上記撮影部が撮影可能な上記３次元形状要素を上記３次元空間データ記憶手段から取得し、該取得された３次元形状要素の色情報及び３次元位置情報と上記撮影された実空間の撮影画像とに基づいて、上記表示装置の位置及び上記撮影部の撮影方向を決定する。

このように構成された本発明によれば、位置姿勢センサを用いて決定された大まかな表示装置の位置及び撮影部の撮影方向を暫定ユーザ環境とし、該暫定ユーザ環境周辺において撮影部の撮影可能な領域にある３次元形状要素の色情報及び３次元位置情報と、撮影部の撮影画像とを比較して照合することにより、表示装置の位置及び撮影部の撮影方向を決定する。ここでは、通常、表示装置の位置はユーザの位置に対応し、撮影部の撮影方向はユーザの向いている方向に対応する。

このように、従来の位置姿勢センサから得られる大まかな位置情報と、３次元空間データを用いた高精度の仮想空間とのマッチングを行い、実空間と仮想空間におけるユーザの位置やユーザの向いている方向のずれをリアルタイムに補正することができる。これにより、現実と高精度にリンクするＭＲ環境を実現することが可能となり、ポジショントラッキングを実現することが可能になる。

また、本発明において好ましくは、上記３次元形状要素は、予め取得された上記所定の実空間内にある実オブジェクトの点群データに基づいて作成されたポリゴンから構成されるメッシュである。

このように構成された本発明によれば、３次元形状要素としてメッシュを用いることができる。

また、上記の目的を達成するために、本発明の一態様としての表示装置は、ユーザに対して仮想オブジェクトを表示するための表示部及び実空間を撮影する撮影部を有し、上記表示部を通してユーザが視認する実空間又は実空間の撮影画像に対して仮想オブジェクトを重畳させて描画するための携帯可能な表示装置であって、予め取得された所定の実空間内にある実オブジェクトの点群データに基づいて作成された３次元空間データであって、それぞれが３次元位置情報を有する３次元形状要素から構成される３次元空間データを記憶する３次元空間データ記憶手段と、上記所定の実空間内の領域を撮影可能な複数の定点からそれぞれ取得された画像のそれぞれのピクセルの位置情報と、それぞれのピクセルが示す１又は複数の上記３次元形状要素の３次元位置情報とが関連付けられたテーブルを記憶するテーブル記憶手段と、上記３次元形状要素が関連付けられた１又は複数の上記ピクセルの色情報に基づいて上記３次元形状要素の色情報を決定する色情報決定手段と、上記取得された画像のそれぞれのピクセルの色情報の変化に基づいて上記３次元形状要素の色情報を更新する色情報更新手段と、上記表示装置の位置及び上記撮影部の撮影方向を決定するユーザ環境決定手段と、上記３次元形状要素の色情報及び３次元位置情報に基づいて、上記描画される仮想オブジェクトに対する仮想照明情報を生成する仮想照明情報生成手段と、上記表示装置の位置及び上記撮影部の撮影方向、並びに上記仮想照明情報に基づいて、上記表示部に上記仮想オブジェクトを描画する描画手段と、を備える、ことを特徴とする。

このように構成された本発明によれば、上記のシステムが実現する技術を、表示装置により実現することができる。

また、上記の目的を達成するために、本発明の一態様としてのシステムは、サーバと、ユーザに対して３次元の仮想オブジェクトを表示するための表示部、実空間を撮影する撮影部、及び位置姿勢センサを有する携帯可能な表示装置と、を備え、上記表示部を通してユーザが視認する実空間又は実空間の撮影画像に対して仮想オブジェクトを重畳させて描画するためのシステムであって、予め取得された所定の実空間内にある実オブジェクトの点群データに基づいて作成された３次元空間データであって、それぞれが色情報及び３次元位置情報を有する３次元形状要素から構成される３次元空間データを記憶する３次元空間データ記憶手段と、上記位置姿勢センサにより取得された上記表示装置の位置及び上記撮影部の撮影方向を暫定ユーザ環境とし、該暫定ユーザ環境から所定範囲内の位置及び方向において上記撮影部が撮影可能な上記３次元形状要素を上記３次元空間データ記憶手段から取得し、該取得された３次元形状要素の色情報及び３次元位置情報と上記撮影された実空間の撮影画像とに基づいて、上記表示装置の位置及び上記撮影部の撮影方向を決定するユーザ環境決定手段と、の各手段を上記サーバ又は上記表示装置が備える、ことを特徴とする。

このように構成された本発明によれば、位置姿勢センサを用いて決定された大まかな表示装置の位置及び撮影部の撮影方向を暫定ユーザ環境とし、該暫定ユーザ環境周辺において撮影部の撮影可能な領域にある３次元形状要素の色情報及び３次元位置情報と、撮影部の撮影画像とを比較して照合することにより、表示装置の位置及び撮影部の撮影方向を決定する。

また、上記の目的を達成するために、本発明の一態様としての方法は、所定の実空間内において携帯可能な表示装置の表示部を通してユーザが視認する実空間又は実空間の撮影画像に対して仮想オブジェクトを重畳させて描画する方法であって、上記所定の実空間内の領域を撮影可能な複数の定点からそれぞれ画像を取得するステップと、予め取得された上記所定の実空間内にある実オブジェクトの点群データに基づいて作成された３次元空間データを構成する３次元位置情報を有する３次元形状要素の色情報であって、上記取得された画像の上記３次元形状要素に対応する位置のピクセルの色情報に基づいて上記３次元形状要素の色情報を決定するステップと、上記取得された画像のそれぞれのピクセルの色情報の変化に基づいて上記３次元形状要素の色情報を更新するステップと、上記表示装置の位置及び上記表示装置が備える撮影部の撮影方向を決定するステップと、上記３次元形状要素の色情報及び３次元位置情報に基づいて、上記描画される仮想オブジェクトに対する仮想照明情報を生成するステップと、上記表示装置の位置及び上記撮影部の撮影方向、並びに上記仮想照明情報に基づいて、上記表示部に上記仮想オブジェクトを描画するステップと、を有する、ことを特徴とする。

また、上記の目的を達成するために、本発明の一態様としてのプログラムは、サーバと、ユーザに対して仮想オブジェクトを表示するための表示部及び実空間を撮影する撮影部を有する携帯可能な表示装置と、所定の実空間内の領域を撮影可能な複数の定点からそれぞれ画像を取得する画像取得装置とを備えるシステムにおいて、上記表示部を通してユーザが視認する実空間又は実空間の撮影画像に対して仮想オブジェクトを重畳させて描画するためのプログラムであって、上記プログラムは、上記サーバに、上記表示装置から画像を取得するステップと、予め取得された上記所定の実空間内にある実オブジェクトの点群データに基づいて作成された３次元空間データを構成する３次元位置情報を有する３次元形状要素の色情報であって、上記画像取得装置により取得された画像の上記３次元形状要素に対応する位置のピクセルの色情報に基づいて上記３次元形状要素の色情報を決定するステップと、上記画像取得装置により取得された画像のそれぞれのピクセルの色情報の変化に基づいて上記３次元形状要素の色情報を更新するステップと、上記表示装置の位置及び上記撮影部の撮影方向を決定するステップと、上記３次元形状要素の色情報及び３次元位置情報に基づいて、上記描画される仮想オブジェクトに対する仮想照明情報を生成するステップと、上記表示装置の位置及び上記撮影部の撮影方向、並びに上記仮想照明情報に基づいて、上記表示部に上記仮想オブジェクトを描画するステップと、を実行させる、ことを特徴とする。

また、上記の目的を達成するために、本発明の一態様としての方法は、所定の実空間内において携帯可能な表示装置の表示部を通してユーザが視認する実空間又は実空間の撮影画像に対して３次元の仮想オブジェクトを重畳させて描画するための複合現実環境を作成する方法であって、上記所定の実空間内にある実オブジェクトの点群データに基づいて、それぞれが３次元位置情報を有する３次元形状要素から構成される３次元空間データを作成するステップと、上記所定の実空間内の領域を撮影可能な複数の定点からそれぞれ画像を取得するステップと、上記取得された画像のそれぞれのピクセルの位置情報と、それぞれのピクセルが示す１又は複数の上記３次元形状要素の３次元位置情報とを関連付けたテーブルを作成するステップと、上記３次元形状要素が関連付けられた１又は複数の上記ピクセルの色情報に基づいて上記３次元形状要素の色情報を決定するステップと、を有する、ことを特徴とする。

このように構成された本発明によれば、仮想空間において実オブジェクトを含む所定の実空間を表現する３次元空間データを作成し、固定カメラ等から画像を取得し、該３次元空間データを構成する３次元形状要素の位置情報と、固定カメラ等により取得された画像のそれぞれのピクセルの位置情報とを関連付けたテーブルを作成し、テーブルを用いて３次元形状要素の色情報を決定する。

これにより、実空間の色彩状態（光の状態）をリアルタイム、かつ、高精度に３次元形状要素の色情報に反映させることが可能となり、その結果、実空間の色彩状態をリアルタイム、かつ、高精度に反映させる複合現実環境を実現することが可能となる。

また、本発明において好ましくは、上記取得された画像のそれぞれのピクセルの色情報の変化に基づいて上記３次元形状要素の色情報を更新するステップを更に有する。

また、上記の目的を達成するために、本発明の一態様としてのシステムは、所定の実空間内において携帯可能な表示装置の表示部を通してユーザが視認する実空間又は実空間の撮影画像に対して３次元の仮想オブジェクトを重畳させて描画するための複合現実環境を作成するためのシステムであって、上記所定の実空間内にある実オブジェクトの点群データに基づいて、それぞれが３次元位置情報を有する３次元形状要素から構成される３次元空間データを作成する３次元空間データ作成手段と、上記所定の実空間内の領域を撮影可能な複数の定点からそれぞれ画像を取得する画像取得手段と、上記取得された画像のそれぞれのピクセルの位置情報と、それぞれのピクセルが示す１又は複数の上記３次元形状要素の３次元位置情報とを関連付けたテーブルを作成するテーブル作成手段と、上記３次元形状要素が関連付けられた１又は複数の上記ピクセルの色情報に基づいて上記３次元形状要素の色情報を決定する色情報決定手段と、を備える、ことを特徴とする。

また、上記の目的を達成するために、本発明の一態様としてのデータ構造は、所定の実空間内において携帯可能な表示装置の表示部を通してユーザが視認する実空間又は実空間の撮影画像に対して３次元の仮想オブジェクトを重畳させて描画するための複合現実環境を作成するためのデータ構造であって、上記所定の実空間内の領域を撮影可能な複数の定点からそれぞれ画像を取得し、該取得された画像のそれぞれのピクセルの位置情報を示す２次元座標データと、上記所定の実空間内にある実オブジェクトの点群データに基づいて作成された３次元空間データを構成する３次元形状要素であって、上記それぞれのピクセルに関連付けられた３次元形状要素の３次元位置情報を示す３次元座標データと、を含む、ことを特徴とする。

このように構成された本発明によれば、データ構造は、仮想空間において実オブジェクトを含む所定の実空間を表現する３次元空間データを構成する３次元形状要素の位置情報と、画像取得装置（例えば固定カメラ）により取得された画像のそれぞれのピクセルの位置情報とを関連付けたテーブルを含むものである。このようなテーブルを用いることにより、３次元形状要素の色情報を固定カメラ等により取得された画像のピクセルの色情報から決定し、また更新することが可能となる。

本発明によれば、複合現実環境において実空間の環境をリアルタイムに認識することができる。

本発明の一実施形態によるシステムの全体構成図である。本発明の一実施形態による現実世界の光の状態を利用したグローバルイルミネーションの概要を示す図である。本発明の一実施形態によるポジショントラッキングの概要を示す図である。本発明の一実施形態によるサーバのハードウェア構成を示すブロック図である。本発明の一実施形態による表示装置のハードウェア構成を示すブロック図である。本発明の一実施形態による実空間の概観図である。図６ａの実空間を上から見た平面図である。図６ａの実空間において取得された点群データにより表現された３次元空間データである。図６ｃの点群データから作成されたボクセルにより表現された３次元空間データである。本発明の一実施形態によるシステムの機能ブロック図である。本発明の一実施形態による、固定カメラにより取得された画像のそれぞれのピクセルの位置情報と、それぞれのピクセルが示すボクセルの３次元位置情報との関連付けを説明する図である。本発明の一実施形態による、ユーザの向いている方向と撮影部２０３の撮影方向を説明する図である。本発明の一実施形態による、実空間の環境を仮想空間にリアルタイムに反映する複合現実環境を作成する方法を示す図である。図１０で作成した複合現実環境において、ユーザに複合現実感を体感させることが可能な、実空間の光の状態を利用したグローバルイルミネーションとユーザの高精度なポジショントラッキングを提供する方法を示す図である。本発明の一実施形態による実空間の概観図である。

以下、図面を参照して、本発明の実施形態による、ユーザに対して仮想空間と現実空間とを融合した複合現実空間を提供するためのシステムについて説明する。

本発明の実施形態によるシステムの技術的特徴の１つは、実空間と極めて高い精度で一致する構造及び色彩を有する高精度の３次元仮想空間を生成することである。これにより、（１）現実世界の光の状態を利用したグローバルイルミネーションを実現することや、（２）ユーザの高精度なポジショントラッキングを実現することが可能となる。

（１）現実世界の光の状態を利用したグローバルイルミネーションの概要について説明する。本発明の実施形態によるシステムは、ゲーム・キャラクタのように、画面上のごく一部だけをコンピュータグラフィックス（ＣＧ）が占めるＭＲ環境の運用形態を想定している。例えば、図２では、実空間の光源２１により実空間の建物２２から生じる影２３の中に、仮想空間の存在である仮想オブジェクト（すなわちＣＧ）であるキャラクタ２４が入ると、その場所の暗さに（明るさ）に応じて、キャラクタ２４画像の明度を変更する。本発明の実施形態によるシステムは、このキャラクタ画像の明度を、建物と床の３次元空間データ（例えば、３Ｄメッシュやボクセル）の色情報の明度から算出し、レンダリングすることにより、現実世界の光の状態とマッチしたキャラクタ表示を実現する。

（２）ユーザの高精度なポジショントラッキングの概要について説明する。図３は、ユーザがいる現実世界３１と、３次元空間データ（ＤＢ）により構築される仮想世界３２と、これらをマッチングして生成された複合現実世界（ＭＲ環境）３３とを示す。ＭＲ環境３３において、一般的にユーザはＨＭＤ等の表示部を有する装置を装着する。ＨＭＤには各種センサ機器が搭載されているが、現実世界３１の構造を高精度に認識してそれを仮想空間３２に反映するＭＲ環境３３を実現するためには、従来使用されるセンサの計測精度では十分ではない。

そこで、本発明の実施形態によるシステムは、従来使用される各種センサ（例えば、距離センサ、画像センサ、方向センサ、ＧＰＳセンサ、Ｂｌｕｅｔｏｏｔｈ（登録商標）ビーコン）から得られる大まかな位置情報と高精度の仮想空間３２とのマッチングを行い、実空間３１と仮想空間３２におけるユーザの位置やユーザの向いている方向のずれをリアルタイムに補正する。これにより、現実と高精度にリンクするＭＲ環境３３を実現し、ポジショントラッキングを実現する。このようなＭＲ環境３３においては、仮想世界３２で仮想オブジェクトの台２６の上にキャラクタ２４を立たせる場合、ユーザは現実世界３１の台２５の上に違和感なくキャラクタ２４が立っていることを視認することができる。

上記のような本発明の実施形態によるシステムは、予め定められた実空間（所定の実空間）において実現する。本発明の実施形態によるシステムは、所定の実空間内にある建物やベンチ等の実オブジェクトの状態を認識し、高精度３次元空間を生成する生成フェーズと、所定の実空間内にいるユーザに複合現実感を体感させるために、実空間上の光の状態を認識し、高精度３次元空間に写像する認識フェーズとを含んで構成される。以下に具体的な構成を説明する。

［システム構成］
図１は、本発明の実施形態によるシステム１０の全体構成図の一例である。図１に示すように、システム１０は、サーバ１００と、１又は複数の表示装置２００と、１又は複数の画像取得装置３００とを含む。サーバ１００、表示装置２００、及び画像取得装置３００は、インターネットなどのネットワーク５０に接続され、互いに通信可能である。

システム１０は、サーバ‐クライアントシステムを想定しており、好ましくは、表示装置２００と画像取得装置３００は、サーバ１００とのみ通信を行う。ただし、ＰｔｏＰのようなサーバのないシステムで構成することもできる。

システム１０は、所定の実空間内にいるユーザに対して、複合現実感を体感させることができるものである。所定の実空間は、予め定められた屋内又は屋外の実空間であり、該空間内には、現実世界におけるオブジェクトである実オブジェクトが存在する。実オブジェクトは、例えば建物、ベンチ、壁などの構造物であり、実空間内に固定されたものである。ただし、移動可能な物を実オブジェクトに含めてもよい。

図４は本発明の実施形態によるサーバ１００のハードウェア構成を示すブロック図である。サーバ１００は、処理部１０１、表示部１０２、入力部１０３、記憶部１０４及び通信部１０５を備える。これらの各構成部はバス１１０によって接続されるが、それぞれが必要に応じて個別に接続される形態であってもかまわない。

処理部１０１は、サーバ１００が備える各部を制御するプロセッサ（例えばＣＰＵ）を備えており、記憶部１０４をワーク領域として各種処理を行う。サーバ１００が仮想オブジェクトを描画する場合、処理部１０１は、ＣＰＵとは別に、描画処理を行うＧＰＵを備えるのが好ましい。表示部１０２はサーバ使用者に情報を表示する機能を有する。入力部１０３はキーボードやマウス等のようにサーバ使用者からの入力を受け付ける機能を有するものである。

記憶部１０４は、ハードディスク、メインメモリ、及びバッファメモリを含む。ハードディスクにはプログラムが記憶される。ただしハードディスクは、情報を格納できるものであればいかなる不揮発性ストレージ又は不揮発性メモリであってもよく、着脱可能なものであっても構わない。記憶部１０４には、プログラムや当該プログラムの実行に伴って参照され得る各種データが記憶される。処理部１０１がＧＰＵを備える場合、記憶部１０４はビデオメモリを含むことができる。

１つの例では、プログラムは、ユーザの位置・向き・アクションに対して、表示装置２００を通して仮想オブジェクトを表示・移動させるための１又は複数のプログラムであり、各種データは描画する３Ｄキャラクタ等の仮想オブジェクトデータを含む。

記憶部１０４は各種データベース用のデータ（例えばテーブル）やプログラムを記憶することができる。処理部１０１の動作などにより、各種データベースは実現される。例えば、サーバ１００は、データベースサーバ機能を備えることもできるし、データベースサーバを含むこともできるし、又は他のサーバを含む若しくは備えることもできる。

通信部１０５はイーサネット（登録商標）ケーブル等を用いた有線通信や移動体通信、無線ＬＡＮ等の無線通信を行い、ネットワーク５０へ接続する。

サーバ１００は、プログラムが実行されることによって様々な機能が実現されるが、これらの機能の一部は電子回路等を構成することによっても実現できる。

１つの例では、サーバ１００が描画する場合、ＣＰＵはメインメモリに描画コマンドを書き込み、ＧＰＵは描画コマンドを参照してビデオメモリ上のフレームバッファに描画データを書き込む。その後、フレームバッファから読み取ったデータをそのまま表示装置２００に送信する。

１つの例では、サーバ１００は、機能やエリアごとに設置された複数のサーバを組み合わせて構成される。例えば、所定の実空間を複数のエリアに分割し、各エリアに１台のサーバを設置するとともに、それらのサーバを統合するサーバを設置する構成とすることもできる。

図５は本発明の実施形態による表示装置２００のハードウェア構成を示すブロック図である。表示装置２００は、処理部２０１と、表示部２０２と、撮影部２０３と、記憶部２０４と、通信部２０５と、位置姿勢センサ２０６とを備える。これらの各構成部はバス２１０によって接続されるが、それぞれが必要に応じて個別に接続される形態であってもかまわない。

処理部２０１は、表示装置２００が備える各部を制御するプロセッサ（例えばＣＰＵ）を備えており、記憶部２０４をワーク領域として各種処理を行う。表示装置２００が描画する場合、処理部２０１は、ＣＰＵとは別に、描画処理を行うＧＰＵを備えるのが好ましい。１つの例では、表示装置２００はサーバ１００から描画コマンドを受信し、描画処理を行う。

記憶部２０４は、ハードディスク、メインメモリ、及びバッファメモリを含む。ハードディスクにはプログラムが記憶される。ただしハードディスクは、情報を格納できるものであればいかなる不揮発性ストレージ又は不揮発性メモリであってもよく、着脱可能なものであっても構わない。記憶部２０４には、プログラムや当該プログラムの実行に伴って参照され得る各種のデータが記憶される。更に記憶部２０４は各種データベース用のデータやプログラムを記憶することができる。処理部２０１の動作などにより、各種データベースは実現される。処理部２０１がＧＰＵを備える場合、記憶部２０４はビデオメモリを含むことができる。

表示部２０２は、ユーザに対して仮想オブジェクトを表示する透過型ディスプレイ、半透過型ディスプレイ、又は非透過型ディスプレイである。

撮影部２０３は、実空間を撮影するもので、撮影した各フレームの画像（現実世界の画像）を、例えば記憶部２０４に格納する。撮影部２０３が撮影する領域は、表示装置２００を携帯した又は装着したユーザの視界領域と同じであることが好ましい。

表示装置２００は、ユーザが携帯可能なものであり、好ましくは、頭部に装着可能な頭部搭載型画像表示装置（ＨＭＤ）である。以下、本実施形態においては、表示装置２００としてＨＭＤ２００を用いるものとする。ＨＭＤ２００は、光学シースルー型ＨＭＤとビデオシースルー型ＨＭＤとを含む。

光学シースルー型ＨＭＤは、透過型ディスプレイの表示部２０２を備え、ＨＭＤを装着するユーザに対して表示部２０２を通して実空間を視認させるとともに、表示部２０２に仮想オブジェクトを重畳して描画することで、複合現実画像を提供する。

ビデオシースルー型ＨＭＤは、非透過型ディスプレイの表示部２０２を備え、ＨＭＤを装着するユーザに対して表示部２０２を通して実空間の撮影画像を視認させるとともに、表示部２０２に仮想オブジェクトを重畳して描画することで、複合現実画像を提供する。

ただし表示装置２００は、ユーザが手で保持するタイプの表示装置（ＨａｎｄＨｅｌｄＤｉｓｐｌａｙ）であってもよい。

位置姿勢センサ２０６は、ＧＰＳ、ジャイロセンサ、及び加速度計を含み、大まかな表示装置の位置及び表示装置の撮影部２０３が撮影する方向（又は表示部２０２が向く方向）をリアルタイムに決定する。従来使用される他の各種センサを含んでいてもよい。

通信部２０５は移動体通信、無線ＬＡＮ等の無線通信を行い、ネットワーク５０へ接続する。１つの例では、通信部２０５は、撮影部２０３が撮影した画像データを、ネットワーク５０を介してサーバ１００に送信する。

画像取得装置３００は、実空間の映像（画像）を取得し、取得された画像データを、ネットワーク５０を介してサーバ１００や表示装置２００に送信する。また画像取得装置３００は、所定の実空間を取り囲み、所定の実空間内にいるユーザが視認可能な領域を撮影可能な定点に固定して設置される。

１つの例では、画像取得装置３００は、定点に設置される固定カメラである。また１つの例では、画像取得装置３００は１秒間に３０コマの画像を取得し、サーバ１００に送信する。以下、本実施形態においては、画像取得装置３００として固定カメラ３００を用いるものとする。

［第１の実施形態］
本発明の実施形態によるシステム１０が複合現実環境４３をユーザに提供する現実世界の空間（所定の実空間）として、図６に示すような壁２７に覆われた屋内の空間である実空間４１を想定する。図６ａは実空間４１の概観図、図６ｂは実空間４１を上から見た平面図である。実空間４１内には、現実世界の光源２１及び現実世界の実オブジェクトである建物２２が存在する。図６に示すように、実空間４１においては、観測対象となる空間、すなわち実空間４１内にいるユーザが視認可能な空間を撮影できるように、複数の固定カメラ３００が配置される。

本発明の実施形態においては、例えば高精度なレーザスキャナ（図示せず）を用いることにより、実空間４１内の実オブジェクトの３次元形状を示す点群データを予め取得する。点群データの取得は、実空間４１内に固定カメラ３００が設置された後に行われるのが好適であり、また点群データ取得と同時に固定カメラ３００の画像データを取得するのが好適である。ただし、レーザスキャナを用いて点群データを取得した後に固定カメラ３００を設置してもよい。図６ｃは、実空間４１において取得された点群データにより表現された３次元空間データの例を示す。

図６ｃに示すように、点群データのそれぞれは、３次元座標（ｘ、ｙ、ｚ）を有し、実空間４１に対応付けられた仮想空間４２内に配置される。また点群データのそれぞれは、色情報を有する色付き点群データである。色付き点群データは、レーザスキャナが備えるカメラを用いて点群データ取得とは別に撮影された画像から求めた色情報を、撮影時のカメラの位置や姿勢に応じて点群の各座標点（ｘ、ｙ、ｚ）にマッピングすることにより、作成される。

このように実空間４１に対応付けされた仮想空間４２において実オブジェクトの３次元形状を表すものとして、点群データを基本単位（基本構成要素）として用いることにより、３次元空間データを構成することができる。本明細書においては、この基本単位を３次元形状要素と表現する。

本発明の実施形態では、説明を簡単にするため、取得された点群データを、例えばＯｃｔｏＭａｐ（"OctoMap: An Efficient Probabilistic 3D Mapping Framework Based on Octrees" in Autonomous Robots, 2013; A.Hornung,. K.M. Wurm, M. Bennewitz, C. Stachniss, and W. Burgard (http://dx.doi.org/10.1007/s10514-012-9321-0) DOI: 10.1007/s10514-012-9321-0.）等の既知の手法を用いて、ボクセルと呼ばれるデータ構造へ変換する。ボクセルは、２次元空間のピクセルに対応する３次元空間の単位構成要素であり、３次元空間上の座標を用いて識別される一定の大きさを持つ立方体である。

第１の実施形態において、以下では実空間４１に対応付けされた仮想空間４２において実オブジェクトの３次元形状を表す３次元空間データは、ボクセルから構成されるものとする。この場合、ボクセルが３次元空間データの３次元形状要素である。図６ｄは、図６ｃの点群データから作成されたボクセルにより表現された３次元空間データを示す。ただし、後述するように３次元形状要素としてメッシュ（３Ｄメッシュ）を用いることもできるし、点群データそのものを３次元形状要素として用いることもできる。

本発明の実施形態では、例えば実空間を１ｃｍ³のボクセル枠に分割し、ボクセル空間（ボクセルにより表現された３次元空間）を設定する。１つのボクセルＶは、位置情報ｘ、ｙ、ｚに加え、固定カメラ３００から見たときの１又は複数の色情報ｃを持つ。

色情報ｃは、ＲＧＢやＨＳＶ等のフォーマットで表現される。例えばＨＳＶのフォーマットで表現される場合、色情報は、色相、彩度、及び明度を有する。

また本発明の実施形態においては、仮想空間４２を実空間４１内に対応付けされた領域（０≦Ｘ≦Ｘ１、０≦Ｙ≦Ｙ１、０≦Ｚ≦Ｚ１）に限定して考えるものとする。ただし、仮想空間４２をより小さい領域に設定して、複数の仮想空間をそれぞれ実空間４１と対応付けることもできるし、仮想空間４２をより大きい領域に設定することもできる。仮想空間４２をより小さい領域に設定する場合、それぞれの仮想空間４２に対応する実空間４１内において、ユーザが視認可能な領域を撮影可能な複数の定点にそれぞれ固定カメラ３００が設置される。

１つの例では、実空間４１が広域の空間である場合、仮想空間４２を複数のエリアごとに設定し、サーバ１００も複数のエリアごとに設置するのが好適である。例えば、サーバ１００の記憶部１０４がボクセルデータを記憶する場合、式（１）の１つのボクセルＶは、1 voxel = (int16 x, int16 y, int16 z, int32 rgb)とすると、10 byteとなる。実空間を10mm³のボクセルの集合としてモデル化するとき、1000mm³ = 100万voxelとなり、約10Mbyteとなる。テーマパークのように広域の空間を高精度ボクセル空間に変換する場合は、このテーマパーク領域を、10m＝10,000mmのグリッドに分割すると、１グリッドは、10,000m³なので、約10億voxelとなる。これを、高さ５ｍまでの空間に縮退させると、約5億voxelとなる。すなわち、5億voxelをそのままナイーブにメモリ上に確保しても、5GByteで格納できるため、グリッドごとにサーバを割り当て、オンメモリ化することは容易である。

図７は本発明の実施形態によるシステムの機能ブロック図を示す。システム１０は、記憶手段１１と、３次元空間データ作成手段１２と、テーブル作成手段１３と、色情報決定手段１４と、色情報更新手段１５と、仮想照明情報生成手段１６と、ユーザ環境取得手段１７と、描画手段１８と、を備える。

これらの機能は、プログラムをサーバ１００に実行させることで実現されるか、プログラムをＨＭＤ２００に実行させることで実現されるか、又はプログラムをサーバ１００に実行させ、かつプログラムをＨＭＤ２００に実行させることで実現される。このように各種機能がプログラム読み込みにより実現されるため、１つの手段の一部の機能を他の手段が有していてもよい。このように、サーバ１００及びＨＭＤ２００の少なくとも一方が図７に示す各種機能を備えることにより、本システムは実現される。

記憶手段１１は、サーバ１００及びＨＭＤ２００の双方が備え、プログラムやデータ等を記憶部１０４又は２０４へ格納する機能を有する。１つの例では、サーバ１００が備える記憶手段１１は、仮想空間４２に配置される仮想オブジェクトの位置や動きに関するデータや仮想オブジェクトの３次元データを記憶部１０４へ記憶し、ＨＭＤ２００が備える記憶手段１１は、サーバ１００から受信する描画コマンドを一時的に記憶部２０４へ記憶し、描画処理を行う。他の例では、記憶手段１１は、各種データベースへのデータ入出力を行う。

３次元空間データ作成手段１２は、実空間４１に対応付けされた仮想空間４２において実オブジェクトの３次元形状を示す点群データをボクセルへ変換することで、３次元空間データ（３次元ボクセルデータ）を作成する。

ここで点群データは色付き点群データであるため、作成されるボクセルは色付きボクセルとなる。またそれぞれのボクセルは、３次元位置情報を有する。例えば、仮想空間に設定された３次元座標の原点から最も近い立方体の頂点の３次元座標（ｘ、ｙ、ｚ）を３次元位置情報として有する。

３次元空間データ作成手段１２は、サーバ１００が備えるのが好適である。ただし、３次元空間データが予め作成され、記憶部１０４等に記憶されている場合、システム１０は、３次元空間データ作成手段１２を備えていなくてもよい。

サーバ１００が備える記憶手段１１は、作成された３次元空間データを記憶部１０４へ記憶する３次元空間データ記憶手段を含む。１つの例では、サーバ１００はデータベースサーバ機能を有し、３次元位置情報に関する照会に応じて、サーバ１００は記憶された３次元空間データを適宜出力する。ただし、ＨＭＤ２００が備える記憶手段１１が、３次元空間データを記憶部２０４へ記憶する３次元空間データ記憶手段を含むこともできる。

テーブル作成手段１３は、固定カメラ３００により取得された画像のそれぞれのピクセルの位置情報と、それぞれのピクセルが示す１又は複数のボクセルの３次元位置情報とを関連付けてテーブルを作成する。これについては、図８を用いて説明する。

図８に示すように、固定カメラ３００のうちの１つの固定カメラ３００ａにより取得された画像の任意の１つのピクセル（ｘ、ｙ）は、実空間において実オブジェクトの微小領域を映し出す。この映し出された微小領域は、ボクセル空間における複数のボクセル（ｘ、ｙ、ｚ）に対応するものである。ただし、任意の１つのピクセルが１つのボクセルに対応する場合もある。

ここで、前述のとおり、それぞれのボクセルは色情報を有する。また固定カメラ３００は定められたポイントに固定されるものであり、固定カメラ３００の仮想空間４２における３次元位置情報は、３次元空間データとして記憶されている。例えば図６ｃに示すように、固定カメラ３００という実オブジェクトの３次元形状を示す点群データを予め取得することにより、固定カメラ３００の３次元座標は、３次元空間データとして記憶されている。

したがって、ボクセル（点群データ）の３次元位置情報及び色情報と、固定カメラ３００により撮影された画像データとを比較することにより、画像データのそれぞれのピクセルの位置情報（２次元座標）と、そのピクセルが示す実オブジェクトの微小領域に対応するボクセルの位置情報（３次元座標）とを関連付けることができる。テーブル作成手段１３は、このようにして固定カメラ３００の撮影する画像のピクセルの位置情報と、それぞれのピクセルが示すボクセルの３次元位置情報とを関連付けてテーブルを作成する。１つの例では、当該関連付けは、３次元空間データにおけるボクセルの３次元位置情報及び色情報と、固定カメラ３００により撮影された画像データの位置情報及び色情報との類似性を用いて行う。

またこのような関連付けを行うことにより、固定カメラ３００の３次元位置情報と撮影する方向（例えば６ＤＯＦ座標）を高精度に決定することができる。

テーブル作成手段１３は、サーバ１００が備えるのが好適である。ただし、テーブルデータが予め作成され、記憶部１０４等に記憶されている場合、システム１０は、テーブル作成手段１３を備えていなくてもよい。

サーバ１００が備える記憶手段１１は作成されたテーブルを記憶部１０４へ記憶するテーブル記憶手段を更に含む。記憶されたテーブルは、例えばデータベースが参照するテーブルとして使用することができる。他の例では、ＨＭＤ２００が備える記憶手段１１は作成されたテーブルを記憶部２０４へ記憶するテーブル記憶手段を更に含む。

色情報決定手段１４は、作成されたテーブルを用いることにより、実空間４１内の実オブジェクトの３次元形状を示すボクセルそれぞれのボクセルの色情報を決定する。ここで、色付き点群データから作成された色付きボクセルの色情報は、上記のテーブル作成においてのみ使用されるものである。

ある１つのボクセル（の位置情報）が、１つの固定カメラ３００により撮影された画像の１つのピクセル（の位置情報）のみに関連付けられる場合、色情報決定手段１４は、該ピクセルの色情報を該ボクセルの色情報として決定する。

ある１つのボクセルが、複数の固定カメラ３００により撮影されたそれぞれの画像のそれぞれのピクセルに関連付けられる場合、色情報決定手段１４は、該ボクセルに対応する実オブジェクトの微小領域を最も大きく映し出す固定カメラ３００から取得された画像の該ボクセルに関連付けられたピクセルの色情報を、該ボクセルの色情報として決定する。ただし、この場合、テーブル作成手段１３により作成されたテーブルにおいてボクセルが関連付けられたピクセルのうちの任意の１つのピクセルの色情報を、該ボクセルの色情報として決定してもよい。

前述のとおり、本発明の実施形態によるシステム１０は、ボクセルの色情報を、グローバルイルミネーションにおける描画される仮想オブジェクトに対する間接照明として使用する。色情報決定手段１４は、好ましくはサーバ１００が備え、色情報決定手段１４により決定されたボクセルの色情報は、それぞれのボクセルに関連付けられて記憶部１０４へ記憶される。

１つの例では、ボクセルの色情報は、式（１）に示すように３次元空間データの１つの要素として、３次元位置情報と併せて記憶される。他の例では、ボクセルの色情報は、データベースのテーブルデータとして記憶される。

他の例では、ある１つのボクセルが、複数の固定カメラ３００により撮影されたそれぞれの画像のそれぞれのピクセルに関連付けられる場合、それぞれのピクセルの色情報を平均した色情報を、該ボクセルの色情報として決定してもよい。或いは、それぞれのピクセルの色情報に対して重み付けした色情報を、該ボクセルの色情報として決定してもよい。

色情報更新手段１５は、固定カメラ３００により取得された画像のピクセルの色情報の変化が所定条件を満たす場合に、色情報決定手段１４において該ピクセルの色情報を用いて決定したボクセルの色情報を、最新のピクセルの色情報を用いて更新（新たに決定）する。

１つの例では、ピクセルの色情報の変化が所定条件を満たす場合は、最新のピクセルの色情報が元のピクセルの色情報から一定の距離範囲（ＨＳＶ色空間などにおける距離）内にある場合である。他の例では、ピクセルの色情報の変化が所定条件を満たす場合は、１つのピクセルごとに、過去３０コマの画像の色情報を平均したものが、元のピクセルの色情報から一定の距離範囲内にある場合である。

このように一定条件を満たす色情報の変化であれば、光の状態による変化であると判断することができ、判断されたときの最新のピクセルの色情報をボクセルに反映してボクセルの色情報を更新することができる。一方、例えば固定カメラ３００により取得された画像にカメラを通過する人が映った場合、色情報更新手段１５は、人が映ったピクセルにおいては一定距離の色変化ではないと判断し、ボクセルの色情報を更新しない。

色情報更新手段１５は、色情報決定手段１４と同じ装置が備えるのが好適であり、サーバ１００が備えるのが好適である。

仮想照明情報生成手段１６は、間接照明を考慮して陰影を描画するために、ボクセルの色情報及びその３次元位置情報に基づいて、描画される仮想オブジェクトに対する仮想照明情報を生成する。ボクセルの色情報に基づくため、ボクセルの色情報が更新されると、仮想照明情報も更新される。仮想照明情報生成手段１６は、色情報更新手段１５と同じ装置が備えるのが好適であり、サーバ１００が備えるのが好適である。

１つの例では、ボクセルの色情報及びその３次元位置情報に基づいて、描画される仮想オブジェクトを収容する仮想的な多面体の各面における仮想照明情報を、描画される仮想オブジェクトに対する仮想照明情報として生成する。ここでの仮想的な多面体の各面は、イメージベースドライティング（ＩＢＬ）の手法のように各面のそれぞれが間接照明（光源）であるものとして用いる。このように、本発明の実施形態によれば、環境光（間接照明）の光源となる実オブジェクトに実空間から得たテクスチャをリアルタイムにマッピングすることから、移動する仮想オブジェクトへのＩＢＬもまた可能となる。なお、従来ＩＢＬにより仮想オブジェクトの描画を行う場合は、該描画位置から全方向の環境光を取得するためのカメラを設置する必要があったため、ゲーム・キャラクタなどの、自由に移動する仮想オブジェクトへのＩＢＬの適用は困難であった。

ユーザ環境決定手段１７は、ユーザに装着されたＨＭＤ２００の位置及び撮影部２０３が撮影する方向を決定する。ユーザ環境決定手段１７は、サーバ１００が備えるのが好適である。

具体的には、ユーザ環境決定手段１７は、位置姿勢センサ２０６によりＨＭＤ２００の大まかな位置及び撮影部２０３の撮影方向を取得し、これを暫定ユーザ環境とする。続いてユーザ環境決定手段１７は、暫定ユーザ環境から所定範囲内の位置及び方向においてユーザが視認可能なボクセルの色情報及び３次元位置情報を記憶部１０４又は記憶部２０４から取得する。続いてユーザ環境決定手段１７は、撮影部２０３により撮影された実空間４１の撮影画像と、取得されたボクセルの位置情報及び色情報とを比較して照合することにより、ＨＭＤ２００の位置及び撮影部２０３の撮影方向を決定する。

１つの例では、撮影画像の色情報のパターンと、取得されたボクセルの色情報のパターンとをマッチングすることにより、ＨＭＤ２００の位置及び撮影部２０３の撮影方向を決定する。本発明の実施形態においては、ＨＭＤ２００の位置はユーザの位置に対応し、撮影部２０３の撮影方向はユーザの向いている方向に対応する。

図９は、ユーザの向いている方向と、撮影部２０３の撮影方向を説明する図である。図９に示す位置にユーザがいる場合、撮影部２０３により撮影された実空間４１の撮影画像は図９の下図に示すとおりである。この撮影画像の色情報のパターンと、位置姿勢センサ２０６により取得されたＨＭＤ２００の位置及び該位置から一定範囲内の位置において撮影部２０３が撮影する方向及び該方向から一定範囲内の方向におけるボクセルの色情報のパターンとを比較して照合する。これにより、ＨＭＤ２００の位置及び撮影部２０３の撮影方向を決定することが可能となる。

描画手段１８は、仮想オブジェクトをＨＭＤ２００の表示部２０２に描画する。１つの例では、サーバ１００が備えるＣＰＵがメインメモリに描画コマンドを書き込んでＨＭＤ２００へ送信する。ＨＭＤ２００が備えるＧＰＵは、受信した描画コマンドを参照してビデオメモリ上のフレームバッファ等に描画データを書き込み、フレームバッファから読み取った内容をそのまま表示部２０２に描画する。

描画コマンドを作成するにあたって、描画手段１８は、ユーザ環境決定手段１７により決定されたＨＭＤ２００の位置及び撮影部２０３の撮影方向を用いて、表示部２０２上に表示される仮想オブジェクトの位置や向きを決定する。また描画コマンドを作成するにあたって、描画手段１８は、仮想照明情報を用いて、仮想オブジェクトに陰影を付ける。

このように、描画手段１８は、サーバ１００とＨＭＤ２００が分担して実行するのが好適である。ただし、サーバ１００が描画手段１８を備え、サーバ１００において描画処理すべてを実行した後、画像データをＨＭＤ２００へ送信し、ＨＭＤ２００が受信した画像データを表示するように構成してもよい。或いは、ＨＭＤ２００が描画手段１８を備え、ＨＭＤ２００において描画処理すべてを実行するように構成してもよい。

続いて生成フェーズについて説明する。図１０は、本発明の実施形態による、実空間４１の環境を仮想空間４２にリアルタイムに反映する複合現実環境４３を作成する方法を示す。なお実空間４１においては、図６ａに示すように、ユーザが視認可能な実空間４１内の領域を撮影可能な複数の定点に、予め固定カメラ３００が設置される。

まずレーザスキャナ（図示せず）を用いることにより、実空間４１内の実オブジェクトの３次元形状を示す色付き点群データを予め取得し、該色付き点群データをボクセルへ変換することで、３次元空間データ（３次元ボクセルデータ）を作成する（ステップ１００１）。

続いて、予め設置された固定カメラ３００から画像を取得する（ステップ１００２）。ただし、固定カメラ３００は設置後から画像を取得することができるため、ステップ１００１よりも前に行ってもよい。

続いて、ボクセルの３次元位置情報及び色情報と、固定カメラ３００により撮影された画像データとを比較することにより、該画像データのそれぞれのピクセルの位置情報（２次元座標）と、該ピクセルが示す実オブジェクトの微小領域に対応する１又は複数のボクセルの位置情報（３次元座標）とを関連付けたテーブルを作成する（ステップ１００３）。

上記のとおり作成されたテーブルを用いて、実空間４１内の実オブジェクトの３次元形状を示すボクセルそれぞれのボクセルの色情報を決定する（ステップ１００４）。本ステップにおいて、１つの固定カメラ３００により撮影された画像の１つのピクセルのみに関連付けられた１つのボクセルは、該ピクセルの色情報を該ボクセルの色情報として決定する。また本ステップにおいて、複数の固定カメラ３００により撮影されたそれぞれの画像のそれぞれのピクセルに関連付けられた１つのボクセルは、該ボクセルに対応する実オブジェクトの微小領域を最も大きく映し出す固定カメラ３００から取得された画像の該ボクセルに関連付けられたピクセルの色情報を、該ボクセルの色情報として決定する。

ただし、複数の固定カメラ３００により撮影されたそれぞれの画像のそれぞれのピクセルに関連付けられた１つのボクセルは、それぞれのピクセルの色情報を平均した色情報をボクセルの色情報として決定してもよい。

続いて、複数の固定カメラ３００により取得された画像のそれぞれのピクセルにおいて、色情報の変化が所定条件を満たすかどうかを判定する（ステップ１００５）。例えば所定条件は、１つのピクセルごとに、過去３０コマの画像の色情報を平均したものが、元のピクセルの色情報から一定の距離範囲（ＨＳＶ色空間などにおける距離）内にあるかどうかという条件である。

所定条件を満たすピクセルについては、最新のピクセルの色情報を用いて、ボクセルの色情報を決定する際に該ピクセルの色情報を参照するボクセルの色情報を更新（決定）する（ステップ１００６）。所定条件を満たさないピクセルについては、ボクセルの色情報を決定する際に該ピクセルの色情報を参照するボクセルの色情報を更新（決定）しない。その後、複合現実環境４３を作成し続ける限り（ステップ１００７）、ステップ１００５へ戻る。

続いて認識フェーズについて説明する。図１１は、本発明の実施形態による、図１０で作成した複合現実環境４３において、ユーザに複合現実感を体感させることが可能な、実空間４１の光の状態を利用したグローバルイルミネーションとユーザの高精度なポジショントラッキングを提供する方法を示す。なお、ユーザは、ＨＭＤ２００を装着し、実空間４１（複合現実環境４３）内にいるものとする。また、本ステップ開始時点において、各ボクセルの色情報は、図１０のステップ１００４又は１００６により決定（更新）されていることに留意されたい。

ＨＭＤ２００の位置及び撮影部２０３の撮影方向を決定することにより、ユーザ環境、すなわちユーザの位置及びユーザの向いている方向を決定する（ステップ１１０１）。本ステップにおいては、暫定ユーザ環境として、位置姿勢センサ２０６を用いてＨＭＤ２００の大まかな位置及び撮影部２０３の撮影方向を取得する。更に本ステップにおいては、暫定ユーザ環境から所定範囲内の位置及び撮影方向において撮影部２０３が撮影可能なボクセルの色情報及び３次元位置情報を取得する。更に本ステップにおいては、撮影部２０３により撮影された実空間の撮影画像と、取得されたボクセルの位置情報及び色情報とを比較して照合することにより、ＨＭＤ２００の位置及び撮影部２０３の撮影方向を決定する。

続いて、撮影部２０３が撮影する方向において、描画される仮想オブジェクトが有るかどうかを判定する（ステップ１１０２）。ここにおいて、複合現実環境４３を構成する仮想空間４２において撮影部２０３が撮影する方向に対応する場所に仮想オブジェクトが配置される場合は、描画される仮想オブジェクトが有ることになる。

描画される仮想オブジェクトが有る場合は、ボクセルの色情報及びその３次元位置情報を用いてＩＢＬの手法により、描画される仮想オブジェクトを収容する仮想的な多面体の各面における仮想照明情報を、描画される仮想オブジェクトに対する仮想照明情報として生成する（ステップ１１０３）。

ただし、ボクセルの色情報及びその３次元位置情報を用いてレイトレーシングの手法により、描画される仮想オブジェクトに対する仮想照明情報を生成してもよい。

続いて、ステップ１１０１で決定されたＨＭＤ２００の位置及び撮影部２０３の撮影方向を用いて位置や向きが決定され、かつステップ１１０４で生成された仮想照明情報を用いて陰影（色彩）を付けられた仮想オブジェクトをＨＭＤ２００の表示部２０２に描画する（ステップ１１０４）。描画される仮想オブジェクトが無い場合は、ステップ１１０３及び１１０４は行わない。

続くステップ１１０５は、図１０におけるステップ１００５と同様の処理であり、ステップ１１０６は、図１０におけるステップ１００６と同様の処理であるため、説明は省略する。その後、複合現実環境（グローバルイルミネーションとポジショントラッキング）を提供し続ける限り（ステップ１１０７）、ステップ１１０１へ戻る。

上記のとおり、本発明の実施形態においては、レーザスキャナを用いることにより実空間４１内の実オブジェクトの３次元形状を示す色付き点群データを予め取得する。しかしながら、レーザスキャナによる測定は時間を要するため、実オブジェクトの位置・形状等が変わらない限り、最初に１度測定するのみである。

次に、第１の実施形態によるシステム１０の作用効果について説明する。本実施形態では、ボクセルの位置情報と、固定カメラ３００により取得された画像のそれぞれのピクセルの位置情報とを関連付けたテーブルを用いることにより、ボクセルの色情報を固定カメラ３００により取得された画像のピクセルの色情報から決定し、また更新する。このようにテーブルを用いることにより、固定カメラ３００から得られる色情報をボクセルのそれぞれにリアルタイムに反映することが可能となる。これにより、高精度に実空間の形状が再現された複合現実環境において、実空間４１の色彩を、高精度かつリアルタイムに認識し、仮想空間に反映することが可能となる。

また本実施形態では、実空間４１の色彩を反映させたボクセルのそれぞれを、描画される仮想オブジェクトの仮想的な間接照明（光源）として用いる。これにより、実空間４１の光の状態を利用したグローバルイルミネーションを実現することが可能となり、実空間４１の環境に極めて近い色彩や陰影を持つ仮想オブジェクトを描画することが可能となる。

また本実施形態では、実空間４１においては、実空間４１を仮想空間４２であるかのように利用することが可能となる。例えばゲーム開発者は、現実空間を、ゲームエンジン内のゲーム空間（仮想空間）と同様に取り扱うことが可能になる。

また本実施形態では、描画される仮想オブジェクトに対して、該仮想オブジェクトを収容する仮想的な多面体を想定し、該多面体の各面における色彩（光）の状態を、実空間４１の色彩を反映させたボクセルのそれぞれから決定する。そして、決定された各面における色彩の状態を、描画される仮想オブジェクトの仮想的な間接照明として用いる。これにより、より実空間４１の環境に近い色彩や陰影を持つ仮想オブジェクトを描画することが可能となる。

また本実施形態では、位置姿勢センサ２０６を用いて決定された大まかなＨＭＤ２００の位置及び撮影部２０３の撮影方向を暫定ユーザ環境とし、該暫定ユーザ環境周辺において撮影部２０３の撮影可能な領域にあるボクセルの色情報及び３次元位置情報と、撮影部２０３の撮影画像とを比較して照合することにより、ＨＭＤ２００の位置及び撮影部２０３の撮影方向を決定する。このように、従来の位置姿勢センサ２０６から得られる大まかな位置情報と、３次元空間データを用いた高精度の仮想空間４２とのマッチングを行い、実空間４１と仮想空間４２におけるユーザの位置やユーザの向いている方向のずれをリアルタイムに補正することができる。これにより、現実と高精度にリンクするＭＲ環境４３を実現することが可能となり、ポジショントラッキングを実現することが可能になる。

［第２の実施形態］
本実施形態においては、３次元形状要素としてメッシュを用いる。第１の実施形態の場合と同様に、取得された色付き点群データをメッシュと呼ばれるデータ構造へ変換する。例えば、取得された色付き点群データから既知の方法を用いて各点群を頂点としたポリゴンを形成し、１又は複数のポリゴンから形成されるメッシュへと変換する。ただし、基本的な考え方は第１の実施形態のボクセルの場合と同じであるため、第１の実施形態と異なる点を中心に説明する。

本実施形態におけるテーブル作成手段１３が作成するテーブルについて説明する。前述のとおり、固定カメラ３００の３次元位置情報と撮影する方向は高精度に決定することができる。取得された色付き点群データと、固定カメラ３００から得られる画像のそれぞれのピクセルとを比較することにより、固定カメラ３００から得られたピクセルの色情報を点群の色情報に変換するプロジェクションマトリックス（変換行列）を得る。これに関する既知の手法としては、オプティカルフローや色情報の類似性を用いるものがある。

テーブル作成手段１３は、上記のプロジェクションマトリックスを作成する。該マトリックスは、固定カメラ３００から得られる画像の座標系を、３次元空間上の座標系に変換するためのテーブルである。１つの例では、固定カメラ３００から得られる画像の座標系を、３次元空間のメッシュのＵＶ座標へ変換するテーブルを作成する。

以下にプロジェクションマトリックスに関する具体的な１つの例を説明する。固定カメラ１００の位置情報を求めることができると、次のように、プロジェクションマトリックスを設定し、固定カメラ１００の画像のピクセルを、３次元空間上のオブジェクトのある場所の色にマッピングすることが可能になる。プロジェクションマトリックスを P とする。P は A(R|t) という構成となっている 3x4 行列であり、A は固定カメラ１００の画角、解像度、画像中心などから求められる行列でデバイススペックに依存する固定の値であり、内部パラメータ行列と呼ばれる。R は 3x3 回転行列であり、t は並進ベクトルである。R|t をならべて 3x4 行列としたものを、外部パラメータ行列と呼ぶ。Aは固定カメラ１００のスペック値が対応する。R|t はワールド座標系における回転と位置であり、本実施形態における点群データと固定カメラ１００の画像の照合により求めることができる。これにより、通常の射影変換の式、m = P・Xを用いて、画像座標 m を、ワールド座標 X に変換することが可能になる。

色情報決定手段１４は、それぞれのメッシュの色情報を、固定カメラ３００から取得される画像のピクセルの色情報を変換行列により変換することにより決定する。それぞれのメッシュの色情報が参照する画像、すなわちそれぞれのメッシュの色情報の提供元となる固定カメラ３００は、予め決定されることが好ましい。

色情報更新手段１５は、固定カメラ３００により取得された画像のピクセルの色情報の変化が所定条件を満たす場合に、色情報決定手段１４において該ピクセルの色情報を用いて決定したメッシュの色情報を、最新のピクセルの色情報を用いて更新（新たに決定）する。

ステップ１００４〜ステップ１００６、ステップ１１０５〜ステップ１１０６においても、上記の同様の処理を行う。

上記で説明したとおり、本実施形態のメッシュの色情報は、固定カメラ３００から得られる画像のピクセルの色情報を変換行列により変換することにより求める。したがって、１つのメッシュ内において異なる色を有する点が、各ボクセルにおいて同じ色情報を有する第１の実施形態と異なることに留意されたい。

［第３の実施形態］
本発明の実施形態によるシステム１０が複合現実環境５３をユーザに提供する現実世界の空間（所定の実空間）として、図１２に示すような屋外の空間である実空間５１を想定する。実空間５１は、天井と一対の横壁が無い点、太陽光を含む光源２２が実空間内ではなく実空間外に有する点以外は、実空間４１と同じである。実空間５１においても、ユーザが視認可能な実空間５１内の領域を撮影可能な複数の定点にそれぞれ固定カメラ３００が配置される。また説明を簡単にするため、本実施形態においては、３次元形状要素としてボクセルを用いるものとするが、３次元形状要素としてメッシュや点群データを用いることもできる。以下、第１の実施形態と異なる点を中心に説明する。

本実施形態においても、仮想空間５２を実空間５１内に対応付けされた領域（０≦Ｘ≦Ｘ１、０≦Ｙ≦Ｙ１、０≦Ｚ≦Ｚ１）に限定して考えるものとする。

本実施形態においては、第１の実施形態と異なり屋外の空間であるため、固定カメラ３００が実オブジェクトを映し出さない領域が存在する。

テーブル作成手段１３は、固定カメラ３００により取得された画像の少なくとも一部に実オブジェクトが存在しない場合、該画像において実オブジェクトを映し出していないピクセルについては、固定カメラ３００の３次元位置情報と撮影方向を用いて、仮想空間５２の境界上の位置（ｘ、ｙ、ｚ）に関連付ける。この場合、該境界上の位置に、例えば大きなメッシュ（又はボクセル）があると仮定し、該メッシュを用いて、第１又は第２の実施形態で説明した方法によりテーブル作成を行ってもよい。

色情報決定手段１４は、作成されたテーブルを用いることにより、仮想空間４２の境界においては、該境界の位置情報に応じたそれぞれの色情報を決定する。

色情報更新手段１５は、固定カメラ３００により取得された画像のピクセルの色情報の変化が所定条件を満たす場合に、色情報決定手段１４において該ピクセルの色情報を用いて決定した仮想空間４２の境界上の位置における（例えばメッシュ等の）色情報を、最新のピクセルの色情報を用いて更新（新たに決定）する。

［システムアーキテクチャ］
上記のとおり、図７に示す機能を有するものであるが、１つの実施形態に係るシステムアーキテクチャは、次の６つのモジュールから構成することができる。６つのモジュールは、ボクセルコンバータ(Point Cloud to Voxel Converter)と、ボクセルＤＢと、３Ｄアドレスマッピングテーブルジェネレータ（以下、「ジェネレータ」という）と、３Ｄアドレスマッピングテーブル（以下、「テーブル」という）と、ポジショントラッカーと、環境照明パラメータと、から構成される。このようにモジュール化を行うことにより、一部のモジュールを変更してシステムに適用することが可能になる。

ボクセルコンバータは、Ｏｃｔｏｍａｐなどの手法を用いて、予め取得されクラウドに記憶された Point Cloud Dataを、隙間の無いボクセルの集合に変換する。このボクセルへの変換により、ゲーム内で直接用いる３Ｄ情報として利用しやすくなるとともに、座標を用いてボクセルを一意に特定することが容易となるため、色の更新に適した形式となる。

ボクセルコンバータは、３次元空間データ作成手段１２に対応する機能を有するものである。なお、本発明の実施形態はボクセルを使用する方法に依存していないことから、ボクセルコンバータの代わりに、点群データを隙間の無いメッシュの集合に変換するメッシュコンバータをモジュールの構成要素とすることができる。

ボクセルＤＢは、実世界を一定区画ごとに分割し、その区画の中身をすべてボクセルに変換し、（ｘ、ｙ、ｚ）の位置情報で識別可能にしたものである。実世界上での極小の一定のサイズ（例えば１ｃｍ）を基準としたボクセルを最小単位とした、物理空間を写像可能な高精度ボクセル空間であることが好ましい。

ボクセルＤＢは、３次元空間データ作成手段１２により作成された３次元空間データを記憶するデータベースに対応する機能を有するものである。なお、本発明の実施形態はボクセルを使用する方法に依存しておらず、ボクセルＤＢは、点群データを直接格納してもよいし、また、３次元空間のメッシュのＵＶ座標の集合を格納してもよい。

ジェネレータは、この空間上において、映像データの各ピクセルと、点群データから生成された色付きボクセルとを、ボクセルの位置情報と色情報を用いてマッピングする。なお、本発明の実施形態はボクセルを使用する方法に依存しておらず、例えば、点群データにおける１つの点の位置情報と色情報を用いてマッピングしてもよい。ジェネレータの機能は、固定カメラから得られる画像と点群データ又はボクセルデータとを照合することにより、固定カメラから得られる画像の座標系を、３次元空間上の座標系に変換するためのテーブルを生成するものである。ジェネレータは、テーブル作成手段１３に対応する機能を有するものである。

テーブルは、固定カメラの各ピクセルと３次元空間上のｎ個のボクセルとを静的に紐づけるテーブルである。このテーブルは、次に示すマッピングエントリＥの集合である。

ここで、ｃｉｄは、固定カメラの識別し、ｃｘ、ｃｙは固定カメラのピクセル、ｖｘ、ｖｙ、ｖｚは、マッピング先となるボクセルの３次元座標を示す。なお、本発明の実施形態はボクセルを使用する方法に依存しておらず、ｖｘ、ｖｙ、ｖｚは、点群データの座標でもよいし、３次元空間上の特定のメッシュのＵＶ座標でもよい。テーブルは、テーブル作成手段１３により作成されたテーブルに対応する機能を有するものである。

ポジショントラッカーは、利用者の現在位置と視線の方向をトラッキングし続けることにより、利用者の視野を把握するモジュールである。ポジショントラッカーは、ユーザ環境決定手段に対応する機能を有するものである。

環境照明パラメータは、表示しようとするキャラクタの実世界上の位置をボクセルＤＢへのクエリに対応するｘ、ｙ、ｚとして求め、その場所の周辺のグローバルイルミネーションを、周囲のボクセルの色情報から算出するモジュールである。環境照明パラメータは、仮想照明情報生成手段１６に対応する機能を有するものである。

以上に説明した処理又は動作において、あるステップにおいて、そのステップではまだ利用することができないはずのデータを利用しているなどの処理又は動作上の矛盾が生じない限りにおいて、処理又は動作を自由に変更することができる。また以上に説明してきた各実施例は、本発明を説明するための例示であり、本発明はこれらの実施例に限定されるものではない。本発明は、その要旨を逸脱しない限り、種々の形態で実施することができる。

１０システム
１１記憶手段
１２３次元空間データ作成手段
１３テーブル作成手段
１４色情報決定手段
１５色情報更新手段
１６仮想照明情報生成手段
１７ユーザ環境取得手段
１８描画手段
２１光源
２２建物
２３影
２４キャラクタ
２５、２６台
２７壁
３１、４１、５１現実世界（実空間）
３２、４２、５２仮想世界（仮想空間）
３３、４３、５３複合現実世界（複合現実環境）
５０ネットワーク
１００サーバ
１０１、２０１処理部
１０２、２０２表示部
１０３入力部
１０４、２０４記憶部
１０５、２０５通信部
１１０、２１０バス
２００表示装置
２０３撮影部
２０６位置姿勢センサ
３００固定カメラ

Claims

サーバと、ユーザに対して仮想オブジェクトを表示するための表示部及び実空間を撮影する撮影部を有する携帯可能な表示装置と、所定の実空間内の領域を撮影可能な複数の定点からそれぞれ画像を取得する画像取得装置とを備え、前記表示部を通してユーザが視認する実空間又は実空間の撮影画像に対して仮想オブジェクトを重畳させて描画するためのシステムであって、
予め取得された前記所定の実空間内にある実オブジェクトの点群データに基づいて作成された３次元空間データであって、それぞれが３次元位置情報を有する３次元形状要素から構成される３次元空間データを記憶する３次元空間データ記憶手段と、
前記画像取得装置により取得された画像のそれぞれのピクセルの位置情報と、それぞれのピクセルが示す１又は複数の前記３次元形状要素の３次元位置情報とが関連付けられたテーブルを記憶するテーブル記憶手段と、
前記３次元形状要素が関連付けられた１又は複数の前記ピクセルの色情報に基づいて前記３次元形状要素の色情報を決定する色情報決定手段と、
前記画像取得装置により取得された画像のそれぞれのピクセルの色情報の変化に基づいて前記３次元形状要素の色情報を更新する色情報更新手段と、
前記表示装置の位置及び前記撮影部の撮影方向を決定するユーザ環境決定手段と、
前記３次元形状要素の色情報及び３次元位置情報に基づいて、前記描画される仮想オブジェクトに対する仮想照明情報を生成する仮想照明情報生成手段と、
前記表示装置の位置及び前記撮影部の撮影方向、並びに前記仮想照明情報に基づいて、前記表示部に前記仮想オブジェクトを描画する描画手段と、
の各手段を前記サーバ又は前記表示装置が備える、システム。
前記仮想照明情報生成手段は、前記３次元形状要素の色情報及び３次元位置情報に基づいて、前記描画される仮想オブジェクトを収容する仮想的な多面体の各面における仮想照明情報を前記描画される仮想オブジェクトに対する仮想照明情報として生成する、請求項１に記載のシステム。
前記表示装置は、位置姿勢センサを更に備え、
前記ユーザ環境決定手段は、前記位置姿勢センサにより取得された前記表示装置の位置及び前記撮影部の撮影方向を暫定ユーザ環境とし、該暫定ユーザ環境から所定範囲内の位置及び方向において前記撮影部が撮影可能な前記３次元形状要素を前記３次元空間データ記憶手段から取得し、該取得された３次元形状要素の色情報及び３次元位置情報と前記撮影された実空間の撮影画像とに基づいて、前記表示装置の位置及び前記撮影部の撮影方向を決定する、請求項１又は２に記載のシステム。
前記３次元形状要素は、予め取得された前記所定の実空間内にある実オブジェクトの点群データに基づいて作成されたポリゴンから構成されるメッシュである、請求項１から３のいずれか１項に記載のシステム。
ユーザに対して仮想オブジェクトを表示するための表示部及び実空間を撮影する撮影部を有し、前記表示部を通してユーザが視認する実空間又は実空間の撮影画像に対して仮想オブジェクトを重畳させて描画するための携帯可能な表示装置であって、
予め取得された所定の実空間内にある実オブジェクトの点群データに基づいて作成された３次元空間データであって、それぞれが３次元位置情報を有する３次元形状要素から構成される３次元空間データを記憶する３次元空間データ記憶手段と、
前記所定の実空間内の領域を撮影可能な複数の定点からそれぞれ取得された画像のそれぞれのピクセルの位置情報と、それぞれのピクセルが示す１又は複数の前記３次元形状要素の３次元位置情報とが関連付けられたテーブルを記憶するテーブル記憶手段と、
前記３次元形状要素が関連付けられた１又は複数の前記ピクセルの色情報に基づいて前記３次元形状要素の色情報を決定する色情報決定手段と、
前記取得された画像のそれぞれのピクセルの色情報の変化に基づいて前記３次元形状要素の色情報を更新する色情報更新手段と、
前記表示装置の位置及び前記撮影部の撮影方向を決定するユーザ環境決定手段と、
前記３次元形状要素の色情報及び３次元位置情報に基づいて、前記描画される仮想オブジェクトに対する仮想照明情報を生成する仮想照明情報生成手段と、
前記表示装置の位置及び前記撮影部の撮影方向、並びに前記仮想照明情報に基づいて、前記表示部に前記仮想オブジェクトを描画する描画手段と、
を備える、表示装置。
サーバと、ユーザに対して３次元の仮想オブジェクトを表示するための表示部、実空間を撮影する撮影部、及び位置姿勢センサを有する携帯可能な表示装置と、を備え、前記表示部を通してユーザが視認する実空間又は実空間の撮影画像に対して仮想オブジェクトを重畳させて描画するためのシステムであって、
予め取得された所定の実空間内にある実オブジェクトの点群データに基づいて作成された３次元空間データであって、それぞれが色情報及び３次元位置情報を有する３次元形状要素から構成される３次元空間データを記憶する３次元空間データ記憶手段と、
前記位置姿勢センサにより取得された前記表示装置の位置及び前記撮影部の撮影方向を暫定ユーザ環境とし、該暫定ユーザ環境から所定範囲内の位置及び方向において前記撮影部が撮影可能な前記３次元形状要素を前記３次元空間データ記憶手段から取得し、該取得された３次元形状要素の色情報及び３次元位置情報と前記撮影された実空間の撮影画像とに基づいて、前記表示装置の位置及び前記撮影部の撮影方向を決定するユーザ環境決定手段と、
の各手段を前記サーバ又は前記表示装置が備える、システム。
所定の実空間内において携帯可能な表示装置の表示部を通してユーザが視認する実空間又は実空間の撮影画像に対して仮想オブジェクトを重畳させて描画する方法であって、
前記所定の実空間内の領域を撮影可能な複数の定点からそれぞれ画像を取得するステップと、
予め取得された前記所定の実空間内にある実オブジェクトの点群データに基づいて作成された３次元空間データを構成する３次元位置情報を有する３次元形状要素の色情報であって、前記取得された画像の前記３次元形状要素に対応する位置のピクセルの色情報に基づいて前記３次元形状要素の色情報を決定するステップと、
前記取得された画像のそれぞれのピクセルの色情報の変化に基づいて前記３次元形状要素の色情報を更新するステップと、
前記表示装置の位置及び前記表示装置が備える撮影部の撮影方向を決定するステップと、
前記３次元形状要素の色情報及び３次元位置情報に基づいて、前記描画される仮想オブジェクトに対する仮想照明情報を生成するステップと、
前記表示装置の位置及び前記撮影部の撮影方向、並びに前記仮想照明情報に基づいて、前記表示部に前記仮想オブジェクトを描画するステップと、
を有する方法。
サーバと、ユーザに対して仮想オブジェクトを表示するための表示部及び実空間を撮影する撮影部を有する携帯可能な表示装置と、所定の実空間内の領域を撮影可能な複数の定点からそれぞれ画像を取得する画像取得装置とを備えるシステムにおいて、前記表示部を通してユーザが視認する実空間又は実空間の撮影画像に対して仮想オブジェクトを重畳させて描画するためのプログラムであって、
前記プログラムは、前記サーバに、
前記表示装置から画像を取得するステップと、
予め取得された前記所定の実空間内にある実オブジェクトの点群データに基づいて作成された３次元空間データを構成する３次元位置情報を有する３次元形状要素の色情報であって、前記画像取得装置により取得された画像の前記３次元形状要素に対応する位置のピクセルの色情報に基づいて前記３次元形状要素の色情報を決定するステップと、
前記画像取得装置により取得された画像のそれぞれのピクセルの色情報の変化に基づいて前記３次元形状要素の色情報を更新するステップと、
前記表示装置の位置及び前記撮影部の撮影方向を決定するステップと、
前記３次元形状要素の色情報及び３次元位置情報に基づいて、前記描画される仮想オブジェクトに対する仮想照明情報を生成するステップと、
前記表示装置の位置及び前記撮影部の撮影方向、並びに前記仮想照明情報に基づいて、前記表示部に前記仮想オブジェクトを描画するステップと、
を実行させる、プログラム。