JP2005250950A - マーカ提示用携帯端末および拡張現実感システムならびにその動作方法 - Google Patents

Abstract

【課題】仮想物体を表示する３次元位置を計測するためのマーカを、表示しようとする仮想物体の数だけ必要としないようにする。
【解決手段】ユーザは、印刷されたマーカの変わりにマーカ提示用携帯端末１０を携帯する。マーカ提示用携帯端末１０は、撮影画像中に仮想物体画像を合成する際に、この仮想物体画像を合成する３次元位置認識のためのマーカを画面に表示する。マーカ提示用携帯端末１０には、予め設定された複数種類のマーカが登録されていて、ユーザの選択により任意のマーカを表示することができるため、ユーザは印刷されたマーカを表示したい仮想物体の数だけ持ち歩く必要がなく、例え多数の種類の仮想物体が予め登録されているような場合でも、１つのマーカ提示用携帯端末１０のみを携帯することによりその多数の種類の仮想物体の中から表示する仮想物体を選択することが可能となる。
【選択図】図１

Description

本発明は、実空間に仮想物体が存在するかのように重畳させる技術である拡張現実感（Augmented Reality）技術を用いた拡張現実感システムおよび画像合成表示方法に関し、特に、３次元位置認識のためのマーカを含む画像の撮影を行い、この撮影画像中のマーカの種類に応じた仮想物体画像を、撮影画像中のマーカの位置および方向に基づいて当該撮影画像中に合成する拡張現実感システムおよび画像合成表示方法に関する。

近年、３次元画像技術の向上に伴い、実空間に仮想物体が存在するかのように重畳させる拡張現実感システムが、製品のプレゼンテーション等に用いられるようになってきている。このような拡張現実感システムでは、ＣＧ（コンピュータグラフィック）上の形状モデルから生成されるかあるいは実物体の写真やビデオ撮影データから抽出された物体画像（以下、単に仮想物体画像とする。）を、実際の撮影画像と合成することにより実空間に仮想物体が存在するかのように表現する。

従来の拡張現実感システムとしては、ユーザがＨＭＤ（Head Mounted Display）等を装着するとそのＨＭＤに３次元ＣＧ（コンピュータグラフィック）により生成した画像を表示するようなシステムが提案されている。しかし、このような従来のシステムでは、ユーザにとってはＨＭＤ等の専用のハードウェア装置が必要であるという不便さがある。

このような問題を解決するために、仮想物体を表示する３次元位置を計測するためのマーカを用いた拡張現実感システムが提案されている（例えば、非特許文献１、２参照。）。

この従来の拡張現実感システムでは、例えば図１２に示すようにテーブルの上にマーカ８００が配置されたものをカメラにより撮影すると、図１３に示すように実際の撮影画像８０１の上にマーカ８００の種類、大きさ、位置に応じた仮想物体画像８０２が合成されて合成画像として表示される。このマーカ８００は、予め設定された大きさの黒い枠により構成されていて、複数種類のマーカを使用する場合には内部の白い部分にマーカの種類を特定するための文字、模様等のパターンが設けられる。

このような拡張現実感システムを用いることにより、マーカを含む画像を撮影すると、このマーカを配置した位置および方向に対応して、撮影画像中に仮想物体画像を合成して表示することが可能となる。

しかし、このようなマーカを使用した従来の拡張現実感システムでは、表示したい仮想物体の種類だけマーカの種類が必要となるため、印刷されたマーカを表示したい仮想物体の数だけ持ち歩く必要があった。任意の画像的特徴点をマーカの代用とするマーカレストラッキング技術も存在する（例えば、非特許文献３参照）。しかし、このマーカレストラッキング技術では、精度良く安定したトラッキングを得るのは困難である。
加藤博一, Mark Billinghurst, 浅野浩一, 橘啓八郎: マーカー追跡に基づく拡張現実感システムとそのキャリブレーション, 日本バーチャルリアリティ学会論文誌, Vol.4, No.4, pp.607-616 (1999)、[平１６年１月１３日検索]、インターネット＜ＵＲＬ：http://www.sys.im.hiroshima-cu.ac.jp/people/kato/publications/c-00.his2000.1.pdf＞ Hirokazu Kato, Mark Billinghurst:Marker Tracking and HMD Calibration for a Video-based Augmented Reality Conferencing System, Proc. of 2nd Int. Workshop on Augmented Reality, pp.85-94 (1999)、[平１６年１月１３日検索]、インターネット＜ＵＲＬ：http://www.sys.im.hiroshima-cu.ac.jp/people/kato/publications/c-01.ismr2001.1.pdf＞ 加藤博一、汐崎徳男、橘啓八郎：テクスチャー画像からオンライン生成されたテンプレートのマッチングに基づく拡張現実感のための位置合わせ手法、日本バーチャルリアリティ学会論文誌、Vol.7, No.2, pp.119-128 (2002)

上述した従来の拡張現実感システムでは、印刷されたマーカを表示したい仮想物体の数だけ持ち歩く必要があるという問題点があった。

本発明の目的は、仮想物体を表示する３次元位置を計測するためのマーカを、表示しようとする仮想物体の数だけ必要とすることのない拡張現実感システムを提供することである。

上記目的を達成するために、本発明の拡張現実感システムは、３次元位置認識のためのマーカを含む画像の撮影を行い、該撮影画像中のマーカの種類に応じた仮想物体画像を、撮影画像中のマーカの位置および方向に基づいて当該撮影画像中に合成する拡張現実感システムであって、
撮影画像中に仮想物体画像を合成する際に該仮想物体画像を合成する３次元位置認識を行うためのマーカを表示する機能を備えたマーカ提示用携帯端末と、
マーカを表示した前記マーカ提示用携帯端末を含む画像の撮影を行う撮影機能と、撮影した画像中のマーカ部分に送信されてきた合成用画像を合成する機能を備えた表示用携帯端末と、
画像処理を行うことにより前記表示用携帯端末により撮影された画像の中からマーカの種類、位置および向きを検出する検出エンジンと、
仮想物体画像が予め登録されていて、前記検出エンジンにより検出されたマーカの種類、位置および向きに応じた画像データを選択するかあるいはＣＧモデルからレンダリング処理により生成して前記表示用携帯端末に前記合成用画像として送信する画像サーバとを備えている。

本発明によれば、多数の種類の仮想物体が設定されている場合であっても、１つのマーカ提示用携帯端末のみを携帯することによりその多数の種類の仮想物体の中から表示する仮想物体を選択することが可能となるので、表示しようとする仮想物体の数だけ印刷されたマーカを持ち歩く必要がなくなる。

また、前記マーカ提示用携帯端末は、予め設定された時間間隔で表示するマーカの種類を順次切り替える機能をさらに有するようにしてもよい。

本発明によれば、表示するマーカの切り替えが予め設定された時間間隔で行われることにより、動きのある仮想物体を撮影画像中に表示することが可能となり、動画に近いような表示を行うことも可能となる。

また、本発明の他の拡張現実感システムは、３次元位置認識のためのマーカを含む画像の撮影を行い、該撮影画像中のマーカの種類に応じた仮想物体画像を、撮影画像中のマーカの位置および方向に基づいて当該撮影画像中に合成する拡張現実感システムであって、
画像処理を行うことにより撮影された画像の中から、仮想物体画像を合成する３次元位置認識を行うためのマーカの位置および向きを検出する検出エンジンと、
仮想物体画像が予め登録されていて、通知された仮想物体の種類、前記検出エンジンにより検出されたマーカの位置および向きに応じた画像データを選択するかあるいはＣＧモデルからレンダリング処理により生成して合成用画像として送信する画像サーバと、
前記マーカを表示する機能と前記画像サーバとの間で通信を行う機能とを備え、該通信機能を用いて撮影画像中に合成する仮想物体の種類を指定する情報を前記画像サーバに通知するマーカ提示用携帯端末と、
マーカを表示した前記マーカ提示用携帯端末を含む画像の撮影を行い前記検出エンジンに送信する機能と、撮影した画像中のマーカ部分に前記画像サーバから送信されてきた合成用画像を合成する機能とを有する表示用携帯端末とを備えている。

本発明では、撮影画像中に合成する仮想物体の種類の情報は、マーカ提示用携帯端末から画像サーバに直接送信されていて、撮影された画像中からマーカの種類を検出しているのではない。従って、マーカの種類の誤認識が発生することがなく、より精度の高い合成用画像を生成することが可能となる。また、撮影画像中からマーカの種類の認識が困難な場合にも正常に仮想物体を表示することが可能となる。

さらに、本発明の他の拡張現実感システムは、３次元位置認識のためのマーカを含む画像の撮影を行い、該撮影画像中のマーカの種類に応じた仮想物体画像を、撮影画像中のマーカの位置および方向に基づいて当該撮影画像中に合成する拡張現実感システムであって、
画像処理を行うことにより撮影された画像の中から、仮想物体画像を合成する３次元位置認識を行うための複数のマーカの種類、位置および向きを検出する検出エンジンと、
仮想物体画像が予め登録されていて、通知されたマーカの種類と仮想物体の種類との対応情報および前記検出エンジンにより検出されたマーカの種類、位置および向きの情報に応じた画像データを選択するかあるいはＣＧモデルからレンダリング処理により生成して合成用画像として送信する画像サーバと、
前記マーカをそれぞれ表示する機能と前記画像サーバとの間で通信を行う機能とを備え、該通信機能を用いて表示するマーカの種類と前記撮影画像中に合成する仮想物体の種類との対応情報を前記画像サーバにそれぞれ通知する複数のマーカ提示用携帯端末と、
マーカを表示した前記複数のマーカ提示用携帯端末を含む画像の撮影を行い前記検出エンジンに送信する機能と、撮影した画像中の各マーカ部分に前記画像サーバから送信されてきた合成用画像をそれぞれ合成する機能とを有する表示用携帯端末とを備えている。

本発明によれば、使用するマーカの種類はマーカ提示用携帯端末の台数のみでよいため、表示しようとする仮想物体の種類が多数となった場合でも、マーカの種類の誤認識が発生する確率を低くすることができ、より精度の高い合成用画像を生成することが可能となる。

また、前記検出エンジンには前記マーカ提示用携帯端末の特徴点情報が予め登録されていて、前記検出エンジンは、前記表示用携帯端末により撮影された画像の中からマーカの種類、位置および向きを検出する際に、前記特徴点情報を用いてマーカの検出を行うようにしてもよい。

さらに、前記検出エンジンにはマーカを表示させた状態の前記マーカ提示用携帯端末の特徴点情報が予め登録されていて、前記検出エンジンは、前記表示用携帯端末により撮影された画像の中からマーカの種類、位置および向きを検出する際に、前記特徴点情報を用いてマーカの検出を行うようにしてもよい。

本発明によれば、マーカ提示用携帯端末の特徴点情報を予め抽出して検出エンジンに登録しておき、撮影画像からマーカを検出する際にこの特徴点情報を検出するようにすることにより、マーカの検出精度をさらに高めることが可能である。

また、マーカを表示させた状態のマーカ提示用携帯端末の特徴点情報を予め検出エンジンに登録するようにすれば、より認識精度をより高めることが可能となる

以上説明したように、本発明によれば、１つのマーカ提示用携帯端末のみを携帯することによりその多数の種類の仮想物体の中から表示する仮想物体を選択することが可能となるので、表示しようとする仮想物体の数だけ印刷されたマーカを持ち歩くことを必要としないという効果を得ることができる。

次に、本発明の実施の形態について図面を参照して詳細に説明する。

（第１の実施形態）
図１は本発明の第１の実施形態の拡張現実感システムの構成を示すブロック図である。

本実施形態の拡張現実感システムは、図１に示されるように、マーカ提示用携帯端末１０と、表示用携帯端末２０と、検出エンジン３０と、画像サーバ４０とから構成されている。

表示用携帯端末２０、検出エンジン３０、画像サーバ４０間は、移動通信ネットワーク、公衆回線網、ＬＡＮ、インターネット等により接続されているがここではこれらのネットワーク等については省略して説明するものとする。

マーカ提示用携帯端末１０は、撮影画像中に仮想物体画像を合成する際に、この仮想物体画像を合成する３次元位置認識のためのマーカを画面に表示する。

表示用携帯端末２０は、カメラ付き携帯電話機等のように撮影機能と画面表示機能を備えているとともに、検出エンジン３０、画像サーバ４０との通信機能を備えている。表示用携帯端末２０では、この撮影機能を用いることによりマーカを表示したマーカ提示用携帯端末１０を含む画像の撮影を行う。また、表示用携帯端末２０は、撮影した画像中のマーカ部分に、画像サーバ４０から送信されてきた合成用画像を、マーカの大きさに応じた縮尺で重畳することにより合成処理を行う。

検出エンジン３０は、画像処理を行うことにより撮影画像の中からマーカの種類、位置、向きを検出して表示用携帯端末２０に送信する。

画像サーバ４０は、仮想物体画像が予め登録されていて、この画像の中から検出エンジン３０により検出されたマーカの種類、位置、向きに応じた画像を選択して表示用携帯端末２０に送信する。画像サーバ４０では、検出されたマーカの種類に対応して登録されている仮想物体の種類が選択され、さらに、その仮想物体を多方向から撮影した複数の画像の中から、検出されたマーカの向きに最も近い角度から撮影された画像が選択される。また、画像サーバ４０は、予め撮影された画像を登録するのではなく、検出エンジン３０により検出されたマーカの種類、位置、向きに応じた画像データをＣＧモデルからレンダリング処理により生成して合成用画像とするようにしてもよい。

図１に示されるように本実施形態における拡張現実感システムの概略動作として下記のような処理が行われる。
（１）表示用携帯端末２０により、マーカ表示を行っているマーカ提示用携帯端末１０を含む画像をカメラ撮影する。
（２）撮影された画像を表示用携帯端末２０から検出エンジン３０に送信する。
（３）検出エンジン３０では、撮影画像の中からマーカの種類、位置および向きを検出し、その検出結果を表示用携帯端末２０に送信する。
（４）表示用携帯端末２０では、検出エンジン３０から送られてきた検出結果を画像サーバ４０に送信する。
（５）画像サーバ４０では、表示用携帯端末２０から送られてきた検出結果に基づいて、合成用画像を選択して表示用携帯端末２０に送信する。図１に示された例では、“Ａ”という文字に対応して熊のぬいぐるみの画像が画像サーバ４０に登録されているため、画像サーバ４０はこの熊のぬいぐるみの画像を合成用画像として表示用携帯端末２０に送信する。
（６）表示用携帯端末２０では、画像サーバ４０から送られてきた合成用画像を撮影した画像中のマーカの位置に合成することにより合成画像の生成が行われる。

次に、本実施形態の拡張現実感システムの動作を図２のフローチャートを参照して詳細に説明する。

先ず、表示用携帯端末２０は、検出エンジン３０との間で通信設定を行う（ステップ２０１、３０１）。また、表示用携帯端末２０は、画像サーバ４０との間においても通信設定を行う（ステップ２０２、４０１）。

そして、マーカ提示用携帯端末１０では、登録済みのマーカの中からユーザにより選択された種類のマーカの表示が行われる（ステップ１０１）。

そして、マーカを表示したマーカ提示用携帯端末１０を含む画像が、表示用携帯端末２０に備えられたカメラ等により撮影され（ステップ２０３）、このマーカを含む画像は検出エンジン３０に送信される（ステップ２０４）。

検出エンジン３０では、表示用携帯端末２０からのマーカ画像を受信すると（ステップ３０２）、この画像からマーカの種類、位置および向きを検出して（ステップ３０３）、表示用携帯端末２０に送信する（ステップ３０４）。

検出エンジン３０からマーカの種類、位置および向きの情報を受信した表示用携帯端末２０では、その情報を画像サーバ４０に送信する（ステップ２０６）。

表示用携帯端末２０からマーカの種類、位置および向きの情報を受信した画像サーバ４０では（ステップ４０２）、そのマーカの種類、位置、向きに応じた画像を、予め登録されている画像の中から検索して（ステップ４０３）、表示用携帯端末２０に送信する（ステップ４０４）。

表示用携帯端末２０は、画像サーバ４０からの合成用画像を受信すると（ステップ２０７）、この合成用画像と撮影した画像との合成を行い（ステップ２０８）、生成された合成画像の表示を行う（ステップ２０９）。

表示が終了の場合には（ステップ２１０）、検出エンジン３０、画像サーバ４０に通信終了を通知し（ステップ２１１）処理を終了する。表示用携帯端末２０からの通信終了を受信した検出エンジン３０、画像サーバ４０では、通信を終了し（ステップ３０５、４０５）、処理を終了する。

ステップ２１０において表示が終了でない場合、表示用携帯端末２０では、ステップ２０３の処理に戻りマーカを含む新たな画像の撮影が行われる。

ここで、マーカの種類に対応する仮想物体の画像の検索方法、検索した画像を撮影画像に合成して表示する方法については、特開２００１−３４７８８号公報等に開示されている方法を用いる。

本実施形態の拡張現実感システムによれば、マーカ提示用携帯端末１０には、予め設定された複数種類のマーカが登録されていて、ユーザの選択により任意のマーカを表示することができるため、ユーザは印刷されたマーカを表示したい仮想物体の数だけ持ち歩く必要がなく、例え多数の種類の仮想物体が予め登録されているような場合でも、１つのマーカ提示用携帯端末１０のみを携帯することによりその多数の種類の仮想物体の中から表示する仮想物体を選択することが可能となる。

図２に示した方法では、検出エンジン３０により検出されたマーカ種類、位置、向き等の検出結果は、表示用携帯端末２０に送信された後に画像サーバ４０に送信されるものとして説明したが、これらの検出結果を検出エンジン３０から画像サーバ４０に直接送信するようにしてもよい。

この場合の本実施形態の拡張現実感システムの動作を図３のフローチャートに示す。この図３のフローチャートでは、表示用携帯端末２０、検出エンジン３０、画像サーバ４０間において相互にそれぞれ通信可能なように通信設定が行われ（ステップ２０１、３０１、４０１）、ステップ３０４において検出されたマーカの種類、位置および向きの情報は、表示用携帯端末２０に送信されるのではなく画像サーバ４０に直接送信されている点のみが異なっている。

マーカレストラッキング手法においては、検出しようとする物体の特徴点情報を利用して物体の検出が行われる。本実施形態においても、マーカ提示用携帯端末１０の特徴点情報を予め抽出して検出エンジン３０に登録しておき、撮影画像からマーカを検出する際にこの特徴点情報を検出するようにすることにより、マーカの検出精度をさらに高めることが可能である。

また、予め使用されるマーカ提示用携帯端末１０は決まった端末が使用される場合であれば、認識率が高くなるように特徴点の取捨選択・編集を事前に行うことが可能であり、ただ単に画像特徴点を用いて検出を行う場合と比較して誤認識が発生する確率を低くすることが可能である。

さらに、マーカを表示させた状態のマーカ提示用携帯端末１０の特徴点情報を予め検出エンジン３０に登録するようにすれば、複数のトラッキング手法を状況に合わせて選択的に使用することができるため認識精度をより高めることが可能となる。

（第２の実施形態）
次に、本発明の第２の実施形態の拡張現実感システムについて説明する。上記で説明した第１の実施形態では、マーカ提示用携帯端末１０は、選択されたマーカをただ単に表示するだけのものであった。本実施形態の拡張現実感システムにおけるマーカ提示用携帯端末１０は、予め設定された時間間隔で表示するマーカの種類を順次切り替える機能を備えるようにする。

本実施形態の拡張現実感システムの動作を図４のフローチャートに示す。図４のフローチャートは、検出エンジン３０により検出されたマーカ種類、位置および向きの情報を画像サーバ４０に直接送信する場合の動作を示すものであり、第１の実施形態の拡張現実感システムの動作を示した図３のフローチャートに対応するものである。

本実施形態におけるマーカ提示用携帯端末１０では、登録済みのマーカの中からユーザにより選択されたマーカの表示が行われるとともに（ステップ１０１）、表示されたマーカの切り替えが、例えば図５に示されるように行われる（ステップ１０２）。

この表示するマーカの切り替えは、予め設定された一定時間間隔で自動的に行われるようにしてもよいし、ユーザの操作により順次切り替わるようにしてもよい。

本実施形態のように表示するマーカの切り替えが行われることにより、動きのある仮想物体を撮影画像中に表示することが可能となる。また、動画に近いような表示を行うことも可能となる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。上記第１および第２の実施形態では、表示用携帯端末２０により撮影された画像の中からマーカの種類を検出するものであった。しかし、マーカの種類が多くなるとマーカの種類の誤認識を行う可能性が増大する。特に、マーカと表示用携帯端末２０のカメラとの間の距離が大きくなったり、マーカの大きさ自体が小さくなったり、マーカの向きが斜めになったりするとマーカの種類が誤認識される確率が高くなる。マーカの向き、位置の誤認識が発生したとしても、合成される仮想物体の大きさや角度がずれるだけのため、それほど大きな違和感は生じないが、マーカの種類の誤認識が発生すると、表示される仮想物体の種類が違うことになるため、ユーザにとって大きな違和感を起こさせることになる。

そこで、本実施形態では、表示する仮想物体の種類をマーカ提示用携帯端末２０から画像サーバ４０に予め直接送信するようにして誤認識が発生しないようにする。本実施形態におけるマーカ提示用携帯端末１０は、画像サーバ４０との間で通信を行うことができる機能を備えている。

本実施形態の拡張現実感システムの動作を図６のフローチャートを参照して詳細に説明する。図６中において、破線で囲まれたステップ６０１〜６０４の処理が本実施形態の特徴となる処理となっている。

先ず、マーカ提示用携帯端末１０、表示用携帯端末２０、検出エンジン３０、画像サーバ４０間において相互にそれぞれ通信可能なように通信設定が行われる（ステップ６０１、２０１、３０１、４０１）。そして、ユーザにより表示される仮想物体の種類が選択されると、選択された仮想物体の種類を画像サーバ４０に通知する（ステップ６０２）。マーカ提示用携帯端末１０から仮想物体の種類を通知された画像サーバ４０では、仮想物体の種類については確定したものとして記録しておく（ステップ６０３）。

そして、マーカ提示用携帯端末１０では、マーカが表示され（ステップ１０１）、マーカが表示されたマーカ提示用携帯端末１０を表示用携帯端末２０により撮影した後の処理は、上記で説明した他の実施形態と同様である。ただし、本実施形態では、マーカ提示用携帯端末１０により表示されるマーカは単に３次元位置の認識のために用いられるため、検出エンジン３０は、表示用携帯端末２０から送られてきたマーカ画像の中からマーカの種類を検出する処理（ステップ３０３）や、そのマーカの種類を画像サーバ４０に送信するという処理（ステップ３０４、４０２）は必要がない点のみが異なっている。

そして、表示用携帯端末２０から送られてくる通信終了の通知はマーカ提示用携帯端末１０にも送られ、マーカ提示用携帯端末１０では、この通知を受信すると表示終了を行う処理（ステップ６０４）が追加されている点も他の実施形態とは異なっている。

また、本実施形態では、表示する仮想物体の種類を変更しようとする場合（ステップ１０２）、マーカ提示用携帯端末１０では表示するマーカの種類を変更するのではなく、表示を行う仮想物体を変更する旨を画像サーバ４０に対して通知する（ステップ６０２）。よって、マーカ提示用携帯端末１０により表示されるマーカは変化しないのに、合成画像に表示される仮想物体の種類が変更されることとなる。

本実施形態の拡張現実感システムでは、撮影画像中に表示される仮想物体の種類の情報は、マーカ提示用携帯端末１０から画像サーバ４０に直接送信されていて、撮影された画像中からマーカの種類を検出しているのではないため、マーカの種類の誤認識が発生することがなく、より精度の高い合成用画像を生成することが可能となる。また、撮影画像中からマーカの種類の認識が困難な場合にも正常に仮想物体を表示することが可能となる。

また、本実施形態においても、上記で説明した第２の実施形態と同様にして、マーカ提示用携帯端末１０は、画像サーバ４０に通知する仮想物体の種類を予め設定された時間間隔で変更する機能を備えるようにすることもできる。

（第４の実施形態）
次に、本発明の第４の実施形態について説明する。上記第３の実施形態では、マーカ提示用携帯端末１０は１つしか存在しなかったが、本実施形態では、ｎ個のマーカ提示用携帯端末１０₁〜１０_nを用いて画像合成を行うようにした場合に対応したものである。

本実施形態では、各マーカ提示用携帯端末１０₁〜１０_nに提示するマーカを、マーカ提示用携帯端末毎に異なるようにすることにより撮影画像中のマーカ提示用携帯端末１０₁〜１０_nを識別する。そして、各マーカ提示用携帯端末１０₁〜１０_n上に表示すべき仮想物体の種類を、通信によって画像サーバ４０に対して適宜通知することにより、マーカ提示用携帯端末１０₁〜１０_nと表示すべき仮想物体の種類とを対応付ける。

本実施形態では、マーカ提示用携帯端末１０₁〜１０_nにより表示されるマーカは、表示する仮想物体の種類を示すためのものではなく、単にマーカ提示用携帯端末１０₁〜１０_nを区別するために表示される。

表示用携帯端末２０により撮影された画像から検出された複数のマーカに対して、どの仮想物体の画像を合成するかという対応情報は、マーカ提示用携帯端末１０₁〜１０_nによって画像サーバ４０に通知されるため、画像サーバ４０では、この対応情報および検出エンジン３０により検出されたマーカの種類、位置および向きの情報に応じて画像データを選択して合成用画像として表示用携帯端末２０に送信することが可能となる。

次に、本実施形態の拡張現実感システムの動作を図７のフローチャートを参照して詳細に説明する。図７中において、ステップ７０１〜７０５の処理が本発明の第３の実施形態の拡張現実感システムの動作を示した図６のフローチャートと異なる処理となっている。

先ず、マーカ提示用携帯端末１０₁〜１０_n、表示用携帯端末２０、検出エンジン３０、画像サーバ４０間において相互にそれぞれ通信可能なように通信設定が行われる（ステップ６０１、２０１、３０１、４０１）。そして、各マーカ提示用携帯端末１０₁〜１０_nでは、ユーザにより表示されるマーカの種類が選択されると、表示を行うマーカの種類と選択された仮想物体の種類とを対応付けて画像サーバ４０にそれぞれ通知する（ステップ７０２）。マーカ提示用携帯端末１０₁〜１０_nから、マーカの種類と仮想物体の種類とが対応付けられた情報を通知された画像サーバ４０では、その情報を記録しておく（ステップ７０２）。

そして、マーカ提示用携帯端末１０₁〜１０_nでは、マーカがそれぞれ表示され（ステップ１０１）、マーカが表示されたマーカ提示用携帯端末１０₁〜１０_nを表示用携帯端末２０により撮影した後の処理は、上記で説明した他の実施形態と同様である。ただし、本実施形態では、検出エンジン３０は、表示用携帯端末２０から送られてきたマーカ画像を受信した場合（ステップ３０２）、その画像の中からｎ個のマーカを検出し、各マーカ毎にマーカ種類、位置および向きの検出を行い（ステップ７０３）、その情報を画像サーバ４０に送信する（ステップ７０４）。

そして、検出エンジン３０からのマーカ種類、位置および向きの情報を受信した画像サーバ４０では、受信したマーカの種類に対応する仮想物体の種類をステップ７０２において記憶された情報に基づいてそれぞれ決定する（ステップ７０５）。そして、画像サーバ４０では、上記の第３の実施形態等と同様に、そのマーカの種類、位置、向きに応じた画像を、予め登録されている画像の中から検索して（ステップ４０３）、表示用携帯端末２０に送信する（ステップ４０４）。

本実施形態の拡張現実感システムによれば、使用するマーカの種類はマーカ提示用携帯端末１０₁〜１０_nの台数ｎのみでよいため、表示しようとする仮想物体の種類が多数となった場合でも、マーカの種類の誤認識が発生する確率を低くすることができ、より精度の高い合成用画像を生成することが可能となる。

また、本実施形態においても、上記で説明した第２の実施形態と同様にして、マーカ提示用携帯端末１０は、画像サーバ４０に通知する表示するマーカの種類と撮影画像中に合成する仮想物体との対応情報を予め設定された時間間隔で変更する機能を備えるようにすることもできる。

（第５から第８の実施形態）
上記第１から第４の実施形態では、表示用携帯端末２０において仮想物体の画像を撮影画像に合成する処理を行っていたが、本発明の第５から第８の実施形態では、この合成処理は画像サーバ４０で行うようにし、表示用携帯端末２０では、画像サーバ４０において合成処理された後の表示用画像を受信し、受信した表示用画像を単に表示するだけとする。尚、第５から第８の実施形態は、それぞれ第１から第４の実施形態に対応したものであるため、その差異の部分のみについて説明する。

本発明の第５から第８の実施形態における表示用携帯端末２０は、画像サーバ４０から送信されてきた仮想物体画像と撮影画像とを合成する機能の替わりに、画像サーバ４０から送信されてきた表示用画像を表示する機能を備えている。また、本発明の第５から第８の実施形態における画像サーバ４０は、表示用携帯端末２０で撮影された画像に、合成用画像を合成して表示用画像として表示用携帯端末２０に送信する機能を備えている。

また、表示用携帯端末２０により撮影された画像は検出エンジン３０介して画像サーバ４０に送られるようにしてもよいし、画像サーバ４０に直接送信されるようにしてもよい。

本発明の第５の実施形態における処理を図８のフローチャートに示す。本実施形態では、上記で説明した第１の実施形態における処理に対して、画像サーバ４０は、表示用携帯端末２０により撮影された画像に合成用画像を合成して表示用画像を生成し（ステップ４０６）、その表示用画像を表示用携帯端末２０に送信する（ステップ４０７）。そして、表示用携帯端末２０では、この表示用画像を受信すると（ステップ２１２）、この表示用画像を表示する処理を行う（ステップ２１３）。

同様に本発明の第６の実施形態における処理を図９のフローチャートに示し、本発明の第７の実施形態における処理を図１０のフローチャートに示し、本発明の第８の実施形態における処理を図１１のフローチャートに示す。図９〜図１１におけるステップ２１２、２１３、４０６、４０７の処理は、図８における処理と同様であるためその説明は省略する。

本発明の第５から第８の実施形態では、画像サーバ４０にいて合成処理を行うことにより、表示用携帯端末２０では合成処理を行う必要がなくなり単に送られてきた表示用画像を表示する処理のみでよくなる。そのため、表示用携帯端末２０における処理量を軽減することができる。表示用携帯端末２０として携帯電話等の処理能力の低い端末を用いる場合に、表示用携帯端末２０における処理を軽減することにより、合成に要する時間を短縮し、撮影から表示に至る全体のスループットを改善することができるようになる。

上記第１から第８の実施形態では、検出エンジン３０と画像サーバ４０とは異なる装置により構成されている場合を用いて説明したが、本発明はこれに限定されるものではなく、同一のパーソナルコンピュータ等上で構成して１つの装置上で実現した場合でも同様に本発明を適用することができるものである。

また、図には示されていないが、本実施形態の拡張現実感システムは、上記で説明した画像合成表示方法を実行するためのプログラムを記録した記録媒体を備えている。この記録媒体は磁気ディスク、半導体メモリまたはその他の記録媒体であってもよい。このプログラムは、記録媒体から拡張現実感システムを構成するマーカ提示用携帯端末１０、１０₁〜１０_n、表示用携帯端末２０、検出エンジン３０、画像サーバ４０にそれぞれ読み込まれ、それぞれの動作を制御する。具体的には、マーカ提示用携帯端末１０、１０₁〜１０_n、表示用携帯端末２０、検出エンジン３０、画像サーバ４０内のＣＰＵがこのプログラムの制御によりマーカ提示用携帯端末１０、１０₁〜１０_n、表示用携帯端末２０、検出エンジン３０、画像サーバ４０のハードウェア資源に特定の処理を行うように指示することにより上記の処理が実現される。

本発明の第１の実施形態の拡張現実感システムの構成を示すブロック図である。 図１の拡張現実感システムの動作を示すフローチャートである。 図１の拡張現実感システムの別の動作を示すフローチャートである。 本発明の第２の実施形態の拡張現実感システムの動作を示すフローチャートである。 マーカ提示用携帯端末１０により表示されたマーカの切り替えが順次行われる様子を示す図である。 本発明の第３の実施形態の拡張現実感システムの動作を示すフローチャートである。 本発明の第４の実施形態の拡張現実感システムの動作を示すフローチャートである。 本発明の第５の実施形態の拡張現実感システムの動作を示すフローチャートである。 本発明の第６の実施形態の拡張現実感システムの動作を示すフローチャートである。 本発明の第７の実施形態の拡張現実感システムの動作を示すフローチャートである。 本発明の第８の実施形態の拡張現実感システムの動作を示すフローチャートである。 ３次元位置を認識するためのマーカ８００を示す図である。 拡張現実感システムにより合成画像を生成する動作を説明するための図である。

符号の説明

１０、１０₁〜１０_n マーカ提示用携帯端末
２０ 表示用携帯端末
３０ 検出エンジン
４０ 画像サーバ
１０１ ステップ
２０１〜２１３ ステップ
３０１〜３０５ ステップ
４０１〜４０７ ステップ
６０１〜６０４ ステップ
７０１〜７０５ ステップ
８００ マーカ
８０１ 撮影画像
８０２ 仮想物体画像

Claims (22)

1. 撮影画像中に仮想物体画像を合成する際に該仮想物体画像を合成する３次元位置認識を行うためのマーカを表示する機能を備えたマーカ提示用携帯端末。
2. 予め設定された時間間隔で表示するマーカの種類を順次切り替える機能をさらに備えている請求項１記載のマーカ提示用携帯端末。
3. 撮影画像中に仮想物体画像を合成する際に該仮想物体画像を合成する３次元位置認識を行うためのマーカを表示する機能と、前記仮想物体の画像データが予め格納された画像サーバとの間で通信を行う機能とを備え、該通信機能を用いて前記撮影画像中に合成する仮想物体の種類を指定する情報を前記画像サーバに通知するマーカ提示用携帯端末。
4. 前記画像サーバに通知する仮想物体の種類を予め設定された時間間隔で変更する機能をさらに備えている請求項３記載のマーカ提示用携帯端末。
5. 撮影画像中に仮想物体画像を合成する際に該仮想物体画像を合成する３次元位置認識を行うためのマーカを表示する機能と、前記仮想物体の画像データが予め格納された画像サーバとの間で通信を行う機能とを備え、該通信機能を用いて表示するマーカの種類と前記撮影画像中に合成する仮想物体との対応情報を前記画像サーバに通知するマーカ提示用携帯端末。
6. 前記画像サーバに通知する表示するマーカの種類と前記撮影画像中に合成する仮想物体との対応情報を予め設定された時間間隔で変更する機能をさらに備えている請求項５記載のマーカ提示用携帯端末。
7. ３次元位置認識のためのマーカを含む画像の撮影を行い、該撮影画像中のマーカの種類に応じた仮想物体画像を、撮影画像中のマーカの位置および方向に基づいて当該撮影画像中に合成する拡張現実感システムであって、
   撮影画像中に仮想物体画像を合成する際に該仮想物体画像を合成する３次元位置認識を行うためのマーカを表示する機能を備えたマーカ提示用携帯端末と、
   マーカを表示した前記マーカ提示用携帯端末を含む画像の撮影を行う撮影機能と、撮影した画像中のマーカ部分に送信されてきた合成用画像を合成する機能を備えた表示用携帯端末と、
   画像処理を行うことにより前記表示用携帯端末により撮影された画像の中からマーカの種類、位置および向きを検出する検出エンジンと、
   仮想物体画像が予め登録されていて、前記検出エンジンにより検出されたマーカの種類、位置および向きに応じた画像データを選択するかあるいはＣＧモデルからレンダリング処理により生成して前記表示用携帯端末に前記合成用画像として送信する画像サーバと、を備えた拡張現実感システム。
8. 前記マーカ提示用携帯端末は、表示を行う前記マーカの種類を予め設定された時間間隔で変更する機能をさらに備えている請求項７記載の拡張現実感システム。
9. ３次元位置認識のためのマーカを含む画像の撮影を行い、該撮影画像中のマーカの種類に応じた仮想物体画像を、撮影画像中のマーカの位置および方向に基づいて当該撮影画像中に合成する拡張現実感システムであって、
   画像処理を行うことにより撮影された画像の中から、仮想物体画像を合成する３次元位置認識を行うためのマーカの位置および向きを検出する検出エンジンと、
   仮想物体画像が予め登録されていて、通知された仮想物体の種類、前記検出エンジンにより検出されたマーカの位置および向きに応じた画像データを選択するかあるいはＣＧモデルからレンダリング処理により生成して合成用画像として送信する画像サーバと、
   前記マーカを表示する機能と前記画像サーバとの間で通信を行う機能とを備え、該通信機能を用いて撮影画像中に合成する仮想物体の種類を指定する情報を前記画像サーバに通知するマーカ提示用携帯端末と、
   マーカを表示した前記マーカ提示用携帯端末を含む画像の撮影を行い前記検出エンジンに送信する機能と、撮影した画像中のマーカ部分に前記画像サーバから送信されてきた合成用画像を合成する機能とを有する表示用携帯端末と、を備えた拡張現実感システム。
10. ３次元位置認識のためのマーカを含む画像の撮影を行い、該撮影画像中のマーカの種類に応じた仮想物体画像を、撮影画像中のマーカの位置および方向に基づいて当該撮影画像中に合成する拡張現実感システムであって、
    画像処理を行うことにより撮影された画像の中から、仮想物体画像を合成する３次元位置認識を行うための複数のマーカの種類、位置および向きを検出する検出エンジンと、
    仮想物体画像が予め登録されていて、通知されたマーカの種類と仮想物体の種類との対応情報および前記検出エンジンにより検出されたマーカの種類、位置および向きの情報に応じた画像データを選択するかあるいはＣＧモデルからレンダリング処理により生成して合成用画像として送信する画像サーバと、
    前記マーカをそれぞれ表示する機能と前記画像サーバとの間で通信を行う機能とを備え、該通信機能を用いて表示するマーカの種類と前記撮影画像中に合成する仮想物体の種類との対応情報を前記画像サーバにそれぞれ通知する複数のマーカ提示用携帯端末と、
    マーカを表示した前記複数のマーカ提示用携帯端末を含む画像の撮影を行い前記検出エンジンに送信する機能と、撮影した画像中の各マーカ部分に前記画像サーバから送信されてきた合成用画像をそれぞれ合成する機能とを有する表示用携帯端末と、を備えた拡張現実感システム。
11. ３次元位置認識のためのマーカを含む画像の撮影を行い、該撮影画像中のマーカの種類に応じた仮想物体画像を、撮影画像中のマーカの位置および方向に基づいて当該撮影画像中に合成する拡張現実感システムであって、
    撮影画像中に仮想物体画像を合成する際に該仮想物体画像を合成する３次元位置認識を行うためのマーカを表示する機能を備えたマーカ提示用携帯端末と、
    マーカを表示した前記マーカ提示用携帯端末を含む画像の撮影を行う撮影機能と、送信されてきた表示用画像を表示する機能を備えた表示用携帯端末と、
    画像処理を行うことにより前記表示用携帯端末により撮影された画像の中からマーカの種類、位置および向きを検出する検出エンジンと、
    仮想物体画像が予め登録されていて、前記検出エンジンにより検出されたマーカの種類、位置および向きに応じた画像データを合成用画像として選択するかあるいはＣＧモデルからレンダリング処理により合成用画像を生成し、前記表示用携帯端末で撮影された画像に該合成用画像を合成して前記表示用画像として前記表示用携帯端末に送信する画像サーバと、を備えた拡張現実感システム。
12. 前記マーカ提示用携帯端末は、表示を行う前記マーカの種類を予め設定された時間間隔で変更する機能をさらに備えている請求項１１記載の拡張現実感システム。
13. ３次元位置認識のためのマーカを含む画像の撮影を行い、該撮影画像中のマーカの種類に応じた仮想物体画像を、撮影画像中のマーカの位置および方向に基づいて当該撮影画像中に合成する拡張現実感システムであって、
    画像処理を行うことにより撮影された画像の中から、仮想物体画像を合成する３次元位置認識を行うためのマーカの位置および向きを検出する検出エンジンと、
    仮想物体画像が予め登録されていて、通知された仮想物体の種類、前記検出エンジンにより検出されたマーカの位置および向きに応じた画像データを合成用画像として選択するかあるいはＣＧモデルからレンダリング処理により合成用画像を生成し、送信されてきた撮影画像に該合成用画像を合成して表示用画像として送信する画像サーバと、
    前記マーカを表示する機能と前記画像サーバとの間で通信を行う機能とを備え、該通信機能を用いて撮影画像中に合成する仮想物体の種類を指定する情報を前記画像サーバに通知するマーカ提示用携帯端末と、
    マーカを表示した前記マーカ提示用携帯端末を含む画像の撮影を行い前記検出エンジンおよび前記画像サーバに送信する機能と、前記画像サーバから送信されてきた表示用画像を表示する機能とを有する表示用携帯端末と、を備えた拡張現実感システム。
14. ３次元位置認識のためのマーカを含む画像の撮影を行い、該撮影画像中のマーカの種類に応じた仮想物体画像を、撮影画像中のマーカの位置および方向に基づいて当該撮影画像中に合成する拡張現実感システムであって、
    画像処理を行うことにより撮影された画像の中から、仮想物体画像を合成する３次元位置認識を行うための複数のマーカの種類、位置および向きを検出する検出エンジンと、
    仮想物体画像が予め登録されていて、通知されたマーカの種類と仮想物体の種類との対応情報および前記検出エンジンにより検出されたマーカの種類、位置および向きの情報に応じた画像データを合成用画像として選択するかあるいはＣＧモデルからレンダリング処理により合成用画像を生成し、送信されてきた撮影画像に該合成用画像を合成して表示用画像として送信する画像サーバと、
    前記マーカをそれぞれ表示する機能と前記画像サーバとの間で通信を行う機能とを備え、該通信機能を用いて表示するマーカの種類と前記撮影画像中に合成する仮想物体の種類との対応情報を前記画像サーバにそれぞれ通知する複数のマーカ提示用携帯端末と、
    マーカを表示した前記複数のマーカ提示用携帯端末を含む画像の撮影を行い前記検出エンジンおよび前記画像サーバに送信する機能と、前記画像サーバから送信されてきた表示用画像を表示する機能とを有する表示用携帯端末と、を備えた拡張現実感システム。
15. 前記検出エンジンには前記マーカ提示用携帯端末の特徴点情報が予め登録されていて、前記検出エンジンは、前記表示用携帯端末により撮影された画像の中からマーカの種類、位置および向きを検出する際に、前記特徴点情報を用いてマーカの検出を行う請求項７から１４のいずれか１項記載の拡張現実感システム。
16. 前記検出エンジンにはマーカを表示させた状態の前記マーカ提示用携帯端末の特徴点情報が予め登録されていて、前記検出エンジンは、前記表示用携帯端末により撮影された画像の中からマーカの種類、位置および向きを検出する際に、前記特徴点情報を用いてマーカの検出を行う請求項７から１４のいずれか１項記載の拡張現実感システム。
17. ３次元位置認識のためのマーカを含む画像の撮影を行い、該撮影画像中のマーカの種類に応じた仮想物体画像を、撮影画像中のマーカの位置および方向に基づいて当該撮影画像中に合成する拡張現実感システムの動作方法であって、
    撮影画像中に仮想物体画像を合成する際に該仮想物体画像を合成する３次元位置認識を行うためのマーカをマーカ提示用携帯端末により表示するステップと、
    マーカを表示した前記マーカ提示用携帯端末を含む画像を表示用携帯端末により撮影するステップと、
    画像処理を行うことにより前記表示用携帯端末により撮影された画像の中からマーカの種類、位置および向きを検出エンジンにより検出するステップと、
    仮想物体画像が予め登録されている画像サーバが、前記検出エンジンにより検出されたマーカの種類、位置および向きに応じた画像データを選択するかあるいはＣＧモデルからレンダリング処理により生成して前記表示用携帯端末に前記合成用画像として送信するステップと、
    前記表示用携帯端末が、撮影した画像中のマーカ部分に前記画像サーバから送信されてきた合成用画像を合成するステップと、を備えた拡張現実感システムの動作方法。
18. ３次元位置認識のためのマーカを含む画像の撮影を行い、該撮影画像中のマーカの種類に応じた仮想物体画像を、撮影画像中のマーカの位置および方向に基づいて当該撮影画像中に合成する拡張現実感システムの動作方法であって、
    マーカ提示用携帯端末が、撮影画像中に仮想物体画像を合成する際に該仮想物体画像を合成する３次元位置認識を行うためのマーカを表示するとともに、撮影画像中に合成する仮想物体の種類を指定する情報を仮想物体画像が予め登録されている画像サーバに通知するステップと、
    マーカを表示した前記マーカ提示用携帯端末を含む画像を表示用携帯端末により撮影するステップと、
    画像処理を行うことにより前記表示用携帯端末により撮影された画像の中からマーカの位置および向きを検出エンジンにより検出するステップと、
    前記画像サーバが、前記マーカ提示用端末から通知された仮想物体の種類、前記検出エンジンにより検出されたマーカの位置および向きに応じた画像データを選択するかあるいはＣＧモデルからレンダリング処理により生成して合成用画像として送信するステップと、
    前記表示用携帯端末が、撮影した画像中のマーカ部分に前記画像サーバから送信されてきた合成用画像を合成するステップと、を備えた拡張現実感システムの動作方法。
19. ３次元位置認識のためのマーカを含む画像の撮影を行い、該撮影画像中のマーカの種類に応じた仮想物体画像を、撮影画像中のマーカの位置および方向に基づいて当該撮影画像中に合成する拡張現実感システムの動作方法であって、
    複数のマーカ提示用携帯端末が、撮影画像中に仮想物体画像を合成する際に該仮想物体画像を合成する３次元位置認識を行うためのマーカをそれぞれ表示するとともに、表示するマーカの種類と前記撮影画像中に合成する仮想物体の種類との対応情報を仮想物体画像が予め登録されている画像サーバにそれぞれ通知するステップと、
    マーカを表示した前記複数のマーカ提示用携帯端末を含む画像を表示用携帯端末により撮影するステップと、
    画像処理を行うことにより前記表示用携帯端末により撮影された画像の中から複数のマーカの種類、位置および向きを検出エンジンにより検出するステップと、
    前記画像サーバが、前記マーカ提示用端末から通知された対応情報、前記検出エンジンにより検出されたマーカの位置および向きに応じた画像データを選択するかあるいはＣＧモデルからレンダリング処理により生成して合成用画像として送信するステップと、
    前記表示用携帯端末が、撮影した画像中のマーカ部分に前記画像サーバから送信されてきた合成用画像を合成するステップと、を備えた拡張現実感システムの動作方法。
20. ３次元位置認識のためのマーカを含む画像の撮影を行い、該撮影画像中のマーカの種類に応じた仮想物体画像を、撮影画像中のマーカの位置および方向に基づいて当該撮影画像中に合成する拡張現実感システムの動作方法であって、
    撮影画像中に仮想物体画像を合成する際に該仮想物体画像を合成する３次元位置認識を行うためのマーカをマーカ提示用携帯端末により表示するステップと、
    マーカを表示した前記マーカ提示用携帯端末を含む画像を表示用携帯端末により撮影するステップと、
    画像処理を行うことにより前記表示用携帯端末により撮影された画像の中からマーカの種類、位置および向きを検出エンジンにより検出するステップと、
    仮想物体画像が予め登録されている画像サーバが、前記検出エンジンにより検出されたマーカの種類、位置および向きに応じた画像データを合成用画像として選択するかあるいはＣＧモデルからレンダリング処理により合成用画像を生成し、前記表示用携帯端末で撮影された画像に該合成用画像を合成して前記表示用画像として前記表示用携帯端末に送信するステップと
    前記表示用携帯端末が、前記画像サーバから送信されてきた表示用画像を表示するステップと、を備えた拡張現実感システムの動作方法。
21. ３次元位置認識のためのマーカを含む画像の撮影を行い、該撮影画像中のマーカの種類に応じた仮想物体画像を、撮影画像中のマーカの位置および方向に基づいて当該撮影画像中に合成する拡張現実感システムの動作方法であって、
    マーカ提示用携帯端末が、撮影画像中に仮想物体画像を合成する際に該仮想物体画像を合成する３次元位置認識を行うためのマーカを表示するとともに、撮影画像中に合成する仮想物体の種類を指定する情報を仮想物体画像が予め登録されている画像サーバに通知するステップと、
    マーカを表示した前記マーカ提示用携帯端末を含む画像を表示用携帯端末により撮影するステップと、
    画像処理を行うことにより前記表示用携帯端末により撮影された画像の中からマーカの位置および向きを検出エンジンにより検出するステップと、
    仮想物体画像が予め登録されている画像サーバが、前記マーカ提示用携帯端末から通知された仮想物体の種類、前記検出エンジンにより検出されたマーカの位置および向きに応じた画像データを合成用画像として選択するかあるいはＣＧモデルからレンダリング処理により合成用画像を生成し、送信されてきた撮影画像に該合成用画像を合成して表示用画像として送信するステップと、
    前記表示用携帯端末が、前記画像サーバから送信されてきた表示用画像を表示するステップと、を備えた拡張現実感システムの動作方法。
22. ３次元位置認識のためのマーカを含む画像の撮影を行い、該撮影画像中のマーカの種類に応じた仮想物体画像を、撮影画像中のマーカの位置および方向に基づいて当該撮影画像中に合成する拡張現実感システムの動作方法であって、
    複数のマーカ提示用携帯端末が、撮影画像中に仮想物体画像を合成する際に該仮想物体画像を合成する３次元位置認識を行うためのマーカをそれぞれ表示するとともに、表示するマーカの種類と前記撮影画像中に合成する仮想物体の種類との対応情報を仮想物体画像が予め登録されている画像サーバにそれぞれ通知するステップと、
    マーカを表示した前記複数のマーカ提示用携帯端末を含む画像を表示用携帯端末により撮影するステップと、
    画像処理を行うことにより前記表示用携帯端末により撮影された画像の中から複数のマーカの種類、位置および向きをそれぞれ検出エンジンにより検出するステップと、
    仮想物体画像が予め登録されている画像サーバが、前記マーカ提示用携帯端末から通知された仮想物体の種類との対応情報および前記検出エンジンにより検出されたマーカの種類、位置および向きの情報に応じた画像データを合成用画像として選択するかあるいはＣＧモデルからレンダリング処理により合成用画像を生成し、送信されてきた撮影画像に該合成用画像を合成して表示用画像として送信するステップと、
    前記表示用携帯端末が、前記画像サーバから送信されてきた表示用画像を表示するステップと、を備えた拡張現実感システムの動作方法。
    
    
    

Images