WO2006082825A1

WO2006082825A1 - 指標配置計測方法、位置姿勢推定方法、指標配置計測装置、位置姿勢推定装置

Info

Publication number: WO2006082825A1
Application number: PCT/JP2006/301620
Authority: WO
Inventors: Rika Takemoto; Shinji Uchiyama
Original assignee: Canon Kabushiki Kaisha
Priority date: 2005-02-02
Filing date: 2006-02-01
Publication date: 2006-08-10
Also published as: US7664341B2; US20070091125A1; JP2006214832A; JP4599184B2

Description

明細書

指標配置計測方法、位置姿勢推定方法、指標配置計測装置、位置姿勢推定装置

技術分野

[0001] 本発明は、現実空間中に配された各指標の位置姿勢を求めるための技術に関するものである。

背景技術

[0002] 近年、現実空間と仮想空間の繋ぎ目のない結合を目的とした、複合現実感 (以下、 MR (Mixed Reality)と称す）に関する研究が盛んに行われている。特に、 MRの中でも、現実空間に仮想空間を重ね合わせて表示する Augmented Reality(AR、拡張現実感、増強現実感とも呼ばれる)技術が注目を集めている。

[0003] ユーザの頭の動きに合わせて MR空間を体験させるための表示装置として、実現方式によって次の 2つに分類できる。一つは、ビデオカメラなどの撮像装置によって撮影された現実空間の画像に、撮像装置の位置および姿勢に応じて生成された仮想空間（たとえばコンピュータ 'グラフィックス（以下、 CGと称す）により描画された仮想物体や文字情報など）の画像を重畳表示するビデオシースルー方式であり、もう一つは、観察者の頭部に装着された光学シースルー型ディスプレイに、観察者の視点の位置及び姿勢に応じて生成された仮想空間の画像を表示する光学シースルー方式である。

[0004] AR技術は、患者の体表面に体内の様子を重畳表示する手術支援や、空き地に仮想のビルを重畳表示する建築シミュレーション、組立作業時に作業手順や配線の様子を重畳表示する組み立て支援等様々な分野への応用が期待される。

[0005] AR技術において最も重要な課題の一つは、現実空間と仮想空間の間の位置合わせをいかに正確に行うかということであり、従来より多くの取り組みが行われてきた。 A Rにおける位置合わせの問題は、ビデオシースルー方式の場合はシーン中における (すなわち基準座標系における)撮像装置の位置及び姿勢を求める問題に帰結する。同様に、光学シースルー方式の場合は、シーン中における観察者の視点あるいはディスプレイの位置及び姿勢を求める問題に帰結する。

[0006] ビデオシースルー方式における位置合わせの問題を解決する方法として、 3次元空間中の座標 (世界座標)値が既知である特徴点 (マーカ）を複数配置しておき、これをカメラにより撮像して、マーカの世界座標と撮像画像座標の関係をみたすようなカメラの位置姿勢を算出する方法がある (特許文献 1を参照)。また、光学シースルー方式における位置合わせの問題を解決する方法として、計測対象物 (すなわち観察者の頭部あるいはディスプレイ）に撮像装置を装着し、ビデオシースルー方式と同様な方法によってこの撮像装置の位置及び姿勢を求め、それに基づいて計測対象物の位置及び姿勢を求めることが一般的に行われて、る。

[0007] 一般に、 3次元位置の既知な複数の点（理論的には 3点以上、安定的に解くためには 6点以上）の撮影画像上における画像座標が得られれば、 3次元位置と画像座標との対応関係力もカメラ視点の位置と姿勢を求めることができる。

[0008] 指標の 3次元座標と画像座標の組から撮像装置の位置及び姿勢を算出する方法は、非特許文献 1、 2に記載されているように、写真測量の分野において提案されている。

[0009] さらに、指標として、大きさが既知の正方形形状の指標（以下、正方形指標）を用いる方法も提案されている (非特許文献 3, 4を参照)。

[0010] また、指標として、正方形指標と点指標を組み合わせを用いる方法も提案されて!、る (非特許文献 5を参照)。

[0011] 点指標には狭いところにも設定できるというメリットがある。正方形指標には同定が簡単であり、かつ一つの指標の情報量が多いため一つの指標だけから撮像装置の位置及び姿勢を求めることができるというメリットがある。よって、点指標と正方形指標とを相補的に利用することができる。

[0012] 以上の方法によって、撮像装置が撮影した画像に基づ!、て、この撮像装置の位置及び姿勢を取得することが従来力なされてきた。

[0013] 一方、計測対象である撮像装置に磁気センサや超音波センサなどの 6自由度位置姿勢センサを取り付け、センサの測定結果と前述のような画像処理による指標の検出との併用によって位置及び姿勢を計測することも行われて、る。センサの出力値は測定範囲によって精度は変わるが安定的に得ることができるため、センサと画像処理を併用する方法は、画像処理だけによる方法に比べてロバスト性を向上させることができる (特許文献 2、非特許文献 6を参照)。

[0014] 従来の指標を利用した位置合わせ手法では、計測対象である撮像装置の基準座標系における位置及び姿勢を求めるために、点指標の場合は基準座標系における位置、正方形指標の場合は基準座標系における位置及び姿勢が既知である必要がある。正方形指標の場合には、基準座標系を別途設けることなぐ正方形指標そのものを座標系の基準とする場合が多いが、複数の正方形指標を用いる場合には、互いの位置'姿勢の関係（以下、配置関係という）が既知である必要がある。そのため、複数の指標間の位置及び姿勢の関係を定義するための基準座標系が必要であることに変わりはない。

[0015] 基準座標系における指標の位置及び姿勢の計測は、巻尺や分度器を用いた手作業や、測量器によって行うことが可能であるが、精度や手間の問題から、画像を利用した計測が行われている。点指標の位置計測には、バンドル調整法と呼ばれる方法で求めることができる。バンドル調整法は、点指標を撮像装置によって多数撮影し、点指標の現実空間中における位置、点指標の画像上での投影点、撮像装置の視点の 3点が同一直線上に存在するという拘束条件をもとに、指標が実際に画像上で観察される投影位置と撮像装置の位置及び姿勢と指標の位置力計算される投影位置との誤差 (投影誤差)が最小化されるように、繰返し演算によって画像を撮影した撮像装置の位置及び姿勢と、点指標の位置を求める方法である。

[0016] また、 3次元空間中に配置された多数の正方形マーカの位置及び姿勢を計測する方法が提案されてヽる (非特許文献 7を参照)。

[0017] また、 3次元空間中に配置された多数の正方形マーカの画像を多数撮影し、投影誤差が最小になるように繰返し演算によって各画像を撮影した撮像装置の位置及び姿勢と、正方形マーカの位置及び姿勢を求める方法も提案されている (非特許文献 8を参照)。

[0018] 画像を利用した計測手法（以下、ビジョンベースマーカキャリブレーションと、う）では、 N個の指標（M1〜MN)の配置関係を算出する場合、任意の指標 Miは他の少なくとも 1つの指標 Mj (i≠j)と同時に撮影され、かつ互いに同時に撮影されたマーカでグループを構成した場合に、全体が 1つのグループで構成される必要がある。図 1 を参照して具体例を挙げる。

[0019] 図 1は、 2つのマーカを 1つのグループとする場合に、 2つのグループのそれぞれをカメラによって撮像する場合に、マーカ間の配置関係を求める場合の問題について示す図である。

[0020] 図 1において 101, 102はカメラで、カメラ 101はマーカ 101a、 101bを撮像しており、カメラ 102はマーカ 102a、 102bを撮像している。同図において 103はカメラ 101 により撮像された画像であり、この画像 103にはマーカ 101a、 101bが含まれている。一方、 104はカメラ 102により撮像された画像であり、この画像 104にはマーカ 102 a、 102b力含まれて!/ヽる。

[0021] ここで、上記従来技術によれば、画像 103を用いれば、マーカ 101aとマーカ 101b との配置関係は求めることができ、画像 104を用いれば、マーカ 102aとマーカ 102b との配置関係は求めることができる。しかし、画像 103におけるマーカ 101aと画像 10 4における 102aとの配置関係を求める、というように、異なる画像間で、それぞれの画像に含まれて、るマーカ間の配置関係を求めることはできな、。

[0022] このような問題に対し、一般的には広範囲を一度に撮影できるような工夫として、広画角なカメラを利用する方法が考えられるが、画像歪みの影響が大きくなるという問題がある。また、遠方カゝら撮影する方法も考えられるが、高解像度の画像が得られないなど、いずれも正確な配置関係を算出することが困難になる。

[0023] また、マーカとマーカとの間に障害物が存在したり、マーカの姿勢が異なっている等、物理的な要因がある場合には、同時撮影自体が困難である。

[0024] このように、従来は、すべてのマーカの配置関係が算出できるように多数のマーカを配置している。しかし、マーカをたくさん配置することは、景観を損なう恐れがあり、 MR体験時には、位置合わせに必要な最低限のマーカが配置されていることが望ましい (非特許文献 9を参照)。

特許文献 1 :特開 2000— 041173号公報

特許文献 2：特開 2002— 228442公報非特許文献 1 :R. M. Haralick, C. Lee, K. Ottenberg, and M. Nolle : "Revie w and analysis of solutions of the three point perspective pose e stimation problem", Int' l. J. Computer Vision, vol. 13, no. 3, pp. 331— 356, 1994.

特許文献 2 : M. A. Fischler and R. C. Bolles： "Random sample consen sus : a paradigm for model fitting with applications to image analys is and automated cartography", Comm. ACM, vol. 24, no. 6, pp. 381 - 395, 1981.

非特許文献 3：暦本純一： "2次元マトリックスコードを利用した拡張現実感の構成手法"，インタラクティブシステムとソフトウェア IV,近代科学社， 1996.

非特許文献 4:加藤， M. Billinghurst,浅野，橘："マーカー追跡に基づく拡張現実感システムとそのキャリブレーション"，日本バーチャルリアリティ学会論文誌， vol. 4, no. 4, pp. 607-616, 1999.

非特許文献 5 : H. Kato, M. Billinghurst, I. Poupyrev, K. Imamoto and K. Tachibana： "Virtual object manipulation on a table— top AR environ ment", Proc. ISAR2000, pp. 111— 119, 2000.

非特許文献 6 : A. State, G. Hirota, D. T. Chen, W. F. Garrett and M. A. Livingston: "Superior augmented reality registration by integrating 1 andmark tracking and magnetic tracking , Proc. SIGLrRAPH' 96, pp. 429-438, 1996.

特許文献 7 : G. Baratoff, A. Neubeck and H. Regenbrecht： "Interactiv e multi— marker calibration for augmented reality applications , Pro c. ISMAR2002, pp. 107—116, 2002.

特許文献 8 : G. Baratoff, A. Neubeck and H. Regenbrecht： "Interactiv e multi— marker calibration for augmented reality applications , Pro c. ISMAR2002, pp. 107—116, 2002.

特許文献 9 : G. Baratoff, A. Neubeck and H. Regenbrecht： "Interactiv e multi— marker calibration for augmented reality applications , Pro c. ISMAR2002, pp. 107—116, 2002.

発明の開示

発明が解決しょうとする課題

[0025] 本発明は以上の問題に鑑みて成されたものであり、 MR体験時の景観などに影響を及ぼさな、程度に指標を配置した場合であっても、ビジョンベースマーカキヤリブレーシヨン方法を用いて、それぞれの指標の位置を得るための技術を提供することを目的とする。

課題を解決するための手段

[0026] 本発明の目的を達成するために、例えば本発明の指標配置計測方法は以下の構成を備える。

[0027] 即ち、移動可能な撮像装置により現実空間内の複数の指標を撮像することによつて、指標間の相対的配置関係を計測する方法において、現実空間内のある第 1の領域に存在する第 1指標もしくは指標群と、第 2の領域に存在する第 2指標もしくは指標群とが、相対的な配置関係を計測できるに足りる条件で撮像できない配置または条件にある場合であっても、第 1の領域に存在する第 1指標もしくは指標群と、第 2の領域に存在する第 2指標もしくは指標群との間の相対的な配置関係を計測する指標配置計測方法であって、

前記第 1指標 Z指標群の一部または全部と一時的に現実空間内に配置された 3次元空間における位置および姿勢が定義可能な補助指標との双方が同時に映るように撮像する第 1の撮像工程と、

前記第 2指標 Z指標群の一部または全部と前記補助指標との双方が同時に映るように撮像する第 2の撮像工程と、

前記第 1の撮像工程を 1回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像および、前記第 2の撮像工程を 1回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、前記第 1指標 Z指標群と補助指標と前記第 2指標 Z指標群との相対的な配置関係を算出する配置算出工程と

を備えることを特徴とする。

[0028] 本発明の目的を達成するために、例えば本発明の指標配置計測方法は以下の構成を備える。

[0029] 即ち、移動可能な撮像装置により現実空間内の複数の指標を撮像することによつて、指標間の相対的配置関係を計測する方法において、現実空間内のある第 1の領域に存在する第 1指標もしくは指標群と、第 2の領域に存在する第 2指標もしくは指標群とが、相対的な配置関係を計測できるに足りる条件で撮像できない配置または条件にある場合であっても、第 1の領域に存在する第 1指標もしくは指標群と、第 2の領域に存在する第 2指標もしくは指標群との間の相対的な配置関係を計測する指標配置計測方法であって、

第 1の撮像工程を 1回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、第 1指標 Z指標群と補助指標との相対的な配置関係を算出する第 1の配置算出工程と、

前記第 2の撮像工程を 1回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、前記第 2指標 Z指標群と前記補助指標との相対的な配置関係を算出する第 2の配置算出工程と、

前記第 1の配置算出工程と前記第 2の配置算出工程の結果から、前記第 1指標 Z 指標群と前記第 2指標 Z指標群との相対的配置関係を算出する第 2の配置算出ェ程と

を備えることを特徴とする。

[0030] 本発明の目的を達成するために、例えば本発明の位置姿勢推定方法は以下の構成を備える。

[0031] 即ち、移動可能な撮像装置の位置および Zまたは姿勢を、現実空間に存在する指標を基に推定する位置姿勢推定方法であって、

第 1指標 Z指標群の一部または全部と、一時的に現実空間内に配置された 3次元空間における位置および姿勢が定義可能な補助指標と、の双方が同時に映るように撮像する第 1の撮像工程と、

第 1の撮像工程を 1回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、前記第 1指標 Z指標群と補助指標との相対的な配置関係を算出する第 1の配置算出工程と、

第 2指標 Z指標群の一部または全部と前記補助指標との双方が同時に映るように撮像する第 2の撮像工程と、

第 1の配置算出工程と第 2の配置算出工程の結果から、前記第 1指標 Z指標群と前記第 2指標 Z指標群との相対的配置関係を算出する第 2の配置算出工程と、前記補助指標を利用せず、前記第 1指標 Z指標群と前記第 2指標 Z指標群の配置を利用して、前記撮像装置の位置姿勢を推定する撮像装置位置姿勢推定工程とを備えることを特徴とする。

[0032] 本発明の目的を達成するために、例えば本発明の指標配置計測装置は以下の構成を備える。

[0033] 即ち、移動可能な撮像装置により現実空間内の複数の指標を撮像することによつて、指標間の相対的配置関係を計測する方法において、現実空間内のある第 1の領域に存在する第 1指標もしくは指標群と、第 2の領域に存在する第 2指標もしくは指標群とが、相対的な配置関係を計測できるに足りる条件で撮像できない配置または条件にある場合であっても、第 1の領域に存在する第 1指標もしくは指標群と、第 2の領域に存在する第 2指標もしくは指標群との間の相対的な配置関係を計測する指標配置計測装置であって、

前記第 1指標 Z指標群の一部または全部と一時的に現実空間内に配置された 3次元空間における位置および姿勢が定義可能な補助指標との双方が同時に映るように撮像する第 1の撮像手段と、

前記第 2指標 Z指標群の一部または全部と前記補助指標との双方が同時に映るように撮像する第 2の撮像手段と、

前記第 1の撮像手段による撮像を 1回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像および、前記第 2の撮像手段による撮像を 1回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、前記第 1指標 Z指標群と補助指標と前記第 2指標 Z指標群との相対的な配置関係を算出する配置算出手段と

を備えることを特徴とする。

[0034] 本発明の目的を達成するために、例えば本発明の指標配置計測装置は以下の構成を備える。

[0035] 即ち、移動可能な撮像装置により現実空間内の複数の指標を撮像することによつて、指標間の相対的配置関係を計測する方法において、現実空間内のある第 1の領域に存在する第 1指標もしくは指標群と、第 2の領域に存在する第 2指標もしくは指標群とが、相対的な配置関係を計測できるに足りる条件で撮像できない配置または条件にある場合であっても、第 1の領域に存在する第 1指標もしくは指標群と、第 2の領域に存在する第 2指標もしくは指標群との間の相対的な配置関係を計測する指標配置計測装置であって、

第 1の撮像手段による撮像を 1回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、第 1指標 Z指標群と補助指標との相対的な配置関係を算出する第 1の配置算出手段と、

前記第 2の撮像手段による撮像を 1回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、前記第 2指標 Z指標群と前記補助指標との相対的な配置関係を算出する第 2の配置算出手段と、

前記第 1の配置算出手段と前記第 2の配置算出手段の結果から、前記第 1指標 Z 指標群と前記第 2指標 Z指標群との相対的配置関係を算出する第 2の配置算出手段と

を備えることを特徴とする。

[0036] 本発明の目的を達成するために、例えば本発明の位置姿勢推定装置は以下の構成を備える。

[0037] 即ち、移動可能な撮像装置の位置および Zまたは姿勢を、現実空間に存在する指標を基に推定する位置姿勢推定装置であって、

第 1指標 Z指標群の一部または全部と、一時的に現実空間内に配置された 3次元空間における位置および姿勢が定義可能な補助指標と、の双方が同時に映るように撮像する第 1の撮像手段と、

第 1の撮像手段による撮像を 1回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、前記第 1指標 Z指標群と補助指標との相対的な配置関係を算出する第 1の配置算出手段と、

第 2指標 Z指標群の一部または全部と前記補助指標との双方が同時に映るように撮像する第 2の撮像手段と、

第 1の配置算出手段と第 2の配置算出手段の結果から、前記第 1指標 Z指標群と前記第 2指標 Z指標群との相対的配置関係を算出する第 2の配置算出手段と、前記補助指標を利用せず、前記第 1指標 Z指標群と前記第 2指標 Z指標群の配置を利用して、前記撮像装置の位置姿勢を推定する撮像装置位置姿勢推定手段とを備えることを特徴とする。

発明の効果

[0038] 本発明の構成により、 MR体験時の景観などに影響を及ぼさない程度に指標を配置した場合であっても、ビジョンベースマーカキャリブレーション方法を用いて、それぞれの指標の位置を得ることができる。

[0039] 本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。

図面の簡単な説明

[0040] 添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。

[図 1]2つのマーカを 1つのグループとする場合に、 2つのグループのそれぞれをカメラによって撮像する場合に、マーカ間の配置関係を求める場合の問題について示す図である。

[図 2A]現実空間中に配される様々なマーカを示す図である。

[図 2B]現実空間中に配される様々なマーカを示す図である。

[図 2C]現実空間中に配される様々なマーカを示す図である。

[図 3]本発明の実施形態に係るシステムの機能構成を示す図である。

[図 4]現実空間中に配されたそれぞれの位置合わせ用マーカの配置位置姿勢を求める処理のフローチャートである。

[図 5]位置合わせ用マーカにカ卩えて橋渡しマーカを配した現実空間を 2つのカメラにより撮像する場合に、それぞれの撮像画像内に橋渡しマーカを共有している様子を示す図である。

[図 6]操作入力部 350、映像取り込み部 320、指標検出同定部 340、マーカキヤリブレーシヨン部 360、指標情報管理部 370、表示オブジェクト生成.表示部 380のそれぞれの機能を有するコンピュータの基本構成を示すブロック図である。

[図 7]現実空間中に配されたそれぞれの位置合わせ用マーカの配置位置姿勢を求める為の作業のフローチャートである。

発明を実施するための最良の形態

[0041] 以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。

[0042] [第 1の実施形態]

本実施形態では、上記ビジョンベースマーカキャリブレーションに従って、複数の指標が配された現実空間の画像を用いて、それぞれの指標の配置関係を求める。なお、これらの指標は MRや ARの技術分野で用いられているように、現実空間と仮想空間の間の位置合わせを行う際に用いるものである。 [0043] 本実施形態では上記指標の配置位置姿勢を求めるために、「橋渡し指標」なるものを新たに現実空間中に配置する。また、本実施形態では「指標」として「マーカ」を用いるものとする。また、以下では橋渡し指標ではない指標を、橋渡し指標と区別するために「位置合わせ用マーカ」と呼称し、橋渡し指標を「橋渡しマーカ」と呼称する。また、以下の説明で単に「マーカ」と呼称する場合には、位置合わせ用マーカ、橋渡しマーカの両方を含むものとする。

[0044] なお、以下の実施形態では、位置合わせ指標として、人工的に配置したマーカを用いて説明するが、もともと現実世界に存在する自然特徴を指標を用いても構わない。一方、橋渡しマーカは、マーカキャリブレーションのためにユーザが人工的に配置する指標であるので、人工的に配置された指標である。

[0045] 図 2A〜2Cは、現実空間中に配される様々なマーカを示す図である。図 2Aは点指標を示しており、各指標は、現実空間を撮像したことにより得られる画像において識別、検出できるように、それぞれ異なる色を有していると共に、全て円形形状を有している。また、画像における点マーカの位置としては、画像における点マーカの領域の重心位置を用いる。

[0046] 図 2B、 2Cはそれぞれ多角形の指標を示すものであり、図 2Bは三角形のマーカ、図 2Cは四角形のマーカを示す。多角形指標は画像上で容易に検出可能なように色枠で囲まれているので、枠内部を指標であるとする。さらに多角形内部にはそれぞれに異なるパターンが埋め込まれており、例えば内部をテンプレートマッチングすることなどによりそれぞれの指標内部に配されたマーカ固有のパターンを特定することができるので、これにより、それぞれのマーカを識別することができる。

[0047] 本実施形態では位置合わせ用マーカ、橋渡しマーカの何れにどのようなマーカを用いても良いのである力位置合わせ用マーカとして用いるマーカ、橋渡しマーカとして用いるマーカを決めると、それぞれのマーカについての情報を後述するコンビュータ内に登録しておく必要がある。

[0048] ここで更に、橋渡しマーカについて説明する。橋渡しマーカは、一方の画像における位置合わせ用マーカと、他方の画像における位置合わせ用マーカとの配置関係を求めるために、現実空間中に配されるものであり、その機能は換言すると、一方の画像における位置合わせ用マーカが属する座標系 Aと、他方の画像における位置合わせ用マーカが属する座標系 Bとの位置姿勢関係を求めるためのものである。この機能を実現するためには、橋渡しマーカの座標系 Aにおける位置姿勢、座標系 Bにおける位置姿勢を算出することが必要となる。ここで、同一直線上に並ばない識別可能な 3点が与えられるマーカ（例えばそれぞれの頂点が識別できる三角形指標)であれば、位置姿勢は求めることができる。

[0049] また、「座標系 A、及び座標系 Bの双方において既知である平面上に、橋渡しマー力が存在する」という条件が与えられている場合には、橋渡しマーカは識別可能な 2 点のみの指標であっても、座標系 Aにおける位置姿勢および、座方形 Bにおける位置姿勢が算出可能である。よって、橋渡しマーカは識別可能な特徴点を 2つ有する形状であってもよい。本実施形態では、特別な拘束条件がなくても橋渡しマーカとして利用できるように、向きが識別できる三角形指標を橋渡しマーカとして用いる。

[0050] 図 3は、本実施形態に係るシステムの機能構成を示す図である。

[0051] 撮影部 310は、現実空間の画像を撮像するカメラとして機能するものである。なお、撮影部 310は、現実空間の静止画像を複数回に分けて撮像するタイプのものであつても良、し、現実空間の動画像を撮像するタイプのものであっても良、。

[0052] 撮影位置姿勢計測部 330は、撮影部 310に取り付けられ、撮影部 310の位置姿勢を計測し、計測結果を指標検出同定部 340に出力する。。例えば撮影位置姿勢計測部 330が磁気センサである場合には、磁気の発信源の位置を原点とし、この原点で互いに直交する 3軸をそれぞれ x、 y、 z軸とする座標系（センサ座標系）における自身の位置姿勢を計測する。なお、撮影位置姿勢計測部 330に適用可能なセンサは磁気センサに限定されず、例えば光センサなど他の方式のセンサを適用することも可能である。さらには、 6自由度を計測するセンサではなぐ姿勢のみの 3自由度を計測するジャイロなどを適用することも可能である。

[0053] 撮影映像取り込み部 320は、撮影部 310が撮像した画像を取り込み、指標検出同定部 340に出力する。

[0054] 指標検出同定部 340は、撮影映像取り込み部 320から受けた画像に含まれているそれぞれのマーカ (位置合わせ用マーカ、橋渡しマーカを含む）の画像座標値を検出する処理を行うと共に、それぞれのマーカを一意に識別する処理を行う。マーカの識別は、指標情報管理部 370に登録されている各マーカに固有の情報を用いれて行う。そして、識別したマーカ iの識別子、マーカ iの画像上における画像座標値、この画像固有の識別子 (例えばフレーム番号)、そして撮影位置姿勢計測部 330から受けた撮影部 310の位置姿勢情報をセットにして、マーカキャリブレーション部 360 に出力する。そしてこのような処理を撮影映像取り込み部 320から受けた画像毎に行

[0055] マーカキャリブレーション部 360は、現実空間中に配されたそれぞれの位置合わせ用マーカの配置情報 (配置位置または配置位置姿勢)を求める処理を行う。そして位置合わせ用マーカ iの配置情報を求めると、求めた配置情報と、この位置合わせ用マ一力 iを識別するための識別子をセットにして指標情報管理部 370に登録する。

[0056] マーカキャリブレーション部 360は、位置合わせ用マーカの配置情報を求めるために、位置合わせ用マーカおよび橋渡しマーカの双方を利用して、例えば、バンドル調整法などを使用してマーカの配置情報を算出する。すなわち、位置合わせ用マー力と橋渡しマーカとを特に区別することなく利用することで、位置合わせ用マーカ iのは位置情報を算出する。

[0057] 操作入力部 350は、撮影位置姿勢計測部 330、撮影映像取り込み部 320指標検出同定部 340に対する動作指示を入力するものであり、撮影位置姿勢計測部 330、撮影映像取り込み部 320、指標検出同定部 340は操作入力部 350からの動作指示を受けると動作する。

[0058] 指標情報管理部 370には、上述のように、各マーカを識別するための情報 (各マー力について、マーカに固有の識別子、マーカの形状、マーカ内部の特徴 (枠内に記載された文字、記号等)、マーカの種類情報 (位置合わせマーカ、橋渡しマーカ)）がが登録されている。そして、マーカキャリブレーション部 360から出力された位置合わせ用マーカの配置情報と、この位置合わせ用マーカを識別するための識別子とのセットが登録される。

[0059] 指標情報設定部 390は、マーカキャリブレーション部 360によって更新された指標情報から、マーカの種類情報を用いて橋渡しマーカの情報を削除し、 MRや ARにおける位置合わせに必要な指標情報を生成し、設定する。橋渡しマーカは、マーカキヤリブレーシヨン時は配置される力 MRや ARを体験する際は削除される。したがつて、 MRや AR実行時の位置合わせ処理では橋渡しマーカの情報は不必要である。本実施形によれば、指標情報設定部 390において橋渡しマーカの情報を自動的に削除することができるので、ユーザの負荷を軽減することができる。

[0060] 表示オブジェクト生成'表示部 380は、マーカキャリブレーション部 360が指標情報管理部 370に登録したセットのデータおよび孤立点マーカチェック結果を表示する。表示形態にっ、ては特に限定するものではな、。

[0061] 図 6は、上記操作入力部 350、映像取り込み部 320、指標検出同定部 340、マーカキャリブレーション部 360、指標情報管理部 370、表示オブジェクト生成'表示部 380 のそれぞれの機能を有するコンピュータの基本構成を示すブロック図である。

[0062] 601は CPUで、 RAM602や ROM603に格納されているプログラムやデータを用いて本コンピュータ全体の制御を行うと共に、コンピュータが行う後述の各処理を実行する。

[0063] 602は RAMで、外部記憶装置 606からロードされたプログラムやデータを一時的に記憶する為のエリアを備えると共に、 CPU601が各処理を実行する際に用いるヮークエリアを備える。

[0064] 603は ROMで、本コンピュータの設定データや、ブートプログラムなどを格納する

[0065] 604は操作部で、キーボードやマウスなどにより構成されており、本コンピュータの操作者が操作することで各種の指示を CPU601に対して入力することができる。

[0066] 605は表示部で、 CRTや液晶画面などにより構成されており、 CPU601による処理結果を画像や文字などでもって表示することができる。

[0067] 606は外部記憶装置で、ハードディスクドライブ装置などの大容量情報記憶装置として機能するものであり、ここに OS (オペレーティングシステム）や、 CPU601に本コンピュータが行う後述の各処理を実行させるためのプログラムやデータ等が保存されており、これらの一部若しくは全部は CPU601による制御に従って RAM602にロードされ、 CPU601による処理対象となる。 [0068] 607は IZFで、ここに上記撮影部 310や撮影位置姿勢計測部 330を接続すること力 Sでき、撮影部 310が撮影した画像、撮影位置姿勢計測部 330が計測した撮影部 3 10の位置姿勢情報はこの IZF607を介して本コンピュータに入力される。

[0069] 608は上述の各部を繋ぐバスである。

[0070] 次に、現実空間中に配されたそれぞれの位置合わせ用マーカの配置位置姿勢を求める為の作業について、この作業のフローチャートを示す図 7を用いて以下説明する。同図のフローチャートにおいて、ステップ S701における処理は上記構成を有するコンピュータが行うのである力それ以外のステップにおける処理 (作業）は、人が行うものである。

[0071] 先ず、マーカキャリブレーション処理（図 4のステップ S410〜ステップ S450の処理に対応する）を上記コンピュータによって行う（ステップ S701)。

[0072] そしてステップ S701のマーカキャリブレーション結果、孤立点（孤立マーカ）となつている位置合わせ用マーカが残っているか否かをチェックする（ステップ S 702)。さらに、チェック結果を表示する。具体的には、登録したセットデータの表示において、孤立点マーカを区別するような表示 (色づけ、マーカ付け）を行う。ユーザは、この表示を確認することにより、孤立マーカを簡単に把握することができる。

[0073] ここで、橋渡しマーカは孤立マーカであるかどうかの判断の対象にはしない。その理由は、橋渡しマーカは位置合わせ用マーカの配置情報を算出するために補助的に利用されるものであり、 AR体験時には利用しない指標であることから、孤立マーカであっても問題な!/、ためである。

[0074] 孤立マーカとは、座標系を共通化できていない位置合わせ用マーカである。例えば、図 1の場合は、マーカキャリブレーションにおいて、マーカ 101aおよびマーカ 10 lbが第 1の座標系で定義され、マーカ 102aおよびマーカ 102bが第 2の座標系で定義される。この場合、第 1の座標系と第 2の座標系は独立した座標系となるので、第 1 の座標系を基準として考えた場合、第 2の座標系で定義されているマーカ 102aおよびマーカ 102bは孤立マーカと判断される。これに対して、図 5に示される場合は、マ一力 101a、マーカ 101b、マーカ 102a、マーカ 102bおよびマーカ 505が同一の座標系で定義される。よって、図 5に示される場合は、孤立マーカは無しと判断される。 [0075] 位置合わせ用マーカにおいて、孤立マーカとなるものが残っている場合には、現実空間の画像の枚数が少ない、又は橋渡しマーカが不足していることが原因であるので、孤立マーカが孤立していないマーカと結びつけられるように、橋渡しマーカをする (ステップ S 703)。そしてステップ S 701以降の作業を繰り返す。

[0076] 一方、孤立点となるものが残って、な、場合には、ステップ S703で配した橋渡しマ一力を排除する (ステップ S704)。

[0077] このように、マーカキャリブレーションを行うときにのみ橋渡しマーカを配し、マーカキャリブレーションが終わると橋渡しマーカは排除する。

[0078] 次に、上記構成を有するコンピュータが行うステップ S701における処理、即ち、現実空間中に配されたそれぞれの位置合わせ用マーカの配置位置姿勢を求める処理について、同処理のフローチャートを示す図 4を用いて説明する。なお、同図のフロ一チャートに従つた処理を CPU601に実行させるためのプログラムやデータは外部記憶装置 606に保存されており、これを CPU601の制御に従って RAM602にロードし、 CPU601がこれを用いて処理を実行することで、本コンピュータは以下説明する各処理を実行することになる。

[0079] 先ず、現実空間中に配した各マーカに関する情報を外部記憶装置 606に登録する（ステップ S410)。登録方法については例えば表示部 380の表示画面上に、現実空間中に配した各マーカに関する情報を登録するための GUIを表示し、操作者が操作部 604を操作して GUIを介して各マーカに関する情報を入力する。そして操作者の操作により操作部 604から入力完了の指示が入力されると、ステップ S410で CPU 601はこれを検知し、 GUIを介して入力された各マーカに関する情報を外部記憶装置 606に登録する。

[0080] ここで、各マーカに関する情報としては、マーカに固有の識別子 (例えば ID)、マー力の形状、マーカ内部の特徴 (枠内に記載された文字、記号等）、マーカの種類情報 (位置合わせマーカ、橋渡しマーカ）があり、これらのセットを、現実空間中に配された各マーカにつ、て外部記憶装置 606に登録する。

[0081] 図 4に戻って次に、操作部 604からの動作指示入力を受け付け (ステップ S420)、現実空間を撮像する旨の指示を検知した場合には処理をステップ S430に進め、撮影部 310から入力される画像を一端 RAM602に格納し (ステップ S430)、この画像に含まれている各マーカを識別すると共に、各マーカの画像における座標位置を特定する処理を行う（ステップ S440)。

[0082] なお、マーカの識別結果 (識別したマーカの識別子）、このマーカの画像座標値、、そして撮影位置姿勢計測部 330から取得される撮影部 310の (おおよその)位置姿勢情報は、対応づけられて検出情報として外部記憶装置 606に登録される (ステップ S445)。これにより、ステップ S430で取得した画像に含まれるそれぞれのマーカについて検出情報を外部記憶装置 606に登録することができる。

[0083] そして処理をステップ S420に戻し、次の動作指示を待つ。一方、ステップ S420において現実空間の撮影を終了し、以下説明するマーカキャリブレーションを行う旨の動作指示が操作部 604を介して入力されたことを CPU601が検知した場合には処理をステップ S450に進め、現実空間中に配されたそれぞれの位置合わせ用マーカの配置情報を求める。所謂以下説明するマーカキャリブレーション処理を行う（ステツプ S450)。

[0084] この処理を行うためには、、撮影位置姿勢計測部 330から取得された撮影部 310 の（おおよその)位置姿勢情報を用いる。この「位置姿勢」は、世界座標系（現実空間中の 1点を原点とし、この原点でもって互いに直交する 3軸をそれぞれ x、 y、 zとする座標系）におけるものでも良いし、その計算内容に応じて適宜どのような座標系に変換しても良い。

[0085] マーカキャリブレーション処理では得られたそれぞれのマーカの識別結果 (識別したマーカの識別子)、画像座標値、この画像の撮影時における撮像装置の位置姿勢情報のセットを用いて、例えばバンドル調整によって、このそれぞれのマーカの配置位置姿勢を求める処理が行われ、結果が指標情報管理部 470に送られる。

[0086] 図 5は、位置合わせ用マーカに加えて橋渡しマーカを配した現実空間を 2つの位置姿勢から撮像する場合に、 2つの撮像画像内に同一の橋渡しマーカが撮影されている様子を示す図である。なお、同図において図 1と同じ部分については同じ番号を付けており、その説明は省略する。

[0087] 同図に示す如ぐカメラ 101とカメラ 102とはそれぞれ橋渡しマーカ 505を共有して撮像画像 501, 502を得る。なお、カメラ 101とカメラ 102は異なるカメラを用いても撮影しても構わない。

[0088] そしてこのような処理によって得られたそれぞれのマーカの識別子とマーカの配置位置姿勢とをセットにして外部記憶装置 606に登録する処理を行う。

[0089] このようにして、現実空間中に配された位置合わせ用マーカの配置位置姿勢を求めることができる。

[0090] 以上の説明により、本実施形態によって、位置合わせ用マーカの配置位置姿勢を求める際に、位置合わせ用マーカの数が少なぐ疎である場合には、このような橋渡しマーカを配置することで、位置合わせ用マーカの配置位置を算出することができる。なお、橋渡しマーカは、位置合わせ用マーカの配置を算出するときにだけ配置 Z 投影され、 MR体験時には排除されるため、景観をそこなうという問題も起こらない。

[0091] 本実施形態では、位置合わせ用マーカと橋渡し用マーカとを区別するために、指標情報としてマーカの種類情報を用いた。しかしながら、他の方法を用いて位置合わせ用マーカと橋渡し用マーカとを区別しても構わない。例えば、橋渡し用マーカに対して、位置合わせ用マーカとは異なる特有の形状のマーカを使用しても構わない。また、、位置合わせ用マーカおよび橋渡しマーカの双方を同じ形状のマーカ（例えば三角形マーカ）で定義し、双方の区別を IDで行なうようにすることも可能である。このように、コンピュータ内に位置合わせ用マーカと橋渡しマーカを区別して登録できる実施形態であればどのような形態であってもよい。

[0092] [変形例 1]

本変形例では、第 1の実施形態の変形例として、第 1の実施形態とは異なる方法でもって、マーカキャリブレーション処理を行う例を説明する。即ち、本実施形態に係るマーカキャリブレーション処理では先ず、任意の 1つの画像（以下、この画像を基準画像と呼称する）に含まれて、るそれぞれのマーカの画像座標値を用いて例えば上記バンドル調整によって、このそれぞれのマーカの配置位置姿勢 (および画像撮影時の撮影部 310の位置姿勢)を求める処理を行う。

[0093] ここで配置位置姿勢を求めた位置合わせ用マーカの 1つを以下、「第 1の位置合わせ用マーカ」と呼称する。また、基準画像内には橋渡しマーカも含まれているので、この橋渡しマーカの配置位置姿勢も当然求まっている。ここで、基準画像に含まれている橋渡しマーカを以下「基準橋渡しマーカ」と呼称する。また、第 1の位置合わせ用マ一力の配置位置姿勢と基準画像力求めた基準橋渡しマーカの配置位置姿勢との配置位置関係を T1とする。

[0094] 次に、この基準橋渡しマーカを含む他の画像 (以下、別画像と呼称）に含まれて!/ヽるそれぞれの位置合わせ用マーカの配置位置姿勢を求める場合には以下の処理を行う。先ず、他画像に含まれているそれぞれのマーカの画像座標値を用いて例えば上記バンドル調整によって、このそれぞれのマーカの配置位置姿勢を求める。しかし、求めた配置位置姿勢は、この他画像内に含まれているマーカが従った座標系によるものである。本実施形態では全ての位置合わせ用マーカの配置位置姿勢を、上記第 1の位置合わせ用マーカが属する座標系（以下、基準座標系）に従ったものに統一する。

[0095] よってこの場合、別画像から求めた位置合わせ用マーカの配置位置姿勢と、他画像における基準橋渡しマーカとの配置位置姿勢関係に上記 T1を示す行列の逆変換行列でもって補正すればよい。これにより、別画像から求めた位置合わせ用マーカの配置位置姿勢は、上記基準座標系に従ったものとなり、これにより、別画像から求めた位置合わせ用マーカと第 1の位置合わせ用マーカとの配置位置姿勢関係を求めることができる。

[0096] そして、このような処理を各画像について行うことで、上記第 1の位置合わせ用マー力の属する座標系における、それぞれの位置合わせ用マーカの配置位置姿勢を求めることができる。

[0097] よって、このような処理を行うためには、それぞれの撮像画像は、ある画像に含まれて!、る 1以上の橋渡しマーカのうち 1以上は必ず何れかの画像に含まれて、るように撮像する必要がある。

[0098] [その他の実施形態]

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプロダラムコードを記録した記録媒体 (または記憶媒体)を、システムある!/、は装置に供給し、そのシステムあるいは装置のコンピュータ（または CPUや MPU)が記録媒体に格納されたプログラムコードを読み出し実行することによつても、達成されることは言うまでもない。この場合、記録媒体力読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

[0099] また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなぐそのプログラムコードの指示に基づき、コンビユータ上で稼働して、るオペレーティングシステム（OS)などが実際の処理の一部または全部を行！ヽ、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもな!/、。

[0100] さらに、記録媒体力も読み出されたプログラムコード力コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ュニットに備わる CPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

[0101] 本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

[0102] 本発明は上記の実施の形態に制限されるものではなぐ本発明の精神及び範囲から離脱することなぐ様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。

[0103] 本願は、 2005年 2月 2日提出の日本国特許出願特願 2005— 026879を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。

Claims

請求の範囲

[1] 移動可能な撮像装置により現実空間内の複数の指標を撮像することによって、指標間の相対的配置関係を計測する方法において、現実空間内のある第 1の領域に存在する第 1指標もしくは指標群と、第 2の領域に存在する第 2指標もしくは指標群と力相対的な配置関係を計測できるに足りる条件で撮像できない配置または条件にある場合であっても、第 1の領域に存在する第 1指標もしくは指標群と、第 2の領域に存在する第 2指標もしくは指標群との間の相対的な配置関係を計測する指標配置計測方法であって、

を備えることを特徴とする指標配置計測方法。

[2] 移動可能な撮像装置により現実空間内の複数の指標を撮像することによって、指標間の相対的配置関係を計測する方法において、現実空間内のある第 1の領域に存在する第 1指標もしくは指標群と、第 2の領域に存在する第 2指標もしくは指標群と力相対的な配置関係を計測できるに足りる条件で撮像できない配置または条件にある場合であっても、第 1の領域に存在する第 1指標もしくは指標群と、第 2の領域に存在する第 2指標もしくは指標群との間の相対的な配置関係を計測する指標配置計測方法であって、

前記第 1指標 Z指標群の一部または全部と一時的に現実空間内に配置された 3次元空間における位置および姿勢が定義可能な補助指標との双方が同時に映るように撮像する第 1の撮像工程と、第 1の撮像工程を 1回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、第 1指標 Z指標群と補助指標との相対的な配置関係を算出する第 1の配置算出工程と、

を備えることを特徴とする指標配置計測方法。

[3] 前記補助指標の視覚的特徴は予め定められたものであることを特徴とする請求項 1 に記載の指標配置計測方法。

[4] 前記補助指標は、前記現実空間に配されたそれぞれの指標の配置関係を求めた後は除去されるものであることを特徴とする請求項 1に記載の指標配置計測方法。

[5] 前記補助指標は、物理的に配置、もしくは現実空間内のある表面に対して投影機により投影することによって光学的に配置された補助マーカであることを特徴とする請求項 1に記載の指標配置計測方法。

[6] 移動可能な撮像装置の位置および Zまたは姿勢を、現実空間に存在する指標を基に推定する位置姿勢推定方法であって、

第 1の配置算出工程と第 2の配置算出工程の結果から、前記第 1指標 Z指標群と前記第 2指標 Z指標群との相対的配置関係を算出する第 2の配置算出工程と、前記補助指標を利用せず、前記第 1指標 Z指標群と前記第 2指標 Z指標群の配置を利用して、前記撮像装置の位置姿勢を推定する撮像装置位置姿勢推定工程とを備えることを特徴とする位置姿勢推定方法。

[7] 移動可能な撮像装置により現実空間内の複数の指標を撮像することによって、指標間の相対的配置関係を計測する方法において、現実空間内のある第 1の領域に存在する第 1指標もしくは指標群と、第 2の領域に存在する第 2指標もしくは指標群と力相対的な配置関係を計測できるに足りる条件で撮像できない配置または条件にある場合であっても、第 1の領域に存在する第 1指標もしくは指標群と、第 2の領域に存在する第 2指標もしくは指標群との間の相対的な配置関係を計測する指標配置計測装置であって、

を備えることを特徴とする指標配置計測装置。

[8] 移動可能な撮像装置により現実空間内の複数の指標を撮像することによって、指標間の相対的配置関係を計測する方法において、現実空間内のある第 1の領域に存在する第 1指標もしくは指標群と、第 2の領域に存在する第 2指標もしくは指標群とが、相対的な配置関係を計測できるに足りる条件で撮像できない配置または条件にある場合であっても、第 1の領域に存在する第 1指標もしくは指標群と、第 2の領域に存在する第 2指標もしくは指標群との間の相対的な配置関係を計測する指標配置計測装置であって、

を備えることを特徴とする指標配置計測装置。

移動可能な撮像装置の位置および Zまたは姿勢を、現実空間に存在する指標を基に推定する位置姿勢推定装置であって、

第 1の撮像手段による撮像を 1回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、前記第 1指標 Z指標群と補助指標との相対的な配置関係を算出する第 1の配置算出手段と、第 2指標 Z指標群の一部または全部と前記補助指標との双方が同時に映るように撮像する第 2の撮像手段と、

第 1の配置算出手段と第 2の配置算出手段の結果から、前記第 1指標 Z指標群と前記第 2指標 Z指標群との相対的配置関係を算出する第 2の配置算出手段と、前記補助指標を利用せず、前記第 1指標 Z指標群と前記第 2指標 Z指標群の配置を利用して、前記撮像装置の位置姿勢を推定する撮像装置位置姿勢推定手段とを備えることを特徴とする位置姿勢推定装置。

[10] コンピュータに請求項 1に記載の指標配置計測方法を実行させることを特徴とするプログラム。

[11] コンピュータに請求項 6に記載の位置姿勢推定方法を実行させることを特徴とするプログラム。

[12] 請求項 10に記載のプログラムを格納したことを特徴とする、コンピュータ読み取り可能な記憶媒体。