JP2003281504A

JP2003281504A - 撮像部位置姿勢推定装置及びその制御方法並びに複合現実感提示システム

Info

Publication number: JP2003281504A
Application number: JP2002081251A
Authority: JP
Inventors: Kazuki Takemoto; 和樹武本; Shinji Uchiyama; 晋二内山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-03-22
Filing date: 2002-03-22
Publication date: 2003-10-03

Abstract

(57)【要約】【課題】複数の位置姿勢推定方法を動的に切り替え可
能な撮像部位置姿勢推定装置及びその制御方法を提供す
ること。【解決手段】３次元空間内に位置する撮像手段の位置
姿勢を推定し、位置姿勢情報として出力する撮像部位置
姿勢推定装置であって、撮像手段の位置姿勢を互いに異
なる方法で推定する、２つ以上の推定手段と、推定手段
を動的に選択する選択手段とを備え、選択手段で選択さ
れた推定手段による推定結果を前記位置姿勢情報として
出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えばＨＭＤに取
り付けられ、３次元空間中を移動する撮像装置の位置姿
勢を推定する撮像部位置姿勢推定装置及びその制御方法
に関する。

【０００２】

【従来の技術】現実空間を撮像する撮像部（ビデオカメ
ラ等）の外部パラメータ（位置姿勢）を計測、決定する
方法において、

【０００３】（１）画像情報のみによる推定方法（例えば、加藤，Ｍａｒｋ，浅野，橘：「マーカ追跡に
基づく拡張現実感システムとそのキャリブレーショ
ン」，日本バーチャルリアリティ学会論文集 Vol.4No.
4, pp.607-616,1999に記載。以下第１文献と呼ぶ）、（２）６自由度位置姿勢センサと画像とのハイブリッド
な推定方法

【０００４】（例えば特開平１１−１３６７０６号公
報、特開２０００−３４７１２８号公報に記載）（３）画像と加速度センサのハイブリッドな推定方法（例えば、横小路，菅原，吉川：「画像と加速度計を用
いたＨＭＤ上での映像の正確な重ね合わせ」，日本バ
ーチャルリアリティ学会論文集 Vol.4 No.4, pp.589-5
98,1999）（４）ジャイロセンサと画像とのハイブリッドな位置合
わせなどの推定方法（例えば、藤井，神原，岩佐，竹村，横矢：「拡張現実
のためのジャイロセンサを併用したステレオカメラによ
る位置合わせ」，信学技報 PRMU99-192, January 20
00、以下第２文献と呼ぶ）等が知られている。また、画
像による位置合わせや、６自由度センサと画像のハイブ
リッドな方法では、さらに手法の異なる様々な方法があ
る。

【０００５】

【発明が解決しようとする課題】しかし、上に挙げた従
来の方法は、それぞれ得意とする環境や場面が異なり、
ある特定の環境内においても、場面によっては相補的な
関係にある場合がありえる。しかし、それぞれの方法は
独立した処理を前提としており、場面に応じて様々な手
法を動的に切り替えて用いることは想定されていなかっ
た。具体的な例を挙げれば、（２）の、６自由度センサ
の１種である磁気センサと画像情報とのハイブリッドな
推定方法を使用する場合に、計測対象である撮像部が磁
気センサの計測範囲外に出た場合には、画像情報のみに
よる推定方法に切り替えるような処理ができない、とい
う状況が挙げられる。

【０００６】本発明は、このように、場面に応じて様々
な推定方法を動的に切り替えることができないという従
来技術の問題点に鑑みてなされたものであり、位置姿勢
の計測対象である撮像部が存在する状況に応じて、複数
の位置姿勢推定方法を動的に切り替え可能な撮像部位置
姿勢推定装置及びその制御方法を提供することを目的と
する。本発明を用いれば、その場その場で望ましい推定
方法をユーザが能動的に選択する、または装置が状況に
応じて自動的に選択することが可能になり、従来よりも
広範囲な空間において撮像部の位置姿勢を推定すること
が可能である。本発明において選択対象となる方法は、
カメラの位置姿勢を推定する方法であれば、如何なる方
法であっても良い。

【０００７】

【課題を解決するための手段】すなわち、本発明の要旨
は、３次元空間内に位置する撮像手段の位置姿勢を推定
し、位置姿勢情報として出力する撮像部位置姿勢推定装
置であって、撮像手段の位置姿勢を互いに異なる方法で
推定する、２つ以上の推定手段と、推定手段を動的に選
択する選択手段とを備え、選択手段で選択された推定手
段による推定結果を位置姿勢情報として出力することを
特徴とする撮像部位置姿勢推定装置に存する。

【０００８】また、本発明の別の要旨は、請求項１乃至
請求項９のいずれか１項に記載の撮像部位置姿勢推定装
置と、撮像部位置姿勢推定装置から得られる位置姿勢情
報を用いて仮想空間画像を生成し、撮像部が撮像した画
像と合成して複合現実感画像を生成する複合現実感画像
生成手段と、複合現実感画像を撮像部を装着するユーザ
に提示する提示手段を有することを特徴とする複合現実
感提示システムに存する。

【０００９】また、本発明の別の要旨は、３次元空間内
に位置する撮像手段の位置姿勢を、互いに異なる方法で
推定する２つ以上の推定手段を選択的に用いて推定し、
位置姿勢情報として出力する撮像部位置姿勢推定装置の
制御方法であって、推定手段を動的に選択する選択ステ
ップと、選択ステップで選択された推定手段による推定
結果を位置姿勢情報として出力する出力ステップとを有
することを特徴とする撮像部位置姿勢推定装置の制御方
法に存する。

【００１０】また、本発明の別の要旨は、本発明の撮像
部位置姿勢推定装置の制御方法をコンピュータ装置に実
行させることを特徴とするコンピュータプログラムに存
する。

【００１１】また、本発明の別の要旨は、本発明のコン
ピュータプログラムを格納したことを特徴とするコンピ
ュータ装置読みとり可能な記憶媒体に存する。

【００１２】

【発明の実施の形態】＜第１の実施形態＞以下、添付図
面を参照して、本発明をその好適な実施形態に基づき詳
細に説明する。以下の説明においては、ビデオシースル
ー(Video See-Through)型のヘッドマウントディスプレ
イ（ＨＭＤ）を用いた複合現実感提示システムに、本発
明の実施形態に係る撮像部位置姿勢推定装置を適用した
場合について説明する。

【００１３】本発明の撮像部位置姿勢推定装置により、
ビデオシースルー型のＨＭＤに取り付けた撮像部（以
降、特に断らない限り「撮像部」という言葉は左右一対
のカメラをまとめて表す）の位置姿勢を推定することに
より、ユーザが複合現実感(Mixed Reality:MR)空間をよ
り広範囲な空間において体験できる。

【００１４】複合現実感提示システムとは、現実空間の
画像とコンピュータグラフィックス等の非現実空間（仮
想空間）画像を合成した複合現実空間（ＭＲ空間）を、
ユーザ（観察者）に提示するシステムである。なお、Ｍ
Ｒ技術についての情報は、例えばhttp://www.mr-syste
m.co.jp/whatsmr/index_j.html/から得ることができ
る。

【００１５】ＭＲ空間を表現するためには、現実空間を
撮像する撮像部の現実空間上での位置姿勢を推定するこ
とが不可欠である。これは、仮想物体（仮想空間画像）
を現実空間上の位置に合わせて描画するには、撮像部の
現実空間上での位置姿勢から見た仮想物体の画像を生成
しなければならないからである。仮想物体は世界座標系
上で定義されているために、ビューイング変換行列と呼
ばれる変換行列により、世界座標系から撮像部を中心と
する座標系であるカメラ座標系に変換する必要がある。
カメラ座標系に変換された仮想物体を描画することによ
って現実空間の位置と合った画像を生成できる。つま
り、撮像部の位置姿勢を表すビューイング変換行列を推
定できれば、この撮像部によって撮像した現実空間の画
像と、推定したビューイング変換行列を用いて生成した
仮想空間画像とを合成することにより、適切なＭＲ空間
を表現する複合現実感映像（画像）を生成することがで
きる。

【００１６】本実施形態に係る撮像部位置姿勢推定装置
では、従来の技術で挙げた第１文献（画像情報のみから
推定する方法）、第２文献（画像とジャイロセンサを利
用して推定する方法）、特開平１１−１３６７０６号公
報（画像と６自由度センサを利用して推定する方法）に
て述べられている具体的な推定方法を、撮像部の存在す
る状況に応じて切り替えて用いることにより、これら推
定方法を単独で利用するよりも広範囲な領域において適
切なＭＲ空間画像を生成可能とした例を説明する。な
お、上で述べたように、本発明に係る撮像部位置姿勢推
定装置は、任意数かつ任意の推定方法を選択的に切り替
えて使用することが可能であり、以下に説明する実施形
態はその一例に過ぎない。

【００１７】まず、本実施形態に係る撮像部位置姿勢推
定装置が用いる３つの撮像部の位置姿勢推定方法につい
て順に説明し、その後、切り替えに係る構成及び処理に
ついて説明する。なお、以下に説明する推定方法の詳細
については、それぞれ、第１文献、第２文献、特開平１
１−１３６７０６公報を参照されたい。

【００１８】＜方法１：６自由度位置姿勢センサと画像
とのハイブリッドな推定方法＞はじめに、特開平１１−
１３６７０６号公報に記載される、６自由度位置姿勢セ
ンサと画像情報とを用いてハイブリッドに撮像部の位置
姿勢を推定する方法について、図４、図７を用いて説明
する。

【００１９】ここで、６自由度位置姿勢センサとは、Po
lhemus社の3SPCACE FASTRAKやAssension Technology社
のFlock of Birdsなどの磁気センサ、または、Northern
Digital社のOPTOTRAKなどの光学式センサなど、計測対
象の位置と姿勢を計測する機器を指す。この６自由度位
置姿勢センサは、ＨＭＤに固定されている。また撮像部
もＨＭＤに固定して取り付けられていることから、６自
由度センサの計測値から撮像部の位置姿勢が計測でき
る。この撮像部の位置姿勢からビューイング変換行列を
生成して現実空間画像と仮想空間画像を合成した場合、
センサの誤差が原因となって画像上での位置ずれが生じ
る。例えば、磁気センサを用いた６自由度位置姿勢セン
サの測定値は周囲の磁場に影響されるので、計測部近辺
に金属物質があると誤差が大きくなり、結果として画像
の位置ずれ量も増える。

【００２０】このような状況に鑑みて特開平１１−１３
６７０６号公報では、画像情報を用いて、６自由度セン
サ誤差を補正する方法を述べている。この方法では、現
実空間にマーカと呼ばれる、画像処理によって検出しや
すい特定の色や形状を有する物体、例えばシールを、現
実空間中の物体に貼り付けてランドマーク（絶対位置基
準）として利用する。また、マーカとしては特別に配置
したもの以外にも、現実空間中の特徴的な物体や点を利
用することも可能である。

【００２１】図４は画像と６自由度センサを用いた撮像
部位置姿勢推定部１７０Ａの構成例を示すブロック図で
ある。位置姿勢計測部４１０は、ユーザ頭部に装着され
たＨＭＤ１００に組み込まれた左右一対のカメラからな
る撮像部１１０の位置姿勢を計測する６自由度センサの
計測値の受信処理を行う。一方で、マーカ検出部４２０
では、撮像画像の取得部１５０から撮像部１１０で撮像
した画像を取得し、その画像からマーカ２２０Ａを検出
して、観測座標での２次元位置（ｘ０，ｙ０）を得る。
マーカ２２０Ａの検出方法は特に限らないが、例えば以
下のような例が挙げられる。現実空間に赤色マーカ２２
０Ａを配置し、それを撮像部１１０によって撮像した画
像から検出する場合は、画像中の注目画素値（Ｒ，Ｇ，
Ｂ）の特徴量ｌ_Sをｌ_S＝Ｒ／（（Ｇ＋Ｂ）／２）
（式１）として求め、特徴量Ｉｓがあらかじめ指定した
閾値を超えた場合は、注目画素がマーカ領域内であると
判定する。これを、画像中の全画素に対して適応し、検
出されたマーカ領域は、個々にラベル付けされる。ラベ
ル付けされた領域の重心位置をマーカ２２０Ａの２次元
位置とし、観測座標のマーカ位置（ｘ０，ｙ０）が算出
される。このようにして得られたマーカ２２０Ａの２次
元位置と撮像部１１０の位置姿勢計測値を位置姿勢推定
部４３０に入力する。

【００２２】図７は位置姿勢推定部４３０で行われる処
理の概要を示す図である。まず、位置姿勢計測部４１０
より入力された計測値から、カメラ（撮像部１１０）の
ビューイング変換行列Ｍ_Cを生成する（ステップＳ７０
０）。さらに、ビューイング変換座標Ｍ_Cと既知である
世界座標系上での各マーカの３次元位置と、撮像部１１
０の理想的透視変換行列から、各マーカの観測座標予測
値を算出する（ステップＳ７１０）。

【００２３】そして、ステップＳ７２０において、マー
カ検出部４２０から渡されたマーカ位置情報（２次元観
測座標）に基づいて、現在観測しているマーカ、すなわ
ち補正の基準となるマーカを判別する。ステップＳ７３
０では、ステップＳ７１０で演算されたマーカの観測座
標予測値とマーカ検出部４２０が検出したマーカの２次
元観測座標値との差異に基づいて、位置姿勢計測部４１
０によって得られた撮像部１１０の位置姿勢を表すビュ
ーイング変換行列Ｍ_Cを補正するための補正行列ΔＭ_Cを
求める。さらに、ステップＳ７４０において、ステップ
Ｓ７３０で求めた補正行列ΔＭ_CとステップＳ７００で
求めた計測値からのカメラのビューイング変換行列Ｍ_C
を積算することにより、補正後の視点のビューイング変
換行列Ｍ_C１を得ることができる。すなわち、Ｍ_C１＝
ΔＭ_C・Ｍ_C である。

【００２４】最後に、世界座標系で定義された仮想物体
の３次元データを、補正されたビューイング変換行列Ｍ
_C１を用いてカメラ座標系に変換することで、ＨＭＤを
装着したユーザの視点位置から見た仮想物体の画像を生
成できる。そして、撮像部１１０から入力される現実空
間の映像と仮想物体画像とを合成し、複合現実映像（以
降、ＭＲ画像と呼ぶ）を生成する。なお、仮想物体に関
するデータは不図示の外部メモリに格納されているもの
とする。生成されたＭＲ画像は、ＨＭＤ内の表示部（図
示せず）に出力される。このようして得られたＭＲ画像
をＨＭＤ１００を介してユーザに提示することにより、
ユーザはＭＲ空間を認識することができる。

【００２５】この手法においては、６自由度センサの計
測範囲内では高い精度にて現実空間と仮想空間の位置合
わせが行われるが、計測対象であるＨＭＤ１００に装着
された撮像部１１０がセンサの計測範囲を超えた場合
（例えば、センサが撮像部近傍に取り付けられた発信機
と離れた位置にある受信機とから構成され、その距離が
所定の範囲を超えた場合など）は、センサの誤差が許容
値を越えるため、マーカの判別処理に問題が生じ、正確
な位置合わせはできない。このようなことから、特開平
１１−１３６７０６号公報では、予め定めた測定範囲内
でセンサを使用することを前提としている。

【００２６】なお、撮像部位置姿勢推定部１７０Ａは例
えば汎用のコンピュータ装置から構成され、各部はソフ
トウェアを実行するＣＰＵ又は専用のハードウェアによ
って実現される。

【００２７】＜方法２：画像情報のみによる推定方法＞
次に、第１文献に記載されるような、撮影画像中の特徴
的な画像から撮像部の位置姿勢を求める方法について、
図５及び図８を用いて説明する。図５は、画像を用いた
撮像部位置姿勢推定部１７０Ｂの構成例を示すブロック
図である。基本的には、図４の構成から６自由度センサ
１２０Ａと位置姿勢計測部４１０を除いた構成を有す
る。また、使用するマーカ２２０Ｂとして、第１文献で
は白色のカード上に書かれた一辺８０ｍｍの黒色正方形
で、その内部に各マーカを識別するための４０ｍｍ四方
のパターンが与えられたものを例示している。各マーカ
２２０Ｂ内部のパターンにより、複数のマーカの取り扱
いを可能にしている。

【００２８】撮像画像の取得部１５０から、マーカ２２
０Ｂを含む撮像画像を受け、画像処理用マーカ検出部５
１０にてマーカ２２０Ｂの検出を行い、マーカ２２０Ｂ
の各頂点の観測座標系位置、テンプレートマッチング用
の画像を算出する。そして、それらの出力を位置姿勢推
定部５２０に入力し、撮像部１１０の位置姿勢を推定す
る。

【００２９】撮像部１１０の位置姿勢を推定する処理手
順を以下で述べる。まず、マーカ２２０Ｂを撮像部１１
０により撮像することで、まずマーカ２２０Ｂの３次元
位置姿勢が推定され、マーカ座標系の位置が求まり、マ
ーカ２２０Ｂからの撮像部１１０の推定位置姿勢が算出
される。ここで、マーカ座標系と世界座標系の位置関係
が既知であるとすると、世界座標系上での撮像部１１０
の位置姿勢を推定することが可能となる。つまりは、マ
ーカ２２０Ｂの３次元位置姿勢が求められれば、撮像部
１１０の位置姿勢を推定することが可能である。

【００３０】前述のマーカ２２０Ｂの３次元位置姿勢推
定は、マーカ座標系からカメラ座標系への変換行列Ｔ_cm
を推定する問題である。Ｔ_cmは回転移動成分Ｒ_3x3と平
行移動成分Ｔ_3x1から構成される。よって、回転移動成
分Ｒ_3x3と平行移動成分Ｔ_3x1を求めることが必要とな
る。

【００３１】図８は図５の画像処理用マーカ検出部５１
０と位置姿勢推定部５２０の処理を説明するフローチャ
ートである。まず、画像処理用マーカ検出部５１０で
は、マーカ２２０Ｂが撮像された画像を２値化処理し、
マーカ２２０Ｂが撮像されている領域（外接長方形）の
抽出を行う（ステップＳ８００）。また、ステップＳ８
００において、抽出領域内のテンプレートマッチング用
の撮像パターン画像を保存しておく。

【００３２】次に、抽出された領域情報からマーカ２２
０Ｂの各辺に対応する輪郭線データに最小２乗法で直線
当てはめを行い、各辺の線分に当てはまる直線の式を算
出する（ステップＳ８１０）。ステップＳ８２０におい
て、ステップＳ８１０にて算出した４つの直線の各交点
を求め、マーカ２２０Ｂの頂点の画像座標系上での２次
元座標値とする。画像処理用マーカ検出部５１０は、以
上の処理で得られたマーカ２２０Ｂの頂点座標値とテン
プレートマッチング用撮像パターン画像を位置姿勢推定
部５２０へ受け渡す。

【００３３】位置姿勢推定部５２０は、ステップＳ８３
０において、画像処理用マーカ検出部５１０がステップ
Ｓ８００にて求めたテンプレートマッチング用の撮像パ
ターン画像と、あらかじめ用意してあるテンプレートマ
ッチング用の画像を比較し、マーカ識別と、画像上にお
けるマーカ２２０Ｂの向きの判別を行う。

【００３４】ステップＳ８４０において、判別したマー
カ２２０Ｂの回転移動成分Ｒ_3x3を求める。まず、マー
カ２２０Ｂの４頂点（画像上の２次元位置）から、向か
い合う２辺の２直線の方程式が得られる、これらの２つ
の直線とカメラの理想的透視変換行列とを用いて、カメ
ラ座標系上（３次元空間）での対応する２平面の式が得
られる。この２平面はカメラ座標系上のマーカ２２０Ｂ
の対応する辺（３次元空間中の線分）をそれぞれの平面
内に一つずつ含む。マーカ２２０Ｂの向かい合う２辺は
平行なのでその方向ベクトルは一致し、前述の２平面の
面内方向となる。そして、もう一組の平行２辺において
も同様の処理を行うことで、マーカ２２０Ｂの隣り合う
２辺の方向ベクトルを求められる。この一対の３次元ベ
クトルと、テンプレートマッチングの結果から、回転移
動成分Ｒ_3x3を求める（詳細については、第１文献の
２．３．１節を参照）。

【００３５】さらにステップＳ８５０において、ステッ
プＳ８４０の回転移動成分Ｒ_3x3と、マーカ４頂点のマ
ーカ座標系での３次元座標値と、カメラの理想的透視変
換行列後の２次元座標値を与えると、平行移動成分Ｔ
_3x1が得られる（詳細については、第１文献の２．３．
２節を参照）。

【００３６】以上の結果から、変換行列Ｔ_cmが求めら
れ、既知であるマーカ座標系と世界座標系との位置関係
から、世界座標系からカメラ座標系への変換行列、つま
りビューイング変換行列Ｍ_C２を得る（ステップＳ８６
０）。

【００３７】このようにして得られたビューイング変換
行列Ｍ_C２から撮像部１１０の位置姿勢を推定した後
は、上述の６自由度センサを用いる場合と同様に仮想物
体の映像を生成し、撮像部１１０から入力される現実空
間の映像と合成し、ＭＲ画像を生成する。

【００３８】この手法により、画像情報のみから撮像部
の位置姿勢１１０を求められる。しかし、マーカ２２０
Ｂを常に撮像部１１０において撮像し、さらにマーカ２
２０Ｂの内部の識別用パターンが認識可能な程度に近い
距離から撮像していなければ、撮像部１１０の位置姿勢
の推定は不可能である。これは、マーカ２２０Ｂに完全
に依存した方法であり、見回す範囲内にマーカ２２０Ｂ
を検出できない状態、または、マーカ２２０Ｂから離れ
てパターンが認識不可能な状態では、この推定方法が使
用できないことを意味する。

【００３９】＜方法３：ジャイロセンサと画像とのハイ
ブリッドな推定方法＞次にジャイロセンサと画像情報を
用いてハイブリッドに撮像部の位置姿勢を推定する方法
について、図６、図９を用いて説明する。

【００４０】図６は、ジャイロセンサと画像情報を用い
た撮像部位置姿勢推定部１７０Ｃの構成例を示すブロッ
ク図である。撮像部位置姿勢推定部１７０Ｃは、ＨＭＤ
に取り付けられ、その姿勢を計測するジャイロセンサ１
２０Ｃの計測値を受ける姿勢計測部６２０、撮像部１１
０（ステレオカメラ）からの画像を取得するとともに、
撮影画像からマーカ２２０Ａの３次元位置を検出する機
能を持つ撮像画像取得部１５０、撮像画像取得部１５０
及び姿勢計測部６２０からの情報に基づき撮像部１１０
の位置姿勢を推定する位置姿勢推定部６１０から構成さ
れる。

【００４１】まず、撮像部１１０の位置姿勢を推定する
処理を行う前に、基準マーカと呼ばれるマーカ２２０Ａ
を撮像して、第１フレームの初期カメラ位置姿勢を求め
る必要がある。なお、フレームとは撮像された単位画像
のことを指す。この基準マーカは世界座標系上での３次
元位置が既知であり、かつ同一直線上にない３つのマー
カ２２０Ａである。さらに、初期カメラ位置姿勢を求め
るときに、この３つのマーカ２２０Ａが左右のカメラに
撮像されていなければならない。

【００４２】まず、ステレオカメラである撮像部１１０
で３つの基準マーカ２２０Ａを同時に撮像し、エピポー
ラ拘束により左右画像中のマーカの対応付けを行う。こ
の対応付けを行ったマーカと既知であるマーカの３次元
位置を利用して、撮像部１１０の初期位置姿勢を算出す
る（詳細については、神原，岩佐，竹村，横矢：「マ
ーカの切替え追跡による広範囲位置合わせ可能なビデオ
シースルー型拡張現実感」，信学会技報， PRMU99-19
9,pp. 51-56, Jan, 2000.を参照）。このようにして得
られた初期カメラ位置姿勢を基に、マーカ追跡を行って
第２フレーム以降のカメラ位置姿勢を求める。また、マ
ーカ追跡を行っている間は、常に１つ以上のマーカが撮
像され、かつマーカとして認識されていなければならな
い。

【００４３】図９はマーカ追跡処理中の位置姿勢推定部
６１０の処理を説明するフローチャートである。まず、
撮像部１１０の回転成分の推定については、姿勢計測部
６２０からの計測値を受ける（ステップＳ９００）。次
に、ステップＳ９１０で、撮像部１１０の平行移動成分
を推定する。この推定は、ステップＳ９４０により格納
した前フレームのマーカ３次元位置と、現フレームから
得られるマーカ３次元位置と、ステップＳ９００で得ら
れた回転移動成分とから、行うことができる（第２文献
の２．２節を参照）。

【００４４】ステップＳ９３０では、ステップＳ９００
で得られた回転成分の推定値とステップＳ９１０で得ら
れた平行移動成分の推定値を基に、現在のフレームにお
ける画像上のマーカ位置を予測し、予測した範囲におい
てマーカ検出処理を行う。このマーカ検出処理は、図４
のマーカ検出部４２０の処理と同様の処理である。

【００４５】ステップＳ９３０において、ステップＳ９
００で得られた回転成分の推定値とステップＳ９１０で
得られた平行移動成分の推定値を基に、ビューイング変
換行列Ｍ_C３を算出する。さらに、次フレームのマーカ
検出のためのマーカ３次元位置を現在の撮像部１１０の
位置姿勢を基にステレオカメラによって求め、ステップ
Ｓ９４０において保存しておく。

【００４６】このようにして得られたビューイング変換
行列Ｍ_C３から、撮像部１１０の位置姿勢を推定し、＜
方法１＞、＜方法２＞と同様に仮想物体の映像を生成す
る。さらに、撮像部１１０から入力される現実空間の映
像と仮想物体の映像とを合成し、ＭＲ画像を生成してＨ
ＭＤ１００の表示部を介してユーザに提示する。

【００４７】この手法では、ＨＭＤに取り付けられたジ
ャイロセンサを利用することにより、広範囲に移動し、
見回すことが可能である。しかし、マーカが撮像されて
いない状態で一定の距離を移動すると平行移動成分が推
定できなくなり、撮像部１１０の位置姿勢推定処理は継
続できなくなる。

【００４８】以上、本実施形態に係る撮像部位置姿勢推
定装置で切り替えて使用する３つの撮像部位置姿勢推定
方法の概要と性質について述べた。以下では、これらの
方法を切り替えて使用するための具体的な構成及び動作
について説明する。

【００４９】＜複合現実感提示システム＞図１は、本発
明の実施形態に係る撮像部位置姿勢推定装置を適用した
複合現実感提示システムの構成例を示すブロック図であ
る。

【００５０】複合現実感提示システムは、ユーザにＭＲ
空間画像を提示するＨＭＤ１００と、ＨＭＤ１００に装
着された撮像部１１０から得られる現実空間の画像を受
ける撮像画像の取得部１５０と、撮影画像の取得部１５
０から得られる撮像部１１０の画像をそのまま表示する
現実空間の描画部１８０と、本発明の実施形態に係る撮
像部位置姿勢推定装置２００と、撮像部位置姿勢推定装
置２００から出力される撮像部１１０の位置姿勢情報を
用いて仮想空間画像を描画し、現実空間の描画部１８０
から得られる現実空間映像と合成する仮想空間の融合描
画部１９０とから構成されている。

【００５１】本実施形態の複合現実感提示システムにお
いて用いるＨＭＤ１００はビデオシースルーＨＭＤであ
り、現実空間を撮像するステレオカメラである撮像部１
１０と、撮像部１１０の位置姿勢推定に利用する６自由
度位置姿勢センサ１２０と、同じく撮像部１１０の位置
姿勢推定に利用するジャイロセンサ１２５と、現実空間
と仮想空間の融合画像（ＭＲ画像）を提示するための、
例えばＬＣＤからなる表示部１３０とから構成されてい
る。さらに、撮像部１１０、６自由度センサ１２０Ａ、
ジャイロセンサ１２０Ｃ、表示部１３０はＨＭＤ１００
に固定されている。なお、ＨＭＤ１００に設けられるセ
ンサは、撮像部位置姿勢推定装置２００が切り替えて使
用する推定方法に応じて適宜加除されることに留意され
たい。

【００５２】本実施形態において、撮像部位置姿勢推定
装置２００は、＜方法１＞で説明した位置姿勢推定部１
７０Ａ（図４）、＜方法２＞で説明した位置姿勢推定部
１７０Ｂ（図５）及び、＜方法３＞で説明した位置姿勢
推定部１７０Ｃ（図６）と同等の位置姿勢推定部１７０
Ａ〜１７０Ｃと、これら位置姿勢推定部１７０Ａ〜１７
０Ｃを動的に切り替える推定方法の選択部１６０Ａ、１
６０Ｂと、使用する推定方法（すなわち、位置姿勢推定
部）を指定する推定方法指定部１９５から構成される。
なお、本実施形態において使用する推定方法はユーザが
決定し、推定方法指定部１９５に指示することによって
使用する位置姿勢推定部が切り替えられる。また、推定
方法指定部１９５は例えばワイヤード又はワイヤレスリ
モコンとしてユーザが手元で使用できるように構成する
ことが好ましい。

【００５３】図２は、図１における複合現実感提示シス
テムの使用時の状態を説明する図である。本実施形態で
は、６自由度位置姿勢センサ１２０Ａとして、Polhemus
社の3SPCACE FASTRAK(以下、FASTRAK)、ジャイロセンサ
１２０Ｃとして、InterSense社のIS-300(以下、IS-300)
を用いている。また、FASTRAKセンサは、トランスミッ
タから発生する磁界をレシーバが受け、レシーバが接続
されているFASTRAKセンサのコントローラ（不図示）に
よってレシーバの位置と姿勢を出力する構成を有するた
め、FASTRAKセンサのトランスミッタ２１０をテーブル
２４０Ａに、FASTRAKセンサのレシーバ（ステーショ
ン）１２０ＡをＨＭＤ１００に配置した。また、図１に
示すように、６自由度センサ１２０Ａ（正確にはFASTRE
AKのコントローラ）の出力は位置姿勢推定部１７０Ａ内
部の位置姿勢計測部４１０へ入力される。また、送受信
機の組み合わせからなることから、FASTREAKセンサの測
定範囲は有限であり、図２の２１５にその測定範囲を示
す。

【００５４】もちろん、６自由度センサやジャイロセン
サなどは前述した製品に限るものではなく、それぞれ＜
方法１＞、＜方法３＞の実施が可能な任意のセンサを利
用可能であり、使用するセンサに応じて具体的な実装方
法は変化する。

【００５５】図２の２２０Ａ、２２０Ｂは現実空間に配
置されたマーカを表している。本実施形態では、２２０
Ａはテーブル２４０Ａ上に配置され、２２０Ｂはテーブ
ル２４０Ｂに配置されている。マーカ２２０Ａは位置姿
勢推定部１７０Ａ及び１７０Ｃを利用するときに使用す
るマーカであり、現実空間を撮像した撮像画像から色で
マーカ２２０Ａを抽出できるよう、テーブル２４０Ａと
は異なる色、本実施形態では赤色を有するシール状のも
のを利用している。

【００５６】マーカ２２０Ｂは位置姿勢推定部１７０Ｂ
を利用するときに使用するマーカを表し、＜方法２＞で
説明したマーカ２２０Ｂと同様の、内部に白地に黒い線
分などで表された識別パターンを有する黒の正方形マー
カである。また、個々のマーカ２２０Ａ、２２０Ｂの世
界座標系２３０上での位置はあらかじめ計測しておき、
それぞれの位置姿勢推定処理を行うときの入力データと
する。なお、本実施形態において、マーカ種は２２０
Ａ、２２０Ｂのようなマーカに限るものではなく、＜方
法１＞、＜方法２＞、＜方法３＞においてマーカとして
取り扱え、撮像部１１０の位置姿勢推定処理が可能であ
れば任意のマーカが適応可能である。また、切り替えて
使用される位置姿勢推定処理の全てで共用可能なマーカ
を用いることも可能である。具体的には２２０Ｂの枠部
分の色を赤くしたマーカをマーカ２２０Ａとして配置し
てもよい。

【００５７】図２中のＡ、Ｂ、Ｃの場所にあるＨＭＤ１
００は同一のＨＭＤ１００がＡ→Ｂ→Ｃの順番で移動し
た状態を表している。なお、ＨＭＤ１００はユーザ（不
図示）が装着しているものとする。図２中のＨＭＤ１０
０は、図１で示したＨＭＤ１００と同じ構成である。位
置Ａは、６自由度センサ１２０Ａの計測範囲２１５内に
ある場所を示し、位置Ｂは、６自由度センサ１２０Ａの
計測範囲２１５内から出て、６自由度センサ１２０Ａの
計測値に大幅な誤差が生じる場所を指している。さら
に、位置Ｃはテーブル２４０Ｂの台上を間近に見られる
場所を指している。

【００５８】位置Ａにユーザが装着したＨＭＤ１００が
位置する場合には、FASTRAKセンサのトランスミッタ２
１０から近く、計測範囲２１５の内部であるので、ユー
ザは位置姿勢推定部１７０Ａを選択する。

【００５９】次に、ユーザが装着するＨＭＤ１００が位
置Ａから位置Ｂに移動した場合は、FASTRAKセンサの計
測範囲２１５内から出てしまったので、ユーザに提示さ
れるＭＲ画像は、FASTRAKセンサ誤差から現実空間と仮
想物体の位置が大幅にずれている画像となっている。そ
こでユーザは、例えば３つの位置姿勢推定部の各々を直
接指定するスイッチ又は、押下される毎に順次使用する
位置姿勢推定部を巡回的に切り替えるスイッチからなる
推定方法指定部１９５を用いて選択部１６０Ａ，１６０
Ｂを切り替え、位置姿勢推定部１７０Ｂを利用して撮像
部１１０の位置姿勢を推定するように選択する。

【００６０】この時点で、位置姿勢推定部は１７０Ｂに
切り替えられ、ジャイロセンサ１２０Ｃと画像情報から
撮像部１１０の位置姿勢を推定する。なお、位置姿勢推
定部１７０Ｂに切り替える時には、左右の撮像部１１０
Ｌ、１１０Ｒに同一直線上にない３つ以上のマーカ２２
０Ａが撮像されていなければならないが、位置Ｂでは、
テーブル２４０Ａから離れた位置であるので、テーブル
２４０Ａを注目していれば、マーカ２２０Ａを３つ以上
撮像することは容易である。切り替え後の第１フレーム
で初期カメラ位置姿勢を求めた後は、マーカ追跡処理に
よりマーカ２２０Ａは左右の撮像部１１０Ｌ、１１０Ｒ
が同一のマーカ２２０Ａを１つ撮像していれば、撮像部
１１０の位置姿勢を推定できる。

【００６１】次に、ユーザが位置Ｃに移った場合、テー
ブル２４０Ｂにはマーカ２２０Ｂのみしか設置されてお
らず、マーカ２２０Ａは撮像されない状態になる。マー
カ２２０Ａが撮像されていない場合、位置姿勢推定部１
７０Ｃは撮像部１１０の推定に必要な平行移動成分が得
られず、ＭＲ画像において現実空間と仮想物体の位置に
ずれが生じる。ここで、ユーザはマーカ２２０Ｂに対応
した推定方法である位置姿勢推定部１７０Ｃを選択する
ことでこのずれを解消することができる。このとき、位
置姿勢推定部１７０Ｃはマーカ２２０Ｂの画像情報から
撮像部１１０の位置姿勢を推定している。

【００６２】図３は、本実施形態における撮像部位置姿
勢推定装置２００の動作を説明するフローチャートであ
る。まずステップＳ３００において、撮像部１１０で撮
影した現実空間画像を、撮像画像の取得部１５０を介し
て取得する。

【００６３】次にステップＳ３１０において、ユーザが
指定した推定方法指定部１９５の指示が位置姿勢推定部
１７０Ａかどうかを判定する。推定方法指定部１９５が
１７０Ａを指定していた場合は、ステップＳ３３０に移
る。もし、指定していなかった場合は、ステップＳ３２
０に移る。

【００６４】ステップＳ３２０では、ステップＳ３１０
と同様に、位置姿勢推定部１７０Ｂが指定されているか
どうかを判定する。選択されていた場合はステップＳ３
４０へ、選択されていなかった場合は、ステップＳ３５
０に移る。

【００６５】ステップＳ３３０においては、＜方法１＞
で説明した、位置姿勢推定部１７０Ａ（図４）を用いて
撮像部の位置姿勢推定処理を行う（処理のフローチャー
トは図７）。この処理では、撮像部１１０にて撮像され
たマーカ２２０Ａの２次元位置と対応するマーカ２２０
Ａの３次元位置とを利用して、６自由度センサ１２０Ａ
であるFASTRAKセンサの計測値を補正し、撮像部１１０
の位置姿勢を推定する。なお、位置姿勢推定部１７０Ａ
のマーカの検出部４２０においては、赤色マーカを検出
するための特徴量Ｉｓを算出する式として、上述の式１
を利用する。

【００６６】ステップＳ３６０において、求めた撮像部
１１０の位置姿勢推定値（ビューイング変換行列
Ｍ_C１）を仮想空間の融合描画部１９０に出力する。ス
テップＳ３４０においては、＜方法２＞で説明した、位
置姿勢推定部１７０Ｂ（図５）を用いて撮像部の位置姿
勢推定処理を行う（処理のフローチャートは図８）。こ
の処理によって撮像された画像からマーカ２２０Ｂを抽
出し、撮像部１１０の位置姿勢である、ビューイング変
換行列Ｍ_C２を求める。

【００６７】ステップＳ３５０においては、＜方法３＞
で説明した、位置姿勢推定部１７０Ｃ（図６）を用いて
撮像部の位置姿勢推定処理を行う（処理のフローチャー
トは図９）。この処理では、IS-300センサを撮像部１１
０の姿勢検出手段とマーカ検出時の予測手段として利用
し、撮像部１１０の回転移動成分と平行移動成分を求
め、最終的な撮像部１１０の位置姿勢であるビューイン
グ変換行列Ｍ_C３を求める。

【００６８】仮想空間の融合描画部１９０は、世界座標
系で定義されている仮想物体データを選択部１６０Ｂか
ら得られるビューイング変換行列（Ｍ_C１、Ｍ_C２、Ｍ
_C３）を用いてカメラ座標系上の値に変換することによ
り、ユーザの視点位置から見た仮想物体の画像を描画
し、現実空間の画像と合成することでＭＲ画像を生成す
る。生成されたＭＲ画像は、ＨＭＤ１００の表示部１３
０を介してユーザに提示される。

【００６９】なお、撮像画像の取得部１５０、撮像画像
の描画部１８０、仮想空間の融合描画部１９０及び撮像
部位置姿勢同定装置２００はいずれも、ＣＰＵ、ＲＡ
Ｍ、ＲＯＭ、外部記憶装置（ＨＤＤ、ＣＤ−ＲＯＭ
等）、ディスプレイ、キーボード（マウス等のポインテ
ィングデバイスをふくむ）等を有する汎用コンピュータ
装置を用いてそれぞれの機能を実現可能なソフトウェア
モジュールを実行することにより実現することが可能で
ある。もちろん、必要な処理速度を得るため、処理の一
部又は全部を専用のハードウェアによって実行すること
も可能である。

【００７０】＜第２の実施形態＞上述の第１の実施形態
においては、各位置姿勢推定処理部１７０Ａ〜１７０Ｃ
を、状況によってユーザが能動的に切り替える構成を説
明した。本実施形態においては、使用する位置姿勢推定
部をユーザが切り替えるのではなく、６自由度センサ１
２０Ａの位置情報、撮像画像取得部１５０の撮像画像内
に撮像されているマーカの情報などの情報を基に自動的
に切り替えることを特徴とする。

【００７１】図１１は、本実施形態に係る撮像部位置姿
勢同定装置２０１を用いた複合現実感提示システムの構
成例を示すブロック図である。推定方法の選択部１６０
Ｂにおいて、６自由度センサ１２０Ａの位置情報、各位
置姿勢推定処理部１７０Ａ〜１７０Ｃから得られるマー
カ情報などに基づき、現在の状況に適した推定方法を自
動的に選択し、選択した推定方法を推定方法指定部１９
５に指示する。そして、推定方法指定部１９５が、この
指示に基づいて選択部１６０Ａを切り替え、使用する位
置姿勢推定部を変更する。

【００７２】図１０は、本実施形態に係る選択部１６０
Ｂの動作例を説明するフローチャートである。ここで
は、まずＨＭＤ１００が６自由度センサ１２０Ａの測定
範囲２１５内にあるか判定し（ステップＳ１０１）、内
部に位置する場合は位置姿勢推定処理部１７０Ａを選択
する（ステップＳ１０４）。一方、測定範囲２１５の外
と判定されると、選択部１６０Ａを用いて位置姿勢推定
処理部１７０Ｂにも撮像画像を一時的に供給し、撮像さ
れた画像中に直線上にないマーカ２２０Ａを３つ以上撮
影しているか否かを判定する（ステップＳ１０２）。条
件を満たす場合には位置姿勢推定処理部１７０Ｂを選択
する（ステップＳ１０５）。条件を満たさない場合には
ステップＳ１０３で、選択部１６０Ａを用いて位置姿勢
推定処理部１７０Ｃにも撮像画像を一時的に供給し、撮
像された画像中にマーカ２２０Ｂが撮像されているか否
かを判定する（ステップＳ１０３）。条件を満たす場合
には位置姿勢推定処理部１７０Ｃを選択する（ステップ
Ｓ１０６）。条件を満たさない場合には最後に推定され
たビューイング変換行列を用いる（ステップＳ１０
７）。現在使用している位置姿勢推定処理部の測定誤差
が所定範囲外になった場合には（ステップＳ１０８）再
度選択処理を行う。

【００７３】このような自動選択処理を行うことによ
り、図２において位置Ａの場所から位置Ｂの場所に移動
する場合、位置Ａの場所では、６自由度センサ１２０Ａ
の計測値は、計測範囲２１５よりも内側の位置を示して
いるので、位置姿勢推定部１７０Ａを自動的に選択す
る。さらに、位置Ｂに移動する場合に、計測範囲２１５
の外に出るので、計測誤差が増加する。ここで、計測誤
差が既定の閾値を越えた場合に、選択処理をおこない、
左右の撮像部１１０が直線上にない３つのマーカ２２０
Ａを同時に撮像されている場合は、位置姿勢推定部１７
０Ｂを選択する。もし、上記の条件に適合するマーカ２
２０Ａを撮像できていない場合は撮像画像取得部１５０
の画像からマーカ２２０Ｂの検出処理を行い、検出でき
た場合は位置姿勢推定部１７０Ｃを選択する。さらに、
マーカ２２０Ｂが検出されない場合は、最後に推定でき
た撮像部１１０の位置姿勢を継続して利用する。

【００７４】この自動切り替えを行う条件としては、計
測誤差が所定値を超えた場合に限るものではなく、ユー
ザに提示するＭＲ画像における、現実空間と仮想物体の
位置のずれがなるべく最小になるように判定できるもの
であれば適応可能である。また、マーカ２２０Ａ、２２
０Ｂが撮像されているか否かについては、各位置姿勢推
定処理部１７０Ａ〜１７０Ｃを用いずに選択部１６０Ｂ
が取得部１５０から画像を取得して判定することも可能
である。この場合、現在使用している位置姿勢推定処理
部１７０Ａ〜１７０Ｃの測定誤差が所定値を超えなくと
も、マーカの検出状況に応じて切り替え処理を行っても
良い。

【００７５】＜第３の実施形態＞上記実施形態において
は、推定方法指定部１９５によって選択部１６０Ａを切
り替え、いずれか１つの位置姿勢推定処理部１７０Ａ〜
１７０Ｃにのみ撮像画像取得部１５０からの撮像画像を
供給していた。本実施形態では、撮像画像取得部１５０
からの撮像画像を特定の位置姿勢推定処理部ではなく、
全ての位置姿勢推定処理部１７０Ａ〜１７０Ｃに供給す
るとともに、同時に推定処理を行い、各位置姿勢推定処
理部１７０Ａ〜１７０Ｃの推定処理結果である３つの撮
像部１１０の位置姿勢に基づき、１つの推定処理結果の
選出、または３つの推定処理結果からの合成を行い、最
適な撮像部１１０の位置姿勢を求めることを特徴とす
る。

【００７６】図１２は、本実施形態に係る撮像部位置姿
勢同定装置２０２を用いた複合現実感提示システムの構
成例を示すブロック図である。また、図１３は図１２に
おける複合現実感提示システムの使用時の状態を説明す
る図である。図１３に示すように、本実施形態において
は常に３つの位置姿勢推定処理部１７０Ａ〜１７０Ｃを
用いた推定処理を行うため、テーブル２４０Ａ以外の
床、壁にも位置姿勢推定処理部１７０Ａ、１７０Ｂが用
いるマーカ２２０Ａが、またテーブル２４０Ａに位置姿
勢推定処理部１７０Ｃ用のマーカ２２０Ｂが配置されて
いる。

【００７７】全ての位置姿勢推定部１７０Ａ、１７０
Ｂ、１７０Ｃに撮像画像取得部１５０からの撮像画像が
入力され、同時に推定処理を行う。全ての推定処理が完
了した時点で推定結果の合成部１６０Ｃにおいて処理結
果の比較が行われる。処理結果の比較は、それぞれの推
定処理結果に撮像部１１０の推定結果信頼度Ｒを設定
し、Ｒによる推定結果の重み付け平均を算出する。Ｍ_C”＝Ｒ_１・Ｍ_C１＋Ｒ_２・Ｍ_C２＋Ｒ_３・Ｍ_C３（式２）但し、Ｒ_１＋Ｒ_２＋Ｒ_３＝１である。Ｍ_C１、Ｍ_C２、Ｍ
_C３はそれぞれ、位置姿勢推定処理部１７０Ａ〜１７０
Ｃが出力する推定処理結果である撮像部の位置姿勢を表
すビューイング変換行列である。

【００７８】各位置姿勢推定処理部１７０Ａ〜１７０Ｃ
に対する推定結果信頼度Ｒ_１、Ｒ_２、Ｒ_３の設定方法の
例を以下に示す。位置姿勢推定部１７０Ａにおけるセン
サ計測誤差に関する関数ｆからｒ１、撮像画像上におけ
るマーカ２２０Ｂの外接長方形が占める面積率に関する
関数ｇからｒ２（ただし、外接長方形の４頂点すべてが
撮像画面上に存在すること）、図９のステップＳ９１０
で求められる平行移動量に関する関数ｈからｒ３を求め
る。Ｓ_errはセンサ計測誤差、ｔはマーカ検出時に現在の計
測誤差でマーカを検出できる範囲を示す閾値を表す。ｊは撮像画像上におけるマーカ２２０Ｂの外接長方形が
占める面積率、ｋはマーカ２２０Ｂのパターンが識別可
能な最低の面積率とする。ｒ３＝ｈ（ｕ）ｈ（ｕ）＝１−ｕ（０≦ｕ≦１）ｕは平行移動量を表す。

【００７９】さらに、ｒ１、ｒ２、ｒ３の比率を求め、
Ｒ_１、Ｒ_２、Ｒ_３を設定する。また、各位置姿勢推定処
理部１７０Ａ〜１７０Ｃに対する重み付けは前述の設定
方法に限るものではなく、各位置姿勢推定処理部１７０
Ａ〜１７０Ｃで行われる推定処理の内容や、適用条件等
を考慮して任意に設定可能である。

【００８０】

【他の実施形態】上述の第１の実施形態においては、１
つの位置姿勢推定処理部１７０Ａ〜１７０Ｃを選択して
用いる場合のみ説明したが、推定処理選択手段１９５に
よって複数の位置姿勢推定処理部を選択し、第２の実施
形態及び第３の実施形態における選択処理の候補となる
位置姿勢推定処理部を指定するように構成することも可
能である。

【００８１】上述の実施形態においては、３つの異なる
位置姿勢推定処理を切り替える場合のみを説明したが、
２つ又は４つ以上の処理を切り替えて使用することも可
能である。また、切り替えて使用する位置姿勢推定処理
方法についても、上述した手法以外の方法を用いること
も可能である。

【００８２】上述の実施形態においては、１つの機器か
ら構成される撮像部位置姿勢同定装置についてのみ説明
したが、本発明の撮像部位置姿勢同定装置と同等の機能
を複数の機器から構成されるシステムによって実現して
も良い。

【００８３】尚、前述した実施形態の機能を実現するソ
フトウェアのプログラム（実施形態で説明したフローチ
ャートに対応したプログラム）を、記録媒体から直接、
或いは有線／無線通信を用いて当該プログラムを実行可
能なコンピュータを有するシステム又は装置に供給し、
そのシステム或いは装置のコンピュータが該供給された
プログラムを実行することによって同等の機能が達成さ
れる場合も本発明に含む。

【００８４】従って、本発明の機能処理をコンピュータ
で実現するために、該コンピュータに供給、インストー
ルされるプログラムコード自体も本発明を実現するもの
である。つまり、本発明の機能処理を実現するためのコ
ンピュータプログラム自体も本発明に含まれる。

【００８５】その場合、プログラムの機能を有していれ
ば、オブジェクトコード、インタプリタにより実行され
るプログラム、ＯＳに供給するスクリプトデータ等、プ
ログラムの形態を問わない。

【００８６】プログラムを供給するための記録媒体とし
ては、例えば、フレキシブルディスク、ハードディス
ク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯ
Ｍ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−
Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の
半導体メモリなどがある。

【００８７】有線／無線通信を用いたプログラムの供給
方法としては、コンピュータネットワーク上のサーバに
本発明を形成するコンピュータプログラムそのもの、も
しくは圧縮され自動インストール機能を含むファイル
等、クライアントコンピュータ上で本発明を形成するコ
ンピュータプログラムとなりうるデータファイル（プロ
グラムデータファイル）を記憶し、接続のあったクライ
アントコンピュータにプログラムデータファイルをダウ
ンロードする方法などが挙げられる。この場合、プログ
ラムデータファイルを複数のセグメントファイルに分割
し、セグメントファイルを異なるサーバに配置すること
も可能である。

【００８８】つまり、本発明の機能処理をコンピュータ
で実現するためのプログラムデータファイルを複数のユ
ーザに対してダウンロードさせるサーバ装置も本発明に
含む。

【００８９】また、本発明のプログラムを暗号化してＣ
Ｄ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所
定の条件を満たしたユーザに対して暗号化を解く鍵情報
を、例えばインターネットを介してホームページからダ
ウンロードさせることによって供給し、その鍵情報を使
用することにより暗号化されたプログラムを実行してコ
ンピュータにインストールさせて実現することも可能で
ある。

【００９０】また、コンピュータが、読み出したプログ
ラムを実行することによって、前述した実施形態の機能
が実現される他、そのプログラムの指示に基づき、コン
ピュータ上で稼動しているＯＳなどが、実際の処理の一
部または全部を行い、その処理によっても前述した実施
形態の機能が実現され得る。

【００９１】さらに、記録媒体から読み出されたプログ
ラムが、コンピュータに挿入された機能拡張ボードやコ
ンピュータに接続された機能拡張ユニットに備わるメモ
リに書き込まれた後、そのプログラムの指示に基づき、
その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ
などが実際の処理の一部または全部を行い、その処理に
よっても前述した実施形態の機能が実現され得る。

【００９２】

【発明の効果】以上説明したように、本発明によれば、
複数の位置姿勢推定処理のうち適切な処理を選択して使
用可能になるため、従来よりも広い範囲で撮像部の位置
姿勢を高精度に推定可能となり、結果として広範囲でユ
ーザに位置ずれのないＭＲ画像を提示することができ
る。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る撮像部位置姿勢
推定装置を適用した複合現実感提示システムの構成例を
示すブロック図である。

【図２】図１における複合現実感提示システムの使用時
の状態を説明する図である。

【図３】第１の実施形態における撮像部位置姿勢推定装
置２００の動作を説明するフローチャートである。

【図４】画像と６自由度センサを用いた撮像部位置姿勢
推定部１７０Ａの構成例を示すブロック図である。

【図５】画像を用いた撮像部位置姿勢推定部１７０Ｂの
構成例を示すブロック図である。

【図６】ジャイロセンサと画像情報を用いた撮像部位置
姿勢推定部１７０Ｃの構成例を示すブロック図である。

【図７】図４における位置姿勢推定部４３０で行われる
処理の概要を示す図である。

【図８】図５の画像処理用マーカ検出部５１０と位置姿
勢推定部５２０の処理を説明するフローチャートであ
る。

【図９】図６の位置姿勢推定部６１０の処理を説明する
フローチャートである。

【図１０】本発明の第２の実施形態における選択部１６
０Ｂの動作例を説明するフローチャートである。

【図１１】本発明の第２の実施形態に係る撮像部位置姿
勢推定装置を適用した複合現実感提示システムの構成例
を示すブロック図である。

【図１２】本発明の第３の実施形態に係る撮像部位置姿
勢推定装置を適用した複合現実感提示システムの構成例
を示すブロック図である。

【図１３】図１２における複合現実感提示システムの使
用時の状態を説明する図である。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｔ 17/40 Ｇ０６Ｔ 17/40 ＥＨ０４Ｎ 5/262 Ｈ０４Ｎ 5/262 Ｆターム(参考） 2F065 AA04 AA37 BB28 CC00 EE00 FF04 FF05 FF61 FF65 FF67 JJ03 JJ05 JJ26 QQ00 QQ04 QQ17 QQ18 QQ23 QQ24 QQ25 QQ27 QQ28 QQ39 QQ42 5B050 AA00 BA08 BA09 DA02 DA04 EA24 EA28 FA02 FA05 5B057 AA20 BA02 DA07 DB03 DB06 DB09 DC08 DC25 DC33 5C023 AA11 AA37 AA38 BA11 CA03 5L096 AA09 CA02 FA03 FA06 FA67 FA69 GA32 JA03 JA09

Claims

【特許請求の範囲】

【請求項１】３次元空間内に位置する撮像手段の位置
姿勢を推定し、位置姿勢情報として出力する撮像部位置
姿勢推定装置であって、前記撮像手段の位置姿勢を互いに異なる方法で推定す
る、２つ以上の推定手段と、前記推定手段を動的に選択する選択手段とを備え、前記選択手段で選択された推定手段による推定結果を前
記位置姿勢情報として出力することを特徴とする撮像部
位置姿勢推定装置。
【請求項２】前記推定手段の少なくとも１つが、前記
撮像部が撮像した画像を用いて前記推定を行うことを特
徴とする請求項１記載の撮像部位置姿勢推定装置。
【請求項３】前記撮像部が撮像した画像を用いる前記
推定手段が、前記画像中に含まれる、３次元位置が既知
である物体の画像を用いて前記推定を行うことを特徴と
する請求項２記載の撮像部位置姿勢推定装置。
【請求項４】前記推定手段の少なくとも１つが、前記
撮影部が撮像した画像を用いずに前記推定を行うことを
特徴とする請求項１乃至請求項３のいずれか１項に記載
の撮像部位置姿勢推定装置。
【請求項５】前記撮影部が撮像した画像を用いずに前
記推定を行う前記推定手段が、前記撮像部又はその近傍
に設けられた計測手段による計測結果を用いて前記推定
を行うことを特徴とする請求項４記載の撮像部位置姿勢
推定装置。
【請求項６】前記推定手段の少なくとも１つが、前記
撮像部が撮像した画像と、前記撮像部又はその近傍に設
けられた計測手段による計測結果を用いて前記推定を行
うことを特徴とする請求項１乃至請求項５のいずれか１
項に記載の撮像部位置姿勢推定装置。
【請求項７】前記選択手段が、外部からの選択指示に
より前記推定手段を選択することを特徴とする請求項１
乃至請求項６のいずれか１項に記載の撮像部位置姿勢推
定装置。
【請求項８】前記選択手段が、現在選択されている前
記推定手段の測定誤差、前記位置姿勢情報又は前記撮像
部が撮像した画像に基づく情報の少なくとも１つに基づ
いて、前記複数の推定手段のうち１つを選択することを
特徴とする請求項１乃至請求項６のいずれか１項に記載
の撮像部位置姿勢推定装置。
【請求項９】複数の前記推定手段の推定結果を受け取
り、前記複数の推定結果のうち１つ、あるいは２つ以上
の推定結果に基づいて生成した合成推定結果を前記位置
姿勢情報として出力する選択合成手段を更に有すること
を特徴とする請求項１乃至請求項６のいずれか１項に記
載の撮像部位置姿勢推定装置。
【請求項１０】請求項１乃至請求項９のいずれか１項
に記載の撮像部位置姿勢推定装置と、前記撮像部位置姿勢推定装置から得られる前記位置姿勢
情報を用いて仮想空間画像を生成し、前記撮像部が撮像
した画像と合成して複合現実感画像を生成する複合現実
感画像生成手段と、前記複合現実感画像を前記撮像部を装着するユーザに提
示する提示手段を有することを特徴とする複合現実感提
示システム。
【請求項１１】３次元空間内に位置する撮像手段の位
置姿勢を、互いに異なる方法で推定する２つ以上の推定
手段を選択的に用いて推定し、位置姿勢情報として出力
する撮像部位置姿勢推定装置の制御方法であって、前記推定手段を動的に選択する選択ステップと、前記選択ステップで選択された推定手段による推定結果
を前記位置姿勢情報として出力する出力ステップとを有
することを特徴とする撮像部位置姿勢推定装置の制御方
法。
【請求項１２】前記推定手段の少なくとも１つが、前
記撮像部が撮像した画像を用いて前記推定を行うことを
特徴とする請求項１１記載の撮像部位置姿勢推定装置の
制御方法。
【請求項１３】前記撮像部が撮像した画像を用いる前
記推定手段が、前記画像中に含まれる、３次元位置が既
知である物体の画像を用いて前記推定を行うことを特徴
とする請求項１２記載の撮像部位置姿勢推定装置の制御
方法。
【請求項１４】前記推定手段の少なくとも１つが、前
記撮影部が撮像した画像を用いずに前記推定を行うこと
を特徴とする請求項１１乃至請求項１３のいずれか１項
に記載の撮像部位置姿勢推定装置の制御方法。
【請求項１５】前記撮影部が撮像した画像を用いずに
前記推定を行う前記推定手段が、前記撮像部又はその近
傍に設けられた計測手段による計測結果を用いて前記推
定を行うことを特徴とする請求項１４記載の撮像部位置
姿勢推定装置の制御方法。
【請求項１６】前記推定手段の少なくとも１つが、前
記撮像部が撮像した画像と、前記撮像部又はその近傍に
設けられた計測手段による計測結果を用いて前記推定を
行うことを特徴とする請求項１１乃至請求項１５のいず
れか１項に記載の撮像部位置姿勢推定装置の制御方法。
【請求項１７】前記選択ステップが、外部からの選択
指示により前記推定手段を選択することを特徴とする請
求項１１乃至請求項１６のいずれか１項に記載の撮像部
位置姿勢推定装置の制御方法。
【請求項１８】前記選択ステップが、現在選択されて
いる前記推定手段の測定誤差、前記位置姿勢情報又は前
記撮像部が撮像した画像に基づく情報の少なくとも１つ
に基づいて、前記複数の推定手段のうち１つを選択する
ことを特徴とする請求項１１乃至請求項１６のいずれか
１項に記載の撮像部位置姿勢推定装置の制御方法。
【請求項１９】複数の前記推定手段の推定結果を受け
取り、前記複数の推定結果のうち１つ、あるいは２つ以
上の推定結果に基づいて生成した合成推定結果を前記位
置姿勢情報として出力する選択合成ステップを更に有す
ることを特徴とする請求項１１乃至請求項１６のいずれ
か１項に記載の撮像部位置姿勢推定装置の制御方法。
【請求項２０】請求項１１乃至請求項１９のいずれか
１項に記載の撮像部位置姿勢推定装置の制御方法をコン
ピュータ装置に実行させることを特徴とするコンピュー
タプログラム。
【請求項２１】請求項２０記載のコンピュータプログ
ラムを格納したことを特徴とするコンピュータ装置読み
とり可能な記憶媒体。