JP6688088B2 - 情報処理装置およびその制御方法 - Google Patents

Description

本発明は、計測データから抽出した特徴に基づいて計測視点の位置姿勢を算出する技術に関する。

カメラや３次元計測センサで計測した画像や距離画像に映った特徴（自然特徴点やマーカーなど）に基づいて計測視点の位置姿勢を算出する技術がＭＲやＡＲ、ロボット等の自己位置同定などに広く用いられている。なお、ＭＲとはＭｉｘｅｄ Ｒｅａｌｉｔｙの略であり、ＡＲとはＡｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙの略である。これらの技術では、シーン中における特徴の配置状況によって、カメラ、すなわち計測視点の位置姿勢の算出精度が変動する。所望の精度で計測視点の位置姿勢を算出するためには、事前に、どのような特徴パターンをどこに設置するかを事前に調整しておく必要がある。また、違和感の少ないＭＲを実現するために、設置する特徴パターンが景観を損ねないように配慮する必要もある。

特許文献１では、特徴としてマーカー（識別子を所定の幾何模様にコーディングした印刷物）を用いてカメラ位置姿勢の推定を行う場合に、環境の何処にマーカーを配置すれば良いかを検討する方法が開示されている。この方法では、現実空間に配置されている指標の情報に基づいて現実空間と仮想空間との重ね合わせ精度に関する領域情報を算出し、これを可視化して現実空間に重ね合わせて表示することで、ユーザがマーカーの配置を対話的に検討することを可能にする。

特許第４６８９３８０号公報

W. Hoff and T. Vincent, "Analysis of head pose accuracy in augmented reality," IEEE Trans. Visualization and Computer Graphics, Vol 6., No. 4, 2000. （実施形態で参照される）

しかしながら特許文献１の方法では試しにマーカーを配置してその結果を確認するといった試行錯誤を繰り返す必要があり、特徴（マーカー）の設置作業に時間がかかってしまう。

本発明は、このような課題に鑑みてなされたものであり、計測視点の位置姿勢を精度よく算出するための特徴パターンとその設置位置を提示することで、特徴パターンを設置する作業を容易にすることを目的とする。

上記の目的を達成するための本発明の一態様による情報処理装置は以下の構成を備える。すなわち、
環境に存在する、計測視点の位置姿勢を測定するのに用い得る特徴分布を算出する算出手段と、
前記環境において、前記計測視点の位置姿勢の計算精度を向上させる特徴分布が得られるように、設置すべき特徴パターンとその設置位置を決定する決定手段と、
前記決定手段により決定された特徴パターンとその設置位置を提示する提示手段と、を備える。

本発明によれば、特徴パターンの設置作業が容易になり、特徴パターンの設置作業に要する時間を短縮できる。

第１実施形態における情報処理装置１００の構成例を示す図。 第１実施形態における情報処理装置１００の処理を示すフローチャート。 第１実施形態における入力画像と提示画像の一例を示す図。 第１実施形態における特徴パターンと設置位置の決定処理を示すフローチャート。 第２実施形態における提示画像の一例を示す図。 第３実施形態における特徴パターンと設置位置の決定処理を示すフローチャート。 第４実施形態における情報処理装置１００の構成を示す図。 第４実施形態における情報処理装置１００の処理を示すフローチャート。

以下、添付図面を参照して本発明の好適な実施形態について詳細に説明する。

［第１実施形態］
＜概要＞
本実施形態では、カメラ位置姿勢に基づいて現実世界の画像に仮想コンテンツを重畳表示するＭＲシステムの事前セットアップにおけるマーカー配置を説明する。ＭＲシステムでは、ヘッドマウントディスプレイ（ＨＭＤ）に搭載されているカメラによりシーンの画像を取得し、画像から特徴としてコーナー点を検出する。そして時系列で取得した画像間のコーナー点の対応に基づいてカメラの位置姿勢を算出し、算出された位置姿勢に基づいてＨＭＤのカメラにより取得された画像上に仮想コンテンツを重畳して表示する。

本実施形態では、ＭＲシステムを使用する環境をＨＭＤに搭載されているカメラで観察し、その環境におけるカメラ位置姿勢を高精度に計算するための好適な特徴を含んだ特徴パターンを決定・印刷し、その特徴パターンを設置する位置を提示する。ここで特徴パターンとは、計測視点の位置姿勢の算出に利用する特徴を検出することができるパターンである。本実施形態では事前に準備した２次元の図形を特徴パターンとして利用する。一般に、特徴が画像中に均一に分布している方がカメラ位置姿勢を高精度に計算できる。そこで本実施形態では、カメラで観測した画像から特徴分布を取得し、その特徴の分布の良し悪しを特徴分布の均一度を表す評価値（位置合わせ評価値という）で評価し、位置合わせ評価値が高くなるように特徴パターンと設置位置を決定する。さらに本実施形態では、決定した特徴パターンをプリンタで印刷し、特徴パターンの設置位置をＭＲシステムでユーザに提示する。ユーザはＨＭＤを通して提示される特徴パターンの設置位置を見ながら、印刷された特徴パターンを環境に設置すればよい。以降本実施形態の詳細を説明する。

＜構成＞
図１は本実施形態における情報処理装置１００のモジュール構成と外部装置であるＨＭＤ１１０及び出力部１２１との接続を示したブロック構成図である。情報処理装置１００は、分布算出部１０１、決定部１０２、提示部１０３を有する。ＨＭＤ１１０は、画像を撮影可能なカメラを含む計測装置１１１と、画像を表示するためのパネル（本実施形態では液晶パネル）を含む表示装置１１２とが搭載されている。なお、本実施形態及び後述の各実施形態において、情報処理装置のモジュール構成は、たとえば、情報処理装置のＣＰＵ（不図示）がメモリ（不図示）に格納されている所定のプログラムを実行することにより実現される。但し、情報処理装置の各モジュールは、その全てあるいは一部が専用のハードウエアで実現されるものであってもよい。

分布算出部１０１は、環境に存在する、計測視点の位置姿勢を測定するのに用い得る特徴の分布（以下、特徴分布ともいう）を算出する。本実施形態では、分布算出部１０１は、計測装置１１１で観測し得る特徴の分布を算出する。ここで、特徴分布とは、計測視点の位置姿勢を算出するのに用いられる特徴と同じ種類の特徴の分布である。たとえば、分布算出部１０１は、ＨＭＤ１１０の計測装置１１１で計測した画像から特徴としてコーナー点を検出し、検出したコーナー点の２次元位置（座標値）を取得し、コーナー点の座標値のリストを特徴分布として生成する。このコーナー点は、計測視点の位置姿勢の算出に用いられる特徴である。

決定部１０２は、分布算出部１０１で取得した特徴分布に基づいて設置すべき特徴パターンとその設置位置を決定する。設置すべき特徴パターンとその設置位置は、計測視点の位置姿勢の計算精度を向上させる特徴分布が得られるように、たとえば、環境における特徴分布の均一性が向上するように設置すべき特徴パターンとその設置位置が決定される。本実施形態では計測装置１１１で計測した画像を矩形領域に分割し、矩形領域に特徴パターンを設置することで位置合わせ評価値が大きく向上する矩形領域の位置を特徴パターンの設置位置として決定する。位置合わせ評価値とは、計測装置１１１の位置姿勢推定精度に相関のある評価値であり、上述したように本実施形態では特徴分布の均一度が用いられる。より具体的には、本実施形態では位置合わせ評価値として特徴を含む矩形領域の数を用いており、たとえば、特徴を含まない矩形領域の位置を特徴パターンの設置位置として決定する。

また、決定部１０２は、位置合わせ評価値を向上させるために特徴を所定の個数以上検出可能であることに加えて、環境に存在する形状と似た形状を持つ特徴パターンを、設置すべき特徴パターンとして決定する。すなわち、特徴パターンの選択においては、設置位置における特徴パターンの環境への適合度の評価（コンテンツ適合度）が加味される。コンテンツ適合度は、環境の属性情報と特徴パターンの属性情報との一致の度合いとして得ることができる。

本実施形態では設置可能な複数種類の特徴パターンをデータベース（以降、特徴パターンＤＢ１０４と称す）に事前に登録しておくこととする。特徴パターンＤＢ１０４には各特徴パターンの画像及び属性が登録されている。本実施形態では特徴パターンとして、２次元の図形やポスターが用いられる。また、属性は、計測視点の位置姿勢算出精度や安定性に関連する「位置合わせ属性」と、周囲の環境やユーザ、特徴パターンの性質や内容などとの関連性を評価するのに用いる「コンテンツ属性」を含む。決定部１０２はこれらの属性と環境から抽出した属性とから評価値（以降、パターン評価値と称す）を算出し、パターン評価値の高い特徴パターンを設置すべき特徴パターンに決定する。

提示部１０３は、決定部１０２で決定された特徴パターンとその設置位置をユーザに提示する。ここでは計測装置１１１で撮影した画像に、決定部１０２が決定した特徴パターンを、決定部１０２が決定した設置位置に設置した場合の合成画像を重畳し、ＨＭＤ１１０の表示装置１１２に出力する。こうして表示装置１１２により、特徴パターンの設置位置がユーザに提示される。また、出力部１２１は、決定部１０２が決定した特徴パターンを出力装置１２２に出力することで、設置すべく決定された特徴パターンを実際に設置が可能な物体として取得する。本実施形態では、出力装置１２２により特徴パターンが印刷される。したがって、本実施形態において出力装置１２２はプリンタである。

＜処理の流れ＞
本実施形態の処理の詳細を図２のフローチャートに沿って説明する。なお、図２のフローチャートで示される処理において、ＨＭＤ１１０（計測装置１１１）の位置姿勢は、不図示の位置姿勢センサや計測装置１１１から現在取得されている画像に存在する特徴点に基づいて算出されるものとする。

ステップＳ２０１において、分布算出部１０１は、計測装置１１１で観測し得る特徴の分布を算出することにより特徴分布を得る。本実施形態においては、分布算出部１０１は、ＨＭＤ１１０に搭載された計測装置１１１から画像を取得し、取得された画像から特徴としてコーナー点を検出し、検出されたコーナー点の座標値（２次元位置）のリストを特徴分布として生成する。図３（Ａ）は取得した画像と取得画像から検出したコーナー点の一例を図示したものである。図中の黒丸１０が検出されたコーナー点である。コーナー点を検出する方法には様々な方法が提案されており、周知の何れの方法が用いられてもよいが、本実施形態ではＨａｒｒｉｓコーナー検出器を用いるものとする。

ステップＳ２０２において、決定部１０２は、ステップＳ２０１で算出した特徴分布、具体的には画像上におけるコーナー点の２次元位置の座標値のリストに基づいて設置する特徴パターンとその設置位置を決定する。本ステップの処理内容については図４のフローチャートの参照により後述する。ステップＳ２０３において、出力部１２１は、ステップＳ２０２で決定した特徴パターンを出力装置１２２に出力し印刷する。ここで特徴パターンの印刷サイズは、既定のサイズに設定するか、またはユーザがサイズを指定する。

ステップＳ２０４において、提示部１０３は、ステップＳ２０２で決定された特徴パターンをステップＳ２０２で決定された位置に設置することを指示するための合成画像を生成し、生成した合成画像を表示装置１１２で表示する。合成画像はたとえば次のようにして生成される。まず、提示部１０３は、ステップＳ２０２で決定された特徴パターンの設置位置に対応する矩形領域に半透明の色を付けた画像を生成する。そして、提示部１０３は、その矩形上にステップＳ２０３で決定された特徴パターンを矩形領域内に納まるように重ねて描き、その画像を計測装置１１１で撮影した画像に重畳し、表示装置１１２に表示する。このとき、計測装置１１１の位置姿勢は、上述のように不図示の位置姿勢センサや計測装置１１１から現在取得されている画像に存在する特徴点に基づいて算出される。

図３（Ｂ）は、計測装置１１１（カメラ）により図３（Ａ）で示した画像が撮影されたときに表示装置１１２に表示される、特徴設置位置を提示する画像の一例である。半透明の色が付された（図３（Ｂ）ではハッチングにより示されている）矩形領域１１が特徴を設置すべき位置を表し、図形１２が矩形領域１１に設置されるべき特徴パターンを表す。ここでは、特徴分布により示されるコーナー点が存在しない矩形領域に対して設置すべき特徴パターンが提示されている。ユーザは提示された情報に従って、矩形領域１１で示された位置に、その矩形領域１１に示されている図形１２で示された特徴パターンを設置すれば良い。

次に図４のフローチャートを用いて特徴パターンとその設置位置を決定するステップＳ２０２の処理内容を説明する。

ステップＳ４０１において、決定部１０２は、特徴分布の修正目標を設定する。本実施形態では、位置合わせ評価値として所定数（Ｎ個）以上の特徴を含む矩形領域の総和が用いられるため、特徴分布の修正目標として、１つの矩形領域から検出されるべき特徴の数Ｎを設定する。なお修正目標を設定しない場合は既定の値（例えば１）が設定される。コーナー点の存在しない矩形領域を、特徴パターンを設定すべき位置として判定している上記例では、修正目標Ｎ＝１である。

ステップＳ４０２において、決定部１０２は、環境の属性情報を取得する。ここでは環境のコンテンツ属性として、計測装置１１１で計測した画像（撮影により得られた画像）を解析し、画像から検出される線の内、直線の割合を算出する。画像における直線の割合の算出には周知の方法を用いることができる。次に、ステップＳ４０３において、決定部１０２は、特徴を追加し得る複数の位置を特徴設置位置候補として生成する。具体的には以下の手順で行う。

まず、決定部１０２は、ステップＳ２０１で取得した特徴の分布に対して計測装置の位置姿勢推定精度の良し悪しを評価する位置合わせ評価値を算出して保持する。位置合わせ評価値は画像中のコーナー点の位置の分布の均一度を表す値であり、任意の特徴の分布に対して算出される。本実施形態では、たとえば、画像を互いに重複しない所定のサイズの矩形領域に分割し、それぞれの領域に対して当該領域にコーナー点がＮ（修正目標値）個以上含まれる場合に位置合わせ評価値に１を加算していくことで得られた総和を位置合わせ評価値とする。

次に、決定部１０２は、矩形領域の中心座標のリストを特徴設置位置候補とし、各特徴設置位置候補に仮の特徴パターンを追加した場合の特徴分布について位置合わせ評価値を算出して保持する。仮の特徴パターンには特徴パターンＤＢ１０４から無作為に選択した特徴パターンが用いられる。ただし、仮の特徴パターンはこれに限られるものではなく、たとえば、所定の特徴パターンであっても良い。すなわち、仮の特徴パターンは、分布算出部１０１が検出することのできる特徴を含んだパターンであれば良い。また、例えば、前述のように所定数以上の特徴（コーナー）を含む矩形領域の総和が位置合わせ評価値として用いられる場合、仮の特徴パターンとして、各特徴設置位置候補である矩形領域内に特徴が有るという仮定が用いられても良い。

さらに、決定部１０２は、上述の特徴設置位置候補の中から、仮の特徴パターンを設置した場合の位置合わせ評価値の向上量（ステップＳ４０１で算出した位置合わせ評価値からの増分）が所定の値以上となる特徴設置位置候補を抽出する。本実施形態では、矩形領域の個数が位置合わせ評価値として用いられているので、適切な特徴設置位置候補への仮の特徴パターンの設置により増加する評価値の増分は「１」である。よって、位置合わせ評価値の向上量が１以上の特徴設置位置候補が抽出される。そして、決定部１０２は、最終的な抽出された特徴設置位置候補のリスト、すなわち矩形領域の中心座標のリストを生成する。本実施形態のステップＳ４０１で説明した方法で位置合わせ評価値を計算した場合、位置合わせ評価値の向上量は０か１である。ここでは、位置合わせ評価値の向上量と比較される上記所定の値を１とし、位置合わせ評価値の向上量が１（以上）である特徴設置位置候補が抽出される。

ステップＳ４０４ａ〜ステップＳ４０４ｂは、Ｓ４０５〜Ｓ４０７の処理を各特徴設置位置候補について実行するための処理ループである。決定部１０２は、ステップＳ４０３で生成した特徴設置位置候補のリストに存在する特徴設置位置候補の各々について、配置すべき特徴パターンを選択する処理（Ｓ４０５〜Ｓ４０７）を行う。

ステップＳ４０５ａ〜ステップＳ４０５ｂは、ステップＳ４０６によるパターン評価値の算出処理を、特徴パターンＤＢ１０４に登録されている各特徴パターン候補について実行するための処理ループである。決定部１０２は、特徴パターンＤＢ１０４に登録されている特徴パターン候補の各々に関してパターン評価値を算出する処理（Ｓ４０６）を行う。ステップＳ４０６において、決定部１０２は、注目する特徴設置位置候補における特徴パターン候補のパターン評価値を算出する。ここではパターン評価値として、以下で述べる位置合わせ適合度とコンテンツ適合度の積が用いられる。

位置合わせ適合度は計測視点の位置姿勢算出の精度や安定性が高いほど大きくなる評価値である。十分な数の特徴を検出できれば安定して位置姿勢算出ができるため、たとえば、位置合わせ適合度として、特徴パターンの位置合わせ属性にある検出可能特徴数（コーナー点の数）を用いる。一方、コンテンツ適合度は、計測視点の位置姿勢を利用するアプリケーションやそのユーザ、周囲の環境などに、特徴パターンが適合しているほど大きくなる評価値である。本実施形態ではコンテンツ適合度として、特徴パターンから検出される直線の割合を用いることで、周囲の環境と類似する形状を持つ特徴パターンが選択されるようにする。具体的には、特徴パターンのコンテンツ属性にある形状情報に含まれる特徴パターンの画像より検出される線分から直線の割合を算出し、ステップＳ４０３で算出した環境のコンテンツ属性（環境の画像から検出した直線の割合）との類似度をコンテンツ適合度とする。すなわち
1−｜特徴パターンに含まれる直線の割合−環境に含まれる直線の割合｜
をコンテンツ適合度として算出する。

以上のようにして、各特著パターン候補のパターン評価値が算出されると処理はステップＳ４０７へ進む。ステップＳ４０７において、決定部１０２は、ステップＳ４０６で算出したパターン評価値が最も大きい特徴パターン候補を、注目する特徴設置位置に設置すべき特徴パターンとして選択する。以上の処理をすべての特徴設置位置候補について実行することにより、各特徴設置位置候補に配置すべき特徴パターンが決定される。

以上のように、第１実施形態によれば、高精度に計測装置（カメラ）の位置姿勢を算出するために設置すべき特徴パターンとその設置位置が自動的に決定され、ユーザに提示することができる。これによってユーザは試行錯誤をせずに設置すべき特徴パターンとその設置位置が分かるようになり、特徴パターンの設置作業時間を短縮することができる。

＜変形例１−１＞
第１実施形態では、分布算出部１０１で特徴分布を算出するために、計測装置１１１（カメラ）で取得した画像を用いた。しかしながら特徴分布を算出するための画像はこのような撮影された２次元画像に限られるものではない。たとえば、特徴分布を算出するための画像は、不図示の記憶装置から取得された画像であっても良いし、環境の３次元モデル、ＣＡＤモデル、形状モデルなどに基づいて生成された環境のシミュレーション画像であっても良い。

また、第１実施形態では、分布算出部１０１が算出する特徴分布として、画像から抽出したコーナー点の座標値のリストを用いたが、特徴分布は観測し得る特徴の分布を表していればよく、これに限られるものではない。たとえば、特徴分布は特徴の確率分布であっても良い。また、特徴はコーナー点でなくともよく、計測視点の位置姿勢算出に用いる特徴、またはその特徴に相関のある特徴であればよい。例えば、特徴は、ＳＩＦＴ特徴などの画像特徴や線分、輝度勾配、画像フィルタに応答のある箇所であってもよい。

＜変形例１−２＞
決定部１０２は、特徴分布が計測視点の位置姿勢算出に適するように特徴パターン及びその設置位置を決定できれば良い。たとえば、特徴設置位置候補の算出において、第１実施形態では、画像を矩形領域に分割したときの各領域中心の２次元位置（中心座標）を用いたが、これに限られるものではない。特徴設置位置候補は、計測データまたは環境の空間を分割した領域であればよく、たとえば、画像中のオブジェクトの種別の認識に基づいて領域分割した分割領域や、ユーザがＧＵＩ等から指示した領域であっても良い。

＜第２実施形態＞
＜概要＞
第１実施形態では、環境におけるカメラ位置姿勢を高精度に計算するための好適な特徴パターンとその設置位置を決定し、ユーザに提示する構成を説明した。第２実施形態では、環境の２次元画像に加えて３次元情報を計測し、好適な特徴パターンとその設置位置の決定に加えて、特徴パターンの大きさも決定する。そのために、第２実施形態では、ＨＭＤ１１０が計測装置１１１としてカメラ及び３次元計測センサを備え、分布算出部１０１は環境の３次元形状を取得するとともに、環境を撮影した画像から検出された特徴（コーナー点）の３次元位置を取得する。そしてコーナー点の３次元位置の分布の均一度を表す位置合わせ評価値が算出され、この位置合わせ評価値を高くするように特徴パターンとその設置位置が決定される。また、特徴パターンの大きさは、設置位置の空間に関して特定された面の大きさ（たとえば、面当てはめにより特定された面の大きさ）に基づいて決定される。さらに決定された特徴パターンがプリンタに出力される。これによりユーザは出力された特徴パターンを、ＨＭＤ１１０に表示される指示に従って環境に設置することで、適切に特徴パターンが配置された空間を得ることができる。

＜構成＞
第２実施形態の構成は図１で示す第１実施形態の構成と同様である。以下では主としてその差分について説明する。

ＨＭＤ１１０には計測装置１１１として２次元画像を撮影可能なカメラと距離画像を撮影可能な３次元センサ、表示装置１１２が搭載されている。分布算出部１０１は、計測装置１１１で取得した２次元画像から特徴としてのコーナー点を検出し、検出したコーナー点に対応する３次元位置を距離画像から取得することにより特徴の３次元分布を取得する。第２実施形態ではコーナー点の３次元座標のリストを特徴分布とする。

決定部１０２は、分布算出部１０１で取得した特徴の３次元分布に基づいて、特徴パターンとその設置すべき位置を決定する。第２実施形態では特徴の３次元分布の均一性を表す評価値を位置合わせ評価値として用い、特徴パターンを設置することで大きく位置合わせ評価値が向上する３次元位置を特徴パターンの設置位置として決定する。また、決定部１０２は、設置すべき特徴パターンとして、第１実施形態と同様に、パターン評価値の高い特徴パターンを設置すべき特徴パターンとして決定する。またその際に決定部１０２は、環境の３次元情報に基づいて設置可能な特徴パターンの大きさも決定する。

提示部１０３では、計測装置１１１で撮影した画像に、決定部１０２で決定した特徴パターンを決定した位置に設置した場合の合成画像を重畳し、ＨＭＤ１１０の表示装置１１２に出力する。このとき、提示部１０３は、計測装置１１１の３次元センサで取得した３次元情報も用いて、実際にシーンに特徴パターンを設置した時の見えを再現した合成画像を生成し、提示する。

＜処理の流れ＞
第２実施形態の処理の流れについて図２のフローチャートを用いて説明する。第２実施形態の処理においては第１実施形態の処理と同様の部分があり、以下では主にその差分について説明する。

ステップＳ２０１において、分布算出部１０１は計測装置１１１で観測し得る特徴の分布を取得する。第２実施形態においては、分布算出部１０１は、ＨＭＤ１１０に搭載された計測装置１１１が観測するコーナー点の３次元位置のリストを特徴分布として算出する。具体的には、分布算出部１０１は、計測装置１１１から、環境の計測データとして、カメラで撮影した２次元画像と３次元センサで計測した距離画像を取得する。分布算出部１０１は、２次元画像からコーナー点を検出し、距離画像からコーナー点が検出された２次元座標に対応する３次元座標を取得することでコーナー点のカメラから見た３次元位置（３次元座標）を算出する。

ステップＳ２０２において、決定部１０２は、特徴分布（コーナー点の３次元位置の分布）及び計測装置１１１で計測した環境の計測データに基づいて、設置する特徴パターンとその大きさ、特徴パターンを設置する３次元の位置及び姿勢を決定する。本ステップの処理内容については後述する。

ステップＳ２０３において、出力部１２１は、ステップＳ２０２で決定した特徴パターンとその大きさに従って、特徴パターンを出力装置１２２に出力し印刷する。そして、ステップＳ２０４において、提示部１０３は、ステップＳ２０２で決定された特徴パターンを、決定された３次元位置に、決定された姿勢で設置した場合の合成画像を生成し、表示装置１１２に表示する。図５は図３（Ａ）で示した環境がカメラで撮影されたときの特徴パターンとその大きさ、設置位置および姿勢を提示する画像の一例である。表示する画像は次のように生成される。

提示部１０３は、まず計測装置１１１で計測した環境の距離画像から、ＳＬＡＭ（Simultaneous Localization and Mapping）技術を用いて計測装置１１１の計測視点位置姿勢を算出する。次に、提示部１０３は、ステップＳ２０２で決定した３次元位置及び姿勢に、ステップＳ２０２で決定した特徴パターンを設置したときに計測装置１１１の計測視点位置姿勢から観測される特徴パターンのシミュレーション画像２２を生成する。そして、提示部１０３は、そのシミュレーション画像２２を計測装置１１１のカメラで撮影した画像の矩形領域２１に重畳する。ユーザは提示された画像に従って、シミュレーション画像２２で示された特徴パターンの様子と同じになるように、印刷された特徴パターンを設置すれば良い。

次に図４のフローチャートを用いて決定部１０２の処理、すなわち特徴パターンとその大きさ、設置位置を決定するステップＳ２０２の処理内容を説明する。処理の多くは第１実施形態と同様であり、以下では、主として第１実施形態との差分を説明する。

ステップＳ４０１において、決定部１０２は、特徴分布の修正目標を設定する。第２実施形態では、位置合わせ評価値として所定の数以上の特徴を含むボクセルの総和を用いるため、特徴分布の修正目標として、ボクセル内に含まれる特徴の数Ｎを設定する。なお修正目標を設定しない場合は既定の値（例えば１）を設定すれば良い。次に、ステップＳ４０２において、決定部１０２は、環境の属性情報を取得する。ここでは環境のコンテンツ属性として、第１実施形態と同様に、計測装置１１１で計測した画像を解析し、画像から検出される線の内、直線の割合を算出する。

ステップＳ４０３において、決定部１０２は、特徴を追加し得る複数の位置を特徴設置位置候補として生成する。具体的には以下の手順で特徴設置位置候補が生成される。まず、決定部１０２は、ステップＳ２０１で取得された特徴の３次元分布に対して計測装置の位置姿勢推定精度の良し悪しを評価する位置合わせ評価値を算出して保持する。位置合わせ評価値は画像中のコーナー点の３次元位置の分布の均一度を表す値であり、たとえば次の手順で任意の特徴の分布に対して算出される。まず計測装置１１１が観測し得る環境の空間を分割したボクセル空間を生成する。計測視点から観測可能なボクセルに対して当該ボクセルにコーナー点がＮ個以上含まれる場合は位置合わせ評価値に１を加算して得られる総和を位置合わせ評価値とする。

次に、決定部１０２は、画像を互いに重複しない所定のサイズの矩形領域に分割し、それぞれの矩形領域に対応する距離画像に面当てはめを行い、その面の中心の３次元位置と向きから決めた設置位置姿勢と、面の領域情報を特徴設置位置候補として保持する。なお、設置位置姿勢は、たとえば、面の中心の３次元位置を示す設置位置と、面の向きをＺ方向、鉛直方向をＹ方向とした設置姿勢とを含む。

そして、決定部１０２は、各特徴設置位置候補に仮の特徴パターンを追加した場合の特徴分布に対して位置合わせ評価値を算出し、保持する。第１実施形態と同様に、仮の特徴パターンは特徴パターンＤＢ１０４から無作為に選択した特徴パターンを用い、ステップＳ４０２では各特徴設置位置候補に対して同じ特徴パターンを用いることとする。決定部１０２は、さらに、特徴設置位置候補の中から、特徴パターンを設置した場合の位置合わせ評価値の向上量が所定の値以上となる特徴設置位置候補を抽出し、最終的な特徴設置位置候補のリストを生成する。

ステップＳ４０４ａ〜ステップＳ４０４ｂは、Ｓ４０５〜Ｓ４０７の処理を各特徴設置位置候補について実行するための処理ループである。決定部１０２は、ステップＳ４０３で生成した特徴設置位置候補のリストに存在する特徴設置位置候補の各々について、配置すべき特徴パターンを選択する処理（Ｓ４０５〜Ｓ４０７）を行う。

ステップＳ４０５ａ〜ステップＳ４０５ｂは、ステップＳ４０６によるパターン評価値の算出処理を、特徴パターンＤＢ１０４に登録されている各特徴パターン候補について実行するための処理ループである。第１実施形態と同様に、決定部１０２は、ステップＳ４０３で生成された特徴設置位置候補のリストに記述された特徴設置位置候補の各々について、ステップＳ４０６で算出したパターン評価値が最大となる特徴パターンを選択する。さらに、決定部１０２は、特徴設置位置候補が保持する面の領域情報に基づいて、特徴設置位置の３次元面領域内に収まり、かつ最大の大きさになるように、印刷する特徴パターンの大きさを決定する。具体的には、たとえば、特徴パターンが面領域内に収まるかどうかテストしながら、２分探索により特徴パターンの大きさを決定すれば良い。

以上の処理により、第３実施形態によれば、高精度に計測装置の位置姿勢を算出するために好適な特徴パターンとその大きさ、設置する３次元位置姿勢を決定・出力し、ユーザに提示することができる。これによってユーザは設置すべき特徴パターンとその設置位置が３次元的に分かるようになり、また設置する特徴パターンの大きさも適切に決定された状態で印刷されるため、特徴パターンの設置作業時間を短縮することができる。

＜変形例２−１＞
上述した第２実施形態では、分布算出部１０１で特徴分布を算出するために、カメラ及び三次元センサからなる計測装置１１１で取得された計測データ（画像及び距離画像）を用いたがこれに限られるものではない。計測データは、たとえば不図示の記憶装置から取得したものであっても良いし、環境の形状モデルに基づいて生成した環境のシミュレーション画像や距離画像を利用して取得したものであっても良い。

また特徴分布の特徴は、コーナー点に限らず、３次元特徴や３次元点、３次元線分など計測視点の位置姿勢算出に用いる特徴、またはその特徴に相関のある特徴であればよい。また、特徴分布は位置だけでなく、向きの分布であっても良いし、分布の正確性を表す点の数も利用しても良い。特徴分布も３次元座標のリストに限らず、確率分布や向きの分布であっても良いし、分布の正確性を表す点の数も利用しても良い。

＜変形例２−２＞
特徴設置位置候補の取得において、第２実施形態では、距離画像に当てはめた面から３次元の位置姿勢を取得したがこれに限られるものではない。たとえば、環境の３次元空間を分割したボクセルの位置でも良いし、画像や距離画像、３次元点群などの計測データを領域分割した分割領域の位置や分割領域から抽出した面などの幾何情報の位置姿勢であっても良い。またユーザがＧＵＩで図示した領域であっても良い。

［第３実施形態］
＜概要＞
第１および第２実施形態では設置する特徴パターンを特徴パターンＤＢ１０４から選択する方法を説明した。しかしながら、事前に用意された特徴パターンではなく、環境に応じてその都度特徴パターンを生成して用いるようにしても良い。第３実施形態では、第２実施形態で説明した構成をベースとして、環境の特徴分布に従って特徴パターンを生成し、出力する方法について述べる。なお、第３実施形態の構成を第１実施形態に適用して、特徴パターンＤＢ１０４から特徴パターンを選択する構成に代えて、環境に応じた特徴パターンを生成するように構成できることは明らかである。

＜構成＞
第３実施形態の構成は第２実施形態の構成（図１）と同様であるが、決定部１０２の処理が異なる。以下では、主として第３実施形態と第２実施形態との差分について説明する。なお、本実施形態ではカメラ位置姿勢の算出に用いる特徴として、コーナー点を用いている。そのため、決定部１０２は、コーナー点が環境に均一に分布するように、かつ環境に適合するように特徴パターンを生成する。

＜処理の流れ＞
第３実施形態の処理の流れは、図２のフローチャートを参照して説明した第２実施形態の処理の流れと同様であるが、特徴パターン及び設置位置を決定するステップＳ２０２の処理が異なる。以下、第３実施形態によるステップＳ２０２の処理について、図６のフローチャートを用いて説明する。図６において、ステップＳ４０１〜Ｓ４０３は、第２実施形態と同様である。ステップＳ６０４ａ〜Ｓ６０４ｂのループにおいて、決定部１０２は、ステップＳ４０３で生成した特徴設置位置候補の各々に対して適切な特徴パターンを生成する。

ステップＳ６０５において、決定部１０２は、図形を組み合わせることで特徴パターンを生成する。決定部１０２は、まず特徴設置位置が保持する面の領域情報から、３次元の平面領域内に収まる長方形を生成する。具体的には２分探索を用いて、長方形の短辺と長辺を決定する。次に、ステップＳ６０６において、決定部１０２は、ステップＳ４０２で取得した環境の属性情報である環境を計測した画像から検出した直線の割合と同じ割合になるように、生成した長方形を加工する。より具体的には、環境の属性情報の直線の割合と、生成した図形の直線の割合の差が所定の閾値以下になるまで、ステップＳ６０５で生成された長方形からランダムな位置と大きさに生成した長方形や円形を削っていく。このとき、特徴パターンから検出できる特徴の数がステップＳ４０１で指定した個数Ｎより小さくなった場合には、図形の生成をやり直しＮ個以上の特徴（コーナー点）が検出できるようにする。なお所定の回数やり直しても検出できる特徴数がＮ個を下回った場合には、図形の生成演算を途中で打ち切り、環境の属性情報が示す直線の割合に関わらず、特徴がＮ個以上検出可能な図形を生成するようにしても良い。

ステップＳ６０７において、決定部１０２は、以上のようにして生成された図形を、注目している特徴設置位置候補に設置する特徴パターンとして決定し、記憶する。記憶された特徴パターンは、ステップＳ２０３において、出力部１２１により出力装置１２２に出力され、印刷される。

以上の処理により、第３実施形態によれば、高精度に計測装置の位置姿勢を算出するために好適な特徴パターンが自動で生成される。また、そのような特徴パターンの設置位置姿勢も自動的に決定され、ユーザに提示される。これによって計測視点の位置姿勢算出や環境に適する特徴を用意できなかった場合であっても、ユーザは、好適な特徴パターンを設置することができる。

＜変形例３−１＞
第３実施形態では、長方形や円形などのプリミティブ形状を組み合わせて、環境に適合する特徴パターンを生成した。しかしながら特徴パターンの生成方法はこれに限らない。プリミティブ形状は楕円形や多角形など、どのような形状であっても構わないし、組み合わせ方は加算や減算、ＸＯＲ演算など、どのような演算でも構わない。また、形状は２次元に限らず、多面体や角柱、球体などの３次元であっても良い。また、形状を表す多項式や関数、フラクタルを利用して特徴パターンを生成しても良いし、複数の特徴パターンを組み合わせて大きな特徴パターンを生成しても良い。さらに環境を計測して環境中に存在する物体の形状やテクスチャをコピーしても良い。

これらの特徴パターンは、組み合わせるプリミティブの種類や演算の種類、多項式の係数、コピーする形状やテクスチャのＩＤ、特徴パターン間の間隔や配置などのパラメータによって形状が決定される。したがって、パターン評価値が所定の閾値以上になる特徴パターンが生成されるパラメータの組み合わせを、ランダム探索や、遺伝的アルゴリズム、非線型最適化などを用いて決定しても良い。例えば、パターン評価値を表す評価関数が最小になるように非線型最適化問題を解くことで、特徴パターンの生成関数のパラメータを求め、求めたパラメータを用いて特徴パターンを生成しても良い。

さらに環境を撮影した画像から、環境に似ていてかつ特徴が検出可能な色やテクスチャを特徴パターンの色に設定しても良いし、特徴パターンにテクスチャを貼りつけても良い。例えば、環境に多く存在する色や特徴設置位置の背景色を抽出し、その色と同じ彩度と色相を持ち、かつ輝度が大きく異なる色を決定すれば、環境に似ていてかつ特徴が検出可能な色を決定することができる。

さらに、特徴パターンの形状を決定するパラメータをランダムに設定して特徴パターンを生成して特徴パターンＤＢ１０４に登録し、第１および第２実施形態の方法に適用しても良い。

［第４実施形態］
＜概要＞
特徴を近くから観測する場合は観測範囲に占める割合が大きいため、特徴分布への影響が大きいが、同じ面積（または体積）の特徴を遠くから観測する場合は観測範囲に占める割合が小さくなるために特徴分布への影響が小さくなる。そこで第４実施形態では、計測視点の位置姿勢を利用するシステムにおける計測視点の移動範囲内において、その計測視点の位置姿勢を高精度に計算するために必要十分な特徴パターンとその設置位置を決定し出力する方法について述べる。

＜構成＞
上述のように、計測視点に近い位置に設置する特徴パターンほど計測範囲に占める割合が大きいため特徴分布への影響が大きい、すなわち計測視点の位置姿勢の推定精度への影響が大きい。そこで本実施形態では、移動範囲内の複数の計測視点において特徴パターンの設置位置を算出し、計測視点に近い特徴設置位置候補の特徴分布が均一になるように、かつ環境に適合するように特徴パターンとその大きさ、設置位置を決定する。

第４実施形態の情報処理装置１００のブロック構成図を図７に示す。以下に第４実施形態における情報処理装置１００の構成について説明する。情報処理装置１００は、第２実施形態と同様に、分布算出部１０１、決定部１０２、提示部１０３、特徴パターンＤＢ１０４を有する。但し、第４実施形態の情報処理装置１００には、移動範囲取得部１０５が加えられている。ＨＭＤ１１０、計測装置１１１、表示装置１１２、出力部１２１、出力装置１２２はそれぞれ第２実施形態と同様の構成である。以下では、主として第２実施形態との差分について説明する。

移動範囲取得部１０５は、計測視点の位置姿勢を利用するシステムの計測視点の移動範囲を取得する。本実施形態では移動範囲として、計測視点の位置姿勢のリストを不図示の記憶装置から読み出して利用する。なお、位置姿勢のリストは、計測装置１１１から所定の時間間隔で定期的に位置姿勢情報を取得し、これをリストとして記録したものである。本実施形態では、移動範囲取得部１０５がリストの生成を行うものとする。決定部１０２は、分布算出部１０１で取得した特徴分布及び移動範囲取得部１０５で取得した移動範囲に基づいて、設置すべき特徴パターンとその設置位置、大きさを決定する。本実施形態では計測視点に近い特徴設置位置候補の特徴分布が均一になるように、かつ環境に適合するように特徴パターンとその大きさ、設置位置を決定する。

＜処理の流れ＞
第４実施形態では、移動範囲内の複数の視点から観測したときの位置合わせ評価値が大きく向上する特徴パターンの設置位置において、パターン評価値の高い特徴パターンを設置すべき特徴パターンとして決定する。なお、特徴パターンの設置位置が重なった場合には、計測視点に近い方の特徴設置位置を選択する。以下、本実施形態の処理の詳細を図８のフローチャートに沿って説明する。本実施形態の処理の流れは第２実施形態の処理の流れ（図２のフローチャート）と同様の部分があり、以下では、主にその差分について説明する。

ステップＳ８０１において、移動範囲取得部１０５が、計測視点の位置姿勢を利用するシステムの計測視点の移動範囲を不図示の記憶装置から読み出す。ここでは、上述したように計測視点の位置姿勢のリストが取得される。次に、ステップＳ８０２において、分布算出部１０１は計測装置１１１で観測し得る特徴の分布を取得する。本実施形態においては、ステップＳ８０１で取得された複数の計測視点で観測されるコーナー点の３次元位置のリストを特徴分布として算出する。より具体的には、各計測視点で観測される２次元画像と距離画像を用いて、画像から検出されるコーナー点に対応する３次元座標のリストを特徴分布として取得する。特徴分布は、計測視点ごとに取得される。ここで特徴の座標系は環境の基準座標系である。なお、計測視点ごとの特徴分布の取得処理は、第２実施形態（ステップＳ２０１）と同様である。

ステップＳ８０３において、決定部１０２は、コーナー点の３次元位置の分布からなる特徴分布、及び計測装置１１１で計測した環境の計測データ、ステップＳ８０１で取得した移動範囲に基づいて設置する特徴パターンとその大きさ、設置位置を決定する。その後のステップＳ２０３、Ｓ２０４の処理は、第２実施形態と同様である。以下、ステップＳ８０３の処理内容について図４のフローチャートを用いて説明する。

ステップＳ４０１において、決定部１０２は、特徴分布の修正目標を設定する。本実施形態では、第２実施形態と同様に、位置合わせ評価値として所定数以上の特徴を含むボクセルの総和を用いるため、特徴分布の修正目標として、ボクセル内に含まれる特徴の数の目標値Ｎを設定する。なお修正目標を設定しない場合は既定の値（例えば１）を設定すれば良い。次に、ステップＳ４０２において、決定部１０２は、環境の属性情報を取得する。第１〜第３実施形態と同様に、決定部１０２は、適合度を算出するために計測装置１１１で計測した画像を解析し、画像から検出される線の内、直線の割合を算出し、環境の属性情報とする。

ステップＳ４０３において、決定部１０２は、ステップＳ８０１で取得した移動範囲（計測視点の位置姿勢のリスト）とステップＳ８０２で取得した特徴分布（コーナー点の３次元位置のリスト）に基づいて、特徴設置位置候補を生成する。具体的には、決定部１０２は、以下の手順で特徴設置位置候補を生成する。

まず、決定部１０２は、環境の空間を分割したボクセル空間を生成する。そして、決定部１０２は、移動範囲の各計測視点において、位置合わせ評価値を算出する。ここで位置合わせ評価値には、第２実施形態と同様に、計測視点から観測可能なＮ個以上の特徴を含むボクセルの総和が用いられる。なお、処理対象となる計測視点は、位置姿勢のリストに登録されている各計測視点である。或いは、登録されている複数の計測視点により決定された計測視点の移動範囲の任意の点を計測視点として抽出するようにしてもよい。たとえば、設定された移動範囲内からランダムに選択された位置を処理対象の計測点とするようにしてもよい。

次に、決定部１０２は、計測視点ごとに、特徴設置位置候補を算出する処理を行う。計測視点ごとの特徴設置位置候補の算出は第２実施形態と同様である。具体的には、決定部１０２は、各計測視点から観測される画像を分割した矩形領域に対応する距離画像に面当てはめを行い、その面の中心の３次元位置と向きから決めた設置位置姿勢と、面の領域情報を算出し、特徴設置位置候補とする。そして決定部１０２は、各特徴設置位置候補に仮の特徴パターンを追加した場合の特徴分布に対する位置合わせ評価値を算出し、位置合わせ評価値の向上量が所定の値以上となる特徴設置位置候補を抽出し、最終的な特徴設置位置候補のリストを生成する。最終的な特徴設置位置候補のリストには、複数の計測視点から生成された特徴設置位置候補が混在している。

ステップＳ４０４ａ〜ステップＳ４０４ｂは、Ｓ４０５〜Ｓ４０７の処理を特徴設置位置候補のリストにある各候補について実行する処理ループである。決定部１０２は、ステップＳ４０３で生成した特徴設置位置候補のリストに存在する特徴設置位置候補の各々について、配置すべき特徴パターンを選択する処理（Ｓ４０５〜Ｓ４０７）を行う。ただし第２実施形態と異なり、複数の視点から生成した特徴設置位置候補が混在している。上述のように、特徴パターンの大きさが同じであれば、設置位置が計測視点に近いほど、計測視点の視野に占める割合が大きくなり、計測視点の位置姿勢算出への影響が大きくなる。そこで本実施形態では、特徴設置位置候補が重なった場合にはより計測視点に近い特徴設置位置候補を選択するようにする。具体的には、１つのボクセルに複数の特徴設置位置候補が対応付けられた場合に、より近い計測視点から生成された特徴設置位置候補を残し、遠い方の特徴設置位置候補を特徴設置位置候補のリストから除外する。

ステップＳ４０５ａ〜ステップＳ４０５ｂは、ステップＳ４０６によるパターン評価値の算出処理を、特徴パターンＤＢ１０４に登録されている各特徴パターン候補について実行するための処理ループである。決定部１０２は、特徴パターンＤＢ１０４に登録されている特徴パターン候補の各々に関してパターン評価値を算出する処理（Ｓ４０６）を行う。ステップＳ４０６において、決定部１０２は、特徴パターンＤＢに登録されている特徴パターン候補の各々に対して、第２実施形態と同様に、注目している特徴設置位置候補における特徴パターン候補のパターン評価値を算出する。

ステップＳ４０７において、決定部１０２は、ステップＳ４０６で算出したパターン評価値が最も大きかった特徴パターン候補を、現在処理中の特徴設置位置候補に設置すべき特徴パターンとして選択する。さらに、決定部１０２は、特徴設置位置が保持する面の領域情報に基づいて、特徴設置位置の３次元面領域内に収まり、かつ最大の大きさになるように特徴パターンを印刷する大きさを決定する。

以上の処理により、計測視点の移動範囲内の任意の計測視点において、高精度にカメラの位置姿勢を算出するために好適な特徴パターンとその設置位置や大きさを決定することができ、特徴パターンの設置作業の時間を短縮することができる。

＜変形例４−１＞
第４実施形態では、複数の計測視点を考慮した際に、特徴設置位置候補が視点間で重なった場合、計測視点に近い方の特徴設置位置を優先して特徴パターンとその設置位置を決定した。しかしながら、特徴パターン及び設置位置の決定方法はそれに限らない。特徴パターンの検出可能性を考慮し、任意の計測視点から検出可能な特徴パターン及び設置位置を決定しても良い。具体的には、第４実施形態のステップＳ２０２において、以下のような処理を行えばよい。この処理内容について、上述の第４実施形態と異なる部分を図４のフローチャートを用いて説明する。なお、ここでは、特徴パターンＤＢ１０４が保持する各特徴パターンは、位置合わせ属性として検出可能距離の最大と最小からなる検出可能距離範囲を有するものとする。

ステップＳ４０３において、決定部１０２は、特徴パターンの設置位置姿勢と面の領域情報を保持する特徴設置位置候補を取得する。さらに、決定部１０２は、環境の空間を分割したボクセルの中で特徴設置位置候補の面領域を含むボクセルを特徴設置位置の候補ボクセルとして、特徴設置位置候補と関連付ける。そして、決定部１０２は、各候補ボクセルについて、候補ボクセルの中心から各計測視点までの距離の最大値と最小値を算出し、これらを候補ボクセルの観測範囲として記憶する。

ステップＳ４０４ａ〜Ｓ４０４ｂの処理ループにおいて、決定部１０２は、ステップＳ４０３で生成された特徴設置位置候補の各々に対して特徴パターンを決定する処理を行う。ただし、この処理ループにおいては、特徴設置位置候補が保持する面領域（設置面）の面積が大きいものから順に処理し、処理が完了したら特徴設置位置候補に関連付けたボクセルに設置済みのフラグを立てる。以降、設置済みのフラグが立っているボクセルに関連づいた特徴設置位置候補については処理をスキップする。

ステップＳ４０５ａ〜Ｓ４０５ｂは、特徴パターンＤＢ１０４に登録されている各特徴パターン候補に対して処理を行うループである。ただし特徴パターンＤＢ１０４の中から、注目する特徴設置位置候補に関連づいたボクセルが保持している観測範囲を満たす検出可能距離範囲を位置合わせ属性として有する特徴パターン候補が本処理ループの処理対象として選択される。ステップＳ４０６において、決定部１０２は、処理対象として選択された特徴パターン候補の各々について、第４実施形態と同様に、注目する特徴設置位置候補におけるパターン評価値を算出する。

ステップＳ４０７において、決定部１０２は、ステップＳ４０６で算出したパターン評価値が最も大きかった特徴パターン候補を、設置すべき特徴パターンとして選択する。さらに、決定部１０２は、特徴設置位置が保持する面の領域情報に基づいて、特徴設置位置の３次元面領域内に収まり、かつ最大の大きさになるように特徴パターンを印刷する大きさを決定する。なお、上記説明では、ボクセル（特徴設置位置候補の面領域）から複数の計測視点までの距離の最大値と最小値が検出可能距離範囲にある特徴パターンを選択するようにしたが、最大値側のみが用いられてもよい。すなわち、ボクセル（特徴設置位置候補の面領域）から複数の計測視点までの距離の最大値が検出可能距離範囲にある特徴パターンを選択するようにしてもよい。この場合、検出可能距離範囲として最大の距離のみが規定されていればよい。

＜変形例４−２＞
計測視点の移動範囲は計測視点の位置姿勢のリストに限らず、環境の特徴を観察し得る視点の範囲を取得できれば良い。このような視点の範囲を表す領域は３次元領域であっても２次元領域であっても良い。また、視点の範囲に加えて観察方向や視野が移動範囲として取得されても良い。観察方向や視野に基づいて設置位置候補となるボクセルを制限することができ、より適切に特徴パターンの配置位置を提示することができるからである。視点の移動範囲の取得方法は、記憶装置からの読み込みに限られるものではなく、たとえば、ユーザがＧＵＩにより指定することで取得されても良いし、ユーザが移動する様子を計測した結果から取得されても良い。

例えば移動範囲として３次元領域を用いた場合、決定部１０２はその３次元領域から所定の間隔で３次元位置をサンプリングする。次にサンプリングした３次元位置に全周囲の視線方向を掛け合わせ、計測視点の位置姿勢とする。全周囲の視線方向は、所定の分割数のジオデシックドームの中心から頂点への方向を算出することで求められる。また視線方向は全周囲でなくても良く、たとえば、移動範囲に加えて視線のとり得る範囲を取得し、視線方向の範囲を絞っても良い。

＜変形例４−３＞
変形例４−１では、特徴設置位置候補を決定する際に、特徴の検出可能性をボクセルと計測視点との距離（ボクセルの観測範囲）に基づいて評価している。しかしながらボクセルの観測範囲は、当該ボクセルを観測可能な計測視点までの距離の最大値と最小値にするだけでなく、単純に移動範囲全体との最長距離と最短距離としても良い。

また視点の移動範囲と特徴設置位置の関係に基づいて、検出可能距離範囲で位置合わせ適合度を評価しても良い。たとえば、視点と特徴設置位置との距離Ｚが遠くなると観測可能な画像上での大きさは１／Ｚになるため、視点と特徴設置位置との距離に応じて位置合わせ適合度を評価しても良い。その場合、例えば距離Ｚに応じて評価値（位置合わせ適合度）を１／Ｚ倍すれば良い。また、通常のカメラでは特徴パターンは正面よりも斜めから観測するほど歪んで観測される。たとえば、物体表面に対する視線の角度をθとすると画像上での大きさはsinθ倍になるため、特徴の検出が難しくなる。よって視点と特徴設置位置との角度も考慮して評価しても良い。その場合、たとえば角度θに応じて評価値をsinθ倍しても良い。

＜変形例４−４＞
上記実施形態では、特徴パターンのサイズを面領域に収まる最大のサイズとしたが、これに限られるものではなく、特徴パターンのサイズは、特徴設置位置候補が保持する面領域に収まる最大のサイズにしなくても良い。例えば、適合度の高い特徴パターンのサイズの検出可能距離範囲が観測範囲に合うようにサイズを決定しても良い。すなわち、特徴設置位置候補の面領域内に納まり、かつ検出可能距離範囲が観測範囲を満たすように、適合度の高い特徴パターンとその大きさを決定するようにしても良い。

また複数の特徴パターンを組み合わせて条件を満たす特徴パターンを生成しても良い。例えば観測範囲を満たすパターンになるように、異なる検出可能距離範囲を持つ特徴パターンを組み合わせても良い。組み合わせる際に観測範囲を考慮して、組み合わせる特徴パターンの間隔を決めても良い。類似パターンが環境に多く発生すると計測視点の位置姿勢算出時に誤対応が発生し、精度が低下する場合があるため、既に決定した特徴パターンと類似する特徴パターンを選択、生成しないようにしても良い。特徴パターンの組み合わせは、組み合わせ最適化問題を解いたり、条件を定式化した評価関数を定義し、遺伝的アルゴリズムなどを用いて評価値の高い組み合わせを探索したりすることで求めることができる。

＜変形例４−５＞
特徴設置位置候補を算出する方法について、第１〜第４実施形態では、画像を矩形領域に分割して特徴設置位置を算出したが、これに限られるものではない。計測データまたは環境の空間を分割した領域を特徴設置位置候補とすればよく、たとえば、画像を領域分割した分割領域やユーザがＧＵＩ等から図示した領域を特徴設置位置候補としてもよい。

＜変形例４−６＞
計測装置の位置姿勢の算出精度を表す評価尺度（位置合わせ評価値）は、ある視点における位置姿勢の算出精度に相関のある尺度であれば良い。第１〜第４実施形態では、特徴分布の均一さを表す尺度として、所定の数の特徴を内包する矩形領域やボクセルの総和を位置合わせ評価値とした。それ以外にも、特徴の位置や向きの確率分布の分散や標準偏差を評価値としても良いし、特徴の位置や向きを主成分分析した時の軸間の長さの比を評価値としても良い。さらに特徴分布の信頼度（すなわち、評価尺度）として特徴の数や割合を用い、特徴分布に重み付けをしても良い。また、当該特徴分布において計測視点の位置姿勢を計算した場合の計算精度を算出して評価尺度としてもよい。位置姿勢の精度は位置姿勢算出に用いる特徴の計測誤差に基づき、非特許文献１で開示されている方法を用いて算出できる。

位置合わせ評価値に従って特徴設置位置を決定する方法は、その位置に特徴パターンを設置することで位置合わせ評価値が高くなる特徴設置位置候補を選択または順位付けできれば良い。第１〜第４実施形態では位置合わせ評価値が大きく向上する位置を特徴設置位置として抽出したが、位置合わせ評価値が閾値以上の特徴設置位置候補を評価値の高い順に並べたリストを算出しても良い。

＜変形例４−７＞
第１〜第４実施形態では、好適な特徴パターンを選択するために、特徴パターンの属性と環境の属性のマッチング度合いを表すパターン評価値の高い特徴パターンを選ぶようにしている。ここで、第１〜第４実施形態では、パターン評価値として、特徴パターンの位置合わせ適合度とコンテンツ適合度の積を用いたがこれに限られるものではない。パターン評価値は環境に特徴パターンが合っているかどうかを表す指標であればよく、たとえば、位置合わせ適合度とコンテンツ適合度の重み付き和、位置合わせ適合度のみ、コンテンツ適合度のみのいずれであっても構わない。また位置合わせ適合度が所定の値より高い特徴パターンの中からコンテンツ適合度の高い特徴パターンを選択するようにしても良いし、コンテンツ適合度が所定の値より高い特徴パターンの中から位置合わせ適合度の高い特徴パターンを選択するようにしても良い。

また第１〜第４実施形態では、位置合わせ適合度として検出可能特徴数を用いたが、位置合わせ適合度は特徴パターンが計測視点の位置姿勢を算出するのにどれだけ貢献できるかを表す指標であれば良く、上記実施形態に限られるものではない。例えば計測視点位置姿勢算出に用いる特徴が線分であれば線分の検出数に基づく指標であっても良い。空間周波数や画像周波数が特徴検出手法に適しているか評価しても良い。また計測視点から観測する特徴分布全体が均一になるかどうかを表す指標であっても良いし、特徴パターンを設置した時の前記位置合わせ評価値であっても構わない。

またコンテンツ適合度についても、直線の割合だけに限るものではない。コンテンツ適合度は環境と特徴パターンがどれだけ合っているかを表す指標であればよく、特徴パターンが保持するコンテンツ属性と環境とのコンテンツ属性との適合具合を表す指標であればよい。たとえば、類似する幾何特徴の割合や数など、特徴パターンの形状と環境に含まれる形状の類似度に基づく指標であっても良いし、色相や彩度など色の類似度に基づく指標であっても良い。すなわち、環境の性質を指標化できればどのような指標の類似度で評価しても良い。

また、特徴パターンの選択において、環境の情景を認識し、特徴パターンに付与したキーワードやカテゴリとのマッチングをとっても良い。たとえば、環境の属性として位置姿勢計測を用いるアプリケーションの利用時刻や季節、場所などの情報が与えられるならば、それらの属性と特徴パターンが保持する属性とのマッチングの度合いを特徴パターン選択の指標としてもよい。環境の属性としては、アプリケーションのコンテンツ情報やユーザ情報に基づくものであっても良い。例えばアプリケーションのコンテンツが恐竜であれば、恐竜に関連するシダ植物や、展示物の注釈や案内板などの特徴パターンの適合度が高くなるように、コンテンツ及びその展示場所などとのキーワードやカテゴリ、ＴＰＯ（コンテンツの対象時間や場所、季節、目的など）との類似度を適合度としても良い。また嗜好や年齢、性別などのユーザの属性との適合度であっても良い。

＜変形例４−８＞
第１〜第４実施形態では、特徴パターンの設置位置を決定してから、設置位置に適した特徴パターンを決定する例を説明した。しかしながら、特徴パターンを決定してからその設置位置を決めても良いし、特徴パターンと特徴パターンの設置位置を同時に決定しても良い。例えば、設置する特徴パターンの指定を受け、サンプリングした特徴設置位置候補の中からその特徴パターンを設置した時に、位置合わせ評価値が最も高くなる位置を設置位置としても良い。

また、例えば、特徴パターンと特徴パターンの設置位置をパラメータとし、パターン評価値が最大となるパラメータを遺伝的アルゴリズムにより求めても良い。具体的には、
・特徴パターンのＩＤ、特徴パターンの設置位置をパラメータとしてとるパターン評価値の関数を定義し、
・パラメータが示す特徴パターンをパラメータが示す設置位置に設置した場合のパターン評価値が最大になるパラメータを、遺伝的アルゴリズムを用いて探索する、ことで、特徴パターンと特徴パターンの設置位置を決定する。

ただしパラメータを求める方法はこれに限らない。非線型最適化法や焼きなまし法、全探索法などを用いても良いし、パターン評価値が最大となるパラメータを求められればどのような方法であっても良い。

＜変形例４−９＞
第１実施形態では、特徴パターンをプリンタで印刷したが、出力部１２１は特徴パターンを出力できれば良い。例えば、カッティングプロッタで特徴パターンの形状を切り抜いたものを特徴パターンとしても良いし、切り抜きをマスクにして壁面などに塗料を塗っても良いし、塗料を使って壁面に直接描画しても良い。また、特徴パターンは、２次元図形に限らず、絵画やポスター、案内版、記号、テキストであっても良い。さらに、特徴パターンは、紙やシール、マグネット、壁紙、塗料など環境に設置できるものであれば良い。すなわち、特徴パターンは、計測視点の位置姿勢を算出するのに用いる特徴が検出できるものであれば良い。

また、特徴パターンは２次元に限らず、３次元であっても良い。計測視点の位置姿勢算出には、特徴が３次元的に分布している方がより安定かつ高精度に計算できる。３次元の特徴パターンの方が、特徴を３次元的に分布させやすいため、２次元の特徴パターンよりも好適な場合が多い。特徴パターンが３次元の場合、３Ｄプリンタを使って特徴パターンの形状や色をプリントすれば良い。また２次元のプリントを複数枚重ねて３次元形状を生成したり、折ったり加工したりして３次元形状を生成しても良い。

さらに、既存の物体を特徴パターンとして用いるならば出力部１２１はなくても良い。例えば椅子や机などの物体や既存のポスターや絵画を特徴パターンとして特徴パターンＤＢ１０４に登録し、利用しても良い。

＜変形例４−１０＞
提示部１０３は、ユーザに設置する特徴パターンとその位置または位置姿勢を提示できればよい。さらに、好適な順に並べられた特徴パターンのリストを提示し、設置すべき特徴パターンをユーザに選択させても良い。また、提示部１０３による特徴パターンの設置位置の提示は、ＨＭＤやプロジェクタを用いて現実の環境に特徴パターンとその設置位置を重畳表示することでなされても良いし、通常のディスプレイに環境を模したＣＧを用いてなされても良い。

なお、環境に重畳表示するためにはプロジェクタやＨＭＤの視点の位置姿勢を知る必要がある。固定プロジェクタであれば、事前に投影視点の位置姿勢を計測しておけばよい。ランタイム時に位置姿勢の変化するパンチルトプロジェクタやモバイルプロジェクタ、ＨＭＤであれば、パンチルト機構の制御情報やモニタ情報を利用してプロジェクタの位置姿勢を求めれば良い。また、トラッキング用のカメラや磁気センサなどの計測装置を利用して表示装置の位置姿勢を計測しても良いし、表示装置に取り付けた計測装置からの計測データを解析することで表示装置の位置姿勢を計測しても良い。またロボットにプロジェクタを搭載している場合は、ロボットの制御情報やモニタ情報を利用して表示装置の位置姿勢を取得しても良い。

＜実施形態の効果＞
第１実施形態における特徴パターン設置位置の提示方法によれば、ユーザは試行錯誤をせずに設置すべき特徴パターンとその設置位置が分かるようになり、特徴パターンの設置作業時間を短縮することができる。また、第２実施形態における特徴パターン設置位置の提示方法によれば、ユーザは設置すべき特徴パターンとその設置位置が３次元的に分かるようになる。また設置する特徴パターンの大きさも決定された状態で印刷されるため、特徴パターンの設置作業時間を短縮することができる。また、第３実施形態における特徴パターンの設置位置の提示方法によれば、計測視点の位置姿勢算出や環境に適する特徴パターンを用意できなかった場合であっても、好適な特徴パターンを生成し、設置することができる。さらに、第４実施形態の特徴パターンの設置位置の提示方法によれば、計測視点の移動範囲内の任意の計測視点において高精度にカメラの位置姿勢を算出するのに好適な特徴パターンとその設置位置や大きさを決定することができる。また、特徴パターンの設置作業の時間を短縮することができる。

＜定義＞
分布算出部１０１は、観測し得る特徴の分布を算出できればよく、その算出に用いるデータは、画像や距離画像、３次元点群、環境の３次元形状モデルやＣＡＤモデルの形状情報など、環境の再現ができる情報であればよい。また、算出に用いるデータは、カメラや３次元センサなどの計測装置で取得されてもよいし、記憶装置から読み出されてもよい。特徴分布は２次元分布でも３次元分布でもよい。また、特徴分布は、上述したデータから抽出された画像特徴や３次元特徴の分布であってもよいし、確率分布であってもよい。さらに特徴分布は位置だけでなく、向きの分布であっても良いし、分布の正確性を表す点の数も利用しても良い。

決定部１０２は、特徴分布が計測装置１１１の位置姿勢算出精度が向上するように特徴パターン及びその設置位置を決定できれば良い。それに加えて環境に適合する特徴パターンを決定しても良いし、特徴パターンの大きさも決定しても良い。また、決定部１０２は、特徴パターンの設置位置（特徴設置位置）を決めてからその設置位置に最適な特徴パターンを決定してもよいし、特徴パターンを決めてからその設置位置を決めてもよい。また特徴パターンの決定と設置位置の決定が同時に行われても良い。

特徴設置位置候補は、その位置に特徴パターンを設置することで、計測視点の位置姿勢の算出精度を表す評価尺度（位置合わせ評価値）が向上する位置を算出すればよい。特徴設置位置候補はユーザに提示される画像上の２次元位置であってもよいし、環境の空間上の３次元位置や位置姿勢であってもよい。環境の画像や距離画像、３次元モデルなどのデータを分割した領域の位置、ユーザがＧＵＩ等から図示した領域の位置（２次元または３次元）を特徴設置位置候補として用いることができる。あるいは、データを領域分割した領域の位置や向きを特徴設置位置候補として用いてもよい。

位置合わせ評価値は、ある視点における位置姿勢の算出精度に相関のある尺度であれば良い。第１乃至第４実施形態のように特徴を内包するセルの総和を用いても良いし、特徴分布の広さや特徴の数を用いても良いし、その特徴分布において計測装置の位置姿勢を計算した場合の計算精度を算出して評価尺度としてもよい。特徴分布は２次元であっても３次元であっても良い。

好適な特徴パターンの決定方法は、特徴パターンの位置姿勢の算出への適合度合い（位置合わせ適合度）からなるパターン評価値の高い特徴パターンに決定すれば良い。またパターン評価値は、特徴パターンが環境に適合しているかを表す指標（コンテンツ適合度）も含んでいても良い。さらに、位置合わせ適合度が所定の値よりも高い特徴パターンの中から、コンテンツ適合度の高い特徴パターンを選んでも良い。その逆に、コンテンツ適合度が所定の値より高い特徴パターンの中から位置合わせ適合度の高い特徴パターンを選択しても良い。特徴パターンは複数決定しても良いし、順位付けした特徴パターンのリストを提示し、ユーザに好適なものを選択させても良い。

パターン評価値は、位置合わせ適合度とコンテンツ適合度の積を用いても良い。また、位置合わせ適合度と適合度の重み付き和や、位置合わせ適合度のみ、コンテンツ適合度のみであっても構わない。位置姿勢の算出に適しているか、環境に特徴パターンが合っているかを表す指標であればよい。

位置合わせ適合度は特徴パターンが計測視点の位置姿勢を算出するのに適しているかを表す指標であれば良い。例えば、用いる特徴が線分であれば線分の検出数、用いる特徴が三次元特徴であれば三次元特徴の検出数に基づく指標であっても良い。空間周波数や画像周波数に基づいて評価しても良い。

コンテンツ適合度は、環境と特徴パターンがどれだけ合っているかを表す指標であればよく、特徴パターンが保持するコンテンツ属性と環境のコンテンツ属性との適合を表す指標であればよい。類似する幾何特徴の割合や数など、特徴パターンの形状と環境に含まれる形状の類似度に基づく指標であっても良いし、色の類似度で評価しても良い。また環境の情景を認識し、特徴パターンに付与したキーワードやカテゴリとのマッチングをとっても良い。環境の属性として位置姿勢計測を用いるアプリケーションの利用時間や季節、場所などの情報が与えられるならば、それらの属性と特徴パターンが保持する属性とのマッチング指標であっても良い。環境の属性として前記アプリケーションのコンテンツ情報やユーザ情報に基づくものであっても良い。

提示部は、ユーザに設置する特徴パターンとその設置位置または位置姿勢を提示できればよい。さらにユーザに好適な順に並べられた特徴パターンのリストを提示し、ユーザに設置すべき特徴パターンを選択させても良い。ユーザに設置すべき特徴パターンやその位置を、通常のディスプレイに環境を模したＣＧで提示しても良い。ＨＭＤやプロジェクタを用いて現実の環境に重畳表示して提示しても良い。

出力部は特徴パターンを出力できれば良い。プリンタで印刷しても、カッティングプロッタでパターンを切り抜いても良い。特徴パターンが３次元の場合は３Ｄプリンタで特徴パターンの形状や色をプリントしても良い。また２次元のプリントを複数枚重ねて３次元形状を生成したり、折ったり加工したりして３次元形状を生成しても良い。

移動範囲取得部は環境の特徴を観察し得る視点の範囲を取得できれば良い。移動範囲を表す３次元領域であっても、２次元領域であっても良い。観察視点の範囲に加えて観察方向や視野も移動範囲として取得しても良い。計測視点の位置姿勢のリストでも良い。取得方法も記憶装置からの読み込みでなくともＧＵＩでユーザが移動範囲を図示しても良いし、ユーザが移動する様子を計測した結果から移動範囲を取得しても良い。

（他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１：情報処理装置、１０１：分布算出部、１０２：決定部、１０３：提示部、１０４：特徴パターンＤＢ、１１０：ＨＭＤ、１１１：計測装置、１１２：表示装置、１２１：出力部、１２２：出力装置

Claims (22)

1. 環境に存在する、計測視点の位置姿勢を測定するのに用い得る特徴分布を算出する算出手段と、
   前記環境において、前記計測視点の位置姿勢の計算精度を向上させる特徴分布が得られるように、設置すべき特徴パターンとその設置位置を決定する決定手段と、
   前記決定手段により決定された特徴パターンとその設置位置を提示する提示手段と、を備えることを特徴とする情報処理装置。
2. 前記決定手段は、前記環境における前記特徴分布の均一性が向上するように設置すべき特徴パターンとその設置位置を決定することを特徴とする請求項１に記載の情報処理装置。
3. 前記決定手段は、さらに、設置位置における特徴パターンの環境への適合度の評価を加味して設置すべき特徴パターンとその設置位置を決定することを特徴とする請求項１または２に記載の情報処理装置。
4. 環境への前記適合度は、前記環境の属性情報と前記特徴パターンの属性情報との一致の度合いであることを特徴とする請求項３に記載の情報処理装置。
5. 前記決定手段は、前記環境を撮影して得られた画像を解析して、前記環境の属性情報を取得することを特徴とする請求項４に記載の情報処理装置。
6. 前記属性情報は、前記画像中に含まれる直線の割合であることを特徴とする請求項５に記載の情報処理装置。
7. 前記決定手段は、あらかじめ用意された複数の特徴パターンの中から、設置すべき特徴パターンを決定することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記決定手段は、図形を組み合わせることにより設置すべき特徴パターンを生成することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
9. 前記決定手段は、前記設置位置に複数の特徴パターンを配置することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
10. 前記決定手段は、特徴パターンが設置される領域における設置面の大きさを特定し、特定された大きさに基づいて特徴パターンの大きさを決定することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 前記決定手段は、前記環境の距離画像を用いて、前記環境の２次元の画像を分割して得られた領域ごとに面当てはめを行なって前記設置面を決定することを特徴とする請求項１０に記載の情報処理装置。
12. 前記算出手段は、前記計測視点の位置姿勢を算出するのに用いられる特徴と同じ種類の特徴の分布を前記特徴分布として算出することを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. 前記計測視点の位置姿勢の算出に用いられる特徴は環境に存在するコーナー点であることを特徴とする請求項１２に記載の情報処理装置。
14. 前記計測視点の移動範囲を取得する取得手段をさらに備え、
    前記決定手段は、前記移動範囲内の計測視点において前記計測視点の位置姿勢の計算精度が向上するように、設置すべき特徴パターンとその設置位置を決定することを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。
15. 前記決定手段は、前記移動範囲内の複数の計測視点により同じ設置位置が用いられる場合には、前記複数の計測視点のうちその設置位置に近い計測視点を優先して特徴パターンを決定することを特徴とする請求項１４に記載の情報処理装置。
16. 前記決定手段は、前記移動範囲内の複数の計測視点のそれぞれから判定された特徴パターンの設置位置候補について、該設置位置候補から前記複数の計測視点までの距離の最大値が検出可能距離範囲にある特徴パターンの中から設置すべき特徴パターンを決定することを特徴とする請求項１４に記載の情報処理装置。
17. 前記決定手段で設置すべく決定された特徴パターンを実際に設置が可能な物体として出力する出力手段をさらに備えることを特徴とする請求項１乃至１６のいずれか１項に記載の情報処理装置。
18. 環境を計測する計測手段をさらに備え、
    前記算出手段は、前記計測手段により計測された計測データに基づいて前記特徴分布を算出することを特徴とする請求項１乃至１７のいずれか１項に記載の情報処理装置。
19. 前記計測データは、カメラにより前記環境を撮影することにより得られた画像であることを特徴とする請求項１８に記載の情報処理装置。
20. 前記計測データは、さらに距離画像を含むことを特徴とする請求項１９に記載の情報処理装置。
21. 情報処理装置の制御方法であって、
    算出手段が、環境に存在する、計測視点の位置姿勢を測定するのに用い得る特徴分布を算出する算出工程と、
    決定手段が、前記環境において、前記計測視点の位置姿勢の計算精度を向上させる特徴分布が得られるように、設置すべき特徴パターンとその設置位置を決定する決定工程と、
    提示手段が、前記決定工程において決定された特徴パターンとその設置位置を提示する提示工程と、を有することを特徴とする情報処理装置の制御方法。
22. コンピュータを、請求項１乃至２０のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images