JP5256330B2 - 現場作業支援システムにおけるマーカ配置方法 - Google Patents

Description

本発明は、拡張現実感（Augmented Reality;AR）技術を利用して現場作業を支援する現場作業支援システムにおけるマーカ配置方法に関する。

拡張現実感技術は、現実の光景にＣＧ（Computer Graphics）情報を重ね合わせて表示する技術であり、現場作業に有用な情報を現場作業者に提供して現場作業を支援する現場作業支援システムに応用されている。

特開２００７−３４２３８号公報 特開２００７−１８１８８号公報

拡張現実感技術を利用して作業者の作業を支援するためには、高精度のトラッキング（作業現場における作業者の位置と方向をリアルタイムに計測する技術）が必要である。

現在のトラッキング技術として、作業現場にマーカを貼付しておき、作業者が携行するカメラで作業現場を撮影して得た撮影画像中のマーカに基づいてカメラ（作業者）の位置と向きを計測する技術が提案されているが、作業現場の全体で高精度にトラッキングを行うことは困難であり、計測精度が場所によって高低する。計測精度が低い状態で作業者に対して情報（例えば、作業指示）を提供すると、間違った作業指示となって作業ミスを誘発する恐れがある。

本発明の目的は、現場作業支援システムにおけるトラッキング誤差の軽減を実現するのに好ましいマーカ配置方法を提案することにある。

本発明は、予め作業現場に設置されたラインマーカと、作業者が携行するカメラと、作業現場の画像と指示情報を表示して作業者に提供する表示装置と、前記カメラで作業現場を撮影して得た撮影画像中の前記ラインマーカの画像位置に基づいてカメラ（作業者）の位置と向きを計測し、作業者に対して提供する情報画像を作業現場の画像に重ねて前記表示装置に表示させる情報処理を行う情報処理装置を備えた現場作業支援システムにおけるラインマーカの配置方法において、
前記ラインマーカは、前記カメラの位置の計測誤差が最小となるように、遺伝的アルゴリズムにより最適化配置処理を行うことで決定された位置に配置することを特徴とする。

具体的には、ラインマーカに対して、
（１）画像処理によって得られるコードマークに含まれる誤差の大きさの推定し、
（２）（１）の結果と誤差計算手法及び遺伝的アルゴリズムを用いて、様々なラインマーカ配置における作業現場内のトラッキングの誤差の大きさを推定し、徐々に高い精度が期待できるラインマーカ配置を繰り返し計算により求める、ことにより実現する。

本発明は、予め作業現場に設置されたラインマーカと、作業者が携行するカメラと、作業現場の画像と指示情報を表示して作業者に提供する表示装置と、前記カメラで作業現場を撮影して得た撮影画像中の前記ラインマーカの画像位置に基づいてカメラ（作業者）の位置と向きを計測し、作業者に対して提供する情報画像を作業現場の画像に重ねて前記表示装置に表示させる情報処理を行う情報処理装置を備えた現場作業支援システムにおけるラインマーカの配置において、トラッキング誤差を軽減するのに好ましいラインマーカの配置が可能となる。

本発明における実施例１の現場作業支援システムの機能ブロック図である。 実施例１の現場作業支援システムにおけるカメラの配列状態を示す平面図である。 実施例１の現場作業支援システムにおけるラインマーカの平面図である。 カメラのレンズ補正状態によって発生する誤差を説明するための撮影画像である。 実施例１における情報処理装置が実行する情報処理のフローチャートである。 撮影画像に写り込んでいるラインマーカのコードマーク画像列と計算によって求められたコードマーク画像列の両端のコードマーク画像の写り込み予定位置を示す図面である。 撮影画像中のコードマーク画像列から近似した直線とコードマーク画像列の２端間の距離を求める内容を示す図面である。 画像認識結果から求めたラインマーカの各コードマーク画像間の距離の誤差を求める内容を示す図面である。 トラッキング誤差の大きさを推定する計算アルゴリズムにおける座標系を示す図である。 トラッキング誤差の大きさを推定する計算アルゴリズムにおけるＴＥＲの概念図である。 トラッキング誤差の大きさを推定する計算アルゴリズムにおけるｘ座標に関する誤差限界曲線の計算方法の概念図である。 トラッキング誤差の大きさを推定する計算アルゴリズムにおける誤差限界曲線の計算方法の概念図である。 トラッキング誤差の大きさを推定する計算アルゴリズムにおけるｙ座標に関する誤差限界曲線の計算方法の概念図である。 トラッキング誤差の大きさを推定する計算アルゴリズムにおける総ての誤差限界曲線で囲まれる領域（ＴＥＲ）を求める方法の概念図である。 評価実験で用いた擬似プラント環境の模式図である。 実験結果（各世代における誤差の最大値の平均値、最良値・最悪値）を示す曲線図である。 適用例におけるラインマーカ設置位置を立体的に示す斜視図である。 適用例におけるトラッキング誤差の分布図である。

本発明は、予め作業現場に設置されたラインマーカと、作業者が携行するカメラと、作業現場の画像と指示情報を表示して作業者に提供する表示装置と、前記カメラで作業現場を撮影して得た撮影画像中の前記ラインマーカの画像位置に基づいてカメラ（作業者）の位置と向きを計測し、作業者に対して提供する情報画像を作業現場の画像に重ねて前記表示装置に表示させる情報処理を行う情報処理装置を備えた現場作業支援システムにおける前記ラインマーカの配置方法におけるトラッキング誤差の軽減を実現するために好ましいマーカ配置方法として、前記カメラの位置の計測誤差が最小となるように、遺伝的アルゴリズムにより最適化配置処理を行うことで決定された位置に配置することにより実現するものであり、具体的には、ラインマーカに対して、
（１）画像処理によって得られるコードマークに含まれる誤差の大きさを推定し、
（２）（１）の結果と誤差計算手法及び遺伝的アルゴリズムを用いて、様々なラインマーカ配置における作業現場内のトラッキングの誤差の大きさを推定し、徐々に高い精度が期待できるラインマーカ配置を繰り返し計算により求めるように行うことにより実現する。

図１は、現場作業支援システムの機能ブロック図である。

作業現場（作業する施設）を撮影するカメラ１は、作業者が装着するＡＲ機能付きのＨＭＤ（Head Mounted Display）２の頭上に該ＨＭＤ２を装着した作業者の顔の向きの前方向（作業者の視界方向）を撮影するように取り付ける。

この実施例は、表示装置をＨＭＤを利用する例で説明するが、ＨＭＤに限らず、タブレットＰＣを採用しても実施することができる。また、カメラの向きは、ラインマーカの貼り付け位置との関係で、必ずしも作業者の顔の向きではなく、ラインマーカを天井面に貼り付けて設置するときは、カメラを上方向に向けてラインマーカを撮影してトラッキングを行うように変形することもできる。

カメラ１は、図２に示すように、３台のカメラ１ａ，１ｂ，１ｃを横に並べて作業現場を広角度に撮影することができるように構成する。この実施例ではカメラを３台使用する例で説明するが、２台あるいは４台で実施するように変形することができる。

現場作業支援のための各種の情報処理を実行する情報処理装置（携帯型のパーソナルコンピュータ）３は、基本的には、前記カメラ１から撮影画像を入力して画像処理することによって作業現場における作業者の位置および向きを計測し、ＨＭＤ２の表示画面に作業現場の撮影画像または予め記憶している設計情報に基づいて生成した作業現場のＣＧ画像と指示情報を重ねて表示させる情報処理を行う。

作業現場４には設計情報に基づいて各種の機器４１（４１ａ，４１ｂ…）が設置されており、その幾つかの機器４１ａ，４１ｆ…にはラインマーカ５（５ａ，５ｂ…）が予め既知の位置に貼付される。このラインマーカ５は、カメラ１の撮影画像中の位置から該カメラ１の位置と向き（作業者の位置と向き）を算出するための画像情報として使用する。

各ラインマーカ５は、図３に示すように、細長い帯状の基材５１の表面に１１ビットのコードマーク５２（５２ａ〜５２ｋ）を長さ方向に所定の間隔で並べて設け、裏面を施設内の幾つかの機器４１ａ，４１ｆ…の表面に貼付して設置するように構成する。通常は、所定の高さ位置に縦長垂直状態に設置するのが望ましい。

この実施例では、ラインマーカ５は、コードマーク５２が１１ビットの例を示したが、このビット数は必要に応じて自由に変更することができる。ちなみに、ビット数を増やすと、誤り訂正できるビット数を増加したり、一度に利用できるラインマーカの数を増加させることができる。

各ラインマーカ５に設けたコードマーク５２は、３０ｍｍ×３０ｍｍの正方形が「０」，３０ｍｍ×６０ｍｍの長さ方向の長方形が「１」のビットデータを表し、上から７ビットをマーカＩＤビット、下４ビットを誤り訂正ビットとして使用する。図示のラインマーカ５のコードデータは、「０１０１００００１０１」である。

この実施例では、コードマーク５２を３０ｍｍ×３０ｍｍの正方形、３０ｍｍ×６０ｍｍの長さ方向の長方形の例を示したが、ラインマーカ５を貼り付ける場所の大きさや、ラインマーカ５とカメラ１の間の平均距離によって、コードマーク５２の大きさを、すべてのコードマーク５２に対して統一して変更することができる。

ＨＭＤ２の表示画面２１には、作業現場４の撮影画像（ＣＧ画像）２１ａ上に指示情報画像２１ｂを重ねた状態で表示する。図示の例は、作業現場に設置されている機器（バルブ）４１ｇ，４１ｈの開放操作を指示し、機器（バルブ）４１ｉ〜４１ｋについては開放操作を禁止することを指示する指示情報を表示した状態である。

このような画像表示は、情報処理装置３がカメラ１から入力した作業現場４の撮影画像（情報）中のラインマーカ５のコードマーク画像の画像位置情報に基づいて該作業現場４における作業者の位置および向きを計測し、作業現場４の撮影画像または予め記憶している設計情報に基づいて作業者の位置と向きを基準にして生成した作業現場のＣＧ画像２１ａに該作業現場４の機器４１に対して行う作業内容を予め設定して記憶させた作業指示情報（作業指示情報画像や作業禁止指示情報画像）２１ｂ１，２１ｂ２を読み出して重ねて表示する情報処理を行うことによって実現する。

このように作業現場４の撮影画像中のラインマーカ５のコードマーク画像位置情報に基づいて該作業現場における作業者の位置および向きを計測するためには、各ラインマーカ５のコードマーク画像が正確な形状で撮影画像２１ａ中に存在しなければならない。しかしながら、カメラ１のレンズの歪み補正が不十分である場合には、撮影画像を処理してラインマーカの位置を認識すると誤差が生じる。そして、この誤差を含んだ位置情報に基づいてカメラ１（作業者）の位置や姿勢を計算すると、当然に、誤差が発生する。

しかも、誤差には、更に、作業現場４の機器４１に対するラインマーカ５の取り付け誤差（予め設定した取り付け位置情報と実際の取り付け位置間の誤差）や計算処理上の誤差（情報処理装置３が扱う数字の桁数の制約や求解の最適化計算を途中で止めることによる誤差）などが加わる。

この発明は、カメラ１のレンズの歪み、カメラの解像度が有限であること、ラインマーカの貼り付け位置の情報に誤りや誤差が含まれること、照明が不完全であること等に因る計測誤差に起因するトラッキング誤差により作業者（ＨＭＤ２）に誤った指示情報を提供（表示）するのを防止するものである。

図４を参照して、カメラ１のレンズ補正が不十分であるために発生する誤差について説明する。

図４の（ａ）は、レンズ補正が完全な状態にあるカメラ１で撮影した撮影画像２１ａ中のラインマーカ５のコードマーク画像列５ａであり、各コードマーク画像５３は、直線状に並んだ状態に写る。しかしながら、レンズ補正が不十分なカメラ１で撮影した撮影画像２１ａ中のラインマーカ５のコードマーク画像列５ｂの各コードマーク画像５４は、（ｂ）に示すように、わん曲して並んだ状態に写る。

この実施例１の現場作業支援システムは、このようなカメラ１のレンズの歪みに因る誤差（トラッキング誤差）の大きさを推定して作業者に提供する情報を制御（編集）する構成である。

図５は、このような制御を実現するために情報処理装置３が実行する情報処理のフローチャートである。

ステップＳ３０１
カメラ１から作業現場（施設内）の撮影画像情報を取得する。

ステップＳ３０２
取得した撮影画像情報を画像処理することによりラインマーカ５のコードマーク画像列を認識し、各コードマーク画像の重心位置を求める。この処理は、撮影画像中に存在する総てのラインマーカ５のコードマーク画像列に対して行う。

具体的には、画像を２値化してラベリングし、正方形，長方形領域を検索し、正方形と長方形の領域が直線状に所定数（ラインマーカ５のコードマーク数）並んでいるものを検索してコードマーク画像列（ラインマーカ５）として認識し、コードマーク画像列の正方形を「０」，長方形を「１」としてマーカＩＤを認識する。また、コードマーク画像列の両端のコードマーク画像の重心位置をコードマーク画像列（ラインマーカ５）の両端の両端の位置とするように行う。

ステップＳ３０３
カメラ１のレンズの予め分かっている歪みパラメータを用いてステップＳ３０２の処理結果を補正する。

ステップＳ３０４
撮影画像中のコードマーク画像列の位置からラインマーカ５とカメラ１の相対的な位置関係を計算（トラッキング）する。

ステップＳ３０５
ステップＳ３０４の処理で得たカメラ１の位置情報、カメラ１の各種のパラメータ、ラインマーカ５の貼付位置情報を用いて、コードマーク画像列が撮影画像のどの位置に写り込んでいるべきかを計算（逆算）する。

図６（ａ）は、撮影画像中に写り込んでいるラインマーカ５のコードマーク画像列と認識した両端のコードマーク画像の位置を示し、（ｂ）は、計算によって求められたコードマーク画像列の両端のコードマーク画像の写り込み予定位置を示している。

ステップＳ３０６
画像処理によって認識したコードマーク画像列の端の位置（図６（ａ））とトラッキングの結果から逆算したコードマーク画像列の端の位置（図６（ｂ））の撮影画像上での距離ｄ^ｉ _ＲＰを求める。ここで、ｉは、コードマーク画像列の端の通し番号（最大値は、コードマーク画像列の数の２倍になる）、ｄ^ｉ _ＲＰの最大値をｄ^ＭＡＸ _ＲＰとする。

ステップＳ３０７
ステップＳ３０２で求めたラインマーカ５の各コードマーク画像の重心位置を用いてコードマーク画像列を直線で近似し、近似した直線とコードマーク画像列の２端間の距離ｄ^ｉ _ＲＶを求める。そして、ｄ^ｉ _ＲＶの最大値をｄ^ＭＡＸ _ＲＰとする。

図７（ａ）〜（ｄ）は、先のステップにおいて撮影画像中のコードマーク画像列（ａ）から各コードマーク画像の重心を求め、そして、本ステップ３０７において、最小二乗法により各コードマーク画像の重心に最も近い直線を求め、次いで、近似した直線とコードマーク画像列の２端間の距離ｄ^ｉ _ＲＶを求める内容を図示したものである。

ステップＳ３０８
ステップＳ３０２で求めたラインマーカ５の各コードマーク画像の重心位置から求められる各コードマーク画像間の距離とラインマーカ５のマーカＩＤが示す該ラインマーカ５の実際の寸法から計算できる各コードマーク画像間の距離の差ｄ^ｉ _ＲＨを各コードマーク画像毎に求める（図８参照）。ここで、ｄ^ｉ _ＲＨの最大値をｄ^ＭＡＸ _ＲＨとする。

ステップＳ３０９
（数１）式を用いて、撮影画像から認識したコードマーク画像列の位置に含まれる可能性がある誤差の最大値（最大誤差推定値）ｄ^ＭＡＸを求める。

ステップＳ３１０
各トラッキング毎の予想されるトラッキング誤差の大きさを推定する。トラッキング誤差の大きさを推定する計算アルゴリズムは、後述する。

ステップＳ３１１
推定したトラッキング誤差の大きさに応じてＨＭＤに表示して作業者に提供する情報を制御する。例えば、推定したトラッキング誤差が所定値よりも小さいときには作業指示（作業禁止）情報を表示して作業者に提供し、推定したトラッキング誤差が所定値以上のときには作業指示情報を表示せずにトラッキング誤差を減少させるための撮影画像情報を入力するためにカメラ１の向き（作業者の顔の向き）を変えるように指示する警告情報を表示する。

前記ステップＳ３１０におけるトラッキング誤差の大きさの推定は、例えば、次ぎのような計算アルゴリズムによって行うことができる。

この実施例において使用するトラッキング誤差の計算アルゴリズムにおいて、トラッキングの誤差を計算する手法は、以下の要件を満たす必要がある。
（１）プラント内部で拡張現実感を利用する場合、想定する誤差よりも大きな誤差が発生する可能性がある場合、作業者に間違った指示を出してしまう可能性があり、危険である。そのため、トラッキングの誤差の計算方法は、「９０％の確立で１０ｍｍ以内の計測誤差」の様な確率的な結果ではなく、「最大誤差が１３ｍｍ」の様な絶対的な結果を計算できる必要がある。
（２）ラインマーカの最適化では、様々なラインマーカ配置における誤差を繰り返し計算する必要がある。そのため、誤差の計算方法は、十分高速である必要がある。

拡張現実感を利用するユーザ（作業者）は、発電プラントにおける作業を想定する。また、その支援の内容も、特定の作業現場へのナビゲーションや、配管に流れる流体の量や種類の指示等、プラント設備を眺めた際の情報提示を想定する。この場合、作業者の頭の位置（作業者が装着するカメラの位置）は、
（１）高さがほぼ一定（作業者の身長程度）である、
（２）左右・上下の首振り回転は頻繁に行うが、首を傾けることは希である、
という特徴があると考えられる。

そこで、この実施例１では、これらの特徴を利用して、トラッキング誤差の計算アルゴリズムを簡略化する。

座標系と各種定義
図９に座標系の定義を示す。スクリーン座標系の原点は、カメラ撮影画像の中心とし、ｘ軸をカメラ撮影画像の左から右方向に、ｙ軸を上方向とする。カメラ座標系の原点は、カメラの焦点位置とし、ｚ軸方向をカメラの撮影視野方向、x軸とy軸をスクリーン座標と平行とする。

カメラの位置姿勢は、６自由度のベクトル（カメラの位置で３自由度、カメラの姿勢で３自由度）で表現される。

カメラとラインマーカ（コードマーク画像列）を用いたトラッキングでは、１つのラインマーカから計算の基準となる特徴点を複数認識して利用する場合もあるが、この実施例１では、1つのラインマーカから1つの特徴点を認識するものと仮定し、特に断りが無い限り、以下ではラインマーカと特徴点は同義とする。

Ｃをカメラの真の位置姿勢とし、Ｑ_ｉ（ｉ＝１，２，‥，ｎ）をラインマーカの３次元位置とする。（ｎはカメラに写ったマーカの総数）。今、Ｃの位置姿勢にあるカメラでラインマーカを撮影した時、カメラ撮影画像上で、位置Ｍ_ｉ（ｉ＝１，２，‥，ｎ）にラインマーカが写ったと認識されたとする（Ｍ_ｉは２次元ベクトル）。この結果を用いてカメラの位置姿勢を推定した結果をＣestとする。位置Ｍ_ｉに、カメラの解像度が有限であること、レンズの補正が充分でないこと等が原因で、最大でΔの誤差が含まれているとする。この時、ラインマーカのカメラ撮影画像上での位置Ｍ_ｉ'（ｉ＝１，２，‥，ｎ）が、下記式（数２）を満たす位置にくるカメラの位置姿勢Ｃ'の集合は、Ｃestのまわりのある程度の大きさを持った領域となる。

この実施例１では、この領域をＴＥＲ（Tracking Error Region）と呼ぶ。

図１０にＴＥＲの概念図を示す。カメラの真の位置Ｃは、このＴＥＲの領域の中に含まれるため、トラッキング誤差の最大値を求める計算アルゴリズムはＴＥＲの領域の中で、Ｃestから最も離れた点を求め、その点とＣestの距離の差を求めるアルゴリズムである。

誤差限界曲線の計算
この実施例１において使用するトラッキング誤差の計算アルゴリズムでは、カメラが移動する高さが作業者の身長でほぼ変化せず、左右・上下の回転のみを行うという仮定のもと、以下の流れでＴＥＲを求める。

（１）画像処理により認識されたラインマーカのすべての２個の組み合わせに関し、ラインマーカのカメラ撮影画像上でのｘ座標がそれぞれ、ｘ_１±△、ｘ_２±△の範囲内に常に入るカメラの位置姿勢の集合の境界（誤差限界曲線と呼ぶ）を求める(ｘ_１、ｘ_２はカメラが真の位置にあるときにカメラ撮影画像上に写る２つのラインマーカのｘ座標)。

（２）画像処理により認識されたすべてのラインマーカに関し、ラインマーカのカメラ撮影画像上でのｙ座標がｙ±△の範囲内に常に入るカメラの位置姿勢の集合の誤差限界曲線を求める（ｙはカメラが真の位置にあるときにカメラ撮影画像上に写るラインマーカのy座標）。

（３）前記（１）と（２）で求められた誤差限界曲線で囲まれる領域をＴＥＲとする。

以下の説明では、ｎ個のラインマーカがカメラで撮影され、その位置が認識されたと仮定する（ｎの値は３以上とする)。

ｘ座標に関する誤差限界曲線の計算
図１１において、点Ｐ_Ａおよび点Ｐ_ＢをラインマーカＱ_Ａ（ｘ_ａ，ｙ_ａ，ｚ_ａ）およびＱ_Ｂ（ｘ_ｂ，ｙ_ｂ，ｚ_ｂ）のｘ−ｚ平面上への射影点とする。

点Ａを線分ＣＰ_Ａとカメラスクリーンのx軸との交点とし、点Ｂを線分ＣＰ_ＢとカメラスクリーンのＸ軸との交点とする。点Ａ，Ａ_１，Ａ_２，Ｂ，Ｂ_１，Ｂ_２は全てカメラスクリーンのＸ軸上にあるとし、‖Ａ_１Ａ‖＝‖ＡＡ_２‖＝‖Ｂ_２Ｂ‖＝‖ＢＢ_１‖＝△とする。このとき、ラインマーカのカメラ撮影画像上での真の座標ｘ座標は、点Ａ_１と点Ａ_２の間および点Ｂ_１と点Ｂ_２との間にくる。すなわち、以下の式を満たす位置姿勢Ｃ'が形成する領域の中に、カメラの真の位置姿勢Ｃが含まれる。

ここで、α_２＝∠Ａ_２ＣＢ_２およびα_１＝∠Ａ_１ＣＢ_１である。これらの２つの角度は、以下の４つの式を計算することにより求めることができる。

ここで、Ｄは、カメラスクリーンの中心、ｆはカメラのレンズの焦点距離である。∠Ｐ_ＡＣ'Ｐ_Ｂ＝α_１および∠Ｐ_ＡＣ'Ｐ_Ｂ＝α_２を満たす位置姿勢Ｃ'の集合は、図１２に示すように円となる。従って、式（数３）を満たす位置姿勢Ｃ'の集合は、図１２における灰色に塗られた領域となる。

図１２中のCircle １とCircle ２の求め方は同じであるため、以下ではCircle １の求め方を示す。まず、Circle １の中心を求める。点ＦをCircle １上の点であり、‖Ｐ_ＡＦ‖＝‖Ｐ_ＢＦ‖を満たすとする。また、Ｅを線分Ｐ_ＡＰ_Ｂ上の点とし、‖Ｐ_ＡＥ‖＝‖Ｐ_ＢＥ‖を満たすとする。この時、線分ＥＦは、線分Ｐ_ＡＰ_Ｂの垂直２等分線となる。従って、線分ＥＦ上にCircle １の中心Ｏ(ｘ_ｏ,0,ｚ_ｏ)が存在する。ここで、‖ＯＦ‖＝‖ＯＰ_Ｂ‖＝Ｒであり、∠Ｐ_ＡＦＰ_Ｂ＝α1であるため（ＲはCircle１の半径)、∠ＯＦＰ_Ｂ=∠ＯＰ_ＢＦ＝=α_１／２が成り立つ。従って、以下の式によりCircle １の半径Ｒを求めることができる。

線分Ｐ_ＡＰ_Ｂとx軸のなす角はγ＝=atan{(ｚ_ｂ−ｚ_ａ)／(ｘ_ｂ−ｘ_ａ)}で計算でき、線分Ｐ_ＡＯとｘ軸のなす角はθ＝−(π／２−α_１−γ)で計算できる。従って、Circle １の中心は以下の式（数９），（数１０）で計算できる。

以上の方法で求められる円を以下ではＸ座標に関する誤差限界曲線と呼ぶ。

ｙ座標に関する誤差限界曲線の計算
図１３において、点Ｐ_Ａを、ラインマーカＱ_Ａのｘ−ｚ平面上への射影点、点Ａを線分ＣＱ_Ａとスクリーンとの交点とする。点Ａ_１、Ａ_２を‖Ａ_１Ａ‖＝‖ＡＡ_２‖＝△を満たすスクリーン上の点とし、線分Ａ_１Ａ_２はスクリーンのｙ軸に平行であるとする。点Ｄをスクリーンの中心とする（‖ＣＤ‖＝ｆ）。点Ｅは点Ａのｘ−ｙ平面上への射影点である。

ｙ座標に関する誤差限界曲線の計算方法
このとき、ラインマーカのカメラ撮影画像上での真のｙ座標は、点Ａ_１と点Ａ_２の間の間に来る。すなわち、以下の式を満たす位置姿勢Ｃ'が形成する領域の中に、カメラの真の位置姿勢Ｃが必ず含まれる。

ここでβ_２＝∠Ａ_２ＣＰ_Ａおよびβ_１＝∠Ａ_１ＣＰ_Ａである、β_２＝∠Ｑ_ＡＣ'Ｐ_Ａおよび∠Ｑ_ＡＣ'Ｐ_Ａ＝β_１を満たすＣ'は共に点Ｐ_Ａを中心とする円となり、その円の半径は‖Ｑ_ＡＰ_Ａ‖ctanβ_２および‖Ｑ_ＡＰ_Ａ‖ctan∠β_１で計算できる。ここで

である。以上の方法で求められる円を以下ではｙ座標に関する誤差限界曲線と呼ぶ。

ＴＥＲからのトラッキング誤差の計算方法
先に求めた全ての誤差限界曲線で囲まれる領域の中にカメラの真の位置が含まれる。そこで、総ての誤差限界曲線で囲まれる領域とカメラの真の位置との間で最も離れている点と、カメラの真の位置との距離を求めることができれば、トラッキングを実行する際に起こりうる誤差の最大値を求めることができる。図１４に総ての誤差限界曲線で囲まれる領域（ＴＥＲ）を求める方法の概念図を示す。以下では説明を簡単にするために、カメラ撮影画像で認識されたラインマーカの数が３個の場合を説明する。ラインマーカの数がｎ個の場合は、ラインマーカの数が３個の場合の計算方法の内、円の交点を求める際の円の組み合わせの数が増えるだけである。

図１４に示すように、ラインマーカＱ_Ａ、Ｑ_Ｂ、Ｑ_Ｃのカメラ座標系におけるｘ−ｚ平面への射影点をそれぞれＰ_Ａ、Ｐ_Ｂ、Ｐ_Ｃとする。図１４に示すArea １は、ラインマーカＱ_ＡおよびＱ_Ｂのｘ座標に関する誤差限界曲線に囲まれる領域であり、この領域内に真のカメラの位置姿勢が含まれる。Ｑ_ＡおよびＱ_Ｃ、Ｑ_ＢおよびＱ_Ｃの組み合わせに関しても同様の領域を求める。Area ２は、ラインマーカＱ_Ａのｙ座標に関する誤差限界曲線に囲まれる領域であり、この領域内に真のカメラの位置姿勢が含まれる。Ｑ_ＢおよびＱ_Ｃに関しても同様の領域を求める。

以上により求められた領域（この場合は合計６領域）に共通して含まれる領域がＴＥＲとなり、この中に真のカメラの位置姿勢が含まれる。前述の様に、誤差を含んだラインマーカの認識位置を用いて求めたカメラの位置と、ＴＥＲ領域内で最も離れた位置の距離が、トラッキングを実行する際に起こりうる誤差の最大値となる。ここで、誤差を含んだラインマーカの認識位置を用いて求めたカメラの位置からの最も離れたＴＥＲ領域内の位置は、必ず誤差限界曲線同士の交点の内の１つであるという性質を用いると、トラッキングを実行する際に起こりうる誤差の最大値を求めることができる。

以上の流れを纏めると、認識されたラインマーカの総数がｎ個の場合、トラッキングを実行する際に起こりうる誤差の最大値を求めるためには、ｘ座標に関する誤差限界曲線としてｎＣ_２×２個、ｙ座標に関する誤差限界曲線として２ｎ個の円を求め、それらの全ての円（計ｎ(ｎ+1)個）の組み合わせに関して交点を求める必要がある。従って、トラッキングの誤差を求めるのに必要な計算量は、認識されるラインマーカの数の２乗に比例して大きくなるが、同時に認識されるラインマーカの総数は多い場合でも１０程度であり、計算量としてはそれほど多くはならない。認識されるラインマーカの総数が１０以上になる場合は、トラッキングに利用されないラインマーカが多くなるため非効率である。この場合は、作業現に貼り付けて設置するラインマーカの数を減らすべきである。

次に、この実施例の適用例について、図１７及び図１８を参照して説明する。

図１７に示すように、１０ｍ×１５ｍの部屋内に６本のラインマーカ（長さ約６０ｃｍ）５を貼付して設置し、カメラ（Ｄｒａｇｏｎｆｌｙ Ｂ＆ＷＸＧＡ，ｆ＝６．３７ｍｍ）１を１ｍ間隔で格子状に移動（２ｍ〜１１ｍ）し、実際のカメラの位置（手作業で計測）とトラッキングの結果の差をトラッキング誤差として計算することにより、図１８に示すような結果が得られた。

ここで、施設（作業領域）内におけるラインマーカ配置の最適化について説明する。

ラインマー力配置の最適化アルゴリズム
ラインマーカ配置の最適化アルゴリズムの目標は、拡張現実感の作業者がある領域内を移動する場合、ラインマーカの貼り付け位置を調整することにより、その領域内のトラッキングの精度を向上させることである。作業者が移動する領域とラインマーカを貼り付けることができる領域に関する情報を元に、直接、解析的な計算により最適なラインマーカ配置を求めることは、計算手法が非常に複雑になるため非常に困難である。そこで、この実施例では、遺伝的アルゴリズムを用いた適化繰り返し計算により、ラインマーカの貼り付け位置を求めることにした。その際、想定するトラッキング手法の応用先が、プラント内部での作業支援であることを考慮すると、ラインマーカを貼り付けることができる領域は、細長い配管の表面や壁や天井等の平面になると考えられる。そこで、ここでは、マーカを貼り付けることができる領域の形状を直線および平面の２種類とすることにした。

染色体のコード化
この実施例で使用する遺伝的アルゴリズムにおける個々の染色体は、環境に貼り付けるラインマーカの個数と同数の遺伝子を持ち、１つの遺伝子が、１つのラインマーカの位置情報を持つ。染色体Ｍ^ｔ _ｉは、

で定義される。ここで、ｎは環境に貼り付けるラインマーカの個数、ｆは染色体の個体番号、ｔは世代番号である。すなわち、ｍ^ｔ _ｉｋは、ｔ番目の世代として求められた、f番目のラインマーカ配置におけるｋ番目のラインマーカの貼り付け位置を表す。

評価関数
ｅ＝ｇ（ｘ，Ｍ）を、ラインマーカ配置Ｍにおける位置姿勢ｘでのトラッキング誤差とする。この実施例では、この計算に前述したトラッキング誤差の計算方法を用いるが、そのためには、ラインマーカ配置、カメラの解像度、カメラのピクセルサイズ、レンズの焦点距離等の情報から、カメラにどのラインマーカが写っており、どのラインマーカが認識されるかを判断する必要がある。これは、カメラの視野と方向を解析的な計算で求め、ラインマーカの配置情報をもとにその視野内にラインマーカが入っているかどうかを調べることにより容易に判断できる。ただし、実際には、カメラの視野内にラインマーカが入っていても、カメラ画像上でのラインマーカの大きさが小さすぎる等の理由のために認識できない場合も起こりうるために、カメラとラインマーカの間の距離がある閾値以上の場合には、そのラインマーカが認識されないと判断する処理が必要である。ただし、以下では、説明を簡単にするために、カメラの視野に入ったラインマーカはその距離に関係なく、総て認識されるものとする。

ラインマーカの配置を最適化するために遺伝的アルゴリズムを用いるにあたり、その評価関数は、最適化の基準に応じて設定するべきである。この実施例では、プラント内部で拡張現実感を利用する際のラインマーカの配置を最適化することを考えるが、その場含、作業者に提示する情報の正確性が問題になる。すなわち、トラッキングの精度が悪く、間違った位置や方向情報を作業者に提供してしまうと、ヒューマンエラーを誘発する原因となってしまうため、これは避けるべきである。従って、この実施例では、ラインマーカ配置最適化の１つの例として、「作業者が移動する範囲内全体での最も大きい誤差の大きさを最小化する」ことを今回の評価関数設定の目標とする。

この様なラインマーカ配置の最適化の目標を定めた場合、本来は、作業者が移動する範囲内で起こりうる総ての位置姿勢に関してトラッキングの位置姿勢を評価し、その最大値を求めることが理想であるが、そのためには膨大な位置姿勢におけるトラッキング誤差の計算を繰り返す必要があり計算量が膨大になるために現実的ではない。そこでこの実施例では、予め定めた有限の位置姿勢に関してトラッキングの誤差を計算し、その結果の中の最大値を小さくする方向でラインマーカの配置を変化させる。すなわち、この実施例では、遺伝的アルゴリズムにおける評価関数を以下の式で定義する。

ここで、ｘ_ｊはｊ番目のカメラの位置姿勢であり、ｎ_ｐは評価に用いられる位置姿勢の総数である。

この方法を用いると、予め選定された位置姿勢では、トラッキングの精度が上がり、それ以外の位置姿勢では、トラッキングの精度が下がる可能性がある。しかし、一般に、カメラに写るラインマーカの種類と数が同じである場合、隣り合う位置姿勢のトラッキングの精度は似た傾向になる傾向があり、予め選定された位置姿勢の周辺に関しても、トラッキングの精度が向上すると予想される。そのため、拡張現実感で支援する作業の特性や領域の配置に応じて、高いトラッキング精度が要求される領域の周辺で多くの位置姿勢を選定し、低いトラッキング精度で十分な領域では、少数の位置姿勢を選定すれば、目的の特性を持ったラインマーカ配置を得ることができると考えられる。ただし、この方法では「トラッキングの誤差の最大値は１０ｍｍである」のような精度を保証することはできない。従って、この実施例で提案する遺伝的アルゴリズムを用いたラインマーカの最適化手法を実用化する場合には、前述した様に、実際にトラッキングを行う際にも、ラインマーカの配置情報とトラッキングによって得られた位置姿勢を元に、前述のトラッキング誤差の計算アルゴリズムを実行し、誤差の大きさを推定し、その結果を基に情報提示をするかどうかを判断するべきである。

初期化
この実施例では、遺伝的アルゴリズムの第１世代として、染色体の遺伝子の数を、ラインマーカを貼り付けることができる領域の数と同数（ラインマーカを配置可能な領域１つに対して１つのラインマーカを配置）とし、各遺伝子にラインマーカを貼り付けることができる領域の範囲内でランダムに定められた位置情報を持たせる。

再初期化
この実施例では、初期化の際にラインマーカの初朗配置をランダムに定めるため、評価の対象となる位置姿勢の中で、カメラに十分な数のラインマーカが写らない位置姿勢ができる可能性がある。この場合、ラインマーカの初期配置を何回か繰り返し定め直すと、カメラに十分な数のラインマーカが写るようになる可能性もあるが、必ず十分な数のラインマーカが写るようになるとは限らない。そこで、この実施例では、初期化の際にカメラに十分な数のラインマーカが写らない位置姿勢ができた場合には、その位置姿勢でのカメラに写るように新しいラインマーカを1つ配置する（位置は、ラインマーカを貼り付けることができる領域内からランダムに定める）。この処理をこの実施例では再初期化と呼ぶ。この際、遺伝的アルゴリズムにおける染色体が持つ遺伝子の数は１つ増えることになる。ラインマーカを貼り付けることができる領域の制限が原因で、問題となる位置姿勢でのカメラに写るように新しいラインマーカを貼り付けることができない場合、目的とする領域でのトラッキングが実現できないと判断される。この場合は、ラインマーカを貼り付けることができる領域を新たに確保する必要がある。

交叉
交叉は一般に用いられる遺伝的アルゴリズムと同様、２つの親染色体をランダムに選択し、遺伝子のある一点で入れ替えることにより行うすなわち、ｈを[１,ｎ]の範囲内のランダムな整数とした場合、交叉は以下の式で表ざれる。

突然変異
この実施例における突然変異は、以下の式で表現される。

ここで、ｈは[１,ｎ]の範囲内のランダムな整数であり、ｍ^ｔ＋１ _ｉｈは、ｈ番目のラインマーカを貼り付ける新しい位置の候補（予め設定されたラインマーカを貼り付けることができる領域の範囲内でランダムに選ぶ）である。

選択
この実施例における選択はルーレット選択を用いる・すなわち、'番目の染色体が選択される確率を以下の式で計算する。

ここで、ｆ（Ｍ_ｉ）およびｆ（Ｍ_ｋ）は、ｉ番目およびｋ番目の染色体の評価関数値、pは染色体の総数（人口）である。この実施例では、一般の遺伝的アルゴリズムと同様に、上記確率に応じて優秀な染色体を残し、優秀ではない染色体を削除する。

遺伝的アルゴリズムの染色体総数と世代数の設定
遺伝的アルゴリズムを実行するにあたり生成する染色体の総数は、環境に貼り付けられるラインマーカの総数に応じて決定するべきである。すなわち、１つのラインマーカに対してｋ個の位置の候補を評価する為には、ラインマーカの総数がｎ個の場合、最低ｎｋ個の染色体を生成するべきである。

遺伝的アルゴリズムでは一般に、交叉を実行する世代数が多くなるほど、より適切な結果が得られる。しかし、非常に大きい世代数まで交叉させると、計算量が多くなり、結果を得るまでに要する時問が長くなる。どの世代で計算をうち切るべきかに関する詳しい議論はこの実施例では行わないが、実際の現場で拡張現実感を利用することを考えた場合、必ずしも最適なラインマーカ配置を求める必要はなく、現場で要求される精度を満たしたラインマーカ配置が求められれば最適でなくても良いとも考えられる。従って、遺伝的アルゴリズムで実行する世代数は、使用するコンピュータの性能や費やすことができる時問によっても変化するが、基本的には、評価関数で得られた値を元に、要求される精度のトラッキングを実現できるラインマーカ配置が求まったかどうかを各世代で判断し、既に求まっている場合には、そこで計算をうち切るという方針が適切であると考えられる。

提案手法の試用とその結果
この実施例で提案する遺伝的アルゴリズムを用いたラインマーカの最適化手法の効果を確認するために、シミュレーションベースの評価実験を行った。

実験に用いた疑似プラント環境
図１５にこの評価実験で用いた疑似プラント環境を示す。この環境は大きさが奥行き８ｍ、幅１０ｍ、高さ４ｍの直方体であり、ラインマーカを貼り付けることができる領域として、直線状の領域と平面状の領域の２種類の領域を設定した。これらの領域は、プラント内部に多数存在する配管の表面や、プラントの壁、天井、床等を想定している。表１に、この実験で想定したラインマーカを貼り付け可能な領域の種類と大きさ、位置等を示す。図１５中、灰色の円がラインマーカ、ラインマーカから出る矢印をラインマーカの移動可能方向を示す。なお、ワールド座標系の原点を、図１５における左手前の隅に設定し、右向きをｘ軸、上向きをｙ軸、手前方向をｚ軸とする。

実際にトラッキングを実行する際には、画像処理によりラインマーカの位置と種類を認識する必要があるため、ラインマーカはある程度の大きさを持ち、互いに重なり合った配置はできない。そこで、この実験では、突然変異でラインマーカの新しい位置を生成する際に、ラインマーカ間の最小距離を５０ｍｍとする制限を加えた。

表２に、この実験で評価関数を求める際に用いるカメラの位置姿勢を示す、図１５における矢印の位置と方向が、カメラの位置姿勢を表している。カメラの位置姿勢は、８つの位置と各位置における３姿勢の計２４位置姿勢で構成しており、プラント内部において近傍に点検すべき機器や配管がある等の理由により、高精度にトラッキングを行う必要がある位置姿勢であると想定する。

しかし、実際にこれらの２４位置姿勢のみにおけるトラッキングの誤差を小さくすることを目標に既述の遺伝的アルゴリズムを実行した場合には、局所的に高精度が実現され、その隣接する領域で低精度になるラインマーカ配置が求められてしまうため、この実施例では、遺伝的アルゴリズムの各世代で、トラッキング誤差を評価する位置姿勢を設定した２４位置姿勢の周りで微少変化させることにした。すなわち、位置に関してｘ軸方向とｚ軸方向に１００ｍｍ、姿勢に関して左右見回し方向に５度の範囲で評価する位置姿勢を毎世代で変化させた。

表３に、実験で用いた遺伝的アルゴリズムの各パラメータを示す。カメラは解像度が１０２４ｘ７６６pixels、レンズの焦点距離は３．９４ｍｍ、ピクセルサイズは０．００４６５ｍｍとし、△は０．５ピクセルとした。

実験結果
図１６に、遺伝的アルゴリズムを用いたマーカ配置の最適化を２００世代まで、２０回実行した際の各世代におけるトラッキング誤差の最大値の平均値・最良値・最悪値を示す。今回の設定条件では、初期化を行った際に十分な数のラインマーカを撮影できない位置姿勢が生じたため、再初期化が２回行われ、最終的なラインマーカの個数は１１個となった第１世代では、最も悪い場合で１５０ｍｍ程度あったトラッキング誤差の最大値が、５０世代あたりから、５０ｍｍ程度まで減少していることが確認できる。

この実施例で提案するマーカ配置の最適化手法の実行速度に関して、１世代分の計算に要する時問は、Core 2 Duo 2.66 GHzを搭載したパソコンを用いた場合、１〜２秒程度であった（実行ソフトウエアはＣ＃を用いて開発した）。

表４に、最適化する前のラインマーカ配置（第１世代）および２００世代におけるラインマーカ配置を示す。これを見ると、（１）ラインマーカ間の距離が長い方が精度が高い、（２）ラインマーカが直線状に並ぶと精度が低い、（３）ラインマーカ配置のz軸方向（奥行き方向）の距離が長い方が、精度が高い、ことが確認できる。

実際にプラントでのラインマーカ配置の最適化に適用する際の注意点
この実施例で提案する手法を、実際の原子力発電プラントでのラインマーカ配置の最適化に適用する際には、以下の点を注意する必要がある。
（１）この実施例では、カメラのレンズの歪みは適切に補正されているという前提でラインマーカの最適化手法を提案している。なんらかの理由で、カメラのレンズの歪みを適切に補正することができない場合は、この実施例で提案する手法を適当して得られた結果は、参考資料として利用するべきである。
（２）この実施例では、カメラ画像上でのラインマーカの認識誤差△は、既知であるとした。△は、ラインマーカのデザイン、照明条件等で異なることが予想され、実際に本研究で提案する手法を用いるためには、△を実測する必要がある。
（３）この実施例では、ラインマーカの配置を最適化するにあたり、遺伝的アルゴリズムを実行する際の各種パラメータ（計算を実行する世代数、突然変異の割合等）として、実際にどのような値を用いるべきかの厳密な議論は行っていない。これらのパラメータは、最適化の収束速度や、最終的なトラッキング誤差の大きさに影響することが予想される。将来的には、これらのパラメータとして、どのような値を設定するべきかを検討することが望ましい。

結論と今後の課題
この実施例では広い範囲でトラッキングの誤差を小さくできるラインマーカ配置を求めることができる新しい手法の実現を目指し、カメラの解像度が有限であることに起因するカメラ画像上でのラインマーカの位直の認識誤差からトラッキングの誤差を計算するＴＥＣアルゴリズムと、遺伝的アルゴリズムを用いたラインマーカの最適化手法を提案した。原子力発電プラント内でのトラッキングをシミュレーションする評価実験により、提案する手法により、実用的な時間内でトラッキングの誤差を小さくできるラインマーカ配置を求めることができることを確認した。

１（１ａ〜１ｃ）…カメラ、２…ＨＭＤ（Head Mounted Display）、３…情報処理装置、４…作業現場、４１（４１ａ，４１ｂ…）…機器、５（５ａ，５ｂ）…ラインマーカ、５１…基材、５２（５２ａ〜５２ｋ）…コードマーク。

Claims (2)

1. 予め作業現場に設置されたラインマーカと、作業者が携行するカメラと、作業現場の画像と指示情報を表示して作業者に提供する表示装置と、前記カメラで作業現場を撮影して得た撮影画像中の前記ラインマーカの画像位置に基づいてカメラ（作業者）の位置と向きを計測し、作業者に対して提供する情報画像を作業現場の画像に重ねて前記表示装置に表示させる情報処理を行う情報処理装置を備えた現場作業支援システムにおけるラインマーカの配置方法において、
   前記ラインマーカは、前記カメラの位置の計測誤差が最小となるように、遺伝的アルゴリズムにより最適化配置処理を行うことで決定された位置に配置することを特徴とするマーカの配置方法。
2. 請求項１において、ラインマーカの位置の決定は、
   （１）画像処理によって得られるコードマークに含まれる誤差の大きさの推定し、
   （２）（１）の結果と誤差計算手法及び遺伝的アルゴリズムを用いて、様々なラインマーカ配置における作業現場内のトラッキングの誤差の大きさを推定し、徐々に高い精度が期待できるラインマーカ配置を繰り返し計算により求めることにより行うことを特徴とするマーカの配置方法。

Images