JP6635679B2 - マーカーの解析方法 - Google Patents

Description

本発明は、マーカーの解析方法に関する。より具体的には、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）マーカーの解析方法に好適なものである。

現実世界に計算機で生成した仮想情報を付与するための拡張現実感技術において、ＡＲマーカーを用いた手法が提案されてきている。この技術では、カメラ等の撮像装置でＡＲマーカーが付された物体を写して画像を取得し、この画像からマーカーの位置を認識し、この取得した画像と、予め作成した画像等の情報とを組み合わせて新たな画像として表示し、使用者にあたかもこの情報が現実世界に存在するかのように画像として表示する技術である。

ＡＲマーカーの公知の技術としては、例えば非特許文献１に記載がある。本文献１には、四角形の各頂点を含め各辺に４点ずつを配置したマーカーを提案しており、点間の距離の比率を用いて情報を埋め込み、かつ、４つの頂点のうち３つ以上が観測された場合、正しく認識できるものとなっている。

また、曲面に貼付されるＡＲマーカー、そのマーカーの解析方法について例えば下記特許文献１に記載がある。

Ｂｅｒｇａｍａｓｃｏ，Ａｌｂａｒｅｌｌｉ，Ｔｏｒｓｅｌｌｏ："Ｉｍａｇｅ−Ｓｐａｃｅ Ｍａｒｋｅｒ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ Ｐｒｏｊｅｃｔｉｖｅ Ｉｎｖａｒｉａｎｔｓ"，３ＤＩＭＰＶＴ ２０１１，ｐｐ．３８１−３８８

特開２０１４−２２９２７４号公報

しかしながら、上記非特許文献１に記載の技術で提案されるようなＡＲマーカーは、マーカーが平面に置かれていることを前提としており、平面に置かれた場合の解析には未だ課題が残る。

また、上記特許文献１に記載の技術は曲面を想定したものであり、平面に貼付された場合における判定、更には折り曲げられた平面への貼付の場合の解析には未だ課題が残る。

そこで、本発明は上記課題に鑑み、平面及び曲面を判定し、更に、折り曲げられた平面である場合の新規解析方法を提案することを目的とする。

本発明の一観点に係るマーカーの解析方法は、一列に配置される複数の点からなり略平行に配置される一対の第一の点群と、第一の点群の列に対し略垂直な方向に一列に配置され複数の点からなり略平行に配置される一対の点群と、を備えたマーカーを面に貼付した場合の解析方法であって、画像データに基づき一対の第一の点群データの少なくともいずれか、及び、一対の第二の点群データの少なくともいずれかを取得し、第一の点群データ及び第二の点群データの少なくともいずれかに基づき、マーカーの貼付された面が平面であるか曲面であるかを判定することを特徴とする。

また、本観点において、限定されるわけではないが、マーカーが平面に貼付されていると判定した場合、前記平面が平坦面か折り曲げられた平面であるかを判定することが好ましい。

さらに、本観点においては、マーカーが折り曲げられた平面に貼付されていると判定した場合、折り曲げられた平面における二つの平面及び境界線を推定することが好ましい。

さらに、本観点においては、二つの平面のそれぞれに対し挿入画像データを作成し、挿入画像データを前記画像データと合成することが好ましい。

以上、本発明により、平面及び曲面を判定し、更に、折り曲げられた平面である場合の新規解析方法を提案することが可能となる。

実施形態に係るマーカーの一例を示す図である。 実施形態に係るマーカーが曲面に貼付された場合のイメージを示す図である。 実施形態に係るマーカーが折れ曲がった平面に貼付された場合のイメージを示す図である。 実施形態に係るマーカーの他の一例を示す図である。

以下、本発明を実施するための形態について図面を用いて詳細に検討する。ただし、本発明は多くの異なる形態による実施が可能であり、以下に示す実施形態の例示にのみ限定されるわけではない。

図１に、本実施形態において解析されるマーカーの一例を示し、図２に、このマーカーが曲面に貼付された場合の一例を、図３に、このマーカーが折り曲げられた平面に貼付された場合の一例を示しておく（なお、マーカーが付された物体を「本物体」と表現する。）。

これらの図で示す通り、本物体１は、一列に配列される複数の点３１からなり略平行に配置される一対の第一の点群３と、一対の第一の点群３の列に対し略垂直方向な方向に一列に配置され複数の点４１からなりかつ略平行に配置される一対の第二の点群４と、を備えたマーカー２が付されている。

本物体１は、本マーカー２を付することができる限りにおいて限定されず、曲面を有する柱状の物体表面、平面、折れ曲がった平面であることが好ましい。ここで「曲面を有する柱状の物体」とは、一方向の直線軸に沿って伸びる柱状の部分を有し、かつ、その軸方向に沿って切断した場合における断面形状の少なくとも一部が曲線を有するものをいい、その断面形状が略円形状となっているものを「円柱形状」という。なおその物体が中空であるものも、「曲面を有する柱状の物体」に含まれるものとする。

曲面を有する柱状の物体の具体的な例については、限定されるわけではないが、例えば建築物における円柱、電柱、飲料を入れておくためのマグカップ等、大きさを問わず多種多様な対象を挙げることができる。

また、平面である場合、折れ曲がった平面であることもできる。ここで「折れ曲がった平面」とは、一つの境界線を介して接続された二つの平面をいい、上記した図面がイメージの一例である。

また上記のとおり、本マーカー２は、一列に配列される複数の点３１からなり略平行に配置される一対の第一の点群３と、第一の点群３の列に対し略垂直方向な方向に一列に配置され複数の点４１からなり略平行に配置される一対の第二の点群４と、を備えている。

本マーカー２は、まず、一列に配列される複数の点３１からなり略平行に配置される一対の第一の点群３を備えている。ここで「略平行」とは、完全な平行を含むことはもちろんであるが、実質的に平行とみなすことができる程度の誤差を含むことを意味する。より具体的には、例えばプラスマイナス５度程度の誤差は許容できる。なお「略平行」の用語については、本明細書の他の要素において用いられる場合も同様である。

また本マーカー２において「点」とは、解析段階において認識できるものであることが必要であり、そのため所定の面積を有しているものであることが好ましい。また、その「点」の形状は円、楕円、三角形状、四角形状、その他の形状どのような形状も採用することができるが、その中心位置を定めやすくするためには円であることは好ましい一例である。また、後述の例でも示しているが、点は認識できる限りにおいて内部まで同一色で塗られている必要はなく、内部が異なる色となっていてもよい。

本マーカー２では、後述の記載から明らかとなるが、第一の点群３が略平行で一対となっていることにより、一方の第一の点群３における点と他方の第一の点群３における点との関係を精度よく把握することが可能となり、本マーカーが付される物体の傾きや曲率を容易に推測できるようになる。

また本実施形態において、第一の点群３の各点間距離は、添付された面（曲面に付された場合は当該曲面）に沿って測定した距離が略等しくなっていることが好ましく、更には、一対の第一の点群双方においても等しいことが好ましく、特に、一対の第一の点群の同様な位置にある点同士を結んだ場合に、当該直線が物体の軸に略並行となっていることが好ましい。なお上記のとおり本マーカー２の点が所定の面積を有している場合、「点間距離」は、各点内の中心位置の一座標を基準点３１１として定め、その基準点間の距離を意味することになる。

このようにしておくことで、本マーカーが付される物体の傾きや曲率等の方向に関する情報の計算をより容易に行うことができるようになる。ここで「略等しく」とは、完全に等しい状態を含むことはもちろんであるが、実質的に等しいとみなすことができる程度の誤差を含むことを意味する。より具体的には、例えば５％程度の誤差は許容できることを意味する。

また本実施形態において、本マーカー２の第一の点群３が円柱形状の物体に付される場合、第一の点群３は曲面に沿って配置されていること、より具体的には、円柱形状の物体の軸方向に対して垂直な面上に配置されていることが好ましい。このようにすることで、本マーカーの解析処理がより精度よくなるといった効果がある。

また本実施形態において、本マーカー２の第一の点群３が折れ曲がった物体に付されている場合、第一の点群３は、二つの平面にまたがって配置されていること、より具体的には、境界線に垂直な方向に配置されていることが好ましい。このようにすると本マーカーの解析処理がより精度がよくなるといった効果がある。ただし、折れ曲った物体に対して第一の点群３の延伸する方向がずれていても平面であれば計算による推定は容易であるため、問題は少ない。なおこの場合においても、一対の第二の点群の少なくとも一方全てが一方の平面上に全て配置されていることが好ましい。

また本マーカー２では、第一の点群３の列に対し略垂直方向な方向に一列に配置され複数の点４１からなり略平行に配置される一対の第二の点群４を備えている。ここで「略垂直」とは、完全な垂直を含むことはもちろんであるが、実質的に垂直とみなすことができる程度の誤差を含むことを意味する。より具体的には、例えばプラスマイナス５度程度の誤差は許容できる。なお「略垂直」の用語については、本明細書の他の要素において用いられる場合も同様である。

本マーカー２は、後述の記載から明らかとなるが、第一の点群３の列に対し略垂直方向な方向に一列に配置される複数の点４１を設けることで、本マーカー２に対する認識をより精度よく行うことができるようになる。

また本マーカー２の第二の点群４は、第一の点群３の列に対し略垂直方向な方向であれば位置は特に限定されるわけではないが、第一の点群３の両端を共有していることが好ましい。このようにすることで、本マーカー２に対する認識をより精度よく行うことができるようになるだけでなく、第一の点群３及び第二の点群４により囲まれた領域、より具体的には四角形状とすることができ、本マーカー２の領域を明確にすることができるようになる。

また、本マーカーの第二の点群における複数の点４１間の距離は、マーカーとして認識できるよう特定の関係を保つことができ、必要に応じて情報を含ませることができる範囲において配置適宜調整可能である。

また、限定されるわけではないが、本マーカーの第一の点群及び第二の点群は、これらの図で示すように枠内５に設けられていることが好ましい。このようにすることで、枠をマーカーの認識基準とすることができ、より認識精度が高くなる。この構成について、より具体的には四角形状の太枠内に枠と異なる色の点を設けておくことが好ましい。なお、枠のないマーカーについては、例えば図４で示すようなマーカーを例示することができる。なおこのような場合においては、各点の周囲はマーカーの点であることを背景と区別するためにマーカーの色と明確に区別することができる色となっていることが好ましい。また、各点の内部は点であることが認識できる限りにおいて限定されず、輪郭だけ明確にし、内部を異なる色で塗っていてもよい。

次にここで、本実施形態に係るマーカー解析方法（以下「本解析方法」という。）について具体的に説明する。

本解析方法は、一列に配置される複数の点からなり略平行に配置される一対の第一の点群と、前記第一の点群の列に対し略垂直な方向に一列に配置され複数の点からなり略平行に配置される一対の点群と、を備えたマーカーを面に貼付した場合の解析方法であって、（１）画像データに基づき一対の第一の点群データの少なくともいずれか、及び、一対の第二の点群データの少なくともいずれかを取得し、（２）第一の点群データ及び第二の点群データの少なくともいずれかに基づき、マーカーの貼付された面が平面であるか曲面であるかを判定する。

本解析方法は、実現できる限りにおいて限定されるわけではないが、例えば、デジタルカメラ等の撮像装置と、この撮像装置に接続されるコンピュータ等の情報処理装置を用いて行うことができる。

この場合において、情報処理装置は、撮像装置によって作成される画像データに対しマーカー解析及び画像作成を実現できる限りにおいて限定されるわけではないが、例えば、いわゆるＣＰＵ、ハードディスク、メモリ等の記録媒体等を備え、ハードディスク等にマーカー解析、画像作成を行うためのプログラムを格納し、使用者の要求に応じてメモリに一時的に読み込ませ、当該プログラムを実行して上記各処理を実現させるようにすることが好ましい。

まず、本解析方法は、上記のように（１）画像データに基づき画像データに基づき一対の第一の点群データの少なくともいずれか、及び、一対の第二の点群データの少なくともいずれかを取得する。

画像データに基づき第一の点群及び第二の点群データを取得するに際し、まず、画像データから点群中の点を抽出する。画像データから点を抽出する方法としては限定されることなく様々な手法を採用することができるが、マーカーの点とその背景との色の境界を検出する手法等公知の手法を採用すること好適である。

なお、この場合において、枠内に点群を備えるマーカーである場合は、マーカーとその背景をより明確に区別することが可能となり、また、第二の点群を特定した後、その点群が存在する枠内で第一の点群の抽出を行うこともできるようになり、より精度よく点群の抽出が可能となる。

また、枠を用いる場合、限定されるわけではないが、この枠の輪郭を楕円近似することは、点群の抽出をより容易になるため好ましい。具体的には、枠の輪郭を認識した後、当該輪郭を覆うよう楕円近似を行い、この楕円近似内に存在する点を上記方法等を用いて抽出すれば、この点が点群を構成する点であると確実に認識できるため、後述の点群認識の手順の少なくとも一部を省略することができる。

次に、点を抽出した後、計算のため各点の基準点の座標を特定する。基準点については、点の位置との所定の関係があれば特に限定されるわけではないが、例えば、点が丸形状である場合は中心を、三角形状である場合は重心を、四角形状である場合は対角線の交点等を例示することができる。

次に、各基準点の座標を特定した後、第一の点群及び第二の点群をそれぞれ特定する。より具体的には、抽出した各基準点の座標間の距離や直線関係を求め、その距離の関係、直線関係が、あらかじめ定めてある第一の点群及び第二の点群の距離関係のいずれかに対応したと判断した場合、当該基準点の集合は点群を形成していると判断する。

具体的に説明すると、本実施形態においては、第二の点群は一方から他方に至るまで物体の面に沿って所定の間隔で点間距離が離れて配置されているため、第二の点群は常時直線関係にあると考えることができ、更に、この直線関係にある複数の点の間の距離があらかじめ定めてある第二の点群の距離の関係と相当の関係にあると判断されれば、第二の点群であると特定できる。ここで「相当の関係」とは、その点間距離があらかじめ定めてある点間距離と一致することを含むのはもちろんであるが、物体自体の回転や傾きによって点間距離が変調されている場合でも、直線であって、その点間距離が上記回転や傾きによって変調された範囲であると把握できる場合を含む関係をいう。もちろん、第二の点群の点間距離を調整することにより情報を含ませている場合は、取得した点の直線関係に基づいて第二の点群であると認識し、更に点間距離を読み取ることで含まれた情報を取得することも好ましい。

またこの場合において、限定されるわけではないが、本マーカー２の第二の点群の距離（点間距離の合計）は予め求めておき、実際に特定した第二の点群の距離と比較し、縮尺比を求めておくことが好ましい。

なお、本実施形態では、第二の点群は一対、より具体的には略平行に二本設けているが、本マーカーが付される物体は曲面又は折れ曲った平面に配置されることがあるため、撮影の角度によっては第二の点群のうちの一方だけしか見えない場合も多い。このため、第二の点群は一方のみ検出できれば十分であるようにするため、そのため第二の点群は同一の構成となっていることが好ましい。このようにすることで、本マーカーの半分程度が隠れていてもマーカーとして認識できるようになる。

ところで本実施形態では、（２）第一の点群データ及び第二の点群データの少なくともいずれかに基づき、マーカーの貼付された面が平面であるか曲面であるかを判定する。この結果、マーカーの添付された面に応じた挿入画像データを作成することが可能となる。

マーカーの貼付された面が平面であるか曲面であるかを判定する方法としては、特に限定されるわけではないが、各基準点の座標を特定し、第二の点群を特定した後、残りの点群から一対の第一の点群を把握し、一対の第一の点群データに基づき方向データを求めることで実現できる。

第一の点群は、第二の点群の近傍に配置しているため、第二の点群を特定できれば容易に推測することができる。具体的には、第二の点群の端点から所定の方向、範囲にある点を第一の点群と認識することで特定できる。また、枠５を用いて点を認識している場合は、第二の点群と認識されなかった点を第一の点群として認識できる。

ここで「方向データ」とは、添付された物体の傾きや向き（回転方向）がどの方向にどの程度となっているか、面がどのような方向を向いているのかといった、物体の軸の傾き量や回転量等を示すデータを含む。本マーカーが添付される物体は、まず、一定の曲率を有しているものとして考え、その曲率がどの程度あるかによって、貼付されたのが平面であるか、曲面であるかを判定することとしてもよいし、予め平面であると仮定し、平面であると解釈できない関係にある場合に曲面であると判定することとしてもよい。

本マーカーは、撮影する角度や距離によって見える曲面上のマーカーの形状は異なってくる（例えば本マーカーを正面から見た場合は四角形状に近く、本マーカーを斜めから見ると第一の点群は曲がって見える）。したがって、第一の点群がどの程度直線から曲がっているのかを把握することで、貼付されたのが平面であるか、曲面であるかを判定すること、曲面の場合はどの程度物体に対して傾いて撮影したものであるのか、平面の場合は一様な平面か、折れ曲った平面であるか、を特定することができる。より具体的には、第一の点群が直線を維持している場合は平面に添付されていると判定し、直線を維持していない場合は、曲面であると判断することが可能である。なお曲面であると判断された場合の解析手法については、上記特許文献１に記載の方法を採用することができるため、以下は直線として判断された場合の解析方法についてのみ説明しておく。

本解析方法では、（３）マーカーが平面に貼付されていると判定した場合、平面が一様な平坦面上か折り曲げられた平面であるかを判定する。

本マーカーが一様に平坦な面上に貼付されている場合、マーカーの一部が認識できるということは、そのマーカーにおける一対の第一の点群、第二の点群はほぼ全て確認することができることを意味する。しかも、この場合において、各点群の点が一直線上に並んでいることが確認できる。この結果、そのすべての点群が存在する一様な平面を回転や傾き等を考慮した変換計算によって求めることができる。

一方、本マーカーが折り曲げられた平面上に貼付されている場合、第一の点群又は第二の点群が一直線上にない状態となっている。より具体的には、一つの点群において二つの直線が接続された状態になっている。このような状態である場合、マーカーが折り曲げられた平面上に貼付されていると判断できる。なお、本マーカーが折り曲げられた平面上に貼付されている場合、マーカーの一部は認識されているものの、他の一部については影となり認識されない場合がある。この場合も、本マーカー自体が折り曲げられた平面上に貼付されていると判定することとしてもよい。

また、本解析方法は、（４）マーカーが折り曲げられた平面に貼付されていると判定した場合、折り曲げられた平面における二つの平面及び境界線を推定する。

具体的には、本マーカーの第一の点群及び第二の点群のすべてが認識できる方向から撮影して画像データを入手し、それらの各点群に対し直線を近似し二つの平面を推定する。更に具体的には、第一の点群又は第二の点群のうち、一直線で並んでいる点群を特定し、その点群を挟む折れ曲った第二の点群又は第一の点群のうち、接続している側の二つの直線を同一平面上の直線として平面を推定する。そしてこの推定と同様の推定を他方の第一の点群又は第二の点群に対しても行い、他方の平面を推定する。この結果、二つの平面を求めることができる。そして、この二つの平面の交差を計算し、本マーカーが貼付された面の境界線を推定することができる。

そして、この二つの平面の交差角度は一度求めてしまえば改めて求める必要がなくなるため、交差角度データとして保持しておくことで、第一の点群又は第二の点群の一部に基づき一つの平面を求めることで、他方の平面の方向を特定することができる。もちろん、二つの平面の交差角が変化するような場合は、上記二つの平面の推定及び境界線の推定を随時行うこととすればよい。なお、二つの平面の交差角度はさまざまな方法によって求めることができるが、例えば、各平面の法線ベクトルの内積を求めることによって得ることも可能である。

また、本解析方法は、（５）二つの平面のそれぞれに対し挿入画像データを作成し、挿入画像データを前記画像データと合成することが好ましい。

ここで「挿入画像」とは、上述の撮像装置によって作成された画像に対し挿入処理を行う画像であって、特に限定されるものではなく、疑似的な三次元的な形状を表示する画像であっても、二次元画像であってもよい。また、この挿入画像に対して行う変換処理は、公知の拡大縮小の処理、曲面化処理、回転処理を行うことができ、特に限定されず、公知の画像処理技術があればそれを適用することが可能である。

次に、本実施形態では、上記曲面挿入画像データを作成した後、画像データと合成処理を行う。これにより、使用者は、あたかも撮影した画像データに挿入画像が存在しているかのように認識することができる。

以上、本実施形態によって、平面及び曲面を判定し、更に、折り曲げられた平面である場合の新規解析方法を提案することが可能となる。

本発明は、マーカーの解析方法として産業上利用可能性がある。

Claims (3)

1. 一列に配置される複数の点からなり略平行に配置される一対の第一の点群と、前記第一の点群の列に対し略垂直な方向に一列に配置され複数の点からなり略平行に配置される一対の第二の点群と、を備えたマーカーを面に貼付した場合の解析方法であって、
   画像データに基づき一対の第一の点群データの少なくともいずれか、及び、一対の第二の点群データの少なくともいずれかを取得し、
   前記第一の点群データ及び前記第二の点群データの少なくともいずれかに基づき、前記マーカーの貼付された面が平面であるか曲面であるかを判定し、前記マーカーが平面に貼付されていると判定した場合、前記平面が平坦面か折り曲げられた平面であるかを判定する、マーカーの解析方法。
2. 前記マーカーが折り曲げられた平面に貼付されていると判定した場合、
   前記折り曲げられた平面における二つの平面のなす角度及び境界線を推定する、請求項１記載のマーカーの解析方法。
3. 前記二つの平面のそれぞれに対し挿入画像データを作成し、
   前記挿入画像データを前記画像データと合成する請求項２記載のマーカーの解析方法。