JP6363863B2 - 情報処理装置および情報処理方法 - Google Patents

Description

本発明は、幾何パターンが投影された物体を撮影した画像から、該物体の表面の3次元位置を計測する技術に関する。

3次元センサの計測方式の1つとして、計測対象物体に幾何パターンを投影し、それを撮影した画像情報に基づいて該物体表面の3次元位置を計測する、アクティブステレオと呼ばれる方式が知られている。アクティブステレオ方式による計測の際に、ボケやモーションブラーの影響や、該物体表面の位置や角度の影響により、画像上の投影像の大きさや形状が変動するため、画像における投影像の位置を高精度に決定することが難しくなる。

このような不具合に対応するために、特許文献1では、画像の解像度を複数用意して、各解像度に対するフィルタの応答を調べることで、画像上の特徴サイズに対応した投影像の位置決定を可能にしている。

特開2011-204280号公報 特開平1-274007号公報

M.Kimura,"Projector Calibration using Arbitrary Planes and Calibrated Camera"Computer Vision and Pattern Recognition,CVPR,2007. R.Y.Tsai,"A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses"IEEE Journal of Robotics and Automation,vol.RA-3,no.4,1987.

しかしながら、上記特許文献1に記載の方法では、複数の画像解像度に応じた投影像(幾何パターン)の位置決定を行うものの、画像上で観測される特徴のサイズに応じて画像解像度が設定されるわけではないため、位置決定の精度が低い。したがって、特許文献1に記載の方法を3次元位置計測に適用しても、その位置計測精度は十分ではない。

本発明は上述した課題を解決するためになされたものであり、幾何パターンが投影された物体を撮影した画像を用いて、該物体の表面の3次元位置を高精度に計測することを目的とする。

上記目的を達成するための一手段として、本発明の情報処理装置は以下の構成を備える。すなわち、幾何パターンが投影された物体を撮影した画像において観測される前記幾何パターンの拡がり度合いを推定する推定手段と、前記推定された拡がり度合いに基づいて、前記幾何パターンを検出するためのフィルタのサイズに係るパラメータの値を複数設定するパラメータ設定手段と、前記フィルタを用いて、前記パラメータの複数の値ごとに前記幾何パターン上の点を設定する点設定手段と、前記設定された点の中から検出精度の高い点を選択する選択手段と、該選択された点に対応する前記物体の表面の３次元位置を算出する算出手段と、を有する。

本発明によれば、幾何パターンが投影された物体を撮影した画像を用いて、該物体の表面の3次元位置を高精度に計測することができる。

本発明に係る一実施形態における3次元位置計測システムの構成を示す図 本実施形態における3次元位置計測処理を示すフローチャート 本実施形態において観測される計測線の波形の特徴を説明する図 本実施形態における幾何特徴拡がり度合いの推定処理を示すフローチャート 本実施形態における検出フィルタの設定方法を説明する図 複数の点を含む幾何パターンの例を示す図

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜第1実施形態＞
本実施形態では、ボケとモーションブラーが発生する条件下で、スリット光(以降、計測線と呼ぶ)を計測対象物体に投影した画像から、計測対象物体表面の3次元位置を高精度に計測する方法を説明する。

本実施形態では、画像上で山形の輝度分布を持つエリアの極値を調べることで、計測線上の点を設定する。極値は、ソーベルフィルタのような微分フィルタを用いて、画像上の計測線とクロスする方向に畳み込み計算を行った後、計算後の波形のゼロクロス点を調べることで検出する。ここで、ゼロクロス点を正確に検出するには、画像上で観測される計測線幅に合わせた検出フィルタを設定する必要がある。具体的には、幅の広い計測線には大きいサイズのフィルタ、幅の狭い計測線には小さいサイズのフィルタを適応させることで、計測線上に設定する点の位置精度を上げることができる。ここで、計測線の幅とは計測線の拡がり度合いを意味する。また、拡がり度いとは、計測線とクロスする方向に輝度値を見た時の波形の拡がり度合いを示す指標である。

本実施形態では、ボケ・ブレ・対象物の位置や角度による計測線の拡がり度を推定した後、その推定値に基づいて検出フィルタの形状(応答特性)を設定することで、計測線を高精度に検出し、該計測線上の点を高精度に設定する。これにより、該設定された点に対して算出される3次元位置の精度を上げることができる。

●装置構成
本実施形態における3次元位置計測システムの構成を図1に示す。本実施形態の3次元位置計測システムは、情報処理装置100、投影装置110、撮像装置120、移動装置130から構成される。情報処理装置100は、幾何特徴拡がり度推定部101、パラメータ設定部102、画像取得部103、点設定部104、3次元位置算出部105からなる。111は投影装置110で投影する幾何パターン、121は撮像装置120で撮影された画像の例を示す。幾何パターン111は、複数の計測線112を含むものとする。また、計測対象物体140は本システムによって計測する対象物であり、移動装置130の上にあるものとする。移動装置130は所定の移動ベクトルVで物体を移動させる、例えばコンベアである。ここで、Vは撮像装置120に対する3次元座標の移動ベクトルとする。

投影装置110は、濃淡による幾何パターン画像(幾何パターン111)を投影するプロジェクタである。投影装置110の焦点距離や主点位置、レンズ歪パラメータなどの内部パラメータ情報、撮像装置120に対する投影装置110の相対的な位置姿勢の情報は、予め校正しておく。なお、この校正方法は周知であり、例えば非特許文献1に示す方法を用いれば良い。

撮像装置120は、濃淡画像を撮影するカメラである。撮像装置120の焦点距離や主点位置、レンズ歪パラメータなどの内部パラメータ情報は、予め校正しておく。なお、この校正方法は周知であり、例えば非特許文献2に示す方法を用いれば良い。

本実施形態では、投影装置110と撮像装置120は、両者のエピポーラ線が画像面の横方向に水平になるように設置されるものとする。また、以降の説明において3次元位置・方向を表す場合、撮像装置120の座標系を世界座標とした値を用いるとする。

情報処理装置100において、幾何特徴拡がり度推定部101は、撮像装置120で撮影された画像上で観測される、幾何パターン111における幾何特徴の拡がり度合いを推定する。本実施形態で幾何特徴とは線であり、画像上のエピポーラ線方向(本実施形態では画像の水平方向)に対する計測線の拡がり度合いを推定する。

パラメータ設定部102は、幾何特徴拡がり度推定部101によって推定された幾何特徴の拡がり度合い基づいて、幾何特徴上の点を設定する際に利用するパラメータを設定する。本実施形態ではこのパラメータとして、画像上の極値を検出するための検出フィルタの形状を設定する。

画像取得部103は、計測対象物体140に向かって投影装置110から幾何パターン111を投影した像を、撮像装置120で撮影した画像を取得する。

点設定部104は、パラメータ設定部102で設定したパラメータに基づき、画像取得部103で取得した画像上において、幾何特徴上の点を設定する。詳細は後述するが、本実施形態では画像における輝度分布の極値として検出される点を、幾何特徴上の点として設定するため、以下、点設定部104で設定された点を検出点とも称する。

3次元位置算出部105は、点設定部104で設定された検出点に対応する、計測対象物体140表面の3次元位置を計算する。

●3次元位置計測処理
以下、本実施形態の3次元位置計測装置における計測処理について、図2のフローチャートを用いて説明する。

●幾何特徴拡がり度推定処理(S201)
まずS201で幾何特徴拡がり度推定部101が、撮像装置120で撮影した画像上で観測される幾何特徴の拡がり度合いを推定する。幾何特徴の拡がり度合いとは、具体的には画像上で観測される計測線のエピポーラ線方向(本実施形態では画像の水平方向)に画素をスキャンする際に観測される、計測線の拡がり度合いである。本実施形態では、この拡がり度合いとして、静止時の物体に予測される線の波形を標準偏差D(以降、Dは拡がり量Dとも称する)のガウス関数で近似し、モーションブラーの影響によりガウス関数のブレ量をBとし、DとBで指標化した値を算出する。

ここで、計測線の拡がり度合いの推定方法について、図3を用いて具体的に説明する。計測対象物体140が静止状態の時、観測される計測線の波形はガウス関数で近似されるものとする。図3は、画像上で観測される計測線の例を示す。300は、観測される画像の例であり、簡単のため計測線を1本としている。301は、計測対象物体140が静止状態の時に観測される計測線の波形を表す。静止時の波形においては、投影装置110と撮像装置120のそれぞれに対する計測対象物体140の表面位置の焦点ズレと計測対象物体140の表面の位置・角度に従って、撮像装置120で観察した時の見かけの拡がり量が変化する。本実施形態では、計測対象物体140をその移動時に観測するため、さらにモーションブラーの影響を受け、ブレ分の拡がりがさらに発生する。302の矩形波は、モーションブラーにより発生するブレの範囲を表す。したがって、ガウス関数を示す波形301と、矩形波302との畳み込みによって得られる波形303が、計測線の拡がりとして観測される。すなわち波形303は、ボケ・ブレ・計測対象物体表面の位置・角度の影響を受けた画像上で観測される計測線の波形を模擬したものである。そこで本実施形態では、波形301によるガウス関数の標準偏差を拡がり量D[pixel]、ブレ幅を表す矩形波302の幅をブレ量B[pixel]として、DとBの値を推定する。

本実施形態では、シミュレーションによって拡がり量Dとブレ量Bの値を推定する。ここで図4のフローチャートを用いて、拡がり量Dとブレ量Bを算出するシミュレーション方法を示す。図4に示す処理はすなわち、S201における幾何特徴拡がり度合い推定処理の詳細である。

先ずS401で、画像上で観測される、計測対象物体140の表面における計測線上の仮想点群の3次元位置と面法線方向を推定する。本実施形態では、計測対象物体140の形状モデルと位置姿勢の概略値が予めユーザーによって設定されており、利用できるものとする。計測対象物体140の形状モデルと位置姿勢を利用して、投影装置110から投影した計測線が、撮像装置120で撮影された画像上のどの位置で観測されるかを、シミュレーションによって計算する。ここで、撮像装置120で撮影された画像上で観測される計測線上の複数の仮想点(n点)それぞれについて、計測対象物体140表面において対応する点の3次元位置と面法線方向を取得する。

そしてS402で、S401で推定したn点の3次元位置と面法線方向から、その代表値を計算する。具体的には、n点ある3次元位置と面法線方向の平均値を代表値として、代表3次元位置Xと代表法線方向Nを取得する。

そしてS403で、代表3次元位置Xと代表法線方向N、および計測対象物体140の移動ベクトルVに基づく演算により、計測線の拡がり度合い(拡がり量Dとブレ量B)を以下のように推定する。

まず、ボケ・計測対象物体表面の位置・角度に起因する拡がり量D[pixel]は、式(1)によって計算する。

ここで、添え字PおよびCはそれぞれ、投影装置110および撮像装置120のパラメータであることを表す。Kは各装置(投影装置110或いは撮像装置120)からピント位置までの距離[mm]、Fは各装置のレンズの絞り値、fは各装置の焦点距離[mm]、Δdは各装置の画素ピッチ[mm/pixel]、を表す。また、Lは各装置の光学中心から代表3次元位置Xまでの光軸方向における距離[mm]、θは各装置の光軸に対する計測対象物体140表面の代表法線方向Nのなす角[rad]を表す。また、wは、幾何パターン上での計測線の幅[pixel]を表し、計測線の断面の波形をガウス関数で近似するのもとする。なお、θは、投影装置110と撮像装置120の光学中心と、代表3次元位置Xの3点を含むエピポーラ平面上での角度である。g1は撮像装置120の画像平面において、実空間の点を観測する際に発生する点の大きさ[mm]を表す。g2は計測対象物体140の表面における線の拡がりの大きさ[mm]を表す。g3は投影装置110から正対する面に点を投影する際に投影面上で発生する点の大きさ[mm]を表す。ここで、撮像装置120における撮影レンズの焦点距離、ピント位置、絞り値、画素ピッチは、使用する機器の仕様を参照する。または、非特許文献2で開示される方法によって事前に計算しておく。

次に、ブレ量B[pixel]は、式(5)で計算する。

ここで、Δは露光時間中に移動する計測線上の仮想点の3次元位置の変化を表す。また関数hは3次元点の座標を画像座標に変換する投影計算を表す。従って、式(5)のBは、露光時間中に移動する計測線上の仮想点の画像上での2次元位置変化を表している。Δの値は、以下の式(6)で計算する。

ここで、Tは投影装置110の光学中心から計測対象物体140表面の代表3次元位置Xに向かう単位ベクトル、αは代表法線方向Nと移動ベクトルVのなす角度[rad]、βはNとTのなす角度[rad]、を表す。

●パラメータ設定処理(S202)
以上のようにS201で計測線の拡がり度合いとして拡がり量Dとブレ量Bが推定されると、次にS202でパラメータ設定部102が、計測線の拡がり度合いに合わせたパラメータとして、検出フィルタの形状を設定する。まず、拡がり量Dとブレ量Bの値から、予測される計測線の波形を計算する。具体的には、標準偏差Dのガウス関数と、幅B高さ1の矩形波との畳み込み計算を行うことで、予測される計測線の波形が計算できる。拡がり量Dとブレ量Bによって計算される波形の例を、図5の501に示す。次に、予測される計測線の波形の微分を数値計算して、該波形に対応する検出フィルタの波形を計算する。この検出フィルタの波形の例を、図5の502に示す。そして最後に、検出フィルタの波形を、画像との畳み込みを行うために所定の閾値で量子化することで、検出フィルタの形状を設定する。ここで設定された検出フィルタの例を、図5の503に示す。

以上、S201〜S202の処理により、対象物体について発生が予測されるボケ・ブレに応じた計測線の拡がり度合いを推定し、該拡がり度合いに応じて、計測線上の点を高精度に設定可能なパラメータ(本実施形態では検出フィルタ)が設定される。なおパラメータは、撮像装置120で撮影された画像全体について設定される。

●画像取得〜三次元位置算出処理(S203〜S205)
以下、S203〜S205において、S202で設定された検出フィルタを用いた対象物体の実測が行われる。まずS203で画像取得部103が、計測対象物体140に向かって投影装置110から幾何パターン111を投影した像を、撮像装置120で撮影した画像を取得する。

そしてS204で点設定部104が、パラメータ設定部102で設定した検出フィルタに基づいて、画像取得部103で取得した画像上における計測線上の点を設定する。この設定は、画像上のエピポーラ線上に沿う方向(本実施形態では画像の水平方向)に対して、検出フィルタを適用することで行う。すなわち、まず画像のエピポーラ線方向のスキャンラインと検出フィルタとの畳み込み計算を行い、次に、畳み込み計算の応答値のゼロクロス点を画像上の水平方向に探索する。検出されたゼロクロス点が、応答値の勾配が閾値以上、すなわち画像上の山形が所定値以上急峻であれば、計測線上の点(検出点)として設定し、出力する。

そしてS205で3次元位置算出部105が、点設定部104で設定した検出点に対応する計測対象物体140の表面の3次元位置を、三角測量法に基づき計算する。まず、画像上の検出点が、幾何パターン上の何れの線に属するかを識別する。この識別方法として本実施形態では、画像上の隣接する点を同一線としてラベリングし、画像上でラベリングした線の順番に基づいて識別を行うとする。次に、画像上での各検出点の位置と、それに対応する幾何パターン上での計測線の位置との関係から、光切断法の原理に基づいて3次元位置を計算する。以上の操作を、当該スキャンライン上の全ての検出点について行うことで、該スキャンラインに対応する計測対象物体140表面の3次元位置を計算することができる。

以上説明したように本実施形態によれば、ボケ・ブレ・計測対象物体表面の位置・角度の影響による幾何特徴の拡がり度合いを推定し、該推定値に基づいて幾何特徴上の点の設定に用いる検出フィルタの形状を設定する。これにより、幾何特徴上の点を高精度に設定することができ、該設定した幾何特徴上の点から算出される3次元位置の精度を上げることができる。

なお、本実施形態の投影装置110は、スリット光を投影できる装置であればどのような装置でも良い。例えば、画像を投影するプロジェクターでも良いし、光源とマスクパターンを組み合わせた装置でも良い。投影するパターンは濃淡パターンでも良いしカラーパターンでも良い。

撮像装置120で取得する画像は、2次元の画像であればどのような画像でも良い。例えば、濃淡画像でも良いし、カラー画像でも良い。また、画像取得部103の取得方法は、撮像装置120から直接取得しても良いし、一度メモリ上に格納した画像を後から取得しても良いし、ネットワークから取得しても良い。

また、本実施形態では、投影装置110と撮像装置120は、両者のエピポーラ線が画像面の横方向に水平になるように設置するとしたが、必ずしも画像上でエピポーラ線が水平になるように配置しなくても良い。エピポーラ線が水平でない場合は、例えば画像を回転変化させて近似的に水平化させた画像に基づいて、検出点の設定処理を行って良いし、検出フィルタと畳み込み計算を行うスキャン方向を、画素に沿う水平方向でなくエピポーラ線に沿う方向に変更すれば良い。

幾何特徴拡がり度推定部101で推定する拡がり量Dの値は、静止状態の計測対象物体を撮影する時に、画像上で予測される線の拡がり度合いを表す指標であればどのようなものでも良い。例えば、標準偏差でも良いし波形の半値幅でも良い。また、波形の近似関数は、山形の形状を近似できる関数であればどのような関数で近似しても良く、三角波や任意の点拡がり関数でも良い。また、関数で近似して拡がり度合いを数値化するのではなく、観測される波形自体を推定しても良い。この場合、パラメータ設定部102では、推定した波形を微分することで検出フィルタを設計する。

また、幾何特徴拡がり度推定部101で代表3次元位置Xと代表法線方向Nから拡がり量Dを計算する式は、理論式で推定する以外に、実写画像から、XとNに対する拡がり量Dをテーブル化しておくことで計算しても良い。この場合、複数の位置・向きで平面物体を配置して、撮像装置120で撮影した画像上で観測される計測線の拡がり量Dの値を実写画像から算出することで、事前準備としてテーブル化する。テーブル化を行う上で、各XとNに対するDの値は、画像上で観測した計測線に対し、ガウス関数を最小二乗法によりフィッティングしたときの標準偏差から求める。これは、ブレ量Bについても同様で、XとN、Vに対するブレ量Bをテーブル化しておくことで計算しても良い。この場合、複数の位置・向き、移動ベクトルで平面物体を配置して、撮像装置120で撮影した画像上で観測される計測線のブレ量Bの値を画像から算出することで、事前準備としてテーブル化する。テーブル化を行う上で、各XとN、V対するブレ量Bの値は、画像上で観測した計測線に対し、矩形波を最小二乗法によりフィッティングしたときの標準偏差から求める。

幾何特徴拡がり度推定部101における計測対象物体の位置姿勢の取得方法は、例えば計測対象物体が観測される位置姿勢が既知であるとしてそれを取得すれば良い。また、一度画像を撮影して画像上から計測対象物体の位置姿勢をテンプレートマッチングによって求めることで取得しても良い。計測対象物体の移動ベクトルVの取得方法は、計測対象物体の撮影時の移動ベクトルが既知であるとしても良いし、コンベア等の移動装置に配置されているとしてその制御値から取得しても良い。また、多関節のロボットアーム等に把持されているとしてその制御値から取得しても良い。

幾何特徴拡がり度推定部101で代表3次元位置Xと代表法線方向Nの計算方法は、観測される点群を近似できる値であればどのような計算方法でも良い。シミュレーションで画像上に投影される点群のうち、平均値を用いても良いし中央値を用いても良い。

本実施形態では、計測対象物体の移動を、3次元位置の移動ベクトルVとしたが、さらに3次元の姿勢変化も発生するとして6次元の位置姿勢変化ベクトルUを利用しても良い。その場合、3次元位置Xと代表法線方向Nにおけるブレ量Bを求める式(6)において、Vは式(7)で計算する。

ここで、∂X/∂Uは計測対象物体の位置姿勢変化に対するXの位置変化を表すヤコビアンである。

パラメータ設定部102で設定する畳み込み計算のための検出フィルタは、1次元の検出フィルタでも良いし、ソーベルフィルタのように2次元に幅を持つ2次元の検出フィルタに変形しても良い。また、設計するフィルタは、幾何特徴拡がり度推定部101から推定する線の拡がり度(拡がり量Dやブレ量B)に応じて、検出フィルタのサイズが大きくなるものであればどのようなフィルタでも良い。例えば、DとBの大きさに比例してソーベルフィルタ等の微分フィルタのサイズを大きくしたものを設定しても良い。

3次元位置算出部105における、検出点が属する計測線の識別方法は、検出点が幾何パターンにおける何れの計測線に属するものかを識別できるものであればどのような方法でも良い。幾何パターンの計測線上に与えた特徴に基づいて識別を行う、例えば特許文献2で開示される方法でも良い。また、カラーの照明装置・撮像装置を用いて、色による識別を行っても良い。また、計測対象物体の概略位置姿勢と形状モデルが既知の場合、画像上で観測される計測線の位置を予測して、画像上で設定された計測線上の検出点に近接する予測位置の計測線を対応付けることで、計測線の識別を行っても良い。また、計測線を1本しか投影しない場合は、識別を行う必要はない。また、3次元位置の算出については、必ずしも全ての検出点から3次元位置を算出する必要はなく、例えば、画像上の指定した領域内の3次元位置のみを算出しても良いし、所定の間隔で間引いて算出しても良い。

＜変形例1＞
以下、本実施形態の変形例を示す。第1実施形態における幾何特徴拡がり度推定部101では、計測対象物体の位置姿勢と形状モデルに基づいて、計測対象物体表面の代表3次元位置Xと代表法線方向Nを計算することで、幾何特徴の拡がり度合いを推定する例を示した。以下、変形例として、所定の検出フィルタを用いたプレ計測によって求めた、計測対象物表面の3次元点群の位置情報から、計測対象物体表面の代表3次元位置Xと代表法線方向Nを計算する方法を説明する。

まず、予め設定した形状を持つ検出フィルタを用いて、点設定部104で画像上の計測線上の点を設定する。次に、3次元位置算出部105によって、点設定部104で設定した点の3次元位置を計算する(プレ計測)。そして、計算した3次元点群のうち隣接する点を繋げて三角メッシュを構成することで、計測対象物体のポリゴンを生成する。次に、生成したポリゴンに基づいて、投影装置110から投影した計測線が撮像装置120で撮影された画像上で観測される位置をシミュレーションによって計算する。ここで、撮影された画像上で観測される計測線上の点(n点)それぞれについて、計測対象物体140の表面での3次元位置と面法線方向を取得する。次に、n点ある3次元位置と面法線方向の平均値を計算することで、代表値として代表3次元位置Xと代表法線方向Nを求める。なお、XとNに基づく拡がり量Dとブレ量Bの計算方法は、第1実施形態と同様である。

以上説明したように、計測線の拡がり度の推定に利用する計測対象物体140の3次元位置Xと面の法線方向Nは、画像に対するプレ計測によって求めた、計測対象物表面の3次元点群の位置情報を利用して算出しても良い。このように、実画像に基づいて幾何特徴の拡がり度(拡がり量Dとブレ量B)を推定することにより、その推定精度が高くなる。

＜変形例2＞
第1実施形態における幾何特徴拡がり度推定部101では、計測線の拡がり度合いを示す拡がり量Dとブレ量Bの値を、論理計算により算出する例を示した。以下、撮像装置120を使って、計測対象物体或いはそれを模擬した物体を予め撮影して得られた画像から、拡がり量Dとブレ量Bを推定する方法を説明する。

まず、撮像装置120を使って、計測対象物体或いはそれを模擬した物体を予め撮影した事前画像を取得する。次に、予め設定した検出フィルタを利用して、事前画像上で観測される計測線上の検出点を概略的に設定する。次に、各検出点において、拡がり量Dとブレ量Bをパラメータとする関数を最小二乗法を使ってフィッティングすることで各検出点における拡がり量とブレ量を算出し、その平均値を計算することで、画像上における代表値としての拡がり量Dとブレ量Bを求める。

なお、拡がり量Dとブレ量Bの計算は最小二乗法によるフィッティング以外に、例えば画像を2値化することで計測線が観測される領域を抽出し、その線幅の平均値をGとして、D＝G/2、B＝G/2として概略的に計算しても良い。

また、拡がり量Dとブレ量Bを推定する際に利用する画像として、実写画像ではなくシミュレーション画像を用いても良い。例えば、計測対象物体140の形状モデルと位置姿勢から、撮影画像上で観測される像をシミュレーションによって生成した画像を用いることができる。このシミュレーション画像の生成には、ジッタリング等を行うレンダリングソフトを利用しても良い。

以上説明したように、計測線の拡がり度合いは、事前に撮影または作成した画像を利用して算出しても良い。このように、実画像に基づいて幾何特徴の拡がり度(拡がり量Dとブレ量B)を推定することにより、その推定精度が高くなる。

＜変形例3＞
第1実施形態では、幾何特徴拡がり度推定部101にて拡がり量Dとブレ量Bの両方を推定する例を示したが、その何れか一方だけを推定して、片方の値は予め設定するパラメータとして与えておいても良い。例えば、モーションブラーを想定しない場合であれは、ブレ量B＝0[pixel]として与えても良い。また、ボケが発生しにくい場合や物体表面の位置・角度が画面内で一様である場合は、静止時の幾何特徴の拡がり量Dをユーザーが予め設定した固定値としても良い。

また、移動ベクトルVについても固定値とすることができる。したがって幾何特徴拡がり度推定部101では、計測対象物体表面にある計測線上の複数の点についての3次元位置と面法線方向、および移動ベクトル、のうちの少なくとも1つに基づいて、幾何特徴の拡がり度合いを推定することができる。

＜変形例4＞
第1実施形態では点設定部104にて、画像と検出フィルタとの畳み込み計算を行い、その応答値に基づいて幾何特徴上の点を設定する例を示した。この点設定方法は、幾何特徴拡がり度として示される値に応じて、画像上で幾何特徴を検出できればどのような方法であっても良い。例えば、テンプレートマッチングによる検出を行っても良い。この場合、パラメータ設定部102では、幾何特徴拡がり度推定部101で推定された拡がり度合いに応じて、テンプレートの形状を設定する。テンプレートの形状としては、拡がり量とブレ量から推定できる計測線の波形(図5の501)を所定の閾値で量子化したものを設定すれば良い。点設定部104では、パラメータ設定部102で設定したテンプレートを使って画像を探索し、テンプレートとのマッチングを行って誤差値を計算した後、その極小位置を検出することで、計測線上の点を設定する。

＜第2実施形態＞
以下、本発明に係る第2実施形態について説明する。第2実施形態では、パラメータ設定部102で設定するパラメータとして、検出フィルタで畳み込み計算を行う先の画像のリサイズ率を設定する方法を説明する。第1実施形態では、計測線の拡がりに合わせて検出フィルタを調整しているのに対して、第2実施形態では、検出フィルタは固定形状として、画像自体のサイズを調整して検出フィルタに合わせる。

第2実施形態では、第1実施形態で図2に示したフローチャートにおけるS202のパラメータ設定処理、およびS204の点設定処理の処理内容が異なる。それ以外の構成要素、処理手順については第1実施形態と同様であるため、説明を省略する。以下、第2実施形態におけるS202、S204の処理手順を説明する。

●パラメータ設定処理(S202)
パラメータ設定部102が、幾何特徴拡がり度推定部101で推定した計測線の拡がりに応じた画像のリサイズ率を設定する。まず、第1実施形態と同様に、拡がり量Dとブレ量Bの値から、画像上で観測される計測線の波形Sを計算する。次に、波形Sが所定の拡がりに収まるように、リサイズ率Rを設定する。本実施形態では、波形Sの標準偏差Zを計算した後、その標準偏差Zが所定の値Eになるように、リサイズ率R＝E/Zを計算する。

このように算出したリサイズ率Rの値はすなわち、撮像装置120の画像上で観測される計測線の波形を、予め設定しておいた値Eの標準偏差を持つ波形に変換するパラメータを意味する。また、第2実施形態における検出フィルタの形状は、パラメータEによって予め決められる値であり、標準偏差Eのガウス関数を微分した波形から生成した検出フィルタを用意しておくものとする。

●点設定処理(S204)
点設定部104が、パラメータ設定部102で設定したリサイズ率Rに基づいて、画像取得部103で取得した画像上における計測線上の点を設定する。まず、画像をRでリサイズする。このリサイズは、画像上のエピポーラ線上に沿う方向、即ち画像上の横方向に対して行う。次に、予め用意しておいた検出フィルタとの畳み込み計算を行い、畳み込みの応答値のゼロクロス点を画像上の横方向に探索する。検出されたゼロクロス点が、応答値の勾配が閾値以上、すなわち画像上の山形が所定値以上急峻であれば、計測線上の点(検出点)として設定し、出力する。また、リサイズした画像上の検出点の位置に対し1/Rを乗じることで、元の解像度での位置が計算される。

以上説明したように第2実施形態によれば、ボケ・ブレ・計測対象物体表面の位置・角度の影響による幾何特徴の拡がり度合いを推定し、その推定値に基づいて幾何特徴を検出する先の画像をリサイズすることで、幾何特徴上の点を高精度に算出し、設定する。これにより、設定した幾何特徴上の点から算出される3次元位置の精度を上げることができる。

なお、第2実施形態におけるリサイズ率Rとしては、拡がり量Dとブレ量Bの大きさに従って、画像を小さく縮小させる値が設定されれば良い。例えば、R＝E/(D＋B)として、概略計算しても良い。

＜第3実施形態＞
以下、本発明に係る第3実施形態について説明する。第3実施形態では、パラメータ設定部102で設定するパラメータとして、形状の異なる複数の検出フィルタを設定して、計測線上の点を設定する方法を説明する。第3実施形態では、幾何特徴拡がり度推定部101で推定する拡がり量Dとブレ量Bの値に誤差が含まれることを考慮して、DとBについて、それぞれの推定値を基準に所定の振り幅でバリエーションを用意する。次に、各バリエーションから設定する検出フィルタを用いて計測線上の検出点を設定した後、各検出フィルタの応答値を比較して、検出精度が相対的に高いと想定される点を選択的に出力する。

第3実施形態では、第1実施形態で図2に示したフローチャートにおけるS202のパラメータ設定処理、およびS204の点設定処理の処理内容が異なる。それ以外の構成要素、処理手順については第1実施形態と同様であるため、説明を省略する。以下、第3実施形態におけるS202、S204の処理手順を説明する。

●パラメータ設定処理(S202)
パラメータ設定部102が、幾何特徴拡がり度推定部101で推定した計測線の拡がり度に応じた検出フィルタの形状を複数設定する。まず、拡がり量Dとブレ量Bの値に対し、所定の範囲(ΔD、ΔB)で変化を与える。すなわち、D±ΔD、B±ΔBの範囲において複数のD、Bの値を設定するが、その数およびステップ幅としては、予めパラメータとして与えるものとする。次に、複数のDとBの組み合わせから、複数の検出フィルタの形状を設定する。なお、検出フィルタの形状の設定方法は第1実施形態と同様である。

●点設定処理(S204)
点設定部104が、パラメータ設定部102で設定した複数の検出フィルタに基づいて、画像取得部103で取得した画像上における計測線上の点を設定する。まず、各検出フィルタを用いて、画像上の計測線上の点を設定することで、検出フィルタごとに画像上の検出点が得られる。そして、同一の計測線上の点を検出した検出フィルタによる検出点群のうち、検出精度が相対的に高いと想定される点を選択する。具体的には、各スキャンライン(画像上で横のライン)において、異なる検出フィルタで検出され、所定の範囲E[pixel]で近接する検出点が存在する場合、各検出フィルタの応答のゼロクロス点の勾配を見る。その結果、最も勾配が大きい、すなわち画像上の山形が最も急峻である検出点を選択する。

以上説明したように第3実施形態によれば、ボケ・ブレ・計測対象物体表面の位置・角度の影響による幾何特徴の拡がり度合いを推定し、該推定値に誤差が含まれることを考慮して、誤差分をサポートするために該推定値を軸に複数のパラメータを設定する。そのため、パラメータを1つしか設定しない方法に比べて、幾何特徴上の点の設定精度が向上する。これにより、設定した幾何特徴上の点から算出される3次元位置の精度を向上させることができる。

なお第3実施形態では、パラメータとして複数の検出フィルタを設定する例を示したが、第2実施形態に示したように画像のリサイズ率を複数設定しても良い。

また、パラメータ設定部102での設定範囲を定めるΔDとΔBの値は、以下のように設定することができる。例えば幾何特徴拡がり度推定部101でS401において、計測線上の点群の3次元位置と面法線方向について、それぞれの代表値である代表3次元位置X、代表法線方向Nを計算すると共に、そのばらつきΔX、ΔNを計算する。なお、ばらつきの指標としては例えば標準偏差が利用できる。そして、X±ΔX、N±ΔNに基づく値を上記式(1),(5)の推定式に代入することで、D±ΔD、B±ΔBの値を推定する。

＜第4実施形態＞
以下、本発明に係る第4実施形態について説明する。第4実施形態では、画像領域を分割して領域ごとにパラメータを設定して、計測線上の点を設定する方法を説明する。第1実施形態では、画像全体に対して1種類の幾何特徴拡がり度合いを推定する例を示したが、幾何特徴の拡がりは本来画像上で観測される物体の領域毎に異なる。そのため第4実施形態では、各領域に合わせたパラメータを設定する。

第4実施形態では、第1実施形態で図2に示したフローチャートにおけるS201の幾何特徴拡がり度推定処理、S202のパラメータ設定処理、およびS204の点設定処理の処理内容が異なる。それ以外の構成要素、処理手順については第1実施形態と同様であるため、説明を省略する。以下、第4実施形態におけるS201、S202、S204の処理手順を説明する。

●幾何特徴拡がり度推定処理(S201)
幾何特徴拡がり度推定部101が、撮像装置120で撮影した画像上で観測される計測線の拡がり度合いを、画像上の領域ごとに推定する。第4実施形態では、撮像装置120で撮影した画像をK個のマクロブロックに分割し、マクロブロック毎に、計測線の拡がり度合いを推定する。

先ず、画像上で観測される計測線に対応する計測対象物体表面の3次元位置と面の法線方向の代表値を推定する。第4実施形態では、計測対象物体140の形状モデルと位置姿勢を利用して、投影装置110から投影した計測線が撮像装置120で撮影された画像上で観測される位置をシミュレーションによって計算する。ここで、撮像装置120の画像上で観測される計測線上のn個の点のそれぞれについて、計測対象物体140表面での3次元位置と面法線方向を取得する。次に、n点のうち、各マクロブロックi(1,2,…,K)で観測される点の平均値を計算して、代表3次元位置Xi、代表法線方向Niを求める。そして、代表3次元位置Xi、代表法線方向Niから拡がり量Dとブレ量Bを計算する方法は第1実施形態と同様であり、これをマクロブロック毎に推定する。

●パラメータ設定処理(S202)
パラメータ設定部102が、幾何特徴拡がり度推定部101で画像上の領域ごとに推定した計測線の拡がり度に応じて、検出フィルタの波形を設定する。各マクロブロックiについて、代表3次元位置Xi、代表法線方向Niから検出フィルタを設定する方法は、第1実施形態1と同様である。

●点設定処理(S204)
点設定部104が、パラメータ設定部102で画像上の領域ごとに設定した複数の検出フィルタに基づき、画像取得部103で取得した画像における計測線上の点を設定する。マクロブロック毎に設定された検出フィルタを適用して計測線上の点を設定する方法は、第1実施形態と同様である。

以上説明したように第4実施形態によれば、ボケ・ブレ・計測対象物体表面の位置・角度の影響による幾何特徴の拡がり度合いを画像上の領域ごとに推定し、領域毎にパラメータを設定する。そのため、画像全体でパラメータを1つしか設定しない方法に比べ、幾何特徴上の点の設定精度が向上する。これにより、設定した幾何特徴上の点から算出される3次元位置の精度を向上させることができる。

なお、第4実施形態における画像の分割はどのような分割方法によるものであっても良く、格子状のマクロブロックで分割しても良いし、画像上で事前撮影した画像をセグメンテーションすることで分割しても良い。また、計測対象物体の形状モデルとその位置姿勢に基づいて、撮像装置120で観測される計測対象物体の面の領域を推定し、その面ごとに画像を分割しても良い。

＜第5実施形態＞
以下、本発明に係る第5実施形態について説明する。第1実施形態では、複数の線を含む幾何パターンを投影し、画像上で観測される線上の点を高精度に検出する方法を説明した。しかしながら、幾何パターン内の幾何特徴は必ずしも線でなくても良く、第5実施形態では複数点からなる幾何パターンを用いる。

第5実施形態では、図6の600に示すように複数の点(計測点601)を含む幾何パターンを用いるとする。この場合、計測点601の設定は、画像上の縦横それぞれの方向をもつ微分フィルタを適用し、両フィルタの応答値のゼロクロス点を検出することで、計測点601の縦位置と横位置、即ち計測点601の2次元位置を設定する。この時、画像上の縦・横方向に対する計測点601の拡がり度(拡がり量Dx,Dy・ブレ量Bx,By)を推定し、該推定値に基づいて縦・横それぞれの検出フィルタの形状を設定することで、検出精度を上げることができる。

なお、画像上で観測される計測点の識別方法は、例えば、画像上で観測される計測点の位置に基づいて、幾何パターンのエピポーラ線を探索し、幾何パターン上の計測点の位置とのマッチングを行うことで識別すれば良い。また、幾何パターン上の計測点に複数の色を与えて、画像上で観測される計測点の色の違いに基づいて計測点を識別しても良い。

以上説明したように第5実施形態によれば、ボケ・ブレ・計測対象物体表面の位置・角度の影響による幾何特徴の画像上での2次元方向への拡がり度合いを推定し、該推定値に基づいてパラメータを設定する。これにより、幾何特徴上の点の2次元位置を高精度に算出でき、該設定した幾何特徴上の点から算出される3次元位置の精度を上げることができる。

＜他の実施形態＞
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータ可読な記録媒体に記録して提供してもよい。

＜各実施形態による効果＞
以下、上述した各実施形態における効果をまとめて記載する。

第1実施形態によれば、ボケ・ブレ・計測対象物体表面の位置・角度の影響による幾何特徴の拡がり度合いを推定し、該推定値に基づいて幾何特徴上の点の設定に用いる検出フィルタの形状を設定することで、幾何特徴上の点を高精度に設定できる。

また、第1実施形態で示したようにシミュレーションに基づいて幾何特徴の拡がり度を推定する場合には、事前撮影を行わないため全体の処理が速い。一方、第1実施形態の変形例1或いは変形例2に示すように、実写画像に基づいて幾何特徴の拡がり度を推定する場合には、拡がり度の推定精度が高くなる。

第2実施形態によれば、ボケ・ブレ・計測対象物体表面の位置・角度の影響による幾何特徴の拡がり度合いを推定し、その推定値に基づいて幾何特徴を検出する先の画像をリサイズすることで、幾何特徴上の点を高精度に算出し、設定することができる。

第3実施形態によれば、ボケ・ブレ・計測対象物体表面の位置・角度の影響による幾何特徴の拡がり度合いを推定し、該推定値に誤差が含まれることを考慮して、誤差分をサポートするために該推定値を軸に複数のパラメータ(検出フィルタ)を設定する。そのため、パラメータを1つしか設定しない方法に比べて、幾何特徴上の点の設定精度が向上する。

第4実施形態によれば、ボケ・ブレ・計測対象物体表面の位置・角度の影響による幾何特徴の拡がり度合いを画像上の領域ごとに推定し、領域毎にパラメータを設定する。そのため、画像全体でパラメータを1つしか設定しない方法に比べ、幾何特徴上の点の設定精度が向上する。

第5実施形態によれば、ボケ・ブレ・計測対象物体表面の位置・角度の影響による幾何特徴の画像上での2次元方向への拡がり度合いを推定し、該推定値に基づいてパラメータを設定することで、幾何特徴上の点の2次元位置を高精度に算出することができる。

以上のように、各実施形態のいずれによっても、幾何パターンが投影された物体を撮影した画像において、幾何特徴上の点を高精度に設定することができるため、該設定した幾何特徴上の点から算出される3次元位置の精度を向上させることができる。すなわち本発明によれば、幾何パターンが投影された物体を撮影した画像を用いて、該物体の表面の3次元位置を高精度に計測することができる。

＜各実施形態における各種定義＞
以下、上述した各実施形態に共通する各種定義について、まとめて説明する。

まず投影装置110としては、幾何特徴を含むパターンを投影するものであれば、どのような装置であっても良い。例えば、2次元画像を投影するプロジェクターでも良いし、光源とマスクパターンを組み合わせた装置でも良い。投影するパターンは濃淡パターンでも良いしカラーパターンでも良い。

また、幾何特徴は画像上で山形(或いは谷形)の輝度の波形が得られるものであればどのような特徴でも良い。線状であっても良いし、点状であっても良い。

撮像装置で取得する画像は、2次元の画像であればどのような画像でも良い。例えば、濃淡画像でも良いし、カラー画像でも良い。

幾何特徴拡がり度推定部101で推定する、撮像装置120で撮影された画像上で観測される幾何特徴の拡がり度は、画像上で観測される幾何特徴の拡がりを示すものであればどのような情報でも良い。例えば計測対象物体が静止状態のときに観測される波形の分布を表す拡がり量のみでもブレ量のみでも良いし、その両方でも良い。また、実際に画像上で観測される輝度の波形自体のプロファイルでも良い。拡がり量・ブレ量の推定は、計測対象物体の形状モデルと位置姿勢或いは、計測対象物体表面の3次元位置情報に基づいてシミュレーションで推定しても良いし、計測対象物体或いはそれを模擬した物体を撮影した実画像から推定しても良い。

パラメータ設定部102で設定するパラメータは、幾何特徴拡がり度推定部101で推定した幾何特徴の拡がり度に合わせて画像から幾何特徴を検出するためのパラメータであれば、どのようなパラメータでも良い。幾何特徴の検出に検出フィルタを利用する場合は、幾何特徴の拡がり度に合わせて検出フィルタの形状を設定しても良い。また、幾何特徴の拡がり度に合わせて検出先となる画像のリサイズ率を設定しても良い。テンプレートマッチングによる検出処理を行う場合は、幾何特徴の拡がり度に合わせてテンプレートの形状を設定しても良い。

画像取得部103における画像の取得方法は、撮像装置120からその撮影画像を直接取得しても良いし、一度メモリ上に格納した画像を後から取得しても良いし、ネットワークを介して取得しても良い。

点設定部104は、画像取得部103で取得した画像に対して、パラメータ設定部102で設定したパラメータに基づいて、画像上で観測される幾何特徴の拡がりに合わせて幾何特徴上の点の設定を行う方法であれば、どのような方法でも良い。検出フィルタによって畳み込み計算を行い、その応答値に基づいて幾何特徴上の点を設定する方法でも良いし、テンプレートとのマッチングによって幾何特徴上の点を設定しても良い。

3次元位置算出部105において点設定部104で設定した幾何特徴上の点に対応する3次元位置を算出する方法は、三角測量に基づく方法であればどのような方法でも良い。

101:幾何特徴拡がり度推定部,102:パラメータ設定部,103:画像取得部,104:点設定部,105:3次元位置算出部

Claims (17)

1. 幾何パターンが投影された物体を撮影した画像において観測される前記幾何パターンの拡がり度合いを推定する推定手段と、
   前記推定された拡がり度合いに基づいて、前記幾何パターンを検出するためのフィルタのサイズに係るパラメータの値を複数設定するパラメータ設定手段と、
   前記フィルタを用いて、前記パラメータの複数の値ごとに前記幾何パターン上の点を設定する点設定手段と、
   前記設定された点の中から検出精度の高い点を選択する選択手段と、
   該選択された点に対応する前記物体の表面の３次元位置を算出する算出手段と、
   を有することを特徴とする情報処理装置。
2. 前記点設定手段は、前記画像に対してエピポーラ線方向に前記フィルタを適用することで、前記幾何パターン上の点を設定することを特徴とする請求項１に記載の情報処理装置。
3. 前記選択手段は、前記設定された点の中から検出精度の高い点を選択することを特徴とする請求項１または２に記載の情報処理装置。
4. 幾何パターンが投影された物体を撮影した画像において観測される前記幾何パターンの拡がり度合いを推定する推定手段と、
   前記推定された拡がり度合いに基づいて、前記画像のリサイズ率に係るパラメータの値を複数設定するパラメータ設定手段と、
   前記パラメータの複数の値ごとに、リサイズされた前記画像に対してフィルタを用いることにより前記幾何パターン上の点を設定する点設定手段と、
   前記設定された点の中から検出精度の高い点を選択する選択手段と、
   該選択された点に対応する前記物体の表面の３次元位置を算出する算出手段と、
   を有することを特徴とする情報処理装置。
5. 前記推定手段は、前記画像における前記物体の表面の３次元位置と法線方向、および前記物体の移動ベクトル、の少なくとも１つと、前記画像を撮影した撮像装置と前記幾何パターンを投影した投影装置の位置姿勢に基づく演算により、前記拡がり度合いを推定することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記推定手段は、前記物体の形状モデルと位置姿勢に基づいて、前記物体の表面の３次元位置と法線方向の少なくともいずれかを算出することを特徴とする請求項５に記載の情報処理装置。
7. 前記推定手段は、前記物体の表面の３次元位置に基づいて、前記点が対応する前記物体の表面の３次元位置と法線方向の少なくともいずれかを算出することを特徴とする請求項５に記載の情報処理装置。
8. 前記推定手段は、前記物体、或いはそれを模擬した物体を撮影した画像において、前記拡がり度合いを推定することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
9. 前記推定手段は、前記物体の形状モデルと位置姿勢から前記画像上で観測される像をシミュレーションした画像において、前記拡がり度合いを推定することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
10. 前記推定手段は、前記画像を分割した領域ごとに前記幾何パターンの拡がり度合いを推定し、
    前記パラメータ設定手段は、前記領域ごとに前記パラメータの値を複数設定し、
    前記点設定手段は、前記領域ごとおよび前記パラメータの複数の値ごとに、前記画像における幾何パターン上の点を設定し、
    前記選択手段は、前記領域ごとに設定された点の中から検出精度の高い点を選択することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 前記幾何パターンは、線状のパターンであることを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 前記幾何パターンは、点状のパターンであることを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
13. さらに、前記幾何パターンを前記物体に投影する投影手段と、
    前記画像を撮影する撮像手段を有し、
    前記推定手段は、前記投影手段と前記撮像手段の前記点に対する位置姿勢に基づいて、前記拡がり度合いを推定することを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
14. さらに、前記物体を移動させる移動手段を有し、
    前記推定手段は、前記移動手段による前記物体の移動ベクトルに基づいて、前記拡がり度合いを推定することを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
15. 幾何パターンが投影された物体を撮影した画像において観測される前記幾何パターンの拡がり度合いを推定するステップと、
    前記推定された拡がり度合いに基づいて、前記幾何パターンを検出するためのフィルタのサイズに係るパラメータの値を複数設定するステップと、
    前記フィルタを用いて、前記パラメータの複数の値ごとに前記幾何パターン上の点を設定するステップと、
    前記設定された点の中から検出精度の高い点を選択するステップと、
    該選択された点に対応する前記物体の表面の３次元位置を算出するステップと、
    を有することを特徴とする情報処理方法。
16. 幾何パターンが投影された物体を撮影した画像において観測される前記幾何パターンの拡がり度合いを推定するステップと、
    前記推定された拡がり度合いに基づいて、前記画像のリサイズ率に係るパラメータの値を複数設定するステップと、
    前記パラメータの複数の値ごとに、リサイズされた前記画像に対してフィルタを用いることにより前記幾何パターン上の点を設定するステップと、
    前記設定された点の中から検出精度の高い点を選択するステップと、
    該選択された点に対応する前記物体の表面の３次元位置を算出するステップと、
    を有することを特徴とする情報処理方法。
17. コンピュータ装置で実行されることにより、該コンピュータ装置を請求項１乃至１２のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images