JP6486010B2

JP6486010B2 - 形状計測装置および形状計測方法

Info

Publication number: JP6486010B2
Application number: JP2014047412A
Authority: JP
Inventors: 藤垣　元治; 元治藤垣; 淳島
Original assignee: WAKAYAMA UNIVERSITY
Current assignee: WAKAYAMA UNIVERSITY
Priority date: 2014-03-11
Filing date: 2014-03-11
Publication date: 2019-03-20
Anticipated expiration: 2034-03-11
Also published as: JP2015172487A

Description

本発明は、物体表面の反射率の変化に対する三次元計測誤差低減手法と装置に関する。

物体の三次元形状を計測する技術として、非特許文献１には、複数のカメラと鏡を用いることで複数方向からの計測を行い、計測結果の合成によりハレーションや自己隠蔽による影響を回避する技術が開示されている。鏡を用いることで、カメラ台数以上の方向からの計測を行う事が出来る。

また、特許文献１には、格子投影法を用いて形状計測を行う場合に、反射率が異なる領域の境界付近において誤差が生じたり、焦点ぼけによって誤差が発生する領域が拡大するため、ぼけ度合および対象物の反射率を既知かつ一定なものとし、撮影輝度と誤差の関係から補正関係のテーブルを事前に作成することにより、反射率が異なる領域の境界付近に発生する誤差を低減する方法が開示されている。

また、特許文献２には、格子投影法を用いて形状計測を行う場合に、反射率が異なる領域の境界付近において誤差が生じたり、焦点ぼけによって誤差が発生する領域が拡大するため、カメラを中心にして対称に配置された二つの格子投影装置を用いることで、反射率が異なる領域の境界付近において生じる誤差を低減する方法が開示されている。

特開２００８−２４１４８３号公報特開２００９−２６４８６２号公報

松本真吾，藤垣元治，柾谷明大，全空間テーブル化手法による鏡を用いた複数方向からの三次元形状計測，応力・ひずみ測定と強度評価シンポジウム講演論文集，42(2011)，191-196．

背景技術で説明した先行技術文献に開示された技術では次のような問題点がある。非特許文献１に開示される技術では、ハレーションや自己隠蔽による影響を回避することが出来るが、反射率が異なる領域の境界付近に発生する誤差に関しては対応できない。特許文献１に開示される技術では、均一な焦点ぼけにしか対応できないため、平面以外の計測対象物に適用することは困難である。二つの格子投影装置による計測結果を単なる平均化により合成するため、平行な光線を投影可能な格子投影装置を対称に配置しなければ、高い精度での計測が期待できない。

そこで、本発明の目的は、上記従来技術の問題点に鑑み、格子投影法での計測において、反射率が異なる領域の境界付近に発生する誤差を低減することが可能な物体表面の反射率の変化に対する三次元計測誤差低減方法とその装置を提供することである。

本願の請求項１に係る発明は、
物体表面の反射率の変化に対する三次元計測誤差の低減を行なう三次元計測方法であって、
カメラと、カメラの周囲に設置した複数の格子投影装置を用いて、各画素において重みを予め求めておき、前記予め求められた重みを元にして前記各格子投影装置を用いて得られた前記物体表面の高さ情報の重み付け平均を画素ごとに行う三次元計測方法である。
請求項２に係る発明は、
物体表面の反射率の変化に対する三次元計測誤差の低減を行なう三次元計測方法であって、
カメラと、前記カメラの周囲に設置した複数の格子投影装置を用いて、各画素において重みを予め求めておき、前記予め求められた重みを元にして前記各格子投影装置を用いて得られた前記物体表面の空間座標情報の重み付け平均を画素ごとに行う三次元計測方法である。

本発明によれば、異なる反射率の境界付近に発生する誤差を低減可能で、異なる材質の境界付近に発生する誤差を低減可能で、段差部の境界付近に発生する誤差を低減可能な物体表面の反射率の変化に対する三次元計測誤差低減方法とその装置を提供できる。

格子投映法に位相シフト法を組み合わせた計測手法において計測誤差が生じることを示す図である。室内光の下で試料を撮影した画像と計測結果を比較して示す図である。１ラインの輝度部分布と計測結果の比較を示す図である。異なる反射率のパターンを持つ試料を示す図である。異なる反射率領域の境界付近の位相解析結果を示す図である。図５の線Ａにおける輝度と位相の比較を示す図である。反射率と位相の関係を示す図である。画素の視野角とレンズの焦点ぼけを示す図である。空間分解の変化の影響を平滑化により再現することを示す図である。複数の振幅を持つ位相の和を示す図である。位相とｚ座標の関係を示す図である。カメラ１台と格子投影装置２台の配置例を示す図である。真値と計測結果と計測誤差の関係の例を示す図である。基準面を用いたΔθとΔｚの取得を示す図である。投影格子の位相の画素に対する傾きを示す図である。ある画素での投影格子の位相のｚ座標に対する傾きを示す図である。カメラが中央にある場合を示す図である。カメラが中央にない場合を示す図である。格子投影装置が３台ある場合を示す図である。本発明に係る実験に用いる実験形状計測装置を示す図である。計測試料を示す図である。本実験における計測条件を示す図である。算出したΔθ分布画像を示す図である。算出したΔｚ分布画像を示す図である。算出した重みＷ₁とＷ₂の分布画像を示す図である。線Ａ部の重みＷ₁とＷ₂の分布を示す図である。格子投影画像を示す図である。計測結果を示す図である。合成結果の比較を示す図である。合成前後の計測結果の比較を示す図である。比較結果を示す図である。実験形状計測装置を示す図である。計測試料を示す図である。計測結果を示す図である。重み分布を示す図である。合成結果を示す図である。合成結果の計測結果の比較を示す図である。

以下、本発明の実施形態を図面とともに説明する。
１反射率による計測誤差
ここでは、本発明により低減を可能とした異なる反射率の境界付近に生じる誤差ついて述べる。まず１−１節では、反射率分布と計測誤差の関係を述べる。次に１−２節では、位相シフト法による位相解析結果が周辺の反射率分布から受ける影響について述べる。そして１−３節では、この誤差が周辺との反射率の差に起因することから、誤差の要因をカメラの空間分解能による影響から考察する。

１−１計測誤差
格子投映法に位相シフト法を組み合わせた計測手法では、これまで誤差が生じる場面が存在した。その一例を図１に示す。図１（ａ）は平面状の計測試料であり、図１（ｂ）ははこれを計測した結果を立体的に表示したものである。図１（ｂ）を見ると、計測結果に試料の模様が浮き出ていることが分かる。

ここで、この誤差の生じている画素の位置に着目する。この試料を白色の室内光の下で撮影し、計測結果の高さ分布画像と比較した。これを図２に示す。これより１ラインのデータを抜き出し、比較したものが図３である。図３より、模様により生じる反射率の変化の境界位置と計測誤差の位置が対応していることが分かる。このような計測誤差は、汚れなどの影響でも生じるため、品質検査の分野にて欠陥の誤検出に繋がる恐れもある。

１−２位相解析結果と反射率分布の関係
位相シフト法を用いた格子画像の解析では、背景光の影響を受けることなく、画素ごとに独立した位相値を算出することができる。周辺画素を参照する必要がないため、不連続な物体の計測も可能である。しかし、１−１節で述べたように、物体の模様など、反射率の異なる領域の境界付近では、周辺との反射率の差による位相解析結果への影響が存在する。

計測試料の反射率により、位相解析結果が受ける影響を確認する。図４に異なる反射率のパターンを持つ試料を示す。この試料に格子パターンを投影し位相解析を行う。解析を行った結果を図５に示す。図５の線Ａと線Ｂより抜き出した反射率の分布と位相分布の比較を図６へ示す。図６より、反射率の異なる領域の境界付近において、位相パターンは不規則な変化を示す。これより、位相解析結果が周辺の反射率分布から影響を受けていることが分かる。

１−３誤差の要因
１−２節より、周辺領域との反射率の差が生じる部分に誤差が生じることが確認できた。しかし、位相シフト法を用いた位相解析では、周辺画素を参照することなく、画素ごとに独立した位相値の算出が可能である。そのため、位相解析の段階では、このような周辺からの影響を受けることは考えられない。したがって、誤差の要因として、格子画像撮影時のカメラの空間分解能が考えられる。

カメラの空間分解能を決定する要素としては、レンズの焦点ぼけや１画素の視野角の大きさがある。これを図７に示す。まず、カメラの各画素には視野角が存在し、完全な点を撮影することは出来ない。一方で、焦点ぼけが生じた場合、1画素の視野角は、さらに大きくなる。これらによるカメラの空間分解能の変化は、計測精度に大きな影響を与えると考えられる。

２反射率分布と空間分解能による誤差量の導出
ここでは、異なる反射率の境界付近に生じる誤差を導出する。まず２−１節では、反射率分布と空間分解能による影響を検討し、位相誤差を一般式に表す。次に２−２節では、前節で求めた位相誤差を計測誤差に換算する方法について述べる。

２−１位相誤差の導出
２−１−１３要素の平滑化による影響
反射率の境界付近における誤差量について、反射率の差と位相変化量の関係を導出する。まず、振幅をA_x，バイアスをB_xとした場合、４回シフト時の輝度変化は数１式から数４式のように示される。

次に、空間分解能の関係から、周辺輝度の影響を受けた場合を３輝度の平滑化として考える。図９は空間分解の変化の影響を平滑化により再現することを示す図である。Δθ間隔で初期位相のずれた周辺輝度値の影響を考慮すると、シフト時の輝度変化は数５式〜数８式のように示される。

このとき数５式〜数８式より、位相シフト法を用いると数９式が得られる。

これを複素平面上に図示すと、図１０となる。θ’(x)とは、振幅がA_i-1,A_i,A_i+1，位相がθ(x)-・・，・(x)，・(x)＋・・・の複素ベクトルを平均した時の位相である。
また、ここで位相誤差量をθ_E(x)とすると数１０式が成り立つ。

このとき、各要素の間隔が十分に小さくであるとすると、数１１式が成り立つ。

また、数１２式がなりたつ。

このとから、位相誤差量θ_E(x)は、元の位相値θ(x)に関係なく、各要素間の位相差Δθの大きさに比例することが分かる。つまり、今回導出した位相誤差量は、元の位相値を問わず、投影格子のピッチサイズに反比例し、格子が細かいほど大きくなる。

２−１−２ n要素の平滑化による影響
最後に、n個の要素(nは奇数)の場合の位相誤差量θ_En(x)を求め、位相誤差を表す一般式とする。異なる振幅を持つn個の位相の和を考えると数１３式となる。

よって、位相誤差量θ_En(x)は数１４式となる。

ここで数１２式より、位相誤差量θ_E(x)は、元の位相値θ(x)に依存しないので、θ(x)=0とすると数１５式が成り立つ。

このとき、各要素の間隔が十分に小さくΔθが略０に等しいとすると数１６式が成り立つ。

また、数１７式も成り立つ。

さらに、各要素間の位相差に対する位相誤差の比例係数をE_n(x)とすると数１８式，数１９が成り立つ。

E_nは、カメラの空間分解能と計測対象物上の振幅分布により変化する係数である。一方で、Δθは各要素間の位相差、つまり投影格子の位相の傾きを意味する。E_nは、投影格子の位相の傾きΔθから位相誤差θ_Eを求める係数であり、ここでは位相誤差係数と呼ぶ。

２−２計測誤差の導出
本節以降、誤差を画素単位で求める。画素単位で考えた場合、投影格子の位相の傾きΔθは、１画素における投影格子位相の傾きとなる。数１９式より、画素ごとに位相誤差の導出が行える。また、この式から計測誤差の値を得るには、位相値をz座標値に変換する必要がある。図１１に投影格子の位相とz座標値の関係を示す。

投影格子の位相変化の方向は、位相シフトの方向により決定される。今回、位相はx軸の正方向に増加するとした。このとき、視線Lとx軸との交点Pの位相値をθ_pとすると、視線L上にて格子位相が2π変化する点がz軸方向の計測可能範囲z_maxとなる。ここで、単位位相あたりのz座標の変化量をΔzとすると、計測誤差値z_eは位相誤差の値θ_EnとΔzの積により得られる。これを数２０式に示す。なお、Δzの値は格子投影装置とカメラの位置関係により異なるため、同じ位相誤差θ_Enでも、計測誤差z_eの値や符号は変化する。

ただし、数２０式における位相誤差係数E_nを正確に導出するためには、レンズの特性および画素以下の分解能での格子振幅分布の情報が必要となる。しかし、実際の撮影画像からこれらを得ることは難しい。そのため、計測誤差を低減するためには、位相誤差係数E_nの算出を必要としない方法が必要となる。

３複数台の格子投影装置による計測誤差の低減
３−１誤差低減原理
本節では、位相誤差係数E_nを必要としない計測誤差の低減手法について述べる。位相誤差係数E_nは、カメラと計測対象物の関係により決定される項であるので、格子投影装置の位置を変化させても変化しない。よって、数２０式のz_eは、投影格子の位相の傾きΔθと、単位位相あたりのz座標の変化量Δzにより決まる。

このことから、計測誤差の低減には、2つ以上の計測結果を利用することが有効であると考えられる。異なる方向から格子投影を行い、得られた複数の計測結果から、誤差を低減する。まず、格子投影装置の配置に影響されるΔθおよびΔzを計測前に求める。そして、これらを元に重み付け平均を行い、複数の計測結果を合成することで誤差の低減が実現できる。以下に２台の格子投影装置を用いた場合を例として、誤差低減手法の詳細を示す。

図１２のように、1台のカメラと２台の格子投影装置を配置したとする。このとき真値をzとし、それぞれの格子投影装置の真値zに対する計計測結果をz_m1とz_m2、それぞれの計測誤差をz_e1とz_e2とすると、これらの関係は図１３となる。このとき、真値をそれぞれの計測結果と計測誤差を用いて表すと、数２１式と数２２式のように示される。

これらの式からE_nを消去すると数２３式となる。

数２３式より、位相誤差係数E_nを用いることなく、２つの計測結果から真値を得ることができる。これは、各計測結果に対して、重み付け平均を用いた合成を行うことを意味する。数２４式と数２５式に重みの算出式を示す。

このように、本発明に係る合成処理は、投影格子ピッチの差や格子投影装置の位置を重み分布に反映することが出来る。そのため、それぞれの格子投影装置における格子ピッチや計測範囲が異なる計測条件でも、計測結果の合成が可能である。したがって、本発明の方法では、カメラと格子投影装置の厳密な位置合わせを必要としない。
また、ｚ座標の誤差と位相誤差の関係と同様の関係がｘ、ｙ座標の誤差と位相誤差の関係についても成立する。そのため、この重み付け平均による誤差低減手法は、ｘ、ｙ、ｚ座標（空間座標）についても有効である。

３−２ ΔθとΔｚの算出方法
本発明に係る方法には、投影格子の位相の傾きΔθと単位位相あたりのz座標値の変化量Δzの算出を必要とする。ここでは、ΔθとΔz算出方法の１例として、図１４のように平板を基準面として用いる方法を示す。

３−２−１投影格子の位相の傾き（Δθ）の算出
投影格子の位相の傾きΔθは、投影格子の位相の画素に対する傾きであるため、基準面に投影した格子の位相分布に対し数２６式を用いることで算出を行うことができる。図１５は投影格子の位相の画素に対する傾きを示す図である。

３−２−２単位位相あたりのz座標値の変化量（Δz)の算出
単位位相あたりのz座標値の変化量Δzは、投影格子の位相のz座標に対する傾きである。そのため、投影した格子の位相分布のz座標方向での変化量から算出を行うことができる。今回は、各z座標位置に配置した基準面を用いて、各画素ごとにz座標と位相の関係を得た。そして、最小二乗法を用いて各画素ごとに近似直線を求め、この直線の傾きの逆数を用いた。図１６はある画素での投影格子の位相のｚ座標に対する傾きを示す図である。以上のようにして求めたΔθとΔｚを用いることで、数２４式と数２５式より重みＷ₁とＷ₂を求めることができる。

３−３−３３台以上の格子投影装置を用いた誤差低減
本節では、３台以上の格子投影装置を用いての誤差低減について述べる。本発明の方法において、格子投影装置の台数を３台以上に増やした場合、数２３式から重みを求めることができない。そこで、擬似逆行列を用いて、３台以上の格子投影装置を用いた場合の重みの導出を行う。格子投影装置の台数をD台としたとき、各格子投影装置における計計測結果z_mと計測誤差z_eおよび真値zの関係は、数２７式〜数２９式のように表される。

これを行列式に表すと数３０式で表される。

ここで各計測結果が含む誤差の比をマトリックスRとすると数３１式で表される。

マトリックスRが正則でない場合、Rの擬似逆行列R⁺は数３２式で表される。

数３２式を用いることで、数３０式は数３３式のように変形することができる。

上式から、３台以上の格子投影装置を用いての誤差低減における合成式を数３４式のように求めることができる。

３−４格子投影装置の配置例
本発明の方法は、複数台の格子投影装置の配置を重みに反映することができるため、様々な配置で誤差の低減を行う事ができる。ここでは、想定されるカメラと格子投影装置の配置の例を示す。図１７はカメラが中央にある場合を示す図である。図１８はカメラが中央にない場合を示す図である。図１９は格子投影装置が３台ある場合を示す図である。

４誤差低減実験
４−１平面試料の計測
本節では、２台の格子投影装置を用いた形状計測装置により、異なる反射率の境界付近に生じる計測誤差の低減を行う。本実験に用いる実験形状計測装置を図２０、計測試料を図２１に示す。今回は、２台の格子投影装置からの投影格子が異なる条件下での計測を行うため、格子投影装置の角度に左右で変化をつけた。本実験における計測条件を図２２に示す。なお、z軸方向の平均計測範囲は、Projector 1で9.7mmであり、Projector 2で16.9mmである。

計測結果の合成を行うには、合成時に用いるΔθとΔzの値を得る必要がある。これらには、位相とz座標の対応関係を得るキャリブレーションの際に撮影した画像を利用する。今回は、図２２に示したように、キャリブレーションでは５１枚の基準面位相分布の画像を得ている。

まず、キャリブレーション結果から５１枚のΔθ分布画像を得る。前章と同様に数３５式を用いると、投影格子の位相の傾きΔθの分布画像が得られる。得られたΔθの分布画像５１枚に対し、平均化を行い１枚の画像とする。さらに最小二乗法を用いた平滑化処理により、ノイズ低減を行う。この結果を図２３に示す。

次に、Δｚ分布の算出を行う。Δz分布は、最小二乗法を用いて、キャリブレーションデータにおけるz座標軸方向の位相変化を求めることにより得られる。この結果を図２４に示す。

そして、図２３と図２４の画像から、数２４式と数２５式を用いることにより合成に用いる重み分布を得た。これを図２５に示す。図２５は算出した重みＷ₁とＷ₂の分布画像を示す図である。また、図２５から線Ａ部のデータを抜き出し比較したものを図２６に示す。これより、2台の格子投影装置にて、重み付けが異なることが分かる。

それぞれの格子投影装置を用いて、図２５の試料の計測を行い、算出した重み分布を用いて重み付け平均により合成を行った。今回、行った計測実験における投影格子の画像を図２７に、計測結果を図２８に示す。この結果を用いて、提案手法の重み付け平均による合成と、従来手法である単純平均による合成を比較した。単純平均による合成結果を図２９(a)に、重み付け平均による合成結果を図２９（ｂ）に示す。

線Ｂのデータを抜き出し、合成による誤差低減を確認した。これを図３０に示す。単純平均による合成では誤差が残る部分が生じたが、重み付け平均による合成では生じなかった。また、このグラフからi=326における値を抜き出し、合成方法による計測精度の変化を確認した。なお真値は、最小二乗法を用いた直線近似により求め6.007mmとした。このとき、誤差の影響を受けない直線とするため、誤差付近の１０画素の値は用いなかった。図３０から１ラインの値を抜き出し、比較した結果を図３１に示す。

図３１から、本発明の有効性を確認できる。計測誤差は、Projector 1単体の場合に0.257mmであったが、本発明を用いた重み付け平均による合成を行うことで、0.030mmに低減できた。一方で、単純平均した場合の計測誤差は、0.056mmであった。本発明による合成結果は、単純平均による合成結果の約半分まで、計測誤差を低減することができた。したがって、本手法を用いた誤差低減は、異なる反射率の境界部に生じる誤差に対して、有効であると言える。

４−２電子基板の計測
２台の格子投影装置を用いた計測装置を用いて、本発明による計測誤差の低減を試みた。実験に用いた装置を図３２へ、計測試料とした電子基板を図３３へ示す。この基板の黒いチップ上の白文字による計測結果への影響を誤差低減の前後で比較した。それぞれの格子投影装置による計測結果を図３４へ示す。また、合成に用いた重み分布を図３５、合成結果を図３６へ示す。合成前後の計測結果よりLine Aのデータを抜き出し、これを比較したものを図３７へ示す。計測誤差により生じていたばらつきが低減されたことが分かる。

１投射装置
２投射装置

Claims

物体表面の反射率の変化に対する三次元計測誤差の低減を行なう三次元計測方法であって、
カメラと、カメラの周囲に設置した複数の格子投影装置を用いて、各画素において重みを予め求めておき、前記予め求められた重みを元にして前記各格子投影装置を用いて得られた前記物体表面の高さ情報の重み付け平均を画素ごとに行う三次元計測方法。
物体表面の反射率の変化に対する三次元計測誤差の低減を行なう三次元計測方法であって、
カメラと、前記カメラの周囲に設置した複数の格子投影装置を用いて、
各画素において重みを予め求めておき、前記予め求められた重みを元にして前記各格子投影装置を用いて得られた前記物体表面の空間座標情報の重み付け平均を画素ごとに行う三次元計測方法。