JP3892838B2 - ３次元測定装置 - Google Patents

Description

本発明は、被測定対象物にスリット光、もしくはスポット光を走査して疑似的に生成した疑似スリット光を照射して線状の輝光部を形成し、同輝光部を受光手段を用いた撮像により検出し、該輝光部の検出画像上での位置に基づいて被測定対象物の３次元位置関連情報を取得する３次元測定装置に関する。本発明に係る３次元測定装置は、例えばロボットに搭載して用いられる。

近年、ロボットを知能化することで、ワーク供給・位置決め装置などの周辺機器を簡略化するケースが増加している。ワークの３次元位置、姿勢、形状、寸法等（以下、まとめて「３次元位置関連情報」という）を認識するための３次元測定装置は、ロボットの知能化のための重要且つ基本的な手段になっており、また、この３次元測定装置はロボットに搭載して使用するケースが多いことから、高精度化とともに小型化も求められている。

スリット光（以下、「スリット光」は、「スポット光走査で生成される疑似スリット光」を含む総称とする）を投光装置を使って被測定対象物に照射して輝光部を形成し、その輝光部からの光（散乱光乃至反射光）を受光装置で検出し、検出した輝光部の検出画像上での位置から被測定対象物の３次元位置関連情報を測定する３次元測定装置では、図６（ａ）に示したように、投光装置１０と受光装置２０は互いに距離をとって並置される。従って、図６（ｂ）に示したように投光装置１０と受光装置２０の距離を縮めれば測定装置を小型化することができる。

ところが、このような手法で測定装置を小型化すると、測定原理に由来して測定精度（特に測定装置から見て奥行き方向の測定精度）が低下し易くなる。即ち、スリット光投射方式の３次元測定装置においては、小型化を図ることと、高精度化を図ることとは一般に相反する要件である。それ故、この小型化によるデメリットを補う意味でも、スリット光投射方式の３次元測定装置の高精度化させる技術には、強いニーズがある。

このような背景の下で、例えば下記特許文献１において、「光切断線法による物体測定装置」が提案されている。この提案は、画像上の光切断線位置を撮像素子の分解能以上の高精度で計測する物体計測装置に係るもので、高速演算処理により高速化を実現している。特許文献１中では、スリット光の切断線照射画像と原画像の差画像に対し、カメラの走査線方向に明るさの変化を調べ、一定の閾値以上の明るさ分布から加重平均処理により、走査線毎にスリット光の中心位置を求める方法が採用されている。

特公平８−１０１３０号公報

しかしながら、上記従来技術では、被測定対象物表面の汚れや面粗さの異なる部分にスリット光が照射された場合に、検出される線状の輝光部の幅が狭くなったり、中心位置（「輝光部を幅方向に横断した時の中心位置」のこと；以下、同様）がずれたりして、検出データが大きく乱れることがあり、これが、検出精度を悪化させる要因となっていた。また、このような原因による検出精度の悪化に上記した小型化による検出精度要因が重なれば一層不利になり、結局、小型化は困難となる。本発明の目的はこのような事態を克服し、スリット光の照射で形成される輝光部の検出に際し、被測定対象物表面の汚れや面粗さの不均一性等によって多少の検出データの乱れが生じても、必要な測定精度を確保できる３次元測定装置を提供することにある。

本発明は、上記したスリット光投光式の３次元測定装置において、被測定対象物表面の汚れや面粗さの不均一性等によって多少の検出データの乱れが生じても、３次元関連情報を信頼性の乏しい検出データを排除して測定に使用できるようにすることで、上記課題を解決したものである。
より具体的に言えば、本発明は、スリット光、もしくはスポット光を走査して疑似的に生成した疑似スリット光を被測定対象物に照射して線状の輝光部を形成し、受光手段を用いた撮像により前記輝光部を検出し、該輝光部の検出画像上での位置に基づいて前記被測定対象物の３次元位置関連情報を取得する３次元測定装置に、少なくとも下記の（ａ）〜（ｄ）の手段を具備させたものである。

（ａ）前記検出画像において、前記線状の輝光部と交差する方向を有する複数のラインに沿って、前記線状の輝光部に属する検出画素の数を求める手段
（ｂ）前記複数のラインのそれぞれに対応して求められた検出画素の数についてライン１本当りの平均検出画素数を求める手段
（ｃ）該求められた平均検出画素数に基づいて、前記複数のライン１本当りの検出画素数の適正範囲を定める手段
（ｄ）前記複数のラインの内、前記適正範囲内の検出画素の数を与えるラインに対応する検出画素を適正データと判断して前記測定に使用する手段
ここで、前記３次元位置関連情報は、３次元位置、３次元姿勢、３次元形状、又は寸法とすることができる。

また、前記適正範囲を定める手段には、前記求められた平均検出画素数と、前記求められた平均検出画素数に乗じる比率として予め定められた最小適正比率及び最大適正比率とに基づいて適正範囲を算出する手段を備えたものとすることができる。
あるいは、前記適正範囲を定める手段は、前記求められた平均検出画素数と、前記求められた平均検出画素数から差し引く画素数として予め定められた減算画素数及び前記求められた平均検出画素数に加算する画素数として予め定められた加算画素数とに基づいて適正範囲を算出する手段を備えたものとすることができる。また、上記の適正範囲の決定に関係するパラメータである「最小適正比率及び最大適正比率」、あるいは、「減算画素数及び加算画素数」は、例えば通常のパラメータ設定と同様の方式で、変更可能とすることができる。

本発明によれば、被測定対象物の汚れがある部分や、面粗さが他とは異なった部分にスリット光が照射され、検出される輝光部の幅が狭くなったり、中心位置がずれたりした場合であっても、信頼性に乏しいデータを排除して測定に使用することができるようになる。従って、上記従来技術の「スリット光の位置を撮像素子の分解能以上の高精度での計測ができる」という利点を保持しながら、「被測定対象物の表面状態による悪影響を回避して測定を行なうことができる」という利点を同時に得ることが可能になる。また、別の観点から言えば、本発明により測定精度のばらつきを抑えられることから、投光装置と受光装置の配置間隔を狭め、測定装置を小型化することが容易になる。

以下、図１〜図５を参照図に加えて、本発明の実施形態について説明する。先ず図１は、本発明の１つの実施形態に従った３次元測定装置の全体構成を示した図である。同図において、スリット光（既述の通り、スポット光走査による疑似スリット光を含む）を投光する投光装置は符号１０で示され、同投光装置１０と若干の間隔をおいては受光装置２０が配置される。これら投光装置１０と受光装置２０は、ユニット化された検出ヘッドとして構成され、例えばロボット（図示省略）のアーム先端付近に搭載して使用される。また、ロボットを使用しない場合、あるいは使用する場合でも、ロボットに搭載しない態様で適所に設置されることもある。

前述したように、投光装置１０と受光装置２０との配置間隔は一般に大きい程、測定精度（特に、両装置から見て奥行き方向の測定精度）を確保し易い一方小型化のニーズには反することになるので、両者のバランスを考慮して定められている。但し、本発明の利点により、測定精度のばらつきを抑えられることから、投光装置と受光装置の配置間隔の短縮は従来より容易となっている。

投光装置１０は、周知の対応で被測定対象物（例えばワーク）１上にスリット光を投光し、被測定対象物１の表面上に線状の輝光部２を形成する。この輝光部２からは、投光装置１０により投光された光に由来する散乱光乃至反射光が出ており、それが輝光部２の周囲からの光（作業環境に元々存在している光に由来する散乱光乃至反射光）とともに受光装置２０で受光される。受光装置２０は例えばディジタルＣＣＤカメラで、投光装置１０とともに、画像処理装置３０に接続されている。そして、投光装置１０による投光のオン・オフ、受光装置２０による撮像とそれに続く画像の取り込み等の制御は、画像処理装置３０によって行なわれるようになっている。

投光装置１０による投光方向（スリット光平面の３次元姿勢）については、ロボットに検出ヘッドを搭載する場合には、測定時のロボットの位置・姿勢を通して選択することができるようになっている。また、ロボットに検出ヘッドを搭載しない場合には、適当な調整機構により調整可能とされる。いずれにしろ、図１に示したように、投光装置１０をオンさせ、輝光部２を被測定対象物１上の測定希望箇所を通るように線状の輝光部２を形成し、受光装置２０で撮像を行なった場合には、その輝光部２（少なくともその一部）を含む画像データが画像処理装置３０に取り込まれ、同画像処理装置３０に接続されたモニタディスプレイ４０の画面上に検出画像として表示される。なお、画像処理装置３０自体は、後述するソフトウェア（実施形態の説明参照）を装備している点を除けば、従来と同様の構成及び機能を有するものであるから詳細説明は省略する。

図１において、検出画像には、符号３で示した被測定対象物１の画像と、符号４で示した輝光部２の画像が含まれている。なお、ここで形成される輝光部２あるいはその画像４は、一般にはある程度の幅を持った線状乃至帯状のものとなるが、後述するように乱れた部分があったり、途切れた部分があったりする可能性もある。ここでは、そのような乱れがある場合も含めて、「線状の輝光部」あるいは「線状の輝光部画像」などと表現する。

周知の通り、被測定対象物１の３次元空間上の位置関連情報は、検出画像上の輝光部画像４の位置から求められる。即ち、輝光部画像４上の１つ以上の点に対応する空間内の１つ以上の点の３次元位置を検出データとして求め、それら検出データに基づいて、被測定対象物１の３次元位置（例えば、被測定対象物１を代表する特徴点の位置）、３次元姿勢（例えば、被測定対象物１の姿勢を代表する面の方位と稜線の延在方向）、３次元形状（例えば、円形輪郭の真円度）、寸法（例えば、円形の穴の直径）等が測定される。輝光部画像４に対応する検出データからこれら諸元を計算する方法自体は周知であり、且つ、本発明の特徴と直接の関係はないので詳細は省略する。

本発明の特徴は、これら３次元位置関連情報の算出に使用される「輝光部画像４に対応する検出データの選択の仕方」にある。そこで、以下の記述では、この特徴に関連する事項を中心に説明する。図２は、図１に示した測定装置を用いて、スリット光の投光で形成される輝光部２の検出画像（輝光部画像）４から、輝光部２の３次元位置を検出を計算する方法について説明する図である。なお、この方法自体は周知なので、概略のみを説明する。

同図に描かれているように、投光装置１０の光源が点灯されると、投光装置１０の投光口（図示省略）から出力されるスリット光により、扇状に広がるスリット光平面５が形成される。そして、このスリット光平面５と被測定対象物１の表面が交わることでその交線位置に対応して輝光部２が形成され、それが受光装置２０による撮像により、検出画像中に輝光部画像４として観測される。今、輝光部２上、換言すれば、被測定対象物１の表面上にあり且つスリット光平面５上にある任意の測定対象点をＰとし、実空間（３次元空間）内での点Ｐの３次元位置を（ｘ、ｙ、ｚ）とする。一方、この点Ｐ（ｘ、ｙ、ｚ）に対応する検出画像上の点ｐの位置を（ｕ、ｖ）とする。（ｕ、ｖ）は、画像面に設定されている２次元直交座標系のＨz 軸（水平軸）及びＶt 軸（垂直軸）に関する座標値である。受像装置の撮像における走査方向は、Ｈz 軸に平行な方向とする。

また、この点ｐと受光装置２０のレンズ中心とを通る直線を視線６とすれば、この視線６の実空間内での位置（視線６の直線を記述するに方程式あるいはそれを特定するに必要十分なパラメータ値）は、予め画像処理装置３０に記憶したキャリブレーションデータを使って求めることができる。そこで、測定対象点Ｐの３次元空間内での位置（ｘ、ｙ、ｚ）は、スリット光平面５と視線６との交点の位置として求められることになる。なお、スリット光平面５の位置（方程式あるいはそれを特定するに必要十分なパラメータ値）は、投光装置１０のキャリブレーションデータ、あるいは、ロボット上に搭載した場合には、投光装置１０のキャリブレーションデータとロボットの現在位置データとから、計算することができる。

以上が、図１に示した測定装置を用いて、スリット光の投光で形成される輝光部２の検出画像（輝光部画像）４から、輝光部２の３次元位置を検出を計算する方法であるが、ここで測定精度の良否を左右する大きな要因として問題となるのは、従来技術における検出画像上の点ｐの位置（ｕ、ｖ）の認識の仕方とそこで得られるデータの信頼性である。既に触れたように、実際に得られる輝光部画像４は、一般には幅のある線状の明るい領域として形成される。そこで、受光装置２０の走査線（撮像時の走査ライン）に沿って画素毎の検出光度（明るさ）のデータを収集し、一定の閾値を越える検出光度を与える画素を抽出すれば、それら画素が、走査ライン上にあって輝光部画像４の一部を構成している画素であるということになり、それらデータから、各走査ラインに対応して輝光部画像４の検出位置が決められることになる。

図３は、輝光部画像４と交差する走査ラインに沿った各画素の明るさデータを棒グラフ形式で例示したものである。棒グラフの各幅は１画素分に相当している。今、このこのような明るさ分布から、この走査ラインに対応する輝光部画像４の検出位置を求めるには、例えば検出閾値を越える明るさを検出した画素に対し、走査方向に沿って明るさの加重平均を求め、検出位置を算出する。このようにして検出位置を定めれば、画素幅単位よりもさらに高精度で輝光部画像４の検出位置が求まり、それに基づいて得られる３次元関連情報の精度も高くなると一応は考えられる。

しかし、実際の特定においては上記の考え方通りに精度が高く保たれないケースが少なくない。その主な原因は、走査ラインに沿った画素の明るさ分布に各種の乱れ乃至異常が発生することにある。即ち、被測定対象物上に汚れが付着していたり、被測定対象物の面粗さが場所によって不均一であったりすれば、当然、そこに投光された光に対する反射特性に乱れ乃至不均一さが生じる。その結果、例えば、検出される線状の輝光部画像４の幅（太さ）に乱れが生じたり、輝光部画像４が途切れたり（即ち、閾値を越える画素なし）、走査ラインに沿った明るさ分布がスプリット（複数の明るさピークを持つこと）したりすることがある。

また、被測定対象物１の表面が部分的に鏡面状になっている場合は、被測定対象物１上に投影されたスリット光がぎらついて太くなってしまい、走査ラインに沿って閾値を越える画素が異常に多くなることもある。このような乱れや異常が発生している個所で計測された３次元位置情報は、誤差を多く含むことになり、検出精度悪化の要因となる。図４（ａ）〜図４（ｃ）はこの様子を模式的に表現したものである。

図４（ａ）は、検出画像の全体を簡略に表わしたもので、被測定対象物画像３及び輝光部画像４を含んでいる。輝光部画像４は、全体としては線状に延びているが、上記した理由により、符号Ａで示した領域内で乱れが生じている。図４（ｂ）は、その乱れを含んでいる領域Ａを拡大描示したものである。図４（ｂ）において、各升目は各々１つの画素を表わしており、各画素について、検出光度が輝光部画素の判定に用いた閾値（図３のグラフとその関連説明参照）を越えているか否かを２段階のグレースケールで簡略描示した。また、図４（ａ）、（ｂ）において、受像装置の撮像における走査方向は左右方向とする。

また、符号Ｂ−Ｂで示したラインは、被測定対象物１上に投影されたスリット光の入射位置が正しく画像で検出されたと仮定した場合の検出位置ラインを表わしている。図４（ｂ）に示した例を詳細に見ると、領域Ａの左上部と右下部では、閾値を越えた画素群がほぼ一定の幅で線状に分布しており、この部分では乱れは生じていないことを示している。これに対して、領域Ａの中央部では、検出光度が閾値を越える画素の線状の分布が痩せる態様で乱れている。

従って、この乱れが生じている部分について、受像装置の走査方向（ここでは左右方向）に沿って閾値を越える画素群を計数すれば、その計数値は他の乱れがない箇所を横切る走査ライン上に沿って同じ閾値条件で計数した場合にと比較して、かなり少なくなる。このような少数の画素の明るさの加重平均を求めて検出位置を算出した場合、その結果の信頼性は低くなり、正しい検出位置ラインＢ−Ｂから大きく外れた検出位置が算出される可能性が高くなる。図４（ｃ）は、その状況を模式的に表わしている。

図４（ｃ）において、符号Ｃ１、Ｃ２は、乱れの無い箇所を通る走査ラインに沿って収集された検出画素（閾値条件クリアした画素）の明るさに基づいて算出された検出位置の例を表わし、符号Ｃ３は上記の少数の画素の明るさに基づいて算出された検出位置の例を表わしている。検出位置Ｃ１、Ｃ２は、正しい検出ライン（実際のスリット光入射位置を反映した検出位置）Ｂ−Ｂとの間に殆ど乖離を生じていないが、検出位置Ｃ３は正しい検出ラインＢ−Ｂとの乖離が大きくなっている。

そこで、本発明はこのような乖離を起こす可能性の高い検出位置データを被測定対象物の３次元位置情報の算出に使用するデータから排除することで、測定の精度と信頼性を向上させるものである。この考え方に基づき、本実施形態では、検出画像における走査ライン１本当りの検出画素数の適正範囲を、複数の走査ラインに沿って計数した検出画素数（閾値条件をクリアした画素の数；以下、同じ）に基づいて決定し、各走査ラインについて、検出画素数が前記適正範囲にあればその走査ライン上の検出画素を被測定対象物の３次元位置情報を測定するための適正データと判断し、検出画素数が前記適正範囲になければ適正データではないと判断する。図４（ｃ）の例で言えば、検出位置Ｃ１、Ｃ２は適正データとして採用し、検出位置Ｃ３は適正データとしては採用しないようにする。これにより、信頼性に乏しいデータが３次元測定結果に反映されて精度が低下することが回避される。

上記の適正／不適正の判断を含む具体的な処理手順の例を図５にフローチャートで示した。この処理は、画像処理装置３０内で行なわれ、必要なプログラムデータ、パラメータデータ等は画像処理装置３０のメモリに格納済みとする。各ステップの要点は下記の通りである。

ステップＳ１；先ず、受光装置２０の撮像における各走査ラインについて、前述した閾値を越えた検出光度を与える画素が少なくとも一つ検出されたか否かをチェックし、検出された各走査ラインについて、平均検出画素数を求める。以下、求められた平均検出画素数をＮavで表わす。

ステップＳ２；走査ライン１本当りの適正検出画素数の範囲を決定する。そのために、例えば下記（１）、（２）式によって上限Ｎmax と下限Ｎmin を算出する。
Ｎmin ＝Ｎav×αmin ・・・・・（１）
Ｎmax ＝Ｎav×αmax ・・・・・（２）
但し、αmin 、αmax は、それぞれ予めパラメータで設定された最小適正比率及び最大適正比率で、０＜αmin ＜１、αmax ＞１である。Ｎavの値及びαmin 、αmax の設定値の一例を記せば、Ｎav＝５０、αmin ＝０．８、αmax ＝１．２である。この場合の適正検出画素数の範囲は、４０（個）〜６０（個）となる。

あるいは、下記（３）、（４）式によって上限Ｎmax と下限Ｎmin を算出しても良い。 Ｎmin ＝Ｎav−β ・・・・・（３）
Ｎmax ＝Ｎav＋γ ・・・・・（４）
但し、β、γは、それぞれ予めパラメータで設定された減算画素数及び加算算画素数で、０＜β、０＜γである。Ｎavの値及びβ 、γの設定値の一例を記せば、Ｎav＝５０、β＝８、γ＝９である。この場合の適正検出画素数の範囲は、４２（個）〜５９（個）となる。なお、これらαmin 、αmax あるいはβ、γのいずれの設定値も、通常のパラメータと同様に、適宜変更可能とすることができる。

ステップＳ３；Ｎavの算出に関与した全走査ラインの内、適正検出画素数が適正範囲Ｎmin 〜Ｎmax に収まった各走査ラインについて、走査ライン毎にその走査ライ上にある画素の検出光度データを、同走査ライン上の検出画素を被測定対象物１の３次元位置情報を測定するための適正データと判断する。そして、それら適正データを得た各走査ライン毎に、各走査ライン上の画素の検出光度に比例した重みを付けて、周知の加重平均処理を行ない、各スリット光の検出位置（中心位置）を求める。

ステップＳ４；ステップＳ３で求められた各スリット光の検出位置のデータに基づいて、被測定対象物１の３次元位置情報を取得するための計算を行い、結果を記憶する。ここで、被測定対象物１の３次元位置関連情報としては、例えば、被測定対象物１を代表する特徴点の位置、被測定対象物１の姿勢を代表する面の方位及び／又は稜線の延在方向、輪郭の形状、輪郭の寸法等多様なものが考えられる。ステップＳ３で得られた検出データからこれら諸元のいずれを計算するかはアプリケーションによる。また、その計算方法自体は周知であり、且つ、本発明の特徴と直接の関係はないので詳細は省略する。

なお、以上説明した実施形態では上記処理は画像処理装置３０で行なわれているが、ロボットを使用する場合、周知の態様でロボット制御装置に画像処理装置３０の役割を果たさせることも可能である。また、輝光部に対応する検出画素（閾値条件をクリアした画素）を計数する「走査ライン」として、受光装置２０の撮像における走査ライン（図２におけるＨz 軸と平行）を採用しているが、線状の輝光部画像４と平行でない限り、受光装置２０の撮像における走査ラインとは別の方向を採用しても良い。例えば、受光装置２０の撮像における走査ラインと垂直なＶt 軸（図２参照）に平行な方向に沿った「走査ライン」を採用しても良い。

本発明に従った３次元測定装置の全体構成を示した図である。 スリット光の投光で形成される輝光部の検出画像から、輝光部の３次元位置を求める方法について説明する図である。 輝光部画像４と交差する走査ラインに沿った各画素の明るさデータを棒グラフ形式で例示したものである。 輝光部画像の乱れにより、検出位置が実際のスリット光入射位置と乖離することを説明する図で、（ａ）は検出画像の全体を簡略に表わしたもの、（ｂ）は輝光部画像の乱れを含む領域を拡大描示したもの、（ｃ）は検出位置と実際のスリット光入射位置のずれを例示したものである。 本実施形態において実行される処理の概略を記したフローチャートである。 投光装置と受光装置の配置間隔と、測定装置の小型化との関連を説明する図で、（ａ）は投光装置と受光装置の間隔を広くとった配置を示し、（ｂ）は同間隔を狭くとった配置を示している。

符号の説明

１ 被測定対象物
２ 輝光部
３ 被測定対象物画像
４ 輝光部画像
５ スリット光平面
１０ 投光装置
２０ 受光装置
３０ 画像処理装置
４０ モニタディスプレイ

Claims (6)

1. スリット光、もしくはスポット光を走査して疑似的に生成した疑似スリット光を被測定対象物に照射して線状の輝光部を形成し、受光手段を用いた撮像により前記輝光部を検出し、該輝光部の検出画像上での位置に基づいて前記被測定対象物の３次元位置関連情報を取得する３次元測定装置において、
   前記検出画像において、前記線状の輝光部と交差する方向を有する複数のラインに沿って、前記線状の輝光部に属する検出画素の数を求める手段と、
   前記複数のラインのそれぞれに対応して求められた検出画素の数についてライン１本当りの平均検出画素数を求める手段と、
   該求められた平均検出画素数に基づいて、前記複数のライン１本当りの検出画素数の適正範囲を定める手段と、
   前記複数のラインの内、前記適正範囲内の検出画素の数を与えるラインに対応する検出画素を適正データと判断して前記測定に使用する手段とを備えたことを特徴とする３次元測定装置。
2. 前記３次元位置関連情報は、３次元位置、３次元姿勢、３次元形状、又は寸法である、請求項１に記載の３次元測定装置。
3. 前記適正範囲を定める手段は、前記求められた平均検出画素数と、前記求められた平均検出画素数に乗じる比率として予め定められた最小適正比率及び最大適正比率とに基づいて適正範囲を算出する手段を備えたことを特徴とする、請求項１又は請求項２に記載の３次元測定装置。
4. 前記最小適正比率及び最大適正比率は変更可能である、請求項３に記載の３次元測定装置。
5. 前記適正範囲を定める手段は、前記求められた平均検出画素数と、前記求められた平均検出画素数から差し引く画素数として予め定められた減算画素数、及び、前記求められた平均検出画素数に加算する画素数として予め定められた加算画素数とに基づいて適正範囲を算出する手段を備えたことを特徴とする、請求項１又は請求項２に記載の３次元測定装置。
6. 前記減算画素数及び加算画素数は変更可能である、請求項５に記載の３次元測定装置。

Images