JPS60200111A - ３次元物体認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の利用分野〕 本発明は、２次元的な平面視覚と、３点以上の物体面境
界線上の点の３次元位置を測定できる３次元位置測定装
置とを組み合わせることにより、２次元画像から特定の
形状を持つ輪郭線を切り出すのに好適な３次元物体認識
装置に関するものである。

〔発明の背景〕

近年　ＦＡ　（ＦａｃｔｏｒｙＡｕｔｏｍａｔｉｏｎ　
）ノー環として溶接９組立等の作業に産業用ロボットが
利用されるようになり、視覚センサ等を用いたフレキヅ
ブルな作業のニーズが高まっている。従来、産業用ロボ
ットに用いられている視覚装置は、その大部分が２次元
的な平面視覚であり、２次元画像を２値または多値化し
、フィルタリング操作等により特定形状の面の切シ出し
を行ない、切り出した面の２次元的な重心、慣性主軸等
の特徴量を計算することにより物体の認識を行なってい
る。

しかし、物体が平面的ではなく３次元的に置かれている
ような場合には、平面画像から得られた面の輪郭線は、
実際の物体の面の輪郭線とは異なるため、正確な認識が
困難であった。そこで、３次元的に置かれた物体に対し
ても、特定形状の面の輪郭線を正確に切り出せるような
方式の開発が切望されていた。

〔発明の目的〕

本発明の目的は、２次元視覚と３次元位置測定装置とを
組み合わせて、３次元的に置かれた物体の特定形状の面
の輪郭線の切り出しを行なうことにより、産業用ロボッ
ト等の視覚装置において、３次元物体の認識及びノ・ン
ドリング等を可能にする３次元物体認識装置を提供する
ことにある。

〔発明の概要〕

本発明に係る３次元物体認識装置は、認識対象の物体の
２次元画像から、その物体表面の特定の多角形平面の境
界線上における少なくとも３点の３次元位置を測定する
３次元位置測定手段と、」１記の３次元位置情報に基づ
き上記境界線の各辺の方向ベクトルおよび当該多角形平
面の法線ベクトルをめるとともに、特定方向に対する上
記境界線の各辺の境界角をめる画像処理手段と、上記境
界角から上記多角形平面に適合するフィルタを選択し、
そのフィルタリング処理により、上記物体の２次元画像
データから当該境界線の検出をする輪郭線切り出し手段
とからなるようにしたもので、ある。

なお、これを補足すると、次のとおりである。

ＴＶカメラ等で入力した２次元画像は画像処理装置で処
理される。通常、この処理では、一般的な輪郭線切り出
し処理のフロー図である。第１図に示すように、雑音除
去、セグメンテーション。

２値または多値化処理２輪郭線切り出し１重心等の２次
元形状の計算が行なわれる。

第２図は、ＴＶカメラと物体との位置関係によるフィル
タの相違を表わす概念図である。第２図（ａ）に示すよ
うに、物体平面とＴＶカメラとが平行な場合には、切り
出した輪郭線は実際の物体の輪郭線と一致するので、切
り出したい形状（例えば長方形）のフィルタリング操作
をすることによって輪郭線が正確に切り出せる。しかし
、第２図（ｂ）のように、物体が３次元的に不定な位置
・姿勢にあり物体平面とＴＶカメラとが平行でない場合
には、切り出したい形状（例えば長方形）のフィルりを
そのｉｔ用いても輪郭線は切り出せない。このような場
合には、物体の３次元的な姿勢を検出し、切り出したい
形状に合うようなフィルりを選択して用いる必要がある
。本発明は、このように選択したフィルタを用い請求め
る特定形状の輪郭線を切り出しを可能にしたものである
。

〔発明の実施例〕

以下、本発明の実施例を図に基づいて説明する。

第３図は、本発明に係る３次元物体認識装置の一実施例
の構成図、第４図は、本装置における３次元位置測定装
置の一実施例の説明図、第５図は、同じく物体上のスリ
ット光の説明図、第６図は、同じく画面座標系の概念図
、第７図は、同じく物体の輪郭線と画面座標がなす角度
の説明図、第８図は、同じく長方形を例とした回転角計
算の説明図である。

ここで、１は輪郭線切り出し対象の物体、２は物体１を
置くための台、３は画像処理装置、４は輪郭線切り出し
装置、５は計算機、６は３次元位置測定装置、７は、そ
のＴＶカメラ、８，９は同スリット光発生装置である。

本装置は、以下の手順（１）〜（４）で特定形状の輪郭
線を切り出すことができる。

（１）台２上の物体１をテレビカメラ７で撮り、その画
像を画像処理装置３へ入力する。

（２）３次元位置測定装置６を用いて、物体の面境界線
上の３点以上の点の３次元位置を測定する。

本実施例では、測定装置としてスリット光を利用したレ
ンジファインダを用いる。これは、三角測量の原理を用
いて空間位置を測定する一種の距離測定装置で、その詳
細を第４図に示す。本３次元位置測定装置６は、ＴＶカ
メラ７に固定されたもので、その左右にスリット光発生
装置８．９を有する。左右のスリット光発生装置８．９
は、発光ダイオード１０を一列に並べ、スリット１１に
よってスリット光にし、レンズ１２によって収光させる
。物体１にあたったスリット光１５．１６は、ＴＶカメ
ラ７のレンズ１４で収光され、撮像面１３に結像する。

スリット光はＴＶカメラ７に対して傾いてあたっている
ため、ＴＶカメラ７から見た物体１にあたっているスリ
ット光は第５図のようになる。ＴＴＶカメラ７とスリッ
ト光発生装置８，９との相対位置関係が既知であるから
、３角測量の原理に基づいて、物体１の面境界線上の４
点Ｐ＋　＋　Ｐ２　＋Ｐ３　、　Ｐ４のＴＶカメラ７か
ら見た３次元座標がわかることになる。

（３）計算機５は、（２）でめた４点のうちの３点の３
次元座標ケもとに、物体の面境界線のうちの１本の境界
線の方向ベクトルｆ＝（ｆ２．　（、、ｆ、）と面の法
線ベクトルｎ　＝　（ｎえ＋　”Ｆ　＋　”Ｋ　）とを
計算する。すなわち、４点のうちＰｌ、Ｐ２　、　Ｐ３
の位ｔベクトルＰ＋　、　Ｐ２　、　Ｐ３を用いるとす
れば、である。このとき、第６図に示すように画面の座
標系をｘ　−ｙ平面にとると、画面上でｆｌ　がＸ軸と
なす角θｆは、第７−に示すように ｔａｎθ、＝　ｆ。

ｆ８　・・・・・・・・・（３） からまる。ここで、ｆの境界線に隣接の境界の方向ベク
トルをｇとし、ｆとｇとのなす角αが与えられていると
すると、方向ベクトルｇ−（ｇ、。

ｇｙ　、　ｇｔ　）は、 なる関係を満たすから、ｆとｎが画面座標系で与えられ
れば、ｇの画面座標系での値がまる。このとき、ｇがＸ
軸となす角度θ、は ｇｙ ｔａｎθ、−□　・・・・・・・・・（５）Ｘ となる。

したがって、１９ｇをもつ境界線をフィルタリングによ
って描出しようと思えば、フィルタの方向がθｆ、θ１
となるようにすればよい。

例として、第８図（ａ）に示すような長方形において”
”（Ｌ　Ｌ　Ｏ）＋　””（Ｌ　Ｏ＋　１）と測定され
たとすると、（４）式でα＝９００とおいて、ｇ＝（−
１，Ｏ，ｏ）が得られるから、ｆ、ｇがＸ軸となす角度
は、θｔ＝０°、θ、−−９０゜である。よって、例え
ば３×３のフィルタを用いて輪郭線を切り出すには、 のようなフィルタとすればよい。

この長方形が第８図（ｂ）に示すように３次元的に傾い
ていたとすると、上のフィルタは、そのまま使うことは
できない。例えば式（１）〜（５）からθ１−４５°、
０．＝−４５°が得られたとすると、フィルタとしては
、 のような方向性をもつものを用いればよい。

（４）輪郭線切り出し装置４は、計算機５で計算したθ
ｆ、θ１に最も合うフィルタを選び、それを用いて２値
または多値画像から輪郭線を切り出す。

最後に、第９図は、本装置における各種処理のフロー図
であって、以下、本図に基づいて上述の手順を更に詳し
く説明する。

まず、第９図（ａ）に示すように、画像処理装置３にお
いては、ＴＶカメラ７の撮像面１３に取り込まれたスリ
ット画像は、端点検出手段１７へ送られ、端点検出後、
境界ベクトル・法線ベクトル検出手段１８．境界内計算
手段１９へ送られる。

第９図（ｂ）は、端点検出手段１７内で行なわれるフロ
ーを示す。第５図に示すように物体１にあたったスリッ
ト光は段差ができるので、直線的にスリット光を探索し
、４つの端点Ｐ＋　、Ｐ２　、　Ｐ３゜Ｐ４を見つける
。次に、端点Ｐ＋　、　Ｐ２　、　Ｐ３　、　Ｐ４につ
いてＴＶ画面上での座標を記憶する。更に、記憶されて
いる距離マツプについて端点ＰＩ　＋　Ｐ２　＋Ｐ３＋
Ｐ４に相当する点を参照し、その３次元位置をめる。ζ
こで、距離マツプとは画面上の点と空間上の点との対応
を前もって測定しておいたものである。

第９図（Ｃ）は、境界ベクトル・法線ベクトル計算手段
１８内で行なわれるフローを示す。まず、端点検出手段
１７から送られてきた４点のうち３点をＬＪＡする。続
いて、式（１）、　（２）を用いて３点の空間座標から
境界ベクトルｆと法線ベクトルｎとを計算する。もちろ
ん、４点の座標から最小２自法等を用いてめることも可
能である。

第９図（ｄ）は、境界用計算手段１９内で行なわれるフ
ローを示す。最初に、式（３）をもとに、ｆと画面上の
Ｘ軸とのなす角θｆを計算する。次に、ｆの境界線と隣
接する境界の方向ベクトルｇを算出するが、ｆとｇのな
す角αは、記憶されているデータから与えられている。

すなわち、記憶されているαのデータを読み出し、上記
計算手段１８から送られて来たｆ、ｎのデータをもとに
、式（４）を用いてｇを算出する。しかるのち、式（５
）を用いてｇとＸ軸とのなす角θ１を算出する。

第９図（ｅ）は、輪郭線切り出し装置４内で行なわれる
フローを示す。まず、境界用計算手段１９から送られて
きたデータθｆ、θ１をもとに、境界線検出用フィルタ
を選択する。２値または多値の画像メモリ内の画像デー
タを取り込み、フィルタリング処理により境界線を検出
する。

〔発明の効果〕

以上、詳細に説明したように、本発明によれば、３次元
的に位置・姿勢が不定な物体の表面形状を特定して切り
出すことができるようになり、（１）　従来の平面的な
物体のみでなく、立体の表面形状も特定できるので、３
次元物体の認識が可能になるとともに、フィルタリング
によって認識ができるので、高速な処理が可能となり、
（２）３次元物体の認識を高速に行ないうるので、産業
用ロボット等の視覚に応用して３次元物体の組立作業等
を実時間で行なうことができ、（３）２次元視覚と３次
元位置測定装置とを組み合わせて３次元視覚と同等の効
果を得ることができ、従来の双眼視やスリット光切断方
式による３次元視覚に比べて経済性に優れ、装置も小型
化できる、 という効果は産業用ロボット等による３次元物体の認識
及びハンドリングに対して顕著である。

【図面の簡単な説明】

第１図は、一般的な輪郭線切り出し処理のフロー図、第
２図は、ＴＶカメラと物体との位置関係によるフィルタ
の相違を表わす概念図、第３図は、本発明に係る画像処
理装置の一実施例の構成図、第４図は、本装置における
３次元位置測定装置の一実施例の説明図、第５図は、同
じく物体上のスリット光の説明図、第６図は、同じく画
面座標系の概念図、第７図は、同じく物体の輪郭線と画
面座標とがなす角度の説明図、第８図は、同じく長方形
を例とした回転角計算の説明図、第９図は、同じく各種
処理のフロー図である。 １・・・物体、２・・・台、３・・・画像処理装置、４
・・・輪郭線切り出し装置、５・・・計算機、６・・・
３次元位置測定装置、７・・・ＴＶカメラ、８，９・・
・スリット光発ｆ７３　図 ８４　図 第９１ （０−） 第ｑ　回 Ｃｂ） 第９　目 （Ｃ） 場９Ｉ￥１ （ｄ） １　図 （ｅ、）

Claims (1)

1. 【特許請求の範囲】 １、認識対象の物体の２次元画像から、その物体表面の
   特定の多角形平面の境界線上における少なくとも３点の
   ３次元位置を測定する３次元位置測定手段と、上記の３
   次元位置情報に基づき、上記境界線の各辺の方向ベクト
   ルおよび当該多角形平面の法線ベクトルをめるとともに
   、特定方向に対する上記境界線の各辺の境界角をめる画
   像処理手段と、上記方向ベクトル、法線ベクトルおよび
   境界角から上記多角形平面に適合するフィルタを選択し
   、そのフィルタリング処理により、上記物体の２次画像
   データから当該境界線の検出をする輪郭線切り出し手段
   とからなるようにした３次元物体認識装置。 ２、特許請求の範囲第１項記載のものにおいて、３次元
   位置測定手段は、認識対象の物体の特定の多角形平面に
   スリット光を投射し、上記の多角形平面の境界線と上記
   スリット光との交点を撮像し、スリット光の方向と撮像
   方向との相対位置関係から、上記交点の少なくとも３点
   について３次元位置を測定するものである３次元物体認
   識装置。