JPS6286471A - 位置姿勢判定方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の利用分野〕 本発明は、特徴形状部分に月する直線方程式やその重心
位置などを求めることにょっ”（、特徴形状部分を含む
対象全体の４１７置とその姿勢状態を判定するための位
置姿勢判定方式に関するものである。

〔発明の背景〕

これ才で部品認識技術としては、例えば電気学会全国大
会（昭和５８年春季）において発表された「線分化パタ
ーンマツチングによる部品認識技術」なるものが知られ
ている。これによる場合認識対象の全体をとらえたうえ
その重心や主軸などの特徴量を求めた後、適当に選択さ
れた辞書パターンとの間で主軸が一致すべくされた状態
でパターン−政道が求められるものとなっている。しか
しながら、対象が電子部品実装基板などであってその画
像が極めて複雑であったり、あるいは外形寸法が大であ
るような場合には対象全体の画像を直ちには明確にとら
えなかったり、あるいは同時にその外形形状をとらえ得
ないという不具合がある。

即ち、特徴量が容易迅速に得られず、これがために対象
を実際上殆ど認識し得ないというものである。

−・方、特開昭５８−６２５０３号公報には、画像の一
部に設定されたウィンドウにかかる部材の面積にもとづ
いて部材を位置決め制御することが示されている。しか
しながら、これによる場合は位置決め制御が面積だけに
よっていることから、精度良好にして部材を位置決めし
得ないものとなっている。

ところで、これまでにあっては一般に対象は予め定めら
れた基準としての位置姿勢におかれるべく積極的に制御
されていたが、位置姿勢が正しく認識される場合は基準
としてのそれとの相対的位置姿勢関係は一義的に定まり
、この相対的関係で以て基準としての位置姿勢を補正す
ることＧこよって対象は正しく制御され得るものとなっ
ている。

即ち、対象を正しく制御するには、現におかれている位
置姿勢状態を正しく認識すれば十分であるというもので
ある。

〔発明の目的〕

よって本発明のＬ１的は、対象の全体形状からではなく
その一部としての特徴形状部分より対象全体としての位
置姿勢を正しく認識し得る位置姿勢判定方式を供するに
ある。

〔発明の概要〕

この目的のため本発明は、対象における特定の任意な２
点か、あるいは特定の任意な１点と特定の任意な直線方
程式、あるいは特定の任意な２つの直線方程式にもとづ
いて現におかれている対象の位置姿勢を求めるようにし
たものである。即ち、対象がある範囲内でその位置姿勢
がアトランダムであるとすれば、予め任意に定められた
特徴形状部分の存在位置も概略的に知れ、したがって、
それら特徴形状部分を任意に１つ以上選択したうえ画像
処理によって特徴量としての重心位置や直線方程式など
を求めれば、対象全体の位置姿勢が知れるものである。

〔発明の実施例〕

以下、本発明を第１図から第９図により説明する。

先ず本発明が適用可とされた、ロボットによる自動組立
システムについて説明する。第２図はその一例でのシス
テム構成を示したものである。図示の如くヘルドコンベ
ア１上をランダムに流れてくるシャーシ２はＴＶカメラ
３でとらえられ、シャーシ２全体の画像あるいはその一
部画像は画像処理装置４に転送されるようになっている
。画像処理装置４ではその入力画像からシャーシ２の位
置姿勢を計算したうえこれを組立ロボソ１−５１こ転送
するものと、なっている。鉗ｆｔ）　ｒｒボット５は部
品供給用マガジン６からをか）出した部品をシャーシ２
に組付けするが、その際画像処理装置４からの情報をも
とに基準としくの位置姿勢データを補正したうえシャー
シ２に対し２部品の絹付けを行なうようになっているわ
けである。一般にシャーシ２はベルトコンベアＬトでは
２次元的に任意の位置姿勢にあるが、組立（コボソト５
が部品をシャーシ２に対し正しく絹付けるためには入力
画像からシャーシ２のずれ分を求め、これによって＆準
位開姿勢データを補正すればよいものである。

第３図は特徴形状部分の各掻剥を示したものである。図
示の如＜ＴＶカメラ３より得られる画像７中にはシャー
シに取付けされている基板の一部が像８として積出され
ており、像８中にはまたコネクタ像９や穴像１０、）＆
板縁像１１．１２などが存在するが、これらを特徴形状
部分として抽出したうえ処理しようというものである。

シャーシはこの場合その位置姿勢がアトランダムである
といっても基準の位置姿勢よりそれ程ずれていないとす
れば、ウィンドウ１３〜１６を予め適当に設定しておく
場合はそれら特徴形状部分がウィンドウ１３〜１６内の
ものとして抽出され得るものである。したがって、抽出
された特徴形状部分としては穴像１０のように特徴全体
のものと、コネクタ像９や基板線像１１、１２のように
特徴全体の一部として得られるものとに分けられる。

第４図（ａ）、　　（ｂ）４よ抽出された特徴形状部分
の例をそれぞれ示したものである。このうち第４図（ａ
）に示すものは穴像１０、つまり特徴全体を線分化方式
により多角形近似した例であり、データとして点（丸印
）列の座標が保存されるものとなっている。また、第４
図（ｂ）に示すものは基板線像１１、つまり特徴の一部
とウィンドウ１５枠を線分化方式により多角形近似し、
そのウィンドウ１５枠を除く内側部分には更に他のウィ
ンドウ１Ｂを設定することによって抽出すべき特徴部分
だけを線分列に近似した例であり、データとしては点（
丸印）列の座標が保存されるようになゲζいる。

第５図、第６図は第４図（ａ）、（ｂ）で求めた線分化
図形より特ｆａｔを抽出するための方法を示したもので
ある。第４図（ａ’）のような特数形状全体を抽出し得
るものに対しては、重心（図心）Ｇが求められるように
なっている。重心ＧのＸ座標ＸＸ、Ｙ座標ｙｇは第５図
に示す台形Ｔ　ｘ　］〕ｌ　ｒＰ２．ＴｙＰｌ、Ｐ２を
中位とし、しかも点列ＰをＰ　＝　（Ｐ　Ｌ　（ｘ　＋
、ｙｉ）、　Ｐ２　（ｘｔ　、　　ｙｇ）。

・・−・−、ｐ７　　（Ｘｌ、ｙｔＮ　　（但し、Ｉ）
　８　　（ｘｅ　＋　　ｙｅ）＝ｐｉ　　（ｘｔ　、ｙ
ｉ））として求めた多角形全体の１次モーメントＭｘ、
Ｍｙと面積Ｓとから以下のように求められるようになっ
ている。

ｘ　（ｙｔ−＋　＋　ｙｔ’／（ｙｉ−＋＋ｙｔ）　ｌ
　−・・・ｆｔ１Ｘ　（Ｘｉ−＋＋ｘｚ”／（ｘ４−１
＋ｘｉ）　ｌ　・・・・・・ｆ２１Ｋｇ　　＝Ｍｙ／Ｓ
　　　　　　　　　　　　　　　・・・・・・（４）ｙ
ｇ　　＝Ｍｘ／Ｓ　　　　　　　　　　　　　　　・・
・・・・（５）但し、Ｍｘ、Ｍｙはそれぞれｙ軸、ｙ軸
に対するものである。

また、第４図（ｂ）においてウィンドウ１８枠の部分を
除いた線分列である、第６図に示すような特徴形状の一
部を抽出したものに対しては、点列を最小２乗法により
直線近似し、直線方程式％式％ ようになっている。この場合係数ａ、ｂは点列りをＬ−
（Ｌ　１　　（Ｘｔ　、　　Ｙｔ）、　　Ｌ２　（Ｘｉ
　、　　Ｙｔ）、　−−。

１、、４　　（Ｘ４　、　　ｙ４）ｌ　として以下のよ
うに求められＰ　＝　　（ｘ−’　ｘ）−’　ｘＴｙ　
　　　　　　　　−ｆ６１行列である。

次に以上のようにして求めた牛１依りにもとづき位置姿
勢を判定ずろ方法を第７図（８）〜（Ｃ）によ杓説明す
れば、求められた特徴量は重心と直線であることから、
Ｌ７たか、Ｙ、これらの組合せとしては■重心占市心、
■重心と曲線、■直線と直線の場合がある。以下それぞ
れの組合セについて、位置姿勢の判定方法を説明するが
、一般に位置姿勢の基準のそれからのずれには、Ｘ方向
、Ｘ方向、のずれの他、ｘｙ平面上での回転すれかある
。

■の場合：ある１つの特徴形状部分対応の重心Ｇｌ　　
（ｘｔｇ、　　ｙｉｇ）よりその特徴形状部分の（＋７
１、したがって、ｘ、Ｘ方向の位置ずれが求砧られるが
、回転方向のずれ角ｔ１θはＣＩ　　（Ｘ　＋ｇ、）’
　＋ｇ）　＋Ｇ２　　（Ｘｚｇ、　　ｙ２ｇ）から以下
のよろに求められるものである。

θ＝ｊａｎ−’　（Ｖ＋　　Ｙｔ／　Ｘｉ　　Ｘｇ）　
　・・−・（７１但し、Ｇ２は他の特徴形状部分対応の
重心を示す。

■の場合：■の場合と同様にして重心Ｇ３（Ｘ　ｓｇ、
　’ｉ　ｓｇ）より位置ずれが求められるが、次に重心
Ｇ３と、重心Ｇ３から直線（ｙ＝ａｘ十ｂ）に下した垂
線との交点Ｊｌ　　（ｘ’、ｙ’）とにもとづき回転方
向のずれ角度θを以下のように求めるものである。

θ−ｔａｎ弓（ｙ　’　−ｙｓｇ／　ｘ　’　−Ｘｓｇ
）　　・・・・・・（８）■の場合８直線（ｘ＝ａ’ｙ
＋ｂ“）と直線（ｙ−ａｘ＋ｂ）との交点Ｊ２（ｘ“、
ｙ＃）より位置を求め、更に直線の傾きａ　（またはａ
″）より回転方向のずれ角θを求めるものである。

θ＝ｊａｎ−’　ａ　ｏｒ　ｔａｎ−’　ａ　＃・−１
１書拳ｆ９１第８図は第７図（ａ）〜・（Ｃ）に示す方
法による位置姿勢判定処理全体の一例でのフローを示し
たものである。これに従って処理を説明すれば、ＴＶカ
メラから入力された対象の画像に対しては適当な特徴形
状部５）が抽出されるべくウィントリが設定され処理範
囲が決定されるようになっている。この後ウィンドウ内
の特（殻の輪郭が抽出されたうえ線分化方式により多角
形近似されるが、この後は更に線分化データから特徴形
状が把握され抽出し得る特徴ＩＩｔ種別毎に分類される
ようになっている。分類された特徴形状部に、指定され
た重心や直線方程式等の特＠齢の抽出が行なわれ、求め
られた２つの特徴−の組合せにより姿勢判定を行なうよ
うになっているものである。

ここで特徴形状の分類につい゛ζ詳細に説明すれば、求
めるべき特徴−は原Ｉ（１的には特徴形状全体から求ま
る重心と特徴の一部を直線として抽出する直線方程式で
ある。しかしながら、特徴形状全体から重心が求められ
るものの中には、１つの特ｗｌ量で位置姿勢の判定が可
とされる２次モーメントの求められるものがある。また
、直線方程式を求める際に特殊な態様としてかぎ形にな
った直線２本が同時求まる場合があり、このような場合
には１つの特徴形状部分に含まれる直線２本によって位
置姿勢の判定が可能であり、これら２直線の交点は直ち
に求められるものとなっている。交点は位置姿勢の判定
においては重心と同様に位置姿勢の判定−ヒ重要なもの
である。よって、これらの特殊な特徴量であるところの
重心＋２次モーメント、２直線士交点が求まる場合を考
慮したうえで特徴形状を４つのパターンに分類したのが
第９図である。これによるとの特徴形状全体から重心の
み求まる形状、■特徴形状全体から重心および２次モー
メントが求まる形状、■直線が１本求まる形状、■非平
行な直線２本のみ、あるいは更にそれらの交点が求まる
形状（この場合２本の直線が長ければ精度良好な判定が
可能であるが、短いと不安定点なるため単独での判定は
不可）、といった具合に４つのパターンに分類されるも
のとなっている。

最後に特徴−の組合せによる位置姿勢の判定方法を第１
図を用い説明する。第１図は第８図に示した特徴形状の
組合せによるイ）′１置姿勢判定方法を示したものであ
る０組合せは４つのパターン全てについて行なうことが
可能となっている。例えば、２直線の交点が２つ求まる
場合についても重心が２つ求まる場合と同様にし７てイ
装置姿勢が求められるようになっている。他の場合も部
分的な２つの特徴形状にもとづき対象全体の位置姿勢が
求められるものである。

〔発明の効果〕

以上説明したように本発明は対象全体における各特徴形
状部分相互間の相対的位置関係が予め固定的であること
に着［１し、少なくとも１以」−の特徴形状部分より対
象全体としての位置姿勢を正しく認識するようにしたも
のである。したがって、本発明による場合は対象の外形
寸法が大きくても、また、その像が複雑である場合でも
対象全体の位置姿勢を正しく認識し得るという効果があ
る。

【図面の簡単な説明】

　ｑ 第１図は、本発明による、特徴形状の組合せによる位置
姿勢判定方式を説明するための図、第２図は、本発明が
適用可とされた、ロボットによる自動組立システムを示
す図、第３図は、本発明に係る特徴形状部分に対するウ
ィンドウ設定方法を説明するための図、第４図（ａ）、
　　（ｂ）は、ウィンドウにもとづき抽出された特徴形
状部分を多角形近似したものとして示す図、第５図、第
６図は、本発明に係る特徴量抽出方法を説明するための
図、第７図（ａ）〜（Ｃ）は、本発明に係る位置姿勢判
定方式を概略的に説明するための図、第８図は、本発明
に係る位置姿勢判定処理の一例でのフローを示す図、第
９図は、本発明に係る４つの基本的特徴形状パターンを
説明するための図である。 ２・・・（対象としての）シャーシ、３・・・ＴＶカメ
ラ、４・・・画像処理装置、９〜１２・・・（特徴形状
部分としての）コネクタや穴、基板縁の像、１３〜１９
・・・ウィンドウ。

Claims (1)

【特許請求の範囲】
1. 位置姿勢が求められるべき対象の少なくとも１部分に対
   する２次元的画像より特徴形状部分に対する画像を抽出
   したうえ抽出された特徴形状各々について重心位置、直
   線交点位置、直線方程式の何れか１つを少なくとも特徴
   量として求め、該特徴量を任意に組合せることによって
   上記対象の全体としての位置姿勢を求めることを特徴と
   する位置姿勢判定方式。