JPS63149075A - 画像処理機能を付加した多関接溶接ロボツト装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は画像処理機能を付加した多関接溶接ロボット
装置に関するものである。

〔従来の技術〕

第１２図は従来の多関接溶接ロボット装置を示すシステ
ム構成図であって１図において、３０はシステム全体を
制御するＣＰＵ、３１はシステム全体をどのような順序
で実行していくかを決定するＲＯＭ部、３８は多関接溶
接ロボット１４の多関接腕先端に取付けられた溶接トー
チ、３６は溶。

接トーチ３８が溶接対象物３９に接触したことを検知す
る接触検知部（接触式センサ）、３５は上記接触検知部
３６をシステム本体を接続する溶接電源インターフェー
ス部、３３は上記接触検知部３６が検知した位置情報か
ら座標系や次の目標位１１五を演算する位置演算部、４
１は上記位置演算部；３；３で求められた位置情報を表
示する表示部、４０は多関接溶接ロボット１４を任意の
場所に移動させるデータ入力手段としてのペンダントボ
ックス、４３は上記表示部４１とペンダントボックス４
０をシステム本体に接続するためのマンマシンインター
フェース部、３４は多関接溶接ロボット１４を駆動する
駆動部、４２は上記各周辺機器とＣ１０を接続するシス
テムバスである。

上記接触検知部３６は溶接線の開始点に適応されている
。その例として、水平隅肉溶接を行うときの開始点検出
のための動作を第１３図について説明する。

溶接トーチ３８はペンダントボックス４０のキー操作に
より教示した点ＰＯからＰ１→Ｐ２→Ｐ３→Ｐ４と動作
する。このとき、点ＰＯ−＊Ｐ１に向かう時は通電を検
知したら止まるようにソフトウェア（以下、Ｓ／Ｗと略
称する）で制御している。

一連の動きにより、Ｘ、Ｙ、Ｚ平面がそれぞれ認識でき
、溶接開始点がわかることになる。（このとき溶接開始
点はＺ平面からの距離として登録されている。）多少、
溶接対象物３９（母材）がずれていても接触することに
よりカバーできる（ずれの範囲は決められている）。

上記接触検知部３６で検知した位置情報を受けて、位置
演算部３３は次のようにして座標系や次の目標位置を演
算する。まず、第１４図に示す図上に点ｎ−１９点ｎ９
点ｎ＋１の３点をペンダントボックス４０のキー操作に
より教示する。この場合、点ｎから点ｎ＋１まで溶接す
るものとする。

検知動作にはいる前に教示点から第１５図に示す座標系
を作成する。即ち、溶接線方向をＸ。軸、基準座標系（
ロボットの絶対座標系）のＹ軸と前記Ｘ。４ｉｌＩｌの
外積方向（Ｙ軸、Ｘｏ軸を含む平面に対して垂直方向）
にＹ、ｌ軸、ｘｏ軸とＹｌ、軸の外積方向（Ｘ、軸、Ｙ
ｏ軸を含む平面に対して垂直方向）に２ｏ軸を作成する
。

点ｎ　（Ｘａ＋　３’ｏｙ　Ｚｏ）　＋点ｎ＋１（ｘ工
、ｙ□。

ｚｊ　とすると、 Ｘ、軸単位ベクトルは ”　　（ｅｘｘ＋　　ｅｘｙ＋　　ｅｘｚ）ただし、ノ
：　ＪＣＸｘ　　ｘｌｌ）”　＋　（３’ｔ　　Ｖ６）
２＋　（７１２０）２Ｙ０軸単位ベクトルは ”　（ｅｙｘ＋　ｅＹＹｔ　ｅｙｚ） ２ｏ軸単位ベクトルは （ｅＹ２°ｅＸｘ−ｅｘ２°ｅｙｘＬ （ｅｖｙ゛ｅｘｙ　ｅＸＸ”　ｅｙｙ）　）となる。

以上、求めた各軸単位ベクトル及び点ｎより座標系は４
×４の行列で表現すると１次のように決定される。

当然の事ながら、母材のずれがなければ、この座標系は
変化しない。

次に、前記接触検知部３６で検出した点Ｐ１゜Ｐ２．Ｐ
３．Ｐ４よりどの項を補正するのが以下に示す。

ＰＬ、Ｐ３点を検出した場合、点ＰＬ、Ｐ３より新たに
単位ベクトルを形成し、この単位ベクトルを新しいＸ。

軸として、他のＹ。Ｉ　Ｚｏ軸をそれぞれ作り直す。

２２点を検出した場合、点Ｐ２を検知したとき、相対座
ａ　（０，Ｘ、Ｙ、Ｚ、）上ではＹ。軸方向にはゼロで
あるが、もし、ゼロでなければ、その領分だけＹ。軸方
向にシフトする。

２４点を検出した場合、（０，ＸｏＹ、Ｚ、、）の原点
、ＯｎのＸ座標を変える。即ち、点線の位置に座標系が
ずれ、指定されている溶接開始点の位置へ到達すること
ができる。

従って、母材のずれた後の目標位置（ｎ＋１）は、次の
ようになる。

ｏ、　ｘ、　ｙ、　ｚ、上での相対位置故に、新たな座
標系は となる。

次に動作について説明する。第１３図の溶接トーチ３８
により、第１６図に示した溶接対象物３９の溶接の開始
点４５と終点４６を教示して、その時の位置をシステム
メモリ部３２に記憶する。この時、位置情報は教示のと
きのデータのみであるため、両点ともに正確に教示する
。

次いで、溶接実行の前に上記溶接トーチ３８により自動
的に教示した開始点４５を基準にして、溶接対象物３９
上の位置４７，４８．４９を検知する。

上記３点と開始点４５により溶接対象物３９の上に座標
系４９ａを形成する。次いで作成した座標系４９ａのＸ
ｗ軸を正規な溶接線とし、上記教示した終点４６の位置
を位置演算部３３で修正し。

新たな終点４６に向かって溶接する。

〔発明が解決しようとする問題点〕

従来の多関接溶接ロボット装置は以上のように構成され
ているので、溶接線が直線の場合にしか適応できず、円
弧を含む曲線は対象外であった。

このため１円弧またはそれに類した曲線状の溶接線を溶
接するには、数点から曲率によっては数十点の教示点を
与え、直線で近似するしかなかったため、教示作業が大
変繁雑で制御が面倒であるという問題点があった。

この発明は上記のような問題点を解消するためになされ
たもので、直線溶接線はもちろんのこと、曲線を含む曲
線溶接線の開始点、終点ともに正確に教示することによ
り、溶接線を検知することのできる画像処理機能を付加
した多関接溶接ロボット装置を得ることを目的とする。

〔問題点を解決するための手段〕

この発明に係る画像処理機能を付加した多関接溶接ロボ
ット装置は、溶接対象物を写し取るカメラと、前記カメ
ラで写し取った映像情報を確保する画像メモリ部と、前
記画像メモリ部に入った前記映像情報を処理する画像処
理部とを具備したものである。

〔作用〕

この発明における画像処理機能を付加した多関接溶接ロ
ボット装置は、カメラで溶接線まわりを画像として写し
取り、その画像の中から溶接線を抽出することにより、
曲線溶接線にも対応できるとともに溶接時に溶接対象物
が教示時と違う位置に移動していても、教示時のデータ
をそのまま使用することを可能にする。また、円弧を含
む曲線等の教示作業を不要とする。

〔実施例〕

以下、この発明の一実施例について説明する。

第１図において、１は周辺装置全体を制御するＣＰＵ部
、２は上記ＣＰＵ部を使用して全体の実行順序を決める
ＲＯＭ部、３はマンマシンインターフェース部４に接続
されているペンダントボックス１６により教示された位
置などを記憶しておくシステムメモリ部、７は上記シス
テムメモリ部３に記憶された教示点情報により多関接溶
接ロボット１４の目標位置を演算する位置演算部、５は
カメラ６より入力された映像情報をアナログ値より８ビ
ツトのデジタル量に変換するカメラインターフェース部
、１１は上記カメラインターフェース部５にて変換され
た情報を格納する画像メモリ部、８は上記画像メモリ部
に格納された映像情報から特徴を抽出する処理を行い、
モニタ９に表示する画像処理部、１０は多関接溶接ロボ
ット１４に溶接指令を伝達する溶接電源インターフェー
ス部であり、この溶接電源インターフェース部１０には
接触検知部１０ａを介して溶接電源部１０ｂが接続され
ている。１２は多関接溶接ロボット１４を駆動する駆動
部である。

第２図は接触式センサと溶接線全体を画像として把えた
後、溶接線だけを抽出する画像処理技術を適応すること
により、容易かつ正確に溶接線を見は出す概念説明図で
あり、第２図において、Ｘ。

Ｙ、Ｚは多関接溶接ロボット１４が動作するための基準
座標系、ｘｖ、　ｙｖ、ｚＶは溶接線の絶対位置を求め
る（空間直線式との交点を求める）に必要な溶接対象物
３９の座標系、Ｘｅｔ　）’Ｃ：＋　ｚｃは抽出した溶
接線一点一点に対応する空間直線式を求めるためのカメ
ラ６の座標系である。

上記カメラの設置条件は、 （１）ロボットの動作範囲内にカメラを設置する。

（２）ロボットの座標系（絶対座標系）のｘ−７平面に
平行になるようにカメラの底を固定する。

カメラが上記の設置条件を満足している場合、カメラの
レンズの中心（あらかじめ印を付けておく）及びカメラ
６の中心線Ａ上のどこか一点を教示する。上記２条件と
２点の教示点により、カメラの座標系を演算する。

溶接対象物３９はロボット座標系のＸ−Ｚ平面に水平に
置かれているため、溶接の開始点（ｘ５゜ｙ５＋　Ｚ５
）−終点（Ｘｅ　＋　’／ｅ　ｔ　Ｚｅ）を正確に教示
することにより、溶接対象物３９の座械系が計算される
。

溶接対象物の座標系は Ｘ軸：教示点（開始点及び終点）より求める。

Ｙ軸：ロボット座標系のＹ軸の成分をそのまま使用。

（０，１，Ｏ） Ｚ輔：Ｘ軸とＹ軸の外積方向 以上のことより、後記の直線と交わるために必要なＸ−
Ｚ平面が求まる。

上記開始点の教示時と同時にカメラ６で溶接線および溶
接トーチ３８を含んだ映像（第３図ａ）を写し取り、画
像メモリ部１１に格納する。終点の教示時も同様にカメ
ラ６で写し取った映像（第３図ｂ）を画像メモリ１１に
格納する。次に画像処理部８で開始点と終点の２つの映
像情報により溶接線のみ（第３図Ｃ）を抽出する。

以上、画像処理より求めた溶接線の開始点と終点の間の
溶接線データを基にして溶接を実行する。

溶接を実行する際、溶接対象物が教示時と異なる位置の
時は、従来技術で説明した、接触式センサを用いること
により、教示のデータ及び画像処理より求めた溶接線デ
ータを簡単な座標変換によりそのまま使用することがで
き、あらためて教示及び画像処理を行う必要はない。

つまり、溶接トーチ３８を溶接対象物３９の側面、底面
および後方面に接触させて、教示時に作成した溶接対象
物座標系を作り直すことにより。

溶接開始点を新たに見い出す、その後、溶接線だけを抽
出した映像情報２３ｂ（第３図Ｃ）が、第４図に示す画
面２４の中心位置２６からどの程度の距離にあるのかを
画像処理部８で演算する。第５図は第４図の側面図であ
る。

演算処理は溶接トーチ３８のパターンを溶接開始点教示
画像の中から見は出しくパターンマツチング法）、その
溶接トーチ３８′の先端位置を溶接線の開始点として認
識し、そのときのドツト位置（画面上の位置）を記憶す
ることにより、画面の中心からの距離が演算できる。

上記の演算結果により、画面の中心位置に進入する光路
に対する角度θおよびαが決定される。

従って、第５図に示すある溶接線の画像情報の光路、つ
まり、直線２９ｂのカメラ６の座標系に対する直線式が
求まる。これは、多関接溶接ロボットの座標系での直線
式を求めることに他ならない。

すなわち、カメラ６の座標系（既知状態にある）とモニ
タに映る画面との関係は第６図に示すようになる。第７
図は第６図Ａ視図である。第６，７図において、座標軸
の原点はカメラ内の撮像素子２１が取付けである所の中
心位置、カメラ６のレンズ２２と撮像素子２１までの距
離ａは既知である。第６図に示すような位置関係にある
ため、モニタ上の中心からの位置すなわち撮像素子２１
上の位置により、レンズ２２に対してどの角度から光が
入ってきたのかがわかる。

第８図はモニタ画面を示すもので、例えば抽出した溶接
線上の一点である。点Ｐを通る光路を求めるには以下の
処理を溶接上の各点について行う。

（ａ）まず、第８図に示すように、Ｙ−Ｚ平面上におい
てＺ軸からの角度δを求め、角度δだけＸ軸のまわりの
カメラの座標系を回転させる。

（ｂ）次に第９図に示すように、中心点Ｏより点Ｐまで
の距離を求める。

（Ｃ）距離に応じて角度δをＲＯＭ部２より取り出す。

これにより、直線にの方向ベクトル（７，、ｍ。

ｎ）が決定される。

直線にの方程式 ％式％ ただし、ａ、ｂ、ｃ：点Ｐの絶対（ロボット系）座標。

Ｐｓの単位ベクトルを算出。

Ｐ　（ａ、ｂ、ｃ）、Ｓ　（Ｘｓ、Ｙｓ、Ｚｓ）次いで
、上記で求めた直Ｍｋと溶接対象物座標系のＸｖ　　Ｚ
ｖ平面との交点を求める。この交点は以下のように算出
する。

前記の直線の方程式と、ｙ＝ｄ　（ｄは溶接対象物が置
かれている高さに相当する。）の平面の方程式よりｘ、
Ｚの値を求める。

ｍ　　　　　　　　　　　　　　　　　　　　　　ｍｎ
（ｄ−ｂ） Ｚ＝　　　　　　　　　　　　＋Ｃ 従って、直線と平面の交点（Ｘ、Ｙ、Ｚ）はとなる。

以上の計算を画像メモリ部に残っている溶接線に対応す
るデータすべてに対して行う。それによって抽出した溶
接線の絶対位置がすべて求められる。

上記のようにして交点を求めることにより、開始点と終
点の間の溶接線を検知する。このとき。

検知する開始点と終点との間の教示点間の距離はカメラ
の精度に依存する。

以下、溶接線まわりを画像として写し取り、その画像の
中から溶接線を抽出するまでの動作を、第１０図に示す
フローチャート図に基づいてまとめて説明する。

まず、ペンダントボックス１６により開始点キーを押し
て、溶接対象物３９の開始点を教示する（ステップ１Ｏ
−１）と同時に、そのときの画像を取り込み画像メモリ
部１１に記憶させる（ステップ１ｏ−２）。次いで、ペ
ンダントボックス１６により終点キーを押して、溶接対
象物３９の終点を教示する（ステップ１Ｏ−３）と同時
に、そのときの画像を取り込み画像メモリ部１１に記憶
させる（ステップ１Ｏ−４）。

そして、画像処理部８により、画像メモリ部１１に記憶
した２つの画像の論理和画像を重ね合わせ（ステップ１
Ｏ−５）、溶接トーチ３８の傾き（ロボット座標系での
トーチベクトル）は絶えずＲＯＭ部２で算出されており
、上記重ね合せ画像から溶接トーチの画像を消去する（
ステップ１Ｏ−６）。

消去画像に境界線抽出処理を施して溶接線のみを抽出す
る（ステップ１Ｏ−７）。

ＱＰの単位ベクトル）はロボットの溶接トーチ３８の姿
勢を制御するために絶えず算出している。この溶接トー
チ３８が撮像素子上（つまりモニタ上）のどの位置に映
し出されるが、計算することにより１画像メモリ部１１
に記憶させた重ね合せ画像から溶接トーチ３８のデータ
を消去させることができる。

点Ｐおよび点Ｑの撮像素子上の位置計算は以下のように
行う。

（ｉ）点Ｐは、教示データ（開始点および終点のデータ
）をそのまま使用・ （ｉｉ）点Ｐとカメラ内の焦点Ｓを結ぶ直線式を算出す
る。焦点Ｓのカメラ内座標系の位置はわかっているため
、直線式に必要な絶対位置は容易に算出できる。カメラ
座標系（第２図）内の焦点の位置○Ｃは（Ｘｓ、Ｏ，Ｏ
）であるため、焦点の絶対位置は、 （ｉｉｉ）点Ｐの教示データを（Ｘｐｔ　Ｙｐ、Ｚｐ）
とすると、直線の方程式は、 Ｘ−Ｘｂ　　Ｙ−Ｙｐ　　Ｚ−Ｚｐ （Ｃ） ！　　　　　　　ｍ　　　　　　　　　ｎＤ　　　　　
　　　　Ｄ　　　　　　　　　　Ｄただし、Ｄ　　：　
、／（Ｘｓ−Ｘｐ）”＋（Ｙｓ−Ｙｐ）”＋（Ｚｓ−Ｚ
ｐ）２（ｉ′Ｉ／）平面の方程式は、カメラ座標系のＹ
ｃ−Ｚｃ平面の方程式である。

１’　Ｘ十ｍ’　Ｙ＋　ｎ’　ｚ＝　ｐ　　　　　　　
　　　　　（Ｄ）（）’、ｍ’、ｎ’）はカメラ座標系
Ｍ０のＸ軸ｍ位ベクトルである。

ただしＰ：カメラの座標系の原点までの距雛。

ｅＸＸ＊　ｅＸＹ＋　ｅｘ２：（ｌ’　ｒ　ｍ’　＋　
ｎ’Ｎこ相当上式Ｃ，Ｄより交点がわかる。それにより
、モニタ上、つまり、画像メモリ部１１のどの部分のデ
ータが溶接トーチ３８のものかわかる。

（Ｖ）点Ｑの絶対位置を求める。

ただし、Ｔ：溶接トーチ（Ｐ−０間）の長さくｖｉ）点
Ｑに関しても点Ｐと同様に求める。

（ｖｉｉ）以上の事より、点Ｐ−Ｑ間に対する画像メモ
リ部１１上のデータは、点Ｐ−Ｑ間が直線ということに
より容易に消去可能である。

なお、上記実施例では溶接線検出の場合について説明し
たが、平面上に限って言えば、長さ及び面積等の計測に
も適応できる。

〔発明の効果〕

以上のように、この発明によれば溶接線が空間のある平
面内に存在し、カメラの視野の中におさまるものであれ
ば、開始点と終点の間に曲線が存在しても溶接線情報を
取り出し正確に溶接することができる効果がある。

【図面の簡単な説明】

力１図はこの発明の一実施例による画像処理機能を付加
した多関接溶接ロボット装置を示すシステム構成図、第
２図は溶接線を見は出す概念説明図、第３図は画像処理
の過程を示す経過図、第４図は溶接線を検出するときの
画像と溶接対象物との対応図、第５図は第４図の側面図
、第６図乃至第９図は多関接溶接ロボット系での直線式
を求める説明図、第１０図は溶接線まわりの画像の中か
ら溶接線を抽出する動作を説明するフローチャート図、
第１１図はトーチベクトルの説明図、第１２図は従来の
多関接溶接ロボット装置のシステム構成図、第１３図は
水平隅肉溶接を行うときの開始点検出の動作説明図、第
１４図は座標系や目標位置の演算動作の説明図、第１５
図は演算された座七雲系図、第１６図は教示点を修正し
て正規の座標系を形成する動作説明図である。 １はＣＰＵ、２はＲＯＭ部、３はシステムメモリ部、６
はカメラ、７は位置演算部、８は画像処理部、１０は溶
接電源部、１０ａは接触検知部。 １１は画像メモリ部、１４は多関接溶接ロボット、１５
は表示部、１６はペンダントボックス。 なお、図中、同一符号は同−又は相当部分を示す。 特許出願人　　三菱電機株式会社 （づ〆）’１２＋）Ｌ２．−ｉ’ ψ！Ｌ！２巴 第３図 第７図 Ｙ 第１０°　　　第１１　ｉｌｌ 第１４図 第１５図

Claims (1)

【特許請求の範囲】
1. 周辺装置を集中制御するＣＰＵ部と、前記周辺装置のス
   ケジュールを管理するＲＯＭ部およびシステムメモリ部
   と、前記ＣＰＵ部からの指令により多関接溶接ロボット
   を任意の場所へ移動させるペンダントボックスと、前記
   多関接溶接ロボットの溶接トーチ先端の位置を表示する
   表示部と、前記溶接トーチと溶接対象物との間に電圧を
   印加する溶接電源部と、前記溶接トーチが前記溶接対象
   物に接触したことを検知する接触検知部と、前記接触検
   知部が検知した位置情報から座標系や次の目標位置を演
   算する位置演算部とを有する多関接溶接ロボット装置に
   おいて、前記溶接対象物を写し取るカメラと、前記カメ
   ラで写し取った映像情報を確保する画像メモリ部と、前
   記画像メモリ部に入った前記映像情報を処理する画像処
   理部とを具備したことを特徴とする画像処理機能を付加
   した多関接溶接ロボット装置。