JP3421608B2

JP3421608B2 - 教示モデル生成装置

Info

Publication number: JP3421608B2
Application number: JP10189099A
Authority: JP
Inventors: 淳渡辺; 太郎有松
Original assignee: FANUC Corp
Current assignee: FANUC Corp
Priority date: 1999-04-08
Filing date: 1999-04-08
Publication date: 2003-06-30
Anticipated expiration: 2019-04-08
Also published as: EP1043126A2; US7200260B1; EP1043126B1; EP1043126A3; JP2000288968A; DE60039934D1

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パターンマッチン
グ処理によって対象物の位置姿勢を検出する方法に用い
られる教示モデルの生成装置に関する。特に、検出対象
物が３次元にその位置姿勢が変化しても対象物を検出す
ることができるようにするための教示モデルの生成装置
に関する。

【０００２】

【従来の技術】検出対象物の２次元画像を予め教示モデ
ルとして記憶しておき、平面上に載置された対象物をカ
メラ等の撮像手段で撮像して得られた画像データと教示
モデルとのパターンマッチング処理を行い、対象物の位
置姿勢を検出する方法、装置はすでに公知であり、ロボ
ットにより機械部品や物品とのワークピースを自動的に
把持し所定位置に搬送する作業等にこの対象物検出方
法、検出装置が使用されている。しかし、同一形状のワ
ークピースが乱雑に山積みされた中から、又は、所定領
域内に任意の３次元的に異なる位置姿勢で収納されてい
るワークビスの集合から個々のワークピースを取出す作
業はロボットによってできず、人手によって行われてい
る。ロボットを使用する場合は、乱雑に山積みされたワ
ークピースから人手により１つ１つ取り出し整列配置さ
せてロボットが直接ワークピースを取り出せるようにし
ておく必要がある。

【０００３】

【発明が解決しようとする課題】同一形状のワークピー
スが山積みの中から、又は多数のワークピースが所定領
域内に任意の３次元的に異なる位置姿勢で収納されてい
る中から個々のワークピースをロボットで取り出すこと
ができない理由は、山積みされたワークピースの位置姿
勢を把握できないことから、ロボットで個々のワークピ
ースを把持できる位置姿勢に制御することができないこ
とに起因する。

【０００４】そこで、山積みされ若しくは所定領域内に
任意の３次元的に異なる位置姿勢ので収納されている同
一形状のワークピースに対して個々のワークピースの３
次元位置、姿勢（方向）を検出する装置が開発されてい
る。この対象物の３次元位置、姿勢（方向）を検出する
装置は、予め検出しようとする同一形状の１つのワーク
ピースに対して異なった方向からカメラで撮像しその画
像データにより教示モデルを複数記憶すると共に各教示
モデルとワークピースとの相対位置姿勢を記憶してお
き、山積みされた同一形状のワークピースをカメラで撮
像して得られた画像データに対して、各教示モデルとパ
ターンマッチング処理を行い、マッチング値の高い教示
モデルを選択し、この選択教示モデルに対して記憶する
教示モデルとワークピースとの相対位置姿勢より検出対
象のワークピースの位置、姿勢（方向）を検出するもの
である。

【０００５】上述した、対象物の３次元位置姿勢を検出
する画像処理装置は、ワークピースを複数の方向から撮
像して得られる複数の教示モデルを必要とする。

【０００６】そこで、本発明の課題は、対象物の３次元
位置姿勢を検出する画像処理装置に用いられる教示モデ
ルの生成装置を得ることにある。

【０００７】

【課題を解決するための手段】本願各発明は、３次元的
に異なる任意の位置姿勢で置かれている複数の対象物の
中から任意の１つの対象物の位置姿勢を検出するための
マッチング方式の画像処理用の教示モデルを生成し記憶
するための教示モデル生成装置である。そして、請求項
１に係わる発明は、対象物か撮像手段のどちらか一方を
定位置に配置し他方をロボットの可動部に固定するかハ
ンドに把持させ、ロボットを動作させて前記撮像手段を
前記対象物に対して相対的に複数の画像取込み位置に移
動させて対象物を複数方向から撮像して前記対象物の画
像データをそれぞれ取得し教示モデルとして、前記方向
の情報と対応付けて記憶し、前記複数方向は、対象物の
３次元姿勢によって変化する画像パターンを複数種に分
け各種類のパターンがそれぞれ得られる方向としてい
る。

【０００８】又、請求項２に係わる発明は、対象物を第
１のロボットの可動部に固定するかハンドに把持させ、
撮像手段を第２のロボットの可動部に固定するかハンド
に把持させ、ロボットを動作させて前記撮像手段を前記
対象物に対して相対的に複数の画像取込み位置に移動さ
せて対象物を複数方向から撮像し前記対象物の画像デー
タをそれぞれ取得し教示モデルとして記憶するようにし
たものである。

【０００９】請求項３に係わる発明は、撮像手段をカメ
ラに限定したものであり、請求項４に係わる発明は、撮
像手段を撮像手段と対象物の距離を複数の点で計測する
３次元視覚センサに限定したものである。

【００１０】

【発明の実施の形態】本発明の一実施形態としてロボッ
トシステムによって構成した例を以下説明する。図１
は、同一形状のワークピースが多数山積みされている状
態からこのワークピースをロボット等で自動的に把持し
ピッキングするような場合、対象物のワークピースの３
次元位置姿勢を検出するための教示モデルを教示するた
めに用いられる、本発明の第１の実施形態を示すで概要
図である。このワークピースの１つを所定位置に固定
し、ロボットＲＢのハンドで把持されるか若しくはロボ
ット可動部に固定された撮像デバイス２０で複数の方向
から撮像し、得られた画像データから対象物の教示モデ
ルを生成するものである。例えば、図４に示すようにワ
ークピースＷに対して４方向から撮像しこの４つの画像
データからそれぞれ教示モデルを生成する。

【００１１】図５は、本実施形態におけるロボットＲＢ
の制御装置の要部ブロック図であり、従来のロボット制
御装置と同一構成である。符号８で示されるバスに、メ
インプロセッサ（以下単にプロセッサという。）１、Ｒ
ＡＭ、ＲＯＭ、不揮発性メモリ（ＥＥＰＲＯＭなど）か
らなるメモリ２、教示操作盤用インターフェイス３，外
部装置用のインターフェイス６、画像処理装置との通信
インターフェイス７及びサーボ制御部５が接続されてい
る。又、教示操作盤用インターフェイス３には教示操作
盤４が接続されている。

【００１２】ロボット及びロボット制御装置の基本機能
をささえるシステムプログラムは、メモリ２のＲＯＭに
格納されている。又、アプリケーションに応じて教示さ
れるロボットの動作プログラム並びに関連設定データ
は、メモリ２の不揮発性メモリに格納される。そして、
メモリ２のＲＡＭは、プロセッサ１が行う各種演算処理
におけるデータの一時記憶の記憶領域として使用され
る。

【００１３】サーボ制御部５は、サーボ制御器５a1〜５
an（ｎ：ロボットの総軸数にロボット手首に取り付ける
ツールの可動軸数を加算した数）を備えており、プロセ
ッサ、ＲＯＭ、ＲＡＭ等で構成され、各軸を駆動するサ
ーボモータの位置・速度のループ制御、さらには電流ル
ープ制御を行っている。いわゆる、ソフトウエアで位
置、速度、電流のループ制御を行うデジタルサーボ制御
器を構成している。サーボ制御器５a1〜５anの出力は各
サーボアンプ５b1〜５bnを介して各軸サーボモータＭ１
〜Ｍｎを駆動制御する。なお、図示はしていないが、各
サーボモータＭ１〜Ｍｎには位置・速度検出器が取り付
けられており、該位置・速度検出器で検出した各サーボ
モータの位置、速度は各サーボ制御器５a1〜５anにフィ
ードバックされるようになっている。又、入出力インタ
ーフェイス６には、ロボットに設けられたセンサや周辺
機器のアクチュエータやセンサが接続されている。

【００１４】図６は、ロボット制御装置のインターフェ
イスに接続される画像処理装置３０のブロック図であ
る。プロセッサ３１を備え、該プロセッサ３１にはバス
４０を介してこのプロセッサ３１が実行するシステムプ
ログラム等を記憶するＲＯＭ３２、画像処理プロセッサ
３２、撮像デバイスに接続された撮像デバイスインター
フェイス３４、各種指令やデータを入出力するためのＣ
ＲＴや液晶等の表示手段付ＭＤＩ３５、画像メモリ３
６、不揮発性メモリ３７，データの一時記憶等に利用さ
れるＲＡＭ３８、ロボット制御装置１０に接続された通
信インターフェイス３９が接続されている。撮像デバイ
ス２０で撮像された画像は、画像メモリ２６に格納され
る。画像処理プロセッサ３３は、画像メモリに格納され
た画像をプロセッサ３１の指令により画像処理して対象
物を認識する。この画像処理装置３０の構成、作用は従
来の画像処理装置と同一であり差異はない。ただし、本
発明に関連し、不揮発性メモリ３７に後述する教示モデ
ルが記憶されること、及びこの教示モデルを用いて撮像
デバイス２０で撮像したワークピースの山の画像データ
に対してパターンマッチング処理を行い、ワークピース
の３次元位置姿勢を求める点に、この画像処理装置３０
は特徴がある。

【００１５】撮像デバイス２０は、後述するように画像
データを得るものであるが、この撮像デバイス２０とし
ては、２次元画像を得るＣＣＤカメラでも、又、距離デ
ータを測定できる視覚センサでもよい。ＣＣＤカメラの
場合には撮像して得られた２次元画像より画像データを
従来から公知の方法で得るが、距離データを測定できる
視覚センサの場合は、センサと対象物との距離データを
要素とした２次元配列データを画像データとして得るも
のである。この距離データを測定できる視覚センサは、
例えば、特開平７−２７０１３７号公報に記載されたス
ポット光走査型３次元視覚センサ等で公知であるので、
簡単にこの３次元視覚センサについて述べる。

【００１６】この視覚センサは、２台のスキャナによっ
て任意の方向（Ｘ方向、Ｙ方向）にスポット状の光を照
射して対象物上に照射された光ビームを、位置検出型の
検出器（ＰＳＤ）で測定することによって光ビームの位
置を計測するものである。２台のスキャナのミラーの偏
向角度θx、θyとＰＳＤ上の受光位置からビームが照射
された対象物の３次元位置が計算して求められるもので
ある。

【００１７】この３次元視覚センサを用いて、画像デー
タとして、距離データを要素とする２次元配列データを
得る方法について、図１１から図１３を参照しながら簡
単に説明する。

【００１８】対象物に対する走査範囲（計測範囲）が予
め決められており、スキャナのミラーの偏向角度θx、
θyをディスクリートに制御して、図１１に示すよう
に、この走査範囲のＸ、Ｙ平面における点（１，１）か
ら点（１，ｎ）、点（２，１）から点（２，ｎ）、・・
・点（ｍ，１）から点（ｍ，ｎ）と走査して各点におけ
る３次元位置を測定し、各点（ｉ、ｊ）におけるこのセ
ンサとビームが照射された点の対象物間の距離Ｚ（ｉ、
ｊ）を求め、画像処理装置３０のＲＡＭ３８に格納す
る。こうして図１２に示すような、センサと対象物に照
射されたビームの点間の距離データＺ（ｉ、ｊ）を要素
とする２次元配列データを画像データとして得る。

【００１９】図１３は、この画像データを得るための画
像処理装置３０のプロセッサ３１が実行する処理のフロ
ーチャートである。まず、指標ｉ、ｊを「１」にセット
し（ステップ５００）、予め決められた計測範囲の始点
ｙ１，ｘ１（図１１における点（１，１））に対応する
ミラーの偏向角度θx、θyをセンサ２０に送出し照射指
令を出力する（ステップ５０１〜５０３）、センサ２０
は、ミラーをこの偏向角度に設定し、光ビームを照射す
る。そしてＰＳＤで得られた信号を画像処理装置３０に
出力する。画像処理装置３０のプロセッサ３１は、この
ＰＳＤからの信号と指令したミラーの偏向角度θx、θy
より、対象物に照射されたビームの位置を計算し、この
センサとこのビームが照射された位置との距離Ｚ（ｉ、
ｊ）を計算し、この値をＲＡＭ２８に２次元配列データ
［ｉ、ｊ］として格納する（ステップ５０４，５０
５）。なお、対象物に照射されたビームの位置を計算し
及び距離Ｚ（ｉ、ｊ）の計算をセンサ２０側で行うよう
にしてもよい。

【００２０】次に指標ｉを「１」インクリメントし、Ｘ
軸方向走査のミラーの偏差角度θｘを設定所定量Δｘだ
け増加させ（ステップ５０６，５０７）、指標ｉが設定
値ｎを越えたか判断し（ステップ５０８）、越えてなけ
ればステップ５０３に戻り、該ステップ５０３からステ
ップ５０８の処理を行い次の点の距離Ｚ（ｉ、ｊ）を求
める。以下、指標ｉが設定値ｎを越えるまでステップ５
０３〜ステップ５０８の処理を実行し、図１１における
点（１，１）から点（１，ｎ）までの各点における距離
Ｚ（ｉ、ｊ）を求めて記憶する。

【００２１】ステップ５０８で指標ｉが設定値ｎを越え
たことが判別されると、指標ｉを「１」にセットしかつ
指標ｊを「１」インクリメントして、Ｙ軸方向走査のミ
ラーの偏差角度θｙを設定所定量Δｙだけ増加させる
（ステップ５０９〜５１１）。そして、指標ｊが設定値
ｍを越えたか判断し（ステップ５１２）、越えてなけれ
ばステップ５０２に戻り前述したステップ５０２以下の
処理を実行する。

【００２２】このようにして、指標ｊが設定値ｍを越え
るまでステップ５０２〜５１２の処理を繰り返し実行す
る。指標ｊが設定値ｍを越えると、図１１に示す計測範
囲（走査範囲）を全て計測したことになり、ＲＡＭ２８
には、２次元配列データである距離データＺ（１、１）
〜Ｚ（ｍ、ｎ）が記憶され、画像データ取得処理は終了
する。

【００２３】以上が、距離データを測定できる視覚セン
サによる画像データとしての２次元配列データを得る処
理である。こうして得られた２次元配列データを画像デ
ータとして用い、教示モデルを作成してもよいが、説明
を簡単にするために、画像データを取り込むためのデー
タ取込み手段としての撮像デバイスにＣＣＤカメラを用
いて、このカメラ２０で対象物を撮像して得られた画像
データを用いるものとして以下説明する。

【００２４】上述した、ロボット制御装置１０、画像処
理装置３０による構成される本実施形態の教示モデル生
成装置による教示モデルの生成動作処理を図７に示す動
作処理フローチャートと共に説明する。ロボット制御装
置１０の教示操作盤４から固定位置に置かれたワークピ
ースに対してワーク座標系を設定し、これをロボット制
御装置１０に記憶される。すなわち、ロボットに設けら
れているワールド座標系から見たワーク座標系の座標変
換行列を設定する（ステップ１００）。次に、ロボット
手先に取り付けられたカメラのキャリブレーションを行
いロボット手先のフランジ面中心からカメラ取り付け位
置姿勢をロボット制御装置１０に設定する。これによ
り、カメラ座標系がロボットに設定されることになる
（ステップ１０１）。

【００２５】次に、ワークピースＷに対して、ロボット
手首先端に取り付けられたカメラ２０で撮像する最初
（第０番目）の位置姿勢と、次以降に撮像する位置姿勢
を特定するため、該最初の位置姿勢からカメラを回転さ
せる回転軸と回転角を設定し、かつ、その撮像位置姿勢
の数Ｎをも設定する（ステップ１０３）。例えば、図４
に示すようにワークピースＷに対して４方向から撮像し
この４つの画像データからそれぞれ教示モデルを生成す
る。図４（ａ）に示す第０番目の撮像位置姿勢では、ワ
ークピースＷを真上のワールド座標系Ｚ軸方向から撮像
した画像データからの教示モデルである。次の撮像位置
姿勢は、このカメラ位置において、ワークピースの配置
位置（ワーク座標系の原点）を通りカメラの中心軸方向
に対して垂直方向の軸周りに回転させる回転角を設定す
る。最初（第０番目）の位置姿勢でワールド座標系のＺ
軸とカメラの中心軸を平行とした場合には、ワールド座
標系のＸ軸、Ｙ軸は垂直であるから、このうちどちらか
の軸周りにワークピース位置を中心に回転させる。図４
（ｂ）に示す例では、ワールド座標系Ｘ軸まわりに３０
度回転するものとして設定し、そのとき撮像して得られ
る画像データから教示モデルを生成するものである。同
様に、図４（ｃ）、（ｄ）は、ワークピースの配置位置
を通りワールド座標系のＸ軸と平行な軸周りにカメラ２
０をそれぞれ６０度、９０度回転させたときの画像デー
タから教示モデルを生成するものである。以下、この４
つの教示モデルを得るものを例に取り説明する。なお、
この例では、０度、３０度、６０度、９０度の４つの教
示モデルとしたが、この回転角の刻みを小さくし、さら
に多くの教示モデルを得るようにしておけば、さらに精
度のよいワークピースの３次元位置姿勢を検出すること
ができる。

【００２６】上述したように、ロボット手首先端に取り
付けたカメラ２０で最初（第０番目）に撮像するロボッ
トの位置姿勢と回転中心軸となる軸及び回転角を教示
し、かつその数Ｎを設定する。説明をわかりやすくする
ために、所定位置に所定姿勢で配置されたワークピース
Ｗに対し、カメラの中心軸がワールド座標系のＺ軸と平
行で、ワークピースＷのワールド座標系上のＸ、Ｙ軸座
標値と同一でＺ軸のみが異なる位置を第０番目の教示モ
デル撮像位置姿勢として教示し、さらに、ワークピース
Ｗの配置位置を通り、ワールド座標系Ｘ軸と平行な軸周
りに３０度、６０度、９０度回転させた位置を第１，第
２、第３の撮像位置姿勢として設定する。又撮像位置の
数Ｎを「４」と設定する。

【００２７】そして、教示モデル取得指令を教示操作盤
４から入力すると、ロボット制御装置１０のプロセッサ
１は、撮像回数を係数するカウンタＭを「０」にセット
し（ステップ１０３）、ロボットを稼働し第Ｍ（＝０）
番目の位置姿勢に移動させ、画像処理装置３０へカメラ
での撮像指令を出力する（ステップ１０４）。画像処理
装置３０では、この指令を受けてカメラ２０でワークピ
ースを撮像し、その画像データを画像メモリ３６に格納
するが、さらに、この画像データからＭ番目の教示モデ
ルを生成し不揮発性メモリ３７に格納する（ステップ１
０５）。さらに、ワーク座標系の位置姿勢をカメラ座標
系から見た座標変換行列として計算し、カメラとワーク
ピースとの相対位置姿勢を求めＭ番目の教示モデルの相
対位置姿勢として不揮発性メモリ３７に格納し、データ
取得信号をロボット制御装置に送る（ステップ１０
６）。例えば、カメラ座標系の位置姿勢として［ｘ0，
ｙ0，ｚ0，α0，β0，γ0］c として記憶される。なお
α、β、γはそれぞれＸ、Ｙ、Ｚ軸周りの回転角を意味
し、「ｃ」はカメラ座標系を意味する。

【００２８】次に、データ取得信号を受信するとロボッ
ト制御装置１０のプロセッサ１は、カウンタＭを「１」
インクリメントし（ステップ１０７）、該カウンタＭの
値が設定値Ｎ（＝４）より小さいか判断し（ステップ１
０８）、小さければ、（ステップ１０４に戻り第Ｍ番目
の撮像位置姿勢にロボットを移動させる。すなわち、図
４に示す上述した例では、ワークピース配置位置を通り
ワールド座標系のＸ軸と平行な軸周りに３０度をカメラ
を回転させ撮像を行い教示モデルとそのときのカメラと
ワークピースとの相対位置姿勢を記憶する。

【００２９】以下、カウンタＭの値が設定値Ｎ（＝４）
になるまで、ステップ１０４〜１０８の処理を行い、教
示モデルとカメラとワークピースとの相対位置姿勢を不
揮発性メモリに記憶する。上述した例では教示モデルと
しては、図４（ａ）〜（ｄ）の画像から生成したものが
記憶され、その教示モデルに対してそれぞれカメラとワ
ークピースとの相対位置姿勢としての、カメラ座標系の
ワークピースＷの位置姿勢として［ｘ0，ｙ0，ｚ0，α
0，β0，γ0］c 、［ｘ1，ｙ1，ｚ1，α1，β1，γ1］c
、［ｘ2，ｙ2，ｚ2，α2，β2，γ2］c 、［ｘ3，ｙ
3，ｚ3，α3，β3，γ3］c が記憶される。以上のよう
にして、画像処理装置３０の不揮発性メモリ３７には教
示モデルとカメラとワークピースとの相対位置を記憶さ
れることになる。

【００３０】図２は、本発明の第２の実施形態を示すで
概要図である。図１に示す第１の実施形態と相違する点
は、カメラ２０が固定位置に置かれ、対象物のワークピ
ースＷがロボット手首先端に取り付けられたハンドで把
持するか、若しくはロボット可動部に固定し、教示モデ
ルを設定記憶させるようにした点である。ロボット制御
装置１０及び画像処理装置（画像処理装置）３０の構成
は同一であり、教示モデルを教示生成するための処理が
異なるのみである。この教示動作処理のフローを図８に
示す。

【００３１】まず、固定位置に置かれたカメラ２０のキ
ャリブレーションを行いカメラ座標系をロボット制御装
置１０のメモリ２に記憶させる（ステップ２００）。こ
れにより、ロボットワールド座標系から見たカメラ座標
系の座標変換行列が得られる。さらに、ロボットハンド
が把持した（若しくはロボット可動部に固定された）ワ
ークピースに想定した座標系（ワーク座標系）のロボッ
ト手先のフランジ面中心から見た位置姿勢を計測しロボ
ット制御装置１０に設定しメモリ２に記憶させる。これ
により、ロボットが任意の位置にいる時のワークピース
に想定した座標系（ワーク座標系）の位置姿勢をロボッ
トが認識できることになる。

【００３２】さらに第１の実施形態と同様に、固定位置
のカメラ２０で撮像する、ロボットハンドに把持された
ワークピースＷの最初（第０番目）の位置姿勢と、次以
降に撮像する位置姿勢を特定するため該最初の位置姿勢
からワークピースを固定位置のカメラ２０に対して回転
させる回転軸と回転角を設定する（ステップ２０２）。

【００３３】第１の実施形態と同様に、ワールド座標系
Ｘ軸と平行な軸周りにカメラ２０を中心に３０度、６０
度、９０度それぞれロボットハンドで把持したワークピ
ースを回転させた位置姿勢を第１，第２、第３の撮像位
置として設定する。又撮像位置の数Ｎを「４」と設定す
れば、第１の実施形態と同様の図４に示すような教示モ
デルを得ることができる。

【００３４】そして、教示モデル取得指令を教示操作盤
４から入力すると、ロボット制御装置１０のプロセッサ
１は、カウンタＭを「０」にセットし、ロボットを動作
させ第Ｍ（＝０）番目の位置姿勢にワークピースＷを移
動させ、画像処理装置３０へカメラ２０での撮像指令を
出力する（ステップ２０３、２０４）。画像処理装置３
０では、この指令を受けてカメラでワークピースＷを撮
像し、その画像データからＭ番目の教示モデルを生成し
不揮発性メモリ３７に格納する。さらに、ワークピース
に想定した座標系（ワーク座標系）の位置姿勢をカメラ
座標系から見た座標変換行列として計算し、カメラとワ
ークピースとのＭ番目の教示モデルの相対位置姿勢とし
て不揮発性メモリ３７に格納し、データ取得信号をロボ
ット制御装置に送る（ステップ２０４〜２０６）。

【００３５】データ取得信号を受信するとロボット制御
装置１０のプロセッサ１は、カウンタＭを「１」インク
リメントし（ステップ２０７）、該カウンタＭの値が設
定値Ｎ（＝４）より小さいか判断し（ステップ２０
８）、小さければ、ステップ２０４に戻り第Ｍ番目の撮
像位置姿勢にロボットを移動させる。

【００３６】以下、カウンタＭの値が設定値Ｎ（＝４）
になるまで、ステップ２０４〜２０８の処理を行い、第
１の実施形態と同様に教示モデルとカメラとワークピー
スとの相対位置姿勢を不揮発性メモリに記憶することに
なる。

【００３７】図３は、本発明の第３の実施形態の概要図
である。この第３の実施形態は、カメラも対象物のワー
クピースもロボットの可動部に固定するかハンドで把持
して教示モデルを生成するものである。この実施形態に
おいては、第１、第２のロボットＲＢ１、ＲＢ２の各ロ
ボット制御装置は、図５に示す構成ほぼ同一であるが、
この２つのロボット制御装置間が通信インターフェイス
で接続されていること、及び、画像処理装置３０が第２
のロボット制御装置のみに接続されている点に相違する
のみである。又画像処理装置３０の構成も図６に示すも
のと同一である。

【００３８】第１のロボットＲＢ２のハンドには対象物
のワークピースＷを把持させ、第２のロボットＲＢ１の
手先にはカメラ２０を取り付ける。そして、第１のロボ
ットＲＢ１のワールド座標系から見た第２のロボットＲ
Ｂ２のワール度座標系の位置姿勢を計測し、座標変換行
列（Ａ）として求め第１のロボット制御装置に記憶させ
る（ステップ３００）。

【００３９】さらに、第１のロボットＲＢ１のハンドで
把持したワークピースＷに想定された座標系（ワーク座
標系）のロボット手先のフランジ面中心から見た位置姿
勢の座標変換行列（Ｂ）を第１のロボット制御装置に設
定し記憶させる（ステップ３０１）。又、第２のロボッ
トＲＢ１の手先に取り付けたカメラ２０のキャリブレー
ションを行い第２のロボット手先のフランジ面中心から
カメラ座標系への変換行列（Ｃ）を第１のロボット制御
装置に設定し記憶させる（ステップ３０２）。

【００４０】さらに第１、第２の実施形態と同様に、カ
メラ２０で最初に撮像するワークピースＷとカメラ２０
が最初（第０番目）の相対位置姿勢となるように第１、
第２のロボットの位置姿勢を各ロボット制御装置に設定
し、続いて、第１番目、第２番目、・・・・第ｉ番目・
・の位置姿勢をそれぞれ設定し、かつその数Ｎも設定す
る。この実施形態においても、最初の位置姿勢からワー
クピースＷを把持した第１のロボットＲＢ１の位置姿勢
は変えずにカメラが取り付けられた第２のロボットＲＢ
２０を動作させ、ワークピースＷに対して回転させる
か、第２のロボットＲＢ２０の位置姿勢を変えずにカメ
ラ２０を固定し、第１のロボットＲＢ２０を動作させ、
ワークピースＷを回転させるか、どちらか一方を回転さ
せるか若しくは両方とも回転させ、相対的に設定回転角
だけ回転させるように設定する。又回転軸は、カメラ２
０の中心軸に直交する各ワールド座標系平行する軸で互
いに相手の中心位置（カメラ座標系の原点、ワーク座標
系の原点）を通る軸を設定する。例えば、図３に示す例
では、各ワールド座標系のＺ軸（垂直軸）周りにワーク
ピースＷ又はカメラ２０を中心に回転させる角度を設定
する。設定を簡単にするには、カメラ２０かワークピー
スＷの一方を固定し、他方を回転させるようにすればよ
いが、回転のために動作させるロボットの移動が困難で
ある時や移動できないような場合には、固定されていた
カメラ若しくはワークピース側のロボットを駆動してワ
ークピースとカメラが相対的に設定した位置姿勢関係に
なるように設定する。（ステップ３０３）。

【００４１】そして、教示モデル取得指令をどちらか一
方のロボット制御装置の教示操作盤４から入力すると、
各ロボットＲＢ１、ＲＢ２のロボット制御装置１０のプ
ロセッサ１は、カウンタＭを「０」にセットし、ロボッ
トを動作させ第Ｍ（＝０）番目の位置姿勢にワークピー
スＷを移動させ、画像処理装置３０へカメラ２０での撮
像指令を出力する（ステップ３０４、３０５）。画像処
理装置３０では、この指令を受けてカメラでワークピー
スＷを撮像し、その画像データからＭ番目の教示モデル
を生成し、不揮発性メモリ３７に格納する（ステップ３
０６）。

【００４２】さらに、この画像取り込み時における第１
のロボットの位置姿勢とステップ３０１で求め設定され
ている座標変換行列（Ｂ）より、ワークピースＷに想定
した座標系の位置姿勢を第１のロボットのワールド座標
系から見た座標変換行列（Ｄ）として求め、さらに、第
２のロボットの位置姿勢とステップ３０２で求め設定さ
れている座標変換行列（Ｃ）より、カメラ座標系から見
た位置姿勢を第２ロボットのワールド座標系から見た座
標変換行列（Ｅ）として求める（ステップ３０７）。こ
うして求めた座標変換行列（Ｄ）、（Ｅ）、及びステッ
プ３００で設定されている座標変換行列（Ａ）より、下
記１式の演算を行って、ワークピースＷに想定されてい
る位置姿勢をカメラ座標系から見た座標変換行列（Ｆ）
に変換し、第Ｍ番目の相対位置姿勢として記憶しデータ
取得信号を両ロボット制御装置に出力する。

【００４３】（Ｆ）＝(Ｅ)^-1(Ａ)^-1(Ｄ)・・・・（１）データ取得信号を受信すると各ロボット制御装置１０の
プロセッサ１は、カウンタＭを「１」インクリメントし
（ステップ３０８）、該カウンタＭの値が設定値Ｎ（＝
４）より小さいか判断し（ステップ３０９）、小さけれ
ば、ステップ３０５に戻り第Ｍ番目の撮像位置姿勢にロ
ボットを移動させる。

【００４４】以下、カウンタＭの値が設定値Ｎ（＝４）
になるまで、ステップ３０５〜３１０の処理を行い、第
１、第２の実施形態と同様に教示モデルとカメラ２０と
ワークピースＷとの相対位置姿勢を不揮発性メモリ３７
に記憶することになる。

【００４５】以上、教示モデルの生成について３つの実
施形態を述べたが、こうして得られた教示モデルを利用
して、例えば、ワークピースＷが山積みされた山から個
々のワークピースを取り出すピッキング作業を開始する
例について次に説明する。

【００４６】ロボット手先には、カメラが取り付けられ
ると共にハンドが取り付けられている。そして、ロボッ
ト制御装置１０に教示操作盤等からピッキング指令が入
力されると、プロセッサ１は、図１０に示すピッキング
作業の動作処理を開始する。まず、教示されているロボ
ット先端手首に取り付けられているカメラを山積みされ
たワークピースが該カメラの視野にいる撮像位置へロボ
ットを移動させ、該カメラのワールド座標系上の３次元
位置姿勢を画像処理装置３０へ出力すると共に撮像指令
を出力する（ステップ４００、４０１）。画像処理装置
３０のプロセッサ３１は、撮像指令を受信し、ワークピ
ースの山を撮像し幾つかのワークピースの画像データを
得て画像メモリ３６に記憶する（ステップ４０２）。

【００４７】続いて、画像メモリに記憶した画像データ
に対して不揮発性メモリ３７に設定記憶されている教示
モデルの１つ（第０番目の教示モデル）を使用してパタ
ーンマッチング処理を行いワークピースの検出を行い
（ステップ４０３）。このパターンマッチング処理で
は、ワークピースの画像内の位置、回転及びスケールの
変化を検出するマッチング処理を行う。そして、マッチ
ング値が設定基準値以上のものが検出されたか判断し
（ステップ４０４）、基準値以上のものが検出されなけ
れば、全教示モデル（第０〜第３番目の教示モデル）に
対してパターンマッチング処理を行ったか判断し（ステ
ップ４０５）、行っていなければ、他の教示モデルによ
りパターンマッチングの処理を行う（ステップ４０
６）。こうして、ステップ４０４で、いずれかの教示モ
デルに対してマッチング値が設定基準値以上のワークピ
ースの画像データが検出されると、この検出したワーク
ピースの画像データに対して他の教示モデルで全てマッ
チング処理を行う。すなわち、検出されたワークピース
の画像データに対して、設定記憶されている教示モデル
の全てとパターンマッチング処理を行う（ステップ４０
７）。このパターンマッチング処理によって得られたマ
ッチング値が一番高い教示モデルを選択し、この選択教
示モデルに対応して記憶するカメラとワークピースとの
相対位置姿勢と、選択した教示モデルに対するマッチン
グ処理での画像ないの位置、回転及びスケールの変化量
とにより最終的なカメラとワークピースとの相対位置姿
勢として得られる（ステップ４０８）。そして、この相
対位置姿勢とステップ４０１の処理で送られてきている
カメラのワールド座標系における位置姿勢からワークピ
ースのワールド座標系上の位置姿勢を求め出力する。す
なわち、ワークピースとカメラの相対位置姿勢は、カメ
ラ座標系からみたワークピースの位置姿勢であるから、
この位置姿勢のデータと、カメラのワールド座標系にお
ける位置姿勢のデータにより座標変換の演算を行うこと
によりワールド座標系上の検出ワークピースの位置姿勢
が求められる（ステップ４０９）。

【００４８】ロボット制御装置１０は送られて来た検出
ワークピースＷの３次元位置姿勢に基づき、ロボットを
動作させ従来と同様にこの検出ワークピースをピツキン
グして教示された所定の位置に移動される（ステップ４
１０）。そして、ステップ４０２に戻り、ステップ４０
２以下の処理を繰り返し実行する。全てのワークピース
がワークピースの山からピッキングされなくなると、ス
テップ４０３〜４０６の処理で、全ての教示モデルに対
してパターンマッチング処理をしても設定基準値以上の
マッチング値を得ることができないから、このピッキン
グ作業は終了する。

【００４９】

【発明の効果】本発明は、対象物が３次元にその位置姿
勢が変わってもその対象物を認識識別し対象物の位置姿
勢を検出する画像処理装置等に利用される教示パターン
をロボットを使用して簡単に生成することができるもの
である。

【図面の簡単な説明】

【図１】本発明の第１の実施形態の概要を説明する説明
図である。

【図２】本発明の第２の実施形態の概要を説明する説明
図である。

【図３】本発明の第３の実施形態の概要を説明する説明
図である。

【図４】各実施形態における教示モデルの例を示す図で
ある。

【図５】各実施形態におけるロボット制御装置の要部ブ
ロック図である。

【図６】各実施形態における画像処理装置の要部ブロッ
ク図である。

【図７】第１の実施形態における教示モデルを生成する
動作処理フローである。

【図８】第２の実施形態における教示モデルを生成する
動作処理フローである。

【図９】第３の実施形態における教示モデルを生成する
動作処理フローである。

【図１０】ピッキング作業の動作処理フローである。

【図１１】本発明の実施形態に用いる距離データを測定
できる視覚センサの動作説明図である。

【図１２】同距離データを測定できる視覚センサによっ
て得る画像データとしての距離データを要素とする２次
元配列データの説明図である。

【図１３】同画像データとしての２次元配列データの取
得処理のフローチャートである。

【符号の説明】

１０ロボット制御装置２０カメラ３０画像処理装置Ｗワークピース

フロントページの続き (56)参考文献特開平４−370703（ＪＰ，Ａ) 特開平７−319525（ＪＰ，Ａ) 特開平４−75887（ＪＰ，Ａ) 特開昭62−57884（ＪＰ，Ａ) 特開平７−270137（ＪＰ，Ａ) 特開平11−66321（ＪＰ，Ａ) 特許3300682（ＪＰ，Ｂ２) (58)調査した分野(Int.Cl.⁷，ＤＢ名) B25J 9/00 - 9/02 B25J 13/00 - 13/08 G05B 19/00 - 19/42

Claims

(57)【特許請求の範囲】

【請求項１】３次元的に異なる任意の位置姿勢で置か
れている複数の対象物の中から任意の１つの対象物の位
置姿勢を検出するためのマッチング方式の画像処理用の
教示モデルを生成し記憶するための教示モデル生成装置
であって、対象物か撮像手段のどちらか一方を定位置に配置し他方
をロボットの可動部に固定するかハンドに把持させ、ロ
ボットを動作させて前記撮像手段を前記対象物に対して
相対的に複数の画像取込み位置に移動させて対象物を複
数方向から撮像して前記対象物の画像データをそれぞれ
取得し教示モデルとして、前記方向の情報と対応付けて
記憶し、前記複数方向は、対象物の３次元姿勢によって
変化する画像パターンを複数種に分け各種類のパターン
がそれぞれ得られる方向であることを特徴とする教示モ
デル生成装置。
【請求項２】３次元的に異なる任意の位置姿勢で置か
れている複数の対象物の中から任意の１つの対象物の位
置姿勢を検出するためのマッチング方式の画像処理用の
教示モデルを生成し記憶するための教示モデル生成装置
であって、対象物を第１のロボットの可動部に固定するかハンドに
把持させ、撮像手段を第２のロボットの可動部に固定す
るかハンドに把持させ、ロボットを動作させて前記撮像
手段を前記対象物に対して相対的に複数の画像取込み位
置に移動させて対象物を複数方向から撮像して前記対象
物の画像データをそれぞれ取得し教示モデルとして、前
記方向の情報と対応付けて記憶し、前記複数方向は、対
象物の３次元姿勢によって変化する画像パターンを複数
種に分け各種類のパターンがそれぞれ得られる方向であ
ることを特徴とする教示モデル生成装置。
【請求項３】撮像手段がカメラであることを特徴とす
る請求項１又は請求項２に記載の教示モデル生成装置。
【請求項４】撮像手段は撮像手段と対象物の距離を複
数の点で計測する３次元視覚センサであることを特徴と
する請求項１又は請求項２に記載の教示モデル生成装
置。