JPH11300670A

JPH11300670A - 物品ピックアップ装置

Info

Publication number: JPH11300670A
Application number: JP10125368A
Authority: JP
Inventors: Atsushi Watanabe; 淳渡辺; Ryuichi Hara; 龍一原; Kazukuni Ban; 一訓伴; Hidetoshi Kumiya; 英俊組谷
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 1998-04-21
Filing date: 1998-04-21
Publication date: 1999-11-02
Also published as: US6328523B1; EP0951968A2; EP0951968A3

Abstract

(57)【要約】【課題】重なり合った多数の物品から個別物品をロボ
ットでピックアップ出来るようにする。【解決手段】ボルト群ＷをトレイＴＲの載置面ＰＬ上
に供給し、視覚センサ（カメラ４、画像処理装置１０）
で孤立ボルトを探索し、教示時の標準位置とのずれを求
める。ピックアップ動作を教示したロボット２で、ずれ
補正をかけながら孤立ボルトをピックアップする。孤立
ボルト探索不成功時は、加振装置１を動作させて重なり
状態をほぐし、再度、視覚センサで孤立ボルトを探索
し、成功したらロボット２で孤立ボルトをピックアップ
する。３次元視覚センサを利用してボルトの小孤立集合
を探索してピックアップ動作を行なても良い。搖動刺激
をロボットが与えることも出来る。また、ボルトの山を
崩す用具を支持したロボットや気体噴流を用いて重なり
状態をほぐしても良い。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば工場等にお
いて組立ワークのような物品を取扱うための自動化技術
に関し、更に詳しく言えば、多数の物品がトレイ上、テ
ーブル上あるいはボックス等の物品載置面上に乱雑に互
いに重なり合う可能性があるような状態で置かれている
場合に、産業用ロボット（以下、「ロボット」と言う）
を用いて個別にピックアップ（把持して取り上げるこ
と。以下、同じ。）するための装置に関する。

【０００２】

【従来の技術】例えば工場における組立工程において、
各種物品を把持して取り上げる（即ち、ピックアップす
る）ことは、殆どのケースで欠かせない基本的な作業要
素となっている。このような作業を自動化するために、
ロボットあるいはロボットと視覚センサを組み合わせた
システムの利用が図れられている。

【０００３】ところが、これまでの技術では、乱雑に重
なり合った多数の物品からなる物品群に対し、ロボット
による個々の物品のピックアップを行なうことは非常に
困難であった。

【０００４】例えば、図１に示すように、トレイＴＲ上
に多く（５個を例示；一般には更に多数）のワークＷ１
〜Ｗ５からなるワーク群（ボルト群を例示）が乱雑な重
なり状態に置かれている場合、ロボットによるピックア
ップは、例え視覚センサの助けを借りても容易ではな
い。特に、ロボットハンドによる把持姿勢について一定
の精度が要求されるような場合（例；ボルトの軸方向を
ツール座標系のＺ軸方向に一致させた姿勢で把持）に
は、特に困難である。

【０００５】そこで、従来は図２に示したように、ワー
クＷ１〜Ｗ５を整列乃至位置決めして、重なりの無いよ
うにした上でロボットによるピックアップを実行するこ
とが多かった。視覚センサの助けを借りれば、ワークＷ
１〜Ｗ５の整列乃至位置決めの精度は粗いもので良く、
場合によってはワーク同士の多少の重なりも許容され
る。

【０００６】しかし、いずれにしても、図２に示したよ
うな状態あるいはそれに近い状態を実現するために人手
による作業や大がかりな自動整列・位置決め機構が必要
となるため、簡素なシステムによる工程の自動化を図る
上で一つの障害となっている。また、人手、自動機構い
ずれによっても、整列、位置決めのために工程時間の延
長を招き易い。

【０００７】

【発明が解決しようとする課題】そこで、本発明の目的
は、互いに重なり合った状態にある多くの物品からなる
物品群に関しても、人手による整列乃至位置決め作業や
人手に代わる特別の整列乃至位置決め機構を要すること
なく、個別物品を的確に把持してピックアップすること
が出来る装置を提供することにある。

【０００８】

【課題を解決するための手段】本発明は、多数の物品が
互いに重なり合った状態にある場合でも、その物品群
に、直接あるいは間接的に適当な物理的作用を与えるこ
とで重なり状態がほぐれ（少なくとも部分的に物品の重
なり合いの程度が軽度となる、あるいは解消されるこ
と；以下、同様。）、ロボットによる把持が可能な物品
を創生し得ることに着眼し、物品群に物理的な作用を及
ぼすほぐし手段と視覚センサとロボットの機能を組み合
わせることで上記技術課題の解決を図ったものである。

【０００９】本発明に従った物品ピックアップ装置は、
ロボットと、物品載置手段と、物品載置手段上に重なり
状態で置かれた物品群に物理的作用を及ぼして重なり状
態をほぐす機能を有するほぐし手段と、物品載置手段上
の物品群を探索してロボットによる把持が可能な少なく
とも一つの把持可能物品を予め定められた判定基準に基
づいて見つけ出し、その把持可能物品の位置に関するデ
ータを取得する視覚センサを備えている。そして、ロボ
ットは、把持可能物品の位置に関するデータを利用し
て、その把持可能物品を把持して取り上げるように動作
する。

【００１０】視覚センサは、２次元視覚センサ、３次元
視覚センサいずれを採用することも出来る。判定基準の
一例は、孤立物品を把持可能物品とみなすものである。
また、判定基準の別の例は、孤立物品または数個以下の
接触し合った物品からなる孤立小集合には把持可能物品
が含まれているとみなすものである。後者の基準は、３
次元視覚センサを採用したピックアップ装置に適してい
る。

【００１１】なお、ここで「数個以下の重なり合った物
品からなる孤立小集合」とは、一般的には、最多でＮ個
（但しＮは、Ｎ＝２乃至５程度）までの重なり合った物
品からなる物品集合」を指す。しかし、後述するよう
に、具体的な判定基準においては、最多個数“Ｎ”を厳
密に特定するようなものである必要はなく、「視覚セン
サの助けを借りてロボットによる把持を行うに際して支
障がない程度の少数の物品からなる集合」を選び出すこ
とが出来るようなものであれば良い。

【００１２】物品群に及ぼされる物理的作用は典型的に
は搖動刺激である。搖動刺激を与えほぐし手段には、載
置手段が取付られた加振装置や、載置手段を搖動する動
作を教示されたロボットが利用出来る。また、物品群に
物理的作用を及ぼすための別種のほぐし手段としては、
刺激印加具を支持するとともに、刺激印加具が重なり状
態にある物品群に接触して重なり状態をほぐすための動
作が教示されたロボットが利用出来る。更に、気体噴流
の作用によって重なり状態をほぐす気体噴出装置を利用
しても良い。

【００１３】

【発明の実施の形態】［第１実施形態］図３は、本発明
の第１実施形態として、本発明に従った物品ピックアッ
プ装置を含むシステムの全体配置の概略を例示したもの
である。本実施形態においてはピックアップ対象となる
物品は多数個のボルトである。図３では５個を例示して
全体をボルト群Ｗで示した。

【００１４】ボルト群Ｗは、図示しない供給装置によっ
てトレイＴＲの載置面ＰＬ上に乱雑に重なり状態で供給
される。トレイＴＲは、ボルト群Ｗに物理的作用を及ぼ
すために、加振装置１に取り付けられている。加振装置
１が作動すると、トレイＴＲが搖動され、ボルト群Ｗの
重なり状態がほぐされる。

【００１５】トレイＴＲ直上の適所にはトレイＴＲのほ
ぼ全体を視野に収めるＣＣＤカメラ４が設置される一
方、トレイＴＲの近傍の適所にはロボット２（手先のみ
略示）が配備される。ロボット２には、個別のボルトの
把持に適したハンド３が装着されている。

【００１６】画像処理装置１０はカメラ４に接続され、
両者で周知の２次元視覚センサを構成している。符号Ｍ
Ｏは画像処理装置１０に付属した液晶ディスプレイ、Ｃ
ＲＴ等からなるモニタディスプレイで、カメラ４で取得
した画像あるいは画像処理装置１０による加工画像等の
表示が可能となっている。

【００１７】符号２０はシステム全体のコントローラを
兼ねるロボットコントローラで、ロボット２の他に、加
振装置１、画像処理装置１０及び所要の外部装置（例：
トレイＴＲにボルト群Ｗを供給する機構）に接続されて
いる。主要要素の役割の大略は次の通りである。

【００１８】加振装置１；ロボットコントローラ２０か
らの指令により、トレイＴＲを振動させてボルト群Ｗに
搖動刺激を与える。加振装置自体は、例えば電磁石を利
用したもの等、種々のものが周知であり、詳細は省略す
る。

【００１９】２次元視覚センサ；（１）ロボットコントローラ２０からの指令により、加
振装置１の休止時にカメラ４を用いてボルト群Ｗの撮影
を行い、画像処理装置１０に画像を取り込む。

【００２０】（２）画像処理装置１０は、取り込まれた
画像の解析を行ない、「把持可能ボルトの探索」と「見
いだされた把持可能ボルトの位置検出」を行なう。結果
は、ロボットコントローラ２０へ送られる。ここで、
「把持可能ボルト（一般には把持可能物品；以下、同
様）」とは、ロボット２による的確な把持が可能とみな
されたボルトを言う。把持可能ボルトの存否は、予め定
められた判定基準に従って判定される。本実施形態で
は、後述するように、「孤立ボルト」をもって把持可能
ボルトとする。

【００２１】ロボットコントローラ２０；（１）所要時に加振装置１を一定時間（例えば数秒間）
動作させ、ボルト群Ｗに搖動刺激を与え、把持可能ボル
ト（本実施形態では孤立ボルト）を生じさせる。

【００２２】（２）所要時に視覚センサ（カメラ４、画
像処理装置１０）を動作させ、撮影、画像蓄積、画像処
理等を行なわせる。また、画像処理装置１０から、把持
可能ボルトの探索の成否を表わすデータ及び把持可能ボ
ルトの位置に関するデータ（ロボットの位置補正のため
のデータ）を受け取る。

【００２３】（３）把持可能ボルトがトレイＴＲ上に存
在する時に、動作プログラム（ピックアップ動作を予め
教示）を起動してロボット２を動作させ、個別の把持可
能ボルトをピックアップする。動作プログラムは、ピッ
クアップ動作のためのアプローチ、把持、把持後の移送
を教示したものである。教示は、トレイＴＲ上の標準位
置に標準姿勢で置かれた単独ボルトを置き、それをピッ
クアップする動作をティーチングプレイバック方式でロ
ボットコントローラ２０に記憶させる形式で行なえば良
い。

【００２４】実際の作業のための再生運転時には、視覚
センサから出力される把持可能ボルト（本実施形態では
孤立ボルト。詳しくは後述）の位置（姿勢も含む；以
下、同様）に関するデータに基づいて、ロボットのアプ
ローチ経路や把持姿勢が補正される。

【００２５】図４には、上記システムのやや詳細な構成
を要部ブロックで示した。同図を参照すると、画像処理
装置１０は中央演算処理装置（以下、ＣＰＵという）１
１を有する。ＣＰＵ１１には、フレームメモリ（画像メ
モリ）１２、ＲＯＭで構成されたコントロールソフト用
メモリ１３、ＲＡＭ等で構成されたプログラムメモリ１
４、不揮発性ＲＡＭで構成されたデータメモリ１５、カ
メラインタフェース１６、画像処理プロセッサ１７、通
信インタフェース１８及びモニタインターフェイス１９
がバスＢＳ１を介して接続されている。

【００２６】通信インタフェース１８は、ロボットコン
トローラ２０側の通信インタフェース２７に接続されて
おり、両者を介して相互にデータや指令を表す信号が送
受信される。また、カメラインタフェース１６には、カ
メラ４が接続されている。更に、モニタインターフェイ
ス１９にはモニタＭＯが接続されており、カメラ４の捉
えた画像やフレームメモリ１２から呼び出された画像、
それらの加工画像（例；輪郭抽出画像）が適時視認出来
るようになっている。

【００２７】カメラ４の視野で捉えられた画像は、グレ
イスケールによる濃淡画像に変換されてフレームメモリ
１２に格納される。画像処理プロセッサ１７はフレーム
メモリ１２に格納された画像をＣＰＵ１１の指令に従っ
て処理する機能を有している。コントロールソフト用メ
モリ１３には、次のようなプログラム及び関連パラメー
タが格納される。

【００２８】（１）ＣＰＵ１１が視覚センサを制御する
為のコントロールプログラム（２）治具を用いてセンサ座標系を設定する為のキャリ
ブレーション用プログラム（３）画像処理プロセッサ１７を用いて後述する「孤立
ボルト探索」、「孤立ボルト位置検出」を実行する為の
画像解析プログラム（４）適正なタイミングでロボットとのデータ送受信を
行なうためのプログラムカメラ４の捉えた画像やフレームメモリ１２から呼び出
された画像、それらの加工画像（例；輪郭抽出画像）
は、モニタＭＯの表示画面で適時視認することが出来
る。

【００２９】一方、ロボットコントローラ２０は、中央
演算処理装置（ＣＰＵ）２１を有しており。ＣＰＵ２１
には、次に述べるピックアップ動作のための処理を実行
する為のプログラムを含む各種制御プログラムを格納し
たＲＯＭ２２、計算データの一時記憶等の為に利用され
るＲＡＭ２３、教示データや各種パラメータが格納され
る不揮発性メモリ２４、ロボット本体２の各軸を制御す
るディジタルサーボ回路２５、ロボットの手動操作、座
標系設定、位置教示、自動運転（再生動作）等を行う為
の教示操作盤２６及び画像処理装置１０側の通信インタ
フェース１８に接続された汎用信号インタフェース２７
がバスＢＳ２を介して接続されている。

【００３０】次に、上述のシステムを用いてピックアッ
プを実行する際の処理の概要を図５に記したフローチャ
ートを参照して説明する。図５に示した各ステップの要
点は次の通りである。なお、視覚センサのキャリブレー
ション、ピックアップ動作のためのアプローチ、把持、
把持後の移送の教示等は完了しているものとする。

【００３１】ステップＳ１；ロボットコントローラ２０
からの指令により、カメラ４によるボルト群Ｗの撮影を
行い、画像処理装置１０に画像を取り込む。ステップＳ２；取り込まれた画像を解析して、把持可能
ボルトとして孤立ボルトを探索する。ここで、「孤立ボ
ルト」とは図６に、符号Ａ、Ｂを付して例示したよう
に、画像上でボルト１個の輪郭が他のボルト画像から孤
立（重なりが無い）しているようなボルトのことを言
う。孤立ボルトを探索する画像処理のソフトウェアとし
ては、周知のパターンマッチング法がある。

【００３２】この方法によれば、探索対象物の形状と寸
法を代表する標準パターン（ここではボルト輪郭画像）
が予め画像処理装置１０に記憶され、実際に獲られた輪
郭画像要素が標準パターンと比較される。本例で言え
ば、輪郭画像要素Ａ、Ｂ、Ｃが順に標準パターンと比較
される。輪郭画像要素Ａ、Ｂは明らかに標準パターンと
重なり合い可能（マッチングしている）から孤立ボルト
の画像と判断され、輪郭画像要素Ｃは明らかに標準パタ
ーンと重なり合い不可能（マッチングしていない）から
孤立ボルトの画像ではないと判断される。

【００３３】ステップＳ３；孤立ボルトの探索により孤
立ボルトが少なくとも一つ発見された場合にはステップ
Ｓ４へ進み、一つも発見されなければステップＳ５へ進
む。例えば図６に示した場合であれば、ステップＳ４へ
進む。

【００３４】ステップＳ４；発見された孤立ボルトにつ
いて位置を検出し、教示時の標準位置（ベクトル＜Ｔ＞
で例示）とのずれを求める。例えば図６に示した場合で
あれば、最初に発見した孤立ボルト画像をＡとして、ベ
クトル＜Ａ＞とベクトル＜Ｔ＞の関係を表わす行列ΔA
（４行４列の同次変換行列）を求める。なお、ベクトル
＜Ａ＞とベクトル＜Ｔ＞は定面（ＸＹ平面：Ｚ＝０）上
にあり、ベクトル＜Ｔ＞のＺ成分はゼロであるとして行
列Δを計算する。行列Δの回転成分はＸＹ平面上の回
転、並進成分はＸＹ平面上の並進を表わすものとなる。

【００３５】ステップＳ５；予め教示した動作プログラ
ムを起動し、ロボット２を動作させ、孤立ボルトＡをピ
ックアップする。その際、ロボットのアプローチ経路や
把持姿勢が行列Δのデータに基づいて補正される。動作
が完了したらステップＳ１へ戻る。以下、再度ステップ
Ｓ２、ステップＳ３を実行する。孤立ボルトが残存して
いれば、ステップＳ３から更にステップＳ４へ進む。図
６のケースでは、行列Δとして、今度はベクトル＜Ｂ＞
とベクトル＜Ｔ＞の関係を表わす行列ΔB が求められ
る。

【００３６】ステップＳ６；孤立ボルトが発見出来ない
ケースでは、２通りの状況が想定される。即ち、ボルト
画像は存在するが孤立ボルトが発見出来ない場合（即
ち、２個以上のボルト残存）には、ステップＳ７へ進
む。ボルト画像自体が存在しない場合には、全ボルトの
ピックアップ完了を意味するから、処理を終了する。

【００３７】ステップＳ７；加振装置１を一定時間動作
させ、その時点でトレイＴＲ上に残っているボルト群に
搖動刺激を与える。加振装置１の動作が休止したら、ス
テップＳ１へ戻る。多くの場合、搖動刺激により、重な
り合ったボルト同士が一部または全部離散し、１個以上
の孤立ボルトが新たに生じる。

【００３８】孤立ボルトが新たに生じれば、ステップＳ
１→ステップＳ２→ステップＳ３→ステップＳ４→ステ
ップＳ５→ステップＳ１の処理サイクルが実行される。
もし、搖動刺激が不十分で孤立ボルトが新たに生じなけ
れば、ステップＳ１→ステップＳ２→ステップＳ３→ス
テップＳ６→ステップＳ７と進行し、再度、加振装置１
が一定時間動作し、搖動刺激が与えられる。加振装置１
の動作が休止したら、ステップＳ１へ戻る。以下、ステ
ップＳ３でイエスが出るまでこのサイクルは繰り返され
る。

【００３９】以上の処理過程を遂行することにより、一
個づつ順に孤立ボルトがピックアップされ、やがて全ボ
ルトのピックアップが完了してステップＳ６でノーの判
断がなされて処理が終了する。

【００４０】［第２実施形態］本実施形態では、２次元
視覚センサに代えて３次元視覚センサが使用される。ま
た、ここでは３次元視覚センサとしてランダム走査可能
なスポット光投光器とＰＳＤ（位置検出型光検出器）５
０を組み合わせたスポット光走査型投光器を採用した例
を説明する。他の型の３次元視覚センサ、例えばスリッ
ト光投光器とＣＣＤカメラを組み合わせたスリット光投
射型３次元視覚センサを用いても良い。更に、把持可能
ボルトを探索する際の判定基準として、第１実施形態と
異なる基準（詳細は後述）が採用される。

【００４１】図７は、本発明の第２実施形態として、本
発明に従った物品ピックアップ装置及び方法が適用され
る別のシステムの全体配置の概略を例示したものであ
る。本実施形態においても、ピックアップ対象となる物
品は多数個のボルトとした。図７では５個を例示して全
体をボルト群Ｗで表した。

【００４２】第１実施形態の場合と同様に、ボルト群Ｗ
は、図示しない供給装置によってトレイＴＲの載置面Ｐ
Ｌ上に互いに重なり合った状態で供給される。トレイＴ
Ｒは、ワーク群Ｗに搖動刺激を与えるために、加振装置
１に取り付けられている。トレイＴＲの近傍の適所には
ロボット２（手先のみ略示）が配備される一方、トレイ
ＴＲ周辺の適所にはトレイＴＲのほぼ全体を走査可能領
域に収める投光器４０、レンズ系ＬＳを装備したＰＳＤ
５０が配置される。投光器４０は、レーザ光源４１、２
枚の回転偏向軸が互いに直交した偏向器４２、４３とそ
れらに取り付けられたミラーＭＸ、ＭＹで構成される。

【００４３】投光器４０の駆動制御及びＰＳＤ５０の出
力信号の処理は、投光駆動／信号処理装置６０によって
行なわれる。投光器４０、ＰＳＤ５０及び投光駆動／信
号処理装置６０は、ロボットコントローラ３０の一部
（判定基準に基づく把持可能ボルト探索等のためのソフ
トウェア及びハードウェア）を併せて、周知の３次元視
覚センサを構成する。

【００４４】ロボット２には、第１実施形態の場合と同
様に、個別のボルトの把持に適したハンド３が装着され
ている。符号３０はシステム全体のコントローラを兼ね
るロボットコントローラで、ロボット２の他に、加振装
置１、投光駆動／信号処理装置６０及び所要の外部装置
（例：トレイＴＲにボルト群Ｗを供給する機構）に接続
されている。主要要素の役割の大略は次の通りである。

【００４５】加振装置１；第１実施形態と同様である。
即ち、ロボットコントローラ３０からの指令により、ト
レイＴＲを振動させてボルト群Ｗに搖動刺激を与える。

【００４６】３次元視覚センサ；（１）加振装置１の休止時にロボットコントローラ２０
からの指令を投光駆動／信号処理装置６０で受け、投光
器４０から投射されるスポットビームＬ１でボルト群Ｗ
を走査し、レンズ系ＬＳを介してＰＳＤ５０で検出す
る。ＰＳＤ５０で検出されたデータは、投光駆動／信号
処理装置６０で処理され、ボルト群Ｗに関する３次元位
置に関するデータが収集される。収集されたデータは、
ロボットコントローラ３０へ送られる。

【００４７】（２）スポット光投射型３次元視覚センサ
自体は周知（例えば、特開平６−２２９７３２号公報、
特開平７−２７０１３７号公報参照）であるから詳細説
明は省略し、測定原理のみ簡単に述べておく。偏向器４
２、４３は、投光駆動／信号処理装置６０から出力され
る１組の電圧指令（Ｖx 、Ｖy ）に応じて各々ミラーＭ
Ｘ、ＭＹの方向を制御する。

【００４８】従って、キャリブレーションによって、
（Ｖx 、Ｖy ）とスポットビームＬ１の位置（直線の方
程式）との関係を予め求めておけば、（Ｖx 、Ｖy ）を
時間的推移パターンをプログラムしておくことで、所望
パターンでスポットビームＬ１の走査を行なうことが出
来る。

【００４９】任意のある時点である入射位置Ｐに入射し
たスポットビームＬ１は、そこに輝点を生じる。この輝
点はレンズ系ＬＳを介してＰＳＤ５０の受光面上の点Ｑ
で検出される。ＰＳＤ５０は１次元型のものでよい。Ｐ
ＳＤ５０の直接的な出力としては、点Ｑの１次元位置に
応じた２つの電流ｉ1 、ｉ2 が出力されるが、それらは
周知のアナログ信号処理回路を経て、点Ｑの１次元位置
を表わす出力信号Ｖqとされる。

【００５０】入射位置Ｐの３次元位置は、（Ｖx 、Ｖy
）で規定されるスポットビームＬ１を表わす直線の方
程式と点Ｑの出力信号Ｖq を与える条件式を連立させて
解くことによって求められる。実際には、この連立方程
式の一般解を近似的に表現する関係式Ｐ（Ｘ、Ｙ、Ｚ）
＝ｆ（Ｖx 、Ｖy 、Ｖq ）を予め投光駆動／信号処理装
置６０あるいはロボットコントローラ３０に記憶させて
おくことで、随時Ｐ点の３次元位置を検出することが出
来る。

【００５１】ロボットコントローラ３０；（１）所要時に加振装置１を一定時間（例えば数秒間）
動作させ、ボルト群Ｗに搖動刺激を与え、把持可能ボル
トを生じさせる。把持可能ボルトの定義（判定基準）
は、後述するように、第１実施形態とな異なる。

【００５２】（２）所要時にスポット光走査型３次元視
覚センサを動作させ、ボルト群Ｗに関する３次元位置に
関するデータを取得する。

【００５３】（３）第１実施形態と同様に、把持可能ボ
ルトがトレイＴＲ上に存在する時に、動作プログラム
（ピックアップ動作を予め教示）を起動してロボット２
を動作させ、個別の把持可能ボルトをピックアップす
る。

【００５４】動作プログラムは、ピックアップ動作のた
めのアプローチ、把持、把持後の移送を教示したもので
ある。教示は、トレイＴＲ上の標準位置に標準姿勢で置
かれた単独ボルトを置き、それをピックアップする動作
をティーチングプレイバック方式でロボットコントロー
ラ２０に記憶させる形式で行なえば良い。

【００５５】実際の作業のための再生運転時には、３次
元視覚センサから出力される把持可能ボルト（詳しくは
後述）の位置に関するデータに基づいて、ロボットのア
プローチ経路や把持姿勢が補正される。

【００５６】図８には、第２実施形態におけるシステム
のやや詳細な構成を要部ブロックで示した。同図を参照
すると、ロボットコントローラ３０はＣＰＵ３１を備
え、ＣＰＵ３１には、各種制御プログラムを格納したＲ
ＯＭ３２、計算データの一時記憶等の為に利用されるＲ
ＡＭ３３、教示データや各種パラメータが格納される不
揮発性メモリ３４、ロボット本体２の各軸を制御するデ
ィジタルサーボ回路３５、ロボットの手動操作、座標系
設定、位置教示、自動運転（再生動作）等を行う為の教
示操作盤３６及び入出力装置（Ｉ／Ｏ）３７がバスＢＳ
を介して接続されている。本実施形態では、特に、制御
プログラムには、把持可能ボルトの探索、把持可能ボル
トの位置検出、ロボット２による把持可能ボルトのピッ
クアップ動作を実行するためのプログラムが含まれる
（処理内容は後述）。

【００５７】入出力装置（Ｉ／Ｏ）３７は、投光駆動／
信号処理装置６０の投光駆動部６１及びＰＳＤ検出信号
処理部６２に接続されている。投光駆動部６１及びＰＳ
Ｄ検出信号処理部６２は、各々所要のＣＰＵ、メモリ、
入出力装置等を備え、前者は投光器４０に接続されてレ
ーザ光源４１、偏向器（ガルバノメータ）４２、４３を
駆動制御し、後者はＰＳＤ５０の出力信号を処理して、
検出点Ｑの位置を表わす信号Ｖq をロボットコントロー
ラ３０に送る。Ｖx 、Ｖy 、Ｖq に基づく３次元位置デ
ータの取得とそれに続く把持可能ボルトの探索等の処理
は、ロボットコントローラ３０内部で行なわれる。

【００５８】次に、上述のシステムを用いてピックアッ
プを実行する際の処理の概要を図９に記したフローチャ
ートを参照して説明する。図９に示した各ステップの要
点は次の通りである。なお、視覚センサのキャリブレー
ション、ピックアップ動作のためのアプローチ、把持、
把持後の移送の教示等は完了しているものとする。ま
た、３次元位置を表わすワールド座標系として、トレイ
ＴＲの載置面ＰＬをＸＹ平面（Ｚ＝０）とし、鉛直上方
を＋Ｚ軸方向とするものがシステム（ロボットコントロ
ーラ３０）に設定されているものとする。

【００５９】ステップＫ１；図１０に示したように、投
光器４０でトレイＴＲ上を平面的に走査して、スポット
光の入射点Ｐに関する３次元位置データを収集する。Ｚ
＞０であればスポット光の入射点Ｐは、ボルト上にある
ことが判り、Ｚ＝０であればスポット光の入射点Ｐは、
トレイＴＲの載置面ＰＬ上（ボルトが無い個所）にある
ことが判る。

【００６０】ステップＫ２；把持容易なボルトが含まれ
る孤立小集合を探索するための第１歩として、図１１に
示したように、占有面積（符号ａ、ｂ、ｃ・・・ｓ、
ｔ、ｕで囲まれた面積）が基準値３Ｓ以下のボルト群を
探す。ここで、Ｓは、単一ボルトによる占有面積を近似
的に表わす基準値で、最適値はチューニング、経験則等
により微調整されることが好ましい。一般には、Ｓを小
さ目に定めれば４個以上のボルトからなる集合の排除
（即ち、孤立小集合と判定しない）が容易になる。

【００６１】ステップＫ３；ステップＫ２で占有面積３
Ｓ以下のボルト群が少なくとも一つ発見された場合には
ステップＫ４へ進み、一つも発見されなければステップ
Ｋ９へ進む。

【００６２】ステップＫ４；発見されたボルト群に関す
る３次元位置データから、そのボルト群の頂上（最大の
Ｚ座標値を与える点）を探す。ステップＫ５；図１２に示したように、頂上の高さが基
準値３ｄ以下であれば、把持容易なボルトが含まれる孤
立小集合であると判断し、ステップＫ６へ進む。頂上の
高さが基準値３ｄを越えていれば、そのボルト群は幾重
にも積み重なったボルトからなるもので、把持容易なボ
ルトが含まれる小ボルト群ではないと判断し、ステップ
Ｋ１０へ進む。

【００６３】ここで、ｄは図１２に併記したように、単
一ボルトの直径（寝かせた時の高さ）を近似的に表わす
基準値で、最適値はチューニング、経験則等により微調
整されることが好ましい。一般には、ｄを小さ目に定め
れば４個以上のボルトからなる集合の排除が容易にな
る。

【００６４】このように、本実施形態における判定基準
は、占有面積と頂上の高さの双方の観点から「孤立小集
合」を探索するものである。

【００６５】ステップＫ６；図１３に示したように、頂
上から延びる尾根の周辺をスポット光で走査し、尾根に
関する位置データを収集する。そして、最上ボルトＨの
位置を表わすベクトル＜Ｈ＞を求める。一般に、ベクト
ル＜Ｈ＞のＺ成分はゼロではない。

【００６６】ステップＫ７；ベクトル＜Ｈ＞５と、教示
時の標準位置（ベクトル＜Ｔ＞で例示）とのずれを表わ
す行列ΔH （４行４列の同次変換行列）を求める。な
お、ベクトル＜Ｔ＞はＸＹ平面上にあるが、ベクトル＜
Ｈ＞はベクトル＜Ｔ＞はＸＹ平面上にない。行列ΔH の
回転成分は３次元空間内の回転、並進成分は３次元空間
内の並進を表わすものとなる。

【００６７】ステップＫ８；予め教示した動作プログラ
ムを起動し、ロボット２を動作させ、最上ボルトＨをピ
ックアップする。その際、ロボットのアプローチ経路や
把持姿勢が行列ΔH のデータに基づいて補正される。動
作が完了したらステップＫ１へ戻る。

【００６８】以下、再度ステップＫ２以下を実行する。
孤立小集合がが残存していれば、再度ステップＫ８に到
達し、次のボルト（例えば、図１３におけるボルトＩ）
がピックアップされる。

【００６９】ステップＫ９；ステップＫ３でノーが出力
されるケースとして２通りの状況が想定される。即ち、
ボルト画像は存在するが孤立小集合が発見出来ない場合
（即ち、数個以上のボルト残存）には、ステップＫ１０
へ進む。ボルト画像自体が存在しない場合には、全ボル
トのピックアップ完了を意味するから、処理を終了す
る。

【００７０】ステップＫ１０；加振装置１を一定時間動
作させ、その時点でトレイＴＲ上に残っているボルト群
に搖動刺激を与える。加振装置１の動作が休止したら、
ステップＫ１へ戻る。多くの場合、搖動刺激により、重
なり合ったボルト同士が一部または全部離散し、１個以
上の孤立ボルトが新たに生じる。

【００７１】孤立小集合が新たに生じれば、ステップＫ
１→ステップＫ２→・・・・・→ステップＫ８→ステッ
プＫ１の処理サイクルが実行される。もし、搖動刺激が
不十分で孤立小集合が新たに生じなければ、ステップＫ
２→ステップＫ３→ステップＫ９あるいはステップＫ２
→・・→ステップＫ５を経て、再度、加振装置１が一定
時間動作し、搖動刺激が与えられる。加振装置１の動作
が休止したら、ステップＫ１へ戻る。以下、ステップＫ
３及びステップＫ５でイエスが出るまでこのサイクルは
繰り返される。

【００７２】以上の処理過程を遂行することにより、ボ
ルトが一個づつ順にピックアップされ、やがて全ボルト
のピックアップが完了してステップＫ９でノーの判断が
なされて処理が終了する。

【００７３】以上の２つの実施形態では、物品同士の重
なり状態をほぐすために物品群に及ぼされる物理的作用
は搖動刺激であり、この搖動刺激はトレイＴＲを取り付
けられた加振装置によって生み出される。しかし、これ
らの例は本発明を限定する趣旨のものではない。

【００７４】例えば、物理的作用はロボットＲＢ（物品
を把持するロボットと同じでも別でも良い）によって印
加されても良い。その場合は、図１４に例示したよう
に、トレイＴＲは弾性的に支持され、トレイＴＲの縁へ
のアプローチ動作、ハンドＨでトレイＴＲの縁を把持す
る動作、把持した状態での搖動動作（例；Ｇ１、Ｇ２間
の往復運動）、退避動作等が予めロボットＲＢに教示さ
れる。

【００７５】また、図１５に例示したように、ロボット
ＲＢにならし板、はけ状ならし具などの刺激印加具Ｆを
支持させて、刺激印加具Ｆで重なり状態にある物品群を
崩しても良い。その場合、ロボットＲＢには重なり状態
をほぐすに適した動作（例；Ｇ３、Ｇ４間の往復運動）
が教示される。

【００７６】更に、図３及び図７に併記したように、エ
アガンＡＧをトレイＴＲの近傍に配備し、そこから吹き
出される空気噴流（他種気体も可）ＡＲによって物品群
Ｗの重なり状態をほぐしても良い。なお、破線１００
は、エアガンＡＧ採用時にロボットコントローラ２０ま
たは３０とエアガンＡＧを結ぶケーブル１００を表わし
ている。エアガンＡＧは、ロボットコントローラ２０ま
たは３０からの指令で動作するもので、加振装置１と併
用（切換作動、同時作動など）されても良く、また、加
振装置１に代わるほぐし手段として用いられても良い。

【００７７】

【発明の効果】本発明によれば、従来はロボットによる
把持ピックアップ作業を開始する前に必要であった物品
の整列乃至位置決めが不要となるため、物品の整列乃至
位置決めのために人手や専用の機構を省くことが出来
る。その結果、作業効率や経済コストの面を大きな利点
が得られる。

【図面の簡単な説明】

【図１】ボルト群の重なり状態を例示した図である。

【図２】図１に示したボルト群について、個別ボルトの
整列乃至位置決めがなされた状態を例示した図である。

【図３】第１実施形態において使用されるシステムの全
体配置の概略を示したものである。

【図４】図３に示したシステムのやや詳細な構成を要部
ブロックで示したものである。

【図５】第１実施形態におけるピックアップのための処
理の概要を記したフローチャートである。

【図６】孤立ボルトの探索について説明する図である。

【図７】第２実施形態において使用されるシステムの全
体配置の概略を示したものである。

【図８】図７に示したシステムのやや詳細な構成を要部
ブロックで示したものである。

【図９】第２実施形態におけるピックアップのための処
理の概要を記したフローチャートである。

【図１０】投光器のスポット光でトレイ上を平面的に走
査する様子を表わした図である。

【図１１】ボルト群の占有面積について説明するための
図である。

【図１２】ボルト群の頂上の高さについて説明するため
の図である。

【図１３】頂上から延びる尾根の周辺をスポット光で走
査する様子と、最上ボルトの位置ずれについて説明する
ための図である。

【図１４】ロボットによる搖動刺激印加について説明す
る図である。

【図１５】ロボットに支持した刺激印加具による重なり
状態のほぐし動作について説明する図である。

【符号の説明】

１加振装置２、ＲＢロボット本体（手先部）３ハンド４ＣＣＤカメラ１０画像処理装置１１ＣＰＵ（画像処理装置）１２フレームメモリ１３コントロールソフトメモリ１４プログラムメモリ１５データメモリ１６カメラインタフェース１７画像処理プロセッサ１８通信インタフェース（画像処理装置）１９モニタインターフェイス２０ロボットコントローラ２１、３１ＣＰＵ（ロボットコントローラ）２２、３２メモリ（ＲＯＭ）２３、３３メモリ（ＲＡＭ）２４、３４不揮発性メモリ２５、３５ディジタルザーボ回路２６、３６教示操作盤２７通信インターフェイス（ロボットコントローラ）４０投光器４１レーザ光源４２、４３偏向器５０ＰＳＤ６０投光駆動／信号処理装置６１投光駆動部６２ＰＳＤ出力信号処理部１００エアガン配備時にエアガンとロボットコントロ
ーラを結ぶケーブルＡ、Ｂ孤立ボルト（画像）ＡＧエアガンＡＲ空気噴流ＢＳ１バス（画像処理装置）ＢＳ、ＢＳ２バス（ロボットコントローラ）Ｆ刺激印加具Ｈ最上ボルトＩボルトＨがピックアップされた後の最上ボルトＰＬトレイのボルト載置面ＴＲトレイＷボルト群（ワーク群）Ｗ１〜Ｗ５ボルト（ワーク）

───────────────────────────────────────────────────── フロントページの続き (72)発明者伴一訓山梨県南都留郡忍野村忍草字古馬場3580番地ファナック株式会社内 (72)発明者組谷英俊山梨県南都留郡忍野村忍草字古馬場3580番地ファナック株式会社内

Claims

【特許請求の範囲】

【請求項１】ロボットと、物品載置手段と、前記物品
載置手段上に重なり状態で置かれた物品群に物理的作用
を及ぼして前記重なり状態をほぐす機能を有するほぐし
手段と、前記物品載置手段上の物品群を探索して前記ロ
ボットによる把持が可能な少なくとも一つの把持可能物
品を予め定められた判定基準に基づいて見つけ出し、前
記把持可能物品の位置に関するデータを取得する視覚セ
ンサを備え、前記ロボットは、前記把持可能物品の位置に関するデー
タを利用して、前記把持可能物品を把持して取り上げる
ように動作する、物品ピックアップ装置。
【請求項２】ロボットと、物品載置手段と、前記物品
載置手段上に重なり状態で置かれた物品群に物理的作用
を及ぼして前記重なり状態をほぐす機能を有するほぐし
手段と、前記物品載置手段上の物品群を探索して前記ロ
ボットによる把持が可能な少なくとも一つの把持可能物
品を予め定められた判定基準に基づいて見つけ出し、前
記把持可能物品の位置に関するデータを取得する２次元
視覚センサを備え、前記ロボットは、前記把持可能物品の位置に関するデー
タを利用して、前記把持可能物品を把持して取り上げる
ように動作する、物品ピックアップ装置。
【請求項３】前記判定基準が、孤立物品を把持可能物
品とみなすものである、請求項１に記載された物品ピッ
クアップ装置。
【請求項４】前記判定基準が、孤立物品を把持可能物
品とみなすものである、請求項２に記載された物品ピッ
クアップ装置。
【請求項５】ロボットと、物品載置手段と、前記物品
載置手段上に重なり状態で置かれた物品群に物理的作用
を及ぼして前記重なり状態をほぐす機能を有するほぐし
手段と、前記物品載置手段上の物品群を探索して前記ロ
ボットによる把持が可能な少なくとも一つの把持可能物
品を予め定められた判定基準に基づいて見つけ出し、前
記把持可能物品の位置に関するデータを取得する３次元
視覚センサを備え、前記ロボットは、前記把持可能物品の位置に関するデー
タを利用して、前記把持可能物品を把持して取り上げる
ように動作する、物品ピックアップ装置。
【請求項６】前記判定基準が、孤立物品または数個以
下の接触し合った物品からなる孤立小集合には把持可能
物品が含まれているとみなすものである、請求項１に記
載された物品ピックアップ装置。
【請求項７】前記判定基準が、孤立物品または数個以
下の接触し合った物品からなる孤立小集合には把持可能
物品が含まれているとみなすものである、請求項２に記
載された物品ピックアップ装置。
【請求項８】前記判定基準が、孤立物品または数個以
下の接触し合った物品からなる孤立小集合には把持可能
物品が含まれているとみなすものである、請求項５に記
載された物品ピックアップ装置。
【請求項９】前記物理的作用が搖動刺激である、請求
項１〜請求項８のいずれか１項に記載された物品ピック
アップ装置。
【請求項１０】前記物理的作用が搖動刺激であり、前
記ほぐし手段は前記載置手段を搖動させる加振装置を含
んでいる、請求項１〜請求項８のいずれか１項に記載さ
れた物品ピックアップ装置。
【請求項１１】前記物理的作用が搖動刺激であり、前
記ほぐし手段は前記前記載置手段を搖動する動作を教示
されたロボットを含んでいる、請求項１〜請求項８のい
ずれか１項に記載された物品ピックアップ装置。
【請求項１２】前記ほぐし手段は、刺激印加具を支持
するとともに、前記刺激印加具が重なり状態にある前記
物品群に接触して前記重なり状態をほぐすための動作が
教示されたロボットを含む、請求項１〜請求項８のいず
れか１項に記載された物品ピックアップ装置。
【請求項１３】前記ほぐし手段は、気体噴流の作用に
よって前記重なり状態をほぐす気体噴出装置を含んでい
る、請求項１〜請求項８のいずれか１項に記載された物
品ピックアップ装置。