JP7436170B2

JP7436170B2 - ロボットシステム

Info

Publication number: JP7436170B2
Application number: JP2019171218A
Authority: JP
Inventors: 渉遠山
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2019-09-20
Filing date: 2019-09-20
Publication date: 2024-02-21
Anticipated expiration: 2039-09-20
Also published as: JP2021045835A

Description

本発明は、ロボットシステムに関する。

ロボットシステムにおけるビジュアルトラッキングとは、搬送手段としてのコンベヤ上を流れてくる多数の対象物をビジョンセンサで見つけて、ロボットがコンベヤの流れに合わせて取出しを行うアプリケーションのことである。これにより、コンベヤを流れてくる対象物を複数のロボットが分担して取り出していくことが可能となる。

ビジュアルトラッキングを用いた装置として、第１のステレオカメラを用いた初期段階の検出操作でワークの位置及び姿勢を認識し、ワークの移動位置に追従させてロボットのハンドを移動させながら、第２のステレオカメラを繰り返し作動させて、ワークの位置及び姿勢のズレ量を求めた後、当該ズレ量を補正することにより、最終的なピッキング動作の目標位置とハンドの姿勢を制御するピッキング装置が知られている（例えば、特許文献１を参照）。

特開２００４－１１２２号公報

しかし、特許文献１で開示されるピッキング装置は、ワークが積み重なることに対応した装置ではなかった。

コンベヤ上を流れてくるワークをビジュアルトラッキングで検出する場合、ワークが積み重なって流れてくることがある。ビジョンセンサを用いる際、コンベヤ上で積み重なって流れてくるワークに対しては、ビジョンセンサは一定間隔でビジョンの認識を行うように設定することが多い。下に隠れているワークは、ワークの探索パラメータの範囲を広く設定することで検出できるようにすることが可能だが、そうすると１回の認識にかかる時間が長くなり、一定間隔のビジョンの認識に間に合わずワークの見逃しが生じやすい。

搬送されている積み重なったワークを低コストで効率的に取出し可能なロボットシステムを提供することが望まれている。

本開示の一態様は、搬送手段により搬送されているワークを１回又は複数回撮像する第１の撮像手段と、前記第１の撮像手段により撮像された撮像画像に基づいて、前記ワークを検出する検出手段と、前記搬送手段により搬送されているワークを取り出すロボットと、前記撮像画像に基づいて、前記ワークの高さを取得する高さ取得手段と、前記高さ取得手段により取得された高さが、所定の閾値以上であるときに、前記検出手段による検出で用いられる検出条件を限定する条件限定手段と、前記条件限定手段により前記検出条件が限定された後に、前記第１の撮像手段により撮像された１枚又は複数枚の撮像画像において、前記ワークの下方を探索し、前記第１の検出手段により新たなワークを検出する探索手段と、前記探索手段により前記新たなワークが検出された場合には、当該検出の結果を、前記ロボットによる取出し動作に利用するため、前記探索手段の外部に伝達する伝達手段と、を備えるロボットシステムである。

一態様によれば、搬送されている積み重なったワークを低コストで効率的に取出し可能なロボットシステムを提供することが可能となる。

一実施形態の全体構成図である。一実施形態における制御部の機能ブロック図である。一実施形態の動作を示すフローチャートである。一実施形態の動作中における各構成要素の位置関係を示す図である。一実施形態の動作中における各構成要素の位置関係を示す図である。一実施形態の動作中における各構成要素の位置関係を示す図である。一実施形態の動作中における各構成要素の位置関係を示す図である。一実施形態の動作中における各構成要素の位置関係を示す図である。

以下、本発明の実施形態について、図１～図８を参照することにより説明する。

〔１実施形態の構成〕
図１は、本発明の実施形態に係るロボットシステム１の全体構成を示す図である。
図１に示すように、一実施形態によるロボットシステム１は、ロボット１１と、コンベヤ（以降では、「搬送手段」とも呼称する）１２と、固定カメラ（以降では、「第１の撮像手段」とも呼称する）１３と、ロボット搭載カメラ（以降では、「第２の撮像手段」とも呼称する）１４と、制御部３０とを備える。

また、コンベヤ１２上では、例えばワーク２Ａ、ワーク２Ｂ、及びワーク２Ｃを含む、ワーク２が、ワーク２Ａがワーク２Ｂとワーク２Ｃとの上に積み重なった状態で、流れてくるものとする。

ロボット１１は、複数の駆動軸を有し、先端部を位置決めする。ロボット１１としては、典型的には図示するような垂直多関節ロボットとされるが、例えば直交座標ロボット、スカラロボット、パラレルリンクロボット等であってもよい。

とりわけ本実施形態において、ロボット１１は、コンベヤ１２上を上流から流れてくるワーク２をピッキングするためのロボットである。ロボット１１は、アーム１１１とハンド（以降では、「取出し手段」とも呼称する）１１２とを備える。ハンド１１２はアーム１１１の先端部に設けられる。ロボット１１は、アーム１１１を駆動することにより、ハンド１１２を目標物であるワーク２に近づけ、ハンド１１２によってワーク２をピッキングする。

コンベヤ１２は、ロボット１１よりも上流からロボット１１よりも下流に向かって、ワーク２を搬送する装置である。コンベヤ１２は、例えばベルトコンベヤであってよい。

固定カメラ１３は、ロボット１１よりも上流側において、コンベヤ１２上を流れるワーク２を１回又は複数回撮像する装置である。固定カメラ１３は、コンベヤ１２に対する相対位置が固定されていることを好適とするが、これには限定されない。また、固定カメラ１３は、ワーク２の三次元画像を撮像する３Ｄビジョンセンサであるが、これには限定されず、例えばワーク２の二次元画像を撮像するカメラであってもよい。

とりわけ本実施形態において、固定カメラ１３は、コンベヤ１２上のワーク２の大まかな位置を取得するために用いられるが、その他、固定カメラ１３が通常有する機能を備えることが可能である。

ロボット搭載カメラ１４は、物体の三次元画像を撮像することが可能な３Ｄビジョンセンサである。とりわけ本実施形態において、ロボット搭載カメラ１４は、ロボット１１のアーム１１１に固定されている。これにより、ロボット１１がハンド１１２によりワーク２をピッキングする前後において、ロボット搭載カメラ１４は、ワーク２に近接することにより、ワーク２の三次元情報を取得することが可能である。ただし、これには限定されず、ロボット搭載カメラ１４は、ワーク２の三次元画像を撮像可能な位置であれば、任意の位置に設置することが可能である。

制御部３０は、ＣＰＵ及びメモリを含むマイクロプロセッサ（図示せず）により構成される。制御部３０において、マイクロプロセッサのＣＰＵは、メモリから読み出した所定のプログラムに従って、ロボットシステム１に係る各種の制御を実行する。以下、制御部３０の機能の一部について説明する。

図２は、制御部３０の機能ブロックである。制御部３０は、検出部３０１と、高さ取得部３０２と、条件限定部３０３と、探索部３０４と、伝達部３０５と、基準方向傾倒部３０６とを備える。

検出部３０１は、固定カメラ１３によって撮像されたワーク２の撮像画像に基づいて、ワーク２を検出する。

高さ取得部３０２は、固定カメラ１３によって撮像されたワーク２Ａの撮像画像に基づいて、ワーク２Ａの高さを取得する。
例えば、図１に示す例において、高さ取得部３０２は、ワーク２の高さとして、ワーク２Ａと、ワーク２Ｂ及びワーク２Ｃとが積み重なった高さを取得する。

条件限定部３０３は、高さ取得部３０２により取得された高さが、所定の閾値以上であるときに、検出部３０１でワーク２を検出する際に用いる検出条件を限定する。

この「所定の閾値」は、例えばワーク２Ａの厚みとすることが可能である。これにより、条件限定部３０３は、高さ取得部３０２により取得された高さがワーク２Ａの厚みを超える、すなわち、ワーク２Ａの下に新たなワークが存在することを条件とすることが可能となる。

また、この「検出条件」は、後述の探索部３０４により、固定カメラ１３によって撮像されたワーク２Ａの撮像画像において、ワーク２Ａの下方を探索する際の、探索範囲に係る検出条件としてもよい。

あるいは、この「検出条件」は、検出部３０１によって、ワーク２の撮像画像に基づいて、ワーク２を検出する際に用いる閾値を含んでもよい。この「閾値」は、例えば、ワーク２の撮像画像において、事前に制御部３０の記憶部（不図示）に記憶されたパターンとワーク２とで、どのくらいの部分がマッチングした場合に、ワーク２を検出するかを定める閾値であってよい。

例えば、検出されたワーク２の周囲の領域の明るさを計測するツールを用いて、明るさが一定以上の領域が広いようなワーク２の周囲に探索ウィンドウを限定して再び計測すれば、ワーク２が積み重なっており、なおかつ密集している領域を優先的に計測することが可能となる。

探索部３０４は、条件限定部３０３により検出条件が限定された後に、固定カメラ１３によって撮像されたワーク２Ａの１枚又は複数枚の撮像画像において、ワーク２Ａの下方を探索し、検出部３０１により新たなワークとして、ワーク２Ｂ及び／又はワーク２Ｃを検出する。

伝達部３０５は、探索部３０４により新たなワークとして、ワーク２Ｂ及び／又はワーク２Ｃが検出された場合には、当該検出結果を、ロボット１１による取出し動作に利用するため、探索部３０４の外部に伝達する。

とりわけ本実施形態において、伝達部３０５は、探索部３０４による検出結果を、次工程のロボット１１Ａによる取出し動作に利用するため、ロボット１１Ａの制御部に伝達することが可能である。

基準方向傾倒部３０６は、ロボット１１に備わるハンド１１２の基準方向を傾ける。ここで、「基準方向」とは、ハンド１１２の座標系の方向のことであってよい。あるいは、ロボット搭載カメラ１４の視野方向のことであってよい。ハンド１１２の方向が変わることによって変化する、ロボット搭載カメラ１４の視野を変更することが可能となる。

とりわけ、本実施形態において、基準方向傾倒部３０６は、高さ取得部３０２によって取得された高さが所定の閾値以上であるときに、ハンド１１２の基準方向を傾ける。更に、その後、探索部３０４は、ロボット搭載カメラ１４によって、固定カメラ１３とは異なる角度から撮像されたワーク２の下方を探索する。

なお、上記の実施形態において、ロボットシステム１は、ロボット搭載カメラ１４を備えるとしたが、これには限定されず、ロボット搭載カメラ１４を省略した構成としてもよい。ロボット搭載カメラ１４を省略した場合、固定カメラ１３でパラメータを変えながら複数回撮像することで、積み重なったワークを十分に見つけることができる。その上で、更にロボット搭載カメラ１４を使えば、検出を成功するワークの個数の増加の可能性を高めることができる。

〔２実施形態の動作〕
図３は、本実施形態に係るロボットシステム１の動作を示すフローチャートである。また、図４～図７は、図３に示すフローチャートの各ステップにおける、ロボットシステム１内の各構成要素の位置関係及び状態を示す図である。以下、図３～図７を参照することにより、ロボットシステム１の動作について説明する。

ステップＳ１において、図４に示すように、コンベヤ１２で流れてくるワーク２に対し、第１の撮像手段（固定カメラ１３）を用いて全体探索し、検出部３０１が露出ワーク（ワーク２Ａ）を検出する。

ステップＳ２において、高さ取得部３０２が、検出部３０１によって検出されたワーク２Ａの高さを取得する。

ステップＳ３において、ワーク２Ａの高さが所定の閾値以上である場合（Ｓ３：ＹＥＳ）には、処理はステップＳ４に移行する。ワーク２Ａの高さが所定の閾値未満である場合（Ｓ３：ＮＯ）には、処理はステップＳ６に移行する。

ステップＳ４において、図５に示すように、第１の撮像手段（固定カメラ１３）を用いて、条件限定部３０３により検出条件を限定して、ワーク２を計測し、新たなワーク２Ｂを検出する。

ステップＳ５において、図６に示すように、ロボット１１のハンド１１２の基準方向を傾け、第２の撮像手段（ロボット搭載カメラ１４）を用いて、ワーク２の側面を計測し、新たなワーク２Ｃを検出する。

ステップＳ６において、図７に示すように、ロボット１１のハンド１１２により、検出済みワーク２を取り出す。その後、処理はステップＳ１に移行する。

なお、別態様として、図８に示すように、ステップＳ６に代えて、伝達部３０５が、次工程のロボット１１Ａの制御部に対して、探索部３０４による、隠れていたワーク２Ｂ及びワーク２Ｃの検出結果を伝達してもよい。これにより、次工程のロボット１１Ａは、隠れていたワーク２Ｂ及びワーク２Ｃを取り出す。

〔３実施形態が奏する効果〕
本実施形態に係るロボットシステム１は、コンベヤ１２により搬送されているワーク２を１回又は複数回撮像する固定カメラ１３と、固定カメラ１３により撮像された撮像画像に基づいて、前記ワーク２を検出する検出部３０１と、コンベヤ１２により搬送されているワーク２を取り出すロボット１１と、撮像画像に基づいて、ワーク２の高さを取得する高さ取得部３０２と、高さ取得部３０２により取得された高さが、所定の閾値以上であるときに、検出部３０１による検出で用いられる検出条件を限定する条件限定部３０３と、条件限定部３０３により検出条件が限定された後に、固定カメラ１３により撮像された１枚又は複数枚の撮像画像において、ワーク２の下方を探索し、検出部３０１により新たなワーク２を検出する探索部３０４と、探索部３０４により新たなワーク２が検出された場合には、当該検出の結果を、ロボット１１による取出し動作に利用するため、探索部３０４の外部に伝達する伝達部３０５と、を備える。

これにより、コンベヤ１２上で積み重なったワーク２を効率的に取り出すことが可能となる。また、円弧コンベヤ等の別の機構を用意する必要がないため、コストを削減できる。

また、本実施形態に係るロボットシステム１において、ロボット１１は、ワーク２を取り出すハンド１１２と、ハンド１１２に設置され、コンベヤ１２により搬送されているワーク２を撮像し、検出するロボット搭載カメラ１４とを備え、ロボットシステム１は、更に、ハンド１１２の基準方向を傾ける基準方向傾倒部３０６を備え、基準方向傾倒部３０６は、高さが所定の閾値以上であるときに、ハンド１１２の基準方向を傾け、探索部３０４は、ロボット搭載カメラ１４によって、固定カメラ１３とは異なる角度から撮像されたワーク２の下方を探索してもよい。

これにより、真上からの計測では検出できなかったワーク２の検出可能性が高まり、ワーク２の見逃しが減り、効率的なワーク２の検出が可能となる。

また、本実施形態に係るロボットシステム１において、検出条件は、探索部３０４による探索範囲に係る検出条件を含んでもよい。

これにより、固定カメラ１３による検出結果に応じて、探索部３０４による探索範囲を変更することが可能となる。とりわけ、ロボット搭載カメラ１４によってワーク２がないところも探索してしまう場合に比較して、処理時間を短縮することが可能となる。

また、本実施形態に係るロボットシステム１において、検出条件は、固定カメラ１３によるワーク２の検出で用いられる閾値に係る条件を含んでもよい。

これにより、固定カメラ１３による検出結果に応じて、固定カメラ１３でワーク２を検知する際の、パターンマッチングの基準を変更することが可能となる。

また、本実施形態に係るロボットシステム１において、伝達部３０５は、検出部３０１による検出結果を、次工程のロボット１１による取出し動作に利用するため、探索部３０４の外部に伝達してもよい。

１ロボットシステム
２、２Ａ、２Ｂ、２Ｃワーク
１１ロボット
１２コンベヤ
１３固定カメラ（第１の撮像手段）
１４ロボット搭載カメラ（第２の撮像手段）
３０制御部
１１１アーム
１１２ハンド（取出し手段）
３０１検出部（検出手段）
３０２高さ取得部（高さ取得手段）
３０３条件限定部（条件限定手段）
３０４探索部（探索手段）
３０５伝達部（伝達手段）
３０６基準方向傾倒部（基準方向傾倒手段）

Claims

搬送手段により搬送されているワークを１回又は複数回撮像する第１の撮像手段と
前記搬送手段により搬送されているワークが撮像された撮像画像に基づいて、前記ワークを検出する検出手段と、
前記搬送手段により搬送されているワークを取り出すロボットと、
前記撮像画像に基づいて、前記ワークの高さを取得する高さ取得手段と、
前記高さ取得手段により取得された高さが、所定の閾値以上であるときに、前記検出手段による検出条件を限定する条件限定手段と、
前記条件限定手段により前記検出条件が限定された後に、前記第１の撮像手段により撮像された１枚又は複数枚の撮像画像において、前記ワークの下方を探索し、前記検出手段により新たなワークを検出する探索手段と、
前記探索手段により前記新たなワークが検出された場合には、当該検出の結果を、前記ロボットによる取出し動作に利用するため、前記探索手段の外部に伝達する伝達手段と、を備えるロボットシステムであって、
前記ロボットは、
前記ワークを取り出すハンドと、
前記搬送手段により搬送されている前記ワークを撮像する第２の撮像手段とを備え、
当該ロボットシステムは、更に、
前記ハンドの基準方向を傾ける基準方向傾倒手段を備え、
前記基準方向傾倒手段は、前記高さが前記所定の閾値以上であるときに、前記ハンドの基準方向を傾け、前記探索手段は、前記第２の撮像手段によって前記第１の撮像手段とは異なる角度から撮像された撮像画像において、前記ワークの下方を探索し、前記検出手段により新たなワークを検出する、ロボットシステム。
前記検出条件は、前記探索手段による探索範囲に係る検出条件を含む、請求項１に記載のロボットシステム。
前記検出条件は、前記第１の撮像手段による前記ワークの検出で用いられる閾値に係る条件を含む、請求項１又は請求項２に記載のロボットシステム。
前記伝達手段は、前記検出の結果を、次工程のロボットによる取出し動作に利用するため、前記探索手段の外部に伝達する、請求項１から請求項３のいずれか１項に記載のロボットシステム。