JP6821987B2

JP6821987B2 - ロボットシステム、ロボットシステムの制御方法、プログラム

Info

Publication number: JP6821987B2
Application number: JP2016142892A
Authority: JP
Inventors: 橋本　浩一; 浩一橋本; 翔悟荒井; レンナットペテルソンアンドレアス; 怜石田; 吉田　收志; 收志吉田
Original assignee: Fuji Electric Co Ltd
Current assignee: Fuji Electric Co Ltd
Priority date: 2016-07-21
Filing date: 2016-07-21
Publication date: 2021-01-27
Anticipated expiration: 2036-07-21
Also published as: JP2018012159A

Description

本発明は、ロボットに所定の作業を実施させるロボットシステム、ロボットシステムの制御方法、プログラムに関する。

従来、工場等においては作業空間がフェンス等によって仕切られており、各作業空間でロボットや人間が個々に作業を実施していた。近年では、物理的なフェンス等の代わりに、ライトカーテンやバーチャルフェンス等によって仮想的に作業空間を分けることが進められている。隣り合う作業空間に仕切りが無いため、安全性を確保するためにロボットには所定条件で作動する安全装置が設けられている。また、工場等においては、人間の動きをロボットがアシストして、人間とロボットが１つの作業を実施するロボットシステムも提案されている（例えば、特許文献１参照）。

特開２００４−０１７２５６号公報

ところで、ロボット同士や、ロボットと人間が同じ作業空間で個別に作業することが求められている。この場合、ロボットも人間も決まった動きで作業することを前提として、互いの動きを干渉させずに同じ作業空間で個別に作業させることが可能である。しかしながら、人間は必ずしも定型動作をするわけではないため、実際にはロボットと人間とを同じ作業空間で作業させることが困難になっていた。

本発明はかかる点に鑑みてなされたものであり、安全性を確保した状態で、制御対象と非制御対象とを同一空間で作業させることができるロボットシステム、ロボットシステムの制御方法、プログラムを提供することを目的とする。

本発明のロボットシステムは、非制御対象と同一空間で制御対象に所定の動作を実施させるロボットシステムであって、前記非制御対象を３次元で認識した認識データを時系列に沿って出力する認識部と、認識データの経時的な変化から前記非制御対象の動きを予測する予測部と、前記予測部の予測結果に基づいて前記制御対象の動きを制御する制御部とを備え、前記制御部は、前記制御対象を第１のターゲットに向かって移動させて第１の動作を実施する第１のモードから、前記予測部の予測結果に基づいて、前記非制御対象を避けながら、前記制御対象を第２のターゲットに向かって移動させて第２の動作を実施する第２のモードに変更するように、前記制御対象の動きを軌道修正することを特徴とする。

本発明によれば、非制御対象の動きの予測結果に基づいて制御対象の動きが制御されるため、同一空間で制御対象と非制御対象とが別々の動作を実施している場合であっても、非制御対象と制御対象が干渉することがない。よって、安全性を確保した状態で、同一空間で制御対象と非制御対象に同時に作業させることができる。

本実施の形態の生産ラインの模式図である。比較例のロボットシステムの制御処理の説明図である。本実施の形態の距離画像の生成処理の説明図である。本実施の形態のロボットアームの軌道修正処理の説明図である。本実施の形態の学習処理の説明図である。本実施の形態のロボットシステムの制御方法を示すフローチャートである。本実施の形態の他の生産ラインの模式図である。

以下、添付図面を参照して、本実施の形態のロボットシステムについて説明する。図１は、本実施の形態の生産ラインの模式図である。図２は、比較例のロボットシステムの制御処理の説明図である。なお、本実施の形態では生産ラインのロボットシステムについて説明するが、生産ライン以外で作業するロボットにも適用することができる。また、以下の説明では、ロボットと人間とが同一空間で作業を実施している一例について説明するが、ロボット同士が同一空間で作業を実施していてもよい。

図１に示すように、生産ラインの上流側には、ロボットスペース１０と作業者スペース２０が作業テーブル３０を挟んで設けられており、ロボットスペース１０のロボットアームＲと作業者スペース２０の人間Ｈによって作業テーブル３０上の作業空間が共有されている。ロボットアームＲはロボットスペース１０内のボックス３５からパーツ３７を種類毎に振り分けて作業テーブル３０上のボックス３１に搬送し、人間Ｈはボックス３１内のパーツ３７をコンベア２１上で組み立てている。このように、同一の作業空間でロボットアームＲと人間Ｈとが協働作業しているため、ロボットアームＲと人間Ｈが接触ないように安全性を確保する必要がある。

通常は、例えば図２Ａに示すように、ロボットアームＲと人間Ｈとが一定距離まで近づいた場合にロボットアームＲを緊急停止させることで安全性を確保するが、ロボットアームＲを停止状態から復帰させるために時間がかかって生産性が低下する。このため、人間ＨにはロボットアームＲとの距離を常に保つような規則的な動きが求められる。一方で、図２Ｂに示すように、ロボットアームＲと人間Ｈとが一定距離まで近づいたとしても、ロボットアームＲと人間Ｈの移動軌跡が交わらなければ接触することがないが、このような場合であってもロボットアームＲが停止されてしまう。

そこで、本実施の形態のロボットシステム１では、システムの制御対象ではない人間Ｈの動きを予測して、制御対象であるロボットアームＲに人間Ｈとの接触を回避させている。このとき、ロボットアームＲの動きを軌道修正することで人間Ｈの動きを避ける方向に動作を続けるため、ロボットアームＲと人間Ｈとが近付いたとしてもロボットアームＲが停止することがない。よって、ロボットアームＲの作業を止めることなく人間Ｈとの接触を回避することができるため、生産性を悪化させることなく安全性を確保することが可能になっている。

図１に戻り、ロボットシステム１は、筐体フレーム１１の上部中央１２にロボットアームＲが取り付けられ、筐体フレーム１１上の門型フレーム１４に撮像装置（認識部）１５が取り付けられている。ロボットアームＲは先端のハンド部分を３次元空間の任意の位置に位置付ける多関節ロボットであり、ロボットコントローラ（制御部）１６によってロボットアームＲの動きが制御されている。撮像装置１５は作業テーブル３０上の作業空間で動作する人間Ｈを３次元で認識するものであり、撮像装置１５からコンピュータ（予測部）１７に距離画像（認識データ）がリアルタイムに出力されている。

そして、コンピュータ１７では距離画像の経時的な変化から人間Ｈの動きが予測され、ロボットコントローラ１６ではコンピュータ１７から出力された予測結果に基づいて人間Ｈを避ける方向で動作を維持するようにロボットアームＲの動きが軌道修正されている。このようにして、ロボットシステム１では人間Ｈと同一空間でロボットアームＲに所定の動作を実施させることが可能になっている。なお、ロボットアームＲとしては、例えば、垂直多関節ロボット、水平多関節ロボットを用いることができる。撮像装置１５としては、例えば、３Ｄスキャナ、ステレオカメラ、単眼カメラを用いることができる。ロボットコントローラ１６としては、パーソナルコンピュータ、マイクロコントローラを用いることができる。

また、ロボットシステム１の撮像装置１５、コンピュータ１７、ロボットコントローラ１６の各種処理はプロセッサやメモリによって実行されている。メモリは、用途に応じてＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の一つ又は複数の記憶媒体で構成される。また、メモリには、ロボットシステム１の各部の各種処理を実行するプログラムが記憶されている。

以下、図３から図５を参照して、ロボットシステムの詳細について説明する。図３は、本実施の形態の距離画像の生成処理の説明図である。図４は、本実施の形態のロボットアームの軌道修正処理の説明図である。図５は、本実施の形態の学習処理の説明図である。

図３Ａに示すように、撮像装置１５によって作業テーブル３０上の作業空間が撮像されると、撮像装置１５から非制御対象である人間Ｈやパーツ３７までの距離情報を含む距離画像が生成される。撮像装置１５では連続的に距離画像が生成されており、撮像装置１５から時系列に沿ってコンピュータ１７（図１参照）に距離画像が出力されている。このように、作業テーブル３０上の作業空間の経時的な変化が、時間ｔにおける座標（ｘ、ｙ）の距離ｚとして出力されている。なお、本実施の形態では撮像対象を３次元に認識した認識データが距離画像として出力されているが、画像形式ではなく座標毎の距離情報として出力されてもよい。

次に、図３Ｂに示すように、コンピュータ１７（図１参照）では距離画像の点群データが作業テーブル３０、人間Ｈ、パーツ３７毎にグルーピングされる。この場合、時間が前後した距離画像の差分を取って、距離画像の差分を示す点群データが作業テーブル３０の上面を基準にグルーピングされる。作業テーブル３０自体はグループ１、作業テーブル３０上の物体はパーツ３７を示すグループ２、作業テーブル３０の上方空間の物体は人間Ｈ（図３では手のみ図示）を示すグループ３にそれぞれ設定される。このように、作業テーブル３０の上面からの高さによってパーツ３７と人間Ｈとが区別されている。

例えば、時間ｔ１から時間ｔ２の間では、作業テーブル３０の上面に新たに出現した静止物がパーツ３７を示すグループ２に設定される。また、時間ｔ２から時間ｔ３の間では、作業テーブル３０の上方空間に新たに出現した物体が人間Ｈを示すグループ３に設定される。なお、ロボットアームＲも作業テーブル３０の上方空間に位置するが、コンピュータ１７がロボットアームＲの動きを把握しているため、人間ＨとロボットアームＲを区別することが可能になっている。また、ロボットアームＲの点群データをグループ４に設定することも可能である。

図４Ａに示すように、グルーピングによって人間Ｈが認識されると、コンピュータ１７（図１参照）によって距離画像の経時的な変化から人間Ｈの動きが予測される。この場合、ロボットアームＲの先端部分に注目点Ｐ_Ｒが設定されると共に、人間Ｈを示す点群データのうちロボットアームＲの注目点Ｐ_Ｒから距離が最も近い点データに注目点Ｐ_Ｈが設定される。そして、距離画像の経時的な変化から人間Ｈの注目点Ｐ_Ｈの移動方向及び移動速度が算出される。なお、制御対象であるロボットアームＲの注目点Ｐ_Ｒの移動方向及び移動速度はコンピュータ１７によって把握されている。

また、コンピュータ１７では、ロボットアームＲの注目点Ｐ_Ｒの移動方向及び移動速度に応じて注目点Ｐ_Ｒの周りに第１の予測空間Ｓ_Ｒが決定され、人間Ｈの注目点Ｐ_Ｈの移動方向及び移動速度に応じて注目点Ｐ_Ｈの周りに第２の予測空間Ｓ_Ｈが決定される。第１の予測空間Ｓ_ＲはロボットアームＲの注目点Ｐ_Ｒが単位時間で移動できる範囲を予測しており、第２の予測空間Ｓ_Ｈは人間Ｈの注目点Ｐ_Ｈが単位時間で移動できる範囲を予測している。このようにして、作業空間ではロボットアームＲの動きと人間Ｈの動きが常時監視されている。

第１の予測空間Ｓ_Ｒは、ロボットアームＲの注目点Ｐ_Ｒの移動方向に指向性を持ち、ロボットアームＲの注目点Ｐ_Ｒの移動速度に応じた広さを持っている。第２の予測空間Ｓ_Ｈは、人間Ｈの注目点Ｐ_Ｈの移動方向に指向性を持ち、人間Ｈの注目点Ｐ_Ｈの移動速度に応じた広さを持っている。そして、ロボットアームＲと人間Ｈとが近付くと、ロボットコントローラ１６によってロボットアームＲの注目点Ｐ_Ｒの周囲の第１の予測空間Ｓ_Ｒが人間Ｈの注目点Ｐ_Ｈの周囲の第２の予測空間Ｓ_Ｈに重ならないようにロボットアームＲの動きが軌道修正される。

実際には、図４Ｂに示すように、ロボットアームＲと人間Ｈの注目点Ｐ_Ｒ、Ｐ_Ｈの相対速度によってロボットアームＲの動きが軌道修正される。この場合、ロボットアームＲと人間Ｈの注目点Ｐ_Ｒ、Ｐ_Ｈを最短距離で結ぶ直線Ｌ上の相対速度が求められ、直線Ｌ上の相対速度によってロボットアームＲの回避動作が制御される。このため、ロボットアームＲと人間Ｈの移動方向が直線Ｌ上で向かい合っていれば、直線Ｌ上での相対速度が大きくなってロボットアームＲと人間Ｈの注目点Ｐ_Ｒ、Ｐ_Ｈが遠くても回避動作が行われる。一方で、ロボットアームＲと人間Ｈの移動方向が全く異なる方向であれば、直線Ｌ上での相対速度が小さくなってロボットアームＲと人間Ｈの注目点Ｐ_Ｒ、Ｐ_Ｈが近くても回避動作が行われない。

そして、現在の注目点Ｐ_Ｒ、Ｐ_Ｈ間の相対速度とこの２点間の最短距離で、ロボットアームＲと人間Ｈとの接触が予測されると、第１、第２の予測空間Ｓ_Ｒ、Ｓ_Ｈが重なると判断されてロボットアームＲの回避動作が行われる。一方で、現在の注目点Ｐ_Ｒ、Ｐ_Ｈ間の相対速度とこの２点間の最短距離で、ロボットアームＲと人間Ｈとの接触がないと予測されると、第１、第２の予測空間Ｓ_Ｒ、Ｓ_Ｈが重ならないと判断されてロボットアームＲの回避動作が行われない。すなわち、上記の第１、第２の予測空間Ｓ_Ｒ、Ｓ_Ｈは、ロボットアームＲと人間Ｈの注目点Ｐ_Ｒ、Ｐ_Ｈの相対速度によって作業空間内に仮想的に認識される空間である。

このように、ロボットアームＲと人間Ｈの接触を予測してロボットアームＲの動きが軌道修正されるため、ロボットアームＲと人間Ｈの接触が抑えられている。特に、ロボットアームＲの先端部分の注目点Ｐ_Ｒから人間Ｈまでの距離が最も近い箇所が人間Ｈの注目点Ｐ_Ｈに設定されるため、ロボットアームＲと人間Ｈの最も接近した箇所の接触が回避されて安全性を確実に確保できる。また、第１、第２の予測空間Ｓ_Ｒ、Ｓ_Ｈが移動方向に応じた指向性と移動速度に応じた広さを持つため、ロボットアームＲと人間Ｈの動きに応じて適切に軌道修正が行われる。

すなわち、ロボットアームＲと人間Ｈの距離が近づいても、ロボットアームＲと人間Ｈの移動先が異なって接触の可能性が無い場合であれば、ロボットアームＲによる回避動作が行われない。よって、ロボットアームＲ及び人間Ｈの作業が干渉することがないため、生産性が低下することがない。また、ロボットアームＲと人間Ｈの距離が近づいて、ロボットアームＲと人間Ｈの接触の可能性がある場合であっても、人間Ｈを回避しながらロボットアームＲが動き続けるため、ロボットアームＲの停止後の復帰動作が無くなって生産性を維持することができる。

また、ロボットアームＲの回避動作では、人間Ｈを避けながら別の動作に繋げる方向でロボットアームＲの動きが軌道修正される。例えば、ロボットアームＲが現在のターゲットから別のターゲットに移動先を変更する。ロボットアームＲによる回避動作が別の作業の一部動作になるように軌道修正されるため、回避動作の動きが無駄になることがなく、さらに生産性を向上させることができる。

さらに、図５に示すように、ロボットシステム１（図１参照）にランダムフォレスト等の学習機能を持たせるようにしてもよい。この場合、コンピュータ１７（図１参照）が距離画像を蓄積することによって人間Ｈの行動パターンを学習して、人間Ｈの動きを予測するようにしてもよい。例えば、撮像装置１５（図１参照）から距離画像が入力されると、距離画像の点群データが３次元のボクセルに振り分けられて人間Ｈの点群データを含むボクセルがマーキングされる。これらボクセルが１次元データに変換されて、人間Ｈの行動パターン毎にデータベースＤＢに蓄積される。

そして、人間Ｈの現在の動きを示す１次元データが、データベースＤＢに蓄積された行動パターンに類似するか否かによって人間Ｈの動きが予測される。これにより、人間Ｈの作業を早期に予測して、ロボットアームＲと人間Ｈが近付く前にロボットアームＲの作業を切り替えることが可能になっている。例えば、ロボットアームＲのターゲットを、人間Ｈがアクセスしようとするターゲットから切り替えることができる。このように、人間Ｈのターゲットを早期に予測してロボットアームＲのターゲットを切り替えることで、人間ＨとロボットアームＲの作業が互いに干渉することがなく生産性をさらに向上することができる。

次に、図６を参照して、ロボットシステムの制御方法について説明する。図６は、本実施の形態のロボットシステムの制御方法を示すフローチャートである。なお、図６の説明においては、図１及び図３の符号を適宜使用して説明する。

図６に示すように、先ず撮像装置１５によって作業テーブル３０上の作業空間が撮像されて距離画像が生成され、撮像装置１５からコンピュータ１７に距離画像が出力される（ステップＳ０１）。次に、コンピュータ１７によって距離画像の点群データがグルーピングされる（ステップＳ０２）。この場合、作業テーブル３０の上面を基準に、作業テーブル３０上の物体がパーツ３７としてグルーピングされ、作業テーブル３０の上方空間の物体が人間Ｈとしてグルーピングされる。非制御対象である人間Ｈはグルーピングによって初めて認識されるが、制御対象であるロボットアームＲは常に認識されている。

次に、コンピュータ１７によってロボットアームＲの注目点Ｐ_Ｒと人間Ｈの注目点Ｐ_Ｈが設定される（ステップＳ０３）。この場合、ロボットアームＲの先端部分に注目点Ｐ_Ｒが設定され、この注目点Ｐ_Ｒから距離が最も近い箇所に人間Ｈの注目点Ｐ_Ｈが設定される。次に、コンピュータ１７によって距離画像の経時的な変化から人間Ｈの注目点Ｐ_Ｈの移動方向及び移動速度が算出される（ステップＳ０４）。なお、制御対象のロボットアームＲの注目点Ｐ_Ｒについては、コンピュータ１７によって移動方向及び移動速度が常に把握されている。

次に、制御対象であるロボットアームＲの注目点Ｐ_Ｒと非制御対象である人間Ｈの注目点Ｐ_Ｈの相対速度が求められる（ステップＳ０５）。この場合、ロボットアームＲと人間Ｈの注目点Ｐ_Ｒ、Ｐ_Ｈを最短距離で結ぶ直線Ｌ上の相対速度が求められるため、注目点Ｐ_Ｒ、Ｐ_Ｈの相対的な移動方向によっては直線Ｌ上の相対速度が小さくなる。次に、ロボットアームＲと人間Ｈとが接触するか否かが判断される（ステップＳ０６）。現在の注目点Ｐ_Ｒ、Ｐ_Ｈ間の相対速度と最短距離でロボットアームＲと人間Ｈとの接触が予測されると（ステップＳ０６でＹｅｓ）、ロボットアームＲの動きが軌道修正される（ステップＳ０７）。

一方、現在の注目点Ｐ_Ｒ、Ｐ_Ｈ間の相対速度と最短距離でロボットアームＲと人間Ｈとの接触がないと予測されると（ステップＳ０６でＮｏ）、ロボットアームＲの動きが軌道修正されることなく動作が維持される。次に、ロボットシステム１が稼働停止か否かが判定され（ステップＳ０８）、ロボットシステム１が稼働停止になるまでステップＳ０１からステップＳ０７までの処理が繰り返される。

以上のように、本実施の形態のロボットシステム１では、人間Ｈの動きの予測結果に基づいてロボットアームＲの動きが軌道修正されるため、同一空間でロボットアームＲと人間Ｈと人間Ｈが別々の動作を実施する場合であっても干渉することがない。また、人間Ｈを避ける方向にロボットアームＲの動きが軌道修正されて動作が維持されるため、ロボットアームＲが動作中に停止することがない。よって、安全性を確保した状態で生産性を下げることなく、同一の作業空間でロボットアームＲと人間Ｈに同時に作業させることができる。

なお、本発明は上記実施の形態に限定されず、種々変更して実施することが可能である。上記実施の形態において、添付図面に図示されている大きさや形状などについては、これに限定されず、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。

例えば、上記の実施の形態では、ロボットシステム１が生産ラインの上流側に適用される構成にしたが、この構成に限定されない。図７に示すように、ロボットシステム１は、ロボットアームＲと人間Ｈとが交互に並ぶような他の生産ラインに適用されてもよい。このような構成であっても、隣り合うロボットアームＲと人間Ｈを同一の作業空間で協働作業させることが可能である。

また、上記の実施の形態では、距離画像の経時的な変化から人間Ｈの動きが予測され、ロボットコントローラ１６が、予測結果に基づいて人間Ｈを避ける方向で動作を維持するようにロボットアームＲの動きを軌道修正する構成にしたが、この構成に限定されない。ロボットコントローラ１６が、予測結果に基づいてロボットアームＲの動きを制御する構成であればよく、例えば、ロボットアームＲが人間Ｈに近づいたときにロボットアームＲを停止させるようにしてもよい。

また、上記の実施の形態では、ロボットシステム１をロボットアームＲと人間Ｈとが協働作業する構成に適用したが、協働作業する構成に限定されない。ロボットシステム１は、ロボットアームＲと人間Ｈとが同一空間で動作する構成に適用可能であり、ロボットアームＲと人間Ｈとが同一空間で無関係な作業を実施する構成に適用してもよい。

また、上記の実施の形態では、ロボットシステム１が、人間Ｈを非制御対象とする構成にしたが、この構成に限定されない。ロボットシステム１は、例えば、別システムに属するロボットを非制御対象にしてもよい。

また、上記の実施の形態では、制御対象が多関節のロボットアームＲである構成にしたが、この構成に限定されない。制御対象は、ロボットシステム１に制御されて所定の動作を実施することが可能であればよく、例えば、ヒト型ロボット、自律飛行型ロボット、自律走行型ロボットでもよい。

また、上記の実施の形態では、ロボットシステム１が、１つのロボットアームＲを制御対象、１人の人間Ｈを非制御対象としたが、この構成に限定されない。ロボットシステム１は、複数の制御対象と複数の非制御対象を同一空間で作業させてもよい。

また、上記の実施の形態では、人間Ｈを避けながらロボットアームＲの動きを別の動作に繋げる方向に軌道修正する構成にしたが、人間Ｈを避ける方向にロボットアームＲの動きを軌道修正すれば、特に別の動作に繋げなくてもよい。

また、上記の実施の形態では、ロボットアームＲの先端部分を注目点Ｐ_Ｒに設定し、この注目点Ｐ_Ｒから距離が最も近い箇所を人間Ｈの注目点Ｐ_Ｈに設定したが、この構成に限定されない。例えば、ロボットアームＲの各関節に注目点を設定し、これらの各関節の注目点から人間Ｈまでの距離が最も近くなるように、ロボットアームＲと人間Ｈに注目点を設定してもよい。

下記に、上記の実施形態における特徴点を整理する。
上記実施形態に記載のロボットシステムは、非制御対象と同一空間で制御対象に所定の動作を実施させるロボットシステムであって、前記非制御対象を３次元で認識した認識データを時系列に沿って出力する認識部と、認識データの経時的な変化から前記非制御対象の動きを予測する予測部と、前記予測部の予測結果に基づいて前記制御対象の動きを制御する制御部とを備えたことを特徴とする。

上記実施形態に記載のロボットシステムの制御方法は、非制御対象と同一空間で制御対象に所定の動作を実施させるロボットシステムの制御方法であって、前記非制御対象を３次元で認識した認識データを時系列に沿って出力するステップと、認識データの経時的な変化から前記非制御対象の動きを予測するステップと、予測結果に基づいて前記制御対象の動きを制御するステップとを有することを特徴とする。

これらの構成によれば、非制御対象の動きの予測結果に基づいて制御対象の動きが制御されるため、同一空間で制御対象と非制御対象とが別々の動作を実施している場合であっても、非制御対象と制御対象が干渉することがない。よって、安全性を確保した状態で、同一空間で制御対象と非制御対象に同時に作業させることができる。

また、上記実施形態に記載のロボットシステムにおいて、前記制御部は、前記予測部の予測結果に基づいて前記非制御対象を避ける方向で動作を維持するように前記制御対象の動きを起動修正する。この構成によれば、非制御対象の動きの予測結果に基づいて制御対象の動きが軌道修正されるため、同一空間で制御対象と非制御対象とが別々の動作を実施している場合であっても、非制御対象と制御対象が干渉することがない。また、非制御対象を避ける方向に制御対象の動きが軌道修正されて動作が維持されるため、制御対象が動作中に停止することがない。よって、安全性を確保した状態で生産性を下げることなく、同一空間で制御対象と非制御対象を同時に作業させることができる。

また、上記実施形態に記載のロボットシステムにおいて、前記制御部が、前記予測部の予測結果に基づいて前記非制御対象を避けながら別の動作に繋げる方向に前記制御対象の動きを軌道修正する。この構成によれば、制御対象による回避動作が別の作業の一部動作になるように軌道修正されるため、回避動作の動きが無駄になることがなく、さらに生産性を向上させることができる。

また、上記実施形態に記載のロボットシステムにおいて、前記予測部が、前記制御対象の移動方向及び移動速度に応じた第１の予測空間を決定すると共に、前記非制御対象の移動方向及び移動速度に応じた第２の予測空間を決定し、前記制御部が、前記制御対象の周囲の前記第１の予測空間が前記非制御対象の周囲の前記第２の予測空間に重ならないように、前記制御対象の動きを軌道修正する。この構成によれば、制御対象と非制御対象の接触を予測して制御対象の動きが軌道修正されるため、制御対象と非制御対象の接触が抑えることができる。

また、上記実施形態に記載のロボットシステムにおいて、前記第１の予測空間が、前記制御対象の移動方向に指向性を持つと共に、前記制御対象の移動速度に応じた広さを持ち、前記第２の予測空間が、前記非制御対象の移動方向に指向性を持つと共に、前記非制御対象の移動速度に応じた広さを持つ。この構成によれば、制御対象と非制御対象の距離が近づいても、制御対象と非制御対象の接触の可能性が無ければ、制御対象による回避動作が行われない。よって、制御対象及び非制御対象の作業が干渉することがないため、生産性が低下することがない。

また、上記実施形態に記載のロボットシステムにおいて、前記予測部が、前記制御対象の所定の注目点から最も距離が近い箇所に前記非制御対象の注目点を設定し、前記制御対象の注目点の周りの前記第１の予測空間を決定する共に、前記非制御対象の注目点の周りの前記第２の予測空間を決定する。この構成によれば、制御対象の所定の注目点から非制御対象までの距離が最も近くなる箇所に非制御対象の注目点が設定されるため、制御対象と非制御対象が最も接近した箇所の接触を回避することができる。

また、上記実施形態に記載のロボットシステムにおいて、前記制御対象の所定の注目点がロボットアームの先端部分である。この構成によれば、ロボットアームの先端部分と非制御対象との接触を回避することができる。

また、上記実施形態に記載のロボットシステムにおいて、前記予測部が、認識データの蓄積によって前記非制御対象の行動パターンを学習して前記非制御対象の動きを予測する。この構成によれば、非制御対象の作業を早期に予測して、制御対象に現在の作業とは別の作業を行わせることができる。

上記実施形態に記載のプログラムは、非制御対象と同一空間でロボットシステムの制御対象に所定の動作を実施させるプログラムであって、前記非制御対象を３次元で認識した認識データを時系列に沿って出力するステップと、認識データの経時的な変化から前記非制御対象の動きを予測するステップと、予測結果に基づいて前記制御対象の動きを制御するステップとを前記ロボットシステムに実行させる。この構成によれば、ロボットシステムにプログラムをインストールすることで、生産性を下げずに安全性を確保した制御対象の制御機能をロボットシステムに追加することができる。

以上説明したように、本発明は、制御対象と非制御対象とが同一空間で作業する際に、生産性を下げることなく安全性を確保することができるという効果を有し、特に、ロボットと人間とが同一の生産ラインで作業するロボットシステムに有用である。

１ロボットシステム
１５撮像装置（認識部）
１６ロボットコントローラ（制御部）
１７コンピュータ（予測部）
Ｈ人間（非制御対象）
Ｒロボットアーム（制御対象）
Ｐ_Ｈ人間の注目点
Ｐ_Ｒロボットアームの注目点
Ｓ_Ｈ第１の予測空間
Ｓ_Ｒ第２の予測空間

Claims

非制御対象と同一空間で制御対象に所定の動作を実施させるロボットシステムであって、
前記非制御対象を３次元で認識した認識データを時系列に沿って出力する認識部と、
認識データの経時的な変化から前記非制御対象の動きを予測する予測部と、
前記予測部の予測結果に基づいて前記制御対象の動きを制御する制御部とを備え、
前記制御部は、前記制御対象を第１のターゲットに向かって移動させて第１の動作を実施する第１のモードから、前記予測部の予測結果に基づいて、前記非制御対象を避けながら、前記制御対象を第２のターゲットに向かって移動させて第２の動作を実施する第２のモードに変更するように、前記制御対象の動きを軌道修正することを特徴とするロボットシステム。
前記予測部が、前記制御対象の移動方向及び移動速度に応じた第１の予測空間を決定すると共に、前記非制御対象の移動方向及び移動速度に応じた第２の予測空間を決定し、
前記制御部が、前記制御対象の周囲の前記第１の予測空間が前記非制御対象の周囲の前記第２の予測空間に重ならないように、前記制御対象の動きを軌道修正することを特徴とする請求項１に記載のロボットシステム。
前記第１の予測空間が、前記制御対象の移動方向に指向性を持つと共に、前記制御対象の移動速度に応じた広さを持ち、
前記第２の予測空間が、前記非制御対象の移動方向に指向性を持つと共に、前記非制御対象の移動速度に応じた広さを持つことを特徴とする請求項２に記載のロボットシステム。
前記予測部が、前記制御対象の所定の注目点から最も距離が近い箇所に前記非制御対象の注目点を設定し、前記制御対象の注目点の周りの前記第１の予測空間を決定すると共に、前記非制御対象の注目点の周りの前記第２の予測空間を決定することを特徴とする請求項２又は請求項３に記載のロボットシステム。
前記制御対象の所定の注目点がロボットアームの先端部分であることを特徴とする請求項４に記載のロボットシステム。
前記予測部が、認識データの蓄積によって前記非制御対象の行動パターンを学習して前記非制御対象の動きを予測することを特徴とする請求項１から請求項５のいずれかに記載のロボットシステム。
非制御対象と同一空間で制御対象に所定の動作を実施させるロボットシステムの制御方法であって、
前記非制御対象を３次元で認識した認識データを時系列に沿って出力するステップと、
認識データの経時的な変化から前記非制御対象の動きを予測するステップと、
予測結果に基づいて前記制御対象の動きを制御するステップとを有し、
前記制御するステップでは、前記制御対象を第１のターゲットに向かって移動させて第１の動作を実施する第１のモードから、前記予測するステップの予測結果に基づいて、前記非制御対象を避けながら、前記制御対象を第２のターゲットに向かって移動させて第２の動作を実施する第２のモードに変更するように、前記制御対象の動きを軌道修正することを特徴とするロボットシステムの制御方法。
非制御対象と同一空間でロボットシステムの制御対象に所定の動作を実施させるプログラムであって、
前記非制御対象を３次元で認識した認識データを時系列に沿って出力するステップと、
認識データの経時的な変化から前記非制御対象の動きを予測するステップと、
予測結果に基づいて前記制御対象の動きを制御するステップとを前記ロボットシステムに実行させ、
前記制御するステップでは、前記制御対象を第１のターゲットに向かって移動させて第１の動作を実施する第１のモードから、前記予測するステップの予測結果に基づいて、前記非制御対象を避けながら、前記制御対象を第２のターゲットに向かって移動させて第２の動作を実施する第２のモードに変更するように、前記制御対象の動きを軌道修正することを特徴とするプログラム。