JP6633584B2

JP6633584B2 - ロボットシステム

Info

Publication number: JP6633584B2
Application number: JP2017192902A
Authority: JP
Inventors: 知之山本; 尚大島
Original assignee: FANUC Corp
Current assignee: FANUC Corp
Priority date: 2017-10-02
Filing date: 2017-10-02
Publication date: 2020-01-22
Anticipated expiration: 2037-10-02
Also published as: DE102018216154A1; CN109591009A; JP2019063947A; CN109591009B; US20190099902A1; US10875198B2; DE102018216154B4

Description

本発明は、ロボットシステムに関する。

ロボットと作業者が同時に進入可能な協働動作領域へロボットが進入しているときに、作業者が協働動作領域に進入すると、ロボットの動作速度を作業者が協働動作領域に進入する前より低下させる等の安全機能が、従来知られている。
また、位置情報やツールやワークのモデルから、３次元ロボットモデルを作成する機能、及び、画像判別センサ等の取得した画像内に含まれる対象物を検出する機能も、合わせて知られている。

例えば、特許文献１は、作業エリア内における作業者とロボットとの衝突を回避するために、撮影手段によって生成された撮影対象までの距離情報から、静止物モデル情報とロボットモデル情報を除去し、撮影対象から静止物とロボットとを除いた残存対象と、撮影手段との距離情報である残存モデル情報を生成し、残存モデル情報とロボットモデル情報とから、残存対象とロボットとの距離を算出し、この距離に基づいて、ロボットの動作速度を低下させる技術を開示している。

特許第５５２３３８６号公報

しかし、特許文献１に係る技術においては、撮影手段に不具合が発生することは想定されていない。特許文献１に係る技術において、撮影手段に不具合が発生した場合、上記の残存対象とロボットとの距離を正確に算出できないケースや、ロボットの周辺領域を監視できないケースや、ロボットの動作を人の侵入と誤検出する可能性がある。

また、ロボットの動作を人の侵入と誤検出しないためには、ロボットが写らないように、複数台のカメラをロボット周りに設置する工夫が必要となるが、監視領域の調整などで工数がかかったり、システムのコストアップにつながったり、ロボットの周囲に死角ができたりする。

また、特許文献１に係る技術において、撮影手段としてのカメラが故障したことを検出する際、複数のカメラを使用して比較することは可能だが、複数のカメラを使用すること自体がコストアップにつながる。更に、何らかの原因により、撮影手段としてのカメラの位置や姿勢がずれてしまった場合にも、ロボット周辺の領域を監視できなくなる。

また、従来の技術として、レーザセンサを用いてロボットの周辺領域を監視する方法があるが、この方法では、どの程度の領域を監視するかの確認が煩雑であった。

本発明は、撮影手段に不具合が発生する場合も想定した上で、比較的低いコストで、簡便に安全性を確保することが可能なロボットシステムを提供することを目的とする。

（１）本発明に係るロボットシステム（例えば、後述のロボットシステム１）は、ロボット（例えば、後述のロボット５１）を監視するカメラ（例えば、後述のカメラ２１）を有するロボットシステムであって、前記ロボットの現在位置データと、前記ロボットのロボットモデルデータとから、前記ロボットの現在位置モデルを作成する現在位置モデル作成手段（例えば、後述の現在位置モデル作成部１１１）と、前記カメラの設定位置データと、前記ロボットの設定位置データと、前記現在位置モデルとに基づいて、前記カメラの方角から見た前記ロボットのシミュレーション画像を作成するシミュレーション画像作成手段（例えば、後述のシミュレーション画像作成部１１２）と、前記シミュレーション画像と、前記カメラから取得した監視画像とを比較して、前記監視画像内の前記ロボットを検出する検出手段（例えば、後述の検出部１１３）と、前記検出手段が前記監視画像内に前記ロボットを検出しない場合に、前記ロボットシステムの安全を確保する安全確保手段（例えば、後述の安全確保部１１４）と、を備える。

（２）（１）に記載のロボットシステム（例えば、後述のロボットシステム１）は、前記検出手段（例えば、後述の検出部１１３）は、前記監視画像内で前記ロボットが検出された検出領域を取得する検出領域取得手段（例えば、後述の検出領域取得部１１３Ａ）と、前記監視画像から前記検出領域を除く範囲を監視し、人や物の侵入を検知する侵入検知手段（例えば、後述の侵入検知部１１３Ｂ）とを備え、前記侵入検知手段が、人や物の侵入を検知した場合に、前記安全確保手段（例えば、後述の安全確保部１１４）は、前記ロボットシステムの安全を確保してもよい。

（３）（１）又は（２）に記載のロボットシステム（例えば、後述のロボットシステム１）は、前記カメラ（例えば、後述のカメラ２１）で取得される前記監視画像において、前記ロボットが検出されるべき検出予想領域を入力する入力手段（例えば、後述の入力部３１）と、前記入力手段により入力された検出予想領域を記憶する記憶手段（例えば、後述の記憶部４１）とを更に備え、前記安全確保手段（例えば、後述の安全確保部１１４）は、実際に前記ロボットが検出された領域と、前記検出予想領域とを比較し、両者の領域に所定量を超える差異がある場合に、前記ロボットシステムの安全を確保してもよい。

本発明によれば、撮影手段に不具合が発生する場合も想定した上で、安全性を確保することが可能なロボットシステムを提供することが可能となる。

本発明の概要を説明する図である。本発明の実施形態に係るロボットシステムの機能ブロック図である。本発明の実施形態に係るロボットシステムの機能ブロック図である。本発明の実施形態に係るロボットシステムの動作を示すフローチャートである。

以下、本発明の実施形態について図１〜図３を参照しながら詳述する。
＜１．発明の概要＞
図１は、本発明の概要の説明図である。本発明に係るロボットシステム１は、その一部の構成要素として、図１に示す、カメラ２１、現在位置モデル作成部１１１、シミュレーション画像作成部１１２、検出部１１３、及び安全確保部１１４を備える。

ＳｔｅｐＡにおいて、カメラ２１をロボット５１が監視領域に入るよう、地面に固定して設置する。その結果、図１の右上方に示すような、領域監視画像としてのカメラ画像が得られる。なお、図１の例においては、ロボット５１の近傍にオペレータ５２が存在し、カメラ画像には、ロボット５１とオペレータ５２との双方が含まれるが、これはあくまで、説明の便宜上示した一例であって、これには限られず、オペレータ５２は存在しなくてもよい。

ＳｔｅｐＢにおいて、現在位置モデル作成部１１１が、ロボット５１の現在位置データと、ロボット５１の３次元モデルのデータであるロボットモデルとを取得し、これらのデータから、ロボット５１の現在位置モデルを作成する。なお、ここでの「現在位置データ」とは、ロボット５１を構成する各機械要素が、現時点において、互いにどのような位置関係にあるかを示すデータである。また、「現在位置モデル」とは、ロボット５１の３次元モデルであると同時に、ロボット５１の現時点での姿勢を反映した３次元モデルのデータである。

ＳｔｅｐＣにおいて、シミュレーション画像作成部１１２が、上記の現在位置モデルと、カメラ２１の設置位置データと、ロボット５１の設置位置データを取得する。更に、シミュレーション画像作成部１１２は、これらのデータを用いて、カメラ２１の方角から現在のロボット５１を見たと仮定した場合に得られるはずの画像データである、シミュレーション画像を作成する。

ＳｔｅｐＤにおいて、検出部１１３は、シミュレーション画像とカメラ画像とを照らし合わせ、カメラ画像内に、シミュレーション画像で示されるロボット５１の画像を検出する。

検出部１１３がロボット５１の画像を検出できなかった場合には、ＳｔｅｐＥにおいて、安全確保部１１４が、カメラ２１自体の故障や、カメラ２１のケーブルの抜け、カメラ２１の位置の正常時からのずれ等の不具合が発生したと判断し、ロボットシステム１の安全を確保する。具体的には、安全確保部１１４は、ロボット５１の動作を停止したり、或いは、ロボット５１の各部の移動速度を低下させたりする。
また、検出部１１３がロボット５１の画像を検出できなかった場合に加え、図１に示すように、カメラ画像内にロボット５１以外の人や物が含まれる場合、及び、カメラ画像内のロボット５１の画像の領域が、事前に設定された検出予想領域から、所定量以上ずれる場合にも、安全確保部１１４がロボットシステム１の安全を確保してもよい。

すなわち、本発明に係るロボットシステム１は、カメラ２１で撮影したロボット５１のカメラ画像と、ロボット５１の現在位置モデル、カメラ２１の設置位置データ、ロボット５１の設置位置データ等から生成したシミュレーション画像とを比較する。シミュレーション画像で示されるロボット５１の画像がカメラ画像に含まれなければ、安全確保部１１４が、ロボットシステム１の安全を確保する。更に、ロボットシステム１は、ロボット５１の動作を無視し、ロボット５１以外の人や物が、ロボット５１周辺の指定領域に侵入した場合のみを検出することが可能である。
なお、図１において、ロボット５１は１台でも複数台でもよい。また、カメラ２１は１台でも複数台でもよい。

＜２．発明の構成＞
図２Ａ及び図２Ｂは、本発明に係るロボットシステム１の機能ブロック図である。一部繰り返しとなるが、図２Ａ及び図２Ｂを参照することにより、ロボットシステム１の構成について説明する。

ロボットシステム１は、制御部１１、カメラ２１、入力部３１、及び記憶部４１を備え、制御部１１は、現在位置モデル作成部１１１、シミュレーション画像作成部１１２、検出部１１３、及び安全確保部１１４を備える。

制御部１１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＣＭＯＳメモリ等を有してもよく、これらはバスを介して相互に通信可能に構成される、当業者にとって公知のものである。
ＣＰＵはロボットシステム１を全体的に制御するプロセッサである。該ＣＰＵは、ＲＯＭに格納されたシステムプログラム及びアプリケーションプログラムを、バスを介して読み出し、該システムプログラム及びアプリケーションプログラムに従ってロボットシステム１全体を制御することで、図２Ａに示すように、制御部１１が、現在位置モデル作成部１１１、シミュレーション画像作成部１１２、検出部１１３、及び安全確保部１１４の機能を実現するように構成される。ＲＡＭには一時的な計算データや表示データ等の各種データが格納される。ＣＭＯＳメモリは図示しないバッテリでバックアップされ、ロボットシステム１の電源がオフされても記憶状態が保持される不揮発性メモリとして構成される。

現在位置モデル作成部１１１は、ロボット５１の現在位置データと、ロボット５１の３次元モデルのデータであるロボットモデルとを取得し、これらのデータから、ロボット５１の現在位置モデルを作成する。現在位置モデルの作成にあたっては、公知の技術を用いいてもよい。例えば、ロボット５１の各軸の現在位置を取得し、この各軸の現在位置のデータを、ロボットモデルに適用することにより、ロボット５１の現在位置モデルを作成することが可能である。

シミュレーション画像作成部１１２は、カメラ２１の設定位置データと、ロボット５１の設定位置データと、現在位置モデル作成部１１１が作成したロボット５１の現在位置モデルとを取得し、これらのデータを用いて、カメラ２１の方角から見た、現在のロボット５１のシミュレーション画像を作成する。シミュレーション画像の作成にあたっては、公知の技術を用いてもよい。例えば、座標系が設定された仮想空間内に、カメラ２１とロボット５１とを配置し、カメラ２１及びロボット５１が配置された座標の座標値、カメラ２１の姿勢、画角等のデータと、ロボット５１の現時点での位置・姿勢を反映した現在位置モデルとを用いることにより、シミュレーション画像を作成することが可能である。

検出部１１３は、シミュレーション画像作成部１１２が作成したシミュレーション画像と、カメラ２１から取得した監視画像としてのカメラ画像とを比較して、カメラ画像内のロボット５１を検出する。この検出には、例えば、パターンマッチング等の技術を用いてもよい。

安全確保部１１４は、検出部１１３がカメラ画像内にロボット５１を検出しなかった場合に、ロボット５１の動作を停止したり、或いは、ロボット５１の各部の移動速度を低下させたりすることにより、ロボット５１のロボットシステム１の安全を確保する。

カメラ２１は、ロボット５１とその周辺領域を監視する。なお、カメラ２１は１台でもよく、複数台でもよい。

入力部３１は、カメラ２１から取得する監視画像としてのカメラ画像において、ロボット５１が検出されるべき検出予想領域を、ユーザが入力するために用いる装置であり、キーボードやタッチパネル等によって実現することが可能である。
記憶部４１は、入力部３１によって入力された検出予想領域を記憶する。

なお、安全確保部１１４は、検出部１１３が監視画像内に検出したロボット５１の領域と、記憶部４１が記憶した検出予想領域とを比較し、両者の領域に所定量を超える差異がある場合に、ロボットシステム１の安全を確保してもよい。例えば、両者の領域の輪郭の間の距離の平均値が所定量以上存在する場合に、安全確保部１１４は、ロボットシステム１の安全を確保してもよい。あるいは、両者の領域のうち、互いに重なっていない部分の面積が所定量以上存在する場合に、安全確保部１１４は、ロボットシステム１の安全を確保してもよい。

図２Ｂに示すように、検出部１１３は、検出領域取得部１１３Ａと侵入検知部１１３Ｂとを備える。検出領域取得部１１３Ａは、監視画像内でロボット５１が検出された検出領域を取得する。侵入検知部１１３Ｂは、監視画像から、検出領域取得部１１３Ａが取得した検出領域を除く範囲を監視し、ロボット５１以外の人や物の侵入を検知する。

なお、安全確保部１１４は、侵入検知部１１３Ｂが、監視画像内にロボット５１以外の人や物の侵入を検知した場合に、ロボットシステム１の安全を確保してもよい。

＜３．発明の動作＞
図３は、本発明に係るロボットシステム１の動作を示すフローチャートである。
ステップＳ１において、ユーザは、監視画像内にロボット５１が十分収まるように、ロボット５１の周辺領域にカメラ２１を設置する。

ステップＳ２において、現在位置モデル作成部１１１は、ロボット５１の現在位置データと、ロボット５１の３次元モデルのデータであるロボットモデルとを取得し、これらのデータから、ロボット５１の現在位置モデルを作成する。更に、現在位置モデル作成部１１１は、作成した現在位置モデルを、シミュレーション画像作成部１１２に送信する。

ステップＳ３において、シミュレーション画像作成部１１２は、現在位置モデルと、カメラ２１の設置位置データと、ロボット５１の設置位置データとを取得し、これらのデータを用いて、カメラ２１の方角からロボット５１を見たと仮定した場合に得られるはずの画像データである、シミュレーション画像を作成する。更に、シミュレーション画像作成部１１２は、作成したシミュレーション画像を、検出部１１３に送信する。

ステップＳ４において、検出部１１３は、シミュレーション画像とカメラ画像とを照らし合わせ、カメラ画像内での、シミュレーション画像で示されるロボット５１の画像の検出を試行する。

ステップＳ５において、検出部１１３が、ロボット５１を検出した場合（Ｓ５：ＹＥＳ）には、処理はステップＳ６に移行する。検出部１１３がロボット５１を検出しなかった場合（Ｓ５：ＮＯ）には、処理はステップＳ８に移行する。

ステップＳ６において、検出部１１３が、カメラ画像内のロボット５１以外の範囲において、ロボット５１以外の人や物を検出した場合（Ｓ６：ＹＥＳ）には、処理はステップＳ８に移行する。検出部１１３が、ロボット５１以外の人や物を検出しなかった場合（Ｓ６：ＮＯ）には、処理はステップＳ７に移行する。

ステップＳ７において、事前にユーザによって入力された検出予想領域と、検出部１１３が、カメラ画像内でロボット５１を実際に検出した領域とに、所定量以上のずれがある場合（Ｓ７：ＹＥＳ）には、処理はステップＳ８に移行する。検出予想領域と、検出部１１３がカメラ画像内でロボット５１を実際に検出した領域とに、所定量以上のずれが無い場合（Ｓ７：ＮＯ）には、処理はステップＳ２に戻る。

ステップＳ８において、安全確保部１１４は、ロボットシステム１の安全を確保する。具体的には、安全確保部１１４は、ロボット５１の動作を停止したり、或いは、ロボット５１の各部の移動速度を低下させたりする。

上記のように、ロボットシステム１は、カメラ２１から取得した監視画像としてのカメラ画像を、ロボット５１の現在位置モデル等に基づいて作成されたシミュレーション画像と比較する。更に、ロボットシステム１は、カメラ画像にロボット５１の画像が検出されるか、カメラ画像にロボット５１以外の人や物が検出されるか、カメラ画像に検出されるロボット５１の画像の領域と、事前の予想領域との間に所定量以上のずれがないか判断し、判断結果に基づいて、ロボットシステム１の安全を確保する。

これにより、カメラ２１に不具合が発生する場合も想定した上で、ロボットシステム１の安全を確保することが可能となる。
また、上記の繰り返しとなるが、従来の技術として、レーザセンサを用いてロボットの周辺領域を監視する方法があるが、この方法では、どの程度の領域を監視するかの確認が煩雑であった。この点、本発明の方法によれば、カメラ２１によってどの範囲を監視しているかが一目瞭然であり、監視エリアの確認が簡易化される。
また、本発明においては、ロボット５１の周辺領域を監視するカメラ２１が１台しかない場合でも、カメラ２１の不具合を検知することが可能となる。

＜４．変形例＞
例えば、カメラ２１のスイッチが入ってなかったり、カメラ２１のケーブルが抜けていたり、カメラ２１のケーブルに断線があったりする等の理由で、検出部１１３がカメラ２１からカメラ画像を取得できない場合には、ロボットシステム１が警報を発する構成としてもよい。

なお、上記のロボットシステム１に含まれる各装置は、ハードウェア、ソフトウェア又はこれらの組み合わせによりそれぞれ実現することができる。また、上記のロボットシステム１に含まれる各装置により行なわれる安全確保方法も、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ(Read Only Memory)、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM)、ＥＰＲＯＭ(Erasable PROM)、フラッシュＲＯＭ、ＲＡＭ(random access memory）)を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１ロボットシステム
１１制御部
２１カメラ
３１入力部
４１記憶部
１１１現在位置モデル作成部
１１２シミュレーション画像作成部
１１３検出部
１１３Ａ検出領域取得部
１１３Ｂ侵入検知部
１１４安全確保部

Claims

ロボットを監視するカメラを有するロボットシステムであって、
前記ロボットの現在位置データと、前記ロボットのロボットモデルデータとから、前記ロボットの現在位置モデルを作成する現在位置モデル作成手段と、
前記カメラの設定位置データと、前記ロボットの設定位置データと、前記現在位置モデルとに基づいて、前記カメラの方角から見た前記ロボットのシミュレーション画像を作成するシミュレーション画像作成手段と、
前記シミュレーション画像と、前記カメラから取得した監視画像とを比較して、前記監視画像内の前記ロボットを検出する検出手段と、
前記検出手段が前記監視画像内に前記ロボットを検出しない場合に、前記ロボットシステムの安全を確保する安全確保手段と、
前記カメラで取得される前記監視画像において、前記ロボットが検出されるべき検出予想領域を入力する入力手段と、
前記入力手段により入力された検出予想領域を記憶する記憶手段と、
を備え、
前記安全確保手段は、実際に前記ロボットが検出された領域と、前記検出予想領域とを比較し、両者の領域に所定量を超える差異がある場合に、前記ロボットシステムの安全を確保する、ロボットシステム。
前記検出手段は、前記監視画像内で前記ロボットが検出された検出領域を取得する検出領域取得手段と、前記監視画像から前記検出領域を除く範囲を監視し、前記ロボット以外の人や物の侵入を検知する侵入検知手段とを備え、
前記侵入検知手段が、人や物の侵入を検知した場合に、前記安全確保手段は、前記ロボットシステムの安全を確保する、請求項１に記載のロボットシステム。