JP6088605B1 - 視覚センサを用いたロボットシステム - Google Patents

Abstract

【課題】人間を危険にすることのないロボットシステムを提供する。【解決手段】ロボットシステム（１）において、信号出力部（１２）は、入場準備の状態であることを示す入場準備信号と、人間が所定区画へ入場することを要求された状態において人間が所定区画へ入場するのを許可する入場許可信号とを、画像処理部（２５）の処理結果に応じて出力するロボットの動作が停止したことが検出された場合には入場準備信号を出力し、その後、人間が所定区画への入場を要求した場合には、ロボットの作業を停止させる指令もしくはロボットの作業を停止させる指令と人間が入場するのに必要なロボットシステムのうちの一部分を停止させる指令との両方を出力し、入場許可信号を出力する。【選択図】図１

Description

本発明は、視覚センサを用いて人間に対する安全性を高めたロボットシステムに関する。

特許文献１においては、ロボットが人間の立ち入りが制限されている動作領域で動作している。そして、ロボットが或る工程を実施しているときにおいて人間がその動作領域に来訪したのが検知されたときに、その時点でロボットの動作を停止すると予め定められた不都合な段階での停止になる場合には、ロボットは或る工程の後の別の工程まで行った後で停止される。

また、特許文献２においては、ロボットが動作しているときにメンテナンス要求信号が入力された場合には、メンテナンス要求信号入力時におけるブロック分についてはそのブロックのブロックエンドまで動作してロボットを停止させ、次いで、ロボットをメンテナンスに適した所定姿勢にすることが開示されている。

さらに、特許文献３においては、第一画像記録ユニットおよび第二画像記録ユニットにより記録された画像を少なくとも二つの異なる方法で分析し、いずれか一方の分析で異物を検出した場合にロボットを停止させることが開示されている。

特許第５５８２４２２号公報 特開平５−７７１７９号公報 特許第４４０５４６８号公報

しかしながら、特許文献１において、不都合な段階を予め定義してプログラムする必要がある。従って、特許文献１の技術を既存のロボットシステムに適用する場合には、そのロボットシステムのプログラムを変更したり、制御部の回路を変更する必要がある。このような変更に要するコストや手間は比較的大きい。そして、プログラムや回路の変更には高度の熟練さや慎重さが要求されるので作業者が限定され、ロボットシステムの現場で自由に変更するのは困難である。また、変更ミスがある場合には、変更後のロボットシステムによって却って人間が危険になる可能性があるので、一般に、既存のロボットシステムのプログラムなどの変更は積極的に行われない。

特許文献２においては、メンテナンスに適した所定姿勢の情報とその姿勢までロボットを移動させる情報とを事前に設定する必要がある。また、特許文献２においては、メンテナンス要求信号が入力された後で、ロボットはブロックエンドにて一旦停止する。このため、ブロックエンドの停止位置からメンテナンスに適した所定姿勢まで移動する際に、ロボットが障害物に接触する可能性がある。メンテナンス終了後にブロックエンドの停止位置まで戻るときにも、同様な問題がある。

さらに、特許文献３におけるロボットの停止位置は異物が検出されたときの位置であるので、ロボットの停止位置は指定されない。しかしながら、ロボットの停止位置によっては、ロボットの動作を再開するのが困難な場合がある。

本発明はこのような事情に鑑みてなされたものであり、プログラムなどを変更することなしに既存のシステムに適用できると共に、人間を危険にすることのないロボットシステムを提供することを目的とする。

前述した目的を達成するために１番目の発明によれば、ロボット動作区画に配置されたロボットと、該ロボットが前記ロボット動作区画において動作するよう制御するロボット制御部とを含むロボットシステムにおいて、前記ロボット動作区画の一部分を少なくとも含む所定区画を撮像する撮像部と、該撮像部により撮像された画像を処理する画像処理部と、人間が前記所定区画へ入場するのを要求する際に操作される入場要求部と、該入場要求部の操作を受け付ける入場準備の状態であることを示す入場準備信号と、前記入場要求部により人間が前記所定区画へ入場することを要求された状態において前記人間が前記所定区画へ入場するのを許可する入場許可信号とを、前記画像処理部の処理結果に応じて出力する信号出力部と、を具備し、記画像処理部により、前記ロボットの動作が停止したことが検出された場合には、前記信号出力部により前記入場準備信号を出力し、その後、前記人間が前記入場要求部を用いて前記所定区画への入場を要求した場合には、前記ロボットの作業を停止させる指令もしくは前記ロボットの作業を停止させる指令と前記人間が入場するのに必要な前記ロボットシステムのうちの一部分を停止させる指令との両方を出力し、前記信号出力部により前記入場許可信号を出力する、ロボットシステムが提供される。
２番目の発明によれば、１番目の発明において、前記信号出力部は、前記ロボットが動作しているときに前記人間が前記所定区画に入場不能な状態を示す入場不能信号と、前記入場許可信号との少なくともいずれか一方を、前記画像処理の処理結果に応じて出力する。
３番目の発明によれば、１番目または２番目の発明において、前記画像処理部により、前記ロボットが予め教示された停止位置でその動作を停止したことが検出された場合に限り、前記信号出力部より前記入場準備信号を出力し、その後、前記人間が前記入場要求部を用いて前記所定区画への入場を要求した場合に、前記ロボットの作業を停止させる指令もしくは前記ロボットの作業を停止させる指令と前記人間が入場するのに必要な前記ロボットシステムのうちの一部分を停止させる指令との両方を出力する。
４番目の発明によれば、１番目から３番目のいずれかの発明において、前記画像処理部によって前記人間が前記所定区画から退場したことが検出された場合には、前記ロボットシステムの前記一部分または前記ロボットを再始動させるようにした。
５番目の発明によれば、１番目から４番目のいずれかの発明において、前記信号出力部が前記入場許可信号を出力した後で、前記画像処理部によって前記ロボットが動作を開始したことが検出された場合には、前記ロボットの作業を停止させる指令もしくは前記ロボットの作業を停止させる指令と前記人間が入場するのに必要な前記ロボットシステムのうちの一部分を停止させる指令との両方を出力するようにした。
６番目の発明によれば、１番目から５番目のいずれかの発明において、前記画像処理部は、前記人間が着用する着用品の着用品画像モデルを含む動体を前記人間と判断すると共に前記着用品画像モデルを含んでいない動体を異物と判断する動体判断部を有し、該動体判断部により異物と判断された動体が前記所定区画に検出された場合には、前記ロボットの作業を停止させる指令もしくは前記ロボットの作業を停止させる指令と前記人間が入場するのに必要な前記ロボットシステムのうちの一部分を停止させる指令との両方を出力するようにした。
７番目の発明によれば、１番目から６番目のいずれかの発明において、前記画像処理部が、前記人間が前記所定区画から退場したことが検出される前に前記人間を見失った場合には、前記ロボットの作業を停止させる指令もしくは前記ロボットの作業を停止させる指令と前記人間が入場するのに必要な前記ロボットシステムのうちの一部分を停止させる指令との両方を出力するようにした。
８番目の発明によれば、１番目から７番目のいずれかの発明において、前記信号出力部が前記入場許可信号を出力する前に前記動体判断部が前記所定区画内の動体を前記人間と判断した場合には、前記ロボットの作業を停止させる指令もしくは前記ロボットの作業を停止させる指令と前記人間が入場するのに必要な前記ロボットシステムのうちの一部分を停止させる指令との両方を出力するようにした。
９番目の発明によれば、２番目の発明において、前記信号出力部は前記入場許可信号を出力する第一出力部分および前記入場不能信号を出力する第二出力部分のうちの少なくとも一方と、前記入場準備信号を出力する第三出力部分とを有し、前記信号出力部が前記第一出力部分および前記第三出力部分のみを有する場合において前記第一出力部分から前記入場許可信号が出力されていないときには、前記人間が前記所定区画に入場不能な状態を意味し、前記第一出力部分と前記第三出力部分は前記人間から認識されるように配置されており、前記信号出力部が前記第二出力部分および前記第三出力部分のみを有する場合において該第二出力部分から前記入場不能信号が出力されていないときには、前記人間が前記所定区画へ入場するのが許可された状態を意味し、前記第二出力部分と前記第三出力部分は前記人間から認識されるように配置されており、前記信号出力部が前記第一出力部分、前記第二出力部分及び前記第三出力部分を有する場合には、前記第一出力部分、前記第二出力部分及び前記第三出力部分は前記人間から認識されるよう配置されている。
１０番目の発明によれば、３番目から９番目のいずれかの発明において、前記停止位置が、所定の大きさの空間として教示されており、前記画像処理部により、前記ロボットが前記空間でその動作を停止したことが検出された場合には、前記ロボットが前記停止位置で停止したとみなすようにした。
１１番目の発明によれば、９番目の発明において、前記入場許可信号、前記入場不能信号または前記入場準備信号は視覚的および聴覚的のうちの少なくとも一方により互いに差異があるように出力される。
１２番目の発明によれば、ロボット動作区画に配置されたロボットと、該ロボットが前記ロボット動作区画において動作するよう制御するロボット制御部とを含むロボットシステムにおいて、前記ロボット動作区画の一部分を少なくとも含む所定区画を撮像する撮像部と、該撮像部により撮像された画像を処理する画像処理部と、人間が前記所定区画へ入場するのを要求する際に操作される入場要求部と、該入場要求部の操作を受け付けた入場準備の状態であることを示す入場準備信号と、前記入場要求部により人間が前記所定区画へ入場することを要求された状態において前記人間が前記所定区画へ入場するのを許可する入場許可信号とを、前記画像処理部の処理結果に応じて出力する信号出力部と、を具備し、前記画像処理部により、前記ロボットの動作が予め教示された停止位置で停止したことが検出された場合には、前記人間が前記入場要求部を用いて事前に所定区画への入場を要求していた場合に限り、前記入場が要求された時点から入場準備信号を出力し、前記ロボットの動作が予め教示された停止位置でその動作を停止したことが検出された時点で、前記ロボットの作業を停止させる指令もしくは前記ロボットの作業を停止させる指令と前記人間が入場するのに必要な前記ロボットシステムのうちの一部分を停止させる指令との両方を出力し、前記信号出力部により前記入場許可信号を出力する、ロボットシステムが提供される。

１番目の発明において、ロボットが動作を停止したことを画像処理部で検知すると、入場準備信号を出力し、入場要求部の操作を有効にする。入場要求部の操作によって入場の要求が出されると、ロボットの作業を停止させると共に、必要に応じロボットシステムを部分的に停止させ、入場許可信号を出力するようにしている。ここでロボットシステムの部分的な停止は、入場に際して必要に応じてであるので、ロボットの作業を停止するだけの場合もある。入場許可信号が出力されたときには、ロボットなどは停止しているので、人間は安全に所定区画に入場することができる。言い換えれば、ロボットが動作しているときには、人間が所定区画への入場を要求しても、人間は所定区画に入場できない。
また、撮像部を設置すると共にロボットの動作停止を画像処理部で検出するよう教示するのみで、ロボット側を改造することなしに、１番目の発明を既存のロボットシステムに適用することができる。従って、プログラムおよび回路を変更する必要もない。
２番目の発明においては、人間は入場不能信号のときには所定区画に入場せず、入場許可信号のときに所定区画に入場する。
３番目の発明においては、画像処理部により、ロボットが予め教示された停止位置でその動作を停止したことが検出された場合に限り、入場準備信号を出力し、その後、人間が所定区画への入場を要求した場合には、ロボットの作業を停止させ、また必要に応じてロボットシステムを部分的に停止させるので、ロボットの作業を停止してメンテナンス等を実施する場所を特定することができる。
４番目の発明においては、人間が所定区画から退場した後で、ロボットなどを再始動させているので、人間の安全を確保できる。
５番目の発明においては、ロボットが停止しているべき状態であるときにロボットが動作を開始した場合にはロボットなどを非常停止できることで、予めロボットを非常停止にした状態と同じレベルの安全を確保できる。言い換えれば、従来ならばロボットなどを非常停止させた後で入場していた区画であっても、人間は、ロボットなどを非常停止させることなしに、その区画に入場することができる。従って、非常停止状態では十分にメンテナンスできない箇所であっても十分なメンテナンスを行うことができる。また、ロボットなどの動作を再開させる際にも、非常停止の影響を完全に除去することができる。
６番目の発明においては、着用品画像モデル、例えばヘルメット、帽子、バッジなどの画像モデルを含まない動体を異物と判断するので、異物の判定を容易にすることができる。入場許可信号の出力されている期間で、着用品画像モデルを含む動体、つまり人間が所定区画内に検出された場合には、ロボットなどは非常停止されず、人間は作業を継続できる。着用品画像モデルを着用していない人間、即ち所定区画での作業を認められていない人間は、所定区画内では異物として扱われるので、ロボットなどは非常停止にされ、該人間の安全も確保される。
７番目の発明においては、人間を所定区画内で見失った場合にロボットなどを停止させるので、人間の安全を図ることができる。
８番目の発明においては、人間の所定区画への入場を許可していないにもかかわらず、所定区画に人間が検出された場合に、ロボットなどを停止させている。このため、人間の安全を図ることができる。
９番目の発明においては、人間は、入場準備信号を出力する第三出力部分と、入場許可信号を出力する第一出力部分および入場不能信号を出力する第二出力部分のうちの少なくとも一つの出力部分を参照することにより、現在、所定区画に安全に入場可能か否かを容易に判断することができる。また、出力部分の数を減らすことができる。
１０番目の発明においては、ロボットの停止位置を所定の大きさの空間により定義しているので、ロボットの停止位置などに余裕代を与えることができる。
１１番目の発明においては、信号出力部を比較的簡易に構成できる。
１２番目の発明においては、画像処理部により、ロボットの動作が予め教示された停止位置で停止する時間が短い場合でも、事前に入場要求を出しておくことができる。

添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれら目的、特徴および利点ならびに他の目的、特徴および利点がさらに明解になるであろう。

本発明に基づくロボットシステムの略図である。 本発明に基づくロボットシステムの基本動作を示すフローチャートである。 視覚センサにより撮像された画像と信号出力部とを示す第一の図である。 視覚センサにより撮像された画像と信号出力部とを示す第二の図である。 視覚センサにより撮像された画像と信号出力部とを示す第三の図である。 ロボットシステムの動作を示す第一のフローチャートである。 ロボットシステムの動作を示す第二のフローチャートである。

以下、添付図面を参照して本発明の実施形態を説明する。以下の図面において同様の部材には同様の参照符号が付けられている。理解を容易にするために、これら図面は縮尺を適宜変更している。
図１は本発明に基づくロボットシステムの略図である。図１に示されるように、本発明のロボットシステム１は、ロボット１０と、該ロボット１０を制御するロボット制御部２０とを含んでいる。さらに、図１においては、ロボット１０およびその周辺を視野に含む視覚センサ１１と、視覚センサ１１により撮像された画像を処理して各種信号を出力する画像処理部２５とが示されている。

ロボット１０は産業用ロボット１０、例えば多関節ロボット１０である。視覚センサ１１はロボット１０の近傍に配置されたポスト１４の先端に配置されており、ロボット１０などを上方から撮像する。視覚センサ１１はＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）のエリアセンサデバイスを組み込んだカメラ、およびＬＥＤ投光デバイスを含んでいる。視覚センサ１１は、ＬＥＤ光の反射光が戻ってくる時間を測定して二次元の奥行き画像を撮像する。

さらに、図１を参照すると、ドア１８を備えた安全柵１９がロボット１０の周りに配置されている。安全柵１９は、ロボット１０が動作するロボット動作区画に対し人の立ち入りを制約している。視覚センサ１１の視野で、ロボット動作区画の一部を少なくとも含む所定区画が撮像される。なお、所定区画が安全柵１９以外の手段、例えば床に配置された白線などによって定義されていてもよい。また、視覚センサ１１は所定区画を上方から撮像するものとする。

視覚センサ１１により所定時間毎に撮像された画像はロボット制御部２０の画像処理部２５によって処理される。これにより、所定区画に侵入した人間および異物を後述するように検知する。このような処理を所定時間毎に行うことにより、人間などを所定区画内で追跡することも可能である。

画像処理部２５に対しては、人間、人間の着用品、ロボット１０およびロボット動作領域などに関する画像モデルが予め教示されている。画像処理部２５は、視覚センサ１１により撮像された画像とこれら画像モデルとをマッチングすることにより、人間やロボット１０などを特定して検出する。画像モデルは、前処理された基準画像（後述する）から、人間やロボット１０などの特徴部分のみを切出すことにより作成される。そして、視覚センサ１１から所定の回数で連続して周期的に撮像される画像とロボット１０の画像モデルとをマッチングして、特定されるロボット１０の位置に変化がないときには、ロボット１０がその動作を停止したことを検出できる。

画像処理部２５は、視覚センサ１１により撮像された画像を用いて、人間が安全柵１９内の所定区画に安全に入場できるか否かを判断して、その結果を信号出力部１２に出力させる。信号出力部１２は視覚センサ１１の下方においてポスト１４に取付けられている。ただし、信号出力部１２は他の場所に配置されていてもよい。

また、図１に示されるように、入場要求部２９、例えば押下ボタンが安全柵１９のドア１８近傍に配置されている。人間は、入場要求部２９を操作することにより、所定区画に対して入場する意思があることを画像処理部２５に知らせる。

図１から分かるように、信号出力部１２は、複数、例えば三つの出力部分１２ａ〜１２ｃを含んでいる。信号出力部１２は、画像処理部２５の処理結果に従って、第一出力部分１２ａ〜第三出力部分１２ｃのうちのいずれか一つから、対応した信号を出力するものとする。これら第一出力部分１２ａ〜第三出力部分１２ｃは人間から認識されるように配置されている。

信号出力部１２の第一出力部分１２ａは、入場要求部２９により人間が所定区画へ入場することを要求された状態において人間が所定区画へ入場するのを許可する入場許可信号を出力する。また、第二出力部分１２ｃは、ロボット１０が動作していて人間が所定区画に入場不能な状態を示す入場不能信号を出力する。

さらに、第三出力部分１２ｂは、人間が入場要求部２９を操作可能な状態を示す入場準備信号を出力する。ここで、「人間が入場要求部２９を操作可能な状態」とは、入場許可信号を出力させるために入場要求部２９を実際に操作することができる状態を意味する。
言い換えれば、入場準備信号が出力されるときは、ロボット１０がその動作を停止しており、人間が所定区画に入場する準備が可能であることを示す。従って、入場準備信号が出力されているときに人間が入場要求部２９を操作すると、ロボットの作業を停止させ入場準備信号から入場許可信号に切替わる。なお、入場不能信号が出力されているときに人間が入場要求部２９を操作したとしても、入場準備信号が出力されていないときは入場要求部２９の操作を受け付けないので入場許可信号は出力されず、入場不能信号が出力され続ける。

また、各出力部分１２ａ〜１２ｃは発光体、例えば互いに異なる色の発光体であるのが好ましい。例えば入場許可信号を出力する第一出力部分１２ａは青色の発光体、入場準備信号を出力する第三出力部分１２ｂは黄色の発光体、および入場不能信号を出力する第二出力部分１２ｃは赤色の発光体であるのが好ましい。このように信号出力部１２が交通信号機に類似した機構である場合には、人間が、現在、所定区画に安全に入場可能か否かを容易に判断できるのが分かるであろう。

図１に示されるように、音声出力部１３、例えばスピーカが信号出力部１２近傍に設置されている。信号出力部１２に代えて、または信号出力部１２と協動して、入場不能信号、入場準備信号および入場許可信号のそれぞれに対応する異なる音声または音色を音声出力部１３から出力してもよい。

また、図１に示されるように、ロボット制御部２０は停止部２１に接続されている。停止部２１は画像処理部２５の処理結果と入場要求部２９による入場要求操作とに応じて、ロボット１０を停止させる指令もしくはロボット１０を停止させる指令と人間が入場するのに必要なロボットシステム１のうちの一部分を停止させる指令との両方を出力する。

ロボット１０の作業を停止させる指令は、例えばプログラム実行の中断である。あるいは、ロボット１０を停止させる指令はロボット１０の動力源を遮断する指令であってもよい。この場合にはロボット１０を確実に停止させられる。さらに、停止部２１は、ロボットシステム１の前述した一部分および／またはロボット１０を停止させることも可能である。

また、画像処理部２５は人間が着用すべき着用品の着用品画像モデルを含む動体を人間と判断すると共に着用品画像モデルを含んでいない動体を異物と判断する動体判断部２２を有している。人間が着用すべき着用品は例えばヘルメット、帽子、バッジなどである。これにより、異物の判定を容易に行うことができる。

図２は本発明に基づくロボットシステム１の基本動作を示すフローチャートである。さらに、図３Ａから図３Ｂは視覚センサにより撮像された画像と、各画像に対応する信号出力部の状態とを示す図である。

前述したように視覚センサ１１はポスト１４の先端に取付けられている。このため、視覚センサ１１により撮像される画像は、図３Ａ〜図３Ｃに示されるように、安全柵１９内部の所定区画の平面図に相当する。図３Ａ〜図３Ｃに示される画像には、所定区画内にあるロボット１０と、ロボット１０周りに配置された第一周辺機器１５および第二周辺機器１６とが含まれている。図３Ａ〜図３Ｃより分かるように、第二周辺機器１６は、第一周辺機器１５よりもドア１８に対して遠位に位置している。

また、画像処理部２５には基準画像が予め登録されている。基準画像は、例えば画像処理部２５に教示された停止位置で視覚センサ１１によって撮像された画像である。例えば図３Ｂに示される画像においては、ロボット１０が第二周辺機器１６上で停止しており、この基準画像からロボット１０がこの位置で停止を検出するため画像モデルが作成される。つまり、この場合には、ロボット１０が第二周辺機器１６の位置で動作を停止したことを検出できるよう画像処理部２５に基準画像が予め教示されている。本発明では、このような用途のため予め撮像された画像が基準画像として使用される。

なお、複数の停止位置が教示されていてもよく、その場合には、各停止位置に対し複数の基準画像が登録されるものとする。そのような場合であっても、停止位置にロボット１０を移動させて視覚センサ１１により撮像されるのみで容易にロボットシステム１におけるロボットの停止位置を教示することができる。また、ロボット１０の停止位置は、画像処理部２５に接続された操作盤（図示しない）の表示部に基準画像に基づいて表示されるので、操作者はロボット１０の停止位置などに関する情報を直感的に得ることができる。

以下、図２などを参照して、本発明に基づくロボットシステム１の基本動作を説明する。図２等に示される内容はロボット１０が所定の動作プログラムに従って動作しているときに実施されるものとする。画像処理部２５に教示された停止位置はロボット１０の作業動作の軌道上にあり、その停止位置でロボットは一時的にその動作を停止するようプログラムされているものとする。

はじめに、図２のステップＳ１１においては、ロボット１０が動作しているので、人間が安全柵１９内部の所定区画に入場するのは危険であると判断される。このため、信号出力部１２の第二出力部分１２ｃにより入場不能信号、例えば赤信号を出力する（図３Ａを参照されたい）。

ステップＳ１２においては、視覚センサ１１により連続して周期的に画像が撮像される。撮像された画像と、停止位置の基準画像とが比較される。この場合における停止位置の基準画像から、停止位置におけるロボット１０の画像モデルが作成されてある。そして、ロボット１０の画像モデルについてのモデルマッチングが画像処理部２５により行われ、モデルマッチングの照合でロボット１０が停止位置に到達したことを検知する。このまま画像が連続的に所定回数周期的に撮像され、モデルマッチングの照合で連続してロボット１０が停止位置で検出されることで、ロボット１０が動作を停止したことが検知されると、ステップＳ１３に進む。

この場合にはロボット１０の現在位置がメンテナンスのための停止位置にあるので、人間が所定区画に入場の準備が可能になったと判定できる。従って、ステップＳ１３において、第二出力部分１２ｃによる入場不能信号、例えば赤信号から第三出力部分１２ｂによる入場準備信号、例えば黄信号に切替える（図３Ｂを参照されたい）。
ここで、ステップＳ１４において、入場要求部２９による入場要求を確認し、ステップＳ１５で入場要求が確認されるとステップＳ１６へ進む。

ロボット１０が、画像処理部２５に教示された停止位置で動作を停止したと判定され入場要求部２９による入場要求が確認された場合には、ロボット１０はその停止位置で作業を停止させられる（ステップＳ１７）ので、人間が安全柵１９内部の所定区画に入場しても危険はないのでステップＳ１６へ進む。

ステップＳ１６においては、第三出力部分１２ｂによる入場準備信号、例えば黄信号から第一出力部分１２ａによる入場許可信号、例えば青信号に切替える（図３Ｃを参照されたい）。このように本発明においては、入場準備信号、例えば黄信号が出力されているときに入場の要求が行われると、入場許可信号、例えば青信号が出力される。従って、人間が入場要求を行うタイミングを容易に認識することができる。

次いで、ステップＳ１７において、停止部２１が、ロボット１０を停止させる指令を出力する。これにより、ロボット１０は停止位置で停止し続けるようになる。必要に応じて、停止部２１は、人間が入場するのに必要なロボットシステム１のうちの一部分を停止させる指令を出力する。さらに、ドア１８を解錠するようにしてもよい。図３Ｃに示されるように、このような状態においては人間３０が所定区画に入場したとしても、ロボット等が停止しているので、人間に危険が及ぶことはない。以上が、本発明のロボットシステム１の基本動作である。
また、図２では示さないものの、請求項１２のように、前記画像処理部２５により、前記ロボット１０の動作が予め教示された停止位置でその動作を停止したことが検出された場合に、前記人間が入場要求部２９を用いて事前に前記所定区画への入場を要求していた場合に限り、入場が要求された時点から入場準備信号を出力し、前記ロボット１９の動作が予め教示された停止位置でその動作を停止したことが検出された時点で、前記ロボット１０の作業を停止させる指令を出力すると共に必要ならば前記人間が入場するのに必要な前記ロボットシステム１の一部を停止させる指令を出力するために、ステップＳ１５とステップＳ１６の入場要求の確認のためのステップと入場準備信号を出すためのステップ１３が、予め居維持された停止位置でロボットの動作が停止したことを検出するステップ１２の前に設定される。

なお、人間が入場要求部２９を操作する代わりに、人間が手信号により入場要求を行ってもよい。この場合には、手信号に対応する画像モデルが予め画像処理部２５に登録されており、画像処理部２５はモデルマッチングにより入場要求があるか否かを判断する。この場合には、物理的な入場要求部２９を排除できる。

次に、信号出力部１２が出力する信号の種類毎に、ロボットシステム１の動作を説明する。はじめに入場不能信号、例えば赤信号または入場準備信号、例えば黄信号が出力されているときのロボットシステムの動作を図３Ａから図３Ｃおよび図４を参照しつつ説明する。図４に示される内容は、所定の制御周期毎に繰返し実施されるものとする。

図４においては、入場不能信号、例えば赤信号が出力されたときに所定区画内を視覚センサ１１が撮像した画像を、状態監視の基準画像とする。この基準画像が撮像されるときには、入場不能信号、例えば赤信号が出力されており、所定区画内には少なくとも当初は人間や異物を含む動体は存在しない。

図４のステップＳ２１においては、視覚センサ１１が安全柵１９内部の所定区画の画像を撮像し、状態監視の基準画像との比較が行われる。そして、ステップＳ２２において、これら画像の間に差分が存在する場合には、ステップＳ２３に進む。そして、ステップＳ２３においては、動体判断部２２が画像処理部２５のモデルマッチングを通じて、画像内にロボット１０、人間３０または異物が存在するか否かを判定する。

ステップＳ２４において、ロボット１０を予め撮像した基準画像からロボット１０の特徴を切り出して作られた画像モデルが用意されているので、まずロボット１０がその画像モデルとモデルマッチングで照合されマッチすると、そのロボット１０の部分を除外して、人間３０または異物のモデルマッチングを進める。前述した着用品画像モデル、例えばヘルメットを基準画像として予め撮像し、ヘルメットの特徴を切り出して作られた画像モデルが用意されているので、ヘルメットの画像モデルにマッチすれば、動体判断部２２は差分が人間３０であると判断する。予め登録した画像モデルにマッチしない差分が存在する場合には、動体判断部２２は差分が異物であると判断する。また、そのような差分が存在しない場合には、動体判断部２２は所定区画に人間および異物は無いと判定して処理を終了する。

入場不能信号、例えば赤信号が出力されている場合にはロボット１０は動作しているので、人間は所定区画内にいるべきではない。また、入場準備信号、例えば黄信号が出力されている場合にも人間の入場がまだ許可されていないので、人間は所定区画内にいるべきでない。

従って、入場不能信号または入場準備信号が出力されているときに人間が所定区画内に検出された場合には、入場が許可されていないのに人間が所定区画内に存在していることを意味する。それゆえ、ステップＳ２４において人間が検出された場合には、ステップＳ２５に進んで、停止部２１がロボット１０を非常停止させる。この場合、停止部２１がロボット１０の電源を遮断するのが好ましい。さらに、前述したようにロボットシステム１の一部分を停止させてもよい。

なお、ステップＳ２４において異物が検出された場合にも同様な処理が行われる。そして、第三出力部分１２ｂによる入場準備信号、例えば黄信号が出力されている場合には、ステップＳ２６において、これを第二出力部分１２ｃによる入場不能信号、例えば赤信号に切替える。なお、入場不能信号がはじめから出力されている場合には、ステップＳ２６において入場不能信号を維持する。

このように、本発明では、現在の画像と基準画像との比較を通じて異物および人間の判定を容易に行うことができる。なお、複数の画像モデルを用いて複数のモデルマッチングを行うのが好ましく、それにより、人間３０および異物の判定の精度を高められる。

次に、入場許可信号、例えば青信号が出力されているときのロボットシステムの動作を図３Ａから図３Ｃおよび図５を参照しつつ説明する。図５に示される内容は、所定の制御周期毎に繰返し実施されるものとする。また、図５のステップＳ２１〜ステップＳ２３は前述したのと同様であるので、再度の説明を省略する。ただし、入場許可信号、例えば青信号が出力されたときに所定区画内を視覚センサ１１が撮像した画像を、ステップＳ２１における状態監視の基準画像とする。

ステップＳ２２において、ロボット１０は停止しているのでロボットの分は差分として出てこない。また前述した着用品画像モデル、例えばヘルメットの画像モデルにマッチすれば、動体判断部２２は差分が人間３０であると判断する。これに対し、予め登録した画像モデルにマッチしない差分が存在する場合には、動体判断部２２は差分が異物であると判断する。なお、そのような差分が存在しない場合には、ステップＳ２２において動体判断部２２は所定区画に人間および異物は無いと判定する。

異物が検出された場合には、異物によってロボット１０や周辺機器１５、１６などが破損する可能性がある。次にロボットシステム１を運転開始する際に異物が残る可能性がある。特に異物が着用品画像モデルとマッチしない人間であった場合、不用意にロボット１０に近づき、万一ロボットが動き出すと、その人間に危害が及ぶ危険性が生ずる。従って、この場合には、ステップＳ２５に進んで、停止部２１がロボット１０を前述したように非常停止させる。さらに、前述したようにロボットシステム１の一部分を停止させてもよい。これにより、前述した危険性を避けられる。そして、ステップＳ２６において、第一出力部分１２ａによる入場許可信号、例えば青信号を第二出力部分１２ｃによる入場不能信号、例えば赤信号に切替える。

ステップＳ２４において人間が検出された場合（図３Ｃを参照されたい）には、ステップＳ３１において人間３０を追跡するよう設定される。従って、画像処理部２５は所定時間毎に撮像された画像を通じて人間３０の場所を検出する。次いで、ステップＳ３２においては、人間３０が所定区画内にあるか否かが判定される。この判定は、人間３０のモデルマッチングの照合により行われる。人間３０のモデルマッチングの照合ができず、即ち人間３０を所定区画内で見失ったと判定された場合には、ステップＳ２５に進んで、前述したようにロボットシステム１の一部分および／またはロボット１０を非常停止にする。これにより、人間３０の安全を図ることができる。

さらに、ステップＳ３２において人間３０が所定区画内に存在すると判定された場合には、ステップＳ３３に進む。ステップＳ３３においては、ステップＳ２３のモデルマッチングの照合位置を監視することでロボット１０が停止しているか否かが判定される。このときには、入場許可信号、例えば青信号が出力されているのでロボット１０は教示された停止位置で停止しているはずである。

従って、ステップＳ３３においてロボット１０が動作していると判定された場合には、ロボット１０は何らかの原因により意図せずに動作しているものと判断できる。このような場合には、所定区画内の人間３０に危険が及ぶため、ステップＳ２５に進んで、前述したようにロボットシステム１の一部分および／またはロボット１０を非常停止させる。このような処理により、人間３０が安全柵１９内で作業をする場合であっても、人間３０の安全を確保できることが分かるであろう。

なお、図面には示さないものの、人間が所定区画に存在しない場合であっても、ロボット１０が動作していると判定された場合には、前述したようにロボットシステム１の一部分および／またはロボット１０を非常停止させるのが好ましい。これにより、ロボット１０が周辺機器などに衝突するのを避けることができる。

ところで、人間がロボット１０に対して行う作業の内容によっては、従来ならばロボット１０などを非常停止させた後で入場する必要のある区域が存在する。本発明においては入場許可信号が出力されているときにロボット１０が動作したことが検出されると、ロボット１０などは非常停止される。このような処理が行われるので、本発明において、人間は、ロボット１０などを従来のように始めから非常停止とすることなしに、前述した区域に入場することができる。従って、非常停止状態では十分にメンテナンスできない箇所であっても十分なメンテナンスを行うことが可能となる。また、ロボット１０などの動作を再開させる際にも、非常停止の影響を完全に除去することが可能である。

次いで、ステップＳ３６で人間の追跡を続け、該人間を見失わずに人間３０が所定区域から退場したことが確認するステップＳ３７に進む。入場要求部２９に退場操作部を追加して、該人間が所定区画から退場して該退場操作部を操作して安全柵１９内の所定区画からの退場を宣言することでステップＳ３７において人間３０が所定区画から退場したかが判定されるようにしてもよい。ステップＳ３６の人間の追跡は、現在の画像に対し人間３０と判断する画像モデルマッチングを前述したように繰返し比較することにより行われる。

人間３０が所定区画から退場したのが確認されると、第一出力部分１２ａによる入場許可信号、例えば青信号から第二出力部分１２ｃによる入場不能信号、例えば赤信号に切替える。これと同時に、停止部２１を解除することによりロボット１０を再起動させ、ロボットシステム１を再開させる。これにより、ロボット１０は動作プログラムに従って作業を容易に継続することができる。また、人間が所定区画から退場した後で、ロボット１０などを再起動させているので、人間の安全は確保されている。

このように、本発明においては、ロボット１０が予め教示された停止位置でその動作を停止すると、ロボット１０を停止位置で作業を停止させ、また必要に応じてロボットシステム１も部分的に停止させ、入場許可信号を出力するようにしている。入場許可信号が出力されたときには、入場ができるようロボット１０および／またはロボットシステム１は停止しているので、人間はロボット１０近傍の所定区画に安全に入場することができる。言い換えれば、ロボット１０が動作しているときに人間３０が所定区画への入場を要求しても、人間３０は所定区画に入場できない。

なお、ロボット１０の停止位置は、所定の大きさの空間として教示されていてもよい。そして画像処理部２５により、ロボット１０がこれら空間でその動作を停止したことが検出された場合には、ロボット１０が停止位置でその動作を停止したとみなされる。この場合には、ロボットの停止位置などに余裕代を与え、人間の安全をさらに確保することができる。

また、本発明では、視覚センサ１１を設置すると共にロボット１０の停止位置を画像処理部２５に教示するなど視覚センサ１１の教示のみで十分である。従って、ロボット１０側を改造することなしに、本発明を既存のシステムに適用することができる。それゆえ、従来技術のようにロボットのプログラムおよび回路を変更する必要性を排除できる。また、教示の際には、操作者に負担がかからず、また熟練度も必要とされない。

ところで、図示しない実施形態においては、信号出力部１２が第一出力部分１２ａおよび第二出力部分１２ｃのうちの少なくとも一方のみを備えていてもよい。例えば、信号出力部１２が第一出力部分１２ａと第三出力部分１２ｂのみを備えていても良い。
この場合には、第一出力部分１２ａから入場許可信号が出力されていないとき、例えば第一出力部分１２ａが消灯しているには、人間が所定区画に入場不能な状態を意味するものとする。

あるいは、信号出力部１２は第二出力部分１２ｃと第三出力部分１２ｂのみを備えていてもよい。この場合には、第二出力部分１２ｃから入場不能信号が出力されていないとき、例えば第二出力部分１２ｃが消灯しているときには、人間が所定区画へ入場するのが許可された状態を意味するものとする。

このような場合であっても、人間は信号出力部１２を参照することにより、現在、所定区画に安全に入場可能か否かを容易に判断することができる。また、出力部分の数を減らせるので、信号出力部１２の寸法および費用を低減させられる。

典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、前述した変更および種々の他の変更、省略、追加を行うことができるのを理解できるであろう。

１ ロボットシステム
１０ ロボット
１１ 視覚センサ（撮像部）
１２ 信号出力部
１２ａ 第一出力部分
１２ｂ 第三出力部分
１２ｃ 第二出力部分
１３ 音声出力部
１４ ポスト
１５ 第一周辺機器
１６ 第二周辺機器
１８ ドア
１９ 安全柵
２０ ロボット制御部
２１ 停止部
２２ 動体判断部
２５ 画像処理部
２９ 入場要求部

Claims (12)

1. ロボット動作区画に配置されたロボット（１０）と、該ロボットが前記ロボット動作区画において動作するよう制御するロボット制御部（２０）とを含むロボットシステム（１）において、
   前記ロボット動作区画の一部分を少なくとも含む所定区画を撮像する撮像部（１１）と、
   該撮像部により撮像された画像を処理する画像処理部（２５）と、
   人間が前記所定区画へ入場するのを要求する際に操作される入場要求部（２９）と、
   該入場要求部の操作を受け付ける入場準備の状態であることを示す入場準備信号と、
   前記入場要求部により人間が前記所定区画へ入場することを要求された状態において前記人間が前記所定区画へ入場するのを許可する入場許可信号とを、前記画像処理部の処理結果に応じて出力する信号出力部（１２）と、を具備し、
   前記画像処理部により、前記ロボットの動作が停止したことが検出された場合には、前記信号出力部により前記入場準備信号を出力し、その後、前記人間が前記入場要求部を用いて前記所定区画への入場を要求した場合には、前記ロボットの作業を停止させる指令もしくは前記ロボットの作業を停止させる指令と前記人間が入場するのに必要な前記ロボットシステムのうちの一部分を停止させる指令との両方を出力し、前記信号出力部により前記入場許可信号を出力する、ロボットシステム。
2. 前記信号出力部は、前記ロボットが動作しているときに前記人間が前記所定区画に入場不能な状態を示す入場不能信号と、前記入場許可信号との少なくともいずれか一方を、前記画像処理の処理結果に応じて出力する、請求項１に記載のロボットシステム。
3. 前記画像処理部により、前記ロボットが予め教示された停止位置でその動作を停止したことが検出された場合に限り、前記信号出力部より前記入場準備信号を出力し、その後、前記人間が前記入場要求部を用いて前記所定区画への入場を要求した場合に、前記ロボットの作業を停止させる指令もしくは前記ロボットの作業を停止させる指令と前記人間が入場するのに必要な前記ロボットシステムのうちの一部分を停止させる指令との両方を出力する、請求項１又は請求項２に記載のロボットシステム。
4. 前記画像処理部によって前記人間が前記所定区画から退場したことが検出された場合には、前記ロボットシステムの前記一部分または前記ロボットを再始動させるようにした、請求項１から請求項３のいずれか一項に記載のロボットシステム。
5. 前記信号出力部が前記入場許可信号を出力した後で、前記画像処理部によって前記ロボットが動作開始したことが検出された場合には、前記ロボットの作業を停止させる指令もしくは前記ロボットの作業を停止させる指令と前記人間が入場するのに必要な前記ロボットシステムのうちの一部分を停止させる指令との両方を出力するようにした、請求項１から４のいずれか一項に記載のロボットシステム。
6. 前記画像処理部は、前記人間が着用する着用品の着用品画像モデルを含む動体を前記人間と判断すると共に前記着用品画像モデルを含んでいない動体を異物と判断する動体判断部（２２）を有し、
   該動体判断部により異物と判断された動体が前記所定区画に検出された場合には、前記ロボットの作業を停止させる指令もしくは前記ロボットの作業を停止させる指令と前記人間が入場するのに必要な前記ロボットシステムのうちの一部分を停止させる指令との両方を出力するようにした、請求項１から５のいずれか一項に記載のロボットシステム。
7. 前記画像処理部が、前記人間が前記所定区画から退場したことが検出される前に前記人間を見失った場合には、前記ロボットの作業を停止させる指令もしくは前記ロボットの作業を停止させる指令と前記人間が入場するのに必要な前記ロボットシステムのうちの一部分を停止させる指令との両方を出力するようにした、請求項１から６のいずれか一項に記載のロボットシステム。
8. 前記信号出力部が前記入場許可信号を出力する前に前記動体判断部が前記所定区画内の動体を前記人間と判断した場合には、前記ロボットの作業を停止させる指令もしくは前記ロボットの作業を停止させる指令と前記人間が入場するのに必要な前記ロボットシステムのうちの一部分を停止させる指令との両方を出力するようにした、請求項１から７のいずれかに記載のロボットシステム。
9. 前記信号出力部は前記入場許可信号を出力する第一出力部分（１２ａ）および前記入場不能信号を出力する第二出力部分（１２ｃ）のうちの少なくとも一方と、前記入場準備信号を出力する第三出力部分（１２ｂ）とを有し、
   前記信号出力部が前記第一出力部分および前記第三出力部分のみを有する場合において前記第一出力部分から前記入場許可信号が出力されていないときには、前記人間が前記所定区画に入場不能な状態を意味し、前記第一出力部分と前記第三出力部分は前記人間から認識されるように配置されており、
   前記信号出力部が前記第二出力部分および前記第三出力部分のみを有する場合において該第二出力部分から前記入場不能信号が出力されていないときには、前記人間が前記所定区画へ入場するのが許可された状態を意味し、前記第二出力部分と前記第三出力部分は前記人間から認識されるように配置されており、
   前記信号出力部が前記第一出力部分、前記第二出力部分及び前記第三出力部分を有する場合には、前記第一出力部分、前記第二出力部分及び前記第三出力部分は前記人間から認識されるよう配置されている、請求項２に記載のロボットシステム。
10. 前記停止位置が、所定の大きさの空間として教示されており、前記画像処理部により、前記ロボットが前記空間でその動作を停止したことが検出された場合には、前記ロボットが前記停止位置で停止したとみなすようにした、請求項３から９のいずれか一項に記載のロボットシステム。
11. 前記入場許可信号、前記入場不能信号または前記入場準備信号は視覚的および聴覚的のうちの少なくとも一方により互いに差異があるように出力される、請求項９に記載のロボットシステム。
12. ロボット動作区画に配置されたロボット（１０）と、該ロボットが前記ロボット動作区画において動作するよう制御するロボット制御部（２０）とを含むロボットシステム（１）において、
    前記ロボット動作区画の一部分を少なくとも含む所定区画を撮像する撮像部（１１）と、
    該撮像部により撮像された画像を処理する画像処理部（２５）と、
    人間が前記所定区画へ入場するのを要求する際に操作される入場要求部（２９）と、
    該入場要求部の操作を受け付けた入場準備の状態であることを示す入場準備信号と、
    前記入場要求部により人間が前記所定区画へ入場することを要求された状態において前記人間が前記所定区画へ入場するのを許可する入場許可信号とを、前記画像処理部の処理結果に応じて出力する信号出力部（１２）と、を具備し、
    前記画像処理部により、前記ロボットの動作が予め教示された停止位置で停止したことが検出された場合には、前記人間が前記入場要求部を用いて事前に所定区画への入場を要求していた場合に限り、前記入場が要求された時点から入場準備信号を出力し、前記ロボットの動作が予め教示された停止位置でその動作を停止したことが検出された時点で、前記ロボットの作業を停止させる指令もしくは前記ロボットの作業を停止させる指令と前記人間が入場するのに必要な前記ロボットシステムのうちの一部分を停止させる指令との両方を出力し、前記信号出力部により前記入場許可信号を出力する、ロボットシステム。

Images