JP6657858B2 - ロボット操作システム - Google Patents

Description

本発明は、複数台のロボットが設けられている協調システムにおいてロボットを操作するロボット操作システムに関する。

近年、複数台のロボットを設け、各ロボットを協調して動作させる協調システムが構築されつつある。このような協調システムにおいて教示作業を行う場合、１人のユーザが１つのティーチングペンダントを用いて各ロボットをそれぞれ教示することがあるが、その場合、ロボットがどのように動作するのかが直感的に把握し難いという実情がある。また、ロボットの動作状態をユーザに提示することは、機能安全や例えばＵＬ規格のような安全規格を満たすという観点からみて、重要な意義を持っている。
この場合、ロボットの情報をユーザに提示するための手法としては、例えば特許文献１のようにロボットの表面に表示器を設けて情報表示をすることが考えられる。

特開２００８−１４９４４２号公報

しかしながら、教示作業中においてはユーザとロボットとの位置関係が常に同じという訳ではないことから、ロボット側に表示器を設けると、ユーザの位置によっては表示が見えなくなることが予想される。また、ロボットの姿勢によっては表示器の上下が逆さまになり、表示内容が見づらくなることも予想される。また、表示器に汚れがついた場合には、表示そのものが見えなくなることが予想される。このように、ロボット側に表示器を設ける構成では、ロボットの動作状態をユーザに提示することができなくなるおそれがある。
本発明は上記事情に鑑みてなされたものであり、その目的は、ロボットの動作状態を確実にユーザに提示することができるロボット操作システムを提供することにある。

請求項１に係る発明では、ロボット操作システムは、ユーザの位置を特定可能な位置情報を取得する位置情報取得部と、ユーザの視野を特定可能な視野情報を取得する視野情報取得部と、ユーザが作業対象として設定したロボットを特定する特定部と、ユーザの位置および視野に基づいて、ユーザが作業対象として設定したロボットを囲う線分で構成された仮想的な画像であって当該ロボットの動作状態を示す仮想的な線画像を生成する線画像生成部と、生成された線画像をユーザの視野に重ねて表示する装着型表示器と、を備える。

ここで、ユーザの視野に画像を重ねて表示する際に懸念される事項についてまず検討してみる。操作可能なロボットが複数台設けられている状況において、いずれのロボットが動作するのかを作業者に直感的に分かり易く提示する場合には、余り多くの情報を提示すると、どのロボットが動作するのかが反って分かりづらくなってしまうおそれがある。そのため、比較的シンプルな画像によりどのロボットが動作するのかを提示することが望ましい。

また、ロボットを手動操作する状況においては、作業対象に設定されたロボットは、ユーザの操作に応じて動作してその姿勢が変化することが当然予想される。このとき、透過型ディスプレイとも称される装着型表示器では、ユーザの視野内に、ユーザが見ている風景よりも前面側に画像が表示される。そのため、画像の表示態様によっては、ユーザの視野が遮られたり、あるいは、風景が画像を透かした状態になったりする等、ロボットに対する視認性が低下する可能性がある。しかし、上記したようにユーザの操作に応じて動作してロボットの姿勢が変化することが予想される場合には、ロボットに対する視認性が低下することは好ましくない。

また、危険性の目安を例えば色の違いで識別表示する場合、一般的に言えば、青色は安全な状態、黄色は注意すべき状態、赤色は危険性が高い状態といった態様で色分けすれば、ユーザが直感的に分かり易くなると考えられる。しかし、例えばロボットの色が黄色であった場合には、注意を示すために表示した画像とロボットの色とが重なってしまい、表示された画像そのものを見落とす可能性が懸念される。これに対して、ロボットの背景は、例えば工場内の風景であるため、単一色である可能性は低いと考えられる。

そこで、線画像生成部は、ロボットを囲う線分で構成された仮想的な画像であって当該ロボットの動作状態を示す仮想的な線画像を生成する。このように生成された線画像は、ロボットと重ならない状態、あるいは、ロボットに重なる部分が少ない状態で表示される。そのため、線画像の線種や色がどのようなものであってもロボットの色に関わらず視認できるとともに、背景に溶け込んで線画像そのものの視認性が低下することが防止される。

このように、動作状態を識別可能に示す線画像を明確に表示することができることから、ロボットの動作状態を確実にユーザに提示することができる。
また、ロボットと重ならない状態、あるいは、ロボットに重なる部分が少ない状態で表示されることから、ロボットに対する視認性が低下することも防止できる。換言すると、ユーザは、線画像が表示されていてもロボットの動作を視認でき、安全性を高めることができる。

また、ロボットを囲うというシンプルな画像であり、且つ、ユーザがロボットを操作する際に表示されることから、その線画像が操作対象に設定したロボットを示していることを、ユーザは容易且つ明確に把握することができる。そして、作業対象に設定されたロボットが明確に提示されることから、ユーザが意図しないロボットがいきなり動作するといった状況を回避でき、より安全性を高めることができる。

また、線画像を生成する処理は、例えばレンダリング等の処理に比べると、その負荷が小さいと考えられる。また、線画像の基準となるアームの角度等は、モータの回転角度から容易に求めることができる。そのため、線画像を生成するために高性能のＣＰＵ等を用いる必要がなく、コストの大幅な上昇を招くことがない。

請求項２に係る発明では、線画像生成部は、線画像を、異なる色、異なる線種、あるいは異なる表示態様とすることにより、識別可能に生成する。例えば１つの線画像を表示した場合、その画像が意味するものを予め知っておく必要がある。これに対して、例えば、複数のロボットのうち、ユーザが作業対象として設定した１台を赤色の線画像とし、ユーザが作業対象として設定していない他のロボットを青色の線画像とすれば、一般的な感覚では赤色のロボットが動作すると受け取られると予想される。これは、実線と点線のように異なる線種で表示する場合や、点灯表示と点滅表示のように線画像を表示する際の表示態様が異なる場合も同様であると考えられる。

つまり、動作状態を示すために１種類の線画像を表示するのでは無く、その比較対象となる他の線画像を併せて表示することにより、動作状態が他の部分と異なること、例えば表示が異なる部分が動くこと等を、直感的に把握することができる。また、必ずしも複数のロボット間で比較可能に表示する必要は無く、例えば複数の可動部を備えるロボットにおいて、動作する可動部に対応する線画像と動作しない可動部に対応する線画像とを異なる表示態様としたり、１つのロボットに対して１つの線画像を表示する際にその線分の一部を異なる表示態様にしたりする場合も勿論同様である。

請求項３に係る発明では、線画像生成部は、線画像を、ロボットの可動部ごとに区分けし、識別可能に生成する。例えば６軸の垂直多関節型の場合、複数の可動部が存在している。そのため、可動部ごとに区分けした線画像を生成し、各可動部の動作状態や動作方向等を識別表示することで、動作するロボットだけで無く、どの部分が動作するのかも提示することができる。そして、どの部分が動作するかが分かれば、その部分に注目しつつ操作することができる等、安全性をさらに高めることができる。

請求項４に係る発明は、線画像生成部は、線画像を、ユーザによって操作されたロボットの姿勢の変化に追従させて再生成する。これにより、線画像で示される範囲と実際のロボットの姿勢とが一致し、最初に生成された線画像と動作後のロボットの姿勢とが一致しないことによる混乱を防止することができる。

請求項５に係る発明では、線画像生成部は、線画像を、ロボットの姿勢がユーザに接近する方向へ変化する場合とユーザから離間する方向へ変化する場合とで識別可能に生成する。ロボットが動作すること自体を提示している状況であっても、ロボットの姿勢がユーザに接近する方向へ変化する場合には、ユーザから離間する方向へ変化する場合と比べて危険性が高いと考えることができる。そのため、ロボットの姿勢が変化する方向を識別可能にすることで、安全性をさらに高めることができると考えられる。

請求項６に係る発明では、線画像生成部は、線画像を、協調システムを構成する全てのロボットに対して生成するとともに、ユーザが作業対象として設定したロボットと作業対象として設定されていない他のロボットとを識別可能に生成する。これにより、ユーザは、自身が操作可能なロボットを容易に把握することができ、協調システムの調整を効率的に行うことができる。

実施形態におけるロボット操作システムでの作業風景を模式的に示す図 ロボット操作システムの電気的構成を模式的に示す図 線画像の一例を模式的に示す図その１ 線画像の一例を模式的に示す図その２ ユーザの視野に表示される状態の一例を模式的に示す図 線画像の一例を模式的に示す図その３

以下、本発明の実施形態について図１から図６を参照しながら説明する。
図１に示すように、本実施形態のロボット操作システム１は、複数台のロボット２が設けられており、各ロボット２が協調して作業を行う協調システムを構成している。このロボット操作システム１に対して、ユーザは、ペンダント３によって各ロボット２をそれぞれ手動操作することができる。そして、ユーザは、各ロボット２を手動操作する場合には、装着型表示器に相当するメガネ型表示器４を装着して作業を行う。

本実施形態では、ロボット２としていわゆる垂直多関節型ロボットを想定している。このロボット２は、一般的な構成であるため詳細な説明は省略するが、モータによって駆動される６軸分のアームを有し、第６軸アームの先端にツールが装着されて使用されるものである。ただし、ロボット２は、これに限定されず、水平多関節型ロボット、直動型ロボット、自走式ロボットあるは人型ロボットであってもよいし、それらが混在していてもよい。以下、複数台のロボット２のうち個別の説明をする場合には、便宜的に符号２Ａ〜２Ｃを用いて説明する。

このロボット２は、図２に示すように、ロボット２の動作つまりは各軸のモータを制御するコントローラ５に接続されている。このコントローラ５は、複数台のロボット２Ａ〜２Ｃに対して、符号５Ａ〜５Ｃにて示すように個別に設けられている。なお、コントローラ５は一般的に周知の構成のものを用いているので、換言すると、本実施形態においてはロボット２およびコントローラ５に特別な構成を必要としないので、その詳細な説明は省略する。

メガネ型表示器４は、一般的なメガネと同様にユーザが頭部に装着可能な形状に形成されており、レンズ部分に相当する透明な表示部４１に画像を表示することができる。このため、メガネ型表示器４にて表示される画像は、ユーザの視野に重なって表示されることになる。換言すると、ユーザは、自身の目で見た現実の風景と、メガネ型表示器４によって表示された仮想的な画像とを併せて見ることになる。このようなメガネ型表示器４は、透過型ディスプレイとも称される。

このメガネ型表示器４は、本実施形態の場合、撮像部４２、位置情報取得部４３、および視野情報取得部４４を備えている。本実施形態では、図１に示すように、これら撮像部４２、位置情報取得部４３および視野情報取得部４４をモジュール化したものがメガネ型表示器４のフレームに設けられている。なお、モジュール化されておらず、個別に設けられているものであってもよい。

撮像部４２は、小型のＣＣＤカメラやＣＭＯＳカメラで構成されている。この撮像部４２は、メガネ型表示器４のフレームに、ユーザの顔の向きと一致するように設けられている。そのため、撮像部４２によって撮像される画像は、ユーザの視野とほぼ同一の画角となっている。換言すると、撮像部４２は、ユーザが見ている風景とほぼ同一の風景を撮像する。

位置情報取得部４３は、小型のＧＰＳ（Global Positioning System）ユニットで構成されており、ユーザの位置を特定可能な位置情報を取得する。なお、位置情報取得部４３は、ＧＰＳユニットのように直接的に位置を特定する構成に限定されるものではなく、例えば工場の入り口等の基準位置からのユーザの移動軌跡を取得し、基準位置に対する変位量に基づいて間接的に位置を特定するような構成としてもよい。

視野情報取得部４４は、ユーザの視野を特定可能な視野情報を取得する。本実施形態では、ユーザの視野が顔の向きに一致すると考えており、メガネ型表示器４に設けられている三軸の加速度センサにより顔の向きつまりは視野を特定している。なお、視野情報取得部４４としては、加速度センサ以外で構成してもよく、例えばジャイロセンサを設けたり、上記した撮像部４２で撮像した画像から視野を特定したりする構成としてもよい。

これらペンダント３、メガネ型表示器４および各コントローラ５は、上位の制御装置である安全コントローラ６に、各種の情報を通信可能に接続されている。この場合、安全コントローラ６とペンダント３との間は、直接的に接続されていてもよいし、いずれかのコントローラ５を経由して間接的に接続されていてもよい。また、メガネ型表示器４との間も、例えば無線通信方式により直接的に接続されていてもよいし、ペンダント３を経由して間接的に接続されていてもよい。

この安全コントローラ６は、コントローラ５側から各ロボット２の動作状態および各コントローラ５による制御状態を特定可能な各種の情報を取得可能に構成されている。そのため、安全コントローラ６は、ロボット２のアームの回転角度やモータの通電状態等、ロボット２の動作状態を示す動作情報およびコントローラ５の制御状態を示す制御情報をリアルタイムで取得することができる。また、安全コントローラ６は、例えば工場内における基準位置を原点とした２次元座標系における各ロボット２の座標つまりはロボット２の設置位置も記憶している。

また、安全コントローラ６は、線画像生成部６１および特定部６２を備えている。本実施形態では、これら線画像生成部６１および特定部６２は、図示しない制御部においてプログラムを実行することによってソフトウェア的に実現されている。
線画像生成部６１は、詳細は後述するが、位置情報取得部４３によって取得されたユーザの位置、および、視野情報取得部４４によって取得されたユーザの視野に基づいて、作業対象として設定されたロボット２の姿勢に応じた画像であって、当該ロボット２を囲う線で構成された仮想的な線画像を生成する。

特定部６２は、複数台のロボット２のうち、ユーザが作業対象に設定したロボット２を特定する。例えば、教示作業を行う場合、ユーザは、複数のロボット２Ａ〜２Ｃのうちロボット２Ｃを作業対象に設定したとする。この場合、ユーザは、ペンダント３を用いて作業対象に設定するロボット２Ｃを選択する。そして、ユーザの選択結果は、安全コントローラ６に送信される。このため、安全コントローラ６は、ユーザが作業対象に設定したのが例えばロボット２Ｃであることを特定できる。なお、ペンダント３側に特定部３１を設け、特定部３１により作業対象となるロボット２を特定し、その特定結果を安全コントローラ６に送信する構成としてもよい。

次に、上記した構成の作用について説明する。
ここで、ユーザの視野に線画像を重ねて表示する際に懸念される事項についてまず検討してみる。
本実施形態では、図１に示したように操作可能なロボット２が複数台設けられている状況において、いずれのロボット２が動作するのかを作業者に直感的に分かり易く提示することを想定している。その場合、余り多くの情報を提示すると、どのロボット２が動作するのかが反って分かりづらくなってしまうおそれがある。そのため、どのロボット２が動作するのかは、比較的シンプルに提示することが望ましい。

また、本実施形態では、ロボット２を手動操作する状況において、作業対象に設定したロボット２およびそのロボット２の動作状態を提示することを想定している。そして、作業対象に設定されたロボット２は、ユーザの操作に応じて動作して、その姿勢が変化することが当然のことながら予想される。

さて、メガネ型表示器４のような透過型ディスプレイの場合、仮想的な画像は、ユーザの視野において、ユーザが見ている風景よりも前面側に重なるように表示される。このため、表示される画像によっては、ユーザの視野が遮られたり、あるいは、画像を透かして風景を見ることによって若干見づらくなったりする等、ロボット２に対する視認性が低下する可能性がある。しかし、上記したようにユーザの操作に応じて動作してロボット２の姿勢が変化することが予想されるため、そのような状況においてロボット２に対する視認性を低下させることは好ましくない。

そこで、本実施形態では、線画像生成部６１において、作業対象として設定されたロボット２の姿勢に応じた画像であって当該ロボット２を囲う線で構成された線画像を生成する。換言すると、線画像生成部６１によって生成される線画像は、ロボット２に対する視認性が低下しないように、なるべくロボット２と重ならないような態様で生成される。

具体的には、図３に示すように、線画像生成部６１は、作業対象として設定された例えばロボット２Ｃの周囲に、いわゆるワイヤーフレームのように複数の線で構成され、ロボット２の各アームの外形を拡大した態様の仮想的な線画像ＶＬ１を生成する。この場合、線画像ＶＬ１は、一部がロボット２に重なるものの、その線分が比較的細く生成されている。このため、線画像ＶＬ１をメガネ型表示器４にて表示しても、ロボット２そのものの動作状態が見えなくなるほど視認性が低下することはない。

さて、例えば危険性の目安を色で識別表示する場合、一般的な感覚で言えば、青は安全、黄色は注意、赤は危険性が高いといった識別態様になると考えられる。この場合、例えばロボット２の色が黄色であると、注意を示す画像がロボット２の色を重なってしまい、画像そのものを見落とす可能性が懸念される。この場合、赤色は識別できるとかが得られるが、安全のためには、黄色つまりは注意の段階で対処できることが望ましい。一方、ロボット２の背景は、単色である可能性は低いと考えられる。そのため、ロボット２を囲うように、つまり、ロボット２を重ならない線分を有するような線画像を生成することで、ロボット２と重ならない線分が表示されることになり、もって、線画像ＶＬ１そのものの視認性を高めることができると考えられる。

この場合、線画像ＶＬ１は、比較的低い負荷で生成することができる。上記したように、安全コントローラ６は、ロボット２の姿勢を特定可能なモータの回転角度等の制御情報を取得している。このため、モータの回転角度が分かっていれば、ロボット２の姿勢を把握することができる。すなわち、モータの回転角度が分かっていれば、各回転軸を結ぶ線分、つまりは、各アームの中心線を容易に求めることができる。そして、各アームの中心線が求まれば、ロボット２の各アームの外径は既知であるので、中心線に対して外径よりも離れた位置に中心線をコピーした態様の線分を設定することで、線画像ＶＬ１の外縁を構成する各線分を設定することができる。

このため、線画像ＶＬ１を生成する処理は、例えばレンダリング等によりロボット２の表面をトレースした画像を生成する処理に比べると、その負荷を大きく低減することができる。
この場合、線画像生成部６１は、図４（ａ）に示すように、図３に示した線画像ＶＬ１の外縁を結んだ態様の線画像ＶＬ２を生成することもできる。このような態様の線画像ＶＬ２によれば、ロボット２に重なる状態をほぼ無くすことができ、視認性が低下するおそれをさらに低減することができると考えられる。

また、線画像生成部６１は、図４（ｂ）に示すように、線画像ＶＬ２と線種または色が異なる線画像ＶＬ３を生成してもよい。この場合、線画像生成部６１は、例えば作業対象となっているロボット２Ｃに対して線画像ＶＬ２を生成し、作業対象ではない他のロボット２Ｂに対して線画像ＶＬ３を生成することで、作業対象のロボット２Ｃと作業対象ではない他のロボット２Ｂとを識別可能にしてもよい。この場合、識別可能とは、異なる線種、異なる色、あるいは、点滅させる等の表示態様が異なる状態を意味している。

このように生成された線画像は、図５に示すように、メガネ型表示器４によって、ユーザの視界１０に、つまりユーザの視野に風景と重ねて表示される。この図５の場合、線画像ＶＬ２で囲まれたロボット２Ｃが作業対象に設定されており、線画像ＶＬ３で囲まれたロボット２Ａ、２Ｂが作業対象では無いこと、つまりは、ユーザが操作した場合にはロボット２Ｃが動作することが示されている。

これにより、ユーザは、複数台のロボット２Ａ〜２Ｃのうち、いずれが作業対象であり、操作した際に動作するのかを、直感的に把握することができる。
ところで、安全コントローラ６、上記したように、ロボット２の動作状態とコントローラ５の制御状態とを把握することができる。そのため、ユーザによってロボット２が操作された際、ロボット２の動作に応じて、つまりは、ユーザによって操作されたロボット２の姿勢の変化に追従させて、線画像を再生成してもよい。これは、ロボット２の姿勢が変化した際、最初に表示されていた線画像が残っていると、その線画像に重なってロボット２の視認性が低下する可能性があるためである。

また、図６に示すように、ロボット２の可動部ごとに区分けして生成されている線画像ＶＬ１（図３参照）に対して、実際に動く部分を識別可能としてもよい。図６（ａ）の場合、線画像ＶＬ１の一部を構成する線画像ＶＬ１１が、他の線分に比べて線を太くする、あるいは色を変えることにより、強調つまりは識別可能に表示されている。これにより、動作対象となるロボット２のうち、実際に動くアームがアーム２１であることを、ユーザに提示することができる。

この場合、例えばアーム２１がユーザに接近する方向に動作する場合とユーザから離間する方向に動作する場合とで、識別可能にしてもよい。例えば図６（ａ）に示す線画像ＶＬ１１がユーザに接近する方向に動作する場合であるとすると、例えば図６（ｂ）に示す線画像ＶＬ１２のように、異なる線種または色により、その動作方向を提示するようにしてもよい。なお、図４に示した線画像ＶＬ２の場合も同様である。

また、動作方向ではなく、例えばロボット２やモータの通電状態等に応じて、線画像の線種や色を異ならせてもよい。つまり、モータが通電している場合にはアームが動作する可能性があるため、危険度の目安として、モータの通電状態を例えば線画像の色を変えることで提示してもよい。
このように、ロボット操作システム１では、メガネ型表示器４に線画像を表示することにより、作業対象となるロボット２と、そのロボット２の動作状態とを、ユーザに提示している。

以上説明した本実施形態によれば、次のような効果を得ることができる。
ロボット操作システム１は、ユーザの位置を特定可能な位置情報を取得する位置情報取得部４３と、ユーザの視野を特定可能な視野情報を取得する視野情報取得部４４と、ユーザが作業対象として設定したロボット２を特定する特定部６２（３１）と、ユーザの位置および視野に基づいて、ロボット２を囲う線分で構成された仮想的な画像であって当該ロボット２の動作状態を識別可能に示す線画像を生成する線画像生成部６１と、生成された線画像をユーザの視野に重ねて表示するメガネ型表示器４（装着型表示器）と、を備える。

ロボット２を囲う線分で構成された線画像を生成することにより、ロボット２と重ならない部分を有する線画像が表示されることになり、線画像の視認性を高めつつも、作業対象に設定されたロボット２を確実にユーザに提示することができる。
また、作業対象に設定されたロボット２を確実に提示できることから、ユーザの意図とは異なるロボットが動作することを防止でき、安全性を高めることができる。
このとき、線画像生成部６１は、線画像を、ロボット２の動作状態に応じて生成する。例えば、ロボット２のモータがＯＮになっている場合には、アームが動く可能性がある。そのため、動く可能性のあるアームを識別可能にすることで、ユーザはどのアームが動く可能性があるのかを把握でき、危険の予測および回避に役立てることができる。

線画像生成部６１は、線画像を、ロボット２の可動部ごとに区分けし、識別可能に生成する。例えば本実施形態で例示した６軸の垂直多関節型の場合、複数の可動部が存在している。そのため、例えば図３、図６に示したように可動部ごとに区分けした線画像を生成し、各可動部の動作状態や動作方向等を識別表示することで、動作するロボット２だけで無く、どの部分が動作するのかまで提示することにより、安全性をさらに高めることができると考えられる。

線画像生成部６１は、線画像を、ユーザによって操作されたロボット２の姿勢の変化に追従させて再生成する。これにより、線画像で示される範囲と実際のロボット２の姿勢とが一致し、線画像とロボット２の姿勢とが一致しないことによる混乱を防止することができる。

線画像生成部６１は、線画像を、ロボット２の姿勢がユーザに接近する方向へ変化する場合とユーザから離間する方向へ変化する場合とで識別可能に生成する。ロボット２が動作すること自体を提示している状況であっても、ロボット２の姿勢がユーザに接近する方向へ変化する場合には、ユーザから離間する方向へ変化する場合と比べて危険性が高いと考えることができる。そのため、ロボット２の姿勢が変化する方向を識別可能にすることで、安全性をさらに高めることができると考えられる。

線画像生成部６１は、線画像を、協調システムを構成する全てのロボット２に対して生成するとともに、作業対象のロボット２と作業対象ではない他のロボット２とを識別可能に生成する。これにより、ユーザは、自身が操作可能なロボット２を容易に把握することができ、協調システムの調整を効率的に行うことができる。

本発明は、上記し又図面に記載した態様に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形や拡張をすることができる。
位置情報取得部４３として、例えば工場内に設置されている監視カメラ等を用いてもよい。また、位置情報取得部４３は、必ずしもメガネ型表示器４に設けられていなくてもよく、例えばペンダント３に設けてもよい。また、ロボット２側に人を検知するレーザセンサや人感センサ等を設けておき、それらのセンサの検出結果に基づいて位置を特定する構成としたり、センサの検出結果と撮像部４２で撮像した画像とに基づいて位置を特定する構成としたり、撮像部４２によって撮像された画像に基づいてロボット２に対する相対的な位置を特定する構成としたりしてもよい。
実施形態では安全コントローラ６側に線画像生成部６１を設けたが、上記したように線画像を生成する処理はレンダリング処理に比べれば負荷が小さいため、ペンダント３やメガネ型表示器４側で線画像を生成する構成としてもよい。

実施形態ではロボット２の動作状態や制御状態に基づいて線画像を生成したが、ロボット２とユーザの位置との関係、および、撮像部４２で撮像した画像に基づいて作業対象となるロボット２を特定するとともに、撮像部４２で撮像した画像内のロボット２を画像処理等により特定し、その画像に写っているロボット２を囲うような線画像を生成してもよい。これにより、ユーザが実際に見ているロボット２の姿勢に一致させた状態の線画像を生成することができる。

実施形態ではロボット２の動作状態として手動操作時にどのロボット２が動作するか、およびモータのＯＮ／ＯＦＦ状態を例示したが、アームの動作スピードが低速状態か高速状態か、動作モードが１つの軸だけを動かすモードが複数の軸を同時に動かすモードか等、ロボット２の動作に関わるものであればどのような情報であってもよい。

実施形態で示した処理を、ペンダント３、メガネ型表示器４、コントローラ５等で分散させてもよい。例えば、ペンダント３に特定部、位置情報取得部、視野情報取得部、線画像生成部を設けたり、メガネ型表示器４に位置情報取得部、視野情報取得部、線画像生成部を設けたり、コントローラ５に特定部、位置情報取得部、視野情報取得部、線画像生成部を設けたりしてもよい。この場合、安全コントローラ６から各ロボット２の仕様や設置位置を取得すること等により、ペンダント３やメガネ型表示器４あるいはコントローラ５により、位置の特定、視野の特定、線画像の生成等の処理を行うことができる。

図面中、１はロボット操作システム、２はロボット、３はペンダント（特定部、位置情報取得部、視野情報取得部、線画像生成部）、４はメガネ型表示器（装着型表示器、位置情報取得部、視野情報取得部、線画像生成部）、５はコントローラ（特定部、位置情報取得部、視野情報取得部、線画像生成部）、６は安全コントローラ（特定部、位置情報取得部、視野情報取得部、線画像生成部）、３１は特定部、４１は表示部、４２は撮像部、４３は位置情報取得部、４４は視野情報取得部、６１は線画像生成部、６２は特定部、ＶＬ１、ＶＬ１１、ＶＬ１２、ＶＬ２、ＶＬ３は線画像を示す。

Claims (6)

1. 複数台のロボットが設けられている協調システムにおいて前記ロボットを操作するためのロボット操作システムであって、
   前記ロボットを操作するユーザの位置を特定可能な位置情報を取得する位置情報取得部と、
   ユーザの視野を特定可能な視野情報を取得する視野情報取得部と、
   複数台の前記ロボットのうちユーザが作業対象として設定したロボットを特定する特定部と、
   前記位置情報により特定されるユーザの位置および前記視野情報により特定されるユーザの視野に基づいて、ユーザが作業対象として設定したロボットの外形に沿って当該ロボットを囲う線分で構成された仮想的な画像であって、当該ロボットの動作状態を示す仮想的な線画像を生成する線画像生成部と、
   ユーザが装着し、前記線画像生成部で生成された前記線画像をユーザの視野に重ねて表示する装着型表示器と、
   を備えるロボット操作システム。
2. 前記線画像生成部は、前記線画像を、異なる色、異なる線種、異なる表示態様とすることにより、ユーザが作業対象として設定したロボットの動作状態を識別可能に生成する請求項１記載のロボット操作システム。
3. 前記線画像生成部は、前記線画像を、ユーザが作業対象として設定したロボットの可動部ごとに区分けし、識別可能に生成する請求項１または２記載のロボット操作システム。
4. 前記線画像生成部は、前記線画像を、ユーザによって操作されたユーザが作業対象として設定したロボットの姿勢の変化に追従させて再生成する請求項１から３のいずれか一項記載のロボット操作システム。
5. 前記線画像生成部は、前記線画像を、ユーザの操作によってロボットの姿勢がユーザに接近する方向へ変化する場合とユーザから離間する方向へ変化する場合とで識別可能に生成する請求項１から４のいずれか一項記載のロボット操作システム。
6. 前記線画像生成部は、前記線画像を、前記協調システムを構成する全てのロボットに対して生成するとともに、ユーザが作業対象として設定したロボットと作業対象として設定されていない他のロボットとを識別可能に生成する請求項１から５のいずれか一項記載のロボット操作システム。
   

Images