JP6445092B2 - ロボットの教示のための情報を表示するロボットシステム - Google Patents

Description

本発明は、ロボットの教示のための情報を表示するロボットシステムに関する。

生産現場での作業に対して多関節ロボットを使用する場合、ロボットのオペレータは、ロボット制御装置に接続された教示操作盤を使って実際にロボットを操作して、ロボットに所望の作業動作を教示することがある。
ロボットの教示操作では、教示操作盤に配置されたロボット動作方向を指定するキーを押しながらロボットを所望の位置に動かす操作、いわゆるジョグ操作を行う場合が殆どである。ジョグ操作の主な操作方法としては、ロボットに固定した直交座標系のＸ軸、Ｙ軸またはＺ軸の方向にロボットの手先部を動かす直交ジョグ操作と、ロボットの各軸部ごとに軸まわりの方向にロボットを動かす各軸ジョグ操作とがある。直交ジョグ操作は人間が理解しやすい直交座標系に基づいた操作であるため、オペレータは、直交ジョグ操作でロボットの教示操作を行うことが多い。
また、従来、オペレータがロボット制御装置の教示操作盤を操作して、ジョグモードの指定を行うと、ロボットの画像と共に、指定されたジョグモードの内容、例えばジョグ送り方向を画面上にグラフィック表示する技術が提案されている（例えば特許文献１）。

特開平７−２９５６２５号公報

一般に、前述の直交ジョグ操作でロボット手先部の移動方向を指定して指令位置を生成すると、指令位置から逆運動学計算により各軸部の回転角度が算出され、その算出値に基づいて、ロボット手先部を指令位置に移動するように各軸部が協調動作される。このため、逆運動学計算の解を得られない指令位置に対してロボットを移動させるのは困難となる。例えば、２つ以上の軸部の回転軸が一直線上に並ぶようなロボット姿勢となる指令位置については、それらの軸部の回転角度を一意に決めることができないので、そのような位置にロボットを動かせない。このようにロボットを制御できなくなる位置は特異点と呼ばれており、直交ジョグ操作でロボット教示を行う際には、特異点やその近傍を避けてロボットの手先部を移動させる必要がある。
しかし、特異点はロボットの機構に依存するため、オペレータはロボットの姿勢が特異点に近づいていることを認知できない場合が多く、特異点近傍と判断される領域も特異点の位置に依存する。このため、特異点から効率的に退避する方法をオペレータが見つけ出すことは非常に難しい。前述した特許文献１に開示される方法では、ジョグ送り方向をグラフィック表示するだけなので、ロボット教示中のオペレータに特異点の位置を認識させることができない。
そこで、直交ジョグ操作において、ロボットの手先部の移動方向と共にその移動方向に特異点が在ることをオペレータに容易に認識させることができる技術が望まれている。

本発明の一態様は、ロボットを制御するロボット制御装置と、該ロボットに固定したロボット座標系の直交３軸方向の各方向または合成方向に関して前記ロボットの手動操作を行う直交ジョグ操作部を含む教示操作盤と、前記ロボットの教示のための情報を表示する情報表示装置と、を備えるロボットシステムであって、
前記ロボット制御装置は、
前記直交ジョグ操作部により指定された移動方向に前記ロボットの手先部が通りうる前記ロボット座標系上の複数の位置をそれぞれ所定の周期で算出してサンプリング点とするサンプリング点算出部と、
各前記サンプリング点が各前記サンプリング点が前記ロボットの特異点近傍であるか否かを判定する判定処理を行う判定部と、
各前記サンプリング点の位置と、各前記サンプリング点の前記判定処理の結果を示す判定結果情報とを前記情報表示装置に通知する通知部と、を具備し、
前記情報表示装置は、
前記ロボットを撮影するカメラと、
前記カメラにより撮影されている前記ロボットの映像を表示する表示部と、
各前記サンプリング点の位置および前記判定結果情報を用いて、各前記サンプリング点を通る直線状軌跡を表すように且つ、該直線状軌跡における、前記手先部の可動範囲内の部分と前記手先部の可動範囲外の部分と前記特異点近傍の部分とをそれぞれ視覚的に区別するようにグラフィック画像を生成して、前記ロボットの映像に重畳する処理を行う表示処理部と、を具備する、ロボットシステムでありうる。

上記の一態様によれば、直交ジョグ操作でロボット教示を行う際に、ロボットの手先部の移動方向と共にその移動方向に特異点が在ることをオペレータに容易に認識させることができる。

添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれらの目的、特徴および利点ならびに他の目的、特徴および利点がさらに明確になるであろう。

一実施形態のロボットシステムを示す機能ブロック図である。 ロボットの一構成例を示した側面図である。 多関節ロボットの特異点の一例を示した模式図である。 多関節ロボットの特異点の他の例を示した模式図である。 一実施形態のロボットシステムによりグラフィック画像が重畳されたロボットの映像例を模式的に示した図である。 図１のロボット制御装置の処理フローを示したフローチャートである。 図１の情報表示装置の処理フローを示したフローチャートである。

次に、本発明の実施形態について図面を参照して説明する。参照する図面において、同様の構成部分または機能部分には同様の参照符号が付けられている。理解を容易にするために、これらの図面は縮尺を適宜変更している。また、図面に示される形態は本発明を実施するための一つの例であり、本発明は図示された形態に限定されるものではない。

図１は、一実施形態のロボットシステム１を示す機能ブロック図である。
本実施形態のロボットシステム１は、ロボット１０を制御するロボット制御装置１１と、ロボット１０の教示操作を行うための教示操作盤１２と、ロボット１０の制御に関する情報を表示する情報表示装置１３と、を備える。

図２は、ロボット１０の一構成例を示した側面図である。図示されたロボット１０は６軸の垂直多関節ロボットである。ロボット１０は、図２に示されているように、６つの軸部（関節部）１０ａ１〜１０ａ６と、軸部１０ａ１〜１０ｂ６により各々連結された複数のアーム部（リンク部）１０ｂとを具備する。軸部１０ａ１〜１０ｂ６の各々には、各アーム部１０ｂを回転駆動するモータ（不図示）が内蔵されている。なお、本発明を適用可能なロボットの形態は複数の関節部を有する多関節ロボットであればよく、図２のロボット形態に限定されない。

さらに、ロボット１０の本体上にはロボット座標系２６が固定されている。本実施形態ではロボット座標系２６の原点はロボット１０のベース部に設定されている。図２の中には、破線の丸枠によってロボット座標系２６の拡大図も示している。図２の例では、ロボット座標系２６の原点はロボット１０のベース部に設定されており、この原点を中心として、図２の右方向を＋Ｘ軸方向、図２の上方向を＋Ｚ軸方向、図２の紙面に対して奥行方向を＋Ｙ軸方向としている。ロボット制御装置１１および教示操作盤１２は、前述したロボット座標系２６における位置（座標）を使って、ロボット１０の手先部の位置、例えばＴＣＰ（ツールセンタポイント）２７を制御することができる。

再び図１を参照すると、教示操作盤１２は、ロボット制御装置１１と有線または無線で相互通信可能に接続されている。教示操作盤１２は、ロボット１０に固定したロボット座標系の直交３軸方向（Ｘ軸方向、Ｙ軸方向、Ｚ軸方向）の各方向または合成方向に関してロボット１０の手動操作を行うための直交ジョグ操作部１４を含む。

教示操作盤１２は、直交ジョグ操作部１４の他にも、各軸ジョグ操作部やツールジョグ操作部など（不図示）も有する。各軸ジョグ操作部は、ロボット１０の各軸部１０ａを個別に手動操作するための操作部であり、ツールジョグ操作部は、ツールを取付可能に設けられたロボット１０の手先部のフランジ面２８（図２参照）に固定したツール座標系に基づいてロボット１０を手動操作するための操作部である。ツールとしては、ハンド部、ボルト締め具、溶接ガンなどを使用することができる。

ロボット制御装置１１は、ロボット制御装置１１に予め記憶された動作プログラムに従ってロボット１０の各軸部１０ａの動作指令を生成して各軸部１０ａのモータに送信するとともに、ロボット１０の各軸部１０ａの回転角度や回転速度を受信する機能を有する。
各軸部１０ａのモータは、該モータの回転角度や回転速度を検出するエンコーダ１０ｃを備えている。各軸部１０ａの回転角度や回転速度は、各軸部１０ａのモータに備えられたエンコーダ１０ｃにより取得される。ロボット制御装置１１は、エンコーダ１０ｃにより出力される回転角度や回転速度と動作指令（位置指令や速度指令）とが一致するようにロボット１０を制御するようになっている。各軸部１０ａにはエンコーダ１０ｃに限られず、軸部１０ａの回転位置や回転速度を計測できる計測器を備えていればよい。

ロボット１０に所望の作業動作を教示する場合には、オペレータは教示操作盤１２を使ってロボット１０の教示操作を行う。例えば、オペレータが教示操作盤１２の直交ジョブ操作部１４における＋Ｘ軸方向ジョグキーを押下すると、教示操作盤１２内のプロセッサ（不図示）は、押下されたジョグキーに対応する＋Ｘ軸方向の動作指令を生成してロボット制御装置１１に出力する。教示操作時は、ロボット制御装置１１は、教示操作盤１２から入力される動作指令によってロボット１０を制御するようになっている。
また本実施形態の直交ジョブ操作部１４は、Ｘ軸方向ジョグキー、Ｙ軸方向ジョグキー、およびＺ軸方向ジョグキーのうちの少なくとも２つのジョグキーを同時に操作することにより、操作された少なくとも２つのジョグキーの各々に対応する方向を合成した方向にロボット１０を移動させることもできる。例えば、＋Ｘ軸方向ジョグキーと＋Ｙ軸方向ジョグキーを同時操作すると、ＸＹ平面の斜め４５度方向にロボット１０は移動することになる。

ところで、ロボット１０には、ロボット１０の手先部に対する移動指令（位置指令や速度指令）から逆運動学計算によってロボット１０の各軸部１０ａの回転角度や回転速度を決定できない問題が発生するようなロボット位置、いわゆる特異点が存在する。
例えば図３Ａおよび図３Ｂは、多関節ロボットの特異点を例示した模式図である。これらの図では、図２に示されたロボット１０の軸部１０ａ１〜１０ａ６を模式的に描いている。図３Ａに示されるように、第４の軸部１０ａ４の回転中心と第６の軸部１０ａ６の回転中心とが同一直線上に並んだロボット姿勢の場合、ロボット手先部のツール２９の回転は第４の軸部１０ａ４の回転で行うことが可能であり、第６の軸部１０ａ６の回転で行うこともまた可能である。図３Ｂに示されるように、第１の軸部１０ａ１の回転中心と第６の軸部１０ａ６の回転中心とが同一直線上に並んだロボット姿勢の場合でも、ロボット手先部のツール２９の回転は第１の軸部１０ａ１の回転で行うことが可能であり、第６の軸部１０ａ６の回転で行うこともまた可能である。よって、図３Ａや図３Ｂに示されたロボット姿勢となるようなＴＣＰ２７の目標位置に対しては、逆運動学計算によって各軸部の回転角度が一意に決まらない。このため、ロボット１０の２つ以上の軸部の回転中心が同一直線上に並ぶような３次元位置およびその近傍にＴＣＰ２７を移動させると、ロボット１０が制御不能になる場合がある。

このため、本実施形態においては、直交ジョブ操作の際に前述のような特異点およびその近傍にロボット姿勢が近づいていることをオペレータに容易に認識させられるように、ロボット制御装置１１および情報表示装置１３は、以下のような機能部分を具備する。
図１に示されるように、ロボット制御装置１１は、サンプリング点算出部１５と、判定部１６と、通知部１７と、を具備する。

具体的には、サンプリング点算出部１５は、直交ジョグ操作部１４により指定された移動方向（例えば＋Ｘ軸方向または、＋Ｘ軸方向と＋Ｙ軸方向の合成方向など）にロボット１０の手先部（例えばＴＣＰ２７）が通りうる複数の位置をそれぞれ算出してサンプリング点とする機能を有する。算出される複数の位置（サンプリング点）は、前述したロボット座標系上の位置（座標）である。
具体的には、サンプリング点算出部１５は、ロボット１０の各軸部１０ａに備わるエンコーダの出力値から得られる各軸部１０ａの回転角度に基づいて、ロボット１０の手先部（例えばＴＣＰ）の現在位置を算出する。この現在位置は、順運動学計算により求めることができる。サンプリング点算出部１５は、求めた現在位置と、直交ジョグ操作部１４により指定された移動方向（以下、指定の移動方向と略記する。）とに基づき、上記の各サンプリング点を所定の周期で算出する。
この所定の周期は、ロボット教示操作で生成されるロボット１０の動作指令の生成周期よりも極めて短い周期である。このことにより、ロボット１０の教示操作中の動作速度よりも各サンプリング点が早く算出される。さらに、所定の周期は、後述するロボット１０の特異点近傍を判定するのに予め定められた領域よりも短い間隔で各サンプリング点を算出できる周期とする。

判定部１６は、算出された各サンプリング点がロボット１０の手先部の可動範囲内であるか否かを判定する第１判定処理と、算出された各サンプリング点がロボット１０の特異点近傍であるか否かを判定する第２判定処理とを行う機能を有する。

前述したロボット１０の手先部の可動範囲については、ロボット１０の機構部を設計したときの寸法データ、例えば、各軸部の間隔やアーム部の長さなどを用いて、ロボット座標系上でロボット１０の手先部が到達可能な範囲を事前に求めることができる。このような可動範囲をロボット制御装置１１の記憶部（不図示）に予め記憶しておくことにより、判定部１６は、ロボット１０の手先部の可動範囲内にサンプリング点があるか否かを判定できる。

特異点は、ロボット手先部に対する移動指令（位置指令や速度指令）からロボット１０の各軸部１０ａの回転角度や回転速度を一意に決定することが困難となるような、ロボット手先部の位置である。そのため、算出されたサンプリング点の位置に対して逆運動学計算の解を得るのが困難な軸部１０ａが有るか否かで、そのサンプリング点がロボット１０の特異点であるか否かの判定を行うことができる。さらに、逆運動学計算の解が得られてもその解の回転角度にモータを追従制御できない軸部１０ａが有るか否かで、そのサンプリング点がロボット１０の特異点の近傍であるか否かの判定を行うことができる。
すなわち、本願でいうロボットの特異点は、上述したように逆運動学計算の解が得られないロボット手先部の位置に相当し、さらに、本願でいうロボットの特異点近傍は、その逆運動学計算の解が得られても所望のモータ制御が行えない軸部が生じるようなロボット手先部の位置範囲に相当する。
上述した特異点近傍の判定については、ロボットの特異点と判定されるロボット手先部の位置（ＴＣＰの位置）から所定の設定範囲を加算した領域内にサンプリング点があるか否かで判定すればよい。

通知部１７は、各サンプリング点のロボット座標系での位置と、各サンプリング点の、第１判定処理および第２判定処理の結果を示す判定結果情報とを情報表示装置１３に通知する機能を有する。情報表示装置１３は、ロボット制御装置１１と有線または無線で相互通信可能に接続されている。

情報表示装置１３は、図１に示されるように、カメラ１８と、表示部１９と、拡張現実表示処理部２０と、を具備する。
情報表示装置１３は、例えば、カメラ一体型のヘッドマウントディスプレイ装置により構成される。このヘッドマウントディスプレイ装置に備わるカメラ部がカメラ１８となり、ヘッドマウントディスプレイ装置の、人の眼に対応して配置される眼鏡型表示部が表示部１９になりうる。

具体的には、カメラ１８は、現実空間上のロボット１０を撮影する。表示部１９は、カメラ１８により撮影されているロボット１０の映像を表示することができる。
拡張現実表示処理部２０は、ロボット制御装置１１の通知部１７から通知された各サンプリング点の位置および判定結果情報を用いて、グラフィック画像を生成して表示部１９のロボット１０の映像に重畳する処理を行うことができる。そのグラフィック画像は、各サンプリング点を通る直線状軌跡を表すように且つ、該直線状軌跡における、ロボット１０の手先部の可動範囲内の部分と該手先部の可動範囲外の部分とロボット１０の特異点近傍の部分とをそれぞれ視覚的に区別するように生成される。
例えば、拡張現実表示処理部２０は、可動範囲内に在るサンプリング点、可動範囲外に在るサンプリング点、および特異点近傍に在るサンプリング点の夫々に対して、表示色または表示形状などを互いに異ならせてグラフィック画像を生成することができる。

さらに詳述すると、前述の拡張現実表示処理部２０は、図１に示されるように、相関関係推定部２１と、位置データ変換部２２と、グラフィック画像生成部２３と、画像処理部２４と、を具備している。
相関関係推定部２１は、カメラ１８に固定したカメラ座標系の原点と、ロボット座標系の原点との相関関係を推定する機能を有する。例えば、相関関係推定部２１は、カメラ座標系の原点から見たロボット座標系の原点位置と向きを求めるための座標変換行列を算出する。これは、ロボット１０に対してカメラ１８の相対位置および相対角度が変わっても、カメラ１８によるロボット１０の映像上に前述のグラフィック画像を適切な向き及び位置で重畳表示する必要があるからである。

位置データ変換部２２は、相関関係推定部２１により推定された相関関係を用いて、通知部１７から通知された各サンプリング点の位置をカメラ座標系での位置に変換する機能を有する。
グラフィック画像生成部２３は、各サンプリング点のカメラ座標系での位置と、通知部１７から通知された各サンプリング点の判定結果情報とを用いて、前述したようなグラフィック画像を生成する機能を有する。前述のグラフィック画像をロボット１０の映像に適合するように生成するために、グラフィック画像生成部２３は、各サンプリング点のカメラ座標系での位置を用いている。
画像処理部２４は、各サンプリング点のカメラ座標系での位置に基づいて、前述のグラフィック画像を、表示部１９のロボット１０の映像に重畳する処理を行う機能を有する。

ここで、図４は、前述のようなグラフィック画像が重畳されたロボット１０の映像例を模式的に示した図である。図４に示されるように、ロボット１０のオペレータ２５は、カメラ一体型のヘッドマウントディスプレイ装置により構成された情報表示装置１３を装着して、眼に対応する表示部１９のロボット１０の映像および前述のグラフィック画像を視認しながら教示操作盤１２で直交ジョグ操作することができる。また、ロボット１０のオペレータ２５は、直交ジョグ操作で所定の移動方向にロボット１０の手先部を移動させた時に、その移動方向にロボット手先部を移動できない特異点近傍や可動範囲外などが存在することを表示部１９から容易に認識できるようになる。
例えば図４に示されたグラフィック画像３０においては、符号Ａの領域（図中の斜線部）が特異点近傍を、符号Ｂの領域（図中の破線枠内の空白部）が可動範囲外を、符号Ｃの領域（図中のドット描画部）が通常の動作範囲を表している。符号Ａ、Ｂ、Ｃの各領域を異なる色で区別してもよい。

また、以上のように構成された情報表示装置１３は、直交ジョグ操作部１４により指定された移動方向が別の移動方向に変更された時（例えば、＋Ｘ軸方向から＋Ｙ軸方向への変更時）に、その変更した方向に応じて、前述のようにロボット１０の映像に重畳させるグラフィック映像を更新することができる。

上述した情報表示装置１３はカメラ一体型のヘッドマウントディスプレイ装置により構成されているとしたが、情報表示装置１３は様々な態様で実現されてもよい。
例えば、情報表示装置１３は教示操作盤１２に組込まれていてもよい。この場合、教示操作盤１２に設けられた表示パネル１２ａを情報表示装置１３の表示部１９として使用することができる。教示操作盤１２の表示パネル１２ａは、カメラ１８により撮影されているロボット１０の映像を表示する機能を有する。さらに、拡張現実表示処理部２０は、表示パネル１２ａに表示されたロボット１０の映像に前述したグラフィック画像を重畳して表示できるようになっている。

なお、上述したロボット制御装置１１および情報表示装置１３は、バスを介して互いに接続された、記憶部、ＣＰＵ（control processing unit）、および通信制御部などを備えたコンピュータシステムを用いて構成されうる。該記憶部は、ＲＯＭ（read only memory)、ＲＡＭ（random access memory）、ＨＤＤ（hard disk drive）やＳＳＤ（solid state drive）などといったメモリ装置である。また、ロボット制御装置１１が備えるサンプリング点算出部１５、判定部１６、および通知部１７の夫々の機能、ならびに、情報表示装置１３が備える相関関係推定部２１、位置データ変換部２２、グラフィック画像生成部２３、画像処理部２４および拡張現実表示処理部２０の夫々の機能は、上記ＣＰＵが上記の記憶部と協働して動作することで達成されうる。

次に、図５および図６を参照して、本実施形態のロボットシステム１の動作について説明する。図５は、図１のロボット制御装置１１の処理フローを示したフローチャートであり、図６は、図１の情報表示装置１３の処理フローを示したフローチャートである。但し、図５のステップＳ１１が実施されるときには、ロボット制御装置１１は、人が教示操作盤を使ってロボットの手動操作を行う教示操作モードに設定されているものとする。

はじめに、図５のステップＳ１１において、ロボット制御装置１１は、直交ジョグ操作部１４により指定された移動方向を受信する。次いで、ロボット制御装置１１は、ロボット１０の各軸部１０ａに備わる各エンコーダ１０ｃの出力値から各軸部１０ａの回転角度を取得する。次のステップＳ１２において、ロボット制御装置１１は、順運動学計算によって各軸部１０ａの回転角度からロボット１０の手先部（例えばＴＣＰ）の現在位置を取得する。

次のステップＳ１３において、ロボット制御装置１１のサンプリング点算出部１５は、直交ジョグ操作部１４による指定の移動方向にロボット１０の手先部が通りうるロボット座標系上の複数の位置をそれぞれ順次算出し、算出位置をサンプリング点とする。ロボット１０の手先部（例えばＴＣＰ２７）の現在位置と、その手先部のジョグ操作で指定された移動方向とが取得されているので、上記の各サンプリング点は現在位置と移動方向とを基に上述した所定の周期で算出可能である。

次のステップＳ１４において、ロボット制御装置１１の判定部１６は、算出したサンプリング点がサンプリング範囲内であるか否かを判定する。サンプリング点がサンプリング範囲内である場合は、ステップＳ１５が行われるが、サンプリング点がサンプリング範囲内でない場合は、ロボット制御装置１１は処理を終了する。
上記のサンプリング範囲は、例えば、床上に設置されたロボット１０の可動範囲を大きく包含する直方体の内側として設定される。この場合には、直方体の頂点の座標値が、ロボット制御装置１１に接続された教示操作盤１２もしくはコンピュータ装置（不図示）などの入力装置から数値入力されてロボット制御装置１１の記憶部に保存されるものとする。その座標値は、ロボット座標系における位置とする。サンプリング範囲の形状は直方体に限定されない。

上記ステップＳ１５においては、判定部１６は、算出したサンプリング点がロボット１０の手先部の可動範囲外であるか否かを判定する。可動範囲の判定方法は前に述べたとおりである。サンプリング点が可動範囲外である場合は、ロボット制御装置１１の通知部１７は、サンプリング点の位置と共に、当該サンプリング点が可動範囲外であるとした判定結果情報を情報表示装置１３に通知し（ステップＳ１６）、後述するステップＳ２０が行われる。一方、サンプリング点が可動範囲外でない場合は、ステップＳ１７が行われる。

上記ステップＳ１７においては、判定部１６は、算出したサンプリング点がロボット１０の特異点近傍であるか否かを判定する。ロボットの特異点近傍の判定方法は前に述べたとおりである。サンプリング点が特異点近傍である場合は、通知部１７は、サンプリング点の位置と共に、当該サンプリング点が特異点近傍であるとした判定結果情報を情報表示装置１３に通知し（ステップＳ１８）、後述するステップＳ２０が行われる。一方、サンプリング点が特異点近傍でない場合は、ステップＳ１９が行われる。

上記ステップＳ１９においては、通知部１７は、サンプリング点の位置と共に、当該サンプリング点が通常の動作範囲内であるとした判定結果情報を情報表示装置１３に通知する。
その後、ステップＳ２０においては、ロボット制御装置１１は、判定部１６の処理対象を、次に算出されたサンプリング点に変更し、再びステップＳ１４〜ステップＳ１９の処理を行う。ステップＳ１４において、サンプリング点がサンプリング範囲内でないと判定されると、ロボット制御装置１１は処理を終了する。

一方、図６に示されるように、情報表示装置１３は、ロボット制御装置の通知部１７から、算出したサンプリング点の位置と当該サンプリング点の判定結果情報とを受信する（ステップＳ２１）。受信する判定結果情報は、上述したステップＳ１６、ステップＳ１８、およびステップ１９（図５参照）の各々において得られた判定結果である。

次のステップＳ２２において、情報表示装置１３は、カメラ１８により撮影されているロボット１０の映像を取得する。
次のステップＳ２３において、情報表示装置１３の相関関係推定部２１は、カメラ１８に固定したカメラ座標系の原点と、ロボット１０に固定したロボット座標系の原点との相関関係を推定する。
例えば、相関関係推定部２１は、カメラ座標系の原点から見たロボット座標系の原点位置と向きを求めるための座標変換行列を算出する。このとき、例えば、ロボット１０の特徴点（輪郭や角部など）に基づいてカメラ１８の映像からロボット１０を検出すると共に、ロボット１０の現在位置の情報（位置姿勢の情報）を各軸部１０ａのエンコーダ１０ｃの出力値から取得する。検出されたロボット１０のカメラ画像系での位置とロボット１０の現在位置の情報とに基づいて、カメラ座標系とロボット座標系との相関関係を推定することができる。

次のステップＳ２４において、情報表示装置１３の位置データ変換部２２は、相関関係推定部２１により推定された相関関係に基づいて、通知部１７から通知されたサンプリング点の位置をカメラ座標系での位置に変換する。
次のステップＳ２５において、情報表示装置１３のグラフィック画像生成部２３は、各サンプリング点のカメラ座標系での位置および判定結果情報を用いて、グラフィック画像を生成する。このグラフィック画像は、各サンプリング点を通る直線状軌跡を表すように且つ、該直線状軌跡における、ロボット１０の手先部の可動範囲内の部分と該手先部の可動範囲外の部分とロボット１０の特異点近傍の部分とをそれぞれ視覚的に区別するように生成される（例えば図４に示されたグラフィック画像３０を参照）。

次のステップＳ２６において、情報表示装置１３の画像処理部２４は、各サンプリング点のカメラ座標系での位置に基づいて、前述のようなグラフィック画像を、表示部１９のロボット１０の映像に重畳する処理を行う。
以上に説明したステップＳ２１〜ステップＳ２６の処理により、情報表示装置１３は、各サンプリング点の位置および判定結果情報を受信する度に、受信した各サンプリング点ごとに判定結果情報に応じたグラフィック画像を表示部１９のロボット１０の映像上に重畳表示することができる。

以上、典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、上述の各実施形態に変更及び種々の他の変更、省略、追加を行うことができるのを理解できるであろう。

また、本開示の少なくとも一つの課題を解決するために、以下のような各種の態様とその効果を提供することができる。
本開示の第一態様は、ロボット（１０）を制御するロボット制御装置（１１）と、該ロボット（１０）に固定したロボット座標系の直交３軸方向の各方向または合成方向に関して前記ロボット（１０）の手動操作を行う直交ジョグ操作部（１４）を含む教示操作盤（１２）と、前記ロボット（１０）の教示のための情報を表示する情報表示装置（１３）と、を備えるロボットシステム（１）であって、
前記ロボット制御装置（１１）は、
前記直交ジョグ操作部（１４）により指定された移動方向に前記ロボット（１０）の手先部が通りうる前記ロボット座標系上の複数の位置をそれぞれ所定の周期で算出してサンプリング点とするサンプリング点算出部（１５）と、
各前記サンプリング点が前記手先部の可動範囲内であるか否かを判定する第１判定処理と各前記サンプリング点が特異点近傍であるか否かを判定する第２判定処理とを行う判定部（１６）と、
各前記サンプリング点の位置と、各前記サンプリング点の、前記第１判定処理および前記第２判定処理の結果を示す判定結果情報とを前記情報表示装置（１３）に通知する通知部（１７）と、を具備し、
前記情報表示装置（１３）は、
前記ロボット（１０）を撮影するカメラ（１８）と、
前記カメラ（１８）により撮影されている前記ロボット（１０）の映像を表示する表示部（１９）と、
各前記サンプリング点の位置および前記判定結果情報を用いて、各前記サンプリング点を通る直線状軌跡を表すように且つ、該直線状軌跡における、前記手先部の可動範囲内の部分と前記手先部の可動範囲外の部分と前記特異点近傍の部分とをそれぞれ視覚的に区別するようにグラフィック画像を生成して、前記ロボット（１０）の映像に重畳する処理を行う表示処理部（２０）と、を具備する、
ロボットシステム（１）でありうる。
上記の第一態様によれば、直交ジョグ操作でロボット教示を行う際に、ロボットの手先部の移動方向と共にその移動方向に特異点が在ることをオペレータに容易に認識させることができる。
本開示の第二態様は、上記第一態様のロボットシステム（１）であって、
前記表示処理部（２０）は、
前記カメラ（１８）に固定したカメラ座標系の原点と前記ロボット座標系の原点との相関関係を推定する相関関係推定部（２１）と、
前記相関関係を用いて各前記サンプリング点の位置を前記カメラ座標系での位置に変換する位置データ変換部（２２）と、
各前記サンプリング点の前記カメラ座標系での位置と各前記サンプリング点の前記判定結果情報とを用いて、前記グラフィック画像を生成するグラフィック画像生成部（２３）と、
各前記サンプリング点の前記カメラ座標系での位置に基づいて、前記グラフィック画像を前記ロボット（１０）の映像に重畳する処理を行う画像処理部（２４）と、を具備する、ロボットシステム（１）でありうる。
上記の第二態様によれば、ロボットに対してカメラの相対位置および相対角度が変わっても、カメラによるロボットの映像上に前述のグラフィック画像を適切な向き及び位置で重畳表示することができる。
本開示の第三態様は、上記の第一態様または第二態様のロボットシステム（１）であって、前記情報表示装置（１３）は、前記指定された移動方向の変更に応じて、前記ロボット（１０）の映像に重畳させる前記グラフィック画像を更新するように構成されている、ロボットシステム（１）でありうる。
上記の第三態様によれば、直交ジョグ操作部で指定された移動方向が切替えられた場合でも、その切替えられた指定の移動方向と、その移動方向に存在する特異点近傍となる位置範囲とをオペレータに容易に認識させることができる。
本開示の第四態様は、上記の第一態様から第三態様のいずれかのロボットシステム（１）であって、前記情報表示装置（１３）はカメラ一体型のヘッドマウントディスプレイ装置により構成される、ロボットシステム（１）でありうる。
上記の第四態様によれば、ロボット教示中のオペレータは、情報表示装置を装着して、眼に対応する表示部のロボットの映像および前述のグラフィック画像を視認しながら教示操作盤で直交ジョグ操作することができる。
本開示の第五態様は、上記の第一態様から第三態様のいずれかのロボットシステム（１）であって、
前記情報表示装置（１３）は前記教示操作盤（１２）に組込まれており、
前記教示操作盤（１２）は、前記カメラ（１８）により撮影されている前記ロボット（１０）の映像を表示する表示パネル（１２ａ）を有し、前記表示処理部（２０）は、前記表示パネル（１２ａ）に表示された前記ロボット（１０）の映像に前記グラフィック画像を重畳して表示する、ロボットシステム（１）でありうる。
上記の第五態様によれば、ロボット教示中のオペレータは、表示操作盤の表示パネルで前述のグラフィック画像を視認しながら直交ジョグ操作することができる。

１ ロボットシステム
１０ ロボット
１０ａ、１０ａ１〜１０ａ６ 軸部
１０ｂ アーム部
１０ｃ エンコーダ
１１ ロボット制御装置
１２ 教示操作盤
１２ａ 表示パネル
１３ 情報表示装置
１４ 直交ジョグ操作部
１５ サンプリング点算出部
１６ 判定部
１７ 通知部
１８ カメラ
１９ 表示部
２０ 拡張現実表示処理部
２１ 相関関係推定部
２２ 位置データ変換部
２３ グラフィック画像生成部
２４ 画像処理部
２５ オペレータ
２６ ロボット座標系
２７ ＴＣＰ
２８ フランジ面
２９ ツール
３０ グラフィック画像

Claims (5)

1. ロボットを制御するロボット制御装置と、該ロボットに固定したロボット座標系の直交３軸方向の各方向または合成方向に関して前記ロボットの手動操作を行う直交ジョグ操作部を含む教示操作盤と、前記ロボットの教示のための情報を表示する情報表示装置と、を備えるロボットシステムであって、
   前記ロボット制御装置は、
   前記直交ジョグ操作部により指定された移動方向に前記ロボットの手先部が通りうる前記ロボット座標系上の複数の位置をそれぞれ所定の周期で算出してサンプリング点とするサンプリング点算出部と、
   各前記サンプリング点が前記手先部の可動範囲内であるか否かを判定する第１判定処理と各前記サンプリング点がロボットの特異点近傍であるか否かを判定する第２判定処理とを行う判定部と
   各前記サンプリング点の位置と、各前記サンプリング点の、前記第１判定処理および前記第２判定処理の結果を示す判定結果情報とを前記情報表示装置に通知する通知部と、を具備し、
   前記情報表示装置は、
   前記ロボットを撮影するカメラと、
   前記カメラにより撮影されている前記ロボットの映像を表示する表示部と、
   各前記サンプリング点の位置および前記判定結果情報を用いて、各前記サンプリング点を通る直線状軌跡を表すように且つ、該直線状軌跡における、前記手先部の可動範囲内の部分と前記手先部の可動範囲外の部分と前記特異点近傍の部分とをそれぞれ視覚的に区別するようにグラフィック画像を生成して、前記ロボットの映像に重畳する処理を行う表示処理部と、を具備する、ロボットシステム。
2. 前記表示処理部は、
   前記カメラに固定したカメラ座標系の原点と前記ロボット座標系の原点との相関関係を推定する相関関係推定部と、
   前記相関関係を用いて各前記サンプリング点の位置を前記カメラ座標系での位置に変換する位置データ変換部と、
   各前記サンプリング点の前記カメラ座標系での位置と各前記サンプリング点の前記判定結果情報とを用いて、前記グラフィック画像を生成するグラフィック画像生成部と、
   各前記サンプリング点の前記カメラ座標系での位置に基づいて、前記グラフィック画像を前記ロボットの映像に重畳する処理を行う画像処理部と、を具備する、
   請求項１に記載のロボットシステム。
3. 前記情報表示装置は、前記指定された移動方向の変更に応じて、前記ロボットの映像に重畳させる前記グラフィック画像を更新するように構成されている、請求項１または２に記載のロボットシステム。
4. 前記情報表示装置は、カメラ一体型のヘッドマウントディスプレイ装置により構成される、請求項１から３のいずれか一項に記載のロボットシステム。
5. 前記情報表示装置は前記教示操作盤に組込まれており、
   前記教示操作盤は、前記カメラにより撮影されている前記ロボットの映像を表示する表示パネルを有し、前記表示処理部は、前記表示パネルに表示された前記ロボットの映像に前記グラフィック画像を重畳して表示する、請求項１から３のいずれか一項に記載のロボットシステム。

Images