JP6420229B2 - 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム - Google Patents

Description

本発明は、拡張現実感処理の技術を利用して、仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステムに関する。

製造現場における産業用ロボットシステムにおいては、ロボットハンドや加工ツールなどのエンドエフェクタがロボットのアーム部の先端に装着されている。さらに、ベルトコンベアやレール式搬送台車などのロボット周辺装置がロボットの周辺に配置されている。

しかしながら、作業動作をロボットに教示する段階においては、未だ、前述のようなエンドエフェクタやロボット周辺装置を用意できない場合がある。この場合、エンドエフェクタやロボット周辺装置が用意されるまで、作業者は適切なロボット教示作業を実施できない。このため、エンドエフェクタやロボット周辺装置が用意されていない場合でも、それらが在るものと見なしてロボット教示作業を実施できることが望まれている。

上記の課題を解決する可能性のある技術として、仮想画像をリアルタイムの映像に重畳表示するという拡張現実感処理の技術が考えられる。また、近年、そのような拡張現実感処理の技術を利用して、ロボット教示作業時の操作性を高める装置が公開されている。

例えば、特許文献１は、動作計画に従って動作するロボットの動作空間を拡張現実感処理によって実ロボットの画像上に重畳して表示する技術を開示している。さらに、特許文献２は、動作プログラムに基づくロボットの動作軌跡を拡張現実感処理によって実ロボットの画像上に重畳して表示する技術を開示している。

特許第４８５０９８４号公報 特開２０１４−１８０７０７号公報

しかしながら、特許文献１及び特許文献２には、拡張現実感処理の技術を用いて、前述したようなエンドエフェクタやロボット周辺装置の映像を実ロボットの画像上に重畳して表示する技術は提案されていない。

そこで本発明は、上述の実情に鑑み、エンドエフェクタやロボット周辺装置が無くても、それらが在るものと見なしてロボット教示作業を実施できるロボットシステムを提供することを目的とする。

本発明の第一態様によれば、ロボットを制御する制御装置と、制御装置に接続された映像表示装置と、を備えるロボットシステムであって、映像表示装置は、カメラにより撮影されたロボットを含む実空間の画像をリアルタイムに表示する表示部と、ロボットのエンドエフェクタもしくはロボット周辺装置の仮想画像を、カメラにより撮影されたロボットの実画像に重畳して表示部に表示させる拡張現実画像処理部と、を具備する、ロボットシステムが提供される。

本発明の第二態様によれば、上記第一態様のロボットシステムであって、映像表示装置は、ロボットとカメラとの相対的な位置及び角度に基づいて、カメラにより撮影されたロボットの実画像に重畳すべきエンドエフェクタもしくはロボット周辺装置の仮想画像を生成する仮想物体画像生成部を具備する、ロボットシステムが提供される。

本発明の第三態様によれば、上記第一態様または第二態様のロボットシステムであって、拡張現実画像処理部は、制御装置により制御されているロボットの位置姿勢データ、もしくは制御装置からの疑似信号に基づいて、エンドエフェクタもしくはロボット周辺装置の仮想画像を動かしつつ表示部に表示させるようにした、ロボットシステムが提供される。

本発明の第四態様によれば、上記第一態様から第三態様のいずれかのロボットシステムであって、制御装置は、ロボットの教示操作を行う教示操作盤を備える、ロボットシステムが提供される。

本発明の第五態様によれば、上記第一態様から第四態様のいずれかのロボットシステムであって、映像表示装置は、カメラを備えたヘッドマウントディスプレイである、ロボットシステムが提供される。

本発明の第一態様、第二態様、第三態様及び第四態様によれば、エンドエフェクタやロボット周辺装置がロボットに対して用意されていない場合であっても、映像表示装置により、エンドエフェクタやロボット周辺装置が在るものと見なしてロボット教示作業を実施することができる。

本発明の第五態様によれば、作業者は表示部に表示されるカメラの映像を視認しながら教示操作盤を操作することができる。

添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれらの目的、特徴および利点ならびに他の目的、特徴および利点がさらに明確になるであろう。

本発明の一実施形態のロボットシステムを示すブロック図である。 仮想物体の画像を実ロボットの画像に重畳して表示する際の処理フローを示すフローチャートである。 第一実施例の処理の様子を模式的に示した図である。 ロボットを動作させたときに拡張現実対応ディスプレイの表示部に表示される画像の様子を模式的に示した図である。 第二実施例の処理の様子を模式的に示した図である。

次に、本発明の実施形態について図面を参照して説明する。以下の図面において、同じ部材には同じ参照符号が付けられている。そして、異なる図面において同じ参照符号が付されたものは同じ機能を有する構成要素であることを意味するものとする。また、理解を容易にするために、これらの図面は縮尺を適宜変更している。

図１は、本発明の一実施形態のロボットシステムを示すブロック図である。図１に示されるように、本実施形態のロボットシステム１０は、ロボット１１と、ロボット１１を制御するロボット制御装置１２と、ロボット制御装置１２に接続された映像表示装置としての拡張現実対応ディスプレイ１３と、ロボット制御装置１２に接続されていてロボット１１の教示操作を行う教示操作盤１４と、を具備する。

ロボット１１は、例えば多関節垂直型マニュピレータである。ロボット１１の各関節軸にはサーボモータ（図示せず）が設けられている。さらに、ロボット１１には、各サーボモータの軸位置（回転角度）を検出する位置検出センサ１５、例えばパルスエンコーダが設けられている。

ロボット１１のアーム部の先端には、ロボットハンドや加工ツールなどの着脱自在なエンドエフェクタを取付ける取付部（図示せず）が設けられている。

ロボット制御装置１２は、動作プログラムに基づいて制御信号を生成しロボット１１を駆動する機能を有する。また、ロボット制御装置１２は、制御信号をロボット１１に出力すると共に、拡張現実対応ディスプレイ１３及び教示操作盤１４からの信号を受信する。

さらに、ロボット制御装置１２は、ロボット１１の動作プログラムを保持するプログラム保持部１６と、ロボット１１の位置姿勢データを生成する位置姿勢データ生成部１７と、を有する。

プログラム保持部１６には、教示操作盤１４からロボット１１の動作プログラムが入力される。また、教示操作盤１４は、プログラム保持部１６内の動作プログラムを書換えることができる。

ロボット制御装置１２は、プログラム保持部１６内の動作プログラムに従ってサーボモータに位置指令を与えつつ、位置検出センサ１５によって検出されるサーボモータの位置が位置指令と合致するようにサーボモータを制御する。これにより、ロボット１１は、プログラム保持部１６内の動作プログラムどおりに動作する。

位置姿勢データ生成部１７は、位置検出センサ１５から出力されたサーボモータの位置信号に基づいてロボット１１の位置姿勢データを生成して拡張現実対応ディスプレイ１３に出力する。

ロボット教示作業を実施する場合には、作業者が拡張現実対応ディスプレイ１３を視認しつつ、教示操作盤１４によってロボット１１を操作する。このとき、所望の作業動作が教示操作盤１４からロボット制御装置１２を介してロボット１１に教示される。これにより、所望の作業動作がロボット制御装置１２のプログラム保持部１６に記録される。

前述のロボット教示作業の際、ロボット１１のアーム部の先端に装着すべきロボットハンドや加工ツールなどのエンドエフェクタを用意できない場合がある。また、ワークを搬送するベルトコンベアやレール式搬送台車などのロボット周辺装置をロボット１１の周辺に配置できない場合もある。このような場合でも、本実施形態のロボットシステム１０は、エンドエフェクタ又はロボット周辺装置を仮想の画像として拡張現実対応ディスプレイ１３に表示するように構成されている。

具体的には、図１に示されるように、拡張現実対応ディスプレイ１３は、ロボット１１を含む実空間の撮影に用いられるカメラ１８と、カメラ１８により撮影されたロボット１１を含む実空間の画像をリアルタイムに表示する表示部１９と、計算機２０とを具備する。

拡張現実対応ディスプレイ１３は例えばヘッドマウントディスプレイである（図３及び図４参照）。この場合、表示部１９は、眼鏡レンズ程度の大きさであって、人の両眼にそれぞれ対応するように配置された表示画面を有することが好ましい。なお、拡張現実対応ディスプレイ１３は、作業者が教示操作盤１４を持ちながらカメラ１８の映像を視認できるものならば、ヘッドマウントディスプレイに限定されない。

拡張現実対応ディスプレイ１３の計算機２０は、図１に示されるように、カメラ位置姿勢推定部２１と、仮想物体データ保持部２２と、仮想物体画像生成部２３と、拡張現実画像処理部２４とを具備する。但し、仮想物体データ保持部２２及び仮想物体画像生成部２３は、ロボット制御装置１２に内蔵されていてもよい。

カメラ位置姿勢推定部２１は、ロボット１１とこれを撮影するカメラ１８との相対的な位置及び角度（姿勢）を推定する。

仮想物体データ保持部２２は、ロボット１１が設置された実空間に存在していない仮想物体のデータを保持する。仮想物体のデータは、教示操作盤１４から仮想物体データ保持部２２に入力される。また、前述の仮想物体のデータは、前述したエンドエフェクタ、ロボット周辺装置などに関する三次元形状や設置場所のデータである。

仮想物体画像生成部２３には、前述した仮想物体のデータが仮想物体データ保持部２２から入力される。さらに、仮想物体画像生成部２３には、カメラ位置姿勢推定部２１から、ロボット１１とカメラ１８との相対位置角度（相対位置姿勢）のデータが入力される。

そして、仮想物体画像生成部２３は、仮想物体のデータと、ロボット１１とカメラ１８との相対位置角度のデータとに基づいて、カメラ１８により撮影されたロボット１１の実画像に適合する仮想物体の画像を生成する。このとき、ロボット１１とカメラ１８との相対位置角度が変われば、それに応じて、仮想物体の画像は、撮影されたロボット１１の実画像に適合する画像に変更される。

拡張現実画像処理部２４には、仮想物体画像生成部２３により生成された仮想物体の画像情報が入力される。

さらに、拡張現実画像処理部２４には、ロボット１１の動作中の位置姿勢データがロボット制御装置１２の位置姿勢データ生成部１７から計算機２０を介して入力される。また、拡張現実画像処理部２４には、カメラ１８により撮影されたロボット１１の実画像の情報も入力される。

そして、拡張現実画像処理部２４は、仮想物体画像生成部２３により生成された仮想物体の画像をロボット１１の位置姿勢データに基づいてロボット１１の実画像に重畳して表示部１９に表示させる。ロボット１１を動作させている場合には、撮影されたロボット１１の実画像に重畳すべき仮想物体の画像のデータを、ロボット１１の動作中の位置姿勢データに基づいて所定時間ごとに更新することが好ましい。

図２は、前述したエンドエフェクタ、ロボット周辺装置などの仮想物体の画像をカメラ１８により撮影されたロボット１１の実画像に重畳して表示する際の処理フローを示すフローチャートである。

図２に示されるように、まず、拡張現実対応ディスプレイ１３は、カメラ１８を介してロボット１１の実画像が取込まれているかを判断する（ステップＳ１１）。

ロボット１１の実画像が取込まれていると判断した場合には、拡張現実対応ディスプレイ１３のカメラ位置姿勢推定部２１は、ロボット１１とカメラ１８との相対位置角度を推定する（ステップＳ１２）。

そして、上記ステップＳ１２の後、ロボット制御装置１２は、位置姿勢データ生成部１７からロボット１１の位置姿勢データを拡張現実対応ディスプレイ１３に出力する（ステップＳ１３）。

続いて、拡張現実対応ディスプレイ１３は、エンドエフェクタ、ロボット周辺装置などの仮想物体の画像をカメラ１８により撮影されたロボット１１の実画像に重畳して表示部１９に表示させる（ステップＳ１４）。このとき、前述したように、ロボット１１とカメラ１８との相対位置角度に応じて仮想物体の画像が作成され、ロボット１１の位置姿勢データに基づいて仮想物体の画像がロボット１１の実画像に重畳される。

さらに、拡張現実対応ディスプレイ１３は、前述の重畳表示画像、すなわちロボット１１の実画像に重畳表示された仮想物体の画像を動作させる必要があるかを判断する（ステップＳ１５）。

位置姿勢データ生成部１７から拡張現実対応ディスプレイ１３に出力されるロボット１１の位置姿勢データが変化した時、拡張現実対応ディスプレイ１３は、上記ステップＳ１５において「ＹＥＳ」と判断する。

上記ステップＳ１５において「ＹＥＳ」と判断した場合には、拡張現実対応ディスプレイ１３は、前述した重畳表示画像を動作させる（ステップＳ１６）。この場合、重畳表示画像のデータをロボット１１の動作中の位置姿勢データに基づいて所定時間ごとに更新すればよい。

以下に、仮想のエンドエフェクタの画像を現実のロボット１１の実画像に重畳表示する場合（以下、第一実施例と呼ぶ。）を具体的に例示する。

（第一実施例）
図３は第一実施例の処理の様子を模式的に示した図である。

ロボット教示作業を行う際、図３に示されるように、作業者は拡張現実対応ディスプレイ１３を装着し、所定の場所に設置されたロボット１１を視認する。このとき、ロボット１１のアーム部の先端にはロボットハンドや加工ツールなどのエンドエフェクタは装着されていない。また、ロボット１１の周辺には、ワークを搬送するベルトコンベアやレール式搬送台車などのロボット周辺装置も配置されていない。

このような実環境において、拡張現実対応ディスプレイ１３は、カメラ１８により撮影されたロボット１１を含む実環境の画像を取込む（図３における矢印Ａ参照）。

続いて、拡張現実対応ディスプレイ１３のカメラ位置姿勢推定部２１は、ロボット１１とカメラ１８との相対位置角度を推定する。この理由は、仮想のエンドエフェクタの画像を現実のロボット１１の実画像Ｒ１に重畳表示する際に、その仮想のエンドエフェクタの画像Ｒ２を適切な向き及び位置に表示する必要があるからである。

第一実施例においては、次のような方法により、前述のようなロボット１１とカメラ１８との相対位置角度を推定する。

すなわち、カメラ１８により多数の視点から、様々な静止姿勢のロボット１１を事前に撮影して、複数のロボット１１の画像モデルをカメラ位置姿勢推定部２１に記録しておく。このとき、各々のロボット１１の画像モデルを取得した際の、ロボット１１とカメラ１８との相対位置角度も記録しておく。

その後、前述したように現実のロボット１１の実画像Ｒ１が拡張現実対応ディスプレイ１３に取込まれると、取込まれたロボット１１の実画像Ｒ１が、予め記録しておいた複数のロボット１１の画像モデルＭ_１、Ｍ_２、・・・Ｍ_ｎのうちのどれに最も近いかが判定される（図３における矢印Ｂ参照）。そして、カメラ位置姿勢推定部２１は、その最も近い画像モデルに対応する、ロボット１１とカメラ１８との相対位置角度を、カメラ１８により現在撮影されているロボット１１とカメラ１８との相対位置角度とみなす。

続いて、カメラ位置姿勢推定部２１は、ロボット１１とカメラ１８との相対位置角度を推定した旨をロボット制御装置１２に通知する（図３における矢印Ｃ参照）。

それにより、ロボット制御装置１２の位置姿勢データ生成部１７は、ロボット１１の現在の位置姿勢データを拡張現実対応ディスプレイ１３に送信する（図３における矢印Ｄ参照）。

続いて、拡張現実対応ディスプレイ１３内の仮想物体画像生成部２３は、カメラ１８により現在撮影されているロボット１１の実画像Ｒ１に適合する仮想のエンドエフェクタの画像Ｒ２を生成する。このとき、仮想のエンドエフェクタの画像Ｒ２は、仮想物体データ保持部２２に記憶保持されたエンドエフェクタの三次元形状等のデータと、前述のように推定されたロボット１１とカメラ１８との相対位置角度とに基づいて作成される。つまり、仮想のエンドエフェクタの画像Ｒ２は、カメラ１８により撮影されたロボット１１の実画像Ｒ１におけるアーム部の先端に対して適切な向き、位置、及び大きさを有する画像として生成される。

そして、拡張現実対応ディスプレイ１３内の拡張現実画像処理部２４は、仮想物体画像生成部２３により生成された仮想のエンドエフェクタの画像Ｒ２を、カメラ１８により撮影されたロボット１１の実画像Ｒ１におけるアーム部の先端に付加して表示部１９に表示させる（図３における矢印Ｅ参照）。このとき、ロボット１１の実画像Ｒ１におけるアーム部の先端の位置は、ロボット制御装置１２から送信されたロボット１１の位置姿勢データと、ロボット１１とカメラ１８との相対位置角度とに基づいて特定される。

図４は、ロボット１１を動作させたときに拡張現実対応ディスプレイ１３に表示される画像の様子を模式的に示した図である。

ロボット教示作業の際に作業者は教示操作盤１４を用いてロボット１１を動作させる。それにより、ロボット１１の位置姿勢が変化するため、図４に示されるように表示部１９におけるロボット１１の実画像Ｒ１が変化する。拡張現実画像処理部２４は、変化するロボット１１の位置姿勢データに基づいて、ロボット１１の実画像Ｒ１におけるアーム部の先端近傍に表示すべき仮想のエンドエフェクタの画像Ｒ２のデータを更新する。このとき、仮想のエンドエフェクタの画像Ｒ２は、仮想物体画像生成部２３により、ロボット１１の実画像Ｒ１の変化に応じてリアルタイムに生成されることが好ましい。以上のことにより、ロボット１１の実画像Ｒ１におけるアーム部の先端近傍に表示される仮想のエンドエフェクタの画像Ｒ２（図４において破線により囲まれている画像部分２５）は、ロボット１１の実画像Ｒ１の変化とともに動くようになる。

以上に説明した第一実施例によれば、ロボット１１のアーム部の先端にエンドエフェクタが取付けられていない場合でも、拡張現実対応ディスプレイ１３により、エンドエフェクタが在るものと見なしてロボット教示作業を実施することができる。また、拡張現実対応ディスプレイ１３としてヘッドマウントディスプレイを使用しているため、作業者は表示部１９に表示されるカメラ１８の映像を視認しながら教示操作盤１４を操作することができる。

次に、仮想のロボット周辺装置の画像を現実のロボット１１の実画像に重畳表示する場合（以下、第二実施例と呼ぶ。）を具体的に例示する。

（第二実施例）
図５は第二実施例の処理の様子を模式的に示した図である。
ロボット教示作業を行う際、図５に示されるように、作業者は拡張現実対応ディスプレイ１３を装着し、所定の場所に設置されたロボット１１を視認する。このとき、ロボット１１のアーム部の先端にはロボットハンドや加工ツールなどのエンドエフェクタは装着されていない。また、ロボット１１の周辺には、ワークを搬送するベルトコンベアやレール式搬送台車などのロボット周辺装置も配置されていない。

このような実環境において、拡張現実対応ディスプレイ１３は、カメラ１８により撮影されたロボット１１を含む実環境の画像を取込む（図５における矢印Ｆ参照）。但し、第二実施例の場合、ロボット１１の表面に少なくとも一つのマーカ２６が装着されている。マーカ２６は所定の形状もしくはパターンを有していて、カメラ１８により画像として認識できるものであることが好ましい。

続いて、拡張現実対応ディスプレイ１３のカメラ位置姿勢推定部２１は、ロボット１１とカメラ１８との相対位置角度を推定する。この理由は、前述した第一実施例において説明したとおりである。

第二実施例においては、次のような方法により、前述のようなロボット１１とカメラ１８との相対位置角度を推定する。

すなわち、複数のマーカ２６を実空間に設置されたロボット１１の表面に取付けておき、マーカ２６をカメラ１８により撮影する。各マーカ２６の実空間での位置は既知である。このため、カメラ１８の画像座標上に投影されたマーカ２６の位置から、カメラ１８の実空間座標系での位置及び姿勢（角度）を逆算することができる。このような計算により、カメラ位置姿勢推定部２１は、ロボット１１とカメラ１８との相対位置角度を推定する。また、所望のロボット周辺装置の画像モデルをマーカ２６の位置と関連付けておくことが好ましい。このことにより、カメラ１８の実空間座標系での位置及び姿勢（角度）を基に、所望のロボット周辺装置の画像モデルのデータをロボット１１の実画像における所望の位置に重畳表示することができる。

続いて、カメラ位置姿勢推定部２１は、ロボット１１とカメラ１８との相対位置角度をロボット制御装置１２に通知する（図５における矢印Ｇ参照）。なお、第二実施形態においては、図１に示された形態に替えて、仮想物体データ保持部２２及び仮想物体画像生成部２３はロボット制御装置１２に内蔵されているものとする。

ロボット制御装置１２に内蔵された仮想物体画像生成部２３は、カメラ１８により現在撮影されているロボット１１の実画像Ｒ１に付加すべき仮想のロボット周辺装置、例えばベルトコンベアの画像Ｒ３を生成する。このとき、仮想のロボット周辺装置の画像Ｒ３は、仮想物体データ保持部２２に記憶保持されたロボット周辺装置の三次元形状等のデータと、前述のように算出されたロボット１１とカメラ１８との相対位置角度とに基づいて作成される。つまり、仮想のロボット周辺装置の画像Ｒ３は、カメラ１８により撮影されたロボット１１の実画像Ｒ１に対して適切な向き、位置、及び大きさを有する画像として生成される。

続いて、ロボット制御装置１２は、仮想物体画像生成部２３により生成された仮想のロボット周辺装置の画像Ｒ３を拡張現実対応ディスプレイ１３内の拡張現実画像処理部２４に送信する（（図５における矢印Ｈ参照）。

そして、拡張現実画像処理部２４は、仮想物体画像生成部２３により生成された仮想のロボット周辺装置の画像Ｒ３を、カメラ１８により撮影されたロボット１１の実画像Ｒ１に重畳して表示部１９に表示させる（図５における矢印Ｉ参照）。このとき、仮想のロボット周辺装置の画像Ｒ３を重畳表示する位置は、カメラ１８の画像座標上に投影されたマーカ２６の位置と、ロボット１１とカメラ１８との相対位置角度とに基づいて特定される。

なお、ロボット１１の実画像に重畳表示された仮想のロボット周辺装置、例えばベルトコンベアの画像Ｒ３を動かすためには、次のような方法をとるのが好ましい。まず、仮想のベルトコンベアの画像Ｒ３に基づいて、仮想のベルトコンベアの可動ベルト部が少しずつ移動された複数の移動画像を事前に作成して、仮想物体データ保持部２２に記録しておく。ロボット制御装置１２は、仮想のベルトコンベアを制御するための疑似信号を所望の時機に拡張現実対応ディスプレイ１３に出力できるように構成される。そして、拡張現実対応ディスプレイ１３は、ロボット制御装置１２からの擬似信号の入力により、前述した可動ベルト部の移動画像を所定時間ごとにロボット１１の実画像に対して適切な向き、位置、及び大きさで重畳して表示する。

以上に説明した第二実施例によれば、ロボット１１の周辺にベルトコンベア等のロボット周辺装置が実際には配置されていない場合でも、拡張現実対応ディスプレイ１３により、ロボット周辺装置が在るものと見なしてロボット教示作業を実施することができる。また、拡張現実対応ディスプレイ１３としてヘッドマウントディスプレイを使用しているため、作業者は表示部１９に表示されるカメラ１８の映像を視認しながら教示操作盤１４を操作することができる。

以上、典型的な実施例を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、上述の各実施例に変更および種々の他の変更、省略、追加を行うことができるのを理解できるであろう。また、上述の各実施例を適宜組み合わせることは本発明の範囲に含まれる。

１０ ロボットシステム
１１ ロボット
１２ ロボット制御装置
１３ 拡張現実対応ディスプレイ（映像表示装置）
１４ 教示操作盤
１５ 位置検出センサ
１６ プログラム保持部
１７ 位置姿勢データ生成部
１８ カメラ
１９ 表示部
２０ 計算機
２１ カメラ位置姿勢推定部
２２ 仮想物体データ保持部
２３ 仮想物体画像生成部
２４ 拡張現実画像処理部
２５ 画像部分
２６ マーカ
Ｒ１ ロボットの実画像
Ｒ２ 仮想のエンドエフェクタの画像
Ｒ３ 仮想のロボット周辺装置の画像

Claims (10)

1. ロボット（１１）を制御する制御装置（１２）と、
   前記制御装置（１２）に接続された映像表示装置（１３）と、を備え、
   前記映像表示装置（１３）は、
   カメラ（１８）により撮影された前記ロボット（１１）を含む実空間の画像をリアルタイムに表示する表示部（１９）と、
   前記ロボット（１１）と前記カメラ（１８）との相対的な位置及び角度を推定するカメラ位置姿勢推定部（２１）と、
   前記カメラ位置姿勢推定部（２１）が推定した前記相対的な位置及び角度に基づいて生成された、前記ロボット（１１）に取り付けられるエンドエフェクタの仮想画像を、前記カメラ（１８）により撮影された前記ロボット（１１）の実画像に重畳して前記表示部（１９）に表示させる拡張現実画像処理部（２４）と、を具備し、
   前記拡張現実画像処理部（２４）は、前記制御装置（１２）により制御されている前記ロボット（１１）の位置姿勢データに基づいて、前記仮想画像を動かしつつ前記表示部（１９）に表示させるようにした、ロボットシステム（１０）。
2. 前記映像表示装置（１３）は、前記位置姿勢データに基づいて、前記実画像に重畳された前記仮想画像を動かす必要があるか否かを判断する仮想画像動作判断部をさらに具備し、
   前記拡張現実画像処理部（２４）は、前記仮想画像動作判断部が前記仮想画像を動かす必要があると判断した場合に、前記位置姿勢データに基づいて、前記実画像に重畳された前記仮想画像を動かすように該仮想画像を更新する、請求項１に記載のロボットシステム（１０）。
3. 前記仮想画像動作判断部は、前記位置姿勢データが変化したときに、前記仮想画像を動かす必要があると判断する、請求項２に記載のロボットシステム（１０）。
4. ロボット（１１）を制御する制御装置（１２）と、
   前記制御装置（１２）に接続された映像表示装置（１３）と、を備え、
   前記映像表示装置（１３）は、
   カメラ（１８）により撮影された前記ロボット（１１）を含む実空間の画像をリアルタイムに表示する表示部（１９）と、
   前記ロボット（１１）と前記カメラ（１８）との相対的な位置及び角度を推定するカメラ位置姿勢推定部（２１）と、
   前記カメラ位置姿勢推定部（２１）が推定した前記相対的な位置及び角度に基づいて生成された、可動部を有するロボット周辺装置の仮想画像を、前記カメラ（１８）により撮影された前記ロボット（１１）の実画像に重畳して前記表示部（１９）に表示させる拡張現実画像処理部（２４）と、を具備し、
   前記拡張現実画像処理部（２４）は、前記制御装置（１２）から出力される、前記可動部の前記仮想画像を動作させるための疑似信号に基づいて、該可動部の該仮想画像を動かしつつ前記表示部（１９）に表示させるようにした、ロボットシステム（１０）。
5. 前記映像表示装置（１３）は、前記疑似信号に基づいて、前記実画像に重畳された前記仮想画像を動かす必要があるか否かを判断する仮想画像動作判断部をさらに具備し、
   前記拡張現実画像処理部（２４）は、前記仮想画像動作判断部が前記仮想画像を動かす必要があると判断した場合に、前記疑似信号に基づいて、前記実画像に重畳された前記仮想画像を動かすように該仮想画像を更新する、請求項４に記載のロボットシステム（１０）。
6. 前記仮想画像動作判断部は、前記疑似信号の入力を受け付けたときに、前記仮想画像を動かす必要があると判断する、請求項５に記載のロボットシステム（１０）。
7. 前記ロボット周辺装置の前記仮想画像における前記可動部の動作を表す複数の仮想移動画像であって、該ロボット周辺装置の該仮想画像における該可動部の位置が互いに異なる、複数の仮想移動画像を予め記憶する仮想物体データ保持部（２２）をさらに備え、
   前記拡張現実画像処理部（２４）は、前記複数の仮想移動画像を所定時間毎に前記実画像に順に重畳させることによって、前記可動部の前記仮想画像を動かすように表示させる、請求項４から６のいずれか一項に記載のロボットシステム（１０）。
8. 前記映像表示装置（１３）は、前記カメラ位置姿勢推定部が推定した前記相対的な位置及び角度に基づいて、前記実画像に重畳すべき前記仮想画像を生成する仮想物体画像生成部（２３）をさらに具備する、請求項１から７のいずれか一項に記載のロボットシステム（１０）。
9. 前記制御装置（１２）は、前記ロボット（１１）の教示操作を行う教示操作盤（１４）をさらに備える、請求項１から８のいずれか一項に記載のロボットシステム（１０）。
10. 前記映像表示装置（１３）は、前記カメラ（１８）を備えたヘッドマウントディスプレイである、請求項１から９のいずれか一項に記載のロボットシステム（１０）。