JP2014128845A - ロボットシステム表示装置 - Google Patents

Abstract

【課題】視覚センサのキャリブレーションデータの誤りを容易に発見可能にするロボットシステム表示装置を提供する。
【解決手段】視覚センサによって対象物の位置を計測することによって、所望の処理を実行するロボットシステムにおいて、該ロボットシステムの構成要素をグラフィカルに表示するロボットシステム表示装置が提供される。ロボットシステム表示装置は、視覚センサのキャリブレーションデータと、予め記憶された視覚センサの形状情報とに基づいて、ロボットシステムの他の構成要素に対する視覚センサの相対的配置を取得するとともに、該相対的配置に基づいて、視覚センサを仮想空間内においてグラフィカルに表示する。
【選択図】図１

Description

本発明は、ロボット、周辺機器及び視覚センサの互いの相対的配置関係を確認するためにロボットシステムをグラフィカルに表示するロボットシステム表示装置に関する。

視覚センサによって検出される対象物の位置情報に基づいて、ロボットが対象物に対してハンドリング又は加工等の作業を行うように構成されたロボットシステムが公知である。視覚センサは、ロボットのハンド付近に取付けられたり、架台等の固定部に取付けられたりして使用されるが、いずれの場合においても、視覚センサとロボットとの間の相対的配置関係を特定する必要がある。そのために、ロボットの動作制御の基準となるロボット座標系と、視覚センサによる計測処理の基準となる視覚センサ座標系との間の関係を明らかにしておく必要がある。このような互いに異なる座標系どうしを関連付けるための処理は視覚センサのキャリブレーションと一般に称されており、キャリブレーションの結果得られる関連付けの情報はキャリブレーションデータと称される。

特許文献１には、ロボットの可動部に取付けられたセンサのキャリブレーション処理の例が開示されている。この公知技術においては、センサの移動前後においてセンサのキャリブレーションを実行するために、センサの移動前のキャリブレーションデータと、センサの移動量とに基づいて、センサの移動後のキャリブレーションデータが計算される。

特許文献２には、ロボットのアームに取付けられていて予め定められたパターンが形成されたパターン板を利用して、視覚センサのキャリブレーションを実行する技術が開示されている。この公知技術においては、パターン板の取付寸法等の情報を予め設定しておく必要がある、したがって、設定された情報が誤っていた場合には、不正確なキャリブレーションデータが得られることになる。この公知技術に限らず、他の方法を採用した場合でも、使用される構成要素の寸法等の情報を設定する必要があり、設定情報が正確でないと、正確なキャリブレーションは実行されない。

特許文献３には、視覚センサ及びロボットを備えるロボットシステムのためのシミュレーション装置が開示されている。この公知技術に係るシミュレーション装置は、オフラインで作成される動作プログラムを評価するために使用されるが、視覚センサの配置情報は、シミュレーションされるロボットシステムの設定値である。したがって、このシミュレーション装置によって視覚センサのキャリブレーションデータの誤りを発見することは期待できない。

特開平５−２４１６２６号公報 特開平４−３５８８５号公報 特開２００５−１３５２７８号公報

前述したように、従来の技術では、視覚センサのキャリブレーションデータに誤りがあっても発見するのが困難であった。そこで、視覚センサのキャリブレーションデータの誤りを容易に発見可能にするロボットシステム表示装置が望まれている。

本願に係る１番目の発明によれば、ロボットシステムの構成要素の形状情報及び配置情報を記憶する記憶部と、前記記憶部によって記憶される前記構成要素の前記形状情報及び前記配置情報に基づいて、前記ロボットシステムの前記構成要素をグラフィカルに表示する表示部と、を備えるロボットシステム表示装置であって、前記ロボットシステムは、ロボット及び視覚センサを少なくとも備えており、当該ロボットシステム表示装置は、前記ロボットの動作制御の基準となるロボット座標系と、前記視覚センサによる計測処理の基準となる視覚センサ座標系とを互いに関連付けるキャリブレーションデータを取得する第１の取得部と、前記第１の取得部によって取得される前記キャリブレーションデータと、前記記憶部によって記憶される前記視覚センサの形状情報とに基づいて、前記視覚センサの配置情報を取得する第２の取得部と、をさらに備えており、前記表示部は、前記記憶部によって記憶される前記視覚センサの形状情報及び前記第２の取得部によって取得される前記視覚センサの配置情報に基づいて、前記視覚センサを表示するように構成される、ロボットシステム表示装置が提供される。

本願に係る２番目の発明によれば、１番目の発明において、前記視覚センサは、前記ロボットのアームの動作に連動して該アームに対する相対的配置関係を維持するように該アームに固定されており、前記表示部は、前記アームと前記視覚センサとの間の相対的配置関係に基づいて、前記視覚センサをグラフィカルに表示するように構成される、ロボットシステム表示装置が提供される。

本願に係る３番目の発明によれば、１番目又は２番目の発明において、前記ロボットシステムは視覚ターゲット治具をさらに備えており、前記第１の取得部は、前記ロボット座標系と前記視覚センサ座標系と前記視覚ターゲット治具とを互いに関連付けるキャリブレーションデータを取得するように構成されており、当該ロボットシステム表示装置は、前記表示部は、前記キャリブレーションデータに基づいて、前記視覚ターゲット治具の配置情報を取得する第３の取得部をさらに備え、前記表示部は、前記記憶部によって記憶される前記視覚ターゲット治具の形状情報及び前記第３の取得部によって取得される前記視覚ターゲット治具の配置情報に基づいて、前記視覚ターゲット治具をグラフィカルに表示するように構成される、ロボットシステム表示装置が提供される。

本願に係る４番目の発明によれば、３番目の発明において、前記視覚ターゲット治具は、前記ロボットのアームの動作に連動して該アームに対する相対的配置関係を維持するように該アームに固定されており、前記表示部は、前記アームと前記視覚ターゲット治具との間の相対的配置関係に基づいて、前記視覚ターゲット治具をグラフィカルに表示するように構成される、ロボットシステム表示装置が提供される。

本願に係る５番目の発明によれば、１番目から４番目のいずれかの発明において、前記記憶部によって記憶される前記ロボットシステムの前記構成要素の形状情報が３次元形状情報である、ロボットシステム表示装置が提供される。

本願に係る６番目の発明によれば、１番目から５番目のいずれかの発明において、当該ロボットシステム表示装置が前記視覚センサを制御する視覚センサ制御装置を備える、ロボットシステム表示装置が提供される。

本願に係る７番目の発明によれば、１番目から６番目のいずれかの発明において、当該ロボットシステム表示装置が前記ロボットを制御するロボット制御装置を備える、ロボットシステム表示装置が提供される。

上記構成を備えるロボットシステム表示装置は、キャリブレーションデータに誤りが含まれている場合、視覚センサを実際とは異なる位置又は姿勢でグラフィカルに表示する。それにより、操作者は、キャリブレーショデータが誤っているか否かを視覚的に容易に確認できるようになる。

第１の実施形態に係るロボットシステム及びロボットシステムの表示装置の構成を示す図である。 第１の実施形態に係るロボットシステム及びロボットシステムの表示装置の機能ブロック図である。 第２の実施形態に係るロボットシステム及びロボットシステムの表示装置の構成を示す図である。 第３の実施形態に係るロボットシステム及びロボットシステムの表示装置の構成を示す図である。 第３の実施形態において使用される視覚ターゲット治具の構成例を示す図である。 第３の実施形態に係るロボットシステム及びロボットシステムの表示装置の機能ブロック図である。 第４の実施形態に係るロボットシステム及びロボットシステムの表示装置の構成を示す図である。 第１の変形例に係るロボットシステム及びロボットシステムの表示装置の機能ブロック図である。 第２の変形例に係るロボットシステム及びロボットシステムの表示装置の機能ブロック図である。

以下、添付図面を参照して本発明の実施形態を説明する。図示される実施形態の各構成要素は、本発明の理解を助けるためにその縮尺が実用的な形態から変更されている場合があることに留意されたい。

図１は、第１の実施形態に係るロボットシステム１０及びロボットシステム１０の表示装置２０の構成を示す図である。ロボットシステム１０は、ロボット１２と、ロボット１２を制御するロボット制御装置１４と、ロボット制御装置１４を操作するためのロボット操作盤１６と、対象物３０と、対象物３０が載置されるテーブル３２と、対象物３０の画像を取得するための視覚センサ４０と、視覚センサ４０を制御する視覚センサ制御装置４２と、視覚センサ制御装置４２を操作するための視覚センサ操作盤４４と、視覚センサ４０を所定位置に固定するための視覚センサ架台４６と、を備えている。

テーブル３２に載置された対象物３０は位置決めされておらず、対象物３０の位置は不明である。対象物３０は、視覚センサ４０のカメラ等の撮像素子によって撮像される。そして、対象物３０の画像を視覚センサ制御装置４２によって画像処理することによって、対象物３０の位置が計測される。ロボット１２の動作は、視覚センサ制御装置４２によって計測された対象物３０の位置情報に基づいて制御される。それにより、ロボット１２は、対象物３０の位置に応じて対象物３０に対して必要な作業を実行できるようになっている。

ロボット１２は、公知の任意のロボットマニピュレータ（以下、単に「ロボット」と称する。）であり、特定の構成を有するロボットに限定されない。図示された実施形態において、ロボット１２のアーム先端部には、対象物３０を把持するためのハンド１８が備え付けられているものの、溶接及び塗装その他の用途に応じて種々のエンドエフェクタが採用され得る。

視覚センサ４０は、例えば工業用ＣＣＤカメラ等の撮像手段を備える公知のセンサである。視覚センサ４０は、対象物３０の画像を取得するためにテーブル３２に対して所定の位置関係に配置されるように視覚センサ架台４６に取付けられている。

図２は、図１の実施形態に係るロボットシステム１０及びロボットシステム１０の表示装置２０の機能ブロック図である。ロボット制御装置１４は、ロボット制御部５０を含むデジタルコンピュータである。ロボット制御部５０は、ロボット１２の動作を制御する指令を作成し、ロボット１２に送出する。ロボット操作盤１６は、通信ケーブルを介してロボット制御装置１４に接続されており、ロボット１２を操作するのに使用される。ロボット操作盤１６は、例えばボタン、キーボード、マウス、ダイヤル、タッチパネル等を備えるユーザインタフェースを有する。

視覚センサ制御装置４２は、画像処理部５２と、キャリブレーションデータ記憶部５４と、を含むデジタルコンピュータである。画像処理部５２及びキャリブレーションデータ記憶部５４は、バスを介して互いに接続されている。視覚センサ操作盤４４は、視覚センサ制御装置４２に通信ケーブルを介して接続されており、視覚センサ４０によって対象物３０の位置を計測する際に必要な種々の条件を設定するのに使用される。画像処理部５２には、視覚センサ４０が接続されている。画像処理部５２は、視覚センサ４０によって取得される画像データを処理して、画像に含まれる対象物３０の位置を計算する。キャリブレーションデータ記憶部５４は、キャリブレーションの結果として得られるキャリブレーションデータ及びキャリブレーションに関連するデータを記憶する。

ロボット制御装置１４及び視覚センサ制御装置４２は、通信ケーブルで互いに接続されており、互いにデータの送受信が行われる。通信方法は、ＲＳ−２３２Ｃの形態によるものであってもよいし、ＬＡＮの形態によるものでもよい。または、通信ケーブルを使用せずに無線ＬＡＮの形態によるものであってもよい。ロボット制御装置１４と視覚センサ制御装置４２との間において送受信されるデータには、例えば視覚センサ制御装置４２によって計測された対象物３０の位置情報、ロボット制御装置１４によって取得されるロボット１２の現在の位置情報等が含まれる。

表示装置２０は、形状配置情報記憶部２２と、ロボットシステム１０の構成要素をグラフィカルに表示する液晶ディスプレイ等の表示部２４と、キャリブレーションデータ記憶部５４からキャリブレーションデータを読出して取得するキャリブレーションデータ取得部２６と、視覚センサ４０の配置情報を取得する視覚センサ配置情報取得部２８と、を含むデジタルコンピュータ、例えばパーソナルコンピュータ又はワークステーションである。表示装置２０は、視覚センサ制御装置４２及びロボット制御装置１４から通信又は記録メディアを介して必要な情報を取得できるようになっている。例えば、視覚センサ制御装置４２のキャリブレーションデータ記憶部５４に記憶されているキャリブレーションデータ或いはロボット制御装置１４によって取得されるロボット１２の現在のアーム先端部の位置情報又はロボット１２の各可動軸の角度情報が表示装置２０によって取得される。

形状配置情報記憶部２２には、ロボットシステム１０の構成要素の形状情報及び配置情報が記憶される。ロボットシステム１０の構成要素には、例えばロボット１２、視覚センサ４０及び視覚センサ架台４６等が含まれる。形状情報は、ＣＡＤデータのように構成要素の精緻な形状データを含むものでもよいし、立方体等の簡易モデルによって構成要素の位置及び姿勢を概略的に表現するものでもよい。各構成要素の形状情報は任意の形態で表され得る。形状情報は、２次元形状情報又は３次元形状情報のいずれでもよい。例えば、構成要素に対して基準となる基準座標系が定義され、構成要素の形状を特定する頂点、線、面等が基準座標系において記述される。その場合、ワールド座標系から見た各構成要素の基準座標系の位置及び姿勢が各構成要素の配置情報として利用され得る。

ロボット１２についても他の構成要素と同様に、基準座標系が定義され、ロボット１２の形状情報はその基準座標系において記述される。なお、ロボット１２は、複数の可動軸を通常有しているので、ロボット１２の基準座標系は、ロボット１２の基端側、すなわち固定部を基準に定義されるのが一般的である。表示装置２０によって表示されるロボット１２の形状（姿勢）は、その時点における各可動軸の角度に応じて定まる。

ロボット１２の形状を記述するための基準座標系として、ロボット１２の動作制御の基準となるロボット座標系と同一のものが使用されてもよい。以下、説明を簡単にするために、これら２つの座標系が同一である場合について説明する。この場合、ロボット１２の配置情報は、ワールド座標系に対するロボット座標系の相対的位置として求められる。単一のロボット１２のみを備えるロボットシステム１０においては、ロボット座標系をワールド座標系として定義してもよい。この場合、ロボット１２の位置は、ワールド座標系の原点位置に対応する。

各構成要素の形状情報及び配置情報は、ＣＡＤシステム又はオフラインプログラミングシステムを利用して予め作成されたものを表示装置２０で読出すことによって得られてもよいし、表示装置２０によって直接作成されてもよい。いずれの場合においても、得られた各構成要素の形状情報及び配置情報は、表示装置２０の形状配置情報記憶部２２に記憶される。

表示装置２０の表示部２４は、形状配置情報記憶部２２に記憶されているロボットシステム１０の構成要素の形状情報及び各構成要素の配置情報に基づいて、例えばロボット１２、ハンド１８、テーブル３２、対象物３０及び視覚センサ架台４６等のロボットシステム１０の構成要素を仮想の３次元空間内にグラフィカルに表示する。

なお、形状配置情報記憶部２２には、視覚センサ４０の形状情報が記憶されているものの、視覚センサ４０の配置情報は記憶されていない。本実施形態において、視覚センサ４０の配置情報は、後述する方法により視覚センサ４０のキャリブレーションデータに基づいて算出される。したがって、視覚センサ４０のキャリブレーションが完了するまでは、表示部２４によって表示される画像に視覚センサ４０は含まれない。

視覚センサ制御装置４２のキャリブレーションデータ記憶部５４には、ロボット１２の動作制御の基準となるロボット座標系と、視覚センサ４０による計測処理の基準となる視覚センサ座標系とを互いに関連付けるキャリブレーションデータが記憶される。

キャリブレーションデータの形式及びキャリブレーションデータを取得する具体的な態様については、種々の技術が提案されており、本願発明との関係では特定の形態に何ら限定されない。カメラのキャリブレーション方法については、例えば「Roger Y. Tsai, “An efficient and accurate camera calibration technique for 3d machine vision”, Proc. Computer Vision and Pattern Recognition ’86, pp.368-374, 1986」に記載されている。

一般的に、視覚センサのキャリブレーションデータには、外部パラメータ及び内部パラメータが含まれる。外部パラメータは、視覚センサの物理的位置及び姿勢に関する情報であり、例えば、ロボット座標系に対する視覚センサ座標系の相対的配置情報として表すことができる。一方、内部パラメータは、レンズの焦点距離、レンズ歪、受光素子の寸法等の視覚センサの光学系の条件に関する情報である。

視覚センサにおいても、他の構成要素と同様に、視覚センサの形状を記述するための基準となる基準座標系が定義されている。しかしながら、視覚センサによる計測処理の基準となる視覚センサ座標系は、視覚センサの形状を表すための基準座標系と同一であってもよい。その場合、キャリブレーションデータに含まれる外部パラメータは、視覚センサの配置情報として利用される。一方、視覚センサの基準座標系及び視覚センサ座標系が同一でない場合においては、視覚センサに対して定義される基準座標系と視覚センサ座標系との間の相対的関係は既に分かっているので、キャリブレーションデータに含まれる外部パラメータと、２つの座標系間の相対的関係に基づいて、視覚センサの配置情報が算出され得る。視覚センサの基準座標系と視覚センサ座標系との間の相対的関係は、視覚センサの基準座標系における視覚センサ座標系の位置及び姿勢として表現でき、視覚センサの形状情報の一部として形状配置情報記憶部２２に記憶される。

このようにして求められる視覚センサ４０の配置情報と、形状配置情報記憶部２２に予め記憶されている視覚センサ４０の形状情報とに基づいて、表示装置２０の表示部２４は、視覚センサ４０を仮想の３次元空間内にグラフィカルに表示する。

視覚センサのキャリブレーションが適切に実行されている場合、表示部に表示される視覚センサは、他の構成要素、例えば視覚センサ架台に対して正しい位置に表示される。それに対し、視覚センサのキャリブレーションが適切に行われていない場合には、視覚センサは実際とは異なった箇所に表示される。このように本実施形態に係るロボットシステムの表示装置によれば、表示部に表示されるグラフィカルな情報に基づいて、操作者は、視覚センサのキャリブレーションが適切に実行されたか否かを容易に確認できる。また、特許文献３に開示されるようなオフラインシミュレーション装置を利用する場合において、本実施形態に係る表示装置によって適切であることが確認できたキャリブレーションデータを読出して使用することによって、信頼性の高いシミュレーション結果が得られるようになる。

続いて、前述した実施形態とは異なる本発明の他の実施形態について説明する。以下の説明において、既に述べた内容と重複する事項については説明を適宜省略する。また、同一又は対応する構成要素には同一の参照符号が使用される。

図３は、第２の実施形態に係るロボットシステム６０及びロボットシステム６０の表示装置２０の構成を示す図である。図３に示されるロボットシステム６０の構成は、第１の実施形態に係るロボットシステム１０の構成と概ね同一であるが、視覚センサ４０が視覚センサ架台４６ではなく、腕木６２を介してロボット１２のアーム先端部に取付けられている点において相違する。すなわち、視覚センサ４０は、ロボット１２を動作させたときに、ロボット１２のアームの動作に連動するようになっている。それにより、視覚センサ４０とロボット１２のアーム先端部との間の相対的位置関係が維持される。

本実施形態において、視覚センサ４０のキャリブレーションは、ロボット１２を任意の位置において静止させた状態で実行される。説明の便宜上、キャリブレーションが実行されるときのロボット１２のロボット座標系におけるアーム先端部の位置をＱ１とする。Ｑ１は４×４の同次変換行列であり、ロボット座標系において記述されたものである。

ロボット１２が視覚センサ４０のキャリブレーションを実行した後も静止したままであれば、第１の実施形態と同様の方法で視覚センサ４０の配置情報が得られる。しかしながら、本実施形態においてはロボット１２が動作するのに従って視覚センサ４０の位置及び姿勢も変化する。したがって、視覚センサ４０の位置及び姿勢が変化した後における視覚センサ４０の配置情報を再度取得する必要がある。

そこで、本実施形態においては、キャリブレーションが実行されたときのアーム先端部の位置Ｑ１がキャリブレーションデータ記憶部５４にキャリブレーションデータの一部として記憶される。アーム先端部の位置Ｑ１において求められたキャリブレーションデータから求められる視覚センサ４０の配置情報をＰ１、現在のロボット１２のアーム先端部の位置をＱ２、現在の視覚センサ４０の配置情報をＰ２とすると、アーム先端部の移動量と視覚センサ４０の移動量とは等しいので、Ｑ１、Ｑ２、Ｐ１及びＰ２の間には、以下の式（１）の関係が成立する。なお位置Ｑ２、Ｐ１及びＰ２は、Ｑ１と同様に４×４の同次変換行列であって、ロボット座標系において記述されたものである。
Ｑ２・Ｑ１^-1＝Ｐ２・Ｐ１^-1 （１）

ここで、Ｑ１及びＰ１はキャリブレーションデータから求められる。また、現在のロボット１２のアーム先端部の位置Ｑ２は、ロボット制御装置１４から取得され得る。したがって、現在の視覚センサ４０の配置情報Ｐ２は以下の式（２）に従って求められる。
Ｐ２＝Ｑ２・Ｑ１^-1・Ｐ１ （２）

そして、式（２）によって求められる現在の視覚センサ４０の配置情報Ｑ２に基づいて、ロボットシステム表示装置２０の表示部２４に視覚センサ４０を再表示する。

前述した例は、視覚センサのキャリブレーションがロボット座標系に対して実行される場合、すなわちキャリブレーションデータの外部パラメータがロボット座標系に対する視覚センサ座標系の相対的位置を表す場合である。しかしながら、視覚センサがロボットのアーム先端部に取付けられる場合には、ロボットのアーム先端部に固定された座標系（以下、「手先座標系」と称する）に対して視覚センサのキャリブレーションが実行されてもよい。この場合、キャリブレーションデータの外部パラメータは、手先座標系と視覚センサ座標系とを互いに関連付けるデータを表す。そして、現在の視覚センサの配置情報は、次のようにして求められる。

手先座標系で表現された視覚センサ４０の配置情報をＰｔとする。ＰｔはＱ２と同様に４×４の同時変換行列である。Ｐｔはキャリブレーションデータ記憶部５４に記憶されているキャリブレーションデータから求められる。また、現在のロボット１２のアーム先端部の位置Ｑ２は、ロボット制御装置１４から取得され得る。したがって、現在のワールド座標系、例えばロボット座標系から見た視覚センサ４０の配置情報Ｐ２は、以下の式（３）によって求められる。
Ｐ２＝Ｑ２・Ｐｔ （３）

図４は、第３の実施形態に係るロボットシステム７０及びロボットシステム７０の表示装置２０の構成を示す図である。本実施形態では、視覚ターゲット治具７２を用いて視覚センサ４０がキャリブレーションされる。そして、表示装置２０の表示部２４には、視覚ターゲット治具７２がさらに表示される。

視覚ターゲット治具７２を用いた視覚センサ４０のキャリブレーション方法は、特許文献２に開示されるように公知である。したがって、キャリブレーション方法自体の詳細な説明は本明細書においては省略する。

図５は、本実施形態において使用される視覚ターゲット治具７２の構成例を示す図である。視覚ターゲット治具７２には、視覚センサ４０で認識可能なパターンとして、図５に示されるようなドットパターン７６が設けられている。ドットパターン７６は、格子状に配置された大小のドット７６ａ，７６ｂ（円）から構成されている。寸法が大きい４つのドット７６ａはＬ字状に配置されており、視覚ターゲット治具７２の座標系（以下、「視覚ターゲット治具座標系」と称する。）を表している。具体的には、視覚ターゲット治具７２の１つの角部に位置する寸法が大きいドット７６ａの中心が視覚ターゲット治具座標系の原点であり、寸法が大きい３つのドット７６ａが配列される方向がＸ軸方向を表し、寸法が大きい２つのドット７６ａが配列される方向がＹ軸方向を表し、視覚ターゲット治具７２の表面の鉛直方向上側がＺ軸方向を表している。

視覚ターゲット治具７２の形状情報は、他の構成要素と同様に、視覚ターゲット治具７２に対して付与される基準座標系において記述される情報であり、表示装置２０の形状配置情報記憶部２２において記憶される。一方、視覚ターゲット治具７２の配置情報は、形状配置情報記憶部２２には記憶されておらず、本願発明によれば、視覚センサ４０のキャリブレーションデータに基づいて、後述する方法により計算される。したがって、視覚センサ４０のキャリブレーションが完了するまでは、表示装置２０の表示部２４によって表示される画像に視覚ターゲット治具７２は含まれない。

視覚ターゲット治具７２を用いて視覚センサ４０をキャリブレーションするには、使用される視覚ターゲット治具７２に形成されたドットパターン７６の寸法情報、例えばドット７６ａ，７６ｂの間隔、及び視覚ターゲット治具７２の設置情報、すなわち視覚ターゲット治具７２の位置及び姿勢を予め設定しておく必要がある。

ドットパターン７６の寸法情報については、視覚ターゲット治具７２にドットパターン７６を形成する際に使用される設計図面等から既知である。ドットパターン７６の寸法情報は、キャリブレーションデータの一部として、キャリブレーションデータ記憶部５４に記憶される。

本実施形態では、視覚ターゲット治具７２は、テーブル３２の上に、ドットパターン７６が視覚センサ４０に対して向けられるように固定される。視覚ターゲット治具７２の設置情報は、ロボット１２の動作制御の基準となるロボット座標系に対する視覚ターゲット治具座標系の相対的位置として表される。設定された視覚ターゲット治具７２の設置情報は、キャリブレーションデータの一部として、キャリブレーションデータ記憶部５４に記憶される。

視覚ターゲット治具７２の形状を表す基準となる視覚ターゲット治具７２の基準座標系と、視覚ターゲット治具座標系との間の相対位置関係は既知であり、視覚ターゲット治具７２の形状情報の一部として形状配置情報記憶部２２に記憶される。したがって、キャリブレーションデータ記憶部５４に記憶された視覚ターゲット治具７２の設置情報と、視覚ターゲット治具７２の基準座標系及び視覚ターゲット治具座標系の相対位置関係とに基づいて、視覚ターゲット治具７２の配置情報、すなわちロボット座標系における視覚ターゲット治具７２の位置情報が計算される。

そして、ロボットシステム７０の表示装置２０は、得られた視覚ターゲット治具７２の配置情報と、形状配置情報記憶部２２に記憶されている視覚ターゲット治具７２の形状情報とに基づいて、視覚ターゲット治具７２を仮想の３次元空間内にグラフィカルに表示する。

図６は、第３の実施形態に係るロボットシステム７０及びロボットシステムの表示装置２０の機能ブロック図である。本実施形態における機能ブロック図は、第１の実施形態のものと概ね同一であるものの、表示装置２０が視覚ターゲット治具７２の配置情報を取得する視覚ターゲット治具配置情報取得部７４を備える点において相違する。

本実施形態では、視覚センサ架台に固定された視覚センサをキャリブレーションする方法を説明したが、ロボットのアーム先端部に固定された視覚センサをキャリブレーションするために視覚ターゲット治具を使用してもよい。この場合、視覚センサは第２の実施形態に従って、視覚ターゲット治具は第３の実施形態に従ってグラフィカルにそれぞれ表示される。

図７は、第４の実施形態に係るロボットシステム８０及びロボットシステム８０の表示装置２０の構成を示す図である。図７に示されるロボットシステム８０の構成は第３の実施形態に関連して説明されたロボットシステム７０と概ね同じであるが、視覚ターゲット治具７２が、テーブル３２ではなく、腕木６２を介してロボット１２のアーム先端部に設置されている点において相違する。すなわち、視覚ターゲット治具７２は、ロボット１２のアームの動作に連動して、ロボット１２のアーム先端部との間の相対的位置を維持するようになっている。また、視覚ターゲット治具７２のドットパターン７６を視覚センサ４０によって撮像できるように、ロボット１２のアーム先端部が移動される。

視覚ターゲット治具７２がロボット１２のアーム先端部に設置されている場合、手先座標系に対する視覚ターゲット治具座標系の相対的位置が視覚ターゲット治具７２の設置情報として設定される。すなわち、キャリブレーションデータ記憶部５４に記憶されている視覚ターゲット治具７２の設置情報は、手先座標系における視覚ターゲット治具７２の位置情報となる。

ロボット座標系における視覚ターゲット治具７２の設置情報は、ロボットのアーム先端部が移動するのに従って変化する。現在のロボットの位置、すなわちロボット座標系に対する手先座標系の相対的位置をＱ３、キャリブレーションデータ記憶部５４に記憶されている手先座標系における視覚ターゲット治具７２の位置情報をＰｊとすると、ロボット座標系から見た現在の視覚ターゲット治具７２の設置情報Ｐ３は次の式（４）で求められる。
Ｐ３＝Ｑ３・Ｐｊ （４）

そして、ロボットシステム８０の表示装置２０は、ロボット座標系における現在の視覚ターゲット治具７２の設置情報Ｐ３と、形状配置情報記憶部２２に記憶されている視覚ターゲット治具７２の形状情報とに基づいて、視覚ターゲット治具７２を仮想の３次元空間内にグラフィカルに表示する。

図８は、第１の変形例に係るロボットシステム及びロボットシステムの表示装置２０の機能ブロック図である。本変形例において、ロボットシステムの表示装置２０は、視覚センサ制御装置４２の機能を備えている。すなわち、表示装置２０は、形状配置情報記憶部２２と、表示部２４と、キャリブレーションデータ取得部２６と、視覚センサ配置情報取得部２８と、視覚センサ制御部４２’と、を含むデジタルコンピュータである。表示装置２０の各構成要素は、バスによって互いに接続されている。視覚センサ制御部４２’は、画像処理部５２と、キャリブレーションデータ記憶部５４と、をさらに備えている。キャリブレーションデータ記憶部５４及び形状配置情報記憶部２２は、１つの記憶部として形成されてもよい。

視覚センサ操作盤４４は、通信ケーブルを介して表示装置２０の視覚センサ制御部４２’に接続される。操作者は視覚センサ操作盤４４を操作して、視覚センサ４０によって対象物３０を計測するために必要な設定を行うことができる。また、一実施形態において、視覚センサ操作盤４４が液晶ディスプレイ等の表示部２４として機能するようにしてもよい。

図９は、第２の変形例に係るロボットシステムとロボットシステムの表示装置の機能ブロック図である。本変形例において、表示装置２０は、ロボット制御装置１４の機能を内蔵している。さらに、表示装置２０は、視覚センサ制御装置４２の機能も内蔵している。すなわち、表示装置２０は、形状配置情報記憶部２２と、表示部２４と、キャリブレーションデータ取得部２６と、視覚センサ配置情報取得部２８と、ロボット制御部５０と、視覚センサ制御部４２’と、を含むデジタルコンピュータである。表示装置２０の各構成要素はバスによって互いに接続されている。

ロボット操作盤１６は、通信ケーブルを介して表示装置２０のロボット制御部５０に接続される。操作者は、ロボット操作盤１６を操作してロボット１２を動作させるとともに、表示装置２０に内蔵された画像処理部５２によって対象物３０の撮像データを処理するために必要な設定を行うことができる。一実施形態において、ロボット操作盤１６は、液晶ディスプレイ等で構成された表示部２４を内蔵していてもよい。また、ロボット操作盤１６と視覚センサ操作盤４４は、同一の操作盤として形成されてもよい。

前述した実施形態及び変形例は本発明を理解するための例示であって、本明細書において明示されていない実施形態であっても、全体として同じ機能を有するものであれば、本願発明の範囲に含まれることはいうまでもない。以上、本発明の種々の実施形態を説明したが、本明細書において明示的又は暗示的に開示される複数の実施形態の特徴を任意に組合せることによっても本発明を実施できることは当業者に自明である。

１０ ロボットシステム
１２ ロボット
１４ ロボット制御装置
１６ ロボット操作盤
２０ 表示装置
２２ 形状配置情報記憶部（記憶部）
２４ 表示部
２６ キャリブレーションデータ取得部（第１の取得部）
２８ 視覚センサ配置情報取得部（第２の取得部）
３０ 対象物
３２ テーブル
４０ 視覚センサ
４２ 視覚センサ制御装置
４４ 視覚センサ操作盤
４６ 視覚センサ架台
５０ ロボット制御部
５２ 画像処理部
５４ キャリブレーションデータ記憶部
６０ ロボットシステム
７０ ロボットシステム
７２ 視覚ターゲット治具
７４ 視覚ターゲット治具配置情報取得部（第３の取得部）
８０ ロボットシステム

そして、式（２）によって求められる現在の視覚センサ４０の配置情報Ｐ２に基づいて、ロボットシステム表示装置２０の表示部２４に視覚センサ４０を再表示する。

手先座標系で表現された視覚センサ４０の配置情報をＰｔとする。ＰｔはＱ２と同様に４×４の同次変換行列である。Ｐｔはキャリブレーションデータ記憶部５４に記憶されているキャリブレーションデータから求められる。また、現在のロボット１２のアーム先端部の位置Ｑ２は、ロボット制御装置１４から取得され得る。したがって、現在のワールド座標系、例えばロボット座標系から見た視覚センサ４０の配置情報Ｐ２は、以下の式（３）によって求められる。
Ｐ２＝Ｑ２・Ｐｔ （３）

Claims (7)

1. ロボットシステムの構成要素の形状情報及び配置情報を記憶する記憶部と、
   前記記憶部によって記憶される前記構成要素の前記形状情報及び前記配置情報に基づいて、前記ロボットシステムの前記構成要素をグラフィカルに表示する表示部と、を備えるロボットシステム表示装置であって、
   前記ロボットシステムは、ロボット及び視覚センサを少なくとも備えており、
   当該ロボットシステム表示装置は、
   前記ロボットの動作制御の基準となるロボット座標系と、前記視覚センサによる計測処理の基準となる視覚センサ座標系とを互いに関連付けるキャリブレーションデータを取得する第１の取得部と、
   前記第１の取得部によって取得される前記キャリブレーションデータと、前記記憶部によって記憶される前記視覚センサの形状情報とに基づいて、前記視覚センサの配置情報を取得する第２の取得部と、をさらに備えており、
   前記表示部は、前記記憶部によって記憶される前記視覚センサの形状情報及び前記第２の取得部によって取得される前記視覚センサの配置情報に基づいて、前記視覚センサを表示するように構成される、ロボットシステム表示装置。
2. 前記視覚センサは、前記ロボットのアームの動作に連動して該アームに対する相対的配置関係を維持するように該アームに固定されており、
   前記表示部は、前記アームと前記視覚センサとの間の相対的配置関係に基づいて、前記視覚センサをグラフィカルに表示するように構成される、請求項１に記載のロボットシステム表示装置。
3. 前記ロボットシステムは視覚ターゲット治具をさらに備えており、
   前記第１の取得部は、前記ロボット座標系と前記視覚センサ座標系と前記視覚ターゲット治具とを互いに関連付けるキャリブレーションデータを取得するように構成されており、
   当該ロボットシステム表示装置は、
   前記表示部は、前記キャリブレーションデータに基づいて、前記視覚ターゲット治具の配置情報を取得する第３の取得部をさらに備え、
   前記表示部は、前記記憶部によって記憶される前記視覚ターゲット治具の形状情報及び前記第３の取得部によって取得される前記視覚ターゲット治具の配置情報に基づいて、前記視覚ターゲット治具をグラフィカルに表示するように構成される、請求項１又は２に記載のロボットシステム表示装置。
4. 前記視覚ターゲット治具は、前記ロボットのアームの動作に連動して該アームに対する相対的配置関係を維持するように該アームに固定されており、
   前記表示部は、前記アームと前記視覚ターゲット治具との間の相対的配置関係に基づいて、前記視覚ターゲット治具をグラフィカルに表示するように構成される、請求項３に記載のロボットシステム表示装置。
5. 前記記憶部によって記憶される前記ロボットシステムの前記構成要素の形状情報が３次元形状情報である、請求項１から４のいずれか１項に記載のロボットシステム表示装置。
6. 当該ロボットシステム表示装置が前記視覚センサを制御する視覚センサ制御装置を備える、請求項１から５のいずれか１項に記載のロボットシステム表示装置。
7. 当該ロボットシステム表示装置が前記ロボットを制御するロボット制御装置を備える、請求項１から６のいずれか１項に記載のロボットシステム表示装置。

Images