JP5665333B2 - 情報処理装置および情報処理装置の制御方法 - Google Patents

Description

本発明は、撮像手段を有するロボットシステムの構成部材の配置を設定するための情報処理装置および方法に関する。

近年、工場などの製造現場において、ロボットアームなどを備えたロボットシステムが人間の代わりに作業を行うことが多くなっている。ロボットシステムで行うことが出来る作業は複雑化かつ高度化しつつある。例えば、撮像カメラを備えたロボットシステムは、製造部品などの被作業物体の撮像画像を取得し、当該撮像画像を画像解析することにより、ロボットアームを作業に適した位置に移動させることが出来る。

しかし、上記ロボットシステムでは、撮像カメラの視界が作業台などの遮蔽物により遮られてしまうと、必要な撮像画像を取得することが出来なくなり、適切な作業を行うことが出来なくなってしまうことがある。

よって、複雑な作業を行うロボットシステムでは、ロボットアーム、撮像カメラ、被作業物体などの構成部材それぞれを適切な位置に配置することが求められる。

特許文献１には、撮像カメラが配置されたロボットシステムにおいて、撮像カメラによって取得される撮像画像を模した仮想空間画像（コンピュータグラフィック画像）を取得することが開示されている。前記仮想空間画像は操作者により目視で確認され、操作者は撮像カメラを適切な位置に配置する。

特開２００８−２１０９２

しかしながら、特許文献１に開示された技術では、操作者が仮想空間画像を目視で確認するため、構成部材の配置の自由度が高く、複雑かつ多岐にわたる作業を行う場合、操作者の負担が増大することになる。

例えば、照明装置の照明方向を２０通り、照明位置の候補を１０通り、撮像カメラの撮像方向を２０通り、撮像位置の候補を１０通りとする。この場合、最も作業に適した配置を見つけるためには、２０×２０×１０×１０＝４００００通りの仮想空間画像を確認する必要があり、操作者が目視で確認することは非常に困難になる。また、確認するべき仮想空間画像の枚数はロボットシステムが複雑になるほど増大し、操作者の負担も増大する。

本発明は、上記課題を鑑みなされたものであり、操作者の負担を軽減させつつ、複雑なロボットシステムの構成部材を適切に配置することを目的とする。

上記課題を鑑み、本願発明の情報処理装置は、撮像手段の撮像画像に基づき作業を行うロボットシステムの構成部材の配置を設定するための情報処理装置であって、前記ロボットシステムの作業空間に対応する仮想空間に、前記構成部材に対応する仮想物体を配置する配置手段と、前記配置手段で配置される仮想物体の配置範囲を制限する制限手段と、前記配置範囲で前記仮想物体が配置された前記仮想空間を前記撮像手段の視点から撮像した場合に得られる仮想空間画像を取得する第一の取得手段と、前記仮想空間画像に基づき、前記ロボットシステムの作業に対する前記仮想物体の配置の適合を示す評価値を取得する第二の取得手段とを有することを特徴とする。

本発明によれば、操作者の負担を軽減させつつ、複雑なロボットシステムの構成部材を適切に配置することが出来る。

第一の実施形態におけるロボットシステムの構成を示す図である。 第一の実施形態におけるロボットシステムの情報処理を示す図である。 第一の実施形態における照明装置１０の選択可能な方向を示す図である。 第一の実施形態における撮像手段９の選択可能な方向を示す図である。 第一の実施形態における照明装置１０の配置可能な位置を示す図である。 第一の実施形態における撮像手段９の配置可能な位置を示す図である。 撮像手段９と被作業物体１７との位置関係を模式的に示した図である。 第一の実施形態における仮想的な画像を示した図である。 認識処理において被作業物体として認識された領域を示した図である。 被作業物体の三次元ＣＡＤデータを示した図である。 第二の実施形態における被作業物体の形状を示した図である。 第二の実施形態における照明装置１０の方向の自由度を示した図である。 第二の実施形態における撮像手段９の方向の自由度を示した図である。 第二の実施形態における照明装置１０の位置の自由度を示した図である。 第二の実施形態における撮像手段９の位置の自由度を示した図である。 ユーザの指示による仮想物体の配置の制限を示した図である。 第三の実施形態におけるロボットシステムの構成を示した図である。 工程１におけるグラフィカルユーザインターフェースを示した図である。 工程２におけるグラフィカルユーザインターフェースを示した図である。 工程３におけるグラフィカルユーザインターフェースを示した図である。 第五の実施形態におけるグラフィカルユーザインターフェースを示した図である。 工程４におけるグラフィカルユーザインターフェースを示した図である。 第五の実施形態における警告のグラフィカルユーザインターフェースを示した図である。

（第一の実施形態）
（本実施形態におけるロボットシステムの構成）
図１は、本実施形態におけるロボットシステムの構成を示す図である。

２００は、工場の生産ラインにおいて、ロボットアームを用いて被作業物体（部品）の組み立て作業を行うワークエリア２００を示している。

１２は、ワークエリア２００の一部または全部を強化プラスチック等の透明部品で覆うエリア枠１２である。

１００は、本実施形態におけるロボットシステムの構成部材１００である。ロボットシステムの構成部材１００は、以下から構成される。

１１は、被作業物体に対して把持・加工などを行うためのロボットアーム１１である。ロボットアーム１１は複数の関節部を有し、様々な位置および姿勢にすることが可能である。

９は、ロボットアーム１１に配置された撮像手段９である。撮像手段９は、可視光を検出して撮像画像を取得するビデオカメラなどから構成される。

１０は、被作業物体を照明するための照明装置１０である。照明装置１０は、照明光を照射可能なライトなどから構成され、照明光の種類、照明強度、照射パターンなどを調整可能となっている。また、照明装置１０は、アクチュエータ１９を有し、照明光の照射方向を変更することが可能である。

１６は、照明装置１０を保持可能な保持装置１６である。保持装置１６は、複数のアクチュエータ１９などから構成され、照明装置１０の照明方向を変更可能になっている。

１５は、ロボットアーム１１と撮像手段９とを接続するための保持装置１５である。保持装置１５はアクチュエータ２０を有し、ロボットアーム１１に対する撮像手段９の向きを変更することが可能である。

以上が、本実施形態におけるロボットシステムの構成部材１００である。
１８は、ロボットシステムの構成部材１００に接続され、それぞれの動作を制御する制御部１８である。制御部１８は、ＣＰＵ、ＲＡＭ、動作プログラムや各種データが格納されたＲＯＭなどから構成される。制御部１８は、ＲＯＭに格納されたロボットシステムの構成部材１００に関する情報から、ロボットシステムの構成部材１００の配置を設定するための情報処理装置として機能する。本情報処理の詳細は、後述する。

また、制御部１８は、ＲＯＭに格納されたコンピュータプログラムの手順に従い、照明装置１０の照射光および向き、撮像手段９から得られた画像の画像処理、ロボットアーム１１の動作などを制御する。例えば、撮像手段９から得られた撮像画像から被作業物体１７を抽出し、当該抽出結果に基づき、ロボットアーム１１に対して、被作業物体の把持・加工などを行うための制御信号を送信する。

１３は、作業前の被作業物体を配置しておく搬送装置１３である。
１４は、被作業物体の把持・加工・組み立てなどを行うための作業台１４である。
１７は、ロボットアーム１１の把持・加工・組み立て対象となる被作業物体１７である。被作業物体１７は、図１に示す通り、ネジなどの部品から構成される。
２１は、照明装置１０を配置可能な照明配置可能エリア２１である。
２２は、撮像手段９を配置可能な撮像配置可能エリア２２である。

（情報処理）
図２は、本実施形態におけるロボットシステムの情報処理を示す図である。図２における情報処理は、本実施形態におけるロボットシステムの構成部材１００それぞれの適切な配置パラメータを設定するための処理である。

以下、図２を用いて、本実施形態におけるロボットシステムの情報処理を説明する。尚、以下の情報処理は、制御部１８により実行される。

（工程１）（認識・計測対象物の種別および物理特性を設定）
認識・計測対象物の種別および物理的特性を設定する工程１では、本実施形態のシステムにおいて認識・計測対象となる物体の種別および物理的特性に関する情報を設定する。本実施形態において、認識・計測対象となる物体は被作業物体１７である。物理的特性には、例えば、物体の形状、剛性、光学特性などが含まれる。物体の形状は三次元のＣＡＤデータなどの形状モデルであり、物体の剛性はヤング率、振動減衰特性などであり、物体の光学特性はＢＲＤＦ、ＢＴＤＦ、ＢＳＤＦなどである。

本工程における設定は、あらかじめデータベースに記録されたデータを制御部１８が読み込み、行う。もしくは、ユーザの入力を受けて、制御部１８が設定を行ってもよい。

（工程２）（システムの構成品の特性情報を設定）
システム構成品の特性情報を設定する工程２では、認識・計測制御システム１００を構成するシステム構成品の特性情報を設定する。

本実施形態におけるシステム構成品は、撮像手段９、照明装置１０、ロボットアーム１１などである。例えば、撮像手段９の特性情報は、焦点距離、撮像素子サイズ等の情報である。また、照明装置１０の特性情報は、照射光種類、照明強度、照射パターン等の情報である。また、ロボットアーム１１の特性情報は、形状データ、動作力学モデル等の情報である。尚、被作業物体を配置しておく搬送装置１３、被作業物体の組み立てなどを行うための作業台１４、エリア枠１２などの特性情報を設定してもよい。

これらの設定は、あらかじめ製造メーカおよび品種ごとの特性情報がデータベースとして用意されており、製造メーカおよび品種をユーザの指示などで指定することにより、各システム構成品の特性情報を設定するようにしてもよい。

尚、本工程における設定は、工程１と同様に、あらかじめデータベースに記録されたデータを、制御部１８が読み込み、行う。また、ユーザの入力を受けて、制御部１８が設定を行ってもよい。

また、本工程においては、それぞれのシステム構成品の個数も設定可能とする。

本実施形態における認識・計測制御システムは、図２に示すように、カメラ、ロボットアーム、および照明装置をそれぞれ一個ずつ有しているため、本工程においてそれぞれの個数を１個として設定する。

（工程３）（システムの構成品の配置条件に関するパラメータを設定）
システム構成品の配置条件に関するパラメータを設定する工程３では、それぞれのシステム構成品を配置する位置および姿勢の条件を設定する。本実施形態における設定対象は、ロボットアーム１１、撮像手段９、照明装置１０、である。

ロボットアーム１１は、ワークエリア２００のどの位置に配置されているかが設定される。尚、本実施形態において、ワークエリア２００内に配置されたロボットアーム１１などは、グローバル座標系で参照される。

また、照明装置１０は、ワークエリア２００のどの領域に配置されているかが設定される。照明装置１０が配置される範囲は、前述した通り、照明配置可能エリア２１内になる。また、アクチュエータ１９により、照明装置１０の照射方向は、変更可能となっている。

また、撮像手段９は、ロボットアーム１１上のどの領域に配置されているかが設定する。撮像手段９が配置される範囲は、前述した通り、撮像配置可能エリア２２内になる。また、アクチュエータ２０により、撮像手段９の撮像方向は、変更可能となっている。

尚、本実施形態において、撮像装置９は、可動物体であるロボットアーム１１に配置されているため、ローカル座標系で参照される。

（工程４）（タスク処理の内容を設定）
タスク処理の内容を設定する工程４では、認識・計測結果を元にして実行するタスク処理内容を設定する。本実施形態では、ロボットアーム１１による組み立て処理の動作に関する情報を設定する。

組み立て処理の動作に関する情報として、まず、ロボットアーム１１が被作業物体１７を掴むときのワークエリア２００内の位置・動作情報、を設定する。更に、ロボットアーム１１が被作業物体１７を組み立てる動作を実行する際のワークエリア２００内の位置・動作情報を設定する。

一般的に、タスク処理の動作に関する情報は、ロボットアーム１１が辿る位置の座標情報および動作速度になる。

ロボットアーム１１に関しては、工程２で説明したように、既にロボットアーム１１の種類によって決定される動作力学モデルを有しているので、後述するように組み立て処理を実行する際の、ロボットアーム１１の動作の軌跡を算出することが可能である。

また別の例として、典型的なタスク処理モデルを事前に設定しておき、該当するタスク処理モデル（本実施例では被作業物体１７の組み立て）を選択した後に、部品供給位置と部品組み立て位置を指定することも可能である。

この場合は、各典型的なタスク処理モデルごとに事前にロボットアーム１１が取る動作の軌跡が設定されており、部品供給位置と部品組み立て位置に対応して、ロボットアーム１１の動作が決定される。

以上、工程１から工程４までの処理により、ロボットシステムの構成部材１００を仮想的に設定するための条件が取得される。本工程４では、工程１から工程４までで取得された条件により、ロボットシステムの構成部材１００それぞれを仮想的に設定した仮想空間画像を生成する。

本実施形態では、コンピュータグラフィックス（仮想物体）で作成されたロボットシステムの構成部材１００それぞれを作業空間に対応する仮想空間に配置する。そして、制御部１８は仮想空間画像を取得する第一の取得手段として機能し、撮像手段９で作業空間を撮像することにより得られる撮像画像を模したコンピュータグラフィックス画像を仮想空間画像として生成する。また、前述の通り、本実施形態では、照明装置１０の方向、撮像手段９の方向などを変更可能である。本実施形態では、図３に示すように、照明装置１０の選択可能な方向は、２０通りとする。また、図４に示すように、撮像手段９の選択可能な方向は、２０通りとする。また、図５に示すように、照明装置１０の配置可能な位置は、１０通りとする。また、図６に示すように、撮像手段９の配置可能な位置は、１０通りとする。よって、以下の式（１）よりすべての組合せは４００００通りとなり、４００００枚の仮想空間画像が生成可能となる。
２０×２０×１０×１０ ＝ ４００００通り ・・・（１）
尚、本実施形態では、上記式では、工程４におけるタスク処理の動作は考慮されていない。タスク処理の動作を考慮する場合、ロボットアーム１１の移動可能な位置を１００通りとすると、上記４００００枚の仮想空間画像それぞれに対して１００通りの仮想空間画像が取得される。

また、仮想空間画像の詳しい生成方法は、後述する。

（工程５）（評価値条件を設定）
評価値条件を設定する工程５では、工程４において生成された仮想空間画像を評価する評価値の基準を設定する。本実施形態における評価値は、工程４において生成された仮想空間画像それぞれに対して算出される。評価値は、コントラスト値、遮蔽率、認識信頼度、計測信頼度の組合せにより算出され、ロボットシステムの作業に対する前記仮想物体の配置の適合を示す。評価値が高いほど、本実施形態におけるロボットシステムの作業が行いやすいことになる。コントラスト値、遮蔽率、認識信頼度、計測信頼度それぞれの算出方法は、後述する。本工程では、ユーザの指示に基づき、コントラスト値、遮蔽率、認識信頼度、計測信頼度それぞれを評価値として採用するか否か、もしくはそれぞれの評価値に対する重み付けなどを設定する。

尚、あらかじめ評価値それぞれを採用するか否かを示す複数の基準を設定しておき、複数の基準からユーザが所望の基準を選択するようにしてもよい。いずれにしても、ロボットシステムの構成部材１００それぞれを適切な位置に配置しているか否かを判定することが出来る基準であれば良い。

尚、本実施形態では、評価値が高いほど、ロボットアーム１１で被作業物体１７に対する作業を行う場合により適した配置であることを示すものとする。

（工程６）（所定の評価値を算出）
評価値を算出する工程６では、制御部１８は仮想空間画像の配置の適合を示す評価値を取得する第二の取得手段として機能し、工程４において生成された仮想空間画像それぞれの評価値を算出する。算出される評価値は、工程５で設定された規準に基づくものである。上述した通り、４００００枚の仮想空間画像を生成した場合、４００００通りの評価値を算出することになる。尚、タスク処理の動作を考慮する場合、上述の通り、上記４００００枚の仮想空間画像それぞれに対して１００通りの仮想空間画像が取得される。この場合、上述の評価値は、例えば、１００通りの仮想空間画像の評価値の平均値になる。平均値を算出することにより、タスク処理全体を通して、ロボットシステムの作業に対して適合した配置を検出することが可能になる。

（工程７）（所定のシステム構成品の配置パラメータを設定）
本工程７では、工程６の算出結果に基づき、システム構成品１００の適切な配置パラメータを設定する。適切な配置パラメータとは、例えば、被作業物体１７に対して、ロボットアーム１１がより適切な作業を行うことが可能なシステム構成品１００の配置を示すパラメータである。前述した通り、工程６で算出された評価値中で最も高い評価値を選択し、当該評価値の仮想空間画像に対応する配置パラメータが設定される。また、最も高い評価値だけでなく、評価値の高い順に複数種類の配置パラメータを設定してもよい。

尚、評価値が正負の値を取る場合、最適値を検出する手法として基準値と比較する手法がある。例えば、基準値との比を算出し、比の平均値が最も１に近いものを最適値とする。

（工程８）（配置パラメータを提示）
前記配置パラメータをユーザに提示する工程８では、工程７で設定されたシステム構成品の配置パラメータをユーザに提示する。提示する方法は、モニタなどを用いた表示や音声など、ユーザに報知できる方法ならどのようなものでもよい。

ユーザは、提示された配置パラメータを用いて、現実空間におけるロボットシステムの構成部材１００を適切な位置に配置することが可能になる。

以上が、本実施形態における制御部１８の情報処理である。以上の情報処理を行うことによって、ユーザは、ロボットアーム１１がより適切な作業を行うことが可能な配置パラメータを得ることが出来る。上記処理により、構成部材配置の自由度が高く、適切な構成部材の配置を求めることが困難なロボットシステムにおいても、ロボットシステムの作業により適した構成部材の配置パラメータを簡単に取得することが可能になる。

（仮想空間画像の生成方法）
前述の工程４における仮想空間画像の生成方法について説明する。まず、三次元モデルにおける撮像手段９と被作業物体１７との位置関係は、模式的に図７のように表すことが可能である。

図７は、カメラのレンズ２３、カメラの撮像素子２４、および部品１７の位置関係を示している。

また、図７において、Ｓは被作業物体１７とカメラ９のレンズ２３間の距離を表し、ｆは撮像カメラ９のレンズ２３と撮像素子２４との距離である焦点距離を表し、ＷおよびＨは撮像領域の横幅と縦幅を表し、ｗおよびｈは撮像素子２４の横幅と縦幅を表している。この時、それぞれのパラメータは以下の式（２）を満たすため、撮像手段９により撮像されると推定される画像領域Ｗ、Ｈを算出することが可能となる。
ｗ／Ｗ＝ｈ／Ｈ＝ｆ／Ｓ ・・・（２）
また、被作業物体１７に対する照明環境として、前述したように照明強度、照射光種類、照射パターンが確定しており、かつ被作業物体１７に関してはＢＲＤＦ、ＢＴＤＦおよびＢＳＤＦが確定しているため、一般的な仮想モデルを用いることにより、前述した撮像領域における、照明の影響を含んだ仮想空間画像を生成することが可能となる。

また、仮想空間画像中に含まれる被作業物体１７以外の背景物体および遮蔽物体に関しても、撮像手段９の焦点距離と、撮像手段９のレンズ２３と物体との距離、および撮像素子２４とレンズ２３との距離の関係から、推定画像として算出することが可能である。

なお組み立て位置においては、照明装置１０によりパターン光が照射されており、前記推定画像は前記パターン光２５を含んだものとなっている。

以上説明した、撮像手段９によって撮像されると推定される仮想的な画像の生成方法に関しては、従来技術を使用することを想定しており、前述した方法以外を用いるものであっても良い。なお、三次元モデルから任意視点で撮像した画像を生成する方法に関しても、多くの手法が提案されている。

（コントラスト値、遮蔽率、認識信頼度、計測信頼度の算出方法）
前述の工程６において算出されるコントラスト値、遮蔽率、認識信頼度、計測信頼度の算出方法について説明する。

（認識信頼度）
本実施形態における認識信頼度の算出方法について説明する。本実施形態では、認識信頼度として、被作業物体１７の三次元ＣＡＤデータから生成される２次元モデルと仮想空間画像との相関演算を行うことにより得られる相関係数を用いる。例えば、相関係数が所定値以上の場合に、画像上の物体が認識対象物であると判定することが可能になる。相関係数を用いる手法は、一般的にパターンマッチング手法と呼ばれている。尚、認識信頼度としては、パターンマッチング手法以外の手法で代用することも可能である。

例えば、画像から所定の特徴量（例えばＨＯＧやＳＩＦＴ等の特徴量）を算出し、更に前記特徴量に対してＳＶＭ（サポートベクターマシン）等の識別器を用いた判定を実行する手法が知られている。この場合、認識信頼度は、ＳＶＭ（サポートベクターマシン）などの識別関数出力値で表される。ＳＶＭ（サポートベクターマシン）は一般的に知られている手法であるため、ここでの説明は、省略する。

（計測信頼度）
本実施形態における計測信頼度は、計測処理を行う際のパターンマッチング処理の相関演算における相関係数で表される。計測処理は、前述した組み立て位置において、被作業物体１７の位置姿勢を撮像手段９によって撮像された画像から計測する処理を意味する。

ここで、計測処理手法としては、本実施形態ではパターン光照射による三次元計測手法を想定している。パターン光照射による三次元計測手法では、被作業物体１７、撮像手段９、および照明装置１０の相対位置が設定されていれば、仮想空間画像を生成可能となる。

パターン光を照射して撮像される撮像画像に対応する仮想空間画像に対して、照射光パターンに対応した特徴抽出および相関演算を用いたパターンマッチング処理を実行して画像上のパターンの２次元的な位置情報を算出する。そして、更に被作業物体１７、撮像手段９、およびパターン光照明の相対位置を基にして空間的な位置情報に換算することができる。

図６に示すように、まず計測されるスポット（照明光パターンの一つ一つのドット）は、照明装置１０から延びる投影直線ｓ_ｉと、カメラ９の位置から延びる直線Ｐの交点に位置する。

従って、これらの直線の幾何的な位置関係が既知であれば、空間点Ｍ_ｉ＝［ｘ_ｗ、ｙ_ｗ、ｚ_ｗ］^ｔは、撮像手段９によって撮像された画像面上の画像点ｍ_ｉ＝［Ｘ_ｖ、Ｙ_ｖ］^ｔから取得できる。

ここで、添え字ｉは、それぞれの投影スポットの番号を示す。このとき、照明装置１０から測定対象物への投影直線を以下の式（３）に示す。
Ｍ_ｉ＝ｃ＋δｓ_ｉ＋ｃ_０ｉ （ｉ＝１、・・・、Ｎ_ｐ） ・・・（３）
ここで、ｃは照明装置１０の中心座標、ｓ_ｉは各スポットの勾配、ｃ_０ｉは各スポットのオフセット座標を示す。また、Ｎ_ｐは投影スポットの総数を示し、δは媒介変数を表す。

また、撮像系に関する幾何拘束は以下の式（４）で示される。
ＰＭ’_ｉ＝ｗｍ’_ｉ ・・・（４）
式（４）は、スポットｉの空間点Ｍ’_ｉ＝［Ｍ^ｔ _ｉ、１］^ｔが、透視投影行列Ｐと画像点ｍ’_ｉ＝［ｍ^ｔ _ｉ、１］^ｔの積で表されることを示している。
なお、ｗは０でない定数を示す。

ここで、ｃ、ｓ_ｉ、Ｐが既知のパラメータであり、ｍ_ｉが観測データ、すなわち画像として取得されるスポット位置に相当する。
ｍ_ｉに関しては、パターン光が投影された画像データに対して、投影されたスポットパターンに対応した特徴抽出および相関演算を行い相関係数を算出するパターンマッチング処理を実行することにより、画像上の２次元的な位置情報として算出することができる。

尚、画像データからスポットパターンの位置情報を算出する手法としては、前述した特徴抽出およびパターンマッチング処理以外の手法を用いても構わない。

以上説明した結果として、上記の式（３）、（４）から空間点Ｍ_ｉとして、パターン光照射位置の奥行き距離情報を含んだ三次元位置データを算出することが可能となる。なお、観測データｍ_ｉのそれぞれがどの照射スポットに対応するかは、事前に確定されているものとする。

（コントラスト値の算出方法）
次に、本実施形態におけるコントラスト値の算出方法について説明する。本実施形態におけるコントラスト値は、以下の式（５）で定義される。
（Ｌｍａｘ−Ｌｍｉｎ）／（Ｌｍａｘ＋Ｌｍｉｎ） ・・・（５）
ここで、ＬｍａｘとＬｍｉｎは、それぞれ画像中の輝度値の最大値と最小値を表す。

通常、画像のコントラスト値が低すぎたり、あるいは高すぎたりした場合、前述した認識処理、および計測処理の信頼性が低下する傾向がある。本実施形態では、工程６で算出するコントラストは、前記コントラスト値で表される。

（遮蔽率の算出方法）
次に、本実施形態における遮蔽率の算出方法について説明する。

更に、工程６では、生成した仮想的な画像中の認識・計測対象物において、その他の物体により遮蔽されて見えない部位の比率を算出する。

ここでは遮蔽されて見えない部位の比率を算出するために、図８に示すようにまず仮想的な画像中から、前述した認識処理において被作業物体として認識された領域を図９に示すように抽出する。

続いて、抽出した領域の仮想的な画像（図９）に対して、図１０に示す対応する被作業物体の三次元ＣＡＤデータから生成される２次元モデルとの相関演算を再度行い、相関係数を算出する。

すなわち図９に示した仮想的な画像では、部品はロボットアーム１１の映り込みにより一部分が遮蔽されているため、遮蔽が生じていない場合と比較して相関係数が低下する。

そこで、本実施形態では、工程６で算出する遮蔽率を前記相関係数で表す。
尚、遮蔽されて見えない部位の比率の算出手法は前述したものに限るものではない。

（第二の実施形態）
次に、第二の実施形態について説明する。本実施形態と第一の実施形態とで異なる点は、仮想物体を配置する配置範囲（自由度）を制限することである。第一の実施形態では、仮想物体の配置に対して４００００通りの仮想空間画像が生成している。本実施形態では、制御部１８が仮想物体の配置の配置範囲を制限する制限手段として機能する。それぞれの仮想空間画像に対して制御部１８で評価値を算出するためには、多くの計算時間がかかる場合がある。よって、本実施形態では、仮想物体を配置する配置範囲を制限し、生成される仮想空間画像の枚数を削減することにより、制御部１８による計算時間を短縮することを目的としている。以下に、具体的な方法について説明する。

（被作業物体１７の形状に応じた制限）
例えば、被作業物体１７が、図１１に示すように凹面形状を有し、かつ三次元計測対象部位が凹面（網掛け部）である場合、ロボットシステム仮想物体を配置する範囲を制限することが可能になる。

パターン光照射による三次元計測処理のための照明装置１０の位置および方向、また撮像手段９の位置および方向は、前記凹面部位を照射可能で、かつ撮像可能な位置に限定される。なお、図１１に示した被作業物体１７は、円錐状の形状を有し、かつ底面が開放されており、円錐面の内側（網掛け部）を三次元計測する必要があるものとする。

この場合、例えば、照明装置１０および撮像手段９の方向の設定パラメータは第一の実施形態では、それぞれ２０通りであったが、図１２および図１３に示すように１０通りの自由度に限定される。また、一定領域内での照明装置１０の位置と撮像手段９のロボットアーム１１に対する位置の設置パラメータは第一の実施形態ではそれぞれ１０通りで有ったものが、図１４および図１５に示すように５通りの自由度に限定される。結果として本実施における評価値の自由度は、以下の式（６）で表される自由度に限定される。
１０×１０×５×５ ＝ ２５００通り ・・・（６）
これにより、工程６における評価値の算出時間の短縮が実現される。なお、上述した探索自由度の削減においては、事前に凹面形状を有する物体に対して有効なシステム構成品の設置位置および設置方向に関する設置パラメータのパターン数を参照テーブルとして作成しておいてもよい。そして、工程１で物体の形状が入力されるのに対応して、自動的に探索自由度を削減するようにしても良い。例えば、前記参照テーブルにおいて、凹面形状を照明および撮像することが不可能な照明装置、撮像手段の配置パラメータの組み合わせを除外することで、探索自由度を自動的に削減することが可能となる。

また、工程１で入力される被作業物体１７の光学特性を元にしてシステム構成品の配置位置および配置方向に関する配置パラメータのパターン数を限定するものであっても良い。

例えば、被作業物体１７が透明体である場合、パターン光照射による三次元計測処理のための照明装置１０の位置および方向、また撮像手段９の位置および方向は、工程１で入力されるＢＴＤＦおよびＢＳＤＦに対応して限定される。

この場合、例えば照射装置１０、カメラ９は、第一の実施形態ではそれぞれ２０通りで有ったものが、５通りの自由度に限定される。また、照明装置１０の位置と、撮像手段９のロボットアーム１１に対する位置とは、第一の実施形態ではそれぞれ１０通りであったものが、３通りの自由度に限定される。

結果として、本実施形態における評価値の探索自由度は、以下の式（７）で表される自由度に限定される。
５×５×３×３ ＝ ２２５通り ・・・（７）
これにより、工程６における評価値の算出時間の短縮が実現される。
なお、上述した探索自由度の削減においては、事前にＢＴＤＦおよびＢＳＤＦに対応した有効なシステム構成品の設置位置および設置方向に関する設置パラメータのパターン数を参照テーブルとして作成しておいてもよい。そして、工程１で入力された物体の光学特性の情報に対応して、自動的に探索自由度を削減する。

例えばレンズのような透明体の場合、前記参照テーブルにおいて、ＢＴＤＦが所定の値以下となる場合の照明装置、撮像手段の設置パラメータの組み合わせを除外することで、探索自由度を自動的に削減することが可能となる。

以上説明したように、本実施形態における認識・計測制御システムにおける評価方法は、評価値の算出時の設置パラメータの組み合わせに対応した探索自由度を限定することにより、評価値の算出時間を短縮することが可能となる。

（その他の仮想物体を配置する配置範囲の制限）
尚、仮想物体の配置する配置範囲を制限する方法として、以下のような方法を用いてもよい。例えば、ロボットシステムを操作するユーザの判断により、明らかにロボットシステムの作業に適さない仮想物体の配置を、ユーザ指示に基づき排除する。図１６は、ユーザの指示による仮想物体の配置の制限を示した図である。図１６において、３５はユーザに対して仮想物体の位置もしくは配置を画像で表示する表示手段３５である。表示手段３５は、一般的なモニタなどから構成される。３００は、ユーザの仮想物体の配置に関する指示を制御部１８に伝える指示装置３００である。指示装置３００は、一般的なパーソナルコンピュータと同様の手段により構成される。ユーザがマウスなどの入力手段で不要な仮想物体の配置や方向を削除の指示を行うと、指示装置３００は、当該削除の指示を制御部１８に伝える。指示装置３００は、削除処理後の指示装置３００の配置、方向に関する情報をモニタ３５に表示させる。

また、他の仮想物体の配置する配置範囲を制限する方法として、ロボットシステムの構成部材が更新されたことを検出する方法がある。この場合、制御部１８はロボットシステムの構成部材が削除もしくは追加されたことを検出する検出手段として機能し、変更された範囲でのみ仮想空間画像の生成および評価値の算出を行う。ロボットシステムの構成部材の更新に基づき、仮想物体の配置範囲を制限することにより、より効率的なロボットシステムを構築することが可能となる。

（第三の実施形態）
（スクリーン装置の追加）
本実施形態と第一および第二の実施形態とで異なる点は、工程２で入力されるシステム構成として、スクリーン装置が追加されていることである。また、工程３で入力されるシステム構成品の設置条件として、スクリーン装置をロボットセル内のワークエリアのどの領域に設定するのかを指定することが追加されている。

すなわち、図１７に示すようにスクリーン装置２６のワークエリア２００内のエリア枠１２に対する設定位置が一定範囲で指定される。

本実施形態では、図１７において斜線で示された一定範囲３１として指定される。この時、図１７に示すように、スクリーン装置２６はワークエリア２００に対して、所定の可動範囲を有する保持装置２７によって保持される。また、前記保持装置２７はアクチュエータ２８を有し、ロボットシステムにおいて前記スクリーン装置２６の方向が制御される。

さらに、工程６において評価値を算出する際の複数パターンのシステム構成品の設置パラメータとして、保持装置２７を介してワークエリア２００に設置されるスクリーン装置２６の、設置位置および設置方向が追加されたものである。

従って、本実施形態においては、第一の実施形態におけるロボットシステム１００における評価方法との相違点についてのみ説明を行い、その他の部分に関しては第一の実施形態と同様として説明を省略する。

本実施形態において被作業物体１７は、鏡面を有する部品および透明体より構成される部品２９、３０を想定している。

例えば、鏡面を有する部品に対して実施例１で説明したパターン光照射による三次元計測手法を適用する場合、一般的には照明装置から照射されるパターン光を一旦スクリーン装置に映し、スクリーン装置に映るパターン光が鏡面で反射する画像をカメラによって撮像および演算処理する。そして、さらにこれをパターン光、部品、カメラ、およびスクリーン装置の相対配置を変更して複数回実行する手法が取られる。

また、透明体より構成される部品に対して第一の実施形態で説明したパターン光照射による三次元計測手法を適用する場合、一般的には照明装置から照射されるパターン光を一旦スクリーン装置に映す。そして、スクリーン装置に映るパターン光が透明体を透過する画像をカメラによって撮像および演算処理し、さらにこれをパターン光、部品、カメラ、およびスクリーン装置の相対配置を変更して複数回実行する手法が取られる。すなわち、本実施形態における評価手法は、前記鏡面または透明体に対してパターン光照射による三次元計測手法を適用するために、第一の実施形態および第二の実施形態に対してスクリーン装置を追加したものである。

第一および第二の実施形態に対する相違点としては、まず工程２において、システム構成品としてスクリーン装置２６の種類および個数を入力することである。ここでは、スクリーン装置２６の製造メーカおよび品種に関する情報を入力する。

本実施形態においては、第一および第二の実施形態における撮像手段９、照明装置１０、およびロボットアーム１１の場合と同様に製造メーカおよび品種ごとの特性データがデータベースとして用意されている。製造メーカおよび品種を指定することにより、スクリーン装置２６の特性情報を入力することが可能である。

ここで、スクリーン装置２６の特性情報としては、スクリーン装置２６の形状、サイズ、および光学特性が含まれる。

次に、工程３では、第一および第二の実施形態における照明装置１０と同様に、スクリーン装置２６をロボットセル内のワークエリア２００のどの領域に設定するのかを指定する。すなわち、図１７に示すようにスクリーン装置２６のワークエリア２００に対する設定位置が一定範囲で指定される。

本実施形態では、図１７において斜線で示された一定範囲３１として指定される。この時、図１７に示すように、スクリーン装置２６はワークエリア２００に対して、所定の可動範囲を有する保持装置２７によって保持される。また、前記保持装置２７はアクチュエータ２８を有し、ロボットシステムにおいて前記スクリーン装置２６の設置方向が制御される。

次に、工程６では、実施例１および２におけるシステム構成品の設置パラメータとして、さらにスクリーン装置２６の設置方向の設定パラメータと、一定領域内でのスクリーン装置２６の位置に関する設置パラメータを加える。

例えば、本実施形態では、スクリーン装置２６の設置方向の設定パラメータは２０通りの自由度を有し、また、スクリーン装置２６の位置に関する設定パラメータが１０通りの自由度を有する。よって、評価値の探索自由度は、第一の実施形態で設定した探索自由度（４００００通り）を元にして、以下の式（８）で表される。
４００００×２０×１０＝８００００００通り ・・・（８）
以上の探索自由度において工程６で評価値を算出することは、第一および第二の実施形態と同様である。また、工程７以降の処理に関しても、基準値を満たすスクリーン装置２６の設置方向の設定パラメータと、一定領域内でのスクリーン装置２６の位置に関する設置パラメータを選択する。そして、さらにそれをユーザに提示することが追加される以外は、第一および第二の実施形態と同様である。

また、上述した説明においては、照明装置１０から照射するパターン光をスクリーン装置２６に映し、それを画像として撮像する手法に関して説明を行った。しかし、これ以外の方法として、照明装置１０の代わりに、ＬＣＤ等の表示デバイスにパターン光を表示して、それが鏡面に反射した画像、または透明体を透過する画像を撮像する手法を用いても良い。この場合は、スクリーン装置および照明装置のパターン光照射機能は必要無く、表示デバイスは第一および第二の実施形態においてパターン光を照射する場合の照明装置と同様に扱う事ができる。

尚、以上説明した鏡面および透明体における三次元計測手法に関しては、公知の手法が多く提案されているため、ここでは説明を省略する。以上説明したように、本実施形態における認識・計測制御システムにおいては、スクリーン装置の配置および向きを考慮した配置パラメータを決定することが可能となる。

（第四の実施形態）
本実施形態のロボットシステムにおける評価方法は、第一の実施形態で説明した工程３において入力されるシステム構成品の設置条件として、ロボットアームの動作速度を含む動作パターンが追加されている。そして、工程６で算出される評価値として、タスク処理のタクトタイムが追加され、工程５で入力される評価値が満たすべき基準値としてタスク処理のタクトタイムが追加されている。

また、第一の実施形態で説明した撮像手段９により取得される仮想的な画像として、ロボットアームおよび被作業物体の力学的特性を考慮した画像を用いる事が追加されている。従って、本実施形態においては、第一の実施形態のロボットシステムにおける評価方法との相違点についてのみ説明を行い、その他の部分に関しては第一の実施形態と同様として説明を省略する。

本実施形態において認識・計測対象物となる被作業物体は、ロボットアームによって把持されて移動・停止する際に振動を生じる可能性がある、ヤング率が比較的小さい値を有する被作業物体を想定している。

例えば、フレキシブルプリント基板はロボットアームに把持されて移動・停止を行った場合、そのヤング率および振動減衰特性に応じて一定時間の振動を生じる。この時、振動が停止しない状態で部品の認識処理、および計測処理を行った場合、画像上の部品形状が変形しているため、当然認識処理、計測処理の精度は劣化する。

従って、これらの振動が無視できない部品においては、画像の取得におけるロボットアームの動作速度を含む動作パターンを適切に決定することが必要となる。そこで、本実施形態においては、第一の実施形態で設定した探索自由度（４００００通り）に対して、さらに事前に設定された１０パターンのロボットアーム１１の動作速度を含む動作パターンを追加する。従って、本実施形態における評価値の探索自由度は、以下の式（９）で表される。
４００００×１０＝４０００００通り ・・・（９）
また、工程５では、その他の評価値が満たすべき基準値とともに、タスク処理のタクトタイムの基準値を入力する。また、工程６においては、前述した探索自由度４０００００通りに関して、タクトタイムを含む各評価値が算出される。

ここで、評価値として認識信頼度および計測信頼度を算出する際には、被作業物体が変形した状態での画像を仮想的に生成し、認識処理および計測処理を実行する。画像生成の際には、前記１０パターンのロボットアーム１１の動作速度に対応した動作パターンにおいて、被作業物体の力学的特性が考慮される。

さらに、工程７においては第一の実施形態のその他の評価値の場合と同様に、タスク処理のタクトタイムを含む各評価値と、工程５で入力された各評価値が満たすべき基準値との比較処理を実行する。そして、基準値と最も近い値を示す設定パラメータの組み合わせを選択する。

すなわち、ロボットアームの動作速度に対応して、被作業物体はヤング率および振動減衰特性に応じた変形を生じるのであるが、これらの影響により変形を生じた画像を用いて評価値を算出する。そして、ロボットアーム動作により生ずる部品の変形と、ロボットアームの動作速度に依存するタクトタイムの両者を考慮して、システム構成品の設置パラメータを決定することが可能となる。

なお、最適な設定パラメータの組み合わせを選択する方法に関しては第一の実施形態と同様である。また、最後に工程８で、工程７で決定したシステム構成品の設置パラメータをユーザに提示することも第一の実施形態と同様である。

尚、本実施形態においては、ロボットアーム１１の動作速度を含む動作パターンが事前に設定されるものとしたが、工程４において、ユーザが複数の動作パターンを直接入力するものであって良い。または、工程４において、事前に設定された複数の動作パターンが提示され、その中から適切な動作パターンをユーザが選択するものであっても良い。

以上説明したように、本実施形態におけるロボットシステムにより、ユーザはタクトタイムを評価値に含めた上で、提示された設置パラメータを元にして、実際のロボットシステムのカメラおよび照明装置を容易に設置する事が可能となる。

（第五の実施形態）
本実施形態では、ユーザとのグラフィカルユーザインターフェースについて説明する。

図１８は、本実施形態におけるグラフィカルユーザインターフェースの一例を示した図である。図１８は、前述した工程１におけるグラフィカルユーザインターフェースを示した図である。ユーザは、表示装置に表示された案内に従って認識・計測対象となる物体の種別もしくは物理特性に関する情報を入力する。

図１９は、前述した工程２におけるグラフィカルユーザインターフェースを示した図である。ユーザは、表示された案内に従って認識・計測制御システムを構成するシステム構成品の種類および個数を入力する。

図２０は、前述した工程３におけるグラフィカルユーザインターフェースを示した図である。ユーザは、表示装置に表示された案内に従って、システム構成品を設置する条件を入力する。

尚、図２０に示すように、システム構成品を設置する条件を入力する際には、表示装置の画面に表示されたワークエリアの三次元モデルに対して処理を行う。ユーザは対象となるシステム構成品をカーソルでドラッグすることにより、システム構成品の設置領域等を指定することができる。また、システム構成品の設置領域等を直接座標値により入力するものであっても良い。

前記のように指定された設置領域は、前記プログラムによって演算処理され、ワークエリア内の座標値として記憶保持される。

また、図２１に示すように、制御部１８は、仮想物体および仮想空間を表示する表示制御手段として機能する。そして、照明装置、カメラ等の設置領域を指定する際には、ユーザが表示装置内でカーソルをドラッグして矩形領域を指定することで所望の領域を設定することができるものであっても良い。または、直接座標値により入力するものであっても良い。

図２２は、前述した工程４におけるグラフィカルユーザインターフェースを示した図である。ユーザは、表示装置に表示された案内に従ってタスク処理内容を入力する。尚、図２２のようにロボットアームのタスク処理時の動作フローを座標値によって入力しても構わないし、または事前に設定された典型的なタスク処理モデルから選択するものであっても良い。

また、工程５や工程８における処理に対しても、前述した図１８から図２２と同様のグラフィカルユーザインターフェースを用いても良い。

また、追加の機能として、既に稼働中の生産ラインにおいて、随時前述した所定の評価値を算出し、前記評価値が事前に設定した基準値を満たさない場合には報知を行ってもよい。例えば、ユーザに対して、図２３に示すように画面表示または音声によって警告を行うものである。

警告を受けた場合、ユーザは再度認識・計測システムにおける評価方法、シミュレーション装置、および評価装置を用いて、システム構成品の設置パラメータが基準値を満たすように設定を修正することが可能である。以上説明したように、本実施形態における認識・計測制御システムにおける評価方法および評価装置は、生産ラインの稼動時に設置パラメータが基準値を満たさなくなった場合に警告を行う。よって、画像の品質劣化を招くこと無く、かつ信頼性の高い認識・計測処理が実行可能な設置パラメータを、ユーザが常に簡易に決定することを可能とする。

Claims (13)

1. 撮像手段の撮像画像に基づき作業を行うロボットシステムの構成部材の配置を設定するための情報処理装置であって、
   前記ロボットシステムの作業空間に対応する仮想空間に、前記構成部材に対応する仮想物体を配置する配置手段と、
   前記配置手段で配置される仮想物体の配置範囲を制限する制限手段と、
   前記制限手段で制限された配置範囲で前記仮想物体が配置された前記仮想空間を前記撮像手段の視点から撮像した場合に得られる仮想空間画像を取得する第一の取得手段と、
   前記仮想空間画像に基づき、前記ロボットシステムの作業に対する前記仮想物体の配置の適合を示す評価値を取得する第二の取得手段とを有することを特徴とする情報処理装置。
2. 前記第一の取得手段は、前記仮想物体の配置が互いに異なる複数の前記仮想空間画像を取得し、
   前記第二の取得手段は、複数の前記仮想空間画像それぞれに対する複数の前記評価値を取得し、
   複数の前記評価値から前記ロボットシステムの作業により適した評価値を選択し、当該選択された評価値に対応する前記ロボットシステムの構成部材の配置パラメータを報知する報知手段を有することを特徴とする請求項１に記載の情報処理装置。
3. 前記第二の取得手段は、前記仮想空間画像のコントラスト値と、前記仮想空間画像中に
   おける前記仮想物体の認識信頼度と、前記仮想空間画像中における前記仮想物体の遮蔽率
   と、前記仮想空間画像中における前記仮想物体の計測信頼度との少なくともいずれか一つ
   を用いて、前記評価値を取得することを特徴とする請求項１に記載の情報処理装置。
4. 前記ロボットシステムの構成部材の配置は、前記撮像手段の配置と、前記ロボットシス
   テムの被作業物体を照明する照明装置の配置と、前記被作業物体に対して作業を行うロボ
   ットアームの配置と、スクリーン装置の配置との少なくともいずれか一つを含むことを特
   徴とする請求項１に記載の情報処理装置。
5. 前記第二の取得手段は、前記ロボットシステムの作業のタクトタイムと、前記照明装置
   の照明に関する情報と、前記構成部材の形状モデルに関する情報との少なくともいずれか
   一つを用いて、前記評価値を取得することを特徴とする請求項１記載の情報処理装置。
6. 前記仮想空間と前記仮想物体とを、コンピュータグラフィックス画像で表示手段に表示
   させる表示制御手段を有することを特徴とする請求項１に記載の情報処理装置。
7. 前記第一の取得手段は、前記配置範囲で前記仮想物体の配置が互いに異なる複数の前記
   仮想空間画像を取得することを特徴とする請求項１に記載の情報処理装置。
8. 前記制限手段は、ユーザの指示に基づき、前記配置手段で配置される仮想物体の配置範
   囲を制限することを特徴とする請求項１に記載の情報処理装置。
9. 前記制限手段は、前記ロボットシステムの被作業物体の形状に応じて、前記配置手段で配置される仮想物体の配置範囲を制限することを特徴とする請求項１に記載の情報処理装置。
10. 前記ロボットシステムの構成部材の変更を検出する検出手段を有し、
    前記制限手段は、前記検出された変更に基づき、前記配置手段で配置される仮想物体の配置範囲を制限することを特徴とする請求項１に記載の情報処理装置。
11. 撮像手段の撮像画像に基づき作業を行うロボットシステムであって、
    前記ロボットシステムの作業空間に対応する仮想空間に、前記ロボットシステムの構成部材に対応する仮想物体を配置する配置手段と、
    前記配置手段で配置される仮想物体の配置範囲を制限する制限手段と、
    前記配置範囲で前記仮想物体が配置された前記仮想空間を前記撮像手段の視点から撮像した場合に得られる仮想空間画像を取得する第一の取得手段と、
    前記仮想空間画像に基づき、前記ロボットシステムの作業に対する前記仮想物体の配置
    の適合を示す評価値を取得する第二の取得手段と、
    前記評価値に基づく前記構成部材の配置パラメータを出力する出力手段とを有することを特徴とするロボットシステム。
12. 撮像手段の撮像画像に基づき作業を行うロボットシステムの構成部材の配置を設定するための情報処理装置の制御方法であって、
    配置手段が、前記ロボットシステムの作業空間に対応する仮想空間に、前記構成部材に対応する仮想物体を配置する配置工程と、
    制限手段が、前記配置工程で配置される仮想物体の配置範囲を制限する制限工程と、
    第一の取得手段が、前記配置範囲で前記仮想物体が配置された前記仮想空間を前記撮像手段の視点から撮像した場合に得られる仮想空間画像を取得する第一の取得工程と、
    第二の取得手段が、前記仮想空間画像に基づき、前記ロボットシステムの作業に対する前記仮想物体の配置の適合を示す評価値を取得する第二の取得工程とを有することを特徴とする制御方法。
13. コンピュータを、
    撮像手段の撮像画像に基づき作業を行うロボットシステムの構成部材の配置を設定するための情報処理装置であって、
    前記ロボットシステムの作業空間に対応する仮想空間に、前記構成部材に対応する仮想物体を配置する配置手段と、
    前記配置手段で配置される仮想物体の配置範囲を制限する制限手段と、
    前記配置範囲で前記仮想物体が配置された前記仮想空間を前記撮像手段の視点から撮像した場合に得られる仮想空間画像を取得する第一の取得手段と、
    前記仮想空間画像に基づき、前記ロボットシステムの作業に対する前記仮想物体の配置
    の適合を示す評価値を取得する第二の取得手段とを有することを特徴とする情報処理装置
    として機能させるためのコンピュータプログラム。

Images