JP6880457B2 - 把持方法、把持システム及びプログラム - Google Patents

Description

本発明は、把持方法、把持システム及びプログラムに関する。

多指ハンドを用いて、ワークを把持するための方法として、特許文献１には、ワークを三次元計測して得られたワーク計測データ及びワークを把持するためのハンド形状データに基づいて、把持位置姿勢を導き出すワーク取り出し方法が開示されている。

この特許文献１には、ワークの三次元計測データを取得するものとして、例えば、二眼あるいは多眼のステレオカメラ、レーザやプロジェクタなどの投光部とカメラとを備えたアクティブなステレオ計測方式などが記載されている。

特許第５５５８５８５号公報

上記で記載したようなステレオ計測方式において、オクルージョンが発生することでワーク三次元計測データを取得できない領域が存在することが一般的に知られている。またオクル-ジョンによるもの以外に、計測対象物であるワークの表面状態によって三次元計測データを取得できない領域が存在することも知られている。このような場合、ワークの計測データ及びワークを把持するためのハンド形状データに基づいて把持位置姿勢を導き出そうとしても、計測データを取得できない領域周辺のワークについては、把持位置姿勢を導き出すことはできず、ワークを把持することができなかった。
そこで本発明は、対象物を含む領域内において、三次元計測情報を取得できない領域が存在しても、対象物を把持することができる把持方法、把持システム及びプログラムを提供することを目的とする。

本発明の一態様に係る把持方法は、複数の指を備える多指ハンドを用いて対象物を把持する把持方法である。そして、三次元計測センサを用いて対象物を含む領域を計測し、領域内の位置ごとに三次元情報を取得するためのステップと、このステップにおいて、領域内に、三次元情報を取得できない領域が存在する場合は、距離を示す情報に基づいて、計測領域と未計測領域を区分し、未計測領域の位置に基づいて、対象物を把持するための複数の指の位置を決定するステップを含む。

この態様によれば、未計測領域の位置を回避するような適切な把持位置を決定することが可能になる。

複数の指の位置を決定するステップは、計測領域内に複数の指が存在するように、複数の指の位置を決定するステップを含んでもよい。

この態様によれば、計測領域内に複数の指が存在するように、複数の指の位置を決定するから、未計測領域内に対象物が存在しても、干渉することなく対象物を把持することが可能になる。

複数の指の位置を決定するステップは、未計測領域内に複数の指が存在するか判断するステップと、未計測領域内に複数の指が存在すると判断された場合は、計測領域内に複数の指が存在するように、複数の指の位置を決定するステップを含んでもよい。

この態様によれば、計測領域内に複数の指が存在するように、複数の指の位置を決定するから、未計測領域内に対象物が存在しても対象物と干渉することなく把持することが可能になる。

多指ハンドの位置及び姿勢を設定するステップを更に含み、複数の指の位置を決定するステップは、設定された多指ハンドの姿勢及び姿勢に基づく複数の指の位置に相当する指領域が、未計測領域を含むか否か判断するステップと、指領域が未計測領域を含む場合は、指領域が、未計測領域を含まないように、複数の指の間隔を設定するステップと、を更に含んでもよい。

この態様によれば、指領域が、未計測領域を含まないよう複数の指の間隔を設定するから、未計測領域に対象物が存在しても対象物と干渉することなく把持することが可能になる。

多指ハンドの位置及び姿勢を設定するステップを更に含み、複数の指の位置を決定するステップは、設定された多指ハンドの姿勢及び姿勢に基づく複数の指の位置に相当する指領域が、未計測領域を含むか否か判断するステップと、指領域が未計測領域を含む場合は、複数の指が移動することができる領域内の未計測領域を、その未計測領域と計測領域との境界部において得られた距離のうち近い方（小さい方）の距離で補完するステップと、補完された未計測領域の三次元情報と、多指ハンドの位置及び姿勢とに基づいて、対象物との干渉可能性を判断するステップとを更に含んでもよい。

この態様によれば、複数の指が移動することができる領域内の未計測領域を、その未計測領域と計測領域との境界部において得られた距離のうち近い方（小さい方）の距離で補完するから、干渉する可能性がない未計測領域を除いて干渉可能性を判断することが可能になる。

複数の指が移動することができる領域内の未計測領域を、その未計測領域と計測領域との境界部において得られた距離のうち遠い方（大きい方）の距離で補完するステップと、補完された未計測領域の三次元情報と、三次元情報に基づいて、多指ハンドの位置及び姿勢を決定するステップと、を含んでもよい。

この態様によれば、未計測領域を、その未計測領域と計測領域との境界部において得られた距離のうち遠い方（大きい方）の距離で補完するから、対象物のエッジを抽出しやすくなる。

多指ハンド及びこれに接続されるロボットアームを動かして、設定された指の間隔で、対象物に近接するステップと、指の間隔を狭め、対象物を把持するステップと、を含んでもよい。

この態様によれば、対象物と干渉することなく、対象物を把持することが可能になる。

本発明の一態様に係る把持システムは、対象物を把持するための複数の指を備える多指ハンドと、この多指ハンドが接続されるロボットアームと、対象物を含む領域を計測する三次元計測センサから、領域内の位置ごとに三次元情報を取得するための取得手段と、領域内に、三次元情報を取得できない未計測領域が存在する場合は、距離を示す情報に基づいて、計測領域と未計測領域を区分し、未計測領域の位置に基づいて、対象物を把持するための複数の指の位置を決定する決定手段と、を備える。

この態様によれば、未計測領域の位置を回避するような適切な把持位置を決定する把持システムを提供することが可能になる。

決定手段は、計測領域内に複数の指が存在するように、複数の指の位置を決定するように構成されていてもよい。

この態様によれば、計測領域内に複数の指が存在するように、複数の指の位置を決定するから、未計測領域内に対象物が存在しても対象物と干渉することなく把持することが可能になる。

決定手段は、未計測領域内に複数の指が存在するか判断するように構成され、未計測領域内に複数の指が存在すると判断された場合は、計測領域内に複数の指が存在するように、複数の指の位置を決定するように構成されていてもよい。

この態様によれば、指領域が、未計測領域を含まないよう複数の指の間隔を設定するから、未計測領域に対象物が存在しても対象物と干渉することなく把持することが可能になる。

本発明の一態様に係るプログラムは、複数の指を備える多指ハンドを用いて対象物を把持するためのプログラムである。そして、三次元計測センサを用いて対象物を含む領域を計測して得られた、三次元情報を取得するためのステップと、このステップにおいて、領域内に、三次元情報を取得できない未計測領域が存在する場合は、距離を示す情報に基づいて、計測領域と未計測領域を区分し、未計測領域の位置に基づいて、対象物を把持するための複数の指の位置を決定するステップと、をコンピュータに実行させる。

この態様によれば、未計測領域の位置を回避するような適切な把持位置を決定することが可能になる。

複数の指の位置を決定するステップは、計測領域内に複数の指が存在するように、複数の指の位置を決定するステップを含んでもよい。
この態様によれば、計測領域内に複数の指が存在するように、複数の指の位置を決定するから、未計測領域内に対象物が存在しても対象物と干渉することなく把持することが可能になる。

この態様によれば、計測領域内に複数の指が存在するように、複数の指の位置を決定するから、未計測領域内に対象物が存在しても、干渉することなく対象物を把持することが可能になる。

複数の指の位置を決定するステップは、未計測領域内に複数の指が存在するか判断するステップと、未計測領域内に複数の指が存在すると判断された場合は、計測領域内に複数の指が存在するように、複数の指の位置を決定するステップを含んでもよい。

この態様によれば、計測領域内に複数の指が存在するように、複数の指の位置を決定するから、未計測領域内に対象物が存在しても、干渉することなく対象物を把持することが可能になる。

本発明によれば、対象物を含む領域内において、三次元計測情報を取得できない領域が存在しても、対象物を把持することができる把持方法、把持システム及びプログラムを提供することができる。

第１実施形態に係る把持システム１０のハードウェア構成図 第１実施形態に係る把持システム１０の機能ブロック図 第１実施形態に係る把持方法のフローチャート バラ積みされた複数のワークＷの距離画像の一例 第１実施形態に係る把持方法（サブステップ）のフローチャート 距離画像データＤＤ中の未計測領域ＵＡに伴う問題の説明図 多指ハンドＨの各指Ｌ及びＲの移動方向と、未計測領域ＵＡの関係図 第２実施形態に係る把持方法のフローチャート 補完した距離画像データＤＤの説明図 第２実施形態に係る把持方法の効果の説明図 第３実施形態に係る把持方法のフローチャート 距離画像データＤＤの補間方法の説明図 補間方法の相違に基づいて抽出されるエッジＥの相違の説明図

[適用例]
まず、本発明が適用される場面の一例として、多指ハンドを備えるロボットアームを用いて把持の対象物（または、ワーク、という）を把持する際の把持方法について説明する。この把持方法は、距離画像センサ（「三次元計測センサ」の一例）を用いて把持の対象物を撮像し、得られた距離画像データ（「三次元情報」の一例）に基づいて多指ハンド（または単に、ハンド、という）の位置及び姿勢を制御する。そして、距離画像センサを用いて把持の対象物を含む領域を撮像した際に、距離情報を取得できない領域が存在する場合は、その領域の情報を利用して、対象物を把持するための指の位置及び姿勢を決定する。なお、必ずしも距離情報を取得できない全ての画素の情報を利用する必要はなく、たとえば、対象物との関係で、距離情報を取得できない隣接する画素の集合からなる領域を未計測領域として抽出して、対象物を把持するための指の位置及び姿勢を決定してもよい。以下では、距離情報を取得できない領域のうち、対象物を把持するために有用として抽出される領域を未計測領域という。

具体的には、まず、距離画像センサを用いて対象物を撮像し、対象物を含む撮像領域の距離画像データを取得する。このとき、距離画像データが取得できない未計測領域の位置情報も同時に取得する。

次いで、距離画像データに基づいて、対象物を把持するための各指の位置及び姿勢が設定される。

対象物の形状が既知である場合は、予め取得されている対象物の形状データと距離画像データに基づいて、対象物を把持するのに適した各指の位置及び姿勢を設定することができる。対象物の形状が未知である場合は、距離画像データに基づいて対象物のエッジを検出し、対象物を把持するのに適した各指の位置及び姿勢を設定することができる。具体的には、ロボットの先端のリンクに接続される多指ハンドの位置及び姿勢を特定するための六次元の情報ならびに指の間隔を特定するための一次元の情報を含む合計七次元の情報により、多指ハンドを構成する各指の位置及び姿勢を特定することができる。

そして、設定された各指の位置が、未計測領域を含むか判断される。具体的には、距離画像センサの撮像面上に投影された各指が占める領域と、未計測領域に重複領域があるか否かが判断される。

把持の際の各指の位置が、未計測領域を含まない場合は、その位置及び姿勢が、最適なものとして決定される。具体的には、決定された指の間隔を維持したまま、決定された位置及び姿勢で、多指ハンドが対象物に近接し、次いで、指の間隔を狭めることで対象物を把持する。

一方で、把持の際の各指の位置が、未計測領域を含む場合は、指の間隔をさらに広げるように、再設定される。そして、各指の位置が、未計測領域を含むか再判断される。

把持の際の各指の位置が、未計測領域を含まない場合は、その位置及び姿勢が、最適なものとして決定され、その指の間隔を維持したまま、決定された位置及び姿勢で、多指ハンドが対象物に近接し、次いで、指の間隔を狭めることで対象物を把持する。

一方で、把持の際の各指の位置が、なお、未計測領域を含む場合は、さらに指の間隔を広げるように、再々設定される。

このようなプロセスを繰り返すことにより、把持の際の各指の位置が、未計測領域を含まないような指の間隔を決定することができる。そのため、仮に、未計測領域に対象物が及んでいても、対象物を傷つけたり、破壊することなく、対象物を把持することが可能になる。

なお、未計測領域を含まないように、把持の際の各指の位置を決定するために、把持可能な位置の候補を、複数個抽出し、未計測領域を含まない候補を、把持位置として選択してもよい。

上記は、対象物の外側から指の間隔が狭くなるように各指を移動させて対象物を把持する、いわゆる外径把持のタイプの多指ハンドについて説明した。しかしながら、例えばリング状の対象物の内側に多指ハンドを指の間隔が広くなるように各指を移動させて対象物を把持する、いわゆる内径把持のタイプでも、本実施形態の把持方法を適用することができる。その場合は、把持の際の各指の位置が、未計測領域を含む場合は、指の間隔をさらに狭めるように、再設定される。

このように、未計測領域の位置情報を取得して、これを回避するように、把持の際の各指の位置を決定したので、対象物を傷つけたり、破壊することなく、対象物を把持することが可能になる。

なお、三次元情報とは、典型的には、画素（ピクセル）ごとに得られる距離データからなる距離画像データである。ただし、これに限られるものではなく、基準となる位置との距離を反映した情報であればよい。また、正確な距離情報である必要はない。

また、未計測領域とは、距離画像センサ等を用いて撮像された領域のうち、距離情報が得られなかった領域をいう。ここで、距離情報が得られなかったが、周囲の領域の距離情報等に基づいて距離情報が補完された領域は、未計測領域に含まれる。

[第１実施形態]
以下、図面を用いた実施形態について説明する。

図１は、本実施形態に係る把持システム１０のハードウェア構成図である。また、図２は、この把持システム１０の機能ブロック図である。

この把持システム１０は、ロボットＲを備えている。このロボットＲは、多軸多関節型のロボットアームであり、床面に固定されたベースと、可動軸として機能する複数のジョイントと、ジョイントの可動軸に従って回転駆動する複数のリンクと、各リンクを回転駆動するためのサーボモータを備えている。また、先端のリンクには、２本指を備える多指ハンドＨ（または、単に、ハンド、という）が連結されている。多指ハンドＨの各指は、それぞれ一次元に移動可能な構成となっており、ロボット制御部１２（または、ロボット制御装置１２、という）から受け取った命令に基づいて、２本の指の間隔を変更することができる。

ロボット制御部１２は、情報処理装置１４から受け取る把持位置姿勢を指定する情報に基づいて、ロボットＲ及び多指ハンドＨを制御するための制御命令を生成し、ロボットＲ及び多指ハンドＨに対して出力する。

三次元計測センサ１６は、把持対象物であるワークＷを含む領域を撮像し、画素（または、ピクセル、という）ごとに、三次元計測センサ１６とその領域に存在する物体との距離データ（距離データが得られなかった場合も含む）を出力する。ここで、三次元計測センサ１６から各画素に対応して出力される距離データ（距離データが得られなかった場合も含む）の集合を、距離画像データＤＤと呼ぶ。

三次元計測センサ１６は、撮像領域内の複数の位置について距離情報を取得できるものであれば、如何なる方式のものであってもよい。たとえば、レーザを照射しその反射光の受信時間または位相等に基づいて距離を取得するＴＯＦ（Time Of Flight）方式、所定のパターンを有するレーザ光線を照射し、反射光のパターンに基づいて距離を測定するパターン照射方式、赤外線レーザを照射しその反射光に基づいて距離を測定するレーザレンジファインダを用いるもの、二眼または多眼のカメラを用いて距離を計測するステレオカメラを用いるものを、三次元計測センサ１６として用いることができる。

また、三次元計測センサ１６は、ワークＷの上方に固定されてもよいし、ロボットＲの先端のリンク等に固定されていてもよい。

情報処理装置１４は、たとえば、汎用のパーソナルコンピュータをハードウェアとして用いることができる。この情報処理装置１４は、本実施の形態に示される種々の演算処理を実施するための図示しないプロセッサを備える情報処理部１８と、多指ハンドＨのハンド形状データＨＤ、ワークＷのワーク形状データＷＤ、本実施形態に示す各処理を実現するためのコンピュータ読み取り可能なプログラム等を記憶するためのＨＤＤ又はフラッシュメモリ等の不揮発メモリを備える記憶媒体２０から構成される。

情報処理部１８は、把持位置姿勢認識部２２と、未計測領域検証部２４と、ハンド開き幅更新部２６と、最適把持位置姿勢算出部２８を備える。把持位置姿勢認識部２２は、距離画像データＤＤ、記憶媒体２０から読み出されたハンド形状データＨＤ及びワーク形状データＷＤに基づいて、ワークＷを把持するための把持位置姿勢を認識する。未計測領域検証部２４は、把持位置姿勢認識部２２で認識された把持位置姿勢情報に基づいて算出される多指ハンドＨの各指が、三次元計測センサ１６により撮像される領域内で占める指領域と、距離画像データＤＤに基づいて取得される未計測領域ＵＡを比較する。ハンド開き幅更新部２６は、未計測領域検証部２４において、多指ハンドＨの各指が占める領域が未計測領域ＵＡを含むと判断された場合に、多指ハンドＨの指の間隔をより広げるように、開き幅を更新する。最適把持位置姿勢算出部２８は、多指ハンドＨの各指が占める領域が未計測領域ＵＡを含まないような把持位置姿勢を最適な把持位置姿勢として決定する。

なお、情報処理部１８は、三次元計測センサ１６及び記憶媒体２０から受信した各種データや、各ブロック２２〜２８において演算処理されるデータ等を、一時的に記憶するための揮発メモリからなる図示しない記憶手段を備える。

次いで、図３を用いて、本実施形態に係る把持方法について説明する。

本実施形態において、把持の対象物であるワークＷは、三次元形状が定まっている部品や、基本的な三次元形状は共通するが、個体差を有する物体（たとえば、同種の魚や果物）である。これらワークＷの三次元のワーク形状データＷＤは、予め、記憶媒体２０に記憶されている。

また、把持システム１０は、不特定にバラ積みされた複数のワークＷから１つのワークＷを選択して把持する。ただし、これに限られるものではなく、たとえば、ベルトコンベヤで搬送されているワークＷを、把持システム１０が順番に把持するように構成してもよい。

まず、三次元計測センサ１６は、少なくとも一つのワークＷを含む領域を撮像して、距離画像データＤＤを取得する（ステップＳ３１）。この距離画像データＤＤは、距離が近いほど高輝度な二次元画像として、図示しない表示装置に表示させることができる。

ここで、一部画素について距離データを取得できない場合がある。例えば、ステレオカメラの死角に起因するオクル−ジョンや、物体表面の法線がセンサの撮像面の法線と垂直に近い角度を有するため有意な反射光が得られない場合は、距離データを取得することができない。更に、低反射物体や、逆に鏡面反射物体を撮像する場合も、距離データを取得できない。距離画像データＤＤは、このような理由で距離データを取得することができない画素の情報も含んでいる。

図４は、バラ積みされた複数のワークＷ（果物のオレンジ）を撮像して得られた距離画像データを、距離が近いほど輝度を高くする画像として表示させた例である。この図に示されるように、各ワークＷの、向かって右側の側面は、オクル−ジョン等の原因のため、距離データを取得することができない未計測領域ＵＡを含んでいる。

次いで把持位置姿勢認識部２２は、未計測領域ＵＡの距離データを補完する（ステップＳ３２）。

次いで、把持位置姿勢認識部２２は、記憶媒体２０からワーク形状データＷＤを読み出し、ステップＳ３２において、未計測領域ＵＡの距離データが補完されている距離画像データＤＤと、ワーク形状データＷＤのパターンマッチングを実行し、距離画像データＤＤ中に存在するワークＷを抽出し、そのワークＷの位置及び姿勢を算出する（ステップＳ３３）。

さらに、把持位置姿勢認識部２２は、把持位置データベースＤＢから、ワークＷを把持可能な位置を特定した把持位置情報を取得する。把持位置情報は、ティーチングペンダントなどを用いて、既知のワークＷを把持することができる位置を特定する情報である。把持位置情報は、１つのワークＷに対して、複数個所の把持可能な位置を含んでもよい。また、把持可能な位置ごとに関連付けられたスコア情報を含んでもよい。ここで、把持位置情報は、二つの指を備える多指ハンドＨの場合は、二つの把持可能な位置のペアから構成される情報である。

また、把持位置姿勢認識部２２は、記憶媒体２０からハンド形状データＨＤを読み出す。そして、ステップＳ３３で抽出されたワークＷの位置姿勢情報と、把持位置情報ならびにハンド形状データＨＤに基づいて、ワークＷを把持するための多指ハンドＨの把持位置姿勢を算出する（ステップＳ３４）。ここで、算出された把持位置姿勢は、ロボットＲの先端部に相当する多指ハンドＨの位置ならびに姿勢を特定する六次元の情報及び多指ハンドＨの指の開き幅を規定する一次元の情報から構成される七次元の情報である。

次いで、未計測領域検証部２４は、把持位置姿勢認識部２２で認識された把持位置姿勢に基づいて算出される多指ハンドＨの各指が占める指領域に、距離画像データＤＤに基づいて取得される未計測領域ＵＡが含まれるか判断する（ステップＳ３５）。

そして、多指ハンドＨの各指が占める指領域に、未計測領域ＵＡが含まれると判断された場合は、ハンド開き幅更新部２６は、多指ハンドＨの各指が占める領域に未計測領域ＵＡが含まれなくなるまで多指ハンドＨの開き幅を更新する（ステップＳ３６）。

このステップＳ３５及びステップＳ３６は、図５に示されるサブステップ３５１〜３５５から構成してもよい。

まず、ステップＳ３４で算出された多指ハンドＨの開き幅を、初期値として設定する（サブステップＳ３５１）。

次いで、設定されたハンドＨの開き幅が、多指ハンドＨの開き幅の最大値を超えるか否かが判断される（サブステップＳ３５２）。

多指ハンドＨの開き幅が、多指ハンドＨの開き幅の最大値を超える場合は、最適な開き幅がないと判断され、ワークＷを把持するためのプロセスは終了する（サブステップＳ３５５）。

多指ハンドＨの開き幅が、ハンドＨの開き幅の最大値以下の場合は、多指ハンドＨの各指が占める領域に、未計測領域ＵＡが含まれるか否かが判断される（サブステップＳ３５３）。具体的には、以下の手順が実行される。

まず、多指ハンドＨの各指が、距離画像データＤＤを構成する画像座標で定義される撮像領域中に占める指領域が算出される。

ここで、三次元位置座標（Ｘ、Ｙ、Ｚ）で特定される点を、距離画像データＤＤを構成する画像座標で規定される平面に投影したときの画像座標（ｘ、ｙ）は、以下の透視投影の式で求められる。

ここで、ｆは、三次元計測センサ１６の焦点距離である。また、Ｃ_x、Ｃ_yは、三次元計測センサ１６の中心の画像座標である。

従って、多指ハンドＨの各指の頂点の三次元位置座標を、ステップＳ３４で算出された多指ハンドＨの把持位置姿勢に基づいて算出し、各頂点について、上記式をあてはめて、画像座標上の位置を算出することにより、各頂点の画像座標上の位置で囲まれる領域を、多指ハンドＨの各指が占める指領域として算出することができる。

そして、画像座標上において、多指ハンドＨの各指が占める領域に、未計測領域ＵＡが含まれるか否かが判断される（サブステップＳ３５３）。

多指ハンドＨの各指が占める指領域に、未計測領域ＵＡが含まれないと判定された場合は、そのときの開き幅が最適値として登録される（サブステップＳ３５４）。そして、ステップＳ３４において設定された多指ハンドＨの位置ならびに姿勢と、サブステップＳ３５４において最適値として登録された多指ハンドＨの指の開き幅が、ワークＷを把持するための最適な把持位置姿勢として選択される（ステップＳ３７）。

多指ハンドＨの各指が占める指領域に、未計測領域ＵＡが含まれると判定された場合は、ハンド開き幅更新部２６は、開き幅を所定量増加させるように更新する（サブステップＳ３５１）。

そして、同様にサブステップＳ３５２及びＳ３５３が実行される。

そして、開き幅の最大値に到達する前に、多指ハンドＨの各指が占める指領域に、未計測領域ＵＡが含まれないと判定された場合は、そのときの開き幅が最適値として登録され（サブステップＳ３５４）、ワークＷを把持するための最適な把持位置姿勢が決定される（ステップＳ３７）。

次いで、情報処理部１８から、ロボット制御部１２に対して、最適な把持位置姿勢情報が出力される（ステップＳ３８）。

ロボット制御部１２は、入力された最適な把持位置姿勢を、ロボットＲ及び多指ハンドＨが取るように制御命令を出力する。

この制御命令に従って、ロボットＲ及び多指ハンドＨは、最適な把持位置姿勢でワークＷに近接し、次いで、ロボット制御部１２から出力される制御命令に基づいて、多指ハンドＨの指幅を狭め、ワークＷを把持する。

上述した把持方法の効果を、図６及び図７を用いて説明する。

図６（ａ）は、三次元計測センサ１６を用いて、ワークＷを撮像した際に得られた距離画像データＤＤ中に、未計測領域ＵＡが存在しない場合を示しており、図６（ｂ）は、未計測領域ＵＡが存在する場合に、比較例の把持方法でワークＷを把持した例を示している。なお、図６において、実線で示されるワークＷは、実際にワークＷが存在する領域を示し、点線で示されるワークＷは、距離画像データＤＤに基づいて認識されるワークＷの領域を示す。

図６（ａ）に示される場合は、ワークＷの全領域について、距離データが得られている（図６（ａ）の上図）。このため、距離画像データＤＤに基づいて認識されるワークＷの位置は、ワークＷが存在する領域と一致する（図６（ａ）の中図）。したがって、ワークＷを把持する際に、多指ハンドＨの左指Ｌ及び右指Ｒは、ワークＷと干渉しない（図６（ａ）の下図）。

一方で、図６（ｂ）に示される比較例の場合は、未計測領域ＵＡがワークＷの一部を含むため、ワークＷの一部領域について距離データが得られていない（図６（ｂ）の上図）。このため、距離画像データＤＤに基づいて、未計測領域ＵＡの距離データを補完等して、ワークＷの位置を認識せざるを得ない。そのため、実際のワークＷの位置（実線）からずれてワークＷが認識（点線）される場合がある（図６（ｂ）の中図）。その結果、多指ハンドＨの左指Ｌは、ワークＷと干渉してしまう（図６（ｃ））。

図７は、多指ハンドＨの各指Ｌ及びＲの稼働領域を含む断面における各指Ｌ及びＲの移動方向と、ワークＷの実際の断面（破線）と、未計測領域ＵＡを補完した断面（実線）を示している。図７（ａ）は、比較例の場合の把持方法を示し、図７（ｂ）は、本実施形態に係る把持方法を示している。

比較例の場合は、未計測領域ＵＡを補完した結果、実際のワークＷよりもワークＷの幅が狭くなるように補完された。このため、多指ハンドＨがワークＷに向かって進行する際に、指ＬがワークＷに衝突する。このため、ワークＷが傷つき、作業工程がストップする等の甚大な被害をもたらす。

本実施形態の場合は、ワークＷを、多指ハンドＨを用いて把持するための把持位置姿勢を決定した後、多指ハンドＨの開閉方向の軸に沿った未計測領域ＵＡの全範囲を、隣接する距離データのうち、距離が近い方（小さい方）の距離データで補完し、その補完した距離画像データＤＤに基づいても、ワークＷ等と干渉しないように、多指ハンドＨの開き幅を設定した。そして、少なくともワークＷの近傍では、その開き幅以上の開き幅を維持してワークＷに進行し、その後、ハンドＨの指の間隔を狭めることで、ワークＷを傷つけることなく把持することが可能になった。

このように、多指ハンドＨの左指Ｌ及び右指Ｒが、未計測領域ＵＡを含まないように開き幅を設定した状態で、ワークＷに近接し、然る後に、多指ハンドＨの指を狭めてワークＷを把持するから、仮に未計測領域ＵＡにワークＷが存在しても、ワークＷを傷つけることがないという効果がある。

なお、ステップＳ３５１において、多指ハンドＨの開き幅を所定量変更させながら最適な開き幅を探索する際に、粗密探索の手法を用いてもよい。たとえば、まずは大きな変更量で、開き幅を増加させて、指領域に未計測領域が含まれない開き幅を発見し、次いで、小さな変更量で開き幅を減少させて、指領域に未計測領域が含まれない最小の開き幅を特定し、その際の開き幅を最適値として登録（ステップＳ３５４）してもよい。

また、ステップＳ３７において最適把持位置姿勢を決定する際に、ステップＳ３４において複数の把持位置姿勢を算出し、各把持位置姿勢についてステップＳ３５以下を実行し、その中から最適な把持位置姿勢を決定するように構成してもよい。その際、他の情報に基づいて最適な把持位置姿勢を決定してもよい。たとえば、周辺の障害物等も考慮して、周辺の障害物との干渉可能性が低い把持位置姿勢を、最適な把持位置姿勢として選択するようにしてもよい。

また、多指ハンドＨの指の数は、二本に限られず、三本以上あってもよい。 また把持位置姿勢情報は、多指ハンドＨの位置及び姿勢を特定する情報であれば、七次元の情報である必要はない。たとえば、指ごとに独立に設定されていてもよい。

また、指の開き幅は、指の間隔を示す情報を、直接的、または、間接的に決定する情報を含む。たとえば、多指ハンドＨの指の間隔が、ある情報に応じて変動するときは、そのような情報を含む。

[第２実施形態]
以下、第２実施形態について説明する。なお、同一の要素には同一の符号を付し、重複する説明を簡略化し、他の実施形態と異なる部分を中心に説明する。

本実施形態は、多指ハンドＨの各指が占める領域に、未計測領域ＵＡが含まれていた場合に、その未計測領域ＵＡが、多指ハンドＨの各指との干渉をもたらす可能性がある未計測領域ＵＡなのか、多指ハンドＨの各指との干渉をもたらす可能性がない、すなわち、無視できる未計測領域ＵＡなのかを更に判断するステップを含んでいる。

図８は、そのようなステップを説明するためのフローチャートである。

なお、第２実施形態は、第１実施形態で説明されたステップＳ３１〜Ｓ３８ならびにステップＳ３５１〜Ｓ３５５を含むので、その説明を割愛する。以下では、ステップＳ３５３において「ＹＥＳ」と判断された後のステップＳ３５６〜Ｓ３５８について説明する。

まず、補完した距離画像データＤＤが作成済みであるか否かが判断される（ステップＳ３５６）。ここで補完した距離画像データＤＤとは、多指ハンドＨの各指の移動方向を含む面において、未計測領域ＵＡと、距離データが得られた計測領域との境界における距離データのうち小さい方の距離データで、未計測領域ＵＡを補完した距離画像データＤＤのことをいう。

補完した距離画像データＤＤが作成されていない場合（「ＮＯ」の場合）は、補完した距離画像データＤＤを作成する（ステップＳ３５７）。

図９は、補完した距離画像データＤＤの説明図である。図９（ａ）は、距離画像データＤＤ中に、８か所の未計測領域ＵＡ１〜ＵＡ８が存在することを示している。また、線分Ｖは、多指ハンドＨの指の可動域を示している。本実施形態においては、多指ハンドＨは、二本の指でワークＷを挟んで把持するタイプなので、指の可動域は線分Ｖで表される。

図９（ｂ）は、多指ハンドＨの指の可動域を含む線分Ｖにおける断面の距離データのプロファイルを示している。縦軸は距離データを示しており、図面下ほど距離データの値が大きい、すなわち、三次元計測センサ１６との距離が遠い。また、未計測領域ＵＡ１〜ＵＡ８は、距離データが不明である。

図９（ｃ）は、補完後のプロファイルを示している。このプロファイルに示されるように、各未計測領域ＵＡ１〜ＵＡ８は、計測領域との境界における２つの距離データのうち近い方（小さい方）の距離データを用いて補完されている。

そして、ステップＳ３４において算出された把持位置姿勢より、多指ハンドＨの指の左指Ｌ及び右指Ｒの位置がわかっているから、プロファイルと比較することにより、多指ハンドＨと干渉可能性のある未計測領域ＵＡであるか否かを判断することができる（ステップＳ３５８）。

図９（ｃ）は、未計測領域ＵＡ１〜ＵＡ３及びＵＡ６〜ＵＡ８は、干渉可能性がない未計測領域ＵＡであるものの、ＵＡ４及びＵＡ５は、干渉可能性がある未計測領域ＵＡであることを示している。

未計測領域ＵＡは、干渉のリスクがある場合（図９（ｃ）の場合）は、ステップＳ３５１に進み、多指ハンドＨの開き幅をさらに広げるステップが実行され、その後、上述されたステップが実行される。

未計測領域ＵＡは、干渉のリスクがない場合（図９（ｄ）の場合）は、そのときの開き幅が最適値として登録され（サブステップＳ３５４）、ワークＷを把持するための最適な把持位置姿勢が選択される（ステップＳ３７）。

上述した把持方法の効果について、図１０を用いて説明する。図１０（ａ）は、距離画像データＤＤの例である。上述したとおり、未計測領域は様々な理由で発生するため、距離画像上に点在する場合がある。そのため、多指ハンドＨの左指Ｌ及び右指Ｒが占める指領域に、未計測領域ＵＡが含まれるか否かのみを判断基準とする場合、多指ハンドＨを開くステップを繰り返し実行しても、本来無視できる未計測領域ＵＡ１〜ＵＡ３及びＵＡ６〜ＵＡ８のために、最適な開き幅が確定しない可能性がある（図１０（ｂ））。

これに対し、上述した把持方法の場合は、未計測領域ＵＡを周囲の計測領域の距離データを用いて補完して、干渉可能性がある未計測領域ＵＡと、可能性がない未計測領域ＵＡを区別できるようにした。このため、より適切な把持位置姿勢を選択することが可能になる。特に、補完する距離データとして、周囲の計測領域の距離データのうち、小さい方の値を採用した。このため、本来は干渉するのに、干渉しないと判断するリスクを排除することが可能となるので、対象物を傷つけることなく把持することが可能になる。

なお、指領域に未計測領域ＵＡが含まれるか否かの判断にあたり、面積が小さい未計測領域ＵＡを判断対象から除くように構成してもよい。

［第３実施形態］
以下、第３実施形態について説明する。なお、他の実施形態と共通または類似する部分については説明を簡略化し、異なる部分を中心に説明する。

上述した実施形態では、ワークＷの形状は既知であったため、把持位置姿勢の設定等にあたり、ワーク形状データＷＤを利用した。一方で、本実施形態では、ワークＷの形状が未知の場合の把持方法を説明する。ただし、形状が既知のワークＷに本実施形態の把持方法を提供することも可能である。

図１１は、本実施形態に係る把持方法のフローチャートである。

まず、三次元計測センサ１６を用いて、距離画像データＤＤ（または、三次元計測データ、という）を取得する（ステップＳ４１）。

次いで、得られた距離画像データＤＤ内の未計測領域ＵＡの距離データを補完する（ステップＳ４２）。具体的には、多指ハンドＨの指の稼働領域を含む断面上における距離データに基づいて、未計測領域ＵＡと計測領域の境界の２つの距離データのうち、遠い方（大きい方）を用いて未計測領域ＵＡを補完する。

図１２（ａ）は、断面の距離データのプロファイルを示している。

図１２（ｂ）は、補完後のプロファイルを示している。未計測領域ＵＡと計測領域の境界の２つの距離データのうち遠い方（大きい方）である右側の距離データで未計測領域ＵＡを補完していることが示されている。

図１２（ｃ）は、比較例として、未計測領域ＵＡと計測領域の境界の２つの距離データのうち近い方（距離データの値が小さい方）である左側の距離データで未計測領域ＵＡを補完した場合のプロファイルを示している。

続いて、多指ハンドＨの把持位置姿勢を算出する（ステップＳ４３）。把持位置姿勢認識部２２は、ステップＳ４２において、未計測領域ＵＡの距離データが補完されている距離画像データＤＤに基づいて、ワークＷのエッジ形状を取得する。また、記憶媒体２０から、ハンド形状データＨＤを読み出す。そして、多指ハンドＨがワークＷを把持するための把持位置姿勢を算出する。ここで、算出された把持位置姿勢は、ロボットＲの先端部に相当する多指ハンドＨの位置ならびに姿勢を特定する六次元の情報及び多指ハンドＨの指の開き幅を規定する一次元の情報から構成される七次元の情報である。

その後のステップＳ４４〜Ｓ４７は、図３のステップＳ３５〜Ｓ３８（ならびに図５又は図８に示されるサブステップ）を実行することで、ワークＷを把持することができる。

従って、図８に示されるサブステップを実行した場合、未計測領域ＵＡを含む距離画像データＤＤに基づいて、まずは、未計測領域ＵＡの距離が大きくなるように距離データを補完して（図１２（ｂ））、把持可能な一又は複数の把持位置姿勢を算出し（ステップＳ４２）、次いで、同じ距離画像データＤＤに基づいて、未計測領域ＵＡの距離が小さくなるように距離データを補完して（図１２（ｃ））、実際に動作させる際の多指ハンドＨの開き幅を特定する（ステップＳ３５４）。

以下、図面を用いて、目的に応じて異なる補完をすることの効果について説明する。図１３（ａ）は、図４に示される領域ＡＲを図１２（ｂ）に示される方法で補完した場合に抽出できるエッジＥを示しており、図１３（ｂ）は、同領域ＡＲを図１２（ｃ）に示される方法で補完した場合に抽出できるエッジＥを示している。三次元計測センサ１６とワークＷの距離は、三次元計測センサ１６とワークＷが載置されている面との距離よりも小さくなる。したがって未計測領域ＵＡは、ワークＷの表面（距離小）と、ワークＷが載置されている面（距離大）との間隙に形成されやすい。そして、ワークＷの表面のうち、三次元計測センサ１６とワークＷとの距離が一定となる曲線は、一般的には、滑らかになるから、ワークＷの計測領域と未計測領域ＵＡの境界は、滑らかになりやすい。

そこで、図１３（ａ）に示されるように、ワークＷの計測領域と未計測領域ＵＡの境界がエッジＥとして認識されるように補完をして、多指ハンドＨによる把持可能な位置を抽出する際に用いることができる。

一方で、干渉可能性を判断する際には、干渉のリスクを回避するために、ワークＷに隣接する未計測領域ＵＡには、ワークＷと同様に距離データが小さい領域と取り扱って、多指ハンドＨの開き幅を設定することが好ましい。このため、図１３（ｂ）に示されるように、未計測領域ＵＡとワークＷが隣接していない計測領域との境界がエッジＥとして認識されるように補完をして、干渉を回避するような多指ハンドＨの開き幅を選択することが可能になる。

以上述べたように、ワークＷを把持するための多指ハンドＨの把持位置姿勢を設定するにあたり、まず、ワークＷと未計測領域の境界がエッジとして認識されるように距離画像データＤＤを補完した。このため、未計測領域についてワークＷからワークＷが載置される面にかけて、距離データが連続的に変化するように補完する場合と比較して、距離データが大きく変化するエッジＥを検出しやすい。そのため、ワークＷの形状を認識し、多指ハンドＨにより把持可能な一又は複数の箇所を特定することができる。ただし、本実施形態はこれに限られるものではなく、その他の方法によりワークＷの把持可能な一又は複数の箇所を特定してもよい。

一方で、ワークＷと多指ハンドＨの各指の開き幅を決定する際には、ワークＷと同じ距離データを未測定領域ＵＡで補完することによって、ワークＷと多指ハンドＨの各指の干渉可能性を抑えることができる。

このように、距離画像データＤＤに未測定領域ＵＡが存在する場合に、二種類の補完に基づく距離画像データＤＤ（ワークＷを含むワークＷと同等の距離データを備える領域が広くなるような補完に基づく距離画像データＤＤと、ワークＷを含むワークＷと同等の距離データを備える領域が狭くなるような補完に基づく距離画像データＤＤ）を作成し、目的に応じて使い分けたので、より好適なワークＷの把持方法を実現することができる。

なお、補完する際には、未測定領域ＵＡの全てを補完する必要はなく、必要な領域のみ、例えば、多指ハンドＨの各指の稼働領域のみを補完してもよい。

また、必ずしも、多指ハンドＨの稼働領域を含む断面（二つの指の場合は、一つの断面であり、三指の多指ハンドＨを用いる場合は、各指の可動域を含む３つの断面）における未測定領域ＵＡと計測領域との境界における距離データで補完しなくてもよい。たとえば周辺の計測領域の平均的な距離データを用いて補完してもよい。

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を実施形態に限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく、要旨を逸脱しない限り、当業者により適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

なお、本明細書において、「部」や「手段」、「手順」とは、単に物理的構成を意味するものではなく、その「部」等が行う処理をソフトウェアによって実現する場合も含む。また、１つの「部」等や、装置が行う処理が２つ以上の物理的構成や装置により実行されても、２つ以上の「部」等や、装置が行う処理が１つの物理的手段や装置により実行されてもよい。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

（付記１）
複数の指を備える多指ハンドを用いて対象物を把持する把持方法であって、
センサを用いて前記対象物を含む領域を計測し、前記領域内の位置ごとに前記センサとの距離を示す情報を取得するステップと、
このステップにおいて、前記領域内に、前記距離を示す情報を取得できない領域が存在する場合は、前記距離を示す情報に基づいて、計測領域と未計測領域を区分し、前記未計測領域の位置に基づいて、前記対象物を把持するための前記複数の指の位置を決定するステップと、
を含む把持方法。

（付記２）
対象物を把持するための複数の指を備える多指ハンドと、
この多指ハンドが接続されるロボットアームと、
前記対象物を含む領域を計測するセンサから、前記領域内の位置ごとに前記センサとの距離を示す情報を取得するための取得手段と、
前記領域内に、前記距離を示す情報を取得できない領域が存在する場合は、前記距離を示す情報に基づいて、前記計測領域と前記未計測領域を区分し、前記未計測領域の位置に基づいて、前記対象物を把持するための前記複数の指の位置を決定する決定手段と、
を備える把持システム。

（付記３）
複数の指を備える多指ハンドを用いて対象物を把持するためのプログラムであって、
センサを用いて前記対象物を含む領域を計測して得られた、前記領域内の位置ごとに前記センサとの距離を示す情報を取得するためのステップと、
このステップにおいて、前記領域内に、前記距離を示す情報を取得できない未計測領域が存在する場合は、前記距離を示す情報に基づいて、計測領域と未計測領域を区分し、前記未計測領域の位置に基づいて、前記対象物を把持するための前記複数の指の位置を決定するステップと、
をコンピュータに実行させるためのプログラム。

１０…把持システム、１２…ロボット制御部、１４…情報処理装置、１６…三次元計測センサ、１８…情報処理部、２０…記憶媒体、２２…把持位置姿勢認識部、２４…未計測領域検証部、２６…ハンド開き幅更新部、２８…最適把持位置姿勢算出部、ＨＤ…ハンド形状データ、ＵＡ…未計測領域、ＷＤ…ワーク形状データ

Claims (7)

1. 複数の指を備える多指ハンドを用いて対象物を把持する把持方法であって、
   センサを用いて前記対象物を含む領域を計測し、前記領域内の位置ごとに前記センサとの距離を示す情報を取得するためのステップと、
   このステップにおいて、前記領域内に、前記距離を示す情報を取得できない領域が存在する場合は、前記距離を示す情報に基づいて、計測領域と未計測領域を区分し、前記未計測領域の位置に基づいて、前記対象物を把持するための前記複数の指の位置を決定するステップと、
   を含み、
   前記多指ハンドの位置及び姿勢を設定するステップを更に含み、
   前記複数の指の位置を決定するステップは、
   設定された前記多指ハンドの姿勢及び姿勢に基づく前記複数の指の位置に相当する指領域が、前記未計測領域を含むか否か判断するステップと、
   前記指領域が前記未計測領域を含む場合は、前記指領域が、前記未計測領域を含まないように、前記複数の指の間隔を設定するステップと、
   を更に含む把持方法。
2. 複数の指を備える多指ハンドを用いて対象物を把持する把持方法であって、
   センサを用いて前記対象物を含む領域を計測し、前記領域内の位置ごとに前記センサとの距離を示す情報を取得するためのステップと、
   このステップにおいて、前記領域内に、前記距離を示す情報を取得できない領域が存在する場合は、前記距離を示す情報に基づいて、計測領域と未計測領域を区分し、前記未計測領域の位置に基づいて、前記対象物を把持するための前記複数の指の位置を決定するステップと、
   を含み、
   前記多指ハンドの位置及び姿勢を設定するステップを更に含み、
   前記複数の指の位置を決定するステップは、
   設定された前記多指ハンドの姿勢及び姿勢に基づく前記複数の指の位置に相当する指領域が、前記未計測領域を含むか否か判断するステップと、
   前記指領域が前記未計測領域を含む場合は、前記複数の指が移動することができる領域内の前記未計測領域を、その未計測領域と前記計測領域との境界部において得られた前記距離のうち小さい方の距離で補完するステップと、
   前記補完された前記未計測領域の距離を示す情報と、前記多指ハンドの位置及び姿勢とに基づいて、前記対象物との干渉可能性を判断するステップと、
   を更に含む把持方法。
3. 前記複数の指が移動することができる領域内の前記未計測領域を、その未計測領域と前記計測領域との境界部において得られた前記距離のうち大きい方の距離で補完するステップと、
   前記補完された前記未計測領域の距離を示す情報と、前記センサとの距離を示す前記情報に基づいて、前記多指ハンドの位置及び姿勢を決定するステップと、
   を含む請求項１又は２に記載の把持方法。
4. 前記多指ハンド及びこれに接続されるロボットアームを動かして、前記設定された指の間隔で、前記対象物に近接するステップと、
   前記指の間隔を狭め、前記対象物を把持するステップと、
   を含む請求項１に記載の把持方法。
5. 対象物を把持するための複数の指を備える多指ハンドと、
   この多指ハンドが接続されるロボットアームと、
   前記対象物を含む領域を計測するセンサから、前記領域内の位置ごとに前記センサとの距離を示す情報を取得するための取得手段と、
   前記領域内に、前記距離を示す情報を取得できない領域が存在する場合は、前記距離を示す情報に基づいて、計測領域と未計測領域を区分し、前記未計測領域の位置に基づいて、前記対象物を把持するための前記複数の指の位置を決定する決定手段と、
   を備え、
   前記決定手段は、
   前記未計測領域内に前記複数の指が存在するか判断するように構成され、
   前記未計測領域内に前記複数の指が存在すると判断された場合は、前記計測領域内に前記複数の指が存在するように、前記複数の指の位置を決定するように構成される
   把持システム。
6. 前記決定手段は、
   前記計測領域内に前記複数の指が存在するように、前記複数の指の位置を決定するように構成されている請求項５記載の把持システム。
7. 複数の指を備える多指ハンドを用いて対象物を把持するためのプログラムであって、
   センサを用いて前記対象物を含む領域を計測し、前記領域内の位置ごとに前記センサとの距離を示す情報を取得するためのステップと、
   このステップにおいて、前記領域内に、前記距離を示す情報を取得できる計測領域と、前記距離を示す情報を取得できない未計測領域が存在する場合は、前記距離を示す情報に基づいて、計測領域と未計測領域を区分し、前記未計測領域の位置に基づいて、前記対象物を把持するための前記複数の指の位置を決定するステップと、
   をコンピュータに実行させる、
   前記複数の指の位置を決定するステップは、
   前記計測領域内に前記複数の指が存在するように、前記複数の指の位置を決定するステップを含み、
   前記複数の指の位置を決定するステップは、
   前記未計測領域内に前記複数の指が存在するか判断するステップと、
   前記未計測領域内に前記複数の指が存在すると判断された場合は、前記計測領域内に前記複数の指が存在するように、前記複数の指の位置を決定するステップを含む
   プログラム。

Images