JP2005324297A

JP2005324297A - ロボット

Info

Publication number: JP2005324297A
Application number: JP2004145739A
Authority: JP
Inventors: Takashi Anezaki; 隆姉崎
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2004-05-17
Filing date: 2004-05-17
Publication date: 2005-11-24
Also published as: US20060041333A1

Abstract

【課題】ロボットの周囲に対して障害物の有無の検出等を行う。
【解決手段】本体部２の上方から本体部２の周囲の床面５に向けてかつ床面５に対して斜め方向に、本体部２を囲む環状のパターン光３ａを投光する周囲パターン投射系３と、周囲パターン投射系３から投光されたパターン光３ａの投射パターン像７を本体部２の上方から撮像するカメラ８と、カメラ８により撮像した画像に基づいて、パターン光３ａが本体部２の周囲の障害物６における床面５とは高さの異なる箇所に投光されている場合に生じるパターン光３ａの投射パターン像７のずれを検知することで、本体部２の周囲における障害物６を検出する画像処理装置９とを有する。
【選択図】図１

Description

本発明は、ロボットに関する。

物体の認識およびその物体の三次元形状の計測を行うために、過去においていくつかの手法が提案されてきた。例えば、特許文献１には、三角測量の原理を用いた計測方法や投光法を用いた計測方法が記載されている。以下、これらの例を、図８〜図１２を用いて説明する。

まず、三角測量の原理を図８に示す。図８に示すように、三角形ＡＢＣにおいて、ノード（点）ａにカメラ、ノードｂに測量の対象となる対象物、ノードｃにカメラが設置されている場合、ノードａ、ｃに設置されているカメラにより対象物を撮像し、得られた画像から、画像上における対象物の位置情報（ｘ、ｙ）を得ることができる。しかし、この画像からでは、対象物の奥行き方向の位置情報（ｚ成分）を得ることができない。

そこでノードａ、ｃにおいて、ノードｂに対する方向θ_Ｘ、θ_０がわかると、ノードａｃ間の距離をＬとすれば、これらの値より、ノードａｂ、ノードｂｃ間の距離を算出することができる。したがって、画像から、対象物の奥行き方向の位置情報（ｚ成分）、すなわちｂｈ間の距離Ｄを、
Ｄ＝Ｌ／（ｃｏｔθ_０＋ｃｏｔθ_Ｘ）にて算出することができる。

上述した三角測量の原理に基づいて計測対象物までの距離を計測する手法を、図９に示す。なお、この手法は、両眼視法と呼ばれている。
図９において、Ｆ１、Ｆ２はそれぞれのカメラのレンズの中心で、事前にその三次元位置は把握されている。いま、それぞれのカメラで計測対象物における点Ｐを撮像し、左側の画面Ｃ１においては、点Ｐの位置が点Ｐ１の位置に映り、右側の画面Ｃ２においては、点Ｐの位置が点Ｐ３の位置に映ったとすると、点Ｐの三次元位置は、二つの直線Ｆ１Ｐ１とＦ２Ｐ３との交点として求めることができる。

しかし、このような計測方法では、左側の画面の点Ｐ１の位置に右側の画面の点Ｐ３の位置が対応することがわかっていないと、点Ｐの位置を計測することができない。これらの画面Ｃ１、Ｃ２における点を対応させることを対応点検出と呼ぶが、この対応点検出のための確実で一般的な手法は現在のところ得られていない。

これに対し、上述の対応点検出を必要としない投光法と呼ばれる計測方法を、図１０および図１１を用いて説明する。
図１０に示すように、投光装置２０から物体２１の一点Ｐにスポット光２２を投射し、その反射光２３をセンサ２４で受けて、三角測量の原理から点Ｐの三次元位置を求める。したがって、投光法では、上述した対応点検出の問題は生じない。なお、スポット光２２のビームはできる限り絞られた方がよいので、投光装置２０には光源としてレーザが用いられる。また、センサ２４としては、輝点の２次元位置を出力する半導体の光位置検出器（ＰＳＤ：ＰｏｓｉｔｉｏｎＳｅｎｓｉｔｉｖｅＤｅｖｉｃｅ）がよく用いられる。

上記のような計測方法において、多数の点の距離情報を得るためには、スポット光２２の光路中に鏡２５を設け、この鏡２５を回動させてスポット光２２の向きを変え、そのたびに、距離情報を算出すればよい。

しかし、このような計測方法では、計測時間がこの鏡２５の回動時間で制限される。すなわち、計測にかなりの時間がかかってしまう。
また、図１０に示した投光法とは別の投光法であるパターン投光法を用いた計測方法を図１１に示す。

図１１に示すように、投光中心Ｓを有した投光器３０からパターン光３１を計測対象物３２に投影し、その反射像を、レンズ中心Ｆを有したテレビカメラ３３で撮像する。３４は投光器３０におけるパターン、３５はテレビ画面である。

このようにすると、計測対象物３２上の点Ｐがパターン３４において点Ｐ１の位置に、テレビ画面３５において点Ｐ２の位置に映った場合には、この点Ｐの位置は、直線ＳＰ１とＦＰ２との交点として求めることができる。また、多数の点の距離情報を得るには、投光器３０を回動させ、そのたびに、計測対象物３２に投射される像をテレビカメラ３３により撮像して、距離情報を算出すればよい。このように、図１０に示したスポット光２２のかわりに、図１１に示すようなパターン光３１を用いると、一回の撮像で計測できる点の数は大きく増える。

なお、例えば、特許文献２〜４には、上記のような三次元計測の技術を用いて、物品の三次元計測を非接触で行う技術が記載されている。
特許第２５５９４４３号公報特開昭６３−５２４７号公報特開昭６２−２２８１０６号公報実開昭６３−１８１９４７号公報

上記において、物体の三次元位置の計測、認識のための技術を示したが、図９に示したような両眼視法は、上述したように、両眼での対応点検出に確実な方法がなく、問題であった。

また、図１０および図１１に示したような投光法では、投光した光点を画像上で特定でき、対応点検出を本質的に必要としないが、光点またはパターン光を対象物の表面全体に展開しなければ、対象物の三次元情報は得られないという問題があった。このため、例えば、光点またはパターン光を対象物の表面全体に展開するために、２００本のパターン光を対象物の表面に順次、投光した場合には、テレビカメラで２００回撮像しなくてはならなかった。

これを解決する方法として、並列パターン光や格子縞パターン光を投光する方法などが考えられるが、これらの方法では、両眼視のときと同様に、対応点の決定を問題が生じ、また、それぞれのパターン光が混同しないように区別（識別）する必要がある。

これに対し、各パターン光を区別できるように、パターン光に符号付けをする方法が考案されてきた。この符号化の方法としては、パターン光の幅による符号化や、時系列に複数枚のパターン画像を用いることなどが考えられる。しかし、実際に物体の三次元計測に符号化投光法を用いる場合、たとえば製造ラインでは投光−画像入力スピードは速ければ速い程よく、対象物は種々のパターン光の反射条件のものとなるため、物体に合わせて、パターン光を縦、横、斜めなどにリアルタイムで任意に変化させる必要が生じる。

このような中、図１２に示すように、複数のパターン光を同時に形成し、それぞれのパターン光を区別するための情報をそれぞれのパターン光に保有させることができるドットマトリックス型電気光学シャッター４０を用いて、それぞれに符号が付された任意形状の複数のパターン光４３を、計測対象物４１や床面４２に投光し、その投光像をテレビカメラ４４で撮像するとともに、撮像した画像に、画像処理装置４５により画像処理を施すことで、計測対象物４１の三次元計測を行う方法がある。なお、ドットマトリックス型電気光学シャッターとは、通常の各画素が透明状態にあり、その中の所定の画素に通電すると、その画素が不透明となるものである。すなわち、非通電画素を選択することにより、必要とする二次元の任意の形状（一次元のスポットも含む）の透過光パターンの生成（シャッターリング）が瞬時に可能となる。通電は、電気的に実施されるため、前記パターンの変化の動作は静的かつ高速である。また、透過させる光束もパターンに対してなんら変化させる必要が無く、一定光量の光源を用いればよい。

図１２に示したドットマトリックス型電気光学シャッターを用いた手法は、リアルタイムでパターン光またはスポット光を任意の形状に変化させることができる。しかしながら、図８〜図１２を用いて示した技術においては、移動して作業する単体機械装置、例えばロボットのようなものの周囲３６０度に対して一度に、障害物の有無の検出等を行うことができない。

そこで本発明はこのような問題を解決するもので、ロボットの周囲に対して、障害物の有無の検出等を行うことを目的とする。

上記問題を解決するために請求項１記載の発明は、本体部の上方から前記本体部の周囲の床面に向けてかつ前記床面に対して斜め方向に、前記本体部を囲む環状または円弧状のパターン光を投光する投光部と、前記投光部から投光された前記パターン光の投射像を前記本体部の上方から撮像する撮像部と、前記撮像部により撮像した画像に基づいて、前記パターン光が前記本体部の周囲の障害物における前記床面とは高さの異なる箇所に投光されている場合に生じる前記パターン光の投射像のずれを検知することで、前記本体部の周囲における障害物を検出する画像処理装置とを有するものである。

このような構成によれば、投光部により、本体部の上方から前記本体部の周囲の床面に向けてかつ前記床面に対して斜め方向に、前記本体部を囲む環状または円弧状のパターン光を投光し、前記投光部から投光された前記パターン光の投射像を前記本体部の上方から撮像部により撮像し、画像処理装置により、撮像部により撮像した画像に基づいて、前記パターン光が本体部の周囲の障害物における前記床面とは高さの異なる箇所に投光されている場合に生じる前記パターン光の投射像のずれを検知することで、本体部の周囲における障害物を検出することができる。

以上のように本発明によると、投光部により、本体部の上方から前記本体部の周囲の床面に向けてかつ前記床面に対して斜め方向に、前記本体部を囲む環状または円弧状のパターン光を投光し、前記投光部から投光された前記パターン光の投射像を前記本体部の上方から撮像部により撮像し、画像処理装置により、撮像部により撮像した画像に基づいて、前記パターン光が本体部の周囲の障害物における前記床面とは高さの異なる箇所に投光されている場合に生じる前記パターン光の投射像のずれを検知することで、本体部の周囲における障害物を検出することができる。したがって、例えば、本体部の周囲に複数の障害物が同時に存在しても、投光部により、パターン光をこれらの障害物に同時に投光することで、これらの障害物の有無を一度に判断することができる。

以下、本発明のロボットの一実施の形態を、図１〜図７を参照しながら説明する。
図１に示すように、本発明の実施の形態のロボット１は、ロボット１の本体部２と、本体部２の上部に設けられて、本体部２の上方から本体部２の周囲の床面５に向けてかつ床面５に対して斜め方向に、本体部２を囲む環状または円弧状のパターン光３ａを投光する投光部としての周囲パターン投射系３と、周囲パターン投射系３の上部に接続部材４を介して取り付けられ、周囲パターン投射系３から床面５や障害物６上に投光されたパターン光３ａの投射像７（以下、投射パターン像と記す）を本体部２の上方から撮像する撮像部としての全方位または通常のカメラ８と、カメラ８により撮像した画像に基づいて、障害物６の有無の検出および障害物６がある場合にその障害物６の高さの計測を行う（詳細は後述）画像処理装置９とを有する。なお、８ａは、カメラ８の撮像範囲を示している。また、２ａは、ロボット１が移動可能なように本体部２に設けられている車輪である。

周囲パターン投射系３は、図２（ａ）に示すように、液晶パネル等のドットマトリックス型シャッター１０と、シャッター１０に対して所定の光束を下方から投光する光源１１と、シャッター１０を下方から上方へと通過した光を床面５側に向けて反射する錐体状の反射部としての全周囲鏡面反射板１２とを有する。

シャッター１０は、シャッター１０における任意の部分を遮蔽して、例えば、環状または円弧状のパターンをリアルタイムで形成可能であり、光源１１から投光された光束がこのシャッター１０を通過することで、この光束が環状または円弧状のパターン光３ａに加工される。なお、図１〜図４においては、パターン光３ａが環状である場合の説明を行う。

全周囲鏡面反射板１２は、図２（ａ）および図２（ｂ）に示すように、漏斗状すなわち逆さ円錐形状でその側面１２ａが凹面状にかつ鏡面に形成されている。これにより、シャッター１０を下方側から上方側に通過したパターン光３ａを全周囲鏡面反射板１２の側面１２ａの全周で鏡面反射し、この全周囲鏡面反射板１２を中心とした環状のパターン光３ａを、ロボット１の周囲の床面５に向けてかつ床面５に対して斜め方向に、ロボット１を囲むように投光することができる。

このような構成において、ロボット１の周囲における障害物６の有無を検出するとともに、ロボット１の周囲に障害物６がある場合に、この障害物６の床面５からの高さの計測を行うには、まず、ロボット１の周囲の床面５がほぼ水平であって、かつ、ロボット１の周囲に障害物６が存在しない時に床面５に対してパターン光３ａを投光し、その時のパターン光３ａが投光された床面５をカメラ８により撮像し、この画像を画像処理装置９に入力して、パターン光３ａの投射パターン像７を基準投射像（以下、基準投射パターン像と記す）１４（図４参照）として記憶させておく。また、そのときの画像を基準画像１５（図４参照）として記憶させておく。

そして、基準画像１５を記憶させると、周囲パターン投射系３によりロボット１の周囲にパターン光３ａを投光し、ロボット１を自走させるなどしながら、ロボット１の周囲の床面５をカメラ８により撮像し、ロボット１の周囲に存在する障害物６の検知を開始する。このとき、例えば、図１に示すように、ロボット１の周囲に障害物６が存在している場合の撮影画像１３を図３に示す。

通常、ロボット１の周囲に障害物６が無い場合には、上述したように、パターン光３ａの投射パターン像７は基準投射パターン像１４と同様の環状になるが、ロボット１の周囲に障害物６が存在する場合には、パターン光３ａが床面５に対して斜め方向に投光され、かつパターン光３ａが投光された障害物６が高さを有することから、図３に示すように、投射パターン像７における障害物６に投射されている部分７ａは、床面５に投射されている部分７ｂよりも撮影画像１３の中心側にずれる。

この撮影画像１３に、画像処理装置９により画像処理を施すことで、投射パターン像７における部分７ａが部分７ｂよりも撮影画像１３の中心側にずれていることを認識し、ロボット１の周囲に障害物６が存在することを判断することができる。

詳細には、画像処理装置９により、図４に示すように、撮影画像１３と記憶している基準画像１５とを比較する。すなわち、このときの床面５が水平であれば、ロボット１がどこに移動しようとも投射パターン像７に変化は生じないが、逆に、パターン光３ａが床面５とは高さの異なるものすなわち障害物６などに投光された場合には、上述のように、投射パターン像７における障害物６に投射されている部分が撮像画像１３の中心側にずれる。したがって、撮影画像１３から基準画像１５を画像減算すれば、基準投射パターン像１４に対して撮像した投射パターン像７がずれているところ、すなわち投射パターン像７における障害物６に投射されている部分７ａが映る差分画像１６を得ることができる。

このようにして、撮影画像１３と基準画像１５との画像減算の結果から、差分画像１６上において、基準投射パターン像１４と投射パターン像７とが一致しない箇所が、０以外の値でまとまりを持っている（画像）領域となるので、この領域を検出することで、ロボット１の周囲に障害物６があることを検出することができる。したがって、例えば、ロボット１の周囲の床面５上に複数の障害物６が存在していても、これらの障害物６にパターン光３ａを投光することができれば、これらの障害物６を一度に検出することができる。

さらに、このとき、投射パターン像７における障害物６に投射されている部分７ａが、基準投射パターン像１４よりもどれだけ撮影画像１３の中心側にずれているのかというずれの量を算出することで、パターン光３ａが床面５に対して斜め方向に投光されていることに基づく、ずれの量と障害物６における床面５からの高さとの関係から、この高さを計測することができる。

詳細には、図５に示すように、周囲パターン投射系３から投光されるパターン光３ａが鉛直方向に対して傾斜している角度をθとし、基準投射パターン像１４と投射パターン像７における障害物６に投射されている部分７ａとのずれの量をｓとすると、障害物６の高さｈは、
ｈ・ｔａｎθ＝ｓ
により算出することができる。

したがって、例えば、ロボット１の周囲に複数の障害物６が存在しても、画像減算の結果から、これらの障害物６に投光されているパターン光３ａの投射パターン像７が、基準投射パターン像１４からどれだけずれているのかを算出することで、これらの障害物６の床面５からの高さを一度に算出することができる。

また、上記においては、周囲パターン投射系３において、ドットマトリックス型電気光学シャッター１０を用いていることにより、パターン光３ａのパターンを、リアルタイムで変化させることができる。

なお、ドットマトリックス型シャッター１０としては、現在のところ、液晶素子が有効である。そのほかにプラズマパネルＰＬＺＴ素子などの試算機端末用表示素子を活用すれば、さらに高速、高Ｓ／Ｎのシャッターを期待できる。

また、上記においては、シャッター１０が、投射パターン像７の形状が一周つながった環状になるようなパターンを形成している場合を説明したがこれに限らず、例えば、図６（ａ）に示すような、破線で描かれる環状の投射パターン像７ｃとなるパターンを形成しても良いし、図６（ｂ）に示すような、円弧状、例えば半円弧状の投射パターン像７ｄとなるパターンを形成してもしても良い。このようにしても、上記と同様にして、ロボット１から所定の距離にある障害物６を検出することができる。

さらに、上記において、ドットマトリックス型電気光学シャッター１０により、径の異なる複数の環状の投射パターン像７を同時にかつ同心状に形成するようにすると、それぞれの投射パターン像７における障害物６に投光されている箇所には、ずれが生じることから、それらの投射パターン像７の一本一本について、ずれている箇所やそのずれの量を確認することで、例えば、複数の投射パターン像７におけるずれている部分どうしの間隔が広い箇所や狭い箇所を確認することができ、投射パターン像７が一本であるときには、障害物６の存在と高さを調べることができるが、これに加えて、障害物６の大きさや形状を詳しく調べることができる。

このとき、これらの複数のずれは、上述のように、撮影画像１３の中心側にずれる。このため、例えば、図７に示すように、環状の投射パターン像１７とその内側に投射パターン像１７よりも小径の環状の投射パターン像１８とが同時にかつ同心状に存在する場合であれば、投射パターン像１７、１８における障害物６が存在する箇所は、この障害物６により分断され、その結果、この箇所には隙間ができることになる。そして、場合によっては、投射パターン像１７におけるずれた部分１７ａが、投射パターン像１８における前記隙間にはまり込んでしまうことがある。

したがって、カメラ８により撮像した画像には、投射パターン像１８が周方向に一周つながっているように映り、投射パターン像１７におけるずれた部分１７ａと、投射パターン像１８との区別がつきにくくなる。

しかしながら、ドットマトリックス型電気光学シャッター１０により、あらかじめ、投射パターン像１７と投射パターン像１８とに、それぞれを区別するための情報を保有させ、それぞれの投射パターン像１７、１８に付した情報を画像処理装置９に入力すれば、画像処理装置９がこの情報に基づいて、投射パターン像１７の部分１７ａと、投射パターン像１８とを区別することができる。これにより、それぞれの投射パターン像１７、１８におけるずれている箇所やそのずれの量を確認することができるので、障害物６の大きさや形状などを調べることができる。

本発明のロボットによれば、ロボットの周囲に対して障害物の有無の検出等を行うことができるので、周囲に人などがいる環境において作業するロボットなどに利用することができる。

本発明の実施の形態のロボットの概略構成を示す図である。（ａ）は、図１に示したロボットにおける周囲パターン投射系を示す図、（ｂ）は、図２（ａ）に示した周囲パターン投射系における全周囲鏡面反射板の断面、シャッター、光源を示す図である。カメラの撮影画像の一例を示す図である。画像処理装置による画像減算を示す図である。障害物の高さを求める場合の一例を示す図である。図１における投射パターン像とは異なる形状の投射パターン像の例を示す図である。ドットマトリックス型電気光学シャッターにより、複数の投射パターン像を形成した場合を示す図である。三角測量の原理を示す図である。三角測量の原理に基づいて、両眼視法により計測対象物までの距離を計測する手法を示す図である。スポット投光法により、計測対象物までの距離を計測する手法の一例を示す図である。パターン投光法により、計測対象物までの距離を計測する手法の一例を示す図である。ドットマトリックス型電気光学シャッターを用いた計測方法を示す図である。

符号の説明

２本体部
３周囲パターン投射系
３ａパターン光
５床面
６障害物
７投射パターン像
８カメラ
９画像処理装置

Claims

本体部の上方から前記本体部の周囲の床面に向けてかつ前記床面に対して斜め方向に、前記本体部を囲む環状または円弧状のパターン光を投光する投光部と、前記投光部から投光された前記パターン光の投射像を前記本体部の上方から撮像する撮像部と、前記撮像部により撮像した画像に基づいて、前記パターン光が前記本体部の周囲の障害物における前記床面とは高さの異なる箇所に投光されている場合に生じる前記パターン光の投射像のずれを検知することで、前記本体部の周囲における障害物を検出する画像処理装置とを有することを特徴とするロボット。
画像処理装置が、撮像部により撮像した画像に基づいてパターン光の投射像のずれの量を算出し、前記パターン光が床面に対して斜め方向に投光されていることに基づく、前記ずれの量と障害物における前記床面からの高さとの関係から、前記高さを計測可能であることを特徴とする請求項１記載のロボット。
画像処理装置が、パターン光が障害物の存在しない水平な床面に投光されている状態の前記パターン光の投射像を基準投射像として保有し、本体部の周囲の障害物にパターン光が投光された時のパターン光の投射像と、前記保有している基準投射像とを画像減算することで、前記画像減算の結果の差分画像を算出可能とされていることを特徴とする請求項１または２記載のロボット。
投光部が、所定の光束を発生する光源と、前記光源から発生した前記光束の任意の部分を遮蔽して前記光束を環状または円弧状のパターン光に加工するドットマトリックス型電気光学シャッターと、前記パターン光を側面の全周または一部で反射する錐体状の反射部とを有することを特徴とする請求項１〜３の何れか１項記載のロボット。
ドットマトリックス型電気光学シャッターが複数の環状または円弧状のパターン光を同時に形成可能とされ、前記複数の環状または円弧状のパターン光が、同心円状とされていることを特徴とする請求項４記載のロボット。
ドットマトリックス型電気光学シャッターが複数の環状または円弧状のパターン光を同時に形成可能とされ、前記ドットマトリックス型電気光学シャッターが前記複数のパターン光を区別するための情報を前記複数のパターン光に保有させ、画像処理装置が前記情報に基づいて、前記複数のパターン光を区別可能とされていることを特徴とする請求項４記載のロボット。