JP2003311661A

JP2003311661A - 遠隔操作制御装置

Info

Publication number: JP2003311661A
Application number: JP2002122796A
Authority: JP
Inventors: Tomoyuki Hamada; 朋之浜田; Keiji Tanaka; 敬二田中
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2002-04-24
Filing date: 2002-04-24
Publication date: 2003-11-05
Anticipated expiration: 2022-04-24
Also published as: JP3924495B2

Abstract

(57)【要約】【課題】作業環境中のロボット遠隔的に操作制御しつ
つ前記ロボットに必要な作業を行わせるようになってい
る遠隔操作制御装置として、ロボットを手動操作する操
作者の負担を軽減することができ、また従来よりも広い
範囲の保守対象や作業内容に適用することを可能な遠隔
操作制御装置を提供する。【解決手段】作業環境の映像を捉えるカメラ３、作業
環境中の物体１２、１３の位置姿勢やロボット１の操作
に必要な位置決めに関する情報などを環境モデルとして
記憶する環境モデル記憶手段５、およびカメラが捉えた
映像と環境モデルから得られる位置決めに関する情報を
図形化して表示した画像とを合成した合成画像を生成す
る合成画像生成手段８を備え、ロボットの手動操作を行
う際に、前記合成画像を表示手段９に表示して手動操作
を誘導できるようにしている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば保守員が容
易に立ち入ることのできない場所にある装置などをロボ
ットの操作を通じて遠隔的に保守したりするのに用いら
れる遠隔操作制御装置に関する。

【０００２】

【従来の技術】例えば放射線環境下や宇宙環境など人が
容易に立ち入ることのできない環境下にある装置、ある
いは遠隔地にあってそこに保守員が出向くのに手間やコ
ストのかかる場所にある装置を定期的に保守したりする
ためには、作業用のロボットを用いて離れた場所から遠
隔的に作業することが望ましい。この時、保守において
実施すべき作業が既知である場合、あるいは定期的な保
守における作業の内容が毎回同一である場合には、予め
ロボットの動作をプログラミングしておき、人間が操作
することなく自動運転で作業ができると効率的である。
（なお、本明細書において「ロボット」とは、マニピュ
レータなども含めた、遠隔操作で作業を行なわせる機械
装置一般を意味するものとする。）

【０００３】しかしながら、たとえ定期的に行われる同
一作業であっても、前回存在しなかった障害物が存在し
たり、保守対象である装置の一部が壊れているなど予期
せぬ状況が発生していることが考えられる。現状のロボ
ット技術においては、このような不測の事態を正しく解
釈してプログラムにより自動的に回避することは困難で
あるため、従来は遠隔地にいる人の手の動きをマニピュ
レータに伝えるマスタースレーブマニピュレータのよう
な装置によって手動で保守作業を行うことが多い。ある
いは、不測の事態が生じたら必ず検出が可能な保守対象
や作業内容に限定したり、不測の事態を検出可能となる
ように、保守対象である装置に特殊な仕掛けを設けるこ
とにより、自動運転の保守作業を実現している。

【０００４】

【発明が解決しようとする課題】上記従来の技術におけ
るマスタースレーブマニピュレータを用いた方法では、
マニピュレータの作業現場にテレビカメラを設置し、こ
のカメラが捉えた映像を見ながら作業をするため、作業
がやりづらく、時間がかかると言う問題がある。また、
このような状況でマスターアームを操作する方式では操
作者の疲労が著しく、長時間の作業が難しいと言う問題
がある。

【０００５】一方、上記従来の技術における自動運転の
方法では、適用可能な保守対象や作業内容が著しく制限
されるという問題がある。また、不測の事態が生じない
場合であっても、部品の着脱など微妙な位置合わせや力
加減を必要とする作業の中には、まだ十分な信頼性を持
って自動化できない作業も多く残っていると言う問題が
ある。

【０００６】なお、ロボットを用いる遠隔操作制御装置
については、例えば特開平９−２５４０６５号公報に開
示の例などが知られている。しかし特開平９−２５４０
６５号公報の技術は、ロボットの遠隔操作のためにロボ
ットとその作業環境をディスプレイ装置に表示するにつ
いて、その表示の効率を高めることを意図しているもの
であり、上記のような問題に対しては解決をもたらして
いない。

【０００７】そこで、本発明の目的は、操作者の負担を
軽減することができ、また従来よりも広い範囲の保守対
象や作業内容に適用することを可能な遠隔操作制御装置
を提供することにある。

【０００８】

【課題を解決するための手段】上記目的のために本発明
では、作業環境中に設置されるロボットを操作制御系で
遠隔的に操作制御しつつ前記ロボットに必要な作業を行
わせるようになっている遠隔操作制御装置において、前
記ロボットを手動で操作するための操作手段、作業環境
の映像を捉えるカメラ、作業環境中で前記ロボットによ
る作業の対象となる物体の位置姿勢や前記ロボットの操
作に必要な作業環境中での位置決めに関する情報などを
環境モデルとして記憶する環境モデル記憶手段、前記カ
メラが捉えた映像と前記環境モデル記憶手段から得られ
る位置決めに関する情報を図形化して表示した画像とを
合成した合成画像を生成する合成画像生成手段、および
この合成画像生成手段で生成された合成画像を表示する
表示手段を備え、前記操作手段により前記ロボットの手
動操作を行う際に、前記合成画像を前記表示手段に表示
して手動操作を誘導できるようにされていることを特徴
としている（第１の発明）。

【０００９】また上記目的のために本発明では、作業環
境中に設置されるロボットを操作制御系で遠隔的に操作
制御しつつ前記ロボットに必要な作業を作業環境中で行
わせるようになっている遠隔操作制御装置において、作
業環境の映像を捉えるカメラと作業環境中で前記ロボッ
トによる作業の対象となる物体の位置姿勢や前記ロボッ
トの操作に必要な作業環境中での位置決めに関する情報
などを環境モデルとして記憶する環境モデル記憶手段を
備えるとともに、前記ロボットの自動運転のための動作
司令を生成する動作司令生成手段と前記ロボットを手動
で操作するための操作手段を備え、前記ロボットの自動
運転と手動操作を選択できるようにされており、そして
前記環境モデル中の物体の位置姿勢と前記カメラで捉え
た作業環境中の物体の位置姿勢との比較により両者に一
定以上のずれが生じていることを検出した場合には、自
動運転が停止されて手動操作に自動的に移行するように
されていることを特徴としている（第２の発明）。

【００１０】また本発明では上記第２の発明に係る遠隔
操作制御装置について、カメラが捉えた映像と環境モデ
ル記憶手段から得られる位置決めに関する情報を図形化
して表示した画像とを合成した合成画像を生成する合成
画像生成手段およびこの合成画像生成手段で生成された
合成画像を表示する表示手段を設け、手動操作に移行し
た際に、前記合成画像を前記表示手段に表示して手動操
作を誘導できるようにしている（第３の発明）。

【００１１】また本発明では上記第１〜３の発明の何れ
か一つに係る遠隔操作制御装置について、環境モデル中
の物体の位置姿勢とカメラで捉えた作業環境中の物体の
位置姿勢とにずれが生じている場合に、そのずれをなく
すように前記環境モデルを修正する環境モデル修正手段
を設けるようにしている（第４の発明）。

【００１２】また本発明では上記第１〜４の発明の何れ
か一つに係る遠隔操作制御装置について、作業中のロボ
ットまたはロボットによる作業を受けている物体がその
作業目的のために作業環境中で位置決めすべき位置決め
点に対応した位置姿勢のマークを表示した画像を位置決
めに関する情報の図形化画像として用いるようにしてい
る（第５の発明）。

【００１３】また本発明では上記第１〜５の発明の何れ
か一つに係る遠隔操作制御装置について、作業中のロボ
ットまたはロボットによる作業を受けている物体がその
作業目的のために作業環境中で位置決めすべき位置決め
点に対応した位置姿勢の第１のマークと、前記ロボット
または物体が作業の進行に伴って変える位置姿勢に対応
した位置姿勢の第２のマークを表示した画像を位置決め
に関する情報の図形化画像として用いるようにしている
（第６の発明）。

【００１４】また本発明では上記第１〜６の発明の何れ
か一つに係る遠隔操作制御装置について、ロボットによ
る作業を受けている作業環境中の物体がその作業目的の
ために作業環境中で位置決めすべき位置決め点に位置決
めしたら見えるであろう前記物体の外観形状の図形を表
示した画像を位置決めに関する情報の図形化画像として
用いるようにしている（第７の発明）。

【００１５】また本発明では上記第１〜７の発明の何れ
か一つに係る遠隔操作制御装置について、作業環境中の
位置決めすべき物体を他の対象物体に組み合わせる作業
をロボットに行わせる場合に、前記ロボットによる作業
を受けている状態の前記位置決めすべき物体に前記対象
物体が組み合わされたら見えるであろう前記対象物体の
外観形状の図形を表示した画像を位置決めに関する情報
の図形化画像として用いるようにしている（第８の発
明）。

【００１６】また本発明では上記第８の発明に係る遠隔
操作制御装置について、ロボットが位置決めすべき物体
を把持した状態で当該位置決めすべき物体をロボットの
把持部位から捉えることができるようにしたカメラを設
け、このカメラが捉えた映像に位置決めに関する情報の
図形化画像を重ね合わせて合成画像を生成するようにし
ている（第９の発明）。

【００１７】また本発明では上記第７の発明または第９
の発明に係る遠隔操作制御装置について、カメラが捉え
た作業環境の映像と位置決めに関する情報の図形化画像
とを奥行も考慮して重ね合わせて合成画像を生成するよ
うにしている（第１０の発明）。

【００１８】また本発明では上記第１〜１０の発明の何
れか一つに係る遠隔操作制御装置について、表示手段の
画面上における位置を入力する入力手段と、この入力手
段で入力された位置に関する情報から作業環境中の一つ
の物体を対象物体として選択する対象物体選択手段を設
け、前記入力手段で前記表示手段の画面上に位置が入力
された際には、前記対象物体選択手段が選択した対象物
体に関して位置決めに関する情報の図形化画像を生成す
るようにしている（第１１の発明）。

【００１９】また本発明では上記第１〜８の発明または
第１０〜１１の発明の何れか一つに係る遠隔操作制御装
置について、作業環境の映像を捉えるカメラを複数台設
け、これら各カメラが捉えた作業環境の映像を切り替え
て表示手段に表示できるようにするとともに、この表示
映像の切り替えに応じて位置決めに関する情報の図形化
画像の表示の仕方も切り替えることができるようにして
いる（第１２の発明）。

【００２０】

【発明の実施の形態】以下、本発明の実施の形態を説明
する。図１に、本発明の一実施形態による遠隔操作制御
装置の構成をブロック図にして示す。この遠隔操作制御
装置は、作業現場に設置されて装置や設備の保守等の作
業を行うロボット１と、このロボット１を遠隔的に操作
制御する操作制御系からなる。その操作制御系は、ロボ
ット１を手動で操作するのに用いられる操作手段２、ロ
ボット１が作業する作業環境の映像を捉えるカメラ３、
作業環境に含まれる物体の位置姿勢を認識して環境モデ
ルを修正する環境モデル修正手段４、作業環境に含まれ
る物体の位置姿勢情報やロボット操作に必要な位置決め
に関する情報などを環境モデルとして記憶する環境モデ
ル記憶手段５、ロボット１に対して自動動作に関する動
作司令を生成する動作司令生成手段６、動作司令生成手
段６が生成した動作司令と操作手段２より入力された動
作司令のいずれかを選択してロボット１に転送する切替
え手段７、環境モデル記憶手段５に格納の情報を用いて
ロボット操作に必要な位置決めに関する情報を図形化し
て表示した画像とカメラ３が捉えた映像とを合成した画
像を生成する合成画像生成手段８、合成画像の表示手段
９、カメラ３が捉えた映像上の位置や種々の指令を遠隔
操作制御装置に入力するための入力手段１０、および入
力手段１０より入力された位置情報に基づいて作業環境
内の物体を選択する対象物体選択手段１１を備えてい
る。なお、図１の例では、作業環境に物体１２と物体１
３があり、ロボット１で物体１２を物体１３の穴１４に
挿入する作業をなす状況を示してある。

【００２１】ここで、環境モデル修正手段４から対象物
体選択手段１１までを含む操作制御系はコンピュータシ
ステムとして構成したものであってもよい。そのように
する場合には、環境モデル修正手段４、動作司令生成手
段６、切替え手段７、合成画像生成手段８および対象物
体選択手段１１は、コンピュータシステム上のソフトウ
エアとして、また環境モデル記憶手段５はコンピュータ
システムの記憶装置として、また合成画像の表示手段９
はコンピュータシステムの表示装置として、そして入力
手段１０はコンピュータシステムの入力装置として構成
することになる。

【００２２】以下、個々の構成要素の詳細について説明
する。本実施形態におけるロボット１は、回転型の関節
を備え、先端に物体を把持する把持機構を備えたアーム
型のロボットであり、駆動装置によって関節の角度を変
えることで把持機構の位置姿勢を変えることができるよ
うになっている。本発明においては、このよなアーム型
のロボットの他に、例えば脚機構や車輪のような移動機
構を備えた走行型のロボットであってもよい。また、ロ
ボットが物体把持機構を備えている必要は必ずしもない
し、アーム型ロボットであっても回転型の関節を備えて
いる必要もなく、直動型の関節を備えたものであっても
よい。

【００２３】操作手段２は、本実施形態におけるアーム
型のロボット１に対してはその把持機構の取るべき位置
姿勢を入力する装置である。一方、ロボットとして走行
型を用いる場合であれば、操作手段はその走行型ロボッ
トに対してそれ自身の位置姿勢を入力する装置となる。
具体的構成としては、例えばロボット１と同一形状のア
ーム型多関節機構として構成し、把持機構に相当する場
所を手に持って操作するようなマスターアーム型の装置
であってもよい。あるいは、前後左右の位置を入力する
ジョイスティックやコンピュータのマウスのような装置
を用いるものであってもよい。

【００２４】環境モデル記憶手段５は、図２に例示する
ような実際の作業環境における物体の配置状態を図４に
示すような形で記憶するものである。図２の例では、作
業環境内に、ｆｌｏｏｒ（作業環境の床の意）と名付け
られる物体１００、ｂｏｄｙ（本体）と名付けたられる
物体１０１およびｃａｐ（ふた）と名付けられる物体１
０２があり、物体１０２は穴１０３を有している。

【００２５】この作業環境については、物体の位置姿勢
や物体の位置決め点を表すための座標系１０４〜１１０
が設定される。座標系１０４は、環境モデル全体の基準
となる座標系（ワールド座標系）であり、環境モデルに
含まれる全ての物体や位置決め点の位置姿勢はこの座標
系に対する座標値として表現される。座標系１０５、１
０６はそれぞれｆｌｏｏｒとｂｏｄｙの位置姿勢を表す
座標系であり、１０７はｂｏｄｙに対するｃａｐの位置
決め点を表す座標系であると同時にｃａｐの位置姿勢を
表す座標系である。即ち、図２ではｃａｐがｂｏｄｙの
位置決め点に位置決めされた状態となっていることを表
している。座標系１０８は、ｃａｐをロボットが把持す
る場合の把持機構の位置決め点を表す座標系である。１
０９は、ｃａｐに設けられた穴１０３に物体を挿入する
場合の物体の位置決め点を表す座標系である。１１０は
穴１０３に物体を挿入する際にその物体を挿入する直前
の段階で位置決めする点を表す座標系である。なお、
「位置姿勢」とは、物体等の位置と姿勢（向き）を含ん
だ概念である。

【００２６】ここで、位置決め点１０９（座標系１０９
で表される位置決め点）と位置決め点１１０（座標系１
１０で表される位置決め点）の関係について図３を用い
て説明する。ｃａｐの穴１０３に例えばボルト１１１の
ような物体を挿入する作業を行う場合、まず図３（ａ）
に示すようにボルト１１１を穴の真上の位置決め点１１
０の場所に穴の中心軸とボルトの中心軸が一致するよう
に位置決めし、続いて図３（ｂ）に示すように真っ直ぐ
所定の位置決め点１０９まで挿入することが望ましい。
同様に、ボルト１１１を取外す場合にも、位置決め点１
１０まで持っていってから取外すことが望ましい。この
ような挿入・取外し動作を行うことで、ボルトが穴の側
壁に引っ掛かるようなトラブルの発生を防ぐことができ
る。

【００２７】このように、位置決め点１０９は、穴に挿
入された状態においてボルトが取るべき位置姿勢を表す
座標系であるのに対して、位置決め点１１０は、挿入あ
るいは取外す途中でボルトが位置決めすべき位置姿勢を
表す座標系である。以後、１０９のような位置決め点を
アタッチ・ポイント（attach point）と呼ぶのに対し
て、１１０のような位置決め点をアプローチ・ポイント
（approach point）と呼ぶことにする。また、１０８の
ようにロボットの把持機構を位置決めする位置決め点を
グラスプ・ポイント（grasp point）と呼ぶことにす
る。

【００２８】環境モデル記憶手段５は、以上のような作
業環境の状況を図４に示すような構造体変数１２０〜１
２６として記憶する。個々の構造体変数（構造体）には
物体名称１２０ａ、接続先１２０ｂ、座標変換パラメー
タ１２０ｃの各情報が記憶される。物体名称１２０ａは
構造体が表す物体または位置決め点の名称を表し、接続
先１２０ｂは構造体が表す物体または位置決め点が接続
される物体または位置決め点を表し、座標変換パラメー
タ１２０ｃは接続先の物体または位置決め点に対する相
対的な位置姿勢を表す。図４において、構造体１２０、
１２１、１２３はそれぞれ図２に示す物体１００（ｆｌ
ｏｏｒ）、１０１（ｂｏｄｙ）、１０２（ｃａｐ）に対
応し、構造体１２２、１２４、１２５、１２６は位置決
め点１０７、１０８、１０９、１１０に対応する。

【００２９】座標変換パラメータは、例えば以下のよう
な４×４行列によって表現する。Ｘ軸、Ｙ軸、Ｚ軸まわ
りの回転移動変換行列をそれぞれ

【数１】とし、平行移動を表す３次元ベクトルを

【数２】とする時、座標変換パラメータＡを以下の式で与える。

【数３】

【００３０】上記のような座標変換パラメータを用いる
ことにより、ある物体あるいは位置決め点のワールド座
標系に対する位置姿勢は、当該物体あるいは位置決め点
に対応する構造体の座標変換パラメータとその接続先か
ら出発して接続先が末端（root）である構造体までの座
標変換パラメータを全て掛け合せることにより求められ
る。例えば、位置決め点１１０の位置姿勢は、対応する
構造体１２６の座標変換パラメータＡ７とその接続先で
ある構造体１２５から順次接続先を辿ってゆき、接続先
がrootである構造体１２０に至るまでの全ての座標変換
パラメータＡ６、Ａ４、Ａ３、Ａ２、Ａ１を掛け合せる
ことにより得られる。

【００３１】同様にして、ある物体あるいは位置決め点
Ａの座標系に対する物体あるいは位置決め点Ｂの位置姿
勢は、Ｂに対応する構造体の座標変換パラメータとその
接続先から出発して接続先がＡである構造体までの座標
変換パラメータを全て掛け合せることにより得られる。

【００３２】構造体には、図示しないが上記のほかに
も、その構造体が物体を表すものであるのか位置決め点
を表すものであるのかを識別するための情報や、物体を
表すものであれば物体の形状の情報や、物体の種類を表
す情報など必要に応じて種々の情報が記憶されている。

【００３３】次に、環境モデル修正手段４の詳細につい
て説明する。環境モデル修正手段４は、図５に示す手順
によって物体の位置姿勢を認識し、環境モデルに記録さ
れている物体の位置姿勢情報を更新する。まず、カメラ
３により取り込んだ作業環境の画像から位置姿勢を認識
すべき物体のエッジ画像を取得する（ｓ１０）。エッジ
画像とは、例えば画像の中で明るさが大きく変化する部
分を抽出する等の処理を行うことにより得られる画像で
ある。これは、取り込んだ画像の各画素に対して隣接す
る画素との間で輝度（明るさ）の差を求め、その差が予
め設定したしきい値より大きい画素を残す等の処理を行
うことにより得ることができる。このようにして得られ
た画像は、例えば図６に示す画像１３３のようなパター
ンの画像となる。この画像１３３は、物体の輪郭線を多
く含む画像であるが、必ずしも全ての輪郭を含むもので
はない。

【００３４】次に、位置姿勢を認識すべき物体につい
て、環境モデル記憶手段５に記憶されている情報の中か
らそれの位置姿勢を取り出し、その位置姿勢においてカ
メラ３の位置から眺めた場合に見えるはずの輪郭画像
（参照画像）を生成する（ｓ１１）。物体の位置姿勢
は、環境モデルの中の対応する構造体に対して、既に述
べた手順によりワールド座標系に対する位置姿勢を計算
することにより求められる。また、物体の形状データは
環境モデルの中の対応する構造体に記憶されている情報
として得られる。これらのデータとカメラの位置姿勢デ
ータより、コンピュータグラフィック（ＣＧ）を生成す
る手順と同様の手段により、例えば図６に示すような物
体の輪郭画像１３４を生成する。

【００３５】次に、エッジ画像と参照画像（輪郭画像）
の間に働く仮想的な引力を計算する（ｓ１２）。これ
は、例えばエッジ画像のパターンに正の電荷が帯電し、
参照画像のパターンに負の電荷が帯電していると仮定し
た場合に二つのパターンの間に働く２次元的な引力とし
て計算する。この処理は、実際の作業環境中での物体の
状況を表すエッジ画像と環境モデルに記録されている物
体の状況を表す参照画像との間のずれ量を近似的に求め
ることに相当する。

【００３６】次に、上記二つのパターンを重なり合わせ
るように物体の位置姿勢を修正する（ｓ１３）。これ
は、上記引力の働く方向と上記引力により参照パターン
に働くモーメントの方向をもとの三次元空間における平
行移動方向と回転移動方向に変換し、これらの方向に物
体の位置姿勢を移動・回転しながら参照画像のパターン
とエッジ画像のパターンを重ねあわせるようにして行
う。この時、物体の位置姿勢の修正結果は環境モデルの
中の対応する構造体の座標変換パラメータに反映させ
る。

【００３７】次に、二つのパターンの一致度を計算する
（ｓ１４）。これは、例えば手順ｓ１３における物体の
位置姿勢の修正量の大小などによって計算し、修正量が
小さければ一致度が大きい（二つのパターンが十分重な
り合っている）とし、大きければ一致度が小さい（二つ
のパターンがまだ十分重なり合っていない）とするもの
である。

【００３８】最後に、ｓ１１からｓ１４で示すパターン
の重ね合せ処理が収束状態であるかを判定する。判定結
果が収束状態であれば処理を終了し、未収束状態ならｓ
１１に戻る（ｓ１５）。収束・未収束の判定は、例えば
ｓ１４で計算した一致度があるしきい値以上であるなら
収束状態とし、そうでなければ未収束と判定することに
より行う。

【００３９】次に、動作司令生成手段６の詳細について
説明する。動作司令生成手段６には、ロボットを自動的
に運転するための動作司令データが記憶されており、こ
の動作司令データに基いて図７に示す手順によってロボ
ットの動きを制御する。ここで、動作司令データは、例
えばロボットの把持機構をある位置姿勢に移動させるこ
とを指示する指令データや、把持機構に備えられた指の
開閉を指示する指令データや、自動運転から手動運転へ
の切替えを指示する指令データなどから構成される。

【００４０】まず、Ｔを１として最初の動作司令を読込
み（ｓ２０、ｓ２１）、その動作司令が手動動作への切
替えを指示する指令であれば手動操作を実行し、そうで
なければ自動動作を実行する（ｓ２２、ｓ２３、ｓ２
４）。そして、Ｔを１増加して次の動作司令を読み込
み、全ての動作司令を実行するまで同様の処理を繰り返
す（ｓ２５、ｓ２６）。

【００４１】図７に示す手順の中の自動動作を実行する
手順ｓ２４においては、動作司令生成手段６が生成した
動作司令をロボット１に転送する状態に切替え手段７を
セットする。そして、動作司令がロボットの把持機構を
ある位置姿勢に移動する指令である場合には、それに対
応した関節角度の制御データをロボットに転送する。ま
た、動作司令がロボットの把持機構の開閉を指示する指
令である場合には、把持機構の指の制御データをロボッ
トに転送する。ｓ２４の自動動作の実行は現在のステッ
プの動作司令が完了すると終了する。

【００４２】図７に示す手順の中の手動運転を実行する
手順ｓ２３においては、操作手段２より入力された動作
司令をロボット１に転送する状態に切替え手段７をセッ
トする。そして、操作手段２より入力された動作司令に
対応した関節角度の制御データや把持機構の指の制御デ
ータをロボットに転送する。ｓ２３においては、一旦手
動運転の実行が開始されたなら、操作手段２による手動
運転の状態を継続する。そして、入力装置１０から手動
運転の終了を指示する入力があった時に終了する。

【００４３】また、手順ｓ２３においては、以下に述べ
る合成画像生成手段８により、ロボットや位置決めすべ
き物体の位置決めに関する情報を図形化して表示した画
像を表示装置９に表示する。この時表示すべき位置決め
点は、手動動作への切替えを指示する指令データの中で
指定される。

【００４４】合成画像生成手段８は、図８に示す手順に
より合成画像を生成する。まず、手動動作への切り替え
時に動作司令データで指定された位置決め点の接続して
いる物体（対象物体）を特定する（ｓ３０）。これは、
環境モデルおいて、位置決め点に対応する構造体の接続
先を順次辿ってゆき、最初に到達した物体を表す構造体
を見つけることにより行われる。例えば、指定された位
置決め点がapproach_point1（１２６）である場合、対
象物体はｃａｐ（１２３）となる。次に、環境モデル修
正手段４により対象物体の位置姿勢を認識し（ｓ３
１）、環境モデルを更新する（ｓ３２）。これは、既に
述べた図５に示した手順により行われる。次に、更新さ
れた環境モデルから対象物体の位置姿勢を取得し、これ
に基いて手動操作誘導用のマークを参照図形として表示
する際の位置姿勢座標を計算する（ｓ３３）。それから
マークの形態をとる参照図形をその位置姿勢で描画し、
カメラ３より取り込んだ実際の作業環境の映像に重ね合
せて表示する（ｓ３４）。

【００４５】以上の手順において、参照図形の好ましい
表示方法としては以下のような方法が考えられる。例え
ば、図９に示すように物体１４２上に設けられた穴１４
３に物体１４１を挿入する際のapproach point（１４
４）に関する位置決め情報を表示する場合には、例えば
ロボットの把持機構の位置姿勢（または把持機構で把持
されている物体１４１の位置姿勢）に参照図形（第２の
マーク）１４５を表示すると同時に、物体１４１がappr
oach point（１４４）の位置に位置決めされた時にロボ
ットの把持機構（または把持機構で把持されている物体
１４１）が来るべき位置姿勢にも参照図形１４５と対に
なる参照図形１４６（第１のマーク）を表示する。そし
て、これらの参照図形をカメラ３が取り込んだ画像１４
０に重ね合せた映像を見ながらロボットの把持機構を操
作手段２により動かして、二つの参照図形が重なるよう
に持っていけば、物体１４１を所定の位置決め点に位置
決めすることができる。

【００４６】この場合、参照図形１４５を表示すべき位
置姿勢はロボットの把持機構の位置姿勢である。これ
は、以下の手順で計算される。まず、ロボットについて
も図４に示したものと同様の形のモデルを持っておき、
そのモデルの位置姿勢情報をロボットの関節角度情報な
どに基づいて実際の状態と合うように常に更新してお
く。そして、そのモデルにおける把持機構の位置姿勢を
既に述べた手順により計算することで得ることができ
る。一方、参照図形１４６を表示すべき位置姿勢は、物
体１４１の座標系に対する物体１４１のgrasp pointの
相対的な位置姿勢を求め、これとapproach point（１４
４）の位置姿勢を掛け合せることにより求めることがで
きる。

【００４７】上記の例は、ロボットのモデルから計算さ
れる把持機構の位置姿勢と実際の位置姿勢が一致する場
合には有効であるが、一般的には必ずしもそうならな
い。例えば、ロボットが重量の大きな物体を把持してい
る場合には、たわみなどが生じて把持機構の位置姿勢が
関節角度などから計算される位置姿勢からずれることが
考えられる。このような場合には、例えば以下のような
方法を用いる。

【００４８】図１０に示すように、位置決めすべき物体
１４１の位置決めされた状態において見えるであろう外
観形状を参照図形１４７として生成させ、これをカメラ
３が取り込んだ実際の作業環境の画像１４０に重ね合せ
て表示する。この時、参照図形１４７は物体１４１の実
際の映像との重なり具合を分かり易くするため、例えば
ワイヤーフレームのような線画により表示する。この映
像を見ながらロボットの把持機構を操作手段２により動
かして、物体１４１の実際の映像が参照図形１４７と重
なるように持っていけば、物体１４１を所定の位置決め
点に位置決めすることができる。

【００４９】上記の例では、ロボットの把持機構の実際
の位置姿勢が不明であり、対象物体の実際の位置姿勢は
環境モデル修正手段４の機能により既知となっている
が、逆に把持機構の位置姿勢が既知であり、対象物体の
位置姿勢が不明となる場合も考えられる。これは、例え
ば環境モデル修正手段がうまく働かないような状況に該
当する。このような場合には、例えば以下に示すような
方法を用いる。

【００５０】図１１に示すように、位置決めすべき物体
１４１と対象物体１４２との相対的な位置関係が、位置
決め点と対象物体との相対的な位置関係と同じになるよ
うな位置姿勢に対象物体１４２の外観形状を参照図形１
４８として生成させ、これをカメラ３が取り込んだ実際
の作業環境の画像１４０に重ね合せて表示する。この
時、参照図形１４８は物体１４２の実際の映像との重な
り具合を分かり易くするため、例えばワイヤーフレーム
のような線画により表示する。この映像を見ながらロボ
ットの把持機構を操作手段２により動かして、参照図形
１４８が物体１４２の実際の映像と重なるように持って
いけば、物体１４１を所定の位置決め点に位置決めする
ことができる。

【００５１】図１０および図１１に示した例では、参照
図形をワイヤフレームのような線画として描画している
が、これに代えて図１２に示すように３次元的な奥行情
報を持ったソリッド画像１４９を参照図形として表示す
るものであってもよい。この場合、ソリッド画像１４９
は以下の手順により描画する。

【００５２】まず、例えばレーザスキャナ等の装置を用
いてカメラ３の位置から見た作業環境の距離画像を得
る。距離画像とは、画像上の画素に対してその点におけ
る奥行情報が付加された画像である。次に、この距離画
像の上に参照図形を奥行も計算しながら描画し、奥行が
距離画像の奥行より手前にある画素については参照図形
の画素を書き込み、奥にある場合にはカメラ３から取り
込んだ画像の画素を書き込むようにする。以上の結果得
られる映像では、参照図形と実際の物体との３次元的な
重なり具合が明確になるので、参照図形と実際の物体の
映像を重ね合わせる操作が容易になる。

【００５３】次に、対象物体選択手段１１の詳細につい
て説明する。対象物体選択手段１１は、ロボットの操作
者が入力装置１０を用いて入力した表示装置９の画面上
での位置情報から、操作者が選択した対象物体を図１３
に示す手順により特定する。ここで、入力装置１０は、
例えばコンピュータの入力装置であるマウスやジョイス
ティックなど位置を入力する装置であればよい。

【００５４】まず、入力装置１０で入力した位置情報を
読み取り、それを画面上での位置に換算する（ｓ１）。
そして、ｉを１として物体ｉ＝１をカメラ３の位置から
見た場合に描画される領域を計算する（ｓ２、ｓ３）。
そして、ｓ１で計算した位置がｓ３で計算した領域に含
まれる否かを判定し（ｓ４）、含まれていた場合には対
象物体はｉ＝１と判定され、そうで無い場合はｉをｉ＋
１として次の物体に進み（ｓ５）、対象物体が特定され
るまで、または環境モデルに含まれる全ての物体につい
て終了するまで同様の調査を行う（ｓ６）。もし、ｓ１
で計算した位置が全ての物体の描画領域に含まれない場
合は、対象物体は無しと判定される。

【００５５】例えば、カメラ３から見た情景が図１４に
示すような状況である場合、物体１３０、１３１、ある
いは物体１３１上に設けられた穴１３２が描画される領
域は、それぞれ図中の太線で囲まれた領域となる。この
時、物体１３０において、ロボットの把持機構の指１３
３によって隠れる部分は物体１３０の描画領域とはなら
ない。同様に、物体１３１において、物体１３０によっ
て隠れる部分や穴１３２の領域と重なる部分は物体１３
１の描画領域とはならない。このような状況において、
×印で示す位置１３４が入力装置１０で入力されている
場合、対象物体は１３１となる。

【００５６】次に、本発明による遠隔操作制御装置を用
いた遠隔保守作業の全体的な流れについて説明する。ま
ず、保守作業におけるロボットの動作手順を動作司令デ
ータとして作成し、動作司令生成手段６に記憶させてお
く。この時、ボルト穴へのボルトの挿入作業など、自動
化が難しい作業や微妙な位置合わせを必要とする作業に
ついては、その作業に入るところで手動動作への切替え
指令を入れておく。また、実際の作業環境と環境モデル
との間のずれについて、例えばずれ量に関する適当なし
きい値を設定しておき、環境モデル修正手段４による上
述のような物体の位置姿勢認識を通じて実際の作業環境
と環境モデルの間にしきい値以上のずれが生じていたな
らば、そのことを条件に手動操作へ自動的に切替える指
令も入れておく。このようにするのは以下のような理由
による。即ち、一定以上に大きいずれを生じている状況
では、そのずれを環境モデル修正手段４で修正できても
なおロボットの自動運転の遂行に支障を来たすおそれの
ある障害の存在が予測されるからである。言い換えれ
ば、このような対応をとることで、ロボットによる作業
をより安全に行わせることが可能となり、ひいては、よ
り広い範囲の保守対象や作業内容に遠隔操作制御装置を
適用することを可能とする。

【００５７】ロボットを所定の位置に設置して作業を開
始する準備が整ったなら、入力装置１０より作業開始の
指示を入力する。すると、動作司令生成手段６は、予め
記憶された動作司令データに基づいてロボット１を制御
して作業を進める。この時、操作者は表示装置９に表示
されるカメラ３が捉えた作業環境の映像により、ロボッ
トの作業状況を監視する。

【００５８】動作指令データの実行ステップが手動動作
への切替え指令のところに来ると、動作司令生成手段６
は手動動作モードとなり、切替え手段７は、操作手段２
の入力をロボット１へ転送するように切り替わる。ま
た、合成画像生成手段８は手動動作への切替え指令によ
り指定された位置決め点に関する参照図形をカメラ３の
画像に重ね合せて表示装置９に表示する。

【００５９】そして操作者はこの参照図形を見ながらロ
ボットを操作し、所定の作業を実施する。例えば、ボル
トをボルト穴に挿入する作業では、ボルト穴に挿入する
際のapproach pointに関する位置決め情報が参照図形の
形態で表示される。操作者は、参照図形と実際のボルト
の映像が重なるようにロボットを操作することにより、
ボルトを正しい位置に持っていくことができる。そのた
め、この後の挿入操作においてもボルトをボルト穴側壁
に引っ掛けることなく作業を進めることができる。

【００６０】手動操作による作業が終了したなら、その
旨を入力装置１０より入力し、手動動作モードを終了す
る。すると、動作司令生成手段６は、再び自動運転モー
ドとなり、後続する動作司令データの実行を再開する。

【００６１】このように、保守作業の中で自動化が難し
い作業や、微妙な作業のみを手動操作として、他の部分
を自動運転とすることにより、操作者の負担を軽減する
ことができる。また、手動操作においても、操作におけ
る位置決め点を目視で誘導することのできる操作ガイド
情報を参照図形などの形態で表示して操作対象物体の位
置決めをやり易くしているので、容易に手動操作を行う
ことができる。

【００６２】操作者は、自動運転によるロボットの作業
状況を常に表示装置９の画面により監視している。この
時、例えば環境モデルには記録されていないような予期
せぬ障害物が存在してロボットが干渉する可能性がある
と判断したなら、入力装置１０より指示して、自動運転
を停止させる。すると、動作司令生成手段６は、手動動
作への切替え指令を受けた時と同様に手動動作モードに
切り替わる。そして、障害物の影響が無くなるところま
で手動操作で作業を進め、再び自動運転に切り替える。
この時、動作司令データにおいて、手動操作で実施され
た部分はスキップするように指示する。

【００６３】上記のように、自動運転を中断した状態で
手動操作を行う場合は、参照図形を表示すべき位置決め
点は自動的に指定されない。そこで、対象物体選択手段
１１により対象物体を指定して、表示すべき位置決め点
の情報を指定する。例えば、ボルトをボルト穴に挿入す
る作業の直前に作業を中断した場合は、ボルト穴の設け
られている物体を入力装置１０で選択する。これによ
り、ボルトを位置決めすべき位置決め点の情報を表示す
ることができる。

【００６４】このように、作業環境に予期せぬ障害物が
ある場合には、適宜手動操作に切り替えることにより、
柔軟に対処することが可能である。また、このような場
合にも、対象物体の位置決めをやり易くする情報が表示
されるため、容易に手動操作を行うことができる。

【００６５】ここで、環境モデル修正手段４による物体
の位置姿勢の認識方法は、必ずしも以上の実施形態にお
いて説明した手法に限定されるものではなく、画像認識
手法として一般に知られている他の方法を用いることが
できる。

【００６６】また以上の実施形態では、動作司令生成手
段６が設けられているが、これは本発明の趣旨にとって
必ずしも必要でない。即ち、本発明は参照図形などを表
示することで手動操作時の操作者の負担軽減を可能とす
るものである。従って、操作者が逐次対象物体を指定
し、その物体に関する位置決め情報を表示しながら、手
動操作により全ての作業を進める構成であっても、操作
者の負担軽減の実をあげることができる。

【００６７】また、以上の実施形態では作業環境の映像
を捉えるためのカメラを１台だけ設ける構成としていた
が、必要に応じて複数台のカメラを設けるようにしても
よい。複数台のカメラを設ける場合には、表示装置９に
表示する画像を取り込むカメラが切り替わるようにして
おき、あるカメラの画像が表示される時には、それに対
応した視点位置姿勢で参照図形を表示することにより、
対象物を多様な方向から見ることができるので、更に操
作性を高めることができる。また、複数台のカメラを用
いて対象物の多様な方向からの画像を入力することによ
り、物体の位置姿勢の計算精度を向上させることができ
る。即ち、図５に示した手順により物体の位置姿勢を求
める場合、視点の奥行方向に関する情報は物体の大きさ
の変化として現れる。奥行方向の位置の変化に対する画
像上での物体の大きさの変化は、画像の上下・左右方向
の位置の変化に比べて小さいため、一つのカメラからの
画像では、奥行方向の位置精度が悪くなるという問題が
ある。これに対して、第１のカメラと直角な方向から対
象物を捉える第２のカメラがある場合には、その第２の
カメラの画像から第１のカメラの画像における奥行方向
の位置情報を上下・左右方向の情報として得ることがで
きる。従って、これらの情報を合わせることによりカメ
ラが一つの場合よりも高精度に物体の位置姿勢を特定す
ることができる。

【００６８】また、以上の実施形態ではロボット１から
離れた位置にカメラを設けるようにしていたが、これに
代えて、カメラをロボット１の把持機構の部分に設ける
ようにしてもよい。この場合、合成画像生成手段８が表
示する参照図形は以下のようにすればよい。例えば、図
９に示すように物体１４２上に設けられた穴１４３に物
体１４１を挿入する際のapproach point（１４４）に関
する位置決め情報を表示する場合には、例えば物体１４
１が位置決め点１４４に位置決めされた状態で、把持機
構に備えられたカメラから見えるはずである物体１４２
あるいは穴１４３の形状を図１５に示すような形で参照
図形１５０として表示する。これにより、実際の物体１
４２や穴１４３の映像が前記の参照図形と重なるように
把持機構を移動した時に、物体１４１は所定の位置に位
置決めされることになる。この場合には、対象物体の位
置姿勢データやロボットの把持機構の位置姿勢データは
不要であり、作業環境モデルのデータのみがあれば足り
る。

【００６９】

【発明の効果】以上説明したように本発明では、作業環
境中でのロボットや物体の位置決めに関する情報を図形
化して表示し、この表示図形でロボットの手動操作を行
う際の誘導を行えるようにしているので、手動でのロボ
ットの操作をより容易に行えるようになる。したがって
本発明によれば、遠隔操作制御装置の操作に携わる者の
負担を軽減することができる。また本発明では、ロボッ
トの自動運転と手動操作を組み合わせるについて、ロボ
ットの自動運転の基礎となる環境モデルが実際の作業環
境と一定以上にずれている場合に、それを検出して自動
運転から手動操作に自動的に切替えることができるよう
にしているので、ロボットによる作業をより安全に行わ
せることが可能となる。したがって本発明によれば、よ
り広い範囲の保守対象や作業内容に遠隔操作制御装置を
適用することを可能となる。

【図面の簡単な説明】

【図１】一実施形態による遠隔操作制御装置の構成を示
すブロック図である。

【図２】作業環境における物体と位置決め点の位置関係
を説明する図である。

【図３】物体の挿入動作における位置決め点の関係を説
明する図である。

【図４】作業環境モデル内に記憶される情報を説明する
図である。

【図５】環境モデル修正手段の動作手順を説明する図で
ある。

【図６】環境モデル修正手段において使用されるエッジ
画像と参照画像の例を示す図である。

【図７】動作司令生成手段の動作手順を説明する図であ
る。

【図８】合成画像生成手段の動作手順を説明する図であ
る。

【図９】合成画像生成手段が生成する画像の例を示す図
である。

【図１０】合成画像生成手段が生成する画像の例を示す
図である。

【図１１】合成画像生成手段が生成する画像の例を示す
図である。

【図１２】合成画像生成手段が生成する画像の例を示す
図である。

【図１３】対象物体選択手段の動作手順を説明する図で
ある。

【図１４】物体の描画領域の例を示す図である。

【図１５】合成画像生成手段が生成する画像の例を示す
図である。

【符号の説明】

１ロボット２操作手段３カメラ４環境モデル修正手段５環境モデル６動作司令生成手段７切替え手段８合成画像生成手段９表示装置１０入力装置１１対象物体選択手段

Claims

【特許請求の範囲】

【請求項１】作業環境中に設置されるロボットを操作
制御系で遠隔的に操作制御しつつ前記ロボットに必要な
作業を行わせるようになっている遠隔操作制御装置にお
いて、前記ロボットを手動で操作するための操作手段、
作業環境の映像を捉えるカメラ、作業環境中で前記ロボ
ットによる作業の対象となる物体の位置姿勢や前記ロボ
ットの操作に必要な作業環境中での位置決めに関する情
報などを環境モデルとして記憶する環境モデル記憶手
段、前記カメラが捉えた映像と前記環境モデル記憶手段
から得られる位置決めに関する情報を図形化して表示し
た画像とを合成した合成画像を生成する合成画像生成手
段、およびこの合成画像生成手段で生成された合成画像
を表示する表示手段を備え、前記操作手段により前記ロ
ボットの手動操作を行う際に、前記合成画像を前記表示
手段に表示して手動操作を誘導できるようにされている
ことを特徴とする遠隔操作制御装置。
【請求項２】作業環境中に設置されるロボットを操作
制御系で遠隔的に操作制御しつつ前記ロボットに必要な
作業を作業環境中で行わせるようになっている遠隔操作
制御装置において、作業環境の映像を捉えるカメラと作
業環境中で前記ロボットによる作業の対象となる物体の
位置姿勢や前記ロボットの操作に必要な作業環境中での
位置決めに関する情報などを環境モデルとして記憶する
環境モデル記憶手段を備えるとともに、前記ロボットの
自動運転のための動作司令を生成する動作司令生成手段
と前記ロボットを手動で操作するための操作手段を備
え、前記ロボットの自動運転と手動操作を選択できるよ
うにされており、そして前記環境モデル中の物体の位置
姿勢と前記カメラで捉えた作業環境中の物体の位置姿勢
との比較により両者に一定以上のずれが生じていること
を検出した場合には、自動運転が停止されて手動操作に
自動的に移行するようにされていることを特徴とする遠
隔操作制御装置。
【請求項３】カメラが捉えた映像と環境モデル記憶手
段から得られる位置決めに関する情報を図形化して表示
した画像とを合成した合成画像を生成する合成画像生成
手段およびこの合成画像生成手段で生成された合成画像
を表示する表示手段を備え、手動操作に移行した際に、
前記合成画像を前記表示手段に表示して手動操作を誘導
できるようにされている請求項２に記載の遠隔操作制御
装置。
【請求項４】環境モデル中の物体の位置姿勢とカメラ
で捉えた作業環境中の物体の位置姿勢とにずれが生じて
いる場合に、そのずれをなくすように前記環境モデルを
修正する環境モデル修正手段を備えている請求項１〜請
求項３の何れか１項に記載の遠隔操作制御装置。
【請求項５】作業中のロボットまたはロボットによる
作業を受けている物体がその作業目的のために作業環境
中で位置決めすべき位置決め点に対応した位置姿勢のマ
ークを表示した画像を位置決めに関する情報の図形化画
像として用いるようにされている請求項１〜請求項４の
何れか１項に記載の遠隔操作制御装置。
【請求項６】作業中のロボットまたはロボットによる
作業を受けている物体がその作業目的のために作業環境
中で位置決めすべき位置決め点に対応した位置姿勢の第
１のマークと、前記ロボットまたは物体が作業の進行に
伴って変える位置姿勢に対応した位置姿勢の第２のマー
クを表示した画像を位置決めに関する情報の図形化画像
として用いるようにされている請求項１〜請求項４の何
れか１項に記載の遠隔操作制御装置。
【請求項７】ロボットによる作業を受けている作業環
境中の物体がその作業目的のために作業環境中で位置決
めすべき位置決め点に位置決めしたら見えるであろう前
記物体の外観形状の図形を表示した画像を位置決めに関
する情報の図形化画像として用いるようにされている請
求項１〜請求項４の何れか１項に記載の遠隔操作制御装
置。
【請求項８】作業環境中の位置決めすべき物体を他の
対象物体に組み合わせる作業をロボットに行わせる場合
に、前記ロボットによる作業を受けている状態の前記位
置決めすべき物体に前記対象物体が組み合わされたら見
えるであろう前記対象物体の外観形状の図形を表示した
画像を位置決めに関する情報の図形化画像として用いる
ようにされている請求項１〜請求項４の何れか１項に記
載の遠隔操作制御装置。
【請求項９】ロボットが位置決めすべき物体を把持し
た状態で当該位置決めすべき物体をロボットの把持部位
から捉えることができるようにしたカメラを設け、この
カメラが捉えた映像に位置決めに関する情報の図形化画
像を重ね合わせて合成画像を生成するようにされている
請求項８に記載の遠隔操作制御装置。
【請求項１０】カメラが捉えた作業環境の映像と位置
決めに関する情報の図形化画像とを奥行も考慮して重ね
合わせて合成画像を生成するようにした請求項７または
請求項９に記載の遠隔操作制御装置。
【請求項１１】表示手段の画面上における位置を入力
する入力手段と、この入力手段で入力された位置に関す
る情報から作業環境中の一つの物体を対象物体として選
択する対象物体選択手段を備え、前記入力手段で前記表
示手段の画面上に位置が入力された際には、前記対象物
体選択手段が選択した対象物体に関して位置決めに関す
る情報の図形化画像を生成するようにされている請求項
１〜請求項１０の何れか１項に記載の遠隔操作制御装
置。
【請求項１２】作業環境の映像を捉えるカメラを複数
台備え、これら各カメラが捉えた作業環境の映像を切り
替えて表示手段に表示できるようにされるとともに、こ
の表示映像の切り替えに応じて位置決めに関する情報の
図形化画像の表示の仕方も切り替えることができるよう
にされている請求項１〜請求項８または請求項１０〜請
求項１１の何れか１項に記載の遠隔操作制御装置。