JPS6334093A

JPS6334093A - 視覚装置

Info

Publication number: JPS6334093A
Application number: JP61178196A
Authority: JP
Inventors: 粕渕　健
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1986-07-29
Filing date: 1986-07-29
Publication date: 1988-02-13

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】産業上の利用分野本発明は、視覚装置に関し、特に、産）用ロボットの視
覚センサとしてイｆ用である。

従来技術従来、産業用ロボットに用いられる視覚装置としては、
１つのテレビカメラから得られた二次元画像を微分法や
領域法により処理したり、濃淡処理するものなどが知ら
れている。

又、１つのカメラと特殊な形状の光（例えばスリット状
の光）の投射装置とを用いていわゆる射光法により三次
元的情報を得る視覚装置が知られている。

更に、２つのテレビカメラを用いて、各カメラで得られ
る二次元画面上の対応点と両カメラの配置から立体視を
行う視覚装置も知られている。

従来技術の問題点近年の産業用ロボットの高度化に伴い、視覚装置として
も高度化が求められるようになっている。

例えば組立ロボットの場合には、従来は、一定の場所に
五かれた一種類の部品を取り上げて目的物に取り付ける
比較的単純な作業を行うものであったから、視覚装置も
単純なもので足りていた。

しかし、最近では、ランダムに置かれた異種の部品の中
から特定の部品を探し出しそれを取り上げて目的物に取
り付けるといったロボ−／　トの高度化が行われており
、視覚装置としても、異種の部品群の中から特定の部品
を見つけ出すことができるような高度性が要求されるよ
うになってきている。

また、その他にも、教示された環境モデルとの７７チン
グや障害回避センシングを必要とする移動ロボットの場
合等においても、視覚装置の高度性が要求されるように
なってきている。

また、ラインで流されるために対象物の位置のバラツキ
が大きな場合においても対象物に対する所定の相対位置
から対象物を観察しうる検査システムに適用できるよう
な視覚装置の高度性が要求されるようになってきている
。　しかし、従来の視覚装置では、かかる高度性の要求
に十分対応できないという問題点がある。

発明の目的本発明の目的とするところは、立体視に加えて、異なる
視角から見たり、所望部分を拡大視し大り、隠れた部分
を見る等の多面的な視覚認晶を行うことができ、高度の
ロボント作業に対応することができる視覚装置を提供す
ることにある。

発明の構成本発明の視覚装置は、固定的に設置された第１カメラ手
段、移動可能に設置された第２カメラ手段、その第２カ
メラ手段の移動手段、前記第１カメラ手段と第２カメラ
手段とにより立体視を行う立体視認手段、前記立体視で
のデータに基づき対象物の基準特徴部を抽出・選定する
基準特徴部１定手段、および前記基準特徴部の位置に基
づき補助的位置を算出する補助的位置演算部、および、
前記第２カメラ手段を移動させて前記補助的位置からの
視認を行う補助的視認手段を具備して７よることを構成
上の特徴とするものである。

実施例以下、図に示す実施例に基づいて本発明を更に詳しく説
明する。ここに第１図は本発明の視覚装置の一実施例の
模式的プロツク図、第２図は第１図に示す視覚装置によ
って立体視を行う状況の斜視図、第３図は第１図に示す
視覚装置によって異なる視角から視認する状況を示す斜
視図、第４図は第３図の状態において第２カメラにより
得られる二次元画像の例示図、第５図は本発明装置によ
る視角の概念説明図、第６図は同立体視および移動視の
概念説明図である。尚、図に示す実施例により本発明が
限定されるものではない。

第１図に示すように、視覚装置１は、第１カメラ２と、
第２カメラ３と、第２カメラ３の移動を行うカメラアー
ム４と、カメラ制御部５と、ビデオ切替回路６と、前処
理部７と、アドレスを旨定部８と、画像メモリー９と、
マイクロプロセッサ１０と、視角設定部１１と、環境モ
デルパターン記憶部１２と、アーム制御部１３とを具備
して基本的になっている。向、１４はコントロールバス
、１５はデータバスである。

第１カメラ２は、固定的であって、移動されることはな
い。但し、カメラの姿勢を変えることは可能である。

第２カメラ３は、カメラアーム４によって移動すること
ができる。

両カメラ２．３からそれぞれ得られた画像データは、ビ
デオ切替回路６によって一方が選択され、前処理部７で
空間微分、平滑化、エツジ強調等の前処理が行われ、ア
ドレス指定部８によって指定された画像メモリー９の所
定場所に取り込まれる。

画像取り込みのための制御は、マイクロプロセッサ１０
がコントロールバス１４を介して与える指令に基づき、
カメラ制御部５が行う。

マイクロプロセフすｌＯは、データバス１５を介して画
像メモリー９から画像データを読み込み、特徴抽出、距
離計算等の画像処理を行う。

視角設定部１１は、立体視を行うため及び特別な視角か
らの視認を行うために、作業目的に応して予め教示され
たデータに基づき、或いは、環境モデルパターン記憶部
１２に予め設定された環境モデルパターン（或いは視覚
モデルパターン）と第２カメラ３から得られる画像デー
タの比較照合を行うなどの条件判断に基づいて、カメラ
の移動位１や姿勢（視線方向）の設定を行う。

アーム制御部１３は、視角設定部１１からの出力に基づ
き、必要な座標変換、駆動制御等を行い、カメラアーム
４を駆動する。

さて具体例として、異種のパーツが置かれた中から特定
のパーツをロボットにより取り出す場合を想定し、その
ロボットの視覚センサとしての視覚装置１の作動につい
て説明する。すなわち、第２図〜第５図に示すように、
異種のパーツａ、　　ｂ、ｃ、ｄが無秩序に置かれてお
り、その中からパーツａをロボノ）Ｒによって取り出す
作業を考える。

マイクロプロセッサ１０は、視角設定部１１およびアー
ム制御部１３を介してカメラアーム４を駆動し、第１カ
メラ２から所定の距離だけ離れた位置に第２カメラ３を
位置せしめ、第１カメラ２の視野と重複した視野を第２
カメラ３で観測する。

両カメラ２．３の視野が重複しているため、一つの対応
部分が両カメラ２．３の各画像データに含まれているが
、両カメラ２．３には所定の位置差があるために視差を
生じている。そこで、この視差に基づいて、マイクロプ
ロセッサ１０は、パーツａ、ｂ、ｃ、ｄの三次元的な視
認即ち立体視を行う。

マイクロプロセッサ１０は、あらかじめ所望のパーツａ
の形状データを与えられているため、必要な形状データ
が画像データから得られれば、目的のパーツａを認識で
きるが、第２図に示すように、各パーツａｘｄは互いに
他を隠しあっているために、必要なデータが上記立体視
によって得られるとは限らない。

かかる場合は、マイクロプロセッサ１０は、得られた画
像データから目的パーツａの基準特徴部を抽出・選定す
ることによって目的パーツａの位置と姿勢とを計算上で
推定する。これは目的パーツａが部分的に隠されていて
も可能である。基準特徴部は、例えば微分法により抽出
でき、例えばカメラとの遠近や面の屈曲度合を基準とし
て選定できる。そして、予め教示された目的パーツａに
対する相対位置から目的パーツａを観察可能な補助的位
置を算出する。そして、移動視を行う指示を視角設定部
１１に出力する。

視角設定部１１は、その指示によりカメラアーム４を駆
動し、前記補助的位置に第２カメラ３を移動する。

これによりマイクロプロセッサ１０は、第２カメラ３に
より所定の相対位置から見た画像データを得る。

第３図はこの状態を示したものであり、第１カメラ２は
固定された位置のままであるが、第２カメラ３は、カメ
ラアーム４によって移動され、パーツａｘｄを真上から
観測している。

第３図に示す位置から得られる第２カメラ３の画像デー
タは、例えば第４図に示すようであり、第２図のカメラ
位置からの立体視では得られなかった部分のデータが得
られるようになっている。

例えば、パーツｂ’ｔ’ａされていたために見えなかっ
たパーツａの部分を実際に視認できるようになっている
。

かくして、マイクロプロセッサ１０は、パーツａ−ｄに
ついての必要十分なデータを得、パーツａを認識し、そ
の視認結果に基づいて、ロボットＲを駆動し、目的のパ
ーツａを誤りなく取り出すことができる。

他の実施例としては、立体視によって対象物上の基準特
徴部を抽出・選定し、予めその基準特徴点に対する相対
位置で教示されていた対象物の目的部分の立体視におけ
る位置を算出し、その位置へカメラを接近移動させて、
拡大視を行うものが挙げられる。この場合、まず目的部
分を画面の中央にとらえるようにカメラの姿勢を変え、
次いでカメラを前進させてもよいし、前進させながら姿
勢を変えるようにしてもよい。

さらに他の実施例としては、立体視において得られるデ
ータと予め教示しておいたデータとを、時間またはカメ
ラの位１を基準して比較し、所定以下の相関しか得られ
ないときは視野内に何らかの異常があると判定し、カメ
ラを移動して補助的視認を行うものが挙げられる。この
場合、警報を出力したり、ロボットやラインの作動を停
止させて安全を図るようにしてもよい。

第５図及び第６図は、上記立体視と移動視を一般的に説
明したものである。

対象物の例として四面体があり、これを２つのカメラＦ
、、Ｆ２で図の位置から捉えたとき、カメラＦ１．Ｆ２
の視野平面Ｖ、、Ｖ、に四面体の画像が得られる。

カメラＦ、、Ｆ２間の距離が既知で、四面体上の特徴点
Ｐの画像上における対応点Ｐ１．Ｐ２を同定すれば、距
離計測を含む立体視が可箋となる。

このことは公知である。

カメラＦ、を所定の位１に固定して四面体の主たる像を
捉え、カメラＦ２を、例えばロボットアームやＸＹステ
ージ、マニピュレータ等の移動機構によって、例えば四
面体を側方より見るときは図のＦ３の位置に、成る視線
方向で詳細に拡大視するときは図のＦ、の位置に移動す
る。また、移動ロボットのように所期の環境モデルを視
るとか隠害回避のための方向確認を行うときの視線回転
等を行う。

これらのカメラＦ２の移動制御は予め教示した位１に移
動するか、或いは条件付判断機能をプログラム化して作
業目的に応じた所要視覚像が得られる位置まで移動する
ことにより行われる。

例えば、カメラＦ２の移動は、図に示すＦ、若しくはＦ
２をロボット座標系の原点として、所定の移動先の位置
において、所定の姿勢をとるようにアームを制御して行
う。

位置の設定は、Ｆ２　　（若しくはＦｌ）の画面上で特
徴点Ｐ２を基準として、所望の視線方向、視覚距離を定
める。

視覚距離は、Ｆ１画面で設定すると、Ｆ、、Ｆ２の画面
切り替えによってＦｌよりＦ２のカメラ位置を見ること
も可能にもなし得る。

視線方向は、二次元画面で直接三次元方向の設定ができ
ないため、画面で設定した二次元の位置・姿勢に進んで
対応点Ｐ、を確認し、更にＦ９画面より方向設定を行う
。

視線方向は、基準の対応点を視野内に確認しつつ行うＣ
で、移動視覚の情報フィードバックによるアーム制御と
することもできる。

このようにアーム座１　（Ｘ、Ｙ、Ｚ、　　θ）は、基
準点（Ｘ２．）’２）、所望視覚位置（視線方向、視覚
距Ｍ）の視覚情報により設定し、アームの移動を制御で
きるが、基準特徴点が得られない場合、例えば円筒１球
体が対象であるときは、視覚距離を設定し、予測される
陰影画像パターンの記憶と比較する視覚情報フィードバ
ックによりアーム制御を行うことになる。

以上の説明から理解されるように、上記視覚装置１によ
れば、立体視により全体状況を把握し、次いで第２カメ
ラ３の移動視により前記立体視では得られない視覚情報
を得、それによりロボットＲを制御できることとなるの
で、ロボットＲの高度の作業にも対応できる高度の視覚
機能を有するものとなる。

他の実施例としては、第１カメラ２の姿勢を変えつつ、
これと平行するように第２カメラ３を移動せしめ、広い
角度にわたり立体視を行うものが挙げられる。この場合
、両カメラを移動させるのではなく、一方のカメラは固
定的な位置にあるので、三次元距離計算等の処理の負担
が軽くなる利点がある。

発明の効果本発明によれば、固定的に設置された第１カメラ手段、
移動可能に設置された第２カメラ手段、その第２カメラ
手段の移動手段、前記第１カメラ手段と第２カメラ手段
とにより立体視を行う立体視認手段、前記立体視でのデ
ータに基づき対象物の基準特徴部を抽出・選定する基準
特徴部選定手段、および前記基準特徴部の位置に基づき
補助的位置を算出する補助的位置演算部、および、前記
第２カメラ手段を移動させて前記補助的位置からの視認
を行う補助的視認手段を具備してなることを特徴とする
視覚装置が提供され、これにより立体視を行うことがで
きると共に、それに加えて異なる視角からの画像データ
、拡大視、隠れた場所の画像データ等を得ることができ
るので、高度のロボット用の視覚装置として極めて有用
である。

【図面の簡単な説明】第１図は本発明の視覚装置の一実施例の模式的ブロック
図、第２図は第１図に示す視覚装置によって立体視を行
う状況の斜視図、第３図は第１図に示す視覚装置によっ
て異なる視角から視認する状況を示す斜視図、第４図は
第３図の状態において第２カメラにより得られる二次元
画像の例示図、第５図は本発明装置による視角の概念説
明図、第６図は同立体視および移動視の概念説明図であ
る。（符号の説明）１・・・視覚装置　　　　　　　２・・・第１カメラ３
・・・第２カメラ　　　　　４・・・カメラアーム９・
・・画像メモリー１０・・・マイクロプロセッサ１１・・・視角設定部１３・・・アーム制御部。

Claims

【特許請求の範囲】

１、固定的に設置された第１カメラ手段、移動可能に設
置された第２カメラ手段、その第２カメラ手段の移動手
段、前記第１カメラ手段と第２カメラ手段とにより立体
視を行う立体視認手段、前記立体視でのデータに基づき
対象物の基準特徴部を抽出・選定する基準特徴部選定手
段、および前記基準特徴部の位置に基づき補助的位置を
算出する補助的位置演算部、および、前記第２カメラ手
段を移動させて前記補助的位置からの視認を行う補助的
視認手段を具備してなることを特徴とする視覚装置。