[go: up one dir, main page]

JPH05138582A - ロボツトによる物体操作のための能動的カメラ探索装置 - Google Patents

ロボツトによる物体操作のための能動的カメラ探索装置

Info

Publication number
JPH05138582A
JPH05138582A JP29750991A JP29750991A JPH05138582A JP H05138582 A JPH05138582 A JP H05138582A JP 29750991 A JP29750991 A JP 29750991A JP 29750991 A JP29750991 A JP 29750991A JP H05138582 A JPH05138582 A JP H05138582A
Authority
JP
Japan
Prior art keywords
robot
camera
target object
image
positional relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP29750991A
Other languages
English (en)
Other versions
JP2686685B2 (ja
Inventor
Kouu Tei
絳宇 鄭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
A T R TSUSHIN SYST KENKYUSHO KK
Original Assignee
A T R TSUSHIN SYST KENKYUSHO KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by A T R TSUSHIN SYST KENKYUSHO KK filed Critical A T R TSUSHIN SYST KENKYUSHO KK
Priority to JP3297509A priority Critical patent/JP2686685B2/ja
Publication of JPH05138582A publication Critical patent/JPH05138582A/ja
Application granted granted Critical
Publication of JP2686685B2 publication Critical patent/JP2686685B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Manipulator (AREA)
  • Control Of Position Or Direction (AREA)

Abstract

(57)【要約】 【目的】 この発明はカメラを目的物体に対して能動的
に探索して視覚的なフィードバック制御をより簡潔,安
定かつ正確にして効率よく行なえることのできるような
ロボットによる物体操作のための能動的カメラ探索装置
を提供することを主要な特徴とする。 【構成】 カメラ5でロボット1と目的物体2とを撮像
し、その撮像出力を画像処理部9で画像処理し、両者の
相対的位置関係を求める。ロボット制御部4によってロ
ボット1を目的物体2に近接させ、ロボット1が目的物
体2の上に来ると、カメラ制御部7を制御してカメラ5
を移動し、再びロボット1と目的物体2との相対位置関
係を求め、ロボット1を目的物体2に近接させる。も
し、障害物によってロボット1が認識できなくなると、
カメラ5を上方向に移動させ、ロボット1と目的物体2
との相対位置関係を求める。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明はロボットによる物体操
作のための能動的カメラ探索装置に関し、特に、カメラ
の能動的探索によって物体操作の視覚フィードバック制
御をより簡潔,安定かつ正確にし、複雑な物体配置に適
応できるようなロボットによる物体操作のための能動的
カメラ探索装置に関する。
【0002】
【従来の技術および発明が解決しようとする課題】最近
では、目的とする物体を操作するために、目的物体をカ
メラで撮像し、その画像を処理し、フィードバック制御
することによりカメラを移動させたり、ロボットを移動
させたりしている。しかしながら、固定された1台のカ
メラで目的物体を撮像した場合、目的物体の3次元位置
の特定をすることができない。すなわち、目的物体とロ
ボットとの相対位置を2次元的に一致させても3次元方
向すなわち奥行方向において目的物体とロボットとの相
対位置が一致しているかどうかを判別することができな
い。
【0003】2台のカメラを用いてステレオ方式でロボ
ットと目的物体との3次元位置を計測する方法も考えら
れているが、2台のカメラ間のベースラインを長くする
と、物体の2画面での像の対応付けが困難になり、逆に
短くすると、三角測量で得られる3次元位置の精度が低
いこともある。また、目的物体とカメラの固定された関
係から対象物が隠されたり、視野に入らなかったり、画
像分解能が足りないような問題点が生じる。
【0004】それゆえに、この発明の主たる目的は、カ
メラを目的物体に対して能動的に探索して視覚的フィー
ドバック制御をより簡潔,安定かつ正確にして効率よく
行なえるようなロボットによる物体操作のための能動的
カメラ探索装置を提供することである。
【0005】
【課題を解決するための手段】この発明はカメラで目的
物体を撮像しながらロボットで目的物体を操作するロボ
ットによる物体操作のための能動的カメラ探索装置であ
って、カメラの画像出力を処理する画像処理手段と、カ
メラを制御するカメラ制御手段と、ロボットを制御する
ロボット制御手段と、画像処理手段によって処理された
画像信号に応じてロボットと目的物体との相対位置関係
を求め、ロボット制御手段によってロボットが目的物体
に近づくようにロボットを制御し、カメラ制御手段によ
ってカメラの撮像位置を変えるように制御させ、再度ロ
ボット制御手段によってロボットが目的物体に近づける
ように制御させる制御手段とを備えて構成される。
【0006】
【作用】この発明に係るロボットによる物体操作のため
の能動的カメラ探索装置は、カメラの画像出力を処理し
てロボットと目的物体との2次元的相対位置関係を求
め、ロボットが目的物体に近づくようにロボットを制御
し、カメラの撮像位置を変えて再びロボットが目的物体
に近づけるように制御することによって、1台のカメラ
でロボットと目的物体との3次元的位置関係を簡潔,安
定かつ正確にして計測することができる。
【0007】
【実施例】図1はこの発明の一実施例の概略ブロック図
である。図1を参照して、ロボット1は目的物体2をつ
かんだり、指定された位置に置いたりするために、3次
元動作を行なう。このために、ロボット制御部4はコン
ピュータ3から指令が与えられると、ロボット1を目的
物体3に近づけるための制御を行なう。
【0008】一方、カメラ5はカメラアーム6に取付け
られ、ロボット1と目的物体2とを撮像する。カメラ5
で撮像された連続画像8は画像処理部9に与えられて画
像処理される。画像処理部9はカメラ5で撮像された目
的物体の特徴を抽出し、連続画像を処理することによっ
てロボット1および目的物体2の移動を追跡する。画像
処理部9の出力はコンピュータ3に与えられ、カメラ5
がロボット1の移動を追跡するようにカメラ制御部7を
制御する。
【0009】図2はカメラ中心座標系でのカメラ移動を
示す図である。図2を参照して、カメラ5は目的物体2
の画像を撮像したときの画像分解能を変化させるため
に、光軸に沿った移動10と、目的物体の画面位置を調
整するために焦点が合った状態でカメラ5を目的物体2
のまわりに上下方向に回転する移動11と、目的物体2
とロボット1の相対位置を判定するために選ばれた注視
点のまわりに水平な円弧に沿う移動12をすることがで
きる。
【0010】図3はカメラで撮像された画像の一例を示
す図である。カメラ5で撮像された画像13には、ロボ
ット1と目的物体2とが写っている。カメラ5が光軸に
沿って移動し、目的物体2に近づくと拡大され、遠のく
と縮小される。そして、対象物の画面サイズが一定の値
になると光軸方向への移動が停止させる。観測方向を変
えるためにカメラ5を垂直軸あるいは水平軸のまわりに
回転することによって、画像撮像範囲13の中心と画像
処理範囲14の中心とを一致させることができる。
【0011】図4はカメラ中心座標系とロボットの中心
座標系との関係を示す図であり、図5はカメラとロボッ
トとの相対的な移動を説明するための図であり、図6は
カメラの誘導によってロボットが目的物体をつかむ動作
を説明するたの図であり、図7はこの発明の一実施例の
動作を説明するためのフロー図である。
【0012】次に、図1〜図7を参照して、この発明の
一実施例の動作について説明する。ステップ(図示では
SPと略称する)SP1において、カメラ5によってロ
ボット1と目的物体2とを撮像する。このときのカメラ
5で撮像されている画像は図6(a)に示すようにな
る。ロボット1と目的物体2とが画像の中心にくるよう
にカメラ5を移動させる。そのときの画像は図6(b)
に示すようになる。次に、ロボット1を図4に示すよう
に空間中一次独立の3つのベクトルT1,T2,T3に
沿って移動させ、その移動の状態をカメラ5で撮像し、
カメラ中心座標系とロボット1の移動中心座標系との関
係を求める。すなわち、画像処理部9はロボット1の移
動中心座標系でのベクトルT1,T2,T3に回転行列
を乗算して画面上のベクトルを求める。そして、ロボッ
ト1の先端位置が画面上の中心位置になるようにカメラ
5を移動させる。その結果、画像は図6(c)に示すよ
うになる。ステップSP4において、ロボット1の先端
位置を目的物体2に近接させる。このとき、ロボット1
の先端を目的物体2の目的位置点と同一垂直線上に乗る
ように、図5に示すようにカメラ1かロボット5のいず
れかを移動させる。ロボット1の先端と目的物体2とが
同一垂直線上にくると、画像は図6(d)に示すように
なる。
【0013】ステップSP5において、ロボット1が目
的物体5上に来たか否かを判別する。ロボット1と目的
物体2との差がなくなったことを判別すると、ステップ
SP6において、目的物体2からカメラ5までの距離を
一定に保った状態でカメラ5を水平方向に移動させる。
そして、図6(e)に示すように、ロボット1とカメラ
5との間に障害物が存在し、ロボット1の画像を認識で
きなくなったことを判別すると、ステップSP8におい
てカメラ5の高さを変える。すなわち、目的物体2から
カメラ5までの距離を一定に保った状態でカメラ5を上
方向に移動させる。すると、図6(f)に示すように、
ロボット1の画像が障害物の上の方向から認識できるよ
うになる。ステップSP9において、ロボット1を目的
物体に近接させ、ステップSP10においてロボット1
の垂直軸と目的物体2の垂直軸とが一致したか否かを判
別し、一致していればロボット1が目的物体2の位置に
到達していることになる。その後、ロボット1によって
目的物体2を拾い上げ、他の位置に移動させるなどの動
作を行なう。
【0014】
【発明の効果】以上のように、この発明によれば、カメ
ラで目的物体とロボットとを撮像し、その画像出力を処
理して両者の相対位置関係を求め、ロボットが目的物体
に近接するように制御し、両者が一致するとカメラの撮
像位置を変え、ロボットが目的物体に近接するように制
御することによって、1台のカメラで簡潔,安定かつ正
確にフィードバック制御することができる。したがっ
て、従来のように固定された1台のカメラで解決できな
いオクルージョンなどの問題点を解決できる。
【図面の簡単な説明】
【図1】この発明の一実施例の概略ブロック図である。
【図2】カメラ中心座標系でのカメラ移動を示す図であ
る。
【図3】カメラで撮像された画像の一例を示す図であ
る。
【図4】カメラ中心座標系とロボットの中心座標系との
関係を示す図である。
【図5】カメラとロボットとの相対的な移動を説明する
ための図である。
【図6】カメラの誘導によってロボットが目的物体をつ
かむ動作を説明するための図である。
【図7】この発明の一実施例の動作を説明するためのフ
ロー図である。
【符号の説明】
1 ロボット 2 目的物体 3 コンピュータ 4 ロボット制御部 5 カメラ 6 カメラアーム 7 カメラ制御部 9 画像処理部

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 カメラで目的物体を撮像しながらロボッ
    トで前記物体を操作するロボットによる物体操作のため
    の能動的カメラ探索装置であって、 前記カメラの画像出力を処理する画像処理手段、 前記カメラを制御するカメラ制御手段、 前記ロボットを制御するロボット制御手段、および前記
    画像処理手段によって処理された画像信号に応じて、前
    記ロボットと前記目的物体との相対位置関係を求め、前
    記ロボット制御手段によって前記ロボットを前記目的物
    体に近づくように該ロボットを制御させ、前記カメラ制
    御手段によって前記カメラの撮像位置を変えるように制
    御させ、再度前記ロボット制御手段によって前記ロボッ
    トが前記目的物体に近づけるように制御させる制御手段
    を備えた、ロボットによる物体操作のための能動的カメ
    ラ探索装置。
JP3297509A 1991-11-14 1991-11-14 ロボットによる物体操作のための能動的カメラ探索装置 Expired - Fee Related JP2686685B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP3297509A JP2686685B2 (ja) 1991-11-14 1991-11-14 ロボットによる物体操作のための能動的カメラ探索装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3297509A JP2686685B2 (ja) 1991-11-14 1991-11-14 ロボットによる物体操作のための能動的カメラ探索装置

Publications (2)

Publication Number Publication Date
JPH05138582A true JPH05138582A (ja) 1993-06-01
JP2686685B2 JP2686685B2 (ja) 1997-12-08

Family

ID=17847440

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3297509A Expired - Fee Related JP2686685B2 (ja) 1991-11-14 1991-11-14 ロボットによる物体操作のための能動的カメラ探索装置

Country Status (1)

Country Link
JP (1) JP2686685B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5499306A (en) * 1993-03-08 1996-03-12 Nippondenso Co., Ltd. Position-and-attitude recognition method and apparatus by use of image pickup means
JP2014018881A (ja) * 2012-07-13 2014-02-03 Seiko Epson Corp ロボットシステム、ロボット制御装置、ロボット、ロボット制御方法及びロボット制御プログラム
JP2014061560A (ja) * 2012-09-20 2014-04-10 Yaskawa Electric Corp ロボットシステムおよびワークの搬送方法
JP2015172575A (ja) * 2014-03-05 2015-10-01 タイコ エレクトロニクス (シャンハイ) カンパニー リミテッド プログラマブルデジタル機械画像検査システム
KR102350638B1 (ko) * 2020-08-26 2022-01-17 주식회사 이엠에스 인공지능형 로봇 시스템
CN114905506A (zh) * 2022-04-15 2022-08-16 北京航空航天大学杭州创新研究院 一种基于视觉感知和空间认知神经机制的机器人导航系统
WO2024135220A1 (ja) * 2022-12-23 2024-06-27 株式会社デンソー ロボット制御システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6878391B2 (ja) * 2018-12-18 2021-05-26 ファナック株式会社 ロボットシステムとその調整方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6334093A (ja) * 1986-07-29 1988-02-13 シャープ株式会社 視覚装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6334093A (ja) * 1986-07-29 1988-02-13 シャープ株式会社 視覚装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5499306A (en) * 1993-03-08 1996-03-12 Nippondenso Co., Ltd. Position-and-attitude recognition method and apparatus by use of image pickup means
JP2014018881A (ja) * 2012-07-13 2014-02-03 Seiko Epson Corp ロボットシステム、ロボット制御装置、ロボット、ロボット制御方法及びロボット制御プログラム
JP2014061560A (ja) * 2012-09-20 2014-04-10 Yaskawa Electric Corp ロボットシステムおよびワークの搬送方法
JP2015172575A (ja) * 2014-03-05 2015-10-01 タイコ エレクトロニクス (シャンハイ) カンパニー リミテッド プログラマブルデジタル機械画像検査システム
KR102350638B1 (ko) * 2020-08-26 2022-01-17 주식회사 이엠에스 인공지능형 로봇 시스템
CN114905506A (zh) * 2022-04-15 2022-08-16 北京航空航天大学杭州创新研究院 一种基于视觉感知和空间认知神经机制的机器人导航系统
WO2024135220A1 (ja) * 2022-12-23 2024-06-27 株式会社デンソー ロボット制御システム
TWI879233B (zh) * 2022-12-23 2025-04-01 日商電裝股份有限公司 機器人控制系統

Also Published As

Publication number Publication date
JP2686685B2 (ja) 1997-12-08

Similar Documents

Publication Publication Date Title
JP7490349B2 (ja) 入力装置、入力装置の制御方法、ロボットシステム、ロボットシステムを用いた物品の製造方法、制御プログラム及び記録媒体
US11639000B2 (en) Geometrically appropriate tool selection assistance for determined work site dimensions
JP6855492B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
EP1985416B1 (en) Mobile robot
JP3173042B2 (ja) ロボットの数値制御装置
US20140168455A1 (en) Controlling robotic motion of camera
CN109079775A (zh) 使用方位对准反馈来控制机器人末端执行器的方位的方法
JP6855491B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
CN109648568B (zh) 机器人控制方法、系统及存储介质
JP2007120993A (ja) 物体形状測定装置
JP2686685B2 (ja) ロボットによる物体操作のための能動的カメラ探索装置
JP3239277B2 (ja) 知能ロボット
JP2011041990A (ja) ロボットの制御装置及びロボットのティーチング方法
Zheng et al. Active camera guided manipulation.
CN119784839A (zh) 机械臂位姿确定方法、设备、存储介质及程序产品
JP2009260564A (ja) 移動体画像追尾装置
JPH0847881A (ja) ロボットの遠隔操作方法
WO2024232947A1 (en) Location based change detection within image data by a mobile robot
US20220388174A1 (en) Autonomous and teleoperated sensor pointing on a mobile robot
JPS6334093A (ja) 視覚装置
JPH0875462A (ja) 両眼立体視装置
JP4687853B2 (ja) X線透視撮影装置
JPH06258028A (ja) 視覚に基く三次元位置および姿勢の認識方法とその装置
JPH0675617A (ja) カメラ視点変更方式
JP4918675B2 (ja) 3次元座標測定方法

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19970715

LAPS Cancellation because of no payment of annual fees