JPS63163907A - Method for matching coordinate in intelligent robot - Google Patents
Method for matching coordinate in intelligent robotInfo
- Publication number
- JPS63163907A JPS63163907A JP31304786A JP31304786A JPS63163907A JP S63163907 A JPS63163907 A JP S63163907A JP 31304786 A JP31304786 A JP 31304786A JP 31304786 A JP31304786 A JP 31304786A JP S63163907 A JPS63163907 A JP S63163907A
- Authority
- JP
- Japan
- Prior art keywords
- mark
- robot
- visual sensor
- hand
- main body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 230000000007 visual effect Effects 0.000 claims abstract description 22
- 230000007423 decrease Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
Landscapes
- Manipulator (AREA)
- Control Of Position Or Direction (AREA)
Abstract
Description
【発明の詳細な説明】
〔産業上の利用分野〕
本発明は、視覚センサを備えた知能ロボットにおいて、
ロボット本体の座標系と視覚センサの座標系間の座標合
わせを行なう方法に関する。[Detailed Description of the Invention] [Industrial Application Field] The present invention relates to an intelligent robot equipped with a visual sensor.
This invention relates to a method for aligning the coordinate system of a robot body and the coordinate system of a visual sensor.
視覚センサを備えた知能ロボットが最近実用されている
。このロボットによれば、視覚センサで物体の位置を認
識して、この物体の位置にロボット本体(ロボット機構
部)の先端を位置決めすることが可能である。Intelligent robots equipped with visual sensors have recently been put into practical use. According to this robot, it is possible to recognize the position of an object using a visual sensor and position the tip of the robot body (robot mechanism) at the position of this object.
ところで、上記視覚センサで認識された物体の位置にロ
ボット本体を位置決めするには、予めロボット本体の座
標系と視覚センサの座標系とを厳密に対応付けておく必
要があり、そのため従来においては、基準板等の専用治
具を用いて上記各座標系の座標合わせを行なうようにし
ている。By the way, in order to position the robot body at the position of the object recognized by the visual sensor, it is necessary to establish a strict correspondence between the coordinate system of the robot body and the coordinate system of the visual sensor. The coordinates of each of the above coordinate systems are adjusted using a dedicated jig such as a reference plate.
上記従来の座標合わせ法は、専用の治具を必要とするば
かりでなく、該治具の設置に手間を要し、しかも自動化
が困難であるので人出に頼らざるを得ないという欠点が
ある。The conventional coordinate alignment method described above not only requires a special jig, but also requires time and effort to install the jig, and is difficult to automate, so it has the disadvantage of having to rely on human resources. .
本発明の目的は、かかる従来の問題点を解消することに
ある。An object of the present invention is to solve such conventional problems.
c問題点を解決するための手段〕
本発明では予めロボット本体の可動部適所にマークを付
し、上記マークが上記視覚センサの視野内に入るように
上記ロボット本体を位置決めしたのち、上記マークを上
記視覚センサで認識させてい゛る。Means for Solving Problem c] In the present invention, a mark is attached in advance to a suitable position on the movable part of the robot body, and after positioning the robot body so that the mark is within the field of view of the visual sensor, the mark is attached. It is recognized by the visual sensor mentioned above.
そして、上記ロボット本体を位置決めしたときの該ロボ
ットの座標と、上記視覚センサの画像フレーム上におけ
る上記マークの座標とに基づいて、上記ロボット本体の
座標系と上記視覚センサの座標系間の座標合わせを行な
うようにしている。Then, coordinates are adjusted between the coordinate system of the robot body and the coordinate system of the visual sensor based on the coordinates of the robot when the robot body is positioned and the coordinates of the mark on the image frame of the visual sensor. I try to do this.
以下、図面を参照して本発明の詳細な説明する。 Hereinafter, the present invention will be described in detail with reference to the drawings.
第1図は、本発明が適用される知能ロボットの一例を概
念的に示す。FIG. 1 conceptually shows an example of an intelligent robot to which the present invention is applied.
この知能ロボット1は、ロボット本体2と、このロボッ
ト本体を制御するコントローラ3と、視覚センサたるテ
レビカメラ4と、該カメラの画像を処理する画像処理部
5とを備えている。The intelligent robot 1 includes a robot body 2, a controller 3 for controlling the robot body, a television camera 4 as a visual sensor, and an image processing section 5 for processing images from the camera.
上記画像処理部5では、テレビカメラ4の画像に基づい
て機械部品等の物体6が認識され、かつカメラ4の画像
フレーム中における該物体6の位置が検出される。そし
てコントローラ3では、画像処理部5より与えられる上
記物体6の位置情報に基づいて、ロボット本体2のハン
ド21を上記物体6の位置に移動させる位置決め制御が
行なわれる。The image processing section 5 recognizes an object 6 such as a mechanical part based on the image of the television camera 4, and detects the position of the object 6 in the image frame of the camera 4. Then, the controller 3 performs positioning control to move the hand 21 of the robot main body 2 to the position of the object 6 based on the position information of the object 6 given by the image processing section 5.
なお、コントローラ3では、上記ハンド21の位置決め
後、このハンド21に物体6を把持させてこれを他の箇
所に移動させるというシーケンスが実行される。Note that, after positioning the hand 21, the controller 3 executes a sequence of causing the hand 21 to grasp the object 6 and moving it to another location.
ところで、上記画像処理部5からの位置情報に基づくハ
ンド21の位置決めは、ロボット本体2の座標系と視覚
センサ4の座標系とを予め対応付けておくことによって
はじめて可能となる。By the way, positioning of the hand 21 based on the position information from the image processing section 5 is only possible by associating the coordinate system of the robot body 2 and the coordinate system of the visual sensor 4 in advance.
第2図は、上記各座標系の対応付けを行なうための本発
明の実施例を示し、この手順はコントローラ3によって
実行される。FIG. 2 shows an embodiment of the present invention for associating the above coordinate systems, and this procedure is executed by the controller 3.
この手順を実行するに際しては、上記ロボット本体2の
可動部適所、たとえば第1図に示したようにハンド21
の上面にマーク7が付設される。When carrying out this procedure, move the movable part of the robot body 2 to a suitable place, for example, the hand 21 as shown in FIG.
A mark 7 is attached to the top surface.
なお、マーク7は視覚センサ4で認識できるようにその
大きさ、色彩等が設定されている。Note that the size, color, etc. of the mark 7 are set so that it can be recognized by the visual sensor 4.
また、ロボット1の位置決めとはハンド21の位置決め
を意味しているので、このハンド211;マーク7を付
した場合、このマーク7の位置がロボット1の位置を示
すことになる。Furthermore, since positioning of the robot 1 means positioning of the hand 21, when a mark 7 is attached to the hand 211, the position of the mark 7 indicates the position of the robot 1.
上記手順では、まず予設定位置P1 (Xl。In the above procedure, first, the preset position P1 (Xl.
Yl、Zl)にハンド21(マーク7)を位置決めすべ
く、ロボット本体2が移動される(ステップ100)。The robot body 2 is moved to position the hand 21 (mark 7) at Yl, Zl (step 100).
上記位K P 1は、もちろんロボット本体2に設定さ
れたx−y−z座標系上の位置であり、マーク7がカメ
ラの視野内に入るように設定されている。The above position K P 1 is, of course, a position on the x-y-z coordinate system set on the robot body 2, and is set so that the mark 7 is within the field of view of the camera.
つぎのステップ101では、ハンド21が位置P1に位
置決めされたか否かが判断される。そして同ステップで
位置決め終了が判断されると、カメラ4の画像フレーム
上に設定されたU−V座標系におけるマーク7の画像位
置P1’ (Ul。In the next step 101, it is determined whether the hand 21 is positioned at position P1. When the end of positioning is determined in the same step, the image position P1' (Ul) of the mark 7 in the UV coordinate system set on the image frame of the camera 4.
vl)が検出される(ステップ102)。vl) is detected (step 102).
なお、画像位置P1’ はカメラ4の画像を画像処理部
5で処理することにより得られる。Note that the image position P1' is obtained by processing the image of the camera 4 in the image processing section 5.
位置P1′が検出されると、次のステップ103でハン
ド21の位置決め回数が後述する値mに達したか否かが
判断されるが、現時点では位置決め回数が1であるので
手順がステップ100にリターンして再びロボット本体
2の移動が実行される。When the position P1' is detected, in the next step 103 it is determined whether the number of times the hand 21 has been positioned has reached a value m, which will be described later.However, since the number of times the hand 21 has been positioned is currently 1, the procedure returns to step 100. After returning, the movement of the robot body 2 is executed again.
このときのロボット本体2の移動は、カメラ4の視野内
にある予設定位置P2 (X2.Y2゜Z2)にハン
ド21を位置決めするべく行なわれる。そして、つぎの
ステップ101でハンド21の位置P2への位置決め終
了が判断されると、前記と同様にステップ102でU−
V座標系におけるマーク7の画像位置P2’ (U2
.V2)が検出される。The movement of the robot body 2 at this time is performed to position the hand 21 at a preset position P2 (X2.Y2°Z2) within the field of view of the camera 4. Then, when it is determined in the next step 101 that the positioning of the hand 21 to the position P2 is completed, the U-
Image position P2' of mark 7 in the V coordinate system (U2
.. V2) is detected.
以後、かかる手順が繰り返され、ハンド21の位置決め
回数がm回に達すると、位置データP1 (X+、Y+
、Zl)〜P■ (X m + Y■2ZI)およびP
1’ (U+、Vl)〜Pa’(Us、Vs)に基づ
いて後記するパラメータ計算が実行される(ステップ1
04)。Thereafter, this procedure is repeated, and when the number of times of positioning the hand 21 reaches m times, the position data P1 (X+, Y+
, Zl) ~ P■ (X m + Y■2ZI) and P
1' (U+, Vl) to Pa' (Us, Vs), parameter calculations to be described later are performed (Step 1
04).
なお、第3図にはハンド21が位置P1.P2゜・・・
に移動された場合のカメラの画像フレーム上におけるマ
ーク7の画像位置P1′、P2′、・・・が例示されて
いる。In addition, in FIG. 3, the hand 21 is at position P1. P2゜...
The image positions P1', P2', . . . of the mark 7 on the image frame of the camera when the mark 7 is moved are illustrated.
ところで、」1記ロボット本体2に設定されたX−Y−
Z座標系の位置(X、Y、Z) と、カメラ4の画像フ
レームに設定されたU−V座標系の位置(U、V)とは
次の式で関係づけられる。By the way, the X-Y- set on the robot body 2 in 1.
The position (X, Y, Z) in the Z coordinate system and the position (U, V) in the UV coordinate system set in the image frame of the camera 4 are related by the following equation.
U、、、dX+eY+fZ+g 、、、 (
1゜aX+bY+cZ+1
V=hX+ t Y十j Zlk 、、、 (
2)aX+bY+cZ+1
上記ステップ104に示すパラメータ演算とは、上式(
1) 、 (2)に示すパラメータa、b、・・・kを
求めるための演算を意味し、このパラメータが決定され
れば、両座標系の対応づけがなされることになる。U,,,dX+eY+fZ+g,,, (
1゜aX+bY+cZ+1 V=hX+ t Y×j Zlk ,,, (
2) aX+bY+cZ+1 The parameter calculation shown in step 104 above is the above equation (
1), (2) refers to calculations for determining parameters a, b, . . . k, and once these parameters are determined, the two coordinate systems will be associated.
上記パラメータの数は11個である。したがって、上記
位置決め回数mをm−12に設定した場合に得られる位
置データP1 (X+ 、Yl 、Zl )〜P12
(X12. Yl2. Zl2) 、 P+ ’
(U+・Vl) 〜P 1’ (U12. Vl
2) ヲ用イテ上記(1)。The number of the parameters is 11. Therefore, the position data P1 (X+, Yl, Zl) to P12 obtained when the above positioning number m is set to m-12
(X12.Yl2.Zl2), P+'
(U+・Vl) ~P 1' (U12.Vl
2) Use the above (1).
(2)式に基づく演算を行なえば、上記パラメータa、
b、・・・kを求めることができる。If we perform the calculation based on formula (2), the above parameters a,
b, . . . k can be obtained.
なお、カメラ4の姿勢角、焦点位置等が固定されている
場合や、カメラ4の視野内におけるハンド21の移動範
囲が限定されている場合、たとえば同じ水平面内のみを
ハンド21が移動するような場合には、上記パラメータ
の数が減少するので、上記位置決め回数mも減少する。Note that when the attitude angle, focal position, etc. of the camera 4 are fixed, or when the movement range of the hand 21 within the field of view of the camera 4 is limited, for example, when the hand 21 moves only within the same horizontal plane, In this case, since the number of the parameters decreases, the number of times m of positioning also decreases.
また、マーク7をハンド21以外の箇所に付設しても本
発明は実施可能であり、この場合にはハンド21からの
マーク7の一位量が予めコントローラ3に入力される。Furthermore, the present invention can be implemented even if the mark 7 is attached to a location other than the hand 21, and in this case, the one-place amount of the mark 7 from the hand 21 is input into the controller 3 in advance.
本発明によれば、基準板等の専用の治具を用いることな
く、視覚センサの座標系とロボット本体の座標系との対
応づけ処理を行なうことができるので、該処理の省力化
と容易化を図ることができる。According to the present invention, it is possible to perform the process of associating the coordinate system of the visual sensor with the coordinate system of the robot body without using a dedicated jig such as a reference plate, thereby saving labor and facilitating the process. can be achieved.
また、上記処理の自動化が容易であるという利便もある
。Another advantage is that the above processing can be easily automated.
【図面の簡単な説明】
第1図は本発明の方法が適用される知能ロボットの構成
を例示した概念図、第2図は本発明の一実施例を示した
フローチャート、第3図はテレビカメラの画像フレーム
中におけるマークの画像位置を例示した概念図である。
1・・・知能ロボット、2・・・ロボット本体、3・・
・コントローラ、4・・・テレビカメラ、5・・・画像
処理部、6・・・ワーク、7・・・マーク。
第3図[Brief Description of the Drawings] Figure 1 is a conceptual diagram illustrating the configuration of an intelligent robot to which the method of the present invention is applied, Figure 2 is a flowchart illustrating an embodiment of the present invention, and Figure 3 is a television camera. FIG. 2 is a conceptual diagram illustrating the image position of a mark in an image frame of FIG. 1... Intelligent robot, 2... Robot body, 3...
- Controller, 4... TV camera, 5... Image processing section, 6... Work, 7... Mark. Figure 3
Claims (1)
ット本体の可動部適所にマークを付し、上記マークが上
記視覚センサの視野内に入るように上記ロボット本体を
位置決めしたのち、上記マークを上記視覚センサで認識
させ、上記ロボット本体を位置決めしたときの該ロボッ
トの座標と、上記視覚センサの画像フレーム上における
上記マークの座標とに基づいて、上記ロボット本体の座
標系と上記視覚センサの座標系との間の座標合わせを行
なうことを特徴とする 知能ロボットにおける座標合わせ方法。[Claims] Applicable to an intelligent robot equipped with a visual sensor, a mark is attached to a suitable position on a movable part of the robot body in advance, and the robot body is positioned so that the mark is within the field of view of the visual sensor. , the coordinate system of the robot body and the coordinate system of the robot body are determined based on the coordinates of the robot when the mark is recognized by the visual sensor and the robot body is positioned, and the coordinates of the mark on the image frame of the visual sensor. A method for coordinating coordinates in an intelligent robot, characterized by coordinating coordinates with a coordinate system of a visual sensor.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP61313047A JPH07120211B2 (en) | 1986-12-26 | 1986-12-26 | Coordinate alignment method in intelligent robot |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP61313047A JPH07120211B2 (en) | 1986-12-26 | 1986-12-26 | Coordinate alignment method in intelligent robot |
Publications (2)
Publication Number | Publication Date |
---|---|
JPS63163907A true JPS63163907A (en) | 1988-07-07 |
JPH07120211B2 JPH07120211B2 (en) | 1995-12-20 |
Family
ID=18036563
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP61313047A Expired - Lifetime JPH07120211B2 (en) | 1986-12-26 | 1986-12-26 | Coordinate alignment method in intelligent robot |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH07120211B2 (en) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH058186A (en) * | 1991-07-04 | 1993-01-19 | Fanuc Ltd | Automatic calibration method |
JPH10321691A (en) * | 1997-05-15 | 1998-12-04 | Nikon Corp | Substrate-carrying method and aligner using the same |
JP2009172718A (en) * | 2008-01-24 | 2009-08-06 | Canon Inc | Working device and calibration method of the same |
JP2013215866A (en) * | 2012-04-12 | 2013-10-24 | Seiko Epson Corp | Robot system, robot system calibration method, calibration device, and digital camera |
JP2014531986A (en) * | 2011-09-13 | 2014-12-04 | コーニンクレッカ フィリップス エヌ ヴェ | Automatic online registration between robot and image |
JP2016013591A (en) * | 2014-07-01 | 2016-01-28 | セイコーエプソン株式会社 | Robot system |
CN106863332A (en) * | 2017-04-27 | 2017-06-20 | 广东工业大学 | A kind of robot visual orientation method and system |
JP2019153775A (en) * | 2018-03-05 | 2019-09-12 | キヤノントッキ株式会社 | Robot, robot system, device manufacturing apparatus, device manufacturing method, teaching position adjustment method, program, and storage medium |
CN111890371A (en) * | 2019-03-29 | 2020-11-06 | 牧今科技 | Method for verifying and updating calibration information for robot control and control system |
US10906184B2 (en) | 2019-03-29 | 2021-02-02 | Mujin, Inc. | Method and control system for verifying and updating camera calibration for robot control |
JP2021058980A (en) * | 2019-10-09 | 2021-04-15 | Dmg森精機株式会社 | Production system |
JP2021066008A (en) * | 2019-10-18 | 2021-04-30 | 株式会社Mujin | Method and control system for verifying and updating calibration information for robot control |
JP2021076502A (en) * | 2019-11-11 | 2021-05-20 | 株式会社東芝 | Remote measuring device and remote measuring method |
US11014241B2 (en) | 2019-03-29 | 2021-05-25 | Mujin, Inc. | Method and control system for verifying and updating camera calibration for robot control |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5599606A (en) * | 1979-01-25 | 1980-07-29 | Sharp Corp | Original point correcting system for mobile object |
JPS58114887A (en) * | 1981-12-26 | 1983-07-08 | 富士通株式会社 | Automatic positioning mechanism |
JPS61244027A (en) * | 1985-04-22 | 1986-10-30 | Canon Inc | Correction of origin deviation between stationary stage and rotary stage |
-
1986
- 1986-12-26 JP JP61313047A patent/JPH07120211B2/en not_active Expired - Lifetime
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5599606A (en) * | 1979-01-25 | 1980-07-29 | Sharp Corp | Original point correcting system for mobile object |
JPS58114887A (en) * | 1981-12-26 | 1983-07-08 | 富士通株式会社 | Automatic positioning mechanism |
JPS61244027A (en) * | 1985-04-22 | 1986-10-30 | Canon Inc | Correction of origin deviation between stationary stage and rotary stage |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH058186A (en) * | 1991-07-04 | 1993-01-19 | Fanuc Ltd | Automatic calibration method |
JPH10321691A (en) * | 1997-05-15 | 1998-12-04 | Nikon Corp | Substrate-carrying method and aligner using the same |
JP2009172718A (en) * | 2008-01-24 | 2009-08-06 | Canon Inc | Working device and calibration method of the same |
JP2014531986A (en) * | 2011-09-13 | 2014-12-04 | コーニンクレッカ フィリップス エヌ ヴェ | Automatic online registration between robot and image |
US9984437B2 (en) | 2011-09-13 | 2018-05-29 | Koninklijke Philips N.V. | Automatic online registration between a robot and images |
JP2013215866A (en) * | 2012-04-12 | 2013-10-24 | Seiko Epson Corp | Robot system, robot system calibration method, calibration device, and digital camera |
JP2016013591A (en) * | 2014-07-01 | 2016-01-28 | セイコーエプソン株式会社 | Robot system |
CN106863332A (en) * | 2017-04-27 | 2017-06-20 | 广东工业大学 | A kind of robot visual orientation method and system |
JP2019153775A (en) * | 2018-03-05 | 2019-09-12 | キヤノントッキ株式会社 | Robot, robot system, device manufacturing apparatus, device manufacturing method, teaching position adjustment method, program, and storage medium |
CN110228058A (en) * | 2018-03-05 | 2019-09-13 | 佳能特机株式会社 | Robot, robot system, device fabrication device, the manufacturing method of equipment and teaching location regulation method |
CN111890371A (en) * | 2019-03-29 | 2020-11-06 | 牧今科技 | Method for verifying and updating calibration information for robot control and control system |
US10906184B2 (en) | 2019-03-29 | 2021-02-02 | Mujin, Inc. | Method and control system for verifying and updating camera calibration for robot control |
CN111890371B (en) * | 2019-03-29 | 2021-05-04 | 牧今科技 | Method for verifying and updating calibration information for robot control and control system |
US11014241B2 (en) | 2019-03-29 | 2021-05-25 | Mujin, Inc. | Method and control system for verifying and updating camera calibration for robot control |
US11590656B2 (en) | 2019-03-29 | 2023-02-28 | Mujin, Inc. | Method and control system for verifying and updating camera calibration for robot control |
US11883964B2 (en) | 2019-03-29 | 2024-01-30 | Mujin, Inc. | Method and control system for verifying and updating camera calibration for robot control |
JP2021058980A (en) * | 2019-10-09 | 2021-04-15 | Dmg森精機株式会社 | Production system |
JP2021066008A (en) * | 2019-10-18 | 2021-04-30 | 株式会社Mujin | Method and control system for verifying and updating calibration information for robot control |
JP2021076502A (en) * | 2019-11-11 | 2021-05-20 | 株式会社東芝 | Remote measuring device and remote measuring method |
Also Published As
Publication number | Publication date |
---|---|
JPH07120211B2 (en) | 1995-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110842928B (en) | Visual guiding and positioning method for compound robot | |
JPS63163907A (en) | Method for matching coordinate in intelligent robot | |
JP5815761B2 (en) | Visual sensor data creation system and detection simulation system | |
CN108436909A (en) | A kind of hand and eye calibrating method of camera and robot based on ROS | |
WO2019116891A1 (en) | Robot system and robot control method | |
EP4019200A1 (en) | Production system | |
JPH04344503A (en) | Numerical controller for robot | |
CN116749233A (en) | Mechanical arm grabbing system and method based on visual servoing | |
CN110039520B (en) | Teaching and processing system based on image contrast | |
JP2003305676A (en) | Control method and control device for mobile robot | |
JPH1158273A (en) | Mobile robot device | |
JP5509859B2 (en) | Robot control apparatus and method | |
JP2020142323A (en) | Robot control device, robot control method and robot control program | |
CN108393676B (en) | Model setting method for automatic makeup assembly | |
CN118334089A (en) | 3D rapid positioning and grabbing method for industrial mechanical arm | |
JPH03213244A (en) | Positioning device for flat plate workpiece work machine | |
CN115972191A (en) | Two-armed robot teaching according to two-handed human demonstration | |
JP5223683B2 (en) | Work holding position and orientation measurement system and work transfer system | |
Xie et al. | A high-precision assembly system of 3C parts based on 6D pose estimation and visual servoing | |
JPH03281182A (en) | Coordinate correcting method for moving robot | |
JP2001092523A (en) | Method of teaching robot for carrier | |
EP4286107A1 (en) | Calibration method and robot system | |
JPH03166072A (en) | Detection of work position | |
US20230390924A1 (en) | Setting method using teaching operation | |
JPS61131887A (en) | Calibration system for visual robots |