JP7520608B2 - Robot hand position detection system - Google Patents
Robot hand position detection system Download PDFInfo
- Publication number
- JP7520608B2 JP7520608B2 JP2020117560A JP2020117560A JP7520608B2 JP 7520608 B2 JP7520608 B2 JP 7520608B2 JP 2020117560 A JP2020117560 A JP 2020117560A JP 2020117560 A JP2020117560 A JP 2020117560A JP 7520608 B2 JP7520608 B2 JP 7520608B2
- Authority
- JP
- Japan
- Prior art keywords
- robot hand
- measurement
- robot
- position detection
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 69
- 238000005259 measurement Methods 0.000 claims description 144
- 238000003384 imaging method Methods 0.000 claims description 39
- 239000003550 marker Substances 0.000 claims description 21
- 238000012937 correction Methods 0.000 claims description 8
- 238000006073 displacement reaction Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000009434 installation Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000037237 body shape Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Description
本発明は、ロボットハンド位置検出システムに関し、特に、ロボットハンドに対象物を測定するための撮像装置が装着されたロボットのロボットハンド位置を検出するロボットハンド位置検出システムに関する。 The present invention relates to a robot hand position detection system, and in particular to a robot hand position detection system that detects the position of a robot hand equipped with an imaging device for measuring an object.
自動車等の車両の製造工程では、車両の組立精度を向上するために車体の骨格精度を計測している。骨格精度を計測する方法としては、車体を囲むように設置された櫓に、複数のカメラや複数のレーザ変位計を設置し、各カメラ及び各レーザ変位計から取得した車体のデータに基づいて、車体寸法を算出する方法が採用されている。カメラやレーザ変位計の設置位置や個数は、車両の種類に応じて変更される。 In the manufacturing process of automobiles and other vehicles, the accuracy of the vehicle body frame is measured to improve the assembly accuracy of the vehicle. The method used to measure the accuracy of the frame is to install multiple cameras and multiple laser displacement meters on a tower that is set up to surround the vehicle body, and calculate the vehicle body dimensions based on the data of the vehicle body obtained from each camera and each laser displacement gauge. The installation positions and number of cameras and laser displacement meters vary depending on the type of vehicle.
近年では、カメラやレーザ変位計を固定設置する方法に変えて、ロボットハンドに車体測定用のカメラを装着した計測用ロボットを用いる方法も採用されている。 In recent years, instead of using fixed cameras and laser displacement meters, a method has been adopted in which a measurement robot with a camera for measuring the vehicle body attached to its robot hand is used.
例えば、特許文献1には、車体形状を三次元計測する計測用ロボットが記載されている。この計測用ロボットは、ロボットハンドに装着された1台のカメラと、カメラが取得した画像データを解析して、画像データに含まれる車体の三次元計測データを生成する制御部と、を備えている。ロボットハンドは、ロボットアームの先端部に設けられている。ロボットアームは、ロボットハンドに装着されたカメラが、車体に対する所定の測定位置に移動するように移動制御される。
For example,
この計測用ロボットでは、車体に対して各測定位置で、カメラにより車体の画像を取得し、取得された画像データから車体形状を解析することで、車体の三次元計測を行うことができる。 This measuring robot can perform three-dimensional measurements of the vehicle body by capturing images of the vehicle body using a camera at each measurement position on the vehicle body and analyzing the vehicle body shape from the captured image data.
このように、カメラの位置を移動制御可能な計測用ロボットを用いることで、車種が変更した場合であっても、カメラの設置場所や数を変えることなく、車種に応じた計測を実施することができる。 In this way, by using a measurement robot that can control the movement of the camera position, measurements can be carried out according to the vehicle model without changing the location or number of cameras, even if the vehicle model is changed.
しかしながら、このようにロボットアームの測定姿勢が変化するロボットでは、ロボットアームが再び同じ測定姿勢に戻ったとしても、元の測定姿勢に対してカメラ位置にズレが生じるという繰り返し精度の問題がある。このズレ量は、周囲の温度変化や、ロボット自身の発熱による熱ダレなどによっても変化するため、繰り返し精度を向上させることは困難である。 However, in a robot in which the measurement posture of the robot arm changes in this way, there is a problem with repeatability in that even if the robot arm returns to the same measurement posture, there will be a deviation in the camera position from the original measurement posture. The amount of this deviation also changes due to changes in the surrounding temperature and thermal dripping caused by heat generated by the robot itself, making it difficult to improve repeatability.
それ故、計測用のロボットとは別に、ロボットの測定姿勢によるズレ量を検出するための検出装置を設置し、この検出装置が検出したズレ量に応じて、測定値の補正を行う方法が採用されている。 Therefore, a detection device is installed separately from the measurement robot to detect the amount of deviation due to the robot's measurement posture, and the measurement value is corrected according to the amount of deviation detected by this detection device.
例えば、特許文献2には、ロボットと、このロボットのロボットアームの先端部に設けられたロボットハンドの位置(すなわち、測定用カメラの装着位置)を検出する位置検出装置と、を備えたロボットシステムが記載されている。このシステムにおいて、位置検出装置は、ロボットから離間した位置に設置される。位置検出装置は、ロボットハンドに向かってレーザビームを照射するとともに、ロボットハンドで反射されて戻ってきたレーザビームを受光し、レーザビームの受光位置や、受光されるまでの時間などから、ロボットハンドの位置を測定する。 For example, Patent Document 2 describes a robot system that includes a robot and a position detection device that detects the position of a robot hand (i.e., the mounting position of a measurement camera) attached to the tip of the robot's robot arm. In this system, the position detection device is installed at a position separated from the robot. The position detection device irradiates a laser beam toward the robot hand and receives the laser beam that is reflected back by the robot hand, and measures the position of the robot hand from the receiving position of the laser beam and the time until it is received.
このロボットシステムでは、位置検出装置によって測定されたロボットハンド位置に関するデータと、予め位置検出装置に記憶されたロボットハンドの基準位置データとを比較することで、基準位置に対するロボットハンドのズレ量を検出することができる。ロボットは、検出されたズレ量に基づいてデータの補正を行う。 In this robot system, the amount of deviation of the robot hand from the reference position can be detected by comparing data on the robot hand position measured by the position detection device with reference position data for the robot hand that is pre-stored in the position detection device. The robot corrects the data based on the detected amount of deviation.
しかしながら、特許文献2に記載のロボットシステムでは、ロボットから離間した位置に位置検出装置を設置する必要があるため、ロボットアームの測定姿勢によっては、レーザビームをロボットハンドに当てて反射させることができず、ロボットハンドの位置を検出することができないことがある。 However, in the robot system described in Patent Document 2, it is necessary to install a position detection device at a position away from the robot. Depending on the measurement posture of the robot arm, the laser beam may not be able to be reflected by the robot hand, making it impossible to detect the position of the robot hand.
また、位置検出装置は、ロボットから離れた遠距離で高精度の測定が可能なセンサを要するため、装置自体が高価であり、設備コストが掛かるという問題もある。 In addition, because position detection devices require sensors that can perform highly accurate measurements at long distances from the robot, the devices themselves are expensive, which creates the problem of high facility costs.
本発明は、上記課題に鑑みてなされたものであって、ロボットアームの測定姿勢にかかわらずロボットハンドの位置を検出可能であって、設備コストを抑えることができるロボットハンド位置検出システムを提供することを目的とする。 The present invention has been made in consideration of the above problems, and aims to provide a robot hand position detection system that can detect the position of a robot hand regardless of the measurement posture of the robot arm, and can reduce equipment costs.
上記目的を達成するために、本発明に係るロボットハンド位置検出システムは、ロボットアームの先端部に設けられたロボットハンドの位置を検出するロボットハンド位置検出システムにおいて、前記ロボットハンドに装着され、互いに直交する3方向を向いて配置された3つの撮像装置と、前記ロボットハンドの移動を制御する制御装置と、前記ロボットアームから離間した位置であって、前記3つの撮像装置のうち、1つの撮像装置によって測定対象物を測定する際に、残り2つの撮像装置のそれぞれにより撮像可能な位置にそれぞれ配置された少なくとも2つのマーカと、を備え、前記制御装置は、前記マーカの位置に基づき予め設定された基準座標系に関する情報と、前記ロボットハンドを所定の測定位置に移動させて前記1つの撮像装置により前記測定対象物の測定をする際に、前記残り2つの撮像装置のそれぞれにより取得された前記マーカの画像データと、に基づいて、前記ロボットハンドの前記基準座標系における位置を検出する位置検出部を備え、前記測定対象物を測定する1つの撮像装置は、前記所定の測定位置において、前記3つの撮像装置の中から任意に選択可能であることを特徴とする。
In order to achieve the above-mentioned object, a robot hand position detection system according to the present invention is a robot hand position detection system that detects the position of a robot hand provided at the tip of a robot arm, the system comprising: three imaging devices attached to the robot hand and arranged facing three mutually perpendicular directions; a control device that controls the movement of the robot hand; and at least two markers arranged at positions spaced apart from the robot arm and at positions that can be imaged by each of the remaining two imaging devices when a measurement object is measured by one of the three imaging devices, the control device comprising a position detection unit that detects the position of the robot hand in the reference coordinate system based on information related to a reference coordinate system that is preset based on the positions of the markers and image data of the markers acquired by each of the remaining two imaging devices when the robot hand is moved to a predetermined measurement position and the measurement object is measured by the one imaging device, and the one imaging device that measures the measurement object can be arbitrarily selected from the three imaging devices at the predetermined measurement position .
この構成によれば、ロボットハンドに装着された1つの撮像装置を用いて測定対象物の測定を行う際に、残り2つの撮像装置のそれぞれによりマーカを撮像して2つのマーカの画像データを取得し、この取得されたマーカの画像データと、これらのマーカの位置に基づいて予め設定された基準座標系とを用いることで、ロボットハンドの基準座標系における三次元的な位置を検出することができる。 According to this configuration, when measuring an object to be measured using one imaging device attached to the robot hand, the remaining two imaging devices each capture an image of a marker to obtain image data of the two markers, and the three-dimensional position of the markers in the reference coordinate system of the robot hand can be detected by using this obtained image data of the markers and a reference coordinate system that is preset based on the positions of these markers.
また、このシステムでは、ロボットハンドの位置を検出するために用いられる2つの撮像装置は、ロボットハンドに装着されて、ロボットハンドとともに移動するので、ロボットアームの測定姿勢にかかわらず、ロボットハンドの位置を検出することができる。また、ロボットハンドに3つの撮像装置を装着し、ロボットアームから離間した位置にマーカを配置する簡易かつ安価な構造で、測定対象物の測定と、ロボットハンドの位置の検出とを実施することができるので、設備コストを抑えることができる。 In addition, in this system, the two imaging devices used to detect the position of the robot hand are attached to the robot hand and move together with the robot hand, so the position of the robot hand can be detected regardless of the measurement posture of the robot arm. Also, with a simple and inexpensive structure in which three imaging devices are attached to the robot hand and markers are placed at positions away from the robot arm, it is possible to measure the object to be measured and detect the position of the robot hand, thereby reducing equipment costs.
また、本発明は、前記ロボットハンド位置検出システムにおいて、前記マーカは、前記画像データにおいて傾きが認識可能な形状に形成されていることを特徴とする。 The present invention is also characterized in that in the robot hand position detection system, the marker is formed in a shape whose inclination can be recognized in the image data.
この構成によれば、撮像装置により取得された画像データに含まれるマーカの傾きから、基準座標系におけるロボットハンドの回転角度を検出することができるので、ロボットハンドの位置検出精度を向上することができる。 With this configuration, the rotation angle of the robot hand in the reference coordinate system can be detected from the inclination of the marker contained in the image data acquired by the imaging device, thereby improving the accuracy of detecting the position of the robot hand.
また、本発明は、前記ロボットハンド位置検出システムにおいて、前記位置検出部は、前記基準座標系において予め設定された前記ロボットハンドの基準測定位置と、前記1つの撮像装置により前記測定対象物の測定をする際に、前記残り2つの撮像装置のそれぞれにより取得された前記マーカの画像データに基づいて検出された前記ロボットハンドの位置と、に基づいて、前記ロボットハンドの前記基準測定位置に対するズレ量を算出し、前記制御装置は、前記ズレ量に基づいて、前記1つの撮像装置により取得された前記測定対象物の測定結果を補正する補正部を備えることを特徴とする。 The present invention is also characterized in that, in the robot hand position detection system, the position detection unit calculates the amount of deviation of the robot hand from the reference measurement position based on a reference measurement position of the robot hand that is preset in the reference coordinate system and the position of the robot hand detected based on image data of the marker acquired by each of the remaining two imaging devices when measuring the measurement object with the one imaging device, and the control device includes a correction unit that corrects the measurement result of the measurement object acquired by the one imaging device based on the amount of deviation.
この構成によれば、ロボットハンドの所定の測定位置からのズレ量を算出し、このズレ量を用いて、測定対象物の測定結果を補正することで、ロボットの繰り返し精度の問題を解消して、精度の高い測定結果を得ることができる。 With this configuration, the amount of deviation of the robot hand from a specified measurement position is calculated, and this deviation is used to correct the measurement results of the object being measured, eliminating problems with the robot's repeatability and enabling highly accurate measurement results to be obtained.
また、本発明は、前記ロボットハンド位置検出システムにおいて、前記3つの撮像装置のうち、前記測定対象物の測定に用いられる1つの撮像装置は、前記ロボットハンドが、所定の測定位置から次の所定の測定位置へ移動する際に、前記ロボットハンドの移動量が最小となるように任意に選択されることを特徴とする。 The present invention is also characterized in that, in the robot hand position detection system, one of the three imaging devices used to measure the object is arbitrarily selected so that the amount of movement of the robot hand is minimized when the robot hand moves from a predetermined measurement position to the next predetermined measurement position.
この構成によれば、ロボットハンドが、所定の測定位置から次の所定の測定位置へ移動する際に、ロボットハンドの移動量が最小となるように測定用の撮像装置を選択することで、ロボットアームの変位量を抑えて、ロボットアームの測定姿勢の繰り返し精度を向上することができる。 With this configuration, when the robot hand moves from one specified measurement position to the next specified measurement position, the measurement imaging device is selected so that the amount of movement of the robot hand is minimized, thereby suppressing the amount of displacement of the robot arm and improving the repeatability of the measurement posture of the robot arm.
本発明に係るロボットハンド位置検出システムによれば、ロボットアームの測定姿勢によらず、ロボットハンドの位置を検出可能であって、設備コストを抑えることができる。 The robot hand position detection system according to the present invention can detect the position of the robot hand regardless of the measurement posture of the robot arm, thereby reducing equipment costs.
図1は、本発明の一実施形態に係るロボットハンド位置検出システムの概略説明図であり、図2は、ロボットハンド位置検出システムの構成を示すブロック図である。ロボットハンド位置検出システム10は、対象物の測定に撮像装置を用いるロボットにおいて、撮像装置が装着されるロボットハンドの位置を検出可能なシステムである。図1では、ロボットの一例として、測定対象物である車体1の骨格精度を計測する計測用ロボット20を記載している。
Figure 1 is a schematic diagram of a robot hand position detection system according to one embodiment of the present invention, and Figure 2 is a block diagram showing the configuration of the robot hand position detection system. The robot hand
ロボットハンド位置検出システム10は、ロボットハンド24を有する計測用ロボット20と、撮像装置である3つのカメラ31,32,33と、計測用ロボット20から離間した位置に配置された少なくとも2つのマーカ13,15と、を備える。各カメラ31,32,33は、ロボットハンド24に装着されている。計測用ロボット20は、ロボットハンド24の移動を制御する制御装置40を備える。制御装置40は、各カメラ31,32,33と電気的に接続されており、各カメラ31,32,33から取得された画像データに基づいて、車体1の計測と、ロボットハンド24の位置の検出とを実施する。
The robot hand
計測用ロボット20は、車体1の計測現場に固定設置された基台21と、基台21から延出するロボットアーム22とを備える。ロボットアーム22は、計測用ロボット20に内蔵された図示していないロボットアーム用アクチュエータによって移動動作可能に構成されている。
The
ロボットハンド24は、ロボットアーム22の先端部に設けられており、ロボットアーム22の移動動作に伴って3次元的に移動する。本実施形態では、ロボットハンド24が、ロボットハンド24に内蔵された図示していないロボットハンド用アクチュエータにより、所定の軸まわり(例えば、ロボットアーム22の軸まわりなど)に回転動作可能に構成されている。
The
図3は、ロボットハンド24の一部を示す図であり、ロボットハンド24に装着されるカメラ31,32,33の設置状態を示す斜視図である。図1及び図3に示すように、ロボットハンド24には、撮影により画像データを取得する3つの撮像装置、すなわち、第1カメラ31、第2カメラ32及び第3カメラ33が装着されている。なお、図1では、各カメラ31,32,33を理解しやすいように、ロボットハンド24に対して、3つのカメラ31,32,33を大きく記載している。また、図1において符号31a及び33aのそれぞれは、第1カメラ31及び第3カメラ33のそれぞれのレンズを示しており、図3における符号32aは、第2カメラ32のレンズを示している。
Figure 3 is a diagram showing a part of the
図3に示すように、ロボットハンド24は、第1カメラ31、第2カメラ32及び第3カメラ33が固定される装着台26と、各カメラ31,32,33の向きを規定する方向規定部材27とを備えている。装着台26は、略円盤状に形成されている。方向規定部材27は、装着台26の略円形の表面に固定された直方体状の部材である。
As shown in FIG. 3, the
第1カメラ31、第2カメラ32及び第3カメラ33は、互いに直交する3方向を向くように、方向規定部材27において互いに直交する3つの面に沿って配置されている。本実施形態では、互いに直交するX方向、Y方向及びZ方向のそれぞれを向くように、第1のカメラ31、第2のカメラ及び第3のカメラのそれぞれが配置されている。なお、図3において、白抜き矢印は、X方向軸、Y方向軸及びZ方向軸のそれぞれにおいて、各カメラ31,32,33が向いている方向を示している。
The
第1カメラ31、第2カメラ32及び第3カメラ33のうち、任意の1つのカメラは、車体1の測定に用いられ、残り2つのカメラは、ロボットハンド24の位置を検出するために用いられる。図1では、一例として、第2カメラ32を測定に用い、第1及び第3カメラ31,33を位置検出に用いた例を示しているが、これに代えて、第1カメラ31を測定に用いて第2及び第3カメラ32,33を位置検出用にしたり、第3カメラ33を測定に用いて第1及び第2カメラ31,32を位置検出用にしたりすることができる。また、車体1に対する各測定位置において、測定用のカメラを任意に変えることが可能である。
Of the
以下の説明では、発明を理解しやすいように、第2カメラ32を車体1の測定に用い、第1カメラ31及び第3カメラ33をロボットハンド24の位置検出に用いる例について詳説する。
In the following explanation, in order to make the invention easier to understand, an example will be described in detail in which the
各マーカ13,15は、第2カメラ32を用いて車体1を測定する際に、残り2つのカメラ、すなわち、第1カメラ31及び第3カメラ33のそれぞれにより、撮像可能な位置にそれぞれ配置される。各マーカ13,15は、ロボットハンド24の位置を特定するための基準座標系を規定するために使用される。
When measuring the
図1に示すように、本実施形態において、複数のマーカ13,15は、それぞれ、ロボットアーム22から離間した位置に固定設置された複数の撮像対象物(すなわち、第1の撮像対象物12及び第2の撮像対象物14)の表面にそれぞれ付されている。各撮像対象物12,14は、平板状であって、マーカ13,15が付された面が車体1側を向くように、車体1の周囲に配置される。図1に示す例では、第2カメラ32を車体測定に用いた際に、第1カメラ31と第1の撮像対象物12とが対峙し、第3カメラ33と第2の撮像対象物14とが対峙するように、第1の撮像対象物12を車体1の前方、第2の撮像対象物14を車体1の下方に配置している。
As shown in FIG. 1, in this embodiment, the
各マーカ13,15は、各カメラ31,32,33によって画像認識可能なものであって、例えば、図形や文字、記号などとすることができる。なお、これに代えて、マーカ13,15は、所定の形状を有する撮像対象物12,14そのものであってもよい。また、プロジェクタ等の映像投影装置を用いて、複数のマーカ13,15を車体1の測定現場の壁面に投影する構成であってもよい。
Each
本実施形態において、各撮像対象物12,14は同一形状の平板であって、ロボットハンド24と対峙する表面に、同一形状のマーカ13,15が付されているが、各撮像対象物12,14及び各マーカ13,15は異なる形状・大きさであってもよい。
In this embodiment, each of the imaging objects 12, 14 is a flat plate of the same shape, and
図4は、第1の撮像対象物12の正面図である。各撮像対象物12,14に記されるマーカ13,15は、各カメラ31,32,33によって撮像されて画像データが取得された際に、この画像データにおいて、マーカ13,15の傾きが認識可能な形状であることが好ましい。本実施形態では、マーカ13,15が二等辺三角形に形成されており、二等辺三角形の頂角の向きによって傾きが認識できるようにしている。
Figure 4 is a front view of the first
なお、マーカは、ロボットハンド24の車体1に対する測定位置が変化した際に、必ずロボットハンド24の位置検出用の2つのカメラと対峙するように、3つ以上配置することが好ましい。図1では、マーカが付された撮像対象物16A,16B,16Cを車体1の後方、上方及び左方のそれぞれに配置した例を仮想線で示している。
It is preferable to place three or more markers so that they always face the two cameras used to detect the position of the
制御装置40は、マイクロコンピュータを含む計算機であり、中央処理装置(CPU)や特定用途向け集積回路(ASIC)等の情報処理部、RAMやROM等の記憶部等を有して構成される。制御装置40は、中央処理装置が記憶部に記録されているプログラムを読み出して実行することで、各種機能実現部(例えば、制御部、演算部、処理部等)として機能する。
The
図2に示すように、制御装置40は、記憶部41と、ロボットアーム制御部42と、カメラ制御部43と、位置検出部45と、測定部46と、補正部47と、計測部48と、を備えている。
As shown in FIG. 2, the
記憶部41には、ロボットアーム22及びロボットハンド24の移動動作を制御するためのプログラムや、各カメラ31,32,33の作動を制御するためのプログラムが格納される。各制御プログラムは、計測用ロボット20によって計測される車体1の種類によって、個別に設定される。
The
ロボットアーム制御部42は、記憶部41に予め設定された制御プログラムに従ってロボットアーム用アクチュエータとロボットハンド用アクチュエータとを作動させ、ロボットハンド24が所定の測定位置に移動するように、ロボットアーム22及びロボットハンド24の動作を制御する。本実施形態では、車体1に対して、ロボットハンド24が複数の異なる測定位置に移動するように、ロボットアーム22及びロボットハンド24の移動が制御される。
The robot
カメラ制御部43は、予め設定された制御プログラムに従って、各カメラ31,32,33の動作を制御する。具体的には、ロボットハンド24が車体1に対する各測定位置に移動した際に、第2カメラ32によって車体1を撮影し、残り2つのカメラ(第1カメラ31及び第3カメラ33)により、これと対峙する2つのマーカ13,15を撮影するように各カメラ31,32,33を制御する。第2カメラ32により取得された車体1の画像データ(以下、「測定画像データ」とも称する)は、測定部46で画像処理され、第1及び第3カメラ31,33により取得された各マーカ13,15の画像データ(以下、「位置検出用画像データ」とも称する)は、位置検出部45により画像処理される。
The
記憶部41には、さらに、各マーカ13,15の位置に基づき予め設定された基準座標系に関する情報(以下、「基準座標情報」とも称する)が格納されている。本実施形態において、基準座標系は三次元座標系である。
The
基準座標情報は、ロボットハンド24の車体1に対する各測定位置を基準座標系でそれぞれ規定した基準測定位置に関する情報を有している。例えば、車体1に対する測定位置として、第1の測定位置、第2の測定位置及び第3の測定位置の3つの位置が設定されている場合、基準座標情報は、基準座標系において3つの位置に対応する第1の基準測定位置、第2の基準測定位置及び第3の基準測定位置のそれぞれの情報を有している。基準想定位置に関する情報には、ロボットハンド24の向きに関する情報も含まれている。
The reference coordinate information includes information on the reference measurement positions that define each measurement position of the
このような基準座標情報は、初期設定として、ロボットハンド24を車体1に対する各測定位置に移動させ、各測定位置において第1カメラ31及び第3カメラ33により、各マーカ13,15を撮像することで取得することができる。具体的には、取得された各マーカ13,15の画像データから、マーカ13,15の位置に基づいて基準座標系を設定するとともに、各測定位置をロボットハンド24の基準座標系における各基準測定位置として設定することで基準座標情報を得ることができる。
As an initial setting, such reference coordinate information can be acquired by moving the
位置検出部45は、記憶部41に登録された基準座標情報と、第1カメラ31及び第3カメラ33により取得された各マーカ13,15の画像データ(位置検出用画像データ)とに基づいて、基準座標系におけるロボットハンド24の位置を検出する。本実施形態では、位置検出部45により、基準座標系におけるロボットハンド24の位置と向きとを検出することができる。基準座標系におけるロボットハンド24の位置は、取得された各マーカ13,15の画像データを、基準座標情報を用いて基準座標系に移動させる、画像レジストレーションを実施することで、検出することができる。
The
制御装置40は、予め設定されたロボットハンド24の所定の測定位置において、第2カメラ32により車体1の測定を行う際に、第1カメラ31及び第3カメラ33を作動させて位置検出用画像データを取得し、位置検出部45により、当該測定位置の基準座標系におけるロボットハンド24の位置を検出することができる。
When measuring the
位置検出部45は、さらに、ロボットハンド24の所定の測定位置において、第1カメラ31及び第3カメラ33により取得された位置検出用画像データに基づいて検出されたロボットハンド24の位置と、記憶部41に設定された基準測定位置に関する情報と、に基づいて、ロボットハンド24の基準測定位置に対するズレ量を算出する。
The
測定部46は、第2カメラ32により取得された車体1の画像データ(測定画像データ)に基づき、車体1の所定の部位を測定する。本実施形態において、測定部46は、測定画像データから、骨格の基準となる車体1の穴の位置などを検出して車体1の測定を行う。
The
補正部47は、位置検出部45が算出したロボットハンド24の基準測定位置に対するズレ量に基づき、測定部46の測定結果を補正する。
The
計測部48は、補正部47により補正された測定結果に基づき、車体1の骨格精度を計測する。計測結果は、制御装置40に設けられたディスプレイ等の表示装置に出力することができる。
The
次に、上述したロボットハンド位置検出システム10の動作を説明する。
Next, the operation of the robot hand
車体1の計測が開始すると、計測用ロボット20のロボットアーム制御部42は、ロボットアーム22及びロボットハンド24を作動させて、ロボットハンド24を所定の測定位置に移動させる。
When measurement of the
図1に示すように、ロボットハンド24が所定の測定位置に移動すると、ロボットアーム22及びロボットハンド24は移動を停止する。この測定位置では、第2カメラ32は車体1と対峙した状態となり、第1カメラ31及び第3カメラ33のそれぞれは、第1の撮像対象物12及び第2の撮像対象物14のそれぞれと対峙した状態となる。
As shown in FIG. 1, when the
計測用ロボット20は、この状態で各カメラ31,32,33を作動させることで、第2カメラ32により測定画像データを取得し、第1カメラ31及び第3カメラ33により、位置検出用画像データを取得する。
In this state, the
図5は、第2カメラ32により取得された測定画像データ50の例である。図5において、X方向及びZ方向は、図3に示すロボットハンド24のX方向及びZ方向を示すものである。測定画像データ50には、骨格計測の基準となる車体1に形成された穴50Aが写っている。計測用ロボット20の測定部46は、この画像データ50に基づいて車体1の測定を行う。
Figure 5 is an example of
位置検出部45は、記憶部41に登録された基準座標情報と、第1カメラ31及び第3カメラ33により取得された位置検出用画像データと、に基づいて、基準座標系におけるロボットハンド24の位置を検出する。また、位置検出部45は、検出されたロボットハンド24の当該測定位置と、記憶部41に予め設定された基準測定位置に関する情報と、に基づいて、ロボットハンド24の基準測定位置に対するズレ量を算出する。
The
図6は、第1カメラ31により取得された位置検出用画像データ51の例であり、図7は、第3カメラ33により取得された位置検出用画像データ52の例である。図6においてY方向及びZ方向は、図3に示すロボットハンド24のY方向及びZ方向を示すものであり、図7においてY方向及びX方向は、図3に示すロボットハンド24のY方向及びX方向を示すものである。図6及び図7において、破線で示すマーカ13,15は、記憶部41に予め設定された基準座標系におけるロボットハンド24の基準測定位置において、各マーカ13,15を撮像した画像データに含まれる各マーカ13,15の位置(以下、「基準マーカ位置」とも称する)示している。
Figure 6 is an example of
図6に示すように、位置検出用画像データ51に含まれるマーカ13は、破線で示す基準マーカ位置から、Y方向に変位ΔY、Z方向に変位ΔZだけ位置がずれており、X方向を軸方向として、ΔθXだけ回転角度がずれている。また、図7に示すように、位置検出用画像データ52に含まれるマーカ15は、破線で示す基準マーカ位置から、Y方向に変位ΔY、X方向に変位ΔXだけ位置がずれており、Z方向を軸方向として、ΔθZだけ回転角度がずれている。このように、基準マーカ位置とのズレ量を抽出することで、基準座標系で設定されたロボットハンド24の基準測定位置に対するズレ量を算出することができる。
As shown in Fig. 6, the
測定部46により車体1の測定と、位置検出部45によるロボットハンド24の位置の検出、及び、基準測定位置に対するズレ量の算出は、ロボットハンド24の車体1に対する各測定位置において実施される。補正部47は、位置検出部45が算出したズレ量に基づき、測定部46による車体1の測定結果を補正する。計測部48は、補正部47により補正された測定結果に基づき、車体1の骨格精度を計測する。
Measurement of the
上述したように、本実施形態のロボットハンド位置検出システム10では、ロボットハンド24に装着された第2カメラ32を用いて車体1の測定を行う際に、第1カメラ31及び第3カメラ33により各マーカ13,15を撮影して位置検出用画像データを取得し、この位置検出用画像データと、記憶部41に予め設定された基準座標系とを用いることで、ロボットハンド24の基準座標系における三次元的な位置を検出することができる。また、画像データに含まれるマーカ13,15の傾きから、基準座標系におけるロボットハンド24の回転角度を検出することができるので、ロボットハンド24の位置検出精度を向上することができる。
As described above, in the robot hand
また、位置検出部45により、ロボットハンド24の所定の測定位置からのズレ量を算出し、このズレ量を用いて、車体1の測定結果を補正することで、計測用ロボット20の繰り返し精度の問題を解消し、精度の高い計測結果を得ることができる。
In addition, the
また、本実施形態のロボットハンド位置検出システム10は、ロボットハンド24に3つのカメラ31,32,33を装着し、ロボットアーム22から離間した位置に複数のマーカ13,15を配置する簡易かつ安価な構造で、車体1の測定と、ロボットハンド24の位置の検出とを実施することができるので、設備コストを抑えることができる。
In addition, the robot hand
さらに、ロボットハンド24の位置を検出するために用いられる2つのカメラ(第1カメラ31及び第3カメラ33)は、ロボットハンド24とともに移動するので、ロボットアーム22の測定姿勢にかかわらず、ロボットハンド24の位置を検出することができる。
Furthermore, the two cameras (
なお、上述した例では、第2カメラ32を測定用カメラとして使用しているが、既述のとおり、第1カメラ31又は第3カメラ32を用いて車体1の測定を行い、残り2つのカメラを用いてロボットハンド24の位置を検出してもよい。また、ロボットハンド24の各測定位置において、測定用のカメラを変えてもよい。
In the above example, the
測定位置ごとに測定用のカメラを変更する場合、測定用のカメラは、ロボットハンド24が、所定の測定位置から次の所定の測定位置へ移動する際に、ロボットハンド24の移動量が最小となるように任意に選択されることが好ましい。このように測定用のカメラを選択することで、ロボットアーム22やロボットハンド24の変位量を少なくして、計測用ロボット20の測定姿勢の繰り返し精度を向上することができる。
When changing the measurement camera for each measurement position, it is preferable that the measurement camera is arbitrarily selected so that the amount of movement of the
なお、本発明は上述した実施の形態に限定されるものではなく、発明の趣旨を逸脱しない範囲で種々の変更が可能である。 The present invention is not limited to the above-described embodiment, and various modifications are possible without departing from the spirit of the invention.
1 車体(測定対象物)
10 ロボットハンド位置検出システム
12,14 撮像対象物
13,15 マーカ
20 計測用ロボット(ロボット)
22 ロボットアーム
24 ロボットハンド
31 第1カメラ(撮像装置)
32 第2カメラ(撮像装置)
33 第3カメラ(撮像装置)
40 制御装置
45 位置検出部
47 補正部
1. Vehicle body (measurement object)
10 Robot hand
22
32 Second camera (imaging device)
33 Third camera (imaging device)
40
Claims (4)
前記ロボットハンドに装着され、互いに直交する3方向を向いて配置された3つの撮像装置と、
前記ロボットハンドの移動を制御する制御装置と、
前記ロボットアームから離間した位置であって、前記3つの撮像装置のうち、1つの撮像装置によって測定対象物を測定する際に、残り2つの撮像装置のそれぞれにより撮像可能な位置にそれぞれ配置された少なくとも2つのマーカと、を備え、
前記制御装置は、前記マーカの位置に基づき予め設定された基準座標系に関する情報と、前記ロボットハンドを所定の測定位置に移動させて前記1つの撮像装置により前記測定対象物の測定をする際に、前記残り2つの撮像装置のそれぞれにより取得された前記マーカの画像データと、に基づいて、前記ロボットハンドの前記基準座標系における位置を検出する位置検出部を備え、
前記測定対象物を測定する1つの撮像装置は、前記所定の測定位置において、前記3つの撮像装置の中から任意に選択可能であることを特徴とするロボットハンド位置検出システム。 A robot hand position detection system for detecting the position of a robot hand provided at the tip of a robot arm, comprising:
Three imaging devices are attached to the robot hand and arranged to face three directions perpendicular to each other;
A control device for controlling the movement of the robot hand;
at least two markers are disposed at positions spaced apart from the robot arm and at positions that can be imaged by the remaining two imaging devices when one of the three imaging devices measures the measurement object,
the control device includes a position detection unit that detects a position of the robot hand in the reference coordinate system based on information about a reference coordinate system that is preset based on the position of the marker and on image data of the marker acquired by each of the remaining two imaging devices when the robot hand is moved to a predetermined measurement position and the measurement target is measured by the one imaging device ,
A robot hand position detection system, characterized in that one imaging device for measuring the measurement object can be arbitrarily selected from among the three imaging devices at the specified measurement position .
前記制御装置は、前記ズレ量に基づいて、前記1つの撮像装置により取得された前記測定対象物の測定結果を補正する補正部を備えることを特徴とする請求項1又は2に記載のロボットハンド位置検出システム。 the position detection unit calculates an amount of deviation of the robot hand from the reference measurement position based on a reference measurement position of the robot hand that is preset in the reference coordinate system and a position of the robot hand detected based on image data of the marker acquired by each of the remaining two imaging devices when measuring the measurement object by the one imaging device,
The robot hand position detection system according to claim 1 or 2, characterized in that the control device is provided with a correction unit that corrects the measurement results of the object to be measured acquired by the one imaging device based on the amount of deviation.
A robot hand position detection system as described in any one of claims 1 to 3, characterized in that, of the three imaging devices, one imaging device used to measure the object to be measured is arbitrarily selected so that the amount of movement of the robot hand is minimized when the robot hand moves from a predetermined measurement position to the next predetermined measurement position.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020117560A JP7520608B2 (en) | 2020-07-08 | 2020-07-08 | Robot hand position detection system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020117560A JP7520608B2 (en) | 2020-07-08 | 2020-07-08 | Robot hand position detection system |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022014992A JP2022014992A (en) | 2022-01-21 |
JP2022014992A5 JP2022014992A5 (en) | 2023-06-14 |
JP7520608B2 true JP7520608B2 (en) | 2024-07-23 |
Family
ID=80120531
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020117560A Active JP7520608B2 (en) | 2020-07-08 | 2020-07-08 | Robot hand position detection system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7520608B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010169634A (en) | 2009-01-26 | 2010-08-05 | Nikon Corp | Working device |
JP2012168180A (en) | 2011-02-16 | 2012-09-06 | Steinbichler Optotechnik Gmbh | Device and method for determining 3d coordinates of object and calibrating industrial robot |
WO2014020739A1 (en) | 2012-08-02 | 2014-02-06 | 富士機械製造株式会社 | Work machine provided with articulated robot and electric component mounting machine |
JP2017170599A (en) | 2016-03-25 | 2017-09-28 | ファナック株式会社 | Positioning device using robot |
JP2019526127A (en) | 2016-07-26 | 2019-09-12 | シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft | Method for controlling an end element of a machine tool and machine tool |
-
2020
- 2020-07-08 JP JP2020117560A patent/JP7520608B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010169634A (en) | 2009-01-26 | 2010-08-05 | Nikon Corp | Working device |
JP2012168180A (en) | 2011-02-16 | 2012-09-06 | Steinbichler Optotechnik Gmbh | Device and method for determining 3d coordinates of object and calibrating industrial robot |
WO2014020739A1 (en) | 2012-08-02 | 2014-02-06 | 富士機械製造株式会社 | Work machine provided with articulated robot and electric component mounting machine |
JP2017170599A (en) | 2016-03-25 | 2017-09-28 | ファナック株式会社 | Positioning device using robot |
JP2019526127A (en) | 2016-07-26 | 2019-09-12 | シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft | Method for controlling an end element of a machine tool and machine tool |
Also Published As
Publication number | Publication date |
---|---|
JP2022014992A (en) | 2022-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9672630B2 (en) | Contour line measurement apparatus and robot system | |
JP5602392B2 (en) | Information processing apparatus, information processing method, and program | |
US9488469B1 (en) | System and method for high-accuracy measurement of object surface displacement using a laser displacement sensor | |
US12358145B2 (en) | System and method for three-dimensional calibration of a vision system | |
CN111263142B (en) | Method, device, equipment and medium for testing optical anti-shake of camera module | |
EP2499616B1 (en) | Three-dimensional measurement method | |
KR102314092B1 (en) | Calibration apparatus and the method for robot | |
JP4802967B2 (en) | Vehicle wheel center position measuring device by image processing | |
US20190080471A1 (en) | Distance measurement system and distance measurement method | |
JP7414850B2 (en) | robot system | |
JP4837538B2 (en) | End position measuring method and dimension measuring method | |
JP7353757B2 (en) | Methods for measuring artifacts | |
WO2019087253A1 (en) | Stereo camera calibration method | |
WO2022124232A1 (en) | Image processing system and image processing method | |
JP2015007639A (en) | Information processing apparatus, information processing method and program | |
JP7520608B2 (en) | Robot hand position detection system | |
JP2000205821A (en) | Instrument and method for three-dimensional shape measurement | |
JP6565367B2 (en) | Position correction system | |
CN116728784A (en) | Image acquisition equipment calibration method and device applied to 3D printer | |
WO2022244074A1 (en) | Substrate measurement device and substrate measurement method | |
JPH116711A (en) | Calibration value measurement method of measurement imaging device | |
JP7173825B2 (en) | Camera system, its control method and program | |
CN114858122A (en) | Camera mounting assembly for three-axis incremental angle measurement | |
KR101436097B1 (en) | Non-Contacting Method for Measuring 6-DOF Motion Based on Laser Sensor | |
JPH0835828A (en) | Calibration method of three-dimensional measuring apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230606 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230606 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240402 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240527 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240611 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240710 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7520608 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |