KR102696176B1 - Method and apparatus for merging machine coordinate system and camera coordinate system - Google Patents
Method and apparatus for merging machine coordinate system and camera coordinate system Download PDFInfo
- Publication number
- KR102696176B1 KR102696176B1 KR1020220013750A KR20220013750A KR102696176B1 KR 102696176 B1 KR102696176 B1 KR 102696176B1 KR 1020220013750 A KR1020220013750 A KR 1020220013750A KR 20220013750 A KR20220013750 A KR 20220013750A KR 102696176 B1 KR102696176 B1 KR 102696176B1
- Authority
- KR
- South Korea
- Prior art keywords
- coordinate system
- machine
- camera
- image coordinate
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000014509 gene expression Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 8
- 238000009434 installation Methods 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 14
- 238000012937 correction Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Numerical Control (AREA)
Abstract
본 발명은 머신 좌표계와 영상 좌표계의 정합 방법 및 장치에 관한 것으로, 특히, 카메라가 촬영한 작업 대상물에 적용되는 영상 좌표계와, 해당 작업 대상물에 대해 작업을 수행하는 머신에 적용되는 머신 좌표계를 상호 정합시킴으로써, 머신의 작업 정밀도를 개선할 수 있는 머신 좌표계와 영상 좌표계의 정합 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따른 머신 좌표계와 영상 좌표계의 정합 방법은, 작업 대상물에 대해 작업을 수행하는 머신의 머신 좌표계와 카메라의 영상 좌표계를 정합하는 방법으로서, 카메라가 작업 대상물에 마크된 3점 위치를 촬영하여 영상 좌표계에 적용하는 단계, 상기 영상 좌표계의 XY축 방향과 상기 머신 좌표계의 XY축 방향이 각각 같은 방향이 되도록 상기 영상 좌표계를 회전시키는 단계, 상기 영상 좌표계의 XY축의 눈금 크기에 대한 상기 머신 좌표계의 XY축의 눈금 크기가 소정 배율이 되도록 상기 영상 좌표계의 배율을 조정하는 단계, 상기 영상 좌표계의 원점과 상기 머신 좌표계의 원점이 일치하도록 상기 영상 좌표계를 이동시키는 단계, 및 상기 카메라의 영상 좌표계에 적용된 3점 위치를 상기 머신 좌표계에 대응시키는 단계를 포함한다.The present invention relates to a method and device for aligning a machine coordinate system and an image coordinate system, and more particularly, to a method and device for aligning a machine coordinate system and an image coordinate system, which can improve the work precision of a machine by mutually aligning an image coordinate system applied to a work object photographed by a camera and a machine coordinate system applied to a machine that performs work on the work object. A method for aligning a machine coordinate system and an image coordinate system according to one embodiment of the present invention is a method for aligning a machine coordinate system of a machine that performs work on a workpiece and an image coordinate system of a camera, the method comprising the steps of: allowing a camera to photograph three-point positions marked on a workpiece and applying the photographed three-point positions to an image coordinate system; rotating the image coordinate system so that an XY-axis direction of the image coordinate system and an XY-axis direction of the machine coordinate system become the same direction; adjusting a magnification of the image coordinate system so that an XY-axis scale size of the machine coordinate system becomes a predetermined magnification with respect to a scale size of an XY-axis of the image coordinate system; moving the image coordinate system so that an origin of the image coordinate system and an origin of the machine coordinate system coincide; and corresponding three-point positions applied to the image coordinate system of the camera to the machine coordinate system.
Description
본 발명은 머신 좌표계와 영상 좌표계의 정합 방법 및 장치에 관한 것으로, 특히, 카메라가 촬영한 작업 대상물에 적용되는 영상 좌표계와, 해당 작업 대상물에 대해 작업을 수행하는 머신에 적용되는 머신 좌표계를 상호 정합시킴으로써, 머신의 작업 정밀도를 개선할 수 있는 머신 좌표계와 영상 좌표계의 정합 방법 및 장치에 관한 것이다.The present invention relates to a method and device for aligning a machine coordinate system and an image coordinate system, and more particularly, to a method and device for aligning a machine coordinate system and an image coordinate system, which can improve the work precision of a machine by mutually aligning an image coordinate system applied to a work object photographed by a camera and a machine coordinate system applied to a machine that performs work on the work object.
일반적으로 카메라는 촬영된 영상을 단순히 디스플레이 하는 기능을 실행하지만, 머신과 결합한 상태에서는 머신의 좌표계를 기준으로 영상의 좌표를 보정 계산해야 한다. Normally, a camera simply displays the captured image, but when combined with a machine, the coordinates of the image must be corrected and calculated based on the machine's coordinate system.
이를 위해, 카메라 영상과 머신의 좌표 그리드 크기의 배율만을 계산하여 머신의 동작을 제어할 수 있지만, 정밀도가 요구되는 작업 수행 시 한계가 있다. 따라서, 카메라의 XY축 방향, 각도 및 배율을 조정하여 머신의 XY축 좌표계에 정합시키기 위해 많은 연구가 진행되고 있다. To this end, the machine's movement can be controlled by only calculating the scale of the camera image and the machine's coordinate grid size, but there are limitations when performing tasks that require precision. Therefore, much research is being conducted to align the camera's XY-axis direction, angle, and scale to the machine's XY-axis coordinate system.
이와 관련하여, 선행문헌인 한국등록특허 10-2332314호는 로봇과 카메라 간 좌표값 보정 장치 및 보정 방법에 관한 것으로, 이 장치는 복수개의 QR 코드부를 구비하고, 3 차원의 작업 영역에서 움직이며 물건을 그랩하는 로봇; 상기 로봇을 촬영하여 복수개의 3차원 위치를 감지하고, 상기 복수개의 QR 코드부를 리딩하여 상기 복수개의 3차원 위치의 변경된 좌표값을 출력하는 카메라; 및 상기 변경된 좌표값을 인가받아 동차 변환 행렬을 산출하고, 이를 이용하여 상기 감지된 복수개의 3차원 위치를 1차 보정하고, 상기 1차 보정된 복수개의 3차원 위치에서 측정된 최대 오차의 크기에 따라 인공 지능 모델을 이용하여 상기 1차 보정된 복수개의 3차원 위치를 2차 보정하는 제어부를 개시한다. 또한, 한국등록특허 10-2002785호는 영상 기반의 위치정보를 이용한 카메라간 좌표계 교정 장치 및 방법에 관한 것으로, 제1 카메라 좌표계와 제2 카메라 좌표계 상의 각 오브젝트의 위치를 이용하여 상기 제1 카메라의 위치를 기준으로 한 상기 제2 카메라의 상대적 위치정보를 결정하는 상대적 위치정보 결정부 및 상기 제2 카메라의 상대적 위치정보를 기초로 상기 제2 카메라 좌표계 상의 오브젝트의 위치를 상기 제1 카메라 좌표계 상의 위치로 좌표계 변환하는 좌표계 교정부를 개시한다. 또한, 한국등록특허 10-2309608호는 라이다와 스테레오-카메라 간의 좌표계 정합 방법에 관한 것으로, 라이다와 스테레오-카메라의 상대위치가 고정된 상태에서 캘리브레이션 보드를 복수의 각도에서 촬영하는 단계, 촬영된 영상을 이용하여, 스테레오-카메라 좌표계를 기준으로 홀의 중심점에 대한 3차원 좌표를 계산하는 단계, 촬영된 라이다 데이터를 이용하여, 라이다 좌표계를 기준으로 홀의 중심점에 대한 3차원 좌표를 계산하는 단계 및 스테레오-카메라 좌표계 기준의 홀의 중심점에 대한 3차원 좌표와 라이다 좌표계 기준의 홀의 중심점에 대한 3차원 좌표를 이용하여, 스테레오-카메라 좌표계와 라이다 좌표계를 정합시키는 단계를 개시한다.In this regard, prior art Korean Patent No. 10-2332314 relates to a coordinate value correction device and a correction method between a robot and a camera, wherein the device comprises: a robot having a plurality of QR code sections, the robot moving in a three-dimensional work area and grabbing an object; a camera photographing the robot to detect a plurality of three-dimensional positions, and reading the plurality of QR code sections to output changed coordinate values of the plurality of three-dimensional positions; and a control section which receives the changed coordinate values, derives a homogeneous transformation matrix, performs a first correction on the detected plurality of three-dimensional positions using the same, and performs a second correction on the plurality of three-dimensional positions corrected primarily using an artificial intelligence model according to the size of the maximum error measured from the plurality of three-dimensional positions corrected primarily. In addition, Korean Patent No. 10-2002785 relates to a camera coordinate system correction device and method using image-based position information, and discloses a relative position information determination unit that determines relative position information of a second camera based on a position of a first camera using the positions of each object on a first camera coordinate system and a second camera coordinate system, and a coordinate system correction unit that transforms a position of an object on the second camera coordinate system into a position on the first camera coordinate system based on the relative position information of the second camera. In addition, Korean Patent No. 10-2309608 relates to a method for aligning coordinate systems between a lidar and a stereo camera, and discloses the steps of: photographing a calibration board from multiple angles while the relative positions of the lidar and the stereo camera are fixed; calculating three-dimensional coordinates for the center point of a hole with respect to the stereo camera coordinate system using the photographed images; calculating three-dimensional coordinates for the center point of the hole with respect to the lidar coordinate system using the photographed lidar data; and aligning the stereo camera coordinate system and the lidar coordinate system using the three-dimensional coordinates for the center point of the hole with respect to the stereo camera coordinate system and the three-dimensional coordinates for the center point of the hole with respect to the lidar coordinate system.
상기 종래 기술들은 머신의 작업 동작 정밀성을 위해, 머신의 비전과 카메라의 비전을 일치시키는 정합 과정과 관련하여 개선의 여지가 있다. The above conventional technologies have room for improvement with respect to the alignment process of matching the vision of the machine and the vision of the camera to ensure the precision of the machine's work operation.
본 발명은 상기한 사정을 감안하여 창출된 것으로서, 본 발명의 목적은 작업 대상물을 촬영하는 카메라의 영상 좌표계를 조정하여, 작업을 실행하는 머신의 좌표계와 정합시킴으로써, 머신의 동작 정밀성을 향상시킬 수 있는 머신 좌표계와 영상 좌표계의 정합 방법 및 장치를 제공하는 것이다. The present invention has been created in consideration of the above circumstances, and an object of the present invention is to provide a method and device for aligning a machine coordinate system and an image coordinate system, which can improve the operational precision of a machine by adjusting the image coordinate system of a camera that photographs a work object and aligning it with the coordinate system of a machine that performs the work.
본 발명의 일 실시예에 따른 머신 좌표계와 영상 좌표계의 정합 방법은, 작업 대상물에 대해 작업을 수행하는 머신의 머신 좌표계와 카메라의 영상 좌표계를 정합하는 방법으로서, 카메라가 작업 대상물에 마크된 3점 위치를 촬영하여 영상 좌표계에 적용하는 단계, 상기 영상 좌표계의 XY축 방향과 상기 머신 좌표계의 XY축 방향이 각각 같은 방향이 되도록 상기 영상 좌표계를 회전시키는 단계, 상기 영상 좌표계의 XY축의 눈금 크기에 대한 상기 머신 좌표계의 XY축의 눈금 크기가 소정 배율이 되도록 상기 영상 좌표계의 배율을 조정하는 단계, 상기 영상 좌표계의 원점과 상기 머신 좌표계의 원점이 일치하도록 상기 영상 좌표계를 이동시키는 단계, 및 상기 카메라의 영상 좌표계에 적용된 3점 위치를 상기 머신 좌표계에 대응시키는 단계를 포함한다. A method for aligning a machine coordinate system and an image coordinate system according to one embodiment of the present invention is a method for aligning a machine coordinate system of a machine that performs work on a workpiece and an image coordinate system of a camera, the method comprising the steps of: allowing a camera to photograph three-point positions marked on a workpiece and applying the photographed three-point positions to an image coordinate system; rotating the image coordinate system so that an XY-axis direction of the image coordinate system and an XY-axis direction of the machine coordinate system become the same direction; adjusting a magnification of the image coordinate system so that an XY-axis scale size of the machine coordinate system becomes a predetermined magnification with respect to a scale size of an XY-axis of the image coordinate system; moving the image coordinate system so that an origin of the image coordinate system and an origin of the machine coordinate system coincide; and corresponding three-point positions applied to the image coordinate system of the camera to the machine coordinate system.
일 실시예에서, 상기 영상 좌표계의 3점의 좌표값들은 하기 수학식에 따라 상기 머신 좌표계의 좌표값들로 변환될 수 있으며,In one embodiment, the coordinate values of three points in the image coordinate system can be converted into coordinate values in the machine coordinate system according to the following mathematical formula:
여기서, (X1, Y1), (X2, Y2), (X3, Y3)는 머신 좌표계의 3점의 좌표값, A는 영상 좌표계의 3점의 좌표값에 관한 행렬, αx, αY 는 좌표의 회전 관련 변수, βx, βY는 좌표의 배율 조정 관련 변수, △X, △Y는 좌표의 이동 관련 변수이다.Here, (X 1 , Y 1 ), (X 2 , Y 2 ), (X 3 , Y 3 ) are coordinate values of three points in the machine coordinate system, A is a matrix related to the coordinate values of three points in the image coordinate system, α x , α Y are variables related to the rotation of coordinates, β x , β Y are variables related to the scaling of coordinates, and △X and △Y are variables related to the translation of coordinates.
본 발명의 일 실시예에 따른 머신 좌표계와 영상 좌표계의 정합 방법은, 머신에 대해 제1 카메라와 제2 카메라의 설치 위치를 파악하는 단계, 상기 제1 카메라와 제2 카메라 각각의 영상 좌표계의 XY축 방향과 상기 머신의 머신 좌표계의 XY축 방향이 각각 같은 방향이 되도록 상기 영상 좌표계를 회전시키는 단계, 상기 영상 좌표계의 XY축의 눈금 크기에 대한 상기 머신 좌표계의 XY축의 눈금 크기가 소정 배율이 되도록 상기 영상 좌표계의 배율을 조정하는 단계, 상기 머신을 미리 설정된 각도(θ)로 회전시켜서, 상기 머신 상에 안착된 작업 대상물에 대한 상기 제1 카메라와 제2 카메라의 영상 좌표계 상의 픽셀 좌표값들의 변화를 검출하는 단계, 상기 변화된 픽셀 좌표값들로부터 상기 머신의 머신 좌표계의 원점을 산출하는 단계, 및 상기 머신 좌표계의 원점과, 상기 제1 카메라와 제2 카메라 각각의 영상 좌표계의 원점에 대한 좌표값을 기반으로 상기 제1 카메라와 제2 카메라 간 이격된 오프셋 거리 정보를 산출하는 단계를 포함한다. According to one embodiment of the present invention, a method for aligning a machine coordinate system and an image coordinate system includes the steps of: identifying installation positions of a first camera and a second camera with respect to a machine; rotating the image coordinate system so that XY-axis directions of image coordinate systems of each of the first camera and the second camera and XY-axis directions of a machine coordinate system of the machine become the same direction; adjusting a magnification of the image coordinate system so that a scale size of an XY-axis of the machine coordinate system becomes a predetermined magnification with respect to a scale size of an XY-axis of the image coordinate system; detecting a change in pixel coordinate values of the image coordinate systems of the first camera and the second camera with respect to a workpiece placed on the machine by rotating the machine at a preset angle (θ); calculating an origin of the machine coordinate system of the machine from the changed pixel coordinate values; and calculating offset distance information between the first camera and the second camera based on the origin of the machine coordinate system and coordinate values of the origin of the image coordinate systems of each of the first camera and the second camera.
일 실시예에서, 상기 머신의 머신 좌표계의 원점을 산출하는 단계는, 하기 수학식에 따라 산출되며, In one embodiment, the step of calculating the origin of the machine coordinate system of the machine is calculated according to the following mathematical formula:
여기서, (x0,y0)는 머신의 원점, θ는 머신의 회전 각도, a, b는 머신 상에서 미리 설정된 각도(θ)로 회전한 2점의 좌표값 (x1,y1), (x2,y2)로부터 산출되는 계수이다. Here, (x 0 , y 0 ) is the origin of the machine, θ is the rotation angle of the machine, and a and b are coefficients derived from the coordinate values (x 1 , y 1 ), (x 2 , y 2 ) of two points rotated by a preset angle (θ) on the machine.
일 실시예에서, 상기 머신에 대해 제1 카메라와 제2 카메라의 설치 위치를 파악하는 단계는, 상기 제1 카메라와 제2 카메라를 상기 머신에 대해 미리 정해진 위치에 배치하는 것이 될 수 있다. In one embodiment, the step of determining the installation locations of the first camera and the second camera with respect to the machine may be arranging the first camera and the second camera at predetermined locations with respect to the machine.
일 실시예예서, 상기 픽셀 좌표값들의 변화를 검출하는 단계는, 상기 작업 대상물에 표시된 마크에 대해 상기 머신의 회전에 따라 변화하는 영상 좌표계 상의 좌표값들을 검출하는 것이 될 수 있다. In one embodiment, the step of detecting a change in the pixel coordinate values may be detecting coordinate values on an image coordinate system that change according to the rotation of the machine with respect to a mark displayed on the work object.
본 발명의 일 실시예에 따른 머신 좌표계와 영상 좌표계의 정합 장치는, 작업 대상물이 상부에 안착되는 머신, 상기 작업 대상물을 촬영하여 영상 좌표계에 적용하는 제1 카메라 및 제2 카메라, 및 상기 제1 카메라와 제2 카메라의 영상 좌표계와, 상기 머신의 머신 좌표계를 정합시키는 제어부를 포함하며, 상기 제어부는, 상기 머신을 미리 설정된 각도(θ)로 회전시켜서, 상기 머신 상에 안착된 작업 대상물에 대한 상기 제1 카메라와 제2 카메라의 영상 좌표계 상의 픽셀 좌표값들의 변화를 검출하여, 상기 머신의 머신 좌표계의 원점을 산출하며, 상기 머신 좌표계의 원점과, 상기 제1 카메라와 제2 카메라 각각의 영상 좌표계의 원점에 대한 좌표값을 기반으로 상기 제1 카메라와 제2 카메라 간 이격된 오프셋 거리 정보를 산출한다. According to one embodiment of the present invention, a device for aligning a machine coordinate system and an image coordinate system includes a machine on which a workpiece is placed, a first camera and a second camera which photograph the workpiece and apply the photograph to an image coordinate system, and a control unit which aligns the image coordinate systems of the first camera and the second camera with the machine coordinate system of the machine, wherein the control unit detects a change in pixel coordinate values on the image coordinate systems of the first camera and the second camera with respect to the workpiece placed on the machine by rotating the machine at a preset angle (θ), thereby calculating the origin of the machine coordinate system of the machine, and calculating offset distance information between the first camera and the second camera based on the origin of the machine coordinate system and coordinate values for the origins of the image coordinate systems of each of the first camera and the second camera.
일 실시예에서, 상기 제어부는, 상기 제1 카메라와 제2 카메라 각각의 영상 좌표계의 XY축 방향과 상기 머신의 머신 좌표계의 XY축 방향이 각각 같은 방향이 되도록 상기 영상 좌표계를 회전시키며, 상기 영상 좌표계의 XY축의 눈금 크기에 대한 상기 머신 좌표계의 XY축의 눈금 크기가 소정 배율이 되도록 상기 영상 좌표계의 배율을 조정할 수 있다.In one embodiment, the control unit rotates the image coordinate system so that the XY-axis directions of the image coordinate systems of each of the first camera and the second camera and the XY-axis directions of the machine coordinate system of the machine are in the same direction, and adjusts the magnification of the image coordinate system so that the XY-axis grid size of the machine coordinate system is a predetermined magnification with respect to the XY-axis grid size of the image coordinate system.
본 발명에 따른 머신 좌표계와 영상 좌표계의 정합 방법 및 장치는 카메라에서 촬영되는 영상의 좌표계를 회전, 배율 조정 및 이동을 통해 작업을 수행하는 머신의 좌표계와 정합시킴으로써, 머신의 작업 정밀성을 개선할 수 있는 효과가 있다. The method and device for aligning a machine coordinate system and an image coordinate system according to the present invention can improve the work precision of a machine by aligning the coordinate system of an image captured by a camera with the coordinate system of a machine performing work through rotation, scale adjustment, and movement.
또한, 본 발명에 따른 머신 좌표계와 영상 좌표계의 정합 방법 및 장치는 복수의 카메라에서 촬영되는 영상들의 좌표계와 작업을 실행하는 머신의 좌표계 간의 오프셋을 통해 머신의 원점을 산출함으로써, 머신의 직선이동 및 회전 동작을 정확하게 제어할 수 있는 효과가 있다. In addition, the method and device for aligning the machine coordinate system and the image coordinate system according to the present invention have the effect of accurately controlling the linear movement and rotational motion of the machine by calculating the origin of the machine through the offset between the coordinate systems of images captured from a plurality of cameras and the coordinate system of the machine executing the work.
도 1은 본 발명의 일 실시예에 따른 머신 좌표계와 영상 좌표계의 정합 방법을 도시한 순서도이다.
도 2는 본 발명에 따른 영상 좌표계의 회전을 설명하기 위한 도면이다.
도 3은 본 발명에 따른 영상 좌표계의 배율 조정을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 영상 좌표계의 이동을 설명하기 위한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 머신 좌표계와 영상 좌표계의 정합 방법을 도시한 순서도이다.
도 6a, 6b, 7a 및 7b는 제1 카메라와 제2 카메라의 영상 좌표계와 머신 좌표계의 정합을 설명하기 위한 도면이다.
도 8은 영상 좌표계 상에서 미리 설정된 각도(θ)로 회전한 2점의 좌표값들로부터 머신의 중심을 구하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 머신 좌표계와 영상 좌표계의 정합 장치를 도시하는 블록도이다.FIG. 1 is a flowchart illustrating a method for aligning a machine coordinate system and an image coordinate system according to one embodiment of the present invention.
Figure 2 is a drawing for explaining the rotation of the image coordinate system according to the present invention.
Figure 3 is a drawing for explaining the magnification adjustment of the image coordinate system according to the present invention.
Figure 4 is a drawing for explaining the movement of the image coordinate system according to the present invention.
FIG. 5 is a flowchart illustrating a method for aligning a machine coordinate system and an image coordinate system according to another embodiment of the present invention.
Figures 6a, 6b, 7a, and 7b are drawings for explaining the alignment of the image coordinate system of the first camera and the second camera with the machine coordinate system.
Figure 8 is a drawing for explaining a method of obtaining the center of a machine from the coordinate values of two points rotated at a preset angle (θ) on the image coordinate system.
FIG. 9 is a block diagram illustrating a device for aligning a machine coordinate system and an image coordinate system according to one embodiment of the present invention.
이하에서는, 본 발명의 일 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, embodiments of the present invention will be described in detail with reference to exemplary drawings. When adding reference numerals to components in each drawing, it should be noted that the same components are given the same numerals as much as possible even if they are shown in different drawings. In addition, when describing the present invention, if it is determined that a specific description of a related known configuration or function may obscure the gist of the present invention, the detailed description thereof will be omitted.
도 1은 본 발명의 일 실시예에 따른 머신 좌표계와 영상 좌표계의 정합 방법을 도시한 순서도이며, 도 2 내지 4는 본 발명에 따른 영상 좌표계의 회전, 배율 조정 및 이동을 설명하기 위한 도면이다.FIG. 1 is a flowchart illustrating a method for aligning a machine coordinate system and an image coordinate system according to one embodiment of the present invention, and FIGS. 2 to 4 are drawings for explaining rotation, scale adjustment, and movement of an image coordinate system according to the present invention.
도 1을 참조하면, 본 발명의 좌표계 정합 방법은 작업 대상물(object)에 대해 작업을 수행하는 머신의 머신 좌표계와 카메라의 영상 좌표계를 정합하는 방법에 관한 것으로, 우선, 카메라가 작업 대상물에 마크된 3점 위치를 촬영하여 영상 좌표계에 적용한다(S110). 여기서, 머신은, 예를 들어, 작업 대상물을 그랩(grab)하는 로봇 팔 또는 작업 대상물이 그 위에 안착되는 스테이지 등이 될 수 있다. Referring to FIG. 1, the coordinate system alignment method of the present invention relates to a method of aligning a machine coordinate system of a machine performing work on an object and an image coordinate system of a camera. First, a camera photographs three-point positions marked on an object and applies the captured image coordinate system (S110). Here, the machine may be, for example, a robot arm that grabs an object or a stage on which an object is placed.
영상 좌표계에 3점의 위치가 표시되면, 영상 좌표계의 회전, 배율 조정, 이동 등을 위한 연산량을 줄이면서 작업이 정확하게 실행될 수 있으며, 해당 작업의 추적 및 반복 실행이 용이하다. When the positions of three points are indicated in the image coordinate system, the work can be performed accurately while reducing the amount of calculations for rotation, scaling, and translation of the image coordinate system, and tracking and repeating the work are easy.
다음으로, 영상 좌표계의 XY축 방향과 머신 좌표계의 XY축 방향이 각각 같은 방향이 되도록 영상 좌표계를 회전시킨다(S120). 도 2에서, 영상 좌표계를 회전시켜서, 영상 좌표계의 XY축 방향과 머신 좌표계의 XY축 방향이 각각 평행하도록 재배치시킨다. Next, the image coordinate system is rotated so that the XY-axis direction of the image coordinate system and the XY-axis direction of the machine coordinate system are in the same direction (S120). In Fig. 2, the image coordinate system is rotated so that the XY-axis direction of the image coordinate system and the XY-axis direction of the machine coordinate system are rearranged so that they are parallel to each other.
계속하여, 영상 좌표계의 XY축의 눈금 크기에 대한 머신 좌표계의 XY축의 눈금 크기가 소정 배율이 되도록 영상 좌표계의 배율을 조정한다(S130). 도 3에서, 영상 좌표계를 확대하여, 영상 좌표계의 XY축의 눈금 크기를 머신 좌표계의 XY축의 눈금 크기와 일치시킨다. Continuing, the scale of the image coordinate system is adjusted so that the scale size of the XY axes of the machine coordinate system becomes a predetermined scale with respect to the scale size of the XY axes of the image coordinate system (S130). In Fig. 3, the image coordinate system is enlarged so that the scale size of the XY axes of the image coordinate system becomes identical to the scale size of the XY axes of the machine coordinate system.
본 발명의 다른 실시예에서, 영상 좌표계의 눈금 크기와 머신 좌표계의 눈금 크기가 일치하지 않고, 일정한 비율 관계가 형성되도록 영상 좌표계의 배율이 조정될 수 있다. 이 경우, 카메라가 촬영한 작업 대상물의 위치 변화량에 대한 머신의 이동량이 소정 배율에 부합하도록 제어될 수 있다.In another embodiment of the present invention, the scale of the image coordinate system and the scale of the machine coordinate system do not match, and the scale of the image coordinate system can be adjusted so that a certain ratio relationship is formed. In this case, the movement amount of the machine with respect to the change in position of the work object captured by the camera can be controlled so as to correspond to a predetermined scale.
이어서, 영상 좌표계의 원점과 머신 좌표계의 원점이 일치하도록 영상 좌표계를 이동시킨다(S140). 도 4는 영상 좌표계과 머신 좌표계의 눈금 크기가 일치하면서, 원점이 일치하는 상태를 도시한다. Next, the image coordinate system is moved so that the origin of the image coordinate system and the origin of the machine coordinate system are the same (S140). Fig. 4 illustrates a state in which the scale sizes of the image coordinate system and the machine coordinate system are the same and their origins are the same.
상기 S120 단계 내지 S140 단계는 순차적으로 실행되거나, 순서가 바뀔 수 있고, 동시에 진행될 수도 있다. The above steps S120 to S140 may be executed sequentially, or the order may be changed, or may be performed simultaneously.
계속하여, 카메라의 영상 좌표계에 적용된 3점 위치를 머신 좌표계에 대응시킨다(S150). 만약, 도 4와 같이, 영상 좌표계과 머신 좌표계의 눈금 크기 및 원점이 일치하면, 영상 좌표계의 3점 위치는 머신 좌표계에서 동일한 위치로 투사될 수 있다. 또한, 영상 좌표계과 머신 좌표계의 눈금 크기가 소정 배율을 갖는다면, 영상 좌표계의 3점 위치는 머신 좌표계에서 소정 배율로 확대 또는 축소된 위치로 투사될 수 있다. Continuing, the three-point positions applied to the image coordinate system of the camera are corresponded to the machine coordinate system (S150). If, as in Fig. 4, the scale sizes and origins of the image coordinate system and the machine coordinate system are identical, the three-point positions of the image coordinate system can be projected to the same position in the machine coordinate system. In addition, if the scale sizes of the image coordinate system and the machine coordinate system have a predetermined magnification, the three-point positions of the image coordinate system can be projected to positions enlarged or reduced by a predetermined magnification in the machine coordinate system.
본 발명은 영상 좌표계의 회전, 배율 조정 및 이동을 하기의 수학식에 따라 일시에 계산할 수 있으므로, 연산 속도 및 정확성을 높일 수 있다.The present invention can simultaneously calculate rotation, scale adjustment, and translation of an image coordinate system according to the following mathematical formula, thereby increasing computational speed and accuracy.
여기서, X', Y'는 영상 좌표계의 좌표값이며, X, Y는 머신 좌표계의 좌표값이다. 또한, kx 및 ky는 머신의 실세계 좌표와 카메라 해상도를 기반으로 하는 선형 스케일링 인수이며, 하기와 같이 머신 좌표간격을 카메라 좌표간격으로 나눈값을 의미한다.Here, X', Y' are coordinate values in the image coordinate system, and X, Y are coordinate values in the machine coordinate system. In addition, kx and ky are linear scaling factors based on the machine's real-world coordinates and camera resolution, and mean the machine coordinate interval divided by the camera coordinate interval, as shown below.
kx = 머신X좌표간격 / 카메라X좌표간격,kx = machineXcoordinateinterval / cameraXcoordinateinterval,
ky = 머신Y좌표간격 / 카메라Y좌표간격ky = machine Y coordinate interval / camera Y coordinate interval
또한, R은 머신 좌표계의 원점 (0,0)을 중심으로 현재 머신에서 취득한 좌표의 거리(반지름)이다. Also, R is the distance (radius) of the coordinates acquired from the current machine centered on the origin (0,0) of the machine coordinate system.
또한, αx, αY 는 좌표의 회전 관련 변수, βx, βY는 좌표의 배율 조정 관련 변수, △X, △Y는 좌표의 이동 관련 변수이다. Additionally, α x and α Y are variables related to the rotation of the coordinates, β x and β Y are variables related to the scaling of the coordinates, and △X and △Y are variables related to the translation of the coordinates.
상기 수학식 1 및 2를 3점의 좌표값에 적용하면, 하기 수학식 3 및 4와 같다. When the above mathematical expressions 1 and 2 are applied to the coordinate values of three points, the following mathematical expressions 3 and 4 are obtained.
여기서, (X'1, Y'1), (X'2, Y'2), (X'3, Y'3)는 영상 좌표계의 3점의 좌표값, (X1, Y1), (X2, Y2), (X3, Y3)는 머신 좌표계의 3점의 좌표값을 나타낸다. 또한, A는 영상 좌표계의 3점의 좌표값에 관한 행렬이며, 하기와 같이 표현된다. Here, (X' 1 , Y' 1 ), (X' 2 , Y' 2 ), (X' 3 , Y' 3 ) represent the coordinate values of three points in the image coordinate system, and (X 1 , Y 1 ), (X 2 , Y 2 ), (X 3 , Y 3 ) represent the coordinate values of three points in the machine coordinate system. In addition, A is a matrix regarding the coordinate values of three points in the image coordinate system, and is expressed as follows.
수학식 4를 다시 정리하면, 하기 수학식 5와 같이 나타낼 수 있으며, 수학식 4를 확장하면, 수학식 6과 같이 표현할 수 있다. If mathematical expression 4 is rearranged, it can be expressed as mathematical expression 5 below, and if mathematical expression 4 is expanded, it can be expressed as mathematical expression 6.
여기서, A는 n > 3이고, 순위(A)=3인 n×3 행렬이다. Here, A is an n×3 matrix with n > 3 and rank(A)=3.
수학식 6을 풀기 위해, 양쪽에 A의 의사 역행렬(AT×A)-1×AT를 곱한다. 여기서, AT는 A의 전치 행렬이며, 미지수 변수는 αx, βx, △X, αY, βY, △Y이다. To solve equation (6), multiply both sides by the pseudoinverse of A (A T ×A) -1 ×A T . Here, A T is the transpose of A, and the unknown variables are α x , β x , △X, α Y , β Y , and △Y .
수학식 7을 통해 αx, βx, △X, αY, βY, △Y 값을 구한 후, 수학식 4에 적용하면, 영상 좌표계의 좌표값들을 머신 좌표계의 좌표값들로 변환할 수 있다. After obtaining the values of α x , β x , △X , α Y , β Y , and △Y through mathematical expression 7, by applying it to mathematical expression 4, the coordinate values of the image coordinate system can be converted into coordinate values of the machine coordinate system.
본 발명은 영상 좌표계의 회전, 배율 조정 및 이동을 일괄적으로 연산 처리하여, 머신 좌표계로 변환함으로써, 연산 처리 속도를 높이고, 머신의 동작을 정밀하게 제어할 수 있다.The present invention converts rotation, scale adjustment, and translation of an image coordinate system into a machine coordinate system by batch processing, thereby increasing the calculation processing speed and precisely controlling the operation of a machine.
도 5는 본 발명의 다른 실시예에 따른 머신 좌표계와 영상 좌표계의 정합 방법을 도시한 순서도이며, 도 6a, 6b, 7a 및 7b는 제1 카메라와 제2 카메라의 영상 좌표계와 머신 좌표계의 정합을 설명하기 위한 도면이다. FIG. 5 is a flowchart illustrating a method for aligning a machine coordinate system and an image coordinate system according to another embodiment of the present invention, and FIGS. 6a, 6b, 7a, and 7b are drawings for explaining the alignment of the image coordinate systems of the first camera and the second camera with the machine coordinate system.
도 5를 참조하면, 머신에 대한 제1 카메라와 제2 카메라의 상대적인 설치 위치를 파악한다(S210). 여기서, 머신은, 예를 들어, 작업 대상물을 그랩(grab)하는 로봇 팔 또는 작업 대상물이 그 위에 안착되는 스테이지 등이 될 수 있다.Referring to Fig. 5, the relative installation positions of the first camera and the second camera with respect to the machine are determined (S210). Here, the machine may be, for example, a robot arm that grabs a workpiece or a stage on which the workpiece is placed.
본 발명의 일 실시예에서, 제1 카메라와 제2 카메라를 머신에 대해 미리 정해진 위치에 배치함으로써, 머신에 대한 제1 카메라와 제2 카메라의 상대적인 설치 위치를 파악하기 위한 연산 과정을 생략할 수 있다. In one embodiment of the present invention, by positioning the first camera and the second camera at predetermined positions with respect to the machine, the computational process for determining the relative installation positions of the first camera and the second camera with respect to the machine can be omitted.
이어서, 제1 카메라와 제2 카메라 각각의 영상 좌표계의 XY축 방향과 머신의 머신 좌표계의 XY축 방향이 각각 같은 방향이 되도록 영상 좌표계를 회전시키며(S220), 영상 좌표계의 XY축의 눈금 크기에 대한 머신 좌표계의 XY축의 눈금 크기가 소정 배율이 되도록 영상 좌표계의 배율을 조정한다(S230). 도 6a는 좌표계 정합 전의 제1 카메라와 제2 카메라의 영상 좌표계를 도시하며, 도 6b는 좌표계 정합 후의 제1 카메라와 제2 카메라의 영상 좌표계를 도시한다. Next, the image coordinate system is rotated so that the XY-axis directions of the image coordinate systems of each of the first camera and the second camera and the XY-axis directions of the machine coordinate system of the machine become the same direction (S220), and the magnification of the image coordinate system is adjusted so that the XY-axis scale size of the machine coordinate system becomes a predetermined magnification with respect to the XY-axis scale size of the image coordinate system (S230). Fig. 6a illustrates the image coordinate systems of the first camera and the second camera before coordinate system alignment, and Fig. 6b illustrates the image coordinate systems of the first camera and the second camera after coordinate system alignment.
도 6a에서, 카메라 2개가 설치되는 경우, 제1 카메라와 제2 카메라의 물리적인 좌표 방향이 임의로 설정될 수 있다. 만약 카메라에서 어떤 물체를 인식하는 경우, XY축의 머신 좌표계를 갖는 머신이 물체를 추적하기 위해 카메라의 영상 좌표계와 머신의 머신 좌표계의 방향이 일치해야 정확한 추적이 가능하다. 본 발명은 S220 단계를 통해 카메라의 영상 좌표계와 머신의 머신 좌표계의 축방향을 일치시킬 수 있다. In Fig. 6a, when two cameras are installed, the physical coordinate directions of the first camera and the second camera can be arbitrarily set. If an object is recognized by the camera, the direction of the image coordinate system of the camera and the machine coordinate system of the machine must be identical in order for the machine having the machine coordinate system of the XY axis to track the object, enabling accurate tracking. The present invention can make the axial direction of the image coordinate system of the camera and the machine coordinate system of the machine coincide through step S220.
상기 S220 단계와 S230 단계는 순차적으로 실행되거나, 순서가 바뀔 수 있고, 동시에 진행될 수도 있으며, S230 단계가 생략될 수도 있다.The above steps S220 and S230 may be performed sequentially, or the order may be changed, or may be performed simultaneously, or step S230 may be omitted.
도 6b는 제1 카메라와 제2 카메라의 영상 좌표계를 회전시켜서 머신 좌표계의 축방향과 일치시킨 상태를 나타낸다. 여기서, 제1 카메라와 제2 카메라의 영상 좌표계의 축방향은 일치되었으나, 제1 카메라와 제2 카메라 간의 상대적인 위치가 파악되지 않으면, 각각의 영상 좌표계에 물체의 좌표값이 표시될 뿐, 머신의 머신 좌표계에 정확한 좌표값으로 변환될 수 없다. Fig. 6b shows a state where the image coordinate systems of the first camera and the second camera are rotated to match the axial direction of the machine coordinate system. Here, the axial directions of the image coordinate systems of the first camera and the second camera are aligned, but if the relative positions between the first camera and the second camera are not identified, the coordinate values of the object are only displayed in each image coordinate system, and cannot be converted into accurate coordinate values in the machine coordinate system of the machine.
제1 카메라와 제2 카메라 간의 상대적인 위치 파악을 위해, 머신을 미리 설정된 각도(θ)로 회전시켜서, 머신 상에 안착된 작업 대상물에 대한 제1 카메라와 제2 카메라의 영상 좌표계 상의 픽셀 좌표값들의 변화를 검출한다(S240). To determine the relative positions between the first camera and the second camera, the machine is rotated at a preset angle (θ) to detect changes in pixel coordinate values on the image coordinate system of the first camera and the second camera with respect to the workpiece placed on the machine (S240).
여기서, 픽셀 좌표값들의 변화를 검출하기 위해, 작업 대상물에 표시된 마크에 대해 머신의 회전에 따라 변화하는 영상 좌표계 상의 좌표값들을 검출할 수 있다. Here, in order to detect changes in pixel coordinate values, coordinate values on the image coordinate system that change according to the rotation of the machine can be detected for marks displayed on the workpiece.
이어서, 상기 변화된 픽셀 좌표값들로부터 머신의 머신 좌표계의 원점을 산출한다(S250).Next, the origin of the machine coordinate system of the machine is calculated from the changed pixel coordinate values (S250).
계속하여, 머신 좌표계의 원점과, 제1 카메라와 제2 카메라 각각의 영상 좌표계의 원점에 대한 좌표값을 기반으로 제1 카메라와 제2 카메라 간 이격된 오프셋 거리 정보를 산출한다(S260). Continuing, offset distance information between the first camera and the second camera is calculated based on coordinate values for the origin of the machine coordinate system and the origin of the image coordinate systems of each of the first camera and the second camera (S260).
도 7a에서, 녹색 삼각형이 미리 설정된 각도(θ)로 +방향으로 회전하면, 제1 카메라의 영상 좌표계에서 좌표값은 (x1, y1)에서 (x1', y1')으로 변하며, 제2 카메라의 영상 좌표계에서 좌표값은 (x2, y2)에서 (x2', y2')으로 변한다. In Fig. 7a, when the green triangle rotates in the + direction at a preset angle (θ), the coordinate value in the image coordinate system of the first camera changes from (x 1 , y 1 ) to (x 1 ', y 1 '), and the coordinate value in the image coordinate system of the second camera changes from (x 2 , y 2 ) to (x 2 ', y 2 ').
2개의 영상 좌표계에서의 2점과 2점 간의 각도를 이용하면 각각의 카메라에서 바라본 머신의 원점을 구할 수 있다. Using the angle between two points in the two image coordinate systems, we can find the origin of the machine as viewed from each camera.
즉, 제1 카메라의 영상 좌표계를 기준으로 하면 머신의 원점은 (+X, -Y)에 위치하게 되며, 반대로 머신의 원점을 기준으로 하면 제1 카메라의 영상 좌표계의 원점은 (-X, +Y)에 위치하는 것을 계산할 수 있다. That is, based on the image coordinate system of the first camera, the origin of the machine is located at (+X, -Y), and conversely, based on the origin of the machine, the origin of the image coordinate system of the first camera is located at (-X, +Y).
또한, 제2 카메라의 영상 좌표계를 기준으로 하면 머신의 원점은 (-X, -Y)에 위치하게 되며, 반대로 머신의 원점을 기준으로 하면 제1 카메라의 영상 좌표계의 원점은 (+X, +Y)에 위치하는 것을 계산할 수 있다.In addition, it can be calculated that the origin of the machine is located at (-X, -Y) based on the image coordinate system of the second camera, and conversely, the origin of the image coordinate system of the first camera is located at (+X, +Y) based on the origin of the machine.
결과적으로, 제1 카메라와 제2 카메라의 설치 위치와 카메라의 원점 위치를 계산하면, 도 7b와 같이, 머신 좌표계에서 2개 카메라가 이격되어 있는 오프셋 거리를 구할 수 있다. 따라서, 머신 좌표계의 X축 방향에 따른 제1 카메라와 제2 카메라의 카메라 오프셋 X와, 머신 좌표계의 Y축 방향에 따른 제1 카메라와 제2 카메라의 카메라 오프셋 Y를 산출할 수 있다. 이는 머신 좌표계를 기준으로 각각의 카메라의 영상 좌표계가 정합되었음을 의미한다.As a result, by calculating the installation positions of the first camera and the second camera and the origin positions of the cameras, the offset distance at which the two cameras are spaced apart in the machine coordinate system can be obtained, as shown in Fig. 7b. Accordingly, the camera offset X of the first camera and the second camera along the X-axis direction of the machine coordinate system and the camera offset Y of the first camera and the second camera along the Y-axis direction of the machine coordinate system can be calculated. This means that the image coordinate systems of each camera are aligned with respect to the machine coordinate system.
도 8은 영상 좌표계 상에서 미리 설정된 각도(θ)로 회전한 2점의 좌표값들로부터 머신의 중심을 구하는 방법을 설명하기 위한 도면이다. Figure 8 is a drawing for explaining a method of obtaining the center of a machine from the coordinate values of two points rotated at a preset angle (θ) on the image coordinate system.
도 8을 참조하면, 머신 좌표계의 원점을 (x0,y0)로 보고, 미리 설정된 각도(θ)로 회전한 2점의 좌표값을 (x1,y1), (x2,y2)로 가정하면, 하기 수학식에 의해 머신의 원점 (x0,y0)을 산출할 수 있다. Referring to Fig. 8, assuming that the origin of the machine coordinate system is (x 0 , y 0 ) and the coordinate values of two points rotated by a preset angle (θ) are (x 1 , y 1 ) and (x 2 , y 2 ), the origin (x 0 , y 0 ) of the machine can be calculated by the following mathematical formula.
상기 수학식을 x0과 y0에 대해 정리하면, 하기와 같다. If we rearrange the above mathematical equation for x 0 and y 0 , we get the following.
여기서, x0,y0는 머신의 원점이며, θ는 머신의 회전 각도, a, b는 머신 상에서 미리 설정된 각도(θ)로 회전한 2점의 좌표값 (x1,y1), (x2,y2)로부터 산출되는 계수이다. Here, x 0 , y 0 is the origin of the machine, θ is the rotation angle of the machine, and a, b are coefficients derived from the coordinate values (x 1 , y 1 ), (x 2 , y 2 ) of two points rotated by a preset angle (θ) on the machine.
도 9는 본 발명의 일 실시예에 따른 머신 좌표계와 영상 좌표계의 정합 장치를 도시하는 블록도이다. FIG. 9 is a block diagram illustrating a device for aligning a machine coordinate system and an image coordinate system according to one embodiment of the present invention.
도 9를 참조하면, 본 발명의 정합 장치(300)는 머신(310), 제1 카메라(320), 제2 카메라(330) 및 제어부(340)를 포함한다. Referring to FIG. 9, the alignment device (300) of the present invention includes a machine (310), a first camera (320), a second camera (330), and a control unit (340).
머신(310)은 상부에 작업 대상물이 안착되며, XY축 방향으로 직선 이동 및 회전이 가능하다. The machine (310) has a workpiece mounted on the top and can move and rotate linearly in the XY axis direction.
제1 카메라(320)와 제2 카메라(330)는 머신(310)을 중심으로 소정 거리 이격되어 배치되며, 작업 대상물을 촬영하여 영상 좌표계에 적용한다. The first camera (320) and the second camera (330) are placed at a predetermined distance from the machine (310) and photograph the work object and apply it to the image coordinate system.
제어부(340)는 제1 카메라(320)와 제2 카메라(330)의 영상 좌표계와, 머신(310)의 머신 좌표계를 정합시킨다. The control unit (340) aligns the image coordinate systems of the first camera (320) and the second camera (330) with the machine coordinate system of the machine (310).
제어부(340)는 머신(310)을 미리 설정된 각도(θ)로 회전시켜서, 머신(310) 상에 안착된 작업 대상물에 대한 제1 카메라(320)와 제2 카메라(330)의 영상 좌표계 상의 픽셀 좌표값들의 변화를 검출하여, 머신(310)의 머신 좌표계의 원점을 산출할 수 있다. 머신의 원점 산출을 위해 전술한 수학식 8 및 수학식 9를 이용할 수 있다. The control unit (340) can detect changes in pixel coordinate values on the image coordinate system of the first camera (320) and the second camera (330) for a workpiece mounted on the machine (310) by rotating the machine (310) at a preset angle (θ), thereby calculating the origin of the machine coordinate system of the machine (310). The mathematical expressions 8 and 9 described above can be used to calculate the origin of the machine.
또한, 제어부(340)는 머신 좌표계의 원점과, 제1 카메라(320)와 제2 카메라(330) 각각의 영상 좌표계의 원점에 대한 좌표값을 기반으로 제1 카메라(320)와 제2 카메라(330) 간 이격된 오프셋 거리 정보를 산출할 수 있다. In addition, the control unit (340) can calculate offset distance information between the first camera (320) and the second camera (330) based on the coordinate values for the origin of the machine coordinate system and the origin of the image coordinate system of each of the first camera (320) and the second camera (330).
일 실시예에서, 제어부(340)는 제1 카메라(320)와 제2 카메라(330) 각각의 영상 좌표계의 XY축 방향과 머신(310)의 머신 좌표계의 XY축 방향이 각각 같은 방향이 되도록 영상 좌표계를 회전시키며, 영상 좌표계의 XY축의 눈금 크기에 대한 머신 좌표계의 XY축의 눈금 크기가 소정 배율이 되도록 영상 좌표계의 배율을 조정할 수 있다. In one embodiment, the control unit (340) rotates the image coordinate system so that the XY axis directions of the image coordinate systems of each of the first camera (320) and the second camera (330) and the XY axis directions of the machine coordinate system of the machine (310) are in the same direction, and adjusts the magnification of the image coordinate system so that the XY axis grid size of the machine coordinate system is a predetermined magnification with respect to the XY axis grid size of the image coordinate system.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로 컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서 (parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The embodiments described above may be implemented as hardware components, software components, and/or a combination of hardware components and software components. For example, the devices, methods, and components described in the embodiments may be implemented using one or more general-purpose computers or special-purpose computers, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), a programmable logic unit (PLU), a microprocessor, or any other device capable of executing instructions and responding to them. The processing device may execute an operating system (OS) and one or more software applications running on the OS. In addition, the processing device may access, store, manipulate, process, and generate data in response to the execution of the software. For ease of understanding, the processing device is sometimes described as being used alone, but those skilled in the art will appreciate that the processing device may include multiple processing elements and/or multiple types of processing elements. For example, a processing device may include multiple processors, or a processor and a controller. Other processing configurations, such as parallel processors, are also possible.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody) 될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing device to perform a desired operation or may independently or collectively command the processing device. The software and/or data may be permanently or temporarily embodied in any type of machine, component, physical device, virtual equipment, computer storage medium or device, or transmitted signal wave, for interpretation by the processing device or for providing instructions or data to the processing device. The software may also be distributed over network-connected computer systems and stored or executed in a distributed manner. The software and data may be stored on one or more computer-readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나, 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드 뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program commands that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program commands, data files, data structures, etc., alone or in combination. The program commands recorded on the medium may be those specially designed and configured for the embodiment, or may be those known to and usable by those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, and hardware devices specially configured to store and execute program commands, such as ROMs, RAMs, and flash memories. Examples of the program commands include not only machine language codes generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter, etc. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiment, and vice versa.
지금까지 본 발명을 바람직한 실시 예를 참조하여 상세히 설명하였지만, 본 발명이 상기한 실시 예에 한정되는 것은 아니며, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 또는 수정이 가능한 범위까지 본 발명의 기술적 사상이 미친다 할 것이다.Although the present invention has been described in detail with reference to preferred embodiments thereof, the present invention is not limited to the above-described embodiments, and it will be understood by those skilled in the art that various modifications or variations can be made therein without departing from the gist of the present invention as claimed in the following claims.
300: 정합 장치
310: 머신
320: 제1 카메라
330: 제2 카메라
340: 제어부300: Alignment Device
310: Machine
320: 1st camera
330: Second camera
340: Control Unit
Claims (10)
상기 카메라가 상기 작업 대상물에 마크된 3점 위치를 촬영하여 영상 좌표계에 적용하는 단계;
상기 영상 좌표계의 XY축 방향과 상기 머신 좌표계의 XY축 방향이 각각 같은 방향이 되도록 상기 영상 좌표계를 회전시키는 단계;
상기 머신을 미리 설정된 각도(θ)로 회전시켜서, 상기 머신 상에 안착된 작업 대상물에 대한 상기 카메라의 영상 좌표계 상의 픽셀 좌표값들의 변화를 검출하는 단계;
상기 변화된 픽셀 좌표값들로부터 상기 머신의 머신 좌표계의 원점을 산출하는 단계;
상기 영상 좌표계의 원점과 상기 머신 좌표계의 원점이 일치하도록 상기 영상 좌표계를 이동시키는 단계; 및
상기 카메라의 영상 좌표계에 적용된 3점 위치를 상기 머신 좌표계에 대응시키는 단계;를 포함하고,
상기 머신은 상기 작업 대상물이 안착되는 스테이지이고,
상기 머신의 머신 좌표계의 원점을 산출하는 단계는,
하기 수학식 9에 따라 산출되며,
[수학식 9]
여기서,(x0,y0)는 상기 머신의 원점, θ는 상기 머신의 회전 각도, a, b는 머신 상에서 미리 설정된 각도(θ)로 회전한 2점의 좌표값 (x1,y1), (x2,y2)로부터 산출되는 계수인 것을 특징으로 하는 것을 특징으로 하는 머신 좌표계와 영상 좌표계의 정합 방법.A method for aligning the machine coordinate system of a machine performing work on a work object and the image coordinate system of a camera,
A step of the above camera capturing three-point positions marked on the work object and applying them to the image coordinate system;
A step of rotating the image coordinate system so that the XY axis direction of the image coordinate system and the XY axis direction of the machine coordinate system become the same direction;
A step of detecting changes in pixel coordinate values on the image coordinate system of the camera for a workpiece placed on the machine by rotating the machine at a preset angle (θ);
A step of calculating the origin of the machine coordinate system of the machine from the changed pixel coordinate values;
A step of moving the image coordinate system so that the origin of the image coordinate system and the origin of the machine coordinate system coincide; and
A step of corresponding the three-point position applied to the image coordinate system of the above camera to the machine coordinate system;
The above machine is a stage on which the workpiece is placed,
The step of calculating the origin of the machine coordinate system of the above machine is:
It is calculated according to the following mathematical formula 9:
[Mathematical formula 9]
Here, (x 0 , y 0 ) is the origin of the machine, θ is the rotation angle of the machine, and a and b are coefficients calculated from the coordinate values (x 1 , y 1 ), (x 2 , y 2 ) of two points rotated by a preset angle (θ) on the machine. A method for matching a machine coordinate system and an image coordinate system.
상기 영상 좌표계의 3점의 좌표값들은 하기 수학식 5에 따라 상기 머신 좌표계의 좌표값들로 변환되며,
[수학식 5]
여기서, (X1, Y1), (X2, Y2), (X3, Y3)는 머신 좌표계의 3점의 좌표값, A는 영상 좌표계의 3점의 좌표값에 관한 행렬, αx, αY 는 좌표의 회전 관련 변수, βx, βY는 좌표의 배율 조정 관련 변수, △X, △Y는 좌표의 이동 관련 변수인 것을 특징으로 하는 머신 좌표계와 영상 좌표계의 정합 방법.In the first paragraph,
The coordinate values of three points in the above image coordinate system are converted into coordinate values in the machine coordinate system according to the following mathematical expression 5.
[Mathematical Formula 5]
Here, (X 1 , Y 1 ), (X 2 , Y 2 ), (X 3 , Y 3 ) are coordinate values of three points in the machine coordinate system, A is a matrix related to the coordinate values of three points in the image coordinate system, α x , α Y are variables related to the rotation of coordinates, β x , β Y are variables related to the scale adjustment of coordinates, and △X, △Y are variables related to the translation of coordinates. A method for matching the machine coordinate system and the image coordinate system.
상기 제어부가 상기 제1 카메라와 제2 카메라 각각의 영상 좌표계의 XY축 방향과 상기 머신의 머신 좌표계의 XY축 방향이 각각 같은 방향이 되도록 상기 영상 좌표계를 회전시키는 단계;
상기 제어부가 상기 영상 좌표계의 XY축의 눈금 크기에 대한 상기 머신 좌표계의 XY축의 눈금 크기가 소정 배율이 되도록 상기 영상 좌표계의 배율을 조정하는 단계;
상기 제어부가 상기 머신을 미리 설정된 각도(θ)로 회전시켜서, 상기 머신 상에 안착된 작업 대상물에 대한 상기 제1 카메라와 제2 카메라의 영상 좌표계 상의 픽셀 좌표값들의 변화를 검출하는 단계;
상기 제어부가 상기 변화된 픽셀 좌표값들로부터 상기 머신의 머신 좌표계의 원점을 산출하는 단계; 및
상기 제어부가 상기 머신 좌표계의 원점과, 상기 제1 카메라와 제2 카메라 각각의 영상 좌표계의 원점에 대한 좌표값을 기반으로 상기 제1 카메라와 제2 카메라 간 이격된 오프셋 거리 정보를 산출하는 단계;를 포함하고,
상기 머신은 상기 작업 대상물이 안착되는 스테이지이고,
상기 머신의 머신 좌표계의 원점을 산출하는 단계는,
하기 수학식에 따라 산출되며,
여기서,(x0,y0)는 상기 머신의 원점, θ는 상기 머신의 회전 각도, a, b는 상기 머신 상에서 미리 설정된 각도(θ)로 회전한 2점의 좌표값 (x1,y1), (x2,y2)로부터 산출되는 계수인 것을 특징으로 하는 머신 좌표계와 영상 좌표계의 정합 방법.A step for the control unit to determine the relative installation positions of the first camera and the second camera with respect to the machine;
A step in which the control unit rotates the image coordinate system so that the XY axis directions of the image coordinate systems of each of the first camera and the second camera and the XY axis directions of the machine coordinate system of the machine become the same direction;
A step for the control unit to adjust the scale of the image coordinate system so that the scale size of the XY axes of the machine coordinate system becomes a predetermined scale with respect to the scale size of the XY axes of the image coordinate system;
A step for detecting changes in pixel coordinate values on the image coordinate system of the first camera and the second camera with respect to a workpiece placed on the machine by causing the control unit to rotate the machine at a preset angle (θ);
A step in which the control unit calculates the origin of the machine coordinate system of the machine from the changed pixel coordinate values; and
The control unit comprises a step of calculating offset distance information between the first camera and the second camera based on coordinate values for the origin of the machine coordinate system and the origin of the image coordinate system of each of the first camera and the second camera;
The above machine is a stage on which the workpiece is placed,
The step of calculating the origin of the machine coordinate system of the above machine is:
It is calculated according to the following mathematical formula:
Here, (x 0 , y 0 ) is the origin of the machine, θ is the rotation angle of the machine, and a and b are coefficients calculated from the coordinate values (x 1 , y 1 ), (x 2 , y 2 ) of two points rotated by a preset angle (θ) on the machine. A method for matching a machine coordinate system and an image coordinate system.
상기 머신에 대한 제1 카메라와 제2 카메라의 상대적인 설치 위치를 파악하는 단계는,
상기 제1 카메라와 제2 카메라를 상기 머신에 대해 미리 정해진 위치에 배치하는 것을 특징으로 하는 머신 좌표계와 영상 좌표계의 정합 방법.In the third paragraph,
The step of determining the relative installation positions of the first camera and the second camera for the above machine is:
A method for aligning a machine coordinate system and an image coordinate system, characterized by positioning the first camera and the second camera at predetermined positions with respect to the machine.
상기 픽셀 좌표값들의 변화를 검출하는 단계는,
상기 작업 대상물에 표시된 마크에 대해 상기 머신의 회전에 따라 변화하는 영상 좌표계 상의 좌표값들을 검출하는 것을 특징으로 하는 머신 좌표계와 영상 좌표계의 정합 방법.In the third paragraph,
The step of detecting changes in the above pixel coordinate values is:
A method for matching a machine coordinate system and an image coordinate system, characterized by detecting coordinate values on an image coordinate system that change according to the rotation of the machine with respect to a mark indicated on the work object.
상기 작업 대상물을 촬영하여 영상 좌표계에 적용하는 제1 카메라와 제2 카메라; 및
상기 제1 카메라와 제2 카메라의 영상 좌표계와, 상기 머신의 머신 좌표계를 정합시키는 제어부;를 포함하며,
상기 제어부는,
상기 머신을 미리 설정된 각도(θ)로 회전시켜서, 상기 머신 상에 안착된 작업 대상물에 대한 상기 제1 카메라와 제2 카메라의 영상 좌표계 상의 픽셀 좌표값들의 변화를 검출하여, 상기 머신의 머신 좌표계의 원점을 산출하며,
상기 머신 좌표계의 원점과, 상기 제1 카메라와 제2 카메라 각각의 영상 좌표계의 원점에 대한 좌표값을 기반으로 상기 제1 카메라와 제2 카메라 간 이격된 오프셋 거리 정보를 산출하고,
상기 제어부는 상기 머신의 머신 좌표계의 원점을 하기의 수학식에 따라 산출되며,
여기서,(x0,y0)는 상기 머신의 원점, θ는 상기 머신의 회전 각도, a, b는 상기 머신 상에서 미리 설정된 각도(θ)로 회전한 2점의 좌표값 (x1,y1), (x2,y2)로부터 산출되는 계수이고,
상기 머신은 상기 작업 대상물이 안착되는 스테이지인 것을 특징으로 하는 머신 좌표계와 영상 좌표계의 정합 장치.A machine in which the workpiece is placed on top;
A first camera and a second camera that photograph the above work object and apply it to the image coordinate system; and
It includes a control unit that aligns the image coordinate system of the first camera and the second camera with the machine coordinate system of the machine;
The above control unit,
By rotating the machine at a preset angle (θ), the change in pixel coordinate values on the image coordinate system of the first camera and the second camera with respect to the workpiece placed on the machine is detected, and the origin of the machine coordinate system of the machine is calculated.
Based on the coordinate values for the origin of the machine coordinate system and the origin of the image coordinate system of each of the first camera and the second camera, offset distance information between the first camera and the second camera is calculated,
The above control unit calculates the origin of the machine coordinate system of the machine according to the following mathematical formula:
Here, (x 0 , y 0 ) is the origin of the machine, θ is the rotation angle of the machine, a and b are coefficients derived from the coordinate values (x 1 , y 1 ), (x 2 , y 2 ) of two points rotated by a preset angle (θ) on the machine,
A device for aligning a machine coordinate system and an image coordinate system, characterized in that the machine is a stage on which the workpiece is placed.
상기 제어부는,
상기 제1 카메라와 제2 카메라 각각의 영상 좌표계의 XY축 방향과 상기 머신의 머신 좌표계의 XY축 방향이 각각 같은 방향이 되도록 상기 영상 좌표계를 회전시키며,
상기 영상 좌표계의 XY축의 눈금 크기에 대한 상기 머신 좌표계의 XY축의 눈금 크기가 소정 배율이 되도록 상기 영상 좌표계의 배율을 조정하는 것을 특징으로 하는 머신 좌표계와 영상 좌표계의 정합 장치.In Article 7,
The above control unit,
The image coordinate system is rotated so that the XY axis directions of the image coordinate systems of each of the first camera and the second camera and the XY axis directions of the machine coordinate system of the machine are in the same direction,
A device for aligning a machine coordinate system and an image coordinate system, characterized in that the scale of the image coordinate system is adjusted so that the scale size of the XY axes of the machine coordinate system becomes a predetermined scale with respect to the scale size of the XY axes of the image coordinate system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220013750A KR102696176B1 (en) | 2022-01-28 | 2022-01-28 | Method and apparatus for merging machine coordinate system and camera coordinate system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220013750A KR102696176B1 (en) | 2022-01-28 | 2022-01-28 | Method and apparatus for merging machine coordinate system and camera coordinate system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230116601A KR20230116601A (en) | 2023-08-04 |
| KR102696176B1 true KR102696176B1 (en) | 2024-08-19 |
Family
ID=87568691
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220013750A Active KR102696176B1 (en) | 2022-01-28 | 2022-01-28 | Method and apparatus for merging machine coordinate system and camera coordinate system |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102696176B1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200286291A1 (en) * | 2019-03-07 | 2020-09-10 | Siemens Healthcare Gmbh | Method and device to determine the dimensions and distance of a number of objects in an environment |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6728582B1 (en) * | 2000-12-15 | 2004-04-27 | Cognex Corporation | System and method for determining the position of an object in three dimensions using a machine vision system with two cameras |
| US6751361B1 (en) * | 2000-12-22 | 2004-06-15 | Cognex Corporation | Method and apparatus for performing fixturing in a machine vision system |
| US7912673B2 (en) * | 2005-03-11 | 2011-03-22 | Creaform Inc. | Auto-referenced system and apparatus for three-dimensional scanning |
| KR102002785B1 (en) | 2018-01-10 | 2019-07-23 | 한국과학기술연구원 | Apparatus and method for calibrating camera coordinate system using positioning information based on image |
| KR102332314B1 (en) | 2020-01-16 | 2021-12-01 | 한국기술교육대학교 산학협력단 | A coordinate value calibration device between robot and camera and a calibration method thereof |
| KR102309608B1 (en) | 2020-10-21 | 2021-10-06 | 주식회사 노바테크 | Method of convergence a coordinate system between Lidar and Stereo-Camera |
-
2022
- 2022-01-28 KR KR1020220013750A patent/KR102696176B1/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200286291A1 (en) * | 2019-03-07 | 2020-09-10 | Siemens Healthcare Gmbh | Method and device to determine the dimensions and distance of a number of objects in an environment |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230116601A (en) | 2023-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102458415B1 (en) | System and method for automatic hand-eye calibration of vision system for robot motion | |
| CN109285190B (en) | Object positioning method and device, electronic equipment and storage medium | |
| JP6167622B2 (en) | Control system and control method | |
| CN111263142B (en) | Method, device, equipment and medium for testing optical anti-shake of camera module | |
| EP2684651A2 (en) | Robot system, robot, robot control device, robot control method, and robot control program | |
| JP2011007632A (en) | Information processing apparatus, information processing method and program | |
| US20250229428A1 (en) | Coordinate system calibration method, apparatus and system for robot, and medium | |
| CN111390901A (en) | Automatic calibration method and calibration device for mechanical arm | |
| JP6208419B2 (en) | Calculation device, transfer robot system, and calculation method | |
| KR20190070875A (en) | Calibration and operation of vision-based manipulation systems | |
| US12058468B2 (en) | Image capturing apparatus, image processing apparatus, image processing method, image capturing apparatus calibration method, robot apparatus, method for manufacturing article using robot apparatus, and recording medium | |
| US12128571B2 (en) | 3D computer-vision system with variable spatial resolution | |
| CN113172636B (en) | Automatic hand-eye calibration method and device and storage medium | |
| CN116051634A (en) | Visual positioning method, terminal and storage medium | |
| WO2020047713A1 (en) | Method and apparatus for managing robot system | |
| KR102696176B1 (en) | Method and apparatus for merging machine coordinate system and camera coordinate system | |
| JP2015007639A (en) | Information processing apparatus, information processing method and program | |
| CN110853102A (en) | Novel robot vision calibration and guide method, device and computer equipment | |
| US5986694A (en) | Image processing apparatus for moving camera | |
| CN117754592A (en) | Mechanical arm calibration method, device, equipment and medium based on vision | |
| JP6841297B2 (en) | Visual servo system | |
| JPH04269194A (en) | Plane measuring method | |
| JP2005186193A (en) | Calibration method and three-dimensional position measuring method for robot | |
| Luo et al. | Calibration method of roof weld coating robot system based on plane-to-plane intersection model | |
| KR102412275B1 (en) | Image Distortion Correction Method and Apparatus in Measurement of Three Dimensional Shape Information using Stereo Method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20220128 |
|
| PA0201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20230621 Patent event code: PE09021S01D |
|
| PG1501 | Laying open of application | ||
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20240620 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20240813 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20240813 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |