KR20230071937A

KR20230071937A - Apparatus and method for estimating coordinate of object

Info

Publication number: KR20230071937A
Application number: KR1020210158058A
Authority: KR
Inventors: 이종태; 윤보한
Original assignee: 동국대학교 산학협력단
Priority date: 2021-11-16
Filing date: 2021-11-16
Publication date: 2023-05-24
Anticipated expiration: 2041-11-16
Also published as: KR102659185B1

Abstract

본 발명의 일 실시 예에 따른 객체 위치 추정 장치는 상이한 시점에 상응하는 복수의 영상을 입력 받는 입력부, 상기 영상 내 기준 코드 및 객체 코드에 상응하는 회전 변환 행렬 및 위치 변환 벡터를 산출하는 카메라 위치 추정부, 상기 회전 변환 행렬 및 상기 위치 변환 벡터에 따라 상기 객체 코드의 3차원 좌표를 산출하는 객체 위치 추정부 및 상기 객체 코드의 3차원 좌표를 포함하는 객체 위치 정보를 출력하는 출력부를 포함한다.An object position estimating apparatus according to an embodiment of the present invention includes an input unit that receives a plurality of images corresponding to different viewpoints, and a camera position calculator that calculates a rotation transformation matrix and a position transformation vector corresponding to reference codes and object codes in the images. and an object location estimator calculating 3D coordinates of the object code according to the government, the rotation transformation matrix, and the position transformation vector, and an output unit outputting object location information including the 3D coordinates of the object code.

Description

Apparatus and method for estimating object location {APPARATUS AND METHOD FOR ESTIMATING COORDINATE OF OBJECT}

본 발명은 객체 위치 추정에 관한 것으로, 보다 상세하게는 객체 상QR코드를 이용한 객체 위치 추정에 관한 것이다. The present invention relates to object location estimation, and more particularly, to object location estimation using a QR code on an object.

무인항공기가 특정 임무를 수행하기 위해서는 자신의 위치를 명확하게 파악하는 위치추정(Localization) 필수적이다. 최근에는 무인항공기의 위치추정(Localization)을 위해서는 GPS, Milimetre Wave Rader, Stereo Vision Camera 등의 센서를 이용한다. 하지만, 상술한 센서는 성능이 좋을수록 고가이고 단일 사용이 힘들다는 단점이 있다. In order for an unmanned aerial vehicle to perform a specific mission, localization, which clearly identifies its location, is essential. Recently, sensors such as GPS, Milimetre Wave Rader, and Stereo Vision Camera are used for localization of unmanned aerial vehicles. However, the above-described sensor has a disadvantage that the higher the performance, the more expensive it is and the single use is difficult.

본 발명의 배경기술은 대한민국 등록특허 제10- 2026114 호에 개시되어 있다.The background art of the present invention is disclosed in Korean Patent Registration No. 10-2026114.

본 발명은 객체 상 QR 코드를 이용하여 객체의 위치를 추정하는 객체 위치 추정 장치 및 방법을 제공하는 것이다.An object of the present invention is to provide an object location estimating device and method for estimating the location of an object using a QR code on the object.

본 발명의 일 측면에 따르면, 객체 위치 추정 장치를 제공한다.According to one aspect of the present invention, an apparatus for estimating an object location is provided.

본 발명의 일 실시 예에 따른 객체 위치 추정 장치는 상이한 시점에 상응하는 복수의 영상을 입력 받는 입력부, 상기 영상 내 기준 코드 및 객체 코드에 상응하는 회전 변환 행렬 및 위치 변환 벡터를 산출하는 카메라 위치 추정부, 상기 회전 변환 행렬 및 상기 위치 변환 벡터에 따라 상기 객체 코드의 3차원 좌표를 산출하는 객체 위치 추정부 및 상기 객체 코드의 3차원 좌표를 포함하는 객체 위치 정보를 출력하는 출력부를 포함할 수 있다.An object position estimating apparatus according to an embodiment of the present invention includes an input unit that receives a plurality of images corresponding to different viewpoints, and a camera position calculator that calculates a rotation transformation matrix and a position transformation vector corresponding to reference codes and object codes in the images. An object location estimator calculating 3D coordinates of the object code according to the government, the rotation transformation matrix, and the position transformation vector, and an output unit outputting object location information including the 3D coordinates of the object code. .

본 발명의 다른 일 측면에 따르면, 객체 위치 추정 방법을 제공한다.According to another aspect of the present invention, a method for estimating an object location is provided.

본 발명의 일 실시 예에 따른 객체 위치를 추정하는 방법은 상이한 시점에 상응하는 복수의 영상을 입력 받는 단계; 상기 영상 내 기준 코드 및 객체 코드에 상응하는 회전 변환 행렬 및 위치 변환 벡터를 산출하는 단계; 상기 회전 변환 행렬 및 상기 위치 변환 벡터에 따라 상기 객체 코드의 3차원 좌표를 산출하는 단계; 및 상기 객체 코드의 3차원 좌표를 포함하는 객체 위치 정보를 출력하는 단계를 포함할 수 있다.A method for estimating an object position according to an embodiment of the present invention includes receiving a plurality of images corresponding to different viewpoints; Calculating a rotation transformation matrix and a position transformation vector corresponding to the reference code and object code in the image; calculating three-dimensional coordinates of the object code according to the rotation transformation matrix and the position transformation vector; and outputting object location information including 3D coordinates of the object code.

본 발명의 일 실시 예에 따르면, 비행장치에 장착된 카메라를 통해 촬영된 영상을 분석하여 객체의 3차원 위치를 정확하게 추정할 수 있다.According to one embodiment of the present invention, it is possible to accurately estimate the 3D position of an object by analyzing an image captured through a camera mounted on a flight device.

도 1은 본 발명의 일 실시 예에 따른 객체 위치 추정 장치를 예시한 블록도.
도 2는 본 발명의 일 실시 예에 따른 객체 위치 추정 장치가 입력 받는 두 시점의 영상이 촬영되는 상황을 예시한 도면.
도 3은 본 발명의 일 실시 예에 따른 객체 위치 추정 장치가 객체의 위치를 추정하는 방법을 예시한 순서도.
도 4는 본 발명의 일 실시 예에 따른 객체 위치 추정 장치가 입력 받은 2개의 시점에 상응하는 영상의 기준 코드와 물체 코드의 좌표를 예시한 도면.1 is a block diagram illustrating an object location estimating apparatus according to an embodiment of the present invention.
2 is a diagram illustrating a situation in which images of two viewpoints received by an apparatus for estimating an object location according to an embodiment of the present invention are captured;
3 is a flowchart illustrating a method of estimating the location of an object by an object location estimating apparatus according to an embodiment of the present invention;
4 is a diagram illustrating coordinates of a reference code and an object code of an image corresponding to two viewpoints received by an object location estimating apparatus according to an embodiment of the present invention;

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.Since the present invention can make various changes and have various embodiments, specific embodiments are illustrated in the drawings and will be described in detail through detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. In describing the present invention, if it is determined that a detailed description of related known technologies may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. Also, as used in this specification and claims, the terms "a" and "an" are generally to be construed to mean "one or more" unless stated otherwise.

이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. do it with

도 1은 본 발명의 일 실시 예에 따른 객체 위치 추정 장치를 예시한 블록도이고, 도 2는 본 발명의 일 실시 예에 따른 객체 위치 추정 장치가 입력 받는 두 시점의 영상이 촬영되는 상황을 예시한 도면이다.1 is a block diagram illustrating an object location estimating device according to an embodiment of the present invention, and FIG. 2 illustrates a situation in which images of two viewpoints received by the object location estimating device according to an embodiment of the present invention are captured. it is a drawing

도 1을 참조하면, 본 발명의 일 실시 예에 따른 객체 위치 추정 장치(100)는 입력부(110), 카메라 위치 추정부(120), 객체 위치 추정부(130) 및 출력부(140)를 포함한다.Referring to FIG. 1 , an object location estimation apparatus 100 according to an embodiment of the present invention includes an input unit 110, a camera location estimation unit 120, an object location estimation unit 130, and an output unit 140. do.

입력부(110)는 카메라로부터 객체를 촬영한 영상을 입력 받는다. 이 때, 카메라는 무인비행장치에 설치되어 객체를 촬영하는 카메라일 수 있다. 또한, 입력부(110)는 무인 비행장치가 이동함에 따라 다른 시점에서 객체를 촬영한 영상을 카메라로부터 각각 입력 받을 수 있다. 또한, 카메라는 기준 위치에 부착된 4개 이상의 QR 코드(이하, 기준 코드라 지칭) 및 객체에 부착된 QR 코드(이하, 객체 코드라 지칭)를 촬영한 영상을 생성할 수 있다. 이 때, 기준 코드는 현재 기준 코드의 3차원 위치를 나타내는 QR 코드일 수 있다. 입력부(110)는 영상을 카메라 위치 추정부(120)로 전송한다.The input unit 110 receives an image of an object photographed from a camera. In this case, the camera may be a camera installed in the unmanned aerial vehicle and photographing an object. In addition, the input unit 110 may receive images of objects photographed from different viewpoints as the unmanned aerial vehicle moves, respectively, from the camera. In addition, the camera may generate an image obtained by capturing four or more QR codes (hereinafter referred to as reference codes) attached to reference positions and QR codes attached to objects (hereinafter referred to as object codes). In this case, the reference code may be a QR code indicating the 3D location of the current reference code. The input unit 110 transmits the image to the camera position estimating unit 120 .

카메라 위치 추정부(120)는 카메라의 고유 재원, 기준 코드의 3차원 좌표 및 영상 내 기준 코드의 평면 좌표에 solvePnP 알고리즘을 적용하여 회전 변환 행렬 R과 위치 변환 벡터 T를 산출한다. 카메라 위치 추정부(120)는 R과 T를 Rodrigues 회전 공식에 적용하여 카메라의 3차원 좌표를 산출할 수 있다. 카메라 위치 추정부(120)는 회전 변환 행렬 R과 위치 변환 벡터 및 카메라의 3차원 좌표를 포함하는 카메라 위치 정보를 생성한다. 예를 들어, 카메라 위치 추정부(120)는 하기의 수학식 1에 따라 카메라의 3차원 좌표를 생성할 수 있다.The camera position estimator 120 calculates a rotation transformation matrix R and a position transformation vector T by applying the solvePnP algorithm to the camera's unique material, the three-dimensional coordinates of the reference code, and the plane coordinates of the reference code in the image. The camera position estimator 120 may calculate the 3D coordinates of the camera by applying R and T to the Rodrigues rotation formula. The camera position estimator 120 generates camera position information including a rotation transformation matrix R, a position transformation vector, and 3D coordinates of the camera. For example, the camera position estimator 120 may generate 3D coordinates of the camera according to Equation 1 below.

[수학식 1][Equation 1]

이 때,

는 카메라의 3차원 좌표를 나타낸다.At this time,

represents the 3D coordinates of the camera.

카메라 위치 추정부(120)는 카메라 위치 정보를 객체 위치 추정부(130)로 전송한다.The camera position estimator 120 transmits camera position information to the object position estimator 130 .

객체 위치 추정부(130)는 객체 코드의 영상 내 2차원 좌표, 카메라 위치 정보의 R, T 및 카메라의 재원을 활용해 객체 코드의 3차원 좌표를 추정한다. 예를 들어, 객체 위치 추정부(130)는 하기의 수학식 2와 같이 객체 코드의 영상 내 2차원 좌표, 카메라 위치 정보의 R, T 및 카메라의 재원을 활용해 객체 코드의 3차원 좌표의 관계에 따라 하기의 수학식 3과 같은 연립 방정식을 도출할 수 있다.The object location estimator 130 estimates the 3D coordinates of the object code by utilizing 2D coordinates in the image of the object code, R and T of the camera location information, and camera resources. For example, the object location estimator 130 utilizes the 2D coordinates in the image of the object code, R and T of the camera position information, and the camera resources as shown in Equation 2 below, and the relationship between the 3D coordinates of the object code. According to , simultaneous equations such as Equation 3 below can be derived.

[수학식 2][Equation 2]

이 때, (

,

)는 객체 코드의 영상 내 2차원 좌표이고, (X, Y, Z)는 객체 코드의 3차원 좌표이고,

은 카메라 재원, R 및 T를 고려한 변환 행렬이다.At this time, (

,

) is the two-dimensional coordinates in the image of the object code, (X, Y, Z) are the three-dimensional coordinates of the object code,

is a transformation matrix considering camera resources, R and T.

[수학식 3][Equation 3]

객체 위치 추정부(130)는 수학식 3과 같이 한 시점에 촬영한 영상을 이용하여 2개의 연립 방정식을 도출할 수 있다. 객체 위치 추정부(130)는 도 2와 같이 카메라가 비행 장치를 통해 이동하여 둘 이상의 시점에서 촬영한 영상을 통해 4개 이상의 연립 방정식을 도출하고, 해당 연립 방정식을 통해 변수인 객체 코드의 3차원 좌표를 산출할 수 있다.The object location estimator 130 may derive two simultaneous equations using an image captured at one point in time as shown in Equation 3. As shown in FIG. 2, the object position estimation unit 130 derives four or more simultaneous equations through images taken from two or more viewpoints as the camera moves through the flight device, and the three-dimensional object code, which is a variable, is derived through the simultaneous equations. coordinates can be calculated.

이 때, 객체 위치 추정부(130)는 4개의 방정식((X, Y, Z)를 변수로 하는 방정식)과 거리의 합이 최소인 점의 좌표를 객체 코드의 3차원 좌표로 산출할 수 있다. 또는 객체 위치 추정부(130)는 3개 방정식의 해를 산출하고, 산출된 해 중 나머지 방정식과의 최소 오차를 갖는 해를 객체 코드의 3차원 좌표로 산출할 수 있다. 객체 위치 추정부(130)는 객체 코드의 3차원 좌표를 출력부(140)로 전송한다.At this time, the object location estimator 130 may calculate the coordinates of the point where the sum of the four equations (equations with (X, Y, Z) as variables) and the distances is the minimum as the three-dimensional coordinates of the object code. . Alternatively, the object location estimator 130 may calculate solutions of the three equations, and among the calculated solutions, a solution having a minimum error with the remaining equations may be calculated as 3D coordinates of the object code. The object location estimation unit 130 transmits the 3D coordinates of the object code to the output unit 140 .

출력부(140)는 객체 코드의 3차원 좌표를 포함하는 객체 위치 정보를 생성하여 외부로 출력한다.The output unit 140 generates object location information including 3D coordinates of the object code and outputs it to the outside.

도 3은 본 발명의 일 실시 예에 따른 객체 위치 추정 장치가 객체의 위치를 추정하는 방법을 예시한 순서도이고, 도 4는 본 발명의 일 실시 예에 따른 객체 위치 추정 장치가 입력 받은 2개의 시점에 상응하는 영상의 기준 코드와 물체 코드의 좌표를 예시한 도면이다. 이하 설명하는 각 단계는 도 1을 참조하여 상술한 객체 위치 추정 장치를 구성하는 각 기능부가 수행하는 과정이나 발명의 간결하고 명확한 설명을 위해 각 단계의 주체를 위치 추정 장치로 통칭하도록 한다.3 is a flowchart illustrating a method for estimating the location of an object by an object location estimating device according to an embodiment of the present invention, and FIG. It is a diagram illustrating the coordinates of the reference code and the object code of the image corresponding to . In each step to be described below, the subject of each step is collectively referred to as a localization device for a concise and clear description of the process performed by each functional unit constituting the above-described object location estimating device with reference to FIG. 1 or the invention.

도 3을 참조하면, 단계 310에서 객체 위치 추정 장치는 카메라로부터 영상을 입력 받는다. 이 때, 카메라는 무인비행장치에 설치되어 객체를 촬영하는 카메라일 수 있다. 또한, 객체 위치 추정 장치는 무인 비행장치가 이동함에 따라 다른 시점에서 객체를 촬영한 영상을 카메라로부터 각각 입력 받을 수 있다.Referring to FIG. 3 , in step 310, the object location estimating device receives an image from a camera. In this case, the camera may be a camera installed in the unmanned aerial vehicle and photographing an object. In addition, the object location estimating apparatus may receive images of objects photographed from different viewpoints as the unmanned aerial vehicle moves, respectively, from the camera.

단계 320에서 객체 위치 추정 장치는 영상에서 기준 코드 및 객체 코드를 검출한다. 예를 들어, 객체 위치 추정 장치는 미리 설정된 알고리즘에 따라 영상 내에 존재하는 기준 코드 및 객체 코드의 영역을 모두 검출한다.In step 320, the object location estimating device detects a reference code and an object code from the image. For example, the object location estimating device detects both reference code and object code regions existing in an image according to a preset algorithm.

단계 330에서 객체 위치 추정 장치는 검출한 기준 코드의 수가 4 이상이고, 객체 코드의 수가 1 이상인지 판단한다. In step 330, the object location estimating device determines whether the number of detected reference codes is 4 or more and the number of object codes is 1 or more.

단계 330에서 기준 코드의 수가 4 미만이거나 객체 코드의 수가 1 미만인 경우, 객체 위치 추정 장치는 현재 영상으로는 객체 위치 추정이 불가능한 상황으로 판단하고 객체 위치 추정 과정을 종료할 수 있다. 이 때, 객체 위치 추정 장치는 객체 위치 추정이 불가능하다는 메시지를 출력할 수 있다.In step 330, when the number of reference codes is less than 4 or the number of object codes is less than 1, the apparatus for estimating object location determines that the object location cannot be estimated with the current image and may end the object location estimation process. At this time, the object location estimating device may output a message indicating that object location estimation is impossible.

단계 330에서 기준 코드의 수가 4 이상이고, 객체 코드의 수가 1 이상인 경우, 단계 340에서 객체 위치 추정 장치는 기준 코드 및 객체 코드의 영상 내 2차원 좌표를 획득하고, 기준 코드에서 표현하는 3차원 좌표를 획득할 수 있다. In step 330, when the number of reference codes is 4 or more and the number of object codes is 1 or more, in step 340, the apparatus for estimating object location obtains the reference code and the 2-dimensional coordinates of the object code in the image, and the 3-dimensional coordinates expressed in the reference code. can be obtained.

단계 350에서 객체 위치 추정 장치는 현재 카메라 위치에 따른 회전 변환 행렬 및 위치 변환 벡터를 산출한다. 예를 들어, 객체 위치 추정 장치는 카메라의 고유 재원, 기준 코드의 3차원 좌표 및 영상 내 기준 코드의 평면 좌표에 solvePnP 알고리즘을 적용하여 회전 변환 행렬 R과 위치 변환 벡터 T를 상술한 수학식 1에 따라 산출할 수 있다.In step 350, the object position estimating device calculates a rotation transformation matrix and a position transformation vector according to the current camera position. For example, the object position estimating device applies the solvePnP algorithm to the camera's intrinsic material, the 3-dimensional coordinates of the reference code, and the plane coordinates of the reference code in the image, and calculates the rotation transformation matrix R and the position transformation vector T in Equation 1 above. can be calculated according to

단계 360에서 객체 위치 추정 장치는 회전 변환 행렬 및 위치 변환 벡터에 따라 연립 방정식을 산출한다. 예를 들어, 객체 위치 추정 장치는 객체 코드의 영상 내 2차원 좌표, 카메라 위치 정보의 R, T 및 카메라의 재원을 활용해 객체 코드의 3차원 좌표의 관계에 따라 상술한 수학식 3과 연립 방정식을 도출할 수 있다. 또한, 객체 위치 추정 장치는 단계 310 내지 단계 360의 과정을 2회 이상 반복 수행하여 상이한 시점의 복수 영상에 따라 4개 이상(한 시점의 영상에서 각각 2개의 연립 방정식 도출)의 연립 방정식을 도출할 수 있다. 즉, 객체 위치 추정 장치는 도 4와 같이 시점 1 및 시점 2에서 촬영한 영상에 따른 각각의 기준 코드 및 물체 코드에 따라 연립 방정식을 각각 2개씩 도출하여 총 4개의 연립 방정식을 도출할 수 있다.In step 360, the object position estimating device calculates simultaneous equations according to the rotation transformation matrix and the position transformation vector. For example, the object location estimating device utilizes the 2D coordinates in the image of the object code, R and T of the camera position information, and the camera's resources according to the relationship between the 3D coordinates of the object code and the above-described Equation 3 and simultaneous equations. can be derived. In addition, the object location estimating apparatus may derive four or more simultaneous equations (each of two simultaneous equations derived from an image of one viewpoint) according to a plurality of images of different viewpoints by repeating the process of steps 310 to 360 twice or more. can That is, as shown in FIG. 4 , the apparatus for estimating object position can derive a total of four simultaneous equations by deriving two simultaneous equations according to each reference code and object code according to images captured at viewpoints 1 and 2.

단계 370에서 객체 위치 추정 장치는 객체 코드의 3차원 좌표를 산출한다. 본 발명의 일 실시 예에 따른 객체 위치 추정 장치는 4개의 방정식과 거리의 합이 최소인 점의 좌표를 객체 코드의 3차원 좌표로 산출할 수 있다. 객체 위치 추정 장치는 3차원 좌표를 포함하는 객체 위치 정보를 생성할 수 있다. 본 발명의 다른 실시 예에 따른 객체 위치 추정 장치는 3개 방정식의 해를 산출하고, 산출된 해 중 나머지 방정식과의 최소 오차를 갖는 해를 객체 코드의 3차원 좌표로 산출할 수 있다.In step 370, the object location estimating device calculates the 3D coordinates of the object code. The apparatus for estimating object location according to an embodiment of the present invention may calculate the coordinates of a point where the sum of the four equations and the distance is the minimum as the 3D coordinates of the object code. The object location estimating device may generate object location information including 3D coordinates. An apparatus for estimating object location according to another embodiment of the present invention may calculate solutions of three equations, and among the calculated solutions, a solution having a minimum error with the rest of the equations may be calculated as 3D coordinates of the object code.

따라서, 본 발명의 일 실시 예에 따른 객체 위치 추정 장치 및 방법은 이동 가능한 무인 비행 장치에 설치된 카메라를 통해 촬영된 영상을 통해 객체의 위치를 정확히 추정할 수 있다. 이에 따라 물류 시스템 등에서 객체 코드가 부착된 각종 객체의 위치를 드론 등의 무인 비행 장치를 통해 용이하게 파악할 수 있다.Therefore, the object position estimation apparatus and method according to an embodiment of the present invention can accurately estimate the position of an object through an image captured by a camera installed in a movable unmanned flying device. Accordingly, the location of various objects to which the object code is attached can be easily grasped through an unmanned flying device such as a drone in a distribution system or the like.

본 발명의 실시 예에 따른 객체 위치 추정 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method for estimating the location of an object according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium. Computer readable media may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on a computer readable medium may be specially designed and configured for the present invention or may be known and usable to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - Includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media and ROM, RAM, flash memory, etc. In addition, the above-described medium may be a transmission medium such as light including a carrier wave for transmitting a signal designating a program command, data structure, or the like, or a metal wire or a waveguide. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, the present invention has been looked at mainly by its embodiments. Those skilled in the art to which the present invention pertains will be able to understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered from a descriptive point of view rather than a limiting point of view. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the equivalent scope will be construed as being included in the present invention.

Claims

an input unit for receiving a plurality of images corresponding to different viewpoints;
a camera position estimator calculating a rotation transformation matrix and a position transformation vector corresponding to the reference code and object code in the image;
an object position estimator calculating 3-dimensional coordinates of the object code according to the rotation transformation matrix and the position transformation vector; and
and an output unit outputting object location information including 3-dimensional coordinates of the object code.

According to claim 1,
The object position estimation unit calculates simultaneous equations corresponding to the rotation transformation matrix and the position transformation vector,
The object location estimating device, characterized in that for calculating the three-dimensional coordinates of the object code through the simultaneous equations.

According to claim 2,
The object location estimation unit,
The object location estimation device, characterized in that for calculating the coordinates of the point where the sum of the four simultaneous equations and the distance is minimum as the three-dimensional coordinates of the object code.

According to claim 2,
The object location estimation unit,
An object location estimating device, characterized in that for calculating solutions of the three simultaneous equations, and calculating a solution having a minimum error with the other simultaneous equations among the calculated solutions as three-dimensional coordinates of the object code.

A method for estimating the location of an object by an object location estimating device,
receiving a plurality of images corresponding to different viewpoints;
Calculating a rotation transformation matrix and a position transformation vector corresponding to the reference code and object code in the image;
calculating three-dimensional coordinates of the object code according to the rotation transformation matrix and the position transformation vector; and
and outputting object location information including the 3D coordinates of the object code.

According to claim 5,
Calculating the three-dimensional coordinates of the object code according to the rotation transformation matrix and the position transformation vector,
calculating, by the object position estimation unit, simultaneous equations corresponding to the rotation transformation matrix and the position transformation vector; and
and calculating three-dimensional coordinates of the object code through the simultaneous equations.

According to claim 6,
Calculating the three-dimensional coordinates of the object code through the simultaneous equations,
and calculating the coordinates of a point where the sum of the four simultaneous equations and distances is minimum as the three-dimensional coordinates of the object code.

According to claim 6,
Calculating the three-dimensional coordinates of the object code through the simultaneous equations,
Calculating solutions of the three simultaneous equations, and calculating a solution having a minimum error with the other simultaneous equations among the calculated solutions as three-dimensional coordinates of the object code.