KR101755665B1 - System of point cloud bundler in 3D image information with stereo matching technology - Google Patents
System of point cloud bundler in 3D image information with stereo matching technology Download PDFInfo
- Publication number
- KR101755665B1 KR101755665B1 KR1020170023033A KR20170023033A KR101755665B1 KR 101755665 B1 KR101755665 B1 KR 101755665B1 KR 1020170023033 A KR1020170023033 A KR 1020170023033A KR 20170023033 A KR20170023033 A KR 20170023033A KR 101755665 B1 KR101755665 B1 KR 101755665B1
- Authority
- KR
- South Korea
- Prior art keywords
- bundler
- matching
- image
- stereo
- fastening
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/285—Analysis of motion using a sequence of stereo image pairs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
- G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
-
- H04N13/0282—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
본 발명은 스테레오 정합 기술로 생성된 3차원 형상 정보를 통한 포인트 클라우드 번들러 시스템에 관한 것으로, 더욱 상세하게는 스테레오(stereo) 정합 기술에 위치 자세를 이용하여 지도 좌표계로 절대 표정시키는 스테레오(Stereo) 정합 기술로 생성된 3차원 형상 정보를 통한 포인트 클라우드 번들러(Point cloud Bundler) 시스템에 관한 것이다. The present invention relates to a point cloud bundler system based on three-dimensional shape information generated by a stereo matching technique, and more particularly to a stereo cloud stereo system using a stereo stereo matching technique, And a point cloud bundler system using three-dimensional shape information generated by matching technology.
Description
본 발명은 측지 측량 기술 분야 중 스테레오 정합 기술로 생성된 3차원 형상 정보를 통한 포인트 클라우드 번들러 시스템에 관한 것으로, 더욱 상세하게는 스테레오(stereo) 정합 기술에 위치 자세를 이용하여 지도 좌표계로 절대 표정시키는 스테레오(Stereo) 정합 기술로 생성된 3차원 형상 정보를 통한 포인트 클라우드 번들러(Point cloud Bundler) 시스템에 관한 것이다. Field of the Invention The present invention relates to a point cloud bundler system based on three-dimensional shape information generated by a stereo matching technique in the field of geodesy, and more particularly to a point cloud bundler system using stereo positioning technology, To a point cloud bundler system using three-dimensional shape information generated by a stereo matching technique.
인간의 시각 체계는 서로 다른 위치에서 획득된 두 영상을 적절히 정합함으로써 거리 정보를 얻는 것으로 알려져 있다.The human visual system is known to obtain distance information by appropriately matching two images obtained at different positions.
스테레오 정합은 인간 시각 체계의 거리 추출 능력을 자동화하기 위한 컴퓨터 시각 분야 중 하나이다. Stereo matching is one of the computer vision fields to automate the distance extraction capability of the human visual system.
이 방법은 초음파와 레이저를 광원으로 사용하여 빛의 비행시간과 속도의 함수로써 거리를 측정하는 것보다 효과적이고 실제 응용 환경의 제약을 적게 받는다는 장점 때문에 의료 영상, 공장 자동화 및 지도 제작에 널리 이용되어 오고 있다.This method is widely used for medical imaging, factory automation, and map production because it is more effective than the distance measurement as a function of the flight time and speed of light using ultrasonic waves and laser as a light source, It is coming.
거리 정보를 얻기 위한 기본 단계는 영상 획득, 특징 추출, 스테레오 정합, 변위 추정, 변위로 부터의 거리 계산 등으로 이루어지는 여기에서 가장 중요한 인자는 특징으로 사용될 정합요소의 선택과 그 요소에 적절한 정합 전략을 구하는 것이라 할 수 있다.The basic steps for acquiring distance information are image acquisition, feature extraction, stereo matching, displacement estimation, distance calculation from displacement, etc. Here, the most important factor is selection of matching elements to be used as characteristics, It is possible to obtain.
그런데, 스테레오(Stereo) 정합의 단점은 해상도에 따른 영상 1쌍의 스테레오(stereo) 영상에 대한 값을 얻을 수 있다는 것이다.However, the disadvantage of stereo matching is that a value for a stereo image of a pair of images according to the resolution can be obtained.
그리고, 한 쌍의 스테레오 영상의 경우 너무 큰 값을 가지고 있기 때문에 데이터 처리에 오랜 시간이 걸리기 때문에 이 경우를 특징점 매칭을 통해 소거할 필요가 있다.Since a pair of stereo images has a too large value, it takes a long time to process the data, so it is necessary to erase this case through the feature matching.
한편, 확장자가 SfM(Surface Feet per Minute)인 파일을 이용한 표정해석의 경우 다중 영상을 이용하여 전체 형상 정보를 취득하는 것은 유리하지만 3차원 취득 영상에 대한 스케일 값이 적용되지 않아 설계에 쓰이기는 적절하지 않다. On the other hand, in the case of facial expression analysis using a file having an extension of SfM (Surface Feet per Minute), it is advantageous to acquire the entire shape information by using multiple images, but the scale value for the three- I do not.
하지만, SfM의 경우 사용자가 특정 지점에 대한 GCP(지상 기준점. Ground Control Point)를 찍어주거나, 각각의 사진마다 외부 표정 요소를 입력할 경우 스케일 값이 적용되지만, 사용자의 숙련도가 결과물에 영향을 주게 되므로 숙련도에 영향을 받지 않도록 할 필요가 있다.However, in the case of SfM, the scale value is applied when the user takes a GCP (Ground Control Point) for a specific point or inputs an external facial expression element for each photograph, but the skill of the user affects the result Therefore, it is necessary not to be influenced by proficiency.
본 발명은 상술한 바와 같은 종래 기술상의 제반 문제점을 감안하여 이를 해결하고자 창출된 것으로, 스테레오 정합을 통한 절대 표정과 SfM의 다중 형상 모델링을 통한 오차 분포 등 스테레오(Stereo) 정합과 SfM의 장점들을 제공할 수 있도록 스테레오(stereo) 정합 기술에 위치 자세를 이용하여 지도 좌표계로 절대 표정시키는 스테레오 정합 기술로 생성된 3차원 형상 정보를 통한 포인트 클라우드 번들러 시스템을 제공함에 그 주된 목적이 있다.SUMMARY OF THE INVENTION The present invention has been made in view of the above-described problems in the prior art, and provides advantages of stereo matching and SfM such as absolute expression through stereo matching and error distribution through multi-shape modeling of SfM The present invention provides a point cloud bundler system using three-dimensional shape information generated by a stereo matching technique in which a stereoscopic coordinate system is used to express absolute coordinates in a stereo coordinate system using a positional attitude.
본 발명은 상기한 목적을 달성하기 위한 수단으로, 스테레오 카메라(100)와 무선통신망을 통해 통신하여 영상정보를 수신하는 번들러 서버(310)와; 상기 번들러 서버(310)에 연결되어 번들러 서버(310)의 제어신호에 따라 지역별 수치지도 정보를 입출력, 저장, 갱신, 삭제하는 지도데이터베이스(320)와; 상기 번들러 서버(310)와 연결되어 스테레오 카메라(100)가 획득한 영상을 정합시켜 3차원 형상 정보로 생성하는 정합기(330)와; 상기 번들러 서버(310)와 연결되어 스테레오 카메라(100)가 획득한 영상을 지도좌표계로 절대 표정시키는 맵핑기(340)를 포함하는 스테레오 정합 기술로 생성된 3차원 형상 정보를 통한 포인트 클라우드 번들러 시스템에 있어서;In order to achieve the above-mentioned object, the present invention provides a video camera, comprising: a bundler server (310) for communicating with a stereo camera (100) via a wireless communication network and receiving image information; A
상기 스테레오 카메라(100)는 거치판(210) 상에 거치 고정하여 사용할 수 있도록 상기 거치판(210)의 상면에는 볼컵(220)이 일정 높이 돌출되게 고정되고, 상기 스테레오 카메라(100)의 하단면 중앙에는 상기 볼컵(220)에 볼조인트되는 볼조인트부(110)가 돌출되며, 상기 거치판(210)의 하단면에는 U형상의 고정기둥(230)이 연결되어 상기 거치판(210)을 지지하고;The
상기 고정기둥(230)에는 체결브라켓(240)이 결속되며, 상기 체결브라켓(240)과 일체를 이룬 지지편(250)을 통해 사용자가 허리에 감고 있는 벨트(BT)에 지지고정되도록 구성되는데, 상기 체결브라켓(240)은 전면커버(242)와 후면커버(244) 및 이들을 조여 고정하는 체결볼트(246)를 포함하되, 상기 전면커버(242)는 양단에 호형상의 체결편(242a) 한 쌍이 형성되고, 상기 한 쌍의 체결편(242a)은 전면연결편(242b)에 의해 연결되어 일체를 이루며; 상기 후면커버(244)도 양단에 호형상의 결속편(244a) 한 쌍의 형성되고, 상기 한 쌍의 결속편(244a)은 후면연결편(244b)에 의해 연결되어 일체를 이루며; 상기 체결볼트(246)는 상기 전면연결편(242b)과 후면연결편(244b)을 상호 체결시키고; 상기 후면커버(244)의 후면연결편(244b)의 배면 상단에는 고정지지편(250)이 연장되며, 상기 고정지지편(250)은 연장된 후 수직절곡되어 일정길이 다시 연장된 절곡단부(252)를 갖고, 상기 절곡단부(252)는 벨트(BT)와 바지 사이의 공간으로 침투되며, 상기 고정지지편(250)이 벨트(BT)에 안정적으로 고정되도록 하기 위해 벨트(BT)의 하부에는 상기 벨트(BT)를 감싸면서 일단은 상기 절곡단부(252) 속으로 삽입되고 타단은 상기 고정지지편(250)의 하단면에 나사고정되는 이탈방지편(254)이 더 구비된 것을 특징으로 하는 스테레오 정합 기술로 생성된 3차원 형상 정보를 통한 포인트 클라우드 번들러 시스템을 제공한다.The
본 발명은 한 쌍의 스테레오 영상이 너무 큰 값을 가지지 않으므로 데이터 처리에 오랜 시간이 걸리지 않으며 특징점 매칭을 통해 해결하는 장점이 있다. The present invention is advantageous in that it does not take a long time to process the data because a pair of stereo images do not have a too large value and is solved through feature point matching.
또한, 본 발명은 SfM의 경우 사용자가 특정 지점에 대한 GCP를 찍어주거나, 각각의 사진마다 외부 표정 요소를 입력할 경우 스케일 값이 적용되지만, 사용자의 숙련도가 결과물에 영향을 주지 않은 장점이 있다. In addition, in the case of SfM, the scale value is applied when a user takes a GCP for a specific point or inputs an external facial expression element for each photograph, but the advantage is that the proficiency of the user does not affect the result.
뿐만 아니라, 본 발명은 스테레오정합을 통한 절대 표정과 SfM의 다중 형상 모델링을 통한 오차 분포 등 Stereo 정합과 SfM의 장점들을 활용할 수 있다.In addition, the present invention can utilize the advantages of Stereo matching and SfM such as absolute expression through stereo matching and error distribution through multi-shape modeling of SfM.
도 1은 연직방향 3D 데이터의 최종 결과물 예시도.
도 2는 공선 조건식 예시도.
도 3은 에피폴라 라인 매칭 예시도
도 4는 카메라 좌표계와 실좌표계 예시도.
도 5는 에피라인(epiline)을 통한 매칭 예시도.
도 6은 다중 영상을 통해 만들어지는 W 매트릭스 예시도.
도 7은 SfM 알고리즘 처리 과정 예시도.
도 8은 데이터의 흐름 예시도.
도 9는 카메라의 위치, 자세와 focal length 값을 통해 스테레오 정합된 영상을 절대 표정시키는 상태 예시도.
도 10은 각 영상간의 위치값 오차값을 붉은 선과 노란 선으로 표시한 예시도.
도 11은 왼쪽 2D 영상 정보를 이용한 각 영상간의 특징점 매칭 예시도.
도 12는 다중 스테레오 정합 데이터 특징점 추출 예시도.
도 13은 각 정합 영상의 왼쪽 같을 통한 결과 수정 예시도.
도 14는 측면부 3D 데이터 정합 예시도.
도 15는 위치점에 대한 결과 값을 일괄적으로 이동 예시도.
도 16은 독일 자율 주행에 쓰이는 SLAM의 예시도.
도 17은 본 발명에 따른 번들러 시스템의 개략적인 구성도.
도 18은 본 발명에 따른 스테레오 카메라의 거치대 구조를 보인 예시도.
도 19는 도 18의 요부를 발췌하여 보인 예시적인 단면도.BRIEF DESCRIPTION OF THE DRAWINGS Figure 1 is an example of the final result of vertical direction 3D data.
2 is an illustration of a collinear conditional expression.
Figure 3 shows an example of epipolar line matching
Figure 4 is an illustration of a camera coordinate system and a real coordinate system.
Figure 5 is an example of matching through an epiline.
FIG. 6 is an illustration of a W matrix formed through multiple images; FIG.
7 illustrates an example of the SfM algorithm processing process.
8 is an exemplary flow of data.
FIG. 9 is a state diagram illustrating a state in which a stereo-matched image is expressed in absolute terms based on the position, attitude, and focal length of a camera.
FIG. 10 is a diagram showing an example of a positional value error value between respective images indicated by a red line and a yellow line; FIG.
11 is an exemplary view of matching feature points between images using left 2D image information.
12 is an exemplary illustration of extracting multiple stereo matching data feature points.
13 is an example of correcting the result through the left side of each registered image.
14 is a side view of an example of 3D data registration;
Fig. 15 is an example of collectively moving result values for a position point. Fig.
16 shows an example of SLAM used for autonomous driving in Germany;
17 is a schematic configuration diagram of a bundler system according to the present invention;
18 is an exemplary view showing the structure of a cradle of a stereo camera according to the present invention.
Fig. 19 is an exemplary cross-sectional view excerpted from the main part of Fig. 18; Fig.
이하에서는, 첨부도면을 참고하여 본 발명에 따른 바람직한 실시예를 보다 상세하게 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
본 발명 설명에 앞서, 이하의 특정한 구조 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며, 본 명세서에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니된다.Before describing the present invention, the following specific structural or functional descriptions are merely illustrative for the purpose of describing an embodiment according to the concept of the present invention, and embodiments according to the concept of the present invention may be embodied in various forms, And should not be construed as limited to the embodiments described herein.
또한, 본 발명의 개념에 따른 실시예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로, 특정 실시예들은 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시 형태에 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경물, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.In addition, since the embodiments according to the concept of the present invention can make various changes and have various forms, specific embodiments are illustrated in the drawings and described in detail herein. However, it should be understood that the embodiments according to the concept of the present invention are not intended to limit the present invention to specific modes of operation, but include all modifications, equivalents and alternatives falling within the spirit and scope of the present invention.
본 발명의 스테레오 정합 기술로 생성된 3차원 형상 정보를 통한 포인트 클라우드 번들러 시스템은 스테레오(stereo) 정합 기술에 위치 자세를 이용하여 지도 좌표계로 절대 표정 작업시키는 것을 특징으로 한다.The point cloud bundler system based on the three-dimensional shape information generated by the stereo matching technique of the present invention is characterized in that absolute stereoscopic operation is performed using a position coordinate system in a stereo coordinate system.
도 1은 연직방향 3D 데이터의 최종 결과물 예시도로서, 후술되는 다수의 과정을 통해 최종적으로 얻어질 수 있는 결과물을 예시한다. FIG. 1 is an example of the final result of 3D data in the vertical direction, which illustrates the result finally obtained through a plurality of processes described later.
이를 위한 처리과정중 하나로 에피폴라 라인 보정을 포함한다.One of the processing steps for this is to include epipolar line correction.
[[ 에피폴라Epipolar 라인 보정] Line correction]
에피폴라 커브 생성은 좌측 영상의 임의의 한 점에서 출발하여 좌측 영상, 지상점 우측 영상에 대한 반복 투영을 통해 에피폴라 커브를 생성하는 기법이다.The epipolar curve generation is a technique for generating an epipolar curve through a repetitive projection on the left image and the right image on the ground point, starting at an arbitrary point on the left image.
좌측 영상의 중심에 대한 에피폴라 커브에 대한 예로 도 2의 영상을 도 3을 참조하여 예시적으로 설명한다.An example of the epipolar curve with respect to the center of the left image will be illustrated by way of example with reference to Fig. 3.
도 2에 의한 영상의 중심점 p점에서 지상의 최대, 최소 높이를 거쳐 우측 영상의 q1, q2 영상점이 획득되고, 이 두 점은 각각 같은 방법을 통해 좌측 영상 p', p"점을 생성한다.The q1 and q2 image points of the right image are obtained through the maximum and minimum height of the ground at the center point p of the image according to FIG. 2, and these two points respectively generate the left image p ', p "through the same method.
반복할수록 투영점이 계속 생성되면서 영상의 끝에 다다르게 되며 이 투영 영상점을 이은 것이 곧 에피폴라 커브가 된다.Repeatedly, the projection point continues to be generated and reaches the end of the image, which is the epipolar curve after the projection image point.
영상에 대해 영상 변환식을 도출하여 에피폴라 곡선을 통해 영상 상리샘플링 영상 변화식의 0.5 픽셀 및 정밀 y 시차를 확보한다.An image transformation equation is derived for the image, and 0.5 pixel and precision y parallax of the resampling image variation equation is secured through the epipolar curve.
예컨대, 도 3에서와 같이 3차원 공간상의 한 점 P가 영상 A에서는 p에 투영되고, 영상 B에서는 p'에 투영됐다고 하면, 이때 두 카메라 원점을 잇는 선과 이미지 평면이 만나는 e, e'을 에피롤(epipole)이라 부르고 투영점과 에피폴(epipole)을 잇는 직선 l, l' 을 에피라인(epiline) 혹은 에피폴라 라인(epipolar line)이라 부른다,For example, supposing that a point P in the three-dimensional space is projected to p in the image A and projected to p 'in the image B as shown in FIG. 3, e and e', where the line connecting the two camera origin and the image plane meet, The line l, l 'connecting the projection point and the epipole is called an epiline or an epipolar line,
epiline은 3차원의 점 P와 투 카메라 원점을 잇는 평면(epipolar plane)과 이미지 평면과의 교선 공선 조건식으로도 나타낼 수 있다.The epiline can also be expressed as an equilibrium collinear condition between an epipolar plane connecting the 3D point P and the origin of the two cameras and the image plane.
두 카메라 위치 사이의 기하학적 관계[Rlt]를 알고 있고 영상 A에서의 영상좌표 p를 알고 있을 때, 영상 B에서 대응되는 점 p'의 좌표를 구하는 문제를 생각해 보면 이때, 점 P가지의 거리(depth) 정보를 모른다면 영상좌표 p로부터 투영된 좌표 p' 또한 유일하게 결정할 수 없다.When we know the geometric relationship [Rlt] between the two camera positions and know the image coordinate p in the image A, we get the coordinates of the corresponding point p 'in the image B. In this case, ) Information, the projected coordinate p 'from the image coordinate p can not be uniquely determined either.
하지만, 점P는 A카메라의 원점과 p를 잇는 직선(line) 상에 존재하기 때문에 이 직선을 영상 B에 투영시키면 점 p'이 이 투영된 직선 위에 있음을 알 수 있다.However, since the point P exists on a line connecting the origin of the camera A and p, it can be seen that when the straight line is projected on the image B, the point p 'is on the projected straight line.
이 투영된 직선이 바로 epiline l' 이다.This projected straight line is epiline l '.
정리하면, 도 3에서의 A의 영상좌표 p로부터 대응되는 B의 영상좌표 p'을 유일하게 결정할 수 없지만 p'이 지나는 직선인 epiline l'은 유일하게 결정할 수 있다.In summary, epiline l ', which is a straight line passing through p', can not be determined uniquely from the image coordinate p 'of the corresponding B from the image coordinate p of A in Fig. 3 can be uniquely determined.
그리고, 한 영상좌표로부터 다른 영상에서의 대응되는 epiline을 계산해주는 변환 행렬이 Fundamental Matrix, Essential Matrix이다.The transformation matrix for calculating the corresponding epiline in one image from one image coordinate is Fundamental Matrix, Essential Matrix.
서로 다른 두 시점에서 찍은 영상좌표들 사이에는 Fundamental Matrix, Essential Matrix를 매개로 하는 어떤 변환 관계가 성립하는데, Epiploar Geometry에서는 이 변환관계를 바탕으로 여러 기하학적 문제를 풀게 된다.There are some transformation relations between Fundamental Matrix and Essential Matrix between image coordinates taken at two different view points. In Epiploar Geometry, various geometric problems are solved based on this transformation relation.
[Essential Matrix][Essential Matrix]
[수식 1] [수식 2][Equation 1] [Equation 2]
Essential Matrix란 임의의 두 지점에서 찍은 영상의 매칭 점들은 항상 [수식 1]을 통해 관계지을 수 있으며, 이때 [수식 1]을 epipolar constraint(또는 essential constraint)라고 한다.In Essential Matrix, matching points of images taken at any two points are always related by [Equation 1], and [Equation 1] is called epipolar constraint (or essential constraint).
이 식에서, [수식 2]와 같이, 3×3 행렬 E를 Essential Matrix라 부른다.In this equation, the 3x3 matrix E is called the Essential Matrix as shown in [Equation 2].
Essential Matrix E가 항상 존재하는 이유는 다음과 같다.The reason why Essential Matrix E always exists is as follows.
임의의 두 카메라 좌표축 사이의 관계는 회전, 평행이동에 의해 관계지을 수 있기 때문에 두 카메라 좌표축 사이의 3×3 회전행렬을 R, 3×1 평행이동 벡터를 t라 했을 때, 외부 공간상의 한 점을 두 카메라 좌표계에서 봤을 때의 관계를 하기한 [수식 3]과 같이 표현할 수 있다.Since the relationship between arbitrary two camera coordinate axes can be related by rotation and translation, when a 3 × 3 rotation matrix between two camera coordinate axes is R and a 3 × 1 parallel motion vector is t, Can be expressed as shown in [Equation 3] below.
[수식 3][Equation 3]
단, P는 외부 공간상의 점을 A 카메라 좌표계에서 봤을 때의 3차원 좌표, P'은 B 카메라 좌표계에서 봤을 때의 3차원 좌표이다.Where P is the three-dimensional coordinate of the point on the outer space when viewed from the A camera coordinate system, and P 'is the three-dimensional coordinate of the point on the B camera coordinate system.
이때, Essential Matrix E를 [수식 4]와 같이 잡으면,At this time, if Essential Matrix E is held as shown in [Equation 4]
[수식 4][Equation 4]
아래의 [수식 5]가 만족됨을 알 수 있다.The following
단, [수식 4]에서 [t]x는 벡터 t와의 벡터 외적(outer product)을 의미한다.In Equation (4), [t] x means the vector outer product with the vector t.
또한, [t]xR은 t와 R과의 외적을 의미하는 게 아니라 먼저 R로 회전을 시킨 후 다음에 t와 외적을 시키는 일련의 변환을 의미한다. 즉, Ep = [t]xRp = t × (Rp) 이다.Also, [t] xR does not refer to the outer product of t and R, but to a series of transformations that first rotate to R and then t and outer product. That is, Ep = [t] xRp = t x (Rp).
[수식 5] [수식 6][Equation 5] [Equation 6]
이때, [수식 5]의 좌변에 E = [t]xR을 대입해 보면 다음 [수식 7]과 같이 항상 0이 나옴을 알 수 있다.In this case, when E = [t] xR is substituted into the left side of Equation (5), it can be seen that 0 always appears as in Equation (7).
[수식 7][Equation 7]
이제, [수식 5]의 카메라 좌표를 정규 이미지 좌표로 바꾸면 [수식 8]이 성립함을 알 수 있다.Now, by replacing the camera coordinates of [Equation 5] with the normal image coordinates, it can be seen that [Equation 8] holds.
[수식 8][Equation 8]
[Fundamental Matrix][Fundamental Matrix]
Fundamental Matrix는 카메라 파라미터까지 포함한 두 이미지의 실제 픽셀(pixel) 좌표 사이의 기하학적 관계를 표현하는 행렬이다.The Fundamental Matrix is a matrix that represents the geometric relationship between the actual pixel coordinates of two images, including camera parameters.
임의의 두 이미지 A, B에 대하여, 매칭되는 픽셀 좌표 pimg, pimg' 사이에는 항상 다음과 같은 관계를 만족하는 행렬 F가 존재하고, 이러한 행렬 F를 Fundamental Matrix라 부르며 [수식 9,10]과 같이 표현할 수 있다.For any two images A and B, there is always a matrix F between matched pixel coordinates pimg and pimg 'that satisfies the following relationship, and this matrix F is called a Fundamental Matrix, as shown in [Equation 9,10] Can be expressed.
[수식 9] [수식 10][Equation 9] [Equation 10]
이때, 이미지 A에 대한 카메라 내부 파라미터 행렬을 K, 이미지 B에 대한 카메라 행렬을 K‘, 이미지 A, B 사이의 Essential Matrix를 E라 하면 Fundamental Matrix F는 다음 [수식 11, 12]와 같이 주어진다.Let K be the camera matrix of the image B, K be the camera matrix parameter for the image A, and E be the Essential Matrix between the images A and B. The Fundamental Matrix F is given by Eq.
[수식 11] [수식 12][Equation 11] [Equation 12]
만일, 이미지 A, B를 동일한 카메라로 촬영했다면 카메라 행렬(K)이 동일하기 때문에 [수식 11], [수식 12]는 다음 [수식 13] 및 [수식 14]와 같이 좀 더 단순화된다.If the images A and B are photographed with the same camera, the equations (11) and (12) can be further simplified as shown in the following equations (13) and (14) because the camera matrix (K) is the same.
[수식 13] [수식 14][Equation 13] [Equation 14]
[카메라 [camera 캘리브레이션calibration (Camera Calibration)](Camera Calibration)]
카메라 영상은 3차원 공간상의 점들을 2차원 이미지 평면에 투사(perspective projection)함으로써 얻어진다.The camera image is obtained by projecting the points on the three-dimensional space onto the two-dimensional image plane.
핀홀(pinhole) 카메라 모델에서 이러한 변환 관계를 다음과 같이 모델링된다.In the pinhole camera model, this conversion relation is modeled as follows.
[수식 15][Equation 15]
상기 [수식 15]는 카메라 캘리브레이션에 관한 모델링 수식이다.[Equation 15] is a modeling formula relating to camera calibration.
여기서는 월드 좌표계(world coordinate system) 상의 3D 점의 좌표, [Rlt]는 월드 좌표계를 카메라 좌표계로 변환 시키기 위한 회전/이동변환 행렬이며 A는 camera matrix이다.Here, the coordinates of the 3D point on the world coordinate system, [Rlt] is the rotation / motion transformation matrix for converting the world coordinate system to the camera coordinate system, and A is the camera matrix.
이러한 상태는 첨부된 도 4에 잘 도시되어 있다.This condition is well illustrated in the attached FIG.
수식적으로 보면, 카메라 캘리브레이션(camera calibration)은 위와 같은 3D 공간좌표와 2D 영상좌표 사이의 변환 관계식을 나타낸다.Formally, the camera calibration represents the conversion relationship between the 3D spatial coordinates and the 2D image coordinates.
이렇게 나타내는 값은 3차원 점들이 영상에 투영된 위치를 구하거나 역으로 영상좌표로부터 3차원 공간좌료를 복원할 때에는 이러한 내부 요인을 제거해야만 정확한 계산이 가능해지고, 이러한 내부 요인의 파라미터 값을 구하는 과정을 카메라 캘리브레이션이라 한다.When the three-dimensional points are reconstructed from the image coordinates or the three-dimensional spatial coordinates are reconstructed from the image coordinates, it is necessary to remove the internal factors to obtain the accurate calculation. In order to obtain the parameter values of the internal factors Is referred to as camera calibration.
[기존 스테레오 [Original stereo 정합방법Matching method ]]
스테레오 정합은 정합 요소에 따라 크게 특징 기반(feature-based)법과 영역기반(area-based)법으로 나눌 수 있다.Stereo matching can be divided into feature-based and area-based methods depending on the matching elements.
특징 기반에 사용되는 정합요소(matching primitive)는 영 교차점, 경계선, 모서리, 마루, 골, 원추 곡선 등이 있다.The matching primitives used in the feature base are zero intersections, boundaries, edges, floors, valleys, and conic curves.
이들은 정합점이 정확하고 잡음에 강한 특징을 가지나, 정합되어지는 점들이 적으므로 전체 영상의 변위 값을 구하기 위해서는 폐색 모델링(occlusion modeling)과 변위연속성(disparity continuity) 등을 포함하는 어려운 내삽(interpolation) 과정을 필요로 하게 된다.In order to obtain the displacement values of the entire image, a difficult interpolation process including occlusion modeling and disparity continuity is required because the matching points are accurate and noise-resistant, but there are few matching points. .
반면에, 영역 기반 법에서의 정합 요소는 밝기 정보의 변화가 평탄하거나 동일한 영역의 모양, 평균 밝기 및 면적 등을 이용한다.On the other hand, the matching elements in the area-based method use the shape, the average brightness and the area of the same area in which the brightness information changes smoothly or the same.
이 정합 요소는 밝기 정보에 많이 의존하기 때문에 잡음에 약한 면이 있지만 영상의 전체 거리 정보를 얻을 수 있다는 장점이 있다.Since the matching element depends on brightness information, there is an advantage in that the entire distance information of the image can be obtained although there is a weakness in noise.
최근에는 계층적인 정합법, 여러 가지 정합 요소를 이용하는 복합적인 정합법, 색 정보를 이용하는 정합법, 여러 장의 스테레오 영상을 이용하는 정합법, 그리고 위상을 이용하는 정합법, 신경회로망을 이용하는 방법, 유전자 알고리듬을 이용하는 방법 등이 제안되고 있다.Recently, there have been various methods such as hierarchical matching method, complex matching method using multiple matching elements, matching method using color information, matching method using multiple stereo images, phase matching method, neural network method, And the like have been proposed.
(( 1)빌보드1) Billboard 스윕Sweep 스테레오 시차 정합 알고리즘 Stereo parallax matching algorithm
스테레오 영상으로부터 지면, 지면 위에 존재하는 객체, 그리고 카메라로부터의 거리가 먼 배경의 세 영역에 대한 시차를 결정하는 알고리즘이다. 제안된 시스템에서는 지면, 객체 및 배경의 세 영역 중 객체영역을 검출 영역 후보 영역으로 활용한다.It is an algorithm that determines the parallax between stereo image and background, object on the ground, and background in distant background. In the proposed system, object region is used as a detection region candidate region among three regions of ground, object and background.
해당 영상의 시차와 레이블을 결정하기 위한 과정은 크게 호모그래피 기반의 정합비용 획득과정과 계산된 정합비용을 활용한 다중방향선 최적화 과정으로 구분된다.The process for determining the parallax and label of the image is largely divided into a homography-based matching cost acquisition process and a multi-directional line optimization process using the calculated matching cost.
우선, 미리 정의된 각 3차원 평면에 대해 호모그래피 기반의 정합 비용을 획득한다.First, a homography-based matching cost is obtained for each of the predefined three-dimensional planes.
스테레오 카메라와 3차원 평면의 관계식은 다음과 같이 호모그래피 H로 표현된다.The relationship between the stereo camera and the 3D plane is expressed as homography H as follows.
[수식 16][Equation 16]
(( 2)상관2) Correlation 기반 함수 Base function
차 기반함수(SAD, SSD) 보다 상관 기반 함수(NCC, NC, Censustransform)는 두 영상간의 선형적인 밝기 변화나 영상왜곡 등에 강인한 특성을 보인다.Correlation based functions (NCC, NC, Censustransform) show more robust characteristics such as linear brightness change and image distortion between two images than difference based functions (SAD, SSD).
차 기반 함수는 화소 단위 정합이 가능하나, 실영상에서 영상의 잡음이 많은 경우 또는 물체의 경계 영역에서 정합 성능을 높이기 위해서, 원도우 기반의 비교 정합을 주로 사용하게 된다.In order to improve the matching performance in the case where there is a large amount of noise of the image in the real image or in the boundary region of the object, the window based function is mainly used in the window-based comparison matching.
조명 환경이 열악하거나 밝기 오프셋이 존재하는 영상의 경우 상관 기반의 정합 방법이 차 기반 정합 방법에 비해 상대적으로 우수한 결과를 보인다.For images with poor lighting conditions or brightness offsets, the correlation-based matching method provides relatively better results than the vehicle-based matching method.
첨부된 도 5를 참조하기로 한다.Please refer to FIG. 5 attached hereto.
상관 기반 함수 중 NCC에서 설명하고 한다.The correlation-based functions are described in the NCC.
NCC 알고리즘의 일반적인 식은 다음과 같다.The general expression of the NCC algorithm is as follows.
[수식 17][Equation 17]
NCC 알고리즘은 위의 [수식 17]과 같이 좌·우 영상의 화소값의 공분산(covariance)을 분자로 하고 각 화소의 표준 편차(standard deviation)를 분모로 한다.The NCC algorithm uses the covariance of the pixel values of the left and right images as a numerator and denominates the standard deviation of each pixel as shown in [Equation 17].
이때, 표준편차는 분산(variance)의 제곱근 값을 취한다.At this time, the standard deviation takes the value of the square root of the variance.
이를 통해, 영상의 밝기 상호 관련도(brightness correlation)를 비교하여 유사도가 가장 큰 값을 찾는 것이다.In this way, brightness correlation of images is compared to find the value with the greatest similarity.
좌영상 기반의 스테레오 정합 과정의 경우 수식에서 동일한 에피폴라 라인 상에 놓인 두 윈도우 영역에 대해 우 영상의 시차범위[0,d]에 대해 각각의 NCC 결과를 비교하게 된다.For the left-image-based stereo matching process, the NCC results are compared for the right-eye parallax range [0, d] for the two window regions lying on the same epipolar line in the equations.
NCC 결과의 범위는 [-1,1]을 가지게 되나 스테레오 정합과정에서는 역 상관관계는 제외하여 [0,1]의 범위를 그 대상으로 하게 된다. The range of the NCC result is [-1,1], but in the stereo matching process, the range of [0,1] is covered by excluding the inverse correlation.
[[ SfMSfM 를 통한 Point cloud 추출]Point cloud extraction through
2차원 영상을 이용하여 3차원 정보를 얻기 위한 연구는 컴퓨터 비전 분야에서 활발하게 연구되고 있다.Research for obtaining 3D information using 2D image has been actively studied in the field of computer vision.
기본 연구의 대부분은 스테레오 카메라에서 스테레오 기하 연구를 통하 부분적인 3차원 복원을 말한다. Most of the basic research refers to a partial three-dimensional reconstruction through a stereo geometry study in a stereo camera.
세장 이상의 영상을 통해 다중영상기하를 이용한 Structure from Motion(SFM) 연구는 촬영 환경이나 별도의 카메라 보정이 필요 없는 점 등의 환경에 제약이 없으며, 사전에 특수한 조건 없이 촬영된 영상을 처리하여 3차원 보원기능을 갖고 있다. The structure from motion (SFM) study using multiple image geometry through over three images has no restriction on the environment such as the shooting environment or the need for separate camera calibration. It has a preservation function.
다음의 자중영상기하에서 만들어지는 W 메트릭스(2m x n)는 다음의 첨부된 도 6 과 도 7 에 도시된 수식과 같이 정의 또는 설명된다.The W metrics (2m x n) produced in the following weighted image geometry are defined or described as the following formulas shown in FIGS. 6 and 7 attached hereto.
SfM 기법은 촬영된 중복 영상을 에피폴라 기하를 이용한 image matching 을 통해 3차원 point cloud 데이터로 피사체를 재구성하는 computer vision 기법이다.The SfM technique is a computer vision technique for reconstructing a subject with 3D point cloud data through image matching using epipolar geometry.
SfM 기법은 사진에 저장된 태그로부터 초점거리, 카메라 종류, 영상 크기 등의 정보를 취득하여 초기값으로 이용, 접합을 위한 영상을 특징점을 추출하며(SGM), 참고자료는 아래와 같다.The SfM technique extracts feature points (SGM) from the images stored in the photographs using focal length, camera type, image size, etc. as initial values and joining images.
[1]스테레오 정합 - http://cilab.knu.ac.kr/research/Vision/matching.htm[1] Stereo Matching - http://cilab.knu.ac.kr/research/Vision/matching.htm
[2]epipolar geometry - http://darkpgmr.tistory.com/83[2] epipolar geometry - http://darkpgmr.tistory.com/83
[3][영상 Geometry #1] 좌표계- http://darkpgmr.tistory.com/77[3] [Geometry # 1] Coordinate system - http://darkpgmr.tistory.com/77
[4]고밀도 3D 형상 계측 시스템에서의 고속 시차 추정을 위한 NCC 알고리즘 기반 하드웨어 구조 - 배경렬, 권 순, 이용환, 이종훈, 문병인[4] Hardware structure based on NCC algorithm for high-speed parallax estimation in high-density 3D shape measurement system - Kwon Lee, Kwon Soon, Yong Whan Lee, Jong Hoon Lee, Byung In
[5]다중영상 기반의 불완전 데이터 행렬에 의한 3차원 정량화를 위한 기반 연구 송승현, 이언석, 오작성, 이경채, 김민기[5] A basic study for 3D quantification by incomplete data matrix based on multiple images Song, Seung-Hyun, Lee, Seok, Oh, Kyung-Hee,
[6]상지대학교 수업자료[6] Sangji University class materials
http://hjiklee.sangji.ac.kr/%EA%B5%90%EC%88%98%EB%8B%98%20%ED%99%88%ED%8E%98%EC%9D%B4%EC%A7%80%20%EC%88%98%EC%97%85%EC%9E%90%EB%A3%8C/%EC%82%AC%EC%A7%84%EC%B8%A1%EB%9F%89/%EA%B1%B4%EC%84%A4%EB%B6%84%EC%95%BCGIS_6%EC%9E%A5_%EB%93%9C%EB%A1%A0%EC%82%AC%EC%A7%84%EC%B8%A1%EB%9F%89(2016%EB%85%841%ED%95%99%EA%B8%B0).pdf http://hjiklee.sangji.ac.kr/%EA%B5%90%EC%88%98%EB%8B%98%20%ED%99%88%ED%8E%98%EC%9D%B4 % EC% A7% 80% 20% EC% 88% 98% EC% 97% 85% EC% 9E% 90% EB% A3% 8C /% EC% 82% AC% EC% A7% 84% EC% B8% A1% EB% 9F% 89% / EA% B1% B4% EC% 84% A4% EB% B6% 84% EC% 95% BCGIS_6% EC% 9E% A5_% EB% 93% 9C% EB% A1% A0 % EC% 82% AC% EC% A7% 84% EC% B8% A1% EB% 9F% 89% (2016% EB% 85% 841% ED% 95% 99% EA% B8% B0) .pdf
본 발명은 스테레오(Stereo) 정합의 단점인 해상도에 따른 영상 1쌍의 stereo 영상에 대한 값을 얻을 수 있다는 것이다. The present invention is able to obtain values for a pair of stereo images according to the resolution which is a disadvantage of stereo matching.
그리고, 한 쌍의 스테레오 영상의 경우 너무 큰 값을 가지고 있기 때문에 데이터 처리에 오랜 시간이 걸린다.Also, since a pair of stereo images has a too large value, it takes a long time to process the data.
이 경우를 특징점 매칭을 통해 소거하고자 한다. We want to eliminate this case through feature matching.
SfM을 이용한 표정해석의 경우 다중 영상을 이용하여 전체 형상 정보를 취득하는 것은 유리하지만 3차원 취득 영상에 대한 스케일 값이 적용되지 않아 설계에 쓰이기는 적절하지 않다.In the case of facial expression analysis using SfM, it is advantageous to acquire whole shape information using multiple images, but it is not appropriate to use it for design because the scale value for the three-dimensional acquired image is not applied.
하지만, SfM의 경우 사용자가 특정 지점에 대한 GCP를 찍어주거나, 각각의 사진마다 외부 표정 요소를 입력할 경우 스케일 값이 적용되지만, 사용자의 숙련도가 결과물에 영향을 주게 된다.However, in the case of SfM, the scale value is applied when the user takes a GCP for a specific point or inputs an external facial expression for each photograph, but the proficiency of the user affects the result.
결론적으로, 스테레오정합을 통한 절대 표정과 SfM의 다중 형상 모델링을 통한 오차 분포 등 스테레오(Stereo) 정합과 SfM의 장점들을 쓰고자 한다.In conclusion, we want to use the advantages of Stereo matching and SfM such as absolute expression through stereo matching and error distribution by multi-shape modeling of SfM.
본 발명은 도 8 및 도 9와 같은 데이터 흐름도를 통해 영상 좌표 값을 나타낸다.The present invention shows image coordinate values through the data flow diagrams of FIGS. 8 and 9. FIG.
스테레오 정합영상을 통해 Depthmap을 출력하고 내부표정 요소를 가지고 depthmap에 대한 왼쪽 카메라 기반 위치점(로컬 좌표 변환)을 출력한다.Depth map is outputted through stereo matching image, and left camera based position point (local coordinate conversion) for depth map is outputted with inner facial expression element.
이러한 데이터 흐름도는 도 8에 잘 도시되어 있다.This data flow diagram is well illustrated in FIG.
도 9는 카메라의 위치, 자세와 Focal Length 값을 통해 스테레오 정합된 영상을 절대 표정시키는 상태가 잘 도시되어 있다.FIG. 9 shows a state in which a stereo-matched image is expressed in absolute terms through a camera position, an attitude, and a focal length value.
절대 표정만 가지고 나온 영상은 같은 위치점에 대해 다음과 같이 오차를 가지고 있다.The image with only absolute facial expression has the following error for the same position point.
도 10에는 각 영상간의 위치 값 오차 값을 붉은 선과 노란 선으로 표시되어 잘 확인할 수 있다.In FIG. 10, the position error value between the respective images can be confirmed by displaying the red line and the yellow line.
각 2D 영상간의 특징점 매칭을 통해 영상간의 연결성을 확보한다.And the connectivity between images is ensured through feature point matching between 2D images.
여기다 스테레오(Stereo) 정합에서 얻어지는 3차원 좌표값을 할당해 위치점에 대한 정확한 위치를 출력한다.Here, the three-dimensional coordinate value obtained from the stereo matching is allocated, and the accurate position of the position point is output.
도 11에는 왼쪽 2D 영상 정보를 이용한 각 영상간의 특징점 매칭 상태가 잘 도시되어 있다.11, the feature point matching state between each image using the left 2D image information is well shown.
특징점 매칭을 통한 각 영상은 다중으로 습득된 다음과 같은 도 12와 같고 각 위치점에 따른 정합 정확도에 따라 위치 오차가 나게 된다.Each image through the minutiae matching is as shown in FIG. 12, which is obtained by multiplexing, and a position error is caused according to the matching accuracy according to each position point.
이렇게 얻어진 값들의 3차원 데이터를 평균값으로 구해 정확도의 균형을 맞춘다.The three-dimensional data of the obtained values are averaged to balance the accuracy.
영상에서의 x1, y1, z1,의 위치 값과 x2, y2, z2 위치값을 비교한다.Compares the position values of x1, y1, and z1 in the image with the x2, y2, and z2 position values.
이렇게 같은 위치점이라 생각되는 지점들에 대해 값을 평균화하여 영상에 대한 외부 표정 요소를 다시 추정하고 그 값을 통해 다시 절대 표정시킨다.The points are considered to be the same point, and the values are averaged to estimate the external facial expression again.
도 13은 각 정합 영상의 왼쪽 값을 통한 결과 수정 상태가 도시되어 있다.Fig. 13 shows a result correction result through the left values of the respective matched images.
도 14는 측면부 3D 데이터 정합 상태가 도시되어 있고, 도 15 는 위치점에 대한 결과값을 일괄적으로 이동한 상태가 도시되어 있다.Fig. 14 shows the 3D data matching state on the side portion, and Fig. 15 shows a state in which the result values for the position points are collectively shifted.
덧붙여, 유사기술로 도 16과 같은 독일에서 자율주행에 사용하는 SLAM(Simultaneous Localization And mapping: 동시적 위치추정 및 지도작성)이 있다. In addition, SLAM (Simultaneous Localization And Mapping) is used in autonomous navigation in Germany as shown in Fig. 16 with similar technology.
이에 따르면, 로봇이미지의 공간 상에서 주행을 시작하는 경우 주변환경에 대한 아무런 정보가 없다. 따라서, 로봇이 위치정보에 기반하여 작업을 수행하기 위해서는 센서 정보를 이용하여 환경에 대한 지도를 작성하고, 동시에 작성된 지도로부터 자기 위치를 추정한다.According to this, when the robot starts traveling in the space of the image, there is no information about the surrounding environment. Therefore, in order for the robot to perform an operation based on the position information, a map of the environment is created using the sensor information, and a self position is estimated from the created map at the same time.
SLAM에는 거리 센서, 비전 센서 등 다양한 종류의 센서가 사용된다.SLAM uses various kinds of sensors such as a distance sensor and a vision sensor.
거리 센서는 대표적으로 레이저 스캐너, 적외선 스캐너, 초음파 센서, 라이다, 레이더 등이 있으며, 비전센서에는 스테레오 카메라, 모노 카메라, 전방향 카메라, Kinect 등이 포함되어 있다. Typical examples of the distance sensor include a laser scanner, an infrared scanner, an ultrasonic sensor, a radar, and a radar. The vision sensor includes a stereo camera, a monocamera, an omnidirectional camera, and a Kinect.
거리센서는 쉽게 물체까지의 거리정보를 얻을 수는 있지만, 활용할 수 있는 정보의 종류가 제한적인 단점이 있다. The distance sensor can easily obtain the distance information to the object, but it has a disadvantage that the kind of information that can be utilized is limited.
비전센서는 영상 정보를 가공해 거리 및 인식되는 물체의 다양한 종류의 정보를 획득할 수 있다. The vision sensor can process the image information and obtain various kinds of information of the distance and the recognized object.
이러한 개념을 기반으로 본 발명에 따른 번들러 시스템은 도 17에서와 같이, 스테레오 카메라(100)와 무선통신망을 통해 통신하여 영상정보를 수신하는 번들러 서버(310)와; 상기 번들러 서버(310)에 연결되어 번들러 서버(310)의 제어신호에 따라 지역별 수치지도 정보를 입출력, 저장, 갱신, 삭제하는 지도데이터베이스(320)와; 상기 번들러 서버(310)와 연결되어 스테레오 카메라(100)가 획득한 영상을 정합시켜 3차원 형상 정보로 생성하는 정합기(330)와; 상기 번들러 서버(310)와 연결되어 스테레오 카메라(100)가 획득한 영상을 지도좌표계로 절대 표정시키는 맵핑기(340)를 포함하여 구성된다. Based on this concept, the Bundler system according to the present invention includes a
이때, 상기 스테레오 카메라(100)는 무선통신이 가능하도록 통신모듈을 내장하고 있으며, 특히 휴대용이성을 증대시키고 작업자가 양손을 편하게 사용할 수 있도록 도 18 및 도 19와 같은 형태로 거치판(210) 상에 거치 고정하여 사용하도록 구성된다. In this case, the
이 경우, 거치판(210)은 사각판상의 합성수지로 성형된 부재로서, 상면 중앙에는 볼죠인트 결합을 유도하는 볼컵(220)이 돌출 형성되고, 상기 스테레오 카메라(100)의 하단면 중앙에는 상기 볼컵(220)에 볼죠인트되어 회전가능한 볼조인트부(110)가 돌출된다. In this case, the mounting
그리고, 상기 거치판(210)의 하단면에는 U형상의 고정기둥(230)이 연결되어 상기 거치판(210)을 지지하게 된다.A U-shaped fixing
아울러, 상기 고정기둥(230)에는 체결브라켓(240)이 결속되고, 체결브라켓(240)과 일체를 이룬 지지편(250)을 통해 사용자가 허리에 감고 있는 벨트(BT, 도 19 참고)에 지지고정됨으로써 상기 거치판(210)을 손으로 잡지 않고도 허리를 이용하여 파지할 수 있어 양손을 자유롭게 사용하면서 작업할 수 있는 잇점을 제공한다. The
보다 구체적으로, 상기 체결브라켓(240)은 전면커버(242)와 후면커버(244) 및 이들을 조여 고정하는 체결볼트(246)를 포함하여 구성된다. More specifically, the
이때, 상기 전면커버(242)는 양단에 호형상의 체결편(242a) 한 쌍이 형성되고, 상기 한 쌍의 체결편(242a)은 전면연결편(242b)에 의해 연결되어 일체를 이룬다. At this time, the
마찬가지로, 상기 후면커버(244)도 양단에 호형상의 결속편(244a) 한 쌍의 형성되고, 상기 한 쌍의 결속편(244a)은 후면연결편(244b)에 의해 연결되어 일체를 이룬다. Similarly, the
그리고, 상기 체결볼트(246)는 상기 전면연결편(242b)과 후면연결편(244b)을 상호 체결시킨다. The
여기에서, 상기 전면커버(242)와 후면커버(244)가 상기 고정기둥(230)을 감싸 고정할 때 슬립되지 않도록 하면서 고정력을 높이기 위해 직사각형상의 고무판(248)을 개재시킬 수 있다. A
즉, 고무판(248)을 고정기둥(230)에 감은 상태에서 전면커버(242)와 후면커버(244)를 대고 상호 체결하게 되면 고정기둥(230)과 체결브라켓(240) 사이에 고무판(248)이 개재된 상태를 유지할 수 있게 된다. That is, when the
아울러, 상기 후면커버(244)의 후면연결편(244b)의 배면 상단에는 고정지지편(250)이 연장된다. In addition, a fixed supporting
상기 고정지지편(250)은 연장된 후 수직절곡되어 일정길이 다시 연장된 절곡단부(252)를 갖는다. The fixed
이때, 상기 절곡단부(252)는 벨트(BT)와 바지 사이의 공간으로 침투되고, 상기 고정지지편(250)이 벨트(BT)에 안정적으로 고정되도록 하기 위해 벨트(BT)의 하부에는 이를 감싸면서 일단은 상기 절곡단부(252) 속으로 삽입되고 타단은 상기 고정지지편(250)의 하단면에 나사고정되는 이탈방지편(254)이 더 구비된다.At this time, the
이렇게 하면, 고정지지편(250)이 벨트(BT)로부터 분리되지 않으면서 견실 안정적인 고정력을 제공하게 되므로 스테레오 카메라(100)를 안정적으로 지지할 수 있게 된다. In this case, the
여기에서, 상기 거치판(210)과 고정기둥(230)은 모두 합성수지로 성형되는데, 내부식성(내습성)과 방오성 및 내구성을 갖추도록 하기 위해 다음과 같은 합성수지 조성물로 성형함이 바람직하다. Here, both the fixing
즉, 상기 합성수지 조성물은 폴리에틸렌수지 60중량%와 실리카 20중량% 및 나머지 기능성 첨가물로 이루어지되, 상기 기능성 첨가물은 상기 폴리에틸렌수지 100중량부에 대해, 1,4-부틸렌글리콜 2중량부, 테트라이소프로필타이타네이트 3중량부, 마이카(Mica) 1.5중량부, 콜로이드성 실리카 3중량부, 알루미늄 알콕사이드 4중량부, 폴리락트산 10중량부, 1-2㎛의 입도를 갖는 알루미나 분말 2중량부, CZ(N-cyclohexybenzothiazole-2-sulfenamide) 2중량부, 몬모릴로나이트 3중량부, Ds(Dichlorodimethylsilane) 7중량부, 스테아린산칼슘 3중량부, 에틸렌글리콜모노메틸에테르 4중량부, 폴리소르베이트 80(Polysorbate 80) 5중량부, 규산소다(Sodium Silicates) 5중량부, 에르소르빈산나트륨 5중량부, 살리실산에스테르 3중량부, 테르븀 2중량부, 0.1-0.2㎛의 입도를 갖는 보크사이트 크링커 분말 5중량부, γ-아미노프로필트리에톡시실란 2중량부, 방향족 폴리아민 2중량부, 산화나트륨(Na2O) 1중량부, 삼산화이철(Fe2O3) 1중량부, 알킬렌 아마이드 2중량부, 황산에스테르 2중량부, 0.1mm 이하의 입도를 갖는 수련(water lily) 분말 2중량부를 포함하도록 구성된다. That is, the synthetic resin composition comprises 60 wt% of polyethylene resin, 20 wt% of silica, and the remaining functional additives, wherein the functional additive is composed of 2 parts by weight of 1,4-butylene glycol, 3 parts by weight of propyltitanate, 1.5 parts by weight of Mica, 3 parts by weight of colloidal silica, 4 parts by weight of aluminum alkoxide, 10 parts by weight of polylactic acid, 2 parts by weight of alumina powder having a particle size of 1-2 mu m, 2 parts by weight of N-cyclohexybenzothiazole-2-sulfenamide, 3 parts by weight of montmorillonite, 7 parts by weight of Ds (Dichlorodimethylsilane), 3 parts by weight of calcium stearate, 4 parts by weight of ethylene glycol monomethyl ether and 5 parts by weight of Polysorbate 80 5 parts by weight of sodium silicate, 5 parts by weight of sodium erosorbate, 3 parts by weight of salicylic acid ester, 2 parts by weight of terbium, 5 parts by weight of bauxite clinker powder having a particle size of 0.1-0.2
이때, 폴리에틸렌수지는 베이스 수지이고, 상기 1,4-부틸렌글리콜은 접착성을 강화시켜 부착력을 극대화시키기 위해 첨가되며, 상기 테트라이소프로필타이타네이트는 유기화타이타네이트 구조를 갖는 커플링제로서 고분자 수지와 무기물간의 계면 접착력을 강화시켜 내구성을 높이기 위해 첨가된다. At this time, the polyethylene resin is a base resin, and the 1,4-butylene glycol is added in order to enhance adhesion and maximize adhesion, and the tetraisopropyltitanate is a coupling agent having an organic titanate structure, It is added to enhance the durability by strengthening the interfacial adhesion force between the resin and the inorganic material.
그리고 상기 마이카는 규산염 광물의 일종으로, 0.1-0.2㎛ 크기로 분쇄된 후 체질된 것을 사용하며, 경질 특성으로 인해 내구성과 내충격성을 강화시키기 위해 첨가된다. The mica is a kind of silicate minerals, which is crushed to a size of 0.1-0.2 μm and sieved, and is added to enhance durability and impact resistance due to hardness characteristics.
또한, 상기 콜로이드성 실리카는 5-50nm의 입경을 갖는 무정형의 실리카 졸이 바람직하며, 상기 알루미늄 알콕사이드는 경화 촉매 및 가교 결합제 기능을 수행하기 위해 첨가되며, 부수적으로 내구성이 높은 경도의 피막을 구현하는데 기여한다. In addition, the colloidal silica is preferably an amorphous silica sol having a particle diameter of 5-50 nm, and the aluminum alkoxide is added to perform a curing catalyst and a crosslinking agent function, and a secondary coating having a high hardness Contributing.
뿐만 아니라, 상기 폴리락트산은 합성고분자 타입의 수지로서 내습성, 가공성이 우수한 물성이 있으며, 용융온도는 150-200℃이고, 연성에 의한 연질화, 인장강도, 신장율을 향상시키는 특성이 있다. In addition, the polylactic acid is a synthetic polymer type resin having excellent moisture resistance and processability, has a melting temperature of 150 to 200 ° C, and is improved in softness, tensile strength and elongation by ductility.
그리고, 알루미나는 알루미늄과 산소의 화합물로서, 내구성 향상을 위해 첨가된다. And, alumina is a compound of aluminum and oxygen and added for improving durability.
뿐만 아니라, CZ(N-cyclohexybenzothiazole-2-sulfenamide)는 표면 슬립성을 증대시켜 이물부착방지성을 극대화시키기 위해 첨가된다. In addition, CZ (N-cyclohexybenzothiazole-2-sulfenamide) is added to increase surface slip property and to maximize prevention of foreign matter adhesion.
아울러, 몬모닐로나이트는 일종의 무기필러로서 기계적 물성을 증대시키기 위해 첨가되며, Ds(Dichlorodimethylsilane)는 강한 소수성을 가진 물질로서 방습성을 극대화시키기 위해 첨가된다. In addition, montmorillonite is added as an inorganic filler to increase mechanical properties, and Ds (Dichlorodimethylsilane) is added as a strong hydrophobic substance to maximize moisture resistance.
그리고, 스테아린산칼슘은 분산제로서 윤활기능을 촉진하여 첨가물들의 균질한 분산성을 유도하기 위해 첨가된다. And, calcium stearate is added as a dispersant to promote the lubricating function and induce homogeneous dispersibility of the additives.
또한, 에틸렌글리콜모노메틸에테르는 접착성을 강화시키기 위해 첨가되며, 부착력을 강하게 하여 내구성을 높이기 위해 첨가된다. In addition, ethylene glycol monomethyl ether is added to enhance the adhesiveness, and it is added to increase the durability by strengthening the adhesion force.
뿐만 아니라, 폴리소르베이트 80(Polysorbate 80)는 소르비톨에서 파생된 비이온성 계면 활성제중 하나로서 수분의 번짐을 막기 위해 첨가되고, 규산소다(Sodium Silicates)는 표면 접착력을 높이면서 점결성을 강화하기 위해 첨가되며, 에르소르빈산나트륨은 산화 방지를 위해 첨가된다. In addition, Polysorbate 80 (Polysorbate 80) is one of the nonionic surfactants derived from sorbitol, which is added to prevent moisture from spreading. Sodium silicates are added to enhance the surface adhesion and enhance the cohesiveness. And sodium erosorbate is added to prevent oxidation.
또한, 살리실산에스테르는 자외선을 흡수하여 자외선에 의해 수지가 변형되는 것을 방지하는 기능을 담당하게 된다. In addition, the salicylic acid ester has a function of absorbing ultraviolet rays to prevent the resin from being deformed by ultraviolet rays.
아울러, 테르븀은 란탄족에 속하는 희토류 금속으로서 전성과 연성이 커 코팅층의 완충 및 내마모도 향상에 기여하게 된다. In addition, terbium is a rare earth metal belonging to lanthanum family, and it has a good ductility and ductility, which contributes to improvement of buffering and wear resistance of the coating layer.
또한, 0.1-0.2㎛의 입도를 갖는 보크사이트 크링커 분말은 결합력을 증대시켜 압축강도를 높이기 위해 첨가된다. In addition, a bauxite clinker powder having a particle size of 0.1-0.2 mu m is added to increase the binding force to increase the compressive strength.
그리고, 상기 γ-아미노프로필트리에톡시실란은 멜라민수지 등의 열경화성수지와 무기재료와의 커플링을 위한 실란커플링제로서 결합성, 접착성, 표면강도를 높이기 위해 첨가된다. The? -Aminopropyltriethoxysilane is added as a silane coupling agent for coupling between a thermosetting resin such as a melamine resin and an inorganic material in order to increase the bonding property, the adhesion property, and the surface strength.
아울러, 상기 방향족 폴리아민은 경화를 촉진하기 위한 것이다.In addition, the aromatic polyamines are intended to promote curing.
또한, 상기 산화나트륨은 이산화규소와 반응하여 규산염을 형성함으로써 내화도를 높이는 기능을 수행하는데, 특히 산화나트륨은 산화방지기능도 수행한다.In addition, the sodium oxide performs a function of raising the refractivity by reacting with silicon dioxide to form a silicate. In particular, the sodium oxide also performs an antioxidant function.
그리고, 상기 삼산화이철은 방청기능을 위해 주로 사용되지만, 본 발명에서는 계면 분리를 억제하기 위해 첨가되며 산화철이라는 특성상 미량 첨가되어야 한다. The iron diiron trioxide is mainly used for anti-corrosive function, but it is added in order to suppress interfacial separation in the present invention, and it should be added in a small amount due to the characteristic of iron oxide.
아울러, 상기 알킬렌 아마이드는 윤활성 및 안정성을 유지하기 위해 첨가되는 것으로, 혼합을 원활하게 하고, 혼합 후 부서짐이 발생하지 않도록 하기 위해 첨가된다. In addition, the alkylene amide is added to maintain lubricity and stability, and is added in order to smoothly mix and prevent crushing after mixing.
또한, 상기 황산에스테르는 자외선에 대한 광열화 작용으로 분해 결합되면서 내열성을 증대시키기 위해 첨가된다. In addition, the sulfuric acid ester is added in order to increase the heat resistance while being decomposed by the photo-thermal effect for ultraviolet rays.
나아가, 상기 수련(water lily) 분말은 수련을 채취하여 충분히 건조한 다음 빻아서 분말화시킨 것으로, 천연 흡습제이면서 생분해성을 가지고 있어 친환경적이다. 수련은 특히 탄화수소나 오일미스트를 흡착하는데 탁월한 효과를 가지고 있다.Furthermore, the water lily powder is obtained by taking a water lily, drying it thoroughly, and pulverizing it into a powder, which is a natural moisture absorber and biodegradable, thus being eco-friendly. The training has an excellent effect especially for adsorbing hydrocarbons and oil mist.
이러한 조성에 따른 이물방지성 및 내습성을 확인하기 위해 10cm × 5cm × 0.5cm 크기의 시트로 성형한 후 표면에 물을 스프레이 한 후 시트를 90도까지 세웠을 때 물이 흘러내리는 것을 확인하였다. 실험결과, 15도를 넘어서자 마자 물이 흘러내려 내습성이 우수한 것으로 확인되었다. 이것은 이물방지성이 높다는 것도 의미한다. In order to confirm the foreign matter resistance and moisture resistance according to such composition, it was confirmed that water was formed when the sheet was formed into a sheet having a size of 10 cm x 5 cm x 0.5 cm and then sprayed with water to set the sheet up to 90 degrees. As a result of the experiment, it was confirmed that the water flowed down after 15 degrees and the humidity was excellent. This also means that the foreign matter prevention property is high.
100: 스테레오 카메라 310: 번들러 서버
320: 지도데이터베이스 330: 정합기
340: 맵핑기100: stereo camera 310: bundler server
320: Map database 330: Matcher
340: Mapper
Claims (1)
상기 스테레오 카메라(100)는 거치판(210) 상에 거치 고정하여 사용할 수 있도록 상기 거치판(210)의 상면에는 볼컵(220)이 일정 높이 돌출되게 고정되고, 상기 스테레오 카메라(100)의 하단면 중앙에는 상기 볼컵(220)에 볼조인트되는 볼조인트부(110)가 돌출되며, 상기 거치판(210)의 하단면에는 U형상의 고정기둥(230)이 연결되어 상기 거치판(210)을 지지하고;
상기 고정기둥(230)에는 체결브라켓(240)이 결속되며, 상기 체결브라켓(240)과 일체를 이룬 지지편(250)을 통해 사용자가 허리에 감고 있는 벨트(BT)에 지지고정되도록 구성되는데, 상기 체결브라켓(240)은 전면커버(242)와 후면커버(244) 및 이들을 조여 고정하는 체결볼트(246)를 포함하되, 상기 전면커버(242)는 양단에 호형상의 체결편(242a) 한 쌍이 형성되고, 상기 한 쌍의 체결편(242a)은 전면연결편(242b)에 의해 연결되어 일체를 이루며; 상기 후면커버(244)도 양단에 호형상의 결속편(244a) 한 쌍의 형성되고, 상기 한 쌍의 결속편(244a)은 후면연결편(244b)에 의해 연결되어 일체를 이루며; 상기 체결볼트(246)는 상기 전면연결편(242b)과 후면연결편(244b)을 상호 체결시키고; 상기 후면커버(244)의 후면연결편(244b)의 배면 상단에는 고정지지편(250)이 연장되며, 상기 고정지지편(250)은 연장된 후 수직절곡되어 일정길이 다시 연장된 절곡단부(252)를 갖고, 상기 절곡단부(252)는 벨트(BT)와 바지 사이의 공간으로 침투되며, 상기 고정지지편(250)이 벨트(BT)에 안정적으로 고정되도록 하기 위해 벨트(BT)의 하부에는 상기 벨트(BT)를 감싸면서 일단은 상기 절곡단부(252) 속으로 삽입되고 타단은 상기 고정지지편(250)의 하단면에 나사고정되는 이탈방지편(254)이 더 구비된 것을 특징으로 하는 스테레오 정합 기술로 생성된 3차원 형상 정보를 통한 포인트 클라우드 번들러 시스템.
A bundler server (310) for communicating with the stereo camera (100) via a wireless communication network and receiving image information; A map database 320 connected to the bundler server 310 for inputting, outputting, storing, updating, and deleting regional digital map information according to a control signal of the bundler server 310; A matching unit 330 connected to the bundler server 310 for matching images acquired by the stereo camera 100 to generate 3D shape information; And a mapper 340 connected to the bundler server 310 and configured to express an image acquired by the stereo camera 100 in an absolute coordinate system of the map. A system comprising:
The stereo camera 100 is fixed to the upper surface of the mounting plate 210 so that the stereo camera 100 can be fixedly mounted on the mounting plate 210. A ball cup 220 is fixed to the upper surface of the mounting plate 210, A U-shaped fixing post 230 is connected to a lower end surface of the mounting plate 210 to support the mounting plate 210 and;
The fastening bracket 240 is coupled to the fixing post 230 and is supported and fixed to a belt BT that is wound around the user's waist through a fastening piece 250 integrated with the fastening bracket 240, The fastening bracket 240 includes a front cover 242 and a rear cover 244 and fastening bolts 246 fastening the fastening brackets 240. The front cover 242 has arc- And the pair of coupling pieces 242a are connected together by a front connecting piece 242b to form an integral body; The rear cover 244 is also formed with a pair of arc-shaped binding pieces 244a at both ends thereof, and the pair of binding pieces 244a are connected together by a rear connecting piece 244b to form an integral body; The fastening bolt 246 fastens the front connecting piece 242b and the rear connecting piece 244b to each other; A fixed supporting piece 250 is extended to the rear upper end of the rear connecting piece 244b of the rear cover 244. The fixed supporting piece 250 is extended and bent to a predetermined length again to form a bent end 252, And the bent end 252 penetrates into the space between the belt BT and the pants and the lower end of the belt BT is fixed to the belt BT in order to stably fix the fixed supporting piece 250 to the belt BT. And a release preventing piece (254) which surrounds the belt (BT) and has one end inserted into the bent end (252) and the other end screwed to the lower end surface of the fixed supporting piece (250) A point cloud bundler system with 3D shape information generated by matching technology.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017188077A JP6427243B2 (en) | 2016-12-30 | 2017-09-28 | Point Cloud Bundler System via 3D Shape Information Generated by Stereo Matching Technique |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160184063 | 2016-12-30 | ||
KR20160184063 | 2016-12-30 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101755665B1 true KR101755665B1 (en) | 2017-07-11 |
Family
ID=59354841
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170023033A Active KR101755665B1 (en) | 2016-12-30 | 2017-02-21 | System of point cloud bundler in 3D image information with stereo matching technology |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6427243B2 (en) |
KR (1) | KR101755665B1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019093532A1 (en) * | 2017-11-07 | 2019-05-16 | 공간정보기술 주식회사 | Method and system for acquiring three-dimensional position coordinates without ground control points by using stereo camera drone |
KR102101333B1 (en) * | 2019-12-30 | 2020-04-17 | (주)지오투정보기술 | Image processing system to improve the accuracy of captured images |
KR20200049337A (en) * | 2018-10-31 | 2020-05-08 | 에스케이텔레콤 주식회사 | Apparatus and method for registering images |
KR102108140B1 (en) * | 2019-12-24 | 2020-05-11 | 제일항업(주) | Image processing method to improve the accuracy of captured images |
KR20230013392A (en) | 2021-07-19 | 2023-01-26 | (주)쓰리디랩스 | Image Processing Apparatus and Automatic 3D Point Cloud Extraction and Refining Method from Frame Camera Images |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109615657B (en) * | 2018-12-03 | 2021-07-02 | 易思维(天津)科技有限公司 | Method for calculating pose of threaded target object based on point cloud data |
CN109631847B (en) * | 2018-12-03 | 2020-08-07 | 易思维(天津)科技有限公司 | Threaded target pose calculation method based on point cloud data |
CN109872278B (en) * | 2018-12-18 | 2020-11-10 | 深圳先进技术研究院 | Image cloud layer removing method based on U-shaped network and generation countermeasure network |
CN111724472B (en) * | 2019-03-19 | 2024-07-02 | 北京四维图新科技股份有限公司 | Method and device for determining spatial position of map elements |
CN110411341B (en) * | 2019-07-31 | 2020-12-08 | 易思维(杭州)科技有限公司 | Pose calculation method for threaded target object |
KR102162818B1 (en) * | 2020-05-06 | 2020-10-08 | 공간정보기술 주식회사 | Method for surveying underground utility being constructed using a camera in real time and apparatus for producing numerical drawings of underground utility based on the same |
CN115674206A (en) * | 2022-11-15 | 2023-02-03 | 上海擎朗智能科技有限公司 | Bearing structure contour extraction method, robot and computer-readable storage medium |
KR102708427B1 (en) * | 2023-06-28 | 2024-09-23 | 동아항업 주식회사 | GPS Information Inspection System for Each Point of a Numerical Map for Editing the Position of a Numerical Map |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003084357A (en) | 2001-09-14 | 2003-03-19 | Kyocera Corp | Mounting structure for large stereo camera |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006084385A1 (en) * | 2005-02-11 | 2006-08-17 | Macdonald Dettwiler & Associates Inc. | 3d imaging system |
JP2009128168A (en) * | 2007-11-22 | 2009-06-11 | Ono Sokki Co Ltd | Handheld measuring device |
JP2010128799A (en) * | 2008-11-27 | 2010-06-10 | Mitsubishi Electric Corp | Composite media synthesizing apparatus, composite media display system, composite media synthesizing method, and composite media synthesizing program |
JP2011250928A (en) * | 2010-06-01 | 2011-12-15 | Chuo Univ | Device, method and program for space recognition for visually handicapped person |
JP5928240B2 (en) * | 2012-08-16 | 2016-06-01 | 株式会社豊田中央研究所 | Three-dimensional shape interpretation apparatus and program |
-
2017
- 2017-02-21 KR KR1020170023033A patent/KR101755665B1/en active Active
- 2017-09-28 JP JP2017188077A patent/JP6427243B2/en not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003084357A (en) | 2001-09-14 | 2003-03-19 | Kyocera Corp | Mounting structure for large stereo camera |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019093532A1 (en) * | 2017-11-07 | 2019-05-16 | 공간정보기술 주식회사 | Method and system for acquiring three-dimensional position coordinates without ground control points by using stereo camera drone |
KR20200049337A (en) * | 2018-10-31 | 2020-05-08 | 에스케이텔레콤 주식회사 | Apparatus and method for registering images |
KR102109814B1 (en) * | 2018-10-31 | 2020-05-13 | 에스케이텔레콤 주식회사 | Apparatus and method for registering images |
KR102108140B1 (en) * | 2019-12-24 | 2020-05-11 | 제일항업(주) | Image processing method to improve the accuracy of captured images |
KR102101333B1 (en) * | 2019-12-30 | 2020-04-17 | (주)지오투정보기술 | Image processing system to improve the accuracy of captured images |
KR20230013392A (en) | 2021-07-19 | 2023-01-26 | (주)쓰리디랩스 | Image Processing Apparatus and Automatic 3D Point Cloud Extraction and Refining Method from Frame Camera Images |
Also Published As
Publication number | Publication date |
---|---|
JP6427243B2 (en) | 2018-11-21 |
JP2018136299A (en) | 2018-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101755665B1 (en) | System of point cloud bundler in 3D image information with stereo matching technology | |
US11968479B2 (en) | Method of tracking a mobile device and method of generating a geometrical model of a real environment using a camera of a mobile device | |
KR101581197B1 (en) | Robot and control method thereof | |
CN102650886B (en) | Vision system based on active panoramic vision sensor for robot | |
Scaramuzza et al. | Extrinsic self calibration of a camera and a 3D laser range finder from natural scenes | |
CN105045263A (en) | Kinect-based robot self-positioning method | |
CN205426175U (en) | Fuse on -vehicle multisensor's SLAM device | |
KR101207535B1 (en) | Image-based simultaneous localization and mapping for moving robot | |
WO2012117687A1 (en) | Posture estimation device, posture estimation system, and posture estimation method | |
CN108256430A (en) | Obstacle information acquisition methods, device and robot | |
KR101423139B1 (en) | Method for localization and mapping using 3D line, and mobile body thereof | |
WO2015024407A1 (en) | Power robot based binocular vision navigation system and method based on | |
EP3114833A1 (en) | High accuracy monocular moving object localization | |
Schneider et al. | On the accuracy of dense fisheye stereo | |
CN110243375A (en) | A Method for Constructing 2D and 3D Maps Simultaneously | |
KR101700764B1 (en) | Method for Autonomous Movement and Apparatus Thereof | |
Yuan et al. | Real-time security monitoring around a video surveillance vehicle with a pair of two-camera omni-imaging devices | |
Klappstein et al. | Monocular motion detection using spatial constraints in a unified manner | |
Zeng et al. | The algorithm to generate color point-cloud with the registration between panoramic image and laser point-cloud | |
Ress et al. | Slam for indoor mapping of wide area construction environments | |
Song et al. | Scale estimation with dual quadrics for monocular object SLAM | |
CN104913762B (en) | Method and apparatus for estimating distance between a moving vehicle and an object | |
Gehrig et al. | 6D vision goes fisheye for intersection assistance | |
Khoramshahi et al. | Modelling and automated calibration of a general multi‐projective camera | |
Aliakbarpour et al. | Inertial-visual fusion for camera network calibration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20170221 |
|
PA0201 | Request for examination | ||
PA0302 | Request for accelerated examination |
Patent event date: 20170315 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination Patent event date: 20170221 Patent event code: PA03021R01I Comment text: Patent Application |
|
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20170412 Patent event code: PE09021S01D |
|
E701 | Decision to grant or registration of patent right | ||
PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20170621 |
|
GRNT | Written decision to grant | ||
PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20170703 Patent event code: PR07011E01D |
|
PR1002 | Payment of registration fee |
Payment date: 20170704 End annual number: 3 Start annual number: 1 |
|
PG1601 | Publication of registration | ||
PR1001 | Payment of annual fee |
Payment date: 20200629 Start annual number: 4 End annual number: 4 |
|
PR1001 | Payment of annual fee |
Payment date: 20210628 Start annual number: 5 End annual number: 5 |
|
PR1001 | Payment of annual fee |
Payment date: 20220621 Start annual number: 6 End annual number: 6 |
|
PR1001 | Payment of annual fee |
Payment date: 20230703 Start annual number: 7 End annual number: 7 |
|
PR1001 | Payment of annual fee |
Payment date: 20240702 Start annual number: 8 End annual number: 8 |
|
PR1001 | Payment of annual fee |
Payment date: 20250623 Start annual number: 9 End annual number: 9 |