KR102678525B1 - Point cloud data based object modeling method and system performing thereof - Google Patents
Point cloud data based object modeling method and system performing thereof Download PDFInfo
- Publication number
- KR102678525B1 KR102678525B1 KR1020230140238A KR20230140238A KR102678525B1 KR 102678525 B1 KR102678525 B1 KR 102678525B1 KR 1020230140238 A KR1020230140238 A KR 1020230140238A KR 20230140238 A KR20230140238 A KR 20230140238A KR 102678525 B1 KR102678525 B1 KR 102678525B1
- Authority
- KR
- South Korea
- Prior art keywords
- point cloud
- cloud data
- point
- bounding box
- object modeling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000005484 gravity Effects 0.000 claims description 12
- 238000013178 mathematical model Methods 0.000 description 36
- 238000010586 diagram Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Generation (AREA)
Abstract
본 발명의 일 실시예에 따른 객체 모델링 장치에서 실행되는 바운딩 박스를 이용한 포인트 클라우드 데이터 기반 객체 모델링 방법은 이미지에 대한 포인트 클라우드 데이터에서 분리하고자 하는 객체에 대하여 바운딩 박스를 설정하는 단계, 상기 설정된 바운딩 박스 안의 포인트 클라우드 데이터를 추출하는 단계, 상기 추출된 포인트 클라우드 데이터 중 일부 포인트 클라우드 데이터를 제거한 후 나머지 포인트 클라우드 데이터에 해당하는 부분을 객체로 결정하는 단계 및 상기 객체에 해당하는 포인트 클라우드 데이터를 이용하여 상기 객체를 모델링하는 단계를 포함한다.A point cloud data-based object modeling method using a bounding box executed in an object modeling device according to an embodiment of the present invention includes the steps of setting a bounding box for an object to be separated from point cloud data for an image, the set bounding box Extracting the point cloud data within, removing some of the point cloud data from the extracted point cloud data and then determining a portion corresponding to the remaining point cloud data as an object, and using the point cloud data corresponding to the object Includes the step of modeling an object.
Description
본 발명은 바운딩 박스를 이용한 포인트 클라우드 데이터 기반 객체 모델링 방법 및 이를 실행하는 시스템에 관한 것으로, 보다 구체적으로 바운딩 박스를 이용하여 포인트 클라우드 데이터를 추출한 후 객체를 모델링함으로써 객체 추출 모델링을 더 수월하고 우수하게 행할 수 있도록 하는 바운딩 박스를 이용한 포인트 클라우드 데이터 기반 객체 모델링 방법 및 이를 실행하는 시스템에 관한 것이다. The present invention relates to a point cloud data-based object modeling method using a bounding box and a system for executing the same. More specifically, the object modeling method is made easier and better by extracting point cloud data using a bounding box and then modeling the object. It relates to a point cloud data-based object modeling method using a bounding box and a system for executing the same.
딥 러닝 기술이 세계적으로 재조명을 받은 이후, 다양한 데이터에 대한 인공지능 연구 및 개발이 활발히 진행되고 있다. 그리고 현재까지 인공지능을 통해 가장 눈부신 성장을 이룬 분야 중 하나가 컴퓨터 비전이다. Since deep learning technology received global attention, artificial intelligence research and development on various data is actively underway. And one of the fields that has achieved the most remarkable growth through artificial intelligence to date is computer vision.
이미지 데이터의 경우 시각적인 정보를 가지고 가장 직관적인 이해와 분석이 가능하므로 인공지능 모델 개발에 가장 많이 활용되고 있다. 원래 기계가 시각적인 정보를 해석하는 것은 매우 어려운 문제였지만, 딥 러닝 기술을 통해 이 문제가 어느 정도 극복되었기 때문이다. In the case of image data, it is most widely used in the development of artificial intelligence models because it allows for the most intuitive understanding and analysis with visual information. Originally, it was a very difficult problem for machines to interpret visual information, but this problem has been overcome to some extent through deep learning technology.
현재는 이미지를 분류하는 Classification, 객체를 검출하는 Object Detection, 객체 영역을 찾는 Semantic Segmentation 등 이미지 데이터를 해석하고 이로부터 유용한 정보를 추출하는 기술이 눈부신 발전을 이루어 다양한 산업에서 사용되고 있다.Currently, technologies for interpreting image data and extracting useful information, such as Classification to classify images, Object Detection to detect objects, and Semantic Segmentation to find object areas, have made remarkable progress and are being used in various industries.
그렇다면 해석하고자 하는 정보가 3차원으로 확장되면 어떻게 될까? 이미지 데이터는 유용한 시각 정보를 가지고 있지만 2차원 데이터이기 때문에 3차원의 공간 정보를 얻는 것은 어렵다. So what happens when the information you want to interpret expands into three dimensions? Image data contains useful visual information, but because it is two-dimensional data, it is difficult to obtain three-dimensional spatial information.
인공지능이 3차원 정보를 해석하기 위해서는 시각적으로 표현이 가능하면서도 3차원의 공간 정보를 담고 있는 데이터가 필요하다. 필자는 이 글을 통해 3차원 데이터 중 하나인 포인트 클라우드 데이터를 이용한 방법이 있다. In order for artificial intelligence to interpret 3D information, data that can be expressed visually but also contains 3D spatial information is needed. In this article, the author explains a method using point cloud data, which is one of the three-dimensional data.
현실에 존재하는 3D 공간 정보를 시각적으로 표현할 수 있는 센서는 그리 많지 않다. 그리고 그 센서들이 3D 공간 정보를 표현하는 방법은 동일하다. 바로 위치 정보를 가진 수많은 점들을 모아서 공간을 표현하는 것이다. 그렇게 공간 정보를 가진 점들의 집합을 포인트 클라우드 데이터라고 한다. There are not many sensors that can visually express 3D spatial information that exists in reality. And the way those sensors express 3D spatial information is the same. It expresses space by gathering numerous points with location information. A set of points with spatial information is called point cloud data.
포인트 클라우드 데이터는 현실에서 3D 공간 정보를 수집할 때 얻을 수 있는 가장 기본적인 형태로, 현실에서 수집한 모든 3D 데이터는 포인트 클라우드 데이터를 기반으로 후처리 작업을 통해 얻을 수 있다.Point cloud data is the most basic form that can be obtained when collecting 3D spatial information in reality. All 3D data collected in reality can be obtained through post-processing based on point cloud data.
상기의 포인트 클라우드는 3차원 점들의 집합으로써 깊이 카메라, 라이다 등의 다양한 센서로부터 얻어지는 3차원 데이터이다. 이는 VR, AR 등의 다양한 3차원 컨텐츠 제작의 기반으로 이용된다. The point cloud above is a set of 3D points and is 3D data obtained from various sensors such as depth cameras and lidar. This is used as the basis for producing various 3D contents such as VR and AR.
본 발명은 바운딩 박스를 이용하여 포인트 클라우드 데이터를 추출한 후 객체를 모델링함으로써 객체 추출 모델링을 더 수월하고 우수하게 행할 수 있도록 하는 바운딩 박스를 이용한 포인트 클라우드 데이터 기반 객체 모델링 방법 및 이를 실행하는 시스템을 제공하는 것을 목적으로 한다. The present invention provides a point cloud data-based object modeling method using a bounding box that makes object extraction modeling easier and better by modeling the object after extracting point cloud data using a bounding box, and a system for executing the same. The purpose is to
이러한 목적을 달성하기 위한 객체 모델링 장치에서 실행되는 바운딩 박스를 이용한 포인트 클라우드 데이터 기반 객체 모델링 방법은 이미지에 대한 포인트 클라우드 데이터에서 분리하고자 하는 객체에 대하여 바운딩 박스를 설정하는 단계, 상기 설정된 바운딩 박스 안의 포인트 클라우드 데이터를 추출하는 단계, 상기 추출된 포인트 클라우드 데이터 중 일부 포인트 클라우드 데이터를 제거한 후 나머지 포인트 클라우드 데이터에 해당하는 부분을 객체로 결정하는 단계 및 상기 객체에 해당하는 포인트 클라우드 데이터를 이용하여 상기 객체를 모델링하는 단계를 포함한다.To achieve this purpose, a point cloud data-based object modeling method using a bounding box executed in an object modeling device includes the steps of setting a bounding box for an object to be separated from point cloud data for an image, and selecting a point within the set bounding box. Extracting cloud data, removing some point cloud data from the extracted point cloud data and then determining a portion corresponding to the remaining point cloud data as an object, and extracting the object using the point cloud data corresponding to the object. Includes modeling steps.
일 실시예에서, 상기 추출된 포인트 클라우드 데이터 중 일부 포인트 클라우드 데이터를 제거한 후 나머지 포인트 클라우드 데이터에 해당하는 부분을 객체로 결정하는 단계는 상기 바운딩 박스 안의 포인트 클라우드 데이터 중 일부 포인트 클라우드 데이터를 인라이너로 결정하고 나머지 포인트 클라우드 데이터를 아웃라이너로 결정하는 단계를 포함할 수 있다.In one embodiment, the step of removing some of the point cloud data from the extracted point cloud data and then determining a portion corresponding to the remaining point cloud data as an object includes determining some of the point cloud data within the bounding box to be an inliner. and determining the remaining point cloud data as an outliner.
일 실시예에서, 상기 추출된 포인트 클라우드 데이터 중 일부 포인트 클라우드 데이터를 제거한 후 나머지 포인트 클라우드 데이터에 해당하는 부분을 객체로 결정하는 단계는 상기 아웃라이너의 포인트 클라우드 데이터를 제거하고 상기 인라이너의 포인트 클라우드 데이터에 해당하는 부분을 객체로 결정하는 단계를 포함할 수 있다. In one embodiment, the step of removing some point cloud data from the extracted point cloud data and then determining a portion corresponding to the remaining point cloud data as an object includes removing the point cloud data of the outliner and the point cloud data of the inliner. It may include the step of determining the corresponding part as an object.
또한 이러한 목적을 달성하기 위한 바운딩 박스를 이용한 포인트 클라우드 데이터 기반 객체 모델링 장치는 이미지에 대한 포인트 클라우드 데이터에서 분리하고자 하는 객체에 대하여 바운딩 박스를 설정하는 바운딩 박스 설정부, 상기 설정된 바운딩 박스 안의 포인트 클라우드 데이터를 추출하고, 상기 추출된 포인트 클라우드 데이터 중 일부 포인트 클라우드 데이터를 제거한 후 나머지 포인트 클라우드 데이터에 해당하는 부분을 객체로 결정하는 객체 결정부 및 상기 객체에 해당하는 포인트 클라우드 데이터를 이용하여 상기 객체를 모델링하는 객체 모델링부를 포함한다.In addition, a point cloud data-based object modeling device using a bounding box to achieve this purpose includes a bounding box setting unit that sets a bounding box for an object to be separated from point cloud data for an image, and point cloud data within the set bounding box. An object determination unit that extracts, removes some point cloud data from the extracted point cloud data, and then determines a portion corresponding to the remaining point cloud data as an object, and models the object using the point cloud data corresponding to the object. It includes an object modeling unit.
일 실시예에서, 상기 객체 결정부는 상기 바운딩 박스 안의 포인트 클라우드 데이터 중 일부 포인트 클라우드 데이터를 인라이너로 결정하고 나머지 포인트 클라우드 데이터를 아웃라이너로 결정할 수 있다.In one embodiment, the object determination unit may determine some of the point cloud data in the bounding box as inliners and determine remaining point cloud data as outliners.
일 실시예에서, 상기 객체 결정부는 상기 아웃라이너의 포인트 클라우드 데이터를 제거하고 상기 인라이너의 포인트 클라우드 데이터에 해당하는 부분을 객체로 결정할 수 있다.In one embodiment, the object determination unit may remove the point cloud data of the outliner and determine a portion corresponding to the point cloud data of the inliner as an object.
전술한 바와 같은 본 발명에 의하면, 바운딩 박스를 이용하여 포인트 클라우드 데이터를 추출한 후 객체를 모델링함으로써 객체 추출 모델링을 더 수월하고 우수하게 행할 수 있다는 장점이 있다.According to the present invention as described above, there is an advantage that object extraction modeling can be performed more easily and excellently by extracting point cloud data using a bounding box and then modeling the object.
도 1은 본 발명의 일 실시예에 따른 바운딩 박스를 이용한 포인트 클라우드 데이터 기반 객체 모델링 시스템을 설명하기 위한 네트워크 구성도이다.
도 2는 본 발명의 일 실시예에 따른 객체 모델링 서버의 내부 구조를 설명하기 위한 블록도이다.
도 3은 본 발명에 따른 바운딩 박스를 이용한 포인트 클라우드 데이터 기반 객체 모델링 방법의 일 실시예를 설명하기 위한 흐름도이다.
도 4 내지 도 8은 본 발명의 일 실시예에 따른 바운딩 박스를 이용한 포인트 클라우드 데이터 기반 객체 모델링 과정을 설명하기 위한 예시도이다.Figure 1 is a network configuration diagram for explaining a point cloud data-based object modeling system using a bounding box according to an embodiment of the present invention.
Figure 2 is a block diagram for explaining the internal structure of an object modeling server according to an embodiment of the present invention.
Figure 3 is a flowchart illustrating an embodiment of a point cloud data-based object modeling method using a bounding box according to the present invention.
Figures 4 to 8 are exemplary diagrams for explaining a point cloud data-based object modeling process using a bounding box according to an embodiment of the present invention.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.The above-described objects, features, and advantages will be described in detail later with reference to the attached drawings, so that those skilled in the art will be able to easily implement the technical idea of the present invention. In describing the present invention, if it is determined that a detailed description of known technologies related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description will be omitted. Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the attached drawings. In the drawings, identical reference numerals are used to indicate identical or similar components.
본 명세서에서 사용된 용어 중 "포인트 클라우드"는 3차원 좌표 공간에서 표현된 점들의 집합으로서, 각 점들은 차원 좌표 공간에서 지오메트리(geometry) 정보와 속성 정보(예컨대, 색상, 반사도, 법선 등)을 갖는다. 포인트 클라우드를 구성하는 점의 지오메트리 정보는 일반적으로 실수 형태로 표현되나, 가끔 정수 형태로 좌표 공간에서 표현되기도 한다. 포인트 클라우드는 복셀(Voxel) 단위로 표현하고 인덱스로 사용될 수 있기 때문에 연산에 이점이 있다.Among the terms used in this specification, "point cloud" is a set of points expressed in a three-dimensional coordinate space, and each point contains geometry information and attribute information (e.g., color, reflectivity, normal, etc.) in the three-dimensional coordinate space. have The geometric information of the points that make up the point cloud is generally expressed in real number form, but is sometimes expressed in coordinate space in integer form. Point clouds have an advantage in computation because they can be expressed in voxel units and used as indices.
상기의 "포인트 클라우드"는 이미지에 기반한 장면 정보를 통해 정합 과정을 통하여 획득하거나, 적외선 센서를 사용하는 스캔 장치를 이용하여 획득할 수 있다. 스캔 장치의 예로는 마이크로소프트 키넥트(Microsoft Kinect) 또는 라이다(Lidar) 등이 있다. 이들 장치로부터 생성된 포인트 클라우드는 3D 렌더링 기술을 통하여 공간 정보를 제공하거나, 특정 물체를 나타내는 3 차원 정보를 제공하는 데 사용될 수 있다.The “point cloud” can be obtained through a matching process using image-based scene information, or can be obtained using a scanning device using an infrared sensor. Examples of scanning devices include Microsoft Kinect or Lidar. Point clouds generated from these devices can be used to provide spatial information through 3D rendering technology or to provide three-dimensional information representing specific objects.
도 1은 본 발명의 일 실시예에 따른 바운딩 박스를 이용한 포인트 클라우드 데이터 기반 객체 모델링 시스템을 설명하기 위한 네트워크 구성도이다.Figure 1 is a network configuration diagram for explaining a point cloud data-based object modeling system using a bounding box according to an embodiment of the present invention.
도 1을 참조하면, 바운딩 박스를 이용한 포인트 클라우드 데이터 기반 객체 모델링 시스템은 객체 모델링 서버(100) 및 데이터 제공 장치(200_1~200_N)을 포함한다. Referring to FIG. 1, a point cloud data-based object modeling system using a bounding box includes an object modeling server 100 and data providing devices 200_1 to 200_N.
객체 모델링 서버(100)는 이미지에서 모델링 대상 객체에 대해서 바운딩 박스를 설정한 후 해당 바운딩 박스의 포인트 클라우드 데이터를 이용하여 객체를 모델링할 수 있다. The object modeling server 100 may set a bounding box for a modeling target object in an image and then model the object using point cloud data of the bounding box.
먼저, 객체 모델링 서버(100)는 이미지에 대한 포인트 클라우드 데이터(point cloud)를 획득한다. First, the object modeling server 100 obtains point cloud data for the image.
상기의 3차원 포인트 클라우드 데이터는 데이터 제공 장치(200_1~200_N)로부터 수신될 수 있다. 즉, 3차원 포인트 클라우드 데이터는 사진이나 비디오 등을 이용한 수동적인(passive) 3차원 복원 기법에 의해 획득된 데이터 및/또는 LiDAR 센서나 프로젝터 등을 이용한 능동적인(active) 3차원 복원 기법에 의해 획득된 데이터이다. 객체 모델링 서버(100)는 예를 들어, 3차원 스캐닝을 통해 대상에 대해 획득한 대용량의 3차원 포인트 클라우드 데이터를 입력받을 수 있다. The 3D point cloud data may be received from data providing devices 200_1 to 200_N. In other words, 3D point cloud data is acquired by passive 3D restoration techniques using photos or videos, and/or active 3D restoration techniques using LiDAR sensors or projectors. This is data. For example, the object modeling server 100 may receive a large amount of 3D point cloud data obtained about an object through 3D scanning.
객체 모델링 서버(100)는 획득된 포인트 클라우드 데이터를 포함할 수 있는 바운딩 박스를 생성한 후 이를 복셀 그리드로 분할할 수 있다. 즉, 복셀 그리드 생성부(120)는 포인트 클라우드를 모두 포함할 수 있는 정육면체 형태의 바운딩 박스를 구한 후 바운딩 박스를 n*n*n개의 정육면체 형태의 복셀 그리드로 분할한다. 이때, 바운딩 박스를 구성하는 에지들의 3개의 방향이 좌표축 (x,y,z)과 일치하도록 바운딩 박스를 구한다.The object modeling server 100 may create a bounding box that may include the acquired point cloud data and then divide it into a voxel grid. That is, the voxel grid generator 120 obtains a cubic bounding box that can contain all of the point clouds and then divides the bounding box into n*n*n cubic voxel grids. At this time, the bounding box is obtained so that the three directions of the edges constituting the bounding box coincide with the coordinate axes (x, y, z).
객체 모델링 서버(100)는 바운딩 박스 안의 포인트 클라우드 데이터를 추출한 후 추출된 포인트 클라우드 데이터 중 일부 포인트 클라우드 데이터를 제거한 후 나머지 포인트 클라우드 데이터에 해당하는 부분을 객체로 결정한다.The object modeling server 100 extracts the point cloud data within the bounding box, removes some of the extracted point cloud data, and then determines the portion corresponding to the remaining point cloud data as an object.
일 실시예에서, 객체 모델링 서버(100)는 바운딩 박스 안의 포인트 클라우드 데이터 중 일부 포인트 클라우드 데이터를 인라이너로 결정하고 나머지 포인트 클라우드 데이터를 아웃라이너로 결정할 수 있다.In one embodiment, the object modeling server 100 may determine some of the point cloud data in the bounding box to be inliners and the remaining point cloud data to be outliners.
상기의 실시예에서, 객체 모델링 서버(100)는 포인트 클라우드 공간 영역을 이용하여 일정한 규격의 복셀 그리드를 생성하고 각 복셀에 할당된 포인트 셋의 평균치로 모든 복셀의 무게 중심 점을 산정한다. 결정된 무게 중심점을 이용해, 포인트 클라우드의 평균점이나 가장 가까운 근사점을 구한다. 평균점 혹은 근사점이 실제 형상을 추출할 때 사용되며, 이는 외부 시스템 옵션에 따라 결정된다.In the above embodiment, the object modeling server 100 creates a voxel grid of a certain standard using the point cloud space area and calculates the center of gravity of all voxels as the average of the point sets assigned to each voxel. Using the determined center of gravity, the average point or closest approximation point of the point cloud is obtained. The average point or approximation point is used to extract the actual shape, which is determined by external system options.
객체 모델링 서버(100)는 포인트 클라우드에서 객체의 형상을 추출하기 위해서 RANSAC(Random Sample Consensus)알고리즘을 사용한다. RANSAC(Random Sample Consensus)알고리즘은 기본 형상 인식 시 많이 사용되고 있는 방식으로 유명하다. 이때, 바운딩 박스에 해당하는 객체의 수학 모델은 미리 정의되어 있다. The object modeling server 100 uses the RANSAC (Random Sample Consensus) algorithm to extract the shape of the object from the point cloud. The RANSAC (Random Sample Consensus) algorithm is famous for being widely used in basic shape recognition. At this time, the mathematical model of the object corresponding to the bounding box is predefined.
이를 위해, 포인트 클라우드의 각 점에 대해 RANSAC 알고리즘을 기반으로 객체에 해당하는 포인트 클라우드 데이터로부터 수학 모델을 구성하고, 나머지 포인트 클라우드 데이터가 수학 모델을 만족하는 비율을 근거로 수학모델이 적합한지 여부를 판단한다. For this purpose, a mathematical model is constructed from the point cloud data corresponding to the object based on the RANSAC algorithm for each point in the point cloud, and whether the mathematical model is suitable is determined based on the ratio of the remaining point cloud data satisfying the mathematical model. judge.
RANSAC 알고리즘은 수학모델을 만족하는 포인트 클라우드 데이터를 인라이어 그렇게 않은 포인트 클라우드 데이터를 아웃라이어로 정의하는 알고리즘으로 정의되며, 본 발명에 따른 객체 모델링 서버(100)는 이미지에서 추출된 포인트 클라우드 데이터로 객체에 대한 수학모델을 구성한다.The RANSAC algorithm is defined as an algorithm that defines point cloud data that satisfies a mathematical model as inliers and point cloud data that does not satisfy the mathematical model as outliers. The object modeling server 100 according to the present invention uses point cloud data extracted from an image to create an object. Construct a mathematical model for .
이러한 객체에 대한 수학 모델은 객체를 검출하는데 충분한 개수의 인라이어들이 상기 객체에 대한 수학 모델을 만족하면 그 위치에서 객체에 검출된 것으로 판단할 수 있다. The mathematical model for such an object can determine that an object has been detected at that location if a sufficient number of inliers to detect the object satisfies the mathematical model for the object.
객체 모델링 서버(100)는 객체에 해당하는 포인트 클라우드 데이터를 이용하여 상기 객체를 모델링한다.The object modeling server 100 models the object using point cloud data corresponding to the object.
도 2는 본 발명의 일 실시예에 따른 객체 모델링 서버의 내부 구조를 설명하기 위한 블록도이다.Figure 2 is a block diagram for explaining the internal structure of an object modeling server according to an embodiment of the present invention.
도 2를 참조하면, 객체 모델링 서버(100)는 데이터 획득부(110), 복셀 그리드 생성부(120), 객체 추출부(130) 및 객체 모델링부(140)를 포함한다. Referring to FIG. 2 , the object modeling server 100 includes a data acquisition unit 110, a voxel grid creation unit 120, an object extraction unit 130, and an object modeling unit 140.
데이터 획득부(110)는 이미지에 대한 포인트 클라우드 데이터(point cloud)를 획득한다. The data acquisition unit 110 acquires point cloud data for the image.
상기의 3차원 포인트 클라우드 데이터는 사진이나 비디오 등을 이용한 수동적인(passive) 3차원 복원 기법에 의해 획득된 데이터 및/또는 LiDAR 센서나 프로젝터 등을 이용한 능동적인(active) 3차원 복원 기법에 의해 획득된 데이터이다. 데이터 획득부(110)는 예를 들어, 3차원 스캐닝을 통해 대상에 대해 획득한 대용량의 3차원 포인트 클라우드 데이터를 입력받아 복셀 그리드 생성부(120)로 제공한다.The above 3D point cloud data is acquired by passive 3D reconstruction techniques using photos or videos, and/or active 3D reconstruction techniques using LiDAR sensors or projectors. This is data. For example, the data acquisition unit 110 receives a large amount of 3D point cloud data obtained about an object through 3D scanning and provides it to the voxel grid generator 120.
복셀 그리드 생성부(120)는 데이터 획득부(110)로부터 획득된 포인트 클라우드 데이터를 포함할 수 있는 바운딩 박스를 생성한 후 이를 복셀 그리드로 분할할 수 있다. 즉, 복셀 그리드 생성부(120)는 포인트 클라우드를 모두 포함할 수 있는 정육면체 형태의 바운딩 박스를 구한 후 바운딩 박스를 n*n*n개의 정육면체 형태의 복셀 그리드로 분할한다. 이때, 바운딩 박스를 구성하는 에지들의 3개의 방향이 좌표축 (x,y,z)과 일치하도록 바운딩 박스를 구한다.The voxel grid generator 120 may generate a bounding box that may include point cloud data acquired from the data acquisition unit 110 and then divide it into a voxel grid. That is, the voxel grid generator 120 obtains a cubic bounding box that can contain all of the point clouds and then divides the bounding box into n*n*n cubic voxel grids. At this time, the bounding box is obtained so that the three directions of the edges constituting the bounding box coincide with the coordinate axes (x, y, z).
객체 추출부(130)는 바운딩 박스 안의 포인트 클라우드 데이터를 추출한 후 객체 모델링 서버(100)는 추출된 포인트 클라우드 데이터 중 일부 포인트 클라우드 데이터를 제거한 후 나머지 포인트 클라우드 데이터에 해당하는 부분을 객체로 결정한다.After the object extraction unit 130 extracts the point cloud data within the bounding box, the object modeling server 100 removes some of the extracted point cloud data and then determines a portion corresponding to the remaining point cloud data as an object.
일 실시예에서, 객체 추출부(130)는 바운딩 박스 안의 포인트 클라우드 데이터 중 일부 포인트 클라우드 데이터를 인라이너로 결정하고 나머지 포인트 클라우드 데이터를 아웃라이너로 결정할 수 있다.In one embodiment, the object extractor 130 may determine some of the point cloud data in the bounding box as inliners and determine the remaining point cloud data as outliners.
상기의 실시예에서, 객체 추출부(130)는 포인트 클라우드 공간 영역을 이용하여 일정한 규격의 복셀 그리드를 생성하고 각 복셀에 할당된 포인트 셋의 평균치로 모든 복셀의 무게 중심 점을 산정한다. 결정된 무게 중심점을 이용해, 포인트 클라우드의 평균점이나 가장 가까운 근사점을 구한다. 평균점 혹은 근사점이 실제 형상을 추출할 때 사용되며, 이는 외부 시스템 옵션에 따라 결정된다.In the above embodiment, the object extractor 130 generates a voxel grid of a certain standard using the point cloud space area and calculates the center of gravity of all voxels using the average of the point sets assigned to each voxel. Using the determined center of gravity, the average point or closest approximation point of the point cloud is obtained. The average point or approximation point is used to extract the actual shape, which is determined by external system options.
객체 추출부(130)는 포인트 클라우드에서 객체의 형상을 추출하기 위해서 RANSAC(Random Sample Consensus)알고리즘을 사용한다. RANSAC(Random Sample Consensus)알고리즘은 기본 형상 인식 시 많이 사용되고 있는 방식으로 유명하다. 이때, 바운딩 박스에 해당하는 객체의 수학 모델은 미리 정의되어 있다. The object extraction unit 130 uses the RANSAC (Random Sample Consensus) algorithm to extract the shape of the object from the point cloud. The RANSAC (Random Sample Consensus) algorithm is famous for being widely used in basic shape recognition. At this time, the mathematical model of the object corresponding to the bounding box is predefined.
이를 위해, 포인트 클라우드의 각 점에 대해 RANSAC 알고리즘을 기반으로 객체에 해당하는 포인트 클라우드 데이터로부터 수학 모델을 구성하고, 나머지 포인트 클라우드 데이터가 수학 모델을 만족하는 비율을 근거로 수학모델이 적합한지 여부를 판단한다. For this purpose, a mathematical model is constructed from the point cloud data corresponding to the object based on the RANSAC algorithm for each point in the point cloud, and whether the mathematical model is suitable is determined based on the ratio of the remaining point cloud data satisfying the mathematical model. judge.
RANSAC 알고리즘은 수학모델을 만족하는 포인트 클라우드 데이터를 인라이어 그렇게 않은 포인트 클라우드 데이터를 아웃라이어로 정의하는 알고리즘으로 정의되며, 본 발명에 따른 객체 모델링 서버(100)는 이미지에서 추출된 포인트 클라우드 데이터로 객체에 대한 수학모델을 구성한다.The RANSAC algorithm is defined as an algorithm that defines point cloud data that satisfies a mathematical model as inliers and point cloud data that does not satisfy the mathematical model as outliers. The object modeling server 100 according to the present invention uses point cloud data extracted from an image to create an object. Construct a mathematical model for .
이러한 객체에 대한 수학 모델은 객체를 검출하는데 충분한 개수의 인라이어들이 상기 객체에 대한 수학 모델을 만족하면 그 위치에서 객체에 검출된 것으로 판단할 수 있다. The mathematical model for such an object can determine that an object has been detected at that location if a sufficient number of inliers to detect the object satisfies the mathematical model for the object.
그 후, 객체 추출부(130)는 인라이너를 분리하고자 하는 객체로 정의하고 아웃라이너를 제거할 수 있다.Afterwards, the object extractor 130 may define the inliner as an object to be separated and remove the outliner.
객체 모델링부(140)는 객체에 해당하는 포인트 클라우드 데이터를 이용하여 상기 객체를 모델링한다(단계 S340).The object modeling unit 140 models the object using point cloud data corresponding to the object (step S340).
도 3은 본 발명에 따른 바운딩 박스를 이용한 포인트 클라우드 데이터 기반 객체 모델링 방법의 일 실시예를 설명하기 위한 흐름도이다.Figure 3 is a flowchart illustrating an embodiment of a point cloud data-based object modeling method using a bounding box according to the present invention.
도 3을 참조하면, 객체 모델링 서버(100)는 이미지에 대한 포인트 클라우드 데이터에서 분리하고자 하는 객체에 대하여 바운딩 박스를 설정한다(단계 S310).Referring to FIG. 3, the object modeling server 100 sets a bounding box for an object to be separated from point cloud data for an image (step S310).
이를 위해, 객체 모델링 서버(100)는 이미지에 대한 포인트 클라우드 데이터(point cloud)를 획득한다. To this end, the object modeling server 100 acquires point cloud data for the image.
상기의 3차원 포인트 클라우드 데이터는 사진이나 비디오 등을 이용한 수동적인(passive) 3차원 복원 기법에 의해 획득된 데이터 및/또는 LiDAR 센서나 프로젝터 등을 이용한 능동적인(active) 3차원 복원 기법에 의해 획득된 데이터이다. 데이터 획득부(110)는 예를 들어, 3차원 스캐닝을 통해 대상에 대해 획득한 대용량의 3차원 포인트 클라우드 데이터를 입력받아 복셀 그리드 생성부(120)로 제공한다.The above 3D point cloud data is acquired by passive 3D reconstruction techniques using photos or videos, and/or active 3D reconstruction techniques using LiDAR sensors or projectors. This is data. For example, the data acquisition unit 110 receives a large amount of 3D point cloud data obtained about an object through 3D scanning and provides it to the voxel grid generator 120.
객체 모델링 서버(100)는 포인트 클라우드 데이터를 포함할 수 있는 바운딩 박스를 생성한 후 이를 복셀 그리드로 분할할 수 있다. 즉, 복객체 모델링 서버(100)는 포인트 클라우드를 모두 포함할 수 있는 정육면체 형태의 바운딩 박스를 구한 후 바운딩 박스를 n*n*n개의 정육면체 형태의 복셀 그리드로 분할한다. 이때, 바운딩 박스를 구성하는 에지들의 3개의 방향이 좌표축 (x,y,z)과 일치하도록 바운딩 박스를 구한다.The object modeling server 100 may create a bounding box that may include point cloud data and then divide it into a voxel grid. That is, the multi-object modeling server 100 obtains a cubic bounding box that can contain all of the point clouds and then divides the bounding box into n*n*n cube-shaped voxel grids. At this time, the bounding box is obtained so that the three directions of the edges constituting the bounding box coincide with the coordinate axes (x, y, z).
객체 모델링 서버(100)는 설정된 바운딩 박스 안의 포인트 클라우드 데이터를 추출한다(단계 S320).The object modeling server 100 extracts point cloud data within the set bounding box (step S320).
객체 모델링 서버(100)는 추출된 포인트 클라우드 데이터 중 일부 포인트 클라우드 데이터를 제거한 후 나머지 포인트 클라우드 데이터에 해당하는 부분을 객체로 결정한다(단계 S330).The object modeling server 100 removes some of the extracted point cloud data and then determines a portion corresponding to the remaining point cloud data as an object (step S330).
단계 S330에 대한 일 실시예에서, 객체 모델링 서버(100)는 바운딩 박스 안의 포인트 클라우드 데이터 중 일부 포인트 클라우드 데이터를 인라이너로 결정하고 나머지 포인트 클라우드 데이터를 아웃라이너로 결정할 수 있다.In one embodiment of step S330, the object modeling server 100 may determine some of the point cloud data in the bounding box as inliners and determine remaining point cloud data as outliners.
상기의 실시예에서, 객체 모델링 서버(100)는 포인트 클라우드 공간 영역을 이용하여 일정한 규격의 복셀 그리드를 생성하고 각 복셀에 할당된 포인트 셋의 평균치로 모든 복셀의 무게 중심 점을 산정한다. 결정된 무게 중심점을 이용해, 포인트 클라우드의 평균점이나 가장 가까운 근사점을 구한다. 평균점 혹은 근사점이 실제 형상을 추출할 때 사용되며, 이는 외부 시스템 옵션에 따라 결정된다.In the above embodiment, the object modeling server 100 creates a voxel grid of a certain standard using the point cloud space area and calculates the center of gravity of all voxels as the average of the point sets assigned to each voxel. Using the determined center of gravity, the average point or closest approximation point of the point cloud is obtained. The average point or approximation point is used to extract the actual shape, which is determined by external system options.
객체 모델링 서버(100)는 포인트 클라우드에서 객체의 형상을 추출하기 위해서 RANSAC(Random Sample Consensus)알고리즘을 사용한다. RANSAC(Random Sample Consensus)알고리즘은 기본 형상 인식 시 많이 사용되고 있는 방식으로 유명하다. 이때, 바운딩 박스에 해당하는 객체의 수학 모델은 미리 정의되어 있다. The object modeling server 100 uses the RANSAC (Random Sample Consensus) algorithm to extract the shape of the object from the point cloud. The RANSAC (Random Sample Consensus) algorithm is famous for being widely used in basic shape recognition. At this time, the mathematical model of the object corresponding to the bounding box is predefined.
이를 위해, 포인트 클라우드의 각 점에 대해 RANSAC 알고리즘을 기반으로 객체에 해당하는 포인트 클라우드 데이터로부터 수학 모델을 구성하고, 나머지 포인트 클라우드 데이터가 수학 모델을 만족하는 비율을 근거로 수학모델이 적합한지 여부를 판단한다. For this purpose, a mathematical model is constructed from the point cloud data corresponding to the object based on the RANSAC algorithm for each point in the point cloud, and whether the mathematical model is suitable is determined based on the ratio of the remaining point cloud data satisfying the mathematical model. judge.
RANSAC 알고리즘은 수학모델을 만족하는 포인트 클라우드 데이터를 인라이어 그렇게 않은 포인트 클라우드 데이터를 아웃라이어로 정의하는 알고리즘으로 정의되며, 본 발명에 따른 객체 모델링 서버(100)는 이미지에서 추출된 포인트 클라우드 데이터로 객체에 대한 수학모델을 구성한다.The RANSAC algorithm is defined as an algorithm that defines point cloud data that satisfies a mathematical model as inliers and point cloud data that does not satisfy the mathematical model as outliers. The object modeling server 100 according to the present invention uses point cloud data extracted from an image to create an object. Construct a mathematical model for .
이러한 객체에 대한 수학 모델은 객체를 검출하는데 충분한 개수의 인라이어들이 상기 객체에 대한 수학 모델을 만족하면 그 위치에서 객체에 검출된 것으로 판단할 수 있다. The mathematical model for such an object can determine that an object has been detected at that location if a sufficient number of inliers to detect the object satisfies the mathematical model for the object.
객체 모델링 서버(100)는 객체에 해당하는 포인트 클라우드 데이터를 이용하여 상기 객체를 모델링한다(단계 S340).The object modeling server 100 models the object using point cloud data corresponding to the object (step S340).
도 4 내지 도 8은 본 발명의 일 실시예에 따른 바운딩 박스를 이용한 포인트 클라우드 데이터 기반 객체 모델링 과정을 설명하기 위한 예시도이다.Figures 4 to 8 are exemplary diagrams for explaining a point cloud data-based object modeling process using a bounding box according to an embodiment of the present invention.
도 4 내지 도 8을 참조하면, 객체 모델링 서버(100)는 객체 모델링 서버(100)는 이미지에 대한 포인트 클라우드 데이터에서 분리하고자 하는 객체에 대하여 바운딩 박스를 설정한다. Referring to FIGS. 4 to 8 , the object modeling server 100 sets a bounding box for an object to be separated from point cloud data for an image.
예를 들어, 객체 모델링 서버(100)는 도 4와 같이 이미지에 대한 포인트 클라우드 데이터에서 분리하고자 하는 객체에 대하여 바운딩 박스를 설정한다. For example, the object modeling server 100 sets a bounding box for an object to be separated from point cloud data for an image, as shown in FIG. 4 .
이를 위해, 객체 모델링 서버(100)는 이미지에 대한 포인트 클라우드 데이터(point cloud)를 획득한다. 예를 들어, 객체 모델링 서버(100)는 도 5와 같이 이미지에 대한 포인트 클라우드 데이터(point cloud)를 획득한다. To this end, the object modeling server 100 acquires point cloud data for the image. For example, the object modeling server 100 acquires point cloud data for an image as shown in FIG. 5.
상기의 3차원 포인트 클라우드 데이터는 사진이나 비디오 등을 이용한 수동적인(passive) 3차원 복원 기법에 의해 획득된 데이터 및/또는 LiDAR 센서나 프로젝터 등을 이용한 능동적인(active) 3차원 복원 기법에 의해 획득된 데이터이다. 데이터 획득부(110)는 예를 들어, 3차원 스캐닝을 통해 대상에 대해 획득한 대용량의 3차원 포인트 클라우드 데이터를 입력받는다.The above 3D point cloud data is acquired by passive 3D reconstruction techniques using photos or videos, and/or active 3D reconstruction techniques using LiDAR sensors or projectors. This is data. The data acquisition unit 110 receives a large amount of 3D point cloud data obtained about an object through, for example, 3D scanning.
객체 모델링 서버(100)는 포인트 클라우드 데이터를 포함할 수 있는 바운딩 박스를 생성한 후 이를 복셀 그리드로 분할할 수 있다. 즉, 객체 모델링 서버(100)는 포인트 클라우드를 모두 포함할 수 있는 정육면체 형태의 바운딩 박스를 구한 후 바운딩 박스를 n*n*n개의 정육면체 형태의 복셀 그리드로 분할한다. 이때, 바운딩 박스를 구성하는 에지들의 3개의 방향이 좌표축 (x,y,z)과 일치하도록 바운딩 박스를 구한다.The object modeling server 100 may create a bounding box that may include point cloud data and then divide it into a voxel grid. That is, the object modeling server 100 obtains a cubic bounding box that can contain all of the point clouds and then divides the bounding box into n*n*n cube-shaped voxel grids. At this time, the bounding box is obtained so that the three directions of the edges constituting the bounding box coincide with the coordinate axes (x, y, z).
객체 모델링 서버(100)는 설정된 바운딩 박스 안의 포인트 클라우드 데이터를 추출한다.The object modeling server 100 extracts point cloud data within the set bounding box.
객체 모델링 서버(100)는 추출된 포인트 클라우드 데이터 중 일부 포인트 클라우드 데이터를 제거한 후 나머지 포인트 클라우드 데이터에 해당하는 부분을 객체로 결정한다. The object modeling server 100 removes some of the extracted point cloud data and then determines a portion corresponding to the remaining point cloud data as an object.
일 실시예에서, 객체 모델링 서버(100)는 바운딩 박스 안의 포인트 클라우드 데이터 중 일부 포인트 클라우드 데이터를 인라이너로 결정하고 나머지 포인트 클라우드 데이터를 아웃라이너로 결정한다. 예를 들어, 객체 모델링 서버(100)는 도 6과 같이 는 바운딩 박스 안의 포인트 클라우드 데이터 중 일부 포인트 클라우드 데이터를 인라이너로 결정하고 나머지 포인트 클라우드 데이터를 아웃라이너로 결정할 수 있다. In one embodiment, the object modeling server 100 determines some of the point cloud data in the bounding box as inliners and determines the remaining point cloud data as outliners. For example, the object modeling server 100 may determine some of the point cloud data in the bounding box as inliners and determine the remaining point cloud data as outliners, as shown in FIG. 6 .
상기의 실시예에서, 객체 모델링 서버(100)는 포인트 클라우드 공간 영역을 이용하여 일정한 규격의 복셀 그리드를 생성하고 각 복셀에 할당된 포인트 셋의 평균치로 모든 복셀의 무게 중심 점을 산정한다. 결정된 무게 중심점을 이용해, 포인트 클라우드의 평균점이나 가장 가까운 근사점을 구한다. 평균점 혹은 근사점이 실제 형상을 추출할 때 사용되며, 이는 외부 시스템 옵션에 따라 결정된다.In the above embodiment, the object modeling server 100 creates a voxel grid of a certain standard using the point cloud space area and calculates the center of gravity of all voxels as the average of the point sets assigned to each voxel. Using the determined center of gravity, the average point or closest approximation point of the point cloud is obtained. The average point or approximation point is used to extract the actual shape, which is determined by external system options.
객체 모델링 서버(100)는 포인트 클라우드에서 객체의 형상을 추출하기 위해서 RANSAC(Random Sample Consensus)알고리즘을 사용한다. RANSAC(Random Sample Consensus)알고리즘은 기본 형상 인식 시 많이 사용되고 있는 방식으로 유명하다. 이때, 바운딩 박스에 해당하는 객체의 수학 모델은 미리 정의되어 있다. The object modeling server 100 uses the RANSAC (Random Sample Consensus) algorithm to extract the shape of the object from the point cloud. The RANSAC (Random Sample Consensus) algorithm is famous for being widely used in basic shape recognition. At this time, the mathematical model of the object corresponding to the bounding box is predefined.
이를 위해, 포인트 클라우드의 각 점에 대해 RANSAC 알고리즘을 기반으로 객체에 해당하는 포인트 클라우드 데이터로부터 수학 모델을 구성하고, 나머지 포인트 클라우드 데이터가 수학 모델을 만족하는 비율을 근거로 수학모델이 적합한지 여부를 판단한다. For this purpose, a mathematical model is constructed from the point cloud data corresponding to the object based on the RANSAC algorithm for each point in the point cloud, and whether the mathematical model is suitable is determined based on the ratio of the remaining point cloud data satisfying the mathematical model. judge.
RANSAC 알고리즘은 수학모델을 만족하는 포인트 클라우드 데이터를 인라이어 그렇게 않은 포인트 클라우드 데이터를 아웃라이어로 정의하는 알고리즘으로 정의되며, 본 발명에 따른 객체 모델링 서버(100)는 이미지에서 추출된 포인트 클라우드 데이터로 객체에 대한 수학모델을 구성한다.The RANSAC algorithm is defined as an algorithm that defines point cloud data that satisfies a mathematical model as inliers and point cloud data that does not satisfy the mathematical model as outliers. The object modeling server 100 according to the present invention uses point cloud data extracted from an image to create an object. Construct a mathematical model for .
이러한 객체에 대한 수학 모델은 객체를 검출하는데 충분한 개수의 인라이어들이 상기 객체에 대한 수학 모델을 만족하면 그 위치에서 객체에 검출된 것으로 판단할 수 있다. The mathematical model for such an object can determine that an object has been detected at that location if a sufficient number of inliers to detect the object satisfies the mathematical model for the object.
그 후, 객체 모델링 서버(100)는 인라이너를 분리하고자 하는 객체로 정의하고 아웃라이너를 제거할 수 있다. 예를 들어, 도 7과 같이 인라이너를 분리하고자 하는 객체로 정의하고 아웃라이너를 제거할 수 있다. Afterwards, the object modeling server 100 may define the inliner as an object to be separated and remove the outliner. For example, as shown in Figure 7, the inliner can be defined as an object to be separated and the outliner can be removed.
객체 모델링 서버(100)는 객체에 해당하는 포인트 클라우드 데이터를 이용하여 상기 객체를 모델링한다. 예를 들어, 도 8과 같이 객체에 해당하는 포인트 클라우드 데이터를 이용하여 상기 객체를 모델링할 수 있다. The object modeling server 100 models the object using point cloud data corresponding to the object. For example, as shown in FIG. 8, the object can be modeled using point cloud data corresponding to the object.
한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.Although the present invention has been described with reference to limited embodiments and drawings, the present invention is not limited to the above embodiments, and various modifications and variations can be made by those skilled in the art from these descriptions. Accordingly, the spirit of the present invention should be understood only by the scope of the claims set forth below, and all equivalent or equivalent modifications thereof shall fall within the scope of the spirit of the present invention.
100: 객체 모델링 서버,
110: 데이터 획득부,
120: 복셀 그리드 생성부,
130: 객체 추출부,
140: 객체 모델링부,
200: 데이터 제공 장치,100: object modeling server,
110: data acquisition unit,
120: Voxel grid generation unit,
130: object extraction unit,
140: object modeling unit,
200: data provision device,
Claims (6)
상기 포인트 클라우드를 모두 포함하며 에지들의 3개의 방향이 좌표축(x, y, z)과 일치하도록 정육면체 형태의 바운딩 박스를 생성하고, 상기 바운딩 박스를 n*n*n개의 정육면체 형태의 복셀 그리드로 분할하는 단계;
상기 바운딩 박스 안의 포인트 클라우드 데이터 중 일부 포인트 클라우드 데이터를 인라이너로 결정하고 나머지 포인트 클라우드 데이터를 아웃라이너로 결정하는 단계;
상기 아웃라이너의 포인트 클라우드 데이터를 제거하고 상기 인라이너의 포인트 클라우드 데이터에 해당하는 부분을 객체로 결정하는 단계를 포함하고,
상기 일부 포인트 클라우드 데이터를 인라이너로 결정하고 나머지 포인트 클라우드 데이터를 아웃라이너로 결정하는 단계는
상기 포인트 클라우드의 공간 영역을 이용하여 일정한 규격의 복셀 그리드를 생성하고 각 복셀에 할당된 포인트 셋의 평균치로 복수의 복셀의 무게 중심 점을 산정하는 단계;
상기 산정된 복수의 복셀의 무게 중심점을 이용하여 포인트 클라우드의 평균점 또는 가장 가까운 근사점을 산출한 후 평균점 또는 근사점을 인라이너로 결정하는 것을 특징으로 하는
바운딩 박스를 이용한 포인트 클라우드 데이터 기반 객체 모델링 방법.
Obtaining a point cloud for the image;
Create a cubic-shaped bounding box that includes all of the point clouds and have the three directions of the edges coincide with the coordinate axes (x, y, z), and divide the bounding box into n*n*n cube-shaped voxel grids. steps;
determining some of the point cloud data within the bounding box as inliners and determining remaining point cloud data as outliners;
Removing the point cloud data of the outliner and determining a portion corresponding to the point cloud data of the inliner as an object,
The step of determining some of the point cloud data as inliners and determining the remaining point cloud data as outliners is
Creating a voxel grid of a certain standard using the spatial region of the point cloud and calculating the center of gravity of a plurality of voxels using the average of the point sets assigned to each voxel;
The average point or closest approximation point of the point cloud is calculated using the calculated center of gravity of the plurality of voxels, and then the average point or approximation point is determined as an inliner.
Point cloud data-based object modeling method using bounding boxes.
상기 포인트 클라우드를 모두 포함하며 에지들의 3개의 방향이 좌표축(x, y, z)과 일치하도록 정육면체 형태의 바운딩 박스를 생성하고, 상기 바운딩 박스를 n*n*n개의 정육면체 형태의 복셀 그리드로 분할하는 복셀 그리드 생성부;
상기 바운딩 박스 안의 포인트 클라우드 데이터 중 일부 포인트 클라우드 데이터를 인라이너로 결정하고 나머지 포인트 클라우드 데이터를 아웃라이너로 결정하고, 상기 아웃라이너의 포인트 클라우드 데이터를 제거하고 상기 인라이너의 포인트 클라우드 데이터에 해당하는 부분을 객체로 결정하는 객체 모델링부를 포함하고,
상기 객체 모델링부는
상기 포인트 클라우드 공간 영역을 이용하여 일정한 규격의 복셀 그리드를 생성하고 각 복셀에 할당된 포인트 셋의 평균치로 복수의 복셀의 무게 중심 점을 산정하고, 상기 산정된 복수의 복셀의 무게 중심점을 이용하여 포인트 클라우드의 평균점 또는 가장 가까운 근사점을 산출한 후 평균점 또는 근사점을 인라이너로 결정하는 것을 특징으로 하는
바운딩 박스를 이용한 포인트 클라우드 데이터 기반 객체 모델링 장치.A data acquisition unit that acquires a point cloud for the image;
Create a cubic-shaped bounding box that includes all of the point clouds and have the three directions of the edges coincide with the coordinate axes (x, y, z), and divide the bounding box into n*n*n cube-shaped voxel grids. a voxel grid generator;
Among the point cloud data in the bounding box, some point cloud data are determined to be inliners and the remaining point cloud data are determined to be outliners, the point cloud data of the outliner is removed, and the portion corresponding to the point cloud data of the inliner is selected as an object. It includes an object modeling unit that determines,
The object modeling unit
A voxel grid of a certain standard is created using the point cloud space area, the center of gravity of a plurality of voxels is calculated using the average of the point sets assigned to each voxel, and the center of gravity of the plurality of voxels is used to calculate the point. Characterized by calculating the average point or closest approximation point of the cloud and then determining the average point or approximation point as an inliner.
Point cloud data-based object modeling device using bounding boxes.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230140238A KR102678525B1 (en) | 2023-10-19 | 2023-10-19 | Point cloud data based object modeling method and system performing thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230140238A KR102678525B1 (en) | 2023-10-19 | 2023-10-19 | Point cloud data based object modeling method and system performing thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102678525B1 true KR102678525B1 (en) | 2024-06-26 |
Family
ID=91689379
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230140238A Active KR102678525B1 (en) | 2023-10-19 | 2023-10-19 | Point cloud data based object modeling method and system performing thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102678525B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102767260B1 (en) * | 2024-07-12 | 2025-02-26 | 대한민국(방위사업청장) | Apparatus and method for 3d object detection considering characteristics of point cloud |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160081828A (en) | 2014-12-30 | 2016-07-08 | 다솔 시스템므 | Creation of bounding boxes on a 3d modeled assembly |
| KR102211914B1 (en) | 2018-11-30 | 2021-02-04 | 주식회사 뎁스 | Scaffold design modeling method and system |
| US20210279967A1 (en) * | 2020-03-06 | 2021-09-09 | Apple Inc. | Object centric scanning |
| KR20230062777A (en) * | 2021-10-29 | 2023-05-09 | 경북대학교 산학협력단 | 3d map update system and method thereof |
-
2023
- 2023-10-19 KR KR1020230140238A patent/KR102678525B1/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160081828A (en) | 2014-12-30 | 2016-07-08 | 다솔 시스템므 | Creation of bounding boxes on a 3d modeled assembly |
| KR102211914B1 (en) | 2018-11-30 | 2021-02-04 | 주식회사 뎁스 | Scaffold design modeling method and system |
| US20210279967A1 (en) * | 2020-03-06 | 2021-09-09 | Apple Inc. | Object centric scanning |
| KR20230062777A (en) * | 2021-10-29 | 2023-05-09 | 경북대학교 산학협력단 | 3d map update system and method thereof |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102767260B1 (en) * | 2024-07-12 | 2025-02-26 | 대한민국(방위사업청장) | Apparatus and method for 3d object detection considering characteristics of point cloud |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Boulch et al. | Unstructured point cloud semantic labeling using deep segmentation networks. | |
| Ma et al. | A review of 3D reconstruction techniques in civil engineering and their applications | |
| US9633483B1 (en) | System for filtering, segmenting and recognizing objects in unconstrained environments | |
| Hu et al. | Efficient tree modeling from airborne LiDAR point clouds | |
| CN112927353A (en) | Three-dimensional scene reconstruction method based on two-dimensional target detection and model alignment, storage medium and terminal | |
| Alidoost et al. | An image-based technique for 3D building reconstruction using multi-view UAV images | |
| Governi et al. | 3D geometry reconstruction from orthographic views: A method based on 3D image processing and data fitting | |
| As' ari et al. | 3D shape descriptor for object recognition based on Kinect-like depth image | |
| Luo et al. | Supervoxel-based region growing segmentation for point cloud data | |
| KR20130118105A (en) | Method and apparatus for representation 3d space based plane | |
| Yogeswaran et al. | 3d surface analysis for automated detection of deformations on automotive body panels | |
| KR102678525B1 (en) | Point cloud data based object modeling method and system performing thereof | |
| Cardenas et al. | Modeling of the 3d tree skeleton using real-world data: a survey | |
| Comes et al. | Methodology to create 3d models for augmented reality applications using scanned point clouds | |
| Shalma et al. | A review on 3D image reconstruction on specific and generic objects | |
| Bergamasco et al. | A graph-based technique for semi-supervised segmentation of 3D surfaces | |
| CN116309832A (en) | A Mobile Robot Relocalization Method Based on Global Descriptor | |
| Jisen | A study on target recognition algorithm based on 3D point cloud and feature fusion | |
| EP3502929A1 (en) | Determining a set of facets that represents a skin of a real object | |
| Benedek et al. | An integrated 4D vision and visualisation system | |
| US20230107740A1 (en) | Methods and systems for automated three-dimensional object detection and extraction | |
| Jain et al. | New perspectives on heritage: A deep learning approach to heritage object classification | |
| Tang et al. | Accuracy test of point-based and object-based urban building feature classification and extraction applying airborne LiDAR data | |
| Liu et al. | A survey on processing of large-scale 3D point cloud | |
| CN113724375A (en) | RVM binary model analysis method for three-dimensional lightweight engine |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20231019 |
|
| PA0201 | Request for examination |
Patent event code: PA02011R01I Patent event date: 20231019 Comment text: Patent Application |
|
| PA0302 | Request for accelerated examination |
Patent event date: 20231024 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination |
|
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20240130 Patent event code: PE09021S01D |
|
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20240621 |
|
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20240621 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20240621 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |