KR102835286B1

KR102835286B1 - 3d modeling apparatus and method

Info

Publication number: KR102835286B1
Application number: KR1020230085060A
Authority: KR
Inventors: 박주흠; 이덕형
Original assignee: 주식회사 다비오
Priority date: 2023-06-30
Filing date: 2023-06-30
Publication date: 2025-07-18
Anticipated expiration: 2043-06-30
Also published as: KR20250003094A

Abstract

3D 모델링 장치 및 방법이 개시된다. 본 발명의 일 측면에 따른 3D 모델링 장치는 3차원 공간을 촬영한 이미지와 객체별 포인트 클라우드를 저장하는 데이터베이스부; 및 객체별 포인트 클라우드를 통해 객체별로 세그멘테이션하여 객체별로 3D 모델을 생성하는 프로세서를 포함하는 것을 특징으로 한다.A 3D modeling device and method are disclosed. A 3D modeling device according to one aspect of the present invention is characterized by including a database section storing an image of a 3D space and a point cloud for each object; and a processor for segmenting each object through the point cloud for each object to create a 3D model for each object.

Description

3D MODELING APPARATUS AND METHOD

본 발명은 3D 모델링 장치 및 방법에 관한 것이다.The present invention relates to a 3D modeling device and method.

비전기술을 이용하여 실시간으로 객체를 검출하고 인식하는 일은 어려운 일임에도 불구하고 영상처리 기법의 발전과 더불어 컴퓨터, 카메라 등의 하드웨어의 성능 향상으로 인하여 이에 대한 연구가 활발히 진행되고 있다.Although detecting and recognizing objects in real time using vision technology is difficult, research on this topic is actively being conducted due to the advancement of image processing techniques and the improvement in hardware performance such as computers and cameras.

공간에서 효과적으로 위치를 판단하며 이동하기 위해서 이동하고 있는 공간에 대한 지도를 생성하고 공간상의 자신의 위치를 인식하는 것이 요구된다. 주변 공간에 대하여 위치를 인식하고 지도를 형성하는 것을 동시 위치인식 및 지도형성(SLAM : Simultaneous Localization And Mapping)이라고 한다.In order to effectively determine one's location and move in space, it is necessary to create a map of the space one is moving in and recognize one's own location in space. Recognizing one's location in the surrounding space and forming a map is called Simultaneous Localization And Mapping (SLAM).

SLAM은 공간에 위치하는 객체의 특징 데이터에 기반하여 지도를 생성하는데, 지도 생성에 사용되는 센서 유형에 따라 SLAM 알고리즘에 활용되는 특징 데이터도 다르다. 예컨대, 초음파(Sonar), 레이저와 같은 거리 센서를 통해 얻어진 거리 정보, GPS 기기를 통해 직접 얻어지는 좌표 정보, IMU장비를 통해 얻어지는 가속도 정보, 카메라의 영상 정보 등이 특징 데이터로 사용될 수 있다.SLAM creates a map based on the feature data of objects located in space, and the feature data utilized in the SLAM algorithm differs depending on the type of sensor used to create the map. For example, distance information obtained through distance sensors such as sonar and laser, coordinate information obtained directly through GPS devices, acceleration information obtained through IMU equipment, and image information from cameras can be used as feature data.

카메라의 영상 정보를 이용한 SLAM 기법을 비주얼(Visual) SLAM이라고 하는데, 비주얼 SLAM은 영상에서 추출한 시각 특징점을 이용하여 주변 환경에 대한 지도를 생성하고, 생성한 지도에 기반하여 현재 위치를 추정한다.The SLAM technique that uses the image information of the camera is called Visual SLAM. Visual SLAM creates a map of the surrounding environment using visual features extracted from the image, and estimates the current location based on the created map.

본 발명의 배경기술은 대한민국 등록특허공보 10-2525053호(2023.04.19)의 '3D 모델링 시스템 및 그 구축방법'에 개시되어 있다.The background technology of the present invention is disclosed in Korean Patent Publication No. 10-2525053 (April 19, 2023), entitled ‘3D modeling system and construction method thereof.’

종래에는 3D 모델을 생성하는 경우 이미지 내 지면과 객체가 붙어 있으므로, 지면과 객체를 같이 3D 모델링을 수행하였다. In the past, when creating a 3D model, the ground and objects within the image were attached, so 3D modeling was performed on the ground and objects together.

그러나, 지면과 객체를 함께 모델링하는 경우에는 모델링에 소요되는 시간과 필요한 용량이 증가하고, 불필요한 객체까지 3D 모델이 생성될 수 있으며, 3D 모델의 정확도도 저하되는 문제점이 있었다. However, when modeling the ground and objects together, there were problems such as increased modeling time and required capacity, unnecessary objects may be created in 3D models, and the accuracy of the 3D model also deteriorated.

본 발명은 전술한 문제점을 개선하기 위해 창안된 것으로서, 본 발명의 일 측면에 따른 목적은 객체 단위로 세그멘테이션을 수행하여 각 객체별로 3차원 모델을 수행하는 3D 모델링 장치 및 방법을 제공하는 것이다. The present invention has been created to improve the above-mentioned problems, and an object according to one aspect of the present invention is to provide a 3D modeling device and method that performs segmentation on an object-by-object basis and creates a 3D model for each object.

본 발명의 일 측면에 따른 3D 모델링 장치는 3차원 공간을 촬영한 이미지와 객체별 포인트 클라우드를 저장하는 데이터베이스부; 및 상기 객체별 포인트 클라우드를 통해 상기 객체별로 세그멘테이션하여 상기 객체별로 3D 모델을 생성하는 프로세서를 포함하는 것을 특징으로 한다.A 3D modeling device according to one aspect of the present invention is characterized by including a database section storing an image of a 3D space and a point cloud for each object; and a processor for segmenting each object through the point cloud for each object and generating a 3D model for each object.

본 발명의 상기 객체는 3차원 공간의 건물을 포함하는 것을 특징으로 한다.The object of the present invention is characterized by including a building in a three-dimensional space.

본 발명의 상기 프로세서는 상기 객체를 제외한 나머지 요소의 3D 모델을 상기 객체와 별도로 생성하는 것을 특징으로 한다.The processor of the present invention is characterized by generating a 3D model of the remaining elements excluding the object separately from the object.

본 발명의 상기 객체를 제외한 나머지 요소는 3차원 공간의 지면을 포함하는 것을 특징으로 한다.The remaining elements of the present invention, excluding the above object, are characterized by including a ground surface in a three-dimensional space.

본 발명의 상기 프로세서는 상기 객체를 제외한 나머지 요소에 대해 3D 메시(3D mesh)를 생성한 후 텍스처링(texturing)을 거쳐 상기 객체를 제외한 나머지 요소의 3D 모델을 생성하는 것을 특징으로 한다.The processor of the present invention is characterized by generating a 3D mesh for the remaining elements excluding the object, and then texturing the same to generate a 3D model for the remaining elements excluding the object.

본 발명의 상기 프로세서는 상기 이미지로 트루 오소포토(True orthophoto)를 생성하고, 상기 트루 오소포토 내 상기 객체를 세그멘테이션하여 상기 객체의 윤곽선을 추출하고, 상기 객체에 상기 객체의 포인트 클라우드의 높이값을 부여하고, 상기 객체에 상기 윤곽선 내 이미지를 텍스처링하여 상기 객체의 3D 모델을 생성하는 것을 특징으로 한다.The processor of the present invention is characterized by generating a true orthophoto with the image, segmenting the object within the true orthophoto to extract an outline of the object, assigning a height value of a point cloud of the object to the object, and texturing the image within the outline of the object to generate a 3D model of the object.

본 발명의 상기 프로세서는 상기 객체의 높이와 지형고도를 반영하여 상기 객체의 3D 모델을 생성하는 것을 특징으로 한다.The processor of the present invention is characterized by generating a 3D model of the object by reflecting the height and terrain elevation of the object.

본 발명의 상기 프로세서는 상기 이미지 내 상기 객체를 세그멘테이션하고, 상기 객체의 텍스처를 크롭하며, 상기 객체의 포인트 클라우드에 따라 3D 메시를 생성하며, 상기 3D 메시에 상기 객체의 텍스처를 텍스처링하여 상기 객체의 3D 모델을 생성하는 것을 특징으로 한다.The processor of the present invention is characterized by segmenting the object in the image, cropping the texture of the object, generating a 3D mesh according to a point cloud of the object, and texturing the texture of the object onto the 3D mesh to generate a 3D model of the object.

본 발명의 상기 프로세서는 상기 객체의 포인트 클라우드의 개수를 조정하여 상기 3D 메시를 단순화하는 것을 특징으로 한다.The processor of the present invention is characterized by simplifying the 3D mesh by adjusting the number of point clouds of the object.

본 발명의 상기 프로세서는 상기 객체 중 경사 및 높이차에 따라 구현된 복수 개를 묶어서 3D 모델을 생성하는 것을 특징으로 한다.The processor of the present invention is characterized by generating a 3D model by bundling a plurality of objects implemented according to slope and height difference among the objects.

본 발명의 일 측면에 따른 3D 모델링 방법은 프로세서가 이미지에서 객체와 객체를 제외한 나머지 요소로 구분하는 단계; 및 상기 프로세서가 상기 객체별로 객체별 포인트 클라우드를 통해 세그멘테이션하여 상기 객체의 3D 모델을 생성하는 단계를 포함하는 것을 특징으로 한다.A 3D modeling method according to one aspect of the present invention is characterized by including a step of a processor dividing an image into an object and elements other than the object; and a step of the processor segmenting each object through an object-specific point cloud to generate a 3D model of the object.

본 발명의 상기 객체의 3D 모델을 생성하는 단계에서, 상기 프로세서는 상기 객체를 제외한 나머지 요소의 3D 모델을 상기 객체와 별도로 생성하는 것을 특징으로 한다.In the step of generating a 3D model of the object of the present invention, the processor is characterized in that it generates 3D models of elements other than the object separately from the object.

본 발명의 상기 객체의 3D 모델을 생성하는 단계에서, 상기 프로세서는 상기 프로세서는 상기 객체를 제외한 나머지 요소에 대해 3D 메시(3D mesh)를 생성한 후 텍스처링(texturing)을 거쳐 상기 객체를 제외한 나머지 요소의 3D 모델을 생성하는 것을 특징으로 한다.In the step of generating a 3D model of the object of the present invention, the processor is characterized in that the processor generates a 3D mesh for the remaining elements excluding the object and then texturing the same to generate a 3D model of the remaining elements excluding the object.

본 발명의 상기 객체의 3D 모델을 생성하는 단계에서, 상기 프로세서는 상기 이미지로 트루 오소포토(True orthophoto)를 생성하고, 상기 트루 오소포토 내 상기 객체를 세그멘테이션하여 상기 객체의 윤곽선을 추출하고, 상기 객체에 상기 객체의 포인트 클라우드의 높이값을 부여하고, 상기 객체에 상기 윤곽선 내 이미지를 텍스처링하여 상기 객체의 3D 모델을 생성하는 것을 특징으로 한다.In the step of generating a 3D model of the object of the present invention, the processor is characterized in that it generates a true orthophoto with the image, segments the object within the true orthophoto to extract an outline of the object, assigns a height value of a point cloud of the object to the object, and texturing the image within the outline of the object to generate a 3D model of the object.

본 발명의 상기 객체의 3D 모델을 생성하는 단계에서, 상기 프로세서는 상기 객체의 높이와 지형고도를 반영하여 상기 객체의 3D 모델을 생성하는 것을 특징으로 한다.In the step of generating a 3D model of the object of the present invention, the processor is characterized in that it generates a 3D model of the object by reflecting the height and terrain elevation of the object.

본 발명의 상기 객체의 3D 모델을 생성하는 단계에서, 상기 프로세서는 상기 이미지 내 상기 객체를 세그멘테이션하고, 상기 객체의 텍스처를 크롭하며, 상기 객체의 포인트 클라우드에 따라 3D 메시를 생성하며, 상기 3D 메시에 상기 객체의 텍스처를 텍스처링하여 상기 객체의 3D 모델을 생성하는 것을 특징으로 한다.In the step of generating a 3D model of the object of the present invention, the processor segments the object in the image, crops a texture of the object, generates a 3D mesh according to a point cloud of the object, and texturizes the texture of the object onto the 3D mesh to generate a 3D model of the object.

본 발명의 상기 객체의 3D 모델을 생성하는 단계에서, 상기 프로세서는 상기 객체의 포인트 클라우드의 개수를 조정하여 상기 3D 메시를 단순화하는 것을 특징으로 한다.In the step of generating a 3D model of the object of the present invention, the processor is characterized in that it simplifies the 3D mesh by adjusting the number of point clouds of the object.

본 발명의 상기 객체의 3D 모델을 생성하는 단계에서, 상기 프로세서는 상기 객체 중 경사 및 높이차가 구현된 복수 개를 묶어서 3D 모델을 생성하는 것을 특징으로 한다. In the step of generating a 3D model of the object of the present invention, the processor is characterized in that it generates a 3D model by grouping a plurality of objects having slopes and height differences among the objects.

본 발명의 일 측면에 따른 3D 모델링 장치 및 방법은 객체 단위로 세그멘테이션을 수행하여 각 객체별로 3차원 모델을 수행한다.A 3D modeling device and method according to one aspect of the present invention performs segmentation on an object-by-object basis to create a 3D model for each object.

본 발명의 다른 측면에 따른 3D 모델링 장치 및 방법은 3차원 모델을 생성하는데 소요시간과 용량을 감소시킨다.A 3D modeling device and method according to another aspect of the present invention reduces the time and capacity required to create a 3D model.

본 발명의 또 다른 측면에 따른 3D 모델링 장치 및 방법은 객체에 대해 3D 모델을 선별적으로 생성할 수 있고, 3D 모델의 정확도도 개선한다. A 3D modeling device and method according to another aspect of the present invention can selectively generate a 3D model for an object and also improve the accuracy of the 3D model.

도 1은 본 발명의 일 실시예에 따른 3D 모델링 장치의 블럭 구성도이다.
도 2는 본 발명의 일 실시예에 따른 3D 모델링 방법의 순서도이다.
도 3은 도 2의 3D 모델 생성 과정의 일 예를 나타낸 도면이다.
도 4는 도 2의 3D 모델 생성 과정의 다른 예를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 객체를 세그멘테이션하여 객체의 윤곽선을 추출하는 과정을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 윤곽선에 높이값을 부여하여 3D 메시를 생성하는 과정을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 3D 메시에 텍스처링하여 이미지를 부여하는 과정을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 3D 모델 및 묶음 처리된 3D 모델을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 포인트 클라우드에서 객체를 세그멘테이션하는 예를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 포인트 클라우드로 생성된 3D 메시에 텍스처링하여 3D 모델을 생성하는 과정을 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 객체를 제외한 나머지 요소의 3D 모델을 생성하는 과정을 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 객체 및 객체를 제외한 나머지 요소의 3D 모델을 나타낸 도면이다. FIG. 1 is a block diagram of a 3D modeling device according to one embodiment of the present invention.
Figure 2 is a flowchart of a 3D modeling method according to one embodiment of the present invention.
Figure 3 is a drawing showing an example of the 3D model creation process of Figure 2.
Figure 4 is a drawing showing another example of the 3D model creation process of Figure 2.
FIG. 5 is a diagram illustrating a process of segmenting an object and extracting an outline of the object according to one embodiment of the present invention.
FIG. 6 is a drawing illustrating a process of generating a 3D mesh by assigning a height value to an outline according to one embodiment of the present invention.
FIG. 7 is a drawing illustrating a process of applying an image to a 3D mesh by texturing according to one embodiment of the present invention.
FIG. 8 is a drawing showing a 3D model and a bundled 3D model according to one embodiment of the present invention.
FIG. 9 is a diagram illustrating an example of segmenting an object in a point cloud according to one embodiment of the present invention.
FIG. 10 is a drawing illustrating a process of creating a 3D model by texturing a 3D mesh created from a point cloud according to one embodiment of the present invention.
FIG. 11 is a drawing showing a process of creating a 3D model of elements other than an object according to one embodiment of the present invention.
FIG. 12 is a drawing showing a 3D model of an object and other elements excluding the object according to one embodiment of the present invention.

이하에서는 본 발명의 일 실시예에 따른 3D 모델링 장치 및 방법을 첨부된 도면들을 참조하여 상세하게 설명한다. 이러한 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 이용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. Hereinafter, a 3D modeling device and method according to an embodiment of the present invention will be described in detail with reference to the attached drawings. In this process, the thickness of lines and the size of components illustrated in the drawings may be exaggerated for the sake of clarity and convenience of explanation. In addition, the terms described below are terms defined in consideration of functions in the present invention, and may vary depending on the intention or custom of the user or operator. Therefore, the definitions of these terms should be made based on the contents throughout this specification.

도 1은 본 발명의 일 실시예에 따른 3D 모델링 장치의 블럭 구성도이다.FIG. 1 is a block diagram of a 3D modeling device according to one embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 3D 모델링 장치는 데이터베이스부(100), 사용자 인터페이스부(200), 및 프로세서(300)를 포함한다.Referring to FIG. 1, a 3D modeling device according to one embodiment of the present invention includes a database unit (100), a user interface unit (200), and a processor (300).

데이터베이스부(100)는 3차원 공간을 촬영한 2차원 이미지, 및 이미지 내 각 객체별 포인트 클라우드(Point cloud)를 저장한다.The database section (100) stores a two-dimensional image capturing a three-dimensional space and a point cloud for each object within the image.

포인트 클라우드는 라이다(Lidar), 레이더(Radar), 심도 카메라(Depth camera)를 통해 수집될 수 있다. 또는 포인트 클라우드는 복수 개의 중첩된 이미지 내 각 객체의 특징점을 매칭시켜 생성될 수 있다. Point clouds can be collected via Lidar, Radar, or depth cameras. Alternatively, point clouds can be generated by matching feature points of each object within multiple overlapping images.

포인트 클라우드를 생성하는 방식은 당업자에게 자명한 것이므로 여기서는 그 상세한 설명을 생략한다. The method of generating a point cloud is obvious to those skilled in the art, so a detailed description is omitted here.

사용자 인터페이스부(200)는 사용자 인터페이스를 제공한다. The user interface section (200) provides a user interface.

사용자 인터페이스부(200)는 3D 모델링을 수행하고자 하는 이미지를 선택할 수 있다.The user interface section (200) can select an image for which 3D modeling is to be performed.

사용자 인터페이스부(200)는 객체 또는 객체를 제외한 나머지 요소에 대한 3D 모델링 과정을 단계적으로 출력할 수 있다. The user interface section (200) can step-by-step output the 3D modeling process for an object or elements other than an object.

객체는 3차원 공간의 건물, 나무, 도로, 조형물, 벽체 등일 수 있으나, 지면을 제외한 것이라면 객체의 종류는 특별히 한정되는 것은 아니다. Objects can be buildings, trees, roads, sculptures, walls, etc. in three-dimensional space, but there are no specific limitations on the type of object as long as it is excluding the ground.

즉, 3차원 공간을 촬영한 이미지가 실외 이미지인 경우, 객체는 지면을 제외한 건물, 나무, 또는 도로 등이 포함될 수 있고, 이미지가 실내 이미지인 경우, 객체는 지면(바닥)을 제외한 벽체나 조형물, 계단 등이 포함될 수 있다. That is, if the image capturing a three-dimensional space is an outdoor image, objects may include buildings, trees, or roads excluding the ground, and if the image is an indoor image, objects may include walls, structures, stairs, etc. excluding the ground (floor).

사용자 인터페이스부(200)는 객체의 포인트 클라우드에 따라 3D 메시를 생성하는 과정에서, 객체의 포인트 클라우드의 개수를 입력받을 수 있다. 객체의 포인트 클라우드의 개수가 조정됨으로써, 3D 메시가 단순화될 수 있다. 이에 대해서는 후술한다.The user interface unit (200) can receive the number of point clouds of the object in the process of generating a 3D mesh according to the point cloud of the object. By adjusting the number of point clouds of the object, the 3D mesh can be simplified. This will be described later.

사용자 인터페이스부(200)로는 예를 들면, 키보드, 마우스, 터치패드, 터치스크린, 전자펜, 터치 버튼 등의 사용자 인터페이스로 제공될 수 있다. 또한 데이터를 출력하기 위해 프린터, 디스플레이 등을 포함할 수 있다. 여기서, 디스플레이는 예컨대, TFT-LCD(thin film transistor-liquid crystal display) 패널, LED(light emitting diode) 패널, OLED(organic LED) 패널, AMOLED(active matrix OLED) 패널, 또는 플렉서블(flexible) 패널 등으로 구현될 수 있다.The user interface unit (200) may be provided as a user interface, for example, a keyboard, a mouse, a touchpad, a touchscreen, an electronic pen, a touch button, etc. In addition, a printer, a display, etc. may be included to output data. Here, the display may be implemented as, for example, a TFT-LCD (thin film transistor-liquid crystal display) panel, an LED (light emitting diode) panel, an OLED (organic LED) panel, an AMOLED (active matrix OLED) panel, or a flexible panel.

프로세서(300)는 데이터베이스부(100)에서 3차원 공간을 촬영한 이미지, 및 이미지 내 객체별 포인트 클라우드를 획득한다. The processor (300) obtains an image of a three-dimensional space from the database unit (100) and a point cloud for each object within the image.

본 실시예에서는 이미지와 객체별 포인트 클라우드를 데이터베이스부(100)에 미리 저장하여 획득하는 것을 예시로 설명한다. 그러나, 본 발명의 기술적 범위는 이에 한정되는 것은 아니며, 통신망을 통해 실시간으로 획득할 수 있다. In this embodiment, an example is provided of pre-storing and acquiring point clouds for each image and object in a database (100). However, the technical scope of the present invention is not limited thereto, and can be acquired in real time through a communication network.

통신망은 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), 5G(Generation), WIMAX(World Interoperability for Microwave Access), 유무선 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth), Wifi(Wireless Fidelity) 등이 채용될 수 있으며, 특별히 한정되는 것은 아니다. The communication network may adopt 3GPP (3rd Generation Partnership Project), LTE (Long Term Evolution), 5G (Generation), WIMAX (World Interoperability for Microwave Access), wired and wireless Internet, LAN (Local Area Network), Wireless LAN (Wireless Local Area Network), WAN (Wide Area Network), PAN (Personal Area Network), Bluetooth, Wifi (Wireless Fidelity), etc., but is not particularly limited.

프로세서(300)는 이미지 내 각 요소를 객체와 객체를 제외한 나머지 요소로 구분한다.The processor (300) divides each element in the image into objects and elements other than objects.

프로세서(300)는 체별 포인트 클라우드를 이용하여 객체별로 세그멘테이션하여 객체의 3D 모델을 생성한다. 이 경우, 프로세서(300)는 아래의 2가지 방식으로 3D 모델을 생성할 수 있다.The processor (300) segments each object using a body point cloud to create a 3D model of the object. In this case, the processor (300) can create the 3D model in the following two ways.

먼저, 프로세서(300)는 객체의 포인트 클라우드를 이용하여 트루 오쏘포토(True orthophoto)를 생성하고, 트루 오쏘포토 내 객체를 세그멘테이션하여 객체의 윤곽선(310)을 추출한다. 여기서, 프로세서(300)는 상기한 트루 오쏘포토 이 외에도, 오쏘포토 또는 원본 이미지(input image)에서도 추출할 수 있으며, 세그멘테이션 결과가 이미 저장되어 있을 경우 이 세그멘테이션 결과에서도 윤곽선(310)을 추출할 수 있다.First, the processor (300) generates a true orthophoto using the point cloud of the object, segments the object in the true orthophoto, and extracts the outline (310) of the object. Here, the processor (300) can extract from the above-described true orthophoto, an orthophoto or an original image (input image), and if the segmentation result is already stored, the outline (310) can be extracted from the segmentation result.

이어, 프로세서(300)는 객체에 객체의 포인트 클라우드의 높이값을 부여하고, 객체에 윤곽선(310) 내 이미지를 텍스처링하여 객체의 3D 모델을 생성한다. 이 경우, 프로세서(300)는 상기한 바와 같이 트루 오쏘포토를 생성하지 않고, 주어진 세그멘테이션으로 얻은 객체별로 윤곽선(310)을 추출할 수 있다. 게다가, 프로세서(300)는 오쏘포토 또는 원본 이미지에서도 추출할 수 있다.Next, the processor (300) assigns a height value of the point cloud of the object to the object and textures an image within the outline (310) of the object to generate a 3D model of the object. In this case, the processor (300) can extract the outline (310) for each object obtained by the given segmentation without generating a true orthophoto as described above. In addition, the processor (300) can extract from an orthophoto or an original image.

또는, 프로세서(300)는 이미지 내 객체를 세그멘테이션하고, 객체의 텍스처를 크롭하며, 객체의 포인트 클라우드에 따라 3D 메시를 생성한다. 이어, 프로세서(300)는 3D 메시에 해당 객체의 텍스처를 텍스처링하여 객체의 3D 모델을 생성한다. Alternatively, the processor (300) segments an object within an image, crops the texture of the object, and generates a 3D mesh based on the point cloud of the object. Then, the processor (300) texturizes the texture of the object onto the 3D mesh to generate a 3D model of the object.

한편, 객체를 제외한 나머지 요소의 경우, 프로세서(300)는 객체를 제외한 나머지 요소의 3D 메시를 생성한 후 텍스처링(texturing)을 거쳐 객체를 제외한 나머지 요소의 3D 모델을 생성한다. Meanwhile, for the remaining elements excluding the object, the processor (300) generates a 3D mesh of the remaining elements excluding the object and then performs texturing to generate a 3D model of the remaining elements excluding the object.

상기한 바와 같이, 객체의 3D 모델과 객체를 제외한 나머지 요소에 대한 3D 모델이 생성되면, 프로세서(300)는 객체의 3D 모델과 객체를 제외한 나머지 요소의 3D 모델을 결합하여 전체 3D 모델을 생성한다.As described above, when a 3D model of an object and 3D models of the remaining elements excluding the object are generated, the processor (300) combines the 3D model of the object and the 3D models of the remaining elements excluding the object to generate a full 3D model.

또한, 프로세서(300)는 객체의 3D 모델, 객체를 제외한 나머지 요소의 3D 모델, 및 전체 3D 모델을 사용자 인터페이스부(200)를 통해 제공할 수 있다. Additionally, the processor (300) can provide a 3D model of an object, a 3D model of elements other than the object, and an entire 3D model through the user interface unit (200).

추가적으로, 프로세서(300)는 객체의 3D 모델, 객체를 제외한 나머지 요소에 대한 3D 모델, 및 전체 3D 모델 각각에서 텍스처를 제외하여 제공할 수 있다. 즉, 프로세서(300)는 텍스처를 제외한 객체의 3D 모델, 객체를 제외한 나머지 요소에 대한 3D 모델, 및 전체 3D 모델을 제공할 수 있다. Additionally, the processor (300) can provide a 3D model of an object, a 3D model for the remaining elements excluding the object, and an entire 3D model, excluding the texture. That is, the processor (300) can provide a 3D model of an object excluding the texture, a 3D model for the remaining elements excluding the object, and an entire 3D model.

한편, 프로세서(300)는 메모리(미도시)와 연결될 수 있으며, 메모리에는 본 발명의 실시 예에 따른 동작, 단계 등을 수행하도록 하는 명령어가 저장될 수 있다. 여기서, 메모리는 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치 외에 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.Meanwhile, the processor (300) may be connected to a memory (not shown), and the memory may store instructions for performing operations, steps, etc. according to an embodiment of the present invention. Here, the memory may include a magnetic storage media or a flash storage media in addition to a volatile storage device that requires power to maintain stored information, but the scope of the present invention is not limited thereto.

또한 프로세서(300)는 각각의 기능을 수행하기 위한 구성이 하드웨어, 소프트웨어, 또는 로직 레벨에서 구분되어 구성될 수도 있다. 이러한 경우 각각의 기능을 수행하기 위한 전용 하드웨어가 사용될 수 있다. 이를 위해 프로세서(300)는 ASIC(Application Specific Integrated Circuit), DSP(Digital Signal Processor), PLD(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), CPU(Central Processing unit), 마이크로 컨트롤러(microcontrollers) 및/또는 마이크로프로세서(microprocessors) 중 적어도 하나로 구현되거나 이들 중 적어도 하나를 포함할 수 있다.In addition, the processor (300) may be configured to perform each function separately at the hardware, software, or logic level. In this case, dedicated hardware may be used to perform each function. To this end, the processor (300) may be implemented as at least one of an ASIC (Application Specific Integrated Circuit), a DSP (Digital Signal Processor), a PLD (Programmable Logic Devices), FPGAs (Field Programmable Gate Arrays), a CPU (Central Processing Unit), a microcontroller, and/or a microprocessor, or may include at least one of these.

이하, 본 발명의 일 실시예에 따른 3D 모델링 방법을 도 2 내지 도 11을 참조하여 상세하게 설명한다. Hereinafter, a 3D modeling method according to one embodiment of the present invention will be described in detail with reference to FIGS. 2 to 11.

도 2는 본 발명의 일 실시예에 따른 3D 모델링 방법의 순서도이다. Figure 2 is a flowchart of a 3D modeling method according to one embodiment of the present invention.

도 2를 참조하면, 먼저 프로세서(300)는 데이터베이스부(100)에서 3차원 공간을 촬영한 이미지와 객체별 포인트 클라우드를 획득한다(S100). Referring to FIG. 2, first, the processor (300) obtains an image of a three-dimensional space and a point cloud for each object from the database unit (100) (S100).

프로세서(300)는 객체를 객체별 포인트 클라우드를 이용하여 세그멘테이션하여 객체의 3D 모델을 생성하고, 객체를 제외한 나머지 요소에 대해 3D 메시(3D mesh)를 생성한 후 텍스처링(texturing)을 거쳐 객체를 제외한 나머지 요소의 3D 모델을 생성한다(S200). The processor (300) segments an object using an object-specific point cloud to create a 3D model of the object, creates a 3D mesh for the remaining elements excluding the object, and then texturing the mesh to create a 3D model of the remaining elements excluding the object (S200).

프로세서(300)는 객체의 3D 모델과 객체를 제외한 나머지 요소에 대한 3D 모델이 생성되면, 프로세서(300)는 객체의 3D 모델과 객체를 제외한 나머지 요소에 대한 3D 모델을 결합하여 전체 3D 모델을 생성한다(S300). When a 3D model of an object and 3D models of the remaining elements excluding the object are generated, the processor (300) combines the 3D model of the object and 3D models of the remaining elements excluding the object to generate a full 3D model (S300).

이 경우, 프로세서(300)는 객체의 3D 모델, 객체를 제외한 나머지 요소에 대한 3D 모델, 및 전체 3D 모델을 사용자 인터페이스부(200)를 통해 제공할 수 있다. 또한, 텍스처를 제외한 객체의 3D 모델, 객체를 제외한 나머지 요소에 대한 3D 모델, 및 전체 3D 모델을 제공할 수 있다. In this case, the processor (300) can provide a 3D model of the object, a 3D model for the remaining elements excluding the object, and a complete 3D model through the user interface unit (200). In addition, the processor can provide a 3D model of the object excluding the texture, a 3D model for the remaining elements excluding the object, and a complete 3D model.

상기한 S200 단계는 객체의 포인트 클라우드를 이용하여 세그멘테이션을 수행하여 객체의 3D 모델을 생성하거나, 또는 객체의 포인트 클라우드로 3D 메시를 생성하여 객체의 3D 모델을 생성할 수 있다. The above-described S200 step can generate a 3D model of the object by performing segmentation using the point cloud of the object, or can generate a 3D model of the object by generating a 3D mesh using the point cloud of the object.

이에, S200 단계는 객체의 포인트 클라우드를 이용하여 세그멘테이션을 수행하여 객체의 3D 모델을 생성하는 과정은 도 3 및 도 5 내지 도 8을 참조하여 설명한다. 또한, 객체의 포인트 클라우드로 3D 메시를 생성하여 객체의 3D 모델을 생성하는 과정은 도 4와 도 9 및 도 10을 참조하여 설명한다. 또한, 객체를 제외한 나머지 요소에 대한 3D 모델을 생성하는 과정은 도 11 및 도 12를 참조하여 설명한다. Accordingly, the process of performing segmentation using the point cloud of the object in step S200 to create a 3D model of the object is described with reference to FIGS. 3 and 5 to 8. In addition, the process of creating a 3D mesh using the point cloud of the object to create a 3D model of the object is described with reference to FIGS. 4, 9, and 10. In addition, the process of creating a 3D model for the remaining elements excluding the object is described with reference to FIGS. 11 and 12.

도 3은 도 2의 3D 모델 생성 과정의 일 예를 나타낸 도면이고, 도 5는 본 발명의 일 실시예에 따른 객체를 세그멘테이션하여 객체의 윤곽선을 추출하는 과정을 나타낸 도면이며, 도 6은 본 발명의 일 실시예에 따른 윤곽선에 높이값을 부여하여 3D 메시를 생성하는 과정을 나타낸 도면이며, 도 7은 본 발명의 일 실시예에 따른 3D 메시에 텍스처링하여 이미지를 부여하는 과정을 나타낸 도면이며, 도 8은 본 발명의 일 실시예에 따른 3D 모델 및 묶음 처리된 3D 모델을 나타낸 도면이다. FIG. 3 is a diagram showing an example of a 3D model generation process of FIG. 2, FIG. 5 is a diagram showing a process of extracting an outline of an object by segmenting the object according to an embodiment of the present invention, FIG. 6 is a diagram showing a process of generating a 3D mesh by assigning a height value to an outline according to an embodiment of the present invention, FIG. 7 is a diagram showing a process of assigning an image by texturing a 3D mesh according to an embodiment of the present invention, and FIG. 8 is a diagram showing a 3D model and a bundled 3D model according to an embodiment of the present invention.

도 3을 참조하면, 먼저 프로세서(300)는 도 5의 (a)에 도시된 바와 같이 객체의 포인트 클라우드를 이용하여 트루 오쏘포토를 생성한다(S2110). Referring to FIG. 3, first, the processor (300) generates a true orthophoto using the point cloud of the object as shown in (a) of FIG. 5 (S2110).

트루 오쏘포토는 도 5의 (b)에 도시된 바와 같이, 3차원 공간을 위에서 아래로 내려다 본 이미지로서 객체의 상면만 나타나게 되며, 객체의 측면은 나타나지 않는다.True orthophoto is an image that looks down on a three-dimensional space from above, as shown in (b) of Fig. 5, and only shows the upper surface of the object, not the side surfaces of the object.

프로세서(300)는 도 5의 (b)에 도시된 바와 같이 트루 오쏘포토의 객체를 세그멘테이션하고 객체의 윤곽선(310)을 추출한다(S2120). The processor (300) segments an object of a true orthophoto and extracts an outline (310) of the object (S2120), as shown in (b) of FIG. 5.

추가적으로, 프로세서(300)는 기 저장된 객체 세그멘테이션을 이용하여 객체의 윤곽선(310)을 추출할 수도 있으며, 오쏘포토 또는 원본 이미지에서도 윤곽선(310)을 추출할 수 있다.Additionally, the processor (300) may extract an outline (310) of an object using pre-stored object segmentation, and may also extract an outline (310) from an orthophoto or original image.

객체의 윤곽선(310)은 도 5의 (d)에 도시된 바와 같다. The outline (310) of the object is as shown in (d) of Fig. 5.

객체의 윤곽선(310)이 추출됨에 따라, 프로세서(300)는 도 6의 (a)~(d)에 도시된 바와 같이, 세그멘테이션에 포인트 클라우드를 토대로 얻은 해당 객체의 높이값을 부여함으로써, 객체의 3D 메시를 생성한다(S2130).As the outline (310) of the object is extracted, the processor (300) generates a 3D mesh of the object by assigning a height value of the corresponding object obtained based on the point cloud to the segmentation, as shown in (a) to (d) of FIG. 6 (S2130).

이 경우, 객체의 메시에는 건물 높이(Digital Height Model;DHM) 및 지형고도(Digital Elevation Model;DEM)가 반영된다. In this case, the object's mesh reflects the building height (Digital Height Model; DHM) and terrain elevation (Digital Elevation Model; DEM).

프로세서(300)는 객체의 3D 메시에 이미지를 부여한다. 즉, 도 7에 도시된 바와 같이, 프로세서(300)는 이미지 내 해당 객체의 텍스처를 크롭하고, 해당 객체의 3D 메시에 크롭된 이미지를 텍스처링함으로써, 해당 객체의 3D 모델을 생성한다(S2140).The processor (300) applies an image to the 3D mesh of the object. That is, as illustrated in FIG. 7, the processor (300) crops the texture of the corresponding object within the image and texturizes the cropped image onto the 3D mesh of the corresponding object, thereby generating a 3D model of the corresponding object (S2140).

이러한 과정을 각 객체별로 수행함에 따라, 프로세서(300)는 이미지 내에서 도 8의 (a)와 (b)에 도시된 바와 같이 각 객체별로 3D 모델을 생성할 수 있다. By performing this process for each object, the processor (300) can create a 3D model for each object within the image, as shown in (a) and (b) of FIG. 8.

이에, 프로세서(300)는 각 객체별 3D 모델을 묶음처리할 수 있다(S2150). 즉, 프로세서(300)는 도 8의 (c)에 도시된 바와 같이 각 객체별 3D 모델을 묶어서 생성할 수 있으며, 이 경우 경사 및 높이차에 따라 3D 모델을 묶어서 생성할 수 있다. Accordingly, the processor (300) can bundle and process 3D models for each object (S2150). That is, the processor (300) can bundle and generate 3D models for each object as shown in (c) of FIG. 8, and in this case, the 3D models can be bundled and generated according to the slope and height difference.

한편, S200 단계의 다른 방식으로서, 도 4에 도시된 바와 같이 객체의 포인트 클라우드로 3D 메시를 생성하여 객체의 3D 모델을 생성할 수 있다. Meanwhile, as another method of the S200 step, a 3D model of the object can be created by generating a 3D mesh with the point cloud of the object as shown in Fig. 4.

도 4는 도 2의 3D 모델 생성 과정의 다른 예를 나타낸 도면이고, 도 9는 본 발명의 일 실시예에 따른 포인트 클라우드에서 객체를 세그멘테이션하는 예를 나타낸 도면이다. 도 10은 본 발명의 일 실시예에 따른 포인트 클라우드로 생성된 3D 메시에 텍스처링하여 3D 모델을 생성하는 과정을 나타낸 도면이다. FIG. 4 is a diagram showing another example of the 3D model generation process of FIG. 2, and FIG. 9 is a diagram showing an example of segmenting an object in a point cloud according to one embodiment of the present invention. FIG. 10 is a diagram showing a process of generating a 3D model by texturing a 3D mesh generated from a point cloud according to one embodiment of the present invention.

도 4를 참조하면, 먼저 프로세서(300)는 포인트 클라우드에서 객체를 세그멘테이션한다(S2210). Referring to FIG. 4, first, the processor (300) segments an object in a point cloud (S2210).

이 경우, 도 9에 도시된 바와 같이, 객체 단위별로 포인트 클라우드가 분리될 수 있다. In this case, the point cloud can be separated by object unit, as shown in Fig. 9.

이어, 프로세서(300)는 분리된 포인트 클라우드로 3D 메시를 생성하고(S2220), 생성된 3D 메시를 텍스처링하여 3D 모델을 생성할 수 있다(S2230). Next, the processor (300) can generate a 3D mesh using the separated point cloud (S2220) and texturize the generated 3D mesh to generate a 3D model (S2230).

이 경우, 프로세서(300)는 도 10의 (a)에 도시된 바와 같은 포인트 클라우드를 도 10의 (b)와 (d)에 도시된 바와 같이 3D 메시로 생성할 수 있다. 이 경우, 프로세서(300)는 객체의 포인트 클라우드의 개수를 조정하지 않고 도 10의 (b)와 같이 3D 메시를 그대로 생성할 수 있으나, 객체의 포인트 클라우드의 개수를 조정하여 도 10의 (d)와 같이 3D 메시를 단순화할 수 있다.In this case, the processor (300) can generate a point cloud such as that shown in (a) of FIG. 10 into a 3D mesh as shown in (b) and (d) of FIG. 10. In this case, the processor (300) can generate a 3D mesh as is as shown in (b) of FIG. 10 without adjusting the number of point clouds of the object, but can simplify the 3D mesh as shown in (d) of FIG. 10 by adjusting the number of point clouds of the object.

여기서, 3D 메시를 단순화하기 위한 포인트 클라우드의 개수는 사전에 설정될 수 있으나, 사용자 인터페이스부(200)를 통해 사용자로부터 입력받을 수 있다. 이 경우, 사용자는 포인트 클라우드의 개수를 직접 조정하면서 3D 메시의 단순화 레벨을 적절하게 조정할 수 있다. Here, the number of point clouds for simplifying the 3D mesh can be set in advance, but can be input by the user through the user interface unit (200). In this case, the user can appropriately adjust the simplification level of the 3D mesh by directly adjusting the number of point clouds.

이어, 프로세서(300)는 객체의 3D 메시에 이미지를 부여한다. 즉, 도 10의 (c)와 (e)에 도시된 바와 같이, 프로세서(300)는 객체의 3D 메시에 해당 객체의 이미지를 텍스처링함으로써, 해당 객체의 3D 모델을 생성한다. Next, the processor (300) applies an image to the 3D mesh of the object. That is, as shown in (c) and (e) of FIG. 10, the processor (300) texturizes the image of the object onto the 3D mesh of the object, thereby generating a 3D model of the object.

이와 같이, 3D 모델이 생성됨에 따라, 프로세서(300)는 이들 각 객체별 3D 모델을 묶음처리할 수 있다(S2240). 즉, 프로세서(300)는 각 객체별 3D 모델을 묶어서 생성하거나, 경사 및 높이차가 구현된 3D 모델을 묶어서 생성할 수 있다. In this way, as the 3D model is generated, the processor (300) can bundle and process the 3D models for each object (S2240). That is, the processor (300) can bundle and generate the 3D models for each object, or bundle and generate the 3D models in which the slope and height difference are implemented.

또한, 프로세서(300)는 객체를 제외한 나머지 요소를 3D 메시 생성 및 텍스처링을 통해 3D 모델을 생성한다. Additionally, the processor (300) creates a 3D model by generating a 3D mesh and texturing the remaining elements except for the object.

도 11은 본 발명의 일 실시예에 따른 객체를 제외한 나머지 요소의 3D 모델을 생성하는 과정을 나타낸 도면이다. FIG. 11 is a drawing showing a process of creating a 3D model of elements other than an object according to one embodiment of the present invention.

도 11을 참조하면, 프로세서(300)는 객체를 제외한 나머지 요소, 즉 지면에 대해 3D 메시(3D mesh)를 생성하고, 텍스처링(texturing)을 거쳐 객체를 제외한 나머지 요소의 3D 모델을 생성한다. Referring to FIG. 11, the processor (300) generates a 3D mesh for the remaining elements excluding the object, i.e., the ground, and generates a 3D model of the remaining elements excluding the object through texturing.

이어, 프로세서(300)는 객체의 3D 모델과 객체를 제외한 나머지 요소의 3D 모델을 결합하여 전체 3D 모델을 생성 및 제공할 수 있다. Next, the processor (300) can create and provide a full 3D model by combining the 3D model of the object and the 3D models of the remaining elements excluding the object.

도 12는 본 발명의 일 실시예에 따른 객체 및 객체를 제외한 나머지 요소의 3D 모델을 나타낸 도면이다. FIG. 12 is a drawing showing a 3D model of an object and other elements excluding the object according to one embodiment of the present invention.

도 12를 참조하면, 프로세서(300)는 객체의 3D 모델과 객체를 제외한 나머지 요소의 3D 모델을 결합하여 전체 3D 모델을 생성할 수 있다. Referring to FIG. 12, the processor (300) can generate a full 3D model by combining a 3D model of an object and 3D models of elements other than the object.

또한, 프로세서(300)는 객체의 3D 모델, 객체를 제외한 나머지 요소의 3D 모델, 객체의 3D 모델과 객체를 제외한 나머지 요소의 3D 모델을 결합한 전체 3D 모델을 제공할 수 있다.Additionally, the processor (300) can provide a 3D model of the object, a 3D model of the remaining elements excluding the object, or a full 3D model combining the 3D model of the object and the 3D model of the remaining elements excluding the object.

게다가, 프로세서(300)는 객체의 3D 모델, 객체를 제외한 나머지 요소의 3D 모델, 및 전체 3D 모델에서 텍스처를 제외한 3D 메시를 생성하여 제공할 수 있다. In addition, the processor (300) can generate and provide a 3D model of an object, a 3D model of elements other than the object, and a 3D mesh excluding texture from the entire 3D model.

본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.The implementations described herein may be implemented, for example, as a method or process, an apparatus, a software program, a data stream or a signal. Even if discussed in the context of only a single form of implementation (e.g., discussed only as a method), the implementation of the discussed features may also be implemented in other forms (e.g., as an apparatus or a program). The apparatus may be implemented using suitable hardware, software, firmware, and the like. The method may be implemented in an apparatus such as a processor, which generally refers to a processing device including, for example, a computer, a microprocessor, an integrated circuit, or a programmable logic device. A processor also includes a communication device such as a computer, a cell phone, a personal digital assistant ("PDA"), and other devices that facilitate communication of information between end-users.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야할 것이다.Although the present invention has been described with reference to the embodiments shown in the drawings, these are merely exemplary, and those skilled in the art will understand that various modifications and equivalent other embodiments are possible from this. Accordingly, the true technical protection scope of the present invention should be determined by the following patent claims.

100: 데이터베이스부
200: 사용자 인터페이스부
300: 프로세서100: Database section
200: User Interface Section
300: Processor

Claims

A database section that stores images of three-dimensional space and point clouds for each object; and
It includes a processor that segments each object through the object-specific point cloud and creates a 3D model for each object.
The processor extracts the outline of the object by segmenting the object from the true orthophoto, the orthophoto, the original image generated from the image, or extracts the outline of the object from the previously stored segmentation result, assigns the height value of the point cloud of the object to the object, and texturing the image within the outline of the object to generate a 3D model of the object.
A 3D modeling device, characterized in that the processor generates a 3D model of the object by reflecting at least one of the height and terrain elevation of the object.

In the first paragraph, the image
It consists of the ground and the above objects,
A 3D modeling device, characterized in that the object comprises at least one of a building, a tree, a road, a sculpture, and a wall.

In the first paragraph, the processor
A 3D modeling device characterized by generating 3D models of elements other than the above object separately from the above object.

In the third paragraph, the remaining elements excluding the object
A 3D modeling device characterized by including a ground surface in a three-dimensional space.

In the third paragraph, the processor
A 3D modeling device characterized by generating a 3D mesh for the remaining elements excluding the above object and then texturing the same to generate a 3D model for the remaining elements excluding the above object.

delete

In the first paragraph, the processor
A 3D modeling device characterized by segmenting the object in the image, cropping the texture of the object, generating a 3D mesh according to a point cloud of the object, and texturing the texture of the object onto the 3D mesh to generate a 3D model of the object.

In the 8th paragraph, the processor
A 3D modeling device characterized by simplifying the 3D mesh by adjusting the number of point clouds of the object.

In the first paragraph, the processor
A 3D modeling device characterized by generating a 3D model by bundling a plurality of objects having slopes and height differences among the above objects.

A step in which the processor distinguishes between objects and non-object elements in the image; and
The above processor comprises a step of segmenting the point cloud of the object to generate a 3D model of the object,
In the step of generating a 3D model of the object, the processor extracts an outline of the object by segmenting the object from a true orthophoto, an orthophoto, or an original image generated from the image, or extracts an outline of the object from a previously stored segmentation result, assigns a height value of a point cloud of the object to the object, and texturing an image within the outline of the object to generate a 3D model of the object.
A 3D modeling method, characterized in that in the step of generating a 3D model of the object, the processor generates the 3D model of the object by reflecting at least one of the height and terrain elevation of the object.

In the 11th paragraph, the image
It consists of the ground and the above objects,
A 3D modeling method, characterized in that the object includes at least one of a building, a tree, a road, a sculpture, and a wall.

In the 11th paragraph, in the step of creating a 3D model of the object,
A 3D modeling method, characterized in that the above processor creates a 3D model of the remaining elements excluding the object separately from the object.

In the 13th paragraph, the remaining elements excluding the object
A 3D modeling method characterized by including a ground surface in a three-dimensional space.

In the 13th paragraph, in the step of creating a 3D model of the object,
The above processor is the above processor is
A 3D modeling method characterized by generating a 3D mesh for the remaining elements excluding the above object and then texturing the same to generate a 3D model for the remaining elements excluding the above object.

delete

In the 11th paragraph, in the step of creating a 3D model of the object,
A 3D modeling method, characterized in that the processor segments the object in the image, crops a texture of the object, generates a 3D mesh according to a point cloud of the object, and texturing the texture of the object onto the 3D mesh to generate a 3D model of the object.

In the 18th paragraph, in the step of creating a 3D model of the object,
A 3D modeling method, wherein the processor simplifies the 3D mesh by adjusting the number of point clouds of the object.

In the 11th paragraph, in the step of creating a 3D model of the object,
A 3D modeling method, characterized in that the above processor creates a 3D model by bundling a plurality of objects having slopes and height differences among the above objects.