[go: up one dir, main page]

KR102464581B1 - Apparatus for processing stereo points of cloud and method thereof - Google Patents

Apparatus for processing stereo points of cloud and method thereof Download PDF

Info

Publication number
KR102464581B1
KR102464581B1 KR1020170182183A KR20170182183A KR102464581B1 KR 102464581 B1 KR102464581 B1 KR 102464581B1 KR 1020170182183 A KR1020170182183 A KR 1020170182183A KR 20170182183 A KR20170182183 A KR 20170182183A KR 102464581 B1 KR102464581 B1 KR 102464581B1
Authority
KR
South Korea
Prior art keywords
point cloud
point group
lidar
depth
dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020170182183A
Other languages
Korean (ko)
Other versions
KR20190080022A (en
Inventor
전영재
Original Assignee
현대오토에버 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대오토에버 주식회사 filed Critical 현대오토에버 주식회사
Priority to KR1020170182183A priority Critical patent/KR102464581B1/en
Publication of KR20190080022A publication Critical patent/KR20190080022A/en
Application granted granted Critical
Publication of KR102464581B1 publication Critical patent/KR102464581B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Image Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

본 발명은 한 스테레오 점군 처리장치 및 그 방법이 개시된다. 본 발명의 스테레오 점군 처리장치는, 차량의 주행 중 점군 데이터를 획득하기 위한 제1 라이다; 제1 라이다와 점군 데이터의 획득시점이 차이나도록 설치된 제2 라이다; 점군 데이터를 획득하는 시점에서 차량의 위치와 방향을 측정하기 위한 위치측정부; 및 제1 라이다와 제2 라이다를 통해 각각 획득한 제1 점군 데이터와 제2 점군 데이터로부터 각각 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 생성하여 깊이 차영상과 방향 차영상을 계산하고, 깊이 차영상과 방향 차영상을 통해 동적점군을 추정하여 동적점군에 의한 정적점군의 폐색영역을 복원하며, 정적점군의 반사강도를 보정하는 제어부;를 포함하는 것을 특징으로 한다. The present invention discloses a stereo point cloud processing apparatus and method thereof. The stereo point cloud processing apparatus of the present invention is a first lidar for acquiring point cloud data while driving of a vehicle; a second lidar installed so that the acquisition time point of the first lidar and the point cloud data is different; a position measuring unit for measuring the position and direction of the vehicle at the time of acquiring the point cloud data; and first to second depth maps and first to second direction maps, respectively, from the first point cloud data and the second point cloud data obtained through the first lidar and the second lidar, respectively, to generate a depth difference image and a direction difference. and a controller for calculating an image, estimating the dynamic point group through the depth difference image and the directional difference image, restoring the occluded area of the static point group by the dynamic point group, and correcting the reflection intensity of the static point group.

Description

스테레오 점군 처리장치 및 그 방법{APPARATUS FOR PROCESSING STEREO POINTS OF CLOUD AND METHOD THEREOF}Stereo point cloud processing apparatus and method

본 발명은 스테레오 점군 처리장치 및 그 방법에 관한 것으로서, 보다 상세하게는 MMS(Mobile Mapping System) 차량에서 스테레오 라이다(LiDAR) 센서를 통해 측정한 스테레오 점군 데이터를 기반으로, 동적점군으로 인해 폐색된 영역을 복원하여 지도 객체 추출의 정확성을 향상시킬 수 있도록 한 스테레오 점군 처리장치 및 그 방법에 관한 것이다. The present invention relates to a stereo point cloud processing apparatus and method, and more particularly, based on stereo point cloud data measured through a stereo LiDAR sensor in a Mobile Mapping System (MMS) vehicle, The present invention relates to a stereo point cloud processing apparatus and method for improving the accuracy of map object extraction by restoring a region.

최근, 지능형 자동차에 대한 연구가 활발히 이루어지고 있으며, 지능형 자동차 기술 중 하나로 차량 사고를 방지하기 위해 개발된 운전자 보조 시스템(Driving Assistant System)이 있다. Recently, research on intelligent automobiles has been actively conducted, and as one of the intelligent automobile technologies, there is a driving assistant system developed to prevent vehicle accidents.

운전자 보조 시스템(Driving Assistant System)으로는 차선이탈방지 시스템(Lane Departure Warning System), 차량충돌방지 시스템(Forward Collision Warning System), 보행자충돌방지 시스템(Pedestrian Collision Warning System) 등이 있으며, 영상인식 기술을 통해 개발되어 각종 차량 사고를 줄이는데 사용되고 있다. The Driving Assistant System includes the Lane Departure Warning System, Forward Collision Warning System, and Pedestrian Collision Warning System. It has been developed and used to reduce various vehicle accidents.

차선, 차량, 보행자는 운전자 보조시스템의 차량 사고 방지를 위한 대표적인 검출 대상이며, 근래에는, 횡단보도와 같은 도로 노면표시 또한 사고 방지를 위한 중요 인지 대상으로서 여겨지게 되어, 도로 노면표시에 대한 인식 기술이 요구되고 있다.Lane, vehicle, and pedestrian are representative detection targets for vehicle accident prevention of driver assistance systems, and in recent years, road surface markings such as crosswalks are also considered as important recognition targets for accident prevention, recognition technology for road markings this is being requested

하지만, 도로 노면표시는 여타 장애물과는 달리 도로 노면에 매우 얇게 색칠되어 있는 형태를 띠고 많은 잡음에 노출되어 있어서, 카메라 센서의 입력 영상이 아닌 초음파 센서와 같은 센서로 계측하기가 어렵다.However, unlike other obstacles, the road marking has a very thinly colored shape on the road surface and is exposed to a lot of noise, so it is difficult to measure it with a sensor such as an ultrasonic sensor rather than an input image of a camera sensor.

따라서 횡단보도와 같은 도로 노면표시를 검출하기 위해서는 도로상에 존재하는 여타 장애물에 비해 영상인식 기술의 의존성이 클 수밖에 없는 문제점이 있다. Therefore, in order to detect road markings such as crosswalks, there is a problem in that image recognition technology is more dependent on the image recognition technology than other obstacles existing on the road.

본 발명의 배경기술은 대한민국 등록특허공보 제1595317호(2016.02.18. 공고, 차량의 정밀 측위를 위한 노면 표시 검출 방법 및 그 시스템)에 개시되어 있다. The background technology of the present invention is disclosed in Republic of Korea Patent Publication No. 1595317 (announced on February 18, 2016, a method and system for detecting a road surface mark for precise positioning of a vehicle).

본 발명은 상기와 같은 문제점들을 개선하기 위하여 안출된 것으로, 일 측면에 따른 본 발명의 목적은 MMS(Mobile Mapping System) 차량에서 스테레오 라이다(LiDAR) 센서를 통해 측정한 스테레오 점군 데이터를 기반으로, 동적점군으로 인해 폐색된 영역을 복원하여 지도 객체 추출의 정확성을 향상시킬 수 있도록 한 스테레오 점군 처리장치 및 그 방법을 제공하는 것이다. The present invention has been devised to improve the above problems, and an object of the present invention according to one aspect is based on stereo point cloud data measured by a stereo LiDAR sensor in an MMS (Mobile Mapping System) vehicle, An object of the present invention is to provide a stereo point cloud processing apparatus and method capable of improving the accuracy of map object extraction by restoring an area occluded by a dynamic point cloud.

본 발명의 일 측면에 따른 한 스테레오 점군 처리장치는, 차량의 주행 중 점군 데이터를 획득하기 위한 제1 라이다; 제1 라이다와 점군 데이터의 획득시점에서 시간 차이가 나도록 설치된 제2 라이다; 점군 데이터를 획득하는 시점에서 차량의 위치와 방향을 측정하기 위한 위치측정부; 및 제1 라이다와 제2 라이다를 통해 각각 획득한 제1 점군 데이터와 제2 점군 데이터로부터 각각 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 생성하여 깊이 차영상과 방향 차영상을 계산하고, 깊이 차영상과 방향 차영상을 통해 동적점군을 추정하여 동적점군에 의한 정적점군의 폐색영역을 복원하며, 정적점군의 반사강도를 보정하는 제어부;를 포함하는 것을 특징으로 한다. A stereo point cloud processing apparatus according to an aspect of the present invention is a first lidar for acquiring point cloud data while driving of a vehicle; a second lidar installed so that there is a time difference between the first lidar and the point cloud data acquisition time; a position measuring unit for measuring the position and direction of the vehicle at the time of acquiring the point cloud data; and first to second depth maps and first to second direction maps, respectively, from the first point cloud data and the second point cloud data obtained through the first lidar and the second lidar, respectively, to generate a depth difference image and a direction difference. and a controller for calculating an image, estimating the dynamic point group through the depth difference image and the directional difference image, restoring the occluded area of the static point group by the dynamic point group, and correcting the reflection intensity of the static point group.

본 발명에서 제어부는, 제1 라이다를 통해 획득한 제1 점군 데이터와 제2 라이다를 통해 획득한 제2 점군 데이터에 대해 각각 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 생성하는 깊이&방향 맵 생성부; 깊이&방향 맵 생성부로부터 생성된 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 이용하여 동적점군을 추정하고, 제1 라이다 또는 제2 라이다로부터 동적점군까지의 최대거리를 추정하며, 동적점군의 깊이 맵 상 픽셀 위치의 점군밀도를 계산하여 동적점군에 의한 정적점군의 폐색영역을 복원하는 폐색영역 복원부; 정적점군을 이용하여 정적점군의 반사강도 맵을 생성하는 정적점군 반사강도 맵 생성부; 및 정적점군 반사강도 맵 생성부에서 생성된 정적점군의 반사강도 맵을 이용하여 폐색영역 복원부에서 복원된 정적점군의 반사강도를 보정하는 반사강도 보정부;를 포함하는 것을 특징으로 한다. In the present invention, the control unit generates first to second depth maps and first to second direction maps for the first point cloud data acquired through the first lidar and the second point cloud data acquired through the second lidar, respectively. a depth & direction map generator to generate; The dynamic point group is estimated using the first to second depth maps and the first to second direction maps generated by the depth & direction map generator, and the maximum distance from the first lidar or the second lidar to the dynamic point cloud is calculated. an occluded area restoration unit for estimating and calculating the point cloud density of pixel positions on the depth map of the dynamic point group to restore the occluded area of the static point group by the dynamic point group; a static point group reflection intensity map generator for generating a reflection intensity map of the static point group by using the static point group; and a reflection intensity correction unit for correcting the reflection intensity of the static point group restored by the occlusion region restoration unit using the reflection intensity map of the static point group generated by the static point group reflection intensity map generating unit.

본 발명에서 폐색영역 복원부는, 깊이&방향 맵 생성부로부터 생성된 제1 내지 제2 깊이 맵으로부터 깊이 차영상과 제1 내지 제2 방향 맵으로부터 방향 차영상을 계산하여 교집합을 구하고, 제1 내지 제2 점군 데이터에서 거리와 방향이 동시에 변경된 위치를 확인하여 동적점군을 추정하는 동적점군 추정부; 제1 내지 제2 깊이 맵 상 동적점군의 픽셀 위치에서의 점군밀도를 계산하는 점군밀도 계산부; 및 제1 내지 제2 깊이 맵 상 동적점군의 픽셀 위치까지의 최대거리를 추정하는 최대거리 추정부;를 포함하는 것을 특징으로 한다. In the present invention, the occluded region restoration unit calculates an intersection of a depth difference image from the first to second depth maps generated by the depth & direction map generator and a direction difference image from the first to second direction maps, and obtains an intersection of the first to second direction maps. a dynamic point cloud estimator for estimating a dynamic point cloud by confirming a location where a distance and a direction are simultaneously changed in the second point cloud data; a point cloud density calculator configured to calculate a point cloud density at a pixel position of a dynamic point group on the first to second depth maps; and a maximum distance estimator for estimating the maximum distance to the pixel position of the dynamic point group on the first to second depth maps.

본 발명에서 폐색영역 복원부는, 동적점군의 주변 점군밀도가 높을 경우 제1 라이다 또는 제2 라이다로부터 주변 점군까지의 거리와 최대거리의 차이를 계산하여 그 차이만큼 동적점군을 이동하여 복원하는 것을 특징으로 한다. In the present invention, the occluded region restoration unit calculates the difference between the distance and the maximum distance from the first lidar or the second lidar to the peripheral point cloud when the density of the peripheral point cloud of the dynamic point group is high, and moves the dynamic point cloud by the difference to restore it. characterized in that

본 발명에서 폐색영역 복원부는, 동적점군의 깊이 맵 상 픽셀 위치와 같은 위치의 정적점군의 주변 점군밀도가 높으면, 동적점군을 제거하고 정적점군을 복사하여 복원하는 것을 특징으로 한다. In the present invention, the occluded region restoration unit removes the dynamic point group and copies the static point group to restore the static point group when the density of the surrounding point cloud at the same position as the pixel position on the dynamic point group's depth map is high.

본 발명의 다른 측면에 따른 스테레오 점군 처리방법은, 제어부가 제1 라이다와 제 2라이다로부터 획득시점에서 시간 차이가 나는 제1 내지 제2 점군 데이터를 입력받는 단계; 제어부가 각각 획득한 제1 내지 제2 점군 데이터를 통해 각각 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 생성하는 단계; 제어부가 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 이용하여 동적점군을 추정하는 단계; 제어부가 제1 내지 제2 깊이 맵에서 동적점군의 픽셀 위치에서의 점군밀도를 계산하는 단계; 제어부가 동적점군의 주변 점군밀도와 같은 위치의 정적점군의 주변 점군밀도를 기반으로 폐색영역을 복원하는 단계; 및 제어부가 정적점군의 반사강도를 보정하는 단계;를 포함하는 것을 특징으로 한다. A stereo point cloud processing method according to another aspect of the present invention includes: receiving, by a controller, first to second point cloud data having a time difference in acquisition time from a first lidar and a second lidar; generating, by the controller, first to second depth maps and first to second direction maps, respectively, based on the obtained first and second point cloud data; estimating, by the controller, the dynamic point group using the first to second depth maps and the first to second direction maps; calculating, by the control unit, a point cloud density at a pixel position of a dynamic point cloud in the first to second depth maps; restoring, by the control unit, the occluded area based on the density of the surrounding point cloud of the static point group at the same position as the surrounding point cloud density of the dynamic point group; and correcting, by the controller, the reflection intensity of the static point group.

본 발명에서 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 생성하는 단계는, 제어부가 제1 라이다와 제2 라이다로부터 입력된 각각의 제1 내지 제2 점군 데이터에 대해 후처리하여 측정 시 위치와 방향을 부여하는 것을 특징으로 한다. In the present invention, the step of generating the first to second depth maps and the first to second direction maps is performed by the controller after each of the first and second point cloud data input from the first lidar and the second lidar is performed. It is characterized in that the position and direction are given during measurement by processing.

본 발명에서 동적점군을 추정하는 단계는, 제어부가 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵으로부터 각각 깊이 차영상과 방향 차영상을 계산하는 단계; 제어부가 깊이 차영상과 방향 차영상의 교집합을 계산하는 단계; 제어부가 교집합을 계산하여 점군 데이터의 이미지를 투영하는 단계; 및 제어부가 투영된 이미지에서 교집합의 범위에 포함되는 점군을 동적점군으로 추정하는 단계;를 포함하는 것을 특징으로 한다. In the present invention, the step of estimating the dynamic point group includes: calculating, by the controller, a depth difference image and a direction difference image from the first to second depth maps and the first to second direction maps, respectively; calculating, by the controller, an intersection of the depth difference image and the direction difference image; projecting, by the controller, an image of the point cloud data by calculating the intersection; and estimating, by the controller, a point group included in the range of intersection in the projected image as a dynamic point group.

본 발명에서 폐색영역을 복원하는 단계는, 제어부가 동적점군의 주변 점군밀도가 높을 경우 제1 내지 제2 깊이 맵에서 제1 라이다 또는 제2 라이다로부터 동적점군의 픽셀위치까지의 최대거리를 추정하고, 제1 라이다 또는 제2 라이다로부터 주변 점군까지의 거리와 최대거리의 차이를 계산하여, 그 차이만큼 동적점군을 이동하여 복원하는 것을 특징으로 한다. In the present invention, in the step of restoring the occluded region, the controller determines the maximum distance from the first LiDAR or the second LiDAR to the pixel position of the dynamic point group in the first and second depth maps when the density of the surrounding point clouds of the dynamic point group is high. Estimate, calculate the difference between the distance and the maximum distance from the first lidar or the second lidar to the surrounding point cloud, and move the dynamic point cloud by the difference to restore it.

본 발명에서 폐색영역을 복원하는 단계는, 제어부가 동적점군의 깊이 맵 상 픽셀 위치와 같은 위치의 정적점군의 주변 점군밀도가 높으면, 동적점군을 제거하고 정적점군을 복사하여 복원하는 것을 특징으로 한다. In the step of restoring the occluded region in the present invention, the control unit removes the dynamic point group and copies and restores the static point group when the density of the surrounding point cloud at the same position as the pixel position on the depth map of the dynamic point group is high. .

본 발명의 일 측면에 따른 한 스테레오 점군 처리장치 및 그 방법은 MMS(Mobile Mapping System) 차량에서 스테레오 라이다(LiDAR) 센서를 통해 측정한 스테레오 점군을 기반으로 동적물체로 인해 폐색된 영역을 정적점군을 복원하여 지도 객체 추출의 정확성을 향상시킬 수 있다. A stereo point cloud processing apparatus and method according to an aspect of the present invention convert an area occluded by a dynamic object to a static point cloud based on a stereo point cloud measured by a stereo LiDAR sensor in a Mobile Mapping System (MMS) vehicle. can be restored to improve the accuracy of map object extraction.

도 1은 본 발명의 일 실시예에 따른 스테레오 점군 처리장치를 나타낸 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 스테레오 점군 처리장치에서 라이다의 설치상태를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 스테레오 점군 처리장치에서 깊이 맵의 생성을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 스테레오 점군 처리장치에서 깊이 정보의 추정과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 스테레오 점군 처리장치에서 점군의 위치보정을 통한 폐색영역의 복원을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 스테레오 점군 처리장치에서 점군의 복사를 통한 폐색영역의 복원을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 스테레오 점군 처리방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 스테레오 점군 처리방법에서 동적점군의 추정과정을 설명하기 위한 흐름도이다. 1 is a block diagram illustrating a stereo point cloud processing apparatus according to an embodiment of the present invention.
2 is a view for explaining the installation state of the lidar in the stereo point cloud processing apparatus according to an embodiment of the present invention.
3 is a diagram for explaining generation of a depth map in the stereo point cloud processing apparatus according to an embodiment of the present invention.
4 is a view for explaining a process of estimating depth information in the stereo point cloud processing apparatus according to an embodiment of the present invention.
FIG. 5 is a diagram for explaining restoration of an occluded area through position correction of a point cloud in the stereo point cloud processing apparatus according to an embodiment of the present invention.
6 is a view for explaining restoration of an occluded area through radiation of a point cloud in the stereo point cloud processing apparatus according to an embodiment of the present invention.
7 is a flowchart illustrating a stereo point cloud processing method according to an embodiment of the present invention.
8 is a flowchart illustrating a process of estimating a dynamic point cloud in a stereo point cloud processing method according to an embodiment of the present invention.

이하, 첨부된 도면들을 참조하여 본 발명에 따른 한 스테레오 점군 처리장치 및 그 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, a stereo point cloud processing apparatus and method according to the present invention will be described with reference to the accompanying drawings. In this process, the thickness of the lines or the size of the components shown in the drawings may be exaggerated for clarity and convenience of explanation. In addition, the terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to intentions or customs of users and operators. Therefore, definitions of these terms should be made based on the content throughout this specification.

도 1은 본 발명의 일 실시예에 따른 스테레오 점군 처리장치를 나타낸 블록 구성도이고, 도 2는 본 발명의 일 실시예에 따른 스테레오 점군 처리장치에서 라이다의 설치상태를 설명하기 위한 도면이며, 도 3은 본 발명의 일 실시예에 따른 스테레오 점군 처리장치에서 깊이 맵의 생성을 설명하기 위한 도면이고, 도 4는 본 발명의 일 실시예에 따른 스테레오 점군 처리장치에서 깊이 정보의 추정과정을 설명하기 위한 도면이며, 도 5는 본 발명의 일 실시예에 따른 스테레오 점군 처리장치에서 점군의 위치보정을 통한 폐색영역의 복원을 설명하기 위한 도면이고, 도 6은 본 발명의 일 실시예에 따른 스테레오 점군 처리장치에서 점군의 복사를 통한 폐색영역의 복원을 설명하기 위한 도면이다. 1 is a block diagram illustrating a stereo point cloud processing apparatus according to an embodiment of the present invention, and FIG. 2 is a diagram for explaining an installation state of a lidar in the stereo point cloud processing apparatus according to an embodiment of the present invention; 3 is a diagram for explaining generation of a depth map in the stereo point cloud processing apparatus according to an embodiment of the present invention, and FIG. 4 is a view for explaining a process of estimating depth information in the stereo point cloud processing apparatus according to an embodiment of the present invention 5 is a view for explaining restoration of an occluded area through position correction of a point cloud in the stereo point cloud processing apparatus according to an embodiment of the present invention, and FIG. 6 is a stereo point cloud processing apparatus according to an embodiment of the present invention. It is a diagram for explaining restoration of an occluded area through point cloud radiation in the point cloud processing apparatus.

도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 스테레오 점군 처리장치는, 제1 라이다(10), 제2 라이다(20), 위치측정부(30) 및 제어부(40)를 포함한다. As shown in FIG. 1 , the stereo point cloud processing apparatus according to an embodiment of the present invention includes a first lidar 10 , a second lidar 20 , a positioning unit 30 , and a control unit 40 . do.

제1 라이다(10)는 차량의 주행 중 제1 점군 데이터를 획득하여 제어부(40)에 제공한다. The first lidar 10 obtains the first point cloud data while the vehicle is driving and provides it to the controller 40 .

여기서, 차량(5)은 MMS(Mobile Mapping System) 차량으로 위성위치정보 시스템(GPS), 라이다(LiDAR), 카메라 등의 각종 센서들을 탑재하여 주변에 있는 지형 지물의 위치와 시각정보를 취득하는 차량일 수 있다. Here, the vehicle 5 is an MMS (Mobile Mapping System) vehicle, which is equipped with various sensors such as a GPS, LiDAR, and a camera to acquire the location and visual information of the surrounding terrain features. It may be a vehicle.

제 2라이다(20)는 제1 라이다(10)와 점군 데이터의 획득시점에서 시간 차이가 나도록 설치되어 획득한 제2 점군 데이터를 제어부(40)에 제공한다. The second lidar 20 is installed so as to have a time difference between the first lidar 10 and the acquisition time of the point cloud data, and provides the acquired second point cloud data to the controller 40 .

위치측정부(30)는 점군 데이터를 획득하는 시점에서 차량(5)의 위치와 방향을 측정하여 제어부(40)에 제공한다. The position measuring unit 30 measures the position and direction of the vehicle 5 at the time point cloud data is acquired and provides it to the control unit 40 .

여기서, 위치측정부(30)는 위성위치정보 시스템 뿐만 아니라 관성측정장치를 더 포함할 수도 있다. Here, the position measuring unit 30 may further include an inertial measuring device as well as a satellite position information system.

본 실시예에서 제1 내지 제2 라이다(10 ~ 20)는 도 2에 도시된 바와 같이 센서 스캔영역 및 방향이 상이하여, t-1 시점에서는 (가)와 같이 제2 라이다(20)를 통해 획득한 점군이 t 시점에서는 (나)와 같이 제1 라이다(10)를 통해 획득된다. In this embodiment, the first to second lidars 10 to 20 have different sensor scan areas and directions as shown in FIG. 2 , and at time t-1, the second lidar 20 as shown in (A). The point cloud obtained through is obtained through the first lidar 10 as shown in (B) at time t.

이와 같이 스테레오로 점군 데이터를 획득할 경우, 동적물체 표면상의 점군 데이터를 제1 라이다(10)에서는 획득하고 제2 라이다(20)에서는 획득하지 못하면, 제1 라이다(10)는 동적점군은 획득하지만 이로 인한 폐색구간에 대한 점군은 획득하지 못한다. 반면, 제2 라이다(20)는 제1 라이다(10)에서 획득하지 못한 폐색구간의 점군을 획득할 수 있다. In this way, when the point cloud data is acquired in stereo, the first lidar 10 acquires the point cloud data on the surface of the dynamic object and fails to acquire it in the second lidar 20, the first lidar 10 is the dynamic point cloud is obtained, but the point cloud for the occluded section is not obtained. On the other hand, the second lidar 20 may acquire a point cloud of the occlusion section that is not acquired by the first lidar 10 .

제어부(40)는 제1 라이다(10)와 제2 라이다(20)를 통해 각각 획득한 제1 점군 데이터와 제2 점군 데이터를 후처리하여 위치와 방향을 부여한 후 각각 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 생성하여 깊이 차영상과 방향 차영상을 계산하고, 깊이 차영상과 방향 차영상을 통해 동적점군을 추정하여 동적점군에 의한 정적점군의 폐색영역을 복원하며, 정적점군의 반사강도를 보정한다. The control unit 40 post-processes the first point cloud data and the second point cloud data obtained through the first lidar 10 and the second lidar 20, respectively, to give positions and directions, and then to the first to second points, respectively. The depth map and the first to second direction maps are generated to calculate the depth difference image and the direction difference image, and the dynamic point group is estimated through the depth difference image and the direction difference image to restore the occluded area of the static point group by the dynamic point group. , correct the reflection intensity of the static point group.

여기서, 제어부(40)는 깊이&방향 맵 생성부(42), 폐색영역 복원부(44), 정적점군 반사강도 맵 생성부 (46)및 반사강도 보정부(48)를 포함하여 구성될 수 있다. Here, the control unit 40 may include a depth & direction map generation unit 42 , an occlusion region restoration unit 44 , a static point group reflection intensity map generation unit 46 , and a reflection strength correction unit 48 . .

깊이&방향 맵 생성부(42)는 제1 라이다(10)를 통해 획득한 제1 점군 데이터와 제2 라이다(20)를 통해 획득한 제2 점군 데이터에 대해 각각 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 생성할 수 있다. The depth & direction map generating unit 42 is configured to first to second depths for the first point cloud data acquired through the first lidar 10 and the second point cloud data acquired through the second lidar 20 , respectively. A map and first to second direction maps may be generated.

도 3에 도시된 바와 같이 MMS 차량의 주행 경로선을 참조하여 특정 위치와 방향에 가상 카메라를 정의하여 3차원 공간상에 그릴 수 있다. As shown in FIG. 3 , a virtual camera can be defined at a specific location and direction with reference to the driving route line of the MMS vehicle and drawn in a three-dimensional space.

즉, 제1 내지 제2 라이다(10 ~ 20)에서 획득한 제1 내지 제2 점군 데이터를 기반으로 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 생성하기 위해 텍셀 당 각 2byte의 저장 공간을 할당할 경우, 가상 카메라의 센서 중심으로부터 가장 먼저 관측되는 점군과의 거리 정보를 최대 655.35미터까지 2차원 맵에 저장할 수 있다. 이때, 깊이 정보는 단위 수치 당 1cm의 정밀도를 가질 수 있으나 제1 내지 제2 라이다의 정밀도보다 정밀하게 저장할 수는 없다. That is, to generate first and second depth maps and first and second direction maps based on the first and second point cloud data obtained from the first and second lidars 10 to 20, each 2 bytes per texel When allocating the storage space of , distance information from the sensor center of the virtual camera to the first observed point cloud can be stored in a two-dimensional map up to 655.35 meters. In this case, the depth information may have a precision of 1 cm per unit value, but cannot be stored more precisely than that of the first to second lidars.

가상 카메라의 뷰 프러스텀 내 점군 데이터들은 2차원 평면으로 투영되며 투영된 위치의 텍셀에서 라디아와의 거리를 1cm 단위로 절삭하여 저장할 수 있다. The point cloud data in the view frustum of the virtual camera is projected on a two-dimensional plane, and the distance from the texel at the projected position to the radia can be cut in units of 1 cm and stored.

그리고 각 점 실제 표면 상에 분포되어 있다고 가정할 때 점의 방향성 또한 활용될 수 있으므로 방향 맵을 생성할 필요가 있다. 점군의 방향은 한 점의 주변 점군의 기하정보를 이용하여 표면의 법선을 추정함으로써 계산할 수 있다. 일반적으로, 주변 점군 데이터를 활용한 주성분 분석 등의 방법을 통해 수행할 수 있다. And, assuming that each point is distributed on the actual surface, the directionality of the points can also be utilized, so it is necessary to generate a direction map. The direction of the point cloud can be calculated by estimating the normal of the surface using the geometric information of the point cloud surrounding a point. In general, it can be performed through a method such as principal component analysis using the surrounding point cloud data.

또한, 투영되는 방향 맵의 텍셀에 RGB 색상 값으로 방향 벡터를 정규화하여 저장할 수 있다. 이때 방향 맵을 생성하는 과정에서 각 점의 주변 점군을 획득해야 하므로 지역별 점군밀도도 함께 계산할 수도 있다. Also, it is possible to normalize the direction vector to the RGB color value and store it in the texel of the projected direction map. In this case, since it is necessary to obtain a point cloud surrounding each point in the process of generating the direction map, the point cloud density for each region can also be calculated.

한편, 점군밀도의 부족으로 깊이 맵의 모든 텍셀에 대해 깊이 정보를 저장하기 어려울 경우, 도 4에 도시된 바와 같이 Pull-Push 방법으로 빈 공간에 대한 깊이 정보를 추정할 수 있다. 즉, 평균 또는 최소값 단계별 다운 스케일을 수행한 후, 다시 이중 선형 필터링 단계별 업 스케일을 수행하여 추정할 수 있다. Meanwhile, when it is difficult to store depth information for all texels of the depth map due to the lack of point cloud density, as shown in FIG. 4 , depth information for an empty space may be estimated by the pull-push method. That is, it can be estimated by performing down-scaling in steps of the average or minimum value, and then performing up-scaling in steps of double linear filtering again.

폐색영역 복원부(44)는 깊이&방향 맵 생성부(42)로부터 생성된 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 이용하여 동적점군을 추정하고, 제1 라이다(10) 또는 제2 라이다(20)로부터 동적점군까지의 최대거리를 추정하며, 동적점군의 깊이 맵 상 픽셀 위치의 점군밀도를 계산하여 동적점군에 의한 정적점군의 폐색영역을 복원한다. The occlusion region restoration unit 44 estimates a dynamic point group using the first to second depth maps and the first to second direction maps generated by the depth & direction map generation unit 42 , and the first lidar (10). ) or the maximum distance from the second lidar 20 to the dynamic point group is estimated, and the occlusion area of the static point group by the dynamic point group is restored by calculating the point cloud density of the pixel position on the depth map of the dynamic point group.

이때 폐색영역 복원부(44)는 동적점군 추정부(442), 점군밀도 계산부(444) 및 최대거리 추정부(446)를 포함할 수 있다. In this case, the occlusion region restoration unit 44 may include a dynamic point cloud estimation unit 442 , a point cloud density calculation unit 444 , and a maximum distance estimation unit 446 .

동적점군 추정부(442)는 깊이&방향 맵 생성부(42)로부터 생성된 제1 내지 제2 깊이 맵으로부터 깊이 차영상과 제1 내지 제2 방향 맵으로부터 방향 차영상을 계산하여 교집합을 구하고, 제1 내지 제2 점군 데이터에서 거리와 방향이 동시에 변경된 위치를 확인하여 동적점군을 추정한다. The dynamic point cloud estimation unit 442 calculates the depth difference image from the first and second depth maps generated by the depth & direction map generation unit 42 and the direction difference image from the first and second direction maps to obtain an intersection, A dynamic point cloud is estimated by confirming a position where the distance and direction are simultaneously changed in the first and second point cloud data.

즉, 제1 내지 제2 점군 데이터를 이미지에 투영하여 교집합의 범위에 들어오는 경우 동적점군으로 추정하고 교집합의 범위를 벗어나는 경우 정적점군으로 추정할 수 있다. That is, when the first and second point cloud data are projected onto an image to enter the range of the intersection, it is estimated as a dynamic point group, and when it is outside the range of the intersection, it can be estimated as a static point group.

점군밀도 계산부(442)는 제1 내지 제2 깊이 맵 상에서 동적점군의 픽셀 위치에서의 점군밀도를 계산한다. The point cloud density calculator 442 calculates the point cloud density at the pixel position of the dynamic point group on the first to second depth maps.

최대거리 추정부(446)는 제1 내지 제2 깊이 맵에서 동적점군의 픽셀위치까지의 최대거리를 추정한다. The maximum distance estimator 446 estimates the maximum distance from the first to second depth maps to the pixel position of the dynamic point group.

위에서 폐색영역 복원부(42)는 동적점군의 주변 점군밀도가 높을 경우 제1 라이다(10) 또는 제2 라이다(20)로부터 주변 점군까지의 거리와 최대거리의 차이를 계산하여 그 차이만큼 동적점군을 이동하여 복원할 수 있다. In the above, when the density of the surrounding point cloud of the dynamic point group is high, the occluded region restoration unit 42 calculates the difference between the distance and the maximum distance from the first lidar 10 or the second lidar 20 to the peripheral point cloud, and the difference It can be restored by moving the dynamic point cloud.

도 5에 도시된 바와 같이 (가)는 제1 라이다(10)의 제1 점군 데이터이고, (나)는 제2 라이다(20)의 제2 점군 데이터이며, (다)는 제1 라이다(10)의 탑뷰 이미지이고, (라)는 MMS 차량의 주행 방향에 대한 수직 단면으로써, 차량의 정면에서 바라본 점군의 단면을 나타낸다. 점군 폐색이 발생하는 경우 동일한 위치에 투영되는 동적점군, 정적점군 및 라이다 사이의 거리는 상이할 수 있다. 이때 하나의 라이다와 동적점군까지의 거리는 상대적으로 짧은 거리가 되고, 다른 라이다와 정적점군 사이의 거리는 상대적으로 긴 거리가 된다. 5, (A) is the first point cloud data of the first lidar 10, (B) is the second point cloud data of the second lidar 20, (C) is the first point cloud data It is a top view image of Ida (10), and (D) is a cross-section perpendicular to the driving direction of the MMS vehicle, indicating a cross-section of the point group viewed from the front of the vehicle. When point cloud occlusion occurs, the distance between the dynamic point cloud, the static point cloud, and the lidar projected to the same location may be different. In this case, the distance between one lidar and the dynamic point group becomes a relatively short distance, and the distance between the other lidar and the static point group becomes a relatively long distance.

이 거리들의 차이를 벡터의 크기로 사용하고 가상 카메라가 점을 바라보는 방향을 벡터의 방향으로 사용하여 3차원 평행 이동변환을 수행하여 (다)에 도시된 바와 같이 동적점군을 폐색영역으로 이동시켜 복원할 수 있다. Using the difference between these distances as the size of the vector and using the direction in which the virtual camera looks at the point as the direction of the vector, 3D translation is performed to move the dynamic point group to the occluded area as shown in (c). can be restored

또한, 폐색영역 복원부(42)는, 동적점군의 깊이 맵 상 픽셀 위치와 같은 위치의 정적점군의 주변 점군밀도가 높으면, 동적점군을 제거하고 정적점군을 복사하여 복원할 수 있다. In addition, the occluded region restoration unit 42 may restore the dynamic point group by removing the dynamic point group and copying the static point group when the density of the surrounding point cloud at the same position as the pixel position on the depth map of the dynamic point group is high.

도 6에 도시된 바와 같이 깊이 맵상에서 픽셀 위치와 같은 동적점군과 정적점군의 주변 점군밀도를 비교하여, 동적점군의 밀도가 상대적으로 낮고 최대거리에 위치한 다른 라이다의 점군의 밀도가 충분히 높으면, 이를 복사하여 옮겨놓는 것으로 복원 작업을 대신할 수 있다. 또한, 기존의 최대거리에 있던 점군은 정적 점군일 확률이 높으므로 그 반사 강도를 그대로 폐색 영역으로 이동시킨 점군에 부여하는 것으로 폐색영역의 형상과 밝기를 동시에 복원할 수 있다. As shown in FIG. 6, by comparing the density of the dynamic point group and the static point group on the depth map, the density of the dynamic point group is relatively low and the density of the point cloud of other LiDAR located at the maximum distance is high enough. You can replace the restoration work by copying it and moving it. In addition, since the existing point cloud at the maximum distance has a high probability of being a static point cloud, the shape and brightness of the occlusion area can be simultaneously restored by giving the reflection intensity to the point cloud moved to the occlusion area as it is.

정적점군 반사강도 맵 생성부(46)는 동적점군을 추정할 때 교집합의 범위를 벗어난 정적점군을 이용하여 정적점군의 반사강도 맵을 생성한다. The static point group reflection intensity map generating unit 46 generates a reflection intensity map of the static point group by using the static point group out of the range of intersection when estimating the dynamic point group.

반사강도 보정부(48)는 정적점군 반사강도 맵 생성부(46)에서 생성된 정적점군의 반사강도 맵을 이용하여 폐색영역 복원부(42)에서 복원된 정적점군의 반사강도를 보정할 수 있다. The reflection intensity correction unit 48 may correct the reflection intensity of the static point group restored by the occlusion region restoration unit 42 using the reflection intensity map of the static point group generated by the static point group reflection intensity map generation unit 46 . .

상술한 바와 같이, 본 발명의 실시예에 의한 스테레오 점군 처리장치에 따르면, MMS(Mobile Mapping System) 차량에서 스테레오 라이다(LiDAR) 센서를 통해 측정한 스테레오 점군을 기반으로 동적물체로 인해 폐색된 영역에 대해 정적점군을 복원하여 지도 객체 추출의 정확성을 향상시킬 수 있다. As described above, according to the stereo point cloud processing apparatus according to an embodiment of the present invention, an area occluded by a dynamic object based on a stereo point cloud measured through a stereo LiDAR sensor in a Mobile Mapping System (MMS) vehicle It is possible to improve the accuracy of map object extraction by restoring the static point cloud for .

도 7은 본 발명의 일 실시예에 따른 스테레오 점군 처리방법을 설명하기 위한 흐름도이고, 도 8은 본 발명의 일 실시예에 따른 스테레오 점군 처리방법에서 동적점군의 추정과정을 설명하기 위한 흐름도이다. 7 is a flowchart illustrating a stereo point cloud processing method according to an embodiment of the present invention, and FIG. 8 is a flowchart illustrating a dynamic point cloud estimation process in the stereo point cloud processing method according to an embodiment of the present invention.

도 7에 도시된 바와 같이 본 발명의 일 실시예에 따른 스테레오 점군 처리방법에서는 먼저, 제어부(40)가 제1 라이다(10)와 제 2라이다(20)로부터 획득시점에서 시간 차이가 나는 제1 내지 제2 점군 데이터를 입력받다(S10). As shown in FIG. 7 , in the stereo point cloud processing method according to an embodiment of the present invention, first, the control unit 40 obtains a time difference from the first lidar 10 and the second lidar 20 . Receive first and second point cloud data (S10).

본 실시예에서 제1 내지 제2 라이다(10 ~ 20)는 도 2에 도시된 바와 같이 센서 스캔영역 및 방향이 상이하여, t-1 시점에서는 (가)와 같이 제2 라이다(20)를 통해 획득한 점군이 t 시점에서는 (나)와 같이 제1 라이다(10)를 통해 획득된다. In this embodiment, the first to second lidars 10 to 20 have different sensor scan areas and directions as shown in FIG. 2 , and at time t-1, the second lidar 20 as shown in (A). The point cloud obtained through is obtained through the first lidar 10 as shown in (B) at time t.

또한, 제어부(40)는 제1 라이다(10)와 제2 라이다(20)로부터 입력된 각각의 제1 내지 제2 점군 데이터에 대해 후처리하여 측정 시 위치와 방향을 부여할 수 있다. In addition, the control unit 40 may post-process each of the first to second point cloud data input from the first lidar 10 and the second lidar 20 to provide a position and a direction during measurement.

S10 단계에서 제어부(40)가 각각 획득한 제1 내지 제2 점군 데이터를 통해 각각 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 생성한다(S20). In step S10 , the controller 40 generates first to second depth maps and first to second direction maps using the first and second point cloud data respectively obtained ( S20 ).

제어부(40)는 깊이 맵을 생성할 때, 도 3에 도시된 바와 같이 MMS 차량의 주행 경로선을 참조하여 특정 위치와 방향에 가상 카메라를 정의하여 3차원 공간상에 그릴 수 있다. When generating the depth map, the controller 40 may define a virtual camera at a specific location and direction with reference to the driving path line of the MMS vehicle as shown in FIG. 3 and draw it in a three-dimensional space.

즉, 제1 내지 제2 라이다(10 ~ 20)에서 획득한 제1 내지 제2 점군 데이터를 기반으로 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 생성하기 위해 텍셀 당 각 2byte의 저장 공간을 할당할 경우, 가상 카메라의 센서 중심으로부터 가장 먼저 관측되는 점군과의 거리 정보를 최대 655.35미터까지 2차원 맵에 저장할 수 있다. 이때, 깊이 정보는 단위 수치 당 1cm의 정밀도를 가질 수 있으나 제1 내지 제2 라이다의 정밀도보다 정밀하게 저장할 수는 없다. That is, to generate first and second depth maps and first and second direction maps based on the first and second point cloud data obtained from the first and second lidars 10 to 20, each 2 bytes per texel When allocating the storage space of , distance information from the sensor center of the virtual camera to the first observed point cloud can be stored in a two-dimensional map up to 655.35 meters. In this case, the depth information may have a precision of 1 cm per unit value, but cannot be stored more precisely than that of the first to second lidars.

가상 카메라의 뷰 프러스텀 내 점군 데이터들은 2차원 평면으로 투영되며 투영된 위치의 텍셀에서 라디아와의 거리를 1cm 단위로 절삭하여 저장할 수 있다. The point cloud data in the view frustum of the virtual camera is projected on a two-dimensional plane, and the distance from the texel at the projected position to the radia can be cut in units of 1 cm and stored.

그리고 각 점 실제 표면 상에 분포되어 있다고 가정할 때 점의 방향성 또한 활용될 수 있으므로 방향 맵을 생성할 필요가 있다. 점군의 방향은 한 점의 주변 점군의 기하정보를 이용하여 표면의 법선을 추정함으로써 계산할 수 있다. 일반적으로, 주변 점군 데이터를 활용한 주성분 분석 등의 방법을 통해 수행할 수 있다. And, assuming that each point is distributed on the actual surface, the directionality of the points can also be utilized, so it is necessary to generate a direction map. The direction of the point cloud can be calculated by estimating the normal of the surface using the geometric information of the point cloud surrounding a point. In general, it can be performed through a method such as principal component analysis using the surrounding point cloud data.

또한, 투영되는 방향 맵의 텍셀에 RGB 색상 값으로 방향 벡터를 정규화하여 저장할 수 있다. 이때 방향 맵을 생성하는 과정에서 각 점의 주변 점군을 획득해야 하므로 지역별 점군밀도도 함께 계산할 수도 있다. Also, it is possible to normalize the direction vector to the RGB color value and store it in the texel of the projected direction map. In this case, since it is necessary to obtain a point cloud surrounding each point in the process of generating the direction map, the point cloud density for each region can also be calculated.

한편, 제어부(40)는 점군밀도의 부족으로 깊이 맵의 모든 텍셀에 대해 깊이 정보를 저장하기 어려울 경우, 도 4에 도시된 바와 같이 Pull-Push 방법으로 빈 공간에 대한 깊이 정보를 추정할 수 있다. 즉, 평균 또는 최소값 단계별 다운 스케일을 수행한 후, 다시 이중 선형 필터링 단계별 업 스케일을 수행하여 추정할 수 있다. Meanwhile, when it is difficult to store depth information for all texels of the depth map due to a lack of point cloud density, the controller 40 may estimate depth information for an empty space using the pull-push method as shown in FIG. 4 . . That is, it can be estimated by performing down-scaling in steps of the average or minimum value, and then performing up-scaling in steps of double linear filtering again.

S20 단계에서 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 생성한 후 제어부(40)는 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 기반으로 동적점군을 추정할 수 있다(S30). After generating the first to second depth maps and the first to second directional maps in step S20, the controller 40 estimates the dynamic point cloud based on the first and second depth maps and the first to second directional maps. can be (S30).

S30 단계에서 동적점군을 추정하기 위해 제어부(40)는 도 8에 도시된 바와 같이 제1 내지 제2 깊이 맵으로부터 깊이 차영상과 제1 내지 제2 방향 맵으로부터 방향 차영상을 계산한다(S310). In order to estimate the dynamic point group in step S30, the controller 40 calculates a depth difference image from the first to second depth maps and a direction difference image from the first to second direction maps as shown in FIG. 8 (S310) .

S310 단계에서 깊이 차영상과 방향 차영상을 계산한 후, 제어부(40)는 깊이 차영상과 방향 차영상의 교집합을 계산하여 제1 내지 제2 점군 데이터에서 거리와 방향이 동시에 변경된 위치를 확인한다(S320). After calculating the depth difference image and the direction difference image in step S310, the control unit 40 calculates the intersection of the depth difference image and the direction difference image to check the position where the distance and the direction are simultaneously changed in the first to second point cloud data (S320).

S320 단계에서 교집합을 계산한 후, 제어부(40)는 제1 내지 제2 점군 데이터를 이미지에 투영한다(S330). After calculating the intersection in step S320, the controller 40 projects the first to second point cloud data onto the image (S330).

S330 단계에서 이미지를 투영한 후, 제어부(40)는 투영된 점군들이 교집합의 범위에 포함되는지 판단한다(S340). After projecting the image in step S330 , the controller 40 determines whether the projected point clouds are included in the intersection range ( S340 ).

S340 단계에서 교집합의 범위에 포함되는지 판단하여 교집합의 범위에 포함되는 경우, 제어부(40)는 교집합의 범위에 포함되는 점군을 동적점군으로 추정할 수 있다(S350). In step S340 , if it is determined whether or not it is included in the range of intersection, the controller 40 may estimate the point group included in the range of intersection as a dynamic point group ( S350 ).

S340 단계에서 교집합의 범위에 포함되는지 판단하여 교집합의 범위에 포함되지 않는 경우, 제어부(40)는 교집합의 범위에 포함되지 않는 점군을 정적점군으로 추정할 수 있다(S360). In step S340 , if it is determined whether it is included in the range of intersection and is not included in the range of intersection, the controller 40 may estimate a point group not included in the range of intersection as a static point group ( S360 ).

S30 단계에서 동적점군을 추정한 후 제어부(40)는 제1 내지 제2 깊이 맵에서 동적점군의 픽셀 위치에서의 점군밀도를 계산할 수 있다(S40). After estimating the dynamic point group in step S30 , the controller 40 may calculate the point cloud density at the pixel position of the dynamic point group in the first to second depth maps ( S40 ).

S40 단계에서 점군밀도를 계산하고, 제어부(40)는 제1 내지 제2 깊이 맵에서 제1 라이다(10) 또는 제2 라이다(20)로부터 동적점군의 픽셀위치까지의 최대거리를 추정할 수 있다(S50). In step S40, the point cloud density is calculated, and the control unit 40 estimates the maximum distance from the first lidar 10 or the second lidar 20 to the pixel position of the dynamic point cloud in the first and second depth maps. can be (S50).

S50 단계에서 최대거리를 추정한 후 제어부(40)는 동적점군의 주변 점군밀도와 같은 위치의 정적점군의 주변 점군밀도를 기반으로 폐색영역을 복원할 수 있다(S60). After estimating the maximum distance in step S50, the control unit 40 may restore the occlusion area based on the density of the surrounding point cloud of the static point group at the same position as the surrounding point group density of the dynamic point group (S60).

여기서, 제어부(40)는 동적점군의 주변 점군밀도가 높을 경우 제1 라이다(10) 또는 제2 라이다(20)로부터 주변 점군까지의 거리와 최대거리의 차이를 계산하여 그 차이만큼 동적점군을 이동하여 복원할 수 있다. Here, the controller 40 calculates the difference between the distance and the maximum distance from the first lidar 10 or the second lidar 20 to the peripheral point cloud when the density of the surrounding point cloud of the dynamic point group is high, and the difference is equal to the dynamic point group. can be restored by moving

도 5에 도시된 바와 같이 (가)는 제1 라이다(10)의 제1 점군 데이터이고, (나)는 제2 라이다(20)의 제2 점군 데이터이며, (다)는 제1 라이다(10)의 탑뷰 이미지이고, (라)는 MMS 차량의 주행 방향에 대한 수직 단면으로써, 차량의 정면에서 바라본 점군의 단면을 나타낸다. 점군 폐색이 발생하는 경우 동일한 위치에 투영되는 동적점군, 정적점군 및 라이다 사이의 거리는 상이할 수 있다. 이때 하나의 라이다와 동적점군까지의 거리는 상대적으로 짧은 거리가 되고, 다른 라이다와 정적점군 사이의 거리는 상대적으로 긴 거리가 된다. 5, (A) is the first point cloud data of the first lidar 10, (B) is the second point cloud data of the second lidar 20, (C) is the first point cloud data It is a top view image of Ida (10), and (D) is a cross-section perpendicular to the driving direction of the MMS vehicle, indicating a cross-section of the point group viewed from the front of the vehicle. When point cloud occlusion occurs, the distance between the dynamic point cloud, the static point cloud, and the lidar projected to the same location may be different. In this case, the distance between one lidar and the dynamic point group becomes a relatively short distance, and the distance between the other lidar and the static point group becomes a relatively long distance.

이 거리들의 차이를 벡터의 크기로 사용하고 가상 카메라가 점을 바라보는 방향을 벡터의 방향으로 사용하여 3차원 평행 이동변환을 수행하여 (다)에 도시된 바와 같이 동적점군을 폐색영역으로 이동시켜 복원할 수 있다. Using the difference between these distances as the size of the vector and using the direction in which the virtual camera looks at the point as the direction of the vector, 3D translation is performed to move the dynamic point group to the occluded area as shown in (c). can be restored

또한, 제어부(40)는 동적점군의 깊이 맵 상 픽셀 위치와 같은 위치의 정적점군의 주변 점군밀도가 높으면, 동적점군을 제거하고 정적점군을 복사하여 복원할 수 있다. Also, when the density of the surrounding point cloud of the static point group at the same position as the pixel position on the depth map of the dynamic point group is high, the controller 40 may remove the dynamic point group and copy and restore the static point group.

도 6에 도시된 바와 같이 깊이 맵상에서 픽셀 위치와 같은 동적점군과 정적점군의 주변 점군밀도를 비교하여, 동적점군의 밀도가 상대적으로 낮고 최대거리에 위치한 다른 라이다의 점군의 밀도가 충분히 높으면, 이를 복사하여 옮겨놓는 것으로 복원 작업을 대신할 수 있다. 또한, 기존의 최대거리에 있던 점군은 정적 점군일 확률이 높으므로 그 반사강도를 그대로 폐색 영역으로 이동시킨 점군에 부여하는 것으로 폐색영역의 형상과 밝기를 동시에 복원할 수 있다. As shown in FIG. 6, by comparing the density of the dynamic point group and the static point group on the depth map, the density of the dynamic point group is relatively low and the density of the point cloud of other LiDAR located at the maximum distance is high enough. You can replace the restoration work by copying it and moving it. Also, since the existing point cloud at the maximum distance has a high probability of being a static point cloud, the shape and brightness of the occlusion area can be simultaneously restored by giving the reflection intensity to the point cloud moved to the occlusion area as it is.

S30 단계에서 폐색영역을 복원한 후 제어부(40)는 동적점군을 추정할 때 교집합의 범위를 벗어난 정적점군을 기반으로 생성한 정적점군의 반사강도 맵을 이용하여 복원된 정적점군의 반사강도를 보정할 수 있다(S70). After restoring the occluded region in step S30, the controller 40 corrects the reflection intensity of the restored static point group by using the reflection intensity map of the static point group generated based on the static point group out of the range of intersection when estimating the dynamic point group. It can be done (S70).

상술한 바와 같이, 본 발명의 실시예에 의한 스테레오 점군 처리방법에 따르면, MMS(Mobile Mapping System) 차량에서 스테레오 라이다(LiDAR) 센서를 통해 측정한 스테레오 점군을 기반으로 동적물체로 인해 폐색된 영역에 대해 정적점군을 복원하여 지도 객체 추출의 정확성을 향상시킬 수 있다. As described above, according to the stereo point cloud processing method according to an embodiment of the present invention, an area occluded by a dynamic object based on a stereo point cloud measured through a stereo LiDAR sensor in a Mobile Mapping System (MMS) vehicle It is possible to improve the accuracy of map object extraction by restoring the static point cloud for .

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. Although the present invention has been described with reference to the embodiment shown in the drawings, this is merely exemplary, and those of ordinary skill in the art to which various modifications and equivalent other embodiments are possible. will understand

따라서 본 발명의 진정한 기술적 보호범위는 아래의 청구범위에 의해서 정하여져야 할 것이다.Therefore, the true technical protection scope of the present invention should be defined by the following claims.

10 : 제1 라이다 20 : 제2 라이다
30 : 위치측정부 40 : 제어부
42 : 깊이&방향 맵 생성부 44 : 폐색영역 복원부
46 : 정적점군 반사강도 맵 생성부 48 : 반사강도 보정부
442 : 동적점군 추정부 444 : 점군밀도 계산부
446 : 최대거리 추정부10: first lidar 20: second lidar
30: position measurement unit 40: control unit
42: depth & direction map generation unit 44: occluded area restoration unit
46: static point cloud reflection intensity map generation unit 48: reflection intensity correction unit
442: dynamic point cloud estimation unit 444: point cloud density calculation unit
446: maximum distance estimation unit

Claims (10)

차량의 주행 중 점군 데이터를 획득하기 위한 제1 라이다;
상기 제1 라이다와 점군 데이터의 획득시점에서 시간 차이가 나도록 설치된 제2 라이다;
상기 점군 데이터를 획득하는 시점에서 차량의 위치와 방향을 측정하기 위한 위치측정부; 및
상기 제1 라이다와 상기 제2 라이다를 통해 각각 획득한 제1 점군 데이터와 제2 점군 데이터로부터 각각 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 생성하여 깊이 차영상과 방향 차영상을 계산하고, 상기 깊이 차영상과 상기 방향 차영상을 통해 동적점군을 추정하여 상기 동적점군에 의한 정적점군의 폐색영역을 복원하며, 상기 정적점군의 반사강도를 보정하는 제어부;를 포함하는 것을 특징으로 하는 스테레오 점군 처리장치.
a first lidar for acquiring point cloud data while the vehicle is driving;
a second lidar installed so as to have a time difference between the first lidar and the point cloud data acquisition time;
a position measuring unit for measuring the position and direction of the vehicle at the time of acquiring the point cloud data; and
First to second depth maps and first to second direction maps are generated from the first point cloud data and the second point cloud data respectively obtained through the first lidar and the second lidar, respectively, to generate a depth difference image and a direction A control unit for calculating a difference image, estimating a dynamic point group through the depth difference image and the direction difference image, restoring an occluded area of the static point group by the dynamic point group, and correcting the reflection intensity of the static point group; Stereo point cloud processing device, characterized in that.
 제 1항에 있어서, 상기 제어부는, 상기 제1 라이다를 통해 획득한 상기 제1 점군 데이터와 상기 제2 라이다를 통해 획득한 상기 제2 점군 데이터에 대해 각각 상기 제1 내지 제2 깊이 맵과 상기 제1 내지 제2 방향 맵을 생성하는 깊이&방향 맵 생성부;
상기 깊이&방향 맵 생성부로부터 생성된 상기 제1 내지 제2 깊이 맵과 상기 제1 내지 제2 방향 맵을 이용하여 상기 동적점군을 추정하고, 상기 제1 라이다 또는 상기 제2 라이다로부터 상기 동적점군까지의 최대거리를 추정하며, 상기 동적점군의 깊이 맵 상 픽셀 위치의 점군밀도를 계산하여 상기 동적점군에 의한 상기 정적점군의 상기 폐색영역을 복원하는 폐색영역 복원부;
상기 정적점군을 이용하여 정적점군의 반사강도 맵을 생성하는 정적점군 반사강도 맵 생성부; 및
상기 정적점군 반사강도 맵 생성부에서 생성된 상기 정적점군의 반사강도 맵을 이용하여 상기 폐색영역 복원부에서 복원된 상기 정적점군의 반사강도를 보정하는 반사강도 보정부;를 포함하는 것을 특징으로 하는 스테레오 점군 처리장치.
According to claim 1, wherein the control unit, The first to second depth maps for the first point cloud data acquired through the first lidar and the second point cloud data acquired through the second lidar, respectively and a depth & direction map generator for generating the first to second direction maps;
The dynamic point group is estimated using the first to second depth maps and the first to second direction maps generated by the depth & direction map generator, and the dynamic point group is estimated from the first lidar or the second lidar. an occluded area restoration unit for estimating a maximum distance to the dynamic point group, calculating a point cloud density of pixel positions on the depth map of the dynamic point group, and restoring the occluded area of the static point group by the dynamic point group;
a static point group reflection intensity map generator for generating a reflection intensity map of the static point group by using the static point group; and
and a reflection intensity correction unit for correcting the reflection intensity of the static point group restored by the occlusion region restoration unit using the reflection intensity map of the static point group generated by the static point group reflection intensity map generation unit; Stereo point cloud processor.
 제 2항에 있어서, 상기 폐색영역 복원부는,
상기 깊이&방향 맵 생성부로부터 생성된 상기 제1 내지 제2 깊이 맵으로부터 깊이 차영상과 상기 제1 내지 제2 방향 맵으로부터 방향 차영상을 계산하여 교집합을 구하고, 상기 제1 내지 제2 점군 데이터에서 거리와 방향이 동시에 변경된 위치를 확인하여 상기 동적점군을 추정하는 동적점군 추정부;
상기 제1 내지 제2 깊이 맵 상 상기 동적점군의 픽셀 위치에서의 상기 점군밀도를 계산하는 점군밀도 계산부; 및
상기 제1 내지 제2 깊이 맵 상 상기 동적점군의 픽셀 위치까지의 상기 최대거리를 추정하는 최대거리 추정부;를 포함하는 것을 특징으로 하는 스테레오 점군 처리장치.
The method of claim 2, wherein the occluded area restoration unit comprises:
A depth difference image is calculated from the first and second depth maps generated by the depth & direction map generator and a direction difference image is calculated from the first and second direction maps to obtain an intersection, and the first and second point cloud data a dynamic point group estimator for estimating the dynamic point group by checking a location where the distance and direction are changed at the same time;
a point cloud density calculator configured to calculate the point cloud density at a pixel position of the dynamic point group on the first and second depth maps; and
and a maximum distance estimator for estimating the maximum distance to the pixel position of the dynamic point group on the first and second depth maps.
 제 2항에 있어서, 상기 폐색영역 복원부는, 상기 동적점군의 주변 점군밀도가 높을 경우 상기 제1 라이다 또는 상기 제2 라이다로부터 주변 점군까지의 거리와 상기 최대거리의 차이를 계산하고, 그 차이만큼 상기 동적점군을 이동하여 복원하는 것을 특징으로 하는 스테레오 점군 처리장치.
The method of claim 2, wherein the occluded region restoration unit calculates a difference between the distance from the first lidar or the second lidar to the peripheral point cloud and the maximum distance when the density of the peripheral point cloud of the dynamic point group is high, and Stereo point cloud processing apparatus, characterized in that it is restored by moving the dynamic point cloud by the difference.
 제 2항에 있어서, 상기 폐색영역 복원부는, 상기 동적점군의 깊이 맵 상 픽셀 위치와 같은 위치의 상기 정적점군의 주변 점군밀도가 높으면, 상기 동적점군을 제거하고 상기 정적점군을 복사하여 복원하는 것을 특징으로 하는 스테레오 점군 처리장치.
3. The method of claim 2, wherein the occluded region restoration unit removes the dynamic point group and copies and restores the static point group when the density of the surrounding point cloud at the same position as the pixel position on the depth map of the dynamic point group is high. Stereo point cloud processing device characterized by.
 제어부가 제1 라이다와 제 2라이다로부터 획득시점에서 시간 차이가 나는 제1 내지 제2 점군 데이터를 입력받는 단계;
상기 제어부가 각각 획득한 상기 제1 내지 제2 점군 데이터를 통해 각각 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 생성하는 단계;
상기 제어부가 상기 제1 내지 제2 깊이 맵과 상기 제1 내지 제2 방향 맵을 이용하여 동적점군을 추정하는 단계;
상기 제어부가 상기 제1 내지 제2 깊이 맵에서 상기 동적점군의 픽셀 위치에서의 점군밀도를 계산하는 단계;
상기 제어부가 상기 동적점군의 주변 점군밀도와 같은 위치의 정적점군의 주변 점군밀도를 기반으로 폐색영역을 복원하는 단계; 및
상기 제어부가 폐색영역을 복원한 후 상기 정적점군의 반사강도를 보정하는 단계;를 포함하는 것을 특징으로 하는 스테레오 점군 처리방법.
receiving, by the controller, first to second point cloud data having a time difference in acquisition time from the first lidar and the second lidar;
generating, by the controller, first to second depth maps and first to second direction maps, respectively, based on the first and second point cloud data acquired, respectively;
estimating, by the controller, a dynamic point group using the first to second depth maps and the first to second direction maps;
calculating, by the control unit, a point cloud density at a pixel position of the dynamic point group in the first to second depth maps;
restoring, by the control unit, an occluded area based on the surrounding point cloud density of the static point group at the same position as the surrounding point cloud density of the dynamic point group; and
and correcting, by the controller, the reflection intensity of the static point group after restoring the occluded area.
 제 6항에 있어서, 상기 제1 내지 제2 깊이 맵과 상기 제1 내지 제2 방향 맵을 생성하는 단계는, 상기 제어부가 상기 제1 라이다와 상기 제2 라이다로부터 입력된 각각의 상기 제1 내지 제2 점군 데이터에 대해 후처리하여 측정 시 위치와 방향을 부여하는 것을 특징으로 하는 스테레오 점군 처리방법.
The method of claim 6, wherein the generating of the first to second depth maps and the first to second direction maps comprises: the controller, each of the first and second depth maps inputted from the first lidar and the second lidar. A stereo point cloud processing method, characterized in that the first and second point cloud data are post-processed to give a position and a direction during measurement.
 제 6항에 있어서, 상기 동적점군을 추정하는 단계는,
상기 제어부가 상기 제1 내지 제2 깊이 맵과 상기 제1 내지 제2 방향 맵으로부터 각각 깊이 차영상과 방향 차영상을 계산하는 단계;
상기 제어부가 상기 깊이 차영상과 상기 방향 차영상의 교집합을 계산하는 단계;
상기 제어부가 상기 교집합을 계산하여 점군 데이터의 이미지를 투영하는 단계; 및
상기 제어부가 투영된 이미지에서 상기 교집합의 범위에 포함되는 점군을 상기 동적점군으로 추정하는 단계;를 포함하는 것을 특징으로 하는 스테레오 점군 처리방법.
The method of claim 6, wherein the estimating of the dynamic point group comprises:
calculating, by the controller, a depth difference image and a direction difference image from the first to second depth maps and the first to second direction maps;
calculating, by the controller, an intersection of the depth difference image and the direction difference image;
projecting, by the controller, an image of the point cloud data by calculating the intersection; and
and estimating, by the control unit, a point cloud included in the range of intersection in the projected image as the dynamic point group.
 제 6항에 있어서, 상기 폐색영역을 복원하는 단계는, 상기 제어부가 상기 동적점군의 주변 점군밀도가 높을 경우 상기 제1 내지 제2 깊이 맵에서 상기 제1 라이다 또는 상기 제2 라이다로부터 상기 동적점군의 픽셀위치까지의 최대거리를 추정하고, 상기 제1 라이다 또는 상기 제2 라이다로부터 주변 점군까지의 거리와 상기 최대거리의 차이를 계산하여, 그 차이만큼 상기 동적점군을 이동하여 복원하는 것을 특징으로 하는 스테레오 점군 처리방법.
The method of claim 6, wherein the restoring of the occluded area comprises: when the control unit has a high peripheral point cloud density of the dynamic point group, from the first lidar or the second lidar in the first to second depth maps. Estimate the maximum distance to the pixel position of the dynamic point group, calculate the difference between the distance from the first lidar or the second lidar to the neighboring point cloud and the maximum distance, and move the dynamic point group by the difference to restore it Stereo point cloud processing method, characterized in that.
 제 6항에 있어서, 상기 폐색영역을 복원하는 단계는, 상기 제어부가 상기 동적점군의 깊이 맵 상 픽셀 위치와 같은 위치의 상기 정적점군의 주변 점군밀도가 높으면, 상기 동적점군을 제거하고 상기 정적점군을 복사하여 복원하는 것을 특징으로 하는 스테레오 점군 처리방법. 7. The method of claim 6, wherein in the restoring of the occluded region, the control unit removes the dynamic point group and removes the dynamic point group when the density of the surrounding point clouds at the same position as the pixel position on the depth map of the dynamic point group is high. A stereo point cloud processing method, characterized in that by copying and restoring.
KR1020170182183A 2017-12-28 2017-12-28 Apparatus for processing stereo points of cloud and method thereof Active KR102464581B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170182183A KR102464581B1 (en) 2017-12-28 2017-12-28 Apparatus for processing stereo points of cloud and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170182183A KR102464581B1 (en) 2017-12-28 2017-12-28 Apparatus for processing stereo points of cloud and method thereof

Publications (2)

Publication Number Publication Date
KR20190080022A KR20190080022A (en) 2019-07-08
KR102464581B1 true KR102464581B1 (en) 2022-11-07

Family

ID=67256500

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170182183A Active KR102464581B1 (en) 2017-12-28 2017-12-28 Apparatus for processing stereo points of cloud and method thereof

Country Status (1)

Country Link
KR (1) KR102464581B1 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102568111B1 (en) * 2019-10-07 2023-08-17 현대오토에버 주식회사 Apparatus and method for detecting road edge
KR102417711B1 (en) * 2020-12-08 2022-07-05 국민대학교산학협력단 Apparatus and method for detecting object
CN112767506A (en) * 2020-12-31 2021-05-07 维沃移动通信有限公司 Image processing method and device and electronic equipment
CN115079128B (en) * 2022-08-23 2022-12-09 深圳市欢创科技有限公司 Method and device for distortion removal of laser radar point cloud data and robot
KR102616435B1 (en) 2023-07-21 2023-12-21 주식회사 모빌테크 Method for map update, and computer program recorded on record-medium for executing method therefor
CN117607897B (en) * 2023-11-13 2024-11-12 深圳市其域创新科技有限公司 Dynamic object removal method and related device based on ray projection method
KR102743394B1 (en) * 2024-04-23 2024-12-17 주식회사 위드포인츠 Method, device, and computer program for verifying quality of products using 3d sensors

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016529475A (en) 2013-06-14 2016-09-23 ウーバー テクノロジーズ，インコーポレイテッド Classification of object movement based on lidar

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106796721B (en) * 2014-09-11 2021-05-04 赛博光学公司 Point cloud merging from multiple cameras and sources in three-dimensional profile measurement

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016529475A (en) 2013-06-14 2016-09-23 ウーバー テクノロジーズ，インコーポレイテッド Classification of object movement based on lidar

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Gheorghii Postica 등, Robust Moving Objects Detection in Lidar Data Exploiting Visual Cues, arXiv:1609.09267v1(2016.09.29.)
P. Biasuttia 등, DISOCCLUSION OF 3D LIDAR POINT CLOUDS USING RANGE IMAGES, ISPRS 2017(2017.06.06.)

Also Published As

Publication number Publication date
KR20190080022A (en) 2019-07-08

Similar Documents

Publication Publication Date Title
KR102464581B1 (en) Apparatus for processing stereo points of cloud and method thereof
CN107850446B (en) Self-position estimating device and self-position estimate method
JPWO2018225198A1 (en) Map data correction method and apparatus
JP6756124B2 (en) Object detection device and object detection program
CN112130158B (en) Object distance measuring device and method
JP6806891B2 (en) Information processing equipment, control methods, programs and storage media
EP3032818A1 (en) Image processing device and markers
JP6515650B2 (en) Calibration apparatus, distance measuring apparatus and calibration method
KR102790812B1 (en) Apparatus and method for inpainting occlusion of road surface
CN105551020A (en) Method and device for detecting dimensions of target object
JP6552448B2 (en) Vehicle position detection device, vehicle position detection method, and computer program for vehicle position detection
JP2017010553A (en) Detection method and detection device for road boundary body
EP3324359A1 (en) Image processing device and image processing method
CN105480227A (en) A method based on fusion of infrared radar and video image information in active driving technology
US8031908B2 (en) Object recognizing apparatus including profile shape determining section
CN111382591A (en) Binocular camera ranging correction method and vehicle-mounted equipment
WO2017022080A1 (en) Step detection device and step detection method
JP2025078713A (en) Measurement device, measurement method, program, and storage medium
JP2018194417A (en) Position estimation device, moving device
CN110986887A (en) Object size detection method, distance measurement method, storage medium and monocular camera
JP2024177451A (en) Measurement device, measurement method, and program
JP6604052B2 (en) Runway boundary estimation device and runway boundary estimation method
JP2018036225A (en) State estimation device
US10783350B2 (en) Method and device for controlling a driver assistance system by using a stereo camera system including a first and a second camera
JP6316468B1 (en) Calibration system

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20171228

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200918

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20171228

Comment text: Patent Application

PN2301 Change of applicant

Patent event date: 20211015

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220517

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20221004

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20221103

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20221103

End annual number: 3

Start annual number: 1

PG1601 Publication of registration