KR20210081984A - 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템 및 그 방법 - Google Patents
정밀도로지도 갱신을 위한 객체 변화 탐지 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR20210081984A KR20210081984A KR1020190174458A KR20190174458A KR20210081984A KR 20210081984 A KR20210081984 A KR 20210081984A KR 1020190174458 A KR1020190174458 A KR 1020190174458A KR 20190174458 A KR20190174458 A KR 20190174458A KR 20210081984 A KR20210081984 A KR 20210081984A
- Authority
- KR
- South Korea
- Prior art keywords
- change
- map
- candidate
- precision
- change detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008859 change Effects 0.000 title claims abstract description 208
- 238000001514 detection method Methods 0.000 title claims abstract description 108
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000003860 storage Methods 0.000 claims description 18
- 238000012790 confirmation Methods 0.000 claims description 10
- 230000009849 deactivation Effects 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 8
- 238000013459 approach Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000002779 inactivation Effects 0.000 claims description 5
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 239000000523 sample Substances 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000009466 transformation Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 238000007667 floating Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
- G09B29/003—Maps
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3811—Point data, e.g. Point of Interest [POI]
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
- G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
- G01C11/28—Special adaptation for recording picture point data, e.g. for profiles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- G01C2011/36—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Automation & Control Theory (AREA)
- Computer Graphics (AREA)
- Signal Processing (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Instructional Devices (AREA)
Abstract
본 발명은 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템 및 그 방법을 개시한다. 즉, 본 발명은 이미 생성된 정밀도로지도에서 수시로 변화되는 도로 관련 인접 객체들의 변화를 카메라 영상의 분석을 통해서 탐지하되, 과도한 네트워크 부하를 발생시키는 전체 센싱 정보 대신 객체의 변화에 관련하여 프로브 차량에 장착된 장치에서 처리된 결과만 서버에 전송하도록 함으로써 객체 변화 탐지를 위한 장치의 비용을 낮추고 네트워크 부하를 최소화하여 운용 부담을 줄일 수 있다.
Description
본 발명은 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템 및 그 방법에 관한 것으로, 정밀도로지도의 품질을 유지하기 위하여 프로브 차량이 도로상의 도로시설물 객체의 변화를 인식하는 전자지도 갱신 과정에서 카메라를 기반으로 객체 변화를 탐지하여 장치의 비용과 통신 부하를 낮출 수 있는 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템 및 그 방법에 관한 것이다.
자율주행 차량은 안전한 자율주행을 위해서 차량의 주변 환경과 차량의 위치를 인지하고, 인지된 정보에 기반하여 차량이 안전하고 효율적으로 주행할 수 있는 경로를 생성할 수 있다. 또한, 자율주행 차량은 생성된 경로를 따라 차량의 조향 및 속도를 제어할 수 있다.
자율주행 차량은 탑재된 센서(예: 카메라, 레이저스캐너, 레이더, GNSS(Global Navigation Satellite System), IMU(Inertial Measurement Unit) 등)를 이용하여 차량의 주변 환경(예: 차선과 신호등과 같은 도로시설물이나 랜드마크)을 인식하고 인식된 주변 환경에 기반하여 경로를 생성할 수 있다. 상기 주변 환경 인식 기반 경로 생성 방법은 주변 환경을 인식하기 어려운 환경 예컨대, 차선이 존재하지 않거나 복잡한 도로 환경에서는 경로를 생성하지 못할 수 있다.
정밀도로지도는 정확한 차선정보와 자동차 운행에 필요한 각종 정보들, 예를 들어 신호등의 위치나 정지선의 위치 차로 변경이 가능한 차선인지 아닌지 좌회전이 허용되는 교차로인지 아닌지 등의 상세한 도로정보와 3차원 정밀위치정보를 함께 제공하는 지도이다. 이러한 정밀도로지도의 도움으로 자율주행자동차는 보다 안정한 자율주행이 가능하게 된다. 자율주행차의 제어에 활용되는 정밀도로지도(HD MAP)는 자율주행을 위해 센티미터(cm) 수준의 정밀도를 갖춘 3D(3차원) 입체 지도다. 일반 1/1000 수치지형도(디지털 지도)의 정확도가 70cm라면 정밀도로지도는 25cm 이내로 보다 정밀하다. 1~2.5미터의 정확도를 갖고 있는 내비게이션 지도의 10배다.
또한, 정밀도로지도는 전방 추돌 경고, 차로 이탈 경고 등의 안전기능을 가진 대시보드용 카메라를 통해 정확한 위치 정보에 기반한 도로상의 이벤트 정보를 수집하는 경우에도 활용이 가능하다. 뿐만 아니라 카메라를 장착한 커넥티드 카의 정보교환이나 카메라를 장착한 다양한 법인소유의 차량을 이용하여 도로의 각종 시설물, 이벤트 정보를 수집하는 경우의 정확한 위치 결정에 활용이 가능하다.
현재 정밀도로지도 구축에는 이동형 측량 시스템인 ‘MMS(Mobile Mapping System·이동 지도제작 시스템)’ 장비가 사용된다. 차량 등의 이동체에 탑재되는 MMS는 디지털 카메라, 3차원 레이저 스캐너 시스템(LiDAR·라이다), 위성항법장치(GNSS), 관성측정장치(IMU) 등이 결합된 ‘이동형 3차원 공간정보 시스템’이다. 시속 40~100km로 운행하는 차량에서 360도의 전방위 촬영을 할 수 있다. MMS는 첨단기술을 갖춘 만큼 보통 한 대당 10억을 호가하는 고가의 장비이다. 이러한 MMS장비로는 정밀도로지도 구축과 갱신에 매우 많은 인력과 비용이 들어간다. 특히 도로의 상태에 변화가 생겼을 때 정밀도로지도를 신속하게 갱신할 수 없어 정밀도로지도에 의존하여 자율주행을 하는 자동차에게는 오히려 안전을 저해하는 요인이 될 수 있다.
따라서, 정밀도로지도에 대한 기본 정보가 구축되어 있는 상태에서 해당 정밀도로지도에 포함된 객체 정보의 변화를 검출하여 이를 갱신하고자 하는 목적에 적합한 동시에 장치의 비용과 통신 부하를 낮출 수 있는 새로운 기술이 요구되고 있는 실정이다.
자율주행을 위한 정밀도로지도 측정을 위해 라이다를 포함하는 고가의 센서를 포함하는 다양한 센서들과 고해상도 영상 정보를 생성하는 카메라를 이용하여 대용량 데이터를 로컬 저장 장치(차량 내)에 저장하거나 서버에 전송하는 방식으로 동작하는 기존의 MMS(Mobile Mapping System)는 수시로 변경되는 도로 관련 인접 객체들의 변화를 탐지하여 이미 생성된 정밀도로지도를 갱신하기 위한 목적으로는 과도한 비용과 네트워크 부하를 발생시킨다. 따라서, 본 발명 실시예들의 목적은 이미 생성된 정밀도로지도에서 수시로 변화되는 도로 관련 인접 객체들의 변화를 카메라 영상을 통해서 탐지하되, 과도한 네트워크 부하를 발생시키는 전체 센싱 정보 대신 객체의 변화에 관련하여 탐지된 결과만 서버에 전송하도록 함으로써 객체 변화 탐지를 위한 장치의 비용을 낮추고 네트워크 부하를 최소화하여 운용 부담을 줄일 수 있도록 한 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템 및 그 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템은, 차량에 고정된 카메라로 촬영된 도로영상의 도로시설물 객체와 정밀도로지도를 비교하여 객체의 변화를 탐지하는 적어도 하나 이상의 변화 탐지 장치를 포함하는 시스템으로서, 상기 변화 탐지 장치는, 지도갱신서버로부터 각 도로시설물 객체의 속성과 특징점의 공간좌표를 포함하는 정밀도로지도를 수신하여 저장하는 지도정보 저장부; 상기 도로영상에서 적어도 하나 이상의 도로시설물 객체를 인식하고, 인식된 객체의 속성과 특징점의 공간좌표를 획득하는 객체좌표 획득부; 및 상기 인식된 객체의 속성 및 특징점의 공간좌표를 상기 정밀도로지도의 객체와 서로 비교하여, 변화 객체가 탐지된 경우 상기 변화 객체의 속성과 특징점의 공간좌표와 변화 객체의 영상을 포함하는 객체변화정보를 상기 지도갱신서버로 전송하는 변화객체 탐지부를 포함하되, 상기 변화 객체는 객체 속성의 변경, 신규 객체의 생성, 및 기존 객체의 삭제 중의 어느 하나인 것을 특징으로 한다.
상기 객체좌표 획득부는, GCP(ground control point) 객체 및 일반 객체 중의 적어도 하나를 포함하는 도로시설물 객체와 속성을 상기 도로영상의 프레임별로 인식하는 객체 인식부; 상기 도로영상에서 적어도 하나 이상의 도로시설물 객체의 특징점을 추출하는 특징점 추출부; 상기 특징점을 상기 도로영상의 연속적인 프레임에서 매칭하여 트래킹하는 특징점 트래킹부; 상기 트래킹된 특징점으로부터 예측된 카메라의 포즈정보 및 계산된 카메라의 포즈정보의 차이가 최소화되도록 상기 특징점의 상대 공간좌표를 획득하는 좌표 결정부; 및 상기 GCP 객체가 인식되면, 절대 공간좌표값을 이미 알고 있는 상기 GCP 객체의 좌표점을 기준으로 상기 특징점의 상대 공간좌표를 보정하여 상기 특징점의 절대 공간좌표를 획득하는 보정부를 포함할 수 있다.
상기 지도갱신서버는, 상기 적어도 하나 이상의 변화 탐지 장치로부터 상기 객체변화정보를 수집하고, 상기 객체변화정보의 변화 객체를 후보자로 하는 후보그룹정보를 생성하여 상기 변화 탐지 장치로 배포하는 후보그룹 생성부를 포함하며, 상기 변화 탐지 장치는, 상기 후보그룹정보에 포함된 후보자 중의 하나에 접근하면 상기 후보자에 대한 후보자 영상을 상기 지도갱신서버로 전송할 수 있다.
상기 지도갱신서버는, 상기 후보자 영상의 후보자가 장애물에 의해 가려지지 않는 경우에만 진정한 변화 객체인지 여부를 확인하는 후보자 확인부; 및 진정한 변화 객체로 확인되면, 확인된 변화 객체에 대하여 상기 정밀도로지도를 갱신하는 지도 갱신부를 더 포함하며, 상기 갱신된 정밀도로지도는 상기 적어도 하나 이상의 변화 탐지 장치로 배포될 수 있다.
상기 후보그룹정보는 특정 후보자에 대한 영상 전송을 보류시키는 비활성화 리스트를 포함하고, 상기 지도갱신서버는, 동일한 후보자에 대해 적어도 둘 이상의 변화 탐지 장치로부터 수집한 후보자 영상에서 상기 동일한 후보자가 장애물로 가려져 전혀 인식되지 않는 경우, 상기 동일한 후보자를 미리 설정된 시간 동안 상기 비활성화 리스트에 포함시킬 수 있다.
상기 변화 탐지부는, 상기 도로영상의 각 프레임별로 인식된 객체의 속성 및 특징점의 공간좌표를 상기 정밀도로지도의 객체와 서로 비교하되, 적어도 하나 이상의 프레임에서 객체가 일치하는 것으로 판단되면 객체에 변화가 없는 것으로 판단할 수 있다.
또한, 본 발명의 일 실시예에 따른 정밀도로지도 갱신을 위한 객체 변화 탐지 방법은, 적어도 하나 이상의 변화 탐지 장치에 의해 수행되는 방법으로서, (a) 지도갱신서버로부터 각 도로시설물 객체의 속성과 특징점의 공간좌표를 포함하는 정밀도로지도를 수신하여 저장하는 단계; (b) 차량에 고정된 카메라로 촬영된 도로시설물 객체의 이미지를 포함하는 도로영상에서 적어도 하나 이상의 도로시설물 객체를 인식하고, 상기 인식된 객체의 속성과 특징점의 공간좌표를 획득하는 단계; 및 (c) 상기 인식된 객체의 속성 및 특징점의 공간좌표와 상기 정밀도로지도의 객체를 서로 비교하여, 변화 객체가 탐지된 경우 상기 변화 객체의 속성과 특징점의 공간좌표와 변화 객체의 영상을 포함하는 객체변화정보를 상기 지도갱신서버로 전송하는 단계를 포함하며, 상기 변화 객체는 객체 속성의 변경, 신규 객체의 생성, 및 기존 객체의 삭제 중의 어느 하나인 것을 특징으로 한다.
본 발명은 이미 제작된 정밀도로지도에서 도로시설물 객체의 변화를 저가의 센서들을 통해서 탐지하되, 과도한 네트워크 부하를 발생시키는 전체 센싱 정보 대신 객체의 변화에 관련하여 프로브 차량에 장착된 장치에서 처리된 결과만 서버에 전송함으로써, 객체 변화 탐지를 위한 장치의 비용을 낮추고 네트워크 부하를 최소화하여 운용 부담을 줄일 수 있어 자율주행의 보급과 상용화를 촉진시킬 수 있는 효과가 있다.
또한, 본 발명은 영상 정보에서 이미 정밀도로지도에 존재하는 정밀 공간좌표 속성을 가지는 객체들을 구분하고 이들을 기준으로 관심 객체에 대한 공간 위치를 산출하도록 하되, 누적 측정 정보를 이용하여 객체의 변화를 확인함으로써, 신규 객체와 기존 객체의 변화를 비교적 낮은 정밀도를 가진 센서들을 이용하면서도 신뢰할 수 있는 수준으로 품질 관리가 가능하여 낮은 비용으로도 신뢰성이 높은 정밀도로지도를 지속적으로 제공할 수 있는 효과가 있다.
도 1은 본 발명에 따른 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템을 예시한 도면이다.
도 2는 본 발명에 따른 변화 탐지 장치의 구성을 나타낸 블록도이다.
도 3은 본 발명에 따른 변화 탐지 장치에서 변화 탐지부의 구성을 나타낸 블록도이다.
도 4는 도 3에서 객체좌표 획득부를 나타낸 블록도이다.
도 5은 본 발명에 따른 지도갱신서버의 구성을 나타낸 블록도이다.
도 6은 본 발명에 따른 정밀도로지도 갱신을 위한 객체 변화 탐지 방법을 나타낸 흐름도이다.
도 7은 도 6에서 객체 좌표를 획득하는 과정을 나타낸 흐름도이다.
도 2는 본 발명에 따른 변화 탐지 장치의 구성을 나타낸 블록도이다.
도 3은 본 발명에 따른 변화 탐지 장치에서 변화 탐지부의 구성을 나타낸 블록도이다.
도 4는 도 3에서 객체좌표 획득부를 나타낸 블록도이다.
도 5은 본 발명에 따른 지도갱신서버의 구성을 나타낸 블록도이다.
도 6은 본 발명에 따른 정밀도로지도 갱신을 위한 객체 변화 탐지 방법을 나타낸 흐름도이다.
도 7은 도 6에서 객체 좌표를 획득하는 과정을 나타낸 흐름도이다.
우선 본 발명에서의 용어에 대해 먼저 정리하도록 한다.
도로시설물 객체란, 정밀지도에 포함된 시설물로서, 노면표시, 주의표시, 규제표시, 지시표시, 보조표시, 표지판, 신호등, 가로등, 지주, 맨홀, 연석, 중앙분리대, 소화전, 및 건물 중 적어도 하나를 포함한다. 이러한 도로시설물 객체는 도로 노면상에 고정되거나 표시될 수 있으며, 또한 신호등, 건물의 일부 특징점, 또는 간판처럼 공중에 떠있는 시설물이나 그 시설물에 표시될 수도 있다.
즉, 도로시설물 객체란 정밀지도에 포함될 수 있는 모든 종류의 시설물을 의미하며, 각종 노면표시, 주의표시, 규제표시, 지시표시, 보조표시, 표지판, 신호등, 가로등, 지주, 맨홀, 연석, 중앙분리대, 소화전, 건물, 건물의 간판 등을 포함하는 개념으로서, 본 발명에서는 이들 객체 중 적어도 하나 이상이 활용될 수 있다. 예를 들면, 도로 노면 상에 표기된 중앙선, 실선 차선, 점선 차선, 좌회전 화살표, 직진 화살표, 서행 표시 마름모, 속도제한구역 등 도로 노면에 표시될 수 있는 모든 표시가 시설물 객체에 포함되고, 도로나 지상에 설치된 가로등, 지주, 맨홀, 소화전, 연석, 중앙분리대, 표지판 등의 구조물과 그 구조물 상의 각종 표시, 그리고 신호등에 설치된 각종 표시판과 표시, 건물 등도 모두 포함된다.
지상기준점(GCP, Ground Control Point)은 절대 표정에 사용되는 기존에 정확한 좌표가 알려져 있는 좌표점을 의미한다. 본 발명에서는 도로시설물 객체 중에서 맨홀의 뚜껑, 소화전, 도로구조물의 단무 및 이음부, 노면의 배수 구조물이 GCP 객체로서 사용될 수 있다.
정밀도로지도는 각 도로시설물 객체에 대하여 해당 객체의 속성 및 해당 객체의 특징점의 공간좌표 정보가 데이터베이스화된 지도 정보로서, 도로지도에 포함된 각 도로시설물 객체의 특징점은 해당 특징점의 공간좌표 정보와 일대일로 대응되어 있다. 여기서, 도로시설물 객체의 특징점(feature point)이란 도로시설물의 특징적인 지점을 의미하는 것으로서, 도로시설물 객체의 이미지에서 색상이나 밝기 변화가 뚜렷해 경계가 확연히 구분되는 내부 또는 외부의 꼭지점이나 외곽선 중 확연히 구분 가능한 점이 특징점이 될수 있다. 결국, 도로시설물 객체의 특징점은 도로시설물 객체의 꼭지점이나 모서리의 임의의 점이 될 수 있다.
이러한, 정밀도로지도는 차량의 자율주행에 필요한 모든 도로시설물 객체에 대한 정보를 정밀하게 제작한 전자지도이며, 자율주행차, 커넥티드카, 교통관리. 도로 유지보수 등에 활용된다.
도 1은 본 발명에 따른 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템을 예시한 도면이다.
도 1을 참조하면, 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템은 적어도 하나 이상의 변화 탐지 장치(100_1~100_n) 및 지도갱신서버(200)를 포함한다.
변화 탐지 장치(100_1~100_n)는 프로브 차량에 장착되어 도로를 촬영한 영상으로부터 도로 노면이나 공중에 떠 있는 도로시설물 객체의 속성과 공간좌표를 획득하고, 획득된 도로시설물 객체의 속성과 공간좌표를 정밀도로지도와 서로 비교하여 객체의 변화를 탐지 검출하는 장치이다.
여기서, 객체의 변화란 i) 도로시설물 객체의 속성이 변경되는 경우, ii) 기존에 없었던 도로시설물 객체가 새롭게 생기는 경우, 및 iii) 기존에 존재했던 도로시설물 객체가 없어지는 경우 중의 어느 하나를 의미한다. 예를 들어, 기존에 없던 차선이 생기거나, 기존의 차선 종류가 변경된다거나, 신호등의 위치가 변경되는 경우 등 다양한 경우가 있다.
변화 탐지 장치(100_1~100_n)에서 탐지된 도로시설물 객체의 변화에 대한 정보는 지도갱신서버(200)로 전송되며, 지도갱신서버(200)는 각 변화 탐지 장치(100_1~100_n)로부터 객체의 변화에 대한 정보를 취합하고 분석하여 최종적으로 정밀도로지도에 포함되어 있는 도로시설물 객체에 변화가 있는지 여부를 판단한다. 도로시설물 객체에 변화가 있는 것으로 판단되면, 지도갱신서버(200)는 정밀도로지도를 새롭게 갱신하고 갱신된 정밀도로지도를 모든 변화 탐지 장치(100_1~100_n)로 배포한다.
다수의 프로브 차량에 각각 변화 탐지 장치(100_1~100_n)를 장착하고, 변화 탐지 장치(100_1~100_n)가 프로브 차량이 주행하는 동안 촬영된 도로영상에서 연속적으로 인식되는 각 도로시설물 객체의 속성과 특징점의 공간좌표를 정밀도로지도의 각 객체와 비교하는 과정을 반복함으로써, 정밀도로지도에 포함된 도로시설물 객체의 변화를 효과적으로 탐지하고 갱신할 수 있을 뿐만 아니라 다수의 변화 탐지 장치를 이용하여 넓은 구역의 정밀도로지도도 신속하게 갱신할 수 있다.
도 2는 본 발명에 따른 변화 탐지 장치의 구성을 나타낸 블록도이다.
도 2를 참조하면, 본 발명에 따른 변화 탐지 장치(100)는 변화 탐지부(110)를 포함하며, 추가로 카메라(120), 통신부(130), GNSS 수신기(140) 및 저장부(150) 중의 적어도 하나를 더 포함할 수 있다. 도면에 도시되지는 않았지만, 본 발명에 따른 변화 탐지 장치(100)는 IMU(Inertial Measurment Unit)를 더 포함할 수 있다.
변화 탐지부(110)는 프로브 차량에 고정된 카메라로 촬영된 도로영상으로부터 도로시설물 객체와 속성을 인식하고, 인식된 정보와 정밀도로지도의 객체를 서로 비교하여 도로시설물 객체의 변화를 탐지하는 역할을 수행한다.
카메라(120)는 프로브 차량에 고정되어 장착되며, 차량의 전방을 촬영하여 도로시설물 객체의 이미지를 포함하는 도로영상을 생성한다. 생성된 도로영상은 변화 탐지부(110)로 전달된다.
통신부(130)는 지도갱신서버(200)와 통신하는 역할을 수행하며, 지도갱신서버(200)로부터 정밀도로지도를 수신하며, 지도갱신서버(200)로 도로시설물 객체가 변화된 경우 변화된 객체의 속성과 변화된 객체의 특징점의 공간좌표와 변화된 객체의 영상을 포함하는 객체변화정보를 전송한다. 후술하겠지만, 지도갱신서버(200)로부터 변화 객체의 후보자에 대한 후보그룹정보도 수신한다.
GNSS 수신기(140)는 주기적으로 GNSS 위치정보를 획득하는 역할을 수행하며, 특히 카메라(120)의 촬영 시점과 동기화된 시점의 카메라(120)의 촬영 위치에 대한 GNSS 위치정보를 획득할 수 있다. GNSS(Global Navigation Satellite System)는 인공위성을 이용하여 위치를 확인하는 시스템으로서, 일반적으로 GPS(Global Positioning System)가 이용될 수 있다.
저장부(150)는 정밀도로지도, 카메라(120)에서 촬영된 도로영상, 및 변화 객체에 대한 객체변화정보를 저장할 수 있다.
도 3은 본 발명에 따른 변화 탐지 장치에서 변화 탐지부의 구성을 나타낸 블록도이다.
도 3을 참조하면, 변화 탐지부(110)는 지도정보 저장부(111), 객체좌표 획득부(112), 변화객체 탐지부(113), 후보그룹 수신부(114) 및 후보자 영상수집부(115) 중의 적어도 하나를 포함한다.
지도정보 저장부(111)는 각 도로시설물 객체의 속성과 특징점의 공간좌표를 포함하는 정밀도로지도를 지도갱신서버(200)로부터 수신하여 저장한다. 지도갱신서버(200)는 정밀도로지도가 새롭게 구축되거나 도로시설물 객체의 변경으로 정밀도로지도가 갱신될 때 마다 정밀도로지도를 각 변화 탐지 장치(100_1~100_n)로 배포하며, 각 변화 탐지 장치(100_1~100_n)는 갱신된 정밀도로지도를 수신하여 지도정보 저장부(111)에 저장한다.
객체좌표 획득부(112)는 도로영상에서 적어도 하나 이상의 도로시설물 객체를 인식하고, 인식된 객체의 속성과 특징점의 공간좌표를 획득하는 역할을 수행하며, 상세한 내용은 후술하도록 한다.
변화객체 탐지부(113)는 인식된 객체의 속성 및 특징점의 공간좌표를 상기 정밀도로지도의 객체와 서로 비교하여, 변화 객체가 탐지된 경우 상기 변화 객체의 속성과 변화 객체의 특징점의 공간좌표와 변화 객체의 영상을 포함하는 객체변화정보를 지도갱신서버(200)로 전송하는 역할을 수행한다.
객체좌표 획득부(112)에서 인식된 도로시설물 객체의 특징점의 공간좌표와 정밀도로지도의 객체의 특징점의 공간좌표는 정확히 일치하지 않으므로, 변화객체 탐지부(113)는 인식된 도로시설물 객체의 특징점의 공간좌표와 그에 대응하는 정밀도로지도에서의 객체의 특징점의 공간좌표의 차이가 한계범위 이하인 경우 도로시설물 객체의 공간좌표가 일치하는 것으로 판단한다.
한편, 전술한 것처럼, 객체의 변화는 i) 도로시설물 객체의 속성이 변경되는 경우, ii) 기존에 없었던 도로시설물 객체가 새롭게 생기는 경우, 및 iii) 기존에 존재했던 도로시설물 객체가 없어지는 경우 중의 어느 하나를 의미한다.
따라서, 변화객체 탐지부(113)는 모든 인식된 도로시설물 객체의 속성 및 특징점의 공간좌표를 정밀도로지도에서의 객체와 대응시켜, 객체의 유무, 속성의 변경 여부, 객체 특징점의 공간좌표 변화 여부를 확인하여 객체의 변화 여부를 판단한다.
또한, 변화객체 탐지부(113)는 도로영상의 각 프레임별로 인식된 객체의 속성 및 특징점의 공간좌표를 정밀도로지도의 객체와 서로 비교하되, 적어도 하나 이상의 프레임에서 객체가 일치하는 것으로 판단되면 해당 객체에 변화가 없는 것으로 판단할 수 있다. 여러 가지 이유로 도로영상의 일부 프레임에서 도로시설물 객체가 인식되지 못할 수 있다. 결국, 적어도 하나 이상의 도로영상 프레임에서 도로시설물 객체의 속성 및 특징점의 공간좌표가 인식되고, 인식된 객체가 정밀도로지도의 객체와 일치하는 것으로 판단되면 해당 객체에 변화가 없는 것으로 판단된다.
후보그룹 수신부(114)는 지도갱신서버(200)로부터 각 객체변화정보의 변화 객체를 후보자로 하는 후보그룹정보를 수신한다. 한편, 후술하겠지만, 후보그룹정보는 특정 후보자에 대한 영상 전송을 보류시키는 비활성화 리스트를 포함할 수 있다.
후보자 영상수집부(115)는 후보그룹정보에 포함된 후보자 중의 하나에 접근하면, 해당 후보자에 대한 후보자 영상을 지도갱신서버(200)로 전송한다. 이때, 후보그룹정보에 비활성화 리스트가 포함된 경우, 비활성화 리스트에 포함된 후보자에 대해서는 미리 설정된 시간 동안 영상 전송이 보류될 수 있다.
도 4는 도 3에서 객체좌표 획득부를 나타낸 블록도이다.
도 3을 참조하면, 객체좌표 획득부(112)는 객체 인식부(1121), 특징점 추출부(1122), 특징점 트래킹부(1123), 키프레임 결정부(1124), 좌표 결정부(1125) 및 보정부(1126) 중의 적어도 하나를 포함할 수 있다.
객체 인식부(1121)는 도로영상의 각 프레임에서 GCP(ground control point) 객체 및 일반 객체 중의 적어도 하나를 포함하는 도로시설물 객체와 그 속성을 인식한다. 객체 인식부(1121)는 딥러닝을 포함하는 머신러닝 또는 다양한 영상처리기법을 통해 도로영상으로부터 도로시설물 객체 및 그 속성을 인식한다.
한편, 객체 인식부(1121)는 도로영상의 렌즈에 따른 왜곡을 보정하고, 도로영상에서 차량, 이륜차나 사람 등의 이동 객체를 검출하고 이를 제거 및 배제함으로써 지상이나 공중에 고정된 도로시설물 객체를 효과적으로 인식할 수 있다.
특징점 추출부(1122)는 도로영상에서 적어도 하나 이상의 도로시설물 객체의 특징점을 추출한다. 이때, 특징점 추출부(1122)는 객체 인식부(1121)를 통해 인식된 도로시설물 객체의 무수히 많은 특징점들을 추출한다. 특징점을 검출하는데 FAST(Features from Accelerated Segment Test) 알고리즘이나 ORB(Oriented FAST and Rotated BRIEF) 알고리즘을 비롯하여, SIFT(Scale-Invariant Feature Transform), AGAST(Adaptive and Generic Accelerated Segment Test), SURF(Speeded-Up Robust Features), BRIEF(Binary Robust Independent Elementary Features), Harris corner, Shi-Tomasi corner 등의 여러가지 다양한 알고리즘이 적용될 수 있다.
특징점 트래킹부(1123)는 도로영상의 각 프레임에서 추출된 도로시설물 객체의 특징점을 도로영상의 연속적인 각 프레임상에서 서로 매칭(matching)하여 트래킹(tracking)한다.
키프레임 결정부(1124)는 좌표 결정부(1125)의 연산량을 줄이기 위해 도로영상의 각 프레임에서 키프레임을 결정하고, 결정된 키프레임에서만 포즈 획득부 및 공간좌표 결정부의 연산이 수행되도록 제어할 수 있다.
이를 위해, 키프레임 결정부(1124)는 도로영상의 각 프레임의 특징점을 분석하여, 각 프레임간에서 특징점의 상대 공간좌표가 기준범위 이상 이동한 경우의 프레임을 키프레임으로 결정한다. 특징점의 상대 공간좌표가 기준범위 이상 이동한 경우란 차량이 일정 거리 이상을 이동하게 되어 도로영상에서 특징점의 위치 변화가 기준 범위 이상 이동된 것을 의미한다. 차량이 정지해있거나 매우 저속으로 이동하는 경우처럼, 변화가 거의 없는 도로영상의 특징점을 트래킹하는 것은 크게 의미가 없으므로 차량이 일정 거리 이상 이동한 후의 프레임을 키프레임으로 결정하고 키프레임만을 이용하여 특징점을 트래킹함으로써 연산량을 경감할 수 있다.
또한, 키프레임 결정부(1124)는 복수의 키프레임에 동시에 존재하는 동일한 특징점을 타이포인트로 결정하고, 결정된 타이포인트를 제외한 특징점을 삭제하여 연산량을 더욱 경감할 수 있다.
좌표 결정부(1125)는 트래킹된 특징점으로부터 예측된 카메라의 포즈정보 및 계산된 카메라의 포즈정보의 차이가 최소화되도록 특징점의 상대 공간좌표를 획득한다. 이때 좌표 결정부(1125)는 도로영상의 각 프레임별로 도로시설물 객체의 특징점의 상대 공간좌표 또는 절대 공간좌표를 결정할 수 있다.
보정부(1126)는 GCP 객체가 인식되면, 공간좌표를 이미 알고 있는 GCP 객체의 좌표점을 기준으로 특징점의 상대 공간좌표를 보정하여 특징점의 절대 공간좌표를 획득한다.
도로시설물 객체는 지면 및 공중의 어느 하나에 고정되어 있는 객체이므로, 도로영상에 존재하는 도로시설물도 노면에 위치하거나 공중에 떠 있을 수 있다.
좌표 결정부(1125)는 도로시설물 객체의 속성으로 도로영상에 포함된 도로시설물 객체가 노면에 위치한 노면 객체인지 공중에 떠있는 공중 객체인지 구분할 수 있다.
도로시설물 객체의 위치가 판별되면, 좌표 결정부(1125)는 다음의 두가지 방식으로 해당 도로시설물 객체의 특징점의 공간좌표를 결정할 수 있다.
첫번째 방식은 노면 객체 및 공중 객체의 공간좌표를 모두 결정할 수 있는 방식으로서, 도로영상의 각 프레임에서 카메라의 포즈정보로 공간좌표를 모르는 각 객체의 공간좌표를 결정하는 방식이다.
도로영상의 연속되는 프레임 또는 키프레임에서 각 특징점을 트래킹하면, 각 영상 프레임의 대응 관계를 추적하여 각 특징점의 위치나 카메라의 포즈정보가 예측될 수 있다.
이때, 영상 프레임의 대응 관계로부터 예측된 특징점의 위치나 카메라의 포즈정보와 실제 도로영상의 각 프레임에서 계산된 각 특징점의 위치나 카메라의 포즈정보에는 차이가 발생할 수 있으며, 이러한 값의 차이를 최소화하는 과정에서 도로영상의 각 프레임에서 각 특징점의 상대 공간좌표 및 카메라의 상대 포즈정보가 획득될 수 있다.
다만, 획득된 특정점의 공간좌표와 포즈정보는 기준 위치나 기준 포즈에 대한 상대적인 값으로 표현될 수 있으므로, 어느 시점에서 어느 특징점의 절대 공간좌표나 카메라의 정확한 포즈정보를 알게되면 획득된 특징점의 상대 공간좌표와 카메라의 상대 포즈정보가 정확한 값으로 보정될 수 있다.
GCP 객체에는 이미 절대 공간좌표를 알고 있는 좌표점들이 존재하며, 이러한 GCP 객체의 속성 및 GCP 객체에서 절대 공간좌표를 알 수 있는 좌표점들에 대한 정보는 미리 지도생성장치에 저장되어 있다.
따라서, GCP 객체가 인식되면, 좌표 결정부(1125)는 이미 공간좌표를 알고 있는 적어도 4개의 좌표점을 검출하고, 검출된 적어도 4개의 좌표점으로부터 핀홀 카메라 모델(pin hole camera model)을 이용하여 카메라의 포즈정보를 획득한다.
카메라의 포즈정보는 카메라의 위치와 자세에 대한 정보로서, 카메라의 공간좌표와 롤(roll), 피치(pitch), 요(yaw)에 대한 정보를 포함한다.
다음의 [수학식 1]은 핀홀 카메라 모델을 통해 카메라의 외부 파라미터를 획득하는 것을 나타낸 수학식이다.
[수학식 1]에서 K는 카메라의 내부 파라미터(intrinsic parameter)를, [R|T]는 카메라의 외부 파라미터를, Pw는 3D 공간좌표를, Pc는 3D 공간좌표에 대응하는 2D 카메라 좌표를, s는 이미지 축적계수를 나타낸다. 카메라의 외부 파라미터는 2D 카메라 좌표계와 3D 월드 좌표계 사이의 변환 관계를 설명하는 파라미터로서, 카메라의 설치 위치 및 자세(roll, pitch, yaw)에 대한 정보를 포함하고 있으며, 두 좌표계 사이의 회전행렬 R과 평행이동 변환행렬 T로 표현된다.
[수학식 1]은 다음의 [수학식 2]처럼 표현될 수 있다.
여기서, (x, y, z)는 월드 좌표계의 3D 공간좌표이고, fx는 x축 방향의 초점거리, fy는 y축 방향의 초점거리, (u, v)는 카메라 좌표계의 2D 카메라 좌표이고, γ는 비대칭 계수(skew coefficient)로서 이미지 센서 셀 어레이의 y축 방향으로 기울어진 정도이고, (u0, v0)는 카메라의 주점(principal point)의 카메라 좌표이다.
도로영상의 프레임에서 적어도 4개 지점의 절대 공간좌표를 알고 있으며, 카메라의 내부 파라미터(intrinsic parameter)와 이미지 축적계수를 알 수 있으므로, 상기 수학식들을 통해 카메라의 포즈정보를 획득할 수 있다.
보정부(1126)는 이렇게 획득된 카메라의 포즈정보를 기준으로 해당 프레임에서 각 특징점의 상대 공간좌표를 보정하여 절대 공간좌표를 획득할 수 있다. 후술하겠지만, 보정부(1126)는 다른 방식을 이용해서 특징점의 공간좌표를 보정할 수 있음은 물론이다.
그리고 두번째 방식은 노면에 위치한 노면 객체의 공간좌표를 결정하는 것으로서, 호모그래피 변환을 통해 도로영상의 각 프레임에서 공간좌표를 모르는 각 노면 객체의 공간좌표를 결정하는 방식이다.
호모그래피(Homogaphy)는 노면 객체의 공간좌표와 프로브 차량의 측위에 이용될 수 있다. 한 평면을 다른 평면에 투영시키면 투영된 대응점들 사이에는 일정한 변환관계가 성립하는데, 이러한 변환관계를 호모그래피라 부른다.
호모그래피 변환 함수는 각 차원 영상과 하나의 절대 좌표계(절대 공간좌표) 간의 관계를 정의한 함수일 수 있으므로, 호모그래피 변환 함수는 카메라의 영상 좌표를 절대 좌표계의 공간좌표로 변환할 수 있다. 이러한 변환관계를 이용하여 미리 공간좌표를 알고 있는 4개 지점의 공간좌표와 해당 지점의 카메라 좌표로부터 나머지 노면의 모든 지점의 공간좌표 계산이 가능하다.
전술한 것처럼, 보정부(1126)는 도로영상의 각 프레임별로 수집된 도로시설물 객체의 특징점, 및 카메라의 포즈정보에 대한 보정 과정을 통해여 최종적으로 도로시설물 객체의 절대 공간좌표를 보정하는 역할을 수행한다.
도로시설물 객체의 공간좌표를 보정하는 방식에는 네가지의 방식이 이용될 수 있다.
첫번째로, 각 프레임별 카메라의 포즈정보를 다발로 묶고 실제 계산값과 예측값의 비교를 통해 보정하는 로컬 번들 조정(LBA, local bundle adjustment) 방식이 이용될 수 있다.
두번째로, 도로영상에서 최초 시작점 이후에 새로운 GCP 객체가 발견된 경우, 결정되어온 특징점의 공간좌표를 새로운 GCP 객체의 절대 공간좌표값을 기준으로 보정하는 방식이 이용될 수 있다. 좌표 결정부(1125)를 통해 결정된 공간좌표값과 새롭게 인식된 GCP 객체의 절대 공간좌표값의 오차에 근거하여 기존에 획득되었던 특징점의 공간좌표가 일괄적으로 보정될 수 있다.
세번째로, 프로브 차량이 주행을 시작한 후에 어느 순간 과거에 통과한 지역을 다시 통과하는 경우, 프로브 차량이 지나온 경로에서 루프(loop)를 형성하는 루프 경로를 결정하고, 과거에 결정된 도로시설물 객체의 특징점의 절대 공간좌표와 현재 결정된 특징점의 절대 공간좌표의 차이에 기초하여 루프 경로에 존재하는 도로시설물 객체의 특징점의 절대 공간좌표를 보정하는 방식이 이용될 수 있다.
본 발명에서는 상기 3가지 방식 중의 적어도 하나의 방식을 이용하여 도로시설물 객체의 특징점의 공간좌표가 보정될 수 있다.
도 5은 본 발명에 따른 지도갱신서버의 구성을 나타낸 블록도이다.
도 5를 참조하면, 지도갱신서버(200)는 지도 배포부(210), 후보그룹 생성부(220), 후보자 확인부(230), 및 지도 갱신부(240) 중의 적어도 하나를 포함한다.
지도 배포부(210)는 정밀도로지도가 새롭게 구축되거나 도로시설물 객체의 변경으로 정밀도로지도가 갱신될 때 마다 정밀도로지도를 각 변화 탐지 장치(100_1~100_n)로 배포하는 역할을 수행한다.
후보그룹 생성부(220)는 각 변화 탐지 장치(100_1~100_n)로부터 도로시설물 객체의 변화에 대한 객체변화정보를 수집하고, 객체변화정보의 변화 객체를 후보자로 포함하는 후보그룹정보를 생성한다. 생성된 후보그룹정보는 각 변화 탐지 장치(100_1~100_n)로 배포된다.
한편, 전술한 것처럼, 각 변화 탐지 장치(100_1~100_n)는 후보그룹정보에 포함된 후보자 중의 하나에 접근하면 해당 후보자에 대한 후보자 영상을 촬영하여 지도갱신서버(200)로 전송한다.
후보자 확인부(230)는 각 변화 탐지 장치(100_1~100_n)로부터 수신한 후보자 영상을 분석하여, 후보자 영상에 포함된 후보자가 장애물에 의해 가려지지 않는 경우에만 해당 후보자가 진정한 변화 객체인지 여부를 확인하게 된다.
후보자 확인부(230)는 딥러닝을 포함한 머신러닝 또는 다양한 영상처리기법을 통해 후보자 영상에서 장애물의 속성을 판단하고, 후보자가 장애물에 의해 가려졌는지 여부를 판단한다. 만일 후보자 객체가 있어야 할 자리에 자동차, 이륜차, 사람 등 다양한 특정 장애물이 있어서 후보자 영상에서 후보자 객체가 전혀 보이지 않는 경우, 후보자 확인부(230)는 장애물이 있는 것으로 판단하고 그에 따라 후보자 객체가 장애물에 의해 가려진 것으로 판단한다. 후보자 객체가 장애물로 가려졌다고 판단되는 경우, 후보자 확인부(230)는 후보그룹정보를 변경하지 않고 그대로 두고, 다른 변화 탐지 장치로부터 해당 후보자에 대한 영상을 받을때 까지 기다린다.
만일, 후보자 영상에서 장애물에 의해 가려지지 않은 영상 프레임이 검출되면, 후보자 확인부(230)는 해당 영상 프레임에서 후보자 객체의 속성, 후보자 객체의 존재 유무, 후보자 객체의 특징점의 공간좌표를 그에 대응하는 정밀도로지도의 객체와 비교하여 최종적으로 후보자 객체에 변화가 있는지를 판단하게 된다.
최종적으로 후보자 객체에 변화가 있는 것으로 판단되면, 지도 갱신부(240)는 기존의 정밀도로지도를 해당 변화 내용에 기반하여 갱신한다. 지도 갱신부(240)는 기존 객체의 속성이 변경되면 해당 객체의 속성을 갱신하고, 기존에 있던 객체가 없어지면 해당 객체를 정밀도로지도에서 삭제하고, 새로운 신규 객체가 나타나면 신규 객체를 정밀도로지도에 생성하는 방식으로 정밀도로지도를 갱신한다. 물론, 후보자 객체에 변화가 있는 것으로 판단되면, 후보자 확인부(230)는 정밀도로지도를 갱신한 후 후보그룹정보에서 해당 후보자 객체에 대한 정보를 삭제한다.
한편, 최종적으로 후보자 객체에 변화가 없는 것으로 판단되면, 후보자 확인부(230)는 후보그룸정보에서 해당 후보자 객체에 대한 정보를 삭제한다.
한편, 교통 체증이나 도로 공사 등의 이유로 특정 도로시설물 객체가 장시간 장애물에 의해 가려질 수 있다.
이러한 경우, 해당 도로시설물 객체는 항상 없는 것으로 판단되어 후보그룹정보에 장시간 포함되며, 그로 인해 각 변화 탐지 장치(100_1~100_n)가 해당 도로시설물 객체에 접근할 때마다 해당 도로시설물 객체를 촬영한 영상을 지도갱신서버(200)로 보내고, 지도갱신서버(200)는 그에 대한 분석을 계속 수행하게 된다.
이러한 경우를 방지하기 위해, 후보자 확인부(230)는 적어도 둘 이상의 변화 탐지 장치로부터 수집한 후보자 영상에서 동일한 후보자가 장애물로 가려져 전혀 인식되지 않는 경우, 해당 후보자를 미리 설정된 시간 동안 비활성화 리스트에 포함시킬 수 있다.
지도갱신서버(200)는 후보그룹정보가 갱신될 때 마다 갱신된 후보그룹정보를 각 변화 탐지 장치(100_1~100_n)로 배포한다. 비활성화 리스트는 후보그룹정보에 포함되므로, 비활성화 리스트에 변경이 생길때 마다 갱신된 비활성화 리스트도 역시 각 변화 탐지 장치(100_1~100_n)로 배포된다.
각 변화 탐지 장치(100_1~100_n)는 후보그룹정보에 포함된 비활성화 리스트를 참조하며, 비활성화 리스트에 포함된 후보자에 대해서는 영상 전송을 보류한다.
이하에서는 본 발명에 따른 정밀도로지도 갱신을 위한 객체 변화 탐지 방법에 대해서 설명하도록 한다. 본 발명에 따른 정밀도로지도 갱신을 위한 객체 변화 탐지 방법은 본 발명에 따른 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템 및 변화 탐지 장치에 의해 수행되는 방법으로서, 실질적으로 동일한 발명이므로 중복되는 설명은 생략하도록 한다.
도 6은 본 발명에 따른 정밀도로지도 갱신을 위한 객체 변화 탐지 방법을 나타낸 흐름도이다.
우선, 지도갱신서버(200)는 정밀도로지도가 새롭게 구축되거나 도로시설물 객체의 변경으로 정밀도로지도가 갱신될 때 마다 정밀도로지도를 각 변화 탐지 장치(100_1~100_n)로 배포한다(S100).
변화 탐지 장치(100_1~100_n)는 도로영상에서 적어도 하나 이상의 도로시설물 객체를 인식하고, 인식된 객체의 속성과 특징점의 공간좌표를 획득한다(S200)
그리고 나서, 변화 탐지 장치(100_1~100_n)는 인식된 객체의 속성 및 특징점의 공간좌표를 지도갱신서버(200)로부터 수신한 정밀도로지도의 객체와 서로 비교하고, 변화 객체가 탐지된 경우 해당 변화 객체의 속성과 특징점의 공간좌표를 포함하는 객체변화정보를 생성한다(S300).
변화 객체에 대한 정보인 객체변화정보는 생성될 때마다 지도갱신서버(200)로 전송된다(S350).
지도갱신서버(200)는 변화 탐지 장치(100_1~100_n)로부터 수신한 각 변화 객체의 객체변화정보를 포함하는 후보그룹정보를 갱신하고(S400), 갱신된 후보그룹정보를 변화 탐지 장치(100_1~100_n)로 배포한다.
변화 탐지 장치(100_1~100_n)는 후보그룹정보에 포함된 후보자 중의 하나에 접근하면, 해당 후보자를 촬영하여 후보자 영상을 생성하고(S500), 이를 지도갱신서버(200)로 전송한다(S550). 이때, 후보그룹정보에 비활성화 리스트가 포함된 경우, 비활성화 리스트에 포함된 후보자에 대해서는 미리 설정된 시간 동안 영상 전송이 보류될 수 있다.
지도갱신서버(200)는 변화 탐지 장치(100_1~100_n)로부터 수신한 후보자 영상을 분석하여, 후보자 영상에 포함된 후보자가 가려졌는지를 판단한다(S600).
만일 후보자 객체가 있어야 할 자리에 자동차, 이륜차, 사람 등 다양한 특정 장애물이 있어서 후보자 영상의 어떤 프레임에서도 후보자 객체가 전혀 보이지 않는 경우, 지도갱신서버(200)는 장애물이 있는 것으로 판단하고 그에 따라 후보자 객체가 장애물에 의해 가려진 것으로 판단한다. 후보자 객체가 장애물로 가려졌다고 판단되는 경우, 지도갱신서버(200)는 후보그룹정보를 변경하지 않고 그대로 두어 다른 변화 탐지 장치로부터 해당 후보자에 대한 영상을 받을 때까지 기다린다(S650).
후보자 영상에서 장애물에 의해 가려지지 않은 영상 프레임이 검출되면, 지도갱신서버(200)는 해당 영상 프레임에서 후보자 객체의 속성, 후보자 객체의 존재 유무, 후보자 객체의 특징점의 공간좌표를 그에 대응하는 정밀도로지도의 객체와 비교하여 후보자 객체에 변화가 있어 최종적으로 정밀도로지도의 갱신이 필요한지 여부를 판단한다(S700).
후보자 객체에 변화가 있어 최종적으로 정밀도로지도의 갱신이 필요한 것으로 판단되면, 지도갱신서버(200)는 기존의 정밀도로지도를 해당 변화 내용에 기반하여 갱신한다(S800). 지도갱신서버(200)는 객체의 속성이 변경되면 해당 객체의 속성을 갱신하고, 객체가 없어지면 해당 객체를 정밀도로지도에서 삭제하고, 새로운 객체가 나타나면 해당 객체를 정밀도로지도에 생성한다.
그리고 나서, 지도갱신서버(200)는 갱신된 정밀도로지도를 모든 변화 탐지 장치(100_1~100_n)로 배포한다(S850)
정밀도로지도가 갱신되고 배포되면, 지도갱신서버(200)는 후보그룹정보에서 해당 후보자 객체에 대한 정보를 삭제 갱신한다(S900). 갱신된 후보그룹정보는 또한 모든 변화 탐지 장치(100_1~100_n)로 배포된다(S450).
한편, 후보자 객체에 변화가 없어 최종적으로 정밀도로지도의 갱신이 필요없는 것으로 판단되면, 지도갱신서버(200)는 후보그룸정보에서 해당 후보자 객체에 대한 정보를 삭제 갱신한다(S900). 갱신된 후보그룹정보는 모든 변화 탐지 장치(100_1~100_n)로 배포된다(S450).
7은 도 6에서 객체 좌표를 획득하는 과정을 나타낸 흐름도이다.
우선, 변화 탐지 장치(100)는 도로영상의 각 프레임에서 GCP(ground control point) 객체 및 일반 객체 중의 적어도 하나를 포함하는 도로시설물 객체와 속성을 도로영상의 프레임별로 인식한다(S210). 도로시설물 객체를 인식하기 위해 딥러닝을 포함하는 머신러닝 또는 다양한 영상처리기법이 이용될 수 있다.
그리고 나서, 변화 탐지 장치(100)는 도로영상에서 적어도 하나 이상의 도로시설물 객체의 특징점을 추출한다(S220).
그 후, 변화 탐지 장치(100)는 도로영상의 각 프레임에서 추출된 모든 도로시설물 객체의 특징점을 도로영상의 연속적인 각 프레임상에서 서로 매칭하여 트래킹한다(S230).
특징점을 매칭한 후, 변화 탐지 장치(100)는 트래킹된 특징점으로부터 예측된 카메라의 포즈정보 및 계산된 카메라의 포즈정보의 차이가 최소화되도록 특징점의 상대 공간좌표를 획득한다(S240).
그리고 나서, 변화 탐지 장치(100)는 GCP 객체가 인식되면, 절대 공간좌표값을 이미 알고 있는 GCP 객체의 좌표점을 기준으로 특징점의 상대 공간좌표를 보정하여 특징점의 절대 공간좌표를 획득한다(S250)
이렇게 획득된 도로시설물 객체의 속성 및 특징점의 공간좌표는 대응되는 정밀도로지도의 객체와 비교하는데 이용된다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나","A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나" 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(1401)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(1436) 또는 외장 메모리(1438))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(1440))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(1401))의 제어부(예: 제어부(1420))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체 는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서,‘비일시적’은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
100, 100_1~100_n: 변화 탐지 장치
110: 변화 탐지부
120: 카메라
130: 통신부
140: GNSS 수신기
150: 저장부
200: 지도갱신서버
210: 지도 배포부
220: 후보그룹 생성부
230: 후보자 확인부
240: 지도 갱신부
110: 변화 탐지부
120: 카메라
130: 통신부
140: GNSS 수신기
150: 저장부
200: 지도갱신서버
210: 지도 배포부
220: 후보그룹 생성부
230: 후보자 확인부
240: 지도 갱신부
Claims (12)
- 차량에 고정된 카메라로 촬영된 도로영상의 도로시설물 객체와 정밀도로지도를 비교하여 객체의 변화를 탐지하는 적어도 하나 이상의 변화 탐지 장치를 포함하는 시스템으로서, 상기 변화 탐지 장치는,
지도갱신서버로부터 각 도로시설물 객체의 속성과 특징점의 공간좌표를 포함하는 정밀도로지도를 수신하여 저장하는 지도정보 저장부;
상기 도로영상에서 적어도 하나 이상의 도로시설물 객체를 인식하고, 인식된 객체의 속성과 특징점의 공간좌표를 획득하는 객체좌표 획득부; 및
상기 인식된 객체의 속성 및 특징점의 공간좌표를 상기 정밀도로지도의 객체와 서로 비교하여, 변화 객체가 탐지된 경우 상기 변화 객체의 속성과 특징점의 공간좌표와 변화 객체의 영상을 포함하는 객체변화정보를 상기 지도갱신서버로 전송하는 변화객체 탐지부를 포함하되,
상기 변화 객체는 객체 속성의 변경, 신규 객체의 생성, 및 기존 객체의 삭제 중의 어느 하나인, 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템. - 제1항에 있어서, 상기 객체좌표 획득부는,
GCP(ground control point) 객체 및 일반 객체 중의 적어도 하나를 포함하는 도로시설물 객체와 속성을 상기 도로영상의 프레임별로 인식하는 객체 인식부;
상기 도로영상에서 적어도 하나 이상의 도로시설물 객체의 특징점을 추출하는 특징점 추출부;
상기 특징점을 상기 도로영상의 연속적인 프레임에서 매칭하여 트래킹하는 특징점 트래킹부;
상기 트래킹된 특징점으로부터 예측된 카메라의 포즈정보 및 계산된 카메라의 포즈정보의 차이가 최소화되도록 상기 특징점의 상대 공간좌표를 획득하는 좌표 결정부; 및
상기 GCP 객체가 인식되면, 절대 공간좌표값을 이미 알고 있는 상기 GCP 객체의 좌표점을 기준으로 상기 특징점의 상대 공간좌표를 보정하여 상기 특징점의 절대 공간좌표를 획득하는 보정부를 포함하는 것을 특징으로 하는, 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템. - 제1항에 있어서, 상기 지도갱신서버는,
상기 적어도 하나 이상의 변화 탐지 장치로부터 상기 객체변화정보를 수집하고, 상기 객체변화정보의 변화 객체를 후보자로 하는 후보그룹정보를 생성하여 상기 변화 탐지 장치로 배포하는 후보그룹 생성부를 포함하며,
상기 변화 탐지 장치는, 상기 후보그룹정보에 포함된 후보자 중의 하나에 접근하면 상기 후보자에 대한 후보자 영상을 촬영하여 상기 지도갱신서버로 전송하는 것을 특징으로 하는, 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템. - 제3항에 있어서, 상기 지도갱신서버는,
상기 후보자 영상의 후보자가 장애물에 의해 가려지지 않는 경우에만 진정한 변화 객체인지 여부를 확인하는 후보자 확인부; 및
진정한 변화 객체로 확인되면, 진정한 변화 객체에 대하여 상기 정밀도로지도를 갱신하는 지도 갱신부를 더 포함하며,
상기 갱신된 정밀도로지도는 상기 적어도 하나 이상의 변화 탐지 장치로 배포되는 것을 특징으로 하는, 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템. - 제4항에 있어서,
상기 후보그룹정보는 특정 후보자에 대한 영상 전송을 보류시키는 비활성화 리스트를 포함하고,
상기 지도갱신서버는, 동일한 후보자에 대해 적어도 둘 이상의 변화 탐지 장치로부터 수집한 후보자 영상에서 상기 동일한 후보자가 장애물로 가려져 전혀 인식되지 않는 경우, 상기 동일한 후보자를 미리 설정된 시간 동안 상기 비활성화 리스트에 포함시키는 것을 특징으로 하는, 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템. - 제1항에 있어서, 상기 변화 탐지부는,
상기 도로영상의 각 프레임별로 인식된 객체의 속성 및 특징점의 공간좌표를 상기 정밀도로지도의 객체와 서로 비교하되, 적어도 하나 이상의 프레임에서 객체가 일치하는 것으로 판단되면 객체에 변화가 없는 것으로 판단하는 것을 특징으로 하는, 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템. - 적어도 하나 이상의 변화 탐지 장치에 의해 수행되는 방법으로서,
(a) 지도갱신서버로부터 각 도로시설물 객체의 속성과 특징점의 공간좌표를 포함하는 정밀도로지도를 수신하여 저장하는 단계;
(b) 차량에 고정된 카메라로 촬영된 도로시설물 객체의 이미지를 포함하는 도로영상에서 적어도 하나 이상의 도로시설물 객체를 인식하고, 상기 인식된 객체의 속성과 특징점의 공간좌표를 획득하는 단계; 및
(c) 상기 인식된 객체의 속성 및 특징점의 공간좌표와 상기 정밀도로지도의 객체를 서로 비교하여, 변화 객체가 탐지된 경우 상기 변화 객체의 속성과 특징점의 공간좌표와 변화 객체의 영상을 포함하는 객체변화정보를 상기 지도갱신서버로 전송하는 단계를 포함하며,
상기 변화 객체는 객체 속성의 변경, 신규 객체의 생성, 및 기존 객체의 삭제 중의 어느 하나인, 정밀도로지도 갱신을 위한 객체 변화 탐지 방법. - 제7항에 있어서, 상기 (b) 단계는,
GCP(ground control point) 객체 및 일반 객체 중의 적어도 하나를 포함하는 도로시설물 객체와 속성을 상기 도로영상의 프레임별로 인식하는 단계;
상기 도로영상에서 적어도 하나 이상의 도로시설물 객체의 특징점을 추출하는 단계;
상기 특징점을 상기 도로영상의 연속적인 프레임에서 매칭하여 트래킹하는 단계;
상기 트래킹된 특징점으로부터 예측된 카메라의 포즈정보 및 계산된 카메라의 포즈정보의 차이가 최소화되도록 상기 특징점의 상대 공간좌표를 획득하는 단계; 및
상기 GCP 객체가 인식되면, 절대 공간좌표값을 이미 알고 있는 상기 GCP 객체의 좌표점을 기준으로 상기 특징점의 상대 공간좌표를 보정하여 상기 특징점의 절대 공간좌표를 획득하는 단계를 포함하는 것을 특징으로 하는, 정밀도로지도 갱신을 위한 객체 변화 탐지 방법. - 제7항에 있어서, 상기 방법은,
상기 지도갱신서버가, 상기 적어도 하나 이상의 변화 탐지 장치로부터 상기 객체변화정보를 수집하고, 상기 객체변화정보의 변화 객체를 후보자로 하는 후보그룹정보를 생성하여 상기 변화 탐지 장치로 배포하는 단계; 및
상기 변화 탐지 장치가, 상기 후보그룹정보에 포함된 후보자 중의 하나에 접근하면 상기 후보자에 대한 후보자 영상을 촬영하여 상기 지도갱신서버로 전송하는단계를 더 포함하는 것을 특징으로 하는, 정밀도로지도 갱신을 위한 객체 변화 탐지 방법. - 제9항에 있어서, 상기 방법은,
상기 지도갱신서버가, 상기 후보자 영상의 후보자가 장애물에 의해 가려지지 않는 경우에만 진정한 변화 객체인지 여부를 확인하는 단계; 및
진정한 변화 객체로 확인되면, 상기 지도갱신서버가 상기 진정한 변화 객체에 대하여 상기 정밀도로지도를 갱신하는 단계를 더 포함하며,
상기 갱신된 정밀도로지도는 상기 적어도 하나 이상의 변화 탐지 장치로 배포되는 것을 특징으로 하는, 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템. - 제9항에 있어서,
상기 후보그룹정보는 후보자에 대한 영상 전송을 보류시키는 비활성화 리스트를 포함하고,
상기 지도갱신서버가, 동일한 후보자에 대해 적어도 둘 이상의 변화 탐지 장치로부터 수집한 후보자 영상에서 상기 동일한 후보자가 장애물로 가려져 전혀 인식되지 않는 경우, 상기 동일한 후보자를 미리 설정된 시간 동안 상기 비활성화 리스트에 포함시키는 것을 특징으로 하는, 정밀도로지도 갱신을 위한 객체 변화 탐지 방법. - 제7항에 있어서, 상기 (c) 단계는,
상기 도로영상의 각 프레임별로 인식된 객체의 속성 및 특징점의 공간좌표를 상기 정밀도로지도의 객체와 서로 비교하되, 적어도 하나 이상의 프레임에서 객체가 일치하는 것으로 판단되면 객체에 변화가 없는 것으로 판단하는 것을 특징으로 하는, 정밀도로지도 갱신을 위한 객체 변화 탐지 방법.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190174458A KR102327185B1 (ko) | 2019-12-24 | 2019-12-24 | 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템 및 그 방법 |
| EP19219753.1A EP3842754A1 (en) | 2019-12-24 | 2019-12-27 | System and method of detecting change in object for updating high-definition map |
| JP2019238229A JP6976641B2 (ja) | 2019-12-24 | 2019-12-27 | 高精度道路地図の更新のためのオブジェクトの変化検知システム及びその制御方法 |
| US16/729,450 US11619496B2 (en) | 2019-12-24 | 2019-12-29 | System and method of detecting change in object for updating high-definition map |
| CN201911391443.7A CN113034960B (zh) | 2019-12-24 | 2019-12-30 | 用于更新精密路线地图的对象变化检测系统及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190174458A KR102327185B1 (ko) | 2019-12-24 | 2019-12-24 | 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210081984A true KR20210081984A (ko) | 2021-07-02 |
| KR102327185B1 KR102327185B1 (ko) | 2021-11-17 |
Family
ID=69061159
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190174458A Active KR102327185B1 (ko) | 2019-12-24 | 2019-12-24 | 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템 및 그 방법 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11619496B2 (ko) |
| EP (1) | EP3842754A1 (ko) |
| JP (1) | JP6976641B2 (ko) |
| KR (1) | KR102327185B1 (ko) |
| CN (1) | CN113034960B (ko) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102487449B1 (ko) * | 2021-09-07 | 2023-01-11 | 포티투닷 주식회사 | 로컬맵 제작을 위한 데이터-셋 어노테이션 방법 및 이를 수행하는 서버 |
| KR20230065731A (ko) * | 2021-11-05 | 2023-05-12 | 주식회사 지오스토리 | 3차원 시설물 위치 정보를 업데이트하는 방법 및 이를 이용한 장치 |
| KR20230065733A (ko) * | 2021-11-05 | 2023-05-12 | 주식회사 지오스토리 | 3차원 지형지물 위치 정보를 업데이트하는 방법 및 이를 이용한 장치 |
| KR20230076531A (ko) * | 2021-11-24 | 2023-05-31 | 주식회사 엠큐닉 | 자율 주행을 위한 정밀도로지도 갱신 시스템 및 방법 |
| KR20230076365A (ko) * | 2021-11-24 | 2023-05-31 | 한국지능형교통체계협회 | 크라우드 소싱 기반의 자율차 전용지도 제공 시스템 및 그 방법 |
| WO2023128112A1 (ko) * | 2021-12-30 | 2023-07-06 | 주식회사 다리소프트 | 차량에 탑재된 정보 수집 단말과의 연동을 통해 도로 상의 위험물 정보를 수집하여 관리할 수 있는 위험물 정보 관리 서버 및 그 동작 방법 |
| KR20230161060A (ko) * | 2022-05-18 | 2023-11-27 | 건국대학교 산학협력단 | 크라우드 소싱 기반의 정밀지도 업데이트를 위한 전역 경로 생성 장치 및 방법 |
| KR102619097B1 (ko) * | 2023-06-29 | 2023-12-27 | 주식회사 휴데이터스 | 내비게이션 지도를 업데이트하는 방법 및 장치 |
| KR102642165B1 (ko) * | 2023-02-15 | 2024-03-04 | 아주대학교산학협력단 | 지도 상의 보도를 갱신하는 방법, 이를 이용하는 서버 및 시스템 |
| KR102695888B1 (ko) * | 2023-06-29 | 2024-08-14 | 주식회사 휴데이터스 | 지도를 업데이트하는 방법 및 장치 |
| KR102778062B1 (ko) * | 2024-06-24 | 2025-03-12 | 주식회사 딥파인 | 딥러닝을 기반으로 3차원 공간 지도의 변경 구간을 업데이트하기 위한 장치 및 이를 위한 방법 |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11391577B2 (en) * | 2019-12-04 | 2022-07-19 | Pony Ai Inc. | Dynamically modelling objects in map |
| JP7136138B2 (ja) * | 2020-01-29 | 2022-09-13 | トヨタ自動車株式会社 | 地図生成用データ収集装置及び地図生成用データ収集方法ならびに車両 |
| US11604070B2 (en) | 2020-03-31 | 2023-03-14 | GM Cruise Holdings LLC. | Map maintenance and verification |
| US11898853B2 (en) * | 2020-03-31 | 2024-02-13 | Gm Cruise Holdings Llc | Map surveillance system |
| US11340081B2 (en) * | 2020-04-08 | 2022-05-24 | Pony Ai Inc. | System and method for updating map |
| CN112560684B (zh) * | 2020-12-16 | 2023-10-24 | 阿波罗智联(北京)科技有限公司 | 车道线检测方法、装置、电子设备、存储介质以及车辆 |
| US11579627B2 (en) * | 2020-12-17 | 2023-02-14 | Tusimple, Inc. | Systems and methods for updating navigational maps |
| CN113449058B (zh) * | 2021-06-25 | 2023-06-02 | 安克创新科技股份有限公司 | 一种地图数据传输方法、清洁机器人及存储介质 |
| CN113514053B (zh) * | 2021-07-13 | 2024-03-26 | 阿波罗智能技术(北京)有限公司 | 生成样本图像对的方法、装置和更新高精地图的方法 |
| CN113515536B (zh) * | 2021-07-13 | 2022-12-13 | 北京百度网讯科技有限公司 | 地图的更新方法、装置、设备、服务器以及存储介质 |
| US20230077909A1 (en) * | 2021-09-15 | 2023-03-16 | Zoox, Inc. | Road network validation |
| CN114116749A (zh) * | 2021-11-26 | 2022-03-01 | 武汉中海庭数据技术有限公司 | 一种道路标线更新方法、系统、电子设备及存储介质 |
| JP7602516B2 (ja) * | 2022-08-31 | 2024-12-18 | ウーブン・バイ・トヨタ株式会社 | 地図更新装置、地図更新方法及び地図更新用コンピュータプログラム |
| KR20240071553A (ko) | 2022-11-16 | 2024-05-23 | 한국지능형교통체계협회 | 차량의 센서장치를 활용한 도로 객체 변화정보 처리 시스템 및 방법 |
| KR102615600B1 (ko) * | 2022-11-28 | 2023-12-19 | 주식회사 엠큐닉 | 자율 주행을 위한 정밀도로지도 갱신 시스템 및 방법 |
| KR102601513B1 (ko) * | 2022-11-28 | 2023-11-13 | 주식회사 엠큐닉 | 앵커 포지션을 이용한 자율차전용지도 갱신 시스템 및 방법 |
| KR102742315B1 (ko) | 2022-12-16 | 2024-12-12 | 현대오토에버 주식회사 | 이미지 처리 방법 및 그 시스템 |
| CN116229765B (zh) * | 2023-05-06 | 2023-07-21 | 贵州鹰驾交通科技有限公司 | 一种基于数字数据处理的车路协同方法 |
| CN116659482A (zh) * | 2023-07-31 | 2023-08-29 | 广汽埃安新能源汽车股份有限公司 | 一种基于车道线语义的地图构建方法及装置 |
| KR20250063293A (ko) | 2023-10-31 | 2025-05-08 | 충남대학교산학협력단 | Vhf 대역 도파관을 이용한 전자레인지 |
| KR102751129B1 (ko) | 2023-11-08 | 2025-01-09 | 주식회사 엠큐닉 | 정밀도로지도가 탑재된 차량의 객체 검증 시스템 및 방법 |
| KR102751130B1 (ko) | 2023-11-08 | 2025-01-09 | 주식회사 엠큐닉 | 동적정보지도 갱신 시스템 및 방법 |
| KR20250067390A (ko) | 2023-11-08 | 2025-05-15 | 주식회사 엠큐닉 | Url을 이용한 동적정보지도 갱신 시스템 및 방법 |
| CN119559411B (zh) * | 2025-02-06 | 2025-05-09 | 浙江大华技术股份有限公司 | 目标识别方法、电子设备和计算机可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140072763A (ko) | 2012-12-31 | 2014-06-13 | (주)지오투정보기술 | 영상 정보와 항공사진 데이터를 비교하여 대상 객체를 결정하고 카메라 획득정보를 이용하여 대상 객체의 3차원 좌표를 획득하는 수치지도 제작 시스템 |
| KR20150144728A (ko) * | 2014-06-17 | 2015-12-28 | 주식회사 유진로봇 | 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법 |
| KR20190003884A (ko) * | 2017-06-30 | 2019-01-10 | 현대엠엔소프트 주식회사 | 지도 정보 갱신 장치, 방법 및 시스템 |
| JP2019114086A (ja) * | 2017-12-25 | 2019-07-11 | パイオニア株式会社 | 情報処理装置、情報収集装置、地図情報更新タイミング判定システム、地図情報更新タイミング判定方法およびプログラム |
| KR102052114B1 (ko) * | 2018-12-13 | 2019-12-04 | 한국도로공사 | 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템 및 방법 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4767578B2 (ja) * | 2005-02-14 | 2011-09-07 | 株式会社岩根研究所 | 高精度ｃｖ演算装置と、この高精度ｃｖ演算装置を備えたｃｖ方式三次元地図生成装置及びｃｖ方式航法装置 |
| JP2016156973A (ja) * | 2015-02-25 | 2016-09-01 | パイオニア株式会社 | 地図データ記憶装置、制御方法、プログラム及び記憶媒体 |
| WO2017208503A1 (ja) * | 2016-05-30 | 2017-12-07 | 三菱電機株式会社 | 地図データ更新装置、地図データ更新方法および地図データ更新プログラム |
| WO2018017793A1 (en) * | 2016-07-21 | 2018-01-25 | Intelligent Technologies International, Inc. | System and method for creating, updating, and using maps generated by probe vehicles |
| CN106525057A (zh) * | 2016-10-26 | 2017-03-22 | 陈曦 | 高精度道路地图的生成系统 |
| EP3563265B1 (en) * | 2016-12-30 | 2021-06-02 | DeepMap Inc. | High definition map updates |
| JP6572930B2 (ja) * | 2017-03-24 | 2019-09-11 | 株式会社デンソー | 情報処理装置及び情報処理システム |
| JP6822427B2 (ja) * | 2017-06-09 | 2021-01-27 | 株式会社デンソー | 地図変化点検出装置 |
| AU2018278993A1 (en) * | 2018-06-22 | 2020-01-16 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for updating highly automated driving maps |
| CN109059954B (zh) * | 2018-06-29 | 2020-09-11 | 广东星舆科技有限公司 | 支持高精度地图车道线实时融合更新的方法和系统 |
| CN113168767B (zh) * | 2018-11-30 | 2023-08-15 | 索尼集团公司 | 信息处理设备、信息处理系统和信息处理方法 |
-
2019
- 2019-12-24 KR KR1020190174458A patent/KR102327185B1/ko active Active
- 2019-12-27 JP JP2019238229A patent/JP6976641B2/ja active Active
- 2019-12-27 EP EP19219753.1A patent/EP3842754A1/en not_active Withdrawn
- 2019-12-29 US US16/729,450 patent/US11619496B2/en active Active
- 2019-12-30 CN CN201911391443.7A patent/CN113034960B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140072763A (ko) | 2012-12-31 | 2014-06-13 | (주)지오투정보기술 | 영상 정보와 항공사진 데이터를 비교하여 대상 객체를 결정하고 카메라 획득정보를 이용하여 대상 객체의 3차원 좌표를 획득하는 수치지도 제작 시스템 |
| KR20150144728A (ko) * | 2014-06-17 | 2015-12-28 | 주식회사 유진로봇 | 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법 |
| KR20190003884A (ko) * | 2017-06-30 | 2019-01-10 | 현대엠엔소프트 주식회사 | 지도 정보 갱신 장치, 방법 및 시스템 |
| JP2019114086A (ja) * | 2017-12-25 | 2019-07-11 | パイオニア株式会社 | 情報処理装置、情報収集装置、地図情報更新タイミング判定システム、地図情報更新タイミング判定方法およびプログラム |
| KR102052114B1 (ko) * | 2018-12-13 | 2019-12-04 | 한국도로공사 | 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템 및 방법 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102487449B1 (ko) * | 2021-09-07 | 2023-01-11 | 포티투닷 주식회사 | 로컬맵 제작을 위한 데이터-셋 어노테이션 방법 및 이를 수행하는 서버 |
| KR20230065731A (ko) * | 2021-11-05 | 2023-05-12 | 주식회사 지오스토리 | 3차원 시설물 위치 정보를 업데이트하는 방법 및 이를 이용한 장치 |
| KR20230065733A (ko) * | 2021-11-05 | 2023-05-12 | 주식회사 지오스토리 | 3차원 지형지물 위치 정보를 업데이트하는 방법 및 이를 이용한 장치 |
| KR20230076531A (ko) * | 2021-11-24 | 2023-05-31 | 주식회사 엠큐닉 | 자율 주행을 위한 정밀도로지도 갱신 시스템 및 방법 |
| KR20230076365A (ko) * | 2021-11-24 | 2023-05-31 | 한국지능형교통체계협회 | 크라우드 소싱 기반의 자율차 전용지도 제공 시스템 및 그 방법 |
| WO2023128112A1 (ko) * | 2021-12-30 | 2023-07-06 | 주식회사 다리소프트 | 차량에 탑재된 정보 수집 단말과의 연동을 통해 도로 상의 위험물 정보를 수집하여 관리할 수 있는 위험물 정보 관리 서버 및 그 동작 방법 |
| KR20230161060A (ko) * | 2022-05-18 | 2023-11-27 | 건국대학교 산학협력단 | 크라우드 소싱 기반의 정밀지도 업데이트를 위한 전역 경로 생성 장치 및 방법 |
| KR102642165B1 (ko) * | 2023-02-15 | 2024-03-04 | 아주대학교산학협력단 | 지도 상의 보도를 갱신하는 방법, 이를 이용하는 서버 및 시스템 |
| KR102619097B1 (ko) * | 2023-06-29 | 2023-12-27 | 주식회사 휴데이터스 | 내비게이션 지도를 업데이트하는 방법 및 장치 |
| KR102695888B1 (ko) * | 2023-06-29 | 2024-08-14 | 주식회사 휴데이터스 | 지도를 업데이트하는 방법 및 장치 |
| KR102778062B1 (ko) * | 2024-06-24 | 2025-03-12 | 주식회사 딥파인 | 딥러닝을 기반으로 3차원 공간 지도의 변경 구간을 업데이트하기 위한 장치 및 이를 위한 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113034960A (zh) | 2021-06-25 |
| JP2021103284A (ja) | 2021-07-15 |
| US11619496B2 (en) | 2023-04-04 |
| JP6976641B2 (ja) | 2021-12-08 |
| EP3842754A1 (en) | 2021-06-30 |
| US20210190512A1 (en) | 2021-06-24 |
| CN113034960B (zh) | 2023-05-23 |
| KR102327185B1 (ko) | 2021-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102327185B1 (ko) | 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템 및 그 방법 | |
| KR102305328B1 (ko) | 카메라 기반의 자동화된 정밀도로지도 생성 시스템 및 방법 | |
| US10248124B2 (en) | Localizing vehicle navigation using lane measurements | |
| US10962982B2 (en) | Crowdsourcing the collection of road surface information | |
| AU2017300097B2 (en) | Crowdsourcing and distributing a sparse map, and lane measurements for autonomous vehicle navigation | |
| JP6301828B2 (ja) | 誘導用線路に沿って移動する車両の速度及び位置を測定する装置、並びに対応する方法及びコンピュータプログラム製品 | |
| CN112074885A (zh) | 车道标志定位 | |
| CN111856491A (zh) | 用于确定车辆的地理位置和朝向的方法和设备 | |
| CN102208013A (zh) | 风景匹配参考数据生成系统和位置测量系统 | |
| KR102316818B1 (ko) | 도로 네트워크를 갱신하는 방법 및 장치 | |
| JP2006105661A (ja) | ステレオ画像による平面推定方法 | |
| US11976939B2 (en) | High-definition maps and localization for road vehicles | |
| KR102358547B1 (ko) | 유동성을 지닌 mms의 실측치 실시간 보정을 통한 수집데이터 출력시스템 | |
| Moras et al. | Drivable space characterization using automotive lidar and georeferenced map information | |
| US20240183986A1 (en) | Travelable area extraction apparatus, system, and method, and non-transitory computer readable medium | |
| WO2022030033A1 (ja) | 地物データの生成システム、地物データベース更新システム及び地物データの生成方法 | |
| KR20220063716A (ko) | 차량의 정밀 측위 방법 및 장치 | |
| TW202115616A (zh) | 應用路側特徵辨識之圖資定位系統及方法 | |
| KR102393840B1 (ko) | 차량의 객체 위치추정 시스템 및 방법 | |
| JP7567384B2 (ja) | 情報処理システム | |
| JP7468075B2 (ja) | 管制制御システム | |
| CN111351486B (zh) | 定位系统和用于运行移动单元的定位系统的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20191224 |
|
| PA0201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20210627 Patent event code: PE09021S01D |
|
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20210908 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20211109 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20211110 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20211111 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20241017 Start annual number: 4 End annual number: 4 |