KR20230087031A - MMS(Mobile Mapping System)에 의해 촬영된 영상의 도로면 영역 갱신 방법 및 장치 - Google Patents
MMS(Mobile Mapping System)에 의해 촬영된 영상의 도로면 영역 갱신 방법 및 장치 Download PDFInfo
- Publication number
- KR20230087031A KR20230087031A KR1020210175595A KR20210175595A KR20230087031A KR 20230087031 A KR20230087031 A KR 20230087031A KR 1020210175595 A KR1020210175595 A KR 1020210175595A KR 20210175595 A KR20210175595 A KR 20210175595A KR 20230087031 A KR20230087031 A KR 20230087031A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- road surface
- surface area
- ortho
- new
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000013507 mapping Methods 0.000 title claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 7
- 230000008569 process Effects 0.000 description 10
- 238000000605 extraction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3815—Road data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3859—Differential updating map data
-
- G06T3/0093—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
본 발명에 따른, MMS(Mobile Maping System)에 의해 촬영된 영상의 도로면 영역 갱신 방법은, (a) 기준 영상 및 상기 기준 영상에서의 도로면 영역 갱신에 사용할 적어도 하나의 신규 영상을 준비하는 단계; (b) 상기 신규 영상으로부터, 촬영 시점이 상기 기준 영상의 촬영 시점으로 보정된 보정 신규 영상을 생성하는 단계; 및 (c) 상기 보정 신규 영상으로부터 도로면 영역을 추출하고, 상기 기준 영상의 도로면 영역을 상기 추출된 도로면 영역을 이용하여 갱신하는 단계를 포함한다.
Description
본 발명은 MMS(Mobile Mapping System)에 의해 촬영된 영상의 도로면 영역을 갱신하기 위한 방법 및 장치에 관한 것이다.
정밀지도는 정확한 차선정보와 자동차 운행에 필요한 각종 정보들, 예를 들어 신호등의 위치나 정지선의 위치, 차로 변경이 가능한 차선인지 아닌지 좌회전이 허용되는 교차로인지 아닌지 등의 상세한 도로정보와 3차원 정밀위치정보를 함께 제공하는 지도이다. 이러한 정밀지도의 도움으로 자율주행 자동차는 보다 안정한 자율주행이 가능하게 된다. 자율주행차의 제어에 활용되는 정밀지도(HD MAP)는 자율주행을 위해 센티미터(cm) 수준의 정밀도를 갖춘 3D(3차원) 입체 지도이다.
현재 정밀지도 구축에는 이동형 측량 시스템인 MMS(Mobile Mapping System)가 사용된다. 차량 등의 이동체에 탑재되는 MMS는 디지털 카메라, 3차원 레이저 스캐너 시스템(LiDAR), GPS(Global Positioning System) 센서, IMU(Inertial Measurement Unit) 센서 등이 결합된 등이 결합된 '이동형 3차원 공간정보 시스템'이다.
MMS(Mobile Mapping System)는 정밀지도 제작 및 최신화를위하여 분기별 주행을 통해 다수 주행 경로에 대한 카메라 영상들을 수집한다. MMS의 카메라를 통해 취득되는 도로면 영상들은 정밀지도 제작 및 갱신을 위한 차선, 노면마크 등의 중요 정보를 제공하고 있다.
본 발명이 해결하고자 하는 과제는 다수의 MMS 주행을 통해 획득되는 카메라 영상들을 활용하여 정밀지도 제작에 중요한 정보를 포함하고 있는 도로면 영역의 지속적인 갱신이 가능한 영상 갱신 방법을 제공하는 데 있다.
또한 본 발명이 해결하고자 하는 과제는 동일한 도로면 영역에 대하여 시계열로 누적되는 신규 촬영 영상들을 활용하여 정밀지도 객체 추출을 방해하는 자동차 등의 도로면 노이즈들을 제거하고, 도로공사, 차선, 노면마크 등의 변화들을 신속하고 효율적으로 반영할 수 있는 영상 갱신 방법을 제공하는 데 있다.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른, MMS(Mobile Maping System)에 의해 촬영된 영상의 도로면 영역 갱신 방법은, (a) 기준 영상 및 상기 기준 영상에서의 도로면 영역 갱신에 사용할 적어도 하나의 신규 영상을 준비하는 단계; (b) 상기 신규 영상으로부터, 촬영 시점이 상기 기준 영상의 촬영 시점으로 보정된 보정 신규 영상을 생성하는 단계; 및 (c) 상기 보정 신규 영상으로부터 도로면 영역을 추출하고, 상기 기준 영상의 도로면 영역을 상기 추출된 도로면 영역을 이용하여 갱신하는 단계를 포함한다.
상기 (a) 단계에서 제1 및 제2 신규 영상을 포함하는 2 이상의 상기 신규 영상이 준비되고, 상기 제1 신규 영상을 신규 영상으로 하여 상기 (b) 단계 및 상기 (c) 단계가 수행된 후, 상기 (b) 단계 및 (c) 단계를 통해 도로면 영역이 갱신된 기준 영상을 상기 기준 영상으로 하고 상기 제2 신규 영상을 신규 영상으로 하여 상기 (b) 단계 및 상기 (c) 단계가 수행될 수 있다.
상기 (b) 단계는, 상기 기준 영상과 상기 신규 영상의 GPS(Global Positioning System) 센서 정보 및 IMU (Inertial Measurement Unit) 센서 정보를 이용하여 상기 보정 신규 영상을 생성할 수 있다.
상기 (b) 단계는, 상기 기준 영상과 상기 신규 영상의 GPS(Global Positioning System) 센서 정보 및 IMU (Inertial Measurement Unit) 센서 정보를 이용하여 호모그래피(homography) 행렬을 산출하고, 상기 신규 영상을 상기 호모그래피 행렬를 이용하여 와핑(warping)함으로써 상기 보정 신규 영상을 생성할 수 있다.
상기 (c) 단계는, (c1) 상기 기준 영상 및 상기 보정 신규 영상을 각각 퍼스펙티브(perspective) 뷰에서 오쏘(ortho) 뷰로 변환하여 오쏘 기준 영상 및 오쏘 신규 영상을 생성하는 단계; (c2) 상기 오쏘 신규 영상으로부터 도로면 영역을 추출하고, 상기 오쏘 기준 영상의 도로면 영역을 상기 추출된 도로면 영역을 이용하여 갱신하는 단계; 및 (c3) 도로면 영역이 갱신된 오쏘 기준 영상을 오쏘 뷰에서 퍼스펙티브 뷰로 변환하는 단계를 포함할 수 있다.
상기 (c) 단계는, 상기 기준 영상에 상기 퍼스펙티브 뷰로 변환된 영상을 중첩하는 단계를 더 포함할 수 있다.
상기 (c2) 단계는, (c21) 상기 오쏘 신규 영상으로부터, 상기 오쏘 기준 영상과 상기 오쏘 신규 영상 간의 특징점 기반 와핑을 통해 상기 오쏘 기준 영상의 시점으로 와핑된 와핑 오쏘 신규 영상을 생성하는 단계; (c22) 상기 와핑 오쏘 신규 영상으로부터 도로면 영역을 추출하는 단계; 및 (c23) 상기 오쏘 기준 영상의 도로면 영역을 상기 추출된 도로면 영역을 이용하여 갱신하는 단계를 포함할 수 있다.
상기 도로면 영역 갱신 방법은, 상기 보정 신규 영상으로부터 도로면 영역 마스크 영상을 생성하는 단계를 더 포함하고, 상기 (c1) 단계는 더욱, 상기 도로면 영역 마스크 영상을 퍼스펙티브(perspective) 뷰에서 오쏘(ortho) 뷰로 변환하여 오쏘 마스크 영상을 생성하고, 상기 (c21) 단계는 더욱, 상기 오쏘 마스크 영상으로부터, 상기 특징점 기반 와핑을 통해 와핑 오쏘 마스크 영상을 생성하고, 상기 (c22) 단계는 상기 와핑 오쏘 신규 영상으로부터 상기 와핑 오쏘 마스크 영상을 이용하여 도로면 영역을 추출할 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른, MMS(Mobile Maping System)에 의해 촬영된 영상의 도로면 영역 갱신 장치는, 기준 영상 및 상기 기준 영상에서의 도로면 영역 갱신에 사용할 적어도 하나의 신규 영상이 저장된 영상 저장부; 상기 신규 영상으로부터, 촬영 시점이 상기 기준 영상의 촬영 시점으로 보정된 보정 신규 영상을 생성하는 영상 정합부; 및 상기 보정 신규 영상으로부터 도로면 영역을 추출하고, 상기 기준 영상의 도로면 영역을 상기 추출된 도로면 영역을 이용하여 갱신하는 기준 영상 갱신부를 포함한다.
상기 저장부에는 제1 및 제2 신규 영상을 포함하는 2 이상의 상기 신규 영상이 저장되고, 상기 제1 신규 영상을 신규 영상으로 하여 상기 영상 정합부 및 상기 기준 영상 갱신부를 통해 상기 기준 영상이 갱신되면, 상기 갱신된 기준 영상을 상기 기준 영상으로 하고 상기 제2 신규 영상을 상기 신규 영상으로 하여, 상기 갱신된 기준 영상이 상기 영상 정합부 및 상기 기준 영상 갱신부를 통해 재갱신될 수 있다.
상기 영상 정합부는, 상기 기준 영상과 상기 신규 영상의 GPS(Global Positioning System) 센서 정보 및 IMU(Inertial Measurement Unit) 센서 정보를 이용하여 상기 보정 신규 영상을 생성할 수 있다.
상기 영상 정합부는, 상기 기준 영상과 상기 신규 영상의 GPS(Global Positioning System) 센서 정보 및 IMU (Inertial Measurement Unit) 센서 정보를 이용하여 호모그래피(homography) 행렬을 산출하고, 상기 신규 영상을 상기 호모그래피 행렬를 이용하여 와핑(warping)함으로써 상기 보정 신규 영상을 생성할 수 있다.
상기 기준 영상 갱신부는, 상기 기준 영상 및 상기 보정 신규 영상을 각각 퍼스펙티브(perspective) 뷰에서 오쏘(ortho) 뷰로 변환하여 오쏘 기준 영상 및 오쏘 신규 영상을 생성하는 오쏘 뷰 변환부; 상기 오쏘 신규 영상으로부터 도로면 영역을 추출하고, 상기 오쏘 기준 영상의 도로면 영역을 상기 추출된 도로면 영역을 이용하여 갱신하는 도로면 영역 갱신부; 및 도로면 영역이 갱신된 오쏘 기준 영상을 오쏘 뷰에서 퍼스펙티브 뷰로 변환하는 영상 복원부를 포함할 수 있다.
상기 영상 복원부는 상기 기준 영상에 상기 퍼스펙티브 뷰로 변환된 영상을 중첩할 수 있다.
상기 도로면 영역 갱신부는, 상기 오쏘 신규 영상으로부터, 상기 오쏘 기준 영상과 상기 오쏘 신규 영상 간의 특징점 기반 와핑을 통해 상기 오쏘 기준 영상의 시점으로 와핑된 와핑 오쏘 신규 영상을 생성하고, 상기 와핑 오쏘 신규 영상으로부터 도로면 영역을 추출하고, 상기 오쏘 기준 영상의 도로면 영역을 상기 추출된 도로면 영역을 이용하여 갱신할 수 있다.
상기 오쏘 뷰 변환부는 더욱, 상기 보정 신규 영상으로부터 도로면 영역 마스크 영상을 생성하고, 상기 도로면 영역 마스크 영상을 퍼스펙티브(perspective) 뷰에서 오쏘(ortho) 뷰로 변환하여 오쏘 마스크 영상을 생성하고, 상기 도로면 영역 갱신부는 더욱, 상기 특징점 기반 와핑을 통해 상기 오쏘 마스크 영상으로부터 와핑 오쏘 마스크 영상을 생성하고, 상기 도로면 영역 갱신부는, 상기 와핑 오쏘 신규 영상으로부터 상기 와핑 오쏘 마스크 영상을 이용하여 도로면 영역을 추출할 수 있다.
상기된 본 발명에 의하면, 다수의 MMS 주행을 통해 획득되는 카메라 영상들을 활용하여 정밀지도 제작에 중요한 정보를 포함하고 있는 도로면 영역의 지속적인 갱신이 가능하다.
또한 상기된 본 발명에 의하면, 동일한 도로면 영역에 대하여 시계열로 누적되는 신규 촬영 영상들을 활용하여 정밀지도 객체 추출을 방해하는 자동차 등의 도로면 노이즈들을 제거하고, 도로공사, 차선, 노면마크 등의 수정 사항들을 신속하고 효율적으로 반영할 수 있다.
본 발명의 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른, MMS에 의해 촬영된 영상의 도로면 영역 갱신 장치의 블록도를 나타낸다.
도 2는 기준 영상과 신규 영상의 일 예를 보여준다.
도 3은 본 발명의 일 실시예에 따른, MMS에 의해 촬영된 영상의 도로면 영역 갱신 방법의 흐름도를 나타낸다.
도 4는 기준 영상과 신규 영상으로부터 보정 신규 영상을 생성하는 과정을 구체적으로 나타낸 흐름도이다.
도 5는 신규 영상의 촬영 시점이 기준 영상의 촬영 시점으로 보정되는 것의 개념을 보여준다.
도 6은 기준 영상, 신규 영상 및 촬영 시점이 보정된 보정 신규 영상의 예를 보여준다.
도 7은 보정 신규 영상으로부터 도로면 영역을 추출하고 기준 영상의 도로면 영역을 갱신하는 과정을 구체적으로 나타낸 흐름도이다.
도 8은 대상 영상으로부터 얻어진 소실점이 탐지 결과 및 도로면 영역 마스크 영상의 일 예를 보여준다.
도 9는 퍼스펙티브 뷰에서 오쏘 뷰로 변환된 오쏘 기준 영상과 오쏘 신규 영상의 예를 보여준다.
도 10은 오쏘 기준 영상과 오쏘 신규 영상의 특징점 추출 및 매칭 결과, 와핑 오쏘 신규 영상, 와핑 오쏘 마스크 영상, 도로면 영역 추출 결과의 예를 보여준다.
도 11은 도로면 영역이 갱신된 오쏘 기준 영상, 오쏘 기준 영상이 퍼스펙티브 뷰로 변환된 영상, 갱신된 기준 영상의 예를 보여준다.
도 12는 본 발명의 실시예에 따라 기준 영상이 누적적으로 갱신되는 과정의 예를 보여준다.
도 2는 기준 영상과 신규 영상의 일 예를 보여준다.
도 3은 본 발명의 일 실시예에 따른, MMS에 의해 촬영된 영상의 도로면 영역 갱신 방법의 흐름도를 나타낸다.
도 4는 기준 영상과 신규 영상으로부터 보정 신규 영상을 생성하는 과정을 구체적으로 나타낸 흐름도이다.
도 5는 신규 영상의 촬영 시점이 기준 영상의 촬영 시점으로 보정되는 것의 개념을 보여준다.
도 6은 기준 영상, 신규 영상 및 촬영 시점이 보정된 보정 신규 영상의 예를 보여준다.
도 7은 보정 신규 영상으로부터 도로면 영역을 추출하고 기준 영상의 도로면 영역을 갱신하는 과정을 구체적으로 나타낸 흐름도이다.
도 8은 대상 영상으로부터 얻어진 소실점이 탐지 결과 및 도로면 영역 마스크 영상의 일 예를 보여준다.
도 9는 퍼스펙티브 뷰에서 오쏘 뷰로 변환된 오쏘 기준 영상과 오쏘 신규 영상의 예를 보여준다.
도 10은 오쏘 기준 영상과 오쏘 신규 영상의 특징점 추출 및 매칭 결과, 와핑 오쏘 신규 영상, 와핑 오쏘 마스크 영상, 도로면 영역 추출 결과의 예를 보여준다.
도 11은 도로면 영역이 갱신된 오쏘 기준 영상, 오쏘 기준 영상이 퍼스펙티브 뷰로 변환된 영상, 갱신된 기준 영상의 예를 보여준다.
도 12는 본 발명의 실시예에 따라 기준 영상이 누적적으로 갱신되는 과정의 예를 보여준다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.
본 발명의 실시예는, 다수의 MMS 주행을 통해 획득되는 카메라 영상들을 활용하여 정밀지도 제작에 중요한 정보를 포함하고 있는 도로면 영역의 지속적인 갱신을 위해, 최초 선정된 기준 영상을 기준으로 시계열로 추가 촬영되는 신규 영상들의 도로면 영역 정보를 기준 영상에 지속적으로 업데이트하는 기술을 제시한다.
또한 본 발명의 실시예는, 누적되는 도로면의 변경 사항을 지속적으로 갱신하기 위하여, 서로 다른 촬영일 또는 다른 차선 주행을 통해 획득되는 MMS 신규 영상들의 도로면 영역을 기준 영상 기준으로 정합 및 복원하는 일련의 프로세스를 제시한다.
도 1은 본 발명의 일 실시예에 따른, MMS에 의해 촬영된 영상의 도로면 영역 갱신 장치의 블록도를 나타낸다.
본 실시예에 따른 도로면 영역 갱신 장치는, 영상 저장부(10), 영상 선정부(20), 영상 정합부(30), 기준 영상 갱신부(40)를 포함할 수 있다.
영상 저장부(10)에는 도로면 영역 갱신이 요구되는 구간에서 MMS에 의해 서로 다른 촬영일 및/또는 다른 차선 주행을 통해 촬영된 영상들이 저장된다. 영상 저장부(10)에는 MMS에 의해 신규 촬영되는 영상들이 지속적으로 누적 저장될 수 있다. MMS 영상들에는 해당 영상 촬영시의 GPS(Global Positioning System) 센서 정보 및 IMU (Inertial Measurement Unit) 센서 정보가 매핑되어 있다.
영상 선정부(20)는 영상 저장부(10)에 저장된 영상들 중에서 기준 영상들 및 각 기준 영상에서의 도로면 영역 갱신에 사용할 신규 영상들을 선정한다. 촬영 시간을 기준으로, 기준 영상은 가장 과거에 촬영된 영상으로 선정될 수 있다. 신규 영상들은, 기준 영상의 촬영 시간 이후에 촬영된 영상들로, 기준 영상의 촬영 위치와 인접한 위치에서 촬영된 영상들로 선정될 수 있다. 신규 영상은 기준 영상이 촬영된 차선과 동일 차선에서 촬영된 것일 수도 있고, 기준 영상이 촬영된 차선과 다른 차선에서 촬영된 것일 수도 있다.
영상 선정부(20)는 선정된 영상들 중에서 후술하는 영상 정합부(30)를 통한 영상 정합이 불가능한 영상들을 필터링할 수 있다. 예컨대, 기준 영상과 신규 영상의 FOV(Field of View) 간의 차이가 크거나(이를테면, 기준 영상이 촬영된 차선과 신규 영상이 촬영된 차선 간의 차이가 두 차선 이상으로 큰 경우), 관성력으로 인해 GPS 센서 또는 IMU 센서가 영향을 많이 받는 곡선, 오르막, 내리막 구간에서 촬영된 영상 등이 필터링될 수 있다.
영상 정합부(30)는, 신규 영상들 중 하나인 제1 신규 영상으로부터, 촬영 시점이 기준 영상의 촬영 시점으로 보정된 보정 신규 영상을 생성한다. 영상 정합부(30)는, 기준 영상과 상기 신규 영상의 GPS(Global Positioning System) 센서 정보 및 IMU (Inertial Measurement Unit) 센서 정보를 이용하여 호모그래피(homography) 행렬을 산출하고, 신규 영상을 상기 호모그래피 행렬를 이용하여 와핑(warping)함으로써 보정 신규 영상을 생성할 수 있다.
기준 영상 갱신부(40)는, 보정 신규 영상으로부터 도로면 영역을 추출하고, 기준 영상의 도로면 영역을 추출된 도로면 영역을 이용하여 갱신한다. 기준 영상 갱신부(40)는 오쏘 뷰 변환부(41), 도로면 영역 갱신부(42), 영상 복원부(43)를 포함할 수 있다. 오쏘 뷰 변환부(41)는 기준 영상 및 보정 신규 영상을 각각 퍼스펙티브(perspective) 뷰에서 오쏘(ortho) 뷰로 변환하여 기준 오쏘 영상 및 신규 오쏘 영상을 생성할 수 있다. 도로면 영역 갱신부(42)는 신규 오쏘 영상으로부터 도로면 영역을 추출하고, 기준 오쏘 영상의 도로면 영역을 상기 추출된 도로면 영역을 이용하여 갱신할 수 있다. 영상 복원부(43)는 도로면 영역이 갱신된 기준 오쏘 영상을 오쏘 뷰에서 퍼스펙티브 뷰로 변환하고, 기준 영상에 퍼스펙티브 뷰로 변환된 영상을 중첩함으로써 도로면 영역이 갱신된 기준 영상을 생성할 수 있다.
도로면 영역이 갱신된 기준 영상은 영상 저장부(10)에 저장된다. 그러면 영상 정합부(30)는, 갱신된 기준 영상 및 신규 영상들 중 다른 하나인 제2 신규 영상을 가지고 보정 신규 영상을 생성하고, 기준 영상 갱신부(40)는 갱신된 기준 영상의 도로면 영역을 제2 신규 영상의 보정 신규 영상으로부터 추출된 도로면 영역을 이용하여 재갱신할 수 있다. 이러한 재갱신 과정이 추가적인 신규 영상들에 대해 누적적으로 수행될 수 있다.
도 2는 기준 영상과 신규 영상의 일 예를 보여준다. 특정 날짜에 기준 경로의 주행을 통해 MMS에 의해 촬영된 영상들이 기준 영상이 될 수 있다. 다른 날짜에 다른 차선의 신규 경로 #1의 주행을 통해 촬영된 영상들이 신규 영상이 될 수 있다. 또 다른 날짜에 동일 차선의 신규 경로 #2의 주행을 통해 촬영된 영상들이 신규 영상이 될 수 있다. 이 경우 기준 영상 #1은, 신규 영상 #1-1, 신규 영상 #1-2, 신규 영상 #1-3, 신규 영상 #2-1, 신규 영상 #2-2, 신규 영상 #2-3에 의해 누적적으로 갱신될 수 있다.
도 3은 본 발명의 일 실시예에 따른, MMS에 의해 촬영된 영상의 도로면 영역 갱신 방법의 흐름도를 나타낸다.
310단계에서, 영상 선정부(20)는 영상 저장부(10)에 저장된 영상들 중에서 기준 영상들 및 각 기준 영상에서의 도로면 영역 갱신에 사용할 신규 영상들을 선정한다.
320단계에서, 영상 정합부(30)는, 신규 영상들 중 하나인 제1 신규 영상으로부터, 촬영 시점이 기준 영상의 촬영 시점으로 보정된 보정 신규 영상을 생성한다.
330단계에서, 기준 영상 갱신부(40)는, 보정 신규 영상으로부터 도로면 영역을 추출하고, 기준 영상의 도로면 영역을 추출된 도로면 영역을 이용하여 갱신한다.
340단계에서, 도로면 영역 갱신에 사용할 신규 영상이 더 있으면, 갱신된 기준 영상을 기준 영상으로 하고 추가적인 신규 영상을 신규 영상으로 하여 상기 320단계 및 상기 330단계가 반복 수행된다.
도 4는 영상 정합부(30)가 기준 영상과 신규 영상으로부터 보정 신규 영상을 생성하는 과정을 구체적으로 나타낸 흐름도이고, 도 5는 신규 영상의 촬영 시점이 기준 영상의 촬영 시점으로 보정되는 것의 개념을 보여준다. 본 과정은 서로 다른 촬영 시점 및 거리에서 촬영된 기준 영상과 신규 영상을 동일한 촬영 시점 및 거리에서 촬영한 효과를 주기 위한 것이다.
기준 영상과 신규 영상은 촬영 시점(위치 및/또는 방향) 및 거리에 차이가 있으므로, 기준 영상을 신규 영상의 도로면 영역을 이용하여 갱신하기 위해서, 영상 정합부(30)는 신규 영상을 촬영 시점 및 거리를 기준 영상의 촬영 시점 및 거리와 일치하도록 보정한다.
예컨대 도 5를 참조하면, 기준 영상 #1을 신규 영상 #1을 이용하여 갱신하기 위해, 신규 영상 #1의 촬영 시점이 기준 영상 #1의 촬영 시점으로 보정될 수 있다. 기준 영상 #2를 신규 영상 #2를 이용하여 갱신하기 위해, 신규 영상 #2의 촬영 시점이 기준 영상 #2의 촬영 시점으로 보정될 수 있다. 기준 영상 #3을 신규 영상 #3을 이용하여 갱신하기 위해, 신규 영상 #3의 촬영 시점이 기준 영상 #3의 촬영 시점으로 보정될 수 있다.
도 4를 참조하면, 410단계에서, 영상 정합부(30)는 기준 영상과 신규 영상의 GPS 센서 정보 및 IMU 센서 정보의 편차를 이용하여 좌표계 변환을 위한 Rotation/Translation 행렬을 추정한다. 좌표계 변환은 월드(world) 좌표계로부터, IMU 좌표계, 카메라 좌표계로의 변환을 의미한다.
420단계에서, 영상 정합부(30)는, Rotation/Translation 행렬을 이용하여 Euler Angle 역변환을 통해 롤(roll), 피치(pitch), 헤딩(heading) 파라미터를 산출하고, 이를 이용해 신규 영상에서 기준 영상으로의 촬영 시점 보정을 위한 호모그래피 행렬을 산출한다.
430단계에서, 영상 정합부(30)는, 신규 영상을 호모그래피 행렬을 이용하여 와핑함으로써 촬영 시점 및 거리가 기준 영상에 근접하게 맞춰진 보정 신규 영상을 생성한다.
도 6은 기준 영상, 신규 영상 및 촬영 시점이 보정된 보정 신규 영상의 예를 보여준다. 도 6을 참조하면, 기준 영상(a) 및 신규 영상(b)으로부터, 신규 영상(b)의 촬영 시점이 기준 영상(a)의 촬영 시점으로 보정된 보정 신규 영상(c)이 획득된다.
도 7은 기준 영상 갱신부(40)가 보정 신규 영상으로부터 도로면 영역을 추출하고 기준 영상의 도로면 영역을 갱신하는 과정을 구체적으로 나타낸 흐름도이다.
710단계에서, 오쏘 뷰 변환부(41)는 기준 영상 및 신규 영상 각가에서 소실점을 탐지할 수 있다. 영상의 소실점 추정을 위해서, Canny edge, Hough transform, Grid segmentation 알고리즘 등을 이용한 Tracking 기반 소실점 추정 기법이 이용될 수 있다.
715단계에서, 오쏘 뷰 변환부(41)는 보정 신규 영상으로부터 도로면 영역 추출을 위한 도로면 영역 마스크 영상을 생성할 수 있다. 도로면 영역 마스크는 딥러닝 기반의 Semantic Segmentation 모델을 이용하여 추출될 수 있다. 도로면 영역 마스크 영상은 도로면 영역에 대하여 노이즈로 간주되는 도로 경계 바깥 영역과 자동차 등의 폐색 영역을 제거하는 데이터로 이용될 수 있다.
도 8은 대상 영상(a)으로부터 얻어진 소실점 탐지 결과(b) 및 도로면 영역 마스크 영상(c)의 일 예를 보여준다. 도 8의 도로면 영역 마스크 영상(c)을 참조하면, 도로 경계 바깥 영역과 자동차 등의 폐색 영역은 검정색으로, 도로면 영역은 편의상 초록색으로 구분되어 있다.
720단계에서, 오쏘 뷰 변환부(41)는 기준 영상 및 보정 신규 영상 각각의 퍼스펙티브 뷰에서 오쏘 뷰로의 변환을 위한 호모그래피 행렬을 산출한다. 호모그래피 행렬은 MMS 카메라의 내부(intrinsic) 파라미터와 상기 710단계를 통해 탐지된 소실점을 이용하여 산출될 수 있다.
730단계에서, 오쏘 뷰 변환부(41)는, 기준 영상을 기준 영상에 대해 산출된 호모그래피 행렬을 이용하여 퍼스펙티브 뷰에서 오쏘 뷰로 변환하여 오쏘 기준 영상을 생성하고, 보정 신규 영상 및 도로면 영역 마스크 영상을 각각 보정 신규 영상에 대해 산출된 호모그래피 행렬을 이용하여 퍼스펙티브 뷰에서 오쏘 뷰로 변환하여 오쏘 신규 영상 및 오쏘 마스크 영상을 생성할 수 있다. 도 9는 퍼스펙티브 뷰에서 오쏘 뷰로 변환된 오쏘 기준 영상(a)과 오쏘 신규 영상(b)의 예를 보여준다.
740단계에서, 도로면 영역 갱신부(42)는 오쏘 기준 영상 및 오쏘 신규 영상에 대하여 특징점 추출 및 매칭을 수행한다.
750단계에서, 도로면 영역 갱신부(42)는 오쏘 신규 영상 및 오쏘 마스크 영상으로부터 각각 특징점 기반 와핑을 통해 오쏘 기준 영상의 시점으로 와핑된 와핑 오쏘 신규 영상 및 와핑 오쏘 마스크 영상을 생성할 수 있다. 여기서 도로면 영역 갱신부(42)는 특징점 추출 및 매칭 결과로부터 RANSAC(Random sample consensus) 알고리즘을 이용하여 호모그래피 행렬을 추정하고, 이 호모그래피 행렬을 이용하여 오쏘 신규 영상 및 오쏘 마스크 영상을 각각 와핑하여 와핑 오쏘 신규 영상 및 와핑 오쏘 마스크 영상을 생성할 수 있다. 도 10은 오쏘 기준 영상과 오쏘 신규 영상의 특징점 추출 및 매칭 결과(a)와, 오쏘 신규 영상이 오쏘 기준 영상의 시점으로 와핑된 와핑 오쏘 신규 영상(b), 및 오쏘 마스크 영상이 오쏘 기준 영상의 시점으로 와핑된 와핑 오쏘 마스크 영상(c)의 예를 보여준다.
760단계에서, 도로면 영역 갱신부(42)는 와핑 오쏘 신규 영상으로부터 와핑 오쏘 마스크 영상을 이용하여 도로면 영역을 추출한다. 도 10은 와핑 오쏘 신규 영상(b)으로부터 와핑 오쏘 마스크 영상(c)을 이용하여 도로면 영역이 추출된 결과(d)의 예를 보여준다. 도 10의 도로면 영역 추출 결과(d)를 참조하면, 와핑 오쏘 신규 영상(b)에서 도로 경계 바깥 영역과 자동차 등의 폐색 영역을 제외한 도로면 영역만이 추출됨을 확인할 수 있다.
770단계에서, 도로면 영역 갱신부(42)는 오쏘 기준 영상의 도로면 영역을 상기 추출된 도로면 영역을 이용하여 갱신한다. 도로면 영역 갱신은 오쏘 기준 영상에 추출된 도로면 영역을 중첩함으로써 수행될 수 있다. 도 11은 도로면 영역이 갱신된 오쏘 기준 영상(a)의 예를 보여준다. 도 9 (a), 도 10 (d), 도 11 (a)를 참조하면, 오쏘 기준 영상(도 9 (a)) 중 도 10 (d)에 대응하는 영역은 신규 영상으로부터 추출된 도로면 영역(도 10 (d))으로 갱신되고, 나머지 영역은 그대로 유지됨을 확인할 수 있다.
780단계에서, 도로면 영역 갱신부(42)는 도로면 영역이 갱신된 오쏘 기준 영상을 Back Projection을 통해 퍼스펙티브 뷰로 변환한다. 도 11은 도로면 영역이 갱신된 오쏘 기준 영상이 퍼스펙티브 뷰로 변환된 영상(b)의 예를 보여준다. 도 11을 참조하면, 앞서 퍼스펙티브 뷰에서 오쏘 뷰로의 변환으로 인해 소실점 윗부분은 영상 정보가 유실되어 검정색으로 표현되어 있다.
790단계에서, 도로면 영역 갱신부(42)는 원래의 기준 영상에, 도로면 영역이 갱신된 오쏘 기준 영상이 퍼스펙티브 뷰로 변환된 영상을 중첩함으로써, 도로면 영역이 갱신된 기준 영상을 생성할 수 있다. 도 11은 기준 영상에 퍼스펙티브 뷰로 변환된 영상(b)을 중첩하여 생성된, 갱신된 기준 영상(c)의 예를 보여준다.
도 12는 본 발명의 실시예에 따라 기준 영상이 누적적으로 갱신되는 과정의 예를 보여준다. 도 12를 참조하면, 기준 영상이 신규 영상 #1을 이용하여 갱신된 결과 갱신 기준 영상 #1이 생성된다. 그리고 갱신 기준 영상 #1이 신규 영상 #2를 이용하여 갱신된 결과 갱신 기준 영상 #2가 생성된다. 그리고 갱신 기준 영상 #2가 신규 영상 #3을 이용하여 갱신된 결과 갱신 기준 영상 #3이 생성된다. 이처럼 기준 영상은 신규 영상이 추가됨에 따라 누적적으로 갱신될 수 있다. 도 12를 참조하면, 마지막으로 갱신된 기준 영상 #3은 최초 기준 영상 및 신규 영상들에 비하여 자동차 등의 도로면 노이즈가 확연히 제거되고, 비록 나타나 있지는 않지만 신규 영상에서 도로면의 변화가 발생했다면 도로면의 변화가 갱신된 기준 영상에 반영될 수 있음을 확인할 수 있다.
본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
Claims (16)
- MMS(Mobile Maping System)에 의해 촬영된 영상의 도로면 영역 갱신 방법으로서,
(a) 기준 영상 및 상기 기준 영상에서의 도로면 영역 갱신에 사용할 적어도 하나의 신규 영상을 준비하는 단계;
(b) 상기 신규 영상으로부터, 촬영 시점이 상기 기준 영상의 촬영 시점으로 보정된 보정 신규 영상을 생성하는 단계; 및
(c) 상기 보정 신규 영상으로부터 도로면 영역을 추출하고, 상기 기준 영상의 도로면 영역을 상기 추출된 도로면 영역을 이용하여 갱신하는 단계를 포함하는,
도로면 영역 갱신 방법. - 제1항에 있어서,
상기 (a) 단계에서 제1 및 제2 신규 영상을 포함하는 2 이상의 상기 신규 영상이 준비되고,
상기 제1 신규 영상을 신규 영상으로 하여 상기 (b) 단계 및 상기 (c) 단계가 수행된 후,
상기 (b) 단계 및 (c) 단계를 통해 도로면 영역이 갱신된 기준 영상을 상기 기준 영상으로 하고 상기 제2 신규 영상을 신규 영상으로 하여 상기 (b) 단계 및 상기 (c) 단계가 수행되는,
도로면 영역 갱신 방법. - 제1항에 있어서,
상기 (b) 단계는, 상기 기준 영상과 상기 신규 영상의 GPS(Global Positioning System) 센서 정보 및 IMU (Inertial Measurement Unit) 센서 정보를 이용하여 상기 보정 신규 영상을 생성하는,
도로면 영역 갱신 방법. - 제3항에 있어서,
상기 (b) 단계는, 상기 기준 영상과 상기 신규 영상의 GPS(Global Positioning System) 센서 정보 및 IMU (Inertial Measurement Unit) 센서 정보를 이용하여 호모그래피(homography) 행렬을 산출하고, 상기 신규 영상을 상기 호모그래피 행렬를 이용하여 와핑(warping)함으로써 상기 보정 신규 영상을 생성하는,
도로면 영역 갱신 방법. - 제1항에 있어서,
상기 (c) 단계는,
(c1) 상기 기준 영상 및 상기 보정 신규 영상을 각각 퍼스펙티브(perspective) 뷰에서 오쏘(ortho) 뷰로 변환하여 오쏘 기준 영상 및 오쏘 신규 영상을 생성하는 단계;
(c2) 상기 오쏘 신규 영상으로부터 도로면 영역을 추출하고, 상기 오쏘 기준 영상의 도로면 영역을 상기 추출된 도로면 영역을 이용하여 갱신하는 단계; 및
(c3) 도로면 영역이 갱신된 오쏘 기준 영상을 오쏘 뷰에서 퍼스펙티브 뷰로 변환하는 단계를 포함하는,
도로면 영역 갱신 방법. - 제5항에 있어서,
상기 (c) 단계는, 상기 기준 영상에 상기 퍼스펙티브 뷰로 변환된 영상을 중첩하는 단계를 더 포함하는,
도로면 영역 갱신 방법. - 제5항에 있어서,
상기 (c2) 단계는,
(c21) 상기 오쏘 신규 영상으로부터, 상기 오쏘 기준 영상과 상기 오쏘 신규 영상 간의 특징점 기반 와핑을 통해 상기 오쏘 기준 영상의 시점으로 와핑된 와핑 오쏘 신규 영상을 생성하는 단계;
(c22) 상기 와핑 오쏘 신규 영상으로부터 도로면 영역을 추출하는 단계; 및
(c23) 상기 오쏘 기준 영상의 도로면 영역을 상기 추출된 도로면 영역을 이용하여 갱신하는 단계를 포함하는,
도로면 영역 갱신 방법. - 제7항에 있어서,
상기 보정 신규 영상으로부터 도로면 영역 마스크 영상을 생성하는 단계를 더 포함하고,
상기 (c1) 단계는 더욱, 상기 도로면 영역 마스크 영상을 퍼스펙티브(perspective) 뷰에서 오쏘(ortho) 뷰로 변환하여 오쏘 마스크 영상을 생성하고,
상기 (c21) 단계는 더욱, 상기 오쏘 마스크 영상으로부터, 상기 특징점 기반 와핑을 통해 와핑 오쏘 마스크 영상을 생성하고,
상기 (c22) 단계는 상기 와핑 오쏘 신규 영상으로부터 상기 와핑 오쏘 마스크 영상을 이용하여 도로면 영역을 추출하는,
도로면 영역 갱신 방법. - MMS(Mobile Maping System)에 의해 촬영된 영상의 도로면 영역 갱신 장치로서,
기준 영상 및 상기 기준 영상에서의 도로면 영역 갱신에 사용할 적어도 하나의 신규 영상이 저장된 영상 저장부;
상기 신규 영상으로부터, 촬영 시점이 상기 기준 영상의 촬영 시점으로 보정된 보정 신규 영상을 생성하는 영상 정합부; 및
상기 보정 신규 영상으로부터 도로면 영역을 추출하고, 상기 기준 영상의 도로면 영역을 상기 추출된 도로면 영역을 이용하여 갱신하는 기준 영상 갱신부를 포함하는,
도로면 영역 갱신 장치. - 제9항에 있어서,
상기 저장부에는 제1 및 제2 신규 영상을 포함하는 2 이상의 상기 신규 영상이 저장되고,
상기 제1 신규 영상을 신규 영상으로 하여 상기 영상 정합부 및 상기 기준 영상 갱신부를 통해 상기 기준 영상이 갱신되면,
상기 갱신된 기준 영상을 상기 기준 영상으로 하고 상기 제2 신규 영상을 상기 신규 영상으로 하여, 상기 갱신된 기준 영상이 상기 영상 정합부 및 상기 기준 영상 갱신부를 통해 재갱신되는,
도로면 영역 갱신 장치. - 제9항에 있어서,
상기 영상 정합부는, 상기 기준 영상과 상기 신규 영상의 GPS(Global Positioning System) 센서 정보 및 IMU(Inertial Measurement Unit) 센서 정보를 이용하여 상기 보정 신규 영상을 생성하는,
도로면 영역 갱신 장치. - 제11항에 있어서,
상기 영상 정합부는, 상기 기준 영상과 상기 신규 영상의 GPS(Global Positioning System) 센서 정보 및 IMU (Inertial Measurement Unit) 센서 정보를 이용하여 호모그래피(homography) 행렬을 산출하고, 상기 신규 영상을 상기 호모그래피 행렬를 이용하여 와핑(warping)함으로써 상기 보정 신규 영상을 생성하는,
도로면 영역 갱신 장치. - 제9항에 있어서,
상기 기준 영상 갱신부는,
상기 기준 영상 및 상기 보정 신규 영상을 각각 퍼스펙티브(perspective) 뷰에서 오쏘(ortho) 뷰로 변환하여 오쏘 기준 영상 및 오쏘 신규 영상을 생성하는 오쏘 뷰 변환부;
상기 오쏘 신규 영상으로부터 도로면 영역을 추출하고, 상기 오쏘 기준 영상의 도로면 영역을 상기 추출된 도로면 영역을 이용하여 갱신하는 도로면 영역 갱신부; 및
도로면 영역이 갱신된 오쏘 기준 영상을 오쏘 뷰에서 퍼스펙티브 뷰로 변환하는 영상 복원부를 포함하는,
도로면 영역 갱신 방법. - 제13항에 있어서,
상기 영상 복원부는 상기 기준 영상에 상기 퍼스펙티브 뷰로 변환된 영상을 중첩하는,
도로면 영역 갱신 장치. - 제13항에 있어서,
상기 도로면 영역 갱신부는, 상기 오쏘 신규 영상으로부터, 상기 오쏘 기준 영상과 상기 오쏘 신규 영상 간의 특징점 기반 와핑을 통해 상기 오쏘 기준 영상의 시점으로 와핑된 와핑 오쏘 신규 영상을 생성하고, 상기 와핑 오쏘 신규 영상으로부터 도로면 영역을 추출하고, 상기 오쏘 기준 영상의 도로면 영역을 상기 추출된 도로면 영역을 이용하여 갱신하는,
도로면 영역 갱신 장치. - 제15항에 있어서,
상기 오쏘 뷰 변환부는 더욱, 상기 보정 신규 영상으로부터 도로면 영역 마스크 영상을 생성하고, 상기 도로면 영역 마스크 영상을 퍼스펙티브(perspective) 뷰에서 오쏘(ortho) 뷰로 변환하여 오쏘 마스크 영상을 생성하고,
상기 도로면 영역 갱신부는 더욱, 상기 특징점 기반 와핑을 통해 상기 오쏘 마스크 영상으로부터 와핑 오쏘 마스크 영상을 생성하고,
상기 도로면 영역 갱신부는, 상기 와핑 오쏘 신규 영상으로부터 상기 와핑 오쏘 마스크 영상을 이용하여 도로면 영역을 추출하는,
도로면 영역 갱신 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210175595A KR102751023B1 (ko) | 2021-12-09 | 2021-12-09 | MMS(Mobile Mapping System)에 의해 촬영된 영상의 도로면 영역 갱신 방법 및 장치 |
| KR1020240200630A KR20250008838A (ko) | 2021-12-09 | 2024-12-30 | MMS(Mobile Mapping System)에 의해 촬영된 영상의 도로면 영역 갱신 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210175595A KR102751023B1 (ko) | 2021-12-09 | 2021-12-09 | MMS(Mobile Mapping System)에 의해 촬영된 영상의 도로면 영역 갱신 방법 및 장치 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020240200630A Division KR20250008838A (ko) | 2021-12-09 | 2024-12-30 | MMS(Mobile Mapping System)에 의해 촬영된 영상의 도로면 영역 갱신 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230087031A true KR20230087031A (ko) | 2023-06-16 |
| KR102751023B1 KR102751023B1 (ko) | 2025-01-09 |
Family
ID=86948191
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210175595A Active KR102751023B1 (ko) | 2021-12-09 | 2021-12-09 | MMS(Mobile Mapping System)에 의해 촬영된 영상의 도로면 영역 갱신 방법 및 장치 |
| KR1020240200630A Pending KR20250008838A (ko) | 2021-12-09 | 2024-12-30 | MMS(Mobile Mapping System)에 의해 촬영된 영상의 도로면 영역 갱신 방법 및 장치 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020240200630A Pending KR20250008838A (ko) | 2021-12-09 | 2024-12-30 | MMS(Mobile Mapping System)에 의해 촬영된 영상의 도로면 영역 갱신 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (2) | KR102751023B1 (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180059723A (ko) * | 2016-11-26 | 2018-06-05 | 팅크웨어(주) | 이미지 처리 장치, 이미지 처리 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 |
| US20190019330A1 (en) * | 2017-07-13 | 2019-01-17 | Toyota Jidosha Kabushiki Kaisha | Dynamic map update device, dynamic map update method, and non-transitory computer readable medium recording dynamic map update program |
| US20200202487A1 (en) * | 2018-12-21 | 2020-06-25 | Here Global B.V. | Method, apparatus, and computer program product for generating an overhead view of an environment from a perspective image |
-
2021
- 2021-12-09 KR KR1020210175595A patent/KR102751023B1/ko active Active
-
2024
- 2024-12-30 KR KR1020240200630A patent/KR20250008838A/ko active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180059723A (ko) * | 2016-11-26 | 2018-06-05 | 팅크웨어(주) | 이미지 처리 장치, 이미지 처리 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 |
| US20190019330A1 (en) * | 2017-07-13 | 2019-01-17 | Toyota Jidosha Kabushiki Kaisha | Dynamic map update device, dynamic map update method, and non-transitory computer readable medium recording dynamic map update program |
| US20200202487A1 (en) * | 2018-12-21 | 2020-06-25 | Here Global B.V. | Method, apparatus, and computer program product for generating an overhead view of an environment from a perspective image |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20250008838A (ko) | 2025-01-16 |
| KR102751023B1 (ko) | 2025-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7485749B2 (ja) | ビデオベースの位置決め及びマッピングの方法及びシステム | |
| US11433880B2 (en) | In-vehicle processing apparatus | |
| Held et al. | Precision tracking with sparse 3d and dense color 2d data | |
| KR102091580B1 (ko) | 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법 | |
| JP5714940B2 (ja) | 移動体位置測定装置 | |
| US12103517B2 (en) | In-vehicle processing device and movement support system | |
| CN111263960B (zh) | 用于更新高清晰度地图的设备和方法 | |
| EP3942794B1 (en) | Depth-guided video inpainting for autonomous driving | |
| CN107167826B (zh) | 一种自动驾驶中基于可变网格的图像特征检测的车辆纵向定位系统及方法 | |
| KR20190087266A (ko) | 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법 | |
| CN111442776A (zh) | 顺序地面场景图像投影合成与复杂场景重构的方法及设备 | |
| KR102200299B1 (ko) | 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 | |
| CN108335337B (zh) | 一种正射影像图的生成方法及装置 | |
| CN111856491A (zh) | 用于确定车辆的地理位置和朝向的方法和设备 | |
| CN104204721A (zh) | 单个相机距离估计 | |
| US20220398856A1 (en) | Method for reconstruction of a feature in an environmental scene of a road | |
| CN113034540A (zh) | 基于摄像机的自动化精密道路地图生成系统及方法 | |
| WO2020156923A2 (en) | Map and method for creating a map | |
| CN111681172A (zh) | 协同构建点云地图的方法、设备和系统 | |
| JP5544595B2 (ja) | 地図画像処理装置、地図画像処理方法、および、コンピュータプログラム | |
| KR20220151572A (ko) | IPM 이미지와 정밀도로지도(HD Map) 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법 및 시스템 | |
| CN118015132B (zh) | 一种车辆行驶数据的处理方法、装置及存储介质 | |
| CN111784798B (zh) | 地图生成方法、装置、电子设备和存储介质 | |
| KR20220050386A (ko) | 맵 생성 방법 및 이를 이용한 이미지 기반 측위 시스템 | |
| Lee et al. | Semi-automatic framework for traffic landmark annotation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20211209 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20240214 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20241007 |
|
| PG1601 | Publication of registration |