[go: up one dir, main page]

KR102490520B1 - Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법 - Google Patents

Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법 Download PDF

Info

Publication number
KR102490520B1
KR102490520B1 KR1020200052359A KR20200052359A KR102490520B1 KR 102490520 B1 KR102490520 B1 KR 102490520B1 KR 1020200052359 A KR1020200052359 A KR 1020200052359A KR 20200052359 A KR20200052359 A KR 20200052359A KR 102490520 B1 KR102490520 B1 KR 102490520B1
Authority
KR
South Korea
Prior art keywords
coordinates
image pixel
gps
lidar
pixel coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020200052359A
Other languages
English (en)
Other versions
KR20210133583A (ko
Inventor
김지성
김재승
Original Assignee
주식회사 모빌테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 모빌테크 filed Critical 주식회사 모빌테크
Priority to KR1020200052359A priority Critical patent/KR102490520B1/ko
Priority to PCT/KR2021/004267 priority patent/WO2021221334A1/ko
Publication of KR20210133583A publication Critical patent/KR20210133583A/ko
Application granted granted Critical
Publication of KR102490520B1 publication Critical patent/KR102490520B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51—Display arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Instructional Devices (AREA)
  • Navigation (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 각 픽셀마다 컬러 정보 및 장애물 정보를 매칭 시켜 정확한 컬러 맵 정보를 형성하는 컬러 맵 생성 방법을 제공한다.
일 실시예에 따른 컬러 맵 생성 방법은 GPS신호를 수신하여 GPS데이터를 형성하는 단계; 상기 GPS데이터에 포함된 상기 복수의 GPS좌표를 이미지 픽셀 좌표로 변환하는 단계; 상기 이미지 픽셀 좌표와 상기 복수의 GPS좌표와 대응되는 상기 GPS 데이터 및 컬러 정보와 매칭 시키는 단계; 상기 복수의 GPS좌표 각각과 대응되는 상기 라이다 좌표의 위치를 기초로 상기 이미지 픽셀 좌표를 군집화하는 단계; 군집화된 상기 이미지 픽셀 좌표를 기초로 상기 GPS 데이터와 대응되는 컬러 맵 데이터를 형성하는 단계;를 포함할 수 있다.

Description

GPS정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법{APPARATUS FOR BUILDING MAP USING GPS INFORMATION AND LIDAR SIGNAL AND CONTROLLING METHOD THEREOF}
본 발명은 MMS(Mobile Mapping System)에서 수집한 데이터를 이용하여 컬러 맵을 생성하는 기술에 관련된 것이다.
MMS란 카메라, 라이다 등 다양한 원격 감지 시스템과 GPS(Global Positioning System), INS(Inertial Navigation System) 등의 항법 센서를 갖춰 지리 공간 데이터를 수집하는 장치를 의미한다.
라이다를 포함한 MMS에서 수집한 데이터를 이용해 정밀 점군 지도를 구축할 수 있다.
카메라에서 수집한 RGB 이미지 데이터를 이용해 3차원 점군 지도에 색 정보를 추가하는 것이 가능하다.
GPS 신호 및 라이다가 획득한 데이터와 카메라가 획득한 이미지 데이터를 기초로 색 정보가 포함된 맵 정보를 형성할 수 있다.
KR 10-2004-0045050 A에 일부 객체 정보를 제공하는 동작이 개시되어 있으나 맵 정보와 색을 대응시켜 제공하는 동작은 명확하게 개시되지 않았다.
다만 모든 지점에 대하여 상술한 데이터를 이용하여 색 정보가 포함된 맵 정보를 형성하면 장애물이 존재하는 지점에 대응하는 지점에 잘못된 색이 적용되여 정확도가 낮은 맵 정보가 형성될 수 있다. 따라서 장애물과 대응되는 정확한 맵 정보를 형성하는 방법에 대한 연구가 필요한 실정이다.
KR 10-2004-0045050 A
본 발명은 각 픽셀마다 컬러 정보 및 장애물 정보를 매칭 시켜 정확한 컬러 맵 정보를 형성하는 컬러 맵 생성 방법을 제공한다.
일 실시예에 따른 컬러 맵 생성 방법은 GPS신호를 수신하여 GPS데이터를 형성하는 단계; 상기 GPS데이터에 포함된 상기 복수의 GPS좌표를 이미지 픽셀 좌표로 변환하는 단계; 상기 이미지 픽셀 좌표와 상기 복수의 GPS좌표와 대응되는 상기 GPS 데이터 및 컬러 정보와 매칭 시키는 단계; 상기 복수의 GPS좌표 각각과 대응되는 상기 라이다 좌표의 위치를 기초로 상기 이미지 픽셀 좌표를 군집화하는 단계; 군집화된 상기 이미지 픽셀 좌표를 기초로 상기 GPS 데이터와 대응되는 컬러 맵 데이터를 형성하는 단계;를 포함할 수 있다.
상기 복수의 GPS좌표를 이미지 픽셀 좌표로 변환하는 단계는,
상기 복수의 GPS좌표를 라이다 좌표로 변환하는 단계; 및 상기 라이다 좌표를 상기 이미지 픽셀 좌표로 변환하는 단계;를 포함할 수 있다.
상기 컬러 맵 데이터를 형성하는 단계는, 상기 라이다 좌표와 가장 가까운 군집화된 상기 이미지 픽셀 좌표를 기초로 상기 컬러 맵 데이터를 형성하는 단계;를 포함할 수 있다.
상기 컬러 맵 데이터를 형성하는 단계는, 상기 라이다 좌표와 가장 가까운 군집화된 상기 이미지 픽셀 좌표에 RGB 값을 입력하여 상기 컬러 맵 데이터를 형성하는 단계;를 포함할 수 있다.
상기 복수의 GPS좌표를 이미지 픽셀 좌표로 변환하는 단계는, 상기 GPS 데이터에 포함되는 복수의 체크 포인트를 결정하는 단계; 및 상기 복수의 체크 포인트와 대응되는 상기 복수의 GPS 좌표를 상기 이미지 픽셀로 변환하는 단계;를 포함하고, 상기 복수의 체크 포인트는 미리 결정된 기준 거리 이상 이격되도록 결정될 수 있다.
상기 컬러 맵 데이터는, 복수개의 키(key) 정보를 포함하는 해시 맵(Hash map)으로 형성될 수 있다.
상기 컬러 맵 데이터를 형성하는 단계는, 상기 복수의 키 정보 중 상기 이미지 픽셀 좌표에 대응되는 등록 키 정보가 존재하면,
상기 등록 키 정보와 상기 GPS 데이터 및 컬러 정보를 매칭할 수 있다.
상기 컬러 맵 데이터를 형성하는 단계는, 상기 복수의 키 정보 중 상기 이미지 픽셀 좌표에 대응되는 등록 키 정보가 존재하지 않으면, 상기 이미지 픽셀 좌표에 대응되는 추가 등록 키 정보를 생성하고, 상기 추가 등록 키 정보와 상기 GPS 데이터 및 컬러 정보를 매칭할 수 있다.
상기 이미지 픽셀 좌표를 군집화하는 단계는, 상기 이미지 픽셀 좌표를 포함하는 복수개의 군집의 거리의 분산을 최소화 하는 알고리즘으로 수행될 수 있다.
일 실시예에 따른 컬러 맵 생성 장치는 GPS 신호를 수신하는 통신부; 적어도 하나의 객체의 라이다 좌표를 획득하는 라이다; 이미지 데이터를 획득하는 카메라; GPS신호를 수신하여 GPS데이터를 형성하고,
상기 GPS데이터에 포함된 상기 복수의 GPS좌표를 이미지 픽셀 좌표로 변환하고, 해시 맵을 형성하여, 상기 이미지 픽셀 좌표를 키 정보로 결정하고, 상기 키 정보와 상기 GPS 데이터 및 컬러 정보를 버켓(bucket)으로 매칭하고, 상기 복수의 GPS좌표 각각과 대응되는 상기 라이다 좌표의 위치를 기초로 상기 이미지 픽셀 좌표를 군집화하고, 군집화된 상기 이미지 픽셀 좌표를 기초로 상기 GPS 데이터와 대응되는 컬러 맵 데이터를 형성하는 제어부;를 포함할 수 있다.
본 발명에 따른 효과는 다음과 같다.
일 실시예에 따른 컬러 맵 생성 방법은 각 픽셀마다 컬러 정보 및 장애물 정보를 매칭 시켜 정확한 컬러 맵 정보를 형성할 수 있다.
일 실시예에 따른 컬러 맵 생성 방법은 별도의 하드웨어 추가 없이 정확도 높은 맵 정보를 형성하여 비용을 절감할 수 있다.
일 실시예에 따른 컬러 맵 생성 방법은 정확한 맵 정보를 형성하므로서 컬러 맵 정보를 이용하는 사용자의 안전성을 확보할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도1은 일 실시예에 따른 컬러 맵 생성 장치의 제어블럭도이다.
도2는 일 실시예에 따른 컬러 맵 정보를 형성하는 순서도이다.
도3은 일 실시예에 따른 해시 맵을 형성하는 동작을 설명하기 위한 순서도이다.
도4는 일 실시예에 따른 본 발명의 해시 맵(hash map)을 설명하기 위한 도면이다.
도5및 도6는 일 실시예에 따른 GPS 정보, 라이다 정보 및 이미지 정보의 대응 관계를 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도1은 일 실시예에 따른 컬러 맵 생성 장치의 제어블럭도이다.
일 실시예에 따른 컬러 맵 생성 장치(10)는 통신부(100), 라이다(300), 카메라(200) 및 제어부(400)를 포함할 수 있다.
통신부(100)는 GPS신호를 수신할 수 있다. 제어부는 통신부가 수신한 GPS신호를 기초로 GPS데이터를 형성할 수 있으며 GPS데이터 각각에 GPS좌표를 대응시킬 수 있다.
라이다(300)는 라이다 신호를 송신 및 수신할 수 있어 주변 물체의 위치 정보를 획득할 수 있다.
또한 카메라(200)는 주변 이미지를 획득할 수 있다
제어부(400)는 통신부, 라이다 및 카메라가 획득한 데이터를 통합하여 GPS데이터를 카메라가 획득한 이미지 데이터에 투영시킬 수 있다.
도1과 도2를 함께 참고하면, 제어부는 통신부가 수신한 GPS 신호를 기초로 GPS데이터를 형성할 수 있다(S1).
한편 제어부는 GPS데이터의 GPS좌표를 카메라가 획득한 이미지의 픽셀 좌표로 변환할 수 있다(S2).
한편 제어부가 GPS좌표를 이미지 픽셀 좌표로 변환할 때 GPS좌표를 라이다 좌표로 변환하고 변환한 라이다 좌표를 카메라가 획득한 이미지의 이미지 픽셀 좌표로 변환할 수 있다.
한편 본 발명의 전반적인 동작에 있어서 MMS(Mobile Mapping System)가 이용될 수 있다.
일 실시예에 따른 MMS에서는 0.1초 주기로 이미지와 라이다 데이터가 수집되고 0.005초 주기로 GPS 데이터를 기록한다.
한편 제어부는 기록된 GPS 데이터를 이용하여 체크포인트를 생성할 수 있다.
한편 본 발명의 카메라는 초당 10회의 속도로 사진이 기록되지만, 해당 사진들을 0.1초 간격으로 모두 투영 원활한 매핑이 어려울 수 있다.
따라서 제어부는 실제로 투영에 이용할 이미지를 일정 거리 차이를 두어서 결정할 수 있다.
즉 제어부는 체크 포인트를 미리 결정된 기준 거리 이상 이격 되도록 결정할 수 있다.
이러한 동작을 위하여 제어부는 기록된 GPS 데이터를 토대로 누적 거리를 계산하고, 일정 거리가 도달했을 때마다 GPS 데이터 인덱스(Data Index)를 저장할 수 있다. 한편 해당 인덱스들은 후술하는 체크 포인트를 의미할 수 있으며 투영 기준점의 위치를 나타낼 수 있다.
즉 제어부는 복수의 체크 포인트와 대응되는 복수의 GPS 좌표를 상기 이미지 픽셀로 변환할 수 있다.
한편 제어부는 이미지 픽셀 좌표와 상기 복수의 GPS좌표와 대응되는 상기 GPS 데이터 및 컬러 정보와 매칭 시킬 수 있다. 이러한 동작은 제어부가 이미지 픽셀 좌표를 기초로 해시 맵(hash map)을 형성하여 구현될 수 있다(1003).
한편 제어부가 해시 맵을 형성하는 구체적인 동작은 도3에서 서술한다.
제어부는 복수의 GPS좌표 각각과 대응되는 라이다 좌표의 위치를 기초로 이미지 픽셀 좌표를 군집화 할 수 있다(S4).
구체적으로 체크 포인트 GPS좌표와 이미지 픽셀 좌표의 매칭이 끝나면 카메라가 획득한 이미지의 이미지 픽셀 좌표는 라이다가 획득한 라이다 좌표 각각과 대응될 수 있다. 제어부는 각각의 이미지 픽셀 좌표를 유클리드 클러스터링 알고리즘(Euclidean Clustering Algorithm)을 이용하여 서로 가까운 거리에 있는 점들을 군집화 할 수 있다.
한편 유클리드 클러스터링 알고리즘은 이미지 픽셀 좌표를 포함하는 복수개의 군집의 거리의 분산을 최소화하는 동작을 포함할 수 있다.
제어부는 라이다 좌표와 가장 가까운 군집화 된 상기 이미지 픽셀 좌표를 기초로 컬러 맵 데이터를 형성할 수 있다.
구체적으로 제어부는 라이다 좌표계 원점을 기준으로 하여 가장 가까운 거리에 있는 군집에 속한 점들을 투영 대상 점으로 설정하고, 나머지 군집들은 색 투영에서 제외할 수 있다.
제어부는 군집화 된 이미지 픽셀 좌표를 기초로 GPS 데이터와 대응되는 컬러 맵 데이터를 형성할 수 있다(S5).
구체적으로 제어부는 원점에서 가장 가까운 군집에 해당하는 점들, 즉 투영 대상점으로 선정된 점들에 대해 해당 픽셀의 RGB 값을 입력하고, 맵에 누적하여 맵 데이터를 형성할 수 있다.
한펴 도1 및 도2에서 설명하는 컬러 맵 생성 장치의 각 구성 및 각 구성에 대응하는 동작은 본 발명의 일 실시예에 불과하고 그 동작의 제한은 없다.
도3은 일 실시예에 따른 해시 맵을 형성하는 동작을 설명하기 위한 순서도이고, 도4는 일 실시예에 따른 본 발명의 해시 맵(hash map)을 설명하기 위한 도면이다.
도3및 도4를 참고하면, 해시 맵은 컴퓨팅에서 키를 값에 매핑할 수 있는 구조인, 연관 배열 추가에 사용되는 자료 구조를 의미할 수 있다. 해시 맵은 해시 함수를 사용하여 색인(index, Key, K41)을 버킷(bucket, B41, B42)으로 계산한다.
본 발명에서는 GPS좌표가 라이다 좌표로 변환될 수 있다. 또한 라이다 좌표는 이미지 픽셀 좌표로 대응될 수 있다.
한편 본 발명의 일 실시예에서는 이미지 픽셀 좌표가 해시 맵의 키 정보(Key, K41)에 대응될 수 있고, 해당 키 정보에 GPS좌표에 대응되는 GPS데이터(B41)와 해당 GPS 좌표에 대응되는 컬러 정보(B42)가 각각 버켓에 대응될 수 있다.
구체적으로 제어부는 픽셀 정보를 기초로 해시 맵을 생성하는 동작을 시작할 수 있다(S11).
한편 제어부가 해시 맵 생성을 시작하면 GPS 좌표를 라이다 좌표로 변환할 수 있다(S12).
또한 제어부는 이에 이어서 라이다 좌표를 이미지 픽셀 좌표로 변환할 수 있다(S13).
즉 제어부는 점군 맵이 있다고 가정하고, 각 체크포인트를 기준으로 해서 일정 거리 이하의 점들만 예비 투영 대상으로 결정할 수 있다.
이후 제어부는 투영 대상으로 선정된 점들을 점군 맵 생성과정의 역으로 계산하여 라이다 좌표계로 전환시킨다.
제어부는 라이다 좌표계로 전환된 점들을 원근투영변환을 이용해 이미지 픽셀 좌표(pixel_x, pixel_y)로 변환시킨다. 구체적인 변환 과정은 아래에 서술한다.
제어부는 GPS좌표를 아래 수학식1을 이용하여 라이다 좌표로 변환시킬 수 있다.
Figure 112020044512013-pat00001
L은 라이다 좌표를 의미한다. RL2I은 라이다에서 IMU로 전환되는 행렬을 의미한다. Rckpt는 체크 포인트의 로테이션 데이터를 의미한다. RI2W는 IMU에서 GPS좌표계의 전환 행렬을 의미한다. W는 GPS좌표를 의미하고 G는 해당 체크 포인트에서의 GPS데이터를 의미한다.
TL2I은 라이다에서 IMU로 변환되는 행렬을 의미한다.
한편 각 좌표계의 로테이션 행렬는 오일러각을 이용한 행렬로 표현될 수 있다. 이와 관련된 행렬은 수학식2와 같다.
Figure 112020044512013-pat00002
한편 이렇게 변환된 라이다 좌표는 다시 이미지 픽셀 좌표로 변환될 수 있다. 라이다 좌표가 이미지 픽셀 좌표로 변환되는 동작은 아래의 수학식3을 기초로 구현될 수 있다.
Figure 112020044512013-pat00003
수학식3을 참고하면 RL2C는 라이다에서 카메라 로테이션(rotation)의 행렬을 의미한다. TL2C는 라이다에서 카메라 전환(translation) 행렬을 의미한다.
fx 및 fy는 초점 거리를 의미한다. cx 및 cy는 주점을 의미한다.
Pixelx 및 pixely는 이미지 픽셀 좌표를 의미한다.
제어부는 상술한 동작을 기초로 GPS 좌표를 라이다 좌표로 변환하고, 라이다 좌표를 이미지 픽셀 좌표로 변환할 수 있다.
해시 맵에 이렇게 형성된 이미지 픽셀 좌표에 대응되는 키 정보가 존재하면(S14), 제어부는 키 정보에 GPS데이터 및 컬러 정보를 매칭 시켜 해시 맵을 형성할 수 있다(S16).
반면 형성된 이미지 픽셀 좌표에 대응되는 키 정보(K41)가 해시 맵에 존재하지 않으면 제어부는 이미지 픽셀 좌표에 대응되는 추가 등록 키 정보를 생성하고, 추가 등록 키 정보와 GPS 데이터(B41) 및 컬러 정보(B42)를 매칭할 수 있다.
상술한 동작을 제어부는 이미지 픽셀 좌표를 키 정보로하고 GPS데이터와 컬러 정보를 버켓으로 하는 해시 맵을 생성할 수 있다
한편 상술한 동작은 본 발명의 일 실시예에 불과하며 제어부가 이미지 픽셀 좌표와 데이터를 대응시켜 해시맵을 생성하는 동작의 제한은 없다.
도5및 도6는 일 실시예에 따른 GPS 정보, 라이다 정보 및 이미지 정보의 대응 관계를 설명하기 위한 도면이다.
도5 및 도6에서는, 본 발명의 동작을 설명하기 위하여 맵 정보에 있어서 도로 및 숲에 대응되는 컬러 맵 정보를 형성하는 동작을 설명한다.
기존의 컬러 맵은 도5와같이 생성될 수 있다. 기존의 컬러 맵에서는 도로 주변의 물체인 나무의 화분(I52)의 색이 도로(I51)에 입혀지는 문제점이 있었다.
한편 본 발명의 일 실시예에 따른 컬러 맵 생성 장치는 도로의 GPS좌표 및 GPS좌표에 대응되는 GPS데이터를 획득할 수 있다. 한편 컬러 맵 생성 장치는 GPS장치를 변환하여 라이다 좌표를 생성할 수 있다. 또한 생성된 라이다 좌표는 변환되어 이미지 픽셀 좌표로 생성될 수 있다. 도로에 대응되는 이미지 픽셀 좌표는 I61로 생성될 수 있다.
한편 일 실시예 따른 컬러 맵 생성 장치는 도로 주변의 물체의 GPS좌표 및 GPS좌표에 대응되는 GPS데이터를 획득할 수 있다. 한편 컬러 맵 생성 장치는 GPS장치를 변환하여 라이다 좌표를 생성할 수 있다. 또한 생성된 라이다 좌표는 변환되어 이미지 픽셀 좌표로 생성될 수 있다. 도로 주변의 물체인 나무의 화분의 이미지 픽셀 좌표는 I62로 결정될 수 있다.
한편 각 이미지 픽셀 좌표는 해시 맵을 통하여 컬러 정보가 대응될 수 있으므로 도5와 같이 색 정보가 다르게 입히는 것이 아닌 올바르게 입혀질 수 있다.
이러한 동작을 기초로 컬러 맵 생성 장치는 컬러 맵 정보를 생성할 수 있다. 즉 컬러 맵 생성 장치는 도로(I61)에 대응되는 이미지 픽셀 좌표에 해당 객체의 GPS데이터와 컬러 정보를 대응시키고 화분(I62)에 대응되는 이미지 픽셀 좌표에 해당 객체의 GPS데이터와 컬러 정보를 대응시켜 장애물에 가려진 영역에 대해서도 올바른 색 데이터가 적용된 컬러 맵 정보를 생성할 수 있다.
제어부는 도로가 빨강으로 표현된 컬러 맵 정보를 형성할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
10 : 컬러 맵 생성 장치
100 : 통신부 200 : 카메라
300 : 라이다 400 : 제어부

Claims (10)

  1. 라이다를 이용하여 라이다 신호를 송수신하고 주변 물체의 라이다 좌표를 포함하는 위치 정보를 획득하는 단계;
    카메라를 이용하여 주변의 이미지를 획득하는 단계;
    GPS신호를 수신하여 GPS데이터를 형성하는 단계;
    GPS데이터를 카메라가 획득한 이미지 데이터에 투영하는 단계;
    상기 GPS데이터에 포함된 복수의 GPS좌표를 이미지 픽셀 좌표로 변환하는 단계;
    상기 이미지 픽셀 좌표와 상기 복수의 GPS좌표와 대응되는 상기 GPS 데이터 및 컬러 정보와 매칭시키는 단계;
    상기 복수의 GPS좌표 각각과 대응되는 라이다 좌표의 위치를 기초로 상기 이미지 픽셀 좌표를 군집화하는 단계;
    군집화된 상기 이미지 픽셀 좌표를 기초로 상기 GPS 데이터와 대응되는 컬러 맵 데이터를 형성하는 단계;를 포함하고,
    상기 복수의 GPS좌표를 이미지 픽셀 좌표로 변환하는 단계는,
    상기 복수의 GPS좌표를 라이다 좌표로 변환하는 단계; 및
    상기 라이다 좌표를 상기 이미지 픽셀 좌표로 변환하는 단계;를 포함하며,
    상기 복수의 GPS좌표를 이미지 픽셀 좌표로 변환하는 단계는,
    상기 GPS 데이터에 포함되는 복수의 체크 포인트를 결정하는 단계; 및
    상기 복수의 체크 포인트와 대응되는 상기 복수의 GPS 좌표를 상기 이미지 픽셀로 변환하는 단계;를 포함하고,
    상기 라이다 좌표를 상기 이미지 픽셀 좌표로 변환하는 단계는,
    점군 맵이 있다고 가정하고, 각 체크 포인트를 기준으로 해서 일정 거리 이하의 점들만 투영 대상으로 결정하고, 투영 대상으로 선정된 점들을 점군 맵 생성과정의 역으로 계산하여 라이다 좌표계로 전환시키며,
    상기 복수의 체크 포인트는 미리 결정된 기준 거리 이상 이격되도록 결정되고, 실제로 투영에 이용할 이미지는 일정 거리 차이를 두어서 결정되며, 기록된 GPS 데이터를 토대로 일정 거리에 도달했을 때마다 GPS 데이터 인덱스(Data Index)를 저장하여 투영 기준점의 위치를 나타내고,
    상기 라이다 좌표를 상기 이미지 픽셀 좌표로 변환하는 단계는,
    수학식 3을 이용하여 상기 라이다 좌표를 상기 이미지 픽셀 좌표로 변환하며,
    [수학식 3]
    Figure 112022098307982-pat00014

    (여기서, RL2C는 라이다에서 카메라 로테이션 행렬이고, TL2C는 라이다에서 카메라 전환 행렬이며, fx 및 fy는 초점 거리이고, cx 및 cy는 주점이며, Pixelx 및 Pixely는 이미지 픽셀 좌표이다.)
    상기 컬러 맵 데이터를 형성하는 단계는,
    상기 라이다 좌표와 가장 가까운 군집화된 상기 이미지 픽셀 좌표를 기초로 상기 컬러 맵 데이터를 형성하는 단계; 및
    상기 라이다 좌표와 가장 가까운 군집화된 상기 이미지 픽셀 좌표에 RGB 값을 입력하여 상기 컬러 맵 데이터를 형성하는 단계;를 포함하고,
    상기 컬러 맵 데이터는,
    복수개의 키(key) 정보를 포함하는 해시 맵(Hash map)으로 형성되며,
    상기 컬러 맵 데이터를 형성하는 단계는,
    상기 복수의 키 정보 중 상기 이미지 픽셀 좌표에 대응되는 등록 키 정보가 존재하면,
    상기 등록 키 정보와 상기 GPS 데이터 및 컬러 정보를 매칭하고,
    상기 복수의 키 정보 중 상기 이미지 픽셀 좌표에 대응되는 등록 키 정보가 존재하지 않으면,
    상기 이미지 픽셀 좌표에 대응되는 추가 등록 키 정보를 생성하고,
    상기 추가 등록 키 정보와 상기 GPS 데이터 및 컬러 정보를 매칭하며,
    상기 이미지 픽셀 좌표를 군집화하는 단계는,
    상기 이미지 픽셀 좌표를 포함하는 복수개의 군집의 거리의 분산을 최소화 하는 알고리즘으로 수행되며,
    라이다 좌표계 원점을 기준으로 하여 가장 가까운 거리에 있는 군집에 속한 점들을 투영 대상 점으로 설정하고, 나머지 군집들은 색 투영에서 제외하고, 투영 대상점으로 선정된 점들에 대해 해당 픽셀의 RGB 값을 입력하고, 맵에 누적하여 맵 데이터를 형성하는 것을 특징으로 하는 컬러 맵 생성 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
KR1020200052359A 2020-04-29 2020-04-29 Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법 Active KR102490520B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200052359A KR102490520B1 (ko) 2020-04-29 2020-04-29 Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법
PCT/KR2021/004267 WO2021221334A1 (ko) 2020-04-29 2021-04-06 Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200052359A KR102490520B1 (ko) 2020-04-29 2020-04-29 Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20210133583A KR20210133583A (ko) 2021-11-08
KR102490520B1 true KR102490520B1 (ko) 2023-01-25

Family

ID=78373629

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200052359A Active KR102490520B1 (ko) 2020-04-29 2020-04-29 Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법

Country Status (2)

Country Link
KR (1) KR102490520B1 (ko)
WO (1) WO2021221334A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3039666C (en) 2016-10-28 2022-08-23 Ppg Industries Ohio, Inc. Coatings for increasing near-infrared detection distances
KR20240144457A (ko) 2018-11-13 2024-10-02 피피지 인더스트리즈 오하이오 인코포레이티드 은닉 패턴을 검출하는 방법
US11561329B2 (en) 2019-01-07 2023-01-24 Ppg Industries Ohio, Inc. Near infrared control coating, articles formed therefrom, and methods of making the same
KR102540634B1 (ko) * 2022-10-27 2023-06-13 주식회사 모빌테크 프로젝션 기반 컬러맵 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102717645B1 (ko) * 2024-03-12 2024-10-16 국방과학연구소 데이터를 저장하는 장치 및 그 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100489890B1 (ko) 2002-11-22 2005-05-17 한국전자통신연구원 스테레오 비디오 또는/및 지리객체의 상세정보 제공 장치및 그방법
KR101826364B1 (ko) * 2012-03-08 2018-02-06 현대엠엔소프트 주식회사 컬러 지상 라이다 측량 데이터를 이용하여 건물의 3차원 모델링 데이터를 자동으로 생성하기 위한 방법
KR101611280B1 (ko) * 2014-06-16 2016-04-11 재단법인대구경북과학기술원 스테레오 카메라를 이용한 모바일 맵핑 시스템 및 모바일 맵핑 시스템의 포인트 클라우드 생성방법
KR20180055292A (ko) * 2016-11-16 2018-05-25 국민대학교산학협력단 다중 라이다 좌표계 통합 방법
KR102063534B1 (ko) * 2017-11-30 2020-01-09 주식회사 모빌테크 라이다를 이용한 지도 생성 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Geiger, Andreas, et al. Vision meets robotics: The kitti dataset. The International Journal of Robotics Research. 2013.*
Hegeman, James W., et al. Distributed LiDAR data processing in a high-memory cloud-computing environment. Annals of GIS. 2014.*
Zhang, Ji 외 2명. Real-time depth enhanced monocular odometry. International Conference on Intelligent Robots and Systems. IEEE. 2014.*

Also Published As

Publication number Publication date
WO2021221334A1 (ko) 2021-11-04
KR20210133583A (ko) 2021-11-08

Similar Documents

Publication Publication Date Title
KR102490520B1 (ko) Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
KR20190087266A (ko) 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
US11062475B2 (en) Location estimating apparatus and method, learning apparatus and method, and computer program products
KR101880185B1 (ko) 이동체 포즈 추정을 위한 전자 장치 및 그의 이동체 포즈 추정 방법
US12061252B2 (en) Environment model using cross-sensor feature point referencing
CN112556685B (zh) 导航路线的显示方法、装置和存储介质及电子设备
KR102006291B1 (ko) 전자 장치의 이동체 포즈 추정 방법
JPWO2012086821A1 (ja) 測位装置、測位方法
CN113532499B (zh) 无人系统的传感器安全性检测方法、设备及存储介质
KR101574876B1 (ko) 비전 센서 데이터베이스를 이용한 거리 측정 방법
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
EP3005238B1 (en) Method and system for coordinating between image sensors
CN103411587A (zh) 定位定姿方法及系统
IL267309B (en) Terrestrial observation device having location determination functionality
JP7345153B2 (ja) 飛翔体の地理座標推定装置、地理座標推定システム、地理座標推定方法、及びコンピュータプログラム
JP7444292B2 (ja) 検出システム、検出方法、及びプログラム
WO2020076263A2 (en) A system for providing position determination with high accuracy
US20250078314A1 (en) Unified visual localization architecture
KR102613590B1 (ko) 3차원 지형지물 위치 정보를 이용한 드론의 위치 결정 방법 및 이를 이용한 드론
Shahbazi SectorInsights. com—How Good is that Gear? Drones versus Surveyors!
EP4517262A1 (en) Unified visual localization architecture
KR20230065733A (ko) 3차원 지형지물 위치 정보를 업데이트하는 방법 및 이를 이용한 장치
KR20240112547A (ko) 동기화 방법 및 그 장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20200429

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20211101

Patent event code: PE09021S01D

PG1501 Laying open of application
AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20220518

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20211101

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20220518

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20211228

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20221017

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20220919

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20220518

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20211228

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20230116

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20230117

End annual number: 3

Start annual number: 1

PG1601 Publication of registration