KR102225321B1 - 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법 - Google Patents

Abstract

복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법이 제공된다.
상기 시스템은 이동형 플랫폼에 탑재된 복수 영상 센서로부터 취득된 영상 정보들과 상기 측위 센서로부터 취득된 위치 정보를 수신하고, 상기 영상 정보들을 결합하여 합성하는 수신부와, 상기 합성된 영상 정보들로부터 객체를 검출하여 객체 정보를 생성하는 객체 검출부와, 상기 복수 영상 센서의 위치와 자세로부터 추정되는 상기 영상 정보들의 위치와 자세 정보에 따른 상기 영상 정보들 간의 기하 관계를 정의하는 기하 정보에 근거하여, 상기 영상 정보에 상기 객체 정보와 상기 위치 정보 간의 결합 관계를 분석하는 객체 정보 분석부와, 상기 합성된 영상 정보에 상기 객체 정보와 상기 위치 정보를 결합하여 제 1 공간 정보를 생성하는 결합부와, 상기 복수 영상 센서의 촬영 노드들 간에 연속 이동 촬영된 영상 정보에 기초하여 상기 촬영 노드들 간의 방향 정보 및 연결 정보와 관련된 네트워크를 구성하는 제 2 공간 정보를 생성하는 네트워크 연결/방향 정보 분석부, 및 상기 제 1 및 제 2 공간 정보를 연계하여 도로 공간 정보를 생성하여 저장하는 데이터베이스부를 포함한다.

Description

복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법{System and method for building road space information through linkage between image information and position information acquired from a plurality of image sensors}

본 발명은 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법에 관한 것이다.

기존의 도로 공간 정보 및 네트워크 구축은 항공영상의 도화를 통해 이루어지거나 현장 영상을 통한 단순 판독으로 이루어져 다수의 차선과 노면표지, 표지판, 시설물들의 정확한 위치에 대한 도면화가 어렵다는 단점이 있다.

또한 단일 카메라 및 평면 카메라로 촬영 데이터로 분석할 때는 해상도의 한계 또는 시야각의 한계로 인해 해당 도로의 전체 구간에 대한 도로 공간 정보를 구축하는데는 한계가 있다.

위치좌표가 포함된 공간정보를 얻기 위한 주요한 장치로는 라이다(LiDAR, Light Detection and Ranging)로, 레이저를 통해 대상 객체의 3차원 위치를 측정할 수 있다.

그러나 라이다의 경우, 고가의 장비이며, 데이터를 다루는데 전문가가 포함되어야 하며, 안개 등 기상에 취약하다는 단점이 있다.

이에 따라 라이다 센서와 단일 카메라보다는 도로 주변의 영상을 제공하는 시스템으로서, 복수의 영상 센서, 예컨대 다수의 어안렌즈 카메라를 통해 전방위 영상을 생성하고 위치정보와 결합한 뷰어(viewer) 서비스를 제공하기 위한 기술이 지속적으로 시도되고 있다. 그러나, 복수 영상 센서로 취측한 영상 상에 표출되는 객체 위치정보와 도로의 네트워크 등 공간정보 구축을 위한 구체적인 방법론 및 솔루션이 제시되지 못한 실정이다.

이는, 다수의 광각렌즈 영상, 어안렌즈 영상, 전방위 영상 시스템과 영상정보를 결합 해석함이 매우 곤란할 뿐만 아니라, 특히, 카메라 외부에 설치된 측위센서를 통해 수집한 위치정보들과 영상정보를 연계하여 해석하는 명확한 방법론이 주어진 바가 없기 때문이다.

또한 영상정보와 위치정보 간 연계 분석 방법의 부재로 인해, 공간 상에서 연속성을 지니는 선, 면 형태로 표출되는 도로 네트워크을 생성하는데 한계가 있는 상황이다.

본 발명이 이루고자 하는 기술적 과제는 복수의 영상 센서로부터 취득한 복수의 영상 상에 표출되는 객체 위치정보와 도로의 네트워크 등 공간정보 구축을 위한 구체적인 솔루션을 제시하며, 또한 카메라 외부에 설치된 측위센서를 통해 수집한 위치정보들과 영상정보를 연계하여 해석함으로써, 도로 공간 상에서 연속성을 지니는 선, 면 형태로 표출되는 도로 네트워크 생성을 용이하게 구축하는 도로 공간 정보 구축을 위한 장치 및 방법을 제공하는데 있다.

본 발명의 목적은 이상에서 언급된 목적으로 제한되지 않으며, 언급되지 않은 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 이루기 위한 본 발명의 일 양태에 따르면, 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템은 이동형 플랫폼에 탑재된 복수 영상 센서로부터 취득된 영상 정보들과 측위 센서로부터 취득된 위치 정보를 수신하고, 상기 영상 정보들을 결합하여 합성하는 수신부와, 상기 합성된 영상 정보들로부터 객체를 검출하여 객체 정보를 생성하는 객체 검출부와, 상기 복수 영상 센서의 위치와 자세로부터 추정되는 상기 영상 정보들의 위치와 자세 정보에 따른 상기 영상 정보들 간의 기하 관계를 정의하는 기하 정보에 근거하여, 상기 영상 정보에 상기 객체 정보와 상기 위치 정보 간의 결합 관계를 분석하는 객체 정보 분석부와, 상기 합성된 영상 정보에 상기 객체 정보와 상기 위치 정보를 결합하여 제 1 공간 정보를 생성하는 결합부와, 상기 복수 영상 센서의 촬영 노드들 간에 연속 이동 촬영된 영상 정보에 기초하여 상기 촬영 노드들 간의 방향 정보 및 연결 정보와 관련된 네트워크를 구성하는 제 2 공간 정보를 생성하는 네트워크 연결/방향 정보 분석부와, 상기 제 1 및 제 2 공간 정보를 연계하여 도로 공간 정보를 생성하여 저장하는 데이터베이스부, 및 상기 도로 공간 정보에 기초하여 소정 좌표 모델로 구성된 지도를 생성하여 상기 데이터베이스부에 저장시키는 도화부를 포함한다.

다른 실시예에서, 상기 객체 정보 분석부는 상기 기하 정보에 근거하여 상기 객체 정보, 상기 위치 정보와 함께 상기 객체의 높이와 관련된 3 차원 기하 정보 간의 결합 관계를 분석하고, 상기 결합부에서 생성하는 상기 제 1 공간 정보는 상기 3 차원 기하 정보를 더 결합할 수 있다.

또 다른 실시예에서, 상기 객체 정보 분석부는 상기 기하 정보에 근거한 상기 객체의 높이와 관련된 3 차원 기하 정보를 산출할 수 없는 경우에, 상기 영상 정보를 2 차원 기하 모델로 변환하고, 상기 영상 정보 내에서 픽셀 데이터 분석을 통한 상기 객체의 높이를 추정하거나, 상기 영상 센서의 높이에 기초한 상기 객체의 높이를 추정하고, 상기 추정된 객체의 높이를 상기 3 차원 기하 정보와 상기 기하 정보에 반영하는 기하 정보부를 더 포함하고, 상기 제 1 공간 정보는 상기 반영된 기하 정보에 기초하여 상기 객체 정보, 상기 위치 정보 및 상기 3 차원 기하 정보가 결합하도록 생성될 수 있다.

또 다른 실시예에서, 상기 기하 정보는 상기 영상 센서마다 정의된 기하 파라미터를 기초로 산출된 내부 기하 및 복수 영상 센서들이 탑재된 이동형 플랫폼의 위치와 자세에 따른 상기 영상 센서들 간의 기하 관계를 정의하는 외부 기하를 포함할 수 있다.

또 다른 실시예에서, 상기 이동형 플랫폼이 상기 이동형 플랫폼의 이동에 따른 회전 운동이 발생하는 부분에 설치되는 휠 센서, CAN(Controll Area Network) 통신을 구현하여 상기 이동형 플랫폼의 CAN 정보를 상기 이동형 플랫폼의 외부로 전송하는 CAN 모듈 및 관성 항법 센서 중 적어도 하나를 구비하는 경우에, 상기 휠 센서의 회전 데이터, 시간 데이터 또는 상기 CAN 정보의 속도 데이터, 상기 시간 데이터를 취득하고, 상기 영상 센서가 촬영한 촬영 노드의 촬영 시간 데이터와 상기 측위 센서의 측위 시간 데이터가 불일치하는 경우에, 상기 측위 센서로부터 측정된 인접 측위 정보들 사이의 촬영 노드의 시간 데이터와 함께, 상기 휠 센서의 회전 및 시간 데이터 또는 상기 CAN 정보의 속도 및 시간 데이터에 기반한 내삽 또는 외삽 모델을 활용하여 상기 촬영 노드의 위치를 산출하여 상기 위치 정보를 보정하고 상기 제 1 공간 정보에 반영하는 위치 보정/추정부를 더 포함할 수 있다.

여기서, 상기 위치 보정/추정부는 상기 촬영 노드의 위치 정보가 상기 제 2 공간 정보에 기반한 상기 이동형 플랫폼의 이동 경로에 따른 이동 궤적 정보로부터 기준값을 초과하는 경우에, 상기 초과한 촬영 노드의 위치 정보를 필터링하여 제거할 수 있다. 또한, 상기 관성 항법 센서는 상기 이동형 플랫폼의 가속도, 각가속도 및 자북 중 적어도 하나의 관성 항법 데이터를 수신하고 상기 위치 보정/추정부는 상기 관성 항법 데이터에 기초하여 상기 위치 정보를 보정하거나 필터링할 수 있다.

또 다른 실시예에서, 상기 영상 센서가 촬영한 촬영 노드들 간의 위치 정보들 간의 차분, 특정 객체를 촬영한 영상 센서의 촬영 방향과 상기 특정 객체 사이의 제 1 각도, 상기 촬영한 영상 센서와 인접 영상 센서 간의 제 2 각도, 상기 촬영 방향과 북쪽 방향 간의 제 3 각도를 계산하고, 상기 차분에 기반하여 상기 이동형 플랫폼의 이동 궤적 정보를 산출하며, 상기 이동 궤적 정보, 상기 제 1 내지 제 3 각도에 기초하여 상기 영상 센서의 자세 정보를 추정함과 아울러서 상기 영상 센서의 자세 정보로부터 상기 영상 정보의 자세 정보를 추정하고, 상기 영상 정보의 자세 정보를 상기 기하 정보에 반영하는 자세 정보 추정부를 더 포함할 수 있다.

또 다른 실시예에서, 상기 데이터베이스부에 저장된 기존 도로 공간 정보와 상기 도로 공간 정보에 속한 상기 기하 정보와 상기 위치 정보에 기초하여 통합 기하 모델로 기존 및 신규 도로 공간 정보를 변환하고, 상기 기존 도로 공간 정보 및 상기 도로 공간 정보에 속한 상기 제 1 공간 정보를 영상 정합으로 비교한 결과, 상기 객체 정보의 변화가 있는 경우에, 상기 도로 공간 정보로 상기 기존 도로 공간 정보를 갱신하여 상기 지도를 변경하는 갱신부를 더 포함할 수 있다.

상기 기술적 과제를 이루기 위한 본 발명의 일 양태에 따르면, 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 방법은 이동형 플랫폼에 탑재된 복수 영상 센서로부터 취득된 영상 정보들과 측위 센서로부터 취득된 위치 정보를 수신하고, 상기 영상 정보들을 결합하여 합성하는 단계와, 상기 합성된 영상 정보들로부터 객체를 검출하여 객체 정보를 생성하는 단계와, 상기 복수 영상 센서의 위치와 자세로부터 추정되는 상기 영상 정보들의 위치와 자세 정보에 따른 상기 영상 정보들 간의 기하 관계를 정의하는 기하 정보에 근거하여, 상기 영상 정보에 상기 객체 정보와 상기 위치 정보 간의 결합 관계를 분석하는 단계와, 상기 합성된 영상 정보에 상기 객체 정보와 상기 위치 정보를 결합하여 제 1 공간 정보를 생성하는 단계와, 상기 복수 영상 센서의 촬영 노드들 간에 연속 이동 촬영된 영상 정보에 기초하여 상기 촬영 노드들 간의 방향 정보 및 연결 정보와 관련된 네트워크를 구성하는 제 2 공간 정보를 생성하는 단계와, 상기 제 1 및 제 2 공간 정보를 연계하여 도로 공간 정보를 생성하여 저장하는 단계, 및 상기 도로 공간 정보에 기초하여 소정 좌표 모델로 구성된 지도를 생성하여 저장하는 단계를 포함한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명에 따르면, 복수의 영상 센서로부터 취득한 복수의 영상 상에 표출되는 객체의 위치정보와 도로의 네트워크 등 공간정보 구축을 위한 구체적인 솔루션을 제시할 수 있다.

이에 더하여, 영상 센서 외부에 설치된 측위 센서를 통해 수집한 위치 정보들과 영상정보를 연계하여 해석함으로써, 도로 공간 정보상에서 연속성을 갖는 형태로 표출되는 도로 네트워크 생성을 용이하게 구축할 수 있다.

이외에도 본 명세서를 통해 당업자라면 파악할 수 있는 구성을 통해 도출되는 효과를 배제하지 않는다.

도 1은 본 발명의 실시예에 따른 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 장치에 관한 구성도이다.
도 2는 본 발명의 다른 실시예에 따른 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 방법에 관한 순서도이다.
도 3은 복수의 영상 센서에서 취득되는 영상 정보와 이들의 결합을 도시한 도면이다.
도 4는 영상 정보들로부터 객체를 인식하여 객체 정보를 인식하는 과정을 설명한 도면이다.
도 5는 도로 공간 정보의 생성 과정을 설명한 도면이다.
도 6은 본 발명의 또 다른 실시예에 따른 도로 공간 정보 구축을 위한 방법에 관한 순서도이다.
도 7은 외부 도로 공간 정보가 도로 공간 정보에 결합하여 도로 공간 정보를 보정하는 과정을 설명한 도면이다.
도 8은 본 발명의 또 다른 실시예에 따른 도로 공간 정보 구축을 위한 방법에 관한 순서도이다.
도 9는 영상 정보 내에서 픽셀 데이터 분석을 통한 객체 높이를 추정하는 과정을 설명하는 도면이다.
도 10은 본 발명의 또 다른 실시예에 따른 도로 공간 정보 구축을 위한 방법에 관한 순서도이다.
도 11은 촬영 노드의 위치 정보를 보정하는 과정을 설명하기 위한 도면이다.
도 12는 본 발명의 또 다른 실시예에 따른 도로 공간 정보 구축을 위한 방법에 관한 순서도이다.
도 13은 영상 정보의 자세 정보를 추정하는 과정을 설명하기 위한 도면이다.
도 14는 본 발명의 또 다른 실시예에 따른 도로 공간 정보 구축을 위한 방법에 관한 순서도이다.
도 15는 도로 공간 정보의 갱신 과정을 설명하기 위한 도면이다.

이하, 첨부한 도면들 및 후술되어 있는 내용을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 그러나, 본 발명은 여기서 설명되어지는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되어지는 것이다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급되지 않는 한 복수형도 포함된다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

또한, "부"내지 모듈 이란, 일반적으로 논리적으로 분리 가능한 소프트웨어(컴퓨터 프로그램), 하드웨어 등의 부품을 가리킨다. 따라서, 본 실시형태에 있어서의 모듈은 컴퓨터 프로그램에 있어서의 모듈뿐만 아니라, 하드웨어 구성에 있어서의 모듈도 가리킨다. 그 때문에, 본 실시형태는, 그것들을 모듈로서 기능시키기 위한 컴퓨터 프로그램(컴퓨터에 각각의 단계를 실행시키기 위한 프로그램, 컴퓨터를 각각의 수단으로서 기능시키기 위한 프로그램, 컴퓨터에 각각의 기능을 실현시키기 위한 프로그램), 시스템 및 방법의 설명도 겸하고 있다. 다만, 설명의 형편상, 「저장한다」, 「저장시킨다」, 이것들과 동등한 문언을 이용하지만, 이들 문언은, 실시형태가 컴퓨터 프로그램일 경우에는, 기억 장치에 기억시키는, 또는 기억 장치에 기억시키는 것과 같이 제어하는 것을 의미한다. 또한, "부" 내지 모듈은 기능에 일대일로 대응하고 있어도 되지만, 실장에 있어서는, 1 모듈을 1 프로그램으로 구성해도 되고, 복수 모듈을 1 프로그램으로 구성해도 되고, 반대로 1 모듈을 복수 프로그램으로 구성해도 된다. 또한, 복수 모듈은 1 컴퓨터에 의해 실행되어도 되고, 분산 또는 병렬 환경에 있어서의 컴퓨터에 의해 1 모듈이 복수 컴퓨터로 실행되어도 된다. 또한, 1개의 모듈에 다른 모듈이 포함되어 있어도 된다. 또한, 이하, 「접속」이란 물리적인 접속 외에, 논리적인 접속(데이터의 주고받기, 지시, 데이터간의 참조 관계 등)일 경우에도 채용한다. 「미리 정해진」이란, 대상으로 하고 있는 처리 전에 정해져 있음을 말하고, 본 실시형태에 의한 처리가 개시되기 전은 물론이고, 본 실시형태에 의한 처리가 개시된 후에도, 대상으로 하고 있는 처리 전이면, 그 때의 상황, 상태에 따라, 또는 그때까지의 상황, 상태에 따라 정해지는 것의 의미를 포함해서 이용한다.

또한, 시스템 또는 장치란, 복수의 컴퓨터, 하드웨어, 장치 등이 네트워크(일대 일 대응의 통신 접속을 포함함) 등의 통신 수단에 의해 접속되어 구성되는 것 외에, 1개의 컴퓨터, 하드웨어, 장치 등에 의해 실현될 경우도 포함된다. 「장치」와 「시스템」이란, 서로 동의(同意)의 용어로서 이용한다. 물론이지만, 「시스템」에는, 인위적인 결정인 사회적인 「기구」(사회 시스템)에 지나지 않는 것은 포함하지 않는다.

또한, 각 부 내지 각 모듈에 의한 처리마다 또는 각 부 내지 모듈 내에서 복수의 처리를 행할 경우는 그 처리마다, 대상이 되는 정보를 기억 장치로부터 판독 입력하고, 그 처리를 행한 후에, 처리 결과를 기억 장치에 기입하는 것이다. 따라서, 처리 전의 기억 장치로부터의 판독 입력, 처리 후의 기억 장치에의 기입에 관해서는, 설명을 생략할 경우가 있다. 또한, 여기에서의 기억 장치로서는, 하드디스크, RAM(Random Access Memory), 외부 기억 매체, 통신 회선을 통한 기억 장치, CPU(Central Processing Unit) 내의 레지스터 등을 포함하고 있어도 된다.

이하, 도 1을 참조하여, 본 발명의 실시예에 따른 복수 영상 센서(104)로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템에 대하여 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템에 관한 구성도이다.

도로 공간 정보 구축을 위한 시스템(100)은 이동형 플랫폼(102)에 복수의 영상 센서들(104)이 탑재되며, 센서들로부터의 데이터를 처리, 분석하여 도로 주변의 객체를 인식하고 분석하는 모바일 맵핑 시스템일 수 있다. 이러한 객체는 자동차 도로, 자전거 도로, 도보로, 하천 주위의 도로 등의 시설물일 수 있으나, 지상에 설치된 다양한 형태의 시설물을 제외하지 않는다.

시스템(100)은 도 1에서와 같이, 이동형 플랫폼(102)에 탑재된 영상 센서) 세트(104), 측위 센서(106)를 구비한다. 또한, 시스템(100)은 영상 센서(104)의 촬영 동기화 등을 위한 센서 제어 모듈(108)을 더 가질 수 있다.

아울러, 시스템(100)은 수신부(110), 객체 검출부(112), 객체 정보 분석부(114), 기하 정보부(116), 위치 보정/필터링부(118), 이동 정보부(120), 결합부(122), 자세 정보 추정부(124), 네트워크 연결/방향 정보 분석부(126), 외부 정보 입수부(128), 도화부(130)를 포함할 수 있다. 이에 더하여, 시스템(100)은 데이터베이스부(132), 표시부(134), 후처리부(136) 및 갱신부(142)를 포함할 수 있다.

영상 센서 세트(104)는 이동형 플랫폼에 탑재되어 그 주위의 주변 대상물, 예컨대 지형, 지물을 이미지로 촬영하여 영상 데이터 및 영상 데이터가 취득된 당시의 영상용 시간 정보를 취득하는 센서들을 복수 구비하며, 평면 영상을 생성하는 평면 영상 센서(104)보다 넓은 화각을 갖는 광역 영상 센서, 측량용 또는 비측량용 카메라, 스테레오 카메라일 있으며, 이에 제한되지 않는다. 광역 영상 센서는 파노라마 영상을 생성하며, 예컨대 어안 렌즈를 구비하여 어안 렌즈 영상을 생성하는 카메라 또는 다수개의 카메라를 용한 다중 카메라에 의해 전방위 영상을 출력하는 다중 카메라 시스템 등일 수 있다.

측위 센서(106)는 대상물의 측위 좌표, 플폼의 위치, 자세 및 속도 등의 항법 정보를 검출하여 대상물 좌표와 관련된 측위 데이터 및 상기 측위 정보가 취득된 당시의 측위 시간 데이터를 포함하는 위치 정보를 취득하는 센서이다. 측위 센서(106)는 예컨대, 국제 위성 항법 시스템(GNSS)이 이용되는 위성 항법 장치(GPS)를 통해 플랫폼의 이동 위치를 취득하는 위치 취득 장치와 관성 측정 장치(Inertial Measurement Unit; IMU), 관성 항법 장치(Inertial Navigation System; INS)를 통해 차량의 자세를 취득하는 자세 취득 장치 등으로 구성될 수 있다.

측위 센서(106)가 GNSS를 이용할 경우, 위치 정보는 측위 데이터, 측위 시간 데이터를 기본적으로 포함함과 함께, 항법위성 정보의 상태 및 갯수, 수신기의 고도 정보, 속도, 측위 정밀도, 진북 정보 등을 보조 데이터로 가질 수 있다. 이에 더하여 위치 정보는 영상 센서들(104)의 자세 정보를 추가로 포함할 수 있다.

영상 센서 세트(104)는 측위 센서(106)로부터 직접 통제되어 도로 주변의 객체들의 촬영을 동기화할 수도 있거나, 도 1에서와 같이 측위 센서와 유선 또는 무선으로 접속된 센서 제어 모듈(108), 즉 분기 노드(분기점)를 통해, 영상 센서 세트(104)를 구성하는 복수 개의 영상 센서(104)의 촬영 동기화를 구현할 수 있다.

영상 센서 세트(104)를 구성하는 다수 광각 렌즈 또는 어안렌즈 영상을 동시 활용하기 위해 다수 영상 센서(104)들의 시간을 동기화하여 사용할 수 있다.

영상 센서(104)는 고정된 프레임에 장착되어 촬영을 수행하고, 영상 센서(104)들 간 상대적 기하 정보를 정의하여 이동형 플랫폼 상의 영상의 위치 및 자세를 분석하는데 활용될 수 있다. 또한, 촬영 동기화된 다수 광각 또는 어안렌즈 영상으로부터 전방위 영상을 생성하여 정보 구축에 활용될 수 있다.

다수 영상 센서(104)들의 시간 동기화를 위해 영상 센서(104)에 대한 동시 트리깅 기술을 적용할 수 있으며, 일정 시점 또는 거리에서 각 카메라에 트리깅을 요청할 수 있다. 트리깅 요청은 외부 컴퓨팅 디바이스에서 직접 영상 센서(104)에 신호를 동시에 보내거나, 하나의 분기점이 되는 아날로그 또는 디지털 장치를 별도로 설치하여 통제할 수 있다.

수신부(110)는 복수 영상 센서(104)로부터 취득된 영상 정보들과 측위 센서(106)로부터 취득된 위치 정보를 수신하고, 영상 정보들을 결합하여 합성한다.

영상 정보들 간 기하 정보 파악은 기본적으로 설계도면을 기반으로 이루어지나, 정확한 정보 확보를 위해서는 영상 센서(104)들 간의 캘리브레이션 기술 또는 영상 정합 기술 적용을 통해 모델 변수들을 추정할 수 있다. 영상 정보 간 기하 정보를 바탕으로 가상의 영상면에 다수 영상들을 투영시키는 방식을 통해 전방위 영상 또는 초광각영상을 인위적으로 생성할 수 있다.

기하 정보는 영상 센서(104)마다 정의된 기하 파라미터를 기초로 산출된 내부 기하 및 복수 영상 센서(104)들이 탑재된 이동형 플랫폼의 위치와 자세에 따른 상기 영상 센서(104)들 간의 기하 관계를 정의하는 외부 기하로 구성될 수 있다.

내부 기하는 센서 자체의 고유값으로서, 플랫폼 등의 이동 여부에 관계없이 유지되는 파라미터에 기인하는 영상 센서(104)마다의 관측 데이터의 오차이다.

영상 센서(104) 기하 파라미터는 초점거리, 주점 위치, 렌즈왜곡 파라미터 및 센서 포맷 크기 중 적어도 어느 하나일 수 있다.

외부 기하는 이동 중인 플랫폼의 위치와 자세, 즉 각 영상 센서(104)의 위치와 자세로 인해, 각 영상 센서(104)의 영상 정보를 취득할 때마다 가변되는 파라미터 값에 기초하여 산출되는 관측 데이터의 오차이며, 이 경우에 소정의 수학식 내지 모델링을 통해 계산될 수 있다.

객체 검출부(112)는 영상 정보에 근거하여 도로 주변의 객체와 관련된 객체 정보를 기계 학습을 통해 검출하고 인식할 수 있다.

객체 정보는 도로 시설물과 관련하여, 대상물의 종류, 명칭, 상세 정보와 관련된 메타 데이터, 형상, 모양, 질감을 포함하는 속성 데이터를 포함할 수 있다.

객체는 차선, 노면 표시, 횡단보도, 정지선, 과속방지턱, 표지판, 신호등 등 지표면 상에 나타난 도로 시설물일 수 있다.

객체 검출부(112)는 영상 정보로부터 파악된 대상물과 관련된 후보군 데이터를 머신 러닝 기법으로 검출하고, 검출된 후보군 데이터에 순차적으로 추가 기계학습 모델을 적용하여 대상물의 정보를 인식할 수 있다.

객체 검출부(112)는 머신 러닝 기법 이전에, 영상 정보에서의 객체 검출 및 인식의 정확도를 향상시키는 전처리를 수행할 수 있다. 영상 정보에 대한 전처리는 예를 들어, 영상 밝기값 조정, 영상 색상 조정, 영상 흐림도 조정(blurring), 영상 선명도 조정(sharpness), 영상 질감도 분석에 따른 조정, 및 관측 기하 특성 차이로 인한 영상 센서 데이터의 이동, 회전 및/또는 스케일(scale) 변환(2차원 변환 데이터로서 Rigid-body, Affine, Similartiy 중 하나 이상을 변환) 중 적어도 어느 하나로 수행될 수도 있다.

객체 정보 분석부(114)는 복수 영상 센서(104)의 위치와 자세로부터 추정되는 영상 정보들의 위치와 자세 정보에 따른 영상 정보들 간의 기하 관계를 정의하는 기하 정보에 근거하여, 영상 정보에 객체 정보와 위치 정보 간의 결합 관계를 분석하여 파악한다. 이에 의해, 객체 정보 분석부(114)는 기하 정보를 기반으로 객체의 공간 정보 계산을 수행한다. 기하 정보는 수신부(110)에서 설명한 것과 실질적으로 동일하다.

객체 정보 분석부(114)는 기하 정보에 근거하여 객체 정보, 위치 정보와 함께 객체의 높이와 관련된 3차원 기하 정보 간의 결합 관계를 분석하여 객체 공간 정보를 생성할 수 있다.

다수의 영상을 통해 생성한 전방위 영상의 경우에는, 전방위 영상 생성에 사용된 기하 정보를 역이용하여 전방위 영상 내에 촬영된 객체의 공간 정보를 파악할 수 있다. 예를 들면, 계산의 편리성을 위하여 가상의 기하 모델로 대체하여 사용할 수 있으며, 가상의 기하 모델은 삼각(trigonometric), 다항식(polynomial), 투영(projective), 어파인(affine), 중심(perspective), 호모그래피(homography)기하 중 적어도 하나를 포함하는 모델을 활용할 수 있다.

또한, 프로세스 중 컴퓨팅 시간을 단축시키기 위해 기하 정보들을 기반으로 하는 영상 정보 간 또는 영상-위치 정보 간 결합 정보들을 인덱스화 하고 행렬 또는 벡터 형식으로 활용할 수 있다.

결합부(122)는 합성된 영상 정보에 객체 정보. 위치 정보 및 3차원 기하 정보를 결합하여 제 1 공간 정보를 생성할 수 있다. 제 1 공간 정보는 상술한 정보 뿐만 아니라, 영상 정보에 기하 정보도 연계할 수 있다.

네트워크 연결/방향 정보 분석부(126)는 복수 영상 센서(104)의 촬영 노드들 간에 연속 이동 촬영된 영상 정보에 기초하여 촬영 노드들 간의 방향 정보 및 연결 정보와 관련된 네트워크를 구성하는 제 2 공간 정보를 생성한다.

기하 정보부(116)는, 객체 정보 분석부(114)가 기하 정보에 근거한 객체의 높이와 관련된 3 차원 기하 정보를 산출할 수 없는 경우에, 객체의 높이를 추정하고, 추정된 객체의 높이를 3 차원 기하 정보와 기하 정보에 반영한다. 결합부(122)에서 생성되는 제 1 공간 정보는 반영된 기하 정보에 기초하여 객체 정보, 위치 정보 및 3 차원 기하 정보가 결합된 형태로 가공될 수 있다.

기하 정보부(116)는 영상 정보를 2 차원 기하 모델로 변환하고, 영상 정보 내에서 픽셀 데이터 분석을 통한 객체의 높이를 추정하거나, 영상 센서(104)의 높이에 기초한 객체의 높이를 추정할 수 있다 픽셀 데이터 분석의 상세한 설명은 도 9을 통해 후술하기로 한다.

상술한 객체 높이의 추정 방법 외에도, 객체들의 높이 정보가 제한될 때, 객체의 제한 높이가 기준면 (Datum) 또는 지표로부터의 특정 높이 값으로 등록하여 활용할 수 있다.

또한 센서의 롤, 피치 정보를 특정 값으로 가정하여 기하를 단순화시킬 수 있다.

또한 다수 영상 센서들(104)의 각 촬영 방향 정보를 특정 값으로 정의하고, 삼각함수 모델을 통해 객체 공간 정보를 계산할 수 있다.

한편, 이동형 플랫폼(102)은 플랫폼(102)의 이동에 따른 회전 운동이 발생하는 부분에 설치되는 휠 센서, CAN(Controll Area Network) 통신을 구현하여 이동형 플랫폼(102)의 CAN 정보를 상기 이동형 플랫폼의 외부 장치로 전송하는 CAN 모듈 및 관성 항법 센서 중 적어도 하나를 구비할 수 있다.

이동 정보부(120)는 휠 센서로부터 회전 데이터와 시간 데이터를 수신할 수 있으며, CAN 모듈로부터 차량 CAN 정보로서 속도 데이터와 시간 데이터 등의 다양한 차량 데이터를 수신할 수 있으며, 관성 항법 센서으로부터 이동형 플랫폼(102)의 가속도, 각가속도 및 자북 중 적어도 하나의 관성 항법 데이터를 수신할 수 있다. 이동 정보부(120)는 전술한 데이터를 위치 보정/필터링부(118)에 전달할 수 있다.

이동형 플랫폼(102)에서 촬영 노드들 간 거리는 이동형 플랫폼(102)의 이동 정보를 기반으로 계산되며, 예컨대 휠의 회전 정보, 측위센서 정보 중 적어도 하나를 사용하여 제어할 수 있다. 예를 들어, 이동형 플랫폼(102)의 정보는 휠의 회전부의 특정 위치에 기록 센서를 탑재하여 회전수를 기록하거나 일정 시간 단위의 펄스 입력 수를 기록하고, 휠 둘레 길이를 이용하여 이동거리를 역계산한다. 휠 둘레 길이의 경우, 더 정확한 정보를 얻기 위해 측위 센서와 결합하여 역계산할 수도 있다.

위치 보정/필터링부(118)는 휠 센서의 회전 데이터, 시간 데이터 또는 차량 CAN 정보의 속도 데이터, 시간 데이터를 취득한다. 위치 보정/필터링부(118)는 영상 센서(104)가 촬영한 촬영 노드의 촬영 시간 데이터와 측위 센서(106)의 측위 시간 데이터가 불일치하는 경우에, 측위 센서(106)로부터 측정된 인접 측위 정보들 사이의 촬영 노드의 시간 데이터와 함께, 휠 센서의 회전 및 시간 데이터 또는 차량 CAN 정보의 속도 및 시간 데이터에 기반한 내삽 또는 외삽 모델을 활용하여 촬영 노드의 위치를 산출하여 위치 정보를 보정할 수 있다. 아울러, 위치 보정/필터링부(118)는 결합부(122)에서 생성되는 제 1 공간 정보에 반영한다. 내삽 또는 외삽 모델은 N차의 다항식을 적용할 수 있다.

이에 더하여, 위치 보정/필터링부(118)는 쵤영 노드의 위치 정보가 네트워크 연결/방향 정보 분석부(126)에서 생성되는 제 2 공간 정보에 기반한 상기 이동형 플랫폼의 이동 경로에 따른 이동 궤적 정보로부터 기준값을 초과하는 경우에, 초과한 촬영 노드의 위치 정보를 필터링하여 제거할 수도 있다.

이와 같이 위치 보정/필터링부(118)가 위치 정보를 보정하거 필터링하는 이유는 영상 센서(104) 내부에 자세 정보의 기록 기능이 없어, 자세 정보 추정부(124)에서 자세 정보를 추산함에 있어서 위치 정보를 이용할 경우에, 위치 정보의 오차가 자세 정보의 추정값에 오차로 전달되는데 기인한다.

위치 정보의 보정과 필터링은 구분되어 수행될 수 있으며, 이들은 서로 결합되어 적용가능하다.

예를 들어, 이동형 플랫폼(102) 이동의 경향성을 통해 이상치를 추출하거나 측위 오류를 보정하는 방법을 택할 수 있다.

이동형 플랫폼(102)은 일반적으로 직진성을 띄게 되며, 상술한 바와 같이, 직진성을 기반으로 특정 촬영 노드간 사이 거리를 내삽 등으로 보간할 수 있으며, 내삽 모델로는 N차의 다항식을 적용할 수 있다.

다른 실시예로는, 자세 정보 추정 시 예상 오차량을 역계산하고, 예상 오차량을 경중률로 기하 모델의 파라미터 값 추정에 적용하는 통계적 방식을 적용함으로써, 위치 정보는 보정되거나 필터링될 수 있다.

또 다른 실시예로서, GNSS 기반의 위치 측위 센서 외 휠센서, 관성항법센서, 차량 CAN 데이터들을 보조적으로 활용하여 활용될 수 있다. 휠 센서의 경우에는 기준 노드 사이에 대상 노드들을 보정 또는 필터링 시 각 노드 간 거리에 대한 제약조건으로 사용할 수 있다.

또 다른 실시예로서, 위치 보정/필터링부(118)는 이동형 플랫폼(102)의 가속도, 각가속도 및 자북 중 적어도 하나의 관성 항법 데이터에 기초하여 위치 정보를 보정하거나 필터링할 수 있다.

또한, 위치 보정/필터링부(118)는 센서 제어 모듈(108)을 통한 측위 센서(106)의 위치 정보의 기록에 있어 정보 전달의 지연 문제를 해결하기 위해 별도의 분기점에 동기화 신호를 삽입하여 기록할 수 있다.

위치 보정/필터링부(118)는 동기화 신호의 빈도가 부족할 경우 시스템의 시간, 다른 센서와의 시간 관계를 통해 관심 시간 (time of interest)의 위치 정보를 역추산할 수 있다. 역추산은 기본적으로 내삽 또는 외삽의 방식으로 수행이 되며, 수학적 계산을 위한 모델로는 시간에 대한 다항식 모델을 활용할 수 있다.

위치 정보와 자세 정보를 결합하여 활용할 경우에는 예측-보정의 반복적인 수행을 통해 상술한 정보들을 역추산할 수도 있다. 위치 정보 등에 노이즈가 다수 존재할 경우에는 통계적 기법을 통해 해당 정보에 나타날 수 있는 오차들을 반영하여, 상술한 정보들의 필터링 또는 보정에 활용할 수 있다.

자세 정보 추정부(124)는 영상 센서(104)의 내부에 자세 정보에 대한 기록 기능이 없는 경우에 촬영 노드 간 위치 정보들의 조합을 통해 자세 정보를 역추산할 수 있다.

구체적으로 도 11 및 도 13을 참조하면, 자세 정보 추정부(124)는 영상 센서(104)가 촬영한 촬영 노드들(1~n) 간의 위치 정보들 간의 차분, 특정 객체를 촬영한 영상 센서(104)의 촬영 방향과 특정 객체 사이의 제 1 각도(d), 촬영한 영상 센서(104)와 인접 영상 센서(104) 간의 제 2 각도(c), 촬영 방향과 북쪽 방향 간의 제 3 각도(b)를 계산하고, 상기 차분에 기반하여 이동형 플랫폼(102)의 이동 궤적 정보를 산출하며, 이동 궤적 정보, 제 1 내지 제 3 각도(d~b)에 기초하여 영상 센서(104)의 자세 정보를 추정함과 아울러서 영상 센서(104)의 자세 정보로부터 영상 정보의 자세 정보를 추정할 수 있다. 자세 정보 추정부(124)는 영상 정보의 자세 정보를 기하 정보에 반영한다.

한편, 데이터베이스부(132)는 제 1 및 제 2 공간 정보를 연계하여 도로 공간 정보를 생성하여 저장한다.

도화부(130)는 도로 공간 정보에 기초하여 소정 좌표 모델로 구성된 지도를 생성하여 데이터베이스부(132)에 저장시킨다. 이에 의해, 지도화된 통합 좌표 모델 상의 도로 공간 정보 모델은 위치 정보를 이용하여 객체 공간 정보 간의 네트워크로 구성될 수 있다.

외부 정보 입수부(128)는 영상 정보의 지역과 관련된 연속 데이터를 갖는 외부 도로 공간 정보를 수신하고, 외부 도로 공간 정보를 도로 공간 정보에 결합할 수 있다.

촬영 노드들은 불연속이며, 오차를 수반함에 따라, 연속적인 데이터로서의 보정을 위하여 항공영상, 수치지도, 수치고도모델 등 기 구축된 공간 정보, 즉 외부 도로 공간 정보는 도로 네트워크 구축에 대한 보조 자료로 활용될 수 있다.

위성 또는 항공에서 촬영된 영상들을 사용할 경우 위성 등의 촬영 해상도가 지상의 이동형 플랫폼(102)에서 촬영한 영상과 상이하기 때문에 픽셀값들의 변화양상에 대한 통계적 분석으로 서로 다른 영상에 나타난 동일 객체의 매칭에 사용할 수 있다.

기구축된 외부 도로 공간 정보 또는 네트워크를 제 1 공간 정보에 포함된 영상 정보에 역투영하여 갱신 부분을 확인하고 수정할 수 있다.

갱신부(142)는 데이터베이스부(132)에 저장된 기존 도로 공간 정보와 신규로 구축된 도로 공간 정보에 속한 기하 정보와 위치 정보에 기초하여 통합 기하 모델로 기존 및 신규 도로 공간 정보를 변환하고, 기존 도로 공간 정보 및 도로 공간 정보에 속한 제 1 공간 정보를 영상 정합으로 비교한다. 그 결과, 갱신부(142)는 객체 정보의 변화가 있는 경우에, 도로 공간 정보로 기존 도로 공간 정보를 갱신하여 지도를 변경할 수 있다.

갱신부(142)는 3차원 기하 정보와 같은 3차원 공간 정보가 부재하여 확보가능한 영상-위치 결합정보가 영상 위치 및 방향 값만 존재할 경우, 기하를 2차원으로 단순화하여 분석할 수 있으며, 이는 측위 센서(106)의 위치정보를 결합하여 지도화할 때 사용한 기법과 동일하게 이루어질 수 있다.

후처리부(136)는 데이터베이스부(132)에 저장된 도로 공간 정보로부터 사용자가 희망하는 방식 내지 관심지역(POI; Point of Interest)의 영상을 추출하는 등이 요청되는 경우에, 요청에 부합되도록 영상 정보를 편집하는 영상 정보 편집부(138) 및 위치 정보를 사용자가 희망한 영상 변환 방식에 맞춰 위치 정보를 편집하는 위치 정보 편집부(140)를 구비할 수 있다.

이하, 도 1 내지 도 7을 참조하여, 본 발명의 실시예들에 따른 복수 영상 센서(104)로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 방법에 대해 설명하기로 한다.

도 2는 본 발명의 다른 실시예에 따른 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 방법에 관한 순서도이고, 도 3은 복수의 영상 센서에서 취득되는 영상 정보와 이들의 결합을 도시한 도면이다. 도 4는 영상 정보들로부터 객체를 인식하여 객체 정보를 인식하는 과정을 설명한 도면이며, 도 5는 도로 공간 정보의 생성 과정을 설명한 도면이다. 도 6은 본 발명의 또 다른 실시예에 따른 도로 공간 정보 구축을 위한 방법에 관한 순서도이며, 도 7은 외부 도로 공간 정보가 도로 공간 정보에 결합하여 도로 공간 정보를 보정하는 과정을 설명한 도면이다.

먼저, 수신부(110)는 복수 영상 센서(104)로부터의 영상 정보 및 측위 센서(106)로부터의 위치 정보를 수신한다(S205).

수신부(110)는 도 3과 같이, 이동형 플랫폼(102)에 탑재된 전방위 영상 센서(104)들이 촬영한 전방, 후방, 좌측 및 우측 영상 정보를 수신한다.

다음으로, 수신부(110)는 영상 정보들을 결합하여 합성하고. 객체 검출부(112)는 합성된 영상 정보들로부터 객체를 검출하여 객체 정보를 생성한다(S210).

영상 정보들 간 기하 정보 파악은 기본적으로 설계도면을 기반으로 이루어지나, 정확한 정보 확보를 위해서는 영상 센서(104)들 간의 캘리브레이션 기술 또는 영상 정합 기술 적용을 통해 모델 변수들을 추정할 수 있다. 수신부(110)는 도 3과 같이, 영상 정보 간 기하 정보를 바탕으로 가상의 영상면에 다수 영상들을 투영시키는 방식을 통해 전방위 영상 또는 초광각영상을 인위적으로 생성할 수 있다.

기하 정보는 영상 센서(104)마다 정의된 기하 파라미터를 기초로 산출된 내부 기하 및 복수 영상 센서(104)들이 탑재된 이동형 플랫폼의 위치와 자세에 따른 상기 영상 센서(104)들 간의 기하 관계를 정의하는 외부 기하로 구성될 수 있다.

객체 검출부(112)는 예컨대 도 4와 같이, 전방, 좌측, 후방 영상 정보에 근거하여 도로 주변의 객체와 관련된 객체 정보를 기계 학습을 통해 검출하고 인식할 수 있다.

객체 정보는 도로 시설물과 관련하여, 대상물의 종류, 명칭, 상세 정보와 관련된 메타 데이터, 형상, 모양, 질감을 포함하는 속성 데이터를 포함할 수 있다.

객체는 차선, 노면 표시, 횡단보도, 정지선, 과속방지턱, 표지판, 신호등 등 지표면 상에 나타난 도로 시설물일 수 있다.

객체 정보 분석부(114)는 복수 영상 센서(104)의 위치와 자세로부터 추정되는 영상 정보들의 위치와 자세 정보에 따른 영상 정보들 간의 기하 관계를 정의하는 기하 정보에 근거하여, 영상 정보에 객체 정보와 위치 정보 간의 결합 관계를 분석하고, 결합부(122)는 영상 정보에 객체 정보, 위치 정보 및 3차원 기하 정보를 결합하는 제 1 공간 정보를 생성한다(S215).

다수의 영상을 통해 생성한 전방위 영상의 경우에는, 전방위 영상 생성에 사용된 기하 정보를 역이용하여 전방위 영상 내에 촬영된 객체의 공간 정보를 파악할 수 있다. 예를 들면, 계산의 편리성을 위하여 가상의 기하 모델로 대체하여 사용할 수 있으며, 가상의 기하 모델은 삼각(trigonometric), 다항식(polynomial), 투영(projective), 어파인(affine), 중심(perspective), 호모그래피(homography)기하 중 적어도 하나를 포함하는 모델을 활용할 수 있다.

또한, 프로세스 중 컴퓨팅 시간을 단축시키기 위해 기하 정보들을 기반으로 하는 영상 정보 간 또는 영상-위치 정보 간 결합 정보들을 인덱스화 하고 행렬 또는 벡터 형식으로 활용할 수 있다.

결합부(122)는 합성된 영상 정보에 객체 정보. 위치 정보 및 3차원 기하 정보를 결합하여 제 1 공간 정보를 생성할 수 있다. 제 1 공간 정보는 상술한 정보 뿐만 아니라, 영상 정보에 기하 정보도 연계할 수 있다.

다음으로, 네트워크 연결/방향 정보 분석부(126)는 복수 영상 센서(104)의 촬영 노드들 간에 연속 이동 촬영된 영상 정보에 기초하여 촬영 노드들 간의 방향 정보 및 연결 정보와 관련된 네트워크를 구성하는 제 2 공간 정보를 생성한다(S220).

이어서, 데이터베이스부(132)는 제 1 및 제 2 공간 정보를 연계하여 도로 공간 정보를 생성하여 저장한다(S225). 도 5는 각 객체마다 도로 공간 정보로 연계된 것을 예시하고 있다.

계속해서, 도화부(130)는 도로 공간 정보에 기초하여 소정 좌표 모델로 구성된 지도를 생성하여 데이터베이스부(132)에 저장한다(S230).

이에 의해, 지도화된 통합 좌표 모델 상의 도로 공간 정보 모델은 도 7에서와 같이, 위치 정보를 이용하여 객체 공간 정보 간의 네트워크로 구성될 수 있다.

도 2의 과정에 후속하여 도 6의 과정이 진행될 수 있으며, 이는 촬영 노드들은 불연속이며, 오차를 수반함에 따라, 연속적인 데이터로서의 보정을 행하는 과정이다.

도 6을 참조하면, 외부 정보 입수부(128)는 영상 정보의 지역과 관련된 연속 데이터를 갖는 외부 도로 공간 정보를 수신한다(S605).

외부 정보 입수부(128)는 외부 도로 공간 정보를 도로 공간 정보에 결합한다(S610).

도 7에서와 같이, 촬영 노드들은 불연속이며, 오차를 수반함에 따라, 연속적인 데이터로써의 보정을 위하여 항공영상, 수치지도, 수치고도모델 등 기 구축된 공간 정보, 즉 외부 도로 공간 정보는 도로 네트워크 구축에 대한 보조 자료로 활용될 수 있다.

위성 또는 항공에서 촬영된 영상들을 사용할 경우 위성 등의 촬영 해상도가 지상의 이동형 플랫폼(102)에서 촬영한 영상과 상이하기 때문에 픽셀값들의 변화양상에 대한 통계적 분석으로 서로 다른 영상에 나타난 동일 객체의 매칭에 사용할 수 있다.

기구축된 외부 도로 공간 정보 또는 네트워크를 제 1 공간 정보에 포함된 영상 정보에 역투영하여 갱신 부분을 확인하고 수정할 수 있다.

본 실시예에 따르면, 복수의 영상 센서(104)로부터 취득한 복수의 영상 상에 표출되는 객체의 위치정보와 도로의 네트워크 등 공간정보 구축을 위한 구체적인 솔루션을 제시할 수 있다. 이에 더하여, 영상 센서(104) 외부에 설치된 측위 센서를 통해 수집한 위치 정보들과 영상정보를 연계하여 해석함으로써, 도로 공간 정보상에서 연속성을 갖는 형태로 표출되는 도로 네트워크 생성을 용이하게 구축할 수 있다.

이하, 도 1, 도 8 및 도 9를 참조하여, 본 발명의 또 다른 실시예에 따른 도로 공간 정보 구축을 위한 방법에 대해 설명하기로 한다.

도 8은 본 발명의 또 다른 실시예에 따른 도로 공간 정보 구축을 위한 방법에 관한 순서도이며, 도 9는 영상 정보 내에서 픽셀 데이터 분석을 통한 객체 높이를 추정하는 과정을 설명하는 도면이다.

본 실시예는 도 2의 과정에서 객체 정보 분석부(114)가 기하 정보에 근거한 객체의 높이와 관련된 3 차원 기하 정보를 산출할 수 없는 경우에 수행되며, 기하 정보부(116)에서 수행하는 3차원 기하 정보 산출 방법들 중 일부에 관해 도 8을 통해 기술한다. 그러나, 본 실시예에서 기하 정보부(116)의 다른 방법을 배제하지 않는다.

도 8을 참조하면, 기하 정보부(116)는, 객체 정보 분석부(114)가 기하 정보에 근거한 객체의 높이와 관련된 3 차원 기하 정보를 산출할 수 없는 경우에, 영상 정보를 2 차원 기하 모델로 변환한다(S805).

다음으로, 기하 정보부(116)는 영상 정보 내에서 픽셀 데이터 분석을 통한 객체(202)의 높이를 추정하거나, 영상 센서(104)의 높이에 기초한 객체(202)의 높이를 추정한다(S810).

도 9에서와 같이, 영상 데이터 내의 픽셀을 수평 및 수직 픽셀 별로 분석하여 영상 센서(104) 높이, 영상 센서(104)로부터 수평선과 객체 최고지점 간의 각도(h)와 영상 센서(104)의 중심 초점(f)로부터의 연장선과 수평선 간의 각도(a)를 산출하고, 이를 기초로 픽셀 개수, 소실점 등을 감안하여 객체의 높이를 추정한다. 이에 따라 3차원 기하 정보를 수집한다.

이어서, 기하 정보부(116)는 기하 정보에 반영하여 3차원 기하 정보를 추정함과 아울러서, 결합부(122)는 이에 따른 제 1 공간 정보를 생성한다(S815).

이하, 도 1, 도 10 및 도 11을 참조하여, 본 발명의 또 다른 실시예에 따른 도로 공간 정보 구축을 위한 방법에 대해 설명하기로 한다.

도 10은 본 발명의 또 다른 실시예에 따른 도로 공간 정보 구축을 위한 방법에 관한 순서도이고, 도 11은 촬영 노드의 위치 정보를 보정하는 과정을 설명하기 위한 도면이다.

본 실시예는 도 2의 과정에서 영상 센서(104)가 촬영한 촬영 노드와 측위 센서(106)의 수신 지점이 서로 불일치하는 경우에, 촬영 노드의 위치 정보를 촬영 노드의 측위 데이터로 보정하거나, 자세 정보 추정부(124)에서 자세 정보를 추산함에 있어서 위치 정보를 이용할 경우에, 위치 정보의 오차가 자세 정보의 추정값에 오차를 최소화하기 위함이다.

위치 보정/필터링부(118)에서 수행하는 보정과 필터링 중 일부에 관해 도 10을 통해 기술한다. 그러나, 본 실시예에서 위치 보정/필터링부(118)의 다른 방법을 배제하지 않는다.

도 10을 참조하면, 위치 보정/필터링부(118)는 휠 센서의 회전 데이터, 시간 데이터 또는 상기 CAN 정보의 속도 데이터, 상기 시간 데이터를 이동 정보부(120)로부터 취득한다(S1005).

위치 보정/필터링부(118)는 도 11에서와 같이, 영상 센서(104)가 촬영한 촬영 노드(1~n)의 촬영 시간 데이터와 측위 센서(106)의 측위 시간 데이터가 불일치하는 경우에, 측위 센서(106)로부터 측정된 인접 측위 정보들 사이의 촬영 노드의 시간 데이터와 함께, 휠 센서의 회전 및 시간 데이터 또는 CAN 정보의 속도 및 시간 데이터에 기반한 내삽 또는 외삽 모델을 활용하여 상기 촬영 노드의 위치를 산출한다(S1010). 내삽 또는 외삽 모델은 N차의 다항식을 적용할 수 있다. 이에 따라, 위치 보정/필터링부(118)는 위치 정보를 보정하고 제 1 공간 정보에 반영한다. 이에 의해, 제 1 공간 정보 생성시에 기여한다.

다음으로, 위치 보정/필터링부(118)는 쵤영 노드의 위치 정보가 네트워크 연결/방향 정보 분석부(126)에서 생성되는 제 2 공간 정보에 기반한 이동형 플랫폼(102)의 이동 경로에 따른 이동 궤적 정보(도 11의 "플랫폼 이동 경로")로부터 기준값을 초과하는지를 판단하여(S1015), 초과한 촬영 노드의 위치 정보를 필터링하여 제거한다(S1020)

이하, 도 1, 도 11, 도 12, 13을 참조하여, 본 발명의 또 다른 실시예에 따른 도로 공간 정보 구축을 위한 방법에 대해 설명하기로 한다.

도 12는 본 발명의 또 다른 실시예에 따른 도로 공간 정보 구축을 위한 방법에 관한 순서도이고, 도 13은 영상 정보의 자세 정보를 추정하는 과정을 설명하기 위한 도면이다.

본 실시예는 도 2의 과정에서 영상 센서(104)의 내부에 자세 정보에 대한 기록 기능이 없는 경우에 촬영 노드 간 위치 정보들의 조합을 통해 자세 정보를 역추산하는 경우에 적용된다. 자세 정보 추정부(124)에서 수행하는 자세 정보 추정 방법들 중 일부에 관해 도 12를 통해 기술한다. 그러나, 본 실시예에서 기하 정보부(116)의 다른 방법을 배제하지 않는다.

도 11 내지 도 13을 참조하면, 자세 정보 추정부(124)는 영상 센서(104)가 촬영한 촬영 노드들(1~n) 간의 위치 정보들 간의 차분, 특정 객체를 촬영한 영상 센서(104)의 촬영 방향과 특정 객체 사이의 제 1 각도(d), 촬영한 영상 센서(104)와 인접 영상 센서(104) 간의 제 2 각도(c), 촬영 방향과 북쪽 방향 간의 제 3 각도(b)를 계산한다(S1205),

다음으로, 자세 정보 추정부(124)는 상기 차분에 기반하여 이동형 플랫폼(102)의 이동 궤적 정보(도 11의 "플랫폼 이동 경로")를 산출한다(S1210),

이어서, 자세 정보 추정부(124)는 이동 궤적 정보, 제 1 내지 제 3 각도(d~b)에 기초하여 영상 센서(104)의 자세 정보를 추정함과 아울러서 영상 센서(104)의 자세 정보로부터 영상 정보의 자세 정보를 추정한다(S1215).

다음으로, 자세 정보 추정부(124)는 영상 정보의 자세 정보를 기하 정보에 반영한다(S1220). 이에 의해, 제 1 공간 정보의 생성에 기여한다.

이하, 도 1, 도 14 및 도 15를 참조하여, 본 발명의 또 다른 실시예에 따른 도로 공간 정보 구축을 위한 방법에 대해 설명하기로 한다.

도 14는 본 발명의 또 다른 실시예에 따른 도로 공간 정보 구축을 위한 방법에 관한 순서도이고, 도 15는 도로 공간 정보의 갱신 과정을 설명하기 위한 도면이다.

먼저, 갱신부(142)는 데이터베이스부(132)에 저장된 기존 도로 공간 정보와 신규로 구축된 도로 공간 정보에 속한 기하 정보와 위치 정보에 기초하여 통합 기하 모델로 기존 및 신규 도로 공간 정보를 변환한다(S1405).

다음으로, 갱신부(142)는 기존 도로 공간 정보 및 신규의 도로 공간 정보에 속한 제 1 공간 정보를 영상 정합으로 비교한다(S1410).

그 결과, 갱신부(142)는 객체 정보의 변화가 있는 경우에(S1415), 도 15에 도시된 바와 같이, 신규의 도로 공간 정보로 기존 도로 공간 정보를 갱신하여 지도를 변경한다.

3차원 공간정보가 부재하여 확보가능한 영상-위치 결합정보가 영상 위치 및 방향 값만 존재할 경우에는 기하를 2차원으로 단순화하여 분석할 수 있으며, 이는 측위센서의 위치정보를 결합하여 지도화할 때 사용한 기법과 동일하게 이루어질 수 있다.

도 1에 도시된 장치를 구성하는 구성요소 또는 도 2 내지 도 15에 도시된 실시예들에 따른 단계는 그 기능을 실현시키는 프로그램의 형태로 컴퓨터 판독가능한 기록 매체에 기록될 수 있다. 여기에서, 컴퓨터 판독 가능한 기록 매체란, 데이터나 프로그램 등의 정보를 전기적, 자기적, 광학적, 기계적, 또는 화학적 작용에 의해 축적하고, 컴퓨터에서 판독할 수 있는 기록 매체를 말한다. 이러한 기록 매체 중 컴퓨터로부터 분리 가능한 것으로서는, 예를 들면, 휴대용 스토리지(portalbe storage), 플렉시블 디스크, 광자기 디스크, CD-ROM, CD-R/W, DVD, DAT, 메모리 카드 등이 있다. 또한, 모바일 디바이스 및 컴퓨터에 고정된 기록 매체로서 SSD(Solid State Disk), 하드디스크나 ROM 등이 있다.

또한, 이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다.

이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.

Claims (10)

1. 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 위한 도로 공간 정보 구축을 위한 시스템에 있어서,
   이동형 플랫폼에 탑재된 복수 영상 센서로부터 취득된 영상 정보들과 측위 센서로부터 취득된 위치 정보를 수신하고, 상기 영상 정보들을 결합하여 합성하는 수신부;
   상기 합성된 영상 정보들로부터 객체를 검출하여 객체 정보를 생성하는 객체 검출부;
   상기 복수 영상 센서의 위치와 자세로부터 추정되는 상기 영상 정보들의 위치와 자세 정보에 따른 상기 영상 정보들 간의 기하 관계를 정의하는 기하 정보에 근거하여, 상기 영상 정보에 상기 객체 정보와 상기 위치 정보 간의 결합 관계를 분석하는 객체 정보 분석부;
   상기 합성된 영상 정보에 상기 객체 정보와 상기 위치 정보를 결합하여 제 1 공간 정보를 생성하는 결합부;
   상기 복수 영상 센서의 촬영 노드들 간에 연속 이동 촬영된 영상 정보에 기초하여 상기 촬영 노드들 간의 방향 정보 및 연결 정보와 관련된 네트워크를 구성하는 제 2 공간 정보를 생성하는 네트워크 연결/방향 정보 분석부;
   상기 제 1 및 제 2 공간 정보를 연계하여 도로 공간 정보를 생성하여 저장하는 데이터베이스부; 및
   상기 도로 공간 정보에 기초하여 소정 좌표 모델로 구성된 지도를 생성하여 상기 데이터베이스부에 저장시키는 도화부를 포함하되,
   상기 영상 센서가 촬영한 촬영 노드들 간의 위치 정보들 간의 차분, 특정 객체를 촬영한 영상 센서의 촬영 방향과 상기 특정 객체 사이의 제 1 각도, 상기 촬영한 영상 센서와 인접 영상 센서 간의 제 2 각도, 상기 촬영 방향과 북쪽 방향 간의 제 3 각도를 계산하고, 상기 차분에 기반하여 상기 이동형 플랫폼의 이동 궤적 정보를 산출하며, 상기 이동 궤적 정보, 상기 제 1 내지 제 3 각도에 기초하여 상기 영상 센서의 자세 정보를 추정함과 아울러서 상기 영상 센서의 자세 정보로부터 상기 영상 정보의 자세 정보를 추정하고, 상기 영상 정보의 자세 정보를 상기 기하 정보에 반영하는 자세 정보 추정부를 포함하는 도로 공간 정보 구축을 위한 시스템.
2. 제 1 항에 있어서,
   상기 객체 정보 분석부는 상기 기하 정보에 근거하여 상기 객체 정보, 상기 위치 정보와 함께 상기 객체의 높이와 관련된 3 차원 기하 정보 간의 결합 관계를 분석하고,
   상기 결합부에서 생성하는 상기 제 1 공간 정보는 상기 3 차원 기하 정보를 더 결합하는 도로 공간 정보 구축을 위한 시스템.
3. 제 1 항에 있어서,
   상기 객체 정보 분석부는 상기 기하 정보에 근거한 상기 객체의 높이와 관련된 3 차원 기하 정보를 산출할 수 없는 경우에,
   상기 영상 정보를 2 차원 기하 모델로 변환하고, 상기 영상 정보 내에서 픽셀 데이터 분석을 통한 상기 객체의 높이를 추정하거나, 상기 영상 센서의 높이에 기초한 상기 객체의 높이를 추정하고, 상기 추정된 객체의 높이를 상기 3 차원 기하 정보와 상기 기하 정보에 반영하는 기하 정보부를 더 포함하고,
   상기 제 1 공간 정보는 상기 반영된 기하 정보에 기초하여 상기 객체 정보, 상기 위치 정보 및 상기 3 차원 기하 정보가 결합하도록 생성되는 도로 공간 정보 구축을 위한 시스템
4. 제 1 항에 있어서,
   상기 기하 정보는 상기 영상 센서마다 정의된 기하 파라미터를 기초로 산출된 내부 기하 및 복수 영상 센서들이 탑재된 이동형 플랫폼의 위치와 자세에 따른 상기 영상 센서들 간의 기하 관계를 정의하는 외부 기하를 포함하는 도로 공간 정보 구축을 위한 시스템.
   
5. 제 1 항에 있어서,
   상기 이동형 플랫폼이 상기 이동형 플랫폼의 이동에 따른 회전 운동이 발생하는 부분에 설치되는 휠 센서, CAN(Controll Area Network) 통신을 구현하여 상기 이동형 플랫폼의 CAN 정보를 상기 이동형 플랫폼의 외부로 전송하는 CAN 모듈 및 관성 항법 센서 중 적어도 하나를 구비하는 경우에,
   상기 휠 센서의 회전 데이터, 시간 데이터 또는 상기 CAN 정보의 속도 데이터, 상기 시간 데이터를 취득하고, 상기 영상 센서가 촬영한 촬영 노드의 촬영 시간 데이터와 상기 측위 센서의 측위 시간 데이터가 불일치하는 경우에, 상기 측위 센서로부터 측정된 인접 측위 정보들 사이의 촬영 노드의 시간 데이터와 함께, 상기 휠 센서의 회전 및 시간 데이터 또는 상기 CAN 정보의 속도 및 시간 데이터에 기반한 내삽 또는 외삽 모델을 활용하여 상기 촬영 노드의 위치를 산출하여 상기 위치 정보를 보정하고 상기 제 1 공간 정보에 반영하는 위치 보정/추정부를 더 포함하는 도로 공간 정보 구축을 위한 시스템.
6. 제 5 항에 있어서,
   상기 위치 보정/추정부는 상기 촬영 노드의 위치 정보가 상기 제 2 공간 정보에 기반한 상기 이동형 플랫폼의 이동 경로에 따른 이동 궤적 정보로부터 기준값을 초과하는 경우에, 상기 초과한 촬영 노드의 위치 정보를 필터링하여 제거하는 도로 공간 정보 구축을 위한 시스템.
7. 제 6 항에 있어서,
   상기 관성 항법 센서는 상기 이동형 플랫폼의 가속도, 각가속도 및 자북 중 적어도 하나의 관성 항법 데이터를 수신하고 상기 위치 보정/추정부는 상기 관성 항법 데이터에 기초하여 상기 위치 정보를 보정하거나 필터링하는 도로 공간 정보 구축을 위한 시스템.
8. 삭제
9. 제 1 항에 있어서,
   상기 데이터베이스부에 저장된 기존 도로 공간 정보와 상기 도로 공간 정보에 속한 상기 기하 정보와 상기 위치 정보에 기초하여 통합 기하 모델로 기존 및 신규 도로 공간 정보를 변환하고, 상기 기존 도로 공간 정보 및 상기 도로 공간 정보에 속한 상기 제 1 공간 정보를 영상 정합으로 비교한 결과, 상기 객체 정보의 변화가 있는 경우에, 상기 도로 공간 정보로 상기 기존 도로 공간 정보를 갱신하여 상기 지도를 변경하는 갱신부를 더 포함하는 도로 공간 정보 구축을 위한 시스템.
10. 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 위한 도로 공간 정보 구축을 위한 방법에 있어서,
    이동형 플랫폼에 탑재된 복수 영상 센서로부터 취득된 영상 정보들과 측위 센서로부터 취득된 위치 정보를 수신하고, 상기 영상 정보들을 결합하여 합성하는 단계;
    상기 합성된 영상 정보들로부터 객체를 검출하여 객체 정보를 생성하는 단계;
    상기 복수 영상 센서의 위치와 자세로부터 추정되는 상기 영상 정보들의 위치와 자세 정보에 따른 상기 영상 정보들 간의 기하 관계를 정의하는 기하 정보에 근거하여, 상기 영상 정보에 상기 객체 정보와 상기 위치 정보 간의 결합 관계를 분석하는 단계;
    상기 합성된 영상 정보에 상기 객체 정보와 상기 위치 정보를 결합하여 제 1 공간 정보를 생성하는 단계;
    상기 복수 영상 센서의 촬영 노드들 간에 연속 이동 촬영된 영상 정보에 기초하여 상기 촬영 노드들 간의 방향 정보 및 연결 정보와 관련된 네트워크를 구성하는 제 2 공간 정보를 생성하는 단계;
    상기 제 1 및 제 2 공간 정보를 연계하여 도로 공간 정보를 생성하여 저장하는 단계; 및
    상기 도로 공간 정보에 기초하여 소정 좌표 모델로 구성된 지도를 생성하여 저장하는 단계를 포함하되,
    상기 영상 센서의 자세 정보는 상기 영상 센서가 촬영한 촬영 노드들 간의 위치 정보들 간의 차분, 특정 객체를 촬영한 영상 센서의 촬영 방향과 상기 특정 객체 사이의 제 1 각도, 상기 촬영한 영상 센서와 인접 영상 센서 간의 제 2 각도, 상기 촬영 방향과 북쪽 방향 간의 제 3 각도를 계산하고, 상기 차분에 기반하여 상기 이동형 플랫폼의 이동 궤적 정보를 산출하며, 상기 이동 궤적 정보, 상기 제 1 내지 제 3 각도에 기초하여 추정되며,
    상기 영상 정보의 자세 정보는 상기 영상 센서의 자세 정보로부터 추정되고,
    상기 영상 정보의 자세 정보는 상기 기하 정보에 반영되는 도로 공간 정보 구축을 위한 방법.

Images