KR102506264B1 - 이미지 처리 장치, 이미지 처리 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

Abstract

이미지 처리 방법이 개시된다. 본 방법은 도로 상에 위치한 복수의 차량들에서 획득된 이미지를 수신하는 단계, 수신된 이미지의 획득 정보에 따라 수신된 이미지들을 저장하는 단계, 저장된 이미지들 중 획득 정보가 동일한 이미지들을 기초로 기준 이미지와 대상 이미지를 결정하는 단계, 결정된 기준 이미지와 대상 이미지 각각에서 추출된 복수 개의 특징점(Feature Point)들을 이용하여 이미지 정합(Image Registration)을 수행하는 단계, 이미지 정합된 기준 이미지 및 대상 이미지 각각에 대하여 투명화 처리를 수행하는 단계, 투명화 처리된 이미지에서 정적 객체들을 추출하는 단계 및 추출된 정적 객체들과 미리 저장된 지도 데이터 상의 객체들을 비교하여, 미리 저장된 지도 데이터 상의 객체들과 추출된 정적 객체들이 상이하면, 지도 데이터를 갱신하는 단계를 포함한다.

Description

이미지 처리 장치, 이미지 처리 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체{APPARATUS, METHOD, COMPUTER PROGRAM. COMPUTER READABLE RECORDING MEDIUM FOR IMAGE PROCESSING}

본 발명은 이미지 처리 장치, 이미지 처리 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체에 관한 것으로, 카메라를 통해 획득된 이미지를 이용하여 높은 정확도를 가진 지도를 제공하기 위한 이미지 처리 장치, 이미지 처리 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.

최근 완성차업체는 지능형 운전자 보조 시스템(ADAS)의 수준을 한 단계 높인 자율주행 자동차를 구현하기 위해 노력하고 있으나, 종래의 카메라, 레이더 등 센서를 이용한 시스템의 기술적 문제로 인해 한계에 봉착하고 있다. 이러한 한계를 극복하기 위해 자율주행 자동차 구현에 부가 정보 시스템을 활용하는 방안을 모색하고 있는데, 대표적인 부가 정보 시스템으로는 정밀지도가 있다.

정밀지도는 도로 내에 있는 모든 고정된 물체의 위치 및 형태 정보를 포함한 지도를 말하는데, 정밀지도는 센서가 정상적으로 작동하기 어려운 상황에서 센서의 성능을 보완하는 역할을 한다. 장애물이나 악천후 등으로 인해 센서의 정보가 정확하지 않은 경우, 차량은 정밀지도의 정보를 활용하여 이를 보완할 수 있다.

정밀지도는 도로의 모든 고정된 지형지물의 위치와 형태 정보를 제공해야 하므로 지도의 정확성 및 실제 도로와 지형지물의 변경 사항을 신속히 반영하는 것이 중요하다. 그러나 고정된 지형지물이 이동체에 가려져 정확한 형태 정보를 알기 어렵거나 신호등 설치, 도로 확장/폐쇄, 차선 정보 변경 등의 도로 환경 변화가 발생했을 때 이러한 내용이 실제 지도에 신속히 반영 되지 않는 문제점이 발생하고 있다. 이에 이와 같은 문제점을 해결할 수 있는 방법이 요구되는 실정이다.

본 발명의 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은 지도를 제작하기 위한 이미지 처리 장치, 이미지 처리 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체를 제공함에 있다.

또한, 본 발명의 목적은 차량에 장착된 카메라에 의해 획득된 이미지를 이용하여 지도 데이터를 제작하기 위한 이미지 처리 장치, 이미지 처리 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체를 제공함에 있다.

또한, 본 발명의 목적은 도로 상에 위치한 차량으로부터 전송된 이미지를 이용하여 지도 데이터를 갱신하기 위한 이미지 처리 장치, 이미지 처리 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체를 제공함에 있다.

상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 이미지 처리 방법은, 도로 상에 위치한 복수의 차량들에서 획득된 이미지를 수신하는 단계, 상기 수신된 이미지의 획득 정보에 따라 상기 수신된 이미지들을 저장하는 단계, 상기 저장된 이미지들 중 상기 획득 정보가 동일한 이미지들을 기초로 기준 이미지와 대상 이미지를 결정하는 단계, 상기 결정된 기준 이미지와 대상 이미지 각각에서 추출된 복수 개의 특징점(Feature Point)들을 이용하여 이미지 정합(Image Registration)을 수행하는 단계, 상기 이미지 정합된 상기 기준 이미지 및 상기 대상 이미지 각각에 대하여 투명화 처리를 수행하는 단계, 상기 투명화 처리된 이미지에서 정적 객체들을 추출하는 단계 및 상기 추출된 정적 객체들과 미리 저장된 지도 데이터 상의 객체들을 비교하여, 상기 미리 저장된 지도 데이터 상의 객체들과 상기 추출된 정적 객체들이 상이하면, 상기 지도 데이터를 갱신하는 단계를 포함한다.

그리고, 상기 이미지 정합을 수행하는 단계는, 상기 결정된 기준 이미지와 대상 이미지 각각에서 복수 개의 특징점(Feature Point)들을 추출하는 단계, 상기 추출된 복수 개의 특징점들을 이용하여 상기 결정된 이미지들에 대해 이미지 정합(Image Registration)을 수행하는 단계를 포함할 수 있다.

또한, 상기 복수 개의 특징점들은, 상기 기준 이미지 또는 대상 이미지에서 영상 밝기 값이 급변하는 점으로, 화소 경계(Edge of Pixel) 또는 코너 점(Corner Point)일 수 있다.

그리고, 상기 투명화 처리는, 상기 투명화 처리를 수행할 이미지들에 포함되는 각 화소의 R, G, B 화소 값에 1보다 작은 소정 값을 곱하고, 상기 소정 값은, 상기 투명화 처리를 수행할 이미지들의 총 개수인 N개의 역수일 수 있다.

또한, 상기 획득 정보는, 상기 이미지가 촬영된 위치 정보, 상기 이미지가 촬영된 각도 정보, 상기 이미지가 촬영된 방향 정보 중 적어도 하나를 포함할 수 있다.

그리고, 상기 복수 개의 특징점들을 추출하는 단계는, 상기 기준 이미지로부터 복수 개의 제1 특징점들을 추출하는 단계 및 상기 대상 이미지로부터 복수 개의 제2 특징점들을 추출하는 단계를 포함할 수 있다.

또한, 상기 이미지 정합을 수행하는 단계는, 상기 복수 개의 제1 특징점들이 그룹핑된 제1 특징점 그룹과 상기 복수 개의 제2 특징점들이 그룹핑된 제2 특징점 그룹을 매칭시키는 매칭 동작을 수행하는 단계, 상기 매칭 동작을 통해 상기 제1 특징점 그룹들과 상기 제2 특징점 그룹들 간의 매칭 쌍들의 정보를 이용하여 호모그래피를 계산하는 단계, 상기 계산된 호모그래피를 이용하여 상기 대상 이미지를 변환하는 단계, 상기 기준 이미지와 상기 변환된 대상 이미지를 정합하는 단계를 포함할 수 있다.

그리고, 상기 지도 데이터를 갱신하는 단계는, 상기 추출된 정적 객체의 위치 정보를 확인하는 단계, 상기 미리 저장된 지도 데이터에서 상기 확인된 정적 객체의 위치 정보에 해당하는 위치에 상기 추출된 정적 객체와 상이한 객체가 존재하는지 검사하는 단계, 상기 검사 결과 상기 상이한 객체가 존재한다면, 상기 위치 정보에 해당하는 상기 미리 저장된 지도 데이터에 상기 추출된 정적 객체를 반영하여 상기 지도 데이터를 갱신하는 단계를 포함할 수 있다.

또한, 상기 갱신된 지도 데이터를 상기 도로 상에 위치한 복수의 차량들로 송신하는 단계를 더 포함할 수 있다.

한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 이미지 처리 장치는, 도로 상에 위치한 복수의 차량들에서 획득된 이미지를 수신하는 수신부, 상기 수신된 이미지의 획득 정보에 따라 상기 수신된 이미지들을 저장하는 저장부, 상기 저장된 이미지들 중 상기 획득 정보가 동일한 이미지들을 기초로 기준 이미지와 대상 이미지를 결정하는 제어부 및 상기 결정된 기준 이미지와 대상 이미지 각각에서 추출된 복수 개의 특징점(Feature Point)들을 이용하여 이미지 정합(Image Registration)을 수행하고, 상기 이미지 정합된 상기 기준 이미지 및 상기 대상 이미지 각각에 대하여 투명화 처리를 수행하는 이미지 처리부를 포함하고, 상기 제어부는, 상기 투명화 처리된 이미지에서 정적 객체들을 추출하고, 상기 추출된 정적 객체들과 상기 저장부에 미리 저장된 지도 데이터 상의 객체들을 비교하여, 상기 미리 저장된 지도 데이터 상의 객체들과 상기 추출된 정적 객체들이 상이하면, 상기 지도 데이터를 갱신할 수 있다.

그리고, 상기 이미지 처리부는, 상기 결정된 기준 이미지와 대상 이미지 각각에서 복수 개의 특징점(Feature Point)들을 추출하고, 상기 추출된 복수 개의 특징점들을 이용하여 상기 결정된 이미지들에 대해 이미지 정합(Image Registration)을 수행하여 하나의 합성된 이미지를 생성할 수 있다.

또한, 상기 복수 개의 특징점들은, 상기 기준 이미지 또는 대상 이미지에서 영상 밝기 값이 급변하는 점으로, 화소 경계(Edge of Pixel) 또는 코너 점(Corner Point)일 수 있다.

그리고, 상기 투명화 처리는, 상기 투명화 처리를 수행할 이미지들에 포함되는 각 화소의 R, G, B 화소 값에 1보다 작은 소정 값을 곱함을 특징으로 하고, 상기 소정 값은, 상기 투명화 처리를 수행할 이미지들의 총 개수인 N개의 역수일 수 있다.

또한, 상기 획득 정보는, 상기 이미지가 촬영된 위치 정보, 상기 이미지가 촬영된 각도 정보, 상기 이미지가 촬영된 방향 정보 중 적어도 하나를 포함할 수 있다.

그리고, 상기 이미지 처리부는, 상기 기준 이미지로부터 복수 개의 제1 특징점들을 추출하고, 상기 대상 이미지로부터 복수 개의 제2 특징점들을 추출하는 특징점 추출부, 상기 복수 개의 제1 특징점들이 그룹핑된 제1 특징점 그룹과 상기 복수 개의 제2 특징점들이 그룹핑된 제2 특징점 그룹을 매칭시키는 매칭 동작을 수행하는 특징점 매칭부, 상기 매칭 동작을 통해 상기 제1 특징점 그룹들과 상기 제2 특징점 그룹들 간의 매칭 쌍들의 정보를 이용하여 호모그래피를 계산하는 호모그래피 계산부, 상기 계산된 호모그래피를 이용하여 상기 대상 이미지를 변환하고, 상기 기준 이미지와 상기 변환된 대상 이미지를 정합하는 이미지 정합부 및 상기 정합된 이미지들에 대하여 투명화 처리를 수행하는 투명도 처리부를 포함할 수 있다.

또한, 상기 제어부는, 상기 추출된 정적 객체의 위치 정보를 확인하고, 상기 미리 저장된 지도 데이터에서 상기 확인된 정적 객체의 위치 정보에 해당하는 위치에 상기 추출된 정적 객체와 상이한 객체가 존재하는지 검사하고, 상기 검사 결과 상기 상이한 객체가 존재한다면, 상기 위치 정보에 해당하는 상기 미리 저장된 지도 데이터에 상기 추출된 정적 객체를 반영하여 상기 지도 데이터를 갱신할 수 있다.

한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 이미지 처리 방법은, 이동체에서 촬영된 복수의 이미지들 중 동일한 지역에 대한 이미지들을 선택하는 단계, 상기 선택된 이미지들 각각에 대하여 투명화 처리를 수행하는 단계, 상기 투명화 처리된 이미지들을 정합하는 단계 및 상기 정합된 이미지에 포함된 객체들의 투명도를 기초로 상기 정합된 이미지에서 정적 객체를 판단하는 단계를 포함한다.

그리고, 상기 선택하는 단계는, 상기 복수의 이미지들 각각에 대한 획득 정보가 동일한 이미지들을 선택하고, 상기 획득 정보는, 상기 이미지가 촬영된 위치 정보, 상기 이미지가 촬영된 각도 정보, 상기 이미지가 촬영된 방향 정보 중 적어도 하나를 포함할 수 있다.

또한, 상기 판단하는 단계는, 상기 정합된 이미지의 화소값, 기준 이미지의 화소값, 대상 이미지들의 화소값의 표준 편차를 화소 별로 산출하는 단계 및 상기 산출된 표준 편차가 기 설정된 값 이하인 화소는 정적 객체에 대한 화소로 판단하고, 상기 산출된 표준 편차가 기 설정된 값을 초과하는 화소는 동적 객체에 대한 화소로 판단하는 단계를 포함할 수 있다.

그리고, 상기 정합된 이미지에서 상기 동적 객체는 제외시키는 단계, 상기 동적 객체가 제외된 정합 이미지에서 정적 객체의 위치 정보를 확인하는 단계 및 상기 정적 객체의 위치 정보를 기초로 지도 데이터를 갱신하는 단계를 더 포함할 수 있다.

한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따르면, 이미지 처리 방법을 실행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체를 더 포함할 수 있다.

또한, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따르면, 이미지 처리 방법을 실행하기 위하여 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램을 더 포함할 수 있다.

상술한 본 발명의 다양한 실시 예에 따르면, 도로 상에 위치한 차량에 설치된 카메라에 의해 획득된 이미지를 통해 도로 상에 위치한 정적 객체들을 추출하고, 추출된 정적 객체를 이용하여 지도를 정확하고 신속하게 제작할 수 있는 장점이 있다.

또한, 상술한 본 발명의 다양한 실시 예에 따르면, 도로 상에 위치한 차량의 카메라를 통해 획득된 이미지를 실시간으로 수신함으로써, 기존의 실측을 통한 지도 제작 시스템과는 달리 원격에서 실시간으로 지도 데이터를 갱신할 수 있다.

또한, 상술한 본 발명의 다양한 실시 예에 따르면, 실시간으로 갱신된 지도 데이터를 도로 상에 위치한 차량으로 전송함으로써, 가장 최신의 도로 환경이 적용된 지도 서비스를 사용자에게 제공할 수 있다.

도 1은 본 발명의 일 실시예에 의한 지도 제작 시스템을 나타내는 도면.
도 2는 본 발명의 일 실시예에 의한 제1 내지 제3 차량에 장착된 전자 장치의 블록 구성을 나타내는 도면.
도 3은 본 발명의 일 실시예에 의한 이미지 처리 장치의 블록 구성을 나타내는 도면.
도 4는 본 발명의 실시 예에 따라 이미지 처리부의 특징점 추출부와 특징점 매칭부의 동작을 설명하기 위한 도면.
도 5는 본 발명의 실시 예에 따라 도 4에서 설명된 특징점 매칭에 따라 기준 이미지와 대상 이미지를 매칭하는 과정을 설명하기 위한 도면.
도 6은 본 발명의 실시 예에 따라 이미지 처리부의 호모그래피 계산부에 의해 계산된 호모그래피에 의해 기준 이미지와 대상 이미지 간의 매칭관계를 보여주기 위한 도면.
도 7은 본 발명의 실시 예에 따라 정적 객체와 동적 객체를 구별하는 것을 설명하기 위한 도면.
도 8 내지 도 11은 본 발명의 실시 예에 따라 투명화 처리를 설명하기 위한 도면.
도 12는 본 발명의 실시 예에 따른 기준 이미지와 대상 이미지에 대한 이미지 처리 결과를 보여주는 도면.
도 13은 본 발명의 실시 예에 따른 이미지 처리 장치의 동작 흐름을 보여주는 도면.
도 14는 도 13의 S1325단계를 상세히 설명하기 위한 도면.
도 15는 본 발명의 다른 실시 예에 따른 지도 제작을 위한 이미지 처리 장치의 블록 구성을 보여주기 위한 도면.
도 16은 도 15에 따른 이미지 처리 장치의 지도 제작 방법을 설명하기 위한 도면.
도 17은 본 발명의 또 다른 실시 예에 따른 전자 장치의 블록 구성을 보여주는 도면.
도 18은 도 17에 따른 전자 장치의 동작 흐름을 보여주는 도면.
도 19 내지 도20은 다섯 개의 이미지에 대한 투명화 처리를 설명하기 위한 도면.
도 21은 도 20의 투명화 처리된 이미지들의 이미지 정합을 설명하기 위한 도면.
도 22는 도 21에 따라 이미지 정합된 결과를 보여주는 도면.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 본 발명의 원리, 관점 및 실시 예들뿐만 아니라 특정 실시 예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.

또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.

본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시 예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 의한 지도 제작 시스템(10)을 나타내는 도면이다.

도 1을 참조하면, 본 발명의 지도 제작 시스템(10)은 제1 내지 제3차량(100,110,120) 및 이미지 처리 장치(130)를 포함한다.

제1 내지 제3차량(100,110,120)은 이미지를 획득할 수 있는 장치인 카메라가 장착되어 있으며, 도로 상에 위치하면서 획득된 이미지를 이미지 처리 장치(130)로 전송한다. 도 1에서는 차량들을 도시하였으나, 도로 또는 도로 주변의 피사체들이 촬영된 이미지를 이미지 처리 장치(130)로 전송할 수 있다면 차량 이외에 다른 수단, 예를 들어, 사람, 자전거, 선박, 열차 등과 같이 이동 가능한 수단으로 구현될 수도 있다. 이러한 이동 가능한 수단을 통칭하여 이동체(moving body)로 정의하기로 한다. 이하에서는 설명의 편의를 위하여, 이동체가 차량인 경우를 예로 설명하기로 한다.

한편, 상술한 피사체들은 교량, 건물, 도로, 인도, 도로 공사 표시, 과속 방지 턱, 횡단 보도, 교차로, 신호등, 중앙 분리대, 버스 정류장, 안내 표지 등 지도 데이터에 반영될 수 있는 고정된 정적 객체들을 포함한다.

또한 본 발명의 실시 예에 따른 이미지 처리 장치(130)는 제1 내지 제3차량(100,110,120)로부터 수신된 이미지를 처리하여 전자 지도를 제작하며, 제작된 전자 지도를 제1 내지 제3차량(100,110,120)을 포함하는 도로 상에 위치한 다른 차량들로 전송할 수 있다.

또한 본 발명의 실시 예에 따른 이미지 처리 장치(130)는 지도 제작 서버 일 수도 있다.

도 2는 본 발명의 일 실시예에 의한 제1 내지 제3 차량(100,110,120)에 장착된 전자 장치(200)의 블록 구성도이다.

도 2를 참조하면, 본 발명의 전자 장치(200)는 입력부(210), 통신부(230), 카메라부(240) 및 제어부(250)를 포함하며, 디스플레이부(220)를 더 포함할 수 있다. 일예로, 전자 장치(200)는 이미지 촬영이 가능한 장치로, 차량용 비디오 카메라 또는 카메라가 구비된 스마트 폰과 같은 이동 단말이 될 수 있다. 또한, 전자 장치(200)는 차량에 내장되어 CAN(Controller Area Network) 통신을 통해 차량의 ECU(Electronic Controller Unit)와 연결될 수도 있으며, 사용자의 스마트 폰과 같이 차량에 거치될 수 있으며, 이동 통신 시스템에 접속하여 데이터를 송수신할 수 있는 이동 단말이 될 수도 있다.

입력부(210)는 사용자로부터 동작을 수행하기 위한 명령 등을 입력 받으며, 키 패드(key-pad), 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그휠, 조그 스위치, 푸쉬 버튼 등으로 구성될 수 있다.

통신부(230)는 카메라부(240)에 의해 촬영된 이미지를 이미지 처리 장치(300)로 전송하거나, 차량 내에 구비된 다른 통신 수단으로 촬영된 이미지를 송신할 수 있다. 통신부(230)는 유선 통신방식뿐만 아니라 블루투스(Bluetooth), 와이 파이(Wi-Fi), 와이브로(Wireless broadband), 3G(3rd Generation), WCDMA 방식, LTE(Long Term Evolution) 및 4G(4th Generation) 통신방식 등의 다양한 무선 통신방식으로 통신할 수 있다.

카메라부(240)는 외부로부터 수신되는 이미지 신호(예를 들어, 광(光))를 특정 전기 신호로 변환하여 이미지 데이터를 생성한다. 예를 들어, 카메라부(240)는 차량의 주행과 관련된 차량의 내·외부의 이미지 데이터를 획득할 수 있다.

디스플레이부(220)는 사용자에게 시각적인 정보를 출력하는데, 지도 또는 운행 중 촬영된 영상을 출력할 수 있다. 디스플레이부(220)와 입력부(210)는 터치패널 또는 터치스크린 등으로 일체로 구성될 수 있다.

제어부(250)는 카메라부(240)가 영상을 촬영하도록 제어하고, 촬영된 영상을 통신부(230)를 통해 이미지 처리 장치(130)로 전송하는 등 전자 장치(200)를 전반적으로 제어한다. 그리고, 제어부(250)는 카메라부(240)에 의해 촬영된 이미지를 통신부(230)를 통해 이미지 처리 장치(300)로 송신할 때, 이미지가 촬영된 위치 정보, 촬영된 각도 정보, 촬영된 방향 정보 중 적어도 하나를 포함하는 획득 정보도 같이 송신하여, 본 발명에 따른 이미지 처리 장치(300)가 수신된 이미지들을 획득 정보에 따라 분류할 수 있어, 정적 객체가 변경된 지점에 대해서만 신속하게 지도 데이터의 갱신이 가능하다. 또한, 제어부(250)는 카메라부(240)에 의해 촬영된 이미지에 카메라 파라미터들을 조절하기 위한 카메라 캘리브레이션(calibration)과정을 수행하여 통신부(230)를 통해 이미지 처리 장치(300)로 전송할 수 있다.

한편, 제1 내지 제3 차량(100,110,120)에 장착된 전자 장치(200)는 소정 시간 단위로 객체를 촬영하고, 촬영된 객체의 이미지를 이미지 처리 장치(300)로 전송할 수 있다. 일 예로, 1분 단위로 객체를 촬영하고 촬영된 객체의 이미지를 이미지 처리 장치(300)으로 전송할 수 있다. 촬영된 객체의 이미지에는 촬영된 시간 및 장소 정보가 포함되어 있어서 촬영된 이미지를 동일 장소 별로 분류할 수 있다.

또한, 본 발명의 실시 예에 따라 전자 장치(200)의 제어부(250)는 카메라 캘리브레이션을 통해 각 차량에 설치된 카메라의 위치, 각도, 특성 등의 파라미터들을 보정할 수 있다. 이러한 카메라 캘리브레이션 과정을 수행하는 이유는 카메라를 통해 촬영된 이미지의 촬영 장소와 대상은 동일하지만, 각 이미지를 촬영한 카메라의 설치 높이, 각도 등이 서로 다른 이미지이므로 이러한 카메라의 특성 파라미터들을 보정해야만 이미지 정합을 용이하게 수행할 수 있기 때문이다.

이하에서 전자 장치(200)는 제1 내지 제3차량(100,110,120)에 장착되므로 영상을 촬영하고 촬영된 영상을 이미지 처리 장치(130)에 전송하는 것은 제1 내지 제3 차량(100,110,120)에서 수행하는 것으로 본다.

도 3은 본 발명의 일 실시예에 의한 이미지 처리 장치(300)의 블록 구성도이다. 도 3을 참조하면, 본 발명의 이미치 처리 장치(300)는 제어부(305), 수신부(310), 송신부(315), 저장부(320) 및 이미지 처리부(330)의 전부 또는 일부를 포함한다.

수신부(310)는 도로 상에 위치한 복수의 차량들에 장착된 카메라에 의해 획득된 이미지와 획득된 이미지가 촬영된 위치 정보, 촬영된 각도 정보, 촬영된 방향 정보 중 적어도 하나를 포함하는 획득 정보를 LTE(Long Term Evolution) 또는 Wi-Fi와 같은 무선 통신 또는 유선 통신을 통해 수신한다.

상기 수신부(310)가 상기 이미지 외에 상기 획득 정보를 수신하는 이유는, 제어부(305)가 이미지 처리를 위해 획득된 이미지들을 용이하게 분류하기 위함이다. 구체적으로, 상기 제어부(305)는 동일한 지점에서 획득된 이미지들이라도 촬영 방향과 각도가 상이할 수 있기에 이를 고려하여 이미지들을 분류한 후, 본 발명의 실시 예에 따라 이미지 처리를 하는 것이 바람직하다.

예를 들어, 차량이 교차로를 진입하는 경우, 본 발명의 실시 예에 따른 이미지 처리 장치(300)가 상기 차량이 상기 교차로의 어느 방향으로 진입하면서 획득된 이미지인지를 확인할 수 있어야, 정확하게 대상 이미지들을 선별 할 수 있을 것이기 때문이다.

즉, 사거리의 교차로의 경우, 차량은 각각 4 방향으로 진입하면서 이미지를 획득할 수 있으므로, 이미지 처리 장치(300)가 각 이미지들의 촬영 방향을 구분할 수 있어야 교차로 부근 지도 데이터의 정확한 제작 또는 갱신이 가능할 것이다.

또한, 본 발명의 실시 예에 따라 이미지 처리 장치(300)가 획득된 이미지의 촬영 각도 정보를 고려할 경우 더욱 정확한 이미지 처리를 통한 지도 데이터 제작 또는 갱신이 가능할 것이다.

송신부(315)는 제어부(305)에 의해 갱신된 지도 데이터 또는 저장부(320)에 저장된 지도 데이터를 제어부(305)의 제어에 의해 사용자 차량의 전자 장치(200) 또는 사용자의 이동 단말로 전송한다.

제어부(305)는 지도 데이터와 수신부(310)를 통해 수신된 이미지를 수신된 이미지의 획득 정보에 따라 분류하여 저장부(320)에 저장한다. 지도 데이터는 미리 제작된 지도 데이터로 지도 데이터 저장부(320a)에 저장되며, 수신된 이미지는 수신 이미지 저장부(320b)에 각각 저장된다. 제어부(305)는 본 발명의 실시 예에 따라, 상기 분류되어 저장된 이미지들을 이용하여 동일한 위치 정보, 방향 정보 등을 갖는 이미지들에 대해 이미지 처리를 수행할 수 있다. 여기서, 저장부(320)는 RAM(Random Access Memory), 플레시 메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드 등과 같은 내장된 형태의 저장소자는 물론, USB 메모리 등과 같은 착탈 가능한 형태의 저장소자로 구현될 수도 있다.

이러한 저장부(320)는 장치(300) 내에 구현될 수 있고, 장치(300)와 연결된 외부 데이터 베이스(DB) 서버 형태로 구현될 수 있다.

한편, 제어부(305)는 수신 이미지 저장부(320b)에 저장된 이미지들 중 획득 정보가 동일한 이미지들을 기초로 기준 이미지와 대상 이미지를 결정하고, 결정된 기준 이미지와 대상 이미지 각각에서 추출된 복수 개의 특징점(Feature Point)들을 이용하여 이미지 정합(Image Registration)을 수행하고, 이미지 정합된 이미지들에 대하여 투명화 처리를 수행하도록 이미지 처리부(330)를 제어한다. 여기서, 기준 이미지(Reference image)는 이미지 정합의 기준이 되는 이미지를 의미하고, 대상 이미지(Target image)는 이미지 정합의 대상이 되는 이미지를 의미한다.

또한, 제어부(305)는, 이미지 처리부(330)에 의해 투명화 처리된 이미지들을 정합하고, 정합 이미지에서 정적 객체 영역을 검출하도록 이미지 처리부(330)를 제어한다. 이 경우, 이미지 처리부(330)는 정합 이미지의 화소값, 획득된 기준 이미지의 화소값 및 호모그래피에 따라 변환된 대상 이미지들의 화소값의 표준 편차를 화소 별로 각각 계산하고, 이를 기초로 정합 이미지에서 정적 객체 영역을 검출할 수 있다.

그리고, 제어부(305)는 검출된 정적 객체들과 미리 저장된 지도 데이터 상의 객체들을 비교하며, 미리 저장된 지도 데이터 상의 객체들과 추출된 정적 객체들이 상이한 경우, 지도 데이터 저장부(320a)에 저장된 지도 데이터를 갱신한다.

한편, 이미지 처리부(330)는 정합 이미지의 화소값, 획득된 기준 이미지의 화소값 및 호모그래피에 따라 변환된 대상 이미지들의 화소값의 표준 편차를 화소 별로 각각 계산하고, 이를 기초로 정합 이미지에서 동적 객체 영역을 검출할 수 있다. 이 경우, 제어부(305)는 정합된 이미지에서 검출된 동적 객체를 제외시킬 수 있다. 그리고, 제어부(305)는 동적 객체가 제외된 정합 이미지에서 정적 객체의 위치 정보를 확인하고, 정적 객체의 위치 정보를 기초로 지도 데이터를 갱신할 수 있다.

도 3에서 이미지 처리부(330)는 획득된 이미지들 간의 특징점(Feature Point)들을 추출하고, 각 이미지들 간의 특징점들을 매칭하여 공통의 특징점들을 갖는 매칭된 특징점들을 계산함으로써, 호모그래피(Homography)를 계산한다. 그리고, 이미지 처리부(330)는 계산된 호모그래피를 이용하여 획득된 이미지들을 정합한다.

본 발명의 실시 예에 따른 이미지 처리부(330)는 특징점 추출부(330a), 특징점 매칭부(330b), 호모그래피(Homography) 계산부(330c), 이미지 정합부(Image registration Unit)(330d), 투명도 처리부(330e) 및 이미지 합성부(330f)를 전부 또는 일부를 포함한다.

여기서, 이미지 처리부(330)는 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 별도의 모듈로 구현될 수 있다. 일 예로, 하드웨어적인 구현에 의하면, ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다.

본 발명의 실시 예에 따른 이미지 처리부(330)의 동작은 도 4 내지 도 12를 참고하여 설명하기로 한다. 도 4는 본 발명의 실시 예에 따라 이미지 처리부(330)의 특징점 추출부(330a)와 특징점 매칭부(330b)의 동작을 설명하기 위한 도면이고, 도 5는 본 발명의 실시 예에 따라 도 4에서 설명된 특징점 매칭에 따라 기준 이미지와 대상 이미지를 매칭하는 과정을 설명하기 위한 도면이다.

도 6은 본 발명의 실시 예에 따라 이미지 처리부(330)의 호모그래피 계산부(330c)에 의해 계산된 호모그래피에 의해 기준 이미지와 대상 이미지 간의 매칭관계를 보여주기 위한 도면이다.

도 7은 본 발명의 실시 예에 따라 정적 객체와 동적 객체를 구별하는 것을 설명하기 위한 도면이다. 도 8 내지 도 11은 본 발명의 실시 예에 따라 투명화 처리를 설명하기 위한 도면이다.

도 12는 본 발명의 실시 예에 따른 기준 이미지와 대상 이미지에 대한 이미지 처리 결과를 보여주는 도면이다. 특징점 추출부(330a)는 제어부(305)에 의해 결정된 기준 이미지와 대상 이미지 각각에서 복수 개의 특징점(Feature Point)들을 추출한다. 이때 기준 이미지와 대상 이미지에서 추출되는 복수 개의 특징점들은, 기준 이미지 또는 대상 이미지에서 영상 밝기 값이 급변하는 점으로, 화소 경계(Edge of Pixel) 또는 코너 점(Corner Point)이 될 수 있다. 구체적으로, 본 발명의 실시 예에 따라 특징점 추출부(330a)에서 특징점을 추출하는 동작을 도 4를 참고하여 설명하기로 한다.

도 4에서 참조번호 405와 410 은 동일한 장소에서 촬영된 이미지로, 카메라 캘리브레이션 과정이 완료된 이미지이다. 도 4에서는 참조번호 405인 이미지와 참조번호 410인 이미지를 정합한다고 가정하고, 그에 따라 참조번호 410인 이미지는 이미지 정합의 기준이 되는 기준 이미지(Reference image)로, 참조번호 405인 이미지는 이미지 정합의 대상이 되는 대상 이미지(Target image)로 각각 칭하기로 한다.

도 4에서 특징점 추출부(330a)는 기준 이미지(410)와 대상 이미지(405)에서 각각 특징점들을 추출하는데, 참조번호 415는 대상 이미지(405)에서 추출된 특징점들을 도시한 도면이고, 참조번호 420은 기준 이미지(410)에서 추출된 특징점들을 도시한 도면이다.

각 이미지의 특징 추출은 각 이미지에서 특징되는 점들을 추출하는 것으로, 일 예로 이미지에서 화소 경계(Edge of Pixel) 또는 코너 점(Corner Point) 등의 영상 밝기 값이 급변하는 포인트가 특징점들에 해당될 수 있다. 각 이미지의 특징점들을 추출하기 위한 알고리즘으로는 Harris 방식, SIFT(Scale Invariant Feature Transform) 방식, ORB(oriented fast and rotated brief) 방식, FAST(Features from Accelerated Segment Test) 방식 등을 이용할 수 있다.

참조번호 415인 이미지는 FAST 방식을 적용하여 참조번호 405인 이미지에서 특징점들이라고 판단된 특징점들을 나타내고 있으며, 참조번호 420인 이미지는 FAST 방식을 적용하여 참조번호 410 인 이미지에서 특징점들이라고 판단된 특징점들을 나타내고 있다.

참조번호 415a는 참조번호 415에서 추출된 특징점들 중 하나를 나타내며, 참조번호 415b는 참조번호 415에서 추출된 복수 개의 특징점들이 그룹핑(grouping)된 제1 특징점 그룹을 나타낸다. 그리고, 참조번호 420a는 참조번호 420에서 추출된 특징점들 중 하나를 나타내며, 참조번호 420b는 참조번호 420에서 추출된 복수 개의 특징점들이 그룹핑(grouping)된 제2특징점 그룹을 나타낸다.

본 발명의 실시 예에 따라 특징점 추출부(330a)에 의해 참조번호 415와 420과 같이 특징점들에 대한 추출이 완료되면, 특징점 매칭부(330b)는 참조번호 430과 같이 기준 이미지에서 추출된 제1 특징점 그룹(415b)와 대상 이미지에서 추출된 제2 특징점 그룹(420b)을 이용하여 기준 이미지와 대상 이미지의 특징점들을 매칭한다. 본 발명에서 특징점 매칭은 각 이미지에서 추출된 특징점들을 서로 매칭시켜 기준 이미지와 대상 이미지 간에 존재하는 공통의 특징점들을 찾는 것으로, RANSAC(Random Sample Consensus) 방식을 이용할 수 있다. RANSAC 방식은 데이터에서 무작위로 샘플 데이터를 뽑아 최대로 consensus가 형성 된 데이터를 선택하는 방법으로써, 데이터에서 에러와 잡음을 최소화한 데이터를 획득하여 특징점들을 보다 정확하게 매칭하는 방법이다.

참조번호 430은 대상 이미지(405)에서 추출된 특징점들이 표시된 이미지(415)와 기준 이미지(410)에서 추출된 특징점들이 표시된 이미지(420)간에 각각 추출된 특징점들 서로 매칭시켜, 두 이미지들 간의 매칭 관계를 보여준다. 각 이미지의 특징점들을 매칭하는 방법에는 RANSAC 방식 외에도 최소 자승법(Least square Method), MSAC(M-estimator SAC), MLESAC(Maximum Likelihood SAC), LO-RANSAC(Locally Optimized RANSAC) 등이 있을 수 있다.

특징점 매칭부(330b)에 의해 기준 이미지의 특징점들과 대상 이미지의 특징점들이 매칭되면, 호모그래피 계산부(330c)는 제1 특징점 그룹(415b)과 제2 특징점 그룹(420b) 간의 매칭 쌍들의 정보를 이용하여 기준 이미지와 대상 이미지간의 변환 행렬인 호모그래피(Homography)를 계산한다.

호모그래피는 2D 평면의 대상 이미지를 기준 이미지로 매칭시키기 위한 변환 행렬이다. 호모그래피를 결정하기 위해서는 각 이미지에서 최소 4개의 매칭 점들이 서로 필요하며, 매칭 점들간의 관계 행렬(H)은 <수식 1>와 같이 3X3 행렬 H로 정의된다.

여기서, x,y는 기준 이미지의 특징점 좌표이고, “1”은 기준 이미지와 대상 이미지가 서로 호모지니어스(Homogeneous)하다는 것을 의미한다. W는 가중치로서, “0”이 아닌 상수로 정의된다. 3X3 행렬은 변환 행렬 H이다.

도 6은 본 발명의 실시 예에 따라 기준 이미지와 대상 이미지 간의 계산된 호모그래피를 통해 매칭 관계를 보여주는 도면이다. 도 6에서 참조번호 600은 기준 이미지이며, 605는 대상 이미지로써, 참조번호 610은 계산된 호모그래피 행렬을 이용하여 기준 이미지의 특징점 행렬(x, y, 1)과 대상 이미지의 특징점 행렬(x’, y’, 1)간의 매칭 관계가 존재하는 것을 나타낸다.

이미지 정합부(330d)는 호모그래피 계산부(330c)에서 계산된 호모그래피를 이용하여 대상 이미지(410)를 기준 이미지(405)에 정합하기 위해 변환한다.

구체적으로, 도 5에서 참조번호 505는 도 4에서의 기준 이미지(410)이며, 참조번호 510은 도 4에서의 참조번호 405인 대상 이미지를 호모그래피 계산부(300c)에서 계산한 호모그래피 행렬을 이용하여 변환한 이미지이다. 그리고, 이미지 정합부(330d)는 도 5의 참조번호 515와 같이 기준 이미지(505)와 변환된 대상 이미지(510)를 정합한다. 도 5에 도시된 바와 같이 이미지 정합(Image registration)부(330d)는 각 이미지의 매칭되는 특징점들을 기준으로 정합하되, 서로 다른 영상을 블렌딩(blending)하여 서로 다른 2개의 이미지들을 자연스럽게 정합한다

투명도 처리부(330e)는 이미지 정합부(330d)에 의해 정합된 기준 이미지와 대상 이미지 각각에 대하여 투명화 처리를 수행한다.

본 발명의 실시 예에 따라 투명도 처리부(330e)에서 투명화 처리를 수행하는 과정을 도 8 내지 도 11을 참조하여 구체적으로 살펴보기로 한다. 본 발명에 따른 투명도 처리부(330e)에서 수행하는 투명화 과정은 도 8 내지 도 11에서 설명하는 방법과 같이 수행할 수 있다. 도 8에는 총 10개의 이미지가 존재하는데, 원 모양의 제1 도형(800)은 10개의 이미지에 모두 존재하고, 삼각형 모양의 제2 도형(810)은 5개의 이미지에 존재하며, 사각형 모양의 제3 도형(820)은 3개의 이미지에 존재한다. 이러한 상태에서 각각의 이미지를 소정의 투명도로 변경하면 도 9와 같이 제1 내지 제3 도형(800, 810, 820)의 화소 값이 줄어들게 되어 흐릿하게 나타나는 것과 같은 효과가 나타난다. 이후 투명화 처리된 각 이미지를 중첩시키면 도 10에서 보는 바와 같이 제1 도형(800)은 투명화 처리 이전과 동일하게 선명한 형태를 갖지만, 제2 도형(810) 및 제3 도형(820)은 투명화 처리를 하기 전에 비해 선명도가 낮게 나타난다.

상술한 바와 같이 본 발명의 실시 예에 따라 투명도 처리부(330e)에서 대상 이미지를 투명화하는 방법은, 투명화 대상 이미지의 각 화소 값(0~255)에 소정의 상수를 곱해서 원래 이미지의 화소 값 보다 작은 화소 값을 갖도록 이미지 처리를 수행하는 것을 포함한다. 일반적으로, 각 화소의 R, G, B 화소 값은 0 ~ 255까지의 값을 가지는데, 이 화소 값이 작은 값을 가지게 되면, 시각적으로는 각 화소가 흐릿해지게 되고, 결과적으로 전체 이미지 또한 흐릿해지게 된다.

도 11에 도시된 바와 같이 본 발명의 일 실시 예로, N개의 이미지를 정합한다고 가정할 때, 투명화 처리를 수행하지 않은 이미지의 투명도를 ‘1’이라고 가정하면, 투명화 할 각각의 이미지의 화소 값에 1/N을 곱하여 투명화 처리를 할 수 있다. 도 9는 전체 투명화 대상 이미지의 개수가 10개이므로 1/10을 각 이미지의 화소에 곱한 경우의 각 이미지의 투명도를 나타내고 있다. 이때 상기 도 11에서 0번째 이미지는 기준 이미지가 될 것이며, 1부터 N-1까지 이미지들은 호모그래피에 의해 변환된 대상 이미지들이 될 것이다.

상술한 바와 같이 투명화 된 N개의 이미지들을 정합시키면 각 이미지에 존재하는 정적 객체는 정합된 이미지 상에서 그대로 남게 되지만, 동적 객체는 사라지게 될 것이다. 즉, 각각의 이미지를 투명화시킨 후 정합하면, 각 이미지에서 정적 객체에 해당되는 화소는 동일한 상수가 곱해진 투명도가 적용된 상태이므로, 각 화소 값을 더하면 원래의 화소 값과 동일하게 되거나 근접하게 되어 정합 이미지 상에서도 그대로 존재하게 된다.

본 발명의 실시 예에 따른 투명화 처리를 통한 정적 객체 추출 과정을 다시 한번 상세히 설명하면, 먼저 기준 이미지와 호모그래피에 따라 변환된 대상 이미지들을 정합하여 생성된 정합 이미지의 각 화소 별 화소 값을 계산한다. 이때 계산된 상기 정합 이미지의 각 화소 별 화소 값은 정합된 N개 이미지의 각 화소 별 평균 값과 같다.

그리고, 상기 계산된 정합 이미지의 화소 값과 상기 획득된 기준 이미지의 화소값 및 상기 변환된 대상 이미지들의 화소 값의 표준 편차를 화소 별로 각각 계산한다. 상기 계산된 표준 편차들 중 미리 정해진 임계 값 이내의 값을 갖는 화소의 경우, 본 발명의 실시 예에 따른 이미지 처리 장치(300)는 정적 객체를 구성하는 화소로 판단할 수 있다.

반면, 상기 계산된 표준 편차들 중 미리 정해진 임계 값을 초과하는 값을 갖는 화소의 경우, 본 발명의 실시 예에 따른 이미지 처리 장치(300)는 동적 객체를 구성하는 화소로 판단할 수 있다. 이러한 방식으로 이미지 처리 장치(300)가 각 이미지의 화소 값들과 상기 정합 이미지의 화소 값들의 표준 편차를 계산함으로써, 정합 이미지로부터의 정적 객체와 동적 객체를 구분할 수 있게 된다.

이와 같이 이미지 처리 장치(300)가 정합 이미지의 화소 별 평균 값으로부터 정적 객체와 동적 객체를 구분할 수 있는 이유는 정적 객체는 획득되는 각 이미지마다 존재하기 때문에, 각 이미지 별 화소 값의 변화가 적어 정적 객체에 포함되는 화소들 값의 표준 편차가 미리 설정된 임계 값보다 낮기 때문이다.

반면, 동적 객체는 획득되는 이미지마다 존재하는 것이 아닌 일부 이미지에서만 존재하기 때문에, 각 이미지 별 화소 값의 변화가 크고 그에 따라 동적 객체에 포함되는 화소 들 값의 표준 편차가 미리 설정된 임계 값보다 높기 때문이다. 이때 상기 미리 설정된 임계 값은 실험으로 결정될 수 있다.

그리고, 본 발명의 실시 예에 따라 추출된 정적 객체들에는 도로, 신호등, 횡단 보도, 건물 외에 배경이 존재할 수 있다. 이러한 경우 본 발명에서는 지도 제작을 위해서는 추출된 정적 객체들 중 실제 도로 데이터에 반영할 정적 객체들만을 추가적인 방법을 통해 식별할 필요가 있는데, 딥 러닝(Deep learning) 이나 머신 러닝(machine learning)을 통해 추출된 정적 객체들을 식별할 수 있다. 따라서, 본 발명의 실시 예에 따른 이미지 처리 장치(300)의 제어부(305)는 추출된 정적 객체들 중 딥 러닝 또는 머신 러닝을 통해, 지도 데이터 제작 또는 갱신에 필요한 신호등, 도로, 횡단 보도 등의 정적 객체만을 분리할 수 있다.

도 9에서 투명도 처리부(330e)는 각 이미지의 투명화 처리를 위해 각 이미지의 화소 값에 1/10을 곱하고, 10개의 이미지를 정합하게 되면, 도 10과 같이 제1 도형(800)은 투명화 수행 전과 동일하게 존재하는 것을 확인할 수 있지만, 제2 및 제3 도형(810, 820)은 투명화를 수행하기 전에 비해 사라지는 것을 확인할 수 있다. 도 10은 10개의 이미지들에 대해 이미지 정합을 수행한 것을 보여주고 있으나, 무한히 많은 이미지들을 중첩할 경우, 이미지 간 화소 값의 변화가 큰 동적 객체는 존재하지 않는 것처럼 인식될 것이다.

각 이미지를 중첩하는 내용에 대해 수식을 이용하여 살펴보면, 아래의 <수학식 2>과 같다.

이때, A(t)는 t 시간 동안 획득 된 평균 이미지 영상으로 t-1번째 영상과 t번째 영상을 이용한다. 또한, α는 가중치로서 값은 0.5이며 t-1번째 이미지의 50% 화소값과 t번째 이미지의 50% 화소값을 합하는 것을 의미한다. 또한, f(t)는 t번째 영상을 나타낸다.

일 예로, 상기 <수학식 2>을 적용해 보면 다음과 같다.

A(1) = αf(0) + (1-α)f(1),

A(2) = α(A(1)) + (1-α)f(2),

A(3) = α(A(2)) + (1-α)f(3)

또한, 이미지 처리 장치(300)는 1일 또는 1주일 등과 같이 소정의 기간 단위로 수신된 이미지를 이용하여 이미지 처리를 수행할 수 있으며, 수신된 이미지를 전부 이용하거나 임의로 선택된 이미지를 이용하여 이미지 처리를 수행할 수 있다. 일 예로, 도 11과 같이 1일 동안 제1 내지 제3 차량(100, 110, 120)에서 특정 지역을 촬영하여 이미지 처리 장치(300)로 송신한 이미지들이 0 ~ N-1까지 N개가 있다면, 이미지 처리 장치(300)는 0 ~ N-1개 이미지 전체를 투명화 처리 및 정합하여 정적 객체를 추출할 수도 있고, 그 중 일부의 이미지만을 이용하여 정적 객체를 추출할 수도 있다.

상술한 내용에 따라 이미지 처리 장치(300)의 제어부(305)가 투명도 처리부(330e)에 의해 투명화 처리된 이미지들에서 건물, 도로 등의 정적 객체를 추출하는 방법을 살펴보기로 하겠다.

도 7에서 참조번호 740과 750은 특정 지역에서 일정 시간 간격을 두고 촬영된 이미지들로 차량에 장착된 카메라 또는 스마트 폰에 의해 촬영된 이미지들이다. 촬영된 이미지들에는 정적 객체로 건물(700), 도로(720) 및 신호등(730)이 있으며, 동적 객체로 차량(710)이 있다. 이미지 처리 장치(300)는 소정 시간(예컨대 “1일”) 동안 전자 장치(200)들로부터 수신된 이미지들의 획득 정보를 이용하여 특정 지역에 관한 이미지들만을 분류함으로써, 특정 지역에 관한 복수 개의 이미지들을 얻을 수 있다.

그리고, 이미지 처리 장치(300)가 수신된 이미지들에 대하여 이미지 정합과, 투명화 처리를 수행하면, 참조번호 760과 같이 건물(700), 도로(720) 및 신호등(730)과 같은 정적 객체는 그대로 존재하지만, 차량들과 같은 동적 객체는 사라지게 된다. 본 발명의 실시 예에 따르면, 정합된 이미지들의 개수가 많을수록 투명화 처리를 수행할 때 정적 객체와 동적 객체의 구분이 더욱 명확해 질 수 있다.

이미지 합성부(330f)는 투명화 처리된 이미지들에 대하여 합성을 수행하여 합성된 이미지를 제어부(305)로 전달한다.

저장부(320)는 지도 데이터 저장부(320a)와 수신 이미지 저장부(320b)를 포함한다. 지도 데이터 저장부(320a)는 미리 제작된 지도 데이터를 저장하고, 제어부(305)에 의해 갱신된 지도 데이터도 저장한다. 수신 이미지 저장부(320b)는 수신부(310)를 통해 수신된 이미지들을 저장한다.

본 발명의 실시 예에 따른 제어부(305)는 수신부(310)를 통해 수신된 이미지들을 수신 이미지 저장부(320b)에 저장하도록 제어하고, 지도 데이터 저장부(320a)에 저장된 지도 데이터의 갱신이 필요할 경우, 지도 데이터를 갱신하여, 갱신된 지도 데이터를 지도 데이터 저장부(320a)에 저장한다.

그리고, 제어부(305)는 이미지 처리부(330)에서 투명화 처리된 이미지들에서 정적 객체들을 추출하고, 추출된 정적 객체들과 지도 데이터 저장부(320a)에 미리 저장된 지도 데이터 상의 객체들을 비교하여, 미리 저장된 지도 데이터 상의 객체들과 추출된 정적 객체들이 상이한 경우, 지도 데이터를 갱신한다.

구체적으로, 제어부(305)는 추출된 정적 객체의 위치 정보를 확인하고, 미리 저장된 지도 데이터에서 확인된 정적 객체의 위치 정보에 해당하는 위치에 추출된 정적 객체와 상이한 객체가 존재하는지 검사한다. 그리고, 검사 결과 상이한 객체가 존재한다면, 제어부(305)는 위치 정보에 해당하는 미리 저장된 지도 데이터에 추출된 정적 객체를 반영하고, 지도 데이터를 갱신하여 지도 데이터 저장부(320a)에 저장한다.

본 발명의 실시 예에 따라 이미지 처리 장치(300)가 도로 상에 위치한 차량들로부터 수신한 이미지에는 고정된 지형지물, 좌회전/우회전 등과 같이 도로에 표시되어 있는 차선 정보 등과 같은 정적 객체와 도로 상에 위치한 다른 차량, 보행자 등과 같은 동적 객체를 포함하고 있다. 따라서, 본 발명의 실시 예에 따라 이미지 처리 장치(300)가 지도 데이터를 생성하거나 갱신할 때 수신된 이미지에서 정적 객체를 제외한 불필요한 동적 객체를 제외시키는 것이 중요하다.

그러나, 이미지 처리 장치(300)는 수신된 이미지에서 정적 객체가 동적 객체에 가려져 정적 객체를 식별하기 어려운 경우가 발생할 수 있다. 따라서 본 발명의 실시 예에서는 이와 같은 문제를 해결하기 위해 이미지 처리 장치(300)는 기준 이미지와 대상 이미지를 정합하고, 투명화 처리를 수행한 후, 정적 객체들을 추출한다.

도 12는 본 발명의 실시 예에 따라 실제 도로 상에서 획득된 이미지들을 이용하여 정적 객체를 추출하는 과정을 설명하기 위한 도면이다.

도 12에서 참조번호 1205의 도로에는 우회전 차선 표시(1201)가 있지만, 참조번호 1210의 도로 상에는 차량이 존재하고 있어 우회전 차선 표시(1201)를 추출하기가 어렵다. 이러한 경우, 본 발명의 실시 예에 따라 이미지 처리를 수행하게 되면 참조번호 1215와 같이 동적 객체인 차량은 희미하게 보이지만 정적 객체인 우회전 차선 표시(1201)의 추출은 용이하게 식별할 수 있게 된다. 따라서, 본 발명의 실시 예에 따르면 이미지 처리 장치(300)는 도로 상에 존재하는 우회전 표시(1201)가 존재하는 것을 확인할 수 있어, 기존에 제작된 지도 데이터에 상기 우회전 표시(1201)가 없다면 해당 내용을 반영하도록 지도 데이터를 갱신할 수 있다.

송신부(315)는 제어부(305)에 의해 저장부(320)에 저장된 지도 데이터 또는 갱신된 지도 데이터를 차량의 전자 장치(200) 또는 사용자의 스마트 폰으로 송신한다. 또한, 송신부(315)는 차량의 전자 장치(200)들로 현재 위치에서 획득된 이미지의 송신을 요구하는 메시지를 송신할 수도 있다.

아울러, 본 발명의 실시 예에서는 투명도 처리부(320e)가 이미지 정합부(320d)에 의해 이미지 정합이 이루어진 후에 투명화 처리를 수행하는 것으로 설명하였으나, 이에 한정되는 것은 아니다.

본 발명의 다른 실시 예에 따르면, 투명화 처리 동작은, 제어부(305)에 의해 정합될 이미지들이 결정된 이후에 수행될 수도 있으며, 특징점들이 추출된 이후에 수행될 수도 있으며, 호모그래피가 계산된 이후에 수행될 수도 있다.

도 13은 본 발명의 실시 예에 따른 이미지 처리 장치의 동작 흐름도이다.

이미지 처리 장치(300)는 S1305단계에서 이미지를 수신하고, S1310단계에서 수신된 이미지를 저장부에 저장한다. 그리고, S1315단계에서 이미지 처리 장치(300)는 기준 이미지와 대상 이미지를 결정하고, S1320단계에서 이미지 전처리를 수행한다. 이미지 전처리 과정은 영상의 인식, 타 영상과의 합성 과정에 영향을 받지 않도록 영상의 색감이나 밝기 정도, 선명도 등을 통일시키는 이미지 프로세싱을 포함하며, 주로 Curves, Levels, Brightness/Contrast, Color Balance, Shadows/Highlight 등의 기능을 사용한다.

이미지 전처리 과정이 완료되면, 이미지 처리 장치(300)는 S1325단계에서 본 발명의 실시 예에 따른 이미지 처리 과정을 수행한다. S1325단계에서 수행되는 이미지 처리 과정은 도 14에서 설명하기로 한다.

상기 S1325단계에서 이미지 처리가 완료되면, S1330단계에서 이미지 처리 장치(300)는 정합된 이미지에서 정적 객체를 추출하고, S1335단계에서 추출된 정적 객체와 미리 저장된 지도 데이터를 비교한다. 구체적으로, 1335단계에서 이미지 처리 장치(300)는 미리 저장된 지도 데이터에서 확인된 정적 객체의 위치 정보에 해당하는 위치에 추출된 정적 객체와 상이한 객체가 존재하는지 확인한다.

S1335단계의 확인 결과, S1340단계에서 이미지 처리 장치(300)는 상기 미리 저장된 지도 데이터에 추출된 정적 객체와 상이한 객체가 존재한다면, S1345단계에서 지도 데이터를 갱신하고, S1350단계에서 갱신된 지도 데이터를 차량의 전자 장치 또는 사용자의 스마트 폰으로 송신한다.

도 14는 도 13의 S1325단계를 상세히 설명하기 위한 흐름도이다.

S1405단계에서 이미지 처리 장치(300)는 기준 이미지에서 제1 특징점들을 추출하고, 대상 이미지에서 제2 특징점들을 추출한다. 그리고, S1410단계에서 이미지 처리 장치(300)는 추출된 제1 특징점들이 그룹핑된 제1 특징점 그룹과 추출된 제2 특징점들이 그룹핑된 제2 특징점 그룹을 매칭하고, S1415단계에서 제1 특징점 그룹과 제2 특징점 그룹 간의 매칭 쌍들의 정보를 이용하여 호모그래피를 계산한다.

S1420단계에서 이미지 처리 장치(300)는 S1415단계에서 계산된 호모그래피를 이용하여 대상 이미지를 변환하고, S1425단계에서 기준 이미지와 변환된 대상 이미지를 정합한다.

그리고, S1430단계에서 이미지 처리 장치(300)는 정합된 이미지들에 대해 투명화 처리를 수행한 후, S1435단계에서 투명화 처리된 이미지들을 합성한다. S1435단계는 선택적인 단계로 필요에 따라 수행이 안될 수도 있다. 즉, 본 발명의 실시 예에 따라 이미지 처리 장치(300)는 정합된 이미지들에서 정적 객체를 추출할 때, 투명화 처리가 완료된 상태에서 추출할 수도 있고, 투명화 처리 후, 이미지 합성까지 완료된 후에 추출할 수도 있다.

도 15는 본 발명의 다른 실시 예에 따른 지도 제작을 위한 이미지 처리 장치의 블록 구성도이다. 입력부(1550)는 사용자로부터 이미지 처리 장치(1500) 동작을 수행하기 위한 명령 등을 입력 받으며, 키 패드(keypad), 터치 패드(정압/정전) 등으로 구성될 수 있다.

이미지 처리부(1510)는 도로 상에 위치한 차량들로부터 수신된 이미지를 처리하여 수신된 이미지로부터 고정된 지형지물, 도로 확장/폐쇄 또는 좌회전/우회전 등과 같은 차선 정보 등 다양한 정보를 추출한다.

통신부(1520)는 차량에 구비된 전자 장치들 또는 스마트 폰과 같은 이동 단말들과 통신을 수행하여 촬영된 이미지를 을 수신하거나 생성된 지도 데이터를 상기 전자 장치 또는 이동 단말로 전송한다. 통신부(1520)는 유선 통신방식뿐만 아니라 블루투스(Bluetooth), 와이 파이(Wi-Fi), 와이브로(Wireless broadband), 3G(3rd Generation), WCDMA 방식, LTE(Long Term Evolution) 및 4G(4th Generation) 통신방식 등의 다양한 무선 통신방식으로 통신할 수 있다.

저장부(1530)는 차량에 구비된 전자 장치들 또는 스마트 폰과 같은 이동 단말들로 수신된 이미지, 도시되지 않은 지도 제작 서버 또는 이미지 처리 장치(1500)에서 생성된 지도 데이터, 이미지 처리 장치(1500)의 제어부(340)가 실행 가능한 명령어들을 저장한다. 저장부(1530)는 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 등 다양한 저장 매체를 이용할 수 있다.

제어부(1540)는 수신된 이미지를 처리하여 지도 데이터를 생성하거나 지도 데이터 갱신을 위한 갱신 데이터를 생성하고, 생성된 지도 데이터를 통신부(1520)를 통해 차량에 구비된 전자 장치들 또는 스마트 폰과 같은 이동 단말들로 전송하도록 제어한다.

도 16은 도 15에 따른 이미지 처리 장치의 지도 제작 방법을 설명하기 위한 방법 흐름도이다.

도 16은 도로 상을 주행하는 차량들의 주행 경로가 기 저장된 지도 데이터와 다른 경우에 기 저장된 지도 데이터를 업데이트하는 경우에 관한 것이다. 일 예로, 기 저장된 지도 데이터 상에서는 좌회전 금지 구역이지만 차량이 좌회전을 하거나, 기 저장된 지도 데이터에서는 도로가 없음에도 불구하고, 차량이 주행 중인 경우 등이 이러한 상황에 해당 될 수 있다. 이때, 도로 또는 도로에 표시되어 있는 차선 정보는 정적 객체에 해당되기 때문에 앞서 설명한 바와 같은 영상 처리 방법으로 기 저장된 지도를 수정할 수 있다.

구체적으로 살펴보면, S1600단계에서 이미지 처리 장치(1500)는 도로를 주행하고 있는 차량들의 전자 장치들로부터 수신된 이미지, 사용자 주행 로그 등 다양한 데이터를 수신하여 저장한다. 이후, S1610단계에서 이미지 처리 장치(1500)의 제어부(1540)는 사용자 주행 로그를 분석하여 기 저장된 지도 데이터에 저장되어 있는 도로, 차선 정보 등과 같은 지도 데이터와 사용자 주행 내용 간에 다른 지점이 있는지 확인한다.

S1620단계에서 다른 지점이 있는 경우(S1620-예), S1630단계에서 제어부(1540)는 해당 지점에 대한 이미지 처리를 수행하도록 이미지 처리부(1510)를 제어하여 해당 지점에 대한 도로, 차선 정보 등 정적 객체를 추출한다. 이때, 이미지 처리 장치(1500)는 해당 지점에서 운행되는 복수의 차량들의 전자 장치들로부터 이미지가 획득될 때, 이미지 처리 과정을 수행하는 것이 바람직하다.

이후, S1640단계에서 제어부(1540)는 추출된 정적 객체와 지도 데이터를 비교하여 지도 데이터에 포함되어 있는 정적 객체에 대한 데이터의 수정 필요 여부를 확인하고, S1650단계에서 필요한 경우 지도 데이터를 수정하기 위한 갱신 정보를 생성한다. S1660단계에서 제어부(1540)는 S1650단계에서 생성된 갱신 정보를 이용해 지도 데이터를 수정하고, S1660단계에서 생성된 갱신 정보를 도로를 주행하고 있는 차량들의 전자 장치들로 전송한다. 이때, 사용자가 편리하게 이용할 수 있도록 제어부(1540)는 통신부(1520)를 통해 스마트 폰 등의 지도 데이터를 이용할 수 있는 전자 장치로 전송할 수 있다.

도 17은 본 발명의 또 다른 실시 예에 따른 전자 장치의 블록 구성도이다.

입력부(1715)는 사용자로부터 입력되는 각종 제어 명령들을 제어부(1705)로 전달하며, 터치 스크린 패널이나 키보드 또는 마우스 등이 될 수 있다. 통신부(1720)는 본 발명의 실시 예에 따른 이미지 처리 장치 또는 다른 전자 장치들과 통신을 수행한다. 출력부(1725)는 사용자에게 정보를 음성 또는 시각적으로 제공하는 구성으로, 디스플레이 또는 스피커 등이 될 수 있다. 카메라부(1730)는 제어부(1705)의 제어에 의해 피사체들을 촬영한다.

이미지 처리부(1710)는 본 명세서에서 설명한 바와 같이 카메라부(1730)에 의해 촬영된 이미지 들에 대한 특징점 추출, 투명화 처리, 이미지 정합 등의 이미지 처리를 수행하여 제어부(1705)가 정적 객체를 추출할 수 있게 한다.

저장부(1735)는 전자 장치(1700)가 동작할 수 있도록 하기 위해 제어부(1705)에 의해 수행될 수 있는 명령어들과 지도 데이터를 저장한다.

제어부(1705)는 본 발명의 다른 실시 예에 따라 전자 장치(1700)가 장착된 차량이 도로를 주행하는 경우, 상기 카메라부(1730)를 통해 이미지를 획득하도록 제어하고, 저장부(1735)에 저장된 지도 데이터를 로딩한다. 그리고, 로딩된 지도 데이터와 현재 측정된 차량의 위치를 사용하여 출력부(1725)를 통해 경로 안내를 수행하고, 상기 카메라부(1730)에 의해 획득된 이미지를 이미지 처리부(1710)에서 이미지 처리를 통해 정적 객체를 추출한다.

그리고, 제어부(1705)는 추출된 정적 객체와 상기 지도 데이터를 비교하고, 상기 추출된 정적 객체가 상기 경로 안내를 위해 사용하는 지도 데이터에 존재하는지 검사하고, 존재하지 않는다면 상기 저장부(1735)에 저장된 지도 데이터의 갱신 요구를 통신부(1720)를 통해 이미지 처리 장치로 요청한다.

통신부(1720)를 통해 갱신된 지도 데이터가 수신되면, 제어부(1735)는 저장부(1735)에 기저장된 지도 데이터를 갱신한다.

도 18은 도 17에 따른 전자 장치(1700)의 동작 흐름도이다.

차량이 도로를 주행하는 경우(S1805), S1810단계에서 차량에 설치된 전자 장치(1700)는 이미지를 획득하고, S1815단계에서 지도 데이터를 로딩한다. 그리고, S1820단계에서 전자 장치(1700)는 상기 로딩된 지도 데이터와 현재 측정된 차량의 위치를 사용하여 경로 안내를 수행하고, S1825단계에서 상기 획득된 이미지를 이미지 이미지 처리를 통해 정적 객체를 추출한다.

S1830단계에서 전자 장치(1700)는 상기 추출된 정적 객체와 상기 지도 데이터를 비교하고, S1835단계에서 상기 추출된 정적 객체가 상기 경로 안내를 위해 사용하는 지도 데이터에 존재하는지 검사한다. 상기 S1835단계의 검사 결과 상기 지도 데이터에 상기 상기 추출된 정적 객체와 상이한 정적 객체가 존재한다면, 전자 장치(1700)는 S1840단계에서 기 저장된 지도 데이터의 갱신 요구를 이미지 처리 장치로 요청한다. S1845단계에서 갱신된 지도 데이터가 수신되면, 전자 장치(1700)는 S1850단계에서 기저장된 지도 데이터를 갱신한다.

도 19 내지 도20은 본 발명의 실시 예에 따라 다섯 개의 이미지에 대한 투명화 처리를 설명하기 위한 도면이다.

도 19는 본 발명의 실시 예에 따라 동일한 지점에서 획득된 총 5개의 이미지들(참조번호 1905, 1910, 1915, 1920, 1925)를 나타내며, 도 20의 참조번호 2005, 2010, 2015, 2020, 2025는 도 19의 참조번호 1905, 1910, 1915, 1920, 1925인 이미지들 각각에 대해 투명화 처리를 수행한 결과를 보여준다. 도 19 및 도 20에서는 투명화 처리의 대상이 되는 이미지들의 총 개수가 5(N=5)이므로, 본 발명의 실시 예에 따른 투명화 처리를 위해 도 19의 참조번호 1905, 1910, 1915, 1920, 1925인 이미지들 각각의 화소 값에 곱해지는 상수는 1/5이다. 즉, 도 20의 각 이미지들은 도 19의 각 이미지들의 각 화소 값에 1/5를 곱하여 투명화 처리된 이미지들이다.

그리고, 도 21은 도 20의 투명화 처리된 이미지들의 이미지 정합을 설명하기 위한 도면이며, 도 22는 도 21에 따라 이미지 정합된 결과를 보여주는 도면으로, 동적 객체들인 차량들은 사라지는 반면, 정적 객체들인 도로, 차로 표시선, 횡단 보도, 신호등 등은 그대로 존재하는 것을 확인할 수 있다. 본 발명에서는 이러한 방법으로 이미지들로부터 정적 객체를 추출하여 지도 데이터를 갱신하거나 제작하는데 이용할 수 있다.

한편, 상술한 예시에서는 투명도 처리부가 투명화 대상 이미지의 각 화소 값(0~255)에 소정의 상수를 곱해서 원래 이미지의 화소 값 보다 작은 화소 값을 갖도록 이미지 처리를 수행하여 투명화를 수행하는 예로 설명하였으나, 이에 한정되는 것은 아니다. 본 발명의 다른 구현 예에 따르면, 투명도 처리부는 투명화 대상 이미지의 RGBA 값에서 투명도 레벨에 대응하는 A(ALPHA) 값을 조절함으로써, 해당 이미지의 투명도를 조절할 수 있다. 이때 상기 A(Alpha)값은 사전에 정해질 수도 있으며, 주기적으로 갱신될 수도 있다.

또한, 상술한 예시에서는 정합 이미지의 화소값, 기준 이미지의 화소값 및 대상 이미지들의 화소값의 표준 편차를 화소 별로 산출하고, 산출된 표준 편차가 기 설정된 값 이하인 화소는 정적 객체에 대한 화소로 판단하고, 상기 산출된 표준 편차가 기 설정된 값을 초과하는 화소는 동적 객체에 대한 화소로 판단함으로써, 정합 이미지에서 정적 객체와 동적 객체를 추출하는 것을 예로 설명하였으나, 이에 한정되는 것은 아니다. 본 발명의 다른 구현 예에 따르면, 정합 이미지의 RGBA 값에서 A(ALPHA) 값을 기 설정된 투명도 값과 비교함으로써 정적 객체와 동적 객체를 구분할 수도 있다.

한편, 상술한 본 발명의 다양한 실시 예들에 따른 제어 방법은 프로그램으로 구현되어 서버 또는 기기들에 제공될 수 있다. 이에 따라, 각 장치들은 프로그램이 저장된 서버 또는 기기에 접속하여, 상기 프로그램을 다운로드 할 수 있다.

또한, 상술한 본 발명의 다양한 실시 예들에 따른 제어 방법은 프로그램으로 구현되어 다양한 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다. 비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

200 : 전자 장치 210 : 입력부
220 : 디스플레이부 230 : 통신부
240 : 카메라부 250 : 제어부
300 : 이미지 처리 장치 305 : 제어부
310 : 수신부 315 : 송신부
320 : 저장부 330 : 이미지 처리부
330a : 특징점 추출부 330b : 특징점 매칭부
330c : 호모그래피 계산부 330d : 이미지 정합부
330e : 투명도 처리부 330f : 이미지 합성부

Claims (23)

1. 이미지 처리 방법에 있어서,
   도로 상에 위치한 복수의 차량들에서 획득된 이미지를 수신하는 단계:
   상기 수신된 이미지의 획득 정보에 따라 상기 수신된 이미지들을 저장하는 단계;
   상기 저장된 이미지들 중 상기 획득 정보가 동일한 이미지들을 기초로 기준 이미지와 대상 이미지를 결정하는 단계;
   상기 결정된 기준 이미지와 대상 이미지 각각에서 추출된 복수 개의 특징점(Feature Point)들을 이용하여 이미지 정합(Image Registration)을 수행하는 단계;
   상기 이미지 정합된 상기 기준 이미지 및 상기 대상 이미지 각각에 대하여 투명화 처리를 수행하는 단계;
   상기 투명화 처리된 이미지에서 정적 객체들을 추출하는 단계;및
   상기 추출된 정적 객체들과 미리 저장된 지도 데이터 상의 객체들을 비교하여, 상기 미리 저장된 지도 데이터 상의 객체들과 상기 추출된 정적 객체들이 상이하면, 상기 지도 데이터를 갱신하는 단계를 포함함을 특징으로 하는 이미지 처리 방법.
   
2. 제1항에 있어서,
   상기 이미지 정합을 수행하는 단계는,
   상기 결정된 기준 이미지와 대상 이미지 각각에서 복수 개의 특징점(Feature Point)들을 추출하는 단계;
   상기 추출된 복수 개의 특징점들을 이용하여 상기 결정된 이미지들에 대해 이미지 정합(Image Registration)을 수행하는 단계를 포함함을 특징으로 하는 이미지 처리 방법.
   
3. 제1항에 있어서,
   상기 복수 개의 특징점들은, 상기 기준 이미지 또는 대상 이미지에서 영상 밝기 값이 급변하는 점으로, 화소 경계(Edge of Pixel) 또는 코너 점(Corner Point)임을 특징으로 하는 이미지 처리 방법.
   
4. 제2항에 있어서,
   상기 투명화 처리는,
   상기 투명화 처리를 수행할 이미지들에 포함되는 각 화소의 R, G, B 화소 값에 1보다 작은 소정 값을 곱하고,
   상기 소정 값은,
   상기 투명화 처리를 수행할 이미지들의 총 개수인 N개의 역수임을 특징으로 하는 이미지 처리 방법.
   
5. 제1항에 있어서,
   상기 획득 정보는,
   상기 이미지가 촬영된 위치 정보, 상기 이미지가 촬영된 각도 정보, 상기 이미지가 촬영된 방향 정보 중 적어도 하나를 포함함을 특징으로 하는 이미지 처리 방법.
   
6. 제2항에 있어서,
   상기 복수 개의 특징점들을 추출하는 단계는,
   상기 기준 이미지로부터 복수 개의 제1 특징점들을 추출하는 단계;및
   상기 대상 이미지로부터 복수 개의 제2 특징점들을 추출하는 단계를 포함함을 특징으로 하는 이미지 처리 방법.
   
7. 제6항에 있어서,
   상기 이미지 정합을 수행하는 단계는,
   상기 복수 개의 제1 특징점들이 그룹핑된 제1 특징점 그룹과 상기 복수 개의 제2 특징점들이 그룹핑된 제2 특징점 그룹을 매칭시키는 매칭 동작을 수행하는 단계;
   상기 매칭 동작을 통해 상기 제1 특징점 그룹들과 상기 제2 특징점 그룹들 간의 매칭 쌍들의 정보를 이용하여 호모그래피를 계산하는 단계;
   상기 계산된 호모그래피를 이용하여 상기 대상 이미지를 변환하는 단계;
   상기 기준 이미지와 상기 변환된 대상 이미지를 정합하는 단계를 포함함을 특징으로 하는 이미지 처리 방법.
   
8. 제1항에 있어서,
   상기 지도 데이터를 갱신하는 단계는,
   상기 추출된 정적 객체의 위치 정보를 확인하는 단계;
   상기 미리 저장된 지도 데이터에서 상기 확인된 정적 객체의 위치 정보에 해당하는 위치에 상기 추출된 정적 객체와 상이한 객체가 존재하는지 검사하는 단계;
   상기 검사 결과 상기 상이한 객체가 존재한다면, 상기 위치 정보에 해당하는 상기 미리 저장된 지도 데이터에 상기 추출된 정적 객체를 반영하여 상기 지도 데이터를 갱신하는 단계를 포함함을 특징으로 하는 이미지 처리 방법.
   
9. 제1항에 있어서,
   상기 갱신된 지도 데이터를 상기 도로 상에 위치한 복수의 차량들로 송신하는 단계를 더 포함함을 특징으로 하는 이미지 처리 방법.
   
10. 이미지 처리 장치에 있어서,
    도로 상에 위치한 복수의 차량들에서 획득된 이미지를 수신하는 수신부;
    상기 수신된 이미지의 획득 정보에 따라 상기 수신된 이미지들을 저장하는 저장부;
    상기 저장된 이미지들 중 상기 획득 정보가 동일한 이미지들을 기초로 기준 이미지와 대상 이미지를 결정하는 제어부;및
    상기 결정된 기준 이미지와 대상 이미지 각각에서 추출된 복수 개의 특징점(Feature Point)들을 이용하여 이미지 정합(Image Registration)을 수행하고, 상기 이미지 정합된 상기 기준 이미지 및 상기 대상 이미지 각각에 대하여 투명화 처리를 수행하는 이미지 처리부;를 포함하고,
    상기 제어부는, 상기 투명화 처리된 이미지에서 정적 객체들을 추출하고, 상기 추출된 정적 객체들과 상기 저장부에 미리 저장된 지도 데이터 상의 객체들을 비교하여, 상기 미리 저장된 지도 데이터 상의 객체들과 상기 추출된 정적 객체들이 상이하면, 상기 지도 데이터를 갱신함을 특징으로 하는 이미지 처리 장치.
    
11. 제10항에 있어서,
    상기 이미지 처리부는,
    상기 결정된 기준 이미지와 대상 이미지 각각에서 복수 개의 특징점(Feature Point)들을 추출하고, 상기 추출된 복수 개의 특징점들을 이용하여 상기 결정된 이미지들에 대해 이미지 정합(Image Registration)을 수행하여 하나의 합성된 이미지를 생성함을 특징으로 하는 이미지 처리 장치.
    
12. 제10항에 있어서,
    상기 복수 개의 특징점들은, 상기 기준 이미지 또는 대상 이미지에서 영상 밝기 값이 급변하는 점으로, 화소 경계(Edge of Pixel) 또는 코너 점(Corner Point)임을 특징으로 하는 이미지 처리 장치.
    
13. 제11항에 있어서,
    상기 투명화 처리는,
    상기 투명화 처리를 수행할 이미지들에 포함되는 각 화소의 R, G, B 화소 값에 1보다 작은 소정 값을 곱함을 특징으로 하고,
    상기 소정 값은,
    상기 투명화 처리를 수행할 이미지들의 총 개수인 N개의 역수임을 특징으로 하는 이미지 처리 장치.
    
14. 제10항에 있어서,
    상기 획득 정보는,
    상기 이미지가 촬영된 위치 정보, 상기 이미지가 촬영된 각도 정보, 상기 이미지가 촬영된 방향 정보 중 적어도 하나를 포함함을 특징으로 하는 이미지 처리 장치.
    
15. 제11항에 있어서,
    상기 이미지 처리부는,
    상기 기준 이미지로부터 복수 개의 제1 특징점들을 추출하고, 상기 대상 이미지로부터 복수 개의 제2 특징점들을 추출하는 특징점 추출부;
    상기 복수 개의 제1 특징점들이 그룹핑된 제1 특징점 그룹과 상기 복수 개의 제2 특징점들이 그룹핑된 제2 특징점 그룹을 매칭시키는 매칭 동작을 수행하는 특징점 매칭부;
    상기 매칭 동작을 통해 상기 제1 특징점 그룹들과 상기 제2 특징점 그룹들 간의 매칭 쌍들의 정보를 이용하여 호모그래피를 계산하는 호모그래피 계산부;
    상기 계산된 호모그래피를 이용하여 상기 대상 이미지를 변환하고, 상기 기준 이미지와 상기 변환된 대상 이미지를 정합하는 이미지 정합부;및
    상기 정합된 이미지들에 대하여 투명화 처리를 수행하는 투명도 처리부를 포함함을 특징으로 하는 이미지 처리 장치.
    
16. 제10항에 있어서,
    상기 제어부는,
    상기 추출된 정적 객체의 위치 정보를 확인하고, 상기 미리 저장된 지도 데이터에서 상기 확인된 정적 객체의 위치 정보에 해당하는 위치에 상기 추출된 정적 객체와 상이한 객체가 존재하는지 검사하고, 상기 검사 결과 상기 상이한 객체가 존재한다면, 상기 위치 정보에 해당하는 상기 미리 저장된 지도 데이터에 상기 추출된 정적 객체를 반영하여 상기 지도 데이터를 갱신함을 특징으로 하는 이미지 처리 장치.
    
17. 제10항에 있어서,
    상기 갱신된 지도 데이터를 상기 도로 상에 위치한 복수의 차량들로 송신하는 송신부를 더 포함함을 특징으로 하는 이미지 처리 장치.
    
18. 이미지 처리 방법에 있어서,
    이동체에서 촬영된 복수의 이미지들 중 동일한 지역에 대한 이미지들을 선택하는 단계;
    상기 선택된 이미지들 각각에 대하여 투명화 처리를 수행하는 단계;
    상기 투명화 처리된 이미지들을 정합하는 단계; 및
    상기 정합된 이미지에 포함된 객체들의 투명도를 기초로 상기 정합된 이미지에서 정적 객체를 판단하는 단계;를 포함하고,
    상기 선택하는 단계는,
    상기 복수의 이미지들 각각에 대한 획득 정보가 동일한 이미지들을 선택하고,
    상기 획득 정보는, 상기 이미지가 촬영된 위치 정보, 상기 이미지가 촬영된 각도 정보, 상기 이미지가 촬영된 방향 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 이미지 처리 방법.
    
19. 삭제
20. 제18항에 있어서,
    상기 판단하는 단계는,
    상기 정합된 이미지의 화소값, 기준 이미지의 화소값, 대상 이미지들의 화소값의 표준 편차를 화소 별로 산출하는 단계; 및
    상기 산출된 표준 편차가 기 설정된 값 이하인 화소는 정적 객체에 대한 화소로 판단하고, 상기 산출된 표준 편차가 기 설정된 값을 초과하는 화소는 동적 객체에 대한 화소로 판단하는 단계;를 포함하는 것을 특징으로 하는 이미지 처리 방법.
    
21. 제20항에 있어서,
    상기 정합된 이미지에서 상기 동적 객체는 제외시키는 단계;
    상기 동적 객체가 제외된 정합 이미지에서 정적 객체의 위치 정보를 확인하는 단계; 및
    상기 정적 객체의 위치 정보를 기초로 지도 데이터를 갱신하는 단계;를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
    
22. 제1항 내지 제9항 및 제18항, 제20항 내지 제21항 중 어느 한 항에 기재된 이미지 처리 방법을 실행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
    
23. 제1항 내지 제9항 및 제18항, 제20항 내지 제21항 중 어느 한 항에 기재된 이미지 처리 방법을 실행하기 위하여 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램.

Images