KR102306225B1

KR102306225B1 - 인공위성 영상 분석 및 드론 이미지와 비교 검증을 통한 해양쓰레기 탐지 시스템 및 그 방법

Info

Publication number: KR102306225B1
Application number: KR1020210052222A
Authority: KR
Inventors: 김선화; 박영빈; 김태호; 김평중; 민지은
Original assignee: (주)유에스티21
Priority date: 2021-02-01
Filing date: 2021-04-22
Publication date: 2021-09-29
Anticipated expiration: 2041-02-01
Also published as: KR102264416B1; KR102278419B1

Abstract

본 발명은 인공위성 영상 분석 및 드론 이미지와 비교 검증을 통한 해양쓰레기 탐지 시스템(1) 및 그 방법(S1)에 관한 것으로, 더욱 상세하게는 인공위성 영상 분석을 통해 재질별 영역을 분류하는 기계학습 모델을 생성하고 이를 토대로 해양쓰레기 분포 영역을 탐지하며, 이후 입력되는 목표지점에 대한 인공위성 영상에서의 위치와 그 분포 면적을 산출함과 동시에, 드론 이미지와의 비교 검증을 통하여 정확한 결과값이 도출되도록 하는 인공위성 영상 분석 및 드론 이미지와 비교 검증을 통한 해양쓰레기 탐지 시스템 및 그 방법에 관한 것이다.

Description

인공위성 영상 분석 및 드론 이미지와 비교 검증을 통한 해양쓰레기 탐지 시스템 및 그 방법{SYSTEM FOR DETECTING MARINE DEBRIS USING SATELLITE IMAGE ANALYSIS AND COMPARING/VERIFYING WITH DRONE IMAGES AND METHOD THEREOF}

해양쓰레기는 선박사고, 어업 생산성 저하, 해양 생태계 파괴 등 우리 생활과의 밀접한 피해를 야기하고, 국가 간 갈등 유발과, 수거 및 처리 비용 발생 등 사회적 문제를 야기하는 중요한 국가 현안이다. 따라서, 해양쓰레기의 발생량 저감, 효율적인 수거, 신속한 처리를 위해서는 주기적인 모니터링을 통한 객관적인 조사 및 통계 자료의 확보가 중요하다.

매년 우리나라 바다로 유입되는 해양쓰레기 총량은 약 145,000톤으로 추정하지만, 위치에 따라 분류되는 해안, 부유, 침적 해양쓰레기의 현존량을 객관적으로 조사하는 방법은 미흡하다. 해안쓰레기의 경우, 해양수산부의 유인도서 대상 실태조사 결과 현존량은 7,508톤으로 추정하였지만(해양수산부, 2019a), 이는 일부 유인도서만을 대상으로 해안쓰레기의 유입, 유출, 수거, 자연 분해량을 이용하여 통계적으로 추정한 수치로 정확성이 떨어진다.

무인도서는 생태적 사회경제적 잠재 가치가 매우 높지만, 현황 모니터링 및 관리는 지리적 특성상 현장조사에 필요한 인력과 재원 인프라 부족으로 인해 지속적인 문제점이 제기되고 있다. 제3차 해양쓰레기 관리 기본계획에서 기존 선박 활용 육안 모니터링 체계의 인공위성, 드론 등의 원격탐사 기본 체계로 개편하는 필요성이 제기되었다(해양수산부, 2019b). 현재의 모니터링 방법은 특정된 구역의 단위 면적당 해안쓰레기 수거량을 직접 조사하고, 수거량에 해안선의 길이를 곱하여 전체 현존량을 추정하고 있다. 이러한 방법은 실제 현존량과 오차를 유발하며, 인적자원 투입으로 인해 무인도서 모니터링에는 부적합하다.

양식을 비롯한 어업에 매년 5000만개 이상의 스티로폼 부이가 사용되며 매년 380만개의 스티로폼 부이 쓰레기가 추가로 발생한다. 최근 고해상도 원격탐사 기술과 인공지능 기반 영상해독 능력 발달에 따라, 배경 재질과 해안쓰레기 분광 특성 차이를 이용하여 탐지하는 방법이 많이 연구되고 있으며, 드론 관측 RGB 영상을 이용하여 실험 영역 내 플라스틱 부표 등의 해안쓰레기를 탐지하는 방식 역시 제시되고 있다. 또한, 근래에는 spectrometer를 이용하여 해안쓰레기 종류별 spectral library를 구축하고, support vector machine(SVM)과 World-View 3 영상을 이용하여 스티로폼의 현존량을 추정하는 방식 역시 제시되고 있다.

국내등록특허 제10-1833172호 '해양 침적쓰레기 위치표식장치'

앞서 본 종래 기술의 문제점을 해결하기 위하여 안출된 것으로,

본 발명은 인공위성 영상 분석을 통해 해양쓰레기 및 주변 영역을 분류한 이후 이를 토대로 해양쓰레기 분포 영역을 탐지하는 기계학습 모델을 생성하며, 이후 입력되는 목표지점에 대한 인공위성 영상에서의 해양쓰레기의 분포 위치와 그 면적을 정확히 추적/산출함으로써, 인력 또는 재원 인프라 부족에 따른 해양쓰레기 탐지의 어려움을 미연에 방지하도록 하는 인공위성 영상 분석 및 드론 이미지와 비교 검증을 통한 해양쓰레기 탐지 시스템 및 그 방법을 제공하는데 그 목적이 있다.

또한, 본 발명은 백색 스티로폼을 포함하는 해양쓰레기에 대한 대표 픽셀 선정 시 근적외선 밴드에서 가장 높은 반사도 값을 나타내는 픽셀을 중심으로 일정 크기의 윈도우에 포함되는 픽셀들을 대표 픽셀로 선정함으로써, 개별 픽셀에 스티로폼과 주변 영역이 모두 혼재되어 위치하는 경우에도 스티로폼에 대한 대표 픽셀 선정의 객관성을 담보하도록 하는 인공위성 영상 분석 및 드론 이미지와 비교 검증을 통한 해양쓰레기 탐지 시스템 및 그 방법을 제공하는데 그 목적이 있다.

또한, 본 발명은 각 백색 스티로폼의 크기에 따라 윈도우의 크기를 가변적으로 설정함으로써 객관적인 판단이 가능하도록 하는 인공위성 영상 분석 및 드론 이미지와 비교 검증을 통한 해양쓰레기 탐지 시스템 및 그 방법을 제공하는데 그 목적이 있다.

또한, 본 발명은 분포면적 산출모듈을 통해 목표 지점에서의 해양쓰레기 분포 범위 뿐만 아니라 총 분포 면적을 산출함으로써, 기존의 방식인 특정 구역의 단위 면적당 해양쓰레기 수거량을 조사하고 해안선의 길이를 곱하여 총 분포 면적을 산출하는 것 대비 정확한 결과값이 도출 가능하도록 하는 인공위성 영상 분석 및 드론 이미지와 비교 검증을 통한 해양쓰레기 탐지 시스템 및 그 방법을 제공하는데 그 목적이 있다.

또한, 본 발명은 분석부를 통하여 드론 이미지와 인공위성 이미지를 대비하여 각 픽셀 별 해양쓰레기 존부를 비교 검증 가능하도록 하는 인공위성 영상 분석 및 드론 이미지와 비교 검증을 통한 해양쓰레기 탐지 시스템 및 그 방법을 제공하는데 그 목적이 있다.

본 발명은 앞서 상술한 목적을 달성하기 위하여 다음과 같은 구성을 가진 실시예에 의하여 구현될 수 있다.

본 발명의 일 실시예에 의하면, 인공위성 영상 분석 및 드론 이미지와 비교 검증을 통한 해양쓰레기 탐지 방법은 수신한 인공위성 이미지를 편집하는 단계; 편집을 통하여 생성된 융합이미지에서, 해양쓰레기를 포함한 각 군집 별 대표 픽셀을 선정하는 단계; 상기 대표 픽셀을 기초로 해양쓰레기를 탐지하는 기준이 되는 학습모델을 생성하는 단계; 분석 대상 인공위성 이미지 입력 시 상기 학습모델을 기초로 목표지점에서의 백색 스티로폼의 분포 위치 및 범위를 픽셀 별로 판단하는 단계; 및 상기 분석 대상 인공위성 이미지에서의 해양쓰레기 분포 위치를 드론 이미지와 대비하여 비교 검증하는 단계;를 포함하며, 상기 이미지 편집단계는 고해상도의 흑백 이미지와 저해상도의 다중 분광 이미지를 융합하여 융합이미지를 생성하는 단계;를 포함하고, 상기 군집 별 대표 픽셀 선정단계는 백색 스티로폼의 대표 픽셀을 선정하는 단계; 및 상기 백색 스티로폼을 제외한 모래, 식생, 암반, 해수 등 나머지 군집 별 대표 픽셀을 선정하는 단계;를 포함하고, 상기 비교 검증단계는 상기 학습모델을 통하여 백색 스티로폼의 위치를 나타내는 픽셀과 중첩되는 영역에 위치하는 다수의 드론 이미지 픽셀들에서 백색 스티로폼이 존재하는 것으로 인식된 픽셀들의 수가 기 설정된 개수 이상인 경우, 상기 학습모델을 통한 결과값이 참인 것으로 인식하며, 상기 백색 스티로폼 대표 픽셀 선정단계는 근적외선 밴드에서 가장 높은 반사도 값을 나타내는 픽셀을 중심으로 소정 크기의 윈도우에 포함되는 픽셀(들)을 대표 픽셀로 선정하는 단계;를 포함하는 것을 특징으로 한다.

본 발명의 다른 실시예에 의하면, 인공위성 영상 분석 및 드론 이미지와 비교 검증을 통한 해양쓰레기 탐지 방법에서의 상기 학습모델 생성단계는 적색, 녹색, 청색, 근적외선 밴드에서, 2개의 밴드 별 각 재질의 반사도값을 조합하는 단계; 및 상기 조합된 2개의 밴드 별 반사도값들을 모두 조합하여 1개의 학습모델을 생성하는 단계;를 포함하는 것을 특징으로 한다.

본 발명의 또 다른 실시예에 의하면, 인공위성 영상 분석 및 드론 이미지와 비교 검증을 통한 해양쓰레기 탐지 방법은 상기 목표지점에서 백색 스티로폼의 총 분포 면적을 산출하는 단계;를 추가로 포함하는 것을 특징으로 한다.

본 발명의 또 다른 실시예에 의하면, 인공위성 영상 분석 및 드론 이미지와 비교 검증을 통한 해양쓰레기 탐지 방법에서의 상기 분포 면적 산출단계는 상기 입력된 인공위성 이미지의 공간해상도와, 탐지된 백색 스티로폼 위치와 대응되는 픽셀의 수를 곱 연산하여 상기 백색 스티로폼의 총 분포 면적을 산출하는 것을 특징으로 한다.

본 발명의 또 다른 실시예에 의하면, 인공위성 영상 분석 및 드론 이미지와 비교 검증을 통한 해양쓰레기 탐지 방법은 상기 학습모델 생성단계는 적색, 녹색, 청색, 근적외선 밴드에서, 2개의 밴드 별 각 재질의 반사도값을 조합하는 단계; 및 상기 조합된 2개의 밴드 별 반사도값들을 모두 조합하여 1개의 학습모델을 생성하는 단계;를 포함하는 것을 특징으로 한다.

본 발명의 또 다른 실시예에 의하면, 인공위성 영상 분석 및 드론 이미지와 비교 검증을 통한 해양쓰레기 탐지 방법에서, 상기 윈도우에 포함되는 픽셀들의 개수가 군집 별 대표 픽셀 개수를 초과하는 경우, 상기 윈도우에 포함되는 픽셀들에서 대표 픽셀 개수만큼 무작위 추출하는 것을 특징으로 한다.

본 발명은 앞서 본 구성에 의하여 다음과 같은 효과를 가진다.

본 발명은 인공위성 영상 분석을 통해 해양쓰레기 및 주변 영역을 분류한 이후 이를 토대로 해양쓰레기 분포 영역을 탐지하는 기계학습 모델을 생성하며, 이후 입력되는 목표지점에 대한 인공위성 영상에서의 해양쓰레기의 분포 위치와 그 면적을 정확히 추적/산출함으로써, 무인도서와 같이 인력 또는 재원 인프라 부족에 따른 해양쓰레기 탐지의 어려움을 미연에 방지하도록 하는 효과가 있다.

또한, 본 발명은 백색 스티로폼을 포함하는 해양쓰레기에 대한 대표 픽셀 선정 시 근적외선 밴드에서 가장 높은 반사도 값을 나타내는 픽셀을 중심으로 일정 크기의 윈도우에 포함되는 픽셀들을 대표 픽셀로 선정함으로써, 개별 픽셀에 스티로폼과 주변 영역이 모두 혼재되어 위치하는 경우에도 스티로폼에 대한 대표 픽셀 선정의 객관성을 담보하도록 하는 효과가 도출된다.

또한, 본 발명은 각 백색 스티로폼의 크기에 따라 윈도우의 크기를 가변적으로 설정함으로써 객관적인 판단이 가능하도록 하는 효과를 보인다.

또한, 본 발명은 분포면적 산출모듈을 통해 목표 지점에서의 해양쓰레기 분포 범위 뿐만 아니라 총 분포 면적을 산출함으로써, 기존의 방식인 특정 구역의 단위 면적당 해양쓰레기 수거량을 조사하고 해안선의 길이를 곱하여 총 분포 면적을 산출하는 것 대비 정확한 결과값이 도출 가능하도록 하는 효과를 나타낸다.

또한, 본 발명은 분석부를 통하여 드론 이미지와 인공위성 이미지를 대비하여 각 픽셀 별 해양쓰레기 존부를 비교 검증 가능하도록 하는 효과를 가진다.

한편, 여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급됨을 첨언한다.

도 1은 본 발명의 일 실시예에 따른 인공위성 영상 분석 및 드론 이미지와 비교 검증을 통한 해양쓰레기 탐지 시스템에 대한 블럭도이고;
도 2는 도 1에 따른 대표픽셀 선정모듈의 블럭도이고;
도 3은 모래, 암반, 식생, 해수 및 스티로폼 5개 재질을 대상으로 KOMPSAT-3A 밴드에서의 반사도 변화 분석에 대한 그래프이고;
도 4는 도 2에 따른 대표픽셀 선정모듈의 구동 화면을 보여주는 참고도이고;
도 5는 도 1에 따른 밴드별 조합모듈 및 기준생성모듈의 구동방식을 설명하기 위한 참고도이고;
도 6은 도 1에 따른 분석부에 의하여 백색 스티로폼이 탐지된 화면을 보여주는 참고도이고;
도 7은 도 1에 따른 검증부를 구동 방식을 설명하기 위한 참고도이고;
도 8은 본 발명의 일 실시예에 따른 인공위성 영상 분석 및 드론 이미지와 비교 검증을 통한 해양쓰레기 탐지 방법에 대한 순서도이다.

이하, 본 발명의 실시예를 첨부된 도면들을 참조하여 더욱 상세하게 설명한다. 본 발명의 실시예는 다양한 형태로 변형할 수 있으며, 본 발명의 범위가 아래의 실시예들로 한정되는 것으로 해석되어서는 안 되며 청구범위에 기재된 사항을 기준으로 해석되어야 한다. 또한, 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 참고적으로 제공되는 것일 뿐이다.

본 명세서에서 사용된 바와 같이, 단수 형태는 문맥상 다른 경우를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 또한, 본 명세서에서 사용되는 경우 "포함한다(comprise)" 및/또는 "포함하는(comprising)"은 언급한 형상들, 숫자, 단계, 동작, 부재, 요소 및/또는 이들 그룹의 존재를 특정하는 것이며, 하나 이상의 다른 형상, 숫자, 동작, 부재, 요소 및 /또는 그룹들의 존재 또는 부가를 배제하는 것이 아니다.

본 명세서에 있어서, 개별 구성들은 필요에 따라 일체로 이루어질 수도 또는 독립적으로 형성될 수도 있고 이에 별도의 제한이 없음에 유의하여야 한다.

도 1은 본 발명의 일 실시예에 따른 인공위성 영상 분석 및 드론 이미지와 비교 검증을 통한 해양쓰레기 탐지 시스템에 대한 블럭도이다.

이하에서는 첨부된 도면들을 참고하여 본 발명의 일 실시예에 따른 인공위성 영상 분석을 통한 해양쓰레기 탐지 시스템에 대하여 상세히 설명하도록 한다.

도 1을 참고하면, 본 발명은 인공위성 영상 분석 및 드론 이미지와 비교 검증을 통한 해양쓰레기 탐지 시스템(1)에 관한 것으로, 더욱 상세하게는 인공위성 영상 분석을 통해 재질별 영역을 분류하는 기계학습 모델을 생성하고 이를 토대로 해양쓰레기 분포 영역을 탐지하며, 이후 입력되는 목표지점에 대한 인공위성 영상에서의 위치와 그 분포 면적을 산출함과 동시에, 드론 이미지와의 비교 검증을 통하여 정확한 결과값이 도출되도록 하는 인공위성 영상 분석 및 드론 이미지와 비교 검증을 통한 해양쓰레기 탐지 시스템에 관한 것이다.

이를 위하여, 상기 시스템(1)은 이미지 편집부(10), 학습자료 생성부(30), 기계학습부(50), 분석부(70), 검증부(90)를 포함할 수 있다. 상기 해양쓰레기의 유형에는 특별한 제한이 있는 것은 아니지만, 일 예로 '백색 스티로폼'을 기준으로 설명하도록 한다. 또한, '해양쓰레기'는 해안쓰레기를 포함하는 개념으로 이해한다.

이미지 편집부(10)는 수신한 인공위성 이미지를 편집하는 구성이다. 수신한 인공위성 이미지 중 일부는 학습 모델 생성을 위하여, 나머지 일부는 해양쓰레기 탐지를 위하여 편집할 수 있다. 즉, 학습 모델 생성을 위한 이미지 뿐만 아니라, 학습 모델 생성 후 해양쓰레기의 위치를 탐지하는 대상이 되는 이미지 역시 이미지 편집부(10)를 통하여 편집되는 것이 바람직하다. 이를 위하여, 상기 이미지 편집부(10)는 융합이미지 생성부(110), 대기영향 보정부(130)를 포함할 수 있다.

융합이미지 생성모듈(110)은 상대적으로 고해상도의 흑백 이미지와 저해상도의 다중 분광(Multispectral) 이미지를 융합 처리하는 구성이다. 예를 들어, 융합이미지 생성부(110)는 고해상도의 흑백 이미지의 픽셀 크기에 저해상도의 다중 분광 이미지의 픽셀 크기를 맞추어, 고해상 융합이미지를 생성하는 것이다. 일반적으로 저해상도의 다중 분광 이미지에서는 작은 크기의 해양쓰레기를 식별하기가 비용이하므로, 고해상도의 흑백 이미지와 융합한 이미지를 생성하는 것이 바람직하다. 예를 들어, KOMPSAT-3A 인공위성 이미지는 Panchromatic 밴드와 함께, 적색(Red), 녹색(Green), 청색(Blue), 근적외선(Near Infrared) 밴드를 포함하며, 흑백 이미지의 경우 0.55m의 공간해상도를, 나머지 밴드 이미지는 2.2m의 공간해상도를 가진다. 따라서, 융합이미지 생성부(110)를 통하여 저해상도의 다중 분광 이미지의 공간해상도를 흑백 이미지의 공간해상도 값에 맞추어 고해상도의 융합이미지를 생성할 수 있다. 이러한 융합이미지는 예를 들어 웨이블릿 변환(wavelet transform) 기반의 Pansharpening 기법을 통하여 생성될 수 있으나 이에 별도의 제한이 있는 것은 아니다.

대기영향 보정모듈(130)은 생성된 융합이미지에 대한 대기 영향을 보정하는 구성이다. 예를 들어, 태양복사에너지가 대기를 통과하여 위성센서에 도달하며, 이 때 태양복사에너지가 대기를 통과함에 따라 대기의 산란, 흡수, 굴절의 영향을 받게 되므로, 해양쓰레기의 정확한 판별을 위해서는 대기영향을 보정하는 과정이 필수적이다. 이러한 대기영향의 보정은 COST(Cosine approximation) 모델을 이용하여 수행될 수 있으나 이에 별도의 제한이 있는 것은 아니다.

도 2는 도 1에 따른 대표픽셀 선정모듈의 블럭도이고; 도 3은 모래, 암반, 식생, 해수 및 스티로폼 5개 재질을 대상으로 KOMPSAT-3A 밴드에서의 반사도 변화 분석에 대한 그래프이고; 도 4는 도 2에 따른 대표픽셀 선정모듈의 구동 화면을 보여주는 참고도이다.

도 1 및 도 2를 참고하면, 학습자료 생성부(30)는 이미지 편집부(10)를 통하여 편집된 이미지를 근거로 해안가 주변 영역의 군집별 학습 기초자료(대표 픽셀)를 선정하고, 이를 기반으로 해양쓰레기 탐지를 위한 학습모델을 생성하는 구성으로, 이를 위하여 군집별 분류모듈(310), 대표픽셀 선정모듈(330)을 포함할 수 있다.

군집별 분류모듈(310)은 해양쓰레기를 포함하여 해안가에 위치한 각 군집을 분류하는 구성이다. 예를 들어, 융합이미지에서 해안가 각 위치의 재질 별 군집을 분류한다. 여기에서 '재질'에 따라 모래, 식생(Vegetation), 암반(Gravel), 해수(Sea water), 해양쓰레기(예를 들어 스티로폼, Styrofoam) 지역 등으로 분류할 수 있다. 따라서, 융합이미지에서 해안가의 각 위치 별 모래, 식생, 암반, 해수, 해양쓰레기의 군집 별 영역을 파악한다. 이는 사용자가 직접 해안가에 백색 스티로폼을 설치한 이후 각 군집을 분류할 수도 있다. 일반적으로 백색 스티로폼을 포함한 해양쓰레기는 해안가의 모래, 식생, 암반 상에 주로 분포하며, 스티로폼 분포 영역을 정확하게 분류하기 위해서는 스티로폼이 분포하는 주변 영역의 군집 별 분류가 필수적이다. 따라서, 군집별 분류모듈(310)을 통하여 해안가에 위치한 간 군집 별 분류를 수행할 수 있다. 다만, 상기 군집별 분류모듈(310)은 본 발명의 임의적 구성으로, 사용자가 직접 융합이미지에서의 각 영역을 분류하는 것 역시 가능하다.

도 1 및 도 2를 참고하면, 대표픽셀 선정모듈(330)은 백색 스티로폼을 포함하는 해양쓰레기를 탐지하는 학습모델을 생성하기 위하여, 융합이미지에서 각 군집 별 대표 픽셀을 선정하는 구성이다. 각 군집 별 기 설정된 개수만큼의 대표 픽셀을 선정하여 기계학습의 기초가 되도록 할 수 있다. 예를 들어, 각 군집 별 대표 픽셀의 수를 96개로 설정한 경우, 모래의 위치에 대한 대표 픽셀, 식생 위치에 대한 대표 픽셀, 암반 위치에 대한 대표 픽셀, 해양 위치에 대한 대표 픽셀과, 스티로폼이 존재하는 위치의 대표 픽셀을 각각 96개 선정한다. 다만, 대표 픽셀의 개수는 예시적인 것일 뿐이며 사용자 설정에 의해 변경 가능하다. 또한, 각 군집 별 대표 픽셀의 개수는 동일하게 설정되는 것이 바람직하다.

상기 대표픽셀 선정모듈(330)은 제1 픽셀 선정모듈(331)과, 제2 픽셀 선정모듈(333)을 포함할 수 있다.

제1 픽셀 선정모듈(331)은 백색 스티로폼을 포함하는 해양쓰레기의 대표 픽셀을 선정하는 구성이다. 상세하게 설명하면, 해안가에 위치하는 스티로폼은 그 개수가 한정적이므로 이를 정확히 탐지하는 것이 비용이하므로 나머지 군집들과 별도로 대표 픽셀을 선정한다. 예를 들어, 스티로폼에 대한 대표 픽셀 선정 시, 근적외선 밴드에서 가장 높은 반사도 값을 나타내는 픽셀을 중심으로 일정 크기의 윈도우에 포함되는 픽셀(들)을 대표 픽셀로 선정한다. 일 예로, 공간해상도 0.55m인 KOMPSAT-3A 영상의 경우, 스티로폼이 0.55 ~ 1.64m 크기인 경우 1 x 1 윈도우 영역을, 스티로폼이 1.65 ~ 2.74m 크기인 경우 윈도우 영역을 3 x 3으로, 스티로폼이 2.75 ~ 3.85 m 크기인 경우 윈도우 영역을 5 x 5로 설정하며, 상기 윈도우 영역에 포함되는 픽셀(들)을 백색 스티로폼에 대한 대표 픽셀로 선정한다. 즉, 스티로폼을 포함한 해양쓰레기의 크기 별 윈도우의 크기 역시 조절될 수 있다. 이러한 해양쓰레기의 크기는 사용자가 직접 현장 관측을 통하여 측정 가능하다.

일반적으로 백색 스티로폼의 경우, 1개의 스티로폼이 인공위성 이미지의 다수의 픽셀들에 걸쳐 위치할 수 있다. 예를 들어 제1 단위 픽셀에는 스티로폼의 일 부분이 해당 픽셀 전체 영역에 걸쳐 위치하며, 제2 단위 픽셀에는 스티로폼과 주변 영역이 모두 혼재되어 위치할 수 있다. 이 때 제2 픽셀 내에는 주변 영역 역시 위치하므로, 해당 주변 영역에 의하여 반사도 값이 간섭되며, 그에 따라 스티로폼이 위치하는 픽셀로의 분류가 쉽지 않다. 따라서, 제1 픽셀 선정모듈(331)은 근적외선 밴드에서 가장 높은 반사도 값을 나타내는 픽셀을 중심으로 하여 일정 크기의 윈도우에 포함되는 픽셀들 대표 픽셀로 선정한다.

도 3은 모래, 암반, 식생, 해수 및 스티로폼의 5개 재질을 대상으로 KOMPSAT-3A 밴드에서 반사도 변화 분석을 수행한 그래프를 보여준다. 여기에서, 스티로폼은 모든 밴드에서 가장 높은 반사도를 나타내며, 특히 근적외선 밴드 영역에서 나머지 재질들과 반사도에 있어 뚜렷한 차이를 나타낸다. 이를 토대로, 제1 픽셀 선정모듈(331)은 근적외선 밴드에서 가장 높은 반사도 값을 나타내는 픽셀을 중심으로 스티로폼에 대한 대표 픽셀을 선정하여, 백색 스트로폼 판단 여부의 오류를 최소화할 수 있다.

또한, 도 1 및 도 2를 참고하면, 제1 픽셀 선정모듈(331)에 의하여 선정된 대표 픽셀의 수가 군집 별 대표 픽셀의 수를 초과하는 경우, 상기 제1 픽셀 선정모듈(331)에 의하여 선정된 픽셀들에서 상기 군집 별 대표 픽셀의 수만큼을 무작위 추출하여 그 개수를 제한할 수 있다. 예를 들어, KOMPSAT-3A 영상에서 2,75 ~ 3.85m 크기의 스티로폼이 4개 위치할 때 4개의 5x5 윈도우 영역에 포함되는 픽셀들의 개수는 총 100개이다. 이 때, 군집별 대표 픽셀 수를 96개로 설정한 경우, 해당 100개의 픽셀 중 96개를 무작위로 추출하여 대표 픽셀로 선정한다.

제2 픽셀 선정모듈(333)은 스티로폼을 포함한 해양쓰레기를 제외한 나머지 군집의 경우, 군집별 분류모듈(310)을 통하여 분류된 위치의 픽셀을 무작위 추출하여 대표 픽셀을 선정하는 구성이다. 예를 들어, 융합이미지에서 식생 지역, 암반 지역, 모래 지역 등이 분류되면, 해당 위치들마다 군집별 대표 픽셀의 수만큼 무작위로 대표 픽셀을 선정한다. 상기 제1 픽셀 선정모듈(331)과 제2 픽셀 선정모듈(333)에 의하여 기계학습의 기초 자료인 대표 픽셀들이 모두 선정된다. 도 4를 참고하면, 흑색 표시는 암반에 대한 대표 픽셀이, 황색 표시는 모래에 대한 대표 픽셀이, 녹색 표시는 식생에 대한 대표 픽셀이, 청색 표시는 해수에 대한 대표 픽셀이, 적색 표시는 스티로폼에 대한 대표 픽셀이 선정된 것을 보여준다.

도 5는 도 1에 따른 밴드밸 조합모듈 및 기준생성모듈의 구동방식을 설명하기 위한 참고도이다.

도 1 및 도 5를 참고하면, 기계학습부(50)는 학습자료 생성부(30)를 통하여 선정된 군집 별 대표 픽셀이 입력된 이후, 이를 기초 자료로 하여 학습 모델(기준 모델)을 생성하는 구성이다. 즉, 기계학습부(50)를 통하여 모래, 식생, 암반, 해수, 해양쓰레기의 각 재질 별 반사도값 분포 범위를 설정한다. 기계 학습은 예를 들어 SVM Linear 학습 모델을 이용할 수 있다. 이를 위하여, 기계학습부(50)는 밴드별 조합모듈(510), 기준생성모듈(530)을 포함할 수 있다.

밴드별 조합모듈(510)은 적색, 녹색, 청색, 근적외선 밴드에서, 각 재질의 2개의 밴드 별 반사도값을 조합하는 구성이다. 예를 들어, 적색과 녹색, 적색과 청색, 적색과 근적외선, 녹색과 청색, 녹색과 근적외선, 청색과 근적외선 밴드 별 반사도값을 조합한다. 일 예로, 적색 밴드에서의 반사도값을 x축 값으로, 녹색 밴드에서의 반사도값을 y축 값으로 설정할 수 있다. 이와 같이 각 재질에 대한 조합된 2개의 밴드 별 반사도값을 나타내는 2차원 평면좌표를 모두 생성할 수 있다. 도 5를 참고하면, Band 1은 청색, Band 2는 녹색, Band 3은 적색, Band 4는 근적외선 밴드이며, 도시된 바와 같이 모래, 식생, 암반, 해수 및 스티로폼에 대하여 2개의 Band를 조합한 반사도 공간 좌표를 형성하는 것을 알 수 있다.

기준생성모듈(530)은 밴드별 조합모듈(510)을 통하여 조합된 2개의 밴드 별 반사도값들을 모두 조합하여 하나의 기준모델을 생성하는 구성이다. 예를 들어 재질 별 조합된 2개의 밴드 별 반사도값들을 모두 조합하여 각 재질을 분류할 수 있는 최적의 분할선(Optimal Decision Boundary)을 생성한다.

도 6은 도 1에 따른 분석부에 의하여 백색 스티로폼이 탐지된 화면을 보여주는 참고도이다.

도 1 및 도 6을 참고하면, 분석부(70)는 기계학습부(50)를 통하여 도출된 기준모델을 기반으로 분석 대상 인공위성 이미지 입력 시 상기 이미지에서의 해양쓰레기의 분포 범위 및 총 면적을 도출하는 구성으로, 이를 위하여 탐지모듈(710), 분포면적 산출모듈(730)을 포함할 수 있다.

탐지모듈(710)은 해양쓰레기 분석을 위한 위성 이미지 입력 시 상기 위성 이미지에 대한 위치 별 반사도값과 상기 기준모델을 기초로 하여 해양쓰레기의 위치와 분포 범위를 탐지하는 구성이다. 이에 의하여, 목표 지점에서의 해양쓰레기 위치 및 분포 범위를 정확히 판단 가능하다. 도 6(a)은 백색 스티로폼이 설치된 특정 지역에 대한 드론 이미지이고, 도 6(b)는 동일 지역에서의 인공위성 이미지를 활용한 탐지모듈(710) 구동화면이다.

분포면적 산출모듈(730)은 목표 지점에서의 해양쓰레기 총 분포 면적을 산출하는 구성으로, 위성 이미지의 공간해상도와, 탐지된 스티로폼(또는 해양쓰레기)의 픽셀 수를 곱 연산하여 상기 스티로폼의 총 분포면적을 산출할 수 있다.

도 7은 도 1에 따른 검증부를 구동 방식을 설명하기 위한 참고도이다.

도 1 및 도 7을 참고하면, 검증부(90)는 분석부(70)를 통하여 결정된 위성 이미지에서의 스티로폼을 포함한 해양쓰레기의 위치를 드론 이미지와 비교하여 검증하는 구성이다. 예를 들어, 분석부(70)를 통해 해양쓰레기의 위치를 나타내는 것으로 판단된 픽셀과 중첩되는 영역에 위치하는 다수의 드론 이미지 픽셀들에서 해양쓰레기가 존재하는 것으로 인식된 픽셀들의 수가 기 설정된 개수 이상인 경우, 분석부(70)를 통해 해양쓰레기가 위치한 것으로 인정되는 픽셀에 실제로 해양쓰레기가 위치하는 것으로 판단한다. 즉, 참값으로 인정하는 것이다.

예를 들어, 드론 이미지의 공간해상도가 2.5 cm이고, 위성의 융합이미지 공간해상도가 0.55m 인 경우, 상기 융합이미지의 한 개 픽셀 내에 (0.55/0.025)^2의 수만큼의 드론 이미지 픽셀들이 중첩된다. 또한, 스티로폼을 포함한 해양쓰레기는 융합이미지의 한 개 픽셀 내 전체에 걸쳐 존재할 수 있으나, 상기 한 개 픽셀 내 일 부분에만 위치할 가능성이 높다. 이 때 드론 이미지의 484개 픽셀들 중 해양쓰레기가 위치한 픽셀들의 수가 484 * 기 설정된 % 이상인 경우, 해당 융합이미지에서의 특정 위치(픽셀)에서 해양쓰레기가 위치한 것으로 판단된 것은 정확한 것으로 인정할 수 있다. 도 7을 참고하면, 융합이미지의 한 개 픽셀(P1) 내에 드론 이미지의 픽셀들의 중심점(P2)이 중첩되어 있다. 이 때, 스티로폼(S) 영역 내에 위치한 드론 이미지 픽셀들(P2)의 개수를 특정하여 전술한 검증을 가능하도록 할 수 있다. 예를 들어, 기 설정된 %는 75%일 수 있으나 이에 별도의 제한이 있는 것은 아니다. 이와 같은 교차 검증 작업을 통하여 해양쓰레기 분포 위치를 보다 정확히 판별 가능한 것에 그 이점이 있다.

도 8은 본 발명의 일 실시예에 따른 인공위성 영상 분석 및 드론 이미지와 비교 검증을 통한 해양쓰레기 탐지 방법에 대한 순서도이다.

이하에서는 첨부된 도면을 참고하여 본 발명의 일 실시예에 따른 인공위성 영상 분석 및 드론 이미지와 비교 검증을 통한 해양쓰레기 탐지 방법(S1)에 대하여 상세히 설명하도록 한다. 상기 해양쓰레기 탐지 방법(S1)은 전술한 해양쓰레기 탐지 시스템(1)의 각 구성을 통하여 수행되므로 이에 대한 상세한 설명은 생략하도록 한다.

먼저, 도 8을 참고하면, 인공위성 영상을 수신하여 융합이미지를 생성한다(S10). 이는 융합이미지 생성모듈(110)을 통하여 수행되며, 예를 들어 Pansharpening 기법을 통하여 생성할 수 있다. 전술한 바와 같이 융합이미지는 고해상도의 흑백 이미지와 저해상도의 다중 분광 이미지를 융합 처리하여 생성할 수 있다. 이후, 생성된 융합이미지에 대한 대기 영향을 보정한다(S20). 단계 S20은 대기영향 보정모듈(130)을 통하여 수행될 수 있다.

그리고 나서, 군집별 분류모듈(310)을 통해 융합이미지 내에서, 모래, 식생, 암반, 해수, 스티로폼을 포함한 해양쓰레기의 각 군집 별 분류 작업을 수행한다(S30). 전술한 바와 같이, 단계 S30은 본 발명에 있어 임의적 구성임에 유의하여야 한다.

그 후, 대표 픽셀 선정모듈(330)을 통하여, 단계 S30을 통하여 분류된 각 군집 별 대표 픽셀을 선정한다(S40). 단계 S40 에서는 각 군집 별 대표 픽셀을 기 설정된 개수만큼 선정하며, 예를 들어 스티로폼을 포함하는 해양쓰레기의 경우 근적외선 밴드에서 가장 높은 반사도 값을 나타내는 픽셀을 중심으로 일정 크기의 윈도우에 포함되는 픽셀들을 대표 픽셀로 선정한다. 여기에서 윈도우의 크기는 해양쓰레기의 크기 별로 상이해질 수도 있다. 또한, 해양쓰레기를 제외한 나머지 군집의 경우, 단계 S30을 통하여 융합이미지 내에서 군집 별 분류된 위치마다 픽셀들을 기 설정된 개수만큼 무작위 추출할 수 있다.

그 후, 기계학습부(50)를 통하여 학습모델을 생성한다(S50). 상세하게는, 밴드별 조합모듈(510)을 통하여 각 재질의 2개의 밴드 별 반사도값을 조합한 자료를 생성한 이후, 기준생성모듈(530)을 통해 각 자료들을 조합하여 하나의 기준모델을 생성할 수 있다. 그리고 나서, 탐지모듈(710)을 통하여 해양쓰레기 분석을 위한 영상/이미지 입력 시 밴드 별 반사도값과 기준모델을 대비하여 목표 지점에서의 해양쓰레기의 위치, 분포범위를 탐지한다(S60). 또한, 단계 S60에서 분포면적 산출모듈(730)을 통하여 목표 지점에서의 해양쓰레기 총 분포면적을 산출할 수 있다.

마지막으로, 검증부(90)를 통하여 검증작업을 수행한다(S70). 전술한 바와 같이, 예를 들어, 분석부(70)를 통해 해양쓰레기가 존재하는 것으로 인정되는 위치를 나타내는 픽셀과 중첩되는 영역에 위치하는 다수의 드론 이미지 픽셀들에서 해양쓰레기가 존재하는 것으로 인식된 픽셀들의 수가 기 설정된 개수 이상인 경우, 분석부(70)를 통한 분석이 정확한 것으로 인정한다.

이상의 상세한 설명은 본 발명을 예시하는 것이다. 또한, 전술한 내용은 본 발명의 바람직한 실시 형태를 나타내어 설명하는 것이며, 본 발명은 다양한 다른 조합, 변경 및 환경에서 사용할 수 있다. 즉 본 명세서에 개시된 발명의 개념의 범위, 저술한 개시 내용과 균등한 범위 및/또는 당업계의 기술 또는 지식의 범위 내에서 변경 또는 수정이 가능하다. 전술한 실시예는 본 발명의 기술적 사상을 구현하기 위한 최선의 상태를 설명하는 것이며, 본 발명의 구체적인 적용 분야 및 용도에서 요구되는 다양한 변경도 가능하다. 따라서 이상의 발명의 상세한 설명은 개시된 실시 상태로 본 발명을 제한하려는 의도가 아니다.

1 : 인공위성 영상 분석 및 드론 이미지와 비교 검증을 통한 해양쓰레기 탐지 시스템
10 : 이미지 편집부
110 : 융합이미지 생성모듈 130 : 대기영향 보정모듈
30 : 학습자료 생성부
310 : 군집별 분류모듈 330 : 대표픽셀 선정모듈
331 : 제1 픽셀 선정모듈 333 : 제2 픽셀 선정모듈
50 : 기계학습부
510 : 밴드별 조합모듈 530 : 기준생성모듈
70 : 분석부
710 : 탐지모듈 730 : 분포면적 산출모듈
90 : 검증부
S1 : 인공위성 영상 분석 및 드론 이미지와 비교 검증을 통한 해양쓰레기 탐지 방법
S10 내지 S70 : 각 단계

Claims

수신한 인공위성 이미지를 편집하는 단계;
편집을 통하여 생성된 융합이미지에서, 해양쓰레기를 포함한 각 군집 별 대표 픽셀을 선정하는 단계;
상기 대표 픽셀을 기초로 해양쓰레기를 탐지하는 기준이 되는 학습모델을 생성하는 단계;
분석 대상 인공위성 이미지 입력 시 상기 학습모델을 기초로 목표지점에서의 백색 스티로폼의 분포 위치 및 범위를 픽셀 별로 판단하는 단계; 및
상기 분석 대상 인공위성 이미지에서의 백색 스티로폼의 분포 위치를 드론 이미지와 대비하여 비교 검증하는 단계;를 포함하며,
상기 이미지 편집단계는
고해상도의 흑백 이미지와 저해상도의 다중 분광 이미지를 융합하여 융합이미지를 생성하는 단계;를 포함하고,
상기 군집 별 대표 픽셀 선정단계는
백색 스티로폼의 대표 픽셀을 선정하는 단계; 및 상기 백색 스티로폼을 제외한 모래, 식생, 암반, 해수 등 나머지 군집 별 대표 픽셀을 선정하는 단계;를 포함하고,
상기 비교 검증단계는
상기 학습모델을 통하여 백색 스티로폼의 위치를 나타내는 픽셀과 중첩되는 영역에 위치하는 다수의 드론 이미지 픽셀들에서 백색 스티로폼이 존재하는 것으로 인식된 픽셀들의 수가 기 설정된 개수 이상인 경우, 상기 학습모델을 통한 결과값이 참인 것으로 인식하며,
상기 백색 스티로폼 대표 픽셀 선정단계는
근적외선 밴드에서 가장 높은 반사도 값을 나타내는 픽셀을 중심으로 소정 크기의 윈도우에 포함되는 픽셀(들)을 대표 픽셀로 선정하는 단계;를 포함하는 것을 특징으로 하는 인공위성 영상 분석 및 드론 이미지와 비교 검증을 통한 해양쓰레기 탐지 방법.
제1항에 있어서, 상기 학습모델 생성단계는
적색, 녹색, 청색, 근적외선 밴드에서, 2개의 밴드 별 각 재질의 반사도값을 조합하는 단계; 및
상기 조합된 2개의 밴드 별 반사도값들을 모두 조합하여 1개의 학습모델을 생성하는 단계;를 포함하는 것을 특징으로 하는 인공위성 영상 분석 및 드론 이미지와 비교 검증을 통한 해양쓰레기 탐지 방법.
제1항에 있어서,
상기 목표지점에서 백색 스티로폼의 총 분포 면적을 산출하는 단계;를 추가로 포함하는 것을 특징으로 하는 인공위성 영상 분석 및 드론 이미지와 비교 검증을 통한 해양쓰레기 탐지 방법.
제3항에 있어서,
상기 분포 면적 산출단계는
상기 입력된 인공위성 이미지의 공간해상도와, 탐지된 백색 스티로폼 위치와 대응되는 픽셀의 수를 곱 연산하여 상기 백색 스티로폼의 총 분포 면적을 산출하는 것을 특징으로 하는 인공위성 영상 분석 및 드론 이미지와 비교 검증을 통한 해양쓰레기 탐지 방법.
삭제
제2항에 있어서,
상기 목표지점에서 백색 스티로폼의 총 분포 면적을 산출하는 단계;를 추가로 포함하는 것을 특징으로 하는 인공위성 영상 분석 및 드론 이미지와 비교 검증을 통한 해양쓰레기 탐지 방법.
제6항에 있어서, 상기 분포 면적 산출단계는
상기 입력된 인공위성 이미지의 공간해상도와, 탐지된 백색 스티로폼 위치와 대응되는 픽셀의 수를 곱 연산하여 상기 백색 스티로폼의 총 분포 면적을 산출하는 것을 특징으로 하는 인공위성 영상 분석 및 드론 이미지와 비교 검증을 통한 해양쓰레기 탐지 방법.
제1항에 있어서,
상기 윈도우에 포함되는 픽셀들의 개수가 군집 별 대표 픽셀 개수를 초과하는 경우, 상기 윈도우에 포함되는 픽셀들에서 대표 픽셀 개수만큼 무작위 추출하는 것을 특징으로 하는 인공위성 영상 분석 및 드론 이미지와 비교 검증을 통한 해양쓰레기 탐지 방법.