[go: up one dir, main page]

KR102599739B1 - 수중 영상 융합 장치 및 이를 이용한 수중 영상 융합 방법 - Google Patents

수중 영상 융합 장치 및 이를 이용한 수중 영상 융합 방법 Download PDF

Info

Publication number
KR102599739B1
KR102599739B1 KR1020210182885A KR20210182885A KR102599739B1 KR 102599739 B1 KR102599739 B1 KR 102599739B1 KR 1020210182885 A KR1020210182885 A KR 1020210182885A KR 20210182885 A KR20210182885 A KR 20210182885A KR 102599739 B1 KR102599739 B1 KR 102599739B1
Authority
KR
South Korea
Prior art keywords
image
underwater
sonar
optical
optical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020210182885A
Other languages
English (en)
Other versions
KR20230093891A (ko
Inventor
김수미
김홍기
서정민
Original Assignee
한국해양과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국해양과학기술원 filed Critical 한국해양과학기술원
Priority to KR1020210182885A priority Critical patent/KR102599739B1/ko
Publication of KR20230093891A publication Critical patent/KR20230093891A/ko
Application granted granted Critical
Publication of KR102599739B1 publication Critical patent/KR102599739B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G06T5/002—
    • G06T5/009—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 일 실시 예는 수중 내에서 RGB 카메라를 이용하여 촬영한 광학 영상과 소나 카메라를 이용하여 촬영한 소나 영상을 융합하는 장치 및 방법에 관한 것으로서, 더욱 상세하게는 광학 영상으로 확인 가능한 수중 대상체의 이미지와 소나 영상으로 확인 가능한 수중 대상체와의 거리를 하나의 융합 영상으로 확인할 수 있도록 하는 영상 융합 장치 및 이를 이용한 수중 영상 융합 방법을 발명한다.

Description

수중 영상 융합 장치 및 이를 이용한 수중 영상 융합 방법 {APPARATUS FOR UNITING UNDERWATER IMAGES AND METHOD THEROF}
본 발명은, 수중 내에서 RGB 카메라를 이용하여 촬영한 광학 영상과 소나 카메라를 이용하여 촬영한 소나 영상을 융합하는 장치 및 방법에 관한 것으로서, 더욱 상세하게는 광학 영상으로 확인 가능한 수중 대상체의 이미지와 소나 영상으로 확인 가능한 수중 대상체와의 거리를 하나의 융합 영상으로 확인할 수 있도록 수중 영상 융합 장치 및 이를 이용한 수중 영상 융합 방법에 관한 것이다.
이하에서 기술되는 내용은 본 발명의 실시 예와 관련되는 배경 정보를 제공할 목적으로 기재된 것일 뿐이고, 기술되는 내용들이 당연하게 종래기술을 구성하는 것은 아니다.
최근 극한의 수중작업을 사람을 대신하여 수중무인기(Unmanned underwater vehicle)를 투입하여 안전하게 진행하는 수요가 증가하고 있다. 수중무인기를 활용한 수중작업 시, 수중 상황을 보다 정확하게 가시화하는 영상센서는 필수적인 센싱 기술 중 하나이다.
이중 가장 널리 사용되는 수중 영상센서는 광학카메라와 멀티빔 소나이다.
광학카메라는 빛 신호를 감지하여 RGB(red, green, blue) 색조의 영상을 제공하며, 멀티빔 소나는 음파를 이용하여 피사체와의 거리 및 방향 정보를 영상으로 표현할 수 있다.
그러나, 수중 광학 영상의 경우, 물에 의한 신호 감쇠 현상이 빛의 파장에 따라 다르게 발생하여 RGB 색상의 불균형성(color casting)을 초래한다는 한계가 있다. 또한, 플랑크톤 및 수중 부유물에 의하여 빛의 산란과 반사 현상으로 대조도 및 선명도가 저하될 수 있다는 문제가 있다.
이와 다르게, 멀티빔 소나는 물을 잘 투과하는 음파의 특성상 시야가 확보되지 않는 상황에도 수중탐지가 가능하다는 장점이 있다. 그러나, 낮은 해상도 및 신호대잡음비로 소나영상의 품질이 저하되고 비전문가가 영상 내 관심물체를 직관적으로 인지하여 필요한 정보를 얻는 것이 매우 어렵다는 한계가 있다.
따라서, 수중 환경을 보다 정확하게 가시화할 수 있는 장치 및 방법이 요구되고 있는 실정이다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 발명의 일 실시 예는 수중 환경을 보다 정확하게 가시화할 수 있는 수중 영상 융합 장치 및 이를 이용한 수중 영상 융합 방법을 제공하는 것이다.
또한, 본 발명의 일 실시 예는 수중 내에서 촬영한 영상의 품질을 개선할 수 있는 수중 영상 융합 장치 및 이를 이용한 수중 영상 융합 방법을 제공하는 것이다.
본 발명의 목적은 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시 예에 의해보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.
본 발명의 실시 예에 따른 수중 영상 융합 방법은, 수중 정보를 모니터링하기 위한 수중 대상체를 촬영한 적어도 하나의 광학 영상 및 소나 영상을 수집하고, 수집된 상기 광학 영상의 색조를 보정하여 보정된 광학 영상을 생성하며, 상기 소나 영상에 포함된 잡음을 제거하여 보정된 소나 영상을 생성한 후, 상기 보정된 광학 영상 및 상기 보정된 소나 영상을 융합한 융합 영상을 생성하는 과정을 통해 수행될 수 있다.
본 발명의 실시 예에 따르면, 광학 영상 색조 보정 이후에 상기 보정된 광학 영상의 채도(Colorfulness) 및 선명도 (Sharpness), 대조도 (Contrast)의 가중치 합을 통해 상기 보정된 광학 영상의 개선도를 평가할 수 있다.
본 발명의 실시 예에 따르면, 광학 영상 색조 보정 시 상기 광학 영상의 백색 균형을 설정하고, 이미지 히스토그램 균일화를 통해 상기 광학 영상의 이미지를 최적화한 후, 최적화된 상기 광학 영상을 언샤프 마스킹(UnSharp Masking)을 통해 상기 광학 영상에 포함된 노이즈를 제거할 수 있다.
본 발명의 실시 예에 따르면, 소나 영상 생성 시, 상기 소나 영상에서 관심 영역을 설정하고, 상기 관심 영역 내의 대조도대잡음비 (Contrast to noise ratio, CNR)를 측정할 수 있다.
본 발명의 실시 예에 따르면, 소나 영상 생성 시, 상기 소나 영상을 미디언 필터(median) 및 감마 보정(gamma correction)에 적용하는 단계를 포함하고, 상기 감마 보정은, 에 의해 정의될 수 있다.
본 발명의 실시 예에 따르면, 융합 영상 생성 시, 상기 보정된 광학 영상 및 상기 보정된 소나 영상에서 임의의 제1 포인트 및 제2 포인트를 설정하고, 상기 제1 포인트 및 상기 제2 포인트를 정합하는 과정으로 수행될 수 있다.
본 발명의 실시 예에 따르면, 제1 포인트 및 제2 포인트를 설정 시, 상기 제1 포인트에서 이미지 좌표를 추출하고, 상기 이미지 좌표를 좌표 행렬로 변환한 후, 상기 좌표 행렬을 추출하는 변환 행렬에 기 설정된 기준 행렬을 순차적으로 곱하여 상기 좌표 행렬을 추출할 수 있다.
본 발명의 실시 예에 따르면, 상기 이미지 좌표에서 x, y, z축을 회전하는 행렬인 회전행렬과 상기 이미지 좌표의 x, y, z축을 이동하는 정도를 나타내는 전이행렬이 나열된 행렬을 상기 광학 영상의 화소크기 및 상기 광학 영상의 중심점 파라미터 값들로 표현되는 행렬인 영상파라이터 행렬을 순차적으로 곱하여 상기 변환 행렬을 추출할 수 있다.
본 발명의 실시 예에 따르면, 상기 보정된 광학 영상에서 상기 수중 대상체의 모서리를 지정하는 상기 제1 포인트를 설정하고, 상기 보정된 소나 영상에서 상기 수중 대상체의 거리를 지정하는 상기 제2 포인트를 설정한 후, 상기 제1 포인트와 상기 제2 포인트를 정합하여 상기 수중 대상체의 형상 및 상기 수중 대상체와의 거리를 측정할 수 있다.
본 발명의 실시 예에 따른 수중 영상 융합 장치는, 수중 정보를 모니터링하기 위한 수중 대상체를 촬영한 적어도 하나의 광학 영상 및 소나 영상을 수집한 후, 상기 광학 영상의 색조를 보정하고, 상기 소나 영상에 포함된 상기 수중 대상체와 상기 수중 대상체 주변부 사이의 경계면 및 대조도를 개선하면, 상기 광학 영상 및 상기 소나 영상을 융합한 융합 영상을 생성하는 코드들을 저장할 수 있다.
전술한 것 외의 다른 측면, 특징, 및 이점이 이하의 도면, 청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시 예는 수중 내에서 RGB 광학 카메라를 통해 수중 대상체를 촬영하고, 이와 동시에 수중 소나를 이용하여 수중 대상체를 촬영할 수 있다. 촬영한 광학 영상과 소나 영상은 색조 보정 및 대조도(Contrast) 등을 개선할 수 있으며, 개선된 두 영상은 융합될 수 있다.
융합 영상은 색조를 포함하고 있으며, 융합 장치와 수중 대상체 사이의 거리 정보를 포함할 수 있다. 즉, 융합 영상은 수중 대상체를 직관적으로 인지할 수 있음과 동시에 수중 내 음파를 통해 수중 대상체와의 거리를 측정할 수 있다. 즉, 수중 대상체의 직관적 정보와 수중 대상체와의 거리 정보를 동시에 측정 및 획득할 수 있다는 효과가 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시 예에 따른 수중 영상 융합 장치가 적용된 수중 영상 융합 환경을 도시한 도면이다.
도 2는 도 1의 수중 영상 융합 장치를 도시한 사시도이다.
도 3은 본 발명의 실시 예에 따른 수중 영상 융합 장치의 구성을 도시한 블록도이다.
도 4은 본 발명의 실시 예에 따른 수중 영상 융합 과정을 도시한 흐름도이다.
도 5은 본 발명의 실시 예에 따른 수중 영상 융합 장치를 통해 획득한 광학 영상과 소나 영상의 융합 과정을 도시한 도면이다.
도 6 내지 도 8은 본 발명의 실시 예에 따른 수중 영상 융합 장치를 통해 획득한 광학 영상의 보정 과정을 도시한 도면이다.
도 9는 본 발명의 실시 예에 따른 수중 영상 융합 장치를 통해 획득한 소나 영상의 보정 과정을 도시한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 발명된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 발명된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 발명된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 발명된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 발명된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수개의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 실시 예에 따른 수중 영상 융합 장치가 적용된 수중 영상 융합 시스템의 환경을 도시한 도면이다.
도 1을 참고하면, 본 발명의 실시 예에 따른 수중 영상 융합 장치가 적용된 수중 영상 융합 환경(10)은 수중 내에 위치한 수중 대상체를 촬영하고, 촬영한 영상이나 이미지를 기초로 대상체를 직관적으로 확인함과 동시에 수중 대상체와의 거리, 수중 대상체의 방향 등을 측정할 수 있도록 한다.
이를 위해 수중 영상 융합 환경(10)은 수중 영상 융합을 위한 장치(100), 서버(200)가 네트워크(300)을 통해 통신 연결되어 있다.
구체적으로 수중 영상 융합 장치(100)는 수중 내에서 수중 대상체를 광학 영상 및 소나 영상으로 동시에 촬영할 수 있는 장치이며, 본 발명의 실시 예에서는 광학 영상은 서로 다른 각도에서 촬영할 수 있도록 한 쌍의 광학 카메라(120)와 한 쌍의 광학 카메라(120) 사이에 소나 영상을 촬영할 수 있는 멀티빔 소나(130)을 포함한 예를 들어 설명하기로 한다.
이러한 수중 영상 융합 장치(100)는 수중 대상체와 소정 거리를 두고 설치될 수 있다. 특히, 광학 카메라(120)는 일 방향 또는 360도 회전 가능하게 설치되어 다양한 방향에서 수중 대상체를 촬영할 수 있도록 한다.
이러한 수중 영상 융합 장치(100)는 촬영 모드에서 수중 대상체의 광학 영상 및 소나 영상을 동시에 획득할 수 있다. 획득한 광학 영상 및 소나 영상은 수중 영상 융합 장치(100)에 포함된 메모리(130)에 저장되거나 서버(200)로 전송되어 서버(200)의 메모리(미도시)에 저장될 수 있다.
서버(200)는 본 발명의 실시 예에서 설명되는 수중 대상체의 직관적 정보(예: 색조감) 및 수중 대상체와의 거리나 수중 대상체가 위치한 방향 등의 정보를 모니터링하기 위한 각종 서비스를 제공한다. 구체적으로 서버(200)는 수중 영상 융합 장치(100)가 촬영한 수중 대상체의 영상이나 이미지에서 광학 영상과 소나 영상을 획득하고 획득한 영상들을 융합하여 융합 영상을 추출할 수 있다.
또한, 서버(200)는 추출한 융합 영상을 기초로 수중 대상체의 광학적 특성과 수중 대상체와의 거리를 계산할 수 있으며, 계산된 결과를 단말(미도시)이나 PC(미도시) 등으로 전송할 수 있다. 이하 광학 영상과 소나 영상을 융합하는 기술에 관하여는 후술하기로 한다.
한편, 본 발명의 실시 예에서는 수중 영상 융합 장치(100)를 통해 촬영된 광학 영상 및 소나 영상을 서버(200)로 전송한 후, 서버(200)에서 광학 영상 및 소나 영상을 융합에 적절한 영상으로 보정한 후, 보정된 영상을 융합하는 예를 들어 설명하기로 하지만, 다르게는 수중 영상 융합 장치(100)에서 원본 영상을 보정하고, 보정된 영상을 융합할 수도 있음은 물론이다.
네트워크(300)는 유선 및 무선 네트워크, 예를 들어 예를 들어 LAN(local area network), WAN(wide area network), 인터넷(internet), 인트라넷(intranet) 및 엑스트라넷(extranet), 그리고 모바일 네트워크, 예를 들어 셀룰러, 3G, LTE, 5G, WiFi 네트워크, 애드혹 네트워크 및 이들의 조합을 비롯한 임의의 적절한 통신 네트워크 일 수 있다.
네트워크(300)는 허브, 브리지, 라우터, 스위치 및 게이트웨이와 같은 네트워크 요소들의 연결을 포함할 수 있다. 네트워크(300)는 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 네트워크(300)에의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다.
도 2는 도 1의 수중 영상 융합 장치를 도시한 사시도이고, 도 3은 본 발명의 실시 예에 따른 수중 영상 융합 장치의 구성을 도시한 블록도이다.
도 2를 참고하면, 수중 영상 융합 장치(100)는 프레임(150), 조명(110), 광학 카메라(120), 멀티빔 소나(130) 등을 포함하여 구성될 수 있다.
구체적으로 프레임(150)은 수중 영상 융합 장치(100) 전체 외관을 형성하는 구성일 수 있다. 이러한 프레임(150)의 형상은 수중 영상 융합 장치(100)을 형성하는 과정에서 결정될 수 있으며, 프레임(150)의 형상은 조건에 따라 다르게 적용될 수 있다.
프레임(150) 내측에는 적어도 하나의 조명(110)이 설치될 수 있다. 조명(110)은 수중 영상 융합 장치(100)가 수중 대상체를 촬영할 때, 수중 대상체를 향해 빛을 조사하는 장치일 수 있다. 이러한 조명(110)은 수중 내에서 작동할 수 있도록 방수 구조로 형성될 수 있고, 수중 내에서 최소한의 전력으로 작동할 수 있도록 LED 조명으로 구성되는 것이 바람직하다.
또한, 조명(110)은 프레임(150)의 좌, 우(도 2의 방향축 참고) 양 측에 설치되어 조도가 낮은 경우에도 수중 촬영이 이루어질 수 있도록 구성될 수 있다.
광학 카메라(120) 및 멀티빔 소나(130)는 프레임(150)의 중심측에 설치될 수 있으며, 적어도 하나의 광학 카메라(120)가 설치될 수 있다. 본 발명의 실시 예에서는 한 쌍의 광학 카메라(120)가 설치되고, 하나의 멀티빔 소나(130)가 한 쌍의 광학 카메라(120) 사이에 설치되는 예를 들어 설명하지만, 광학 카메라(120) 및 멀티빔 소나(130)의 설치 개수, 설치 위치 등은 조건에 따라 변경될 수 있다.
광학 카메라(120)는 수중 내에서 빛 신호를 감지하여 RGB 색조의 영상 및 이미지를 촬영할 수 있는 장치이고, 멀티빔 소나(130)는 음파를 이용하여 수중 대상체와의 거리 및 방향 정보를 영상으로 표현할 수 있는 장치이다.
설명한 바와 같이 광학 카메라(120)는 빛 신호를 감지하기 때문에 물에 의한 신호 감쇠 현상이 빛의 파장에 따라 수중 대상체의 촬영 영상 또는 이미지가 실제 수중 대상체의 형상과 다르게 촬영될 수 있다. 이러한 불균형을 최소화하기 위하여 광학 카메라(120)는 다양한 각도에서 수중 대상체를 촬영할 수 있도록 구현될 수 있다. 이를 위해 프레임(150)에는 광학 카메라(120)를 회동시킬 수 있는 회전축(122_도 1 참고)이 설치될 수 있고, 광학 카메라(120)는 회전축(122)에 설치될 수 있다. 이때, 회전축(122)은 좌, 우측과 상, 하측 모두 회전하거나, 좌, 우측 또는 상, 하측 중 어느 하나의 방향으로만 회전할 수 있다.
멀티빔 소나(130)는 수중 내에서 시야가 확보되지 않은 상황에서도 수중 대상체를 인지하고, 수중 대상체와의 거리나 수중 대상체가 위치한 방향 등을 측정할 수 있는 탐지기라고 할 수 있다.
한편, 수중 영상 융합 장치(100)는 광학 카메라(120) 및 멀티빔 소나(130)를 구동시킬 수 있는 모터가 각각 설치될 수 있다. 또한, 광학 카메라(120) 및 멀티빔 소나(130)는 동시에 수중 대상체를 촬영할 수 있으며, 광학 영상 및 소나 영상이 동시에 촬영됨에 따라 융합 영상을 생성할 때 시간 차이를 계산하지 않고 광학 영상과 소나 영상을 융합할 수 있게 된다.
한편, 도 3을 참고하면, 수중 영상 융합 장치(100)는 통신부(110), 데이터 획득부(120), 보정부(140), 융합부(150), 메모리(130) 및 프로세서(160)를 포함한다.
통신부(110)는 서버(200)와 통신 연결될 수 있는 구성이다. 구체적으로 통신부(110)는 수중 영상 융합 장치(100)에서 획득한 광학 영상 및 소나 영상을 서버(200)로 송신할 수 있으며, 서버(200)에서 광학 영상과 소나 영상을 융합한 융합 영상을 수신 받을 수 있다.
데이터 획득부(120)는 광학 카메라(120) 및 멀티빔 소나(130)를 통해 획득한 광학 영상과 소나 영상을 획득하는 구성이다. 이러한 데이터 획득부(120)는 동시에 광학 영상과 소나 영상을 획득할 수 있다. 이는 융합 영상을 생성할 때, 같은 시간대의 같은 수중 대상체를 촬영한 영상을 기준으로 융합 영상을 생성하여야 수중 대상체의 색조, 거리 및 방향 등을 보다 정확하게 추출할 수 있기 때문이다.
보정부(140)는 획득한 광학 영상과 소나 영상을 융합 영상으로 생성하기 전에 보정하는 구성이다. 이러한 보정부(140)는 광학 영상을 보정하는 제1 보정부(142)와 소나 영상을 보정하는 제2 보정부(144)를 포함할 수 있다.
각각의 보정부는 조건에 따라 광학 영상과 소나 영상을 보정할 수 있으며, 보정의 조건 등을 요구되는 조건에 따라 변경될 수 있다.
본 발명의 실시 예에서 융합 영상은 서버(200)에서 이루어지는 예를 들지만 다르게는 수중 영상 융합 장치(100)에서 이루어질 수 있다. 따라서 융합부(150)는 수중 영상 융합 장치(100)에서 광학 영상과 소나 영상을 융합하기 위한 구성일 수 있다.
메모리(130)는 수중 영상 융합 장치(100)에서 촬영한 영상을 저장할 수 있으며, 서버(200)에서 수행하는 다양한 기능을 지원하는 데이터를 저장할 수 있다.
프로세서(160)는 앞서 설명된 응용 프로그램과 관련한 동작 이외에 통상적으로 수중 영상 융합 장치(100)의 전반적인 동작을 제어할 수 있다. 프로세서(160)는 앞서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(130)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
도 4은 본 발명의 실시 예에 따른 수중 영상 융합 과정을 도시한 흐름도이고, 도 5은 본 발명의 실시 예에 따른 수중 영상 융합 장치를 통해 획득한 광학 영상과 소나 영상의 융합 과정을 도시한 도면이며, 도 6 내지 도 8은 본 발명의 실시 예에 따른 수중 영상 융합 장치를 통해 획득한 광학 영상의 보정 과정을 도시한 도면이고, 도 9는 본 발명의 실시 예에 따른 수중 영상 융합 장치를 통해 획득한 소나 영상의 보정 과정을 도시한 도면이다.
도면을 참고하면, 광학 카메라(120)에서 수중 대상체를 촬영할 수 있다(S110). 설명한 바와 같이, 광학 카메라(120)는 수중 대상체의 빛 신호를 감지하여 RGB(red, green, blue) 색조의 영상을 촬영할 수 있다.
광학 카메라(120)로 수중 대상체를 촬영할 때, 물에 의한 신호 감쇠 현상이 빛의 파장을 다르게 하여 RGB 색상의 불균형성(color casting)이 발생할 수 있다. 이러한 문제를 위해, 광학 카메라(120)로 촬영된 영상 또는/및 이미지의 개선할 수 있다(S120). 이미지 개선은 Image Fusion 기법을 통해 수행될 수 있다.
우선, 이미지 개선을 위해 원본 이미지의 색조 보정이 수행될 수 있다. 색조 보정이란, 광학 영상의 백색 균형을 설정하는 것으로, 수중 내에서 촬영된 광학 영상의 화질을 측정하여 색조가 명확한 광학 영상이 도출될 수 있도록 한다.
도 6 및 도 7에 도시된 바와 같이 광학 카메라(120)에서 촬영한 원본 영상의 색조를 보정(White balancing)할 수 있다. 색조 보정은 다음의 식으로 계산될 수 있다.
여기서, WBr과 WBb는 색조 보정 후 영상의 붉은 색과 파란 색 채널의 값을 의미하며, Ir, Ib, Ig는 각각 원 영상의 붉은 색, 파란 색과 녹색 채널의 값을 의미할 수 있다. 또한, , , 는 각각 원 영상의 붉은 색, 파란 색과 녹색 채널의 평균값을 의미할 수 있다.
즉, [수학식 1] 및 도 7을 참고하면 색과 파란 색 채널의 값이 녹색의 평균값에 최대한 가깝도록 색조를 보정할 수 있다. 또한, α는 보정값의 가중치를 의미할 수 있다.
원본 데이터의 색조를 보정하면, 원본 이미지의 대비를 개선할 수 있다(contrast limited adaptive histogram equalization (CLAHE)). 구체적으로 이미지 히스토그램 균일화를 통해 광학 영상 이미지를 최적화할 수 있다.
이후, 최적화된 광학 영상은 언샤프 마스킹(UnSharp Masking)을 통해 광학 영상에 포함된 노이즈를 제거할 수 있다. 이때, 노이즈를 제거하기 위한 언샤프 마스킹의 프로세스는 다음의 식으로 표현될 수 있다.
[수학식 2]에서 WB는 색조 보정 후 영상을 의미하여 G는 가우시안 필터를 의미한다. 색조 보정 후 영상을 가우시안 필터로 저주파 성분이 강하게 만든 다음 색조 보정 후 영상에서 빼면 고주파 성분만을 남길 수 있고 이를 색조 보정 후 영상에 더해줌으로 선명도를 강화할 수 있다.
노이즈가 제거된 이미지는 Image Fusion 기법으로 화질이 개선된 이미지를 추출하도록 한다. 이때, Image Fusion 기법은 다음의 식으로 구현될 수 있다.
여기서, Rk는 CLAHE (k=1)와 언샤프 마스킹 (k=2) 후 영상을 의미한다. ωk는 CLAHE와 언샤프 마스킹 후 영상의 각 픽셀값을 어느 정도로 융합할지 결정하는 가중치를 의미한다. ωk는 다음의 식을 통해 도출될 수 있다.
여기서 WLap은 Laplacian Contrast weight로 영상의 휘도 채널에 Lapalcian 필터를 적용하여 결정된 각 픽셀의 가중치이고, Wsat은 Saturation weight로 RGB 색상모델과 YCbCr 색상모델의 휘도 (Y)의 평균 차이로 결정며, Wsal은 saliency weight로 CIELAB 색상모델에서 나타나는 주요 특징을 추출하여 결정할 수 있다.
화질을 개선한 광학 영상은 개선도를 평가할 수 있다. 도 5에 도시된 바와 같이, 개선도는 보정된 광학 영상의 RGB 색상의 불균형의 감소 정도 등을 확인하는 것이라 할 수 있다. 이러한 개선도 평가는 보정된 광학 영상의 채도(Colorfulness) 및 선명도 (Sharpness), 대조도 (Contrast)의 가중치 합을 통해 추출할 수 있다. 구체적으로 개선도는 다음의 식을 통해 도출될 수 있다.
이때, UICM는 채도(Colorfulness)를 의미하고, UISM은 선명도(Sharpness)를 의미하며, UIConM은 대조도(Contrast)를 의미할 수 있다. 또한 각 가중치(a₁, a₂, a₃)은 조건에 따라 다르게 적용될 수 있다.
도 7에 도시된 바와 같이 개선도 평가에 의해, 광학 영상의 경우 원본 영상에 비해 화질이 개선한 후, 광학 영상의 채도, 선명도 및 대조도가 증가한 것을 알 수 있다.
광학 카메라(120)에서 수중 대상체를 촬영함과 동시에 멀티빔 소나(130)에서 수중 대상체로 음파를 전달하고, 전달된 음파가 수중 대상체로 되돌아오는 과정을 통해 수중 대상체와의 거리 및 방향 정도를 측정할 수 있다.
멀티빔 소나(130)에서 측정한 수중 대상체와의 거리 및 방향 정도는 수중 내 잡음과 함께 수집되기 때문에 획득한 소나 영상에서 잡음을 제거해야 한다(S130).
이를 위해, 소나 영상에서 관심 영역(I)을 설정할 수 있다. 관심 영역(I)이란, 수중 대상체가 위치할 수 있는 영역이거나 작업자의 요청에 따라 이미지 화질을 개선하고자 하는 영역 중 어느 하나일 수 있다.
관심 영역(I)이 설정되면, 관심 영역 내의 대조도잡음비(Contrast to noise ratio, CNR)를 측정할 수 있다. 대조도잡음비란, 다음의 식으로 구현될 수 있다.
여기서 SA-SB는 수중 대상체가 감지되는 RoI((Region of interest)의신호세기의 차라고 할 수 있으며, σA-σB는 측정되는잡음(Noise)의 표준편차의 차라고 할 수 있다.
이러한 대조도잡음비를 측정하면 도 6과 같이 원본 소나 영상이 화질이 개선된 소나 영상으로 추출될 수 있다.
한편, 소나 영상 개선 시, 소나 영상을 미디언 필터(median) 및 감마 보정(gamma correction)에 적용할 수 있다. 미디언 필터(Median Filter)는 주어진 마스크 영역의 값들을 크기 순서대로 정렬한 후 중간 크기의 값을 선택하는 필터라고 할 수 있다.
예컨대 픽셀에 따른 픽셀값을 크기 순서대로 정렬한 후 중간 픽셀값을 선택하여 노이즈가 심한 픽셀의 경우 높은 화질의 영상으로 추출될 수 있다는 특징이 있다.
또한, 감마 보정은 영상/이미지의 그라데이션(Gradation,　계조) 특성을 보정하는 것을 의미할 수 있다. 즉, 감마 보정은 영상 등에서 비선형 전달함수(Nonlinear　Transfer　Function)를 사용해 빛의 강도(Intensity) 신호를 비선형적으로 변형할 수 있는 것을 의미한다.
한편, 본 발명의 실시 예에 따른 감마 보정은 다음의 식으로 구현될 수 있다.
수학식 7에서 I(x,y)는 좌표 (x,y) 위치의 원 소나영상 픽셀값을 의미하며, J(x,y)는 감마 보정 후 소나영상의 픽셀값을 의미할 수 있다. 또한, γ는 보정계수를 의미할 수 있다.
이러한 감마 보정 및 미디어 필터를 소나 영상에 적용함에 따라 소나 영상에 포함된 잡음을 제거할 수 있으며, 소나 영상의 음영을 보다 밝게 개선할 수 있게 된다(도 9의 영역 1 참고).
이와 같이 수중 영상 융합 장치(100)를 통해 광학 영상과 소나 영상을 수집 및 보정하면 보정된 광학 영상과 보정된 소나 영상을 융합한 융합 영상을 생성할 수 있다(S140).
융합 영상은 동시에 획득하여 보정한 광학 영상과 소나 영상을 융합한 영상으로, 융합 영상을 생성하기 위해서는 도 5에 도시된 바와 같이 광학 영상과 소나 영상에서 임의의 제1 포인트(P₁)와 제2 포인트(P₂)를 설정할 수 있다(도 5의 (a) 및 (b) 참고).
제1 포인트(P₁)는 보정된 광학 영상에서 수중 대상체의 모서리를 지정하는 위치라고 할 수 있으며, 제2 포인트(P₂)는 보정된 소나 영상에서 수중 대상체의 거리를 지정하는 위치라고 할 수 있다.
이와 같이 보정된 광학 영상 및 소나 영상에서 제1 포인트(P₁) 및 제2 포인트(P₂)를 설정한 후, 제1 포인트(P₁)와 제2 포인트(P₂)를 정합할 수 있다. 도 5을 참고하면, 보정된 광학 영상의 모서리를 지정하는 제1 포인트와 보정된 소나 영상의 모서리를 지정하는 제2 포인트가 정합(A)될 수 있다(도 5의 (c) 참고).
제1 포인트 및 제2 포인트가 정합되면 광학 영상과 소나 영상이 합쳐진 융합 영상이 생성될 수 있다(도 5의(d) 참고).
설명한 바와 같이 제1 포인트(P₁)는 보정된 광학 영상의 모서리 좌표를 나타내는 위치이고, 제2 포인트(P₂)는 보정된 소나 영상의 모서리 좌표를 나타내는 위치이므로, 서로 다른 정보를 포함하고 있다. 따라서, 두 모서리를 정합할 때, 색조 정보와 거리 정보를 포함할 수 있도록 변환해야 한다.
이를 위해, 제1 포인트(P₁)를 추출할 때, 제1 포인트(P₁)를 이미지 좌표로 추출할 수 있으며, 추출되는 이미지 좌표는 좌표 행렬로 변환될 수 있다.
제1 포인트(P₁)의 좌표를 통해 좌표 행렬을 추출할 때, 좌표 행렬을 추출할 수 있는 변환 행렬에 기 설정된 기준 행렬을 순차적으로 곱하여 추출할 수 있다.
여기서 변환 행렬이란, 각 이미지 좌표에서 추출한 포인트를 다른 이미지 좌표의 상응하는 포인트로 변환할 수 있는 행렬을 의미하고, 기준 좌표란, 이미지 좌표 간 변환 시 기준이 되어주는 좌표(예: Wx,Wy,Wz)를 의미할 수 있다.
즉, 한 이미지에서 추출한 포인트들을 다른 이미지 좌표의 포인트로 변환할 수 있도록 변환 행렬에 이미지 좌표를 곱하여 기준 좌표 내 포인트로 변환 후 다시 다른 이미지 좌표 변환행렬을 곱하여 좌표 간 좌표 변환을 할 수 있다.
좌표 행렬로 변환할 때, 변환 행렬은 회전행렬과 전이행렬의 2X1로 나열된 배열 행렬과 영상파라이터 행렬을 순차적으로 곱한 행렬이 될 수 있다. 구체적으로 변환 행렬은 다음의 식을 통해 구현될 수 있다.
여기서, : 변환 행렬이고, : 회전 행렬이며, : 전이 행렬이고, : 영상파라미터 행렬을 의미할 수 있다.
여기서, 회전 행렬은 3x3의 행렬이며, 이미지 좌표의 x, y, z축을 회전하는 행렬일 수 있다. 또한, 전이 행렬은 3x1으로 표현되며 이미지 좌표의 x, y, z축의 이동 정도를 나타내는 행렬일 수 있으며, 영상파라미터 행렬은 영상 자체의 화소크기 및 광학 영상의 중심점 파라미터 값들로 표현되는 행렬일 수 있다.
이와 같이 행렬을 통해 추출한 광학 카메라(120)를 통해 획득한 광학 영상에서 유추된 변환 행렬을 통해 광학 영상이 나타내는 3차원의 거리 등을 추출할 수 있다. 또한, 멀티빔 소나(130)를 통해 획득한 소나 영상을 통해 수중 대상체의 거리 및 방향 등을 추출할 수 있다. 추출된 광학 영상을 통해 추출되는 수중 대상체의 거리 위치와 거리와 소나 영상으로 추출하는 수중 대상체와의 거리 위치를 정합하면 실제 수중 대상체의 거리와 수중 대상체의 색조를 추출할 수 있다(도 5의 (d) 참고).
이상과 같이 수중 내에서 RGB 광학 카메라를 통해 수중 대상체를 촬영하고, 이와 동시에 수중 소나를 이용하여 수중 대상체를 촬영할 수 있다. 촬영한 광학 영상과 소나 영상은 색조 보정 및 대조도(Contrast) 등을 개선할 수 있으며, 개선된 두 영상은 융합될 수 있다.
융합 영상은 색조를 포함하고 있으며, 융합 장치와 수중 대상체 사이의 거리 정보를 포함할 수 있다. 즉, 융합 영상은 수중 대상체를 직관적으로 인지할 수 있음과 동시에 수중 내 음파를 통해 수중 대상체와의 거리를 측정할 수 있다. 즉, 수중 대상체의 직관적 정보와 수중 대상체와의 거리 정보를 동시에 측정 및 획득할 수 있다.
이상 설명된 본 발명의 실시 예에 대한 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 청구범위에 의하여 나타내어지며, 청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (13)

  1. 각 단계의 적어도 일부가 프로세서에 의해 수행되고, 소나 영상 및 광학 영상을 이용하여 영상을 융합하는 방법으로서,
    수중 정보를 모니터링하도록 좌/우측 및 상/하측 중 적어도 어느 하나의 방향에서 회전하며 수중 대상체를 촬영하여 획득하는 광학 영상 및 상기 수중 대상체와의 거리 및 위치 중 적어도 어느 하나를 촬영하는 소나 영상을 수집하는 단계;
    수집된 상기 광학 영상의 색조를 보정하여 보정된 광학 영상을 생성하는 단계;
    상기 소나 영상에 포함된 잡음을 제거하여 보정된 소나 영상을 생성하는 단계; 및
    상기 보정된 광학 영상 및 상기 보정된 소나 영상을 융합한 융합 영상을 생성하는 단계를 포함하고,
    상기 수집하는 단계는,
    상기 광학 영상 및 상기 소나 영상을 동시에 수집하는 단계를 포함하고,
    상기 보정된 광학 영상을 생성하는 단계는,
    상기 광학 영상의 원본 영상 색조를 보정하는 단계;
    상기 광학 영상에 포함된 저주파 성분을 제거하도록 노이즈를 제거하는 단계; 및
    노이즈가 제거된 상기 보정된 광학 영상의 채도(Colorfulness) 및 선명도 (Sharpness), 대조도 (Contrast)의 가중치 합을 통해 상기 보정된 광학 영상의 개선도를 평가하는 단계를 포함하고,
    상기 보정된 소나 영상을 생성하는 단계는,
    상기 소나 영상에서 관심 영역을 설정하는 단계; 및
    상기 관심 영역 내의 대조도대잡음비 (Contrast to noise ratio, CNR)를 측정하는 단계를 포함하며,
    상기 융합 영상을 생성하는 단계는,
    상기 보정된 광학 영상에서 상기 수중 대상체의 모서리를 지정하는 제1 포인트 및 보정된 상기 소나 영상에서 상기 수중 대상체의 거리를 지정하는 제2 포인트를 설정하는 단계; 및
    상기 제1 포인트 및 상기 제2 포인트를 정합하는 단계를 포함하고,
    상기 융합 영상을 생성하는 단계 이후에,
    상기 융합 영상으로부터 상기 수중 대상체의 이미지 정보와 상기 수중 대상체와의 거리 정보를 동시에 측정 및 획득하는 단계를 더 포함하는,
    수중 영상 융합 방법.
  2. 제1항에 있어서,
    상기 광학 영상의 원본 영상 색조를 보정하는 단계는,

    에 의해 정의되는(여기서, WBr과 WBb는 색조 보정 후 영상의 붉은 색과 파란 색 채널의 값을 의미하며, Ir, Ib, Ig는 각각 원 영상의 붉은 색, 파란 색과 녹색 채널의 값을 의미할 수 있다. 또한, , , 는 각각 원 영상의 붉은 색, 파란 색과 녹색 채널의 평균값을 의미함),
    수중 영상 융합 방법.
  3. 제1항에 있어서,
    상기 노이즈를 제거하는 단계는,
    상기 광학 영상의 백색 균형을 설정하는 단계;
    이미지 히스토그램 균일화를 통해 상기 광학 영상의 이미지를 최적화하는 단계; 및
    최적화된 상기 광학 영상을 언샤프 마스킹(UnSharp Masking) 프로세스를 기반으로 상기 광학 영상에 포함된 노이즈를 제거하는 단계를 포함하고,
    상기 언샤프 마스킹 프로세스는,

    에 의해 정의되는(여기서, WB는 색조 보정 후 영상이고, G는 가우시안 필터를 의미함),
    수중 영상 융합 방법.
  4. 제1항에 있어서,
    상기 보정된 광학 영상의 개선도를 평가하는 단계는,

    에 의해 정의되는(여기서, Rk는 CLAHE (k=1)와 언샤프 마스킹 (k=2) 프로세스 이후 영상이고,
    ωk는 CLAHE와 언샤프 마스킹 후 영상의 각 픽셀값의 융합 결정을 위한 가중치를 의미함)
    수중 영상 융합 방법.
  5. 제1항에 있어서,
    상기 보정된 소나 영상을 생성하는 단계는,
    상기 소나 영상을 미디언 필터(median) 및 감마 보정(gamma correction)에 적용하는 단계를 포함하고,
    상기 감마 보정은, 에 의해 정의되는
    (여기서, I(x,y)는 좌표 (x,y) 위치의 원본의 상기 소나 영상 픽셀값을 의미하며, J(x,y)는 감마 보정 후 소나 영상의 픽셀값을 의미한다. γ는 보정계수를 의미함),
    수중 영상 융합 방법.
  6. 삭제
  7. 제1항에 있어서,
    상기 설정하는 단계는,
    상기 제1 포인트에서 이미지 좌표를 추출하는 단계;
    상기 이미지 좌표를 좌표 행렬로 변환하는 단계; 및
    상기 좌표 행렬을 추출하는 변환 행렬에 기 설정된 기준 행렬을 순차적으로 곱하여 상기 좌표 행렬을 추출하는 단계를 포함하는,
    수중 영상 융합 방법.
  8. 제7항에 있어서,
    상기 이미지 좌표에서 x, y, z축을 회전하는 행렬인 회전행렬과 상기 이미지 좌표의 x, y, z축을 이동하는 정도를 나타내는 전이행렬이 나열된 행렬을 상기 광학 영상의 화소크기 및 상기 광학 영상의 중심점 파라미터 값들로 표현되는 행렬인 영상파라이터 행렬을 순차적으로 곱하여 상기 변환 행렬을 추출하는 단계를 더 포함하는,
    수중 영상 융합 방법.
  9. 제1항에 있어서,
    상기 보정된 광학 영상에서 상기 수중 대상체의 모서리를 지정하는 상기 제1 포인트를 설정하는 단계;
    상기 보정된 소나 영상에서 상기 수중 대상체의 거리를 지정하는 상기 제2 포인트를 설정하는 단계; 및
    상기 제1 포인트와 상기 제2 포인트를 정합하여 상기 수중 대상체의 형상 및 상기 수중 대상체와의 거리를 측정하는 단계를 포함하는,
    수중 영상 융합 방법.
  10. 소나 영상 및 광학 영상을 이용하여 영상을 융합하는 장치로서,
    프로세스를 포함하며, 상기 프로세서와 전기적으로 연결되고, 상기 프로세서에서 수행되는 적어도 하나의 코드(code)가 저장되는 메모리를 포함하고,
    상기 메모리는 상기 프로세서를 통해 실행될 때 상기 프로세서가
    수중 정보를 모니터링하도록 좌/우측 및 상/하측 중 적어도 어느 하나의 방향에서 회전하며 수중 대상체를 촬영하여 획득하는 광학 영상 및 상기 수중 대상체와의 거리 및 위치 중 적어도 어느 하나를 촬영하는 소나 영상을 수집한 후, 상기 광학 영상의 색조를 보정하고, 상기 소나 영상에 포함된 상기 수중 대상체와 상기 수중 대상체 주변부 사이의 경계면 및 대조도를 개선하면, 상기 광학 영상 및 상기 소나 영상을 융합한 융합 영상을 생성하는 코드들을 저장하며,
    상기 광학 영상 및 상기 소나 영상은 동시에 수집되고,
    상기 보정된 광학 영상은, 상기 광학 영상의 원본 영상 색조를 보정하고, 상기 광학 영상에 포함된 저주파 성분을 제거하도록 노이즈를 제거하면, 노이즈가 제거된 상기 보정된 광학 영상의 채도(Colorfulness) 및 선명도 (Sharpness), 대조도 (Contrast)의 가중치 합을 통해 상기 보정된 광학 영상의 개선도를 평가하는 과정으로 생성되며,
    상기 소나 영상은, 상기 소나 영상에서 관심 영역을 설정하고, 상기 관심 영역 내의 대조도대잡음비 (Contrast to noise ratio, CNR)를 측정하는 과정으로 생성되고,
    상기 융합 영상은, 상기 보정된 광학 영상에서 상기 수중 대상체의 모서리를 지정하는 제1 포인트 및 보정된 상기 소나 영상에서 상기 수중 대상체의 거리를 지정하는 제2 포인트를 설정한 후, 상기 제1 포인트 및 상기 제2 포인트를 정합하여 생성한 후, 상기 융합 영상으로부터 상기 수중 대상체의 이미지 정보와 상기 수중 대상체와의 거리 정보를 동시에 측정 및 획득하는,
    수중 영상 융합 장치.
  11. 제10항에 있어서,
    상기 광학 영상의 원본 영상 색조 보정은,

    에 의해 정의되는(여기서, WBr과 WBb는 색조 보정 후 영상의 붉은 색과 파란 색 채널의 값을 의미하며, Ir, Ib, Ig는 각각 원 영상의 붉은 색, 파란 색과 녹색 채널의 값을 의미할 수 있다. 또한, , , 는 각각 원 영상의 붉은 색, 파란 색과 녹색 채널의 평균값을 의미함) ,
    수중 영상 융합 장치.
  12. 제10항에 있어서,
    상기 메모리는 상기 프로세서가,
    상기 광학 영상의 백색 균형을 설정하고, 이미지 히스토그램 균일화를 통해 상기 광학 영상의 이미지를 최적화한 후, 최적화된 상기 광학 영상을 언샤프 마스킹(UnSharp Masking) 프로세스를 기반으로 상기 광학 영상에 포함된 노이즈를 제거하며,
    상기 언샤프 마스킹 프로세스는,

    에 의해 정의되는(여기서, WB는 색조 보정 후 영상이고, G는 가우시안 필터를 의미함),
    수중 영상 융합 장치.

  13. 삭제
KR1020210182885A 2021-12-20 2021-12-20 수중 영상 융합 장치 및 이를 이용한 수중 영상 융합 방법 Active KR102599739B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210182885A KR102599739B1 (ko) 2021-12-20 2021-12-20 수중 영상 융합 장치 및 이를 이용한 수중 영상 융합 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210182885A KR102599739B1 (ko) 2021-12-20 2021-12-20 수중 영상 융합 장치 및 이를 이용한 수중 영상 융합 방법

Publications (2)

Publication Number Publication Date
KR20230093891A KR20230093891A (ko) 2023-06-27
KR102599739B1 true KR102599739B1 (ko) 2023-11-07

Family

ID=86947068

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210182885A Active KR102599739B1 (ko) 2021-12-20 2021-12-20 수중 영상 융합 장치 및 이를 이용한 수중 영상 융합 방법

Country Status (1)

Country Link
KR (1) KR102599739B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102795054B1 (ko) 2023-10-19 2025-04-10 한국해양과학기술원 수중 스테레오 영상 촬영 장치
CN119355737B (zh) * 2024-12-23 2025-04-04 中电科东方通信集团有限公司 一种基于声光融合的水上水下的目标检测和定位方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Do Gyun Kim ET AL, Single Image-based Enhancement Techniques for Underwater Optical Imaging, Journal of Ocean Engineering and Technology 34(6), Dec. 2020(2020.12.31.) 1부.*
신영식 외 4인, 항법 적용을 위한 수중 소나 영상 처리 요소 기법 비교 분석, 한국해양공학회지 제30권 제3호, June 2016(2016.06.30.) 1부.*
인용발명 1: S. Negahdaripour ET AL, Opti-Acoustic Stereo Imaging, System Calibration and 3-D Reconstruction, 2007 IEEE Conference on Computer Vision and Pattern Recognition, July 2007(2007.07.16.) 1부.*

Also Published As

Publication number Publication date
KR20230093891A (ko) 2023-06-27

Similar Documents

Publication Publication Date Title
CN111062378B (zh) 图像处理方法、模型训练方法、目标检测方法及相关装置
US8767103B2 (en) Color filter, image processing apparatus, image processing method, image-capture apparatus, image-capture method, program and recording medium
CN110519489B (zh) 图像采集方法及装置
EP3416369B1 (en) Image processing method and apparatus for terminal, and terminal
JP4346634B2 (ja) 目標物検出装置
WO2019196539A1 (zh) 图像融合方法及其装置
JP5158100B2 (ja) カラー画像処理方法、装置およびプログラム
KR102599739B1 (ko) 수중 영상 융합 장치 및 이를 이용한 수중 영상 융합 방법
WO2020238970A1 (zh) 图像降噪装置及图像降噪方法
KR101563348B1 (ko) 영상의 노이즈를 저감하는 영상 처리 장치 및 방법
CN104301621A (zh) 图像处理方法、装置及终端
JP2022020575A (ja) 暗い画像の強調
JP5186517B2 (ja) 撮像装置
CN113676629A (zh) 图像传感器、图像采集装置、图像处理方法及图像处理器
CN109242815B (zh) 一种红外光图像和可见光图像融合方法及系统
KR20120069539A (ko) 광원 추정 장치 및 광원 추정 방법
WO2010058497A1 (ja) 画像処理装置及び画像処理方法
US8026954B2 (en) System and computer-readable medium for automatic white balancing
CN107623831A (zh) 一种昼夜全彩楼宇可视电话成像装置
CN112241935A (zh) 图像处理方法、装置及设备、存储介质
CN113781326A (zh) 解马赛克方法、装置、电子设备及存储介质
JP2007288573A (ja) クロマサプレス処理装置
JP2011146893A (ja) 画像処理装置、撮像装置及び画像処理プログラム
CN111383242B (zh) 一种图像透雾处理方法及装置
JP3836237B2 (ja) 画像修正方法および装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20211220

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230313

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20230927

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20231103

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20231103

End annual number: 3

Start annual number: 1

PG1601 Publication of registration