[go: up one dir, main page]

KR101314259B1 - 영상 융합 시스템 및 그 방법 - Google Patents

영상 융합 시스템 및 그 방법 Download PDF

Info

Publication number
KR101314259B1
KR101314259B1 KR1020110026458A KR20110026458A KR101314259B1 KR 101314259 B1 KR101314259 B1 KR 101314259B1 KR 1020110026458 A KR1020110026458 A KR 1020110026458A KR 20110026458 A KR20110026458 A KR 20110026458A KR 101314259 B1 KR101314259 B1 KR 101314259B1
Authority
KR
South Korea
Prior art keywords
image
visible light
thermal
subject
thermal image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020110026458A
Other languages
English (en)
Other versions
KR20120109057A (ko
Inventor
오재윤
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Priority to KR1020110026458A priority Critical patent/KR101314259B1/ko
Publication of KR20120109057A publication Critical patent/KR20120109057A/ko
Application granted granted Critical
Publication of KR101314259B1 publication Critical patent/KR101314259B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상 융합 시스템 및 그 방법을 개시한다.
본 발명의 영상 융합 시스템은 피사체의 휘도 분포를 표현하는 가시광 영상을 생성하는 가시광 카메라; 상기 가시광 카메라와 동일한 화각으로 촬영한 피사체의 온도 정보를 표현하는 제1 열상 영상을 생성하는 열상 카메라; 및 상기 제1 열상 영상에 대해 온도 정보가 요청되는 피사체에 대해 해상도 보정을 수행하여 제2 열상 영상을 생성하고, 상기 가시광 영상과 상기 제2 열상 영상을 융합하는 영상 융합부;를 포함한다.

Description

영상 융합 시스템 및 그 방법{IMAGE SYNTHESIS SYSTEM AND IMAGE SYNTHESIS METHOD}
본 발명은 가시광 카메라와 열상 카메라의 화각 제어에 기반한 영상 융합 시스템에 관한 것이다.
일반적인 감시 시스템용 가시광 카메라, 예를 들어 CCD 카메라는 다른 카메라에 비해 기술적으로 높은 수준에 도달해 있으며 광범위한 범위에 응용이 되고 있다. 그러나, CCD 카메라는 빛이 있는 곳에서만 감시 기능을 구현할 수 있으며 빛이 없는 곳에서는 감시 기능을 구현하는 것이 불가능하기 때문에 별도의 조명을 사용하지 않는 감시 시스템에 이용하기가 어렵다. 빛이 전혀 없는 환경에서의 감시를 위해 적외선 열상카메라를 이용할 수 있다. 적외선 열상카메라는 조명이 없는 곳에서의 감시 기능을 구현함은 물론이고 피사체의 열 손실 탐지, 회로 기판의 분석과 같은 열 방출과 관련된 다양한 범위에 응용되고 있다.
그러나, 열상 카메라는 도 6에 도시된 바와 같이, 피사체가 방출하는 열, 즉 적외선의 검출에 목적이 있는 장비이기 때문에 화질이나 해상도의 측면에서는 기존의 CCD를 이용한 감시용 카메라에 비해 성능이 낮다. 즉, 적외선 열상 카메라 단독으로는 피사체의 열 방출 특성을 감지하는데 적합할 수 있으나 피사체의 디테일한 형태를 구분하기에는 부적합하다.
본 발명은 고해상도의 감시 화면에 특정한 온도를 갖는 피사체의 온도 정보를 고해상도로 중첩하여 표시할 수 있는 영상 융합 시스템을 제공한다.
본 발명의 일 실시예에 따른 영상 융합 시스템은, 물체의 휘도 분포를 표현하는 제1 가시광 영상을 생성하는 가시광 카메라; 상기 가시광 카메라와 동일한 화각으로 제어되고, 상기 물체의 온도 정보를 표현하는 제1 열상 영상을 생성하는 열상 카메라; 및 상기 제1 열상 영상에서 온도 정보가 요청되는 물체에 대해 해상도 보정을 수행하여 제2 열상 영상을 생성하고, 상기 제1 가시광 영상과 상기 제2 열상 영상을 융합하는 영상 융합부;를 포함할 수 있다.
상기 영상 융합부는, 상기 제1 가시광 영상과 상기 제1 열상 영상의 사이즈를 동일하게 제어하는 사이즈 변경부; 및 상기 제1 열상 영상에서 상기 제1 가시광 영상의 물체를 구성하는 픽셀과 겹치는 픽셀의 온도 정보만을 표현하는 상기 해상도 보정을 기초로 상기 제2 열상 영상을 생성하고, 상기 제1 가시광 영상과 상기 제2 열상 영상을 융합하는 정보 융합부;를 포함할 수 있다.
상기 정보 융합부는, 상기 제1 가시광 영상의 물체를 개별적으로 분리하여 하나 이상의 제2 가시광 영상을 생성하는 분리부; 및 사이즈가 동일한 상기 제2 가시광 영상과 상기 제1 열상 영상을 픽셀별로 매칭시키고, 상기 제1 열상 영상에서 상기 제2 가시광 영상의 물체를 구성하는 픽셀과 겹치지 않는 픽셀의 온도 정보를 제거하여 상기 제2 열상 영상을 생성하는 해상도 보정부;를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 융합 방법은, 가시광 카메라로 물체의 휘도 분포를 표현하는 제1 가시광 영상을 생성하는 단계; 상기 가시광 카메라와 동일한 화각으로 제어된 열상 카메라로 상기 물체의 온도 정보를 표현하는 제1 열상 영상을 생성하는 단계; 상기 제1 열상 영상에서 온도 정보가 요청되는 물체에 대해 해상도 보정을 수행하여 제2 열상 영상을 생성하는 단계; 및 상기 제1 가시광 영상과 상기 제2 열상 영상을 융합하는 단계;를 포함할 수 있다.
상기 제2 열상 영상 생성 단계는, 상기 제1 가시광 영상과 상기 제1 열상 영상의 사이즈를 동일하게 제어하는 단계; 상기 제1 가시광 영상의 물체를 개별적으로 분리하여 하나 이상의 제2 가시광 영상을 생성하는 단계; 및 사이즈가 동일한 상기 제2 가시광 영상과 상기 제1 열상 영상을 픽셀별로 매칭시키고, 상기 제1 열상 영상에서 상기 제2 가시광 영상의 물체를 구성하는 픽셀과 겹치지 않는 픽셀의 온도 정보를 제거하여 상기 제2 열상 영상을 생성하는 단계;를 포함할 수 있다.
상기 융합 단계는, 상기 제2 열상 영상과 상기 제1 가시광 영상에 가중치를 적용하여 각 영상의 강도를 조절하는 단계;를 더 포함할 수 있다.
본 발명은 일반 감시용 카메라가 가진 고해상도 기반의 감시 기능을 이용함과 동시에 열상카메라의 원격 온도 감지 기능을 사용하기 때문에 최적의 감시 성능을 구현할 수 있다.
본 발명은 빛이 없는 환경에서의 감시가 가능하고, 일반 고해상도 감시 기능 구현 중에 피사체의 발열 상태 검출이 가능하고, 또한 피사체의 발열 상태 감시 기능 구현 중에 피사체의 형상 검출이 가능하다.
도 1은 본 발명의 일 실시예에 따른 영상 융합 시스템을 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 융합부의 구성을 개략적으로 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 정보 융합부의 구성을 개략적으로 도시한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 정보 융합부의 영상 융합 방법을 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 융합 방법을 설명하는 흐름도이다.
도 6은 열상 카메라에 의해 촬영된 영상이다.
이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상 융합 시스템을 개략적으로 도시한 블록도이다.
도 1을 참조하면, 본 발명의 영상 융합 시스템은 가시광 카메라(10), 열상 카메라(20), 영상 융합부(30), 및 디스플레이부(40)를 포함한다.
가시광 카메라(10)는 빛(light)을 검출하는 방식으로 영상 정보를 획득하여 물체의 휘도 분포에 따른 가시광 영상을 생성하는 일반적인 감시 카메라로서, 사람의 눈과 같이 가시광선 영역의 물체를 감시하는데 사용된다. 예를 들어, 가시광 카메라(10)는 CCD(Charge Coupled Device)를 촬상소자로 사용하는 CCD 카메라일 수 있다. 가시광 카메라(10)는 사무실, 주택, 병원은 물론 은행이나 보안이 요구되는 공공건물 등의 내외에 설치되어 출입관리나 방범용으로 사용되며, 그 설치 장소 및 사용목적에 따라 일자형, 돔형 등 다양한 형태를 가질 수 있다. 본 명세서에서 물체는 배경 및 피사체를 포함하는 용어로 사용된다.
가시광 카메라(10)는 일반 촬영 조건에서 탁월한 감도와 고해상도의 화질을 제공하고, 가시광 카메라(10)의 이미지 센서는 다른 센서에 비해 비교적 넓은 다이나믹 레인지를 갖는다.
열상 카메라(20)는 물체가 발산하는 복사 에너지(열에너지)를 감지하여 전자파의 일종인 적외선 파장 형태로 검출하고, 열에너지의 강도를 측정하여 강도에 따라 각각 다른 색상의 열상 영상을 생성한다. 열상 영상은 물체 표면을 온도의 높낮이에 따라 서로 다른 색으로 매핑하여 표현한다.
열상 카메라(20)는 빛이 없는 환경에서도 물체의 영상을 획득할 수 있으나, 가시광 카메라(10)에 비해 해상도가 낮아 촬영된 영상 내의 물를 인식하기가 어렵다는 단점이 있다.
가시광 카메라(10)와 열상 카메라(20)는 동일한 화각에서 영상을 촬영하도록 줌렌즈가 제어된다. 각 카메라에 장착된 센서의 크기와 줌 렌즈의 줌 구간별 초점 거리가 상이할 수 있으므로, 두 카메라가 촬영하는 영상의 화각이 동일해지도록 줌 렌즈를 정밀하게 제어할 필요가 있다.
영상 융합부(30)는 수신된 영상 신호를 디스플레이 규격에 맞는 신호로 출력하는 신호 처리를 수행한다. 영상 융합부(30)는 가시광 카메라(10)가 출력하는 가시광 영상과 열상 카메라(20)가 출력하는 열상 영상을 융합한다. 열상 카메라(20)는 물체의 열적 분포는 잘 나타낼 수 있으나 측정된 물체의 형상이 명확하지 않으며 가시광 카메라(10)는 물체의 형상은 명확하게 나타낼 수 있으나 물체의 열적 분포는 나타낼 수 없다. 영상 융합부(30)는 이와 같이 가시광 카메라(10)와 열상 카메라(20)의 상호 장단점을 적절히 이용하여 물체의 영상을 표시함과 동시에 그 물체의 열적 분포 상태를 명확하게 나타낸다.
영상 융합부(30)는 가시광 카메라(10)가 출력하는 가시광 영상과 열상 카메라(20)가 출력하는 열상 영상을 융합한다. 영상 융합부(30)는 열상 카메라(20)로부터 획득한 특정한 온도를 갖는 물체의 온도 정보를 나타내는 열상 영상을 고해상도로 보정한 후, 가시광 카메라(10)에 의해 획득된 고해상도의 가시광 영상(감시 영상)에, 보정된 열상 영상을 중첩한다. 이에 따라, 열상 카메라(20)와 가시광 카메라(10)에 의해 동시에 획득된 물체의 영상을 처리하여 상기 물체의 형상 및 열 발생 분포를 명확하게 검출할 수 있어, 기존 감시 카메라에서 구현할 수 없었던 융합된 정보를 디스플레이하는 것이 가능하다.
디스플레이부(40)는 영상 융합부(30)로부터 출력되는 가시광 영상과 열상 영상이 융합된 비디오 신호를 신호 처리하여 사용자에게 제공함으로써, 사용자가 디스플레이되는 영상을 모니터링할 수 있도록 한다. 디스플레이부(40)는 가시광 영상 위에 열상 영상이 중첩된 융합 영상을 디스플레이한다. 디스플레이부(40)는 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED), 전기 영동 디스플레이 패널(EPD) 등으로 이루어질 수 있다. 디스플레이부(50)는 사용자의 터치를 통하여 입력을 받을 수 있도록 터치스크린 형태로 구비되어, 사용자 입력 인터페이스로서 동작할 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 융합부의 구성을 개략적으로 도시한 블록도이다.
도 2를 참조하면, 영상 융합부(30)는 가시광 영상 처리부(310), 열상 영상 처리부(320), 정보 융합부(340), 코덱(360), 및 출력 제어부(380)를 포함한다.
가시광 영상 처리부(310)는 A/D 변환부(312), 전처리부(314), 사이즈 변경부(316)를 포함한다.
A/D 변환부(312)는 가시광 카메라로부터 입력된 아날로그 가시광 영상 신호를 처리하여, 노이즈를 제거하고 진폭을 조정한 후, 디지털 영상 데이터로 변환시킨다.
전처리부(314)는 디지털 영상 데이터에 대해 정규화 등 이미지 프로세싱을 위한 전처리(pre-processing)를 수행한다.
사이즈 변경부(316)는 가시광 영상과 열상 영상이 서로 1:1 매칭이 가능하도록 가시광 영상을 열상 영상과 동일한 사이즈로 변환한다. 사이즈 변경부(316)는 사이즈 변환을 위해 픽셀 보간을 수행하고, 이때 픽셀 보간 방법으로 선형 보간 방법 등 다양한 방법이 사용될 수 있다.
열상 영상 처리부(320)는 A/D 변환부(322), 전처리부(324), 사이즈 변경부(326)를 포함한다.
A/D 변환부(322)는 열상 카메라로부터 입력된 아날로그 열상 영상 신호를 처리하여, 노이즈를 제거하고 진폭을 조정한 후, 디지털 영상 데이터로 변환시킨다.
전처리부(324)는 디지털 영상 데이터에 대해 정규화 등 이미지 프로세싱을 위한 전처리(pre-processing)를 수행한다.
사이즈 변경부(326)는 열상 영상과 가시광 영상이 서로 1:1 매칭이 가능하도록 열상 영상을 가시광 영상과 동일한 사이즈로 변환한다. 사이즈 변경부(326)는 사이즈 변환을 위해 픽셀 보간을 수행하고, 픽셀 보간 방법으로 선형 보간 방법 등 다양한 방법이 사용될 수 있다. 대체로 열상 영상의 픽셀 수가 가시광 영상의 픽셀 수보다 적기 때문에, 열상 영상이 가시광 영상과 동일 사이즈를 갖도록 픽셀 보간이 수행될 수 있다.
정보 융합부(340)는 동일한 사이즈의 디지털 가시광 영상과 열상 영상을 융합한다. 이때의 가시광 영상은 고해상도 영상이나, 열상 영상은 저해상도 영상이다. 정보 융합부(340)는 가시광 영상과 동일한 사이즈의 열상 영상을 픽셀별로 매칭시키고, 가시광 영상의 물체를 구성하는 픽셀과 겹치는 픽셀의 온도 정보(열상 정보)만을 포함하여 해상도가 향상된 고해상도의 열상 영상을 생성한다. 여기서, 고해상도 열상 영상은 저해상도의 열상 영상에 비해 고해상도임을 의미한다.
정보 융합부(340)는 가시광 영상과 고해상도 열상 영상을 융합한다. 예를 들어, 정보 융합부(340)는 가시광 영상 위에 고해상도 열상 영상을 오버레이(overlay)(중첩) 처리하며, 각 영상의 강도(투명도)를 조절할 수 있다. 정보 융합부(340)는 영상의 강도 조절에 의해, 가시광 영상, 고해상도 열상 영상, 고해상도 융합 영상, 및 고해상도 피사체 융합 영상 중 하나의 영상을 출력할 수 있다. 고해상도 피사체 융합 영상은 배경은 가시광 영상인 상태에서 특정 피사체만 고해상도 열상 정보가 중첩된 영상이다. 정보 융합부(340)의 상세한 설명은 추후 설명하겠다.
코덱(360)은 정보 융합부(340)로부터 출력되는 가시광 영상과 고해상도 열상 영상을 코딩하여 영상 출력부(380)를 통해 단일 영상으로 출력한다.
출력 제어부(390)는 정보 융합부(340)가 출력하는 영상의 유형을 제어한다. 또한, 출력 제어부(390)는 가시광 카메라(10)와 열상 카메라(20)의 출력을 제어한다.
도 3은 본 발명의 일 실시예에 따른 정보 융합부의 구성을 개략적으로 도시한 블록도이고, 도 4는 본 발명의 일 실시예에 따른 정보 융합부의 영상 융합 방법을 설명하는 도면이다. 이하, 도 3 및 도 4를 함께 참조하여 정보 융합부의 영상 융합 방법을 설명하겠다.
정보 융합부(340)는 분리부(420), 해상도 보정부(440), 및 가중치 적용부(460)를 포함한다. 정보 융합부(340)는 사이즈가 동일한 고해상도 가시광 영상과 저해상도 열상 영상을 수신한다.
분리부(420)는 고해상도 가시광 영상에 포함된 하나 이상의 물체를 개별적으로 분리한다. 예를 들어, 분리부(420)는 고해상도 가시광 영상에 포함된 배경과 피사체를 분리하여 배경만 포함된 고해상도 배경 영상과 피사체만 포함된 고해상도 피사체 영상을 생성할 수 있다. 배경과 피사체를 분리하는 방법은 다양한 공지의 방법이 사용될 수 있다. 예를 들어 가시광 영상을 시간축으로 축적시켜 평균을 구하는 방법 또는 가시광 영상을 MPEC으로 인코딩하여 해당 블록의 통계적 특성을 시간적으로 구분하는 방법을 통해 배경과 피사체를 분리할 수 있다.
해상도 보정부(440)는 저해상도 열상 영상에서 온도 정보가 요청되는 물체에 대해 해상도 보정을 수행한다. 예를 들어, 하나의 피사체와 하나의 배경에 대해 온도 정보가 요청되는 경우, 해상도 보정부(440)는 고해상도 피사체 영상을 저해상도 열상 영상과 1:1 픽셀별로 매칭시킨다. 해상도 보정부(440)는 저해상도 열상 영상에서 피사체를 구성하는 피사체 픽셀과 고해상도 피사체 영상에서 피사체를 구성하는 피사체 픽셀을 매칭시킨다. 해상도 보정부(440)는 저해상도 열상 영상에서 피사체 영상의 피사체 픽셀이 겹치지 않는 픽셀의 온도 정보를 제거한다. 그리고, 해상도 보정부(440)는 고해상도 배경 영상을 저해상도 열상 영상과 1:1 픽셀별로 매칭시킨다. 해상도 보정부(440)는 저해상도 열상 영상에서 배경을 구성하는 배경 픽셀과 고해상도 배경 영상에서 배경을 구성하는 배경 픽셀을 매칭시킨다. 해상도 보정부(440)는 저해상도 열상 영상에서 배경 영상의 배경 픽셀이 겹치지 않는 픽셀의 온도 정보를 제거한다.
도 4의 실시 예에서는 고해상도 피사체 영상과 저해상도 열상 영상에서 피사체의 경계 영역을 확대하여 표시하고 있다. 해상도 보정부(440)는 저해상도 열상 영상의 피사체 픽셀과 고해상도 피사체 영상의 피사체 픽셀 중 겹치는 픽셀의 온도 정보만을 남기고 그 외 픽셀의 온도 정보를 제거한다. 이에 따라 고해상도 열상 영상은 고해상도 피사체 영상과 동일한 픽셀 위치의 온도 정보만 갖게 된다.
상기 실시예에서는 분리부(420)에 의한 고해상도 가시광 영상의 배경 및 피사체 분리 후 저해상도 열상 영상의 해상도를 향상시키고 있으나, 고해상도 가시광 영상의 배경 및 피사체 분리 과정을 생략하고, 고해상도 가시광 영상과 저해상도 열상 영상의 픽셀 매칭 및 해상도 보상을 수행하는 것도 가능함은 물론이다. 이 경우, 배경과 피사체의 경계 픽셀만을 매칭시켜 고해상도 열상 영상을 생성할 수 있다.
가중치 적용부(460)는 고해상도 가시광 영상과 고해상도 열상 영상에 가중치를 적용한다. 특정한 픽셀 좌표(X,Y)에서 가시광 영상의 픽셀 값을 A(X,Y)라 하고, 고해상도 열상 영상의 픽셀 값을 B(X,Y)라고 하면, 융합 영상의 픽셀 값 C(X,Y)는 아래 식(1)과 같다.
C(X,Y)=a*A(X,Y) + b*B(X,Y).....(1)
여기서, a와 b는 1보다 작고 a+b=1을 만족하는 계수이며, 이 계수를 조정하면 고해상도 가시광 영상과 고해상도 열상 영상의 융합 시, 각 영상의 강도를 자유롭게 조정할 수 있다.
가중치 적용부(460)는 고해상도 가시광 영상의 계수(a)를 1로 설정하고, 고해상도 열상 영상의 계수(b)를 0으로 설정하여, 고해상도 가시광 영상을 출력한다. 가중치 적용부(460)는 고해상도 가시광 영상의 계수(a)를 0으로 설정하고, 고해상도 열상 영상의 계수(b)를 1로 설정하여, 고해상도 열상 영상을 출력한다. 가중치 적용부(460)는 a+b=1을 만족하도록 임의의 a, b를 설정하고, 고해상도 융합 영상을 출력한다. 이때 특정 피사체에 대해서만 고해상도 열상 영상을 생성한 경우,배경은 고해상도의 가시광 영상인 상태에서 특정 피사체만 온도 정보를 표시하는 고해상도 피사체 융합 영상을 출력할 수 있다. 도 4에서는 고해상도 피사체 융합 영상의 출력을 도시하고 있다.
배경 영상, 피사체 영상 및 융합 영상은 메모리(미도시)에 임시 저장될 수 있다.
도 5는 본 발명의 일 실시예에 따른 영상 융합 방법을 설명하는 흐름도이다.
도 5를 참조하면, 가시광 카메라는 물체의 휘도 분포를 표현하는 제1 가시광 영상을 생성하고, 열상 카메라는 물체의 온도 정보를 표현하는 제1 열상 영상을 생성한다(S501). 이때 열상 카메라는 가시광 카메라와 동일한 화각으로 물체를 촬영할 수 있도록 렌즈 화각이 제어된다.
영상 융합부는 제1 가시광 영상과 제1 열상 영상에 대해 각각 A/D 변환 및 전처리를 수행한다(S503).
영상 융합부는 제1 가시광 영상과 제1 열상 영상의 사이즈를 동일하게 제어한다(S505). 이를 위해 영상 융합부는 제1 가시광 영상 또는 제1 열상 영상에 대해 사이즈 변환을 위한 픽셀 보간을 수행한다. 대체로 열상 영상의 픽셀 수가 가시광 영상의 픽셀 수보다 적기 때문에, 열상 영상이 가시광 영상과 동일 사이즈를 갖도록 픽셀 보간이 수행될 수 있다.
영상 융합부는 제1 가시광 영상의 물체를 개별적으로 분리하여 하나 이상의 제2 가시광 영상을 생성한다(S507). 하나 이상의 제2 가시광 영상은 배경 영상과 피사체 영상일 수 있다.
영상 융합부는 사이즈가 동일한 제2 가시광 영상과 제1 열상 영상을 픽셀별로 매칭시키고, 제1 열상 영상에서 제2 가시광 영상의 물체를 구성하는 픽셀과 겹치지 않는 픽셀의 온도 정보를 제거하여 제2 열상 영상을 생성한다(S509). 이에 따라 제2 열상 영상은 제1 열상 영상에 비해 고해상도 영상이 된다.
영상 융합부는 제2 열상 영상과 제1 가시광 영상에 가중치를 적용하여 각 영상의 강도(투명도)를 조절한다(S511).
디스플레이부는 제1 가시광 영상과 제2 열상 영상을 중첩하여 표시한다(S513). 디스플레이부는 제1 가시광 영상과 제2 열상 영상에 적용되는 가중치에 따라 가시광 영상, 고해상도 열상 영상, 고해상도 융합 영상, 및 고해상도 피사체 융합 영상 중 하나를 표시할 수 있다.
본 발명의 영상 융합 시스템 및 방법에 의해 고해상도의 융합된 영상 정보를 디스플레이할 수 있기 때문에 감시 기능을 극대화할 수 있다. 또한 본 발명은 감시 분야 외에 다양한 분야에 적용할 수 있으며, 특히 의료 분야의 경우, 고해상도의 CT 영상과 신체 기능 분석이 가능한 저해상도의 MRI 영상 정보의 융합을 가능하게 한다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (8)

  1. 피사체의 휘도 분포를 표현하는 제1 가시광 영상을 생성하는 가시광 카메라;
    상기 가시광 카메라와 동일한 화각으로 제어되고, 상기 피사체의 온도 정보를 표현하는 제1 열상 영상을 생성하는 열상 카메라;
    상기 제1 가시광 영상과 상기 제1 열상 영상의 사이즈를 동일하게 제어하는 사이즈 변경부; 및
    상기 제1 열상 영상에서 제2 열상 영상을 생성하고, 상기 제1 가시광 영상과 상기 제2 열상 영상을 융합하는 정보 융합부;를 포함하며, 상기 정보 융합부가,
    상기 제1 가시광 영상의 피사체를 개별적으로 분리하여 하나 이상의 제2 가시광 영상을 생성하는 분리부; 및
    사이즈가 동일한 상기 제2 가시광 영상과 상기 제1 열상 영상을 픽셀별로 매칭시키고, 상기 제1 열상 영상에서 상기 제2 가시광 영상의 피사체를 구성하는 픽셀과 겹치지 않는 픽셀의 온도 정보를 제거하여 상기 제2 열상 영상을 생성하는 해상도 보정부;를 포함하는 것을 특징으로 하는 영상 융합 시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서, 상기 정보 융합부는,
    상기 제2 열상 영상과 상기 제1 가시광 영상에 가중치를 적용하여 각 영상의 강도를 조절하는 가중치 적용부;를 더 포함하는 것을 특징으로 하는 영상 융합 시스템.
  5. 제1항에 있어서,
    상기 제1 가시광 영상과 상기 제2 열상 영상을 중첩하여 표시하는 디스플레이부;를 더 포함하는 것을 특징으로 하는 영상 융합 시스템.
  6. 가시광 카메라로 피사체의 휘도 분포를 표현하는 제1 가시광 영상을 생성하는 단계;
    상기 가시광 카메라와 동일한 화각으로 제어된 열상 카메라로 상기 피사체의 온도 정보를 표현하는 제1 열상 영상을 생성하는 단계;
    상기 제1 가시광 영상과 상기 제1 열상 영상의 사이즈를 동일하게 제어하는 단계;
    상기 제1 가시광 영상의 피사체를 개별적으로 분리하여 하나 이상의 제2 가시광 영상을 생성하는 단계; 및
    사이즈가 동일한 상기 제2 가시광 영상과 상기 제1 열상 영상을 픽셀별로 매칭시키고, 상기 제1 열상 영상에서 상기 제2 가시광 영상의 피사체를 구성하는 픽셀과 겹치지 않는 픽셀의 온도 정보를 제거하여 제2 열상 영상을 생성하는 단계; 및
    상기 제1 가시광 영상과 상기 제2 열상 영상을 융합하는 단계;를 포함하는 것을 특징으로 하는 영상 융합 방법.
  7. 삭제
  8. 제6항에 있어서, 상기 융합 단계는,
    상기 제2 열상 영상과 상기 제1 가시광 영상에 가중치를 적용하여 각 영상의 강도를 조절하는 단계;를 더 포함하는 것을 특징으로 하는 영상 융합 방법.
KR1020110026458A 2011-03-24 2011-03-24 영상 융합 시스템 및 그 방법 Active KR101314259B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110026458A KR101314259B1 (ko) 2011-03-24 2011-03-24 영상 융합 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110026458A KR101314259B1 (ko) 2011-03-24 2011-03-24 영상 융합 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20120109057A KR20120109057A (ko) 2012-10-08
KR101314259B1 true KR101314259B1 (ko) 2013-10-02

Family

ID=47280494

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110026458A Active KR101314259B1 (ko) 2011-03-24 2011-03-24 영상 융합 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101314259B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150142377A (ko) 2014-06-11 2015-12-22 한화테크윈 주식회사 영상 융합 방법 및 시스템
KR101583773B1 (ko) * 2014-10-29 2016-01-20 동국대학교 산학협력단 대상체 검출 장치 및 방법
KR20160129168A (ko) 2015-04-29 2016-11-09 주식회사 서울텍 디지털 합성을 이용한 야간 촬영 성능 개선방법
US9946955B2 (en) 2014-10-23 2018-04-17 Hanwha Land Systems Co., Ltd. Image registration method
KR20180055604A (ko) * 2016-11-17 2018-05-25 전라남도 군락에서 열화상 이미지를 통한 작물기관별 온도식별시스템에 사용되는 정보처리장치
KR102248235B1 (ko) * 2020-05-06 2021-05-04 주식회사 에스엠전자 발열자 및 접촉자 이력관리시스템

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150021353A (ko) 2013-08-20 2015-03-02 삼성테크윈 주식회사 영상 융합 시스템 및 그 방법
KR101455071B1 (ko) * 2013-09-17 2014-10-30 주식회사 서울텍 디지털 합성을 이용한 야간 촬영 성능 개선방법
KR101990367B1 (ko) * 2014-05-08 2019-06-18 한화테크윈 주식회사 영상 융합 방법
KR101998639B1 (ko) * 2017-11-30 2019-07-10 (주)코어센스 열화상 카메라와 색상 카메라의 복합 영상을 이용한 지능형 발화지점 감시 시스템
KR101964898B1 (ko) * 2018-02-21 2019-04-09 심완규 열화상을 이용한 수배전반 모니터링 장치, 방법 및 컴퓨터-판독가능기록매체
KR102036593B1 (ko) * 2018-04-19 2019-10-25 주식회사 아이티아이비전 악천후 출동차량용 전후방 감시시스템
KR102595600B1 (ko) * 2019-01-29 2023-11-01 주식회사 유니크 공간 정렬을 이용한 다중 ir 대역 센서 모듈 시스템과 이를 이용한 이미지 융합 방법
KR102668750B1 (ko) * 2019-02-01 2024-05-23 엘지전자 주식회사 공간정보 인식장치
KR102235018B1 (ko) * 2019-06-21 2021-04-01 국방과학연구소 해상도가 다른 영상을 정합하는 장치 및 방법
KR102092552B1 (ko) * 2019-11-11 2020-03-24 주식회사 삼주전자 지능형 전천후 영상 표출 카메라 시스템
KR102449724B1 (ko) * 2020-03-18 2022-09-30 주식회사 아이엔지시스템 은닉 카메라 탐지 시스템, 방법 및 이를 수행하기 위한 컴퓨팅 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020078610A (ko) * 2001-04-06 2002-10-19 티오엠테크놀로지 주식회사 적외선 영상에서의 관심 대상 분할 방법
JP2005031800A (ja) * 2003-07-08 2005-02-03 Mitsubishi Electric Corp 熱画像表示装置
JP2009010675A (ja) * 2007-06-28 2009-01-15 Sony Corp 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020078610A (ko) * 2001-04-06 2002-10-19 티오엠테크놀로지 주식회사 적외선 영상에서의 관심 대상 분할 방법
JP2005031800A (ja) * 2003-07-08 2005-02-03 Mitsubishi Electric Corp 熱画像表示装置
JP2009010675A (ja) * 2007-06-28 2009-01-15 Sony Corp 撮像装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150142377A (ko) 2014-06-11 2015-12-22 한화테크윈 주식회사 영상 융합 방법 및 시스템
US9946955B2 (en) 2014-10-23 2018-04-17 Hanwha Land Systems Co., Ltd. Image registration method
KR101583773B1 (ko) * 2014-10-29 2016-01-20 동국대학교 산학협력단 대상체 검출 장치 및 방법
KR20160129168A (ko) 2015-04-29 2016-11-09 주식회사 서울텍 디지털 합성을 이용한 야간 촬영 성능 개선방법
KR20180055604A (ko) * 2016-11-17 2018-05-25 전라남도 군락에서 열화상 이미지를 통한 작물기관별 온도식별시스템에 사용되는 정보처리장치
KR101912651B1 (ko) * 2016-11-17 2018-10-29 전라남도 군락에서 열화상 이미지를 통한 작물기관별 온도식별시스템에 사용되는 정보처리장치
KR102248235B1 (ko) * 2020-05-06 2021-05-04 주식회사 에스엠전자 발열자 및 접촉자 이력관리시스템

Also Published As

Publication number Publication date
KR20120109057A (ko) 2012-10-08

Similar Documents

Publication Publication Date Title
KR101314259B1 (ko) 영상 융합 시스템 및 그 방법
US9369612B2 (en) Image fusion system and method
US11501535B2 (en) Image processing apparatus, image processing method, and storage medium for reducing a visibility of a specific image region
KR102144394B1 (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법
KR20150085710A (ko) 디스플레이 장치 및 그 제어 방법
JP2015127668A (ja) 計測装置、システムおよびプログラム
JP5708036B2 (ja) 撮像装置
KR20200137744A (ko) 감시시스템, 그 시스템에서의 어안 카메라를 이용한 ptz 카메라 제어 방법
US9967478B2 (en) Imaging device and infrared image generation method
KR20150024169A (ko) 영상 융합 시스템 및 그 방법
KR101625471B1 (ko) 보급형 열화상 카메라의 해상도 향상 방법 및 장치
JP2010146094A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US9300860B2 (en) Image-capturing apparatus
KR101704551B1 (ko) 열상 카메라를 채용하는 감시 시스템 및 이를 이용한 야간 감시 방법
JP6162971B2 (ja) 画像処理装置、画像処理方法、撮像装置及びその制御方法
KR20110081515A (ko) 다목적 감시용 카메라
KR101738514B1 (ko) 어안 열상 카메라를 채용한 감시 시스템 및 이를 이용한 감시 방법
KR102050418B1 (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법
KR101989868B1 (ko) 전자 장치 및 제어 방법
CN113066011A (zh) 一种图像处理方法、装置、系统、介质和电子设备
JP2018112991A (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP2016111484A (ja) 画像処理装置、画像処理方法、およびプログラム
EP4383211B1 (en) Method and system for identifying reflections in thermal images
KR101007405B1 (ko) 열상 검출기의 화소 보정 장치 및 방법
JP2015165629A (ja) 画像補正装置及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20110324

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20120806

Patent event code: PE09021S01D

PG1501 Laying open of application
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20130213

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20130830

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20130926

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20130927

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20160830

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20160830

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20170828

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20170828

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20180829

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20180829

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20190826

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20190826

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20200826

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20210825

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20220823

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20240822

Start annual number: 12

End annual number: 12