[go: up one dir, main page]

KR101625471B1 - 보급형 열화상 카메라의 해상도 향상 방법 및 장치 - Google Patents

보급형 열화상 카메라의 해상도 향상 방법 및 장치 Download PDF

Info

Publication number
KR101625471B1
KR101625471B1 KR1020140193190A KR20140193190A KR101625471B1 KR 101625471 B1 KR101625471 B1 KR 101625471B1 KR 1020140193190 A KR1020140193190 A KR 1020140193190A KR 20140193190 A KR20140193190 A KR 20140193190A KR 101625471 B1 KR101625471 B1 KR 101625471B1
Authority
KR
South Korea
Prior art keywords
image
thermal
resolution
general
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020140193190A
Other languages
English (en)
Inventor
이현태
채종억
Original Assignee
목원대학교 산학협력단
제니텔정보통신 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 목원대학교 산학협력단, 제니텔정보통신 주식회사 filed Critical 목원대학교 산학협력단
Priority to KR1020140193190A priority Critical patent/KR101625471B1/ko
Application granted granted Critical
Publication of KR101625471B1 publication Critical patent/KR101625471B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

본 발명은 보급형 열화상 카메라의 해상도 향상 방법 및 장치에 관한 것으로, 주간에 일반 고해상도 일반 카메라로 촬영한 영상과 촬영정보를 데이터베이스에 저장해 두었다가, 상기 일반 카메라 촬영정보를 바탕으로 야간에 보급형 저해상도 열화상 카메라로 영상을 촬영하고, 그 영상을 상기 일반 카메라의 고해상도 촬영영상과 매칭을 통해 보급형 열화성 카메라의 저해상도 영상을 향상시키는 방법 및 장치에 관한 것이다.

Description

보급형 열화상 카메라의 해상도 향상 방법 및 장치{METHOD AND APPARATUS FOR ENHANCING RESOLUTION OF POPULAR LOW COST THERMAL IMAGE CAMERA}
본 발명은 보급형 열화상 카메라의 해상도 향상 방법 및 장치에 관한 것으로, 더욱 상세하게는 주간에 일반 고해상도 일반 카메라로 촬영한 영상과 촬영정보를 데이터베이스에 저장해 두었다가, 상기 일반 카메라 촬영정보를 바탕으로 야간에 보급형 저해상도 열화상 카메라로 영상을 촬영하고, 그 영상을 상기 일반 카메라의 고해상도 촬영영상과 매칭을 통해 보급형 열화상 카메라의 저해상도 영상을 향상시키는 방법 및 장치에 관한 것이다.
열화상카메라는 화재 감시 시스템, 가스누출 실시간 감시 시스템, 실시간 무인 기계장치 동작 상태 감시 시스템, 보안 구역 침입 실시간 감시시스템 등 다양한 감시 시스템에 사용되고 있다.
열화상카메라는 모든 물체가 가지고 있는 고유한 복사 에너지로부터 방출되는 적외선 파장을 받아들여 출력되는 전기적인 신호를 사람이 인식할 수 있는 정지영상 혹은 동영상 신호로 변환하는 장치이다. 적외선 파장을 전기적인 신호로 변환하는 센서를 적외선 센서 혹은 디텍터라고 하며 상온방식(열형) 과 저온방식(광자형)이 있다. 광자형( Photon)은 성능은 뛰어나지만 액체질소 냉각기가 필요하고 가격이 높은 단점이 있는 반면, 열형(Thermal)은 복사되는 열에너지를 저항이나 전류 또는 기전력변화로 검출하는 방식으로서 광자형에 비하여 성능은 떨어지지만 냉각기가 필요 없고 가격이 저렴하여, 일반적으로 많이 사용되고 있다. 그러나 열형은 광자형에 비해서는 가격이 저렴하지만 해상도가 낮아서 사물의 구분 성능이 매우 부족한 형편이다. 그렇다고 고가의 고해상도 열화상 카메라를 사용하기에는, 공장이나 가스공사 같은 광범위한 영역을 감시하기 위해서는 감시를 위한 열화상 카메라가 많이 설치 되어야 하는데, 실시간 감시를 위한 시스템을 구비하기 위해 많은 비용이 소용되는 문제가 있다.
본 발명의 보급형 열화상 카메라의 해상도 향상 방법 및 장치는 이러한 기존 열화상 카메라를 적용한 실시간 감시 시스템의 비용 및 해상도의 문제를 해결하고자, 주간에 일반 고해상도 일반 카메라로 촬영한 영상과 촬영정보를 데이터베이스에 저장해 두었다가, 상기 일반 카메라 촬영정보를 바탕으로 야간에 보급형 저해상도 열화상 카메라로 영상을 촬영하고, 그 영상을 상기 일반 카메라의 고해상도 촬영영상과 매칭을 통해 보급형 열화성 카메라의 저해상도 영상을 향상시키고자 한다.
본 발명과 관련한 기존의 선행기술문헌으로, 한국등록특허 제10-1339026호(2013.12.09.)는 열화상 카메라 가시성 개선 방법 및 장치에 관한 발명으로, 객체에 대한 데이터량을 증가시켜 객체 식별에 대한 성능을 개선하도록 한 열화상 카메라 가시성 개선 하는 것으로, 열화상 카메라의 대기온도 노이즈를 제거하면서도 관찰하고자 과는 관심 객체에 대해서는 더 정밀한 영상을 확보할 수 있도록 하여 객체 식별 품질을 개선한다. 또한, 열화상 카메라의 노이즈를 이퀄라이징을 통해 감소시키면서도 관심 객체의 온도 범위는 가중치로 보상함으로써 관심 객체의 데이터량은 오히려 증가시키도록 하며, 관심 객체에 대해 설정한 온도 범위가 잘 드러나는 영역을 기준으로 객체를 식별하도록 하여 객체에 대한 식별 효율을 개선하는 방법 관한 발명이다.
또한, 한국공개특허 제2013-0101922호(2013.09.16.)는 열화상 내에서 특정부위 추적이 가능한 열상시스템 및 이를 이용한 특정부위의 추적방법에 관한 발명으로, 열화상 카메라가 포함되어 이루어진 열상시스템에 있어서, 열화상 카메라에 인접하여 설치된 영상 카메라 및 열화상 카메라와 영상 카메라의 촬영 위치를 측정하기 위해 열화상 카메라에 인접하여 설치된 위치측정장치가 포함되어 이루어짐으로써, 열화상에서 육안으로 인지하기 어려운 피사체의 특정부위를 일반영상과 대비하여 육안으로 인지함으로써, 열화상에서의 특정부위를 실시간으로 추적하여 정확한 온도를 추출하는 방법 관한 발명이다.
그러나 상기 선행기술문헌들은 여전히 고가의 열화상 카메라를 활용한 온도 측정 단계에서 벗어나 있지 아니하고, 또한 저해상도의 열화상 영상를 일반 고해상도 영상과 매칭시켜 관심부위 ROI(Region Of Interest)의 해상도를 높이는 방법에 대한 제안이 없어서, 여전히 보급형 열화상 카메라의 범용적인 사용에는 한계가 있다.
이에 본 발명은 상기에 언급한 바와 같이, 주간에 일반 고해상도 일반 카메라로 촬영한 영상과 촬영정보(Meta data-카메라 렌즈 정보, 화각, 초점거리, 노출등에 관한 정보)를 데이터베이스에 저장해 두었다가, 사용자가 별도로 설정하지 않아도 상기 일반 카메라의 촬영정보 바탕으로 열화상 카메라가 야간에 동일한 시야각의 영상을 촬영하고, 그 영상을 상기 일반 카메라의 고해상도 촬영영상과 매칭을 통해 보급형 저해상도 열화성 카메라의 전체적인 해상도 및 특히 관심부위의 해상도를 향상 시켜 기존의 열화상 카메라의 문제를 해결하는 것이다.
본 발명은 산업 현장에서 열화상 카메라가 널리 필요함에도 불구하고, 보급형 열화상 카메라의 경우, 저해상도로 인하여 사물 식별력이 사용자의 요구를 충족시키지 못하는 점에 착안하여, 주간에 일반 고해상도 일반 카메라로 촬영한 영상과 촬영정보(Meta data-카메라 렌즈 정보, 화각, 초점거리, 노출 등에 관한 정보)를 데이터베이스에 저장해 두었다가, 사용자가 별도로 설정하지 않아도 상기 일반 카메라의 촬영정보 바탕으로 열화상 카메라가 야간에 동일한 시야각의 영상을 촬영하고, 그 영상을 상기 일반 카메라의 고해상도 촬영영상과 매칭을 통해 보급형 저해상도 열화상 카메라의 전체적인 해상도 및 특히 관심부위의 해상도를 향상시키는 방법을 제시하는 것을 목적으로 한다.
이와 같은 목적을 달성하기 위해 본 발명의 일 실시예에 따른 보급형 열화상 카메라의 해상도 향상 장치는 고해상도의 영상을 촬영하는 일반영상촬영부; 열화상 영상을 촬영하는 열화상촬영부; 상기 일반영상촬영부와 열화상촬영부의 제어값에 대한 메타데이터 매칭 테이블을 통해서 상호 동일한 대상을 촬영하도록 제어하는 영상 제어부;를 포함하며,상기 영상 제어부는 상기 일반영상촬영부의 일반촬영영상과 열화상촬영부의 열화상 촬영영상을 상호 매칭시켜 열화상 영상의 해상도를 일반촬영영상만큼 업스케일링하여 보급형 열화상 카메라의 열화상 영상에 대한 해상도를 향상시키는 것을 특징으로 한다.
또한 상기 영상 제어부는, 상기 일반영상촬영부에서 야간이나 주위가 어두워 촬영하는 영상이 인식하기 어려운 경우, 열화상촬영부의 메타데이터와 매칭되는 일반영상촬영부의 주간이나 양호하게 인식되는 해당 영상을 바탕으로 열화상 촬영영상과 상호 매칭시켜 열화상 영상의 해상도를 업스케일링함으로써, 보급형 열화상 카메라의 열화상 영상에 대한 해상도를 향상시키는 것을 특징으로 한다.
또한 상기 영상 제어부는, 사용자가 설정한 ROI나 전체 촬영영상의 화면에 대해서 자동으로 객체를 인식할 수 있도록 하여, 해당 객체를 중심으로 열화상 촬영영상의 해상도를 향상시킴으로써, 보급형 열화상 카메라의 열화상 영상에 대한 해상도를 향상시키는 것을 특징으로 한다.
또한 상기 해상도를 향상시키는 장치는, 상기 객체를 구성하는 각 픽셀의 휘도(루미넌스)값이나 컬러값에 연동하여 상기 휘도값이나 컬러값에 비례하여 열화상 데이터를 강화하고 멀어질수록 상기 열화상 데이터를 약화시키는 보정을 수행함으로써, 보급형 열화상 카메라의 열화상 영상에 대한 해상도를 향상시키는 것을 특징으로 한다.
또한 상기 해상도를 향상시키는 장치는, 상기 객체의 경계선이나 중심으로 갈수록 비례하여 열화상 데이터를 강화하고 멀어질수록 상기 열화상 데이터를 약화시키는 보정을 수행함으로써, 보급형 열화상 카메라의 열화상 영상에 대한 해상도를 향상시키는 것을 특징으로 한다.
아울러 본 발명의 또 다른 일 실시예에 따른 보급형 열화상 카메라의 해상도 향상 방법은 고해상도의 영상을 촬영하는 일반영상 촬영단계; 열화상 영상을 촬영하는 열화상 촬영단계; 상기 일반영상 촬영단계와 열화상 촬영단계에서 일반영상 카메라와 열화상 카메라의 제어값에 대한 메타데이터 매칭 테이블을 통해서 상호 동일한 대상을 촬영하도록 제어하는 영상 제어단계;를 포함하며, 상기 영상 제어단계는 상기 일반촬영영상과 열화상 촬영영상을 상호 매칭시켜 열화상 영상의 해상도를 일반촬영영상만큼 업스케일링함으로써, 보급형 열화상 카메라의 열화상 영상에 대한 해상도를 향상시키는 것을 특징으로 한다.
또한 상기 영상 제어단계는, 상기 일반영상 촬영단계에서 야간이나 주위가 어두워 촬영하는 영상이 인식하기 어려운 경우, 열화상 촬영단계의 메타데이터와 매칭되는 일반촬영영상의 주간이나 양호하게 인식되는 해당 영상을 바탕으로 열화상 촬영영상과 상호 매칭시켜 열화상 영상의 해상도를 업스케일링함으로써, 보급형 열화상 카메라의 열화상 영상에 대한 해상도를 향상시키는 것을 특징으로 한다.
또한 상기 영상 제어단계는, 사용자가 설정한 ROI나 전체 촬영영상의 화면에 대해서 자동으로 객체를 인식할 수 있도록 하여, 해당 객체를 중심으로 열화상 촬영영상의 해상도를 향상시킴으로써, 보급형 열화상 카메라의 열화상 영상에 대한 해상도를 향상시키는 것을 특징으로 한다.
또한 상기 해상도를 향상시키는 단계는, 상기 객체를 구성하는 각 픽셀의 휘도(루미넌스)값이나 컬러값에 연동하여 상기 휘도값이나 컬러값에 비례하여 열화상 데이터를 강화하고 멀어질수록 상기 열화상 데이터를 약화시키는 보정을 수행함으로써, 보급형 열화상 카메라의 열화상 영상에 대한 해상도를 향상시키는 것을 특징으로 한다.
또한 상기 해상도를 향상시키는 단계는, 상기 객체의 경계선이나 중심으로 갈수록 비례하여 열화상 데이터를 강화하고 멀어질수록 상기 열화상 데이터를 약화시키는 보정을 수행함으로써, 보급형 열화상 카메라의 열화상 영상에 대한 해상도를 향상시키는 것을 특징으로 한다.
본 발명은 보급형 열화상 카메라의 해상도 향상 방법 및 장치에 관한 것으로, 주간에 일반 고해상도 일반 카메라로 촬영한 영상과 촬영정보를 데이터베이스에 저장해 두었다가, 상기 일반 카메라 촬영정보를 바탕으로 야간에 보급형 저해상도 열화상 카메라로 영상을 촬영하고, 그 영상을 상기 일반 카메라의 고해상도 촬영영상과 매칭을 통해 보급형 열화상 카메라의 저해상도 영상을 향상시키는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 보급형 열화상 카메라의 해상도 향상 방법의 개념도이다.
도 2는 본 발명의 일 실시예에 따른 보급형 열화상 카메라의 해상도 향상 장치의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 보급형 열화상 카메라의 해상도 향상 과정을 나타낸 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 보급형 열화상 카메라의 해상도 향상 방법에 의한 해상도 업스케일링의 일련의 과정을 나타내는 과정도이다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 보급형 열화상 카메라의 해상도 향상 방법의 개념도이다.
도 1에 도시된 바와 같이, 본 발명 보급형 열화상 카메라의 해상도 향상 장치에서는, 광량이 충분하지 않은 야간 경우 저해상도의 열화상 영상을 촬영하는 열화상촬영부(100)와 광량이 충분한 주간의 경우 고해상도의 일반 영상을 촬영하는 일반영상촬영부(200), 그리고, 저해상도의 열화상 영상과 고해상도의 일반 영상을 서로 매칭하여 저해상도의 열화상 영상의 해상도를 향상 시키는 영상제어부(300)의 처리과정을 통해 고해상도의 열화상 영상을 출력하는 개념으로 그 장치가 구성된다.
여기서 영상제어부(300)는 영상의 처리뿐만 아니라, 열화상촬영부(100)와 일반영상촬영부(200)의 제어 및 유무선의 네크워크 연결, 다양한 입출력, 전원관리등 시스템의 종합적 제어를 지원하는 장치의 개념이다.
이러한 과정을 통해서 보급형 열화상 카메라의 저해상도의 열화상의 영상을 향상 시켜 저가형의 열화상 카메라로도 산업현장에서 요구하는 실시간 화재 감시 같은 시스템을 구비할 수 있는 경제적 효과가 있다.
도 2는 본 발명의 일 실시예에 따른 보급형 열화상 카메라의 해상도 향상 장치의 블록도이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 보급형 열화상 카메라의 해상도 향상 장치의 구성은 열화상촬영부(100), 일반영상촬영부(200), 촬영정보추출부(310), 영상저장부(320), 영상처리부(330), 디스플레이부(340), 제어부(350), 입출력인터페이스부(360), 네트워크연결부(370), 전부를 포함하여 구성된다.
상기 구성 요소들 간의 연결 관계는, 열화상 영상을 촬영하는 열화상촬영부(100), 일반 영상을 촬영하는 일반영상촬영부(200), 일반영상촬영부(200)의 영상 촬영정보(메타데이터)를 추출하는 촬영정보추출부(310), 열화상촬영부(100)와 일반영상촬영부(200)의 영상을 저장하는 영상저장부(320), 열화상촬영부(100)의 영상과 일반영상촬영부(200)의 영상을 매칭시켜 열화상 영상의 해상도를 향상시키는 영상처리부(330), 열화상촬영부(100)와 일반영상촬영부(200)에 촬영된 영상이나, 상기 영상처리부(330)의 처리 과정을 통해 향상된 영상을 디스플레이 하는 디스플레이부(340), 키보드나 마우스나 USB장치 같은 다양한 유무선 장치의 입출력을 담당하는 입출력인터페이스부(360), 원격을 통해 본 발명 보급형 열화상 카메라의 해상도 향상 방법 및 장치를 제어 할 수 있도록 지원하는 네트워크연결부(370), 본 발명 보급형 열화상 카메라의 해상도 향상 장치의 전원을 컨트롤하는 전원부(380), 그리고, 상기 열화상촬영부(100), 일반영상촬영부(200),촬영정보추출부(310), 영상저장부(320), 영상처리부(330), 디스플레이부(340), 입출력인터페이스부(360), 네트워크연결부(370), 전원부(380)를 제어하는 제어부(350)를 포함하여 이루어진다.
상기 일반영상촬영부(200)는, 광양이 충분한 주간에 자동으로 혹은 설정 시간에 동작하여 고해상도의 일반 영상을 촬영하고, 그 촬영 영상을 제어부(350)와 영상저장부(320) 및 영상처리부(330)등에 전송한다. 또한 촬영 영상의 메타 데이터(조리개, 셔터 스피드, ISO, 초점거리 등 촬영에 관한 전반의 정보)값을 촬영정보추출부(310)에 전송한다. 또한 상기 일반영상촬영부(200)는 메타 데이터에 포함된 광량 정보를 바탕으로 설정된 광량값 이하여서 촬영하는 영상이 인식하기 어려운 경우 자동으로 대기 상태 모드(Stand by)로 들어가 영상의 저장을 일시 정지 한다. 그리고, 주변 환경이 다시 광량이 충분한 상태가 되면 영상 촬영 및 저장을 자동으로 시작하게 된다.
상기 열화상촬영부(100)는, 상기 일반영상촬영부(200)의 영상 촬영정보(메타데이터)를 바탕으로 일반영상촬영부(200)와 매칭되는 최적의 동일한 화각, 조리개, 셔터 스피드, ISO, 초점거리등을 자동으로 설정하고, 광양이 충분하지 않은 야간에 자동으로 혹은 설정 시간에 동작하며, 저해상도의 열화상 영상을 촬영하고, 그 촬영 영상을 제어부(350)와 영상저장부(320) 및 영상처리부(330)등에 전송한다. 또한 촬영 영상의 메타 데이터(조리개, 셔터 스피드, ISO, 초점거리 등 촬영에 관한 전반의 정보)값을 촬영정보추출부(310)에 전송한다.
상기 촬영정보추출부(310)는, 상기 일반영상촬영부(200)와 열화상촬영부(100)의 촬영 정보가 담긴 메타 데이터를 추출하고, 그 데이터를 영상처리부(330)와 제어부(350)에 전송하여, 일반영상촬영부(200)와 열화상촬영부(100)가 동일한 화각을 유지하도록 하고, 영상처리부(330)가 상기 일반영상촬영부(200)와 열화상촬영부(100)에서 촬영된 영상을 효율적으로 매칭시키도록 해준다.
상기 영상저장부(320)는, 상기 일반영상촬영부(200)와 열화상촬영부(100)의 영상을 저장하고, 또한 영상처리부(330)를 통해 업스케일링된 열화상 영상을 보관 저장한다. 저장된 영상은 제어부(350)와 네트워크연결부(370)를 통해 네트워크로 검색, 재생, 삭제등 관리가 가능하고, 또한 제어부(350)와 입출력인터페이스부(360)를 통해 외부 저장 장치에 복사가 가능하다.
상기 영상처리부(330)는, 상기 일반영상촬영부(200)와 열화상촬영부(100)의 촬영 영상을 상호 매칭 시켜 열화상 영상을 고해상도로 업스케일링한다. 또한 상기 영상처리부(330)의 ROI(Region Of Interest) 설정부(3310)는 상기 일반영상촬영부(200)의 영상 촬영 영상 중 사용자가 집중적으로 관리 감시하기를 원하는 부분을 ROI로 사용자가 설정할 수 있도록 하여, 설정된 ROI의 주변 테두리 부분을 더욱 대비 시켜 선명한 영상을 얻도록 해준다. 또한 상기 영상처리부(330)의 는 객체 인식부(3320)는 상기 일반영상촬영부(200)와 열화상촬영부(100)의 촬영 영상 중 불규칙적으로 움직이는 동물이나 사람처럼 감시 대상 외의 객체가 있는 경우 이를 인식하여 일반영상촬영부(200)와 열화상촬영부(100)의 영상을 매칭 시킬 때 제거하는 기능을 한다. 또한 상기 영상처리부(330)의 영상 향상부는 상기 ROI(Region Of Interest) 설정부(3310)와 상기 객체 인식부(3320)및 촬영정보추출부(310)의 정보를 종합하여, 영상저장부(320)의 저장된 일반영상촬영부(200)와 열화상촬영부(100)의 촬영 영상을 상호 매칭시켜 열화상 영상을 고해상도로 업스케일링한다.
여기서 열화상 영상을 일반영상과 매칭시켜 고해상도로 업스케일링할 때, 예컨대 ROI나 객체의 주변에서 ROI나 객체로부터 멀어질수록 열화상 이미지가 엷게 표시되고, 가까워질수록 진하게 표시되도록 영상처리를 수행하는 과정을 수행하도록 한다. 아울러 상기 ROI나 객체의 주변으로 갈수록 열화상 정보가 더욱 선명하게 보이도록 처리하여, 전체적으로 열화상이 일반영상과 합쳐졌을 때 더욱 선명하게 표시도도록 할 수 있다.
상기 디스플레이부(340)는, 상기 일반영상촬영부(200)의 일반 고해상도 영상이나, 상기 열화상촬영부(100)의 열화상 영상이나, 상기 영상처리부(330)를 통해 고해상도로 업스케일링된 열화상 영상을 디스플레이 한다. 또한 디스플레이부(340)는 화면 터치 스크린을 입력을 통해 별도의 키보드나 마우스 같은 입력장치 없이도 본 발명 보급형 열화상 카메라의 해상도 향상 장치를 설정 및 제어할 수 있다.
상기 제어부(350)는, 상기 열화상촬영부(100), 일반영상촬영부(200)의 기본적인 촬영 시작 및 정지 및 영상의 전송을 제어하고, 또한 촬영정보추출부(310)로부터 전송 받은 메타 데이터를 통해 일반영상촬영부(200)와 열화상촬영부(100)가 동일한 화각의 화면을 촬영할 수 있도록 열화상촬영부(100)와 일반영상촬영부(200)를 설정한다. 또한 영상저장부(320), 영상처리부(330), 디스플레이부(340), 입출력인터페이스부(360), 네트워크연결부(370), 전원부(380)의 상호간의 데이터 전송과 유기적인 관계를 전체적으로 제어한다.
상기 입출력인터페이스부(360)는, USB, 블루투스, 지그비, NFC 같은 다양한 유무선의 입출력 장치의 연결을 지원하여, 본 발명 보급형 열화상 카메라의 해상도 향상 장치를 설장하거나, 유지보수, 데이터 백업을 용이하게 한다.
상기 네트워크연결부(370)는, 본 발명 보급형 열화상 카메라의 해상도 향상 방법 및 장치의 특성상 관리자가 통제실이나 관리실 같은 곳에서 시설을 감시 할 수 있도록 Wifi나 Lan등의 유무선 네트워크와 연결할 수 있도록 한다.
상기 전원부(380)는, 본 발명 보급형 열화상 카메라의 해상도 향상 장치의 열화상촬영부(100), 일반영상촬영부(200), 및 영부에 전원을 공급한다.
이와 같이 구성한 본 발명의 실시예에 따른 동작 과정을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.
도 3은 본 발명의 일 실시예에 따른 보급형 열화상 카메라의 해상도 향상 과정을 나타낸 흐름도이다.
도 1 내지 도 3을 참조하여 설명하면, 본 발명의 일반영상촬영부(200)는 광량이 충분한 주간에 일반 고해상도의 영상을 촬영하고(S100), 영상 촬영과 동시에 촬영 영상을 영상저장부(320)에 저장한다(S110), 또한 상기 촬영정보추출부(310)는 일반영상촬영부(200)의 영상 촬영정보(메타데이터)를 추출하여(S120) 그 해당 정보를 저장한다(S130). 상기 영부의 ROI설정부(3310)에 의해 ROI 설정여부를 체크하여(S140) ROI이 설정되어 있다면, 그 ROI설정 데이터를 저장하여(S150). 추후 상기 일반영상촬영부(200)와 열화상촬영부(100)의 영상을 상호 매칭 시켜 열화상촬영부(100)의 저해상도 영상을 업스케링하는 과정에서 설정된 ROI의 주변 테두리 부분을 더욱 대비 시켜 선명한 영상을 얻도록 해준다.
반면 특별히 ROI의 설정이 없다면, ROI 정보의 저장 없이, 광량이 부족한 야간이 되면 상기 S130단계의 일반영상촬영부(200)의 영상 촬영정보(메타데이터)를 바탕으로 일반영상촬영부(200)와 동일한 화각을 자동으로 설정하여 열화상촬영부(100)에서 열화상 영상을 촬영하고(S160), 그 영상을 마찬가지로 동시에 상기 영상저장부(320)에 저장한다(S170).
이후 상기 S110단계를 통해 저장된 일반영상촬영부(200)의 일반 고해상도 영상을 바탕으로 상기 S170단계를 통해 저장된 열화상촬영부(100)의 열화상 영상을 매칭 시킨다(S180). 만약 상기 S140단계에서 사용자에 의해 ROI설정이 있다면 상기 S150단계에서 저장된 ROI설정 정보를 읽어와 일반영상과 열화상 영상의 매칭시켜 ROI의 주변 테두리 부분을 더욱 대비 시켜 선명한 영상을 얻도록 해준다.
고해상도의 일반 촬영 영상에 저해상도의 열화상 촬영 영상의 매칭을 통해 열화상 촬영 영상의 저해상도 영상을 업스케일하여 선명한 영상을 얻는다(S190).
상기 S190단계를 통해 획득된 열화상 영상을 상기 영상저장부(320)에 저장하고(S200). 저장된 영상을 디스플레이 하거나 네트워크를 통해 사용자에게 실시간 전송한다(S210).
도 4는 본 발명의 일 실시예에 따른 보급형 열화상 카메라의 해상도 향상 방법에 의한 해상도 업스케일링의 일련의 과정을 나타내는 과정도이다.
도 1 내지 도 4을 참조하여 설명하면, 도 4의 (a)는 야간이나 광량이 부족한 환경에서 열화상촬영부(100)에 의해 촬영된 저해상도 열화상 영상 원본의 한 예시이다. 도 4의 (b)는 주간이나 광량이 충족한 환경에서 일반영상촬영부(200)에 의해 촬영된 고해상도 일반 영상의 한 예시이다. 도 4의 (a)와 도 4의 (b)에 사용자에 의해 ROI가 설정되어 있다.(사진상 노란 사각 박스). 도 4의 (c)와 도 4의 (d)는 상기 사용자에 의해 설정된 ROI내의 저해상도 열화상 영상과 고해상도 일반 영상의 픽셀 구분을 예시적으로 나타내고 있다. 도 4의 (e)와 도 4의 (f)는 두 영상 간의 매칭을 통해 대응되는 픽셀을 확대한 예시로 그림에서 예시로 든 것에서 알 수 있듯이 열화상 영상에서는 단 하나의 픽셀로 표현되는 데이터에 대해 일반영상의 픽셀 4(2x2)개가 대응되고, 도 4의 (g)에 보여지듯히 이 일반영상의 픽셀 4(2x2)의 각 픽셀의 데이터 값을 기초로 하여 열화상 영상의 1픽셀을 4개의 픽셀로 업스케일링 하게 된다. 이러한 일 예시의 알고리즘을 통해 저해상도의 열화상 영상이 고해상도의 열화상 영상으로 업스케일링 된다. 특히 도 4의 (h)에서 보여 지듯히, 객체를 구성하는 각 픽셀의 휘도(루미넌스)값이나 컬러값에 연동하여 상기 휘도값이나 컬러값에 비례하여 열화상 데이터를 강화하고 멀어질수록 상기 열화상 데이터를 약화시키는 보정을 수행하고, 또한 객체의 경계선이나 중심으로 갈수록 비례하여 열화상 데이터를 강화하고 멀어질수록 상기 열화상 데이터를 약화시키는 보정의 업스케일링을 통해 ROI내부 전경의 객체의 경계가 분명해지면서 사용자가 집중적으로 감시하고자 하는 대상에 대한 선명한 영상을 얻을 수 있게 된다.
이와 같이 본 발명 보급형 열화상 카메라의 해상도 향상 방법 및 장치는 주간에 일반 고해상도 일반 카메라로 촬영한 영상과 촬영정보를 데이터베이스에 저장해 두었다가, 상기 일반 카메라 촬영정보를 바탕으로 야간에 보급형 저해상도 열화상 카메라로 영상을 촬영하고, 그 영상을 상기 일반 카메라의 고해상도 촬영영상과 매칭을 통해 보급형 열화성 카메라의 저해상도 영상을 향상시키는 효과가 있다.
이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 판단되어야 할것이다.
100 : 열화상촬영부 200 : 일반영상촬영부
300 : 영상제어부 310 : 촬영정보추출부
320 : 영상저장부 330 : 영상처리부
340 : 디스플레이부 350 : 제어부
360 : 입출력인터페이스부 370 : 네트워크연결부
380 : 전원부

Claims (10)

  1. 광량에 따라 자동으로 영상의 촬영과 저장을 제어하여 고해상도의 영상을 촬영하는 일반영상촬영부;
    상기 일반영상촬영부에서 야간이나 주위가 어두워 촬영하는 영상이 인식하기 어려운 경우, 상기 일반영상촬영부의 촬영정보를 바탕으로 열화상 영상을 촬영하는 열화상촬영부; 및
    상기 일반영상촬영부와 열화상촬영부의 촬영정보에 대한 메타데이터 매칭 테이블을 통해서 상호 동일한 대상을 촬영하도록 제어하는 영상 제어부;를 포함하며,
    상기 영상 제어부는,
    상기 열화상촬영부의 메타데이터와 매칭되는 일반영상촬영부의 주간이나 양호하게 인식되는 해당 영상을 바탕으로 열화상 촬영영상과 상호 매칭시켜 열화상 영상의 해상도를 일반촬영영상만큼 업스케일링하여 보급형 열화상 카메라의 열화상 영상에 대한 해상도를 향상시키며,
    사용자가 설정한 ROI나 전체 촬영영상의 화면에 대해서 자동으로 객체를 인식할 수 있도록 하여, 해당 객체를 중심으로 열화상 촬영영상의 해상도를 향상시키되, 상기 객체를 구성하는 각 픽셀의 휘도(루미넌스)값이나 컬러값에 연동하여 상기 휘도값이나 컬러값에 비례하여 열화상 데이터를 강화하고, 멀어질수록 상기 열화상 데이터를 약화시키는 보정을 수행함으로써, 보급형 열화상 카메라의 열화상 영상에 대한 해상도를 향상시키는 것을 특징으로 하는 열화상 카메라의 해상도 향상 장치.
  2. 청구항 1에 있어서,
    상기 촬영정보는 카메라 렌즈 정보, 화각, 초점거리, 노출 또는 이들의 조합을 포함하는 것을 특징으로 하는, 보급형 열화상 카메라의 열화상 영상에 대한 해상도를 향상시키는 것을 특징으로 하는 열화상 카메라의 해상도 향상 장치.
  3. 삭제
  4. 삭제
  5. 청구항 1에 있어서,
    상기 해상도 향상 장치는,
    상기 객체의 경계선이나 중심으로 갈수록 비례하여 열화상 데이터를 강화하고 멀어질수록 상기 열화상 데이터를 약화시키는 보정을 수행함으로써 전경의 객체가 선명해지도록 하는, 보급형 열화상 카메라의 열화상 영상에 대한 해상도를 향상시키는 것을 특징으로 하는 열화상 카메라의 해상도 향상 장치.
  6. 광량에 따라 자동으로 영상의 촬영과 저장을 제어하여 고해상도의 영상을 촬영하는 일반촬영영상에 대한 일반영상 촬영단계;
    상기 일반영상 촬영단계에서 야간이나 주위가 어두워 촬영하는 영상이 인식하기 어려운 경우, 상기 일반촬영영상의 촬영정보를 바탕으로 열화상 영상을 촬영하는 열화상 촬영단계; 및
    상기 일반영상 촬영단계와 열화상 촬영단계에서 일반영상 카메라와 열화상 카메라의 촬영정보에 대한 메타데이터 매칭 테이블을 통해서 상호 동일한 대상을 촬영하도록 제어하는 영상 제어단계;를 포함하며,
    상기 영상 제어단계는,
    상기 일반촬영영상과 열화상 촬영영상을 상호 매칭시켜 열화상 촬영영상의 해상도를 일반촬영영상 만큼 업스케일링함으로써, 보급형 열화상 카메라의 열화상 영상에 대한 해상도를 향상시키며,
    사용자가 설정한 ROI나 전체 촬영영상의 화면에 대해서 자동으로 객체를 인식할 수 있도록 하여, 해당 객체를 중심으로 열화상 촬영영상의 해상도를 향상시키되, 상기 객체를 구성하는 각 픽셀의 휘도(루미넌스)값이나 컬러값에 연동하여 상기 휘도값이나 컬러값에 비례하여 열화상 데이터를 강화하고, 멀어질수록 상기 열화상 데이터를 약화시키는 보정을 수행함으로써, 보급형 열화상 카메라의 열화상 영상에 대한 해상도를 향상시키는 것을 특징으로 하는 열화상 카메라의 해상도 향상 방법.
  7. 청구항 6에 있어서,
    상기 촬영정보는 카메라 렌즈 정보, 화각, 초점거리, 노출 또는 이들의 조합을 포함하는 것을 특징으로 하는, 보급형 열화상 카메라의 열화상 영상에 대한 해상도를 향상시키는 것을 특징으로 하는 열화상 카메라의 해상도 향상 방법.
  8. 삭제
  9. 삭제
  10. 청구항 6에 있어서,
    상기 해상도를 향상시키는 단계는,
    상기 객체의 경계선이나 중심으로 갈수록 비례하여 열화상 데이터를 강화하고 멀어질수록 상기 열화상 데이터를 약화시키는 보정을 수행함으로써, 보급형 열화상 카메라의 열화상 영상에 대한 해상도를 향상시키는 것을 특징으로 하는 열화상 카메라의 해상도 향상 방법.
KR1020140193190A 2014-12-30 2014-12-30 보급형 열화상 카메라의 해상도 향상 방법 및 장치 Active KR101625471B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140193190A KR101625471B1 (ko) 2014-12-30 2014-12-30 보급형 열화상 카메라의 해상도 향상 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140193190A KR101625471B1 (ko) 2014-12-30 2014-12-30 보급형 열화상 카메라의 해상도 향상 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101625471B1 true KR101625471B1 (ko) 2016-05-30

Family

ID=57124779

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140193190A Active KR101625471B1 (ko) 2014-12-30 2014-12-30 보급형 열화상 카메라의 해상도 향상 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101625471B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101772820B1 (ko) * 2016-09-07 2017-09-12 신동균 열 이미지 생성 방법 및 이를 수행하는 전자 기기
KR102255981B1 (ko) * 2020-11-04 2021-05-25 한국건설기술연구원 다종 이동수단 탑재형 주변 환경 관측 장치 및 방법
CN115835012A (zh) * 2022-11-19 2023-03-21 华瑞研能科技(深圳)有限公司 基于人工智能的活动生物拍摄方法与智能打猎相机
KR20230069892A (ko) * 2020-06-16 2023-05-19 광주과학기술원 이상 온도를 나타내는 객체를 식별하는 방법 및 장치
CN118509670A (zh) * 2024-07-18 2024-08-16 深圳市积加创新技术有限公司 一种基于双Camera实现高分辨率黑光夜视的方法及系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101772820B1 (ko) * 2016-09-07 2017-09-12 신동균 열 이미지 생성 방법 및 이를 수행하는 전자 기기
KR20230069892A (ko) * 2020-06-16 2023-05-19 광주과학기술원 이상 온도를 나타내는 객체를 식별하는 방법 및 장치
KR102720639B1 (ko) * 2020-06-16 2024-10-22 광주과학기술원 이상 온도를 나타내는 객체를 식별하는 방법 및 장치
KR102255981B1 (ko) * 2020-11-04 2021-05-25 한국건설기술연구원 다종 이동수단 탑재형 주변 환경 관측 장치 및 방법
CN115835012A (zh) * 2022-11-19 2023-03-21 华瑞研能科技(深圳)有限公司 基于人工智能的活动生物拍摄方法与智能打猎相机
CN115835012B (zh) * 2022-11-19 2023-09-15 华瑞研能科技(深圳)有限公司 基于人工智能的活动生物拍摄方法与智能打猎相机
CN118509670A (zh) * 2024-07-18 2024-08-16 深圳市积加创新技术有限公司 一种基于双Camera实现高分辨率黑光夜视的方法及系统
CN118509670B (zh) * 2024-07-18 2025-01-17 深圳市积加创新技术有限公司 一种基于双Camera实现高分辨率黑光夜视的方法及系统

Similar Documents

Publication Publication Date Title
US9369612B2 (en) Image fusion system and method
US11308777B2 (en) Image capturing apparatus with variable event detecting condition
US9965835B2 (en) Defogging images and video
TWI580273B (zh) 監視系統
KR101625471B1 (ko) 보급형 열화상 카메라의 해상도 향상 방법 및 장치
WO2017059774A1 (en) Methods and systems for fusion display of thermal infrared and visible image
EP3383030B1 (en) Osd information generation camera, osd information synthesis terminal (20), and osd information sharing system comprising same
KR102144394B1 (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법
CN108345050A (zh) 多层次多维度立体化智能安检系统
US10298858B2 (en) Methods to combine radiation-based temperature sensor and inertial sensor and/or camera output in a handheld/mobile device
JP7662148B2 (ja) 画像処理装置
KR101476764B1 (ko) 카메라의 명암 영상신호를 이용한 화염 검출방법
US20180232581A1 (en) Method and system for detecting concealed objects using handheld thermal imager
CN109040746B (zh) 摄像头校准方法和装置、电子设备、计算机可读存储介质
US10127424B2 (en) Image processing apparatus, image processing method, and image processing system
Kumar et al. Border surveillance system using computer vision
KR20200009667A (ko) 영상 합성 장치 및 그의 영상 합성 방법
KR102083926B1 (ko) 영상 융합 시스템 및 그 방법
Goecks et al. Combining visible and infrared spectrum imagery using machine learning for small unmanned aerial system detection
KR102096576B1 (ko) 영상 합성 방법 및 장치
JP2013021551A (ja) 検知装置、検知方法及びプログラム
KR101427616B1 (ko) 다중 사용자 얼굴 검출 방법 및 이를 지원하는 단말 장치
KR102474697B1 (ko) 촬상 장치 및 영상 처리 방법
US20200408603A1 (en) Image processing arrangement
Ribeiro et al. Algorithms for face detection on infrared thermal images

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20141230

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20151209

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20160523

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20160524

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20160524

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20190402

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20190402

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20210316

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20220310

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20230425

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20240508

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20250612

Start annual number: 10

End annual number: 10