KR102469095B1

KR102469095B1 - 열화상 카메라 상태 모니터링

Info

Publication number: KR102469095B1
Application number: KR1020200151690A
Authority: KR
Inventors: 윈젤 토마스; 벵트손 제스퍼; 바이랜더 매츠
Original assignee: 엑시스 에이비
Priority date: 2019-12-05
Filing date: 2020-11-13
Publication date: 2022-11-22
Anticipated expiration: 2040-11-13
Also published as: CN112924040A; TW202123695A; US11343447B2; JP2021108448A; TWI812896B; EP3832537A1; JP7224328B2; US20210176411A1; KR20210070906A

Abstract

본 발명은 열화상 카메라로 문제점을 검출하기 위한 컴퓨터 프로그램 제품을 포함하는 방법 및 기기에 관한 것이다. 현재 대조값은 열화상 카메라에 대해 결정된다(102). 현재 대조값이 기설정된 값을 초과해 기준 대조값을 벗어나는지 판단한다(104). 현재 대조값이 기준 대조값으로부터 기설정된 값을 초과해 기설정된 시간보다 오래 벗어나는지에 대한 판단에 응답하여, 열화상 카메라로 문제점의 표시를 제공한다(112).

Description

열화상 카메라 상태 모니터링{THERMAL CAMERA HEALTH MONITORING}

본 발명은 열화상 카메라에 관한 것으로, 보다 상세하게는, 열화상 카메라와 관련된 다양한 종류의 문제점을 자동으로 검출하는 것에 관한 것이다.

열화상 카메라는 모니터링이 필요한 상황에 광범위하게 사용된다. 열화상 카메라는 깜깜한 어둠 속에서부터 태양광에 이르는 그 어떤 광(光) 조건에서도 기본적으로 작동할 수 있기 때문에, 전자기 스펙트럼의 가시 범위 내에서 작동하는 모니터링 카메라보다 열화상 카메라가 선호된다. 열화상 카메라는 그림자, 역광, 어둠 및 위장된 객체와 같은 다양한 광 조건에 덜 민감하다. 연기, 연무, 먼지 및 옅은 안개와 같이 관측이 어려운 기상 조건에서도, 열화상 카메라는 일반적으로 매우 좋은 성능을 보여준다. 또한, 칠흑 같은 어둠 속에서도 열화상 카메라는 투광 조명등을 필요로 하지 않기 때문에, 빛공해와 에너지 소비를 줄일 수도 있다.

열화상 카메라는 온도의 아주 작은 차이도 검출할 수 있어, 사람이 배경과 잘 섞이지 않게 만든다. 그러므로 열화상 카메라는 진한 그림자에 가려지거나 복잡한 배경으로 구분이 쉽지 않은 사람을 검출하는데 매우 좋다. 또한, 많은 다른 종류의 객체가 주변 환경과 다른 온도를 갖기 때문에 검출이 쉽다. 적어도 이 같은 이유들로, 열화상 카메라는 산업 현장 주변 보호, 공장 및 발전소와 같은 보안 관련 분야에 광범위하게 사용될 수 있다. 이 같은 검출 능력으로 인해, 열화상 카메라는 예를 들어, 검색 및 구조 작업 중 중요하게 취급된다.

일례로, 열화상 카메라로부터 나온 라이브(Live) 비디오는, 비주얼 카메라(Visual Camera)가 움직임을 검출하기 훨씬 이전에, 주차장에서 차들 사이를 걸어가는 사람에 대한 정보를 카메라 조작자에게 알릴 수 있다. 식별(Identification)에 관해서, 학교와 같이 프라이버시(Privacy)가 중요한 상황에서 열화상 카메라를 사용할 수 있다.

비주얼 카메라와 비교해, 열화상 카메라는 고대비 이미지와 동작 검출을 결합하여, 검출과 모양 인식에 있어 더 신뢰할 만하다. 이로 인해, 오경보가 줄어들고, 사람에 의한 불필요한 대응과 조치가 감소했다. 또한, 카메라는 열화상 정보를 이미지에 추가해, 건물에서 새나가는 열기를 찾거나 최근 시점에 차가 운행되었는지를 판단하는 것과 같이, 온도가 바뀔 때의 프로세스를 모니터링하고 비정상적인 행동을 검출할 수 있다.

일반적으로, 열화상 카메라에 의해 캡쳐된 비디오는 지속적으로 모니터링되지는 않는다. 그보다, 이벤트가 발생할 때에만 조작자에게 경보를 보내고 문제가 무엇인지 판단하여 적절한 조치를 취할 것이다. 이는, 열화상 카메라가 훼손되거나 우연히 방향이 틀어지는 경우, 또는 열화상 카메라가 더러워지는 경우, 상당 기간 이를 인지하지 못하고 다양한 보안 및 신뢰도 문제를 일으킬지 모른다는 의미이다. 카메라 조작자가 각각의 카메라의 "상태"를 충분히 정기적으로 확인하는 것이 현실적이지 않거나 가능하지 않을 때에, 특히, 많은 수(천여 개)의 모니터링 카메라를 포함하는 시스템에 관련이 있는 경우다. 적어도 이 같은 이유로, 열화상 카메라의 오작동을 검출하는 개선된 방법이 필요하다.

본 발명은 열화상 카메라로 문제점을 자동으로 검출하도록 하는 것을 목적으로 한다.

제1 태양에 따르면, 본 발명은 열화상 카메라로 문제점을 검출하는 컴퓨터 시스템 내의 방법에 관한 것이다. 상기 방법은:

● 열화상 카메라에 대한 현재 대조값(Contrast Value)을 결정하는 단계;

● 상기 현재 대조값이 기준 대조값으로부터 기설정된 값을 초과해 벗어나는지를 판단하는 단계; 및

● 상기 현재 대조값이 상기 기준 대조값으로부터 상기 기설정된 값을 초과해 기설정된 시간 동안 벗어나는지에 대한 판단에 응답하여, 상기 열화상 카메라로 문제점의 표시를 제공하는 단계를 포함한다.

이는 렌즈가 더러운지, 이미지 센서가 저하되었는지, 또는 기계적 셔터가 걸렸는지 등과 같은 문제점이 있는지를 열화상 카메라로 자동으로 검출하고 이 같은 문제를 사용자에게 경보하는 방식을 제공한다. 이는 지속적으로 모든 카메라를 수동으로 모니터링할 수 없는 대형 감시 카메라 시스템에서 특히 유용하다.

일 실시예에 따라, 상기 문제점은: 상기 열화상 카메라가 훼손되었음, 상기 열화상 카메라의 방향이 바뀌었음, 및 상기 열화상 카메라의 렌즈가 투과 손실을 유발하는 방식으로 영향 받음 중 하나일 수 있다. 즉, 여기 설명된 기술을 이용해 다른 종류의 문제점을 광범위하게 발견할 수 있다. 다시 말하면, 문제점은 개별 카메라에서 수동으로 검출하기 쉬울 수 있지만, 수백, 수천개의 카메라를 포함할 수 있는 대형 시스템에서는 미검출 카메라의 위험이 증가할 수 있으므로, 카메라 오작동을 검출하기 위한 신뢰할 만한 자동화 기술을 갖는 것이 중요하다.

일 실시예에 따라, 상기 기준 대조값 및 상기 현재 대조값은: 소벨(Sobel) 알고리즘, 라플라스(Laplace) 알고리즘, 마이컬슨 대조 알고리즘(Michelson Contrast Algorithm), 및 이미지 엔트로피 알고리즘 중 하나를 이용해 결정될 수 있다. 다양한 종류의 알고리즘은 특정 환경에서 더 유용하거나 덜 유용한 것으로 증명될 수 있으며, 다른 연산 자원을 필요로 할 수 있어, 당면한 특정 상황을 기초하여 알고리즘을 조정할 수 있다는 점에서 효율적으로 정확하게 문제점을 검출할 수 있게 한다.

일 실시예에 따라, 기준 대조값은: 동질한 배경의 온도와 다른 온도를 가지는 객체의 검출(Detection), 인지(Recognition), 식별(Identification) 중 하나 이상과 관련되는 존슨 기준(Johnson Criterion)을 기초로 한다.

일 실시예에 따라, 상기 기준 대조값은, 일정 기간 동안 측정된 대조값에 머신 러닝(Machine Learning) 프로세스를 적용하여 생성된다. 이로 인해, 고정값보다 시간 변화 기준 대조값이 사용되어, 시스템의 정확도가 획기적으로 개선될 수 있다.

일 실시예에 따라, 상기 방법은: 상기 현재 대조값이 상기 기준 대조값으로부터 상기 기설정된 값을 초과해 벗어나는지에 대한 초기 판단에 응답하여, 타이머를 시작하는 단계; 일정한 시간 간격으로, 상기 현재 대조값의 상기 판단 및 상기 현재 대조값이 상기 기준 대조값으로부터 벗어났는지에 대한 상기 판단을 반복하는 단계; 및 상기 타이머가 시작된 이후로 상기 현재 대조값이 상기 기준 대조값으로부터 상기 기설정된 값을 초과해 상기 기설정된 시간 동안 벗어난 상태를 유지하는지에 대한 검출에 응답하여, 상기 열화상 카메라에 관련된 문제점의 표시를 제공하는 단계를 포함할 수 있다. 즉, 타이머는 검출된 대조값과 이에 기설정된 대조값이 어떻게 관련되는지를 기초로 시작되고 리셋(Reset)될 수 있으며, 경보가 생성되어야 하는 시점을 정의하여 기설정된 기간이 설정될 수 있다. 대조값 측정에 결합된 타이머를 이용하는 것은, 문제가 발생했는지 또는 특정 이미지가 찍히는 시점에 그저 일시적 문제(예: 새가 날아가거나 카메라 렌즈를 일시적으로 덮는 잔해)가 있었는지를 판단하는 것과 관련해 쉽고 산술적으로 비용이 저렴한 방식이다. 물론, 짙은 안개나 상당한 강수량과 같은 기상 관련 이벤트가 있을 수 있으며, 이로 인해 카메라에는 아무 문제 없지만 대조값이 특정 임계치 아래로 떨어질 수 있다.

일 실시예에 따라, 상기 일정한 시간 간격의 범위는 약 1일 내지 3일이다. 일반적으로, 열화상 카메라는 매우 빨리 상태가 나빠지지 않으므로, 일반적으로 이 정도 주기로 측정하는 것만으로 충분하다. 하지만, 다시 말하면, 이는 당면한 특정 상황에 따라 다르다. 예를 들어, 기물을 파손할 가능성이 있는 사람이 카메라에 접근 가능한 경우, 또는 새가 많은 곳에 카메라가 설치된 경우는, 카메라가 안정적인 위치에 있으며 접근이 쉽지 않은 곳에 있는 것보다 짧은 주기로 설정하는 것이 유용할 것이다.

제2 태양에 따르면, 본 발명은 열화상 카메라로 문제점을 검출하는 시스템에 관한 것이다. 상기 시스템은 메모리 및 프로세서를 포함한다.

상기 메모리는, 상기 프로세서에 의해 실행될 때 상기 프로세서로 하여금:

● 상기 열화상 카메라에 대한 현재 대조값을 결정하는 프로세스;

● 상기 현재 대조값이 기준 대조값으로부터 기설정된 값을 초과해 벗어나는지를 판단하는 프로세스;

● 상기 현재 대조값이 상기 기준 대조값으로부터 상기 기설정된 값을 초과해 벗어나는지에 대한 판단에 응답하여, 상기 열화상 카메라로 문제점의 표시를 제공하는 프로세스를 포함하는 방법을 수행하도록 하는 인스트럭션(Instruction)을 포함한다.

상기 시스템의 장점은 상기 방법의 장점에 대응하고 유사하게 다를 수 있다.

제3 태양에 따르면, 본 발명은 앞서 설명된 바와 같이 열화상 카메라로 문제점을 검출하는 시스템을 포함하는 열화상 카메라에 관한 것이다. 카메라의 장점은 상기 시스템의 장점에 대응하고 유사하게 다를 수 있다.

제4 태양에 따르면, 본 발명은 프로그램 인스트럭션이 내재된 비일시적(Non-transitory) 컴퓨터 판독 가능 저장 매체에 관한 것이다. 상기 프로그램 인스트럭션은:

● 상기 열화상 카메라에 대한 현재 대조값을 결정하는 단계;

● 상기 현재 대조값이 기준 대조값으로부터 기설정된 값을 초과해 벗어나는지를 판단하는 단계;

● 타이머가 시작된 이후로 상기 현재 대조값이 상기 기준 대조값으로부터 상기 기설정된 값을 초과해 기설정된 시간 동안 벗어나는지에 대한 판단에 응답하여, 상기 열화상 카메라로 문제점의 표시를 제공하는 단계에 대응하는 인스트럭션을 포함한다.

상기 컴퓨터 프로그램의 장점은 상기 방법의 장점에 대응하고 유사하게 다를 수 있다.

본 발명의 하나 이상의 실시예의 상세 설명은 첨부된 도면과 아래 상세한 설명에 명시된다. 본 발명의 다른 특징과 장점은 상세 설명, 도면 및 청구항을 통해 명백히 드러날 것이다.

본 발명은 열화상 카메라로 문제점을 자동으로 검출하도록 하는 효과가 있다.

도 1은 일 실시예에 따라 열화상 카메라로 문제점을 검출하는 프로세스를 나타내는 흐름도이다.
도 2는 일 실시예에 따라 시간 변화 기설정된 대조값 및 실제 대조값 측정을 보여주는 개략도이다.
다양한 도면에서 유사한 참조 기호는 유사한 요소를 나타낸다.

상기 설명된 바와 같이, 본 발명의 다양한 실시예의 하나의 목표는 열화상 카메라로 문제점을 자동으로 검출하도록 하는 것이다. 일반적인 수준에서 본 발명의 다양한 실시예는 다음과 같이 작용한다.

열화상 카메라에 의해 캡쳐된 이미지 내의 대조값(즉, 이미지의 최고밝기 부분과 최저밝기 부분 사이의 차이 정도)은 시간 경과에 따라 측정되고, 올바르게 설치되어 올바르게 작동하는 열화상 카메라를 나타내는 대조값 임계치와 비교된다. 캡쳐된 이미지의 대조값이 대조값 임계치 아래로 떨어지고 기설정된 시간 동안 대조값 임계치 아래에 있는 경우, 이는 열화상 카메라가 훼손되었거나 일종의 저하 과정을 겪고 있는 것을 나타낼 수 있으며, 조작자가 예상 문제점을 더 조사하라는 경보를 받을 수 있다. 이제부터 본 발명의 다양한 실시예에 대해 도면을 참조하고 예시를 제시하는 방식으로 더 자세히 설명할 것이다. 하지만, 먼저 열화상 카메라에 대한 간략한 설명을 하고자 한다.

전자기 스펙트럼의 가시 범위 내에서 작동하는 종래의 네트워크 카메라 및 열화상 네트워크 카메라는 많은 양태에 있어 비슷하다. 예를 들면, 다양한 환경 및 상황에서 사용하기 위한 다양한 폼 팩터(Form Factor)의 가용성, 압축 및 네트워킹 기능 등이 비슷하다. 하지만, 이 둘은 렌즈와 센서로 실질적으로 다르다.

일반 유리는 열 복사를 차단하기 때문에, 일반 유리 기초 광학 및 렌즈는 열화상 카메라에 사용될 수 없다. 현재, 게르마늄은 열화상 카메라 광학용 재료로 가장 널리 쓰인다. 게르마늄은 주석 및 실리콘과 화학적으로 유사한 고가의 준금속으로, 적외선은 통과시키지만 가시광선을 차단한다. 순수 게르마늄을 이용하는 것에 대한 대안도 있다. 예를 들면, 일부 렌즈는 칼코겐화 유리(Chalcogenide Glass)로 불리는 게르마늄 기초 물질로 만들어지며, 이로써 적외선이 통과할 수 있는 스펙트럼이 더 넓어진다.

열화상 카메라 내의 센서는 열적외선 복사에 민감한 수천 개의 검출기의 집합체이다. 열화상 이미징(Imaging)에 사용되는 검출기는 두 종류로 냉각식 및 비냉각식(Uncooled) 적외선 센서로 크게 나뉠 수 있다. 비냉각식 적외선 이미지 센서는 더 작고, 더 작은 수의 이동부로 설치되어, 냉각식보다 비용이 적게 든다. 냉각식 센서가 있는 카메라는 일반적으로 점검받아야 하며, 8,000-1만 시간마다 냉매를 리필(Refill)해야 했다. 대부분 상업적으로 사용 가능한 열화상 카메라는 비냉각식 적외선 센서를 사용하므로, 여기 나온 설명은 그 같은 센서를 지칭할 것이다. 하지만, 본 발명의 다양한 실시예에 따른 기술은 냉각식 센서가 있는 카메라에도 적용될 수 있으며, 청구항을 비냉각식 센서가 있는 열화상 카메라로만 제한되게 해석되어서는 안 된다는 점에 유의해야 한다.

비냉각식 센서는 일반적으로 장파장 적외선(Long-wave Infrared) 대역(약 8-15마이크로미터 파장)에서 작동하며, 고유한 장점을 제공할 수 있는 모든 다양한 소재를 기초할 수 있다. 보통 디자인은 마이크로볼로미터(Microbolometer) 기술을 기초로 하며, 이는 종래의 기술을 아는 사람에게 익히 알려져 있다. 마이크로볼로미터들은 일반적으로 픽셀의 배열을 구성하며, 각각은 입사 적외선 복사를 흡수할 때 전기 저항률이 변하는 열 감지(Thermo-sensing) 물질을 포함하는 마이크로볼로미터로부터 구성된다. 적외선 흡수 물질은 전극에 의해 판독 회로에 연결되고, 반사 장치(Reflector)는, 흡수 물질을 통과하는 적외선 복사가 반사되도록, 적외선 흡수 물질 내부에 배열된다. 픽셀의 열 흡수 특성에 대한 대류의 영향력을 줄이기 위해, 마이크로볼로미터는 진공 상태로 캡슐화된다. 게터(Getter) 물질은, 마이크로볼로미터 내부에 방출된 가스 분자와 반응하거나 가스 분자를 흡수하도록, 마이크로볼로미터 내에 증착되어, 진공 상태의 지속 시간을 연장시킬 수 있다. 마이크로볼로미터 상의 적외선 방사 입사는 적외선 흡수 물질의 저항력을 변화시키고, 상기 변화는 처리를 위해 판독 회로로 전달된다. 저항력의 변화는 적외선 방사가 시작된 곳의 캡쳐된 일부 장면의 온도로 바뀐다.

종래의 네트워크 카메라용 해상도보다 열화상 카메라용 해상도가 일반적으로 더 낮다. 이는 대부분 열화상 이미징과 연관된 센서 기술이 더 비싸기 때문이다. 픽셀이 더 크면, 센서 사이즈 및 재료 가격과 생산 가격에 영향을 준다. 현재, 열화상 카메라의 일반적인 해상도는 160Х120 내지 고해상도 640Х480(VGA)의 범위지만, 더 높거나 더 낮은 해상도도 가능하다.

열화상 카메라의 해상도는 객체를 검출할 수 있는 능력과도 연결된다. 객체를 검출하는데 필요한 해상도는 픽셀로 표시되며, 존슨 기준(Johnson Criterion)이라 불리는 방식으로 결정된다. 이 같은 기준은 관찰자가 특정 수준에서 객체를 구분할 50%의 확률을 제공하며, 열화상 센서의 경우, 객체와 배경 사이의 온도 차이가 적어도 2℃(3.6℉)여야 한다. 일 구현에서, 열화상 네트워크 카메라에 사용되는 존슨 기준의 수준은 다음과 같다:

● 검출(즉, 관찰자가 객체가 있음을 볼 수 있음)에 적어도 1.5 픽셀이 필요하다.

● 인지(즉, 관찰자가 객체, 펜스 앞의 사람을 구분할 수 있음)에 적어도 6 픽셀가 필요하다.

● 식별(즉, 관찰자가 객체 및 객체의 특징, 가령 손에 크로바(Crowbar)를 든 사람을 구분할 수 있음)에 적어도 12 픽셀이 필요하다.

존슨 기준은 가시 정보가 관찰자에 의해 처리될 수 있다는 가정하에 개발되었다. 그 대신, 정보가 적용 알고리즘에 의해 처리되는 경우, 신뢰할 만한 동작을 위해 타겟 상에 필요로 되는 픽셀의 대략적인 수에 관한 구체적인 요건이 있을 것이다. 모든 비디오 분석 소프트웨어 알고리즘은 픽셀의 특정 수치로 작동되어야 하지만, 픽셀의 구체적인 수치는 다양할 수 있다. 인간 관찰자가 객체를 검출할 수 있는 경우에도, 적용 알고리즘은 종종 제대로 작동하기 위해 주어진 검출 범위에서 많은 수의 픽셀을 필요로 한다.

기준과 유사한 타입이 이미지용 기준 대조를 결정하는데 사용될 수 있으며, 이에 대한 측정된 대조값과 비교될 수 있다. 일 실시예에 따라, 열화상 카메라로 문제점을 검출하는 방법(100)의 흐름도가 도 1에 나타나며, 이를 참조해 보다 자세히 논의하기로 한다. 도 1에 보이는 것과 같이, 상기 방법(100)은 열화상 카메라에 의해 캡쳐된 현재 이미지에 대한 대조값을 결정하는 단계(102)로 시작된다. 대조값은 종래의 기술에 익숙한 여러 방식으로 결정될 수 있다. 각각의 장점과 단점에 따른 몇 가지 예시가 여기에 주어질 것이다. 당면한 특정 환경을 기초로 다양한 방법을 사용하는 것이 더 좋거나 나쁠 수 있으며, 어떤 조건에서 어떤 특정 알고리즘을 사용할 것인지는 통상의 기술자가 선택할 수 있음을 이해해야 한다.

대조값을 결정하는 하나의 방법으로 마이컬슨 대조(Michelson Contrast)을 사용하며, 이는 이미지 내의 대조값에 대한 글로벌(Global) 측정이다. 마이컬슨 대조 기능은 이미지 내의 날카로운 에지(Edge)와 같은 모든 피쳐(Feature)를 잡아내지는 못하는 대신, 이미지 내의 최소 및 최대 픽셀값에만 작용한다. 이미지 내의 최대 및 최소 픽셀값의 차이가 더 크면, 상기 기능의 출력도 더 커진다.

대조값을 결정하는 다른 방법은 RMS(Root Mean Square: 제곱 평균 제곱근) 대조를 사용하는 것으로, 이미지의 제곱 평균 제곱근을 대조용 정의값(Definition)으로서 이용한다. RMS 공식은 픽셀값만 고려하는 것이 아니라, 이미지의 너비와 높이도 고려한다. 이 같은 측정 방식 또한 글로벌 측정이지만, 이미지 내의 최대 및 최소 픽셀값보다 더 많은 픽셀을 고려한다. 픽셀 중 큰 픽셀값 분산은 대조를 높이는데 기여한다.

대조값을 결정하는 또 다른 방법은 소벨(Sobel) 필터를 이용하는 것이다. 소벨 필터는 대조값 측정보다는 에지 검출 알고리즘으로서 일반적으로 사용되는 측정 방법이다. 이미지 상에 2 개의 분리된 컨볼루션 커널(Convolution Kernel)을 스위핑(Sweeping)함으로써 작동하며, 하나의 컨볼루션 커널은 x축을 따라 에지를 검출하기 위한 것이고 다른 하나의 컨볼루션 커널은 y축을 따라 에지를 검출하기 위한 것이다. 소벨 연산자가 이미지 내의 날카로운 에지를 잘 검출하기 때문에, 이미지에 날카로운 에지가 있을 때 측정된 대조값이 대조가 크다고 인식될 수 있다. 렌즈의 포커스가 벗어난 이미지 샘플에는 이미지 내에 날카로운 에지가 없기 때문에, 이는 이미지 샘플을 찾는데 유용하다.

소벨 알고리즘의 출력은 전체 이미지로, 소벨 필터링 후에 이미지를 단일 값으로 매핑(Mapping)하는 소정 프로세스가 이어져야 하며, 이 단일 값은 이후 비교 목적으로 사용될 수 있다. 이는 여러 방식으로 수행될 수 있다. 대조값을 측정하는 간단한 방법 중 하나는 출력 소벨 이미지 내의 최대값을 선택하는 것이다. 이 방법은 연산에 소요되는 비용이 저렴하다. 하지만, 이미지 내의 단일의 날카로운 에지는 대조가 큰 이미지로 분류되기 충분할 테지만, 이것이 항상 이상적이지 않을 수 있다. 다른 방식은 모든 픽셀을 고려해 측정하고 소벨 이미지 내의 픽셀이 0으로부터 얼마나 벗어나는지를 기초로 대조값을 측정하는 방식이다. 또 다른 방식은 소벨값을 단일 대조 측정값까지 낮추는 것으로, 출력 이미지의 평균을 이용하는 것이다. 이는 모든 픽셀을 고려하고, 모든 에지의 개수와 예리함이 출력값에 기여하도록 한다. 이것들은 그저 몇 가지의 대표적인 기술일 뿐이며, 통상의 기술자의 능력 내에서 다른 다양한 변형이 가능하다는 점에 유의해야 한다.

대조를 결정한 후, 대조값이 기준 대조값으로부터 기설정된 대조값을 초과해 벗어났는지 여부를 판단하는 단계(104)가 수행된다. 일부 구현에서, 기설정된 대조값은 상기 논의된 바와 같이 존슨 기준을 기초로 결정된 고정값일 수 있다. 즉, 검출을 위한 하나의 기설정된 대조값이 있을 수 있고, 인식을 위한 다른 대조값이 있을 수 있으며, 식별을 위한 또 다른 대조값이 있을 수 있고, 특정 상황을 기초로, 특정 기설정된 대조값이 사용될 수 있다.

일부 구현에서, 기설정된 대조값은 존슨 기준을 이용해 결정되지 않을 수 있다. 대신, 이는 카메라의 셋업(Setup) 동안, 예를 들면, 동질한 배경으로부터 사람 또는 객체 각각을 검출, 인지, 식별하기 위해 필요한 기설정된 대조값을 측정하고 상기 측정된 값을 기설정된 대조값으로 이용함으로써, 실험적으로 결정될 수 있다.

또 다른 구현에서, 조작자가 시각적으로 장면이 너무 "흐릿"하거나 화질이 너무 낮다고 여길 때까지, 초점을 이탈시키거나 모니터링된 장면의 화질을 저하시킴으로써 기설정된 대조값을 시뮬레이션(Simulate)한 후, 이 같은 시뮬레이션을 기초로 기설정된 대조값을 이용할 수 있다.

기설정된 대조값은 시간(예: 하루 중 특정 시간, 일년 중 특정 시기 등 및 날씨)을 기초로 다양하게 변할 수 있다는 점에 유의해야 한다. 이 같은 시간 변수 값은, 예를 들면, 일정 기간 동안 대조값을 측정하고, 주어진 환경 설정에 대해 "정상" 대조값이 무엇인지를 정의하는 머신 러닝(Machine Learning) 알고리즘을 이용함으로써 결정된 후, 이"정상값"을 대조 기준값으로 이용할 수 있다. 도 2는 실제 대조값 측정(상부 곡선)이 시간에 따라 어떻게 변하는지를 개략적으로 보여준다. 이 같은 측정값은 시간이 흐름에 따라 예측되는 변형을 나타내는 곡선(중간 곡선)으로 보간될 수 있다. 마지막으로, 기설정된 대조값의 변화는, 예를 들면, 보간된 곡선 값들의 80%로서(아래쪽의 점선 곡선) 설정될 수 있고, 이는 어떤 시기에서건 기설정된 임계값으로 사용될 수 있다.

측정된 대조값이 수용 가능한 범위 내로 들어오면, 타이머가 리셋되는 단계(106)로 진행하고, 프로세스는 다시 단계(102)로 돌아가 다른 이미지에 대한 대조값을 상기 설명한 대로 계속 측정한다. 대조값 측정이 일어나는 빈도는 다양할 수 있지만, 일부 구현에서 대조값 측정은 일반적으로 약 10분마다 이루어진다.

하지만, 측정된 대조값이 수용 가능한 범위 밖으로 나가면, 타이머를 판독하는 단계(108)로 진행하고, 타이머값을 검사해 타이머가 단계(110)에서 만료되었는지를 확인한다. 타이머가 만료되지 않았다면, 프로세스는 상기에 설명한 바와 같이 다시 단계(102)로 돌아간다. 이것이 효율적으로 의미하는 바는, 측정된 이미지의 대조값이 기설정된 대조값 아래로 처음 내려갈 때에 이것이 발생한 시점을 특정한다는 것이다. 이후, 새로운 이미지에 대한 대조값이 결정되면, 이 같은 대조값(또는 적어도 이 중 상당 부분)은 임계값 이하로 유지되기 때문에, 상기 방법은 얼마나 이것이 지속되었는지를 계속 추적한다. 특정 시간이 흐르고(즉, 타이머가 만료될 때) 대조값이 계속 임계값 미만일 때, 경보가 생성되는 단계(112)가 진행된 후 프로세스가 끝난다. 타이머의 만료 시간은 사용자에 의해 결정될 수 있지만, 일반적으로 외부 환경에 설치된 카메라용으로는 1일 내지 3일의 범위로 설정되며, 내부 환경에 설치된 카메라의 경우 보통 더 짧게 설정된다. 하지만, 이 같은 값들은 주어진 환경에 매우 의존적이며, 대부분 상황에서 카메라 조작자에 의해 당면한 특정 상황에 맞게 조정되어야 한다는 점에 유의해야 한다.

단계(112)에서 생성된 경보는, 예를 들면 열화상 카메라가 일부 문제에 시달리고 있으며 수동으로 검사될 필요가 있다고 카메라 조작자에게 알려 주는 경보이거나, 일종의 테스트 시퀀스를 카메라 상에 실행하도록 카메라 유지보수팀에게 주는 경보이거나, 문제가 해결될 때까지 동일한 장면을 커버하는 다른 카메라로 전환하라는 인스트럭션일 수 있다. 통상의 기술자들은 이에 대해 다양한 변형을 구상할 수 있다. 경보는 여러 가능한 방식(예: 비디오 관리 시스템 내의 스크린 메시지 표시, 조작자 핸드폰으로 문자 전송 또는 통제실 내 스피커를 통한 음성 메시지)으로 조작자에게 나타날 수 있다.

통상의 기술자가 인정한 바와 같이, 본 발명의 양태는 시스템, 방법 또는 컴퓨터 프로그램 제품으로 구현될 수 있다. 따라서, 본 발명의 양태는, 전체 하드웨어 실시예, 전체 소프트웨어 실시예(펌웨어, 설치된 소프트웨어, 마이크로코드 등) 또는 여기에 일반적으로 "회로", "모듈" 또는 "시스템"으로 지칭되는 모든 소프트웨어 및 하드웨어의 양태를 결합한 실시예의 형태를 취할 수 있다. 게다가, 본 발명의 양태는, 내장된 컴퓨터 판독 가능 프로그램 코드를 가지는 하나 이상의 컴퓨터 판독 가능 매체 내에 내장된 컴퓨터 프로그램 제품의 형태를 취할 수 있다.

하나 이상의 컴퓨터 판독 가능 매체의 어떤 조합도 사용할 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 신호 매체 또는 컴퓨터 판독 가능 저장 매체일 수 있다. 컴퓨터 판독 가능 저장 매체는, 예를 들면, 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 기기 또는 장치, 또는 이들의 적절한 모든 결합 형태일 수 있지만, 이에 제한되지 않는다. 컴퓨터 판독 가능 저장 매체의 보다 구체적인 예(비전면 목록: Non-exhaustive List)는: 하나 이상의 전선을 포함하는 전기 접속부, 휴대용 컴퓨터 디스켓, 하드 디스크, RAM(Random Access Memory), ROM(Read-Only Memory), EPROM(Erasable Programmable Read-Only Memory) 또는 플래시 메모리(Flash Memory), 광섬유, 휴대용 CD-ROM(Compact Disc Read-Only Memory), 광기억 장치(Optical Storage Device), 자기 저장 장치 또는 이의 적절한 모든 결합 형태를 포함할 수 있다. 본원의 맥락에서, 컴퓨터 판독 가능 저장 매체는 인스트럭션 실행 시스템, 기기 또는 장치와 연결되거나/에 의해 사용되기 위한 프로그램을 포함 또는 저장할 수 있는 모든 유형의 매체일 수 있다.

컴퓨터 판독 가능 신호 매체는, 예를 들면, 베이스밴드(Baseband)나 반송파(Carrier Wave)의 일부에 내장된 컴퓨터 판독 가능 프로그램 코드를 가지는 전파 데이터 신호를 포함할 수 있다. 이 같은 전파 신호는 모든 종류의 다양한 형태를 취할 수 있으며, 예를 들면, 전자기, 광학 또는 이의 적절한 모든 결합 형태를 포함하지만, 이에 제한되는 것은 아니다. 컴퓨터 판독 가능 신호 매체는, 컴퓨터 판독 가능 저장 매체가 아니지만, 인스트럭션 실행 시스템, 기기 또는 장치와 연결되거나/에 의해 사용되기 위한 프로그램을 커뮤니케이션, 전파 또는 전송할 수 있는 모든 컴퓨터 매체일 수 있다.

컴퓨터 판독 가능 매체에 내장된 프로그램 코드는, 무선, 와이어라인(Wireline), 광섬유 케이블, RF 등 또는 이의 적절한 모든 결합 형태를 포함하는 모든 적합한 매체를 이용해 전송될 수 있지만, 이에 제한되는 것은 아니다. 본 발명의 양태에 대한 작업을 수행하기 위한 컴퓨터 프로그램 코드는, 자바(Java), 스몰토크(Smalltalk), C++와 같은 객체 지향 프로그래밍 언어 또는 이와 유사한 것, 및 "C"프로그래밍 언어 또는 유사한 프로그래밍 언어와 같은 종래의 절차식 프로그래밍 언어를 포함하는, 하나 이상의 프로그램 언어의 모든 결합 형태로 작성될 수 있다. 프로그램 코드는, 사용자의 컴퓨터 전체 또는 일부에서 독립형 소프트웨어 패키지로 실행되거나, 원격 컴퓨터에서 부분적으로 및 원격 컴퓨터에서 부분적으로 또는 원격 컴퓨터 또는 서버에서 전체적으로 실행될 수 있다. 후자의 시나리오에서, 원격 컴퓨터는, LAN(Local Area Network) 또는 WAN(Wide Area Network)을 포함해, 모든 종류의 네트워크 형태를 통해 사용자의 컴퓨터에 연결될 수 있거나 외부 컴퓨터로 (예를 들면, 인터넷 서비스 공급자를 이용한 인터넷을 통해) 연결될 수 있다.

본 발명의 양태는 본 발명의 실시예에 따라 방법, 기기(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조해 설명된다. 흐름도 및/또는 블록도의 각각의 블록, 및 흐름도 및/또는 블록도 내의 블록들의 결합은 컴퓨터 프로그램 인스트럭션에 의해 실행될 수 있다. 이 같은 컴퓨터 프로그램 인스트럭션은 일반 목적 컴퓨터, 특수 목적 컴퓨터 또는 기계를 생산하는 다른 프로그래밍 가능한 데이터 처리 기기의 프로세서에 제공되어, 컴퓨터 또는 다른 프로그래밍 가능한 데이터 처리 기기를 통해 실행하는 인스트럭션은, 흐름도 및/또는 블록도의 블록에 설명된 기능/동작을 실행하기 위한 수단을 생성하게 된다.

또한, 이 같은 컴퓨터 프로그램 인스트럭션은, 컴퓨터, 다른 프로그래밍 가능한 데이터 처리 기기 또는 다른 장치를 특정 방식으로 기능에 바로 연결할 수 있는, 컴퓨터 판독 가능 매체에 저장될 수 있어, 컴퓨터 판독 가능 매체에 저장된 인스트럭션은 흐름도 및/또는 블록도의 블록에 설명된 기능/동작을 실행하는 인스트럭션을 포함해 제조 물품을 생산한다.

또한, 컴퓨터 프로그램 인스트럭션은, 컴퓨터, 다른 프로그래밍 가능한 데이터 처리 기기 또는 다른 장치에 탑재되어 컴퓨터, 다른 프로그래밍 가능한 데이터 처리 기기 또는 다른 장치에서 수행되는 일련의 작업 단계를 수행함으로써 컴퓨터 구현 프로세스를 생산하여, 컴퓨터, 다른 프로그래밍 가능한 데이터 처리 기기 또는 다른 장치에서 실행되는 인스트럭션이 흐름도 및/또는 블록도의 블록에 설명된 기능/동작을 실행하기 위한 프로세스를 제공하게 된다.

도면 내의 흐름도 및 블록도는 본 발명의 다양한 실시예에 따라 시스템, 방법 및 컴퓨터 프로그램 제품의 실현 가능한 실시예의 아키텍쳐(Architecture), 기능, 작업을 도시한다. 이와 관련하여, 흐름도 또는 블록도 내의 각각의 블록은, 모듈, 세그먼트(Segment) 또는 인스트럭션의 일부를 나타낼 수 있으며, 이는 설명된 논리 함수를 수행하기 위해 실행 가능한 인스트럭션을 하나 이상 포함한다. 일부 대안적 실시예에서, 블록도에 표시된 기능은 도면에 나타난 순서와 다르게 일어날 수 있다. 예를 들어, 연속적으로 나타난 2개의 블록은 사실 실질적으로 동시에 실행될 수 있거나, 때때로 관련 기능에 따라 반대의 순서로 블록이 실행될 수도 있다. 블록도 및/또는 흐름도의 각각의 블록 및 블록도 및/또는 흐름도의 블록의 결합은, 특정 기능을 수행하거나 특수 목적 하드웨어 및 컴퓨터 인스트럭션의 결합을 작업 또는 수행하는 특수 목적 하드웨어 기반 시스템에 의해 실행될 수 있다는 점에 유의해야 한다.

본 발명의 다양한 실시예에 대한 설명을 목적으로 도면이 제시되었지만, 개시된 실시예에 본 발명이 한정되거나 배타적인 것은 아니다. 설명된 실시예의 범위와 정신을 벗어나지 않는 범위 내에서 다양한 변형과 수정이 있을 수 있음이 통상의 기술자에게 명백히 드러날 것이다. 그러므로 청구항 범위 내의 다양한 다른 변형은 통상의 기술자가 충분히 구상할 수 있다.

여기 사용된 용어는 실시예의 원리, 실제 적용 또는 시장에서 발견된 기술에 대한 기술적 개선을 잘 설명하기 위하여, 또는 개시된 실시예를 이해하는 통상의 기술자가 이해할 수 있도록 선택되었다.

Claims

열화상 카메라로 문제점을 검출하는 방법에 있어서, 상기 방법은:
상기 열화상 카메라에 대한 현재 대조값(Contrast Value)을 결정하는 단계;
상기 현재 대조값이 기준 대조값으로부터 기설정된 값을 초과해 벗어나는지를 판단하는 단계;
상기 현재 대조값이 상기 기준 대조값으로부터 상기 기설정된 값을 초과해 벗어나는지에 대한 판단에 응답하여, 타이머를 시작하는 단계; 및
상기 타이머가 시작된 이후로 상기 현재 대조값이 상기 기준 대조값으로부터 상기 기설정된 값을 초과해 기설정된 시간 동안 벗어나는지에 대한 판단에 응답하여, 상기 열화상 카메라로 문제점의 표시를 제공하는 단계
를 포함하는 방법.
제1항에 있어서,
상기 문제점은: 상기 열화상 카메라가 훼손되었음, 상기 열화상 카메라의 방향이 바뀌었음, 및 상기 열화상 카메라의 렌즈가 투과 손실을 유발하는 방식으로 영향 받음 중 하나인 방법.
제1항에 있어서,
상기 기준 대조값 및 상기 현재 대조값은: 소벨(Sobel) 알고리즘을 상기 열화상 카메라에 의해 캡쳐된 이미지에 적용함으로써 생성된 소벨 이미지를 대표하는 대조값, 상기 열화상 카메라에 의해 캡쳐된 상기 이미지에 적용된 마이컬슨 대조 알고리즘(Michelson Contrast Algorithm), 및 상기 열화상 카메라에 의해 캡쳐된 상기 이미지에 적용된 이미지 엔트로피 알고리즘 중 하나를 이용해 결정되는 방법.
제1항에 있어서,
상기 기설정된 값은: 동질한 배경의 온도와 적어도 2℃만큼 다른 온도를 가지는 객체의 검출(Detection), 인지(Recognition), 식별(Identification) 중 하나 이상과 관련되는 존슨 기준(Johnson Criterion)을 기초로 하고, 적어도 1.5 픽셀이 상기 객체의 검출에 사용되고, 적어도 6 픽셀이 상기 객체의 인지에 사용되며, 적어도 12 픽셀이 상기 객체의 식별에 사용되는 방법.
제1항에 있어서,
상기 기준 대조값은, 일정 기간 동안 측정된 대조값에 머신 러닝(Machine Learning) 프로세스를 적용하여 생성되는 방법.
제1항에 있어서,
상기 문제점의 표시를 제공하는 단계는:
상기 현재 대조값이 상기 기준 대조값으로부터 상기 기설정된 값을 초과해 벗어나는지에 대한 초기 판단에 응답하여, 타이머를 시작하는 단계; 및
일정한 시간 간격으로, 상기 현재 대조값의 상기 판단 및 상기 현재 대조값이 상기 기준 대조값으로부터 벗어났는지에 대한 상기 판단을 반복하는 단계; 및
상기 타이머가 시작된 이후로 상기 현재 대조값이 상기 기준 대조값으로부터 상기 기설정된 값을 초과해 상기 기설정된 시간 동안 벗어난 상태를 유지하는지에 대한 검출에 응답하여, 상기 열화상 카메라에 관련된 문제점의 표시를 제공하는 단계
를 더 포함하는 방법.
제6항에 있어서,
상기 일정한 시간 간격의 범위는 1일 내지 3일인 방법.
열화상 카메라로 문제점을 검출하는 시스템에 있어서, 상기 시스템은:
메모리; 및
프로세서를 포함하되,
상기 메모리는, 상기 프로세서에 의해 실행될 때 상기 프로세서로 하여금:
상기 열화상 카메라에 대한 현재 대조값(Contrast Value)을 결정하는 프로세스;
상기 현재 대조값이 기준 대조값으로부터 기설정된 값을 초과해 벗어나는지를 판단하는 프로세스;
상기 현재 대조값이 상기 기준 대조값으로부터 상기 기설정된 값을 초과해 벗어나는지에 대한 판단에 응답하여, 타이머를 시작하는 프로세스; 및
상기 타이머가 시작된 이후로 상기 현재 대조값이 상기 기준 대조값으로부터 상기 기설정된 값을 초과해 기설정된 시간 동안 벗어나는지에 대한 판단에 응답하여, 상기 열화상 카메라로 문제점의 표시를 제공하는 프로세스
를 포함하는 방법을 수행하도록 하는 인스트럭션(Instruction)을 포함하는 시스템.
제8항에 설명된 시스템을 포함하는 열화상 카메라.
프로그램 인스트럭션이 내재된 비일시적(Non-transitory) 컴퓨터 판독 가능 저장 매체에 있어서, 상기 프로그램 인스트럭션은 열화상 카메라로 문제점을 검출하는 방법을 수행하는 프로세서에 의해 수행될 수 있으며, 상기 수행하는 방법은:
상기 열화상 카메라에 대한 현재 대조값(Contrast Value)을 결정하는 단계;
상기 현재 대조값이 기준 대조값으로부터 기설정된 값을 초과해 벗어나는지를 판단하는 단계;
상기 현재 대조값이 상기 기준 대조값으로부터 상기 기설정된 값을 초과해 벗어나는지에 대한 판단에 응답하여, 타이머를 시작하는 단계; 및
타이머가 시작된 이후로 상기 현재 대조값이 상기 기준 대조값으로부터 상기 기설정된 값을 초과해 기설정된 시간 동안 벗어나는지에 대한 판단에 응답하여, 상기 열화상 카메라로 문제점의 표시를 제공하는 단계;
를 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.