KR102085168B1 - 인체추적 기반 위험지역 안전관리 방법 및 장치 - Google Patents
인체추적 기반 위험지역 안전관리 방법 및 장치 Download PDFInfo
- Publication number
- KR102085168B1 KR102085168B1 KR1020180128755A KR20180128755A KR102085168B1 KR 102085168 B1 KR102085168 B1 KR 102085168B1 KR 1020180128755 A KR1020180128755 A KR 1020180128755A KR 20180128755 A KR20180128755 A KR 20180128755A KR 102085168 B1 KR102085168 B1 KR 102085168B1
- Authority
- KR
- South Korea
- Prior art keywords
- real image
- temperature distribution
- image
- thermal image
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims description 18
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 29
- 238000004458 analytical method Methods 0.000 claims abstract description 4
- 238000007726 management method Methods 0.000 claims description 58
- 238000001514 detection method Methods 0.000 claims description 47
- 230000008859 change Effects 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 231100001261 hazardous Toxicity 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- 208000031636 Body Temperature Changes Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013021 overheating Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/1961—Movement detection not involving frame subtraction, e.g. motion detection on the basis of luminance changes in the image
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19639—Details of the system layout
- G08B13/19641—Multiple cameras having overlapping views on a single scene
- G08B13/19643—Multiple cameras having overlapping views on a single scene wherein the cameras play different roles, e.g. different resolution, different camera type, master-slave camera
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
Abstract
본 발명은, 카메라를 통해 실영상 및 열화상을 획득하는 단계; 상기 실영상을 이용하여 대상체의 움직임을 검출하고, 상기 열화상을 이용하여 대상체의 온도 분포를 검출하는 단계; 상기 실영상에 의한 움직임 정보와 상기 열화상에 의한 온도 분포 정보를 이용하여 관심영역의 존재를 확인하는 단계; 및 인공 지능을 이용한 상기 관심영역의 분석을 통해 위험상황의 존재를 확인하는 단계를 포함하는, 위험지역 안전관리 장치를 개시한다. 본 발명에 따르면, 위험상황을 실영상 및 열화상을 이용하고, 움직임과 온도분포에 기반하여 대상체를 검출함으로써 연산량과 오차율을 줄일 수 있다.
Description
본 발명은 안전관리 방법 및 장치에 관한 것으로, 더욱 상세하게는 인체추적에 기반하여 안전사고 발생을 미리 예측해서 방지함으로써 위험지역에서 안전을 관리하는 방법 및 장치에 관한 것이다.
컴퓨팅 자원의 발달로 다양한 분야에서 인공지능 연구가 활발히 진행되고 있다. 과거에는 상상하지 못한 많은 양의 데이터를 미리 학습시키고, 학습된 결과를 이용하여 빠르고 정확한 예측/판단이 가능한 시스템이 산업 현장뿐만 아니라 일상 생활에서도 쉽게 접할 수 있게 되었다.
그러나 이렇게 만능인 것처럼 보이는 인공지능 시스템의 경우 실제로는 시스템 내부에서 엄청난 양의 데이터 연산 및 처리가 이루어져야만 가능하고, 이는 시스템을 구성하는 장비의 고도화 다시 말해 많은 비용 투자가 있어야 함을 의미한다.
카메라 영상을 이용한 영상처리는 다양한 분야에서 사용되고 있다.
특히 산업현장에서의 사용은 대상 영상처리 알고리즘의 변경만으로도 인체검출, 작업자 카운팅, 위험지역 감시, 검사 장비 등 그 분야가 매우 다양하다.
그러나 고전방식의 영상처리 방식을 이용하여서는 작업장 환경 즉 빛, 각종 기계의 움직임 등의 외부 요인으로 다양한 예외상황이 발생하기에 주요 검사, 감시 분야의 적용 시 주의가 필요하다.
본 발명은 인공지능이라는 고도화된 기술을 최소한의 비용으로 구성하여 기존 대비 양질의 서비스를 제공함에 그 목표로 한다.
안전관리에 관한 종래의 기술에 의하는 경우, 주로 센서를 이용하여 사용자의 움직임을 파악하고, 기계와의 관계에서 위험한 상황에 놓일 수 있는 사용자에 대해서 미리 기계의 동작을 차단함으로써 안전을 관리하였다. 그러나 종래 기술의 경우 기계를 포함하여 산업 설비의 형태 또는 구조가 변경되는 경우 센서를 이용하는 안전관리 시스템이 다시 설계되어야 하고, 센서의 작동을 임의로 해제하는 경우 센서를 이용하는 안전관리 시스템이 무용지물에 그치는 경우가 많았다.
본 발명의 일 실시 예에 따른 위험지역 안전관리 방법 및 장치에 의하면, 실영상과 열화상을 이용하여 사용자의 동작을 추적하고 사용자가 조작하는 기계, 예를 들면 공작기계 또는 PLC의 제어 대상 장치에 대해 연출할 수 있는 위험한 상황을 미리 감지하고 이를 예방하되, 전체 영역에서 관심 영역이라는 한정된 영역에 대해 인공지능을 이용하여 위험상황을 추론하는 것이 특징이다. 이러한 점에서 본 발명의 일 실시 예에 따른 위험지역 안전관리 방법 및 장치는, 상기 살펴본 종래기술과 구별되고 상기 종래기술이 갖는 문제점을 해결하기 위해 개시된다.
본 발명이 해결하고자 하는 과제는, 기계를 조작하는 사용자가 처할 수 있는 위험한 상황을 영상을 통해 감시하고 이를 예방할 수 있는 위험상황 안전관리 방법 및 장치를 제공하는 것이다.
본 발명이 추가적으로 해결하려는 과제는, 위험상황을 실영상 및 열화상을 이용하고, 움직임과 온도분포에 기반하여 대상체를 검출함으로써 오차율을 줄일 수 있는 위험상황 안전관리 방법 및 장치를 제공하는 것이다.
본 발명이 추가적으로 해결하려는 과제는, 인공지능 알고리즘을 이용하는 학습을 통해 훈련된 인공지능 모델을 통해 위험상황을 추론할 수 있는 위험상황 안전관리 방법 및 장치를 제공하는 것이다.
본 발명의 일 실시 예에 따른 위험지역 안전관리 방법은, 카메라를 통해 실영상 및 열화상을 획득하는 단계; 상기 실영상을 이용하여 대상체의 움직임을 검출하고, 상기 열화상을 이용하여 대상체의 온도 분포를 검출하는 단계; 상기 실영상에 의한 움직임 정보와 상기 열화상에 의한 온도 분포 정보를 이용하여 관심영역의 존재를 확인하는 단계; 및 인공 지능을 이용한 상기 관심영역의 분석을 통해 위험상황의 존재를 확인하는 단계를 포함하는 것을 특징으로 한다.
여기서, 상기 위험지역 안전관리 방법은, 상기 실영상 및 열화상에서 추출된 특징점 좌표의 오프셋(offset) 값을 이용하여 실영상 데이터 및 열화상 데이터 중에서 적어도 하나의 데이터를 보정함으로써 실영상 및 열화상의 픽셀을 서로 매칭시키는 전처리 단계를 더 포함하는 것을 특징으로 한다.
여기서, 상기 움직임을 검출하는 단계는, 획득된 실영상의 인접한 프레임 사이에서 밝기 값의 변화가 일어나는 픽셀들의 움직임을 이용하되, 동일한 대상체에 관해 과거에 저장된 다수의 데이터의 평균 값을 이용하여 상태 변화에 따라 동작하는 대상체와 배경의 분리를 통해 검출 에러율을 낮추는 것을 특징으로 한다.
여기서, 상기 온도 분포 검출 단계는, 대상체의 온도 프로파일에 따른 온도 분포에 기반하여, 열화상 내에서 대상체의 온도 분포를 만족하는 영역을 검출하는 것을 특징으로 한다.
여기서, 상기 관심영역의 존재를 확인하는 단계는, 움직임 검출의 결과 데이터와 온도 분포 검출의 결과 데이터를 이용하여 서로 매칭하는 실영상과 열화상에서 대상체가 차지하는 관심영역을 검출하는 것을 특징으로 한다.
여기서, 상기 위험상황의 존재를 확인하는 단계는, 기계와 이를 조작하는 인간이 연출할 수 있는 대상체에 관한 위험한 상황에 대한 인공지능 알고리즘을 이용한 학습에 따라 관심영역 내의 대상체가 처한 위험상황을 추론하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 위험지역 안전관리 장치는, 카메라를 통해 획득된 실영상을 이용하여 대상체의 움직임을 검출하는 움직임 검출모듈과, 열화상을 이용하여 대상체의 온도분포를 검출하는 온도 검출모듈; 상기 실영상에 의한 움직임 정보와 상기 열화상에 의한 온도 분포 정보를 이용하여 관심영역의 존재를 확인하는 관심영역 검출부; 및 인공 지능을 이용한 상기 관심영역의 분석을 통해 위험상황의 존재를 확인하는 인공 지능 상황판단부를 포함하는 것을 특징으로 한다.
여기서, 상기 위험지역 안전관리 장치는, 상기 실영상 및 열화상에서 추출된 특징점 좌표의 오프셋(offset) 값을 이용하여 실영상 데이터 및 열화상 데이터 중에서 적어도 하나의 데이터를 보정함으로써 실영상 및 열화상의 픽셀을 서로 매칭시키는 데이터 전처리부를 더 포함하는 것을 특징으로 한다.
여기서, 상기 움직임 검출모듈은, 획득된 실영상의 인접한 프레임 사이에서 밝기 값의 변화가 일어나는 픽셀들의 움직임을 이용하되, 동일한 대상체에 관해 과거의 저장된 다수의 데이터의 평균 값을 이용하여 상태 변화에 따라 동작하는 대상체와 배경의 분리를 통해 검출 에러율을 낮추는 것을 특징으로 한다.
여기서, 상기 온도 검출모듈은, 대상체의 온도 프로파일에 따른 온도 분포에 기반하여, 열화상 내에서 대상체의 온도 분포를 만족하는 영역을 검출하는 것을 특징으로 한다.
여기서, 상기 관심영역 검출부는, 움직임 검출의 결과 데이터와 온도 검출의 결과 데이터를 이용하여 서로 매칭하는 실영상과 열화상에서 대상체가 차지하는 관심영역을 검출하는 것을 특징으로 한다.
여기서, 청구항 7에 있어서, 상기 인공지능 상황판단부는, 기계와 이를 조작하는 인간이 연출할 수 있는 대상체에 관한 위험한 상황에 대한 인공지능 알고리즘을 이용한 학습에 따라 관심영역 내의 대상체가 처한 위험상황을 추론하는 것을 특징으로 한다.
본 발명에 의하면, 기계를 조작하는 사용자가 처할 수 있는 위험한 상황을 영상을 통해 감시하고 이를 예방함으로써, 산업 설비 변화에 유연하고 위험 상황의 감시를 임의 해제시키는 것을 방지할 수 있다.
또한, 위험상황을 실영상 및 열화상을 이용하고, 움직임과 온도분포에 기반하여 대상체를 검출함으로써 연산량과 오차율을 줄일 수 있다.
또한, 인공지능 알고리즘을 이용하는 학습을 통해 훈련된 인공지능 모델을 통해 위험상황을 추론할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 위험상황 안전관리 시스템의 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 위험상황 안전관리 장치의 블록도이다.
도 3은 컴퓨팅 장치에 해당하는 위험상황 안전관리 장치의 일 실시예에 따른 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 위험상황 안전관리 방법의 흐름도이다.
도 2는 본 발명의 일 실시 예에 따른 위험상황 안전관리 장치의 블록도이다.
도 3은 컴퓨팅 장치에 해당하는 위험상황 안전관리 장치의 일 실시예에 따른 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 위험상황 안전관리 방법의 흐름도이다.
이하, 첨부한 도면을 참조하여 위험상황 안전관리 방법 및 장치에 대한 바람직한 실시 예를 상세히 설명하기로 한다.
각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 일 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.
이하 본 발명의 일 실시 예에 따른 위험상황 안전관리 시스템(1000)에 대해 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 위험상황 안전관리 시스템의 구성도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 위험지역 안전관리 시스템(1000)은, 위험지역 안전관리 장치(100), 서버(200), 카메라(300) 및 제어 대상장치(400) 및 네트워크(500)를 포함한다.
위험지역 안전관리 장치(100)는 카메라(300)를 통해 획득된 실영상 및 열화상을 이용하여 사용자의 위험상황을 추론하는 역할을 한다. 단계적으로 위험지역 안전관리 장치(100)는 실영상을 이용하여 대상체의 움직임을 검출하고, 열화상을 이용하여 대상체의 온도분포를 검출한다. 그리고 위험지역 안전관리 장치(100)는 검출 결과를 이용하여 관심영역의 존재를 확인하고, 관심영역을 분석해서 위험상황의 존재를 확인하는 역할을 한다.
서버(200)는 그 종류로서 위험지역 안전관리 장치(100)에 의해 수집된 데이터를 저장하는 데이터 서버, 인공지능 활용을 위한 API, 인공지능 모델의 생성 및 학습을 위한 서버 및 위험지역 안전관리를 위한 관제 서버를 포함한다.
데이터 서버(200)는 카메라(300)를 통해 획득한 로우 데이터 및 위험지역 안전관리 장치(100)에 의해 가공된 데이터를 저장한다. 저장된 데이터는 위험지역 안전관리 장치(100)에 의해 수행되는 관심영역 검출에 사용될 수 있다. 즉 위험지역 안전관리 장치(100)는 각 해당 구역, 예를 들어 각종 제어 대상장치(400)가 구비된 작업 현장에서 촬영되어서 저장된 누적 데이터를 이용하여 대상체의 움직임을 검출하거나 온도분포를 검출할 수 있다.
인공지능을 위한 서버(200)는 인공지능 알고리즘에 관한 API를 제공한다. 또한 인공지능을 위한 서버(200)는 위험상황을 판단하는 인공지능 모델을 생성할 수 있다. 생성된 모델은 위험상황 학습모듈(151)에 의해 저장된 데이터를 이용하여 학습된다.
관제 서버(200)는 각종 설비에 설치된 위험지역 안전관리 장치(100)를 통합하여 관리하고 위험상황을 감시하는 역할을 한다. 그리고 위험지역 안전관리 장치(100)를 통해 수신한 정보를 이용하여 위험상황 발생을 인식하고, 네트워크에 연결된 다른 단말 특히 사용자 단말에 위험상황을 알리는 역할을 한다.
카메라(300)는 그 종류로서 실화상 카메라(310)와 열화상 카메라(320)를 포함한다. 실화상 카메라(310)는 가시광선 파장 영역의 빛을 이용하여 실영상을 획득한다. 그리고 열화상 카메라(320)는 적외선 파장 영역의 빛을 이용하여 열화상을 획득한다. 여기서, 카메라(300)를 통해 획득된 실영상 및 열화상은 네트워크를 통해서 위험지역 안전관리 장치(100)로 전송되거나, 직접 연결된 영상 데이터 전송 케이블을 통해 위험지역 안전관리 장치(1000)로 전송될 수 있다.
카메라(300)는 대상체의 움직임을 포착할 수 있는 위치에 복수 개로 설치될 수 있다. 예를 들어 대상체 중에서 모터 동력에 의해 일정 직선 궤적을 왕복 운동하는 절단 수단이 구비된 기계가 포함되어 있는 경우를 생각해 보자. 이 경우에 카메라(300)는 상기 직선 궤적과 직각을 이루는 방향에서 상기 왕복 운동을 영상 내에서 수평 방향 운동으로 표시할 수 있다. 또한 상기 직선 궤적이 점으로 표시되는 방향에서 상기 절단 수단과 인간의 모습이 서로 중첩되는 모습을 감지하기 위해, 카메라(300)는 상기 직선 궤적이 점으로 표시되는 방향에서 상기 점에 대향하여 추가적으로 설치될 수도 있다.
위험상황 추론 결과의 통계에 기반하여 카메라(300)가 설치되는 위치 및 장소는 변경될 수 있다. 즉, 움직임 검출과 온도 분포 검출에 기반하여 관심영역이 검출되고 관심영역이 위험상황으로 판단되는 과정에서 실제의 위험이 감지되지 못하는 경우에, 기존에 설치된 카메라(300)의 위치는 새로운 위치 및 방향으로 변경될 수 있다.
제어 대상장치(400)는 사용자와의 관계에서 위험상황을 연출할 수 있는 전자 및 기계장치를 의미한다. 예를 들어, 제어 대상장치(400)는 그 종류로서, PLC 시스템, 각종 공작기계 및 PLC에 연결된 부속장치를 포함한다. 그리고 제어 대상장치(400)는 모터 또는 엔진 등의 동력원을 포함하고 이러한 동력원에 따라 왕복운동, 회전운동, 관절운동을 하면서 정형적인 궤적의 움직임을 보이는 것이 특징이다.
제어 대상장치(400)는 위험지역 관리장치(100)와 제어명령을 전송하는 전용의 케이블을 통해 연결되거나 네트워크를 통해 연결될 수 있다. 네트워크를 통해 위험지역 관리장치(100)와 연결되는 제어 대상장치(400)는 임베디드 시스템으로서 연산장치 및 통신장치와 이들을 구동하는 소프트웨어로서의 OS를 포함한다.
네트워크(500)는 유선 및 무선 네트워크, 예를 들어 인터넷(internet), 인트라넷(intranet) 및 엑스트라넷(extranet), 셀룰러, 예를 들어 무선 전화 네트워크, LAN(local area network), WAN(wide area network), WiFi 네트워크, 애드혹 네트워크 및 이들의 조합을 비롯한 임의의 적절한 통신 네트워크 일 수 있다.
네트워크(500)는 허브, 브리지, 라우터, 스위치 및 게이트웨이와 같은 네트워크 요소들의 연결을 포함할 수 있다. 네트워크(500)는 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 네트워크(500)에의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 위험지역 안전관리 장치의 블록도이다.
도 2를 참조하면, 위험지역 안전관리 장치(100)는 카메라 제어부(110), 데이터 검출부(120), 데이터 전처리부(130), 관심영역 검출부(140), 인공지능 상황판단부(150), 및 위험상황 처리부(160)를 포함한다.
카메라 제어부(110)는 서로 동일한 영역이 촬영되도록 카메라의 동작 제어를 통해 실영상 카메라와 열화상 카메라가 촬영하는 영역을 조정하는 역할을 한다. 구체적으로 카메라 제어부(110)는 카메라의 줌인 및 줌아웃 동작을 제어하거나 카메라의 회전 정도를 제어하여 촬영각 및 촛점을 제어할 수 있다. 궁극적으로 카메라 제어부(110)는 실영상을 획득하는 카메라(110)와 열화상을 획득하는 카메라(120)를 동기화하여 제어하는 것을 특징으로 한다. 따라서, 동기화된 실영상 카메라(110)와 열화상 카메라(120)는 동일한 영역 및 동일한 피사체가 촬영된 영상을 획득한다.
데이터 검출부(120)는 움직임 검출모듈(121) 및 온도 검출모듈(122)을 포함한다.
움직임 검출모듈(121)은 카메라를 통해 획득된 실영상을 이용하여 대상체의 움직임을 검출하는 역할을 한다.
특히 움직임 검출모듈(121)은, 획득된 영상의 인접한 프레임 간의 밝기 데이터의 차이 값을 이용하여 대상체의 움직임을 검출하는 것을 특징으로 한다.
구체적으로 움직임 검출모듈(121)은, 실영상에 분포되어 있는 픽셀의 밝기 값을 이용하여 움직이는 대상체의 윤곽을 이루는 특징점을 추출하고, 인접한 프레임 마다 이러한 특징점의 변화를 감지하여 대상체의 움직임을 검출한다. 그리고 움직임 검출모듈(121)은 픽셀의 밝기 값의 차이를 이용하여 상태 변화를 인식하고, 누적 데이터를 이용하여 상태 변화에 따라 동작하는 대상체와 배경의 분리를 통해 검출 에러율을 낮추는 것을 특징으로 한다.
여기서, 대상체는 인간과 기계를 포함하는 개념이다. 그리고 위험상황이란 대상체를 구성하는 인간과 기계의 관계에서 인간이 기계에 의해 침해를 받을 수 있는 상황을 말한다. 예를 들어 기계의 동작 범위와 인간의 동작 범위가 미리 설정되어 있고, 각각의 범위에서 기계와 인간의 위치가 동일 시각에 서로 중첩하거나 서로의 위치가 한계 범위를 넘어 근접하는 상황은 위험상황에 속한다.
위험상환 판단의 기초를 위해 움직임 검출모듈(121)은 대상체 중에서 기계와 인간의 움직임을 검출하는 역할을 한다. 대상체 중에서 기계는 일정 시각을 주기로 일정 범위를 반복적으로 움직이는 것을 특징으로 한다. 따라서 움직임 검출모듈(121)은 주기 및 이동 범위에 기초하여 상대적으로 높은 인식률에 따라 기계의 움직임을 검출할 수 있다. 반면에 인간의 움직임은 일정 범위를 벗어나는 경우가 있을 수 있다.
움직임 검출모듈(121)은 획득한 영상을 구성하는 인접한 프레임을 서로 비교하여 움직이는 인간을 감지하는 역할을 한다. 예를 들어 인접한 프레임 간의 밝기를 비교하여 밝기 값의 차이를 보이는 픽셀을 인간의 형상으로 파악하여 인간의 움직임을 감지한다. 그리고 프레임 간의 비교에서 변하지 않는 밝기 값을 갖는 픽셀을 배경으로 취급할 수 있다.
온도 검출모듈(122)은 열화상을 이용하여 대상체의 온도분포를 검출하는 역할을 한다. 대상체는 기계와 인간을 포함하므로 대상체의 온도분포는 기계와 인간의 온도분포 특성을 잘 나타낸다. 예를 들어, 인간의 온도분포는 체온의 변화 범위와 일치하는 것이 특징이다. 그리고 기계의 온도분포는 가동 시간 및 실내 공기의 온도에 따라 시간에 따라 상향 변화하는 것이 특징이다. 특히, 기계 내에서는 엔진 및 모터와 같이 연료 또는 전력의 소비에 따라 온도가 올라가는 파트가 있을 수 있으며, 온도 검출모듈은 기계의 특성 및 운전 시간을 고려하여 대상체 기계의 온도분포를 검출할 수 있다.
온도 검출모듈(122)은, 대상체의 온도 프로파일에 따른 온도 분포에 기반하여, 열화상 내에서 대상체의 온도 분포를 만족하는 영역을 검출하는 것을 특징으로 한다.
데이터 전처리부(130)는 상기 실영상과 열화상에서 추출된 특징점의 좌표를 선택하고, 각 좌표에서 두 좌표의 오프셋(offset) 값을 비교하여 실영상 데이터와 열화상 데이터를 매칭하는 역할을 한다. 데이터 전처리부(130)는 관심영역 검출부(140)가 관심영역을 검출하는데 도움을 주기 위해 실영상 데이터와 열화상 데이터를 가공하는 역할을 한다. 하나의 실시 예로서 데이터 전처리부(130)는 서로 다른 파라미터 값, 예를 들어 해상도, 영상의 크기, 영상의 밝기를 갖는 실영상과 열화상의 파라미터를 서로 일치시켜 보정하고 실영상과 열화상의 픽셀을 서로 매칭할 수 있다. 관심영역 검출부(140)는 매칭된 새로운 영상에 기초하거나, 매칭되지 않은 실영상과 열화상에 기초하여 관심영역을 검출하는 것을 특징으로 한다.
관심영역 검출부(140)는 실영상에 의한 움직임 정보와 상기 열화상에 의한 온도분포를 이용하여 관심영역을 검출하는 역할을 한다. 즉, 관심영역이란 획득한 전체 영상에서 실영상에 의한 움직임 정보에 기초하여 대상체의 움직임이 나타나는 영역 및 열화상에 의한 대상체의 온도분포가 나타나는 영역을 말한다. 여기서, 관심영역 검출부는 대상체의 움직임 정보와 온도분포를 이용하여 대상체 중에서 인간과 기계의 영역을 서로 구별하여 검출할 수 있다.
구체적으로 관심영역 검출부(140)는 움직임 검출 결과를 이용하여 전체 영상에서 대상체로 예상되는 영역을 필터링하여 추출하고, 추출된 영역에 움직임 검출 결과를 적용하여 AND 조건에 해당하는 영역을 관심영역으로 검출한다. 또는 관심영역 검출부(140)는 움직임 검출 결과를 이용하여 움직이는 대상체를 추적 및 추출하고, 온도분포 결과를 이용하여 추출한 영역이 대상체 영역이 맞는지 검증을 통해 관심영역을 검출한다. 위 방법 중에서 어느 경우이든 실영상 전체 영역에 대해서 인접한 프레임 간의 비교를 할 필요가 없고, 전체 영역에서 대상체로 예상되는 영역에 대해서만 프레임 간의 비교를 하므로 연산량을 현격히 줄일 수 있는 것이 특징이다.
인공지능 상황판단부(150)는 인공 지능을 이용한 상기 관심영역의 분석을 통해 위험상황의 존재를 확인하는 역할을 한다. 전술하였듯이 위험상황 여부는 대상체의 상호 위치에 의해 감지될 수 있다.
인공지능 상황판단부(150)는 그 구성요소로서 위험상황 학습모듈(151) 및 위험상황 판단모듈(152)를 포함할 수 있다. 구체적으로 위험상황 학습모듈(151)은 서버(200)에 의해 수행되는 학습 모델 생성 및 학습화 과정을 제어할 수 있다. 위험상황 판단모듈(152)은 학습된 모델을 이용하여 관심영역에서 감지될 수 있는 위험상황을 추론하는 역할을 한다.
먼저, 위험상황을 나타내는 영상 데이터가 준비된다. 영상 데이터는 서로 다른 구성의 설비마다 설비의 특징을 반영하여 구비된다. 그리고 위험상황을 나타내는 영상 데이터는 위험의 정도에 따라 등급을 나누어 구비될 수 있다.
학습용 데이터에는 위험상황에서의 대상체의 위치가 묘사되어 있는데, 특히 대상체 중에서 기계의 전형적인 움직임과 인간의 일탈적인 움직임이 묘사될 수 있다. 위험상황 학습모듈(151)은 시간 개념을 고려하여 미래에 발생할 수 있는 대상체 간의 충돌을 예고하는 학습용 영상 데이터를 이용하여 위험상황임을 학습할 수 있고, 위험상황의 정도에 따라 미리 설정된 위험의 등급에 관해 학습할 수 있다.
위험상황 판단모듈(152)은 위험상황 학습모듈을 통해 학습된 모델을 이용하여 실전용 데이터에 대해 위험상황을 추론하는 역할을 한다. 여기서, 위험상황 추론에는 위험의 정도를 등급에 따라 분류하는 것이 포함된다.
그 밖에, 위험상황에는 대상체의 상호 충돌뿐만 아니라 대상체 중에서 기계의 발열 파트의 온도 변화에 따른 열적 위험상황이 포함될 수 있다. 예를 들어, 기계 과열에 의한 화재 위험이 위험상황 판단모듈(152)에 의해 추론될 수 있다.
인공지능 상황판단부(150)는, 인공지능 알고리즘을 이용하여 기계와 이를 조작하는 인간이 연출할 수 있는 대상체에 관한 위험한 상황에 대해 학습하고, 상기 학습에 따라 관심영역 내의 대상체가 처한 위험상황을 추론하는 것을 특징으로 한다.
위험상황 처리부(160)는 대상체 중에서 인간과 기계와의 관계에서 인간이 위험상황을 벗어나도록 하기 위해 기계의 동작 중단을 위해 기계를 제어하는 역할을 한다. 위험상황 처리부(160)는 제어 대상장치(400)와 위험지역 관리장치(100)의 연결되는 방식에 따라 직접 연결된 케이블을 통해 제어명령을 전송하거나 네트워크를 통해 제어명령에 관한 패킷을 임베디드 시스템에 해당하는 제어 대상장치(400)에 전송할 수 있다.
도 2에 도시된 위험지역 안전관리 장치(100)의 구성은 설명의 편의를 위해 기능적으로 구분한 구성으로, 하드웨어적으로는 하나의 프로세서에 의해 처리되는 논리적인 기능으로 구성될 수 있는 것으로, 제시된 구분에 의해 본 발명을 한정하는 것은 아니다.
또한, 각 구성간의 연결 관계가 연결선으로 도시되어 있거나, 상호 간의 연결 관계가 일일이 표현되어 있지 않지만, 연결선이 도시되지 않은 구성 간에도 제어 또는 데이터 교환을 위한 통신, 전달이 발생될 수 있으며, 제시된 바에 의해서만 본 발명을 한정하는 것은 아니다.
본 발명의 일 실시 예에 따른 위험지역 안전관리 장치(100)는 컴퓨팅 장치(600)에 해당될 수 있다. 이하 컴퓨팅 장치(600)에 해당하는 본 발명의 일 실시 예에 따른 위험지역 안전관리 장치(100)는 다른 실시 예를 통해 보다 구체적으로 설명될 수 있다.
위험지역 안전관리 장치(100)는 하나 이상의 CPU(central processing unit)들, 메모리, 대용량 저장소, 입력 인터페이스 장치, 출력 인터페이스 장치로 구성된 컴퓨팅 시스템을 포함할 수 있다. 컴퓨팅 시스템의 요소들은 버스를 통해 서로 통신할 수 있다.
컴퓨팅 장치의 하드웨어 플랫폼은 개인용 컴퓨터, 핸드헬드 또는 랩톱 디바이스, 다중 프로세서 시스템, 마이크로프로세서 기반 시스템, 프로그램 가전제품, 및 이상의 시스템들 또는 디바이스들 중 임의의 것을 포함하는 분산 컴퓨팅 환경, 예컨대 클라우드 기반 컴퓨팅 시스템을 비롯한 많은 형태들로 구현될 수 있다.
도 3은 컴퓨팅 장치에 해당하는 위험상황 안전관리 장치의 일 실시예에 따른 블록도이다.
도 3을 참조하면, 컴퓨팅 장치(600)는 입력 인터페이스 장치(610), 출력 인터페이스 장치(620), 메모리(631), 저장장치(632), 전원 장치(640), 프로세서(650), 네트워크 인터페이스 장치(660), 무선통신 장치(670) 및 버스(680)를 포함한다.
입력 인터페이스 장치(610)는 사용자의 입력에 따라 문자 또는 개체를 입력한다. 입력 인터페이스 장치(610)는 키보드(keyboard), 터치스크린(touch screen), 마우스(mouse), 전자펜(stylus pen) 및 펜 태블릿(pen tablet)을 포함하되, 이에 한정되는 것은 아니다.
출력 인터페이스 장치(620)는 위험지역 안전관리를 위한 애플리케이션 모듈 관련 사용자 인터페이스 등을 표시하는 디스플레이(display) 및 프린트 출력하는 프린터(printer)를 포함한다. 또한, 출력 인터페이스 장치(620)는 문자를 음성합성(text to speech, TTS) 엔진을 이용하여 음성으로 출력하는 스피커(speaker), 헤드폰(head-phone) 및 헤드셋(head-set)을 포함한다.
프로세서(650)는 메모리(631) 및/또는 저장 장치(632)에 저장된 본 발명의 일 실시 예에 따른 위험지역 안전관리를 위한 애플리케이션이 포함하고 있는 컴퓨터 명령어 셋을 실행할 수 있다. 프로세서(650)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU) 또는 본 발명에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(631)와 저장 장치(632)는 휘발성 저장 매체 및/또는 비휘발성 저장 매체로 구성될 수 있다. 예를 들어, 메모리(631)는 읽기 전용 메모리(read only memory, ROM) 및/또는 랜덤 액세스 메모리(random access memory, RAM)로 구성될 수 있다.
무선통신 장치(670)는 근거리 무선통신, 무선 데이터 통신 및 무선 음성 통신을 위한 장치를 포함한다.
컴퓨팅 장치(600)에 포함된 각각의 구성 요소들은 버스(680)에 의해 연결되어 서로 통신을 수행한다.
이하 상기 설명한 위험지역 안전관리 장치(100)가 위험지역 안전관리를 위한 하드웨어 또는 애플리케이션 모듈에 포함된 컴퓨터 명령어 셋의 연산을 통해 실행하는 본 발명의 일 실시 예에 따른 위험지역 안전관리 방법에 대해 도 1, 도 2 및 도 4를 참조하여 설명하기로 한다.
본 발명의 일 실시 예에 따른 위험지역 안전관리 방법은 위험지역 안전관리 장치(100)에 의해 수행되는 것이 특징이며, 방법의 각 단계에서 위험지역 안전관리 장치(100)를 구성하는 각각의 구성요소가 역할을 수행하는 것을 특징으로 한다.
도 4는 본 발명의 일 실시 예에 따른 위험지역 안전관리 방법의 흐름도이다.
도 4를 참조하면, 본 발명의 일 실시 예에 따른 위험지역 안전관리 방법(S100)은 S111 내지 S160 단계를 포함한다.
선택적으로, 서로 동일한 영역이 촬영되도록 카메라의 동작 제어를 통해 실영상 카메라와 열화상 카메라가 촬영하는 영역을 조정하는 카메라 제어 단계가 선행될 수 있다.
먼저, 카메라를 통해 쵤영된 실영상 및 열화상 각각이 획득된다(S111, S112).
다음으로, 실영상을 이용하여 대상체의 움직임이 검출되고, 열화상을 이용하여 대상체의 온도분포가 검출된다(S121, S122).
여기서, 상기 움직임을 검출하는 단계는, 획득된 영상의 인접한 프레임 간의 밝기 데이터의 차이 값을 이용하여 대상체의 움직임을 검출하는 것을 특징으로 한다.
또한, 상기 움직임을 검출하는 단계는, 상기 밝기 데이터의 차이 값을 이용하여 상태 변화를 인식하고, 누적 데이터를 이용하여 상태 변화에 따라 동작하는 대상체와 배경의 분리를 통해 검출 에러율을 낮추는 것을 특징으로 한다.
또한, 상기 온도분포 검출 단계는, 대상체의 온도 프로파일에 따른 온도 분포에 기반하여, 열화상 내에서 대상체의 온도 분포를 만족하는 영역을 검출하는 것을 특징으로 한다.
선택적으로, 상기 실영상과 열화상에서 추출된 특징점의 좌표를 선택하고, 각 좌표에서 두 좌표의 오프셋(offset) 값을 비교하여 실영상 데이터와 열화상 데이터를 정합하는 전처리 단계가 수행될 수 있다(S130).
다음으로, 상기 실영상에 의한 움직임 정보와 상기 열화상에 의한 온도분포를 이용하여 관심영역의 존재가 확인된다(S140).
여기서, 상기 관심영역의 존재를 확인하는 단계는, 움직임 검출의 결과 데이터와 온도 검출의 결과 데이터를 이용하여 대상체가 포함된 관심영역을 검출하는 것을 특징으로 한다.
다음으로, 인공 지능을 이용한 상기 관심영역의 분석을 통해 위험상황의 존재가 확인된다(S150).
여기서, 상기 위험상황의 존재를 확인하는 단계는, 인공지능 알고리즘을 이용하여 기계와 이를 조작하는 인간이 연출할 수 있는 대상체에 관한 위험한 상황에 대해 학습하고, 상기 학습에 따라 관심영역 내의 대상체가 처한 위험상황을 추론하는 것을 특징으로 한다.
최종적으로, 위험상황의 판단 결과에 기초하여 위험상황이 처리된다(S160).
상기 도면을 통해 설명된 일 실시 예에 따른 위험지역 안전관리 방법(S100)은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행이 가능한 명령어 셋을 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
이와 같이 본 발명의 일 실시 예에 따르면, 기계를 조작하는 사용자가 처할 수 있는 위험한 상황을 영상을 통해 감시하고 이를 예방함으로써, 산업 설비 변화에 유연하고 위험 상황의 감시를 임의 해제시키는 것을 방지할 수 있다.
또한, 위험상황을 실영상 및 열화상을 이용하고, 움직임과 온도분포에 기반하여 대상체를 검출함으로써 연산량과 오차율을 줄일 수 있다.
또한, 인공지능 알고리즘을 이용하는 학습을 통해 훈련된 인공지능 모델을 통해 위험상황을 추론할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 위험지역 안전관리 장치
110: 카메라 제어부
120: 데이터 검출부
121: 움직임 검출모듈
122: 온도 검출모듈
130: 데이터 전처리부
140: 관심영역 검출부
150: 인공지능 상황판단부
151: 위험상황 학습모듈
152: 위험상황 판단모듈
160: 위험상황 처리부
110: 카메라 제어부
120: 데이터 검출부
121: 움직임 검출모듈
122: 온도 검출모듈
130: 데이터 전처리부
140: 관심영역 검출부
150: 인공지능 상황판단부
151: 위험상황 학습모듈
152: 위험상황 판단모듈
160: 위험상황 처리부
Claims (10)
- 카메라를 통해 실영상 및 열화상을 획득하는 단계;
상기 실영상을 이용하여 대상체의 움직임을 검출하고, 상기 열화상을 이용하여 대상체의 온도 분포를 검출하는 단계;
상기 실영상에 의한 움직임 정보와 상기 열화상에 의한 온도 분포 정보를 이용하여 관심영역의 존재를 확인하는 단계; 및
인공 지능을 이용한 상기 관심영역의 분석을 통해 위험상황의 존재를 확인하는 단계를 포함하며,
상기 대상체의 온도 분포를 검출하는 단계와 관심영역의 존재를 확인 하는 단계 사이에 상기 실영상 및 열화상에서 추출된 특징점 좌표의 오프셋(offset) 값을 이용하여 실영상 데이터 및 열화상 데이터 중에서 적어도 하나의 데이터를 보정함으로써 실영상 및 열화상의 픽셀을 서로 매칭시키는 전처리 단계를 더 포함하고,
상기 움직임을 검출하는 단계는,
획득된 실영상의 인접한 프레임 사이에서 밝기 값의 변화가 일어나는 픽셀들의 움직임을 이용하되,
동일한 대상체에 관해 과거에 저장된 다수의 데이터의 평균 값을 이용하여 상태 변화에 따라 동작하는 대상체와 배경의 분리를 통해 검출 에러율을 낮추는 것을 특징으로 하는, 위험지역 안전관리 방법. - 삭제
- 삭제
- 청구항 1에 있어서,
상기 온도 분포 검출 단계는,
대상체의 온도 프로파일에 따른 온도 분포에 기반하여, 열화상 내에서 대상체의 온도 분포를 만족하는 영역을 검출하는 것을 특징으로 하는, 위험지역 안전관리 방법. - 청구항 4에 있어서,
상기 관심영역의 존재를 확인하는 단계는,
움직임 검출의 결과 데이터와 온도 분포 검출의 결과 데이터를 이용하여 서로 매칭하는 실영상과 열화상에서 대상체가 차지하는 관심영역을 검출하는 것을 특징으로 하는, 위험지역 안전관리 방법. - 카메라를 통해 획득된 실영상을 이용하여 대상체의 움직임을 검출하는 움직임 검출모듈과, 열화상을 이용하여 대상체의 온도분포를 검출하는 온도 검출모듈;
상기 실영상에 의한 움직임 정보와 상기 열화상에 의한 온도 분포 정보를 이용하여 관심영역의 존재를 확인하는 관심영역 검출부; 및
인공 지능을 이용한 상기 관심영역의 분석을 통해 위험상황의 존재를 확인하는 인공 지능 상황판단부를 포함하하며,
상기 실영상 및 열화상에서 추출된 특징점 좌표의 오프셋(offset) 값을 이용하여 실영상 데이터 및 열화상 데이터 중에서 적어도 하나의 데이터를 보정함으로써 실영상 및 열화상의 픽셀을 서로 매칭시키는 데이터 전처리부를 더 포함하고,
상기 움직임 검출모듈은,
획득된 실영상의 인접한 프레임 사이에서 밝기 값의 변화가 일어나는 픽셀들의 움직임을 이용하되,
동일한 대상체에 관해 과거의 저장된 다수의 데이터의 평균 값을 이용하여 상태 변화에 따라 동작하는 대상체와 배경의 분리를 통해 검출 에러율을 낮추는 것을 특징으로 하는, 위험지역 안전관리 장치. - 삭제
- 삭제
- 청구항 6에 있어서,
상기 온도 검출모듈은,
대상체의 온도 프로파일에 따른 온도 분포에 기반하여, 열화상 내에서 대상체의 온도 분포를 만족하는 영역을 검출하는 것을 특징으로 하는, 위험지역 안전관리 장치. - 청구항 9에 있어서,
상기 관심영역 검출부는,
움직임 검출의 결과 데이터와 온도 검출의 결과 데이터를 이용하여 서로 매칭하는 실영상과 열화상에서 대상체가 차지하는 관심영역을 검출하는 것을 특징으로 하는, 위험지역 안전관리 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180128755A KR102085168B1 (ko) | 2018-10-26 | 2018-10-26 | 인체추적 기반 위험지역 안전관리 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180128755A KR102085168B1 (ko) | 2018-10-26 | 2018-10-26 | 인체추적 기반 위험지역 안전관리 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102085168B1 true KR102085168B1 (ko) | 2020-03-04 |
Family
ID=69783433
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180128755A Active KR102085168B1 (ko) | 2018-10-26 | 2018-10-26 | 인체추적 기반 위험지역 안전관리 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102085168B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210117697A (ko) | 2020-03-20 | 2021-09-29 | 하청일 | Ai 기반 전염병 위험 알림 시스템 |
| KR20230054957A (ko) * | 2021-10-18 | 2023-04-25 | 라온피플 주식회사 | 비정상 객체 탐지 장치 및 방법 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009545789A (ja) * | 2006-08-02 | 2009-12-24 | ピルツ ゲーエムベーハー アンド コー．カーゲー | 工業環境中で人間を観察する方法 |
| KR20100138202A (ko) * | 2009-06-24 | 2010-12-31 | 전자부품연구원 | 이종 카메라를 이용한 객체 추적 시스템 및 방법 |
| KR20160059105A (ko) * | 2014-11-17 | 2016-05-26 | (주)익스트리플 | 산업현장 안전관리 시스템 |
| KR20160073490A (ko) * | 2014-12-16 | 2016-06-27 | 연세대학교 산학협력단 | 영상 기반의 건설 현장 안전 수준 평가 시스템 |
| KR20160081735A (ko) * | 2014-12-31 | 2016-07-08 | 주식회사 포스코아이씨티 | 작업자 행동기반 안전 관리 시스템 및 방법 |
| KR101852284B1 (ko) | 2015-10-28 | 2018-04-25 | 시아오미 아이엔씨. | 경보 방법 및 장치 |
-
2018
- 2018-10-26 KR KR1020180128755A patent/KR102085168B1/ko active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009545789A (ja) * | 2006-08-02 | 2009-12-24 | ピルツ ゲーエムベーハー アンド コー．カーゲー | 工業環境中で人間を観察する方法 |
| KR20100138202A (ko) * | 2009-06-24 | 2010-12-31 | 전자부품연구원 | 이종 카메라를 이용한 객체 추적 시스템 및 방법 |
| KR20160059105A (ko) * | 2014-11-17 | 2016-05-26 | (주)익스트리플 | 산업현장 안전관리 시스템 |
| KR20160073490A (ko) * | 2014-12-16 | 2016-06-27 | 연세대학교 산학협력단 | 영상 기반의 건설 현장 안전 수준 평가 시스템 |
| KR20160081735A (ko) * | 2014-12-31 | 2016-07-08 | 주식회사 포스코아이씨티 | 작업자 행동기반 안전 관리 시스템 및 방법 |
| KR101852284B1 (ko) | 2015-10-28 | 2018-04-25 | 시아오미 아이엔씨. | 경보 방법 및 장치 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210117697A (ko) | 2020-03-20 | 2021-09-29 | 하청일 | Ai 기반 전염병 위험 알림 시스템 |
| KR20230054957A (ko) * | 2021-10-18 | 2023-04-25 | 라온피플 주식회사 | 비정상 객체 탐지 장치 및 방법 |
| KR102640565B1 (ko) * | 2021-10-18 | 2024-02-27 | 라온피플 주식회사 | 비정상 객체 탐지 장치 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102093477B1 (ko) | 이종 카메라 기반의 위험지역 안전관리 방법 및 장치 | |
| KR102219598B1 (ko) | 설비용 화재 모니터링 시스템 | |
| CN110494861B (zh) | 基于图像的异常检测方法和系统 | |
| KR102315371B1 (ko) | 스마트 cctv 관제 및 경보 시스템 | |
| JP6900918B2 (ja) | 学習装置及び学習方法 | |
| US12094252B2 (en) | Occlusion-aware prediction of human behavior | |
| KR102085168B1 (ko) | 인체추적 기반 위험지역 안전관리 방법 및 장치 | |
| KR102617063B1 (ko) | 환경기초시설 작업자를 위한 인공지능 기반의 작업자 안전관리 시스템 | |
| KR20220077404A (ko) | 근로자 안전을 위한 다단계 작업현장 안전 관제 방법 및 시스템 | |
| CN112528825A (zh) | 一种基于图像识别的车站乘客招援服务方法 | |
| US10789472B1 (en) | Multiple image processing and sensor targeting for object detection | |
| Yudin et al. | Machine vision system for assessment of firing process parameters in rotary kiln | |
| KR20230097854A (ko) | 발전소내 작업자의 위험행동 인지방법 및 시스템 | |
| KR102081577B1 (ko) | Cctv를 활용한 지능형 화재 감지 시스템 | |
| KR20240036761A (ko) | 딥러닝 기반 안전 관리 시스템 및 방법 | |
| KR20230062175A (ko) | 산업현장의 쓰러짐 감지 감시카메라 시스템 및 이의 동작 방법 | |
| KR20230091380A (ko) | 행동인식 기반 위험 상황 감지 시스템 및 방법 | |
| KR102658563B1 (ko) | 영상 감시장치, 영상 분석 서버장치 및 그 학습 방법들 | |
| TWM608616U (zh) | 智能影像安全辨識系統 | |
| KR20220008153A (ko) | 관제 영상에서의 이벤트 발생 예측 방법 및 장치 | |
| WO2018168537A1 (en) | Learning target apparatus and operating method | |
| KR101977626B1 (ko) | Ｃｃｔｖ 카메라 유지 보수 시스템, 그리고 ｃｃｔｖ 카메라 유지 보수 제공 프로그램을 기록한 컴퓨터로 판독가능한 기록매체 | |
| Ng et al. | Deep Learning-Based Collision Detection System for Construction Sites: System Architecture and Working of viAct’s Smart Module | |
| WO2022018902A1 (ja) | 物体検出装置、システム、および方法 | |
| Gao et al. | Smart Detection of Safety Conditions of Construction Workers at Construction Sites Based on YOLOv5s Algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20181026 |
|
| PA0201 | Request for examination | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20190904 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20200224 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20200228 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20200228 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20230220 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20240110 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20250120 Start annual number: 6 End annual number: 6 |