KR102493652B1 - Automatic fire and smoke detection method and surveillance systems based on dilated cnns using the same - Google Patents
Automatic fire and smoke detection method and surveillance systems based on dilated cnns using the same Download PDFInfo
- Publication number
- KR102493652B1 KR102493652B1 KR1020210016375A KR20210016375A KR102493652B1 KR 102493652 B1 KR102493652 B1 KR 102493652B1 KR 1020210016375 A KR1020210016375 A KR 1020210016375A KR 20210016375 A KR20210016375 A KR 20210016375A KR 102493652 B1 KR102493652 B1 KR 102493652B1
- Authority
- KR
- South Korea
- Prior art keywords
- fire detection
- present
- detection model
- smoke
- kernel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 72
- 239000000779 smoke Substances 0.000 title claims abstract description 43
- 238000012360 testing method Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000012795 verification Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 45
- 238000013527 convolutional neural network Methods 0.000 claims description 42
- 238000000034 method Methods 0.000 claims description 31
- 230000010339 dilation Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000010191 image analysis Methods 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 description 32
- 238000012544 monitoring process Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 230000006378 damage Effects 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 5
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 4
- 230000004913 activation Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 229910002092 carbon dioxide Inorganic materials 0.000 description 2
- 239000001569 carbon dioxide Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 206010000369 Accident Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
- Y02A40/28—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture specially adapted for farming
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
본 발명은, 수집된 불꽃 및 연기에 관한 영상을 이용하여 데이터셋을 생성하는 데이터 처리부; 데이터셋을 이용하여 불꽃 및 연기를 감지하도록 훈련되는 CNN 기반의 화재 감지 모델과 이를 훈련시키는 학습부; 및 화재 감지 모델의 성능을 테스트하는 모델 검증부를 포함하는 감시 시스템을 개시한다. 본 발명에 따르면, 레이어 수 및 커널 크기를 최적으로 결정함으로써 효율적 비용을 들여 불꽃 및 연기를 감지하는 학습 모델이 완성될 수 있다.The present invention includes a data processing unit for generating a dataset using collected images of flames and smoke; A CNN-based fire detection model trained to detect flames and smoke using a dataset and a learning unit to train the model; and a model verification unit for testing the performance of the fire detection model. According to the present invention, by optimally determining the number of layers and kernel size, a learning model for detecting flames and smoke can be completed at an efficient cost.
Description
본 발명은 화염 및 연기 자동 감지 방법 및 이를 이용하는 확장 CNN 기반의 감시 시스템에 관한 것으로, 더욱 상세하게는 확장 합성곱 신경망(Dilated Convolutional Neural Network)에 기반하여, 불꽃 및 연기의 자동 감지를 통해 화재를 예방할 수 있는 방법 및 이를 이용하는 감시 시스템에 관한 것이다.The present invention relates to an automatic flame and smoke detection method and an extended CNN-based surveillance system using the same, and more particularly, to a fire detection system through automatic detection of flame and smoke based on a Dilated Convolutional Neural Network (Dilated Convolutional Neural Network). It relates to a preventive method and a surveillance system using the same.
기술과 스마트 시스템의 급속한 성장에도 불구하고 특정 문제는 해결되지 않거나, 또는 성능이 떨어지는 방법으로 해결된 채로 남아 있다. 이러한 문제 중 하나는 예상치 못한 화재 발생 및 인명과 재산에 큰 피해를 입힐 수 있는 비정상적인 상황이다. 통계 정보원에 따르면 소방청은 2016년부터 2018년까지 3 년 동안 한국에서 129,929 건의 화재가 발생하여 1020명이 사망했다. 5795 건의 부상 및 재산 피해는 미화 24*?*억 달러로 추정된다.Despite the rapid growth of technology and smart systems, certain problems remain unsolved, or solved in poor performing ways. One of these problems is an unusual situation that can cause unexpected fires and great damage to life and property. According to the Statistical Information Service, the National Fire Service, 129,929 fires broke out in South Korea in the three years from 2016 to 2018, killing 1,020 people. 5795 injuries and property damage are estimated at US$2.4 billion.
센서 및 감지 기술에서의 최근의 기술 발전으로 인해 산업계에서는, 이러한 기술 발전이 화재로 인한 손해 및 피해를 줄이는 데 도움이 될 수 있는지에 관한 판단이 일어나고 있다. 화재는, 개인의 삶뿐만 아니라 공공 및 사회 개발에 가장 빈번하고 널리 퍼진 위협에 해당할 수 있다.Recent technological advancements in sensor and sensing technology are driving industry judgment as to whether these technological advances can help reduce loss and damage from fire. Fire may represent the most frequent and widespread threat to public and social development as well as individual lives.
화재 발생 자체를 미리 근절하는 것이 화재 예방에 있어서 최우선 순위이지만, 그럼에도 불구하고 화재가 심각해지기 전에 발생한 화재를 감지하고 소화하는 것이 필수적이다.Although eradicating the occurrence of a fire in advance is the highest priority in fire prevention, it is nevertheless essential to detect and extinguish a fire before it becomes serious.
이와 관련하여 화재 사고의 수와 손상 정도를 줄이기 위해, 조기 화재 감지를 위한 많은 방법이 소개되었고 테스트 되었다. 그리고 많은 다양한 종류의 자동 화재 경보 시스템의 감지 기술 유형이 공식화되어 널리 사용되고 있다.To reduce the number of fire accidents and the degree of damage in this regard, many methods for early fire detection have been introduced and tested. And many different types of detection technologies for automatic fire alarm systems have been formulated and are widely used.
두 가지 유형의 화재 경보 시스템이 알려져 있다. 예를 들어 전통적인 화재 경보 시스템과 컴퓨터 비전 기반 화재 감지 시스템이다. 전통적인 화재 경보 시스템은 열 감지기, 화염 감지기 및 연기 감지기 같은 물리적 센서를 사용한다. 이러한 종류의 감지 장치에는 경보 발생시 화재 발생을 확인하기 위한 인간의 개입을 요구한다. 또한, 이러한 시스템은, 화재 또는 연기를 감지하고 위치를 제공하여 사람에게 경고하기 위해 다양한 종류의 도구가 필요하다.Two types of fire alarm systems are known. Examples are traditional fire alarm systems and computer vision-based fire detection systems. Traditional fire alarm systems use physical sensors such as heat detectors, flame detectors and smoke detectors. These types of detection devices require human intervention to confirm that a fire has occurred in the event of an alarm. In addition, these systems require various types of tools to alert people by detecting fire or smoke and providing a location.
또한, 연기 감지기는, 연기와 불꽃을 구별할 수 없는 경우, 종종 잘못 트리거 되기도 한다. 화재 감지 센서는 명확한 탐지를 위한 충분한 강도의 화재로 탐지에 걸리는 시간이 연장될 수 있다.Also, smoke detectors often trigger falsely when they cannot differentiate between smoke and flame. A fire detection sensor may prolong the time it takes to detect a fire of sufficient intensity for definitive detection.
종래의 화재 감지기는, 명확한 감지를 위해 충분할 정도의 화재 강도를 요구했기 때문에, 감지에 시간이 소요됐고, 이로 인해 화재 진행으로 인한 많은 손해와 피해를 가져왔다. 화재 감시 시스템의 견고성과 안정성을 향상시킬 수 있는 대안적인 솔루션은, 시각적 화재 감지 기술의 구현이다. 이와 관련하여, 많은 연구자들이 컴퓨터 비전 기반의 방법과 센서의 조합을 통한 연구를 통해 위에서 업급된 한계를 극복하기 위해 노려해 왔다.Since conventional fire detectors require sufficient fire intensity for clear detection, detection takes time, resulting in a lot of damage and damage due to fire progress. An alternative solution that can improve the robustness and reliability of fire surveillance systems is the implementation of visual fire detection technology. In this regard, many researchers have attempted to overcome the above-mentioned limitations through research through a combination of computer vision-based methods and sensors.
화재 감지 관련 기술로서 국내 공개 특허 제10-2013-0101873호는 열화상 카메라를 이용한 산불 감시 장치 및 그 방법을 개시하고 있다. 관련 기술은, 전경과 배경 분리부, 패턴 저장부, 객체 추출부 및 트랙킹부를 포함하는 산불 감시 장치를 개시하고 있으나, 열화상 이미지에 기반하는 점에서 본 발명의 구성과 구별된다.As a fire detection related technology, Korean Patent Publication No. 10-2013-0101873 discloses a forest fire monitoring device and method using a thermal imaging camera. Although the related art discloses a forest fire monitoring device including a foreground and background separation unit, a pattern storage unit, an object extraction unit, and a tracking unit, it is distinguished from the configuration of the present invention in that it is based on a thermal image.
또한, 화재 감지 관련 기술로서 국내 공개 특허 제10-2020-0078849호는 disposable IoT 단말을 활용한 산불 확산 예측 및 재발화 감시 서비스 방법 및 시스템을 개시하고 있다. 관련 기술은, 드론을 이용 온도 센서 및 이산화탄소 센서가 장착된 disposable IoT의 살포를 통해 대기의 온도와 이산화탄소 농도를 측정함으로써 산불을 감시하는 방법에 관한 것이라는 점에서, 인공지능 모델을 이용하여 불꽃 및 연기를 감지하는 본 발명의 구성과 구별된다.In addition, as a fire detection related technology, Korean Patent Publication No. 10-2020-0078849 discloses a service method and system for predicting wildfire spread and monitoring recurrence using a disposable IoT terminal. Related technology relates to a method for monitoring forest fires by measuring the temperature and carbon dioxide concentration of the atmosphere through the spraying of disposable IoTs equipped with temperature sensors and carbon dioxide sensors using drones. It is distinguished from the configuration of the present invention that detects.
본 발명이 해결하고자 하는 일 과제는, 불꽃 및 연기를 자동으로 감지하는 방법 및 이를 이용하는 감시 시스템을 제공하는 것이다.One problem to be solved by the present invention is to provide a method for automatically detecting flame and smoke and a monitoring system using the same.
본 발명이 해결하고자 하는 일 과제는, 확장 컨볼루션에 기반하는 인공 신경망 모델을 이용하여 불꽃 및 연기를 자동으로 감지하는 방법 및 이를 이용하는 감시 시스템을 제공하는 것이다.One problem to be solved by the present invention is to provide a method for automatically detecting flame and smoke using an artificial neural network model based on extended convolution and a monitoring system using the same.
본 발명이 해결하고자 하는 일 과제는, 확장 컨볼루션 기법을 이용하여 적은 량의 학습용 데이터 및 적은 량의 학습 시간을 투자하고도, 불꽃 및 연지 감지율이 높은 인공 신경망 모델 및 이를 이용하는 감시 시스템을 제공하는 것이다.One problem to be solved by the present invention is to provide an artificial neural network model with a high flame and rouge detection rate even after investing a small amount of learning data and a small amount of learning time using an extended convolution technique, and a monitoring system using the same is to do
상기 과제를 해결하기 위해, 본 발명의 일 실시 예에 따른 ~ 방법은, 수집된 불꽃 및 연기에 관한 영상을 이용하여 데이터셋을 생성하는 데이터 처리부; 데이터셋을 이용하여 불꽃 및 연기를 감지하도록 훈련되는 CNN(Convolutional Neural Network) 기반의 화재 감지 모델과 이를 훈련시키는 학습부; 및 화재 감지 모델의 성능을 테스트하는 모델 검증부를 포함하도록 구성될 수 있다.In order to solve the above problems, ~ method according to an embodiment of the present invention, a data processing unit for generating a dataset using the collected images of flame and smoke; A fire detection model based on CNN (Convolutional Neural Network) trained to detect flames and smoke using a dataset and a learning unit for training the same; And it may be configured to include a model verification unit for testing the performance of the fire detection model.
또한, 감시 시스템은, 데이터셋에 포함된 불꽃 영상 및 연기 영상의 크기 및 데이터 용량에 따라 상기 CNN 기반의 화재 감지 모델에 포함된 레이어의 수 및 커널의 크기 중에서 적어도 하나를 결정하는 제어부를 더 포함하도록 구성될 수 있다.In addition, the surveillance system further includes a control unit that determines at least one of the number of layers and the size of a kernel included in the CNN-based fire detection model according to the size and data capacity of the flame image and smoke image included in the dataset. can be configured to
또한, 제어부는, 모델 검증부의 테스트 결과의 피드백에 기반하여 상기 화재 감지 모델에 포함된 레이어의 수 및 커널의 크기 중에서 적어도 하나를 변경할 수 있다.Also, the control unit may change at least one of the number of layers and the size of the kernel included in the fire detection model based on the feedback of the test result of the model verifier.
또한, 화재 감지 모델은, 1차 내지 4차 합성곱 레이어(Convolutional Layer)를 포함하되,In addition, the fire detection model includes 1st to 4th convolutional layers,
각 차수의 합성곱 레이어 다음에 Max-pooling Layer를 포함하도록 구성될 수 있다.It can be configured to include a Max-pooling layer after each convolutional layer.
또한, 합성곱 레이어는, 확장 CNN(Dilated Convolutional Neural Network)의 Layer에 해당할 수 있다.In addition, the convolution layer may correspond to a layer of an extended CNN (Dilated Convolutional Neural Network).
또한, 합성곱 레이어는, 3*3*3(가로*세로*컬러 채널)의 커널 사이즈의 필터를 포함하도록 구성될 수 있다.In addition, the convolution layer may be configured to include a filter having a kernel size of 3*3*3 (horizontal * vertical * color channels).
또한, 화재 감지 모델은, 1차 및 2차 Fully Connected Layer를 포함하되,In addition, the fire detection model includes the first and second Fully Connected Layers,
각 차수의 Fully Connected Layer 앞에 Dropout Layer를 더 포함하도록 구성될 수 있다.It may be configured to further include a dropout layer before the fully connected layer of each order.
또한, 화재 감지 모델은, 불꽃 또는 연기를 감지하는 분류 레이어(Classification Layer)를 포함하도록 구성될 수 있다.In addition, the fire detection model may be configured to include a classification layer for detecting flame or smoke.
본 발명의 일 실시 예에 따른 불꽃 감시 방법은, 수집된 불꽃 및 연기에 관한 영상을 이용하여 데이터셋을 생성하는 단계; 데이터셋을 이용하여 불꽃 및 연기를 감지하도록 CNN(Convolutional Neural Network) 기반의 화재 감지 모델을 훈련시키는 단계; 및 화재 감지 모델의 성능을 테스트하는 단계를 포함하도록 구성될 수 있다.A flame monitoring method according to an embodiment of the present invention includes generating a dataset using collected flame and smoke images; training a convolutional neural network (CNN)-based fire detection model to detect flames and smoke using a dataset; and testing the performance of the fire detection model.
본 발명의 일 실시 예에 따른, 감시 시스템은, 이미지 분석을 위해 데이터셋에 포함된 이미지의 픽셀 정보를 읽어 들이는 가로 및 세로 크기를 갖는 복수의 필터들; 각 필터를 통해 입력된 픽셀 정보를 분석하는 복수의 합성곱 레이어(Convolutional Layer); 및 합성곱 레이어에 의한 픽셀 분석을 기반으로 테스트 이미지 내에서 불꽃 및 연기 중에서 적어도 하나를 감지함으로써 화재를 자동으로 감지하는 Classification Layer를, 확장 합성곱 신경망의 구성요소로서 포함하도록 구성될 수 있다.According to an embodiment of the present invention, a surveillance system includes: a plurality of filters having horizontal and vertical sizes for reading pixel information of an image included in a dataset for image analysis; A plurality of convolutional layers for analyzing pixel information input through each filter; and a classification layer that automatically detects fire by detecting at least one of flame and smoke in the test image based on pixel analysis by the convolutional layer, as a component of the extended convolutional neural network.
또한, 필터는, 커널 사이즈가 3인 경우 최적의 성능을 나타내는 것을 특징으로 한다.In addition, the filter is characterized in that it exhibits optimal performance when the kernel size is 3.
또한, 합성곱 레이어는, 합성곱 레이어의 수가 4인 경우 최적의 성능을 나타내는 것을 특징으로 한다.In addition, the convolution layer is characterized in that it exhibits optimal performance when the number of convolution layers is 4.
기타 실시 예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.Details of other embodiments are included in the "specific details for carrying out the invention" and the accompanying "drawings".
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시 예를 참조하면 명확해질 것이다.Advantages and/or features of the present invention, and methods of achieving them, will become apparent with reference to the various embodiments described below in detail in conjunction with the accompanying drawings.
그러나 본 발명은 이하에서 개시되는 각 실시 예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시 예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.However, the present invention is not limited only to the configuration of each embodiment disclosed below, but may also be implemented in various other forms, and each embodiment disclosed herein only makes the disclosure of the present invention complete, and the present invention It is provided to completely inform those skilled in the art of the scope of the present invention, and it should be noted that the present invention is only defined by the scope of each claim of the claims.
본 발명에 의하면, 레이어 수 및 커널 크기를 최적으로 결정함으로써 효율적 비용을 들여 불꽃 및 연기를 감지하는 학습 모델을 완성할 수 있다.According to the present invention, it is possible to complete a learning model for detecting flames and smoke at an efficient cost by optimally determining the number of layers and the kernel size.
또한, 확장 컨볼루션에 기반하는 인공 신경망을 이용하여 오버피팅을 방지할 수 있다.In addition, overfitting can be prevented by using an artificial neural network based on extended convolution.
도 1은 본 발명의 일 실시 예에 따른 감시 시스템의 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 감시 시스템의 네트워크 구성도이다.
도 3은 본 발명의 일 실시 예에 따른 불꼬 및 연기 자동 감지 방법의 흐름도이다.
도 4은 본 발명의 일 실시 예에서 사용된 데이터셋의 불꽃 이미지이다.
도 5는 본 발명의 일 실시 예에서 사용된 데이터셋의 연기 이미지이다.
도 6은 본 발명의 일 실시 예에 따른 확장 CNN 필터의 예시도이다.
도 7은 본 발명의 일 실시 예에 따른 확장 CNN을 이용하는 필터링의 예시도이다.
도 8은 본 발명의 일 실시 예에 따른 인공 신경망 모델의 예시도이다.
도 9는 본 발명의 일 실시 예에 따른 인공 신경망 모델의 세부 정보를 나타내는 테이블이다.
도 10은 본 발명의 일 실시 예에 따른 인공 신경망 모델의 종류에 따른 훈련 정확도 비교의 그래프이다.
도 11은 본 발명의 일 실시 예에 따른 인공 신경망 모델의 종류에 따른 훈련 정확도 비교의 그래프이다.
도 12는 본 발명의 일 실시 예에 따른 인공 신경망 모델의 레이어 수에 따른 훈련 정확도 비교의 그래프이다.
도 13은 본 발명의 일 실시 예에 따른 인공 신경망 모델의 커널 사이즈에 따른 훈련 정확도 비교의 그래프이다.
도 14는 본 발명의 일 실시 예에 따른 인공 신경망 모델과 타 모델의 훈련 정확도 비교의 그래프이다.
도 15는 본 발명의 일 실시 예에 따른 인공 신경망 모델과 타 모델의 훈련 정확도 비교의 그래프이다.
도 16은 본 발명의 일 실시 예에 따른 인공 신경망 모델과 타 모델의 훈련 및 테스트 스코어 비교의 그래프이다.
도 17은 본 발명의 일 실시 예에 따른 인공 신경망 모델과 타 모델의 훈련 및 예측에 소요된 시간 비교의 그래프이다.1 is a block diagram of a monitoring system according to an embodiment of the present invention.
2 is a network configuration diagram of a monitoring system according to an embodiment of the present invention.
3 is a flowchart of a method for automatically detecting fire and smoke according to an embodiment of the present invention.
4 is a flame image of a dataset used in an embodiment of the present invention.
5 is a smoke image of a dataset used in an embodiment of the present invention.
6 is an exemplary diagram of an extended CNN filter according to an embodiment of the present invention.
7 is an exemplary diagram of filtering using an extended CNN according to an embodiment of the present invention.
8 is an exemplary diagram of an artificial neural network model according to an embodiment of the present invention.
9 is a table showing detailed information of an artificial neural network model according to an embodiment of the present invention.
10 is a graph of training accuracy comparison according to types of artificial neural network models according to an embodiment of the present invention.
11 is a graph of training accuracy comparison according to types of artificial neural network models according to an embodiment of the present invention.
12 is a graph of training accuracy comparison according to the number of layers of an artificial neural network model according to an embodiment of the present invention.
13 is a graph of training accuracy comparison according to kernel size of an artificial neural network model according to an embodiment of the present invention.
14 is a graph of comparison of training accuracy between an artificial neural network model and other models according to an embodiment of the present invention.
15 is a graph of comparison of training accuracy between an artificial neural network model and other models according to an embodiment of the present invention.
16 is a graph of training and test scores comparison between an artificial neural network model and other models according to an embodiment of the present invention.
17 is a graph of a comparison of time required for training and prediction between an artificial neural network model and another model according to an embodiment of the present invention.
본 발명을 상세하게 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니 되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있고, 더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.Before explaining the present invention in detail, the terms or words used in this specification should not be construed unconditionally in a conventional or dictionary sense, and in order for the inventor of the present invention to explain his/her invention in the best way It should be noted that concepts of various terms may be appropriately defined and used, and furthermore, these terms or words should be interpreted as meanings and concepts corresponding to the technical idea of the present invention.
즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시 예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니며, 이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.That is, the terms used in this specification are only used to describe preferred embodiments of the present invention, and are not intended to specifically limit the contents of the present invention, and these terms represent various possibilities of the present invention. It should be noted that it is a defined term.
또한, 본 명세서에서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있으며, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.In addition, it should be noted that in this specification, singular expressions may include plural expressions unless the context clearly indicates otherwise, and similarly, even if they are expressed in plural numbers, they may include singular meanings. .
본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.Throughout this specification, when a component is described as "including" another component, it does not exclude any other component, but further includes any other component, unless otherwise stated. It can mean you can do it.
더 나아가서, 어떤 구성 요소가 다른 구성 요소의 "내부에 존재하거나, 연결되어 설치된다"라고 기재한 경우에는, 이 구성 요소가 다른 구성 요소와 직접적으로 연결되어 있거나 접촉하여 설치되어 있을 수 있고, 일정한 거리를 두고 이격되어 설치되어 있을 수도 있으며, 일정한 거리를 두고 이격되어 설치되어 있는 경우에 대해서는 해당 구성 요소를 다른 구성 요소에 고정 내지 연결하기 위한 제 3의 구성 요소 또는 수단이 존재할 수 있으며, 이 제 3의 구성 요소 또는 수단에 대한 설명은 생략될 수도 있음을 알아야 한다.Furthermore, when a component is described as “existing inside or connected to and installed” of another component, this component may be directly connected to or installed in contact with the other component, and a certain It may be installed at a distance, and when it is installed at a certain distance, a third component or means for fixing or connecting the corresponding component to another component may exist, and now It should be noted that the description of the components or means of 3 may be omitted.
반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, 또는 "직접 접속"되어 있다고 기재되는 경우에는, 제 3의 구성 요소 또는 수단이 존재하지 않는 것으로 이해하여야 한다.On the other hand, when it is described that a certain element is "directly connected" to another element, or is "directly connected", it should be understood that no third element or means exists.
마찬가지로, 각 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 " ~ 사이에"와 "바로 ~ 사이에", 또는 " ~ 에 이웃하는"과 " ~ 에 직접 이웃하는" 등도 마찬가지의 취지를 가지고 있는 것으로 해석되어야 한다.Similarly, other expressions describing the relationship between components, such as "between" and "directly between", or "adjacent to" and "directly adjacent to" have the same meaning. should be interpreted as
또한, 본 명세서에서 "일면", "타면", "일측", "타측", "제 1", "제 2" 등의 용어는, 사용된다면, 하나의 구성 요소에 대해서 이 하나의 구성 요소가 다른 구성 요소로부터 명확하게 구별될 수 있도록 하기 위해서 사용되며, 이와 같은 용어에 의해서 해당 구성 요소의 의미가 제한적으로 사용되는 것은 아님을 알아야 한다.In addition, in this specification, the terms "one side", "the other side", "one side", "the other side", "first", "second", etc., if used, refer to one component It is used to be clearly distinguished from other components, and it should be noted that the meaning of the corresponding component is not limitedly used by such a term.
또한, 본 명세서에서 "상", "하", "좌", "우" 등의 위치와 관련된 용어는, 사용된다면, 해당 구성 요소에 대해서 해당 도면에서의 상대적인 위치를 나타내고 있는 것으로 이해하여야 하며, 이들의 위치에 대해서 절대적인 위치를 특정하지 않는 이상은, 이들 위치 관련 용어가 절대적인 위치를 언급하고 있는 것으로 이해하여서는 아니된다.In addition, in this specification, terms related to positions such as "top", "bottom", "left", and "right", if used, should be understood as indicating a relative position in the drawing with respect to the corresponding component, Unless an absolute position is specified for these positions, these positional terms should not be understood as referring to an absolute position.
또한, 본 명세서에서는 각 도면의 각 구성 요소에 대해서 그 도면 부호를 명기함에 있어서, 동일한 구성 요소에 대해서는 이 구성 요소가 비록 다른 도면에 표시되더라도 동일한 도면 부호를 가지고 있도록, 즉 명세서 전체에 걸쳐 동일한 참조 부호는 동일한 구성 요소를 지시하고 있다.In addition, in this specification, in specifying the reference numerals for each component of each drawing, for the same component, even if the component is displayed in different drawings, it has the same reference numeral, that is, the same reference throughout the specification. Symbols indicate identical components.
본 명세서에 첨부된 도면에서 본 발명을 구성하는 각 구성 요소의 크기, 위치, 결합 관계 등은 본 발명의 사상을 충분히 명확하게 전달할 수 있도록 하기 위해서 또는 설명의 편의를 위해서 일부 과장 또는 축소되거나 생략되어 기술되어 있을 수 있고, 따라서 그 비례나 축척은 엄밀하지 않을 수 있다.In the drawings accompanying this specification, the size, position, coupling relationship, etc. of each component constituting the present invention is partially exaggerated, reduced, or omitted in order to sufficiently clearly convey the spirit of the present invention or for convenience of explanation. may be described, and therefore the proportions or scale may not be exact.
또한, 이하에서, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성, 예를 들어, 종래 기술을 포함하는 공지 기술에 대해 상세한 설명은 생략될 수도 있다.In addition, in the following description of the present invention, a detailed description of a configuration that is determined to unnecessarily obscure the subject matter of the present invention, for example, a known technology including the prior art, may be omitted.
이하, 본 발명의 실시 예에 대해 관련 도면들을 참조하여 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to related drawings.
도 1은 본 발명의 일 실시 예에 따른 감시 시스템의 블록도이다.1 is a block diagram of a monitoring system according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 감시 시스템(100)은, 제어부(110), 입력 장치(120), 출력 장치(130), 저장 장치(140), 통신 장치(150) 및 메모리(160)를 포함하도록 구성될 수 있다.Referring to FIG. 1 , a
제어부(110)는, 입력 장치(120), 출력 장치(130), 저장 장치(140), 통신 장치(150)를 직접 또는 간접적으로 제어하는 기능 외에, 메모리(160)에 로드된 각종 프로그램 모듈을 제어하는 역할을 한다.The
제어부(110)는, 데이터셋에 포함된 불꽃 영상 및 연기 영상의 크기 및 데이터 용량에 따라 상기 CNN 기반의 화재 감지 모델에 포함된 레이어의 수 및 커널의 크기 중에서 적어도 하나를 결정할 수 있다.The
또한, 제어부(110)는, 모델 검증부의 테스트 결과의 피드백에 기반하여 상기 화재 감지 모델에 포함된 레이어의 수 및 커널의 크기 중에서 적어도 하나를 변경할 수 있다.Also, the
입력 장치(120)는, 사용자 입력을 위한 키보드, 마우스, 터치패드 외에 실시간으로 감시 대상을 촬영하는 카메라를 포함하도록 구성될 수 있다.The
출력 장치(120)는, 화재 감지를 위해 수집된 영상을 표시하는 모니터링 디스플레이 외에, 화재 현장이 감지된 경우, 이를 알릴 수 있는 알람 수단, 예를 들어 스피커를 포함하도록 구성될 수 있다.The
감시 시스템은(100)은, 감시 기능과 관련하여 불꽃 또는 연기를 자동으로 감지하는 기능을 수행하는 모듈들, 예를 들어 데이터 처리부(161), 학습부(162), 검증부(163) 및 화재 감지 모델(164)을 포함하도록 구성될 수 있다. 이들 모듈들은, 하드웨어 및 소프트웨어 중에서 적어도 하나를 이용하여 구현될 수 있다.The
데이터 처리부(161)는, 수집된 불꽃 이미지와 연기 이미지를 처리함으로써 학습용과 테스트용의 데이터셋을 생성하는 역할을 한다.The
학습부(162)는, 불꽃 이미지와 연기 이미지로 구성된 데이터셋을 이용하여 화재 감지 모델을 학습시키는 기능을 한다.The
검증부(163)는, 데스트 용도의 데이터셋을 이용하여 학습을 마치 화재 감지 모델의 성능을 데스트하는 역할을 한다.The
화재 감지 모델(164)은, 학습용 데이터셋을 이용하는 학습의 주체로서, 본 발명에서는 불꽃 이미지 및 연기 이미지로 구성된 데이터셋을 이용하여 불꽃 또는 연기를 인식함으로써 자동으로 화재를 감지하는 방법을 학습한다.The
도 2는 본 발명의 일 실시 예에 따른 감시 시스템의 네트워크 구성도이다. 2 is a network configuration diagram of a monitoring system according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 감시 시스템(100)과, 이와 네트워크(300)를 통해서 연결된 적어도 하나 이상의 서버(200)가 묘사되어 있다. 감시 시스템(100)은, 화재 감지 모델을 포함하는 것을 특징으로 한다. 또한, 감시 시스템(100)은, 화재 감지 모델의 학습 및 평가를 위한 시스템으로 이용될 수 있다. 감지 모델의 학습 및 평가에는 감시 시스템(100) 외에 각종 서버(200)가 이용될 수 있다. 서버(200)는 기능 별로, 데이터 서버, 인공지능 API 서버, 클라우드 서버, 및 웹서버 등을 포함할 수 있다.Referring to FIG. 2 , a
도 3은 본 발명의 일 실시 예에 따른 불꽃 및 연기 자동 감지 방법의 흐름도이다.3 is a flowchart of a method for automatically detecting flames and smoke according to an embodiment of the present invention.
도 3을 참조하면, 감지 방법(S100)은 수집된 영상을 이용하여 데이터셋을 생성하는 단계(S110), 데이터셋을 이용하여 화재 감지 모델을 훈련시키는 단계(S120) 및 화재 감지 모델의 성능을 테스트하는 단계(S130)를 포함하도록 구성될 수 있다.Referring to FIG. 3, the detection method (S100) includes generating a dataset using the collected images (S110), training a fire detection model using the dataset (S120), and evaluating the performance of the fire detection model. It may be configured to include a testing step (S130).
비전 관련 작업의 주요 한계 요인들 중의 하나는 제안된 방법을 평가하고 분석하는데 사용될 강건한 데이터가 부족하다는 것이다. 적합한 데이터셋을 찾기 위해, 본 발명에서는 이전 연구에서 사용되었던 데이터셋이 면밀히 검토되었다. 많은 데이터셋 중에서, Foggia 등에 의해 제공된 데이터셋은, 14 개의 불꽃 및 17 개의 불꽃 외의 비디오를 포함한다. 그러나, 이 비디오의 다양성이 훈련에 적합하지 않았기 때문에, One of the major limiting factors for vision-related work is the lack of robust data to be used to evaluate and analyze the proposed method. In order to find a suitable dataset, the datasets used in previous studies were carefully reviewed in the present study. Among many datasets, the dataset provided by Foggia et al. contains 14 fireworks and 17 non-fire videos. However, since the variety of this video was not suitable for training,
트레이닝 셋은 Foggia의 데이터셋에서 추출된 불꽃 이미지와 인터넷 상에서 구해진 이미지로 구성된다. 또 다른 인터넷 소스로부터 구해진 연기 영상은 데이터셋의 다양성을 높였다. The training set consists of flame images extracted from Foggia's dataset and images obtained from the Internet. Video of the smoke obtained from another Internet source increased the diversity of the dataset.
비디오로부터 프레임이 추출되고, 본 발명에서 사용하기 위한, 최종 불꽃-연기 데이터셋을 구축하기 위해, 각 비디오로부터 이미지가 무작위적으로 추출되었다. 본 발명의 일 실시 예에 따른 데이터셋은 8430개의 불꽃 이미지 및 8430개의 연기 이미지, 전체 16,860개의 이미지를 포함한다.Frames were extracted from the video, and images were randomly extracted from each video to build the final flame-smoke dataset for use in the present invention. A dataset according to an embodiment of the present invention includes 8430 flame images and 8430 smoke images, a total of 16,860 images.
도 4은 본 발명의 일 실시 예에서 사용된 데이터셋의 불꽃 이미지이다.4 is a flame image of a dataset used in an embodiment of the present invention.
도 5는 본 발명의 일 실시 예에서 사용된 데이터셋의 연기 이미지이다.5 is a smoke image of a dataset used in an embodiment of the present invention.
도 4 및 도 5를 참조하면, 수집된 불꽃 이미지와 연기 이미지들의 예가 묘사되어 있다. RGB 이미지들은 JPG 포맷으로 저장되고, 이미지들은 100*100 픽셀의 크기를 갖는다.Referring to Figures 4 and 5, examples of collected flame images and smoke images are depicted. RGB images are saved in JPG format, and the images have a size of 100*100 pixels.
본 발명의 일 실시 예에 따른 화재 감지 모델은, 인공 신경망(Neural Network)에 기반한다. 화재 감지 모델은, 인공 신경망 중에서, 합성곱 신경망(Convolutional Neural Network)이라고 하는 CNN에 기반할 수 있다. 합성곱은 컨볼루션이라 하는데, 하나의 함수와 또 다른 함수를 반전 이동한 값을 곱한 다음, 구간에 대해 적분하여 새로운 함수를 구하는 수학 연산자이다.A fire detection model according to an embodiment of the present invention is based on an artificial neural network. The fire detection model may be based on a CNN called a convolutional neural network, among artificial neural networks. A convolution, also called convolution, is a mathematical operator that multiplies one function by the inverted shift of another function, and then integrates over an interval to obtain a new function.
컨볼루션(convolution)을 이용하는 목적은, 입력 이미지로부터 학습 가능한 특징을 수집하는 것이다. 컴퓨터 비전에서, 특징을 추출하는 몇 가지 다른 종류의 컨볼루션 용도의 필터가 존재한다. 각 유형의 필터는, 입력 데이터로부터 예를 들어 수평방향, 수직방향 및 대각선방향 에지와 같은 서로 다른 측면 또는 특징을 추출하는 역할을 한다.The purpose of using convolution is to collect learnable features from an input image. In computer vision, there are several different types of convolutional purpose filters that extract features. Each type of filter is responsible for extracting different aspects or features from the input data, for example horizontal, vertical and diagonal edges.
수학식 1은 일반적인 컨볼루션(standard convolution)을 나타내고, 수학식 2는 확장 컨볼루션(dilated convolution)을 나타낸다.
수학식 2를 참조하면, s+lt=p는 컨볼루션 중에 어떤 포인트는 스킵될 수 있음을 알려준다. 더욱이, 확장 컨볼루션(dilated convolution)은 신경망으로 하여금 컨텍스트로부터 더 많은 정보를 얻게 하고, 적은 파라미터로 인하여 적은 연산 시간을 요하도록 한다. 그리고 확장 컨볼루션은, 모델이 일반 컨볼루션이 이용하는 모델보다 더 빠른 연산을 하도록 허락한다. 확장 컨볼루션은, 각 픽셀이 해당 카테고리에 의해 라벨링 되는 픽셀 이미지 분할(image segmentation)에서 주로 사용된다. 따라서, 신경망의 출력은 입력 이미지와 동일한 크기일 필요가 있다.Referring to
확장 컨볼루션은 간단히 말하면, 기존 컨볼루션 필터가 수용하는 픽셀 사이에 간격을 둔 형태이다. 확장 컨볼루션에서 입력 픽셀 수는 일반 컨볼루션과 동일하지만, 확장 컨볼루션은 더 넓은 범위에 대한 입력을 수용할 수 있게 된다.In simple terms, extended convolution is a form of spacing between pixels accommodated by existing convolution filters. In extension convolution, the number of input pixels is the same as in normal convolution, but extension convolution can accommodate a wider range of inputs.
확장 컨볼루션은 합성곱 레이어(Convolutional layer)에 또 다른 파라미터인 dilation rate이 도입된 것이다. Dilation rate은 커널 사이즈 간격을 정의한다.Extended convolution introduces another parameter, the dilation rate, into the convolutional layer. The dilation rate defines the kernel size interval.
도 6은 본 발명의 일 실시 예에 따른 확장 CNN 필터의 예시도이다.6 is an exemplary diagram of an extended CNN filter according to an embodiment of the present invention.
도 6을 참조하면, dilation rate이 2인 3*3 커널은 9개의 파라미터를 사용하면서 5*5 커널과 동일한 시야(view)를 갖는다.Referring to FIG. 6, a 3*3 kernel with a dilation rate of 2 has the same view as a 5*5 kernel while using 9 parameters.
도 7은 본 발명의 일 실시 예에 따른 확장 CNN을 이용하는 필터링의 예시도이다.7 is an exemplary diagram of filtering using an extended CNN according to an embodiment of the present invention.
도 7을 참조하면, 5*5 커널을 사용하고 두번째와 네번째 열과 행이 모두 삭제되면 (3*3 커널을 사용한 경우 대비) 동일한 계산 비용으로 더 넓은 시야가 제공될 수 있다.Referring to FIG. 7 , when the 5*5 kernel is used and all of the second and fourth columns and rows are deleted (compared to the case of using the 3*3 kernel), a wider field of view can be provided with the same computational cost.
확장 컨볼루션은 특히 real-time segmentation 분야에서 주로 사용된다. 특히 확장 컨볼루션은, 넓은 시야가 필요하고 여러 convolution이나 큰 커널을 사용할 여유가 없는 경우 사용된다.Extended convolution is used especially in the field of real-time segmentation. In particular, extended convolution is used when you need a wide field of view and cannot afford to use multiple convolutions or large kernels.
즉 확장 컨볼루션은, 적은 계산 비용으로 Receptive Field를 늘리는 방법이다. 이 확장 컨볼루션은 필터 내부에 zero padding을 추가해서 강제로 receptive field를 늘리게 되는데, weight가 존재하는 파라미터가 있고, 나머지 부분은 0으로 채워지게 된다. 이 receptive field는 필터가 한번 보는 영역으로 사진의 feature를 파악하고, 추출하기 위해서는 넓은 receptive field를 사용하는 것이 좋다. 확장 컨볼루션은, Dimension 손실이 적고, 대부분의 weight가 0이기 때문에 연산의 효율이 좋다. 공간적 특징을 유지하는 segmentation에서 주로 사용되는 이유이다.In other words, extended convolution is a method of increasing the receptive field with low computational cost. This extended convolution forcibly increases the receptive field by adding zero padding inside the filter. There is a parameter with weight, and the rest is filled with 0. This receptive field is the area that the filter sees once, and it is better to use a wide receptive field to identify and extract features of the photo. Extended convolution has low dimension loss and is efficient in operation because most of the weights are 0. This is why it is mainly used in segmentation that preserves spatial features.
또한, segmentation 뿐만 아니라, object detection 분야에서도 이득을 볼 수 있다. 이와 같이 확장 컨볼루션은, contextual information이 중용한 분야에 적용하기 유리하다. 또한, 간격을 조절하여 다양한 scale에 대한 대응이 가능하다.In addition, not only segmentation, but also benefits can be seen in the field of object detection. In this way, extended convolution is advantageous to apply to fields where contextual information is important. In addition, it is possible to respond to various scales by adjusting the interval.
도 8은 본 발명의 일 실시 예에 따른 인공 신경망 모델의 예시도이다.8 is an exemplary diagram of an artificial neural network model according to an embodiment of the present invention.
본 발명에서 필요한 신경망은, 1000여 개에 달하는 그룹의 분류 작업이 아니다. 따라서, 본 발명에서는 도 8과 같은 적은 레이어의 모델이 구성될 수 있다.The neural network required in the present invention is not a classification task of about 1000 groups. Therefore, in the present invention, a model with fewer layers as shown in FIG. 8 can be configured.
도 8의 구조에서 모든 컨볼루션 레이어는, 사이즈 3*3의 Receptive Field를 이용하고, rate 2의 확장 컨볼루션(Dilated Convolution)이 채용되었다. 4번째 Convolution 레이어 다음에 2024개의 노드를 갖는 2개의 Fully Connected 레이어 및 2개의 노드를 갖는 최종 출력 레이어가 이어진다.In the structure of FIG. 8, all convolution layers use a receptive field of
도 9는 본 발명의 일 실시 예에 따른 인공 신경망 모델의 세부 정보를 나타내는 테이블이다.9 is a table showing detailed information of an artificial neural network model according to an embodiment of the present invention.
제안된 방법의 아키텍처는 도 9에 제공된다. 입력 레이어는 100*100*3(폭*높이*컬러 채널)의 고정 형태의 입력 데이터를 받고, 모든 데이터 포인트들은 주어진 형태에 맞도록 리사이즈 된다.The architecture of the proposed method is provided in FIG. 9 . The input layer receives input data in a fixed shape of 100*100*3 (width*height*color channels), and all data points are resized to fit the given shape.
1차 Convolution 레이어의 출력 모양은, 96*96*128이다. 특징의 연산은 수학식 3으로 주어진다.The output shape of the first convolution layer is 96*96*128. The operation of the feature is given by
수학식 3에서, (폭*높이)는 입력 모양, (Fwidth*Fheight)은 필터 사이즈, Swidth 및 Sheight는 스트라이드이고, P는 패딩(“valid” padding에 해당)한다.In
본 발명에 따른 일 실시 예에서, 전체 4개의 합성곱 레이어(convolutional layer) 다음에 활성화 함수로 Rectified Linear unit(ReLU)를 채택되었다. ReLU의 수학적 폼은 수학식 4와 같이 묘사된다.In one embodiment according to the present invention, a Rectified Linear Unit (ReLU) is adopted as an activation function after all four convolutional layers. The mathematical form of ReLU is described as
ReLU의 장점은, 다른 비선형 활성화 함수 대비 프로세싱 속도도 높은 것이다. 추가로, ReLU는 Gradient Vanishing 문제를 격지 않는데, ReLU 함수의 Gradient는 0 또는 1이기 때문인데, 이는 이것이 포화하지 않는 것을 의미하고, 그래서 Gradient Vanishing 문제가 발생하지 않는다.The advantage of ReLU is its high processing speed compared to other nonlinear activation functions. In addition, ReLU does not suffer from the gradient vanishing problem, since the gradient of the ReLU function is either 0 or 1, which means it does not saturate, so the gradient vanishing problem does not occur.
각 합성곱 레이어 다음에, 다운 샘플링 특징을 위해 max-pooling 레이어가 채택되었다. Max-pooling은, 컴퓨터 비전 작업, 예를 들어 분류(classification), 분할(segmentation), 객체 감지(object detection)를 위해서 average pooling 대비 더욱 효과적인 것이 증명되었다. 본 발명의 일 실시 예에 따른 방법은, 4차 합성곱 레이어까지 factor 2만큼 필터 수의 증가에 의해 작용한다. 초기 레이어에서, dilation rate 2를 갖는 128 커널이 채용되었다. 이어지는 레이어는, 1차 합성곱 레이어 대비 2배의 256 커널로 구성된다. 3차 및 4차 레이어는 동일한 깊이, 즉 512 필터를 갖는다. 컴퓨터 비전에서 흔한 문제점은 오버 피팅(over fitting)이다. 오버 피팅 문제를 방지하기 위해 최종 합성곱 레이어(Final Convolutional Layer) 및 각 fully Connected 레이어 다음에 드롭 아웃 정규화(dropout regularization)가 사용된다.After each convolution layer, a max-pooling layer is adopted for the downsampling feature. Max-pooling has proven to be more effective than average pooling for computer vision tasks, such as classification, segmentation, and object detection. The method according to an embodiment of the present invention works by increasing the number of filters by a factor of 2 up to the 4th order convolution layer. In the initial layer, a 128 kernel with a dilation rate of 2 is employed. Subsequent layers consist of 256 kernels twice as many as those of the first convolutional layer. The 3rd and 4th layers have the same depth, i.e. 512 filters. A common problem in computer vision is overfitting. To avoid overfitting problems, dropout regularization is used after the final convolutional layer and each fully connected layer.
AlexNet은 로컬 입력 영역(local input regions)에 걸쳐 정규화하는 로컬 응답 정규화(local response normalization)를 사용한다. 본 발명의 일 실시 예에 따른 네트워크 아키텍처는 AlexNet 보다 얕으며, 모델을 훈련하는 데 사용되는 데이터의 양은 상당히 많다. 따라서, 어떤 정규화 기술(normalizing technique)의 적용은 데이터 포인트들 간의 본질적인 관계를 잃게 할 수도 있다. 결국, 본 발명은 수학식 5에 묘사된 바와 같이 평가 결과의 확률을 나타내기 위해, 활성화 함수로서 시그모이드 활성화(sigmoid activation)가 채택되었다.AlexNet uses local response normalization to normalize over local input regions. The network architecture according to an embodiment of the present invention is shallower than AlexNet, and the amount of data used to train the model is quite large. Thus, the application of any normalizing technique may cause the intrinsic relationship between data points to be lost. As a result, the present invention adopts sigmoid activation as an activation function to express the probability of an evaluation result as described in
본 발명의 일 실시 예에 따른 화재 감지 모델은, Keras, 텐서플로우 프레임워크의 상위 레벨의 API를 이용하여 훈련되었다. Keras는 파이썬으로 쓰여진 오픈-소스 신경망 라이브러리이다. The fire detection model according to an embodiment of the present invention was trained using Keras and a higher-level API of the TensorFlow framework. Keras is an open-source neural network library written in Python.
또한, 본 발명의 일 실시 예에 따른 화재 감지 모델은, 3.4GHz AMD Ryzen Thread ripper 1950X 16-Core 프로세서 및 11GB 메모리의 NVIDIA GeForce GTX 1080Ti GPU를 갖는 워크스테이션 상에서 훈련될 수 있다. 훈련 중에, 데이터 확장(data augmentation) 기술이 사용되고, 그리고 본 발명에서, epochs 및 배치 사이즈는 250 및 64로 셋될 수 있다. 훈련 프로세스를 최적화하기 위해 SGD(Stochastic Gradient Descent) 알고리즘이 채택되고, 파마미터는 다음과 같이 셋될 수 있다: 초기, 모멘텀은 0.99로 셋되고, 훈련 rate는 10-5, l2 이었고, 정규화는 5*10-4 이었다. 본 발명에서 데이터의 80%가 훈련에 사용하고, 나머지는 모델 성능의 측정에 사용될 수 있다.In addition, a fire detection model according to an embodiment of the present invention may be trained on a workstation having a 3.4GHz AMD Ryzen Thread ripper 1950X 16-Core processor and an NVIDIA GeForce GTX 1080Ti GPU with 11GB memory. During training, a data augmentation technique is used, and in the present invention, epochs and batch size can be set to 250 and 64. To optimize the training process, the Stochastic Gradient Descent (SGD) algorithm is adopted, and the parameters can be set as follows: initial, momentum is set to 0.99, training rate is 10-5, l2, regularization is 5* It was 10-4. In the present invention, 80% of the data is used for training, and the rest can be used for measuring model performance.
본 발명의 일 실시 예에 따른 화재 감지 모델의 효율성을 분석하기 위해, 최적의 커널 사이즈, 확장 비율, 및 컨볼루션 레이어 수의 선택 관련 광범위한 시도가 있었다. 본 발명에서 텐서플로우 상에 구축된 Keras, 머신러닝 라이브러리가 이용되었다. 초기에 확장(dilation)이 포함되지 않은 모델과, 확장된 컨볼루션 레이어가 포함된 모델의 성능이 서로 비교되었다.In order to analyze the efficiency of the fire detection model according to an embodiment of the present invention, extensive attempts have been made regarding the selection of the optimal kernel size, expansion ratio, and number of convolutional layers. In the present invention, Keras, a machine learning library built on TensorFlow, was used. Initially, the performance of the model without dilation and the model with dilated convolutional layers was compared with each other.
성능 실험에 관련된 용어로서, 에포크(epoch)는 전체 데이터셋이 신경망을 1회 학습하는 사이클을 말한다. 배치 사이즈는, 하나의 배치에 포함된 훈련 샘플의 수를 말한다. Iteration은 1 에포크에 소요되는 패스의 수에 해당한다. 배치 사이즈와 iteration 의 곱은 데이터 수를 나타낸다. 가중치(weight) 및 bias를 1회 업데이터하는 것을 1 step이라 한다.As a term related to performance experiments, an epoch refers to a cycle in which the entire dataset trains the neural network once. Batch size refers to the number of training samples included in one batch. Iteration corresponds to the number of passes required for one epoch. The product of batch size and iteration represents the number of data. Updating the weight and bias once is called one step.
도 10은 본 발명의 일 실시 예에 따른 인공 신경망 모델의 종류에 따른 훈련 정확도 비교의 그래프이다.10 is a graph of training accuracy comparison according to types of artificial neural network models according to an embodiment of the present invention.
도 10을 참조하면, 커널 사이즈가 3인 경우, 일반 CNN과 확장 CNN의 성능 비교가 묘사되어 있다.Referring to FIG. 10, when the kernel size is 3, performance comparison between a normal CNN and an extended CNN is depicted.
도 11은 본 발명의 일 실시 예에 따른 인공 신경망 모델의 종류에 따른 훈련 정확도 비교의 그래프이다.11 is a graph of training accuracy comparison according to types of artificial neural network models according to an embodiment of the present invention.
도 11을 참조하면, 커널 사이즈가 5인 경우, 일반 CNN과 확장 CNN의 성능 비교가 묘사되어 있다.Referring to FIG. 11, when the kernel size is 5, performance comparison between a normal CNN and an extended CNN is depicted.
도 10 및 도 11에서 X축 에포크(epoch)의 수를 나타내고, Y축은 모델의 감지 정확도를 나타낸다.10 and 11, the X axis represents the number of epochs, and the Y axis represents the detection accuracy of the model.
도 10 및 도 11은 최종 epoch 이후 모델에 대한 훈련 정확도를 보여준다. 일반 CNN의 경우, 커널 크기가 3과 5 인 경우 각각 98.86% 및 98.63%의 훈련 정확도를 보이는 반면, 확장 CNN의 경우, 두 모델에서 확장된 컨볼루션 레이어가 있는 모델이 99.3%라는 더 높은 훈련 정확도를 제공했고, 테스트 점수는 99.60%를 기록하였다.10 and 11 show the training accuracy for the model after the last epoch. For regular CNN, the training accuracy of 98.86% and 98.63% for kernel sizes of 3 and 5, respectively, whereas for the extended CNN, the model with extended convolutional layers in both models has a higher training accuracy of 99.3%. , and the test score was 99.60%.
확장 합성곱 레이어를 포함하는 CNN은 일반 CNN 대비, 더 높은 훈련 점수 및 테스트 점수를 갖는다. 본 발명의 특징 중 하나는 앞서 언급했듯이 확장 합성곱 신경망을 사용하는 것이다. 본 발명의 일 실시 예에 따른 화재 감지 모델이, 일반 CNN을 사용한 감지 모델과 비교하여 더 높은 성능을 보임을 증명하기 위해 많은 실험이 수행되었다. 도 10 및 도 11은 많은 실험의 결과를 나타낸다.CNNs with extended convolutional layers have higher training and test scores than normal CNNs. One of the features of the present invention is the use of an extended convolutional neural network as mentioned above. A number of experiments have been performed to prove that the fire detection model according to an embodiment of the present invention exhibits higher performance compared to a detection model using a general CNN. 10 and 11 show the results of a number of experiments.
앞에서 언급했듯이 확장 연산자(dilation operator)는 적용 범위(coverage)를 잃지 않고, 수용 필드(receptive field)를 확장하는 기능이 있기 때문에 이미지의 각 픽셀에 대한 각 레이블을 예측하는 데에 적합하다.As mentioned earlier, the dilation operator is suitable for predicting each label for each pixel in an image because it has the ability to expand the receptive field without losing coverage.
도 12는 본 발명의 일 실시 예에 따른 인공 신경망 모델의 레이어 수에 따른 훈련 정확도 비교의 그래프이다.12 is a graph of training accuracy comparison according to the number of layers of an artificial neural network model according to an embodiment of the present invention.
도 12를 참조하면, 레이어의 수가 각각 2, 3, 4 및 5인 경우의 화재 감지 모델의 성능 비교 결과가 묘사되어 있다.Referring to FIG. 12 , performance comparison results of fire detection models when the number of layers are 2, 3, 4, and 5 are depicted.
레이어 수가 2인 경우, 훈련 점수는 98.52%, 테스트 점수는 98.03%, 레이어 수가 3인 경우 훈련 점수는 99.38%, 테스트 점수는 99.06%, 레이어 수가 4인 경우, 훈련 점수는 99.60%, 테스트 점수는 99.53%, 레이어 수가 5인 경우, 훈련 점수는 99.36%, 테스트 점수는 98.07%를 각각 기록하였다. 도 12를 참조하면, 레이어 수에 따른 신경망의 성능은 2~4 구간까지 증가하다가, 레이어 수가 4개인 경우 신경망의 성능은 감소하는 것으로 봐서, 본 발명의 일 실시 예에서 4개의 레이어의 확장 CNN이 최적의 성능을 보였다.When the number of layers is 2, the training score is 98.52% and the test score is 98.03%; when the number of layers is 3, the training score is 99.38% and the test score is 99.06%; When 99.53% and the number of layers were 5, the training score was 99.36% and the test score was 98.07%, respectively. Referring to FIG. 12, the performance of the neural network increases from 2 to 4 according to the number of layers, but when the number of layers is 4, the performance of the neural network decreases. In one embodiment of the present invention, an extended CNN of 4 layers showed optimal performance.
도 13은 본 발명의 일 실시 예에 따른 인공 신경망 모델의 커널 사이즈에 따른 훈련 정확도 비교의 그래프이다.13 is a graph of training accuracy comparison according to kernel size of an artificial neural network model according to an embodiment of the present invention.
위에서 언급되었듯이 적절히 작은 커널 사이즈 채택될 경우 화재 감지 모델의 성능이 높아질 수 있다. 최적의 커널 사이즈를 알아보기 위해, 본 발명의 일 실시 예에 따른 화재 감지 모델에 대해 서로 다른 커널 사이즈를 적용하여 많은 실험이 수행되었다.As mentioned above, if an appropriately small kernel size is adopted, the performance of the fire detection model can be improved. In order to find the optimal kernel size, many experiments have been performed by applying different kernel sizes to the fire detection model according to an embodiment of the present invention.
도 13을 참조하면, 커널 사이즈가 3, 5, 7, 9, 11 및 13인 경우에 화재 감지 모델의 성능 비교 결과가 묘사되어 있다.Referring to FIG. 13 , performance comparison results of fire detection models are depicted when kernel sizes are 3, 5, 7, 9, 11, and 13.
도 13을 참조하면, 본 발명의 일 실시 예에 따른 화재 감지 모델은, 커널 사이즈가 3인 경우, 훈련 점수는 99.6%, 테스트 점수는 99.53%, 커널 사이즈가 5인 경우, 훈련 점수는 99.69%, 테스트 점수는 98.07%, 커널 사이즈가 7인 경우, 훈련 점수는 98.23%, 테스트 점수는 98.83%, 커널 사이즈가 9인 경우, 훈련 점수는 98.13%, 테스트 점수는 98.31%, 커널 사이즈가 11인 경우, 훈련 점수는 98.06%, 테스트 점수는 98.19%, 커널 사이즈가 13인 경우, 훈련 점수는 98.12%, 테스트 점수는 97.95%를 각각 기록하였다. 도 13에서 커널 사이즈 3~11까지 성능이 점점 감소하다가, 커널 사이즈 13에서 11 대비 에포크에 따라 역전 구간이 발생한다. 결론적으로, 본 발명의 일 실시 예에 따른 화재 감지 모델은, 커널 사이즈가 3일 경우 최적의 성능을 보였다.13, in the fire detection model according to an embodiment of the present invention, when the kernel size is 3, the training score is 99.6%, the test score is 99.53%, and the kernel size is 5, the training score is 99.69% , with a test score of 98.07%, a kernel size of 7, a training score of 98.23%, a test score of 98.83%, a kernel size of 9, a training score of 98.13%, a test score of 98.31%, and a kernel size of 11. , the training score was 98.06%, the test score was 98.19%, and the kernel size was 13, the training score was 98.12%, and the test score was 97.95%. In FIG. 13, the performance gradually decreases from
도 14는 본 발명의 일 실시 예에 따른 인공 신경망 모델과 타 모델의 훈련 정확도 비교의 그래프이다.14 is a graph of comparison of training accuracy between an artificial neural network model and other models according to an embodiment of the present invention.
도 15는 본 발명의 일 실시 예에 따른 인공 신경망 모델과 타 모델의 훈련 정확도 비교의 그래프이다.15 is a graph of comparison of training accuracy between an artificial neural network model and other models according to an embodiment of the present invention.
도 14 및 도 15를 참조하면, 본 발명의 일 실시 예에 따른 화재 감지 모델의 훈련 정확도가 타 모델과 비교하여 나타나 있다. 많은 실험을 통해 본 발명의 일 실시 예에 따른 화재 감지 모델이, 전체 모델 중에서 훈련 점수가 가장 높게 나타났다.14 and 15, the training accuracy of the fire detection model according to an embodiment of the present invention is shown compared to other models. Through many experiments, the fire detection model according to an embodiment of the present invention showed the highest training score among all models.
도 16은 본 발명의 일 실시 예에 따른 인공 신경망 모델과 타 모델의 훈련 및 테스트 스코어 비교의 그래프이다.16 is a graph of training and test scores comparison between an artificial neural network model and other models according to an embodiment of the present invention.
도 16을 참조하면, 본 발명의 일 실시 예에 따른 화재 감지 모델과 타 모델, 예를 들어 Inception V3, AlexNet, ResNet, VGG16, Vgg19 과의 훈련 점수, 테스트 점수, F1-점수, Recall, Precision의 결과가 나타나 있다. 본 발명의 일 실시 예에 따른 화재 감지 모델이, 전체 카테고리에서 가장 우수한 성능을 보였다. F1-점수는 Precision 및 Recall의 평균에 해당한다.Referring to FIG. 16, the fire detection model according to an embodiment of the present invention and other models, for example, Inception V3, AlexNet, ResNet, VGG16, Vgg19, training scores, test scores, F1-scores, Recall, and Precision Results are showing up. The fire detection model according to an embodiment of the present invention showed the best performance in all categories. The F1-score corresponds to the average of Precision and Recall.
수학식 6은 성능 평가 지표인 Precision, Recall 및 F1의 정의를 나타낸다.Equation 6 shows the definitions of Precision, Recall, and F1, which are performance evaluation indicators.
도 17은 본 발명의 일 실시 예에 따른 인공 신경망 모델과 타 모델의 훈련 및 예측에 소요된 시간 비교의 그래프이다. 17 is a graph of a comparison of time required for training and prediction between an artificial neural network model and another model according to an embodiment of the present invention.
도 17을 참조하면, 본 발명의 일 실시 예에 따른 화재 감지 모델은, 2시간 15분의 훈련 시간을 기록한 반면, 타 모델, 예를 들어 Inception V3는 10시간 20분, AlexNet은 9시간 26분 40초를, ResNet은 10시간을, VGG16은 3시간 20분을, VGG19는 4시간 43분 20초를 각각 기록하였다. 테스트에 소요된 시간도 본 발명의 일 실시 예에 따른 화재 감지 모델이 1.9시간으로 최소 시간을 기록하였다.Referring to FIG. 17, the fire detection model according to an embodiment of the present invention recorded a training time of 2 hours and 15 minutes, while other models, such as Inception V3, recorded 10 hours and 20 minutes, and AlexNet recorded 9 hours and 26 minutes. 40 seconds, ResNet recorded 10 hours, VGG16 recorded 3 hours 20 minutes, and VGG19 recorded 4 hours 43 minutes 20 seconds. As for the time required for the test, the fire detection model according to an embodiment of the present invention recorded the minimum time of 1.9 hours.
불꽃 및 연기 감지 시스템의 기반이 되는 기술은 최적의 성능을 보장하고 제공에 있어서 현대 감시 환경에서 중요한 역할을 한다. 사실 화재는 생명과 재산에 심각한 피해를 줄 수 있다. 대부분의 도시에 이미 카메라 모니터링 시스템이 설치되어 있는 것을 감안하면, 고무적이게도 이 시스템의 유용성을 이용하여 비용 효율적인 비전 감지 방법이 개발될 수 있다. 그러나 비전 감시 방법은, 복잡한 변형, 비정상적인 카메라 각도 및 시점의 관점 및 계절적 변화로부터 복잡한 비전 감지 작업이 될 수 있다.The technology underlying flame and smoke detection systems plays an important role in the modern surveillance environment in ensuring and providing optimal performance. In fact, fires can cause serious damage to life and property. Given that most cities already have camera monitoring systems installed, encouragingly, cost-effective vision sensing methods can be developed using the system's usefulness. However, the vision monitoring method can be a complex vision sensing task from complex transformations, unusual camera angles and viewpoints, and seasonal changes.
이러한 한계를 극복하기 위해, 본 발명은, 확장 컨볼루션을 채택한 CNN을 이용하는, 딥러닝에 기반하는 새로운 방법을 제안한다.In order to overcome this limitation, the present invention proposes a new method based on deep learning using a CNN employing extended convolution.
본 발명에서 맞춤형 데이터 세트에서 CNN 모델이 훈련 및 테스트 됨으로써 딥러닝에 기반하는 방법이 평가되었다. 맞춤형 데이터 세트는 인터넷에서 수집되고 수동으로 라벨이 붙여진 불꽃과 연기의 이미지로 구성된다. 본 발명에 따른 방법의 성능은 잘 알려진 최첨단 아키텍처에 기반한 방법과 비교될 수 있다.In the present invention, a method based on deep learning was evaluated by training and testing a CNN model on a custom data set. The custom data set consists of images of flames and smoke collected from the internet and manually labeled. The performance of the method according to the present invention is comparable to methods based on well-known state-of-the-art architectures.
이와 같이 본 발명의 일 실시 예에 따르면, 본 발명에 따른 방법의 분류 성능과 복잡성이 우수함이 증명될 수 있다. 또한 본 발명에 따른 방법은, 효과적인 일반화를 제공하고 잘못된 경보의 수를 줄일 수 있는, 보이지 않는 데이터에 대해 잘 일반화되도록 설계되었다.As such, according to an embodiment of the present invention, it can be proved that the classification performance and complexity of the method according to the present invention are excellent. Also, the method according to the present invention is designed to generalize well to unseen data, which can provide effective generalization and reduce the number of false alarms.
이상, 일부 예를 들어서 본 발명의 바람직한 여러 가지 실시 예에 대해서 설명하였지만, 본 "발명을 실시하기 위한 구체적인 내용" 항목에 기재된 여러 가지 다양한 실시 예에 관한 설명은 예시적인 것에 불과한 것이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이상의 설명으로부터 본 발명을 다양하게 변형하여 실시하거나 본 발명과 균등한 실시를 행할 수 있다는 점을 잘 이해하고 있을 것이다.In the above, various preferred embodiments of the present invention have been described with some examples, but the description of various embodiments described in the "Specific Contents for Carrying Out the Invention" section is only exemplary, and the present invention Those skilled in the art will understand from the above description that the present invention can be practiced with various modifications or equivalent implementations of the present invention can be performed.
또한, 본 발명은 다른 다양한 형태로 구현될 수 있기 때문에 본 발명은 상술한 설명에 의해서 한정되는 것이 아니며, 이상의 설명은 본 발명의 개시 내용이 완전해지도록 하기 위한 것으로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이며, 본 발명은 청구범위의 각 청구항에 의해서 정의될 뿐임을 알아야 한다.In addition, since the present invention can be implemented in various other forms, the present invention is not limited by the above description, and the above description is intended to complete the disclosure of the present invention and is common in the technical field to which the present invention belongs. It is only provided to completely inform those skilled in the art of the scope of the present invention, and it should be noted that the present invention is only defined by each claim of the claims.
100: 감시 시스템
110: 제어부
161: 데이터 처리부
162: 학습부
163: 검증부
164: 화재 감지 모델
200: 서버
300: 네트워크100: surveillance system
110: control unit
161: data processing unit
162: learning unit
163: verification unit
164: fire detection model
200: server
300: network
Claims (12)
상기 데이터셋을 이용하여 불꽃 및 연기를 감지하도록 훈련되는 합성곱 신경망(Convolutional Neural Network, CNN) 기반의 화재 감지 모델과 이를 훈련시키는 학습부; 및
상기 화재 감지 모델의 성능을 테스트하는 모델 검증부를 포함하도록 구성되되,
상기 합성곱 신경망은 확장 합성곱 신경망(dilated CNN)이고,
상기 화재 감지 모델에서 합성곱 레이어의 수는 4이고,
상기 합성곱 레이어에서 커널의 사이즈는 3이고,
상기 커널의 확장률(dilation rate)은 2인 것을 특징으로 하는,
감시 시스템.a data processing unit generating a dataset using the collected flame and smoke images;
a convolutional neural network (CNN)-based fire detection model trained to detect flames and smoke using the dataset and a learning unit to train the model; and
It is configured to include a model verification unit for testing the performance of the fire detection model,
The convolutional neural network is a dilated convolutional neural network (dilated CNN),
The number of convolution layers in the fire detection model is 4,
The size of the kernel in the convolution layer is 3,
Characterized in that the dilation rate of the kernel is 2,
surveillance system.
상기 데이터셋에 포함된 불꽃 영상 및 연기 영상의 크기 및 데이터 용량에 따라 상기 CNN 기반의 화재 감지 모델에 포함된 레이어의 수 및 커널의 크기 중에서 적어도 하나를 결정하는 제어부를 더 포함하도록 구성되는,
감시 시스템.According to claim 1,
Further comprising a control unit for determining at least one of the number of layers and the size of a kernel included in the CNN-based fire detection model according to the size and data capacity of the flame image and smoke image included in the dataset,
surveillance system.
상기 화재 감지 모델은,
각 합성곱 레이어 사이에 Max-pooling Layer를 포함하도록 구성되는,
감시 시스템.According to claim 1,
The fire detection model,
Constructed to include a Max-pooling Layer between each convolution layer,
surveillance system.
상기 합성곱 레이어는,
3*3*3(가로*세로*컬러 채널)의 커널 사이즈의 필터를 포함하도록 구성되는,
감시 시스템.According to claim 1,
The convolution layer,
It is configured to include a filter with a kernel size of 3 * 3 * 3 (horizontal * vertical * color channels),
surveillance system.
상기 화재 감지 모델은,
1차 및 2차 Fully Connected Layer를 포함하되,
각 차수의 Fully Connected Layer 앞에 Dropout Layer를 더 포함하도록 구성되는,
감시 시스템.According to claim 1,
The fire detection model,
Including the first and second fully connected layers,
It is configured to further include a Dropout Layer in front of the Fully Connected Layer of each order,
surveillance system.
상기 화재 감지 모델은,
불꽃 또는 연기를 감지하는 분류 레이어(Classification Layer)를 포함하도록 구성되는,
감시 시스템.According to claim 1,
The fire detection model,
It is configured to include a classification layer that detects flame or smoke.
surveillance system.
상기 데이터셋을 이용하여 불꽃 및 연기를 감지하도록 CNN(Convolutional Neural Network) 기반의 화재 감지 모델을 훈련시키는 단계; 및
상기 화재 감지 모델의 성능을 테스트하는 단계를 포함하되,
상기 CNN은 확장 합성곱 신경망(dilated CNN)이고,
상기 화재 감지 모델에서 합성곱 레이어의 수는 4이고,
상기 합성곱 레이어에서 커널의 사이즈는 3이고,
상기 커널의 확장률(dilation rate)은 2인 것을 특징으로 하는,
감시 방법.generating a dataset using the collected flame and smoke images;
training a convolutional neural network (CNN)-based fire detection model to detect flames and smoke using the dataset; and
Including testing the performance of the fire detection model,
The CNN is a dilated convolutional neural network,
The number of convolution layers in the fire detection model is 4,
The size of the kernel in the convolution layer is 3,
Characterized in that the dilation rate of the kernel is 2,
surveillance method.
각 필터를 통해 입력된 픽셀 정보를 분석하는 복수의 합성곱 레이어(Convolutional Layer); 및
상기 합성곱 레이어에 의한 픽셀 분석을 기반으로 테스트 이미지 내에서 불꽃 및 연기 중에서 적어도 하나를 감지함으로써 화재를 자동으로 감지하는 Classification Layer를, 확장 합성곱 신경망의 구성요소로서 포함하도록 구성되되,
상기 합성곱 레이어의 수는 4이고,
상기 합성곱 레이어에서 커널의 사이즈는 3이고,
상기 커널의 확장률(dilation rate)은 2인 것을 특징으로 하는,
감시 시스템.a plurality of filters having horizontal and vertical sizes for reading pixel information of an image included in a dataset for image analysis;
A plurality of convolutional layers for analyzing pixel information input through each filter; and
It is configured to include, as a component of the extended convolutional neural network, a classification layer that automatically detects a fire by detecting at least one of flame and smoke in a test image based on pixel analysis by the convolutional layer,
The number of convolution layers is 4,
The size of the kernel in the convolution layer is 3,
Characterized in that the dilation rate of the kernel is 2,
surveillance system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210016375A KR102493652B1 (en) | 2021-02-04 | 2021-02-04 | Automatic fire and smoke detection method and surveillance systems based on dilated cnns using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210016375A KR102493652B1 (en) | 2021-02-04 | 2021-02-04 | Automatic fire and smoke detection method and surveillance systems based on dilated cnns using the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220112913A KR20220112913A (en) | 2022-08-12 |
| KR102493652B1 true KR102493652B1 (en) | 2023-02-07 |
Family
ID=82803691
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210016375A Active KR102493652B1 (en) | 2021-02-04 | 2021-02-04 | Automatic fire and smoke detection method and surveillance systems based on dilated cnns using the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102493652B1 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240095568A (en) | 2022-12-16 | 2024-06-26 | 한국전력정보(주) | Real-time fire monitoring system for small-scale energy storage system based on edge artificial intelligence using smoke sensor and temperature sensor and fire monitoring method using the same |
| KR102789879B1 (en) * | 2023-06-09 | 2025-04-04 | 주식회사 에이아이프로 | Efficiently operable fire monitoring apparatus using video and method thereof |
| CN116824462B (en) * | 2023-08-30 | 2023-11-07 | 贵州省林业科学研究院 | Forest intelligent fireproof method based on video satellite |
| CN117036361B (en) * | 2023-10-10 | 2024-02-20 | 云南大学 | Power grid transmission line smoke detection method, system, electronic equipment and medium |
| CN118396591A (en) * | 2024-04-23 | 2024-07-26 | 中国矿业大学 | A subway tunnel fire safety monitoring system based on the Internet of Things |
| CN118230202B (en) * | 2024-05-24 | 2024-08-06 | 江西啄木蜂科技有限公司 | Forest fire detection method based on deep learning |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101963404B1 (en) * | 2018-06-14 | 2019-03-28 | 가천대학교 산학협력단 | Two-step optimized deep learning method, computer-readable medium having a program recorded therein for executing the same and deep learning system |
| KR102097294B1 (en) * | 2019-07-19 | 2020-04-06 | (주)지와이네트웍스 | Method and apparatus for training neural network model for detecting flame, and flame detecting method using the same model |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130101873A (en) | 2012-03-06 | 2013-09-16 | (주)유디피 | Monitoring apparatus for forest fire using thermal camera and method thereof |
| AU2017300259A1 (en) * | 2016-07-18 | 2019-02-14 | Nant Holdings Ip, Llc | Distributed machine learning systems, apparatus, and methods |
| KR102109372B1 (en) * | 2018-04-12 | 2020-05-12 | 가천대학교 산학협력단 | Apparatus and method for segmenting of semantic image using fully convolutional neural network based on multi scale image and multi scale dilated convolution |
| KR20200010993A (en) * | 2018-07-11 | 2020-01-31 | 삼성전자주식회사 | Electronic apparatus for recognizing facial identity and facial attributes in image through complemented convolutional neural network |
| KR102309166B1 (en) | 2018-12-24 | 2021-10-06 | 한국전자기술연구원 | Method and System for Forest Fire Prediction and Re-fire Monitoring using Disposable IoT Terminal |
-
2021
- 2021-02-04 KR KR1020210016375A patent/KR102493652B1/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101963404B1 (en) * | 2018-06-14 | 2019-03-28 | 가천대학교 산학협력단 | Two-step optimized deep learning method, computer-readable medium having a program recorded therein for executing the same and deep learning system |
| KR102097294B1 (en) * | 2019-07-19 | 2020-04-06 | (주)지와이네트웍스 | Method and apparatus for training neural network model for detecting flame, and flame detecting method using the same model |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220112913A (en) | 2022-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102493652B1 (en) | Automatic fire and smoke detection method and surveillance systems based on dilated cnns using the same | |
| Kim et al. | Real-time probabilistic classification of fire and smoke using thermal imagery for intelligent firefighting robot | |
| CN112861635B (en) | Fire disaster and smoke real-time detection method based on deep learning | |
| JP4705090B2 (en) | Smoke sensing device and method | |
| CN111091072A (en) | YOLOv 3-based flame and dense smoke detection method | |
| CN113011322B (en) | Detection model training method and detection method for specific abnormal behavior of surveillance video | |
| Chowdhury et al. | Computer vision and smoke sensor based fire detection system | |
| CN114612755B (en) | Fire detection method, system, electronic device and readable storage medium | |
| CN108052865A (en) | A kind of flame detecting method based on convolutional neural networks and support vector machines | |
| KR102185225B1 (en) | Method for detecting sinkhole using deep learning and data association and sinkhole detecting system using it | |
| CN109377713A (en) | A kind of fire alarm method and system | |
| CN115775365A (en) | Controlled smoke and fire interference identification method and device for historical relic and ancient building and computing equipment | |
| CN111539325A (en) | Forest fire detection method based on deep learning | |
| CN119089351A (en) | A data processing method and system based on industrial Internet | |
| CN115661735A (en) | Target detection method and device and computer readable storage medium | |
| CN118038619A (en) | Multi-mode federal learning method and system for intelligent fire monitoring and early warning | |
| CN117576630A (en) | Model training method and safety monitoring method | |
| CN115311601A (en) | Fire detection analysis method based on video analysis technology | |
| Praneash et al. | Forest fire detection using computer vision | |
| KR102544492B1 (en) | Apparatus and method of managing safety of swimming pool | |
| Cheng | Research on Application of the Feature Transfer Method Based on Fast R‐CNN in Smoke Image Recognition | |
| CN117496423A (en) | A low-complexity real-time fire and smoke detection method based on deep learning | |
| Goel et al. | An emerging fire detection system based on convolutional neural network and aerial-based forest fire identification | |
| Sridhar et al. | Wildfire Detection and Avoidance of false Alarm Using Densenet | |
| Lian et al. | An improved fire and smoke detection method based on YOLOv7 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20210204 |
|
| PA0201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20220727 Patent event code: PE09021S01D |
|
| PG1501 | Laying open of application | ||
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20230118 |
|
| PG1601 | Publication of registration |