[go: up one dir, main page]

KR102173241B1 - Method and system for detecting abnormal sign in construction site - Google Patents

Method and system for detecting abnormal sign in construction site Download PDF

Info

Publication number
KR102173241B1
KR102173241B1 KR1020180136251A KR20180136251A KR102173241B1 KR 102173241 B1 KR102173241 B1 KR 102173241B1 KR 1020180136251 A KR1020180136251 A KR 1020180136251A KR 20180136251 A KR20180136251 A KR 20180136251A KR 102173241 B1 KR102173241 B1 KR 102173241B1
Authority
KR
South Korea
Prior art keywords
acoustic
acoustic signal
signal
construction site
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020180136251A
Other languages
Korean (ko)
Other versions
KR20200053093A (en
Inventor
진상윤
김인채
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020180136251A priority Critical patent/KR102173241B1/en
Publication of KR20200053093A publication Critical patent/KR20200053093A/en
Application granted granted Critical
Publication of KR102173241B1 publication Critical patent/KR102173241B1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08Construction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0635Risk analysis of enterprise or organisation activities
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Operations Research (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Emergency Alarm Devices (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

본 발명은 건설현장 이상징후 감지 방법 및 시스템에 관한 것으로, 본 발명에 따른 건설현장 이상징후 감지 시스템은 건설 현장의 음향 신호를 입력 받고, 상기 음향 신호를 전송하는 음향 분석기; 및 상기 건설 현장의 음향 신호를 수신하고, 상기 수신한 음향 신호를 정상음 또는 사고음 데이터에 비교하여 이상 징후를 감지하는 음향분석 서버;를 포함하고, 상기 음향분석 서버는, 상기 음향 신호의 특징을 추출하여 카테고리 별로 구분하여 정상음과 이상 신호에 대한 학습 알고리즘을 구성한다.The present invention relates to a construction site abnormal symptom detection method and system, wherein the construction site abnormal symptom detection system according to the present invention comprises: an acoustic analyzer for receiving an acoustic signal from a construction site and transmitting the acoustic signal; And an acoustic analysis server for receiving the acoustic signal of the construction site and detecting an abnormal symptom by comparing the received acoustic signal with normal sound or accident sound data, wherein the acoustic analysis server includes the characteristic of the acoustic signal. Is extracted and classified by category to construct a learning algorithm for normal and abnormal signals.

Description

건설현장 이상징후 감지 방법 및 시스템{METHOD AND SYSTEM FOR DETECTING ABNORMAL SIGN IN CONSTRUCTION SITE}Construction site abnormal symptoms detection method and system {METHOD AND SYSTEM FOR DETECTING ABNORMAL SIGN IN CONSTRUCTION SITE}

본 발명의 실시예는 건설현장 이상징후 감지 방법 및 시스템에 관한 것이다.An embodiment of the present invention relates to a method and system for detecting abnormal signs in a construction site.

매년 산업재해로 인한 사망자수가 500여명에 달하는 건설업은 근로자 1만명당 사망률이 1.47로 평균 산업재해로 인한 사망률인 1.01보다 약 45% 더 높다(안전보건공단 2015).In the construction industry, where the number of deaths from industrial accidents reaches 500 every year, the mortality rate per 10,000 workers is 1.47, which is about 45% higher than the average mortality rate from industrial accidents of 1.01 (Korea Safety and Health Agency 2015).

공종별 사고현황으로는 가설, 굴착, 철근콘크리트 공사가 주를 이루었으며, 붕괴, 도괴사고의 사고경위들을 조사한 결과 대부분이 콘크리트 타설 중 붕괴되거나 상부하중으로 인해 붕괴되는 것이었다. 즉, 가설, 굴착, 철근콘크리트 공사에서 많은 사고가 발생하고 있으며, 콘크리트 타설 중에 거푸집 및 동바리가 상부하중에 견디지 못해서 붕괴 및 도괴사고가 발생하는 것으로 나타났다.Construction, excavation, and reinforced concrete construction were the main types of accidents by construction type, and as a result of investigation of the accidents of collapse and collapse, most of them collapsed during concrete pouring or due to upper load. That is, many accidents occur in temporary construction, excavation, and reinforced concrete construction, and collapse and collapse accidents occurred due to the inability of the formwork and the movable to withstand the upper load during concrete pouring.

이와 같은 안전 사고의 징후는 소리를 통해서 파악할 수 있는 것으로서, 하인리히 법칙(Heinrich's Law)에서처럼 큰 사고는 우연히 또는 어느 순간 갑작스럽게 발생하는 것이 아니라, 그 이전에 반드시 경미한 사고들이 반복되는 과정 속에서 발생한다는 것을 실증적으로 밝힌 것으로, 큰 사고가 일어나기 전 일정 기간 동안 여러 번의 경고성 징후와 전조들이 있다.Signs of safety accidents like this can be identified through sound, and as in Heinrich's Law, a major accident does not occur accidentally or suddenly at any moment. There are several warning signs and signs over a period of time before a major accident occurs.

또한, 사고가 발생했다고 하더라도 소리를 통해 감지할 수 있는 경우에는 신속한 대응이 가능하다.In addition, even if an accident has occurred, a quick response is possible if it can be detected through sound.

소리(Sound)는 물체의 진동이 매질로 인해 전달되는 파동으로, 사람의 목소리나 말소리인 음성(Voice)과 음향(Acoustics)으로 구분된다.Sound is a wave in which the vibration of an object is transmitted by a medium, and it is divided into Voice and Acoustics, which are human voices or speech.

음성분석을 활용한 기존 연구들은 주로 인문학에서 운율변화, 억양 발화속도 등의 특성을 분석하여 교육적으로 활용하기 위한 방향으로 진행(윤규철 외 2010, 이서배 2014)되고 있으며, 의공학에서는 후두암 발견 및 목소리 치료 등을 위한 의료 시스템 개발을 목적으로 진행(김경태 외 2002)되고 있다. Existing studies using speech analysis are mainly conducted in the direction of educational use by analyzing characteristics such as rhyme change and intonation speech speed in humanities (Gyucheol Yoon et al. 2010, Seobae Lee 2014), and in medical engineering, laryngeal cancer detection and voice treatment It is being progressed with the aim of developing a medical system for the back (Kim Kyung-Tae et al. 2002).

정보통신 분야에서는 음성인식을 통해 Siri와 같은 인공지능, 애니메이션 게임에서 캐릭터의 얼굴표정과 음성을 매칭시키는 기술이 개발(윤재홍 외 2006)되고 있다. 자동차 주변의 상황을 감지(조준희 외 1997)뿐만 아니라 가축의 울음소리를 통해 질병 및 이상 징후를 파악(이종욱 외 2014)하는데도 활용되고 있으며, 범죄사건의 과학수사를 위해 동일인 여부를 판단(정현열 2001)하거나, 사람의 감정이나 상황을 판단하여 재난상황에 대응하는 데에도 음성분석 기술이 적용(이규환 외 2016)되고 있다.In the field of information and communication, artificial intelligence such as Siri and a technology to match a character's facial expressions and voices in animation games through voice recognition are being developed (Jehong Yoon et al. 2006). It is used not only to detect the situation around automobiles (Junhee Cho et al. 1997), but also to identify symptoms of diseases and abnormalities through the cry of livestock (Jongwook Lee et al. 2014), and to determine whether the same person is the same person for scientific investigation in criminal cases (Hyeonyeol Jeong 2001) Or, voice analysis technology is being applied to respond to disaster situations by judging people's emotions or situations (Lee Gyu-hwan et al., 2016).

교통 분야의 사고 자동검지시스템(이형석 외 2004, 한국건설기술연구원 2016)은 정해진 구역에서 CCTV를 설치, 실시간으로 데이터를 분석하여 터널 내 사고 상황을 자동으로 감지, 2차 사고예방을 위한 정보제공을 하는 것이다.The traffic accident automatic detection system (Hyung-Seok Lee et al. 2004, Korea Institute of Construction Technology 2016) installs CCTV in a designated area, analyzes data in real time, automatically detects accidents in tunnels, and provides information to prevent secondary accidents. Is to do.

그러나, 이 연구는 선형적 공간인 터널에 적용된 것이기 때문에 3차원 공간의 건설현장에 적용할 수 없다. 토목분야의 산사태 모니터링 시스템(김국진 2015)은 온도측정기로 수온변화를 감지하고 지반이 밀려나갈 때의 음향을 분석하여 위험을 미리 예측하는 것인데, 지반 내에 천공이 필요할 뿐만 아니라 천공 후에는 외부소음이 차단된 상태에서 사고 음향을 감지하는 것이기 때문에 실외에서 다양한 소리가 발생하는 건설현장의 특성상 적용이 힘들다.However, since this study was applied to a tunnel, which is a linear space, it cannot be applied to a construction site in a three-dimensional space. The landslide monitoring system in the civil engineering field (Kook-Jin Kim, 2015) detects water temperature changes with a temperature measuring instrument and predicts the risk in advance by analyzing the sound when the ground is pushed. Not only does it require drilling in the ground, but also blocks external noise after drilling. It is difficult to apply due to the nature of construction sites where various sounds are generated outdoors because it detects the sound of an accident in the state of being damaged.

또한, 종래 기술로서 소리 분석을 통해 중장비의 작업 상태 및 생산성을 추적, 모니터링 하는 연구(Cheng at al. 2017)가 있으나, 중장비 모니터링은 외부소음과 다소 떨어진 상태에서 단일기계활동만을 분석하기 때문에 건설현장 전반에 걸친 음향분석은 이루어지지 않았으며 측정을 위한 장치의 설정 및 레이아웃(위치, 거리, 방향, 마이크 수)에 대한 고려가 없어 시공현장의 안전관리분야에 적용하기엔 큰 한계가 있었다.In addition, as a conventional technique, there is a study (Cheng at al. 2017) that tracks and monitors the work condition and productivity of heavy equipment through sound analysis, but the heavy equipment monitoring analyzes only a single machine activity in a state slightly away from external noise. The overall acoustic analysis was not performed, and there was a great limitation in applying it to the safety management field of the construction site as there was no consideration of the setup and layout (position, distance, direction, number of microphones) of the device for measurement.

본 발명은 전술한 문제를 해결하기 위해 안출된 것으로서, 본 발명에 따르면 정상적인 소리와 비정상적인 소리를 비교하여 이상징후를 판단함으로써 신속하고 정확하게 현장내의 안전사고를 미리 파악할 수 있도록 하고자 한다.The present invention was conceived to solve the above-described problem, and according to the present invention, it is intended to be able to quickly and accurately identify safety accidents in the field by comparing normal sounds and abnormal sounds to determine abnormal symptoms.

또한, 본 발명에 따르면 건설현장 내에서 사고가 발생하기 전에 붕괴조짐 등의 이상 음향 징후를 식별하고 그 음향이 방출되는 위치를 파악함으로써 안전사고를 미연에 방지하거나 즉각적인 대응이 가능하도록 하고자 한다.In addition, according to the present invention, before an accident occurs in a construction site, it is intended to prevent safety accidents in advance or to enable immediate response by identifying abnormal sound signs such as collapse signs and identifying the location where the sound is emitted.

전술한 문제를 해결하기 위한 본 실시예에 따른 건설현장 이상징후 감지 시스템은 건설 현장의 음향 신호를 입력 받고, 상기 음향 신호를 전송하는 음향 분석기; 및 상기 건설 현장의 음향 신호를 수신하고, 수신한 상기 음향 신호를 정상음 또는 사고음 데이터에 비교하여 이상 징후를 감지하는 음향분석 서버를 포함하고, 상기 음향분석 서버는 상기 음향 신호의 특징을 추출하여 카테고리 별로 구분하여 정상음과 이상 신호에 대한 학습 알고리즘을 구성하는 음향신호 학습부; 상기 음향 신호의 특징을 추출하고, 상기 정상음과 이상 신호에 대한 학습 알고리즘을 이용해 구성한 분류 모델을 이용해 상기 음향 신호의 특징을 분석하여 이상 징후를 판단하는 이상징후 분석부; 및 상기 음향 분석기의 위치에 기초하여 상기 이상 징후의 발생 위치를 측정 및 분석하는 위치 분석부를 포함하고, 상기 음향신호 학습부는 상기 음향 신호를 모델을 학습하는데 사용하는 트레이닝 셋(Training Set), 유효성을 검사하는데 사용하는 밸리데이션 셋(Validation Set) 및 학습된 모델을 테스트하는 테스트 셋(Test Set)을 이용하여 학습하고, 상기 음향신호 학습부 또는 상기 이상징후 분석부는 MFCC(Mel frequency cepstral coefficients), chroma STFT(chromagram from a waveform or power spectrogram), melspectrogram(Mel-scaled power spectrogram), spectral contrast 또는 tonnetz(tonal centroid features)을 이용해 상기 음향 신호의 특징을 추출하거나, STFT, Spectrogram, Mel-filtering 및 Log power spectrogram을 사용해 1차 특징을 추출하고, Convolution Layer를 사용해 2차 특징을 추출하여 상기 음향 신호의 특징을 추출할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 음향 분석기는 상기 건설 현장의 음향 신호의 진폭, 주파수, 파형 또는 패턴을 수집하는 음향신호 입력부; 상기 음향 신호를 저장하는 메모리부; 상기 저장된 음향 신호를 전송하는 음향신호 전송부; 상기 음향 분석기의 위치 정보와 신호 도달 시간을 이용해 음향 신호의 입력위치를 제공하는 위치 제공부; 및 상기 음향분석 서버로부터 이상징후 감지신호를 수신하면 위험을 표시하는 위험 표시부;를 더 포함할 수 있다.
A construction site abnormal symptom detection system according to the present embodiment for solving the above-described problem includes: an acoustic analyzer for receiving an acoustic signal from a construction site and transmitting the acoustic signal; And an acoustic analysis server for receiving the acoustic signal of the construction site and comparing the received acoustic signal with normal sound or accident sound data to detect an abnormality, wherein the acoustic analysis server extracts features of the acoustic signal An acoustic signal learning unit configured to a learning algorithm for normal sounds and abnormal signals by classifying them by category; An anomaly symptom analysis unit that extracts the characteristics of the acoustic signal and determines an abnormal symptom by analyzing the characteristics of the acoustic signal using a classification model constructed using a learning algorithm for the normal sound and the abnormal signal; And a position analysis unit for measuring and analyzing the occurrence position of the abnormal symptom based on the position of the sound analyzer, wherein the sound signal learning unit determines the effectiveness of a training set using the sound signal to learn a model. Learning using a validation set used for testing and a test set testing the learned model, the acoustic signal learning unit or the anomaly symptom analysis unit MFCC (Mel frequency cepstral coefficients), chroma STFT Extract features of the acoustic signal using (chromagram from a waveform or power spectrogram), melspectrogram (Mel-scaled power spectrogram), spectral contrast or tonnetz (tonal centroid features), or STFT, Spectrogram, Mel-filtering, and Log power spectrogram The first feature may be extracted using and the second feature may be extracted using the convolution layer to extract the features of the acoustic signal.
According to another embodiment of the present invention, the acoustic analyzer includes an acoustic signal input unit for collecting the amplitude, frequency, waveform or pattern of the acoustic signal of the construction site; A memory unit for storing the sound signal; An acoustic signal transmission unit for transmitting the stored acoustic signal; A location providing unit that provides an input location of an acoustic signal using location information of the acoustic analyzer and a signal arrival time; And a danger display unit for displaying a danger upon receiving an abnormal symptom detection signal from the acoustic analysis server.

삭제delete

삭제delete

삭제delete

본 발명의 다른 일실시예에 따르면, 상기 음향신호 학습부 또는 상기 이상징후 분석부는 상기 음향 신호를 웨이브플롯(Waveplot), 스펙트로그램(Spectrogram) 또는 로그 파워 스펙트로그램(Log power spectrogram)으로 전처리할 수 있다.According to another embodiment of the present invention, the acoustic signal learning unit or the abnormal symptom analysis unit may pre-process the acoustic signal into a waveplot, a spectrogram, or a log power spectrogram. have.

본 발명의 다른 일실시예에 따르면, 상기 위치 분석부는 상기 음향 분석기의 설치 위치 좌표와 신호 도달 시간에 위치추정 알고리즘을 적용하여 상기 이상 징후의 발생 위치를 측정 및 분석할 수 있다.According to another embodiment of the present invention, the position analysis unit may measure and analyze the occurrence position of the abnormal symptom by applying a position estimation algorithm to the installation position coordinate of the acoustic analyzer and the signal arrival time.

삭제delete

삭제delete

본 발명의 다른 일실시예에 따르면, 상기 이상징후 분석부는 상기 음향 신호의 입력위치에 근거한 지점 이력데이터를 생성하고, 상기 음향 분석기에서 음향 신호를 분석한 정보와, 상기 음향 분석기의 인접한 타 음향 분석기에서 감지된 음향 신호를 분석한 정보를 이용하여 구간이력 패턴 데이터를 생성하며, 상기 구간이력 패턴 데이터를 이용하여 해당 건설 현장의 이상 징후를 판단할 수 있다.According to another embodiment of the present invention, the abnormal symptom analysis unit generates point history data based on the input position of the sound signal, and analyzes the sound signal by the sound analyzer, and another sound analyzer adjacent to the sound analyzer. Section history pattern data is generated by using the information obtained by analyzing the acoustic signal detected in, and abnormal signs of a corresponding construction site may be determined using the section history pattern data.

본 발명의 일실시예에 따른 건설현장 이상징후 감지 방법은 음향 분석기가 건설 현장의 음향 신호를 입력 받고, 상기 음향 신호를 전송하는 제1 단계; 음향분석 서버가 상기 건설 현장의 음향 신호를 수신하는 제2 단계; 상기 음향분석 서버가 상기 음향 신호의 특징을 추출하는 제3 단계; 상기 음향분석 서버가 정상음과 이상 신호에 대한 학습 알고리즘을 이용해 구성한 분류 모델을 이용해 추출된 상기 음향 신호의 특징을 분석하는 제4 단계; 상기 음향분석 서버가 상기 음향 분석기의 설치 위치 좌표와 신호 도달 시간에 위치추정 알고리즘을 적용하여 위험 신호의 발생 위치를 측정 및 분석하는 제5 단계; 상기 음향분석 서버가 상기 특징을 분석한 음향 신호가 상기 위험 신호에 해당하면, 상기 음향 분석기로 이상징후 감지신호를 전송하는 제6 단계; 및 상기 음향 분석기가 상기 이상징후 감지신호를 수신하여 위험을 표시하는 제7 단계를 포함하고, 상기 제1 단계 이전 또는 상기 제7 단계 이후에, 상기 음향분석 서버가 상기 음향 신호의 특징을 추출하여 카테고리 별로 구분하여 정상음과 이상 신호에 대한 학습 알고리즘을 구성하는 단계;를 더 포함하고상기 제3 단계는 상기 음향 신호를 모델을 학습하는데 사용하는 트레이닝 셋(Training Set), 유효성을 검사하는데 사용하는 밸리데이션 셋(Validation Set) 및 학습된 모델을 테스트하는 테스트 셋(Test Set)을 이용하여 학습하고, MFCC(Mel frequency cepstral coefficients), chroma STFT(chromagram from a waveform or power spectrogram), melspectrogram(Mel-scaled power spectrogram), spectral contrast 또는 tonnetz(tonal centroid features)을 이용해 상기 음향 신호의 특징을 추출하거나, STFT, Spectrogram, Mel-filtering 및 Log power spectrogram을 사용해 1차 특징을 추출하고, Convolution Layer를 사용해 2차 특징을 추출하여 상기 음향 신호의 특징을 추출할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 제3 단계는 상기 음향분석 서버가 상기 음향 신호를 웨이브플롯(Waveplot), 스펙트로그램(Spectrogram) 또는 로그 파워 스펙트로그램(Log power spectrogram)으로 전처리하는 단계;를 더 포함할 수 있다.
A method for detecting abnormal signs of a construction site according to an embodiment of the present invention includes: a first step of receiving, by an acoustic analyzer, an acoustic signal of a construction site and transmitting the acoustic signal; A second step of the acoustic analysis server receiving the acoustic signal of the construction site; A third step of extracting, by the acoustic analysis server, features of the acoustic signal; A fourth step of analyzing, by the acoustic analysis server, characteristics of the acoustic signal extracted using a classification model constructed using a learning algorithm for normal and abnormal signals; A fifth step of measuring and analyzing, by the acoustic analysis server, a location of a danger signal by applying a location estimation algorithm to the installation location coordinates of the acoustic analyzer and the signal arrival time; A sixth step of transmitting an abnormal symptom detection signal to the acoustic analyzer when the acoustic signal analyzed by the acoustic analysis server corresponds to the danger signal; And a seventh step in which the acoustic analyzer receives the abnormal symptom detection signal and displays a danger, and before the first step or after the seventh step, the acoustic analysis server extracts the characteristics of the sound signal Comprising a learning algorithm for the normal sound and the abnormal signal by dividing by category; and the third step is a training set used to train the model using the acoustic signal, and used to check the validity. Learning using a validation set and a test set that tests the trained model, MFCC (Mel frequency cepstral coefficients), chroma STFT (chromagram from a waveform or power spectrogram), melspectrogram (Mel-scaled) power spectrogram), spectral contrast, or tonnetz (tonal centroid features) to extract the features of the acoustic signal, or to extract the first feature using STFT, Spectrogram, Mel-filtering, and Log power spectrogram, and the second order using a convolution layer. By extracting features, features of the acoustic signal may be extracted.
According to another embodiment of the present invention, the third step may include preprocessing, by the acoustic analysis server, the acoustic signal into a waveplot, a spectrogram, or a log power spectrogram; It may further include.

삭제delete

삭제delete

삭제delete

본 발명의 실시예에 따르면 정상적인 소리와 비정상적인 소리를 비교하여 이상징후를 판단함으로써 신속하고 정확하게 현장내의 안전사고를 미리 파악할 수 있다.According to an embodiment of the present invention, it is possible to quickly and accurately identify safety accidents in the field by comparing normal sounds and abnormal sounds to determine abnormal symptoms.

또한, 본 발명의 실시예에 따르면 건설현장 내에서 사고가 발생하기 전에 붕괴조짐 등 이상 음향 징후를 식별하고 그 음향이 방출되는 위치를 파악함으로써 안전사고를 미연에 방지하거나 즉각적인 대응이 가능하다.In addition, according to an embodiment of the present invention, before an accident occurs in a construction site, it is possible to prevent safety accidents in advance or to immediately respond by identifying abnormal acoustic signs such as collapse signs and identifying the location where the sound is emitted.

나아가 본 발명의 실시예에 따르면, 현장내의 여러 상황들을 실시간 모니터링 함으로써 관리자의 역할까지 기대할 수 있다.Furthermore, according to an embodiment of the present invention, the role of a manager can be expected by monitoring various situations in the field in real time.

도 1은 본 발명의 일실시예에 따른 건설현장 이상징후 감지 시스템의 구성도이다.
도 2는 본 발명의 일실시예에 따른 충격음의 파형을 도시한 도면이다.
도 3은 건설 현장의 작업 소음을 설명하기 위한 도면이다.
도 4은 본 발명의 일실시예에 따른 건설현장 이상징후 감지 시스템의 음향 신호를 전처리한 파형을 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 건설현장 이상징후 감지 시스템의 음향신호 학습 방법과 이상징후 분석 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른 건설현장 이상징후 감지 방법을 설명하기 위한 흐름도이다.
1 is a block diagram of a construction site abnormal sign detection system according to an embodiment of the present invention.
2 is a view showing a waveform of an impact sound according to an embodiment of the present invention.
3 is a view for explaining the work noise of the construction site.
4 is a view showing a waveform of pre-processing an acoustic signal of a construction site abnormal symptom detection system according to an embodiment of the present invention.
5 is a view for explaining an acoustic signal learning method and an abnormal symptom analysis method of a construction site abnormal symptom detection system according to an embodiment of the present invention.
6 is a flowchart illustrating a method of detecting abnormal signs at a construction site according to an embodiment of the present invention.

이하에서는 첨부한 도면을 참조하여 바람직한 본 발명의 일실시예에 대해서 상세히 설명한다. 다만, 실시형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 또한, 도면에서의 각 구성요소들의 크기는 설명을 위하여 과장될 수 있으며, 실제로 적용되는 크기를 의미하는 것은 아니다.Hereinafter, a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings. However, in describing the embodiments, when it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted. In addition, the size of each component in the drawings may be exaggerated for the sake of explanation, and does not mean a size that is actually applied.

도 1은 본 발명의 일실시예에 따른 건설현장 이상징후 감지 시스템의 구성도이고, 도 2는 본 발명의 일실시예에 따른 충격음의 파형을 도시한 도면이다.1 is a block diagram of a construction site abnormal symptom detection system according to an embodiment of the present invention, and FIG. 2 is a view showing a waveform of an impact sound according to an embodiment of the present invention.

도 3은 건설 현장의 작업 소음을 설명하기 위한 도면이고, 도 4는 본 발명의 일실시예에 따른 건설현장 이상징후 감지 시스템의 음향 신호를 전처리한 파형을 도시한 도면이고, 도 5는 본 발명의 일실시예에 따른 건설현장 이상징후 감지 시스템의 음향신호 학습 방법과 이상징후 분석 방법을 설명하기 위한 도면이다.3 is a view for explaining the working noise of the construction site, Figure 4 is a view showing a waveform pre-processed the acoustic signal of the construction site abnormal symptoms detection system according to an embodiment of the present invention, Figure 5 is the present invention A diagram for explaining a method of learning an acoustic signal and a method of analyzing an abnormality in a construction site abnormality detection system according to an embodiment of

이후부터는 도 1 내지 도 5를 참조하여 본 발명의 일실시예에 따른 건설현장 이상징후 감지 시스템의 구성을 설명하기로 한다.Hereinafter, a configuration of a construction site abnormal symptom detection system according to an embodiment of the present invention will be described with reference to FIGS. 1 to 5.

도 1을 참조하면 본 발명의 일실시예에 따른 건설현장 이상징후 감지 시스템은 음향 분석기(110) 및 음향분석 서버(120)를 포함하여 구성될 수 있다.Referring to FIG. 1, a construction site abnormal symptom detection system according to an embodiment of the present invention may include an acoustic analyzer 110 and an acoustic analysis server 120.

음향 분석기(110)는 건설 현장의 음향 신호를 입력 받고, 상기 음향 신호를 전송한다.The acoustic analyzer 110 receives an acoustic signal of a construction site and transmits the acoustic signal.

예를 들어, 콘크리트 타설 중에는 콘크리트의 측압의 영향으로 거푸집이나 동바리가 붕괴되어 인명피해 또는 물적피해가 발생할 수 있다. 또한, 가시설이 붕괴하지 않더라도 중량에 의해 틈새가 벌어져 콘크리트 누출사고가 발생할 수 있다. 이렇게 콘크리트 타설 중에 발생하는 사고들은 빠른 대처가 필요하지만, 즉각적인 대처를 하기 어렵다. 특히 콘크리트 누출사고에 관한 문제는 상층에서 콘크리트 타설을 하게 되면 아래층에서 일어나고 있는 사고에 대해 전혀 인지하지 못하게 된다.For example, during concrete pouring, the formwork or movement may collapse due to the lateral pressure of the concrete, resulting in personal or material damage. In addition, even if the temporary facility does not collapse, a gap may be opened by the weight and a concrete leakage accident may occur. Accidents that occur during concrete pouring need to be dealt with quickly, but it is difficult to deal with them immediately. In particular, the problem of concrete leakage accidents is that when concrete is poured on the upper floors, the accidents occurring on the lower floors are not recognized at all.

본 발명의 일실시예에 따르면 음향 신호의 분석을 통해 이와 같은 문제점들을 해결할 수 있다.According to an embodiment of the present invention, such problems can be solved through analysis of an acoustic signal.

즉, 도 2에 도시된 바와 같은 콘크리트 타설 중에 발생하는 음향의 진폭, 주파수, 파형 또는 패턴의 분석을 통해 문제 발생 상황들을 감지해낼 수 있다.That is, as illustrated in FIG. 2, problem occurrence situations may be detected through analysis of the amplitude, frequency, waveform, or pattern of sound generated during concrete pouring.

도 2의 (a)는 일반적인 공사현장 소음상황 속에서 충격음과 파열음을 발생시킨 신호를 도시하고 있으며, 도 2의 (b)는 타설 중에 충격음과 파열음을 발생시킨 신호를 도시하고 있다.FIG. 2 (a) shows a signal that generates an impact sound and a burst sound in a general construction site noise situation, and FIG. 2 (b) shows a signal that generates an impact sound and a burst sound during pouring.

도 2의 (a)에서는 확실히 충격음과 파열음이 확연하게 구별되는 것을 확인할 수 있으며, 이는 주변소음이 적기 때문에 일반적으로 데시벨이 높은 충격음과 파열음이 확연하게 나타나는 것이다.In (a) of FIG. 2, it can be seen that the impact sound and the bursting sound are clearly distinguished. This is because the ambient noise is small, so that the impact sound and the bursting sound having a high decibel level generally appear clearly.

도 2의 (b)는 타설 중인 상황으로서, 타설 중에는 매우 큰 소음이 발생하며, 주파수 분석결과 충격음과 파열음이 큰 소음 상황 속에서도 고유의 패턴과 크기를 보여 구별이 가능함을 알 수 있다. 이때, 충격음과 파열음은 일반적인 소음과 다른 임계값을 갖는다는 것도 확인 할 수 있다.2B is a pouring situation, and a very loud noise is generated during the pouring, and as a result of frequency analysis, it can be seen that a unique pattern and size can be shown and distinguished even in a noise situation in which the impact sound and the burst sound are large. At this time, it can also be confirmed that the impact sound and the burst sound have different threshold values from the general noise.

아울러, 도 3은 건설 현장의 작업 소음을 설명하기 위한 것으로서, 도 3의 (a)는 정상 소음으로서 레벨 변동이 적고 일정하며, 도 3의 (b)는 변동 소음으로서 레벨이 불규칙하고, 연속적으로 일정한 범위로 변화하여 발생하며, 도 3의 (c)는 연속적인 충격 소음으로서 지속 시간이 극히 짧으며, 도 3의 (d)는 반복 충격 소음으로서 지속 시간이 극히 짧으며, 도 3의 (e)는 간헐 소음으로서 간헐적으로 발생하고 지속 시간이 수초 이상이며, 도 3의 (f)는 분리 충격 소음으로서 발생하는 소음이 각각 독립적으로 분리되어 있으며, 도 3의 (g)는 준정상 충격 소음으로서 일정한 레벨의 소음이 극히 짧은 시간 간격으로 되풀이되어 발생하는 특징을 가지고 있다.In addition, Figure 3 is for explaining the working noise of the construction site, Figure 3 (a) is a normal noise level fluctuation is small and constant, Figure 3 (b) is a fluctuating noise, the level is irregular and continuously It changes in a certain range, and FIG. 3(c) is a continuous impact noise, which has an extremely short duration, and FIG. 3(d) is a repetitive impact noise, which has a very short duration, and FIG. 3(e) ) Is an intermittent noise, which occurs intermittently and has a duration of several seconds or more, Fig. 3(f) shows the noise generated as a separate impact noise is independently separated, and Fig. 3(g) is a quasi-normal impact noise. It has a characteristic that a certain level of noise is generated repeatedly at extremely short time intervals.

이와 같이 다양한 음향 신호의 분석을 위하여, 본 발명의 일실시예에 따르면, 상기 음향 분석기(110)를 콘크리트 타설층 아래에 설치하여 음향 신호를 획득할 수 있으며, 상기 음향 분석기(110)는 이동이 가능한 휴대형으로 구성되어 타설 구역을 이동하거나 층을 옮겨 용이하게 이동이 가능하도록 구성될 수 있다.In order to analyze various acoustic signals as described above, according to an embodiment of the present invention, the acoustic analyzer 110 may be installed under the concrete placement layer to obtain an acoustic signal, and the acoustic analyzer 110 It may be configured to be portable as possible, so that it can be easily moved by moving the pouring area or moving the floor.

보다 구체적으로, 본 발명의 일실시예에 따른 음향 분석기(110)는 음향신호 입력부(111), 메모리부(112), 음향신호 전송부(113) 및 위험 표시부(115)를 포함하여 구성될 수 있다.More specifically, the acoustic analyzer 110 according to an embodiment of the present invention may be configured to include an acoustic signal input unit 111, a memory unit 112, an acoustic signal transmission unit 113, and a danger display unit 115. have.

음향신호 입력부(111)는 상기 건설 현장의 음향 신호의 진폭, 주파수, 파형 또는 패턴을 수집하고, 메모리부(112)는 상기 음향 신호를 저장하고, 음향신호 전송부(113)는 상기 저장된 음향 신호를 전송할 수 있다.The sound signal input unit 111 collects the amplitude, frequency, waveform or pattern of the sound signal of the construction site, the memory unit 112 stores the sound signal, and the sound signal transmission unit 113 is the stored sound signal Can be transmitted.

또한, 위험 표시부(115)는 LED 표시등으로 구성되어 음향분석 서버(120)로부터 이상징후 감지신호를 수신하면 위험을 표시할 수 있다.In addition, the danger display unit 115 may be configured with an LED indicator to indicate danger when receiving an abnormal symptom detection signal from the acoustic analysis server 120.

음향분석 서버(120)는 상기 건설 현장의 음향 신호를 수신하고, 상기 수신한 음향 신호를 정상음 또는 사고음 데이터에 비교하여 이상 징후를 감지하며, 보다 구체적으로 상기 음향분석 서버(120)는 음향신호 학습부(121), 이상징후 분석부(122) 및 위치 분석부(123)를 포함하여 구성될 수 있다.The acoustic analysis server 120 receives the acoustic signal of the construction site, compares the received acoustic signal with normal sound or accident sound data to detect abnormal signs, and more specifically, the acoustic analysis server 120 It may be configured to include a signal learning unit 121, an abnormal symptom analysis unit 122, and a location analysis unit 123.

음향신호 학습부(121)는 상기 음향 신호의 특징을 추출하여 카테고리 별로 구분하여 정상음과 이상 신호에 대한 학습 알고리즘을 구성할 수 있다.The acoustic signal learning unit 121 may extract features of the acoustic signal and divide it into categories to construct a learning algorithm for normal and abnormal signals.

음향 신호는 건설 현장에서 쓰이는 기계 장비들이 서로 다를 수 있으며, 데이터 셋(data set)의 한계로 특정 상황에서만 좋은 성능을 보이는 모델로 학습되는 것을 방지하기 위하여, 각 분류 카테고리에 속하는 데이터의 양을 균형을 맞추어 데이터를 수집할 수 있다.Acoustic signals can be different from mechanical equipment used in construction sites, and in order to prevent learning into a model that performs well only in certain situations due to the limitation of the data set, the amount of data belonging to each classification category is balanced. To collect data.

또한, 음향신호 학습부(121)는 상기 음향 신호를 모델을 학습하는데 사용하는 트레이닝 셋(Training Set), 유효성을 검사하는데 사용하는 밸리데이션 셋(Validation Set) 및 학습된 모델을 테스트하는 테스트 셋(Test Set)을 이용하여 학습할 수 있다.In addition, the acoustic signal learning unit 121 is a training set used to train the acoustic signal model, a validation set used to check the validity, and a test set for testing the trained model. Set) can be used to learn.

이와 같이 음향 신호의 학습을 위해서, 상기 음향신호 학습부(121)는 상기 음향 신호를 이미지로 전처리할 수 있으며, 보다 구체적으로, 상기 음향 신호를 웨이브플롯(Waveplot), 스펙트로그램(Spectrogram) 또는 로그 파워 스펙트로그램(Log power spectrogram)으로 전처리할 수 있다.In this way, for learning of an acoustic signal, the acoustic signal learning unit 121 may pre-process the acoustic signal into an image, and more specifically, the acoustic signal may be converted to a waveplot, a spectrogram, or a logarithmic signal. It can be preprocessed with a log power spectrogram.

도 4는 본 발명의 일실시예에 따른 건설현장 이상징후 감지 시스템의 음향 신호를 전처리한 파형을 도시한 것으로서, 도 4의 (a)는 음향 신호를 웨이브플롯(Waveplot)으로 전처리한 도면이고, 도 3의 (b)는 스펙트로그램(Spectrogram)으로 전처리한 도면이며, 도 4의 (c)는 로그 파워 스펙트로그램(Log power spectrogram)으로 전처리한 도면이다.FIG. 4 is a view showing a waveform obtained by preprocessing an acoustic signal of a construction site abnormal symptom detection system according to an embodiment of the present invention, and FIG. 4A is a view obtained by preprocessing the acoustic signal with a waveplot, FIG. 3(b) is a diagram preprocessed with a spectrogram, and FIG. 4(c) is a diagram preprocessed with a log power spectrogram.

음향신호 학습부(121)는 이와 같이 이미지로 전처리된 데이터로부터 특징을 추출할 수 있다.The acoustic signal learning unit 121 may extract features from data preprocessed into an image as described above.

도 5를 참조하면, 음향신호 학습부(121)는 음향신호 학습 시에, 입력되는 음향 신호를 특징 추출기(125)를 이용해 특징을 추출하여 정상음과 이상 신호에 대한 학습 알고리즘(126)을 구성한다.Referring to FIG. 5, the acoustic signal learning unit 121 constructs a learning algorithm 126 for normal and abnormal signals by extracting features from an input acoustic signal using a feature extractor 125 when learning an acoustic signal. do.

보다 구체적으로, 상기 특징 추출기(125)는 MFCC(Mel frequency cepstral coefficients), chroma STFT(chromagram from a waveform or power spectrogram), melspectrogram(Mel-scaled power spectrogram), spectral contrast 또는 tonnetz(tonal centroid features)을 이용해 상기 음향 신호의 특징을 추출할 수 있다.More specifically, the feature extractor 125 uses MFCC (Mel frequency cepstral coefficients), chroma STFT (chromagram from a waveform or power spectrogram), melspectrogram (Mel-scaled power spectrogram), spectral contrast, or tonnetz (tonal centroid features). It is possible to extract features of the acoustic signal.

또 달리, 상기 특징 추출기(125)는 STFT, Spectrogram, Mel-filtering 및 Log power spectrogram을 사용해 1차 특징을 추출하고, Convolution Layer를 사용해 2차 특징을 추출하여 상기 음향 신호의 특징을 추출하도록 구성될 수 있다.Alternatively, the feature extractor 125 is configured to extract the first feature using STFT, Spectrogram, Mel-filtering, and Log power spectrogram, and extract the second feature using a convolution layer to extract the features of the acoustic signal. I can.

즉, 음향신호 학습부(121)는 이와 같이 구성되는 특징 추출기(125)를 이용해 특징을 추출하여 정상음과 이상 신호에 대한 학습 알고리즘(126)을 구성할 수 있다.That is, the acoustic signal learning unit 121 may construct a learning algorithm 126 for normal and abnormal signals by extracting features using the feature extractor 125 configured as described above.

한편, 이상징후 분석부(122)는 상기 음향 신호의 특징을 추출하고, 상기 정상음과 이상 신호에 대한 학습 알고리즘을 이용해 구성한 분류 모델을 이용해 상기 음향 신호의 특징을 분석하여 이상 징후를 판단할 수 있다.도 5를 참조하면, 이상징후 분석부(122)는 입력되는 음향 신호를 특징 추출기(125)를 이용해 특징을 추출하고, 추출된 특징을 기준으로 분류 모델(128)을 통해 분류하여, 음향 신호의 분석 및 이상 징후의 감지가 가능하다.On the other hand, the abnormal symptom analysis unit 122 may determine the abnormal symptom by extracting the characteristics of the sound signal and analyzing the characteristics of the sound signal using a classification model configured using a learning algorithm for the normal sound and the abnormal signal. Referring to FIG. 5, the anomaly symptom analysis unit 122 extracts a feature from an input sound signal using a feature extractor 125, and classifies it through a classification model 128 based on the extracted feature, Signal analysis and detection of abnormal signs are possible.

상기 특징 추출기(127)는 MFCC(Mel frequency cepstral coefficients), chroma STFT(chromagram from a waveform or power spectrogram), melspectrogram(Mel-scaled power spectrogram), spectral contrast 또는 tonnetz(tonal centroid features)을 이용해 상기 음향 신호의 특징을 추출하도록 구성되거나, 또 달리 STFT, Spectrogram, Mel-filtering 및 Log power spectrogram을 사용해 1차 특징을 추출하고, Convolution Layer를 사용해 2차 특징을 추출하여 상기 음향 신호의 특징을 추출하도록 구성될 수 있다.The feature extractor 127 uses MFCC (Mel frequency cepstral coefficients), chroma STFT (chromagram from a waveform or power spectrogram), melspectrogram (Mel-scaled power spectrogram), spectral contrast, or tonnetz (tonal centroid features) using the acoustic signal. Or alternatively, it is configured to extract the first feature using STFT, Spectrogram, Mel-filtering, and Log power spectrogram, and extract the second feature using the Convolution Layer to extract the features of the acoustic signal. I can.

즉, 이상징후 분석부(122)는 이와 같이 구성되는 특징 추출기(127)를 이용해 특징을 추출하고, 정상음과 이상 신호에 대한 학습 알고리즘(126)을 이용해 구성한 분류 모델을 이용해 상기 음향 신호의 특징을 분석하여 이상 징후를 판단할 수 있다.That is, the abnormal symptom analysis unit 122 extracts a feature using the feature extractor 127 configured as described above, and uses a classification model configured using the learning algorithm 126 for the normal sound and the abnormal signal to feature the acoustic signal. Can be analyzed to determine the abnormality.

또한, 위치 분석부(123)는 음향 분석기(110)의 위치에 기초하여 상기 이상 징후의 발생 위치를 측정 및 분석할 수 있다.In addition, the location analysis unit 123 may measure and analyze the location of the abnormal symptom based on the location of the acoustic analyzer 110.

보다 구체적으로, 상기 위치 분석부(123)는 상기 음향 분석기(110)의 설치 위치 좌표와 신호 도달 시간에 위치추정 알고리즘을 적용하여 상기 이상 징후의 발생 위치를 측정 및 분석할 수 있다.More specifically, the location analysis unit 123 may measure and analyze the occurrence location of the abnormal symptom by applying a location estimation algorithm to the installation location coordinate of the acoustic analyzer 110 and the signal arrival time.

도 6은 본 발명의 일실시예에 따른 건설현장 이상 징후 감지 방법을 설명하기 위한 흐름도이다.6 is a flowchart illustrating a method for detecting abnormal signs in a construction site according to an embodiment of the present invention.

이후부터는 도 6을 참조하여 본 발명의 일실시예에 따른 건설현장 이상징후 감지 방법을 설명하기로 한다.Hereinafter, a method for detecting abnormal signs at a construction site according to an embodiment of the present invention will be described with reference to FIG. 6.

먼저, 음향 분석기가 건설 현장에 설치되어 건설 현장의 음향 신호를 입력 받아 음향 정보를 수집하고, 상기 음향 신호를 전송한다(S510).First, an acoustic analyzer is installed at a construction site to receive an acoustic signal from the construction site, collect acoustic information, and transmit the acoustic signal (S510).

또한, 음향분석 서버가 상기 건설 현장의 음향 신호를 수신하고, 상기 음향 신호의 특징을 추출할 수 있으며, 상기 음향분석 서버가 정상음과 이상 신호에 대한 학습 알고리즘을 이용해 구성한 분류 모델을 이용해 추출된 상기 음향 신호의 특징을 분석할 수 있다(S520).In addition, the acoustic analysis server may receive the acoustic signal of the construction site, extract the characteristics of the acoustic signal, and the acoustic analysis server extracted using a classification model configured using a learning algorithm for normal and abnormal signals. The characteristics of the sound signal may be analyzed (S520).

아울러, 상기 음향 신호의 특징의 분석을 위하여, 상기 음향분석 서버는 웨이브플롯(Waveplot), 스펙트로그램(Spectrogram) 또는 로그 파워 스펙트로그램(Log power spectrogram)으로 전처리할 수 있다.In addition, in order to analyze the characteristics of the acoustic signal, the acoustic analysis server may pre-process with a waveplot, a spectrogram, or a log power spectrogram.

또한, 상기 음향분석 서버는 MFCC(Mel frequency cepstral coefficients), chroma STFT(chromagram from a waveform or power spectrogram), melspectrogram(Mel-scaled power spectrogram), spectral contrast 또는 tonnetz(tonal centroid features)을 이용해 상기 음향 신호의 특징을 추출할 수 있으며, 또 달리 상기 특징 추출기는 STFT, Spectrogram, Mel-filtering 및 Log power spectrogram을 사용해 1차 특징을 추출하고, Convolution Layer를 사용해 2차 특징을 추출하여 상기 음향 신호의 특징을 추출하도록 구성될 수 있다.In addition, the acoustic analysis server uses MFCC (Mel frequency cepstral coefficients), chroma STFT (chromagram from a waveform or power spectrogram), melspectrogram (Mel-scaled power spectrogram), spectral contrast, or tonnetz (tonal centroid features) using the acoustic signal. In addition, the feature extractor extracts the first feature using STFT, Spectrogram, Mel-filtering, and Log power spectrogram, and extracts the second feature using a convolution layer to extract the features of the acoustic signal. It can be configured to extract.

또한, 상기 음향분석 서버가 상기 음향 분석기의 설치 위치 좌표와 신호 도달 시간에 위치추정 알고리즘을 적용하여 상기 위험 신호의 발생 위치를 측정 및 분석할 수 있다(S530).In addition, the acoustic analysis server may measure and analyze the location of the danger signal by applying a location estimation algorithm to the installation location coordinate of the acoustic analyzer and the signal arrival time (S530).

이후, 상기 음향분석 서버가 상기 특징을 분석한 음향 신호가 위험 신호에 해당하면 이상 상황으로 판단하여 상기 위험 신호의 발생 위치를 제공하고, 상기 음향 분석기로 이상징후 감지신호를 전송하여, 상기 음향 분석기가 상기 이상징후 감지신호를 수신하여 이상 상황을 저장하고 위험을 표시할 수 있다(S540).Thereafter, if the acoustic signal analyzed by the acoustic analysis server corresponds to a danger signal, it is determined as an abnormal situation and the location of the danger signal is provided, and the abnormal symptom detection signal is transmitted to the acoustic analyzer, and the acoustic analyzer May receive the abnormal symptom detection signal to store the abnormal situation and display the danger (S540).

아울러, 본 발명의 일실시예에 따르면, 이와 같은 이상징후의 분석을 위하여, 상기 음향분석 서버가 상기 음향 신호의 특징을 추출하여 카테고리 별로 구분하여 정상음과 이상 신호에 대한 학습 알고리즘을 구성할 수 있다.In addition, according to an embodiment of the present invention, in order to analyze such abnormal symptoms, the acoustic analysis server extracts features of the acoustic signals and divides them into categories to construct a learning algorithm for normal sounds and abnormal signals. have.

즉, 음향분석 서버가 음향신호 학습 시에, 입력되는 음향 신호로부터 특징 추출기를 이용해 특징을 추출하여 정상음과 이상 신호에 대한 학습 알고리즘을 구성한다.That is, when the acoustic analysis server learns an acoustic signal, a feature is extracted from the input acoustic signal using a feature extractor to construct a learning algorithm for normal and abnormal signals.

보다 구체적으로, 상기 음향분석 서버의 특징 추출기는 MFCC(Mel frequency cepstral coefficients), chroma STFT(chromagram from a waveform or power spectrogram), melspectrogram(Mel-scaled power spectrogram), spectral contrast 또는 tonnetz(tonal centroid features)을 이용해 상기 음향 신호의 특징을 추출할 수 있으며, 또 달리 STFT, Spectrogram, Mel-filtering 및 Log power spectrogram을 사용해 1차 특징을 추출하고, Convolution Layer를 사용해 2차 특징을 추출하여 상기 음향 신호의 특징을 추출하도록 구성될 수 있다.More specifically, the feature extractor of the acoustic analysis server is MFCC (Mel frequency cepstral coefficients), chroma STFT (chromagram from a waveform or power spectrogram), melspectrogram (Mel-scaled power spectrogram), spectral contrast or tonnetz (tonal centroid features) The characteristics of the acoustic signal can be extracted using STFT, Spectrogram, Mel-filtering, and Log power spectrogram, and the second feature is extracted using a convolution layer. Can be configured to extract.

즉, 상기 음향분석 서버는 이와 같이 구성되는 특징 추출기(125)를 이용해 특징을 추출하여 정상음과 이상 신호에 대한 학습 알고리즘을 구성하고, 이와 같이 구성되는 정상음과 이상 신호에 대한 학습 알고리즘을 이용하여 분류 모델을 구성함으로써, 음향 신호의 특징을 분석하여 이상 징후를 판단하도록 할 수 있다.That is, the acoustic analysis server constructs a learning algorithm for normal and abnormal signals by extracting features using the feature extractor 125 configured as described above, and uses a learning algorithm for normal and abnormal signals configured as described above. Thus, by constructing a classification model, an abnormal symptom can be determined by analyzing characteristics of an acoustic signal.

따라서, 본 발명의 실시예에 따르면 정상적인 소리와 비정상적인 소리를 비교하여 이상징후를 판단함으로써 신속하고 정확하게 현장내의 안전사고를 미리 파악할 수 있으며, 건설현장 내에서 사고가 발생하기 전에 붕괴조짐 등 이상 음향 징후를 식별하고 그 음향이 방출되는 위치를 파악함으로써 안전사고를 미연에 방지하거나 즉각적인 대응이 가능하다.Therefore, according to an embodiment of the present invention, it is possible to quickly and accurately identify safety accidents in the site by determining abnormal symptoms by comparing normal sounds and abnormal sounds, and abnormal acoustic signs such as collapse signs before an accident occurs in a construction site. It is possible to prevent safety accidents in advance or to respond immediately by identifying the location and the location where the sound is emitted.

전술한 바와 같은 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였다. 그러나 본 발명의 범주에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능하다. 본 발명의 기술적 사상은 본 발명의 전술한 실시예에 국한되어 정해져서는 안 되며, 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.In the detailed description of the present invention as described above, specific embodiments have been described. However, various modifications may be made without departing from the scope of the present invention. The technical idea of the present invention is limited to the above-described embodiments of the present invention and should not be defined, and should not be defined by the claims as well as the claims and their equivalents.

110: 음향 분석기
111: 음향신호 입력부
112: 메모리부
113: 음향신호 전송부
115: 위험 표시부
120: 음향분석 서버
121: 음향신호 학습부
122: 이상징후 분석부
123: 위치 분석부
125: 특징 추출기
126: 학습 알고리즘
127: 특징 추출기
128: 분류 모델
110: acoustic analyzer
111: sound signal input unit
112: memory unit
113: sound signal transmission unit
115: danger display
120: acoustic analysis server
121: acoustic signal learning unit
122: abnormal symptom analysis unit
123: position analysis unit
125: feature extractor
126: learning algorithm
127: feature extractor
128: classification model

Claims (12)

건설 현장의 음향 신호를 입력 받고, 상기 음향 신호를 전송하는 음향 분석기; 및
상기 건설 현장의 음향 신호를 수신하고, 수신한 상기 음향 신호를 정상음 또는 사고음 데이터에 비교하여 이상 징후를 감지하는 음향분석 서버;
를 포함하고,
상기 음향분석 서버는,
상기 음향 신호의 특징을 추출하여 카테고리 별로 구분하여 정상음과 이상 신호에 대한 학습 알고리즘을 구성하는 음향신호 학습부;
상기 음향 신호의 특징을 추출하고, 상기 정상음과 이상 신호에 대한 학습 알고리즘을 이용해 구성한 분류 모델을 이용해 상기 음향 신호의 특징을 분석하여 이상 징후를 판단하는 이상징후 분석부; 및
상기 음향 분석기의 위치에 기초하여 상기 이상 징후의 발생 위치를 측정 및 분석하는 위치 분석부;
를 포함하고,
상기 음향신호 학습부는,
상기 음향 신호를 모델을 학습하는데 사용하는 트레이닝 셋(Training Set), 유효성을 검사하는데 사용하는 밸리데이션 셋(Validation Set) 및 학습된 모델을 테스트하는 테스트 셋(Test Set)을 이용하여 학습하고,
상기 음향신호 학습부 또는 상기 이상징후 분석부는,
MFCC(Mel frequency cepstral coefficients), chroma STFT(chromagram from a waveform or power spectrogram), melspectrogram(Mel-scaled power spectrogram), spectral contrast 또는 tonnetz(tonal centroid features)을 이용해 상기 음향 신호의 특징을 추출하거나,
STFT, Spectrogram, Mel-filtering 및 Log power spectrogram을 사용해 1차 특징을 추출하고, Convolution Layer를 사용해 2차 특징을 추출하여 상기 음향 신호의 특징을 추출하는 건설현장 이상징후 감지 시스템.
An acoustic analyzer for receiving an acoustic signal of a construction site and transmitting the acoustic signal; And
An acoustic analysis server for receiving the acoustic signal of the construction site and comparing the received acoustic signal with normal sound or accident sound data to detect abnormal signs;
Including,
The acoustic analysis server,
An acoustic signal learning unit that extracts the characteristics of the acoustic signal and divides it by category to construct a learning algorithm for normal and abnormal signals;
An anomaly symptom analysis unit that extracts the characteristics of the acoustic signal and determines an abnormal symptom by analyzing the characteristics of the acoustic signal using a classification model constructed using a learning algorithm for the normal sound and the abnormal signal; And
A position analysis unit measuring and analyzing the occurrence position of the abnormal symptom based on the position of the acoustic analyzer;
Including,
The acoustic signal learning unit,
The acoustic signal is trained using a training set used to train a model, a validation set used to check the validity, and a test set to test the trained model,
The acoustic signal learning unit or the abnormal symptom analysis unit,
Extracting features of the acoustic signal using MFCC (Mel frequency cepstral coefficients), chroma STFT (chromagram from a waveform or power spectrogram), melspectrogram (Mel-scaled power spectrogram), spectral contrast, or tonnetz (tonal centroid features), or
A construction site abnormal symptom detection system that extracts the first feature using STFT, Spectrogram, Mel-filtering and Log power spectrogram, and extracts the features of the acoustic signal by extracting the second feature using the Convolution Layer.
청구항 1에 있어서,
상기 음향 분석기는,
상기 건설 현장의 음향 신호의 진폭, 주파수, 파형 또는 패턴을 수집하는 음향신호 입력부;
상기 음향 신호를 저장하는 메모리부;
상기 저장된 음향 신호를 전송하는 음향신호 전송부;
상기 음향분석 서버로부터 이상징후 감지신호를 수신하면 위험을 표시하는 위험 표시부;
를 더 포함하는 건설현장 이상징후 감지 시스템.
The method according to claim 1,
The acoustic analyzer,
An acoustic signal input unit for collecting the amplitude, frequency, waveform or pattern of the acoustic signal of the construction site;
A memory unit for storing the sound signal;
An acoustic signal transmission unit for transmitting the stored acoustic signal;
A danger display unit for displaying a danger upon receiving an abnormal symptom detection signal from the acoustic analysis server;
Construction site abnormality detection system comprising a further.
삭제delete 삭제delete 청구항 1에 있어서,
상기 음향신호 학습부 또는 상기 이상징후 분석부는,
상기 음향 신호를 웨이브플롯(Waveplot), 스펙트로그램(Spectrogram) 또는 로그 파워 스펙트로그램(Log power spectrogram)으로 전처리하는 건설현장 이상징후 감지 시스템.
The method according to claim 1,
The acoustic signal learning unit or the abnormal symptom analysis unit,
A construction site abnormal symptom detection system that pre-processes the acoustic signal into a waveplot, spectrogram, or log power spectrogram.
삭제delete 삭제delete 청구항 1에 있어서,
상기 위치 분석부는,
상기 음향 분석기의 설치 위치 좌표와 신호 도달 시간에 위치추정 알고리즘을 적용하여 상기 이상 징후의 발생 위치를 측정 및 분석하는 건설현장 이상징후 감지 시스템.
The method according to claim 1,
The location analysis unit,
A construction site abnormal symptom detection system that measures and analyzes the occurrence position of the abnormal symptom by applying a position estimation algorithm to the installation position coordinate of the acoustic analyzer and the signal arrival time.
음향 분석기가 건설 현장의 음향 신호를 입력 받고, 상기 음향 신호를 전송하는 제1 단계;
음향분석 서버가 상기 건설 현장의 음향 신호를 수신하는 제2 단계;
상기 음향분석 서버가 상기 음향 신호의 특징을 추출하는 제3 단계;
상기 음향분석 서버가 정상음과 이상 신호에 대한 학습 알고리즘을 이용해 구성한 분류 모델을 이용해 추출된 상기 음향 신호의 특징을 분석하는 제4 단계;
상기 음향분석 서버가 상기 음향 분석기의 설치 위치 좌표와 신호 도달 시간에 위치추정 알고리즘을 적용하여 위험 신호의 발생 위치를 측정 및 분석하는 제5 단계;
상기 음향분석 서버가 상기 특징을 분석한 음향 신호가 상기 위험 신호에 해당하면, 상기 음향 분석기로 이상징후 감지신호를 전송하는 제6 단계; 및
상기 음향 분석기가 상기 이상징후 감지신호를 수신하여 위험을 표시하는 제7 단계;
를 포함하고,
상기 제1 단계 이전 또는 상기 제7 단계 이후에,
상기 음향분석 서버가 상기 음향 신호의 특징을 추출하여 카테고리 별로 구분하여 정상음과 이상 신호에 대한 학습 알고리즘을 구성하는 단계;
를 더 포함하고,
상기 제3 단계는,
상기 음향 신호를 모델을 학습하는데 사용하는 트레이닝 셋(Training Set), 유효성을 검사하는데 사용하는 밸리데이션 셋(Validation Set) 및 학습된 모델을 테스트하는 테스트 셋(Test Set)을 이용하여 학습하고,
MFCC(Mel frequency cepstral coefficients), chroma STFT(chromagram from a waveform or power spectrogram), melspectrogram(Mel-scaled power spectrogram), spectral contrast 또는 tonnetz(tonal centroid features)을 이용해 상기 음향 신호의 특징을 추출하거나,
STFT, Spectrogram, Mel-filtering 및 Log power spectrogram을 사용해 1차 특징을 추출하고, Convolution Layer를 사용해 2차 특징을 추출하여 상기 음향 신호의 특징을 추출하는 건설현장 이상징후 감지 방법.
A first step of receiving, by an acoustic analyzer, an acoustic signal of a construction site and transmitting the acoustic signal;
A second step of the acoustic analysis server receiving the acoustic signal of the construction site;
A third step of extracting, by the acoustic analysis server, features of the acoustic signal;
A fourth step of analyzing, by the acoustic analysis server, characteristics of the acoustic signal extracted using a classification model constructed using a learning algorithm for normal and abnormal signals;
A fifth step of measuring and analyzing, by the acoustic analysis server, a location of a danger signal by applying a location estimation algorithm to the installation location coordinates of the acoustic analyzer and the signal arrival time;
A sixth step of transmitting an abnormal symptom detection signal to the acoustic analyzer when the acoustic signal analyzed by the acoustic analysis server corresponds to the danger signal; And
A seventh step of indicating, by the acoustic analyzer, a danger by receiving the abnormal symptom detection signal;
Including,
Before the first step or after the seventh step,
The acoustic analysis server extracting features of the acoustic signal and classifying it by category to construct a learning algorithm for normal and abnormal signals;
Including more,
The third step,
The acoustic signal is trained using a training set used to train a model, a validation set used to check the validity, and a test set to test the trained model,
Extracting features of the acoustic signal using MFCC (Mel frequency cepstral coefficients), chroma STFT (chromagram from a waveform or power spectrogram), melspectrogram (Mel-scaled power spectrogram), spectral contrast, or tonnetz (tonal centroid features), or
A construction site abnormal symptom detection method that extracts the first feature using STFT, Spectrogram, Mel-filtering and Log power spectrogram, and extracts the second feature using the Convolution Layer to extract the features of the acoustic signal.
청구항 9에 있어서,
상기 제3 단계는,
상기 음향분석 서버가 상기 음향 신호를 웨이브플롯(Waveplot), 스펙트로그램(Spectrogram) 또는 로그 파워 스펙트로그램(Log power spectrogram)으로 전처리하는 단계;
를 더 포함하는 건설현장 이상징후 감지 방법.
The method of claim 9,
The third step,
Pre-processing, by the acoustic analysis server, the acoustic signal into a waveplot, a spectrogram, or a log power spectrogram;
Construction site abnormality detection method further comprising a.
삭제delete 삭제delete
KR1020180136251A 2018-11-08 2018-11-08 Method and system for detecting abnormal sign in construction site Expired - Fee Related KR102173241B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180136251A KR102173241B1 (en) 2018-11-08 2018-11-08 Method and system for detecting abnormal sign in construction site

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180136251A KR102173241B1 (en) 2018-11-08 2018-11-08 Method and system for detecting abnormal sign in construction site

Publications (2)

Publication Number Publication Date
KR20200053093A KR20200053093A (en) 2020-05-18
KR102173241B1 true KR102173241B1 (en) 2020-11-03

Family

ID=70913138

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180136251A Expired - Fee Related KR102173241B1 (en) 2018-11-08 2018-11-08 Method and system for detecting abnormal sign in construction site

Country Status (1)

Country Link
KR (1) KR102173241B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102512955B1 (en) 2022-08-29 2023-03-22 주식회사 케이씨티이엔씨 Smart collapse risk monitoring system and its method
KR20240153730A (en) 2023-04-17 2024-10-24 주식회사 케이씨티이엔씨 System for monitoring risk state of subject structure using artificial intelligence and its monitoring method

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102520819B1 (en) * 2020-08-11 2023-04-11 성균관대학교산학협력단 System for detecting abnormal sign in construction site
KR102393865B1 (en) * 2020-09-04 2022-05-11 주식회사 모듈링크 Apparatus for detecting accident and analyzing accident
KR102419740B1 (en) * 2020-12-24 2022-07-13 한국기초과학지원연구원 Apparatus and method for diagnosis of system condition
KR102596268B1 (en) * 2021-09-16 2023-10-30 삼성중공업 주식회사 Vessel having object recognition apparatus

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101768640B1 (en) * 2017-04-27 2017-08-16 주식회사 핸디소프트 Traffic accident receiving system and method using Minimum Set of Data

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130051238A (en) * 2011-11-09 2013-05-20 김태석 System of traffic accident detection using multiple images and sound
KR101418987B1 (en) * 2012-06-11 2014-07-15 (주)티엘씨테크놀로지 Integrated system for safety management
KR101942459B1 (en) * 2016-06-01 2019-01-28 네이버 주식회사 Method and system for generating playlist using sound source content and meta information

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101768640B1 (en) * 2017-04-27 2017-08-16 주식회사 핸디소프트 Traffic accident receiving system and method using Minimum Set of Data

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
비특허문헌

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102512955B1 (en) 2022-08-29 2023-03-22 주식회사 케이씨티이엔씨 Smart collapse risk monitoring system and its method
WO2024049057A1 (en) * 2022-08-29 2024-03-07 주식회사 케이씨티이엔씨 System and method for smart collapse risk monitoring
KR20240153730A (en) 2023-04-17 2024-10-24 주식회사 케이씨티이엔씨 System for monitoring risk state of subject structure using artificial intelligence and its monitoring method

Also Published As

Publication number Publication date
KR20200053093A (en) 2020-05-18

Similar Documents

Publication Publication Date Title
KR102173241B1 (en) Method and system for detecting abnormal sign in construction site
US8712740B2 (en) Signal judgment method, signal judgment apparatus, program, and signal judgment system
US6170334B1 (en) Continuous monitoring of reinforcements in structures
US8515676B2 (en) Method and apparatus for assessing the integrity of a rock mass
US11378485B2 (en) Structural monitoring system
Cho et al. Sound recognition techniques for multi-layered construction activities and events
JP2023538474A (en) Anomaly detection based on statistical image processing to prevent cable breakage
US11698290B2 (en) Contrastive learning of utility pole representations from distributed acoustic sensing signals
KR102520819B1 (en) System for detecting abnormal sign in construction site
CN116186642B (en) Distributed optical fiber sensing event early warning method based on multidimensional feature fusion
CN119397423B (en) An intelligent early warning method for urban tunnel intrusion prevention based on distributed acoustic sensing
Moreno-Gomez et al. Fractal dimension analysis for assessing the health condition of a truss structure using vibration signals
CN118262475B (en) AI intelligent sound wave auxiliary campus anti-cheating system
CN107255677A (en) A kind of dam safety damage monitoring system based on piezoelectric intelligent sensor
CN119503392A (en) An intelligent monitoring method and system for mining belt conveyors based on optical fiber sensing technology
CA2164315C (en) Continuous monitoring of reinforcements in structures
Tejedor et al. Towards detection of pipeline integrity threats using a SmarT fiber-OPtic surveillance system: PIT-STOP project blind field test results
KR20190062874A (en) A machine learning based evaluating method of soundness for soil and structure and a device thereof
Wan et al. An automatic pipeline monitoring system using sound information
Albaji et al. A Machine Learning for Environmental Noise Monitoring and Classification Using Matlab
Dackermann et al. On the use of the cepstrum and artificial neural networks to identify structural mass changes from response-only measurements
Carlos et al. Acoustic emission bridge inspection/monitoring strategies
KR102802200B1 (en) Appratus for detecting events and method for the same
Sarmiento et al. Non-Destructive Detection of Bridge Deck Pavement Bonding Through Impact Sound and Principal Component Analysis
CN119669994A (en) An AI-based method and device for automatically identifying hidden dangers of hot work in pipe gallery

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

Fee payment year number: 1

St.27 status event code: A-2-2-U10-U11-oth-PR1002

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PC1903 Unpaid annual fee

Not in force date: 20231029

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

St.27 status event code: A-4-4-U10-U13-oth-PC1903

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

St.27 status event code: A-5-5-R10-R13-asn-PN2301

K11-X000 Ip right revival requested

St.27 status event code: A-6-4-K10-K11-oth-X000

PC1903 Unpaid annual fee

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20231029

St.27 status event code: N-4-6-H10-H13-oth-PC1903

PR0401 Registration of restoration

St.27 status event code: A-6-4-K10-K13-oth-PR0401

PR1001 Payment of annual fee

Fee payment year number: 4

St.27 status event code: A-4-4-U10-U11-oth-PR1001

PR1001 Payment of annual fee

Fee payment year number: 5

St.27 status event code: A-4-4-U10-U11-oth-PR1001

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000