KR102428366B1

KR102428366B1 - Method and apparatus for facility monitoring using powerless vibration sensor

Info

Publication number: KR102428366B1
Application number: KR1020200131342A
Authority: KR
Inventors: 김선진; 최영철; 윤두병; 이정한; 정변영; 장대식
Original assignee: 한국원자력연구원
Priority date: 2020-10-12
Filing date: 2020-10-12
Publication date: 2022-08-02
Anticipated expiration: 2040-10-12
Also published as: KR20220048321A

Abstract

본 발명에 따른 무전력 진동 센서는 진동을 발생시키는 설비에 부착되어 설비의 진동에 따른 탈부착으로 마찰 전기 신호를 발생시키고, 마찰 전기 신호를 출력하는 진동 프로브, 그리고 마찰 전기 신호가 인가되는 경우, 마찰 전기 신호에 기초하여 미리 설정된 패턴을 표시하는 디스플레이를 포함한다. The non-powered vibration sensor according to the present invention is attached to a facility that generates vibration, generates a triboelectric signal by detachment according to the vibration of the facility, a vibration probe that outputs a triboelectric signal, and when a triboelectric signal is applied, friction and a display for displaying a preset pattern based on the electrical signal.

Description

Facility monitoring method and device using powerless vibration sensor

무전력 진동 센서를 이용한 설비 모니터링 기술에 관한 것이다. It relates to a facility monitoring technology using a power-free vibration sensor.

산업 현장에서는 수많은 기계 설비들이 사용되며, 이러한 기계 설비들을 구성하는 부품들의 파손, 부품들간의 이격 발생, 마모 등 다양한 고장 및 결함의 원인에 의한 진동이 발생하게 된다. Numerous mechanical facilities are used in industrial sites, and vibrations due to various failures and defects such as breakage of parts constituting these mechanical facilities, separation between parts, and wear and tear occur.

이에 따라 고장 및 결함이 있는 설비들을 빠르게 인식하여 적절한 시기에 관리할 수 있도록 설비에서 발생하는 진동을 측정하여 모니터링하는 기술들이 연구 개발되고 있다. Accordingly, technologies to measure and monitor the vibrations generated in the facilities are being researched and developed so that they can be quickly recognized and managed in a timely manner.

하지만, 일반적인 설비에는 많은 배관과 밸브, 그리고 다양한 부품들이 복잡하게 연결되어 있기 때문에 기존의 유선 진동 센서들을 부착하기에는 어려움이 많다.However, since many pipes, valves, and various parts are intricately connected to a general facility, it is difficult to attach existing wired vibration sensors.

이에, 유선이 아닌 무선 진동 센서를 이용하게 되면, 측정된 진동 신호를 디지털 신호로 변환하여 저장 또는 무선 송신하는 신호처리 과정이 필요하고, 그에 따라 복잡한 하드웨어 구성과 상대적으로 더 많은 소비 전력이 필요하다. Accordingly, when using a wireless vibration sensor instead of a wired one, a signal processing process of converting the measured vibration signal into a digital signal and storing or wirelessly transmitting it is required, and thus a complicated hardware configuration and relatively more power consumption are required. .

또한, 무선 통신을 수행하는 과정에서 전자파 간섭에 의한 다른 전자 기기의 안정성에 대한 이슈가 발생한다. In addition, in the process of performing wireless communication, an issue regarding the stability of other electronic devices due to electromagnetic interference occurs.

그러므로, 최소한의 회로를 포함하여 별도의 전력원 없이도 진동을 감지하고, 무선 통신에 의한 전자파 간섭을 생성하지 않고도 감지된 진동에 따른 모니터링을 수행할 수 있는 기술이 필요하다. Therefore, there is a need for a technology capable of detecting vibration without a separate power source including a minimum circuit and performing monitoring according to the sensed vibration without generating electromagnetic interference due to wireless communication.

관련 선행문헌으로 한국등록특허 524,138호는 "무선통신기술을 응용한 지능형 센서와 이를 이용한 진동 측정 방법"을 개시한다. As a related prior document, Korean Patent No. 524,138 discloses "an intelligent sensor applying wireless communication technology and a vibration measurement method using the same".

한국등록특허 524,138Korean Patent 524,138

본 발명의 한 실시예는 설비에서 발생되는 진동에 대한 마찰 에너지만으로 구동하는 패치형 진동 센서를 제공하기 위한 것이다. One embodiment of the present invention is to provide a patch-type vibration sensor that is driven only by frictional energy for vibrations generated in equipment.

본 발명의 한 실시예는 설비에 장착된 진동 센서에 의해 표시되는 패턴을 CCTV를 통해 추적 및 관찰하여 정량적인 진동 데이터를 분석하는 모니터링 장치를 제공하기 위한 것이다. One embodiment of the present invention is to provide a monitoring device for analyzing quantitative vibration data by tracking and observing a pattern displayed by a vibration sensor mounted on a facility through CCTV.

상기 과제 이외에도 구체적으로 언급되지 않은 다른 과제를 달성하는 데 본 발명에 따른 실시예가 사용될 수 있다.In addition to the above tasks, the embodiment according to the present invention may be used to achieve other tasks not specifically mentioned.

본 발명의 한 실시예에 따른 무전력 진동 센서는 진동을 발생시키는 설비에 부착되어 설비의 진동에 따른 탈부착으로 마찰 전기 신호를 발생시키고, 마찰 전기 신호를 출력하는 진동 프로브, 그리고 마찰 전기 신호가 인가되는 경우, 마찰 전기 신호에 기초하여 미리 설정된 패턴을 표시하는 디스플레이를 포함한다. A non-powered vibration sensor according to an embodiment of the present invention is attached to a facility that generates vibration, generates a triboelectric signal by attachment or detachment according to the vibration of the facility, a vibration probe that outputs a triboelectric signal, and a triboelectric signal is applied if applicable, a display for displaying a preset pattern based on the triboelectric signal.

본 발명의 한 실시예에 따른 모니터링 장치는 설비에 장착된 하나 이상의 무전력 진동 센서를 포함하는 CCTV의 촬영 영상을 수집하는 영상 수집부, 촬영 영상에서 하나 이상의 무전력 진동 센서를 추출하고, 무전력 진동 센서의 디스플레이에 표시된 패턴을 인식하여 패턴으로부터 정량적인 진동 데이터를 분석하는 분석부, 그리고 무전력 진동 센서에 대응하는 설비에 연계하여 진동 데이터를 저장하는 제어부를 포함한다. A monitoring device according to an embodiment of the present invention is an image collection unit that collects a captured image of a CCTV including one or more non-powered vibration sensors mounted on a facility, extracts one or more non-powered vibration sensors from the captured image, and an analysis unit that recognizes a pattern displayed on the display of the vibration sensor and analyzes quantitative vibration data from the pattern, and a control unit that stores vibration data in connection with a facility corresponding to the non-powered vibration sensor.

본 발명의 한 실시예에 따른 무전력 진동 센서를 촬영한 영상을 통해 설비 모니터링하는 방법에 있어서, 설비마다 무전력 진동 센서를 부착하고, 미리 설정된 무전력 진동 센서의 패턴을 데이터베이스에 저장하는 단계, 설비 시설의 CCTV를 통해 하나 이상의 무전력 진동 센서를 포함하는 촬영 영상을 수집하는 단계, 촬영 영상에서 하나 이상의 무전력 진동 센서를 추출하고, 각각의 무전력 센서의 패턴을 추출하는 단계, 추출한 패턴에 기초하여 저장된 데이터베이스에서 매칭되는 정량적인 진동 데이터를 검색하는 단계, 그리고 진동 데이터에 기초하여 알림 메시지를 생성하고, 무전력 진동 센서가 부착된 설비에 연동되는 단말에 알림 메시지를 전송하는 단계를 포함한다. In the method of monitoring a facility through an image taken of a non-power vibration sensor according to an embodiment of the present invention, the method comprising: attaching a non-power vibration sensor to each facility, and storing a preset pattern of the non-power vibration sensor in a database; Collecting captured images including one or more non-powered vibration sensors through CCTV of facility facilities, extracting one or more non-powered vibration sensors from the captured images, and extracting patterns of each non-powered vibration sensors, Searching for matching quantitative vibration data from a database stored on the basis of, and generating a notification message based on the vibration data, and transmitting a notification message to a terminal that is linked to a facility to which a non-power vibration sensor is attached. .

본 발명의 한 실시예에 따르면, 플렉시블 패치형의 무전력 진동 센서를 통해 설비의 다양한 곡면에 부착이 쉽고 외부 전력 공급 없이도 진동을 감지하기 때문에 경량화가 용이하며, 기존 설비 변경 없이도 최소 비용으로 현장에 바로 활용 가능하다.According to one embodiment of the present invention, it is easy to attach to various curved surfaces of the facility through a flexible patch-type no-power vibration sensor, and it is easy to reduce the weight because it detects vibration without external power supply, can be used

본 발명의 한 실시예에 따르면, 진동 신호를 디스플레이에 시각화하여 제공함에 따라 관리자가 육안으로 즉시 확인하고 신속하고 즉각적인 대응이 가능하기 때문에 고장 및 결함으로 인해 발생하는 사고를 예방할 수 있다. According to one embodiment of the present invention, as the vibration signal is visualized on the display and provided, the administrator can immediately check with the naked eye and respond quickly and immediately, thereby preventing accidents caused by failures and defects.

본 발명의 한 실시예에 따르면, 기존의 CCTV를 통한 촬영 영상을 이용하여 시각화된 진동 신호를 확인하고 패턴을 추출하여 정량적인 진동 데이터를 분석할 수 있다. According to one embodiment of the present invention, it is possible to analyze the quantitative vibration data by checking the vibration signal visualized using the image taken through the existing CCTV and extracting the pattern.

본 발명의 한 실시예에 따르면, 기존 설치된 CCTV를 이용하여 무전력 진동 센서의 디스플레이에서 출력되는 패턴을 통해 정량적인 진동 데이터를 분석함으로써, 광범위한 산업현장의 기기/구조의 고장·결함발생 탐지가 가능하고 무선 송·수신 전자파 간섭에 의한 타 전자기기 안정성 이슈를 최소화할 수 있다. According to one embodiment of the present invention, by analyzing quantitative vibration data through the pattern output from the display of the non-power vibration sensor using the existing installed CCTV, it is possible to detect failures and defects of devices/structures in a wide range of industrial sites. In addition, it is possible to minimize the stability issues of other electronic devices caused by radio transmission/reception electromagnetic interference.

도 1은 본 발명의 한 실시예에 따른 설비에 대한 진동 모니터링 시스템을 나타낸 예시도이다.
도 2는 본 발명의 한 실시예에 따른 무전력 진동 센서를 나타낸 예시도이다.
도 3은 본 발명의 한 실시예에 따른 패키지된 무전력 진동 센서를 나타낸 예시도이다.
도 4는 본 발명의 한 실시예에 따른 무전력 진동 센서의 마찰에너지를 생성하는 구성을 설명하기 위한 예시도이다.
도 5는 본 발명의 한 실시예에 따른 마찰 에너지를 통해 디스플레이를 구동시키는 구성을 나타낸 예시도이다.
도 6은 본 발명의 한 실시예에 따른 디스플레이의 패턴을 나타낸 예시도이다.
도 7은 본 발명의 한 실시예에 따른 모니터링 장치를 나타낸 구성도이다.
도 8은 본 발명의 한 실시예에 따른 모니터링 장치의 모니터링 방법을 나타낸 순서도이다.
도 9는 본 발명의 다른 실시예에 따른 모니터링 장치를 나타낸 구성도이다.
도 10은 본 발명의 실시예에 따른 학습된 진동 분석 모델을 통한 모니터링 방법을 나타낸 순서도이다. 1 is an exemplary view showing a vibration monitoring system for a facility according to an embodiment of the present invention.
2 is an exemplary view showing a non-powered vibration sensor according to an embodiment of the present invention.
3 is an exemplary diagram illustrating a packaged powerless vibration sensor according to an embodiment of the present invention.
4 is an exemplary diagram for explaining a configuration for generating friction energy of a non-powered vibration sensor according to an embodiment of the present invention.
5 is an exemplary diagram illustrating a configuration for driving a display through frictional energy according to an embodiment of the present invention.
6 is an exemplary diagram illustrating a pattern of a display according to an embodiment of the present invention.
7 is a block diagram illustrating a monitoring device according to an embodiment of the present invention.
8 is a flowchart illustrating a monitoring method of a monitoring device according to an embodiment of the present invention.
9 is a block diagram illustrating a monitoring device according to another embodiment of the present invention.
10 is a flowchart illustrating a monitoring method through a learned vibration analysis model according to an embodiment of the present invention.

첨부한 도면을 참고로 하여 본 발명의 실시예에 대해 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 도면부호가 사용되었다. 또한 널리 알려져 있는 공지기술의 경우 그 구체적인 설명은 생략한다. With reference to the accompanying drawings, the embodiments of the present invention will be described in detail so that those of ordinary skill in the art to which the present invention pertains can easily implement them. The present invention may be embodied in many different forms and is not limited to the embodiments described herein. In order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and the same reference numerals are used for the same or similar components throughout the specification. In addition, in the case of a well-known known technology, a detailed description thereof will be omitted.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated.

본 발명에서 설명하는 장치들은 적어도 하나의 프로세서, 메모리 장치, 통신 장치 등을 포함하는 하드웨어로 구성되고, 지정된 장소에 하드웨어와 결합되어 실행되는 프로그램이 저장된다. 하드웨어는 본 발명의 방법을 실행할 수 있는 구성과 성능을 가진다. 프로그램은 도면들을 참고로 설명한 본 발명의 동작 방법을 구현한 명령어(instructions)를 포함하고, 프로세서와 메모리 장치 등의 하드웨어와 결합하여 본 발명을 실행한다. The devices described in the present invention are composed of hardware including at least one processor, a memory device, a communication device, and the like, and a program executed in combination with the hardware is stored in a designated place. The hardware has the configuration and capability to implement the method of the present invention. The program includes instructions for implementing the method of operation of the present invention described with reference to the drawings, and is combined with hardware such as a processor and a memory device to execute the present invention.

본 명세서에서 "전송 또는 제공"은 직접적인 전송 또는 제공하는 것뿐만 아니라 다른 장치를 통해 또는 우회 경로를 이용하여 간접적으로 전송 또는 제공도 포함할 수 있다.As used herein, "transmission or provision" may include not only direct transmission or provision, but also transmission or provision indirectly through another device or using a detour path.

본 명세서에서 단수로 기재된 표현은 "하나" 또는 "단일" 등의 명시적인 표현을 사용하지 않은 이상, 단수 또는 복수로 해석될 수 있다.In this specification, expressions described in the singular may be construed as singular or plural unless an explicit expression such as “a” or “single” is used.

도 1은 본 발명의 한 실시예에 따른 설비에 대한 진동 모니터링 시스템을 나타낸 예시도이다. 1 is an exemplary view showing a vibration monitoring system for a facility according to an embodiment of the present invention.

도 1에 도시한 바와 같이, 진동 모니터링 시스템은, 설비에 장착된 무전력 진동 센서(100), 하나 이상의 무전력 진동 센서(100)를 포함하여 실시간 촬영 영상을 생성하는 하나 이상의 CCTV(200), 그리고 모니터링 장치(300)를 포함한다. As shown in FIG. 1, the vibration monitoring system includes one or more CCTVs 200 that generate real-time captured images, including a non-power vibration sensor 100 mounted on a facility, and one or more non-power vibration sensors 100, and a monitoring device 300 .

무전력 진동 센서(100)는 설비에 부착되는 패치형(patch type)으로 설비의 진동을 감지하면, 해당 진동에 따른 패턴을 표시한다. The no-power vibration sensor 100 is a patch type attached to the facility, and when it detects the vibration of the facility, it displays a pattern according to the vibration.

여기서, 무전력 진동 센서(100)는 플렉시블(flexible)한 재질로 형성되어 설비의 원형 파이프 등과 같이 곡면으로 이뤄진 설비의 진동부분에 쉽게 부착 가능하다. Here, the no-power vibration sensor 100 is formed of a flexible material and can be easily attached to the vibration part of the facility made of a curved surface, such as a circular pipe of the facility.

무전력 진동 센서(100)는 진동이 발생하기 쉬운 설비 영역이거나 고장이나 결함에 있어서 중요 설비 영역 등과 같이, 다양한 위치에서 별도의 전력원 없이도 부착이 가능하다. The power-free vibration sensor 100 can be attached at various locations without a separate power source, such as a facility area where vibration is likely to occur or an important facility area in case of a failure or defect.

무전력 진동 센서(100)는 부착된 설비로부터 진동을 발생하면, 해당 진동에 기초하여 마찰 전기 신호를 발생시키고 이를 연동하는 디스플레이에 인가하여 발생된 마찰 전기 신호에 기초하여 패턴을 표시한다. When the non-powered vibration sensor 100 generates vibration from the attached equipment, it generates a triboelectric signal based on the vibration and applies it to an interlocking display to display a pattern based on the generated triboelectric signal.

여기서, 패턴은 마찰 전기 신호의 진동 주파수에 따라 상이하게 설정 가능하며, 장착되는 설비마다 패턴을 달리 설정할 수 있다. Here, the pattern can be set differently according to the vibration frequency of the triboelectric signal, and the pattern can be set differently for each installed facility.

이처럼 무전력 진동 센서(100)가 설비의 진동에 따라 패턴을 표시하면 해당 설비를 모니터링하는 CCTV(200)를 통해 실시간으로 촬영한다. As such, when the non-power vibration sensor 100 displays a pattern according to the vibration of the facility, it is photographed in real time through the CCTV 200 that monitors the facility.

CCTV(200)는 시설 내부의 특정 위치에 설치되어 실시간으로 지정된 영역을 촬영하고 촬영된 영상을 연동된 데이터베이스에 저장하거나 관리 서버(미도시함)로 전송한다.The CCTV 200 is installed at a specific location inside the facility to shoot a designated area in real time, and stores the captured image in an interlocked database or transmits it to a management server (not shown).

CCTV(200)는 고유 ID를 가지고 있으며, 시설 내부의 도면에 기초하여 설치된 위치와 CCTV(200) 촬영 영역, 촬영 각도 등과 같은 개별 정보가 고유 ID와 연계되어 데이터베이스에 저장된다.The CCTV 200 has a unique ID, and individual information such as the location installed based on the drawing inside the facility, the CCTV 200 shooting area, and the shooting angle is linked with the unique ID and stored in the database.

이러한 CCTV(200)는 기존 시설에 장착된 CCTV로 활용 가능하며, 하나의 촬영 이미지에는 다수개의 무전력 진동 센서(100)를 포함할 수 있다. Such a CCTV 200 can be utilized as a CCTV installed in an existing facility, and a plurality of non-powered vibration sensors 100 may be included in one captured image.

그리고 모니터링 장치(300)는 CCTV(200)에서 촬영한 영상을 수집하여 각각의 무전력 진동 센서(100)들을 추출한다. And the monitoring device 300 extracts each of the non-powered vibration sensors 100 by collecting the images captured by the CCTV (200).

모니터링 장치(300)는 추출한 무전력 진동 센서(100)의 패턴을 확인하고, 미리 저장된 패턴과 비교하여 추출한 패턴이 나타내는 진동 데이터를 추정할 수 있다. The monitoring device 300 may check the extracted pattern of the non-powered vibration sensor 100 and estimate the vibration data indicated by the extracted pattern by comparing it with a pre-stored pattern.

이때, 모니터링 장치는 별도로 학습 데이터를 생성하고, 생성한 학습데이터를 통해 진동 분석 모델을 학습시킬 수 있다. 그리고 모니터링 장치는 학습된 진동 분석 모델을 통해 해당 촬영 영상에 포함된 무전력 진동 센서(100)들의 패턴으로부터 진동 데이터를 획득할 수 있다. In this case, the monitoring device may separately generate training data and train the vibration analysis model through the generated training data. In addition, the monitoring device may acquire vibration data from the patterns of the non-powered vibration sensors 100 included in the corresponding captured image through the learned vibration analysis model.

여기서, 진동 분석 모델은 딥러닝 모델로, 선형 연산을 활용하여 시각 이미지를 분석하는 인공 신경망인 컨볼루션 신경망(convolutional neural network)이 주로 사용되지만, 이에 한정하는 것은 아니고 머신러닝(machine learning), 딥러닝(Deep learning), 지도학습, 비지도 학습 등을 포함할 수 있다. Here, the vibration analysis model is a deep learning model, and a convolutional neural network, which is an artificial neural network that analyzes a visual image by using a linear operation, is mainly used, but is not limited thereto. Machine learning, deep It may include deep learning, supervised learning, unsupervised learning, and the like.

모니터링 장치는 이러한 분석 방법으로 무전력 진동 센서(100)들의 정량적인 진동 데이터를 추정 및 변환하고 해당 진동 데이터에 기초하여 연동되는 관리자 단말에 알림 메시지를 생성하여 전송할 수 있다. The monitoring device may estimate and convert quantitative vibration data of the non-powered vibration sensors 100 using this analysis method, and generate and transmit a notification message to an interworking manager terminal based on the vibration data.

모니터링 장치(300)는 본 발명을 수행하도록 작성된 소프트웨어 프로그램을 실행할 수 있는 장치이면 충분하고, 예를 들면, 서버, 랩탑 컴퓨터 등일 수 있다. The monitoring device 300 may be any device capable of executing a software program written to carry out the present invention, and may be, for example, a server, a laptop computer, or the like.

그리고 관리자 단말(미도시함)은 설비를 모니터링하는 관제 서버, 담당자 단말, 관리자 단말 또는 관계자 단말 등 각 설비에 연동되는 단말들을 포함한다. And the manager terminal (not shown) includes terminals interworking with each facility, such as a control server for monitoring the facility, a terminal in charge, a manager terminal, or a terminal in charge.

관리자 단말은 각각 메모리 수단, 프로세서를 구비함으로써 연산 처리 능력을 갖춘 단말기를 통칭하는 것이며, 예를 들어, 퍼스널 컴퓨터(personal computer), 핸드헬드 컴퓨터(handheld computer), PDA(personal digital assistant), 휴대폰, 스마트 기기, 태블릿(tablet) 등이 있다.The manager terminal collectively refers to a terminal having arithmetic processing capability by having a memory means and a processor, respectively, for example, a personal computer, a handheld computer, a PDA (personal digital assistant), a mobile phone, Smart devices, tablets, etc.

이하에서는 도 2 내지 도 6을 이용하여 제안하는 무전력 진동 센서에 대해 상세하게 설명한다. Hereinafter, a powerless vibration sensor proposed using FIGS. 2 to 6 will be described in detail.

도 2는 본 발명의 한 실시예에 따른 무전력 진동 센서를 나타낸 예시도이고, 도 3은 본 발명의 한 실시예에 따른 패키지된 무전력 진동 센서를 나타낸 예시도이다. 2 is an exemplary diagram illustrating a non-powered vibration sensor according to an embodiment of the present invention, and FIG. 3 is an exemplary diagram illustrating a packaged non-powered vibration sensor according to an embodiment of the present invention.

도 2에 도시한 바와 같이, 무전력 진동 센서(100)는 진동 프로브(110)와 디스플레이(120)를 포함하며, 설비에 패치형으로 부착된다. As shown in FIG. 2 , the non-powered vibration sensor 100 includes a vibration probe 110 and a display 120 , and is attached to the equipment in a patch type.

도 2의 (a)는 원형 파이프 상에 부착된 무전력 진동 센서의 사시도이고, (b)는 원형 파이프 상에 부착된 무전력 진동 센서의 측면도이며, (c)는 실제 구현되는 무전력 진동 센서를 나타낸 예시도이다. (a) of FIG. 2 is a perspective view of a non-powered vibration sensor attached on a circular pipe, (b) is a side view of a non-powered vibration sensor attached on a circular pipe, and (c) is an actual implemented non-powered vibration sensor is an example diagram showing

이처럼 무전력 진동 센서(100)는 플렉시블한 형태로 원통형의 파이프와 같은 설비에 쉽게 부착될 수 있다. As such, the powerless vibration sensor 100 can be easily attached to a facility such as a cylindrical pipe in a flexible form.

이때, 무전력 진동 센서(100)는 진동 프로브(110)가 설비에 부착되고 진동 프로브(110) 위에 디스플레이(120)가 형성되며, 진동 프로브(110)가 디스플레이(120)보다 넓게 형성되지만 반드시 이에 한정하는 것은 아니다. At this time, in the non-powered vibration sensor 100 , the vibration probe 110 is attached to the facility, the display 120 is formed on the vibration probe 110 , and the vibration probe 110 is formed wider than the display 120 , but it must be It is not limiting.

그리고 무전력 진동 센서(100)의 진동 프로브(110)를 보고하기 위해 패키지 형태를 더 포함할 수 있다. And in order to report the vibration probe 110 of the powerless vibration sensor 100 may further include a package form.

도 3에 도시한 바와 같이, 패키지는 진동 프로브(110)를 감싸는 형태로 형성되며, 평평한 면을 가지도록 사각형 형태로 형성되거나, 설비에 밀착되도록 플렉시블하게 형성될 수 있다. As shown in FIG. 3 , the package is formed in a shape surrounding the vibration probe 110 , and may be formed in a rectangular shape to have a flat surface, or flexible to be closely attached to the equipment.

일반적으로 패키지는 진동 프로브(110)를 보호하는 역할로, 진동 프로브(110)를 내장하고, 연결되는 디스플레이(120)는 외관에 부착될 수 있다. In general, the package serves to protect the vibration probe 110 , and the vibration probe 110 is embedded, and the connected display 120 may be attached to the exterior.

이때, 진동 프로브(110)는 부착되는 설비의 진동에 의해 탈부착을 반복하게 되며, 이를 통해 마찰 전기 신호가 발생한다. At this time, the vibration probe 110 is repeatedly attached and detached by the vibration of the attached equipment, and a triboelectric signal is generated through this.

그러므로 패키지는 진동 프로브(110)의 움직임을 제한하지 않으면서도 외부의 충격이나 외부로부터 유입되는 먼지와 같은 고장 원인으로부터 보호하도록 설계된다. Therefore, the package is designed to protect against failure causes such as external shock or dust introduced from the outside without restricting the movement of the vibration probe 110 .

이하에서는 도 4를 통해 무전력 진동 센서가 마찰 전기 신호를 발생시키는 구성에 대해서는 상세하게 설명한다. Hereinafter, a configuration in which the powerless vibration sensor generates a triboelectric signal will be described in detail with reference to FIG. 4 .

도 4는 본 발명의 한 실시예에 따른 무전력 진동 센서의 마찰에너지를 생성하는 구성을 설명하기 위한 예시도이다. 4 is an exemplary diagram for explaining a configuration for generating friction energy of a non-powered vibration sensor according to an embodiment of the present invention.

도 4에 도시한 바와 같이, 일반적으로 무전력 진동 센서(100)는 설비에 밀착되어 부착되어 있다. As shown in FIG. 4 , in general, the non-powered vibration sensor 100 is closely attached to the equipment.

이때, 배관이 진동함에 따라 설비에 밀착된 진동 프로브(110)가 미세하게 탈부착이 반복되면서 마찰 전기 신호(triboelectric generation signal)가 발생한다. At this time, as the pipe vibrates, as the vibration probe 110 in close contact with the facility is repeatedly attached and detached, a triboelectric generation signal is generated.

배관의 진동의 정도에 따라 진동 프로브(110)가 설비에 완전 탈착(A1)하거나 부분 탈착(A2, A3)을 반복하면서 마찰 전기 신호를 발생한다. Depending on the degree of vibration of the pipe, the vibration probe 110 generates a triboelectric signal while repeating complete detachment (A1) or partial detachment (A2, A3) from the equipment.

이러한 마찰 전기 신호의 파형은 진동 정보를 포함하는 전기 신호이다. The waveform of the triboelectric signal is an electrical signal including vibration information.

그러므로 진동 프로브(110)가 출력하는 마찰 전기 신호를 그대로 디스플레이(120)에 인가된다. Therefore, the triboelectric signal output from the vibration probe 110 is applied to the display 120 as it is.

도 5는 본 발명의 한 실시예에 따른 마찰 에너지를 통해 디스플레이를 구동시키는 구성을 나타낸 예시도이다.5 is an exemplary diagram illustrating a configuration for driving a display through frictional energy according to an embodiment of the present invention.

도 5에 도시한 바와 같이, 설비에서 발생하는 진동에 따라 진동 프로브(110, Sensor probe)에 의해 발생하는 마찰 전기 신호가 디스플레이(120, LCD display)에 인가된다. As shown in FIG. 5 , a triboelectric signal generated by the vibration probe 110 (sensor probe) according to the vibration generated in the facility is applied to the display 120 (LCD display).

디스플레이(120)는 인가되는 마찰 전기 신호에 기초하여 on/ off 동작을 수행하며, 내부에 설정된 패턴을 표시한다. The display 120 performs an on/off operation based on the applied triboelectric signal, and displays a pattern set therein.

디스플레이(120)는 문턱값을 설정하여 문턱값 이상인 경우에 on 동작을 수행할 수 있다. The display 120 may set a threshold and perform an on operation when the threshold is greater than or equal to the threshold.

한편, 디스플레이(120)는 컬러 필터를 포함하는LCD 디스플레이로 도시하였지만, 반드시 이에 한정하는 것은 아니며, 패턴의 종류나 적용되는 환경에 기초하여 컬러 필터가 없는 LCD 디스플레이로 구현이 가능하며, 추후에 용이하게 변경할 수 있다. On the other hand, although the display 120 is illustrated as an LCD display including a color filter, it is not necessarily limited thereto, and it can be implemented as an LCD display without a color filter based on the type of pattern or the environment to which it is applied. can be changed to

디스플레이(120)는 미리 설정된 마찰 전기 신호의 크기에 기초하여 세분화된 단계마다의 패턴을 표시할 수 있다. The display 120 may display a pattern for each subdivided step based on the preset magnitude of the triboelectric signal.

도 6은 본 발명의 한 실시예에 따른 디스플레이의 패턴을 나타낸 예시도이다. 6 is an exemplary diagram illustrating a pattern of a display according to an embodiment of the present invention.

도 6에 도시한 바와 같이, 디스플레이의 패턴은 생성되는 마찰 전기 신호에 기초하여 색상, 무늬, 선명도 등이 변화할 수 있다. As shown in FIG. 6 , the pattern of the display may change in color, pattern, sharpness, etc. based on the generated triboelectric signal.

도 6의 (a)는 일정한 무늬를 가지는 LCD 디스플레이, (b)는 동일한 색상에 기초하는 LCD 디스플레이, (c)는 서로 상이한 색상을 가지는 LCD 디스플레이를 나타낸다. 6 (a) shows an LCD display having a uniform pattern, (b) is an LCD display based on the same color, and (c) is an LCD display having different colors.

도 6에 도시한 바와 같이 입력되는 진동 주파수(Hz)에 기초하는 패턴, 색상 그리고 선명도 중에서 하나로 표시되며, 진동 주파수의 임계값은 20Hz 미만의 값으로 해당 진동 주파수는 일반적으로 확인되는 진동 주파수를 나타낸다. As shown in FIG. 6 , it is displayed in one of a pattern, color, and clarity based on an input vibration frequency (Hz), and the threshold value of the vibration frequency is a value less than 20 Hz, and the vibration frequency represents a generally identified vibration frequency. .

도 6의 (a)에 도시한 바와 같이, 일정한 무늬를 가지는 LCD 디스플레이에서, 입력되는 마찰 전기 에너지의 크기에 기초하여 해당 무늬 중에서 일부 또는 전부가 표시될 수 있다. As shown in (a) of FIG. 6 , in the LCD display having a certain pattern, part or all of the pattern may be displayed based on the magnitude of the input triboelectric energy.

상세하게는 20 Hz 이상의 신호가 입력되면 해당 무늬 중에서 20Hz이상의 30Hz 이하인 주파수인 경우, 최소 표시되는 영역만 표시되며, 30 Hz 이상의 40Hz 이하이면 최소 표시되는 영역보다 한 단계 더 표시됨으로써 50Hz까지 단계적으로 패턴이 표시될 수 있다. In detail, when a signal of 20 Hz or more is input, in the case of a frequency of 20 Hz or more and 30 Hz or less among the corresponding patterns, only the minimum displayed area is displayed. can be displayed.

이처럼 입력되는 진동 주파수 크기에 기초하여 표시되는 패턴이 상이하도록 설정가능하기 때문에, 외부에서 직관적으로 진동 발생 여부나 진동의 크기를 추정할 수 있다. Since the displayed pattern can be set to be different based on the magnitude of the input vibration frequency, it is possible to intuitively estimate whether or not vibration is generated from the outside or the magnitude of the vibration.

예를 들어, 오른쪽 마지막 두 개의 라인이 높게 치솟으면 최소한 20Hz 이상임을 관리자가 알 수 있고 왼쪽 첫 번째 라인이 높게 치솟으면 50Hz 이상임을 관리자가 쉽게 알 수 있다. For example, if the last two lines on the right soar high, the manager knows it's at least 20Hz, and if the first line on the left soars high, it's easy for the manager to know it's over 50Hz.

뿐만 아니라 도 6의 (b)와 같이 한가지 색상에 기초하여 입력되는 진동 주파수 크기에 따라 선명도가 상이하게 설정될 수 있다. In addition, as shown in FIG. 6B , the sharpness may be set differently according to the magnitude of the input vibration frequency based on one color.

입력되는 진동 주파수 크기에 기초하여 표시되는 조도의 강도가 점점 강해져 마지막 50Hz에서는 가장 강한 색상을 표시할 수 있다. The intensity of the displayed illuminance gradually increases based on the magnitude of the input vibration frequency, and the strongest color can be displayed at the last 50Hz.

그리고 도 6의 (c)와 같이, 입력되는 진동 주파수 크기에 기초하여 20Hz에서는 노란 색, 30Hz에서는 파란 색, 40Hz에서는 초록색 그리고 50Hz에서는 빨간색으로 매칭하여 입력되는 진동 주파수에 따라 색상을 표시할 수 있다. And, as shown in FIG. 6(c), based on the magnitude of the input vibration frequency, the color can be displayed according to the input vibration frequency by matching yellow at 20 Hz, blue at 30 Hz, green at 40 Hz, and red at 50 Hz. .

이러한 LCD 패널의 패턴은 하나의 예시로 반드시 이에 한정하는 것은 아니며, 마찰 에너지를 시각화할 수 있는 패턴들을 모두 포함할 수 있다. The pattern of the LCD panel is an example and is not necessarily limited thereto, and may include all patterns capable of visualizing frictional energy.

또한, LCD 패널의 패턴은 패턴, 색상 그리고 선명도 중에서 하나 이상의 조합으로 설정 가능하다. In addition, the pattern of the LCD panel can be set as a combination of one or more of pattern, color, and sharpness.

도 7은 본 발명의 한 실시예에 따른 모니터링 장치를 나타낸 구성도이다. 7 is a block diagram illustrating a monitoring device according to an embodiment of the present invention.

도 7에 도시한 바와 같이, 모니터링 장치(300)는 CCTV에서 실시간 촬영된 영상들을 수집하는 영상 수집부(310), 수집된 영상들에서 무전력 진동 센서를 추출하여 무전력 진동 센서의 패턴을 분석하는 분석부(320) 그리고 분석된 패턴에 기초하여 저장 및 전달하는 제어부(330)를 포함한다. As shown in FIG. 7 , the monitoring device 300 analyzes the pattern of the non-powered vibration sensor by extracting the non-powered vibration sensor from the image collecting unit 310 that collects images captured in real time from the CCTV, and the collected images. It includes an analysis unit 320 and a control unit 330 that stores and transmits based on the analyzed pattern.

설명을 위해, 영상 수집부(310), 분석부(320) 그리고 제어부(330)로 명명하여 부르나, 이들은 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치이다. 여기서, 영상 수집부(310), 분석부(320) 그리고 제어부(330)는 하나의 컴퓨팅 장치에 구현되거나, 별도의 컴퓨팅 장치에 분산 구현될 수 있다. 별도의 컴퓨팅 장치에 분산 구현된 경우, 영상 수집부(310), 분석부(320) 그리고 제어부(330)는 통신 인터페이스를 통해 서로 통신할 수 있다. For description, the image collection unit 310 , the analysis unit 320 , and the control unit 330 are named and called, but these are computing devices operated by at least one processor. Here, the image collection unit 310 , the analysis unit 320 , and the control unit 330 may be implemented in one computing device or distributed in separate computing devices. When distributed in a separate computing device, the image collection unit 310 , the analysis unit 320 , and the control unit 330 may communicate with each other through a communication interface.

영상 수집부(310)는 실시간 촬영되는 CCTV의 영상을 수집한다. 이때, 영상 수집부(310)는 CCTV 중에서 무전력 진동 센서가 장착된 설비를 촬영하는 CCTV 를 선택하여 선택된 CCTV의 영상을 수집할 수 있다. The image collection unit 310 collects images of CCTV that are photographed in real time. At this time, the image collection unit 310 may collect the selected CCTV image by selecting a CCTV that shoots a facility equipped with a non-power vibration sensor from among the CCTV.

그리고 영상 수집부(310)는 영상을 수집하는 CCTV의 고유 ID를 함께 수집하며, CCTV의 고유 ID에 기초하여 해당 영상이 나타내는 설비의 위치, 장소, 특징에 대한 정보를 함께 수집할 수 있다. In addition, the image collection unit 310 collects the unique ID of the CCTV that collects the image, and based on the unique ID of the CCTV, information on the location, place, and characteristic of the facility indicated by the image may be collected together.

이때, CCTV가 회전하면서 설비들을 촬영하는 경우, CCTV의 촬영이동 각도를 포함하는 움직임 정보를 함께 수집할 수 있다. At this time, when the CCTV is rotating while photographing the facilities, movement information including the photographing movement angle of the CCTV may be collected together.

분석부(320)는 수집한 영상을 분석하여 무전력 진동 센서의 이미지를 추출한다. 상세하게는 분석부(320)는 해당 무전력 진동 센서의 디스플레이에 표시되는 패턴 이미지를 추출할 수 있다. The analysis unit 320 analyzes the collected image and extracts an image of the non-powered vibration sensor. In detail, the analysis unit 320 may extract a pattern image displayed on the display of the corresponding non-powered vibration sensor.

그리고 분석부(320)는 미리 저장된 무전력 진동 센서의 패턴 이미지들 중에서 수집한 영상에서의 무전력 진동 센서의 패턴과 일치하는 패턴 이미지를 확인할 수 있다. In addition, the analysis unit 320 may identify a pattern image that matches the pattern of the non-powered vibration sensor in the collected image from among the pre-stored pattern images of the non-powered vibration sensor.

이에 분석부(320)는 확인된 패턴 이미지에 기초하여 해당 무전력 진동 센서가 나타내는 정량적 진동 데이터로 변환할 수 있다. Accordingly, the analysis unit 320 may convert the quantitative vibration data indicated by the corresponding non-powered vibration sensor based on the identified pattern image.

제어부(330)는 CCTV 고유 ID에 기초하여 설비 위치를 추정하고, 추정된 설비 위치에 대응하여 무전력 진동 센서의 ID를 추정할 수 있다. The control unit 330 may estimate the facility location based on the CCTV unique ID, and estimate the ID of the powerless vibration sensor in response to the estimated facility location.

예를 들어, 설비와 설비에 부착된 무전력 진동 센서들을 나타내는 도면에 기초하여 CCTV 고유 ID의 촬영 영상에서 각 무전력 진동 센서들의 위치 및 ID를 추정할 수 있다. For example, it is possible to estimate the location and ID of each non-powered vibration sensor from the captured image of the CCTV unique ID based on the drawing showing the equipment and the non-powered vibration sensors attached to the equipment.

이에 따라 제어부(330)는 촬영 영상에서 분석한 정량적 진동 데이터를 가지는 무전력 진동 센서들을 개별적으로 인식할 수 있다. Accordingly, the controller 330 may individually recognize the non-powered vibration sensors having quantitative vibration data analyzed from the captured image.

그리고 제어부(330)는 각 무전력 진동 센서 또는 해당 무전력 진동 센서가 장착된 설비에 연동되는 사용자 단말에 변환된 정량적 진동 데이터를 전달할 수 있다. In addition, the control unit 330 may transmit the converted quantitative vibration data to each non-power vibration sensor or a user terminal linked to a facility equipped with a corresponding non-power vibration sensor.

이때, 제어부(330)는 무전력 진동 센서 또는 각 설비마다 단계를 설정하여 단계별로 알림 메시지를 생성하여 전달할 수 있다. In this case, the control unit 330 may set a step for each non-power vibration sensor or each facility to generate and deliver a notification message step by step.

예를 들어, 진동 데이터의 크기에 비례하여 1단계에서 3단계로 설정하는 경우, 1단계의 진동 데이터이면 해당 설비를 모니터링하는 관제 서버에 해당 주의를 알리는 알림 메시지를 전달하고 2단계의 진동 데이터이면 관제 서버 및 관리자 단말에 점검 요청하는 알림 메시지를 전달하고, 3단계의 진동 데이터이면, 관제 서버 및 관리자, 관계자 단말로 점검 또는 설비 교체 요청을 하는 알림 메시지를 전달할 수 있다. For example, when setting from stage 1 to stage 3 in proportion to the size of vibration data, if it is vibration data of stage 1, a notification message notifying the attention is delivered to the control server that monitors the facility, and if it is vibration data of stage 2 A notification message for requesting inspection is transmitted to the control server and the manager terminal, and if it is the vibration data of step 3, a notification message for requesting an inspection or equipment replacement can be delivered to the control server, the manager, and the terminal concerned.

이처럼 제어부(330)는 미리 설정된 단계에 따라 전달하는 단말을 상이하게 설정할 수도 있고 생성되는 알림 메시지, 알림음, 조명의 점등 효과 등을 상이하게 설정할 수 있다. As such, the controller 330 may set different terminals to be delivered according to preset steps, or may set different generated notification messages, notification sounds, lighting effects, and the like.

도 8은 본 발명의 한 실시예에 따른 모니터링 장치의 모니터링 방법을 나타낸 순서도이다. 8 is a flowchart illustrating a monitoring method of a monitoring device according to an embodiment of the present invention.

도 8에 도시한 바와 같이, 모니터링 장치(300)는 설비마다 무전력 진동 센서를 부착하고, 미리 설정된 무전력 진동 센서의 패턴을 데이터베이스에 저장한다(S110).As shown in FIG. 8 , the monitoring device 300 attaches a non-powered vibration sensor to each facility and stores a preset pattern of the non-powered vibration sensor in the database (S110).

모니터링 장치(300)는 설비들이 배치된 도면, 설비의 도면에 기초하여 무전력 진동 센서(100)의 위치를 저장하고, 각각의 무전력 진동 센서(100)의 패턴들을 저장할 수 있다. The monitoring device 300 may store the location of the non-powered vibration sensor 100 based on a drawing in which facilities are arranged and a drawing of the facility, and may store patterns of each of the non-powered vibration sensors 100 .

무전력 진동 센서(100)는 장착된 설비의 진동에 의해 마찰 전기 신호를 생성하고, 생성된 마찰 전기 신호에 기초하여 패턴을 표시하는 플렉시블한 센서이다. The no-power vibration sensor 100 is a flexible sensor that generates a triboelectric signal by vibration of the installed equipment and displays a pattern based on the generated triboelectric signal.

이때, 설비의 종류, 또는 위치 그리고 무전력 진동 센서(100)의 종류에 따라 패턴들은 동일하거나 또는 상이하게 설정 가능하다. At this time, the patterns can be set the same or different according to the type or location of the equipment and the type of the non-powered vibration sensor 100 .

다음으로 모니터링 장치(300)는 CCTV를 통해 촬영된 설비 시설의 영상을 수집한다(S120). Next, the monitoring device 300 collects images of facilities photographed through CCTV (S120).

모니터링 장치(300)는 하나 이상의 무전력 진동 센서(100)를 촬영한 CCTV 촬영 영상을 실시간으로 수집한다. The monitoring device 300 collects in real time CCTV footage taken by one or more non-powered vibration sensors 100 .

그리고 모니터링 장치(300)는 영상에서 무전력 진동 센서의 LCD 디스플레이를 추출한다(S130). And the monitoring device 300 extracts the LCD display of the non-powered vibration sensor from the image (S130).

모니터링 장치(300)는 촬영 영상에서 무전력 진동 센서를 추출하여 관심 영역으로 설정하고, 해당 관심 영역을 분석하여 LCD 디스플레이 부분을 추출할 수 있다. The monitoring apparatus 300 may extract a non-powered vibration sensor from the captured image, set it as a region of interest, and extract a portion of the LCD display by analyzing the region of interest.

그리고 모니터링 장치(300)는 무전력 진동 센서의 LCD 디스플레이에서 패턴을 추출하고, 패턴에 기초하여 정량적인 진동 데이터로 변환한다(S140). And the monitoring device 300 extracts a pattern from the LCD display of the non-powered vibration sensor, and converts it into quantitative vibration data based on the pattern (S140).

모니터링 장치(300)는 LCD 디스플레이의 패턴들을 추출하고, 추출된 패턴과 미리 저장된 패턴들을 비교 분석한다. The monitoring device 300 extracts patterns of the LCD display, and compares and analyzes the extracted patterns with pre-stored patterns.

그리고 모니터링 장치(300)는 추출된 패턴과 일치하는 패턴을 선택하여, 해당 패턴에 대응하는 진동 데이터를 확인한다. 이에 모니터링 장치(300)는 추출된 패턴이 해당 진동 데이터를 가진다고 추정한다. And the monitoring device 300 selects a pattern that matches the extracted pattern, and checks the vibration data corresponding to the pattern. Accordingly, the monitoring device 300 estimates that the extracted pattern has the corresponding vibration data.

다음으로 모니터링 장치(300)는 진동 데이터에 기초하여 해당 설비와 연동되는 단말에 알림 메시지 전송한다(S150). Next, the monitoring device 300 transmits a notification message to the terminal interworking with the corresponding facility based on the vibration data (S150).

모니터링 장치(300)는 추정된 진동 데이터와 해당 진동 데이터를 가지는 무전력 진동 센서 정보를 연계하여 데이터베이스에 저장할 수 있다. The monitoring device 300 may link the estimated vibration data and the non-power vibration sensor information having the corresponding vibration data and store it in the database.

그리고 추정된 진동 데이터의 값에 기초하여 단계별로 연계된 관리자 단말에 알림 메시지를 전송할 수 있다. In addition, a notification message may be transmitted to the manager terminal associated with each step based on the value of the estimated vibration data.

이하에서는 도 9와 도 10을 이용하여 딥러닝 모델을 생성하고, 이를 이용하여 무전력 진동 센서의 패턴을 분석하는 모니터링 장치 및 모니터링 방법에 대해서 설명한다. Hereinafter, a monitoring device and a monitoring method for generating a deep learning model using FIGS. 9 and 10 and analyzing a pattern of a non-powered vibration sensor using this will be described.

앞서 설명한 도 7과 도 8에서 설명한 모니터링 장치의 구성 및 방법과 중복되는 설명은 생략한다. A description that overlaps with the configuration and method of the monitoring device described with reference to FIGS. 7 and 8 described above will be omitted.

도 9는 본 발명의 다른 실시예에 따른 모니터링 장치를 나타낸 구성도이다. 9 is a block diagram illustrating a monitoring device according to another embodiment of the present invention.

도 9에 도시한 바와 같이, 다른 실시예에 따른 모니터링 장치(400)는 설비를 촬영한 영상을 수집하는 영상 수집부(410), 수집한 영상에서 무전력 진동 센서의 패턴을 추출하도록 진동 분석 모델을 학습하는 학습부(420), 학습된 진동 분석 모델에 기초하여 실시간 무전력 진동 센서의 패턴을 분석하는 분석부(430) 그리고 분석된 패턴에 기초하여 저장 및 전달하는 제어부(440)를 포함한다. As shown in FIG. 9 , the monitoring device 400 according to another embodiment includes an image collection unit 410 that collects images of equipment, and a vibration analysis model to extract a pattern of a non-powered vibration sensor from the collected images. It includes a learning unit 420 for learning, an analysis unit 430 for analyzing a pattern of a real-time powerless vibration sensor based on the learned vibration analysis model, and a control unit 440 for storing and transmitting based on the analyzed pattern. .

설명을 위해, 영상 수집부(410), 학습부(420), 분석부(430) 그리고 제어부(440)로 명명하여 부르나, 이들은 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치이다. 여기서, 영상 수집부(410), 학습부(420), 분석부(430) 그리고 제어부(440)는 하나의 컴퓨팅 장치에 구현되거나, 별도의 컴퓨팅 장치에 분산 구현될 수 있다. 별도의 컴퓨팅 장치에 분산 구현된 경우, 영상 수집부(410), 학습부(420), 분석부(430) 그리고 제어부(440)는 통신 인터페이스를 통해 서로 통신할 수 있다. For description, the image collection unit 410 , the learning unit 420 , the analysis unit 430 , and the control unit 440 are named and called, but these are computing devices operated by at least one processor. Here, the image collection unit 410 , the learning unit 420 , the analysis unit 430 , and the control unit 440 may be implemented in one computing device or distributed in separate computing devices. When distributed in a separate computing device, the image collection unit 410 , the learning unit 420 , the analysis unit 430 , and the control unit 440 may communicate with each other through a communication interface.

영상 수집부(410)는 실시간 촬영되는 CCTV의 영상 또는 CCTV에서 촬영된 영상이 저장된 데이터베이스에 접속하여 영상들을 수집한다. The image collection unit 410 collects images by accessing a database in which images of CCTVs captured in real time or images captured by CCTV are stored.

도 9에서는 데이터베이스를 통해 학습 영상을 수집하고 각 CCTV에서 실시간 영상을 수집한 것으로 도시하였으나, 반드시 이에 한정하는 것은 아니다. In FIG. 9 , it is illustrated that learning images are collected through a database and real-time images are collected from each CCTV, but the present invention is not limited thereto.

예를 들어, 영상 수집부(410)는 학습 영상으로 실시간 CCTV에서 촬영된 영상을 수집할 수 있으며, 실시간 촬영된 영상이 데이터베이스에 저장됨과 동시에 해당 영상들을 수집할 수 있다. 이러한 구성은 추후에 적용되는 상황에 기초하여 설정 및 변경 가능하다. For example, the image collection unit 410 may collect images captured in real-time CCTV as learning images, and may collect the images taken in real time while the images captured in real time are stored in a database. Such a configuration can be set and changed based on a situation to be applied later.

학습부(420)는 수집된 학습 영상과 미리 설정된 무전력 진동 센서의 패턴을 서로 매칭하여 학습 데이터를 생성한다. 이때, 학습 영상은 실제 CCTV를 통해 촬영된 영상을 이용하지만, 시뮬레이션으로 획득한 영상을 이용할 수 있다. The learning unit 420 generates learning data by matching the collected learning image with a preset pattern of the non-powered vibration sensor. In this case, the learning image uses an image captured through an actual CCTV, but an image obtained through simulation may be used.

학습 영상에는 하나 이상의 무전력 진동 센서가 촬영될 수 있으며, 학습부(420)는 하나의 촬영 영상에서 각각의 무전력 진동 센서마다 관심 영역을 설정하고, 해당 관심 영역마다 실제 무전력 진동 센서에 표시되도록 한 패턴을 매칭하여 학습 데이터를 생성한다. One or more non-powered vibration sensors may be photographed in the learning image, and the learning unit 420 sets a region of interest for each non-powered vibration sensor in one captured image, and displays it on the actual non-powered vibration sensor for each region of interest. The training data is generated by matching one pattern as much as possible.

그리고 학습부(420)는 진동 분석 모델에 학습 데이터를 통해 반복 학습시킨다. And the learning unit 420 repeatedly learns the vibration analysis model through the training data.

예를 들어, 학습부(420)는 촬영 영상을 진동 분석 모델에 입력하면, 각 무전력 진동 센서들을 검출하고, 검출된 무전력 진동 센서의 패턴에서 진동 데이터가 도출되도록 반복 학습시킨다. For example, when the captured image is input to the vibration analysis model, the learning unit 420 detects each non-powered vibration sensor, and repeatedly learns to derive vibration data from the detected pattern of the non-powered vibration sensor.

다시 말해, 진동 분석 모델은 영역을 검출하고, 검출한 영역에 대한 분석을 수행하여 진동 데이터를 도출할 수 있다. In other words, the vibration analysis model may derive vibration data by detecting a region and performing analysis on the detected region.

상세하게는 검출 학습의 경우, 영상 내에 자동 검출하고자 하는 영역(무전력 진동 센서)들에 대한 표시가 되어 있는 학습데이터를 구축하고, 이들 학습데이터를, 특정한 영역 검출에 최적화하여 개발한 인공지능 검출용 모델에 대해 훈련을 수행하여 학습이 완료된 검출 모델을 생성한다. Specifically, in the case of detection learning, artificial intelligence detection developed by constructing learning data marked with regions (non-power vibration sensors) to be automatically detected in the image, and optimizing these learning data for specific region detection. Training is performed on the dragon model to generate a detection model that has been trained.

그리고 영상 내 영역들에 대해, 패턴 분류 기준을 적용한 학습 데이터를 구축하고, 이들 학습데이터로, 패턴 분석 및 진동 데이터의 도출을 자동화하기 위해 개발한 인공지능 분석용 모델을 훈련시켜, 학습이 완료된 분석 모델을 생성한다. And for the areas within the image, the learning data applied with the pattern classification criteria is built, and the learning data is used to train the AI analysis model developed to automate the pattern analysis and the derivation of the vibration data, and the learning is completed. create a model

이때, 검출 모델 또한 분석 모델은 인공지능 모델로, 각각의 독립적인 인공지능 모델일 수 있고, 또는 서로 연계되는 하나의 인공지능 모델로 구현될 수 있다. 이에 따라, 상술한 구성들에 대응하는 하나 또는 복수의 인공지능 모델은 하나 또는 복수의 컴퓨팅 장치에 의해 구현될 수 있다.In this case, the detection model and the analysis model are artificial intelligence models, each of which may be an independent artificial intelligence model, or may be implemented as one artificial intelligence model linked to each other. Accordingly, one or a plurality of artificial intelligence models corresponding to the above-described configurations may be implemented by one or a plurality of computing devices.

또한 학습부(420)는 일정한 주기마다 진동 분석 모델을 재학습을 수행하거나 학습이 완료된 결과에 따른 정확도를 분석하여 정확도가 임계치 이하인 경우, 진동 분석 모델을 재학습할 수 있다. In addition, the learning unit 420 may relearn the vibration analysis model at regular intervals or analyze the accuracy according to a result of the completion of learning, and if the accuracy is less than or equal to a threshold value, relearn the vibration analysis model.

분석부(430)는 학습이 완료된 진동 분석 모델을 이용하여 실시간 수집된 영상에서 검출된 무전력 진동 센서(100)의 진동 데이터를 획득한다. The analysis unit 430 acquires vibration data of the non-powered vibration sensor 100 detected from the images collected in real time by using the vibration analysis model that has been trained.

이때, 진동 분석 모델에 무전력 진동 센서(100)를 검출하는 검출 모델과 패턴을 분석하는 분석 모델을 포함하거나, 일부 모델만을 의미할 수 있다. In this case, the vibration analysis model may include a detection model for detecting the non-powered vibration sensor 100 and an analysis model for analyzing a pattern, or may mean only some models.

이에 진동 분석 모델이 검출 모델 또는 분석 모델 중에서 하나의 모델만을 포함하는 경우, 분석부(430)는 CCTV 촬영 영상에서 무전력 진동 센서(100)를 검출하는 기능을 더 포함하거나 검출된 무전력 진동 센서(100)의 패턴과 미리 저장된 패턴을 비교하여 진동 데이터를 추정하는 기능을 더 포함할 수 있다. Accordingly, when the vibration analysis model includes only one of the detection model or the analysis model, the analysis unit 430 further includes a function of detecting the non-powered vibration sensor 100 from the CCTV captured image or the detected non-powered vibration sensor. It may further include a function of estimating vibration data by comparing the pattern of ( 100 ) with a pre-stored pattern.

그리고 제어부(440)는 촬영 영상에서의 무전력 진동 센서(100)들을 개별적으로 인식하여 각 무전력 진동 센서(100)들이 장착된 설비와 연동하여 진동 데이터들을 저장한다. In addition, the control unit 440 individually recognizes the non-powered vibration sensors 100 in the captured image and stores vibration data in association with the equipment in which each non-powered vibration sensor 100 is mounted.

도 10은 본 발명의 실시예에 따른 학습된 진동 분석 모델을 통한 모니터링 방법을 나타낸 순서도이다.10 is a flowchart illustrating a monitoring method through a learned vibration analysis model according to an embodiment of the present invention.

모니터링 장치(400)는 실제 설비에 장착된 무전력 진동 센서가 미리 설정된 패턴을 도시하도록 하고, 해당 무전력 진동 센서를 포함한 촬영 영상들을 수집한다(S210). The monitoring device 400 allows the non-powered vibration sensor mounted on the actual facility to show a preset pattern, and collects captured images including the corresponding non-powered vibration sensor ( S210 ).

모니터링 장치(400)는 미리 설정된 패턴에 기초하여 무전력 진동 센서(100)가 특정 패턴을 도시하도록 하고, 특정 패턴을 도시하는 무전력 진동 센서(100)를 포함하는 촬영 영상을 수집한다. The monitoring device 400 causes the non-powered vibration sensor 100 to show a specific pattern based on a preset pattern, and collects captured images including the non-powered vibration sensor 100 showing the specific pattern.

이때, 모니터링 장치(400)는 실제 설비에 무전력 진동 센서(100)를 장착하고 특정 패턴으로 설정된 진동 데이터만큼 해당 설비에 진동을 발생시켜 해당 영상을 확보할 수 있다. 또는 모니터링 장치(400)는 실제 설비, 무전력 진동 센서(100)를 동일하게 구현한 시뮬레이터를 통해 해당 영상을 확보할 수 있다. In this case, the monitoring device 400 may secure the corresponding image by mounting the non-powered vibration sensor 100 in the actual facility and generating vibration in the corresponding facility as much as the vibration data set in a specific pattern. Alternatively, the monitoring device 400 may secure the corresponding image through a simulator in which the actual facility and the non-powered vibration sensor 100 are implemented in the same way.

다음으로 모니터링 장치(400)는 촬영 영상과, 촬영 영상에 포함된 무전력 진동 센서들마다의 패턴과 진동 데이터를 매칭하여 학습데이터를 생성한다(S220). Next, the monitoring device 400 generates learning data by matching the captured image with the pattern and vibration data of each of the non-powered vibration sensors included in the captured image ( S220 ).

모니터링 장치(400)는 학습 모델의 입력 값으로 촬영된 영상을 선택하고, 결과 값으로 해당 영상의 패턴, 진동 데이터를 매칭하여 학습 데이터를 생성할 수 있다. The monitoring apparatus 400 may select an image captured as an input value of the learning model, and may generate learning data by matching a pattern and vibration data of the image as a result value.

상세하게는 모니터링 장치(400)는 촬영 영상에서 무전력 진동 센서를 나타내는 영역을 표시하고, 실제 해당 영역을 포함하는 촬영 영상을 매칭하여 학습 데이터를 생성하고, 영상 내 영역들에 대한 패턴과 진동 데이터들을 매칭하여 학습 데이터를 생성할 수 있다. In detail, the monitoring device 400 displays a region indicating the non-powered vibration sensor in the captured image, generates learning data by matching the captured image including the actual region, and patterns and vibration data for regions within the image You can create training data by matching them.

다시 말해, 모니터링 장치(400)는 CCTV 촬영 영상에서 무전력 진동 센서(100)를 검출하는 학습과 검출된 무전력 진동 센서(100)에서 디스플레이에 표시된 패턴을 분석하는 학습을 위한 각각의 학습 데이터를 생성할 수 있다. In other words, the monitoring device 400 receives each learning data for learning to detect the non-powered vibration sensor 100 from the CCTV captured image and learning to analyze the pattern displayed on the display from the detected non-powered vibration sensor 100. can create

다음으로 모니터링 장치(400)는 학습 데이터들에 기초하여 진동 분석 모델을 학습시킨다(S230). Next, the monitoring device 400 trains the vibration analysis model based on the learning data (S230).

모니터링 장치(400)는 입력된 값이 진동 분석 모델을 통해 획득한 값이 앞서 학습데이터에 포함된 결과값과 일치하도록 반복적으로 학습을 수행할 수 있다. The monitoring device 400 may repeatedly perform learning such that the input value is the value obtained through the vibration analysis model and the result value included in the previous learning data.

그리고 모니터링 장치(400)는 학습이 완료되면, 해당 진동 분석 모델에 대한 가중치, 진동 분석 모델의 구조 등 관련 정보를 저장한다. And when the learning is completed, the monitoring device 400 stores related information such as a weight for the corresponding vibration analysis model and the structure of the vibration analysis model.

다음으로 모니터링 장치(400)는 CCTV를 통해 촬영된 설비 시설 영상을 실시간 수집한다(S240). Next, the monitoring device 400 collects the facility facility image captured through the CCTV in real time (S240).

모니터링 장치(400)는 실시간으로 무전력 진동 센서(100)를 포함하는 시설 영상을 수집한다. The monitoring device 400 collects an image of a facility including the no-power vibration sensor 100 in real time.

그리고 모니터링 장치(400)는 수집된 영상을 진동 분석 모델에 입력하여 진동 데이터를 획득한다(S250). And the monitoring device 400 acquires vibration data by inputting the collected image to the vibration analysis model (S250).

모니터링 장치(400)는 수집된 영상을 진동 분석 모델에 입력하여, 무전력 진동 센서(100)를 검출하고, 무전력 진동 센서(100)에 표시된 패턴을 분석하여 정량화된 진동 데이터를 획득할 수 있다. The monitoring device 400 may obtain quantified vibration data by inputting the collected image to the vibration analysis model, detecting the non-powered vibration sensor 100 , and analyzing the pattern displayed on the non-powered vibration sensor 100 . .

다음으로 모니터링 장치(400)는 진동 데이터에 기초하여 연동되는 단말에 알림 메시지 전송한다(S250). Next, the monitoring device 400 transmits a notification message to the interworking terminal based on the vibration data (S250).

모니터링 장치(400)는 획득한 진동 데이터를 해당 무전력 진동 센서(100)와 해당 무전력 진동 센서(100)가 부착된 시설에 연계하여 저장한다. The monitoring device 400 stores the acquired vibration data in association with the non-powered vibration sensor 100 and the facility to which the non-powered vibration sensor 100 is attached.

그리고 모니터링 장치(400)는 진동 데이터에 기초하여 단계별 알림 메시지를 생성하고 이를 연동하는 단말에 전송한다. And the monitoring device 400 generates a step-by-step notification message based on the vibration data and transmits it to the interworking terminal.

본 발명에 따르면, 플렉시블 패치형의 무전력 진동 센서를 통해 설비의 다양한 곡면에 부착이 쉽고 외부 전력 공급 없이도 진동을 감지하기 때문에 경량화가 용이하며, 기존 설비 변경 없이도 최소 비용으로 현장에 바로 활용 가능하다.According to the present invention, it is easy to attach to various curved surfaces of a facility through a flexible patch-type no-power vibration sensor, and it is easy to reduce the weight because it detects vibration without external power supply, and it can be used directly in the field at a minimum cost without changing existing facilities.

본 발명에 따르면, 진동 신호를 디스플레이에 시각화하여 제공함에 따라 관리자가 육안으로 즉시 확인하고 신속하고 즉각적인 대응이 가능하기 때문에 고장 및 결함으로 인해 발생하는 사고를 예방할 수 있다. According to the present invention, as the vibration signal is visualized and provided on the display, the administrator can immediately check with the naked eye and respond quickly and immediately, thereby preventing accidents caused by failures and defects.

본 발명에 따르면, 기존의 CCTV를 통한 촬영 영상을 이용하여 시각화된 진동 신호를 확인하고 패턴을 추출하여 정량적인 진동 데이터를 분석할 수 있다. According to the present invention, it is possible to analyze the quantitative vibration data by checking the vibration signal visualized using the image taken through the existing CCTV and extracting the pattern.

본 발명의 하나의 실시예에 따른 방법을 실행시키기 위한 프로그램은 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다.A program for executing the method according to an embodiment of the present invention may be recorded in a computer-readable recording medium.

컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 여기서 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드가 포함된다.The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The medium may be specially designed and configured, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include hard disks, magnetic media such as floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floppy disks, and ROMs, RAMs, flash memories, and the like. Hardware devices specially configured to store and execute the same program instructions are included. Here, the medium may be a transmission medium such as an optical or metal wire or a waveguide including a carrier wave for transmitting a signal designating a program command, a data structure, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although preferred embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements by those skilled in the art using the basic concept of the present invention as defined in the following claims are also provided. is within the scope of the

Claims

delete

An image collection unit that collects captured images of CCTV including one or more non-powered vibration sensors mounted on the facility;
An analysis unit that extracts one or more non-powered vibration sensors from the captured image, recognizes a pattern displayed on a display of the non-powered vibration sensor, and analyzes quantitative vibration data from the pattern, and
A control unit that stores the vibration data in connection with a facility corresponding to the non-powered vibration sensor
including,
To generate learning data by matching the pattern displayed by the non-powered vibration sensor attached to the facility and the captured image including the corresponding non-powered vibration sensor,
Monitoring device further comprising a learning unit for learning the vibration analysis model based on the generated learning data.

In claim 5,
The powerless vibration sensor is
A monitoring device that is attached to a device that generates vibration, generates a triboelectric signal by detachment according to the vibration of the device, and displays a preset pattern based on the triboelectric signal.

In claim 6,
The monitoring apparatus further comprising a database for storing a pattern of the non-powered vibration sensor that is set differently from one or more of a pattern, a color, and a sharpness for each constant vibration data based on the triboelectric signal.

In claim 7,
Select a pattern matching the pattern recognized in the captured image from among the patterns of the non-powered vibration sensor stored in the database, detect the vibration data of the selected pattern, and use the detected vibration data for the non-powered vibration sensor of the captured image A monitoring device that estimates vibration data.

delete

In claim 5,
The analysis unit,
A monitoring apparatus for inputting the captured image to the vibration analysis model to obtain respective vibration data for one or more non-powered vibration sensors included in the captured image.

In claim 7 or 10,
The control unit is
A monitoring device for generating a notification message based on the vibration data, and transmitting the notification message to a terminal that is linked to the facility or a corresponding non-powered vibration sensor.

In the method of monitoring a facility through an image taken by a non-powered vibration sensor,
Attaching a non-powered vibration sensor to each facility and storing a preset pattern of the non-powered vibration sensor in a database;
Collecting captured images including one or more non-powered vibration sensors through CCTV of the facility;
extracting one or more non-powered vibration sensors from the captured image, and extracting a pattern of each non-powered sensor;
analyzing quantitative vibration data based on the extracted pattern; and
generating a notification message based on the vibration data, and transmitting the notification message to a terminal linked to the equipment to which the non-power vibration sensor is attached;
including,
Storing the pattern in a database, then causing one or more non-powered vibration sensors attached to the facility to show a preset pattern and collecting a captured image including one or more non-powered vibration sensors;
generating learning data by matching the captured image, the preset pattern, and the vibration data of the pattern with each other; and
Repeatedly learning the vibration analysis model based on the generated training data
A facility monitoring method further comprising a.

In claim 12,
The step of storing in the database,
Setting a pattern of the non-powered vibration sensor that is different from one or more of a pattern, a color, and a sharpness based on a triboelectric signal generated by attachment and detachment according to the vibration of the facility, and
and storing the vibration data of the equipment indicated by the triboelectric signal in association with the pattern.

In claim 13,
Analyzing the quantitative vibration data comprises:
A facility monitoring method for searching for a pattern stored in the database that matches the extracted pattern, and estimating the vibration data stored in connection with the searched pattern as quantitative vibration data of the extracted pattern.

delete

13. The method of claim 12,
Analyzing the quantitative vibration data comprises:
A facility monitoring method for inputting the captured image into the vibration analysis model, detecting one or more non-powered vibration sensors included in the captured image, and acquiring vibration data from the detected pattern of the non-powered vibration sensor.