RU2820787C1 - Predictive maintenance system using augmented reality technology - Google Patents
Predictive maintenance system using augmented reality technology Download PDFInfo
- Publication number
- RU2820787C1 RU2820787C1 RU2023125147A RU2023125147A RU2820787C1 RU 2820787 C1 RU2820787 C1 RU 2820787C1 RU 2023125147 A RU2023125147 A RU 2023125147A RU 2023125147 A RU2023125147 A RU 2023125147A RU 2820787 C1 RU2820787 C1 RU 2820787C1
- Authority
- RU
- Russia
- Prior art keywords
- maintenance
- portable terminal
- unit
- augmented reality
- controller
- Prior art date
Links
- 238000012423 maintenance Methods 0.000 claims description 149
- 239000003550 marker Substances 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 31
- 238000000034 method Methods 0.000 claims description 30
- 230000003190 augmentative effect Effects 0.000 claims description 25
- 238000005516 engineering process Methods 0.000 claims description 21
- 238000004519 manufacturing process Methods 0.000 claims description 21
- 238000010801 machine learning Methods 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 17
- 230000001133 acceleration Effects 0.000 claims description 15
- 238000013500 data storage Methods 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 2
- 238000007726 management method Methods 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 description 9
- 238000005555 metalworking Methods 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 9
- 238000005259 measurement Methods 0.000 description 8
- 230000008439 repair process Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000003801 milling Methods 0.000 description 3
- 230000006403 short-term memory Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000007514 turning Methods 0.000 description 2
- 229920000122 acrylonitrile butadiene styrene Polymers 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000002826 coolant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Abstract
Description
Заявляемое изобретение относится к средствам обеспечения эксплуатации и технического обслуживания технологического оборудования за счет оценки его текущего состояния методами машинного обучения и представления обслуживающему персоналу рекомендаций по техническому обслуживанию с использованием технологии дополненной реальности.The claimed invention relates to means of ensuring the operation and maintenance of technological equipment by assessing its current state using machine learning methods and presenting maintenance recommendations to maintenance personnel using augmented reality technology.
Известен метод прогностического технического обслуживания оборудования на основе машинного обучения [патент на изобретение США US №11307570 B2, МПК G05B 23/022006.01, G06F 17/182006.01, опубл. 19.04.2022] и система, его реализующая. Предложенная система прогностического технического обслуживания включает сервер прогностического технического обслуживания, базу данных, сеть передачи данных, множество объектов технического обслуживания с установленными на них датчиками измерения параметров объектов технического обслуживания и контроллер полевого уровня, обеспечивающий опрос датчиков измерения параметров объектов технического обслуживания с передачей измеренных значений параметров серверу прогностического технического обслуживания. Сервер прогностического технического обслуживания включает следующие программные модули: модуль обработки данных, хранилище данных, модуль обучения модели технического обслуживания, модуль оценки качества модели технического обслуживания, хранилище моделей технического обслуживания, классификации и прогнозирования отказов оборудования, модуль формирования рекомендаций по техническому обслуживанию, внешние программные интерфейсы. При этом известный метод прогностического технического обслуживания оборудования на основе машинного обучения реализует следующие модели и методы прогнозирования состояния оборудования и формирования рекомендаций по техническому обслуживанию:There is a known method for predictive maintenance of equipment based on machine learning [US patent for invention US No. 11307570 B2, IPC G05B 23/02 2006.01 , G06F 17/18 2006.01 , publ. 04/19/2022] and the system that implements it. The proposed predictive maintenance system includes a predictive maintenance server, a database, a data transmission network, a plurality of maintenance objects with installed sensors for measuring parameters of maintenance objects, and a field-level controller that polls sensors for measuring parameters of maintenance objects with the transmission of measured parameter values predictive maintenance server. The predictive maintenance server includes the following software modules: data processing module, data storage, maintenance model training module, maintenance model quality assessment module, storage of maintenance models, classification and prediction of equipment failures, module for generating maintenance recommendations, external software interfaces . At the same time, the well-known method of predictive maintenance of equipment based on machine learning implements the following models and methods for predicting the condition of equipment and generating recommendations for maintenance:
- модели машинного обучения: алгоритм случайного леса, метод опорных векторов, линейная регрессия, логистическая регрессия, метод повышения градиента;- machine learning models: random forest algorithm, support vector machine, linear regression, logistic regression, gradient boosting method;
- нейронные сети: рекуррентные нейронные сети, сети долгой краткосрочной памяти.- neural networks: recurrent neural networks, long short-term memory networks.
Данная система прогностического технического обслуживания оборудования на основе машинного обучения не обеспечивает представление обслуживающему персоналу рекомендаций по техническому обслуживанию, в том числе, с использованием мобильных терминалов доступа, что ограничивает ее область применения.This predictive equipment maintenance system based on machine learning does not provide maintenance recommendations to maintenance personnel, including using mobile access terminals, which limits its scope.
Известен метод и система технического обслуживания и ремонта металлообрабатывающих станков [патент на изобретение США US № 2018/0275630 A1, МПК G05B 19/40652006.01, опубл. 27.09.2018]. Известная система технического обслуживания и ремонта металлообрабатывающих станков включает:A known method and system for maintenance and repair of metalworking machines [US patent for invention US No. 2018/0275630 A1, IPC G05B 19/4065 2006.01 , publ. 09/27/2018]. A well-known system for maintenance and repair of metalworking machines includes:
- на облачном уровне иерархии: облачный сервер, содержащий визуальную модель исходного состояния станка, визуальную модель текущего состояния станка, стандартную процедуру технического обслуживания, фактическую процедуру технического обслуживания;- at the cloud hierarchy level: a cloud server containing a visual model of the initial state of the machine, a visual model of the current state of the machine, a standard maintenance procedure, an actual maintenance procedure;
- на сетевом уровне иерархии: набор сетевых шлюзов и межсетевых экранов;- at the network hierarchy level: a set of network gateways and firewalls;
- на уровне производственной площадки: множество металлообрабатывающих станков с установленными на них датчиками измерения параметров объектов технического обслуживания и не менее одного киберфизического агента, обеспечивающего опрос датчиков и передачу параметров объектов технического обслуживания облачному серверу;- at the production site level: many metalworking machines with installed sensors for measuring the parameters of maintenance objects and at least one cyber-physical agent that polls the sensors and transfers the parameters of maintenance objects to the cloud server;
- локальный терминал доступа к данным, предоставляющий персоналу доступ к данным на уровне производственной площадки;- local data access terminal, providing personnel with access to data at the production site level;
- терминал удаленного доступа, предоставляющий эксперту удаленный доступ к данным на облачном сервере через межсетевой экран сетевого уровня иерархии.- a remote access terminal that provides an expert with remote access to data on a cloud server through a firewall at the network hierarchy level.
Данный метод технического обслуживания и ремонта металлообрабатывающих станков включает следующие процедуры:This method of maintenance and repair of metalworking machines includes the following procedures:
- установка множества датчиков измерения параметров объекта технического обслуживания на каждый из металлообрабатывающих станков;- installation of multiple sensors for measuring the parameters of the maintenance object on each of the metalworking machines;
- формирование многокомпонентных моделей составных частей металлообрабатывающего станка в соответствии с измеренными геометрическими характеристиками;- formation of multi-component models of the components of a metalworking machine in accordance with the measured geometric characteristics;
- формирование визуальной модели исходного состояния станка с использованием построенных ранее многокомпонентных моделей составных частей;- formation of a visual model of the initial state of the machine using previously constructed multi-component models of its components;
- анализ условий периодического технического обслуживания станка и аномальных отклонений условий эксплуатации;- analysis of the conditions for periodic maintenance of the machine and abnormal deviations in operating conditions;
- разработка стандартной процедуры технического обслуживания;- development of a standard maintenance procedure;
- сохранение визуальной модели исходного состояния станка и стандартной процедуры технического обслуживания во внутренней памяти облачного сервера;- saving a visual model of the initial state of the machine and the standard maintenance procedure in the internal memory of the cloud server;
- соединение киберфизического агента с облачным сервером и по крайней мере одним металлообрабатывающим станком для получения стандартной процедуры технического обслуживания и наборов оперативных данных о состоянии станка;- connection of a cyber-physical agent with a cloud server and at least one metalworking machine to obtain a standard maintenance procedure and sets of operational data on the state of the machine;
- при регистрации аномальных отклонений условий эксплуатации станка выполняется обновление многокомпонентных моделей составных частей металлообрабатывающего станка- when anomalous deviations in the operating conditions of the machine are registered, multicomponent models of the components of the metalworking machine are updated
- формирование визуальной модели текущего состояния станка на основе визуальной модели исходного состояния станка в соответствии с оперативными данными о состоянии станка;- formation of a visual model of the current state of the machine based on a visual model of the initial state of the machine in accordance with operational data on the state of the machine;
- формирование фактической процедуры технического обслуживания станка на основе стандартной процедуры технического обслуживания в соответствии с оперативными данными о состоянии станка;- formation of the actual maintenance procedure for the machine based on the standard maintenance procedure in accordance with operational data on the condition of the machine;
- предоставление персоналу доступа к визуальной модели текущего состояния станка и фактической процедуре технического обслуживания;- providing personnel with access to a visual model of the current state of the machine and the actual maintenance procedure;
- предоставление эксперту доступа к визуальной модели текущего состояния станка, обеспечение совместной работы персонала и удаленного эксперта в процессе технического обслуживания и ремонта станка;- providing the expert with access to a visual model of the current state of the machine, ensuring collaboration between staff and a remote expert in the process of maintenance and repair of the machine;
- обновление визуальной модели текущего состояния станка после устранения неисправностей.- updating the visual model of the current state of the machine after troubleshooting.
Данная система технического обслуживания и ремонта металлообрабатывающих станков имеет следующие недостатки, ограничивающих ее область применения, а именно:This system for maintenance and repair of metalworking machines has the following disadvantages that limit its scope of application, namely:
- не обеспечивается контроль перемещения локального терминала доступа к данным по производственной площадке;- control of the movement of the local data access terminal across the production site is not provided;
- не обеспечивается автоматическое формирование рекомендаций по техническому обслуживанию, в том числе с использованием моделей и методов машинного обучения.- automatic generation of maintenance recommendations is not provided, including using machine learning models and methods.
Наиболее близким по технической сущности к заявляемому изобретению является метод и система поддержки работ по техническому обслуживанию [патент на изобретение США US №11481999 B2, МПК G06V 20/202022.01, G06T 7/702017.01, G06T 7/502017.01, опубл. 25.10.2022].The closest in technical essence to the claimed invention is the method and system for supporting maintenance work [US patent for invention US No. 11481999 B2, IPC G06V 20/20 2022.01 , G06T 7/70 2017.01 , G06T 7/50 2017.01 , publ. 10/25/2022].
Предложенная система включает портативный терминал работника, осуществляющего техническое обслуживание непосредственно на рабочем месте и управляющий компьютер с экраном.The proposed system includes a portable terminal for a maintenance worker directly at the workplace and a control computer with a screen.
Портативный терминал содержит контроллер портативного терминала, входы и выходы которого связаны со стереокамерой, датчиком линейного ускорения, датчиком угловой скорости, триангуляционным датчиком, дисплеем, интерфейсом ввода, встроенной памятью, часами реального времени и интерфейсом портативного терминала. Контроллер портативного терминала включает следующие функциональные блоки:The portable terminal contains a portable terminal controller, the inputs and outputs of which are connected to a stereo camera, a linear acceleration sensor, an angular velocity sensor, a triangulation sensor, a display, an input interface, built-in memory, a real-time clock and a portable terminal interface. The handheld terminal controller includes the following functional blocks:
- блок обработки изображений со стереокамеры;- image processing unit from a stereo camera;
- блок измерения линейного ускорения;- linear acceleration measurement unit;
- блок измерения угловой скорости;- angular velocity measurement unit;
- блок наложения изображения;- image overlay block;
- блок оценки положения и ориентации терминала;- block for estimating the position and orientation of the terminal;
- блок получения информации об объекте технического обслуживания;- block for obtaining information about the maintenance object;
- блок обработки маркеров;- marker processing unit;
- блок управления дисплеем;- display control unit;
- блок вставки информационных сообщений;- block for inserting information messages;
- блок записи результатов распознавания изображений;- block for recording image recognition results;
- блок формирования отчетов;- report generation unit;
- блок регистрации элементов базы данных;- block for registering database elements;
- блок измерения трехмерной геометрии объектов;- block for measuring three-dimensional geometry of objects;
- блок распознавания целевого объекта;- target object recognition block;
- блок ограничения доступа к записи изображения со стереокамеры;- block for restricting access to recording images from a stereo camera;
- блок получения информации о внешнем виде целевого объекта;- a block for obtaining information about the appearance of the target object;
- блок получения информации о трехмерной геометрии целевого объекта.- block for obtaining information about the three-dimensional geometry of the target object.
Управляющий компьютер включает интерфейс управляющего компьютера, связанный с интерфейсом портативного терминала посредством беспроводного канала связи и соединенный с ним управляющий контроллер с устройством хранения данных.The control computer includes a control computer interface connected to the portable terminal interface via a wireless communication channel and a control controller with a data storage device connected thereto.
Система поддержки работ по техническому обслуживанию обеспечивает непрерывный контроль перемещения портативного терминала по производственной площадке, идентификацию объектов технического обслуживания по графической метке, двумерному или трехмерному изображению и вывод дополнительной информации, необходимой для выполнения операций по техническому обслуживанию, с использованием технологии дополненной реальности.The maintenance support system continuously monitors the movement of a handheld terminal around the production site, identifies maintenance items by graphical tag, 2D or 3D image, and displays additional information needed to perform maintenance operations using augmented reality technology.
Данная система поддержки работ по техническому обслуживанию имеет следующие недостатки, ограничивающих ее область применения, а именно:This maintenance support system has the following disadvantages that limit its scope, namely:
- не обеспечивается оперативная регистрация параметров объектов технического обслуживания;- prompt registration of parameters of maintenance objects is not ensured;
- не обеспечивается автоматическое формирование рекомендаций по техническому обслуживанию, в том числе с использованием моделей и методов машинного обучения.- automatic generation of maintenance recommendations is not provided, including using machine learning models and methods.
Задача, на решение которой направлено заявляемое изобретение, заключается в создании системы прогностического технического обслуживания с использованием технологии дополненной реальности.The problem to be solved by the claimed invention is to create a predictive maintenance system using augmented reality technology.
Техническим результатом заявленного изобретения является расширение функциональных возможностей системы прогностического технического обслуживания с использованием технологии дополненной реальности, за счет возможности оперативной регистрации параметров объектов технического обслуживания и формирования на их основе рекомендаций по техническому обслуживанию с использованием модели машинного обучения, обеспечивающих прогнозирование и своевременное предотвращение дефектов и неисправностей объектов технического обслуживания.The technical result of the claimed invention is the expansion of the functionality of the predictive maintenance system using augmented reality technology, due to the ability to quickly register the parameters of maintenance objects and based on them generate recommendations for maintenance using a machine learning model, ensuring prediction and timely prevention of defects and malfunctions maintenance facilities.
Указанный технический результат достигается тем, что система прогностического технического обслуживания с использованием технологии дополненной реальности, включающая управляющий компьютер с экраном и со встроенным управляющим контроллером, соединенными с ним устройством хранения данных и интерфейсом управляющего компьютера, портативный терминал со встроенным контроллером портативного терминала, соединенными с ним стереокамерой, датчиком линейного ускорения, датчиком угловой скорости, встроенной памятью, часами реального времени, дисплеем и интерфейсом портативного терминала, соединенного посредством беспроводного канала связи с интерфейсом управляющего компьютера, при этом контроллер портативного терминала включает в себя блок обработки изображений со стереокамеры, блок измерения линейного ускорения, блок измерения угловой скорости, блок наложения изображения, блок получения информации об объекте технического обслуживания, блок обработки маркеров и блок управления дисплеем, отличающееся тем, что дополнительно содержит контроллер полевого уровня, соединенный посредством сети передачи данных с управляющим контроллером и обеспечивающей циклический опрос набора датчиков, размещенных непосредственно на объектах технического обслуживания, расположенных на производственной площадке, блок обработки и анализа данных, соединенный с управляющим контроллером и обеспечивающий формирование рекомендаций по техническому обслуживанию с использованием модели машинного обучения.The specified technical result is achieved in that a predictive maintenance system using augmented reality technology, including a control computer with a screen and a built-in control controller, a data storage device and a control computer interface connected to it, a portable terminal with a built-in portable terminal controller, connected to it a stereo camera, a linear acceleration sensor, an angular velocity sensor, built-in memory, a real-time clock, a display and a portable terminal interface connected via a wireless communication channel to the control computer interface, wherein the portable terminal controller includes an image processing unit from a stereo camera, a linear acceleration, an angular velocity measurement unit, an image overlay unit, a unit for obtaining information about a maintenance object, a marker processing unit and a display control unit, characterized in that it additionally contains a field level controller connected via a data network to the control controller and providing cyclic polling of the set sensors placed directly on maintenance objects located on the production site, a data processing and analysis unit connected to the control controller and providing the generation of maintenance recommendations using a machine learning model.
Сущность предлагаемого технического решения иллюстрируется графическими материалами, на которых показаны:The essence of the proposed technical solution is illustrated by graphic materials that show:
фиг. 1 - структурная схема заявляемой системы прогностического технического обслуживания с использованием технологии дополненной реальности;fig. 1 - block diagram of the proposed predictive maintenance system using augmented reality technology;
фиг. 2 - организация контроля положения и ориентации портативного терминала заявляемой системы прогностического технического обслуживания с использованием технологии дополненной реальности.fig. 2 - organization of control of the position and orientation of the portable terminal of the proposed predictive maintenance system using augmented reality technology.
Предлагаемая система прогностического технического обслуживания с использованием технологии дополненной реальности содержит портативный терминал (1), включающий в себя стереокамеру (5), датчик линейного ускорения (6), датчик угловой скорости (7), интерфейс портативного терминала (8), контроллер портативного терминала (12), встроенную память (9), часы реального времени (10) и дисплей (11), управляющий компьютер (2) с экраном (на фиг. 1 не показан), включающий в себя интерфейс управляющего компьютера (20), связанный посредством беспроводного канала связи (31) с интерфейсом портативного терминала (8), управляющий контроллер (21), блок обработки и анализа данных (22) и устройство хранения данных (23) с развернутой на нем базой данных технического обслуживания, сеть передачи данных (4).The proposed predictive maintenance system using augmented reality technology contains a portable terminal (1), including a stereo camera (5), a linear acceleration sensor (6), an angular velocity sensor (7), a portable terminal interface (8), a portable terminal controller ( 12), built-in memory (9), real-time clock (10) and display (11), control computer (2) with a screen (not shown in Fig. 1), including a control computer interface (20), connected via wireless communication channel (31) with a portable terminal interface (8), a control controller (21), a data processing and analysis unit (22) and a data storage device (23) with a maintenance database deployed on it, a data transmission network (4).
Элементы (5-11) составляют набор периферийных устройств портативного терминала (1).The elements (5-11) constitute a set of peripheral devices of the portable terminal (1).
Непосредственно на объектах технического обслуживания (25, 26) установлен набор датчиков (27-30), соединенных с контроллером полевого уровня (24), осуществляющим циклический опрос датчиков (27-30) с последующей передачей данных управляющему контроллеру (21) по сети передачи данных (4).A set of sensors (27-30) is installed directly at the maintenance facilities (25, 26), connected to a field-level controller (24), which cyclically polls the sensors (27-30) with subsequent data transmission to the control controller (21) via a data transmission network (4).
Контроллер портативного терминала (12) включает следующие функциональные блоки:The handheld terminal controller (12) includes the following functional blocks:
- блок обработки изображений со стереокамеры (13);- image processing unit from a stereo camera (13);
- блок измерения линейного ускорения (14);- linear acceleration measurement unit (14);
- блок измерения угловой скорости (15);- angular velocity measurement unit (15);
- блок наложения изображения (16);- image overlay block (16);
- блок получения информации об объекте технического обслуживания (17);- block for obtaining information about the maintenance object (17);
- блок обработки маркеров (18);- marker processing unit (18);
- блок управления дисплеем (19).- display control unit (19).
Входы и выходы набора периферийных устройств портативного терминала (1) связаны с соответствующими входами и выходами контроллера портативного терминала (12). Входы и выходы управляющего контроллера (21) управляющего компьютера (2) связаны с соответствующими входами и выходами интерфейса управляющего компьютера (20), устройства хранения данных (23), блока обработки и анализа данных (22).The inputs and outputs of a set of peripheral devices of the portable terminal (1) are connected to the corresponding inputs and outputs of the controller of the portable terminal (12). The inputs and outputs of the control controller (21) of the control computer (2) are connected to the corresponding inputs and outputs of the interface of the control computer (20), data storage device (23), and data processing and analysis unit (22).
Контроль положения и ориентации портативного терминала (1), а также идентификация объектов технического обслуживания осуществляется согласно фиг. 2 по графическим маркерам двух типов:Monitoring the position and orientation of the portable terminal (1), as well as identifying maintenance items, is carried out according to FIG. 2 by graphic markers of two types:
- опорные графические маркеры, размещенные непосредственно возле входа (35) на производственную площадку (маркер 32) и входов (36.1, 36.2) в отдельные производственные помещения (маркеры 33.1, 33.2 соответственно);- supporting graphic markers placed directly near the entrance (35) to the production site (marker 32) and entrances (36.1, 36.2) to individual production premises (markers 33.1, 33.2, respectively);
- целевые графические маркеры (34.1-34.4), размещенные в непосредственной близости от объектов технического обслуживания (38-41).- target graphic markers (34.1-34.4), placed in close proximity to maintenance objects (38-41).
В качестве объектов технического обслуживания может рассматриваться технологическое оборудование различного типа, в частности, на фиг. 2 в качестве примеров схематически представлены следующие объекты технического обслуживания:Technological equipment of various types can be considered as maintenance objects, in particular, in Fig. 2 shows the following maintenance objects schematically as examples:
- токарный обрабатывающий центр с числовым программным управлением (38);- turning machining center with numerical control (38);
- горизонтальный токарный патронно-центровой станок (39);- horizontal lathe chuck-centering machine (39);
- токарно-фрезерный станок с револьверной головкой (40);- turning and milling machine with turret head (40);
- горизонтально-фрезерный станок (41).- horizontal milling machine (41).
При приближении пользователя портативного терминала (1) к опорному (фиг. 2, позиции 1.1, 1.2) или целевому (фиг. 2, позиции 1.3, 1.4) графическому маркеру, необходимо навести объектив стереокамеры (5) на графический маркер и получить его изображение для дальнейшей обработки. Опорный и целевой графические маркеры представляют собой идентификационный номер в одном из двух допустимых форматов:When the user of the portable terminal (1) approaches the reference (Fig. 2, positions 1.1, 1.2) or target (Fig. 2, positions 1.3, 1.4) graphic marker, it is necessary to point the lens of the stereo camera (5) at the graphic marker and obtain its image for further processing. The reference and target graphic markers represent an identification number in one of two valid formats:
- штриховой код EAN/UPC в соответствии с ГОСТ ISO/IEC 15420-2010;- EAN/UPC bar code in accordance with GOST ISO/IEC 15420-2010;
- штриховой код QR Code в соответствии с ГОСТ Р ИСО/МЭК 18004-2015.- QR Code bar code in accordance with GOST R ISO/IEC 18004-2015.
Одним из результатов работы заявляемой системы прогностического технического обслуживания с использованием технологии дополненной реальности является контроль и построение пути (37) перемещения пользователя портативного терминала (1) в пределах производственной площадки (3).One of the results of the proposed predictive maintenance system using augmented reality technology is the control and construction of the path (37) of movement of the user of the portable terminal (1) within the production site (3).
Набор датчиков (27-30), установленных непосредственно на объектах технического обслуживания (25, 26), может включать следующие типы датчиков физических величин:The set of sensors (27-30) installed directly at the maintenance objects (25, 26) may include the following types of sensors of physical quantities:
- датчик потребления электроэнергии;- electricity consumption sensor;
- датчик температуры;- temperature sensor;
- датчик виброускорения;- vibration acceleration sensor;
- датчик давления;- pressure meter;
- датчик линейного ускорения и другие.- linear acceleration sensor and others.
Номенклатура измеряемых параметров зависит от типа объекта технического обслуживания. Так, для объекта технического обслуживания - вертикально-фрезерного обрабатывающего центра с числовым программным управлением HAAS VF-2SS (Haas Automation Inc., США), могут рассматриваться следующие типы датчиков:The range of measured parameters depends on the type of maintenance item. Thus, for a maintenance object - a vertical milling machining center with numerical control HAAS VF-2SS (Haas Automation Inc., USA), the following types of sensors can be considered:
- датчик частоты вращения вала шпинделя;- spindle shaft speed sensor;
- датчик крутящего момента на валу шпинделя;- torque sensor on the spindle shaft;
- датчик магнитной металлической стружки;- sensor of magnetic metal shavings;
- датчик уровня смазочно-охлаждающей жидкости;- coolant level sensor;
- датчик напряжения питания привода шпинделя;- spindle drive supply voltage sensor;
- датчик тока потребления привода шпинделя;- spindle drive current consumption sensor;
- тензометрический датчик веса стружки.- strain gauge chip weight sensor.
Портативный терминал (1) выполнен в ударопрочном корпусе, изготовленном из АБС-пластика в соответствии с требованиями защите от проникновения посторонних сред не ниже IP 54 по ГОСТ 14254-2015 и пригодном для переноски пользователем без посторонней помощи.The portable terminal (1) is made in an impact-resistant case made of ABS plastic in accordance with the requirements for protection against penetration of foreign media of at least IP 54 according to GOST 14254-2015 and suitable for carrying by the user without assistance.
Управляющий компьютер (2) может представлять собой совокупность следующих известных из уровня техники технических средств (производитель - Huawei Technologies Co. Ltd., КНР):The control computer (2) can be a combination of the following technical means known from the prior art (manufacturer: Huawei Technologies Co. Ltd., China):
- интерфейс управляющего компьютера (20) - контроллер беспроводного доступа Huawei AC6805;- control computer interface (20) - Huawei AC6805 wireless access controller;
- управляющий контроллер (21), блок обработки и анализа данных (22) - сервер Huawei FS2488V5;- control controller (21), data processing and analysis unit (22) - Huawei FS2488V5 server;
- устройство хранения данных (23) - сетевое хранилище данных Huawei OceanStor 5310 V6.- data storage device (23) - Huawei OceanStor 5310 V6 network storage device.
В качестве сети передачи данных (4) могут использоваться проводные сети передачи данных стандартов Ethernet, RS-422 или RS-485, при этом контроллер полевого уровня (24) может быть организован на базе следующей совокупности известных из уровня техники компонентов (производитель - ПО «ОВЕН», Российская Федерация):Wired data networks of Ethernet, RS-422 or RS-485 standards can be used as a data transmission network (4), while the field level controller (24) can be organized on the basis of the following set of components known from the prior art (manufacturer - software " ARIES", Russian Federation):
- контроллер для средних и распределенных систем автоматизации ПЛК210;- controller for medium and distributed automation systems PLC210;
- модуль дискретного ввода МВ210;- discrete input module MV210;
- модуль аналогового ввода МВ210-101;- analog input module MV210-101;
- блок питания БП60К.- power supply BP60K.
Блок обработки изображений со стереокамеры (13), блок измерения линейного ускорения (14), блок измерения угловой скорости (15), блок наложения изображения (16), блок получения информации об объекте технического обслуживания (17), блок обработки маркеров (18), блок управления дисплеем (19) могут быть реализованы в виде программных компонентов, разработанных в кросс-платформенной интегрированной среде разработки трехмерных графических приложений Unity 3D с использованием дополнительных программных библиотек Vuforia SDK и R.NET. Данные функциональные блоки загружаются во внутреннюю память (на фиг. 1 не показана) контроллера портативного терминала (12), выполненного на базе однокристальной платформы MediaTek Dimensity 1080 (производитель - MediaTek Inc., Тайвань).Image processing unit from a stereo camera (13), linear acceleration measurement unit (14), angular velocity measurement unit (15), image overlay unit (16), unit for obtaining information about a maintenance object (17), marker processing unit (18), The display control unit (19) can be implemented as software components developed in the cross-platform integrated development environment for three-dimensional graphics applications Unity 3D using additional software libraries Vuforia SDK and R.NET. These functional blocks are loaded into the internal memory (not shown in Fig. 1) of the portable terminal controller (12), made on the basis of the MediaTek Dimensity 1080 single-chip platform (manufacturer: MediaTek Inc., Taiwan).
В целом процедуру прогностического технического обслуживания, реализуемую заявляемой системой прогностического технического обслуживания с использованием технологии дополненной реальности, можно разделить на шесть этапов:In general, the predictive maintenance procedure implemented by the proposed predictive maintenance system using augmented reality technology can be divided into six stages:
1) подготовительный этап;1) preparatory stage;
2) прогнозирование параметров объектов технического обслуживания;2) forecasting the parameters of maintenance objects;
3) регистрация опорных и целевых графических маркеров;3) registration of reference and target graphic markers;
4) обработка опорных графических маркеров;4) processing of reference graphic markers;
5) обработка целевых графических маркеров;5) processing of target graphic markers;
6) форматирование и вывод рекомендаций по техническому обслуживанию с использованием технологии дополненной реальности.6) formatting and output of maintenance recommendations using augmented reality technology.
Для формирования рекомендаций по техническому обслуживанию в рамках подготовительного этапа необходимо, прежде всего, произвести с использованием контроллера полевого уровня (24) циклический опрос датчиков (27-30) физических величин, непосредственно связанных с объектами технического обслуживания (25, 26). Полученные показания датчиков (27-30) сохраняются во внутренней памяти (на фиг. 1 не показан) контроллера полевого уровня (24) и, с использованием соответствующих функций встроенного программного обеспечения контроллера полевого уровня (24) посредством сети передачи данных (4) передаются в управляющий контроллер (21) и сохраняются в базе данных технического обслуживания, размещенной в устройстве хранения данных (23).To formulate recommendations for maintenance within the preparatory stage, it is necessary, first of all, to perform a cyclic poll of sensors (27-30) of physical quantities directly related to maintenance objects (25, 26) using a field-level controller (24). The received sensor readings (27-30) are stored in the internal memory (not shown in Fig. 1) of the field level controller (24) and, using the corresponding functions of the built-in software of the field level controller (24) via a data transmission network (4) are transmitted to control controller (21) and are stored in a maintenance database located in a data storage device (23).
Далее, из полученного набора показаний датчиков (27-30), блоком обработки и анализа данных (22) формируются:Next, from the received set of sensor readings (27-30), the data processing and analysis unit (22) forms:
- обучающая выборка параметров объектов технического обслуживания, используемая при разработке модели машинного обучения;- a training sample of parameters of maintenance objects used in the development of a machine learning model;
- валидационная выборка параметров объектов технического обслуживания, используемая в процессе разработки модели машинного обучения для подбора оптимального набора параметров;- validation sample of parameters of maintenance objects, used in the process of developing a machine learning model to select the optimal set of parameters;
- тестовая выборка параметров объектов технического обслуживания, используемая при тестировании модели машинного обучения.- test sample of parameters of maintenance objects used when testing the machine learning model.
Полученный набор выборок параметров объектов технического обслуживания вводится в используемую модель машинного обучения, реализуемую блоком обработки и анализа данных (22) с последующим обучением и тестированием данной модели машинного обучения. В качестве модели машинного обучения используется известная из уровня науки и техники архитектура рекуррентной нейронной сети на основе длинной цепи элементов краткосрочной памяти (Long Short-Term Memory, LSTM) [см. Lindemann B., Maschler B., Sahlab N., Weyrich M. A survey on anomaly detection for technical systems using LSTM networks // Computers in Industry. - 2021. - Vol. 131. - P. 103498]. По результатам работы модели машинного обучения, блоком обработки и анализа данных (22) формируется массив прогнозируемых значений параметров объектов технического обслуживания (25, 26) для заданного промежутка времени, элементы которого сравниваются с фактическими значениями параметров объектов технического обслуживания, считанными датчиками (27-30). При обнаружении аномальных расхождений прогнозируемых и фактических значений параметров, блоком обработки и анализа данных (22) формируются рекомендации по техническому обслуживанию целевых объектов в текстовом формате. Данные рекомендации формируются на основе предварительно заданных стандартных процедур технического обслуживания для объектов технического обслуживания заданного типа, записанных в базе данных технического обслуживания, размещенной в устройстве хранения данных (23), с учетом обнаруженных аномальных расхождений параметров объектов технического обслуживания.The resulting set of samples of parameters of maintenance objects is entered into the machine learning model used, implemented by the data processing and analysis unit (22), followed by training and testing of this machine learning model. As a machine learning model, we use the architecture of a recurrent neural network, known from the level of science and technology, based on a long chain of short-term memory elements (Long Short-Term Memory, LSTM) [see. Lindemann B., Maschler B., Sahlab N., Weyrich M. A survey on anomaly detection for technical systems using LSTM networks // Computers in Industry. - 2021. - Vol. 131. - P. 103498]. Based on the results of the machine learning model, the data processing and analysis unit (22) generates an array of predicted values of parameters of maintenance objects (25, 26) for a given period of time, the elements of which are compared with the actual values of parameters of maintenance objects read by sensors (27-30 ). When abnormal discrepancies between predicted and actual parameter values are detected, the data processing and analysis unit (22) generates recommendations for the maintenance of target objects in text format. These recommendations are formed on the basis of predefined standard maintenance procedures for maintenance objects of a given type, recorded in the maintenance database located in the data storage device (23), taking into account the detected abnormal discrepancies in the parameters of the maintenance objects.
Рекомендации по техническому обслуживанию целевых объектов сохраняются в формате текстового перечня рекомендуемых операций, таких как:Recommendations for maintenance of target objects are saved in the format of a text list of recommended operations, such as:
- осмотр состояния направляющих станин, кареток и других трущихся поверхностей;- inspection of the condition of guide frames, carriages and other rubbing surfaces;
- проверка отсутствия вибрации узлов;- checking the absence of vibration of components;
- проверка нагрева подшипников;- checking bearing heating;
- регулирование зазоров винтовых пар;- regulation of gaps of screw pairs;
- регулирование плавности перемещения столов, суппортов, кареток, ползунов, прижимных планок и другие.- regulation of the smooth movement of tables, supports, carriages, sliders, clamping bars and others.
Рекомендации по техническому обслуживанию целевых объектов сохраняются в базе данных технического обслуживания, размещенной в устройстве хранения данных (23).Maintenance recommendations for target items are stored in a maintenance database located on a storage device (23).
Далее, в соответствии с предварительно заданным архитектурным планом производственной площадки (3), числом и расположением входов (фиг. 2, 35) и переходов (фиг. 2, 36.1, 36.2) между отдельными производственными участками, программным обеспечением управляющего контроллера (21) формируется перечень опорных графических маркеров (фиг. 2, маркеры 32, 33.1, 33.2).Next, in accordance with the predetermined architectural plan of the production site (3), the number and location of inputs (Fig. 2, 35) and transitions (Fig. 2, 36.1, 36.2) between individual production areas, the software of the control controller (21) is formed list of reference graphic markers (Fig. 2, markers 32, 33.1, 33.2).
При этом каждая запись перечня опорных графических маркеров включает следующие элементы:In this case, each entry in the list of reference graphic markers includes the following elements:
- идентификационный номер опорного графического маркера;- identification number of the reference graphic marker;
- графическое изображение штрихового кода опорного графического маркера в формате EAN/UPC (по ГОСТ ISO/IEC 15420-2010) или в формате QR Code (ГОСТ Р ИСО/МЭК 18004-2015);- graphic image of the bar code of the reference graphic marker in EAN/UPC format (according to GOST ISO/IEC 15420-2010) or in QR Code format (GOST R ISO/IEC 18004-2015);
- относительные координаты расположения опорного графического маркера в формате (x, м; y, м), при этом за начало координат принимается опорный графический маркер (фиг. 2, 32), размещенный непосредственно возле центрального входа (фиг. 2, 35) на производственную площадку (относительные координаты - 0; 0).- relative coordinates of the location of the reference graphic marker in the format ( x , m; y , m), while the reference graphic marker (Fig. 2, 32), located directly near the central entrance (Fig. 2, 35) to the production plant, is taken as the origin of coordinates pad (relative coordinates - 0; 0).
В соответствии с предварительно заданной схемой размещения объектов технического обслуживания на производственной площадке формируется перечень целевых графических маркеров (фиг. 2, 34.1-34.4).In accordance with a predetermined layout of maintenance objects at the production site, a list of target graphic markers is generated (Fig. 2, 34.1-34.4).
При этом каждая запись перечня целевых графических маркеров включает следующие элементы:In this case, each entry in the list of target graphic markers includes the following elements:
- идентификационный номер целевого графического маркера;- identification number of the target graphic marker;
- графическое изображение штрихового кода целевого графического маркера в формате EAN/UPC (по ГОСТ ISO/IEC 15420-2010) или в формате QR Code (ГОСТ Р ИСО/МЭК 18004-2015);- graphic image of the bar code of the target graphic marker in EAN/UPC format (according to GOST ISO/IEC 15420-2010) or in QR Code format (GOST R ISO/IEC 18004-2015);
- относительные координаты расположения целевого графического маркера в формате (x, м; y, м), при этом за начало координат принимается опорный графический маркер (фиг. 2, 32), размещенный непосредственно возле центрального входа (фиг. 2, 35) на производственную площадку (относительные координаты - 0; 0).- relative coordinates of the location of the target graphic marker in the format ( x , m; y , m), while the reference graphic marker (Fig. 2, 32), located directly near the central entrance (Fig. 2, 35) to the production plant, is taken as the origin of coordinates pad (relative coordinates - 0; 0).
Перечни опорных графических маркеров и целевых графических маркеров сохраняются в базе данных технического обслуживания, размещенной в устройстве хранения данных (23).Lists of reference graphic markers and target graphic markers are stored in a maintenance database located in the data storage device (23).
Графические изображения штрихового кода опорных и целевых графических маркеров могут быть распечатаны с использованием термотрансферных принтеров штриховых кодов и размещены:Reference and target graphic marker barcode graphics can be printed using thermal transfer barcode printers and placed:
- опорные графические маркеры (фиг. 2, 32, 33.1, 33.2): на несущих стенах и перегородках производственной площадки (3) в непосредственной близости от соответствующих входов (фиг. 2, 35) и переходов (фиг. 2, 36.1, 36.2) между отдельными производственными участками;- supporting graphic markers (Fig. 2, 32, 33.1, 33.2): on load-bearing walls and partitions of the production site (3) in the immediate vicinity of the corresponding entrances (Fig. 2, 35) and transitions (Fig. 2, 36.1, 36.2) between individual production areas;
- целевые графические маркеры (фиг. 2, 34.1-34.4): на объектах технического обслуживания (фиг. 2, 38-41) или в непосредственной близости от них на напольных металлических стойках.- target graphic markers (Fig. 2, 34.1-34.4): at maintenance facilities (Fig. 2, 38-41) or in close proximity to them on floor metal racks.
Графические изображения штрихового кода опорных и целевых графических маркеров размещаются на фиксированной высоте 1,4 м от уровня пола производственной площадки (3). Принтер штриховых кодов в состав заявляемой системы прогностического технического обслуживания с использованием технологии дополненной реальности не входит.Barcode graphic images of reference and target graphic markers are placed at a fixed height of 1.4 m from the floor level of the production site (3). The bar code printer is not included in the proposed predictive maintenance system using augmented reality technology.
Далее, соответствующими функциями программного обеспечения управляющего контроллера (21) производится сопоставление ранее сформированных рекомендаций по техническому обслуживанию целевых объектов и идентификационных номеров целевых графических маркеров, результат при этом сохраняется в базе данных технического обслуживания, размещенной в устройстве хранения данных (23).Next, the corresponding functions of the control controller software (21) compare previously generated recommendations for the maintenance of target objects and identification numbers of target graphic markers, the result being stored in the maintenance database located in the data storage device (23).
Для регистрации графического маркера с использованием портативного терминала (1), блоку обработки изображений со стереокамеры (13) необходимо получить изображение со стереокамеры (5), при этом пользователь портативного терминала (1) должен находиться возле соответствующего графического маркера (фиг. 2, 1.1-1.4) и графический маркер должен находиться в поле зрения объектива стереокамеры (5). Изображениям со стереокамеры присваивается временная метка в формате год-месяц-дата-часы-минуты по ГОСТ Р 7.0.64-2018, полученная от часов реального времени (10), после чего изображения со стереокамеры сохраняются во встроенной памяти (9) портативного терминала (1).To register a graphic marker using a portable terminal (1), the image processing unit from a stereo camera (13) needs to receive an image from a stereo camera (5), while the user of the portable terminal (1) must be near the corresponding graphic marker (Fig. 2, 1.1- 1.4) and the graphic marker must be in the field of view of the stereo camera lens (5). Images from the stereo camera are assigned a time stamp in the format year-month-date-hours-minutes in accordance with GOST R 7.0.64-2018, obtained from the real-time clock (10), after which images from the stereo camera are saved in the built-in memory (9) of the portable terminal ( 1).
Далее, блоком обработки маркеров (18) выполняется распознавание изображения со стереокамеры (5) с целью поиска графического изображения штрихового кода опорного или целевого графического маркера. Если штриховой код опорного или целевого графического маркера найден, то блоком обработки маркеров (18) выполняется его расшифровка и вывод идентификационного номера маркера. Реализация процедуры расшифровки штрихового кода опорного и целевого графических маркеров зависит от типа используемого маркера:Next, the marker processing unit (18) performs image recognition from the stereo camera (5) in order to search for a graphic image of the bar code of the reference or target graphic marker. If the barcode of the reference or target graphic marker is found, then the marker processing unit (18) decrypts it and displays the marker identification number. The implementation of the procedure for decoding the bar code of the reference and target graphic markers depends on the type of marker used:
- штрихового кода EAN/UPC, процедура расшифровки по ГОСТ ISO/IEC 15420-2010;- EAN/UPC bar code, decoding procedure according to GOST ISO/IEC 15420-2010;
- штрихового кода QR Code, процедура расшифровки по ГОСТ Р ИСО/МЭК 18004-2015.- QR Code bar code, decoding procedure according to GOST R ISO/IEC 18004-2015.
Полученный идентификационный номер графического маркера сохраняется во встроенной памяти (9) портативного терминала (1), передается через интерфейс портативного терминала (8), беспроводной канал связи (31) и интерфейс управляющего компьютера (20) во внутреннюю память управляющего контроллера (21) с одновременным сохранением в базе данных технического обслуживания, размещенной в устройстве хранения данных (23).The resulting identification number of the graphic marker is stored in the built-in memory (9) of the portable terminal (1), transmitted through the interface of the portable terminal (8), wireless communication channel (31) and the control computer interface (20) to the internal memory of the control controller (21) with simultaneous saving in a maintenance database located in a data storage device (23).
Этап обработки опорных графических маркеров с построением пути перемещения (фиг. 2, 37) портативного терминала (1) в пределах производственной площадки (3) реализуется в том случае, если идентификационный номер графического маркера соответствует одному из идентификационных номеров перечня опорных графических маркеров, сохраненного в базе данных технического обслуживания, размещенной в устройстве хранения данных (23).The stage of processing reference graphic markers with the construction of a path of movement (Fig. 2, 37) of a portable terminal (1) within the production site (3) is implemented if the identification number of the graphic marker corresponds to one of the identification numbers of the list of reference graphic markers stored in maintenance database located in the data storage device (23).
При этом программное обеспечение управляющего контроллера (21) считывает относительные координаты расположения опорного графического маркера (фиг. 2, 32, 33.1, 33.2) по идентификационному номеру опорного графического маркера и сохраняет их во встроенной памяти (9) портативного терминала (1).In this case, the software of the control controller (21) reads the relative coordinates of the location of the reference graphic marker (Fig. 2, 32, 33.1, 33.2) according to the identification number of the reference graphic marker and stores them in the built-in memory (9) of the portable terminal (1).
При перемещении (фиг. 2, 37) пользователя с портативным терминалом (1) между точками расположения опорных (фиг. 2, 32, 33.1, 33.2) и целевых (фиг. 2, 34.1-34.4) графических маркеров непрерывно выполняются следующие процедуры:When moving (Fig. 2, 37) a user with a portable terminal (1) between the location points of reference (Fig. 2, 32, 33.1, 33.2) and target (Fig. 2, 34.1-34.4) graphic markers, the following procedures are continuously performed:
- считывание блоком измерения линейного ускорения (14) показаний датчика линейного ускорения (6) по трем осям прямоугольной системы координат;- reading by the linear acceleration measurement unit (14) of the linear acceleration sensor (6) readings along three axes of the rectangular coordinate system;
- передача показаний линейного ускорения перемещения портативного терминала (1) в пространстве через последовательно соединенные интерфейс портативного терминала (8), беспроводной канал связи (31) и интерфейс управляющего компьютера (20) во внутреннюю память управляющего контроллера (21);- transmission of readings of the linear acceleration of the movement of the portable terminal (1) in space through a serially connected interface of the portable terminal (8), a wireless communication channel (31) and the interface of the control computer (20) to the internal memory of the control controller (21);
- считывание блоком измерения угловой скорости (15) показаний датчика угловой скорости (7) по трем осям прямоугольной системы координат;- reading by the angular velocity measuring unit (15) of the angular velocity sensor (7) readings along three axes of the rectangular coordinate system;
- передача показаний угловой скорости перемещения портативного терминала (1) в пространстве через последовательно соединенные интерфейс портативного терминала (8), беспроводной канал связи (31) и интерфейс управляющего компьютера (20) во внутреннюю память управляющего контроллера (21);- transmission of readings of the angular velocity of movement of the portable terminal (1) in space through a serially connected interface of the portable terminal (8), a wireless communication channel (31) and the interface of the control computer (20) to the internal memory of the control controller (21);
- оценка программным обеспечением управляющего контроллера (21) текущего положения портативного терминала (1) в пределах производственной площадки (3) путем интегрирования линейного ускорения и угловой скорости портативного терминала в относительной системе координат с опорным графическим маркером (фиг. 2, 32) с относительными координатами - 0; 0 в качестве центра;- assessment by the software of the control controller (21) of the current position of the portable terminal (1) within the production site (3) by integrating the linear acceleration and angular velocity of the portable terminal in a relative coordinate system with a reference graphic marker (Fig. 2, 32) with relative coordinates - 0; 0 as center;
- построение программным обеспечением управляющего контроллера (21) пути перемещения (фиг. 2, 37) портативного терминала (1) на основе оценки текущего положения портативного терминала (1) в пределах производственной площадки (3) с выводом пути перемещения портативного терминала на экран управляющего компьютера (2).- construction by the software of the control controller (21) of the path of movement (Fig. 2, 37) of the portable terminal (1) based on an assessment of the current position of the portable terminal (1) within the production site (3) with the display of the path of movement of the portable terminal on the screen of the control computer (2).
Этап обработки целевых графических маркеров реализуется в том случае, если идентификационный номер графического маркера соответствует одному из идентификационных номеров перечня целевых графических маркеров, сохраненного в базе данных технического обслуживания, размещенной в устройстве хранения данных (23).The target graphic marker processing step is implemented if the identification number of the graphic marker corresponds to one of the identification numbers of the list of target graphic markers stored in the maintenance database located in the data storage device (23).
При этом программное обеспечение управляющего контроллера (21) считывает относительные координаты расположения целевого графического маркера (фиг. 2, 34.1-34.4) по идентификационному номеру целевого графического маркера и сохраняет их во встроенной памяти (9) портативного терминала (1).In this case, the software of the control controller (21) reads the relative coordinates of the location of the target graphic marker (Fig. 2, 34.1-34.4) according to the identification number of the target graphic marker and stores them in the built-in memory (9) of the portable terminal (1).
Далее, для формирования изображения дополненной реальности необходимо получить изображение внешнего вида объекта технического обслуживания (фиг. 2, 38-41), при этом пользователь портативного терминала (1) должен находиться возле соответствующего объекта технического обслуживания (фиг. 2, 1.3, 1.4) и данный объект должен находиться в поле зрения объектива стереокамеры (5). Полученное изображение сохраняется блоком обработки изображений со стереокамеры (13) во встроенной памяти (9) портативного терминала (1).Next, to generate an augmented reality image, it is necessary to obtain an image of the appearance of the maintenance object (Fig. 2, 38-41), while the user of the portable terminal (1) must be near the corresponding maintenance object (Fig. 2, 1.3, 1.4) and this object must be in the field of view of the stereo camera lens (5). The resulting image is stored by the image processing unit from the stereo camera (13) in the built-in memory (9) of the portable terminal (1).
Портативный терминал (1) получает от управляющего контроллера (21) через интерфейс управляющего компьютера (20), беспроводной канал связи (31) и интерфейс портативного терминала (8) перечень идентификационных номеров целевых графических маркеров объектов технического обслуживания, для которых ранее были сформированы рекомендации по техническому обслуживанию целевых объектов. Блоком получения информации об объекте технического обслуживания (17) выбирается целевой объект технического обслуживания для формирования запроса и вывода на дисплей (11) портативного терминала (1) рекомендаций по техническому обслуживанию в том случае, если считанный ранее идентификационный номер целевого графического маркера соответствует одному из идентификационных номеров объектов технического обслуживания, для которых ранее были сформированы рекомендации по техническому обслуживанию целевых объектов.The portable terminal (1) receives from the control controller (21) through the control computer interface (20), a wireless communication channel (31) and the portable terminal interface (8) a list of identification numbers of target graphic markers of maintenance objects for which recommendations for technical maintenance of target facilities. The block for obtaining information about the maintenance object (17) selects the target maintenance object to generate a request and display maintenance recommendations on the display (11) of the portable terminal (1) if the previously read identification number of the target graphic marker corresponds to one of the identification numbers of maintenance objects for which recommendations for the maintenance of target objects were previously generated.
После того, как целевой объект технического обслуживания выбран, блоком управления дисплеем (19) запускается процедура формирования совмещенного изображения дополненной реальности. Выполнение данной процедуры включает следующие операции:After the target maintenance object is selected, the display control unit (19) starts the procedure for generating a combined augmented reality image. Performing this procedure includes the following operations:
- формирование блоком получения информации об объекте технического обслуживания (17) запроса на получение рекомендаций по техническому обслуживанию целевого объекта;- generation by the block for obtaining information about the maintenance object (17) of a request to receive recommendations for the maintenance of the target object;
- передача запроса на получение рекомендаций по техническому обслуживанию целевого объекта управляющему контроллеру (21) посредством последовательно соединенных интерфейса портативного терминала (8), беспроводного канала связи (31) и интерфейса управляющего компьютера (20);- transmitting a request for recommendations for maintenance of the target object to the control controller (21) through a serially connected interface of a portable terminal (8), a wireless communication channel (31) and a control computer interface (20);
- получение от управляющего контроллера (21) рекомендаций по техническому обслуживанию целевого объекта через последовательно соединенные интерфейс управляющего компьютера (20), беспроводной канал связи (31), интерфейс портативного терминала (8) с последующим сохранением во встроенной памяти (9) портативного терминала (1);- receiving from the control controller (21) recommendations for maintenance of the target object through a serially connected interface of the control computer (20), a wireless communication channel (31), an interface of the portable terminal (8) with subsequent saving in the built-in memory (9) of the portable terminal (1 );
- считывание из встроенной памяти (9) и форматирование блоком наложения изображения (16) текстовых рекомендаций по техническому обслуживанию целевого объекта в пригодном для совмещения изображений формате;- reading from the built-in memory (9) and formatting by the image overlay unit (16) text recommendations for maintenance of the target object in a format suitable for combining images;
- совмещение блоком наложения изображения (16) основного изображения целевого объекта технического обслуживания и рекомендаций по техническому обслуживанию целевого объекта в форме элементов дополненной реальности с передачей полученного совмещенного изображения блоку управления дисплеем (19) и последующим выводом полученного совмещенного изображения на дисплей (11) портативного терминала (1).- combining by the image overlay unit (16) the main image of the target maintenance object and recommendations for maintenance of the target object in the form of augmented reality elements with the transfer of the resulting combined image to the display control unit (19) and subsequent output of the resulting combined image on the display (11) of the portable terminal (1).
Таким образом, заявленная система прогностического технического обслуживания с использованием технологии дополненной реальности обеспечивает оперативную регистрацию параметров объектов технического обслуживания, формирование рекомендаций по техническому обслуживанию с использованием модели машинного обучения и их предоставление обслуживающему персоналу с использованием технологии дополненной реальности, что способствует своевременному предотвращению дефектов и неисправностей объектов технического обслуживания.Thus, the claimed predictive maintenance system using augmented reality technology ensures prompt registration of parameters of maintenance objects, generation of recommendations for maintenance using a machine learning model and their provision to maintenance personnel using augmented reality technology, which contributes to the timely prevention of defects and malfunctions of objects Maintenance.
Claims (21)
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2820787C1 true RU2820787C1 (en) | 2024-06-10 |
Family
ID=
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9286727B2 (en) * | 2013-03-25 | 2016-03-15 | Qualcomm Incorporated | System and method for presenting true product dimensions within an augmented real-world setting |
| RU2680710C1 (en) * | 2015-05-21 | 2019-02-26 | КЛАУДТРАК, ЛЛСи | Location and authentication determination identification system and method |
| US20190108747A1 (en) * | 2017-10-06 | 2019-04-11 | Raven Telemetry Inc. | Augmented industrial management |
| US20200151450A1 (en) * | 2018-11-13 | 2020-05-14 | Kabushiki Kaisha Toshiba | Maintenance work support system and maintenance work support method |
| US10838211B2 (en) * | 2017-04-21 | 2020-11-17 | Fanuc Corporation | Maintenance support device and maintenance support system for factory equipment |
| US11017321B1 (en) * | 2020-11-23 | 2021-05-25 | Accenture Global Solutions Limited | Machine learning systems for automated event analysis and categorization, equipment status and maintenance action recommendation |
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9286727B2 (en) * | 2013-03-25 | 2016-03-15 | Qualcomm Incorporated | System and method for presenting true product dimensions within an augmented real-world setting |
| RU2680710C1 (en) * | 2015-05-21 | 2019-02-26 | КЛАУДТРАК, ЛЛСи | Location and authentication determination identification system and method |
| US10838211B2 (en) * | 2017-04-21 | 2020-11-17 | Fanuc Corporation | Maintenance support device and maintenance support system for factory equipment |
| US20190108747A1 (en) * | 2017-10-06 | 2019-04-11 | Raven Telemetry Inc. | Augmented industrial management |
| US20200151450A1 (en) * | 2018-11-13 | 2020-05-14 | Kabushiki Kaisha Toshiba | Maintenance work support system and maintenance work support method |
| US11017321B1 (en) * | 2020-11-23 | 2021-05-25 | Accenture Global Solutions Limited | Machine learning systems for automated event analysis and categorization, equipment status and maintenance action recommendation |
Non-Patent Citations (1)
| Title |
|---|
| фиг.1,2. * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Javaid et al. | Enabling flexible manufacturing system (FMS) through the applications of industry 4.0 technologies | |
| Sorko et al. | Potentials of augmented reality in training | |
| EP3385797B1 (en) | Monitoring device, monitoring system, monitoring program and recording medium | |
| US20180307045A1 (en) | Maintenance support device and maintenance support system for factory equipment | |
| US11308376B2 (en) | Equipment management system | |
| Arey et al. | Lean industry 4.0: a digital value stream approach to process improvement | |
| García et al. | A non-intrusive Industry 4.0 retrofitting approach for collaborative maintenance in traditional manufacturing | |
| Rosales et al. | IIoT based augmented reality for factory data collection and visualization | |
| CN106663238A (en) | System for detecting a stock of objects to be monitored in an installation | |
| Kolla et al. | Retrofitting of legacy machines in the context of Industrial Internet of Things (IIoT) | |
| US6901309B2 (en) | Programming platform for generating parts programs for machine tools or production machines | |
| US20210064000A1 (en) | Apparatus and Method for Identifying Differences Between a Real Installation and a Digital Twin of the Installation | |
| Wöstmann et al. | A retrofit approach for predictive maintenance | |
| CN102301310A (en) | Model assembly of a production plant having true-to-scale models of production devices and method for entering a spatial assembly of production devices into a computer-aided planning program | |
| Zhao et al. | Enabling cognitive manufacturing through automated on-machine measurement planning and feedback | |
| Židek et al. | The digitization of quality control operations with cloud platform computing technologies | |
| JP2019159569A (en) | Facility inspection system and facility inspection method using portable terminal | |
| Demčák et al. | The experimental SMART manufacturing system in SmartTechLab | |
| RU2820787C1 (en) | Predictive maintenance system using augmented reality technology | |
| Fesperman et al. | Reconfigurable data driven virtual machine tool: geometric error modeling and evaluation | |
| Klimant et al. | Augmented reality solutions in mechanical engineering | |
| Vogl et al. | Inertial measurement unit for on-Machine diagnostics of machine tool linear axes | |
| Stepanek et al. | Implementation of Industry 4.0 Elements in Industrial Metrology–Case Study | |
| Clough et al. | Smart Manufacturing | |
| Ramkumar et al. | Web Based Automated Inspection and Quality Management |