GR1010657B

GR1010657B - INTELLIGENT INHALED DRUG DELIVERY DEVICE WITH BIOMONITORING AND PERSONALIZED LEARNING VIA MULTI-DATA CLASSIFICATION

Info

Publication number: GR1010657B
Application number: GR20230100301A
Authority: GR
Inventors: Δημητριος Κωνσταντινου Τζοβαρας; Κωνσταντινος Βασιλειου Βοτης; Αντωνιος Ξενοφωντος Λαλας; Νικολαος Αγγελου Σιωπης; Ελευθερια-Μαρια Θεοχαρη Πεχλιβανη
Original assignee: Εθνικο Κεντρο Ερευνας Και Τεχνολογικης Αναπτυξης (Ε.Κ.Ε.Τ.Α),; Δημητριος Κωνσταντινου Τζοβαρας; Κωνσταντινος Βασιλειου Βοτης; Αντωνιος Ξενοφωντος Λαλας; Νικολαος Αγγελου Σιωπης; Ελευθερια-Μαρια Θεοχαρη Πεχλιβανη
Priority date: 2023-04-07
Filing date: 2023-04-07
Publication date: 2024-03-21

Abstract

Ευφυής συσκευή εισπνεόμενης φαρμακευτικής αγωγής με βιοπαρακολούθηση και προσωποποιημένη εκπαίδευση μέσω ταξινόμησης πολλαπλών δεδομένων (1) αποτελούμενη από συσκευή χορήγησης εισπνεόμενου φαρμάκου (2), θήκη προσαρμογής (3) και ένα έξυπνο σύστημα βιοπαρακολούθησης (4). Η ευφυής συσκευή (1) για την εκπαίδευση και υποστήριξη των ασθενών με χρόνια αναπνευστικά προβλήματα για τη διαδικασία αυτοδιαχείρισης της ασθένειάς τους, λειτουργεί ως πρόσθετη συσκευή σε διάφορους τύπους εισπνευστήρα (2) φαρμάκου για την αξιοποίηση δεδομένων από ηχητικά συμβάντα και επιταχύνσεις κατά τη χρήση καθώς και περιβαλλοντικών παραμέτρων από το περιβάλλον του ασθενή κατά τη χρήση του, που καταγράφονται από ένα ενσωματωμένο μικρόφωνο (12), επιταχυνσιόμετρο (14), μονάδα αισθητήρα θερμοκρασίας και υγρασίας (16) και της παρακολούθησης μέσω της κάμερας (84) του συστήματος απεικόνισης και διεπαφής (19) που διαθέτει ο χρήστης (69), βάσει της ανάλυσης των οποίων γίνεται η καθοδήγηση και η εκπαίδευσή του στη σωστή τη λήψη του εισπνεόμενου φαρμάκου.Intelligent inhaled medication device with biomonitoring and personalized training through multi-data classification (1) consisting of an inhaled medication delivery device (2), a fitting case (3) and an intelligent biomonitoring system (4). The intelligent device (1) to educate and support patients with chronic respiratory problems in the self-management process of their disease, works as an add-on device to various types of drug inhaler (2) to take advantage of data from sound events and accelerations during use as and environmental parameters from the patient's environment during use, recorded by a built-in microphone (12), accelerometer (14), temperature and humidity sensor unit (16) and monitoring through the camera (84) of the imaging and interface system (19) available to the user (69), based on the analysis of which he is guided and trained in the correct intake of the inhaled medicine.

Description

ΠΕΡΙΓΡΑΦΗ DESCRIPTION

ΕΥΦΥΗΣ ΣΥΣΚΕΥΗ ΕΙΣΠΝΕΟΜΕΝΗΣ ΦΑΡΜΑΚΕΥΤΙΚΗΣ SMART INHALATION MEDICATION DEVICE

ΑΓΩΓΗΣ ΜΕ ΒΙΟΠΑΡΑΚΟΛΟΥΘΗΣΗ ΚΑΙ EDUCATION WITH BIOMONITORING AND

ΠΡΟΣΩΠΟΠΟΙΗΜΕΝΗ ΕΚΠΑΙΔΕΥΣΗ ΜΕΣΩ PERSONALIZED EDUCATION THROUGH

ΤΑΞΙΝΟΜΗΣΗΣ ΠΟΛΛΑΠΛΩΝ ΔΕΔΟΜΕΝΩΝ MULTIPLE DATA CLASSIFICATION

Η παρούσα εφεύρεση αφορά την ανάπτυξη και κατασκευή ευφυών συστημάτων ορθής χρήσης εισπνοής φαρμάκου. Πιο συγκεκριμένα, η παρούσα εφεύρεση αναφέρεται στην ανάπτυξη και κατασκευή πρόσθετων συστημάτων σε συσκευές εισπνοής φαρμάκου που επιτρέπουν μέσω δικτύου ασύρματων αισθητήρων την παρακολούθηση της ορθής χρήσης και εκπαίδευσης του ασθενούς. The present invention relates to the development and manufacture of intelligent systems for the proper use of drug inhalation. More specifically, the present invention relates to the development and manufacture of additional systems in drug inhalation devices that allow, through a network of wireless sensors, the monitoring of the proper use and education of the patient.

Οι χρόνιες αναπνευστικές παθήσεις, όπως το άσθμα και η χρόνια αποφρακτική πνευμονοπάθεια, δε χρήζουν ολικής θεραπείας, αλλά δύναται να ελεγχθούν με τη χρήση εισπνεόμενης φαρμακευτικής αγωγής. Συνήθως, οι ασθενείς στα πλαίσια της φαρμακευτικής αγωγής πρέπει να χρησιμοποιούν τακτικά συσκευές εισπνοής για να λαμβάνουν τη θεραπεία τους. Δυστυχώς, τα σφάλματα χρήσης είναι συνηθισμένα: εκτιμάται ότι το 30-40% των ασθενών με χρόνια αναπνευστικά προβλήματα δεν χρησιμοποιούν σωστά τις συσκευές εισπνοής τους. Αυτό μπορεί να έχει άμεσο αντίκτυπο στον τρόπο λήψης του φαρμάκου, μειώνοντας τα οφέλη του. Chronic respiratory diseases, such as asthma and chronic obstructive pulmonary disease, do not require a complete cure, but can be controlled with the use of inhaled medication. Typically, patients on medication must regularly use inhalers to receive their treatment. Unfortunately, usage errors are common: it is estimated that 30-40% of patients with chronic respiratory problems do not use their inhalers correctly. This can have a direct impact on the way the medicine is taken, reducing its benefits.

Το αντικείμενο της παρούσης εφευρέσεως είναι η επίλυση των μειονεκτημάτων της προγενέστερης τεχνικής στην παροχή ενός ολοκληρωμένου πρόσθετου ευφυούς συστήματος για κάθε τύπο εισπνεόμενης συσκευής φαρμάκου που επιτρέπει τόσο στην εκπαίδευση, όσο στην υποστήριξη των ασθενών με άσθμα ή με χρόνια αναπνευστικά προβλήματα, στη διαδικασία αυτοδιαχείρισης της ασθένειάς τους, μέσω της σωστής λήψης δόσης φαρμάκου. The object of the present invention is to solve the disadvantages of the prior art in providing an integrated additional intelligent system for any type of inhaled drug device that allows both the education and the support of patients with asthma or chronic respiratory problems, in the process of self-management of their disease, through the correct intake of a drug dose.

Το μειονέκτημα των μέχρι τώρα συστημάτων υποβοήθησης αυτοδιαχείρισης είναι ότι χρησιμοποιούνται με α) διαδραστικές μεθόδους χωρίς την παρουσία γιατρού για την αξιολόγηση σωστής ή μη λήψης φαρμάκου, και β) κατά την επίσκεψη του ασθενούς στο ιατρείο με τη παρουσία του γιατρού ο οποίος εκπαιδεύει με φυσικό τρόπο τη σωστή ανακίνηση της εισπνεόμενης συσκευής φαρμάκου και της εισπνοής του μόνο κατά τη παρούσα στιγμή. Οι διαβουλεύσεις αυτές με τους πνευμονολόγους και γενικούς ιατρούς είναι συχνά σύντομες, χωρίς να δίνεται αρκετός χρόνος για την παρακολούθηση της χρήσης του συνταγογραφούμενου φαρμάκου εισπνοής ή για την παροχή πλήρους εξήγησης στους ασθενείς σχετικά με τον τρόπο χρήσης των εισπνευστήρων τους. Οι σύντομες επισκέψεις ασθενών είναι επίσης συχνές στο φαρμακείο. Αυτό συνεπάγει από τους δυο παραπάνω λόγους ότι δεν υπάρχει συνεχής παρακολούθηση και καταγραφή της λήψης φαρμάκου αφήνοντας επιρρεπή τον ασθενή στην ελλιπή εκμάθηση και επανάληψη λαθών στην καθημερινή χρήση των συσκευών εισπνοής φαρμάκου, άρα και της ορθής φαρμακευτικής αγωγής. The disadvantage of current self-management assistance systems is that they are used with a) interactive methods without the presence of a doctor to assess whether or not a medication is being taken correctly, and b) during the patient's visit to the doctor's office with the presence of the doctor who physically trains the correct shaking of the inhaled medication device and inhalation only at the present moment. These consultations with pulmonologists and general practitioners are often brief, without sufficient time to monitor the use of the prescribed inhaled medication or to provide patients with a full explanation of how to use their inhalers. Brief patient visits are also common in the pharmacy. This implies from the two reasons above that there is no continuous monitoring and recording of medication intake, leaving the patient prone to incomplete learning and repetition of errors in the daily use of inhaler devices, and therefore of correct medication.

Αναφορικά με ευφυή συστήματα ορθής χρήσης εισπνοής φαρμάκου είναι γνωστές στην τεχνική και περιγράφονται τόσο στα έγγραφα WO2017205824A1, ΕΡ3551263Β1 καθώς και στις εφαρμογές από την εταιρία Hephaï, Propeller Health and Adherium Limited έχουν κυκλοφορήσει πρωτότυπα προϊόντα στην αγορά. With regard to intelligent systems for the correct use of drug inhalation, they are known in the art and are described in documents WO2017205824A1, EP3551263B1 as well as in applications by the company Hephaï, Propeller Health and Adherium Limited, original products have been released on the market.

Παρόλο αυτά, οι εφευρέσεις αυτές παρουσιάζουν το πρόβλημα ότι επικεντρώνονται κυρίως στην αποφυγή παράλειψης δόσεων ή και στην επιτήρηση ορθής λήψης φαρμάκου με τεχνικές που εξαρτώνται από τα συγκεκριμένα δεδομένα εκπαίδευσης που χρησιμοποιήθηκαν με χρήση επιταχυνσιομέτρων και αισθητήρων βαρομετρικής πίεσης και τη συγκεκριμένη εφαρμογή της μεθόδου τεχνητής νοημοσύνης. Αυτό συνεπάγει ότι δεν υπάρχει ένα εύχρηστο περιβάλλον οπτικής και ακουστικής αναγνώρισης για την εξατομικευμένη παρακολούθηση του χρήστη σε πραγματικό χρόνο ώστε να τον καθοδηγεί βήμα προς βήμα στη σωστή χρήση της εισπνεόμενης συσκευής. Επίσης, δεν υπάρχει καμία μέριμνα στις υφιστάμενες αυτές συσκευές για τον εντοπισμό περιβαλλοντικών κινδύνων στο χώρο από παράγοντες όπως θερμοκρασίας και υγρασίας που βρίσκεται ο χρήστης, με δεδομένο πως οι συνθήκες του περιβάλλοντος είναι άμεσα συνδεδεμένες με την κατάσταση της υγείας του. However, these inventions present the problem that they mainly focus on avoiding missed doses or monitoring correct medication intake with techniques that depend on the specific training data used using accelerometers and barometric pressure sensors and the specific application of the artificial intelligence method. This implies that there is no easy-to-use visual and auditory recognition environment for personalized monitoring of the user in real time to guide him step by step in the correct use of the inhaled device. Also, there is no provision in these existing devices for identifying environmental hazards in the space from factors such as temperature and humidity where the user is, given that environmental conditions are directly linked to his health status.

Για να επιτευχθεί ο ανωτέρω σκοπός του αντικειμένου, υιοθετείται η τεχνική λύση της παρούσας εφεύρεσης, ανάπτυξη και κατασκευή ευφυούς συστήματος για την εκπαίδευση και υποστήριξη των ασθενών με άσθμα ή/και με χρόνια αναπνευστικά προβλήματα για τη διαδικασία αυτοδιαχείρισης της ασθένειάς τους, που λειτουργεί ως πρόσθετη συσκευή σε διάφορους τύπους εισπνευστήρα φαρμάκου και υποστηρίζεται από αισθητήρες για την αξιοποίηση δεδομένων από ηχητικά συμβάντα και επιταχύνσεις κατά τη χρήση καθώς και περιβαλλοντικών παραμέτρων από την οικία ή τον εργασιακό χώρο του ασθενή κατά τη χρήση του. In order to achieve the above purpose of the subject matter, the technical solution of the present invention is adopted, development and construction of an intelligent system for the education and support of patients with asthma and/or chronic respiratory problems for the self-management process of their disease, which functions as an additional device in various types of drug inhalers and is supported by sensors for the utilization of data from sound events and accelerations during use as well as environmental parameters from the patient's home or workplace during its use.

Η τεχνολογία των αισθητήρων σε συστήματα εκπαίδευσης λήψης φαρμάκου με διαδραστική εκπαίδευση είναι ήδη γνωστή. Ωστόσο, εφαρμογές που χρησιμοποιούν την ανάπτυξη αλγορίθμων ταξινόμησης πολλαπλών δεδομένων από το συγκερασμό αισθητήρων που στηρίζουν ταυτόχρονα τόσο δεδομένα ήχου και επιταχύνσεων, καθώς και περιβαλλοντικών κινδύνων, δεν έχει προβλεφθεί ακόμη. Sensor technology in drug delivery training systems with interactive training is already known. However, applications that use the development of multi-data classification algorithms from sensor fusion that simultaneously supports both sound and acceleration data, as well as environmental hazards, have not yet been envisioned.

Ο επιδιωκό μένος από τους αιτούντες σκοπός αποτελεί η τρέχουσα αδυναμία των ασθενών συμπεριλαμβάνοντας κυρίως και τα παιδιά να λαμβάνουν άμεση ανατροφοδότηση και εξατομικευμένες προσεγγίσεις αυτοδιαχείρισης του αναπνευστικού τους νοσήματος και η απουσία δυνατότητας άμεσης πρόσβασης δεδομένων και επικοινωνίας με τους επαγγελματίες υγείας μπορεί να οδηγήσει σε καταστάσεις όπου ο έλεγχος των νοσημάτων αυτών μπορεί να επιδεινωθεί. Κατά συνέπεια η παρούσα εφεύρεση για την υποστήριξη εξατομικευμένων προσεγγίσεων αυτοδιαχείρισης χρόνιων ασθενών με αναπνευστικά προβλήματα σε πραγματικό χρόνο είναι δυνατό να αυξήσει σημαντικά την αποτελεσματικότητα της ιατρικής περίθαλψης μέσω από: i) την παρακολούθηση της ορθής χρήσης των εισπνευστικών συσκευών καθώς και της αποφυγής κρίσιμων λαθών, με χρήση αισθητήρων, ii) την παρακολούθηση σημαντικών συμπεριφορικών και περιβαλλοντολογιών παραμέτρων που είναι σημαντικές για τα αναπνευστικά νοσήματα όπως τοποθεσία και χρονολογία λήψης φαρμάκου, δεδομένα καιρού, και iii) την συλλογή και αποστολή των δεδομένων σε ένα τοπικό σύστημα επεξεργασίας και ιατρικής συμπερασματολογίας. The purpose pursued by the applicants is the current inability of patients, including mainly children, to receive immediate feedback and personalized self-management approaches to their respiratory disease and the lack of immediate access to data and communication with health professionals can lead to situations where the control of these diseases can deteriorate. Consequently, the present invention for supporting personalized self-management approaches for chronic patients with respiratory problems in real time can significantly increase the efficiency of medical care through: i) monitoring the correct use of inhalation devices as well as the avoidance of critical errors, using sensors, ii) monitoring important behavioral and environmental parameters that are important for respiratory diseases such as location and date of medication intake, weather data, and iii) collecting and sending the data to a local processing and medical inference system.

Συγκεκριμένα, η παρούσα εφεύρεση προτείνει την ανάπτυξη ενός ευφυούς συστήματος παροχής υπηρεσιών εξατομικευμένης παρακολούθησης και αυτοδιαχείρισης των αναπνευστικών νοσημάτων, μέσω της παρακολούθησης της λήψης εισπνεόμενων φαρμάκων σε συνδυασμό με τεχνικές εκμάθησης της ορθής χρήσης τους. Στη βάση αυτή, η παρούσα εφεύρεση αποτελεί ένα ασύρματο σύστημα βιοπαρακολούθησης και εκπαίδευσης κάνοντας χρήση μη παρεισφρητικών αισθητήρων όπως επιταχυνσιόμετρο, αισθητήρες θερμοκρασίας, υγρασίας και ήχου, το οποίο μπορεί να προσαρμόζεται σε οποιαδήποτε συσκευή εισπνοής φαρμάκου όπως συσκευές εισπνοής μετρούμενης δόσης, συσκευές εισπνοής ξηράς κόνεως και συσκευές εισπνοής νεφελώματος για (α) να συλλέγει πλήθος δεδομένων ιδιαίτερα σημαντικών και κρίσιμων αναφορικά με την χρήση του εισπνεόμενου φαρμάκου στο χώρο λήψης του, (β) να εκπαιδεύει τους ασθενείς στην ορθή χρήση των εισπνευστικών συσκευών, με χρήση καινοτόμων μεθόδων επεξεργασίας σήματος και υπολογιστικής όρασης, σε συνδυασμό με τεχνικές επαυξημένης πραγματικότητας, καθώς και μέσω της ενσωμάτωσης εικονικών χαρακτήρων και διαδραστικών αφηγήσεων απεικονιζόμενων σε μια έξυπνη συσκευή όπως το κινητό τους τηλέφωνο, και (γ) να καθοδηγεί το άτομο όταν απαιτείται, με ένα σύστημα επικοινωνίας και υποστήριξης λήψης αποφάσεων, με κατάλληλες παρεμβάσεις όπως λήψη ιατρικής βοήθειας από τον ιατρό, αυτοδιαχείριση παροξύνσεων. Specifically, the present invention proposes the development of an intelligent system for providing personalized monitoring and self-management services for respiratory diseases, through monitoring the intake of inhaled medications in combination with techniques for learning their correct use. On this basis, the present invention constitutes a wireless biomonitoring and training system using non-invasive sensors such as accelerometer, temperature, humidity and sound sensors, which can be adapted to any drug inhalation device such as metered dose inhalers, dry powder inhalers and nebulizer inhalers to (a) collect a multitude of particularly important and critical data regarding the use of the inhaled drug at the point of administration, (b) educate patients in the proper use of the inhalation devices, using innovative signal processing and computer vision methods, in combination with augmented reality techniques, as well as through the integration of virtual characters and interactive narratives displayed on a smart device such as their mobile phone, and (c) guide the individual when required, with a communication and decision support system, with appropriate interventions such as receiving medical assistance from the doctor, self-management of exacerbations.

Η εξατομικευμένη εφαρμογή αυτοδιαχείρισης αναπνευστικών νοσημάτων θα λειτουργεί στην κινητή συσκευή του ασθενή και θα παρέχει την απαραίτητη καθοδήγηση για την αυτοβελτίωση του μέσω εκπαίδευσης στην ορθή χρήση των εισπνευστικών συσκευών. The personalized respiratory disease self-management application will operate on the patient's mobile device and will provide the necessary guidance for self-improvement through training in the proper use of inhalation devices.

Τα σχέδια που συνοδεύουν την εφεύρεση, απεικονίζουν εν συντομία τα εξής: The drawings accompanying the invention briefly illustrate the following:

Το σχέδιο 1 είναι μια γραφική απεικόνιση που δείχνει έναν τρόπο πραγμάτωσης μιας ευφυούς συσκευής εισπνεόμενης φαρμακευτικής αγωγής (1), η οποία αποτελείται από συσκευή χορήγησης εισπνεόμενου φαρμάκου (2), θήκη προσαρμογής (3) και ένα έξυπνο σύστημα βιοπαρακολούθησης (4). Figure 1 is a graphical representation showing a way of implementing an intelligent inhaled medication device (1), which consists of an inhaled medication delivery device (2), an adapter case (3) and an intelligent biomonitoring system (4).

Το σχέδιο 2 αποτυπώνει γραφικά τη διάταξη του έξυπνου συστήματος βιοπαρακολούθησης (4), το οποίο αποτελείται από ασύρματο σύστημα βιοπαρακολούθησης (5) και πλατφόρμα (6). Figure 2 graphically depicts the layout of the smart biomonitoring system (4), which consists of a wireless biomonitoring system (5) and a platform (6).

Το σχέδιο 3 παρουσιάζει το ασύρματο σύστημα βιοπαρακολούθησης (5), το οποίο αποτελείται από μικροελεγκτή πολύ χαμηλής κατανάλωσης (7), υλικολογισμικό (8), μπαταρία (9), κύκλωμα φόρτισης (10), φωτεινές ενδείξεις (11), μικρόφωνο (12), δίαυλο ήχου ενσωματωμένων κυκλωμάτων (13), επιταχυνσιό μέτρο (14), σειριακή περιφερειακή διεπαφή (15), μονάδα αισθητήρα θερμοκρασίας και υγρασίας (16), δίαυλο επικοινωνίας ενσωματωμένων κυκλωμάτων (17) και ασύρματο δίκτυο (18). Figure 3 shows the wireless biomonitoring system (5), which consists of a very low power microcontroller (7), firmware (8), battery (9), charging circuit (10), light indicators (11), microphone (12), integrated circuit audio bus (13), accelerometer (14), serial peripheral interface (15), temperature and humidity sensor module (16), integrated circuit communication bus (17) and wireless network (18).

Το σχέδιο 4 παρουσιάζει την πλατφόρμα (6), η οποία αποτελείται από σύστημα απεικόνισης και διεπαφής (19), διαδραστικές αφηγήσεις (20), εικονική πραγματικότητα (21), μονάδα επεξεργασίας και αποθήκευσης (22), σύστημα ταξινόμησης δεδομένων ήχου (23) και σύστημα ταξινόμησης δεδομένων επιταχύνσεων (24). Figure 4 presents the platform (6), which consists of a display and interface system (19), interactive narratives (20), virtual reality (21), processing and storage unit (22), audio data classification system (23) and acceleration data classification system (24).

Το σχέδιο 5 παρουσιάζει το έξυπνο σύστημα βιοπαρακολούθησης (4), το οποίο αποτελεί τη σύζευξη των στοιχείων του σχεδίου 3 και σχεδίου 4 μέσω της σύνδεσης του ασύρματου δικτύου (18) με το σύστημα απεικόνισης και διεπαφής (19). Figure 5 presents the smart biomonitoring system (4), which is the coupling of the elements of Figure 3 and Figure 4 through the connection of the wireless network (18) with the imaging and interface system (19).

Στο σχέδιο 6 παρουσιάζεται το διάγραμμα ροής του υλικολογισμικού (8) του ασύρματου συστήματος βιοπαρακολούθησης (5). Figure 6 shows the flow chart of the firmware (8) of the wireless biomonitoring system (5).

Στο σχέδιο 7 παρουσιάζεται το διάγραμμα ροής του συστήματος ταξινόμησης δεδομένων ήχου (23) της πλατφόρμας (6). Figure 7 shows the flow chart of the audio data classification system (23) of the platform (6).

Στο σχέδιο 8 παρουσιάζεται το διάγραμμα ροής του συστήματος ταξινόμησης δεδομένων επιταχύνσεων (24) της πλατφόρμας (6). Figure 8 shows the flow chart of the acceleration data classification system (24) of the platform (6).

Στο σχέδιο 9 απεικονίζεται η συσκευή χορήγησης εισπνεόμενου φαρμάκου (2), η θήκη προσαρμογής (3), το ασύρματο σύστημα βιοπαρακολούθησης (5), στο οποίο διακρίνονται η μπαταρία (9), οι φωτεινές ενδείξεις (11) και το μικρόφωνο (12). Figure 9 shows the inhaled drug delivery device (2), the adapter case (3), the wireless biomonitoring system (5), in which the battery (9), the light indicators (11) and the microphone (12) can be distinguished.

Το σχέδιο 10 απεικονίζει την ευφυή συσκευή εισπνεόμενης φαρμακευτικής αγωγής (1) σε διασύνδεση με το σύστημα απεικόνισης και διεπαφής (19) και με χρήστη (69). Figure 10 illustrates the intelligent inhaled medication device (1) in interface with the display and interface system (19) and with a user (69).

Στο σχέδιο 11 είναι μια λεπτομερής γραφική απεικόνιση που δείχνει το πρώτο βήμα χρήσης της ευφυούς συσκευής εισπνεόμενης φαρμακευτικής αγωγής (1), κατά το οποίο ο χρήστης (69) καλείται να αφαιρέσει καπάκι (70), όπως υποδεικνύεται από αντίστοιχο βέλος (71). Το σχέδιο 12 είναι μια λεπτομερής γραφική απεικόνιση του δεύτερου βήματος, όπου ο χρήστης (69) καλείται να ανακινήσει (72) την ευφυή συσκευή εισπνεόμενης φαρμακευτικής αγωγής (1), για διάρκεια ίση με αυτή σε εμφανιζόμενο χρονόμετρο (73). In figure 11 is a detailed graphic illustration showing the first step of using the intelligent inhalation medication device (1), in which the user (69) is asked to remove a cap (70), as indicated by a corresponding arrow (71). Figure 12 is a detailed graphic illustration of the second step, where the user (69) is asked to shake (72) the intelligent inhalation medication device (1), for a duration equal to that on a displayed timer (73).

Το σχέδιο 13 είναι μια λεπτομερής γραφική απεικόνιση του τρίτου βήματος, όπου ο χρήστης (69) καλείται να κρατήσει την ευφυή συσκευή εισπνεόμενης φαρμακευτικής αγωγής (1), σε όρθια θέση σύμφωνα με εμφανιζόμενα βέλη (74). Figure 13 is a detailed graphical representation of the third step, where the user (69) is asked to hold the intelligent inhalation medication device (1), in an upright position according to displayed arrows (74).

Το σχέδιο 14 είναι μια λεπτομερής γραφική απεικόνιση του τέταρτου βήματος, όπου ο χρήστης (69) καλείται να τοποθετήσει τον δείκτη (75) και τον αντίχειρα (76) του στις θέσεις που υποδεικνύουν βέλη (77). Το σχέδιο 15 είναι μια λεπτομερής γραφική απεικόνιση του πέμπτου βήματος, όπου ο χρήστης (69) καλείται, κρατώντας την ευφυή συσκευή εισπνεόμενης φαρμακευτικής αγωγής (1) να έχει την πλάτη (78) σε όρθια θέση, όπως υποδεικνύεται από αντίστοιχο βέλος (79). Figure 14 is a detailed graphical representation of the fourth step, where the user (69) is asked to place his index finger (75) and thumb (76) in the positions indicated by arrows (77). Figure 15 is a detailed graphical representation of the fifth step, where the user (69) is asked, while holding the intelligent inhalation medication device (1), to have his back (78) in an upright position, as indicated by a corresponding arrow (79).

Το σχέδιο 16 είναι μια λεπτομερής γραφική απεικόνιση του έκτου βήματος, όπου ο χρήστης (69) καλείται να γείρει το κεφάλι (80) ελαφρώς προς τα πίσω, όπως υποδεικνύει αντίστοιχο βέλος (81). Figure 16 is a detailed graphic illustration of the sixth step, where the user (69) is asked to tilt the head (80) slightly backwards, as indicated by a corresponding arrow (81).

Το σχέδιο 17 είναι μια λεπτομερής γραφική απεικόνιση του έβδομου βήματος, όπου ο χρήστης (69) καλείται να κρατήσει την ευφυή συσκευή εισπνεόμενης φαρμακευτικής αγωγής (1) μπροστά από το πρόσωπό του (82), στο ύψος του στόματός του (83). Figure 17 is a detailed graphical representation of the seventh step, where the user (69) is asked to hold the intelligent inhaled medication device (1) in front of his face (82), at the height of his mouth (83).

Το σχέδιο 18 είναι μια λεπτομερής γραφική απεικόνιση του όγδοου βήματος, στο οποίο ο χρήστης (69) καθοδηγείται με τη χρήση της ενσωματωμένης κάμερας (84) του συστήματος απεικόνισης και διεπαφής (19). Figure 18 is a detailed graphical representation of the eighth step, in which the user (69) is guided using the built-in camera (84) of the display and interface system (19).

Το σχέδιο 19 είναι μια λεπτομερής γραφική απεικόνιση του περιβάλλοντος που προβάλλεται κατά το όγδοο βήμα. Διακρίνονται περιοχή προεπισκόπησης (85), περιοχή παρατηρήσεων (86), επιλογή εξόδου (87), επιλογή ρύθμισης φωτεινότητας (88) και περιοχή αναδυόμενου μηνύματος (89). Figure 19 is a detailed graphical representation of the environment displayed during the eighth step. There is a preview area (85), a comments area (86), an output selection (87), a brightness adjustment option (88) and a pop-up message area (89).

Το σχέδιο 20 είναι μια λεπτομερής γραφική απεικόνιση του ένατου βήματος, όπου ο χρήστης (69) καλείται να εκπνεύσει (90), από το στόμα του (83), όσο περισσότερο μπορεί, καθοδηγούμενος από τη στήλη (91). Το σχέδιο 21 είναι μια λεπτομερής γραφική απεικόνιση του δέκατου βήματος, όπου ο χρήστης (69), καλείται να τοποθετήσει επιστόμιο (92) της ευφυούς συσκευής εισπνεόμενης φαρμακευτικής αγωγής (1) στο στόμα του (83). Figure 20 is a detailed graphical representation of the ninth step, where the user (69) is asked to exhale (90), through his mouth (83), as much as he can, guided by the column (91). Figure 21 is a detailed graphical representation of the tenth step, where the user (69) is asked to place a mouthpiece (92) of the intelligent inhalation medication device (1) in his mouth (83).

Το σχέδιο 22 είναι μια λεπτομερής γραφική απεικόνιση του ενδέκατου βήματος, στο οποίο ο χρήστης (69), έχοντας την ευφυή συσκευή εισπνεόμενης φαρμακευτικής αγωγής (1) στο στόμα του (83), καλείται να πιέσει με το δείκτη (75) όπως υποδεικνύεται από αντίστοιχο βέλος (93), ενώ παράλληλα εισπνέει (94) όσο περισσότερο μπορεί, όπως υποδεικνύεται από τη στήλη (91). Figure 22 is a detailed graphical representation of the eleventh step, in which the user (69), having the intelligent inhaled medication device (1) in his mouth (83), is asked to press with the index finger (75) as indicated by a corresponding arrow (93), while simultaneously inhaling (94) as much as possible, as indicated by the column (91).

Το σχέδιο 23 είναι μια λεπτομερής γραφική απεικόνιση του δωδέκατου βήματος, στο οποίο, ο χρήστης (69) καλείται να κρατήσει την αναπνοή του, για διάστημα που υποδεικνύεται από το χρονόμετρο (73). Figure 23 is a detailed graphical representation of the twelfth step, in which the user (69) is asked to hold his breath for a period indicated by the timer (73).

Το σχέδιο 24 είναι μια λεπτομερής γραφική απεικόνιση του δέκατου τρίτου βήματος, στο οποίο ο χρήστης (69), μπορεί να εκπνεύσει (90). Το σχέδιο 25 είναι μια λεπτομερής γραφική απεικόνιση του δέκατου τέταρτου βήματος, στο οποίο ο χρήστης (69) καλείται να επανατοποθετήσει το καπάκι (70) στην ευφυή συσκευή εισπνεόμενης φαρμακευτικής αγωγής (1), όπως υποδεικνύεται από το αντίστοιχο βέλος (95). Figure 24 is a detailed graphical representation of the thirteenth step, in which the user (69) may exhale (90). Figure 25 is a detailed graphical representation of the fourteenth step, in which the user (69) is instructed to replace the cap (70) on the smart inhalation medication device (1), as indicated by the corresponding arrow (95).

Το σχέδιο 26 αποτελεί μία γραφική απεικόνιση του περιβάλλοντος όπου απεικονίζεται η αξιολόγηση της ορθής λήψης φαρμάκου μέσω ποσοστού (96) και με παρατηρήσεις (97) για το ποια βήματα δεν εκτελέστηκαν αμιγώς προτείνοντας διορθωτικές ενέργειες. Figure 26 is a graphical representation of the environment where the assessment of correct medication intake is illustrated through a percentage (96) and with observations (97) on which steps were not performed purely suggesting corrective actions.

Η εφεύρεση περιγράφεται λεπτομερώς παρακάτω, με τη βοήθεια ενός μη περιοριστικού παραδείγματος και με αναφορά στα συνημμένα σχέδια, τα οποία δείχνουν μία μορφή εκτέλεσης του αντικειμένου της παρούσης εφεύρεσης. The invention is described in detail below, by way of non-limiting example and with reference to the attached drawings, which show an embodiment of the subject matter of the present invention.

Το παρόν μη περιοριστικό παράδειγμα της εφεύρεσης προτείνει την ανάπτυξη και κατασκευή μιας ευφυούς συσκευής εισπνεόμενης φαρμακευτικής αγωγής (1), όπως απεικονίζεται στο Σχ. 1, η οποία αποτελείται από τη συσκευή χορήγησης εισπνεόμενου φαρμάκου (2), τη θήκη προσαρμογής (3) και το έξυπνο σύστημα βιοπαρακολούθησης (4). Η συσκευή χορήγησης εισπνεόμενου φαρμάκου (2), στο μη περιοριστικό παράδειγμα είναι τύπου συσκευής εισπνοής μετρούμενης δόσης. Η εφεύρεση μπορεί να εφαρμοστεί και σε διάφορους τύπους συσκευών εισπνοής όπως σε συσκευές εισπνοής ξηρής κόνεως και συσκευές εισπνοής νεφελώματος. Η θήκη προσαρμογής (3) μπορεί να κατασκευαστεί από βιοδιασπώμενα θερμοπλαστικά υλικά όπως το πολυγαλακτικό οξύ, με χρήση τεχνολογίας τρισδιάστατης εκτύπωσης όπως της Εναπόθεσης Τηγμένου Νήματος, καθώς και με άλλες τεχνολογίες προσθετικής κατασκευής, όπως με στερεολιθογραφία και με επιλεκτική σύντηξη λέιζερ. Ανάλογα με τον τύπο συσκευής χορήγησης εισπνεόμενου φαρμάκου (2), η θήκη (3) προσαρμόζεται είτε ως δαχτυλίδι στο κύριο σώμα της συσκευής, είτε στη βάση του όπως για παράδειγμα στην περίπτωση μιας συσκευής ξηράς κόνεως . Το έξυπνο σύστημα βιοπαρακολούθησης (4), σύμφωνα με το Σχ. 2, αποτελείται από το ασύρματο σύστημα βιοπαρακολούθησης (5) και την πλατφόρμα (6). Το έξυπνο σύστημα βιοπαρακολούθησης (4) αποτελεί ένα ολιστικό ψηφιακό σύστημα παροχής υπηρεσιών εκπαίδευσης και υποβοήθησης αυτοδιαχείρισης στους χρήστες χρόνιων αναπνευστικών νοσημάτων όπως με χρόνια αποφρακτική πνευμονοπάθεια και άσθμα. Μέσω του έξυπνου συστήματος βιοπαρακολούθησης (4), ο χρήστης (69) εκπαιδεύεται στην ορθή χρήση εισπνεόμενων φαρμακευτικών συσκευών The present non-limiting example of the invention proposes the development and manufacture of an intelligent inhalation medication device (1), as illustrated in Fig. 1, which consists of the inhalation drug delivery device (2), the adapter case (3) and the intelligent biomonitoring system (4). The inhalation drug delivery device (2), in the non-limiting example is of the metered dose inhaler type. The invention can also be applied to various types of inhalers such as dry powder inhalers and nebulizer inhalers. The adapter case (3) can be manufactured from biodegradable thermoplastic materials such as polylactic acid, using 3D printing technology such as Fused Filament Deposition, as well as other additive manufacturing technologies such as stereolithography and selective laser fusion. Depending on the type of inhalation drug delivery device (2), the case (3) is attached either as a ring to the main body of the device, or to its base, as for example in the case of a dry powder device. The smart biomonitoring system (4), according to Fig. 2, consists of the wireless biomonitoring system (5) and the platform (6). The smart biomonitoring system (4) is a holistic digital system for providing education and self-management assistance services to users of chronic respiratory diseases such as chronic obstructive pulmonary disease and asthma. Through the smart biomonitoring system (4), the user (69) is trained in the correct use of inhaled pharmaceutical devices

(2). (2).

Σύμφωνα με το Σχ. 3 το ασύρματο σύστημα βιοπαρακολούθησης (5) υλοποιεί τη συλλογή δεδομένων ήχου, επιταχύνσεων, θερμοκρασίας και υγρασίας μέσω ενός μικροελεγκτή πολύ χαμηλής κατανάλωσης (7). Η χαμηλή κατανάλωση του μικροελεγκτή είναι απαραίτητο χαρακτηριστικό, καθώς τροφοδοτείται από επαναφορτιζόμενη μπαταρία (9), ώστε να εξασφαλίζεται όσο το δυνατό μακροχρόνια χρήση. Η μπαταρία αυτή επαναφορτίζεται μέσω ενός κυκλώματος φόρτισης (10), που ενσωματώνεται στο ασύρματο σύστημα βιοπαρακολούθησης (5) . Πάνω στο μικροελεγκτή (7) εκτελείται το υλικολογισμικό (8), όπου στο Σχ. 6 παρουσιάζεται το διάγραμμα ροής του. Κατά την ενεργοποίηση του ασύρματου συστήματος βιοπαρακολούθησης (5) μέσω της ανακίνησης της συσκευής εισπνοής (2), ενεργοποιούνται οι φωτεινές ενδείξεις (11) ώστε να γνωρίζει ο χρήστης (69) ότι η συσκευή ενεργοποιήθηκε επιτυχώς. According to Fig. 3, the wireless biomonitoring system (5) implements the collection of sound, acceleration, temperature and humidity data through a very low-power microcontroller (7). The low power consumption of the microcontroller is a necessary feature, as it is powered by a rechargeable battery (9), in order to ensure as long a use as possible. This battery is recharged through a charging circuit (10), which is integrated into the wireless biomonitoring system (5). The firmware (8) is executed on the microcontroller (7), where Fig. 6 presents its flow chart. When activating the wireless biomonitoring system (5) by shaking the inhaler (2), the light indicators (11) are activated so that the user (69) knows that the device has been activated successfully.

Το ασύρματο σύστημα βιοπαρακολούθησης (5) διαθέτει μικρόφωνο (12), επιταχυνσιόμετρο (14) και μονάδα αισθητήρων θερμοκρασίας και υγρασίας (16). Το μικρόφωνο (12) επικοινωνεί με τον μικροελεγκτή (7) μέσω ενός δίαυλου ήχου ενσωματωμένων κυκλωμάτων (13). Το επιταχυνσιόμετρο (14) επικοινωνεί με τον μικροελεγκτή (7) μέσω μίας σειριακής περιφερειακής διεπαφής (15). Η μονάδα αισθητών θερμοκρασίας και υγρασίας (16) επικοινωνεί με τον μικροελεγκτή (7) μέσω ενός δίαυλου επικοινωνίας ενσωματωμένων κυκλωμάτων (17). Τα δεδομένα που συλλέγει ο μικροελεγκτής (7) τα μεταδίδει στη συνέχεια μέσω του ασύρματου δικτύου (18) στην πλατφόρμα (6). The wireless biomonitoring system (5) has a microphone (12), an accelerometer (14) and a temperature and humidity sensor unit (16). The microphone (12) communicates with the microcontroller (7) via an integrated circuit audio channel (13). The accelerometer (14) communicates with the microcontroller (7) via a serial peripheral interface (15). The temperature and humidity sensor unit (16) communicates with the microcontroller (7) via an integrated circuit communication channel (17). The data collected by the microcontroller (7) is then transmitted via the wireless network (18) to the platform (6).

Η πλατφόρμα (6) αποτελεί τη διάδραση με το χρήστη (69) βάση των δεδομένων που συλλέγονται και αποστέλλονται σε αυτή από το ασύρματο σύστημα βιοπαρακολούθησης (5). Η πλατφόρμα (6), όπως φαίνεται στο Σχ. 4, διαθέτει το σύστημα απεικόνισης και διεπαφής (19), το οποίο μπορεί να είναι μία έξυπνη κινητή τηλεφωνική συσκευή, ένα τάμπλετ ή/και υπολογιστής, που διαθέτει κάμερα, μικρόφωνο, ηχείο και πρόσβαση στο διαδίκτυο. Η εκπαίδευση παρέχεται είτε με τη χρήση διαδραστικών αφηγήσεων (20), είτε με τη χρήση εικονικής πραγματικότητας (21). Για την παροχή των παραπάνω λειτουργιών, το σύστημα απεικόνισης και διεπαφής επικοινωνεί με τη μονάδα επεξεργασίας και αποθήκευσης (22). Πιο αναλυτικά, το σύστημα απεικόνισης και διεπαφής (19) έχει τη δυνατότητα προβολής διαδραστικών αφηγήσεων (20) μέσω κινούμενων σχεδίων, ηχητικών αφηγήσεων και γραπτού κειμένου, και προβολής αφηγήσεων μέσω εικονικής πραγματικότητας (21) οι οποίες καθοδηγούν τον χρήστη (69) στην ορθή εκτέλεση των βημάτων χρήσης της συσκευής χορήγησης εισπνεόμενου φαρμάκου (2). Το σύστημα απεικόνισης και διεπαφής (19) κάνει λήψη των δεδομένων που αποστέλλονται από το ασύρματο σύστημα βιοπαρακολούθησης (5) και τα στέλνει στη μονάδα επεξεργασίας και αποθήκευσης (22). Στη μονάδα επεξεργασίας και αποθήκευσης (22) τα δεδομένα που αποθηκεύονται σε αυτήν επεξεργάζονται βάση του τύπου της πληροφορίας που διαθέτουν: α) αν πρόκειται για δεδομένα ήχου, η ανάλυσή τους γίνεται από το σύστημα ταξινόμησης δεδομένων ήχου (23), και β) αν πρόκειται για δεδομένα επιταχύνσεων, η ανάλυσή τους γίνεται από το σύστημα ταξινόμησης δεδομένων επιταχύνσεων (24). Τα δεδομένα θερμοκρασίας και υγρασίας, δεν υφίστανται κάποια επεξεργασία απλά αποθηκεύονται στη μονάδα (22) και χρησιμοποιούνται μετέπειτα για σκοπούς υποστήριξης λήψης αποφάσεων κατά τη διαδικασία χρήσης της συσκευής εισπνοής (2) σε περιβάλλοντα διαφορετικών συνθηκών. The platform (6) is the user interaction (69) based on the data collected and sent to it by the wireless biomonitoring system (5). The platform (6), as shown in Fig. 4, has the display and interface system (19), which can be a smart mobile phone device, a tablet and/or a computer, which has a camera, microphone, speaker and access to the internet. The training is provided either by using interactive narratives (20), or by using virtual reality (21). To provide the above functions, the display and interface system communicates with the processing and storage unit (22). More specifically, the display and interface system (19) has the ability to display interactive narratives (20) through animations, audio narratives and written text, and display narratives through virtual reality (21) which guide the user (69) in the correct execution of the steps of using the inhaled drug delivery device (2). The display and interface system (19) receives the data sent by the wireless biomonitoring system (5) and sends them to the processing and storage unit (22). In the processing and storage unit (22), the data stored therein are processed based on the type of information they have: a) if they are audio data, their analysis is performed by the audio data classification system (23), and b) if they are acceleration data, their analysis is performed by the acceleration data classification system (24). The temperature and humidity data are not processed, they are simply stored in the unit (22) and are subsequently used for decision-making support purposes during the process of using the inhaler (2) in environments with different conditions.

Στο Σχ. 5 απεικονίζεται η αρχιτεκτονική του έξυπνου συστήματος βιοπαρακολούθησης (4) όπου φαίνεται η λεπτομερής σύνδεση των στοιχείων που απαρτίζουν το ασύρματο σύστημα βιοπαρακολούθησης (5) με τα επιμέρους στοιχεία της πλατφόρμας (6). Fig. 5 depicts the architecture of the smart biomonitoring system (4) showing the detailed connection of the elements that make up the wireless biomonitoring system (5) with the individual elements of the platform (6).

Στο μη περιοριστικό παράδειγμα χρησιμοποιήθηκε ένα μικροηλεκτρομηχανικό μικρόφωνο (12). Πρόκειται για ένα πυκνωτικό χωρητικό μικρόφωνο κατασκευασμένο από πυρίτιο μικροσκοπικών διαστάσεων, το οποίο διαθέτει εξαιρετικά χαμηλή κατανάλωση ρεύματος. Τα δεδομένα ήχου συλλέγονται από το μικρόφωνο (12), το οποίο επικοινωνεί ψηφιακά με τον μικροελεγκτή (7) μέσω του δίαυλου ήχου ενσωματωμένων κυκλωμάτων (13). Ο μικροελεγκτής (7) ενδεικτικά λαμβάνει τα δεδομένα με 32 bit ανά δείγμα ήχου. Στη συνέχεια τα δεδομένα ήχου αποστέλλονται μέσω του ασύρματου δικτύου (18) στο σύστημα απεικόνισης και διεπαφής (19) και αποθηκεύονται στη μονάδα (22), για την ανάλυσή τους από το σύστημα ταξινόμησης δεδομένων ήχου (23). Το αποτέλεσμα της ανάλυσης απεικονίζεται στο χρήστη μέσω του συστήματος (19). In the non-limiting example, a microelectromechanical microphone (12) was used. It is a condenser capacitive microphone made of silicon of microscopic dimensions, which has extremely low power consumption. The sound data is collected by the microphone (12), which communicates digitally with the microcontroller (7) via the integrated circuit audio bus (13). The microcontroller (7) indicatively receives the data with 32 bits per sound sample. The sound data is then sent via the wireless network (18) to the display and interface system (19) and stored in the unit (22), for analysis by the audio data classification system (23). The result of the analysis is displayed to the user via the system (19).

Επιπρόσθετα, το επιταχυνσιό μέτρο (14) που κρίθηκε κατάλληλο για χρήση είναι ένα χωρητικό μικροηλεκτρομηχανικό στοιχείο. Έχει χαμηλό κόστος και χαμηλή κατανάλωση ενέργειας, με ενδεικτική κατανάλωση μόλις 2μΑ σε λειτουργία εξαιρετικά χαμηλής κατανάλωσης ενέργειας. Το επιταχυνσιόμετρο (14) τοποθετείται ώστε να διασφαλίζει την ορθή χρήση της εισπνοής του φαρμάκου. Συγκεκριμένα το επιταχυνσιόμετρο (14) αντιλαμβάνεται εάν έχει γίνει σωστά η ανακίνηση πριν τη χρήση της συσκευής εισπνοής (2), ενώ ανιχνεύει σε πραγματικό χρόνο τον προσανατολισμό της συσκευής, ώστε να ερμηνεύεται η ορθή της χρήση από το χρήστη. Επίσης το επιταχυνσιόμετρο (14) έχει το ρόλο της αφύπνισης του μικροελεκτή (7). Το επιταχυνσιόμετρο (14) επικοινωνεί με το μικροελεγκτή (7) ψηφιακά μέσω της σειριακής περιφερειακής διεπαφής (15) με ενδεικτική ανάλυση 16 bit. Στη συνέχεια τα δεδομένα επιτάχυνσης αποστέλλονται μέσω του ασύρματου δικτύου (18) στο σύστημα απεικόνισης και διεπαφής (19) και αποθηκεύονται στη μονάδα (22), για την ανάλυσή τους από το σύστημα ταξινόμησης δεδομένων επιταχύνσεων (24). Το αποτέλεσμα της ανάλυσης απεικονίζεται στο χρήστη μέσω του συστήματος (19). Additionally, the accelerometer (14) that was deemed suitable for use is a capacitive microelectromechanical element. It has low cost and low power consumption, with an indicative consumption of only 2μA in ultra-low power consumption mode. The accelerometer (14) is positioned to ensure the correct use of the inhalation of the drug. Specifically, the accelerometer (14) senses whether the shaking has been done correctly before using the inhaler (2), while it detects in real time the orientation of the device, so that its correct use by the user is interpreted. Also, the accelerometer (14) has the role of waking up the microcontroller (7). The accelerometer (14) communicates with the microcontroller (7) digitally via the serial peripheral interface (15) with an indicative resolution of 16 bits. The acceleration data is then sent via the wireless network (18) to the display and interface system (19) and stored in the unit (22), for analysis by the acceleration data classification system (24). The result of the analysis is displayed to the user via the system (19).

Τέλος, η μονάδα αισθητήρων θερμοκρασίας και υγρασίας (16) επικοινωνεί με τον μικροελεγκτή (7) μέσω του δίαυλου επικοινωνίας ενσωματωμένων κυκλωμάτων (17) με ενδεικτικά ρυθμιζόμενη ανάλυση 8 ή 12 bit. Στη συνέχεια μέσω του ασύρματου δικτύου (18) τα περιβαλλοντικά δεδομένα αποστέλλονται στο σύστημα απεικόνισης και δεπαφής (19), όπου οι τιμές αποθηκεύονται, προβάλλονται και χρησιμοποιούνται για παραγωγή αντίστοιχων διαγραμμάτων. Ακόμα, ο ιατρός μπορεί να θέσει κανόνες για να λαμβάνει ειδοποιήσεις είτε ο ίδιος, είτε ο χρήστης (69) όταν οι λαμβανόμενες μετρήσεις ξεπερνούν ένα όριο καθορισμένο από τον ιατρό. Finally, the temperature and humidity sensor unit (16) communicates with the microcontroller (7) via the integrated circuit communication channel (17) with an indicatively adjustable resolution of 8 or 12 bits. Then, via the wireless network (18), the environmental data is sent to the display and plotting system (19), where the values are stored, displayed and used to produce corresponding diagrams. Furthermore, the doctor can set rules to receive notifications either himself or the user (69) when the received measurements exceed a limit set by the doctor.

Το Σχ. 6 παρουσιάζει ένα μη περιοριστικό παράδειγμα του διαγράμματος ροής του υλικολογισμικού (8). Σύμφωνα με το διάγραμμα ροής, το ασύρματο σύστημα βιοπαρακολούθησης (5), βρίσκεται αρχικά σε λειτουργία εξοικονόμησης ενέργειας (28). Fig. 6 shows a non-limiting example of the firmware flow chart (8). According to the flow chart, the wireless biomonitoring system (5), is initially in a power saving mode (28).

Καθώς ο χρήστης (69) ετοιμάζεται να ξεκινήσει τη διαδικασία εισπνοής, θα πρέπει αρχικά να ανακινήσει τη συσκευή (2), η οποία παρομοιάζεται ως συμβάν διπλής κρούσης. Το επιταχυνσιόμετρο (12) έχει τη δυνατότητα να αναγνωρίζει τέτοιου είδους γεγονότα και έχει προγραμματιστεί κατάλληλα ώστε να αφυπνίζει το ασύρματο σύστημα (5) όταν αντιληφθεί ένα τέτοιο συμβάν. Εφόσον η έξυπνη συσκευή (1) ενεργοποιηθεί επιτυχώς αναβοσβήνουν μία φορά οι φωτεινές ενδείξεις (11) προς ενημέρωση του χρήστη. Στη συνέχεια γίνεται ενεργοποίηση του ασύρματου δικτύου (33) και αμέσως μετά γίνεται αναμονή ενδεικτικού διαστήματος 20 δευτερολέπτων για σύνδεση (34) με το σύστημα απεικόνισης και διεπαφής (1 9). Αν δε γίνει η σύνδεση εντός του προκαθορισμένου χρονικού διαστήματος, το υλικολογισμικό (8) θέτει τον μικροελεγκτή (7) ξανά σε λειτουργία εξοικονόμησης ενέργειας (28), δηλαδή η έξυπνη συσκευή (1) επιστρέφει σε κατάσταση ύπνου. As the user (69) prepares to begin the inhalation process, he or she must first shake the device (2), which is likened to a double-shock event. The accelerometer (12) is capable of recognizing such events and is programmed to wake up the wireless system (5) when it detects such an event. Once the smart device (1) is successfully activated, the light indicators (11) flash once to inform the user. The wireless network (33) is then activated and immediately after that an indicative period of 20 seconds is waited for connection (34) with the display and interface system (1 9). If the connection is not made within the predetermined time period, the firmware (8) puts the microcontroller (7) back into power saving mode (28), i.e. the smart device (1) returns to sleep mode.

Κατά την κατάσταση ύπνου απενεργοποιείται το ασύρματο σύστημα (5), μειώνοντας κατακόρυφα την κατανάλωση ενέργειας. Το μόνο στοιχείο που μένει ενεργό είναι το επιταχυνσιόμετρο (12), όπου καταναλώνει ελάχιστη ενέργεια και χρησιμοποιείται για τον εντοπισμό της επόμενης ανακίνησης της συσκευής (2). During sleep mode, the wireless system (5) is deactivated, dramatically reducing power consumption. The only element that remains active is the accelerometer (12), which consumes minimal power and is used to detect the next shake of the device (2).

Αν η σύνδεση (34) γίνει επιτυχώς, το υλικολογισμικό (8) αναμένει τη λήψη εντολής (35) από το σύστημα απεικόνισης και διεπαφής (19) για να θέσει την δειγματοληψία δεδομένων και αποστολής τους στο μικροελεγκτή (7). Οι δυνατές εντολές που μπορεί να πραγματοποιηθούν είναι η δειγματοληψία ήχου (36) από το μικρόφωνο σε ενδεικτικά πακέτα των 500 byte, η δειγματοληψία επιταχύνσεων (37) από το επιταχυνσιό μέτρο (12) στους τρεις καρτεσιανούς άξονες, ενδεικτικά με 20 δείγματα το δευτερόλεπτο σε ενδεικτικά πακέτα των 60 byte, η δειγματοληψία θερμοκρασίας και υγρασίας (38) από τη μονάδα αισθητών (16) σε ενδεικτικά πακέτα των 1 byte, η τιμή φόρτισης του επιπέδου μπαταρίας (39) και η εντολή επιστροφής σε κατάσταση ύπνου (40). If the connection (34) is successful, the firmware (8) awaits the receipt of a command (35) from the display and interface system (19) to set the data sampling and sending to the microcontroller (7). The possible commands that can be performed are the sound sampling (36) from the microphone in indicative packets of 500 bytes, the acceleration sampling (37) from the accelerometer (12) on the three Cartesian axes, indicatively with 20 samples per second in indicative packets of 60 bytes, the temperature and humidity sampling (38) from the sensor unit (16) in indicative packets of 1 byte, the battery level charge value (39) and the command to return to sleep mode (40).

Το Σχ. 7 παρουσιάζει ένα μη περιοριστικό παράδειγμα του συστήματος ταξινόμησης δεδομένων ήχου (23). Η ροή ξεκινάει με το ηχητικό σήμα (41), το οποίο είναι σε μορφή αρχείου ήχου κυματομορφής, με ενδεικτικό ρυθμό δειγματοληψίας 8 kHz και ενδεικτικό βάθος 16 ή 32 bit. Αμέσως μετά το ηχητικό σήμα (41) περνάει από ένα υψιπερατό φίλτρο (42) με συχνότητα αποκοπής στα 20 Hz, προκειμένου να αφαιρεθούν συχνότητες που δεν προέρχονται από τη χρήση της ευφυούς συσκευής εισπνεόμενης φαρμακευτικής αγωγής (1), για καθαρισμό του θορύβου χαμηλής συχνότητας και την εξάλειψη τάσεων χαμηλής συχνότητας από τα δεδομένα χρονοσειρών. Στο επόμενο βήμα το ηχητικό σήμα (41) υφίσταται επεξεργασία συμπίεσης δυναμικού εύρους (43). Αυτό γίνεται καθώς στο παρόν μη περιοριστικό παράδειγμα δίνεται η δυνατότητα σε περίπτωση βλάβης του ασύρματου συστήματος βιοπαρακολούθησης (5) να γίνει χρήση του ενσωματωμένου μικροφώνου (12) στο σύστημα απεικόνισης και διεπαφής (19). Οι ιδιότητες του ηχητικού σήματος (41) που λαμβάνεται μέσω του μικροφώνου που διαθέτει το σύστημα απεικόνισης και διεπαφής (19) δύναται να διαφέρουν από αυτά του μικροφώνου (12) που είναι ενσωματωμένο στο ασύρματο σύστημα βιοπαρακολούθησης (5) ως προς το πλάτος μεταξύ των πιο δυνατών και των αθόρυβων τμημάτων του ηχητικού σήματος. Τα ηχητικά συμβάντα με το χαμηλότερο πλάτος είναι οι εκπνοές που πραγματοποιούνται μακριά από το ασύρματο σύστημα βιοπαρακολούθησης (5) και κατ' επέκταση μακριά από το μικρόφωνο που είναι τοποθετημένο πάνω στο σύστημα απεικόνισης και διεπαφής (19). Κατά τη συμπίεση δυναμικού εύρους (43) λαμβάνονται ως παράμετροι το κατώφλι -πόσο δυνατά πρέπει να είναι το σήμα πριν από τη συμπίεση- και η αναλογία -πόση συμπίεση εφαρμόζεται, π.χ. αν ο λόγος συμπίεσης έχει οριστεί για 6 προς 1, το σήμα εισόδου θα πρέπει να περάσει το κατώφλι κατά 6 dB για να αυξηθεί το επίπεδο εξόδου κατά 1 dB-. Το επόμενο βήμα στον αλγόριθμο είναι η εξαγωγή 34 βραχυπρόθεσμων χαρακτηριστικών (44). Το σήμα διαιρείται σε επιμέρους τμήματα, τα οποία έχουν ενδεικτική διάρκεια 50ms και ενδεικτική αλληλοεπικάλυψη ανά 25 ms, ήτοι 50%. Για κάθε τμήμα υπολογίζονται και τα 34 χαρακτηριστικά. Αυτό έχει ως αποτέλεσμα μια ακολουθία διανυσμάτων βραχυπρόθεσμων χαρακτηριστικών με 34 στοιχεία το καθένα. Τα βραχυπρόθεσμα χαρακτηριστικά στη συνέχεια χρησιμοποιούνται σε μια ημι-εποπτευόμενη προσέγγιση εκπαίδευσης ενός δυαδικού μηχανισμού υποστήριξης διανυσμάτων (support vector machine) (45) που ταξινομεί τα τμήματα βάσει της ενέργειάς τους, σε τμήματα υψηλής ενέργειας και τμήματα χαμηλής ενέργειας. Το αποτέλεσμα είναι η εξαγωγή μεμονωμένων ηχητικών συμβάντων, που αποσκοπεί στην αφαίρεση των σιωπηλών τμημάτων του σήματος, και διατήρηση των τμημάτων με φωνητική δραστηριότητα (46). Στη συνέχεια από τα τμήματα ήχου με φωνητική δραστηριότητα (46) πραγματοποιείται εξαγωγή χαρακτηριστικών (47) με βάση τα οποία πραγματοποιείται συμπερασμός (48). Ο συμπερασμός γίνεται με τη χρήση ενός μοντέλου ταξινομητή ενίσχυσης κλίσης (Gradient Boosting) (51), ο οποίος έχει εκπαιδευτεί με χαρακτηριστικά αρχείων ήχου (50) από επισημασμένα ηχητικά δεδομένα (49). Ο συμπερασμός (48) οδηγεί στην επισήμανση των αρχείων των τμημάτων της ηχογράφησης (52) με το ανάλογο εντοπισμένο συμβάν. Ένα μη περιοριστικό παράδειγμα συμβάντων αποτελούν (α) προετοιμασία δόσης, (β) εκπνοή, (γ) εισπνοή, (δ) εισπνοή με απελευθέρωση δόσης φαρμάκου. Fig. 7 shows a non-limiting example of the audio data classification system (23). The flow starts with the audio signal (41), which is in the form of a waveform audio file, with an indicative sampling rate of 8 kHz and an indicative bit depth of 16 or 32 bits. Immediately after the audio signal (41) passes through a high-pass filter (42) with a cutoff frequency of 20 Hz, in order to remove frequencies not derived from the use of the intelligent inhalation medication device (1), to clean up low-frequency noise and eliminate low-frequency trends from the time series data. In the next step the audio signal (41) undergoes dynamic range compression processing (43). This is done as in the present non-limiting example, in the event of a failure of the wireless biomonitoring system (5), the possibility is given to use the integrated microphone (12) in the imaging and interface system (19). The properties of the audio signal (41) received via the microphone provided by the imaging and interface system (19) may differ from those of the microphone (12) integrated in the wireless biomonitoring system (5) in terms of the amplitude between the loudest and quietest parts of the audio signal. The audio events with the lowest amplitude are the exhalations that occur far from the wireless biomonitoring system (5) and by extension far from the microphone placed on the imaging and interface system (19). In dynamic range compression (43), the parameters taken are the threshold - how loud the signal should be before compression - and the ratio - how much compression is applied, e.g. if the compression ratio is set to 6 to 1, the input signal must pass the threshold by 6 dB to increase the output level by 1 dB. The next step in the algorithm is to extract 34 short-term features (44). The signal is divided into individual segments, which have an indicative duration of 50 ms and an indicative overlap of 25 ms, i.e. 50%. For each segment, all 34 features are calculated. This results in a sequence of short-term feature vectors with 34 elements each. The short-term features are then used in a semi-supervised training approach of a binary support vector machine (45) that classifies the segments based on their energy, into high-energy and low-energy segments. The result is the extraction of individual audio events, which aims to remove the silent parts of the signal, and preserve the segments with vocal activity (46). Then from the audio segments with vocal activity (46) features are extracted (47) on which inference is performed (48). Inference is performed using a Gradient Boosting classifier model (51), which has been trained with audio file features (50) from labeled audio data (49). Inference (48) leads to the labeling of the audio recording segment files (52) with the corresponding detected event. A non-limiting example of events are (a) dose preparation, (b) expiration, (c) inhalation, (d) inhalation with delivery of a dose of drug.

Το Σχ. 8 παρουσιάζει ένα μη περιοριστικό παράδειγμα της ταξινόμησης δεδομένων επιταχύνσεων (24). Η ροή ξεκινάει με τα δεδομένα επιταχύνσεων (53), τα οποία είναι αποθηκευμένα σε μορφή τιμών διαχωρισμένων με κόμμα, όπου σε κάθε γραμμή του αρχείου υπάρχουν οι αντίστοιχες τιμές επιταχύνσεων για κάθε ένα άξονα εκ των X, Ψ, Ζ. Στο παρόν μη περιοριστικό παράδειγμα το επιταχυνσιόμετρο έχει συχνότητα δειγματοληψίας 20 Ηζ, εύρος μετρήσεων από -2g έως 2g και οι τιμές λαμβάνονται από αυτό με εύρος 0-255. Κατά την προεπεξεργασία (54) οι τιμές μετατρέπονται σε τιμές επιτάχυνσης της βαρύτητας, όπου αν η τιμή είναι μεγαλύτερη ή ίση με 128, αφαιρείται η τιμή 256 και το αποτέλεσμα διαιρείται με το 64. Διαφορετικά, η τιμή διαιρείται απευθείας με το 64. Με αυτό τον τρόπο, το εύρος τιμών από 128 έως 256 μετατρέπεται σε εύρος από -2 φορές την επιτάχυνση της βαρύτητας έως 0 φορές την επιτάχυνση της βαρύτητας, και το εύρος τιμών από 0 έως 128 σε 0 φορές την επιτάχυνση της βαρύτητας έως 2 φορές την επιτάχυνση της βαρύτητας. Στη συνέχεια γίνεται διαχωρισμός της ροής σε επιμέρους τμήματα (55) 20 δειγμάτων, που αντιστοιχούν σε διάρκεια ενός δευτερολέπτου, με αλληλοεπικάλυψη ανά ένα δείγμα, που αντιστοιχεί σε διάρκεια 50 χιλιοστοδευτερόλεπτα. Στη συνέχεια η ροή διαχωρίζεται σε δύο ροές, καθώς θα γίνει συμπερασμός από δύο ανεξάρτητα μοντέλα ταξινόμησης επιταχύνσεων, έκαστο εκπαιδευμένο να αναγνωρίζει μια κατηγορία λαθών. Το μοντέλο ταξινόμησης επιταχύνσεων 1 (56) ειδικεύεται στον εντοπισμό του ορθού τρόπου κράτησης της ευφυούς συσκευής εισπνεόμενης φαρμακευτικής αγωγής (1) κατά την εισπνοή, και το μοντέλο ταξινόμησης επιταχύνσεων 2 (57) ειδικεύεται στην ταχύτητα και φορά της κίνησης κατά την εισπνοή. Τόσο το μοντέλο ταξινόμησης επιταχύνσεων 1 (56), όσο το μοντέλο ταξινόμησης επιταχύνσεων 2 (57) βασίζονται σε μεθόδους ανίχνευσης νέων τιμών (novelty detection), και πιο συγκεκριμένα μπορεί να γίνει χρήση των αλγορίθμων τοπικού παράγοντα απομακρυσμένων τιμών (Local Outlier Factor), δάσους απομόνωσης (Isolation Forest) ή μηχανισμού υποστήριξης διανυσμάτων μιας κλάσης (One-Class Support vector machine). Fig. 8 shows a non-limiting example of the classification of acceleration data (24). The flow starts with the acceleration data (53), which is stored in the form of comma-separated values, where in each line of the file there are the corresponding acceleration values for each of the axes X, Y, Z. In the present non-limiting example, the accelerometer has a sampling frequency of 20 Hz, a measurement range from -2g to 2g and the values are taken from it with a range of 0-255. During preprocessing (54) the values are converted to gravitational acceleration values, where if the value is greater than or equal to 128, the value 256 is subtracted and the result is divided by 64. Otherwise, the value is divided directly by 64. In this way, the range of values from 128 to 256 is converted to a range from -2 times the gravitational acceleration to 0 times the gravitational acceleration, and the range of values from 0 to 128 to 0 times the gravitational acceleration to 2 times the gravitational acceleration. The flow is then divided into individual segments (55) of 20 samples, corresponding to a duration of one second, with an overlap per sample, corresponding to a duration of 50 milliseconds. The flow is then split into two flows, as inference will be made by two independent acceleration classification models, each trained to recognize a class of errors. Acceleration classification model 1 (56) specializes in identifying the correct way to hold the smart inhalation medication device (1) during inhalation, and acceleration classification model 2 (57) specializes in the speed and direction of movement during inhalation. Both acceleration classification model 1 (56) and acceleration classification model 2 (57) are based on novelty detection methods, and more specifically, the Local Outlier Factor, Isolation Forest or One-Class Support vector machine algorithms can be used.

To μοντέλο 1 (56) για να εκπαιδευτεί χρησιμοποιούνται καταγραφές ορθών κινήσεων (58), από τις οποίες γίνεται η εξαγωγή των χαρακτηριστικών (59) τους, όπως (α) η μέση τετραγωνική ρίζα, (β) ο αριθμητικός μέσος, (γ) ο συντελεστής συσχέτισης ανάμεσα στους άξονες, βάσει κατάλληλων μαθηματικών συναρτήσεων. Τα εξαγόμενα χαρακτηριστικά (59) των ορθών κινήσεων, χρησιμοποιούνται για την εκπαίδευση (60) του μοντέλου 1 (56). Για να γίνει η εξαγωγή των συμπερασμάτων (62) της σωστής λήψης φαρμάκου κατά τη διάρκεια της χρήσης της συσκευής (1) από τον χρήστη (69) ακολουθείται η ίδια διαδικασία εξαγωγής χαρακτηριστικών (59) με την εκπαίδευση του μοντέλου 1 (60). Τα χαρακτηριστικά που εξάγονται (61) από τις κινήσεις που εκτελεί ο χρήστης κατά την διαδικασία εισπνοής (94) χρησιμοποιούνται για να γίνει η διαδικασία συμπερασμού (62) με το εκπαιδευμένο μοντέλο 1 (56). Αντίστοιχα, το μοντέλο 2 (57) για να εκπαιδευτεί χρησιμοποιούνται οι ίδιες καταγραφές ορθών κινήσεων (58), από τις οποίες γίνεται η εξαγωγή των χαρακτηριστικών (63) τους, όπως (α) η μέση τετραγωνική ρίζα της κλίσης και (β) ο αριθμητικός μέσος της κλίσης, βάσει κατάλληλων μαθηματικών συναρτήσεων. Τα εξαγόμενα χαρακτηριστικά (63) των ορθών κινήσεων, χρησιμοποιούνται για την εκπαίδευση (64) του μοντέλου 2 (57). Για να γίνει η εξαγωγή των συμπερασμάτων (66) της σωστής λήψης φαρμάκου κατά τη διάρκεια της χρήσης της συσκευής (1) από τον χρήστη (69) ακολουθείται η ίδια διαδικασία εξαγωγής χαρακτηριστικών (63) με την εκπαίδευση του μοντέλου 2 (64). Τα χαρακτηριστικά που εξάγονται (65) από τις κινήσεις που εκτελεί ο χρήστης κατά την διαδικασία εισπνοής (94) χρησιμοποιούνται για να γίνει η διαδικασία συμπερασμού (66) με το εκπαιδευμένο μοντέλο 2 (57). Τα αποτελέσματα του συμπερασμού (62) με το μοντέλο 1 (56) και συμπερασμού (66) με το μοντέλο 2 (57) συγκρίνονται (67) για κάθε τμήμα και εξάγεται το τελικό αποτέλεσμα To train model 1 (56), recordings of correct movements (58) are used, from which their characteristics (59) are extracted, such as (a) the root mean square, (b) the arithmetic mean, (c) the correlation coefficient between the axes, based on appropriate mathematical functions. The extracted characteristics (59) of the correct movements are used to train (60) model 1 (56). In order to extract the conclusions (62) of the correct intake of medication during the use of the device (1) by the user (69), the same feature extraction procedure (59) is followed as for training model 1 (60). The characteristics extracted (61) from the movements performed by the user during the inhalation process (94) are used to perform the inference procedure (62) with the trained model 1 (56). Accordingly, the same recordings of correct movements (58) are used to train model 2 (57), from which their features (63) are extracted, such as (a) the root mean square of the slope and (b) the arithmetic mean of the slope, based on appropriate mathematical functions. The extracted features (63) of the correct movements are used to train (64) model 2 (57). In order to extract the conclusions (66) of the correct intake of medication during the use of the device (1) by the user (69), the same feature extraction procedure (63) is followed as in the training of model 2 (64). The features extracted (65) from the movements performed by the user during the inhalation process (94) are used to perform the inference procedure (66) with the trained model 2 (57). The results of inference (62) with model 1 (56) and inference (66) with model 2 (57) are compared (67) for each section and the final result is extracted.

(68). (68).

Το Σχ. 9 παρουσιάζει ένα μη περιοριστικό παράδειγμα της ευφυούς συσκευής εισπνεόμενης φαρμακευτικής αγωγής (1), που παρουσιάζει τη θήκη προσαρμογής (3) προσαρμοσμένη σε μια συσκευή χορήγησης εισπνεόμενου φαρμάκου (2). Φαίνεται ακόμα ο τρόπος που η θήκη προσαρμογής (3) εσωκλείει το ασύρματο σύστημα βιοπαρακολούθησης (5). Στο ασύρματο σύστημα βιοπαρακολούθησης είναι διακριτά τα στοιχεία της μπαταρίας (9), των φωτεινών ενδείξεων (11) και του μικροφώνου (12). Fig. 9 shows a non-limiting example of the intelligent inhalation medication device (1), showing the adapter case (3) attached to an inhalation medication delivery device (2). It is also shown how the adapter case (3) encloses the wireless biomonitoring system (5). The wireless biomonitoring system has distinct battery (9), indicator lights (11) and microphone (12) components.

Το Σχ. 10 παρουσιάζει ένα μη περιοριστικό παράδειγμα της διάδρασης της ευφυούς συσκευής εισπνεόμενης φαρμακευτικής αγωγής (1) με το χρήστη (69) και το σύστημα απεικόνισης και διεπαφής (19). Fig. 10 shows a non-limiting example of the interaction of the intelligent inhaled medication device (1) with the user (69) and the display and interface system (19).

Τα Σχ. 11 - 25 παρουσιάζουν ένα μη περιοριστικό παράδειγμα των βημάτων που απεικονίζονται στο χρήστη μέσω του συστήματος απεικόνισης και διεπαφής (19). Figs. 11 - 25 show a non-limiting example of the steps displayed to the user via the display and interface system (19).

Στο Σχ. 11 παρουσιάζεται το πρώτο βήμα χρήσης, όπου ο εικονιζόμενος χρήστης (69) αφαιρεί το καπάκι (70) από την ευφυή συσκευή εισπνεόμενης φαρμακευτικής αγωγής (1) πραγματοποιώντας κίνηση σύμφωνα με τη φορά του εικονιζόμενου βέλους (71). Fig. 11 shows the first step of use, where the depicted user (69) removes the cap (70) from the intelligent inhaled medication device (1) by moving in the direction of the depicted arrow (71).

Στο Σχ. 12 παρουσιάζεται το δεύτερο βήμα χρήσης, όπου ο εικονιζόμενος χρήστης (69) ανακινεί την ευφυή συσκευή εισπνεόμενης φαρμακευτικής αγωγής (1), όπως υποδεικνύεται από τα εικονιζόμενα βέλη (72), και για χρονικό διάστημα ίσο με την αντίστροφη μέτρηση στο εικονιζόμενο χρονόμετρο (73). Το βήμα αυτό επιβεβαιώνεται ότι εκτελέστηκε ορθά συλλέγοντας δεδομένα από τους αισθητήρες μικροφώνου (12) ή/και επιταχυνσιό μέτρου (14). Fig. 12 shows the second step of use, where the depicted user (69) shakes the smart inhalation medication device (1), as indicated by the depicted arrows (72), and for a period of time equal to the countdown on the depicted timer (73). This step is confirmed to have been performed correctly by collecting data from the microphone sensors (12) and/or accelerometer (14).

Στο Σχ. 13 παρουσιάζεται το τρίτο βήμα χρήσης, όπου ο εικονιζόμενος χρήστης (69) συγκρατεί την ευφυή συσκευή εισπνεόμενης φαρμακευτικής αγωγής (1) σε όρθια θέση, όπως υποδεικνύεται από τα εικονιζόμενα βέλη (74). Fig. 13 shows the third step of use, where the depicted user (69) holds the intelligent inhaled medication device (1) in an upright position, as indicated by the depicted arrows (74).

Στο Σχ. 14 παρουσιάζεται το τέταρτο βήμα χρήσης, όπου ο εικονιζόμενος χρήστης (69) απεικονίζεται να έχει τοποθετήσει το δείκτη (75) στο πάνω μέρος της ευφυούς συσκευής εισπνεόμενης φαρμακευτικής αγωγής (1), και τον αντίχειρα (76) στο κάτω μέρος, όπως υποδεικνύεται από τα εικονιζόμενα βέλη (77). Fig. 14 shows the fourth step of use, where the depicted user (69) is depicted having placed the index finger (75) on the top of the smart inhalation medication device (1), and the thumb (76) on the bottom, as indicated by the depicted arrows (77).

Στο Σχ. 15 παρουσιάζεται το πέμπτο βήμα χρήσης, όπου ο εικονιζόμενος χρήστης (69) απεικονίζεται να έχει την πλάτη (78) σε όρθια θέση, όπως υποδεικνύεται από το εικονιζόμενο βέλος (79), κρατώντας την ευφυή συσκευή εισπνεόμενης φαρμακευτικής αγωγής (1). Fig. 15 shows the fifth step of use, where the depicted user (69) is depicted with his back (78) in an upright position, as indicated by the depicted arrow (79), holding the intelligent inhalation medication device (1).

Στο Σχ. 16 παρουσιάζεται το έκτο βήμα χρήσης, όπου ο εικονιζόμενος χρήστης (69) μετακινεί την κεφαλή του (80) ώστε να γέρνει ελαφρώς προς τα πίσω, όπως υποδεικνύεται από το εικονιζόμενο βέλος (81), κρατώντας την ευφυή συσκευή εισπνεόμενης φαρμακευτικής αγωγής Fig. 16 shows the sixth step of use, where the depicted user (69) moves his head (80) to tilt slightly backwards, as indicated by the depicted arrow (81), while holding the smart inhalation medication device.

(1). (1).

Στο Σχ. 17 παρουσιάζεται το έβδομο βήμα χρήσης, όπου ο εικονιζόμενος χρήστης (69) φέρνει την ευφυή συσκευή εισπνεόμενης φαρμακευτικής αγωγής (1) μπροστά από το πρόσωπό του (82) στο ύψος του στόματός του (83). Το βήμα αυτό αποτελεί προετοιμασία για το όγδοο βήμα. Στο τέλος του έβδομου βήματος δίνεται η δυνατότητα ο χρήστης να επιλέξει είτε να εκτελέσει το όγδοο βήμα, που αποτελεί την καθοδήγηση στην σωστή κράτηση της συσκευής, είτε να προχωρήσει απευθείας στο ένατο βήμα. Fig. 17 shows the seventh step of use, where the depicted user (69) brings the intelligent inhalation medication device (1) in front of his face (82) at the height of his mouth (83). This step is a preparation for the eighth step. At the end of the seventh step, the user is given the opportunity to choose either to perform the eighth step, which is the guidance on the correct holding of the device, or to proceed directly to the ninth step.

Στο Σχ. 18 παρουσιάζεται το όγδοο βήμα χρήσης, όπου ο εικονιζόμενος χρήστης (69) έχοντας την ευφυή συσκευή εισπνεόμενης φαρμακευτικής αγωγής (1) μπροστά από το πρόσωπό του (82) στο ύψος του στόματός του (83) ήδη από το προηγούμενο βήμα καθοδηγείται στην ορθή κράτησή της. Για το σκοπό αυτό γίνεται χρήση της ενσωματωμένης κάμερας (84) που διαθέτει το σύστημα απεικόνισης και διεπαφής (19). Στο Σχ. 19 παρουσιάζεται η οθόνη που προβάλλεται στο σύστημα απεικόνισης και διεπαφής (19). Η οθόνη αυτή αποτελείται από την προεπισκόπηση (85), το χώρο παρατηρήσεων (86), την επιλογή αποχώρησης (87), την επιλογή ρύθμισης φωτεινότητας (88) και τα αναδυόμενα μηνύματα (89). Για να γίνει ανάλυση της εικόνας γίνεται αρχικά αναγνώριση του προσώπου του χρήστη (69), βάσει ενός εκπαιδευμένου μοντέλου από εικόνες προσώπων. Εφόσον αναγνωριστεί με επιτυχία το πρόσωπο του χρήστη (69), γίνεται ανίχνευση της ευφυούς συσκευής εισπνεόμενης φαρμακευτικής αγωγής (1). Η συσκευή (1) ανιχνεύεται είτε βάσει των διακριτικών χαρακτηριστικών της συσκευής χορήγησης εισπνεόμενου φαρμάκου (2), όπως χρώμα, είτε βάσει των διακριτικών χαρακτηριστικών της θήκης προσαρμογής (3), όπως χρωματικοί δείκτες ή μοτίβα. Κατά τη διάρκεια της ανίχνευσης το σύστημα απεικόνισης και διεπαφής (19) προβάλλει προεπισκόπηση (85) της εικόνας από την κάμερα (84), και παράλληλα προβάλλεται το αποτέλεσμα της ανάλυσης (86). Στο παρόν μη περιοριστικό παράδειγμα, πιθανές παρατηρήσεις είναι «Ανάποδα», υποδεικνύοντας ότι η συσκευή κρατείται ανάποδα, «Κλίση δεξιά» ή «Κλίση αριστερά», υποδεικνύοντας ότι η συσκευή δεν κρατείται ίσια, αλλά σημειώνεται κλίση μεγαλύτερη από ένα προκαθορισμένο κατώφλι προς τα δεξιά ή αριστερά αντίστοιχα, ή «Σωστά», όπου υποδεικνύεται ότι η συσκευή κρατείται σωστά. Μόλις η συσκευή κρατηθεί μια φορά σωστά, εμφανίζεται μήνυμα (89) που ενημερώνει τον χρήστη ότι η συσκευή (1) κρατήθηκε σωστά και ζητείται να το επαναλάβει, προς αποφυγή τυχαίου αποτελέσματος. Εάν ο χρήστης (69) κρατήσει ξανά τη συσκευή (1) σωστά εμφανίζεται νέο μήνυμα (89) που τον ενημερώνει πως κρατάει σωστά τη συσκευή (1) και μπορεί να προχωρήσει στο επόμενο βήμα. Εάν αντιμετωπίζει κάποια δυσκολία μπορεί να επιλέξει να αποχωρήσει από τη συγκεκριμένη λειτουργία, επιλέγοντας το κουμπί εξόδου (87). Αν αντιμετωπίζει δυσκολία με τον εντοπισμό προσώπου μπορεί να ρυθμίσει χειροκίνητα τη φωτεινότητα επιλέγοντας το κουμπί ρυθμίσεων (88). Fig. 18 shows the eighth step of use, where the depicted user (69) having the intelligent inhaled medication device (1) in front of his face (82) at the height of his mouth (83) is already guided in the correct holding of it from the previous step. For this purpose, the built-in camera (84) of the display and interface system (19) is used. Fig. 19 shows the screen displayed on the display and interface system (19). This screen consists of the preview (85), the observation area (86), the exit option (87), the brightness adjustment option (88) and the pop-up messages (89). In order to analyze the image, the user's face (69) is initially recognized, based on a trained model from face images. Once the user's face (69) is successfully recognized, the smart inhalation medication device (1) is detected. The device (1) is detected either based on the distinctive features of the inhalation medication delivery device (2), such as color, or based on the distinctive features of the adapter case (3), such as color markers or patterns. During detection, the display and interface system (19) displays a preview (85) of the image from the camera (84), and at the same time the result of the analysis (86) is displayed. In the present non-limiting example, possible observations are "Upside down", indicating that the device is held upside down, "Tilt right" or "Tilt left", indicating that the device is not held straight, but is tilted more than a predetermined threshold to the right or left respectively, or "Correct", indicating that the device is held correctly. Once the device is held correctly once, a message (89) appears informing the user that the device (1) was held correctly and is asked to repeat it, to avoid an accidental result. If the user (69) holds the device (1) correctly again, a new message (89) appears informing him that he is holding the device (1) correctly and can proceed to the next step. If he encounters any difficulty, he can choose to exit this particular function by selecting the exit button (87). If he encounters difficulty with face detection, he can manually adjust the brightness by selecting the settings button (88).

Στο Σχ. 20 παρουσιάζεται το ένατο βήμα όπου ο εικονιζόμενος χρήστης (69) εκπνέει (90) όσο περισσότερο μπορεί από το στόμα (83). Η εκπνοή γίνεται μακριά από την ευφυή συσκευή εισπνεόμενης φαρμακευτικής αγωγής (1), καθώς αυτή δεν υπάρχει στο πλάνο. Επίσης εμφανίζεται μια στήλη (91) που δείχνει να αδειάζει με την πάροδο του χρόνου, παροτρύνοντας τον χρήστη (69) να εκπνεύσει όσο περισσότερο μπορεί. Το βήμα αυτό επιβεβαιώνεται ότι εκτελέστηκε ορθά συλλέγοντας δεδομένα από τους αισθητήρες μικροφώνου (12) ή/και επιταχυνσιό μέτρου (14). Fig. 20 shows the ninth step where the depicted user (69) exhales (90) as much as possible through the mouth (83). The exhalation is done away from the smart inhalation medication device (1), as it is not present in the shot. A bar (91) is also displayed that appears to empty over time, encouraging the user (69) to exhale as much as possible. This step is confirmed to have been performed correctly by collecting data from the microphone sensors (12) and/or accelerometer (14).

Στο Σχ. 21 παρουσιάζεται το δέκατο βήμα όπου ο εικονιζόμενος χρήστης (69) φέρνει την ευφυή συσκευή εισπνεόμενης φαρμακευτικής αγωγής (1) στο στόμα του (83), με τα χείλη του να εφάπτονται με το επιστόμιο (92). Στο Σχ. 22 παρουσιάζεται το ενδέκατο βήμα όπου ο εικονιζόμενος χρήστης (69) έχοντας την ευφυή συσκευή εισπνεόμενης φαρμακευτικής αγωγής (1) στο στόμα του (83) πιέζει με το δείκτη (75) το πάνω μέρος της ευφυούς συσκευής εισπνεόμενης φαρμακευτικής αγωγής (1), κατά τη φορά που υποδεικνύει το βέλος (93). Παράλληλα εισπνέει (94) όσο περισσότερο μπορεί, όπως υποδεικνύεται από τη στήλη (91). Η πίεση με τον δείκτη (75) της συσκευής εισπνεόμενης φαρμακευτικής αγωγής (1) λαμβάνει χώρα κατά την εκκίνηση της εισπνοής, και αυτό υποδεικνύεται καθώς η συγκεκριμένη κίνηση γίνεται όταν η εικονιζόμενη πληρότητα των πνευμόνων από τη στήλη (91) βρίσκεται ακόμα χαμηλά. Το βήμα αυτό επιβεβαιώνεται ότι εκτελέστηκε ορθά συλλέγοντας δεδομένα από τους αισθητήρες μικροφώνου (12) ή/και επιταχυνσιό μέτρου (14). Fig. 21 shows the tenth step where the depicted user (69) brings the smart inhalation medication device (1) to his mouth (83), with his lips touching the mouthpiece (92). Fig. 22 shows the eleventh step where the depicted user (69) having the smart inhalation medication device (1) in his mouth (83) presses with the index finger (75) the upper part of the smart inhalation medication device (1), in the direction indicated by the arrow (93). At the same time, he inhales (94) as much as he can, as indicated by the column (91). The pressure with the pointer (75) of the inhalation medication device (1) occurs at the start of inhalation, and this is indicated as this movement is made when the lung fullness depicted by the column (91) is still low. This step is confirmed to have been performed correctly by collecting data from the microphone sensors (12) and/or accelerometer (14).

Στο Σχ. 23 παρουσιάζεται το δωδέκατο βήμα όπου ο εικονιζόμενος χρήστης (69) κρατάει την αναπνοή, που φαίνεται από την έλλειψη άλλων κινήσεων και τα σφραγισμένα χείλη του στόματός του (83) για χρονικό διάστημα ίσο με την αντίστροφη μέτρηση εικονιζόμενο χρονόμετρο (73). Στο Σχ. 24 παρουσιάζεται το δέκατο τρίτο βήμα όπου ο εικονιζόμενος χρήστης (69) εκπνέει (90) από το στόμα (83). Το βήμα αυτό επιβεβαιώνεται ότι εκτελέστηκε ορθά συλλέγοντας δεδομένα από τους αισθητήρες μικροφώνου (12) ή/και επιταχυνσιόμετρου (14), καθώς και μετρώντας το χρονικό διάστημα που πέρασε από την εισπνοή του φαρμάκου μέχρι την εκπνοή. Fig. 23 shows the twelfth step where the depicted user (69) holds his breath, as evidenced by the lack of other movements and the sealed lips of his mouth (83) for a period of time equal to the countdown of the depicted timer (73). Fig. 24 shows the thirteenth step where the depicted user (69) exhales (90) through the mouth (83). This step is confirmed to have been performed correctly by collecting data from the microphone (12) and/or accelerometer (14) sensors, as well as by measuring the time elapsed from inhalation of the medication until exhalation.

Στο Σχ. 25 παρουσιάζεται το δέκατο τέταρτο βήμα χρήσης, όπου ο εικονιζόμενος χρήστης (69) επανατοποθετεί το καπάκι (70) από την ευφυή συσκευή εισπνεόμενης φαρμακευτικής αγωγής (1) πραγματοποιώντας κίνηση σύμφωνα με τη φορά του εικονιζόμενου βέλους (95). Fig. 25 shows the fourteenth step of use, where the depicted user (69) reattaches the cap (70) from the intelligent inhalation medication device (1) by moving in the direction of the depicted arrow (95).

Στο Σχ. 26 παρουσιάζεται το αποτέλεσμα των αναλύσεων που έγιναν στη μονάδα επεξεργασίας και αποθήκευσης (22) που ενσωματώνει τα ευρήματα από το σύστημα ταξινόμησης δεδομένων ήχου (23) ή/και από το σύστημα ταξινόμησης δεδομένων επιταχύνσεων (24). Ο χρήστης (69) βλέπει το αποτέλεσμα στο σύστημα απεικόνισης και διεπαφής (19). Το αποτέλεσμα περιλαμβάνει την πιστότητα τήρησης των οδηγιών χρήσης, που εκφράζεται ως ένα αποτέλεσμα επί τοις εκατό (96) ανάλογα με την κρισιμότητα των εντοπισμένων λαθών, καθώς και παρατηρήσεις σε μορφή κειμένου (97), που ενημερώνουν τον χρήστη (69) σχετικά με πιθανά εντοπισμένα λάθη προς αποφυγή. Fig. 26 shows the result of the analyses performed in the processing and storage unit (22) which incorporates the findings from the audio data classification system (23) and/or the acceleration data classification system (24). The user (69) sees the result in the display and interface system (19). The result includes the fidelity of the user instructions, expressed as a percentage result (96) depending on the criticality of the detected errors, as well as textual comments (97), which inform the user (69) about possible detected errors to avoid.

Claims

1. Intelligent inhalation medication device with biomonitoring and personalized education through multiple data classification (1) consisting of an inhalation medication delivery device (2), an adapter case (3) and an intelligent biomonitoring system (4), characterized in that the intelligent biomonitoring system (4) has a wireless biomonitoring system (5) with a microcontroller (7), firmware (8), battery (9), charging circuit (10), light indicators (11), microphone (12), integrated circuit audio bus (13), accelerometer (14), serial peripheral interface (15), temperature and humidity sensor unit (16), integrated circuit communication bus (17) and wireless network (18) and a platform (6) with a display system and touch interface (19), interactive narratives (20), virtual reality (21), processing and storage unit (22), audio data classification system (23) and acceleration data classification system (24).

2. Intelligent inhalation medication device (1), according to claim 1, characterized in that the audio data classification system (23) applies a high-pass filter (42), dynamic range compression (43), uses short-term features (44) and a binary support vector mechanism (45) in order to preserve the segments with vocal activity (46) from which features (47) are extracted which are fed into a gradient boosting classifier model (51) which performs inference (48) and leads to the labeling of the files of the segments of the audio recording (52) with the corresponding detected event, and in that the acceleration data classification system (24) during its execution initially separates the data stream (53) into individual overlapping segments (55), from which features (59) are extracted and an inference process (62) with the trained model 1 (56) and corresponding feature extraction (63) and an inference process (66) with the trained model 2 (57), with the results of the two models being compared (67) for each individual section (55) and the final result being extracted (68) if a correct movement was made.