[go: up one dir, main page]

EP3833053B1 - Verfahren zum umgebungsabhängigen betrieb eines hörsystems - Google Patents

Verfahren zum umgebungsabhängigen betrieb eines hörsystems Download PDF

Info

Publication number
EP3833053B1
EP3833053B1 EP20210166.3A EP20210166A EP3833053B1 EP 3833053 B1 EP3833053 B1 EP 3833053B1 EP 20210166 A EP20210166 A EP 20210166A EP 3833053 B1 EP3833053 B1 EP 3833053B1
Authority
EP
European Patent Office
Prior art keywords
environmental
hearing system
situation
feature
environmental data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP20210166.3A
Other languages
English (en)
French (fr)
Other versions
EP3833053A1 (de
EP3833053C0 (de
Inventor
Thomas Kübert
Stefan Aschoff
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sivantos Pte Ltd
Original Assignee
Sivantos Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE102020208720.2A external-priority patent/DE102020208720B4/de
Application filed by Sivantos Pte Ltd filed Critical Sivantos Pte Ltd
Publication of EP3833053A1 publication Critical patent/EP3833053A1/de
Application granted granted Critical
Publication of EP3833053B1 publication Critical patent/EP3833053B1/de
Publication of EP3833053C0 publication Critical patent/EP3833053C0/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/70—Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/41—Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest

Definitions

  • the invention relates to a method for the environment-dependent operation of a hearing system, wherein in a training phase, at a plurality of collection times, values for a first plurality of environmental data of a first user of the hearing system are determined, and based on the values of the environmental data for each of the collection times, a feature vector is formed in a feature space, wherein for a first environmental situation, at least one value of a setting for signal processing of the hearing system is specified, and wherein in an application phase, at an application time, values for the first plurality of environmental data of the first user or a second user of the hearing system are determined, and based on the values of the environmental data, a corresponding feature vector for the application time is formed, and the at least one value of the signal processing of the hearing system is set according to its specification for the first environmental situation, and the hearing system is operated with the at least one value thus set.
  • a user is provided with a sound signal for hearing, which is generated on the basis of an electrical audio signal, which in turn represents the user's acoustic environment.
  • An important example of a hearing system is a hearing aid, by means of which the user's hearing impairment is to be corrected as far as possible by means of a signal processing of the audio signal, in particular a signal processing dependent on the frequency band, in order to make useful signals in ambient sound more audible for the user.
  • Hearing aids can be available in various designs, e.g. BTE, ITE, CIC, RIC or other forms.
  • a similar type of hearing system is a hearing aid such as a cochlear implant or bone conduction hearing aid.
  • Other hearing systems can also be PSADs (Personal Sound Amplification Devices: hearing aid systems used by people with normal hearing) as well as headsets or headphones, especially with active noise cancellation.
  • a setting for the signal processing of the audio signal is determined depending on a listening situation, whereby listening situations are given by standardized groups of acoustic environments with certain comparable acoustic characteristics. If it is recognized from the audio signal that one of the standardized groups is present, the audio signal is processed with the corresponding settings previously determined for this group of acoustic environments.
  • the definition of the listening situations is often carried out in advance according to criteria that are set for individual acoustically measurable characteristics, e.g. at the factory. For the given listening situations, default settings for the respective associated signal processing are often specified, which can then be individually adjusted by the user.
  • the acoustic recognition of individual listening situations is, on the one hand, a complex and potentially error-prone matter, since an acoustic environment may not have exactly the acoustic characteristics that the corresponding listening situation would actually require (e.g. a "cocktail party" outdoors near a road or similar).
  • an acoustic environment may not have exactly the acoustic characteristics that the corresponding listening situation would actually require (e.g. a "cocktail party" outdoors near a road or similar).
  • a user due to the large number of characteristics that are evaluated to distinguish individual acoustic environments from one another and to assign the listening situations accordingly, it is simply hardly possible for a user to meaningfully define listening situations themselves that are ideally suited to their everyday life. As a result, the user is usually dependent on the predefined definitions of listening situations.
  • a method of signal analysis for a hearing aid whereby in a learning phase a plurality of learning signals are transferred ex works to a self-organizing map, which assigns each sample or each frame to a planar coordinate system at the relevant time. The assignment of the respective coordinates can vary over time for a learning signal. Based on this assignment, individual signals are then grouped together and different signal processing parameters are defined for different groups.
  • the US 2014 / 0 355 798 A1 refers to a hearing aid device that can execute a hearing assistance algorithm based on signal processing parameters. For this purpose, a number of audiological values for a population group can be identified, which has a first number of dimensions. The number of audiological values is converted into a reduced data set, which has a second number of dimensions that is smaller than the first number of dimensions. A processor calculates a trajectory for the reduced data set. The trajectory provides signal processing parameters for the hearing aid device.
  • the US 2015 / 0 124 984 A1 discloses a hearing aid configured to classify a sound environment based on a pattern in a daily routine, categorize sound information using sound environment categories based on the pattern in the daily routine, and control an output of the sound information based on the classified sound environment.
  • the invention is therefore based on the object of specifying a method by means of which a user can operate a hearing system depending on the environment, but the environments can be adapted to the user as individually as possible.
  • a method for the environment-dependent operation of a hearing system whereby in a training phase a plurality of collection times are used to determine values for a first plurality of environmental data of a first user of the hearing system, and based on the values of the environmental data for each of the collection times, a feature vector is formed in an at least four-dimensional, in particular at least six-dimensional feature space, each of the feature vectors is mapped to an associated representative vector in a maximum three-dimensional, in particular two-dimensional, representation space, and based on a spatial distribution of a subgroup of representative vectors, a first region in the representation space is defined for a first environmental situation of the hearing system, wherein at least one value of a setting for signal processing of the hearing system is specified for the first environmental situation.
  • values for the first plurality of environmental data of the first user or a second user of the hearing system are determined and a corresponding feature vector for the application time is formed based on the values of the environmental data, the presence of the first environmental situation is recognized, in particular automatically, based on the first region of the display space and based on the feature vector for the application time, and the at least one value of the signal processing of the hearing system is set in accordance with its specification for the first environmental situation, in particular automatically, and the hearing system is operated with the at least one value set in this way.
  • the first environmental situation is determined based on the environmental data and it is determined how the first environmental situation can be distinguished from other environmental situations based on the environmental data.
  • a signal processing setting is specified which is to be applied to an audio signal from the hearing system for the first environmental situation.
  • the application phase the currently available values for the corresponding environmental data are determined and it can now be determined based on these environmental data values whether the first environmental situation exists. If this is the case, the hearing system is operated with the corresponding specified signal processing setting.
  • the values of the environmental data are determined at different collection times so that the feature vectors, which are formed based on the values of the environmental data determined at the individual collection times, are representative of as many acoustic environments as possible.
  • Environmental data includes acoustic environmental data on acoustic environmental variables such as frequencies of a background noise, stationarity of a sound signal, sound levels, modulation frequencies, and the like.
  • Environmental data also includes "non-acoustic" data in the broader sense, e.g. on accelerations or other movement variables of a motion sensor of the hearing system, but also biometric data, which can be recorded using EEG, EMG, PPG (photoplethysmogram), ECG, or similar.
  • the quantities mentioned can be measured by a hearing device of the hearing system, e.g. a hearing aid, and/or by another device of the hearing system, e.g. a smartphone or a smartwatch or another suitable device with corresponding sensors.
  • the values of the environmental data from the measured quantities can be determined in the respective device itself - i.e. in the hearing aid or smartphone or similar - or after a transfer, e.g. from the hearing aid or from a headset to the smartphone or a comparable device of the hearing system.
  • the quantities are measured preferably continuously or quasi-continuously (i.e. at very short intervals, e.g. in the range of seconds), preferably over a longer period of time, e.g. a week or similar, so that the environments normally encountered by the user are recorded as completely as possible and thus "mapped".
  • the determined values of the aforementioned or other corresponding quantities can either be entered directly into the respective feature vectors, or the values entered into the feature vectors are formed by forming the mean and/or mean passage rate and/or variance or comparable statistical methods based on the respective quantities.
  • a feature sector preferably consists of individual entries, each of which is obtained in the manner described using statistical methods from the aforementioned acoustic environmental quantities, movement quantities and/or biometric data.
  • the temporal mean or the mean passage rate or the variance of individual values of a quantity since the previous collection time can be formed at a collection point in time and entered into the feature vector as the corresponding value of the environmental data.
  • a total of values for at least four different characteristics i.e. individual statistical characteristics of various environmental and/or movement and/or biometric variables.
  • values for at least six characteristics are determined.
  • the same statistical characteristics as above e.g. as mean, mean passage rate and variance, are determined as values of the environmental data for each individual variable.
  • the individual feature vectors which contain the "features" at individual collection points in time, are first mapped to the respective associated representative vector in the representation space.
  • the representation space is at most three-dimensional, preferably two-dimensional, so that the representative vectors for defining the first environmental situation over the first region can be visualized for the user in particular.
  • a visualization of the representation space can be carried out in particular on a suitable visualization device of the hearing system, e.g. on a screen of a smartphone, which in this case becomes part of the hearing system through its integration into the process.
  • a two-dimensional representation space can be represented directly as a "map", a three-dimensional representation space, for example, by two-dimensional cutting planes or three-dimensional "point clouds” or similar, between which the user can switch or zoom or move.
  • the mapping of the feature vectors of the feature space to the representative vectors of the representation space is preferably carried out in such a way that "similar feature vectors", i.e. feature vectors which are comparatively close to one another in the feature space due to a relative similarity of their features, are also comparatively close to one another in the representation space (relative to the total size of the space used in each case, for example).
  • Representative vectors (or groups of representative vectors) in the representation space which are clearly separated from one another preferably allow a conclusion to be drawn about feature vectors (or corresponding groups of feature vectors) in the feature space which are separated from one another, thereby making it possible to differentiate between them. Conversely, distinguishing between groups of feature vectors becomes more difficult with increasing overlap of the associated, corresponding groups of their respective representative vectors in the representation space.
  • a first region can now be defined in the display space using individual representative vectors that are as close to each other as possible.
  • This definition can be carried out by the user of the hearing system or by an assistant to the user (e.g. a carer, nurse, etc.).
  • a visualization of the display space is preferably used for the definition.
  • individual representative vectors can be marked using an additional marker, e.g. via a color representation, which can preferably correspond to an additional marking of the respective time of collection depending on the everyday/daily situation or similar for the underlying feature vector by the user. This can simplify the assignment of the representative vectors for the user.
  • the marking of the time of collection can be done, for example, by an input from the user, which globally defines a certain situation in his daily routine, e.g. at home, in the car (on the way to work/home), in the office, in the canteen, during sports, in the garden, etc.
  • a subgroup of representative vectors is now used to define the first region based on their spatial distribution, in particular based on the area enclosed by them (i.e. by their corresponding endpoints in the representation space).
  • This subgroup of representative vectors corresponds to a group of feature vectors in the feature space, so that the first environmental situation is defined via the corresponding value ranges of the features.
  • At least one value of the setting for the signal processing of the hearing system is now specified. This is preferably done by the user of the hearing system (or, for example, by a technically skilled companion or carer).
  • the user preferably goes into the corresponding environment (e.g. in a moving car, inside at home, outside in the garden, in the office/at work, etc.) and then modifies the signal processing settings, in particular "by ear", e.g.
  • the training phase can thus be systematically divided into an analysis phase and a definition phase, whereby the analysis phase comprises the continuous measurement of the relevant quantities, the determination of the individual corresponding feature values at the respective collection times and a mapping of the feature vectors into the representation space, while in the definition phase the first environmental situation and the associated at least one value of the setting for the signal processing are defined on the basis of the representative vectors.
  • the definitions of the first environmental situation and the associated at least one setting of the signal processing of the hearing system are integrated into the operation of the hearing system.
  • the hearing system in particular also a hearing device of the hearing system, initially measures the same environmental and/or movement and/or biometric variables that are also measured in the training phase to determine the values of environmental data.
  • the values for the same types of environmental data and a corresponding feature vector are formed from the measured variables as in the training phase.
  • the feature vector for the application time is now mapped into the representation space. This is preferably done using the same algorithm as the corresponding mappings of the training phase, or using an approximation method that is as consistent as possible with the said algorithm, which in particular maps the feature vector of the application time onto a representative vector in the representation space, for which representative vectors of its immediate surroundings are based on those feature vectors of the training phase that also form the immediate surroundings of the feature vector of the application time in the feature space.
  • the representative vector thus formed for the time of application lies in the first region of the representation space, it can be concluded that the first environmental situation is present and, accordingly, the at least previously defined setting of the signal processing in the operation of the hearing system can be used, i.e., for example, a corresponding, possibly frequency band-dependent amplification and/or dynamic compression, speech signal enhancement, etc. can be applied to an audio signal from the hearing system.
  • those areas can be identified in the feature space that correspond to the feature vectors whose representative vectors in the representation space are included in the first region.
  • the first environmental situation can then also be recognized based on the said areas in the feature space if the feature vector for the time of application lies in such an area.
  • a short-term temporal communication e.g. in the range of a few seconds to a few minutes
  • other statistical processing can be carried out, preferably of the same type as for the formation of the feature vectors of the training phase.
  • the described method allows the definitions of individual environmental situations to be specifically adapted to individuals or special groups of hearing aid wearers, and also to have this definition carried out by (technically skilled) persons without audiological or scientific training, whereby only a comparatively small amount of effort is required from the hearing system (or an assisting person) to define the environmental situations, since this can be done directly via the visualization of the preferably two-dimensional display space.
  • This enables hearing systems to provide classifiers for the environment that satisfy the needs of such user groups in a more targeted manner than the previously known 'stereotypical' classes of environmental situations, since universalized classes such as 'in the car' or 'in front of the TV' were defined precisely because an overwhelming number of hearing system users find themselves in such situations.
  • the method Since the method is also suitable for use by technically skilled people without audiological or scientific training, it opens up the possibility for not only a manufacturer of a hearing system (such as a hearing aid manufacturer), but also other market participants or users to make their own definitions, e.g. hearing aid acousticians or similar, companions of people in specific professional groups (e.g. dentists, musicians, hunters) or even individual technically skilled users.
  • This makes the use of the method relevant for a larger number of users, since there are usually relatively few hearing system users who are willing to provide extensive information (e.g. inputs in smartphone apps), whereas there are many users who want to provide as little information as possible beyond selecting a specific function and only make an input if they find a hearing impression unpleasant or in need of improvement.
  • the definition of the first environmental situation is carried out by a first user of the hearing system, while this definition is used by a second user in the application phase.
  • a first user can thus make the environmental situations he has defined available to other users for use for corresponding feature vectors.
  • the definition of the signal processing setting associated with the first environmental situation is preferably carried out by the user who uses the hearing system in the application phase.
  • information on a current usage situation of the hearing system is stored by a user input, in particular depending on a defined situation of a daily routine of the first user of the hearing system, whereby the respective information on the usage situation is linked to the feature vectors and/or the associated representative vectors, which are formed based on the values of the environmental data collected during a specific user situation.
  • the usage situation preferably describes a specific situation in the user's daily routine, e.g. at home, in the car (on the way to work/home), in the office, in the canteen, during sports, in the garden, etc.
  • the user can also assign the first environmental situation with regard to the usage situation.
  • At least a sub-area of the display space is visualized, in particular by means of a screen, and at least a subset of the representative vectors is displayed, wherein the first region in the display space is defined based on a user input, in particular with regard to a grouping of visualized representative vectors.
  • the screen is in particular integrated into a corresponding auxiliary device of the hearing system, such as a smartphone, tablet or similar that can be connected to the hearing device, in particular wirelessly.
  • the user can then view the individual representative vectors directly on the touchscreen in a two- or possibly three-dimensional representation (in the 3D case via corresponding cutting planes) and group them accordingly into the first region.
  • the respective information on the usage situation is visualized for at least some of the representative vectors, at least in response to an action by the first user. This can be done via a corresponding color representation or by displaying a label on the respective representative vector.
  • the mapping of the feature vectors to the respective associated representative vectors is carried out in such a way that distance relations of at least three feature vectors in the feature space are at least approximately preserved for distance relations of the associated three representative vectors in the representation space as a result of the mapping.
  • the mapping of the feature vectors to the respective associated representative vectors is carried out using a principal component analysis (PCA) and/or a locally linear embedding (LLE) and/or an isomap mapping and/or a Sammon mapping and/or preferably using a t-SNE algorithm and/or preferably using a self-organizing Kohonen network and/or preferably using a UMAP mapping.
  • PCA principal component analysis
  • LLE locally linear embedding
  • an isomap mapping and/or a Sammon mapping and/or preferably using a t-SNE algorithm and/or preferably using a self-organizing Kohonen network and/or preferably using a UMAP mapping are examples of the mapping of the feature vectors to the respective associated representative vectors.
  • values for the first plurality of environmental data are determined at a plurality of consecutive application times and, based on the values of the environmental data, corresponding feature vectors are formed for the successive application times, wherein the presence of the first environmental situation is recognized based on the first region and on the said feature vectors for the successive application times, in particular based on a polygonal line from the said feature vectors or a polygonal line from the representative vectors which correspond to the said feature vectors in the representation space.
  • machine learning can also be used to identify areas for feature or representative vectors outside the relevant polygonal line in which a corresponding feature or representative vector leads to the presence of the first environmental situation for an application time.
  • the most recent five representative vectors are always taken and a polygon is constructed that includes all representative vectors (some or all representative vectors or their end points then represent corner points of the polygon).
  • the hearing system is only assigned to the first environmental situation and the corresponding signal processing setting is activated when at least a pre-definable percentage of the area of the polygon (e.g. 80%) lies within the first region in the display space. This can prevent a single "outlier" of an individual feature, which can be traced back to a random but possibly atypical occurrence for an environment, from leading to a changed classification with regard to the environmental situation.
  • acoustic environmental data is determined based on a signal from at least one electroacoustic input transducer, in particular a microphone, and/or movement-related environmental data is determined based on at least one signal from an acceleration sensor with a multi-dimensional resolution and/or a gyroscope and/or a GPS sensor.
  • further location-related environmental data is determined based on at least one signal from a GPS sensor and/or a WLAN connection.
  • biometric environmental data is determined using an ECG sensor and/or an EEG sensor and/or a PPG sensor and/or an EMG sensor.
  • a sensor for generating biometric environmental data can be arranged on an auxiliary device designed as a smartwatch. The sensors mentioned are particularly suitable for characterizing the environmental situation of a hearing system as comprehensively as possible.
  • the signal of the at least one electroacoustic input transducer is preferably analyzed with regard to a speech activity of the first or second user of the hearing system and/or with regard to an occurrence of wind at the electroacoustic input transducer and/or with regard to a spectral focus of a background noise and/or with regard to a background noise in at least one frequency band and/or with regard to a stationarity of a sound signal of the environment and/or with regard to an autocorrelation function and/or with regard to a modulation depth at a given modulation frequency, which is preferably 4 Hz and a maximum of 10 Hz, and/or with regard to an onset of a speech activity, in particular the user's own speech activity.
  • a mean value and/or a variance and/or a mean value passage rate and/or a value range and/or a median of the respective environmental data are determined as values of the environmental data for a collection time and/or the application time, in particular in relation to a period between the respective collection time and an immediately preceding collection time or to a period between the application time and an immediately preceding application time.
  • an environmental situation of a hearing system can be characterized particularly comprehensively.
  • a sound signal of the environment is recorded by means of the at least one electroacoustic input transducer, and the feature vector and the corresponding representative vector for the time of recording, whereby the recording is played back via at least one output transducer of the hearing system, in particular via a loudspeaker, upon user input.
  • the user can also recognize which specific acoustic event - i.e. which noise - is the basis of a representative vector and use this to define the first region.
  • individual vector projections of the feature vectors of the collection times are formed in an acoustic feature space on the basis of the acoustic environmental data, wherein the vector projections of the acoustic feature space are each mapped onto acoustic representative vectors in a maximum three-dimensional, in particular two-dimensional, acoustic representation space, wherein a second region for the first environmental situation of the hearing system is defined in the acoustic representation space, and wherein the presence of the first environmental situation is additionally recognized on the basis of the second region of the acoustic representation space, in particular by a comparison with a mapping of the feature vector of the application time into the acoustic representation space.
  • the hearing system user is in an environment where certain short noises bother him, so that he prefers signal processing settings for this environment that dampen these noises.
  • a typical example is the hitting of a spoon on a coffee cup or, comparable, the shrill clatter of dishes.
  • There are various ways to do this such as reducing the amplification of high frequencies slightly, increasing the dynamic compression in the high frequency range or activating signal processing that specifically attenuates sudden sound peaks.
  • the user can find the marking of the corresponding representative vector in a visualized representation.
  • the user can benefit from a representation of the corresponding acoustic representative vector, which represents a projection of the corresponding acoustic feature vector of the acoustic features, in the acoustic representation space, in order to be able to determine the first environmental situation in addition to or solely on the basis of the representation of the purely acoustic environment in the acoustic representation space in the corresponding second area.
  • the representation space with appropriate emphasis on the representative vector relevant for the sound event as well as the acoustic representation space with the corresponding acoustic representative vector can be visualized simultaneously, e.g. next to each other.
  • This representation offers the user the advantage that in the representation of the acoustic representative vectors, sound events (i.e. noises) can be recognized that are very similar to the marked feature (“doorbell”) - precisely because of the relative proximity of the corresponding acoustic representative vectors.
  • the "full” representative vectors (which are also based on non-acoustic data) of both sound events ("spoon on coffee cup” and “doorbell”) are also presumably to be found in the same region of the representation space and, in particular, are assigned to the same usage situation ("at home”).
  • the first environmental situation is additionally defined on the basis of a first usage situation, and a first value of the setting for the signal processing of the hearing system is specified for the first environmental situation, and a second environmental situation is defined on the basis of a second usage situation, and a corresponding second value of the said setting is specified, wherein in particular the second region, which corresponds to the first environmental situation in the acoustic representation space, at least partially overlaps with the second region, which corresponds to the second environmental situation in the acoustic representation space, wherein the presence of the first or the second environmental situation is recognized on the basis of the presence of the first or second usage situation, and then the first or second value of the signal processing of the hearing system is set in accordance with its specification for the first or second environmental situation.
  • the user is able to identify similar sounds that have arisen in different environments and, in particular, different usage situations.
  • the user of the hearing system may prefer different signal processing settings for certain, similar sounds.
  • a hunter may find the rustling of a newspaper unpleasantly loud, but would like to hear every rustle in the leaves while hunting.
  • the rustling of the newspaper is marked as unpleasant, but the rustling in the leaves is not marked.
  • the sounds are acoustically very similar but otherwise distinguishable, the user can identify different environmental situations and thus define different signal processing settings.
  • a desire for different treatment of different "rustling" sounds can arise, for example, in different usage situations "at home” (e.g. reading the newspaper) or "work/office” (colleague leafing through documents) vs. "outdoors" (relaxing in the forest).
  • determining feature vectors in the training phase from all sensors of the hearing aid, i.e. based on the recorded audio signals (microphones) and also other sensor signals, which are mapped into the representation space; acoustic feature vectors are determined from the recorded audio signals, which are mapped into the acoustic representation space.
  • the user can recognize that he wants a different signal processing (e.g. "rustling newspaper” is marked), but receives the information via the acoustic representation space that there are other very similar sounds (here: rustling in the leaves).
  • the marked acoustic representative vector for the sound "rustling newspaper” can in particular form a first subgroup of the acoustic representative vectors and thus a first area in the acoustic representation space, another acoustic representative vector for the sound "rustling in the leaves” can form the second area.
  • the user can now select such a similar sound in the visualization and then sees the marked representative vector as well as the corresponding, acoustically similar representative vector in the ("full") display space and can determine from their positions whether they are in distinguishable regions.
  • One region then represents the situation "at home", the other, for example, in the forest. If this distinguishability exists beyond the acoustic similarity, then the signal processing is specifically adapted for one environmental situation ("at home"), but not for the other environmental situation ("in the forest”).
  • a hearing system which has a hearing device, in particular a hearing aid and/or a hearing aid and/or headphones, as well as a computing unit and in particular a visualization device.
  • the definition of the first region for the first environmental situation is carried out in the training phase by the first user of a hearing system and stored in a cloud server, whereby for the application phase the said definition is downloaded from the cloud server into the hearing system by the second user of a hearing system that is comparable for the application, in particular with regard to the hearing device, and is identical in construction.
  • a correction is made to the definition of the first region and/or to the specification for the at least one value of a signal processing setting of the hearing system by means of a user input, with the corrected first region or the corrected value of the signal processing setting then being used in the application phase.
  • This allows the user to subsequently adapt the definition of the at least one signal processing setting previously made for a first environmental situation, and also to subsequently assign a noise to an environmental situation, for example, or to subsequently delete such an assignment.
  • each of the feature vectors is mapped to an associated representative vector in a one-dimensional representation space, whereby a first interval in the representation space is defined as the first region for the first environmental situation of the hearing system based on a spatial distribution of the end points of a subgroup of representative vectors.
  • a one-dimensional representation space can be advantageous in particular for a comparatively small number of features (eg a six-dimensional feature space).
  • the invention further mentions a hearing system comprising a hearing device, in particular a hearing aid, hearing aid device or headphones, and an auxiliary device with a computer unit, in particular a processor unit of a smartphone or tablet, wherein the hearing system is set up to carry out the method described above.
  • a hearing system comprising a hearing device, in particular a hearing aid, hearing aid device or headphones, and an auxiliary device with a computer unit, in particular a processor unit of a smartphone or tablet, wherein the hearing system is set up to carry out the method described above.
  • the hearing system according to the invention shares the advantages of the method according to the invention. The advantages stated for the method and for its further developments can be transferred analogously to the hearing system.
  • the hearing system preferably comprises a visualization device and/or an input device for user input.
  • the visualization device and the input device are implemented by a touchscreen of a smartphone or tablet, which can be connected to the hearing device for data transmission.
  • the coloring of points can correspond to markings that have been assigned to individual feature vectors. If the markings indicate a usage situation or an environmental situation, the coloring reflects this accordingly.
  • FIG. 1 A method for the environment-dependent operation of a hearing system 1 is shown schematically in a block diagram, wherein the hearing system is formed by a hearing device 3 designed as a hearing aid 2 and an auxiliary device 5 designed as a smartphone 4.
  • the hearing device 3 has at least one electro-acoustic input transducer 6, which is designed as a microphone and generates an audio signal 7 from ambient sound.
  • the hearing device 3 also has further sensors 8, which generate additional sensor signals 9.
  • the sensors 8 can comprise, for example, an acceleration sensor or a temperature sensor.
  • environmental data is determined for a plurality of collection times T1, T2, T3, each based on the audio signal 7 and the sensor signal 9. This is done in the present case by generating acoustic environmental data 12 from the audio signal 7.
  • the acoustic environmental data 12 include: a 4 Hz modulation; an onset mean; an autocorrelation function; a level for low and mean frequencies of a noise background and a centroid of the noise background; a stationarity; a wind activity; a broadband maximum level; an individual voice activity.
  • motion-related environmental data 14 are continuously generated from the sensor signal 9, which include the measured instantaneous accelerations in the three spatial directions.
  • acoustic environmental data 12 and/or movement-related environmental data 14 or other, in particular location-related and/or biometric environmental data are generally included as environmental data 15, for example magnetic field sensors, other cell phone and/or smartwatch sensors, a gyroscope, a pulse measurement, a PPG measurement (photoplethysmogram), an electrocardiogram (ECG), a detection of stress via the measurement of the heartbeat and its variation, a light sensor, a barometer, a hearing effort or a hearing activity (for example via an "auditory attention" by means of an EEG measurement), a measurement of eye or head movements through muscle activity (EMG), location information via GPS, WLAN information, geo-fencing or Bluetooth beacons for the current location or area.
  • environmental data 15 for example magnetic field sensors, other cell phone and/or smartwatch sensors, a gyroscope, a pulse measurement, a PPG measurement (photoplethysmogram), an electrocardiogram (ECG), a detection of stress via the measurement of the heartbeat and
  • buffering 16 is carried out for the period between two collection times T1, T2, T3 (for a collection at collection time T1, the above-mentioned signals are buffered from a start time T0).
  • a mean value Mn, a variance Var and a mean passage rate MCR are then formed for each individual type of acoustic environmental data 12 and the motion-related environmental data 14.
  • the statistical quantities Mn, Var, MCR of the individual acoustic environmental data 12 and the motion-related environmental data 14 over the buffered period between two collection times T1, T2, T3 form environmental features 16 for the collection time T1, T2, T3 at the end of the buffering period, and are each mapped to a high-dimensional feature vector M1, M2, M3 in a high-dimensional feature space 18.
  • the high dimensionality, eg 39D for three statistical features each from ten acoustic and three motion-related environmental data, is indicated here only by the number of axes on the diagrams of the feature space 18 for the individual feature vectors M1, M2, M3.
  • Each of the feature vectors M1, M2, M3 is now mapped from the feature space 18 to a corresponding representative vector R1, R2, R3 in a two-dimensional representation space 20.
  • the mapping is carried out, for example, by means of a t-SNE optimization method (t-Distributed Stochastic Neighbor Embedding).
  • a so-called perplexity parameter defines a number of effective neighbors of the feature vectors, i.e., the perplexity parameter determines how many neighbors have an influence on a final position of the corresponding representative vector in the two-dimensional representation space 20 (in this case, this parameter can be set to a value of 50 or in the order of 1/100 of the number of feature vectors, for example). After that, probability measures are calculated once for all pairs of high-dimensional feature vectors that two relevant feature vectors can be identified as the closest neighbors in the high-dimensional feature space. This represents an initial situation.
  • Y For the two-dimensional representation space, random, Gaussian-distributed random numbers Y are assumed as the starting value. The current similarity relationships in Y are then calculated in individual iterations. To optimize the mapping of the similarity relationships, a similarity between the feature space and the representation space is now determined using a Kullback-Leibler divergence. Using a gradient of the said divergence, the Representative vectors (or their endpoints) are shifted in the representation space over T iterations.
  • representative vectors R1, R2, R3 are generated in the two-dimensional representation space 20 from the feature vectors M1, M2, M3 of the feature space 18 by the mapping rule described above.
  • a user of the hearing system 1 can now have the display space 20 displayed on his auxiliary device 5 (on the screen 21 of the smartphone 4) and, for example, define a contiguous area 22 as the first region 24, which corresponds to a specific first environmental situation 25 in his use of the hearing system 1.
  • the user can now assign a specific setting 26 of a signal processing of the audio signal 7 in the hearing device 3 to the said first region 24, for example frequency band-wise amplification and/or compression values and parameters, or control parameters of noise suppression or the like.
  • the training phase 10 for a specific environmental situation can be considered completed.
  • several training phases 10 are carried out for different environmental situations.
  • the same environmental data 15 as in the training phase are now collected from the audio signal 7 of the hearing device 3 and from the sensor signal 9 at an application time T4, and from this a feature vector M4 is formed in the high-dimensional feature space 18 in the same way based on the values determined at the application time T4.
  • the values can be formed, for example, from the mean value Mn, the variance Var and the mean passage rate MCR of the acoustic and movement-related data 12, 14 collected over a short period of time (e.g. 60 seconds or similar) before the application time T4.
  • the feature vector M4 for the application time T4 is now mapped to a representative vector R4 in the representation space 20.
  • a corresponding mapping is carried out in the application phase 30 using an approximate mapping (e.g. a so-called "out-of-sample extension", OOS kernel). This can be done using a regression, by means of which a mapping is "learned" based on a large number of feature vectors of the feature space 18 (e.g. 80% of the feature vectors) to corresponding representative vectors of the representation space 20, and remaining feature vectors (thus e.g.
  • a kernel function can then be determined which obtains local distance relationships between the said feature and representative vectors in their respective spaces (feature or representation space). This allows a new, unknown feature vector to be mapped from the feature space 18 to an associated representative vector in the representation space 20 by obtaining the local distance relationships between the known "learning vectors".
  • the hearing device 3 is operated with the settings 26 for the signal processing of the audio signal 26, and the previously defined amplification and/or compression values and parameters, or control parameters of a noise suppression are applied to the audio signal 7.

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

  • Die Erfindung betrifft ein Verfahren zum umgebungsabhängigen Betrieb eines Hörsystems, wobei in einer Trainingsphase zu einer Mehrzahl an Erhebungszeitpunkten jeweils Werte für eine erste Mehrzahl an Umgebungsdaten eines ersten Benutzers des Hörsystems ermittelt wird, und anhand der Werte der Umgebungsdaten für jeden der Erhebungszeitpunkte jeweils ein Merkmalsvektor in einem Merkmalsraum gebildet wird, wobei für eine erste Umgebungssituation wenigstens ein Wert einer Einstellung für eine Signalverarbeitung des Hörsystems vorgegeben wird, und wobei in einer Anwendungsphase zu einem Anwendungszeitpunkt Werte für die erste Mehrzahl an Umgebungsdaten des ersten Benutzers oder eines zweiten Benutzers des Hörsystems ermittelt werden und anhand der Werte der Umgebungsdaten ein entsprechender Merkmalsvektor für den Anwendungszeitpunkt gebildet wird, und der wenigstens eine Wert der Signalverarbeitung des Hörsystems entsprechend seiner Vorgabe für die erste Umgebungssituation eingestellt wird, und das Hörsystem mit dem so eingestellten wenigstens einen Wert betrieben wird.
  • In Hörsystemen wird einem Benutzer ein Schallsignal zum Hören bereitgestellt, welches auf der Basis eines elektrischen Audiosignals erzeugt wird, das seinerseits eine akustische Umgebung des Benutzers repräsentiert. Ein wichtiger Fall eines Hörsystems ist hierbei ein Hörgerät, mittels dessen eine Hörschwäche des Benutzers durch eine insbesondere frequenzbandabhängige Signalverarbeitung des Audiosignals möglichst korrigiert werden soll, um so bevorzugt Nutzsignale in einem Umgebungsschall für den Benutzer besser hörbar zu machen. Hörgeräte können dabei in verschiedenen Bauformen, z.B. BTE, ITE, CIC, RIC oder weiteren Formen, gegeben sein. Eine hierzu ähnliche Art von Hörsystem ist durch ein Hörhilfegerät wie z.B. ein Cochlea-Implantat oder Knochenleithörer gegeben. Weitere Hörsysteme können aber auch durch PSADs (Personal Sound Amplification Devices: Hörhilfesysteme, die von normal hörenden Personen genutzt werden) sowie Headsets oder Kopfhörer, insbesondere mit aktiver Rauschunterdrückung ("active noise cancelling") gegeben sein.
  • Ein Betrieb eines Hörsystems in Abhängigkeit der Umgebung ist insbesondere für Hörgeräte bekannt. Hierbei wird eine Einstellung der Signalverarbeitung des Audiosignals in Abhängigkeit einer Hörsituation festgelegt, wobei Hörsituationen durch standardisierte Gruppen von akustischen Umgebungen mit bestimmten vergleichbaren akustischen Merkmalen gegeben sind. Wird anhand des Audiosignals erkannt, dass eine der standardisierten Gruppen vorliegt, so wird das Audiosignal mit den entsprechenden, vorab für diese Gruppe von akustischen Umgebungen festgelegten Einstellungen verarbeitet.
  • Die Definition der Hörsituationen erfolgt dabei oftmals vorab nach fest für einzelne akustisch messbare Merkmale vorgegebenen Kriterien, z.B. werksseitig. Für die vorgegebenen Hörsituationen werden oftmals Voreinstellungen der jeweils zugehörigen Signalverarbeitung vorgegeben, welche durch den Benutzer noch individuell angepasst werden können.
  • Das akustische Erkennen der einzelnen Hörsituationen ist jedoch zum einen eine komplexe und ggf. fehlerbehaftete Angelegenheit, da eine akustische Umgebung ggf. nicht exakt die akustischen Merkmale aufweist, welche die entsprechende Hörsituation eigentlich erfordern würde (z.B. eine "Cocktail Party" im Freien in der Nähe einer Straße o.ä.). Zum anderen ist es für einen Benutzer infolge der Vielzahl an Merkmalen, welche zur Unterscheidung einzelner akustischer Umgebungen voneinander und zu einer entsprechenden Zuordnung der Hörsituationen ausgewertet werden, schlicht kaum möglich, sinnvoll selbst Definitionen von Hörsituationen vorzunehmen, welche auf seinen Alltag ideal abgestimmt sind. Infolgedessen ist der Benutzer diesbezüglich meist auf die vorgegebenen Definitionen von Hörsituationen angewiesen.
  • In der JP 2005 203 981 A wird ein Verfahren einer Signalanalyse für ein Hörgerät offenbart, wobei in einer Lernphase ab Werk eine Mehrzahl an Lernsignalen an eine selbstorganisierende Karte übergeben werden, durch welche für jedes Sample oder jeden Frame zum betreffenden Zeitpunkt eine Zuordnung in ein ebenes Koordinatensystem erfolgt. Die Zuordnung der jeweiligen Koordinaten kann für ein Lernsignal über die Zeit hinweg variieren. Anhand dieser Zuordnung werden dann einzelne Signale zusammen gruppiert, und für unterschiedliche Gruppen unterschiedliche Parameter der Signalverarbeitung festgelegt.
  • Die US 2014 / 0 355 798 A1 nennt ein Hörhilfegerät, welches einen Hörunterstützungsalgorithmus basierend auf Signalverarbeitungsparametern ausführen kann. Hierfür kann eine Anzahl audiologischer Werte für eine Bevölkerungsgruppe identifiziert werden, welch eine erste Anzahl von Dimensionen aufweist. Die Anzahl audiologischer Werte wird in einen reduzierten Datensatz umgewandelt, welcher eine zweite Anzahl von Dimensionen aufweist, die kleiner ist als die erste Anzahl von Dimensionen. Ein Prozessor berechnet eine Trajektorie für den reduzierten Datensatz. Die Trajektorie stellt Signalverarbeitungsparameter für das Hörhilfegerät bereit.
  • Die US 2015 / 0 124 984 A1 offenbart ein Hörgerät, welches dazu eingerichtet ist, eine Schallumgebung basierend auf einem Muster in einem Tagesablauf zu klassifizieren, Schallinformationen unter Verwendung von Schallumgebungskategorien zu kategorisieren, welche auf dem Muster im Tagesablauf basieren, und eine Ausgabe der Schallinformationen basierend auf der klassifizierten Schallumgebung steuern kann.
  • Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren anzugeben, mittels dessen ein Benutzer ein Hörsystem einerseits umgebungsabhängig betreiben kann, die Umgebungen aber möglichst individuell auf den Benutzer abgestimmt werden können.
  • Die genannte Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zum umgebungsabhängigen Betrieb eines Hörsystems, wobei in einer Trainingsphase zu einer Mehrzahl an Erhebungszeitpunkten jeweils Werte für eine erste Mehrzahl an Umgebungsdaten eines ersten Benutzers des Hörsystems ermittelt wird, und anhand der Werte der Umgebungsdaten für jeden der Erhebungszeitpunkte jeweils ein Merkmalsvektor in einem wenigstes vierdimensionalen, insbesondere mindestens sechsdimensionalen Merkmalsraum gebildet wird, jeder der Merkmalsvektoren jeweils auf einen zugehörigen Repräsentantenvektor in einem maximal dreidimensionalen, insbesondere zweidimensionalen Darstellungsraum abgebildet wird, und anhand einer räumlichen Verteilung einer Untergruppe von Repräsentantenvektoren eine erste Region im Darstellungsraum für eine erste Umgebungssituation des Hörsystems definiert wird, wobei für die erste Umgebungssituation wenigstens ein Wert einer Einstellung für eine Signalverarbeitung des Hörsystems vorgegeben wird.
  • Hierbei ist vorgesehen, dass in einer Anwendungsphase zu einem Anwendungszeitpunkt Werte für die erste Mehrzahl an Umgebungsdaten des ersten Benutzers oder eines zweiten Benutzers des Hörsystems ermittelt werden und anhand der Werte der Umgebungsdaten ein entsprechender Merkmalsvektor für den Anwendungszeitpunkt gebildet wird, anhand der ersten Region des Darstellungsraumes und anhand des Merkmalsvektors für den Anwendungszeitpunkt ein Vorliegen der ersten Umgebungssituation, insbesondere automatisch, erkannt wird, und der wenigstens eine Wert der Signalverarbeitung des Hörsystems entsprechend seiner Vorgabe für die erste Umgebungssituation, insbesondere automatsch, eingestellt wird, und das Hörsystem mit dem so eingestellten wenigstens einen Wert betrieben wird. Vorteilhafte und teils für sich gesehen erfinderische Ausgestaltungen sind Gegenstad der Unteransprüche und der nachfolgenden Beschreibung.
  • In der Trainingsphase wird somit einerseits die erste Umgebungssituation anhand der Umgebungsdaten festgelegt, sowie ermittelt, wie sich die erste Umgebungssituation anhand der Umgebungsdaten von anderen Umgebungssituationen unterscheiden lässt. Des Weiteren wird eine Einstellung der Signalverarbeitung vorgegeben, welche für die erste Umgebungssituation auf ein Audiosignal des Hörsystems anzuwenden ist. In der Anwendungsphase werden die aktuell vorliegenden Werte für die entsprechenden Umgebungsdaten ermittelt, und es kann nun anhand dieser Werte der Umgebungsdaten festgestellt werden, ob die erste Umgebungssituation vorliegt. Ist dies der Fall, wird das Hörsystem mit der diesbezüglich vorgegebenen Einstellung der Signalverarbeitung betrieben.
  • In der Trainingsphase werden dabei die Werte der Umgebungsdaten zu verschiedenen Erhebungszeitpunkten ermittelt, sodass die Merkmalsvektoren, welche anhand der zu den einzelnen Erhebungszeitpunkten ermittelten Werte an Umgebungsdaten gebildet werden, repräsentativ für möglichst viele akustische Umgebungen sind. Als Umgebungsdaten sind hierbei akustische Umgebungsdaten zu akustischen Umgebungsgrößen wie z.B. Frequenzen eines Grundrauschens, Stationarität eines Schallsignals, Schallpegel, Modulationsfrequenzen, und dergleichen umfasst. Weiter sind als Umgebungsdaten auch im weiteren Sinne "nicht-akustische" Daten z.B. zu Beschleunigungen oder sonstigen Bewegungsgrößen eines Bewegungssensors des Hörsystems, aber auch biometrische Daten, welche z.B. anhand von EEG, EMG, PPG (Photoplethysmogram), EKG o.ä. erfasst werden können, umfasst.
  • Die genannten Größen können dabei durch eine Hörvorrichtung des Hörsystems, also z.B. durch ein Hörgerät, und/oder durch ein weiteres Gerät des Hörsystems, z.B. ein Smartphone oder eine Smartwatch oder ein sonstiges geeignetes Gerät mit entsprechender Sensorik, gemessen werden. Das Ermitteln der Werte der Umgebungsdaten aus den gemessenen Größen kann im jeweiligen Gerät selbst - also im Hörgerät oder im Smartphone o.ä. - erfolgen, oder nach einer Übertragung z.B. vom Hörgerät bzw. von einem Headset auf das Smartphone oder ein vergleichbares Gerät des Hörsystems erfolgen. Das Messen der Größen erfolgt dabei vorzugsweise kontinuierlich bzw. quasi-kontinuierlich (also in sehr kurzen Zeitabständen, bspw. im Bereich von Sekunden), bevorzugt über einen längeren Zeitraum von z.B. einer Woche o.ä., sodass die für den Benutzer üblicherweise auftretenden Umgebungen möglichst vollständig erfasst und hierdurch quasi "kartographiert" werden.
  • Als Werte der Umgebungsdaten können die ermittelten Werte der genannten oder anderer entsprechender Größen entweder direkt in die jeweiligen Merkmalsvektoren eingehen, oder die in die Merkmalsvektoren eingehenden Werte werden durch Bildung von Mittelwert und/oder Mittelwert-Durchgangsrate und/oder Varianz oder vergleichbarer statistischer Verfahren anhand der jeweiligen Größen gebildet. Im letztgenannten Fall besteht ein Merkmalsektor vorzugsweise aus einzelnen Einträgen, welche jeweils in beschriebener Weise mittels statistischer Methoden aus den genannten akustischen Umgebungsgrößen, Bewegungsgrößen und/oder biometrischen Daten gewonnen werden. Hierbei kann zu einem Erhebungszeitpunkt jeweils der zeitliche Mittelwert bzw. die Mittelwert-Durchgangsratte bzw. die Varianz einzelner Werte einer Größe seit dem vorangegangenen Erhebungszeitpunkt gebildet werden, und als entsprechender Wert der Umgebungsdaten in den Merkmalsvektor eingehen.
  • Hierbei werden zu jedem Erhebungszeitpunkt insgesamt Werte für wenigstens vier verschiedene Merkmale, also einzelne statistische Ausprägungen verschiedener Umgebungs- und/oder Bewegungs- und/oder biometrischer Größen ermittelt. Bevorzugt werden Werte für wenigstens sechs Merkmale ermittelt. Besonders bevorzugt werden für jede einzelne Größe dieselben statistischen Ausprägungen, wie oben z.B. als Mittelwert, Mittelwert-Durchgangsrate und Varianz, als Werte der Umgebungsdaten ermittelt.
  • Um nun einem Benutzer die Möglichkeit zu geben, individuell einzelne Umgebungssituationen anhand der ermittelten "Merkmale", also der entsprechenden Merkmalsvektoren festzulegen, werden die einzelnen Merkmalsvektoren, welche ja die "Merkmale" zu einzelnen Erhebungszeitpunkten beinhalten, zunächst auf den jeweils zugehörigen Repräsentantenvektor im Darstellungsraum abgebildet.
  • Der Darstellungsraum ist hierbei maximal dreidimensional, bevorzugt zweidimensional, sodass die Repräsentantenvektoren für eine Definition der ersten Umgebungssituation über die erste Region für den Benutzer insbesondere visualisiert werden können. Eine derartige Visualisierung des Darstellungsraumes kann dabei insbesondere auf einer geeigneten Visualisierungseinrichtung des Hörsystems erfolgen, z.B. auf einem Bildschirm eines Smartphones, welches in diesem Fall durch seine Einbindung in das Verfahren ein Teil des Hörsystems wird. Ein zweidimensionaler Darstellungsraum lässt sich dabei unmittelbar als "Karte" darstellen, ein dreidimensionaler Darstellungsraum bspw. durch zweidimensionale Schnittebenen oder dreidimensionalen "Punktewolken" o.ä., zwischen denen der Benutzer wechseln oder zoomen bzw. sich bewegen kann.
  • Die Abbildung der Merkmalsvektoren des Merkmalraumes auf die Repräsentantenvektoren des Darstellungsraumes erfolgt dabei vorzugsweise derart, dass "ähnliche Merkmalsvektoren", also Merkmalsvektoren, welche infolge einer relativen Ähnlichkeit ihrer Merkmale im Merkmalsraum vergleichsweise nahe beieinander liegen, auch im Darstellungsraum vergleichsweise nahe beieinander liegen (bezogen z.B. auf die gesamte Größe des jeweils verwendeten Raumes). Voneinander deutlich separierte Repräsentantenvektoren (oder Gruppen von Repräsentantenvektoren) im Darstellungsraum lassen dabei bevorzugt einen Rückschluss auf voneinander separierte Merkmalsvektoren (oder entsprechende Gruppen von Merkmalsvektoren) im Merkmalsraum zu, wodurch eine Unterscheidung möglich wird. Umgekehrt wird eine Unterscheidung von Gruppen von Merkmalsvektoren, mit zunehmendem Überlapp der zugehörigen, entsprechende Gruppen ihrer jeweiligen Repräsentantenvektoren im Darstellungsraum schwieriger.
  • Anhand einzelner, möglichst nahe beieinander liegender Repräsentantenvektoren kann nun im Darstellungsraum eine erste Region definiert werden. Diese Definition kann insbesondere durch den Benutzer des Hörsystems vorgenommen werden, oder auch durch eine Hilfsperson des Benutzers (z.B. einen Betreuer, Krankenpfleger etc.) erfolgen. Für die Definition wird dabei bevorzugt eine Visualisierung des Darstellungsraumes herangezogen. Insbesondere können einzelne Repräsentantenvektoren dabei noch mittels einer zusätzlichen Markierung, bspw. über eine Farbdarstellung, versehen sein, welcher bevorzugt einer zusätzlichen Markierung des jeweiligen Erhebungszeitpunktes je nach Alltags-/Tagessituation o.ä. für den zugrunde liegenden Merkmalsvektor durch den Benutzer entsprechen kann. Dies kann für den Benutzer die Zuordnung der Repräsentantenvektoren vereinfachen. Die Markierung des Erhebungszeitpunktes kann dabei beispielsweise durch eine Eingabe des Benutzers erfolgen, welche global eine bestimmte Situation in seinem Tagesablauf festlegt, also z.B. zu Hause, im Auto (auf dem Weg zur Arbeit/nach Hause), im Büro, in der Kantine, beim Sport, im Garten etc.
  • Es wird nun also eine Untergruppe von Repräsentantenvektoren herangezogen, um anhand ihrer räumlichen Verteilung, insbesondere anhand des von ihnen (also von ihren entsprechenden Endpunkten im Darstellungsraum) eingeschlossenen Bereiches die erste Region zu definieren. Dieser Untergruppe von Repräsentatnenvektoren entspricht eine Gruppe von Merkmalsvektoren im Merkmalsraum, sodass hierdurch über die entsprechenden Wertebereiche der Merkmale die erste Umgebungssituation festgelegt ist.
  • Für die so definierte erste Umgebungssituation, welche vorzugsweise in Beziehung zu einer Situation im Tagesablauf des Benutzers steht, aber noch durch weitere Merkmale, insbesondere akustische Merkmale charakterisiert sein kann (z.B. unterschiedliche akustische Umgebungen im Büro oder zu Hause etc.), wird nun der wenigstens eine Wert der Einstellung für die Signalverarbeitung des Hörsystems vorgegeben. Dies erfolgt bevorzugt durch den Benutzer des Hörsystems (oder z.B. auch durch eine technisch versierte Begleit- oder Betreuungsperson). Der Benutzer begibt sich hierfür bevorzugt in die entsprechende Umgebung (z.B. in ein fahrendes Auto, drinnen zu Hause, draußen im Garten, im Büro/am Arbeitsplatz etc.) und modifiziert daraufhin, insbesondere "nach Gehör", die Signalverarbeitungseinstellungen, z.B. mittels einer Klangwaage die Höhen- oder Tiefenbetonung oder sogenannte adaptive Parameter für Wind- oder Störgeräuschunterdrückung. Grundsätzlich kommt aber auch eine Feinjustierung jedweder Parameter in Betracht, welche ein voll oder semiprofessionell ausgebildeter Akustiker typischerweise nutzt. Ebenso ist es möglich, dass die umgebungsspezifische Signalverarbeitungseinstellung, und somit die Definition der Einstellung für die erste Umgebungssituation, von einem solchen Akustiker in einer Fernanpassungssitzung vorgenommen wird.
  • Die Trainingsphase kann somit der Systematik nach in eine Analysephase und eine Definitionsphase eingeteilt werden, wobei die Analysephase das kontinuierliche Messen der betreffenden Größen, das Ermitteln der einzelnen entsprechenden Merkmalswerte zu den jeweiligen Erhebungszeitpunkten sowie eine Abbildung der Merkmalsvektoren in den Darstellungsraum umfasst, während in der Definitionsphase anhand der Repräsentantenvektoren die erste Umgebungssituation sowie der zugehörige wenigstens eine Wert der Einstellung für die Signalverarbeitung definiert wird.
  • Während einer Anwendungsphase werden die vorgenommenen Definitionen der ersten Umgebungssituation und der zugehörigen wenigstens einen Einstellung der Signalverarbeitung des Hörsystems in den Betrieb des Hörsystems eingebunden. Hierfür werden zu einem Anwendungszeitpunkt der Anwendungsphase zunächst durch das Hörsystem, insbesondere auch durch eine Hörvorrichtung des Hörsystems, dieselben Umgebungs- und/oder Bewegungs- und/oder biometrischer Größen gemessen, welche auch in der Trainingsphase zum Ermitteln der Werte an Umgebungsdaten gemessen werden. In dazu analoger Weise werden aus den gemessenen Grüßen die Werte für dieselben Arten an Umgebungsdaten und ein entsprechender Merkmalsvektor gebildet, wie in der Trainingsphase.
  • Der Merkmalsvektor für den Anwendungszeitpunkt wird nun in den Darstellungsraum abgebildet. Dies erfolgt bevorzugt mittels desselben Algorithmus wie die entsprechenden Abbildungen der Trainingsphase, oder durch ein zu dem besagten Algorithmus möglichst konsistentes Näherungsverfahren, welches insbesondere den Merkmalsvektor des Anwendungszeitpunktes auf einen Repräsentantenvektor im Darstellungsraum abbildet, für welchen Repräsentantenvektoren seiner unmittelbaren Umgebung auf solchen Merkmalsvektoren der Trainingsphase basieren, welche im Merkmalsraum auch die unmittelbare Umgebung des Merkmalsvektors des Anwendungszeitpunktes bilden.
  • Liegt nun der für den Anwendungszeitpunkt so gebildete Repräsentantenvektor in der ersten Region des Darstellungsraumes, kann darauf geschlossen werden, dass die erste Umgebungssituation vorliegt, und entsprechend die hierfür vorab definierte wenigstens Einstellung der Signalverarbeitung im Betrieb des Hörsystems verwendet werden, also z.B. auf ein Audiosignal des Hörsystems eine entsprechende, ggf. frequenzbandabhängige Verstärkung und/oder Dynamik-Kompression, Sprachsignalanhebung etc. angewandt werden.
  • Alternativ dazu können im Merkmalsraum diejenigen Bereiche identifiziert werden, welche den Merkmalsvektoren entsprechen, deren Repräsentantenvektoren im Darstellungsraum von der ersten Region umfasst sind. Die Erkennung der ersten Umgebungssituation kann dann auch anhand der besagten Bereiche im Merkmalsraum erfolgen, wenn der Merkmalsvektor für den Anwendungszeitpunkt in einem solchen Bereich liegt.
  • Insbesondere kann für die Bildung des Merkmalsvektors des Anwendungszeitpunktes eine kurzfristige zeitliche Mitteilung (etwa im Bereich von wenigen Sekunden bis einigen Minuten) oder sonstige statistische Bearbeitung erfolgen, bevorzugt derselben Art wie bei der Bildung der Merkmalsvektoren der Trainingsphase.
  • Das beschriebene Verfahren erlaubt es, die Definitionen einzelner Umgebungssitationen spezifisch auf Individuen oder spezielle Gruppen von Hörhilfeträgern anzupassen, und diese Definition zudem auch von (technisch versierten) Personen ohne audiologische oder wissenschaftliche Ausbildung vornehmen zu lassen, wobei für die Definitionen der Umgebungssituationen nur ein vergleichsweise geringer Aufwand des Hörsystems (oder einer assistierenden Begleitperson) erforderlich ist, da dies unmittelbar über die Visualisierung des vorzugsweise zweidimensionalen Darstellungsraumes erfolgen kann.
  • Hierdurch kann insbesondere der Bedarf von kleinen Benutzergruppen adressiert werden, für welche seitens eines Herstellers (oder eines anderen Lösungsanbieters) eine spezifische Definition von Umgebungssituationen zur automatischen Einstellung des Hörsystems einen zu hohen Aufwand bedeuten würde. Dadurch können Hörsysteme Klassifikatoren für die Umgebung bereitstellen, die einen Bedarf für solche Benutzergruppen gezielter zufrieden stellen, als die bislang bekannten ,stereotypischen` Klassen von Umgebungssituationen, da universalisierte Klassen wie z.B. im Auto`, vor dem Fernseher' eben deswegen definiert wurden, weil überwältigend viele Benutzer von Hörsystemen sich in solchen Situation wiederfinden.
  • Da das Verfahren darüber hinaus auch geeignet ist, von technisch versierten Personen, ohne audiologische oder wissenschaftliche Ausbildung genutzt zu werden, eröffnet es die Möglichkeit, dass nicht nur ein Hersteller eines Hörsystems (wie z.B. Hörgerätehersteller), sondern andere Marktteilnehmer oder Benutzer eigene Definitionen vornehmen, z.B. auch Hörgeräteakustiker o.ä., Begleiter von Personen spezieller Berufsgruppen (z.B. von Zahnärzten, Musikern, Jägern) oder auch einzelne technisch versierte Benutzer. Somit wird der Einsatz des Verfahrens für eine größere Anzahl von Benutzern relevant, da es anteilig meist wenige Benutzer von Hörsystemen gibt, die zu umfangreichen Angaben (Eingaben z.B. in Smartphone-Apps) bereit sind, dagegen viele Benutzer, die am möglichst wenige Angaben über das Anwählen einer konkreten Funktion hinaus machen möchten, und allenfalls eine Eingabe vornehmen, wenn ihnen ein Höreindruck unangenehm oder verbesserungswürdig erscheint.
  • Insbesondere ist es insofern auch möglich, dass in der Trainingsphase die Definition der ersten Umgebungssituation durch einen ersten Benutzer des Hörsystems durchgeführt wird, während diese Definition in der Anwendungsphase durch einen zweiten Benutzer verwendet wird. Somit kann ein erster Benutzer die von ihm definierten Umgebungssituationen für entsprechende Merkmalsvektoren anderen Benutzern zum Gebrauch zur Verfügung stellen. Die Definition der zur ersten Umgebungssituation zugehörigen Einstellung der Signalverarbeitung wird bevorzugt durch denjenigen Benutzer durchgeführt, welcher das Hörsystem in der Anwendungsphase verwendet.
  • Bevorzugt wird in der Trainingsphase durch eine Benutzereingabe jeweils eine Information zu einer aktuellen Nutzungssituation des Hörsystems, insbesondere in Abhängigkeit einer abgegrenzten Situation einer Tagesroutine des ersten Benutzers des Hörsystems hinterlegt, wobei die jeweilige Information zur Nutzungssituation mit den Merkmalsvektoren und/oder den zugehörigen Repräsentantenvektoren verknüpft wird, welche anhand der während einer bestimmten Nutzersituation erhobenen Werte der Umgebungsdaten gebildet werden. Die Nutzungssituation beschreibt dabei bevorzugt eine bestimmte Situation im Tagesablauf des Benutzers, also z.B. zu Hause, im Auto (auf dem Weg zur Arbeit/nach Hause), im Büro, in der Kantine, beim Sport, im Garten etc. Durch eine zusätzliche Markierung des Merkmalsvektors bzw. des zugehörigen Repräsentantenvektors kann der Benutzer eine Zuordnung der ersten Umgebungssituation auch hinsichtlich der Nutzungssituation vornehmen.
  • Günstigerweise wird wenigstens ein Teilbereich des Darstellungsraums, insbesondere mittels eines Bildschirms visualisiert und dabei wenigstens eine Teilmenge der Repräsentantenvektoren angezeigt, wobei die erste Region im Darstellungsraum anhand einer Benutzereingabe, insbesondere hinsichtlich einer Gruppierung von visualisierten Repräsentantenvektoren, definiert wird. Der Bildschirm ist hierbei insbesondere in eine entsprechende Hilfsvorrichtung des Hörsystems integriert, wie z.B. in ein mit der Hörvorrichtung insbesondere drahtlos verbindbares Smartphone, Tablet o.ä. Der Benutzer kann dann direkt auf dem Touchscreen die einzelnen Repräsentantenvektoren in einer zwei- oder ggf. auch dreidimensionalen Darstellung (im 3D-Fall über entsprechende Schnitteben) ansehen und entsprechend zur ersten Region gruppieren.
  • Hierbei wird insbesondere für wenigstens einige der Repräsentantenvektoren, wenigstens auf eine Aktion des ersten Benutzers hin, die jeweilige Information zur Nutzungssituation visualisiert. Dies kann über eine entsprechende Farbdarstellung oder über eine Einblendung eines Labels am jeweiligen Repräsenantenvektor erfolgen.
  • Günstigerweise erfolgt zumindest in der Trainingsphase die Abbildung der Merkmalsvektoren auf die jeweils zugehörigen Repräsentantenvektoren derart, dass Abstandsrelationen von jeweils wenigstens drei Merkmalsvektoren im Merkmalsraum infolge der Abbildung wenigstens näherungsweise für Abstandsrelationen der zugehörigen drei Repräsentantenvektoren im Darstellungsraum erhalten bleiben. Dies bedeutet insbesondere, dass für jeweils drei Merkmalsvektoren mv1, mv2, mv3 mit folgender Abstandsrelation im Merkmalsraum: mv1 − mv2 > mv1 − mv3 > mv2 − mv3 ,
    Figure imgb0001
     die zugehörigen Repräsentantenvektoren rv1 (zu mv1), rv2 (zu mv2), rv3 (zu mv3) im Darstellungsraum die Abstandsrelation rv1 − rv2 > rv1 − rv3 > rv2 − rv3
    Figure imgb0002
     erfüllen. Hierdurch werden Gruppen "ähnlicher" Merkmalsvektoren, welche sich bezogen auf den gesamten im Merkmalsraum abgedeckten Bereich nur wenig voneinander unterscheiden, auf "ähnliche" Repräsentantenvektoren abgebildet, welche sich bezogen auf den gesamten im Darstellungsraum abgedeckten Bereich ebenfalls nur wenig voneinander unterscheiden.
  • Bevorzugt erfolgt die Abbildung der Merkmalsvektoren auf die jeweils zugehörigen Repräsentantenvektoren anhand einer Hauptkomponentenanalyse (PCA) und/oder einer lokal linearen Einbettung (LLE) und/oder einer Isomap-Abbildung und/oder einer Sammon-Abbildung und/oder bevorzugt anhand eines t-SNE-Algorithmus und/oder bevorzugt anhand eines selbstorganisierenden Kohonen-Netzwerks und/oder bevorzugt anhand einer UMAP-Abbildung. Die genannten Verfahren erfüllen die genannte Eigenschaft hinsichtlich der Abstandsrelationen und sind effizient implementierbar.
  • Vorteilhafterweise werden in der Anwendungsphase zu einer Mehrzahl an aufeinanderfolgenden Anwendungszeitpunkten jeweils Werte für die erste Mehrzahl an Umgebungsdaten ermittelt und anhand der Werte der Umgebungsdaten jeweils entsprechende Merkmalsvektoren für die aufeinanderfolgenden Anwendungszeitpunkte gebildet, wobei ein Vorliegen der ersten Umgebungssituation anhand der ersten Region und anhand der besagten Merkmalsvektoren für die aufeinanderfolgenden Anwendungszeitpunkte, insbesondere anhand eines Polygonzugs aus den besagten Merkmalsvektoren oder eines Polygonzugs aus den Repräsentantenvektoren, welche im Darstellungsraum den besagten Merkmalsvektoren entsprechen, erkannt wird. Insbesondere können hierbei mittels Machine Learning auch Bereiche für Merkmals- bzw. Repräsentantenvektoren außerhalb des betreffenden Polygonzugs identifiziert werden, in welchen für einen Anwendungszeitpunkt ein entsprechender Merkmals- bzw. Repräsentantenvektor zu einem Vorliegen der ersten Umgebungssituation führt.
  • Es werden z.B. immer die aktuellsten fünf Repräsentantenvektoren (der vergangenen Anwendungszeitpunkte) genommen und ein Polygonzug konstruiert, der alle Repräsentantenvektoren umfasst (einige oder alle Repräsentantenvektoren bzw. deren Endpunkte stellen dann Eckpunkte des Polygonzuges dar). Das Hörsystem wird erst dann der ersten Umgebungssituation zugeordnet und die entsprechende Einstellung der Signalverarbeitung aktiviert, wenn mindestens ein vorab definierbarer Prozentsatz der Fläche des Polygonzuges (z.B. 80%) innerhalb der ersten Region im Darstellungsraum liegt. Dadurch kann vermieden werden, dass ein einzelner "Ausreißer" eines Einzelmerkmals, der auf ein zufälliges, aber für eine Umgebung ggf. untypisches Vorkommen zurückzuführen ist, bereits zu einer geänderten Klassifikation hinsichtlich der Umgebungssituation führt.
  • Erfindungsgemäß werden für die erste Mehrzahl an Umgebungsdaten akustische Umgebungsdaten anhand eines Signals wenigstens eines elektroakustischen Eingangswandlers, insbesondere eines Mikrofons ermittelt, und/oder bewegungsbezogene Umgebungsdaten anhand wenigstens eines Signals eines insbesondere mehrdimensional auflösenden Beschleunigungssensors und/oder eines Gyroskops und/oder eines GPS-Sensors ermittelt. Bevorzugt werden für die erste Mehrzahl an Umgebungsdaten weiter orstbezogene Umgebungsdaten anhand wenigstens eines Signals eines GPS-Sensors und/oder einer WLAN-Verbindung und/oder biometrische Umgebungsdaten anhand eines EKG-Sensors und/oder eines EEG-Sensors und/oder eines PPG-Sensors und/oder eines EMG-Sensors ermittelt. Insbesondere kann ein Sensor zur Erzeugung biometrischer Umgebungsdaten auf einer als Smartwatch ausgestalteten Hilfsvorrichtung angeordnet sein. Die genannten Sensoren sind für eine möglichst umfassende Charakterisierung einer Umgebungssituation eines Hörsystems besonders geeignet.
  • Für die akustischen Umgebungsdaten wird dabei das Signal des wenigstens einen elektroakustischen Eingangswandlers bevorzugt hinsichtlich einer Sprachaktivität des ersten bzw. zweiten Benutzers des Hörsystems und/oder hinsichtlich eines Auftretens von Wind am elektroakustischen Eingangswandler und/oder hinsichtlich eines spektralen Schwerpunkts eines Rauschhintergrundes und/oder - hinsichtlich eines Rauschhintergrundes in wenigstens einem Frequenzband und/oder hinsichtlich einer Stationarität eines Schallsignals der Umgebung und/oder hinsichtlich einer Autokorrelationsfunktion und/oder hinsichtlich einer Modulationstiefe bei einer gegebenen Modulationsfrequenz, welche bevorzugt 4 Hz und maximal 10 Hz beträgt, und/oder hinsichtlich eines Einsetzens einer Sprachaktivität, insbesondere einer eigenen Sprachaktivität des Benutzers, analysiert.
  • Günstigerweise werden als Werte der Umgebungsdaten für einen Erhebungszeitpunkt und/oder den Anwendungszeitpunkt jeweils ein Mittelwert und/oder eine Varianz und/oder eine Mittelwert-Durchgangsrate und/oder ein Wertebereich und/oder ein Median der jeweiligen Umgebungsdaten, insbesondere bezogen auf einen Zeitraum zwischen dem jeweiligen Erhebungszeitpunkt und einem unmittelbar vorangehenden Erhebungszeitpunkt bzw. auf einen Zeitraum zwischen dem Anwendungszeitpunkt und einem unmittelbar vorangehenden Anwendungszeitpunkt, ermittelt. Mittels dieser Daten lässt sich eine Umgebungssituation eines Hörsystems besonders umfassend charakterisieren.
  • Bevorzugt wird während eines Erhebungszeitpunktes mittels des wenigstens einen elektroakustischen Eingangswandlers ein Mittschnitt eines Schallsignals der Umgebung erfolgt, und dem Merkmalsvektor sowie dem entsprechenden Repräsentantenvektor für den Erhebungszeitpunkt zugeordnet, wobei auf eine Benutzereingabe hin der Mittschnitt über wenigstens einen Ausgangswandler des Hörsystems, insbesondere über einen Lautsprecher, wiedergegeben wird. So kann der Benutzer zusätzlich erkennen, welches konkrete akustische Ereignis - also welches Geräusch - einem Repräsentantenvektor zugrunde liegt, und dies für die Definition der ersten Region heranziehen.
  • Günstigerweise werden anhand der akustischen Umgebungsdaten jeweils einzelne Vektorprojektionen der Merkmalsvektoren der Erhebungszeitpunkte in einen akustischen Merkmalsraum gebildet, wobei die Vektorprojektionen des akustischen Merkmalsraumes jeweils auf akustische Repräsentantenvektoren in einem maximal dreidimensionalen, insbesondere zweidimensionalen akustischen Darstellungsraum abgebildet werden, wobei im akustischen Darstellungsraum eine zweite Region für die erste Umgebungssituation des Hörsystems definiert wird, und wobei ein Vorliegen der ersten Umgebungssituation zusätzlich anhand der zweiten Region des akustischen Darstellungsraumes, insbesondere durch einen Vergleich mit einer Abbildung des Merkmalsvektors des Anwendungszeitpunktes in den akustischen Darstellungsraum, erkannt wird.
  • Es mag sein, dass sich der Benutzer des Hörsystems in einer Umgebung aufhält, in der ihn bestimmte kurze Geräusche stören, so dass er für diese Umgebung Signalverarbeitungseinstellungen bevorzugt, die diese Geräusche dämpfen. Ein typisches Beispiel ist das Schlagen eines Löffels an eine Kaffeetasse oder, vergleichbar, das schrille Klappern von Geschirr. Es gibt hierfür unterschiedliche Möglichkeiten, etwa, die Verstärkung hoher Frequenzen etwas zu reduzieren, die Dynamikkompression im hohen Frequenzbereich zu erhöhen oder eine Signalverarbeitung zu aktivieren, die gezielt plötzlich auftretende Schallspitzen abmildert.
  • Wenn nun der Benutzer exemplarisch einmal einen Repräsentantensvektor markiert, welcher auf der plötzlich eintretenden Schallspitze des an die Kaffeetasse schlagenden Löffels beruht, dann kann der Benutzer in einer visualisierten Darstellung die Markierung des entsprechenden Repräsentantenvektors auffinden.
  • Dieser ist in jenem Bereich des Darstellungsraumes zu erwarten, in dem die Repräsentantenvektoren einer Nutzungssituation zu Hause` liegen, nicht aber in Nutzungssituationen wie 'Büro' oder ,im Auto`. Der Benutzer könnte nun für die Nutzungssituation zu Hause` eine der genannten Änderungen festlegen, z.B. eine erhöhte Dynamikkompression im hohen Frequenzbereich. Bevor er dies vornimmt, ist eine Überprüfung sinnvoll, ob es andere, ähnliche Geräusche gibt, die sich auf Grund der geänderten Signalverarbeitungseinstellungen ebenfalls anders anhören könnten.
  • Hierbei kann der Benutzer von einer Darstellung des entsprechenden akustischen Repräsentantenvektors, welcher eine Projektion des entsprechenden akustischen Merkmalsvektors der akustischen Merkmale darstellt, im akustischen Darstellungsraum profitieren, um so die erste Umgebungssituation zusätzlich oder auch allein anhand der Darstellung der rein akustischen Umgebung im akustischen Darstellungsraum den entsprechenden zweiten Bereich vornehmen zu können.
  • Bevorzugt können dazu der Darstellungsraum unter entsprechender Hervorhebung des für das Schallereignis relevanten Repräsentantenvektors sowie der akustische Darstellungsraum mit dem entsprechenden akustischen Repräsentantenvektor zeitgleich, z.B. nebeneinander, visualisiert werden.
  • Diese Darstellung bietet für den Benutzer den Vorteil, dass in der Darstellung der akustischen Repräsentantenvektoren Schallereignisse (also Geräusche) erkannt werden können, die dem markierten Merkmal sehr ähnlich sind ("Türglocke") - eben furch eine relative Nähe der entsprechenden akustischenRepräsentantenvektoren. Auch die "vollen" Repräsentantenvektoren (welche zusätzlich auf nichtakustischen Daten beruhen) beider Schallereignisse ("Löffel an Kaffeetasse" und "Türglocke") sind dabei mutmaßlich in der gleichen Region des Darstellungsraumes zu finden sind und insbesondere derselben Nutzungssituation zugeordnet ("zu Hause").
  • Wenn nun der Benutzer für den ersten zweiten Bereich des Darstellungsraumes bzw. des akustischen Darstellungsraumes und somit für die so definierte erste
  • Umgebungssituation eine Einstellung der Signalverarbeitung vornimmt, wodurch spontan auftretende, hell klingende Töne ("Kaffeetasse") z.B. gedämpft werden, dann kann er infolge des akustischen Darstellungsraumes erkennen, dass ähnliche Geräusche ("Türglocke" oder auch "Rauchmelder") ebenfalls gedämpft werden, wodurch er ggf. eine Abwägungsentscheidung treffen kann, eine Dämpfung evtl. nicht vollständig durchzuführen, um derartige Geräusche nicht zu überhören.
  • Als weiter vorteilhaft erweist es sich, wenn die erste Umgebungssituation zusätzlich anhand einer ersten Nutzungssituation definiert wird, und für die erste Umgebungssituation ein erster Wert der Einstellung für die Signalverarbeitung des Hörsystems vorgegeben wird, und eine zweite Umgebungssituation anhand einer zweiten Nutzungssituation definiert wird, und ein entsprechender zweiter Wert der besagten Einstellung vorgegeben wird, wobei insbesondere die zweite Region, welche im akustischen Darstellungsraum der ersten Umgebungssituation entspricht, mit der zweiten Region, welche im akustischen Darstellungsraum der zweiten Umgebungssituation entspricht, zumindest teilweise überlappt, wobei ein Vorliegen der ersten oder der zweiten Umgebungssituation anhand einem Vorliegen der ersten bzw. zweiten Nutzungssituation erkannt wird, und daraufhin der erste bzw. zweite Wert der Signalverarbeitung des Hörsystems entsprechend seiner Vorgabe für die erste bzw. zweite Umgebungssituation eingestellt wird.
  • Dies bedeutet insbesondere, dass der Benutzer in die Lage versetzt wird, ähnliche Geräusche zu identifizieren, welche aber in unterschiedlichen Umgebungen und insbesondere unterschiedlichen Nutzungssituationen entstanden sind. Abhängig von der Nutzungssituation kann der Benutzer des Hörsystems für bestimmte, ähnliche Geräusche unterschiedliche Signalverarbeitungseinstellung bevorzugen.
  • Als Beispiel sei hier ein Jäger genannt, welcher das Rascheln einer Zeitung möglicherweise als unangenehm laut empfindet, wogegen er auf der Jagd jedes Rascheln im Laub gerne hören möchte. In der Trainingsphase wird das Rascheln der Zeitung als unangenehm markiert, das Rascheln im Laub ist aber nicht markiert. Sofern die Geräusche zwar akustisch sehr ähnlich sind, jedoch sonst unterscheidbar sind, kann der Benutzer unterschiedliche Umgebungssituationen und somit unterschiedliche Einstellungen der Signalverarbeitung definieren. Ein Wunsch nach unterschiedlicher Behandlung von verschiedenem "Rascheln" kann z.B. bei den verschiedenen Nutzungssituationen "zu Hause" (z.B. Zeitung lesen) bzw. "Arbeit/Büro" (Kollege blättert in Dokumenten) vs. "im Freien" (Entspannen im Wald) entstehen.
  • Die Möglichkeit nach unterschiedlicher Behandlung wird dann insbesondere bereitgestellt, in dem in der Trainingsphase aus allen Sensoren des Hörgerätes, d.h. anhand der aufgenommenen Audiosignale (Mikrofone) und auch anderen Sensorsignalen Merkmalsvektoren ermittelt werden, welche in den Darstellungsraum abgebildet werden; aus den aufgenommenen Audiosignalen werden akustische Merkmalsvektoren ermittelt, welche in den akustischen Darstellungsraum abgebildet werden.
  • Anhand eines markierten akustischen Repräsentantenvektors kann der Benutzer erkennen, dass er eine geänderte Signalverarbeitung wünscht (z.B. ist "Zeitungsrascheln" markiert), aber erhält über den akustischen Darstellungsraum, die Information, dass es noch sehr ähnliche Geräusche (hier: Rascheln im Laub). Der markierte akustische Repräsentantenvektor zum Geräusch "Zeitungsrascheln" kann dabei insbesondere eine erste Untergruppe der akustischer Repräsentantenvektoren und somit einen ersten Bereich im akustischen Darstellungsraum bilden, ein anderer akustischer Repräsentantenvektor zum Geräusch "Rascheln im Laub" den zweiten Bereich.
  • Der Benutzer kann nun ein solches ähnliches Geräusch in der Visualisierung selektieren und erhält daraufhin im ("vollen") Darstellungsraum den markierten Repräsentantenvektor wie auch den entsprechenden, akustisch ähnlichen Repräsentantenvektor angezeigt und kann anhand ihrer Positionen erkennen, ob sie dort in unterscheidbaren Regionen liegen. Die eine Region repräsentiert dann die Situation ,zu Hause ', die andere z.B. im Wald`. Wenn diese Unterscheidbarkeit über die akustische Ähnlichkeit hinaus gegeben ist, dann wird gezielt die Signalverarbeitung für die eine Umgebungssituation (,zu Hause'), aber nicht die der anderen Umgebungsituation ('im Wald') angepasst.
  • Vorzugsweise wird ein Hörsystem verwendet, welches eine Hörvorrichtung, insbesondere ein Hörgerät und/oder ein Hörhilfegerät und/oder einen Kopfhörer sowie eine Recheneinheit und insbesondere eine Visualisierungseinrichtung aufweist.
  • Bevorzugt wird dabei die Definition der ersten Region für die erste Umgebungssituation in der Trainingsphase durch den ersten Benutzer eines Hörsystems erfolgt und in einem Cloud-Server gespeichert, wobei für die Anwendungsphase die besagte Definition durch den zweiten Benutzer eines für die Anwendung vergleichbaren, insbesondere hinsichtlich der Hörvorrichtung baugleichen Hörsystems aus dem Cloud-Server in das Hörsystem heruntergeladen wird. Hierdurch werden einzelner Umgebungssituationen, welche Benutzer treffen, für andere Benutzer verwendbar.
  • Bevorzugt wird in der Anwendungsphase durch eine Benutzereingabe eine Korrektur an der Definition der ersten Region und/oder an der Vorgabe für den wenigstens einen Wert einer Einstellung der Signalverarbeitung des Hörsystems vorgenommen, wobei daraufhin in der Anwendungsphase die korrigierte erste Region bzw. der korrigierte Wert der Einstellung der Signalverarbeitung verwendet wird. Hierdurch kann der Benutzer einerseits die für eine erste Umgebungssituation vorab getroffene Definition der wenigstens einen Einstellung der Signalverarbeitung nachträglich anpassen, und andererseits auch die Zuordnung z.B. eines Geräusches zu einer Umgebungssituation noch nachträglich vornehmen bzw. eine solche Zuordnung auch nachträglich löschen.
  • Günstigerweise wird jeder der Merkmalsvektoren jeweils auf einen zugehörigen Repräsentantenvektor in einem eindimensionalen Darstellungsraum abgebildet, wobei anhand einer räumlichen Verteilung der Endpunkte einer Untergruppe von Repräsentantenvektoren ein erstes Intervall im Darstellungsraum als erste Region für die erste Umgebungssituation des Hörsystems definiert wird. Ein eindimensionaler Darstellungsraum kann insbesondere für eine vergleichsweise niedrige Anzahl an Merkmalen (z.B. einem sechsdimensionalen Merkmalsraum) von Vorteil sein.
  • Die Erfindung nennt weiter ein Hörsystem, umfassend eine Hörvorrichtung, insbesondere ein Hörgerät, Hörhilfegerät oder einen Kopfhörer, und eine Hilfsvorrichtung mit einer Rechnereinheit, insbesondere einer Prozessoreinheit eines Smartphones oder Tablets, wobei das Hörsystem zur Durchführung des vorbeschriebenen Verfahrens eingerichtet ist. Das erfindungsgemäße Hörsystem teilt die Vorzüge des erfindungsgemäßen Verfahrens. Die für das Verfahren und für seine Weiterbildungen angegebenen Vorteile können sinngemäß auf das Hörsystem übertragen werden.
  • Bevorzugt umfasst das Hörsystem eine Visualisierungseinrichtung und/oder eine Eingabeeinrichtung für eine Benutzereingabe. Insbesondere sind dabei die Visualisierungseinrichtung und die Eingabeeinrichtung durch einen Touchscreen eines Smartphones oder Tablets implementiert, welches mit der Hörvorrichtung zur Datenübertragung verbindbar ist.
  • Das Hörsystem umfasst in einer bevorzugten Ausgestaltung folgende Teile:
    • Eine Hörvorrichtung, vorzugsweise gegeben durch ein Hörgerät, insbesondere eingerichtet zur Aufnahme eines Audiosignals mittels wenigstens eines eingebauten Mikrofons, sowie bevorzugt mit einem oder mehreren Sensoren wie z.B. einem Beschleunigungssensor und/oder Gyroskop, welche "nicht-akustische" Umgebungsdaten aufnehmen. Die Hörvorrichtung ist bevorzugt zur Erstellung des Merkmalsvektors aus den Umgebungsdaten und insbesondere zur Erstellung eines akustischen Merkmalsvektors aus den akustischen Umgebungsdaten eingerichtet.
    • Eine Hilfsvorrichtung, welche die Visualisierungseinrichtung und die Eingabeeinrichtung umfasst, und bevorzugt durch ein Smartphone oder ein Tablet gegeben ist. Insbesondere umfasst die Hilfsvorrichtung weitere Sensoren zur Ermittlung von Umgebungsdaten (z.B. Lokalisierungsdaten basierend auf GPS), wobei die Hilfsvorrichtung bevorzugt mittels einer drahtlosen Verbindung zur Übertragung dieser Umgebungsdaten an die Hörvorrichtung oder zum Empfang der Umgebungsdaten des Hörgerätes sowie zum Erstellen der genannten Merkmalsvektoren eingerichtet ist.
  • Des Weiteren sind im Hörsystem bevorzugt einzelne modulare Funktionen bzw. Bestandteile implementiert, welche die Durchführung des vorbeschriebenen Verfahrens ermöglichen. Diese modularen Funktionen umfassen insbesondere
    • Ein Software-Eingabemodul, welches ein User-Interface zur Verfügung stellt, an dem der Benutzer konkrete Umgebungssituationen, aber auch Nutzungssituationen anlegen und mit einer entsprechenden Markierung versehen kann ("zu Hause", "im Auto", "im Büro", "in der Kantine", "Fernsehen", "Fahrrad fahren", "im Musikzimmer"), angeben kann, dass er sich nun in einer der angelegten Nutzungssituationen befindet oder eine solche verlässt, konkrete Ereignisse anlegen und mit einer Markierung versehen kann ("Zahnarztbohrer", "Sauger", "Zeitungsrascheln", "Musikinstrumente spielen"), sowie angeben kann, ob ein angelegtes Ereignis soeben eintritt;
    • ein Dimensionsreduktionsmodul, welches die in der Trainingsphase gesammelten Merkmalsvektoren in den 2-dimensionalen (oder 3-dimentionalen oder auch eindimensionalen) Darstellungsraum abbildet. Das Dimensionsreduktionsmodul kann dabei insbesondere in unterschiedlichen Varianten implementiert werden, nämlich über eine Implementierung des t-SNE- Optimierungsverfahren, als UMAP, PCA, oder als Kohonen-Netz, welches Eingangsseitig die hochdimensionalen Merkmalsvektoren entgegennimmt und Ausgangsseitig 2-dimensionale (oder 3-dimensionale) Repräsentantenvektoren ausgibt. Das Dimensionsreduktionsmodul kann auf der Hörvorrichtung, auf einem Smartphone als Hilfsvorrichtung, oder auf einem zusätzlichen Rechner wie einem PC/Laptop implementiert sein.
  • Wenn das Optimierungsverfahren t-SNE eingesetzt wird, ist es vorteilhaft, das Dimensionsreduktionsmodul bevorzugt auf dem Smartphone als Hilfsvorrichtung oder auf einem PC/Laptop zu implementieren, da dort leistungsfähige Prozessoren für die Berechnung bereitstehen. Das Kohonen-Netz kann entweder als spezialisierte Hardware auf einer ASIC der Hörvorrichtung implementiert sein, oder auf einem neuromorphen Chip der Hörvorrichtung, welcher als Kohonen-Netz konfiguriert ist, aber auch für andre Aufgaben konfiguriert werden kann. Das Kohonen-netz kann auch auf der Hilfsvorrichtung implementiert sein;
    • ein Merkmalseditor zur Darstellung von Vektoren eines insbesondere 2-dimensionalen Raumes als Punkte oder auch Pfeile in einer Fläche auf einem Display oder Bildschirm, zur Hervorhebung von Punkten entsprechend einer Markierung des dargestellten Vektors, z.B. durch eine entsprechende Einfärbung, zur Textdarstellung von Eigenschaften einzelner Punkte, z.B. durch entsprechende Textfelder direkt neben einem Punkt, und zur Darstellung von zwei insbesondere 2-dimensionalen Räumen nebeneinander (einem Darstellungsraum und einem akustischen Darstellungsraum der entsprechenden Repräsentantenvektoren).
  • Eine Einfärbung von Punkten kann dabei Markierungen entsprechen, mit denen einzelne Merkmalsvektoren versehen wurden. Wenn die Markierungen eine Nutzungssituation oder eine Umgebungsituation angeben, spiegelt die Einfärbung dies entsprechend wider.
  • Sobald der Benutzer einen Punkt (Repräsentantenvektor) des akustischen Darstellungsraumes selektiert, kann der korrespondierende Punkt des ("vollen" Darstellungsraumes optisch hervorgehoben werden. Der Benutzer kann so erkennen, ob zwei einander ähnliche akustische Ereignisse, z.B. Zeitungsrascheln und Rascheln im Laub, welche im akustischen Merkmalsraum nahe beieinander liegen, durch die Dimensionsreduktion unter Einbeziehung von weiteren Umgebungsmerkmalen voneinander unterscheidbaren Umgebungsituationen zugeordnet werden können, z.B. zu Hause` oder ,im Wald`, denn dann liegen die korrespondierenden Repräsentantenvektoren des Darstellungsraumes in unterschiedlichen Regionen. Der Merkmalseditor kann insbesondere auf der Hilfsvorrichtung implementiert sein.
    • ein Abbildungsmodul, welches in der Anwendungsphase Merkmalsvektoren in den 2- bzw. 3-dimensionalen Darstellungsraum abbildet. Das Abbildungsmodul ist bevorzugt in der Hörvorrichtung selbst implementiert, kann aber auch auf der Hilfsvorrichtung (bevorzugt als Smartphone gegeben) implementiert sein, und das Resultat der besagten Abbildung an die Hörvorrichtung übertragen. Sofern das Dimensionsreduktionsmodul ein t-SNE-Verfahren einsetzt, wird ein Merkmalsvektor mit einer Näherungsfunktion in den Darstellungsraum abgebildet, sofern die Dimensionsreduktion mittels eines Kohonen-Netzes arbeitet, kann die Abbildung von eben demselben Kohonen-Netz vorgenommen werden.
  • Nachfolgend wird ein Ausführungsbeispiel der Erfindung anhand einer Zeichnung näher erläutert. Hierbei zeigt schematisch:
    • Fig. 1
    in einem Blockdiagramm ein Verfahren zum Umgebungsabhängigen Betrieb eines Hörsystems
  • In Fig. 1 ist schematisch in einem Blockdiagramm ein Verfahren zum Umgebungsabhängigen Betrieb eines Hörsystems 1 dargestellt, wobei das Hörsystem vorliegend gebildet wird durch eine als Hörgerät 2 ausgestaltete Hörvorrichtung 3 sowie eine als Smartphone 4 ausgestaltete Hilfsvorrichtung 5. Die Hörvorrichtung 3 weist wenigstens einen elektro-akustischen Eingangswandler 6 auf, welcher vorliegend als ein Mikrofon ausgestaltet ist und aus einem Umgebungsschall ein Audiosignal 7 erzeugt. Des Weiteren weist die Hörvorrichtung 3 weitere Sensoren 8 auf, welche zusätzliche Sensorsignale 9 erzeugt. Die Sensoren 8 können dabei z.B. einen Beschleunigungssensor oder auch einen Temperatursensor umfassen.
  • In einer Trainingsphase 10 des Verfahrens werden nun für eine Mehrzahl an Erhebungszeitpunkten T1, T2, T3 jeweils anhand des Audiosignals 7 und des Sensorsignals 9 Umgebungsdaten ermittelt. Dies geschieht vorliegend, indem für das zunächst aus dem Audiosignal 7 laufend akustische Umgebungsdaten 12 erzeugt werden. Die akustischen Umgebungsdaten 12 umfassen hierbei: Eine 4-Hz-Modulation; einen Onset-Mean; eine Autokorrelationsfunktion; einen Pegel für tiefe und mittlere Frequenzen eines Rauschhintergrundes sowie ein Zentroid des Rauschhintergrundes; eine Stationarität; eine Windaktivität; einen Breitband-Maximalpegel; eine eigene Stimmaktivität. Ebenso werden aus dem Sensorsignal 9 laufen bewegungsbezogene Umgebungsdaten 14 erzeugt, welche hierbei die gemessenen instantanen Beschleunigungen in den drei Raumrichtungen umfassen. Weitere Arten von akustischen Umgebungsdaten 12 und/oder bewegungsbezogenen Umgebungsdaten 14 oder sonstigen, insbesondere ortsbezogenen und/oder biometrischen Umgebungsdaten werden allgemein als Umgebungsdaten 15 mit einbezogen, beispielsweise Magnetfeldsensoren, sonstige Handy- und/oder Smartwatchsensoren, ein Gyroskop, eine Pulsmessung, eine PPG-Messung (Photoplethysmogram), ein Elektrokardiogramm (EKG), eine Erkennung von Stress über die Messung des Herzschlags und seiner Variation, ein Lichtsensor, ein Barometer, ein Höraufwand bzw. eine Höraktivität (beispielsweise über eine "auditory attention"mittels einer EEG-Messung), eine Messung von Augen- bzw. Kopfbewegungen durch Muskelaktivität (EMG), Standort-Information über GPS, WLAN-Information, Geo-Fencing oder Bluetooth-Beacons für den aktuellen Standort bzw. Bereich.
  • Für die akustischen Umgebungsdaten 12 (vorliegend zehn verschiedene Arten an Daten) und die (vorliegend) drei bewegungsbezogenen Umgebungsdaten 14 erfolgt jeweils für den Zeitraum zwischen zwei Erhebungszeitpunkten T1, T2, T3 eine Pufferung 16 (für eine Erhebung zum Erhebungszeitpunkt T1 werden die genannten Signale ab einem Startzeitpunkt T0 gepuffert). Anschließend werden zu jeder einzelnen Art der akustischen Umgebungsdaten 12 und der bewegungsbezogenen Umgebungsdaten 14 jeweils ein Mittelwert Mn, eine Varianz Var und eine Mittelwert-Durchgangsrate MCR gebildet. Die genannten statistischen Größen Mn, Var, MCR der einzelnen akustischen Umgebungsdaten 12 und der bewegungsbezogenen Umgebungsdaten 14 über den gepufferten Zeitraum zwischen zwei Erhebungszeitpunkten T1, T2, T3 hinweg bilden hierbei für den Erhebungszeitpunkt T1, T2, T3 am Ende des Zeitraums der Pufferung jeweils Umgebungsmerkmale 16, und jeweils zu einem hochdimensionalen Merkmalsvektor M1, M2, M3 in einem hochdimensionalen Merkmalsraum 18 abgebildet. Die hohe Dimensionalität, z.B. 39D für jeweils drei statistische Merkmale aus zehn akustischen und drei bewegungsbezogenen Umgebungsdaten, ist hier nur durch die Anzahl der Achsen an den Diagrammen des Merkmalsraums 18 für die einzelnen Merkmalsvektoren M1, M2, M3 angedeutet.
  • Jeder der Merkmalsvektoren M1, M2, M3 wird nun aus dem Merkmalsraum 18 auf einen entsprechenden Repräsentantenvektor R1, R2, R3 in einem zweidimensionalen Darstellungsraum 20 abgebildet. Die Abbildung erfolgt hierbei bspw. mittels eines t-SNE-Optimierungsverfahrens (t-Distributed Stochastic Neighbor Embedding).
  • Nachfolgend wird der Ablauf des Optimierungsverfahrens kurz beschrieben (siehe z.B. "Visualizing Data using t-SNE", 2008, Laurens van der Maaten and Geoffrey Hinton).
  • Ein sog. Perplexity-Paramater definiert eine Anzahl der effektiven Nachbarn der Merkmalsvektoren, d.h., der Perplexity-Parameter bestimmt, wieviele Nachbarn einen Einfluss auf eine endgültige Lage des entsprechenden Repräsentantenvektors im zweidimensionalen Darstellungsraum 20 haben (dieser Parameter kann vorliegend z.B. auf einen Wert von 50 oder in der Größenordnung von 1/100 der Anzahl an Merkmalsvektoren gesetzt werden). Danach werden für alle Paare von hochdimensionalen Merkmalsvektoren einmalig Wahrscheinlichkeitsmaße dafür berechnet, dass zwei betreffende Merkmalsvektoren als nächste Nachbarn im hochdimensionalen Merkmalsraum zu identifizieren sind. Dies bildet eine Ausgangssituation ab.
  • Für den zweidimensionalen Darstellungsraum werden als Startwert zufällige, Gauß-verteilte Zufallszahlen Y angenommen. Danach werden in einzelnen Iterationen die aktuellen Ähnlichkeitsbeziehungen in Y berechnet. Zur Optimierung der Abbildung der Ähnlichkeitsbeziehungen wird nun eine Ähnlichkeit zwischen dem Merkmalsraum und dem Darstellungsraum anhand einer Kullback-Leibler-Divergenz festgestellt. Mit Hilfe eines Gradienten der besagten Divergenz werden die Repräsentantenvektoren (bzw. ihre Endpunkte) im Darstellungsraum über T Iterationen hinweg verschoben.
  • Eine mögliche Darstellung des Algorithmus lautet:
    • Merkmalsraum der hochdimensionalen Merkmalsvektoren X = {x1; x2; ... ; x n }, mit n als der Anzahl aller vorliegenden Merkmalsvektoren (vorliegend z.B. n = 4016)
    • Kostenfunktionsparameter: "perplexity" Perp: bestimmt die Anzahl der effektiven Nachbarn, mittels Wahl der Varianz σi für jeden Punkt durch eine binäre Suche (starker Einfluss auf Y)
    • Optimierungsparameter: Festlegung einer Anzahl an Iterationen t von T (z.B. 500), einer Lernrate h (z.B. 1000), und eines Momentums a(t) (z.B. 0.5 für t < 250, sonst a(t) = 0.8)
    • Ergebnis: zweidimensionaler Darstellungsraum Y = {y1; y2; ... ; y n },
    - Start des Verfahrens:
    • Berechnung des Wahrscheinlichkeitsmaßes für alle Merkmalsvektoren-Paare pij im hochdimensionalen Raum: p j i = p ˜ j i ∑ k ≠ i p ˜ k i mit p ˜ j i = exp − x i − x j 2 / 2 σ i
      Figure imgb0003
    • Setze p ij = p j i + p i j 2n
      Figure imgb0004
    • "Zufälliges Ziehen" von n zweidimensional Gauß-verteilten Zufallszahlen zur Initialisierung von Y
    • Optimierung des r Abbildung in den Darstellungsraum:
      • o Zählschleife der Optimierung für t=1 bis T:
        • ▪ Berechne das aktuelle Wahrscheinlichkeitsmaß im zweidimensionalen Raum: q ij = 1 + y i − y j 2 − 1 ∑ k ≠ l 1 + y k − y l 2 − 1
          Figure imgb0005
        • ▪ Messe die Ähnlichkeit zwischen X und Y (Kullback-Leibler-Divergenz) C = ∑ j ∑ i p ij log p ij q ij
          Figure imgb0006
        • ▪ Berechne den Gradienten: ∂ C ∂ y i = 4 ∑ j p ij − q ij y i − y j 1 + y i − y j 2 − 1
          Figure imgb0007
        • ▪ Verschiebe die zweidimensionalen Repräsentantenvektoren: y i t = y i t − 1 + h ∂ C ∂ y i + a y i t − 1 − y i t − 2
          Figure imgb0008
      • o Ende der Optimierung
    • Ende des Verfahrens
  • Auf das vorliegende Verfahren bezogen werden durch die oben beschriebene Abbildungsvorschrift somit Repräsentantenvektoren R1, R2, R3 im zweidimensionalen Darstellungsraum 20 aus den Merkmalsvektoren M1, M2, M3 des Merkmalsraumes 18 erzeugt.
  • Ein Benutzer des Hörsystems 1 kann sich den Darstellungsraum 20 nun auf seiner Hilfsvorrichtung 5 (auf dem Bildschirm 21 des Smartphones 4) darstellen lassen, und z.B. einen zusammenhängenden Bereich 22 als erste Region 24 definieren, welche einer konkreten ersten Umgebungssituation 25 in seiner Anwendung des Hörsystems 1 entspricht. Der besagten ersten Region 24 kann der Benutzer nun eine konkrete Einstellung 26 einer Signalverarbeitung des Audiosignals 7 in der Hörvorrichtung 3 zuordnen, beispielsweise frequenzbandweise Verstärkungs- und/oder Kompressionswerte und -parameter, oder Steuerparameter einer Rauschunterdrückung o.ä. Mit der Zuordnung der Einstellung 26 der Signalverarbeitung zur ersten Region 24 (und somit zur vorliegenden ersten Umgebungssituation 25, wie sie durch die Werte der Umgebungsdaten 15 in den einzelnen Merkmalsvektoren M1, M2, M3 charakterisiert ist), kann die Trainingsphase 10 für eine bestimmte Umgebungssituation as abgeschlossen betrachtet werden. Bevorzugt erfolgen dabei mehrere Trainingsphasen 10 für verschiedene Umgebungssituationen.
  • In einer Anwendungsphase 30 werden nun aus dem Audiosignal 7 der Hörvorrichtung 3 und aus dem Sensorsignal 9 zu einem Anwendungszeitpunkt T4 dieselben Umgebungsdaten 15 erhoben, wie in der Trainingsphase, und hieraus auf dieselbe Weise anhand der zum Anwendungszeitpunkt T4 ermittelten Werte auf entsprechende Weise ein Merkmalsvektor M4 im hochdimensionalen Merkmalsraum 18 gebildet. Hierbei können die Werte beispielsweise aus dem Mittelwert Mn, der Varianz Var und der Mittelwert-Durchgangsrate MCR der über einen kurzen Zeitraum (z.B. 60 Sekunden o.ä.) vor dem Anwendungszeitpunkt T4 erhobenen akustischen und bewegungsbezogenen Daten 12, 14 gebildet werden.
  • Der Merkmalsvektor M4 für den Anwendungszeitpunkt T4 wird nun auf einen Repräsentantenvektor R4 im Darstellungsraum 20 abgebildet.
  • Da das in der Trainingsphase 10 des vorliegenden Beispiels verwendete t-SNE-Verfahren zur Abbildung der Merkmalsvektoren M1, M2, M3 des Merkmalsraums 18 auf die Repräsentanten-vektoren R1, R2, R3 im Darstellungsraum 20 ein Optimierungsverfahren ist, welches das Wissen für alle verwendeten Merkmalsvektoren benötigt, erfolgt eine entsprechende Abbildung in der Anwendungsphase 30 mittels einer Näherungsabbildung (z.B. einer sog. "out-of-sample extension", OOS-Kernel). Dies kann über eine Regression erfolgen, mittels derer eine Abbildung anhand einer Vielzahl an Merkmalsvektoren des Merkmalsraumes 18 (z.B. 80% der Merkmalsvektoren) auf entsprechende Repräsentantenvektoren des Darstellungsraumes 20 "gelernt" wird, und verbleibende Merkmalsvektoren (also dann z.B. 20%) dazu verwendet werden, die Qualität der resultierenden Abbildung zu "testen". Mit der Abbildung der "Lernvektoren", also der zum Lernen der Abbildung verwendeten Merkmalsvektoren auf entsprechende Repräsentantenvektoren, kann dann eine Kernelfunktion bestimmt werden, welche lokale Abstandsbeziehungen zwischen den besagten Merkmals- und Represäntantenvektoren in ihren jeweiligen Räumen (Merkmals- bzw. Darstellungsraum) erhält. Damit kann ein neuer, unbekannter Merkmalsvektor vom Merkmalsraum 18 auf einen zugehörigen Repräsentantenvektor im Darstellungsraum 20 abgebildet werden, indem man die lokalen Abstandsbeziehungen zwischen den bekannten "Lernvektoren" erhält.
  • Eine detaillierte Erklärung hierzu findet sich z.B. in "Out-of-Sample Kernel and Extensions for Nonparametric Dimensionality Reduction", Andrej Gisbrecht, Wouter Lueks, Bassam Mokbel und Barbara Hammer, ESANN 2012 proceedings, European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning, Brügge (Belgien), 25.-27. April 2012, sowie in "Parametric nonlinear dimensionality reduction using kernel t-SNE", Andrej Gisbrecht, Alexander Schulz und Barbara Hammer, Neurocomputing, Vol. 147, 71 - 82, Januar 2015.
  • Liegt nun der für den Anwendungszeitpunkt T4 wie beschrieben bestimmte Repräsentantenvektor R4 in der ersten Region 24, so wird erkannt, dass für das Hörsystem 1 die erste Umgebungssituation 25 vorliegt, und entsprechend die Hörvorrichtung 3 mit den Einstellungen 26 für die Signalverarbeitung des Audiosignals 26 betrieben, und die vorab definierten Verstärkungs- und/oder Kompressionswerte und -parameter, oder Steuerparameter einer Rauschunterdrückung auf das Audiosignal 7 angewandt.
  • Obwohl die Erfindung im Detail durch das bevorzugte Ausführungsbeispiel näher illustriert und beschrieben wurde, ist die Erfindung nicht durch dieses Ausführungsbeispiel eingeschränkt. Andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.
    • Bezugszeichenliste
    • 1 Hörsystem
    • 2 Hörgerät
    • 3 Hörvorrichtung
    • 4 Smartphone
    • 5 Hilfsvorrichtung
    • 6 Eingangswandler
    • 7 Audiosignal
    • 8 Sensor
    • 9 Sensorsignal
    • 10 Trainingsphase
    • 12 akustische Umgebungsdaten
    • 14 bewegungsbezogene Umgebungsdaten
    • 16 Pufferung
    • 18 Merkmalsraum
    • 20 Darstellungsraum
    • 21 Bildschirm
    • 22 Bereich
    • 24 erste Region
    • 25 erste Umgebungssituation
    • 26 Einstellung (einer Signalverarbeitung)
    • 30 Anwendungsphase
    • M1, M2, M3 Merkmalsvektor (in der Trainingsphase)
    • M4 Merkmalsvektor (in der Anwendungsphase)
    • MCR Mittelwert-Durchgangsrate
    • Mn Mittelwert
    • R1, R2, R3 Repräsentantenvektor (in der Trainingsphase)
    • R4 Repräsentantenvektor (in der Anwendungsphase)
    • T0 Startzeitpunkt
    • T1, T2, T3 Erhebungszeitpunkt
    • T4 Anwendungszeitpunkt
    • Var Varianz

Claims (13)

  1. Verfahren zum umgebungsabhängigen Betrieb eines Hörsystems (1), wobei in einer Trainingsphase (10)
    - zu einer Mehrzahl an Erhebungszeitpunkten (T1, T2, T3) jeweils Werte für eine erste Mehrzahl an Umgebungsdaten (15) eines ersten Benutzers des Hörsystems (1) ermittelt wird, und anhand der Werte der Umgebungsdaten (15) für jeden der Erhebungszeitpunkte (T1, T2, T3) jeweils ein Merkmalsvektor (M1, M2, M3) in einem wenigstes vierdimensionalen, insbesondere mindestens sechsdimensionalen Merkmalsraum (18) gebildet wird,
    - jeder der Merkmalsvektoren (M1, M2, M3) jeweils auf einen zugehörigen Repräsentantenvektor (R1, R2, R3) in einem maximal dreidimensionalen, insbesondere zweidimensionalen Darstellungsraum (20) abgebildet wird, und
    - anhand einer räumlichen Verteilung einer Untergruppe von Repräsentantenvektoren (R1, R2, R3) eine erste Region (24) im Darstellungsraum (20) für eine erste Umgebungssituation (25) des Hörsystems (1) definiert wird,
    wobei für die erste Umgebungssituation (25) wenigstens ein Wert einer Einstellung (26) für eine Signalverarbeitung des Hörsystems (1) vorgegeben wird, und
    wobei in einer Anwendungsphase (30)
    - zu einem Anwendungszeitpunkt (T4) Werte für die erste Mehrzahl an Umgebungsdaten (15) des ersten Benutzers oder eines zweiten Benutzers des Hörsystems (1) ermittelt werden und anhand der Werte der Umgebungsdaten (15) ein entsprechender Merkmalsvektor (M4) für den Anwendungszeitpunkt (T4) gebildet wird,
    - anhand der ersten Region (24) des Darstellungsraumes (20) und anhand des Merkmalsvektors (T4) für den Anwendungszeitpunkt (T4) ein Vorliegen der ersten Umgebungssituation (25) erkannt wird, und der wenigstens eine Wert der Signalverarbeitung des Hörsystems (1) entsprechend seiner Vorgabe für die erste Umgebungssituation (25), insbesondere automatsch, eingestellt wird, und
    - das Hörsystem (1) mit dem so eingestellten wenigstens einen Wert betrieben wird, und
    wobei für die erste Mehrzahl an Umgebungsdaten (15) akustische Umgebungsdaten (12) anhand eines Signals (7) wenigstens eines elektroakustischen Eingangswandlers ermittelt werden,
    dadurch gekennzeichnet, dass
    für die erste Mehrzahl an Umgebungsdaten (15) weiter
    - bewegungsbezogene Umgebungsdaten (14) anhand wenigstens eines Signals eines Beschleunigungssensors (8) und/oder eines Gyroskops, und/oder
    - ortsbezogene Umgebungsdaten anhand wenigstens eines Signals eines GPS-Sensors und/oder einer WLAN-Verbindung, und/oder
    - biometrische Umgebungsdaten anhand eines EKG-Sensors und/oder eines EEG-Sensors und/oder eines PPG-Sensors und/oder eines EMG-Sensors ermittelt werden.
  2. Verfahren nach Anspruch 1,
    wobei in der Trainingsphase (10) durch eine Benutzereingabe jeweils eine Information zu einer aktuellen Nutzungssituation des Hörsystems (1), insbesondere in Abhängigkeit einer abgegrenzten Situation im Tagesablauf des ersten Benutzers des Hörsystems (1) hinterlegt wird, und
    wobei die jeweilige Information zur Nutzungssituation mit den Merkmalsvektoren (T1, T2, T3) und/oder den zugehörigen Repräsentantenvektoren (R1, R2, R3) verknüpft wird, welche anhand der während einer bestimmten Nutzersituation erhobenen Werte der Umgebungsdaten (15) gebildet werden.
  3. Verfahren nach Anspruch 1 oder Anspruch 2,
    wobei wenigstens ein Teilbereich des Darstellungsraums (20), insbesondere mittels eines Bildschirms (21), visualisiert wird, und dabei wenigstens eine Teilmenge der Repräsentantenvektoren (R1, R2, R3) angezeigt wird, und
    wobei die erste Region (24) im Darstellungsraum (20) anhand einer Benutzereingabe, insbesondere hinsichtlich einer Gruppierung von visualisierten Repräsentantenvektoren (R1, R2, R3), definiert wird.
  4. Verfahren nach einem der vorhergehenden Ansprüche,
    wobei zumindest in der Trainingsphase (10) die Abbildung der Merkmalsvektoren (M1, M2, M3) auf die jeweils zugehörigen Repräsentantenvektoren (R1, R2, R3) derart erfolgt, dass Abstandsrelationen von jeweils wenigstens drei Merkmalsvektoren (M1, M2, M3) im Merkmalsraum (18) infolge der Abbildung wenigstens näherungsweise für Abstandsrelationen der zugehörigen drei Repräsentantenvektoren (R1, R2, R3) im Darstellungsraum (20) erhalten bleiben.
  5. Verfahren nach einem der vorhergehenden Ansprüche,
    wobei in der Anwendungsphase (30) ein Vorliegen der ersten Umgebungssituation erkannt (25) wird, indem der Merkmalsvektor (M4) für den Anwendungszeitpunkt (T4), in den Darstellungsraum (20) abgebildet wird, und eine Position des hierdurch gebildeten Repräsentantenvektors (R4) relativ zur ersten Region (24) bewertet wird, und insbesondere der Repräsentantenvektor (R4) als innerhalb der ersten Region (24) liegend erkannt wird.
  6. Verfahren nach einem der Ansprüche 1 bis 5,
    wobei in der Anwendungsphase (30) ein Vorliegen der ersten Umgebungssituation (25) anhand des Merkmalsvektors (M4) für den Anwendungszeitpunkt (T4) und anhand wenigstens einiger der Merkmalsvektoren (M1, M2, M3) im Merkmalsraum (18), welche im Darstellungsraum (20) auf die Repräsentantenvektoren (R1, R2, R3) der ersten Region (24) abgebildet werden, erkannt wird.
  7. Verfahren nach einem der vorhergehenden Ansprüche,
    wobei in der Anwendungsphase (30) zu einer Mehrzahl an aufeinanderfolgenden Anwendungszeitpunkten (T4) jeweils Werte für die erste Mehrzahl an Umgebungsdaten (15) ermittelt werden und anhand der Werte der Umgebungsdaten (15) jeweils entsprechende Merkmalsvektoren (M4) für die aufeinanderfolgenden Anwendungszeitpunkte (T4) gebildet werden, und
    wobei ein Vorliegen der ersten Umgebungssituation (25) anhand der ersten Region (24) und anhand der besagten Merkmalsvektoren (M4) für die aufeinanderfolgenden Anwendungszeitpunkte (T4), insbesondere anhand eines Polygonzugs aus den besagten Merkmalsvektoren (M4) oder eines Polygonzugs aus den Repräsentantenvektoren (R4), welche im Darstellungsraum (20) den besagten Merkmalsvektoren (M4) entsprechen, erkannt wird.
  8. Verfahren nach einem der vorhergehenden Ansprüche,
    wobei für die akustischen Umgebungsdaten (12) das Signal (7) des wenigstens einen elektroakustischen Eingangswandlers
    - hinsichtlich einer Sprachaktivität des ersten bzw. zweiten Benutzers des Hörsystems (1) und/oder
    - hinsichtlich eines Auftretens von Wind am elektroakustischen Eingangswandler und/oder
    - hinsichtlich eines spektralen Schwerpunkts eines Rauschhintergrundes und/oder
    - hinsichtlich eines Rauschhintergrundes in wenigstens einem Frequenzband und/oder
    - hinsichtlich einer Stationarität eines Schallsignals der Umgebung und/oder
    - hinsichtlich einer Autokorrelationsfunktion und/oder
    - hinsichtlich einer Modulationstiefe bei einer gegebenen Modulationsfrequenz, welche maximal 10 Hz beträgt, und/oder
    - hinsichtlich eines Einsetzens einer Sprachaktivität
    analysiert wird.
  9. Verfahren nach einem der vorhergehenden Ansprüche,
    wobei als Werte der Umgebungsdaten (15) für einen Erhebungszeitpunkt (T1, T2, T3) und/oder den Anwendungszeitpunkt (T4) jeweils ein Mittelwert (Mn) und/oder eine Varianz (Var) und/oder eine Mittelwert-Durchgangsrate (MCR) und/oder ein Wertebereich und/oder ein Median der jeweiligen Umgebungsdaten, insbesondere bezogen auf einen Zeitraum zwischen dem jeweiligen Erhebungszeitpunkt (T2, T3) und einem unmittelbar vorangehenden Erhebungszeitpunkt (T1, T2) bzw. auf einen Zeitraum zwischen dem Anwendungszeitpunkt (T4) und einem unmittelbar vorangehenden Anwendungszeitpunkt, ermittelt werden.
  10. Verfahren nach einem der vorhergehenden Ansprüche,
    wobei anhand der akustischen Umgebungsdaten (12) jeweils einzelne Vektorprojektionen der Merkmalsvektoren (M1, M2, M3) der Erhebungszeitpunkte (T1, T2, T3) in einen akustischen Merkmalsraum gebildet werden,
    wobei die Vektorprojektionen des akustischen Merkmalsraumes jeweils auf akustische Repräsentantenvektoren in einem maximal dreidimensionalen, insbesondere zweidimensionalen akustischen Darstellungsraum abgebildet werden,
    wobei im akustischen Darstellungsraum eine zweite Region für die erste Umgebungssituation (25) des Hörsystems (1) definiert wird, und
    wobei ein Vorliegen der ersten Umgebungssituation (25) zusätzlich anhand der zweiten Region des akustischen Darstellungsraumes, insbesondere durch einen Vergleich mit einer Abbildung des Merkmalsvektors (M4) des Anwendungszeitpunktes (T4) in den akustischen Darstellungsraum, erkannt wird.
  11. Verfahren nach einem der Ansprüche 2 bis 10,
    wobei die erste Umgebungssituation (25) zusätzlich anhand einer ersten Nutzungssituation definiert wird, und für die erste Umgebungssituation (25) ein erster Wert der Einstellung (26) für die Signalverarbeitung des Hörsystems (1) vorgegeben wird,
    wobei eine zweite Umgebungssituation anhand einer zweiten Nutzungssituation definiert wird, und ein entsprechender zweiter Wert der besagten Einstellung (26) vorgegeben wird,
    wobei ein Vorliegen der ersten oder der zweiten Umgebungssituation anhand einem Vorliegen der ersten bzw. zweiten Nutzungssituation erkannt wird, und daraufhin der erste bzw. zweite Wert der Signalverarbeitung des Hörsystems (1) entsprechend seiner Vorgabe für die erste bzw. zweite Umgebungssituation eingestellt wird.
  12. Verfahren nach einem der vorhergehenden Ansprüche,
    wobei die Definition der ersten Region (24) für die erste Umgebungssituation (25) in der Trainingsphase (10) durch den ersten Benutzer eines Hörsystems (1) mit einer Hörvorrichtung (3) erfolgt und in einem Cloud-Server gespeichert wird, und wobei für die Anwendungsphase (30) die besagte Definition durch den zweiten Benutzer eines für die Anwendung vergleichbaren Hörsystems (1) aus dem Cloud-Server in das Hörsystem (1) heruntergeladen wird.
  13. Hörsystem (1), umfassend eine Hörvorrichtung (3), insbesondere ein Hörgerät (2), Hörhilfegerät oder einen Kopfhörer, und eine Hilfsvorrichtung (5) mit einer Rechnereinheit, insbesondere einer Prozessoreinheit eines Smartphones (4) oder Tablets, wobei das Hörsystem (1) zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist.
EP20210166.3A 2019-12-06 2020-11-27 Verfahren zum umgebungsabhängigen betrieb eines hörsystems Active EP3833053B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019219113 2019-12-06
DE102020208720.2A DE102020208720B4 (de) 2019-12-06 2020-07-13 Verfahren zum umgebungsabhängigen Betrieb eines Hörsystems

Publications (3)

Publication Number Publication Date
EP3833053A1 EP3833053A1 (de) 2021-06-09
EP3833053B1 true EP3833053B1 (de) 2025-01-01
EP3833053C0 EP3833053C0 (de) 2025-01-01

Family

ID=73642574

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20210166.3A Active EP3833053B1 (de) 2019-12-06 2020-11-27 Verfahren zum umgebungsabhängigen betrieb eines hörsystems

Country Status (1)

Country Link
EP (1) EP3833053B1 (de)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4185866B2 (ja) * 2004-01-14 2008-11-26 富士通株式会社 音響信号処理装置および音響信号処理方法
US9131321B2 (en) * 2013-05-28 2015-09-08 Northwestern University Hearing assistance device control
KR102077264B1 (ko) * 2013-11-06 2020-02-14 삼성전자주식회사 생활 패턴을 이용하는 청각 기기 및 외부 기기

Also Published As

Publication number Publication date
EP3833053A1 (de) 2021-06-09
EP3833053C0 (de) 2025-01-01

Similar Documents

Publication Publication Date Title
DE69904822T2 (de) Verfahren und Anordnung zur Aufnahme von Schallsignalen
EP2603018B1 (de) Hörvorrichtung mit Sprecheraktivitätserkennung und Verfahren zum Betreiben einer Hörvorrichtung
DE102017214164B3 (de) Verfahren zum Betrieb eines Hörgeräts und Hörgerät
EP2645743B1 (de) Hörvorrichtung für eine binaurale Versorgung und Verfahren zum Bereitstellen einer binauralen Versorgung
DE102020114146A1 (de) Sprechernachbildung eines mikrofons zur winddetektion
EP2405673B1 (de) Verfahren zum Lokalisieren einer Audioquelle und mehrkanaliges Hörsystem
US20160157030A1 (en) Hearing-Aid Noise Reduction Circuitry With Neural Feedback To Improve Speech Comprehension
DE102020208720B4 (de) Verfahren zum umgebungsabhängigen Betrieb eines Hörsystems
EP3565276B1 (de) Verfahren zum betrieb eines hörgeräts und hörgerät
EP3873108A1 (de) Hörsystem mit mindestens einem im oder am ohr des nutzers getragenen hörinstrument sowie verfahren zum betrieb eines solchen hörsystems
DE102007035174A1 (de) Hörvorrichtung gesteuert durch ein perzeptives Modell und entsprechendes Verfahren
EP2239963B1 (de) Verfahren und Hörvorrichtung zum Einstellen eines Hörgeräts mit in einer externen Einheit aufgezeichneten Daten
EP3833053B1 (de) Verfahren zum umgebungsabhängigen betrieb eines hörsystems
DE112019003350T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahrenund programm
DE102005030326B4 (de) Vorrichtung, Verfahren und Computerprogramm zur Analyse eines Audiosignals
DE102009019405A1 (de) Vorrichtung und Verfahren zur binauralen Wiedergabe von Audio-Sonarsignalen
EP2635047A2 (de) Verfahren zum Anpassen einer Hörvorrichtung anhand des Sensory Memory
EP2792165A1 (de) Anpassung einer klassifikation eines audiosignals in einem hörgerät
DE102015212609A1 (de) Verfahren zum Betrieb eines Hörgerätesystems und Hörgerätesystem
DE10142347C1 (de) Automatische Adaption von Hörgeräten an unterschiedliche Hörsituationen
EP4149121A1 (de) Verfahren zum betrieb eines hörgeräts
DE102020216439A1 (de) Verfahren zum Betrieb eines Hörsystems mit einem Hörinstrument
DE102013207080B4 (de) Binaurale Mikrofonanpassung mittels der eigenen Stimme
DE102022200810B3 (de) Verfahren für ein Hörsystem zur Anpassung einer Mehrzahl an Signalverarbeitungsparametern eines Hörinstrumentes des Hörsystems
DE102018204260B4 (de) Auswerteeinrichtung, Vorrichtung, Verfahren und Computerprogrammprodukt für eine hörgeschädigte Person zur umgebungsabhängigen Wahrnehmung eines Schallereignisses

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20211209

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20220422

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20240809

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502020010092

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

U01 Request for unitary effect filed

Effective date: 20250101

U07 Unitary effect registered

Designated state(s): AT BE BG DE DK EE FI FR IT LT LU LV MT NL PT RO SE SI

Effective date: 20250110