[go: up one dir, main page]

EP1605440A1 - Procédé de séparation de signaux sources à partir d'un signal issu du mélange - Google Patents

Procédé de séparation de signaux sources à partir d'un signal issu du mélange Download PDF

Info

Publication number
EP1605440A1
EP1605440A1 EP05291254A EP05291254A EP1605440A1 EP 1605440 A1 EP1605440 A1 EP 1605440A1 EP 05291254 A EP05291254 A EP 05291254A EP 05291254 A EP05291254 A EP 05291254A EP 1605440 A1 EP1605440 A1 EP 1605440A1
Authority
EP
European Patent Office
Prior art keywords
signal
separation
sources
covariance
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP05291254A
Other languages
German (de)
English (en)
Other versions
EP1605440B1 (fr
Inventor
Laurent Benaroya
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audionamix SA
Original Assignee
Mist Technologies
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mist Technologies filed Critical Mist Technologies
Publication of EP1605440A1 publication Critical patent/EP1605440A1/fr
Application granted granted Critical
Publication of EP1605440B1 publication Critical patent/EP1605440B1/fr
Ceased legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating

Definitions

  • the present invention relates to a method for determining signals respectively relating to sound sources from a signal from the mixture of these signals.
  • the field of the present invention is that of the digital processing of signals relating to sound sources, also called simply sound, audio or audio signals.
  • the processing performed on the sound signals is not in the time domain but in the frequency domain.
  • a short-term Fourier transform which is a linear transform associating with a signal in the sampled time domain ⁇ x (t 1 ), ..., x (t N ) ⁇ a two-dimensional time-frequency signal noted here x (t k , f), where t k is a frame index of the sampled digital signal and f is a generally discrete frequency index.
  • the signal x (t k , f) is therefore a signal of the frequency domain and is in the form of frames indexed at t k .
  • s 1 (t, f) follows a Gaussian law centered and of variance ⁇ 2 / i ( f )
  • each component of the vector S and W ( t k , f ) can be obtained by the following relation: where e i (f) is the energy fraction of the source i contained a priori in the mixing signal, at the index frequency f, where N is the total number of sources and x ( t k , f ) is the mixing signal.
  • the two sound sources were evaluated and their respective characteristic spectral shapes ⁇ 2/1 (f) and ⁇ 2/2 (f), which represent, finally, as it is known, their energy distributions according to the frequency. If we consider that the signals in the frequency domain relating to these two sources s 1 ( t, f ) and s 2 ( t , f ) are gaussian random variables, non-stationary, ⁇ 2/1 (f) and ⁇ 2/2 (f) represent their variance, respectively.
  • the Wiener filter has the following main disadvantages. It operates identically on all the frames of the mix sound signal and so it does not hold any changes in the sound energy content from one frame to another. Ultimately, it is not an adaptive filter. Another disadvantage is that it does not takes into account that a characteristic spectral form by sound source then same as the sound sources have a great spectral variety in term stamp, height, intensity, etc.
  • the sound signal of each source s i (t) is characterized by a set of K i spectral forms ⁇ 2 / k i (f), k i ⁇ [1, ..., K i ].
  • K i spectral forms ⁇ 2 / k i (f), k i ⁇ [1, ..., K i ].
  • N sources their mixture is characterized by a set of K 1 x K 2 x ... x K N N N-tuples of characteristic spectral forms ( ⁇ 2 / k l (f), ..., ⁇ 2 / k N (f)).
  • the method consists in first choosing the N-tuple of spectral shapes that best corresponds to the sound signal of the mixture.
  • it can consist in maximizing the probability of correspondence between the spectrogram of the mixture
  • it consists of filtering the mixture by conventional Wiener filtering using the N-tuple of spectral shapes thus selected. It can be seen that this method is adaptive since the choice of the parameters of the filter depends on the frame index t k considered.
  • the main disadvantage of this method lies in its algorithmic complexity. Indeed, if K characteristic spectral forms by source i and N sources i are considered in the mixture, K N N-tuples of characteristic spectral forms must be tested for each frame so that the complexity is in O (K n x T) if T is the number of frames of the mix signal to be analyzed. This disadvantage of complexity can make this method unacceptable, especially when the number of characteristic spectral forms per source is relatively large.
  • the sound signal of each source s i (t) is characterized by a set of K i characteristic spectral forms ⁇ 2 / k i (f) but which are there grouped in a dictionary of spectral forms.
  • 2 is decomposed on the union of the dictionaries in presence and it is thus possible to write: where the coefficients a k i (t), are called "amplitude factors", are the unknowns to solve.
  • Equation above can be rewritten as follows: e i (t k , f) represents the fraction of energy of the source i contained in the mixture to be analyzed.
  • a first method for estimating the sound signals from sources 1 to N is to implement Wiener time-frequency filtering, which is nevertheless adaptive since it depends on the frame index t.
  • This filter is called a generalized Wiener filter. So for the source i, the estimate s and i, W boy Wut ( t k , f ):
  • This second method by the use of a dictionary of characteristic spectral shapes has the advantage over the previous method of reducing the algorithmic complexity. Indeed, for n sources each having K spectral forms, the algorithmic complexity is in O (nx K x T) where T is the number of frames to be analyzed, therefore lower than that of the previous method which was in O (K n x T).
  • the human auditory system is indeed very sensitive to phase coherences in the audio signals, in particular inter-frame coherences for fixed f (coherent phase between s ( t k +1 , f ) and s ( t k , f )) and the phase coherences for the same frame but for different values of the frequency f (phase of s ( t k , f ) for different values of f).
  • phase coherence effects are particularly sensitive on harmonic sounds, such as the sounds of a musical instrument, or voiced sounds, while they are less important on white noise, pink, etc. or the sounds of percussion instruments.
  • the purpose of this is to propose a method of separating signals relating to sound sources from a signal derived from a mixture of these signals that does not present the phase inconsistencies of the methods cited above.
  • This method also applies to non-sonic signals such as all digital signals from the sampling of a transducer allowing the transformation of a physical quantity into an electrical signal.
  • said step of determining the separation signal consists in summing the estimated signal and the predicted signal in a weighted manner, said weighting coefficient being determined so as to minimize the covariance of the separation signal.
  • the estimation signal is weighted by a first matrix coefficient while the predicted signal is weighted by a second matrix coefficient equal to the unit matrix minus the first matrix coefficient, said first matrix coefficient being determined so as to minimize the covariance of the separation signal.
  • the present invention provides connecting means between adjacent frames.
  • each elementary sound source is determined from a recursively and iteratively.
  • FIG. 1 a system for separating sound signals from sound sources according to an embodiment of the present invention which comprises these connecting means between adjacent frames.
  • This system essentially consists of an estimation unit 10 which, on the basis of a frequency domain mixing signal denoted x (t k , f) obtained for example by a short-term Fourier transform of the signal x (t) in the sampled time domain, delivers an estimation signal represented by the random variable S e (t k , f), each component of which is / i (t k , f) is the estimation signal for a source of the mixture of index i.
  • the estimated signal is represented by a vector of which each component is relative to a source:
  • the estimation unit 10 is such that the expectation of the signal at its output is conditioned by the signals x (t k , f) which are actually observed.
  • S e ( t k f ) E [ S ( t k , f )
  • the estimation unit 10 is for example a Wiener filter (see the different forms of this type of filter given in the preamble of the present description), a unit operating by a time-frequency thresholding method, or by a method said Ephraim and Malah, etc.
  • each component of the vector S e (t k , f) can be obtained by the following relation: where e i (t k , f) is the energy fraction of the source i contained in the mixing signal, in the frame of index t k and frequency of index f, where N is the total number of sources and x (t k , f) being the mixing signal.
  • K i represents the number of elementary sources considered for the source i
  • a k i (t k ) represents the amplitude factor of the elementary source of index k i and ⁇ 2 / k i (f) the variance of this elementary source of index k i .
  • the system for separating sound signals from sound sources shown in FIG. 1 still has an update unit 20 and a unit 30. These are the units 20 and 30 that constitute the means of connection inter-frame which are mentioned above.
  • the prediction unit 30 is provided to deliver a prediction signal considered as a corresponding random variable S p (t k , f)
  • the prediction signal is a vector whose each component is relative to a source:
  • the updating unit 20 on the basis of the prediction signal S p (t k , f) delivered by the prediction unit 30 and the estimation signal S e (t k , f) delivered by the estimation unit 10 delivers, for its part, the separation signal whose random variable is denoted S tot (t k , f).
  • the separation signal is represented by a vector whose each component is relative to a source:
  • the predicted signal for the present frame is based on the separation signal for the previous frame.
  • the updating unit 20 it is intended to determine the separation signal S tot (t k , f) by summing the estimation signal S e (t k , f) in a weighted manner and the predicted signal S p (t k , f).
  • the estimated signal S e (t k , f) is weighted by a matrix coefficient ⁇ (tk, f) while the predicted signal is weighted by a coefficient I- ⁇ (tk, f) , I being the unit matrix.
  • the separation system shown in FIG. 1 is provided for determining the optimum coefficient matrix ⁇ (tk, f) for minimizing the variance of the estimate of the separation signal S tot (t k , f). It can be shown that this optimum value of the weighting factor is given by the following covariance ratio of the predicted Cov p signal (t k , f) and the sum of covariance of the predicted Cov p signal (t k , f) and the covariance of the estimation signal Cov e (t k , f), that is:
  • step E10 the updating of the covariance of the predicted signal represented, it is recalled, by the random variable S p (t k + 1 , f) is carried out.
  • the module of the function H (f) is indeed equal to 1.
  • the variance of the prediction noise var (b p (t k , f)) depends on the sources or sub-sources considered and on the frequency f. It does not depend on the frame considered, so it can also be written:
  • Cov tot (t k-1 , f) is a quantity that was calculated at the previous iteration (see step E30 below).
  • step E20 the optimal coefficient matrix ⁇ (t k , f) is determined. To do this, we use the expression above:
  • the covariance of the predicted separation signal Cov p (t k , f) is given by the calculation performed in step E10.
  • the covariance of the Cov e estimation signal (t k , f) it is determined by the characteristic spectral forms ⁇ 2 / k i (f) and the amplitude factors a k i (t k ) sources or elementary sources considered.
  • the estimation signal S e (t, f) of the mixture of the set of elementary sources is a Gaussian random variable of variance Cov e (t, f):
  • step E30 for the covariance calculations, the next frame is considered and the process is resumed in step E10.
  • the expectation of the separation signal S tot / 0 (t k , f) is the output signal of the system. Its components are the signals of separation of each of the sources or elementary sources considered.
  • step E60 the expectation of the separation signal of the frame Tr, S tot / o ( t k , f ) is shifted by one frame to obtain the expectation of the separation signal of the frame t k -1 and this latter expectation is used in step E40.
  • step E40 After the steps E50 and E60, the following frame is considered and the This process is repeated in step E40 for the steps related to calculations of expectations.
  • Steps E10 and E40 are implemented by the prediction unit 30 while steps E20, E30 and E50 are implemented by the setting unit day 20.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

L'invention concerne un procédé de détermination des signaux de séparation respectivement relatifs à des sources sonores à partir d'un signal issu du mélange de ces signaux, lesdits signaux se présentant sous forme de trames successives, ledit procédé incluant une étape de détermination d'un signal d'estimée de chacune desdites sources. Le procédé inclut de plus, pour chacune desdites sources : une étape de prédiction (E40) d'un signal prédit pour la trame présente basée sur le signal de séparation pour la trame précédente, une étape de détermination du signal de séparation (E50) pour la trame présente sur la base dudit signal prédit et dudit signal d'estimée. <IMAGE>

Description

La présente invention concerne un procédé de détermination des signaux de séparation respectivement relatifs à des sources sonores à partir d'un signal issu du mélange de ces signaux.
Le domaine de la présente invention est celui du traitement numérique de signaux relatifs à des sources sonores, dits aussi plus simplement signaux de son, audiophoniques ou audio. Dans ce domaine particulier, les traitements effectués sur les signaux de son le sont non pas dans le domaine temporel mais dans le domaine fréquentiel. Aussi, utilise-t-on fréquemment au préalable à tout traitement une transformée de Fourier à court terme qui est une transformée linéaire associant à un signal dans le domaine temporel échantillonné {x(t1), ...,x(tN)} un signal bidimensionnel temps fréquence noté ici x(tk,f), où tk est un indice de trame du signal numérique échantillonné et f est un indice, généralement discret, de fréquence. Le signal x(tk,f) est donc un signal du domaine fréquentiel et il se présente sous forme de trames indicées en tk.
Dans la présente description, toutes les grandeurs dont il s'agit sont décrites au moyen de variables aléatoires gaussiennes multidimensionnelles. Le mélange observé à l'instant t s'exprime sous la forme : Sobs(t,f) = S(t,f) + b(t,f)    où b(t) est un bruit blanc gaussien de variance σ2 b et S(t,f) est le vecteur dont chaque composante est associée à une source :
Figure 00010001
Pour chaque fréquence f et pour chaque source i, s1(t,f) suit une loi gaussienne centrée et de variance σ 2 / i(f)
Pour désigner les variables sous forme de vecteur ou de matrice, des lettres en majuscule sont utilisées.
Par ailleurs encore, dans la présente demande la notion de signal se confond souvent à celle de la variable aléatoire qui la représente.
En ce qui concerne la séparation de signaux audio, on connaít un procédé qui est basé sur un filtre, dit filtre de Wiener, qui en définitive effectue une estimée du signal de séparation S and W (t,f) sous l'hypothèse de la stationnarité globale des signaux de mélange. Si l'on appelle x(tk,f) la variable aléatoire qui décrit le signal du domaine fréquentiel issu du mélange des signaux des sources, et qui est appliqué à l'entrée du filtre, l'espérance de la variable aléatoire décrivant le signal de sortie du filtre est conditionnée aux signaux x(tk,f). On peut donc écrire : S W (tk,f) = E[S(tk, f)|x(tk, f)]
Dans le cas du filtre de Wiener, chaque composante du vecteur S and W (t k ,f) peut être obtenue par la relation suivante :
Figure 00020001
   où ei(f) est la fraction d'énergie de la source i contenue a priori dans le signal de mélange, à la fréquence d'indice f, N étant le nombre totale de sources et x(t k ,f) étant le signal de mélange.
On considère, à titre illustratif uniquement, le cas particulier de deux sources délivrant des signaux respectivement notés dans le domaine temporel, s1(t) et s2(t). Au départ, l'on dispose d'un signal de son, noté dans le domaine temporel x(t) représentatif du mélange de ces signaux de son : x(t) = s1(t) + s2(t).
Dans une phase préalable d'apprentissage, on a évalué les deux sources sonores et on a plus exactement estimé leurs formes spectrales caractéristiques respectives σ 2 / 1(f) et σ 2 / 2(f), qui représentent, en définitive comme il est connu, leurs répartitions énergétiques en fonction de la fréquence. Si l'on considère que les signaux dans le domaine fréquentiel relatifs à ces deux sources s 1(t,f) et s 2(t,f) sont des variables aléatoires gaussiennes, non stationnaires, σ 2 / 1(f) et σ 2 / 2(f) représentent respectivement leur variance. Le filtre de Wiener délivre une estimation du signal de son de chaque source et, ce dans le domaine fréquentiel, en accord avec les relations suivantes : S W,1(t,f) = σ2 1(f)σ2 1(f)+σ2 2(f) x(t,f) s W,2(t,f) = σ2 2(f)σ2 1(f)+σ2 2(f) x(t,f)    qui peuvent s'écrire sous forme matricielle de la manière suivante : S(tk,f) = P . x(tk,f)
Où P est une matrice qui décrit les coefficients de pondération et qui est donnée ci-dessous pour N sources :
Figure 00030001
Dans le cadre de la séparation de signaux de sons, le filtre de Wiener présente les principaux inconvénients suivants. Il opère de manière identique sur toutes les trames du signal de son de mélange et il ne tient donc pas des changements du contenu énergétique sonore d'une trame à l'autre. En définitive, il n'est pas un filtre adaptatif. Un autre inconvénient réside dans le fait qu'il ne prend en compte qu'une forme spectrale caractéristique par source sonore alors même que les sources sonores présentent une grande variété spectrale en terme de timbre, de hauteur, d'intensité, etc.
Des améliorations du filtre de Wiener ont été proposées pour tenir compte de ces inconvénients et ont abouti à notamment deux méthodes qui sont essentiellement basées sur l'utilisation de formes spectrales multiples pour décrire chacune des sources impliquées.
La première de ces méthodes a été introduite dans le cadre de la reconnaissance de parole et a été ensuite utilisée en audio. Selon cette méthode, le signal de son de chaque source si(t) est caractérisé par un ensemble de Ki formes spectrales σ 2 / ki (f), ki ∈ [1,...,Ki]. Si l'on considère N sources, leur mélange est caractérisé par un ensemble de K1 x K2 x ... x KN N-uplets de formes spectrales caractéristiques (σ 2 / kl(f) ,..., σ 2 / kN (f)). Pour chaque trame d'indice tk, la méthode consiste à d'abord choisir le N-uplet de formes spectrales qui correspond le mieux au signal de son du mélange. Par exemple, elle peut consister à maximaliser la probabilité de correspondance entre le spectrogramme du mélange |x(t k ,f)|2 et la variance résultant du couple de formes spectrales. Ensuite, elle consiste à filtrer par un filtrage de Wiener classique le mélange en utilisant le N-uplet de formes spectrales ainsi sélectionné. On peut constater que cette méthode est adaptative puisque le choix des paramètres du filtre dépend de l'indice de trame tk considéré.
Le principal inconvénient de cette méthode réside dans sa complexité algorithmique. En effet, si K formes spectrales caractéristiques par source i et N sources i sont considérées dans le mélange, KN N-uplets de formes spectrales caractéristiques doivent être testés pour chaque trame si bien que la complexité est en O(Kn x T) si T est le nombre de trames du signal mélange à analyser. Cet inconvénient de complexité peut rendre cette méthode rédhibitoire, notamment lorsque le nombre de formes spectrales caractéristiques par source est relativement important.
Une autre méthode a également été proposée pour rendre adaptatif le procédé de séparation. Comme précédemment, le signal de son de chaque source si(t) est caractérisé par un ensemble de Ki formes spectrales caractéristiques σ 2 / ki (f) mais qui sont là regroupées dans un dictionnaire de formes spectrales. Ainsi, le spectrogramme du mélange |x(t k ,f)|2 est décomposé sur l'union des dictionnaires en présence et il est donc possible d'écrire :
Figure 00040001
   où les coefficients aki (t), sont nommés "facteurs d'amplitude", sont les inconnues à résoudre.
On notera que l'équation ci-dessus peut s'interpréter comme s'il y avait K1 +...+ KN sources élémentaires stationnaires qui sont caractérisées chacune par une forme spectrale σ 2 / ki (f) et qui se mélangent entre elles avec des facteurs d'amplitude respectifs aki (t) fonction du temps. On notera que chaque facteur d'amplitude aki (t) d'une source élémentaire est caractéristique de l'enveloppe de cette source. Il est donc un nombre positif.
L'équation ci-dessus peut se réécrire de la manière suivante :
Figure 00040002
   ei(tk,f) représente la fraction d'énergie de la source i contenue dans le mélange à analyser.
Une première méthode pour estimer les signaux de son des sources 1 à N est de mettre en oeuvre un filtrage de Wiener temps fréquence classique, néanmoins adaptatif dès lors qu'il dépend de l'indice de trame t. Ce filtre est appelé filtre de Wiener généralisé. On a donc pour la source i, l'estimée s and i,W g (t k ,f) :
Figure 00050001
Une autre méthode, dite de resynthèse, considère l'amplitude du signal de son de chaque source i comme étant égale à ei(tk,f) et sa phase comme étant estimée par celle du mélange. Il est donc possible d'écrire pour la source i :
Figure 00050002
   où sign[x] = x / |x| correspond à la phase de x.
Cette seconde méthode par l'utilisation de dictionnaire de formes spectrales caractéristique présente l'avantage par rapport à la précédente méthode de diminuer la complexité algorithmique. En effet, pour n sources possédant chacune K formes spectrales, la complexité algorithmique est en O(n x K x T) où T est le nombre de trames à analyser, donc inférieure à celle de la méthode précédente qui était en O(Kn x T).
Les trois méthodes qui viennent d'être présentées présentent néanmoins l'inconvénient majeur que la phase de chacune des sources impliquées (ou des sources élémentaires impliquées selon la méthode utilisée) est rigoureusement égale à la phase du mélange. Or, en général, les sources qui s'additionnent n'ont pas toutes la même phase si bien que, dans les méthodes présentées ci-dessus, lors de la séparation, il y a destruction de la structure de phase des sources, ce qui peut entraíner des effets gênants pour l'écoute des signaux de son des sources recouvrées. Le système auditif humain est en effet très sensible aux cohérences de phase dans les signaux audio, notamment les cohérences inter-trames pour f fixée (phase cohérente entre s(t k+1,f) et s(t k ,f)) et les cohérences de phase pour une même trame mais pour différentes valeurs de la fréquence f (phase de s(t k ,f)pour différentes valeurs de f). Ces effets de cohérence de phase sont notamment très sensibles sur les sons harmoniques, comme les sons d'un instrument de musique, ou encore les sons voisés, alors qu'ils sont moins importants sur les bruits blancs, roses, etc. ou encore les sons d'instrument de percussion.
Le but de la présente est de proposer une méthode de séparation des signaux relatifs à des sources sonores à partir d'un signal issu de mélange de ces signaux qui ne présente pas les incohérences de phase des méthodes citées ci-dessus.
Pour ce faire, un procédé de détermination des signaux de séparation respectivement relatifs à des sources sonores à partir d'un signal issu du mélange de ces signaux, lesdits signaux se présentant sous forme de trames successives, ledit procédé incluant une étape de détermination d'un signal d'estimée de chacune desdites sources. Il est caractérisé en ce qu'il inclut de plus, pour chacune desdites sources :
  • une étape de prédiction (E40) d'un signal prédit pour la trame présente basée sur le signal de séparation pour la trame précédente,
  • une étape de détermination du signal de séparation (E50) pour la trame présente sur la base dudit signal prédit et dudit signal d'estimée.
Ce procédé s'applique également à des signaux non sonores tels que tous signaux numériques issus de l'échantillonnage d'un transducteur permettant la transformation d'une grandeur physique en un signal électrique.
A cet effet, l'invention a pour objet un procédé de détermination des signaux de séparation respectivement relatifs à des sources non sonores à partir d'un signal issu du mélange de ces signaux, lesdits signaux se présentant sous forme de trames successives, ledit procédé incluant une étape de détermination d'un signal d'estimée de chacune desdites sources, caractérisé en ce qu'il inclut de plus, pour chacune desdites sources :
  • une étape de prédiction d'un signal prédit pour la trame présente basée sur le signal de séparation pour la trame précédente,
  • une étape de détermination du signal de séparation pour la trame présente sur la base dudit signal prédit et dudit signal d'estimée.
Avantageusement, ladite étape de détermination du signal de séparation consiste à sommer de manière pondérée le signal d'estimée et le signal prédit, lesdits coefficient de pondération étant déterminés de manière à minimiser la covariance du signal de séparation.
Avantageusement, le signal d'estimée est pondéré par un premier coefficient matriciel alors que le signal prédit est pondéré par un second coefficient matriciel égal à la matrice unité moins le première coefficient matriciel, ledit premier coefficient matriciel étant déterminé de manière à minimiser la covariance du signal de séparation.
Les caractéristiques de l'invention mentionnées ci-dessus, ainsi que d'autres, apparaítront plus clairement à la lecture de la description suivante d'un exemple de réalisation, ladite description étant faite en relation avec les dessins joints, parmi lesquels :
  • La Fig. 1 est un schéma synoptique d'un système de séparation des signaux relatifs à des sources sonores à partir d'un signal issu de mélange de ces signaux selon la présente invention, et
  • La Fig. 2 est diagramme montrant les différentes étapes mises en oeuvre par un procédé de séparation de signaux selon la présente invention.
    • Dans la suite de la description, on considèrera des sources sonores qui sont en elles-mêmes élémentaires, c'est-à-dire qui sont caractérisées chacune par une forme spectrale caractéristique donnée. Mais, on considèrera également des sources sonores dont la caractéristique de forme spectrale est une caractéristique parmi plusieurs caractéristiques de forme spectrale possibles, par exemple appartenant à un dictionnaire de formes spectrales caractéristiques (voir le préambule de la présente description). Comme on le mentionnait dans le préambule de la description, on peut alors considérer une source sonore comme étant une combinaison pondérée d'une pluralité de sources sonores élémentaires dont chacune présente une caractéristique de forme spectrale donnée (par exemple issue d'un dictionnaire ou déterminée).
    De manière à résoudre le problème des incohérences de phase des méthodes de l'état de la technique mentionnées en préambule de la description, la présente invention prévoit des moyens de lien entre trames adjacentes. En d'autres termes, chaque source sonore élémentaire est déterminée d'une manière récursive et itérative.
    On a représenté à la Fig. 1, un système de séparation de signaux de sons issus de sources sonores selon un mode de réalisation de la présente invention qui comporte ces moyens de liens entre trames adjacentes. Ce système est essentiellement constitué d'une unité d'estimation 10 qui, sur la base d'un signal de mélange du domaine fréquentiel notée noté x(tk,f) obtenu par exemple par une transformée de Fourier à court terme du signal x(t) dans le domaine temporel échantillonné, délivre un signal d'estimée représentée par la variable aléatoire Se(tk,f) dont chaque composante s e / i(tk,f) est le signal d'estimée pour une source du mélange d'indice i. Si l'on dispose de N sources élémentaires, le signal de d'estimée est représenté par un vecteur dont chaque composante est relative à une source :
    Figure 00080001
    L'unité d'estimation 10 est telle que l'espérance du signal en sa sortie est conditionnée aux signaux x(tk,f) qui sont réellement observés. On peut donc écrire : Se (tk,f) = E[S(tk, f)|x(tk, f)]
    L'unité d'estimation 10 est par exemple un filtre de Wiener (voir les différentes formes de ce type de filtre données dans le préambule de la présente description), une unité fonctionnant par une méthode de seuillage temps-fréquence, ou par une méthode dite Ephraïm et Malah, etc. Par exemple, dans le cas d'un filtre de Wiener, chaque composante du vecteur Se(tk,f) peut être obtenu par la relation suivante :
    Figure 00080002
       où ei(tk,f) est la fraction d'énergie de la source i contenue dans le signal de mélange, dans la trame d'indice tk et de fréquence d'indice f, N étant le nombre totale de sources et
    Figure 00080003
    x(tk,f) étant le signal de mélange.
    On rappelle ici que pour une source élémentaire i, on peut écrire :
    Figure 00080004
       où Ki représente le nombre de sources élémentaires considérés pour la source i, aki (tk) représente le facteur d'amplitude de la source élémentaire d'indice ki et σ 2 / ki (f) la variance de cette source élémentaire d'indice ki.
    Le système de séparation de signaux de sons de sources sonores représenté à la Fig. 1 comporte encore une unité de mise à jour 20 et une unité de prédiction 30. Ce sont ces unités 20 et 30 qui constituent les moyens de lien inter-trame qui sont mentionnés ci-dessus.
    L'unité de prédiction 30 est prévue pour délivrer un signal de prédiction considéré comme une variable aléatoire correspondante Sp(tk,f)
    On rappelle ici que si l'on dispose de N sources élémentaires, le signal de prédiction est un vecteur dont chaque composante est relative à une source :
    Figure 00090001
    Comme on peut le constater sur la Fig. 1, l'unité de mise à jour 20, sur la base du signal de prédiction Sp(tk,f) délivré par l'unité de prédiction 30 et du signal d'estimée Se(tk,f) délivré par l'unité d'estimation 10 délivre, quant à elle, le signal de séparation dont la variable aléatoire est notée Stot(tk,f).
    Si l'on dispose de N sources élémentaires, le signal de séparation est représenté par un vecteurs dont chaque composante est relative à une source :
    Figure 00090002
    Concernant l'unité de prédiction 30, dans le cas le plus simple elle peut revenir à introduire un terme de décalage entre deux trames successives, par son unité 32, et l'on peut donc écrire : S p (t k ,f) = H(f) · S tot (t k-1,f)
    Le signal prédit pour la trame présente est basé sur le signal de séparation pour la trame précédente.
    L'espérance du signal de prédiction est donnée par la relation suivante : S P (t k ,f) = H(f) · S tot (t k-1,f)    où H(f) est un terme qui, dans le domaine fréquentiel, est représentatif du décalage entre deux trames successives et qui, du fait que les signaux considérés sont des signaux stationnaires, peut s'écrire :
    Figure 00100001
       où T est la longueur d'une trame, M le décalage considéré, et i le nombre complexe tel que i2 = -1. Généralement, le décalage M entre trame est inférieur à la longueur T d'une trame et, même, il est souvent moitié de la longueur d'une trame : M = T/2
    Quant à l'unité de mise à jour 20, elle est prévue pour déterminer le signal de séparation Stot(tk,f) en sommant de manière pondérée le signal d'estimée Se(tk,f) et le signal prédit Sp(tk,f). Dans le mode de réalisation représenté, le signal d'estimée Se(tk,f) est pondéré par un coefficient matriciel α(tk,f) alors que le signal prédit est pondéré par un coefficient I-α(tk,f), I étant la matrice unité.
    Par exemple, ceci est réalisé en additionnant, dans un additionneur 21, au signal prédit Sp(tk,f) un signal d'erreur calculé comme la différence entre le signal prédit Sp(tk,f) et le signal d'estimée Se(tk,f), ledit signal d'erreur étant pondéré par un coefficient α(tk,f), la pondération étant effectuée par une unité de pondération 23. On peut donc écrire la relation : Stot(tk,f)=Sp(tk,f)+α(tk,f).(Se(tk,f)-Sp(tk,f))
    Le système de séparation représenté à la Fig. 1 est prévu pour déterminer la matrice de coefficients optimale α(tk,f) permettant de minimiser la variance de l'estimation du signal de séparation Stot(tk,f). On peut montrer que cette valeur optimale du facteur de pondération est donnée par la relation suivante de la covariance du signal prédit Covp(tk,f) et de la somme de la covariance du signal prédit Covp(tk,f) et de la covariance du signal d'estimée Cove(tk,f), soit :
    Figure 00100002
    La valeur du coefficient de pondération α(tk,f) étant connue, il est possible de déterminer l'espérance du signal de séparation S tot / 0(tk,f) qui constitue alors la sortie de l'unité de mise à jour 20 :
    Figure 00100003
    On va donc procéder conformément au diagramme de la Fig. 2. Dans ce diagramme, on peut constater qu'il présente deux branches I et II : la première I regroupe les étapes E10, E20 et E30 et correspond aux calculs des covariances des différentes variables aléatoires aboutissant essentiellement au calcul de la matrice de coefficients optimale α(tk,f) alors que la seconde II qui regroupe les étapes E40 et E50 correspond aux calculs des espérances de ces variables aléatoires aboutissant au calcul de l'espérance du signal de séparation en fonction du signal d'estimation délivré par l'unité d'estimation 10.
    Plus précisément, à l'étape E10, est effectuée la mise à jour de la covariance du signal prédit représentée, on le rappelle, par la variable aléatoire Sp(tk+1,f)
    Du fait de l'unité 32 qui lie entre elles deux trames successives, on peut montrer facilement que la covariance du signal prédit est donnée par la relation suivante :
    Figure 00110001
    avec
    Figure 00110002
    variance du bruit de prédiction.
    Le module de la fonction H(f) est en effet égal à 1.
    La variance du bruit de prédiction var(bp(tk,f)) dépend des sources ou sous-sources considérées et de la fréquence f. Elle ne dépend pas de la trame considérée, si bien qu'elle peut également s'écrire :
    Figure 00110003
    Cette variance est avantageusement estimée dans une phase d'apprentissage. En définitive, on a : Covp(tk,f) = Covtot(tk-1,f) + var(bp(f))
    Covtot(tk-1,f) est une grandeur qui a été calculée à l'itération précédente (voir étape E30 ci-dessous).
    A l'étape E20, on détermine la matrice de coefficients α(tk,f) optimale. Pour ce faire, on utilise l'expression ci-dessus :
    Figure 00110004
    La covariance du signal de séparation prédit Covp(tk,f) est donnée par le calcul effectué à l'étape E10. Quant à la covariance du signal d'estimée Cove(tk,f), elle est déterminée par les formes spectrales caractéristiques σ 2 / ki(f) et les facteurs d'amplitude aki (tk) des sources ou sources élémentaires considérées.
    On rappelle que l'équation du mélange est la suivante :
    Figure 00120001
       où b(t,f) représente l'expression d'un bruit blanc gaussien stationnaire de variance σ 2 / b. Quant aux sources élémentaires s i (t,f), elles sont considérées a priori comme des sources gaussiennes non stationnaires de variance ai(t,f)σ / i(f) mais comme stationnaires conditionnellement à ai(t).
    Le signal d'estimé Se(t,f) du mélange de l'ensemble des sources élémentaires est une variable aléatoire gaussienne de variance Cove(t,f):
    On a pu montrer que cette covariance du signal d'estimée Cove(tk,f) pouvait s'exprimer de la manière suivante :
    Figure 00120002
       expression dans laquelle :
    • aj(tk,f) est le facteur d'amplitude de la source ou de la source élémentaire d'indice j, pour la trame d'indice tk et pour la fréquence d'indice f,
    • σj(f) est la forme spectrale caractéristique de la source ou de la source élémentaire d'indice j et pour la fréquence f,
    • σb est la variance d'un bruit blanc gaussien, et
    • N est le nombre total de sources élémentaires considérées.
    A l'étape E30, la matrice de covariance du signal de séparation est remise à jour en utilisant l'expression suivante :
    Figure 00120003
       expression dans laquelle :
    • I est la matrice identité,
    • α (tk,f) est la matrice de coefficients telle que déterminée à l'étape E20 ci-dessus,
    • Covp(tk,f) est la covariance du signal de séparation prédit telle que calculée à l'étape E10.
    Après l'étape E30, pour ce qui concerne les calculs liés aux covariances, la trame suivante est considérée et le processus est repris à l'étape E10.
    On considère maintenant les étapes E40 et E50 liées aux calculs des espérances. A l'étape E40, on détermine l'espérance du signal prédit S p / 0(tk,f) laquelle est donnée par la relation suivante en fonction de l'espérance du signal de séparation S tot / 0(tk-1,f) déterminée à la trame précédente : S p 0(t k ,f)=H(f)·S tot 0(t k-1,f)
    A l'étape E50, l'espérance du signal de séparation est calculée au moyen de l'expression suivante :
    Figure 00130001
       expression dans laquelle :
    • S p / 0(tk,f) est l'espérance du signal de séparation prédit déterminé à l'étape E10 ci-dessus,
    • S e / 0(tk,f) est l'espérance du signal d'estimée telle qu'il apparaít à la sortie du l'unité d'estimation 10, et
    • α(tk,f) est la matrice de coefficients telle que déterminée à l'étape E20 ci-dessus.
    L'espérance du signal de séparation S tot / 0(tk,f) est le signal de sortie du système. Ses composantes sont les signaux de séparation de chacune des sources ou des sources élémentaires considérées.
    A l'étape E60, l'espérance du signal de séparation de la trame Tr , S tot / o(t k ,f) est décalée d'une trame pour obtenir l'espérance du signal de séparation de la trame t k-1 et cette dernière espérance est utilisée au cours de l'étape E40.
    Après les étapes E50 et E60, la trame suivante est considérée et le processus est repris à l'étape E40 pour ce qui concerne les étapes liées aux calculs des espérances.
    Les étapes E10 et E40 sont mises en oeuvre par l'unité de prédiction 30 alors que les étapes E20, E30 et E50 sont mises en oeuvre par l'unité de mise à jour 20.
    On notera qu'à l'initialisation du procédé, l'espérance et la covariance de la variable aléatoire représentant le signal de séparation sont mise à zéro puis les étapes E10 et E40 sont mises en oeuvre.

    Claims (10)

    1. Procédé de détermination des signaux de séparation respectivement relatifs à des sources sonores à partir d'un signal issu du mélange de ces signaux, lesdits signaux se présentant sous forme de trames successives, ledit procédé incluant une étape de détermination d'un signal d'estimée de chacune desdites sources, caractérisé en ce qu'il inclut de plus, pour chacune desdites sources :
      une étape de prédiction (E40) d'un signal prédit pour la trame présente basée sur le signal de séparation pour la trame précédente,
      une étape de détermination du signal de séparation (E50) pour la trame présente sur la base dudit signal prédit et dudit signal d'estimée.
    2. Procédé de détermination des signaux de séparation respectivement relatifs à des sources non sonores à partir d'un signal issu du mélange de ces signaux, lesdits signaux se présentant sous forme de trames successives, ledit procédé incluant une étape de détermination d'un signal d'estimée de chacune desdites sources, caractérisé en ce qu'il inclut de plus, pour chacune desdites sources :
      une étape de prédiction (E40) d'un signal prédit pour la trame présente basée sur le signal de séparation pour la trame précédente,
      une étape de détermination du signal de séparation (E50) pour la trame présente sur la base dudit signal prédit et dudit signal d'estimée.
    3. Procédé de séparation selon la revendication 1 et 2, caractérisé en ce que ladite étape de détermination du signal de séparation consiste à sommer de manière pondérée le signal d'estimée et le signal prédit, lesdits coefficient de pondération étant déterminés de manière à minimiser la covariance du signal de séparation.
    4. Procédé de séparation selon la revendication 3, caractérisé en ce que le signal d'estimée est pondéré par un premier coefficient matriciel alors que le signal prédit est pondéré par un second coefficient matriciel égal à la matrice unité moins le première coefficient matriciel, ledit premier coefficient matriciel étant déterminé de manière à minimiser la covariance du signal de séparation.
    5. Procédé de séparation selon la revendication 4, caractérisé en ce que la valeur dudit premier coefficient matriciel est calculée au moyen de la relation suivante de la covariance du signal prédit Covp(tk,f) et de la somme de la covariance du signal prédit Covp(tk,f) et de la covariance du signal d'estimée Cove(tk,f), soit :
      Figure 00150001
    6. Procédé de séparation selon la revendication 5, caractérisé en ce que la covariance du signal prédit Covp(tk,f) est déterminée en fonction de la covariance du signal de séparation Covtot(tk-1,f)pour la trame précédente au moyen de la relation suivante :
      Figure 00150002
         var(bp(tk,f)) étant la variance du bruit de prédiction qui dépend des sources ou sous-sources considérées.
    7. Procédé de séparation selon la revendication 6, caractérisé en ce que ladite variance du bruit de prédiction var(bp(tk,f)) est estimée dans une phase d'apprentissage.
    8. Procédé de séparation selon une des revendications 5 à 7, caractérisé en ce que ladite covariance du signal d'estimée Cove(tk,f) est déterminée au moyen de la relation suivante :
      Figure 00150003
         expression dans laquelle :
      aj(tk,f) est le facteur d'amplitude de la source ou de la source élémentaire d'indice j, pour la trame d'indice tk et pour la fréquence d'indice f,
      σj(f) est la forme spectrale caractéristique de la source ou de la source élémentaire d'indice j et pour la fréquence f,
      σb est la variance d'un bruit blanc gaussien, et
      N est le nombre total de sources ou de sources élémentaires considérées.
    9. Procédé de séparation selon une des revendications 5 à 8, caractérisé en ce que la matrice de covariance du signal de séparation est remise à jour en utilisant l'expression suivante :
      Figure 00160001
         Expression dans laquelle :
      I est la matrice identité ;
      α(tk,f) est la matrice du premier coefficient de pondération ; et
      Covp(tk,f) est la covariance du signal prédit.
    10. Procédé de séparation selon une des revendications 1 à 9, caractérisé en ce qu'il comporte une étape de détermination du signal d'estimée Se(tk,f), chaque composante s and e / i(t k ,f) correspondant à l'estimation d'une source élémentaire i dudit signal d'estimée Se(tk,f)étant obtenue à partir des formules suivantes :
      Figure 00160002
      Figure 00160003
         dans lesquelles :
      ei(tk,f) étant la fraction d'énergie de la source i contenue dans le signal issu du mélange des signaux, dans une trame d'indice tk et de fréquence d'indice f, N étant le nombre totale de sources ;
      x(t k ,f) étant le signal issus du mélange des signaux ;
      Ki étant le nombre de sources élémentaires considérés pour la source i ;
      aki (tk) étant le facteur d'amplitude de la source élémentaire d'indice ki ; et
      σ 2 / ki (f) étant la variance de cette source élémentaire d'indice ki.
    EP20050291254 2004-06-11 2005-06-10 Procédé de séparation de signaux sources à partir d'un signal issu du mélange Ceased EP1605440B1 (fr)

    Applications Claiming Priority (2)

    Application Number Priority Date Filing Date Title
    FR0406365 2004-06-11
    FR0406365A FR2871593B1 (fr) 2004-06-11 2004-06-11 Procede de determination des signaux de separation respectivement relatifs a des sources sonores a partir d'un signal issu du melange de ces signaux

    Publications (2)

    Publication Number Publication Date
    EP1605440A1 true EP1605440A1 (fr) 2005-12-14
    EP1605440B1 EP1605440B1 (fr) 2010-11-24

    Family

    ID=34942399

    Family Applications (1)

    Application Number Title Priority Date Filing Date
    EP20050291254 Ceased EP1605440B1 (fr) 2004-06-11 2005-06-10 Procédé de séparation de signaux sources à partir d'un signal issu du mélange

    Country Status (3)

    Country Link
    EP (1) EP1605440B1 (fr)
    DE (1) DE602005024890D1 (fr)
    FR (1) FR2871593B1 (fr)

    Cited By (1)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    CN112863537A (zh) * 2021-01-04 2021-05-28 北京小米松果电子有限公司 一种音频信号处理方法、装置及存储介质

    Families Citing this family (1)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    US11558699B2 (en) 2020-03-11 2023-01-17 Sonova Ag Hearing device component, hearing device, computer-readable medium and method for processing an audio-signal for a hearing device

    Non-Patent Citations (4)

    * Cited by examiner, † Cited by third party
    Title
    BENAROYA L ET AL: "Non negative sparse representation for wiener based source separation with a single sensor", 2003 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING. PROCEEDINGS. (ICASSP). HONG KONG, APRIL 6 - 10, 2003, IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING (ICASSP), NEW YORK, NY : IEEE, US, vol. VOL. 1 OF 6, 6 April 2003 (2003-04-06), pages VI613 - VI616, XP010640826, ISBN: 0-7803-7663-3 *
    ELIE LAURENT BENNAROYA: "Séparation de plusieurs sources sonores avec un seul microphone", 26 June 2003, UNIVERSITE DE RENNES 1, RENNES, XP002346340, 2874 *
    MANDIC D P ET AL: "An on-line algorithm for blind source extraction based on nonlinear prediction approach", NEURAL NETWORKS FOR SIGNAL PROCESSING, 2003. NNSP'03. 2003 IEEE 13TH WORKSHOP ON TOULOUSE, FRANCE SEPT. 17-19, 2003, PISCATAWAY, NJ, USA,IEEE, 17 September 2003 (2003-09-17), pages 429 - 438, XP010712478, ISBN: 0-7803-8177-7 *
    STONE J V: "Blind source separation using temporal predictability", NEURAL COMPUTATION MIT PRESS USA, vol. 13, no. 7, 2001, pages 1559 - 1574, XP002303769, ISSN: 0899-7667 *

    Cited By (2)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    CN112863537A (zh) * 2021-01-04 2021-05-28 北京小米松果电子有限公司 一种音频信号处理方法、装置及存储介质
    CN112863537B (zh) * 2021-01-04 2024-06-04 北京小米松果电子有限公司 一种音频信号处理方法、装置及存储介质

    Also Published As

    Publication number Publication date
    FR2871593B1 (fr) 2007-02-09
    EP1605440B1 (fr) 2010-11-24
    DE602005024890D1 (de) 2011-01-05
    FR2871593A1 (fr) 2005-12-16

    Similar Documents

    Publication Publication Date Title
    EP2419900B1 (fr) Procede et dispositif d&#39;evaluation objective de la qualite vocale d&#39;un signal de parole prenant en compte la classification du bruit de fond contenu dans le signal
    EP2415047B1 (fr) Classification du bruit de fond contenu dans un signal sonore
    FR2522179A1 (fr) Procede et appareil de reconnaissance de paroles permettant de reconnaitre des phonemes particuliers du signal vocal quelle que soit la personne qui parle
    EP1730729A1 (fr) Procede et systeme ameliores de conversion d&#39;un signal vocal
    EP0608174A1 (fr) Systeme de codage-décodage prédictif d&#39;un signal numérique de parole par transformée adaptative à codes imbriqués
    EP0594480A1 (fr) Procédé de détection de la parole
    EP2772916B1 (fr) Procédé de débruitage d&#39;un signal audio par un algorithme à gain spectral variable à dureté modulable dynamiquement
    EP3330964A1 (fr) Ré-échantillonnage d&#39;un signal audio pour un codage /décodage à bas retard
    EP1606792B1 (fr) Procede d analyse d informations de frequence fondament ale et procede et systeme de conversion de voix mettant en oeuvre un tel procede d analyse
    EP1730728A1 (fr) Procede et systeme de conversion rapides d&#39;un signal vocal
    EP0511095A1 (fr) Procédé et dispositif de codage-décodage d&#39;un signal numérique
    EP3040989A1 (fr) Procédé de séparation amélioré et produit programme d&#39;ordinateur
    EP0685833B1 (fr) Procédé de codage de parole à prédiction linéaire
    FR2702075A1 (fr) Procédé de génération d&#39;un filtre de pondération spectrale du bruit dans un codeur de la parole.
    EP2795618A1 (fr) Procédé de détection d&#39;une bande de fréquence prédéterminée dans un signal de données audio, dispositif de détection et programme d&#39;ordinateur correspondant
    Emiya Transcription automatique de la musique de piano
    EP0714088B1 (fr) Détection d&#39;activité vocale
    EP1605440B1 (fr) Procédé de séparation de signaux sources à partir d&#39;un signal issu du mélange
    FR2882458A1 (fr) Procede de mesure de la gene due au bruit dans un signal audio
    EP3155609B1 (fr) Analyse frequentielle par démodulation de phase d&#39;un signal acoustique
    EP0821345B1 (fr) Procédé d&#39;extraction de la fréquence fondamentale d&#39;un signal de parole
    EP1192619B1 (fr) Codage et decodage audio par interpolation
    FR3051959A1 (fr) Procede et dispositif pour estimer un signal dereverbere
    EP1194923B1 (fr) Procedes et dispositifs d&#39;analyse et de synthese audio
    EP1192618B1 (fr) Codage audio avec liftrage adaptif

    Legal Events

    Date Code Title Description
    PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

    Free format text: ORIGINAL CODE: 0009012

    AK Designated contracting states

    Kind code of ref document: A1

    Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU MC NL PL PT RO SE SI SK TR

    AX Request for extension of the european patent

    Extension state: AL BA HR LV MK YU

    17P Request for examination filed

    Effective date: 20060509

    REG Reference to a national code

    Ref country code: HK

    Ref legal event code: DE

    Ref document number: 1084228

    Country of ref document: HK

    17Q First examination report despatched

    Effective date: 20060718

    AKX Designation fees paid

    Designated state(s): DE ES GB IT PL

    RAP1 Party data changed (applicant data changed or rights of an application transferred)

    Owner name: AUDIONAMIX SA

    GRAP Despatch of communication of intention to grant a patent

    Free format text: ORIGINAL CODE: EPIDOSNIGR1

    GRAS Grant fee paid

    Free format text: ORIGINAL CODE: EPIDOSNIGR3

    GRAA (expected) grant

    Free format text: ORIGINAL CODE: 0009210

    AK Designated contracting states

    Kind code of ref document: B1

    Designated state(s): DE ES GB IT PL

    REG Reference to a national code

    Ref country code: GB

    Ref legal event code: FG4D

    Free format text: NOT ENGLISH

    REF Corresponds to:

    Ref document number: 602005024890

    Country of ref document: DE

    Date of ref document: 20110105

    Kind code of ref document: P

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: ES

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20110307

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: PL

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20101124

    PLBE No opposition filed within time limit

    Free format text: ORIGINAL CODE: 0009261

    STAA Information on the status of an ep patent application or granted ep patent

    Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

    26N No opposition filed

    Effective date: 20110825

    REG Reference to a national code

    Ref country code: DE

    Ref legal event code: R097

    Ref document number: 602005024890

    Country of ref document: DE

    Effective date: 20110825

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: IT

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20101124

    REG Reference to a national code

    Ref country code: HK

    Ref legal event code: WD

    Ref document number: 1084228

    Country of ref document: HK

    PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

    Ref country code: DE

    Payment date: 20180604

    Year of fee payment: 14

    PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

    Ref country code: GB

    Payment date: 20190506

    Year of fee payment: 15

    REG Reference to a national code

    Ref country code: DE

    Ref legal event code: R119

    Ref document number: 602005024890

    Country of ref document: DE

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: DE

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20200101

    GBPC Gb: european patent ceased through non-payment of renewal fee

    Effective date: 20200610

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: GB

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20200610