EP2080194B1 - Attenuation du survoisement, notamment pour la generation d'une excitation aupres d'un decodeur, en absence d'information - Google Patents
Attenuation du survoisement, notamment pour la generation d'une excitation aupres d'un decodeur, en absence d'information Download PDFInfo
- Publication number
- EP2080194B1 EP2080194B1 EP07858612A EP07858612A EP2080194B1 EP 2080194 B1 EP2080194 B1 EP 2080194B1 EP 07858612 A EP07858612 A EP 07858612A EP 07858612 A EP07858612 A EP 07858612A EP 2080194 B1 EP2080194 B1 EP 2080194B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- samples
- signal
- blocks
- period
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005284 excitation Effects 0.000 title abstract description 32
- 238000000034 method Methods 0.000 claims description 31
- 230000005236 sound signal Effects 0.000 claims description 16
- 230000002194 synthesizing effect Effects 0.000 claims description 12
- 230000015654 memory Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 2
- 230000001419 dependent effect Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 claims 1
- 230000015572 biosynthetic process Effects 0.000 abstract description 15
- 238000003786 synthesis reaction Methods 0.000 abstract description 15
- 238000012937 correction Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 230000002238 attenuated effect Effects 0.000 abstract 1
- 238000012360 testing method Methods 0.000 description 10
- 230000009897 systematic effect Effects 0.000 description 7
- 238000005314 correlation function Methods 0.000 description 6
- 230000007774 longterm Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013016 damping Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 241000897276 Termes Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 235000021183 entrée Nutrition 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/90—Pitch determination of speech signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/09—Long term prediction, i.e. removing periodical redundancies, e.g. by using adaptive codebook or pitch predictor
Definitions
- the present invention relates to the processing of digital audio signals, such as speech signals in telecommunications, in particular to the decoding of such signals.
- the LTP long-term prediction parameters including the pitch period, represent the fundamental vibration of the speech signal (when it is voiced), while the LPC short-term prediction parameters represent the spectral envelope. of this signal.
- All of these LPC and LTP parameters, thus resulting from speech coding, are transmitted in blocks to a peer decoder, via one or more telecommunication networks, to then restore the initial speech signal.
- block is understood to mean a succession of signal data which may be, for example, a frame in radiomobile communication, or else a packet for example in communication over IP (for " Internet Protocol "), or others.
- most predictive synthesis coding techniques and in particular CELP coding (for " Code Excited Liner Predictive "), propose solutions for recovering erased frames.
- the decoder is informed of the occurrence of an erased frame, for example by transmitting frame erase information from the channel decoder.
- the purpose of recovering erased frames is to extrapolate the parameters of the erased frame from one or more previous frames considered valid.
- Some parameters manipulated or coded by the predictive coders have a strong correlation between frames. These are typically long-term LTP prediction parameters, for voiced sounds for example, and LPC short-term prediction parameters. Because of this correlation, it is much more advantageous to reuse the parameters of the last valid frame to synthesize the erased frame, than to use random or even erroneous parameters.
- the LPC parameters of a frame to be reconstructed are obtained from the LPC parameters of the last valid frame, by simple copy of the parameters or with introduction of a certain damping (technique used for example in the standardized encoder G723.1). Then, a voicing or non-voicing in the speech signal is detected to determine a degree of harmonicity of the signal at the erased frame.
- an excitation signal can be generated randomly (by drawing a codeword from the past excitation, by a slight damping of the gain of past excitation, by random selection in the past excitation, or by still using transmitted codes which can be totally erroneous).
- the pitch period (also called “ LTP delay ”) is generally the one calculated for the previous frame, possibly with a slight “jitter” (increase of the value of the LTP delay for consecutive error frames, the gain LTP being taken very close to 1 or equal to 1).
- the excitation signal is therefore limited to the long-term prediction made from a past excitation.
- the means for hiding erased frames, at decoding are generally strongly related to the structure of the decoder and may be common to modules of this decoder, such as for example the signal synthesis module. These means also use intermediate signals available within the decoder, such as the excitation signal passed and stored during the processing of valid frames preceding the erased frames.
- Certain techniques used to conceal the errors produced by lost packets during the transport of coded data in time-type coding often use waveform substitution techniques. Such techniques seek to reconstruct the signal by selecting portions of the decoded signal before the lost period and do not use synthesis models. Smoothing techniques are also used to avoid the artifacts produced by the concatenation of the different signals.
- the techniques for reconstructing erased frames generally rely on the coding structure used. Some techniques aim at regenerating the transformed coefficients lost from the values taken by these coefficients before the erasure.
- the invention advantageously applies to the case where the digital audio signal is a voiced speech signal, and, more particularly, slightly voiced because the simple copy of pitch period gives poor results in this case.
- a degree of voicing is detected in the speech signal and steps a) to d) are applied if the signal is at least slightly voiced.
- the operation a1) may consist in detecting a voicing and the operation a2) would aim, if the speech signal is voiced, to select a number of samples which extends over a whole pitch period (inverse of a fundamental frequency of a voice tone).
- this embodiment may also target a signal other than a speech signal, in particular a musical signal, if a fundamental frequency specific to a global tone of music can be detected therein.
- the fragmentation of step b) is carried out in groups of two samples, and the positions of the samples of the same group are reversed with each other.
- the pitch period (or more generally the inverse period of the fundamental frequency) comprises an even or odd number of samples.
- the number of samples that comprises the period of the detected tone is an even number
- an odd number of samples is advantageously added or removed from the samples of said period to form the selection of the step a).
- the predetermined rules of inversion These rules, which can be chosen according to the characteristics of the signal received, in particular impose the number of samples in groups in step b) and the manner of inverting the samples in a group.
- groups of two samples and a simple inversion of the respective positions of these two samples are provided.
- other configurations are possible (groups comprising more than two samples and permutation of all the samples of such groups).
- the inversion rules can also set the number of groups in which inversion is performed. One particular achievement is to randomize the sample inversion occurrences in each group and set a probability threshold to invert or not the samples of a group.
- This probability threshold may have a fixed value or a variable value and advantageously depend on a correlation function relating to the pitch period. In this case, the formal determination of the pitch period, itself, is not necessary. Moreover, more generally, the treatment in the sense of the invention can be carried out also if the valid signal received is simply not voiced, in which case there is not really a detectable pitch period. In this case, it may be provided to set a given number of arbitrary samples (for example two hundred samples) and perform the treatment in the sense of the invention on this number of samples.
- the lost blocks are replaced for example by a white noise, audible, called " comfort noise " 52, and the gain 61 of the samples of the blocks is adjusted thus reconstructed.
- comfort noise 52 a white noise, audible, called " comfort noise " 52
- the gain 61 of the samples of the blocks is adjusted thus reconstructed.
- the voiced signals on the one hand and the weakly or unvoiced signals, on the other hand.
- the advantage of this variant is that the generation of the unvoiced signal will be identical to the weakly voiced synthesis.
- the "pitch period" used for the unvoiced signals is a random value, preferably quite large (for example two hundred samples).
- the preceding signal is non-harmonic, by applying the processing in the sense of the invention to a sufficiently large period, it is ensured that the signal thus generated remains non-harmonic.
- the nature of the signal will advantageously be preserved, which would not be the case using a randomly generated signal (for example a white noise).
- the lost blocks are replaced by copying the pitch period T.
- the pitch period T identified in the last still valid part of the received signal Se is determined ( by a technique 53 any that can be known per se).
- the samples of this pitch period T are then copied into the lost blocks (reference 54).
- An appropriate gain 61 is then applied to the samples thus replaced (for example to perform attenuation or "fading").
- the method is applied in the sense of the invention (arrow M at the output of the test 51 on the degree of voicing).
- the principle of the invention consists in collecting the samples of the last valid blocks received, in groups of at least two samples.
- these samples were effectively grouped together in two.
- they could be grouped by more than two samples, in which case the rules for inversion of samples per group and for taking into account the parity in the number of samples of the pitch period T, described in detail below, would be slightly adapted.
- groups A, B, C, D of two samples in the last valid blocks received are copied and concatenated to the last samples received.
- the values of the two samples in each group were inverted (or kept their value and inverted their respective positions).
- the group A becomes the group A ', with its two samples reversed compared to the group A (according to the two arrows of the group A' on the figure 2 ).
- Group B becomes group B ', with its two samples inverted with respect to group B, and so on.
- the copy and concatenation of the groups A ', B', C ', D' is advantageously carried out while respecting the pitch period T.
- the group A ' consisting of the inverted samples of the group A, is separated from the group A a number of samples corresponding to the duration of the pitch period T.
- the group B ' is separated from the group B by a duration corresponding to the pitch period T, and so on.
- the inversion of the samples by group is systematic.
- the threshold p is set at 50% so that only two groups B ', C' out of four have their samples inverted. It may also be planned to make the probability threshold p variable, in particular to make it depend on a correlation function relating to the pitch period T, as will be seen below.
- the first two samples 10 and 11 are inverted in the signal to be reconstructed, denoted S.
- the third and fourth samples 12 and 13 are reversed. also, and so on.
- the number of samples per periods T , T ', T " is equal to the same odd number (thirteen samples in the example shown), which makes it possible to obtain a gradual mixing of the samples as and when the reconstruction of the signal Ss, and from there, an effective attenuation of the over-harmonicity (or, in other words, the overwriting of the reconstructed signal).
- This problem can be overcome by modifying the number of samples to be inverted per group (and for example taking an odd number of samples per group).
- the pitch period comprises an even number of samples and when the inversions aim at even numbers of samples per group, to add an odd number of samples to the pitch period of the signal to be reconstructed.
- the last detected pitch period T comprises twelve samples 31, 32, ..., 42.
- a sample is then added to the pitch period and a period T + 1 having an odd number of samples is obtained. So, in the example shown on the figure 3c the sample 30 becomes the first sample of the memory from which the two-by-two sample inversion is applied as shown in FIG. figure 2 (or the figure 3a ).
- the pitch period T is determined on the last samples of the signal Is validly received (by a technique 56 which can be known per se). It is detected whether the number of samples in the pitch period T is even or odd. If this number is odd (arrow N at the output of the test 57), the sample inversion is applied directly two by two (step 58) as described above with reference to the figure 3a .
- step 59 a sample is added to the pitch period T (step 59) and then the sample inversion is applied two by two. (step 58), in accordance with the treatment described above with reference to the figure 3c . Then, a chosen gain 61 is optionally applied to the succession of samples thus obtained to form the finally reconstructed signal Ss.
- the pitch period is firstly calculated from one or a few previous frames. Then the reduced harmonic excitation is generated as illustrated on the figure 2 , with systematic inversion. However, in the variant illustrated on the figure 1 it can be generated with random inversion. This irregular inversion of the samples of the voiced excitation advantageously makes it possible to attenuate the over-harmonicity. This advantageous embodiment is described below.
- the voiced excitation is calculated by group of two samples and with random inversion according to the treatment below.
- the length of this memory L mem (in number of stored samples) must be at least twice the maximum value of the pitch period duration (in number of samples).
- the number of samples to be stored can be of the order of 300, for a low sampling rate in narrow band, and more than 300 for higher sampling rates.
- the prior determination of the pitch period is not necessary to build the groups of samples to be reversed.
- the determination of the pitch period T 0 can be carried out together with the constitution of the groups within the meaning of the invention, by application of formula (5) above.
- the probability p will be very large, and the voicing will be preserved according to the calculation according to the formula (1). If, on the other hand, the voicing of the signal Se is not too marked, the probability p will be lower and the equations (2) and (3) will advantageously be used.
- equation (1) For highly voiced classes, equation (1) will be used instead.
- equations (2) and (3) For moderately or weakly voiced classes, equations (2) and (3) will be used instead.
- equations (2) and (3) For unvoiced classes, no harmonic excitation is generated and the excitation can then be generated from a white noise.
- equations (2) and (3) will also be used with a sufficiently large arbitrary pitch period.
- the present invention is not limited to the embodiments described above by way of example; it extends to other variants.
- the generation of excitation in predictive synthesis coding CELP aims to avoid overwriting in the context of the concealment of frame transmission errors. Nevertheless, it is possible to use the principles of the invention for band extension. It is then possible to use the generation of an expanded band excitation in a band extension system (with or without information transmission), based on a CELP type model (or CELP subband). The excitation of the high band can then be calculated as previously described, which then limits the over-harmonicity of this excitation.
- the implementation of the invention is particularly suited to the transmission of signals over packet networks, or even by packets, for example " voice over IP " (for " Internet Protocol ”) packets, so as to provide acceptable quality when losing such packets over IP, while still ensuring limited complexity.
- packets for example " voice over IP " (for " Internet Protocol ") packets, so as to provide acceptable quality when losing such packets over IP, while still ensuring limited complexity.
- the inversion of the samples can be carried out on groups of samples larger than two.
- the present invention also relates to a computer program intended to be stored in memory of a device for synthesizing a digital audio signal.
- This program then comprises instructions for implementing the method within the meaning of the invention, when it is executed by a processor of such a synthesis device.
- the figure 4 described above can illustrate a flowchart of such a computer program.
- the synthesis device SYN within the meaning of the invention comprises means such as a working memory MEM (or storage of the aforementioned computer program) and a PROC processor cooperating with this memory MEM, for the implementation of the method within the meaning of the invention, and thus to synthesize the current block from at least one of the preceding blocks of the signal Se.
- a working memory MEM or storage of the aforementioned computer program
- PROC processor cooperating with this memory MEM, for the implementation of the method within the meaning of the invention, and thus to synthesize the current block from at least one of the preceding blocks of the signal Se.
- the present invention also provides an apparatus for receiving a digital audio signal consisting of a succession of blocks, such as a decoder of such a signal for example. Still referring to the figure 5 this apparatus may advantageously comprise an invalid block detector DET, as well as the device SYN within the meaning of the invention for synthesizing invalid blocks detected by the detector DET.
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
- La présente invention concerne le traitement de signaux audionumériques, tels que des signaux de parole en télécommunication, en particulier au décodage de tels signaux.
- On rappelle rapidement qu'un signal de parole peut être prédit à partir de son passé récent (par exemple de 8 à 12 échantillons à 8 kHz) au moyen de paramètres évalués sur des fenêtres courtes (10 à 20 ms dans cet exemple). Ces paramètres de prédiction à court terme, représentatifs de la fonction de transfert du conduit vocal (par exemple pour prononcer des consonnes), sont obtenus par des méthodes d'analyse LPC (pour "Linear Prediction Coding"). On met en oeuvre aussi une corrélation à plus long terme pour déterminer des périodicités de sons voisés (par exemple les voyelles) dues à la vibration des cordes vocales. Il s'agit donc de déterminer au moins la fréquence fondamentale du signal voisé qui varie typiquement de 60 Hz (voix grave) à 600 Hz (voix aiguë) selon les locuteurs. On détermine alors, par une analyse LTP (pour "Long Term Prediction"), les paramètres LTP d'un prédicteur à long terme, et en particulier l'inverse de la fréquence fondamentale, appelée souvent "période de pitch". On définit alors le nombre d'échantillons dans une période de pitch par le rapport Fe/F0 (ou sa partie entière), où :
- Fe est la cadence d'échantillonnage, et
- F0 est la fréquence fondamentale.
- On retiendra donc que les paramètres de prédiction à long terme LTP, dont la période de pitch, représentent la vibration fondamentale du signal de parole (lorsqu'il est voisé), tandis que les paramètres de prédiction à court terme LPC représentent l'enveloppe spectrale de ce signal.
- L'ensemble de ces paramètres LPC et LTP, résultant donc d'un codage de parole, est transmis par blocs vers un décodeur homologue, via un ou plusieurs réseaux de télécommunication, pour restituer ensuite le signal de parole initial.
- Dans le cadre de la communication de tels signaux par blocs, la perte d'un ou de plusieurs blocs consécutifs peut survenir. On entend par le terme "bloc" une succession de données de signal qui peut être par exemple une trame en communication radiomobile, ou encore un paquet par exemple en communication sur IP (pour "Internet Protocol"), ou autres.
- En communication radiomobile par exemple, la plupart des techniques de codage par synthèse prédictive, et notamment le codage de type CELP (pour "Code Excited Liner Predictive"), proposent des solutions pour récupérer des trames effacées. Le décodeur est informé de l'occurrence d'une trame effacée, par exemple par la transmission d'une information d'effacement de trame provenant du décodeur canal. La récupération de trames effacées a pour objectif d'extrapoler les paramètres de la trame effacée à partir d'une ou plusieurs trames précédentes considérées comme valides. Certains paramètres manipulés ou codés par les codeurs prédictifs présentent une forte corrélation entre trames. Il s'agit typiquement des paramètres de prédiction à long terme LTP, pour les sons voisés par exemple, et des paramètres de prédiction à court terme LPC. Du fait de cette corrélation, il est beaucoup plus avantageux de réutiliser les paramètres de la dernière trame valide pour synthétiser la trame effacée, que d'utiliser des paramètres aléatoires, voire erronés.
- En génération d'excitation CELP, les paramètres de la trame effacée sont classiquement obtenus comme suit.
- Les paramètres LPC d'une trame à reconstruire sont obtenus à partir des paramètres LPC de la dernière trame valide, par simple recopie des paramètres ou encore avec introduction d'un certain amortissement (technique utilisée par exemple dans le codeur normalisé G723.1). Ensuite, on détecte un voisement ou un non voisement dans le signal de parole pour déterminer un degré d'harmonicité du signal au niveau de la trame effacée.
- Si le signal est non voisé, un signal d'excitation peut être généré de manière aléatoire (par tirage d'un mot de code de l'excitation passée, par léger amortissement du gain de l'excitation passée, par sélection aléatoire dans l'excitation passée, ou en utilisant encore des codes transmis qui peuvent être totalement erronés).
- Si le signal est voisé, la période de pitch (appelée aussi "délai LTP") est généralement celle calculée pour la trame précédente, éventuellement avec une légère "gigue" (augmentation de la valeur du délai LTP pour les trames d'erreur consécutive, le gain LTP étant pris très voisin de 1 ou égal à 1). Le signal d'excitation est donc limité à la prédiction à long terme effectuée à partir d'une excitation passée.
- Les moyens de dissimulation des trames effacées, au décodage, sont généralement fortement liés à la structure du décodeur et peuvent être communs à des modules de ce décodeur, comme par exemple le module de synthèse du signal. Ces moyens utilisent aussi des signaux intermédiaires disponibles au sein du décodeur, comme par exemple le signal d'excitation passé et mémorisé lors du traitement des trames valides précédant les trames effacées.
- Certaines techniques utilisées pour dissimuler les erreurs produites par des paquets perdus lors du transport de données codées selon un codage de type temporel font souvent appel à des techniques de substitution de formes d'ondes. De telles techniques visent à reconstituer le signal en sélectionnant des portions du signal décodé avant la période perdue et ne font pas appel à des modèles de synthèse. Des techniques de lissage sont également mises en oeuvre pour éviter les artefacts produits par la concaténation des différents signaux.
- Pour les décodeurs opérant sur des signaux codés par codage par transformée, les techniques de reconstruction des trames effacées s'appuient généralement sur la structure de codage utilisée. Certaines techniques visent à régénérer les coefficients transformés perdus à partir des valeurs prises par ces coefficients avant l'effacement.
- D'autres techniques de dissimulation des trames effacées ont été développées conjointement avec le codage canal. Elles se servent d'informations fournies par le décodeur canal, par exemple d'informations concernant le degré de fiabilité des paramètres reçus. On indique ici qu'au contraire, l'objet de la présente invention ne présuppose pas l'existence d'un codeur canal.
- On a proposé, dans le document Combescure et al. :
- " A 16,24,32 kbit/s Wideband Speech Codec Based on ATCELP", P.Combescure, J.Schnitzler, K.Ficher, R.Kirchherr, C.Lamblin, A.Le Guyader, D.Massaloux, C.Quinquis, J.Stegmann, P.Vary, Proceedings Conference ICASSP (1998), l'usage d'une méthode de dissimulation des trames effacées équivalente à celle utilisée dans les codeurs CELP pour un codeur par transformée.
- Les inconvénients de cette méthode étaient l'introduction de distorsions spectrales audibles (voix "synthétique", résonances parasites, etc.). Ces inconvénients étaient dus notamment à l'usage de filtres de synthèse à long terme mal contrôlés (composante harmonique unique en sons voisés, usage de portions du signal résiduel passé en sons non voisés). En outre, le contrôle d'énergie s'effectue ici au niveau du signal d'excitation et la cible énergétique de ce signal est maintenue constante pendant toute la durée de l'effacement, ce qui engendre également des artefacts audibles et gênants.
- Dans le document
FR-2,813,722 - une composante fortement harmonique limitée en bande aux basses fréquences du spectre total, et
- une autre composante moins harmonique et limitée aux plus hautes fréquences.
- Le problème principal des techniques de dissimulation d'erreur utilisées jusque là dans les codeurs CELP réside dans la génération de l'excitation voisée qui, lorsque plusieurs trames consécutives ont été perdues, peuvent entraîner un effet de survoisement dû à la répétition de la même période de pitch sur plusieurs trames. Il est ainsi proposé dans
WO 2006/07 9348 de faire varier les échantillons dans les trames successives. - La présente invention telle que definie par les revendications 1, 7 et 8 vient améliorer la situation.
- Elle propose à cet effet un procédé de synthèse d'un signal audionumérique représenté par des blocs consécutifs d'échantillons, dans lequel, à la réception d'un tel signal, pour remplacer au moins un bloc invalide, on génère un bloc de remplacement à partir des échantillons d'au moins un bloc valide, précédant le bloc invalide.
- Le procédé selon l'invention comporte les étapes suivantes :
- a) sélectionner un nombre choisi d'échantillons formant une succession dans au moins un dernier bloc valide précédant le bloc invalide,
- b) fragmenter la succession d'échantillons en groupes d'échantillons, et, dans au moins une partie des groupes, inverser des échantillons selon des règles prédéterminées,
- c) re-concaténer les groupes dont les échantillons de certains au moins ont été inversés à l'étape b), pour former une partie au moins du bloc de remplacement, et
- d) si ladite partie obtenue à l'étape c) ne remplit pas tout le bloc de remplacement, recopier ladite partie dans le bloc de remplacement et appliquer à nouveau les étapes a), b), c) à ladite partie recopiée.
- Cette inversion d'échantillons, qui consiste donc en une manipulation d'échantillons très simple et peu coûteuse en termes de calcul et de moyens de traitement, a pour but de "casser" une sur-harmonicité qui aurait pu être présente si une simple recopie de période de pitch avait été mise en oeuvre.
- Ainsi, parmi les avantages qu'offre la présente invention, sa mise en oeuvre ne nécessite qu'un très faible coût de calcul.
- L'invention s'applique avantageusement au cas où le signal audionumérique est un signal de parole voisé, et, plus particulièrement, faiblement voisé car la simple recopie de période de pitch donne des résultats médiocres dans ce cas. Ainsi, selon une caractéristique avantageuse, on détecte un degré de voisement dans le signal de parole et on applique les étapes a) à d) si le signal est au moins faiblement voisé.
- La présente invention s'appuie avantageusement sur la fréquence fondamentale du signal audionumérique pour constituer les groupes à l'étape b). Ainsi, avantageusement, à l'étape a) :
- al) on détecte un ton dans le signal audionumérique, et
- a2) ledit nombre choisi d'échantillons sélectionnés à l'étape a) correspond au nombre d'échantillons que comporte une période correspondant à l'inverse d'une fréquence fondamentale du ton détecté.
- Bien entendu, dans le cas d'un signal de parole, l'opération a1) peut consister à détecter un voisement et l'opération a2) viserait, si le signal de parole est voisé, à sélectionner un nombre d'échantillons qui s'étend sur toute une période de pitch (inverse d'une fréquence fondamentale d'un ton de voix). Néanmoins, on relèvera que cette réalisation peut aussi viser un signal autre qu'un signal de parole, notamment un signal musical, si une fréquence fondamentale propre à un ton global de musique peut y être détectée.
- Dans un mode de réalisation, la fragmentation de l'étape b) s'effectue par groupes de deux échantillons, et on inverse les positions des échantillons d'un même groupe l'une avec l'autre.
- Toutefois, dans ce mode de réalisation, il convient de distinguer le cas où la période de pitch (ou plus généralement la période inverse de la fréquence fondamentale) comporte un nombre d'échantillons pair ou impair. En particulier, si le nombre d'échantillons que comporte la période du ton détecté est un nombre pair, un nombre impair d'échantillons (préférentiellement un seul échantillon) est avantageusement ajouté ou retranché aux échantillons de ladite période pour former la sélection de l'étape a).
- Il convient de préciser aussi ce que l'on entend par les "règles prédéterminées d'inversion". Ces règles, qui peuvent être choisies selon les caractéristiques du signal reçu, imposent notamment le nombre d'échantillons par groupes à l'étape b) et la manière d'inverser les échantillons dans un groupe. Dans le mode de réalisation ci-avant, on prévoit des groupes de deux échantillons et une simple inversion des positions respectives de ces deux échantillons. Toutefois, d'autres configurations sont possibles (groupes comportant plus de deux échantillons et permutation de tous les échantillons de tels groupes). Par ailleurs, les règles d'inversion peuvent fixer aussi le nombre de groupes dans lesquels l'inversion est effectuée. Une réalisation particulière consiste à rendre aléatoires les occurrences d'inversion d'échantillons dans chaque groupe et fixer un seuil de probabilité pour inverser ou non les échantillons d'un groupe. Ce seuil de probabilité peut avoir une valeur fixe, ou encore une valeur variable et dépendre avantageusement d'une fonction de corrélation portant sur la période de pitch. Dans ce cas, la détermination formelle de la période de pitch, elle-même, n'est pas nécessaire. D'ailleurs, plus généralement, le traitement au sens de l'invention peut être effectué aussi si le signal valide reçu n'est simplement pas voisé, auquel cas il n'existe pas réellement de période de pitch détectable. Dans ce cas, il peut être prévu de fixer un nombre donné d'échantillons arbitraire (par exemple deux cents échantillons) et réaliser le traitement au sens de l'invention sur ce nombre d'échantillons. Il est aussi possible de prendre la valeur correspondant au maximum de la fonction de corrélation en limitant la recherche dans un intervalle de valeur (par exemple entre MAX_PITCH/2 et MAX_PITCH, où MAX_PITCH est la valeur maximale dans la recherche de période de pitch).
- La présente invention, proposant ainsi l'atténuation de survoisement, offre les avantages suivants :
- la parole synthétisée lors d'une perte de bloc ne présente pratiquement plus de phénomène de sur-harmonicité ou de survoisement, et
- la complexité nécessaire pour générer une excitation voisée est très faible, comme on le verra dans l'exemple de réalisation décrit en détail ci-après.
- D'ailleurs, d'autres avantages et caractéristiques de l'invention apparaîtront à l'examen de la description détaillée, donnée à titre d'exemple ci-après, et des dessins annexés sur lesquels :
- la
figure 1 illustre le principe d'une génération d'excitation permettant d'atténuer l'effet de survoisement, en intégrant une inversion aléatoire d'échantillons, sur des blocs de deux échantillons et avec une probabilité de 50% dans l'exemple représenté, sur toute une période de pitch, - la
figure 2 illustre le principe d'une génération d'excitation intégrant une inversion d'échantillons, ici systématique, sur des blocs de deux échantillons dans l'exemple représenté et sur toute une période de pitch, - la
figure 3a illustre l'application de l'inversion systématique de lafigure 2 sur un signal dont on a estimé une période de pitch comportant un nombre d'échantillons impair, - la
figure 3b représente, à titre purement illustratif, l'application de l'inversion systématique de lafigure 2 sur un signal dont on a estimé une période de pitch comportant un nombre d'échantillons pair, - la
figure 3c illustre l'application de l'inversion systématique de lafigure 2 , avec ici une correction par ajout d'un échantillon à la durée correspondant à la période de pitch, pour rendre cette durée impaire en termes de nombre d'échantillons qu'elle comporte, - la
figure 4 illustre schématiquement les étapes principales d'un procédé au sens de l'invention, au décodage, - la
figure 5 illustre très schématiquement la structure d'un appareil de réception d'un signal audionumérique comportant un dispositif de synthèse pour la mise en oeuvre du procédé au sens de l'invention. - On se réfère tout d'abord à la
figure 4 pour illustrer le contexte de mise en oeuvre de la présente invention. Sur réception d'un signal d'entrée Se au décodage, on détecte (test 50) la perte d'un ou plusieurs blocs consécutifs. Si aucune perte de bloc n'est constatée (flèche O en sortie du test 50), aucun problème ne se pose, bien entendu, et le traitement de lafigure 4 s'achève. - En revanche, si la perte d'un ou plusieurs blocs consécutifs est constatée (flèche N en sortie du test 50), on détecte alors le degré de voisement (test 51) du signal.
- Si le signal n'est pas voisé (flèche N en sortie du test 51), on remplace les blocs perdus par exemple par un bruit blanc, audible, dit "bruit de confort" 52, et on ajuste le gain 61 des échantillons des blocs ainsi reconstruits. On peut réaliser par exemple un contrôle sur l'énergie du signal reconstruit Ss, avec adaptation de la loi d'évolution, et/ou faire évoluer des paramètres du modèle vers un signal de repos tel que le bruit de confort 52.
- Dans une variante de la présente invention, on ne considère que deux classes de signaux, les signaux voisés d'une part, et les signaux faiblement ou non voisés d'autre part. L'avantage de cette variante est que la génération du signal non voisé sera identique à la synthèse faiblement voisée. Comme indiqué précédemment, la "période de pitch" utilisée pour les signaux non voisés est une valeur aléatoire, de préférence assez grande (par exemple deux cents échantillons). Dans un bloc non voisé, le signal précédent est non harmonique, en appliquant le traitement au sens de l'invention à une période suffisamment grande, on garantit que le signal ainsi généré reste non harmonique. La nature du signal sera avantageusement conservée, ce qui ne serait pas le cas en utilisant un signal aléatoirement généré (par exemple un bruit blanc).
- Si le signal est fortement voisé (flèche O en sortie du test 51), on remplace les blocs perdus par recopie de la période de pitch T. On détermine donc la période de pitch T identifiée dans la dernière partie encore valide du signal reçu Se (par une technique 53 quelconque qui peut être connue en soi). On recopie ensuite les échantillons de cette période de pitch T dans les blocs perdus (référence 54). On applique ensuite un gain approprié 61 aux échantillons ainsi replacés (pour effectuer par exemple une atténuation ou "fading").
- Dans l'exemple décrit, si le signal est moyennement voisé (ou, dans une variante moins sophistiquée mais plus générale, si le signal est simplement voisé), on applique le procédé au sens de l'invention (flèche M en sortie du test 51 sur le degré de voisement).
- En référence aux
figures 1 et2 , le principe de l'invention consiste à rassembler les échantillons des derniers blocs valides reçus, par groupes d'au moins deux échantillons. Dans l'exemple desfigures 1 et2 , on a regroupé effectivement ces échantillons par deux. On pourrait néanmoins les regrouper par plus de deux échantillons, auquel cas les règles d'inversion d'échantillons par groupe et de prise en compte de la parité en nombre d'échantillons de la période de pitch T, décrites en détail ci-après, seraient légèrement adaptées. - En se référant en particulier à la
figure 2 , les groupes A, B, C, D, de deux échantillons dans les derniers blocs valides reçus sont recopiés et concaténés aux derniers échantillons reçus. Toutefois, dans ces groupes recopiés, référencés A', B', C', D', on a inversé les valeurs des deux échantillons dans chaque groupe (ou conservé leur valeur et inversé leurs positions respectives). Ainsi, le groupe A devient le groupe A', avec ses deux échantillons inversés par rapport au groupe A (conformément aux deux flèches du groupe A' sur lafigure 2 ). Le groupe B devient le groupe B', avec ses deux échantillons inversés par rapport au groupe B, et ainsi de suite. La recopie et concaténation des groupes A', B', C', D', s'effectue avantageusement en respectant la période de pitch T. Ainsi, le groupe A', constitué des échantillons inversés du groupe A, est séparé du groupe A d'un nombre d'échantillons correspondant à la durée de la période de pitch T. De même, le groupe B' est séparé du groupe B par une durée correspondant à la période de pitch T, et ainsi de suite. - Sur la
figure 2 , l'inversion des échantillons par groupe est systématique. Dans une variante telle que représentée sur lafigure 1 , on peut rendre aléatoire l'occurrence de cette inversion. Il peut même être prévu de fixer un seuil p de probabilité pour inverser ou non les échantillons d'un groupe. Dans l'exemple représenté sur lafigure 1 , le seuil p est fixé à 50% de sorte que seuls deux groupes B', C', sur quatre, ont leurs échantillons inversés. Il peut être prévu aussi de rendre variable le seuil p de probabilité, en particulier de le faire dépendre d'une fonction de corrélation portant sur la période de pitch T, comme on le verra plus loin. - En reprenant la description du mode de réalisation illustré sur la
figure 2 , où l'on applique une inversion systématique des échantillons par groupe, on obtient, en référence maintenant à lafigure 3a , une nouvelle succession d'échantillons T', de durée correspondant à la période de pitch T, mais avec inversion des échantillons deux à deux. On a représenté sur lafigure 3a les derniers échantillons des derniers blocs valides reçus dans le signal Se et qui ont été mémorisés dans un décodeur. Ici, comme l'inversion est systématique et non pas aléatoire avec estimation d'une corrélation, on a déterminé la période de pitch T du signal voisé (par un moyen connu en soi) et on a recueilli les derniers échantillons 10,11,...,22 du signal Se, qui s'étendent sur la durée de la période de pitch T. Les deux premiers échantillons 10 et 11 sont inversés dans le signal à reconstruire, noté Ss. Les troisième et quatrième échantillons 12 et 13 sont inversés aussi, et ainsi de suite. On obtient alors une succession T' d'échantillons 11, 10, 13, 12, ... qui s'étend sur une même durée que la période de pitch. Si plusieurs blocs s'étendant sur plusieurs périodes de pitch manquent au décodage, on continue la reconstruction du signal Ss en prenant la succession T' et en recommençant l'inversion des échantillons deux à deux de la succession T', pour obtenir une nouvelle succession T", et ainsi de suite. - Dans le cas de la
figure 3a , le nombre d'échantillons par périodes T, T', T" est égal à un même nombre impair (treize échantillons dans l'exemple représenté), ce qui permet d'obtenir un mélange progressif des échantillons au fur et à mesure de la reconstruction du signal Ss, et de là, une atténuation efficace de la sur-harmonicité (ou, autrement dit, du survoisement du signal reconstruit). - En revanche, dans le cas illustré sur la
figure 3b où le nombre d'échantillons par périodes T, T', T" est un nombre pair (douze échantillons dans l'exemple représenté), en pratiquant deux fois une inversion (de la période T à la période T', puis de la période T' à la période T") des échantillons, pris deux à deux, de la période de pitch T, on retrouve exactement la même succession que la période de pitch T dans la succession T", ce qui génère alors une sur-harmonicité. - Ce problème peut être surmonté en modifiant le nombre d'échantillons à inverser par groupe (et prendre par exemple un nombre impair d'échantillons par groupe).
- On a toutefois illustré un autre mode de réalisation sur la
figure 3c . Ce mode de réalisation consiste simplement, lorsque la période de pitch comporte un nombre pair d'échantillons et lorsque les inversions visent des nombres pairs d'échantillons par groupe, à ajouter un nombre impair d'échantillons à la période de pitch du signal à reconstruire. Sur lafigure 3c , la dernière période de pitch détectée T comporte douze échantillons 31, 32, ..., 42. On ajoute alors un échantillon à la période de pitch et on obtient une période T+1 comportant un nombre impair d'échantillons. Ainsi, dans l'exemple illustré sur lafigure 3c , l'échantillon 30 devient le premier échantillon de la mémoire à partir de laquelle on applique l'inversion d'échantillons deux à deux comme illustré sur lafigure 2 (ou lafigure 3a ). On obtient une période T' du signal reconstruit Ss, comportant un nombre d'échantillons impair, à laquelle on applique encore l'inversion d'échantillons deux à deux pour obtenir la période T", comportant encore un nombre d'échantillons impair, et ainsi de suite. On notera alors que la succession d'échantillons 33, 30, 35, 32, 34, ...de la période T" est bien différente, cette fois, de la succession d'échantillons 30, 31, 32, 33, ... de la période de pitch initiale T. - En référence à nouveau à la
figure 4 mettant en oeuvre, dans l'exemple représenté, le mode de réalisation illustré sur lesfigures 2 ,3a et3c , lorsque le signal Se est moyennement voisé (flèche M en sortie du test 51), on détermine la période de pitch T sur les derniers échantillons du signal Se valablement reçus (par une technique 56 qui peut être connue en soi). On détecte si le nombre d'échantillons dans la période de pitch T est pair ou impair. Si ce nombre est impair (flèche N en sortie du test 57), on applique directement l'inversion des échantillons deux à deux (étape 58) comme décrit ci-avant en référence à lafigure 3a . Si le nombre d'échantillons dans la période de pitch T est pair (flèche O en sortie du test 57), on ajoute un échantillon à la période de pitch T (étape 59) et on applique ensuite l'inversion des échantillons deux à deux (étape 58), conformément au traitement décrit ci-avant en référence à lafigure 3c . Ensuite, on applique éventuellement un gain choisi 61 à la succession d'échantillons ainsi obtenue pour former le signal finalement reconstruit Ss. - Comme indiqué ci-avant en référence à la
figure 4 , la période de pitch est tout d'abord calculée à partir d'une ou de quelques trames précédentes. Ensuite, l'excitation à harmonicité réduite est générée de la manière illustrée sur lafigure 2 , avec inversion systématique. Toutefois, dans la variante illustrée sur lafigure 1 , elle peut être générée avec inversion aléatoire. Cette inversion irrégulière des échantillons de l'excitation voisée permet avantageusement d'atténuer la sur-harmonicité. On détaille ci-après cette réalisation avantageuse. -
- Dans une forme de réalisation de l'invention, l'excitation voisée est calculée par groupe de deux échantillons et avec inversion aléatoire selon le traitement ci-après.
- Tout d'abord, on génère un nombre aléatoire x dans l'intervalle [0 ; 1]. Ensuite, en fonction de la valeur de x :
- si x < p, s(n) et s(n+1) sont calculés à partir de l'équation (1)
- si x ≥ p, s(n) et s(n+1) sont calculés selon les équations (2) et (3) suivantes :
- La valeur p représente la probabilité d'inverser les deux échantillons s(n) et s(n+1). Par exemple, on peut fixer la valeur p telle que p = 50%.
- Dans une variante avantageuse, on peut aussi choisir une probabilité variable, par exemple de la forme :
- De cette formule, on comprendra que la longueur de cette mémoire Lmem (en nombre d'échantillons stockés) doit être égale à au moins deux fois la valeur maximale de la durée de période de pitch (en nombre d'échantillons). Pour tenir compte des voix les plus graves (plus basse fréquence fondamentale de l'ordre de 50 Hz), le nombre d'échantillons à stocker peut être de l'ordre de 300, pour un faible taux d'échantillonnage en bande étroite, et de plus de 300 pour des taux d'échantillonnage plus élevés.
- La fonction de corrélation corr(T), donnée par la formule (5), atteint une valeur maximale lorsque la variable T correspond à la période de pitch T 0 et cette valeur maximale donne une indication du degré de voisement. Typiquement, si cette valeur maximale est très proche de 1, alors le signal est fortement voisé. Si elle est proche de 0, le signal n'est pas voisé.
- On comprendra ainsi que dans cette réalisation, la détermination préalable de la période de pitch n'est pas nécessaire pour construire les groupes d'échantillons à inverser. En particulier, la détermination de la période de pitch T 0 peut être effectuée conjointement avec la constitution des groupes au sens de l'invention, par application de la formule (5) ci-avant.
- Si le signal est très voisé, alors la probabilité p sera très grande, et le voisement sera conservé conformément au calcul selon la formule (1). Si, en revanche, le voisement du signal Se n'est pas trop marqué, la probabilité p sera plus faible et on utilisera avantageusement les équations (2) et (3).
- Bien entendu, d'autres calculs de corrélations peuvent aussi être utilisés.
- Par exemple, il est aussi possible de calculer l'excitation harmonique en fonction de classes prédéfinies. Pour les classes très voisées, l'équation (1) sera plutôt utilisée. Pour les classes moyennement ou faiblement voisées, les équations (2) et (3) seront plutôt utilisées. Pour les classes non voisées, aucune excitation harmonique n'est générée et l'excitation peut alors être générée à partir d'un bruit blanc. Toutefois, dans la variante décrite précédemment, les équations (2) et (3) seront aussi utilisées avec une période de pitch arbitraire suffisamment grande.
- De manière plus générale, la présente invention ne se limite pas aux formes de réalisation décrites ci-avant à titre d'exemple ; elle s'étend à d'autres variantes.
- Dans le contexte de réalisation de l'invention décrite en détail ci-avant, la génération d'excitation en codage par synthèse prédictive CELP vise à éviter le survoisement dans le contexte de la dissimulation d'erreurs de transmissions de trames. Il peut être prévu néanmoins d'utiliser les principes de l'invention pour de l'extension de bande. On peut alors utiliser la génération d'une excitation en bande élargie dans un système d'extension de bande (avec ou sans transmission d'informations), basée sur un modèle de type CELP (ou sous-bande CELP). L'excitation de la bande haute peut être alors calculée comme décrit précédemment, ce qui permet de limiter alors la sur-harmonicité de cette excitation.
- Par ailleurs, la mise en oeuvre de l'invention est particulièrement adaptée à la transmission de signaux sur réseaux par trames, ou encore par paquets, par exemple des paquets de "voix sur IP" (pour "Internet Protocol"), de manière à fournir une qualité acceptable lors de la perte de tels paquets sur IP, tout en garantissant néanmoins une complexité limitée.
- Bien entendu, l'inversion des échantillons peut être menée sur des groupes d'échantillons de taille supérieure à deux.
- Par ailleurs, on a décrit ci-avant la génération d'un bloc de remplacement d'un bloc invalide à partir des échantillons d'un bloc valide, précédant le bloc invalide. Dans une variante, on peut s'appuyer plutôt sur un bloc valide succédant le bloc invalide pour réaliser la synthèse du bloc invalide (synthèse a posteriori). Cette réalisation peut être avantageuse notamment pour synthétiser plusieurs blocs invalides successifs et, en particulier, pour synthétiser :
- des blocs invalides succédant immédiatement des blocs valides précédents, à partir de ces blocs précédents,
- puis des blocs invalides précédant immédiatement des blocs valides suivants, à partir de ces blocs suivants.
- La présente invention vise aussi un programme d'ordinateur destiné à être stocké en mémoire d'un dispositif de synthèse d'un signal audionumérique. Ce programme comporte alors des instructions pour la mise en oeuvre du procédé au sens de l'invention, lorsqu'il est exécuté par un processeur d'un tel dispositif de synthèse. D'ailleurs, la
figure 4 décrite ci-avant peut illustrer un organigramme d'un tel programme d'ordinateur. - Par ailleurs, la présente invention vise aussi un dispositif de synthèse d'un signal audionumérique constitué d'une succession de blocs. Ce dispositif pourrait comporter d'ailleurs une mémoire stockant le programme d'ordinateur précité. En référence à la
figure 5 , ce dispositif SYN, comporte : - une entrée E pour recevoir des blocs du signal Se, précédant au moins un bloc courant à synthétiser, et
- une sortie S pour délivrer le signal synthétisé Ss et comportant au moins ce bloc courant à synthétiser.
- Le dispositif de synthèse SYN au sens de l'invention comporte des moyens tels qu'une mémoire de travail MEM (ou de stockage du programme d'ordinateur précité) et un processeur PROC coopérant avec cette mémoire MEM, pour la mise en oeuvre du procédé au sens de l'invention, et pour synthétiser ainsi le bloc courant à partir d'au moins un des blocs précédents du signal Se.
- La présente invention vise aussi un appareil de réception d'un signal audionumérique constitué d'une succession de blocs, tel qu'un décodeur d'un tel signal par exemple. En référence encore à la
figure 5 , cet appareil peut comporter avantageusement un détecteur de blocs invalides DET, ainsi que le dispositif SYN au sens de l'invention pour synthétiser des blocs invalides détectés par le détecteur DET.
Claims (9)
- Procédé de synthèse d'un signal audionumérique représenté par des blocs consécutifs d'échantillons, dans lequel, à la réception d'un tel signal, pour remplacer au moins un bloc invalide, on génère un bloc de remplacement à partir des échantillons d'au moins un bloc valide précédant le bloc invalide,
caractérisé en ce qu'il comporte les étapes suivantes :a) estimer une corrélation permettant de détecter une éventuelle période correspondant à l'inverse d'une fréquence fondamentale d'un ton dans le signal audionumérique, et sélectionner un nombre (T) d'échantillons qui est fonction de cette estimation, formant une succession dans au moins un dernier bloc valide précédant le bloc invalide,b) fragmenter la succession d'échantillons en groupes (A,B,C,D) de deux échantillons, et, dans au moins une partie des groupes, inverser les deux échantillons ou non en fonction de ladite estimation de corrélation,c) re-concaténer les groupes (A',B',C',D') dont les échantillons de certains au moins ont été inversés à l'étape b), pour former une partie (T') au moins du bloc de remplacement, etd) si ladite partie obtenue à l'étape c) ne remplit pas tout le bloc de remplacement, recopier ladite partie (T') dans le bloc de remplacement et appliquer à nouveau les étapes b) et c) à ladite partie recopiée. - Procédé selon la revendication 1, dans lequel le signal audionumérique est un signal de parole, caractérisé en ce que l'estimation de corrélation comporte la détection d'un degré de voisement (51) dans le signal de parole et on applique les étapes b) à d) si le signal est faiblement voisé ou non voisé.
- Procédé selon l'une des revendications précédentes, caractérisé en ce que, pour mener l'étape a) :al) on recherche une corrélation pour détecter une éventuelle période correspondant à l'inverse d'une fréquence fondamentale d'un ton dans le signal audionumérique (56), eta2) ledit nombre d'échantillons sélectionnés à l'étape a) correspond :■ au nombre d'échantillons que comporte une période correspondant à l'inverse d'une fréquence fondamentale du ton si la recherche de corrélation détecte ladite période, et■ à un nombre fixe d'échantillons, prédéterminé, sinon.
- Procédé selon la revendication 3, caractérisé en ce que, si le nombre d'échantillons que comporte la période du ton détecté est un nombre pair, un nombre impair d'échantillons (30) est ajouté ou retranché aux échantillons de ladite période pour former la sélection de l'étape a), un échantillon de la succession (T') ainsi formée à l'étape a) n'étant pas regroupé, à l'étape b), avec un autre échantillon de ladite succession (T').
- Procédé selon l'une des revendications précédentes, caractérisé en ce que lesdites règles prédéterminées imposent de rendre aléatoires les occurrences d'inversion d'échantillons dans chaque groupe et fixent un seuil de probabilité (p) pour inverser ou non les échantillons d'un groupe.
- Procédé selon la revendication 5, caractérisé en ce que le seuil de probabilité (p) est variable et dépend de l'estimation de corrélation.
- Programme d'ordinateur destiné à être stocké en mémoire d'un dispositif de synthèse d'un signal audionumérique, caractérisé en ce qu'il comporte des instructions pour la mise en oeuvre du procédé selon l'une des revendications 1 à 6 lorsqu'il est exécuté par un processeur d'un tel dispositif de synthèse.
- Dispositif de synthèse d'un signal audionumérique constitué d'une succession de blocs, comportant :- une entrée pour recevoir des blocs du signal (Se), précédant au moins un bloc courant à synthétiser, et- une sortie pour délivrer le signal synthétisé (Ss) et comportant au moins ledit bloc courant,caractérisé en ce qu'il comporte des moyens (MEM, PROC) adaptés pour la mise en oeuvre du procédé selon l'une des revendications 1 à 6, pour synthétiser le bloc courant à partir d'au moins un desdits blocs précédents.
- Appareil de réception d'un signal audionumérique constitué d'une succession de blocs, comportant un détecteur de blocs invalides (DET),
caractérisé en ce qu'il comporte en outre un dispositif (SYN) selon la revendication 8, pour synthétiser des blocs de remplacement des blocs invalides.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0609225 | 2006-10-20 | ||
PCT/FR2007/052188 WO2008047051A2 (fr) | 2006-10-20 | 2007-10-17 | Attenuation du survoisement, notamment pour la generation d'une excitation aupres d'un decodeur, en absence d'information |
Publications (2)
Publication Number | Publication Date |
---|---|
EP2080194A2 EP2080194A2 (fr) | 2009-07-22 |
EP2080194B1 true EP2080194B1 (fr) | 2011-12-07 |
Family
ID=38011219
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP07858612A Active EP2080194B1 (fr) | 2006-10-20 | 2007-10-17 | Attenuation du survoisement, notamment pour la generation d'une excitation aupres d'un decodeur, en absence d'information |
Country Status (11)
Country | Link |
---|---|
US (1) | US8417520B2 (fr) |
EP (1) | EP2080194B1 (fr) |
JP (1) | JP5289319B2 (fr) |
KR (1) | KR101409305B1 (fr) |
CN (1) | CN101573751B (fr) |
AT (1) | ATE536613T1 (fr) |
BR (1) | BRPI0718423B1 (fr) |
ES (1) | ES2378972T3 (fr) |
MX (1) | MX2009004212A (fr) |
RU (1) | RU2437170C2 (fr) |
WO (1) | WO2008047051A2 (fr) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IL196146A (en) * | 2008-12-23 | 2014-01-30 | Elta Systems Ltd | Signal transmission system and method back to the source of transmission |
GB0920729D0 (en) * | 2009-11-26 | 2010-01-13 | Icera Inc | Signal fading |
CN105976830B (zh) * | 2013-01-11 | 2019-09-20 | 华为技术有限公司 | 音频信号编码和解码方法、音频信号编码和解码装置 |
FR3004876A1 (fr) * | 2013-04-18 | 2014-10-24 | France Telecom | Correction de perte de trame par injection de bruit pondere. |
CN105378831B (zh) | 2013-06-21 | 2019-05-31 | 弗朗霍夫应用科学研究促进协会 | 针对切换式音频编码系统在错误隐藏过程中的改善信号衰落的装置及方法 |
MX374981B (es) * | 2013-10-31 | 2025-03-06 | Fraunhofer Ges Forschung | Decodificador de audio y método para proveer una información de audio decodificada usando un ocultamiento de error sobre la base de una señal de excitación de dominio de tiempo |
BR122022008602B1 (pt) | 2013-10-31 | 2023-01-10 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Decodificador de áudio e método para fornecer uma informação de áudio decodificada utilizando uma dissimulação de erro que modifica um sinal de excitação no domínio de tempo |
EP2980798A1 (fr) * | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Commande dépendant de l'harmonicité d'un outil de filtre d'harmoniques |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0139803B1 (fr) * | 1983-10-28 | 1987-10-14 | International Business Machines Corporation | Procédé de reconstitution d'informations perdues dans un système de transmission numérique de la voix et système de transmission utilisant ledit procédé |
US5574825A (en) * | 1994-03-14 | 1996-11-12 | Lucent Technologies Inc. | Linear prediction coefficient generation during frame erasure or packet loss |
DE69419515T2 (de) * | 1994-11-10 | 2000-01-20 | Telefonaktiebolaget L M Ericsson (Publ), Stockholm | Verfahren und Einrichtung zur Tonwiederherstellung während Auslöschungen |
FR2774827B1 (fr) * | 1998-02-06 | 2000-04-14 | France Telecom | Procede de decodage d'un flux binaire representatif d'un signal audio |
GB2360178B (en) * | 2000-03-06 | 2004-04-14 | Mitel Corp | Sub-packet insertion for packet loss compensation in Voice Over IP networks |
FR2813722B1 (fr) * | 2000-09-05 | 2003-01-24 | France Telecom | Procede et dispositif de dissimulation d'erreurs et systeme de transmission comportant un tel dispositif |
EP1217613A1 (fr) * | 2000-12-19 | 2002-06-26 | Koninklijke Philips Electronics N.V. | Reconstitution de trames manquantes ou mauvaises en téléphonie cellulaire |
US7711563B2 (en) * | 2001-08-17 | 2010-05-04 | Broadcom Corporation | Method and system for frame erasure concealment for predictive speech coding based on extrapolation of speech waveform |
DE10219133B4 (de) * | 2002-04-29 | 2007-02-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Verschleiern eines Fehlers |
CA2388439A1 (fr) * | 2002-05-31 | 2003-11-30 | Voiceage Corporation | Methode et dispositif de dissimulation d'effacement de cadres dans des codecs de la parole a prevision lineaire |
JP4445328B2 (ja) * | 2004-05-24 | 2010-04-07 | パナソニック株式会社 | 音声・楽音復号化装置および音声・楽音復号化方法 |
BRPI0607247B1 (pt) * | 2005-01-31 | 2019-10-29 | Skype | método para gerar uma seqüência de saída de amostras em resposta a uma primeira e uma segunda subseqüências de amostras, código de programa executável por computador, dispositivo de armazenamento de programa, e, arranjo para receber um sinal de áudio digitalizado |
US7930176B2 (en) * | 2005-05-20 | 2011-04-19 | Broadcom Corporation | Packet loss concealment for block-independent speech codecs |
US7805297B2 (en) * | 2005-11-23 | 2010-09-28 | Broadcom Corporation | Classification-based frame loss concealment for audio signals |
US8255207B2 (en) * | 2005-12-28 | 2012-08-28 | Voiceage Corporation | Method and device for efficient frame erasure concealment in speech codecs |
-
2007
- 2007-10-17 MX MX2009004212A patent/MX2009004212A/es active IP Right Grant
- 2007-10-17 CN CN2007800458535A patent/CN101573751B/zh active Active
- 2007-10-17 EP EP07858612A patent/EP2080194B1/fr active Active
- 2007-10-17 KR KR1020097010004A patent/KR101409305B1/ko active Active
- 2007-10-17 JP JP2009532870A patent/JP5289319B2/ja active Active
- 2007-10-17 AT AT07858612T patent/ATE536613T1/de active
- 2007-10-17 ES ES07858612T patent/ES2378972T3/es active Active
- 2007-10-17 WO PCT/FR2007/052188 patent/WO2008047051A2/fr active Application Filing
- 2007-10-17 RU RU2009118918/08A patent/RU2437170C2/ru active
- 2007-10-17 US US12/446,280 patent/US8417520B2/en active Active
- 2007-10-17 BR BRPI0718423-9A patent/BRPI0718423B1/pt active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
ES2378972T3 (es) | 2012-04-19 |
KR101409305B1 (ko) | 2014-06-18 |
CN101573751B (zh) | 2013-09-25 |
EP2080194A2 (fr) | 2009-07-22 |
US8417520B2 (en) | 2013-04-09 |
BRPI0718423A2 (pt) | 2013-11-12 |
US20100324907A1 (en) | 2010-12-23 |
WO2008047051A2 (fr) | 2008-04-24 |
KR20090090312A (ko) | 2009-08-25 |
MX2009004212A (es) | 2009-07-02 |
JP2010507120A (ja) | 2010-03-04 |
BRPI0718423B1 (pt) | 2020-03-10 |
RU2437170C2 (ru) | 2011-12-20 |
ATE536613T1 (de) | 2011-12-15 |
RU2009118918A (ru) | 2010-11-27 |
JP5289319B2 (ja) | 2013-09-11 |
CN101573751A (zh) | 2009-11-04 |
WO2008047051A3 (fr) | 2008-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1316087B1 (fr) | Dissimulation d'erreurs de transmission dans un signal audio | |
EP2080195B1 (fr) | Synthèse de blocs perdus d'un signal audionumérique | |
EP2277172B1 (fr) | Dissimulation d'erreur de transmission dans un signal audionumerique dans une structure de decodage hierarchique | |
EP2080194B1 (fr) | Attenuation du survoisement, notamment pour la generation d'une excitation aupres d'un decodeur, en absence d'information | |
EP2026330B1 (fr) | Dispositif et procede pour dissimulation de trames perdues | |
EP1051703B1 (fr) | Procede decodage d'un signal audio avec correction des erreurs de transmission | |
FR2897977A1 (fr) | Procede de limitation de gain d'excitation adaptative dans un decodeur audio | |
WO2011161362A1 (fr) | Controle d'une boucle de retroaction de mise en forme de bruit dans un codeur de signal audionumerique | |
WO2016016567A1 (fr) | Gestion de la perte de trame dans un contexte de transition fd/lpd | |
FR2977439A1 (fr) | Fenetres de ponderation en codage/decodage par transformee avec recouvrement, optimisees en retard. | |
EP2347411B1 (fr) | Attenuation de pre-echos dans un signal audionumerique | |
EP2795618B1 (fr) | Procédé de détection d'une bande de fréquence prédéterminée dans un signal de données audio, dispositif de détection et programme d'ordinateur correspondant | |
EP3138095B1 (fr) | Correction de perte de trame perfectionnée avec information de voisement | |
EP2203915B1 (fr) | Dissimulation d'erreur de transmission dans un signal numerique avec repartition de la complexite | |
EP1665234B1 (fr) | Procede de transmission d un flux d information par insertion a l'interieur d'un flux de donnees de parole, et codec parametrique pour sa mise en oeuvre | |
EP2589045B1 (fr) | Codage/décodage prédictif linéaire adaptatif | |
EP0454552A2 (fr) | ProcédÀ© et dispositif de codage bas débit de la parole |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
17P | Request for examination filed |
Effective date: 20090415 |
|
AK | Designated contracting states |
Kind code of ref document: A2 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR |
|
DAX | Request for extension of the european patent (deleted) | ||
17Q | First examination report despatched |
Effective date: 20100720 |
|
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: EP |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: LANGUAGE OF EP DOCUMENT: FRENCH |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 602007019242 Country of ref document: DE Effective date: 20120301 |
|
REG | Reference to a national code |
Ref country code: NL Ref legal event code: VDEP Effective date: 20111207 |
|
REG | Reference to a national code |
Ref country code: ES Ref legal event code: FG2A Ref document number: 2378972 Country of ref document: ES Kind code of ref document: T3 Effective date: 20120419 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111207 |
|
LTIE | Lt: invalidation of european patent or patent extension |
Effective date: 20111207 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111207 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120308 Ref country code: NL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111207 Ref country code: LV Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111207 Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111207 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111207 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FD4D |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111207 Ref country code: IE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111207 Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111207 Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111207 Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120407 Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120307 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111207 Ref country code: PL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111207 Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120409 |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: MK05 Ref document number: 536613 Country of ref document: AT Kind code of ref document: T Effective date: 20111207 |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111207 |
|
26N | No opposition filed |
Effective date: 20120910 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 602007019242 Country of ref document: DE Effective date: 20120910 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111207 |
|
BERE | Be: lapsed |
Owner name: FRANCE TELECOM Effective date: 20121031 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MC Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20121031 |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111207 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LI Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20121031 Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20121031 Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20121031 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111207 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: TR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111207 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20121017 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: HU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20071017 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 9 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 10 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 11 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 12 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: GB Payment date: 20240919 Year of fee payment: 18 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: FR Payment date: 20240919 Year of fee payment: 18 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: IT Payment date: 20240919 Year of fee payment: 18 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20240919 Year of fee payment: 18 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: ES Payment date: 20241104 Year of fee payment: 18 |