FR2661062A2 - Procede et dispositif de codage et de decodage compatible d'images de television de resolutions differentes. - Google Patents

Abstract

Dans ce procédé les signaux représentatifs des images sont transmis sur un canal de transmission entre au moins un codeur d'émission et un décodeur de réception lié à un récepteur. Il consiste: - à découper l'image à coder en sous-bandes suivant une même structure arborescente par filtrage et décimation la bande de fréquence spatiale des signaux à transmettre quelque soit leur famille de résolution - à coder indépendamment les signaux à transmettre dans chaque sous-bande suivant un mode de codage intra-image ou un mode inter-images (95). Application: standardisation des systèmes de télévision.

Description

Procédé et dispositif de codage et de décodage
compatible d'images de télévision de résolutions différentes
Le présent certificat d'addition est un perfectionnement à l'invention décrite dans la demande de brevet principal 89 15175 déposée en France le 20 novembre 1989 au nom de la Demanderesse.

Le procédé de codage et de décodage tel qu'il est décrit selon la revendication 1 de la demande de brevet principal consiste à
- découper chaque image à transmettre en sous-bandes suivant une même structure arborescente par filtrage et décimation de la bande de fréquences spatiales des signaux à transmettre quelque soit leur famille d'appartenance,
- à coder indépendamment les signaux à transmettre dans chaque sous-bande
- à multiplexer les signaux codés des sous-bandes avant de les transmettre sur le canal de transmission
et à effectuer dans le décodeur de réception
- un démultiplexage des signaux codés reçus dans chaque sous-bande,
- pour décoder les signaux reçus relatifs à chaque sous-bande en fonction de la résolution des signaux transmis de la résolution propre du récepteur.

Appliqué directement au codage de points situés uniquement à l'intérieur d'une même image ce procédé perd malheureusement rapidement de son efficacité lorsque le débit sur le canal de transmission diminue. En fait, pour des débits inférieurs à 1,4 bits par pixel, la qualité visuelle des images observées n'est plus suffisante.

Le but de l'invention décrite dans la présente demande de certificat d'addition est de prendre en compte la corrélation temporelle naturelle des séquences d'images pour réduire le débit à environ 0,8 bit par pixel sans dégradation apparente de la qualité de l'image, tout en conservant les propriétés de codage compatible.

A cet effet, l'invention a pour objet un procédé de codage et de décodage compatible d'images de télévision de résolutions différentes selon la revendication 1 du brevet principal caractérisé en ce qu'il consiste à effectuer un codage inter-image basé sur la compensation du mouvement dans chacune des sous-bandes.

D'autres caractéristiques et avantages de l'invention apparaîtront à l'aide de la description qui suit faite en regard des dessins annexés qui représentent
- les figures 1A et 1B différents niveaux de résolution dans les espaces de Fourier spatial-temporel
- la figure 2 une cellule monodimensionnelle à deux canaux
- la figure 3A une cellule de décomposition bidimensionnelle séparable à quatre bandes
- la figure 3b un découpage du spectre obtenu au moyen de la cellule de décomposition représentée à la figure 3A
- la figure 4A une cellule de décomposition optimale
- la figure 4B un découpage du spectre obtenu au moyen de la cellule de décomposition représentée à la figure 4A
- la figure 5 un découpage fréquentiel correspondant à un arbre à sept branches
- la figure 6 un mode de réalisation d'un codeur compatible FIS (INTRA IMAGE)
- la figure 7 un mode de réalisation d'un décodeur compatible pour un récepteur au format VT
- la figure 8A un mode de réalisation simplifié d'un codeur inter-images
- la figure 8B un graphe pour illustrer le fonctionnement du quantificateur utilisé dans le mode de réalisation de la figure 8A
- la figure 9 une illustration du positionnement d'une fenêtre de recherche relativement à un bloc d'images dont le mouvement est estimé à l'aide d'une ligne
- la figure 10 un dispositif de quantification mis en oeuvre par l'invention pour coder une image inter-intra avec compensation de mouvement
- la figure 11A un mode de réalisation d'un codeur sous-bande HDP selon une configuration où le codage inter-images avec compensation de mouvement est sélectionné
- la figure 11B un mode de réalisation d'un décodeur compatible au format EDP selon une configuration inter-images avec compensation de mouvement
- la figure 12 un codeur compatible inter-images
- la figure 13 un mode de réalisation d'un décodeur inter-images d'une sous-bande quelconque.

Le procédé selon l'invention qui est décrit ci-après est basé sur le même principe que le procédé déjà décrit dans la demande de brevet principal, il en diffère cependant par le fait outil prend en compte la corrélation temporelle des séquences d'images en introduisant un codage inter-image supplémentaire.

Comme cela a déjà été indiqué dans la demande de brevet principal, une décomposition en sous-bandes, du spectre bidimensionnel de l'image, en ne considérant que les formats progressifs, peut être envisagée de maintes manières selon la forme désirée des sous-bandes obtenues par décimations rectangulaire, quinconce, hexagonale, etc..., selon la structure hiérarchique ou parallèle utilisée du banc de filtre et enfin selon les filtres de décomposition employés, que ces filtres soient à réponse impulsionnelle fini ou infini, séparables ou non.Néanmoins, pour des raisons tant pratiques que théoriques, notamment celles causées par la nécessité de pouvoir aisément dessiner des filtres sous-bandes assurant une reconstruction parfaite, ou quasi-parfaite du signal original en l'absence de toute quantification de signaux sous-bandes, mais aussi celles dues à la volonté d'obtenir un système modulaire permettant une recherche plus aisée de la décomposition sous-bande optimale en fonction du débit souhaité, il est préférable de choisir un système à structure hiérarchique qui seul permet de faire appa raître des niveaux de résolution emboîtés les uns dans les autres. Cela permet d'aménager à volonté la découpe du spectre de l'image à partir d'une spécification unique d'une cellule élémentaire d'analyse synthèse.L'intérêt est que plusieurs cellules élémentaires peuvent alors être arrangées selon une structure arborescente et que certaines parties du spectre peuvent ainsi être plus ou moins décomposées selon leur contenu informationnel. Enfin, pour faire apparaître des bandes de fréquences rectangulaires nécessitées par les contraintes de compatibilité de codage entre les différents standards vidéo actuellement envisagés HDP, HDI, EDP, TV et VT et dont les spectres sont représentés aux figures 1A et 1B, une approche utilisant des filtres séparables est préférable à tout autre car elle permet de traiter séparément les lignes et les colonnes de l'image au moyen de filtres monodimensionnels.Comme déjà décrit dans la demande de brevet principal les images entrelacées peuvent être associées à des images progressives équivalentes ayant un spectre de bande rectangulaire, et le spectre spatial de l'image peut alors être découpé selon une structure d'arbre à quatre bandes de fréquence et la conception du système d'analyse-synthèse peut alors reposer sur celle nettement plus simple d'un système d'analyse synthèse monodimensionnel à deux canaux. Une cellule monodimensionnelle comporte de la façon représentée à la figure 2 deux filtres 11 et 12 respectivement passe-bas et passe-haut de réponses impulsionnelles HOn et Hln et deux filtres d'interpolation 17 et 18 de réponses impulsionnelles GOn et Gln couplés entre eux par des dispositifs 13 et 14 de sous-échantillonnage et 15 et 16 de sur-échantillonnage.

La cellule de décomposition bidimensionnelle séparable à quatre bandes qui est représentée à la figure 3A comporte un ensemble formé par la mise en cascade de trois cellules monodimensionnelles selon un arbre à deux étages. Le premier étage formé par les filtres 20 et 21 de fonctions de transfert HOn et Hln filtre les colonnes d'une image et le second étage formé par les filtres 240 et 243 de fonctions de transfert HOn et Hln filtre les lignes de deux images sous-bandes obtenues du premier étage.La mise en cascade de telles cellules permet donc de découper le spectre spatial image selon une structure "quadtree" d'arbre à quatre bandes de fréquence, selon laquelle la hiérarchie de l'image initiale est d'abord découpée en 4 sous-bandes puis certaines des sous-bandes sont découpées et ainsi de suite avec possibilité d'utiliser des arbres tronqués pour découper par exemple plus les basses fréquences que les hautes fréquences. Dans le mode de réalisation de la figure 2 les filtres 11 et 12 doivent donner une reconstruction parfaite ou au moins supérieure à 50 décibels du signal Xn appliqué sur leur entrée. Pour leur réalisation le choix de filtres à réponse impulsionnelle finie est préférable car ils peuvent avoir une phase strictement linéaire, et ils permettent d'éviter les problèmes numériques (stabilité notamment) en arithmétique finie.Dans de telles conditions un bon choix des filtres 17 et 18 permet d'éliminer l'aliasing inter-bandes et toute paire de solution sur le choix des filtres 11 et 12 peut être obtenue par factorisation d'un filtre demi-bande. Cependant, seule une partie de cet ensemble de solutions est vraiment utilisable pour une application telle que le codage qui impose une condition impérative concernant la quantification des signaux sous-bandes y0, Y1 obtenus en sorties des dispositifs de sous-échantillonnage 13 et 14 à savoir que la variance de l'erreur de reconstruction soit égale à la somme des variances des bruits de quantification de chaque voie.Cette condition, ajoutée bien évidemment à l'exigence de reconstruction parfaite du signal original sans quantification, n'est satisfaite qu'avec des filtres connus sous l'abréviation "CQF" du terme anglo-saxon "conjugate quadrature filters", suivant lesquels la réponse impulsionnelle du filtre H1 est obtenue à partir de la réponse impulsionnelle du filtre HO par inversion temporelle et changement de signe d'un coefficient sur deux. De plus la condition de reconstruction parfaite impose que le filtre 20 HO ait une fonction d'auto-corrélation qui soit un filtre demi-bande. Ces filtres ont nécessairement une longueur paire et peuvent être déterminés pratiquement pour n'importe quel gabarit spectral.Leur principal inconvénient est qu'ils ne peuvent avoir une phase linéaire dès que leur longueur est supérieure à 2, néanmoins un bon appariement des zéros, lors de la factorisation du filtre produit résultant, peut donner une phase quasiment linéaire. Une autre condition peut être un peu moins fondamentale à vérifier lors de la réalisation des filtres est celle de la décorrélation des signaux sous-bandes YO et Y1 obtenus à la sortie des sous-échantillonneurs 13 et 14, de façon à pouvoir coder les sous-bandes indépendamment les unes des autres avec des performances proches de l'optimal.Néanmoins, cette condition est trop forte à satisfaire cependant si les fonctions de transfert HO et H1 des filtres 11 et 12 forment une paire de filtres CQF, c'est-à-dire si la fonction de transfert H1 est obtenue à partir de la fonction de transfert HO par inversion temporelle et changement du signe d'un coefficient sur deux et si les filtres 11 et 12 ont des longueurs paires et sont à phase linéaire alors on obtient une dé corrélation point à point des signaux YO et Y1. Les filtres qui en résultent sont connus sous l'abréviation QMF "quadrature mirror filter" mais ne peuvent cependant faire qu'une reconstruction approchée du signal original. Toutefois les rapports signal à bruit de reconstruction obtenus sont supérieurs à 50 décibels dès que les filtres ont des longueurs suffisantes.Par ailleurs, aucune distorsion de phase n'est apportée puisque la fonction de transfert du système d'analyse synthèse global est alors à phase linéaire. Le choix d'un filtre de l'un ou l'autre type ne peut résulter que d'un compromis entre bonne reconstruction et décorrélation inter-bande. La décorrélation intra-bande est quant à elle déterminée par le choix de l'arbre de décomposition, par un arrangement de cellules bidimensionnelles à quatre bandes. Naturellement plus une bande est découpée plus la corrélation à l'intérieur de celle-ci diminue mais par ailleurs plus le filtre de reconstruction correspondant est long ce qui entraîne un risque pour que le bruit de quantification se propage dans l'image reconstruite. Un bon compromis est représenté par l'arbre de décomposition à 16 bandes décrit à la figure 4.Quelque soit l'image à découper cet arbre donne une bonne décorrélation intra-bande. Une fois décomposée chaque bande est linéairement quantifiée, le pas de quantification de chaque bande devant être fonction du nombre de découpes qu'elle a subi pour obtenir une quantification optimale au sens de la variance minimale de terreur de reconstruction : plus précisément, le pas de quantification de la bande i doit être proportionnel à 4-ki où ki est le nombre de fois que la bande i a subi une découpe en quatre bandes. Ainsi les bandes situées au même étage de l'arbre de décomposition sont quantifiées avec le même pas et une découpe supplémentaire en quatre bandes divise le pas par deux.Après quantification chaque bande est codée en utilisant des codes à longueurs variables définis de la manière décrite dans la demande de brevet 2 627 337 déposée au nom de la Demanderesse, avec une description par plage de zéro. Néanmoins dans la bande de base (celle qui a toujours été filtrée par un filtre passe-bas) l'utilisation de codes à longueurs fixes est préférable puisque ses statistiques sont très dépendantes de l'image originale.

Dans le schéma de codage intra-compatible décrit dans la demande de brevet principal la prise en compte des formats entrelacés se fait par utilisation de leur signal progressif équivalent. Tout signal entrelacé est d'abord transformé en un signal progressif équivalent par un désentrelaceur puis décomposé comme tout signal progressif, mise à part la première décomposition en deux bandes horizontales qui n'est pas effectuée. Dans ce qui suit on ne considère donc plus les signaux entrelacés et seuls les formats progressifs HDP, EDP et VT sont pris en compte, cependant le même processus peut être aisément étendu au cas de signaux entrelacés HDI et TV en considérant leur signal progressif associé et en procédant comme dans la demande de brevet principal en incorporant un désentrelaceur au codeur et un entrelaceur au décodeur dans le cas d'un récepteur entrelacé.Le codage intra-compatible qui est réalisé est un schéma de type connu sous la désignation FIS (format independent spliting) suivant lequel le signal à coder est toujours décomposé de la même manière quelque soit sa résolution. De ce fait par exemple pour assurer une compatibilité à trois niveaux une découpe en sept bandes au moins selon la représentation de la figure 5 est nécessaire. L'arbre correspondant permet en plus d'assurer la compatibilité avec les formats entrelacés HDI et
TV. Naturellement il faut assurer un codage et une transmission indépendante, c'est-à-dire séparés par des mots de synchronisation inimitables, des groupes de bandes (1, 2, 3) [partie
HFC], (5, 6, 7) [partie IFCj et de la bande 4 [partie BB].

Un mode de réalisation d'un codeur compatible correspondant est représenté à la figure 6A. Ce codeur comporte un bloc de codage BBC 29, un bloc de codage IFCC 30 et un bloc de codage HFCC 31. Les sorties des blocs de codage 29, 30 et 31 sont reliées respectivement aux entrées correspondantes d'un circuit multiplexeur 32. Le découpage en sous-bandes est obtenu au moyen de filtres passe-bas référencés respectivement 32 à 37 couplés à des circuits de sous-échantillonnage non représentés et au moyen de filtres passe-haut référencés respectivement de 38 à 43 associés également à des opérateurs de sous-échantillonnage non représentés.Le dispositif de codage de la figure 6A permet outre ces bonnes performances d'assurer une complète transparence entre les différents formats d'échantillonnage HDP,
HDI, EDP, TV et VT décrits précédemment et ce, quels que soient les blocs de codage BBC, IFCC et HFCC. I1 permet également d'obtenir un sixième format qui correspond à la définition du signal vidéo téléphone entrelacé. Le signal à coder quelque soit son format HDP, EDP ou VT est appliqué à l'entrée marquée IP du dispositif et est découpé en sept sous-bandes référencées de S1 à S7 selon un arbre de décomposition semblable au schéma de la figure 5. La sous-bande S1 est obtenue au travers de la suite des filtres 42 et 43.La sous-bande S2 est obtenue au travers de la suite des filtres 37 et 43, la sous-bande S3 est obtenue au travers de la suite des filtres 41 et 32, la sous-bande S4 est obtenue au travers de la suite des filtres passe-bas 32 à 35, la sous-bande S5 est obtenue au travers des filtres 36, 40, 33 et 32, la sous-bande
S6 est obtenue au travers de la suite des filtres 38, 34, 33 et 32 et la sous-bande S7 est obtenue au travers des filtres 39, 40, 33 et 32. Quel que soit le type des codeurs BBC, IFCC et
HFCC, les propriétés de compatibilité sont vérifiées. En fait ils constituent des découpes supplémentaires des sous-bandes S1 à S7 de façon à obtenir l'arbre optimal à 16 bandes représenté à la figure 4.Chacune des bandes qui est alors obtenue est suivie d'un quantificateur linéaire Qi et d'un codeur à longueur variable VLC. comme ceci est représenté à la figure 6B qui représente un mode de réalisation du codeur BBC 29. Ainsi sur la figure 6B la sous-bande S4 est découpée de nouveau en deux sous-bandes par un filtre passe-bas 45 et un filtre passe-haut 46. La sous-bande obtenue en sortie du filtre passe-bas 45 est à nouveau divisée en deux sous-bandes respectivement par un filtre passe-bas 47 et un filtre passe-haut 48. Les sous-bandes résultantes sont alors quantifiées respectivement par des circuits de quantification 49 et 50, les signaux quantifiés obtenus sont ensuite codés à l'aide de dispositifs de codage à longueur variable 51 et 52.De même la sous-bande obtenue à la sortie du filtre 46 est elle-même divisée en deux sous-bandes par un filtre passe-bas 53 et un filtre passe-haut 54. Les sous-bandes ainsi obtenues sont également quantifiées par deux circuits de quantification 55 et 56 et les signaux quantifiés obtenus sont codés par des dispositifs de codage à longueur variable 57 et 58. Les sorties des dispositifs de codage à longueur variable 51, 52, 57 et 58 sont reliées respectivement aux entrées d'un circuit de multiplexage 59 dont la sortie est reliée sur une première entrée du circuit multiplexeur 32 de la figure 6A. De même le codeur IFCC 30 effectue uniquement une quantification et un codage à longueur variable des bandes S5,
S6 et S7. Enfin, le codeur HFCC 31 découpe chacune des bandes
S3 et S2 en 4 bandes supplémentaires. La bande S1 restant telle quelle.Pour les signaux entrelacés la procédure de décomposition n'est pas tout-à-fait la même. En effet pour éviter d'avoir à effectuer une décomposition tridimensionnelle impliquant une décomposition en quinconce dans le plan des fréquences temporelles et verticales qui pourrait sérieusement compromettre les propriétés de compatibilité un signal entrelacé est d'abord transformé en un signal progressif équivalent. Le signal progressif équivalent est obtenu en plaçant le signal entrelacé qui est appliqué à l'entrée IE du dispositif dans un désentrelaceur 44 sur la figure 6A, dans le but de déphaser verticalement d'un demi pixel chaque trame impaire, ceci est réalisé simplement au moyen d'un filtre interpolateur monodimensionnel vertical.On obtient ainsi en sortie un signal progressif avec deux fois moins de points en vertical que le signal progressif de même définition horizontale c'est-à-dire correspondant à la bande basse fréquence de la première découpe en deux bandes du codeur (découpe en deux bandes horizontales par filtrage le long des colonnes), de la sorte le signal obtenu en sortie du désentrelaceur 44 est appliqué au point de liaison commun aux filtres passe-bas 32 et 33. Ce signal est ensuite décomposé de la même façon que tous signal progressif mais naturellement dans ce cas il ne conduit qu'à cinq sous-bandes les sous-bandes S1 et S2 ne pouvant être formées. Dans les modes de réalisation qui vont suivre c'est le codeur optimal à 16 bandes qui vient d'être décrit qui sera utilisé.

Un mode de réalisation d'un décodeur correspondant est représenté à la figure 7 dans le cas d'un récepteur VT. Ce décodeur réalise les fonctions inverses du codeur de la figure 6A. La complexité de ce décodeur dépend essentiellement de la vitesse du travail associée. Il est formé de manière similaire au dispositif de décodage correspondant aux tables de décodage à la figure 13 du brevet principal, par un ensemble de blocs de décodage numérotés de 60 à 65 recevant d'un canal de transmission 66 la trame numérique des signaux vidéo au travers d'un circuit multiplexeur 67 et d'un bloc logique d'aiguillage 68 relié en série. Les blocs de décodage 60 à 62 sont des blocs
BBC 1, les blocs de décodage 63 et 65 sont des blocs de décodage IFCC 1 et le bloc 64 est un bloc de décodage HFCC 1.

Un ensemble de circuits sommateurs et de filtres passe-bas et passe-haut référencés de 69 à 86 assure de la manière représentée par les tables de la figure 13 de la demande de brevet principal la reconstitution du signal vidéo téléphone et son application au récepteur correspondant référencé en 87 sur la figure 7. Sur la figure 7 le bloc logique 68 applique la partie utile du train binaire reçue sur le canal 66 sur les entrées appropriées du décodeur 60 à 65. Dans ces conditions les décodeurs associés au récepteur de format EDP et HDP se déduisent aisément. Dans le cas d'un décodeur EDP le décodeur 60 par exemple doit être retiré et dans le cas d'un décodeur
HDP il faut en plus enlever les décodeurs IFCC-1 63 et 65.Pour les décodeurs entrelacés le principe reste le même et il faut dans ce cas enlever du décodeur VT les entrées qui ne servent jamais en fonction du tableau 13 de la demande de brevet principal. Enfin, au niveau du décodeur pour un format de récepteur donné une partie du matériel n'est pas utilisé si l'image transmise a un format plus élevé, cependant les décodeurs tourneront toujours à la même vitesse quelque soit la résolution de l'image transmise. Cette vitesse est celle du récepteur associé au dernier étage de reconstruction et décroît vers les étages d'entrée puisqu'elle est divisée par deux à chaque étage.

Le schéma de codage intra-image qui vient d'être décrit perd malheureusement de son efficacité dès que le débit transmis décroît, la qualité visuelle obtenue avec ce type de codage n'étant plus suffisante. Le dispositif qui est décrit ci-après permet de prendre en compte la corrélation temporelle des séquen ces d'image de façon à pouvoir descendre à des débits encore bien inférieurs de l'ordre de 0,8 bit par pixel. Le problème est résolu par l'utilisation d'un schéma hybride au moyen d'une prédiction temporelle alliée à une compensation du mouvement estimé dans l'image. Bien que ce schéma soit classique et soit déjà appliqué par exemple pour des codeurs à transformée cosinus, l'originalité réside ici dans son utilisation au schéma à découpage sous-bande décrit précédemment tout en assurant les propriétés de codage compatible.Le schéma prédictif temporel le plus simple qui soit (INTER PUR) est représenté figure 8A. Il consiste selon une méthode de codage différentielle à retirer au pixel à coder x(k,l) de l'image à l'instant n la valeur codée du pixel en vis à vis dans l'image précédente à l'instant n-l et à coder ensuite cette différence. Il comporte de la façon représentée à la figure 8A un quantificateur 88 couplé sur son entrée à la sortie d'un circuit soustracteur 89. La sortie du circuit quantificateur 88 est couplée au canal de transmission et à un circuit déquantificateur 90 dont la sortie est reliée à un circuit additionneur 91. Un circuit à retard 92 relie la sortie du circuit 91 à une première entrée du circuit soustracteur 89 et à une deuxième entrée du circuit additionneur 91.Suivant ce schéma le pixel x(k, 1, n) d'adresse k,l dans l'image n est appliqué à l'entrée du codeur sur la deuxième entrée du circuit soustracteur 89. Le circuit 89 soustrait de la valeur du pixel x(k,l,n) dans l'image à l'instant n la valeur décodée du pixel x(k,l,n-1) à l'instant n-l. La différence d(k,l,n) obtenue est dans ces conditions égale à
d(k,l,n) = x(k,l,n)-x(k,l,n-l)
Dans ce schéma c'est la valeur codée du pixel correspondant dans l'image précédente qui est prise en compte pour éviter tout phénomène de dérive du décodeur c'est-à-dire de façon à faire temporellement exactement la même chose au codeur qu'au décodeur.

Le quantificateur 88 associe à la différence d(k,l,n) une valeur d (k, 1, n) qui est en fait un numéro de niveau de quantification. La dé quantification est effectuée à l'aide du déquantificateur 90 associe à ce numéro de niveau sa valeur de reconstruction correspondante qui est une valeur approchée de la différence d (k, 1, n) entachée du bruit de quantification. La valeur de reconstruction d (k, l, n) qui est obtenue à la sortie du circuit déquantificateur 90 est représentée figure 8B en fonction de la différence d(k,l, n) calculée par le circuit soustracteur 89.Dans ces conditions il est clair que c'est la valeur de prédiction x(k,l,n-l) qui doit être utilisée et non la valeur x(k,l,n-1) pour pouvoir recalculer la valeur de prédiction x(k,l,n) au niveau du décodeur. Dans ce cas au niveau du décodeur la valeur recalculée x(k,l,n) est égale à x(k,l,n-l)+d(k,l,n) et seule l'erreur de quantification commise sur la différence d(k,l,n) intervient. En effet, l'erreur de codage est égale à x(k,l,n)-x(k,l,n) soit encore e(k,l, n) =d(k, 1, n) +x(k,l, n-1) -x(k,l, n) ou encore d(k,l,n) -d(k,l,n-1)
En utilisant la valeur du pixel x(k,l,n-1) comme prédicteur les erreurs précédentes de codage des pixels x(k,l,i) pour i < n s accumuleraient en créant un phénomène de dérive.

En fait on obtient ici un décodeur local au niveau même du codeur. Le schéma qui vient d'être décrit étant très peu sophistiqué il y a un risque pour que ce schéma perde de son efficacité lorsqu'il se présente un peu de mouvement dans les séquences d'images, la prédiction devenant très mauvaise et donc donnant une erreur de prédiction très importante beaucoup plus difficile à coder. Ce risque peut cependant être minimisé en améliorant la prédiction par l'introduction d'une estimation de mouvement et d'un recalage des images. Ainsi pour améliorer la prédiction le procédé selon l'invention consiste à introduire une estimation de mouvement et un recalage des images.Ce procédé consiste au lieu de retirer le pixel en vis à vis décodé de l'image précédente (x(k,l,n-1)), à retirer le pixel x(k',l',n-1) de coordonnées k' et l' calculées en fonction du mouvement local.

Un dispositif correspondant permettant d'obtenir ce résultat est représenté à la figure 10. 1l comporte outre les éléments de la figure 8A qui sont représentés avec les mêmes références, un dispositif 93 de formation de blocs, un estimateur de mouvement 94, un dispositif d'aiguillage inter-intra images et un dispositif de compensation de mouvement 96. Le dispositif permet d'effectuer une quantification simple d'une image associée à un schéma inter ou à un schéma intra avec compensation de mouvement. Le dispositif d'estimateur de mouvement 94 permet d'estimer le mouvement entre deux images successives par exécution de l'algorithme connu de "Block-matching" qui permet de calculer une intercorrélation entre deux images successives et estime le vecteur mouvement correspondant à partir du pic de corrélation obtenu.Chaque image est divisée par le dispositif de formation de blocs 93 en blocs de dimension NxN disjoints et recouvrant complètement l'image et un vecteur mouvement est estimé par bloc. Dans ce calcul le nombre N est supposé pair. Pour chaque bloc B(k, 1, n) tel que représenté à la figure 9, il est recherché dans l'image précédente à l'intérieur d'une fenêtre de recherche le bloc le plus proche B(k',l',n-l) au sens d'un certain critère et on donne au vecteur mouvement estimé pour chacun des points du bloc B(k, i, n) les coordonnées k'-k, l'-l. La fenêtre de recherche utilisée a une étendue de 2M. 2L et est centrée sur le bloc B (k, i, n). Le critère utilisé est un critère énergétique consistant à effectuer une somme de différence au carré ou une somme de différence en valeur absolue. Le recalage du mouvement qui est effectué par le bloc 96 est obtenu en recherchant pour chaque bloc de l'image courante le bloc correspondant qui dans l'image précédente décodée doit être utilisé comme prédiction. Lorsque les composantes du vecteur mouvement sont entières c'est-à-dire correspondent à un nombre entier de pixels, le problème se réduit uniquement à un problème d'adressage de mémoire. Par contre, lorsque le vecteur mouvement n'est pas entier, ses valeurs doivent être interpolées en fonction des pixels voisins (les interpolations bilinéaires peuvent être utilisées).Le choix au niveau de chaque bloc entre le mode intra et le mode inter est effectué par le bloc 95. Ce choix est basé sur un critère énergétique. Il consiste à calculer l'énergie du bloc à coder intra et l'énergie du bloc erreur de prédiction (bloc inter) fournis par le soustracteur 89. Ce choix consiste à sélectionner le mode (inter ou intra) qui donne l'énergie minimale. Dans le mode de réalisation de la figure 10 l'élément de retard 92 est constitué par une mémoire d'image. Cette mémoire contient l'image précédente décodée et c'est cette image qui est généralement utilisée pour effectuer l'estimation de mouvement. Mais il est aussi possible d'utiliser l'image précédente non codée.

La décomposition en sous-bandes est très bien adaptée au contexte d'estimation et de compensation de mouvement du fait que les propriétés géométriques sont conservées dans les images sous-bandes et que l'estimation et la compensation de mouvement peuvent être faites aussi bien au niveau de l'image pleine bande, c'est-à-dire avant la décomposition en sous-bandes, qu'au niveau des sous-bandes. Néanmoins les contraintes de codage compatible imposent tout d'abord à la compensation de mouvement d'être effectuée au niveau des sous-bandes et non au niveau de l'image non décomposée. En effet, dans le cas d'une compensation du mouvement effectuée au niveau de l'image non décomposée, les traitements au niveau du codeur et d'un décodeur compatible associé (c'est-à-dire ne décodant qu'une partie de l'image transmise) seraient différents et un phénomène de dérive se produirait immanquablement.Ce cas de compensation du mouvement au niveau de l'image non décomposée est illustré sur les figures llA et 11B et on va mettre en évidence ci-après le phénomène de dérive qui apparaît. Pour simplifier l'exposé le fonctionnement du codeur et du décodeur représentés aux figures 1iA et 11E est expliqué ci-après en prenant pour hypothèse que le décodeur représenté à la figure 11E est le décodeur compatible EDP associé qui décode la partie EDP du signal HDP fourni par le codeur de la figure llA. Sur la figure 1iA les éléments homologues au dispositif de codage représenté à la figure 8A sont représentés avec les mêmes références.A la différence des éléments représentés à la figure 8A il comporte deux quantificateurs 88a et 88b pour quantifier respectivement les parties relatives au signal EDP et le complément du signal HDP et deux déquantifieurs 90a et 90b correspondants. Ils comportent également un dispositif de décomposition en sous-bandes HDP 97 et un dispositif de reconstruction de sous-bandes HDP 98. Le dispositif de retard 92 est constitué par une mémoire d'image.

Un dispositif de compensation de mouvement 96 est également introduit comme sur la figure 10 entre la mémoire d'image 92 et le circuit de soustraction 89. Le dispositif de compensation de mouvement 96 reçoit des vecteurs mouvements vx et vy d'un dispositif d'estimation de mouvement représenté sur la figure liA ayant des caractéristiques identiques au dispositif 94 représenté à la figure 10. Le dispositif de décomposition en sous-bandes HDP 97 est interposé entre la sortie du circuit soustracteur 89 et les entrées des circuits quantifications 88a, 88b. Le dispositif de reconstruction en sous-bandes HDP 98 est interposé entre les sorties des circuits de déquantification 90a, 90b et l'entrée du circuit sommateur 91.Suivant ce mode de réalisation le signal d(k,l, n) obtenu à la sortie du circuit soustracteur 89 est égal à la différence du signal x(k,l,u) appliqué sur entrée "+" du circuit soustracteur 89 et du signal reconstitué x(k+vx,l+vy,n-1) fourni par le bloc compensateur de mouvement 96, vx et vy étant les composantes du vecteur de mouvement estimé fournies par l'estimateur de mouvement 94. Après reconstruction en sous-bandes effectuée par le bloc de reconstruction 98 on récupère le signal d(k,l,n) qui représente en fait le signal d(k,l,n) affecté des erreurs de quantification des signaux sous-bandes. Le signal reconstruit x(k,l,n) égal au signal x(k+vx,l+vy,n-l) +d(k,l,n) est appliqué à l'entrée de la mémoire 92 par la sortie du circuit additionneur 91.

L'erreur de quantification globale est donnée par la relation e(k,l,n)=x(k,l,n)-x(k,l,n) soit encore
e(k,l, n)=d(k,l, n) +x(k+vx,l+vy, n-1) -x(k, l, n) soit encore e(k,l,n) =d(k, 1, n) -d(k,l, n)
La relation précédente montre que l'erreur de quantification globale est identique à l'erreur de quantification commise sur l'erreur de prédiction et qu'il n'y a pas de phénomène de dérive. Le décodeur compatible EDP correspondant qui est représenté à la figure 11B comprend relié au canal de transmission 99, un déquantificateur 100 couplé sur sa sortie à un dispositif de reconstruction de sous-bandes EDP 101. Il comprend également un dispositif de compensation de mouvement 102 et une mémoire d'image 104.Un circuit additionneur 103 est couplé par une première entrée d'opérande à la sortie du dispositif de reconstruction de sous-bandes EDP 101 et par une deuxième entrée d'opérande à la sortie du dispositif de compensation de mouvement 102. La sortie du circuit additionneur 103 est reliée à l'entrée de la mémoire d'image 104 et fournit le signal compatible EDP reconstitué xc (k, 1, n). Dans le décodeur de la figure 11B le dispositif 101 de reconstruction de sous-bandes
EDP fournit la partie filtrée sous-échantillonnée et quantifiée dc(k,l,n) du signal d(k,l,n). Le signal reconstruit xc(k,l,n) est obtenu à la sortie du circuit additionneur 103 par addition du signal dc(k,l,n) et du signal xc(k+vx/2,1+vy/2,n-1) fourni par la sortie du dispositif de compensation de mouvement 102.

Dans cet exemple il est supposé que les vecteurs mouvement vx/2 et vy/2 sont entiers pour ne pas tenir compte de l'interpolation qui serait nécessaire dans le cas contraire.

L'erreur de codage commise par rapport au signal xc(k,l,n) (qui représente la partie EDP du signal x(l,l, s)) est égale dans ces conditions à e c (k, i, n) =xc (k, l, n) ~XC (k,l,n) soit encore ec(k,l,n)=
Xc (k,l,n)-x
c (k+vx/2, l+vy/2, n- 1) -dc (k, I, n)
Dès que le vecteur mouvement est non nul la relation précédente montre que l'erreur n'est pas uniquement due à la quantification de l'erreur de prédiction du signal dc (k, i, n) puisque l'estimation de mouvement n'est pas faite au niveau du signal
EDP. Et il y a donc introduction d'un terme d'erreur récursif qui crée la dérive.L'exemple précédent donne une raison majeure d'effectuer une compensation de mouvement au niveau des sous-bandes plutôt qu au niveau de l'image pleine bande.

Une seconde raison vient du fait qu'un choix du mode inter ou intra est pris à chaque bloc. Ainsi si la compensation du mouvement et le choix inter/intra étaient effectués sur l'image non décomposée, c'est un ensemble de blocs inter et intra disparates qu'il faudrait découper en sous-bandes. Or les hautes fréquences artificielles introduites aux frontières entre blocs inter et intra viendraient créer des rebonds dans les images sous-bandes les rendant ainsi beaucoup plus difficiles à coder et dans ces conditions le schéma perdrait de son efficacité.

Bien sûr une solution possible pourrait consister à effectuer le choix inter-intra au niveau des sous-bandes, tout en faisant la compensation de mouvement sur l'image pleine bande, en compensant en mouvement toute l'image et en décomposant en sous-bandes à la fois l'image intra et l'image compensée. La décision inter-intra serait alors prise dans les sous-bandes sur les blocs homothétiques correspondants aux blocs d'estimation de mouvement sur l'image pleine bande. Mais une telle approche s'avère très coûteuse au niveau de la réalisation matérielle des codeurs et décodeurs puisque deux décompositions en sous-bandes doivent être effectuées.D'autre part, la compensation de mouvement par bloc risquerait de créer certaines frontières artificielles dans l'image compensée, du fait notamment de la non uniformité du champ de mouvement estimé, amenant donc des problèmes de rebond dans les sous-bandes, et le choix inter-intra pourrait ainsi être biaisé en faveur de l'intra. Il est donc préférable de procéder à la compensation de mouvement au niveau des sous-bandes et c'est ce qui a été retenu au niveau de l'invention. Dans ce cas l'estimation de mouvement peut être faite aussi bien au niveau de l'image pleine bande qu au niveau des sous-bandes.

Néanmoins étant donné que le mouvement physique est le même dans chaque image sous-bande il est préférable d'utiliser un seul ensemble de vecteurs mouvements plutôt que d'estimer le mouvement dans chaque bande. Cette dernière solution amène d'ailleurs une certaine redondance entre les vecteurs mouvements de chaque bande et un codage assez sophistiqué de ces vecteurs est nécessaire pour ne pas perdre trop de débit lors de leur transmission. En effectuant l'estimation de mouvement au niveau de l'image pleine bande celle-ci peut être faite indifféremment entre deux images sources successives où une image source et la précédente décodée, la première solution donnant un mouvement plus physique mais peut être moins bien adapté pour le codage que la seconde. Par ailleurs, l'estimation au niveau pleine bande permet d'obtenir une meilleure précision au niveau des vecteurs mouvements.Un mode de réalisation de codeurs correspondants est représenté à la figure 12. Ce codeur contient autant de dispositifs de codage homologues à celui représenté à la figure 10 qu'il y a de sous-bandes. Sur la figure 12 chaque dispositif de codage homologue comporte les mêmes éléments que ceux de la figure 10 affectés des mêmes références avec un indice i correspondant à la sous-bande. Après décomposition de l'image originale en sous-bandes (banc de filtres 93).Les sous-bandes sont transmises à chaque dispositif de codage à l'aide d'un dispositif de formation de blocs B. et un dispositif d'estimation de mouvement 94 est couplée à un dispositif de mise à l'échelle des vecteurs mouvements 105 pour appliquer les paramètres de mouvement respectivement à chaque dispositif de compensation de mouvement 96.. Le dispositif de reconstruction 106 est relié aux sorties des mémoires 92. pour reconstruire 1 image de départ et l'appliquer au dispositif d'estimation de mouvement 94. Des dispositifs de codage à longueur variable 107.

sont couplés en sortie des dispositifs de quantification 88. et un circuit multiplexeur 108 couplé en sortie des dispositifs de codage à longueur variable 107. pour transmettre sur le canal de transmission le résultat du codage au travers une mémoire tampon 109.

Un mode de réalisation du décodeur correspondant pour une quelconque des bandes est représenté à la figure 13, il comporte relié dans cet ordre, un dispositif de décodage des codes à longueur variable 110, un dispositif de décodification 111, un dispositif de sélection des modes intra ou inter-images.

Dans le mode intra l'information décodée est directement transmise vers le banc de filtres de reconstruction non représenté. Par contre dans le mode de fonctionnement inter les informations sont transmises à une première entrée d'un circuit additionneur 113. La deuxième entrée du circuit additionneur 113 est reliée à la sortie d'un dispositif de compensation de mouvement 114 relié à la sortie d'une mémoire d'image 115 et commandée par les informations de mouvement reçus du codeur d'émission. La mémoire 115 est reliée par son entrée à la sortie commune du dispositif de sélection intra-inter image 112 et à la sortie des circuits additionneurs 113. Suivant les modes de réalisation du codeur et du décodeur qui viennent d'être décrits les images sont divisées en blocs de N.N. Un vecteur de mouvement est estimé par bloc et est transmis à destination du décodeur de réception. Un codage à longueur variable peut être envisagé pour les vecteurs mouvements. Ces vecteurs sont remis à l'échelle en fonction du facteur de sous-échantillonnage, par division de chaque composante par ce facteur, afin de pouvoir les utiliser dans chaque bande où la compensation du mouvement est effectuée sur les blocs correspondant à l'estimation. Ces "blocs correspondants" ont été remis à l'échelle par homothétie de la même façon que les vecteurs (taille divisée par le facteur de sous-échantillonnage). Il faut cependant noter que les déphasages introduits par le filtrage doivent être pris en compte dans la localisation des blocs correspondants.Dans le cas d'utilisation de filtres à phase linéaire de longueur L un décalage de longueur (L-1)/2 est introduit dans l'image filtrée.

Ce décalage doit être compensé. Néanmoins étant donné que la longueur L est paire il y a toujours un déphasage de + pixel ce qui est négligeable d'autant plus qu'il se réduit à i de pixel avec le sous-échantillonnage. Cette compensation se fait simple ment à l'aide d'une ligne à retard. Si la précision des vecteurs mouvements estimés au niveau de l'image pleine bande est de 1 pixel (composantes estimées en nombre entier de pixels) alors la précision des vecteurs correspondant est de i dans la bande 1, i dans les bandes 2 jusqu'à 12, et 1/8 dans les bandes 13 jusqu a 16 en supposant bien sûr l'utilisation de l'arbre de décomposition à 16 bandes représenté à la figure 4.Une interpolation généralement bilinéaire est par conséquent nécessaire pour effectuer la compensation. Par ailleurs, N, la taille des blocs d'estimation de mouvement au niveau de l'image pleine bande peut être de la forme k .21 et 1 doit être au moins égal à 4 pour obtenir des blocs de compensation plus grands que 2x2 au niveau des bandes les plus basses. Généralement k peut être fixé égal à 1. Enfin pour chaque bloc et pour chaque bande une décision inter-intra est prise suivant un critère énergétique.

Néanmoins c'est surtout au niveau des bandes basses fréquences que le mode inter semble le plus utile. Sur la figure 12 les mémoires 92. contiennent des sous-bandes décodées d'instants précédents et peuvent donc permettre via le banc de filtres de reconstruction 106 de créer l'image précédente décodée (décodeur local au codeur) qui pourra servir à ltestimation de mouvement effectuée par le bloc 94. La séparation des blocs de compensation de mouvement 96. par bande est très intéressante du point de vue matériel puisqu'elle permet d'effectuer des traitements en parallèle. Des mémoires plus petites tournant à des vitesses plus faibles sont nécessaires par rapport à une compensation de mouvement au niveau de l'image pleine bande. De même les inter polations peuvent être faites à vitesse réduite. Pour ce qui est du processus de codage-décodage compatible tout se passe comme dans le cas des schémas intra décrits dans la demande de brevet principal et dans le tableau représenté à la figure 13 de la demande de brevet principal.

Claims (15)

REVENDICATIONS

1. Procédé de codage et de décodage compatible d'images de télévision de résolutions différentes selon la revendication 1 du brevet principal caractérisé en ce qu'il consiste à effectuer également un codage inter-image (95i' 88i, 67i) dans chacune des sous-bandes.

2. Procédé selon la revendication 1 caractérisé en ce qu'il consiste pour effectuer le codage inter-image à effectuer une estimation des points en mouvement (94) au niveau de l'image pleine bande, avant d'effectuer une compensation de ce mouvement dans chaque sous-bande.

3. Procédé selon l'une quelconque des revendications 1 et 2 caractérisé en ce qu'il consiste à effectuer un codage différentiel (89i) des points situés en vis à vis de l'image courante et de l'image précédente.

4. Procédé selon l'une quelconque des revendications 1 à 3 caractérisé en ce qu'il consiste avant de décomposer l'image en sous-bandes

- à découper l'image en blocs (93)

et à déterminer pour chaque bloc courant un vecteur mouvement au moyen d'un bloc de prédiction obtenu en comparant chaque bloc courant à son homologue à l'intérieur d'une fenêtre dans l'image précédente.

5. Procédé selon la revendication 4 caractérisé en ce que le découpage de l'image en sous-bandes est obtenu au moyen de filtres (20, 21, 24i) associés à des circuits de sous-échantillonnages (22, 23, 25 ... 27) et en ce que le déphasage introduit par les filtres est compensé pour permettre la localisation des blocs avant d'effectuer la compensation du mouvement dans chaque sous-bande.

6. Procédé selon l'une quelconque des revendications 4 et 5 caractérisé en ce qu'il consiste à faire correspondre à chaque bloc de l'image pleine bande un bloc homothétique dans chaque image sous-bande.

7. Procédé selon l'une quelconque des revendications 2 à 6 caractérisé en ce que l'estimation des points en mouvement (94) au niveau de l'image pleine bande fournit des vecteurs mouvements pour chaque bloc de l'image pleine bande et en ce que les vecteurs mouvements sont divisés en fonction des facteurs d'échantillonnage utilisés pour l'obtention des sous-bandes considérées, avant d'être appliqués sur les blocs homothétiques aux blocs de l'image pleine bande.

8. Procédé selon l'une quelconque des revendications 4 à 7 caractérisé en ce qu'il consiste à choisir (95) le mode de codage intra-image ou le mode de coder inter-image en calculant l'énergie du bloc courant et la différence d'énergie entre le bloc courant et celle du bloc prédit pour choisir le mode de codage dont l'énergie est minimale.

9. Procédé selon l'une quelconque des revendications 1 à 8 caractérisé en ce que le codage a lieu sur des signaux entrelacés ou progressifs, le codage des signaux entrelacés ayant lieu après qu'ils aient été transformés en signaux progressifs équivalents.

10. Procédé selon la revendication 9 caractérisé en ce qu'il consiste à découper chaque signal progressif en un même nombre déterminé de sous-bandes quelque soit son format.

11. Procédé selon l'une quelconque des revendications 1 à 10 caractérisé en ce que les vecteurs mouvements estimés sont mis à l'échelle (105) avant d'effectuer la compensation du mouvement dans chaque sous-bande.

12. Dispositif pour la mise en oeuvre du procédé selon l'une quelconque des revendications 1 à 11 caractérisé en ce qu'il comprend pour chaque sous-bande un codeur inter-intra (88il 107i) image commandé à partir d'un dispositif d'estimation de mouvement (94).

13. Dispositif selon la revendication 12 caractérisé en ce que chaque codeur d'une sous-bande comprend un dispositif quantificateur (88) couplé à un dispositif de codage différentiel par l'intermédiaire d'un dispositif d'aiguillage (95) pour quantifier chaque pixel fourni par un bloc directement lorsque le mode de codage intra-image a été choisi ou quantifier sa différence par rapport à son homologue corrigé par des vecteurs mouvement dans l'image précédente lorsque le mode de codage inter-image a été choisi.

14. Dispositif selon la revendication 13 caractérisé en ce que chaque dispositif de codage différentiel est couplé à un dispositif d'estimation de mouvement (94) des points de l'image par l'intermédiaire d'un dispositif de compensation de mouvement (96i) .

15. Dispositif selon la revendication 14 caractérisé en ce que chaque dispositif de compensation de mouvement (96i) est couplé au dispositif d'estimation de mouvement (94) par l'intermédiaire d'un dispositif de mise à l'échelle (105) des vecteurs mouvement fournis par le dispositif d'estimation de mouvement (94), de manière que l'estimation de mouvement soit faite au niveau de l'image non décomposée alors que la compensation de mouvement a lieu sur les sous-bandes.