Cours10 PDF

SIN5U1 : Algorithmique avancée
Cours 10 -- Algorithmes sur les chaines, recherche de motifs
Michel Van Caneghem
Novembre 2012
. . . . . .
(C) 2012 Michel Van Caneghem () SIN5U1 : Algorithmique avancée #10 Novembre 2012 1 / 23
Recherche de motifs
Opération très courante en Informatique. Sous Unix on trouve les outils

suivants :
4 grep : recherche de motifs avec expression régulière partielles,
4 egrep : idem avec expression régulières étendues,
4 fgrep : fast grep (chaînes fixes),
4 bm : search a file for a string,
4 gre : grep amélioré pour chaînes multiples,
4 e ?grep : version de GNU de egrep (plus rapide),
4 agrep : approximate grep,
4 ...
. . . . . .
Algorithme naïf
Définition : On cherche un motif (sous-chaîne) x de longueur m dans un

texte t de longueur n. En général le texte est beaucoup plus grand que le
motif. Ces textes sont écrits dans un vocabulaire V de q caractères.
i = 1; j = 1;
while (i <= m && j <= n) do
if (t[j] == x[i]) i++; j++;
else j = j - i + 2; i = 1;
if (i > m) then "motif trouve en j - m"
else "pas d'occurrences"
. . . . . .
Algorithme naïf (2)
Complexité : Dans le pire des cas O(mn). Il suffit de choisir : x = am−1 b

et t = an−1 b et on trouve un nombre de comparaison de :
(n − m + 1) ∗ m.
Si l'alphabet a q caractère, la complexité en moyenne est :
1
(1 + )n ≤ 2n
q−1
si les caractères sont uniformément distribués dans le texte.
En pratique pour rechercher √ une chaîne de 7 chiffres parmi 100000
chiffres (les décimales de 2) j'ai fait 111267 comparaisons (th :
111111).
. . . . . .
Recherche avec automate
. . . . . .
Algorithme de Knuth Morris Pratt
Aspect historique : En 1970, Cook avait prouvé de manière théorique que

l'on pouvait faire la recherche d'un motif dans le pire des cas en
O(m + n), sans donner d'algorithme. En reprenant ce travail, Knuth et
Pratt réussirent à exhiber un algorithme ayant cette complexité. Morris
avait découvert le même algorithme de manière indépendante.
L'idée consiste à remarquer que si l'on a un échec à la ième lettre du
motif alors :
x1 . . . xi−1 = tk+1 . . . tk+i−1 et xi ̸= tk+i

On connaît donc les i − 2 prochains caractères du texte quand on
examinera le texte à partir de la position k + 2.
. . . . . .
Algorithme de Knuth Morris Pratt (2)
Voyons un exemple (Morris Pratt) :
motif : ABACABAC
texte : B A B A C A C A B A C A A B
A .
A B A C A B .
A B .
A .
A B A C A B .
A B
Il faut 16 comparaisons. On peut alors construire la table suivante :
A B A C A B A C
s(i) = 0 1 1 2 1 2 3 4
. . . . . .
i = 1; j = 1;
while (i <= m && j <= n) do
if (i >= 1 && t[j] != x[i]) i = s[i]
else {i++; j++;}
if (i > m) then "motif trouve en j - m"
else "pas d'occurrences"
Remarque1 : Maintenant j ne recule plus.

Remarque2 : On peut enlever le test j <= n en recopiant le motif à la
fin du texte, comme cela on trouve toujours le motif.
. . . . . .
On peut montrer que le nombre de comparaisons dans le pire des cas est
borné par 2n.
La complexité en moyenne est donnée par
1 2
(1 + − 2 )n
q−1 q
Avec une chaîne de 7 chiffres et un texte de 100000 chiffres on trouve :

109111 comparaisons au lieu de 111111.
Ce résultat est très décevant et personne n'utilise cet algorithme qui
n'avait qu'un intérêt théorique.
. . . . . .
Algorithme de Boyer et Moore
L'idée consiste également à prétraiter le motif. Mais cette fois on fait

l'analyse du motif de la droite vers la gauche. Voyons un exemple :
motif : OBELIX
texte : J E C H E R C H E U N G A U L O I S
. . . . . X
. . . . . X
. . . . . X
Nombre de comparaisons : 3
. . . . . .
Algorithme de Boyer et Moore (2)
Algorithme de Horspool : Quand on compare le motif au texte, en

fonction de la lettre du texte ayant induit la différence, on décale le
motif vers la droite de manière à faire coïncider cette lettre avec
l'occurrence la plus à droite de la même lettre dans le motif.
Il faut donc définir une fonction de dernière occurrence qui indique de

combien on doit décaler le motif. Par exemple :
O B E L I X *
d = 5 4 3 2 1 6 6
. . . . . .
j = m;
while (j <= n) do {
i = m;
while (i > 0 && t[j-m+i] == x[i]) do i--;
if i == 0 then "motif trouve en j - m"
else j = j + d[t[j]];
}
. . . . . .
On peut améliorer cet algorithme en étudiant mieux les suffixes. La

complexité dans le pire des cas est de O(mn), mais en moyenne on
trouve une complexité de
2
n
q+1
ou souvent n/m comparaisons. En reprenant le même exemple on trouve
18181 comparaisons (soit 5 fois moins).
C'est cet algorithme amélioré qui est à la base de tous les outils de
recherche rapide du style egrep, fgrep, agrep, .... (qui sont d'une
rapidité stupéfiante)
Par exemple 100 copies des Misérables (260Mo) et on cherche le dernier
mot : grep -F archeopterix LesMiserables.txt. Le temps : 0,12 s.
. . . . . .
Algorithme de Rabin-Karp
L'idée de base (1980) consiste a utiliser une fonction de ``hash-code''

pour vérifier l'égalité des chaînes.
On calcule le hash-code de la chaîne à rechercher et celui (hi ) de la
sous-chaîne de longueur m commençant en position i. Si il y a égalité on
compare les chaînes, sinon on incrémente i de 1 et on recommence.
Cela parait plus coûteux de calculer un hash-code que comparer des
caractères, sauf si il y a un moyen simple de passer de hi−1 à hi .
. . . . . .
Algorithme de Rabin-Karp (2)
A chaque caractère on fait correspondre un code compris entre 0 et

d − 1 et on calcule :
m−1
hi = ∑ code(t[i + k])dm−1−k (mod q)
k=0
q étant un nombre premier le plus grand possible. On remarque alors

que :
hi+1 = d × hi + code(t[i + m]) − dm code(t[i]) (mod q)

On peut calculer une fois pour toutes dm (mod q). Pour éviter les
problèmes de débordement, il faut pouvoir calculer (d + 1)q. Un bon
choix serait de prendre d = 32 (pour faire les multiplications par
décalage) et par exemple q = 33554393.
. . . . . .
Algorithme de Rabin-Karp (3)
La complexité dans le pire des cas est O(mn), mais si q est bien choisi on
peut espérer une complexité linéaire : O(m + n).
L'intérêt de cet algorithme est de montrer que l'on a pu trouver un
algorithme très simple à programmer ayant une complexité linéaire.
D'un point de vue pratique, sauf si l'on fait des recherches multiples sur
des chaînes ayant les mêmes longueurs, cet algorithme semble n'avoir
aucun intérêt spécial.
. . . . . .
Recherches multiples
On veut rechercher en même temps plusieurs (p) motifs dans un texte.
La première idée consiste à appliquer p fois un des algorithmes
précédents. Cela implique qu'il faut passer p fois sur le texte.
Cela peut être amélioré en codant l'ensemble des motifs en partie
commune et en appliquant par exemple l'algorithme naïf.
X = {aba, bab, acb, acbab, cbaba}
b a b a
c
a b a
b c
b a b
a
b
. . . . . .
Recherches multiples (2)
Si on utilise comme algorithme de base Knuth-Morris-Pratt on obtient

alors l'algorithme de Aho et Corasick (1975) qui est utilisé par fgrep.
Si on utilise Boyer-Moore on obtient l'algorithme de Commentz-Walter
(1979) qui est plus rapide.
Mais toutes les idées sont bonnes : On peut par exemples découper tous
les motifs à rechercher en tranches de b caractères. Pour chaque
tranche on calcule son hash-code. Ensuite on lit le texte par groupe de b
caractères. Cela consiste à augmenter la taille du vocabulaire. On peut
ensuite utiliser une des méthodes précédentes (utilisé dans agrep).
. . . . . .
Recherche par expression régulière
On veut chercher dans un texte un ensemble de motifs ayant certaines

propriétés. Un outil très puissant consiste à utiliser les expressions
régulières qui sont construites à partir des opérations suivantes :
la concaténation : Ex : AB l'expression A suivie de l'expression B,
l'union : Ex : A|B ou bien l'expression A ou bien l'expression B,
la fermeture : Ex : A∗ l'expression A répété un nombre arbitraire de
fois (y compris 0).
Par exemple : ((a|b|c)[0 − 9] ∗ |_)
. . . . . .
Recherche par expression régulière (2)
On sait que le langage reconnu par une expression régulière est le même
que celui reconnu par un automate d'état finis. Deux stratégies sont
possibles :
Construire l'automate déterministe reconnaissant l'expression
régulière. Cela sera très efficace, mais on risque d'avoir un très
grand nombre d'état.
Construire un automate non-déterministe (donc moins efficace)
mais dont le nombre d'état est proportionnel à la taille de
l'expression régulière.
C'est en général le deuxième choix que l'on fait.
. . . . . .
Théorème : Pour toute expression rationnelle e de taille m, il existe un
automate normalisé reconnaissant L(e), et dont le nombre d'états est au
plus 2m.
AB A B
A
A|B
B
A* A
. . . . . .
La complexité de la recherche est en O(mn), si m est la taille de

l'expression régulière. (grep).
grep permet aussi de remplacer un motif par un autre. Par exemple si on
veut permuter les argument de log(x, b) alors on peut écrire :
cat aa;sed 's/log($[^,]*$,$[^)]*$)/log(\2,\1)/g' aa
test = log(7,2);
test = log(x+y,b*3);
test = log(2,7);
test = log(b*3,x+y);
. . . . . .
Mais ceci est de base dans Java !!! et sans déclaration : ce sont des
méthodes de la classe String. Très souvent utilisé avec split pour
découper une chaîne en morceaux par des expressions régulières.
String expr = "log\$([^,]*),([^\$]*)\\)";

String rep = "log($2,$1)";
String A = "test = log(7,2);";
String B = "test = log(x+y,b*3);";
System.out.println(A + "\n" + B);
System.out.println(A.replaceAll(expr,rep) + "\n" + B.replaceAll(expr,rep));
Bien sûr si vous voulez compiler les expressions régulières, il faut utiliser
les méthodes de la classe java.util.regex.
. . . . . .

Cours10 PDF

Transféré par

Informations du documentcliquez pour développer les informations du document

Informations du documentcliquez pour développer les informations du document

Droits d'auteur :

Formats disponibles

Cours10 PDF

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Cours10 PDF

Transféré par

Droits d'auteur :

Formats disponibles

SIN5U1 : Algorithmique avancée

Cours 10 -- Algorithmes sur les chaines, recherche de motifs

Michel Van Caneghem

Opération très courante en Informatique. Sous Unix on trouve les outils

Définition : On cherche un motif (sous-chaîne) x de longueur m dans un

Complexité : Dans le pire des cas O(mn). Il suffit de choisir : x = am−1 b

Aspect historique : En 1970, Cook avait prouvé de manière théorique que

x1 . . . xi−1 = tk+1 . . . tk+i−1 et xi ̸= tk+i

Voyons un exemple (Morris Pratt) :

Il faut 16 comparaisons. On peut alors construire la table suivante :

Remarque1 : Maintenant j ne recule plus.

Avec une chaîne de 7 chiffres et un texte de 100000 chiffres on trouve :

L'idée consiste également à prétraiter le motif. Mais cette fois on fait

Algorithme de Horspool : Quand on compare le motif au texte, en

Il faut donc définir une fonction de dernière occurrence qui indique de

On peut améliorer cet algorithme en étudiant mieux les suffixes. La

L'idée de base (1980) consiste a utiliser une fonction de ``hash-code''

A chaque caractère on fait correspondre un code compris entre 0 et

q étant un nombre premier le plus grand possible. On remarque alors

hi+1 = d × hi + code(t[i + m]) − dm code(t[i]) (mod q)

X = {aba, bab, acb, acbab, cbaba}

Si on utilise comme algorithme de base Knuth-Morris-Pratt on obtient

On veut chercher dans un texte un ensemble de motifs ayant certaines

La complexité de la recherche est en O(mn), si m est la taille de

String expr = "log\\(([^,]*),([^\\)]*)\\)";

Vous aimerez peut-être aussi

String expr = "log\\(([^,]),([^\\)])\\)";