Téléchargez comme PDF, TXT ou lisez en ligne sur Scribd
Télécharger au format pdf ou txt
Vous êtes sur la page 1/ 7
LE PERCEPTRON
MULTICOUCHE
Réalisé par : Encadré par :
AIT SKOURT Brahim Pr. AICHA Majda KEHELI Adnane NAMIR Yassine RAGUI Achraf SADOUK Amine
TAD 2014-2015 RESEAU DE NORONES RN est un réseau d’automates finis partiellement ou totalement connectés entre eux, en interaction locale ou globale. Il est entièrement caractérisé par son architecture et les fonctions de transition d’état des neurones.
Deux grandes classes de RN :
• RN dont l’apprentissage est supervisé Une méthode d’apprentissage
supervisé est une méthode qui utilise directement les connaissances d’un expert et essaye de reproduire ces connaissances.
• RN dont l’apprentissage est non supervisé Une méthode d’apprentissage
non supervisé est une méthode qui essaye de dériver des généralisations
PERCEPTRON
Le perceptron est l’un des réseaux de neurones les plus utilisés pour des problèmes d’approximation, de classification et de prédiction. Dans un premier temps nous allons étudier le perceptron simple, puis un cas de perceptron multicouche avec une couche de deux perceptrons en parallèles
1. PERCEPTRON SIMPLE
Un neurone possède des entrées :
• Chaque entrée possède un poids
• La sortie est une fonction du poids et des entrées Y = f(W1 ∗ X1 + W2 ∗ X2)
TAD 2014-2015 2. PERCEPTRON MULTICOUCHE
Définition
Le Perceptron multicouche est un Classifieur linéaire de type réseau neuronal
formel organisé en plusieurs couches au sein desquelles une information circule de la couche d'entrée vers la couche de sortie uniquement ; il s'agit donc d'un réseau de type feedforward (en). Chaque couche est constituée d'un nombre variable de neurones, les neurones de la couche de sortie correspondant toujours aux sorties du système.
Le MLP(perceptron multicouche) est composé de couches successives :
- Deux entrées (dans le cas de la couche 1), trois entrées sinon.
- Un biais b variable.
- Un système de poids liées à ces entrés sachant que le dernier poids
correspond au biais et est toujours égal à -1
- Une fonction de transfert (la fonction sigmoïde)
- Une seule sortie (où sont présentées les sorties calculées par le MLP).
Apprentissage
Il existe plusieurs méthodes pour faire l’apprentissage des MLP, parmi elles :
- algorithme de rétro
- propagation du gradient
- algorithme de gradient conjugué
- méthodes de second ordre
TAD 2014-2015 Nous allons aborder la première méthode :
Rétro propagation du gradient
Le problème de l’apprentissage dans les perceptrons multicouches est de
connaitre la contribution de chaque poids dans l’erreur globale du réseau.
L’algorithme de rétro-propagation de l’erreur permet de faire cela.
1. Propagation de l’entrée jusqu’à la sortie
2. Calcul de l’erreur en sortie
3. Rétro-propagation de l’erreur jusqu’aux entrées
Conditions :
Il faut une fonction d’activation dérivable car on a besoin de la dérivé pour
rétro-propager l’erreur.
Un taux d’apprentissage trop rapide peut amener des effets d’instabilités
dans le réseau. Un taux d’apprentissage trop lent peut amener le réseau à être bloqué dans un minimum local.
On conserve les informations relatives au dernier apprentissage pour en tenir
compte dans l’apprentissage courant. On évite les effets d’oscillations ou bien de rester coincé dans un minimum local.
Mesure de l'erreur
Erreur apparente
L’erreur apparente se mesure sur le corpus d’apprentissage.
Erreur réelle
L’erreur réelle se mesure sur le corpus entier.
TAD 2014-2015 Si l’erreur apparente est très faible alors que l’erreur réelle est très forte, le corpus d’apprentissage est très certainement mal échantillonné.
Algorithme
1. Initialisation
2. Présentation exemple
3. Calcul erreur globale
4. Calcul erreur individuelle
5. Ajustement des poids (couche cachée)
6. Ajustement des poids (couche entrée)
7. Recommencer
TAD 2014-2015 Algorithme détaillé :
Initialisation des données :
- Nbr = Nombre de points
- Variables : utilisation de vecteurs de float pour les coordonnées des points et
leur valeur voulue.
- Utilisation de fichier pour imprimer les données.
Initialisation du réseau :
- On insère les coordonnées d’un point dans le réseau
- On donne des poids aléatoire à la première couche. Puis à l’aide des fonctions de la classe perceptron, on calcul la sortie des perceptrons de la couche 1. Ces sorties sont stockées dans la matrice A.
- La couche suivante récupère ces sorties et les prend en valeur d’entrées.
Sachant que si la couche 1 est composée de 3 perceptrons en parallèles. Alors il y aura 3 entrées par perceptron de la couche suivante. Et ainsi de suite pour les couches suivante.
- A la dernière couche on récupère les 3 sorties et le perceptron « finale » nous
renvoi une seule valeur (sachant qu’il est composé d’une fonction de transfert linéaire).
- Tout les biais sont initialisés à 0.
Phase d’apprentissage
Pour chaque point :
- On fait passer les coordonnées de ce point dans le réseau.
- On compare le résultat obtenu (variable a) à celui voulu (vecteur D)
- On calcul l’erreur commise (sensibilité) : SM =-2x(d-a)
- On calcul les sensibilités de la couche k :
- Puis on met à jour les poids et les biais de la couche k :
TAD 2014-2015 - Une fois tout les poids mis à jour on passe au point suivant.
Critère d’arrêt :
- A chaque itération, les poids des perceptrons sont modifiés pour satisfaire à chacun des points. Lorsque ces poids ne sont plus modifiés par aucun des points, on arrête le programme Comparaison avec une valeur epsilon très faible.
Prédiction :
- Une fois les poids bien calibrés il est possible de rentrer les coordonnées d’un point pour connaître sa valeur en sortie du réseau.
RESSOURCES :
-Perceptron simple Perceptron multi-couches Nicolas P. Rougier
-Réseaux neuronaux Perceptron Multi-Couche Jerzy Korczak, LSIIT, ULP
-Réseaux de neurones : le perceptron multi-couches Fabrice Rossi
