1-
mémorisation par superposition de vecteurs transformés sans modulation
1.1- généralités
Le principe de base d'une mémoire associative est que tout
élément nouveau est interprété comme un bruit par rapport à l'ensemble
des éléments déjà mémorisés par la structure. La réciproque est que
les éléments mémorisés forment un bruit pour un vecteur donné.
Dans une mémoire associative de type Hopfield, le vecteur à
mémoriser modifie une matrice de valeurs constituée par les éléments
déjà mémorisés.
Dans notre modèle, le principe reste le même: le vecteur, après
transformation, est superposé aux vecteurs déjà mémorisés et il est
considéré comme un bruit par le réseau.
La zone de stockage est représentée par un certain nombre de
vecteurs transformés de longueur différente.
Les vecteurs utilisés ont 120 composantes. Chaque
composante a pour valeur un niveau de gris {0..100} d'une image 1D.
Exemple:
1.2
phase de stockage
On transforme le vecteur d’origine O de
composantes Ci
, i {1..n}, en un vecteur
transformé T de composantes C’i
, i {1..d} de dimension
différente (d) très supérieure à celle du vecteur origine (n).
La formule (1) de calcul de A’1 devient
alors:
A’i = i *
b mod (d+1)
où i{1..d}
b premier par rapport à (d+1)
Les composantes C’i d’adresse
A’i, i {1..n}, ont
pour valeurs V’i
celles, permutées, du
vecteur d’origine.
Les composantes C’i d’adresse
A’i, i {n+1..d},
ont pour valeur V’i
= 0.
Un paramètre b, choisi dans la suite des nombres premiers, est
affecté à chaque vecteur O à mémoriser.
On mémorise T, on modifie d , b ne change pas, c’est la clé
affectée au vecteur
On obtient ainsi pour chaque vecteur Ok, k
{1, ..., K}, un ensemble de transformés de Ok, {Tk, T’k,
T’’k,...} de dimensions d ( m1, m2, .. , mM) différentes.
On fait de même pour chaque vecteur Ok, à mémoriser .
On additionne ensuite les vecteurs de même dimension d.
La j-ième composante d’un vecteur résultat, Qd,
d{1=m1, ..., D=mM} est, pour une dimension d donnée
La variation de d va générer, pour chaque zone de stockage, un
vecteur transformé différent. Un vecteur d'origine de clé “b” va donc
être inscrit, sous forme de plusieurs vecteurs transformés, dans des
"bruits" différents.
Les vecteurs sont associés par deux, la dimension de l’un
diminue lorsque la dimension de l’autre augmente. La longueur résultante
et le nombre (D) de vecteurs de stockage sont des paramètres du
modèle.
1.3
phase de restitution
La restitution du vecteur à partir de ses transformés
revient à extraire un signal d'un bruit.
Nous avons choisi une méthode dérivée de celle utilisée pour
les potentiels évoqués: l'annulation du bruit est obtenue par moyennage
de copies multiples du signal, chacune étant bruitée de façon
différente.
Pour une clé donnée le vecteur de sortie est obtenu en faisant
la moyenne des vecteurs transformés inscrits sur le réseau:
2- modèle avec modulation
associée à la transformation chaotique
Le principe est le même que le précédent mais on
introduit un traitement du signal avant ou au moment du stockage. Il
s’agit d’une modulation d’amplitude par un signal sinusoïdal.
L’utilisation d’une modulation d’amplitude en radiophonie a
pour but de décaler, dans le spectre des fréquences, la fréquence propre
du signal à transmettre. Elle permet d’éviter la superposition des
stations émettrices.
Y(t) = A(t).sin 2pi F.t
Y(t) est le signal modulé, A(t) le signal modulant, F la
fréquence modulée ou porteuse.
Ici la modulation va avoir pour effet d’orthogonaliser plus
encore les vecteurs à mémoriser, sans perte d’information, puisque la
démodulation restitue le signal d’origine.
La porteuse est générée par échantillonnage d’une sinusoïde
dont la période est un sous-multiple de la dimension des vecteurs
transformés. En d’autres termes, on trouve un nombre entier de périodes
dans chaque vecteur transformé.
Le pas d’échantillonnage est égal au paramètre b qui est la clé
affectée à chaque vecteur à mémoriser.
Quelques porteuses
obtenues par échantillonnage de la sinusoïde de base:
exemple
de signal modulé obtenu avec b = 7
La figure suivante montre le gain obtenu en orthogonalisation pour
un même vecteur, transformé avec des b premiers différents {5..51}
Le gain en orthogonalisation reste faible pour la seule
transformation chaotique mais celle-ci génère une modulation propre à
chaque image qui se révèle très puissante.
Si nous prenons deux vecteurs différents à l’origine les
vecteurs transformés deviennent quasi orthogonaux:
3-
Etudes:
3.1 capacité
maximale théorique de stockage:
L’opération de modulation
est une méthode d’orthogonalisation.
Nous l’avons comparée à la méthode de référence de GRAM SCHMIDT [KEE].
Un premier vecteur à mémoriser est transformé avec une “clé” b
en un ensemble de vecteurs chaotiques de dimensions d différentes
(Q1
à QD). Cet ensemble
constitue la base sur laquelle viendront s’additionner les ensembles
suivants.
Un deuxième vecteur est transformé avec une clé différente et
génère un deuxième ensemble de vecteurs chaotiques.
Si on veut additionner les deux ensembles de façon à ce que
l’un apparaisse comme un bruit par rapport à l’autre, il faut
orthogonaliser le deuxième ensemble par rapport au premier. C’était le
rôle de la modulation dans notre méthode.
Dans la méthode de GRAM SCHMIDT l’ensemble est recalculé. Le
coefficient à appliquer à chaque composante d’un vecteur transformé de
dimension d donnée est mémorisé. Il permettra la reconstruction du
vecteur d’origine en phase de restitution.
Les vecteurs suivants sont mémorisés de la même façon: chaque
nouvel ensemble est recalculé de façon à être orthogonal aux éléments
déjà mémorisés.
Dans notre expérimentation la méthode de GRAM SCHMIDT permet de
doubler la capacité de stockage (20 vecteurs-tests à niveaux de gris au
lieu de 10).
|
20 “images” mémorisées
exemples
|
restitution
après superposition |
|
|
3.2 activité
du réseau:
La figure ci-dessous montre les 100 premières valeurs des 4
premières zones de stockage Qm1, Qm2,
Qm3, Qm4, après l’inscription de
6 vecteurs transformés Tk
k{1.. 6}sur le
réseau et la partie du vecteur somme correspondant. On remarque que les
valeurs particulières à chaque image s’annulent et que le signal
sinusoidal échantilloné au départ est reconstitué par addition des
porteuses affectées aux images.
3.3:
projets d'études
-
capacité maximale de stockage du réseau
-
désaturation du réseau
par extraction des images inscrites (traitées et non traitées),
influence du bruit résiduel sur le réseau
-
mémorisation à court terme d'images destinées à une mémoire
associative
4-
Références
[DAV89]
Eric Davalo, Patrick Naïm, Le modèle de HOPFIED , in des
Réseaux deNeurones, Eyrolles 89, p 104-112
[DEW87]
Dewdney A., Explorez le monde étrange du chaos,
Récréations informatiques, in Pour la Science, N° 119, Sept 87,
p 13-16
[KEE]
James P.Keener, Transformation and approximation, in Principles
of Applied Mathematics , ADDISON.WESLEY PUBLISHING
COMPANY
Sur
les réseaux neuronaux:
ymorere.multimania.com
le
"ebook" d'initiation de ClaudeTouzet:
http://www.up.univ-mrs.fr/Local/umr_6149/umr/page_perso/Touzet/Les_reseaux_de_neurones_artificiels.pdf
page
perso de Claude Touzet (Université de Provence)
Critiques:
jcosmos.claranet.fr/java3d/hollydezoboulo.htm
Sur la fonction
logistique et le théorème de Sharkowski :
fonction
chapeau de clown, attracteurs étranges, théorème de Sharkowski
miroir
partiel du site http://perso.wanadoo.fr/jeep/chaos.html (supprimé)
http://www.dma.ens.fr/culturemath/maths/pdf/analyse/sharkovskii.pdf
mots clés sur GOOGLE: Period three
implies chaos
Etude des
réseaux neuronaux en tant que systèmes dynamiques chaotiques:
http://iridia.ulb.ac.be/~cphilemo/index2.html
Le
Chaos dans les Réseaux de Neurones
http://www.isima.fr/aussem/PAPERS/OrdreDesordre.ps.gz
Des
articles de base sur une nouvelle approche connexionniste
- Chaos
In Neural Network Group
http://iridia.ulb.ac.be/ChINN/home/index.php
- Revue
générale Colin Molter (IRIDIA)
http://sfp.ulb.ac.be/nackerman/web/COURS/DEASCC/NN/NN_chaos.ppt#1
- Université
du Québec Sylvain Charier
A
Bidirectional Heteroassociative Memory for Binary and Grey-Level
Patterns
Apprentissage
et contrôle par réseaux neuronaux récurrents chaotiques
http://www.etis.ensea.fr/~quoy/
Exposé sur les
systèmes chaotiques et le contrôle de ces systèmes.
Des niveaux de
lecture différents sont accessibles afin de suivre une présentation soit
vulgarisée soit formelle
http://spacetown.free.fr/
Textes fondateurs
Coexistence of cycles
of a continuous map of the line into itself [Translation from Ukrain.
Mat. Zh. 16 (1964), no. 1, 61--71], Intern. J. Bifurcation and Chaos 5,
1995 no. 5, 1263--1273; Reprint of the paper in World Sci. Ser.
Nonlinear Sci. Ser. B, 8, Thirty years after Sharkovskii's theorem: new
perspectives (Murcia, 1994), 1995, 1--11.
K.
Fukushima: "A model of associative memory in the brain",
Kybernetik, 12[2], pp. 58-63 (Feb. 1973).
traduction
française (fichier pdf): "Un modèle de mémoire
associative dans le cerveau"
* JACQUES
MAX a dirigé un groupe spécialisé dans la mesure et le contrôle des
installations nucléaires au LETI (Centre d'Etudes Nucléaires de Grenoble
-CENG). Son ouvrage de référence "Méthodes et techniques de traitement
du signal" (Jacques Max, Jean-Louis Lacoume) en est à sa 5ème édition.
