STOCKAGE D’INFORMATION SUR UNE STRUCTURE EN BOUCLE

 

"Un texte est un mécanisme paresseux" qui "vit sur une plus-value de sens introduite par le destinataire"  Umberto Eco

"Ce qui distingue le signal du bruit, c'est que l'un transporte une information qui nous intéresse, l'autre une information qui ne nous intéresse pas" J. Max*

 

Séminaire TIMC IMAG 7 Mai 93

http://www.futura-sciences.com/comprendre/d/dossier48-1.php


 

           Nous proposons ici un modèle de stockage d'information issu d'une réflexion sur une surprenante expérience hydrodynamique et sur les circuits réverbérants, supports éventuels de la mémoire à court terme. Il se prête à une recherche par le contenu de formes incomplètes ou bruitées qui l'apparente aux mémoires associatives.

           Les vecteurs mémorisés sur cette stucture en boucle sont quasi orthogonaux. Sachant que l'orthogonalité des images stockées est nécessaire pour obtenir une bonne mémorisation sur les réseaux de neurones on peut envisager ce mode de stockage transitoire et d'orthogonalisation comme un prétraitement d'images destinées au stockage sur mémoire associative.

           Il est à noter que dans ce cas, les images étant stockées sous forme chaotique, la reconnaissance d'une image stockée sur le réseau passe obligatoirement par une phase de prétraitement.

1- mémorisation par superposition de vecteurs transformés sans modulation

         1.1- généralités

            Le principe de base d'une mémoire associative est que tout élément nouveau est interprété comme un bruit par rapport à l'ensemble des éléments déjà mémorisés par la structure. La réciproque est que les éléments mémorisés forment un bruit pour un vecteur donné.

            Dans une mémoire associative de type Hopfield, le vecteur à mémoriser modifie une matrice de valeurs constituée par les éléments déjà mémorisés.

            Dans notre modèle, le principe reste le même: le vecteur, après transformation, est superposé aux vecteurs déjà mémorisés et il est considéré comme un bruit par le réseau.

            La zone de stockage est représentée par un certain nombre de vecteurs transformés de longueur différente.

            Les vecteurs utilisés  ont 120 composantes. Chaque composante a pour valeur un niveau de gris {0..100} d'une image 1D.

            Exemple:

1.2 phase de stockage

            On transforme le vecteur d’origine O de composantes Ci , i {1..n}, en un vecteur transformé T de composantes C’i , i {1..d} de dimension différente (d) très supérieure à celle du vecteur origine (n).

            La formule (1) de calcul de A’1 devient  alors:

                                    A’i = i * b mod (d+1)

                                                     où  i{1..d}
                                                           b premier par rapport à (d+1)

            Les composantes C’d’adresse A’i, i {1..n}, ont pour valeurs V’i celles, permutées, du vecteur d’origine.

            Les composantes C’d’adresse A’i, i {n+1..d}, ont pour valeur V’i = 0.

            Un paramètre b, choisi dans la suite des nombres premiers, est affecté à chaque vecteur O à mémoriser.

            Exemple

           On mémorise T, on modifie d , b ne change pas, c’est la clé affectée au vecteur

               

            On obtient ainsi pour chaque vecteur Ok, k {1, ..., K}, un ensemble de  transformés de Ok, {Tk, Tk, T’’k,...} de dimensions d ( m1, m2, .. , mM)  différentes.

            On fait de même pour chaque vecteur Ok, à mémoriser .

            On additionne ensuite les vecteurs de même dimension  d.

            La j-ième composante d’un vecteur résultat, Qd, d{1=m1, ..., D=mM} est, pour une dimension d donnée

 

            La variation de d va générer, pour chaque zone de stockage, un vecteur transformé différent. Un vecteur d'origine de clé “b” va donc être inscrit, sous forme de plusieurs vecteurs transformés, dans des "bruits" différents.

            Les vecteurs sont associés par deux, la dimension de l’un diminue lorsque la dimension de l’autre augmente. La longueur résultante et le nombre (D) de vecteurs de stockage sont des paramètres du modèle.          

1.3 phase de restitution

            La restitution du vecteur à partir de ses transformés  revient à extraire un signal d'un bruit.

            Nous avons choisi une méthode dérivée de celle utilisée pour les potentiels évoqués: l'annulation du bruit est obtenue par moyennage de copies multiples du signal, chacune étant bruitée de façon différente.

            Pour une clé donnée le vecteur de sortie est obtenu en faisant la moyenne des vecteurs transformés inscrits sur le réseau:

                                                                              

2- modèle avec modulation associée à la transformation chaotique

             Le principe est le même que le précédent mais on introduit un traitement du signal avant ou au moment du stockage. Il s’agit d’une modulation d’amplitude par un signal sinusoïdal.

            L’utilisation d’une modulation d’amplitude en radiophonie a pour but de décaler, dans le spectre des fréquences, la fréquence propre du signal à transmettre. Elle  permet d’éviter la superposition des stations émettrices.

                                                Y(t) = A(t).sin 2pi F.t

            Y(t) est le signal modulé, A(t) le signal modulant, F la fréquence modulée ou porteuse.

            Ici la modulation va avoir pour effet d’orthogonaliser plus encore les vecteurs à mémoriser, sans perte d’information, puisque la démodulation restitue le signal d’origine.

            La porteuse est générée par échantillonnage d’une sinusoïde dont la période est un sous-multiple de la dimension des  vecteurs transformés. En d’autres termes, on trouve un nombre entier de périodes dans chaque vecteur transformé.

            Le pas d’échantillonnage est égal au paramètre b qui est la clé affectée à chaque vecteur à mémoriser. 

Quelques porteuses obtenues par échantillonnage de  la sinusoïde de base:

exemple de signal modulé obtenu avec b = 7

            La figure suivante montre le gain obtenu en orthogonalisation pour un même vecteur, transformé avec des b premiers différents {5..51}

            Le gain en orthogonalisation reste faible pour la seule transformation chaotique mais celle-ci génère une modulation propre à chaque image qui se révèle très puissante.

            Si nous prenons deux vecteurs différents à l’origine les vecteurs transformés deviennent quasi orthogonaux:

3- Etudes:

            3.1 capacité maximale théorique de stockage:

            L’opération de modulation est une méthode d’orthogonalisation. Nous l’avons comparée à la méthode de référence de GRAM SCHMIDT [KEE].

            Un premier vecteur à mémoriser est transformé avec une “clé” b en un ensemble de  vecteurs chaotiques de dimensions d différentes (Q1 à QD). Cet ensemble constitue la base sur laquelle viendront s’additionner les ensembles suivants.

            Un deuxième vecteur est transformé avec une clé différente et génère un deuxième ensemble de  vecteurs chaotiques.

            Si on veut additionner les deux ensembles de façon à ce que l’un apparaisse comme un bruit par rapport à l’autre, il faut orthogonaliser le deuxième ensemble par rapport au premier. C’était le rôle de la modulation dans notre méthode.

            Dans la méthode de GRAM SCHMIDT l’ensemble est recalculé. Le coefficient à appliquer à chaque composante d’un vecteur transformé de dimension d donnée est mémorisé. Il permettra la reconstruction du vecteur d’origine en phase de restitution.

            Les vecteurs suivants sont mémorisés de la même façon: chaque nouvel ensemble est recalculé de façon à être orthogonal aux éléments déjà mémorisés.

            Dans notre expérimentation la méthode de GRAM SCHMIDT permet de doubler la capacité de stockage (20 vecteurs-tests à niveaux de gris au lieu de 10).


 20 “images” mémorisées  
exemples
restitution après superposition

            3.2 activité du réseau:

            La figure ci-dessous montre les 100 premières valeurs des 4 premières zones de stockage Qm1, Qm2, Qm3, Qm4, après l’inscription de 6 vecteurs transformés Tk k{1.. 6}sur le réseau et la partie du vecteur somme correspondant. On remarque que les valeurs particulières à chaque image s’annulent et que le signal sinusoidal échantilloné au départ est reconstitué par addition des porteuses affectées aux images.


          3.3: projets d'études
                - capacité maximale de stockage du réseau
                - désaturation du réseau par extraction des images inscrites (traitées et non traitées), influence du bruit résiduel sur le réseau
                 
   - mémorisation à court terme d'images destinées à une mémoire associative

4- Références

    [DAV89]     Eric Davalo, Patrick Naïm, Le modèle de HOPFIED , in des Réseaux deNeurones, Eyrolles 89, p 104-112

    [DEW87]    Dewdney A., Explorez le monde étrange du chaos,  Récréations informatiques, in Pour la Science, N° 119, Sept 87, p 13-16

    [KEE]         James P.Keener, Transformation and approximation,  in Principles of Applied Mathematics , ADDISON.WESLEY PUBLISHING COMPANY

5- Curriculum vitae

     CV et contact

6- Liens

         Sur les réseaux neuronaux:
             ymorere.multimania.com
             le "ebook" d'initiation de ClaudeTouzet:
                   http://www.up.univ-mrs.fr/Local/umr_6149/umr/page_perso/Touzet/Les_reseaux_de_neurones_artificiels.pdf
                   page perso de Claude Touzet (Université de Provence)

         Critiques:
             jcosmos.claranet.fr/java3d/hollydezoboulo.htm

         Sur la fonction logistique et le théorème de Sharkowski :
             fonction chapeau de clown, attracteurs étranges, théorème de Sharkowski
             miroir partiel du site http://perso.wanadoo.fr/jeep/chaos.html (supprimé)
             http://www.dma.ens.fr/culturemath/maths/pdf/analyse/sharkovskii.pdf
             mots clés sur GOOGLE: Period three implies chaos

         Etude des réseaux neuronaux en tant que systèmes dynamiques chaotiques:
              http://iridia.ulb.ac.be/~cphilemo/index2.html

         Le Chaos dans les Réseaux de Neurones
              http://www.isima.fr/aussem/PAPERS/OrdreDesordre.ps.gz

         Des articles de base sur une nouvelle approche connexionniste
          - Chaos In Neural Network Group
              http://iridia.ulb.ac.be/ChINN/home/index.php
          - Revue générale Colin Molter (IRIDIA)
              http://sfp.ulb.ac.be/nackerman/web/COURS/DEASCC/NN/NN_chaos.ppt#1
          - Université du Québec Sylvain Charier   
             A Bidirectional Heteroassociative Memory for Binary and Grey-Level Patterns

         Apprentissage et contrôle par réseaux neuronaux récurrents chaotiques
              http://www.etis.ensea.fr/~quoy/

         Exposé sur les systèmes chaotiques et le contrôle de ces systèmes.
         Des niveaux de lecture différents sont accessibles afin de suivre une présentation soit vulgarisée soit formelle
              http://spacetown.free.fr/

         Textes fondateurs
         Coexistence of cycles of a continuous map of the line into itself [Translation from Ukrain. Mat. Zh. 16 (1964), no. 1, 61--71], Intern. J. Bifurcation and Chaos 5, 1995 no. 5, 1263--1273; Reprint of the paper in World Sci. Ser. Nonlinear Sci. Ser. B, 8, Thirty years after Sharkovskii's theorem: new perspectives (Murcia, 1994), 1995, 1--11.
         K. Fukushima: "A model of associative memory in the brain", Kybernetik, 12[2], pp. 58-63 (Feb. 1973).
         traduction française (fichier pdf): "Un modèle de mémoire associative dans le cerveau"

         *  JACQUES MAX a dirigé un groupe spécialisé dans la mesure et le contrôle des installations nucléaires au LETI (Centre d'Etudes Nucléaires de Grenoble -CENG). Son ouvrage de référence "Méthodes et techniques de traitement du signal" (Jacques Max, Jean-Louis Lacoume) en est à sa 5ème édition.

 

Accueil