artificial-dream.htm *

Les machines peuvent-elles rêver ?, Can a Machine Dream ?

Michel Bret (2022), honorarius professor laboratory INReV-ATI University Paris 8

English Français

Introduction

By artificial dream I do not mean the production by machines of images or stories that can evoke our own dreams, but rather the state in which a machine should be in order to become the seat of such manifestations.
I will show that a dreaming device must be equipped with a reentrant neural system.
The "natural/artificial" dualism will find itself, if I dare say "naturally", outdated just like the "living/machine" dualism. Which obviously does not mean that living organisms are machines or that we are going to build living machines, but that we will invent a concept, going"beyond the previous oppositions, which I propose to call "naturartive":.

1 Dreams

1.1 Naturel Dreams

1.1.1 Neuroplasticity
1.1.2 Consciousness

1.2 Dream models

       1.2.1 Activation-Synthesis model
       1.2.2 AIM model
       1.2.3 Crick and Mitchison Hypothesis
       1.2.4 Hopfield Relativistes Networks
       1.2.5 Boltzmann machines

1.3 Artificial Dreams

1.4 Method

1.1 Natural Dreams

1.1.1 Neuroplasticity
1.1.2 Consciouness

Neuroplasticity

According to some neurobiologists [Kandel 2007] the current biological descriptions of the brain are not incompatible with the psychoanalytical theories initiated by Freud a century ago. The brain was formerly described as an organ with a fixed capital of neurons degrading with age, but as early as 1970 Kandel and his collaborators showed that the efficiency of information transfer by synapses is permanently modified by experience (potentiation term or LTP). This neuroplasticity explains the functioning of learning Kandel 1992], memory and adaptation to the environment. Not only are the networks reorganized by modification of the synapses (change in transfer efficiency, appearance and disappearance), but there is also neurogenesis throughout life, particularly in the hippocampus. Sensory inputs from the body project to the cortex according to maps corresponding to the distribution of receptors on sensory organs. The experience gained modifies these cards. For example, London taxi drivers, whose spatial memory and sense of direction are particularly developed, have an equally well developed posterior hippocampus.

Consciousness

A distinction is made between the psychoanalytical unconscious and the neurological or non-conscious unconscious. For Damasio [Damasio 1999] the unconscious is rooted in neural systems forming the support of autobiographical memory like all neural configurations that never become images. “Psychoanalysis is a way of finding a network of intertwined psychological connections within autobiographical memory, the latter inevitably related to a network of neural connections. While some autobiographical memories are permanently conscious, others remain buried for years and even forever. “It is then easy to imagine that the memories of certain autobiographical elements are never completely reconstructed, whether they are out of step with the original or that they never come to the surface, since the memories are not archived as they are. and that remembering involves a complex process of reconstruction. It may be that these buried memories facilitate the recall of other memories, which come to consciousness in the form of other facts or concrete emotional states. These may seem inexplicable to the expanded consciousness at the time, due to the apparent lack of connection to the contents of consciousness then manifest. A living being equipped with a central nervous system can dream: sheltered from light and noise: very little information reaches it from the outside world, most of its perceptions are the result of the activation of the zones in which his sensory organs are projected by impulses coming from his cortex in the form of wave trains that can enter into resonance [Changeux 1998]. According to Elizabeth Hennevin paradoxical sleep (SP) is characterized by significant cerebral activation, an electroencephalogram similar to that of the day before, a disappearance of postural tone, the appearance of rapid eye movements, it would be the main place, but not exclusive, dreams. The experimental study of the dream comes up against the fact that it cannot be recorded and that it must be reported verbally after waking up. However, it seems accepted that the dream can appear in the four other phases of sleep (and no longer only during the paradoxical phase).

1.2 Dream Models

1.2.1 Activation-Synthesis model
1.2.2 Le modèle AIM
1.2.3 L´hypothèse de Crick et Mitchison
1.2.4 Les réseaux relativistes de Hopfield
1.2.5 Les machines de Boltzmann

1.2.1 Activation-Synthesis model

proposed by Hobson, J. A., & McCarley, R. W in 1977 exclusively centered, in its initial version, on the PS, it is presented as a critique of psychoanalytic theses and distinguishes five moments: - 1 - auto-activation of the brain in the form of volleys of random discharges sent by certain neurons of the brainstem on the anterior cerebral structures, thus causing - 2 - auto-stimulation of the brain, producing stimuli (such as visual hallucinations) whose interpretation will give rise to the dream - 3 - sensory blockade, which stops the arrival of external stimuli to the brain; - 4 - motor block, which inhibits (to some extent) the physical reactions to these stimuli - 5 - demodulation, ie the absence of rational processing of stimuli. proposé par Hobson, J. A., & McCarley, R. W en 1977 exclusivement centré, dans sa version initiale, sur le SP, il se présente comme une critique des thèses psychanalytiques et distingue cinq moments:
- 1 - l´auto-activation du cerveau sous la forme de volées de décharges aléatoires envoyées par certains neurones du tronc cérébral sur les structures cérébrales antérieures, provoquant ainsi
- 2 - l´auto-stimulation du cerveau, produisant des stimuli (comme des hallucinations visuelles) dont l´interprétation va donner le rêve
- 3 - le blocage sensoriel, qui stoppe l´arrivée des stimuli externes au cerveau ;
- 4 - le blocage moteur, qui inhibe (dans une certaine mesure) les réactions physiques à ces stimuli
- 5 - la démodulation, c´est-à-dire l´absence de traitement rationnel des stimuli.

1.2.2 AIM MODEL

The three-dimensional AIM model (1998): - A - for activation - I - for input-output or input-output of stimuli - M - for modulation which is an evolution of the previous model. A state of consciousness is represented by a point in this space defined by the values ??of A = brain activation, I = input intensity and M = processing mode. Thus we can situate the waking state (A = 1, I = 1, M = 1), that of paradoxical sleep (A = 1, I = 0, M = 0), that of relaxation, of dream, hallucination, drowsiness, coma, lucid dreaming, etc. By powerfully in memory, the brain tries to make this flow of images and sensations coherent. Le modèle tridimensionnel AIM (1998) :
- A - pour activation
- I - pour input-output ou entrée-sortie de stimuli
- M - pour modulation
qui est une évolution du modèle précédent.
Un état de conscience est représenté par un point dans cet espace défini par les valeurs de A = activation du cerveau, I = intensité de l´entrée et M = mode de traitement. Ainsi peut-on situer l´état de veille (A = 1, I = 1, M = 1), celui de sommeil paradoxal (A = 1, I = 0, M = 0), celui de la relaxation, du rêve, de l´hallucination, de la somnolence, du coma, du rêve lucide, etc.. En puissant dans la mémoire, le cerveau essaye de rendre cohérent ce flux d´images et de sensations.

1.2.3 Crick and Mitchison Hypothesis

"We dream in order to forget" ("We dream in order to forget"), such is this hypothesis [Crick 1983] which is based on experiments made from Hopfield neuronal networks Hopfield neural networks functioning as associative memories providing the totality of information when only part of it is given. The problem with these networks is that they saturate up to 14% of their theoretical capacity due to the memorization, during learning, of numerous parasitic patterns. Fachechi, Agliari and Barra [Fachechi 2019] developed a forgetting algorithm, inverse to that of memorization, from random inputs, tending to prove that the performance of neural networks improves when they sleep.

1.2.4 Hopfield Relativist Networks

This is a generalization of the standard Hopfield model [Agliari 2018] built on an analogy between fluid mechanics (Lagrangian of positions or Euclidean of velocities) and a Hopfield network, the kinetic energy being associated with the eacute;nergy of a Hopfield network. The storage capacities of the network are improved and the unlearning of the parasitic states is easier, which gives greater robustness to the system. 1.2.5 Boltzmann machines Il s´agit d´une généralisation du modèle standard de Hopfield [Agliari 2018] construit sur une analogie entre la mécanique des fluides (lagrangienne des positions ou euclidienne des vitesses) et un un réseau de Hopfield, l´énergie cinétique étant associée à l´énergie d´un réseau de Hopfield. Les capacités de stockage du réseau sont améliorées et le désapprentissage des états parasites est plus facile , ce qui confére une plus grande robustesse au système.

1.2.5 Boltzmann machines

One of the drawbacks of a Hopfield network is that it can only decrease its energy function and thus risks getting stuck in a local minimum and thus missing the absolute minimum. The Boltzmann machines solve this problem by replacing the transfer threshold function with a probability function between all pairs of neurons (fully connected network) or only certain pairs (restricted Boltzmann machines), those whose 2 cells do not belong to the same layer (visible or hidden).

1.3 Artificial Dreams

In 1956 Allan Turing asked himself the question "can a machine think?" thus opening the way to artificial intelligence, today can we ask ourselves the question "can machines dream?", could there be a poetry, an art, artificial [Couchot 2012] ? By attaining the status of being sensitive, emotional and conscious [Cardon 2000] [Cardon 2004] could machines then finally become truly rational? Philip Dick had already wondered whether androids dreamed of electronic sheep. Google engineers have written software capable of generating images, which they qualify as dreams, by recognizing in any image presented to them, images memorized during classic "deep learning" type learning. One of the problems with this method, it seems to me, is that you have to present millions of examples to the machine for the error backpropagation algorithm to configure networks to recognize , whereas it suffices to present only a few images to a child for him to acquire the same espertise, a problem solved by self-supervised learning. . Furthermore, I think that imagining is not only recognizing but also, and above all, inventing. Another method would be to use Kohonen networks which are able to "recognize" structures in any data (even random ones). While the first cybernetics only concerned observed systems and supervised learning, the second cybernetics concerne concerns observing systems and unsupervised learning. Against Aristote who claimed that matter could not be the cause of its own change, Edelman Edelman explains to us how matter can become consciousness. Inspired by the work of Damasio who had rested the Cartesian body-mind dualism by linking emotion and rationality, I will propose a method to create a dreaming machine.

2 Method

Since the 90s [Bret 2000b] [Bret 2000b] I have been in the connectionist thought (in particular with the Neural networks [Chazal 2000]) for artistic creation [Bret (2000a)] [Bret 2000c] [Bret 2005], in particular with regard to autonomy [Tisseau 2007] [Plessiet 2019] [Bret 2007] [Bret 2008].
Practically I simulated the dream by connecting certain layers of the neural networks with their inputs, which amounts to creating reentrant connections on completely connected networks [Bret 12-2006] After a phase of relative rest the networks can enter into activity especially if periodic low-intensity wave trains are added to the inputs of the neurons promoting a resonance of the nerve impulses (propagation modulated by the synapses).
By drawing on their memories (associative memories constituted by the matrices of synaptic weights) images and even stories can emerge.

3 Application

    3.1 dream
    3.2 Code
    3.3 Rêve neuronal

3.1 dream

The interactive dream [local] dream installation gives an example implementation of this idea:
A ballet of virtual dancers interacting with the environment (of which they are a part) in the mode of second interactivity according to which the virtual, when it can modify itself (adaptive systems of artificial life Heudin), becomes subject and no longer just an object. For this I built neural networks that can modify their connections (which is normally the role of learning), add (non-zero values ??in the matrix of synaptic weights) or remove (zero values). This functionality allows the networks to "perceive" impulses coming from the deep layers of its neurons, and no longer only from its sense organs, ie to "dream".
According to Changeux, low-amplitude periodic wave trains sweep through the brain, resonating with the spontaneous activity of neurons. I have implemented this remark, which gives quite convincing results.
An audio signal (in fact its fft) is presented at the input of the neural networks which provide, as output, a set of rotational forces applied to the joints of the limbs of virtual dancers, which makes them move and thus constitute an artificial ballet. Figure 1 shows the activity of neural networks "listening" to music (fft in and forces out)
Figure 2 shows the activity of sleeping neural networks listening only to information from their cortex
Figure 3 shows this ballet sleeping and dreaming without the music, its entrances connected to some of its deeper layers.

3.2 Code

Here is an extract of the code (in anyflo language) making networks dream:
/* perceptron-like networks */
network(id)fac;
/* random training pairs */
for(i=1,nc)
{
w=calloc(d_mot)randf(1);motif(0)network(id)=w;
w=calloc(d_law)randf(1);law(0)network(id)=w;
}
/* generation of properties */
generate network(id)fac(Hide);
/* generation of a periodic component */ vpulse network(id)=.02,.02,.02; /* generate a random component */ random network(id)=.01;
/* generate reentrant connections */
generate mass(-.1,.1)abs network(id);
/* Learning */
validatenetwork(id);

3.3 Neural Networks

An extension of the automapping [local] automapping method to neural networks consists in identifying the image with the matrix of synaptic weights which are then the gray levels of the pixels reduced to the interval [-1,1], this which makes this network completely connected, the input and the output being vectors of dimension the number of lines of the screen.
If, for example, the incoming flow is the fft of the audio signal and if the outgoing flow is a set of couples of forces dynamically generating the image, and therefore the matrix of synaptic weights, such a device constitutes a self-sustaining engine creating sequences of animated images in real time.

Introduction

1 Les rêves

1.1 Rêves naturels

1.1.1 La neuroplasticité
1.1.2 La conscience

1.2 Les modèles du rêve

      1.2.1 Le modèle Activation-Synthèse
       1.2.2 Le modèle AIM
       1.2.3 L´hypothèse de Crick et Mitchison
       1.2.4 Les réseaux relativistes de Hopfield
       1.2.5 Les machines de Boltzmann

1.3 Rêves artificiels

2 Une méthode

3 Application

    3.1 dream
    3.2 Code
    3.3 Rêve neuronal

Bibliographie

Notes

Films

Images

Introduction

Par rêve artificiel je n´entends pas la production par des machines d´images ou de récits pouvant évoquer nos propres rêves, mais bien plutôt l´état dans lequel une machine devrait se trouver pour devenir le siège de telles manifestations.
Je montrerai qu´un dispositif rêvant devra être muni d´un système neuronal réentrant.
Le dualisme "naturel/artificiel" s´en trouvera, si j´ose dire "naturellement", dépassé tout comme le dualisme "vivant/machine". Ce qui ne veut évidemment pas dire que les organismes vivants sont des machines ni que nous allons construire des machines vivantes, mais que nous inventerons un concept, dépassant les opposition précédentes, que je propose de nommer "naturartif.".

1 Les rêves

1.1 Rêves naturels

1.1.1 La neuroplasticité
1.1.2 La conscience

1.2 Les modèles du rêve

       1.2.1 Le modèle Activation-Synthèse
       1.2.2 Le modèle AIM
       1.2.3 L´hypothèse de Crick et Mitchison
       1.2.4 Les réseaux relativistes de Hopfield
       1.2.5 Les machines de Boltzmann

1.3 Rêves artificiels

1.4 Une méthode

1.1 Rêves naturels

1.1.1 La neuroplasticité
1.1.2 La conscience

La neuroplasticité

Selon certains neurobiologistes [Kandel 2007] les descriptions biologiques actuelles du cerveau ne sont pas incompatibles avec les théories psychanalytiques initiérs par Freud il y a un siècle.
Le cerveau était autrefois décrit comme un organe posédant un capital fixe de neurones se dégradant avec l’âge, mais dès 1970 Kandel et ses collaborateurs montrent que l’efficacité du transfert d’information par les synapse est modifiée durablement par l´expérience (potentialisation à long terme ou LTP). Cette neuroplasticité explique le fonctionnement des apprentissages [Kandel 1992] , de la mémoire et de l’adaptation à l’environnement.
Non seulement les réseaux se réorganisent par mofification des synapses (changement de l’efficacité du transfert, apparition et disparition) mais encore il existe une neurogénèse durant toute la vie, en particulier dans l’hippocampe. Les afférences sensorielles du corps se projettent sur le cortex selon des cartes correspondant à la répartition des récepteurs sur les organes sensoriels. L’expérience acquise modifie ces cartes. Par exemple les chauffeurs de taxis londoniens dont la mémoire spatiale et le sens de l’orientation sont particulièrement développés, possèdent un hippocampe postérieur également bien développé.

La conscience

On distingue l’inconscient psychanalytique et l’inconscient neurologique ou non-conscient . Pour Damasio [Damasio 1999] l’inconscient s’enracine dans des systèmes neuronaux formant le support de la mémoire autobiographique comme toutes les configurations neuronales qui ne deviennent jamais des images . « La psychanalyse est une manière de retrouver un réseau de connexions psychologiques entrelacées au sein de la mémoire autobiographique, ces dernières inévitablement en rapport avec un réseau de connexions neuronales. » Si certains souvenirs autobiographiques sont conscients en permanence, d’autres restent enfouis pour des années et même pour toujours. « On imagine alors sans peine que les souvenirs de certains éléments autobiographiques ne soient jamais complètement reconstruits, qu’ils le soient en décalage avec l’original ou bien qu’ils ne remontent jamais en surface, puisque les souvenirs ne sont pas archivés tels quels et que la remémorisation implique un processus complexe de reconstruction. Il se peut que ces souvenirs enfouis facilitent la remémorisation d’autres souvenirs, lesquels parviennent à la conscience sous forme d’autres faits ou états émotionnels concrets. Ces derniers peuvent sembler inexplicables à la conscience étendue du moment, en raison de l’absence apparente de lien avec les contenus de conscience alors manifestes ».
Un être vivant muni d´un système nerveux central peut rêver : à l´abri de la lumière et du bruit : fort peu d´informations lui parviennent du monde extérieur, l´essentiel de ses perceptions sont le résultat de l´activation des zones dans lesquelles se projettent ses organes sensoriels par des influx provenant de son cortex sous la forme de trains d´ondes pouvant entrer en résonnance [Changeux 1998].

Selon Elizabeth Hennevin le sommeil paradoxal (SP) se caractérise par une importante activation cérébrale, un électroencéphalogramme voisin de celui de la veille, une disparition du tonus postural, l´apparition de mouvements oculaires rapides, il serait le lieu principal, mais non exclusif, des rêves.
L’étude expérimentale du rêve se heurte au fait que celui ci ne peut pas être enregistré et qu´il doive être rapportées verbalement après le réveil.
Cependant il semble acqui que le rêve peut apparaitre dans les qautre phases du sommeil (et non plus seulement pendant la phase paradoxale).

1.2 Les modèles du rêve

1.2.1 Le modèle Activation-Synthèse
1.2.2 Le modèle AIM
1.2.3 L´hypothèse de Crick et Mitchison
1.2.4 Les réseaux relativistes de Hopfield
1.2.5 Les machines de Boltzmann

1.2.1 Le modèle Activation-Synthèse

proposé par Hobson, J. A., & McCarley, R. W en 1977 exclusivement centré, dans sa version initiale, sur le SP, il se présente comme une critique des thèses psychanalytiques et distingue cinq moments:
- 1 - l´auto-activation du cerveau sous la forme de volées de décharges aléatoires envoyées par certains neurones du tronc cérébral sur les structures cérébrales antérieures, provoquant ainsi
- 2 - l´auto-stimulation du cerveau, produisant des stimuli (comme des hallucinations visuelles) dont l´interprétation va donner le rêve
- 3 - le blocage sensoriel, qui stoppe l´arrivée des stimuli externes au cerveau ;
- 4 - le blocage moteur, qui inhibe (dans une certaine mesure) les réactions physiques à ces stimuli
- 5 - la démodulation, c´est-à-dire l´absence de traitement rationnel des stimuli.

1.2.2 Le modèle AIM

Le modèle tridimensionnel AIM (1998) :
- A - pour activation
- I - pour input-output ou entrée-sortie de stimuli
- M - pour modulation
qui est une évolution du modèle précédent.
Un état de conscience est représenté par un point dans cet espace défini par les valeurs de A = activation du cerveau, I = intensité de l´entrée et M = mode de traitement. Ainsi peut-on situer l´état de veille (A = 1, I = 1, M = 1), celui de sommeil paradoxal (A = 1, I = 0, M = 0), celui de la relaxation, du rêve, de l´hallucination, de la somnolence, du coma, du rêve lucide, etc.. En puissant dans la mémoire, le cerveau essaye de rendre cohérent ce flux d´images et de sensations.

1.2.3 L´hypothèse de Crick et Mitchison

"Nous rêvons pour oublier" (" We dream in order to forget"), telle est cette hypothèse [Crick 1983] qui s´appuie sur des expérimentations faites à partir de réseaux neuronaux de Hopfield fonctionnant comme des mémoires associatives fournissant la totalité d´une information quand on n´en donne qu´une partie. Le problème de ces réseaux est qu´ils saturent à hauteur de 14% de leur capacité théorique du fait de la mémorisation, au cours de l´apprentissage , de nombreux patterns parasites. Fachechi, Agliari et Barra [Fachechi 2019] ont développé un algorithme d´oubli, inverse de celui de mémorisation, à partir d´entrées aléatoires, tendant à prouver que les performances des réseaux neuronaux s´améliorent quand ils dorment.

1.2.4 Les réseaux relativistes de Hopfield

Il s´agit d´une généralisation du modèle standard de Hopfield [Agliari 2018] construit sur une analogie entre la mécanique des fluides (lagrangienne des positions ou euclidienne des vitesses) et un un réseau de Hopfield, l´énergie cinétique étant associée à l´énergie d´un réseau de Hopfield. Les capacités de stockage du réseau sont améliorées et le désapprentissage des états parasites est plus facile , ce qui confére une plus grande robustesse au système.

1.2.5 Les machines de Boltzmann

L´un des inconvénients d´un réseau de Hopfield est qu´il ne peut que faire décroître sa fonction d´énergie et qu´il risque ainsi de se retrouver coincé dans un minimum local et donc de manquer le minimum absolu. Les machines de Boltzmann résolvent ce problème en remplaçant la fonction seuil de transfert par une fonction de probabilité entre tous les couples de neurones (réseau complètement connecté) ou seulement certains couples (machines de Boltzmann restreintes), ceux dont les 2 cellules n´appartiennes pas à la même couche (visible ou cachée).

1.3 Rêves artificiels

En 1956 Allan Turing s´était posé la question "une machine peut-elle penser ?" ouvrant ainsi la voie à l´intelligence artificielle, aujourd´hui peut-on se pose la question "les machines peuvent-elles rêver ?", pourrait-il exister une poésie, un art, artificiels [Couchot 2012] ? En accédant au statut dêtre sensible, émotiel et conscient [Cardon 2000] [Cardon 2004] les machines pourraient-elles alors devenir enfin vraiment rationnelles ?

Philip Dick s´était déjà posé la question de savoir si les androides rêvaient de moutons électroniques.

Les ingénieurs de Google ont écrits des logiciels capables de générer des images, qu´ils qualifient de rêves, en reconnaissant sur n´importe quelle image qu´on leur présente, des images mémorisées lors d´apprentissages classiqes de type "deep learning". Un des problèmes de cette méthode, me semble-t-il, est qu´il faut présenter des millions d´exemples à la machine pour que l´algorithme de la rétropropagation de l´erreur arrive à configurer les réseaux pour qu´ils reconnaissent, alors qu´il suffit de présenter seulement quelques images à un enfant pour qu´il acquière la même espertise, problème résolu par l´apprentissage auto supervisé. . En outre je pense qu´imaginer ce n´est pas seulement reconnaitre mais c´est aussi, et surtout, inventer.

Une autre méthode serait d´utiliser des réseaux de Kohonen qui sont capable de "reconnaître" des structures dans n´importe quelles données (même aléatoires).

Alors que la première cybernétique ne concernait que les systèmes observés et les apprentissages supervisés, la seconde cybernétique concerne les systèmes observant et les apprentissages non supervisés.

Contre Aristote qui proféssait que la matière ne saurait être cause de son propre changement, Edelman nous explique comment la matière peut devenir conscience.
En m´inspirant des travaux de Damasio qui avait reposé le dualisme cartésien corps-esprit en reliant émotion et rationnalité je proposerai une méthode pour réaliser une machine rêvante.

2 Une méthode

Depuis les années 90 [Bret 1998] [Bret 2000b] je suis dans la pensée connexionniste (en particulier avec les Les réseaux neuronaux [Chazal 2000]) pour la création artistique [Bret (2000a)] [Bret 2000c] [Bret 2005], en particulier en ce qui concerne l´autonomie [Tisseau 2007] [Plessiet 2019] [Bret 2007] [Bret 2008].
Pratiquement j´ai simulé le rêve en connectant certaines couches des réseaux neuronaux avec leurs entrées, ce qui revient à créer des connections réentrantes sur des réseaux complètement connectés [Bret 12-2006] Après une phase de relatif repos les réseaux peuvent entrer en activité surtout si des trains d´ondes périodiques de faible intensité sont surajoutés aux entrées des neuronnes favorisant une résonnance des influx nerveux (propagation modulées par les synapses).
En puisant dans leurs souvenirs (mémoires assocoatives constituées par les matrices des poids synaptiques) des images et même des récits peuvent émerger.

3 Application

    3.1 dream
    3.2 Code
    3.3 Rêve neuronal

3.1 dream

L´installation interactive dream [local] donne un exemple d´implémentation de cette idée:
Un ballet de danseuses virtuelles intéragissant avec l´environnement (dont elles font partie) sur le mode de la "seconde interactivité" selon laquelle le virtuel, lorsqu´il peut se modifier lui-même (systèmes adaptatifs de vie artificielle Heudin), devient sujet et non plus seulement objet. Pour cela j´ai construit des réseaux neuronaux pouvant modifier leurs connexions (ce qui est normalement le rôle de l´aprentissage), en ajouter (valeurs non nulles dans la matrice des poids synaptiques) ou en supprimer (valeurs nulles). Cette fonctionnalité permet aux réseaux de "percevoir" des influx en provenance des couches profondes de ses neuronnes, et non plus seulement de ses organes des sens, c´est à dire de "rêver".
Selon Changeux des trains d´ondes périodiques de faible amplitude balaient le cerveau entrant en résonnance avec l´activité spontannée des neuronnes. J´ai implémenté cette remarque, ce qui donne des résultats assez probants.
Un signal audio (en fait sa fft) est présenté en entrée des réseaux neuronaux qui fournissent, en sorie, un ensemble de forces de rotation appliquées aux jointures des membres de danseuses virtuelles, ce qui les fait se mouvoir et constituer ainsi un ballet artificiel.
La figure 1 montre l´activité des réseaux neuronaux ´écoutant" de la musique (fft en entrée et forces en sortie)
La figurs 2 montre l´activité des réseaux neuronaux endormis n´écoutant que les seules informations en provenance de leur cortex
La figure 3 montre ce ballet endormi et rêvant sans la musique, ses entréess étant connectées à certaines de ses couches profondes.

3.2 Code

Voici un extrait du code (en langage anyflo) faisant rêver les réseaux:
/* réseaux de type perceptron */



network(id)fac;

/* couples d´apprentissage aléatoires */



for(i=1,nc)

{

    
w=calloc(d_mot)randf(1);motif(0)network(id)=w;

    
w=calloc(d_law)randf(1);law(0)network(id)=w;

}

/* génération des propriétés */



generate network(id)fac(Hide);

/* génération d´une composante périodique */



puls network(id)=.02,.02,.02;

/* génération d´une composante aléatoire */



alea network(id)=.01;

/* génération de connexions réentrantes */



generate mass(-.1,.1)abs network(id);

/* Apprentissage */

validate network(id);

3.3 Rêve neuronal

Une extension de la méthode de l´automapping [local] aux réseaux neuronaux consiste à identifier l´image avec la matrice des poids synaptiques les qui sont alors les niveaux de gris des pixels ramenés à l´intervalle [-1,1], ce qui rend ce réseau complètement connecté, l´entrée et la sortie étant des vecteurs de dimension le nombre de lignes de l´écran.
Si, par exemple, le flux entrant est la fft du signal audio et si le flux sortant est un ensmble de couples de forces générant dynamiquement l´image, et donc la matrice des poids synaptiques, un tel dispositif constitue un moteur auto entretenu créant des séquences d´images animées en temps réél.

Bibliographie

Abdi H. (1994) Les réseaux de neurones, Presses Universitaires de Grenoble.

Agliari E., Barra A.,Notarnicola M. The Relativistic Hopfield network: rigorous results arXiv:1810.12160 (math-ph) Oct 2018.

Andreewsky Evelyne, Delorme Robert: "Seconde cybernétique et complexité, rencontre avec Heinz Foerster", L’Harmattan 2006.

machines de Boltzmann Bret 2001 [local]

Bret M. (1998) Une méthode comportementale de modélisation et d´animation du corps humain [local].

Bret M. (2000a) Expérimentation dans les arts du connexionnisme actes ISEA 2000 [local]

Bret M. (2000b) Virtual Living Beings in Lecture Notes in Artificial Intelligence 1834: Virtual Worlds 119-134, Ed. Jean - Claude Heudin, Springer 2000 [local].

Bret M. Tramus M.-H (2000c) La Funambule virtuelle A.T.I. Université Paris 8 [local].

Bret 2000
rétropropagation de l´erreur [local]

Bret M., Tramus M.-H. (2001) Danse avec moi A.T.I. Université Paris 8 [local]

Bret M., Tramus M.-H., Berthoz A. (2005) Interacting with an intelligent dancing figure: artistic experiments at the crossroads between art and cognitive science in Leonardo Volume 38, Number 1, pp 47-54 [local].

Bret M. (juillet 2006) Émotion artificielle ITAU Cultural, Saopaulo, Brasil, juillet 2006 [local].

Bret M. (décembre 2006) Émergence et résonance neuronale, in Journée Art/technologie de l´information et de la communication, Universalité Le Mirail Toulouse, 15 décembre 2006 [local].

Bret M. (2007) Création, émergence, autonomie, Rencontres sur La réalité virtuelle et les arts numériques Centre des Art d’Enghien mars 2007 [local].

Bret M. (2008) Chorégraphie interactive, Ateliers Réseaux Arts Numériques, LIMSI-CNRS, février 2008 [local].

Création et autonomie, DADA Art R&D Co, Ltd, Taipei (Taiwan), Between Fast ans Slow : Obsession with Speed and Infinitely Changed Perception 10-12 mars 2008 [local]

Cardon A. (2000) Conscience artificielle et systèmes adaptatifs, Eyrolles 2000.

Cardon A.(2004) Modeliser et concevoir une machine pensante, Vuibert 2004.

Changeux J.P. 1998 "L´homme neuronal", Hachette Littérature.

Chazal G. (2000) Les Réseaux du sens: de l´informatique aux neurosciences, Champ Vallon.

Couchot E. (2012) La Nature de l´art, HERMANN 2012.

Crick F., Mitchison, G. "The function of dream sleep", Nature 304, 111–114 (1983).

Damasio A. (1995) L’Erreur de Descartes, Ed Odile Jacob.

Damasio A. (1999) Le Sentiment même de soi, Ed Odile Jacob.

Edelman G. (1987) Neural Darwinism: The Theory of Neural Group
Selection, Basic Book, New York.

Edelman G. (2000) "Comment la matière devient conscience", Ed Odile Jacob 2001.

énergie d´un réseau de Hopfield. [local]

Fachechi A., Agliari E., Barra A.
Dreaming neural networks: forgetting spurious memories and reinforcing pure ones in Neural Networks 112, 24–40 (2019). Google ScholarCrossref

Google

Hennevin Elizabeth
Le rêve vu par les Neurosciences, in Champ psychosomatique 2003/3 (no 31), pages 69 à 79

Heudin J.-C. (1994) La Vie Artificielle, Hermès.

Hobson, J. A., & McCarley, R. W. (1977)., "The brain as a dream state generator: An activation-synthesis hypothesis of the dream process" The American Journal of Psychiatry, 134(12) p 1335-1348

Les réseaux de Hopfield Bret 2001 [local]

Kandel E.R. et Hawkins R., « Les bases biologiques de l´apprentissage », Pour la science, no 181, 1992.
Eric Kandel, À la recherche de la mémoire : Une nouvelle théorie de l´esprit, Paris, éditions Odile Jacob, coll. « Sciences », 2007, 512 p. (ISBN 9782738118806).

réseaux de Kohonen [local]

Linnainmaa S. (1970) « The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors ». Master´s Thesis (in Finnish), Univ. Helsinki.

Maturana H. (2007) "Systemic versus genetic determination", Constructivist Foundations, vol. 3, no 1.

McCulloch, Pitts W.H (1943) "A logical calculus of the ideas immanent in nervous activity", Bulletin of Mathematical Biophysics, 5: 115-138.

Meyer J.-A (1998) « Les animaux artificiels sont-ils pour demain ? », in LA RECHERCHE, 313 46-50, octobre 1998.

Plessiet C. (2019) « Quand la marionnette coupe ses fils. Recherche sur l’acteur virtuel », Synthèse d’Habilitation à Diriger des Recherches, soutenue le 9 octobre 2019 à l’Université Paris 8.

Prigogine I. (1993), Les Lois du chaos Flammarion.

Rumelhart D., Geoffrey E.-.H, Williams R.-J. (1986-10) « Learning representations by back-propagating errors ». Nature. 323 (6088): 533–536. doi:10.1038/323533a0. ISSN 1476-4687.

Tisseau J, Parenthoe M., Harrouet F. (2007) « Autonomie des objets virtuels », Techniques de l’ingénieur, Réf : H7005 v1, 10 août 2007. https://www.techniques-ingenieur.fr/base-documentaire/archives-th12/archives-technologies-logicielles-et-architecture-des-systemes-tiahb/archive-1/autonomie-des-objets-virtuels-h7005/

Tramus M.-H., Bret M., Couchot E. (2003), « La seconde interactivité », in Arte e vida no século XXI, Organizadora Diana Domongues, UNESP, Brazil.

Turing A. "Computing machinery and intelligence", Mind, pp 433-460, 1950.

Turing A., “Can a Machine Think ? ´´, in volume 4 of The World of Mathematics, ed. James R. Newman, Simon & Schuster, pp 2099-2123, 1956.

Varela F. (1999) L´inscription corporelle de l´esprit, Ed du Seuil.

Werbos P., "Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences", Ph.D. Thesis, Harvard University, Cambridge, 1974.

Wiener N. (1948) Cybernetics or Control and Communication in the animal and the Machine, Cambridge (Mass) .

Films d’animation 3D

Automappe, 1988.
Betzeparticules, 1997.
Cahin Caha, 1996.
CryBaby, 2000.
Défilé de Mode, 1998.
Elorap, 1992.
La Petite Danseuse, 1984.
Les Cloches de l´Enfer, 2000.
Mystère et Boule de Gomme, 1997.
Ploum Ploum Tralala,1993.
Saute, 1989.
Suzanne, 2000.
Tacauto, 1990.

Installation interactive
Danse avec moi, 2000, Bret M., Tramus M.-H.
Dream Attractor, 2019, Bret M., Tramus M.-H.
La Funambule virtuelle, 2000 Bret M., Tramus M.-H., Berthoz A.

Démos
Contraintes biomécaniques, 2007.
Loi de la puissance 1/3 (2007).

Images

Figure 1 : ballet of dancers interacting with music by mean of neural networks
ballet de danseuses en interaction avec une musique via des réseaux neuronaux

Figure 2 : activity of neural networks dreaming and hearing only informations from their cortex
activité des réseaux neuronaux rêvant et n´écoutant que les seules informations en provenance de leur cortex

Figure 3 : the same ballet sleeping and dreaming
le même ballet endormi et rêvant

Notes

Neural networks
First Cybernetics
Second Cybernetics

Neural networks

The idea of an artificial neuron dates back to 1943 with the work of McCulloch andt Pitts, then that of David Rumelhart who applied in 1986 the error backpropagation algorithm [Abdi 1994] published by Linnainmaa in 1970, then they were developed by Paul Werbos in 1974 who was to popularize "deep learning". It is a method of supervised learning on neural networks of the perceptron type with layers representing very imperfectly the reality of nervous systems which are massively reentrant (essential condition, according to Edelman, of the appearance of consciousness). On the other hand, supervision refers to the notion of a knowledgeable teacher that is very far from the philosophy of connectionism connexionnisme. In the future (near or distant), when humanity decides to visit galaxies that are light years, light centuries or light millennia away, it will probably not be a question of sending humans there, but rather robots, which will have to adapt to worlds on which no professor will have been able to instruct them, it will be necessary then that their networks train in an unsupervised way.

First Cybernetics

could be defined as the science of the control of systems, living or artificial, founded in 1948 by the American mathematician Norbert Wiener. It explains how a system maintains homeostasis through self-regulation (feedback loop).

Second Cybernetics

While the first cybernetics was that of observed systems, Heinz von Foerster considers a second cybernetics, which is that of observing systems, able to evolve and create new structures by self-organization [Maturana 2007] and autopoiesis [Varela 1999], such systems therefore modify themselves. Prigogine showed that, under certain conditions, by moving away from its point of equilibrium, a system does not necessarily go towards its disappearance, but towards a new state of equilibrium. Extreme situations harbor the possibility of creating a new structure where there was only chaos Prigogine we will then speak of emergence and complexity.

Notes

Les réseaux neuronaux
La première cybernétique
La seconde cybernétique

Les réseaux neuronaux

L´idée de neurone artificiel date de 1943 avec les travaux de McCulloch et Pitts, puis ceux de David Rumelhart qui appliqua en 1986 l´algorithme de la rétropropagation de l´erreur [Abdi 1994] publié par Linnainmaa en 1970, puis ils ont été développés par Paul Werbos en 1974 qui devait populariser le « deep learning ». Il s´agit d´une méthode d´apprentissage supervisé sur des réseaux neuronaux de type perceptron à couches représentant très imparfaitement la réalité des systèmes nerveux qui sont massivement réentrants (condition essentielle, selon Edelman, de l´apparition de la conscience). D´autre part la supervision renvoie à la notion de professeur sachant très éloignée de la philosophie du connexionnisme. Dans un avenir (proche ou lointain), lorsque l´humanité décidera de visiter des galaxies éloignées d´années-lumière, de siècles-lumière ou de millénaires-lumière, il ne sera probablement pas question d´y envoyer des humains, mais plutôt des robots, qui devront s´adapter à des mondes sur lesquels aucun professeur n´aura pu les instruire, il faudra bien alors que leurs réseaux s’entraînent de façon non supervisée.

La première cybernétique

a pu être définie comme la science du contrôle des systèmes, vivants ou artificiels, fondée en 1948 par le mathématicien américain Norbert Wiener. Elle explique comment un système maintient l´homéostasie par une auto régulation (boucle de rétroaction).

La seconde cybernétique

Alors que la première cybernétique était celle des systèmes observés, Heinz von Foerster considère une seconde cybernétique, qui est celle des systèmes observant, pouvant évoluer et créer de nouvelles structures par auto-organisation [Maturana 2007] et autopoïèse [Varela 1999], de tels systèmes se modifient donc eux-mêmes. Prigogine a montré que, dans certaines conditions, en s’éloignant de son point d’équilibre, un système ne va pas nécessairement vers sa disparition, mais vers un nouvel état d’équilibre. Les situations extrêmes recèlent la possibilité de créer une nouvelle structure là où il n’y avait que du chaos [Prigogine-1993] on parlera alors d´émergence et de complexité.