Adaptation d’un système artificiel à un environnement naturel

 

Michel Bret, professeur émérite des universités

ATI, université Paris 8

mars 2006

 

Colloque « Corps en mutation »
9-10-11 mars 2006
Université de Toulouse-le Mirail

 

Mots clés : interactivité, mimétisme, réseaux neuronaux, vie artificielle.

 

1 Résumé

 

            Les récentes avancées des neurosciences, de la robotique et des systèmes temps réel ont montrés la nouvelle importance prise par le concept d’interactivité avec le couple perception-action à l’œuvre aussi bien chez les organismes vivants que dans les systèmes artificiels construits sur des modèles biologiques. Le connexionnisme (avec les réseaux neuronaux) et l’évolutionnisme (avec les algorithmes génétiques et la programmation génétique) reposent le rapport du créateur avec son œuvre. Celle-ci, douée d’une perception et d’une action artificielles, fait preuve d’une véritable autonomie.

 

            A travers des expérimentations sur le mimétisme, je tenterai de montrer que des organismes artificiels sont capables de s’adapter spontanément à un environnement naturel imprévu comme peut l’être la disposition de la salle de conférence.

            Plus précisément un acteur de synthèse sera construit interactivement sous la forme d’un corps anthropomorphe situé dans un environnement simulé obéissant aux lois de la physique. Il ne s’agit ni d’un clone ni d’un robot, mais d’un organisme hybride, entre le vivant et l’artificiel, muni d’organes de perception, d’organes moteurs et d’un système nerveux central. Le but de l’expérimentation sera de montrer que, grâce à la plasticité des réseaux neuronaux, l’acteur peut se modifier et s’auto organiser, afin de remplir une fonction de mimétisme. Il s’agit bien là d’une mutation du corps artificiel qui quitte les méthodes de synthèse des sciences « dures » (mathématiques et physique) pour prendre ses modèles dans le domaine de la biologie et plus particulièrement de la génétique.

Le système perceptif sera construit en connectant une webcam (considérée comme un « œil ») à une rétine artificielle (l’image mémoire de la caméra). Cette rétine sera ensuite connectée à la couche d’entrée d’un réseau neuronal, l’activation qui en résulte se propage (sous forme d’influx nerveux) alors à travers les synapses des neurones constituant les différentes couches cachées (sorte de « cortex ») pour finalement atteindre la couche de sortie constituée de neurones moteurs. Ceux-ci sont alors connectés au système musculaire de l’acteur artificiel qui se met à bouger en fonction des informations lumineuses qu’il reçoit sur sa rétine.

            Ayant constaté que ces mouvements sont désordonnés, la deuxième partie de l’expérience consistera à « apprendre » au réseau à imiter des gestes qu’on lui montre. Pour cela on mémorise des « couples d’apprentissage » sous la forme d’une position montrée (devant la caméra) et d’une position interprétée (par l’acteur artificiel), puis on lance un apprentissage (en utilisant l’algorithme de la rétropropagation de l’erreur) qui aura pour but de modifier les valeurs des synapses afin que les positions interprétées correspondent le mieux possible aux positions montrées. A l’issu de cet apprentissage, non seulement l’acteur est capable d’exécuter correctement les positions montrées, mais il est en outre capable de donner des interprétations cohérentes de gestes qu’on ne lui a pas appris (propriété de généralisation des réseaux neuronaux).

            Une deuxième expérimentation sera tentée qui consiste à saisir, non plus des positions arrêtées, mais des séquences de mouvements continus.

            Les applications d’un tel système à la chorégraphie, au théâtre, au cirque ainsi qu’a tous les arts vivants seront soulignées.

 

            Enfin des systèmes préalablement entraînés à interpréter de la musique seront montrés sous forme d’installations interactives crées par l’auteur.

 

2 Introduction

 

            Avec le concept de « seconde interactivité » nous avons introduit, Marie-Hélène Tramus, Edmond Couchot et moi-même, la notion d’autonomie dans les œuvres interactives[1]. L’interactivité n’est plus une simple commande (fut-elle doublée d’une homéostasie par feed back), mais devient dialogue avec un être artificiel doué de comportements caractérisant le vivant, il est en particulier libre dans le sens que ses actions n’ont pas été prédéfinies mais qu’elles émergent lors d’apprentissages au cours des quels il se construit une sorte de mémoire procédurale.

            Le problème du corps dans l’art  n’est pas seulement celui de sa représentation mais encore, et surtout, celui de sa création : Pygmalion et la statuaire, la peinture et l’émotion, le cinéma et le mouvement, la danse et l’expression et, plus récemment, le numérique et la synthèse de corps artificiels. La nouvelle liberté acquise par ce corps, du fait des modèles biologiques utilisés, son autonomie, reposent en termes nouveaux les rapports du créateur à son œuvre : Le seul contrôle démiurgique cède la place à un dialogue complexe et évolutif entre les artistes, les technologies, les machines, la société et des réalisations quasi vivantes.

 

3 Construction d’un acteur autonome

 

3-1 Construction d’un corps

 

Un corps sera défini par différentes structures[2]  (voir figure 1) :

Un squelette, structure articulée d’éléments déformables dont les jonctions sont variables.

Un système musculaire constitué de muscles dynamiques (ressorts) attachés aux os du squelette et dont les contractions font tourner les os autour de leurs attaches.

Des organes (ventre, seins, visage, etc.)

Une peau, surface dynamique souple épousant la forme extérieure des deux structures précédentes et seul élément affiché, bien que sa forme dépende entièrement de ces structures.

Des vêtements contraints par le corps et modélisés sous forme de surfaces dynamiques en collision avec la peau.

Ce corps est en interaction avec un environnement simulé et obéit aux lois de la physique : Chacun de ses éléments est muni de paramètres dynamiques (masse, couples, forces, …) et est soumis à des champs de forces (pesanteur, chocs avec des obstacles, …). Cette interaction suppose que le corps perçoive son environnement et donc qu’il soit muni d’organes des sens modélisés sous forme de capteurs.

 

 

Figure 1 : Squelette, muscles et peau

 

3-2 Construction d’un système perceptif

 

Le corps capte des informations en provenance de son environnement au moyen de capteurs :

Des capteurs physiques lisant l’environnement réel et placés, par exemple, sur les corps d’expérimentateurs ou sur des dispositifs scéniques (instruments de musique, parties du décor).

Des capteurs virtuels lisant l’environnement simulé et détectant par exemple la configuration de l’acteur virtuel par rapport à cet environnement (parties du corps en contact avec le sol ou avec d’autres obstacles) ou par rapport à lui-même (angles des membres les uns par rapport aux autres).

Les informations délivrées par ces capteurs sont envoyées à des neurones artificiels sensitifs constituant les entrées de réseaux neuronaux.

 

3-3 Construction d’un système nerveux central

 

         Ces réseaux neuronaux constituent un système nerveux central. La question de leur construction peut relever de l’évolution phylogénétique d’une population de tels systèmes se croisant et mutant en optimisant certaines fonctions de survie (programmation par algorithmes génétiques)[3] [4]. Leur structure génotypique étant constituée, la question de leur évolution ontogénétique relève de méthodes issues du connexionnisme visant à l’adaptation automatique de leurs configurations synaptiques par apprentissages interactifs : Des expériences leur sont proposées au cours desquelles les matrices des poids synaptiques sont modifiées par des algorithmes dépendant du type des réseaux. Pour des apprentissages supervisés sur des réseaux à couches on utilisera l’algorithme de la « rétropropagation de l’erreur »[5], pour des apprentissages non supervisés on pourra utiliser des réseaux de Kohonen[6].

 

3-4 Connexions

 

         Dans cette expérimentation une caméra (webcam) joue le rôle d’œil physique, son image en mémoire tenant lieu de rétine artificielle. Les pixels de cette image se projettent sur la couche d’entrée d’un réseau neuronal dont l’activation est passée, via des synapses, aux couches cachées et, de proche en proche, à la couche de sortie. Les neurones de cette dernière couche sont des neurones moteurs connectés au système musculaire de l’acteur virtuel.

La figure 2 montre, en bas et à gauche, la rétine artificielle regardant une barre lumineuse horizontale, on peut voir l’activation de la couche d’entrée (en rouge) et la circulation de l’influx nerveux (sous forme de petits segments blancs joignant les neurones) modulé par les poids synaptiques (mémorisés dans une matrice). Cette activation circule dans le réseau et se retrouve en sortie (neurones blancs) pour aller solliciter les muscles du personnage qui se trouve dans une position pour le moins improbable. Ce schéma, qui est celui de la perception action, anime l’acteur en fonction d’informations en provenance de l’environnement.

            Bien entendu la matrice des connexions ayant été initialisée aléatoirement, le comportement du personnage est complètement arbitraire. Le but de cette expérimentation est justement de montrer qu’il est possible, grâce à la plasticité des réseaux neuronaux, de modifier interactivement les poids synaptiques de façon à générer automatiquement certains comportements, par exemple de mimétisme.

 

Figure 2 : Le schéma perception action

 

4 Mimétisme par apprentissage

 

4-1 Construction de couples d’apprentissage

 

         Dans une première phase construisons des couples d’apprentissages sous la forme :

            D’une image rétinienne obtenue en photographiant un acteur réel montrant une certaine position.

            Et de l’imitation de cette position par le personnage virtuel obtenue en mémorisant les activations des neurones moteurs la provoquant.

            Un certains nombre de couples sont ainsi constitués. La figure 3 montre une saisie, on voit (en bas et à gauche) l’image rétinienne, le personnage imitant cette image (à droite) et la mémorisation du couple (l’entrée étant la petite photo en haut à gauche, et la sortie étant le petit rectangle rouge symbolisant l’activation des neurones moteurs).

 

 

 

Figure 3 : Saisie d’un couple d’apprentissage

 

4-2 Apprentissage

 

Dans une deuxième phase, dite d’apprentissage, les couples sont présentés successivement au réseau. Une sortie calculée résulte de l’activation due à une image rétinienne, la différence entre cette sortie et la position souhaitée peut être considérée comme une erreur qui est utilisée pour corriger les poids synaptiques, d’abord sur la sortie puis, de proche en proche, sur les couches cachées et sur l’entrée (d’où le nom de rétropropagation de l’algorithme). Lorsque toutes les erreurs tombent en dessous d’un seuil donné l’apprentissage a réussi. La figure 4 représente cette phase d’apprentissage : La courbe jaune (à droite) donne l’erreur commise par le réseau , on voit qu’elle diminue et tend vers zéro (après 116 essais elle est inférieure à 4%).

Dans une troisième phase le réseau est mis en présence d’entrées rétiniennes qui l’activent en utilisant la matrice corrigée dans la phase d’apprentissage. On constate que, non seulement les positions montrées sont correctement imitées, mais encore que des positione non apprises donnent lieu à des interprétations cohérentes, on dit que le réseau généralise. Plus précisément le réseau répond correctement dans des ensembles englobant l’ensemble d’apprentissage, pourvu que ce dernier soit constitué d’échantillons significatifs du premier. Cette propriété de généralisation des réseaux neuronaux donne lieu à des comportements mimétiques de type improvisation.

 

 

Figure 4 : Courbe d’erreur de l’pprentissage

 

4-3 Imiter n’est pas copier

 

         Mais imiter n’est pas copier. Pour s’en convaincre fournissons au réseau des couples d’apprentissage pour lesquels la sortie est arbitraire, par exemple demandons au personnage virtuel de se baisser quand on lui montre une position debout et de se redresser quand on lui montre une position accroupie. L’apprentissage fonctionne exactement de la même manière ainsi que la généralisation.

            On peut très bien, par exemple, filmer des danseurs réels en entrée, et générer des mouvements synthétisés en sortie, puis faire interagir ces danseurs avec des danseurs artificiels ainsi éduqués.

            Les applications d’un tel système à la chorégraphie, au théâtre, au cirque ainsi qu’a tous les arts vivants sont évidentes.

 

 

4-4 Saisie continue

 

En augmentant la fréquence des saisies, on remplace la prise de photos de positions statiques par un filmage. La figure 5 montre un tel processus.

 

 

Figure 5 : Saisie continue

 

 

4 Interprétation de musique

 

Sur ce principe j’ai développé un système d’interprétation de la musique par des acteurs virtuels. Les entrées des réseaux neuronaux sont connectées à une analyse du signal audio ainsi qu’aux capteurs virtuels (voir paragraphe 3-2), les sorties étant connectées au système musculaire (voir figure 6) ou à un générateur de paramètres (dans le cas d’images abstraites, voir sur la figure 7 des fractales générés en temps réel).

L’analyse du signal audio permet de détecter la rythmique, tandis qu’une transformée de Fourier donne des informations de fréquences.

 

 

Figure 7 : Danse neuronale

 

 

Figure 8 : Fractales temps réel

 

5 Conclusion

 

            De la même façon que le dualisme cartésien du corps et de l’esprit est dépassé par le concept d’un « corps-cerveau » interagissant avec son environnement et tirant ses capacités les plus évoluées de cette interaction même, la problématique du corps dans l’art se pose en de nouveaux termes dépassant la simple représentation en intégrant l’action liée à la perception par l’interactivité. La nouvelle liberté acquise par ce corps, du fait des modèles biologiques utilisés, son autonomie, recentrent les rapports du créateur à son œuvre : Le seul contrôle démiurgique cède la place à un dialogue complexe et évolutif entre les artistes, les technologies, les machines, la société et des réalisations quasi vivantes.

 



[1] M.-H. Tramus, M. Bret, E. Couchot , La seconde interactivité, in Arte e vida no século XXI, Organizadora Diana Domongues, UNESP, Brasil (2003).

 

[2] Michel Bret: Virtual Living Beings, in Lecture Notes in Artificial Intelligence 1834: Virtula Worlds 119-134, Ed. Jean-Claude Heudin, Springer 2000.

[3] J.H. Holland, Adaptation in natural and artificial systems, Ann Arbor: The University of Michigan Press, 1975.

[4] David E. Goldberg, Algorithmes génétiques, Addison-Wesley 1991

[5] Hervé Abdi, Les réseaux de neurones, Presses Universitaires de Grenoble 1994

[6] T. Kohnen, Self-Organization and Associative Memory, Springer-Verlag 1984