Chorégraphie interactive

Michel BRET, professeur émérite, A.T.I., Université PARIS8
Ateliers Réseaux Arts Numériques,LIMSI-CNRS, février 2008



Mots clés:

Art, conscience, émotion, interactivité, sentiment, vie artificielle.

1 Résumé

Les êtres vivants sont le siège d’émotion, véritables régulateurs homéostatiques de l’interaction avec leur environnement. Les sentiments, ou connaissance intérieure qu’ils ont de leurs émotions, peuvent avoir un impact sur leur comportement selon leur niveau de conscience.
Des organismes naturels ou artificiels très élémentaires (comme les insectes ou certains robots) peuvent avoir des émotions mais probablement pas de sentiments. Des organismes plus évolués (comme les humains ou, dans un avenir proche, certains systèmes artificiels) peuvent ressentir un état de sentiment et en avoir une représentation consciente. Damasio montre, avec son hypothèse du marqueur somatique, que l’émotion fait partie intégrante des procédures de raisonnement et de prise de décision , au même titre que l’intelligence et la conscience, elle vise à la survie de l’organisme et s’enracine dans la représentation du corps.
J’étudierai un système artificiel en interaction avec le monde physique, et capable d’éprouver des émotions. Il ne s’agit donc pas de copier ou de cloner le réel, mais bien de construire les conditions de l’émergence d’une conduite émotionnelle. En m’inspirant de la biologie des êtres vivant, des techniques connexionnistes (comme les réseaux neuronaux) et en utilisant les données obtenuse par la capturd ed signals physiologiques du LIMSI, je propose une nouvelle forme de chorégraphie interactive faisant référence à l’autonomie (comme critère de conduites émotionnelles et intelligentes aussi bien des êtres artificiels que naturels).
Pour être le siège d’émotions, des systèmes artificiels devront intégrer au moins la notion de proto soi, pour éprouver des sentiments ils devront en avoir une représentation, l’intelligence supposerait, quant à elle, une conscience étendue.

Introduction


Les émotions sont la manifestation visible de réactions innées d’un organisme en interaction avec son environnement, elles ont été retenues par l’évolution car elles contribuent, en tant que contrôle homéostatique, à la survie de l’organisme. Les sentiments, représentations intérieures des émotions, sont inconscients et hors langage. C’est avec la représentation de l’interaction et des modifications subies par l’organisme qu’émerge un sentiment de connaître, début d’une conscience.
L’étude des émotions artificielles suppose d’abord la notion d’interaction (entre un être artificielle et un environnement réel ou simulé), et ensuite la possibilité de la représenter de façon interne. J’ai choisi les réseaux neuronaux, d’abord pour leur puissance de traitement de flux d’informations floues et non verbales, ensuite pour leur structure de circuits massivement connectés réentrants et, enfin, pour leur qualité de mémoire associative. Je mettrai en scène des danseurs de synthèse manifestant, par leur attitude corporelle et leurs expressions, des émotions artificielles suscitées par la musique et/ou une interactivité gestuelle.

1 Emotions, sentiments et conscience

Le terme émotion, du latin « motio », signifie mouvement et trouble. Les émotions sont des régulateurs tendant à maintenir en vie l’organisme qui les manifeste, ce sont des réponses innées, apparaissant sans délibération consciente, formant une configuration neuronale (cartographies du premier ordre) et utilisant le corps comme théâtre. Elles font partie des dispositifs biorégulateurs de survie (régulations homéostasiques construites sur l’opposition avantage-désavantage personnel, récompense-punition). Leur fonction biologique est une réaction spécifique (courir ou se figer devant le danger) et aussi une préparation à cette réaction (augmenter le flux sanguin dans les muscles pour la fuite). Les réponses constituant des émotions peuvent être par exemple l’activation des muscles du visage modifiant l’expression, la peau qui pâlit ou qui rougit, des postures corporelles signifiant la joie, la colère, la peur, la surprise.
On distingue les émotions primaires (bonheur, tristesse, peur, colère, surprise et dégoût), les émotions secondaires ou sociales (embarras, jalousie, culpabilité, orgueil) et les émotions d’arrière-plan (bien-être, malaise, calme, tension).
Les organismes équipés pour sentir les émotions ont des sentiments. Alors que les émotions sont des manifestations publiques, dirigées vers l’extérieur, les sentiments ne sont éprouvés que par l’être qui en est le siège, ils sont privés et dirigés vers l’intérieur. Un état de sentiment, représenté de façon non consciente (cartographies du second ordre), est l’expérience mentale et privée d’une émotion.
Les organismes équipés d’une conscience sont capables de savoir qu’ils ont des sentiments et peuvent répondre de façon adaptée en modifiant leur comportement. La conscience, comme l’émotion, vise à la survie de l’organisme et s’enracine dans la représentation du corps. La conscience peut se voir comme le fonctionnement du triplet organisme-environnement-interaction, c’est la connaissance construite d’une part sur la relation de l’organisme à son environnement et, d’autre part, sur les changements provoqués dans l’organisme, sous forme de configurations neuronales.
Damasio a montré, avec son hypothèse du marqueur somatique [1], que des individus, entièrement rationnels jusqu’à ce que survienne une lésion neurologique dans des régions cérébrales contrôlant l’émotion, perdent alors, non seulement l’émotion, mais encore leur capacité à prendre des décisions rationnelles. Ainsi l’émotion fait partie intégrante des procédures de raisonnement et de prise de décision. Le raisonnement est affecté, de façon non consciente ou consciente, par des signaux provenant des réseaux neuronaux régissant l’émotion. L’émotion aide le raisonnement et son contrôle sélectif, autant que son excès, perturbe la rationalité.
Nous retiendrons plusieurs niveaux d’évolution d’un organisme:
Le proto soi, basique, siège d´émotions donnant lieu à des représentations neuronales du premier ordre (sous forme de cartographies) de la perception non consciente qu’il a de lui-même et de son environnement.
La conscience noyau , donnant lieu à des cartographies du second ordre, véritables re-représentations des modifications subies par le proto soi lors de l’interaction de l’organisme avec son environnement. Elle ne nécessite qu’une mémoire a cours terme de faible capacité et ne suppose ni le langage ni des processus d’apprentissage.
Les apprentissages inscrivent leur histoire dans une mémoire autobiographique. L’évocation de souvenirs réveille des images mentales (configurations neuronales) pouvant être perçues, au même titre que des objets réels, et donner lieu à des émotions, générant des sentiments, eux-même pouvant modifier la mémoire autobiographique.
La conscience étendue traite les souvenirs comme des objets, elle suppose l’apprentissage stocké dans la mémoire autobiographique et le rappel simultané de nombreuses images mentales. Elle est la condition de l’intelligence qui manipule abstraitement des connaissances afin de pouvoir élaborer de nouvelles réponses, grâce, en particulier, au langage.
La synthèse d’émotions artificielles ne suppose finalement que l’existence d’un proto soi artificiel, ce que les réseaux neuronaux permettent assez facilement de construire. Par contre, si on veut lier l’émotion à des comportements intelligents, il faudra définir différents niveaux de conscience, depuis la conscience noyau permettant les sentiments jusqu’à la conscience étendu, condition de l’intelligence, et il s’agit là d’une tâche autrement difficile.

2 La seconde interactivité

Avec Edmond Couchot et Marie-Hélène Tramus nous distinguons plusieurs types d’interactivité:
La « première interactivité », ou interactivité de commande, qui est celle de la simple boucle rétroactive de la cybernétique à la base de la plupart des systèmes interactifs se limitant au contrôle homéostatique, ce qui correspond au proto soi.
Puis la « seconde interactivité » (par analogie avec la seconde cybernétique), ou « interactivité intelligente », qui apparaît dès lors que le système qui la produit est capable de se modifier lui-même au cours d’un apprentissage par lequel il interagit avec son environnement afin de s’y adapter, ce qui correspond à la conscience noyau.
On pourrait même parler d’une « troisième interactivité » qui intégrerait la notion de mémoire autobiographique dont l’activation pourrait faire surgir des souvenirs pouvant jouer le rôle d’objets. L’être artificiel serait ainsi amené à penser et à rêver. La porte est ouverte pour une étude du fonctionnement, et des dysfonctionnement possibles, de la pensée artificielle.

3 Expérimentations

3-1 Chorégraphie interactive

A la suite de Karl Sims [3], Van de Panne et Fiume [4], j’ai construit des systèmes interactifs [5] évolutifs capables d’éprouver des émotions et de manifester des comportements intelligents proches du vivant, l’un d’eux a été utilisé dans l’installation interactive « La Funambule Virtuelle » [6] que j’avais réalisé en 2000 avec Marie-Hélène Tramus.
Je me propose aujourd’hui d’appliquer ces idées à la danse en confrontant plusieurs systèmes : Un ballet de danseurs réels, un autre de danseurs virtuels, tout deux en interaction entre eux et avec un environnement scénique, musical et public.
1) Le ballet de danseurs réels
Leurs émotions seront captées et transmises au système artificiel. Ils verront, en retour, les émotions manifestées par les danseurs artificiels.
2) Le ballet de danseurs artificiels
Leurs réseaux neuronaux reçoivent, en entrée, les émotions captées sur les danseurs réels, ils produisent en sortie une gestuelle, manifestation d’une émotion artificielle.
3) L’environnement scénique
Les danseurs réels interagissent entre eux, suivent une musique, sont sensibles aux réactions du publique, il en est de même des danseurs artificiels. On peut aussi envisager que la musique soit générée dynamiquement en interaction avec les deux ballets. L’ensemble forme un système complexe, autonome, évolutif et interactif.

3-2 Danseurs artificiels

Il s’agit d’organismes artificiels comportant:

3-2-1 Un corps

Sous la forme de modèles dynamiques inspirés de la biomécanique des êtres vivants, plongé dans un environnement à la fois artificiel (simulation de contraintes) et réel (interactivité) (figures 1 à 3).


Fig 1,2 et 3 : Squelette, muscles et peau

3-2-2 Un "cerveau"

Sous la forme de réseaux neuronaux [7] dont les entrées sont connectées aux sorties des capteurs virtuels (centrale inertielle située dans la tête, sensations kinesthésiques, détecteurs de contact) le renseignant sur l’état physique du corps, ainsi qu’aux sorties de capteurs réels (micros, webcam, capteurs de mouvement et de pression, capteurs biométriques…) le renseignant sur l’état de l’environnement interactif.
La figure 4 montre un signal biométrique mappé sur la couche d’entrée (en rouge) du réseau dont l’activité est passée à la couche cachée (en rose), puis à la couche de sortie constituée de neurones moteurs (en blanc) dont l’activité agit sur le système musculaire provoquant les mouvements de l’acteur virtuel.


Fig 4: Activation des muscles par un réseau neuronal

3-2-3 De procédures d’apprentissages supervisés

Lui permettant, au cours de l’interaction, de se construire une mémoire autobiographique de comportements.
Dans cet exemple un signal sinusoïdal a été généré pour des raisons purement didactiques.
La figure 5 montre l’acquisition d’un couple d’apprentissage, l’entrée est une fenêtre encadrant une portion basse du signal et la sortie qui lui est associée est une position accroupie du corps.
La figure 6 montre l’acquisition d’un autre couple d’apprentissage, l’entrée est une fenêtre encadrant une portion haute du signal et la sortie qui lui est associée est une position en extension du corps.
Sur les figures 7 et 8 on peut voir la progression de l’algorithme d’apprentissage (par rétropropagation de l’erreur), l’ erreur (courbe jaune) est de 30% après 9 essais et tombe à 0.03807 après 54 essais.
La figure 9 montre le réseau délivrant une position proche de la sortie de l’apprentissages 6 pour une fenêtre proche de l’entrée de cet apprentissage.
Enfin la figure 10 montre le réseau en action (lorsque la fenêtre d’entrée parcourt le fichier de données) en proposant des positions du corps cohérentes bien que non apprises (propriété de généralisation des réseaux neuronaux).


Fig 5: Acquisition d’un couple d’apprentissage (position basse)


Fig 6: Acquisition d’un couple d’apprentissage (position haute)


Fig 7: Erreur de 30% après 9 essais


Fig 8: Erreur de 0.03807 après 54 essais


Fig 9: Interprétation d´une entrée non apprise


Fig 10: Réseau neuronal en action

3-2-4 De procédures d’apprentissages non supervisés

D’autres apprentissages que supervisés peuvent être envisagés, j’ai développé ailleurs une méthode basée sur la cohérence de flux donnant une complète autonomie au système qui détecte tout seul les régularités de son environnement et s’autoconfigure en conséquence [8]. La figure 11 montre:
En haut (en vert), le flux d´entrée de la webcam dans la mémoire de travail (25 images soit une seconde).
En dessous (en rouge), le flux de sortie, d´abord arbitraire, puis qui se cale sur le flux d´entrée à mesure que les poids synaptiques sont corrigés.
Encore en dessous le réseau complètement connecté avec sa couche d’entrée (en bleu) projection de la rétine artificielle, sa couche de sortie (en rouge) connectée au système musculaire, et sa matrice des poids synaptiques (ici complètement occupée).
On peut voir à droite la courbe d’erreur (en jaune) mesurant la cohérence des deux flux.



Fig 11: Apprentissage non supervisé par la méthode de cohérence de flux.

Le système fonctionne de façon autonome, en l’absence de sollicitations extérieures, par l’évocation de souvenirs (lorsqu’ils sont connectés aux entrées des réseaux), et de façon interactive lorsqu’il est mis en présence d’environnements variables. Ses prises de décision, c’est à dire ses comportements intelligents, évoluent au grès des expériences qu’il mène avec des partenaires vivants ou artificiels. De tels systèmes peuvent trouver des applications dans le domaine de la chorégraphie, du théâtre, du cirque et dans tous les arts accordant une certaine importance au corps. Le spectacle émerge de la confrontation d’acteurs vivants avec des acteurs artificiels, il ne sera donc pas écrit mais résultera des interaction multiples ayant lieu au cœur de ce système dynamique non linéaire.

3-3 Expérimentations


J’ai utilisé la vidéo des danseuses réelles dont la performance a donnée lieu aux captures de données biométriques réalisées au LIMSI en janvier 2008 pour construire un ensemble de couples d’apprentissages constitué:
1) De fenêtres dans le fichier de capture encadrant des formes remarquables du signal.
2) De positions du corps inspirées de la vidéo.


La figure 12 montre le signal biométrique (jaune en haut de l’écran), le réseau (à gauche) et la danse virtuelle exécutée qui en résulte.



Fig 12: Danse virtuelle à partir d´un signal biométrique.

Avec plusieurs danseuses virtuelles mues par la méthode expliquée ci dessus et en interaction les unes avec les autres, on dispose de l’amorce d’une chorégraphie interactive utilisant la capture d’émotion (voir figures 13 à 17).











Fig 13 à 17: Plusieures danseuses.

Conclusion

Je pense avoir montré que la synthèse d’émotions artificielles ne saurait se limiter à la simple simulation d’émotions naturelles et qu’elle nécessite la construction d’organismes artificiels capables de représenter, de façon non verbale (donc par d’autres moyens que la programmation classique), la perception qu’ils ont de leur environnement et de l’action qu’ils exercent en retour sur lui. Les comportements rationnels et intelligents, les prises de décisions, qui dépendent des émotions, devront nécessairement s’appuyer sur cette base émotionnelle.

Bibliographie

[1] Antonio R.Damasio, Le sentiment même de soi, corps, émotions, conscience, Ed Odile Jacob, 1999.
[2] Edmond Couchot, Marie-Hélène Tramus, Michel Bret A segunda interatividade. Em direção a novas praticas artisticas 2003 : In Arte vida no século XXI p.27, 38, Diana Domingues,Editora UNESP Saõ Paulo, Brasil.
[3] Karl Sims, Evolving Virtual Creatures, in Computer Graphics, 15-22, 1994.
Michiel Van de Panne, Eugène Fiume, Sensor-Actuator Networks, in Computer Graphics, 335-342, 1993.
[5] Michel Bret, Virtual Living Beings, in Lecture Notes in Artificial Intelligence, Virtula Worlds 119-134, Ed. Jean-Claude Heudin, Springer 2000.
[6] Michel Bret, Marie-Hélène Tramus, Alain Berthoz Interacting with an Intelligent Dancing Figure : Artistic Experiments at the Crossroads betweenAart and Cognitive Science, in Leonardo, Vol 38, N° 1, pp. 46-53, 2005.
7] Hervé Abdi: Les réseaux de neurones, Presses Universitaires de Grenoble 1994.
[8] Michel Bret, Création, émergence, autonomie, in Rencontres sur la Réalité virtuelle et les Arts Numériques, Centre des Art d’Enghien, Université Paris8, mars 2007 .