Département des Sciences

Interaction avec un danseur virtuel intelligent :

Expérimentations artistiques entre art et sciences cognitives

Michel Bret, professeur émérite des universités

michel-bret@wanadoo.fr

Marie Hélène Tramus, professeur en Art et Technologie de l’Image à l’Université Paris8

mh.tramus@club-internet.fr

Alain Berthoz, neurophysiologiste, professeur au Collège de France

alain.berthoz@college-de-france.fr

Article paru dans Leonardo Vol 38, N°1, pp 47-54, 2005

Résumé

Cet article relate la collaboration entre un neurophysiologue et deux artistes du computer art qui s’est effectuée dans le cadre d’une recherche et d’une expérimentation artistique à la frontière de l’art et des sciences cognitives sur les acteurs virtuels interactifs. Cette recherche, intitulée L’interactivité « intelligente » (connexionnisme, évolutionnisme et vie artificielle) dans les arts numériques en relation avec la physiologie de la perception du mouvement et de l’action, a été soutenue par le Programme Cognitique 2000 sur le thème Art et Cognition à l’initiative du Ministère de la Recherche français.

Mots-clefs

Art numérique, perception du mouvement,

interactivité, connexionnisme, évolutionnisme, vie artificielle.

Introduction

L’interactivité a introduit une certaine forme de sensorialité dans les arts, surtout pensée du côté du spectateur. Nous faisons l’hypothèse que cette sensorialité se pense également du côté de l’œuvre elle-même en dotant celle-ci de ses propres perceptions. Ainsi serait posée l’une des questions les plus actuelles dans les arts numériques : celle des relations entre les « perceptions-mouvements-actions » naturels et artificiels. Nous étudions et expérimentons ces relations en nous appuyant sur les recherches qui sont menées dans le domaine de la perception du mouvement et de l’action, dans celui du connexionnisme, de l’évolutionnisme et de la vie artificielle.

L’un de nos objectifs est de créer des installations artistiques mettant en scène des acteurs virtuels dotés de perceptions artificielles leur permettant de réagir de façon autonome aux sollicitations d’un spectateur, offrant ainsi aux arts et aux sciences cognitives un champ inédit d’expérimentation du virtuel.

1 La seconde interactivité

1.1 Etat de l’art

Notre propos se situe dans le contexte des arts interactifs en relation avec la vie artificielle et dans le champ des recherches que nous présentons brièvement et de façon non exhaustive afin de donner un ensemble de points de repères.

Flavio Sparacino [1] distingue les systèmes simplement « réactifs » (dans lesquels les capteurs interprètent les actions des spectateurs sous forme de scripts qui mappent des réactions préalablement définies), les systèmes comportementaux (appliquant les recherches en intelligence artificielle comme par exemple les comportements de groupe introduits par Reynolds en 1987 [2]) et finalement les « systèmes autonomes », d’abord introduits par Brooks [3] dans le cas de la robotique, puis développés par Maes [4] [5] et dont Karl Sims [6][7] a donné les premières applications artistiques. Blumberg [8][9] construisit un modèle général pour la perception et la sélection de l’action en temps réel. Il élabora le modèle d’un chien capable d’interagir avec des êtres humains aussi bien qu’avec d’autres acteurs virtuels sur le mode comportemental. Avec le “Neuro-Animator”[10], Terzopoulos ouvre une nouvelle approche afin de créer des animations physiquement réalistes en exploitant les propriétés des réseaux neuronaux entraînés off_line pour imiter la dynamique des modèles physiques en mouvement. CML (“Cognitive Modelling Language”) [11] montre des modèles comportementaux contrôlant ce qu’un acteur connaît, comment il ou elle acquière cette connaissance et comment il ou elle en use afin de planifier ses actions.

Selon Jean-Arcady Meyer [12][13] l’approche animat postule qu’il est possible d’étudier la cognition humaine par une approche “ bottom-up » procédant par une architecture de contrôle minimum dans un environnement simple et en le complexifiant graduellement. La robotique évolutionniste applique les lois de la génétique et de la sélection naturelle pour encoder le phénotype d’un robot dans son génotype, le robot est ensuite soumis à un processus artificiel de sélection naturelle en utilisant les algorithmes génétiques [14][15] et la programmation génétique [16].

Une importante recherche a été faite dans le domaine de la “cyberdance”. Citons parmi les plus importantes Merce Cunningham utilisant le programme Life Forms de Tom Calvert’s[17][18] , Nadia Magnenat Thalman [19][20] qui réalisa des performances en mettant en scène des acteurs virtuels avec des acteurs réels.

Dans son spectacle, DanceSpace, Flavia Sparacino [1] génère en temps réel musique et images à partir des mouvements des danseurs. Elle a aussi appliquée cette approche au théâtre dans TheaterSpace.

Dans le domaine du théâtre , Jean Lambert-Wi’s utilise le système Daedalus créant des organismes artificiels à partir de données en provenance du stress et de l’émotion des acteurs (Fourth Art and Technology Festival, Espace Jean Legendre, Lyon, 2001).

Nous nous positionnons dans le courant inspiré du connexionnisme, d’abord exploité par Van de Panne, Fiume[21] et Karl Sims[6], en appliquant ses résultats à des figures animées devant s’adapter à un environnement inconnu et en évolution [22].

1.2 Pensée du corps

Les recherches actuelles menées sur les acteurs virtuels s’inscrivent dans s’éloignent d’une interactivité de commande (ou « première interactivité ») en

L’interactivité, qui est au cœur des recherches menées sur des acteurs virtuels, est aussi au cœur d’une réflexion qui refuse de s’en tenir à des usages trop simplistes la restreignant à un schéma action-réaction univoque tendant à évacuer l’ambiguïté, la polysémie, l’indétermination et l’ouverture à d’autres possibles. Cette approche de la création privilégie non pas la prédétermination de ce que sera l’œuvre par une maîtrise totale, mais plutôt ce qu’elle adviendra au cours du dialogue qui s’établira entre elle et le spectateur.

Pour cela, il s’agit de concevoir des acteurs virtuels qui ne se comportent pas comme des robots mécaniques, mais comme des êtres dotés de perceptions et d’autonomie d’action, objectif essentiel si l’on veut que le dialogue gestuel avec l’être virtuel soit riche, complexe, inattendu, et donne l’impression d’une relation vivante. Si, d’un certain côté, l’artiste perd une partie de la maîtrise sur son œuvre, d’un autre côté, il gagne la possibilité de sortir de lui-même, en laissant l’être virtuel le surprendre par sa capacité d’interaction autonome et évolutive et surprendre également le spectateur.

Afin d’aller dans la direction d’une interactivité que nous suggérons d’appeler « seconde interactivité » [22], mettant en jeu des relations à la fois plus complexes et plus « floues », se rapprochant de comportements humains intuitifs, nous avons choisi de nous appuyer sur des modèles issus des sciences cognitives et des sciences du vivant, notamment du connexionnisme, de la génétique et de la physiologie de la perception et de l’action.

Ces dispositifs interactifs sollicitent la participation du corps entier. Il y a là une nouvelle forme d’hybridation entre l’œuvre et le spectateur qui, loin d’égarer l’art vers une prétendue dématérialisation où le corps serait nié au profit de pures abstractions, s’ouvre vers d’autres horizons. L’attention portée à la corporéité reprend une place qu’elle avait en partie perdue dans un certain art contemporain.

Si l’œuvre induit des effets de sens, ces effets ne passent pas prioritairement par des jeux de symboles ou de langage, des concepts, mais par l’activation d’une forme de pensée souvent dépréciée ou méconnue : la pensée du corps. L’œuvre est alors tout entière contenue dans la suite des expériences perceptives singulières que vit et que peut revivre le spectateur au cours du dialogue. Elle n’existe qu’à la condition d’être fréquentée, explorée, éprouvée. Selon la formulation de Francisco Varela, elle est radicalement « expérientielle ». Elle est art du corps.

Ici le corps n´est pas seulement le corps propre, il est aussi dialogue avec un double possible ainsi créé, le « döppelganger » [24]. Mais ici le double est à la fois appel à s´y reconnaître et différent, autonome. De cette ambiguïté peut naître une émotion que l´œuvre d´art seule sait créer.

1.3 Autonomie

Selon Varela, l’autonoie signifie loi interne ( en relation avec l’auto generation, l’auto organisation et l’affirmation de l’identité), elle est opposée à l’allonomy (loi externe ou commande) [25].

Ce qui est en jeu ici dans ce dialogue avec les créatures virtuelles, c’est la question de leur autonomie, caractéristique essentielle de ces objets virtuels devenus automates. Cette autonomie est ce qui leur permet de se mouvoir et d’agir de façon indépendante et adaptée en fonction de la perception qu’ils ont de l’environnement, ici le spectateur, grâce à des capteurs sensoriels.

Cette logique de l’autonomie n’a cessé d’accompagner les développements aussi bien de l’intelligence artificielle et de la robotique classique que ceux de la vie artificielle, des « automates autoreproducteurs » jusqu’aux animats dont les comportements peuvent être générés, par exemple, par des algorithmes génétiques et/ou des réseaux neuronaux.

Si penser c’est calculer, il faut reconnaître que le calcul qui constitue notre pensée est différent de celui que met en œuvre l’unité arithmétique et logique d’un ordinateur » [26], ce qui incitera à se tourner vers la biologie [27] et les neurosciences les tenants de la pensée connexionniste tels que McCulloch et Pitts [28], Rosenblatt [29], puis Hopfield [30], McClelland et Rumelhart [31] et à s’inspirer de l’organisation des neurones dans le cerveau afin de développer des modèles de réseaux formels. La capacité d’apprentissage de ces réseaux qui leur confère la possibilité d’une action autonome est le résultat d’une émergence et non d’une préprogrammation. Ainsi dans le cas du modèle de réseaux de neurones : « le réseau doit organiser son calcul en comportement cohérent par rapport à l’environnement. On nomme émergent ce comportement global du réseau, composé du comportement individuel et local de ses neurones. Tout l’intérêt du connexionnisme provient du fait que le travail commun de neurones relativement simples peut produire un comportement émergent complexe, capable d’effectuer des calculs élaborés » [32]. C’est donc grâce aux relations qui lient les neurones entre eux qu’apparaissent ces propriétés dites émergentes, propriétés que ne possède pas individuellement chaque élément. L’approche connexionniste offre une direction possible, bien que pas la seule, pour l’art interactif expérimental, en donnant aux créatures virtuelles un certain degré d’autonomie grâce aux réseaux neuronaux générant des comportements imprévisibles et non programmés.

Cette approche globale à l’œuvre dans ces expérimentations artistiques s’inspire de conceptions actuelles sur le vivant, en particulier celles de neurophysiologistes pour qui « les propriétés les plus raffinées de la pensée et de la sensibilité humaine sont des processus dynamiques, des relations sans cesse changeantes et adaptatives entre le cerveau, le corps et l’environnement » [33] et pour qui le mouvement joue un rôle fondamental car coordonner des actions est bel et bien à l’origine des fonctions cognitives les plus élevées du cerveau. Parallèlement au plaidoyer pour la réintégration de l’action et du mouvement au cœur de l’étude du cerveau , ces installations manifestent aussi une volonté d’œuvrer pour un art numérique qui lui aussi s’ancre dans les sensations corporelles et le mouvement.

Récemment il a été proposé l´idée que la perception n´est pas seulement simulation, mais est aussi décision [34]. Elle gère l´ambiguïté et dans un mélange subtil de processus rigides et déterministes et d´une fluidité où l´aléatoire a sa place, l´émotion son rôle, elle permet la création de solutions et d´interprétations nouvelles.

Les réseaux de neurones, qui ont la capacité de s’autoconfigurer, nous ont paru propices à l’expérimentation des interactions « corps/cerveau/environnement » d’une créature virtuelle. Nous avons choisi dans une première approche d’utiliser les réseaux à couches cachées avec rétropropagation de l’erreur et à apprentissage supervisé [35], étant donné leur facilité d’implémentation. Ils sont très répandus, les algorithmes sont largement publiés et ils manifestent surtout une grande efficacité dans la résolution de certains problèmes à contraintes floues dont on ne connaît pas d’algorithmes de résolution. Toutefois, ils sont très éloignés des réalités neurobiologiques d’un cerveau.

Cette exploration des réseaux de neurones supervisés correspond à un moment donné de nos recherches. Mais nous expérimentons d’autres types de réseaux, comme les réseaux non supervisés de Kohonen [36] à apprentissage compétitif qui sont capables de discerner des régularités. Nous sommes également intéressés par d’autres paradigmes comme l’approche dynamique dans les recherches sur les animats [37, 38]. Autant de perspectives pour aller au-delà de « cet interstice ténu situé entre l’appris et l’adaptation ».

2 Des installations interactives « intelligentes »

L’exploration des possibilités d’une « interactivité gestuelle intelligente » entre des acteurs réels et virtuels dans les arts numériques, s’enrichit en la croisant avec d’autres approches : celles des sciences cognitives et en particulier celles qui s’attachent à une compréhension du mouvement, de la perception et de l’action et s’interrogent sur leurs relations avec l’émotion et l’expression, mais aussi celles des arts du mouvement, comme la danse, le théâtre, le cirque, pour qui le geste est la matière même de leur expression artistique.

2.1 Description des deux installations comportant un personnage virtuel interactif

Ce personnage virtuel obéit à des lois biomécaniques et il est doté de comportements réflexes qui le maintiennent en équilibre sur le sol. De plus, des réseaux neuronaux lui permettent de réagir aux mouvements du spectateur de façon « intelligente » [39].

Avec l’installation La funambule virtuelle [40] (figures 1 à 7), il est proposé au spectateur de devenir funambule. L’image de la funambule virtuelle est projetée sur un écran faisant face au spectateur tenant dans ses mains un balancier équipé d’un capteur de mouvement. Ce capteur transmet à l’ordinateur des informations de position et d’orientation interprétées en temps réel comme des forces agissant sur l’acteur dynamique de synthèse contrôlé par des réseaux neuronaux. La funambule n’est pas une copie du spectateur, mais un être artificiel sensible aux mouvements de ce dernier. Si le spectateur cherche à déséquilibrer la funambule, celle-ci tente de retrouver son équilibre en développant, en temps réel, des stratégies autonomes qui sont le résultat d’un apprentissage préalable. Le face-à-face entre les deux « acteurs » s’élabore alors autour d’un jeu d’équilibre et de déséquilibre.

Avec l’installation Danse avec moi (figures 8 et 9), il est proposé au spectateur d’interagir en temps réel avec, cette fois-ci, une danseuse virtuelle. Le spectateur interagit, au moyen d’un capteur de mouvement qu’il porte à la ceinture. Les variations de vitesse de déplacement du capteur sont interprétées par l’ordinateur comme des forces agissant sur un modèle de corps virtuel placé dans un champ de pesanteur et contraint par un sol qu’il ne peut traverser. Face au spectateur en mouvement la danseuse virtuelle improvise des pas de danse qui résultent d’un compromis entre les stratégies apprises de rééquilibrage, de danse et les gestes du spectateur.

D’une façon très élémentaire cette démarche tente d’aller au-delà du simple schéma : entrée de données interprétation. La perception n’est pas seulement une interprétation des messages sensoriels : elle est contrainte par l’action, elle est simulation interne de l’action, elle est jugement et prise de décision, elle est anticipation des conséquences de l’action. Le caractère prédictif de l’acte perceptif a été mis en avant dès les années 30. Ainsi pour P. Janet « l’acte qui est déclenché par la stimulation initiale ne s’adapte pas seulement à cette stimulation, mais s’adapte à des stimulations qui n’existent pas encore, mais qui ne surviendront que plus tard grâce à l’acte lui-même. Cette adaptation à un ensemble de stimulations futures et simplement possibles caractérise les conduites perceptives » [41].

Nous sommes très loin de ces formes complexes d’adaptation et d’anticipation avec les réseaux de neurones à couches. Toutefois, le personnage virtuel va lui aussi pouvoir ne pas seulement adapter son action à la stimulation initiale, mais il va aussi pouvoir s’adapter à « un ensemble de stimulations futures », cette adaptation étant représentée ici par les réponses gestuelles du personnage élaborées en temps réel au-delà des exemples appris.

2.2 Expérimentation avec des spectateurs, des acrobates, des danseurs : l’interactivité dans les installations artistiques à travers l’opposition interdépendance et autonomie

Grâce à l’expérience acquise à chaque exposition [42], en regardant les spectateurs agir, nous avons analysé peu à peu les problèmes posés par la relation entre les deux êtres, en particulier celui du difficile dosage entre l’autonomie et l’interdépendance.

Les réponses des réseaux, entraînés par un apprentissage préalable, sont modulées par l’intervention du spectateur via le capteur. Il y a donc un mixage entre les données résultant du réseau de neurones et celles issues du module d’interaction lié au capteur. Le dosage entre elles est essentiel car il doit permettre de faire agir ensemble l’être virtuel et l’être réel dans une relation complexe faite à la fois d’interdépendance et d’autonomie respective. Quand le spectateur bouge, il doit sentir par la vue et par le geste, non seulement son action sur le personnage et les réactions de celui-ci, mais aussi l’autonomie de ce dernier. Une trop grande autonomie de l’être virtuel rompt la relation, un trop grand contrôle du spectateur sur lui, vide cette relation de tout inattendu. Le spectateur expérimente par le mouvement, peu à peu, il découvre sa partenaire et ses actions imprévues, il s’adapte, il cherche, il invente, lui aussi une gestuelle.

Nous avons filmé quelques moments de ces différentes expositions. Nous y voyons des spectateurs attentifs qui prennent en main le balancier, regardent la funambule, se mettent à se mouvoir, hésitants. Certains calquent leurs actions sur ce que fait l’équilibriste, ils tentent de l’imiter pour devenir eux-mêmes funambules en refaisant les mêmes gestes dans un temps à peine décalé. Cela donne de belles images d’instants d’harmonie qui surprennent le spectateur dans cette quête du double. Cette configuration est différente des expériences de clones de synthèse habituels où ces derniers qui reproduisent fidèlement les gestes de la capture de mouvements à laquelle ils sont asservis. Mais cette quête mimétique du spectateur est vite déjouée par son action même d’imitation qui va au contraire produire le déséquilibre du personnage virtuel et donc la rupture de l’harmonie des mouvements. Le spectateur fait de nouvelles tentatives, et la succession de ces nouveaux essais créant des nouvelles similitudes de gestes et d’autres ruptures de déséquilibre, construit peu à peu une relation gestuelle originale. D’autres spectateurs se projettent dans la funambule comme dans un clone qui doit suivre leurs propres gestes : tentatives, échecs, nouveaux essais infructueux qui peuvent conduire à l’abandon d’une relation avec cet être désobéissant. D’autres simplement tentent l’aventure, ils expérimentent, bougent, manipulent le balancier, regardent les mouvements de la fildefériste et ainsi de façon assez spontanée par l’action, par le mouvement, ils découvrent et élaborent une relation avec l’être virtuel.

Une funambule expérimentée a pratiqué son art en interaction avec la danseuse de corde virtuelle. Il était très troublant de voir simultanément les gestes d’équilibre et de déséquilibre des deux acrobates réelle et virtuelle et de ressentir une similitude dans les gestes. Similitude par exemple des appuis prononcés des pieds pour retrouver l’équilibre, soit vers l’avant soit vers l’arrière, ou des mouvements de rééquilibrage du buste, mais aussi similitude dans la dynamique du mouvement à la recherche ou à la perte d’équilibre. Il était captivant de voir rire et s’exclamer la vraie funambule devant le spectacle de positions extravagantes de déséquilibre de la fildefériste de synthèse. Il était fascinant de voir la funambule réelle scruter la funambule virtuelle comme pour comprendre ses « intentions ».

Par ailleurs nous avons fait participer la danseuse virtuelle à une séance d’improvisation de danse et de musique réunissant plusieurs danseuses et danseurs et un groupe de musiciens. Un danseur a pris le parti de danser sans tenir compte de la danseuse virtuelle. Une danseuse s’est mise à jouer directement avec l’image projetée sur le mur. Une autre entamait une exploration gestuelle basée sur un aller-retour très subtil entre elle et la danseuse virtuelle : succession de petits mouvements des hanches, variations autour des ces déhanchements sur la musique. Une autre, encore, se lançait dans succession de sauts qui déclenchaient les sauts en réponse de l’être de synthèse, produisant un moment intense de dynamisme partagé.

À partir de ces différentes expériences, celles de la funambule ou de la danseuse virtuelle, il semble que l’œuvre émerge de ce réseau de relations faites de ces liens invisibles et singuliers qui se tissent entre l’être réel et l’être virtuel et remplissent le vide de cet « entre-deux » grâce aux interactions des corps se mouvant dans l’espace commun de l’installation.

2.3 Description technique [43]

Ces installations comportent quatre modules (figure 10):

Le module dynamique calcule les mouvements d´un corps soumis à différentes forces : pesanteur, réactions de l’environnement, contraintes biomécaniques, simulations de forces en provenance des capteurs et du module comportemental [44].

Le module comportemental simule les forces réflexes de rééquilibrage automatique et les forces engendrant les mouvements volontaires qui sont le résultat d’ordres donnés par le module connexionniste.

Le module connexionniste construit en temps réel des stratégies adaptatives grâce à un réseau neuronal dont les entrées sont connectées au module interactif et dont les sorties sont interprétées comme des projets gestuels. Les projets sont des ensembles de couples de force appliqués aux articulations du corps et transmis au module comportemental qui va effectuer un mouvement. Le réseau a été instruit par un ensemble d’expériences constituant un apprentissage.

Le module interactif gère les échanges entre le modèle et le monde extérieur. Ses entrées sont alimentées par les forces extérieures envoyées par le capteur de mouvement. Par ailleurs, ce module interactif gère les échanges entre le modèle et lui-même, car certaines entrées proviennent des forces internes, telles que les contraintes biomécaniques du corps virtuel.

Ainsi, tout projet produit par le module connexionniste est dynamiquement confronté aux réalités de l’interaction qui le modifie. Il peut même être interrompu à tout moment par un autre projet mieux adapté à une nouvelle situation.

2.4 Apprentissage

Nous avons programmé l’algorithme de la rétropropagation de l’erreur pour un apprentissage supervisé sur un réseau à couches. Un ensemble de couples d’apprentissages est présenté au réseau dont la matrice des connexions a été préalablement initialisée aléatoirement. Pour chaque entrée le réseau calcule une sortie différente en général de la sortie souhaitée. La différence entre ces deux sorties est utilisée pour corriger les poids des connexions de façon à minimiser cette erreur. De proche en proche, par une série d’essais erreurs, le réseau s’auto configure et apprend l’ensemble des exemples donnés. Si ce dernier est suffisamment représentatif des différentes situations auxquelles sera confronté l’acteur de synthèse, le réseau donne des réponses correctes même pour des exemples non appris.

Premièrement, dans le cas de la funambule nous entraînons celle-ci à se maintenir en équilibre sur son fil et dans le cas de la danseuse nous lui apprenons à effectuer des mouvements de danse. Deuxièmement, nous mettons ces êtres virtuels, ayant participé à cet apprentissage préalable, face à des spectateurs ou des danseurs ou encore des acrobates pour que naisse de ces rencontres une invention gestuelle faite d’interdépendance et d’autonomie.

Nous avons aussi implémenté une version temps réel de cette méthode en parallélisant le processus d’apprentissage et celui d’interaction. Il s´ensuit une interaction plus évoluée dans laquelle le spectateur peut constater, contrôler et tenter de modifier, ses propres actions sur le comportement de l’être virtuel.

Enfin, nous prévoyons l’utilisation d’autres types de réseaux, non supervisés ceux-ci, comme ceux de Kohonen. Ils devraient permettre que l’être virtuel découvre par lui-même les régularités de son environnement et les stratégies de comportements les mieux adaptés.

Cette interaction entre le spectateur et l’être artificiel doué d’une certaine autonomie et d’une certaine capacité d’invention gestuelle, crée une situation artistique inédite qui, tout en étant proche d’une situation réelle, reste imprévisible et qui voudrait susciter l’improvisation, l’invention, l’imagination, la surprise.

3. Intégration dans le modèle autonome d’éléments de la physiologie de la perception et de l’action

Cette partie décrit une intégration de quelques principes et lois naturelles du mouvement sur notre modèle de corps virtuel. Ils viennent moduler certains de ses comportements autonomes, à l’image du cerveau qui définit des stratégies mouvements afin de réduire le nombre de paramètres de contrôle. « Si l’on veut réhabiliter le corps dans la neurobiologie moderne, il faut retrouver les règles qui sous-tendent ses mouvements. Celles-ci ont été intuitivement comprises par les sculpteurs qui ont su rendre les mouvements du corps et leurs relations avec les émotions, comme par les acteurs de théâtre oriental. Ils nous enseignent que le mouvement s’exprime d’abord par la posture […] Ils nous enseignent aussi que la cinématique du mouvement est porteuse de sens, et que la trajectoire d’un doigt, le déplacement de la tête, le balancement du corps doivent répondre à des lois qui sont au carrefour de la mécanique et de la neurologie. Ils nous enseignent encore qu’un mouvement naturel est source de plaisir » [33].

3.1 À propos des réseaux neuronaux

Le réseau de neurones de l’acteur virtuel apprend à partir de quelques exemples correspondant à un échantillonnage de mouvements naturels saisis par les capteurs.

En remplaçant le réseau contrôlant les jambes par plusieurs réseaux ayant subi des apprentissages différents, le problème du choix du réseau à solliciter se posait : Dans un premier temps nous avons choisi le réseau dont la distance euclidienne de l´une de ses entrées d´apprentissage avec la position actuelle de l´acteur virtuel était minimum. Dans un deuxième temps, plutôt que de choisir un seul réseau, celui qui semblait le mieux adapté, nous avons opté pour une combinaison de réponses

Ainsi nous avons développé un environnement multiréseaux permettant de réaliser de telles combinaisons constituant une toute première approche du modèle de la sélection de l’action. Cette formulation est un début de réflexion et l’étude d’autres modes de sélection, modèle de sélection de l’action [34], sera un des sujets que nous comptons développer ultérieurement.

Par multiplexage des entrées, il est possible de contrôler le degré d’autonomie de l’acteur virtuel. Dans la même optique, nous avons simulé « une action dirigée vers un but » par une méthode proche de celle de la cinématique inverse utilisée en robotique.

3.2. À propos du rôle de la tête et du regard

Dans notre installation interactive La funambule virtuelle, le contrôle des mouvements de la tête était confié à un « moteur comportemental » interagissant avec le modèle dynamique sur un mode quelque peu arbitraire. Il s´ensuivait des gestes fort peu naturels : En particulier la tête, et le regard, erraient sans stratégie bien définie.

Si le bébé qui apprend à marcher prend le sol comme référentiel, le contrôle de la posture et de la locomotion se fait à partir des pieds, cet apprentissage s’accompagne d’un rôle croissant de la tête par une stabilisation en rotation par phase afin de créer un référentiel stable mais mobile. L´enfant qui sait marcher et l´adulte sont guidés par la tête. Il suffit de regarder une personne qui court ou un animal ou encore même un surfeur, celle-ci est stabilisée en rotation et constitue une plate-forme inertielle mobile. Elle contrôle l´angle de la tête dans un plan qui est à la fois déterminé par les capteurs vestibulaires qui mesurent l´orientation de la tête par rapport à la gravité et par la direction du regard qui sert d’ancrage.

Dans un premier temps, nous avons apporté une modification simple consistant à contrôler la tête et à la maintenir dans une position plus stable. Dans un deuxième temps, nous projetons de modifier la structure d’ancrage du personnage virtuel afin que la tête devienne la racine de la hiérarchie au lieu du bassin. En ce qui concerne le regard de la funambule virtuelle, il peut maintenant chercher à rester fixé sur le spectateur. Et, lorsque la funambule pivote sur elle-même, sa tête peut être amenée à changer brusquement d´orientation afin de se recaler dans une direction que les contraintes biomécaniques ne permettent pas de conserver de façon continue.

3.3 Corrélations automatiques

Le cerveau, pour contrôler des mouvements complexes, diminue le nombre de degrés d´action qu´il a sur les muscles du corps en créant des corrélations automatiques entre certains paramètres. Par exemple, lorsque nous faisons un geste, les trois angles que font respectivement la cheville avec la jambe, la jambe avec la cuisse, la cuisse avec le tronc sont en dépendance linéaire. Dans un espace 3D représentant les variations de ces angles, les points de cet espace, ayant pour coordonnées la valeur de ces angles, restent au voisinage d’un plan, appelé le plan de phase, lorsqu’un mouvement naturel a lieu. Pour vérifier cette loi, un programme analyse les variations de ces angles sur un clone de synthèse animé par un acteur réel vêtu d’un exosquelette Gypsy qui captent les angles des membres du corps. Une interface graphique visualise le plan le plus proche du nuage constitué par un ensemble de mesures. On peut constater que, d’une part, dans ce cas les points correspondants restent assez proches d´un plan idéal, alors que, pour d´autres parties du corps, cette corrélation n´est pas nécessairement vérifiée et que, d’autre part, elle n’est pas vérifiée de façon continue mais sur des segments de mouvements (figure 11).

Un autre type de réglage automatique que réalise le cerveau, concerne l’opposition de phase, dans lesquelles des mouvements secondaires peuvent être engendrés par des variations inverses. Par exemple, l´angle que fait le bras avec le corps d´une part, et l´angle que fait l´avant bras avec le bras d´autre part, varient en sens inverse. « Si vous dessinez un 8 dans l’espace, les angles entre les différents segments du bras vous paraîtront sans doute très variables. Il n’en est rien : ils ont des relations très précises entre eux […] Lorsque l’angle du bras par rapport au corps augmente, celui du bras par rapport à l’avant bras diminue d’une quantité égale. On dit qu’ils sont en « opposition de phase. Cette contrainte cinématique permet de contrôler le mouvement avec un seul paramètre, en ne faisant varier que le rapport d’amplitude des deux angles, ce qui simplifie considérablement le contrôle. ». Pour vérifier cette loi, nous avons utilisé le programme précédent en visualisant ces variations, et les résultats sont probants sur certains intervalles ( figure 11)

3.4 La loi de la puissance un tiers

Un autre exemple issu de l’observation de la cinématique des mouvements naturels qui révèle les algorithmes qu’emploie le cerveau pour contrôler le mouvement, est celui de la loi, dite de la puissance un tiers, qui relie la cinématique du geste et la géométrie. Ainsi si vous dessinez une ellipse sur une feuille de papier d’un mouvement naturel , on peut montrer une relation entre la courbure et la vitesse tangentielle des mouvements de la main . C’est une loi du mouvement naturel. Si on ne respecte pas cette loi, le mouvement apparaît artificiel. Ce qui est remarquable, c’est qu’elle contraint aussi la perception du mouvement […] les lois de production du mouvement naturel influencent les lois de la perception du mouvement… Lorsque deux partenaires doivent accorder leurs deux corps en mouvement, ils doivent tenir compte de ces lois qui sont liés à des mécanismes internes du cerveau.

Cette relation extraordinairement précise entre la courbure de la forme que vous dessinez et la vitesse tangentielle le long de sa courbe est la suivante :

V/(R^1/3) = constante, avec V = vitesse tangentielle et R = Rayon de courbure.

Nous avons pu la vérifier avec le même type de programme que celui qui a été employé pour les lois précédentes (figure 12).

3.5 Référentiel d´interaction

À côté de la gravité ou des référentiels visuels comme les verticales ou les horizontales, ou encore de l’axe du corps, d’autres systèmes de référence peuvent être utilisés par le cerveau.. Ainsi, la chorégraphe israélienne Eshkol « a mis au point un système de notation de la danse grâce auquel on décrit les mouvements de deux danseurs dans trois grands référentiels : par rapport à l’environnement, par rapport au corps même du danseur et, enfin, par rapport au partenaire. Ce dernier pose la question d’un référentiel d’interaction entre les deux danseurs.

Un autre exemple concerne celui de l’affrontement entre deux chiens : les référentiels qui leur sont respectivement attachés sont mobiles, mais on peut définir un référentiel d´interaction dans lequel les deux précédents sont liés par certaines contraintes, par exemple le regard de chaque chien est fixé sur le regard de l’autre.

C’est pourquoi nous avons ajouté une liaison entre les mouvements du référentiel et la caméra virtuelle, non plus de façon arbitraire, mais dépendante des mouvements du spectateur et de ceux de l´être de synthèse. Par ailleurs, dans le cas où il y a deux personnages en mouvement nous avons créé une relation entre les regards qui doivent tenter de ne pas se quitter.

L’exemple montré ci-dessous est celui de deux personnages en mouvement et dont les regards tentent de s’aligner (figure 13).

Conclusion

Si « la perception n’est pas une représentation » mais « une action simulée et projetée sur le monde », ces créations numériques ne pourraient-elles pas être envisagées également non plus seulement comme représentation, mais comme « une action simulée et projetée sur le monde » ?

Si l’art interactif ne peut se réduire à la simulation, toutefois,’il s’appuie sur elle pour faire entrer le spectateur dans le jeu de l’interactivité. S’il ne peut se réduire à l’illusion, l’illusion des perceptions simulées, il permet cependant d’amorcer une cohérence perceptive pour le spectateur, acteur de l’expérimentation proposée. Cohérence que l’artiste tente de dépasser : brouiller, perturber, provoquer un dérèglement des sens pour les questionner, les explorer, en sonder les limites, pour éprouver de nouvelles émotions, pour inventer, pour créer.

Si les objectifs des scientifiques sont différents de ceux des artistes, ces derniers ne cherchent pas à vérifier les modèles proposés, mais plutôt à les considérer comme contribuant à ce qu’on pourrait appeler « des hypothèses esthétiques », ce parcours commun leur permet de créer de nouvelles expérimentations artistiques hybridant humains et êtres virtuels, à la recherche de nouvelles sensations, émotions, visions du monde, à partir de du mouvement et de l’action.

APPENDIX

La méthode de la “rétropropagation de l’erreur » est une technique d’apprentissage supervisé dans laquelle le « professeur » connaît la réponse théorique. Notre implémentation est inspirée du livre d’Hervé Abdi [35]:

Soit un réseau neuronal multi couches, avec une couche d’entrée, une ou plusieurs couches cachées et une couche de sortie.

Soit x_k le vecteur représentant le stimulus k ( valeur d’apprentissage).

Soit o_k le vecteur représentant la réponse des cellules de la couche de sortie pour le stimulus k.

Soit t_k le vecteur représentant la réponse désirée (ou théorique) des cellules de la couche de sortie pour le stimulus k.

Un apprentissage est défini par les couples ordnnés (x₁,t₁) ... (x_Nk,t_Nk).

Soit w_j,i le poids de la connexion de la cellule numéro i à la cellule cachée numéro j.

Et finalement soit OUT=f(IN) la fonction de transfert d’une cellule.

Si la réponse calculée est différente de la réponse théorique, les poids sont modifiés de façon à diminuer l’erreur faite par les cellules impliquées dans la réponse. Le calcule qui prend l’erreur en compte est le même pour chaque couche, mais le calcul du signal d’erreur dépend de cette couche.

Dans le cas de l’exemple k, soit o_i, la sortie calculée et t_i la sortie théorique, il faut minimiser l’erreur quadratique:

Q = (o_i – t_i)²

La descente du gradient travaille en évaluant w_i,j dans le sens opposé à celui de la variation de ce gradient:

D w_ij = -n * dQ / dw_ij

Où n est la constante d’apprentissage, entre 0.0 et 0.1

Soit e_i l’entrée du neurone i, a_i sa sortie et f sa fonction de transfert, on montre que la correction des poids de l’unité numéro i est:

D w_ij = -n * d_i * a_j avec di = -n * ¶Q / ¶a_i * ¶a_i/ ¶e_i

donc l’erreur de la couche de sortie est:

d_i = 2 * f(e_i) * (o_i – a_i) (1)

et l’erreur de la couche cachée est:

d_i = f’(e_i) * d_k* w_ki(2)

Si la fonction de transfert est la fonction sigmoide:

OUT = f(IN) = 1 / (1 + e^-k*IN), sa dérivée est :

¶OUT / ¶IN = OUT * (1 – OUT)

et les formules (1) and (2) deviennent, pour la couche de sortie:

di = 2 * ai * (1 – ai) * (oi – ai) (1’)

et pour la couche cachée:

di = ai * (1 – ai) * d_k* w_ki(2’)

Dans la méthode récurrente on commence par calculer le signal d’erreur pour la couche de sortie par la formule (1), puis, de proche en proche, en remontant les couches caches on utilise les signaux d’erreur des cellules de la couch i pour calculer ceux de chaque cellule de la couche i-1 avec la formule (2). D’où le nom d’algorithme de la “ rétropropagation de l’erreur ”.

Bibliographie

1. F. Sparacino, G. Davenport, A. Pentland, “Media in Performance: Interactive spaces, for dance, theater, circus, and museum exhibits”, IBM Systems Journal Vol. 39 Nos 3&4, 2000

2. Graig W. Reynolds , “Flocks, Herds and Schools: A distributed Behavioral Model”, Computer Graphics Vol. 21, 25-34, (1987)

3. R. A. Brooks, “Intelligence Without Reason”, IJCAI-91 Vol. 1, 569-595 (1991)

4. P. Maes, “Situated Agents Can Have Goals, Designing Autonomous Agents: Theory and Practice from Biology to Engineering and Back”, P. Maes, Editor, MIT Press/Bradford Books, Cambrideg, MA (1990).

5. P. Maes, “Modeling Adaptative Autonomous Agent”, Artificial Life 1, 135-162 (1994).

6. Karl Sims, “Artificial Evolution for Computer Graphics”, Computer GraphicsVol 25 No 4, 319-328 (1991).

7. Karl Sims, “Evolving Virtual Creatures”, Computer Graphics proceedings, 15-22 (1994).

8. B. M. Blumberg, T. Galyean, “Multi-Level Direction of Autonomous Creatures for real-Time Virtual Environments”, Computer Graphics proceedings, 47-54 (1995).

9. B. Blumberg, M. Downie, Y. Ivanov, M. Berlin, M.P. Johnson, B. Tomlinson, « Integrated learning for interactive synthetic characters », Proceedings of the 29th annual conference on Computer graphics and interactive techniques, 2002, San Antonio, Texas

10. R. Grzeszczuk, D. Terzopoulos, G. Hinton, “NeuroAnimator: Fast Neural Network Emulation and Control of Physics-Based Models”, Intel Corporation University of Toronto (1998).

11. J. Funge, X. Tu, D. Terzopoulos, « Cognitive Modeling : Knowledge, reasoning and planning for intelligent characters », J. Funge, Proc. ACM SIGGRAPH 99 Conference, Los Angeles, CA, August, 1999, in Computer Graphics Proceedings, Annual Conference Series, 1999, 29-38. R.

12. A. Guillot, and J.A. Meyer, « La contribution de l´approche animat aux sciences cognitives », Cahiers Romans de Sciences Cognitives. 1 (1), 1-26, (2003).

13. A. Drogoul, J.-A. Meyer, Hermes, Intelligence artificielle située, cerveau, corps, environnement, 1999.

14. J.H. Holland, Adaptation in natural and artificial systems, The University of Michigan Press (1975).

15. D.E. Goldberg, Genetic Algorithms in Search, Optimization, and Machine Learning, Addisson Wesley (1989).

16. J. Koza, Genetic Programming: On the Programming of Computers by the Means of Natural Selection, The MIT Press (1992).

17. T. Calvert, A. Bruderlin, S. Mah, T. Schiphorst, and C. Welman, “The evolution of an interface for choreographers”, In Proc. InterCHI Conference, pages 115-122, April (1993).

18. T. W. Calvert, C. Welman, S. Gaudet, T. Schiphorst, and C. Lee, “Composition of multiple figure sequences for dance and animation”, The Visual Computer, 7(2-3):114-121, (1991).

19. S. Kshirsagar, N. Magnenat-Thalmann « A Multilayer Personality Model », Proceedings of 2nd International Symposium on Smart Graphics, pp 107-115., June, 2002.

20. S. Carion, G. Sannier, N. Magnenat Thalman, « Virtual Humans in CyberDance », MIRALab, C.U.I., University of Genova

21. Michiel Van de Panne, Eugene Fiume, “Sensor-Actuator Networks”, Computer Graphics proceedings, 335-342 (1993).

22. M.-H. Tramus, M. Bret, E. Couchot , « La seconde interactivité », in Arte e vida no século XXI, Organizadora Diana Domongues, UNESP, Brasil (2003).

23. M.-H. Tramus, « La question de la multisensorialité dans les arts numériques interactifs », Actes Isea 2000, http://www.isea2000.com.

24. A. Berthoz, La décision, Ed O. Jacob, Paris, 2003

25. F. J. Varela, Autonomie et Connaissance. Essai sur le vivant, édit. Le Seuil, 1989.

26. Chazal G., Les réseaux du sens, de l’informatique aux neurosciences, Collection Milieux, Champs Vallon.

27. Wiener N., Cybernetics, or Control and Communication in the Animal and the Machine, John Wiley Editor, New York, 1948

28. McCulloch W. et Pitts W., « A logical Calculus of the Ideas Immanent in Nervous Activity », in Bulletin of Mathematical Biophysics, n°5, 1943, pp. 115-133.

29. Rosenblatt F., The perceptron:A perceiving and recognizing automation, projet PARA, Cornell Aeronautical Laboratory Report, 85-460-1, 1957.

30. Hopfield J.J., « Neural Networks and physical system with emergent collective computational abilities in National Academy of Science », USA, 79,6871-6874, 1982.

31. McClelland J.L. et Rumelhart D.E., « An interactive Activation Model of Context Effects in Letters perception : Part 1. An account of basic findings », Psychological Review, volume 88, n° 5, pp. 375-407.

32. Jodouin J.-F., Les réseaux de neurones, Hermes, p. 20, 1994.

33. A. Berthoz, Le sens du mouvement, Editions Odile Jacob, 1997.

34. A. Berthoz A, La décision, Ed O. Jacob, Paris, 2003.

35. H. Abdi, Les réseaux de neurones, Presses Universitaires de Grenoble, 1994.

36. T. Kohonen, Self-Organization and Associative Memory, Springer-Verlag 1984..

37. A. Drogoul, J.-A. Meyer, Hermes, Intelligence artificielle située, cerveau, corps, environnement, 1999

38. A. Guillot, « Pour une approche dynamique des animats », in Intelligence artificielle située, cerveau, corps, environnement, A. Drogoul, J.-A. Meyer, Hermes, 1999.

39. Michel Bret: Experimentation dans les arts du connexionnisme, Actes Isea 2000, http://www.isea2000.com.

40. M.H. Tramus : La question de la multisensorialité dans les arts numériques interactifs, Actes Isea 2000, http://www.isea2000.com

41. P. Janet, Les débuts de l’intelligence, Flammarion, Paris,1935, p. 31.

42. Expositions de La funambule virtuelle : Virtual World 2000, Paris, 2000 ; Salon d’automne, Paris, 2000 ; Les chemins du numérique, Reims, 2001 ; Média-Village, Paris, France, 2001 ; Le cube s’ouvre à Issy les Moulineaux, exposition d’art numérique, 2001.

Expositions de Danse avec moi : Arts-outsiders, Paris, France, 2001, le Salon d’automne, Paris, 2001.

43. Michel Bret: Experimentation dans les arts du connexionnisme, Actes Isea 2000, http://www.isea2000.com.

44. M. Bret, “Virtual Living Beings”, in Lecture Notes in Artificial Intelligence, Virtual Worlds 119-134, Ed. Jean-Claude Heudin, Springer 2000.

45. M. Bret ; « Experimentation dans les arts du connexionnisme », Actes Isea 2000, http://www.isea2000.com

46. P. Viviani, T. Flash, « Minimum-jerk, to-thirds power law, and isochrony : Converging approaches to movement planning”, J Exp Psychol Hum Percept Perform, 21, 32-53 (1995).