La visite guidée commence par une halte au vestiaire. Non pour endosser la panoplie réglementaire du cyber-man, mais pour se délester de tout bagage superflu. A la différence de la Réalité Virtuelle, la R.A. se laisse aborder dans le plus simple appareil. Pas de casque, pas de combinaison de données. Seuls comptent la peau, le corps libre de ses mouvements et les cinq sens en éveil.
Interfaces sensitives
Au doigt et à l'oeil
Illustration exemplaire de ce dépouillement très low-tech : la Gesture Interface to Spatial Reality, dévelopée par Bell Laboratories. Exit la souris, le joystick ou le trackball ! Pour plonger dans le cyberespace, le petit doigt suffit ! Par simple reconnaissance des mouvements de la main et du doigt pointé en direction de l'écran, l'ordinateur surmonté d'une mini caméra est en mesure de gérer la navigation à travers les espaces virtuels ainsi que la manipulation d'objets 3D. Cette interface "à main nue" intéresse tout particulièrement l'industrie du jeu vidéo. Imaginez Doom avec des scènes de jeu et des personnages contrôlés par la seule gestuelle des participants. Charmante chorégraphie en perspective !
Feedback tactile
Autre interface originale : Direct Watch & Touch, développée par Takahisa Ando, du Laboratories of Image Information Science and Technology d'Osaka. Comme son nom l'indique, il s'agit de manipuler des objets virtuels avec retour d'effort. A l'aide d'un scalpel, relié à l'ordinateur par un réseau de fils faisant office de système nerveux, l'utilisateur peut toucher à distance et déplacer les objets présentés à l'écran, en ayant la sensation physique du contact. D'où la possibilité par exemple de simuler une partie de billard, avec (presque) tous les ingrédients d'usage : le mouvement des boules est calculé en fonction de la direction et de la force d'impact du scalpel. Les boules qui se touchent génèrent un bruit très réaliste. Quant au joueur, il ressent au bout des doigts toute l'intensité du choc de la boule "frappée" par le scalpel. (Pour en savoir plus, consulter le site : www.image-lab.or.jp/)
A bout de souffle
Moins contondant, le dispositif The winds that wash the seas, imaginé par Chris Dodge du MIT, permet d'interagir avec l'ordinateur simplement en soufflant sur l'écran. Le contenu des images affichées, mais aussi leur format, leur rythme de défilement, etc. varient uniquement en fonction de la respiration de l'interlocuteur. Dans le même ordre d'idée, Chris Dodge propose une installation avec baignoire et caméra (!), où l'interface homme-machine repose sur les seuls mouvements de l'eau agitée par la main de l'utilisateur.
Pied de nez
Sur un mode ironique, George Roland contribue lui aussi à reléguer souris et clavier au rang d'antiquités. Ses Thirteen sketches for an incompetent interface mettent en scène une machine qui collectionne les lapsus et ratés de toutes sortes : clavier azerty démantibulé; curseur refusant obstinément d'obéir à la souris; messages d'erreur à tire-larigot... Autant de gags qui mettent à mal le cliché de l'ordinateur docile et fiable, tout entier dévoué à la cause de la performance et de la rationalité.
Téléprésence tactile
La mise en jeu de sens autres que l'ouïe ou la vue ne concerne pas seulement les dispositifs d'interaction homme-machine, mais également certains systèmes de téléprésence. Le procédé In Touch, développé par le groupe Tangible Media du MIT, permet ainsi de partager à distance des sensations tactiles. Les copies d'un même objet, placées en des lieux distincts, sont reliées entre elles par un réseau complexe de capteurs, grâce auquel chaque participant, en touchant la copie mise à sa disposition, peut ressentir en temps réel les diverses manipulations exercées par les autres intervenants sur leurs copies respectives. Ce type d'application illustre bien la notion de réalité augmentée : il ne s'agit pas seulement de reproduire dans le virtuel les sensations physiques propres au monde réel, mais bien de donner une dimension supplémentaire à l'expérience concrète du toucher (en l'occurrence en s'affranchissant de la contrainte du lieu).
Le jeu entre dans l'ère multimodale
Puppet show
La place croissante du corps et de la gestuelle dans les interfaces homme-machine est largement mise à profit par l'industrie du jeu. Dans le cadre de son programme TOT (Toys Of Tomorrow), le MIT - encore lui - a développé un jeu interactif, Swamped! où les scènes d'action et les personnages peuvent être contrôlés par un simple jouet en peluche - équipé en fait de multiples capteurs sensoriels. Face à l'écran, le participant agite sa peluche et, en fonction de la trajectoire et de l'intensité des mouvements captés par la caméra, détermine les paramètres d'animation des personnages. (Pour en savoir plus, consulter le site : www.media.mit.edu/groups/characters/)
Terrain miné
Tout aussi délirant, le jeu Fantastic Phantom Slipper, concocté par Yuichiro Kume du Tokyo Institute of Polytechnics, consiste à écraser à l'aide de sandales sensitives toute une faune d'insectes virtuels se promenant en liberté sur un tapis magique interactif. Le participant dûment chaussé ressent physiquement la présence des insectes grouillant autour de lui, grâce aux vibrateurs équipant ses souliers. Inutile de dire que pour chaque bestiole écrasée, le feedback est particulièrement intense !
Dance to the image
Plus conventionnelle, l'application Shall we dance de Kazuyuki Ebihara, du ATR Media Integration & Communication Research Lab de Kyoto, met en scène une poupée virtuelle dont les mouvements et les attitudes sur écran sont déterminées en direct par les gestes et les expressions d'un danseur bien réel, repéré par de multiples caméras. Sur le même thème, l'Interactive dance club, produit par Ryan Ulyate de la société Synesthesia, transforme les danseurs en acteurs-DJ à part entière, dans le cadre surréaliste d'une discothèque assistée par ordinateurs, où les mouvements des participants influencent en temps réel non seulement l'éclairage et les images projetées dans la salle, mais aussi la nature et le rythme de la musique diffusée.
De manière générale, le développement d'interfaces de plus en plus physiques tend à déplacer le dialogue homme-machine sur le terrain de la chorégraphie. Au pays de la Réalité augmentée, l'interactivité mobilise le corps tout entier : le clavier et la souris cèdent la place au libre jeu des correspondances et de la synesthésie. Et l'homme-tronc rivé à son écran se métamorphose en danseur mutant, jouant sur toute la palette de ses sens.
Entre poésie et mythologie
Puzzle d'identité
Au-delà des applications strictement ludiques, certaines installations artistiques abordent la Réalité Augmentée sous un angle plus poétique, en faisant parfois écho à des traditions ancestrales. C'est le cas du Digital Fukuwarai, présenté par Hiroshi Matoba de la société NEC. Le jeu consiste à capter en direct l'image du ou des participants et à les projeter sur un écran sous la forme de pièces de puzzle. Les joueurs sont ensuite invités à rassembler les morceaux et à recomposer leur portrait. Cette installation est en fait l'adaptation numérique du jeu traditionnel japonais Fukuwarai, qui mettait en scène un joueur aux yeux bandés chargé de remettre en ordre les pièces éparses de son propre masque.
Théâtre d'ombres
Motoshi Chikamori, quant à lui, joue sur la part d'ombre des environnements de synthèse. "L'ombre, rappelle-t-il, est un attribut essentiel de l'homme. C'est d'ailleurs ce qui le distingue des fantômes, et de ses avatars dans les mondes virtuels". Dépassant ce clivage, l'installation Kage met en scène divers objets - en l'occurrence des cônes posés sur le sol - dont l'ombre est générée par les interventions tactiles des participants. Les formes produites sont sans rapport avec les objets réels et dessinent des motifs fantasmagoriques, sans cesse renouvelés.
Quand les mots coulent de source
Le Medialab de son côté se fait jardinier des lettres. L'installation Stream of consciousness présente un jardin en modèle réduit, avec un cours d'eau sur lequel sont projetées les images de différentes lettres. Celles-ci, en contrebas d'une cascade, s'associent les unes aux autres et composent une série aléatoire de mots. Une interface tactile permet au visiteur de modifier le débit du cours d'eau et l'ordonnancement des lettres qui flottent à la surface de l'eau.
Réflexions hallucinogènes
L'interface Mass Hallucination imaginée par Trevor Darrell, de l'Interval research corporation de Palo Alto, renoue quant à elle avec la bonne vieille tradition des glaces déformantes. Mais en nettement plus perfectionné. Non content de se déformer au gré des mouvements générés par ses vis-à-vis, le miroir en question est capable de reconnaître l'apparence d'un personnage rencontré quelques instants plus tôt, et de jouer à l'infini avec son image.
La Réalité Augmentée est décidément peuplée de fantômes ! Fantômes insaisissables, imprévisibles, infidèles à la réalité, et qui en plus ont de la suite dans les idées ! Par delà leur diversité et leur complexité croissantes, tous ces dispositifs d'interaction homme-machine semblent en fait redécouvrir la formule chère à Duchamp : Guest + Host = Ghost.
Edité en septembre 1998
