Projet de Réalité Virtuelle

(Proposé par t.grandpierre at esiee.fr)

Contexte :

Ce projet consiste à enrichir les démonstrations de la salle de réalité virtuelle réalisées lors de précédents projets élèves, voir http://www.esiee.fr/~grandpit/salleRV.html

La salle de réalité virtuelle consiste en un écran géant sur lequel on projette une image 3D en relief (comme dans le film AVATAR) calculée en temps réel. L’utilisateur doit porter des lunettes polarisantes afin de voir le relief.

La différence avec un film c’est que les images sont calculées en temps réel en fonction d’un certain nombre d’actions effectuées par le ou les spectateurs qui sont aussi acteurs.

Pour agir, il faut des capteurs, nous avons actuellement :

• un « gant de données » qui permet de mesurer la flexion de chaque doigt et de donner ainsi des consignes au système (exemple pointer de l’index signifie aller en avant, faire toucher pouce et index signifie prendre/cliquer etc),
• une souris gyroscopique : identique à une souris classique mais fonctionne sans support physique i.e. dans l’espace,
• un tracker de position 3D : un ensemble émetteur/récepteur filaire. Un recepteur permet d’identifier la position absolue dans l’espace d’un petit boitier emetteur qui peut être solidaire de la main de la personne pour en mesurer sa position.

Objectifs :

• Tracker & Gant :
• l’utilisation du tracker 3D, sa précision n’est pas satisfaisante et demande des calibrages fastidieux : l’idée serait de remplacer ce tracker par l’utilisation d’une ou deux wiimote fixes placées au dessus et sur le côté de l’écran. Une wiimote est en effet basée sur une caméra infrarouge connecté à un processeur capable de calculer la position de points infrarouge perçus par la caméra et de les suivre en temps réel,
• le gant que nous possédons est un gant filaire, connecté par USB : nous souhaitons développer notre propre gant de données sans-fil à partir de capteur de flexion, d’un inclinomètre, d’un µContrôleur, d’une transmission Xbee. Il serait associé au dispositif infrarouge ci-dessus.
• Nous souhaitons utiliser cette salle pour étudier les problèmes rencontrés par les personnes à mobilité réduite nécessitant des fauteuils roulant. Il s’agirait donc de transformer un vrai fauteuil (non électrique) et de l’équiper de capteurs de façon à mesurer la rotation des roues exercée par l’utilisateur et ainsi simuler les déplacements du fauteuil réel dans l’univers virtuel. Il serait aussi souhaitable d’équiper le fauteuil d’actionneur (frein/moteur) pour simuler l’impact des montées et des descentes, des bosses, trous etc.
• La démonstration actuelle permet de simuler des personnes qui se déplacent de façon autonome mais leur comportement est très limité : ils sont uniquement capable de se déplacer d’un point A à un point B en utilisant une cartographie que l’on sait générer automatiquement. Il s’agirait donc d’améliorer le comportement de ces avatars.
• Le son n’est aujourd’hui pas pris en compte, il faudrait expérimenter la synthèse de sons spatialisés (plusieurs haut parleurs disséminés dans la salle, déplacement d’une source sonore quand on se tourne etc.)

D’autres axes de travail sont possibles, comme l’amélioration des scènes actuelles, l’ajout de nouveau capteurs, communication avec le système par motion gesture, meilleur utilisation de manettes de jeux, développement d’une version light basée sur les anaglyphes (lunettes rouges/bleues) etc.