Peripherique d'acquisition pour réalité virtuelle : piano virtuel, souris vidéo

Etude de Cas I4 - 2003/2004

Périphériques d'acquisition pour réalité virtuelle : piano virtuel, souris vidéo

Thierry Grandpierre,Mohamed Akil

Objectif :

concevoir et réaliser un périphérique de capture vidéo pour la réalité virtuelle. Dans un premier temps il s'agit de réaliser un instrument de musique virtuel dont l'interface d'entrée est une caméra vidéo. On souhaite ensuite utiliser ce système pour réaliser un "tableau virtuel", la main ou un doigt faisant office de souris pour dessiner.

Principe :

une caméra est placée au dessus d'un musicien (Cf. dessin ci-dessous) de façons à enregistrer la position de ses mains sur un plan horizontale "P" parallèle au plan de la caméra
l'image de la caméra est envoyée sur une carte d'acquisition et de traitement dédiée (carte ATEME)
le traitement de l'image consiste à déterminer en temps réel les coordonnées x et y des mains du musicien par rapport au plan P. Les principes de la chaîne de traitement élémentaire vous seront donnés (articles et rapport de projet I3), il s'agira d'étudier, implanter sur DSP et améliorer cette chaîne.
les coordonnées trouvées servent à piloter le peripherique sonore de cette carte

volume du sons proportionnel à y
hauteur du sons (note) proportionnel à x
éventuellement calculer l'accélération de la main pour déterminer la forme de l'enveloppe d'attaque et de relâchement....

les images acquisent seront transférées et affichées sur une seconde carte qui se chargera d'insérer en superposition l'image du clavier virtuel de façon à donner un retour visuel au musicien

Matériel utilisé :

2 cartes ATEME Kit IEKC6711
2 PCs sous windows avec Code Composer Studio
des HP ou casque

Perspectives :

étudier l'ajout d'une seconde caméra dans un plan perpendiculaire au premier pour obtenir la position z de la main ce qui permettrait de modifier le trémolo (par exemple). Il faut savoir que ces cartes possèdent chacune 4 entrées vidéo
détecter la position de 2 mains pour obtenir un mode polyphonique (possibilité de travailler sur les plan de couleurs par exemple)
adapter les algorithmes pour transformer ce système en tableau virtuel : l'utilisateur trace des courbes dans le vide avec l'un de ses doigts, le logiciel se charge de determiner la position du doigt et de l'afficher.

Organisation du travail :

Voici la liste des tâches à réaliser:

1-Acquisition des images
2-Chaîne de traitement
3-Génération de sons : contrôle de la fréquence, du volume,...
4-Communication entre les cartes pour transmettre l'image
5-Affichage de l'image
6-Extension du système pour le tableau/souris virtuel

Ces tâches peuvent être associées à 3 équipe du groupe de la facon suivante :

équipe 1 : tâches 1 et 2
équipe 2 : tâche 3
équipe 3 : tâches 4 et 5
(la tâche 6 sera atribuée à l'équipe ayant fini sa tâche en premier)