Retour Accueil A2SI Video Developpement Coeur

Aide à la chirurgie du poignet grâce à la réalité virtuelle

Personnes impliquées : G. Bertrand, M. Couprie, A. Galbiatti, Y. Hamam, L. Perroton, F.Rocaries.

Étudiants associés : S. Calliari, C.K. Leow, L. Orsonneau (ESIEE IFC, majeure Informatique).

Voir aussi: le site de C.K. Leow.

Ce projet nous a été proposé par une équipe de chirurgiens de l'Institut de la Main, Clinique JOUVENET, Paris XVIe : le professeur Alain Gilbert, les docteurs Antonio Galbiatti et Rami El-Abiad. Il s'inscrit dans le cadre du développement d'un environnement de réalité virtuelle pour aider à l'enseignement de la chirurgie du poignet, et à plus long terme, pour la simulation d'opérations sur un "patient virtuel".

Il s'agit de répondre à un besoin réel exprimé par les praticiens. En effet, les méthodes traditionnelles d'enseignement de la chirurgie sont basées sur la dissection de cadavres et l'entraînement sur des animaux. L'évolution de notre société fait que ces deux pratiques sont de plus en plus critiquées et font l'objet de réglementations très restrictives. La simulation "in computero" peut aider à résoudre ce problème.

Un premier objectif est de réaliser une arthroscopie virtuelle, c'est-à-dire de simuler le déplacement d'une caméra, à la manière d'un simulateur de vol, dans un modèle géométrique tridimensionnel des os et des ligaments du poignet. Le modèle géométrique sera construit à partir de données réelles, provenant de sources d'acquisition telles que scanner ou IRM, ainsi que de connaissances anatomiques fournies par les chirurgiens eux-mêmes.

Une fois cette partie effectuée, il faudra utiliser cet environnement pour simuler le déplacement des outils nécessaires à l'accomplissement des opérations de micro-chirurgie. Dans un premier temps on s'intéressera essentiellement à l'aspect visualisation du processus mais il faudra garder en mémoire que le produit final devra permettre au praticien de retrouver les sensations engendrées par le déplacement de ces outils à l'intérieur de la structure musculaire et osseuse. Le modèle géométrique devra donc être couplé à un modèle mécanique simplifié servant de base à un système de retour d'efforts.


Prototype en cours de développement


Figure 21. Architecture su prototype en cours de développement.

La figure 21 montre l'architecture du prototype que nous développons actuellement. En entrée, notre système a besoin d'un scanner du poignet d'un patient, qui est une image en niveaux de gris et à trois dimensions. Nous employons des algorithmes de segmentation très performants, issus du cadre de la Morphologie Mathématique, pour extraire de ces données brutes une image binaire 3D de la surface des os du poignet (figure 22). Cette image se présente sous la forme d'un ensemble de points (voxels) dans l'espace à trois dimensions. A ce stade, des retouches manuelles peuvent être effectuées par les médecins qui contrôlent ainsi la validité du modèle.

  Image originale en 3D niveaux de gris  






  Résultat (image binaire 3D):  
  surface des os

Figure 22. Segmentation d'un scanner du poignet: extraction de la surface des os du carpe (en 3D).

Ensuite, il faut bâtir un modèle géométrique de cette surface sous la forme d'une triangulation (ensemble de facettes triangulaires liées entre elles par des relations de voisinage) à partir de l'image binaire. C'est le rôle du générateur de maillage, que nous avons développé, basé sur une variante de la technique classique des "marching cubes".

Le modèle géométrique sert ensuite de base à un processus de visualisation. Pour obtenir des images de très grande qualité (figures 23,25), mais au prix d'un temps de calcul important, nous employons PovRay, un logiciel du domaine public basé sur la technique du lancer de rayon. Nous développons aussi un visualisateur intéractif temps réel basé sur OpenGL, pour permettre à un utilisateur de simuler une navigation autour du modèle (figure 24).


Figure 23. Noms des os de l'avant-bras et du carpe. Images générées par notre système et PovRay.


Figure 24. Différentes vues produites par notre visualisateur interactif. Les flèches désignent une pseudo-arthrose du scaphoïde.


Figure 25. Vue "artistique" des os et de la peau (cliquer ici). Images générées par notre système et PovRay.