La réalité virtuelle au bout des doigts
La technologie de la réalité virtuelle progresse dans des domaines nouveaux et différents, allant de la formation des pilotes dans des simulateurs de vol à la visualisation spatiale, par exemple en architecture et dans des jeux vidéo de plus en plus réalistes. Les possibilités offertes par la simulation d'environnements en combinaison avec des technologies telles que les lunettes RV sont pratiquement infinies. Toutefois, les systèmes de RV sont encore rarement utilisés dans les applications quotidiennes. «Aujourd'hui, la RV est principalement utilisée pour consommer du contenu. Dans le cas des applications de productivité, comme dans les scénarios de bureau, la RV a encore un grand potentiel de développement pour remplacer les ordinateurs de bureau actuels», explique Christian Holz, professeur à l'Institut des systèmes interactifs intelligents de l'ETH Zurich. Le potentiel est en effet énorme : si le contenu n'était plus limité à un écran, les utilisateur·ices pourraient tirer parti de la nature des environnements tridimensionnels, en interagissant avec une grande souplesse et de manière intuitive avec leurs mains.
Chaque doigt provoque des profils de vibration différents
Qu'est-ce qui empêche que cela devienne une réalité ? Christian Holz pense que le principal problème réside dans l'interaction entre l'humain et la technologie. Par exemple, la plupart des applications de RV actuelles fonctionnent soit avec des contrôleurs tenus dans la main de l'utilisateur·ice, soit avec les mains en l'air, de sorte que la position puisse être capturée par une caméra. L'utilisateur·ice est aussi généralement debout pendant l'interaction. «Si vous devez constamment tenir vos bras en l'air, cela devient rapidement fatigant», explique Christian Holz. «Cela empêche actuellement les processus de travail normaux de devenir possibles, car ils nécessitent une interaction avec des applications pendant plusieurs heures.» La frappe sur un clavier virtuel, par exemple, présente un autre problème : les doigts ne bougent que légèrement et les caméras ne peuvent pas capturer le mouvement aussi précisément que les claviers mécaniques actuels. Avec la saisie dans l'air, le retour haptique habituel fait également défaut.
Pour cette raison, il est clair pour l'équipe de recherche de Christian Holz que les interfaces passives resteront importantes pour l'adoption viable et productive de la technologie RV. Il peut s'agir d'un plateau de table classique, d'un mur ou du propre corps d'une personne. Pour une utilisation optimale, les chercheurse·s ont développé une technologie sensorielle appelée «TapID», qu'il·les présenteront à la conférence IEEE VR fin mars. Le prototype intègre plusieurs capteurs d'accélération dans un bracelet en caoutchouc normal.
Ces capteurs détectent quand la main touche une surface et quel doigt la personne a utilisé. Les chercheur·ses ont constaté que la nouvelle conception de leur capteur permet de détecter d'infimes différences dans le profil de vibration du poignet afin de différencier chaque mouvement de doigt caractéristique. Un pipeline d'apprentissage automatique personnalisé développé par les chercheur·ses traite les données collectées en temps réel. En combinaison avec le système de caméra intégré à un ensemble de lunettes VR, qui capture la position des mains, TapID génère des données extrêmement précises. Les chercheur·ses en ont fait la démonstration dans plusieurs applications qu'il·les ont programmées pour leur développement, notamment un clavier virtuel et un piano (voir la vidéo).
Le piano virtuel à l'aide de la smartwatch
Le piano virtuel illustre particulièrement bien les avantages de TapID, explique Christian Holz : «Ici, la précision spatiale et le timing sont tous deux essentiels. Le moment où les touches sont touchées doit être capturé avec une précision maximale. Les capteurs du poignet peuvent le faire de manière plus fiable qu'une caméra». La technologie relativement simple utilisée par ce système offre plusieurs avantages ; par exemple, la production de ce type de bracelet ne devrait coûter que quelques francs.
L'équipe de recherche a également comparé son système avec les technologies existantes : lors d'une évaluation technique avec 18 participant·es, elle a réussi à montrer que TapID ne fonctionne pas seulement de manière fiable avec l'électronique spécialement développée dans le bracelet, mais que la méthode pourrait également être transférée aux bracelets de fitness existants et aux smartwatches de tous les jours, car ils sont tous équipés de capteurs d'inertie. Pour l'avenir, les chercheur·ses prévoient de continuer à améliorer la technologie avec davantage de sujets d'essai et de développer davantage d'applications afin d'intégrer TapID dans des scénarios de productivité et de soutenir les bureaux du futur.
Christian Holz pense que la «réalité virtuelle mobile» est une autre possibilité intéressante : «Notre solution de capteurs est portable et a le potentiel de rendre les systèmes de réalité virtuelle adaptés au travail de productivité en déplacement. TapID permet aux utilisateur·ices de faire fonctionner des applications avec leur main ou leurs cuisses - partout et à tout moment.» En tant que professeur d'informatique, Christian Holz voit l'avenir de la réalité virtuelle dans la possibilité de travailler ensemble depuis n'importe quel endroit physique - sans être limité par le matériel, mais comme si les utilisateur·ices étaient tou·tes dans la même pièce. «TapID pourrait être un outil important pour aller dans cette direction», ajoute-t-il. Lui et son équipe, avec Manuel Meier, Paul Streli et Andreas Fender, vont poursuivre leurs recherches dans ce domaine.
