Comment des scientifiques attirent des entreprises internationales en Suisse

Des jeunes gens portant des lunettes futuristes déambulent dans le hall du bâtiment principal de l'ETH Zurich. On dirait un jeu, mais ce groupe d'étudiants et étudiantes fait en réalité partie d'un projet scientifique visant à scanner cet espace physique à l'aide de casques de réalité mixte. Une fois cette tâche accomplie, le hall pourra être recouvert d'un contenu holographique, brouillant ainsi la frontière entre le réel et le virtuel. Pendant que les étudiantes et étudiants se déplacent, les caméras de leurs casques balayent des caractéristiques spécifiques de l'espace autour d'elles et eux. Ces éléments serviront par la suite de points de référence fixes, identifiables de n'importe où dans le hall.

Marc Pollefeys, professeur d'informatique à l'ETH Zurich, est tout à fait à l'aise dans ce monde futuriste. Il est convaincu que cette réalité mixte jouera un rôle essentiel dans la vie de nombreuses personnes d'ici quelques années, et ses recherches se concentrent sur la manière dont ces deux mondes - le réel et le virtuel - peuvent être combinés de la manière la plus transparente possible.

C'est grâce à cet informaticien belge que Microsoft a choisi d'installer un laboratoire à Zurich pour étudier la réalité augmentée et l'intelligence artificielle (IA). Au cours d'un séjour de deux ans aux États-Unis, Marc Pollefeys a aidé l'entreprise technologique à développer le casque de réalité mixte HoloLens 2. Lorsqu'il a repris son poste de professeur à Zurich, Microsoft a tenu à le garder à son service. Pour ce faire, elle a créé en 2018 le Microsoft Mixed Reality & AI Lab à Zurich, avec l'ETH Zurich comme partenaire. Marc Pollefeys dirige désormais ce laboratoire parallèlement à ses activités d'enseignement et de recherche à l'ETH Zurich.

L'accent mis sur la vision par ordinateur

Marc Pollefeys a passé trois ans en tant que professeur assistant à l'Université de Caroline du Nord avant de prendre la décision, qu'il qualifie de simple, de se rendre à Zurich en 2007. «L'ETH Zurich compte des personnes exceptionnelles qui travaillent dans tous les domaines de recherche, et pas seulement dans le mien», explique-t-il. «J'ai réalisé à quel point cela était important, non seulement pour la collaboration future, mais aussi pour attirer d'autres collègues talentueux», explique-t-il. Et il n'a pas été déçu : «L'ETH Zurich me donne la possibilité de réaliser toutes sortes de projets communs passionnants sur un pied d'égalité avec d'autres chercheurs et chercheuses de haut niveau.

Dès le début, Marc Pollefeys a concentré son attention sur la vision par ordinateur, un sous-domaine de l'IA. Les spécialistes de la vision par ordinateur apprennent aux ordinateurs à capturer et à interpréter des informations à partir d'images et de données vidéo. À l'aide de modèles d'apprentissage automatique, l'objectif est de créer des systèmes numériques capables de traiter, d'analyser et de comprendre des données visuelles à un niveau similaire à celui de l'être humain.

Un système formé à la surveillance des installations de production, par exemple, peut inspecter des milliers de produits ou de processus à la minute, en repérant des défauts et des problèmes que les êtres humains ne verraient probablement pas. La vision par ordinateur est déjà utilisée dans toute une série de secteurs, notamment les services publics, les entreprises manufacturières et les constructeurs automobiles.

Nouveaux domaines d'application

La combinaison de la vision par ordinateur et de la réalité mixte - où la perception naturelle est enrichie par du contenu généré par ordinateur - crée des expériences utilisateur entièrement nouvelles, ouvrant la voie à des applications à la fois innovantes et sûres.

Cette combinaison est offerte par les casques de réalité mixte tels que l'HoloLens. Équipé d'une variété de capteurs et de caméras, cet appareil présente de nombreuses caractéristiques, notamment la capacité de suivre les mouvements oculaires, de reconnaître les gestes et les objets, et de comprendre la parole. Il est également capable de cartographier un espace physique en trois dimensions, puis de calculer la position et l'orientation des objets dans cet environnement. Armé de ces informations, l'HoloLens peut ensuite générer des objets numériques en 3D.

Ces casques peuvent être utilisés pour afficher des schémas de circuits, par exemple, ou des plans d'un objet ou d'un bâtiment. «En superposant un plan virtuel à ce que l'utilisdatrice ou utilisateur voit du bâtiment réel, nous lui permettons d'effectuer des tâches sans avoir jamais vu le plan auparavant», explique Marc Pollefeys. La réalité mixte offre de nombreuses autres possibilités d'utilisation : la formation du personnel médical à des opérations chirurgicales complexes en est un exemple, tout comme la possibilité d'utiliser des robots pour effectuer des tâches dangereuses, en les contrôlant à distance à l'aide de l'HoloLens par de simples gestes de la main.

Instructions en temps réel

Face à l'automatisation, à l'internet des objets (IdO) et à une pénurie générale de travailleuses et  travailleurs qualifiés, l'industrie doit repenser son approche, explique Marc Pollefeys : «Ce dont les entreprises ont besoin aujourd'hui, c'est de personnes suffisamment flexibles pour effectuer toute une série de tâches.»

Lorsque des équipements sont mal manipulés, mal utilisés ou mal entretenus, cela peut finir par coûter cher à l'employeur ou employeuse et mettre les employées et employés en danger. La réalité mixte fournit aux utilisateurs et utilisatrices de ces équipements des instructions numériques au moment et à l'endroit où elles et ils en ont besoin.

Lorsqu'une opératrice ou un opérateur de machine doit effectuer une tâche nouvelle ou complexe, par exemple, des flèches et d'autres symboles peuvent être affichés pour le ou la guider pas à pas dans le processus. De même, les données des capteurs IdO peuvent être affichées dans le champ de vision de la porteuse ou du porteur du casque pour l'informer en temps réel de l'état d'une machine. Contrairement à la réalité virtuelle, où on est complètement immergé dans un environnement synthétique, la réalité mixte superpose le monde réel - qui reste visible - avec des hologrammes 3D générés par ordinateur.

Recherche, éducation, application

En tant que directeur du laboratoire de réalité mixte et d'IA à Zurich et directeur des sciences chez Microsoft, Marc Pollefeys dirige une équipe de 25 ingénieures et ingénieurs et scientifiques en Suisse. Il a également un membre de l'équipe à Prague et 15 autres au siège de Microsoft à Redmond, Washington. «Je suis fier d'avoir réuni une équipe composée d'un mélange aussi fantastique de personnes», déclare Marc Pollefeys. «Leur talent et leur expertise exceptionnels sont essentiels à notre travail sur cette technologie d'avant-garde, d'autant plus que nous ne savons pas exactement ce dont nous avons besoin et comment nous devons procéder pour la mettre au point. La technologie évoluant à un rythme aussi rapide, l'équipe doit faire preuve d'une grande souplesse.

Marc Pollefeys partage son temps à parts égales entre l'ETH Zurich et Microsoft. Il travaille, fait de la recherche et enseigne sur deux sites différents, avec un bureau séparé sur chaque site, et suit un emploi du temps divisé en journées, voire en demi-journées. «Cela me permet d'organiser mes différentes tâches de manière plus structurée», explique-t-il.

Parfois, la complexité d'une application spécifique de réalité mixte est telle qu'il travaille exclusivement avec son équipe Microsoft. Mais, ajoute-t-il, il y a en fait très peu de cas où il est judicieux de tracer une ligne stricte entre Microsoft et l'université. «Si nous travaillons sur un problème fondamental qui nécessite une solution générale, nous travaillons en même temps avec l'ETH Zurich et Microsoft», explique Marc Pollefeys. Parfois, il rencontre un problème chez Microsoft qu'il peut directement intégrer dans son enseignement et sa recherche à l'ETH Zurich. «Les étudiantes et étudiants ont tendance à trouver cela très excitant et motivant, parce qu'ils et elles comprennent qu'il s'agit d'un problème du monde réel», dit-il.

Mais qu'il porte la casquette de Microsoft ou celle de l'ETH Zurich, il fait toujours de son mieux pour publier les résultats de ses recherches et partager le code. La collaboration avec d'autres entreprises fait également partie intégrante de son travail. Marc Pollefeys  explique: «Il est important pour les scientifiques comme moi de maintenir une position neutre.» Un exemple des fruits de sa chaire est un algorithme clé qui a servi de base à l'outil de navigation Google Live View, aujourd'hui utilisé dans le monde entier.

Une situation gagnant-gagnant

La collaboration entre Microsoft et l'ETH Zurich lui permet de mieux comprendre ce domaine de recherche et de stimuler l'innovation au sein de l'entreprise. Trouver le temps d'essayer de nouvelles choses peut s'avérer difficile dans les limites d'une équipe de produits d'entreprise, explique Marc Pollefeys. Mais en collaborant avec l'ETH Zurich, Microsoft gagne un avantage lorsqu'il s'agit d'explorer de nouvelles perspectives et de trouver de nouvelles solutions.

Marc Holitscher, National Technology Officer chez Microsoft Suisse, a pu constater de visu les avantages de cette approche. «Notre collaboration avec l'ETH Zurich, et Marc Pollefeys en particulier, a déjà donné d'excellents résultats, stimulant l'innovation dans divers secteurs et contribuant à la position de la Suisse en tant que leader technologique mondial», déclare-t-il. «Ensemble, nous continuons à repousser les limites du possible, en tirant parti de la recherche de pointe, du talent et de la technologie pour relever certains des défis les plus urgents du monde.»

Marc Pollefeys n'hésite pas à souligner que la collaboration avec le secteur privé est également bénéfique pour l'enseignement universitaire : «Les étudiants et étudiantes sont informées des dernières idées et des derniers défis, non seulement par des professeurs et professeures comme moi, mais aussi par les ingénieurs et ingénieurs de Microsoft. Cela leur donne l'occasion de travailler sur des sujets passionnants, de mettre leurs propres idées à l'épreuve et de découvrir de nouvelles technologies appliquées».

La collaboration entre l'université et le géant international de la technologie est clairement une situation gagnant-gagnant, ajoute-t-il : «Lorsque nous travaillons sur un problème avec nos étudiantes et étudiants et que nous leur demandons d'explorer la manière dont une nouvelle technologie peut être appliquée à une situation spécifique, tant eux et elles que les développeuses et développeurs de produits acquièrent de nouvelles connaissances intéressantes. Les étudiants et étudiantes sont supervisées par un expert ou une experte qui a suffisamment d'expérience et de connaissances approfondies du produit pour savoir quand une certaine étape peut être pertinente».

Selon Marc Pollefeys, l'ETH Zurich tire également des avantages du fait que les professeures et professeurs acquièrent une meilleure compréhension du fonctionnement de l'industrie : «Mon travail chez Microsoft me donne un aperçu précieux de la manière dont les décisions sont prises et dont les processus sont gérés dans les grandes entreprises. Cela m'aide à voir l'ensemble du processus de développement technologique dans un contexte plus large».

Un autre avantage des projets communs est qu'ils et elles encouragent la mise en réseau au sein même de l'ETH Zurich - comme Marc Pollefeys l'avait envisagé lorsqu'il a pris ses fonctions de professeur à Zurich. Il collabore actuellement avec une collègue, Siyu Tang, pour développer une nouvelle méthode de génération de données à l'aide d'avatars autonomes. «Équiper ces personnages virtuels d'un HoloLens s'avère être un excellent moyen d'obtenir les données dont nous avons besoin pour former et tester des algorithmes - c'est beaucoup plus facile que d'utiliser nous-mêmes le HoloLens pour parcourir un espace physique et en scanner les caractéristiques.»