Donner vie aux pixels vidéo

Lorsqu'elle collabore avec les professeurs d'architecture de l'ETH Zurich Fabio Gramazio et Matthias Kohler sur le projet Flight Assembled Architecture (FAA) Revisited au Musée Guggenheim de Bilbao, Siyu Tang - qui dirige le groupe Computer Vision and Learning à l'Institut d'informatique visuelle de l'ETH Zurich - peut réunir deux grandes fascinations de sa jeunesse: «Au moment de choisir une filière d'études, j'ai dû choisir entre l'architecture et l'informatique. Être informaticienne à l'ETH Zurich signifie que je peux profiter d'une collaboration interdisciplinaire avec des architectes de classe mondiale. C'est une combinaison parfaite pour moi.»

Avec des sommités d'autres domaines

Siyu Tang, spécialiste de la perception et de la modélisation de l'être humain à partir de données visuelles, travaille depuis deux ans et demi à l'ETH Zurich en tant que professeure assistante. Pour elle, le fait que l'environnement de l'ETH Zurich permette une telle collaboration est l'un des ses principaux atouts. «Des personnalités de renommée mondiale travaillent ici dans de nombreux domaines de recherche», dit-elle. Cela ouvre la voie à des projets interdisciplinaires qui, autrement, ne seraient pas possibles à ce niveau élevé.

Pour le projet FAA Revisited, l'équipe de Siyu Tang a peuplé la ville piétonne verticale construite par drones d'avatars autonomes (voir vidéo). Ce faisant, les informaticienens et informaticiens ont pu s'appuyer sur leurs recherches antérieures sur la modélisation d'humains virtuels se déplaçant naturellement dans leur environnement pendant de longues périodes: «La grande différence entre les projets de recherche et les problèmes du monde réel réside dans le fait que les technologies doivent être stables et généralisables dans toutes les conditions. Les avatars du projet FAA Revisited doivent être capables de se déplacer dans la ville pratiquement à l'infini et dans toutes les situations possibles.»

Les rythmes comportementaux apportent la stabilité

Pour y parvenir, l'équipe de Siyu Tang s'est inspirée de la biologie comportementale. Plus les algorithmes précédents fonctionnaient longtemps, plus leurs décisions directionnelles s'égaraient - comme dans les prévisions météorologiques à long terme - étant donné le nombre pratiquement infini de possibilités offertes. Il en résultait des schémas de mouvement d'apparence peu naturelle et des conflits de logique.

L'équipe de Siyu Tang a maintenant adopté les 0,25 secondes nécessaires à un être humain pour percevoir consciemment quelque chose et réagir - peut-être par un mouvement - comme intervalle auquel l'algorithme de mouvement prend des décisions directionnelles. Ce séquençage du mouvement en ces «temps» comportementaux, combiné à l'introduction d'une composante statistique aléatoire dans chaque décision directionnelle, a de profondes conséquences. D'une part, il stabilise le mouvement à long terme et, d'autre part, il confère à ce mouvement une variabilité réaliste.

Simulations pour la formation de chirurgiennes et chirurgiens

Le peuplement du modèle architectural n'est pas le seul projet interdisciplinaire auquel Siyu Tang s'est attaquée en Suisse jusqu'à présent. Depuis le printemps, son équipe travaille sur un deuxième projet ambitieux sous l'égide de l'Hôpital cantonal de Saint-Gall, du Centre hospitalier universitaire vaudois (CHUV) et de l'Hôpital universitaire Balgrist: L'ETH Zurich et la ZHAW (Zürcher Hochschule für Angewandte Wissenschaften) développent, en collaboration avec des partenaires industriels, des outils de simulation destinés à améliorer la formation des chierurgiennes et chirurgiens (voir vidéo). L'objectif est de mettre au point des cours standardisés et performants dans un format comparable à la formation des pilotes. À l'avenir, les chirurgiennes et chirurgiens pourront donc eux aussi se perfectionner à l'aide de simulateurs immersifs. Jusqu'à présent, leur formation s'est déroulée presque exclusivement lors d'opérations réelles ou sur des cadavres, ce qui limite considérablement les possibilités de mettre en pratique ce qu'il et elles ont appris.

S'appuyant sur le travail de sa mère

Les spécialistes du traitement des données visuelles n'en sont encore qu'aux premiers stades de leurs travaux, et les défis sont de taille: comment rendre de manière réaliste dans les dispositifs de RA/RV les hémorragies importantes, les mouvements rapides des chirurgiennes et chirurgiens ou les différentes textures des tissus? Siyu Tang pense que pour y parvenir, son équipe devra analyser les images des caméras multi-vues qui filment les opérations réelles et les intégrer dans un modèle qui peut être appris efficacement et rendu en temps réel.

Pour la jeune scientifique, qui a grandi en Chine, ce projet constitue une motivation personnelle supplémentaire: sa mère, ophtalmologue, s'est rendue en Mauritanie pendant deux ans pour traiter des patientes et patients et former des collègues locaux lorsque Siyu Tang était petite. Elle peut maintenant s'appuyer sur ce travail: «La formation sur simulateur peut permettre des avancées considérables, notamment pour la médecine dans les pays en développement. Le fait que je puisse indirectement poursuivre le travail de ma mère le rend encore plus épanouissant pour moi.»

De l'académie à l'industrie et inversement

Siyu Tang rayonne d'une grande passion pour son domaine et son équipe. Et sa carrière est la preuve qu'elle ne recule pas devant les défis pratiques. Après avoir obtenu une licence en informatique à l'Université de Zhejiang, elle n'a pas immédiatement suivi une voie académique. Elle est passée de l'université d'élite chinoise au secteur privé, en développant des logiciels pour des appareils électroniques grand public. «Mais au bout de deux ans, je me suis ennuyée», remarque-t-elle en riant.

Optant ensuite pour un master, elle a décidé qu'elle voulait étudier non pas en Chine mais en Europe: «De nombreux appareils et instruments de haute qualité que ma mère, médecin, et mon père, ingénieur mécanicien, utilisaient venaient d'Allemagne. De plus, le pays est situé au milieu de l'Europe, ce qui en fait une base idéale pour apprendre à connaître les différents pays.»

Le déménagement à Zurich de l'Institut Max Planck pour les systèmes intelligents de Tübingen, en Allemagne, où elle a dirigé son premier groupe de recherche, est un coup de chance pour Siyu Tang, et pas seulement d'un point de vue scientifique. «Pour notre fils de quatre ans et demi, cette ville est un paradis, avec le lac, toutes les aires de jeux, les forêts environnantes et les montagnes proches. Nous pouvons faire tellement de choses ensemble, en famille, ici.»

Une voie égocentrique vers un comportement naturel

Siyu Tang a également placé la barre très haut en ce qui concerne ses projets de recherche. En plus de donner aux personnes virtuelles des mouvements naturels, elle souhaite qu'à l'avenir, elles se comportent également de manière naturelle. Dans le modèle de projet Flight Assembled Architecture, elles ne se déplaceront plus au hasard dans les pièces, mais interagiront entre elles et avec l'environnement comme de vraies personnes.

Siyu Tang considère que donner aux avatars une vision égocentrique est la clé pour parvenir à des interactions naturelles. Comme de vraies personnes, ils devraient créer un modèle par eux-mêmes de leur environnement à partir de leur perspective à la première personne et en tirer un comportement individuel.

Un impact au-delà de la science

L'architecture n'est pas le seul domaine d'application où l'introduction d'humains virtuels au comportement naturel offrira de nouvelles possibilités. Il sera intéressant de voir quels projets interdisciplinaires permettront aux personnes virtuelles de Siyu Tang de réaliser leur potentiel: «Il est difficile d'imaginer un meilleur environnement de travail que celui de l'ETH Zurich. Je peux inspirer mon équipe de recherche avec ma vision, et ensemble nous pouvons travailler avec d'autres groupes de recherche pour faire le genre de différence qui va au-delà de la connaissance scientifique.»