Simuler la vue, l'odorat et le déplacement des drosophiles

Des scientifiques de l’EPFL ont perfectionné leur modèle NeuroMechFly, capable de simuler les déplacements de drosophiles dans le monde réel. Grâce à l’intégration de la vue et de l’odorat, cet outil aide à comprendre les interactions entre le cerveau et le corps, ouvrant la voie à davantage de synergies entre neuro-ingénierie, robotique et IA.
NeuroMechflyv2 se déplaçant dans un environnement dynamique et semé d’obstacles. Grâce à ces nouvelles capacités sensorielles et motrices le modèle est capable de se déplacer dans cet environnement. © Laboratoire de Pavan Ramdya, EPFL.

Tous les animaux, grands ou petits, doivent se déplacer avec une précision incroyable pour interagir de façon adéquate avec le monde. Comprendre comment le cerveau contrôle le mouvement est une question fondamentale en neurosciences. Pour les animaux de plus grande taille, c’est difficile en raison de la complexité et redondance de leur système nerveux. Mais la drosophile, Drosophila melanogaster, possède un cerveau plus petit et donc plus facile à cartographier, ce qui permet aux scientifiques d’obtenir des informations plus complètes sur la manière dont son système nerveux contrôle le comportement.

C’est dans le but de comprendre comment le système nerveux contrôle les actions que des chercheuses et chercheurs de l’équipe de Pavan Ramdya de l’EPFL ont créé un monde virtuel dans laquelle une mouche peut fonctionner et réagir comme le font les vraies mouches. Ce programme, appelé NeuroMechFly v2, implémente un modèle neuromécanique qui va au-delà des fonctions motrices de base. En intégrant la vue et l’odorat et un retour moteur dans des terrains complexes, NeuroMechFly v2 simule la façon dont une drosophile se déplacerait dans son environnement tout en réagissant aux images, aux odeurs et aux obstacles.

Simulation des sens et des tâches de la vie réelle

Les recherches de Pavan Ramdya ont porté sur la reproduction numérique des principes qui sous-tendent le contrôle moteur de la drosophile. En 2019, son équipe a publié DeepFly3D, un logiciel qui utilise l’apprentissage profond pour capturer le mouvement des pattes de la mouche à partir d’images provenant de plusieurs caméras. En 2021, l’équipe de Pavan Ramdya a présenté LiftPose3D, une méthode de reconstruction 3D de poses d’animaux à partir d’images prises avec une seule caméra. Ces efforts ont été complétés par la publication en 2022 de NeuroMechFly, un premier «jumeau» numérique de la drosophile.

Avec la deuxième version de NeuroMechFly, les chercheuses et chercheurs ont ajouté des caractéristiques détaillées qui imitent l’anatomie et la physiologie réelles de la mouche. Par exemple, à l’aide de vidéos de vraies mouches, ils ont soigneusement ajusté la position et la démarche du modèle afin qu’elles correspondent mieux à la biomécanique des mouvements réels des drosophiles. Le «cerveau» du modèle peut désormais traiter les informations visuelles et olfactives via des antennes et des yeux virtuels, lui offrant une expérience sensorielle proche de celle d’une véritable drosophile.

Cette configuration permet à NeuroMechFly v2 de simuler différentes stratégies de contrôle pour des tâches réelles telles que marcher sur un terrain accidenté ou tourner en réponse à des odeurs et des signaux visuels. L’équipe a démontré que le modèle est capable de résoudre des tâches complexes similaires à celles rencontrés par les vraies drosophiles. Par exemple, le modèle peut suivre visuellement un objet en mouvement ou se diriger vers une source d’odeur, tout en évitant les obstacles sur son chemin.

Modéliser les activités neuronales pour comprendre les comportements clés des mouches des fruits

NeuroMechFly permet également aux chercheuses et chercheurs de simuler l’activité des neurones dans le cerveau en se basant sur l’expérience de la mouche dans le monde virtuel. «En interfaçant NeuroMechFly v2 avec un modèle informatique récemment publié du système visuel de la mouche, les chercheuses et chercheurs peuvent lire non seulement ce que la mouche voit dans l’environnement simulé, mais aussi comment les vrais neurones pourraient réagir», explique Sibo Wang-Chen, qui a dirigé la recherche.

En se basant sur l’activité de ces neurones et leur évolution dans le temps, les scientifiques ont modélisé la façon dont la mouche pourrait poursuivre une autre mouche, par exemple lors d’une parade nuptiale, d’une manière biologiquement plausible. Cela a été possible grâce au système de contrôle hiérarchique du modèle, qui permet aux fonctions «cérébrales» de niveau supérieur d’interagir avec les fonctions motrices de niveau inférieur – une organisation qui reproduit la façon dont les animaux traitent les données sensorielles et contrôlent leur corps.

Enfin, les chercheuses et chercheurs peuvent également utiliser NeuroMechFly v2 pour étudier comment le cerveau intègre les signaux sensoriels afin de construire et maintenir une représentation mentale de son environnement. Pour le démontrer, l’équipe de Pavan Ramdya a reproduit la capacité de la mouche à utiliser leur perception des mouvements de leurs pattes pour se repérer – un comportement appelé intégration de trajectoire. Cette caractéristique permet à la mouche simulée de «savoir» où elle se trouve, même en l’absence d’information visuelle. Ce type de traitement sensoriel en boucle fermée est une marque distinctive de l’intelligence biologique et une étape cruciale pour la neuro-ingénierie.

Coordination entre le cerveau et le corps, source d’inspiration pour la robotique et l’IA

Pris dans son ensemble, NeuroMechFly v2 permet aux chercheuses et chercheurs d'explorer comment le cerveau contrôle des comportements cruciaux en utilisant des modèles informatiques. Cela ouvre la voie à une meilleure compréhension de la coordination cerveau-corps, notamment pour les espèces dotées de systèmes sensorimoteurs complexes. À l'avenir, ce modèle pourrait servir de base pour concevoir des robots qui se déplacent au gré des indices sensoriels, pour suivre des odeurs ou ajuster leurs mouvements pour stabiliser leur vision à l'image des animaux réels explorant leur environnement.

En améliorant les modèles d’apprentissage machine qui contrôlent ces simulations, les chercheuses et chercheurs peuvent également comprendre comment l'intelligence animale peut inspirer des systèmes d’IA plus autonomes, robustes et capables de réagir à leur environnement.

Plus d'informations

Autres contributeurs

Laboratoire de biorobotique de l’EPFL

Financement

  • Fonds national suisse de la recherche scientifique (FNS)
  • Fonds Boehringer Ingelheim
  • Bourse d’excellence de la Confédération suisse pour le doctorat
  • Google

Références

Wang-Chen, S., Stimpfling, V. A., Lam, T. K. C., Özdil, P. G., Genoud, L., Hurtak, F. et Ramdya, P., NeuroMechFly v2: simulating incodied sensorimotor control in adult Drosophila, Nature Methods 12 novembre 2024