ChatGPT pourrait-il obtenir un diplôme d'ingénieur?

ChatGPT est arrivé sur la scène publique fin 2022, attirant plus de 100 millions d’utilisatrices et d’utilisateurs dès le premier mois. Depuis, les exemples sur la façon dont l’IA va transformer la société dans les années à venir se multiplient, de l’emploi à la communication en passant par l’éducation.

Dans l’enseignement supérieur, la communauté étudiante utilise de plus en plus les assistants IA. Bien que ces outils offrent des possibilités d’amélioration de l’enseignement et de l’éducation, ils posent aussi d’importants défis en matière d’évaluation et de résultats d’apprentissage. Or, jusqu’à présent, il n’y a pas eu d’étude approfondie de leur impact potentiel sur les méthodes d’évaluation utilisées par les établissements d’enseignement.

Dans un article publié dans les Proceedings of the National Academy of Sciences (PNAS), des chercheuses et chercheurs de la Faculté informatique et communications de l’EPFL ont mené une étude à grande échelle sur 50 cours de l’EPFL afin de mesurer les performances actuelles des grands modèles de langage (LLM) dans les évaluations de cours de l’enseignement supérieur. Les cours qui ont été sélectionnés font partie de neuf programmes en ligne, de Bachelor et de Master, et couvrent un vaste ensemble de disciplines STEM, dont l’informatique, les mathématiques, la biologie, la chimie, la physique et la science des matériaux.

«Nous avons eu la chance qu’un grand consortium de professeurs, professeures, enseignantes, enseignants, et assistantes et assistants d’enseignement de l’EPFL nous a aidés à collecter le plus vaste ensemble de données à ce jour sur les supports de cours, les évaluations et les examens afin d’obtenir une diversité de supports pour nos programmes d’études», explique Antoine Bosselut, professeur assistant, responsable du Laboratoire de traitement du langage naturel (NLP) et membre du Centre IA de l’EPFL. «Ces données ont été rassemblées dans un format qui, selon nous, ressemblerait le plus à la manière dont les étudiantes et étudiants communiqueraient ces informations aux modèles. Ensuite, nous avons généré des réponses à partir des modèles et regardé dans quelle mesure ils répondaient.»

En se concentrant sur GPT-3.5 et GPT-4, les scientifiques ont utilisé huit stratégies de prompting pour produire des réponses. Ils ont constaté que GPT-4 répond correctement en moyenne à 65,8% des questions et peut même fournir la bonne réponse dans au moins une stratégie de prompting pour 85,1% des questions.

«Nous avons été surpris par les résultats. Personne ne s’attendait à ce que les assistants IA obtiennent un pourcentage aussi élevé de bonnes réponses dans autant de cours. Il est important de noter que les 65% de réponses correctes ont été obtenues à l’aide de la stratégie de prompting la plus élémentaire, sans connaissance, de sorte que n’importe qui, sans comprendre quoi que ce soit sur le plan technique, pouvait y parvenir. Avec une certaine connaissance du sujet, ce qui est typique, il a été possible d’atteindre un taux de réussite de 85%, ce qui a vraiment été un choc», indique Anna Sotnikova, scientifique au NPL et co-auteure de l’article.

Impact de l’IA sur l’apprentissage et le développement des compétences du corps étudiant

Les chercheuses et chercheurs ont théoriquement fondé les problèmes de vulnérabilité liés à l’utilisation de ces systèmes d’IA par les étudiantes et étudiants. D’une part, la vulnérabilité de l’évaluation ou la question de savoir si ces systèmes peuvent «détourner» les évaluations traditionnellement utilisées et, d’autre part, la vulnérabilité éducative, c’est-à-dire si ces systèmes peuvent être utilisés pour contourner les voies cognitives typiques empruntées par les étudiantes et étudiants pour acquérir les compétences académiques dont ils ont besoin.

Dans ce contexte, les chercheuses et chercheurs estiment que les résultats de l’étude soulèvent des questions claires sur la manière de garantir que les étudiantes et étudiants soient en mesure d’apprendre les concepts de base nécessaires pour appréhender plus tard des sujets plus complexes.

«La crainte est que si ces modèles sont aussi performants que ce que nous indiquons, les étudiantes et étudiants qui les utilisent pourraient raccourcir le processus d’apprentissage de nouveaux concepts. Cela pourrait affaiblir les bases de certaines compétences dès le départ, rendant plus difficile l’apprentissage de concepts plus complexes par la suite. Peut-être faut-il débattre de ce que nous devrions enseigner en premier lieu afin de trouver les meilleures synergies entre les technologies dont nous disposons et ce que les étudiantes et étudiants feront dans les décennies à venir», déclare Antoine Bosselut.

Un autre point clé du développement des assistants IA est qu’ils ne vont pas empirer, ils vont seulement s’améliorer. Dans cette recherche, achevée il y a un an, un seul modèle a été utilisé pour toutes les matières et, par exemple, les questions de mathématiques posaient des difficultés particulières. Il existe maintenant des modèles spécifiques pour les mathématiques. La conclusion des scientifiques est que si l’étude était relancée aujourd’hui, les chiffres seraient encore plus élevés.

Mettre l’accent sur les évaluations complexes et adapter l’éducation

«À court terme, nous devrions insister pour que les évaluations soient plus difficiles, non pas dans le sens de la difficulté des questions, mais dans le sens de la complexité de l’évaluation elle-même, où de multiples compétences doivent être tirées de différents concepts qui sont appris tout au long du cours pendant le semestre et qui sont rassemblés dans une évaluation globale, suggère Antoine Bosselut. Les modèles ne sont pas encore vraiment conçus pour planifier et travailler de cette manière et en fin de compte, nous pensons que cet apprentissage par projet est de toute façon meilleur pour les étudiantes et étudiants.»

«L’IA pose de nombreux défis aux établissements d’enseignement supérieur. Par exemple: quelles nouvelles compétences sont requises pour les futurs diplômés, quelles compétences deviennent obsolètes, comment pouvons-nous fournir un feedback à grande échelle et comment pouvons-nous mesurer les connaissances? Ce genre de questions revient dans presque toutes les réunions de direction à l’EPFL. Ce qui compte le plus, c’est que nos équipes lancent des projets qui apportent des réponses fondées sur des données probantes au plus grand nombre d’entre elles possible», explique Pierre Dillenbourg, vice-président des affaires académiques à l’EPFL.

À plus long terme, il est clair que les systèmes éducatifs devront s’adapter. Les chercheuses et chercheurs souhaitent que ce projet en cours atteigne les éducatrices et éducateurs, afin d'appliquer les études et les recommandations sur ce qu’ils trouveront utile.

«Ce n’est que le début et je pense qu’on peut faire une analogie entre les LLM actuels et les calculatrices. Lorsqu’elles ont été introduites, il y avait les mêmes inquiétudes quant au fait que les enfants n’apprendraient plus les mathématiques. Aujourd’hui, dans les premières phases de l’éducation, les calculatrices ne sont généralement pas autorisées, mais à partir des degrés supérieurs, elles sont présentes, pour effectuer les tâches de niveau inférieur pendant que les étudiantes et étudiants acquièrent des compétences plus avancées qui dépendent d’elles», ajoute Beatriz Borges, doctorante au NLP et co-auteure de l’article.

«Je pense que nous assisterons à une adaptation similaire et progressive, et à une évolution vers une compréhension de ce que ces systèmes peuvent faire pour nous et de ce que nous ne pouvons pas attendre d’eux. En fin de compte, nous incluons des suggestions pratiques pour mieux soutenir la communauté étudiante, le corps enseignant, les administratrices et administrateurs et chaque individu durant cette transition, tout en contribuant à réduire certains des risques et vulnérabilités décrits dans l’article», conclut-elle.

Le Centre IA de l’EPFL réunit 80 laboratoires et professeurs. Il compte 1000 affiliés, ouvrant la voie à une IA fiable, accessible et inclusive.