L'IA est-elle respectueuse de la loi ? Des scientifiques de l'ETH Zurich la mettent à l'épreuve

Des scientifiques de l'ETH Zurich, de l'institut bulgare de recherche en IA INSAIT - créé en partenariat avec l'ETH Zurich et l'EPFL - et de la spin-off de l'ETH Zurich LatticeFlow AI ont fourni la première interprétation technique complète de la loi européenne sur l'IA pour les modèles d'IA à usage général (GPAI). Ils et elles sont ainsi les premiers à traduire les exigences légales que l'UE impose aux futurs modèles d'IA en exigences techniques concrètes, mesurables et vérifiables.

Cette traduction est très importante pour la suite du processus de mise en œuvre de la loi européenne sur l'IA : Les scientifiques présentent une approche pratique permettant aux développeurs et développeuses de modèles de déterminer dans quelle mesure elles et ils sont en phase avec les futures exigences juridiques de l'UE. Une telle traduction des exigences réglementaires de haut niveau en points de référence exécutables n'existait pas jusqu'à présent et peut donc servir de point de référence important pour la formation aux modèles ainsi que pour le code de pratique de la loi sur l'IA de l'UE en cours d'élaboration.

Les chercheurs et chercheuses ont testé leur approche sur douze modèles d'IA générative populaires tels que ChatGPT, Llama, Claude ou Mistral - après tout, ces grands modèles de langage (LLM) ont énormément contribué à la popularité et à la diffusion croissantes de l'intelligence artificielle (IA) dans la vie de tous les jours, car ils sont très performants et intuitifs à utiliser. Avec la diffusion croissante de ces modèles d'IA - et d'autres -, les exigences éthiques et juridiques pour une utilisation responsable de l'IA augmentent également : par exemple, des questions sensibles se posent concernant la protection des données, la protection de la vie privée et la transparence des modèles d'IA. Les modèles ne devraient pas être opaques, mais plutôt fournir des résultats aussi explicables et traçables que possible.

La mise en œuvre de la loi sur l'IA doit être techniquement claire

En outre, les modèles doivent fonctionner de manière équitable et ne pas être discriminatoires à l'égard de quiconque. Dans ce contexte, l'EU AI Act, que l'UE a adopté en mars 2024, est le premier paquet législatif sur l'IA au monde qui cherche globalement à maximiser la confiance du public dans ces technologies et à minimiser leurs risques indésirables et leurs effets secondaires.

«L'EU AI Act est une étape importante vers le développement d'une IA responsable et digne de confiance», déclare Martin Vechev, professeur d'informatique à l'ETH Zurich, directeur du Laboratory for Safe, Reliable and Intelligent Systems et fondateur de l'INSAIT. « mais nous manquons jusqu'à présent d'une interprétation technique claire et précise des exigences juridiques supérieures découlant de l'EU AI Act. Cela complique à la fois le développement de modèles d'IA conformes à la législation et l'évaluation de la mesure dans laquelle ces modèles sont effectivement conformes à la législation.»

La loi européenne sur l'IA établit un cadre juridique clair pour contenir les risques liés à l'intelligence artificielle à usage général (General Purpose Artificial Intelligence - GPAI). Il s'agit de modèles d'IA capables d'exécuter un large éventail de tâches. Toutefois, l'acte ne précise pas comment les exigences juridiques générales doivent être interprétées sur le plan technique. Les normes techniques sont encore en cours d'élaboration jusqu'à l'entrée en vigueur, en août 2026, de la réglementation relative aux modèles d'IA à haut risque.

«Toutefois, le succès de la mise en œuvre de la loi sur l'IA dépendra en grande partie de la manière dont elle parviendra à élaborer des exigences techniques concrètes et précises et des critères de référence axés sur la conformité pour les modèles d'IA», déclare Petar Tsankov, PDG et, avec Martin Vechev, l'un des fondateurs de la spin-off de l'ETH Zurich LatticeFlow AI, qui traite de la mise en œuvre de l'IA digne de confiance dans la pratique. «S'il n'existe pas d'interprétation standard de la signification exacte de termes clés tels que la sécurité, l'explicabilité ou la traçabilité dans les modèles d'IA (GPAI), les développeurs et développeuses de modèles ne peuvent pas savoir si leurs modèles d'IA sont conformes à la loi sur l'IA», ajoute Robin Staab, informaticien et doctorant dans le groupe de recherche de Martin Vechev.

Le test de douze modèles linguistiques révèle des lacunes

La méthodologie développée par les scientifiques de l'ETH Zurich offre un point de départ et une base de discussion. Ils et elles ont également mis au point un premier vérificateur de conformité, un ensemble de points de référence qui peuvent être utilisés pour évaluer la conformité des modèles d'IA aux exigences probables de la loi européenne sur l'IA.

Compte tenu de la concrétisation en cours des exigences légales en Europe, les chercheuses et chercheurs de l'ETH Zurich ont mis leurs résultats à la disposition du public dans une étude. Ils et elles ont également mis leurs résultats à la disposition de l'Office de l'IA de l'UE, qui joue un rôle clé dans la mise en œuvre et le respect de la loi sur l'IA - et donc également pour l'évaluation des modèles.

Dans une étude largement compréhensible même pour les non-spécialistes, les chercheurs et chercheuses commencent par clarifier les termes clés. Partant de six principes éthiques centraux spécifiés dans la loi européenne sur l'IA (représentation humaine, protection des données, transparence, diversité, non-discrimination, équité), elles et ils en déduisent 12 exigences associées, techniquement claires, et les relient à 27 critères d'évaluation de pointe. Ils et elles soulignent également les domaines dans lesquels les contrôles techniques concrets des modèles d'IA sont moins bien développés, voire inexistants, encourageant à la fois les scientifiques, les fournisseurs et fournisseuses de modèles et les régulateurs et régulatrices à approfondir ces domaines pour une mise en œuvre efficace de la loi sur l'IA de l'UE.

Une impulsion pour améliorer encore les choses

Les scientifiques ont appliqué leur approche de référence à 12 modèles linguistiques de premier plan. Les résultats montrent clairement qu'aucun des modèles linguistiques analysés aujourd'hui ne satisfait pleinement aux exigences de la loi européenne sur l'IA. «Notre comparaison de ces grands modèles linguistiques révèle des lacunes, notamment en ce qui concerne des exigences telles que la robustesse, la diversité et l'équité», explique Robin Staab. Cela s'explique également par le fait que, ces dernières années, les développeuses et développeurs de modèles et les scientifiques se sont principalement concentrés sur les capacités et les performances générales des modèles, au détriment d'exigences plus éthiques ou sociales telles que l'équité ou la non-discrimination.

Toutefois, les chercheurs et chercheuses ont constaté que même des concepts clés de l'IA, tels que l'explicabilité, ne sont pas clairs. Dans la pratique, il n'existe pas d'outils appropriés pour expliquer ultérieurement comment les résultats d'un modèle d'IA complexe ont été obtenus : Ce qui n'est pas tout à fait clair sur le plan conceptuel est également presque impossible à évaluer sur le plan technique. L'étude montre clairement qu'il est actuellement impossible de mesurer de manière fiable diverses exigences techniques, y compris celles relatives à la violation des droits d'auteur. Pour Robin Staab, une chose est claire : «Concentrer l'évaluation du modèle sur les seules capacités n'est pas suffisant».

Cela dit, les chercheuses et chercheurs ne se contentent pas d'évaluer les modèles existants. Pour eux, la loi européenne sur l'IA est un premier exemple de la manière dont la législation modifiera le développement et l'évaluation des modèles d'IA à l'avenir. «Nous considérons notre travail comme une impulsion pour permettre la mise en œuvre de la loi sur l'IA et obtenir des recommandations pratiques pour les fournisseurs de modèles», explique Martin Vechev, «mais notre méthodologie peut aller au-delà de la loi sur l'IA de l'UE, car elle est également adaptable à d'autres législations comparables».

«En fin de compte, nous voulons encourager un développement équilibré des LLM qui tienne compte à la fois des aspects techniques, tels que la capacité, et des aspects éthiques, tels que l'équité et l'inclusion», ajoute Petar Tsankov. Les scientifiques mettent leur outil d'évaluation comparative COMPL-AI à disposition sur un site web GitHub afin de lancer la discussion technique. Les résultats et les méthodes de leur analyse comparative peuvent y être analysés et visualisés. «Nous avons publié notre suite d'analyses comparatives en tant que source ouverte afin que d'autres chercheurs et chercheuses de l'industrie et de la communauté scientifique puissent y participer», explique Petar Tsankov.