Expliquer l'essor des communautés extrémistes en ligne

Les communautés «marginales» promouvant des théories du complot et des idéologies extrémistes prospèrent sur les plateformes en ligne grand public. Des chercheuses et chercheurs de la Faculté informatique et communications (IC) de l’EPFL, qui étudient ce phénomène, ont découvert qu’un mécanisme pourrait favoriser l’essor de ces communautés.

Dans leur papier, qui a reçu le prix du meilleur article scientifique lors de la 18e conférence internationale de l'AAAI sur le Web et les médias sociaux (ICWSM), des scientifiques du Laboratoire de science des données (DLAB) décrivent les interactions, c’est-à-dire l’échange de commentaires, entre les membres et les non-membres de ces communautés extrémistes.

En appliquant des techniques d’inférence causale basées sur le texte pour étudier l’impact des interactions marginales sur l’expansion des communautés marginales, les chercheuses et chercheurs ont ciblé trois groupes importants sur Reddit: r/Incel, r/GenderCritical et r/The Donald.

«On sait que des communautés extrémistes sont présentes sur les grandes plateformes sociales en ligne et que ces plateformes tentent de les modérer. Mais même avec la modération, ces communautés ne cessent de croître. Nous nous sommes donc demandé ce qui pouvait alimenter cette croissance», explique Giuseppe Russo, chercheur postdoctoral au DLAB.

«Nous avons constaté que les interactions – qui sont essentiellement un échange de commentaires entre “une utilisatrice ou un utilisateur vulnérable” et une utilisatrice ou un utilisateur déjà actif dans une communauté extrémiste – amenaient les personnes en marge de la société à se rapprocher de ces groupes. Les commentaires ne sont pas manifestes, comme “rejoignez ma communauté”. Il s’agit de discussions thématiques qui attirent l’attention et constituent un moyen astucieux d’échapper aux politiques de modération», poursuit-il.

Les utilisatrices et utilisateurs qui ont eu ces interactions étaient jusqu’à 4,2 points de pourcentage plus susceptibles de rejoindre des communautés marginales que des utilisatrices et utilisateurs similaires n’ayant pas eu ces interactions. Cet effet a été influencé par les caractéristiques des communautés où l’interaction a lieu (par exemple, communautés de gauche ou de droite) et par le langage utilisé dans les interactions. Le langage toxique avait plus de chances (+5 points de pourcentage) d’attirer de nouveaux membres vers les communautés marginales que les interactions non toxiques.

Une fois qu’une utilisatrice ou un utilisateur vulnérable participe à un échange de commentaires, il lui suffit d’un clic pour trouver une communauté extrémiste en ligne, car chaque profil utilisateur indique immédiatement les groupes dans lesquels la personne est active. Les chercheuses et chercheurs ont également constaté que cette méthode de recrutement est propre aux communautés extrémistes – ils ne l’ont pas trouvée dans les communautés relatives au climat, aux jeux, au sport ou autres – ce qui confirme l’hypothèse qu’il pourrait s’agir d’une stratégie délibérée.

«Le mécanisme de recrutement est très simple. Il s’agit d’un échange de commentaires. Une simple discussion suffit à orienter les utilisatrices et utilisateurs vulnérables vers ces communautés nuisibles. Et, une fois qu’ils en font partie, de nombreuses études ont montré qu’ils se radicalisent et deviennent des membres actifs de ces communautés extrémistes», déclare Giuseppe Russo.

Les résultats de la recherche soulèvent d’importantes questions: ce mécanisme de recrutement est-il suffisamment pertinent pour mériter l’attention des politiques de modération des plateformes en ligne et, dans l’affirmative, comment pouvons-nous l’empêcher d’alimenter la croissance de ces communautés extrémistes?

Sur la période d’observation considérée, les chercheuses et chercheurs estiment qu’environ 7,2 %, 3,1 % et 2,3 % des utilisatrices et utilisateurs qui ont rejoint respectivement r/Incels, r/GenderCritical et r/The Donald l’ont fait après avoir interagi avec des membres de ces groupes. Selon eux, cela suggère que les politiques de modération au niveau de la communauté pourraient être accompagnées de sanctions appliquées à chaque utilisatrice ou utilisateur, par exemple en réduisant la visibilité de leurs messages ou en limitant le nombre de commentaires qu’ils peuvent faire dans les communautés les plus sensibles. Les chercheuses et chercheurs estiment que ces mesures peuvent réduire l’impact de ces interactions «marginales» et ralentir le développement des communautés extrémistes sur les plateformes grand public.

«D’un point de vue sociétal, je pense que cette question est extrêmement pertinente pour de nombreuses raisons, notamment parce que nous avons constaté que ces communautés n’ont pas seulement un impact en ligne, mais aussi dans la vie réelle. Nous avons assisté à des émeutes et à des actes de terrorisme. Nous avons vu des femmes prises pour cible et tuées par leurs membres. En réduisant l’accès à ces communautés, nous limitons certainement le risque hors ligne, ce qui est finalement le plus important», conclut Giuseppe Russo.