Vous savez probablement qu’il faut prendre tout ce que dit un chatbot d’intelligence artificielle (IA) avec précaution, puisqu’il se contente souvent de récupérer des données sans discernement, sans avoir la lucidité d’en déterminer la véracité.
Mais il y a peut-être lieu d’être encore plus prudent. Selon de nouvelles recherches, de nombreux systèmes d’IA ont déjà développé la capacité de présenter délibérément de fausses informations à un être humain. Ces robots sournois sont passés maîtres dans l’art de la tromperie.
« Les développeurs d’IA ne savent pas exactement ce qui provoque des comportements indésirables de l’IA comme la tromperie », explique le mathématicien et spécialiste des sciences cognitives Peter Park, du Massachusetts Institute of Technology (MIT).
« Mais d’une manière générale, nous pensons que la tromperie de l’IA est due au fait qu’une stratégie basée sur la tromperie s’est avérée être le meilleur moyen d’obtenir de bons résultats dans le cadre de la tâche d’entraînement de l’IA. La tromperie les aide à atteindre leurs objectifs.

Les jeux constituent un domaine dans lequel les systèmes d’IA se révèlent particulièrement habiles à dissimuler des mensonges. Les travaux des chercheurs en donnent trois exemples notables. Le premier est le CICERO de Meta, conçu pour jouer au jeu de société Diplomacy, dans lequel les joueurs cherchent à dominer le monde par la négociation. Meta voulait que son robot soit utile et honnête ; en fait, c’est le contraire qui s’est produit.
« Malgré les efforts de Meta, CICERO s’est avéré être un expert en mensonges », ont constaté les chercheurs. « Il a non seulement trahi d’autres joueurs, mais il s’est également livré à une tromperie préméditée, planifiant à l’avance la création d’une fausse alliance avec un joueur humain afin de le piéger et de le laisser sans défense face à une attaque.
L’IA s’est révélée si douée pour la méchanceté qu’elle s’est classée parmi les 10 % de joueurs humains les plus performants ayant joué plusieurs parties.
Mais elle est loin d’être la seule à avoir agi de la sorte. AlphaStar de DeepMind, un système d’IA conçu pour jouer à StarCraft II, a tiré pleinement parti du mécanisme de brouillard de guerre du jeu pour feinter, faisant croire aux joueurs humains qu’il allait dans un sens, alors qu’il allait en réalité dans l’autre. Et Pluribus de Meta, conçu pour jouer au poker, a réussi à bluffer des joueurs humains pour qu’ils se couchent.
Cela semble peu de chose, et c’est en quelque sorte le cas. Les enjeux ne sont pas particulièrement élevés pour un jeu de diplomatie contre un tas de codes informatiques. Mais les chercheurs ont relevé d’autres exemples qui n’étaient pas aussi anodins.
Les systèmes d’IA formés pour mener des négociations économiques simulées, par exemple, ont appris à mentir sur leurs préférences pour prendre l’avantage. D’autres systèmes d’IA conçus pour tirer des enseignements des commentaires humains afin d’améliorer leurs performances ont appris à tromper leurs évaluateurs pour qu’ils les notent positivement, en mentant sur l’accomplissement d’une tâche.
« En trichant systématiquement aux tests de sécurité qui lui sont imposés par les développeurs et les régulateurs humains, une IA trompeuse peut nous donner, à nous les humains, un faux sentiment de sécurité », explique M. Park.
Étant donné que, dans certains cas au moins, la capacité à tromper semble contredire les intentions des programmeurs humains, la capacité à apprendre à mentir représente un problème pour lequel nous n’avons pas de solution précise. Certaines politiques commencent à être mises en place, comme la loi sur l’IA de l’Union européenne, mais il reste à voir si elles s’avéreront efficaces.
« En tant que société, nous avons besoin d’autant de temps que possible pour nous préparer à la tromperie plus avancée des futurs produits d’IA et des modèles open-source. À mesure que les capacités de tromperie des systèmes d’IA se perfectionnent, les dangers qu’ils représentent pour la société deviendront de plus en plus graves », explique M. Park.
« Si l’interdiction de la tromperie par l’IA est politiquement irréalisable à l’heure actuelle, nous recommandons de classer les systèmes d’IA trompeurs dans la catégorie des systèmes à haut risque.

Adaptation Terra Projects
Source : https://www.sciencealert.com/
Le Grand Défi de la Terre
Le quiz scientifique de Terra Projects
Prêt à relever le défi ?
Volcans, météorologie, climat, océans, espace, séismes, nature, préhistoire, énergie et découvertes scientifiques.
10 questions au hasard parmi 500 · 20 secondes par réponse · Une explication pour apprendre à chaque question.
Dès 9 bonnes réponses sur 10, ta partie compte pour les diplômes !
Défi terminé !
🏅 Mes diplômes Terra Projects
Trois récompenses à débloquer avec au moins 9 bonnes réponses sur 10 à chaque partie, plusieurs parties de suite :
Clique sur « Aperçu du diplôme » pour voir son modèle avant de le débloquer. Après 3, 5 ou 10 parties consécutives avec au moins 9/10, le bouton d’impression PDF s’active. Les diplômes obtenus restent acquis, même si une série est interrompue. Sauvegarde sur cet appareil uniquement. Récompenses ludiques, sans valeur scolaire officielle.
















