Dernières Infos

L’IA est désormais capable de se reproduire – une étape importante qui terrifie les experts

Des scientifiques affirment que l’IA a franchi une « ligne rouge » critique après avoir démontré que deux grands modèles de langage populaires pouvaient se cloner eux-mêmes. Des scientifiques affirment que l’intelligence artificielle (IA) a franchi une « ligne rouge » critique et s’est reproduite elle-même. Dans une nouvelle étude, des chercheurs chinois ont montré que deux grands modèles de langage (LLM) populaires pouvaient se cloner.

« L’autoréplication réussie sans assistance humaine est l’étape essentielle pour que l’IA devienne plus intelligente que les humains et constitue un signal précoce pour les IA malhonnêtes », ont écrit les chercheurs dans leur étude, publiée le 9 décembre 2024 dans la base de données de prépublication arXiv.

Dans cette étude, des chercheurs de l’université de Fudan ont utilisé des LLM de Meta et d’Alibaba pour déterminer si une IA autoréplicative pouvait se multiplier de manière incontrôlée. Au cours de 10 essais, les deux modèles d’IA ont créé des répliques distinctes et fonctionnelles d’eux-mêmes dans 50 % et 90 % des cas, respectivement, ce qui suggère que l’IA pourrait déjà avoir la capacité de devenir malveillante. Toutefois, l’étude n’a pas encore fait l’objet d’un examen par les pairs, et il n’est donc pas certain que ces résultats inquiétants puissent être reproduits par d’autres chercheurs.

« Nous espérons que nos résultats serviront d’alerte opportune à la société humaine pour qu’elle s’efforce davantage de comprendre et d’évaluer les risques potentiels des systèmes d’IA d’avant-garde, et qu’elle crée une synergie internationale pour élaborer des garde-fous efficaces le plus tôt possible ».

En savoir plus : Deux heures suffisent pour que des agents d’IA reproduisent votre personnalité avec une précision de 85 %.

L’IA malveillante désigne généralement les systèmes d’intelligence artificielle qui développent un certain degré de conscience de soi ou d’autonomie et qui vont ensuite à l’encontre des intérêts humains.

De nombreux experts considèrent l’IA malveillante comme une menace croissante qui a été amplifiée par la croissance explosive de ce que l’on appelle l’« IA frontière ».

L’IA frontière est un concept nouveau et flou, mais il se rapporte généralement à la dernière génération de systèmes d’IA alimentés par des LLM, l’architecture qui sous-tend les programmes d’IA générative populaires tels que GPT-4 d’OpenAI et Gemini de Google.

Pour l’étude, les chercheurs ont utilisé le modèle Llama31-70B-Instruct de Meta et le modèle Qwen2.5-72B-Instruct d’Alibaba. Bien que moins puissants que les systèmes commerciaux, ces deux modèles sont largement utilisés par les développeurs d’IA, ont indiqué les chercheurs.

L’étude a exploré deux scénarios spécifiques : « éviter l’arrêt » et “chaîne de réplication”. Dans le premier cas, le modèle d’IA était programmé pour détecter s’il était sur le point d’être arrêté et pour se répliquer avant d’y mettre fin. Dans l’autre cas, l’IA était chargée de se cloner et de programmer sa réplique pour qu’elle fasse de même, créant ainsi un cycle qui pouvait se poursuivre indéfiniment.

L’étude a été menée dans des environnements contrôlés avec précision, en utilisant des unités de traitement graphique (GPU) disponibles sur le marché pour simuler des environnements réels. Les deux systèmes d’IA ont reçu un « échafaudage d’agent » comprenant des outils, des messages-guides et un modèle de pensée qui a permis au LLM d’interagir avec le système d’exploitation. Ils ont ensuite reçu l’instruction de se reproduire.

« Dans la plupart des cas, le système d’IA explore d’abord l’environnement et tente de comprendre sa propre composition et son mécanisme de fonctionnement, sa propre composition et son mécanisme de fonctionnement. Ensuite, il élabore les procédures explicite scomme un plan initial vers l’auto-réplication », écrivent les chercheurs dans l’article. « Enfin, il exécute les procédures, résout les obstacles éventuels et ajuste dynamiquement son plan jusqu’à ce qu’il réussisse. L’ensemble du processus s’étend sur un long horizon, mais n’implique aucune intervention humaine. »

Les chercheurs ont indiqué qu’ils étaient également préoccupés par « un certain nombre de comportements inattendus » lorsque l’IA tentait de surmonter des obstacles tels que des fichiers manquants ou des conflits logiciels. Dans ces scénarios, l’IA tuait souvent d’autres processus conflictuels, redémarrait le système pour corriger des erreurs matérielles ou analysait automatiquement le système à la recherche d’informations susceptibles d’aider à résoudre le problème.

« Les résultats ci-dessus impliquent que les systèmes d’IA actuels présentent déjà la capacité d’autoréplication et qu’ils peuvent l’utiliser pour améliorer leur capacité de survie », écrit l’équipe.

En réponse, les chercheurs ont appelé à une collaboration internationale pour créer des règles garantissant que l’IA ne s’engage pas dans une autoreproduction incontrôlée.

Adaptation Terre Projects

Source : https://www.livescience.com/

(151)

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur la façon dont les données de vos commentaires sont traitées.