Tweet

Une nouvelle architecture remplace les goulots d’étranglement traditionnels par un fonctionnement passif, à vitesse de la lumière et à action unique, qui pourrait devenir le matériel de base de l’AGI (IA Générale), affirment les scientifiques. Les scientifiques ont mis au point une architecture fondamentale pour l’informatique optique de nouvelle génération, qui utilise la lumière plutôt que l’électricité pour alimenter les puces, et qui pourrait révolutionner la manière dont les modèles d’intelligence artificielle (IA) sont formés et exécutés.

Au cœur des grands modèles linguistiques (LLM) et de ceux basés sur l’apprentissage profond se trouve une structure organisationnelle pondérée appelée « tenseur », qui fonctionne comme un classeur avec des notes autocollantes indiquant les tiroirs les plus utilisés.

Lorsqu’un modèle d’IA est formé pour effectuer une tâche ou une fonction, telle que la reconnaissance d’une image ou la prédiction d’une chaîne de texte, il trie les données dans ces tenseurs. Dans les systèmes d’IA modernes, la vitesse à laquelle les modèles peuvent traiter les données des tenseurs, ou trier les classeurs, constitue un goulot d’étranglement fondamental en termes de performances, qui représente une limite stricte à la taille que peut atteindre un modèle.

Dans l’informatique classique basée sur la lumière, les modèles analysent les tenseurs en déclenchant plusieurs fois des réseaux laser. Ils fonctionnent comme une machine qui scanne le code-barres d’un colis pour déterminer son contenu, sauf que dans ce cas, chaque conteneur fait référence à un problème mathématique. La puissance de traitement nécessaire pour calculer ces chiffres dépend des capacités inhérentes aux modèles.

Bien que l’informatique basée sur la lumière soit plus rapide et plus économe en énergie à petite échelle, la plupart des systèmes optiques ne peuvent pas fonctionner en parallèle. Contrairement aux processeurs graphiques (GPU), qui peuvent être reliés entre eux pour augmenter de manière exponentielle la puissance et la disponibilité de traitement, les systèmes basés sur la lumière fonctionnent généralement de manière linéaire. Pour cette raison, la plupart des développeurs délaissent l’informatique optique au profit des avantages du traitement parallèle, qui offre une puissance accrue à grande échelle.

Ce goulot d’étranglement en matière d’évolutivité explique pourquoi les modèles les plus puissants créés par OpenAI, Anthropic, Google et xAI nécessitent des milliers de GPU fonctionnant en tandem pour être entraînés et exploités.

Le résultat est une conception matérielle fondamentale pour l’IA qui offre la possibilité d’augmenter la vitesse de traitement des tenseurs d’un système d’IA donné au-delà des capacités matérielles électroniques de pointe, tout en réduisant son empreinte énergétique.

Matériel informatique optique et IA de nouvelle génération
L’étude, publiée le 14 novembre dans la revue Nature Photonics, détaille les résultats d’un prototype informatique optique expérimental ainsi qu’une série de tests comparatifs par rapport aux schémas de traitement optique et GPU standard.

Les scientifiques ont utilisé une configuration spécifique de composants matériels optiques conventionnels ainsi qu’une nouvelle méthode de codage et de traitement pour capturer et analyser des paquets de tenseurs en un seul tir laser.

Adaptation Terra Projects

Source : https://www.livescience.com/

(0)