Amazon vs OpenAI : La course à Stargate

Un ingénieur,penché sur un classeur,extrait un disque de la taille d’un ballon de plage d’une boîte. Un bruit sourd résonne dans le laboratoire.

Il révèle ensuite un wafer de silicium doré, scintillant sous la lumière fluorescente. Ce disque est divisé en une centaine de tuiles rectangulaires, chacune contenant des milliards de commutateurs électriques microscopiques. Il s’agit du cerveau de la puce la plus avancée d’Amazon : le Trainium 2, annoncé en décembre.

Pendant des années, les entreprises d’intelligence artificielle ont dépendu d’une seule société, Nvidia, pour concevoir les puces de pointe nécessaires à l’entraînement des modèles d’IA les plus puissants. Mais, la course à l’IA s’intensifiant, les géants du cloud comme amazon et Google ont accéléré leurs efforts internes pour concevoir leurs propres puces, dans le but d’obtenir des parts de marché dans le secteur en pleine croissance du cloud computing, évalué à 900 milliards de dollars début 2025.

Ce laboratoire d’Austin, au Texas, est l’endroit où Amazon tente de s’imposer dans le domaine des semi-conducteurs. Après avoir mis une protection auditive et passé sa carte pour entrer dans une pièce sécurisée, un ingénieur montre fièrement un ensemble de Trainium 2 finis, qu’il a contribué à concevoir, fonctionnant comme ils le feraient normalement dans un center de données. Il doit crier pour se faire entendre au-dessus de la cacophonie des ventilateurs qui aspirent l’air chaud, réchauffé par la demande insatiable d’énergie de ces puces, dans le système de climatisation du bâtiment. Chaque puce tient facilement dans la paume de sa main, mais l’infrastructure de calcul qui les entoure (cartes mères, mémoire, câbles de données, ventilateurs, dissipateurs thermiques, transistors, alimentations) signifie que ce rack de seulement 64 puces le domine, noyant sa voix.

Aussi grande que soit cette unité, ce n’est qu’un simulacre miniaturisé de l’habitat naturel des puces. Bientôt,des milliers de ces superordinateurs de la taille d’un réfrigérateur seront acheminés vers plusieurs sites non divulgués aux États-Unis et connectés entre eux pour former le « Projet Rainier »,l’un des plus grands clusters de centres de données jamais construits au monde,du nom de la montagne géante qui surplombe le siège d’Amazon à Seattle.

Le projet Rainier est la réponse d’Amazon au projet « Stargate » d’OpenAI et de Microsoft, d’un montant de 100 milliards de dollars. Meta et google construisent également actuellement des centres de données similaires, dits « hyperscale », coûtant des dizaines de milliards de dollars chacun, pour entraîner leur prochaine génération de modèles d’IA puissants. Les grandes entreprises technologiques ont passé la dernière décennie à amasser d’énormes sommes d’argent ; elles les dépensent maintenant toutes dans une course pour construire l’infrastructure physique gigantesque nécessaire à la création de systèmes d’IA qui, selon elles, changeront fondamentalement le monde. Une infrastructure de calcul de cette ampleur n’a jamais été vue auparavant dans l’histoire de l’humanité.

Le nombre précis de puces impliquées dans le projet rainier, le coût total de ses centres de données et leurs emplacements sont tous des secrets bien gardés.(Bien qu’amazon ne commente pas le coût de Rainier en lui-même,la société a indiqué qu’elle prévoyait d’investir quelque 100 milliards de dollars en 2025,la majorité étant destinée à AWS.) Le sentiment de concurrence est féroce.Amazon affirme que le projet Rainier terminé sera « le plus grand cluster de calcul d’IA au monde », plus grand, sous-entendu, que stargate.Les employés ici ont recours à des propos belliqueux en réponse aux questions sur le défi posé par des entreprises comme OpenAI.

« Stargate est facile à annoncer », dit un directeur de produit. « Voyons d’abord sa mise en œuvre. »

Amazon construit le projet Rainier spécifiquement pour un client : la société d’IA Anthropic, qui a accepté un long bail sur les centres de données massifs.(Combien de temps ? C’est également classifié.) Là, sur des centaines de milliers de puces Trainium 2, Anthropic prévoit d’entraîner les successeurs de sa populaire famille de modèles d’IA Claude. Les puces à l’intérieur de rainier seront collectivement cinq fois plus puissantes que les systèmes qui ont été utilisés pour le meilleur de ces modèles.

« C’est beaucoup, beaucoup, beaucoup plus grand », déclare un cofondateur d’Anthropic.

Personne ne sait quels seront les résultats de cet énorme bond en avant de la puissance de calcul. Le PDG d’Anthropic a publiquement prédit qu’une « IA puissante » (le terme qu’il préfère à celui d’intelligence artificielle générale, une technologie capable d’effectuer la plupart des tâches mieux et plus rapidement que les experts humains) pourrait arriver dès 2026. Cela signifie qu’Anthropic pense qu’il existe une forte possibilité que le projet Rainier,ou l’un de ses concurrents,soit le lieu où l’IAG verra le jour.

L’effet de volant d’inertie

Anthropic n’est pas seulement un client d’Amazon ; elle est également partiellement détenue par le géant technologique. Amazon a investi 8 milliards de dollars dans Anthropic pour une participation minoritaire dans la société. Une grande partie de cet argent, d’une manière étrangement circulaire, finira par être dépensée en frais de location de centres de données AWS. Cette relation étrange révèle une facette intéressante des forces motrices de l’industrie de l’IA : Amazon utilise essentiellement Anthropic comme une preuve de concept pour son activité de centres de données d’IA.

C’est une dynamique similaire à la relation de Microsoft avec OpenAI et à la relation de Google avec sa filiale DeepMind.

« Avoir un laboratoire de pointe sur votre cloud est un moyen d’améliorer votre cloud », déclare le cofondateur d’Anthropic qui gère la relation de la société avec Amazon.

Il compare cela au partenariat d’AWS avec Netflix : au début des années 2010, le streamer a été l’un des premiers grands clients d’AWS. En raison de l’énorme défi infrastructurel que représente la diffusion rapide de vidéos aux utilisateurs du monde entier,

« cela signifiait qu’AWS obtenait tous les commentaires dont elle avait besoin pour faire fonctionner tous les différents systèmes à cette échelle », dit-il. « Ils ont ouvert la voie à toute l’industrie du cloud. »

Tous les fournisseurs de cloud tentent maintenant de reproduire ce modèle à l’ère de l’IA.

« Ils veulent quelqu’un qui traversera la jungle et utilisera une machette pour se frayer un chemin, parce que personne n’a jamais emprunté ce chemin auparavant. Mais une fois que vous l’avez fait, il y a un beau chemin, et tout le monde peut vous suivre. »

En investissant dans Anthropic, qui dépense ensuite la majeure partie de cet argent sur AWS, amazon crée ce qu’elle aime appeler un volant d’inertie : un processus auto-renforçant qui l’aide à construire des puces et des centres de données plus avancés, réduit le coût du « calcul » nécessaire pour exécuter les systèmes d’IA et montre à d’autres entreprises les avantages de l’IA, ce qui se traduit à long terme par davantage de clients pour AWS. Les startups comme OpenAI et Anthropic reçoivent la gloire, mais les vrais gagnants sont les grandes entreprises technologiques qui gèrent les principales plateformes cloud du monde.

Bien sûr, Amazon dépend encore fortement des puces Nvidia. Pendant ce temps, les puces personnalisées de Google, connues sous le nom de TPU, sont considérées par beaucoup dans l’industrie comme supérieures à celles d’Amazon. Et Amazon n’est pas la seule grande entreprise technologique à avoir une participation dans Anthropic. google a également investi quelque 3 milliards de dollars pour une participation de 14 %. Anthropic utilise les clouds de Google et d’Amazon dans le but de ne dépendre d’aucun des deux. Malgré tout cela, le projet Rainier et les puces Trainium 2 qui rempliront ses centres de données sont le point culminant des efforts d’Amazon pour accélérer son volant d’inertie en pole position.