Il y a quelques jours, nous vous parlions de Data2vec, la nouvelle IA révolutionnaire de Meta. Les fondations algorithmiques de cette technologie révolutionnaire désormais bien en place, Meta s’attaque à la partie matérielle; la firme vient de dévoiler son AI Research SuperCluster (RSC), un supercalculateur spécialement conçu pour repousser les limites de l’intelligence artificielle.
En termes de hardware, il s’agit d’une brute épaisse basée sur l’incontournable DGX Nvidia A100. SI vous n’êtes pas familier de l’informatique haute performance (HPC), il s’agit tout simplement d’un des fleurons de la HPC actuelle, et chaque unité se négocie tout de même à plusieurs dizaines de milliers d’euros. Meta a vu les choses en grand, et son RSC est actuellement équipé de 760 de ces modules au sein d’un même cluster, pour un total ébouriffant de 6.080 GPUs.
Tout ce beau monde communique grâce à la technologie Quantum d’InfiniBand, une plateforme de transfert maillée dont le débit peut atteindre 1,6 Tb/s. Et pour ce qui est du stockage, la bête a droit à 175 petabytes d’espace vital, soit 175.000.000 GB de mémoire FlashArray. L’ensemble sera desservi par un cache complètement invraisemblable de… 46 petabytes.
Un monstre qui va continuer de grandir
Cette machine serait déjà capable de performances impressionnantes qui le placent parmi les meilleurs supercalculateurs du moment. Cnet dresse par exemple une comparaison avec le Perlmutter, actuellement cinquième du classement mondial, qui dispose d’un arsenal comparable à celui du RSC.
Et pourtant, ce n’est encore qu’un début. Cette machine déjà impressionnante, Zuckerberg compte bien la transformer en un véritable béhémoth. D’ici la fin de l’année, Meta va continuer à ajouter progressivement des DGX jusqu’à arriver à un total de 16.000 GPUs. Soit un gain de puissance de l’ordre de +150%. L’ensemble sera relié par un système de transfert et de caching capable de servir 16 TB (16.000 GB) de données par seconde à un système de stockage de l’ordre de l’exabyte (un milliard de GB).
Mark Zuckerber explique que son RCS deviendra alors le supercalculateur le plus puissant au monde. Pour cela, il faudra déjà que tout se déroule comme prévu. Cela suppose également qu’aucune autre machine ne viendra lui griller la politesse. Et même si toutes ces étoiles s’alignent, il devra tout de même jouer des coudes pour revendiquer ce titre. Il devra notamment faire face au Fugaku, le monstre japonais qui règne aujourd’hui en maître au royaume de l’HPC, et peut-être même au futur titan de l’université de Floride qui pourrait être prêt d’ici-là.
Un support physique de choix pour une révolution en IA
Mais au bout du compte, peu importe si le RSC hérite ou non de cette couronne; cette dernière demeure avant tout symbolique, vu la vitesse à laquelle évolue ce secteur. Ce qui est vraiment important pour Zuckerber et l’écosystème de Facebook, c’est avant tout d’occuper le terrain de manière très agressive dans le domaine de l’IA.
Il est difficile de dresser un état des lieux précis des leaders en la matière. En effet, nous manquons cruellement d’informations sur les projets certains des principaux acteurs – la Chine en tête. Mais avec sa plateforme Data2vec qui s’annonce déjà révolutionnaire, il semble acquis que Meta fera partie des acteurs incontournables. Ce système présenté comme la “première IA multimodale autosupervisée” (plus de détails dans l’article dédié) pourrait bien signer le début d’une nouvelle ère en intelligence artificielle. Il ne lui manque désormais qu’un support physique à toute épreuve; et c’est précisément ce dont Meta disposera d’ici la fin de l’année. Une affaire à suivre, car selon tout la combinaison de ces deux facteurs va vraisemblablement générer des avancées potentiellement spectaculaires dans le domaine.
🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.
