Google a dévoilé lundi deux systèmes informatiques d'intelligence artificielle, défiant Nvidia avec des puces conçues pour la confidentialité et une IA gourmande en mémoire.

Les TPU 8tx et TPU 8i Max rejoignent la gamme Tensor Processing Unit de huitième génération de Google, offrant aux entreprises quatre configurations pour la formation et l’exécution de modèles d’IA. Google affirme servir près de 100 clients TPU, des laboratoires d'IA aux universités.

Contrairement aux unités de traitement graphique largement utilisées de Nvidia, les TPU sont des accélérateurs d’IA spécialement conçus. Google les a développés pour ses propres services, mais vend de plus en plus l'accès à des sociétés externes, y compris à des clients sur site.

Les plus bas NVDA en novembre

"À l'heure où l'informatique passe de l'échelle humaine à l'échelle des agents, les entreprises demandent des accélérateurs capables de raisonner à travers les énormes fenêtres contextuelles des modèles d'IA", a écrit Amin Vahdat, technologue en chef de Google et vice-président senior de l'IA et de l'infrastructure, dans l'annonce de Google.

Garder les informations sensibles privées

TPU 8tx cible un problème que rencontrent de nombreuses entreprises sérieuses lorsqu'il s'agit d'adopter l'IA : protéger les informations sensibles pendant qu'un modèle les utilise.

Les données sont cryptées lors du stockage et pendant la transmission, mais le traitement nécessite généralement de les déchiffrer en mémoire. Google affirme que la configuration utilise une informatique confidentielle au niveau matériel pour isoler les données client et les paramètres de modèle propriétaires, même pendant le fonctionnement.

Le système combine le silicium TPU 8t avec des processeurs AMD EPYC de cinquième génération et le réseau Boardfly à faible latence de Google. Google affirme qu'il peut réduire la latence jusqu'à la moitié par rapport au TPU 8t, sans pratiquement aucune pénalité de performances pour la protection supplémentaire.

En d’autres termes, les tâches qui nécessitent de la confidentialité ne sacrifieront ni la vitesse ni la précision.

Les entreprises pourraient affiner et exécuter des modèles sur le même système au lieu de transférer des informations sensibles entre clusters. Cependant, l’informatique confidentielle ne peut pas empêcher un agent d’IA mal conçu de mal gérer les données auxquelles il est autorisé à accéder.

Briser le goulot d’étranglement de la mémoire de l’IA

Le TPU 8i Max répond à une autre limitation : la mémoire. Agents autonomes analysant des données, des bases de code, des documents ou des heures de vidéo, etc. ; ont besoin d’un accès rapide à bien plus d’informations que les tâches d’IA conventionnelles.

Google combine deux puces TPU 8i dans un seul boîtier, doublant ainsi la puissance de calcul, la SRAM intégrée et le débit de mémoire à large bande passante par rapport au TPU 8i. La conception contient deux fois plus de silicium dans le même encombrement de rack.

« Notre quatrième système, le TPU 8i Max, est conçu pour résoudre un problème différent : le mur de mémoire », a écrit Vahdat.

Google est TPU Sync open source, un logiciel qui déplace la mémoire de travail de l'IA entre les puces, les serveurs et le stockage. Il affirme que le système peut réduire de plus de 90 % certains retards de transfert de données et temps de démarrage des réponses.

L'annonce de Google intervient alors que Nvidia fait face à une pression croissante à Wall Street. Les actions ont plongé de 9,3 % jeudi et ont encore chuté de 5 % lundi après que le PDG Jensen Huang a admis avoir eu une liaison extraconjugale avec une femme soupçonnée par les renseignements américains d'espionnage pour le compte de la Chine. Le conseil d'administration de Nvidia a lancé une enquête indépendante, même si la société affirme ne disposer d'aucune preuve que des secrets d'entreprise ont été compromis.

Le scandale ajoute aux inquiétudes concernant la croissance de Nvidia, alors que ses concurrents ciblent sa domination sur les puces IA. OpenAI aurait l'intention d'acheter les TPU de Google pour réduire sa dépendance à l'égard de Nvidia. Cela n'est pas encore confirmé, mais la gamme croissante de puces de Google pourrait donner aux développeurs d'IA plus de pouvoir de négociation, menaçant la part de marché de Nvidia et les attentes de croissance future.

Google est en concurrence sur du matériel et des logiciels spécialisés, et pas seulement sur la vitesse des puces. Son projet open source TorchTPU permet également aux développeurs d'exécuter des modèles PyTorch et Hugging Face sur des TPU sans réécrire leurs applications.

Néanmoins, les chiffres de performances de Google comparent ses nouveaux systèmes avec le matériel Google antérieur, et non avec les derniers produits de Nvidia. La société n'a pas divulgué les prix ni les dates de disponibilité des deux nouvelles configurations.

Bulletin de débriefing quotidien

Commencez chaque journée avec les principales actualités du moment, ainsi que des fonctionnalités originales, un podcast, des vidéos et bien plus encore.

Rejoignez plus de 72 000 lecteurs