Les mêmes limites techniques qui empêchent la superintelligence rendent ces systèmes dangereux. Mais on sait les réguler
De nombreux dirigeants de la Silicon Valley estiment que la superintelligence constitue une menace imminente pour la société. La Maison Blanche a même publié un accord à ce sujet. Cela ne suffit pas.
Geoffrey Hinton, le parrain de l’IA, estime que le risque d’extinction de l’humanité est d’au moins 10 % au cours des prochaines décennies. Le PDG d’Anthropic, Dario Amodei, a fait valoir qu’une IA non contrôlée « pourrait dépasser notre capacité à comprendre et à contrôler ces systèmes ». En réponse, 1 300 dirigeants et employés de nombreuses grandes sociétés d’IA ont signé une lettre appelant à « accélérer délibérément » le développement.
L’agitation publique s’est accrue cet été après qu’une série de cyberattaques menées par des agents OpenAI « voyous » ont éclaté d’un environnement confiné et piraté la société de logiciels Hugging Face. Deux mois plus tard, le gouvernement australien a révélé qu’une autre attaque d’un agent OpenAI avait pénétré le portail de santé du gouvernement, volant des données privées sur la santé.
Pour rassurer le public, Jensen Huang, le directeur général de Nvidia, a déclaré sur CBS qu'il y avait « zéro pour cent » de chance que l'IA puisse mettre fin à l'humanité d'ici 2030.
Huang a raison de contester les « récits apocalyptiques » sur l’extinction humaine. Mais je crois qu’il existe des risques réels que posent les grands modèles de langage (LLM), même si les récits selon lesquels ils se transforment en terminateurs superintelligents sont techniquement invraisemblables.
J'ai passé près de 20 ans chez Google à créer et à travailler avec l'IA et l'apprentissage automatique. Je dirige désormais le développement technologique chez Ironclad, aidant les entreprises à appliquer l'IA pour gérer leurs contrats.
De mon point de vue, même si les LLM ne peuvent pas évoluer vers des machines superintelligentes, cela ne signifie pas que cette technologie ne présente aucun risque. Les mêmes limites techniques empêchant ces machines d’évoluer vers la superintelligence rendent le risque de conséquences catastrophiques bien réel.
Selon OpenAI, un examen de l’attaque Hugging Face a révélé que les agents ont reconnu que leur piratage « dépassait la portée prévue ». Ils ont quand même continué parce qu’ils suivaient des instructions avec des conséquences inattendues. Cela était probablement dû à des contrôles peu stricts sur leurs environnements numériques et à des instructions très larges pour atteindre leurs objectifs.
Ces modèles sont conçus pour minimiser les erreurs en prédisant le prochain morceau de texte lors de leur pré-formation. Les modèles sont ensuite « réglés » pour suivre les instructions humaines, obtenant de meilleures « récompenses » à mesure qu’ils suivent les instructions de près.
La façon dont quelqu’un spécifie les instructions au modèle peut « influencer » les chemins que le modèle empruntera pour exécuter les instructions. Cette récompense mathématique façonne la manière dont elle résout les problèmes.
Une fois qu’il s’est engagé dans une approche, il continue à l’affiner étape par étape, sans aucune incitation intégrée à se demander si l’ensemble de la direction est dans une impasse. Si un piratage est découvert, la machine est conçue pour l’exploiter et non pour explorer une approche alternative.
Même si les nouveaux modèles de « raisonnement » revoient leurs propres étapes, cela ne revient pas à reconnaître une approche erronée et à l’abandonner complètement. Même Hinton a déclaré que leur principale préoccupation était « d’atteindre le but que vous leur donnez » – même si cela implique un comportement dangereux.
Il s’agit d’une conception architecturale et d’une limitation. La mise à l’échelle de ces modèles ne leur donnera pas la propension humaine à faire une pause, à réévaluer, puis à essayer une approche alternative. Un agent qui excelle dans un essai a prouvé qu’il pouvait exécuter du code, mais pas qu’il pouvait juger.
Le monde réel apporte des cas extrêmes, des instructions ambiguës et des façons infinies d’accomplir une tâche. Les réglementations changent, les mises à jour logicielles sont expédiées et les marchés évoluent chaque jour. Les modèles d’aujourd’hui apprennent une fois au départ, puis s’arrêtent. Un système formé aux conditions d’hier ne comprend pas automatiquement celles d’aujourd’hui.
Même si chaque changement pouvait être enregistré et transmis à un modèle, celui-ci aurait besoin d’apprendre et de le connecter à tout ce qu’il connaît déjà. Richard Sutton, pionnier de l'apprentissage par renforcement, a avancé un argument similaire : le monde est trop grand et évolue trop vite pour être appris à l'avance.
Le besoin de jugement humain limite la probabilité qu’un grand modèle de langage dépasse considérablement l’intelligence humaine. Mais ce même plafond ne contient pas ses capacités à résoudre des problèmes difficiles. Le mois dernier, OpenAI a annoncé qu'un essaim de 10 000 agents simultanés avait résolu collectivement une variante du problème d'existence et de fluidité de Navier-Stokes, un défi mathématique majeur, en 88 heures.
Rien de tout cela ne diminue les qualités de ces modèles ; J’en vois la valeur au quotidien. Mais cela remet en question l’idée selon laquelle la mise à l’échelle des architectures actuelles conduit à la superintelligence et se demande si cette conversation vaut la peine d’être tenue.
Il est important de noter que personne ne comprend encore pleinement, en termes mathématiques rigoureux, pourquoi les modèles actuels se comportent comme ils le font, et la recherche qui permettrait de l’expliquer, connue sous le nom d’interprétabilité, en est encore à ses balbutiements.
Reconnaître notre compréhension limitée n’excuse pas la responsabilité. Cela souligne pourquoi une gouvernance impartiale est nécessaire. Comment pouvons-nous faire confiance à la certification de sécurité d’une entreprise si elle ne peut pas expliquer le fonctionnement de la technologie ?
Ce que nous avons constaté, c’est que cette technologie présente un risque sociétal, au même titre que les matières dangereuses. Sa mauvaise utilisation peut provoquer des dégâts catastrophiques. Et ce ne sont pas les matériaux ou la technologie qui déterminent consciemment les ravages qu’ils causent, mais plutôt leurs fabricants et ceux qui les manipulent qui le font, intentionnellement ou non.
Des systèmes doivent être mis en place pour gérer ces types de risques. Par exemple, lorsqu'un avion s'écrase, c'est le National Transportation Safety Board, et non le constructeur ou la compagnie aérienne, qui enquête, et ses conclusions façonnent la façon dont chaque compagnie aérienne vole. L’accent reste mis sur la conception, la maintenance et la procédure de la technologie.
Au lieu de débattre de la possibilité d’une superintelligence ou d’intentions malveillantes, nous devons concentrer notre discussion sur la forme immédiate de surveillance de ces modèles, peut-être en tirant parti des cadres existants.
Sunita Verma est CTO d'Ironclad et ancienne cadre de Google qui a passé sa carrière à développer des systèmes d'IA




