Des ronds-points à la bourse, une rationalisation incessante pourrait rendre le monde plus dangereux
Nous sommes tous passés par là : serrés épaule contre épaule dans le train tandis que la personne à côté de nous tousse et éternue. Un vaccin protecteur contre la grippe offre une certaine assurance, tout comme l'idée qu'il y aura un lit d'hôpital pour vous, si vous en avez besoin. Pourtant, en Angleterre, environ 95 % des lits d’hôpitaux pour adultes étaient occupés au plus fort de la saison grippale l’année dernière.
Si les hôpitaux étaient des hôtels, ce niveau d’occupation serait une bonne affaire et nous les féliciterions pour leur efficacité. Mais souhaite-t-on vraiment qu’un hôpital ait si peu de lits en réserve qu’il ne lui reste plus qu’une semaine de grippe pour devoir soigner des patients dans les couloirs ?
C’est ce qui est subtil en matière d’efficacité. Nous supposons généralement que plus il faut, mieux c'est. Mais nous pouvons être tellement concentrés sur l’amélioration d’une chose que nous perdons de vue les autres. Vous pouvez essayer d’organiser votre calendrier de manière à ce que chaque minute soit prise en compte, mais vous allez bientôt commencer à déborder et vous retrouver en retard. Un intervalle entre les réunions peut sembler inefficace, mais c’est ce qui permet à votre emploi du temps de se rétablir lorsque quelque chose d’inattendu se produit.
Les mathématiciens ont un nom pour désigner la recherche de l’efficacité. Nous appelons cela l’optimisation. Donnez-nous quelque chose à minimiser ou à maximiser – coût, temps, carburant, profit – et nous essaierons de trouver la meilleure réponse possible. Pendant la majeure partie de l’histoire de l’humanité, les gens ont été optimisés par le bon sens. Mais les ordinateurs ont considérablement élargi les domaines pouvant être traités efficacement, depuis les horaires des compagnies aériennes jusqu’aux chaînes d’approvisionnement. Les gains pour la société ont été extraordinaires. Mais il y a au moins trois pièges dont il faut se méfier dans la quête incessante de l’optimalité.
L’histoire des lits d’hôpital illustre le premier : affaiblir la robustesse d’un système en supprimant trop de marge de manœuvre. Un lit vide peut s’avérer superflu un mardi soir calme, mais c’est un endroit précieux pour accueillir le prochain patient lorsque les cas de grippe augmentent. Si vous jugez un système en fonction de ses performances dans des conditions normales, vous risquez de perdre la capacité de faire face à des conditions extrêmement difficiles.
Un deuxième piège consiste à avoir une définition trop étroite du « meilleur ». Prenez la ville de Milton Keynes. Conçu par les urbanistes à la fin des années 1960, il présente un système de quadrillage à l'américaine. Au fur et à mesure que la ville commençait à se construire, les ronds-points plutôt que les feux de circulation sont devenus une caractéristique déterminante de ses carrefours routiers ; ils sont aujourd’hui environ 130. Les ronds-points étaient parfaits pour fluidifier la circulation, mais ils entraînaient un coût désormais notoire. Avez-vous déjà pris le bus d'Oxford à Cambridge ? Une heure plus tard, vous obtenez de superbes vues sur Milton Keynes, mais un bus rempli de passagers nauséeux, alors que l'autocar négocie un rond-point après l'autre. Ralentissez, tournez à gauche, tournez à droite, accélérez. Il est difficile d’apprécier la fusion harmonieuse des véhicules lorsque l’estomac se retourne.
La fluidité du trafic est certes importante. Les ingénieurs trouvent pratique l’optimisation car c’est relativement facile à mesurer. En revanche, le confort des passagers est plus difficile à quantifier. Dans un cas comme celui-ci, l’optimisation vous donne la meilleure réponse à la question que vous avez posée, mais peut fournir des réponses indésirables à des questions que vous n’avez pas prises en compte.
Un troisième piège apparaît lorsque les tentatives d’optimisation se heurtent. Même si chaque partie d’un système fonctionne de manière optimale, il se peut que ce ne soit pas le cas du système dans son ensemble. Le 6 mai 2010, les marchés financiers américains en ont donné une démonstration spectaculaire. Au milieu d'un marché déjà en baisse, le S&P 500 a soudainement plongé de 5 % en seulement cinq minutes. La scie à fouet à la hausse était encore plus sauvage ; en 10 minutes, le marché s'était redressé. Des centaines de titres individuels se négociaient brièvement à des prix absurdement bas.
L’un des déclencheurs de ces violentes fluctuations a été un programme automatisé vendant 75 000 contrats à terme, d’une valeur de plus de 4 milliards de dollars. D’autres traders automatisés ont réagi presque instantanément. Puis leurs réponses se sont répercutées les unes sur les autres et les liquidités se sont évaporées. Les actions des algorithmes ont peut-être été judicieuses individuellement, mais elles se sont combinées pour produire des troubles collectifs.
Ce qui nous amène à l’intelligence artificielle. L’IA est l’un des triomphes les plus spectaculaires de l’optimisation de l’histoire. Au cours de la formation, un grand nombre de paramètres sont ajustés à plusieurs reprises afin qu'un modèle puisse mieux prédire le langage, écrire des programmes informatiques, répondre à des questions scientifiques et donner des conseils juridiques. Malheureusement, l’IA a désormais le potentiel de rendre ces trois pièges d’optimisation plus dangereux que jamais. Le premier piège – l’envie de supprimer le jeu – pourrait inciter les organisations à renoncer à la surveillance humaine qui semble redondante à l’ère des algorithmes plus intelligents. Pourquoi retenir du personnel expérimenté quand une machine peut gérer les tâches de routine ? Mais en supprimant cette capacité humaine, vous risquez de perdre la capacité de repérer et de gérer des circonstances exceptionnelles.
Le deuxième piège – une vision bornée de ce que signifie « meilleur » – surgit si nous considérons l’intelligence comme ce qui obtient le score le plus élevé dans un classement. Nous sommes remarquablement doués pour créer des systèmes d’IA qui fonctionnent bien sur des mesures telles que la satisfaction des utilisateurs, mais nous avons beaucoup plus de mal à les optimiser en termes de jugement ou d’empathie. En effet, les chercheurs ont découvert que les algorithmes de formation sur les préférences humaines peuvent encourager l’IA à être d’accord avec nous plutôt que de nous dire des vérités inconfortables.
Et puis il y a le troisième piège. Les systèmes d’IA interagissent de plus en plus les uns avec les autres, souvent à une vitesse fulgurante et en grand nombre – en particulier à l’ère de l’IA agentique – et nous craignons que leurs interactions ne génèrent des comportements imprévisibles et dangereux. Récemment, un agent OpenAI s'est introduit dans un portail de statistiques non public de Medicare en Australie, tandis que des journaux publics suggéraient que des centaines d'autres agents coordonnaient leurs tentatives pour accéder aux données de santé du gouvernement australien. Même s’il n’a pas été démontré que ces tentatives faisaient partie de la violation de Medicare, elles ont certainement révélé quelque chose d’inquiétant : des centaines d’agents travaillant apparemment ensemble de manière non autorisée. La préoccupation ici va au-delà de ce qu’une IA donnée peut ou non faire ; il s’agit de ce qui se passe lorsque des essaims d’entre eux unissent leurs forces.
À mesure que l’optimisation devient plus puissante, il devient plus important d’éviter ces pièges. Le défi ne consiste pas simplement à trouver la meilleure réponse. Il s’agit de décider ce que « le meilleur » signifie réellement – et de savoir ce qu’il ne faut pas optimiser.
Steven Strogatz et Alex Townsend sont professeurs de mathématiques à l'Université Cornell et auteurs de Big Math (John Murray).
Lectures complémentaires
Le paradoxe de l'efficacité : ce que le Big Data ne peut pas faire par Edward Tenner (Vintage, 16,99 £)
La machine à ne pas rendre de comptes : pourquoi les grands systèmes prennent de terribles décisions (Profil, 11,99 £)
Illusions optimales : la fausse promesse d'optimisation par Coco Krumme (Bantam, 25,99 £)
