La fin « terrible » d’Altman montre que les scénarios ne font pas la sécurité de l’IA

Comment appeler un patron qui expose trois fins possibles pour la course qu’il dispute, rejette la pire, puis explique pourquoi son entreprise ne peut pas se permettre de faire grand-chose pour éviter les deux autres ? Nous parlerions d’honnêteté, mais aussi d’une étiquette d’avertissement.

Les trois fins d’Altman sont un menu dans lequel il ne peut pas choisir

Selon The Information, Sam Altman a décrit trois issues possibles de la course à l’IA lors d’une réunion interne. La première est un organisme international calqué sur l’AIEA, habilité à inspecter les systèmes et à exiger des audits. La deuxième est le « plan Demis », dans lequel les grands laboratoires fusionnent ou travaillent sous un même toit. La troisième est le « plan Eliezer »: un développeur obtient le premier une IA capable de s’améliorer seule et s’en sert pour priver tous ses rivaux de puissance de calcul, ce qui, selon la formule qui a circulé, ferait fondre les GPU de tout le monde. Altman aurait qualifié ce scénario, selon le récit de 36Kr, d’issue « absolument terrible ».

Ce récit repose sur des sources anonymes; il faut donc prendre les détails avec prudence. Mais le détail le plus important n’est pas le plus effrayant. Comme le rapporte Martin Cid, deux des trois idées reprennent un billet d’OpenAI de 2023, et aucune n’a jamais été mise en œuvre. Altman aurait aussi dit que les deux premières options exigent une coordination poussée, et qu’OpenAI ne peut pas céder de terrain maintenant, alors que l’entreprise et Anthropic s’acheminent vers une introduction en Bourse.

La fin « terrible » est la trajectoire par défaut, pas l’exception

Relisez cela. Les bonnes fins exigent de la coopération. La mauvaise exige seulement que quelqu’un gagne. Dans une course où personne ne veut être celui qui ralentit, nous pensons que la voie où le vainqueur rafle tout n’est pas un risque lointain: c’est là que mènent les incitations, à moins que quelqu’un paie pour les changer. À notre lecture, la position prêtée à Altman revient à ceci: il est contre ce résultat, mais aussi contre l’idée d’abandonner du terrain qui pourrait aider à l’éviter.

Ce n’est pas tant de l’hypocrisie qu’un piège structurel, et il est loin d’être le seul à y être pris. Plus tôt cet automne, rappelait 01net, Altman a dit approuver l’appel de Dario Amodei, d’Anthropic, à ralentir, mais ne pas vouloir être le seul à lever le pied. Tout le monde est prêt à freiner, à condition que quelqu’un d’autre freine d’abord.

Des scénarios sans engagements, c’est de la communication

Voici notre position: décrire des futurs coûte peu, s’engager coûte cher. Les preuves d’engagements contraignants sont minces. L’organisme d’autorégulation que OpenAI, Google et Anthropic seraient en train de mettre sur pied, la Standards Authority for Frontier AI, est décrit comme dépourvu de pouvoir de sanction, et les laboratoires ne seraient toujours pas d’accord sur qui doit tester les nouveaux modèles. Aux États-Unis, une plainte pour entente soutient déjà que la coordination sur la sécurité entre laboratoires relève de la collusion. Les patrons de Meta et de Nvidia, eux, estimeraient que de telles règles protègent surtout les acteurs en place.

Certaines de ces objections méritent d’être entendues. Un seul superlaboratoire issu d’une fusion, le « plan Demis », concentrerait un pouvoir considérable, et une inspection internationale suppose que Washington et Pékin laissent entrer des inspecteurs dans leurs laboratoires les plus sensibles. Forbes, relayé dans le même article, note que même une proposition américaine visant à ce que les deux pays se signalent mutuellement les incidents dangereux liés à l’IA n’est encore qu’un projet, pas un accord. Et dans son entretien avec Politico, tel que le relaie 01net, Altman lui-même a récusé l’idée qu’un seul laboratoire de San Francisco détienne cette technologie, ce qui va aussi à l’encontre de l’idée de fusion.

Mais « chaque solution pose problème » est précisément la raison pour laquelle les engagements comptent. Une entreprise sérieuse face à la fin terrible mettrait sur la table quelque chose de coûteux: un déclencheur de pause, un auditeur extérieur disposant d’un vrai accès, un plafond de puissance de calcul qu’elle accepterait la première. Une présentation devant les salariés ne compte pas.

Jugez les laboratoires à ce qu’ils accepteraient de sacrifier

Il ne faut pas être cynique face à cette franchise. Il est utile qu’un initié dise à voix haute que l’alignement n’est pas résolu; Lefilia rapporte qu’Altman considère les bacs à sable et la surveillance comme de simples pis-aller. Mais la franchise sur le risque, associée au refus d’être le premier à s’imposer des limites, décrit le problème sans le résoudre.

Notre verdict: jugez les laboratoires à ce qu’ils accepteraient de sacrifier, pas aux scénarios qu’ils savent exposer. Tant que l’un d’eux n’aura pas accepté, avant une introduction en Bourse, une limite qui nuit à sa propre position, les trois fins ne sont qu’un point de départ pour la discussion, et la troisième reste le réglage par défaut.