Battre Factorio est un vrai progrès, mais les jeux restent l’examen facile

Une IA capable de lancer une fusée dans Factorio est-elle prête à gérer votre back-office ? Pas encore, et l’écart entre ces deux questions est le point le plus intéressant de l’actualité de cette semaine.

Les faits sont simples. Le développeur Ryan Madden rapporte que GPT-5.6 Sol peut venir à bout de Factorio en mode pacifique. D’après les résumés de son article, le modèle tournait dans Codex avec un niveau de réflexion bas et a mené la partie à terme, en lançant une fusée après 13,5 heures de temps de jeu. Une bibliothèque Python imposait des restrictions proches de celles d’un joueur humain, comme la portée d’action du joueur et le brouillard de guerre. Le billet a aussi retenu l’attention sur Hacker News.

L’étape est réelle, et le niveau de réflexion bas est le titre discret

Factorio n’est pas un quiz. On construit une économie à partir de rien, et chaque raccourci pris au début devient un goulot d’étranglement quelques heures plus tard. Garder un plan cohérent sur autant d’étapes, c’est précisément ce que les agents ont toujours mal fait. Les projets précédents de Madden (un essai avec Claude Code et un banc d’essai baptisé Faketorio) laissent penser qu’il s’agit d’une montée progressive plutôt que d’un coup de chance, et aller au bout est un vrai indicateur de compétence sur le long terme.

Ce qui nous frappe le plus, c’est le détail du « niveau de réflexion bas ». Il suggère que l’endurance vient de la boucle de l’agent, des outils et de la persévérance, et non d’un raisonnement poussé au maximum à chaque coup. C’est une bonne nouvelle pour qui surveille les coûts, et un signal plus utile que la fusée elle-même.

La documentation laisse déjà deviner où ça casse

Il ne faut pas négliger la réserve présente dans les comptes rendus: les graphiques de production montreraient des défaillances de montée en charge après la science bleue. Autrement dit, l’agent est arrivé au bout, mais sans fluidité. Son usine a peiné à mesure que la complexité augmentait. C’est là que nous regarderions en premier, car les projets réels, ce sont surtout ce qui vient après la fin de la montée en charge facile.

Il y a ensuite l’étiquette « pacifique ». À noter que, d’après les guides d’hébergement, le mode pacifique ne supprime pas complètement les ennemis: ils apparaissent toujours, mais n’attaquent que s’ils sont provoqués. Il n’en reste pas moins que ce réglage retire volontairement la principale source de pression soudaine pouvant mettre fin à une partie. C’est un choix raisonnable pour une expérience. C’est aussi un rappel: il s’agit d’un examen indulgent.

Les jeux flattent les agents: jugez-les là où les erreurs font mal

Notre avis: un jeu est l’environnement idéal pour un agent. Les règles sont fixes et documentées. L’état est observable via une API. Le retour est immédiat et sans ambiguïté. Un mauvais coup fait perdre du temps, pas de l’argent, et l’on peut généralement se rattraper. La couche Python qui impose des limites « proches de l’humain » fait elle aussi beaucoup de travail: quelqu’un a dû concevoir l’interface pour que le modèle puisse agir.

Les bureaux, les bases de code et les boîtes de réception n’offrent rien de tel. Les consignes sont ambiguës, les systèmes évoluent sous vos pieds, et certaines erreurs sont irréversibles: un enregistrement supprimé, un paiement erroné, un e-mail impossible à rappeler. Un agent brillant quand l’échec ne coûte rien peut se comporter très différemment quand il coûte.

Un classement mérite aussi d’être gardé en tête. Un site de benchmarks place GPT-5.6 Sol au 12e rang sur 132 modèles pour l’usage agentique d’outils et les tâches informatiques, avec un score de 68,5/100. Nous traiterions ce chiffre avec prudence, car il provient d’une page non datée, mais il correspond au tableau général: solide, pas imbattable, et certainement pas définitif.

Notre verdict

SalueZ la partie de Factorio comme la preuve que les agents capables de tenir sur la durée arrivent. Puis changez de question. Ne demandez plus « peut-il aller au bout ? » mais « combien coûte une erreur, et à quelle fréquence se produit-elle ? ». De bonnes évaluations d’agents devraient inclure des données d’entrée désordonnées, aucun bouton de réinitialisation, des pénalités pour les actions destructrices et une mesure de la façon dont l’agent s’arrête et demande de l’aide.

Si vous évaluez des agents pour du travail réel, testez-les d’abord sur un périmètre réversible, placez un humain devant tout ce qui est irréversible et jugez le taux d’échec, pas la démonstration. Le lancement de la fusée est une excellente bande-annonce. Le film, c’est ce mardi après-midi où quelque chose tourne mal sans que personne regarde.