Un score d’IA de 99 % ne peut pas arbitrer un prix littéraire, pas plus qu’un autre détecteur

Que faire quand un chiffre affirme qu’un roman primé a été écrit à 99 % par une machine, que l’auteur assure que non, et que le règlement dit qu’un simple soupçon suffit à l’écarter ? On découvre vite que les règles ont été écrites pour un monde qui n’existe pas.

C’est l’impasse qui entoure Donde el agua trabaja, la novella de l’auteur péruvien David Silva Rojas. Selon EL PAÍS, Pangram attribue à un modèle d’IA 99 % du texte, long d’environ 26 000 mots. Le livre a remporté le premier prix de la novella Almadía Ventosa-Arrufat, doté de 20 000 euros, parmi 2 204 manuscrits. Le règlement exigeait une déclaration attestant que l’œuvre n’avait été écrite, ni en tout ni en partie, avec des outils d’IA, et promettait la disqualification « ante cualquier indicio o sospecha ». L’éditeur a suspendu la tournée de promotion. Il indique que l’auteur nie avoir utilisé l’IA et promet un examen détaillé « sin anticipar conclusiones ».

Une clause de soupçon est un piège pour tout le monde

Relisez cette règle. Elle fixe le seuil de la disqualification au soupçon, et n’offre aucun moyen de lever ce soupçon. En 2025, cela semblait sévère. En 2026, alors que les détecteurs sont à un onglet de navigateur, cela signifie que n’importe quel lecteur muni d’une analyse peut mettre un prix en procès. Le concours a remis son autorité à celui qui lance le logiciel le premier.

Nous ne pensons pas que Pangram soit pour autant du bricolage. Les éléments disponibles disent le contraire, et il faut être honnête sur ce point. Une étude évaluée par des pairs de la Vrije Universiteit Brussel, datée de juin 2026 et citée par Pangram lui-même, l’a identifié comme le seul des quatre outils à produire des résultats satisfaisants. L’Authors Guild a testé cinq détecteurs sur des textes humains publiés en 2022 ou avant, et Pangram a rendu 0 % sur les dix articles. L’entreprise revendique un taux de faux positifs d’environ un sur 24 000. S’il fallait parier, un score de 99 % sur un long texte est un signal fort.

Mais un signal fort n’est pas un verdict. Ces faibles taux d’erreur sont des chiffres de l’entreprise elle-même ou issus de tests contrôlés, pas une garantie sur un livre précis. Les indices de confiance de Pangram ne sont pas des probabilités calibrées d’avoir raison, et l’entreprise qui vend le détecteur n’est pas la partie neutre dont cette situation a besoin. Tim Requarth est revenu sur une partie de sa critique initiale après avoir parlé à des informaticiens indépendants, mais soutient toujours que les taux d’erreur annoncés par les entreprises doivent être pris « avec des pincettes » dans le monde réel. Nous partageons ce scepticisme plus étroit.

Le style de l’auteur est un facteur de confusion que personne ne peut lever

Le détail le plus intéressant du reportage d’EL PAÍS est celui qui joue dans les deux sens. Silva Rojas a dit avoir emprunté l’idée du haïku au Japon, à sa capacité à concentrer une expérience en très peu d’éléments, et que cela a façonné le rythme du roman. Le jury a salué des « oraciones breves ». Les phrases très courtes sont aussi une tendance de certains modèles d’IA. Le journal lui-même écrit qu’il n’existe aucune preuve que ce style trompe Pangram, mais qu’on ne peut pas l’exclure non plus.

Cette honnêteté est tout le sujet. Un détecteur apprend des régularités statistiques de style, et un écrivain qui cultive délibérément un style dépouillé travaille sur le même terrain. L’Authors Guild avance le même argument: une prose soignée et maîtrisée peut ressembler à ce que ces outils signalent. Ajoutez que le même journal a constaté que Pangram attribuait 97 % d’IA aux réponses de l’auteur en entretien alors que les questions de la journaliste ressortaient comme entièrement humaines: on obtient des indices circonstanciels suggestifs. Ils restent circonstanciels.

Les concours devraient demander des brouillons, pas seulement lancer des analyses

La solution n’est pas d’abandonner les règles, mais de les appuyer sur du vérifiable. À notre avis, un prix sérieux en 2026 devrait:

• exiger une déclaration d’usage de l’IA, graduée, plutôt qu’une interdiction totale qui incite à mentir.
• demander aux finalistes des preuves du processus, comme des brouillons, l’historique des versions et des notes, avant d’annoncer un lauréat.
• traiter un score de détecteur comme une raison de réclamer ces preuves, jamais comme la preuve elle-même.
• publier ce qui se passe après un signalement, pour que personne ne soit jugé par une meute.

EL PAÍS indique avoir interrogé l’éditeur sur des brouillons ou des historiques de versions et s’être entendu répondre que la question est « compleja ». À notre avis, il fallait y répondre avant d’annoncer le prix, pas après le titre dans la presse.

Notre verdict: si l’auteur a utilisé l’IA, le règlement a été enfreint et il en assume les conséquences. S’il ne l’a pas fait, il est jugé sur un score que personne ne peut contre-interroger. Dans les deux cas, l’institution a échoué. Les détecteurs sont utiles comme détecteurs de fumée, mais ne remplacent pas l’inspection contre l’incendie.