La couronne de Gemini 4 Carbon compte peu tant que les défenseurs ne l’ont pas en premier

Quand un modèle est si doué pour trouver et exploiter des failles que son concepteur refuse que vous l’utilisiez, s’agit-il d’un produit ou d’un communiqué de presse ? Gemini 4 Carbon, de Google, est les deux, et ce qui l’emportera dépend de ce qui se passera dans les prochaines semaines.

Voici la version courte. Google a lancé Carbon mercredi, comme le rapporte The Verge, en vantant des « progrès significatifs » en programmation, en tâches d’agents et en cybersécurité, ainsi que la première place de l’Artificial Analysis Intelligence Index (v5.0), devant Claude Opus 5.5 et GPT-6 Astra. Il est d’abord accessible à un groupe restreint d’entreprises de cyberdéfense via le programme Fairwind, un accès plus large devant suivre. Le tarif de lancement est de 2 dollars par million de tokens en entrée et de 10 dollars par million de tokens en sortie.

La couronne est plus fragile que ne le laisse penser le titre

Google cite un score de 59 sur l’indice. Ars Technica remet cela en perspective: tous les modèles de pointe se retrouvent dans la même fourchette sur ces tests, et l’écart entre Carbon et la concurrence n’est que de quelques points. Le site note aussi que Carbon ne devance Argon que de justesse dans chaque test fourni par Google, et que, pour autant qu’on le sache, il pourrait s’agir d’une amélioration postérieure à l’entraînement plutôt que d’un nouveau modèle.

Nous pensons que c’est le bon niveau de scepticisme. Une avance de quelques points dans un classement, annoncée par l’entreprise qui en profite, relève du marketing tant que personne d’autre ne la reproduit. Les chiffres de cybersécurité méritent le même traitement: 88,2 % sur SEC-bench Pro, 54,8 % sur ExploitGym et 71 % sur CWE-bench sont des chiffres de Google, et l’affirmation selon laquelle Carbon aurait été plus de 10 fois meilleur pour générer des correctifs de haute qualité se mesure à un modèle d’« un autre laboratoire » non nommé. Des concurrents sans nom permettent de se vanter sans risque d’être contredit.

L’ordre d’accès est le vrai sujet

Le choix le plus intéressant concerne la manière dont Carbon est distribué. Google dit suivre le processus d’examen volontaire du gouvernement américain et commencer par les défenseurs. C’est le bon réflexe. Un modèle qui obtient de bons résultats à la fois pour trouver des vulnérabilités et pour les transformer en exploits est à double usage par construction. Le confier d’abord aux défenseurs n’est utile que s’ils prennent une réelle longueur d’avance, et c’est une promesse sur le calendrier, pas sur les capacités.

Or le calendrier est flou. Google ne s’engage sur aucune date pour une diffusion large. Ars suggère que, si les choses se passent comme pour Argon, Carbon pourrait être disponible d’ici deux semaines, mais c’est une déduction, pas un engagement. Deux semaines, c’est long en sécurité. Si des attaquants disposent d’outils comparables ailleurs, ou si Carbon arrive au public avant que les défenseurs aient corrigé ce qu’il trouve, le discours « les défenseurs d’abord » devient une jolie histoire sur une avance minime.

Il y a aussi un problème plus discret: un aperçu fermé signifie que personne en dehors du groupe sélectionné ne peut vérifier quoi que ce soit. Les partenaires de Fairwind ont vraisemblablement l’intérêt et les compétences pour le tester à fond. Nous aimerions qu’ils publient, ou que des laboratoires indépendants publient, ce qu’ils constatent, échecs compris.

Ce que devrait faire un lecteur sceptique

Rendons à César ce qui est à César: le résultat sur l’injection de prompt est notable s’il se confirme. Selon Ars, Carbon a résisté à toutes les attaques tentées dans l’évaluation Grey Swan, contre 0,7 % pour Argon et 8,5 % pour GPT-6 Astra. Cela compte davantage pour des agents qui tournent pendant des jours qu’une petite avance dans un indice. Mais il s’agit toujours d’une seule évaluation, publiée dans les conditions choisies par Google.

Notre verdict: considérez la couronne de l’indice comme une note de bas de page et les affirmations en cybersécurité comme une hypothèse. Si vous travaillez dans la sécurité, demandez les détails de l’évaluation et un essai via un partenaire de Fairwind plutôt que de vous fier au graphique. Si vous êtes développeur, ne repensez pas encore votre architecture autour de Carbon; le tarif de lancement est attrayant, mais The Express Tribune indique qu’il doit passer à 4 et 20 dollars par million de tokens. La couronne du benchmark sera probablement oubliée à la prochaine sortie. Ce qui restera, c’est de savoir si les défenseurs ont réellement corrigé les failles avant que tout le monde dispose de la même capacité.