Les poids de Kimi K3.1 Pro sont publiés : à ses benchmarks de faire leurs preuves

Un modèle est-il « ouvert » si l’on ne peut vérifier rien de ce qu’en dit son fabricant ? Jusqu’à cette semaine, Kimi K3.1 Pro se trouvait dans cette zone grise: un tas de résultats de benchmarks impressionnants, assortis d’une promesse de publier les poids. Depuis le 4 novembre, la promesse est tenue, et cela change ce que nous sommes en droit d’exiger.

Les poids sont bien là, mais avec des petites lignes

Selon plusieurs des observatoires que nous avons consultés, Moonshot a lancé Kimi K3.1 Pro le 23 octobre à 2 dollars par million de jetons en entrée et 10 dollars par million de jetons en sortie, soit environ un tiers de moins que Kimi K3. Les poids ont ensuite été mis en ligne sur Hugging Face, où Moonshot le décrit comme un modèle agentique à poids ouverts, nativement multimodal, doté d’une fenêtre de contexte de 1 million de jetons et post-entraîné à partir de Kimi K3.

Un article d’OrcaRouter chiffre la publication à 96 fragments et 1,56 To, sous une licence propriétaire non approuvée par l’OSI, comportant une clause à 20 millions de dollars. Nous n’avons pas vu le texte de la licence: les détails sont donc de seconde main. L’essentiel est toutefois clair: il s’agit de poids ouverts, pas d’open source au sens strict.

Les classements ont toujours été la preuve la plus fragile

Les chiffres qui circulaient étaient confus. Un site cite un score de 55 sur Artificial Analysis et une 4e place. Codersera affirme que le modèle coûte 2,11 dollars par tâche contre 5,98 dollars pour Claude Opus 5.5. Une autre page parle de 46 sur un « nouvel indice ». Une troisième reprend un chiffre de 65,7 % sur Terminal-Bench 4.0. Certains de ces chiffres peuvent être des affirmations du fournisseur, et les pages ne sont pas datées: impossible de savoir quel instantané est le bon.

C’est tout notre propos. Un résultat de benchmark fourni par le laboratoire qui a entraîné le modèle est une publicité. Un chiffre issu d’un agrégateur, peut-être arrondi, remis à l’échelle ou recopié, est une rumeur avec une virgule. Même la comparaison du coût par tâche dépend du nombre de jetons que le modèle consomme à réfléchir, et une source note que la réflexion de K3.1 Pro ne peut pas être désactivée. Peu cher au jeton ne veut pas dire peu cher par problème résolu.

Nous irions plus loin: toute la question « est-il aussi bon que le meilleur ? » est bancale. Bon en quoi ? Les agents de programmation en terminal, la recherche en contexte long, le raisonnement multimodal et le simple respect des consignes peuvent classer les modèles différemment. Un modèle peut être quatrième sur un indice composite et rester le mauvais choix pour votre charge de travail.

Pourquoi les poids changent la donne

Les poids donnent un marteau à tout le monde. Les chercheurs peuvent mener leurs propres évaluations avec leurs propres prompts, vérifier la contamination, sonder les modes de défaillance, quantifier le modèle, l’affiner et comparer ses sorties avec celles de l’API hébergée. Si le modèle auto-hébergé se comporte autrement que ce que vend le point d’accès de Moonshot, cela se verra vite. C’est une vraie redevabilité, que les laboratoires fermés de pointe n’offrent tout simplement pas.

La licence compte aussi. Une licence propriétaire non OSI avec une clause à 20 millions de dollars n’est pas forcément rédhibitoire pour la plupart des développeurs, mais elle signifie que « ouvert » s’accompagne de conditions. Quiconque construit un produit dessus devrait lire les termes réels, pas le résumé d’un blog.

Il y a aussi la réalité pratique de 1,56 To. Ce n’est pas un modèle que l’on exécute sur un ordinateur portable: pour la plupart des équipes, « poids ouverts » signifiera sans doute louer du matériel ou passer par un hébergeur tiers. L’avantage tient à la liberté de choix et à l’auditabilité, pas à une révolution pour laboratoire domestique.

Notre verdict

Ne croyez pas Moonshot sur parole quant à la qualité du modèle, et ne nous croyez pas davantage. Dans les prochaines semaines, guettez les évaluations indépendantes qui publient leurs prompts, leurs réglages et leurs cas d’échec. Accordez plus de poids à tout ce qui teste le codage agentique sur de vrais dépôts et indique le coût par tâche résolue plutôt que par jeton.

Si vous êtes développeur, faites votre propre comparatif sur un échantillon représentatif de votre travail avant de changer quoi que ce soit; le faible prix de l’API rend l’exercice peu coûteux. Si les résultats indépendants se rapprochent des annonces, l’histoire ne sera pas que la Chine a rattrapé son retard, mais que les preuves sont enfin publiques. Sinon, les poids auront rempli leur rôle malgré tout: ils nous permettent, à nous autres, de le découvrir.