Kimi K3.1 Pro: Gewichte veröffentlicht, jetzt müssen die Benchmarks halten

Ist ein Modell „offen“, wenn sich nichts von dem, was sein Hersteller behauptet, überprüfen lässt? Bis zu dieser Woche befand sich Kimi K3.1 Pro in genau dieser Grauzone: viele beeindruckende Benchmark-Werte und das Versprechen, die Gewichte zu veröffentlichen. Seit dem 4. November ist das Versprechen eingelöst, und das verändert, was wir verlangen dürfen.

Die Gewichte sind echt, aber mit Kleingedrucktem

Laut mehreren von uns konsultierten Trackern hat Moonshot Kimi K3.1 Pro am 23. Oktober zu 2 US-Dollar pro Million Eingabe-Token und 10 US-Dollar pro Million Ausgabe-Token gestartet, rund ein Drittel weniger als bei Kimi K3. Die Gewichte wurden anschließend auf Hugging Face veröffentlicht, wo Moonshot das Modell als offenes, nativ multimodales Agentenmodell mit einem Kontextfenster von 1 Million Token beschreibt, das auf Basis von Kimi K3 nachtrainiert wurde.

Ein Beitrag von OrcaRouter beziffert die Veröffentlichung auf 96 Shards und 1,56 TB, unter einer eigenen, nicht von der OSI anerkannten Lizenz mit einer Klausel über 20 Millionen US-Dollar. Den Lizenztext haben wir nicht gesehen, die Details sind also aus zweiter Hand. Die Kernaussage ist dennoch klar: Es handelt sich um offene Gewichte, nicht um Open Source im strengen Sinn.

Ranglisten waren immer der schwächste Beleg

Die kursierenden Zahlen waren ein Durcheinander. Eine Seite nennt einen Wert von 55 bei Artificial Analysis und Rang 4. Codersera schreibt, das Modell koste 2,11 US-Dollar pro Aufgabe gegenüber 5,98 US-Dollar bei Claude Opus 5.5. Eine andere Seite nennt 46 in einem „neuen Index“. Eine dritte wiederholt einen Wert von 65,7 % bei Terminal-Bench 4.0. Manches davon dürften Herstellerangaben sein, und die Seiten sind nicht datiert, sodass unklar bleibt, welcher Stand aktuell ist.

Genau darum geht es uns. Ein Benchmark-Wert des Labors, das das Modell trainiert hat, ist Werbung. Ein Wert von einem Aggregator, der womöglich gerundet, umskaliert oder abgeschrieben wurde, ist ein Gerücht mit Nachkommastelle. Selbst der Kostenvergleich pro Aufgabe hängt davon ab, wie viele Token ein Modell beim Denken verbraucht, und eine Quelle merkt an, dass sich das Denken bei K3.1 Pro nicht abschalten lässt. Günstig pro Token heißt nicht günstig pro gelöstem Problem.

Wir gehen weiter: Die ganze Frage, ob es so gut sei wie das Beste, ist wackelig. Gut worin? Terminal-Coding-Agenten, Retrieval über lange Kontexte, multimodales Schlussfolgern und schlichtes Befolgen von Anweisungen können Modelle jeweils anders einordnen. Ein Modell kann in einem Gesamtindex Vierter sein und trotzdem die falsche Wahl für den eigenen Einsatz bleiben.

Warum die Gewichte alles verändern

Gewichte geben allen anderen ein Werkzeug in die Hand. Forschende können eigene Evaluierungen mit eigenen Prompts durchführen, auf Kontamination prüfen, Fehlerverhalten ausloten, das Modell quantisieren, feintunen und die Ausgaben mit der gehosteten API vergleichen. Verhält sich das selbst gehostete Modell anders als das, was der Endpunkt von Moonshot verkauft, fällt das schnell auf. Das ist echte Rechenschaft, und geschlossene Frontier-Labore bieten sie schlicht nicht.

Auch die Lizenz zählt. Eine eigene Nicht-OSI-Lizenz mit einer 20-Millionen-Dollar-Klausel ist für die meisten Entwickler nicht zwingend ein Ausschlusskriterium, bedeutet aber, dass „offen“ mit Kleingedrucktem kommt. Wer darauf ein Produkt baut, sollte die tatsächlichen Bedingungen lesen, nicht die Zusammenfassung eines Blogs.

Hinzu kommt die praktische Realität von 1,56 TB. Dieses Modell läuft nicht auf einem Laptop; für die meisten Teams wird „offene Gewichte“ wohl bedeuten, Hardware zu mieten oder einen externen Anbieter zu nutzen. Der Gewinn liegt in Wahlfreiheit und Überprüfbarkeit, nicht in einer Revolution fürs Heimlabor.

Unser Urteil

Glauben Sie Moonshot nicht aufs Wort, wie gut das Modell ist, und uns ebenso wenig. Achten Sie in den kommenden Wochen auf unabhängige Evaluierungen, die ihre Prompts, Einstellungen und Fehlerfälle offenlegen. Mehr Gewicht verdient alles, was agentisches Coding an realen Repositories testet und Kosten pro gelöster Aufgabe statt pro Token ausweist.

Wer Entwickler ist, sollte vor einem Wechsel einen eigenen Vergleich mit einem repräsentativen Ausschnitt der eigenen Arbeit durchführen; der niedrige API-Preis macht das günstig. Kommen die unabhängigen Ergebnisse nahe an die Angaben heran, lautet die Geschichte nicht, dass China aufgeholt hat, sondern dass die Belege dafür endlich öffentlich sind. Wenn nicht, haben die Gewichte trotzdem ihren Zweck erfüllt: Sie erlauben es uns anderen, es herauszufinden.