I trilioni di parametri di Cerebras impressionano, ma chiedi il conto

Il mercato dell'inferenza IA è ancora di Nvidia per default? Cerebras vorrebbe farti pensare di no, e il suo ultimo articolo tecnico è finora l'argomento più forte. È anche un promemoria: un buon argomento non è un ordine d'acquisto.

Cosa ha mostrato davvero Cerebras

In un post sul proprio blog, Cerebras spiega come distribuisce un modello da più trilioni di parametri su diversi wafer WSE-3T. Ogni wafer ha 44 GB di memoria integrata nel chip. L'esempio è Kimi K3, un modello open source da circa 3 trilioni di parametri. L'azienda dice di poter servire questi modelli a 1.000–2.000+ token al secondo. È un dato della stessa Cerebras, non una misurazione indipendente.

Il trucco è una pipeline. I livelli restano fermi su ogni wafer e solo le attivazioni passano da un wafer all'altro via Ethernet, a circa 2 microsecondi per salto secondo Cerebras. Molte richieste scorrono contemporaneamente, quindi nessun wafer resta inattivo.

L'argomento architetturale è più solido del marketing

Per noi la parte interessante non è la velocità da titolo, ma il fatto che il progetto aggira il collo di bottiglia abituale. Cerebras sostiene che la generazione sia limitata dalla velocità con cui i pesi si spostano dalla memoria al calcolo, e che tenerli sul chip eviti quel traffico. Un rivale come Groq ha fatto la stessa scommessa sulla SRAM, come nota il confronto di Spheron, ma con chip molto più piccoli. Quando due aziende diverse scommettono contro la HBM, la tesi merita rispetto.

Conta anche che sia un modello aperto. Cerebras dice che Kimi K3 ottiene l'88,3% su Terminal-Bench 2.1 contro l'88,8% di GPT-5.6 Sol, e in alcuni benchmark supera perfino i principali modelli proprietari. Se continueranno ad arrivare pesi aperti di livello d'avanguardia, l'hardware che li serve in fretta diventa l'elemento distintivo. Qui il fossato software di Nvidia potrebbe pesare meno e il silicio specializzato può vincere.

Ma «20 volte più veloce» è un'affermazione, non una voce della tua fattura

Guarda come sono costruiti i numeri. La pagina di Cerebras che confronta CS-3 e B200 parla di 21 volte più veloce e 32% di costi in meno. Quel dato da titolo poggia su un benchmark di SemiAnalysis su un solo modello (Llama 3 70B) in un solo scenario. La pagina cita altri benchmark per gpt-oss-120B e Llama 4 Maverick, ma restano pochi modelli, e le note a piè di pagina dell'azienda ammettono che i guadagni di velocità rispetto alle GPU «possono variare in base a carico di lavoro, configurazione, data e modelli testati».

Il confronto con Groq mostra lo stesso schema. Spheron ha rilevato che il dato della stessa Cerebras per GPT-OSS-120B è di circa 3.000 token al secondo, mentre Artificial Analysis ne ha misurati in modo indipendente circa 1.700. È comunque veloce, ma è un numero ben diverso. Spheron nota anche che Groq costa meno per milione di token sui due modelli monitorati, e che nessuno dei due chip offre fine-tuning in self-service né esegue alcune famiglie di modelli popolari. Sono i limiti pratici della storia della velocità.

E nota cosa non abbiamo trovato nel nuovo post. Spiega i conti della memoria, ma non abbiamo visto alcun prezzo per milione di token per Kimi K3 né la latenza sotto carico. Dice che il throughput per megawatt a parità di velocità di output è la metrica significativa, e siamo d'accordo. Vorremmo vedere pubblicato quel dato.

Cosa dovrebbero fare gli acquirenti

Consideralo un motivo per fare un test comparativo, non per cambiare fornitore. Chiedi il tempo al primo token e la latenza end-to-end con la lunghezza reale dei tuoi prompt e la tua concorrenza. Chiedi il prezzo per milione di token per il modello esatto che distribuirai. Chiedi cosa succede alla velocità quando il contesto cresce verso le richieste da 256k usate nell'esempio di memoria del post. Confronta con un benchmark indipendente, non con il grafico di un fornitore.

Il nostro verdetto: Cerebras si è guadagnata un posto nella rosa dei candidati, e Nvidia sembra non essere più l'unica risposta seria per l'inferenza. Ma la prova di uno sfidante è un costo per token pubblicato sotto carico di produzione, e non l'abbiamo ancora visto. Finché non arriva, tieni il portafoglio chiuso e i benchmark aperti.