Il limite tensor di Nvidia sembra una scelta di prezzo, e Linux lo ha appena svelato

Se una scheda può offrire il doppio del throughput tensor su alcune operazioni dopo un modulo del kernel e un riavvio, era davvero "limitata" dalla fisica? È la domanda scomoda a cui Nvidia ora deve rispondere, e secondo noi la risposta è ovvia.

Cosa è successo davvero

Secondo PC Games Hardware, tre progetti di sviluppatori aggirano ormai il limite tensor su alcune GeForce RTX delle serie 20, 30 e 40 sotto Linux. Si basano su lavori precedenti sulle schede da mining CMP di Nvidia. La versione per Ada Lovelace, gpu-unlock-ada, rimuove il tetto sui calcoli FP16 e BF16 con accumulo FP32 su una RTX 4090. Il throughput misurato passa da 165,6 a 331,6 TFLOPS.

Il progetto per Ampere, gpu-unlock, è il più maturo. Su una RTX 3090 Ti, secondo il rapporto, il BF16 sale da 87,5 a 157,4 TFLOPS, un aumento di quasi l'80%. Non vengono sbloccate unità di calcolo né memoria aggiuntive. Il modulo viene eseguito prima del driver normale, usando firmware Nvidia firmato, e poi subentra il driver originale. La modifica sparisce al riavvio e va applicata di nuovo a ogni avvio.

I numeri dicono "segmentazione", non "fisica"

Nvidia documenta questa divisione da anni. Nel whitepaper su Ada Lovelace, secondo PCGH, la RTX 4090 è indicata con 165,2 TFLOPS in FP16 con accumulo FP32 e 330,3 TFLOPS con accumulo FP16. Il risultato sbloccato cade quasi esattamente sul secondo valore. Stesso chip, stesso silicio e un tetto che evidentemente è un'impostazione di configurazione.

Sembra la classica segmentazione di mercato. I prodotti professionali e per data center costruiti sulle stesse GPU ottengono la velocità piena, chi compra una GeForce no. Nvidia ha il diritto di vendere prodotti diversi a prezzi diversi. Ma ci sembra difficile sostenere che il valore di un registro sia una differenza hardware. Un thread su Reddit lo ha detto senza giri di parole: lo sblocco elimina una restrizione artificiale per poter far pagare di più i clienti enterprise. È un'opinione da forum, non un fatto documentato, e le fonti non spiegano il motivo di Nvidia. Ma per noi è difficile leggere i dati in un altro modo.

Secondo noi conta anche il momento. Il limite pesa soprattutto sul BF16, che secondo PCGH molti modelli di IA attuali usano. Nvidia ha venduto queste schede in un mondo di videogiochi. Oggi i proprietari ci eseguono modelli linguistici e generazione di immagini in locale e, a nostro avviso, un freno che protegge i prodotti orientati all'IA colpisce anche loro.

Non esagerare il guadagno e non ignorare i rischi

Prima che qualcuno corra a flashare qualcosa, una doccia fredda. I guadagni sono disomogenei. PCGH riporta i salti maggiori nell'elaborazione di prompt lunghi e in certi modelli di immagini, mentre la generazione di un singolo token accelera appena. Non è stato misurato alcun aumento di frame rate nei giochi. L'FP8, che Nvidia ha promosso molto su Ada, è migliorato solo dello 0,3% nell'unico test finora effettuato.

Anche le prove per la scheda protagonista sono scarse. Il successo con la 4090 è stato documentato su una sola scheda dopo un avvio a freddo, e PCGH afferma che l'affidabilità su altri esemplari non è stata studiata a dovere. Per Ampere ci sono segnalazioni di utenti solo per cinque modelli, e Turing è soltanto uno studio di fattibilità. Si tratta di software sperimentale che gira sotto il driver e avvia firmware firmato con un payload personalizzato. Lo tratteremmo come un firmware per l'overclock: va bene su un computer di riserva, è una pessima idea sulla macchina che ti serve per lavorare domani. Non conteremmo nemmeno su una concessione in garanzia, anche se la documentazione non dice come reagirà Nvidia e non vogliamo fare ipotesi.

Il nostro verdetto

Le persone dovrebbero possedere il silicio che pagano. Se un chip può fare qualcosa in sicurezza, lasciarlo disattivato nel firmware solo per proteggere un modello più costoso è difficile da giustificare a chi compra una scheda di punta. Che la community abbia dovuto scavare nel firmware per arrivarci è la vera notizia. L'esito migliore sarebbe che Nvidia ne facesse un'opzione ufficiale e supportata, o almeno spiegasse dove passa il confine. Dubitiamo che lo farà, perché lo scopo del limite sembra proprio separare i prezzi.

Fino ad allora, il nostro consiglio è semplice. Se usi IA locale su una GeForce più vecchia sotto Linux, osserva la maturazione di questi progetti, prova su hardware non critico e aspetta più di una 4090 riuscita. E se stai decidendo cosa comprare, ricorda che le schede tecniche descrivono ciò che il produttore lascia fare al chip, non necessariamente ciò che sa fare.