Non esiste "il modello migliore"

Decine di modelli di intelligenza artificiale provati interamente in locale, su hardware da retrobottega, sui compiti veri di un gestionale. Dati pubblici.

Abbiamo messo alla prova decine di modelli di AI (17 modelli su sette famiglie diverse) senza usare il cloud, sui compiti che il nostro gestionale SmartShop affronta ogni giorno: classificare richieste, estrarre menù, scrivere e rivedere codice, generare siti, dare consigli a un negozio. La conclusione è netta e contro-intuitiva: non vince sempre lo stesso modello, e il più grosso non è il migliore.

I benchmark ingenui mentono

Il primo giro ci ha dato una classifica assurda: un modello minuscolo in testa, uno enorme in fondo. Il motivo è una trappola comune: misuravamo la forma, non la sostanza ("è un JSON valido? c'è la funzione?") — cose che anche un modello piccolo fa benissimo. Così tutti prendevano il massimo, e i modelli migliori venivano perfino penalizzati perché scrivevano risposte più ricche.

Abbiamo corretto: nessuna penalità per i limiti tecnici, e soprattutto un giudice vero — anzi tre: un modello valuta alla cieca, il vincitore rifà da giudice come riprova, e una valutazione esterna controlla un campione. Se un benchmark dà a tutti il massimo dei voti, il benchmark è rotto.

I risultati

La velocità ribalta tutto

Stessa qualità del modello da 31 miliardi, ~13 volte più veloce. I giganti, a parità (o meno) di qualità, sono di fatto inutilizzabili per il lavoro reale su questo hardware.

La prova estesa: 17 modelli, 7 famiglie

Poi abbiamo allargato: decine di modelli (tra originali, varianti e fusioni) di sette "scuole" diverse — Google, Meta, Mistral, Microsoft, Nvidia, DeepSeek, Alibaba/Qwen — provati anche su un secondo computer più potente collegato in rete (una piccola "flotta"). Il verdetto non cambia, anzi si rafforza: nel test esteso ha vinto un modello da 14 miliardi (Phi-4 di Microsoft), davanti a modelli da 24-26 miliardi.

Il "ragionamento" conviene? Quasi mai

La vera potenza è il sistema, non il modello

Da qui la nostra convinzione, e il modo in cui costruiamo i prodotti: il valore non è nel modello più grande, ma nel sistema che manda il modello giusto a fare la cosa giusta. Un setup contenuto rende più di un singolo gigante generico — a una frazione di energia, in locale, senza mandare i dati di nessuno nel cloud.

E lo conferma il mercato: persino OpenAI ha chiuso Sora perché la generazione video di frontiera costava ~1 milione di dollari al giorno. La potenza bruta nel cloud non regge. La via sostenibile è l'efficienza.