Come misurare sul serio decine di modelli di AI in locale.
Volevamo una risposta pratica: quale modello conviene, per ogni compito, sul nostro hardware? Così abbiamo costruito un banco di prova con decine di modelli e i compiti veri del nostro gestionale. Alla prima classifica ci siamo quasi cascati: un modello da 3 miliardi in testa, uno da 31 in fondo. Impossibile. Il benchmark era rotto — e non ce ne saremmo accorti senza guardare dentro i numeri.
I controlli facili ("è un JSON valido? c'è la funzione?") sono cose che anche un modello piccolo fa benissimo. Risultato: 104 risposte su 115 prendevano il massimo dei voti. Tutti "bravissimi", nessuna differenza. Se un test dà a tutti 10, il test è rotto.
Peggio: i modelli più bravi venivano penalizzati. Scrivevano risposte più ricche che, superando un limite di lunghezza impostato male, risultavano "tagliate" e quindi "incomplete". Abbiamo trovato 36 risposte troncate — quasi tutte dei modelli migliori. Il controllo ingenuo, di fatto, premiava chi rispondeva meno.
Per i compiti "aperti" (un consiglio, una ricetta, un sito) serve valutare la qualità: l'abbiamo fatto con un modello giudice che valuta alla cieca. E per riprova ne abbiamo usati tre diversi. Scoperta: i tre giudici non erano d'accordo sul "primo assoluto", pur concordando su chi stava in alto e in basso. Anche la scelta del giudice è una scelta che pesa.
Il mondo dell'AI è pieno di classifiche e "record" che, guardati da vicino, misurano poco. Noi facciamo diverso: misuriamo sui compiti veri, correggiamo i nostri errori di metodo, e pubblichiamo tutto — codice, dati grezzi, anche ciò che non ha funzionato. È lo stesso rigore con cui costruiamo SmartShop e gli assistenti che girano in locale, a casa del cliente.