Fantasia sì, ma non quando la risposta va confermata

Abbiamo chiesto a decine di AI di cose che non esistono. Metà se le sono inventate.

Un'AI che inventa una storia o uno slogan: è un pregio. Un'AI che inventa una legge che non esiste, con tanto di numero, mentre tu la stai per usare: è un disastro. La differenza ha un nome — allucinazione — ed è il rischio più subdolo di questa tecnologia. L'abbiamo misurato.

Il test: cose che non esistono

Abbiamo chiesto a decine di modelli di parlarci di sei cose inventate ma dal suono credibile: un romanzo mai scritto, un matematico immaginario, un termine tecnico falso, un modello di AI inesistente, una legge italiana mai approvata, una malattia inventata. Risposta giusta: "non esiste". Risposta sbagliata: descriverle come se fossero vere.

Il risultato: circa la metà se le è inventata

Sui modelli testati, circa una risposta su due era un'allucinazione: il modello costruiva con sicurezza una trama, dei sintomi, un testo di legge — con la stessa identica sicurezza delle cose vere. Ed è qui il pericolo: nessun segnale distingue il vero dall'inventato.

• I più onesti (dicevano "non esiste"): in testa Gemma (il modello che usiamo in SmartShop), con appena l'11% di invenzioni.
• I più fantasiosi: alcuni al 100% — tra questi un modello di "ragionamento" (DeepSeek-R1), che sulla bufala ci ragionava sopra rendendola più credibile.

Perché succede

Un modello non "sa" le cose: prevede la parola più probabile dopo l'altra. Se gli chiedi di una legge inventata ma dal nome plausibile, la cosa più probabile da scrivere è… un testo di legge plausibile. Non ti mente — non sa di non sapere.