Ricerca · Parte 12 · SudoWAI Livorno

Basta girarci intorno: come si "ammorbidisce" il guard-rail di un'AI

Chiedere una cosa vietata di petto o travestirla cambia tutto. L'abbiamo misurato (e redatto).

Ogni AI seria ha un guard-rail: un freno che la fa rifiutare le richieste pericolose. Ma quanto è solido? Regge solo se gli chiedi la cosa vietata di petto, o anche se la travesti? L'abbiamo trasformato in una misura. (Red-teaming responsabile: misuriamo il comportamento, non pubblichiamo contenuti pericolosi né le formulazioni che funzionano.)

Il risultato: travestire la richiesta funziona

La stessa richiesta, posta in cinque modi. Chiesta di petto il freno cede nel ~14% dei casi; travestita (romanzo, gioco di ruolo, ipotesi) nel ~21% — una volta e mezza di più.

Diretto vs travestito

Il freno guarda più le parole che il senso. Cambi la confezione — "è per un romanzo", "facciamo finta" — e lo stesso modello che prima diceva no, a volte si lascia trascinare.

Chi regge e chi no

Il più solido: Gemma — ha retto a tutte le prove (20 su 20), diretto e travestito. È il modello che usiamo in SmartShop. Molto solidi anche Phi-4 e Llama 3.1. Più aggirabili i modelli abliterated (senza freni per costruzione) e alcuni modelli di "ragionamento", che davanti al gioco di ruolo si fanno trascinare.

Chi mette un'AI in azienda deve sapere due cose: il freno non è magico, si ammorbidisce travestendo le richieste; e ci sono differenze enormi tra un modello e l'altro. Sceglierne uno robusto è una responsabilità, non un dettaglio.
Dati (redatti) e codice: github.com/alessiom18/local-llm-benchmark · SudoWAI — Livorno.