Il 57% delle aziende ha già visto agenti AI sbagliare con sicurezza nei pilot in produzione. Il dato interessante non è la percentuale: è che in quasi tutti quei casi non esisteva nulla, tra il modello e il database, capace di impedire all’errore di diventare una scrittura reale.
“Confidently wrong” non è un bug del modello. È l’output prevedibile di un sistema probabilistico a cui si chiede un risultato deterministico. Un LLM legge uno schema SQL come testo, non come un insieme di regole relazionali con vincoli e conseguenze. Dargli write-access diretto su un ERP non è automazione: è delegare una decisione contabile a un componente che non ha modo di sapere quando sta sbagliando.
La soluzione non è un modello più bravo. È spostare la garanzia fuori dal modello. Il linguaggio naturale propone, un layer deterministico dispone: valida gli input, impone gli schemi, definisce i confini di esecuzione. L’agente non scrive un ordine da milioni; propone una scrittura che regole esplicite accettano o rifiutano.
Cambia anche cosa vuol dire accuracy. Non “il modello indovina più spesso”, ma “l’output sbagliato non può arrivare al ledger”. La domanda da fare prima di consegnare le chiavi non è quanto è capace l’agente. È dove finisce il linguaggio naturale e dove comincia la validazione che non negozia.
