Il numero che tutti citano — l’accuratezza del modello — è quello che pesa meno nel decidere se un sistema AI regge in produzione.
Conta la forma del costo dell’errore. Dove l’output è testo, sbagliare è gratis: cancelli la frase e riscrivi. Dove l’output muove qualcosa di fisico — un setpoint, un lotto, un turno — l’errore resta. E i conti sono asimmetrici: un buon modello taglia il 5-15% delle perdite, ma l’1% in cui sbaglia può costare mille volte una corsa andata bene. Un’accuratezza del 99% calcolata sulla media non dice niente su quanto pesano le code.
Per questo l’accuratezza aggregata è una metrica di vanità: misura il caso medio in un problema dove il valore vive nei casi peggiori.
Le domande che spostano la decisione sono altre. Cosa alimenta il modello: qualità del segnale in ingresso, ground truth lento e costoso, dati che ogni impianto genera a modo suo. E cosa succede nell’1% in cui sbaglia: chi se ne accorge, chi contiene il danno, quanto costa prima che qualcuno intervenga.
Il collo di bottiglia non è mai stata l’intelligenza del modello. È quanto puoi fidarti di ciò che lo alimenta, e di come vengono gestiti i suoi errori.
