Quando un progetto di automazione fallisce, il problema quasi mai è il modello. È che il processo che gli chiedi di eseguire non esiste in forma leggibile: vive nella testa di tre persone, cambia a seconda del cliente, e nessuno lo ha mai scritto per intero.
Un agente non capisce il tuo lavoro. Esegue una sequenza di passaggi con criteri di successo definiti. Se quei passaggi sono impliciti, non li inventa in modo affidabile: li approssima, e ogni approssimazione diventa un errore che si propaga a valle.
Da qui la frase che gira: l’AI amplifica i processi buoni e amplifica anche quelli rotti. Vera, ma si ferma un passo prima del punto. Senza una metrica di correttezza non distingui nemmeno un processo buono da uno rotto. Se non puoi definire cosa conta come output giusto, non stai misurando accuracy: stai guardando demo che sembrano funzionare finché non incontrano un caso vero.
L’ordine è quasi sempre invertito. Prima si definisce come si misura un risultato corretto, poi si documentano i passaggi che ci arrivano, poi si automatizza. Chi parte dallo strumento compra amplificazione di un rumore che non ha ancora imparato a misurare.
