La parte difficile di un agente che usa dieci strumenti non è scegliere quello giusto. È accorgersi quando lo strumento giusto ha restituito una risposta sbagliata.
La selezione del tool è il passo visibile, quello che si misura facilmente: input, scelta, fatto. Ma in produzione la sequenza non finisce lì. L’agente chiama lo strumento, riceve un output, e a quel punto deve decidere se quell’output è valido, se la chiamata è fallita in modo silenzioso, se i dati tornati hanno senso. Selezione, esecuzione, validazione, recupero: l’affidabilità sta nella chiusura del loop, non nel primo passo.
Il punto è che validazione e recupero dipendono dai fallimenti reali, e i fallimenti reali sono anomali. Un’API che risponde 200 con un payload vuoto. Un campo che cambia tipo. Un timeout che assomiglia a un successo. Sono casi fuori distribuzione per natura.
Qui emerge il limite dei dataset sintetici di workflow. Generare milioni di sequenze che vanno dalla selezione al completamento insegna bene il percorso pulito. Insegna molto meno il recupero, perché per insegnarlo i fallimenti nel dataset devono somigliare a quelli veri, e quelli veri non si costruiscono a tavolino con la stessa facilità con cui si genera un happy path.
Un agente è affidabile quando il loop si chiude anche quando qualcosa va storto. È esattamente la parte che i dati sintetici faticano a coprire.
