Il costo marginale dell’inferenza che scende a zero è il titolo. La parte che conta è dove si sposta il problema.
Alla demo di Build un agente di procurement leggeva allegati email, incrociava un database SQLite locale, aggiornava una tab di Teams e generava la bozza di un contratto. Tutto su un laptop Dell. Offline. Nessun token fatturato.
Quando un modello piccolo e specializzato gira on-device, la domanda sul costo sparisce per tutto ciò che entra nella macchina. Quello che non sparisce si sposta: sull’harness, sul livello che decide — task per task — se la risposta locale basta o va escalata a un modello frontier nel cloud.
Quella decisione non è più ottimizzazione di costo, è una soglia di accuratezza. ‘Il modello locale è sufficiente sulla qualità’ regge finché definisci sufficiente: per il coordinamento interno l’errore tollerabile è alto, per un contratto che diventa vincolante è un altro numero. L’harness deve misurare questa differenza, non intuirla.
Poi c’è il rovescio della privacy. I dati non lasciano il laptop solo finché resti sul ramo locale. Nel momento in cui l’harness escala, il dato sensibile esce. La politica di escalation è anche una politica di governance del dato, non solo di spesa.
Il valore si sposta dal modello all’orchestrazione che decide quando ‘abbastanza buono’ lo è davvero. Quella logica di routing diventa l’architettura.
