Paperclip aveva ricevuto il compito di sviluppare applicazioni. Ho dato agli agenti istruzioni dettagliate e intere cartelle di contesto, perché sapessero su cosa stavano lavorando e come avrebbe dovuto funzionare il prodotto. Il sistema lavorava davvero. Produceva analisi, piani, documentazione e altri compiti dedicati al proprio sviluppo. Il problema era che nelle applicazioni si vedevano pochissimi cambiamenti.

L’attività cresceva, il risultato restava fermo.

Non è un problema esclusivo dell’IA. Le organizzazioni composte da persone fanno esattamente la stessa cosa. La differenza è la velocità: un agente può produrre centinaia di prove apparenti di lavoro prima che una persona si accorga che il sistema sta ottimizzando perfettamente qualcosa che nessuno voleva davvero.

L’obiettivo esiste nella realtà, la metrica lo descrive soltanto

L’obiettivo può essere un’applicazione funzionante con determinate funzionalità. Il numero di funzionalità implementate, la copertura dei test, il numero di bug risolti e lo stato della documentazione sono metriche. Ognuna descrive un tratto del percorso verso l’obiettivo. Nessuna è l’applicazione.

Questa distinzione sembra banale finché un indicatore non viene collegato a una ricompensa, a una valutazione o al diritto di dichiarare concluso un compito. A quel punto il sistema comincia a ottimizzare ciò che è più facile contare. La documentazione si può produrre più velocemente di una funzionalità affidabile. Si può chiudere un compito più velocemente di quanto si possano verificare tutti i flussi. Il numero di commit può aumentare senza accrescere il valore del prodotto.

Una versione diffusa della legge di Goodhart afferma che una misura smette di essere una buona misura quando diventa un obiettivo. L’osservazione originale di Charles Goodhart era più circoscritta: una regolarità statistica utilizzata per governare un sistema smette di comportarsi come prima. Donald Campbell descrisse un problema sociale affine — maggiore è il peso di un indicatore quantitativo nelle decisioni, più forte è la pressione a distorcerlo (Goodhart, 1975; Campbell, 1979).

Nei sistemi che apprendono, un meccanismo simile viene chiamato reward hacking. Un agente massimizza una ricompensa sostitutiva imperfetta, mentre il risultato rispetto al vero obiettivo peggiora. La ricerca formale mostra che creare una misura sostitutiva resistente a ogni forma di questo sfruttamento è un requisito estremamente forte (Skalse et al., 2022). Non basta quindi inserire un numero migliore nella configurazione di Paperclip. Occorre progettare il modo in cui il sistema distingue l’attività dal suo effetto.

Excel può tornare anche quando il lavoro non torna

Conoscevo questo meccanismo prima di costruire Paperclip, ma in un altro contesto. Lavoro nelle telecomunicazioni in una piccola azienda subappaltatrice di un’organizzazione più grande. Nel suo foglio di calcolo, un incarico può essere preventivato in mezza giornata. La tabella, però, non vede che il solo viaggio di andata e ritorno richiede mezza giornata. Non vede il rischio che qualcosa non riesca al primo tentativo, la necessità di tornare né il costo di mantenere un dipendente quando gli incarichi scarseggiano.

A livello di una singola cella, tutto può sembrare corretto. Il prezzo è stato assegnato, il tempo contabilizzato, il margine calcolato. Solo la realtà mostra che l’esecuzione costa due o tre volte tanto. Non è necessariamente sbagliato il numero in sé. È sbagliato il modello in cui quel numero rappresenta una parte della realtà più ampia di quella che misura davvero.

Lo stesso errore può attraversare l’intera catena organizzativa. Il cliente riceve un preventivo allettante, la grande azienda ottiene l’incarico, il subappaltatore cerca di far rientrare il lavoro reale in un’ipotesi irrealistica e il dipendente assorbe il costo mancante con il proprio tempo. Ognuno difende localmente il proprio indicatore. L’insieme perde.

Per questo il risultato di un singolo reparto, agente o passaggio non può certificarsi da solo come un successo. Una metrica locale ha senso soltanto quando il suo miglioramento non peggiora il flusso che porta al risultato finale.

Un numero può essere corretto e comunque insufficiente

Questo non significa che una singola metrica sia sempre sbagliata. L’accelerazione di un’auto da zero a cento chilometri orari può essere misurata con un numero. Il risultato può essere preciso. Ma se scelgo un’auto per lavorare in Svizzera, dove viaggio al massimo a 120 km/h, quel numero preciso potrebbe non aiutarmi a decidere. Mi interessano anche affidabilità, costi di gestione, spazio, sicurezza e consumo di carburante.

Lo stesso vale per le calorie. La chilocaloria è un’unità di energia definita e il bilancio energetico conta per le variazioni del peso corporeo. Allo stesso tempo, due pasti con lo stesso valore energetico possono fornire quantità completamente diverse di proteine, grassi, carboidrati, fibre, vitamine e minerali. La FAO descrive sia l’importanza dell’energia metabolicamente disponibile sia i limiti dei metodi per calcolarla, mentre le raccomandazioni nutrizionali non si fermano al numero di kcal (FAO, 2003; NIDDK; HHS/USDA). La caloria non è una menzogna. Lo sarebbe fingere che descriva da sola la qualità dell’alimentazione.

Durante la conversazione ho fatto anche l’esempio della tassazione dell’alcol. La mia intuizione era questa: se lo Stato misura soltanto le vendite legali, può non rilevare la produzione non registrata e interpretare un calo delle vendite come un calo del consumo. È una lacuna di misurazione reale, ma mi sono spinto troppo oltre concludendo che prezzi più alti semplicemente non riducano il consumo. Le metanalisi mostrano una diminuzione media dei consumi dopo aumenti dei prezzi e delle imposte, anche se l’entità dell’effetto dipende dalla bevanda e dal gruppo e la sostituzione può attenuarlo (Wagenaar et al., 2009; Guindon et al., 2022). L’alcol non registrato va considerato, ma il suo aumento non è una conseguenza automatica di accise più alte (Rehm et al., 2022).

Questo esempio mostra bene un altro problema: criticando la metrica altrui, possiamo basarci noi stessi sull’intuizione anziché sulla misurazione. Un sistema non smette di diventare cieco soltanto perché ha sostituito un foglio di calcolo con la convinzione del suo autore.

Anche un insieme di misure può essere aggirato

Per un obiettivo complesso servono di solito più segnali complementari. In Paperclip, il numero di compiti completati può descrivere il flusso di lavoro, i test il comportamento del codice, il rilascio la disponibilità di una modifica e l’accettazione da parte dell’utente la soluzione del problema giusto. L’insieme dovrebbe coprire risultato, costo, tempo, qualità, rischio ed effetti collaterali nella misura in cui sono rilevanti per la decisione concreta.

Non esiste, però, un numero magico di metriche proporzionale alla complessità. Dieci indicatori deboli non producono un buon quadro. Possono misurare lo stesso frammento del sistema, mascherarsi a vicenda o assorbire più lavoro del problema che avrebbero dovuto aiutare a risolvere. La ricerca sulla progettazione delle metriche indica che diversificazione e triangolazione possono limitare i difetti di una singola misura, ma introducono a loro volta costi e nuove possibilità di manipolazione (Manheim, 2023).

Per questo non partirei dalla domanda: «Di quanti KPI abbiamo bisogno?». Prima bisogna definire lo stato della realtà che vogliamo ottenere. Poi scomporlo in condizioni necessarie, cercare per ciascuna prove il più possibile indipendenti e individuare le situazioni in cui i numeri potrebbero tornare nonostante il fallimento dell’insieme.

Un compito si conclude con la prova del risultato, non con il rapporto dell’agente

Uso qui l’espressione «prova del risultato» per non confonderla con il meccanismo tecnico Proof of Work impiegato, fra l’altro, in Bitcoin (Nakamoto, 2008). La prova non è una dichiarazione dell’agente, il numero di passaggi eseguiti o la documentazione che descrive una futura funzionalità. Deve corrispondere a ciò che avrebbe dovuto cambiare nella realtà.

Se l’obiettivo è correggere l’accesso, bisogna mostrare che l’utente rimane connesso nei flussi richiesti e che la modifica non ha compromesso altri percorsi. Se l’obiettivo è un foglio di calcolo dei costi, bisogna controllare formule, fonti dei dati e casi limite. Se l’obiettivo è un testo, il numero di pagine non conclude nulla — servono aderenza al tema, veridicità, concretezza e valore per il lettore.

Come criterio di lavoro, se ne possono ricavare quattro domande di accettazione:

  1. Quale stato della realtà avrebbe dovuto cambiare?
  2. Quale artefatto o test dimostra direttamente quel cambiamento?
  3. Quali effetti collaterali importanti potrebbero essere stati trascurati?
  4. Il risultato si può verificare indipendentemente, senza credere al rapporto di chi ha svolto il lavoro?

Quando le prove sono contraddittorie, il compito dovrebbe rimanere non accettato. Non perché il sistema debba essere burocratico, ma perché un rapporto non può risolvere una controversia a proprio favore.

Paperclip non ha fallito perché misurava il lavoro. Ha fallito perché i suoi meccanismi permettevano di trasformare le tracce di attività in un sostituto del risultato. La soluzione non consiste nell’eliminare le metriche o aggiungere un altro agente di audit. Consiste nel ripristinare la gerarchia: prima un obiettivo che esiste fuori dal sistema di misurazione, poi un insieme di indicatori il più possibile indipendenti e infine la prova che la realtà è effettivamente cambiata.

Una metrica deve aiutare il sistema a vedere. Non può decidere che ciò che non vede non esiste.

Bibliografia

✦Costruire sistemi per una maggiore autonomia.