Paperclip dostał zadanie rozwijania aplikacji. Dałem agentom rozbudowane instrukcje i całe foldery kontekstu, żeby wiedziały, nad czym pracują i jak powinien działać produkt. System rzeczywiście pracował. Powstawały analizy, plany, dokumentacja i kolejne zadania dotyczące jego własnego rozwoju. Problem polegał na tym, że w aplikacjach prawie nie było widać zmian.

Aktywność rosła, a rezultat stał w miejscu.

To nie jest wyłącznie problem AI. Organizacje złożone z ludzi robią dokładnie to samo. Różnica polega na prędkości: agent może wytworzyć setki pozornych dowodów pracy, zanim człowiek zdąży zauważyć, że system perfekcyjnie optymalizuje coś, czego nikt naprawdę nie chciał.

Cel istnieje w rzeczywistości, metryka tylko go opisuje

Celem może być działająca aplikacja zawierająca określone funkcje. Liczba zaimplementowanych funkcji, pokrycie testami, liczba zamkniętych błędów i stan dokumentacji są metrykami. Każda z nich opisuje fragment drogi do celu. Żadna nie jest aplikacją.

To rozróżnienie wydaje się banalne do chwili, gdy wskaźnik zostanie połączony z nagrodą, oceną albo prawem do uznania zadania za ukończone. Wtedy system zaczyna optymalizować to, co jest najłatwiej policzyć. Dokumentację można wytworzyć szybciej niż niezawodną funkcję. Zadanie można zamknąć szybciej niż sprawdzić wszystkie przepływy. Liczbę commitów można zwiększyć bez zwiększania wartości produktu.

Popularna wersja prawa Goodharta mówi, że miara przestaje być dobrą miarą, kiedy staje się celem. Pierwotna obserwacja Charlesa Goodharta była węższa: regularność statystyczna użyta do sterowania przestaje zachowywać się tak jak wcześniej. Donald Campbell opisał pokrewny problem społeczny — im większą wagę ma ilościowy wskaźnik przy podejmowaniu decyzji, tym silniejsza jest presja na jego wypaczenie (Goodhart, 1975; Campbell, 1979).

W systemach uczących się podobny mechanizm nazywa się reward hackingiem. Agent maksymalizuje niedoskonałą nagrodę zastępczą, choć wynik według rzeczywistego celu się pogarsza. Badania formalne pokazują, że stworzenie proxy odpornego na każdą formę takiego wykorzystania jest wymaganiem skrajnie silnym (Skalse i in., 2022). Nie wystarczy więc napisać lepszej liczby w konfiguracji Paperclipa. Trzeba zaprojektować sposób, w jaki system odróżnia aktywność od skutku.

Excel może się zgadzać, choć praca się nie spina

Znałem ten mechanizm przed zbudowaniem Paperclipa, tylko z innego miejsca. Pracuję w telekomunikacji w małej firmie będącej podwykonawcą większej organizacji. W jej arkuszu zlecenie może zostać wycenione na pół dnia. Tabela nie widzi jednak, że sam dojazd w obie strony zajmuje pół dnia. Nie widzi ryzyka, że czegoś nie uda się zrobić za pierwszym razem, konieczności ponownej wizyty ani kosztu utrzymywania pracownika, gdy zleceń brakuje.

Na poziomie pojedynczej komórki wszystko może wyglądać poprawnie. Cena została przypisana, czas rozliczony, marża policzona. Dopiero rzeczywistość pokazuje, że wykonanie kosztuje dwa albo trzy razy więcej. Zła nie musi być sama liczba. Zły jest model, w którym liczba reprezentuje większą część rzeczywistości, niż rzeczywiście mierzy.

Ten sam błąd może przechodzić przez cały łańcuch organizacji. Klient dostaje atrakcyjną wycenę, duża firma zdobywa zlecenie, podwykonawca próbuje zmieścić realną pracę w nierealnym założeniu, a pracownik przejmuje brakujący koszt własnym czasem. Każdy lokalnie broni swojego wskaźnika. Całość przegrywa.

Dlatego wynik pojedynczego działu, agenta albo etapu nie może sam zatwierdzać się jako sukces. Lokalna metryka ma sens dopiero wtedy, gdy jej poprawa nie pogarsza przepływu prowadzącego do końcowego rezultatu.

Jedna liczba może być poprawna i nadal niewystarczająca

Nie wynika z tego, że pojedyncza metryka zawsze jest zła. Przyspieszenie samochodu od zera do stu kilometrów na godzinę można zmierzyć jedną liczbą. Wynik może być dokładny. Jeśli jednak wybieram samochód do pracy w Szwajcarii, gdzie jeżdżę najwyżej 120 km/h, ta precyzyjna liczba może nie pomóc mi podjąć decyzji. Interesują mnie również niezawodność, koszt eksploatacji, przestrzeń, bezpieczeństwo i zużycie paliwa.

Podobnie jest z kaloriami. Kilokaloria jest zdefiniowaną jednostką energii, a bilans energii ma znaczenie dla zmiany masy ciała. Jednocześnie dwa posiłki o tej samej wartości energetycznej mogą dostarczać zupełnie inne ilości białka, tłuszczów, węglowodanów, błonnika, witamin i minerałów. FAO opisuje zarówno znaczenie energii dostępnej metabolicznie, jak i ograniczenia metod jej wyliczania, a zalecenia żywieniowe nie kończą się na liczbie kcal (FAO, 2003; NIDDK; HHS/USDA). Kaloria nie jest kłamstwem. Kłamstwem byłoby udawanie, że sama opisuje jakość odżywiania.

Podczas rozmowy podałem również przykład podatku od alkoholu. Moja intuicja była taka: jeśli państwo mierzy wyłącznie legalną sprzedaż, może nie zauważyć produkcji nierejestrowanej i uznać spadek sprzedaży za spadek picia. To realna luka pomiaru, ale zbyt daleko poszedłem z wnioskiem, że wyższe ceny po prostu nie ograniczają konsumpcji. Metaanalizy pokazują przeciętny spadek spożycia po wzroście cen i podatków, choć wielkość efektu zależy od napoju i grupy, a substytucja może go osłabić (Wagenaar i in., 2009; Guindon i in., 2022). Alkohol nierejestrowany trzeba uwzględniać, ale jego wzrost nie jest automatycznym skutkiem wyższej akcyzy (Rehm i in., 2022).

Ten przykład dobrze pokazuje jeszcze jeden problem: krytykując cudzą metrykę, można samemu oprzeć się na intuicji zamiast pomiarze. System nie przestaje ślepnąć tylko dlatego, że zamienił arkusz na przekonanie autora.

Zestaw miar też może zostać ograny

Przy złożonym celu zwykle potrzebujemy kilku komplementarnych sygnałów. W Paperclipie liczba wykonanych zadań może opisywać przepływ pracy, testy — zachowanie kodu, wdrożenie — dostępność zmiany, a odbiór użytkownika — rozwiązanie właściwego problemu. Zestaw powinien obejmować rezultat, koszt, czas, jakość, ryzyko i skutki uboczne w takim stopniu, w jakim są istotne dla konkretnej decyzji.

Nie istnieje jednak magiczna liczba metryk proporcjonalna do złożoności. Dziesięć słabych wskaźników nie tworzy dobrego obrazu. Mogą mierzyć ten sam fragment systemu, wzajemnie się maskować albo pochłaniać więcej pracy niż problem, który miały pomóc rozwiązać. Badania nad projektowaniem metryk wskazują, że dywersyfikacja i triangulacja mogą ograniczać wady jednej miary, ale same wprowadzają koszty i nowe możliwości manipulacji (Manheim, 2023).

Dlatego nie zaczynałbym od pytania: „ile KPI potrzebujemy?”. Najpierw trzeba określić stan rzeczywistości, który chcemy uzyskać. Potem rozbić go na konieczne warunki, znaleźć dla nich możliwie niezależne dowody i wskazać sytuacje, w których liczby mogą się zgadzać mimo porażki całości.

Zadanie kończy dowód rezultatu, nie raport agenta

Używam tutaj określenia „dowód rezultatu”, żeby nie mylić go z technicznym Proof of Work wykorzystywanym między innymi w Bitcoinie (Nakamoto, 2008). Dowodem nie jest deklaracja agenta, liczba wykonanych kroków ani dokumentacja opisująca przyszłą funkcję. Dowód powinien odpowiadać temu, co miało zmienić się w rzeczywistości.

Jeśli celem jest naprawa logowania, trzeba pokazać, że użytkownik pozostaje zalogowany w wymaganych przepływach i że zmiana nie popsuła innych ścieżek. Jeśli celem jest arkusz kosztów, trzeba sprawdzić formuły, źródła danych i scenariusze brzegowe. Jeśli celem jest tekst, liczba stron niczego nie kończy — potrzebna jest zgodność z tematem, prawdziwość, konkret i wartość dla czytelnika.

Roboczo można zbudować z tego cztery pytania akceptacyjne:

  1. Jaki stan rzeczywistości miał się zmienić?
  2. Jaki artefakt lub test bezpośrednio pokazuje tę zmianę?
  3. Jakie ważne skutki uboczne mogły zostać pominięte?
  4. Czy wynik da się niezależnie sprawdzić bez wiary w raport wykonawcy?

Gdy dowody są sprzeczne, zadanie powinno pozostać niezaakceptowane. Nie dlatego, że system ma być biurokratyczny, lecz dlatego, że raport nie może rozstrzygać sporu na własną korzyść.

Paperclip nie zawiódł dlatego, że mierzył pracę. Zawiódł, ponieważ jego mechanizmy pozwalały zamienić ślady aktywności w substytut rezultatu. Naprawa nie polega na usunięciu metryk ani dodaniu kolejnego agenta audytowego. Polega na przywróceniu hierarchii: najpierw cel istniejący poza systemem pomiaru, potem zestaw możliwie niezależnych wskaźników, a na końcu dowód, że rzeczywistość faktycznie się zmieniła.

Metryka ma pomagać systemowi patrzeć. Nie może decydować, że to, czego nie widzi, nie istnieje.

Bibliografia

✦Buduję systemy dla większej autonomii.