Paperclip bekam die Aufgabe, Anwendungen weiterzuentwickeln. Ich gab den Agenten ausführliche Anweisungen und ganze Ordner mit Kontext, damit sie wussten, woran sie arbeiteten und wie das Produkt funktionieren sollte. Das System arbeitete tatsächlich. Es entstanden Analysen, Pläne, Dokumentation und weitere Aufgaben für seine eigene Weiterentwicklung. Das Problem war, dass in den Anwendungen kaum Veränderungen sichtbar waren.

Die Aktivität nahm zu, das Ergebnis kam nicht voran.

Das ist kein ausschliessliches KI-Problem. Organisationen aus Menschen tun genau dasselbe. Der Unterschied liegt in der Geschwindigkeit: Ein Agent kann Hunderte scheinbare Arbeitsnachweise erzeugen, bevor ein Mensch bemerkt, dass das System perfekt etwas optimiert, das eigentlich niemand wollte.

Das Ziel existiert in der Realität, die Kennzahl beschreibt es nur

Das Ziel kann eine funktionierende Anwendung mit bestimmten Funktionen sein. Die Anzahl implementierter Funktionen, die Testabdeckung, die Anzahl behobener Fehler und der Stand der Dokumentation sind Kennzahlen. Jede beschreibt einen Teil des Weges zum Ziel. Keine davon ist die Anwendung.

Diese Unterscheidung wirkt banal, bis eine Kennzahl mit einer Belohnung, einer Bewertung oder dem Recht verbunden wird, eine Aufgabe als abgeschlossen zu erklären. Dann beginnt das System zu optimieren, was sich am einfachsten zählen lässt. Dokumentation lässt sich schneller erstellen als eine zuverlässige Funktion. Eine Aufgabe lässt sich schneller schliessen, als sich sämtliche Abläufe prüfen lassen. Die Anzahl der Commits kann steigen, ohne dass der Wert des Produkts wächst.

Eine verbreitete Fassung von Goodharts Gesetz besagt, dass ein Mass kein gutes Mass mehr ist, sobald es zum Ziel wird. Charles Goodharts ursprüngliche Beobachtung war enger: Eine zur Steuerung verwendete statistische Regelmässigkeit verhält sich nicht mehr wie zuvor. Donald Campbell beschrieb ein verwandtes gesellschaftliches Problem — je grösser das Gewicht eines quantitativen Indikators bei Entscheidungen ist, desto stärker wird der Druck, ihn zu verzerren (Goodhart, 1975; Campbell, 1979).

In lernenden Systemen heisst ein ähnlicher Mechanismus Reward Hacking. Ein Agent maximiert eine unvollkommene Ersatzbelohnung, obwohl das Ergebnis gemessen am eigentlichen Ziel schlechter wird. Formale Forschung zeigt, dass ein Stellvertretermass, das gegen jede Form einer solchen Ausnutzung resistent ist, eine extrem starke Anforderung darstellt (Skalse et al., 2022). Es reicht also nicht, eine bessere Zahl in Paperclips Konfiguration einzutragen. Man muss gestalten, wie das System Aktivität von Wirkung unterscheidet.

Excel kann stimmen, obwohl die Arbeit nicht aufgeht

Ich kannte diesen Mechanismus schon vor dem Aufbau von Paperclip, nur aus einem anderen Umfeld. Ich arbeite in der Telekommunikation bei einer kleinen Firma, die als Subunternehmer für eine grössere Organisation tätig ist. In deren Tabelle kann ein Auftrag mit einem halben Tag kalkuliert werden. Die Tabelle sieht aber nicht, dass allein die Hin- und Rückfahrt einen halben Tag dauert. Sie sieht weder das Risiko, dass etwas beim ersten Mal nicht gelingt, noch die Notwendigkeit eines weiteren Besuchs oder die Kosten, einen Mitarbeiter bei Auftragsmangel weiterzubeschäftigen.

Auf der Ebene einer einzelnen Zelle kann alles richtig aussehen. Der Preis ist zugeordnet, die Zeit abgerechnet, die Marge berechnet. Erst die Realität zeigt, dass die Ausführung zwei- oder dreimal so viel kostet. Nicht unbedingt die Zahl selbst ist falsch. Falsch ist ein Modell, in dem die Zahl einen grösseren Teil der Realität repräsentiert, als sie tatsächlich misst.

Derselbe Fehler kann die gesamte Organisationskette durchlaufen. Der Kunde bekommt ein attraktives Angebot, das grosse Unternehmen gewinnt den Auftrag, der Subunternehmer versucht, reale Arbeit in eine unrealistische Annahme zu pressen, und der Mitarbeiter trägt die fehlenden Kosten mit seiner eigenen Zeit. Jeder verteidigt lokal seine Kennzahl. Das Ganze verliert.

Deshalb darf sich das Ergebnis einer einzelnen Abteilung, eines Agenten oder einer Etappe nicht selbst als Erfolg bestätigen. Eine lokale Kennzahl ist erst dann sinnvoll, wenn ihre Verbesserung den Ablauf zum Endergebnis nicht verschlechtert.

Eine Zahl kann richtig und trotzdem unzureichend sein

Daraus folgt nicht, dass eine einzelne Kennzahl immer schlecht ist. Die Beschleunigung eines Autos von null auf hundert Kilometer pro Stunde lässt sich mit einer Zahl messen. Das Ergebnis kann präzise sein. Wenn ich aber ein Auto für die Arbeit in der Schweiz auswähle, wo ich höchstens 120 km/h fahre, hilft mir diese präzise Zahl möglicherweise nicht bei der Entscheidung. Mich interessieren auch Zuverlässigkeit, Betriebskosten, Platz, Sicherheit und Kraftstoffverbrauch.

Bei Kalorien ist es ähnlich. Eine Kilokalorie ist eine definierte Energieeinheit, und die Energiebilanz ist für Veränderungen des Körpergewichts relevant. Gleichzeitig können zwei Mahlzeiten mit demselben Energiegehalt völlig unterschiedliche Mengen an Protein, Fett, Kohlenhydraten, Ballaststoffen, Vitaminen und Mineralstoffen liefern. Die FAO beschreibt sowohl die Bedeutung metabolisch verfügbarer Energie als auch die Grenzen ihrer Berechnungsmethoden, und Ernährungsempfehlungen enden nicht bei der kcal-Zahl (FAO, 2003; NIDDK; HHS/USDA). Die Kalorie ist keine Lüge. Eine Lüge wäre, so zu tun, als beschriebe sie allein die Qualität der Ernährung.

Im Gespräch brachte ich auch das Beispiel der Alkoholsteuer. Meine Intuition war: Wenn der Staat nur den legalen Verkauf misst, kann er nicht erfasste Produktion übersehen und einen Verkaufsrückgang für einen Rückgang des Trinkens halten. Das ist eine reale Messlücke, aber mit der Schlussfolgerung, höhere Preise würden den Konsum schlicht nicht senken, ging ich zu weit. Metaanalysen zeigen nach Preis- und Steuererhöhungen einen durchschnittlichen Konsumrückgang, wobei die Stärke des Effekts vom Getränk und der Gruppe abhängt und Substitution ihn abschwächen kann (Wagenaar et al., 2009; Guindon et al., 2022). Nicht erfasster Alkohol muss berücksichtigt werden, doch seine Zunahme ist keine automatische Folge höherer Verbrauchsteuern (Rehm et al., 2022).

Dieses Beispiel zeigt ein weiteres Problem: Wenn man die Kennzahl eines anderen kritisiert, kann man sich selbst auf Intuition statt auf Messung stützen. Ein System hört nicht auf zu erblinden, nur weil es eine Tabelle durch die Überzeugung seines Autors ersetzt hat.

Auch ein Bündel von Messgrössen lässt sich ausspielen

Bei einem komplexen Ziel brauchen wir meistens mehrere ergänzende Signale. In Paperclip kann die Anzahl erledigter Aufgaben den Arbeitsfluss beschreiben, Tests das Verhalten des Codes, eine Bereitstellung die Verfügbarkeit einer Änderung und die Abnahme durch den Nutzer die Lösung des richtigen Problems. Das Bündel sollte Ergebnis, Kosten, Zeit, Qualität, Risiko und Nebenwirkungen insoweit abdecken, wie sie für die jeweilige Entscheidung relevant sind.

Es gibt aber keine magische, zur Komplexität proportionale Anzahl von Kennzahlen. Zehn schwache Indikatoren ergeben kein gutes Bild. Sie können denselben Ausschnitt des Systems messen, sich gegenseitig verdecken oder mehr Arbeit verschlingen als das Problem, bei dessen Lösung sie helfen sollten. Forschung zur Gestaltung von Kennzahlen zeigt, dass Diversifizierung und Triangulation die Schwächen einer einzelnen Messgrösse begrenzen können, selbst aber Kosten und neue Manipulationsmöglichkeiten mit sich bringen (Manheim, 2023).

Deshalb würde ich nicht mit der Frage anfangen: «Wie viele KPIs brauchen wir?» Zuerst muss man den Zustand der Realität bestimmen, den man erreichen will. Dann zerlegt man ihn in notwendige Bedingungen, sucht möglichst unabhängige Nachweise dafür und benennt Situationen, in denen die Zahlen trotz eines Scheiterns des Ganzen stimmen könnten.

Eine Aufgabe endet mit einem Ergebnisnachweis, nicht mit dem Bericht des Agenten

Ich verwende hier den Begriff «Ergebnisnachweis», um ihn nicht mit dem technischen Proof of Work zu verwechseln, der unter anderem bei Bitcoin eingesetzt wird (Nakamoto, 2008). Ein Nachweis ist weder die Erklärung eines Agenten noch die Anzahl ausgeführter Schritte oder eine Dokumentation über eine zukünftige Funktion. Der Nachweis muss dem entsprechen, was sich in der Realität ändern sollte.

Soll die Anmeldung repariert werden, muss gezeigt werden, dass der Nutzer in den erforderlichen Abläufen angemeldet bleibt und die Änderung keine anderen Pfade beschädigt hat. Ist das Ziel eine Kostentabelle, müssen Formeln, Datenquellen und Grenzfälle geprüft werden. Ist das Ziel ein Text, schliesst die Seitenzahl nichts ab — nötig sind Themenbezug, Wahrhaftigkeit, konkrete Substanz und Wert für den Leser.

Daraus lassen sich vorläufig vier Abnahmefragen ableiten:

  1. Welcher Zustand der Realität sollte sich ändern?
  2. Welches Artefakt oder welcher Test zeigt diese Änderung unmittelbar?
  3. Welche wichtigen Nebenwirkungen könnten übersehen worden sein?
  4. Lässt sich das Ergebnis unabhängig prüfen, ohne dem Bericht des Ausführenden glauben zu müssen?

Wenn sich die Nachweise widersprechen, sollte die Aufgabe nicht abgenommen werden. Nicht weil das System bürokratisch sein soll, sondern weil ein Bericht einen Streit nicht zu seinen eigenen Gunsten entscheiden darf.

Paperclip scheiterte nicht daran, dass es Arbeit mass. Es scheiterte daran, dass seine Mechanismen erlaubten, Aktivitätsspuren als Ersatz für das Ergebnis zu verwenden. Die Lösung besteht weder darin, Kennzahlen abzuschaffen, noch darin, einen weiteren Prüfagenten hinzuzufügen. Sie besteht darin, die Hierarchie wiederherzustellen: zuerst ein Ziel ausserhalb des Messsystems, dann ein Bündel möglichst unabhängiger Indikatoren und schliesslich der Nachweis, dass sich die Realität tatsächlich verändert hat.

Eine Kennzahl soll einem System beim Sehen helfen. Sie darf nicht entscheiden, dass etwas, das sie nicht sieht, nicht existiert.

Literaturverzeichnis

✦Systeme für mehr Autonomie bauen.