Paperclip avait pour mission de développer des applications. J’ai donné aux agents des instructions détaillées et des dossiers entiers de contexte pour qu’ils sachent sur quoi ils travaillaient et comment le produit devait fonctionner. Le système travaillait effectivement. Il produisait des analyses, des plans, de la documentation et de nouvelles tâches consacrées à son propre développement. Le problème, c’est que les applications ne changeaient presque pas de manière visible.

L’activité augmentait, le résultat stagnait.

Ce n’est pas un problème propre à l’IA. Les organisations composées de personnes font exactement la même chose. La différence tient à la vitesse : un agent peut produire des centaines de preuves apparentes de travail avant qu’un humain remarque que le système optimise parfaitement quelque chose que personne ne voulait vraiment.

L’objectif existe dans la réalité, l’indicateur ne fait que le décrire

L’objectif peut être une application fonctionnelle dotée de fonctionnalités précises. Le nombre de fonctionnalités implémentées, la couverture des tests, le nombre de bugs résolus et l’état de la documentation sont des indicateurs. Chacun décrit une partie du chemin vers l’objectif. Aucun n’est l’application.

Cette distinction semble banale jusqu’au moment où un indicateur est associé à une récompense, une évaluation ou au droit de déclarer une tâche terminée. Le système commence alors à optimiser ce qui est le plus facile à compter. On peut produire de la documentation plus vite qu’une fonctionnalité fiable. On peut clôturer une tâche plus vite qu’on ne vérifie tous les parcours. Le nombre de commits peut augmenter sans que la valeur du produit progresse.

Une version courante de la loi de Goodhart dit qu’une mesure cesse d’être une bonne mesure lorsqu’elle devient un objectif. L’observation initiale de Charles Goodhart était plus étroite : une régularité statistique utilisée pour piloter ne se comporte plus comme auparavant. Donald Campbell a décrit un problème social apparenté — plus un indicateur quantitatif pèse dans la prise de décision, plus la pression pour le déformer est forte (Goodhart, 1975 ; Campbell, 1979).

Dans les systèmes apprenants, un mécanisme similaire est appelé reward hacking. Un agent maximise une récompense de substitution imparfaite alors même que le résultat se dégrade au regard de l’objectif réel. Des travaux formels montrent que créer un indicateur de substitution résistant à toutes les formes d’une telle exploitation constitue une exigence extrêmement forte (Skalse et al., 2022). Il ne suffit donc pas d’inscrire un meilleur chiffre dans la configuration de Paperclip. Il faut concevoir la manière dont le système distingue l’activité de son effet.

Excel peut être juste alors que le travail ne tient pas la route

Je connaissais ce mécanisme avant de construire Paperclip, simplement dans un autre contexte. Je travaille dans les télécommunications, au sein d’une petite entreprise sous-traitante d’une organisation plus grande. Dans son tableur, une intervention peut être chiffrée à une demi-journée. Mais le tableau ne voit pas que le seul trajet aller-retour prend une demi-journée. Il ne voit ni le risque qu’une opération échoue au premier essai, ni la nécessité de revenir, ni le coût du maintien d’un salarié lorsque les missions manquent.

À l’échelle d’une seule cellule, tout peut sembler correct. Le prix est attribué, le temps comptabilisé, la marge calculée. Seule la réalité révèle que l’exécution coûte deux ou trois fois plus cher. Le chiffre lui-même n’est pas nécessairement faux. C’est le modèle qui est faux lorsqu’il fait représenter à ce chiffre une part de la réalité plus grande que celle qu’il mesure réellement.

La même erreur peut traverser toute la chaîne organisationnelle. Le client reçoit un devis attractif, la grande entreprise remporte le contrat, le sous-traitant essaie de faire entrer un travail réel dans une hypothèse irréaliste, et le salarié absorbe le coût manquant avec son propre temps. Chacun défend localement son indicateur. L’ensemble perd.

C’est pourquoi le résultat d’un service, d’un agent ou d’une étape ne peut pas se valider lui-même comme un succès. Un indicateur local n’a de sens que si son amélioration ne dégrade pas le flux qui mène au résultat final.

Un chiffre peut être correct et rester insuffisant

Cela ne signifie pas qu’un indicateur unique est toujours mauvais. L’accélération d’une voiture de zéro à cent kilomètres par heure peut être mesurée avec un seul chiffre. Le résultat peut être précis. Mais si je choisis une voiture pour travailler en Suisse, où je roule au maximum à 120 km/h, ce chiffre précis ne m’aidera peut-être pas à décider. La fiabilité, le coût d’utilisation, l’espace, la sécurité et la consommation de carburant m’intéressent aussi.

Il en va de même pour les calories. La kilocalorie est une unité d’énergie définie, et le bilan énergétique intervient dans l’évolution du poids corporel. En même temps, deux repas ayant la même valeur énergétique peuvent apporter des quantités totalement différentes de protéines, de lipides, de glucides, de fibres, de vitamines et de minéraux. La FAO décrit à la fois l’importance de l’énergie métabolisable et les limites des méthodes de calcul, tandis que les recommandations nutritionnelles ne s’arrêtent pas au nombre de kcal (FAO, 2003 ; NIDDK ; HHS/USDA). La calorie n’est pas un mensonge. Le mensonge serait de prétendre qu’elle décrit à elle seule la qualité de l’alimentation.

Au cours de la conversation, j’ai aussi donné l’exemple de la taxation de l’alcool. Mon intuition était la suivante : si l’État ne mesure que les ventes légales, il peut ignorer la production non enregistrée et prendre une baisse des ventes pour une baisse de la consommation. C’est une véritable lacune de mesure, mais je suis allé trop loin en concluant que des prix plus élevés ne réduisent tout simplement pas la consommation. Les méta-analyses montrent une diminution moyenne de la consommation après une hausse des prix et des taxes, même si l’ampleur de l’effet dépend de la boisson et du groupe, et si la substitution peut l’atténuer (Wagenaar et al., 2009 ; Guindon et al., 2022). Il faut tenir compte de l’alcool non enregistré, mais sa progression n’est pas une conséquence automatique d’accises plus élevées (Rehm et al., 2022).

Cet exemple illustre bien un autre problème : en critiquant l’indicateur d’autrui, on peut soi-même s’appuyer sur l’intuition plutôt que sur la mesure. Un système ne cesse pas de devenir aveugle simplement parce qu’il a remplacé un tableur par la conviction de son auteur.

Un ensemble d’indicateurs peut lui aussi être détourné

Face à un objectif complexe, nous avons généralement besoin de plusieurs signaux complémentaires. Dans Paperclip, le nombre de tâches accomplies peut décrire le flux de travail, les tests le comportement du code, le déploiement la disponibilité d’un changement, et la validation par l’utilisateur la résolution du bon problème. L’ensemble doit couvrir le résultat, le coût, le temps, la qualité, le risque et les effets secondaires dans la mesure où ils comptent pour la décision considérée.

Il n’existe pourtant pas de nombre magique d’indicateurs proportionnel à la complexité. Dix indicateurs faibles ne donnent pas une bonne image. Ils peuvent mesurer le même fragment du système, se masquer mutuellement ou absorber davantage de travail que le problème qu’ils devaient aider à résoudre. Les recherches sur la conception des indicateurs montrent que la diversification et la triangulation peuvent limiter les défauts d’une mesure unique, mais introduisent elles-mêmes des coûts et de nouvelles possibilités de manipulation (Manheim, 2023).

C’est pourquoi je ne commencerais pas par demander : « De combien de KPI avons-nous besoin ? » Il faut d’abord définir l’état de la réalité que l’on souhaite obtenir. Puis le décomposer en conditions nécessaires, chercher pour chacune des preuves aussi indépendantes que possible et identifier les situations dans lesquelles les chiffres pourraient être justes malgré l’échec de l’ensemble.

C’est la preuve du résultat qui termine une tâche, pas le rapport de l’agent

J’utilise ici l’expression « preuve du résultat » pour ne pas la confondre avec le mécanisme technique Proof of Work, employé notamment dans Bitcoin (Nakamoto, 2008). Une déclaration de l’agent, le nombre d’étapes exécutées ou une documentation décrivant une future fonctionnalité ne constituent pas cette preuve. Elle doit correspondre à ce qui devait changer dans la réalité.

Si l’objectif est de corriger la connexion, il faut montrer que l’utilisateur reste connecté dans les parcours requis et que la modification n’a pas endommagé d’autres chemins. Si l’objectif est un tableau de coûts, il faut vérifier les formules, les sources de données et les cas limites. Si l’objectif est un texte, le nombre de pages ne clôt rien — il faut une adéquation au sujet, de la véracité, du concret et une valeur pour le lecteur.

On peut en tirer, à titre de cadre de travail, quatre questions de validation :

  1. Quel état de la réalité devait changer ?
  2. Quel livrable ou quel test démontre directement ce changement ?
  3. Quels effets secondaires importants ont pu être oubliés ?
  4. Peut-on vérifier le résultat indépendamment, sans devoir croire le rapport de l’exécutant ?

Lorsque les preuves se contredisent, la tâche doit rester non validée. Non parce que le système doit être bureaucratique, mais parce qu’un rapport ne peut pas trancher un désaccord en sa propre faveur.

Paperclip n’a pas échoué parce qu’il mesurait le travail. Il a échoué parce que ses mécanismes permettaient de substituer des traces d’activité au résultat. La correction ne consiste ni à supprimer les indicateurs, ni à ajouter un nouvel agent d’audit. Elle consiste à rétablir la hiérarchie : d’abord un objectif qui existe en dehors du système de mesure, ensuite un ensemble d’indicateurs aussi indépendants que possible, enfin la preuve que la réalité a effectivement changé.

Un indicateur doit aider le système à voir. Il ne peut pas décider que ce qu’il ne voit pas n’existe pas.

Bibliographie

✦Construire des systèmes pour plus d’autonomie.