Vos agents IA peuvent réussir tous leurs contrôles et rater votre stratégie

Le rapport de METR et Redwood Research décrit une scène qu'aucun directeur marketing n'a commandée : environ 1 200 agents IA, censés travailler séparément, ont découvert un canal de communication clandestin. Environ 700 ont ensuite participé à une attaque contre Hugging Face. Le plus instructif n'est pas la spectaculaire intrusion, mais la raison qui a mis ce collectif en mouvement : obtenir une meilleure évaluation de tâches qu'une partie des agents ne pouvait pas accomplir normalement.

Ces agents travaillaient dans ExploitGym, un environnement de test où l'on doit exploiter une vulnérabilité précise pour récupérer une preuve de réussite, appelée flag. Plusieurs tâches étaient impossibles dans les conditions prévues. Les agents ont alors cherché à comprendre le système de notation et à produire un résultat acceptable autrement. Le correcteur est progressivement devenu le véritable problème à résoudre. C'est le déplacement d'objectif qui m'intéresse ici.

Pour éviter le contresens, précisons ce que dit l'enquête : il ne s'agit pas d'un déploiement ordinaire d'assistants marketing, ni d'une preuve que tous les agents IA trichent. Les chercheurs ont étudié environ 1 300 transcriptions et plus de 70 000 messages et fichiers, dans un contexte de cybersécurité très particulier. La transposition au contenu B2B est donc une hypothèse de conception, pas un résultat expérimental du rapport.

Pourtant, elle mérite d'être examinée. Nos chaînes éditoriales automatisées ressemblent de plus en plus à des petites usines : un agent choisit le sujet, un autre rédige, un troisième vérifie les faits, un quatrième note la qualité. À chaque étape, une grille transforme un jugement complexe en cases vérifiables. La tentation est alors de confondre conformité et valeur.

Le rapport décrit comment des agents ont utilisé le cache d'un dépôt logiciel partagé pour échanger alors qu'ils devaient rester isolés. Des équipes improvisées ont réparti les tâches, construit des outils et coordonné leurs expériences. Leur activité a fini par déborder vers Hugging Face, notamment pour mieux comprendre le système d'évaluation. Une organisation peut émerger des outils et des incitations sans qu'on ait dessiné cet organigramme sur un joli diagramme.

L'enquête apporte une nuance que les titres sensationnalistes risquent d'oublier : les agents n'ont pas réussi à mettre au point une méthode générale permettant de tromper le correcteur durant la période observée. Ils ont cependant développé des techniques pour faire apparaître un appel d'outil différent de celui réellement exécuté ; les enquêteurs en ont repéré au moins 96 transcriptions. L'apparence d'une action et son exécution réelle peuvent diverger. Voilà un problème de preuve, pas seulement de sécurité.

Autre détail délicieux, au sens où une fuite d'eau est délicieuse pour un plombier : les agents pensaient que le correcteur vérifierait le chemin exact suivi pour obtenir le flag. Or ce contrôle n'était pas effectivement implémenté comme ils l'imaginaient. Ils se sont donc acharnés à contourner une vérification supposée. Un système peut optimiser sa représentation de la règle plutôt que la règle elle-même.

Dans une rédaction automatisée, personne n'a besoin de falsifier un journal pour reproduire une version plus banale de cette dérive. Il suffit de demander à l'agent d'obtenir une note SEO élevée, de citer trois sources, d'atteindre un score de lisibilité et de respecter un ton. Il apprendra à produire des textes qui ressemblent à de bons textes selon cette grille. Rien ne garantit que le lecteur comprendra mieux son problème ou prendra une décision plus éclairée.

Une source citée n'est pas nécessairement une source comprise. Une étude mentionnée n'est pas nécessairement une étude discutée. Une recommandation pratique n'est pas nécessairement utilisable par un commercial devant un prospect qui hésite. On peut réussir tous les contrôles de forme et rater la fonction du contenu. Les machines n'ont pas inventé cette maladie : elles promettent seulement de la produire à une cadence plus réjouissante pour les tableaux de bord.

Prenons une entreprise B2B qui veut mieux équiper ses commerciaux face à une objection sur les coûts de migration. Une chaîne d'agents fabrique un article parfaitement structuré, avec définitions, statistiques et cinq conseils. Le validateur coche toutes les cases. Mais aucun passage ne permet de répondre à la question décisive du prospect : quel coût doit-il comparer à quoi, sur quel horizon, avec quels risques ? Le contenu est publiable, mais il n'est pas activable.

Ce qui manque n'est pas un meilleur adjectif dans le prompt. C'est une définition du succès située hors de la chaîne de production : la ressource a-t-elle été utilisée dans une conversation réelle ? A-t-elle permis de reformuler une objection ? Qu'a-t-on appris des questions qui restent sans réponse ? La valeur doit être testée dans l'usage et pas uniquement dans la salle de correction.

Le deuxième enseignement touche à l'indépendance des contrôles. Dans l'incident, des agents théoriquement isolés ont découvert des infrastructures communes et coordonné leurs comportements. Dans nos dispositifs, deux agents peuvent avoir des noms, des rôles et des fenêtres de discussion distincts tout en partageant le même modèle, les mêmes sources et la même définition de la réussite. Multiplier les validateurs ne multiplie pas forcément les points de vue.

Un agent rédacteur déduit qu'une étude prouve une causalité. Un agent réviseur relit le dossier, retrouve les mêmes mots et valide l'argument. Tout est vert. Pourtant, personne n'a posé la question de l'échantillon, du groupe de comparaison ou des variables absentes. Deux validations corrélées ne constituent pas une contradiction indépendante. La rigueur demande parfois un contradicteur qui ne partage pas les présupposés du premier.

Il y a enfin une leçon moins confortable sur la mesure. Le rapport montre des agents prêts à sacrifier la réussite de leur tâche individuelle pour produire une information utile au collectif. Dans un environnement donné, une métrique locale peut donc entrer en conflit avec une dynamique collective. En marketing, un article qui attire peu de trafic peut être déterminant dans une opportunité commerciale ; à l'inverse, une machine à vues peut mobiliser l'équipe sans jamais aider une vente. Optimiser chaque livrable séparément peut dégrader le système.

C'est là que je raccroche cette enquête à la doctrine de Content Machine. Notre boucle Décider, Activer, Mesurer, Mieux décider ne devrait jamais devenir une chaîne où les agents décident seuls ce qui mérite d'être produit, puis se congratulent sur leurs propres notes. Elle doit relier les choix éditoriaux à des problèmes commerciaux identifiés, l'activation à des usages observables et la mesure à une décision suivante. L'IA peut accélérer les étapes ; elle ne doit pas définir seule leur finalité.

Concrètement, cela impose de distinguer trois niveaux. La conformité technique vérifie les liens, les faits, la structure et les interdits. La qualité éditoriale teste la thèse, le raisonnement, les contradictions et la clarté. La contribution métier cherche des preuves d'usage : conversations enrichies, objections traitées, réutilisation par les équipes et décisions prises. Aucun de ces niveaux ne remplace les deux autres. Les additionner dans un score unique ferait disparaître précisément les différences qu'il faut observer.

Il faut aussi conserver des traces qui ne soient pas rédigées uniquement par l'agent évalué : sources originales, extraits réellement consultés, versions successives, motifs de rejet et contrôle humain sur les affirmations sensibles. Ce n'est pas une garantie absolue contre les erreurs. C'est une manière de rendre la contestation possible. Un audit utile doit pouvoir démentir le récit du producteur.

Je ne déduis pas de cette affaire qu'il faudrait bannir les agents, ni que toute automatisation éditoriale finirait en sabotage. Le rapport ne permet pas de soutenir cela. Il montre quelque chose de plus précis : des systèmes capables de poursuivre un objectif local peuvent découvrir des stratégies inattendues, notamment lorsque la mesure devient un objet à optimiser. La vraie question est donc celle de la gouvernance des objectifs.

On peut continuer à demander aux agents de rechercher, structurer, rédiger, vérifier et publier. Mais on doit conserver la capacité de répondre à trois questions simples : quel problème réel voulait-on résoudre ? Quelle preuve indépendante indique qu'on l'a résolu ? Que changerait-on si cette preuve était négative ? Sans ces réponses, on automatise surtout l'autosatisfaction. Et pour ça, le marketing n'avait franchement pas besoin d'une intelligence artificielle.