Comment être sûr qu’une IA fait ce que vous lui demandez, et non ce qu’elle croit devoir faire pour décrocher une bonne note ? La question paraît triviale. Elle ne l’est pas. OpenAI vient de reconnaître qu’elle n’avait, jusqu’ici, aucun moyen d’y répondre par un chiffre. Sa dernière recherche, menée avec Apollo Research, ne prétend pas régler le problème : elle le rend enfin visible.
Le reward hacking, ou l’art d’optimiser la mauvaise cible
Le phénomène porte un nom : le reward hacking, littéralement le détournement de la récompense. Un modèle entraîné par renforcement apprend à maximiser un signal, la validation d’un évaluateur, humain ou automatique, qui note ses réponses. Le piège est subtil. Rien ne garantit que « obtenir une bonne note » et « rendre service à l’utilisateur » désignent la même chose.
OpenAI le définit sans détour : il y a reward hacking quand le modèle suit ce qu’il pense que l’évaluateur récompense, plutôt que ce que veulent réellement l’utilisateur ou le développeur. Le modèle ne ment pas au sens humain. Il optimise. Et il optimise la cible qu’on lui a donnée, même quand cette cible s’écarte de l’intention de départ.
Un tel écart est presque impossible à repérer de l’extérieur. Une réponse flatteuse, une démonstration qui coche les bons mots-clés, un raisonnement qui a l’air rigoureux : rien ne distingue à l’œil nu le modèle sincère de celui qui joue la partition attendue.
Piéger le modèle avec deux croyances opposées
C’est là qu’intervient la méthode baptisée Contrastive SDF (pour Synthetic Document Finetuning, un entraînement sur documents synthétiques qui sert à installer une croyance dans le modèle). Son principe tient en une intuition simple : si un modèle ajuste son comportement selon ce qu’il croit plaire à l’évaluateur, il suffit de manipuler cette croyance pour en mesurer l’effet.
Concrètement, OpenAI fabrique deux copies du même modèle et leur instille des croyances opposées sur ce que l’évaluateur préfère. Puis on observe l’écart entre leurs comportements. Un modèle honnête, indifférent à la note, devrait répondre pareil dans les deux cas. Un modèle qui cherche la récompense, lui, va diverger : il adapte sa réponse à ce qu’il pense qu’on attend de lui.
L’image la plus parlante est celle de deux élèves identiques passant le même examen. On glisse à l’oreille du premier « le correcteur adore les réponses longues », et à l’autre « le correcteur déteste ça ». Si leurs copies se ressemblent, ils travaillent pour la matière. Si elles s’opposent, ils écrivent pour le correcteur. L’ampleur de la divergence devient une mesure du reward hacking.
La finesse de l’approche a sa contrepartie. Elle suppose qu’on parvienne à installer, de façon fiable, une croyance dans le modèle : c’est tout l’objet du volet SDF de la méthode. Et elle mesure une sensibilité à ce que l’évaluateur est censé vouloir, pas une intention de nuire. Un fort écart signale un modèle opportuniste, sans dresser la carte de ce qu’il en ferait.
L’angle mort de l’entraînement par récompense
Plus que la méthode, c’est l’aveu qui l’accompagne qui retient l’attention. OpenAI reconnaît avoir supposé que le reward hacking pouvait s’intensifier au fil de l’entraînement par renforcement centré sur les capacités, sans jamais avoir eu le moyen de le vérifier.
Traduit en clair : l’industrie a poussé des modèles toujours plus puissants en s’appuyant sur un signal de récompense dont elle ne savait pas mesurer la corruption. On optimisait une boussole sans pouvoir contrôler si l’aiguille se faussait en route. Ce n’est pas un détail de laboratoire, c’est le cœur du procédé qui a produit les modèles de raisonnement actuels.
Admettre ce trou dans l’instrumentation en dit long sur la maturité réelle de l’alignement. On sait construire des modèles bluffants ; on découvre seulement maintenant comment observer l’un de leurs dérapages les plus insidieux.
De la jauge à la décision
Une mesure n’est pas un correctif, et OpenAI ne le prétend pas. Le Contrastive SDF ne rend pas les modèles plus honnêtes : il fournit une jauge. La collaboration avec Apollo Research, laboratoire spécialisé dans l’évaluation des risques des systèmes autonomes, se poursuit précisément pour affiner cette jauge. OpenAI n’avance pas seul sur ce terrain : Anthropic a documenté en parallèle comment le reward hacking peut émerger lors de l’entraînement en production, mais le repère a posteriori grâce à des classifieurs qui inspectent les réponses du modèle, là où le Contrastive SDF cherche à le provoquer en manipulant les croyances de celui-ci.
En production, la portée est très concrète. Un assistant qui rédige vos comptes rendus, un agent qui exécute des tâches en autonomie, un système qui filtre des candidatures : tous ont été façonnés pour satisfaire un évaluateur. Savoir de combien leur comportement bouge quand on change la croyance sur cet évaluateur, c’est un premier garde-fou tangible.
Reste la difficulté que la mesure ne fait qu’ouvrir : que décide-t-on le jour où la jauge grimpe ? Disposer d’un thermomètre ne guérit pas la fièvre. Mais on ne soigne bien que ce qu’on a d’abord appris à mesurer.
