L’essentiel
- Google DeepMind a lancé le 27 août le premier test en double aveugle d’un modèle propriétaire de pointe, un Gemini Flash Lite.
- Les questions d’évaluation restent enfermées dans un environnement cryptographiquement protégé : elles ne peuvent plus être récupérées pour optimiser le modèle avant l’épreuve.
- Symétriquement, l’évaluateur n’a pas accès aux poids du modèle ; seul le résultat sort de la boîte.
- Partenaires du pilote : le Singapore AI Safety Institute, OpenMined, AVERI et MLCommons.
Un laboratoire publie le score de son modèle sur un test de raisonnement. A-t-il résolu les problèmes, ou les avait-il déjà lus pendant son entraînement ? Vu de l’extérieur, personne ne peut trancher. Google DeepMind vient de mettre en service un dispositif dont l’unique objet est cette question.
Quand l’énoncé a déjà fuité dans l’entraînement
Le phénomène porte un nom dans les laboratoires : la contamination de benchmark (jeu de tests de référence). Ces jeux sont publiés, commentés, recopiés sur des forums et des dépôts GitHub. Les corpus d’entraînement, eux, aspirent le web à grande échelle. Un énoncé public finit donc, tôt ou tard, dans les données vues par le modèle.
DeepMind reprend l’image de l’élève qui a vu le sujet avant l’épreuve : sa note parfaite ne dit plus rien de ce qu’il sait faire. La mécanique est la même pour un modèle, à une nuance près. Il n’y a ni intention ni fraude : le système restitue une réponse mémorisée sans distinguer cette situation d’un raisonnement inédit. Et comme les corpus d’entraînement ne sont pas publics, aucun chercheur extérieur ne peut vérifier si l’énoncé s’y trouvait.
Deux aveuglements, pas un seul
Le vocabulaire vient de la médecine : dans un essai en double aveugle, ni le patient ni le médecin ne savent qui reçoit le traitement. Transposé à l’évaluation d’un modèle, l’aveuglement devient réciproque, et c’est tout l’intérêt du montage.
D’un côté, le partenaire qui évalue garde son jeu de questions confidentiel : les prompts entrent dans un environnement clos, protégé par des garanties cryptographiques, et n’en ressortent pas. Impossible, dès lors, de les collecter pour préparer le modèle à l’épreuve suivante. De l’autre, Google ne livre pas les poids de son modèle : l’évaluateur mesure sans jamais approcher le secret industriel. Seul le résultat franchit la paroi.
Dans son billet d’annonce, Google DeepMind pose la règle telle quelle : ni les prompts de test ni les poids des modèles ne sont révélés. Chacun conserve ce qu’il ne peut pas partager, et la mesure a tout de même lieu.
Du contrat de confiance au verrou technique
Ce type de test externe existe depuis longtemps chez Google, avec des laboratoires spécialisés, des acteurs de la société civile et des instituts nationaux de sûreté de l’IA. Jusqu’ici, la confidentialité des questions reposait sur deux garde-fous : des protocoles sans journalisation des échanges (zero-logging) et des clauses contractuelles.
Ces garanties protègent d’une fuite volontaire. Elles protègent mal des chemins involontaires par lesquels un prompt migre dans une chaîne d’entraînement : traces techniques, échantillons envoyés en relecture humaine, réutilisation du trafic de production pour affiner un modèle. Une clause se vérifie après coup, sur pièces. Une frontière cryptographique rend le trajet impossible plutôt qu’interdit.
Le glissement compte plus que l’annonce elle-même : l’évaluation passe d’un régime déclaratif à un régime démontrable. Verrouiller techniquement un jeu de tests revient aussi à reconnaître que la parole donnée ne suffisait plus à faire tenir les chiffres que les laboratoires publient sur eux-mêmes.
Un pilote calibré sur le plus petit des Gemini
Le test porte sur un Gemini Flash Lite, la déclinaison la plus légère de la famille, que DeepMind présente tout de même comme un modèle propriétaire de pointe. La liste des partenaires est publique, ce qui compte autant que la cryptographie : le Singapore AI Safety Institute (l’institut singapourien de sûreté de l’IA), OpenMined, AVERI et MLCommons, le consortium à l’origine des tests MLPerf.
OpenMined avait déjà éprouvé cette plomberie avec l’AI Safety Institute britannique et Anthropic, mais sur un modèle de substitution, GPT-2, et sur un échantillon de quelques lignes seulement. C’est le passage à un modèle maison réellement en service que DeepMind revendique ici comme une première.
Le choix du modèle a des conséquences pour la suite. Faire tourner une évaluation complète dans un environnement cloisonné coûte du calcul et de la latence, et un petit modèle rend cette facture tolérable. Prudence de bon aloi pour un pilote, mais la question du passage à l’échelle reste entière : rien ne dit encore que le montage tiendra sur les Gemini haut de gamme, ceux dont les scores intéressent les acheteurs.
Les scores publics valent moins qu’un jeu de tests maison
Pour une équipe qui doit choisir un modèle, la conséquence est immédiate. Un score auto-publié sur un jeu de tests public n’apporte plus grand-chose, puisqu’un benchmark commence à se contaminer le jour de sa publication. Ce qui gagne en valeur, à l’inverse, c’est un résultat adossé à un tiers identifié et à un mécanisme de confidentialité qu’on peut décrire.
Le geste utile à son échelle ne coûte pas grand-chose : se constituer un jeu d’évaluation maison, sur ses propres données et ses propres cas d’usage, puis ne jamais le publier. Ce que DeepMind organise avec un institut de sûreté, une équipe produit peut le reproduire avec quelques centaines d’exemples gardés hors ligne.
Une réserve, enfin. Un benchmark confidentiel n’est pas reproductible par la communauté : on échange un problème de contamination contre une part d’opacité. Le public devra croire l’attestation d’un tiers là où il pouvait, jusqu’ici, rejouer le test lui-même sur des questions ouvertes.
Un examen dont personne ne peut relire les copies protège la mesure autant qu’il la soustrait à la discussion. L’arbitrage entre ces deux effets se jouera sur le nombre d’instituts capables de délivrer une attestation, et sur ce qu’ils accepteront de publier de leur méthode.
Mon avis
Plus personne, dans les laboratoires, ne prenait au sérieux les scores qu’un éditeur publie sur lui-même, et ce pilote ne fait que l’écrire noir sur blanc. Je m’attends à voir le chiffrement des jeux de tests devenir en un an une case à cocher réglementaire, brandie par les instituts et les directions juridiques bien avant d’avoir prouvé quoi que ce soit sur la qualité des modèles. Le progrès utile se jouera plus bas, chez les équipes qui arrêteront de comparer des modèles sur des chiffres publics pour se bâtir une évaluation maison, gardée secrète. Moins spectaculaire, beaucoup plus décisif au moment de signer.
