Mêmes molécules, mêmes descripteurs, même algorithme, mêmes réglages par défaut. Seule change la façon de séparer les données d’entraînement des données de test, et l’AUROC (l’aire sous la courbe ROC, soit la capacité du modèle à classer une molécule active devant une inactive) passe de 0,606 à 0,818. Un écart de 0,21 point, supérieur à celui qui sépare d’ordinaire deux méthodes concurrentes dans la littérature.
Le chiffre vient de l’équipe FINAL-Bench, qui a ouvert cette semaine LEADBOARD, un classement de prédiction de propriétés pharmacologiques : 21 tableaux, 18 382 composés de test dont les valeurs mesurées ne sont jamais rendues publiques. L’écart est apparu en construisant le premier tableau, avant même l’ouverture du classement.
Un banc d’essai choisi pour sa banalité
Le premier tableau porte sur hERG, un canal potassique du muscle cardiaque. Un médicament qui le bloque allonge l’intervalle QT du patient et condamne le programme clinique. La cible se teste tôt dans tous les laboratoires, donc les données publiques abondent : le terrain idéal pour roder une chaîne de traitement.
Le détail de cette chaîne compte, parce qu’elle est ordinaire. Les données sortent de ChEMBL 37, sur la cible CHEMBL240 : 12 021 mesures d’IC50, la concentration qui inhibe la moitié de l’activité, et seulement celles rapportées comme une valeur exacte. Il en reste 11 972 après contrôle des unités et lecture des structures par RDKit, puis 9 788 composés uniques une fois les doublons regroupés par identifiant chimique InChIKey, chacun ramené à sa valeur médiane. Descripteurs Morgan, modèle LightGBM, hyperparamètres par défaut de la bibliothèque, aucun réglage fin. Une chaîne que n’importe quelle équipe pourrait écrire dans l’après-midi.
Deux découpages, deux verdicts opposés
Premier protocole : entraîner sur tout ce qui a été publié avant 2022, tester sur ce qui est paru après. L’AUROC ressort à 0,606, sur une échelle où 0,5 vaut pile ou face et 1 la perfection. Presque le hasard.
Deuxième protocole, sur exactement les mêmes données : tirage au sort des composés de test, répété avec cinq seeds, les graines qui initialisent le tirage aléatoire. Les résultats s’échelonnent de 0,803 à 0,830, moyenne 0,818. La même proportion de données réservée au test, le même modèle, le même code.
Le mécanisme se comprend sans mathématiques. Les chimistes médicinaux ne fabriquent pas des molécules indépendantes les unes des autres : quelqu’un trouve un squelette prometteur, puis en synthétise quarante variantes qui se ressemblent toutes. Un tirage aléatoire disperse cette grappe des deux côtés de la frontière, et le jeu de test se remplit de quasi-jumeaux de molécules déjà vues à l’entraînement. Retrouver le plus proche voisin suffit alors à faire un beau score.
Or personne n’utilise un outil de prédiction dans ces conditions. On s’en sert pour hiérarchiser des composés que personne n’a encore testés, sans garantie qu’un cousin figure dans les données d’apprentissage. Le découpage par date reproduit cette situation, avec une propriété élégante : la réponse n’existait pas encore quand le modèle a été entraîné, donc aucune fuite n’est possible.
Quand le modèle se fait battre par une constante
La colonne la moins commentée du tableau est la plus dure. En erreur absolue moyenne sur le découpage temporel, LightGBM affiche 0,599 quand la prédiction constante, celle qui répond invariablement la même valeur, affiche 0,589. Le modèle fait légèrement pire que ne rien apprendre du tout.
Sur les tirages aléatoires, le rapport s’inverse brutalement : 0,457 pour le modèle contre 0,671 pour la constante. Le protocole d’évaluation ne modifie donc pas seulement l’amplitude du score, il retourne la conclusion. Selon la ligne qu’on a écrite, on publie « notre modèle apporte un gain substantiel » ou « notre modèle n’apporte rien ». Avec les mêmes molécules et le même code.
Une accusation volontairement étroite
Les auteurs prennent soin de circonscrire leur affirmation, ce qui la rend crédible. Ils ne prétendent pas que les classements publiés reposent tous sur un tirage au sort : beaucoup emploient un découpage par squelette moléculaire, intermédiaire entre les deux extrêmes. Ce qu’ils défendent est plus étroit et plus embarrassant : sur des données identiques, le choix du protocole déplace l’AUROC de 0,21 point, donc un score de classement cité sans son protocole n’est comparable à rien.
Conséquence assumée dans la conception de LEADBOARD : chaque tableau impose un découpage temporel ou par squelette, et aucun tirage aléatoire n’est proposé. Ce verrouillage n’a pas été inventé là : Therapeutics Data Commons impose déjà ses propres jeux d’entraînement et de test, et Polaris conserve les indices exacts du découpage pour garantir que deux résultats portent sur les mêmes molécules. S’y ajoute une seconde source d’imprécision que l’équipe documente : le bruit des mesures elles-mêmes. Deux laboratoires qui testent le même composé n’obtiennent pas la même valeur, entre la lignée cellulaire, le tampon et le jour de manipulation. Une partie des écarts entre modèles concurrents se joue sous ce plancher de bruit.
Chiffrer la chance avant de mesurer le talent
La même équipe applique cette logique aux marchés : un concours de prévision financière ouvert aux agents IA au même titre qu’aux humains, 2 000 dollars de prix, 122 jours. Le diagnostic de départ est celui du banc d’essai hERG, transposé à la finance. Quand un participant rend 30 % en un mois, rien dans le classement ne permet de trancher entre compétence et chance.
Leur réponse : simuler vingt mille joueurs sans aucune compétence, actif par actif, sur la durée de la saison, et publier avant le coup d’envoi le meilleur rendement que le pur hasard produit. Un résultat qui reste sous cette ligne ne prouve plus rien. Trois garde-fous relèvent du même esprit. On soumet une position entre -1 et +1 plutôt qu’une prévision, parce qu’une prévision juste ne se monnaie pas forcément. Le levier est plafonné à 1, après qu’une simulation sans limite a produit 48 763 % cumulés, effet d’une multiplication et non d’un talent. Enfin, le code de notation est vérifié avant tout modèle : une erreur dans le calcul des rendements ne fait planter aucun programme, elle produit des nombres parfaitement crédibles.
Réclamer le protocole avec le score
Pour quiconque choisit un modèle sur la foi d’un tableau, la conséquence pratique tient à quatre exigences :
- exiger le protocole en même temps que le score : nature du découpage, date de coupure, seeds utilisées. Sans lui, deux chiffres côte à côte ne se comparent pas ;
- réclamer la comparaison à une référence triviale (valeur constante, plus proche voisin) évaluée sur le même découpage. L’écart au trivial informe davantage que la valeur absolue ;
- demander la dispersion sur plusieurs seeds plutôt que le meilleur résultat obtenu ;
- avant d’évaluer un agent en conditions réelles, chiffrer ce que rapporterait un tirage sans compétence sur la même période.
Un score de banc d’essai ne se lit pas sans le harnais qui l’a produit. Cet écart de 0,21 point ne condamne ni LightGBM ni les descripteurs Morgan : il montre qu’un classement publié sans son protocole renseigne autant sur son évaluateur que sur les modèles qu’il prétend ordonner. L’équipe de LEADBOARD a tranché en fermant la porte aux tirages aléatoires sur ses propres tableaux. Ceux qui achètent des modèles n’ont pas ce pouvoir : il leur reste à réclamer le protocole, et à refaire la mesure sur leurs propres données dès que la décision engage un budget.
