L’essentiel
- Des chercheurs de Princeton et de l’université de Californie à San Diego ont comparé, sur 8 135 exécutions, des agents traitant les mêmes tâches avec et sans skill.
- Dans 65,7 % des cas où la skill aide, le gain vient du cadrage de la procédure, contre 4,5 % seulement pour l’apport direct de connaissances.
- Quand la bibliothèque passe de 5 à 100 entrées, la précision de récupération de la bonne consigne tombe de 29,6 % à 3,3 %.
Vous ajoutez une skill à votre agent, et il réussit du premier coup une tâche qu’il ratait la veille. Le modèle, lui, n’a pas bougé d’un paramètre. Que s’est-il passé, au juste ?
Deux explications tiennent la route, et une étude vient de les séparer : soit la skill apporte un savoir qui manquait, soit elle impose une façon de faire. Les chiffres penchent massivement pour la seconde.
Une skill, c’est une notice d’exécution
Une skill (une fiche de procédure que l’agent garde sous la main) se résume à peu de choses : les étapes à suivre pour une tâche donnée, les points à vérifier au passage, les erreurs classiques à ne pas commettre. Au lieu de repartir de zéro à chaque demande, l’agent puise dans ces expériences déjà écrites.
Jusqu’ici, la valeur d’une skill se mesurait à un seul indicateur : l’agent équipé résout-il plus de tâches ? Le mécanisme restait dans l’ombre. Des chercheurs de Princeton, de l’université de Californie à San Diego et de plusieurs autres établissements ont monté des expériences contrôlées pour l’éclairer : mêmes tâches, avec skill et sans skill, sur 8 135 exécutions.
Le cadrage de la procédure explique deux gains sur trois
Quand l’agent équipé fait mieux, c’est dans 65,7 % des cas parce que la skill lui fournit un cadrage procédural, autrement dit une marche à suivre fiable. L’apport direct de connaissances, lui, n’explique que 4,5 % des cas mesurés.
Ce que la consigne stabilise, ce sont donc les gestes : quelles étapes de préparation lancer, quels outils appeler et dans quel ordre, quelles vérifications intermédiaires effectuer. Cela supprime des erreurs très identifiables, comme un environnement de travail mal monté ou un format de sortie non conforme.
Pensez à la checklist d’un pilote de ligne. Elle ne lui apprend rien sur l’aérodynamique et ne remplace aucune heure de formation ; elle l’empêche d’oublier un geste ou de les enchaîner dans le désordre. Une skill joue exactement ce rôle auprès d’un modèle qui en sait déjà beaucoup mais dérive dans la séquence.
Quand la notice se retourne contre l’agent
Les chercheurs pointent aussi une contrepartie. Dans 10 % des cas, l’agent applique de façon mécanique une procédure par ailleurs utile, ou la ressort dans un contexte où elle ne colle pas. Une skill n’ajoute pas seulement de la fiabilité : elle ouvre une famille d’erreurs inédite, celles de l’exécution aveugle.
Autre surprise : la correspondance exacte entre la tâche et la skill n’est ni nécessaire ni suffisante. Une consigne voisine donne souvent assez de direction pour redresser l’agent. Sur une tâche qui appelle une solution d’une autre nature, en revanche, la mauvaise notice ne sauve rien.
Plus la bibliothèque grossit, moins l’agent choisit juste
C’est le second enseignement, et le plus embarrassant pour quiconque outille des agents. Faites passer la bibliothèque de 5 à 100 entrées, et la précision de récupération en usage réel s’effondre : de 29,6 % à 3,3 % dans les tests. Vingt fois plus de consignes disponibles, près de dix fois moins de chances de tomber sur la bonne.
La cause est prosaïque : les options qui se ressemblent brouillent le choix. Deux skills aux intitulés proches, l’une pour déployer, l’autre pour déployer en préproduction, et la sélection hésite. Le goulot d’étranglement a changé de place : il est passé de l’exécution de la tâche au choix de la bonne instruction parmi celles dont l’agent dispose.
Au quotidien, cela déplace le travail d’outillage. Un intitulé sert à discriminer, pas à décrire joliment : « déployer en préproduction, jamais en production » écarte une confusion que « déploiement » entretient. Le problème dépasse d’ailleurs un seul outil. Dans le format Agent Skills, seuls le nom et la description d’une fiche sont chargés au démarrage de la session, et la sélection ne s’appuie que sur cette description ; Codex et Gemini CLI, qui lisent le même fichier SKILL.md, fonctionnent à l’identique.
Une conséquence pratique : le taux de réussite global ne suffit plus comme indicateur. Il faut vérifier si la bonne skill a été appelée, et à quel rang elle est arrivée dans la sélection. Les doublons coûtent alors plus qu’ils ne rapportent, et une collection de 100 fiches mal nommées vaut moins que dix bien découpées.
Créer, retrouver, retirer : un cycle plutôt qu’un stock
Les auteurs en tirent une recommandation nette : traiter l’usage des skills comme un cycle de vie. Les progrès des agents censés apprendre d’eux-mêmes ne viendront pas d’une accumulation plus large d’expériences, mais de façons plus fiables de les créer, de les retrouver et de les appliquer.
Le déplacement relève de la discipline plus que de la technologie. Écrire une skill est facile, et gratuit sur le moment ; entretenir un ensemble de skills demande de fusionner ce qui se recoupe, de découper ce qui mélange deux intentions, de retirer ce qui a vieilli. Aucun de ces trois gestes ne produit d’effet visible le jour où on le fait, ce qui explique qu’ils passent après le reste. Le réflexe d’accumulation travaille ici contre celui qui l’exerce.
La mesure, elle, porte sur des expériences contrôlées, pas sur un poste de travail réel avec ses outils maison et ses habitudes. L’ordre de grandeur reste difficile à balayer : vingt fois plus de fiches n’ont pas rendu l’agent vingt fois plus capable, elles l’ont surtout rendu hésitant au moment de choisir.
Mon avis
Le nombre de skills installées est en train de devenir la métrique de vanité de l’outillage agentique, l’équivalent du compteur de plugins d’un CMS. Les prochains gains viendront d’outils capables de refuser une skill à l’écriture, de la marquer périmée et de forcer sa fusion avec sa voisine : ce qui manque à l’outillage tient moins du dépôt que du désherbage. J’ajoute une conviction moins confortable : une bonne part des bibliothèques constituées cette année sera à jeter plutôt qu’à trier, parce qu’elles ont été écrites sans se demander une seconde comment on les retrouverait.
