Distillation
La distillation consiste à entraîner un petit modèle à imiter un grand. Le « professeur », massif et coûteux, transmet son comportement à un « élève » bien plus léger, qui retient l’essentiel des réponses sans porter tout le poids du calcul. C’est ainsi qu’un savoir né dans un datacenter finit par tenir sur un téléphone, à une fraction du prix.
Mais l’élève n’apprend pas du monde, il apprend d’un maître. Il hérite donc de sa façon de voir, de ses raccourcis et de ses angles morts, sans jamais accéder à ce que le professeur ignorait lui-même. Une lignée de modèles de langage distillés les uns des autres peut ainsi propager une erreur commune que personne ne remonte à la source. Que transmet-on vraiment quand on apprend à une machine à en copier une autre ?
Nos guides sur le sujet
Questions frequentes
Qu'est-ce que la distillation en intelligence artificielle ?
La distillation est une technique où un modèle plus petit, l'élève, apprend à reproduire le comportement d'un modèle plus grand et performant, le professeur. L'objectif est d'obtenir un modèle léger, rapide et moins coûteux, qui conserve une bonne partie des capacités du modèle d'origine.
Pourquoi distiller un modèle d'IA ?
La distillation réduit la taille, la latence et le coût d'exécution d'un modèle. Elle permet de déployer l'IA sur des appareils limités ou de servir de nombreuses requêtes à moindre frais, tout en gardant des performances proches du grand modèle sur les tâches visées.
Comment fonctionne la distillation ?
Le modèle élève est entraîné à imiter les sorties du modèle professeur, souvent ses probabilités détaillées plutôt que la seule bonne réponse. Ces signaux riches lui transmettent une partie du « raisonnement » du professeur, ce qui le rend plus performant qu'un entraînement direct sur les mêmes données.
Quelle différence entre distillation et fine-tuning ?
Le fine-tuning ajuste un modèle existant sur des données spécifiques pour l'adapter à une tâche. La distillation transfère le savoir d'un grand modèle vers un modèle plus petit. L'un spécialise, l'autre compresse ; les deux peuvent se combiner dans un même pipeline.
La distillation pose-t-elle des problèmes juridiques ou de sécurité ?
Oui, lorsqu'un modèle est distillé à partir des sorties d'un modèle concurrent sans autorisation, cela peut violer ses conditions d'utilisation et soulever des questions de propriété. Les fournisseurs cherchent donc à détecter et limiter cet usage, considéré comme une forme de copie à bas coût.