Foundation Models
Les foundation models sont les grands modèles génériques pré-entraînés sur des montagnes de données, que l’on adapte ensuite à mille usages plutôt que de repartir de zéro. C’est le socle de la vague actuelle : un même modèle de base sert à coder, à dialoguer, à analyser une image ou à piloter un agent. Cette mutualisation explique la vitesse des progrès, et concentre aussi un pouvoir considérable entre quelques mains.
Car entraîner un tel modèle suppose des données, du calcul et des capitaux que peu d’acteurs réunissent. La vraie question n’est pas de savoir qui aura le modèle le plus large, mais qui contrôle la fondation sur laquelle tout le reste se construit. Dépendre d’un foundation model, c’est hériter de ses biais, de ses limites et de la stratégie de celui qui le détient. Sur quel socle accepte-t-on de bâtir ?
Questions frequentes
Qu'est-ce qu'un foundation model ?
Un foundation model est un grand modèle d'IA pré-entraîné sur des données massives et généralistes, conçu pour être adapté ensuite à de nombreuses tâches. Plutôt que d'entraîner un modèle par usage, on part de cette base commune que l'on spécialise, par fine-tuning ou par prompt, selon le besoin.
Quelle différence entre un foundation model et un LLM ?
Un LLM (large language model) est un foundation model spécialisé dans le texte. La notion de foundation model est plus large : elle englobe aussi les modèles d'images, d'audio, de vidéo ou multimodaux. Tout LLM est un foundation model, mais l'inverse n'est pas vrai.
Quelle différence entre un modèle open source et un modèle fermé ?
Un modèle fermé n'est accessible que via une API, sans que ses poids soient publiés. Un modèle ouvert met à disposition ses poids, permettant de l'héberger, de l'auditer et de l'adapter soi-même. Le premier facilite le contrôle et le support, le second l'autonomie et la souveraineté.
Qu'appelle-t-on le scaling des modèles d'IA ?
Le scaling désigne l'idée que les performances d'un modèle s'améliorent quand on augmente sa taille, ses données d'entraînement et sa puissance de calcul. Des lois empiriques ont décrit cette tendance, mais son maintien à très grande échelle fait débat : plus de calcul ne garantit pas indéfiniment de meilleures capacités.
Comment adapte-t-on un foundation model à un usage précis ?
Plusieurs leviers existent, du moins au plus lourd : le prompt et le few-shot (donner des exemples dans la consigne), le RAG (brancher le modèle sur des données externes) et le fine-tuning (réentraîner le modèle sur des données ciblées). Le choix dépend du besoin, du budget et des données disponibles.