Posons la question naïvement : que faudrait-il pour qu’un modèle capable de raisonner tourne entièrement sur votre téléphone, sans jamais appeler un serveur distant ? Longtemps, la réponse tenait en un mot : impossible. Un modèle de cette catégorie pèse des dizaines de gigaoctets et réclame la puissance d’une machine de data center. C’est précisément ce verrou que la start-up PrismML affirme avoir fait sauter avec Bonsai, un modèle de raisonnement de 27 milliards de paramètres qu’elle parvient à loger dans 3,9 Go, soit l’espace disponible sur un iPhone 17 Pro Max.
Où loger un modèle de 54 gigaoctets
Un modèle de cette taille, ici dérivé de Qwen3.6-27B, occupe environ 54 Go dans son format natif. Même avec les méthodes de compression courantes, il faut encore compter près de 18 Go. Autant dire hors de portée d’un smartphone, où chaque application ne dispose que d’une fraction de la mémoire vive. PrismML rappelle un chiffre qu’on oublie souvent : un iPhone équipé de 12 Go de RAM n’en laisse qu’environ 6 Go à une seule application, à partager entre le modèle et son cache de calcul.
Tout se ramène donc à une contrainte d’espace. Faire tenir l’intelligence dans la poche ne demande pas plus de puissance : il faut ranger la même connaissance dans un volume dix fois moindre.
Un bit par poids, ou presque
Le mécanisme repose sur la quantification, c’est-à-dire la façon dont on encode chaque paramètre du réseau. D’ordinaire, un poids se stocke sur 16 bits, ce qui autorise des dizaines de milliers de valeurs possibles. Bonsai descend à un seul bit, ou un peu moins de deux selon la variante. Dans la version la plus agressive, chaque poids ne peut prendre que deux états ; dans la plus prudente, trois. Et cette réduction s’applique à l’ensemble du modèle, pas seulement à quelques couches.
Une image aide à saisir l’idée. Photographiez une scène en noir et blanc pur, sans nuances de gris : chaque point ne retient qu’une information binaire, éclairé ou sombre. L’image perd en finesse, mais reste parfaitement reconnaissable. C’est le pari de Bonsai transposé aux poids d’un réseau de neurones : garder l’essentiel de l’information avec le minimum de bits.
PrismML en profite pour tordre le cou à une confusion répandue. Les modèles étiquetés « 2 bits » dépassent souvent leur promesse : le build Qwen3.6-27B-IQ2_XXS cité dans son livre blanc affiche en réalité 2,8 bits par poids en moyenne. Bonsai, lui, revendique une densité d’intelligence de 0,530 point par gigaoctet pour sa variante 1 bit, loin devant les approches ternaires ou en 16 bits. L’approche n’est d’ailleurs pas isolée : Microsoft explore la même piste du bit unique avec BitNet, sa famille de modèles à 1,58 bit.
90 % des performances, mais pas partout
Que perd-on en route ? C’est là que tout se joue. Sur ses propres évaluations, qui couvrent quinze tests de référence, PrismML annonce que la variante la plus lourde conserve 95 % des performances du modèle d’origine, et la plus légère 90 %. Les mathématiques et la programmation, précise l’entreprise, restent « quasiment inchangées ». Un point de comparaison est éloquent : un Qwen3.6-27B compressé de façon classique à 9,4 Go plafonne à 72,7 points, quand la petite variante de Bonsai, à 3,9 Go, en marque 76,1.
La franchise mérite d’être saluée, car le livre blanc ne masque pas les faiblesses. La compression la plus agressive fait décrocher trois domaines précis : la compréhension d’images, le respect des instructions et l’usage d’outils par un agent. Or ce dernier point n’est pas anodin. C’est justement là que se joue l’intérêt d’un modèle local pour l’automatisation, et c’est là que le rognage se paie le plus cher.
Côté vitesse, la petite variante génère environ 11 tokens par seconde sur un iPhone 17 Pro Max. Un test de batterie donne à peu près 672 tokens produits par point de charge, soit de l’ordre de 67 000 tokens sur une batterie pleine. La puce a toutefois légèrement bridé sa cadence après un peu plus de cinq minutes de calcul soutenu : l’autonomie thermique reste la limite naturelle de l’inférence embarquée.
Apple discute déjà avec PrismML
Pour comprendre l’enjeu, il faut regarder comment fonctionne un agent moderne. Il enchaîne parfois des centaines d’appels au modèle, chacun transportant son contexte, produisant une sortie structurée qui alimente l’étape suivante. Dans le cloud, cette boucle a un prix : le coût au token s’accumule, chaque appel ajoute de la latence réseau, et les résultats intermédiaires, les appels d’outils, les données privées comme le contenu de l’écran ou vos documents quittent l’appareil.
Faire tourner le modèle sur la machine renverse cette équation. Le coût marginal de la boucle tombe à zéro et les données ne bougent plus. PrismML y voit le socle d’assistants toujours actifs, capables de fonctionner hors ligne, et de systèmes hybrides où les tâches simples et sensibles restent sur l’appareil, seules les étapes les plus difficiles partant vers un modèle de pointe dans le cloud.
Ce raisonnement n’a pas échappé à Apple, dont le retard en matière d’IA embarquée est documenté. Selon des informations de presse, la firme discute déjà avec PrismML de la technologie de compression derrière Bonsai. Son PDG, Babak Hassibi, a confirmé qu’Apple et d’autres entreprises testent les modèles sur trois critères concrets : la vitesse, la consommation d’énergie et la qualité des réponses. Les échanges restent « très précoces », mais « les choses avancent bien ».
L’inférence locale sort de la démonstration
Ce qui se joue avec Bonsai dépasse la prouesse technique. Jusqu’ici, faire tourner un modèle sur un téléphone revenait à se contenter d’un modèle miniature, bavard mais peu capable de raisonner. Loger un modèle de 27 milliards de paramètres dans 4 Go, en conservant l’essentiel de ses aptitudes en calcul et en programmation, déplace la frontière du possible : le raisonnement, et pas seulement la génération de texte, devient exécutable sans connexion ni facture au token.
Deux réserves tempèrent l’enthousiasme. Les mesures citées proviennent de l’évaluation maison de PrismML, qu’il faudra confronter à des tests indépendants. Et les compromis sur la vision et l’usage d’outils rappellent qu’un modèle compressé a un coût caché : il est taillé pour certaines tâches, pas pour toutes. Le chantier qui s’ouvre est très concret : décider, tâche par tâche, ce qui mérite de rester dans la poche et ce qui doit encore monter dans le cloud.
