L’essentiel
- Google DeepMind a présenté SL2T, un modèle de traduction de la langue des signes vers le texte, qui alimente la dictée signée dans Gboard et Live Transcribe sur Pixel 11.
- Le déploiement commence par la langue des signes américaine (ASL) vers l’anglais, avec d’autres appareils et d’autres langues annoncés pour la suite.
- Le suivi des poses corporelles s’exécute sur l’appareil, présenté comme une mesure de protection de la vie privée.
- Plus de 200 langues des signes existent dans le monde, utilisées par environ 70 millions de personnes sourdes ou malentendantes.
Signer d’une main, l’autre occupée à tenir son téléphone. La contrainte paraît anecdotique, elle est pourtant l’un des cas d’usage que Google DeepMind revendique explicitement pour SL2T, le modèle de traduction de la langue des signes vers le texte qu’il a présenté mercredi.
L’annonce met en avant les résultats sur les jeux d’évaluation académiques, où SL2T est donné pour le meilleur modèle de sa catégorie, capable de couvrir de nombreuses langues des signes à la fois. Une phrase du billet publié par l’équipe engage bien davantage : pour protéger la vie privée, le suivi des poses corporelles s’exécute sur l’appareil. En accessibilité, cette précision pèse plus lourd qu’un point de BLEU (la mesure standard de qualité en traduction automatique).
Traduire, et non décoder des gestes
Une langue des signes n’est pas de l’anglais posé sur les mains, et DeepMind prend soin de le rappeler. Ce sont des langues naturelles complètes, avec leur grammaire et leur lexique propres. Passer de la langue des signes américaine (ASL) à l’anglais écrit relève donc de la traduction automatique, pas d’une transcription linéaire signe par mot, contrairement à la dictée vocale qui reste dans la même langue.
L’obstacle suivant pèse surtout sur le calcul : le modèle doit voir. Le sens circule par des mouvements simultanés des mains, des bras, du torse, de la tête et du visage, qu’il faut suivre image par image, à un rythme élevé. C’est ce cumul qui condamnait les gants connectés longtemps présentés comme la solution, incapables de percevoir un visage ou une posture. SL2T ramène l’entrée signée à des points suivis dans l’espace, puis traduit. Deux problèmes de nature différente, empilés dans un même produit. Apple explore le chemin inverse, générer une vidéo de signeur ASL à partir d’une phrase anglaise en soignant les expressions du visage et les mouvements de tête qui portent une part de la grammaire ; ces travaux, présentés à la conférence CHI en 2025 et distingués par une mention du jury, en sont restés au stade de la recherche.
La caméra devient un clavier
C’est là que l’annonce intéresse tout le monde, et pas seulement les utilisateurs sourds. Quand vous dictez à la voix, vous cédez un signal audio et vous pouvez toujours taper à la place. Quand vous signez, la caméra prend la place du clavier : elle capte votre visage, vos mains, votre buste, la pièce derrière vous, parfois les personnes qui y passent. Le canal d’entrée transporte infiniment plus que le message.
Un signeur ne peut pas se rabattre sur un autre mode de saisie sans perdre exactement ce que la fonctionnalité lui apporte : la fluidité de sa langue première. Faire tourner l’extraction des poses en local relève donc d’autre chose qu’un arbitrage de coût de calcul ou qu’un argument de rapidité, comme dans la plupart des démonstrations d’IA embarquée. C’est la condition pour que la fonctionnalité soit utilisable sans arrière-pensée, chez soi, au travail, dans un lieu public. L’accessibilité est le premier terrain où l’IA sur l’appareil se justifie par ce que l’utilisateur accepte de livrer, avant toute considération de facture.
Le billet de l’équipe s’arrête net après cette précision. Ce qui est calculé localement, et ce qui ne l’est pas, reste à documenter : c’est la première question à poser à Google.
Le test du couloir de métro
L’autre revendication mérite d’être prise au sérieux : le modèle est présenté comme optimisé pour l’usage réel, avec pour exemple le fait de signer d’une seule main en tenant son téléphone. Les corpus d’évaluation sont cadrés, filmés de face et correctement éclairés ; un couloir de métro, une cuisine à contre-jour ou un bras à demi occupé n’y figurent pas.
Cette robustesse ordinaire décidera de l’adoption bien avant la performance de laboratoire. Les testeurs cités par DeepMind rapportent que signer en ASL est plus rapide et plus naturel que taper en anglais : c’est la seule mesure qui compte pour un utilisateur, et elle s’effondre dès que le modèle rate une phrase. Le terrain tranchera le reste : ce que fait le modèle quand il se trompe, la facilité à corriger un mot mal traduit, ce que coûte en batterie une caméra ouverte en continu.
Une paire de langues, un seul téléphone
Reste la mesure de ce qui est livré. Une paire de langues, ASL vers anglais. Un appareil, le Pixel 11. Un sens de traduction, du signe vers le texte. Face à cela, plus de 200 langues des signes et près de 70 millions de locuteurs potentiels. L’extension est annoncée sans calendrier, et chaque nouvelle langue exigera ses propres données, collectées auprès de communautés souvent petites et inégalement documentées.
Un point de méthode distingue l’exercice d’une démonstration gadget : DeepMind dit avoir construit SL2T avec la communauté sourde, sous la conduite de salariés sourds de l’entreprise et d’un comité consultatif consacré à la langue des signes et à l’IA. Pour quiconque livre une fonctionnalité d’accessibilité, c’est le détail reproductible de l’annonce, bien plus que l’architecture du modèle.
La suite se jouera sur deux arbitrages de coût, et aucun ne se lit dans un score : combien de données par nouvelle langue Google est prêt à financer, et combien de calcul l’entreprise accepte de laisser sur l’appareil quand la fonctionnalité descendra vers des téléphones moins puissants.
Mon avis
L’accessibilité va faire plus pour l’IA embarquée que dix ans de discours sur le coût du GPU, parce que c’est le seul domaine où l’utilisateur n’a pas le choix d’être filmé ou pas. Google vient de fixer une norme implicite qu’il devra tenir : d’ici la deuxième langue des signes prise en charge, tout assistant qui exigera d’envoyer la vidéo du corps d’un utilisateur sourd vers un serveur passera pour un défaut de conception, non plus pour un compromis technique acceptable. Je surveille surtout le moment où cette fonctionnalité quittera le haut de gamme : c’est là qu’on verra si le traitement local était un principe ou une facilité offerte par une puce chère.
