L’IA a ciblé une école, et pourtant elle n’a pas halluciné

L'IA a ciblé une école, et pourtant elle n'a pas halluciné

À Minab, dans le sud-est de l’Iran, une frappe a visé un bâtiment enregistré comme installation navale. Le lieu était devenu une école primaire, et environ 120 enfants y sont morts. Une intelligence artificielle militaire avait désigné la cible : l’accusation s’est écrite toute seule, l’algorithme aurait déraillé et l’on n’aurait jamais dû confier des décisions létales à un logiciel. Le dossier d’enquête raconte une histoire plus dérangeante. Le modèle n’a rien inventé. Il a fait exactement ce qu’on lui a demandé, à partir de ce qu’on lui a fourni.

L’alerte de 2019 qui n’a atteint personne

Le bâtiment visé était classé depuis longtemps comme une installation navale militaire. Mais sa fonction avait changé : il abritait désormais une école primaire. Un analyste du renseignement l’avait remarqué et signalé dès 2019, à l’aide d’un outil numérique dédié.

Cette alerte n’a jamais atteint personne. L’outil qui l’hébergeait n’était pas relié à la base de données officielle servant à préparer les frappes. L’information a existé, elle a été saisie par un humain compétent, puis elle est restée coincée dans un silo. D’après les informations de presse américaines qui ont révélé l’affaire, les images utilisées pour valider la cible dataient de sept ans.

Une note juste, écrite au bon moment, invisible à l’instant décisif. Le renseignement ne manquait pas. C’est le canal pour le faire circuler qui manquait.

Un raisonnement impeccable sur une base fausse

Le modèle Claude, développé par Anthropic, était intégré à Maven Smart System, la plateforme de ciblage de Palantir. Dès le premier jour du conflit, ce dispositif a proposé près de 1 000 objectifs, et plusieurs milliers de cibles ont été frappées dans la foulée selon des rapports de presse. Une cadence sans précédent pour une armée.

Mais un système de ce type ne devine pas la réalité du terrain. Il raisonne sur les données qu’on lui présente. Si la base de référence affirme qu’un bâtiment est une installation navale, le modèle traite un bâtiment militaire, quelle que soit la finesse de son raisonnement. Il n’y a pas eu d’hallucination au sens où on l’entend pour un agent conversationnel qui invente une citation. Il y a eu l’exécution fidèle d’une information périmée.

C’est la leçon la plus inconfortable du dossier. Un agent ou un système de RAG (génération augmentée par récupération, qui va chercher des faits dans une base pour répondre) ne vaut jamais mieux que le pipeline qui l’alimente. On surinvestit dans la qualité du modèle, on sous-investit dans la fraîcheur et la connexion des sources. Le maillon faible est rarement celui que l’on surveille.

Un moteur temps réel greffé sur des bases des années 1980

Le décalage est vertigineux. Au cœur du dispositif de ciblage se trouve une base baptisée MIDB, conçue dans les années 1980 et qui repose encore largement sur une saisie manuelle. Elle devait être remplacée par un système automatisé, MARS, dont la mise en service accuse des années de retard. Dès 2020, le Government Accountability Office, l’organe de contrôle du Congrès américain, avait pointé des défaillances persistantes.

Au moins deux bases de renseignement n’ont jamais été raccordées à la base de ciblage faisant autorité. En Syrie, au milieu des années 2010, certaines données de cible avaient dix ou vingt ans. Pendant ce temps, la couche IA tourne en quasi temps réel et recrache des milliers d’objectifs par jour.

On a donc greffé un moteur ultrarapide sur un châssis à moitié rouillé. Et les mécanismes de revue humaine des décisions létales, censés former le dernier filet, étaient eux-mêmes sous-dotés d’après la presse économique américaine. La vitesse a été financée. Le garde-fou, beaucoup moins.

La réponse du Pentagone : encore de l’IA

Après l’enquête, le Pentagone a dévoilé une initiative d’IA agentique. L’idée séduit sur le papier : brancher les systèmes entre eux, ajouter des recoupements automatiques, comparer par exemple une cible à des services publics comme Google Maps pour signaler une anomalie à un humain. Une école qui apparaît là où la base indique une caserne, voilà exactement le genre d’incohérence qu’un croisement automatisé pourrait lever.

Il y a du vrai là-dedans. Un recoupement multisource aurait sans doute fait remonter la note de 2019. Mais empiler une nouvelle couche intelligente sur des fondations trouées revient à automatiser aussi la confiance dans des données fausses. Un système plus rapide ne corrige pas une base qui ment ; il propage l’erreur plus loin et plus vite. La dette, ici, est une dette d’infrastructure et de gouvernance de la donnée, pas un déficit de puissance de calcul.

L’agence de renseignement qui supervise MIDB et MARS, sollicitée, n’a pas répondu directement sur ces défaillances ni sur la transition en retard, se contentant d’évoquer le travail approfondi de ses analystes. On mesure la difficulté à regarder le problème en face.

Le même angle mort, loin des champs de bataille

L’affaire est militaire et tragique, mais son enseignement dépasse largement le champ de la défense. Chaque fois qu’on met un modèle en production sur des données mal reliées, mal datées, mal validées, on reproduit le même schéma à une échelle moins dramatique : un client mécontent traité sur un dossier périmé, une décision de crédit fondée sur une donnée obsolète, un diagnostic bâti sur un dossier incomplet.

Le réflexe collectif consiste à réclamer un meilleur modèle. Le geste utile consiste à cartographier d’où viennent les faits, quand ils ont été mis à jour, et quels canaux ne se parlent pas. L’IA n’a pas menti sur cette frappe. Elle a dit la vérité d’une base restée figée sur des images vieilles de sept ans. Tant que cette chaîne humaine ne sera pas réparée, la sophistication du modèle ne fera qu’accélérer nos angles morts.

Sources

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *