Un motif imprimé aveugle les caméras IA de la police

Un motif imprimé aveugle les caméras IA de la police

À Las Vegas, vendredi, une Toyota Yaris de 2009 s’est garée devant une caméra Flock. L’image était nette. Le logiciel chargé de la lire n’a pas vu de voiture.

La vidéo a fait le tour des réseaux comme une blague de DEF CON, la grand-messe annuelle des hackers : une petite citadine japonaise déguisée en fantôme numérique, un chercheur qui nargue la surveillance automatisée. Le résultat technique, lui, n’a rien d’amusant pour ceux qui achètent ces caméras : onze algorithmes de détection open source, du même type que ceux qui font tourner les lecteurs de plaques Flock, les caméras-piétons d’Axon ou le logiciel de reconnaissance faciale Clearview AI, ont été mis en échec par une texture imprimée.

Un an de travail, 31 millions de tests

Derrière la démonstration, une année de travail de Bill Swearingen, chercheur en sécurité, et environ 31 millions de tests pour un projet baptisé noRecognition. L’objet produit s’appelle un motif adversarial : une texture calculée pour exploiter les failles d’un réseau de neurones, de façon à lui faire manquer un objet, un visage ou un véhicule, sans qu’un œil humain y voie autre chose qu’un habillage bariolé.

Le principe est documenté depuis longtemps. Dès 2019, des chercheurs de la KU Leuven montraient qu’un simple carton imprimé, tenu devant soi face à l’objectif, suffisait à faire chuter la précision d’un détecteur de personnes ; des travaux ultérieurs ont transposé la logique aux véhicules, avec des camouflages en trois dimensions. Ce qui bascule ici, c’est le terrain d’entraînement : un modèle qui s’affine en continu contre des logiciels réellement déployés dans les rues, et non contre des maquettes de laboratoire. Le test grandeur nature de DEF CON, mené avec la chaîne YouTube automobile Donut Media, n’a fait que confirmer ce que les millions d’essais annonçaient.

Un angle mort qui ne se corrige pas par mise à jour

Un bug logiciel se corrige. Une vulnérabilité adversariale, non : le détecteur ne dysfonctionne pas, il fait exactement ce pour quoi il a été entraîné. Le motif ne casse pas le code, il exploite la manière dont le réseau agrège textures, contours et couleurs pour trancher entre « voiture » et « pas de voiture ». La faille vit dans la frontière de décision du modèle, là où aucun correctif ne s’écrit.

Les fabricants ont une réponse théorique, l’entraînement adversarial : réinjecter les motifs connus dans les données d’apprentissage. Le procédé fonctionne contre ce qu’on lui a montré, coûte de la précision sur le trafic ordinaire, et laisse à l’attaquant le loisir de générer la variante suivante. Swearingen reconnaît d’ailleurs une limite à son camouflage : les roues restent un point faible. L’indication est précieuse, car c’est de ce côté que viendra la parade : un système qui croise plusieurs indices indépendants, la géométrie du véhicule, les roues, le suivi de la trajectoire d’une image à l’autre. Une refonte d’architecture, donc, à mener sur des flottes de caméras déjà installées.

Quand une détection tient lieu de preuve

C’est là que le gadget de convention devient un problème institutionnel. Flock, Axon et Clearview AI ne sont pas des prototypes confidentiels : ce sont des fournisseurs massivement déployés par les forces de l’ordre américaines. Une plaque lue déclenche une alerte, l’alerte oriente une filature, la filature alimente un dossier. En bout de chaîne, la sortie d’un modèle probabiliste est traitée comme un constat.

Un taux d’échec démontré en conditions réelles fragilise directement cette chaîne. Une défense peut désormais réclamer les chiffres qu’on ne demandait pas : quel modèle, quelle version, quel taux de non-détection, mesuré sur quelles données. L’argument fonctionne dans les deux sens, et c’est probablement le point le plus inconfortable pour les acheteurs publics : un capteur qui rate une Yaris habillée d’un motif imprimé peut aussi la confondre avec une autre.

Le cadre juridique, lui, n’a pas suivi. Recouvrir sa voiture d’un motif n’est pas automatiquement illégal, alors que masquer volontairement une plaque d’immatriculation l’est dans plusieurs États américains. Swearingen se tient dans cet interstice et présente son travail comme la démonstration des limites d’un système, pas comme un mode d’emploi. L’ambiguïté est assumée, et elle en dit long sur le vide réglementaire autour de ces déploiements.

De la caméra de police au contrôle qualité en usine

L’affaire ne se range pas au seul rayon des libertés publiques américaines : elle concerne tout modèle de vision mis en production dès qu’un tiers a un intérêt à le tromper. Contrôle qualité en usine, comptage de passages, caisses automatiques, modération d’images, agents IA qui interprètent des captures d’écran : la même mécanique s’applique, avec des motifs qui n’ont pas besoin d’être sophistiqués pour faire disparaître un objet du champ de vision de la machine.

Cela change la façon de concevoir ces systèmes. Une sortie de détecteur n’est pas un fait établi mais une mesure assortie d’une incertitude, et tout ce qui vient en aval devrait la manipuler comme telle. Le taux de non-détection se mesure en production, pas seulement la précision sur un jeu de test propre. Quant aux signaux que l’on croise pour se rassurer, encore faut-il qu’ils n’aient pas la même faiblesse : deux modèles entraînés sur les mêmes données se trompent souvent ensemble.

Les roues de la Yaris ont trahi le camouflage. C’est la seule bonne nouvelle du test, et elle indique où chercher : un modèle plus gros aurait échoué de la même façon, un système capable de signaler qu’il ne sait pas aurait donné l’alerte. Du côté des acheteurs publics, personne n’a encore rendu public le nombre de dossiers qui reposent sur une détection qu’un morceau de vinyle imprimé suffit à effacer. Le premier avocat qui le demandera au tribunal obligera tout le monde à compter.

Sources

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *