L’essentiel
- Cloudflare abandonne le blocage tout-ou-rien des robots IA pour trois régimes distincts : recherche, entraînement, agents.
- Dès le 15 septembre 2026, l’entraînement et les agents seront bloqués par défaut sur les pages qui affichent de la publicité.
- Selon Cloudflare, le trafic des robots a dépassé celui des humains sur le web, plus tôt que son PDG ne l’anticipait.
Vous voulez que Google vous trouve, mais pas que le prochain modèle de langage vous avale au petit-déjeuner. Jusqu’ici, il fallait trancher : tout ouvrir ou tout fermer. Depuis juillet 2024, un client Cloudflare pouvait bloquer d’un clic l’ensemble des robots d’IA. Efficace, mais brutal : couper l’entraînement, c’était aussi risquer de disparaître des réponses.
Il y a peu, nous écrivions ici que Cloudflare avait fait basculer le web en refermant ses portes aux crawlers d’intelligence artificielle. Depuis, l’entreprise a compris que le verrou binaire ne tenait pas : un éditeur ne veut pas la même chose selon qu’un robot vient l’indexer, le recopier pour un jeu de données ou agir à la place d’un internaute. Le blocage global cède donc la place à un tri fin. Et ce tri dit beaucoup de la manière dont le web compte se défendre face aux modèles.
Trois portes au lieu d’un mur
Laisser entrer une IA ne veut rien dire tant qu’on ignore ce qu’elle vient faire. Cloudflare part de là et découpe l’accès en trois catégories, chacune réglable séparément dans le tableau de bord.
La première, recherche, couvre l’indexation classique : on veut être trouvé. La deuxième, entraînement, désigne la collecte de données destinée à nourrir les modèles. La troisième, agents, vise les robots qui agissent au nom d’un utilisateur, quand un assistant comme ChatGPT va chercher une information en direct pour vous répondre.
Imaginez une bibliothèque. La recherche, c’est laisser un lecteur consulter vos ouvrages en salle. L’entraînement, c’est l’autoriser à tout photocopier pour bâtir sa propre collection. L’agent, c’est envoyer un coursier chercher une page précise à votre place. Trois usages, trois contrats. Réunir les trois derrière un seul bouton revenait à confondre le lecteur, le copiste et le livreur. Fait notable : ces réglages arrivent jusque sur l’offre gratuite, pas seulement chez les gros comptes.
Pourquoi l’entraînement paie et la recherche passe
Le tri prend tout son sens avec une bascule datée. À partir du 15 septembre 2026, sur les pages qui affichent de la publicité, l’entraînement et les agents seront bloqués par défaut ; la recherche, elle, restera autorisée. La logique tient en une phrase : si une page monétise l’audience, c’est qu’elle veut des visiteurs humains, pas des machines qui aspirent son contenu sans jamais renvoyer un clic.
Reste le cas épineux des robots à double casquette. Googlebot, par exemple, indexe pour la recherche et alimente aussi les fonctions d’IA de Google. Comment le traiter ? Cloudflare tranche par le régime le plus strict : si l’un des deux usages est bloqué, le robot polyvalent est bloqué. Ce détail vise directement Google. Matthew Prince, patron de Cloudflare, lui reproche depuis des mois de fondre son crawler de recherche et son crawler d’IA dans le même agent, ce qui force les éditeurs à choisir entre être indexés et être entraînés. Le message envoyé aux opérateurs est limpide : séparez vos robots par finalité, sinon vous serez traités au plus sévère.
La fin du laissez-passer « verified »
Le second changement est plus discret mais tout aussi structurant. Jusqu’ici, un robot « vérifié » passait automatiquement. Ce n’est plus le cas : c’est désormais sa catégorie qui décide de l’accès, pas son badge. Un opérateur devra prouver qu’il s’identifie honnêtement et qu’il n’abuse pas des droits accordés. Le label ne suffit plus, le comportement compte.
Pour outiller cette police du crawl, Cloudflare ouvre BotBase, une base de données consultable de tous les robots connus, intégrée au tableau de bord des entreprises. Elle indique comment chaque robot est classé et, surtout, ce qu’il fait du contenu : se contente-t-il de créer un lien vers la page, ou la reproduit-il intégralement ? La nuance est décisive. Un moteur qui cite et renvoie vers vous participe à l’échange ; un modèle qui recopie et restitue sans lien casse la boucle qui finance la production.
Cartographier son crawl plutôt que le fermer
Pour un éditeur, le crawl se transforme en péage segmenté, où chaque voie se négocie à part. Concrètement, il faut arrêter de penser « robots contre humains » et cartographier ses propres priorités : rester indexé partout, verrouiller l’entraînement, filtrer les agents au cas par cas.
Les modèles d’IA, eux, ne captent plus le web par défaut : ils devront demander, s’identifier et parfois payer pour ce qu’ils prenaient gratuitement. Un chiffre éclaire l’urgence de la manœuvre. En juin 2026, Prince a constaté que le trafic des robots avait dépassé celui des humains sur Internet, une bascule qu’il n’attendait pas avant fin 2027. Le web se peuple de machines plus vite que prévu ; définir qui entre, pour quoi faire, n’est plus une option de confort.
Mon avis
Le coup de force de Cloudflare tient moins au blocage qu’au vocabulaire qu’il impose à tout l’écosystème. En nommant trois usages là où les opérateurs préféraient une bouillie unique, il oblige OpenAI, Google et les autres à déclarer leurs intentions. Je m’attends à ce que les modèles finissent par séparer proprement leurs robots avant septembre 2026, non par vertu, mais parce que le régime « au plus strict » leur coûtera trop cher. Le fournisseur d’infrastructure vient de se transformer en arbitre du contrat entre le web et les IA, et ça, aucun éditeur seul n’aurait pu l’obtenir.
