Anthropic, Google, Microsoft et OpenAI soutiennent un jeton commun à placer dans le fichier robots.txt pour refuser l’entraînement des IA sur un site, selon Techzine, qui date l’annonce du 2 novembre. Le principe : un seul réglage, au lieu d’une règle par robot.
Ce « police jeton » porte le nom __usage_ai-training et aurait été proposé par Kevin Kelley, responsable des standards chez Anthropic. Il ne s’agit pas d’un standard officiel de l’IETF.
Prudence toutefois : le calendrier diffère selon les entreprises, et robots.txt reste un signal volontaire que les robots peuvent ignorer. Nous n’avons pas pu lire la spécification elle-même ; ce guide repose sur la presse spécialisée.
Pourquoi un jeton commun
Aujourd’hui, un éditeur qui veut empêcher les IA d’entraîner leurs modèles sur ses pages doit bloquer chaque robot par son nom, GPTBot ou d’autres, comme nous le décrivions dans notre article sur le crawler d’OpenAI. Le jeton vise à remplacer cette liste par une seule déclaration que tous les signataires s’engagent à respecter.
Les quatre entreprises affirment que leurs robots ignoreront un site dès qu’ils rencontrent le jeton. Meta, selon Techzine, soutient l’initiative sans avoir dit si elle respectera le jeton.
Comment l’activer
D’après Techzine, l’éditeur ajoute à son robots.txt un groupe distinct dont le user-agent est ce jeton, avec une règle Disallow, et peut prévoir des exceptions pour certains répertoires. Techzine ne reproduit pas les lignes exactes ; voici la forme qui découle de cette description, à vérifier avant mise en ligne :
User-agent : __usage_ai-training
Disallow : /Cette règle vise l’entraînement des modèles, pas l’indexation par les moteurs : Techzine précise que, chez Microsoft, le choix entre « entraînement » et « ancrage » (grounding, quand l’IA s’appuie sur une source pour répondre) est séparé, et que les sites restent visibles dans Bing.
Qui le respecte, et à partir de quand
Anthropic prend déjà en charge le jeton. Google et Microsoft devraient suivre « l’an prochain », donc en 2027. OpenAI n’a pas donné de date et évoque les prochains mois. Tant que tous n’ont pas déployé le jeton, les règles par robot restent nécessaires. Un éditeur peut donc cumuler les deux, sans conflit.
Les limites
Le fichier robots.txt n’est pas contraignant : un robot peut l’ignorer, et Techzine rappelle que Cloudflare a accusé PerplexityUn moteur de recherche dopé à l'IA qui interroge le web en temps réel et cite systématiquement ses sources. Lire la fiche de contourner ces limites, un sujet voisin de celui des sites qui verrouillent l’accès contre le scraping. Le jeton ne vaut donc que pour les entreprises qui le respectent, et ne protège pas contre les robots malveillants.
Reste à suivre le déploiement
Reste à voir si la spécification sera publiée dans un cadre officiel, et quand Google, Microsoft et OpenAI l’appliqueront. Dès qu’une documentation officielle paraîtra, nous vérifierons la syntaxe exacte et mettrons ce guide à jour.
