Autoriser ou bloquer un bot IA n’est plus une décision binaire
Une règle globale qui autorise ou bloque tous les bots IA mélange des usages dont la finalité et le risque diffèrent. Un crawler peut indexer des pages pour la recherche, récupérer une page à la demande d’un utilisateur, collecter un corpus d’entraînement, vérifier une publicité ou agir dans un parcours transactionnel. Un même opérateur peut déclarer plusieurs comportements.
Cloudflare formalise cette distinction dans sa taxonomie de bots vérifiés. Elle comprend notamment Search, Agent, Training, Transact, Data Collection, SEO et Ads Verification. Cette classification rend la politique plus lisible. Elle ne prouve pas ce qu’une requête particulière fera du contenu.
Une intention déclarée reste une déclaration. Comparez-la avec l’identité technique du bot, son comportement observé et les objectifs du site avant de choisir une règle.
Trois preuves à ne pas confondre
- L’identité répond à la question « qui envoie cette requête ? ». Une signature Web Bot Auth, une liste d’adresses IP publiée ou un reverse DNS vérifiable peuvent l’étayer.
- L’intention déclarée répond à la question « pour quel usage l’opérateur dit-il accéder au contenu ? ». Search, Training et Ads Verification ne justifient pas la même politique.
- Le comportement observé décrit ce que le trafic fait sur votre site. Les journaux peuvent confirmer une visite, une URL, un statut HTTP et une fréquence. Ils ne prouvent pas à eux seuls une indexation, une citation ou un entraînement.
Ce que BotBase for Operators apporte
BotBase for Operators améliore les deux premiers niveaux. Un opérateur peut soumettre son bot, suivre le statut de la soumission, corriger ses informations et déclarer ses comportements, l’usage du contenu ainsi que son mode d’opération direct ou intermédiaire.
Cette transparence facilite une politique plus fine. Une entrée d’annuaire ne vaut cependant ni autorisation générale ni garantie de bonne conduite.
Une matrice de décision par intention
| Intention | Valeur potentielle | Risque principal | Politique de départ |
|---|---|---|---|
| Search | Découverte dans un moteur ou une base de recherche | Crawl coûteux, extraits sans clic | Autoriser si l’identité est vérifiable et si la visibilité est recherchée |
| Agent | Consultation déclenchée par un utilisateur | Accès à des pages ou actions sensibles | Autoriser le contenu public et protéger les actions ainsi que les données privées |
| Training | Constitution ou amélioration de modèles | Réutilisation hors du contexte initial | Décider selon vos droits, votre stratégie et les mécanismes disponibles |
| Transact | Panier, checkout ou autre action commerciale | Fraude, action non autorisée, état incohérent | Exiger authentification, autorisation, idempotence et journal d’audit |
| Data Collection | Prix, veille ou analytique tierce | Extraction intensive ou concurrentielle | Limiter selon la valeur fournie et le coût d’infrastructure |
| SEO | Audit technique ou accessibilité | Charge et faux positifs d’identité | Autoriser les outils choisis après vérification de l’opérateur |
| Ads Verification | Validation d’une page publicitaire | Confusion avec la visibilité organique | Autoriser seulement si vous utilisez le service publicitaire concerné |
Appliquer la règle et qualifier le résultat
Commencez par la valeur attendue. Exigez ensuite une identité vérifiable, appliquez la règle au bon niveau et mesurez le trafic obtenu. Un crawl ne prouve pas que le contenu a été indexé, cité ou recommandé.
L’absence de clic ne prouve pas non plus que le crawl n’a aucune valeur. Certaines réponses peuvent satisfaire l’utilisateur sans visite. Cette contribution reste difficile à mesurer sans données fournies par le canal.
Pour les user-agents et les tests après déploiement, consultez le guide robots.txt et bots IA. Lors de l’analyse, qualifiez chaque résultat : règle publiée, requête observée, blocage réseau ou donnée non mesurable.
Pour une décision incertaine, commencez par un périmètre étroit et réversible : une catégorie de bot, quelques chemins non sensibles et une durée d'observation définie. Comparez les journaux avant et après, puis élargissez seulement si l'effet observé correspond à l'objectif.
Questions fréquentes
Une catégorie de bot vérifié prouve-t-elle l’usage réel du contenu ?
Non. Elle documente une identité et un ou plusieurs comportements déclarés. Il faut la rapprocher des requêtes observées et ne pas en déduire une indexation, une citation, un entraînement ou une transaction.
Bloquer GPTBot empêche-t-il d’apparaître dans ChatGPT Search ?
Non. OpenAI documente GPTBot pour le contenu susceptible de servir à l’entraînement et OAI-SearchBot pour la recherche ChatGPT. Les deux contrôles sont distincts.
Un crawl prouve-t-il que la page a été citée ?
Non. Un journal peut établir une visite, une URL, un statut et un horaire. La citation doit être mesurée dans le système qui produit la réponse.