Sommaire de l’article
Un log prouve qu’une requête a atteint votre infrastructure et indique la réponse servie. Il ne prouve pas que l’URL a été indexée, retenue dans un corpus, utilisée dans une réponse ou citée à un utilisateur.
Les quatre niveaux de preuve
| Niveau | Ce que l’on observe | Ce que l’on peut conclure |
|---|---|---|
| requête | heure, URL, user-agent, IP | une requête déclarée a atteint le serveur |
| réponse | code, octets, durée | le serveur a répondu ou bloqué |
| indexation | outil ou documentation de plateforme | la plateforme connaît potentiellement l’URL |
| citation | réponse enregistrée avec lien | l’URL a été citée dans ce cas précis |
Sauter du premier au quatrième niveau produit des tableaux rassurants mais faux. Un bot qui visite souvent une URL n’annonce aucun classement futur.
Distinguer les fonctions des agents
OpenAI documente OAI-SearchBot pour la recherche et GPTBot séparément pour l’usage potentiel dans l’amélioration de ses modèles. ChatGPT-User intervient lors d’actions demandées par des utilisateurs. PerplexityBot sert à faire apparaître des sites dans les résultats de Perplexity; Perplexity-User accompagne des requêtes utilisateur et peut ignorer robots.txt dans ce contexte. Anthropic publie ClaudeBot, Claude-SearchBot et Claude-User avec des fonctions distinctes.
La première dimension d’un tableau de logs doit donc être la fonction documentée, pas seulement le fournisseur.
Authentifier quand c’est possible
Une chaîne user-agent se copie facilement. Pour les opérateurs qui publient des plages IP ou des fichiers de vérification, comparez l’adresse source à la ressource officielle et actualisez cette liste régulièrement. Perplexity publie des fichiers JSON d’adresses. OpenAI publie également des informations d’IP pour ses robots dans sa documentation.
Quand un opérateur ne publie pas de plage stable, notez « non authentifié » plutôt que d’inventer une certitude. Une résolution DNS inverse peut compléter l’enquête, mais elle ne doit pas être appliquée aveuglément à tous les agents.
Champs à conserver
Conservez au minimum: horodatage UTC, hôte, chemin normalisé, paramètres utiles, méthode, code HTTP, octets, durée, user-agent complet, IP ou hash d’IP selon votre politique, règle WAF déclenchée et état robots.txt au moment de la requête.
Les données doivent respecter votre politique de confidentialité et une durée de conservation définie. Le but n’est pas de collecter plus, mais de pouvoir expliquer un blocage ou une absence de crawl.
Requêtes d’analyse utiles
Calculez par agent et par semaine:
- URLs distinctes visitées;
- part des réponses 2xx, 3xx, 4xx et 5xx;
- pages stratégiques jamais demandées;
- temps de réponse médian;
- volume perdu au WAF;
- décalage entre mise à jour d’une page et nouvelle visite.
Croisez ensuite avec le sitemap, le maillage interne et les tests de citation. Cette comparaison peut révéler une page inaccessible ou orpheline. Elle ne permet pas d’attribuer une citation à une visite précise.
Test de bout en bout
- Vérifiez robots.txt avec l’agent exact.
- Demandez l’URL publique sans cookie et contrôlez le HTML rendu.
- Vérifiez le code HTTP depuis une infrastructure externe.
- Contrôlez les règles WAF et les journaux.
- Testez une requête de marque enregistrée avec date et moteur.
- Classez le résultat: accessible, visité, cité ou non observé.