Sommaire de l’article
- Une réponse d’IA avec des liens n’est pas une preuve: chaque affirmation importante doit être contrôlée dans la source citée.
- Les deux vagues n’ont pas produit de jeux de données comparables: la vague 01 comporte une sortie complète à revoir et trois collectes partielles ou échouées; les quatre sorties de la vague 02 sont tronquées.
- Les recommandations convergent sur les fondamentaux SEO, mais divergent fortement dès qu’elles attribuent un effet causal au schema, aux backlinks ou à llms.txt.
Pourquoi réaliser ce benchmark
Les conseils GEO sont souvent produits par les mêmes moteurs que l’on cherche à optimiser. Ce cercle pose un problème simple: une réponse peut paraître assurée, citer trois URL et rester factuellement fragile. Nous avons donc demandé à quatre modèles connectés au web de répondre aux dix mêmes questions en français, avec trois sources par question.
Le but n’était pas de désigner un « meilleur modèle ». Il était de mesurer la qualité opérationnelle du matériau obtenu avant toute publication: complétude, traçabilité, préférence pour les sources primaires et présence d’affirmations plus fortes que les documents cités.
Protocole et résultats bruts
Les modèles interrogés étaient Claude Opus 5, GPT-5.6 Sol Pro, Gemini 3.1 Pro Preview et Grok 4.5, tous avec recherche web. Les questions couvraient ChatGPT Search, l’audit de visibilité, SEO/GEO/AEO, llms.txt, robots.txt, la mesure, la structure éditoriale, l’ecommerce, le B2B SaaS et les outils de suivi.
| Sortie | État observé | Utilisable telle quelle |
|---|---|---|
| Claude Opus 5 | réponse longue, arrêtée par la limite de sortie | non |
| GPT-5.6 Sol Pro | erreur HTTP 504 | non |
| Gemini 3.1 Pro Preview | dix réponses produites | non, contrôle requis |
| Grok 4.5 | réponse interrompue après la première question | non |
La première conclusion est méthodologique: un benchmark doit conserver ses échecs. Supprimer les sorties incomplètes donnerait artificiellement l’impression que tous les moteurs répondent avec la même fiabilité.
Mise à jour: vague 02 du 13 août 2026
La deuxième vague conserve dans le dépôt les dix questions exactes, les identifiants de modèles, les paramètres de recherche, les états de fin, les coûts reportés et l’empreinte SHA-256 de chaque réponse. Elle a appelé Claude Opus 5, GPT-5.6 Sol Pro, Gemini 3.1 Pro Preview et Grok 4.5 via OpenRouter, avec l’outil serveur de recherche web demandé dans le protocole.
Les quatre sorties ont atteint leur limite de longueur avant de terminer le panier de dix questions. Il n’existe donc aucun jeu complet à noter ni à classer dans cette vague. Cette limite de protocole est le résultat principal: la prochaine exécution comparable devra fragmenter le panier ou augmenter la capacité de sortie sans modifier les questions.
Le coût observé par différence de consommation OpenRouter est de 0,715186 $, sous le plafond de 10 $. La vague 01 ne conservait pas son prompt exact et ses sorties brutes dans le dépôt; les deux vagues ne permettent donc pas de calculer une tendance. Le jeu de données public de la vague 02 expose le protocole et les quatre états sans republier les réponses brutes.
Trois divergences qui changent la décision SEO
Le balisage n’est pas une condition spéciale pour les réponses Google
Certaines réponses recommandaient FAQPage ou un schema « complet » comme levier direct de citation. Or Google indique qu’il n’existe ni balisage schema.org spécial ni exigence technique supplémentaire pour AI Overviews et AI Mode. Une page doit être indexée, éligible à un extrait et respecter les fondamentaux de Search. Les données structurées restent utiles pour décrire fidèlement le contenu et viser certains résultats enrichis, mais elles ne constituent pas une garantie de citation IA.
Les robots de recherche et d’entraînement ne sont pas interchangeables
Plusieurs réponses regroupaient GPTBot, OAI-SearchBot et ChatGPT-User sous une même fonction. OpenAI les distingue: OAI-SearchBot concerne la recherche, GPTBot l’usage potentiel pour l’entraînement, et ChatGPT-User les visites déclenchées par des utilisateurs. Perplexity distingue aussi PerplexityBot, destiné à faire apparaître des sites dans ses résultats, de Perplexity-User, lié aux actions des utilisateurs. Une politique robots.txt sérieuse décide agent par agent.
llms.txt reste expérimental
Les réponses allaient de « inutile » à « facilite l’exploration ». Google précise désormais que Search ignore ce fichier et qu’il n’aide ni ne pénalise le classement Google. Pour d’autres systèmes, l’absence de documentation officielle d’adoption interdit de promettre un gain. Publier un fichier propre peut servir de sommaire lisible par machine, à condition de ne pas le présenter comme un facteur de classement.
Ce que les moteurs ont bien identifié
La convergence la plus solide porte sur des fondamentaux vérifiables: pages accessibles, information importante en texte, navigation interne claire, réponses précises, sources visibles, cohérence des entités et bonnes performances. Cette convergence correspond aux recommandations publiques de Google pour ses fonctionnalités génératives.
Elle ne prouve pas qu’un format de paragraphe ou un nombre de liens cause une citation. Elle indique plutôt qu’un site techniquement accessible et éditorialement fiable offre de meilleures conditions de découverte et d’évaluation.
La méthode de contrôle à reproduire
- Conserver le prompt exact, le modèle, la date et l’état de la réponse.
- Extraire séparément les affirmations et les URL.
- Ouvrir chaque source et vérifier qu’elle soutient réellement la phrase.
- Privilégier les documentations des plateformes pour leurs propres règles.
- Classer le reste en fait confirmé, observation du benchmark ou hypothèse.
- Rejouer les requêtes à plusieurs dates avant de parler de tendance.
Une mesure de visibilité utile ajoute ensuite la présence de la marque, la présence d’un lien, l’exactitude de l’attribution et la stabilité entre répétitions. Un score unique masque ces différences.