Agent SEO Testeur URL × Bot : vérifiez en un clic si un crawler peut atteindre chaque page
Agent SEO Testeur URL × Bot est une fonctionnalité du module SEO technique & Agent SEO de Clustraly. Le Testeur URL × Bot confronte une URL à un crawler et rend un verdict autorisé ou bloqué contre votre robots.txt publié, avec la règle décisive.
Choisissez une URL, choisissez un bot : Clustraly vous dit s'il passe ou s'il se heurte à une règle, et laquelle. Le testeur éclaire, vous décidez.
Autorisé ou bloqué, tranché en un clic
Saisissez une URL et un crawler : vous obtenez un verdict clair autorisé ou bloqué sans lire une seule ligne de robots.txt. Fini les suppositions sur ce que voit vraiment Googlebot ou GPTBot sur telle page.
Chaque test répond à une question précise : cette URL, ce bot, ce résultat. Vous décidez ensuite en connaissance de cause.
- Verdict binaire lisible : autorisé ou bloqué
- Aucune maîtrise de la syntaxe robots.txt requise
- Réponse sur l'URL et le bot exacts que vous visez
La règle qui décide, pas seulement le résultat
Le testeur ne se contente pas d'un verdict : il affiche la règle décisive et le groupe user-agent qui s'applique. Vous voyez exactement pourquoi une page passe ou se heurte à un mur.
La décision suit la norme RFC 9309 — correspondance la plus longue, Allow qui l'emporte à longueur égale, groupes fusionnés par jeton — la même mécanique que respectent les vrais crawlers.
- Règle décisive mise en avant
- Groupe user-agent correspondant identifié
- Décision conforme RFC 9309 (longest-match)
Testez chaque crawler avant qu'il ne le fasse pour vous
Vérifiez qu'un article récent reste ouvert à Bingbot, qu'un scraper est bien bloqué, ou qu'un bot IA atteint votre contenu — une question, un test, sur l'URL réelle du site.
- Confirmer qu'une page clé reste crawlable par les moteurs
- Vérifier si un bot IA (GPTBot, ClaudeBot, PerplexityBot) passe
- Contrôler qu'une route sensible reste fermée
- Diagnostiquer un blocage inattendu après un changement de posture
Le même moteur que celui qui protège vos publications
Le verdict que vous lisez ici sort du moteur de décision exact utilisé par l'auditeur de régression de l'Agent SEO. Aucun écart entre ce que vous testez et ce que vos fichiers appliqueront.
Le test s'exécute contre le robots.txt réellement publié, pas un brouillon : vous prévisualisez la réalité que vivront les crawlers, sans surprise entre l'aperçu et la production.
- Logique de décision partagée avec l'auditeur de régression
- Testé sur le robots.txt publié, jamais sur un brouillon
- Ce que vous voyez est ce que les crawlers rencontrent
Des entrées bornées et un repli sûr
Les entrées sont strictement bornées : URL jusqu'à 500 caractères, jeton bot jusqu'à 80, au-delà la requête est refusée. Et si aucun robots.txt n'est encore publié, le testeur rend un verdict autorisé par défaut en précisant que seuls /admin et /api restent fermés.
- Bornage des entrées (URL ≤ 500, bot ≤ 80 caractères)
- Verdict de repli explicite quand rien n'est publié
- Motifs piégés traités en fail-closed, jamais fail-open
La même logique que votre auditeur de régression
Le verdict rendu ici applique exactement le moteur de décision qui protège vos publications. Ce que vous testez est ce que vos crawlers vivront — aucun décalage entre l'aperçu et la production.
Questions fréquentes
Contre quel robots.txt le test s'exécute-t-il ?
Que se passe-t-il si aucun robots.txt n'est publié ?
Le verdict explique-t-il pourquoi une URL est bloquée ?
Puis-je tester n'importe quel robot ?
Un doute sur un crawler ? Testez, ne devinez pas
Avant de publier, après une mission, ou face à un bot qui n'indexe pas comme prévu : posez la question au Testeur URL × Bot et lisez le verdict à la source. Clustraly montre la règle décisive, vous tranchez.