Laissez l'Agent SEO affiner votre robots.txt en sécurité — ajustements whitelisted et sanitisation des chemins
Agent SEO Ajustements whitelisted + sanitisation des chemins est une fonctionnalité du module SEO technique & Agent SEO de Clustraly. Les ajustements whitelisted limitent l'Agent SEO à trois opérations sûres sur le robots.txt et sanitisent chaque chemin, décodage %-encoding compris, avant toute application.
Vous laissez l'Agent SEO suggérer des réglages robots.txt ; seules trois opérations sûres passent, chaque chemin est sanitisé et le %-encoding décodé. Un ajustement ne peut ni bloquer votre site, ni pointer vers un secret.
L'IA propose l'ajustement, la whitelist tranche
Vous confiez à l'Agent SEO le soin de suggérer des réglages fins de votre robots.txt. Avant que quoi que ce soit ne touche le fichier, applyAdjustments filtre chaque suggestion : seules trois opérations sont acceptées, tout le reste est écarté.
L'agent aide sans jamais sortir du script. Et vous restez celui qui publie.
- Trois opérations autorisées, pas une de plus
- Toute op inconnue ou valeur vide rejetée
- Le refus est tracé, jamais silencieux
- La publication reste votre décision
add_disallow, add_allow, remove_rule et rien d'autre
Chaque ajustement vise un groupe précis : le groupe partagé * ou un user-agent exact. Les insertions se placent juste après la dernière ligne User-agent du groupe, exactement là où la règle doit vivre. Et remove_rule ne balaie jamais au-delà de la frontière du groupe suivant : impossible de retirer par accident une règle appartenant à un autre bot.
Cas concret : l'agent recommande d'ouvrir un nouveau crawler IA. C'est un add_allow ciblé sur son user-agent exact, chemin validé, posé au bon endroit sans toucher au reste.
- Cible un groupe précis (* ou user-agent exact)
- Insertion juste après la dernière ligne User-agent
- remove_rule borné à son propre groupe
- Aucun débordement d'un groupe sur l'autre
Chaque chemin est passé au crible avant d'entrer
sanitizePaths valide chaque chemin avant qu'il n'atteigne votre robots.txt. Un chemin doit commencer par /, sans espace ni caractère de contrôle. Les synonymes de blocage total « / », « /* », « /$ » sont refusés, pour qu'un ajustement ne puisse jamais éteindre votre site entier.
Les motifs sensibles sont bloqués d'office : .env, .git, .sql, .bak, secret, password, .htaccess, .htpasswd. Une suggestion ne peut ni exposer, ni même désigner ces chemins.
- Chemin en /, sans espace ni caractère de contrôle
- Synonymes de blocage total refusés (/, /*, /$)
- Motifs sensibles bloqués (.env, .git, secret, ...)
- Tout lang= refusé pour préserver vos langues
Le %-encoding décodé jusqu'au point fixe
Une suggestion habile pourrait cacher un chemin interdit derrière un encodage d'URL : /%2Eenv au lieu de /.env, ou /*?l%61ng= au lieu de lang=. decodeFixpoint décode chaque chemin de façon répétée, jusqu'à cinq passes, jusqu'à ce qu'il ne change plus.
Les règles ne sont appliquées qu'ensuite. Ce que vous voyez est ce qui est réellement évalué : aucun tour d'encodage ne se faufile.
- Décodage %-encoding répété jusqu'au point fixe
- Jusqu'à 5 passes de décodage
- Neutralise /%2Eenv, /*?l%61ng= et variantes
- La règle réelle est celle qui compte
Vous voyez exactement ce qui a été écarté
Rien n'est avalé en silence. Chaque opération rejetée ou valeur vide est rapportée dans « dropped » : vous lisez précisément ce que l'agent a proposé, ce que le garde-fou a refusé, et pourquoi.
La proposition reste une proposition tant que vous ne l'avez pas publiée.
- Chaque rejet listé dans « dropped »
- Aucune modification silencieuse
- Ajustements lisibles avant décision
- En vigueur seulement après votre publication
Un ajustement ne devient jamais un risque
L'Agent SEO peut suggérer, la whitelist et la sanitisation décident de ce qui passe. Trois opérations, des chemins nettoyés, le %-encoding décodé : votre robots.txt reste sûr par construction et c'est vous qui publiez.
Questions fréquentes
Quelles opérations l'Agent SEO peut-il réellement appliquer à mon robots.txt ?
L'agent peut-il accidentellement bloquer tout mon site ?
Comment êtes-vous sûr qu'un chemin encodé ne contourne pas les filtres ?
Les chemins sensibles et mes langues sont-ils protégés ?
Un robots.txt affiné par l'IA, verrouillé par vos garde-fous
Laissez l'Agent SEO proposer des ajustements robots.txt. La whitelist limite à trois opérations sûres, la sanitisation nettoie chaque chemin et le %-encoding est décodé avant tout contrôle. Vous relisez ce qui passe, ce qui est écarté dans « dropped », puis vous publiez. L'IA propose, vous décidez.