Quand Google n’explore pas une URL, l’inspection Search Console le dit : exploration non autorisée, bloquée par robots.txt. Le correctif est une ligne Disallow de trop, pas une demande d’indexation et pas une balise noindex. Le fichier dit ce que le robot peut télécharger. Il ne dit pas à Google de retirer une page de l’index. La configuration générale du fichier — ce qu’on bloque d’habitude, les pièges de migration, le CSS — est dans robots.txt : configuration et pièges. Ici, on part du constat que Googlebot est déjà bloqué.
Confirmer que c’est bien robots.txt
- Inspection de l’URL dans Search Console, de préférence en test en direct.
- Lisez « Exploration autorisée ». Si la valeur est non, à cause de
robots.txt, arrêtez-vous là. Le HTML, lenoindexet la canonique n’ont pas été lus : Google ne les a pas demandés. - Ouvrez
https://exemple.fr/robots.txtsur le même hôte que l’URL (lewwwet le domaine nu peuvent servir deux fichiers). - Cherchez la règle qui couvre le chemin.
Disallow: /bloque tout.Disallow: /blogbloque aussi/blogue. Une fin de ligne sans slash est un préfixe.
curl -sI sur l’URL de la page ne montre pas ce blocage : le serveur, lui, répond souvent 200. C’est le robot qui s’abstient. Le rapport Pages peut classer l’URL en « Bloquée par le fichier robots.txt ». Une URL déjà connue peut aussi rester affichée dans les résultats, sans extrait utile, justement parce que Google n’a pas le droit de la relire.
Le groupe User-agent que Googlebot utilise
Google choisit un groupe : le plus spécifique. S’il existe un bloc User-agent: Googlebot, Googlebot ignore le bloc User-agent: *.
```txt
User-agent: Googlebot
Disallow: /
User-agent: *
Disallow:
```
Dans cet exemple, les autres robots ont le droit d’explorer, Googlebot non. C’est l’inverse du réflexe « le fichier autorise tout le monde puisque * est vide ». L’erreur jumelle : un Disallow: / seulement dans *, sans groupe Googlebot. Là, Googlebot est bloqué, parce que * le concerne tant qu’aucun groupe plus précis n’existe.
Googlebot-Image, AdsBot-Google ou Google-Extended sont d’autres agents. Une règle sur l’un ne règle pas l’exploration web classique. Crawl-delay n’est pas pris en compte par Googlebot : l’ajouter ne « débloque » rien.
WordPress, case « Demander aux moteurs de recherche de ne pas indexer ce site » (Réglages → Lecture), écrit un Disallow: / dans le robots.txt virtuel et un noindex dans les pages. Tant que le Disallow est là, Google ne voit pas le noindex. On décoche, on recharge le fichier, on vérifie que la meta a disparu des pages qui doivent ranker.
Corriger la règle, pas le symptôme
- Retirez ou restreignez le
Disallowqui couvre les URL publiques. Gardez/wp-admin/si vous le souhaitez, avec l’exceptionAllow: /wp-admin/admin-ajax.phple cas échéant. - Ne déplacez pas le problème en ajoutant
noindexdans le robots.txt : Google l’ignore. - Si le but est de sortir une page de l’index, faites l’inverse : autorisez l’exploration, mettez
<meta name="robots" content="noindex">(ouX-Robots-Tag), attendez que Google relise, et alors seulement la page peut sortir. L’outil de suppression d’URL de Search Console est temporaire (environ six mois) : il ne remplace pas cette consigne. - Si le but est d’économiser l’exploration sur des facettes sans valeur, un
Disallowciblé reste légitime. Il ne doit pas couvrir les fiches qui ont des impressions.
Enregistrez, attendez que le fichier servi soit le nouveau (cache CDN, plugin qui réécrit robots.txt). Refaites l’inspection en direct : « Exploration autorisée : oui ». Ensuite, demandez l’indexation des URL qui doivent revenir, selon demander l’indexation.
Les échecs où Google peut explorer mais reçoit un 5xx ou un timeout ne se corrigent pas dans ce fichier. Ils sont dans erreurs d’exploration Googlebot.
Après la levée du blocage
Le sitemap n’a servi à rien tant que les URL listées étaient interdites : Google peut les connaître et refuser de les explorer. Une fois le fichier corrigé, renvoyez le sitemap. Surveillez le rapport Pages : la ligne « Bloquée par robots.txt » doit diminuer. Elle ne tombe pas à zéro dans l’heure. Une URL qui reste bloquée après le test en direct pointe vers un autre robots.txt (mauvais hôte, sous-domaine, fichier en cache).
