Vérifier un robots.txt, c’est comparer trois objets : le fichier que le serveur envoie à la racine, la copie que Google a récupérée, et la décision d’exploration sur une URL précise. La rédaction des règles (Allow, Disallow, Sitemap) est un autre sujet, traité dans robots.txt : configuration et pièges. Ici, on contrôle ce qui est vraiment servi et ce que Google en fait.
Lire le fichier que le robot télécharge
Google ne lit un robots.txt qu’à la racine de l’hôte : https://exemple.fr/robots.txt. Un fichier dans /blog/robots.txt ou dans un sous-dossier est ignoré. http:// et https:// sont deux hôtes pour ce contrôle si les deux répondent encore.
- Ouvrez l’URL en navigation privée, ou avec
curl -sI https://exemple.fr/robots.txtpuiscurl -spour le corps. - Le code attendu est
200et le corps est du texte. Un301vers le bon hôte est acceptable si la cible finale est le fichier. Un500, un HTML de pare-feu ou une page de connexion ne sont pas un robots.txt : Google peut alors ralentir ou arrêter l’exploration, selon la durée du défaut. - Un
404stable signifie « pas de règles ». Ce n’est pas une erreur en soi : tout le site reste explorable. Un 404 intermittent, en revanche, est un problème de disponibilité. - Comparez ce texte à l’aperçu du plugin. S’ils diffèrent, le plugin n’écrit pas au bon endroit, ou un cache (CDN, Nginx) sert l’ancienne version.
Notez la présence ou l’absence d’une ligne Sitemap:. Elle ne soumet pas le fichier à elle seule. La soumission est décrite dans soumettre un sitemap. Si le robots.txt interdit l’URL du sitemap, Search Console ne pourra pas le récupérer.
Ce que Search Console montre aujourd’hui
Le testeur historique, celui où l’on collait une URL pour voir la règle gagnante, a été retiré. À sa place :
- Rapport robots.txt (depuis les paramètres de la propriété) : jusqu’aux principaux hôtes, date de dernière lecture, avertissements de syntaxe. Il ne dit pas si
/panierest bloqué. Vous pouvez y demander une nouvelle lecture en urgence quand le fichier public a été corrigé et que Google sert encore l’ancien. - Inspection d’URL, puis Tester l’URL en direct. La ligne « Exploration autorisée ? » répond oui ou non pour cette URL, d’après la copie utilisée par Google. « Indexation autorisée ? » est une autre ligne : elle parle de
noindex, pas deDisallow.
Pour une règle pas encore en production, l’inspection ne sert pas : elle lit le fichier déjà publié. Il faut un testeur qui applique le même analyseur que Google (la bibliothèque ouverte google/robotstxt, ou un outil qui s’en sert) sur le texte que vous vous apprêtez à envoyer.
Google met le robots.txt en cache. Un correctif visible dans le navigateur peut rester ignoré tant que cette copie n’a pas été relue. Le rapport donne la date de dernière exploration : c’est elle qu’il faut comparer à votre mise en ligne.
L’écart entre Disallow et noindex
C’est la confusion qui coûte le plus cher au moment d’une vérification.
| Besoin | Moyen | Ce que la vérification doit montrer |
|---|---|---|
| Ne plus explorer un espace sans fin (tri, recherche interne, facettes) | Disallow sur ce préfixe | Inspection : exploration non autorisée. L’URL peut rester connue. |
| Retirer une page de l’index | noindex dans une page que Google a le droit d’explorer | Inspection : exploration autorisée, indexation non autorisée. Voir catégories en noindex. |
| Les deux à la fois sur la même URL | Impossible dans la pratique | Si Disallow bloque, Google ne voit pas le noindex. La page peut rester indexée. |
La vérification minimale après une mise en production : ouvrir le robots.txt réel, inspecter une URL qui doit rester explorée (accueil, fiche), et inspecter une URL qui doit être bloquée (recherche interne, tunnel s’il est interdit). Les deux réponses « Exploration autorisée ? » doivent être opposées. Si elles sont identiques, la règle ne porte pas sur le chemin que vous croyez, ou Google lit encore l’ancien fichier.
