Retour au blog Guide Pratique - 6 min

Comment vérifier le robots.txt réellement servi

Vérifier le robots.txt : lire le fichier public, le rapport Search Console et l’inspection d’URL, et ne pas le confondre avec noindex.

Vérifier un robots.txt, c’est comparer trois objets : le fichier que le serveur envoie à la racine, la copie que Google a récupérée, et la décision d’exploration sur une URL précise. La rédaction des règles (Allow, Disallow, Sitemap) est un autre sujet, traité dans robots.txt : configuration et pièges. Ici, on contrôle ce qui est vraiment servi et ce que Google en fait.

Lire le fichier que le robot télécharge

Google ne lit un robots.txt qu’à la racine de l’hôte : https://exemple.fr/robots.txt. Un fichier dans /blog/robots.txt ou dans un sous-dossier est ignoré. http:// et https:// sont deux hôtes pour ce contrôle si les deux répondent encore.

  1. Ouvrez l’URL en navigation privée, ou avec curl -sI https://exemple.fr/robots.txt puis curl -s pour le corps.
  2. Le code attendu est 200 et le corps est du texte. Un 301 vers le bon hôte est acceptable si la cible finale est le fichier. Un 500, un HTML de pare-feu ou une page de connexion ne sont pas un robots.txt : Google peut alors ralentir ou arrêter l’exploration, selon la durée du défaut.
  3. Un 404 stable signifie « pas de règles ». Ce n’est pas une erreur en soi : tout le site reste explorable. Un 404 intermittent, en revanche, est un problème de disponibilité.
  4. Comparez ce texte à l’aperçu du plugin. S’ils diffèrent, le plugin n’écrit pas au bon endroit, ou un cache (CDN, Nginx) sert l’ancienne version.

Notez la présence ou l’absence d’une ligne Sitemap:. Elle ne soumet pas le fichier à elle seule. La soumission est décrite dans soumettre un sitemap. Si le robots.txt interdit l’URL du sitemap, Search Console ne pourra pas le récupérer.

Ce que Search Console montre aujourd’hui

Le testeur historique, celui où l’on collait une URL pour voir la règle gagnante, a été retiré. À sa place :

  • Rapport robots.txt (depuis les paramètres de la propriété) : jusqu’aux principaux hôtes, date de dernière lecture, avertissements de syntaxe. Il ne dit pas si /panier est bloqué. Vous pouvez y demander une nouvelle lecture en urgence quand le fichier public a été corrigé et que Google sert encore l’ancien.
  • Inspection d’URL, puis Tester l’URL en direct. La ligne « Exploration autorisée ? » répond oui ou non pour cette URL, d’après la copie utilisée par Google. « Indexation autorisée ? » est une autre ligne : elle parle de noindex, pas de Disallow.

Pour une règle pas encore en production, l’inspection ne sert pas : elle lit le fichier déjà publié. Il faut un testeur qui applique le même analyseur que Google (la bibliothèque ouverte google/robotstxt, ou un outil qui s’en sert) sur le texte que vous vous apprêtez à envoyer.

Google met le robots.txt en cache. Un correctif visible dans le navigateur peut rester ignoré tant que cette copie n’a pas été relue. Le rapport donne la date de dernière exploration : c’est elle qu’il faut comparer à votre mise en ligne.

L’écart entre Disallow et noindex

C’est la confusion qui coûte le plus cher au moment d’une vérification.

BesoinMoyenCe que la vérification doit montrer
Ne plus explorer un espace sans fin (tri, recherche interne, facettes)Disallow sur ce préfixeInspection : exploration non autorisée. L’URL peut rester connue.
Retirer une page de l’indexnoindex dans une page que Google a le droit d’explorerInspection : exploration autorisée, indexation non autorisée. Voir catégories en noindex.
Les deux à la fois sur la même URLImpossible dans la pratiqueSi Disallow bloque, Google ne voit pas le noindex. La page peut rester indexée.

La vérification minimale après une mise en production : ouvrir le robots.txt réel, inspecter une URL qui doit rester explorée (accueil, fiche), et inspecter une URL qui doit être bloquée (recherche interne, tunnel s’il est interdit). Les deux réponses « Exploration autorisée ? » doivent être opposées. Si elles sont identiques, la règle ne porte pas sur le chemin que vous croyez, ou Google lit encore l’ancien fichier.

Questions fréquentes

Le testeur robots.txt de Search Console existe-t-il encore ?

Non. Google l’a retiré fin 2023. Le rapport robots.txt montre le fichier récupéré et les erreurs d’analyse. Pour savoir si une URL est bloquée, il faut l’inspection d’URL, test en direct.

Un Disallow retire-t-il la page de l’index ?

Non. Il empêche l’exploration. Une URL déjà connue peut rester indexée, souvent sans extrait. Pour la sortir de l’index, il faut que Google puisse la lire et y voir un noindex, ou utiliser l’outil de suppression temporaire.

Pourquoi le fichier du plugin n’est-il pas celui de Google ?

Google télécharge https://votredomaine/robots.txt. Un aperçu dans l’administration, un robots.txt dans un sous-dossier, ou un cache CDN ancien ne comptent pas tant que l’URL racine n’a pas changé.

Surveiller mes URL