Une erreur d’exploration, c’est une URL que Googlebot n’a pas pu lire comme une page indexable. Le rapport historique « Erreurs d’exploration » n’est plus le point d’entrée. Aujourd’hui, Search Console range ces URL dans l’indexation des pages (erreur de serveur, introuvable, soft 404, bloquée par robots.txt, erreur de redirection) et montre la cadence dans les statistiques d’exploration. Le travail consiste à ouvrir un exemple, reproduire le code, corriger la cause, puis demander un nouvel examen.
Bloquer une URL dans robots.txt n’est pas une panne si le blocage est voulu. Le corriger « pour faire plaisir au rapport » réouvre une page que vous aviez choisi de cacher.
Lire la bonne ligne du rapport
| Motif dans l’indexation | Ce que Googlebot a vu | Piste utile |
|---|---|---|
| Erreur de serveur (5xx) | Un 500, 502, 503 ou 504 | Journal à l’heure du crawl, pas une moyenne de la journée |
| Introuvable (404) | La page n’existe pas | La rétablir ou poser une redirection 301 vers le remplaçant |
| Soft 404 | Un 200 au contenu d’erreur ou presque vide | Renvoyer un vrai 404, ou remettre le contenu |
| Bloquée par robots.txt | Le robot n’a pas le droit de lire | Assumer le blocage, ou corriger la règle si elle est trop large |
| Erreur de redirection | Boucle, chaîne trop longue, redirection vers une erreur | Raccourcir la chaîne, viser une URL en 200 |
| Bloquée pour un autre 4xx | 401, 403, 429 | Retirer la protection ou la limite qui vise le robot |
Les statistiques d’exploration complètent le tableau : une hausse des 5xx s’accompagne en général d’une baisse du nombre de pages lues. Google ralentit le crawl quand le site répond mal. Une maintenance se signale alors en 503 avec Retry-After, pas en laissant des 500 pendant des heures.
Reproduire une URL du rapport
- Dans l’indexation, ouvrez le motif et copiez une URL d’exemple. Ne corrigez pas « le site » en bloc.
- Inspectez l’URL dans Search Console et regardez la réponse que Google a obtenue.
- Rejouez la même URL en extérieur, sans cookie d’administration, avec un test d’URL. Un 200 vu seulement parce que vous êtes connecté ne contredit pas le rapport.
- Lisez
robots.txtsi le motif parle d’un blocage. Vérifiez que la règle ne couvre pas les fiches ou les catégories par un joker trop large. - Si le motif est une redirection, suivez chaque saut. Une chaîne qui finit en 404 reste une erreur d’exploration. Le choix entre redirection 301 et 302 compte : un 302 durable sur une fiche définitive n’est pas le signal d’un déplacement permanent.
- Corrigez cette URL, retestez, puis utilisez l’inspection pour demander une indexation. La validation du rapport vient après, quand le correctif tient.
Un pic de 404 au lendemain d’une migration est presque toujours une table de correspondance incomplète, pas un caprice de Googlebot.
Ce qu’il ne faut pas faire
Ne marquez pas des milliers d’URL comme corrigées avant d’en avoir rejoué un échantillon. Ne bloquez pas Googlebot dans robots.txt pour faire disparaître des 5xx : le robot n’explorera plus, et les pages déjà connues peuvent sortir de l’index sans que la panne soit réglée. Ne répondez pas 200 sur une page vide pour éviter le 404. N’envoyez pas le robot vers l’accueil pour chaque produit supprimé.
Distinguez aussi un robot qui se présente comme Googlebot d’un robot vérifié. Le vrai Googlebot se contrôle par DNS inverse vers un nom Google, puis résolution de ce nom. Un 403 posé après coup sur tout ce qui contient « Googlebot » dans l’en-tête user-agent bloque parfois le vrai robot et laisse passer l’imitateur.
Quand les exemples du rapport répondent le bon code, surveillez-les comme le reste des URL utiles. La méthode pour tester si un site répond vraiment évite de découvrir la prochaine erreur d’exploration seulement dans Search Console, plusieurs jours après.
