Retour au blog SEO Technique - 7 min

Erreurs d’exploration Googlebot : les identifier et les corriger

Les erreurs d’exploration se lisent dans le rapport d’indexation. Corrigez le code, robots.txt ou la redirection, puis faites réexaminer l’URL.

Une erreur d’exploration, c’est une URL que Googlebot n’a pas pu lire comme une page indexable. Le rapport historique « Erreurs d’exploration » n’est plus le point d’entrée. Aujourd’hui, Search Console range ces URL dans l’indexation des pages (erreur de serveur, introuvable, soft 404, bloquée par robots.txt, erreur de redirection) et montre la cadence dans les statistiques d’exploration. Le travail consiste à ouvrir un exemple, reproduire le code, corriger la cause, puis demander un nouvel examen.

Bloquer une URL dans robots.txt n’est pas une panne si le blocage est voulu. Le corriger « pour faire plaisir au rapport » réouvre une page que vous aviez choisi de cacher.

Lire la bonne ligne du rapport

Motif dans l’indexationCe que Googlebot a vuPiste utile
Erreur de serveur (5xx)Un 500, 502, 503 ou 504Journal à l’heure du crawl, pas une moyenne de la journée
Introuvable (404)La page n’existe pasLa rétablir ou poser une redirection 301 vers le remplaçant
Soft 404Un 200 au contenu d’erreur ou presque videRenvoyer un vrai 404, ou remettre le contenu
Bloquée par robots.txtLe robot n’a pas le droit de lireAssumer le blocage, ou corriger la règle si elle est trop large
Erreur de redirectionBoucle, chaîne trop longue, redirection vers une erreurRaccourcir la chaîne, viser une URL en 200
Bloquée pour un autre 4xx401, 403, 429Retirer la protection ou la limite qui vise le robot

Les statistiques d’exploration complètent le tableau : une hausse des 5xx s’accompagne en général d’une baisse du nombre de pages lues. Google ralentit le crawl quand le site répond mal. Une maintenance se signale alors en 503 avec Retry-After, pas en laissant des 500 pendant des heures.

Reproduire une URL du rapport

  1. Dans l’indexation, ouvrez le motif et copiez une URL d’exemple. Ne corrigez pas « le site » en bloc.
  2. Inspectez l’URL dans Search Console et regardez la réponse que Google a obtenue.
  3. Rejouez la même URL en extérieur, sans cookie d’administration, avec un test d’URL. Un 200 vu seulement parce que vous êtes connecté ne contredit pas le rapport.
  4. Lisez robots.txt si le motif parle d’un blocage. Vérifiez que la règle ne couvre pas les fiches ou les catégories par un joker trop large.
  5. Si le motif est une redirection, suivez chaque saut. Une chaîne qui finit en 404 reste une erreur d’exploration. Le choix entre redirection 301 et 302 compte : un 302 durable sur une fiche définitive n’est pas le signal d’un déplacement permanent.
  6. Corrigez cette URL, retestez, puis utilisez l’inspection pour demander une indexation. La validation du rapport vient après, quand le correctif tient.

Un pic de 404 au lendemain d’une migration est presque toujours une table de correspondance incomplète, pas un caprice de Googlebot.

Ce qu’il ne faut pas faire

Ne marquez pas des milliers d’URL comme corrigées avant d’en avoir rejoué un échantillon. Ne bloquez pas Googlebot dans robots.txt pour faire disparaître des 5xx : le robot n’explorera plus, et les pages déjà connues peuvent sortir de l’index sans que la panne soit réglée. Ne répondez pas 200 sur une page vide pour éviter le 404. N’envoyez pas le robot vers l’accueil pour chaque produit supprimé.

Distinguez aussi un robot qui se présente comme Googlebot d’un robot vérifié. Le vrai Googlebot se contrôle par DNS inverse vers un nom Google, puis résolution de ce nom. Un 403 posé après coup sur tout ce qui contient « Googlebot » dans l’en-tête user-agent bloque parfois le vrai robot et laisse passer l’imitateur.

Quand les exemples du rapport répondent le bon code, surveillez-les comme le reste des URL utiles. La méthode pour tester si un site répond vraiment évite de découvrir la prochaine erreur d’exploration seulement dans Search Console, plusieurs jours après.

Questions fréquentes

Où est passé le rapport « Erreurs d’exploration » ?

Search Console ne le présente plus sous ce nom. Les URL en échec sont dans le rapport d’indexation des pages, et le volume de crawl est dans les statistiques d’exploration, sous Paramètres.

Un 404 sur une URL supprimée est-il une erreur à corriger ?

Seulement si l’URL doit encore exister ou pointer vers un remplaçant. Une page vraiment retirée peut rester en 404 ou passer en 410. Le problème est une 404 sur une URL encore liée.

Faut-il cliquer sur « Valider la correction » tout de suite ?

Seulement après qu’un test extérieur et l’inspection d’URL montrent le bon code. Valider avant le correctif relance un contrôle qui échouera encore.

Surveiller mes URL