Retour au blog SEO Technique - 6 min

Budget de crawl : définition et ce qui le gaspille

Le budget de crawl est la capacité d’exploration de Google sur votre site. Définition, statistiques Search Console, et gaspillages concrets.

Le budget de crawl n’est pas un forfait d’URL écrit dans un contrat. C’est la quantité de pages que Googlebot choisit d’explorer sur un site pendant un temps donné. Deux choses le limitent : la capacité (le serveur répond-il vite et sans erreur ?) et la demande (ces URL méritent-elles d’être relues ?). Sur un petit site sain, la demande est couverte. Le sujet devient réel quand des milliers d’URL faibles absorbent les visites du robot.

Lire les statistiques, pas une légende

Dans Search Console, ouvrez Paramètres, puis les statistiques d’exploration. Le rapport montre, sur les derniers mois :

  • le nombre de requêtes d’exploration par jour ;
  • le temps de réponse moyen ;
  • la part de réponses en erreur ou en redirection ;
  • les principaux types de fichiers demandés.

Une chute d’exploration le jour où le temps de réponse a doublé se lit comme un problème de capacité. Google ralentit quand l’hôte répond mal, y compris sur des 503 répétés ou des délais longs. Une exploration stable avec des milliers d’URL de filtres se lit comme un problème de demande : le robot passe son temps sur des pages que vous ne voulez pas dans l’index.

Il n’y a pas de chiffre universel à « atteindre ». On compare le site à lui-même : quelles URL reviennent dans les exemples de requêtes, et est-ce que les fiches importantes y figurent.

Ce qui consomme l’exploration pour rien

  • Facettes et tris qui créent une URL par combinaison. Le cas boutique est détaillé dans budget de crawl et facettes.
  • Recherche interne indexable (?s=), calendriers infinis, identifiants de session dans l’URL.
  • Chaînes de redirections et allers-retours http / https. Chaque saut est une requête.
  • Pages d’erreur qui répondent 200 (soft 404) : le robot les traite comme du contenu.
  • Sitemap qui liste des URL non canoniques, redirigées ou en erreur. Le robot les redemande parce que vous les lui avez désignées. La soumission propre est dans soumettre un sitemap.
  • Temps de réponse élevé sur les HTML, parfois parce qu’une page déclenche trop de travail serveur avant d’envoyer le premier octet. Le robot ralentit alors sur tout l’hôte, pas seulement sur cette URL.

Agir sur la capacité, puis sur la demande

D’abord le serveur. Un hôte qui répond en erreur une partie de la journée voit son exploration baisser. Corrigez les 5xx et les délais avant d’ajouter des règles.

Ensuite, dites quelles URL ne sont pas des pages :

  1. Espace vraiment sans fin (tri, filtres combinés, recherche) : Disallow dans le robots.txt, pour ne pas le faire explorer. La vérification du fichier servi est dans vérifier le robots.txt.
  2. Page déjà indexée que vous voulez retirer : pas de Disallow. Laissez-la explorable et mettez noindex, ou une canonique vers la page qui doit rester. Google doit télécharger la page pour voir la consigne.
  3. Doublon assumé : canonical cohérente, liens internes vers l’URL choisie, sitemap limité à cette URL.

L’ancien outil « paramètres d’URL » de Search Console n’est plus le levier à configurer. Les consignes dans le site (robots, canonical, sitemap, liens) font le travail.

Revoyez les statistiques quelques semaines après. Le succès n’est pas une courbe qui monte : c’est une exploration qui tombe davantage sur les pages canoniques, avec un temps de réponse stable et peu d’erreurs.

Ouvrez quelques exemples de requêtes du rapport. Si vous y voyez encore des URL de tri, de recherche interne ou de préproduction, la règle n’est pas au bon endroit : robots.txt d’un autre hôte, sitemap qui redemande ces URL, ou liens internes encore suivables. Corrigez cette source, puis attendez le cycle suivant avant d’empiler une nouvelle interdiction.

Questions fréquentes

Tous les sites ont-ils un problème de budget de crawl ?

Non. Google indique que le sujet concerne surtout les grands sites et ceux qui génèrent beaucoup d’URL de faible valeur. Un site de quelques dizaines de pages bien liées n’a en général pas à « optimiser son budget » avant de corriger le contenu.

Où voit-on l’exploration réelle ?

Dans Search Console : Paramètres, puis statistiques d’exploration. On y lit le nombre de pages explorées par jour, le temps de réponse et le statut de l’hôte. Il n’existe pas un quota public du type « 500 pages par jour » valable pour tous les sites.

Disallow augmente-t-il le budget disponible pour les bonnes pages ?

Il évite de faire explorer un espace sans fin. Il ne retire pas de l’index une URL déjà connue : pour cela, Google doit pouvoir la lire et y trouver un noindex. Bloquer la page l’empêche de voir cette consigne.

Surveiller mes URL