Le budget de crawl n’est pas un forfait d’URL écrit dans un contrat. C’est la quantité de pages que Googlebot choisit d’explorer sur un site pendant un temps donné. Deux choses le limitent : la capacité (le serveur répond-il vite et sans erreur ?) et la demande (ces URL méritent-elles d’être relues ?). Sur un petit site sain, la demande est couverte. Le sujet devient réel quand des milliers d’URL faibles absorbent les visites du robot.
Lire les statistiques, pas une légende
Dans Search Console, ouvrez Paramètres, puis les statistiques d’exploration. Le rapport montre, sur les derniers mois :
- le nombre de requêtes d’exploration par jour ;
- le temps de réponse moyen ;
- la part de réponses en erreur ou en redirection ;
- les principaux types de fichiers demandés.
Une chute d’exploration le jour où le temps de réponse a doublé se lit comme un problème de capacité. Google ralentit quand l’hôte répond mal, y compris sur des 503 répétés ou des délais longs. Une exploration stable avec des milliers d’URL de filtres se lit comme un problème de demande : le robot passe son temps sur des pages que vous ne voulez pas dans l’index.
Il n’y a pas de chiffre universel à « atteindre ». On compare le site à lui-même : quelles URL reviennent dans les exemples de requêtes, et est-ce que les fiches importantes y figurent.
Ce qui consomme l’exploration pour rien
- Facettes et tris qui créent une URL par combinaison. Le cas boutique est détaillé dans budget de crawl et facettes.
- Recherche interne indexable (
?s=), calendriers infinis, identifiants de session dans l’URL. - Chaînes de redirections et allers-retours
http/https. Chaque saut est une requête. - Pages d’erreur qui répondent 200 (soft 404) : le robot les traite comme du contenu.
- Sitemap qui liste des URL non canoniques, redirigées ou en erreur. Le robot les redemande parce que vous les lui avez désignées. La soumission propre est dans soumettre un sitemap.
- Temps de réponse élevé sur les HTML, parfois parce qu’une page déclenche trop de travail serveur avant d’envoyer le premier octet. Le robot ralentit alors sur tout l’hôte, pas seulement sur cette URL.
Agir sur la capacité, puis sur la demande
D’abord le serveur. Un hôte qui répond en erreur une partie de la journée voit son exploration baisser. Corrigez les 5xx et les délais avant d’ajouter des règles.
Ensuite, dites quelles URL ne sont pas des pages :
- Espace vraiment sans fin (tri, filtres combinés, recherche) :
Disallowdans le robots.txt, pour ne pas le faire explorer. La vérification du fichier servi est dans vérifier le robots.txt. - Page déjà indexée que vous voulez retirer : pas de
Disallow. Laissez-la explorable et metteznoindex, ou une canonique vers la page qui doit rester. Google doit télécharger la page pour voir la consigne. - Doublon assumé : canonical cohérente, liens internes vers l’URL choisie, sitemap limité à cette URL.
L’ancien outil « paramètres d’URL » de Search Console n’est plus le levier à configurer. Les consignes dans le site (robots, canonical, sitemap, liens) font le travail.
Revoyez les statistiques quelques semaines après. Le succès n’est pas une courbe qui monte : c’est une exploration qui tombe davantage sur les pages canoniques, avec un temps de réponse stable et peu d’erreurs.
Ouvrez quelques exemples de requêtes du rapport. Si vous y voyez encore des URL de tri, de recherche interne ou de préproduction, la règle n’est pas au bon endroit : robots.txt d’un autre hôte, sitemap qui redemande ces URL, ou liens internes encore suivables. Corrigez cette source, puis attendez le cycle suivant avant d’empiler une nouvelle interdiction.
