Retour au blog SEO Technique - 8 min

Budget de crawl e-commerce : protéger les fiches produits utiles

Sur une boutique, filtres et tris absorbent l’exploration. Lisez les statistiques de crawl et décidez quelles URL produits laisser à Google.

Sur une boutique, Google n’explore pas chaque URL que le catalogue peut générer. Le budget de crawl est le volume de pages que Googlebot accepte de télécharger sur votre hôte, limité par la santé du serveur et par l’intérêt qu’il porte aux URL. Filtres combinés, tris et recherche interne consomment ce volume avant les fiches. Le travail utile consiste à laisser en 200, dans le sitemap et dans les liens, les fiches et les catégories, et à cesser de proposer les combinaisons au crawl.

Ce qui consomme l’exploration

Cinq filtres de dix valeurs, tous combinables et tous liés par des href, produisent 100 000 URL avant même le tri par prix. Le catalogue, lui, peut n’en compter que quelques milliers. Googlebot répartit ses requêtes entre ces familles. Les fiches peu liées passent derrière.

Deux limites jouent ensemble. Le débit baisse si le serveur répond lentement ou en erreur : Google espace les visites. La demande baisse si les URL se ressemblent, répondent peu, ou ne sont pas liées depuis des pages déjà connues. Ajouter des fiches au sitemap sans retirer les facettes ne déplace presque pas cette répartition.

Le noindex ne libère pas le débit : la page est quand même téléchargée pour que la balise soit lue. Bloquer dans robots.txt évite le téléchargement, mais n’enlève pas une URL déjà indexée. L’ordre propre est : arrêter les liens crawlables, laisser retomber l’index, puis bloquer le motif s’il n’a aucune valeur de recherche.

Lire les statistiques, pas seulement le sitemap

Dans Search Console, Paramètres > Statistiques sur l’exploration montre le nombre de requêtes, les codes de réponse, le type de fichier et le motif (actualisation ou découverte). Repérez une part élevée de 404, de redirections, ou d’URL à paramètres.

Le rapport Indexation > Pages complète : Explorée, actuellement non indexée veut dire que le téléchargement a eu lieu pour rien ; Détectée, actuellement non indexée veut dire que l’URL est connue et encore en attente. Croisez avec le sitemap : les fiches déclarées doivent former le gros des URL que vous souhaitez voir explorées. Le cadre général est rappelé dans Budget de crawl : définition.

Décider famille par famille

Famille d’URLDécision
Fiche produit en stock200, lien depuis la catégorie, présente dans le sitemap
Produit retiré définitivement301 vers la catégorie la plus proche
Catégorie et marque avec texte propre200, indexable, canonique auto-référente
Un filtre à forte demande (une marque)Indexable seulement si la page a un contenu distinct de la catégorie
Combinaison de plusieurs filtresPlus de href crawlable ; canonique vers la catégorie non filtrée
Tri (?order=prix)Canonique vers l’URL sans tri
Recherche interneDisallow dans le robots.txt
Pagination de catégorieLiens réels, canonique vers elle-même, pas de noindex systématique

Les facettes qui restent indexables sont l’exception, pas le réglage par défaut. Le cas des combinaisons est détaillé dans Budget de crawl et facettes.

Couper les combinaisons sans casser les fiches

  1. Exportez un échantillon d’URL explorées (logs du serveur, ou les exemples des statistiques de crawl) et groupez-les par motif : fiche, catégorie, filtre, tri, recherche, pagination.
  2. Comparez au sitemap. Si les paramètres pèsent plus que les fiches, le sitemap ne compense pas.
  3. Sur les listes, remplacez les liens de combinaison par des contrôles qui ne créent pas d’URL à suivre, ou n’émettez le href que pour le premier filtre utile.
  4. Posez une canonique vers la catégorie non filtrée sur les URL à paramètres qui doivent continuer d’exister pour les utilisateurs.
  5. Retirez ces URL du sitemap. Ne bloquez pas CSS et JavaScript dans le robots.txt : Google en a besoin pour afficher la fiche.
  6. Quand les combinaisons ont quitté l’index, un Disallow du motif de recherche interne (et seulement de celui-là) évite qu’elles reviennent par un lien oublié.
  7. Recontrôlez les statistiques quelques semaines plus tard. Le rapport n’est pas instantané.

Laissez explorables les fiches, les catégories, les pages marque au texte distinct, et la pagination qui mène à ces fiches. Un produit en rupture temporaire reste en 200 avec son état de stock : le retirer trop tôt supprime une URL qui a encore des liens et des requêtes.

Questions fréquentes

Le noindex économise-t-il le budget de crawl ?

Non. Google doit télécharger la page pour lire la balise. Le robots.txt évite le téléchargement, mais une URL déjà indexée peut rester dans l’index tant qu’elle n’a pas été revue.

Faut-il mettre la pagination catégorie en noindex ?

Non par défaut. Les pages 2, 3, etc. portent des liens vers des fiches. Une canonique auto-référente et des liens réels suffisent. Le noindex sur toute la pagination retire ce maillage.

Les produits en rupture doivent-ils rester en 200 ?

S’ils peuvent revenir en stock, oui, avec un état clair. S’ils sont retirés du catalogue, une redirection 301 vers la catégorie la plus proche évite une série de 404.

Surveiller mes URL