Sur une boutique, Google n’explore pas chaque URL que le catalogue peut générer. Le budget de crawl est le volume de pages que Googlebot accepte de télécharger sur votre hôte, limité par la santé du serveur et par l’intérêt qu’il porte aux URL. Filtres combinés, tris et recherche interne consomment ce volume avant les fiches. Le travail utile consiste à laisser en 200, dans le sitemap et dans les liens, les fiches et les catégories, et à cesser de proposer les combinaisons au crawl.
Ce qui consomme l’exploration
Cinq filtres de dix valeurs, tous combinables et tous liés par des href, produisent 100 000 URL avant même le tri par prix. Le catalogue, lui, peut n’en compter que quelques milliers. Googlebot répartit ses requêtes entre ces familles. Les fiches peu liées passent derrière.
Deux limites jouent ensemble. Le débit baisse si le serveur répond lentement ou en erreur : Google espace les visites. La demande baisse si les URL se ressemblent, répondent peu, ou ne sont pas liées depuis des pages déjà connues. Ajouter des fiches au sitemap sans retirer les facettes ne déplace presque pas cette répartition.
Le noindex ne libère pas le débit : la page est quand même téléchargée pour que la balise soit lue. Bloquer dans robots.txt évite le téléchargement, mais n’enlève pas une URL déjà indexée. L’ordre propre est : arrêter les liens crawlables, laisser retomber l’index, puis bloquer le motif s’il n’a aucune valeur de recherche.
Lire les statistiques, pas seulement le sitemap
Dans Search Console, Paramètres > Statistiques sur l’exploration montre le nombre de requêtes, les codes de réponse, le type de fichier et le motif (actualisation ou découverte). Repérez une part élevée de 404, de redirections, ou d’URL à paramètres.
Le rapport Indexation > Pages complète : Explorée, actuellement non indexée veut dire que le téléchargement a eu lieu pour rien ; Détectée, actuellement non indexée veut dire que l’URL est connue et encore en attente. Croisez avec le sitemap : les fiches déclarées doivent former le gros des URL que vous souhaitez voir explorées. Le cadre général est rappelé dans Budget de crawl : définition.
Décider famille par famille
| Famille d’URL | Décision |
|---|---|
| Fiche produit en stock | 200, lien depuis la catégorie, présente dans le sitemap |
| Produit retiré définitivement | 301 vers la catégorie la plus proche |
| Catégorie et marque avec texte propre | 200, indexable, canonique auto-référente |
| Un filtre à forte demande (une marque) | Indexable seulement si la page a un contenu distinct de la catégorie |
| Combinaison de plusieurs filtres | Plus de href crawlable ; canonique vers la catégorie non filtrée |
Tri (?order=prix) | Canonique vers l’URL sans tri |
| Recherche interne | Disallow dans le robots.txt |
| Pagination de catégorie | Liens réels, canonique vers elle-même, pas de noindex systématique |
Les facettes qui restent indexables sont l’exception, pas le réglage par défaut. Le cas des combinaisons est détaillé dans Budget de crawl et facettes.
Couper les combinaisons sans casser les fiches
- Exportez un échantillon d’URL explorées (logs du serveur, ou les exemples des statistiques de crawl) et groupez-les par motif : fiche, catégorie, filtre, tri, recherche, pagination.
- Comparez au sitemap. Si les paramètres pèsent plus que les fiches, le sitemap ne compense pas.
- Sur les listes, remplacez les liens de combinaison par des contrôles qui ne créent pas d’URL à suivre, ou n’émettez le
hrefque pour le premier filtre utile. - Posez une canonique vers la catégorie non filtrée sur les URL à paramètres qui doivent continuer d’exister pour les utilisateurs.
- Retirez ces URL du sitemap. Ne bloquez pas CSS et JavaScript dans le robots.txt : Google en a besoin pour afficher la fiche.
- Quand les combinaisons ont quitté l’index, un
Disallowdu motif de recherche interne (et seulement de celui-là) évite qu’elles reviennent par un lien oublié. - Recontrôlez les statistiques quelques semaines plus tard. Le rapport n’est pas instantané.
Laissez explorables les fiches, les catégories, les pages marque au texte distinct, et la pagination qui mène à ces fiches. Un produit en rupture temporaire reste en 200 avec son état de stock : le retirer trop tôt supprime une URL qui a encore des liens et des requêtes.
