Retour au blog SEO Technique - 5 min

meta robots et X-Robots-Tag : lequel Google applique

La balise meta robots vaut pour le HTML. L’en-tête X-Robots-Tag vaut pour tout fichier. En cas de conflit, la directive la plus restrictive l’emporte.

meta robots et X-Robots-Tag portent les mêmes ordres : noindex, nofollow, none, noarchive, nosnippet, max-snippet, max-image-preview, unavailable_after. Ils ne se placent pas au même endroit. La balise vit dans le HTML. L’en-tête vit dans la réponse HTTP, et il s’applique aussi aux fichiers qui ne sont pas des pages HTML. Quand les deux parlent en même temps, Google ne choisit pas « le dernier lu » : il retient la directive la plus restrictive.

Le détail des valeurs noindex et nofollow sur une page HTML est dans meta robots noindex. Ici, la question est de savoir quel mécanisme utiliser, et lequel gagne en cas de désaccord.

Deux emplacements

La balise se met dans le head :

meta name="robots" content="noindex, follow"

Elle ne concerne que ce document HTML. Google doit télécharger la page pour la lire. Une balise collée dans le body, ou ajoutée seulement après un script alors que le HTML initial ne l’a pas, est fragile : la première exploration peut ne pas la voir. Mettez-la dans le HTML servi par le serveur si la page doit rester dehors.

L’en-tête se met sur la réponse HTTP :

X-Robots-Tag: noindex, follow

Il est lu au moment du téléchargement, avant le HTML. C’est le bon outil pour un PDF, une image que vous ne voulez pas dans la recherche d’images, un fichier tableur, ou une route qui ne renvoie pas de head. On peut le limiter à un robot : X-Robots-Tag: googlebot: noindex. Sans nom de robot, il vaut pour tous.

Balise meta robotsEn-tête X-Robots-Tag
Oùhead HTMLRéponse HTTP
FichiersPages HTMLHTML, PDF, images, autres
ConflitLa plus restrictive gagneLa plus restrictive gagne
Si robots.txt bloqueNi l’une ni l’autre n’est lueNi l’une ni l’autre n’est lue

Plusieurs balises, ou une balise plus un en-tête, se cumulent. index, follow d’un côté et noindex de l’autre donnent noindex. nofollow d’un côté s’applique même si l’autre côté ne le répète pas. Il n’y a pas de priorité de la balise sur l’en-tête, ni l’inverse. Un plugin qui écrit index, follow dans le HTML ne corrige pas un noindex posé par l’hébergeur dans les en-têtes. Il faut retirer l’en-tête, pas ajouter une balise plus « positive ».

Lequel poser

Page HTML à sortir de l’index : une balise dans le head suffit, si aucun en-tête ne dit autre chose. Vérifiez les deux. Beaucoup de noindex oubliés viennent d’un plugin, d’une préproduction, ou d’une règle serveur, pas du modèle que vous avez sous les yeux.

PDF ou image : l’en-tête, parce que ces fichiers n’ont pas de balise head que Google utilisera comme pour une page. Une page HTML qui lien vers le PDF ne transmet pas son propre noindex au fichier.

Préproduction : noindex par en-tête sur tout le nom d’hôte est plus difficile à oublier qu’une balise dans un modèle. Le jour de la bascule, cet en-tête ne doit pas suivre sur la production. Contrôlez une URL de production après mise en ligne : code 200, pas de noindex ni dans le HTML ni dans les en-têtes.

noindex n’est pas une consigne du robots.txt. Interdire l’URL dans le fichier empêche Google de voir la consigne, et l’URL peut rester listée sans extrait. Pour qu’un noindex agisse, l’exploration doit être permise. Les confusions fréquentes sont reprises dans les pièges du robots.txt.

Vérifier ce que Google peut voir

  1. Ouvrez la page et affichez le code source : la balise est dans le head, pas seulement dans l’inspecteur après exécution des scripts.
  2. Regardez les en-têtes de la même URL (outil réseau du navigateur, ou une requête qui affiche les en-têtes). Cherchez X-Robots-Tag.
  3. Si les deux existent, appliquez la règle la plus restrictive vous-même : c’est celle que Google appliquera. Alignez-les pour ne plus dépendre du cumul.
  4. Inspectez l’URL dans Search Console. L’état « exclue par noindex » confirme que la consigne a été vue. S’il indique un blocage robots.txt, la consigne n’a pas été lue.
  5. Repérez les pages indexées alors qu’elles devraient être dehors, ou l’inverse, avec une méthode de contrôle comme détecter une page noindex.

Après un changement, laissez Google réexplorer. Retirer un noindex ne réindexe pas la page dans la minute : la consigne précédente reste valide jusqu’à la prochaine lecture. Demander l’indexation n’efface pas un en-tête encore présent.

Questions fréquentes

Que se passe-t-il si la balise dit index et l’en-tête noindex ?

Google combine les directives et retient la plus restrictive. noindex l’emporte sur index. La page peut sortir de l’index même si la balise HTML semblait l’autoriser.

Où placer la balise meta robots ?

Dans le head du document HTML. Une balise meta robots dans le body n’est pas prise en compte. Pour un PDF, une image ou un fichier qui n’a pas de head, il faut l’en-tête HTTP X-Robots-Tag.

Le robots.txt peut-il remplacer un noindex ?

Non. S’il interdit l’exploration, Google ne télécharge pas la page et ne voit ni la balise ni l’en-tête. L’URL peut rester connue. Pour appliquer noindex, la page doit pouvoir être explorée.

Surveiller mes URL