En-tête X-Robots-Tag: noindex injecté sur robots.txt — indexation bloquée

system · Mars 27, 2025, 6:56

Bonjour,

Google Search Console indique que le fichier https://byanneceline.com/robots.txt retourne l'en-tête HTTP suivant :
X-Robots-Tag: noindex

Cela empêche Google d’indexer ce fichier, alors que je souhaite qu’il le fasse.

J’ai tenté de supprimer cette directive via le fichier .htaccess avec :

<Files "robots.txt">
Header unset X-Robots-Tag
</Files>

Mais cela ne fonctionne pas, probablement parce que la directive est injectée au niveau serveur.

Pouvez-vous me confirmer si cette directive est ajoutée automatiquement par OVH, et dans ce cas, la désactiver ?

Merci beaucoup,

fritz2cat · Mars 28, 2025, 8:49

Bonjour,

Votre robots.txt est géré par le plugin Yoast et n'inderdit aucun crawler:

# START YOAST BLOCK
# ---------------------------
User-agent: *
Disallow:

Sitemap: https://byanneceline.com/sitemap_index.xml
# ---------------------------
# END YOAST BLOCK

Gaston · Mars 28, 2025, 8:58

Bonjour @Byanneceline

Votre fichier .htaccess contient-il la ligne :

Options -Indexes

system · Mars 28, 2025, 12:18

Merci pour votre retour !
Effectivement, le contenu du fichier robots.txt est correct et généré par Yoast.
Le problème vient de l’en-tête HTTP envoyé par le serveur OVH :

X-Robots-Tag: noindex

C’est cette directive qui empêche Google d’indexer le fichier, même s’il est accessible.

J’ai tenté de la supprimer via .htaccess, mais cela n’a aucun effet.
Elle semble injectée côté serveur, j'ai fait une demande auprès du support OVH mais ils ne me répondent pas.

Du coup, je me suis tournée vers la communauté

system · Mars 28, 2025, 1:51

Merci pour votre retour !
Effectivement, le contenu du fichier robots.txt est correct et généré par Yoast.
Le problème vient de l’en-tête HTTP envoyé par le serveur OVH :

X-Robots-Tag: noindex

C’est cette directive qui empêche Google d’indexer le fichier, même s’il est accessible.

J’ai tenté de la supprimer via .htaccess, mais cela n’a aucun effet.
Elle semble injectée côté serveur, d’où ma demande auprès du support OVH mais qui ne m'a pas répondu. Du coup je me suis tournée vers la Communauté.

fritz2cat · Mars 28, 2025, 2:02

Bonjour,

Je n'ai rien de tel dans la réponse du serveur OVH:

HTTP/1.1 200 OK
Date: Fri, 28 Mar 2025 14:01:43 GMT
Content-Type: text/html; charset=UTF-8
Transfer-Encoding: chunked
Connection: keep-alive
Server: OVHcloud
X-Powered-By: PHP/8.3
Link: <https://byanneceline.com/wp-json/>; rel="https://api.w.org/"
Link: <https://byanneceline.com/wp-json/wp/v2/pages/11>; rel="alternate"; title="JSON"; type="application/json"
Link: <https://byanneceline.com/>; rel=shortlink
Accept-Ranges: none
Vary: Accept-Encoding

TTY · Mars 28, 2025, 4:59

La réponse du serveur renvoie bien un :

x-robots-tag noindex, follow

Mais je ne vois pas vraiment le problème. Les robots.txt n'ont pas vocation à être indexé.
Gogole et les autres prennent quand même les instructions qui sont dedans.

fritz2cat · Mars 28, 2025, 5:05

@TTY ti m'intrigues, là.

Aussi bien Firefox (en http/2) que wget -d (en http/1.1) ne me montrent pas ce header:

fritz2cat · Mars 28, 2025, 5:06

s/ti/tu/

TTY · Mars 29, 2025, 6:34

Effectivement...
J'ai juste regardé la console FF et du coup j'ai test avec Chromium :