Robot TXT ne passe plus sur mon site
... / Robot TXT ne passe plus s...
BMPCreated with Sketch.BMPZIPCreated with Sketch.ZIPXLSCreated with Sketch.XLSTXTCreated with Sketch.TXTPPTCreated with Sketch.PPTPNGCreated with Sketch.PNGPDFCreated with Sketch.PDFJPGCreated with Sketch.JPGGIFCreated with Sketch.GIFDOCCreated with Sketch.DOC Error Created with Sketch.
Question

Robot TXT ne passe plus sur mon site

by
YannG11
Created on 2025-02-26 08:39:37 in Optimisations de sites web

Bonjour

J'ai un blog d'actualité ou j'ai plus de 20 000 articles rédigés depuis 2018 & depuis le 6 février 2025 le robot txt de google ne passe plus après quelques erreurs serveur d'après ma console (voir screen).

J'ai déjà fait vérifier mon htaccess, désactivé les plugins sauf yoast qui génère mon sitemap et a part changer d'hebergeur ou attendre un miracle je ne vois pas trop quoi modifier, ayant déjà passé plusieurs dizaines d'heure sur le problème.

Lorsque je souhaite indexé manuellement un article, google me dit qu'il va s'en occuper mais ca n'arrive jamais, j'ai pas d'erreur particulière détectée. Pour OVH tout va bien niveau serveur & aucune aide supplémentaire de leur côté.

J'ai l'impression qu'après les problèmes qu'il a rencontré, le robot ne souhaite simplement plus passer. Si quelqu'un a déjà eu ce soucis ? Merci !

3 Attachments

4 Replies ( Latest reply on 2025-03-03 13:54:46 by
Vincent Padron
)

Je vous rajoute quelques pieces jointes.

  • tout le site erreur.jpg 43.3K
  • baisse.jpg 39.54K

Bonjour @YannG11

Dans un premier temps, n'hésitez pas à consulter la doc Google à ce sujet : https://support.google.com/admob/answer/10956049?hl=fr

Si vous utilisez une offre d'hébergement mutualisée, il serait intéressant de consulter les logs de cette offre afin de vérifier si des requêtes de robots Google sont bloquées. 

Pour accéder aux logs de votre hébergement, pour cela voici la démarche à suivre : 

• Cliquez sur votre hébergement, sous la section "Hébergements",
• Rendez-vous dans l'onglet"Statistiques et logs" puis cliquez sur "voir les logs".

Pour plus d'infos sur les logs des hébergements : https://docs.ovh.com/fr/hosting/mutualise-consulter-les-statistiques-et-les-logs-de-mon-site/

Bonne journée ;)

Bonjour,

Je rencontre un problème similaire sur mon hébergement (eu-west-gra - cluster023) depuis le 15 février 2025.

Google et bing ne parviennent plus à atteindre la page d'accueil alors que la réponse est ok depuis n'importe quelle autre source (navigateur, vpn, testeur externe). Il est impossible de valider le site pour Bing (fichier BingSiteAuth.xml inaccessible) et Google considère qu'un problème affecte tout le site.

Après avoir examiné les logs du serveur, je constate la disparition de "Googlebot/2.1" depuis le 15/02/2025. Les jours suivants, sa seule action est de tenter de télécharger le robots.txt pour lequel il a une réponse 200 (ok), mais pour autant considère qu'il n'y a pas accès.

"66.249.66.39 www.placesducafe.com - [26/Feb/2025:07:57:01 +0100] "GET /robots.txt HTTP/1.1" 200 24 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)""

Naturellement, le robots.txt ne contient rien de suspicieux ou de bloquant pour les bots Google / Bing.

J'ai effectué des audits sur des outils SEO externes qui ne révèlent aucun problème particulier d'accessibilité pour le site ou le robots.txt comme mentionné par les webmaster tools de Google.

Il semblerait que certains mutualisés OVH aient un blocage activé sur certains crawlers pourtant indispensables. 

Hmmm il y a une coincidence.

Des utilisateurs ont remonté que leur favicon est devenu le logo d'OVH.

Je soupçonne que OVH ait de nouveau fait quelque chose au niveau des frontaux. On se rappelle du hack qui renvoie une erreur 302 lorsque le user-agent n'est pas présenté ?

Une réponse autorisée d'OVH serait souhaitable.

Est-ce qu'une personne souffrant de ce dysfonctionnement peut faire un ticket incident, éventuellement en faisant référence à ma réponse ?

Et puis bien sûr remonter un feedback ici :)

 

 

Voici un petit élément supplémentaire attestant du blocage.

Le support a été d'une grande aide en me redirigeant vers un webmaster pour résoudre le problème puisqu'il s'agissait de SEO Google.

Chose étonnante, le problème ci-joint a été résolu suite au ticket. Comme souvent, ce n'est pas leur faute, mais le problème datant de 15 jours est subitement résolu... le mystère reste entier.

  • botBanned.jpg 120.39K

Bonjour,

j'ai le même soucis avec mon site https://www.xbox-gamer.net

Mon robots.txt ce matin n'était pas trouvable et pourtant bien accessible via la barre d'adresse. Depuis, search console de google a réussi à le retrouver.

En revanche, mon sitemap est toujours impossible à la lire pour google. Et depuis effectivement le 15 février (pour ma part depuis le 18 février, je n'ai plus aucun articles indéxé sur google.) Très probablématique de voir que plus aucun articles n'est sur google actualité non plus.

Avez-vous trouver d'autres infos ?

Merci à vous de vos retours.