Hébergements Web - Téléchargement automatique des logs brut ?!
BMPCreated with Sketch.BMPZIPCreated with Sketch.ZIPXLSCreated with Sketch.XLSTXTCreated with Sketch.TXTPPTCreated with Sketch.PPTPNGCreated with Sketch.PNGPDFCreated with Sketch.PDFJPGCreated with Sketch.JPGGIFCreated with Sketch.GIFDOCCreated with Sketch.DOC Error Created with Sketch.
Frage

Téléchargement automatique des logs brut ?!

Von
GuillaumeR31
Erstellungsdatum 2020-01-04 18:01:06 (edited on 2024-09-04 11:43:17) in Hébergements Web

Bonjour,

Chaque début d'année, j'ai l'habitude de récupérer les logs brut de mes différents hébergements mutualisés.

J'utilise en général le logiciel OpenSource HTTrack Website Copier depuis 10-15 ans et il faisait le boulot merveilleusement bien jusqu'à la migration des hébergements web en 2019.

J'ai bien noté que les chemins d'accès aux logs ont été modifiés (logs.ovh.net devenant logs.clusterxxx.hosting.ovh.net)

Malgré ceci, la modification de l'URL ne semble plus fonctionner...

J'ai lu plusieurs posts sur le sujet, visiblement je ne suis pas le seul mais je n'ai trouvé aucune solution.

Je me refuse à perdre des heures à faire toutes les récupérations manuellement. Par ailleurs, je n'ai ni le temps ni les compétences pour me lancer dans un éventuel script, même si celui-ci existé déjà probablement.

Bref, auriez-vous une petite astuce, soit pour récupérer tous les fichiers en FTP, soit pour faire fonctionner un simple aspirateur web type HTTrack (ou autre) pour les logs OVH.

Cela fonctionnait et fonctionne encore parfaitement pour tout, sauf pour la récupération des logs brut OVH... :( :( :(

Par avance un grand merci,

Guillaume


11 Antworten ( Latest reply on 2025-05-23 08:21:09 Von
GuillaumeF
)

Bonjour,

Petite relance car le support OVH n'est pas en mesure d'apporter une réponse satisfaisante...

Avez-vous SVP une solution ?

Grand merci,


Par ailleurs, je n'ai ni le temps ni les compétences pour me lancer dans un éventuel script, même si celui-ci existé déjà probablement.

Je ne vois pas d'autre issue que ce moyen.

autant essayer avant de répondre...

----

je viens de tester avec HTTrack, ça fonctionne:

* avec un utilisateur spécifique pour les logs, créé dans le manager Ovh
* avec le *"nouveau"* chemin (logs.cluster0XY.hosting.ovh.net)
* **ATTENTION**, il y a un `robots.txt` qui interdit les robots, il faut dans les options de HTTrack indiquer _ne pas suivre robots.txt_

Merci pour vos réponses !

kyodev, je suis rassuré de voir que tu as réussi à faire la manip.

J'avais bien renseigné le nouveau chemin, de même que j'avais réglé le robots.txt.

Par contre, je n'avais pas créé un utilisateur spécifique pour les logs, je continuais à me loger avec mes xxx-ovh . Je ne vois pas bien où on créé cet utilisateur dans le manager. Je vais regarder dans les guides mais si tu as la réponse rapidement je suis preneur ! :)

Encore merci,

manager Ovh / hébergement / Plus+ / Stats & logs : {Créer un nouvel utilisateur]

Merci, j'ai trouvé au même moment. Ca fonctionne désormais parfaitement. J'ai retrouvé le même comportement que toutes les années précédentes.

Un IMMENSE MERCI à toi kyodev !!!

Du coup, je confirme qu'on peut toujours récupérer les logs automatiquement via un aspirateur de site type HTTrack. J'espère que des personnes tomberont sur ce topic car visiblement, pas mal de personnes étaient comme moi à ne plus réussir à récupérer leurs logs comme avant depuis la bascule des logs... :(

Le support n'a pas été en mesure de me répondre :( (dommage, le ticket est fermé sinon je l'aurais renvoyé ici)...

```text pour info, on peut donc les atteindre avec curl

```text
# logs janvier
curl -Ls -uuser:pass http://logs.cluster0XY.hosting.ovh.net/domaine/logs/logs-01-2020/ | grep -Eo '".*log.gz" '

# download
curl -LOs -uuser:pass http://logs.cluster0XY.hosting.ovh.net/domaine/logs/logs-01-2020/domaine-01-01-2020.log.gz
``` ```

Bonjour à tous,

De mon côté, je ne suis pas tombé sur ce topic à temps et j'ignorais qu'on pouvait créer un utilisateur dédié à la récupération des logs pour l'authentification HTTP.

Du coup, je me suis basé sur cet ancien https://forum.ovh.com/showthread.php/42966-T%C3%A9l%C3%A9charger-tous-les-logs-rapidement thread (charger-tous-les-logs-rapidement) et j'ai amélioré le script proposé sur pastebin.

Le résultat se trouve sur https://github.com/syjust/bashLib/blob/master/sbin/get-ovh-logs.sh github pour ceux qui sont intéressés ;)

En fait, vu que je n'arrivais pas à m'authentifier avec le compte "master" ovh en utilisant wget ou curl, je suis passé par le cookie incluant le "token" quand on s'identifie sur l'interface de logs d'OVH.

En espérant que ça puisse servir à quelqu'un ;) (l'avantage, c'est que ça évite de stocker des mots de passe dans des scripts , l'inconvénient, c'est qu'il faut s'identifier physiquement une fois pour extraire le cookie avec le token)

Bien à vous,
Sylvain.

Bonjour Sylvain !
Merci pour le script. Possible de nous indiquer où récupérer le cookie qui inclue le token ?

Bien à toi,
Vincent

Je ne sais pas si ce script marche toujours 2 ans après...

mais pour répondre, à l'époque :
1. je m'identifiais sur le https://www.ovh.com/manager manager OVH
2. j'utilisai un plugin chrome (cookie downloader) qui semble ne plus exister aujourd'hui... du coup, je ne sais pas trop comment faire à part copier ligne par ligne en ouvrant la console de developpeur dans l'onglet "Application" menu "Cookies" et construire le fichier cookie.txt manuellement :/

https://stackoverflow.com/questions/21919156/how-do-i-copy-cookies-from-chrome Voilà tout ce que j'ai trouvé comme solution sur stackoverflow... mais aucune ne donne simplement un fichier cookie.txt au bon format... il y'a également pléthore de plugins pour éditer ou copier les cookies, mais pour en avoir essayé 2 :

* https://chrome.google.com/webstore/detail/copy-cookies/jcbpglbplpblnagieibnemmkiamekcdg/related?hl=en copy cookie met un format JSON dans le presse papier
* https://chrome.google.com/webstore/detail/cookie-downloader/epldkbdhmpdcdgcolndopgkigelnmlmo?hl=en cookie downloader semble être payant et nécessiter une connexion via instagram (???) ...

Donc je ne saurait pas comment ré-extraire facilement un cookie aujourd'hui du coup :(

Sorry, bonne chance pour trouver une solution simple ;)

Bonjour à tous,

C'est un thread un peu vieux mais pour ceux que cela intéresse, sachez que nous travaillons actuellement avec les équipes techniques sur la migration de l'infrastructure de logs des hébergements mutualisés vers le produit OVHcloud LDP - Logs Data Platform - https://www.ovhcloud.com/fr/identity-security-operations/logs-data-platform/

Nous pourrons prochainement proposer ce type de feature.

Je vous invite à suivre notre roadmap sur Github pour plus d'information : https://github.com/ovh/hosting-domain-names-roadmap/issues/76

Je reste bien sur disponible au besoin.
Cdlt

GuiF