Publication extrèmement lente

J 'essai de publier mon site (actuellement sur mon NAS). Ce site contient énormément de petits fichiers (tuiles cartographiques).
En FTP la publication réalise environ 1% des données par jour à la vitesse faramineuse de 20 kb/s (comme au temps des modem analogique).
J'ai essayé d'emmener mon NAS source chez un ami qui a la fibre, ça ne change rien.
Comment faire pour ne pas attendre 3 mois?
Merci de votre aide.

Utilisez sftp.

Attention, le FTP server d'OVH limite les listes de fichiers à 5000 fichiers par répertoire.
C'est de toute façon une mauvaise pratique d'avoir des milliers de fichiers dans un répertoire, ça doit être hiérarchisé. J'espère que c'est le cas dans votre développement.

Oui j'ai bien hiérarchisé (en général 1000 fichiers par répertoire).
Comment faire pour utiliser SFTP a la place de FTP ?


Comment faire pour utiliser SFTP a la place de FTP ?


Un petit effort et on va y arriver, n'hésitez pas à être curieux.



En SFT la vitesse reste toujours aussi lente : 28 jours pour 75 GB.
Ce n'est clairement pas possible.

Bonjour,

Vous transférer de où vers ou et comment très exactement ?

Cordialement, janus57

J'ai un site web qui fonctionne très bien sur mon NAS (Qnap).
Je veut donc le mettre à jour sur mon site OVH. J'ai fait plusieurs essais:
1) L’outil QNAP HBS (Synchronisation par FTP) -> 20 à 30 kb/s donc 60 jours
2) Le programme PC SyncBack pro en mode SFTP -> 28 jours pour 75 Gb
3) Filezila (SFTP) -> pas d'indication du temps restant mais ça n'a pas l'air d'avancer.

La je n'ai plus d'idées mais on ne peut pas mettre 1 mois a synchroniser un site.

Bonjour,

que donne un speedtest (http://ovh.net/) là ou est votre NAS ?

Depuis un PC c'est pareil ?

Cordialement, janus57


Ce site contient énormément de petits fichiers (tuiles cartographiques).


Avez-vous une idée du nombre total de fichiers ? 100'000 ? 1 million ?

Pour le Speed Test (en valeur moyenne)
* Réception 29 Mb/s
* Envoi 5.2 Mb/s
* Latence 48.56 ms
Le nombre total de fichiers est de 10 millions. Je sais c'est énorme, mais c'est le principe des tuiles.

Vous m'étonnez.
10 millions de fichiers !
Ce qui va être long c'est à chaque fois, c'est l'ouverture et de la session pour le transfert de chaque fichier.

Quand c'est possible, privilégier le transfert d'un fichier ZIP puis le Dézipper à l'arriver chez OVH.

J'y avais pensé mais comment fait-on pour faire ça ?
Nous avons l'offre pro2014.

Bonjour @Gaston_Phone

Utiliser la commande unix gzip dans un script xxx.php que tu fabriqueras :
https://wordetweb.com/word-et-web/OVH-Sauvegarder-Restaurer-une-base-de-donnees-via-un-script-FR.htm">OVH - Base de données - Restauration type GZIP

Un exemple d'utilisation se trouve ici :



Le nombre total de fichiers est de 10 millions.


A mon avis ça sort complètement de ce qu'on attend d'un utilisateur d'un serveur partagé. Même de la catégorie Pro.

Je crois que OVH a oublié de penser de mettre un quota là-dessus ; ou bien ils y ont pensé et installé un garde-fou et pour sûr il sera inférieur à 10 millions.

Quant à dézipper sur place, en effet vous avez l'accès ssh sur un hébergement pro, si la commande unzip n'est pas présente, il ne vous reste qu'à envoyer des tar.gz.

Utiliser la commande unix gzip


gzip ne permet pas de mettre 10m de fichiers dans un seul, c'est une demi-réponse que tu donnes là.

gzip ne permet pas de mettre 10m de fichiers dans un seul, c'est une demi-réponse que tu donnes là.

En effet je n'avais pas pensé à cette limite pour cette quantité "monstrueuse" de fichiers.

Bonjour,

vous avez pas moyen de réduire le nombre de fichiers ?
A ma connaissance aucun hébergeur mutualisé ne va accepter 10M de fichiers…

Déjà que sur un serveur il faut le prévoir à l'avance pour tunner le system de fichiers car il y a un risque de saturation d'inodes.

Cordialement, janus57

C’est compliqué de diminuer le nombre de fichier, les tuiles utilisent toutes des imagettes de 256 pixels de coté.
Je suis surpris de votre réponse, les cartes tuilées sont maintenant courante et beaucoup de sites les utilisent…
Par ailleurs, sur nos serveurs en local on a plusieurs jeux d'image sans que cela pose des problèmes particulier.

Bonjour,

Je vous rappelle qu'en mutu vous êtes pas seule comme vos serveurs en local vous êtes avec plusieurs milliers de clients.

De plus les sites qui utilisent des cartes utilisent des services externes en général il ne vont pas hébergé leur propre carte.

Cordialement, janus57