Bonjour,
J'ai un serveur dédié (SYS-LE-1) sur lequel j'ai installé Debian 11 et ISPconfig.
Sur ce serveur, j'héberge plusieurs sites Internet dont un qui propose de nombreux gros fichiers en téléchargement. Depuis quelques jours, j'ai mes sites qui sont quasiment inaccessibles à cause d'internautes qui font du téléchargement massif sur le site qui propose des gros fichiers.
J'ai une bande passante de 250 Mb/s et j'aurais voulu savoir s'il était possible de mettre une limitation de débit sur l'un de mes sites de façon à ce que mon serveur ne se retrouve jamais saturé ?
J'ai cherché sur ISPconfig mais je n'ai rien vu pour limiter la bande passante d'un site.
Merci d'avance pour votre aide.
Bonjour.
Vous pourriez faire une recherche du côté de https://httpd.apache.org/docs/2.4/mod/mod_ratelimit.html mod_ratelimit qui pourrait répondre en partie à votre besoin.
Je crois qu'ISPCONFIG utilise apache2 comme serveur HTTP mais il y a des chances que ce module ne soit pas nativement reconnu depuis le web panel. Cela nécessitera d'intervenir manuellement sur le-s vhost-s concerné-s par la limitation à mettre en oeuvre.
A titre personnel je m'y prendrai autrement et je ferai en sorte que les "gros fichiers" soient mis à disposition depuis un serveur externe au serveur d'hébergement web.
Il existe tout un tas de services dédiés au partage de contenu volumineux avec une bande passante plus importante que celle de votre serveur actuel et cela permettrait au serveur web d'avoir toute sa bande passante pour répondre aux trafic quotidien sans connaitre des vagues potentielles de ralentissement.
Voire même j'envisagerai de passer un peu de temps sur la mise en place d'une instance (type vps) avec un peu de bande passante et y stocker les fichiers tout en les rendant accessibles avec les règles d'accès dont vous avez besoin.
Certains VPS sont très abordables, avec des bandes passantes assez importantes pour répondre à ce type de besoin (même si la plupart sont en "fair use").
Bonjour,
ce genre de cas conviendrai parfaitement a du "Object Storage" en mode public, après cela ajoute un cout variable vu que c'est "0,01 € HT/Go sortant" + "0,007 € HT/mois/Go" pour le stockage.
Sinon comme dit plus haut, un VPS peut aussi être une solution si les fichiers sont capable de rentrer dessus, car il y a des hébergeur étranger qui propose des VPS à 1Gbps, mais avec des quota de trafic (genre XTo par mois).
Cordialement, janus57
Solution la + simple, mettre cloudflare (offre gratuite) devant ce site.
Configurer une règle de cache avec un edge cache d'un mois sur l'url qui contient ces gros fichiers…
Et voilà, une fois mis en cache les fichiers seront servit par cloudflare et non plus par le serveur.
Sinon comme le suggère @janus57 utiliser de l'object storage.
Gérer une limitation de bande passante / site est assez compliqué à faire en fait, je n'ai jamais réussi à avoir des résultats satisfaisant pour ma part…
Bonjour,
Et voilà, une fois mis en cache les fichiers seront servit par cloudflare et non plus par le serveur.
Cloudflare fait ça sur des gros fichiers (qui dépassent le Go) ?
Cordialement, janus57
ha vi en effet, je sais qu'ils limitent l'upload max filesize, mais visiblement ils limitent aussi la mise en cache…
> Cloudflare cacheable file limits:
> Free, Pro and Business customers have a limit of 512 MB.
> For Enterprise customers the default maximum cacheable file size is 5 GB. Contact your account team to request a limit increase.
Donc en effet, si ça dépasse les 500Mb / fichier il faut passer par de l'object storage.
Je n'ai pas trouvé de doc sur le cache limit du cdn infra d'OVH qui pourrait être une alternative (à utiliser sur un sous domaine dédié de préférence).
Sinon pourquoi pas le VPS dédié à ces fichiers, mais ça rajoute une instance à manager…
@FabL : il y a une limite sur le cdn infra en taille de fichier pour la mise en cache ?
[EDIT]
A voir le volume de données que ça représente, aussi bien en stockage qu'en bande passante… Selon la taille et la qté de transfert, un VPS avec 500mbs voir 1Gbs de bande passante pourrait coûter - cher…
[/EDIT]
Merci pour vos réponses !
Je ne connais pas cloudflare et donc, je vais me renseigner pour en savoir plus.
Edit : C'est un peu mort car j'ai certains fichiers qui peuvent atteindre les 4 Go.
Concernant l'idée du stockage par VPS ou "Object Storage", j'ai oublié de préciser que j'avais 5 To de données stockées sur mon serveur dédié et que la quantité de données téléchargée chaque mois est des plus conséquente.
Le coût de "0,01 € HT/Go sortant" + "0,007 € HT/mois/Go" pour le stockage serait donc conséquent pour moi. Actuellement, mon serveur dédié me coûte 24,99 € HT/mois et je n'ai pas envie de payer davantage.
J'ai regardé la liste de mes modules Apache et je n'ai pas le mod_ratelimit. Je vais vérifier s'il correspond bien à mon besoin et si c'est le cas, je l'installerai.
Je vous remercie pour votre aide.
Mettre à disposition les fichiers via torrent dans ce cas…
En espérant que d'autres vont rester en source…
Et rester en source de son côté avec rtorrent par exemple en limitant la vitesse d'upload globale…
A priori il a existé des mods apache pour gérer ça (mod_bw, mod_bandwith, mod_cband), mais pas maintenu, et probablement rien de dispo pour apache 2.4… En tout cas je n'ai rien trouvé pour avoir une version récente…
Et le mod rate limit va être pour limiter la vitesse par utilisateur + que pour un vhost complet… https://httpd.apache.org/docs/2.4/mod/mod_ratelimit.html
Je pense que je vais tout de même tester le mod ratelimit pour voir ce que cela fait.
J'ai activé le module et à présent, je dois le configurer pour le site Internet qui me pose problème (celui avec les gros fichiers). La configuration se fait bien dans le fichier : /etc/apache2/sites-available/nom_de_domaine_du_site.vhost ?
Location "/downloads"
SetOutputFilter RATE_LIMIT
SetEnv rate-limit 50000
SetEnv rate-initial-burst 500000
/Location
Autre question, le "location" correspond à quoi ?
Les fichiers de mon site se trouvent dans le dossier "/var/www/clients/client1/web1/web/". Est-ce ce que je dois indiquer dans location ?
Encore merci pour votre aide.
Attention, si il y a un panel il est fort possible que ce fichier de configuration soit écrasé par le panel lors d'une maj.
Location c'est l'url, ici dans l'exemple ça s'applique à /downloads, pour tout ce qui est dans download il faut vérifier la syntaxe dans la doc…
Bonjour,
Vous avez 5To de fichiers que les visiteurs peuvent télécharger ?
Perso je partirai sur un service externe quand même.
Je testerais l'hébergeur allemand qui propose des instances Nextcloud de 5To pour 13.08€ TTC/mois (et 24.96€ TTC pour 10To).
Par contre vu que c'est du partagé aucune garantie de débit mais c'est pas cher.
Cordialement, janus57
Hello @Sich,
@FabL : il y a une limite sur le cdn infra en taille de fichier pour la mise en cache ?
[/quote]
Je n'ai pas d'informations à ce sujet. @EricD76 aurais-tu une information à communiquer concernant ce point ?
^FabL
Hello @FabL
Désolé, mais le CDN n'est clairement pas dans mon scope, je ne connais pas ce produit et ses limitations technique 
C'est un problème de bande passante ou de slots utilisés ?
Si c'est un problème de slots, une idée peut être d'avoir un serveur HTTP qui ne servira que ces contenus. (en gros, un nginx ultra light)
Dans le cas où c'est la bande passante qui pêche, mod_ratelimit est une option.
Mais pour moi, ce n'est pas la meilleure.
La meilleure consiste à utiliser des services spécialisés. Object Storage, S3, CDN… ou à défaut un autre dédié plus pêchu. Oui, ça coûtera plus cher, mais le service sera rendu.
Quant à Cloudflare, il peut être intéressant. il ne fournirait pas les gros fichiers, mais il permettrait de fournir tous les autres pendant que le serveur final gèrera les téléchargemets.
Bonjour,
Pour l'instant mon serveur fonctionne bien et je considère donc que mon problème est résolu.
J'en profite aussi pour indiquer qu'historiquement, j'avais un serveur ARM très peu puissant chez OVH qui disposait d'une grosse capacité de stockage et qui ne coûtait presque rien. Malheureusement, OVH a pris la décision de fermer mon serveur de stockage car l'offre n'était pas assez rentable pour eux. C'est la raison pour laquelle j'ai été contraint de rapatrier les fichiers sur mon serveur dédié principal. Pour des raisons financières, je vais conserver cette solution qui me satisfait même si ce n'est pas parfait.
Merci à tous ceux qui ont répondu à mon message initial.