Object Storage : Too Many Requests
BMPCreated with Sketch.BMPZIPCreated with Sketch.ZIPXLSCreated with Sketch.XLSTXTCreated with Sketch.TXTPPTCreated with Sketch.PPTPNGCreated with Sketch.PNGPDFCreated with Sketch.PDFJPGCreated with Sketch.JPGGIFCreated with Sketch.GIFDOCCreated with Sketch.DOC Error Created with Sketch.
Question

Object Storage : Too Many Requests

by
PhilippeO1
Created on 2017-04-19 15:28:37 (edited on 2024-09-04 12:17:32) in Stockage et Sauvegardes

Bonjour,
J'ai lancé 20 VM qui discutent toutes avec mon OBJECT STORAGE en passant par OPENSTACK.
Mais lors d'écriture de fichier j'ai des 429 Too Many Requests.
Quelles sont les limites d'utilisation ? Ces limites sont pour un conteneur ou pour l'ensemble du projet ?
Peut on les augmenter ?
Merci


4 Replies ( Latest reply on 2018-03-15 09:29:00 by
GuillaumeP10
)

Bonjour,

Je suis également intéressé par une réponse à cette question.
J'utilise un conteneur public pour stocker des images. J'aimerai bien savoir s'il y a des limitations en termes de hits notamment.

Bonjour,

J'utilise également l'outil et s'il y a des limites dans l'utilisation de l'outil ça m'interesse

Bonjour à tous,

Je me permets de répondre sur ce post si jamais les informations peuvent en intéresser d'autres.

De manière native aucune limitation de bande passante ou de requête sur les offres de stockage (Public Cloud Archives ou Public Cloud Storage).

La seule "restriction" qui existe est ce qu'on appelle la DLO (Dynamic Large Object) qui va entraîner une segmentation des fichiers trop gros. C'est le fonctionnement de la brique "swift" d'OpenStack (https://docs.openstack.org/swift/latest/overview_large_objects.html).

Enfin au niveau de l'authentification (brique Keystone), une limitation de création de tokens d'authentification existe, 60 tokens pour 60 secondes glissantes maximum (un token dure 24h).

J'espère que ces éléments peuvent vous aider.

François

Bonjour,

nous utilisons un cluster spark et le connecteur hadoop-openstack existant ne permet pas d'utiliser un même token. Avec 60 coeurs, nous arrivons très vite à la limitation de Keystone de 60 tokens pour 60 secondes, et il parait difficile d'utiliser un cluster plus important. De plus, nous ne pouvons pas actuellement avoir un job qui dure plus de 24h, les tokens ne pouvant être renouvelés.

est-ce qu'il y a un moyen de contourner ou d'adoucir ces restrictions ?

Merci !