Impossible d'upload un très gros fichier sur l'Object Storage

Tenter de faire le transfert via SFTP?

Bonsoir,

Même résultat ... avec et sans Cyberduck.

J'ai l'impression que OVH accuse Cyberduck même lorsque je n'utilise pas Cyberduck mais le bouton d'upload via l'espace client, pour éviter de devoir chercher ...

Même avec filezilla à la place de cyberduck?

Et je vois alors "Impossible d'établir une connexion avec le serveur. J'ai également essayé avec l'identifiant seul, c'est à dire pas sous la forme ...:default:... mais même résultat.

Bonsoir @JeremyR2

Je n'ai pas ce type d'abonnement, mais es-tu sûr que l'adresse du serveur FTP est : **auth.cloud.ovh.net** ?

pour moi, ce serait plutôt du genre **ftp.xxx.hosting.ovh.net** ou peut-être **ftp.xxx.cloud.ovh.net**

A priori il faudrait la version pro de filezilla pour faire ça ...
https://community.ovhcloud.com/community/fr/public-storage-et-filezilla-pro?id=community_question&sys_id=336e65c881128210f0780f07683eb2c1

J'ai trouvé un autre tutoriel:
https://docs.ovh.com/fr/storage/pca/sftp/

Mais quand je mets gateways.storage.sbg.cloud.ovh.net j'ai un message "Host does not exist".

A priori il faudrait la version pro de filezilla pour faire ça ...

Non.

Je t'envoie un Message Privé.

Bonjour,

Pas applicable c'est pour du PCA (Public Cloud Archive).

Il faut effectivement FileZilla Pro pour faire du S3 sur du stockage objet.

Cordialement, janus57

Pas applicable c'est pour du PCA (Public Cloud Archive).
Il faut effectivement FileZilla Pro pour faire du S3 sur du stockage objet.

Ok @janus57 et qu'est-ce qui bloque avec le FILEZILLA gratuit ?

Je viens de tester et en effet ...
avec gateways.storage.sbg.cloud.ovh.net j'arrive pas à le faire marcher

par contre avec gateways.storage.gra.cloud.ovh.net ça marche ...

il n'y a pas besoin de la version pro de fillezila

Bonjour,

Bah tout simplement il ne gère pas le protocole Swift...

FileZilla gratuit fait uniquement du (S)FTP(S).

Voir tous les protocole/fournisseur supporté par la version Pro : https://filezillapro.com/docs/v3/basic-usage-instructions/difference-between-filezilla-and-filezilla-pro/

Autre ressources :
https://community.ovhcloud.com/community/fr/sftp-sur-object-storage-ou-sont-mes-containers?id=community_question&sys_id=3594b5449d5e4e901e11a21128f2cf69


Cordialement, janus57

Effectivement tu as raison janus...
Contrairement à ce que je pensais ça fonctionne avec du cold archive mais pas avec du stokage objet.

Du coup la solution que je proposais n'est pas valable.

Avec FileZilla Pro, je viens de transférer un fichier de 3,3 Go dans un Public Storage.
Attention, dans le tuto, bien prendre en compte le chemin du service d'authentification : "/v3/auth/tokens/ "
https://community.ovhcloud.com/community/fr/public-storage-et-filezilla-pro?id=community_question&sys_id=336e65c881128210f0780f07683eb2c1
Vu le prix de FileZilla Pro, que c'est à vie et que leur support est efficace, je suis satisfait de cet investissement !
Cordialement
BrunoM10

Bonjour,

Pour m'aider, le support me demande le résultat de la commande avec l'argument --debug

Pour cela, j'ai dû installer Python sur mon PC Windows, ce qui est fait.
J'ai aussi lancé **pip install python-openstackclient** et ça semble s'être bien terminé car j'obtiens la même chose que dans le tutoriel.
Sur demande du support j'ai utilisé le tutoriel suivant: https://docs.ovh.com/fr/public-cloud/preparer-lenvironnement-pour-utiliser-lapi-openstack/

Maintenant je dois charger les variables d'environnement:
https://docs.ovh.com/fr/public-cloud/charger-les-variables-denvironnement-openstack/
Mais je bloque, je n'arrive pas à trouver comment faire sur Windows. J'ai déjà téléchargé le fichier openrc.sh mais après ... je suis bloqué.

Sauriez vous m'aider ?

Merci d'avance

je n'arrive pas à trouver comment faire sur Windows

Il y a une indication dans le guide que vous référencez:
> Sous Windows

> Le fichier OpenRC n’est pas conçu pour être lancé sur Windows.

> Vous avez donc 2 solutions pour charger les variables d’environnement :

Je vous conseille la première manière de faire car la seconde modifie de manière permanente votre PC pour tous ses utilisateurs.

Je sens que je suis proche du but. J'ai ouverts la console CMD de Windows et j'ai copier/coller les lignes en les faisant débuter par set, donc:
**set OS_AUTH_URL=https://auth.cloud.ovh.net/v3/**
**set OS_IDENTITY_API_VERSION=3**
etc, etc, etc.

Lorsque dans la console j'écris uniquement set, je vois cette liste:



Dans un tutoriel sur le site d'un concurrent j'ai vu que pour voir si tout fonctionne bien il faut faire:
**openstack server list**
Mais en réponse à cette commande je vois:
**public endpoint for compute service in "SBG" region not found**

Comment puis-je alors vérifier que tout fonctionne ?

J'ai également constaté que dans le tutoriel https://docs.ovh.com/fr/storage/debuter-avec-lapi-swift/#envoi-de-fichiers-dans-votre-conteneur les commandes débutent par "swift" ce qui ne semble pas reconnu par ma console sur Windows.

Salut @JeremyR2

SBG est la zone dédié à Swift...
Pour faire un "server list", il faut juste modifier OS_REGION_NAME par une zone où tu as un serveur d'actif ...

Là, pour du container, sur SBG, essaie juste avec :
openstack container list

(Ou openstack --help pour voir les commandes qui vont bien :) )

Jalinn

Bonsoir,

Désolé si mes questions peuvent paraître bêtes mais l'utilisation est si simple via Cyberduck que là je suis un peu perdu avec plusieurs choses à installer et régler sur mon PC et plusieurs lignes de commandes à utiliser.

Justement j'ai mes conteneurs à SBG du coup je ne comprends pas vraiment pourquoi il est indiqué que la région n'a pas été trouvée.

Je bloque aussi dans le tutoriel https://docs.ovh.com/fr/storage/debuter-avec-lapi-swift/#envoi-de-fichiers-dans-votre-conteneur puisque ces commandes ne fonctionnent pas sur Windows, mon but n'est clairement pas d'utiliser l'Object Storage en ligne de commandes, mais juste lancer l'upload de ce fichier de 3.5 Go afin de pouvoir ensuite envoyer au support le résultat de --debug

**openstack container list** affiche aussi **public endpoint for compute service in "SBG" region not found**

Lors de la génération du fichier openrc.sh utilisé afin de définir les variables OS_tenant_id et tout le reste, j'ai dû choisir la région.



Mes 2 premiers conteneurs sont à SBG, mais pas le 3ème ...

En faite je souhaite pouvoir accéder à mon premier conteneur qui est à SBG, et lancer l'upload d'un fichier là dedans. Mais je ne sais pas faire ...

Bonjour @JeremyR2

Je ne suis pas forcement spécialiste sur PCS/PCA, mais je vais voir si je peux vous donner un coup de main.

Je vous invite a me communiquer en privée votre nic ou le numero du ticket d'origine.

Eric.

Bonjour @EricD76

Je vous remercie pour votre proposition, je vais faire ça dans quelques minutes.

J'ai réussi à avancer un peu dans le truc ...

La preuve que j'ai tout paramétré correctement et que la liaison avec l'API se fait:


Le support m'a donné 2 liens:
1er: https://docs.ovh.com/fr/storage/pca/swift-commands-memo/">https://docs.ovh.com/fr/storage/pca/swift-commands-memo/
2ème: https://docs.openstack.org/ocata/cli-reference/swift.html">https://docs.openstack.org/ocata/cli-reference/swift.html

Le support me dit que les commandes pour utiliser l'Object Storage en ligne de commandes sont identiques sur Linux ou Windows.

J'ai donc essayé, mais ça ne fonctionne pas ...





Il n'y a que les commandes qui débutent par le mot openstack qui fonctionnent, alors que je pense devoir utiliser celles qui débutent par le mot swift afin d'uploader le fichier.

Selon ce que je vois que ma première image, je pense qu'il faut "entrer" dans un conteneur via une ligne de commande, et que c'est seulement à ce moment là que je peux y uploader un fichier. Mais je ne comprends pas comment faire puisque aucune commande ne semble servir à "entrer" dans le conteneur, et que la commande d'upload qui débute par swift n'est pas reconnue.

Merci d'avance

Pour utiliser la commande "swift", il suffit simplement d'installer le client via pip, comme pour le client Openstack :
`# pip install python-swiftclient`

Je viens de voir votre MP, je vois ce que je peut faire dès que possible.

Bonsoir,

Effectivement sans installer swiftclient ça ne pouvait pas fonctionner ...

Je viens d'effectuer plusieurs tests:

Concernant mon conteneur "Données privées" **qui est à SBG et qui était indisponible quelques temps pendant et après l'incendie**, je ne peux pas y transférer le fichier de 3.5 Go via Cyberduck, j'ai essayé de le mettre dans le dossier nommé "Vidéos" comme d'habitude et au cas où j'ai aussi essayé dans le dossier "Client", même erreur que d'habitude. Par contre ça fonctionne en ligne de commande avec le client swift.

Lors de l'upload via Cyberduck le cercle est vert tout semble s'être bien passé, mais j'ai la fenêtre ensuite qui s'ouvre et affiche le message d'erreur dans Cyberduck et dans le conteneur le fichier n'est pas créé.

Par contre les segments y sont et il ne semble rien manquer.


Concernant mon conteneur "Télécharger" qui est à GRA et existe depuis bien avant l'incendie, j'arrive à transférer le fichier via Cyberduck. J'ai laissé le fichier dedans si ça vous intéresse.

J'ai donc créé un nouveau conteneur nommé "Test SBG" situé comme son nom l'indique à SBD et là ça fonctionne avec Cyberduck, alors que dans "Données privées" qui est aussi à SBG ça ne fonctionne pas. J'ai laissé le fichier dans "Test SBG" si ça vous intéresse.

J'ai aussi créé un nouveau conteneur nommé "Test BHS" situé comme son nom l'indique à BHS et là bas aussi ça fonctionne avec Cyberduck. J'ai laissé le fichier dedans si ça vous intéresse.

Je n'ai pas effectué de test supplémentaire d'upload via l'espace client car comme vous avez dis en message privé, il y a un timeout lors de l'upload.

Du coup j'en déduis que le support avait raison en accusant Cyberduck, mais j'avais aussi raison en accusant OVH puisque ça fonctionne dans un nouveau conteneur à SBG ou dans un autre datacenter.

J'ai passé plusieurs heures à uploader ce fichiers plusieurs fois avec ma connexion ADSL, je vais faire une pause pour aujourd'hui.

Je n'ai pas répondu dans le ticket support afin d'indiquer le résultat de tous ces tests, pensez vous que je devrais le faire ?

Du coup voilà le fichier y est finalement mais cela ne résous pas le problème, ni pour moi, ni éventuellement pour les autres clients de SBG.

Mon conteneur "Données privées" est à votre disposition si vous le souhaitez. Tant que vous ne supprimez pas les fichiers qui y sont déjà cela ne me pose aucun problème.

J'ai aussi constaté que l'upload via le client swift est beaucoup plus lent que via Cyberduck mais bon ça c'est un détail.

J'ai aussi constaté que si j'upload ainsi:

le fichier final une fois placé dans le conteneur est alors nommé F:\.... et tout ce qui est noté jusqu'à mp4, au lieu d'être nommé Spawn de henchs du 21 novembre.mp4

Je pense avoir effectué tous les tests nécessaires pour que le problème puisse être trouvé mais si besoin je reste à votre disposition, surtout que si j'ai ce problème avec un ancien conteneur SBG d'autres peuvent aussi l'avoir.

Bonne soirée

Bonjour.

Comme dit en MP, je vous invite a vous assurer que votre client CyberDuck est bien a jour dans un premier temps.

Le fait que vous parveniez à upload des data dans ce dossier via le client Swift vient juste confirmer qu'un élément de configuration du soft, ou qu'un résidu de data des précédents upload, viens bloquer.
Cela me semble également démontré par le fait que vous parvenez à upload le fichier dans d'autres conteneur sans problème.

Pour la partie CyberDuck, je vous confirme que nous ne pourrons vous apporter plus de support. Je vous invite à vous rapprocher directement du support du soft ou de leurs communautés.

Vous pouvez voir via le client swift pour supprimer manuellement l'ensemble des éléments qui pourrait potentiellement bloquer.


Concernant l'utilisation de swift, afin d’accélérer l'upload, vous pouvez vous aider de ce guide :
https://docs.ovh.com/fr/storage/methode_optimisee_pour_le_telechargement_de_fichiers_vers_object_storage/

pour le nom, afin d'éviter d'avoir tout le chemin qui apparait, vous avez 2 méthodes :

* upload directement en vous localisant dans le dossier où se situe le fichier :
# cd /to/my/folder
# swift upload

- utilierser l'argument -`-object-name` quand vous travaillez avec des chemins absolus :
`# swift upload --object-name `

Eric

Bonjour,

Cyberduck est à jour et je les installe systématiquement dès qu'elles sont proposées.

Ah oui d'accord donc selon vous si ce n'était pas lié à Cyberduck ça ne fonctionnerait pas non plus via le client Swift. Finalement vous avez peut être raison.

J'ai déjà affiché les fichiers cachés et supprimé les segments. Le soucis est que ça ne fonctionne dans aucun dossier contenu dans ce conteneur en utilisant Cyberduck. Je vais aller me renseigner davantage.

Je suis très intéressé par l'optimisation de l'upload car via le client Swift ça prend environ 2 fois plus longtemps. J'ai consulté le tutoriel mais ce qui me chiffonne un peu est que si on fait une petite erreur on se retrouve avec un fichier illisible. Par exemple au lieu de --segment-size 104857600 si on aurait marqué --segment-size 100000000 j'imagine qu'il aurait manqué des morceaux ?

Je vous remercie pour l'astuce concernant le nom du fichier.

Bonne soirée

Bonjour,

Par exemple au lieu de --segment-size 104857600 si on aurait marqué --segment-size 100000000 j'imagine qu'il aurait manqué des morceaux ?

non juste qu'a la place de segments de 100MB (104857600/1024/1024) il serait de 95,367431640625MB (100000000/1024/1024).

Sachant que la taille minimal c'est 1 byte (Cf : https://docs.openstack.org/swift/latest/overview_large_objects.html)

Cordialement, janus57

Merci janus57, je m'étais inquiété pour le calcul à faire afin de savoir quel nombre marquer. C'est très clair à présent.

Important à savoir:
J'avais essayé avec un autre fichier de plus de 3 Go créé spécialement pour le test et j'avais le même résultat, impossible de l'upload vers mon conteneur nommé "Données privées" en utilisant Cyberduck.