Accès Cloud Disk Array via l'interface vRack

Salut @HerveL16

De mémoire, l'offre ceph n'est pas encore compatible vrack...
Donc interface public only :/

Jalinn

Arf, ça serait vachement très nul si c'était le cas ! J'ai trouvé ce poste : https://community.ovhcloud.com/community/fr/questions-cloud-disk-array?id=community_question&sys_id=767fed4085de06d01e111c5c94ac5ba4 dont la réponse contient


> N'importe quelle IP capable de joindre le réseau privé OVH peut utiliser CDA. Un simple ping depuis la bonne IP devrait vous permettre de vérifier. (si l'ip est ajoutée aux ACL)

(la question était la même que la mienne)
Sauf que ça ne détaille pas comment faire depuis une interface vRack. Peut être faut-il un block RIPE routé vers le vRack (comme décrit ici : https://docs.ovh.com/fr/dedicated/ajouter-ou-enlever-un-bloc-ip-du-vrack/).

Un membre du staff peut confirmer ?

Tu a tenté la ML ceph ?

>Pour échanger avec d'autres clients vous pouvez écrire sur la ML publique.
ceph@ml.ovh.net
Pour vous inscrire écrivez à ceph-subscribe@ml.ovh.net

C'est pas rare de voir les dev du produit répondre plus rapidement dans les ML que sur le forum :p

Si tu arrive à avoir la réponse par ce biais, hésite pas à partager !!

Jalinn

Thanks, je vais tester :-)

Je pense qu'il parle d'ip ovh, ou interne à ovh, je crois que les NAS sont en 10.xx par exemple.
Le vrack par définition c'est un rzo isolé qui ne peut pas se connecter directement aux ip ovh / publiques.

D'ailleurs quelles sont les perfs de ces disques CEPH (ioping / fio / dd / ...) ?
Vu les problèmes que j'ai rencontré sur les VPS Cloud ou l'ancien Public Cloud il ne m'est jamais venu à l'idée d'aller héberger mes VMs là dessus.

Pas totalement isolé. On peut connecter un block d'IP publique RIPE sur un vRack. Avec les règles de routage qui vont bien, j'ai pu pinguer mes moniteurs Ceph via l'interface vRack, mais malheureusment les ports Ceph eux ne répondent pas, il y a donc du filtrage quelque part ...

Bon, j'ai réussi à accéder au CDA via l'interface vRack. En gros, il faut commander un bloc d'IP RIPE, et l'assigner au vRack. Puis configurer une des IP du bloc à l'interface "interne" du serveur, et pousser des routes vers 10.97.0.0/16 et 10.99.0.0/16 via la passerelle du bloc (et penser à ajouter le bloc RIPE aux accès autorisés sur le volume Ceph).

Mais les perf sont toujours décevantes : en écriture, on ne dépasse toujours pas le Gbps ...

Mais les perf sont toujours décevantes : en écriture, on ne dépasse toujours pas le Gbps ...

heu on atteint pas ça avec un disque nvme local donc bon...
Que donne des commandes comme ça ? :

dd if=/dev/zero of=speedtest bs=1M count=300 conv=fdatasync
et
fio --name=rand-write --ioengine=libaio --iodepth=32 --rw=randwrite --invalidate=1 --bsrange=4k:4k,4k:4k --size=512m --runtime=120 --time_based --do_verify=1 --direct=1 --group_reporting --numjobs=1

Je parle du débit réseau de 1Gbps (bit par seconde, pas octet par seconde). Je n'ai pas encore fait de benchmark complets, j'en suis à débuguer les débits max au niveau réseau encore

Effectivement ça fait pas violent en rzo...
Surtout pour mutualiser le storage...

Perso je n'ai jamais tenté ça.
J'avais des vms stockées sur un NAS HA, les perfs en règles générale n'était pas trop mauvaise, mais passage par la carte publique obligatoire et surtout pas mal d'instabilité... J'ai notamment eu le cas où le NAS est passé en read only pendant plus de 3H... des VM qui plantaient de temps à autre car le disque ne répondait pas convenablement, etc...

Pour héberger ses VMs il faut soit avoir son propre serveur de stockage, voir monter un cluster CEPH directement avec ses propres dédiés...
Se baser sur les offres OVH pour héberger des VMs me semble risqué...

Perso mes VMs sont stockées localement sur les hosts.
1 backup quotidien des datas des vm, et 1 backup hebdomadaire de toute la config + le disque....

C'est pour étudier ces problèmes (stabilité, perf etc...) que je suis en train de prototyper. J'ai aussi testé avec le NAS HA (le petit, 1.2To), et bien que ça passe aussi par l'interface publique, il n'y a pas la limite de 1Gbps contrairement au CDA. Stocker en local n'est pas une option pour moi, mon but est de monter un cluster, il me faut du stockage partagé.

@Sich:


> disque nvme local donc bon...

```text
dd if=/dev/zero of=./outputTempo bs=10k count=100k
dd if=./outputTempo of=/dev/null bs=10k count=100k
```

ssd mutu:
2,2 GB/s 4,7 GB/s

nvme perso:
1,8 GB/s 5,6 GB/s

En random pas sûr d'avoir autant.
J'ai 2,3 et 5,7 sur l'un de mes dédié ovh, mais en random avec fio j'ai bcp moins.

Et les caches doivent jouer aussi, sur mes disques locaux SSD j'ai réussi à avoir :
$ dd if=./outputTempo of=/dev/null bs=10k count=100k
102400+0 enregistrements lus
102400+0 enregistrements écrits
1048576000 octets (1,0 GB, 1000 MiB) copiés, 0,168203 s, 6,2 GB/s

à mon avis les caches doivent jouer
en pratique, en les désactivant, j'ai pas vu grand chose (les firmwares des disques?)

ce test me permet de tester en user, sans avoir besoin d'installer

Bonjour,

Nous réfléchissons au montage d'un cluster Proxmox avec ceph en CDA.
As tu des retours d'expérience en prod (ou tests)? Le cout est quand meme bien moindre qu'en vmware et vaut la peine d'être étudié. Notre contrainte est de pouvoir basculer un serveur Oracle en moins d'un quart d'heure tout en bénéficiant de perfs raisonnables par rapport a du nvme local par exemple.