Bonjour,
Pour continuer mon apprentissage sur Proxmox après déjà 1 mois et quelques vacances, je m'interroge sur les différents types de stockage qu'il est possible d'exploiter sur les nouvelles offres Advanced et Proxmox.
A minima, 2 disques SSD NVMe datacenter et en option 2 disques SSD NVMe.
J'opte systématiquement pour les 2 disques système + 2 disques de stockage, et je vais continuer dans ce sens pour les prochains serveurs Advanced à commander.
Donc avoir des disques en doublon c'est bien, mais pour en faire quoi ?!?
Historiquement, les serveurs pouvaient être équipés de contrôleur RAID matériel pour assurer une continuité et un changement de disque sans perte de données. Cette option était tout simplement indispensable pour ESXi qui ne gère pas de RAID soft et très pratique car ne nécessitait aucune ligne de commande barbare.
Or avec l'évolution matériel (HDD -> SSD Sata -> SSD NVMe) et le manque de solution RAID hard pour NVMe, le RAID soft apparait à mes yeux comme une solution à réétudier.
Mes dernières investigations m'ont permis d'identifier tous les fichiers de configuration et commandes nécessaires pour récupérer toutes mes VMs stockées sur les disques secondaires en cas de réinstallation complète du système, mais si je peux m'en passer, ça serait mieux !
J'arrive donc à mes interrogations avec Proxmox et ZFS pour tenter ajouter une sécurité supplémentaire au niveau du stockage :
* le type Mirror (RAID1 via ZFS), est-il adapté pour l'installation du système ?
* le type Mirror (RAID1 via ZFS), est-il adapté pour le stockage des VMs sur les disques optionnels de stockage ?
* en cas de panne du 1er disque système du RAID1, est-ce facile de procéder au démarrage sur le second système ?
* dans le cas de figure ci-dessus et après changement du disque en panne et démarrage sur le second, comment effectuer la reconstruction du 1er disque pour réobtenir un RAID1 valide ?
* ZFS consommant énormément de mémoire, est-ce utile de laisser ARC s'attribuer la toute mémoire voulue pour le type Mirror ?
* selon quelques articles trouvés sur Google, ZFS réalise énormément d'écriture pouvant provoqué une usure prématurée des disques (TBW), est-ce à prendre en compte ?
Merci à tous ceux qui éclaireront mon chemin.
Serveurs Dédiés-old - Conseil - Proxmox / ZFS
Related questions
- Serveurs OVH blacklistés UCEPROTECT-Level 3
25225 
12.04.2021 15:23
- Solution de streaming live
23917 25.08.2017 18:35
- Mon serveur n'est pas en ssl
23321 21.06.2017 15:35
- [Résolu] Problème de connexion à un dédié
21576 15.12.2018 17:42
- Proxmox ou VMWare ?
20815 02.03.2017 22:04
- Conseil Soft Raid vs Hard Raid
20741 13.04.2017 08:49
- Proxmox ip failover problème reseau vers orange
17840 30.11.2020 19:21
- SoftRaid 3x2To SATA ?
15689 03.01.2019 07:18
- Serveur crash avec ip failover
15660 11.09.2019 14:57
Bonjour,
1 - oui
2 - cela dépend de vos besoins mais oui dans l'absolu
3 - en cas de panne vous ne le verrez pas car le système va continuer à fonctionner sur le deuxième disque et si c'est du hot-qwap côté OVH la reconstruction va se faire à chaud sans reboot (faut juste vérifier ZFS).
4 - voir la documentation de zfs mais soit c'est automatique soit cela se fait via la commande (zfs replace).
5 - le principe de ARC est d'avoir un cache donc libre à vous de diminuer ou pas selon vos besoins, mais ARC va réduire son empreinte en RAM si le système a besoin de ressources.
6 - cela réalise plus d'écriture mais c'est négligeable sur des disques entreprise si ce sont des Mixes Used (qui en général ont un DWPD de 3 minimum).
Cordialement, janus57
Bonjour,
ZFS est bien intégré à Proxmox et est parfait pour son utilisation avec des vm.
Tu vas gagner en souplesse notamment pour les sauvegardes et le déplacement des machines sur tu travailles dans un cluster Proxmox.
Pour détecter un incident sur un disque, il faut le monitorer sinon tu risques de passer à coté.
Un problème de disque peut se caractériser par des lenteurs sur ton service un peu aléatoire et c'est à toi de détecter l'incident.
Lors d'un incident, la partition ZFS fonctionnera correctement jusqu'au changement de disque et la reconstruction du raid
Normalement c'est automatique mais les joies de l'informatique font qu'un intervention manuelle doivent se faire.
Personnellement j'installe les serveurs avec des partitions traditionnelles ext4 pour le système et les disques additionnels je les mets en raid1 ZFS
Tu peux mettre en place facilement une réplication périodique vers d'autres serveurs, mettre en place le service de sauvegarde sans interruption de service ou faire des snapshots des machines virtuelles facilement.
Associé au systeme proxmox backup server, c'est fiable, une très bonne option pour remplacer un esxi
Bon courage
Captainadmin
Bonjour,
Pas grand-chose à ajouter sur la partie ZFS, je rebondis juste sur ce point :
> * en cas de panne du 1er disque système du RAID1, est-ce facile de procéder au démarrage sur le second système ?
À la première panne, pas de problème. Cependant, il faudra bien penser à recréer et reremplir la partition système EFI (ESP) sur le disque remplacé pour assurer le boot en cas de panne sur l'autre disque.
Merci messieurs.
Grace à vos indications et à certains mots clés que vous m'avez indiqué, j'ai trouvé la liste des commandes à exécuter :
sgdisk -R
sgdisk -G
zpool replace -f
proxmox-boot-tool format
proxmox-boot-tool init
Réf : https://pve.proxmox.com/wiki/ZFS_on_Linux#_zfs_administration Doc Proxmox § Changing a failed bootable device
Je vous conseille de tester après avoir par exemple vidé un des deux disques. Comme nous n'utilisons pas systemd-boot mais GRUB sur nos installations Proxmox, je ne sais pas si cette partie fonctionnera.
Merci.
J'installe depuis l'ISO :)
Bonjour,
et petit ajout sur le fait que ZFS c'est pas "simplement pour remplacer du RAID hard", c'est réellement un système de fichier qui apporte des plus comme le détection de corruption silencieuse ou empêche le "bit rot" grâce au mécanisme de srubing (Cf : https://en.wikipedia.org/wiki/ZFS#Data_integrity), plus d'autre choses encore plus sympa quand on commence à avoir plusieurs serveurs.
Note : ce sont certains de ces mécanismes qui entraine une écriture supplémentaire face a d'autre système comme EXT4.
Cordialement, janus57
Vous n'êtes pas le premier mais je me permets de faire un peu de « publicité » pour notre système d'installation qui fait au plus près d'une installation via l'ISO (sûrement à l'exception près du bootloader), tout en supportant le ZFS et en étant bien plus rapide, surtout si vous avez de nombreuses installations à faire :)
:) :) :)
Merci Louis pour ce conseil.
J'avoue justement avoir hésité à l'utiliser hier pour réinstaller un server de test So You Start car impossible de sélectionner un fichier ISO sans que l'applet Java de l'IPMI/KVM ne crashe.
Mais finalement je me suis lancé dans une installation manuel en mode rescue, que je n'avais jamais compris et réalisé avant.
J'en ai tiré une grande satisfaction personnelle !
Avec tout ça je viens juste de commander 2 serveurs Advanced 4 (sur 2 datacentres) afin de monter mon premier cluster Proxmox de production et commencer à remplacer ESXi.
Oui c'est super intéressant d'installer un OS comme ça ! J'ai beaucoup appris grâce à Gentoo et Arch Linux qui n'ont (ou n'avaient pour Arch) pas du tout d'installeur.