Bonjour à tous,
J'ai plusieurs instances sur le public cloud et j'ai eu un souci sur l'une d'entre elle la semaine dernière. Le problème est que l'host hébergeant mon instance a été rebooté. OK, mais pourquoi, aucun raison n'est indiqué sur le ticket. J'ai parcouru les incidents sur http://travaux.ovh.net/?project=18&status=all&perpage=50 et j'ai remarqué que ce n'était pas un cas isolé et que tous les jours des hosts étaient rebootés sans raison ?
Tout est visibles sur travaux.ovh.net ; voici les dernies incidents en date :
http://travaux.ovh.net/?do=details&id=48138&
http://travaux.ovh.net/?do=details&id=48132&
http://travaux.ovh.net/?do=details&id=48128&
http://travaux.ovh.net/?do=details&id=48126&
http://travaux.ovh.net/?do=details&id=48125&
http://travaux.ovh.net/?do=details&id=48123&
Quelqu'un sait il pourquoi ?
Perso, je trouve cela inconcevable de laisser de mettre en place ce genre de process
Merci pour vos réponses !
Bonjour,
normalement un reboot de l'host est actionné lors de la détection d'un défaut sur l'host qui entraine un défaut sur les VMs.
Cordialement, janus57
Oui, je suis d'accord… Mais avoir autant de défaut n'est pas normal. Pourquoi tant de défaut sur les hosts, il n'y qu'à voir la liste des incidents… Vous trouvez ça normal honnêtement de rebooster un host avec 76 instances et les laisser down plus de 15mn ??
Bonjour,
sachant que toute les instances sont maintenant sur des disques locaux et que OVH gère plusieurs dizaines/centaines de milliers de machines, cela ne me semble par spécialement déconnant si on converti cela en %
De plus si c'est un hôte avec 76VMs, je peux vous garantir que ce sont des VPS ou des instances à ressources partagés ce qui statistiquement peut augmenter le taux de pannes.
Si on reprend quelques chiffres OVH héberge entre 260k et 300k serveur, si on considère que 30% sont destinées aux VPS/public cloud cela nous reste entre 78k et 90k serveur soit avec un reboot de 20 hosts un taux de 0.03%-0.02%
Du coup oui perso je trouve cela pas spécialement anormal sachant qu'une panne peut arriver aussi bien au niveau HARD que niveau SOFT et que c'est pas juste 10 serveurs dans une baie, là vos liens sont à chaque fois dans des DC différents.
Là ou on pourrais se poser la question c'est quand OVH doit "reboot" un rack complet, et là clairement OVH ne donne pas la raison précise de l'incident qui a touché le rack.
Cordialement, janus57
3 reboots en moins de trois jours, je ne trouve pas ça normal, surtout qd ça dure 15mn. Et si je reprend vos stats 20x instances, cela représente bcp de services down sans aucune justification.
Bonjour,
PCI et VPS c'est environ 20k hosts au total environ.
Oui il y a des pannes sur les hosts, pour plein de raisons, ca va du pb hw (un cable reseau qui lache), au probleme software (un kernel panic). On a, bien entendu, du monitoring et de l'alerting pour traiter ces cas au plus vite.
On automatise au maximum la gestion de ces pannes, ce qui donne ces taches travaux un peu generiques, mais on travaille pour ameliorer ca. En tout cas, on essaye d'etre transparent au maximum pour que vous sachiez pourquoi vos instances ne ping plus a un moment donne.
Il faut noter quand meme que les petites instances (flavor s1-x) sont plus sensibles, car on en met plus par host. Donc si on perd un host, on perd plus d'instances.
Je me permet de rappeler le paradigme du cloud : fournir un service qui soit plus résilient que l’infrastructure elle-même.
Pour les VPS cet argument ne tient pas, je l'accorde, mais pour PCI, cela veut dire deux choses :
- les api openstack continuent de fonctionner meme lorsqu'on perd un host, vous etes donc libre de demarrer une nouvelle instance de votre image pour palier au soucis d'un host.
- il est souhaitable de déployer vos services sur plusieurs instances/regions et considerer vos instances comme ephemeres.
Bonne journee,
Merci beaucoup pour votre réponse @ArnaudM18.
Je vais réétudier mon approche du PCI dans ces cas là.
Bonne journée,