[FR] [Metrics] Support du protocole Graphite disponible !

Merci pour la version Française. :p

Ca veut dire quoi "en query"?

ça veut dire : "en interrogation via l'interface de programmation"

ingestion vs interrogation

Le query est fait via l'API /render qui peut être sécurisée en HTTPS avec authentification (token), alors que l'ingestion Graphite est faite en clair et ne peut être sécurisé. C'est pour ça que nous proposons une approche alternative :
- Proxy Fossil qui envoie ses données à Beamium qui les envoie de façon sécurisée sur la plateforme
- Proxy managé sans auth, filtré par IP

Nous avons un peu de travail sur Fossil, la semaine prochaine il sera fixé.
La version managée viendra par la suite. La dispo dépendra de la demande donc si vous êtes intéressé, n'hésitez pas à vous manifester !

Merci pour l'info. Avez-vous une doc sur Graphite lui-même, car si on cherche sur le web, on tombe sur le graphite (carbone, mine de crayon) ou alors c'est en anglais.

Bonjour,

Nous ne détenons pas de documentation de Graphite. Le projet est Open-Source hébergé sur GitHub. Cepedant, si vous souhaitez avoir une documentation en français, vous êtes libre de créer des issues sur les différents dépots du projet.

Bonjour,

Merci pour le support, il me tarde de pouvoir tester tout cela en profondeur !
Je prends un peu d'avance dans l'attente d'une version de fossil qui fonctionne chez moi.

Pouvez-vous nous aider pour la configuration de beamium, car j'avoue ne pas trop savoir comment régler les paramètres. Voici ce que j'ai mis :

> ## Graphite endpoint to send data
> sinks:
> sink1:
> url: https://graphite.gra1.metrics.ovh.net
> token-header: Authorization
> token: "Basic token:WRITE_TOKEN"

> parameters:
> source-dir: /opt/beamium/sources
> sink-dir: /opt/beamium/sinks
> log-file: /var/log/beamium/beamium.log

Pouvez-vous me dire si ça vous semble correct ou bien si c'est autre chose qui est attendu ?
Ca donnera également d'autres idées pour améliorer la documentation de Fossil =D

Bonjour,

De rien, on est d'accord que c'est mieux quand ça fonctionne :).

Pour la configuration de Beamium, tu ne peux pas utiliser l'endpoint graphite de metrics, car fossil te transforme tes métriques au format sensision.

Il faut donc que tu passes par l'endpoint Warp10 : `https://warp10.gra1.metrics.ovh.net/api/v0/update`

Après tu pourras les interroger dans n'importe quel protocole que tu souhaites supporté par la plateforme.

Je t'ai mis un example de fichier de configuration de beamium sur ce https://gist.github.com/FlorentinDUBOIS/93a69919fad0c15738b750b76f47b2e0 gist.

Carrément, ça pourrais être l'objet d'une prochaine PR :)

Merci, je viens de tester, ça fonctionne superbement bien !
Le plus génial avec cette plateforme, c'est l'intercompatibilité entre les protocoles. Vous avez fait un super boulot là-dessus.

Je ne vais pas pouvoir être très critique sur le fond des métriques car je ne suis qu'un utilisateur débutant (je fais ma transition depuis AWS où toutes les métriques étaient données directement sans nécessité de configuration).

Par contre là où je suis agréablement surpris, c'est sur la tarification des métriques. Ces deux métriques ne sont pas considérées comme différentes :
> servers.host1.maMetrique
> servers.host2.maMetrique

Sur les autres plateformes style InfluxDB que j'ai testées juste avant graphite, je passais par des tags pour éviter la sur-tarification. Mais sur Graphite, la puissance des requêtes est typiquement sur ce genre de noms, donc passer par des tags aurait été inutile et j'avais peur de voir le nombre de métriques exploser (surtout en environnement load balancé)... Ce n'est pas le cas, donc merci.

En conclusion, super boulot, j'attends avec impatience la version managée.
Et j'attends aussi la possibilité de pouvoir envoyer des alertes, car j'aimerais par exemple recevoir un SMS, un mail, ou appeler un script lorsque le CPU est trop haut (scalabilité automatique), ou bien si une erreur 500 est remontée.

FlorianP1,

Il faut que tu fasses attention, car dans ton exemple, ce sont deux séries temporelles différentes. Il en va de même pour les séries suivantes :

os.cpu{host=1}
os.cpu{host=2}

Elles sont aussi différentes.

Petit spoil, il s'appelle omni :).

Oui, je confondais les deux, mais c'est totalement ce que je veux !

Et pour le spoil **omni**, il est disponible ? :p

Petite précision par rapport à une approche Graphite classique, on remap automatiquement la structure hiérarchisée en metric{tags}, par exemple :

server.host_1.dc.gra.metric.cpu(...)
devient :
server.host_1.dc.gra.metric.cpu{server=host_1,dc=gra,metric=cpu}

Ce qui signifie que dans les cas où le mapping automatique fonctionne bien, ça ouvre la possibilité de tirer partie de la structure en tags via les autres protocoles et ainsi d'opérer des réductions ou agrégations sur les labels/tags.

Omni sera disponible d'ici quelques jours, le temps de peaufiner la documentation. On a vraiment hâte car on pense que c'est réponse adaptée aux usages actuels, dont la promesse serait : devops friendly & scalable.