A vous de configurer un VPN entre votre réseau et le serveur.
De façon assez classique, utiliser wireguard sur le routeur et le serveur.
Si le routeur n'est pas un linux que l'on peut gérer, coller un raspberry dans un coin avec le vpn, puis créer une route statique, sur les imprimantes par exemple.
Sinon, voir s'il est possible de configurer un vpn sur le routeur existant, et déployer la même solution sur le serveur.
Dans tous les cas, tous est possible, puisque vous êtes aux commandes (vous êtes root sur le serveur).
Non, OVH ne propose pas ça (en tt cas pas à cette échelle).
Si aucun contrôle n'est possible côté routeur, il faut bidouiller avec, par exemple, un raspberry, pour y mettre un wireguard, idem sur le serveur. Puis, bricoler avec des routes statiques (à voir si faisable sur le routeur, sinon directement sur les postes concernés).
Ou alors, autre possibilité, intercaler un routeur linux entre le rzo et la livebox...
Pas forcément complexe, mais il faut les compétences pour le faire, et ça rajoute un point de panne potentielle.