Aller au contenu principal
IT BIBLESe connecter

Blog

Cet article a été traduit de l'anglais par une IA. Lire l'original

Patcher les VM d'un homelab avec Ansible : snapshot d'abord, un hôte à la fois

Ma routine de patching, c'était SSH, apt upgrade, et croiser les doigts. Voici le petit playbook Ansible que je construis pour faire un snapshot d'abord, patcher une VM à la fois, et m'arrêter dès que quelque chose ne redémarre pas.

PriyaInTheCloset
· 6 min read
Patcher les VM d'un homelab avec Ansible : snapshot d'abord, un hôte à la fois

Photo by Clint Patterson on Unsplash

Pendant longtemps, ma routine de patching était la suivante : me connecter en SSH à une VM, lancer apt upgrade, jeter un œil à la sortie, passer à la suite. Ça marchait, jusqu'au jour où ça n'a plus marché, et la seule fois où ça a coincé, c'était une mise à jour du noyau sur une VM qui, par hasard, faisait tourner le DNS. Personne à la maison ne se soucie de ma version du noyau. Ce qui les intéresse, c'est que le Wi-Fi « ne marche plus ».

Cet article présente le playbook que je suis en train de construire pour remplacer cette routine. Les objectifs sont modestes. Faire un snapshot avant de toucher à quoi que ce soit. Patcher un hôte à la fois. Ne redémarrer que si nécessaire. Vérifier que l'hôte est bien reparti avant de passer au suivant. Je ne l'utilise pas depuis longtemps, donc considérez-le comme un brouillon fonctionnel. Je signalerai les points dont je ne suis pas sûr.

Si vous voulez voir une fois la version manuelle avant de l'automatiser, le lab Install Debian se termine par l'actualisation de la liste des paquets et l'installation des mises à jour en attente.

Vous vous entraînerez à appliquer les mises à jour à la main sur un serveur tout neuf, c'est exactement l'étape que ce playbook répète.

Pourquoi pas simplement unattended-upgrades

Les mises à jour automatiques (unattended upgrades) sont un bon choix, et je les utilise toujours pour les mises à jour de sécurité sur quelques VM. Mes réserves portent sur l'ordre et la visibilité. Elles patchent dès que le timer se déclenche, elles ne savent pas quelle VM est mon résolveur, et une exécution en échec passe facilement inaperçue. Un playbook s'exécute quand je le lance, dans l'ordre que je choisis, et me dit ce qui s'est passé.

Le compromis est évident : un playbook ne patche que si je pense à le lancer. C'est exactement la faiblesse que j'essaie de fuir. Pour l'instant, je penche pour les deux : les mises à jour de sécurité automatiques comme socle, et le playbook pour les mises à niveau complètes selon un calendrier que je contrôle. Je ne suis pas certain que ce soit la bonne répartition.

L'inventaire

L'inventaire porte une variable supplémentaire par hôte, l'ID de VM Proxmox, pour que le playbook sache quel snapshot prendre.

all:
  children:
    lab_vms:
      hosts:
        dns1:
          vmid: 110
        docker1:
          vmid: 120
        git1:
          vmid: 130
        devvm:
          vmid: 140

L'ordre des hôtes compte ici. Avec serial: 1, Ansible parcourt les hôtes dans l'ordre de l'inventaire, donc je place les VM les moins critiques en premier. Si quelque chose casse, ça casse sur la VM de dev et pas sur celle dont dépend toute la famille.

Le playbook

Voici une version allégée.

- name: Patch lab VMs
  hosts: lab_vms
  serial: 1
  become: true

tasks:
    - name: Snapshot the VM before patching
      ansible.builtin.command: >
        qm snapshot {{ vmid }}
        pre_patch_{{ ansible_date_time.date | replace('-', '_') }}
      delegate_to: pve1
      changed_when: true

- name: Upgrade packages
      ansible.builtin.apt:
        update_cache: true
        cache_valid_time: 3600
        upgrade: dist

- name: Check whether a reboot is pending
      ansible.builtin.stat:
        path: /var/run/reboot-required
      register: reboot_flag

- name: Reboot if needed
      ansible.builtin.reboot:
        reboot_timeout: 600
      when: reboot_flag.stat.exists

    - name: Confirm the host is healthy
      ansible.builtin.command: systemctl is-system-running --wait
      register: sysstate
      changed_when: false
      failed_when: sysstate.stdout not in ['running']

Quelques notes sur la raison d'être de chaque morceau.

Snapshot d'abord, délégué au nœud

La tâche de snapshot s'exécute sur le nœud Proxmox, pas sur la VM, ce que fait delegate_to: pve1. J'ai utilisé la simple commande qm snapshot pour que l'étape soit facile à lire et à lancer à la main. Il existe un module de snapshot Proxmox dans la collection community.general, mais je ne l'ai pas utilisé, donc je ne m'en porte pas garant.

Ce dont je ne suis pas sûr : l'utilisateur SSH du nœud doit avoir le droit d'exécuter qm, et je n'ai pas décidé si un utilisateur d'automatisation dédié valait mieux que root avec une clé. Par ailleurs, become: true s'applique aussi à la tâche déléguée, donc vérifiez que ça fait bien ce que vous attendez sur votre nœud.

Un snapshot est un point de retour en arrière, pas une sauvegarde. Il vit sur le même stockage que la VM. Il grossit aussi à mesure que le disque change, donc ne laissez pas traîner les anciens. Je les supprime à la main après quelques jours sans incident. Automatiser ce nettoyage est dans ma liste.

La vérification de redémarrage

Ubuntu crée /var/run/reboot-required après certaines mises à jour. Debian pur ne le fait pas par défaut, à ma connaissance. Sur les hôtes Debian, la vérification avec stat dira donc silencieusement « pas de redémarrage nécessaire » pour toujours, même après une mise à jour du noyau. Je préfère l'admettre plutôt que de prétendre que la vérification est universelle. Pour les VM Debian, j'envisage de redémarrer systématiquement, ou de comparer le noyau en cours d'exécution avec le plus récent installé. Je n'ai encore construit ni l'un ni l'autre.

La vérification de santé

systemctl is-system-running --wait attend la fin du démarrage et renvoie running si toutes les unités sont en bon état. Il renvoie degraded si une unité a échoué. C'est une vérification grossière, puisqu'une seule unité timer cassée fait échouer l'ensemble. Pour moi, c'est acceptable : une unité en échec après un patch, je veux de toute façon y jeter un œil. Si c'est trop bruyant, remplacez-la par une vérification ciblant le service, par exemple en interrogeant une URL de health check avec le module uri.

Ce qui arrête l'exécution

Ma lecture de la documentation est que lorsqu'un hôte échoue dans un lot serial, Ansible abandonne par défaut les lots restants, parce que le taux d'échec dépasse la valeur par défaut de max_fail_percentage, qui est de zéro. C'est le comportement que je veux. Si docker1 ne redémarre pas, le playbook ne doit pas continuer vers git1. Je l'ai testé une fois en faisant volontairement échouer une tâche sur le premier hôte, et les hôtes suivants ont été ignorés. Un seul test ne prouve rien, donc je continuerai à surveiller ça.

Ce que je n'automatise volontairement pas encore

  • Les mises à jour d'images de containers. Les stacks Compose ont leur propre chemin de mise à jour, et je fixe mes tags d'images. Mélanger ça au playbook de l'OS brouillerait le périmètre d'impact.
  • Les nœuds Proxmox eux-mêmes. Patcher l'hyperviseur met à l'arrêt toutes les VM qu'il héberge. Je le fais à la main, avec un plan pour savoir où vont les VM.
  • Le moment d'exécution. Je le lance en semaine, le soir, quand personne n'est en plein film. Le lancer depuis cron supprimerait la vérification « quelqu'un surveille », et je ne suis pas prêt à y renoncer.

Ce que je ferais autrement

Si je recommençais, j'ajouterais un dry run avec --check à ma routine avant l'exécution réelle. Il est imparfait avec les tâches command, qui ne s'exécutent pas en mode check sauf si on leur dit comment faire, mais il montre quand même quels hôtes ont des mises à niveau en attente.

La leçon la plus importante, c'est que le snapshot est ce qui a changé mon comportement. Savoir que je peux revenir en arrière en une minute me rend beaucoup moins nerveux à l'idée de lancer la mise à niveau.

Quelques questions pour ceux d'entre vous qui patchent plus de VM que moi. Faites-vous des mises à niveau complètes selon un calendrier, ou seulement les mises à jour de sécurité ? Avez-vous déjà fait un rollback depuis un snapshot après un passage de patchs, et qu'est-ce qui avait cassé ? Et comment gérez-vous spécifiquement la VM DNS : en premier, en dernier, ou à la main ?

proxmoxansiblepatching
Partager

Have a question about this guide?

Create a free account to ask the community and join the discussion. Members who run the real thing answer every day.