Pendant longtemps, ma routine de patching était la suivante : me connecter en SSH à une VM, lancer apt upgrade, jeter un œil à la sortie, passer à la suite. Ça marchait, jusqu'au jour où ça n'a plus marché, et la seule fois où ça a coincé, c'était une mise à jour du noyau sur une VM qui, par hasard, faisait tourner le DNS. Personne à la maison ne se soucie de ma version du noyau. Ce qui les intéresse, c'est que le Wi-Fi « ne marche plus ».
Cet article présente le playbook que je suis en train de construire pour remplacer cette routine. Les objectifs sont modestes. Faire un snapshot avant de toucher à quoi que ce soit. Patcher un hôte à la fois. Ne redémarrer que si nécessaire. Vérifier que l'hôte est bien reparti avant de passer au suivant. Je ne l'utilise pas depuis longtemps, donc considérez-le comme un brouillon fonctionnel. Je signalerai les points dont je ne suis pas sûr.
Si vous voulez voir une fois la version manuelle avant de l'automatiser, le lab Install Debian se termine par l'actualisation de la liste des paquets et l'installation des mises à jour en attente.
Vous vous entraînerez à appliquer les mises à jour à la main sur un serveur tout neuf, c'est exactement l'étape que ce playbook répète.
Pourquoi pas simplement unattended-upgrades
Les mises à jour automatiques (unattended upgrades) sont un bon choix, et je les utilise toujours pour les mises à jour de sécurité sur quelques VM. Mes réserves portent sur l'ordre et la visibilité. Elles patchent dès que le timer se déclenche, elles ne savent pas quelle VM est mon résolveur, et une exécution en échec passe facilement inaperçue. Un playbook s'exécute quand je le lance, dans l'ordre que je choisis, et me dit ce qui s'est passé.
Le compromis est évident : un playbook ne patche que si je pense à le lancer. C'est exactement la faiblesse que j'essaie de fuir. Pour l'instant, je penche pour les deux : les mises à jour de sécurité automatiques comme socle, et le playbook pour les mises à niveau complètes selon un calendrier que je contrôle. Je ne suis pas certain que ce soit la bonne répartition.
L'inventaire
L'inventaire porte une variable supplémentaire par hôte, l'ID de VM Proxmox, pour que le playbook sache quel snapshot prendre.
all:
children:
lab_vms:
hosts:
dns1:
vmid: 110
docker1:
vmid: 120
git1:
vmid: 130
devvm:
vmid: 140
L'ordre des hôtes compte ici. Avec serial: 1, Ansible parcourt les hôtes dans l'ordre de l'inventaire, donc je place les VM les moins critiques en premier. Si quelque chose casse, ça casse sur la VM de dev et pas sur celle dont dépend toute la famille.
Le playbook
Voici une version allégée.
- name: Patch lab VMs
hosts: lab_vms
serial: 1
become: true
tasks:
- name: Snapshot the VM before patching
ansible.builtin.command: >
qm snapshot {{ vmid }}
pre_patch_{{ ansible_date_time.date | replace('-', '_') }}
delegate_to: pve1
changed_when: true
- name: Upgrade packages
ansible.builtin.apt:
update_cache: true
cache_valid_time: 3600
upgrade: dist
- name: Check whether a reboot is pending
ansible.builtin.stat:
path: /var/run/reboot-required
register: reboot_flag
- name: Reboot if needed
ansible.builtin.reboot:
reboot_timeout: 600
when: reboot_flag.stat.exists
- name: Confirm the host is healthy
ansible.builtin.command: systemctl is-system-running --wait
register: sysstate
changed_when: false
failed_when: sysstate.stdout not in ['running']
Quelques notes sur la raison d'être de chaque morceau.
Snapshot d'abord, délégué au nœud
La tâche de snapshot s'exécute sur le nœud Proxmox, pas sur la VM, ce que fait delegate_to: pve1. J'ai utilisé la simple commande qm snapshot pour que l'étape soit facile à lire et à lancer à la main. Il existe un module de snapshot Proxmox dans la collection community.general, mais je ne l'ai pas utilisé, donc je ne m'en porte pas garant.
Ce dont je ne suis pas sûr : l'utilisateur SSH du nœud doit avoir le droit d'exécuter qm, et je n'ai pas décidé si un utilisateur d'automatisation dédié valait mieux que root avec une clé. Par ailleurs, become: true s'applique aussi à la tâche déléguée, donc vérifiez que ça fait bien ce que vous attendez sur votre nœud.
Un snapshot est un point de retour en arrière, pas une sauvegarde. Il vit sur le même stockage que la VM. Il grossit aussi à mesure que le disque change, donc ne laissez pas traîner les anciens. Je les supprime à la main après quelques jours sans incident. Automatiser ce nettoyage est dans ma liste.
La vérification de redémarrage
Ubuntu crée /var/run/reboot-required après certaines mises à jour. Debian pur ne le fait pas par défaut, à ma connaissance. Sur les hôtes Debian, la vérification avec stat dira donc silencieusement « pas de redémarrage nécessaire » pour toujours, même après une mise à jour du noyau. Je préfère l'admettre plutôt que de prétendre que la vérification est universelle. Pour les VM Debian, j'envisage de redémarrer systématiquement, ou de comparer le noyau en cours d'exécution avec le plus récent installé. Je n'ai encore construit ni l'un ni l'autre.
La vérification de santé
systemctl is-system-running --wait attend la fin du démarrage et renvoie running si toutes les unités sont en bon état. Il renvoie degraded si une unité a échoué. C'est une vérification grossière, puisqu'une seule unité timer cassée fait échouer l'ensemble. Pour moi, c'est acceptable : une unité en échec après un patch, je veux de toute façon y jeter un œil. Si c'est trop bruyant, remplacez-la par une vérification ciblant le service, par exemple en interrogeant une URL de health check avec le module uri.
Ce qui arrête l'exécution
Ma lecture de la documentation est que lorsqu'un hôte échoue dans un lot serial, Ansible abandonne par défaut les lots restants, parce que le taux d'échec dépasse la valeur par défaut de max_fail_percentage, qui est de zéro. C'est le comportement que je veux. Si docker1 ne redémarre pas, le playbook ne doit pas continuer vers git1. Je l'ai testé une fois en faisant volontairement échouer une tâche sur le premier hôte, et les hôtes suivants ont été ignorés. Un seul test ne prouve rien, donc je continuerai à surveiller ça.
Ce que je n'automatise volontairement pas encore
- Les mises à jour d'images de containers. Les stacks Compose ont leur propre chemin de mise à jour, et je fixe mes tags d'images. Mélanger ça au playbook de l'OS brouillerait le périmètre d'impact.
- Les nœuds Proxmox eux-mêmes. Patcher l'hyperviseur met à l'arrêt toutes les VM qu'il héberge. Je le fais à la main, avec un plan pour savoir où vont les VM.
- Le moment d'exécution. Je le lance en semaine, le soir, quand personne n'est en plein film. Le lancer depuis cron supprimerait la vérification « quelqu'un surveille », et je ne suis pas prêt à y renoncer.
Ce que je ferais autrement
Si je recommençais, j'ajouterais un dry run avec --check à ma routine avant l'exécution réelle. Il est imparfait avec les tâches command, qui ne s'exécutent pas en mode check sauf si on leur dit comment faire, mais il montre quand même quels hôtes ont des mises à niveau en attente.
La leçon la plus importante, c'est que le snapshot est ce qui a changé mon comportement. Savoir que je peux revenir en arrière en une minute me rend beaucoup moins nerveux à l'idée de lancer la mise à niveau.
Quelques questions pour ceux d'entre vous qui patchent plus de VM que moi. Faites-vous des mises à niveau complètes selon un calendrier, ou seulement les mises à jour de sécurité ? Avez-vous déjà fait un rollback depuis un snapshot après un passage de patchs, et qu'est-ce qui avait cassé ? Et comment gérez-vous spécifiquement la VM DNS : en premier, en dernier, ou à la main ?
Have a question about this guide?
Create a free account to ask the community and join the discussion. Members who run the real thing answer every day.