Lange Zeit sah meine Patch-Routine so aus: per SSH auf eine VM, apt upgrade ausführen, kurz die Ausgabe überfliegen, weiter zur nächsten. Das hat funktioniert, bis es nicht mehr funktioniert hat, und zwar bei einem Kernel-Update auf einer VM, die zufällig DNS betreibt. Niemand im Haus interessiert sich für meine Kernel-Version. Sie interessiert nur, dass das WLAN „nicht mehr geht“.
In diesem Beitrag geht es um das Playbook, das ich gerade baue, um diese Routine zu ersetzen. Die Ziele sind bescheiden. Einen Snapshot erstellen, bevor ich irgendetwas anfasse. Einen Host nach dem anderen patchen. Nur neu starten, wenn es nötig ist. Prüfen, ob der Host wieder da ist, bevor es mit dem nächsten weitergeht. Ich setze das noch nicht lange ein, also betrachtet es als Arbeitsentwurf. Die Stellen, bei denen ich mir unsicher bin, kennzeichne ich.
Wenn ihr die manuelle Variante einmal sehen wollt, bevor ihr automatisiert: Das Install-Debian-Lab endet damit, die Paketliste zu aktualisieren und die ausstehenden Updates zu installieren.
Dort übt ihr, Updates auf einem frisch installierten Server von Hand einzuspielen. Genau diesen Schritt wiederholt das Playbook.
Warum nicht einfach unattended-upgrades
Unattended Upgrades sind eine gute Wahl, und ich nutze sie auf ein paar VMs weiterhin für Sicherheitsupdates. Meine Bedenken betreffen Reihenfolge und Transparenz. Sie patchen, wann immer der Timer auslöst, sie wissen nicht, welche VM mein Resolver ist, und ein fehlgeschlagener Lauf fällt leicht nicht auf. Ein Playbook läuft, wenn ich es starte, in der Reihenfolge, die ich wähle, und sagt mir, was passiert ist.
Der Nachteil liegt auf der Hand: Ein Playbook patcht nur, wenn ich daran denke, es auszuführen. Das ist genau die Schwäche, der ich entkommen will. Aktuell tendiere ich zu beidem: Unattended-Sicherheitsupdates als Untergrenze, das Playbook für vollständige Upgrades nach einem Zeitplan, den ich selbst kontrolliere. Ich bin nicht sicher, ob das die richtige Aufteilung ist.
Das Inventory
Das Inventory enthält pro Host eine zusätzliche Variable, die Proxmox-VM-ID, damit das Playbook weiß, welchen Snapshot es erstellen soll.
all:
children:
lab_vms:
hosts:
dns1:
vmid: 110
docker1:
vmid: 120
git1:
vmid: 130
devvm:
vmid: 140
Die Reihenfolge der Hosts ist hier wichtig. Mit serial: 1 arbeitet Ansible die Hosts in der Reihenfolge des Inventorys ab, deshalb stehen die unkritischsten VMs ganz oben. Wenn etwas kaputtgeht, dann auf der Dev-VM und nicht auf der, von der die Familie abhängt.
Das Playbook
Hier eine gekürzte Version.
- name: Patch lab VMs
hosts: lab_vms
serial: 1
become: true
tasks:
- name: Snapshot the VM before patching
ansible.builtin.command: >
qm snapshot {{ vmid }}
pre_patch_{{ ansible_date_time.date | replace('-', '_') }}
delegate_to: pve1
changed_when: true
- name: Upgrade packages
ansible.builtin.apt:
update_cache: true
cache_valid_time: 3600
upgrade: dist
- name: Check whether a reboot is pending
ansible.builtin.stat:
path: /var/run/reboot-required
register: reboot_flag
- name: Reboot if needed
ansible.builtin.reboot:
reboot_timeout: 600
when: reboot_flag.stat.exists
- name: Confirm the host is healthy
ansible.builtin.command: systemctl is-system-running --wait
register: sysstate
changed_when: false
failed_when: sysstate.stdout not in ['running']
Ein paar Anmerkungen dazu, warum jedes Stück da ist.
Erst der Snapshot, delegiert an den Node
Der Snapshot-Task läuft auf dem Proxmox-Node, nicht auf der VM, das bewirkt delegate_to: pve1. Ich habe den einfachen qm snapshot-Befehl verwendet, damit der Schritt leicht zu lesen und von Hand auszuführen ist. In der Collection community.general gibt es ein Proxmox-Snapshot-Modul, aber ich habe es nicht benutzt, also kann ich nicht dafür garantieren.
Unsicher bin ich hier: Der SSH-User für den Node braucht die Berechtigung, qm auszuführen, und ich habe mich noch nicht entschieden, ob ein dedizierter Automatisierungs-User besser ist als root mit Key. Außerdem gilt become: true auch für den delegierten Task, prüft also, ob das auf eurem Node das tut, was ihr erwartet.
Ein Snapshot ist ein Rollback-Punkt, kein Backup. Er liegt auf demselben Storage wie die VM. Außerdem wächst er mit, wenn sich die Disk verändert, lasst alte Snapshots also nicht herumliegen. Ich lösche sie von Hand, nachdem ein paar Tage lang nichts kaputtgegangen ist. Dieses Aufräumen zu automatisieren steht auf meiner Liste.
Die Neustart-Prüfung
Ubuntu legt nach bestimmten Updates /var/run/reboot-required an. Reines Debian macht das meines Wissens standardmäßig nicht. Auf Debian-Hosts meldet die stat-Prüfung deshalb für immer stillschweigend „kein Neustart nötig“, selbst nach einem Kernel-Update. Das gebe ich lieber zu, als so zu tun, als wäre die Prüfung universell. Für Debian-VMs überlege ich, entweder bedingungslos neu zu starten oder den laufenden Kernel mit dem neuesten installierten zu vergleichen. Beides habe ich noch nicht gebaut.
Der Health-Check
systemctl is-system-running --wait wartet, bis der Boot abgeschlossen ist, und meldet running, wenn alle Units in Ordnung sind. Wenn irgendeine Unit fehlgeschlagen ist, meldet es degraded. Das ist eine grobe Prüfung, denn eine einzige kaputte Timer-Unit lässt das Ganze fehlschlagen. Für mich ist das akzeptabel: Eine fehlgeschlagene Unit nach dem Patchen will ich mir ohnehin ansehen. Wenn es zu viel Rauschen erzeugt, kann man es durch eine Prüfung ersetzen, die gezielt den Dienst testet, zum Beispiel indem man mit dem uri-Modul eine Health-URL aufruft.
Was den Lauf stoppt
Mein Verständnis der Doku ist: Wenn ein Host in einem Serial-Batch fehlschlägt, bricht Ansible standardmäßig die übrigen Batches ab, weil die Fehlerquote den Standardwert von max_fail_percentage (null) überschreitet. Das ist das Verhalten, das ich haben will. Wenn docker1 nicht wieder hochkommt, soll das Playbook nicht mit git1 weitermachen. Ich habe das einmal getestet, indem ich auf dem ersten Host absichtlich einen Task fehlschlagen ließ, und die späteren Hosts wurden übersprungen. Ein Test ist kein Beweis, deshalb beobachte ich das weiter.
Dinge, die ich bewusst noch nicht automatisiere
- Container-Image-Updates. Compose-Stacks haben ihren eigenen Update-Weg, und ich pinne Image-Tags. Das in das OS-Playbook zu mischen, würde den Blast Radius verwischen.
- Die Proxmox-Nodes selbst. Wenn man den Hypervisor patcht, fallen alle darauf laufenden VMs aus. Das mache ich manuell, mit einem Plan, wohin die VMs ausweichen.
- Das Timing. Ich führe es an einem Wochentagabend aus, wenn niemand mitten im Film steckt. Ein Lauf per Cron würde die Kontrolle „jemand schaut zu“ entfernen, und darauf will ich noch nicht verzichten.
Was ich anders machen würde
Wenn ich noch einmal anfangen würde, würde ich vor dem echten Lauf einen --check-Dry-Run in meine Routine aufnehmen. Mit command-Tasks ist er nicht perfekt, denn die laufen im Check-Modus nicht, solange man ihnen nicht sagt, wie, aber er zeigt trotzdem, welche Hosts ausstehende Upgrades haben.
Die größere Erkenntnis ist, dass der Snapshot der Teil ist, der mein Verhalten verändert hat. Zu wissen, dass ich in einer Minute zurückrollen kann, macht mich deutlich weniger nervös, das Upgrade überhaupt auszuführen.
Ein paar Fragen an alle, die mehr VMs patchen als ich. Fahrt ihr vollständige Upgrades nach Zeitplan oder nur Sicherheitsupdates? Habt ihr nach einem Patch-Lauf schon einmal von einem Snapshot zurückgerollt, und was ist kaputtgegangen? Und wie geht ihr speziell mit der DNS-VM um: als Erste patchen, als Letzte oder von Hand?
Have a question about this guide?
Create a free account to ask the community and join the discussion. Members who run the real thing answer every day.