Saltar al contenido principal
IT BIBLEIniciar sesión

Blog

Esta publicación fue traducida del inglés por IA. Leer el original

Parchear VMs de homelab con Ansible: primero el snapshot, un host a la vez

Mi rutina de parcheo era entrar por SSH, hacer apt upgrade y esperar lo mejor. Este es el pequeño playbook de Ansible que estoy armando para hacer un snapshot primero, parchear una VM a la vez y detenerse cuando algo no vuelve a arrancar.

PriyaInTheCloset
· 6 min read
Parchear VMs de homelab con Ansible: primero el snapshot, un host a la vez

Photo by Clint Patterson on Unsplash

Durante mucho tiempo mi rutina de parcheo fue: entrar por SSH a una VM, ejecutar apt upgrade, echar un vistazo a la salida y pasar a otra cosa. Funcionó hasta que dejó de funcionar, y la única vez que falló fue con una actualización del kernel en una VM que casualmente hacía de DNS. A nadie en casa le importa mi versión del kernel. Les importa que el Wi-Fi "dejó de funcionar".

Este post trata sobre el playbook que estoy armando para reemplazar esa rutina. Los objetivos son modestos. Hacer un snapshot antes de tocar nada. Parchear un host a la vez. Reiniciar solo cuando haga falta. Comprobar que el host volvió antes de pasar al siguiente. No llevo mucho tiempo usándolo, así que tómalo como un borrador en progreso. Iré señalando las partes de las que no estoy seguro.

Si quieres ver una vez la versión manual antes de automatizarla, el laboratorio Install Debian termina con la actualización de la lista de paquetes y la instalación de las actualizaciones pendientes.

Practicarás la aplicación manual de actualizaciones en un servidor nuevo, que es justo el paso que repite este playbook.

Por qué no simplemente unattended-upgrades

unattended-upgrades es una buena opción, y sigo usándolo para las actualizaciones de seguridad en un par de VMs. Mi reticencia tiene que ver con el orden y la visibilidad. Parchean cuando se dispara el timer, no saben cuál de mis VMs es el resolver, y una ejecución fallida es fácil de pasar por alto. Un playbook se ejecuta cuando yo lo lanzo, en el orden que yo elijo, y me dice qué pasó.

El inconveniente es obvio: un playbook solo parchea cuando me acuerdo de ejecutarlo. Es la misma debilidad de la que intento escapar. Ahora mismo me inclino por usar ambos. Actualizaciones de seguridad desatendidas como base, y el playbook para las actualizaciones completas en un calendario que yo controlo. No estoy seguro de que esa sea la división correcta.

El inventario

El inventario lleva una variable extra por host, el ID de VM de Proxmox, para que el playbook sepa qué snapshot tomar.

all:
  children:
    lab_vms:
      hosts:
        dns1:
          vmid: 110
        docker1:
          vmid: 120
        git1:
          vmid: 130
        devvm:
          vmid: 140

Aquí el orden de los hosts importa. Con serial: 1, Ansible recorre los hosts en el orden del inventario, así que pongo primero las VMs menos críticas. Si algo se rompe, se rompe en la VM de desarrollo y no en la de la que depende la familia.

El playbook

Esta es una versión recortada.

- name: Patch lab VMs
  hosts: lab_vms
  serial: 1
  become: true

tasks:
    - name: Snapshot the VM before patching
      ansible.builtin.command: >
        qm snapshot {{ vmid }}
        pre_patch_{{ ansible_date_time.date | replace('-', '_') }}
      delegate_to: pve1
      changed_when: true

- name: Upgrade packages
      ansible.builtin.apt:
        update_cache: true
        cache_valid_time: 3600
        upgrade: dist

- name: Check whether a reboot is pending
      ansible.builtin.stat:
        path: /var/run/reboot-required
      register: reboot_flag

- name: Reboot if needed
      ansible.builtin.reboot:
        reboot_timeout: 600
      when: reboot_flag.stat.exists

    - name: Confirm the host is healthy
      ansible.builtin.command: systemctl is-system-running --wait
      register: sysstate
      changed_when: false
      failed_when: sysstate.stdout not in ['running']

Algunas notas sobre por qué está cada pieza.

Snapshot primero, delegado al nodo

La tarea del snapshot se ejecuta en el nodo de Proxmox, no en la VM, que es lo que hace delegate_to: pve1. Usé el comando simple qm snapshot para que el paso sea fácil de leer y de ejecutar a mano. Hay un módulo de snapshots de Proxmox en la colección community.general, pero no lo he usado, así que no voy a responder por él.

Lo que no tengo claro: el usuario SSH del nodo necesita permiso para ejecutar qm, y todavía no he decidido si es mejor un usuario de automatización dedicado o root con una clave. Además, become: true también se aplica a la tarea delegada, así que comprueba que haga lo que esperas en tu nodo.

Un snapshot es un punto de retorno, no un backup. Vive en el mismo almacenamiento que la VM. También crece a medida que cambia el disco, así que no dejes los antiguos por ahí. Yo los borro a mano después de unos días sin que nada se rompa. Automatizar esa limpieza está en mi lista.

La comprobación de reinicio

Ubuntu crea /var/run/reboot-required después de ciertas actualizaciones. Debian a secas no lo hace por defecto, que yo sepa. En hosts Debian la comprobación con stat dirá en silencio "no hace falta reiniciar" para siempre, incluso después de una actualización del kernel. Prefiero admitirlo antes que fingir que la comprobación es universal. Para las VMs Debian estoy considerando reiniciar siempre, o comparar el kernel en ejecución con el más reciente instalado. Todavía no he construido ninguna de las dos.

La comprobación de salud

systemctl is-system-running --wait espera a que termine el arranque e informa running si todas las unidades están bien. Informa degraded si alguna unidad falló. Es una comprobación poco sutil, ya que un solo timer roto hará fallar todo. Para mí es aceptable: una unidad fallida después de parchear es algo que quiero revisar de todos modos. Si hace demasiado ruido, cámbiala por una comprobación dirigida al servicio, como consultar una URL de health con el módulo uri.

Qué detiene la ejecución

Mi lectura de la documentación es que, cuando un host falla en un lote serial, Ansible aborta los lotes restantes por defecto, porque la tasa de fallos supera el max_fail_percentage por defecto, que es cero. Ese es el comportamiento que quiero. Si docker1 no vuelve, el playbook no debería seguir con git1. Lo probé una vez haciendo fallar a propósito una tarea en el primer host, y los hosts siguientes se omitieron. Una prueba no es una demostración, así que seguiré vigilándolo.

Cosas que deliberadamente todavía no automatizo

  • Actualizaciones de imágenes de container. Los stacks de Compose tienen su propio camino de actualización, y yo fijo los tags de las imágenes. Mezclar eso con el playbook del sistema operativo difuminaría el radio de impacto.
  • Los propios nodos de Proxmox. Parchear el hypervisor tumba todas las VMs que aloja. Eso lo hago manualmente, con un plan de a dónde van las VMs.
  • El momento. Lo ejecuto una noche entre semana, cuando nadie está a mitad de una película. Lanzarlo desde cron eliminaría la comprobación de "alguien está mirando", y no estoy listo para renunciar a eso.

Qué haría diferente

Si empezara de nuevo, añadiría a mi rutina una ejecución de prueba con --check antes de la real. No es perfecta con las tareas command, que no se ejecutan en modo check a menos que le indiques cómo, pero igualmente muestra qué hosts tienen actualizaciones pendientes.

La lección más importante es que el snapshot es la parte que cambió mi comportamiento. Saber que puedo revertir en un minuto me pone muchísimo menos nervioso a la hora de ejecutar la actualización.

Algunas preguntas para quienes parchean más VMs que yo. ¿Ejecutáis actualizaciones completas con un calendario, o solo actualizaciones de seguridad? ¿Alguna vez habéis revertido desde un snapshot después de una ejecución de parches, y qué se rompió? ¿Y cómo gestionáis específicamente la VM de DNS: la parcheáis la primera, la última o a mano?

proxmoxansiblepatching
Compartir

Have a question about this guide?

Create a free account to ask the community and join the discussion. Members who run the real thing answer every day.