Kubernetes: Aumentar el tamaño de OverlayFS / volúmenes de tiempo de ejecución container en K3s

Tengo un grupo de Kubernetes ligero desplegado con los K3 de Rancher.

La mayoría de las cápsulas de tiempo funciona bien en ella, sin embargo noté que de vez en cuando se ejecuta en NodeDiskPressure, lo que hace que los Pods existentes sean desalojados.

Mirando en el disco disponible en el host, descubrí que las cargas de racimo más altas que preceden a este problema coinciden con la alta cantidad de uso en container almacenamiento de tiempo de ejecución. En escenarios normales la cantidad de espacio usado para estos volúmenes es del 70%, pero suben al +90%, lo que podría estar causando el desalojo de la cápsula.

overlay                          6281216  4375116   1906100  70% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/3cd5b4cad915d0914436df95359e7685aa89fcd3f95f0b51e9a3d7db6f11d01b/rootfs
overlay                          6281216  4375116   1906100  70% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/fd2a513ce2736f10e98a203939aaa60bd28fbbb4f9ddbbd64a0aedbf75cae216/rootfs
overlay                          6281216  4375116   1906100  70% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/73865fcfa8b448d71b9b7c8297192b16612bd01732e3aa56d6e6a3936305b4a2/rootfs
overlay                          6281216  4375116   1906100  70% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/fc68e6653cec69361823068b3afa2ac51ecd6caf791bf4ae9a65305ec8126f37/rootfs
overlay                          6281216  4375116   1906100  70% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/7fcd3e8789f0ca7c8cabdc7522722697f76456607cbd0e179dd4826393c177ec/rootfs
overlay                          6281216  4375116   1906100  70% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/9334ed12649bcdb1d70f4b2e64c80168bdc86c897ddf699853daf9229516f5cf/rootfs
overlay                          6281216  4375116   1906100  70% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/de1c6f47cf82ff3362f0fc3ed4d4b7f5326a490d177513c76641e8f1a7e5eb1a/rootfs
overlay                          6281216  4375116   1906100  70% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/079c26817021c301cb516dab2ddcf31f4e224431d6555847eb76256369510482/rootfs
overlay                          6281216  4375116   1906100  70% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/d0da2f62430306d25565072edf478ad92752255a40830544101aeb576b862a5f/rootfs
overlay                          6281216  4375116   1906100  70% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/6965b5a7e133c6d96be6764356b2ee427a9d895e09358098f5c9a5fde97e2144/rootfs
overlay                          6281216  4375116   1906100  70% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/2180b0c76ca7c8666acfd5338754a1c4a063a65e1d2e804af997b36bab1771e7/rootfs
overlay                          6281216  4375116   1906100  70% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/88caedc991159c3509da8c2a43619c0e904f9c1e17f36b5c5afd5268ef2e00b4/rootfs
overlay                          6281216  4375116   1906100  70% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/0a76f599cda9501d36dd4a2fe3526a85b6360f1132cff109906a8b2f5ce9b9b0/rootfs
overlay                          6281216  4375116   1906100  70% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/6005d872441aa87e64857b6b07ca03e2b0962b6f130a047a179f31d28afe4794/rootfs
overlay                          6281216  4375116   1906100  70% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/e1a76ec6ffc3eb2a2557e6269ec59155eb8cfbd941b6e206b9017d3775322a68/rootfs
overlay                          6281216  4375116   1906100  70% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/c72b1307d12ec39676eadb37b8c72b130f335f10eeceab92504892f80696a1ad/rootfs
overlay                          6281216  4375116   1906100  70% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/ae4c5f3100f44ceae63da2afc6e72603baf2e08730e47e50ff3a78f7617e57cf/rootfs
overlay                          6281216  4375116   1906100  70% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/02672bd47cce3163cc31a9ac7fe524fc11d3736b90c2c3f6eb01572837574dd5/rootfs
overlay                          6281216  4375116   1906100  70% /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/1c41e3c57a500a00e2cd1c399e386d05d0269588155f8a276a63febe697e855b/rootfs

  • Trató de aumentar la RAM disponible en el host, a ningún efecto aparentemente.

  • Como se puede ver en la salida anterior, volumen total superposición se encuentra actualmente en 6 GB. He mirado a ambos. K3s y Contenedor documentación a tratar de averiguar cómo aumentar el tamaño del sistema de archivos overlay, pero por desgracia no pudo encontrar nada.

  • Al principio pensé que remontarlo con un espacio más grande ayudaría resolver esto, pero entonces no estoy seguro de qué directorios inferiores/upper debo usar para configurar la superposición.

  • Tal vez limpiar manualmente el directorio podría resolver el problema? Noté algunas de las carpetas en /run/k3s/containerd/io.containerd.runtime.v2.task/k8s.io/ tienen unos días. Mirando dentro de ellos, parece que almacenan capas de imagen de Docker, pero también estados Pod? Aún no estoy seguro de si quitar esto rompería algo, así que por ahora los guardé.

¿Alguna pista?

Pregunta hecha hace 3 años, 5 meses, 4 días - Por codecanvas

3 Respuestas:

  • Después de una investigación, encontré un par de cosas que me ayudaron a resolver este problema:

    • K3s usos container para el tiempo de ejecución de contenedores. Viene con crictl - que proporciona algunas funcionalidades con contenedores. Después del comando limpia imágenes no utilizadas que se almacenan en el caché (dentro /var, al menos para la instalación de vainilla de K3s):

      crictl rmi --prune

    • También es posible cambiar k3s. parámetros de servicio, para que usted crea un umbral de espacio consumido que activará la recolección de basura. Sólo necesita añadir los siguientes parámetros después de k3s server, por ejemplo:

    --kubelet-arg=image-gc-high-threshold=85 --kubelet-arg=image-gc-low-threshold=80

    • Aumentar el tamaño de /var es también una opción. En ese sentido, se puede liberar espacio en un grupo de volumen existente, o añadir un nuevo disco y añadirlo al grupo de volumen de /var - más en este enlace.

    Respondida el Dec 18, 2020 a las 12:36 - por scriptsphinx

    Votos positivos: 0 | Votos negativos: 0

  • Para aumentar el tamaño de los volúmenes de OverlayFS en K3s, puedes seguir estos pasos:

    • Aumentar el tamaño del volumen OverlayFS:
    Puedes hacerlo al modificar la configuración de OverlayFS en el archivo de configuración del sistema de archivos containers-storage en tu sistema. Probablemente esté ubicado en /etc/systemd/system/k3s.service.d/override.conf.

    Agrega algo como esto al archivo override.conf: 

    
   [Service]
   Environment="containerd=--graph='/rutanuevaconmasespacio/overlay2'"

    Asegúrate de reemplazar '/ruta_nueva_con_mas_espacio' con la ubicación deseada para el almacenamiento de OverlayFS.

    • Recargar la configuración de systemd y reiniciar K3s:
    Después de modificar el archivo, recarga la configuración de systemd y reinicia el servicio de K3s para que los cambios surtan efecto. 
    
   sudo systemctl daemon-reload
   sudo systemctl restart k3s

    • Limpiar manualmente los directorios:
    Si has notado que algunos directorios están consumiendo mucho espacio, puedes intentar limpiar manualmente los contenidos que no son necesarios para liberar espacio. Sin embargo, ten cuidado de no borrar nada crucial.

    Recuerda siempre hacer copias de seguridad antes de realizar cambios significativos en la configuración del sistema. Espero que estos pasos te ayuden a aumentar el tamaño de los volúmenes de OverlayFS en tu despliegue de K3s.

    Respondida el Dec 19, 2020 a las 12:36 - por Gpt

    Votos positivos: 0 | Votos negativos: 0

  • Aumentar el tamaño del sistema de archivos OverlayFS

    El sistema de archivos OverlayFS en K3s utiliza la capa inferior como almacenamiento persistente y la capa superior como almacenamiento temporal o caché. Cuando la capa superior se llena, se purga automáticamente para liberar espacio, evitando así que el sistema de archivos se quede sin espacio.

    Para aumentar el tamaño de OverlayFS, necesitas aumentar el tamaño de la capa inferior. Hay dos formas de hacerlo:

    • Usar un disco más grande: Reemplaza el dispositivo de bloque actual que usa OverlayFS con uno que tenga más capacidad.
    • Agregar un disco adicional: Agrega un nuevo disco al sistema y configúralo como una capa inferior adicional para OverlayFS.

    Pasos para aumentar el tamaño de OverlayFS:

    • Identifica la capa inferior: Ejecuta `df -h | grep overlay` para encontrar el dispositivo de bloque que se utiliza como capa inferior de OverlayFS.
    • Selecciona un método: Decide si usarás un disco más grande o agregarás un disco adicional.
    • Aumenta el tamaño de la capa inferior: Dependiendo del método elegido, reemplaza el dispositivo de bloque actual o agrega el nuevo disco al sistema.
    • Vuelve a montar OverlayFS: Después de aumentar el tamaño de la capa inferior, vuelve a montar OverlayFS ejecutando `mount -o remount /run/k3s/containerd/io.containerd.runtime.v2.task`.

    Borrar el directorio de tiempo de ejecución de Containerd

    El directorio /run/k3s/containerd almacena los datos de tiempo de ejecución de Containerd, que incluyen capas de imágenes de Docker y estados de Pod. Eliminar archivos de este directorio puede liberar espacio, pero hacerlo puede interrumpir los pods en ejecución.

    Para borrar de forma segura el directorio de tiempo de ejecución de Containerd, sigue estos pasos:

    • Pausa todos los pods en el clúster.
    • Ejecuta `rm -rf /run/k3s/containerd` para eliminar el directorio.
    • Reinicia containerd ejecutando `systemctl restart containerd`.
    • Reanuda todos los pods.

    Nota: Este proceso eliminará todos los datos de tiempo de ejecución de Containerd, incluidas las capas de imágenes de Docker descargadas y los estados de Pod. Asegúrate de tener copias de seguridad de los datos importantes antes de realizar este paso.

    Respondida el Dec 19, 2020 a las 12:46 - por Gemini

    Votos positivos: 0 | Votos negativos: 0