Instalar y utilizar una gráfica para Ollama + Docker LLM en Ubuntu

Tiempo de lectura: 3 minutos

Hoy vamos a aprender a cómo instalar una gráfica en Ubuntu y utilizarla con nuestro servidor Ollama con Docker.

Lo primero de todo es asegurarte de que el sistema está actualizado antes de tocar nada.

Conéctate por SSH a la máquina y ejecuta

sudo apt update && sudo apt upgrade -y

Esto puede tardar unos minutos dependiendo de cuántas actualizaciones pendientes tenga. Cuando termine, no reinicies todavía.

Si no tienes Docker instalado, el siguiente paso es instalarlo.

La forma más limpia en Ubuntu 22.04 es añadir el repositorio oficial de Docker en lugar de usar el paquete del sistema, que suele ir desactualizado.

Ejecuta esto en orden:

sudo apt install -y ca-certificates curl gnupg
sudo install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
sudo chmod a+r /etc/apt/keyrings/docker.gpg
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update
sudo apt install -y docker-ce docker-ce-cli containerd.io docker-compose-plugin

Después añade tu usuario al grupo docker para no tener que usar sudo en cada comando:

sudo usermod -aG docker $USER

Esto no tiene efecto hasta que cierres sesión y vuelvas a entrar, pero puedes hacerlo ahora y ya quedará listo.

El siguiente bloque es instalar el NVIDIA Container Toolkit, que es lo que permite que los contenedores Docker accedan a la GPU.

Esto puedes hacerlo perfectamente sin que la tarjeta esté puesta, el toolkit simplemente estará instalado y esperando.

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt update
sudo apt install -y nvidia-container-toolkit

Ahora crea el docker-compose.yml que va a levantar tanto Ollama como Open WebUI. Puedes ponerlo en /opt/ollama o donde prefieras. El contenido es este:

services:
  ollama:
    image: ollama/ollama
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - ollama_data:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: unless-stopped
    ports:
      - "3000:8080"
    volumes:
      - open-webui_data:/app/backend/data
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    depends_on:
      - ollama

volumes:
  ollama_data:
  open-webui_data:

Con esto ya tienes todo preparado del lado software.

Ahora toca la parte física: apaga la máquina, instala la RTX 4060 Ti en el slot PCIe, conecta los cables de alimentación de la fuente nueva a la tarjeta (la 4060 Ti usa un conector de 16 pines o adaptador 3×8), y arranca.

Una vez que la máquina esté de nuevo online, lo primero que tienes que hacer es instalar los drivers de NVIDIA:

sudo ubuntu-drivers autoinstall
sudo reboot

El reboot es obligatorio aquí. Cuando vuelva a arrancar, verifica que el driver detecta la tarjeta correctamente con nvidia-smi. Deberías ver algo como «NVIDIA GeForce RTX 4060 Ti» con 16376 MiB de memoria. Si aparece eso, todo va bien.

Ahora configura Docker para que use el runtime de NVIDIA y reinicia el servicio:

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

Ve al directorio donde pusiste el docker-compose.yml y levanta los servicios:

cd /opt/ollama
docker compose up -d

Verifica que los contenedores están corriendo con docker ps. Deberías ver ollama y open-webui en estado Up.

Ahora descarga el modelo. Este comando lanza la descarga dentro del contenedor, pesa unos 9GB así que tardará un rato:

docker exec ollama ollama pull qwen3:14b

Mientras descarga puedes abrir otra terminal y ejecutar nvidia-smi en bucle para ver que cuando empiece a inferir la GPU aparece con uso activo: watch -n 1 nvidia-smi.