Añadir GPU en Docker para Ollama u otros servicios

Tiempo de lectura: 2 minutos

Hoy vamos a ver cómo podemos añadir acceso a GPU desde Docker para poderlo utilizar con Ollama u otros servicios.

Para darle acceso a la GPU a tu contenedor Ollama, necesitas asegurarte de que tu host tenga soporte para GPU y que el contenedor pueda usarla. Esto se logra configurando correctamente el entorno Docker y añadiendo soporte para GPU en tu docker-compose.yml. Sigue estos pasos:

1. Verificar soporte de GPU en tu máquina

• Instala los controladores de la GPU de NVIDIA en tu host.
• Instala NVIDIA Container Toolkit en tu máquina.

Verifica que tu sistema detecte la GPU con:

nvidia-smi

2. Configurar docker-compose.yml para usar GPU

Modifica tu archivo docker-compose.yml para añadir el acceso a la GPU. Actualízalo así:

services:
  ollama:
    image: ollama/ollama
    container_name: ollama
    restart: unless-stopped
    ports:
      - 11434:11434
    volumes:
      - ./models:/root/.ollama  # Montar carpeta local en el contenedor
    deploy:
      resources:
        reservations:
          devices:
            - capabilities: [gpu]  # Habilitar acceso a GPU

3. Si estás ejecutando sin Swarm Mode (opcional)

Si no usas Docker Swarm, añade esto en lugar de deploy:

runtime: nvidia

Tu archivo completo quedaría así:

services:
  ollama:
    image: ollama/ollama
    container_name: ollama
    restart: unless-stopped
    ports:
      - 11434:11434
    volumes:
      - ./models:/root/.ollama  # Montar carpeta local en el contenedor
    runtime: nvidia

4. Reiniciar el contenedor

Aplica los cambios con:

docker-compose down
docker-compose up -d

5. Verificar que la GPU está activa

Dentro del contenedor, ejecuta:

docker exec -it ollama nvidia-smi

Si ves la información de la GPU, todo está correctamente configurado. Ahora tu modelo Ollama podrá usar la GPU para mejorar el rendimiento.