Cómo activar GPU para poder acceder desde un contenedor Docker por ejemplo para un modelo LLM

Tiempo de lectura: 2 minutosActivar el acceso a la GPU es imprescindible si necesitamos arrancar un modelo LLM y utilizar GPU con VRAM. Requisitos previos Asegúrate de tener una GPU NVIDIA en tu máquina con los drivers instalados y actualizados.Verifica con: Deberías ver tu GPU y versión de driver.También necesitas Docker instalado. Instalar NVIDIA Container Toolkit Esto permite que … Leer más








