llama

Tiempo de lectura: 4 minutosLos modelos de lenguaje como Llama, GPT o Mistral funcionan gracias a un concepto fundamental: la estructura del prompt. Cuando interactúas con un LLM, lo que envías no es un simple texto, sino un mensaje con un rol concreto. Estos roles influyen profundamente en cómo el modelo interpreta la conversación y genera sus respuestas. En … Leer más

Tiempo de lectura: 2 minutosCuando hablamos de inteligencia artificial y modelos de lenguaje, es importante entender que no todos los modelos son iguales. Podemos distinguir principalmente entre modelos generales y modelos de instrucciones. Modelos generales Ejemplo:Pregunta: “Explícame cómo funciona una red neuronal”Respuesta de un modelo general: puede dar una explicación amplia, incluir conceptos innecesarios o saltar de tema. Modelos … Leer más

Tiempo de lectura: 2 minutosEn 2025 hay multiples modelos IA y no todos ellos son de uso libre para uso comercial. En este post te explico cómo puedes elegir el mejor para cada uso que quieras darle y una comparación de todos ellos. Modelos destacados de uso libre Llama 3 (Meta)Disponible en versiones 7B, 13B y 70B. Mistral 7B … Leer más

Tiempo de lectura: 2 minutosActivar el acceso a la GPU es imprescindible si necesitamos arrancar un modelo LLM y utilizar GPU con VRAM. Requisitos previos Asegúrate de tener una GPU NVIDIA en tu máquina con los drivers instalados y actualizados.Verifica con: Deberías ver tu GPU y versión de driver.También necesitas Docker instalado. Instalar NVIDIA Container Toolkit Esto permite que … Leer más

Tiempo de lectura: 2 minutosEs un servidor inferencial optimizado (usa paged attention) que soporta modelos como Llama 3, Mistral, Gemma, Phi, Qwen, etc. Ofrece una API OpenAI-compatible, perfecta para integrarse fácilmente. Vamos a crear el docker compose que nos permitirá desplegarlo: Archivo: docker-compose.yml Cómo usarlo Probar que funciona Deberías recibir una respuesta tipo JSON del modelo. Si queremos acceder … Leer más