Tiempo de lectura: 2 minutos Hoy vamos a ver cómo podemos añadir acceso a GPU desde Docker para poderlo utilizar con Ollama u otros servicios. Para darle acceso a la GPU a tu contenedor Ollama, necesitas asegurarte de que tu host tenga soporte para GPU y que el contenedor pueda usarla. Esto se logra configurando correctamente el entorno Docker y … Leer más
Tiempo de lectura: < 1 minuto Hoy os voy a enseñar cómo podemos desplegar DeepSeek R1 el nuevo modelo Chino en un Docker compose usando Ollama. Es un proceso muy sencillo. Primero vamos a crear el docker compose con la imagen de Ollama: Levantamos el contenedor: Y ahora vamos a descargar el modelo correspondiente a deepseek r1 7b Y aparecerá un … Leer más
Tiempo de lectura: 2 minutos Hoy vamos a aprender cómo podemos obtener un stream de datos de un LLm usando React Native. Por defecto React Native no permite obtener un text/event-stream usando librerías como Axios o Fetch. Para obtenerlo vamos a usar la librería react-native-sse que maneja event source. Una vez instalada vamos a implementar nuestro código. Tenemos que tener … Leer más
Tiempo de lectura: 2 minutos Con estos parámetros podemos mejorar la llamada a Ollama desde una petición. Principales parámetros para mejorar la eficiencia: Ejemplo de Configuración Optimizada: Prueba estas configuraciones y verifica si la generación es más rápida y eficiente en tu hardware. isMa Ingeniero en Informática, Investigador, me encanta crear cosas o arreglarlas y darles una nueva vida. Escritor … Leer más
Tiempo de lectura: 6 minutos Hoy vamos a crear una versión custom de Llama 3.2 mediante la técnica de Fine-tunning usando Google Colab cómo máquina de entrenamiento. Primero tenemos que ir a Google Colab y crear un nuevo cuaderno. https://colab.research.google.com/ Una vez creado vamos a ir a Entorno de ejecución o Runtime y pulsamos en cambiar tipo de entorno de … Leer más
Tiempo de lectura: 2 minutos Hoy vamos a montar un docker compose qué es capaz de generar una web con interfaz de chat para cualquier modelo compatible con ollama. Lo primero que tenemos que hacer es crear este docker-compose.yml basado en open-webui En mi caso lo voy a acoplar en el mismo docker-compose.yml de ollama: Ahora será tan sencillo como … Leer más
Tiempo de lectura: 4 minutos Hola, hoy vamos a aprender cómo podemos desplegar gratis el modelo de IA Llama 2 usando Google Colab y Fast API. Me baso en el tutorial que encontré navegando https://medium.com/@yuhongsun96/host-a-llama-2-api-on-gpu-for-free-a5311463c183 En este ejemplo crearé un pequeño programa que se desplegará en Google Colab. Lo primero que vamos a hacer es acceder a Google Colab: https://colab.research.google.com/?hl=es … Leer más
