Tiempo de lectura: 2 minutos Hoy vamos a aprender cómo podemos obtener un stream de datos de un LLm usando React Native. Por defecto React Native no permite obtener un text/event-stream usando librerías como Axios o Fetch. Para obtenerlo vamos a usar la librería react-native-sse que maneja event source. Una vez instalada vamos a implementar nuestro código. Tenemos que tener … Leer más
Tiempo de lectura: 2 minutos Con estos parámetros podemos mejorar la llamada a Ollama desde una petición. Principales parámetros para mejorar la eficiencia: Ejemplo de Configuración Optimizada: Prueba estas configuraciones y verifica si la generación es más rápida y eficiente en tu hardware. isMa Ingeniero en Informática, Investigador, me encanta crear cosas o arreglarlas y darles una nueva vida. Escritor … Leer más
Tiempo de lectura: 6 minutos Hoy vamos a crear una versión custom de Llama 3.2 mediante la técnica de Fine-tunning usando Google Colab cómo máquina de entrenamiento. Primero tenemos que ir a Google Colab y crear un nuevo cuaderno. https://colab.research.google.com/ Una vez creado vamos a ir a Entorno de ejecución o Runtime y pulsamos en cambiar tipo de entorno de … Leer más
Tiempo de lectura: 2 minutos Hoy vamos a montar un docker compose qué es capaz de generar una web con interfaz de chat para cualquier modelo compatible con ollama. Lo primero que tenemos que hacer es crear este docker-compose.yml basado en open-webui En mi caso lo voy a acoplar en el mismo docker-compose.yml de ollama: Ahora será tan sencillo como … Leer más
Tiempo de lectura: 4 minutos Hola, hoy vamos a aprender cómo podemos desplegar gratis el modelo de IA Llama 2 usando Google Colab y Fast API. Me baso en el tutorial que encontré navegando https://medium.com/@yuhongsun96/host-a-llama-2-api-on-gpu-for-free-a5311463c183 En este ejemplo crearé un pequeño programa que se desplegará en Google Colab. Lo primero que vamos a hacer es acceder a Google Colab: https://colab.research.google.com/?hl=es … Leer más
