Mostrar una interfaz web de chat usando open-webui para llama 3.2 o cualquier modelo compatible con ollama usando docker compose

Mostrar una interfaz web de chat usando open-webui para llama 3.2 o cualquier modelo compatible con ollama usando docker compose

Tiempo de lectura: 2 minutosHoy vamos a montar un docker compose qué es capaz de generar una web con interfaz de chat para cualquier modelo compatible con ollama. Lo primero que tenemos que hacer es crear este docker-compose.yml basado en open-webui En mi caso lo voy a acoplar en el mismo docker-compose.yml de ollama: Ahora será tan sencillo como … Leer más

Desplegar Llama 2 en Google Colab y acceder mediante FAST-API y el tunnel Ngrok

Desplegar Llama 2 en Google Colab y acceder mediante FAST-API y el tunnel Ngrok

Tiempo de lectura: 4 minutosHola, hoy vamos a aprender cómo podemos desplegar gratis el modelo de IA Llama 2 usando Google Colab y Fast API. Me baso en el tutorial que encontré navegando https://medium.com/@yuhongsun96/host-a-llama-2-api-on-gpu-for-free-a5311463c183 En este ejemplo crearé un pequeño programa que se desplegará en Google Colab. Lo primero que vamos a hacer es acceder a Google Colab: https://colab.research.google.com/?hl=es … Leer más