Cómo Crear tu Propio Modelo Personalizado con Llama 3.2 + Google Colab (Fine-Tuning Paso a Paso)

Tiempo de lectura: 2 minutos

¿Quieres enseñar a tu modelo de IA conocimientos súper específicos? ¿Necesitas que responda como un experto en un nicho concreto? Entonces el fine-tuning es tu mejor amigo… ¡y hacerlo es más fácil de lo que parece!

En este tutorial aprenderás cómo entrenar Llama 3.2 con tu propio dataset utilizando Google Colab y Unsloth, y generar un modelo que podrás usar en Ollama para tus apps, proyectos o APIs.

Perfecto si quieres crear una IA para tu tienda, juego, negocio, público objetivo… lo que sea.

Preparar tu Dataset

El dataset debe estar en formato JSONL, donde cada línea tiene esta estructura:

{"instruction":"Pregunta del usuario", "input":"", "output":"La respuesta correcta"}

Ejemplo:

{"instruction":"¿Qué es QuieroLibros?", "input":"", "output":"QuieroLibros es una plataforma donde los usuarios compran y venden libros de segunda mano."}

Consejo: mínimo 100-300 ejemplos para notar cambios.
Cuanto más claro y homogéneo sea el estilo, más consistente será tu IA.

Montamos el Entorno en Google Colab

Instala Unsloth:

!pip install unsloth

Carga el modelo base:

from unsloth import FastLanguageModel
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="unsloth/llama-3.2-1b",
)

Carga el dataset:

from datasets import load_dataset
dataset = load_dataset("json", data_files="dataset.jsonl")

Entrenamiento (Fine-Tuning)

Configuramos LoRA (más rápido y barato):

model = FastLanguageModel.get_peft_model(
    model,
    r=16,
    lora_alpha=32,
    lora_dropout=0.05,
)

Entrenamos:

from unsloth import SFTTrainer

trainer = SFTTrainer(
    model=model,
    tokenizer=tokenizer,
    train_dataset=dataset["train"],
    max_seq_length=2048,
    batch_size=1,
    lr=2e-5,
    epochs=3,
)

trainer.train()

Exportar el Modelo para Ollama

model.save_pretrained("mi_modelo_lora")
tokenizer.save_pretrained("mi_modelo_lora")

Descarga la carpeta mi_modelo_lora.

Dentro de Ollama, crea un archivo Modelfile:

FROM ./mi_modelo_lora
TEMPLATE """{{ .Prompt }}"""

Y finalmente:

ollama create mi-modelo -f Modelfile
ollama run mi-modelo

¡Listo! Tienes tu modelo personalizado con tu conocimiento.

Cómo Probarlo Bien

Pregúntale cosas específicas del dataset para comprobar si ha aprendido realmente.

Ejemplo:

“Explica qué es QuieroLibros y cómo funciona.”

Si contesta con tu estilo, ¡éxito total!

Consejos para subir de nivel

Añade datasets variados pero coherentes.

Usa chain-of-thought si quieres razonamientos más largos.

Actualiza tu dataset según lo que observes en tus pruebas.

Para modelos más grandes, usa entrenamiento gradual.

Entrenar tu propio modelo ya no es cosa de empresas gigantes. Con Llama 3.2 + Unsloth + Google Colab tienes potencia, facilidad y control total.

Este proceso te permite crear IA con personalidad, centrada en tu proyecto y perfectamente alineada con tu propósito. Y eso, amigo/a, es oro puro para destacar hoy en día.