Knowledge Distillation: cómo “comprimir” un modelo grande en uno pequeño (sin destrozar la calidad)

INTELIGENCIA ARTIFICIAL · MODELOS · EFICIENCIA

1. Qué es knowledge distillation (y por qué no es solo “hacerlo más pequeño”)

La distilación de conocimiento se popularizó con el paper de Hinton y compañía: en vez de entrenar un modelo pequeño solo con etiquetas “duras” (correcto/incorrecto), lo entrenas para imitar las salidas de un modelo grande (el “teacher”). El modelo pequeño (el “student”) aprende un mapa más rico del problema.

Piensa en esto como aprender a conducir: no es lo mismo que alguien te diga “gira a la derecha” que ver cómo conduce un experto cuando hay lluvia, tráfico y una rotonda mal señalizada. La distilación captura parte de esa “intuición” del teacher.

2. La magia está en los “soft targets”: lo que se transfiere de verdad

Cuando entrenas con etiquetas duras, le dices al modelo: “esta clase es 1, las demás 0”. En distillation, en cambio, usas la distribución de probabilidades del teacher: “esta opción parece 0,62, esta otra 0,21, y esta 0,09…”.

¿Por qué eso importa? Porque ahí vive lo que Hinton llamó dark knowledge: relaciones finas entre alternativas. Por ejemplo, si estás clasificando animales, “lobo” y “perro” deberían estar más cerca que “lobo” y “avión”. Aunque la etiqueta correcta sea solo una, la forma en que el teacher reparte probabilidad enseña estructura.

Para que esa distribución sea más informativa se usa la temperatura (T), que “suaviza” la softmax. A mayor T, menos picos y más señal en las alternativas:

p(i) = softmax(z(i) / T)  →  si T sube, la distribución se “abre” y el student aprende mejor las segundas opciones.

En la práctica, el entrenamiento mezcla dos objetivos: (1) que el student acierte la etiqueta real y (2) que se parezca al teacher. Eso evita que el student aprenda únicamente “tics” del teacher y se olvide de la verdad del dataset.

3. Distillation en LLM: no solo “probabilidades”, también estilo, formato y decisiones

Con LLM, distilar es un poco más “artesanal” que en clasificación, porque el output es una secuencia de tokens y el vocabulario es enorme. Aun así, la idea se mantiene: el student aprende a aproximar la distribución del teacher token a token y, además, a replicar comportamientos: formato de respuesta, tono, estructura, “fidelidad” a instrucciones y consistencia.

Aquí tienes cuatro cosas que se suelen transferir (a veces combinadas):

• Logits o probabilidades del teacher (la distillation “clásica” aplicada a next-token prediction).
• Secuencias generadas por el teacher (pseudo-datos): el teacher escribe, el student aprende a escribir parecido.
• Preferencias (ranking): el teacher o un modelo juez decide qué respuesta es mejor y el student aprende esa preferencia.
• Representaciones internas (más avanzado): alinear capas, attention o embeddings para copiar “cómo piensa”.

Si estás decidiendo arquitectura (distillation vs RAG vs fine-tuning, o todo a la vez), te puede ayudar este mapa mental: RAG vs fine-tuning vs agentes: cómo elegir.

4. La receta práctica: cómo destilar sin perder (demasiado) en el camino

Te dejo una receta que funciona bien como “base” en equipos de producto. No es la única, pero sí una de las más repetibles:

Paso 1: define el contrato del modelo pequeño

Antes de entrenar nada: ¿qué tiene que hacer el student exactamente? No “ser inteligente”, sino algo medible: responder tickets con un formato concreto, clasificar intents, redactar propuestas en un estilo, o asistir a un agente interno con límites claros.

Paso 2: construye un dataset que parezca tu realidad

Si distilas con datos que no se parecen a producción, el student aprenderá un mundo inventado. Mete ejemplos reales (anonimizados), casos borde, prompts raros, y también “no hacer”: cuándo debe decir que no, cuándo pedir contexto, cuándo abstenerse.

Paso 3: deja al teacher trabajar (pero controla la calidad)

Genera respuestas del teacher con instrucciones consistentes. Si puedes, produce varias opciones por prompt y guarda señales útiles: longitud, confianza, si citó fuentes internas, si siguió el formato.

Paso 4: entrena el student con mezcla inteligente

Mezcla datos humanos (cuando existan) con datos del teacher. Y si tu distillation es token-level, valora estrategias prácticas: guardar top-k logits en vez del vocabulario completo, filtrar ejemplos “alucinados”, y reentrenar iterativamente.

Paso 5: evalúa como si fueras a pagar cada fallo

La distilación te puede dar respuestas “más baratas” que parecen buenas… hasta que un caso borde te rompe el flujo. Evalúa con un conjunto fijo (golden set), métricas de formato, tasas de rechazo correctas y, si aplica, win-rate contra el teacher.

Un truco mental: no compares solo “calidad media”, compara calidad mínima aceptable. La cola de errores es donde se esconde el coste real (soporte, reputación, riesgos).

5. Cuándo funciona (y cuándo te vas a dar contra la pared)

Distillation no es magia. Es una apuesta: “puedo capturar suficiente comportamiento del teacher en un modelo más pequeño”. Estas son las señales más comunes de éxito y de fracaso:

6. El “x10” de ahorro: dónde sale y por qué a veces es real

El ahorro “x10” aparece cuando pasas de un modelo grande a uno con un orden de magnitud menos de parámetros y/o menos coste por token. En inferencia, la cuenta suele parecerse a esto:

• Memoria: menos parámetros → menos VRAM → hardware más barato o más concurrencia por GPU.
• Throughput: menos compute por token → más tokens/segundo → menos latencia y menos coste por respuesta.
• Arquitectura: si además reduces contexto, cacheas o haces RAG, el ahorro se multiplica.
• Operación: modelos pequeños son más fáciles de desplegar (y de mover a entornos controlados).

Pero ojo: no siempre es lineal. A veces el modelo pequeño necesita más tokens para llegar a la misma respuesta, o comete errores que luego te obligan a reintentar (y eso anula el ahorro). Por eso distillation funciona mejor cuando el “contrato” es claro y el comportamiento está bien delimitado.

7. Distillation y modelos pequeños: el puente hacia “IA en local”

Si alguna vez has pensado “me encantaría que esto corriera en un móvil, un portátil o un servidor pequeño”, distillation suele ser parte del camino. No siempre es suficiente por sí sola (quantization y optimización de inferencia ayudan muchísimo), pero es una de las formas más directas de llevar comportamiento de un modelo grande a un modelo que sí cabe donde te interesa.

Si te atrae esta tendencia, te recomiendo leer: Small Language Models: por qué la IA “pequeña” importa (y cómo cambia el móvil).

8. Cómo evitar el clásico “parece igual… hasta que lo usas”

Distilar bien no es “entrenar y ya”. Es control de calidad con mentalidad de producción. Tres recomendaciones prácticas:

• Evalúa por escenarios, no por promedios: casos borde, ambigüedades, inputs “sucios”, formatos estrictos.
• Mide coste total: latencia, tokens por tarea, reintentos, escalados al modelo grande “por si acaso”.
• Define KPIs de calidad: tasa de cumplimiento de formato, precisión en datos críticos, y señales de seguridad.

Si quieres aterrizar esa parte de medición (sin autoengañarte), aquí encaja muy bien: KPIs para un proyecto de IA: cómo medir resultados de verdad.

9. Distillation no compite con quantization, pruning o RAG: se llevan bien

Un error común es pensar “tengo que elegir una”. En la vida real, los equipos combinan:

• Distillation para copiar comportamiento y reducir tamaño de forma “inteligente”.
• Quantization para bajar memoria y acelerar inferencia sin reentrenar tanto.
• RAG para no pedirle al modelo que memorice tu conocimiento cambiante.
• Fine-tuning para especializar (y luego, si toca, destilar esa especialización a un student).

La combinación típica “ganadora” en producto suele ser: RAG + un modelo mediano y, cuando el uso escala, destilar a un modelo pequeño para el 80% de casos, dejando el modelo grande como “fallback” para el 20% difícil.

10. Checklist final: si mañana tuvieras que distilar un LLM

Si te quedas con una sola idea, que sea esta: distillation es una técnica de ingeniería de producto. No se trata de “hacerlo más pequeño” por deporte. Se trata de capturar el comportamiento que te importa y pagar menos por cada respuesta, sin convertir la calidad en un casino.