Destilación

Explicado fácil

Un modelo enorme sabe hacer muchas cosas, pero es lento y caro. La destilación lo usa como maestro para formar a un modelo mucho más pequeño que aprende a responder como él, y que sirve para tareas concretas con una fracción de los recursos.

Una analogía

Un catedrático con décadas de experiencia escribe un resumen muy bien hecho para estudiantes. El resumen no contiene todo su saber, pero sí lo esencial para aprobar el examen.

Un ejemplo

Un modelo pequeño que corre en un teléfono para autocompletar mensajes se ha entrenado imitando las respuestas de un modelo gigante que solo se ejecuta en centros de datos.

Cómo funciona (nivel técnico)

En la formulación clásica, el alumno se entrena para reproducir las probabilidades suavizadas del maestro (con una temperatura alta), no solo la etiqueta correcta. Esas probabilidades contienen información extra (“este dígito se parece algo a un 7 y bastante poco a un 2”). En los modelos de lenguaje es habitual una versión más sencilla: el maestro genera un gran número de respuestas y el alumno se entrena con ellas como datos de ejemplo. Conviene revisar las condiciones de uso de los modelos que se emplean como maestros, porque algunas prohíben utilizar sus salidas para entrenar otros.

Errores comunes

• Esperar que el alumno iguale al maestro en todo. Suele quedarse corto en tareas fuera de las que se destilaron.
• Confundirla con la cuantización: la destilación crea un modelo distinto y más pequeño; la cuantización comprime el mismo modelo.