Entrenamiento

Explicado fácil

Entrenar un modelo es enseñarle con ejemplos. Se le enseña un dato, el modelo da una respuesta, se compara con la correcta y se corrige un poquito. Se repite millones o miles de millones de veces.

Una analogía

Como un jugador que practica tiros libres. Cada lanzamiento falla un poco o acierta; el jugador ajusta la fuerza y el ángulo. Con miles de intentos, el gesto se afina.

Un ejemplo

Para entrenar un modelo de lenguaje se le muestra texto con la siguiente palabra oculta (“El gato se subió al ___”) y se le pide adivinarla. Al repetirlo con cantidades gigantescas de texto, aprende gramática, datos y estilos.

Cómo funciona (nivel técnico)

El bucle básico es: (1) tomar un lote de datos, (2) calcular la salida del modelo, (3) medir el error con una función de pérdida, (4) calcular gradientes por retropropagación y (5) actualizar los pesos con un optimizador como Adam. Un recorrido completo por los datos se llama época. Entrenar un modelo grande puede requerir miles de GPU durante semanas y un coste de millones de euros. Normalmente hay una fase de preentrenamiento general y luego fases de ajuste como el fine-tuning o el RLHF.

Errores comunes

• Confundir entrenamiento con inferencia. El primero es costoso y ocurre antes; la segunda es el uso diario.
• Pensar que el modelo sigue aprendiendo de cada conversación. Normalmente sus pesos quedan fijos después del entrenamiento.