Generalización
Capacidad de un modelo para mantener un buen rendimiento en ejemplos nuevos, no utilizados para ajustar sus parámetros.
Explicado fácil
Un modelo generaliza cuando lo aprendido a partir de sus ejemplos de entrenamiento también le sirve para resolver casos nuevos. No basta con acertar los ejercicios que ya ha visto.
Una analogía
Es la diferencia entre memorizar las respuestas de un examen de práctica y aprender el tema para poder resolver preguntas distintas.
Un ejemplo
Un clasificador entrenado con fotos de perros de día debería reconocer perros en fotos nuevas y variadas. Si solo acierta con imágenes casi idénticas a las de entrenamiento, ha aprendido poco que pueda generalizar.
Cómo funciona (nivel técnico)
La generalización se estima evaluando el modelo en datos separados del entrenamiento y, durante el desarrollo, de la validación. La diferencia entre el error de entrenamiento y el de prueba se relaciona con la brecha de generalización. Depende de la cantidad y representatividad de los datos, la capacidad del modelo, el proceso de selección y posibles cambios entre la distribución de entrenamiento y la de uso.
Errores comunes
- Confundir un error bajo en entrenamiento con un modelo que funcionará bien en producción.
- Creer que más datos garantizan generalización si son repetitivos, poco representativos o están contaminados.
- Suponer que un buen resultado en una prueba cubre todos los contextos y grupos de usuarios.