Optimización
Proceso de ajustar los parámetros de un modelo para minimizar una función objetivo, normalmente una función de pérdida medida sobre datos.
Explicado fácil
Optimizar un modelo consiste en ir cambiando sus parámetros para que sus respuestas se acerquen a las deseadas. La función de pérdida mide el error y el optimizador decide cómo actualizar esos parámetros.
Una analogía
Es como afinar una radio: mueves el dial, escuchas si la señal mejora y corriges de nuevo hasta reducir el ruido.
Un ejemplo
Al entrenar un clasificador de imágenes, un optimizador puede actualizar los pesos de la red tras cada lote para reducir la pérdida de clasificación.
Cómo funciona (nivel técnico)
Se plantea un objetivo L(theta) dependiente de los parámetros theta. Métodos como el descenso del gradiente usan derivadas de la pérdida para elegir actualizaciones. En aprendizaje automático se emplean a menudo variantes estocásticas, que estiman el gradiente a partir de lotes de datos. La optimización puede ser no convexa y el resultado depende del método, la inicialización y sus hiperparámetros.
Errores comunes
- Confundir la función que se minimiza con el algoritmo que ajusta los parámetros: son piezas distintas.
- Suponer que encontrar un mínimo de entrenamiento garantiza buen rendimiento con datos nuevos.
- Pensar que todo problema de IA se resuelve con descenso del gradiente; hay otros optimizadores y otros tipos de objetivos.