XGBoost
Implementación optimizada de gradient boosting con árboles de decisión, diseñada para entrenar modelos predictivos de forma eficiente.
Explicado fácil
XGBoost construye un conjunto de árboles de decisión, uno tras otro. Cada nuevo árbol intenta corregir parte de los errores que cometieron los anteriores; al combinarse, pueden formar un predictor potente para datos tabulares.
Una analogía
Es como revisar una respuesta en varias rondas: cada revisor estudia lo que falló en las rondas anteriores y añade una corrección pequeña, en vez de empezar de cero.
Un ejemplo
Con registros de clientes, sus compras anteriores y si renovaron una suscripción, XGBoost puede entrenar un modelo que estime la probabilidad de renovación para nuevos registros.
Cómo funciona (nivel técnico)
XGBoost optimiza una función objetivo que combina la pérdida predictiva y términos de regularización sobre los árboles. Utiliza información de gradientes y segundas derivadas para proponer divisiones, además de técnicas de ingeniería para manejar datos dispersos y escalar el entrenamiento. Puede utilizarse en clasificación, regresión y otros objetivos compatibles.
Errores comunes
- Confundir XGBoost con una red neuronal: su método principal es el ensamblado de árboles.
- Suponer que siempre supera a modelos más simples o a otros métodos; el resultado depende del problema y la evaluación.
- Evaluarlo solo sobre los datos de entrenamiento, donde un conjunto de árboles demasiado complejo puede sobreajustarse.