Ensambles (Random Forest) & Series de Tiempo
Bootstrap Aggregating (Bagging), descorrelación de árboles, Feature Importance y validación temporal con TimeSeriesSplit.
Objetivos Estratégicos de la Sesión
Hoja de ruta para los métodos de ensamble robustos y modelado de series temporales.
La Sabiduría de las Multitudes
Comprender cómo promediar múltiples árboles no correlacionados reduce la varianza sin incrementar el sesgo.
Algoritmo Random Forest
Dominar el doble mecanismo estocástico: muestreo Bootstrap de filas y selección aleatoria de variables en cada nodo.
Importancia de Características
Diferenciar la reducción media de impureza (MDI) de la importancia por permutación para explicar el modelo.
Validación Temporal Rigurosa
Evitar la fuga de datos del futuro (Data Leakage) en series temporales implementando TimeSeriesSplit.
1. La Filosofía del Ensamble: Bagging
Cómo combinar múltiples modelos débiles para forjar un predictor de alta precisión.
Bootstrap Aggregating (Bagging):
Genera $B$ muestras pseudo-independientes del dataset original con reemplazo (Bootstrap). Entrena un árbol profundo en cada muestra y promedia sus predicciones (o vota por mayoría).
- Teorema de la Varianza: Si los modelos fueran perfectamente independientes, la varianza del ensamble caería a $\sigma^2 / B$.
- El Obstáculo de la Correlación: En la realidad, los árboles entrenados con datos similares comparten estructura ($Var = \rho \sigma^2 + \frac{1-\rho}{B} \sigma^2$).
- Evaluación Out-Of-Bag (OOB): Cada muestra Bootstrap deja fuera en promedio al 36.8% de los datos ($1 - 1/e \approx 0.632$), permitiendo validar sin conjunto de test externo.
Agregación de B predictores Bootstrap
# Réplica Bootstrap 1: [D1, D1, D3, D4, D4] -> OOB: {D2, D5}
# Réplica Bootstrap 2: [D2, D2, D3, D5, D5] -> OOB: {D1, D4}
# Réplica Bootstrap 3: [D1, D2, D4, D4, D5] -> OOB: {D3}
El score OOB proporciona una estimación insesgada del error de generalización en paralelo al entrenamiento.
2. Random Forest: Descorrelación de Árboles
La genialidad de Leo Breiman: inyectar aleatoriedad en el espacio de características.
Subespacios Aleatorios
En cada nodo, el algoritmo elige un subconjunto aleatorio de m variables candidatas de las p totales.
¿Por qué descorrelacionar es indispensable?
Si una variable es sumamente poderosa, en Bagging simple TODOS los árboles la elegirán en el nodo raíz, generando predictores casi idénticos con alta correlación $\rho$.
Al forzar al árbol a elegir solo entre $m \approx \sqrt{p}$ variables al azar, se obliga a las otras variables a liderar divisiones, creando árboles estructuralmente distintos y no correlacionados.
Al derrumbar $\rho \to 0$, el término $\rho \sigma^2$ de la varianza colapsa, permitiendo que el promedio de 100 o 500 árboles alcance precisiones espectaculares.
3. Importancia de Características: MDI vs Permutación
Descubriendo cuáles son las variables que realmente gobiernan las decisiones del bosque.
Mean Decrease in Impurity (MDI)
Basado en Gini (Rápido)Suma la reducción total de impureza aportada por cada variable en todas las divisiones de todos los árboles del bosque.
- ▪ Cálculo instantáneo durante el entrenamiento (`feature_importances_`).
- ▪ Sesgo severo: infla artificialmente la importancia de variables con muchas categorías numéricas o valores continuos únicos.
- ▪ Se calcula sobre datos de entrenamiento (puede reflejar sobreajuste).
Permutation Feature Importance
Agnóstico & RobustoBaraja aleatoriamente los valores de una columna en el conjunto de test y mide la caída en el score del modelo.
- ▪ Si la variable es vital, romper su relación con el target derrumba el score.
- ▪ Si el score no cambia, la variable es redundante o irrelevante.
- ▪ Completamente imparcial frente al tipo de dato o cardinalidad de la variable.
4. Comparativa: Árbol Simple vs Random Forest vs Boosting
Cuadro sinóptico de las tres grandes familias de algoritmos basados en árboles.
| Algoritmo | Estrategia de Ensamble | Mecanismo Principal | Riesgo de Sobreajuste | Velocidad |
|---|---|---|---|---|
| Árbol Simple (CART) | Ninguna (Modelo individual) | Partición binaria recursiva | Muy Alto | Instantánea |
| Random Forest | Bagging (Paralelo) | Bootstrap + Subespacios aleatorios | Muy Bajo (Auto-regularizado) | Rápido (Paralelizable con n_jobs=-1) |
| Gradient Boosting (XGBoost/LGBM) | Boosting (Secuencial) | Entrena cada árbol sobre los residuos del anterior | Moderado (Requiere early stopping) | Moderado a Alto |
5. Fundamentos de Series de Tiempo
Estructura matemática de datos indexados cronológicamente.
Descomposición Clásica de Series:
Una serie $Y_t$ se descompone en tres dinámicas: $Y_t = T_t + S_t + R_t$ (aditiva) o $Y_t = T_t \times S_t \times R_t$ (multiplicativa).
- Tendencia ($T_t$): Dirección de largo plazo de la serie (crecimiento o declive estructural).
- Estacionalidad ($S_t$): Patrones cíclicos repetitivos que ocurren en frecuencias fijas (horas del día, meses del año).
- Ruido Residual ($R_t$): Variaciones erráticas estocásticas no predecibles.
- Estacionariedad Débil: Media $\mathbb{E}[Y_t] = \mu$ y varianza $Var(Y_t) = \sigma^2$ constantes; autocovarianza depende solo del retardo $k$.
Diferenciación de 1° orden para inducir estacionariedad (remover tendencia)
print(f"p-value: {res[1]:.4f}")
# ADF Statistic: -4.821
# p-value: 0.0001 -> Estacionaria al 99%
Si p-valor < 0.05, se rechaza la hipótesis nula de raíz unitaria: la serie diferenciada es estacionaria y lista para modelar.
6. La Trampa del Data Leakage: TimeSeriesSplit
Por qué la validación cruzada tradicional K-Fold destruye la validez en series temporales.
Causalidad Temporal
El futuro jamás debe usarse para predecir el pasado. El barajado aleatorio en series temporales es un error metodológico fatal.
Mecánica de TimeSeriesSplit (Ventanas Expansivas):
Entrena en el bloque $[t_1, \dots, t_{100}]$ y evalúa en el período inmediato futuro $[t_{101}, \dots, t_{120}]$.
Expande el entrenamiento incorporando el bloque anterior $[t_1, \dots, t_{120}]$ y evalúa en $[t_{121}, \dots, t_{140}]$.
Garantiza que la evaluación simule con fidelidad matemática exacta las condiciones reales en las que el modelo operará en producción.
7. Laboratorio Visual: Reducción de Varianza por Ensamble
Aumenta la cantidad de árboles en el bosque para observar cómo la superficie de decisión se suaviza y absorbe el ruido.
Número de Estimadores (n_estimators):
Observa cómo promediar más árboles elimina los bordes fractales de un árbol aislado.8. Ingeniería de Características en Series Temporales
Cómo estructurar un problema de series de tiempo para utilizar modelos tabulares como Random Forest.
Variables de Retardo (Lags)
Memoria HistóricaValores pasados de la misma variable utilizados como predictores de entrada: $y_{t-1}, y_{t-2}, \dots, y_{t-k}$.
- ▪ Capturan la autocorrelación interna del proceso.
-
▪ Creación sencilla con Pandas:
df['lag_1'] = df['y'].shift(1). - ▪ Eliminar las primeras $k$ filas que quedan con valores nulos (NaN).
Estadísticos Móviles (Rolling Windows)
Contexto de TendenciaMedidas agregadas calculadas sobre ventanas temporales deslizantes pasadas.
-
▪ Media móvil pasada:
df['y'].shift(1).rolling(7).mean(). - ▪ Desvío estándar móvil para capturar regímenes de volatilidad.
- ▪ ¡Alerta máxima! Aplicar `.shift(1)` antes del rolling para evitar filtraciones del tiempo $t$.
9. Protocolo de Auditoría para Ensambles y Series
Comprobaciones obligatorias de aseguramiento metodológico.
Auditoría de Ensamble
Tres validaciones obligatorias antes de poner modelos de ensamble o series temporales en producción.
Protocolo Metodológico:
Validar que el error OOB se haya estabilizado en una meseta horizontal. Si aún oscila, aumentar `n_estimators` a 200 o 300.
No confiar ciegamente en el MDI de Gini para variables de negocio; auditar siempre con `permutation_importance` sobre el split de validación.
Comprobar que todas las variables predictoras estén desfasadas al menos un período (`shift(1)`) y que la partición sea exclusivamente cronológica.
¡A Programar en Jupyter Notebooks!
Validación Computacional en Entorno Jupyter Notebooks (Semana 11)
Random Forest
03_random_forest_y_feature_importance.ipynb
Ajuste de RandomForestClassifier, análisis de score OOB y paralelización.
Feature Importance
03_random_forest_y_feature_importance.ipynb
Comparativa de MDI vs Permutation Importance con Scikit-Learn.
Series de Tiempo
04_ajuste_hiperparametros_cross_validation.ipynb
Descomposición de componentes de series y test de estacionariedad ADF.
TimeSeriesSplit
04_ajuste_hiperparametros_cross_validation.ipynb
Implementación de validación cruzada temporal expansiva sin fuga de datos.
45 min: El profesor guía la calibración del Random Forest, la extracción de importancias por permutación y la estructura de TimeSeriesSplit.
75 min: Los estudiantes resuelven los problemas de la Guía 5 (Problemas 5 a 8), modelando una serie de demanda industrial con features de retardo y Random Forest.
Müller, A. C. & Guido, S. (2016)
Capítulo 2 (Ensembles of Decision Trees: Random Forests y Gradient Boosted Trees)
Han, J., Kamber, M. & Pei, J. (2012)
Capítulo 9 (Classification: Advanced Methods - Bagging y Boosting)