Unidad 5

Ensambles (Random Forest) & Series de Tiempo

Diapositiva 1 / 12
Cátedra de Métodos Cuantitativos • Clase 11

Ensambles (Random Forest) & Series de Tiempo

Bootstrap Aggregating (Bagging), descorrelación de árboles, Feature Importance y validación temporal con TimeSeriesSplit.

Bagging & Bootstrap Random Forest Breiman TimeSeriesSplit
Usa las flechas ← → o haz clic para avanzar

Objetivos Estratégicos de la Sesión

Hoja de ruta para los métodos de ensamble robustos y modelado de series temporales.

Hoja de Ruta
1

La Sabiduría de las Multitudes

Comprender cómo promediar múltiples árboles no correlacionados reduce la varianza sin incrementar el sesgo.

2

Algoritmo Random Forest

Dominar el doble mecanismo estocástico: muestreo Bootstrap de filas y selección aleatoria de variables en cada nodo.

3

Importancia de Características

Diferenciar la reducción media de impureza (MDI) de la importancia por permutación para explicar el modelo.

4

Validación Temporal Rigurosa

Evitar la fuga de datos del futuro (Data Leakage) en series temporales implementando TimeSeriesSplit.

Ajuste en los notebooks 03_random_forest_y_feature_importance y 04_ajuste_hiperparametros.

1. La Filosofía del Ensamble: Bagging

Cómo combinar múltiples modelos débiles para forjar un predictor de alta precisión.

Fundamentos

Bootstrap Aggregating (Bagging):

Genera $B$ muestras pseudo-independientes del dataset original con reemplazo (Bootstrap). Entrena un árbol profundo en cada muestra y promedia sus predicciones (o vota por mayoría).

  • Teorema de la Varianza: Si los modelos fueran perfectamente independientes, la varianza del ensamble caería a $\sigma^2 / B$.
  • El Obstáculo de la Correlación: En la realidad, los árboles entrenados con datos similares comparten estructura ($Var = \rho \sigma^2 + \frac{1-\rho}{B} \sigma^2$).
  • Evaluación Out-Of-Bag (OOB): Cada muestra Bootstrap deja fuera en promedio al 36.8% de los datos ($1 - 1/e \approx 0.632$), permitiendo validar sin conjunto de test externo.
$$\hat{f}_{bag}(x) = \frac{1}{B} \sum_{b=1}^B \hat{f}^{*b}(x)$$

Agregación de B predictores Bootstrap

bootstrap_sampling.py Muestreo con Reemplazo
# Dataset Original (N = 5): [D1, D2, D3, D4, D5]

# Réplica Bootstrap 1: [D1, D1, D3, D4, D4] -> OOB: {D2, D5}
# Réplica Bootstrap 2: [D2, D2, D3, D5, D5] -> OOB: {D1, D4}
# Réplica Bootstrap 3: [D1, D2, D4, D4, D5] -> OOB: {D3}

El score OOB proporciona una estimación insesgada del error de generalización en paralelo al entrenamiento.

2. Random Forest: Descorrelación de Árboles

La genialidad de Leo Breiman: inyectar aleatoriedad en el espacio de características.

Algoritmo Central
max_features

Subespacios Aleatorios

En cada nodo, el algoritmo elige un subconjunto aleatorio de m variables candidatas de las p totales.

¿Por qué descorrelacionar es indispensable?

1. El Problema del Predictor Dominante

Si una variable es sumamente poderosa, en Bagging simple TODOS los árboles la elegirán en el nodo raíz, generando predictores casi idénticos con alta correlación $\rho$.

2. La Regla de m = sqrt(p)

Al forzar al árbol a elegir solo entre $m \approx \sqrt{p}$ variables al azar, se obliga a las otras variables a liderar divisiones, creando árboles estructuralmente distintos y no correlacionados.

3. Desplome de la Varianza

Al derrumbar $\rho \to 0$, el término $\rho \sigma^2$ de la varianza colapsa, permitiendo que el promedio de 100 o 500 árboles alcance precisiones espectaculares.

3. Importancia de Características: MDI vs Permutación

Descubriendo cuáles son las variables que realmente gobiernan las decisiones del bosque.

Explicabilidad

Mean Decrease in Impurity (MDI)

Basado en Gini (Rápido)

Suma la reducción total de impureza aportada por cada variable en todas las divisiones de todos los árboles del bosque.

  • ▪ Cálculo instantáneo durante el entrenamiento (`feature_importances_`).
  • ▪ Sesgo severo: infla artificialmente la importancia de variables con muchas categorías numéricas o valores continuos únicos.
  • ▪ Se calcula sobre datos de entrenamiento (puede reflejar sobreajuste).
$$MDI_j = \frac{1}{B} \sum_{b=1}^B \sum_{t \in T_b, v(t)=j} \Delta I(t, j)$$
Alerta: Una variable puramente aleatoria con valores continuos puede figurar como la más importante en MDI.

Permutation Feature Importance

Agnóstico & Robusto

Baraja aleatoriamente los valores de una columna en el conjunto de test y mide la caída en el score del modelo.

  • ▪ Si la variable es vital, romper su relación con el target derrumba el score.
  • ▪ Si el score no cambia, la variable es redundante o irrelevante.
  • ▪ Completamente imparcial frente al tipo de dato o cardinalidad de la variable.
$$Imp_j = \text{Score}_{base} - \text{Score}_{permutado}(X_j)$$
Estándar de oro para auditorías de negocio y toma de decisiones ejecutivas.

4. Comparativa: Árbol Simple vs Random Forest vs Boosting

Cuadro sinóptico de las tres grandes familias de algoritmos basados en árboles.

Benchmarking
Algoritmo Estrategia de Ensamble Mecanismo Principal Riesgo de Sobreajuste Velocidad
Árbol Simple (CART) Ninguna (Modelo individual) Partición binaria recursiva Muy Alto Instantánea
Random Forest Bagging (Paralelo) Bootstrap + Subespacios aleatorios Muy Bajo (Auto-regularizado) Rápido (Paralelizable con n_jobs=-1)
Gradient Boosting (XGBoost/LGBM) Boosting (Secuencial) Entrena cada árbol sobre los residuos del anterior Moderado (Requiere early stopping) Moderado a Alto
Random Forest es el algoritmo 'out-of-the-box' más robusto: prácticamente no requiere ajuste de hiperparámetros para funcionar excelentemente.

5. Fundamentos de Series de Tiempo

Estructura matemática de datos indexados cronológicamente.

Series Temporales

Descomposición Clásica de Series:

Una serie $Y_t$ se descompone en tres dinámicas: $Y_t = T_t + S_t + R_t$ (aditiva) o $Y_t = T_t \times S_t \times R_t$ (multiplicativa).

  • Tendencia ($T_t$): Dirección de largo plazo de la serie (crecimiento o declive estructural).
  • Estacionalidad ($S_t$): Patrones cíclicos repetitivos que ocurren en frecuencias fijas (horas del día, meses del año).
  • Ruido Residual ($R_t$): Variaciones erráticas estocásticas no predecibles.
  • Estacionariedad Débil: Media $\mathbb{E}[Y_t] = \mu$ y varianza $Var(Y_t) = \sigma^2$ constantes; autocovarianza depende solo del retardo $k$.
$$\Delta Y_t = Y_t - Y_{t-1}$$

Diferenciación de 1° orden para inducir estacionariedad (remover tendencia)

statsmodels_tsa.py Diagnóstico ADF
from statsmodels.tsa.stattools import adfuller
res = adfuller(df['demanda'].diff().dropna())
print(f"ADF Statistic: {res[0]:.3f}")
print(f"p-value: {res[1]:.4f}")
# ADF Statistic: -4.821
# p-value: 0.0001 -> Estacionaria al 99%

Si p-valor < 0.05, se rechaza la hipótesis nula de raíz unitaria: la serie diferenciada es estacionaria y lista para modelar.

6. La Trampa del Data Leakage: TimeSeriesSplit

Por qué la validación cruzada tradicional K-Fold destruye la validez en series temporales.

Validación Temporal
NO LEAKAGE

Causalidad Temporal

El futuro jamás debe usarse para predecir el pasado. El barajado aleatorio en series temporales es un error metodológico fatal.

Mecánica de TimeSeriesSplit (Ventanas Expansivas):

Fold 1: Entrenamiento Inicial

Entrena en el bloque $[t_1, \dots, t_{100}]$ y evalúa en el período inmediato futuro $[t_{101}, \dots, t_{120}]$.

Fold 2: Ventana Expansiva

Expande el entrenamiento incorporando el bloque anterior $[t_1, \dots, t_{120}]$ y evalúa en $[t_{121}, \dots, t_{140}]$.

Preservación del Orden Cronológico

Garantiza que la evaluación simule con fidelidad matemática exacta las condiciones reales en las que el modelo operará en producción.

7. Laboratorio Visual: Reducción de Varianza por Ensamble

Aumenta la cantidad de árboles en el bosque para observar cómo la superficie de decisión se suaviza y absorbe el ruido.

Simulador en Vivo

Número de Estimadores (n_estimators):

Observa cómo promediar más árboles elimina los bordes fractales de un árbol aislado.
Varianza Relativa: 1.00
Frontera: Ruidosa (1 árbol)
A mayor cantidad de árboles, la varianza del ensamble converge a su mínimo asintótico.
Suavizado de la Frontera de Decisión Ensamble Monte Carlo
● Clase A ● Clase B ― Frontera Agregada

8. Ingeniería de Características en Series Temporales

Cómo estructurar un problema de series de tiempo para utilizar modelos tabulares como Random Forest.

Ingeniería Temporal

Variables de Retardo (Lags)

Memoria Histórica

Valores pasados de la misma variable utilizados como predictores de entrada: $y_{t-1}, y_{t-2}, \dots, y_{t-k}$.

  • ▪ Capturan la autocorrelación interna del proceso.
  • ▪ Creación sencilla con Pandas: df['lag_1'] = df['y'].shift(1).
  • ▪ Eliminar las primeras $k$ filas que quedan con valores nulos (NaN).
$$\hat{y}_t = f(y_{t-1}, y_{t-2}, \dots, y_{t-k})$$
Permite que algoritmos como Random Forest capturen dinámicas temporales autorregresivas.

Estadísticos Móviles (Rolling Windows)

Contexto de Tendencia

Medidas agregadas calculadas sobre ventanas temporales deslizantes pasadas.

  • ▪ Media móvil pasada: df['y'].shift(1).rolling(7).mean().
  • ▪ Desvío estándar móvil para capturar regímenes de volatilidad.
  • ▪ ¡Alerta máxima! Aplicar `.shift(1)` antes del rolling para evitar filtraciones del tiempo $t$.
$$\bar{y}_{t-1, W} = \frac{1}{W} \sum_{i=1}^W y_{t-i}$$
Si se omite el shift(1), el modelo conocerá el valor futuro que debe predecir.

9. Protocolo de Auditoría para Ensambles y Series

Comprobaciones obligatorias de aseguramiento metodológico.

Mejores Prácticas
RF / TS QA

Auditoría de Ensamble

Tres validaciones obligatorias antes de poner modelos de ensamble o series temporales en producción.

Protocolo Metodológico:

1. Estabilidad del Número de Estimadores (B ≥ 100)

Validar que el error OOB se haya estabilizado en una meseta horizontal. Si aún oscila, aumentar `n_estimators` a 200 o 300.

2. Explicabilidad con Permutation Importance

No confiar ciegamente en el MDI de Gini para variables de negocio; auditar siempre con `permutation_importance` sobre el split de validación.

3. Blindaje Contra Data Leakage Temporal

Comprobar que todas las variables predictoras estén desfasadas al menos un período (`shift(1)`) y que la partición sea exclusivamente cronológica.

¡A Programar en Jupyter Notebooks!

Validación Computacional en Entorno Jupyter Notebooks (Semana 11)

Laboratorio Hands-On

Random Forest

03_random_forest_y_feature_importance.ipynb

Ajuste de RandomForestClassifier, análisis de score OOB y paralelización.

Descargar Notebook (.ipynb)

Feature Importance

03_random_forest_y_feature_importance.ipynb

Comparativa de MDI vs Permutation Importance con Scikit-Learn.

Descargar Notebook (.ipynb)

Series de Tiempo

04_ajuste_hiperparametros_cross_validation.ipynb

Descomposición de componentes de series y test de estacionariedad ADF.

Descargar Notebook (.ipynb)

TimeSeriesSplit

04_ajuste_hiperparametros_cross_validation.ipynb

Implementación de validación cruzada temporal expansiva sin fuga de datos.

Descargar Notebook (.ipynb)
Práctica Guiada (Profesor proyectando)

45 min: El profesor guía la calibración del Random Forest, la extracción de importancias por permutación y la estructura de TimeSeriesSplit.

Trabajo Autónomo (Alumnos en parejas)

75 min: Los estudiantes resuelven los problemas de la Guía 5 (Problemas 5 a 8), modelando una serie de demanda industrial con features de retardo y Random Forest.

Bibliografía y Lecturas Asignadas para la Clase
[7] Introduction to Machine Learning with Python

Müller, A. C. & Guido, S. (2016)

Capítulo 2 (Ensembles of Decision Trees: Random Forests y Gradient Boosted Trees)

[4] Data Mining: Concepts and Techniques

Han, J., Kamber, M. & Pei, J. (2012)

Capítulo 9 (Classification: Advanced Methods - Bagging y Boosting)

¿Dudas sobre la descorrelación de variables en Random Forest o la validación temporal sin data leakage?