Unidad 5

Árboles de Probabilidades (Clasificación) & Regresión (CART)

Diapositiva 1 / 12
Cátedra de Métodos Cuantitativos • Clase 10

Árboles de Probabilidades & Regresión (CART)

Modelos no paramétricos de partición recursiva: estimación de probabilidades condicionales en clasificación y esperanzas en regresión (por qué 'árbol de decisión' es un término mal usado).

Árbol de Probabilidades Árbol de Regresión Poda ccp_alpha
Usa las flechas ← → o haz clic para avanzar

Objetivos Estratégicos de la Sesión

Hoja de ruta para el modelado no paramétrico con árboles de decisión.

Hoja de Ruta
1

Mecánica de Partición Binaria

Comprender cómo CART divide recursivamente el espacio en regiones rectangulares ortogonales minimizando la impureza local.

2

Criterios Gini vs Entropía vs MSE

Dominar el cálculo cuantitativo de la ganancia de impureza para clasificación y la reducción de varianza en regresión.

3

Control del Sobreajuste (Overfitting)

Aprender a restringir el crecimiento del árbol mediante hiperparámetros clave (`max_depth`, `min_samples_leaf`).

4

Poda Cost-Complexity (ccp_alpha)

Implementar la ruta de poda óptima validada mediante K-Fold Cross-Validation en Scikit-Learn.

⚠️ Nota de Rigor Conceptual: ¿Por qué "Árbol de Decisión" es un término mal usado?

En el ámbito profesional y académico riguroso, denominar a estos modelos como "árboles de decisión" es un uso impreciso de la jerga de Machine Learning. El algoritmo matemático no toma decisiones: (1) En Clasificación: Estima la distribución de probabilidades condicionales $P(Y=k \mid X \in R_m)$ en cada hoja (Árbol de Probabilidades). (2) En Regresión: Estima la esperanza condicional o promedio local $E[Y \mid X \in R_m] = \bar{y}_m$ (Árbol de Regresión). La decisión final es una regla de política operativa externa que impone el decisor humano fijando un umbral de corte $\tau$ o matriz de costos sobre las probabilidades estimadas.

Cuadernos prácticos: 01_arboles_decision_introduccion.ipynb (Probabilidades) y 02_arboles_regresion.ipynb (Regresión).

1. Partición Recursiva Binaria (CART)

Segmentación no paramétrica ortogonal del espacio de datos.

Fundamentos

El Enfoque Top-Down Greedy:

El algoritmo CART comienza con todos los datos en el nodo raíz y evalúa iterativamente todas las variables $X_j$ y todos los posibles umbrales de corte $s$ para dividir la muestra en dos ramas disjuntas.

  • División Ortogonal: Cada corte es estrictamente perpendicular a uno de los ejes de características.
  • Invarianza Monótona: Los árboles son totalmente insensibles a transformaciones monótonas y no requieren escalado previo (`StandardScaler` no es necesario).
  • Interpretabilidad Natural: Las ramas se traducen directamente a reglas condicionales del tipo SI... ENTONCES....
$$R_1(j, s) = \{X \mid X_j \le s\}, \quad R_2(j, s) = \{X \mid X_j > s\}$$

Partición binaria del espacio en dos semiespacios disjuntos

Estructura Jerárquica Reglas If-Else
[Nodo Raíz]: ¿Ingreso mensual ≤ $150k?
├── SÍ (Rama Izquierda): ¿Deuda > $50k?
│   ├── SÍ: Denegar Crédito (98% certeza)
│   └── NO: Aprobar Crédito (85% certeza)
└── NO (Rama Derecha): Aprobar Crédito Directo

Transparencia total para cumplimiento normativo y explicabilidad ante comités de riesgo.

2. Medición de Pureza: Gini vs Entropía

Funciones matemáticas para evaluar la calidad de una división en clasificación.

Criterios

Impureza de Gini

Por Defecto (Scikit-Learn)

Probabilidad de que un elemento aleatorio sea etiquetado erróneamente si se clasifica según la distribución de clases del nodo.

  • ▪ Rango para 2 clases: $[0, 0.50]$ ($0 =$ pureza total; $0.50 =$ mezcla 50/50).
  • ▪ Computacionalmente más rápido: no requiere calcular logaritmos en la CPU.
  • ▪ Tiende a aislar la clase más frecuente en una rama pura rápidamente.
$$Gini(t) = 1 - \sum_{k=1}^K p_k^2$$
Excelente compromiso entre velocidad de cálculo y precisión.

Entropía / Ganancia de Info

Teoría de la Información

Mide el nivel de desorden o sorpresa de la distribución de probabilidad (concepto de Claude Shannon).

  • ▪ Rango para 2 clases: $[0, 1.0]$ ($0 =$ certeza absoluta; $1.0 =$ máxima incertidumbre).
  • ▪ Penaliza ligeramente más las divisiones con clases mixtas residuales.
  • ▪ En la práctica produce árboles prácticamente idénticos a Gini en el 98% de los casos.
$$H(t) = -\sum_{k=1}^K p_k \log_2(p_k)$$
Mayor costo computacional por el cálculo de logaritmos binarios.

3. Árboles de Regresión: Minimización de MSE

Aproximación de funciones continuas mediante funciones escalonadas por tramos.

Regresión No Lineal
MIN MSE

Reducción de Varianza

La predicción en cada hoja terminal es simplemente el promedio aritmético de las observaciones que cayeron en esa región.

Mecánica Operativa:

1. Valor Predicho en la Hoja

Para cualquier punto $x$ que caiga en la región terminal $R_m$, la predicción es constante: $\hat{y}_{R_m} = \frac{1}{N_m} \sum_{i \in R_m} y_i$.

2. Criterio de Selección de Corte

Busca el par $(j, s)$ que minimice la suma del error cuadrático ponderado de ambas ramas: $\min \left[ \sum_{i \in R_1} (y_i - \bar{y}_{R_1})^2 + \sum_{i \in R_2} (y_i - \bar{y}_{R_2})^2 \right]$.

3. Naturaleza Escalonada (No Suave)

La función resultante es un mosaico de mesetas constantes. No es diferenciable y no puede extrapolar tendencias más allá del rango mínimo y máximo visto en entrenamiento.

4. El Dilema Sesgo-Varianza en Árboles

Por qué un árbol profundo memoriza el ruido y fracasa en producción.

Sobreajuste

Árbol No Podado (Profundo)

Varianza Gigante

Crece hasta que cada hoja terminal contiene una sola observación ($Gini = 0$, $MSE = 0$ en entrenamiento).

  • ▪ Accuracy en entrenamiento: 100% (Memorización absoluta).
  • ▪ Accuracy en test: Pésima (Falla catastrófica ante datos nuevos).
  • ▪ Sensibilidad extrema: cambiar un solo dato de la muestra modifica drásticamente toda la arquitectura del árbol.
$$\text{Error}_{train} \to 0, \quad \text{Error}_{test} \to \infty$$
Peligro: El árbol genera fronteras de decisión fractales absurdas alrededor de outliers.

Árbol Regularizado / Podado

Generalización Óptima

Se limita el crecimiento o se recortan ramas superfluas que solo explican variaciones espurias.

  • ▪ Ligeramente menor rendimiento en entrenamiento, pero rendimiento óptimo en test.
  • ▪ Fronteras de decisión suaves y conceptualmente lógicas.
  • ▪ Reglas compactas y robustas frente al ruido muestral.
$$\min \left( \text{Error}_{val}(T) \right)$$
Ventaja: Estabilidad operativa y máxima capacidad de generalización.

5. Hiperparámetros Clave de Pre-Poda en Scikit-Learn

Los cuatro frenos de mano para evitar que el árbol crezca sin control.

Pre-Pruning
Hiperparámetro Efecto Principal Valor Típico / Rango Impacto en Sesgo y Varianza
max_depth Limita la longitud máxima de la ruta desde la raíz hasta cualquier hoja. 3 a 8 Menor profundidad aumenta el sesgo pero derrumba la varianza.
min_samples_split Número mínimo de muestras que debe tener un nodo para permitir una partición. 10 a 50 Valores altos impiden que el árbol cree ramas para explicar 2 o 3 puntos.
min_samples_leaf Mínimo de observaciones que DEBE contener obligatoriamente cada hoja final. 5 a 30 Garantiza que cualquier predicción esté sustentada en una muestra respetable.
max_leaf_nodes Fija un techo estricto al número total de hojas terminales del árbol. 8 a 32 Genera los mejores árboles parsimoniosos para presentación ejecutiva.
Estrategia de Optimización: Calibrar estos hiperparámetros simultáneamente usando GridSearchCV o RandomizedSearchCV con 5-fold cross validation.

6. Poda Formal: Cost-Complexity Pruning (ccp_alpha)

El método riguroso de Breiman para hallar la sub-estructura matemáticamente óptima.

Post-Pruning
ccp_alpha

Penalización por Complejidad

Equilibra el error de ajuste contra el tamaño del árbol mediante un multiplicador de Lagrange α.

Función de Costo y Algoritmo:

1. Función de Costo Penalizada

$R_\alpha(T) = R(T) + \alpha |T|$, donde $R(T)$ es el error empírico de las hojas y $|T|$ es el número total de hojas terminales.

2. Comportamiento del Parámetro α

Si $\alpha = 0$, se obtiene el árbol gigante sobreajustado. A medida que $\alpha$ se incrementa, las ramas que aportan poca reducción de impureza se colapsan recursivamente.

3. Extracción en Scikit-Learn

La función cost_complexity_pruning_path() calcula la secuencia finita exacta de valores críticos de $\alpha$. Luego, se elige el $\alpha$ óptimo por validación cruzada.

7. Laboratorio Visual: Partición Ortogonal del Espacio

Modifica la profundidad máxima del árbol para observar cómo el espacio se divide progresivamente en rectángulos de decisión.

Simulador en Vivo

Profundidad del Árbol (max_depth):

Aumenta la profundidad para observar cómo surgen nuevos cortes ortogonales y el riesgo de sobreajuste.
Hojas Terminales: --
Diagnóstico: Generalización OK
Profundidad 1 (Decision Stump): un único corte lineal. Profundidad 4: micro-rectángulos con riesgo de memorización.
Espacio de Características (X1 vs X2) Cortes Binarios
● Clase A ● Clase B ― Líneas de Partición

8. Balance Tecnológico: Ventajas y Limitaciones de CART

Evaluación crítica del modelo frente a otros algoritmos de aprendizaje.

Evaluación

Ventajas Competitivas

Fortalezas

Atributos únicos que convierten a los árboles en herramientas analíticas de primera línea.

  • ▪ Interpretabilidad visual inigualable (caja blanca / white-box).
  • ▪ Manejo nativo de interacciones no lineales complejas.
  • ▪ Totalmente inmune a escalas y outliers en los predictores $X$.
  • ▪ Selección de variables automática (ignora variables irrelevantes).
$$\text{Regla}: \text{IF } (X_1 > s_1) \text{ AND } (X_2 \le s_2) \implies Y = 1$$
Ideal para presentar a directores de operaciones y áreas legales.

Limitaciones Intrínsecas

Debilidades

Factores que motivaron la invención de los métodos de ensamble (Random Forest / Boosting).

  • ▪ Inestabilidad de alta varianza: pequeñas perturbaciones en datos cambian todo el árbol.
  • ▪ Dificultad para aproximar relaciones puramente lineales oblicuas ($Y = X_1 + X_2$).
  • ▪ Predicciones escalonadas sin capacidad de extrapolación continua.
  • ▪ Sesgo hacia variables continuas con muchos valores únicos en divisiones.
$$\text{Solución}: \text{Ensamble de Múltiples Árboles (Random Forest)}$$
Un solo árbol rara vez alcanza el estado del arte en precisión predictiva.

9. Protocolo de Calibración de Árboles de Probabilidades y Regresión

Buenas prácticas recomendadas para el ciclo de vida del modelo.

Mejores Prácticas
TREE QA

Auditoría de Poda

Tres validaciones indispensables para asegurar que el árbol sea interpretable y generalice con solvencia.

Protocolo Metodológico:

1. Nunca Utilizar un Árbol Sin Restricciones

Configurar siempre `max_depth` o `min_samples_leaf` para evitar hojas terminales con 1 o 2 observaciones que solo memorizan ruido.

2. Visualizar y Auditar el Árbol con Expertos

Exportar el diagrama con `plot_tree` y revisar con especialistas del dominio si las primeras 3 divisiones son coherentes con la física del negocio.

3. Comparar contra una Regresión Lineal / Logística Base

Usar un modelo lineal como línea base (*baseline*); si el árbol no mejora significativamente el score de validación cruzada, preferir el modelo lineal por parsimonia.

¡A Programar en Jupyter Notebooks!

Validación Computacional en Entorno Jupyter Notebooks (Semana 10)

Laboratorio Hands-On

Árboles de Decisión

01_arboles_decision_introduccion.ipynb

Ajuste de DecisionTreeClassifier, cálculo de Gini y visualización con plot_tree.

Descargar Notebook (.ipynb)

Poda Cost-Complexity

01_arboles_decision_introduccion.ipynb

Extracción de la ruta ccp_alpha y selección del árbol óptimo por CV.

Descargar Notebook (.ipynb)

Árboles de Regresión

02_arboles_regresion.ipynb

Ajuste de DecisionTreeRegressor y visualización de superficies escalonadas.

Descargar Notebook (.ipynb)

Ajuste con GridSearchCV

01_arboles_decision_introduccion.ipynb

Búsqueda por malla de hiperparámetros de pre-poda sobre un dataset real.

Descargar Notebook (.ipynb)
Práctica Guiada (Profesor proyectando)

45 min: El profesor guía la construcción del árbol en Scikit-Learn, la visualización de ramas y la optimización de poda con ccp_alpha.

Trabajo Autónomo (Alumnos en parejas)

75 min: Los estudiantes resuelven los ejercicios de la Guía 5 (Problemas 1 a 4), controlando el sobreajuste y contrastando el desempeño frente a una regresión lineal.

Bibliografía y Lecturas Asignadas para la Clase
[4] Data Mining: Concepts and Techniques

Han, J., Kamber, M. & Pei, J. (2012)

Capítulo 8 (Decision Tree Induction, Ganancia de Información y Gini)

[7] Introduction to Machine Learning with Python

Müller, A. C. & Guido, S. (2016)

Capítulo 2 (Decision Trees, Feature Importance y poda)

¿Dudas sobre la mecánica de división de CART o la estrategia de poda por complejidad de costo?