Árboles de Probabilidades & Regresión (CART)
Modelos no paramétricos de partición recursiva: estimación de probabilidades condicionales en clasificación y esperanzas en regresión (por qué 'árbol de decisión' es un término mal usado).
Objetivos Estratégicos de la Sesión
Hoja de ruta para el modelado no paramétrico con árboles de decisión.
Mecánica de Partición Binaria
Comprender cómo CART divide recursivamente el espacio en regiones rectangulares ortogonales minimizando la impureza local.
Criterios Gini vs Entropía vs MSE
Dominar el cálculo cuantitativo de la ganancia de impureza para clasificación y la reducción de varianza en regresión.
Control del Sobreajuste (Overfitting)
Aprender a restringir el crecimiento del árbol mediante hiperparámetros clave (`max_depth`, `min_samples_leaf`).
Poda Cost-Complexity (ccp_alpha)
Implementar la ruta de poda óptima validada mediante K-Fold Cross-Validation en Scikit-Learn.
En el ámbito profesional y académico riguroso, denominar a estos modelos como "árboles de decisión" es un uso impreciso de la jerga de Machine Learning. El algoritmo matemático no toma decisiones: (1) En Clasificación: Estima la distribución de probabilidades condicionales $P(Y=k \mid X \in R_m)$ en cada hoja (Árbol de Probabilidades). (2) En Regresión: Estima la esperanza condicional o promedio local $E[Y \mid X \in R_m] = \bar{y}_m$ (Árbol de Regresión). La decisión final es una regla de política operativa externa que impone el decisor humano fijando un umbral de corte $\tau$ o matriz de costos sobre las probabilidades estimadas.
1. Partición Recursiva Binaria (CART)
Segmentación no paramétrica ortogonal del espacio de datos.
El Enfoque Top-Down Greedy:
El algoritmo CART comienza con todos los datos en el nodo raíz y evalúa iterativamente todas las variables $X_j$ y todos los posibles umbrales de corte $s$ para dividir la muestra en dos ramas disjuntas.
- División Ortogonal: Cada corte es estrictamente perpendicular a uno de los ejes de características.
- Invarianza Monótona: Los árboles son totalmente insensibles a transformaciones monótonas y no requieren escalado previo (`StandardScaler` no es necesario).
-
Interpretabilidad Natural: Las ramas se traducen directamente a reglas condicionales del tipo
SI... ENTONCES....
Partición binaria del espacio en dos semiespacios disjuntos
├── SÍ (Rama Izquierda): ¿Deuda > $50k?
│ ├── SÍ: Denegar Crédito (98% certeza)
│ └── NO: Aprobar Crédito (85% certeza)
└── NO (Rama Derecha): Aprobar Crédito Directo
Transparencia total para cumplimiento normativo y explicabilidad ante comités de riesgo.
2. Medición de Pureza: Gini vs Entropía
Funciones matemáticas para evaluar la calidad de una división en clasificación.
Impureza de Gini
Por Defecto (Scikit-Learn)Probabilidad de que un elemento aleatorio sea etiquetado erróneamente si se clasifica según la distribución de clases del nodo.
- ▪ Rango para 2 clases: $[0, 0.50]$ ($0 =$ pureza total; $0.50 =$ mezcla 50/50).
- ▪ Computacionalmente más rápido: no requiere calcular logaritmos en la CPU.
- ▪ Tiende a aislar la clase más frecuente en una rama pura rápidamente.
Entropía / Ganancia de Info
Teoría de la InformaciónMide el nivel de desorden o sorpresa de la distribución de probabilidad (concepto de Claude Shannon).
- ▪ Rango para 2 clases: $[0, 1.0]$ ($0 =$ certeza absoluta; $1.0 =$ máxima incertidumbre).
- ▪ Penaliza ligeramente más las divisiones con clases mixtas residuales.
- ▪ En la práctica produce árboles prácticamente idénticos a Gini en el 98% de los casos.
3. Árboles de Regresión: Minimización de MSE
Aproximación de funciones continuas mediante funciones escalonadas por tramos.
Reducción de Varianza
La predicción en cada hoja terminal es simplemente el promedio aritmético de las observaciones que cayeron en esa región.
Mecánica Operativa:
Para cualquier punto $x$ que caiga en la región terminal $R_m$, la predicción es constante: $\hat{y}_{R_m} = \frac{1}{N_m} \sum_{i \in R_m} y_i$.
Busca el par $(j, s)$ que minimice la suma del error cuadrático ponderado de ambas ramas: $\min \left[ \sum_{i \in R_1} (y_i - \bar{y}_{R_1})^2 + \sum_{i \in R_2} (y_i - \bar{y}_{R_2})^2 \right]$.
La función resultante es un mosaico de mesetas constantes. No es diferenciable y no puede extrapolar tendencias más allá del rango mínimo y máximo visto en entrenamiento.
4. El Dilema Sesgo-Varianza en Árboles
Por qué un árbol profundo memoriza el ruido y fracasa en producción.
Árbol No Podado (Profundo)
Varianza GiganteCrece hasta que cada hoja terminal contiene una sola observación ($Gini = 0$, $MSE = 0$ en entrenamiento).
- ▪ Accuracy en entrenamiento: 100% (Memorización absoluta).
- ▪ Accuracy en test: Pésima (Falla catastrófica ante datos nuevos).
- ▪ Sensibilidad extrema: cambiar un solo dato de la muestra modifica drásticamente toda la arquitectura del árbol.
Árbol Regularizado / Podado
Generalización ÓptimaSe limita el crecimiento o se recortan ramas superfluas que solo explican variaciones espurias.
- ▪ Ligeramente menor rendimiento en entrenamiento, pero rendimiento óptimo en test.
- ▪ Fronteras de decisión suaves y conceptualmente lógicas.
- ▪ Reglas compactas y robustas frente al ruido muestral.
5. Hiperparámetros Clave de Pre-Poda en Scikit-Learn
Los cuatro frenos de mano para evitar que el árbol crezca sin control.
| Hiperparámetro | Efecto Principal | Valor Típico / Rango | Impacto en Sesgo y Varianza |
|---|---|---|---|
| max_depth | Limita la longitud máxima de la ruta desde la raíz hasta cualquier hoja. | 3 a 8 |
Menor profundidad aumenta el sesgo pero derrumba la varianza. |
| min_samples_split | Número mínimo de muestras que debe tener un nodo para permitir una partición. | 10 a 50 |
Valores altos impiden que el árbol cree ramas para explicar 2 o 3 puntos. |
| min_samples_leaf | Mínimo de observaciones que DEBE contener obligatoriamente cada hoja final. | 5 a 30 |
Garantiza que cualquier predicción esté sustentada en una muestra respetable. |
| max_leaf_nodes | Fija un techo estricto al número total de hojas terminales del árbol. | 8 a 32 |
Genera los mejores árboles parsimoniosos para presentación ejecutiva. |
6. Poda Formal: Cost-Complexity Pruning (ccp_alpha)
El método riguroso de Breiman para hallar la sub-estructura matemáticamente óptima.
Penalización por Complejidad
Equilibra el error de ajuste contra el tamaño del árbol mediante un multiplicador de Lagrange α.
Función de Costo y Algoritmo:
$R_\alpha(T) = R(T) + \alpha |T|$, donde $R(T)$ es el error empírico de las hojas y $|T|$ es el número total de hojas terminales.
Si $\alpha = 0$, se obtiene el árbol gigante sobreajustado. A medida que $\alpha$ se incrementa, las ramas que aportan poca reducción de impureza se colapsan recursivamente.
La función cost_complexity_pruning_path() calcula la secuencia finita exacta de valores críticos de $\alpha$. Luego, se elige el $\alpha$ óptimo por validación cruzada.
7. Laboratorio Visual: Partición Ortogonal del Espacio
Modifica la profundidad máxima del árbol para observar cómo el espacio se divide progresivamente en rectángulos de decisión.
Profundidad del Árbol (max_depth):
Aumenta la profundidad para observar cómo surgen nuevos cortes ortogonales y el riesgo de sobreajuste.8. Balance Tecnológico: Ventajas y Limitaciones de CART
Evaluación crítica del modelo frente a otros algoritmos de aprendizaje.
Ventajas Competitivas
FortalezasAtributos únicos que convierten a los árboles en herramientas analíticas de primera línea.
- ▪ Interpretabilidad visual inigualable (caja blanca / white-box).
- ▪ Manejo nativo de interacciones no lineales complejas.
- ▪ Totalmente inmune a escalas y outliers en los predictores $X$.
- ▪ Selección de variables automática (ignora variables irrelevantes).
Limitaciones Intrínsecas
DebilidadesFactores que motivaron la invención de los métodos de ensamble (Random Forest / Boosting).
- ▪ Inestabilidad de alta varianza: pequeñas perturbaciones en datos cambian todo el árbol.
- ▪ Dificultad para aproximar relaciones puramente lineales oblicuas ($Y = X_1 + X_2$).
- ▪ Predicciones escalonadas sin capacidad de extrapolación continua.
- ▪ Sesgo hacia variables continuas con muchos valores únicos en divisiones.
9. Protocolo de Calibración de Árboles de Probabilidades y Regresión
Buenas prácticas recomendadas para el ciclo de vida del modelo.
Auditoría de Poda
Tres validaciones indispensables para asegurar que el árbol sea interpretable y generalice con solvencia.
Protocolo Metodológico:
Configurar siempre `max_depth` o `min_samples_leaf` para evitar hojas terminales con 1 o 2 observaciones que solo memorizan ruido.
Exportar el diagrama con `plot_tree` y revisar con especialistas del dominio si las primeras 3 divisiones son coherentes con la física del negocio.
Usar un modelo lineal como línea base (*baseline*); si el árbol no mejora significativamente el score de validación cruzada, preferir el modelo lineal por parsimonia.
¡A Programar en Jupyter Notebooks!
Validación Computacional en Entorno Jupyter Notebooks (Semana 10)
Árboles de Decisión
01_arboles_decision_introduccion.ipynb
Ajuste de DecisionTreeClassifier, cálculo de Gini y visualización con plot_tree.
Poda Cost-Complexity
01_arboles_decision_introduccion.ipynb
Extracción de la ruta ccp_alpha y selección del árbol óptimo por CV.
Árboles de Regresión
02_arboles_regresion.ipynb
Ajuste de DecisionTreeRegressor y visualización de superficies escalonadas.
Ajuste con GridSearchCV
01_arboles_decision_introduccion.ipynb
Búsqueda por malla de hiperparámetros de pre-poda sobre un dataset real.
45 min: El profesor guía la construcción del árbol en Scikit-Learn, la visualización de ramas y la optimización de poda con ccp_alpha.
75 min: Los estudiantes resuelven los ejercicios de la Guía 5 (Problemas 1 a 4), controlando el sobreajuste y contrastando el desempeño frente a una regresión lineal.
Han, J., Kamber, M. & Pei, J. (2012)
Capítulo 8 (Decision Tree Induction, Ganancia de Información y Gini)
Müller, A. C. & Guido, S. (2016)
Capítulo 2 (Decision Trees, Feature Importance y poda)