Regresión No Lineal & Regresión Logística
La función sigmoide, optimización por Máxima Verosimilitud (MLE), interpretación de Odds Ratios y diagnóstico discriminante ROC/AUC.
Objetivos Estratégicos de la Sesión
Hoja de ruta para la modelación probabilística de clasificación binaria.
Falla del Modelo Lineal
Comprender por qué la regresión lineal MCO colapsa ante targets binarios y cómo la función logística resuelve el dominio $[0, 1]$.
Estimación por MLE y Log-Loss
Dominar el principio de Máxima Verosimilitud y la función de entropía cruzada para la optimización de parámetros.
Odds Ratios y Negocio
Traducir los coeficientes $\beta_j$ en incrementos multiplicativos de chances reales ($e^{\beta}$) para la toma de decisiones ejecutivas.
Evaluación ROC y Umbrales
Construir matrices de confusión, analizar el compromiso entre sensibilidad y especificidad y calcular el área ROC-AUC.
Linealidad Paramétrica vs. Linealidad Funcional
El criterio formal que delimita el Modelo Lineal General (MLG): geometría de variables vs álgebra de parámetros.
1. Criterio Matemático Formal de Linealidad
GradienteEn la teoría estadística clásica (Draper & Smith, Greene, Wooldridge), un modelo de regresión es lineal si y solo si es lineal en los parámetros ($\boldsymbol{\beta}$), con absoluta independencia de la geometría de los regresores observables $X$.
Donde $g_j(X)$ es una función escalar arbitraria que depende únicamente de las variables explicativas y no contiene ningún parámetro del vector $\boldsymbol{\beta}$.
2. Modelos Intrínsecamente Lineales
MCO VálidoNo lineal en variables (curva parabólica), pero estrictamente lineal en parámetros: $\frac{\partial E}{\partial \beta_2} = X_i^2$. Redefiniendo $Z_1 = X, Z_2 = X^2$, es una regresión lineal múltiple estándar.
El término de interacción modula la pendiente de una variable en función de la otra, pero $\beta_3$ ingresa de forma puramente aditiva y lineal.
Mapeable mediante logaritmo monótono con perturbación estocástica multiplicativa log-normal.
Modelos Intrínsecamente No Lineales & Rigor Científico
Optimización numérica iterativa (NLS), colapso de forma cerrada y redacción metodológica precisa.
Modelos Intrínsecamente No Lineales
No LinealizablesNo existe transformación algebraica que aísle los parámetros cumpliendo $\frac{\partial E[Y \mid X]}{\partial \beta_j} = g_j(X)$ con error aditivo:
• Sensibilidad a starting values: Riesgo de mínimos locales o divergencia. Teorema de Gauss-Markov no aplica (inferencia solo asintótica).
| Criterio | Uso Coloquial / Visual | Uso Formal / Estadístico |
|---|---|---|
| Referencia | Plano $(X, Y)$ observable | Gradiente respecto al vector $\boldsymbol{\beta}$ |
| Significado "Lineal" | Línea recta ($y = mx + b$) | Combinación lineal $\sum \beta_j g_j(X)$ |
| Polinomio ($X^2$) | "No lineal" (traza curva) | Estrictamente lineal en parámetros |
| Estimación | Confunde dibujo con método | MCO analítico vs NLS numérico iterativo |
1. El Colapso del Modelo Lineal de Probabilidad
Por qué la recta no puede confinar probabilidades en el intervalo natural [0, 1].
Patologías del Modelo Lineal MCO:
Si ajustamos $P(Y=1|X) = \beta_0 + \beta_1 X$ por MCO, para valores extremos de $X$ la predicción genera absurdos matemáticos como probabilidades negativas ($p < 0$) o mayores al 100% ($p > 1$).
- Heterocedasticidad Extrema: La varianza del error binario es $p_i(1 - p_i)$, variando obligatoriamente con cada dato.
- No Normalidad: Los errores solo pueden tomar dos valores discretos ($1 - p_i$ o $-p_i$), invalidando el test t clásico.
- La Solución Logística: Mapear la recta lineal infinita $z \in (-\infty, +\infty)$ en el intervalo probabilístico $(0, 1)$.
La Función Sigmoide Estándar
Lineal vs Sigmoide
Para x = 0 -> p = -0.20 (¡Probabilidad negativa!)
Para x = 10 -> p = 1.30 (¡Probabilidad > 1!)
Confinada estrictamente: lim z->-inf = 0, lim z->+inf = 1.
La forma en S refleja rendimientos decrecientes: una vez que el evento es casi seguro, incrementos adicionales en X impactan menos en p.
2. Probabilidad, Chances (Odds) y la Función Logit
La tríada conceptual para comprender la linealidad subyacente de la regresión logística.
Chances (Odds)
Cociente de Éxito / FracasoRazón entre la probabilidad de que el evento ocurra versus la probabilidad de que no ocurra.
- ▪ Rango: $[0, +\infty)$ (cero indica imposibilidad, infinito certeza absoluta).
- ▪ Si $p = 0.50 \implies Odds = 1.0$ (chances 1 a 1).
- ▪ Si $p = 0.80 \implies Odds = 0.8 / 0.2 = 4.0$ (chances 4 a 1 a favor).
Función Logit (Log-Odds)
Eje LinealLogaritmo natural de las chances. Es la variable dependiente latente que modelamos como combinación lineal.
- ▪ Rango: $(-\infty, +\infty)$ (coincide con el recorrido natural de MCO).
- ▪ Si $p = 0.50 \implies Logit = \ln(1) = 0$.
- ▪ Permite estimar coeficientes aditivos clásicos $\beta_j$.
3. Interpretación de Coeficientes: Odds Ratio (e^β)
Traduciendo salidas matemáticas abstractas en impacto concreto para el negocio.
Impacto Multiplicativo
Por cada unidad adicional en X_j, las chances (Odds) del evento se multiplican por un factor constante e^β_j.
Tres Escenarios según el Signo de β:
La variable aumenta la propensión al evento. Ejemplo: $\beta = 0.693 \implies e^{0.693} = 2.0$. Cada punto adicional duplica (+100%) las chances de compra.
La variable no tiene influencia sobre el resultado ($e^0 = 1.0$). Las chances permanecen inalteradas.
La variable disminuye la ocurrencia. Ejemplo: $\beta = -0.51 \implies e^{-0.51} = 0.60$. Cada unidad reduce las chances en un 40% (factor de protección).
4. Optimización por Máxima Verosimilitud (MLE)
Encontrando los parámetros que maximizan la probabilidad conjunta de los datos observados.
Función de Verosimilitud de Bernoulli:
Para observaciones independientes con $y_i \in \{0, 1\}$, la probabilidad conjunta es el producto de densidades de Bernoulli: $L(\beta) = \prod_{i=1}^n p_i^{y_i} (1 - p_i)^{1 - y_i}$.
- Log-Verosimilitud: Se maximiza la suma de logaritmos $\ln L(\beta)$ para estabilidad numérica.
- Función de Pérdida Log-Loss: Equivale a minimizar el promedio de entropía cruzada binaria.
- Sin Forma Cerrada: Requiere métodos iterativos numéricos (Gradiente Descendente o Newton-Raphson / IRLS).
Costo de Entropía Cruzada Binaria (Cross-Entropy)
Current function value: 0.3214
Iterations 7
# Pseudo R-squ (McFadden): 0.428
# LLR p-value: 1.2e-14
El Pseudo R² de McFadden compara la verosimilitud del modelo completo frente al modelo solo con intercepto: valores entre 0.2 y 0.4 representan un excelente ajuste.
5. Matriz de Confusión y Métricas de Rendimiento
Evaluación del clasificador binario dado un umbral de decisión específico.
| Métrica | Fórmula Operativa | Pregunta de Negocio que Responde | Dominio de Prioridad |
|---|---|---|---|
| Exactitud (Accuracy) |
TP + TN
TP + TN + FP + FN
|
¿Qué fracción total de predicciones fue correcta? | Solo válida con clases perfectamente balanceadas (50/50). |
| Sensibilidad (Recall / TPR) |
TP
TP + FN
|
De todos los positivos reales, ¿cuántos logró detectar el modelo? | Detección de cáncer, fraude o fallas críticas de máquinas. |
| Precisión (Precision / PPV) |
TP
TP + FP
|
De todas las alarmas que emitió el modelo, ¿cuántas eran reales? | Filtro de spam, campañas costosas de marketing directo. |
| F1-Score |
2 ·
Prec · Rec
Prec + Rec
|
Media armónica para balancear precisión y sensibilidad simultáneamente. | Métrica resumen estándar ante datos desbalanceados. |
6. Diagnóstico Discriminante: Curva ROC y AUC
Evaluación intrínseca de la capacidad de ordenamiento del modelo independiente del umbral.
Capacidad Discriminante
Traza la Tasa de Verdaderos Positivos (TPR) contra la Tasa de Falsos Positivos (FPR) variando el umbral de 0 a 1.
Escala de Desempeño del AUC:
Capacidad nula de discriminación; equivalente a lanzar una moneda al azar para clasificar.
El modelo separa con solvencia moderada ambas poblaciones; estándar aceptado en riesgo financiero.
Separación de alta fidelidad. Existe una probabilidad del 90% de que el modelo asigne mayor probabilidad a un positivo real que a un negativo real.
7. Laboratorio Visual: Calibración del Umbral de Decisión
Mueve el umbral de corte $\tau$: observa cómo las observaciones cambian de cuadrante (TP, FP, FN, TN) y su impacto en las métricas.
8. Regularización en Regresión Logística: L1 vs L2
Previniendo el sobreajuste y la separación perfecta de clases.
Penalización L2 (Ridge)
Contracción SuaveAgrega a la función Log-Loss la suma cuadrática de coeficientes: $\frac{1}{2C} \sum \beta_j^2$.
- ▪ Comprime todos los coeficientes hacia cero sin anularlos.
- ▪ Resuelve el problema de separación perfecta (donde MLE diverge a $\pm \infty$).
- ▪ Parámetro $C$ en Scikit-Learn: Menor $C$ implica regularización más fuerte.
Penalización L1 (Lasso)
EsparsidadAgrega la suma de magnitudes absolutas: $\frac{1}{C} \sum |\beta_j|$.
- ▪ Anula coeficientes irrelevantes exactamente a cero.
- ▪ Produce modelos esparsos con selección de variables automática.
- ▪ Ideal para datasets con cientos o miles de columnas dispersas (texto/genómica).
9. Protocolo de Auditoría en Clasificación Binaria
Checklist estándar de validación previo al despliegue en sistemas productivos.
Control de Calidad
Tres validaciones obligatorias antes de poner un clasificador logístico en producción.
Protocolo Metodológico:
Verificar la proporción del evento minoritario. Si $y=1$ ocurre en menos del 10%, utilizar estratificación obligatoria en `train_test_split` y calibrar `class_weight='balanced'`.
Comprobar que un caso con probabilidad predicha de 0.80 tenga efectivamente un 80% de ocurrencia histórica (Curva de Calibración de Brier).
No utilizar automáticamente el 0.50; optimizar el umbral minimizando la matriz de costos reales del negocio ($Cost = C_{FP} \cdot FP + C_{FN} \cdot FN$).
10. Simulador de Métricas & Curvas Discriminantes Gaussianas
Calculadora desglosada paso a paso de matriz de confusión y visualización interactiva de separabilidad discriminante ($d'$).
Calculadora Paso a Paso de Matriz
Fórmulas en Vivo¡A Programar en Jupyter Notebooks!
Validación Computacional en Entorno Jupyter Notebooks (Semana 7)
Regresión No Lineal
01_regresion_no_lineal_y_polinomica.ipynb
Ajuste polinómico con PolynomialFeatures y penalización Ridge.
Regresión Logística
02_regresion_logistica_clasificacion.ipynb
Ajuste MLE con statsmodels y Scikit-Learn e interpretación de Odds Ratios.
Matriz de Confusión
02_regresion_logistica_clasificacion.ipynb
Cálculo de Accuracy, Precision, Recall y F1-score bajo diversos umbrales.
Curva ROC y AUC
02_regresion_logistica_clasificacion.ipynb
Generación del gráfico ROC y estimación del área bajo la curva con Scikit-Learn.
45 min: El profesor guía la calibración de la regresión logística, la traducción de los coeficientes a Odds Ratios y el análisis de la curva ROC.
75 min: Los estudiantes resuelven los ejercicios de la Guía 4 (Problemas 1 a 4), ajustando un scoring de riesgo y calibrando el umbral óptimo de corte.
Chan, Y. L. et al. (2020)
Capítulo 3 (Modelos no lineales, regularización Ridge y Lasso)
Müller, A. C. & Guido, S. (2016)
Capítulo 2 (Linear Models for Regression, Ridge, Lasso y modelos no lineales)