Unidad 4

Regresión No Lineal & Regresión Logística

Diapositiva 1 / 12
Cátedra de Métodos Cuantitativos • Clase 7

Regresión No Lineal & Regresión Logística

La función sigmoide, optimización por Máxima Verosimilitud (MLE), interpretación de Odds Ratios y diagnóstico discriminante ROC/AUC.

Función Sigmoide σ(z) Odds Ratios e^β Curva ROC & AUC
Usa las flechas ← → o haz clic para avanzar

Objetivos Estratégicos de la Sesión

Hoja de ruta para la modelación probabilística de clasificación binaria.

Hoja de Ruta
1

Falla del Modelo Lineal

Comprender por qué la regresión lineal MCO colapsa ante targets binarios y cómo la función logística resuelve el dominio $[0, 1]$.

2

Estimación por MLE y Log-Loss

Dominar el principio de Máxima Verosimilitud y la función de entropía cruzada para la optimización de parámetros.

3

Odds Ratios y Negocio

Traducir los coeficientes $\beta_j$ en incrementos multiplicativos de chances reales ($e^{\beta}$) para la toma de decisiones ejecutivas.

4

Evaluación ROC y Umbrales

Construir matrices de confusión, analizar el compromiso entre sensibilidad y especificidad y calcular el área ROC-AUC.

Implementación práctica en los notebooks 01_regresion_no_lineal y 02_regresion_logistica.
Clarificación Epistemológica & Matemática

Linealidad Paramétrica vs. Linealidad Funcional

El criterio formal que delimita el Modelo Lineal General (MLG): geometría de variables vs álgebra de parámetros.

Fundamentos

1. Criterio Matemático Formal de Linealidad

Gradiente

En la teoría estadística clásica (Draper & Smith, Greene, Wooldridge), un modelo de regresión es lineal si y solo si es lineal en los parámetros ($\boldsymbol{\beta}$), con absoluta independencia de la geometría de los regresores observables $X$.

Condición de Independencia del Gradiente:
$$\frac{\partial E[Y \mid X]}{\partial \beta_j} = g_j(X) \quad \forall j$$

Donde $g_j(X)$ es una función escalar arbitraria que depende únicamente de las variables explicativas y no contiene ningún parámetro del vector $\boldsymbol{\beta}$.

Consecuencia Metodológica Cardinal: El modelo adopta la forma canónica matricial $\mathbf{Y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}$ y conserva solución analítica cerrada exacta bajo MCO:
$$\hat{\boldsymbol{\beta}} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{Y}$$
No requiere optimización numérica iterativa y rigen plenamente las propiedades del Teorema de Gauss-Markov (MELI / BLUE).

2. Modelos Intrínsecamente Lineales

MCO Válido
A. Modelos Polinómicos (Curvatura Geométrica):
$$Y_i = \beta_0 + \beta_1 X_i + \beta_2 X_i^2 + \varepsilon_i$$

No lineal en variables (curva parabólica), pero estrictamente lineal en parámetros: $\frac{\partial E}{\partial \beta_2} = X_i^2$. Redefiniendo $Z_1 = X, Z_2 = X^2$, es una regresión lineal múltiple estándar.

B. Modelos con Interacciones Moduladas:
$$\ln(Y_i) = \beta_0 + \beta_1 X_{1i} + \beta_2 X_{2i} + \beta_3 (X_{1i} X_{2i}) + \varepsilon_i$$

El término de interacción modula la pendiente de una variable en función de la otra, pero $\beta_3$ ingresa de forma puramente aditiva y lineal.

C. Linealizables por Transformación (Cobb-Douglas):
$$Y_i = A X_{1i}^{\beta_1} X_{2i}^{\beta_2} e^{\varepsilon_i} \implies \ln(Y_i) = \beta_0 + \beta_1 \ln(X_{1i}) + \beta_2 \ln(X_{2i}) + \varepsilon_i$$

Mapeable mediante logaritmo monótono con perturbación estocástica multiplicativa log-normal.

El espacio de regresores sufre expansión de base, pero el espacio paramétrico permanece invariablemente lineal y euclídeo.
Un modelo es lineal si su espacio de búsqueda paramétrica es un hiperplano euclídeo, sin importar cuántas potencias o logaritmos contengan los datos observables.
Frontera del Modelado Estadístico

Modelos Intrínsecamente No Lineales & Rigor Científico

Optimización numérica iterativa (NLS), colapso de forma cerrada y redacción metodológica precisa.

NLS & Redacción

Modelos Intrínsecamente No Lineales

No Linealizables

No existe transformación algebraica que aísle los parámetros cumpliendo $\frac{\partial E[Y \mid X]}{\partial \beta_j} = g_j(X)$ con error aditivo:

1. Exponencial con Constante y Error Aditivo:
$$Y_i = \beta_0 + \beta_1 e^{\beta_2 X_i} + \varepsilon_i \implies \frac{\partial E}{\partial \beta_2} = \beta_1 X_i e^{\beta_2 X_i}$$
La derivada depende de $\beta_1$ y $\beta_2$; el error aditivo impide aplicar logaritmos.
2. Crecimiento Logístico (3 Parámetros):
$$Y_i = \frac{\theta_1}{1 + e^{-\theta_2 (X_i - \theta_3)}} + \varepsilon_i$$
3. Cinética Enzimática de Michaelis-Menten:
$$Y_i = \frac{V_{\max} X_i}{K_m + X_i} + \varepsilon_i$$
Consecuencias Computacionales: • Sin solución analítica cerrada: Requiere algoritmos iterativos NLS (Gauss-Newton, Levenberg-Marquardt).
• Sensibilidad a starting values: Riesgo de mínimos locales o divergencia. Teorema de Gauss-Markov no aplica (inferencia solo asintótica).
Dimensión Geométrica vs. Dimensión Paramétrica
Criterio Uso Coloquial / Visual Uso Formal / Estadístico
Referencia Plano $(X, Y)$ observable Gradiente respecto al vector $\boldsymbol{\beta}$
Significado "Lineal" Línea recta ($y = mx + b$) Combinación lineal $\sum \beta_j g_j(X)$
Polinomio ($X^2$) "No lineal" (traza curva) Estrictamente lineal en parámetros
Estimación Confunde dibujo con método MCO analítico vs NLS numérico iterativo
Guía de Buenas Prácticas para Informes Técnicos y Papers
❌ "Se utilizó regresión no lineal para ajustar una curva cuadrática entre temperatura y rendimiento." ✔️ "Se estimó un modelo de regresión lineal múltiple con especificación polinómica de segundo orden..."
❌ "Se empleó regresión no lineal por mínimos cuadrados ordinarios." ✔️ "Se estimó un modelo intrínsecamente no lineal mediante Mínimos Cuadrados No Lineales (NLS) empleando Levenberg-Marquardt..."
En la sección de Métodos: declarar siempre el espacio de linealidad, justificar las expansiones de base y reportar algoritmos de optimización cuando sea verdaderamente no lineal.

1. El Colapso del Modelo Lineal de Probabilidad

Por qué la recta no puede confinar probabilidades en el intervalo natural [0, 1].

Fundamentos

Patologías del Modelo Lineal MCO:

Si ajustamos $P(Y=1|X) = \beta_0 + \beta_1 X$ por MCO, para valores extremos de $X$ la predicción genera absurdos matemáticos como probabilidades negativas ($p < 0$) o mayores al 100% ($p > 1$).

  • Heterocedasticidad Extrema: La varianza del error binario es $p_i(1 - p_i)$, variando obligatoriamente con cada dato.
  • No Normalidad: Los errores solo pueden tomar dos valores discretos ($1 - p_i$ o $-p_i$), invalidando el test t clásico.
  • La Solución Logística: Mapear la recta lineal infinita $z \in (-\infty, +\infty)$ en el intervalo probabilístico $(0, 1)$.
$$p = \sigma(z) = \frac{1}{1 + e^{-z}}, \quad z = \beta_0 + \beta_1 X_1 + \dots + \beta_k X_k$$

La Función Sigmoide Estándar

Lineal vs Sigmoide

Regresión Lineal: y_hat = -0.20 + 0.15 * x

Para x = 0 -> p = -0.20 (¡Probabilidad negativa!)
Para x = 10 -> p = 1.30 (¡Probabilidad > 1!)

Regresión Logística: p = 1 / (1 + exp(-z))

Confinada estrictamente: lim z->-inf = 0, lim z->+inf = 1.

La forma en S refleja rendimientos decrecientes: una vez que el evento es casi seguro, incrementos adicionales en X impactan menos en p.

2. Probabilidad, Chances (Odds) y la Función Logit

La tríada conceptual para comprender la linealidad subyacente de la regresión logística.

Álgebra Logística

Chances (Odds)

Cociente de Éxito / Fracaso

Razón entre la probabilidad de que el evento ocurra versus la probabilidad de que no ocurra.

  • ▪ Rango: $[0, +\infty)$ (cero indica imposibilidad, infinito certeza absoluta).
  • ▪ Si $p = 0.50 \implies Odds = 1.0$ (chances 1 a 1).
  • ▪ Si $p = 0.80 \implies Odds = 0.8 / 0.2 = 4.0$ (chances 4 a 1 a favor).
$$Odds = \frac{p}{1 - p}$$
Métrica habitual en apuestas deportivas, epidemiología y riesgo crediticio.

Función Logit (Log-Odds)

Eje Lineal

Logaritmo natural de las chances. Es la variable dependiente latente que modelamos como combinación lineal.

  • ▪ Rango: $(-\infty, +\infty)$ (coincide con el recorrido natural de MCO).
  • ▪ Si $p = 0.50 \implies Logit = \ln(1) = 0$.
  • ▪ Permite estimar coeficientes aditivos clásicos $\beta_j$.
$$\text{Logit}(p) = \ln\left(\frac{p}{1 - p}\right) = \beta_0 + \sum_{j=1}^k \beta_j X_j$$
Ventaja: Restaura la formulación lineal sin violar los límites probabilísticos.

3. Interpretación de Coeficientes: Odds Ratio (e^β)

Traduciendo salidas matemáticas abstractas en impacto concreto para el negocio.

Interpretación
OR = e^β

Impacto Multiplicativo

Por cada unidad adicional en X_j, las chances (Odds) del evento se multiplican por un factor constante e^β_j.

Tres Escenarios según el Signo de β:

Caso β > 0 (Odds Ratio > 1): Factor Promotor

La variable aumenta la propensión al evento. Ejemplo: $\beta = 0.693 \implies e^{0.693} = 2.0$. Cada punto adicional duplica (+100%) las chances de compra.

Caso β = 0 (Odds Ratio = 1): Sin Efecto

La variable no tiene influencia sobre el resultado ($e^0 = 1.0$). Las chances permanecen inalteradas.

Caso β < 0 (Odds Ratio < 1): Factor Protector

La variable disminuye la ocurrencia. Ejemplo: $\beta = -0.51 \implies e^{-0.51} = 0.60$. Cada unidad reduce las chances en un 40% (factor de protección).

4. Optimización por Máxima Verosimilitud (MLE)

Encontrando los parámetros que maximizan la probabilidad conjunta de los datos observados.

Optimización

Función de Verosimilitud de Bernoulli:

Para observaciones independientes con $y_i \in \{0, 1\}$, la probabilidad conjunta es el producto de densidades de Bernoulli: $L(\beta) = \prod_{i=1}^n p_i^{y_i} (1 - p_i)^{1 - y_i}$.

  • Log-Verosimilitud: Se maximiza la suma de logaritmos $\ln L(\beta)$ para estabilidad numérica.
  • Función de Pérdida Log-Loss: Equivale a minimizar el promedio de entropía cruzada binaria.
  • Sin Forma Cerrada: Requiere métodos iterativos numéricos (Gradiente Descendente o Newton-Raphson / IRLS).
$$\text{Log-Loss} = -\frac{1}{n} \sum_{i=1}^n [y_i \ln(p_i) + (1 - y_i) \ln(1 - p_i)]$$

Costo de Entropía Cruzada Binaria (Cross-Entropy)

statsmodels_logit.py MLE Convergence
import statsmodels.api as sm
modelo = sm.Logit(y, sm.add_constant(X)).fit()
Optimization terminated successfully.
Current function value: 0.3214
Iterations 7
# Pseudo R-squ (McFadden): 0.428
# LLR p-value: 1.2e-14

El Pseudo R² de McFadden compara la verosimilitud del modelo completo frente al modelo solo con intercepto: valores entre 0.2 y 0.4 representan un excelente ajuste.

5. Matriz de Confusión y Métricas de Rendimiento

Evaluación del clasificador binario dado un umbral de decisión específico.

Evaluación de Modelos
Métrica Fórmula Operativa Pregunta de Negocio que Responde Dominio de Prioridad
Exactitud (Accuracy)
TP + TN TP + TN + FP + FN
¿Qué fracción total de predicciones fue correcta? Solo válida con clases perfectamente balanceadas (50/50).
Sensibilidad (Recall / TPR)
TP TP + FN
De todos los positivos reales, ¿cuántos logró detectar el modelo? Detección de cáncer, fraude o fallas críticas de máquinas.
Precisión (Precision / PPV)
TP TP + FP
De todas las alarmas que emitió el modelo, ¿cuántas eran reales? Filtro de spam, campañas costosas de marketing directo.
F1-Score
2 ·
Prec · Rec Prec + Rec
Media armónica para balancear precisión y sensibilidad simultáneamente. Métrica resumen estándar ante datos desbalanceados.
Trade-off Inevitable: Aumentar el Recall casi siempre degrada la Precisión (y viceversa). La elección del umbral depende de los costos asimétricos de error.

6. Diagnóstico Discriminante: Curva ROC y AUC

Evaluación intrínseca de la capacidad de ordenamiento del modelo independiente del umbral.

Diagnóstico Global
ROC / AUC

Capacidad Discriminante

Traza la Tasa de Verdaderos Positivos (TPR) contra la Tasa de Falsos Positivos (FPR) variando el umbral de 0 a 1.

Escala de Desempeño del AUC:

AUC = 0.50 (Línea Diagonal)

Capacidad nula de discriminación; equivalente a lanzar una moneda al azar para clasificar.

0.70 ≤ AUC < 0.85 (Aceptable a Bueno)

El modelo separa con solvencia moderada ambas poblaciones; estándar aceptado en riesgo financiero.

AUC ≥ 0.90 (Excelente a Sobresaliente)

Separación de alta fidelidad. Existe una probabilidad del 90% de que el modelo asigne mayor probabilidad a un positivo real que a un negativo real.

Calibración Operativa en Vivo

7. Laboratorio Visual: Calibración del Umbral de Decisión

Mueve el umbral de corte $\tau$: observa cómo las observaciones cambian de cuadrante (TP, FP, FN, TN) y su impacto en las métricas.

Simulador en Vivo
Umbral de Corte ($\tau$): 0.50
Muestra sintética ($N=40$):
Matriz de Confusión Dinámica (2x2) Regla: pred = 1 si p ≥ τ
TP (Verdaderos Pos.) -- y=1, pred=1
FP (Falsas Alarmas) -- y=0, pred=1
FN (Pos. Omitidos) -- y=1, pred=0
TN (Verdaderos Neg.) -- y=0, pred=0
Exactitud (Acc) -- %
Recall (TPR) -- %
Precisión (PPV) -- %
Especificidad -- %
F1-Score -- %
Youden $J$ (Disc.) --
Curva Sigmoide, Frontera $X_{\text{corte}}$ y Clasificación Dinámica X_corte = 45.0
p=1.0 p=0.0 x=10 x=50 x=85 τ=0.50
TP (Acierto +)
FN (Omisión -)
TN (Acierto -)
FP (Falsa alarma)
Gancho pedagógico: Si este modelo clasifica fraude o biopsias oncológicas, ¿qué umbral $\tau$ minimiza el costo total sabiendo que un FN cuesta USD 5,000 y un FP solo USD 20?

8. Regularización en Regresión Logística: L1 vs L2

Previniendo el sobreajuste y la separación perfecta de clases.

Regularización

Penalización L2 (Ridge)

Contracción Suave

Agrega a la función Log-Loss la suma cuadrática de coeficientes: $\frac{1}{2C} \sum \beta_j^2$.

  • ▪ Comprime todos los coeficientes hacia cero sin anularlos.
  • ▪ Resuelve el problema de separación perfecta (donde MLE diverge a $\pm \infty$).
  • ▪ Parámetro $C$ en Scikit-Learn: Menor $C$ implica regularización más fuerte.
$$\min \text{Log-Loss} + \frac{1}{2C} \|\beta\|_2^2$$
Configuración por defecto recomendada para la gran mayoría de problemas tabulares.

Penalización L1 (Lasso)

Esparsidad

Agrega la suma de magnitudes absolutas: $\frac{1}{C} \sum |\beta_j|$.

  • ▪ Anula coeficientes irrelevantes exactamente a cero.
  • ▪ Produce modelos esparsos con selección de variables automática.
  • ▪ Ideal para datasets con cientos o miles de columnas dispersas (texto/genómica).
$$\min \text{Log-Loss} + \frac{1}{C} \|\beta\|_1$$
Requiere optimizadores como 'liblinear' o 'saga' en Scikit-Learn.

9. Protocolo de Auditoría en Clasificación Binaria

Checklist estándar de validación previo al despliegue en sistemas productivos.

Mejores Prácticas
LOGIT QA

Control de Calidad

Tres validaciones obligatorias antes de poner un clasificador logístico en producción.

Protocolo Metodológico:

1. Auditoría del Balance de Clases

Verificar la proporción del evento minoritario. Si $y=1$ ocurre en menos del 10%, utilizar estratificación obligatoria en `train_test_split` y calibrar `class_weight='balanced'`.

2. Calibración de Probabilidades

Comprobar que un caso con probabilidad predicha de 0.80 tenga efectivamente un 80% de ocurrencia histórica (Curva de Calibración de Brier).

3. Fijación del Umbral según Costos Asimétricos

No utilizar automáticamente el 0.50; optimizar el umbral minimizando la matriz de costos reales del negocio ($Cost = C_{FP} \cdot FP + C_{FN} \cdot FN$).

Anexo de Cátedra · Ejemplos Previo a Notebooks

10. Simulador de Métricas & Curvas Discriminantes Gaussianas

Calculadora desglosada paso a paso de matriz de confusión y visualización interactiva de separabilidad discriminante ($d'$).

Anexo Práctico

Calculadora Paso a Paso de Matriz

Fórmulas en Vivo
Presets de Negocio Típicos:
TP
FP
FN
TN
Exactitud (Accuracy): (85+85)/200 = 85.0%
Sensibilidad (Recall / TPR): 85/(85+15) = 85.0%
Precisión (PPV): 85/(85+15) = 85.0%
Especificidad (TNR): 85/(85+15) = 85.0%
F1-Score: 2*(0.85*0.85)/(0.85+0.85) = 0.85
Índice Discriminante de Youden ($J$): TPR - FPR = 0.85 - 0.15 = 0.70
El Índice de Youden $J \in [-1, 1]$ mide la eficacia del clasificador independientemente de la prevalencia: $J=1$ indica separación perfecta y $J=0$ equivale a azar.
Curvas Discriminantes $f(x \mid y=0)$ vs $f(x \mid y=1)$ d' = 2.0
τ=0.0
TPR (Recall) 84.1%
FPR (1 - Spec) 15.9%
Youden J 0.68
● Clase 0 (Negativos) ● Clase 1 (Positivos) ― Umbral de Corte ($\tau$)
Con estos fundamentos visuales y matriciales afianzados, pasamos a implementar la calibración computacional completa en Scikit-Learn y Statsmodels.

¡A Programar en Jupyter Notebooks!

Validación Computacional en Entorno Jupyter Notebooks (Semana 7)

Laboratorio Hands-On

Regresión No Lineal

01_regresion_no_lineal_y_polinomica.ipynb

Ajuste polinómico con PolynomialFeatures y penalización Ridge.

Regresión Logística

02_regresion_logistica_clasificacion.ipynb

Ajuste MLE con statsmodels y Scikit-Learn e interpretación de Odds Ratios.

Matriz de Confusión

02_regresion_logistica_clasificacion.ipynb

Cálculo de Accuracy, Precision, Recall y F1-score bajo diversos umbrales.

Curva ROC y AUC

02_regresion_logistica_clasificacion.ipynb

Generación del gráfico ROC y estimación del área bajo la curva con Scikit-Learn.

Práctica Guiada (Profesor proyectando)

45 min: El profesor guía la calibración de la regresión logística, la traducción de los coeficientes a Odds Ratios y el análisis de la curva ROC.

Trabajo Autónomo (Alumnos en parejas)

75 min: Los estudiantes resuelven los ejercicios de la Guía 4 (Problemas 1 a 4), ajustando un scoring de riesgo y calibrando el umbral óptimo de corte.

Bibliografía y Lecturas Asignadas para la Clase
[5] Análisis inteligente de datos con lenguaje R

Chan, Y. L. et al. (2020)

Capítulo 3 (Modelos no lineales, regularización Ridge y Lasso)

[7] Introduction to Machine Learning with Python

Müller, A. C. & Guido, S. (2016)

Capítulo 2 (Linear Models for Regression, Ridge, Lasso y modelos no lineales)

¿Dudas sobre cómo interpretar un Odds Ratio o ajustar el umbral de clasificación según los costos del error?