Unidad 1

Probabilidad Condicional & Cadenas de Markov

Diapositiva 1 / 12
Cátedra de Métodos Cuantitativos • Clase 2

Probabilidad Condicional & Cadenas de Markov

Modelado estocástico de tiempo discreto, matrices de transición y convergencia hacia la distribución estacionaria.

Procesos Estocásticos (DTMC) Matrices de Transición P Distribución Estacionaria π
Usa las flechas ← → o haz clic para avanzar

Objetivos Estratégicos de la Sesión

Hoja de ruta para el modelado dinámico de estados y simulación de procesos.

Hoja de Ruta
1

Propiedad de Markov

Comprender la memoria nula condicional en sistemas dinámicos: el futuro depende únicamente del estado actual.

2

Matriz Estocástica P

Dominar la formulación de la matriz de transición y el cálculo analítico de predicciones a n pasos mediante Chapman-Kolmogorov.

3

Distribución Estacionaria π

Calcular y resolver el sistema de equilibrio $\pi P = \pi$, demostrando cuándo un sistema converge a un régimen invariante.

4

Simulación Monte Carlo

Simular trayectorias de estados en Python y conectar las cadenas de Markov con modelos basados en agentes (ABM).

Implementación práctica en el notebook 05_cadenas_markov_simulacion.ipynb.

1. La Propiedad de Markov (Memoria Nula)

Condición matemática fundamental de los procesos estocásticos de tiempo discreto.

Fundamentos

Postulado de Independencia Condicional:

Dado el estado presente $X_t$, la evolución futura $X_{t+1}$ es condicionalmente independiente de toda la trayectoria histórica previa $\{X_0, X_1, \dots, X_{t-1}\}$.

  • Espacio de Estados (S): Conjunto finito o numerable de configuraciones del sistema.
  • Probabilidades Homogéneas: La probabilidad de saltar de $i$ a $j$ es constante en el tiempo.
  • Eficiencia Computacional: Para predecir el próximo paso solo se necesita almacenar el estado actual.
$$P(X_{t+1} = j \mid X_t = i, \dots, X_0 = i_0) = P(X_{t+1} = j \mid X_t = i) = P_{ij}$$

Definición formal de Cadena de Markov Homogénea

Grafo de Transición de Estados

Estado 1
Activo
Estado 2
En Riesgo
Estado 3
Baja (Churn)

Cada arco del grafo representa una probabilidad de transición $P_{ij}$. La suma de los arcos que parten de cualquier estado debe sumar exactamente 1.0.

2. Matriz Estocástica de Transición (P)

Estructura algebraica y proyección temporal de la distribución de estados.

Álgebra Estocástica

Matriz Estocástica P

Propiedades de Filas

Matriz cuadrada $k \times k$ donde cada fila describe la distribución condicional de salida de un estado.

  • ▪ Todas las probabilidades son no negativas: $P_{ij} \ge 0$.
  • ▪ Suma por fila unitaria: $\sum_{j=1}^k P_{ij} = 1 \quad \forall i$.
  • ▪ Vector de estado inicial: $v^{(0)} = [P(X_0=s_1), \dots, P(X_0=s_k)]$.
$$P = \begin{pmatrix} P_{11} & P_{12} & \dots & P_{1k} \\ P_{21} & P_{22} & \dots & P_{2k} \\ \vdots & \vdots & \ddots & \vdots \\ P_{k1} & P_{k2} & \dots & P_{kk} \end{pmatrix}$$
Regla clave: Cada fila representa una distribución de probabilidad válida completa.

Ecuación de Chapman-Kolmogorov

Proyección a n Pasos

La probabilidad de transitar de $i$ a $j$ en $n$ pasos corresponde a la potencia $n$-ésima de la matriz $P$.

  • ▪ Distribución en el tiempo $n$: $v^{(n)} = v^{(0)} P^n$.
  • ▪ Propiedad asociativa: $P^{n+m} = P^n \times P^m$.
  • ▪ Convergencia asintótica: Al crecer $n$, $P^n$ tiende a filas idénticas equivalentes a $\pi$.
$$P_{ij}^{(n)} = \sum_{r=1}^k P_{ir}^{(m)} P_{rj}^{(n-m)} \implies P^{(n)} = P^n$$
Ventaja: Proyectar el estado futuro a 12 meses solo requiere calcular $v^{(0)} P^{12}$ en NumPy.

3. Clasificación de Estados y Ergodicidad

Condiciones topológicas requeridas para garantizar la existencia de un régimen de equilibrio.

Topología de Markov
ERGÓDICA

Régimen Estable

Una cadena irreducible y aperiódica garantiza la convergencia a una distribución estacionaria única independiente del estado inicial.

Taxonomía de Estados en una Cadena:

Estados Recurrentes vs Transitorios

Un estado es recurrente si la probabilidad de retornar a él en tiempo finito es 1. Es transitorio si existe probabilidad positiva de no volver a visitarlo jamás.

Estados Absorbentes

Un estado $i$ es absorbente si $P_{ii} = 1$. Una vez que el sistema entra en él, nunca puede abandonarlo (ej. quiebra financiera, desuscripción definitiva o muerte celular).

Periodicidad y Aperiodicidad

Un estado tiene período $d$ si el retorno solo es posible en múltiplos de $d$ pasos. Si $d = 1$, la cadena es aperiódica y se evitan ciclos oscilatorios permanentes.

4. Distribución Estacionaria (\pi)

El vector de probabilidad invariante en el largo plazo.

Equilibrio

Definición y Ecuaciones de Balance

Invarianza

Vector fila de probabilidades que permanece inalterado tras aplicar una transición del proceso.

  • ▪ Ecuación matricial de equilibrio: $\pi P = \pi$.
  • ▪ Condición de normalización estocástica: $\sum_{i=1}^k \pi_i = 1$.
  • ▪ Corresponde al autovector izquierdo asociado al autovalor $\lambda = 1$.
$$\pi = \pi P \iff \pi (P - I) = 0$$
Interpretación: $\pi_i$ es la fracción esperada de tiempo que el sistema pasa en el estado $i$ a largo plazo.

Resolución Numérica en Python

Implementación

Se reemplaza una ecuación redundante por la condición de suma unitaria para obtener una solución única.

  • ▪ Construir el sistema lineal: $(P^T - I) \pi^T = 0$.
  • ▪ Sustituir la última fila por $[1, 1, \dots, 1]$ con término independiente $1$.
  • ▪ Resolver directamente con np.linalg.solve(A, b).
$$\begin{pmatrix} (P^T - I)_{1..k-1} \\ 1 \dots 1 \end{pmatrix} \pi^T = \begin{pmatrix} 0 \\ 1 \end{pmatrix}$$
NumPy resuelve este sistema en microsegundos para matrices de hasta miles de estados.

5. Aplicaciones Industriales de Cadenas de Markov

Casos de uso emblemáticos en ingeniería, operaciones y ciencia de datos.

Casos de Uso
Dominio Espacio de Estados (S) Decisión Estratégica Métrica de Interés
Mantenimiento Predictivo {Nuevo, Desgaste Leve, Crítico, Falla} Programar parada de servicio Tiempo medio hasta la absorción (MTBF)
Retención de Clientes (Churn) {Lead, Activo, Hibernando, Baja} Campaña proactiva de retención Customer Lifetime Value (LTV) esperado
Gestión de Stock / Inventarios Nivel de stock disponible {0, 1, ..., Max} Punto de reorden y lote óptimo Probabilidad de quiebre de stock
Algoritmo PageRank (Google) Páginas web del grafo de internet Ranking de relevancia de búsqueda Distribución estacionaria con teletransporte
Insight Metodológico: Las cadenas de Markov transforman incertidumbres secuenciales complejas en álgebra lineal determinística.

6. De Cadenas de Markov a Modelos Basados en Agentes (ABM)

Articulación pedagógica: cómo la dinámica de estados sienta las bases de la simulación social e industrial.

Simulación Avanzada
DTMC → ABM

Micro a Macro

Los agentes individuales toman decisiones mediante autómatas estocásticos de Markov; de su interacción colectiva emergen patrones macroscópicos.

Puente Conceptual:

1. Regla de Comportamiento del Agente

Cada agente en la simulación posee un estado interno (ej. Susceptible, Infectado, Recuperado en epidemiología SIR) gobernado por una matriz de transición local.

2. Probabilidades Condicionales Dinámicas

A diferencia de la cadena homogénea estática, en los modelos ABM las probabilidades de transición varían en función del entorno y la densidad de agentes vecinos.

3. Simulación Computacional en Mesa / Python

El muestreo de trayectorias con np.random.choice estudiado hoy es exactamente el motor que impulsa cada paso temporal en simuladores basados en agentes.

7. Laboratorio Visual: Simulación de Trayectorias de Markov

Observa en vivo la evolución estocástica de un sistema de 3 estados y la convergencia de frecuencias relativas hacia π.

Simulador en Vivo

Simulador Monte Carlo:

Simula 1,000 transiciones de una cadena de Markov y contrasta las proporciones empíricas observadas frente a la distribución estacionaria teórica.
Estado 1 (S1) -- % Teórico: 40%
Estado 2 (S2) -- % Teórico: 35%
Estado 3 (S3) -- % Teórico: 25%
Por la ley fuerte de los grandes números, la frecuencia empírica converge exactamente a $\pi$.
Trayectoria de Estados Simulada (Primeros 150 pasos) Convergencia OK
● S1 (Activo) ● S2 (Riesgo) ● S3 (Recuperado) 1,000 iteraciones

8. Enfoques Computacionales: Álgebra vs Simulación

Cuándo resolver analíticamente y cuándo recurrir a experimentos Monte Carlo.

Metodología

Solución Exacta (Álgebra Matricial)

Determinístico

Calcula el límite asintótico resolviendo directamente el sistema de ecuaciones lineales $\pi (P - I) = 0$.

  • ▪ Precisión numérica absoluta en microsegundos.
  • ▪ No introduce variabilidad muestral ni error estocástico.
  • ▪ Escala eficientemente hasta cientos de estados en NumPy.
$$\pi = \text{solve}\left(\begin{pmatrix} P^T - I \\ \mathbf{1} \end{pmatrix}, \begin{pmatrix} \mathbf{0} \\ 1 \end{pmatrix}\right)$$
Uso preferido: Siempre que la matriz de transición sea pequeña y completamente conocida.

Simulación de Trayectorias (Monte Carlo)

Estocástico

Genera secuencias de pasos aleatorios según las probabilidades condicionales de transición de cada fila.

  • ▪ Permite calcular métricas complejas no analíticas (ej. distribución de tiempos de primer paso).
  • ▪ Soporta transiciones que dependen del tiempo o de variables exógenas.
  • ▪ Base directa para modelos de simulación basados en agentes (ABM).
$$X_{t+1} \sim \text{Categorical}(P_{X_t, :})$$
Uso preferido: Cuando se modelan interacciones de múltiples agentes o procesos heterogéneos.

9. Checklist de Modelado Estocástico de Markov

Pautas de verificación para asegurar validez teórica y computacional.

Mejores Prácticas
DTMC VALID

Auditoría Estocástica

Comprobar estas 3 condiciones antes de interpretar la distribución estacionaria como régimen de largo plazo.

Protocolo de Validación:

1. Verificación de Matriz Estocástica

Verificar en código que todas las filas sumen 1.0 (assert np.allclose(P.sum(axis=1), 1.0)) y que no existan probabilidades negativas.

2. Prueba de Conectividad (Irreducibilidad)

Asegurar que sea posible transitar desde cualquier estado a cualquier otro estado en un número finito de pasos para evitar islas aisladas.

3. Sensibilidad del Estado Inicial

Comprobar si tras 20 iteraciones la distribución de estados $v^{(20)}$ ya es independiente de la configuración de partida $v^{(0)}$.

¡A Programar en Jupyter Notebooks!

Validación Computacional en Entorno Jupyter Notebooks (Semana 2)

Laboratorio Hands-On

Cadenas de Markov

05_cadenas_markov_simulacion.ipynb

Definición de matrices estocásticas, potenciación y simulación de trayectorias.

Distribución Estacionaria

05_cadenas_markov_simulacion.ipynb

Resolución exacta del sistema lineal de equilibrio invariante π P = π.

Tiempo de Primer Paso

05_cadenas_markov_simulacion.ipynb

Cálculo del número medio de pasos hasta alcanzar un estado crítico.

Modelado de Churn

05_cadenas_markov_simulacion.ipynb

Caso aplicado de ciclo de vida del cliente y retención en servicios.

Práctica Guiada (Profesor proyectando)

45 min: El profesor guía la implementación de la matriz de transición en NumPy, la potenciación matricial y la resolución del autovector estacionario.

Trabajo Autónomo (Alumnos en parejas)

75 min: Los estudiantes resuelven los ejercicios de la Guía 1 (Problemas 5 a 8), modelando de forma autónoma la dinámica de estados de un sistema industrial.

¿Dudas sobre el planteo de la matriz estocástica o el cálculo de la distribución estacionaria antes de comenzar?