veamos otro ejemplo de Cadenas de Markov esto es conocido a veces como el modelo
del ratón en el laberinto y ya vamos a ver por qué en un momento, quiero que
recuerden de las clases anteriores que les mostré como encontrar el vector de estado
estable para una matriz estocástica, resolviendo el sistema correspondiente de
ecuaciones lineales; entonces qué significa este modelo del ratón en el
labernito? bueno, dibujé a la izquierda, un poco tosco, perdón por ello; un ratón
en un laberinto, hicimos el laberinto bien simple y en el laberinto hay 3
habitaciones etiquetadas como 1, 2 y 3 y el ratón es libre de vagar por todo el
laberinto, yendo y viniendo por las distintas habitaciones; uno puede pensar
en las opciones del ratón para ir de una habitación a la siguiente como un evento
probabilístico; y de esta forma es que lo vamos a modelar, en una forma primitiva de
Inteligencia Artificial, es decir un sistema IA que se base en estas
probabilidades
Vamos adelante y dibujemos un grafo directo que en forma explícita nos muestre
las probabilidades de transición y desde ahí podemos construir nuestra matriz
estocástica
ok, dibujé el grafo direccionado y la matriz estocástica que le corresponde para
este ejemplo, pueden darse cuenta que no le permito al ratón que se quede quieto de
un paso al siguiente, en otras palabras se está moviendo siempre y eso se puede ver
acá en nuestro grafo direccionado, por ejemplo, si se encuentra en la habitación
1 tiene una probabilidad de 1/2 de moverse a la habitación 3 y tiene una probabilidad
similar de 1/2 de moverse a la habitación 2, tienen una probabilidad de 0 de
quedarse donde está y esto es cierto para todas las habitaciones y acá se pueden ver
las probabilidades restantes de transición y entonces mirando la matriz estocástica
acá, podemos ver el sentido que tiene
la forma en que se lee esto es, tengo las columnas que representan mi punto de
partida y los renglones que representan mi punto de llegada, ok? entonces por ejemplo
si estoy en la habitación 1, la probabilidad de moverme o de quedarme en
la habitación 1 es 0, como ya lo dijimos hace un momento, moverme puede ser un
componente diferente, si actualmente estoy en la habitación 3, la probabilidad de
moverme a la habitación 2, la transición es 2/3, lo podemos ver en el grafo
direccionado, de 3 a 2 es con certeza una probabilidad de 2/3, esta es nuestra
matriz estocástica; otra pregunta que podemos hacernos es esta, qué sucede a
medida que el tiempo avanza? podemos en algún sentido obtener algún plano del
pensamiento a largo plazo o de la conducta a largo plazo del ratón en el laberinto? y
para poder responder a esa pregunta, vamos a seguir adelante y resolver el vector de
estado estable con respecto a la matriz estocástica
ok antes de seguir adelante y resolver el vector de estado estable para este
problema en particular, vamos a ver en forma mecánica como insertar el vector y
hacer algunos cálculos para esta Cadena de Markov; recuerden que nuestra matriz
estocástica P está dada de la siguiente manera; supongamos ahora que nuestro
vector inicial es 1 0 0, en otras palabras el ratón arranca en la habitación 1, ok,
si quiero darme cuenta de cual es la probabilidad de transición de mi vector de
estado luego de una sola iteración, sólo debo multiplicar a la izquierda por mi
matriz P y así obtengo, sin sorpresas, el siguiente vector de probabilidad, entonces
luego de 1 paso tenemos una probabilidad de 1/2, el ratón está en la habitación 2 y
tiene una probabilidad de 1/2 de estar en la habitación 3; si giro la manija y sigo
con el proceso de Markov otra vez y trato de ver cual es la probabilidad luego de 2
iteraciones o 2 pasos vuelvo a multiplicar por P y obtengo este nuevo vector de
estado 1/3 1/3 1/3, un vector de probabilidad uniforme, la forma en que
puedo interpretar este resultado es que luego de 2 movimientos del ratón en el
laberinto hay una probabilidad igual, en otras palabras una probabilidad de 1/3 de
que el ratón esté en la habitación 1, habitación 2 o habitación 3
la gran pregunta es cuál es la conducta final del movimiento del ratón en el
laberinto, en otras palabras, cuál es el vector de estado estable para este sistema
vamos a encontrarnos con una idea que se usa en el lenguaje de las matemáticas, el
vector de estado estable, que vamos a denotar como X es por definición un vector
de probabilidades, en otras palabras, los componentes de ese vector cuando se suman
dan 1 y básicamente lo que sucede es que cuando multiplico a la izquierda por mi
matriz estocástica, cuando mutliplico una matriz estocástica por un vector de estado
estable, permanece sin cambios, por lo que vuelvo a obtener X; si ponemos esto todo
junto podemos decir que nuestro sistema nuestro sistema dinámico está en
equilibrio cuando alcanza el vector de estado estable
ok, cuando hago esos cálculos, cuando lo resuelvo para X, en otras palabras nuestro
vector de estado estable, podemos obtener el siguiente resultado, X = 1/4 es 3/8 3/8
pueden notar que si sumo los componentes de ese vector todos juntos obtengo 1, es
de hecho un vector de probabilidades, lo cual es algo lindo de verificar
y debido a que es un vector de estado estable, les recuerdo, permanece fijo,
tiene un punto fijo, en otras palabras cuando multiplico por la matriz P a la
izquierda, ok, en un sentido en algún punto nuestra Cadena de Markov se vuelve
eventualmente en una secuencia infinita de del vector de estado estable, les recuerdo
que algunos detalles conceptuales vienen muy bien acá
cómo podemos saber, por ejemplo, que el vector de estado estable X es el único de
los vectores de estado estables que está asociado con esa matriz P? lo sabemos por
el teorema que les mencioné previamente en la sección, nominalmentea medida que la
matriz estocástica P es regular, lo cual quiere decir que si tomo una potencia, las
suficientes potencias obtengo una suerte de componentes estrictamente postivios,
bueno lo hice en forma directa acá, pero si elevan P al cuadrado, dicho sea de paso
lo pueden ver, ustedes obtendrán en forma estricta componentes positivos, entonces P
es regular, el teorema nos garantiza eso, que si mi matriz estocástica es regular
entonces van a haber 2 consecuencias: 1) es que sí el vector de estado estable X es
único, es el único vector de estado estable en un punto fijo para esta matriz
la otra garantía, que es importante a la hora de entender e interpretar este
problema y su respuesta es que, sin importar dónde comenzamos en nuestra
Cadena de Markov, la Cadena de Markov va a converger en ese vector en particular; qué
significa esto en el contexto de esta aplicación en particular, el problema del
ratón en laberinto; bueno significa lo siguiente: si reemplazo el ratón en
cualquiera de las habitaciones del laberinto, en otras palabras si empiezo
con cualquier vector de estado que me guste y dejo que el ratón recorra el
laberinto todo lo que quiera, puedo responder la pregunta: cuál es la conducta
final del ratón? y la respuesta es la que sigue: en el largo plazo el ratón gasta
1/4 del tiempo en la habitación 1, 3/8 de su tiempo en la habitación 2 y en forma
similar 3/8 en la habitación 3
aquí tenemos, hagamos en retrospectiva, antes de resolver el problema, vayamos un
paso atrás y apreciemos cómo una Cadena de Markov en conjunción con esta semilla
linda que nos permite resolver los vectores de estado estable hizo por
nosotros; en el comienzo propusimos una pregunta no muy alentadora, no complicada
una serie de premisas, en la tendencia probabilística que tiene este ratón
moviéndose por el laberinto, cuál será la conducta de largo plazo de este proceso
dinámico? y la respuesta es que se pueden hacer unos cálculos al final que nos dan
resultados regulares
este es un ejemplo clásico de una aplicación de una Cadena de Markov y así
termina esta sección 3i