veamos otro ejemplo de Cadenas de Markov esto es conocido a veces como el modelo del ratón en el laberinto y ya vamos a ver por qué en un momento, quiero que recuerden de las clases anteriores que les mostré como encontrar el vector de estado estable para una matriz estocástica, resolviendo el sistema correspondiente de ecuaciones lineales; entonces qué significa este modelo del ratón en el labernito? bueno, dibujé a la izquierda, un poco tosco, perdón por ello; un ratón en un laberinto, hicimos el laberinto bien simple y en el laberinto hay 3 habitaciones etiquetadas como 1, 2 y 3 y el ratón es libre de vagar por todo el laberinto, yendo y viniendo por las distintas habitaciones; uno puede pensar en las opciones del ratón para ir de una habitación a la siguiente como un evento probabilístico; y de esta forma es que lo vamos a modelar, en una forma primitiva de Inteligencia Artificial, es decir un sistema IA que se base en estas probabilidades Vamos adelante y dibujemos un grafo directo que en forma explícita nos muestre las probabilidades de transición y desde ahí podemos construir nuestra matriz estocástica ok, dibujé el grafo direccionado y la matriz estocástica que le corresponde para este ejemplo, pueden darse cuenta que no le permito al ratón que se quede quieto de un paso al siguiente, en otras palabras se está moviendo siempre y eso se puede ver acá en nuestro grafo direccionado, por ejemplo, si se encuentra en la habitación 1 tiene una probabilidad de 1/2 de moverse a la habitación 3 y tiene una probabilidad similar de 1/2 de moverse a la habitación 2, tienen una probabilidad de 0 de quedarse donde está y esto es cierto para todas las habitaciones y acá se pueden ver las probabilidades restantes de transición y entonces mirando la matriz estocástica acá, podemos ver el sentido que tiene la forma en que se lee esto es, tengo las columnas que representan mi punto de partida y los renglones que representan mi punto de llegada, ok? entonces por ejemplo si estoy en la habitación 1, la probabilidad de moverme o de quedarme en la habitación 1 es 0, como ya lo dijimos hace un momento, moverme puede ser un componente diferente, si actualmente estoy en la habitación 3, la probabilidad de moverme a la habitación 2, la transición es 2/3, lo podemos ver en el grafo direccionado, de 3 a 2 es con certeza una probabilidad de 2/3, esta es nuestra matriz estocástica; otra pregunta que podemos hacernos es esta, qué sucede a medida que el tiempo avanza? podemos en algún sentido obtener algún plano del pensamiento a largo plazo o de la conducta a largo plazo del ratón en el laberinto? y para poder responder a esa pregunta, vamos a seguir adelante y resolver el vector de estado estable con respecto a la matriz estocástica ok antes de seguir adelante y resolver el vector de estado estable para este problema en particular, vamos a ver en forma mecánica como insertar el vector y hacer algunos cálculos para esta Cadena de Markov; recuerden que nuestra matriz estocástica P está dada de la siguiente manera; supongamos ahora que nuestro vector inicial es 1 0 0, en otras palabras el ratón arranca en la habitación 1, ok, si quiero darme cuenta de cual es la probabilidad de transición de mi vector de estado luego de una sola iteración, sólo debo multiplicar a la izquierda por mi matriz P y así obtengo, sin sorpresas, el siguiente vector de probabilidad, entonces luego de 1 paso tenemos una probabilidad de 1/2, el ratón está en la habitación 2 y tiene una probabilidad de 1/2 de estar en la habitación 3; si giro la manija y sigo con el proceso de Markov otra vez y trato de ver cual es la probabilidad luego de 2 iteraciones o 2 pasos vuelvo a multiplicar por P y obtengo este nuevo vector de estado 1/3 1/3 1/3, un vector de probabilidad uniforme, la forma en que puedo interpretar este resultado es que luego de 2 movimientos del ratón en el laberinto hay una probabilidad igual, en otras palabras una probabilidad de 1/3 de que el ratón esté en la habitación 1, habitación 2 o habitación 3 la gran pregunta es cuál es la conducta final del movimiento del ratón en el laberinto, en otras palabras, cuál es el vector de estado estable para este sistema vamos a encontrarnos con una idea que se usa en el lenguaje de las matemáticas, el vector de estado estable, que vamos a denotar como X es por definición un vector de probabilidades, en otras palabras, los componentes de ese vector cuando se suman dan 1 y básicamente lo que sucede es que cuando multiplico a la izquierda por mi matriz estocástica, cuando mutliplico una matriz estocástica por un vector de estado estable, permanece sin cambios, por lo que vuelvo a obtener X; si ponemos esto todo junto podemos decir que nuestro sistema nuestro sistema dinámico está en equilibrio cuando alcanza el vector de estado estable ok, cuando hago esos cálculos, cuando lo resuelvo para X, en otras palabras nuestro vector de estado estable, podemos obtener el siguiente resultado, X = 1/4 es 3/8 3/8 pueden notar que si sumo los componentes de ese vector todos juntos obtengo 1, es de hecho un vector de probabilidades, lo cual es algo lindo de verificar y debido a que es un vector de estado estable, les recuerdo, permanece fijo, tiene un punto fijo, en otras palabras cuando multiplico por la matriz P a la izquierda, ok, en un sentido en algún punto nuestra Cadena de Markov se vuelve eventualmente en una secuencia infinita de del vector de estado estable, les recuerdo que algunos detalles conceptuales vienen muy bien acá cómo podemos saber, por ejemplo, que el vector de estado estable X es el único de los vectores de estado estables que está asociado con esa matriz P? lo sabemos por el teorema que les mencioné previamente en la sección, nominalmentea medida que la matriz estocástica P es regular, lo cual quiere decir que si tomo una potencia, las suficientes potencias obtengo una suerte de componentes estrictamente postivios, bueno lo hice en forma directa acá, pero si elevan P al cuadrado, dicho sea de paso lo pueden ver, ustedes obtendrán en forma estricta componentes positivos, entonces P es regular, el teorema nos garantiza eso, que si mi matriz estocástica es regular entonces van a haber 2 consecuencias: 1) es que sí el vector de estado estable X es único, es el único vector de estado estable en un punto fijo para esta matriz la otra garantía, que es importante a la hora de entender e interpretar este problema y su respuesta es que, sin importar dónde comenzamos en nuestra Cadena de Markov, la Cadena de Markov va a converger en ese vector en particular; qué significa esto en el contexto de esta aplicación en particular, el problema del ratón en laberinto; bueno significa lo siguiente: si reemplazo el ratón en cualquiera de las habitaciones del laberinto, en otras palabras si empiezo con cualquier vector de estado que me guste y dejo que el ratón recorra el laberinto todo lo que quiera, puedo responder la pregunta: cuál es la conducta final del ratón? y la respuesta es la que sigue: en el largo plazo el ratón gasta 1/4 del tiempo en la habitación 1, 3/8 de su tiempo en la habitación 2 y en forma similar 3/8 en la habitación 3 aquí tenemos, hagamos en retrospectiva, antes de resolver el problema, vayamos un paso atrás y apreciemos cómo una Cadena de Markov en conjunción con esta semilla linda que nos permite resolver los vectores de estado estable hizo por nosotros; en el comienzo propusimos una pregunta no muy alentadora, no complicada una serie de premisas, en la tendencia probabilística que tiene este ratón moviéndose por el laberinto, cuál será la conducta de largo plazo de este proceso dinámico? y la respuesta es que se pueden hacer unos cálculos al final que nos dan resultados regulares este es un ejemplo clásico de una aplicación de una Cadena de Markov y así termina esta sección 3i