Hoy voy a hablar sobre algunas cosas interesantes para ampliar los modelos
que estuvimos viendo en las unidades anteriores, pero nos vamos a concentrar
en el problema de El Farol
La idea es combinar MBA con aprendizaje de máquina
Llegué a esto hace un tiempo, de hecho presenté un par de artículos al respecto
Cuando uno piensa en el procesamiento en bucle de los MBA, se da cuenta que es muy
similar al procesamiento en bucle del aprendizaje de máquina
Qué hacemos en los MBA?
Inicializamos el mundo y los agentes
dejamos que los agentes observen el mundo sea lo que fuere ese mundo
luego realizan acciones
luego observan el mundo nuevamente y así sucesivamente
Hay una parte en que, hay algo que no está en el modelo, pero a veces sí
y es que los agentes realmente mantienen internamente un modelo de como está
funcionando el mundo y basados en esas observaciones, actualizan ese modelo
así pueden tomar acciones diferentes en el futuro
Y en el problema de el bar El Farol, esa parte interna existe de verdad
los agentes observan qué estrategia van a usar o no, cuales funcionaron en el
pasado y basados en esas actualizaciones de su modelo interno toman las decisiones
Miremos ahora el aprendizaje de máquina no voy a gastar mucho tiempo en los
detalles, pero déjenme decirles brevemente que el aprendizaje de máquina es la idea
de que se pueden escribir un conjunto de reglas, un algoritmo en una computadora
que puede tener un conjunto de datos anteriores y a partir de ahí aprender algo
generalizable, un patrón, a partir de esos datos
Una de las formas de pensar en esto, es que los algoritmos del aprendizaje de
máquina a veces crean modelos internos
observan el mundo, registrando los datos
registran observaciones y la historia, reproducciones de la historia
y actualizan estos modelos internos, que están basados en principios generales
sobre el mundo
pueden realizar alguna acción basados en algunos casos esa acción puede ser la
clasificación o emitir una salida de algún tipo
Observan básicamente el resultado del modelo, vuelven atrás y continúan
Esto es así en un sentido muy genérico esto se acompaña con el aprendizaje de
máquina supervisado y con el no supervisado, el aprendizaje reforzado
y otros casos, pero en un sentido o en otro, estas son diferentes formas del
aprendizaje de máquina, si uno piensa en estos dos bucles, son muy similares
está la etapa donde creo el modelo, donde observo algo acerca del mundo, actualizo
el modelo, y realizamos acciones basados en ello
De hecho se pueden combinar estos modelos por supuesto uno puede combinar el MBA con
el aprendizaje de máquina, de muchas formas diferentes
pero una forma de pensar en ello es, inicializar el mundo, los agentes y todo
el modelo interno, luego tenemos a estos agentes observando el mundo, luego
actualizan el modelo interno y cómo lo actualizan?, bueno tienen que enviar las
observaciones a un algoritmo de aprendizaje de máquina
que toma esas observaciones, registra las actualizaciones del modelo interno
recomienda acciones basadas en la historia reciente, envía esas
recomendaciones de vuelta al MBA, el MBA realiza algunas acciones basado en esas
observaciones de los valores y sigue para adelante
En una versión del problema del bar El Farol, eso fue exactamente lo que hicimos
uno puede ver la curva que vimos, los agentes envían sus observaciones acerca
de la concurrencia al bar y escogen una nueva acción para llevar a cabo la próxima
vez que vayan al bar, basados en las observaciones previas
Pero podemos sofisticar un poco las cosas y en nuestro modelo actual, en nuestra
versión actual de NetLogo, esencialmente utiliza una bolsa de estrategias
un conjunto de estrategias que se pueden escoger y donde continúan eligiendo la
estrategia que les parece mejor
Pero podemos ser un poco más sofisticados podemos usar algo como una red neuronal
o un algoritmo genético o árboles de decisión o algo más potente como para
poder entender, como para que los agentes puedan entender el mundo que los rodea
y vamos a hablar de una aplicación que hice hace un tiempo cuando trabajaba con
NetLogo en el espacio de problemas del Bar El Farol