Hoy voy a hablar sobre algunas cosas interesantes para ampliar los modelos que estuvimos viendo en las unidades anteriores, pero nos vamos a concentrar en el problema de El Farol La idea es combinar MBA con aprendizaje de máquina Llegué a esto hace un tiempo, de hecho presenté un par de artículos al respecto Cuando uno piensa en el procesamiento en bucle de los MBA, se da cuenta que es muy similar al procesamiento en bucle del aprendizaje de máquina Qué hacemos en los MBA? Inicializamos el mundo y los agentes dejamos que los agentes observen el mundo sea lo que fuere ese mundo luego realizan acciones luego observan el mundo nuevamente y así sucesivamente Hay una parte en que, hay algo que no está en el modelo, pero a veces sí y es que los agentes realmente mantienen internamente un modelo de como está funcionando el mundo y basados en esas observaciones, actualizan ese modelo así pueden tomar acciones diferentes en el futuro Y en el problema de el bar El Farol, esa parte interna existe de verdad los agentes observan qué estrategia van a usar o no, cuales funcionaron en el pasado y basados en esas actualizaciones de su modelo interno toman las decisiones Miremos ahora el aprendizaje de máquina no voy a gastar mucho tiempo en los detalles, pero déjenme decirles brevemente que el aprendizaje de máquina es la idea de que se pueden escribir un conjunto de reglas, un algoritmo en una computadora que puede tener un conjunto de datos anteriores y a partir de ahí aprender algo generalizable, un patrón, a partir de esos datos Una de las formas de pensar en esto, es que los algoritmos del aprendizaje de máquina a veces crean modelos internos observan el mundo, registrando los datos registran observaciones y la historia, reproducciones de la historia y actualizan estos modelos internos, que están basados en principios generales sobre el mundo pueden realizar alguna acción basados en algunos casos esa acción puede ser la clasificación o emitir una salida de algún tipo Observan básicamente el resultado del modelo, vuelven atrás y continúan Esto es así en un sentido muy genérico esto se acompaña con el aprendizaje de máquina supervisado y con el no supervisado, el aprendizaje reforzado y otros casos, pero en un sentido o en otro, estas son diferentes formas del aprendizaje de máquina, si uno piensa en estos dos bucles, son muy similares está la etapa donde creo el modelo, donde observo algo acerca del mundo, actualizo el modelo, y realizamos acciones basados en ello De hecho se pueden combinar estos modelos por supuesto uno puede combinar el MBA con el aprendizaje de máquina, de muchas formas diferentes pero una forma de pensar en ello es, inicializar el mundo, los agentes y todo el modelo interno, luego tenemos a estos agentes observando el mundo, luego actualizan el modelo interno y cómo lo actualizan?, bueno tienen que enviar las observaciones a un algoritmo de aprendizaje de máquina que toma esas observaciones, registra las actualizaciones del modelo interno recomienda acciones basadas en la historia reciente, envía esas recomendaciones de vuelta al MBA, el MBA realiza algunas acciones basado en esas observaciones de los valores y sigue para adelante En una versión del problema del bar El Farol, eso fue exactamente lo que hicimos uno puede ver la curva que vimos, los agentes envían sus observaciones acerca de la concurrencia al bar y escogen una nueva acción para llevar a cabo la próxima vez que vayan al bar, basados en las observaciones previas Pero podemos sofisticar un poco las cosas y en nuestro modelo actual, en nuestra versión actual de NetLogo, esencialmente utiliza una bolsa de estrategias un conjunto de estrategias que se pueden escoger y donde continúan eligiendo la estrategia que les parece mejor Pero podemos ser un poco más sofisticados podemos usar algo como una red neuronal o un algoritmo genético o árboles de decisión o algo más potente como para poder entender, como para que los agentes puedan entender el mundo que los rodea y vamos a hablar de una aplicación que hice hace un tiempo cuando trabajaba con NetLogo en el espacio de problemas del Bar El Farol