Esta bien, gracias por venir
Vamos a hablar hoy, sobre lo que se llama Max Ent
o el principio de Máxima Entropía,
o los llamados algunas veces Métodos de Máxima Entropía
Max Ent se divide en dos partes
y veremos estas partes aquí, en
la primera y segunda mitad
de la unidad
La Máxima Entropía fue inventada
por un alemán llamado E.T. Jaynes
fue la primer persona
en poner todo esto en un solo artículo
para la revista Physical Review
y Jaynes estaba tras una búsqueda profunda
filosófica, casi epistemológica
preguntas sobre la naturaleza de
la realidad ¿por qué las leyes físicas
tomaron la forma que tienen?
Pero en años recientes encontramos que
Max Ent, el principio de
Máxima Entropía ha encontrado
una gran cantidad de usos en
en aprendizaje automático, en
el modelado de procesos del mundo real
A diferencia de lo que sería
la explicación y el entendimiento
de estos procesos.
De este modo, hay gente interesada
en la predicción, por ejemplo
quieren aprender como se ve
la bolsa de valores, y predecir
como se verá mañana
quieren aprender la naturaleza de, digamos
un cáncer de un paciente en particular
quisieran modelar de manera de obtener un modelo capaz
de predecir mañana qué es lo que va a ocurrir
Entonces es una meta gigante,
intelectualmente, increíblemente ambiciosa meta
que la gente de la comunidad de inteligencia artificial
y de aprendizaje automático tiene
Max Ent es enorme, en esa parte del mundo
en esa parte del mundo intelectual,
y nosotros vamos a empezar ahí.
y en la segunda parte de la charla
voy a intentar establecer conexiones
partiendo de lo que hemos aprendido
de la predicción por el lado del aprendizaje automático
e intentar aplicar eso a algunos problemas
realmente interesantes que encontramos
en el estudio de sistemas biológicos
en el estudio de sistemas sociales
y en particular, voy a intentar meterme
en algunas de las más profundas
preguntas filosóficas que la máxima
entropía nos plantea, particularmente
siendo que funciona tan bien como lo hace
Entonces lo que puedo hacer es empezar con
el problema de la predicción, en particular
comienzo con la clase de problemas en los cuales
la máxima entropía sobresale, y
esto es en la predicción de datos de alta dimensión
Entonces los datos de altas dimensiones
en este caso, voy a explicar una
definición de trabajo, digamos algo
en la siguiente línea: un sistema es
de alta dimensión
si el número de configuraciones, que le llamamos N
es mucho mucho mayor que la cantidad
de datos que tenemos, que le llamamos K
entonces esta es la cantidad de datos
y esta es la cantidad de configuraciones posibles
entonces el número de formas que puede tomar el sistema
es mucho mucho mayor que el número de formas
que podemos observar esos datos
en el mundo real. El número de veces
que observamos en el mundo real.
muchas veces podemos hablar
de las dimensiones de un conjunto de datos
por ejemplo tomemos esta imagen,
una en blanco y negro, y digamos que
esta imagen tiene 10000 píxeles,
y digamos que cada píxel en la imagen
puede tomar un valor de +1 o -1
digamos negro es +1, y -1 es blanco
entonces cualquier imagen aquí
puede tener una combinación arbitraria
cualquier combinación de valores
de píxeles. Si tenemos 10000 píxeles
y cada uno puede ser +1 o -1
entonces el total de imágenes es 2^10000
cada pixel tiene una dimensión discreta
+1 o -1, y así los 10000.
entonces si intentamos construir un modelo
de digamos las palabras escritas a mano
modelamos por ejemplo todas las
maneras diferentes en las cuales podemos
escribir la letra e
casi no hay manera en la cual
puedas adquirir, pienso que
probablemente es posible probar
que el universo va a morir
antes de que puedas reunir suficiente muestras
de mi escritura a mano
y la cantidad de datos que tenemos
no es comparable a los 2^10000
para dar una idea, 2^10000 es
similar a 1000^1000 , 10^3000
como un googol elevado a la 30..
Entonces para estos casos
lo que nos gustaría hacer, de lo que quisiéramos
hablar o por lo menos, dar la probabilidad
de tener una imagen particular
partiendo de un conjunto de imágenes
donde el número total del conjunto
sea menor al total de imágenes posibles
eso es algo en lo cual Max Ent sobresale