Hemos presentado el problema de producir un modelo parsimonioso de los datos
lo que supone describir las probabilidades de cada una de las posibles configuraciones.
Ahora, lo que voy a hacer es mostraros el método general
para aumentar un modelo parsimonioso,
o, al revés, un método general para producir un modelo más parsimonioso
que una reproducción exacta de los datos,
y a este método se le llama método de máxima entropía
o principio MaxEnt.
El ejemplo del que voy a hablar
trata de predecir cuándo vais a conseguir un taxi en la ciudad de Nueva York.
El chiste sobre Nueva York es que nunca vas a conseguir un taxi,
excepto cuando no necesitas un taxi, en que hay taxis en todos lados.
Y, por supuesto, hay extrañas razones por las que ésto puede ocurrir,
pero si alguna vez habéis tratado de conseguir un taxi
por la mañana temprano en la dirección sur de la avenida Park,
olvidadlo; nunca conseguiréis un taxi.
Esto de aquí son taxis en la ciudad de Nueva York.
Digamos que sois científicos en este campo,
y decidís recoger datos,
y recogéis datos y decís: Necesito un táxi, y voy a la calle,
¿Cuánto tiempo tengo que esperar?
OK, ¿cuánto tiempo tengo que esperar
para conseguir un taxi en el que pueda subirme,
un taxi que está libre y de servicio?
Digamos que mantengo registros por un tiempo,
y éstos son los datas que he recogido,
y éste es el tiempo que llevó conseguir un taxi en minutos.
Así, una vez me llevó 6 minutos conseguir un taxi,
después me llevó 3 minutos, 4 minutos,
otra vez me llevó 6 minutos de nuevo, y así sucesivamente.
Así que este es el conjunto de observaciones
sobre una cuestión experimental básica: ¿Cuánto tiempo lleva conseguir un taxi?
Y entonces la cuestión es: ¿Qué debo pensar sobre el tiempo de espera
para un taxi en la ciudad de Nueva York?
En ésto sois ya bastante buenos.
Sabéis, por ejemplo, que una forma de hacerlo
es tomar estos datos.
Tengo 10 puntos sobre cuánto lleva coger un taxi,
y por tanto, la probabilidad de esperar 6 minutos para coger el taxi
parece que es... bueno, hay uno, dos, tres veces de diez
que vi un taxi después de 6 minutos,
lo que significa que hay un 30% de probabilidades de esperar 6 minutos.
Y, por ejemplo, la probabilidad de tener que esperar 2 minutos
parece ser 20%.
Así que podéis ver inmediatamente que tenemos un gran problema,
porque, por ejemplo, resulta que, si sigo este modelo ingenuo directamente,
me dice que la probabilidad de conseguir un taxi en 1 minuto es cero.
Hay esta probabilidad cero de conseguir un taxi en un minuto.
Y no sólo eso, sino que por ejemplo,
la probabilidad de esperar 7 minutos para coger el taxi es también cero.
Esto parece desconcertante, chicos.
Parece que hemos, lo que se llama, sobreajustado los datos.
Estamos describiendo los datos de forma que ponemos demasiada estructura.
El hecho de que nunca he esperado más de 6 minutos para coger el taxi,
pero de hecho he esperado 6 minutos en 3 ocasiones,
parece un accidente de los datos.
No queremos poner esto en nuestro modelo.
Así que, en lugar del modelo ingenuo,
lo que voy a hacer, y éste es el meollo del método de máxima entropía,
es producir una distribución de probabilidades que tiene dos cosas.
Una, mi P_{MaxEnt}
Esta es mi P_{MaxEnt} que voy a tratar de producir.
En primer lugar, P_{MaxEnt}, que le llamaremos P{ME},
satisface un número limitado de restricciones,
y en un momento os diré explícitamente que es una restricción.
Y número dos, la distribución que satisface estas restricciones
tiene la máxima entropía de todas las distribuciones
que satisfacen estas restricciones.
Así que lo que encontraremos es que hay potencialmente muchas distribuciones
de probabilidad que satisfacen las restricciones,
y vamos a coger una, y resulta que es la única
que tiene la máxima entropía
de todas las distribuciones que satisfacen las restricciones. ¿Ok?
Así que las restricciones siempre serán en forma de valores esperados.
Siempre habrá restricciones promedio
de alguna cantidad que medís en los datos. ¿Ok?
Por ejemplo, ¿Ok?
podemos tener una restricción en el valor esperado
del promedio de tiempo de espera. ¿Ok?
Así que lo escribimos así.
Estos paréntesis angulados significan el valor esperado de x, ¿Ok?
y la forma en que hacemos ésto es integrando la probabilidad de esperar un tiempo x
x veces, dx, e integrar de 0 a ∞.
Y si queremos discretizar, y hablar de minutos,
redondeamos al minuto más próximo,
y también lo podemos escribir así.
Donde, en lugar de integrar sobre un continuo de tiempos
de 0 a 0.01 minutos y así,
aquí símplemente tenemos 0 minutos, 1 minuto, 2 minutos, 3 minutos.
Así que 0 minutos, el taxi está ahí, abrís la puerta; es un día mágico.
Y éste es un valor esperado del tiempo de espera promedio.
Y sólo por daros un ejemplo,
Éste es otro valor esperado que podrías haber medido.
Éste es el promedio del cuadrado del tiempo de espera,
y, por supuesto, la forma de hacerlo,
es integrar x² dx, ajustado por la probabilidad de cada x particular,
y en general, el valor esperado de una función f(x)
es ajustando f(x) por la probabilidad de cada x.
Así que esta notación debe ser algo que,
si no os resulta familiar o no estáis a gusto con ella,
debeis tomaros vuestro tiempo y descifrar
por qué esa es la forma correcta de hablar sobre el valor promedio de x.
Y si lo prefierís, éste de aquí puede resultaros más familiar
si las integrales todavía os asustan, que no deberían hacerlo.
Lo que vamos a hacer en esta aplicación particular,
el principio de máxima entropía,
es uno, P_{ME} (x) será restringida
para que el valor promedio de x, el promedio del tiempo de espera,
bajo la distribución P_{ME},
sea igual que en los datos.
Y de hecho, si contais aquí
y medís el promedio de tiempo de espera en los datos,
descubrís, y estoy contento con ello,
el tiempo de espera promedio.
En este conjunto de datos es 4 minutos, y lo que diremos, por tanto,
dadme distribuciones de probabilidad cuyo tiempo de espera promedio sea 4 minutos
Y ese es el paso 1. Ese es el paso de restricción.
Y podéis ver de inmediato que hay muchas distribuciones
que tienen un tiempo de espera promedio de 4 minutos.
Éste es uno.
La probabilidad de esperar x minutos es 0, excepto cuando x=4.
Técnicamente, ésta es una definición que sólo funcionaría en el caso discreto.
Tendríamos que usar funciones delta. Os ahorraré las funciones delta.
Aquí hay otro ejemplo.
P(x) = 1/2 si x = 3, 1/2 si x = 5, y 0 en los demás casos.
Todos éstos son modelos potenciales de coger un taxi en Nueva York
que satisfacen la restricción de que el promedio son 4 minutos.
Así que alguien podría decir, "Eh, éste es un buen modelo de tus datos.
Con tal que los datos sean que los taxis llevan 3 minutos o 5 minutos
y ningún otro valor de tiempo ."
Y, por supuesto, podéis pensar en combinar estos dos.
Por ejemplo, podéis combinar este y éste, y tendríais una distribución
que es dibujaré gráficamente aquí.
Donde el tiempo de espera se extiende entre 3, 4 y 5 minutos.
Y por supuesto, esta distribución original también lo satisface.
Por definición, si tenemos una distribución que es no-cero en estos puntos,
y se ajusta por el número de veces que lo vemos en los datos,
la esperanza también será de 4 minutos, por definición.
Así que tenemos una plétora de modelos candidatos.
Tenemos una plétora de models que satisfacen esta restricción particular.
Coged el que...
maximice la entropía.
Así que, habréis recordado la definición de entropía.
Si no, este es el momento perfecto para pausar el vídeo y revisarlo.
Pero lo que queremos es la distribución cuya entropía es maximizada.
Otra forma de decirlo es que queremos la distribución
que nos deja la mayor incertidumbre respecto a cuánto tardará el taxi en llegar,
excepto por el hecho, por supuesto, de que una algo es restringido.
Y ese algo que hemos restringido
es que el taxi tarda 4 minutos en promedio
Pero, por otra parte, quiero la mayor incertidumbre.
No quiero tener que... sabéis la forma de decirlo filosóficamente
No tengo prejuicios sobre lo que hacen los taxis de Nueva York,
Quiero tener la máxima incertidumbre sobre su comportamiento
sujeto a esta restricción.
Y podéis verlo, por ejemplo, aquí, intuitivamente,
la idea de que los taxis siempre tarden 4 minutos
satisface el criterio del promedio,
pero pone una cantidad enerme de estructura adicional.
Está diciendo que, por alguna razón,
todos los tiempos de espera, excepto el de 4 minutos, están prohibidos.
Y así, intuitivamente, de alguna forma parece requerir una justificación extra.
Pero estamos intentando estar mínimamente sesgados.
Estamos intentando tener el rango más amplio posible,
el rango más amplio posible sobre todas las configuraciones del sistema,
sujeto a una restricción sobre el comportamiento promedio que observamos.
Éste de aquí es ligeramente mejor, porque permite un rango más amplio,
y, de hecho, la combinación de estos es incluso mejor.
Y lo que nos gustaría hacer es producir una distribución
en la que tengáis que preguntar
- y ésta es una forma de interpretar la entropía -
tenéis que preguntar en promedio el máximo número de preguntas
para decidir cuánto tardará el taxi.
Así que, este paso os permite seleccionar de todos estos modelos,
de la plétora de de modelos populares que satisfacen las restricciones,
un modelo particular