Solo para recordarle donde estamos, tenemos dos restricciones.
Una es el valor esperado de x, el tiempo promedio de espera es 4 minutos.
la otra es que las probabilidades suman 1.
Esas son nuestras 2 restricciones, y lo que vamos a hacer es
maximizar la entropía de la distribución sujeta a estas restricciones.
¿Bien? Entonces, S va hacer la función de entropía,
y no vamos a tener una g, sino, de hecho dos g, ¿Bien?
Una g es esta función, una g es esta función, ¿Bien?
Así que... ¿Como se hace maximizaron con restricciones,
para mas de una restricción? Le di una idea intuitiva
de como hacerlo con una restricción a la vez,
¿Pero como se hace con 2 restricciones?
Voy a decirle la respuesta,
porque es mucho mas difícil de trabajar el problema de múltiples restricciones
Pero la respuesta es intuitiva, y vale la pena recordarla.
Y si alguna vez quiere resolverlo
hay muchos lugares donde conseguir la respuesta
Así que, así es como se trabaja con multiplicadores de Lagrange,
el método de multiplicadores de Lagrange, ¿Recuerda los multiplicadores de Lagrange?
Es este termino lambda, ¿Bien? Entonces, el método obtuvo su nombre de ahí,
si quiere maximizar la función f,
sujeta a un grupo de restricciones, ahora,
vamos a numerar las restricciones g sub i, así, g1, g2, y así sucesivamente
sus n restricciones, cuantas sea que tenga,
y la forma de hacerlo es ajustar el gradiente de la función igual a
una combinación lineal de gradientes de las restricciones.
Entonces, este es el caso donde tiene n restricciones.
Así que, este es el método general de los multiplicadores de Lagrange,
Para poder maximizar esta función sujeta a estas n restricciones,
ajuste el gradiente de la función f igual a una combinación lineal
de gradiente de la función g, y entonces el problema
se reduce a encontrar g. Lo que usted sabe es... Sabe que su punto máximo
es tal que puede sumar todos los gradientes de forma tal que,
con algunos coeficientes tales que pueden reproducir el gradiente del los contornos.
Entonces, ahora el problema es ¿cuales son estos Ls, o cuales son son estos lambdas?
Así que los que voy a hacer es guiarlo, ahora el problema de máxima entropía,
usando esta formula, y si esto parece misterioso ahora,
para el final, ojala no lo sera.
Lo que va a hacer es girar perillas, y juguetear con las perillas,
hasta que obtenga un lambda tal que
esos lambdas satisfagan los valores de la restricción particular que tiene en mente.
Entonces, no vamos a maximizar una función f arbitraria, sino de hecho la entropía,
y nuestras restricciones van a ser la restricción de el promedio,
y la restricción de la normalización. Entonces, lo que queremos derivar S
con respecto a p_i, lo hacemos termino por termino en el vector,
queremos que eso sea igual a lambda 1, por la derivada de g1 con respecto a p_i,
mas lambda2 por la derivada de g2 con respecto a p_i ¿Bien?
Esto es para recordarle que S es la entropía de la distribución,
S es igual a la suma negativa sobre todos los posibles tiempos de espera.
Así que de nuevo, por conveniencia, estoy hablando del caso discreto,
puede hacer limites, si tiene sus medidas configuradas correctamente,
y puede transformar estas en integrales, y transformar estas en integrales,
y esto también lo transforma en integrales.
Pero es mas fácil conceptualmente hablar primero del caso discreto.
Así , g1, recuerde, esto es una función de p, bien, p aquí es un vector ¿Ok?
g1 es solo la suma de i_0 a infinito de p_i veces i.
y estoy usando solo, estoy usando ahora i en vez de x,
es mas fácil de escribir para mi, ¿Ok?
Así, esta es la función de restricción, que restringe el valor promedio.
Y claro, lo que queremos al final es que queremos que g1(p) sea igual a 4 minutos.
g2(p) es la restricción de normalización, así la función parece la suma
sobre todos los valores de p, y claro, al final lo que haremos es hacer g2 = 1.
Y previamente definimos la entropía aquí. Entonces
¿Cual es la derivada de la entropía con respecto a probabilidad particular ¿Bien?
Una probabilidad en particular de una configuración en particular?
Muy bien, esto aquí es, S es igual a menos p_i log p_i con i desde 0 hasta infinito.
¿Bien? Así que, dS(p_i), es igual a... el único termino que va a sobrevivir que es
el que tiene la p_i, y luego tenemos la derivada de p_i log p_i,
que tiene 2 términos: log p_i, y el otro que es p_i por la derivada de log p_i.
La derivada de p_i, así que de hecho tiene un mas uno (+1),
entonces este es el lado izquierdo de su ecuación de multiplicadores de Lagrange.
y solo para recordarle que usamos logaritmo base e.
Así que, ahora tenemos que hacer la derivada de g1 con respecto de p_i,
¿Ok? Otra vez, hacemos la derivada de esta suma de aquí con respecto a p_i,
y obviamente lo que vamos a encontrar es que dg1/d(p_i) = i,
y finalmente, dg2/d(p_i) = 1.
Solo hay un termino en la suma que no se destruye con la derivada.
Entonces, juntemos todo esto,
tenemos menos log p_i - 1 que es igual a lambda 1 por la derivada de
g1 con respecto a p_i, lo que es i, mas la derivada de g2 con respecto a p_i,
por lambda 2, así que esta es nuestra ecuación ¿Ok? Que se satisface
cuando trata de maximizar la entropía, intente maximizar esta función,
sujeta a estas restricciones, para algún valor de las restricciones
Entonces vamos a resolverla para p_i. Así que vamos a mover las cosas por aquí,
y tenemos menos 1 menos lambda 1 i, menos lambda 2, igual a log p_i,
vamos a elevar ambos lados, voltearlos, y tenemos
p_i es igual a e a la menos 1, menos lambda 1 i, menos lambda 2 ¿Ok?
Y podemos escribirlo de manera mas breve de la siguiente manera,
e a la lambda 1 i dividido por Z,
donde Z es igual a e a la 1 mas lambda 2.
La probabilidad de esperar algún tiempo i, es igual a e a la menos lambda 1 veces i,
hay una distribución exponencial de tiempos de espera.
Ahora, todo lo que queda es determinar que rayos es lambda 1,
y que rayos es Z.
Y lo que vamos a hacer es ajustar, vamos a determinar
el valor al que se tiene que ajustar lambda1
para poder satisfacer el valor particular de la restricción
y este valor particular de la restricción,
Entonces, conocemos la forma funcional de la distribución,
y ahora solo tenemos que determinar los parámetros de la función.
Y habrá dos parámetros.
Así que lo primero que sabemos es, por supuesto,
que la probabilidad esta normalizada, y esos significa que efectivamente
¿Ok?
Insertando esta forma funcional, y así, ahora, ya, podemos solucionar Z
en términos de lambda1. Así que, eliminar la primera variable de aquí Z, es fácil.
Podemos hacer Z igual a la suma de i a infinito, e a al valor negativo lambda 1 i
¿Ok? Entonces, ya hemos eliminado una variable,
y ahora, todo lo que tenemos que hacer es resolver para las otras restricciones,
¿Ok? En particular, Solo déjeme escribir esto aquí.
En particular, tenemos la suma de i de 0 a infinito por e a la menos lambda1 i
i, todo sobre Z, tiene que ser igual a 4.