Ricordiamoci di avere due condizioni
una, il valore atteso di x, media di attesa di 4 minuti
l'altro è la probabilità che la somma sia 1
Queste le nostre condizioni, e ora rendiamo
massima l'entropia di una distribuzione, soggetta a queste condizioni.
Ok? S sarà la nostra funzione di entropia
e non avremo 1 g ma 2 g, ok?
Una g questa funzione, l'altra g questa. Ok?
Come la rendiamo massima sotto queste condizioni
per più di una condizione? Intuitivamente,
come possiamo raggiungere non una condizione
ma due?
Vi darò la risposta,
essendo assai più complicata operare con condizioni multiple
ma è una risposta intutitiva, sempre la peggiore da ricordare
e se volete lavorarci
ci sono una serie di posti dove trovare la risposta.
Qui come risolvere i moltiplicatori di Lagrange
il metodo dei moltiplicatori di Lagrange, ricordate il moltiplicatore di Lagrange
è il termine lambda, okay? E quindi, da questo deriva anche l'origine del suo nome
vogliamo massimizzare la funzione f
soggetta ad una serie di condizioni, ora,
e chiameremo queste condizioni, g sub i, g1, g2, fino a
n condizioni
e il modo di operare è impostare il gradiente della funzione uguale ad
una combinazione lineare dei gradienti delle condizioni.
Questo quando hai n condizioni.
Questo è, in generale, il metodo dei moltiplicatori di Lagrange,
per massimizzare la funzione soggetta a n condizioni,
impostare il gradiente della funzione f uguale ad una combinazione lineare
del gradiente della funzione g, e il problema
è come trovare g. Quello che sappiamo è, il punto di massimo
è tale che si possono aggiungere insieme tutti questi gradienti,
con un misura per riprodurre il gradiente originale dei contorni.
Ok? E, ora il problema è, cosa sono queste L, o quali sono queste lambda,
proveremo a risolverlo insieme, il problema della massima
entropia, usando questa formula, anche se ora sembra una cosa oscura,
alla fine, non la sarà affatto.
Girate le manopole
finché non ottenete la lambda in modo che
queste lamnda soddisfino una particolare condizione di un valore che avete in mente.
Proviamo a massimizzare non un'arbitraria funzione f, ma l'entropia,
e le nostre condizione saranno la condizione della media, e
una condizione sulla normalizzazione. La derivata di S
rispetto a p_i, passo dopo passo nel vettore,
vogliamo che sia uguale alla labda1, per la derivata di g1rispetto a p_1,
più lambda 2 per la derivata di g2 rispetta a p_i. Ok?
Ricordate, S è l'entropia della distribuzione,
S è uguale a meno la somma di tutti i possibili tempi di attesa.
Di nuovo, per convenienza, parlerlò di un caso discreto,
potete prendere i limiti, se potete impostare misure esatte,
e poi farli diventare integrali, e da questo degli integrali
e così quest'altro.
Ma è più facile concettualmente, parlare dapprima di un caso discreto.
Quinid, g1, ricordate, la funzione di p, è un vettore qui, ok?
g1 è la somma i da 0 a infinito, ok, di p_i volte i.
E uso i invece di x
perchè più facile da scrivere. Ok?
Questa è la funzione della condizione, ok, che lega il valore medio.
E vogliamo alla fine g1(p) uguale a 4 minuti.
g2(p) è la condizione di normalizzazione in modo che la funzioni sia la somma
di tutti i valori di p, e alla fine prenderemo g2 = 1.
E precedentemente abbiamo definito qui l'entropia.
Quindi, cosa accadrebbe se la derivata dell'entropia, rispetto ad una particolare probabilità,
giusto, una particolare probabilità di una particolare configurazione, ok?
Spostiamolo qui, S è uguale al negativo p_i log p_i da 0 a infinito,
ok? dS/d(p_i), uguali, l'unico termine che rimarrà è
dova avete p_i in questo, e poi abbiamo la derivata di p_i log p_i,
questi hanno due termini: log p_i, e poi l'altro p_i per la derivata di
log p_i, la derivata di log p_i è 1/p_i, infatti avete +1.
Sulla sinistra dell'equazione del vostro moltiplicatore di Lagrange.
Ricordate, abbiamo impostato la base del log ad e.
Ora prendiamo la derivata di g1 rispetto a p_i,
ok? Di nuovo, prendiamo la derivata di questa somma rispetto a p_i,
e troverete, dg1/d(p_i) = i,
e infine, dg2/d(p_i) = 1.
C'è solo un termine della somma che non sarà distrutto dalla derivata.
Mettiamoli insieme,
abbiamo meno log p_i - 1 uguale a lambda1, per la derivata di g_1,
rispetto a p_i, che è i, più la derivata di g2 rispetto a p_i,
per lambda2, ecco la nostra equazione, ok, che soddisfa
il tentativo di massimizzare l'entropia, proviamo a massimizzare questa funzione,
soggetta a queste condizione, per alcuni valori della condizione.
Risolviamo per p_i. Spostiamo un po' di cose
e abbiamo meno 1 meno lambda1 i, meno lambda 2, uguale a log p_i,
eleviamo entrambi i lati a potenza, capovolgiamoli, e abbiamo
p_i uguale a -1 meno lambda1 i, meno lambda 2. Ok?
E, in maniera più succinta possiamo scrivere così
e alla lambda1 i diviso per Z,
dove Z è uguale a e a 1 più lambda2.
La probabilità di attesa di un certo tempo i è uguale a e a meno
lambda1 per i, distribuzione esponenziale dei tempi di attesa.
Ora, non resta che descrivere cosa rappresenta lambda1,
e Z.
Trasformiamo, descriviamo, cioè, il valore
impostato a lambda1
per soddisfare un particolare valore della condizione,
e questo particolare valore della condizione. Così,
la forma della funzione della distribuzione,
e ora descriviamo i parametri di quella funzione.
Ci saranno due parametri.
La prima cosa che sappiamo è
che la probabilità è normalizzata, ovvero,
ok?
inseriamo nella funzione, e ora possiamo risolvere per Z
in termini di lambda1. Eliminiamo la prima variabile Z, è facile.
Possiamo impostare Z uguale alla somma i da 0 a infinito, e da meno lambda1 i
ok? Abbiamo già eliminato una variabile.
e ora, dobbiamo risolvere per questa condizione. Ok?
In particoalre, scriviamo qui
In particolare, abbiamo la somma da i con 0 a infinito per e a meno lambda1 i
i, su Z, uguale a 4.