Grazie per la partecipazione
parleremo oggi del cosiddetto
Max Ent o
il Principio di Massima Entropia
conosciuto anche come Metodi di Massima Entropia
la Max Ent può essere divisa in due filoni
e queste due filoni li avremo
solo nella prima e nella seconda parte
della sezione
La Massima Entropia fu inventata
da un tedesco, tal E.T. Jaynes
è stata la prima persona
a mettere l'argomento nero su bianco
dal punto di vista della fisica
Jaynes ha cercato delle risposte a domande
di natura filosofica, quasi epistemologica,
molto profonde sulla comprensione
del reale, del perché le leggi fisiche
prendano tali forme,
ma, negli anni più recenti,
il principio di massima
entropia è stato
largamente usato
nel machine learning
nella modellizzazione dei processi
del mondo reale in contrapposizione
alla spiegazione e alla comprensione
di tali processi.
C'è chi è particolarmente interessato
alla previsione, per esempio.
Chi vuole imparare a inquadrare
l'andamento della borsa
e prevedere cosa accadrà domani.
Chi vuole apprendere, per così dire,
il naturale decorso
del cancro,
dovrebbe ottenere un modello
abbastanza preciso per prevederne
i successivi sviluppi.
Sarebbe un risultato, intellettualmente
strabiliante e ambizioso, per la comunità
accademica del machine learning
che studia l'intelligenza artificiale.
E Max Ent ha un potenziale enorme in
questo mondo intellettuale
e quello che faremo è iniziare proprio da qui
e nella seconda parte della lettura
proverò a collegare
quanto appreso
dal lato predittivo del machine learning
e applicarlo ora
a problemi davvero emozionanti nello
studio dei sistemi biologici,
dei sistemi sociali.
In particolare, proverò
ad affrontare questioni filosofiche
profonde che la massima entropia
pone, allorché appunto tale metodo
si dimostri altamente valido.
Comincerò, quindi, con la questione
della previsione e, nello specifico,
è in questo tipo di questione
che la massima entropia eccelle, nella
previsione dei dati di dimensioni elevate.
Quindi, i dati di dimensioni elevate
in questo caso saranno da noi considerati
in una veste per così dire operazionale:
un sistema è considerato
a dimensioni elevate se
il numero delle configurazioni, che chiameremo 'N'
è molto più grande (>>) del numero dei
dati posseduti, che chiameremo 'K'.
Per cui, questa è la quantità dei dati
e questo è il numero delle configurazioni possibili.
Il numero, dunque, delle forme che il sistema
può assumere è molto, ma molto più grande
del numero delle forme osservabili
nel mondo reale. Il numero di volte, cioè,
osservato da noi nel mondo reale.
Spesso si può parlare di dimensioni
di un insieme di dati.
Prendiamo ad esempio un'immagine,
magari in bianco e nero, e poniamo che questa
possegga 10000 pixels.
Ciascun pixel dell'immagine
può assumere, diciamo, il valore di +1
o di -1. Il nero come +1
e il bianco -1. Ogni immagine può
possedere una combinazione arbitraria
di valori di pixel.
Se ci sono 10 000 pixels,
e ogni pixel può avere il valore di +1 o -1,
allora il numero totale di immagini possibili è di 2^100000.
Ciascun pixel con una dimensione discreta
+1 o -1, e ce ne sono in tutto 10000.
Se volete, quindi, costruire un modello,
ovvero di formalizzare a parole,
se volete, ad esempio, creare un modello
di tutti i modi possibili di scrivere
la lettera 'e',
sarebbe quasi impossibile
tale impresa, infatti è sicuramente possibile
dimostrare che l'universo morirà
di una morte atroce
prima che riusciate a misurare una quantità
sufficiente di esempi della mia calligrafia
la quantità di dati che otterrete
è molto simile comunque a 2^10000.
Per darvi un'idea, una cifra come 2^10000
è come 1000^1000, o 10^3000,
come un googol elevato a 30.
In questo caso, ci piacerebbe
parlare,
o almeno dare delle probabilità
a delle immagini particolari, tratte da
un insieme di immagini in cui
il numero totale delle immagini è assai
inferiore al numero di immagini possibili. Ecco.
Questo è un aspetto in cui Max Ent può eccellere.