Grazie per la partecipazione parleremo oggi del cosiddetto Max Ent o il Principio di Massima Entropia conosciuto anche come Metodi di Massima Entropia la Max Ent può essere divisa in due filoni e queste due filoni li avremo solo nella prima e nella seconda parte della sezione La Massima Entropia fu inventata da un tedesco, tal E.T. Jaynes è stata la prima persona a mettere l'argomento nero su bianco dal punto di vista della fisica Jaynes ha cercato delle risposte a domande di natura filosofica, quasi epistemologica, molto profonde sulla comprensione del reale, del perché le leggi fisiche prendano tali forme, ma, negli anni più recenti, il principio di massima entropia è stato largamente usato nel machine learning nella modellizzazione dei processi del mondo reale in contrapposizione alla spiegazione e alla comprensione di tali processi. C'è chi è particolarmente interessato alla previsione, per esempio. Chi vuole imparare a inquadrare l'andamento della borsa e prevedere cosa accadrà domani. Chi vuole apprendere, per così dire, il naturale decorso del cancro, dovrebbe ottenere un modello abbastanza preciso per prevederne i successivi sviluppi. Sarebbe un risultato, intellettualmente strabiliante e ambizioso, per la comunità accademica del machine learning che studia l'intelligenza artificiale. E Max Ent ha un potenziale enorme in questo mondo intellettuale e quello che faremo è iniziare proprio da qui e nella seconda parte della lettura proverò a collegare quanto appreso dal lato predittivo del machine learning e applicarlo ora a problemi davvero emozionanti nello studio dei sistemi biologici, dei sistemi sociali. In particolare, proverò ad affrontare questioni filosofiche profonde che la massima entropia pone, allorché appunto tale metodo si dimostri altamente valido. Comincerò, quindi, con la questione della previsione e, nello specifico, è in questo tipo di questione che la massima entropia eccelle, nella previsione dei dati di dimensioni elevate. Quindi, i dati di dimensioni elevate in questo caso saranno da noi considerati in una veste per così dire operazionale: un sistema è considerato a dimensioni elevate se il numero delle configurazioni, che chiameremo 'N' è molto più grande (>>) del numero dei dati posseduti, che chiameremo 'K'. Per cui, questa è la quantità dei dati e questo è il numero delle configurazioni possibili. Il numero, dunque, delle forme che il sistema può assumere è molto, ma molto più grande del numero delle forme osservabili nel mondo reale. Il numero di volte, cioè, osservato da noi nel mondo reale. Spesso si può parlare di dimensioni di un insieme di dati. Prendiamo ad esempio un'immagine, magari in bianco e nero, e poniamo che questa possegga 10000 pixels. Ciascun pixel dell'immagine può assumere, diciamo, il valore di +1 o di -1. Il nero come +1 e il bianco -1. Ogni immagine può possedere una combinazione arbitraria di valori di pixel. Se ci sono 10 000 pixels, e ogni pixel può avere il valore di +1 o -1, allora il numero totale di immagini possibili è di 2^100000. Ciascun pixel con una dimensione discreta +1 o -1, e ce ne sono in tutto 10000. Se volete, quindi, costruire un modello, ovvero di formalizzare a parole, se volete, ad esempio, creare un modello di tutti i modi possibili di scrivere la lettera 'e', sarebbe quasi impossibile tale impresa, infatti è sicuramente possibile dimostrare che l'universo morirà di una morte atroce prima che riusciate a misurare una quantità sufficiente di esempi della mia calligrafia la quantità di dati che otterrete è molto simile comunque a 2^10000. Per darvi un'idea, una cifra come 2^10000 è come 1000^1000, o 10^3000, come un googol elevato a 30. In questo caso, ci piacerebbe parlare, o almeno dare delle probabilità a delle immagini particolari, tratte da un insieme di immagini in cui il numero totale delle immagini è assai inferiore al numero di immagini possibili. Ecco. Questo è un aspetto in cui Max Ent può eccellere.