Ora che sappiamo qualcosa su entropia, termodinamica e meccanica statistica siamo pronti per parlare della definizione dell'informazione di Claude Shannon chiamata ora teoria dell'informazione di Shannon. Sarà un concetto importante in molte aree della ricerca sui sistemi complessi. E' sicuramente qualcosa che dovreste conoscere. Claude Shannon fu un matematico che lavorava negli anni '40 al Bell Labs, che era parte della AT&T. Il suo studio riguardava un importante problema per la comunicazione telefonica: come trasmettere segnali in modo più efficiente ed efficace mediante i cavi telefonici. Sviluppando una soluzione matematica a questo problema, Shannon adattò le idee della meccanica statistica di Boltzmann al campo della comunicazione, e utilizzò, queste idee per definire una particolare nozione di informazione, in qualche modo ristretta, ma estremamente utile. Nella formulazione di Shannon, abbiamo una sorgente di messaggi. Qui è una scatola nera che emette messaggi, ma si può immaginare come qualcuno che stai ascoltando al telefono. La sorgente emette i messaggi, ad esempio, parole ad un ricevitore di messaggi - che potresti essere tu che ascolti tua madre al telefono. Formalmente, una sorgente di messaggi è l'insieme di tutti i possibili messaggi che tale sorgente può inviare, ognuno dei quali con una certa probabilità di essere mandato. Un messaggio può essere un simbolo, un numero o una parola, a seconda del contesto. Nei nostri esempi, di solito saranno parole.L'informazione contenuta nella formulazione di Shannon è una misura della fonte del messaggio, che è una funzione della fonte che è una funzione del numero di possibili messaggi e delle loro probabilità. Informalmente, il contenuto dell'informazione H è la quantità di "sorpresa" che il ricevente ha quanto riceve ogni messaggio. Facciamo qualche esempio. Nel mio libro "Complexity: a guided Tour" ho usato l'esempio dei miei due figli quando erano più piccoli. Come potete immaginare, ora sono adolescenti e non sono particolarmente felici di fare da esempio nei miei libri, quindi non farò i loro nome. Potete immaginare qualsiasi bambino di un anno come fonte dei messaggi, tale bambino sta parlando con la nonna, ma riesce soltanto a dire: da da da da da ancora e ancora. Quindi il suo messaggio consiste in una parola "da" con probabilità 1 - cioè dice solo quello. Non c'è nessuna sorpresa dal punto di vista della nonna: sa sempre quale sarà la prossima parola. Non essendoci nessuna sorpresa, non c'è alcun contenuto di informazione. Quindi, il contenuto di informazione di tale fonte (il bambino di 1 anno) è uguale a zero bit - il contenuto di informazione nella formulazione di Shannon è misurato in bit. Invece, pensiamo al fratello maggiore del bambino precedente, che ha 3 anni. Il bambino di 3 anni sa parlare e dire molte cose, "ciao nonna, sto giocando a fare superman". Quindi, qui la fonte di messaggi è il bambino di 3 anni che conosce circa 500 parole. Quindi possiamo numerare le parole: parola 1, parola 2, fino a 500 e ognuna di queste ha la sua probabilità di essere detta dal bambino di 3 anni. Non sappiamo queste probabilità ma diciamo che abbiamo registrato molte ore del discorso e possiamo assegnare ad ogni parola differenti probabilità. Dunque, la nonna non sa esattamente quale parola sarà la prossima ad essere pronunciata quindi ha più "sorpresa" questa volta, rispetto al fratellino, quindi questa fonte di messaggi ha più contenuto di informazione - maggiore di 0 bits. Ora, per vedere se avete capito, facciamo un breve quiz! Il quiz ha 2 domande - chi ha un contenuto di informazione più alto secondo Shannon- e chiede di confrontare due fonti di messaggi, in entrambe le domande