Ora che sappiamo qualcosa su entropia, termodinamica e meccanica statistica
siamo pronti per parlare della definizione dell'informazione di Claude Shannon
chiamata ora teoria dell'informazione di Shannon. Sarà un concetto
importante in molte aree della ricerca sui sistemi complessi. E' sicuramente qualcosa
che dovreste conoscere. Claude Shannon fu un matematico che lavorava
negli anni '40 al Bell Labs, che era parte della AT&T. Il suo studio riguardava
un importante problema per la comunicazione telefonica: come trasmettere segnali in modo più efficiente
ed efficace mediante i cavi telefonici. Sviluppando una soluzione matematica
a questo problema, Shannon adattò le idee della meccanica statistica di Boltzmann
al campo della comunicazione, e utilizzò, queste idee per definire una particolare
nozione di informazione, in qualche modo ristretta, ma estremamente utile.
Nella formulazione di Shannon, abbiamo una sorgente di messaggi.
Qui è una scatola nera che emette messaggi, ma si può immaginare come qualcuno
che stai ascoltando al telefono. La sorgente emette i messaggi, ad esempio, parole
ad un ricevitore di messaggi - che potresti essere tu che ascolti tua madre al telefono.
Formalmente, una sorgente di messaggi è l'insieme di tutti i possibili messaggi che
tale sorgente può inviare, ognuno dei quali con una certa probabilità di essere mandato.
Un messaggio può essere un simbolo, un numero o una parola, a seconda del contesto.
Nei nostri esempi, di solito saranno parole.L'informazione contenuta nella
formulazione di Shannon è una misura della fonte del messaggio, che è una funzione della fonte
che è una funzione del numero di possibili messaggi
e delle loro probabilità. Informalmente, il contenuto dell'informazione H
è la quantità di "sorpresa" che il ricevente ha quanto riceve ogni messaggio.
Facciamo qualche esempio.
Nel mio libro "Complexity: a guided Tour" ho usato l'esempio dei miei due
figli quando erano più piccoli. Come potete immaginare, ora sono
adolescenti e non sono particolarmente felici di fare da esempio nei miei libri, quindi
non farò i loro nome. Potete immaginare qualsiasi bambino di un anno
come fonte dei messaggi, tale bambino sta parlando con la
nonna, ma riesce soltanto a dire: da da da da da
ancora e ancora. Quindi il suo messaggio consiste in una parola "da"
con probabilità 1 - cioè dice solo quello. Non c'è nessuna sorpresa
dal punto di vista della nonna: sa sempre quale sarà la prossima parola.
Non essendoci nessuna sorpresa, non c'è alcun contenuto di informazione.
Quindi, il contenuto di informazione di tale fonte (il bambino di 1 anno)
è uguale a zero bit - il contenuto di informazione nella formulazione di Shannon è misurato
in bit. Invece, pensiamo al fratello maggiore del bambino precedente,
che ha 3 anni. Il bambino di 3 anni sa parlare e dire molte cose, "ciao nonna,
sto giocando a fare superman". Quindi, qui la fonte di messaggi è il bambino di 3 anni
che conosce circa 500 parole. Quindi possiamo numerare
le parole: parola 1, parola 2, fino a 500 e ognuna di queste ha la sua
probabilità di essere detta dal bambino di 3 anni. Non sappiamo queste probabilità
ma diciamo che abbiamo registrato molte ore del discorso
e possiamo assegnare ad ogni parola differenti probabilità.
Dunque, la nonna non sa esattamente quale parola sarà la prossima ad essere pronunciata
quindi ha più "sorpresa" questa volta, rispetto al fratellino, quindi
questa fonte di messaggi ha più contenuto di informazione - maggiore di 0 bits.
Ora, per vedere se avete capito, facciamo un breve quiz!
Il quiz ha 2 domande - chi ha un contenuto di informazione più alto secondo Shannon-
e chiede di confrontare due fonti di messaggi, in entrambe le domande