Acum, după ce am învățat despre entropie, termodinamică și statistica mecanicii
suntem gata să vorbim despre felul în care Claude Shannon a formulat conținutul informației, care acum este denumită
Teoria informației a lui Shannon. Este un concept important
aplicat în multe domenii care țin de cercetarea sistemelor complexe. Este ceva
despre care trebuie să aveți idee. Claude Shannon a fost un matematician care a lucrat în
anii '40 în Laboratoarele Bell care erau parte a AT&T. S- a concentrat
pe o problemă majoră legată de comunicarea prin telefon: cum să transmită semnalele într-un mod cât
cât mai eficient prin firele de telefon. A descoperit o soluție matematică
la această problemă adaptând ideile legate de statistca mecanică ale lui Boltzmann
la cerințele din domeniul comunicației și a folosit aceste idei ca să definească oanumită
noțiunea ceva mai restrictivă dar extrem de folostoare privind ”informația”.
În formula privind comunicarea dezvoltată de Shannon avem o sursă a mesajului.
De exemplu o cutie neagră care emite mesaje, dar vă puteți gândi că este vorba de cineva
pe care îl ascultați la telefon. Sursa emite mesaje, de exemplu, cuvinte,
căre un receptor -- poți fii chiar tu atunci când o asculți pe mama la telefon.
Sursa mesajului poate fii definită în mod formal ca fiind multitudinea de posibile mesaje
care pot fii trimise, fiecare dintre aceste mesaje avâd un grad propriu de probabilitate de a fii trimis în intervalul de timp următor.
Un mesaj poate fii un simbol, un număr, un cuvânt, depinde de context.
În exemplul nostru, vor fi mai mult cuvinte. Conținutul de informație în formula lui Shannon
are în vedere sursa mesajului văzută ca o funcție
cuprinzând numărul de posibile mesaje
și probabilitatea acestora. În mod informal conținutul informațional, H,
este nivelul ”surprizei” pe care o are receptorul la momentul primirii ficărui mesaj.
Haideți să vă explic acest lucru folosind câteva exemple.
În cartea mea, ”Complexitatea: Un tur cu ghid”, am dat câteva exemple
legate de cei doi copii ai mei, când erau mult mai mici. Vă puteți imagina că acum
sunt adolescenți și nu sunt prea mulțumiți că sunt dați ca exemple în cărțile mele,
nu le voi da numele, dar voi vă puteți imagina un copil de un an
care este o sursă de mesaje iar un copil de un an vorbește
cu bunica lui la telefon, dar tot ce poate spune este un singur cuvânt: da da da da da
pe care îl repetă tot timpul. Mesajele sale sunt formate dintr-un singur cuvânt - ”da”
având probabilitatea de a apare egală cu 1 - este tot ce poate spune. Din punctul de vedere al bunicii,
nu se produce nici o surpriză, ea știe care va fii următorul cuvânt,
de aceea, dacă nu există nici un fel de surpriză nu există conținut al informației.
Deci, conținutul informației transmis de sursă care este copilul de un an,
este egal cu 0 biți - conținutul informației conform formulei lui Shannon este măsurat
în ”biți”. Comparativ, imaginați-vă că fratele mai mare al copilului de un an
care are trei ani poate vorbi și poate spune o mulțime de lucruri, precum: ”bună, buni,
mă joc de-a Superman!” Acum sursa mesajului este copilul de 3 ani și
care știe aproximativ 500 de cuvinte în engleză. Și putem să le etichetăm
cuvântul nr. 1, cuvantul nr. 2... până ajungem la cuvăntul nr. 500, și fiecare dintre ele
are un coeficient de probabilitate specifică de a fii folosit de către copilul de 3 ani. Nu știm care sunt acele probabilități,
dar să presupunem că i-am măsurat limbajul, am înregistrat multe ore
cu el vorbind, și putem să le atribuim cuvintelor fdolosite de el diferite coeficiente
Bunica nu știe exact ce cuvânt va rosti copilul în secunda următoare,
deci este mult mai surpinsă în acest caz decât în cazul fratelui său, astfel,
acest mesaj are un mai mare conținut de informație - conținutul este mai mare decât 0 biți.
Acum, să testăm modul intuitiv în care am înțeles această idee, haideți să facem un mic test!
Testul nostru are două întrebări: Ce sursă are un conținut mai mare de informație conform lui Shannon --
și vi se cere să comparați două surse de mesaje, la întrebarea 1 și 2.