Acum, după ce am învățat despre entropie, termodinamică și statistica mecanicii suntem gata să vorbim despre felul în care Claude Shannon a formulat conținutul informației, care acum este denumită Teoria informației a lui Shannon. Este un concept important aplicat în multe domenii care țin de cercetarea sistemelor complexe. Este ceva despre care trebuie să aveți idee. Claude Shannon a fost un matematician care a lucrat în anii '40 în Laboratoarele Bell care erau parte a AT&T. S- a concentrat pe o problemă majoră legată de comunicarea prin telefon: cum să transmită semnalele într-un mod cât cât mai eficient prin firele de telefon. A descoperit o soluție matematică la această problemă adaptând ideile legate de statistca mecanică ale lui Boltzmann la cerințele din domeniul comunicației și a folosit aceste idei ca să definească oanumită noțiunea ceva mai restrictivă dar extrem de folostoare privind ”informația”. În formula privind comunicarea dezvoltată de Shannon avem o sursă a mesajului. De exemplu o cutie neagră care emite mesaje, dar vă puteți gândi că este vorba de cineva pe care îl ascultați la telefon. Sursa emite mesaje, de exemplu, cuvinte, căre un receptor -- poți fii chiar tu atunci când o asculți pe mama la telefon. Sursa mesajului poate fii definită în mod formal ca fiind multitudinea de posibile mesaje care pot fii trimise, fiecare dintre aceste mesaje avâd un grad propriu de probabilitate de a fii trimis în intervalul de timp următor. Un mesaj poate fii un simbol, un număr, un cuvânt, depinde de context. În exemplul nostru, vor fi mai mult cuvinte. Conținutul de informație în formula lui Shannon are în vedere sursa mesajului văzută ca o funcție cuprinzând numărul de posibile mesaje și probabilitatea acestora. În mod informal conținutul informațional, H, este nivelul ”surprizei” pe care o are receptorul la momentul primirii ficărui mesaj. Haideți să vă explic acest lucru folosind câteva exemple. În cartea mea, ”Complexitatea: Un tur cu ghid”, am dat câteva exemple legate de cei doi copii ai mei, când erau mult mai mici. Vă puteți imagina că acum sunt adolescenți și nu sunt prea mulțumiți că sunt dați ca exemple în cărțile mele, nu le voi da numele, dar voi vă puteți imagina un copil de un an care este o sursă de mesaje iar un copil de un an vorbește cu bunica lui la telefon, dar tot ce poate spune este un singur cuvânt: da da da da da pe care îl repetă tot timpul. Mesajele sale sunt formate dintr-un singur cuvânt - ”da” având probabilitatea de a apare egală cu 1 - este tot ce poate spune. Din punctul de vedere al bunicii, nu se produce nici o surpriză, ea știe care va fii următorul cuvânt, de aceea, dacă nu există nici un fel de surpriză nu există conținut al informației. Deci, conținutul informației transmis de sursă care este copilul de un an, este egal cu 0 biți - conținutul informației conform formulei lui Shannon este măsurat în ”biți”. Comparativ, imaginați-vă că fratele mai mare al copilului de un an care are trei ani poate vorbi și poate spune o mulțime de lucruri, precum: ”bună, buni, mă joc de-a Superman!” Acum sursa mesajului este copilul de 3 ani și care știe aproximativ 500 de cuvinte în engleză. Și putem să le etichetăm cuvântul nr. 1, cuvantul nr. 2... până ajungem la cuvăntul nr. 500, și fiecare dintre ele are un coeficient de probabilitate specifică de a fii folosit de către copilul de 3 ani. Nu știm care sunt acele probabilități, dar să presupunem că i-am măsurat limbajul, am înregistrat multe ore cu el vorbind, și putem să le atribuim cuvintelor fdolosite de el diferite coeficiente Bunica nu știe exact ce cuvânt va rosti copilul în secunda următoare, deci este mult mai surpinsă în acest caz decât în cazul fratelui său, astfel, acest mesaj are un mai mare conținut de informație - conținutul este mai mare decât 0 biți. Acum, să testăm modul intuitiv în care am înțeles această idee, haideți să facem un mic test! Testul nostru are două întrebări: Ce sursă are un conținut mai mare de informație conform lui Shannon -- și vi se cere să comparați două surse de mesaje, la întrebarea 1 și 2.