Τώρα που μάθαμε για την Εντροπία, τη Θερμοδυναμική και τη Στατιστική Μηχανική,

είμαστε έτοιμοι να μιλήσουμε για την περιγραφή της Πληροφορίας κατά τον Claude Shannon, που

ονομάζεται τώρα Θεωρία της Πληροφορίας του Shannon. Αποδεικνύεται ότι αυτή είναι μία πολύ

σημαντική έννοια, σε πολλά πεδία της έρευνας πάνω στα Πολύπλοκα Συστήματα. Είναι πάντως σίγουρα κάτι

το οποίο οφείλετε να γνωρίζετε καλά. Ο Claude Shannon ήταν ένας μαθηματικός, που εργαζόταν

στα Εργαστήρια Bell τη δεκαετία του '40, τα οποία ήταν μέλος του ομίλου AT&T (American Telephone and Telegraph). Κυρίως ασχολείτο

με ένα σημαντικό ζήτημα των τηλεφωνικών επικοινωνιών: το πώς να μεταφέρονται σήματα με τον πιο αποτελεσματικό

και επιτυχή τρόπο, μέσα από τα τηλεφωνικά σύρματα. Αναζητώντας μία μαθηματική λύση

στο πρόβλημα αυτό, ο Shannon μετέφερε τις ιδέες του Boltzmann από τη Στατιστική Μηχανική

στο πεδίο των Επικοινωνιών, και χρησιμοποίησε αυτές τις ιδέες για να ορίσει με ένα συγκεκριμένο,

λίγο στενό, αλλά πολύ χρήσιμο, τρόπο την πληροφορία.

Στην, κατά Shannon, έννοια της επικοινωνίας, έχουμε μία πηγή μηνυμάτων.

Εδώ αυτή είναι ένα μαύρο κουτί που εκπέμπει μηνύματα, αλλά μπορείτε να το σκεφτείτε και σαν κάποιον

που ακούτε στο τηλέφωνο. Η πηγή των μηνυμάτων εκπέμπει μηνύματα, όπως π.χ. λέξεις,

πρός έναν δέκτη μηνυμάτων. Αυτός θα μπορούσατε να είστε εσείς, που ακούτε την μητέρα σας να σας μιλά στο τηλέφωνο.

Μία πηγή μηνυμάτων, πιο επίσημα, είναι το σύνολο όλων των δυνατών μηνυμάτων που

μπορεί να στείλει η πηγή αυτή, το καθένα με τη δική του πιθανότητα να σταλεί ως επόμενο.

Και βέβαια, ένα μήνυμα μπορεί να είναι ένα σύμβολο, ένας αριθμός ή μία λέξη, ανάλογα με το υπάρχον πλαίσιο.

Στα παραδείγματά μας, τα μηνύματα θα είναι κυρίως λέξεις. Το περιεχόμενο πληροφορίας στο

θεωρητικό σχήμα του Shannon, είναι ένα μέτρο της πηγής μηνυμάτων, το οποίο είναι συνάρτηση

της πηγής μηνυμάτων, που με τη σειρά της είναι συνάρτηση του αριθμού των πιθανών μηνυμάτων.

και της πιθανότητας καθενός. Άτυπα, το περιεχόμενο πληροφορίας, Η, είναι η ποσότητα

της "έκπληξης" του παρατηρητή, μόλις λαμβάνει το μήνυμα.

Ας το εξηγήσουμε αυτό με κάποια παραδείγματα:

Στο βιβλίο μου: "Η Πολυπλοκότητα. Μία περιήγηση με οδηγό", χρησιμοποίησα μερικά παραδείγματα

με τα δύο μου παιδιά, όταν ήταν πολύ μικρότερα. Όπως φαντάζεστε, τώρα είναι

δύο έφηβοι και δεν είναι και πολύ χαρούμενοι με το να είναι παραδείγματα στα βιβλία μου, έστω

και αν δεν τα κατονομάζω εδώ. Μπορείτε όμως να φανταστείτε ένα παιδί ενός έτους,

το οποίο είναι η πηγή των μηνυμάτων, και το οποίο παιδί μιλάει με

τη γιαγιά του στο τηλέφωνο, αλλά μπορεί να πει μόνο μία λέξη: ντα, ντα, ντα, ντα, ντα.

Τη λέει ξανά και ξανά. Άρα, τα μηνύματά του αποτελούνται από μία λέξη: "ντα",

με πιθανότητα 1, αυτό είναι το μόνο που λέει. Επομένως, δεν υπάρχει καμιά "έκπληξη",

από την πλευρά της γιαγιάς: ξέρει πάντοτε ποια θα είναι η επόμενη λέξη,

και επομένως, αφού δεν υπάρχει καμιά έκπληξη, δεν υπάρχει και περιεχόμενο πληροφορίας.

Επομένως, το "περιεχόμενο πληροφορίας" αυτής της πηγής μηνυμάτων, δηλαδή, του παιδιού ενός έτους,

είναι ίσο με 0 bits - το περιεχόμενο πληροφορίας στη θεώρηση του Shannon μετριέται

σε "bits". Αντιθέτως, ας δούμε τον μεγαλύτερο αδελφό του παιδιού ενός έτους, ο οποίος

είναι ένα παιδί τριών ετών. Το παιδί τριών ετών είναι σε θέση να μιλάει και να λέει πολλά πράγματα, όπως:

"Γειά σου γιαγιά, κάνω τον Σούπερμαν!". Άρα εδώ η πηγή των μηνυμάτων είναι ένα τρίχρονο παιδί,

και ο τρίχρονος ξέρει περίπου 500 λέξεις, στα Αγγλικά. Κι έτσι, μπορούμε να ονοματίσουμε αυτές

τις λέξεις: λέξη 1, λέξη 2, έως και λέξη 500, και κάθε μία από αυτές έχει

τη δική της πιθανότητα να ειπωθεί από τον τρίχρονο. Δεν γνωρίζουμε τις πιθανότητες αυτές,

αλλά ας υποθέσουμε απλώς ότι έχουμε μετρήσει την ομιλία του παιδιού, έχουμε καταγράψει πολλές ώρες

ομιλίας του, και μπορούμε να αποδώσουμε σε κάθε λέξη του παιδιού μία διαφορετική πιθανότητα.

Τώρα, η γιαγιά δεν γνωρίζει ακριβώς ποια λέξη θα βγει από το στόμα του,

οπότε βιώνει πιο πολλές εκπλήξεις αυτή τη φορά, από ό,τι για τον αδερφό του, επομένως

αυτή η πηγή μηνυμάτων έχει περισσότερο περιεχόμενο πληροφορίας - είναι παραπάνω από 0 "bits".

Τώρα, απλώς για να τεστάρουμε το κατά πόσο καταλαβαίνετε διαισθητικά την ιδέα αυτή, ας κάνουμε ένα πολύ σύντομο κουίζ!

Το κουίζ έχει δύο ερωτήσεις, που αφορούν το ποιος έχει περισσότερο περιεχόμενο πληροφορίας κατά Shannon.

Σας ζητάει να συγκρίνετε δύο πιθανές πηγές μηνυμάτων, στην Ερώτηση 1 και στην Ερώτηση 2.