Το τελευταίο πράγμα που πρέπει να κάνουμε, είναι να δείξουμε ότι ο τύπος μας για τη γενική περίπτωση

συμφωνεί με τον τύπο για την ειδική περίπτωση, όπου ο τύπος για την ειδική περίπτωση

ήταν αυτός όπου όλα τα μηνύματα είχαν ίση πιθανότητα.

Ας σας δώσω ξανά τον τύπο της γενικής περίπτωσης:

Αν x είναι μία πηγή μηνυμάτων, τότε το περιεχόμενο πληροφορίας αυτής

της πηγής μηνυμάτων είναι ίσο με το άθροισμα από i = 1 έως M - δηλαδή θα αθροίσουμε

όλους αυτούς τους όρους - της πιθανότητας του i-μηνύματος, επί το λογάριθμο με βάση το 2,

της πιθανότητας του i- οστού μηνύματος. Αυτός ήταν ο αρχικός μας γενικός τύπος.

Οk, τι θα συμβεί όμως αν όλα τα μηνύματα έχουν ίση πιθανότητα; Αυτό σημαίνει

ότι όλες οι πιθανότητες είναι ίσες με 1/M ! Άρα, αν υπάρχουν μόνο δύο μηνύματα,

το καθένα έχει πιθανότητα 1/2, εάν υπάρχουν τρία, το καθένα έχει πιθανότητα 1/3

και ούτω καθεξής. Έτσι, σε αυτήν την περίπτωση, το Η(x) είναι ίσο με μείον το άθροισμα από i =1 έως Μ, των p με δείκτη i,

που η καθεμία είναι 1/Μ, επί το λογάριθμο με βάση 2 του 1/Μ, και αν αθροίσουμε αυτό Μ φορές, θα κάνει απλά

αυτό συν αυτό συν αυτό, Μ φορές - αυτό θα "διώξει"

τον όρο 1/M. Άρα, αυτό θα ισούται με μείον το λογάριθμο με βάση 2 του 1/M. Αλλά

μείον ο λογάριθμος, με βάση 2, του 1/M είναι ίσος με το λογάριθμο με βάση 2 του M, από τις ιδιότητες των λογαρίθμων.

Κι αυτό είναι το ίδιο μ' αυτό που βρήκαμε στην ειδική μας περίπτωση, όταν όλες

οι πιθανότητες ήταν ίσες.

Έτσι, αν γυρίσουμε πίσω, ο λόγος που ο Shannon ήθελε να κάνει όλες αυτές τις μετρήσεις

του περιεχομένου πληροφορίας, ήταν για λόγους κωδικοποίησης, και γενικά

για τη βέλτιστη κωδικοποίηση μηνυμάτων που μεταφέρονται με τηλεφωνικά σύρματα. Απέδειξε

ότι το περιεχόμενο πληροφορίας, όπως ορίστηκε νωρίτερα, δίνει το μέσο αριθμό

των "bits" που χρειάζονται για να κωδικοποιηθεί ένα μήνυμα, όπως π.χ. ένα σήμα σε τηλεφωνική

γραμμή, από μία δεδομένη πηγή μηνυμάτων, δεδομένου ότι γίνεται βέλτιστη κωδικοποίηση. Και η αρχική

δημοσίευση του Shannon, που τελικά έγινε βιβλίο,το αποδεικνύει αυτό με αυστηρά μαθηματικό τρόπο.

Άρα η ιδέα είναι ότι έχουμε μία συγκεκριμένη ομάδα μηνυμάτων, που έχουν συγκεκριμένες πιθανότητες,

τις οποίες έχετε μετρήσει. Μπορείτε να βρείτε το βέλτιστο αριθμό

των "bits" που θα χρειάζονταν για να κωδικοποιήσετε κάθε μήνυμα, κατά μέσο όρο, και αυτός

βασικά δίνει το βαθμό συμπιεσιμότητας του κειμένου - όσο πιο

ψηλό το περιεχόμενο πληροφορίας ενός μηνύματος, τόσο λιγότερο συμπιέσιμο είναι αυτό. Οπότε, αν ενδιαφέρεστε

να εμβαθύνετε σε αυτό, μπορείτε να γκουγκλαρετε την έννοια της κωδικοποίησης κατά Huffman,

η οποία δείχνει πώς γίνεται η βέλτιστη κωδικοποίηση. Δεν θα επεκταθώ πιο πολύ

σε αυτό, στη διάρκεια αυτού του μαθήματος, αλλά πρόκειται για ένα αληθινά ενδιαφέρον και σημαντικό πεδίο,

που επέδρασε, γενικά, στην ικανότητά μας να χρησιμοποιούμε τεχνολογίες όπως η τηλεφωνική επικοινωνία,

η επικοινωνία μέσω Internet, και ούτω καθεξής, συνεπώς είναι εξαιρετικά σημαντικό.

Τέλος, θα ήθελα να πω λίγα πράγματα σχετικά με την έννοια του "νοήματος",

σε σχέση με το περιεχόμενο πληροφορίας κατά Shannon.

Πιθανόν θα προσέξατε ότι το περιεχόμενο πληροφορίας του Shannon, ενώ αφορά

πιθανότητες και αριθμό μηνυμάτων που παράγονται από μία πηγή μηνυμάτων,

δεν έχει τίποτε να πει για το νόημα των μηνυμάτων, το νόημα

της πληροφορίας, τι επίδραση μπορεί να έχει στον αποστολέα

ή στο δέκτη. Στην πραγματικότητα, το νόημα της πληροφορίας πηγάζει από την επεξεργασία της πληροφορίας,

δηλαδή από το τι κάνει ο αποστολέας ή ο δέκτης, όταν στέλνει ή λαμβάνει

ένα μήνυμα. Θα μιλήσουμε με λεπτομέρειες για αυτό στην Ενότητα 7, όταν θα αναφερθούμε

σε μοντέλα αυτο-οργάνωσης, και στο πώς τα αυτο-οργανούμενα συστήματα

επεξεργάζονται την πληροφορία, ώστε να εξάγουν το νόημά της.