Apres avoir étudié l'entropie, la thermodynamique et la mécanique statistique
nous sommes prèts à aborder une formulation de l'information par Claude Shannon
qui est nommé la théorie Shannon de l'information. cela s'est révélé ètre
un concept important dans de nombreux domaines appliqués aux systèmes complexes. C'est donc un sujet que vous devez
absolument connaitre. Claude Shannon était un mathématicien travaillant
dans les années 40 chez Bell Labs, filiale de AT&T. Son centre d'intéret était une question
importante pour les communications téléphoniqes : comment transmettre les signaux de manière
effective et efficace le long des cables. En développant une solution mathématique
à ce problème, Shannon a appliqué les idées de statistiques mécanique de Boltzmann
au champs de la communication et les a utilisées pour définir une notion de l'information
singulière, un peu étroite, mais extrèmement utile.
Dans la formulation de Shannon, nous avons une source de messages.
Voici une boite noire qui émet des messages mais vous pouvez l'imaginer comme étant quelqu'un
que vous écoutez au téléphone. La source émet des message, des mots par exemple,
à un récepteur de messages -- qui peut etre vous mème, écoutant votre mère parlant au téléphone.
Un message est donc, de facon plus formel, l'ensemble de tous les messages possibles
que cette source peut envoyer, chacun avec sa probabilité d'ètre le suivant.
Un message peut ètre un symbole, un nombre ou un mot, suivant le contexte.
Dans notre exemple, ils sont surtout des mots. Le contenu de l'information dans la formulation de Shannon
est une mesure de la source de messages, qui est fonction de la source du message
qui est fonction du nombre de messages possibles
et de leur probabilité. Dit simplement, le contenu H de l'information est le nombre
de "surprises" que le récepteur reçoit, à chaque message.
Expliquons cela grace à quelques exemples
Dans mon livre "Complexity, a guided tour", j'ai utilisé l'exemple des mes 2 enfants
lorsqu'ils étaient beaucoup plus jeunes. Comme vous pouvez l'imaginer, maintenant qu'ils sont ados
ils ne sont plus très heureux de servir d'exemple dans mes livres,
mème si je ne les nomme pas... bon, imaginer un bébé de 1 an, qui soit la source de messages,
que ce bébé soit en train de téléphoner à sa grand mère
mais qu'il ne puisse dire qu'un mot : Da da da da da,
et qu'il le répete sans cesse. Donc son message consiste en 1 mot : da -- avec
une probabiltité égale a 1 -- c'est tout ce qu'il dira. Il n'y a donc pas de surprise,
du point de vue de la grand mère. Elle saura toujours quel sera le prochain mot
Il n'y a donc pas de surprise et pas de contenu d'information.
Le contenu d'information de cette source de messages, un bébé de 1 an,
est égal a 0 bits -- le contenu de l'information dans la formule de Shannon est mesuré en "bits"
Par contre, imaginez le grand frère de ce bébé d'un an, qui lui a 3 ans.
A 3 ans il est capable de parler et dire plein de choses comme : "Grand mère.
Je joue a Superman". Voici donc ici que la source de messages est un enfant de 3 ans
et qu'à 3 ans on connait environ 500 mots, dans sa langue. On peut donc les numéroter
mot 1, mot 2, jusqu'a mot 500 avec chacun sa probabilité
d'ètre enoncé par un enfant de 3 ans. On ne connait pas ces probabilités
mais disons que l'on a enregistré ses paroles, des heures d'enregistrement
nous pouvons alors associer à chaque mot une probabilité.
Bon, Grand mère ne sait pas exactement quel sera le prochain mot qui sortira de sa bouche,
elle aura plus de surprise cette fois, que pour son petit frère, donc,
cette source de messages a plus de contenu d'information et sera supérieur à 0 bits
Alors, juste pour tester votre compréhension intuitive du sujet, faison un rapide test.
Notre test a 2 questions -- Qui ont de plus grand contenus d'information --
et il vous est demandé de comparer 2 sources de messages possible dans la question 1 et la question 2