Apres avoir étudié l'entropie, la thermodynamique et la mécanique statistique

nous sommes prèts à aborder une formulation de l'information par Claude Shannon

qui est nommé la théorie Shannon de l'information. cela s'est révélé ètre

un concept important dans de nombreux domaines appliqués aux systèmes complexes. C'est donc un sujet que vous devez

absolument connaitre. Claude Shannon était un mathématicien travaillant

dans les années 40 chez Bell Labs, filiale de AT&T. Son centre d'intéret était une question

importante pour les communications téléphoniqes : comment transmettre les signaux de manière

effective et efficace le long des cables. En développant une solution mathématique

à ce problème, Shannon a appliqué les idées de statistiques mécanique de Boltzmann

au champs de la communication et les a utilisées pour définir une notion de l'information

singulière, un peu étroite, mais extrèmement utile.

Dans la formulation de Shannon, nous avons une source de messages.

Voici une boite noire qui émet des messages mais vous pouvez l'imaginer comme étant quelqu'un

que vous écoutez au téléphone. La source émet des message, des mots par exemple,

à un récepteur de messages -- qui peut etre vous mème, écoutant votre mère parlant au téléphone.

Un message est donc, de facon plus formel, l'ensemble de tous les messages possibles

que cette source peut envoyer, chacun avec sa probabilité d'ètre le suivant.

Un message peut ètre un symbole, un nombre ou un mot, suivant le contexte.

Dans notre exemple, ils sont surtout des mots. Le contenu de l'information dans la formulation de Shannon

est une mesure de la source de messages, qui est fonction de la source du message

qui est fonction du nombre de messages possibles

et de leur probabilité. Dit simplement, le contenu H de l'information est le nombre

de "surprises" que le récepteur reçoit, à chaque message.

Expliquons cela grace à quelques exemples

Dans mon livre "Complexity, a guided tour", j'ai utilisé l'exemple des mes 2 enfants

lorsqu'ils étaient beaucoup plus jeunes. Comme vous pouvez l'imaginer, maintenant qu'ils sont ados

ils ne sont plus très heureux de servir d'exemple dans mes livres,

mème si je ne les nomme pas... bon, imaginer un bébé de 1 an, qui soit la source de messages,

que ce bébé soit en train de téléphoner à sa grand mère

mais qu'il ne puisse dire qu'un mot : Da da da da da,

et qu'il le répete sans cesse. Donc son message consiste en 1 mot : da -- avec

une probabiltité égale a 1 -- c'est tout ce qu'il dira. Il n'y a donc pas de surprise,

du point de vue de la grand mère. Elle saura toujours quel sera le prochain mot

Il n'y a donc pas de surprise et pas de contenu d'information.

Le contenu d'information de cette source de messages, un bébé de 1 an,

est égal a 0 bits -- le contenu de l'information dans la formule de Shannon est mesuré en "bits"

Par contre, imaginez le grand frère de ce bébé d'un an, qui lui a 3 ans.

A 3 ans il est capable de parler et dire plein de choses comme : "Grand mère.

Je joue a Superman". Voici donc ici que la source de messages est un enfant de 3 ans

et qu'à 3 ans on connait environ 500 mots, dans sa langue. On peut donc les numéroter

mot 1, mot 2, jusqu'a mot 500 avec chacun sa probabilité

d'ètre enoncé par un enfant de 3 ans. On ne connait pas ces probabilités

mais disons que l'on a enregistré ses paroles, des heures d'enregistrement

nous pouvons alors associer à chaque mot une probabilité.

Bon, Grand mère ne sait pas exactement quel sera le prochain mot qui sortira de sa bouche,

elle aura plus de surprise cette fois, que pour son petit frère, donc,

cette source de messages a plus de contenu d'information et sera supérieur à 0 bits

Alors, juste pour tester votre compréhension intuitive du sujet, faison un rapide test.

Notre test a 2 questions -- Qui ont de plus grand contenus d'information --

et il vous est demandé de comparer 2 sources de messages possible dans la question 1 et la question 2