Je vais vous montrer trois modèles que nous avons développé

pour illustrer les idées que nous avons vues

à propos de la théorie de l'information de Shannon.

Le premier est un jeu de pile ou face.

Dans la configuration, on voit notre pièce de monnaie,

et on peut choisir s'il est truqué ou non, avec la probabilité d'obtenir face.

Je tire une pièce non truquée, et j'obtiens face.

Et les résultats sont notés ici.

Je peux tirer autant de fois que je veux, aléatoirement,

et au bout d'un moment, je peux calculer le taux d'information.

Cela me montre le taux obtenu à ce moment.

Même avec une pièce non truquée, nous avons obtenu cinq pile et deux faces,

car nous n'avons jeté la pièce que sept fois.

Les statistiques sont trop basses pour voir pile et face avec 50% des chances

On peut essayer avec une pièce truquée, avec un certain taux de probabilité,

puis tirer cette pièce et voir de quelle manière

cela affecte le taux d'information.

Le second modèle de Shannon permet de mesurer

le taux d'information contenu dans un texte,

comme nous l'avons vu dans la vidéo précédente.

J'ai copié ce texte d'un site,

qui nous donne l'entièreté du discours "To be or not to be" de Hamlet.

Si je clique sur Go, cela me montre combien de mots il y a et quelle est leur fréquence.

Vous pouvez voir les fréquences ici.

On ne voit que les principales, mais on peut déjà voir la distribution des mots par fréquence.

Ainsi que le taux d'information.

Vous pouvez vous amuser avec ce modèle pour voir

le taux d'information de différents textes, que vous collez ici.

Vous aurez quelques exercices dans les devoirs.

Notre dernier modèle permet de voir le taux d'information

dans la dynamique symbolique de la suite logistique.

Laissez-moi vous montrer ce que je veux dire.

Vous vous rappelez de la suite logistique, dans notre unité sur la dynamique et le chaos.

Je peux définir R à 3.51 et X_0 à 0.2.

On obtient un attracteur périodique.

Ce qui se passe ici est le calcul des dynamiques symboliques,

c'est-à-dire qu'on peut définir une limite - je l'ai placée à 0.5,

Et chaque fois que le résultat dépasse 0.5 sur l'axe Y,

le système retourne 1.

Chaque fois qu'il passe sous 0.5, il retourne 0.

On peut alors voir le taux d'information de cet ensemble de messages,

qui consiste de 0 et de 1.

On peut voir la source du message comme la suite logistique pour une certaine valeur de R.

Cela nous montre le taux d'information de cette source, suivant cette dynamique symbolique.

C'est donc un autre modèle pour lequel vous ferez quelques expériences dans les devoirs.

Les devoirs sont facultatifs, mais je vous encourage à les faire, au moins au niveau débutant,

parce que cela vous donne l'occasion d'essayer ces modèles.

Cela vous aidera à comprendre les idées dont nous avons parlé,

à propos de la théorie de l'information de Shannon.