Bien, merci de me rejoindre.
Aujourd'hui, nous parlerons de ce que l'on appelle MaxEnt,
ou le principe d'entropie maximale,
ou parfois appelé les méthodes d'entropie maximale.
On peut diviser MaxEnt en deux parties
et dans celles-ci --
il n'y aura que la 1ère et 2ème moitié de cette unité.
L'entropie maximale a été imaginée par un monsieur nommé E.T. Jaynes.
Il a été, du moins, le premier à présenter cela dans un article
qui a été soumis à Physical Review.
Et Jaynes se posait des questions philosophiques très approfondies,
presque épistémologiques,
sur la nature de la réalité,
sur les causes qui déterminent la formation des lois physiques.
Or, nous avons constaté que MaxEnt, le principe d'entropie maximale,
a été très utilisé dans l'apprentissage automatique, --
dans la modélisation des processus du monde réel,
par opposition, disons, à leur explication et à la compréhension de ces processus.
Il y a ainsi des gens qui s'intéressent surtout à la prédiction.
Ils veulent connaître l'état du marché boursier
et prédire à quoi il ressemblera demain.
Ils veulent comprendre la nature, disons, d'un cancer particulier ;
ils souhaitent élaborer un modèle suffisamment bon
pour prédire les suites de la maladie.
Cela représente un objectif énorme, intellectuellement très ambitieux,
pour le monde de l'intelligence artificielle et de l'apprentissage automatique.
MaxEnt est quelque chose de majeur dans cette partie du monde intellectuel.
C'est donc là que nous commencerons.
Dans la 2ème partie,
je vais essayer d'établir des liens avec ce que vous avez appris
sur la prédiction et l'apprentissage automatique
et d'essayer de les appliquer à des problèmes vraiment passionnants
rencontrés dans l'étude des systèmes biologiques
et dans l'étude des systèmes sociaux.
Je vais notamment essayer d'aborder un peu
les questions philosophiques complexes que l'entropie maximale soulève,
en particulier lorsqu'elle fonctionne de manière aussi efficace.
Je commencerai donc par le problème de la prédiction.
Je commencerai ici par le type de problème où l'entropie maximale excelle.
C'est-à-dire dans la prédiction de données en haute dimension.
Dans le cas des données en haute dimension,
nous définirons cela --
de la manière suivante :
un système est en haute dimension --
si le nombre de configurations, que nous appelons n, --
est beaucoup plus grand --
que la quantité de données dont nous disposons, et nous l'appelons k.
Ceci représente donc la quantité de données --
et cela correspond au nombre de configurations possibles.
Le nombre de formes que pourrait prendre le système --
est donc beaucoup plus important que le nombre de formes
que vous avez réellement observées dans le monde réel.
Le nombre de fois que vous l'avez observé.
Souvent, nous pouvons parler des dimensions d'un ensemble de données.
Alors, prenons par exemple une image, et prenons une image en noir et blanc.
Disons que l'image a 10 000 pixels.
Chaque pixel de votre image, --
chaque pixel de votre image, peut prendre, disons, la valeur +1 ou -1.
Le noir peut être +1, et le blanc -1.
Ainsi, chaque image ici peut avoir n'importe quelle combinaison, --
n'importe quelle combinaison arbitraire de valeurs de pixels.
S'il y a 10 000 pixels, --
et que chaque pixel peut être +1 ou -1,
alors le nombre total d'images équivaut à 2^10 000.
Chaque pixel possède une dimension discrète, --
+1 ou -1, et il y en a 10 000.
Donc si vous essayez de bâtir un modèle --
de, disons, mots écrits à la main,
vous voudriez par exemple modéliser toutes les façons
dont je peux écrire la lettre "e".
Il n'y a quasiment pas moyen pour que vous obteniez ;
en fait je pense qu'il y a, probablement, moyen de prouver
que l'univers connaîtra une mort thermique terrible --
avant que vous ne puissiez rassembler assez d'échantillons de mon écriture
pour que la quantité de données que vous avez, k,
soit effectivement comparable aux 2^10.000.
Pour vous donner une idée, 2^10.000 c'est un peu comme --
1.000^1.000 --
10^3.000.
Cela ressemble donc à un gogol à la puissance 30.
Ainsi, nous aimerions ici parler,
ou du moins donner une probabilité à des images particulières --
tirées d'un ensemble où le nombre total d'images est bien inférieur
au nombre total d'images possibles.
Voilà un domaine dans leqeul quelque chose comme MaxEnt excelle.