Ok, merci de vous joindre à moi.
Nous allons parler aujourd'hui de ce qui est
appelé "Max Ent", ou
Le principe d'Entropie Maximal, ou
parfois nommé comme les Méthodes d'Entropie Maximum.
Max Ent peut être séparé en deux parties
et ces deux parties, ici, nous les aurons
seulement dans la 1ère et 2ème
moité de cette unité.
Entropie Max à été inventé par
un allemand nommé E.T. Jaynes
et nous voillons qu'il fut la première personne
à véritablement écrire ceci dans un seul article
pour Physical Review et
Jaynes cherchait réponse à des questions
philosophiques, presque épistémologiques,
très profondes à propos de la nature
de la réalité, pourquoi les lois de la physique
prenaient-elles les ces formes,
mais dans les dernières années, nous avons
trouvé que le principe d'entropie maximal
à beaucoup
d'application
dans le machine learning, dans la
modélisation de procédés réels
contrairement, disons, à
l'explication ou la compréhension
de ces procédés.
Donc, il y a des personnes qui sont
vraiment intéressés dans les prédictions par exemple.
Elles aimeraient apprendre à observerser le
marcher boursier aujourd'hui et prédire
ce qu'il aura l'air demain. Ces gens
veulent découvrir la nature d'un cancer
particulier,
ils voudraient le modéliser de manière suffisament
précise pour que demain
ils puissent prédire
ce qui arrivera.
Donc, c'est un but énorme, intellectuellement
incroyablement ambitieux, que les chercheurs
dans la communauté d'intelligence artificielle,
de machine learning, on.
Et Max Ent est énorme dans cette part
de ce monde intellectuel
et ce que nous allons faire est de commencer là,
et dans la seconde partie de la lecture
je vais essayer de faire des connexions
avec ce que vous avez appris
sur le côté prédictif du machine learning
et essayer d'appliquer ceci à des
problèmes vraiment excitants que nous trouvons
en étudiants les systèmes biologiques,
les systèmes sociaux.
En particulier, je vais essayer de me rendre un peu
au questions philosophiques profondes
que l'entropy maximal
soulève pour nous, particulièrement
lorsque cette méthode fonctionne si bien.
Donc ce que je peux faire c'est de commencer
avec le problème de prédiction et en particulier
je vais commencer avec un genre de problème
où l'entropie maximal excelle. Et c'est dans
la prédiction de données à hautes dimensions.
Donc les donnés à hautes dimensions dans ce cas,
que nous allons expliqués à l'aide
d'une définition opérationnelle, serait quelquechose comme ceci ;
Un système est considéré comme
étant à hautes dimensions si
le nombre de configureations, que nous allons appeler 'N'
est beacoup plus grand ( >> ) que le nombre de données
que nous possédons, que nous allons appeler 'K'.
Donc ceci est la quantité de donnée et
ceci est le nombre de configurations possibles.
Donc le nombre de formes que le système peut prendre
est beaucoup, beaucoup plus grand que le nombre
de formes que vous l'avez observé
dans le monde réel. Le nombre de fois
que vous l'avez observé dans le monde réel.
Donc, souvent nous pouvons parler des dimensions
d'un ensemble de données.
Prenons comme exemple une image et prenons
un image noire et blanche, et disons que cette image
possède 10 000 pixels.
Chaque pixel dans votre image
peut prendre, disons, la valeur de +1
ou de -1. Noire est +1 et
-1 est blanc. Donc chaque image ici peut
posséder une combinaison arbitraire de
valeurs de pixel.
S'il y a 10 000 pixels,
et que chaque pixel peut être +1 ou -1,
alors le nombre total d'images possibles est de 2^10,000.
Chaque pixel à une dimension discrète
+1 ou -1, et il y en a 10,000.
Donc si vous tentez de construire un model,
disons de mots écrits à la main,
donc vous aimeriez modéliser tous les exemples
possibles de manières d'écrire la
lettre e.
Il est presque impossible
d’acquérir, en fait il est surement possible
de montrer que l'univers va mourir
d'une mort féroce
avant que vous soyez en mesure d'amasser
suffisamment d'exemples de mon écriture
pour que le nombre de données que vous péssédez
est d'une quelconque manière comparable à 2^10,000.
Juste pour vous donner une intuition de ce que 2^10,000
est, c'est comme 1000^1000, ou 10^3000
donc comme un google à la puissance 30.
Donc dans ces cas ici, ce que nous aimerions
faire est parler,
ou du moins de donner des probabilités
à des images particulières,
pigées d'un ensemble d'images où le
nombre total d'images est beaucoup moindre
que le nombre d'images possibles. C'est ici
que quelque chose comme Max Ent peut exceller.