Ok, merci de vous joindre à moi. Nous allons parler aujourd'hui de ce qui est appelé "Max Ent", ou Le principe d'Entropie Maximal, ou parfois nommé comme les Méthodes d'Entropie Maximum. Max Ent peut être séparé en deux parties et ces deux parties, ici, nous les aurons seulement dans la 1ère et 2ème moité de cette unité. Entropie Max à été inventé par un allemand nommé E.T. Jaynes et nous voillons qu'il fut la première personne à véritablement écrire ceci dans un seul article pour Physical Review et Jaynes cherchait réponse à des questions philosophiques, presque épistémologiques, très profondes à propos de la nature de la réalité, pourquoi les lois de la physique prenaient-elles les ces formes, mais dans les dernières années, nous avons trouvé que le principe d'entropie maximal à beaucoup d'application dans le machine learning, dans la modélisation de procédés réels contrairement, disons, à l'explication ou la compréhension de ces procédés. Donc, il y a des personnes qui sont vraiment intéressés dans les prédictions par exemple. Elles aimeraient apprendre à observerser le marcher boursier aujourd'hui et prédire ce qu'il aura l'air demain. Ces gens veulent découvrir la nature d'un cancer particulier, ils voudraient le modéliser de manière suffisament précise pour que demain ils puissent prédire ce qui arrivera. Donc, c'est un but énorme, intellectuellement incroyablement ambitieux, que les chercheurs dans la communauté d'intelligence artificielle, de machine learning, on. Et Max Ent est énorme dans cette part de ce monde intellectuel et ce que nous allons faire est de commencer là, et dans la seconde partie de la lecture je vais essayer de faire des connexions avec ce que vous avez appris sur le côté prédictif du machine learning et essayer d'appliquer ceci à des problèmes vraiment excitants que nous trouvons en étudiants les systèmes biologiques, les systèmes sociaux. En particulier, je vais essayer de me rendre un peu au questions philosophiques profondes que l'entropy maximal soulève pour nous, particulièrement lorsque cette méthode fonctionne si bien. Donc ce que je peux faire c'est de commencer avec le problème de prédiction et en particulier je vais commencer avec un genre de problème où l'entropie maximal excelle. Et c'est dans la prédiction de données à hautes dimensions. Donc les donnés à hautes dimensions dans ce cas, que nous allons expliqués à l'aide d'une définition opérationnelle, serait quelquechose comme ceci ; Un système est considéré comme étant à hautes dimensions si le nombre de configureations, que nous allons appeler 'N' est beacoup plus grand ( >> ) que le nombre de données que nous possédons, que nous allons appeler 'K'. Donc ceci est la quantité de donnée et ceci est le nombre de configurations possibles. Donc le nombre de formes que le système peut prendre est beaucoup, beaucoup plus grand que le nombre de formes que vous l'avez observé dans le monde réel. Le nombre de fois que vous l'avez observé dans le monde réel. Donc, souvent nous pouvons parler des dimensions d'un ensemble de données. Prenons comme exemple une image et prenons un image noire et blanche, et disons que cette image possède 10 000 pixels. Chaque pixel dans votre image peut prendre, disons, la valeur de +1 ou de -1. Noire est +1 et -1 est blanc. Donc chaque image ici peut posséder une combinaison arbitraire de valeurs de pixel. S'il y a 10 000 pixels, et que chaque pixel peut être +1 ou -1, alors le nombre total d'images possibles est de 2^10,000. Chaque pixel à une dimension discrète +1 ou -1, et il y en a 10,000. Donc si vous tentez de construire un model, disons de mots écrits à la main, donc vous aimeriez modéliser tous les exemples possibles de manières d'écrire la lettre e. Il est presque impossible d’acquérir, en fait il est surement possible de montrer que l'univers va mourir d'une mort féroce avant que vous soyez en mesure d'amasser suffisamment d'exemples de mon écriture pour que le nombre de données que vous péssédez est d'une quelconque manière comparable à 2^10,000. Juste pour vous donner une intuition de ce que 2^10,000 est, c'est comme 1000^1000, ou 10^3000 donc comme un google à la puissance 30. Donc dans ces cas ici, ce que nous aimerions faire est parler, ou du moins de donner des probabilités à des images particulières, pigées d'un ensemble d'images où le nombre total d'images est beaucoup moindre que le nombre d'images possibles. C'est ici que quelque chose comme Max Ent peut exceller.