谢谢参加这个课程。

我们要讨论什么是最大熵

或

最大熵原理

有时也被称为最大熵方法。

最大熵分为两部分,

两部分

第一个和第二个

单元。

最大熵是由

E.T.杰恩斯发现的。

他是第一个

真正把所有做为单页论文

出版在物理评论上。

杰恩斯有着深刻的哲学，

认识论，

自然本质的问题，

为什么物理定律

变样了。

但在近年，

我们已经发现最大熵，

最大熵原理，

已经发现大量的

使用机器学习，

对现实世界的建模过程。

相对于，让我们说，它们的

说明和理解

这些过程。

因此有很多人是真正

对预测感兴趣，例如

他们想了解股市是什么样子，

并预测

它明天的走势。

他们想了解自然，

一个特殊的癌症患者;

他们希望建立一个模型，

一个足够好的模型

能够预测明天将会

发生什么。

这是一个巨大的目标，

令人难以置信的和雄心勃勃的目标，

人们在人工智能和

机器学习领域有这样的目标。

最大熵是认知世界

的巨大组成部分

以及最初我们做什么。

在第二部分，

我继续尝试将

熵联系到我们所学的，

预测和机器学习。

试着应用它

在一些有趣的问题中，

生物系统的研究，

社会系统的研究。

特别是我会尝试一些

更深层次的

哲学问题。

最大熵原理

能很好地解释现象。

所以我能做

预测问题。

我首先来看什么样的问题

可以运用最大熵。

对于高维数据的预测

在维度非常高的情况下

我们会用一种定义

来解释，

接着说：

一个系统是高维的，

如果数量配置（我们称之为n）

是比我们拥有的

数据量更大，我们称之为k。

因此，这是大量的数据以及

可能处理的数据量。

因此系统数据

比在现实世界中

观察到的数据

要多。

我们在现实世界中观测的次数。

一般我们讨论

数据集的维度，

例如图像，

黑白的图像。

假设图像有10,000像素。

图像中的每个像素，

可以用+1或-1值表示。

黑色用+1表示，

白色用-1表示。

因此，这里的任何图

像可具有任意组合，

像素值的组合。

如果10,000个像素，并且每个像素可以是+1或-1，

那么图像总数是2 ^10,000。

每个像素具有离散值，

+1或-1，并且有10,000个。

因此如果想尝试建立的模型，

手写字，例如

对于字母‘e’

可以建立

所有不同方式的模型。

这是几乎没法

获得，事实上我认为，

有很大可能证明

宇宙终结（宇宙热寂说）

之前，收集到

足够多的手写样本，

大量的数据 (k)

堪比2 ^10,000。

给你举例，2 ^10,000大约是

有点像1,000^1,000 10^3,000。

因此这就是一个天文数字。

在这种情况下我们

想要做的是什么，我们想讲一下，

特定图像的

概率，

其中图像的总数量

是远比图像可能的

总数要少。

这就是像最大熵...