现在我们已经了解了熵，热力学和统计力学，

我们已经准备好谈论克劳德·香农的信息公式，也就是现在

所谓香农信息论。它成为复杂系统研究的领域

中一个重要的概念。

这是你应该知道的。香农是一个数学家，1940年

在贝尔实验室工作，贝尔实验室是美国电话电报公司的一部分。

他主要关注的是电话通讯的问题：如何最有效地更快地

通过电话来传输信号。 对这个问题

给出一个数学解。香农采用玻耳兹曼统计力学的想法

应用到通信领域，以及用于这些想法特定的定义，

有些狭窄，但是非常有用的信息概念。

在香农的通信公式中，我们有一个消息源。

这是黑盒子发出的消息，但你可以把它看成是一个人你

听着电话那头。消息源发射的消息，例如，词语，

一个消息接收方---这可能是你，听你妈妈在电话上交谈。

消息源，更正式，是所有可能的消息

源可以发送，每一个都有自己被发送的概率。

一个消息可以是符号或数字或文字，这取决于文本。

在我们的例子中，它们主要是单词。香农信息内容

是衡量消息源的，它是消息源的函数

这是可能的消息的数目的函数

和它们的概率。通俗地说，信息内容H是量

“惊喜”的接收到每条消息。

因此，让我通过给一些例子解释。

在我的书中，复杂性：指导，举个例子

我的两个孩子，当他们更年轻，你可以想像，他们现在是

青少年和他们在我的书的例子不是那么快乐，尽管

我不会把它们命名为在这里，但你能想象尤其是1岁的时候，

谁是消息来源，在1岁时的交谈，与他的

奶奶在通电话，但是他只能说一个字：哒哒哒哒哒，

他说了一遍又一遍。因此他的消息是一个字，哒，

以概率1 ---所说的所有。没有意外，因此，

从奶奶的观点：她总是知道下一个词是什么，

因此，如果没有意外，没有信息内容。

所以，这个消息源，也就是1岁的信息内容，

等于0比特---用香农的信息公式

以"比特"测量。相比之下，想想1岁的哥哥，一个

3岁孩童。 3岁能对事物说了多一些，“你好，奶奶，

我在玩超人！“所以在这里，消息源是一个3岁，

3岁知道大概500个英文字。因此，我们可以标注

这些，字1，字2，到500字，而且每个都有自己的

被3岁说的概率。我们不知道这些概率，

但我们只能说我们测量了他的讲话，我们已经记录很多小时

关于他的讲话，我们可以指定将这些词不同的概率。

当然奶奶不知道从他口中确定的单词，

让她有更多的惊喜这个时候，比他的弟弟，

因此这消息来源有更多的信息内容---这是大于0位。

现在，为了测试你的直觉理解这种想法，做一个很短的测验！

我们的测试有两个问题---哪个具有较高的香农信息内容---

它要求你比较两个可能的消息源，在问题1和问题2。