现在我们已经了解了熵，热力学和统计力学，
我们已经准备好谈论克劳德·香农的信息公式，也就是现在
所谓香农信息论。它成为复杂系统研究的领域
中一个重要的概念。
这是你应该知道的。香农是一个数学家，1940年
在贝尔实验室工作，贝尔实验室是美国电话电报公司的一部分。
他主要关注的是电话通讯的问题：如何最有效地更快地
通过电话来传输信号。 对这个问题
给出一个数学解。香农采用玻耳兹曼统计力学的想法
应用到通信领域，以及用于这些想法特定的定义，
有些狭窄，但是非常有用的信息概念。
在香农的通信公式中，我们有一个消息源。
这是黑盒子发出的消息，但你可以把它看成是一个人你
听着电话那头。消息源发射的消息，例如，词语，
一个消息接收方---这可能是你，听你妈妈在电话上交谈。
消息源，更正式，是所有可能的消息
源可以发送，每一个都有自己被发送的概率。
一个消息可以是符号或数字或文字，这取决于文本。
在我们的例子中，它们主要是单词。香农信息内容
是衡量消息源的，它是消息源的函数
这是可能的消息的数目的函数
和它们的概率。通俗地说，信息内容H是量
“惊喜”的接收到每条消息。
因此，让我通过给一些例子解释。
在我的书中，复杂性：指导，举个例子
我的两个孩子，当他们更年轻，你可以想像，他们现在是
青少年和他们在我的书的例子不是那么快乐，尽管
我不会把它们命名为在这里，但你能想象尤其是1岁的时候，
谁是消息来源，在1岁时的交谈，与他的
奶奶在通电话，但是他只能说一个字：哒哒哒哒哒，
他说了一遍又一遍。因此他的消息是一个字，哒，
以概率1 ---所说的所有。没有意外，因此，
从奶奶的观点：她总是知道下一个词是什么，
因此，如果没有意外，没有信息内容。
所以，这个消息源，也就是1岁的信息内容，
等于0比特---用香农的信息公式
以"比特"测量。相比之下，想想1岁的哥哥，一个
3岁孩童。 3岁能对事物说了多一些，“你好，奶奶，
我在玩超人！“所以在这里，消息源是一个3岁，
3岁知道大概500个英文字。因此，我们可以标注
这些，字1，字2，到500字，而且每个都有自己的
被3岁说的概率。我们不知道这些概率，
但我们只能说我们测量了他的讲话，我们已经记录很多小时
关于他的讲话，我们可以指定将这些词不同的概率。
当然奶奶不知道从他口中确定的单词，
让她有更多的惊喜这个时候，比他的弟弟，
因此这消息来源有更多的信息内容---这是大于0位。
现在，为了测试你的直觉理解这种想法，做一个很短的测验！
我们的测试有两个问题---哪个具有较高的香农信息内容---
它要求你比较两个可能的消息源，在问题1和问题2。